專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施方式涉及圖像處理裝置以及圖像處理方法。
背景技術(shù)：
近年來，伴隨著能夠再生三維(3D(Three-Dimension))圖像的顯示器的普及，除了 3D內(nèi)容的提供之外，還被要求將現(xiàn)有的二維QD(Two-Dimension))圖像向3D圖像變換 (以下稱為“2D3D變換”)。在一般的2D3D變換中，進(jìn)行縱深推定處理、和視差圖像生成處理。但是，在一般的縱深推定處理中，由于無法從2D圖像獲得完全的縱深信息，所以利用預(yù)先決定的算法來推定縱深信息。結(jié)果，在推定出的縱深信息表示與原圖像不同的縱深的情況下，導(dǎo)致再生后的3D圖像給視聽者帶來不協(xié)調(diào)感。另外，在一般的視差圖像生成處理中，進(jìn)行對(duì)原圖像中不存在的陰面部加以補(bǔ)充的處理。存在陰面部成為使畫質(zhì)劣化的重要因素的趨勢。因此，對(duì)生成的3D圖像的品質(zhì)而言，補(bǔ)充陰面部是不希望的。并且，一般的縱深推定以及視差圖像生成的處理量都極大。另一方面，為了實(shí)時(shí)再生3D圖像，2D3D變換被要求為短時(shí)間的處理。因此，在不具備在短時(shí)間內(nèi)執(zhí)行用于實(shí)現(xiàn)縱深推定處理以及視差圖像生成處理的算法那樣的大規(guī)模的處理器的移動(dòng)電話等小型設(shè)備中，無法實(shí)現(xiàn)2D3D變換。

發(fā)明內(nèi)容
本發(fā)明想要解決的課題在于，提供一種不使生成的3D圖像的品質(zhì)劣化、能夠執(zhí)行處理量小的2D3D變換的圖像處理裝置以及圖像處理方法。實(shí)施方式的圖像處理裝置具備定點(diǎn)設(shè)定部，其在根據(jù)包含第1像素的第1圖像數(shù)據(jù)而生成的取樣坐標(biāo)空間中設(shè)定定點(diǎn)；取樣點(diǎn)設(shè)定部，其在上述取樣坐標(biāo)空間中設(shè)定對(duì)象點(diǎn)，在基于上述對(duì)象點(diǎn)的像素成分而計(jì)算出的取樣坐標(biāo)處設(shè)定與上述對(duì)象點(diǎn)對(duì)應(yīng)的取樣點(diǎn)；和視差圖像生成部，其計(jì)算出應(yīng)該配置在上述取樣坐標(biāo)處的第2像素的像素值，生成多個(gè)包含上述第2像素的第2圖像數(shù)據(jù)。其他實(shí)施方式的圖像處理方法使計(jì)算機(jī)執(zhí)行下述處理根據(jù)包含第1像素的第1 圖像數(shù)據(jù)生成取樣坐標(biāo)空間，在上述取樣坐標(biāo)空間中設(shè)定定點(diǎn)以及對(duì)象點(diǎn)，基于上述對(duì)象點(diǎn)的像素成分計(jì)算出取樣坐標(biāo)，在上述取樣坐標(biāo)處設(shè)定與上述對(duì)象點(diǎn)對(duì)應(yīng)的取樣點(diǎn)，計(jì)算出應(yīng)該配置在上述取樣坐標(biāo)處的第2像素的像素值，生成多個(gè)包含上述第2像素的第2圖像數(shù)據(jù)。根據(jù)上述構(gòu)成的圖像處理裝置以及圖像處理方法，能夠不使生成的3D圖像的品質(zhì)劣化地執(zhí)行處理量小的2D3D變換。


圖1是本發(fā)明的實(shí)施方式涉及的圖像處理系統(tǒng)1的框圖。圖2是表示第1圖像數(shù)據(jù)IMG的構(gòu)造的圖。圖3是第1實(shí)施方式的圖像處理裝置IOa的框圖。圖4是第1實(shí)施方式的2D3D變換處理的流程圖。圖5是用于對(duì)第1實(shí)施方式的2D3D變換處理進(jìn)行說明的取樣坐標(biāo)空間CS的概略圖。圖6是第1實(shí)施方式的取樣點(diǎn)設(shè)定處理的流程圖。圖7A 圖7C是對(duì)第1實(shí)施方式的取樣設(shè)定進(jìn)行說明的圖。圖8是表示第2圖像數(shù)據(jù)IMG'的構(gòu)造的圖。圖9是第1實(shí)施方式的視差圖像生成處理的流程圖。圖IOA及圖IOB是表示第1實(shí)施方式的第2像素的像素值計(jì)算的一個(gè)例子的圖。圖11是第2實(shí)施方式的圖像處理裝置IOa的框圖。圖12是第2實(shí)施方式的2D3D變換處理的流程圖。圖13是第2實(shí)施方式的縱深信息生成處理的流程圖。圖14A及圖14B是對(duì)第2實(shí)施方式的縱深生成處理進(jìn)行說明的圖。圖15A及圖15B是對(duì)第2實(shí)施方式的縱深生成處理進(jìn)行說明的圖。圖16A及圖16B是對(duì)第2實(shí)施方式的取樣點(diǎn)修正進(jìn)行說明的圖。
具體實(shí)施例方式參照附圖，對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。圖1是本發(fā)明的實(shí)施方式涉及的圖像處理系統(tǒng)1的框圖。圖像處理系統(tǒng)1具備處理器10、存儲(chǔ)器20、視頻接口 30、顯示器40。 處理器10是在啟動(dòng)了規(guī)定的圖像處理程序時(shí)，作為圖像處理裝置IOa進(jìn)行動(dòng)作的模塊。圖像處理裝置IOa是基于由利用圖像處理裝置IOa的硬件或者軟件給予的設(shè)定信息，從2D圖像生成至少2個(gè)視差圖像的裝置。存儲(chǔ)器20是能夠保存包含表現(xiàn)2D圖像的第1圖像數(shù)據(jù)、 和對(duì)由圖像處理裝置IOa生成的至少2個(gè)視差圖像進(jìn)行表現(xiàn)的第2圖像數(shù)據(jù)在內(nèi)的各種數(shù)據(jù)的存儲(chǔ)介質(zhì)(例如DRAM (Dynami c Random Access Memory))。視頻接口 30是從與圖像處理系統(tǒng)1連接的外部裝置被輸入第1圖像數(shù)據(jù)，并且向外部裝置輸出第2圖像數(shù)據(jù)的模塊。 視頻接口 30例如具備將編碼后的第1圖像數(shù)據(jù)解碼的解碼器、和對(duì)第2圖像數(shù)據(jù)進(jìn)行編碼的編碼器。顯示器40是對(duì)圖像進(jìn)行顯示的模塊(例如是3D對(duì)應(yīng)液晶電視)。此外，顯示器 40也可以被省略。圖2是表示本發(fā)明的實(shí)施方式涉及的第1圖像數(shù)據(jù)IMG的構(gòu)造的圖。第1圖像數(shù)據(jù)IMG是在W軸以及H軸的第1坐標(biāo)空間中包含沿W方向以及H方向排列的WmXHm(Wm及 Hm為自然數(shù))個(gè)第1像素PX的數(shù)據(jù)。第1像素PX( ，h)是位于坐標(biāo)(w，h) (1 ^ w ^ ffm, 1 ^ h ^ Hm)上的像素。各第1像素PX例如包含由YUV格式定義的像素值(亮度成分Y、第 1差量成分U、以及第2差量成分V)。亮度成分Y (w，h)是表示第1像素PX (w，h)的亮度的像素值。第1差量成分U (w，h)是表示第1像素PX (w，h)的藍(lán)色成分的差量(difference) 的像素值。第2差量成分V(w，h)是表示第1像素PX(w，h)的紅色成分的差量的像素值。 亮度成分Y、第1差量成分U以及第2差量成分V例如分別由0 255的8位信號(hào)Q56灰度)表示。此外，圖像處理系統(tǒng)1也可以處理包含由其他格式(例如RGB格式)定義的像素值的圖像數(shù)據(jù)。(第1實(shí)施方式)對(duì)第1實(shí)施方式進(jìn)行說明。第1實(shí)施方式是對(duì)象點(diǎn)越接近任意的定點(diǎn)，越將取樣點(diǎn)設(shè)定在定點(diǎn)的附近，對(duì)象點(diǎn)越遠(yuǎn)離定點(diǎn)，越將取樣點(diǎn)設(shè)定在定點(diǎn)的遠(yuǎn)處的圖像處理裝置的例子。對(duì)第1實(shí)施方式的圖像處理裝置的構(gòu)成進(jìn)行說明。圖3是第1實(shí)施方式的圖像處理裝置IOa的框圖。圖像處理裝置IOa具備定點(diǎn)設(shè)定部12、取樣點(diǎn)設(shè)定部14、視差圖像生成部16。對(duì)第1實(shí)施方式的圖像處理裝置的動(dòng)作進(jìn)行說明。圖4是第1實(shí)施方式的2D3D 變換處理的流程圖。2D3D變換處理由作為圖像處理裝置IOa而動(dòng)作的處理器10執(zhí)行。<S400>定點(diǎn)設(shè)定部1根據(jù)第1坐標(biāo)空間，基于規(guī)定的取樣分辨率生成XmXYm的取樣坐標(biāo)空間CS，在生成的取樣坐標(biāo)空間CS中設(shè)定η (η是2以上的整數(shù))個(gè)任意的定點(diǎn) V(S400)。圖5是用于對(duì)第1實(shí)施方式的2D3D變換處理進(jìn)行說明的取樣坐標(biāo)空間CS的概略圖。圖5表示了在坐標(biāo)(X，y) = (2,4)處設(shè)定定點(diǎn)Vl 0，4)，在坐標(biāo)(x，y) = (4,4)處設(shè)定定點(diǎn)V2(4，4)的情況。取樣分辨率可以是規(guī)定的固定值，也可以使用對(duì)取樣分辨率進(jìn)行表示的規(guī)定的信息來計(jì)算。例如，定點(diǎn)V在將2D圖像變換成3D圖像時(shí)，被設(shè)定成推定為在 3D圖像中應(yīng)該位于近前的前方區(qū)域或者推定為在3D圖像中應(yīng)該位于后方的后方區(qū)域所包含的取樣坐標(biāo)空間CS的坐標(biāo)。例如，定點(diǎn)Vl是用于生成右眼用的視差圖像的點(diǎn)，定點(diǎn)V2 是用于生成左眼用的視差圖像的點(diǎn)。η表示應(yīng)該生成的視差圖像的數(shù)量，由表示應(yīng)該生成的視差圖像的數(shù)量的規(guī)定信息決定。作為一個(gè)例子，定點(diǎn)設(shè)定部12根據(jù)第1圖像數(shù)據(jù)IMG推定2D圖像的縱深，映射 (mapping)推定結(jié)果來生成縱深映射(map)。然后，定點(diǎn)設(shè)定部12在參照生成的縱深映射而確定的前方區(qū)域所包含的任意的點(diǎn)設(shè)定定點(diǎn)V。作為代替例，定點(diǎn)設(shè)定部12也可以分析圖像的特性，基于分析結(jié)果來判定圖像的場景(例如運(yùn)動(dòng)場景(sports scene)或者風(fēng)景場景)，并在基于判定結(jié)果而確定的前方區(qū)域所包含的任意的點(diǎn)設(shè)定定點(diǎn)V。作為其他的代替例，定點(diǎn)設(shè)定部12也可以基于對(duì)定點(diǎn)V的坐標(biāo)進(jìn)行表示的規(guī)定信息來設(shè)定定點(diǎn)V。<S402>取樣點(diǎn)設(shè)定部14在取樣坐標(biāo)空間的任意的坐標(biāo)設(shè)定對(duì)象點(diǎn)0，執(zhí)行基于圖像數(shù)據(jù)IMG的像素成分來設(shè)定與對(duì)象點(diǎn)0對(duì)應(yīng)的取樣點(diǎn)S的取樣點(diǎn)設(shè)定處理(S402)。圖6 是第1實(shí)施方式的取樣點(diǎn)設(shè)定處理的流程圖。圖7A 圖7C是對(duì)第1實(shí)施方式的取樣設(shè)定進(jìn)行說明的圖。<S600>如圖7A所示，取樣點(diǎn)設(shè)定部14在由定點(diǎn)設(shè)定部12生成的取樣坐標(biāo)空間 CS的任意的坐標(biāo)(X0，yo)設(shè)定對(duì)象點(diǎn)0(xo，yo)。對(duì)象點(diǎn)0(xo，yo)是成為取樣點(diǎn)S的基準(zhǔn)的取樣坐標(biāo)空間CS的點(diǎn)。<S602>取樣點(diǎn)設(shè)定部14基于定點(diǎn)V的像素成分與對(duì)象點(diǎn)0的像素成分，設(shè)定與對(duì)象點(diǎn)0對(duì)應(yīng)的取樣點(diǎn)S。例如，取樣點(diǎn)設(shè)定部14使用坐標(biāo)以及像素值的至少一個(gè)來作為像素成分。在使用坐標(biāo)作為像素成分的情況下，取樣點(diǎn)設(shè)定部14利用式1，計(jì)算出定點(diǎn)V(xv， yv)與對(duì)象點(diǎn)0(xo，yo)的距離d。在式1中，dx是取樣坐標(biāo)空間CS的X方向上的對(duì)象點(diǎn)0與定點(diǎn)V的距離，dy是取樣坐標(biāo)空間CS的Y方向上的對(duì)象點(diǎn)0與定點(diǎn)V的距離。數(shù)式1d = dx2+Cfy2dx ^ ^(XO-XV)2'"(式 1)dy = -J(yo-yv)2接下來，如圖7B及圖7C所示，取樣點(diǎn)設(shè)定部14利用式2，基于計(jì)算出的距離d來計(jì)算設(shè)定取樣點(diǎn)S的取樣坐標(biāo)(Xs，ys)。然后，取樣點(diǎn)設(shè)定部14在計(jì)算出的取樣坐標(biāo)(xs， ys)上設(shè)定取樣點(diǎn)S(xs，ys)。在式2中，f(d)以及g(d)是定點(diǎn)V與對(duì)象點(diǎn)0的距離d的變換函數(shù)。f(d)以及g(d)例如是正的增加函數(shù)、正的減少函數(shù)或者常量。在取樣坐標(biāo)空間 CS中，按照距離d越小、定點(diǎn)V與取樣點(diǎn)S的距離越變小，距離d越大、定點(diǎn)V與取樣點(diǎn)S的距離越變大的方式設(shè)定取樣點(diǎn)S (圖7B以及圖7C)。結(jié)果，按照生成在定點(diǎn)V的周邊區(qū)域像素密度變高、在遠(yuǎn)離定點(diǎn)V的區(qū)域像素密度變低那樣的視差圖像的方式，設(shè)定取樣點(diǎn)S。數(shù)式2xs = XV 士 f(d)*dxys = yv士g(d)*dy ...(式 2)在使用像素值(例如亮度成分Y)作為像素成分的情況下，取樣點(diǎn)設(shè)定部14利用式3，基于對(duì)象點(diǎn)0(xo，yo)的亮度成分樸計(jì)算出取樣坐標(biāo)(xs，ys)。然后，取樣點(diǎn)設(shè)定部 14在計(jì)算出的取樣坐標(biāo)(Xs，ys)上設(shè)定取樣點(diǎn)S(Xs，ys)。在式3中，h(Yo)以及i (Yo)是從對(duì)象點(diǎn)0向亮度成分樸的變換函數(shù)。h(Yo)以及i (Yo)例如是正的增加函數(shù)、正的減少函數(shù)或者常量。在取樣坐標(biāo)空間CS中，按照亮度成分樸越小、定點(diǎn)V與取樣點(diǎn)S的距離越變小，亮度成分樸越大、定點(diǎn)V與取樣點(diǎn)S的距離越變大的方式，設(shè)定取樣點(diǎn)S。結(jié)果，按照生成在亮度成分樸小的區(qū)域像素密度變高、在亮度成分樸大的區(qū)域像素密度變低那樣的視差圖像的方式，設(shè)定取樣點(diǎn)S。數(shù)式3xs = xo 士 h (Yo)ys = yo 士 i(Yo) …(式 3)其中，作為像素成分而使用的像素值不限于亮度成分Y。第1差量成分U、第2差量成分V、紅色成分R、綠色成分G、或者藍(lán)色成分B也可以作為像素成分而被使用，還可以使用其他的像素成分。在任何情況下，按照在取樣坐標(biāo)空間CS中像素成分越小、定點(diǎn)V與取樣點(diǎn)S的距離越變小，像素成分越大、定點(diǎn)V與取樣點(diǎn)S的距離越變大的方式，設(shè)定取樣點(diǎn) S。換言之，取樣點(diǎn)S被配置成像素成分越小相對(duì)定點(diǎn)V越稀疏，像素成分越大相對(duì)于定點(diǎn) V越密。<S604>取樣點(diǎn)設(shè)定部14判定是否設(shè)定了 k (k為2以上的整數(shù))個(gè)取樣點(diǎn)S。k的值由3D圖像的分辨率決定。例如，k的值根據(jù)表示3D圖像的分辨率的分辨率設(shè)定信息來計(jì)算。在所設(shè)定的取樣點(diǎn)的數(shù)量沒有達(dá)到k的情況下(S604-否)，返回到S600。在所設(shè)定的取樣點(diǎn)的數(shù)量達(dá)到了 k的情況下(S604-是)，結(jié)束取樣點(diǎn)設(shè)定處理。<S404>取樣點(diǎn)設(shè)定部14判定取樣點(diǎn)設(shè)定處理(S40》的執(zhí)行次數(shù)是否達(dá)到了 η。 在取樣點(diǎn)設(shè)定處理的執(zhí)行次數(shù)沒有達(dá)到η的情況下(S404-否)，返回到S402。在取樣點(diǎn)設(shè)定處理的執(zhí)行次數(shù)達(dá)到了 η的情況下(S404-是)，進(jìn)入到S406。<S406>視差圖像生成部16計(jì)算出應(yīng)該在所設(shè)定的取樣點(diǎn)的取樣坐標(biāo)配置的第2 像素P'的像素值。然后，視差圖像生成部16執(zhí)行至少生成2個(gè)包含多個(gè)第2像素P'的第2圖像數(shù)據(jù)IMG'的視差圖像生成處理。圖8是表示第2圖像數(shù)據(jù)IMG'的構(gòu)造的圖。 第2圖像數(shù)據(jù)IMG‘是包含在W軸以及H軸的第2坐標(biāo)空間中沿W方向及H方向排列的 Wm' XHm' (Wm'及Hm'為自然數(shù))個(gè)第2像素PX'的數(shù)據(jù)。第2像素PX' (w'，h') 是位于坐標(biāo)，h')的像素。各第2像素PX'例如包含由YUV格式定義的像素值(亮度成分Y'、第1差量成分U'、以及第2差量成分V')。亮度成分Y' (w'，h')是表示第2像素PX' (w'，h')的亮度的像素值。第1差量成分U' (w'，h')是表示第2像素PX' (w'，h')的藍(lán)色成分的差量的像素值。第2差量成分V' (w'，h')是表示第 2像素PX' (w'，h')的紅色成分的差量的像素值。圖9是第1實(shí)施方式的視差圖像生成處理的流程圖。<S900>視差圖像生成部16基于分辨率設(shè)定信息，生成第2圖像數(shù)據(jù)IMG'的第2 坐標(biāo)空間。如圖8所示，第2坐標(biāo)空間具有Wm' XHm' ( = k)個(gè)坐標(biāo)。第2坐標(biāo)空間的尺寸根據(jù)由取樣點(diǎn)設(shè)定部14設(shè)定的取樣點(diǎn)S的數(shù)量來決定。例如，在分辨率設(shè)定信息表示等倍(即生成與2D圖像相同分辨率的3D圖像)的情況下，視差圖像生成部16生成與第1 坐標(biāo)空間相同尺寸的第2坐標(biāo)空間。此時(shí)，Wm' =Wm且Hm' = Hm。例如，在分辨率設(shè)定信息表示2倍(即生成2D圖像的2倍分辨率的3D圖像)的情況下，視差圖像生成部16生成第1坐標(biāo)空間的2倍尺寸的第2坐標(biāo)空間。此時(shí)，Wm' = 2Wm且Hm' = 2Hm。<S902及S904>視差圖像生成部16在第2坐標(biāo)空間中設(shè)定與k個(gè)取樣點(diǎn)分別對(duì)應(yīng)的取樣坐標(biāo)690 。接下來，視差圖像生成部16計(jì)算出應(yīng)該配置到k個(gè)取樣坐標(biāo)的第2像素PX'的像素值(Y'，U'，V' )(S904)。即，視差圖像生成部16根據(jù)位于取樣坐標(biāo)的周圍的多個(gè)第1圖像數(shù)據(jù)IMG的像素值計(jì)算出第2像素的像素值。圖IOA及圖IOB是表示第 1實(shí)施方式的第2像素的像素值計(jì)算的一個(gè)例子的圖。如圖IOA所示，視差圖像生成部16 計(jì)算出位于取樣坐標(biāo)(2. 5，2. 5)的周邊的第1圖像數(shù)據(jù)IMG的4個(gè)像素PX (2，2) PX (3， 3)的像素值的平均值，作為第2像素PX' (2.5,2. 5)的像素值?；蛘撸鐖DIOB所示，視差圖像生成部16也可以將位于取樣坐標(biāo)(2. 5，2. 5)的周邊的第1圖像數(shù)據(jù)IMG的16個(gè)像素 PX(Ll) PX(4，4)的像素值加權(quán)相加，計(jì)算出加權(quán)相加的結(jié)果作為第2像素PX' (2.5， 2. 5)的像素值。<S906>視差圖像生成部16判定是否計(jì)算出了 k個(gè)第2像素PX'的像素值。在沒有計(jì)算出k個(gè)第2像素PX'的像素值的情況下(S906-否)，返回到S904。在計(jì)算出k個(gè)第 2像素PX'的像素值的情況下(S906-是)，結(jié)束視差圖像生成處理。<S408>視差圖像生成部16判定視差圖像生成處理(S406)的執(zhí)行次數(shù)是否達(dá)到了 η。在視差圖像生成處理(S406)的執(zhí)行次數(shù)沒有達(dá)到η的情況下(S408-否)，返回到S406。 在視差圖像生成處理(S406)的執(zhí)行次數(shù)達(dá)到了 η的情況下(S408-是)，結(jié)束2D3D變換處理。根據(jù)第1實(shí)施方式，圖像處理裝置IOa具備定點(diǎn)設(shè)定部12、取樣點(diǎn)設(shè)定部14、視差圖像生成部16。定點(diǎn)設(shè)定部12根據(jù)包含多個(gè)第1像素的第1圖像數(shù)據(jù)，生成由規(guī)定的取樣分辨率決定的取樣坐標(biāo)空間，并在生成的取樣坐標(biāo)空間中設(shè)定多個(gè)任意的定點(diǎn)。取樣點(diǎn)設(shè)定部14在取樣坐標(biāo)空間的任意的坐標(biāo)設(shè)定對(duì)象點(diǎn)，基于定點(diǎn)與對(duì)象點(diǎn)的距離來計(jì)算取樣坐標(biāo)，并在計(jì)算出的取樣坐標(biāo)設(shè)定與對(duì)象點(diǎn)對(duì)應(yīng)的取樣點(diǎn)。視差圖像生成部16計(jì)算出應(yīng)該配置于取樣坐標(biāo)的第2像素的像素值，生成多個(gè)包含多個(gè)第2像素的第2圖像數(shù)據(jù)。結(jié)果，以少的處理量生成對(duì)具有縱深的視差圖像進(jìn)行表現(xiàn)的圖像數(shù)據(jù)。由此，能夠不使基于視差圖像而再生的3D圖像的品質(zhì)劣化地實(shí)現(xiàn)處理量小的2D3D變換。例如，對(duì)于背景被配置于深處、物體被配置于近前的圖像，能夠得到背景與物體的整體具有縱深的視差圖像。(第2實(shí)施方式)對(duì)第2實(shí)施方式進(jìn)行說明。第2實(shí)施方式是基于2D圖像的像素值生成圖像的縱深信息，并基于生成的縱深信息對(duì)取樣點(diǎn)的位置進(jìn)行修正的例子。其中，省略與上述的實(shí)施方式同樣的說明。對(duì)第2實(shí)施方式的圖像處理裝置的構(gòu)成進(jìn)行說明。圖11是第2實(shí)施方式的圖像處理裝置IOa的框圖。圖像處理裝置IOa具備定點(diǎn)設(shè)定部12、縱深信息生成部13、取樣點(diǎn)設(shè)定部14、取樣點(diǎn)修正部15、視差圖像生成部16。對(duì)第2實(shí)施方式的圖像處理裝置的動(dòng)作進(jìn)行說明。圖12是第2實(shí)施方式的2D3D 變換處理的流程圖。2D3D變換處理由作為圖像處理裝置IOa而動(dòng)作的處理器10執(zhí)行?！碨1200及S120DS1200進(jìn)行與第1實(shí)施方式的定點(diǎn)設(shè)定(S400)同樣的處理。接下來，縱深信息生成部13執(zhí)行基于第1像素PX的像素值的亮度成分Y生成縱深信息的縱深信息生成處理(S1201)?？v深信息是表示第1圖像數(shù)據(jù)IMG的縱深的信息。圖13是第2 實(shí)施方式的縱深信息生成處理的流程圖。圖14及圖15對(duì)第2實(shí)施方式的縱深生成處理進(jìn)行說明的圖。<S1300>縱深信息生成部13提取出第1圖像數(shù)據(jù)IMG的WmXHm個(gè)第1像素PX (w， h)的第1亮度成分Y (w，h)。然后，縱深信息生成部13生成包含提取出的WmXHm個(gè)第1亮度成分Y (w，h)的第1亮度分布(圖14(A))。第1亮度分布對(duì)應(yīng)于第1坐標(biāo)空間。<S1302>縱深信息生成部13將第1亮度分布縮小，生成包含WrXHr (Wr以及Hr是自然數(shù))個(gè)第2亮度成分撲(虹，hr)的第2亮度分布(圖14(B))(S1302)。例如，縱深信息生成部13利用雙線性(bi-linear)法、雙三次(bi-cubic)法或者平均加算法，針對(duì)根據(jù)第1亮度成分Y(w，h)計(jì)算出的第2亮度成分撲(虹丄1·)應(yīng)用MXN(M以及N為自然數(shù))抽頭濾波器(tap filter)，對(duì)第2亮度分布的頻率進(jìn)行平滑化。<S1304>縱深信息生成部13將第2亮度成分ft~(wr，hr)變化成規(guī)定的縱深值 Dr (wr,hr)。由此，生成包含Wr X Hr個(gè)第1縱深成分Dr (wr,hr)的第1縱深信息(圖15 (A))。<S1306>縱深信息生成部13將表示縱深信息的灰度的灰度設(shè)定信息與第1縱深成分Dr的灰度進(jìn)行比較。在灰度設(shè)定信息所表示的灰度與第1縱深成分Dr (wr，hr)的灰度相等的情況下(S1306-是)，不變更灰度地進(jìn)入到S1310。在灰度設(shè)定信息所表示的灰度與第 1縱深成分Dr (wr，hr)的灰度不同的情況下(S1306-否)，為了變更灰度而進(jìn)入到S1308。<S1308>縱深信息生成部13對(duì)第1縱深信息的直方圖進(jìn)行整形(伸長、收縮或者最佳化)，變更第1縱深成分Dr(wr，hr)的灰度(S1308)。由此，可得到以所希望的灰度表示的縱深信息。<S1310>縱深信息生成部13將第1縱深信息線性放大，生成包含WmXHm的第2縱深成分D (w，h)的第2縱深信息(圖15(B))。由此，可得到具有與第1圖像數(shù)據(jù)IMG相同的分辨率的坐標(biāo)空間的縱深信息。該縱深信息是表示2D圖像的縱深的信息?！碨1202及S1204>S1202及S1204與第1實(shí)施方式同樣。即，取樣點(diǎn)設(shè)定部14執(zhí)行基于圖像數(shù)據(jù)IMG的像素成分來設(shè)定取樣點(diǎn)S的取樣點(diǎn)設(shè)定處理(S120》。在取樣點(diǎn)設(shè)定處理的執(zhí)行次數(shù)沒有達(dá)到η的情況下(S1204-否)，返回到S1202。在取樣點(diǎn)設(shè)定處理 (S1204)的執(zhí)行次數(shù)達(dá)到了 η的情況下(S1204-是)，進(jìn)入到S1205。<S1205>取樣點(diǎn)修正部15基于生成的第2縱深信息對(duì)取樣點(diǎn)S的取樣坐標(biāo)進(jìn)行修正。由此，可獲得考慮了 2D圖像的縱深的取樣點(diǎn)S。具體而言，取樣點(diǎn)修正部15按照遠(yuǎn)離定點(diǎn)V (XV，yv)的方式?jīng)Q定取樣點(diǎn)S的修正量Δ S。修正量Δ S包括X方向的修正量Δ Sx 以及Y方向的修正量ASy。修正量以及ASy基于設(shè)定取樣點(diǎn)S(Xs，ys)時(shí)的與對(duì)象點(diǎn)0(xo，yo)對(duì)應(yīng)的第1像素P(w，h)的第2縱深成分D(w，h)來決定。例如，如圖16A及 16B所示，取樣點(diǎn)S被修正根據(jù)縱深信息而決定的修正量以及ASy的量。結(jié)果，取樣坐標(biāo)從 S(Xs，ys)變?yōu)?S' (xs' ,ys')?！碨1206及S1208〉視差圖像生成處理(S1206)與第1實(shí)施方式同樣地進(jìn)行。視差圖像生成處理在執(zhí)行次數(shù)達(dá)到η之前被反復(fù)執(zhí)行(S1208-否)。在視差圖像生成處理的執(zhí)行次數(shù)達(dá)到了 η的情況下(S1208-是)，結(jié)束2D3D變換處理。根據(jù)第2實(shí)施方式，圖像處理裝置IOa還具備縱深信息生成部13、取樣點(diǎn)修正部 15?？v深信息生成部13基于第1像素的像素值的第1亮度成分，生成表示由第1圖像數(shù)據(jù)表現(xiàn)的第1圖像的縱深的縱深信息。取樣點(diǎn)修正部15基于縱深信息對(duì)取樣坐標(biāo)進(jìn)行修正。 結(jié)果，生成以像素單位表現(xiàn)具有縱深的視差圖像的圖像數(shù)據(jù)。由此，與第1實(shí)施方式相比， 可獲得2D圖像的縱深被更準(zhǔn)確再現(xiàn)的高畫質(zhì)的3D圖像。例如，對(duì)于背景被配置于深處、物體被配置于近前的圖像，可獲得背景被配置于更深處、物體被配置于更近前的視差圖像。在使用亮度成分Y以外的值作為像素成分的情況下，取樣點(diǎn)設(shè)定部14如式4那樣，使用濾波器(filter)FIL、與灰度范圍對(duì)應(yīng)的常量C，將第1像素PX的亮度成分Y變換為第2像素PX'的亮度成分Y'。濾波器FIL例如是3X3濾波器(參照式5)。常量C在 256灰度的情況下例如是128。該情況下，第2像素PX'的亮度成分Y'是亮度梯度成分。 然后，取樣點(diǎn)設(shè)定部14基于第2像素PX'的亮度成分Y'，與使用亮度成分Y作為像素成分的情況同樣地設(shè)定取樣點(diǎn)。數(shù)式4Y' = YXFIL+C...(式 4)數(shù)式5
_-1 0 1_FIL= -1 0 1 ...(式 5)
-1 0 1另外，第2像素PX'的亮度成分Y'也可以是對(duì)第1像素PX的亮度成分Y乘以了多個(gè)濾波器FILO FIL2、多個(gè)權(quán)重(Weight)a C、而得到的值的合計(jì)值。該情況下，亮度成分Y'由式6表示。其中，濾波器FILO FIL2的值可以相等，也可以不同。另外，系數(shù) a c的值可以相等，也可以不同。數(shù)式6Y' = aXYXFIL0+bXYXFILl+cXYXFIL2+C...(式 6)
另外，對(duì)在式6中使用3個(gè)濾波器FILO FIL2來計(jì)算亮度成分Y'的例子進(jìn)行了說明，但亮度成分Y'的計(jì)算所使用的濾波器的數(shù)量以及濾波器的值是任意的。另外，也可以根據(jù)系數(shù)a、b、c來對(duì)多個(gè)濾波器FIL分別進(jìn)行加權(quán)。另外，也可以利用右眼用的多個(gè)濾波器FILOr FIL2r、右眼用的權(quán)重ar cr、 和右眼用的常量Cr，來計(jì)算右眼用的亮度成分ft" ’ (參照式7)，利用左眼用的多個(gè)濾波器FILOl FIL21、左眼用的權(quán)重al cl、和左眼用的常量Cl，計(jì)算左眼用的亮度成分 Yl'(參照式8)。數(shù)式7Yr' = ar X YX FIL0r+br XYX FILlr+cr XYX FIL2r+Cr —(式 7)數(shù)式8Yl' =BixYxFlLoRbixYxFlLlRcixYxFII^RChH(SS)另外，(式4)及(式6) (式8)中使用的亮度成分Y也可以包含以關(guān)注像素為中心的周邊像素的亮度成分。例如，在3X3抽頭濾波處理的情況下，以關(guān)注像素為中心，在 (式4)以及(式6) (式8)中使用包含周邊像素的9個(gè)像素的亮度成分Y。此外，由于關(guān)注像素位于第1圖像數(shù)據(jù)IMG的端部，所以當(dāng)不存在周邊像素時(shí)，也可以使用任意的插補(bǔ)系數(shù)對(duì)關(guān)注像素的亮度成分進(jìn)行插補(bǔ)。本實(shí)施方式涉及的圖像處理裝置IOa的至少一部分可以由硬件構(gòu)成，也可以由軟件構(gòu)成。在由軟件構(gòu)成的情況下，可以將實(shí)現(xiàn)圖像處理裝置IOa的至少一部分的功能的程序保存到軟盤或CD-ROM等記錄介質(zhì)中，使計(jì)算機(jī)讀入并加以執(zhí)行。記錄介質(zhì)并不限于磁盤、光盤等能夠裝卸的介質(zhì)，也可以是硬盤裝置、存儲(chǔ)器等固定型的記錄介質(zhì)。另外，也可以經(jīng)由因特網(wǎng)等通信線路(還包括無線通信)，來發(fā)布用于實(shí)現(xiàn)本實(shí)施方式涉及的圖像處理裝置IOa的至少一部分的功能的程序。并且，也可以在對(duì)該程序進(jìn)行了加密、調(diào)制、壓縮后的狀態(tài)下，經(jīng)由網(wǎng)絡(luò)等有線線路、無線線路發(fā)布該程序，或者保存到記錄介質(zhì)中進(jìn)行發(fā)布。此外，本發(fā)明并不限定于上述的實(shí)施方式，在不脫離其主旨的范圍可以對(duì)構(gòu)成要素變形而將其具體化。另外，通過將上述實(shí)施方式中公開的多個(gè)構(gòu)成要素適當(dāng)組合，能夠形成各種發(fā)明。例如，可以從上述實(shí)施方式所表示的所有構(gòu)成要素中刪除幾個(gè)構(gòu)成要素。并且，也可以將不同的實(shí)施方式中的構(gòu)成要素適當(dāng)?shù)剡M(jìn)行組合。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備定點(diǎn)設(shè)定部，在根據(jù)包含第1像素的第1圖像數(shù)據(jù)而生成的取樣坐標(biāo)空間中設(shè)定定占.^ \\\ 取樣點(diǎn)設(shè)定部，在上述取樣坐標(biāo)空間中設(shè)定對(duì)象點(diǎn)，在基于上述對(duì)象點(diǎn)的像素成分而計(jì)算出的取樣坐標(biāo)處設(shè)定與上述對(duì)象點(diǎn)對(duì)應(yīng)的取樣點(diǎn)；和視差圖像生成部，計(jì)算出應(yīng)該配置在上述取樣坐標(biāo)處的第2像素的像素值，生成多個(gè)包含上述第2像素的第2圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，上述取樣點(diǎn)設(shè)定部基于上述定點(diǎn)與上述對(duì)象點(diǎn)之間的距離來計(jì)算上述取樣坐標(biāo)。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，上述取樣點(diǎn)設(shè)定部基于上述對(duì)象點(diǎn)的像素值來計(jì)算上述取樣坐標(biāo)。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，上述取樣點(diǎn)設(shè)定部基于上述對(duì)象點(diǎn)的像素值中包含的亮度成分來計(jì)算上述取樣坐標(biāo)。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，上述取樣點(diǎn)設(shè)定部針對(duì)上述對(duì)象點(diǎn)的像素值中包含的亮度成分進(jìn)行濾波處理來生成亮度梯度成分，基于上述亮度梯度成分來計(jì)算上述取樣坐標(biāo)。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備縱深信息生成部，基于上述第1像素的像素值，生成表示由上述第1圖像數(shù)據(jù)表現(xiàn)的第 1圖像的縱深的縱深信息；和取樣點(diǎn)修正部，基于上述縱深信息對(duì)上述取樣坐標(biāo)進(jìn)行修正。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，上述縱深信息生成部生成表示上述第1圖像的縱深的第1縱深信息，并將上述第1縱深信息線性放大而生成第2縱深信息，上述取樣點(diǎn)修正部基于上述第2縱深信息對(duì)上述取樣坐標(biāo)進(jìn)行修正。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于，上述取樣點(diǎn)修正部對(duì)上述取樣坐標(biāo)修正基于上述第2縱深信息內(nèi)的與上述對(duì)象點(diǎn)對(duì)應(yīng)的第2縱深成分而決定的修正量的量。
9.一種圖像處理方法，其特征在于，使計(jì)算機(jī)執(zhí)行下述處理 根據(jù)包含第1像素的第1圖像數(shù)據(jù)生成取樣坐標(biāo)空間，在上述取樣坐標(biāo)空間中設(shè)定定點(diǎn)以及對(duì)象點(diǎn)，基于上述對(duì)象點(diǎn)的像素成分計(jì)算出取樣坐標(biāo)，在上述取樣坐標(biāo)處設(shè)定與上述對(duì)象點(diǎn)對(duì)應(yīng)的取樣點(diǎn)， 計(jì)算出應(yīng)該配置在上述取樣坐標(biāo)處的第2像素的像素值， 生成多個(gè)包含上述第2像素的第2圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于，在設(shè)定上述取樣點(diǎn)時(shí)，基于上述定點(diǎn)與上述對(duì)象點(diǎn)之間的距離來計(jì)算上述取樣坐標(biāo)。
11.根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于，在設(shè)定上述取樣點(diǎn)時(shí)，基于上述對(duì)象點(diǎn)的像素值來計(jì)算上述取樣坐標(biāo)。
12.根據(jù)權(quán)利要求11所述的圖像處理方法，其特征在于，在設(shè)定上述取樣點(diǎn)時(shí)，基于上述對(duì)象點(diǎn)的像素值中包含的亮度成分來計(jì)算上述取樣坐標(biāo)。
13.根據(jù)權(quán)利要求11所述的圖像處理方法，其特征在于， 在設(shè)定上述取樣點(diǎn)時(shí)，針對(duì)上述對(duì)象點(diǎn)的像素值中包含的亮度成分進(jìn)行濾波處理來生成亮度梯度成分， 基于上述亮度梯度成分來計(jì)算上述取樣坐標(biāo)。
14.根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于，還基于上述第1像素的像素值，生成表示由上述第1圖像數(shù)據(jù)表現(xiàn)的第1圖像的縱深的縱深信息，基于上述縱深信息對(duì)上述取樣坐標(biāo)進(jìn)行修正。
15.根據(jù)權(quán)利要求14所述的圖像處理方法，其特征在于， 在生成上述縱深信息時(shí)，生成表示由上述第1圖像數(shù)據(jù)表現(xiàn)的第1圖像的縱深的第1縱深信息，將上述第1縱深信息線性放大而生成第2縱深信息，當(dāng)修正上述取樣點(diǎn)時(shí)，基于上述第2縱深信息對(duì)上述取樣坐標(biāo)進(jìn)行修正。
16.根據(jù)權(quán)利要求15所述的圖像處理方法，其特征在于，當(dāng)修正上述取樣點(diǎn)時(shí)，對(duì)上述取樣坐標(biāo)修正基于上述第2縱深信息內(nèi)的與上述對(duì)象點(diǎn)對(duì)應(yīng)的第2縱深成分而決定的修正量的量。
全文摘要
本發(fā)明涉及圖像處理裝置以及圖像處理方法。圖像處理裝置(10a)具備定點(diǎn)設(shè)定部(12)、取樣點(diǎn)設(shè)定部(14)、視差圖像生成部(16)。定點(diǎn)設(shè)定部(12)在根據(jù)包含第1像素的第1圖像數(shù)據(jù)而生成的取樣坐標(biāo)空間中設(shè)定定點(diǎn)。取樣點(diǎn)設(shè)定部(14)在取樣坐標(biāo)空間中設(shè)定對(duì)象點(diǎn)，在基于對(duì)象點(diǎn)的像素成分而計(jì)算出的取樣坐標(biāo)處設(shè)定與對(duì)象點(diǎn)對(duì)應(yīng)的取樣點(diǎn)。視差圖像生成部(16)計(jì)算出應(yīng)該配置在取樣坐標(biāo)處的第2像素的像素值，生成多個(gè)包含第2像素的第2圖像數(shù)據(jù)。
文檔編號(hào)H04N13/00GK102480623SQ20111028120
公開日2012年5月30日 申請(qǐng)日期2011年9月21日 優(yōu)先權(quán)日2010年11月25日
發(fā)明者東啟介 申請(qǐng)人:株式會(huì)社東芝