專利名稱：圖像處理裝置、圖像處理方法、程序、集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤其涉及立體視覺圖像的生成技術(shù)。
背景技術(shù)：
已經(jīng)公知這樣的DIBR (Depth-image-based Rendering :基于深度圖像的繪制)技術(shù)(參照非專利文獻1)，通過使構(gòu)成圖像數(shù)據(jù)的各個像素的坐標沿水平方向進行移位，生成與原來的圖像數(shù)據(jù)不同的視點的圖像，并生成由多視點的圖像構(gòu)成的立體視覺圖像。
在DIBR技術(shù)中，根據(jù)表示圖像數(shù)據(jù)中所攝入的各個對象的進深方向的位置的深度圖像來確定水平方向的位移量。此時，位于近前的對象(object)(前景對象)和位于里側(cè)的對象(后景對象)的位移量不同，因而在像素移位后的圖像中，在前景對象與后景對象的邊界部分即進深的值不連續(xù)地變化的邊緣附近，產(chǎn)生像素值不存在的像素缺失區(qū)域(occlusion :遮擋)。在專利文獻I中公開了這樣的技術(shù)，通過使用像素缺失區(qū)域的附近的像素進行線性插補，對該像素缺失區(qū)域進行插補。并且，在非專利文獻I中公開了這樣的技術(shù)，通過高斯濾波使深度圖像的進深的值不連續(xù)地變化的邊緣部分變平滑，使用變平滑后的深度圖像進行像素移位處理，由此縮小像素缺失區(qū)域的尺寸?，F(xiàn)有技術(shù)文獻專利文獻專利文獻I :日本專利第3091622號公報非專利文獻I F e h n Christoph, “Depth-Image — BasedRendering (DIBR), Compression and Transmission for a New Approach on3D-TV，，；Conferenceon Stereoscopic Displays and Virtual Reality Systems XI, JAN19-22, 2004 SanJose CA;p. 93-104
發(fā)明概要發(fā)明要解決的問題但是，在上述的現(xiàn)有技術(shù)中，存在DIBR處理后的立體視覺圖像成為不自然的圖像的情況。

發(fā)明內(nèi)容
本發(fā)明正是鑒于上述情況而提出的，其目的在于，提供能夠?qū)崿F(xiàn)不協(xié)調(diào)感較小的DIBR處理的圖像處理裝置。用于解決問題的手段為了達到上述目的，本發(fā)明的一個方式的一種圖像處理裝置，通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，其特征在于，深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深，所述圖像處理裝置具有深度圖像數(shù)據(jù)變更單元，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)；像素移位單元，使用由所述深度圖像變更單元進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及像素插補單元，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。發(fā)明效果根據(jù)本發(fā)明的一個方式的圖像處理裝置，使深度圖像的進深的值不連續(xù)變化的邊緣位置移動，并根據(jù)邊緣位置移動后的深度圖像使原來的圖像數(shù)據(jù)的像素的坐標移位，因而在后景對象之間產(chǎn)生像素缺失區(qū)域。通過使用后景對象之間的像素對該像素缺失區(qū)域進行插補，能夠防止由于引起視聽者注意的前景對象的插補而形成的模糊變形。另外，雖然后景對象部分被拉伸，但是后景對象通常與前景對象相比形狀不復(fù)雜， 且像素變化比較單調(diào)，因而能夠抑制由于像素缺失區(qū)域的插補而形成的圖像整體的畫質(zhì)惡化。


圖I是表示實施方式I的圖像處理裝置100的結(jié)構(gòu)的一例的框圖。圖2 (a)是圖像處理裝置100的輸入數(shù)據(jù)即圖像數(shù)據(jù)的一例，圖2 (b)是表示示出了圖像數(shù)據(jù)的各個像素的進深方向的位置的深度圖像的圖。圖3是表示邊緣移動的對象的圖。圖4是表示深度圖像的邊緣位置的移動的圖。圖5是表示邊緣移動后的深度圖像的圖。圖6是用于說明通過像素移位部102進行的像素移位的圖。圖7 Ca)是表示不進行邊緣移動的像素缺失區(qū)域的圖，圖7 (b)是表示進行了邊緣移動的像素缺失區(qū)域的圖。圖8 (a)是表示針對不進行邊緣移動的像素缺失區(qū)域?qū)嵤┝司€性插補的圖像數(shù)據(jù)的圖，圖8 (b)是表示針對進行了邊緣移動的像素缺失區(qū)域?qū)嵤┝司€性插補的圖像數(shù)據(jù)的圖。圖9是表示視點圖像生成處理的流程的流程圖。圖10是表示深度圖像變換處理的流程的流程圖。圖11是表示圖像處理裝置1100的結(jié)構(gòu)的一例的框圖。圖12是表示實施方式2的圖像處理裝置1200的結(jié)構(gòu)的一例的框圖。圖13是表示圖像處理裝置1200的輸入數(shù)據(jù)即圖像數(shù)據(jù)的一例的圖。圖14是表示復(fù)雜的后景對象模糊且變形的圖像的圖。圖15是表示實施方式2的深度圖像變換處理的流程的流程圖。圖16是表示實施方式3的深度圖像變換處理的流程的流程圖。圖17是表示實施方式4的圖像處理裝置1700的結(jié)構(gòu)的一例的框圖。圖18是表示實施方式4的深度圖像變換處理的流程的流程圖。圖19是表示實施方式5的圖像處理裝置1900的結(jié)構(gòu)的一例的框圖。
圖20是表示由處理范圍選擇部1901選擇的圖像范圍的一例的圖。圖21是表示實施方式6的圖像處理裝置的深度圖像變換部進行的深度圖像變換的圖。圖22是表示實施方式6的深度圖像變換處理的流程的流程圖。圖23是表示圖像處理裝置2300的結(jié)構(gòu)的一例的框圖。圖24是表示由操作部2301進行的參數(shù)的受理處理的流程的流程圖。圖25是表示設(shè)定菜單畫面的一例的圖。圖26是表示圖像處理裝置2600的結(jié)構(gòu)的一例的框圖。 圖27是表示使用LSI來具體實現(xiàn)本發(fā)明的一個方式的圖像處理裝置的示例。
具體實施例方式《作為本發(fā)明的一個方式的基礎(chǔ)的見解》首先，對作為本發(fā)明的一個方式的基礎(chǔ)的見解進行說明。在DIBR中，在前景對象與后景對象的邊界部分產(chǎn)生像素缺失區(qū)域。因此，在過去使用專利文獻I或非專利文獻I公開的技術(shù)進行通過DIBR處理而產(chǎn)生的像素缺失區(qū)域的插補。對此，本發(fā)明的發(fā)明者們通過認真研究發(fā)現(xiàn)，在利用這些技術(shù)對通過DIBR處理而產(chǎn)生的像素缺失區(qū)域進行插補的情況下，存在DIBR處理后的立體視覺圖像成為不自然的圖像的情況。具體地講，在利用專利文獻I公開的技術(shù)進行通過DIBR處理而產(chǎn)生的像素缺失區(qū)域的插補的情況下，使用像素缺失區(qū)域的附近的像素進行像素缺失區(qū)域的插補。由于像素缺失區(qū)域產(chǎn)生于前景對象與后景對象的邊界部分，因而通過前景對象與后景對象之間的線性的顏色的內(nèi)插對像素缺失區(qū)域進行插補。其結(jié)果是，DIBR處理后的立體視覺圖像成為前景對象的邊緣以前景對象與后景對象的中間顏色被拉伸的圖像。在進行立體視覺顯示時，被觀察為從顯示器上突出的前景對象引起視聽者的注意，因而這種前景對象的模糊或變形比較明顯。另外，在利用非專利文獻I公開的技術(shù)通過高斯濾波使深度圖像的進深的值不連續(xù)地變化的邊緣部分變平滑，并使用變平滑后的深度圖像進行DIBR處理的情況下，雖然能夠縮小像素缺失區(qū)域的尺寸，但是在深度圖像的進深的值急劇變化的前景對象與后景對象之間產(chǎn)生像素缺失區(qū)域。因此，需要對該像素缺失區(qū)域進行插補，插補后的立體視覺圖像成為前景對象模糊變形的圖像?！侗景l(fā)明的一個方式的概要》本發(fā)明的發(fā)明者們根據(jù)以上的見解得到了以下所示的發(fā)明的一個方式。本發(fā)明的一個方式的一種圖像處理裝置，通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深，所述圖像處理裝置具有深度圖像數(shù)據(jù)變更單元，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)；像素移位單元，使用由所述深度圖像變更單元進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及像素插補單元，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。根據(jù)上述的方式，使深度圖像的進深的值不連續(xù)變化的邊緣位置移動，并根據(jù)邊緣位置移動后的深度圖像使原來的圖像數(shù)據(jù)的像素的坐標移位，因而在后景對象之間產(chǎn)生像素缺失區(qū)域。通過使用后景對象之間的像素對該像素缺失區(qū)域進行插補，能夠防止由于引起視聽者注意的前景對象的插補而形成的模糊、變形。另外，雖然后景對象部分被拉伸，但是后景對象通常與前景對象相比形狀不復(fù)雜，且像素變化比較單調(diào)，因而能夠抑制由于像素缺失區(qū)域的插補而形成的圖像整體的畫質(zhì)惡化。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述深度圖像變更 單元，使由邊緣像素組包圍的像素的坐標向被所述深度圖像數(shù)據(jù)的邊緣隔開的前景區(qū)域、后景區(qū)域之中的后景區(qū)域側(cè)移動。根據(jù)上述的方式，由于使邊緣向后景區(qū)域側(cè)移動，因而能夠抑制由于像素缺失區(qū)域的插補而形成的圖像整體的畫質(zhì)惡化。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有復(fù)雜度計算單元，該復(fù)雜度計算單元計算原始的圖像數(shù)據(jù)中所攝入的被攝體的復(fù)雜度，所述深度圖像變更單元，以后景的區(qū)域的復(fù)雜度為規(guī)定的值以下為條件來執(zhí)行動作。根據(jù)上述的方式，僅限于后景對象不復(fù)雜而且像素變化比較單調(diào)的情況下進行邊緣移動處理，因而能夠防止復(fù)雜的后景對象被拉伸而導(dǎo)致圖像整體的畫質(zhì)惡化。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有復(fù)雜度計算單元，該復(fù)雜度計算單元計算原始的圖像數(shù)據(jù)中所攝入的被攝體的復(fù)雜度，所述深度圖像變更單元，以前景的區(qū)域的復(fù)雜度高于后景的區(qū)域的復(fù)雜度為條件來執(zhí)行動作。根據(jù)上述的方式，僅限于前景對象比后景對象復(fù)雜的情況下使邊緣位置向后景側(cè)移動，因而能夠防止比前景對象復(fù)雜的對象被拉伸而導(dǎo)致畫質(zhì)惡化。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有復(fù)雜度存儲單元，該復(fù)雜度存儲單元存儲規(guī)定幀之前的原始的圖像數(shù)據(jù)中的復(fù)雜度，所述深度圖像變更單元，以規(guī)定幀之前的原始的圖像數(shù)據(jù)中的前景區(qū)域的復(fù)雜度為規(guī)定的值以上為條件來執(zhí)行動作。根據(jù)上述的方式，能夠防止以I幀單位交替地顯示前景對象通過插補而模糊變形的圖像、后景對象通過插補而模糊變形的圖像，防止由于產(chǎn)生閃爍而導(dǎo)致的動態(tài)圖像的畫質(zhì)惡化。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述深度圖像變更單元檢測與在水平方向上鄰接的像素之間的進深的值的差分為規(guī)定的值以上的像素，作為所述深度圖像數(shù)據(jù)的邊緣。根據(jù)上述的方式，能夠檢測深度圖像的進深的值急劇變化的前景對象與后景對象的邊界，作為深度圖像數(shù)據(jù)的邊緣。
另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有寄存器，該寄存器存儲用于確定所述深度圖像數(shù)據(jù)中的邊緣的參數(shù)，所述深度圖像變更單元將與在水平方向上鄰接的像素之間的進深的值的差分和在所述寄存器中存儲的參數(shù)進行比較，由此檢測所述深度圖像數(shù)據(jù)的邊緣。根據(jù)上述的方式，通過參照裝置內(nèi)的寄存器，能夠檢測深度圖像數(shù)據(jù)的邊緣。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有受理用戶操作的操作單元 ，所述寄存器存儲的用于確定所述深度圖像數(shù)據(jù)中的邊緣的參數(shù)，是通過來自所述操作單元的用戶輸入而設(shè)定的。根據(jù)上述的方式，能夠按照用戶所期望的深度圖像變換的效果進行圖像的處理。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有判定原始的圖像數(shù)據(jù)的類別的判定單元，所述寄存器存儲的用于確定所述深度圖像數(shù)據(jù)中的邊緣的參數(shù)，是根據(jù)由所述判定單元判定的圖像數(shù)據(jù)的類別而確定的。根據(jù)上述的方式，能夠按照最適合于圖像數(shù)據(jù)中所攝入的被攝體的類別的深度圖像變換的效果進行圖像的處理。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述深度圖像變更單元還在進行由所述邊緣像素組包圍的像素的坐標的移動后，對由所述邊緣像素組包圍的像素進行平滑處理。根據(jù)上述的方式，能夠縮小通過像素移位處理而產(chǎn)生的像素缺失區(qū)域的尺寸。并且，像素插補的對象減少，能夠抑制由于像素插補而形成的畫質(zhì)惡化。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有寄存器，該寄存器存儲用于確定使所述深度圖像的像素的坐標移動的像素數(shù)的參數(shù)，所述深度圖像變更單元使所述深度圖像數(shù)據(jù)的由邊緣像素組包圍的像素的坐標，向規(guī)定的方向移動在所述寄存器中存儲的參數(shù)所表示的像素數(shù)。根據(jù)上述的方式，能夠按照用戶所期望的深度圖像變換的效果進行圖像的處理。另外，根據(jù)本發(fā)明的一個方式的圖像處理裝置的特定的方面，所述圖像處理裝置還具有處理范圍選擇單元，該處理范圍選擇單元選擇所述深度圖像數(shù)據(jù)之中進行深度圖像變更的圖像范圍，所述深度圖像變更單元，針對由處理范圍選擇單元所選擇的圖像范圍來執(zhí)行動作。根據(jù)上述的方式，能夠指定進行邊緣移動處理的圖像范圍來生成多視點的圖像。本發(fā)明的一個方式的一種圖像處理方法，通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深，所述圖像處理方法包括深度圖像數(shù)據(jù)變更步驟，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)；像素移位步驟，使用由所述深度圖像變更步驟進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及像素插補步驟，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。
根據(jù)上述的方式，能夠提供一種圖像處理方法，該圖像處理方法能夠防止由于引起視聽者注意的前景對象的插補而形成的模糊變形。本發(fā)明的一個方式是一種程序，使計算機執(zhí)行圖像處理，該圖像處理通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深，所述程序使計算機執(zhí)行以下步驟深度圖像數(shù)據(jù)變更步驟，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)；像素移位步驟，使用由所述深度圖像變更步驟進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及像素插補步驟，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。根據(jù)上述的方式，能夠提供一種程序，該程序能夠防止由于引起視聽者注意的前 景對象的插補而形成的模糊變形。本發(fā)明的一個方式是一種集成電路，在圖像處理中使用，該圖像處理通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深，所述集成電路具有深度圖像數(shù)據(jù)變更單元，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)；像素移位單元，使用由所述深度圖像變更單元進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及像素插補單元，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。根據(jù)上述的方式，能夠提供一種集成電路，該集成電路能夠防止由于引起視聽者注意的前景對象的插補而形成的模糊變形。《實施方式I》下面，參照

本發(fā)明的實施方式。[概要]實施方式I的圖像處理裝置根據(jù)深度圖像使構(gòu)成圖像數(shù)據(jù)的各個像素的坐標沿規(guī)定方向進行移位，并生成與原來的圖像數(shù)據(jù)不同的始點的圖像數(shù)據(jù)，其特征在于，在進行像素移位處理時，使深度圖像的邊緣位置向后景側(cè)移動，使用邊緣位置移動后的深度圖像進行像素移位處理，然后對通過像素移位而產(chǎn)生的像素值不存在的缺失區(qū)域進行插補。在進行像素移位處理時，使深度圖像的邊緣位置向后景側(cè)移動，因而像素缺失區(qū)域的兩端的像素成為后景對象的像素，能夠防止由于像素缺失區(qū)域的插補而形成的前景對象的模糊變形。[結(jié)構(gòu)]首先，說明實施方式I的圖像處理裝置100的結(jié)構(gòu)。圖I是表示圖像處理裝置100的結(jié)構(gòu)的一例的框圖。如該圖所示，圖像處理裝置100構(gòu)成為包括深度圖像變換部101、像素移位部102、像素插補部103。下面說明各個構(gòu)成部分?！瓷疃葓D像變換部101〉深度圖像變換部101具有使所輸入的深度圖像的邊緣位置向后景側(cè)移動的功能。具體地講，將在水平方向上鄰接的像素具有的進深的值為規(guī)定的閾值以上的像素位置作為邊緣位置，使該邊緣位置向右移動規(guī)定像素數(shù)。圖2 Ca)是圖像處理裝置100的輸入數(shù)據(jù)即圖像數(shù)據(jù)的一例，圖2 (b)是表示示出了圖2 (a)所示的圖像數(shù)據(jù)的各個像素的進深方向的位置的深度圖像的 圖。深度圖像是利用O 255的256灰度的亮度來表示各個像素的進深的灰度圖像，位置越靠前方，利用越白的顏色表示，位置越靠后方，利用越黑的顏色表示。在深度圖像中，在圖像數(shù)據(jù)中所攝入的各個被攝體(對象)的邊界處進深的值發(fā)生變化。將進深的值急劇變化的位置稱為深度圖像的邊緣位置。在該圖所示的例子中，人的被攝體(前景)與背景部分(后景)的邊界位置成為邊緣位置。圖3是表示邊緣移動的對象的圖?？v軸表示進深的值,橫軸表示X坐標位置。如該圖所示，在處理像素位置的左I像素的進深的值與處理像素位置的進深的值之差分為α以上的情況下，深度圖像變換部101設(shè)為邊緣移動的對象。另外，在本實施方式中，成為邊緣移動的對象的是前景對象的右端的邊緣。前景對象的左端的邊緣不作為邊緣移動的對象。其理由是后述的像素移位部102使輸入圖像的前景對象的各個像素向左移位，并生成相對于輸入圖像的視點位置向右遠離的視點位置的圖像，因而在前景對象的右端部分產(chǎn)生像素缺失區(qū)域。由于在前景對象的左端部分不產(chǎn)生像素缺失區(qū)域，因而不需要使前景對象的左端的邊緣移動。圖4是表示深度圖像的邊緣位置的移動的圖。如該圖所示，深度圖像變換部101使確定出的邊緣位置向后景側(cè)移動規(guī)定像素(N個像素)。具體地講，將從處理像素起到成為N個像素的像素為止的進深值變更為處理像素的進深值。此處所說后景側(cè)指被邊緣隔開的兩個區(qū)域中進深的值較小的區(qū)域一側(cè)。即，在通過像素移位來生成右視點圖像的本實施方式中，使邊緣位置向右移動。圖5是表示邊緣移動后的深度圖像的圖。如該圖所示，深度圖像變換部101輸出前景對象的右端的邊緣位置向右(后景側(cè))水平移動N像素后的深度圖像。<像素移位部102〉像素移位部102具有這樣的功能根據(jù)從深度圖像變換部101輸出的深度圖像，使構(gòu)成所輸入的圖像數(shù)據(jù)的各個像素的坐標沿水平方向進行移位，由此生成相對于輸入圖像的視點位置向右遠離的視點位置的圖像。并且，像素移位部102具有這樣的功能生成利用0/1的I比特的標志表示通過像素移位而產(chǎn)生的像素值不存在的像素缺失區(qū)域(遮擋)的位置的像素缺失區(qū)域標志。通過將輸入圖像顯示為左視點圖像、將通過像素移位而生成的圖像顯示為右視點圖像，能夠?qū)崿F(xiàn)立體視覺。下面詳細說明像素移位。圖6是用于說明通過像素移位部102進行的像素移位的圖。立體視覺效果包括形成飛出效果的立體視覺效果(飛出立體視覺)、和形成后退效果的立體視覺效果(后退立體視覺)，圖6 Ca)表示飛出立體視覺的像素移位，圖6 (b)表示后退立體視覺的像素移位。在這些附圖中，P表示沿水平方向的位移量，L-View-Point表示左眼瞳孔位置，R-View-Point表示右眼瞳孔位置，L-Pixel表示左眼像素，R-Pixel表示右眼像素，e表示瞳孔間距離，H表示顯示畫面的高度,W表示顯示畫面的橫寬,S表示從視聽者到顯示畫面的距離，Z表示從視聽者到成像點的距離即被攝體的進深方向的距離。連接左眼像素L-pixel和左眼瞳孔L-view-point的直線是左眼瞳孔L-view-point的視線,連接右眼像素R-Pixel和右眼瞳孔R-View-Point的直線是右眼瞳孔R-View-Point的視線，通過基于3D眼鏡的透光/遮光的切換或使用視差屏障、雙凸透鏡(lenticular)等的視差屏蔽來實現(xiàn)。首先說明飛出立體視覺的情況。參照圖6 (a),根據(jù)由左眼瞳孔L-view-point、右眼瞳孔R-View-Point、成像點這三點構(gòu)成的三角形與由左眼像素L-pixel、右眼像素R-pixel、成像點這三點構(gòu)成的三角形的相似關(guān)系，在水平方向的位移量P、被攝體的距離Z、從視聽者到顯示畫面的距離S、瞳孔間距離e之間，P = e (I — S/Z)的關(guān)系成立。并且，對于圖6 (b)的后退立體視覺，與上述的說明相同的關(guān)系成立。像素移位部102根據(jù)上述關(guān)系式計算針對各個像素的位移量，并使像素沿水平方向移位相當于計算出的位移量的像素數(shù)，由此生成右視點圖像(R圖像)。 另外，被攝體的距離Z能夠從深度圖像取得。并且，瞳孔間距離e采用成人男性的平均值6. 5cm。最佳的視聽距離通常是顯示畫面的高度的3倍，因而將從視聽者到顯示畫面的距離S設(shè)為3H?！聪袼夭逖a部103〉像素插補部103具有這樣的功能受理像素移位部102輸出的像素缺失區(qū)域標志，并對利用該像素缺失區(qū)域標志所表示的像素缺失區(qū)域(遮擋)進行插補。具體地講，利用像素缺失區(qū)域標志來確定像素缺失區(qū)域，使用像素缺失區(qū)域的附近的像素對所確定出的像素缺失區(qū)域進行線性插補。圖7是表示通過像素移位而產(chǎn)生的像素缺失區(qū)域的圖。圖7 (a)表示不進行邊緣移動的像素缺失區(qū)域，圖7 (b)表示進行了邊緣移動的像素缺失區(qū)域。另外，圖8是表示像素插補后的圖像數(shù)據(jù)的圖。圖8 (a)表示針對圖7 (a)所示的不進行邊緣移動的像素缺失區(qū)域?qū)嵤┝司€性插補的圖像數(shù)據(jù)，圖8 (b)表示針對圖7 (b)所示的進行了邊緣移動的像素缺失區(qū)域?qū)嵤┝司€性插補的圖像數(shù)據(jù)。在不進行邊緣移動的情況下，如圖7 (a)所示，在前景對象與后景對象的邊界產(chǎn)生像素缺失區(qū)域。在針對該像素缺失區(qū)域進行像素的插補的情況下，通過前景對象與后景對象之間的線性的顏色的內(nèi)插來對缺失區(qū)域進行插補。其結(jié)果是如圖8 (a)所示，前景對象的邊緣以中間顏色被拉伸，形成為前景對象的端部模糊變形的圖像。另一方面，在進行了邊緣移動的情況下，像素缺失區(qū)域向后景側(cè)偏移數(shù)個像素。由此，如圖7 (b)所示，像素缺失區(qū)域的兩端的像素成為后景對象的像素。因此，在針對該像素缺失區(qū)域進行了像素的插補的情況下，通過后景對象的像素之間的線性的顏色的內(nèi)插來對缺失區(qū)域進行插補。由于使用后景對象之間的像素對像素缺失區(qū)域進行插補，因而能夠防止由于引起視聽者注意的前景對象的插補而形成的模糊變形。雖然后景對象部分被拉伸，但是后景對象通常與前景對象相比形狀不復(fù)雜，且像素變化比較單調(diào)，因而能夠抑制由于像素缺失區(qū)域的插補而形成的圖像整體的畫質(zhì)惡化，能夠生成如圖8 (b)所示的畫質(zhì)良好的圖像數(shù)據(jù)。以上是關(guān)于圖像處理裝置100的結(jié)構(gòu)的說明。下面，說明具有上述結(jié)構(gòu)的圖像處理裝置100的動作。[動作]〈視點圖像生成處理〉首先說明圖像處理裝置100的視點圖像生成處理。圖9是表示視點圖像生成處理的流程的流程圖。如該圖所示，深度圖像變換部101進行深度圖像變換處理(步驟S901)。關(guān)于深度圖像變換處理的詳細情況將在后面進行說明。然后，像素移位部102進行位移量的計算(步驟S902)。具體地講，根據(jù)在步驟S901被變換后的深度圖像，使用關(guān)系式P = e(I - S/Z)計算各個像素的位移量。并且，像素移位部102根據(jù)計算出的位移量進行像素移位處理,并生成R圖像(步驟S903)。在生成R圖像后，像素插補部103對通過像素移位處理而產(chǎn)生的像素缺失區(qū)域進行線性插補(步驟S904)。以上是關(guān)于圖像處理裝置100的視點圖像生成處理的說明。下面，對上述的步驟S901的深度圖像變換處理進行詳細說明。
〈深度圖像變換處理〉圖10是表示深度圖像變換處理的流程的流程圖。如該圖所示，深度圖像變換部101首先從所輸入的深度圖像取得處理像素位置的進深的值(A)(步驟S1001)。然后，深度圖像變換部101從所輸入的深度圖像取得處理像素位置的左I像素的進深的值(B)(步驟S1002)。并且，深度圖像變換部101判定處理像素位置的左I像素的進深的值(B)與處理像素位置的進深的值(A)之差分是否為規(guī)定的閾值(α)以上(a ^B-A)(步驟S1003)。在差分是α以上的情況下(步驟S1003 :是)，深度圖像變換部101使邊緣位置移位N像素(步驟S1004)。在差分不是α以上的情況下(步驟S1003 :否)，深度圖像變換部101不對該像素進行邊緣位置的移位。對構(gòu)成圖像數(shù)據(jù)的全部像素反復(fù)進行以上從步驟S1001到步驟S1004的處理。以上是關(guān)于深度圖像變換處理的詳細說明。根據(jù)如上所述的本實施方式，使深度圖像的進深的值不連續(xù)地變化的邊緣位置移動，并根據(jù)邊緣位置移動后的深度圖像使原來的圖像數(shù)據(jù)的像素的坐標移位，因而像素缺失區(qū)域的兩端的像素成為后景對象的像素。通過使用后景對象之間的像素對像素缺失區(qū)域進行插補，能夠防止由于引起視聽者注意的前景對象的插補而形成的模糊變形。另外，雖然后景對象部分被拉伸，但是后景對象通常與前景對象相比形狀不復(fù)雜，且像素變化比較單調(diào)，因而能夠抑制由于像素缺失區(qū)域的插補而形成的圖像整體的畫質(zhì)惡化。[補充](關(guān)于左視點圖像的生成)在上述實施方式中，說明了將輸入圖像設(shè)為左視點圖像(L圖像)，通過像素移位來生成右視點圖像(R圖像)的情況，但本發(fā)明不限于這種情況。也可以是，將輸入圖像設(shè)為右視點圖像，通過像素移位來生成左視點圖像。在這種情況下，深度圖像變換部取得處理像素位置的進深的值(C)與處理像素位置的右I像素的進深的值(D)，在處理像素位置的右I像素的進深的值(D)與處理像素位置的進深的值(C)之差分為規(guī)定的閾值(α )以上的情況下(α蘭D — C),使該邊緣位置向右移位N像素。(關(guān)于多視點圖像的生成)在上述實施方式中，說明了生成左視點圖像/右視點圖像這兩個視點的圖像的情況，但本發(fā)明不限于這種情況。也可以生成兩個視點以上的多視點圖像。在本實施方式中，考慮圖6所不的左眼視點(L-View-Point)和右眼視點(R-View-Point)的位置關(guān)系來計算像素應(yīng)該移位的量，但在生成除左眼視點和右眼視點以外的視點的圖像時，通過與此相同地考慮視點的位置關(guān)系來計算像素應(yīng)該移位的量，并進行像素移位，能夠生成與該視點對應(yīng)的圖像。(關(guān)于采用行掃描電路的實現(xiàn)性)在上述的實施方式中說明的像素移位處理能夠利用行掃描(line scan)電路來實現(xiàn)。所謂行掃描電路是指橫向每1920像素地讀出被存儲于幀存儲器中的一畫面量的像素(1920X1080)的集合，并變換為數(shù)字影像信號的硬件元件。這種行掃描電路能夠利用可以存儲I行的量的像素數(shù)據(jù)的行像素存儲器、濾波電路、進行并行/串行變換的變換電路來實現(xiàn)。如上所述，像素移位處理是將深度圖像的各個像素的亮度變換為視差來進行像素的移位的處理。如果使被讀出到行存儲器中的整體周圍圖像的一行量的像素的坐標沿橫向移動與針對整體周圍圖像的深度圖像中對應(yīng)的行的進深相對應(yīng)的像素數(shù)，則能夠生成形成深度 圖像中的各個像素所表示的進深的來自其它視點的視點影像。(關(guān)于深度圖像的生成)在上述的實施方式中說明了輸入二維圖像及深度圖像，通過基于深度圖像的像素移位來得到左眼用圖像和右眼用圖像的情況，但本發(fā)明不限于這種情況。也可以是，輸入左眼用圖像和右眼用圖像，從左眼用圖像和右眼用圖像生成深度圖像。圖11是表示從左眼用圖像和右眼用圖像來生成深度圖像的圖像處理裝置1100的結(jié)構(gòu)的一例的框圖。如該圖所示，圖像處理裝置1100構(gòu)成為包括深度圖像生成部1101、深度圖像變換部101、像素移位部102、像素插補部103。與圖I所示的圖像處理裝置100的不同之處在于具有深度圖像生成部1101、以及輸入數(shù)據(jù)是左眼用圖像和右眼用圖像。深度圖像生成部1101具有從左眼用圖像和右眼用圖像來生成深度圖像的功能。具體地講，首先對左眼用圖像和右眼用圖像之間的各個像素進行對應(yīng)點搜索。并且，按照左眼用圖像與右眼用圖像的對應(yīng)點的位置關(guān)系，根據(jù)三角測量的原理計算被攝體的進深方向的距離。深度圖像是利用8比特的亮度來表示各個像素的進深的灰度圖像，深度圖像生成部1101將計算出的被攝體的進深方向的距離變換為O 255的256灰度的值。另外，在搜索對應(yīng)點時大致劃分為區(qū)域基準映射法和特征基準映射法這兩種方法，可以采用任一種方法，區(qū)域基準映射法是在關(guān)注點的周圍設(shè)定小區(qū)域，根據(jù)該區(qū)域中的像素值的濃淡圖案進行搜索，特征基準映射法是從圖像中抽取邊緣等特征，使在該特征之間進行對應(yīng)。另外，也可以是，圖像處理裝置1100在生成深度圖像后變更所生成的深度圖像所表示的值，由此變更進深方向的距離。由此，能夠輸出與由所輸入的左眼用圖像和右眼用圖像的組構(gòu)成的立體視覺圖像不同的立體視覺強度的左眼用圖像和右眼用圖像。圖像處理裝置1100在這樣通過變更深度圖像所表示的值來變更立體視覺強度的情況下，能夠防止重新生成后的立體視覺圖像變模糊及變形。《實施方式2》實施方式2的圖像處理裝置與實施方式I的圖像處理裝置100同樣地，使深度圖像的邊緣位置向后景側(cè)移動，使用邊緣位置移動后的深度圖像進行像素移位處理，然后對通過像素移位而產(chǎn)生的像素值不存在的缺失區(qū)域進行插補，但是與實施方式I的圖像處理裝置100的不同之處在于，在進行邊緣位置移動處理時計算后景側(cè)的像素的復(fù)雜度，以后景側(cè)的像素的復(fù)雜度為規(guī)定的閾值以下為條件來進行邊緣移動處理。由于僅限于后景對象不復(fù)雜、而且像素變化比較單調(diào)的情況下進行邊緣移動處理，因而能夠防止復(fù)雜的后景對象被拉伸而導(dǎo)致圖像整體的畫質(zhì)惡化。圖12是表示實施方式2的圖像處理裝置1200的結(jié)構(gòu)的一例的框圖。另外，對與圖I所示的實施方式I的圖像處理裝置100的結(jié)構(gòu)相同的部分標注相同的標號。如該圖所示，圖像處理裝置1200構(gòu)成為包括復(fù)雜度計算部1201、深度圖像變換部1202、像素移位部102、像素插補部103。復(fù)雜度計算部1201具有計算構(gòu)成圖像數(shù)據(jù)的各個像素的復(fù)雜度的功能。具體地講，計算鄰接像素的像素值的差分的絕對值的總和作為復(fù)雜度的特征量。深度圖像變換部1202具有這樣的功能以后景側(cè)的像素的復(fù)雜度為規(guī)定的閾值以下為條件，使所輸入的深度圖像的邊緣位置向后景側(cè)移動。
圖13是表示圖像處理裝置1200的輸入數(shù)據(jù)即圖像數(shù)據(jù)的一例的圖。在該圖中，對象1300是像素變化比較單調(diào)的對象，對象1301是像素變化比較復(fù)雜的對象。并且，對象1300位于前景側(cè)，對象1301位于后景側(cè)。針對這種圖像數(shù)據(jù)的深度圖像，在使邊緣位置向后景側(cè)即對象1301側(cè)移動，并使用邊緣位置移動后的深度圖像進行了像素移位處理的情況下，在對象1301之間產(chǎn)生像素缺失區(qū)域。在對該像素缺失區(qū)域進行了像素插補的情況下，復(fù)雜的后景對象被拉伸。即，如圖14所示，形成為復(fù)雜的后景對象變模糊且變形的圖像，圖像整體的畫質(zhì)惡化。本實施方式的深度圖像變換部1202僅限于后景對象不復(fù)雜而且像素變化比較單調(diào)的情況下進行邊緣移動處理，由此防止復(fù)雜的后景對象被拉伸并導(dǎo)致圖像整體的畫質(zhì)惡化。關(guān)于像素移位部102、像素插補部103是與實施方式I的圖像處理裝置100相同的結(jié)構(gòu)，因而省略說明。下面，說明與實施方式I不同的深度圖像變換處理。圖15是表示實施方式2的深度圖像變換處理的流程的流程圖。另外，對與圖10所示的實施方式I的圖像處理裝置100的動作相同的部分標注相同的標號。如該圖所示，深度圖像變換部1202首先從所輸入的深度圖像取得處理像素位置的進深的值(A)(步驟S1001)。然后，復(fù)雜度計算部1201生成處理像素位置的復(fù)雜度數(shù)據(jù)(步驟S1501)。在步驟S1501之后，深度圖像變換部1202從所輸入的深度圖像取得處理像素位置的左I像素的進深的值(B)(步驟S1002)。并且，復(fù)雜度計算部1201生成處理像素位置的左I像素的復(fù)雜度數(shù)據(jù)(步驟S1502)。深度圖像變換部1202判定處理像素位置的左I像素的進深的值(B)與處理像素位置的進深的值(A)之差分是否為規(guī)定的閾值(α)以上(a ^B-A)(步驟S1003)。在差分是α以上的情況下(步驟S1003:是)，深度圖像變換部1202判定后景側(cè)的像素的復(fù)雜度的值是否為規(guī)定的閾值(Y )以上(步驟S1503)。在后景側(cè)的像素的復(fù)雜度的值不是Y以上的情況下(步驟S1503:是)，判定為后景對象不復(fù)雜，深度圖像變換部1202使邊緣位置向右(后景側(cè))移位N像素(步驟S1004)。在后景側(cè)的像素的復(fù)雜度的值是Y以上的情況下(步驟S1503:是)，判定為后景對象比較復(fù)雜，深度圖像變換部1202不進行像素移位處理。針對構(gòu)成圖像數(shù)據(jù)的全部像素反復(fù)進行以上從步驟SlOOl到步驟S1503的處理。以上是深度圖像變換處理的說明。根據(jù)如上所述的本實施方式，僅限于后景對象不復(fù)雜而且像素變化比較單調(diào)的情況下進行邊緣移動處理，因而能夠防止復(fù)雜的后景對象被拉伸而導(dǎo)致圖像整體的畫質(zhì)惡化?！秾嵤┓绞?》實施方式3的圖像處理裝置與實施方式I的圖像處理裝置100同樣地，使深度圖像的邊緣位置向后景側(cè)移動，使用邊緣位置移動后的深度圖像進行像素移位處理，然后對通過像素移位而產(chǎn)生的像素值不存在的缺失區(qū)域進行插補，但是在進行邊緣位置移動處理時計算前景側(cè)的像素的復(fù)雜度和后景側(cè)的像素的復(fù)雜度，將計算出的前景側(cè)的像素 的復(fù)雜度和后景側(cè)的像素的復(fù)雜度進行比較。并且，以前景側(cè)的像素的復(fù)雜度高于后景側(cè)的像素的復(fù)雜度為條件來進行邊緣移動處理。由于僅限于前景對象比后景對象復(fù)雜的情況下使邊緣位置向后景側(cè)移動，因而能夠防止比前景對象復(fù)雜的對象被拉伸而導(dǎo)致畫質(zhì)惡化。圖16是表示實施方式3的深度圖像變換處理的流程的流程圖。另外，對與圖15所示的實施方式2的深度圖像變換處理相同的部分標注相同的標號。如該圖所示，深度圖像變換部1202首先從所輸入的深度圖像取得處理像素位置的進深的值(A)(步驟S1001)。然后，復(fù)雜度計算部1201生成處理像素位置的復(fù)雜度數(shù)據(jù)(步驟S1501)。在步驟S1501之后，深度圖像變換部1202從所輸入的深度圖像取得處理像素位置的左I像素的進深的值(B)(步驟S1002)。并且，復(fù)雜度計算部1201生成處理像素位置的左I像素的復(fù)雜度數(shù)據(jù)(步驟 S1502)。深度圖像變換部1202判定處理像素位置的左I像素的進深的值(B)與處理像素位置的進深的值(A)之差分是否為規(guī)定的閾值(α)以上(a ^B-A)(步驟S1003)。在差分是α以上的情況下(步驟S1003:是)，深度圖像變換部1202進行前景側(cè)的像素的復(fù)雜度與后景側(cè)的像素的復(fù)雜度的比較(步驟S1601)。在前景側(cè)的像素的復(fù)雜度大于后景側(cè)的像素的復(fù)雜度的情況下(步驟S1601 :是)，深度圖像變換部1202使邊緣位置向右(后景側(cè))移位N像素(步驟S1004)。在前景側(cè)的像素的復(fù)雜度不大于后景側(cè)的像素的復(fù)雜度的情況下(步驟S1601 :否)，深度圖像變換部1202不進行像素移位處理。針對構(gòu)成圖像數(shù)據(jù)的全部像素反復(fù)進行以上從步驟S1001到步驟S1601的處理。以上是深度圖像變換處理的說明。根據(jù)如上所述的本實施方式，僅限于后景對象不比前景對象復(fù)雜而且像素變化比較單調(diào)的情況下進行邊緣移動處理，因而能夠防止比前景對象復(fù)雜的后景對象被拉伸而導(dǎo)致圖像整體的畫質(zhì)惡化?！秾嵤┓绞?》實施方式4的圖像處理裝置與實施方式I的圖像處理裝置100同樣地，使深度圖像的邊緣位置向后景側(cè)移動，使用邊緣位置移動后的深度圖像進行像素移位處理，然后對通過像素移位而產(chǎn)生的像素值不存在的缺失區(qū)域進行插補，但是其特征在于參照前面的幀的復(fù)雜度來進行邊緣位置的移動處理。由此，能夠防止以I幀單位交替地顯示前景對象通過插補而模糊變形的圖像、后景對象通過插補而模糊變形的圖像，防止由于產(chǎn)生閃爍而導(dǎo)致的動態(tài)圖像的畫質(zhì)惡化。圖17是表示實施方式4的圖像處理裝置1700的結(jié)構(gòu)的一例的框圖。另外，對與圖12所示的實施方式I的圖像處理裝置1200的結(jié)構(gòu)相同的部分標注相同的標號。如該圖所示，圖像處理裝置1700構(gòu)成為包括復(fù)雜度存儲部1701、深度圖像變換部1702、復(fù)雜度計算部1201、像素移位部102、像素插補部103。復(fù)雜度存儲部1701具有存儲I幀前的前景對象的各個像素比后景側(cè)的像素復(fù)雜還是不復(fù)雜的功能。在前景對象的各個像素比后景側(cè)的像素復(fù)雜的情況下存儲值I。在前景對象的各個像素不比后景側(cè)的像素復(fù)雜的情況下存儲值O。深度圖像變換部1702具有參照前面幀的復(fù)雜度來進行邊緣位置的移動處理的功能。具體地講，在I幀中的處理像素位置的像素不比后景側(cè)的像素復(fù)雜的情況下，不進行邊緣位置的移動處理。在邊緣位置以I幀單位交替地從前景側(cè)向后景側(cè)移動的情況下，將交替地顯示前景對象通過插補而模糊變形的圖像、后景對象通過插補而模糊變形的圖像，并產(chǎn)生閃爍，使得動態(tài)圖像的畫質(zhì)惡化。本實施方式的深度圖像變換部1702參照前面幀的復(fù)雜度來進行 邊緣位置的移動處理，因而能夠防止邊緣位置以I幀單位交替地從前景側(cè)向后景側(cè)移動，防止由于閃爍而導(dǎo)致的動態(tài)圖像的畫質(zhì)惡化。關(guān)于復(fù)雜度計算部1201、像素移位部102、像素插補部103是與實施方式2的圖像處理裝置1200相同的結(jié)構(gòu)，因而省略說明。下面說明與實施方式2不同的深度圖像變換處理。圖18是表示實施方式4的深度圖像變換處理的流程的流程圖。另外，對與圖15所示的實施方式2的深度圖像變換處理相同的部分標注相同的標號。如該圖所示，深度圖像變換部1702首先從所輸入的深度圖像取得處理像素位置的進深的值(A)(步驟S1001)。然后，復(fù)雜度計算部1201生成處理像素位置的復(fù)雜度數(shù)據(jù)(步驟S1501)。在步驟S1501之后，深度圖像變換部1702從所輸入的深度圖像取得處理像素位置的左I像素的進深的值(B)(步驟S1002)。并且，復(fù)雜度計算部1201生成處理像素位置的左I像素的復(fù)雜度數(shù)據(jù)(步驟S1502)。深度圖像變換部1702判定處理像素位置的左I像素的進深的值(B)與處理像素位置的進深的值(A)之差分是否為規(guī)定的閾值(α)以上(a ^B-A)(步驟S1003)。在差分不是α以上的情況下(步驟S1003:否)，復(fù)雜度存儲部1701對處理像素位置存儲O (步驟 S1801)。在差分是α以上的情況下(步驟S1003 :是)，深度圖像變換部1702進行前景側(cè)的像素的復(fù)雜度與后景側(cè)的像素的復(fù)雜度的比較(步驟S1601)。在前景側(cè)的像素的復(fù)雜度不大于后景側(cè)的像素的復(fù)雜度的情況下(步驟S1601 :否)，復(fù)雜度存儲部1701對處理像素位置存儲O (步驟S1801)。在前景側(cè)的像素的復(fù)雜度大于后景側(cè)的像素的復(fù)雜度的情況下(步驟S1601 是)，深度圖像變換部1702參照前一幀的復(fù)雜度存儲部1701的處理像素位置的數(shù)據(jù)(步驟S1802)。在前一幀的復(fù)雜度存儲部1701的處理像素位置的數(shù)據(jù)是O的情況下(步驟S1802 是)，不進行邊緣位置的移動，復(fù)雜度存儲部1701對處理像素位置存儲值I (步驟S1803)。在前一幀的復(fù)雜度存儲部1701的處理像素位置的數(shù)據(jù)不是O的情況下(步驟S1802 :否)，深度圖像變換部1702使邊緣位置向右(后景側(cè))移位N像素(步驟S1004)。然后，復(fù)雜度存儲部1701對處理像素位置存儲值I (步驟S1803)。針對構(gòu)成圖像數(shù)據(jù)的全部像素反復(fù)進行以上從步驟SlOOl到步驟S1803的處理。以上是深度圖像變換處理的說明。根據(jù)如上所述的本實施方式，通過參照前面幀的復(fù)雜度來進行邊緣位置的移動處理，能夠防止以幀單位交替地顯示前景對象通過插補而模糊變形的圖像、后景對象通過插補而模糊變形的圖像，防止由于閃爍而導(dǎo)致的動態(tài)圖像的畫質(zhì)惡化?！秾嵤┓绞?》實施方式5的圖像處理裝置與實施方式I的圖像處理裝置100同樣地，使深度圖像的邊緣位置向后景側(cè)移動，使用邊緣位置移動后的深度圖像進行像素移位處理，然后對通過像素移位而產(chǎn)生的像素值不存在的缺失區(qū)域進行插補，但是其特征在于指定處理范圍并針對所指定的處理范圍來進行邊緣位置的移動處理。圖19是表示實施方式5的圖像處理裝置1900的結(jié)構(gòu)的一例的框圖。另外，對與 圖I所示的實施方式的圖像處理裝置100的結(jié)構(gòu)相同的部分標注相同的標號。如該圖所示，圖像處理裝置1900構(gòu)成為包括處理范圍選擇部1901、深度圖像變換部1902、像素移位部102、像素插補部103。處理范圍選擇部1901具有指定進行深度圖像變換處理的圖像范圍的功能。圖20是表示由處理范圍選擇部1901選擇的圖像范圍的一例的圖。在該圖的示例中，將除右上部的窗ロ區(qū)域2001之外的區(qū)域指定為處理范圍。在這種情況下，不對窗ロ區(qū)域2001進行基于深度圖像變換處理的邊緣位置的移動。深度圖像變換部1902具有對由處理范圍選擇部1901指定的圖像范圍進行深度圖像變換處理的功能。在圖20的示例中，深度圖像變換部1902輸出對除窗ロ區(qū)域2001之外的區(qū)域進行了邊緣移動的深度圖像。 關(guān)于像素移位部102、像素插補部103是與實施方式I的圖像處理裝置100相同的結(jié)構(gòu)，因而省略說明。根據(jù)如上所述的本實施方式，能夠指定進行邊緣移動處理的圖像范圍來生成多視點的圖像?！秾嵤┓绞?》實施方式6的圖像處理裝置與實施方式I的圖像處理裝置100同樣地，使深度圖像的邊緣位置向后景側(cè)移動，使用邊緣位置移動后的深度圖像進行像素移位處理，然后對通過像素移位而產(chǎn)生的像素值不存在的缺失區(qū)域進行插補，但是其特征在于，深度圖像變換部在進行深度圖像的邊緣位置移動后，還對構(gòu)成邊緣的像素進行平滑處理。圖21是表示實施方式6的圖像處理裝置的深度圖像變換部進行的深度圖像變換的圖。圖21是表示對圖3所示的深度圖像進行了深度圖像變換處理時的深度圖像的圖。如該圖所示，深度圖像變換部在使邊緣位置向后景側(cè)移動N像素后，對構(gòu)成邊緣的像素進行平滑處理。具體地講，通過高斯濾波使邊緣變平滑。由此，能夠縮小通過像素移位處理而產(chǎn)生的像素缺失區(qū)域的尺寸。像素插補的對象減少，能夠抑制由于像素插補而形成的畫質(zhì)惡化。圖22是表示實施方式6的深度圖像變換處理的流程的流程圖。另外，對與圖10所示的實施方式I的圖像處理裝置100的動作相同的部分標注相同的標號。如該圖所示，深度圖像變換部101首先從所輸入的深度圖像取得處理像素位置的進深的值(A)(步驟S1001)。然后，深度圖像變換部101從所輸入的深度圖像取得處理像素位置的左I像素的進深的值(B)(步驟S1002)。并且，深度圖像變換部101判定處理像素位置的左I像素的進深的值(B)與處理像素位置的進深的值(A)之差分是否為規(guī)定的閾值(α )以上(α 含 B — Α)(步驟 S1003)。在差分是α以上的情況下(步驟S1003 :是)，深度圖像變換部101使邊緣位置移位N像素(步驟S1004)。在邊緣位置移動后，深度圖像變換部101對構(gòu)成邊緣的像素實施平滑處理(步驟S2201)。在差分不是α以上的情況下(步驟S1003 :否)，深度圖像變換部101不對該像素進行邊緣位置的移位。對構(gòu)成圖像數(shù)據(jù)的全部像素反復(fù)進行以上從步驟S1001到步驟S1004的處理。以上是深度圖像變換處理的說明。根據(jù)如上所述的本實施方式，在使邊緣位置向后景側(cè)移位N像素后，對構(gòu)成邊緣的像素實施平滑處理。由此，能夠縮小通過像素移位處理而產(chǎn)生的像素缺失區(qū)域的尺寸。像 素插補的對象減少，能夠抑制由于像素插補而形成的畫質(zhì)惡化?！秾嵤┓绞?》實施方式7的圖像處理裝置與實施方式I的圖像處理裝置100同樣地，使深度圖像的邊緣位置向后景側(cè)移動，使用邊緣位置移動后的深度圖像進行像素移位處理，然后對通過像素移位而產(chǎn)生的像素值不存在的缺失區(qū)域進行插補，但是不同之處在于，根據(jù)用戶操作來決定、變更用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N。圖23是表示實施方式7的圖像處理裝置2300的結(jié)構(gòu)的一例的框圖。另外，對與圖I所示的實施方式I的圖像處理裝置100的結(jié)構(gòu)相同的部分標注相同的標號。如該圖所示，圖像處理裝置2300構(gòu)成為包括深度圖像變換部101、像素移位部102、像素插補部103、操作部2301和寄存器2302。操作部2301具有受理用戶的操作輸入的功能。具體地講，是受理用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N的值的輸入等。寄存器2302具有存儲由操作部2301輸入的用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N的值的功能。深度圖像變換部101讀出在寄存器2302中存儲的用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N，并進行深度圖像的變換。圖24是表示由操作部2301進行的參數(shù)的受理處理的流程的流程圖。如該圖所示，操作部2301首先向用戶提示如圖25所示的設(shè)定菜單畫面(步驟
S2401)。在圖25所示的例子中，是從“效果低”、“效果中”、“效果高”這三檔中選擇深度圖像變換的效果的程度的菜單畫面。在用戶選擇了“效果低”的情況下，α =8、N= 2像素的參數(shù)被存儲在寄存器2302中。并且，在用戶選擇了“效果中”的情況下，α =16、Ν = 3像素的參數(shù)被存儲在寄存器2302中。并且，在用戶選擇了“效果高”的情況下，α =32、N=4像素的參數(shù)被存儲在寄存器2302中。在顯示了設(shè)定菜單畫面后，操作部2301判定用戶是否輸入了上下左右按鍵(步驟S2402)。在輸入了上下左右按鍵的情況下(步驟S2402 :是)，操作部2301使高亮處(highlight)按照按鍵方向移動(步驟S2403)。在沒有輸入上下左右按鍵的情況下(步驟S2402 :否)，操作部2301判定是否在復(fù)選框上按下了確定鍵(步驟S2404)。在復(fù)選框上按下了確定鍵的情況下(步驟S2404 :是)，操作部2301進行復(fù)選框的復(fù)選(步驟S2405)。在沒有按下確定鍵的情況下(步驟S2404 :否)，操作部2301判定是否按下了 OK按鈕中的確定鍵(步驟S2406)。
在沒有按下確定鍵的情況下(步驟S2406 :否)，操作部2301判定是否按下了取消按鈕中的確定鍵(步驟S2407)。在按下了 OK按鈕中的確定鍵的情況下(步驟S2406 :是)，將復(fù)選的值存儲在寄存器2302中(步驟S2408)。另外，以上說明了用戶從“效果低”、“效果中”、“效果高”這三檔中選擇深度圖像變換的效果的程度的情況，但用戶也可以直接輸入用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N的值。并且，也可以是，用戶不輸入用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N的值，而是判定ニ維圖像的類別，將基于該判定結(jié)果的用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N存儲在寄存器2302中。圖26是表示圖像處理裝置2600的結(jié)構(gòu)的一例的框圖。另外，對與圖I所示的實施方式I的圖像處理裝置100的結(jié)構(gòu)相同的部分標注相同的標號。如該圖所示，圖像處理裝置2600構(gòu)成為包括深度圖像變換部101、像素移位部102、像素插補部103、判定部2601和寄存器2302。判定部2601具有這樣的功能判定所輸入的ニ維圖像數(shù)據(jù)的類別，根據(jù)該判定結(jié)果來確定用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N的值。將所確定的參數(shù)α和N存儲在寄存器2302中。判定部2601分析所輸入的ニ維圖像數(shù)據(jù)，例如判定“人物”、“風景”、“動畫”這樣的圖像的類別。在判定圖像的類別時，例如通過抽取膚色等，能夠判定ニ維圖像數(shù)據(jù)中所攝入的被攝體是否是人物。并且，判定部2601根據(jù)圖像類別的判定結(jié)果，確定用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N的值。例如，對于攝入了人物的圖像數(shù)據(jù)，認為想要大幅飛出地顯示人物等，因而確定為深度圖像變換的效果的程度較高的參數(shù)例如α = 32, N = 4像素。另外，對于風景的圖像數(shù)據(jù)，認為飛出量比攝入了人物的圖像數(shù)據(jù)低，因而確定為深度圖像變換的效果的程度較低的參數(shù)例如α =8、Ν=2像素。根據(jù)如上所述的本實施膚色，通過由用戶選擇用于規(guī)定深度圖像數(shù)據(jù)中的邊緣的參數(shù)α、以及用于規(guī)定使深度圖像的邊緣移動的像素數(shù)的參數(shù)N的值，能夠按照期望的深度圖像變換的效果來進行圖像的處理。
《變形例》以上根據(jù)上述的實施方式進行了說明，但是本發(fā)明當然不限于上述的實施方式。諸如以下所述的情況也包含于本發(fā)明中。(a)本發(fā)明也可以是在各個實施方式中說明的處理步驟所公開的應(yīng)用執(zhí)行方法。并且，也可以是包括使計算機按照所述處理步驟進行工作的程序代碼的計算機程序。(b)本發(fā)明也可以構(gòu)成為進行應(yīng)用執(zhí)行控制的1C、LSI等其它集成電路的封裝體。圖27是表示使用LSI來具體實現(xiàn)本發(fā)明的ー個方式的圖像處理裝置的示例。如該圖所示，LSI 2700例如構(gòu)成為包括CPU 2701 (中央處理裝置Central Processing Unit)、DSP 2702 (數(shù)字信號處理器Digital SignalProcessor)、ENC/DEC 2703 (編碼器/解碼器Encoder/Decoder)、VIF 2704 (視頻接ロ Video Interface)、PERI 2705 (外圍設(shè)備接ロ PeripheralInterface)、NIF 2706 (網(wǎng)絡(luò)接 ロ Network Interface)、MIF 2707 (存儲器接 ロ Memory Interface)、RAM/R0M 2708 (隨機存取存儲器/ 只讀存儲器Random Access Memory/Read Only Memory入在各個實施方式中說明的處理步驟被作為程序代碼存儲在RAM/R0M2708中。并且，被存儲在RAM/R0M 2708中的程序代碼通過MIF 2707被讀出，并由CPU 2701或者DSP2702執(zhí)行。由此，能夠?qū)崿F(xiàn)在各個實施方式中說明的圖像處理裝置的功能。并且，VIF 2704與照相機(L)2712和照相機(R)2713等攝像裝置、或LCD2714 (液晶顯示器Liquid Crystal Display)等顯示裝置連接,進行立體視覺圖像或者立體視覺影像的取得或者輸出。并且，ENC/DEC 2703進行所取得或者生成的立體視覺圖像或者立體視覺影像的編碼/解碼。并且，PERI 2705與Touch Panel (觸摸屏)2710等操作裝置連接，進行這些外圍設(shè)備的控制。并且，NIF 2706與MODEM (調(diào)制解調(diào)器)2709等連接，實現(xiàn)與外部網(wǎng)絡(luò)的連接。該封裝體被裝配在各種裝置中以供使用，由此各種裝置實現(xiàn)在各個實施方式中示出的各種功能。并且，集成電路化的方法不限于LSI，也可以利用專用電路或者通用處理器來實現(xiàn)。也可以采用在制作LSI后能夠編程的現(xiàn)場可編程門陣列(FPGA:FieldProgrammable Gate Array)、能夠重構(gòu)架LSI內(nèi)部的電路單元的連接和設(shè)定的可重構(gòu)處理器(reconfigurableprocessor)。另外，如果伴隨半導(dǎo)體技術(shù)的發(fā)展或利用派生的其他技術(shù)替換LSI的集成電路化的技術(shù)問世，當然也可以使用該技術(shù)進行功能単元的集成化。還存在適用生物技術(shù)等的可能性。另外，在此是形成為LSI，但根據(jù)集成度的不同，有時也稱為1C、系統(tǒng)LSI、超級(super)LSI、特級(ultra)LSI。(c)本發(fā)明也能夠作為具有上述各個實施方式記載的圖像處理裝置的數(shù)字電視機、移動電話設(shè)備、個人電腦等三維圖像顯示裝置來實現(xiàn)。并且，也能夠作為具有上述各個實施方式記載的圖像處理裝置的BD播放器、DVD播放器等再現(xiàn)設(shè)備來實現(xiàn)。在這種情況下，作為處理對象的ニ維圖像及深度圖像是通過廣播電波或者網(wǎng)絡(luò)等取得的。(d)在上述實施方式中說明了像素插補部通過線性插補來對像素缺失區(qū)域進行插補的情況，但本發(fā)明不限于這種情況。例如，也可以通過雙三次插值來對像素缺失區(qū)域進行插補，該雙三次插值是使用待插補的附近16像素的值進行三維插補來確定像素的值。(e)在上述實施方式中說明了復(fù)雜度計算部計算鄰接像素的像素值的差分的絕對值的總和作為復(fù)雜度的特征量的情況，但本發(fā)明不限于這種情況。例如，也可以對圖像數(shù)據(jù)進行頻率變換，計算其高頻成分作為復(fù)雜度的特征量。(f)在上述實施方式4中說明了參照前ー幀的復(fù)雜度來進行邊緣位置的移動處理的情況，但本發(fā)明不限于這種情況。例如，也可以參照前面多個幀的復(fù)雜度來進行邊緣位置的移動處理。(g)在上述實施方式6中說明了通過高斯濾波使邊緣變平滑的情況，但本發(fā)明不限于這種情況。例如，也可以通過中值濾波使深度圖像的邊緣位置變平滑。(h)在上述實施方式中說明了深度圖像是利用O 255的256灰度的亮度來表示各個像素的進深的灰度圖像的情況，但本發(fā)明不限于這種情況。例如，也可以是利用O 127的128灰度的亮度來進行表示的灰度圖像。 (i)在上述實施方式中說明了將從視聽者到顯示畫面的距離S設(shè)為顯示畫面的高度H的3倍(3H)來計算像素移位量的情況，但本發(fā)明不限于這種情況。例如，也可以利用TOF (Time of Flight :飛行時間)型傳感器等距離傳感器來計算從視聽者到顯示畫面的距離S。(j)在上述實施方式中說明了將瞳孔間距離e設(shè)為成人男性的平均值6. 4cm來計算像素移位量的情況，但本發(fā)明不限于這種情況。例如，也可以判別視聽者是大人還是小孩、是男性還是女性，根據(jù)與其對應(yīng)的瞳孔間距離e來計算像素移位量。(k)也可以將上述實施方式及上述變形例進行各種組合。產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明的圖像處理裝置，使深度圖像的進深的值不連續(xù)地變化的邊緣位置移動，井根據(jù)邊緣位置進行移動后的深度圖像進行原來的圖像數(shù)據(jù)的像素的坐標的移位以及像素缺失區(qū)域的插補，因而能夠?qū)νㄟ^像素移位處理而產(chǎn)生的像素缺失區(qū)域進行插補，而不會產(chǎn)生引起視聽者注意的前景對象的模糊變形，能夠生成與原來的圖像數(shù)據(jù)不同的視點的圖像，因此是有益的發(fā)明。標號說明100圖像處理裝置；101深度圖像變換部；102像素移位部；103像素插補部；1101深度圖像生成部；1201復(fù)雜度計算部；1701復(fù)雜度存儲部；1901處理范圍選擇部；2301操作部；2302寄存器；2601判定部。
權(quán)利要求
1.一種圖像處理裝置，通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，其特征在于， 深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深， 所述圖像處理裝置具有 深度圖像數(shù)據(jù)變更單元，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)； 像素移位單元，使用由所述深度圖像變更單元進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及 像素插補單元，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于， 所述深度圖像變更單元，使由邊緣像素組包圍的像素的坐標向被所述深度圖像數(shù)據(jù)的邊緣隔開的前景區(qū)域、后景區(qū)域之中的后景區(qū)域側(cè)移動。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有復(fù)雜度計算單元，該復(fù)雜度計算單元計算原始的圖像數(shù)據(jù)中所攝入的被攝體的復(fù)雜度， 所述深度圖像變更單元，以后景的區(qū)域的復(fù)雜度為規(guī)定的值以下為條件來執(zhí)行動作。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有復(fù)雜度計算單元，該復(fù)雜度計算單元計算原始的圖像數(shù)據(jù)中所攝入的被攝體的復(fù)雜度， 所述深度圖像變更單元，以前景的區(qū)域的復(fù)雜度高于后景的區(qū)域的復(fù)雜度為條件來執(zhí)行動作。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有復(fù)雜度存儲單元，該復(fù)雜度存儲單元存儲規(guī)定幀之前的原始的圖像數(shù)據(jù)中的復(fù)雜度， 所述深度圖像變更單元，以規(guī)定幀之前的原始的圖像數(shù)據(jù)中的前景區(qū)域的復(fù)雜度為規(guī)定的值以上為條件來執(zhí)行動作。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于， 所述深度圖像變更單元檢測與在水平方向上鄰接的像素之間的進深的值的差分為規(guī)定的值以上的像素，作為所述深度圖像數(shù)據(jù)的邊緣。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有寄存器，該寄存器存儲用于確定所述深度圖像數(shù)據(jù)中的邊緣的參數(shù)， 所述深度圖像變更單元將與在水平方向上鄰接的像素之間的進深的值的差分和在所述寄存器中存儲的參數(shù)進行比較，由此檢測所述深度圖像數(shù)據(jù)的邊緣。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于，所述圖像處理裝置還具有受理用戶操作的操作單元， 所述寄存器存儲的用于確定所述深度圖像數(shù)據(jù)中的邊緣的參數(shù)，是通過來自所述操作單元的用戶輸入而設(shè)定的。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有判定原始的圖像數(shù)據(jù)的類別的判定單元， 所述寄存器存儲的用于確定所述深度圖像數(shù)據(jù)中的邊緣的參數(shù)，是根據(jù)由所述判定單元判定的圖像數(shù)據(jù)的類別而確定的。
10.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述深度圖像變更單元還在進行由所述邊緣像素組包圍的像素的坐標的移動后，對由所述邊緣像素組包圍的像素進行平滑處理。
11.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有寄存器，該寄存器存儲用于確定使所述深度圖像的像素的坐標移動的像素數(shù)的參數(shù)， 所述深度圖像變更單元使所述深度圖像數(shù)據(jù)的由邊緣像素組包圍的像素的坐標，向規(guī)定的方向移動由所述寄存器中存儲的參數(shù)所表示的像素數(shù)。
12.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有處理范圍選擇單元，該處理范圍選擇單元選擇所述深度圖像數(shù)據(jù)之中進行深度圖像變更的圖像范圍， 所述深度圖像變更單元，針對由處理范圍選擇單元所選擇的圖像范圍來執(zhí)行動作。
13.一種圖像處理方法，通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，其特征在于， 深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深， 所述圖像處理方法包括 深度圖像數(shù)據(jù)變更步驟，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)； 像素移位步驟，使用由所述深度圖像變更步驟進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及 像素插補步驟，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。
14.一種程序，使計算機執(zhí)行圖像處理，該圖像處理通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，其特征在于， 深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深， 所述程序使計算機執(zhí)行以下步驟 深度圖像數(shù)據(jù)變更步驟，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)； 像素移位步驟，使用由所述深度圖像變更步驟進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及 像素插補步驟，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。
15.一種集成電路，在圖像處理中使用，該圖像處理通過使原始的圖像數(shù)據(jù)中的像素的坐標移位，得到產(chǎn)生由深度圖像數(shù)據(jù)所表示的進深的多視點的視點圖像數(shù)據(jù)，其特征在于，深度圖像數(shù)據(jù)由包括多個像素的像素區(qū)域構(gòu)成，深度圖像數(shù)據(jù)中的各個像素的值表示原始的圖像數(shù)據(jù)中的各個像素的進深， 所述集成電路具有 深度圖像數(shù)據(jù)變更單元，從構(gòu)成所述深度圖像數(shù)據(jù)的像素區(qū)域的內(nèi)部檢測構(gòu)成被攝體的邊緣部分的邊緣像素組，使由該邊緣像素組包圍的像素的坐標向規(guī)定的方向移動，由此變更深度圖像數(shù)據(jù)； 像素移位單元，使用由所述深度圖像變更單元進行變更后的深度圖像數(shù)據(jù)所表示的進深，確定產(chǎn)生該進深的視差量，按照與該視差量對應(yīng)的像素數(shù)使原始的圖像數(shù)據(jù)中的像素的坐標移位，由此生成與所述原始的圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)；以及 像素插補單元，對所述生成的視點圖像數(shù)據(jù)的區(qū)域之中的通過像素移位而產(chǎn)生的遮擋區(qū)域進行插補。
全文摘要
一種圖像處理裝置，深度圖像變換部(101)使所輸入的深度圖像的邊緣位置向后景側(cè)移動。像素移位部(102)根據(jù)變換后的深度圖像，使構(gòu)成圖像數(shù)據(jù)的各個像素的坐標沿水平方向進行移位，由此生成其它視點的圖像。像素插補部(103)對通過像素移位而產(chǎn)生的像素缺失區(qū)域進行插補。
文檔編號H04N13/04GK102972038SQ20128000120
公開日2013年3月13日 申請日期2012年5月17日 優(yōu)先權(quán)日2011年7月1日
發(fā)明者前田昌樹, 大谷尚毅, 野村和博 申請人:松下電器產(chǎn)業(yè)株式會社