專利名稱：視差圖像生成裝置、視差圖像生成方法、程序及集成電路的制作方法
技術領域：
本發(fā)明涉及生成用于表現(xiàn)三維圖像的視差圖像的視差圖像生成裝置、視差圖像生成方法、程序及集成電路。
背景技術：
近年來，開發(fā)了利用具有視差的多個圖像表現(xiàn)三維圖像的各種技術。在利用具有視差的多個圖像表現(xiàn)三維圖像的情況下，存在三維圖像的端部的目標(Object)在該端部附近立體感突然消失、該三維圖像的觀感非常不自然的問題。在專利文獻I中，公開了用于消除三維圖像的端部的不自然的觀感的技術(以下，稱作以往技術A)。
現(xiàn)有技術文獻專利文獻專利文獻1:特開2010-268097號公報發(fā)明概要發(fā)明要解決的問題但是，在以往技術A中，以將三維圖像的端部利用立體的框架(框)的圖像覆蓋的方式配置該框架(框)。因此，在以往技術A中，有三維圖像的顯示尺寸變小的問題。

發(fā)明內容
本發(fā)明是為了解決這樣的問題而做出的，目的是提供一種不減小三維圖像的尺寸而能夠抑制三維圖像的端部上的不自然的表現(xiàn)的視差圖像生成裝置等。用于解決問題的手段為了達到上述目的，有關本發(fā)明的一形態(tài)的視差圖像生成裝置，使用進深圖像進行處理，該進深圖像用于從處理對象的二維圖像生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像。上述進深圖像由多個進深值構成。上述視差圖像生成裝置具備進深值修正部，進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及視差圖像生成部，使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I及第2視差圖像。另外，它們的整體的或具體的形態(tài)也可以由系統(tǒng)、方法、集成電路、計算機程序或記錄介質實現(xiàn)，也可以通過系統(tǒng)、方法、集成電路、計算機程序及記錄介質的任意的組合來實現(xiàn)。發(fā)明效果通過本發(fā)明，不減小三維圖像的尺寸而能夠抑制三維圖像的端部的不自然的表現(xiàn)。


圖1是表示有關本發(fā)明的第I實施方式的三維圖像視聽系統(tǒng)的結構的一例的圖。圖2是表示有關本發(fā)明的第I實施方式的視差圖像生成裝置的結構的一例的圖。圖3是用于說明進深圖像的圖。圖4是用于說明三維圖像的圖。圖5是表示作為一例的左眼用圖像及右眼用圖像的圖。圖6是表示三維區(qū)域中的目標的配置的圖。
圖7是從ZX平面觀察三維區(qū)域中的各目標的配置位置的圖。圖8是視差圖像生成處理的流程圖。圖9是進深圖像修正處理的流程圖。圖10是用于說明進深圖像內的修正對象區(qū)域的圖。圖11是表示修正后的進深值的狀態(tài)的圖。圖12是表示作為一例的進深圖像的圖。圖13是用于說明處理對象的二維圖像內的某I線的圖。圖14是表示三維區(qū)域中的像素群的配置狀態(tài)的圖。圖15是用于說明像素的移位的圖。圖16是表示通過有關本發(fā)明的第I實施方式的視差圖像生成處理生成的左眼用圖像及右眼用圖像的圖。圖17是表示三維區(qū)域中的各目標的配置狀態(tài)的圖。圖18是表示在三維區(qū)域中通過左眼用圖像及右眼用圖像表現(xiàn)的目標的位置的立體圖。圖19是作為顯示器的視差圖像生成裝置的外觀圖。圖20A是作為數(shù)字靜像照相機的視差圖像生成裝置的外觀圖。圖20B是作為數(shù)字視頻攝像機的視差圖像生成裝置的外觀圖。圖21A是表示有關本發(fā)明的第2實施方式的記錄介質的物理格式的例子的圖。圖21B是表示有關本發(fā)明的第2實施方式的記錄介質的結構的圖。圖21C是表示有關本發(fā)明的第2實施方式的計算機系統(tǒng)的結構的圖。
具體實施例方式為了達到上述目的，有關本發(fā)明的一形態(tài)的視差圖像生成裝置，使用進深圖像進行處理，該進深圖像用于從處理對象的二維圖像，生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像。上述進深圖像由多個進深值構成。上述視差圖像生成裝置具備進深值修正部，進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及視差圖像生成部，使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I及第2視差圖像。這里，假設在三維圖像中以處于該三維圖像的端部的方式顯示了目標A。在此情況下，在通過從處理對象的二維圖像使用沒有進行上述修正處理的進深圖像來生成的兩個視差圖像表現(xiàn)的三維圖像中，目標A看起來在該三維圖像的端部中斷。
另一方面，在本形態(tài)中，進行將該進深值修正、以使得越是接近于該進深圖像的端部的進深值、則與該進深值對應的位置越接近于用于顯示視差圖像的顯示面的修正處理。并且，使用通過修正處理修正后的進深圖像生成第I及第2視差圖像。由此，在通過所生成的第I及第2視差圖像表現(xiàn)的三維圖像中，能夠抑制該目標A看起來在該三維圖像的端部中斷的不自然。因而，能夠不使該三維圖像的尺寸變小而抑制顯示在三維圖像的端部上的目標的不自然的表現(xiàn)。即，能夠不使三維圖像的尺寸變小而抑制三維圖像的端部上的不自然的表現(xiàn)。此外，也可以是，上述進深值修正部對與修正對象區(qū)域對應的多個進深值進行上述修正處理，該修正對象區(qū)域是上述進深圖像中的從該進深圖像的端部到離開L (I以上的整數(shù))個像素為止的位置的區(qū)域。
此外，也可以是，上述進深值修正部對與上述修正對象區(qū)域對應的多個進深值中的、用于在比用于顯示生成的上述第I及第2視差圖像的上述顯示面更近前側表現(xiàn)上述三維圖像內的一部分像素的進深值進行上述修正處理。此外，也可以是，上述二維圖像的水平方向的尺寸越大，則上述進深值修正部使上述L的值越大。此外，也可以是，上述進深值修正部提取包含在上述修正對象區(qū)域中的進深值中的、對應的位置向近前側最遠離上述顯示面的進深值，并與提取的進深值對應的位置向近前側越遠離上述顯示面則使上述L的值越大。此外，也可以是，上述進深值修正部對該進深圖像的左右端的上述修正對象區(qū)域及上下端的上述修正對象區(qū)域的至少一方進行上述修正處理。此外，也可以是，在上述二維圖像是在將攝像裝置平搖的期間中攝像的圖像的情況下，上述進深值修正部使該進深圖像的左右端的上述修正對象區(qū)域的上述L的值變大。此外，也可以是，在上述二維圖像是在將攝像裝置俯仰的期間中攝像的圖像的情況下，上述進深值修正部使該進深圖像的上下端的上述修正對象區(qū)域的上述L的值大。此外，也可以是，上述攝像裝置的平搖或俯仰的速度越快，則上述進深值修正部使對應的上述修正對象區(qū)域的上述L的值越大。此外，也可以是，上述進深值修正部使上述進深圖像的端部中的、位于上述攝像裝置朝向的方向的上述修正對象區(qū)域比位于相反側的上述修正對象區(qū)域大。此外，也可以是，上述進深值修正部對構成上述進深圖像的上述多個進深值中的、與該進深圖像的端部最近的進深值進行修正，以使上述最近的進深值成為用于在用于顯示上述第I及第2視差圖像的上述顯示面上表現(xiàn)像素的值。有關本發(fā)明的一形態(tài)的視差圖像生成方法，使用進深圖像進行處理，該進深圖像用于根據(jù)處理對象的二維圖像，生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像。上述進深圖像由多個進深值構成。上述視差圖像生成方法包括以下步驟進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I視差圖像及第2視差圖像。有關本發(fā)明的一形態(tài)的程序，使用進深圖像進行處理，該進深圖像用于根據(jù)處理對象的二維圖像，生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像。上述進深圖像由多個進深值構成。上述程序使計算機執(zhí)行以下步驟進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I·視差圖像及第2視差圖像。有關本發(fā)明的一形態(tài)的集成電路，使用進深圖像進行處理，該進深圖像用于根據(jù)處理對象的二維圖像，生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像。上述進深圖像由多個進深值構成。上述集成電路具備進深值修正部，進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及視差圖像生成部，使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I及第2視差圖像。另外，它們的整體的或具體的形態(tài)也可以由系統(tǒng)、方法、集成電路、計算機程序或記錄介質實現(xiàn)，也可以通過系統(tǒng)、方法、集成電路、計算機程序及記錄介質的任意的組合來實現(xiàn)。以下，參照附圖對本發(fā)明的實施方式進行說明。另外，以下說明的實施方式都是表示本發(fā)明的一具體例的。由以下的實施方式表示的數(shù)值、形狀、材料、構成要素、構成要素的配置位置及連接形態(tài)、步驟、步驟的順序等是一例，不是限定本發(fā)明的意思。此外，關于以下的實施方式的構成要素中的、記載在表示最上位概念的獨立權利要求中的構成要素，設為任意的構成要素而進行說明。此外，在以下的說明中，對于相同的構成要素賦予相同的標號。它們的名稱及功能也相同。因而，有將關于它們的詳細的說明省略的情況。(第I實施方式)圖1是表示有關本發(fā)明的第I實施方式的三維圖像視聽系統(tǒng)1000的結構的一例的圖。在圖1中，X、Y、Z方向分別相互正交。以下的圖中表示的Χ、Υ、Ζ方向也分別相互正交。如圖1所示，三維圖像視聽系統(tǒng)1000包括視差圖像生成裝置100和主動快門眼鏡200。視差圖像生成裝置100例如是等離子顯示器、液晶顯示器、有機EL顯示器等。另夕卜，視差圖像生成裝置100并不限定于上述顯示器，也可以是數(shù)字視頻攝像機、數(shù)字靜像照相機等。此外，視差圖像生成裝置100也可以是內置在顯示器或照相機等中的裝置。視差圖像生成裝置100具備用于顯示圖像的顯示面101。假設顯示面101與XY平面平行。顯示面101作為一例而能夠顯示由排列為m (自然數(shù))行η (自然數(shù))列的多個像素構成的圖像。這里，假設m及η分別是1080及1920。即，假設顯示面101能夠顯示橫1920 X縱1080像素的尺寸(以下，也稱作全HD尺寸)的圖像。以下，將顯示面101能夠顯示的圖像的尺寸也稱作可顯示尺寸。另外，可顯示尺寸并不限定于全HD尺寸，例如也可以是橫1366X縱768像素的尺寸。在本實施方式中，作為一例，視差圖像生成裝置100是通過幀順序方式顯示用于表現(xiàn)三維圖像的視差圖像的裝置。在此情況下，顯示在顯示面101上的視差圖像的尺寸等于可顯示尺寸。另外，視差圖像生成裝置100的三維圖像的顯示方式并不限定于幀順序方式。視差圖像生成裝置100的三維圖像的顯示方式例如也可以是雙凸透鏡方式。在此情況下，通過顯示在顯示面101上的圖像表現(xiàn)的三維圖像的尺寸比可顯示尺寸小。左眼用圖像21L是用于使用戶(視聽者)的左眼(以下，也稱作第I視點)觀看的圖像。右眼用圖像21R是用于使用戶的右眼(以下，也稱作第2視點)觀看的圖像。左眼用圖像21L及右眼用圖像21R是相互具有視差的二維圖像。 視差圖像生成裝置100將左眼用圖像21L及右眼用圖像21R交替地顯示到顯示面101 上。主動快門眼鏡200在顯示面101上顯示有左眼用圖像21L時，通過將用戶的右眼遮光，使左眼用圖像21L僅被用戶的左眼看到。此外，主動快門眼鏡200在顯示面101上顯示有右眼用圖像21R時，通過將用戶的左眼遮光，使右眼用圖像21R僅被用戶的右眼看到。佩戴著這樣的結構的主動快門眼鏡200的用戶能夠用左眼觀看左眼用圖像21L，能夠用右眼觀看右眼用圖像21R。由此，用戶能夠觀看由左眼用圖像21L及右眼用圖像21R表現(xiàn)的三維圖像。另外，如上述那樣，三維圖像的顯示方式并不限定于使用主動快門眼鏡200的幀順序方式。例如，三維圖像的顯示方式也可以是使用偏光眼鏡的方式。此外，例如，三維圖像的顯示方式也可以是使用視差屏障、柱透鏡光柵等的方式。圖2是表示有關本發(fā)明的第I實施方式的視差圖像生成裝置100的結構的一例的圖。如圖2所示，視差圖像生成裝置100具備進深值修正部110和視差圖像生成部120。進深值修正部110進行使用進深圖像的處理，詳細在后面敘述。進深圖像例如相當于深度圖。進深圖像是為了從處理對象的二維圖像生成作為視差圖像的左眼用圖像及右眼用圖像而使用的圖像。即，進深圖像是用于從處理對象的二維圖像生成相互具有視差的兩個視差圖像的圖像。這兩個視差圖像(左眼用圖像及右眼用圖像)是為了表現(xiàn)三維圖像而需要的圖像。圖3是用于說明進深圖像的圖。進深圖像由多個進深值構成。多個進深值分別相當于構成進深圖像的多個像素的像素值。如圖3所示，構成進深圖像的多個進深值以矩陣狀配置。例如，z [mn]表示在進深圖像中與m行n列對應的像素的進深值。即，z [mn]表示進深圖像中的坐標(n，m)的像素的進深值。此外，例如z [12]表示在進深圖像中與I行2列對應的像素的進深值。在本實施方式中，作為一例，進深值用-1 I的范圍表示。
另外，進深值并不限定于-1 I的范圍，例如也可以用O 255的范圍表示。圖4是用于說明三維圖像的圖。圖4 (a)是表示作為一例的二維圖像10的圖。二維圖像10是在生成用于表現(xiàn)三維圖像的視差圖像的情況下成為處理對象的圖像。在圖4 (a)所示的二維圖像10中，配置有3個目標(被攝體)11、12、13。圖4 (b)表示作為一例的進深圖像D10。進深圖像DlO是用于從處理對象的二維圖像10生成相互有視差的兩個視差圖像的圖像。這兩個視差圖像是左眼用圖像20L及右眼用圖像20R、或后述的左眼用圖像21L及右眼用圖像21R。二維圖像10的尺寸(分辨率)與進深圖像DlO的尺寸(分辨率)相同。以下，將構成進深圖像的多個像素分別也稱作進深像素。進深像素表示進深值。即，進深圖像由多個進深值構成。 進深圖像DlO由表示進深值的多個進深像素構成。構成進深圖像DlO的各進深像素表示二維圖像10中的與該進深像素的坐標相同的坐標的像素的進深值。例如，進深圖像DlO中的坐標(X，y)的像素表示二維圖像10中的坐標(X，y)的像素的進深值。即，二維圖像10是與進深圖像DlO對應的圖像。此外，二維圖像10中的坐標(X，y)的像素是與進深圖像DlO的坐標(X，y)的進深值對應的像素。在進深圖像DlO中，作為一例，越是接近于白色的進深像素，表示用于表現(xiàn)與該進深像素對應的三維圖像內的像素越位于從顯示面101更近前側的進深值。在進深圖像DlO中，作為一例，越是接近于黑色的進深像素，表示用于表現(xiàn)與該進深像素對應的三維圖像內的像素越位于從顯示面101更里側的進深值。進深圖像DlO表示進深圖像D11、D12、D13。構成進深圖像Dll的多個像素分別表示構成目標11的多個像素的進深值。進深圖像D12、D13也與進深圖像Dll是同樣的。通過使用進深圖像的DIBR (Depth Image Based Rendering :基于深度圖像的繪制)法等，從二維圖像生成左眼用圖像及右眼用圖像，詳細在后面敘述。圖5是表示作為一例的左眼用圖像20L及右眼用圖像20R的圖。另外，假設左眼用圖像20L及右眼用圖像20R是沒有被實施本發(fā)明的處理的圖像。圖5 (a)是表示作為一例的左眼用圖像20L的圖。左眼用圖像20L包括將二維圖像10的各像素根據(jù)對應的多個進深值而移動(移位)后的目標11、12、13。圖5 (b)是表示作為一例的右眼用圖像20R的圖。右眼用圖像20R包括將二維圖像10的各像素根據(jù)對應的多個進深值而移動(移位)后的目標11、12、13。這里，假設用戶使用上述主動快門眼鏡200，用左眼觀看左眼用圖像20L，并用右眼觀看右眼用圖像20R。在此情況下，用戶能夠如在圖6中用虛線的長方體表示的三維區(qū)域RlO中目標11、12、13分別配置在圖6所示的位置那樣感到立體感。三維區(qū)域RlO是能夠通過多個視差圖像(例如左眼用圖像及右眼用圖像)對用戶表現(xiàn)三維圖像的區(qū)域。在此情況下，用戶感到在目標11的左端部(即，目標11的三維區(qū)域RlO外的部分)附近，該目標11的立體感突然消失。實際上，由用戶看起來目標11的位于三維區(qū)域RlO外的部分閃爍。在圖6中，三維區(qū)域RlO的Z軸方向表示進深值。即，進深值表示用于在三維區(qū)域RlO (三維空間)中表現(xiàn)三維圖像的各像素的位置。三維區(qū)域RlO作為一例而用-1 I的范圍的進深值表現(xiàn)。此外，在圖6中，顯示面101是視差零面。視差零面，是指顯示在視差零面上的左眼用圖像及右眼用圖像的相同位置的像素的視差為零的面。以下，將與視差零面對應的進深值也稱作視差零進深值。在圖6中，作為一例而將Z軸方向上的顯示面101 (視差零面)的位置的視差零進深值用0表現(xiàn)。另外，視差零面的位置的進深值也可以用0以外的數(shù)值表現(xiàn)。此外，在圖6中，作為一例而將Z軸方向上的比顯示面101更近前側的進深值用負值表現(xiàn)。進而，在圖6中，作為一例而將Z軸方向上的比顯示面更里側的進深值用正值表現(xiàn)。圖7是從ZX平面觀察三維區(qū)域RlO中的各目標的配置位置的圖。圖7作為一例而表示在用戶的左眼及右眼配置在X軸上的情況下的各視點與各目標的配置關系。
視點SO是將顯示面101 (視差零面)的中央的位置投影到X軸上的位置。視點SI相當于用戶的左眼的位置。視點S2相當于用戶的右眼的位置。三維區(qū)域RlO中的線Lll與線L12之間的區(qū)域是從視點SI看顯示面101的情況下表現(xiàn)的圖像(例如，左眼用圖像20L)。此外，三維區(qū)域RlO中的線L21與線L22之間的區(qū)域是在從視點S2看顯示面101的情況下表現(xiàn)的圖像(例如，右眼用圖像20R)。接著，對本實施方式的用于生成視差圖像的處理(以下，稱作視差圖像生成處理)進行說明。這里，假設視差圖像生成部120取得處理對象的二維圖像10。此外，假設圖2的進深值修正部110取得與二維圖像10對應的進深圖像DlO。圖8是視差圖像生成處理的流程圖。視差圖像生成處理相當于視差圖像生成方法。在步驟SllO中，進行進深圖像修正處理。圖9是進深圖像修正處理的流程圖。在步驟Slll中，進深值修正部110將構成處理對象的進深圖像的多個像素中的I個像素設定為處理對象像素(以下，也稱作處理對象進深像素)。以下，將處理對象進深像素所表示的進深值也表述為進深值z或z。并且，進深值修正部110判斷處理對象進深像素所表示的進深值是否是躍出值。這里，所謂躍出值，是用于將與處理對象進深像素所表示的進深值對應的三維圖像內的像素表現(xiàn)在比視差零面更近前側的位置上的值。這里，假設與視差零面對應的視差零進深值為0作為一例。此外，假設進深值以-1 I的范圍表示。在此情況下，躍出值是-1 <躍出值〈O的范圍的值。在步驟Slll中，如果是“是”，則處理轉移到步驟S112。另一方面，在步驟Slll中，如果是“否”，則對當前的處理對象進深像素的處理結束。在步驟Slll的處理中，每次將不同的像素設定為處理對象進深像素。在步驟SI 12中，進深值修正部110判斷處理對象進深像素是否是修正對象區(qū)域內的像素。修正對象區(qū)域是進深圖像內的區(qū)域。圖10是用于說明進深圖像內的修正對象區(qū)域的圖。圖10所示的進深圖像作為一例而假設為進深圖像D10。另外，在圖10中，為了圖的簡單化，沒有表示進深圖像DlO所示的圖像。修正對象區(qū)域的寬度L通過由進深值修正部110對進深圖像的寬度W乘以規(guī)定的系數(shù)k (0〈k〈l)來計算。假設k例如是0.1 (或0.05)。在進深圖像的寬度例如是1920像素的情況下，L為192像素(96像素)。另外，并不限定于上述，修正對象區(qū)域的寬度L也可以通過由進深值修正部110對處理對象的二維圖像的寬度乘以系數(shù)k來計算。這里，處理對象的二維圖像的寬度與處理對象的進深圖像的寬度W相等。S卩，進深值修正部110基于二維圖像或進深圖像的水平方向的尺寸計算L的值。更具體地講，二維圖像或進深圖像的水平方向的尺寸越大，則進深值修正部110使L的值越大。在進深圖像中配置修正對象區(qū)域R21、R22。修正對象區(qū)域R21是進深圖像中的從進深圖像的左端到離開距離L的位置為止的區(qū)域。這里，假設距離L與在X方向上連續(xù)排列的L (I以上的整數(shù))個像素的寬度相等。即，修正對象區(qū)域R21是進深圖像中的從該進深圖像的左端到離開L個像素的位置為止的區(qū)域。 修正對象區(qū)域R22是從進深圖像的右端到離開距離L的位置為止的區(qū)域。即，修正對象區(qū)域R22是進深圖像中的、從該進深圖像的右端到離開L個像素的位置為止的區(qū)域。S卩，修正對象區(qū)域R21、R22是進深圖像中的、從該進深圖像的左右端到分別離開L(I以上的整數(shù))個像素的位置為止的區(qū)域。S卩，修正對象區(qū)域R21、R22基于二維圖像或進深圖像的水平方向的尺寸來決定。作為一例，修正對象區(qū)域R21、R22可以分別設為二維圖像的水平方向的尺寸的5%左右的寬度。但是，修正對象區(qū)域R21、R22的決定方法并不限定于上述方法，例如也可以通過如下述的方法決定。作為一例，修正對象區(qū)域R21、R22也可以是預先設定的區(qū)域。即，L也可以是預先設定的值。作為另一例，也可以根據(jù)包含在修正對象區(qū)域R21、R22中的進深值的值來決定L的值。更具體地講，進深值修正部Iio提取包含在修正對象區(qū)域中的進深值中的、對應的位置向近前側最遠離顯示面的進深值(在上述例子中是最接近于-1的值)。并且，也可以是，與所提取的進深值對應的位置向近前側越遠離顯示面(即，所提取的進深值越接近于-1)，則進深值修正部110則使L的值越大。此外，在圖10的例子中，在進深圖像的左右端設置了修正對象區(qū)域R21、R22，但也可以代替它或除了它以外而在進深圖像的上下端設置修正對象區(qū)域。即，修正對象區(qū)域只要設在進深圖像的左右端及上下端的至少一方上就可以。并且，進深值修正部110也可以將進深圖像的左右及上下的修正對象區(qū)域的寬度(即，L的值)基于對應的二維圖像的特征(作為一例，是二維圖像的攝像條件)來變更。例如在拍攝二維圖像時，在進行平搖(pan，使攝像裝置的朝向在左右方向上移動)或俯仰(tilt，使攝像裝置的朝向在上下方向上移動)的情況下，進深值修正部110將對應的進深圖像的修正對象區(qū)域的寬度變更。作為一例，進深值修正部110在二維圖像是在將攝像裝置平搖的期間拍攝的圖像的情況下，與在沒有平搖的期間拍攝的情況相比使進深圖像的左右端的修正對象區(qū)域的寬度更大(使L的值較大)。同樣，進深值修正部110在二維圖像是在將攝像裝置俯仰的期間拍攝的圖像的情況下，與在沒有俯仰的期間拍攝的情況相比使進深圖像的上下端的修正對象區(qū)域的寬度更大(使L的值較大)。作為另一例，進深值修正部110也可以根據(jù)平搖或俯仰的速度(滾動速度)變更修正對象區(qū)域的寬度。具體而言，平搖的速度越快，則進深值修正部110使進深圖像的左右端的修正對象區(qū)域的寬度越大。同樣，俯仰的速度越快，則進深值修正部110使進深圖像的上下端的修正對象區(qū)域的寬度越大。作為再另一例，進深值修正部110也可以根據(jù)攝像裝置朝向的方向(平搖或俯仰的方向)而使進深圖像的左右端(或上下端)的修正對象區(qū)域的寬度為非對稱。即，進深值修正部110使位于攝像裝置朝向的方向上的端部(目標進入屏幕的一側)的修正對象區(qū)域比位于相反側的端部(對象離開屏幕的一側)的修正對象區(qū)域大。具體而言，在向右(左)方向平搖的情況下，進深值修正部110使進深圖像的右(左)端的修正對象區(qū)域比左(右)端的修正對象區(qū)域大。同樣，在向上(下)方向俯仰的情況下，進深值修正部110使進深圖像的上(下)端的修正對象區(qū)域比下(上)端的修正對象區(qū)域大。
另外，視差圖像生成裝置100也可以將上述攝像條件(平搖/俯仰、攝像裝置的運動的方向(上下左右)、攝像裝置的運動的快慢等)與二維圖像及進深圖像一起從裝置外部取得，也可以根據(jù)將不同的時刻的多個二維圖像比較而能夠計算出的運動量來推測。再次參照圖9，如果在步驟S112中是“是”，則處理向步驟S113轉移。另一方面，如果在步驟S112中是“否”，則針對當前的處理對象進深像素的處理結束。在步驟Sill、S112中判斷為“是”的處理對象進深像素所表示的進深值是用于在比顯示面101更近前側表現(xiàn)三維圖像內的一部分的像素的進深值。在步驟S113中，進行進深值修正處理。在進深值修正處理中，進深值修正部110進行修正處理，該修正處理是指對該進深值進行處理，以使得構成進深圖像的多個進深值中的越是接近于該進深圖像的端部的進深值，與該進深值對應的位置越接近于用于顯示視差圖像的顯示面101。更具體地講，進深值修正部110將包含在圖10的修正對象區(qū)域R21中的各進深值修正為越是接近于進深圖像DlO的左端則逐漸地越接近于0的值。同樣，進深值修正部110將包含在圖10的修正對象區(qū)域R22中的各進深值修正為越是接近于進深圖像DlO的右端則逐漸地越接近于0的值。另外，上述“與進深值對應的位置”，是在三維區(qū)域RlO (三維空間)中由該進深值確定(表示)的Z軸方向的位置。換言之，與進深值對應的位置，是在與顯示面101正交的軸上由該進深值確定(表示)的位置。以下，將修正后的進深值表述為已修正進深值z’。具體而言，進深值修正部110通過圖11所示的式I及式2計算已修正進深值z’。[數(shù)式I]
0(/ = °)Zf=\F(ifZ)P<l <L)…(式 I)
_ I Smmm amomm § S[數(shù)式2]
尸(/,Z)=圣·Χ Z …(式 2)在圖11中，在式1、式2中，I是從進深圖像的端部到處理對象進深像素的距離(像素數(shù))。在處理對象進深像素是修正對象區(qū)域R21內的像素的情況下，I是從進深圖像的左端到處理對象進深像素的距離。在此情況下，如果滿足0〈1〈L，則通過式2計算已修正進深值z’。例如，假設L=200，l=20。此外，假設1=20的位置處的z是-1。在此情況下，z根據(jù)式2而成為-O.1。另一方面，在處理對象進深像素是修正對象區(qū)域R22內的像素的情況下，I是從進深圖像的右端到處理對象進深像素的距離。在此情況下，如果滿足0〈1〈L，則通過式2計算已修正進深值z’。另外，在I是O的情況下，已修正進深值z’為O。S卩，使用式1、2進行進深值修正處理，由此進深值修正部110對構成進深圖像的多個進深值中的與該進深圖像的端部最近的進深值進行修正，以使該與進深圖像的端部近的·進深值成為用于在顯示面101 (視差零面)中表現(xiàn)像素的值。另外，在I是O的情況下，已修正進深值z’也可以為O以外的規(guī)定值。規(guī)定值是該規(guī)定值的絕對值接近于O的值。另外，也可以不進行S112的處理。在此情況下，根據(jù)式1，在滿足LS I的情況下，已修正進深值z’是處理對象進深像素所示的進深值z的值。此外，計算已修正進深值z’的式子并不限定于式2。即，只要是用于計算已修正進深值z’、以使得越是接近于進深圖像的端部的進深值則與該進深值對應的位置越接近于顯示面101的式子，則也可以是其他式子。已修正進深值z’例如也可以通過以下的式3計
笪
ο[數(shù)式3]F(i,z) = ZX^jl- l--~j ...(式 3)將以上的步驟Slll S113的處理對構成進深圖像的全部的像素進行。另外，步驟S112的處理僅在步驟Slll中為“是”的情況下進行。此外，步驟S113的處理僅在步驟S112中“是”的情況下進行。由此，生成將分別構成進深圖像內的修正對象區(qū)域R21、R22的多個進深值的至少一部分修正后的進深圖像(以下，也稱作已修正進深圖像)。圖11是表示修正后的進深值的狀態(tài)的圖。作為一例，圖11是表示在修正對象區(qū)域R21、R22各自中存在作為步驟S113的處理對象的進深值的情況下的修正后的進深值的狀態(tài)的圖。在此情況下，修正后的進深值為與分別對應于圖11的曲線圖的兩個L的曲線對應的值。在作為步驟SI 13的處理對象的進深值僅存在于修正對象區(qū)域R21內的情況下，該進深值為與對應于圖11的曲線圖的左側的L的曲線對應的值。圖12是表示作為一例的進深圖像的圖。圖12 (a)表示進深圖像D10。這里，在進深圖像修正處理的處理對象的進深圖像是進深圖像DlO的情況下，通過進深圖像修正處理生成的已修正進深圖像是圖12 (b)所示的已修正進深圖像D10A。通過對在步驟SI 12中判斷為“是”的多個處理對象進深像素進行步驟SI 13的進深值修正處理，進深值修正部110對與修正對象區(qū)域對應的多個進深值中的、用于在比顯示面101更近前側表現(xiàn)三維圖像內的一部分像素的進深值進行修正處理(進深值修正處理)。在對構成進深圖像的全部的像素進行上述處理后，進行步驟S114的處理。在步驟SI 14中，進深值修正部110將已修正進深圖像DlOA向視差圖像生成部120發(fā)送。并且，該進深圖像修正處理結束，再次回到圖8的視差圖像生成處理，處理向步驟S120轉移。在步驟S120中進行視差圖像的生成。具體而言，視差圖像生成部120使用處理對象的二維圖像10和由修正處理(進深圖像修正處理)修正后的已修正進深圖像D10A，生成相互有視差的第I及第2視差圖像。該第I及第2視差圖像是為了表現(xiàn)三維圖像而需要的圖像。第I及第2視差圖像分別是左眼用圖像及右眼用圖像。例如，通過使用進深圖像的DIBR法等，從I張二維圖像生成左眼用圖像及右眼用圖像。另外，DIBR法由于是公知的技術，所以不重復詳細的說明。以下，簡單地進行說明。以下的處理由視差圖像生成部120進行。這里，假設處理對象的二維圖像是二維圖像10。這里，為了使說明變得簡單，作為一例，設為將進深值用0 255的范圍表不。圖13是用于說明處理對象的二維圖像10內的某I線的圖。圖13(a)是表示二維圖像10內的處理對象線(Iine)LNlO的圖。處理對象線LNlO是成為二維圖像10內的處理對象的I線。圖13 (b)表示構成處理對象線LNlO的多個像素的進深值。圖13 (b)所示的數(shù)值是與各區(qū)域(像素群)對應的進深值。另外，圖13 (b)所示的進深值是一例，不是與已修正進深圖像DlOA對應的進深值。像素群Ila是目標11中的、構成與處理對象線LNlO對應的區(qū)域的像素群。像素群12a是目標12中的、構成與處理對象線LNlO對應的區(qū)域的像素群。像素群13a是目標13中的、構成與處理對象線LNlO對應的區(qū)域的像素群。像素群14a、14b分別是構成目標11、12、13以外的區(qū)域中與處理對象線LNlO對應的區(qū)域的像素群。如圖13 (b)所示，構成像素群Ila的各像素的進深值是O。構成像素群12a的各像素的進深值是128。構成像素群13a的各像素的進深值是192。分別構成像素群14a、14b的各像素的進深值是255。圖14是表示三維區(qū)域RlO中的像素群的配置狀態(tài)的圖。在圖14中，所謂偏移(Offset)，是規(guī)定的偏移值(視聽距離偏移)。另外，偏移也可以是O。此外，在圖14中，距離D是視點SO與視點SI之間的距離。零視差距離ZO是經由視點SO和顯示面101的直線上的、X軸與顯示面101之間的距離。作為一例，零視差距離ZO是128。在此情況下，構成處理對象線LNlO的各像素的移位量(移動量)x由視差圖像生成部120通過以下的式4計算。
[數(shù)式4]
權利要求
1.一種視差圖像生成裝置，使用進深圖像進行處理，該進深圖像用于從處理對象的二維圖像生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像，上述進深圖像由多個進深值構成；上述視差圖像生成裝置具備進深值修正部，進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及視差圖像生成部，使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I視差圖像及第2視差圖像。
2.如權利要求1所述的視差圖像生成裝置，上述進深值修正部對與修正對象區(qū)域對應的多個進深值進行上述修正處理，該修正對象區(qū)域是上述進深圖像中的、從該進深圖像的端部至離開L個像素的位置為止的區(qū)域，其中，L為I以上的整數(shù)。
3.如權利要求2所述的視差圖像生成裝置，上述進深值修正部對與上述修正對象區(qū)域對應的多個進深值中的下述進深值進行上述修正處理，該進深值用于在比上述顯示面更近前側表現(xiàn)上述三維圖像內的一部分像素， 上述顯示面用于顯示所生成的上述第I視差圖像及第2視差圖像。
4.如權利要求2或3所述的視差圖像生成裝置，上述二維圖像的水平方向的尺寸越大，上述進深值修正部使上述L的值越大。
5.如權利要求2或3所述的視差圖像生成裝置，上述進深值修正部提取上述修正對象區(qū)域中包含的進深值中的、對應的位置向近前側最遠離上述顯示面的進深值，與提取的進深值對應的位置向近前側越遠離上述顯示面則使上述L的值越大。
6.如權利要求2 5中任一項所述的視差圖像生成裝置，上述進深值修正部對該進深圖像的左右端的上述修正對象區(qū)域及上下端的上述修正對象區(qū)域的至少一方進行上述修正處理。
7.如權利要求6所述的視差圖像生成裝置，在上述二維圖像是在將攝像裝置平搖的期間拍攝的圖像的情況下，上述進深值修正部將該進深圖像的左右端的上述修正對象區(qū)域的上述L的值設得大。
8.如權利要求6或7所述的視差圖像生成裝置，在上述二維圖像是在將攝像裝置俯仰的期間拍攝的圖像的情況下，上述進深值修正部將該進深圖像的上下端的上述修正對象區(qū)域的上述L的值設得大。
9.如權利要求7或8所述的視差圖像生成裝置，上述攝像裝置的平搖或俯仰的速度越快，上述進深值修正部使對應的上述修正對象區(qū)域的上述L的值越大。
10.如權利要求7 9中任一項所述的視差圖像生成裝置，上述進深值修正部使上述進深圖像的端部中的、位于上述攝像裝置朝向的方向上的上述修正對象區(qū)域比位于相反側的上述修正對象區(qū)域大。
11.如權利要求1 10中任一項所述的視差圖像生成裝置，上述進深值修正部對構成上述進深圖像的上述多個進深值中的與該進深圖像的端部最近的進深值進行修正，以使上述最近的進深值成為用于在上述顯示面上表現(xiàn)像素的值， 上述顯示面用于顯示上述第I視差圖像及第2視差圖像。
12.一種視差圖像生成方法，用于使用進深圖像進行處理，該進深圖像用于從處理對象的二維圖像生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像，上述進深圖像由多個進深值構成；上述視差圖像生成方法包括以下步驟進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I視差圖像及第2視差圖像。
13.一種程序，用于使用進深圖像進行處理，該進深圖像用于根據(jù)處理對象的二維圖像，生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像，上述進深圖像由多個進深值構成；上述程序使計算機執(zhí)行以下步驟進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I視差圖像及第2視差圖像。
14.一種集成電路，使用進深圖像進行處理，該進深圖像用于根據(jù)處理對象的二維圖像，生成為了表現(xiàn)三維圖像而需要的相互具有視差的兩個視差圖像，上述進深圖像由多個進深值構成；上述集成電路具備進深值修正部，進行修正處理，該修正處理是指在構成上述進深圖像的上述多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及視差圖像生成部，使用上述二維圖像和通過上述修正處理修正后的上述進深圖像，生成相互具有視差的第I視差圖像及第2視差圖像。
全文摘要
具備進深值修正部(110)，進行修正處理，該修正處理是指在構成進深圖像的多個進深值之中越是與該進深圖像的端部近的進深值、則將該進深值修正為與該進深值對應的位置越接近于用于顯示視差圖像的顯示面；以及視差圖像生成部(120)，使用二維圖像和通過修正處理修正后的進深圖像，生成相互有視差的第1及第2視差圖像。
文檔編號G06T19/00GK103004217SQ20128000204
公開日2013年3月27日 申請日期2012年6月5日 優(yōu)先權日2011年6月8日
發(fā)明者磯貝邦昭, 三崎正之, 田川潤一, 河村岳, 藤井隆志 申請人:松下電器產業(yè)株式會社