專利名稱：立體圖像處理方法以及立體圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及立體圖像處理技術，特別涉及以視差圖像為基礎來生成立體圖像的方法以及裝置。
背景技術：
近年，網(wǎng)絡基礎設施(network infrastructure)的不完備成為問題，但迎來了向?qū)拵У倪^渡期，這樣，有效利用寬頻帶的內(nèi)容的種類和較少的數(shù)量開始顯得突出。圖像不論在任何時代，都是最重要的表現(xiàn)手段，但是至今為止的多數(shù)研究都是關于顯示質(zhì)量或數(shù)據(jù)壓縮率的改善的研究，和這些研究相比，拓展表現(xiàn)方式自身的技術的研究就顯得落后了。
在此之中，立體圖像顯示(以下，簡稱為立體顯示)從以前開始就被廣泛研究，被用于劇場用途或特殊的顯示裝置中，在限于一定程度的市場上被實用化。今后，以提供更富于現(xiàn)場感的內(nèi)容為目標，加速這方面的研究開發(fā)，個人使用者即使在家中也能享受立體顯示所帶來的快樂的時代即將來臨。
即使在現(xiàn)在，例如，個人使用者也可以享受好像物體在眼前飛出那樣刺激的3維立體圖像顯示所帶來的快樂。如果以賽車游戲為例，玩家對好像在眼前浮現(xiàn)那樣出現(xiàn)的物體，例如操作車，使其在物體存在的假想3維空間(以下，簡稱為物體空間)內(nèi)行駛，通過和其他的玩家或計算機操作的車競賽，從而能享受3維空間游戲所帶來的樂趣。
這樣的立體顯示相關的技術即使現(xiàn)在也被廣泛使用，也是今后期望進一步普及的技術，同時新的顯示方式也被提出。例如，在專利文獻1中，記載了將二維圖像中被選擇的部分圖像立體顯示的技術。
專利文獻1特開平11-39507號公報確實，根據(jù)專利文獻1，可以將平面圖像中所期望的部分立體顯示，但其并沒有注意到實現(xiàn)立體顯示時處理整體的高速化，對此有必要進行新的研究。

發(fā)明內(nèi)容
本發(fā)明是鑒于這樣的問題而做出的，其目的在于提供一種實現(xiàn)立體顯示相關的處理整體的高速化的立體圖像處理裝置以及立體圖像處理方法。
本發(fā)明的一種形態(tài)涉及立體圖像處理裝置。該裝置是以對應于不同視點的多個視點圖像為基礎，立體顯示物體的立體圖像處理裝置，其中包括取得包含應當立體顯示的物體的假想空間內(nèi)的縱深方向的運算區(qū)域范圍的縱深值取得部；以該取得的縱深方向的運算區(qū)域范圍為基礎，在假想空間內(nèi)配置多個不同視點的視點配置部；和以來自多個不同視點的視點圖像為基礎，生成視差圖像的視差圖像生成部。
所謂“立體顯示”是指顯示立體圖像。該“立體圖像”是具有立體感并被顯示的圖像。其數(shù)據(jù)的實質(zhì)是使多個圖像具有視差的“視差圖像”。視差圖像一般是多個二維圖像的集合。構(gòu)成視差圖像的各個圖像是分別具有對應的視點的“視差圖像”。也就是說，由多個視點圖像構(gòu)成視差圖像。所謂“運算區(qū)域”是指在進行用來立體顯示物體的規(guī)定的運算的假想空間上的區(qū)域。
所謂“視差”是指用于產(chǎn)生立體感的參數(shù)，可以進行各種定義。作為一例，可以以表示視點圖像間的相同點的圖像的坐標植的差異來表現(xiàn)。以下，在本說明書中，如果沒有特別的限制，都遵從此定義。
根據(jù)該形態(tài)，因為可以以縱深方向的運算區(qū)域范圍為基礎，在假想空間內(nèi)配置多個不同的視點，所以可以得到有效的視差圖像，可以實現(xiàn)適當?shù)牧Ⅲw顯示。
該裝置進一步包括在其假想空間內(nèi)暫時配置視點的視點臨時配置部?？v深值取得部基于暫時配置的視點，取得縱深方向的運算區(qū)域的范圍也可以。視點臨時配置部在假想空間內(nèi)暫時配置1個視點也可以。
視點臨時配置部也可以具有包含由視點配置部配置的多個視點的視野范圍的視野范圍這樣，在假想空間內(nèi)配置視點。視點配置部以由縱深值取得部取得的縱深方向的運算區(qū)域的范圍為基礎，除了由視點臨時配置部暫時性配置的視點，使該視點成為中心這樣，在假想空間內(nèi)配置2個不同的視點也可以。視點配置部以在2個不同的視點的兩個外側(cè)方向上使視點間的距離為上述2個視點的距離間隔的方式配置多個視點也可以。
縱深值取得部以比視點圖像的分辨率還低的分辨率取得縱深方向的運算區(qū)域的范圍也可以。另外，縱深值取得部與應當立體顯示的物體相對應，而且利用由較少的數(shù)據(jù)量構(gòu)成的物體，取得縱深方向的運算區(qū)域范圍也可以。根據(jù)該形態(tài)，通過削減取得縱深方向的運算區(qū)域范圍時的處理量，從而可以實現(xiàn)處理整體的高速化。
縱深值取得部也可以在由視點配置部配置的多個不同的視點之中，取得至少根據(jù)1個視點的縱深方向的運算區(qū)域范圍?？v深值取得部在由視點配置部配置的多個不同的視點之中，取得根據(jù)2個以上的視點的縱深方向的運算區(qū)域范圍，合并各個縱深方向的運算區(qū)域范圍，生成1個縱深方向的運算區(qū)域范圍也可以。
進一步包括判斷由縱深值取得部取得的縱深方向的運算區(qū)域范圍是否能使用的縱深值使用判斷部，當由縱深值使用判斷部判斷為不能使用時，視差圖像生成部不生成視差圖像，而生成沒有視差的二維圖像也可以。另外，進一步包括判斷由縱深值取得部取得的縱深方向的運算區(qū)域范圍是否能使用的縱深值使用判斷部，當由縱深值使用判斷部判斷為不能使用時，視點配置部以生成具有比上次生成的視差圖像更弱的視差的視差圖像的方式配置多個不同的視點也可以。
進一步包括判斷由縱深值取得部取得的縱深方向的運算區(qū)域范圍是否能使用的縱深值使用判斷部，當由縱深值使用判斷部判斷為不能使用時，縱深值取得部利用前方投影面或者后方投影面，取得縱深方向的運算區(qū)域也可以。
進一步包括檢測物體運動的狀態(tài)，以此檢測結(jié)果為基礎，預測物體將來的運動狀態(tài)的動作預測部；和以由該動作預測部預測的物體將來的動作狀態(tài)為基礎，預測包含該物體的規(guī)定區(qū)域的位移量的位移量預測部。視點配置部基于由位移量預測部預測的規(guī)定區(qū)域的位移量，在假想空間內(nèi)配置多個不同的視點也可以。
進一步包括對每個物體取得是否包含在運算區(qū)域范圍內(nèi)的運算選擇信息的運算選擇信息取得部，在由運算選擇信息取得部取得了不包含在運算區(qū)域范圍內(nèi)的運算選擇信息時，縱深值取得部忽略作為不包含在范圍內(nèi)的物體，由其他物體取得縱深方向的運算區(qū)域范圍。
本發(fā)明的其它形態(tài)立體圖像處理方法。該方法包括取得包括以立體顯示為目的的物體的假想空間內(nèi)的縱深方向的運算區(qū)域范圍的步驟；以取得的縱深方向的運算區(qū)域范圍為基礎，在假想空間內(nèi)配置多個不同的視點的步驟；和以來自多個不同視點的視點圖像為基礎，生成視差圖像的步驟。
還有，將以上的構(gòu)成要素的任意組合、本發(fā)明的表現(xiàn)在方法、裝置、系統(tǒng)、存儲介質(zhì)、計算機程序等之間變換，作為本發(fā)明的形態(tài)也是有效的。
根據(jù)本發(fā)明，可以實現(xiàn)適當?shù)牧Ⅲw顯示。


圖1是示意性表示與屏幕面對應的基本表現(xiàn)空間的圖。
圖2是示意性表示由臨時照相機特性的運算區(qū)域以及背面區(qū)域的圖。
圖3是表示實施方式1的立體圖像處理裝置實現(xiàn)的物體立體顯示的樣子的圖。
圖4是表示實施方式1的立體圖像處理裝置的構(gòu)成的圖。
圖5(a)、圖5(b)是分別表示由立體圖像處理裝置的立體感調(diào)整部顯示的左眼圖像和右眼圖像的圖。
圖6是表示由立體圖像處理裝置的立體感調(diào)整部顯示的、具有不同視差的多個物體的圖。
圖7是表示由立體圖像處理裝置的立體感調(diào)整部顯示的、視差變化的物體的圖。
圖8是表示簡單決定視差以及基本表現(xiàn)空間時利用的表的圖。
圖9是表示立體圖像處理所采用的世界坐標系的圖。
圖10是表示立體圖像處理所采用的模型坐標系的圖。
圖11是表示立體圖像處理所采用的照相機坐標系的圖。
圖12是表示立體圖像處理所采用的取景范圍的圖。
圖13是表示圖12的范圍透視變換后的坐標系的圖。
圖14是表示實現(xiàn)適當視差時的照相機像角、圖像大小、視差的關系的圖。
圖15是表示實現(xiàn)圖14的狀態(tài)的攝像系統(tǒng)的位置關系的圖。
圖16是表示實現(xiàn)圖14的狀態(tài)的攝像系統(tǒng)的位置關系的圖。
圖17是表示立體圖像處理所采用的屏幕坐標系的圖。
圖18是表示實施方式1的立體圖像處理裝置的處理流程的圖。
圖19是表示實施方式2的立體圖像處理裝置的構(gòu)成的圖。
圖20是表示實施方式2的立體圖像處理裝置的處理流程的圖。
圖21是表示實施方式3的立體圖像處理裝置的構(gòu)成的圖。
圖22是表示實施方式3的立體圖像處理裝置的處理流程的圖。
圖23是表示第1變形例的立體圖像處理裝置的構(gòu)成的圖。
圖24是表示第2變形例的立體圖像處理裝置的構(gòu)成的圖。
圖25是表示第3變形例的立體圖像處理裝置的處理流程的圖。
圖26是示意性表示利用第4變形例的角度取得縱深方向的運算區(qū)域范圍的樣子的圖。
圖27是表示根據(jù)第5變形例的4臺照相機的4眼式照相機配置的圖。
圖28是表示第6變形例的臨時照相機和真實照相機的位置關系的圖。
圖29是表示第7變形例的立體圖像處理裝置的構(gòu)成的圖。
圖30是表示第9變形例的立體圖像處理裝置的處理流程的圖。
具體實施例方式
以下所示的實施方式1～3的立體圖像處理裝置是以來自物體空間內(nèi)所賦予的視點的視點圖像為基礎，生成視差圖像的裝置。通過將這樣的圖像在立體圖像顯示器等上放映，從而實現(xiàn)好像物體在眼前飛出那樣刺激的3維立體圖像顯示。如果以賽車游戲為例，玩家使在眼前浮現(xiàn)并立體顯示的物體、例如操作車使其在物體空間內(nèi)行駛，通過和其他的玩家或計算機操作的車競賽，從而可以享受3維游戲帶來的樂趣。
進行這樣的物體的立體顯示時，該裝置以幀為單位調(diào)整配置在物體空間內(nèi)的視點的視點間隔等。所謂幀是指構(gòu)成動態(tài)圖像的最小單位。這樣，通過以幀為單位調(diào)整視點間隔等，從而可以生成對應于物體的運動或狀態(tài)的變化的視差圖像，以此為基礎實現(xiàn)最適當?shù)牧Ⅲw顯示。
這樣，當每幀生成視差圖像時，視差賦予過多成為問題，有給立體圖像的觀察者(以下，簡稱為“使用者”)帶來輕微的不快感的情況。因此，該裝置根據(jù)使用者的指示來進行視差的適當化。
圖1示意性表示與屏幕面210對應的基本表現(xiàn)空間T。在此，基本表現(xiàn)空間T是使用者10認識正確視差的空間。也就是說，當在前方基本表現(xiàn)空間面12的前方或者后方基本表示空間面14的后方存在物體時，對于此物體，使用者會產(chǎn)生生理上的不舒服感覺。因此，實施方式的立體圖像處理裝置在基本表示空間T內(nèi)立體地顯示物體。基本表現(xiàn)空間T的范圍由使用者設定。
(實施方式1)在此，敘述實施方式1的概要。在實施方式1中，在物體空間內(nèi)暫時配置1個照相機等視點。通過這樣暫時配置的照相機(以下，簡稱為“臨時照相機”)取得應當立體顯示的物體的縱深方向的運算區(qū)域范圍。當取得該縱深方向的運算區(qū)域的范圍時，該裝置采用所謂Z緩沖法的公知的背面消除算法。在此，所謂Z緩沖法是指當以每像素存儲物體的Z值時，如果在Z軸上有離視點近的Z值，將該Z值覆寫在已經(jīng)存儲的Z值上的方法。這樣，通過對每像素在存儲的Z值中求出最大的Z值(以下，簡稱為“最大Z值”)以及最小的Z值(以下，簡稱為“最小Z值”)，來特定縱深方向的運算區(qū)域的范圍。在實施方式中，取得以X軸方向的線段以及Y軸方向的線段劃分區(qū)間的像素所對應的位置的物體的Z值。
圖2示意性表示由臨時照相機16特定的運算區(qū)域R1以及背面區(qū)域R2。在物體空間中配置有臨時照相機16、第1物體22a以及第2物體22b。運算區(qū)域R1是成為求出生成視差圖像的后述的真實照相機的照相機參數(shù)的運算對象的區(qū)域，典型地，運算區(qū)域R1對應于應當立體顯示的物體的可視面存在的區(qū)域。如前所述，通過對每個像素求出存儲的Z值中最大Z值以及最小Z值，來特定縱深方向的運算區(qū)域R1的范圍。另一方面，背面區(qū)域R2是從求出后述的真實照相機的照相機參數(shù)的運算的對象中被除外的區(qū)域，典型地，背面區(qū)域R2從臨時照相機等視點看來位于運算區(qū)域R1的后方的、隱藏在可視面背后的物體的非可視面所存在的區(qū)域。在此，將第1物體22a以及第2物體22b統(tǒng)稱為物體22。由臨時照相機16利用Z緩沖法取得縱深方向的運算區(qū)域的范圍的結(jié)果，運算區(qū)域R1的最前方運算區(qū)域面18的縱深由最小Z值、最后方運算區(qū)域面20的縱深由最大Z值來分別特定。背面區(qū)域R2是由上述的Z緩沖法消除背面的區(qū)域。
該裝置以這樣求出的最大Z值以及最小Z值為基礎，決定用于取得視差圖像的幾臺、例如2臺照相機(以下，簡稱為“真實照相機”)的配置場所，將這2臺真實照相機分別配置在物體空間內(nèi)不同的位置上。此時，以使前面暫時配置的臨時照相機變?yōu)橹行牡姆绞脚渲?臺真實照相機。進一步，在進行這種2臺真實照相機的配置決定時，該裝置也調(diào)整使用者的正確視差。
這樣，該裝置配置2臺真實照相機，對于應當立體顯示的物體，對每個真實照相機進行后述的投影處理，取得視點圖像，生成視差圖像。圖3表示實施方式1的立體圖像處理裝置實現(xiàn)的物體22的立體顯示的樣子。和圖1相同的元素采用相同的符號，并適當省略其說明。如圖所示，進行立體顯示，以使在基本表現(xiàn)空間T的前方基本表現(xiàn)空間面12以及后方基本表現(xiàn)空間面14的縱深方向的范圍內(nèi)包括了前面求出的運算區(qū)域。
如上所述，該裝置按每幀生成上述視差圖像。當真實照相機的配置數(shù)多時，例如，當用于生成視差圖像的運算量多時，為了使由臨時照相機取得Z值的時間縮短，進行以下這樣的處理也可以。
1)以比每個真實照相機的視點圖像的分辨率還低的分辨率取得Z值。
2)與應當立體顯示的圖像相對應，而且利用由較少的數(shù)據(jù)量構(gòu)成的物體取得Z值。
這種情況下，準備取得Z值用的另外的物體空間，在其物體空間內(nèi)配置該物體，取得Z值也可以。
圖4表示實施方式1的立體圖像處理裝置100的構(gòu)成。該裝置以對應于不同視點的多個視點圖像為基礎，立體顯示圖像。該立體圖像處理裝置100包括以使用者對立體顯示的圖像的應答為基礎，調(diào)整立體感的立體感調(diào)整部112；保存由立體感調(diào)整部112特定的正確視差的視差信息保存部120；從視差信息保存部120讀取正確視差，由三維數(shù)據(jù)生成具有正確視差的視差圖像的視差控制部114；取得顯示裝置的硬件信息，另外具有取得立體顯示方式的功能的信息取得部118；以由信息取得部118取得的信息為基礎，變更由視差控制部114生成的視差圖像的形式的格式變換部116。在這里，所謂硬件信息是指包括例如顯示裝置本身的硬件相關的信息以及使用者和顯示裝置的距離等要素的信息。向立體圖像處理裝置100中輸入用于描繪物體和空間的三維數(shù)據(jù)。三維數(shù)據(jù)例如是在世界坐標系中描述的物體以及空間的數(shù)據(jù)。
以上的構(gòu)成在硬件上可以由任意的計算機CPU、存儲器、其它的LSI來實現(xiàn)，在軟件上可以由具有GUI功能、視差控制功能等其它功能的程序等來實現(xiàn)，在這里描述了由這些共同實現(xiàn)的功能塊。即，這些功能塊可以只由硬件、只由軟件、或者由這些的組合的各種形式來實現(xiàn)，這是本領域的技術人員能理解的，對于以后的構(gòu)成也是同樣的。
立體感調(diào)整部112具有指示取得部122和視差特定部124。指示取得部122在使用者對立體顯示的圖像指示正確視差的范圍時，取得該指示。視差特定部124以此范圍為基礎，特定使用者利用了該顯示裝置時的正確視差。正確視差以不依賴于顯示裝置的硬件的表現(xiàn)形式表示。通過實現(xiàn)正確視差，從而適合于使用者的生理的立體觀察成為可能。這種由使用者進行的正確視差范圍特定是由圖中未示出的GUI(圖形用戶界面)來實現(xiàn)的，其詳細內(nèi)容后面敘述。
視差控制部114包括以三維數(shù)據(jù)為基礎，在假想空間內(nèi)定義物體的物體定義部128；在物體空間內(nèi)暫時配置臨時照相機的照相機臨時配置部130；以由照相機臨時配置部130暫時配置的臨時照相機為基準，將在世界坐標系上定義的坐標變換為透視坐標系的坐標變換部132；在由坐標變換部132進行坐標變換時，利用Z緩沖法取得Z值的Z值取得部134；根據(jù)由Z值取得部134取得的Z值以及視差信息保存部120保存的正確視差，計算照相機間隔等照相機參數(shù)，基于此，在物體空間內(nèi)配置2臺真實照相機的照相機配置決定部136；使真實照相機以成為照相機坐標系的原點的方式移動的原點移動部138；進行后述的投影處理的投影處理部140；投影處理后，進行向屏幕坐標系的變換處理，生成視點圖像的視點圖像生成部141；和以生成的多個視點圖像為基礎，生成視差圖像的視差圖像生成部142。照相機配置決定部136在實施方式中配置2臺照相機，但也可以配置2臺以上臺數(shù)的真實照相機。視差控制部114所包括的各構(gòu)成部的詳細內(nèi)容后面敘述。
信息取得部118由使用者的輸入取得例如立體顯示的視點數(shù)、空間分割或者時間分割等立體顯示裝置的方式、是否使用了快門眼鏡、多眼式情況下的視點圖像的排列方式、在視差圖像中是否有視差翻轉(zhuǎn)的視點圖像的排列、磁頭跟蹤的結(jié)果等。還有，只有磁頭跟蹤的結(jié)果例外地經(jīng)由圖中未示出的路徑直接被輸入照相機配置決定部136中，在此被處理。
由使用者特定正確視差的范圍如下所述地進行。圖5(a)、圖5(b)表示在由立體圖像處理裝置100的立體感調(diào)整部112進行正確視差的特定過程中，分別顯示的左眼圖像200、右眼圖像202。在各個圖像中表示了5個黑圓點，越向上就越近置且賦予大的視差、越向下就越遠置且賦予大的視差。
所謂“近置”是指在不同場所配置的2個照相機的視線即光軸的交叉位置(以下也稱為“光軸交叉位置”)所處的面(以下，也稱為“光軸交叉面”)的前面，賦予立體觀察這樣的視差的狀態(tài)。所謂“遠置”是指相反地，在光軸交叉面的后面賦予立體觀察這樣的視差的狀態(tài)。近置的物體的視差越大，使用者感覺越近，遠置的物體的視差越大，使用者看起來越遠離。限于沒有特別的限定的情況下，視差在近置、遠置時正負不翻轉(zhuǎn)，同時定義為非負的值，在光軸交叉面上近置視差、遠置視差都為零。
圖6示意性表示在屏幕面210上顯示這5個黑圓點時，使用者10感知到的距離感。在同圖中，視差以不同的5個黑圓點同時/或者按順序地被顯示，是否為可以允許的視差由使用者10輸入。另一方面，在圖7中，向屏幕面210的顯示本身由1個黑圓點進行，其視差連續(xù)地變更。當在遠置和近置各自的方向上達到允許界限時，通過進行來自使用者10的規(guī)定的輸入指示，從而可以決定可允許的視差。指示利用通常的按鍵操作、鼠標操作、聲音的輸入等來進行，其自身利用公知的技術即可。
另外，視差的決定利用更簡單的方法進行也可以。同樣地，基本表現(xiàn)空間的設定范圍的決定也可以通過簡單的方法來進行。圖8表示簡單地決定視差以及基本表現(xiàn)空間時所利用的表。基本表現(xiàn)空間的設定范圍從增多近置空間側(cè)的設定開始到只有遠置空間側(cè)的設定為止，被分為A～D的4段級，進一步，各自的視差也被分為1～5為止的5段級。在這里，例如，喜好最強的立體感，喜好最具飛出感的立體顯示的情況下，使段級為5A。然后，并非必須在確認立體顯示的同時決定段級，也可以只通過決定段級的按鈕顯示。在其附近有立體感確認用的按鈕，通過按下此按鈕，顯示確認立體感的圖像也可以。
圖6、圖7的任何一個都是指示取得部122可以將正確視差作為范圍取得，決定在其近置的一側(cè)以及遠置的一側(cè)的界限視差。近置側(cè)的最大視差是在與自己最近的位置上能看到的點所允許的近度所對應的視差，遠置側(cè)的最大視差是與自己最遠的位置能看到的點所允許的遠度所對應的視差。只是，一般地，由于使用者生理上的問題，應當注意近置最大視差的情況居多，以下，也有只將近置的最大視差稱為界限視差的情況。
在此，敘述視差控制部114具有的各個構(gòu)成部的詳細內(nèi)容。物體定義部128基于輸入的三維數(shù)據(jù)，在假想空間內(nèi)定義物體。圖9表示在世界坐標系中配置了第1物體22a以及第2物體22b的狀態(tài)。圖10表示在第1物體22a中設定了模型坐標系的樣子。同樣地，在第2物體22b中也設定其它的模型坐標系。通常以使物體22的中心成為原點的方式設定模型坐標系。
照相機臨時配置部130在圖9的世界坐標系的假想空間內(nèi)暫時地配置1個臨時照相機。該臨時照相機是為了取得物體空間內(nèi)的運算區(qū)域的縱深方向的范圍而配置的。如上所述，該運算區(qū)域是臨時照相機可以看見的可視面存在的區(qū)域，也就是說，是應當進行立體顯示的區(qū)域。另一方面，背面區(qū)域?qū)τ谂R時照相機來說，是在運算區(qū)域的后方，隱藏在可視面的背后，是臨時照相機不能看見的非可視面存在的區(qū)域。也就是說，背面區(qū)域是不進行立體顯示的區(qū)域。如前所述，在實施方式中，縱深方向的運算區(qū)域范圍是利用Z緩沖法這種已知的背面消除算法來特定的。
在實施方式1的立體圖像處理裝置100中，通過配置臨時照相機，從而可以確定縱深方向的運算區(qū)域范圍，以特定完的縱深方向的運算區(qū)域范圍以及使用者的正確視差為基礎，以后述的規(guī)定方法求出真實照相機的照相機參數(shù)。以這樣求出的照相機參數(shù)為基礎配置的真實照相機生成視點圖像，以此為基礎進行立體顯示。由此，使用者在作為認識正確視差的空間的基本表現(xiàn)空間內(nèi)可以實現(xiàn)包含剛才求出的運算區(qū)域的范圍這樣的立體顯示。另外，在求出真實照相機的照相機參數(shù)時，通過將運算區(qū)域設定為在運算中不包括背面區(qū)域，從而可以實現(xiàn)在基本表現(xiàn)空間內(nèi)不包含背面區(qū)域的立體顯示。因為基本表現(xiàn)空間的范圍是有限的，所以使用者將原來不能看見的背面區(qū)域從其空間中分離是有意義的。也就是說，通過暫時配置臨時照相機，預先設定運算區(qū)域，從而可以決定真實照相機的照相機參數(shù)，以使實現(xiàn)在基本表現(xiàn)空間內(nèi)包含物體這樣的立體顯示。
臨時照相機的配置臺數(shù)是1臺也可以。其原因是真實照相機是為了生成視點圖像而使用的，但臨時照相機只是為了取得縱深方向的運算區(qū)域的范圍而使用的，臨時照相機的作用僅此而已。因此，采用多臺臨時照相機也可以，但采用1臺，能在短時間內(nèi)取得劃定運算區(qū)域的最大Z值以及最小Z值。
坐標變換部132將在世界坐標系總定義的坐標變換為透視坐標系。圖11表示照相機坐標系。當由照相機臨時配置部130從世界坐標系的任意位置開始，向任意的方向、以任意的角度布置臨時照相機16時，坐標變換部132進行向照相機坐標系的變換。在這種從世界坐標系向照相機坐標系的變換中，以使臨時照相機16成為照相機坐標系的原點的方式平行移動整體，進一步以使臨時照相機16的視線面向Z軸的正方向的方式旋轉(zhuǎn)移動。在該變換中采用了仿射變換。圖12、圖13表示透視坐標系。坐標變換部132首先如圖12所示，將應當顯示的空間在前方投影面34和后方投影面36上剪取。該前方投影面34和后方投影面36是由使用者等決定為能包括全部可視物體。剪取之后，將此取景范圍如圖13所示變換為正方體。在圖12和圖13中的處理也稱為投影處理。
Z值取得部134，在由坐標變換部132進行坐標變換時，利用Z緩沖法，取得包括應當立體顯示的物體的假想空間內(nèi)的縱深方向的運算區(qū)域的范圍。
在上述的例子中，是按每個像素取得最大Z值以及最小Z值，但Z值取得部134也可以是以比真實照相機生成的視點圖像的分辨率還低的分辨率取得Z值。即，對于多個像素的集合，取得最大、最小的Z值也可以。取得的Z值的作用是用來特定物體的縱深方向的運算區(qū)域范圍的，沒有必要具有生成視差圖像那樣的分辨率。即，在這里通過使分辨率比視差圖像還要降低，從而能減少用于取得Z值的數(shù)據(jù)處理量，可以實現(xiàn)立體顯示處理全體的高速化。
Z值取得部134對應于應當立體顯示的物體，而且利用由較少數(shù)據(jù)量構(gòu)成的物體取得Z值也可以。成為縱深方向的運算區(qū)域范圍的特定對象的物體不是實際上被立體顯示的物體，不需要至此為止的正確性。如果能以一定程度的正確性確定縱深方向的運算區(qū)域的范圍就足夠了。即，在這里，通過利用較少數(shù)據(jù)量的物體，從而可以減少用于取得Z值的數(shù)據(jù)處理量，可以實現(xiàn)立體顯示處理全體的高速化。此時，準備Z值取得用的其它物體空間，在其物體空間內(nèi)配置該物體來取得Z值也可以。
另外，在物體的一部分或者全體具有透過部分的情況下，忽略此部分而取得Z值也可以。由此，可以實現(xiàn)在基本表現(xiàn)空間內(nèi)不包含透過部分這樣的立體顯示。如前所述，因為基本表現(xiàn)空間是有限的，所以將使用者原來不能看見的物體的一部分或者全體的透過部分從其空間中分離出來是有意義的。當作為一部分或者全體是透過部分的物體位于其它物體的前方時，如果不忽略其部分而取得Z值的話，則位于透過部分的后方、本來在Z值取得時應當被反映的可視的物體在Z值取得時不能被反映。因此，如上所述，忽略透過部分來取得Z值是有意義的。
照相機配置決定部136根據(jù)由Z值取得部134取得的Z值以及在視差信息保存部120中保存的正確視差，計算照相機間隔等照相機參數(shù)，基于此，在物體空間內(nèi)配置2臺真實照相機。
圖14至圖16表示在本實施方式的立體圖像處理裝置中，照相機配置決定部136以Z值為基礎，決定真實照相機的照相機參數(shù)為止的處理。圖14是表示實現(xiàn)正確視差時的照相機像角、圖像大小、視差的關系的圖。首先，使用者通過立體感調(diào)整部112，將決定的界限視差變換為暫時配置的臨時照相機的預定視角。如同圖所示，近置和遠置的界限視差能以像素數(shù)M、N表示，臨時照相機的像角θ因為相當于顯示畫面的水平像素數(shù)L，所以是界限視差像素數(shù)的預定視角。近置的最大預定視角φ和遠置的最大預定視角ψ以θ、M、N、L表示。
tan(φ/2)＝Mtan(θ/2)/Ltan(ψ/2)＝Ntan(θ/2)/L這樣，以由使用者賦予的界限視差為基礎，決定近置的最大預定視角φ和遠置的最大預定視角ψ。
接著，說明決定真實照相機的照相機參數(shù)為止的樣子。圖15中的基本表現(xiàn)空間T(其縱深也記為T)，如上所述是作為使用者實現(xiàn)正確視差的范圍的空間，由立體感調(diào)整部112決定。在基本表現(xiàn)空間T的前面、與離自身最近的位置上能看見的點所允許的遠近相對應的視差所相當?shù)拿骈_始的照相機配置面，即至視點面208為止的距離為視點距離S。在這里，基本表現(xiàn)空間T以及視點距離S是根據(jù)最大Z值以及最小Z值來決定的。即，對基本表現(xiàn)空間T設定最大Z值和最小Z值的差，對視點距離S設定最小Z值。基本表現(xiàn)空間T以及視點距離S基于與最大Z值接近的值或與最小Z值接近的值來決定也可以。因為基本表現(xiàn)空間T本來也是不要求嚴密性的。在本實施方式中，真實照相機是2臺，距這些光軸交叉面212的視點面208的距離為D。到光軸交叉面212和前方投影面34為止的距離為A。
接著，如果將基本表現(xiàn)空間T內(nèi)的近置以及遠置的界限視差分別設為P、Q，則ES＝PAES+T＝QT-A成立。E為真實照相機的照相機間距離。現(xiàn)在，作為沒有賦予視差的像素的點G位于來自兩照相機的光軸K2在光軸交叉面212上的交叉位置，光軸交叉面212為屏幕面的位置。產(chǎn)生近置最大視差P的光線K1在前方投影面34上交叉，產(chǎn)生遠置最大視差Q的光線K3在后方投影面36上交叉。
P和Q如圖14所示，利用φ、ψ，用P＝2(S+A)tan(φ/2)Q＝2(S+A)tan(ψ/2)來表示，作為結(jié)果，得到E＝2(S+A)tan(θ/2)(SM+SN+TN)/(LT)
A＝STM/(SM+SN+TN)。
如上所述，由于基本表現(xiàn)空間T和視點距離S是基于最大Z值和最小Z值計算的，是已知的，所以這樣A以及E是自動決定的，即光軸交叉距離D和照相機間距離E是自動決定的，照相機參數(shù)確定。照相機配置決定部136如果根據(jù)這些參數(shù)來決定真實照相機的配置，則以后，對于來自各個照相機的圖像，通過投影處理部140以及視點圖像生成部141的處理獨立進行，由視差圖像生成部142可以生成并輸出具有正確視差的視差圖像。如上所述，E和A不包含硬件信息，能實現(xiàn)不依賴于硬件的表示形式。
這樣，照相機配置決定部136以由Z值取得部134取得的縱深方向的運算區(qū)域的范圍，也就是最大Z值以及最小Z值為基礎，以使由照相機臨時配置部130暫時配置的臨時照相機位于中心的方式，可以在假想空間內(nèi)配置2臺不同的真實照相機。
原點移動部138使真實照相機以成為照相機坐標系的原點的方式移動。投影處理部140進行上述的投影處理。此時，在圖12中，前方投影面34和后方投影面36的位置分別由最小Z值、最大Z值來決定也可以。圖17表示屏幕坐標系。視點圖像生成部141在投影處理后進行向屏幕坐標系的變換處理，生成視點圖像。視差圖像生成部142以生成的多個視點圖像為基礎生成視差圖像。
圖18表示實施方式1的立體圖像處理裝置100的處理流程。物體定義部128以輸入的三維數(shù)據(jù)為基礎，在假想空間內(nèi)設定物體以及坐標系(S10)。照相機臨時配置部130在物體空間內(nèi)暫時配置1個臨時照相機(S12)。坐標變換部132將在世界坐標系上定義的坐標變換為透視坐標系(S14)。Z值取得部134為了取得包含應當立體顯示的物體的假想空間的縱深方向的運算區(qū)域范圍，利用Z緩沖法取得Z值，求出最大Z值以及最小Z值(S16)。
照相機配置決定部136取得視差信息保存部120中保存的正確視差(S18)。照相機配置決定部136以最大Z值、最小Z值以及正確視差為基礎，在物體空間內(nèi)配置2臺真實照相機(S20)。
原點移動部138使真實照相機以成為照相機坐標系的原點的方式移動(S22)。投影處理部140對應當立體顯示的物體進行上述的投影處理(S24)，視點圖像生成部141生成作為二維圖像的視點圖像(S26)。當沒有生成照相機個數(shù)份的視點圖像的情況下(S28的否)，重復原點移動以后的處理。當生成了照相機個數(shù)份的視點圖像的情況下(S28的是)，視差圖像生成部142以這些視點圖像為基礎生成視差圖像(S29)，1幀內(nèi)的處理結(jié)束。在繼續(xù)進行下一幀的處理的情況下(S30的是)，同樣地進行上述的處理。在不繼續(xù)進行的情況下(S30的否)，結(jié)束處理。以上，說明了實施方式1的立體圖像處理裝置100的處理流程。
(第2實施方式)在這里，敘述實施方式2的概要。在實施方式1中，是在物體空間內(nèi)暫時配置臨時照相機，以取得Z值，在實施方式2中，利用由真實照相機取得的Z值。圖19表示實施方式2的立體圖像處理裝置100的構(gòu)成。以下，對和實施方式1相同的構(gòu)成采用相同的符號，并適當?shù)厥÷云湔f明。在實施方式2的立體圖像處理裝置100中，設置有作為和圖4中表示的實施方式1的立體圖像處理裝置100不同的構(gòu)成要素的Z值讀取部144、Z值寫入部146、Z值保存部150。在Z值保存部150中存儲由Z值取得部134取得的Z值。這樣保存的Z值至少包括最大Z值以及最小Z值。
Z值讀取部144讀出保存在Z值保存部150中的真實照相機的Z值。該Z值是在剛才的幀中由真實照相機取得的Z值。Z值取得部134由至少1臺真實照相機取得Z值也可以。對于靜態(tài)的物體，在剛才的幀和當前幀之間，推斷Z值沒有大的變化。因此，在實施方式2中，通過將剛才的幀的Z值作為當前幀的Z值使用，從而可以減少取得Z值時的處理量，可以實現(xiàn)立體圖像處理全體的高速化。另外，即使是動態(tài)的物體，實際上因也為剛才的幀和當前幀之間的物體的移動量并沒有那么大的變化，所以對于動態(tài)的物體也能適用。
Z值讀取部144綜合2臺以上的真實照相機的Z值也可以。所謂綜合是指在每臺照相機取得的各自的最大Z值以及最小Z值之中，將最大的最大Z值作為新的最大Z值，將最小的最小Z值作為新的最小Z值。通過綜合，從而可以取得精度高的Z值。其結(jié)果，真實照相機可以生成有效的視差圖像。Z值寫入部146將由Z值取得部134取得的Z值或者如上所述綜合的Z值保存在Z值保存部150中。
圖20表示實施方式2中的立體圖像處理裝置100的處理流程。物體定義部128以輸入的三維數(shù)據(jù)為基礎，在假想空間內(nèi)設定物體以及坐標系(S32)。照相機臨時配置部130在其物體空間內(nèi)配置1個臨時照相機(S33)。Z值讀取部144參照Z值保存部150，在保存了真實照相機的Z值的情況下(S34的是)，讀出該Z值(S42)。在沒有保存的情況下(S34的否)，即在立體圖像處理開始時，處理第1幀的情況下，坐標變換部132將在世界坐標系上定義的坐標變換為透視坐標系(S38)。Z值取得部134為了取得包括應當立體顯示的物體的假想空間的縱深方向的運算區(qū)域范圍，利用Z緩沖法取得Z值，求出最大Z值以及最小Z值(S40)。
照相機配置決定部136取得保存在視差信息保存部120中的正確視差(S44)。照相機配置決定部136以最大Z值、最小Z值以及正確視差為基礎，在物體空間內(nèi)配置2臺真實照相機(S46)。
原點移動部138使真實照相機以成為照相機坐標系的原點的方式移動(S48)。投影處理部140對應當立體顯示的物體進行上述的投影處理(S49)，視點圖像生成部141生成作為二維圖像的視點圖像(S50)。當視點圖像生成時，Z值取得部134利用Z緩沖法取得真實照相機的Z值(S52)。Z值寫入部146將取得的Z值寫入Z值保存部150(S54)。當沒有生成照相機個數(shù)份的視點圖像的情況下(S56的否)，重復原點移動以后的處理。在生成了照相機個數(shù)份的視點圖像的情況下(S56的是)，視差圖像生成部142以這些視點圖像為基礎，生成視差圖像(S57)，結(jié)束1幀的處理。在繼續(xù)下一幀的情況下(S58的是)，接著在下一幀中進行視差圖像生成處理。在不繼續(xù)的情況下(S58的否)，結(jié)束視差圖像生成處理。以上，說明了實施方式2的立體圖像處理裝置100的處理流程。
(第3實施方式)在這里，敘述實施方式3的概要。實施方式2對于靜態(tài)的物體是特別有效的，但例如物體突然在照相機的視野范圍內(nèi)入幀時或該立體圖像處理裝置檢測出場景變化時，因為運算區(qū)域的范圍急劇地產(chǎn)生變化，所以將剛才的幀中取得的Z值作為當前幀的Z值使用是不正確的。在這種情況下，該立體圖像處理裝置不是利用剛才的Z值設定照相機參數(shù)，而是通過將生成具有比在剛才幀中生成的視差圖像還要弱的視差的視差圖像這樣的照相機參數(shù)適用于真實照相機中，來進行對應的。
圖21表示實施方式3的立體圖像處理裝置100的構(gòu)成。以下，對和實施方式2相同的構(gòu)成采用相同的符號，并適當?shù)厥÷云湔f明。在實施方式3的立體圖像處理裝置100中，作為和在圖19中表示的實施方式2的立體圖像處理裝置100不同的構(gòu)成要素，設置有Z值判斷部190、照相機參數(shù)保存部152。圖21中的照相機配置決定部136和圖19中的照相機配置決定部136相比，進一步包括將配置真實照相機時的照相機參數(shù)按每幀保存在照相機參數(shù)保存部152中的功能。
Z值使用判斷部190判斷是否使用Z值，當判斷為不使用時，通知視差控制部114，Z值不可使用。Z值使用判斷部190包括場景判斷部192以及物體檢測部194。
場景判斷部192通過運動向量等公知的運動檢測方法，檢測物體的運動狀態(tài)。這樣檢測的結(jié)果，當判斷為運動多的狀態(tài)時，檢測場景變化。此時，通知視差控制部114，Z值不可使用。
物體檢測部194檢測其它的物體進入物體空間中。其檢測方法是當最大Z值和最小Z值的差瞬間超過規(guī)定值的情況下，通知視差控制部114，Z值不可使用。
當由Z值使用判斷部190指示Z值不可使用時，照相機配置決定部136配置真實照相機，以便生成具有比在前幀中生成的視差圖像還要弱的視差的視差圖像。此時，照相機配置決定部136參照照相機參數(shù)保存部152，設定比上次使用的照相機間隔還要小的照相機間隔。照相機配置可以決定部136參照照相機參數(shù)保存部152，選擇使用實現(xiàn)最小的照相機間隔的照相機參數(shù)進行配置。另外，使用預先指定的照相機參數(shù)進行配置也可以。
當運算區(qū)域的范圍有急劇變化時，和在剛才的幀生成的視差圖像相比，有生成視差的變化大的視差圖像的情況。當觀察這樣的視差圖像時，使用者有時會感到不舒服。特別是，當生成視差過強的視差圖像時，這個問題變得更顯著。為了避免這個問題，在實施方式3中的立體圖像處理裝置中生成實現(xiàn)比在剛才幀中生成的視差圖像還要弱的視差的視差圖像。由此，可以抑制立體顯示時的急劇的視差變動，可以減輕對使用者的立體視覺的影響。
圖22表示實施方式3的立體圖像處理裝置100的處理流程。由物體定義部128在假想空間內(nèi)設定物體以及坐標系(S32)之后，照相機臨時配置部130在此物體空間內(nèi)配置1個臨時照相機(S33)。Z值使用判斷部190判斷是否使用Z值，當判斷為使用Z值時(S60的是)，Z值讀取部144參照Z值保存部150(S34)。當判斷為不使用Z值(S60的否)，或者沒有保存真實照相機的Z值的情況下(S34的否)，照相機配置決定部136參照照相機參數(shù)保存部152，取得包括比上次使用的照相機間隔還要小的照相機間隔的照相機參數(shù)(S64)。在這里，在立體圖像處理開始、處理第1幀時，照相機配置決定部136使用預先指定的照相機參數(shù)也可以。
Z值讀取部144參照Z值保存部150，當保存了真實照相機的Z值的情況下(S34的是)，讀取此Z值(S42)，跳過從照相機參數(shù)保存部152的照相機參數(shù)的取得。照相機配置決定部136取得在視差信息保存部120中保存的正確視差(S44)。如果存在取得的照相機參數(shù)，則照相機配置決定部136以此照相機參數(shù)為基礎，如果不存在取得的照相機參數(shù)，則以最大Z值、最小Z值以及正確視差為基礎，在物體空間內(nèi)配置2臺真實照相機(S46)。
照相機配置決定部136將配置決定后的照相機參數(shù)保存在照相機參數(shù)保存部152中(S66)。原點移動部138使真實照相機以成為照相機坐標系的原點的方式進行移動(S48)。投影處理部140對應當立體顯示的物體進行上述的投影處理(S49)。視點圖像生成部141生成作為二維圖像的視點圖像(S50)。在視點圖像生成時，Z值取得部134利用Z緩沖法取得真實照相機的Z值(S52)。Z值寫入部146將取得的Z值寫入Z值保存部150(S54)。當沒有生成照相機個數(shù)份的視點圖像的情況下(S56的否)，重復原點移動以后的處理。
當生成了照相機個數(shù)份的視點圖像的情況下(S56的是)，視差圖像生成部142以這些視差圖像為基礎生成視差圖像(S57)，1幀的處理結(jié)束。當繼續(xù)下一幀的情況下(S58的是)，接著在下一幀進行視差圖像生成處理。在不繼續(xù)的情況下(S58的否)，結(jié)束視差圖像生成處理。以上，說明了實施方式3的立體圖像處理裝置100的處理流程。
對本發(fā)明和實施方式的構(gòu)成的對應進行了示例?！翱v深值取得部”對應于Z值取得部134，“視點配置部”對應于照相機配置決定部136，“視差圖像生成部”對應于視差圖像生成部142，“視點臨時配置部”對應于照相機臨時配置部130，“縱深值使用判斷部”對應于Z值使用判斷部190。
以上以實施方式為基礎說明了本發(fā)明。該實施方式只是示例，對于這些各構(gòu)成要素和各種處理過程的組合各種變形例是可能的，另外，這種變形例也屬于本發(fā)明的范圍，這些都是被本領域的技術人員所理解的。
(第1變形例)在實施方式1中，設置臨時照相機的理由如上所述，是為了取得決定真實照相機的配置場所的Z值，并不是為了生成視差圖像。另一方面，第1變形例中的臨時照相機在取得Z值的同時，可以生成成為視差圖像的基礎的1個視點圖像。
圖23表示第1變形例的立體圖像處理裝置100的構(gòu)成。以下，對和實施方式1相同的構(gòu)成采用相同的符號，并適當省略其說明。在第1變形例的立體圖像處理裝置100中，從圖4所示的實施方式1的立體圖像處理裝置100中除去坐標變換部132，新設置了臨時照相機原點移動部135、臨時照相機投影處理部137以及臨時照相機視點圖像生成部139。
臨時照相機原點移動部135使臨時照相機以成為照相機坐標系的原點的方式移動。臨時照相機投影處理部137對臨時照相機的應當立體顯示的物體進行上述投影處理。臨時照相機視點圖像生成部139在由上述臨時照相機進行的上述投影處理之后，進行向屏幕坐標系的變換處理，生成視點圖像。如上所述，在第1變形例中，因為可以由臨時照相機生成視點圖像，所以視差圖像生成部142除了能以由真實照相機生成的視點圖像，還以由臨時照相機生成的視點圖像為基礎，生成視差圖像。
此時，照相機配置決定部136以取得的縱深方向的運算區(qū)域范圍為基礎，除了由照相機臨時配置部130暫時配置的臨時照相機之外，還以使該臨時照相機成為中心的方式，在假想空間內(nèi)配置2臺不同的真實照相機。照相機配置決定部136使1臺臨時照相機以成為真實照相機群的中心的方式，在臨時照相機的兩個外側(cè)方向上以等距離間隔配置偶數(shù)臺真實照相機也可以。
(第2變形例)圖24是表示第2變形例的立體圖像處理裝置100的構(gòu)成的圖。第2變形例是在實施方式1的立體圖像處理裝置100中新設置了運算選擇信息取得部160。運算選擇信息取得部160取得是否包含在和每個物體相關聯(lián)的運算區(qū)域范圍中的運算選擇信息，讀取該運算選擇信息。在取得了具有不包含在運算區(qū)域范圍內(nèi)的運算選擇信息的物體時，對Z值取得部134進行忽略該物體、從其它物體取得Z值這樣的指示。由此，可以實現(xiàn)故意地飛出基本表現(xiàn)空間這樣效果的物體的立體顯示。另外，立體圖像處理裝置100內(nèi)的圖中未示出的CPU以使規(guī)定的物體不包含在運算區(qū)域范圍內(nèi)的方式對Z值取得部134進行指示也可以，使用者利用圖中未示出的GUI進行指示也可以。Z值取得部134忽略由運算選擇信息取得部160判斷為不包括在內(nèi)的物體，取得Z值。另外，運算選擇信息取得部160也可以設置在實施方式2或者實施方式3的立體圖像處理裝置100中。
(第3變形例)在實施方式3中，由Z值使用判斷部190指示了Z值不可使用時，照相機配置決定部136配置真實照相機，以便生成具有比在剛才的幀中生成的視差圖像還要弱的視差的視差圖像。在第3變形例中，當有這樣的指示時，視差圖像生成部142生成沒有視差的二維圖像也可以。如上所述，使用者訴說不舒服的原因多是由于視差過強的問題，為了避免該問題，在當前幀中通過實現(xiàn)并非立體顯示而是平面顯示，從而可以減輕對使用者的立體視覺的影響。第3變形例的立體圖像處理裝置100的構(gòu)成和實施方式3的立體圖像處理裝置100的構(gòu)成相同。第3變形例中的臨時照相機和第1變形例的情況同樣，可以在取得Z值的同時生成成為視差圖像的基礎的1個視點圖像。
圖25表示第3變形例的立體圖像處理裝置100的處理流程。物體定義部128以輸入的三維數(shù)據(jù)為基礎，在假想空間內(nèi)設定物體以及坐標系(S32)。照相機臨時配置部130在該物體空間內(nèi)配置1臺臨時照相機(S33)。Z值使用判斷部190判斷是否使用Z值，當判斷為使用Z值時(S60的是)，Z值讀取部144參照Z值保存部150(S34)。對于當判斷為不使用Z值時(S60的否)的處理，后面敘述。由Z值使用判斷部190判斷為使用Z值時(S60的是)，Z值讀取部144參照Z值保存部150，當保存了真實照相機的Z值的情況下(S34的是)，讀出該Z值(S42)。當沒有保存的情況下(S34的否)，即對于在立體圖像處理開始時、處理第1幀的情況，后面敘述。
照相機配置決定部136取得保存在視差信息保存部120中的正確視差(S44)。照相機配置決定部136以最大Z值、最小Z值以及正確視差為基礎，在物體空間內(nèi)配置2臺真實照相機(S46)。
原點移動部138使真實照相機以成為照相機坐標系的原點的方式移動(S48)。投影處理部140對于應當立體顯示的物體進行上述的投影處理(S49)，視點圖像生成部141生成作為二維圖像的視點圖像(S50)。在視點圖像生成時，Z值取得部134利用Z緩沖法取得真實照相機的Z值(S52)。Z值寫入部146將取得的Z值寫入Z值保存部150(S54)。在沒有生成照相機個數(shù)份的視點圖像的情況下(S56的否)，重復原點移動以后的處理。在生成了照相機個數(shù)份的視點圖像的情況下(S56的是)，視差圖像生成部142以這些視點圖像為基礎，生成視差圖像(S57)，1幀的處理結(jié)束。
在Z值使用判斷部190判斷為不使用Z值時(S60的否)，也就是當運算取得范圍有急劇變化時，或者沒有保存真實照相機的Z值時(S34的否)，原點移動部138使臨時照相機以成為照相機坐標系的原點的方式移動(S72)。投影處理部140對于應當立體顯示的物體進行上述的投影處理(S73)。視點圖像生成部141生成作為二維圖像的視點圖像(S74)。Z值取得部134在視點圖像生成時，由臨時照相機取得Z值(S76)。Z值寫入部146將取得的Z值保存在Z值保存部150中(S78)。視差圖像生成部142不生成視差圖像，而生成沒有視差的二維圖像(S80)，1幀的處理結(jié)束。
當下一幀繼續(xù)的情況下(S58的是)，接著進行下幀中的視差圖像生成處理。當不繼續(xù)的情況下(S58的否)，結(jié)束視差圖像生成處理。以上，說明了第3變形例的立體圖像處理裝置100的處理流程。這樣，通過顯示由1個臨時照相機得到的視點圖像，從而可以實現(xiàn)平面顯示。
(第4變形例)圖26示意性表示利用角度取得縱深方向的運算區(qū)域范圍的樣子。在實施方式中，是取得與以X軸方向的線段以及Y軸方向的線段劃分的像素對應的位置上的物體的Z值的，但在第4變形例中，如圖所示，取得第1物體22a以及第2物體22b的第1角度θ和第2角度φ對應于同一點的坐標的物體的Z值，求出最大Z值以及最小Z值也可以。此時，準備Z值取得用的其它假想空間，求出最大Z值以及最小Z值也可以。
(第5變形例)在實施方式中，照相機配置部136以臨時照相機為中心配置了2臺真實照相機，但在第5變形例中，在2臺不同的真實照相機的兩個外側(cè)方向上，使照相機間的間隔為2臺真實照相機的距離間隔的方式，配置幾臺例如4臺真實照相機。圖27表示由4臺第1～第4臺照相機24a～24d構(gòu)成的4眼式照相機配置。將由在更接近中央的第2臺照相機24b和第3臺照相機24c間決定的上述A以及E用于其它的照相機間隔也可以。由此，可以縮短用來計算決定真實照相機的場所配置的照相機參數(shù)的時間，可以實現(xiàn)立體圖像處理全體的高速化。
(第6變形例)在實施方式中，照相機臨時配置部130是按每幀決定假想空間內(nèi)的臨時照相機的配置場所，但在第6變形例中，照相機臨時配置部130以具有在剛才的幀中包括由照相機配置決定部136配置的真實照相機的視野范圍的視野范圍的方式，配置臨時照相機也可以。圖28表示臨時照相機16和4臺第1～第4真實照相機24a～24d的位置關系。如圖所示，以實現(xiàn)包括在剛才的幀中配置的4臺第1～第4真實照相機24a～24d的視野范圍的視野范圍的方式，配置有臨時照相機16。
(第7變形例)圖29是表示第7變形例的立體圖像處理裝置100的構(gòu)成的圖。在第7變形例中，在實施方式2的立體圖像處理裝置100中新設置了動作預測部170以及位移量預測部172。動作預測部170檢測各物體向前后方向的運動以及動作速度等，以此檢測結(jié)果為基礎，預測這些物體將來的運動狀態(tài)。位移量預測部172以動作預測部170的預測結(jié)果為基礎，預測包括這些應當立體顯示的物體的規(guī)定的區(qū)域的位移量。例如，位移量預測部172通過將該位移量和剛才幀中的縱深方向的運算區(qū)域范圍相加，從而可以預測當前幀中縱深方向的運算區(qū)域范圍。此時，以縱深方向的運算區(qū)域范圍為基礎，取得Z值，作為當前幀中Z值的預測值也可以。另外，位移量預測部172可以預測實現(xiàn)與該位移量對應的照相機的配置這樣的照相機間隔和光軸交叉位置等照相機參數(shù)。
照相機配置決定部136以根據(jù)位移量預測部172的縱深方向的運算區(qū)域范圍和照相機參數(shù)的預測結(jié)果為基礎，決定在假想空間內(nèi)的真實照相機的配置場所。例如，當由位移量預測部172得到縱深方向的運算區(qū)域范圍明顯擴張的預測結(jié)果時，照相機配置決定部136以使當前幀中的真實照相機的照相機間隔縮小的方式配置真實照相機。另外，照相機配置決定部136根據(jù)位移量預測部172的縱深方向的運算區(qū)域范圍的預測結(jié)果的變化，來調(diào)整真實照相機的光軸交叉位置也可以。例如，照相機配置決定部136調(diào)整光軸交叉位置，以使從運算區(qū)域的最前方的運算區(qū)域面18開始至光軸交叉位置為止的距離和從光軸交叉位置開始至運算區(qū)域的最后方的運算區(qū)域面20為止的距離的比為恒定，來配置真實照相機也可以。由此，可以實現(xiàn)對應于物體的運動的真實照相機配置，立體圖像處理裝置100可以得到精度更高的視點圖像。
(第8變形例)在實施方式3中，當由Z值使用判斷部190判斷為不使用Z值時，在當前幀中生成了具有比在剛才的幀中生成的視差圖像還要弱的視差的視差圖像。但在第8變形例中，當由Z值使用判斷部190判斷為不使用Z值時，Z值取得部134不使用在剛才的幀中取得的Z值，而利用在上述的投影處理的剪取時臨時設定的前方投影面34和后方投影面36，取得縱深方向的運算區(qū)域的范圍也可以。如上所述，前方投影面34和后方投影面36由于決定為包含了可視物體全體，所以作為包含了應當立體顯示的物體的運算區(qū)域，利用在前方投影面34和后方投影面36之間所包圍區(qū)域是有效的。
(第9變形例)在實施方式3中，當由Z值使用判斷部190判斷為不使用Z值時，在當前幀中生成了具有比在剛才的幀中生成的視差圖像還要弱的視差的視差圖像。在由真實照相機生成視點圖像的同時取得Z值的情況下，雖然立體圖像處理相關的時間上的問題少，但在該視點圖像生成時需要通過其它的機會進行Z值的取得處理的情況下，以簡單的取得方法取得處理的高速化是必要的。此時，作為第9變形例，Z值取得部134以比視點圖像的分辨率還要低的分辨率取得Z值也可以。如前所述，取得的Z值是用來確定物體的縱深方向的運算區(qū)域的范圍，無需生成視差圖像那樣的分辨率。即，在這里通過使分辨率比視點圖像還降低，從而能減少用于取得Z值的數(shù)據(jù)處理量，可以實現(xiàn)立體顯示處理全體的高速化。另外，當由Z值取得部134進行的Z值取得處理到場景變化為止還不能結(jié)束的情況下，使場景變化延遲到該取得處理結(jié)束為止，也可以。
圖30表示第9變形例的立體圖像處理裝置100的處理流程。由物體定義部128在假想空間內(nèi)設定了物體以及坐標系(S32)，照相機臨時配置部130在該物體空間內(nèi)配置1臺臨時照相機(S33)。Z值使用判斷部190判斷是否使用Z值，當判斷為使用Z值時(S60的使)，Z值讀取部144參照Z值保存部150(S34)。
當判斷為不使用Z值時(S60的否)，或者在Z值保存部150中沒有保存Z值時(S34的否)，坐標變換部132將在世界坐標系上定義的坐標變換為透視坐標系(S38)。Z值取得部134為了取得包括應當立體顯示的物體的假想空間的縱深方向的運算區(qū)域的范圍，利用Z緩沖法取得Z值，求出最大Z值以及最小Z值(S40)。此時，如上所述，Z值取得部134以比視點圖像的分辨率還要低的分辨率取得Z值也可以。當由Z值取得部134進行的Z值取得處理到場景變化為止還不能結(jié)束的情況下，使場景變化延遲到該取得處理結(jié)束為止，也可以。
Z值讀取部144當在Z值保存部150中保存了Z值時，讀出Z值(S42)。照相機配置決定部136取得保存在視差確定部124中的正確視差(S44)。照相機配置決定部136以最大Z值、最小Z值以及正確視差為基礎，在物體空間內(nèi)配置2臺真實照相機(S46)。
原點移動部138使真實照相機以成為照相機坐標系的原點的方式移動(S48)。投影處理部140對于應當立體顯示的物體進行上述投影處理(S49)。視點圖像生成部141生成作為二維圖像的視點圖像(S50)。在視點圖像生成時，Z值取得部134利用Z緩沖法取得真實照相機的Z值(S52)。Z值寫入部146將取得的Z值寫入Z值保存部150中(S54)。
當沒有生成照相機個數(shù)份的視點圖像的情況下(S56的否)，重復原點移動以后的處理。當生成了照相機個數(shù)份的視點圖像的情況下(S56的是)，視差圖像生成部142以這些視點圖像為基礎，生成視差圖像(S57)，結(jié)束1幀的處理。當繼續(xù)下一幀的情況下(S58的是)，接著進行下幀中的視差圖像生成處理。當不繼續(xù)的情況下(S58的否)，結(jié)束視差圖像生成處理。以上，說明了第9變形例的立體圖像處理裝置100的處理流程。
(第10變形例)在實施方式中，相對于屏幕面，在水平方向上配置了照相機，但也可以在垂直方向上配置照相機，能取得和水平方向的情況同樣的效果。
(第11變形例)在實施方式中，由Z緩沖法取得了物體的Z值，作為變形例，取得景深圖(depth map)來確定縱深方向的運算區(qū)域的范圍也可以。本變形例也能取得和實施方式同樣的效果。
(第12變形例)任意組合實施方式1至實施方式3的形態(tài)也是有效的。根據(jù)本變形例，得到了任意組合實施方式1至實施方式3的效果。
權利要求
1.一種立體圖像處理裝置，其中以和不同的視點對應的多個視點圖像為基礎，立體顯示物體，其特征在于，包括取得包括所述應當立體顯示的物體的假想空間內(nèi)的縱深方向的運算區(qū)域范圍的縱深值取得部；以所述取得的縱深方向的運算區(qū)域的范圍為基礎，在所述假想空間內(nèi)配置多個不同視點的視點配置部；和以來自所述多個不同的視點的視點圖像為基礎，生成視差圖像的視差圖像生成部。
2.根據(jù)權利要求1所述的立體圖像處理裝置，其特征在于，還包括在所述假想空間內(nèi)暫時配置視點的視點臨時配置部；所述縱深值取得部基于所述暫時配置的視點，取得所述縱深方向的運算區(qū)域的范圍。
3.根據(jù)權利要求2所述的立體圖像處理裝置，其特征在于，所述視點臨時配置部在所述假想空間內(nèi)暫時配置1個視點。
4.根據(jù)權利要求2所述的立體圖像處理裝置，其特征在于，所述視點臨時配置部在所述假想空間內(nèi)配置視點，以便具有包括由所述視點配置部配置的多個視點的視野范圍的視野范圍。
5.根據(jù)權利要求3所述的立體圖像處理裝置，其特征在于，所述視點臨時配置部在所述假想空間內(nèi)配置視點，以便具有包括由所述視點配置部配置的多個視點的視野范圍的視野范圍。
6.根據(jù)權利要求2～5中任一項所述的立體圖像處理裝置，其特征在于，所述視點配置部以由所述縱深值取得部取得的所述縱深方向的運算區(qū)域的范圍為基礎，除了由所述視點臨時配置部暫時配置的視點之外，在所述假想空間內(nèi)配置2個不同的視點，以使該視點成為中心。
7.根據(jù)權利要求6所述的立體圖像處理裝置，其特征在于，所述視點配置部在所述2個不同視點的兩個外側(cè)方向上，以使視點間的距離為所述2個視點的距離間隔的方式配置多個視點。
8.根據(jù)權利要求1所述的立體圖像處理裝置，其特征在于，所述縱深值取得部以比所述視點圖像的分辨率還要低的分辨率取得所述縱深方向的運算區(qū)域的范圍。
9.根據(jù)權利要求1所述的立體圖像處理裝置，其特征在于，所述縱深值取得部對應于所述應當立體顯示的物體，而且利用由較少數(shù)據(jù)量構(gòu)成的物體，取得所述縱深方向的運算區(qū)域的范圍。
10.根據(jù)權利要求1所述的立體圖像處理裝置，其特征在于，所述縱深值取得部在由所述視點配置部配置的所述多個不同的視點之中，由至少1個視點取得所述縱深方向的運算區(qū)域的范圍。
11.根據(jù)權利要求1所述的立體圖像處理裝置，其特征在于，所述縱深值取得部在由所述視點配置部配置的所述多個不同視點之中，由2個以上的視點取得所述縱深方向的運算區(qū)域的范圍，綜合各個縱深方向的運算區(qū)域的范圍，生成1個縱深方向的運算區(qū)域的范圍。
12.根據(jù)權利要求10或者11所述的立體圖像處理裝置，其特征在于，進一步包括判斷是否使用由所述縱深值取得部取得的所述縱深方向的運算區(qū)域的范圍的縱深值使用判斷部；當由所述縱深值使用判斷部判斷為不能使用時，所述視差圖像生成部不生成視差圖像，而生成沒有視差的二維圖像。
13.根據(jù)權利要求10或者11所述的立體圖像處理裝置，其特征在于，進一步包括判斷是否使用由所述縱深值取得部取得的所述縱深方向的運算區(qū)域的范圍的縱深值使用判斷部；當由所述縱深值使用判斷部判斷為不能使用時，所述視點配置部配置所述多個不同的視點，以便生成使其具有比上次生成的視差圖像還要弱的視差的視差圖像。
14.根據(jù)權利要求10或者11所述的立體圖像處理裝置，其特征在于，進一步包括判斷是否使用由所述縱深值取得部取得的所述縱深方向的運算區(qū)域的范圍的縱深值使用判斷部；當由所述縱深值使用判斷部判斷為不能使用時，所述縱深值取得部利用前方投影面以及后方投影面，取得所述縱深方向的運算區(qū)域的范圍。
15.根據(jù)權利要求10或者11所述的立體圖像處理裝置，其特征在于，進一步包括檢測所述物體的運動狀態(tài)，以該檢測結(jié)果為基礎，預測所述物體將來的運動狀態(tài)的動作預測部；和以由所述動作預測部預測的物體將來的運動狀態(tài)為基礎，預測包括所述物體的規(guī)定區(qū)域的位移量的位移量預測部；所述視點配置部基于由所述位移量預測部預測的規(guī)定區(qū)域的位移量，在所述假想空間內(nèi)配置所述多個不同的視點。
16.根據(jù)權利要求1所述的立體圖像處理裝置，其特征在于，進一步包括對所述每個物體取得是否包含在所述運算區(qū)域的范圍內(nèi)的運算選擇信息的運算選擇信息取得部；當由所述運算選擇信息取得部取得了不包含在所述運算區(qū)域的范圍內(nèi)的運算選擇信息時，所述縱深值取得部忽略不包含在運算區(qū)域內(nèi)的物體，從其它的物體取得所述縱深方向的運算區(qū)域的范圍。
17.根據(jù)權利要求2所述的立體圖像處理裝置，其特征在于，進一步包括對所述每個物體取得是否包含在所述運算區(qū)域的范圍內(nèi)的運算選擇信息的運算選擇信息取得部；當由所述運算選擇信息取得部取得了不包含在所述運算區(qū)域的范圍內(nèi)的運算選擇信息時，所述縱深值取得部忽略不包含在運算區(qū)域內(nèi)的物體，從其它的物體取得所述縱深方向的運算區(qū)域的范圍。
18.根據(jù)權利要求10或者11所述的立體圖像處理裝置，其特征在于，進一步包括對所述每個物體取得是否包含在所述運算區(qū)域的范圍內(nèi)的運算選擇信息的運算選擇信息取得部；當由所述運算選擇信息取得部取得了不包含在所述運算區(qū)域的范圍內(nèi)的運算選擇信息時，所述縱深值取得部忽略不包含在運算區(qū)域內(nèi)的物體，從其它的物體取得所述縱深方向的運算區(qū)域的范圍。
19.一種立體圖像處理方法，其特征在于，包括取得包括以立體顯示為目的的物體的假想空間內(nèi)的縱深方向的運算區(qū)域的范圍的步驟；以所述取得的縱深方向的運算區(qū)域的范圍為基礎，在所述假想空間內(nèi)配置多個不同的視點的步驟；和以來自所述多個不同的視點的視點圖像為基礎，生成視差圖像的步驟。
全文摘要
本發(fā)明提供一種立體圖像處理裝置以及方法。照相機配置決定部(136)在當前幀中，以在剛才的幀中取得的Z值以及使用者的正確視差為基礎，決定物體空間中的真實照相機的配置場所。在進行了投影處理之后，視差圖像生成部(142)以視點圖像為基礎，生成視差圖像。上述的Z值是在剛才的幀中由照相機配置決定部(136)配置的至少1臺真實照相機取得的值，通過將其利用于當前幀，從而可以實現(xiàn)立體圖像處理全體的高速化。
文檔編號G06T19/00GK1678085SQ20051005504
公開日2005年10月5日 申請日期2005年3月15日 優(yōu)先權日2004年3月31日
發(fā)明者增谷健, 濱岸五郎 申請人:三洋電機株式會社