專利名稱：產(chǎn)生三維圖象計(jì)算深度信息和用其進(jìn)行圖象處理的方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于產(chǎn)生三維空間顯示的圖象(以后稱為3-D顯示)和計(jì)算深度信息和使用深度信息進(jìn)行圖象處理的方法。產(chǎn)生3-D顯示圖象的方法特別涉及通過多眼攝象機(jī)拍攝偽取景器圖象和從單眼攝象機(jī)拍攝的取景器圖象的方法。計(jì)算深度信息的方法是關(guān)于獲得目標(biāo)和攝象人之間的距離的方法，該方法可以用來實(shí)現(xiàn)產(chǎn)生3-D顯示的圖象的方法。使用深度信息進(jìn)行圖象處理的方法是關(guān)于包括為3-D顯示而產(chǎn)生圖象和保留產(chǎn)生3-D顯示的圖象，增強(qiáng)顯示等等類似的應(yīng)用。3-D顯示圖象的產(chǎn)生通過檢測2-D運(yùn)動圖象來產(chǎn)生3-D圖象的電視技術(shù)所相關(guān)的領(lǐng)域以為眾所周知了。該技術(shù)的一典型實(shí)例是使用時間差方法的3-D顯示，該方法的原理將結(jié)合

圖1至3加以描述。
在景中，目標(biāo)從左向右移動而背景是靜止的，這如圖1所示，通過再現(xiàn)右和左眼各自的圖象(以后分別稱為右和左眼圖象)，使在它們之間有預(yù)定的時間流過，這如圖2所示，視差θ產(chǎn)生了，這如圖3所示，“視差”或“兩眼的差異”被定義為從右和左眼分別指向一點(diǎn)的視矢量之間的角度差異。在圖1中，由于視差視者感覺小車比背景更近，偽立體視覺就實(shí)現(xiàn)了。當(dāng)目標(biāo)，在該情況下是小車在相對方向移動時，各自的圖象被產(chǎn)生，使得右眼看到的小車再現(xiàn)比左眼看到的小車早一個預(yù)定的時間，對照的例子如圖3所示。
日本出版號Sho55-36240公開了一個使用深度信息的立體圖象的顯示儀器，其中該儀器從多方向的信號中僅僅接收從基本方向(即，2-D運(yùn)動圖象)拍攝的圖象信號和包括目標(biāo)深度信息的信號，使得在儀器中再現(xiàn)從多方向拍攝的初始取景器圖象。儀器的目的是減少傳送帶寬。儀器包括產(chǎn)生時間延遲的各種延時電路并同時按照深度信息控制范圍。時延產(chǎn)生了視差，依照電路的輸出信號，為左右眼再現(xiàn)圖象信號。依這樣的方式，偽立體圖象被再現(xiàn)。該出版物公開了如下裝置為公開的儀器的最佳實(shí)施例，(1)通過分別提供右和左眼圖象到兩個CRT而顯示給視者偽立體圖象的裝置，該右和左眼圖象是這樣置位的以形成半鏡的預(yù)定的角度，和(2)使用雙凸透鏡固定在顯示屏前以顯示偽立體圖象仿佛視者在水平方向上移動的裝置。
然而，上述的儀器是在深度信息由外部提供的條件下工作。因此，如果它僅接收2-D運(yùn)動圖象，儀器本身并不能產(chǎn)生偽立體圖象。
日本申請?zhí)枮镠ei 7-59119的申請也公開了一個根據(jù)2-D運(yùn)動圖象產(chǎn)生偽立體圖象的儀器。該儀器包括，一檢測電路，用于從所提供的2-D運(yùn)動圖象中檢測運(yùn)動矢量；一個延遲電路，用于根據(jù)運(yùn)動矢量延遲右或左圖象其中之一。延遲產(chǎn)生了視差。該申請公開了固定顯示的頭(HMD)做為所公開儀器的最佳實(shí)施例，該頭固定顯示的頭是玻璃類型的，用于提供不同的圖象到右和左眼。通過HMD，視者可以看到偽立體的圖象。
在這個儀器中，由于延遲的范圍是由運(yùn)動矢量的幅度所決定的，在高速運(yùn)動下的任何物體呈現(xiàn)出更接近視者，形成了不自然的立體景象，該非自然的立體景象與視者(或攝象機(jī))和目標(biāo)的有效距離(即，深度)是不和諧的。
日本公開號Sho 60-263594的申請也公開了使用時間差方法顯示偽立體圖象的一儀器，其中儀器為每一場交替地顯示右眼和左眼的圖象，使得它們?yōu)槊恳粓鼋惶娴赝ㄟ^快門玻璃被看見，因?yàn)榭扉T玻璃交替地打開他們的右和左眼。
當(dāng)目標(biāo)在慢速移動時，該申請進(jìn)一步公開了通過提供在右和左圖象之間的較長的時間差而產(chǎn)生立體效果的方法。然而，由于該儀器不是根據(jù)深度信息進(jìn)行操作的，因而提供被產(chǎn)生和被顯示的精確的偽立體圖象是不可能的。
在1993.5.5發(fā)行的雜志“象素”(號128)在97頁至102頁描述了使用深度信息的偽立體圖象系統(tǒng)。在該系統(tǒng)中，目標(biāo)首先被顯示為灰度級對應(yīng)深度的一灰度圖象，和然后根據(jù)灰度級，適當(dāng)?shù)囊暡畎凑障笏氐臄?shù)目加以計(jì)算，這樣右和左的圖象被產(chǎn)生和通過快門玻璃被看見。然而，立體圖象是手動產(chǎn)生的，并沒有公開自動產(chǎn)生的技術(shù)。
公開號為Hei 4-504333(W088/04804)的申請公開了使用深度信息完成偽立體圖象的方法。該方法包括以下步驟分2-D運(yùn)動圖象為幾個區(qū)域，給每一個被分區(qū)域深度信息，給每一個區(qū)域提供視差和產(chǎn)生偽立體圖象。然而，深度信息是手工提供的，自動提供的技術(shù)并沒有公開。
在所謂“計(jì)算機(jī)視覺”的科研領(lǐng)域中，研究已經(jīng)被引入到建立目標(biāo)的3-D結(jié)構(gòu)和運(yùn)動的方法。具體而言，目標(biāo)在于機(jī)器人自控制的研究已經(jīng)涉及到通過使用立體攝象機(jī)(多眼攝象機(jī))或使用處在移動過程中的單眼攝象機(jī)拍攝目標(biāo)而獲得從視點(diǎn)到目標(biāo)的精確距離。該技術(shù)的幾個方面已經(jīng)在標(biāo)題為“日本1990圖象編碼論文集”的報(bào)告中得到描述，例如，在57頁。[2]產(chǎn)生深度信息計(jì)算機(jī)視覺可以檢測目標(biāo)的深度。然而，在計(jì)算深度信息時，這是基于2-D運(yùn)動信息，適當(dāng)?shù)膱D象并不是總是提供給計(jì)算。如果計(jì)算甚至用提供的不適當(dāng)?shù)膱D象連續(xù)進(jìn)行，可能產(chǎn)生嚴(yán)重的錯誤。即，如果深度信息是從這樣不適當(dāng)?shù)膱D象獲得的，然后用來產(chǎn)生立體圖象，這就完全可能，使這樣產(chǎn)生的立體圖象將是不自然的，即出現(xiàn)異常，一人物在距離上呈現(xiàn)比另一人物近，在實(shí)際上另一個人物更近。
值得注意的是，通過理解幀與幀之間的對應(yīng)關(guān)系獲得深度信息是眾所共知的。例如，日本公開號為Hei 7-71940(它對應(yīng)著USP 5475422)的申請論述下面內(nèi)容作為現(xiàn)有技術(shù)，(1)通過立體攝象機(jī)拍攝的兩個圖象的相關(guān)點(diǎn)或線來預(yù)測真實(shí)空間(3-D世界)的該點(diǎn)或線的位置的技術(shù)，和(2)在移動攝象機(jī)的同時在其上面拍攝目標(biāo)，這樣獲得它的連續(xù)取景器圖象用來跟蹤連續(xù)取景器圖象的特征點(diǎn)的運(yùn)動并且以比預(yù)計(jì)每一個特征點(diǎn)在實(shí)際空間的位置的技術(shù)c[3]使用深度信息進(jìn)行圖象處理的方法使用深度信息控制機(jī)器人運(yùn)動的方法是共知的，例如前述的計(jì)算機(jī)視覺，使用深度信息產(chǎn)生偽立體圖象的方法也是公知的，例如號為Sho 55-36240的前述的日本申請。
另一方面，使用深度信息進(jìn)行圖象處理而不產(chǎn)生偽立體圖象的方法已經(jīng)很少有人提出了。
本發(fā)明的第一個目的是關(guān)于產(chǎn)生如[1]所述的3-D顯示圖象。在定義本發(fā)明的目標(biāo)時，發(fā)明人注意了這樣的事實(shí)，所有前述的產(chǎn)生偽立體圖象的技術(shù)至少具有下述要被解決的問題之一1根據(jù)深度信息的精確立體圖象未被產(chǎn)生。取代的方法是，根據(jù)運(yùn)動的范圍僅僅3-D效果被臨時地產(chǎn)生。近而，需要使用時延(時間差)產(chǎn)生視差，需要目標(biāo)的水平運(yùn)動并作為產(chǎn)生的前提，該產(chǎn)生的前提構(gòu)成了基本限制。
2由于它不是自動的，從2-D運(yùn)動圖象獲得深度信息的過程是編輯過程。這樣，立體圖象不能根據(jù)2-D運(yùn)動圖象的輸入而實(shí)時輸出。
因此，本發(fā)明的第一個目的是通過應(yīng)用涉及計(jì)算機(jī)視覺涉及包括相關(guān)電視技術(shù)領(lǐng)域的圖象處理領(lǐng)域的前述技術(shù)根據(jù)深度信息產(chǎn)生精確的立體圖象。
為了上述目的，依照本發(fā)明，深度信息從2-D運(yùn)動圖象中取出，基于此深度信息，3-D顯示圖象就被產(chǎn)生了。這是應(yīng)用涉及計(jì)算機(jī)視覺涉及相關(guān)于圖象顯示的技術(shù)領(lǐng)域的技術(shù)。依照本發(fā)明的一個方面，深度信息通過下述過程獲得即，2-D運(yùn)動圖象的運(yùn)動被檢測；景象和2-D運(yùn)動圖象的拍攝點(diǎn)之間的相關(guān)的3-D運(yùn)動被計(jì)算；從拍攝點(diǎn)到2-D運(yùn)動圖象的各自圖象部分的相對的距離被計(jì)算，該計(jì)算根據(jù)相關(guān)的3-D運(yùn)動和各個圖象部分的運(yùn)動，根據(jù)這樣獲得的深度信息，產(chǎn)生偽立體圖象。
本發(fā)明的該方面可以不同地描述為通過下述過程獲得深度即，大量取景器的幀(以后稱為幀)從要被處理的2-D運(yùn)動圖象中選出；在各自圖象部分的3-D真實(shí)世界的相關(guān)的位置關(guān)系在各幀之間的2-D位置移動的基礎(chǔ)上被識別。換句話說，為了確定深度，各個圖象部分的3-D運(yùn)動根據(jù)2-D-位置移動加以計(jì)算，根據(jù)這樣的計(jì)算，3-D世界的各自部分的位置坐標(biāo)根據(jù)三角測量原理加以計(jì)算。一幀是圖象處理單元，即，包括幀圖象或在MPEG內(nèi)的場圖象或類似的圖象的概念。
考慮2-D運(yùn)動圖象，大量取景器的幀以后參考為“不同時間的幀”，因?yàn)樗鼈兪窃诓煌瑫r間被拍攝的。(在下述多眼攝象機(jī)描述中，同時拍攝的大量的幀以后稱之為“同時的幀”。)幀平面上的位置移動被參考為“2-D位置移動”。在本發(fā)明的該方面，討論不同時間的幀，“2-D位置移動”是指由于隨時間過去產(chǎn)生的變化，這就是運(yùn)動。(以此相對，同時幀的“2-D位置移動是指大量幀之間的位置差)。
本發(fā)明的第二個目的是關(guān)于計(jì)算深度信息，這如上[2]所描述c即，本發(fā)明的第二個目的是提出了在大量圖象中獲得正確對應(yīng)關(guān)系的方法，以計(jì)算深度信息，用來從要被輸入的圖象中選取適當(dāng)?shù)囊粋€用于計(jì)算，當(dāng)任何不適當(dāng)?shù)那闆r發(fā)生時，例如要出現(xiàn)非自然的偽立體圖象要被產(chǎn)生時的情況時，間斷計(jì)算深度信息。近而，本發(fā)明目標(biāo)在于提出有效地確定對應(yīng)和特征點(diǎn)，以及高精度地檢索和跟蹤點(diǎn)的方法。
為了達(dá)到該目的，依本發(fā)明，在它們之間具有適當(dāng)大運(yùn)動的兩幀從2-D運(yùn)動圖象中選出，使得深度信息從兩幀中獲得，依照本發(fā)明的該方面，用能便于計(jì)算的預(yù)選的兩幀可以獲得好的計(jì)算結(jié)果。是否幀具有適當(dāng)大的運(yùn)動的判斷可以根據(jù)特征點(diǎn)運(yùn)動變化的范圍。
根據(jù)本發(fā)明的另一方面，使用在參考幀提供的代表點(diǎn)，在包括特征點(diǎn)在另一幀的圖象區(qū)域(以后稱另一幀為目標(biāo)幀)和包括代表點(diǎn)在參考幀的圖象區(qū)域之間對圖象的類似性進(jìn)行估算。特性點(diǎn)被選來作為經(jīng)受估算的相應(yīng)點(diǎn)，被選點(diǎn)是隨機(jī)決定的。然后，特征點(diǎn)和另一個特征點(diǎn)之間的相關(guān)位置的可接收性受到估算和評價(jià)。即，判斷特征點(diǎn)與另一個特征點(diǎn)之間的相關(guān)位置關(guān)系相對于同代表點(diǎn)與另一個代表點(diǎn)之間的相關(guān)位置關(guān)系一樣的位置關(guān)系是否合理或可接受，其中所述代表點(diǎn)與另一個代表點(diǎn)分別與各特征點(diǎn)相應(yīng)。當(dāng)兩個求值獲得較高的分?jǐn)?shù)時，特征點(diǎn)臨時地被確定為代表點(diǎn)的相應(yīng)點(diǎn)。隨后，通過在預(yù)定的檢索區(qū)域移動相應(yīng)點(diǎn)而且同時假定所有其它相應(yīng)點(diǎn)是固定的，一最好的點(diǎn)被檢索，使得每一個估算結(jié)果產(chǎn)生最好的結(jié)果(該方法以后稱為固定的檢索方法)。在檢索過程中已經(jīng)發(fā)現(xiàn)最好位置被確定為相應(yīng)點(diǎn)的新位置。所有相應(yīng)點(diǎn)都順序地經(jīng)受了這樣檢索和位置變化。此后，基于表示點(diǎn)和它的相應(yīng)點(diǎn)之間的位置關(guān)系深度信息被獲得，通過上述的過程系列已經(jīng)獲得相應(yīng)點(diǎn)。
通常，通過塊匹配和類似方法已經(jīng)估算了圖象的類似性。在本發(fā)明中，另一方面，通過包括的對相關(guān)位置估算的附加的估算，幀之間的相應(yīng)關(guān)系能被更精確地檢測。通過相互作用的計(jì)算精度能進(jìn)一步地改進(jìn)。
根據(jù)本發(fā)明的一個方面，圖象的類似性可以通過被修改的塊匹配進(jìn)行求值和估算，使得當(dāng)包括同一目標(biāo)的多塊被測試時，相似性能被正確地評價(jià)為最高，而不管拍攝條件如何(以后稱為偏置塊匹配)。作為同時的諸幀，由于大量攝象機(jī)的特性差異，特定的顏色折射傾向于發(fā)生，作為不同時的諸幀，由于從時間到時間的變化，同樣的問題也可能出現(xiàn)，這就造成了取景器圖象亮度的變化。在解決此問題進(jìn)行校正之后，圖象的相似性被轉(zhuǎn)換并用幾何距離的形式加以表示，該幾何距離就是判斷相關(guān)位置的可接受性的概念。然后，相關(guān)位可接收性和傳送的相似性被組合在一塊被用來作為評價(jià)結(jié)果的一般判斷。在這種情況下，偏置塊匹配能被引入到校正限制內(nèi)，該校正限制是預(yù)定的并且取決于參考幀和目標(biāo)幀之間的距離。即，當(dāng)距離較大時，較大的校正限制依此被設(shè)置。
在日本公開號5-3086630中公開了亮度偏移變化的校正。然而，校正僅限于應(yīng)用到面出或面進(jìn)的情況(亮度的一致的變化)，并沒有設(shè)及亮度的部分變化。
依照本發(fā)明的另一方面，通過下述過程可以獲得深度信息即，大量的代表點(diǎn)在一參考幀中被提供；大量的代表點(diǎn)的對應(yīng)點(diǎn)在一目標(biāo)幀中被確定，使得對應(yīng)代表點(diǎn)的每一個的每一點(diǎn)；和在代表點(diǎn)當(dāng)中的至少一個特性點(diǎn)和它對應(yīng)點(diǎn)之間的位置關(guān)系被獲得。它的位置始終在大量不同時間諸幀內(nèi)移動的一點(diǎn)被選出作為一特征點(diǎn)，因?yàn)檫@樣一點(diǎn)被認(rèn)為是始終被精確地跟蹤了。
類似地，根據(jù)本發(fā)明的另一方面，如果一點(diǎn)，在同時的諸幀之間的位移實(shí)質(zhì)上是一致的或?qū)嵸|(zhì)上是一致變化的，它在近處拍攝的其它同時諸幀之間示出了類似地一致移動或運(yùn)動的變化但是和上述的時間不同，這樣的點(diǎn)可以選來作為特征點(diǎn)。
依照本發(fā)明的另一方面，深度信息可以從下述的過程獲得即，大量代表點(diǎn)在參考圖象中被獲得；大量代表點(diǎn)的相應(yīng)點(diǎn)在另一個圖象中被確定；該代表點(diǎn)和它的對應(yīng)點(diǎn)的位置關(guān)系被獲得；依照位置關(guān)系計(jì)算深度信息，當(dāng)不足夠數(shù)目的特征點(diǎn)在代表點(diǎn)中被建立時或特征點(diǎn)的移動太小時深度信息的計(jì)算被間斷，因?yàn)檫@不大可能出現(xiàn)，即取景器諸圖象之間的位置關(guān)系高精度地被獲得。
兩種概念上不同的對應(yīng)點(diǎn)存在著，即，一真實(shí)的對應(yīng)點(diǎn)和計(jì)算的對應(yīng)點(diǎn)。在原理上，每一個代表點(diǎn)僅有唯一的對應(yīng)點(diǎn)，這就取消了在任何其它位置上存在其它諸對應(yīng)點(diǎn)的可能性。這個理想的唯一對應(yīng)點(diǎn)是真實(shí)對應(yīng)點(diǎn)。另一方面，為圖象處理通過計(jì)算確定一對應(yīng)點(diǎn)并不必須與真實(shí)對應(yīng)點(diǎn)相一致。這是計(jì)算的對應(yīng)點(diǎn)，該對應(yīng)點(diǎn)可能存在在真實(shí)對應(yīng)點(diǎn)位置之外的任何位置并隨機(jī)改變它的位置。位置變化可以在過程中重新被分類，以改進(jìn)對應(yīng)點(diǎn)的精度，這將在以后敘述。在該說明中，“對應(yīng)點(diǎn)”的術(shù)語被用來表示真實(shí)和計(jì)算的對應(yīng)點(diǎn)兩者而不區(qū)分兩個概念，除非有必要區(qū)分它們。
依本發(fā)明的再一方面，其中一特定圖象的任一點(diǎn)的深度被計(jì)算為一負(fù)值時獲得2-D圖象的深度，將參考鄰近的具有正深度值的點(diǎn)的深度信息重新計(jì)算深度。即，當(dāng)深度被計(jì)算為負(fù)值時，這可能在計(jì)算過程中使用了不適當(dāng)?shù)挠?jì)算變量，因此，根據(jù)鄰近點(diǎn)的深度，這樣一個負(fù)深度能被校正。
本發(fā)明的第三個方面是關(guān)于[3]，即，使用圖象處理的深度信息而不產(chǎn)生偽立體圖象。
為了實(shí)現(xiàn)該目的，依照本發(fā)明，通過依照它的深度信息給2]圖象視差而產(chǎn)生立體圖象，視差首先被改變并落入預(yù)定的范圍，使得立體圖象按照變化的深度信息被產(chǎn)生。過大的視差能在視者眼里形成假象，以此相對，過小的視差使作為數(shù)據(jù)的視差意義無效。因此，這就必須保持視差在希望的范圍內(nèi)。
依照本發(fā)明的另一方面，通過依照它的深度信息給2-D圖象視差而產(chǎn)生立體圖象，依照深度信息確定的視差最初被設(shè)置為變量。通過這樣的安排，根據(jù)視者變化視差的結(jié)構(gòu)，例如，這就可能產(chǎn)生和顯示視者高興和喜歡的偽立體圖象。
依照本發(fā)明的另一方面，通過依照它的深度信息給2-D圖象視差和在立體圖象顯示儀上顯示立體圖象而產(chǎn)生立體圖象，一過程被引入到2-D圖象，使得所形成的視差是根據(jù)立體圖象顯示儀唯一的顯示情況確定的。顯示狀況是由顯示儀器的顯示屏幕的大小和假定的從顯示屏到視者之間的距離控制。
依照本發(fā)明的另一方面，通過依照深度信息給出2-D圖象的每一圖象部分的視差產(chǎn)生立體圖象，由給定視差形成的不均勻的圖象框架輪廓線被校正。尤其是，給定一個視差，如果在屏右端所示出的圖象區(qū)域被顯示的稍微向右，該圖象區(qū)域結(jié)果從初始的圖象框架突出，和這樣形成了在圖象框架邊緣的不均勻部分。對這樣不均勻部分的糾正是糾正在框上的呈現(xiàn)。通過在一定深度均勻地切掉框的周邊部分進(jìn)行校正，以完成圖象框的所希望形狀。
依照本發(fā)明的另一方面，在依照深度信息完成對2-D圖象進(jìn)行圖象處理的方法，確定經(jīng)受圖象處理的圖象區(qū)域，是依照深度信息完成該圖象處理的。使用這樣的安排，就可能分離目標(biāo)或改變離開視者一特定距離的目標(biāo)的大小。
依照本發(fā)明的另一方面，在依照它的深度信息對2-D圖象進(jìn)行圖象處理的方法中，在2-D圖象的拍攝點(diǎn)假想移動在假想的移動路徑上的具有大量點(diǎn)的視點(diǎn)的圖象根據(jù)深度信息被產(chǎn)生作為慢運(yùn)動圖象使用。
必需注意的是，依照本發(fā)明，依照深度信息來自不同點(diǎn)的取景器圖象屏可以被產(chǎn)生。在視點(diǎn)產(chǎn)生相伴變化的各個圖象部分的位置移動根據(jù)深度信息加以計(jì)算，使得取景器圖象被再產(chǎn)生以對應(yīng)產(chǎn)生的位置移動。當(dāng)視點(diǎn)在高度上變化時，例如，目標(biāo)(各自圖象部分)的位移(在直線運(yùn)動或旋轉(zhuǎn)運(yùn)動)能根據(jù)攝象機(jī)已經(jīng)移動的距離和深度信息加以計(jì)算，使得所希望的取景器圖象能根據(jù)計(jì)算的結(jié)果產(chǎn)生。
圖1是目標(biāo)從左向右移動而同時背景是靜止的取景器圖象；圖2給出了在它們之間具有時延的右和左圖象的再現(xiàn)；
圖3給出了由于圖2時間的消逝而形成的視差；圖4給出了依實(shí)施例1產(chǎn)生3-D顯示圖象的主要階段；圖5流程圖是檢測取景器框之間的對應(yīng)關(guān)系；圖6給出了在參考幀t中提供的代表點(diǎn)；圖7給出了塊匹配；圖8是概念模型，其中E1的值指出了在垂直方向的假定對應(yīng)點(diǎn)pt′(i，j)；圖9給出了代表點(diǎn)和在步S12確定的它的對應(yīng)點(diǎn)之間的關(guān)系；圖10是解釋考慮相應(yīng)點(diǎn)的相關(guān)位置的求值的原理圖；圖11給出了為圖9相應(yīng)點(diǎn)引入后選點(diǎn)的改進(jìn)處理的結(jié)果；圖12給出了P點(diǎn)在屏上和3-D空間運(yùn)動之間的關(guān)系；圖13給出了是根據(jù)攝象機(jī)的3-D運(yùn)動和點(diǎn)P在屏上運(yùn)動確定P點(diǎn)的3-D坐標(biāo)的原理；圖14給出了代表點(diǎn)，每一個都給出了真實(shí)的數(shù)值；圖15示出了依照深度信息給出的視差；圖16給出了從幀t產(chǎn)生的右和左的圖象；圖17給出了對應(yīng)視差的非線性變換；圖18給出了實(shí)施例1的硬件結(jié)構(gòu)的實(shí)例；圖19的單色圖畫給出了在幀t的取景器圖象；圖20的單色圖畫示出在幀t′的取景器圖象；圖21的幀t的單色圖畫被劃分用的柵格覆蓋和配有代表點(diǎn)；圖22的單色圖畫示出了在幀t′相應(yīng)點(diǎn)的初始位置；圖23的單色圖畫給出了幀t′改進(jìn)了的位置的相應(yīng)點(diǎn)；
圖24單色圖畫使用了帶有灰度圖象的深度信息；圖25是依深度信息產(chǎn)生的右圖象的單色圖畫；圖26是依深度信息產(chǎn)生的左圖象的單色圖畫；圖27給出了依實(shí)施例3產(chǎn)生3-D顯示圖象的主要階段；圖28給出了依照在圖3實(shí)施例3引入的特征點(diǎn)的選擇標(biāo)準(zhǔn)；圖29給出了初始取景器圖象和一個再產(chǎn)生圖象以從改變的視點(diǎn)被看見的相應(yīng)關(guān)系；圖30給出了初始取景器圖象和一個再產(chǎn)生的圖象以從改變的視點(diǎn)被看見的相應(yīng)關(guān)系；圖31給出了部分被擴(kuò)展的圖象；圖32給出了從圖29圖象中分出房子的圖象；圖33給出了實(shí)施例8的立體圖象顯示儀器的結(jié)構(gòu)。
本發(fā)明優(yōu)選的實(shí)施例將參照附圖加以描述。在實(shí)施例1至4當(dāng)中，在儀器輸出3-D顯示圖象(偽立體圖象)作為一最終圖象，而在實(shí)施例5至7中，它輸出2-D顯示圖象(一般的2-D圖象)。
在實(shí)施例1和2中，儀器最初接收由單眼攝象機(jī)拍攝的取景器圖象，而在實(shí)施例3中它接收由多眼攝象機(jī)拍攝的取景器圖象(一立體圖象)。實(shí)施例1，2和3分別對應(yīng)著實(shí)施例5，6和7，除了前者輸出3-D顯示圖象和后者輸出2-D顯示圖象。實(shí)施例8是關(guān)于顯示方法，在該方法中，當(dāng)顯示偽立體圖象時，考慮顯示儀器的唯一的條件。實(shí)施例1圖4給出了依實(shí)施例1產(chǎn)生3-D顯示圖象的主要階段。到階段3，依本發(fā)明計(jì)算深度信息的方法內(nèi)容將變得很明顯。
在實(shí)施例1中，基于階段1至3對2-D顯示的圖象的分析和在2-D顯示圖象的基礎(chǔ)上產(chǎn)生3-D顯示圖象，在階段4產(chǎn)生3-D顯示圖象，各個階段將被詳細(xì)地說明。[階段1]2-D運(yùn)動信息的提取在取景器圖象中示出的目標(biāo)運(yùn)動的信息首先被提取。在該階段運(yùn)動信息是2-D。在屏上目標(biāo)的運(yùn)動用2-D坐標(biāo)的方式加以表示。
為了理解目標(biāo)的運(yùn)動，取景器圖象的對應(yīng)關(guān)系被檢測在時間t的取景器圖象被指定為參考幀(以后稱為“幀t”)，而在時間t′的取景器圖象被指定為目標(biāo)幀(以后稱為“幀t′”)。在幀t內(nèi)，大量的代表點(diǎn)被預(yù)先提供，使得代表點(diǎn)的對應(yīng)點(diǎn)在幀t′中被跟蹤。幀t和t′構(gòu)成了不同時間幀，它們并不是必需在幀順序中是相鄰幀，階段1是以這樣的事實(shí)為特征，2-D信息不僅能從目標(biāo)的水平運(yùn)動中提取而且能從任何方向運(yùn)動提取。以后，在該說明書中(t)和(t′)定義為時間和一幀被定義為一般構(gòu)成取景器圖象的一個單元，它并不局限為電視接收機(jī)的一特定的幀，該幀包括525行，它也不局限為個人計(jì)算機(jī)的一屏，該屏包括640*480個象素或類似物。另外，代表點(diǎn)不僅由幀t提供，而且也可由幀t和t′提供。[階段2]計(jì)算3-D運(yùn)動信息在識別目標(biāo)的2-D運(yùn)動之后，關(guān)于目標(biāo)真實(shí)的3-D運(yùn)動的信息被計(jì)算作為3-D運(yùn)動信息。該3D運(yùn)動由6個參數(shù)表示，三個表示直線運(yùn)動和三個表示旋轉(zhuǎn)運(yùn)動。這根據(jù)大量的代表點(diǎn)和相應(yīng)點(diǎn)對加以計(jì)算。[階段3]獲得深度信息目標(biāo)真實(shí)運(yùn)動的識別能確定在不同時間的目標(biāo)之間相關(guān)位置關(guān)系。近而，該關(guān)系的識別能夠提供目標(biāo)或它各自部分(以后稱各自圖象部分)的深度信息。[階段4]產(chǎn)生圖象根據(jù)深度信息確定視差以產(chǎn)生右和左的圖象。視差被確定使得較近的目標(biāo)具有較大的視差。由于各自的圖象部分應(yīng)有不同的深度，右和左的圖象能被產(chǎn)生，使得每個圖象的各自的圖象部分具有不同的視差。應(yīng)當(dāng)清楚地理解，下述事實(shí)是相互不同的并且不應(yīng)混在一起；即，該事實(shí)是，運(yùn)動信息可以從階段1的任何方向運(yùn)動中提取，和該事實(shí)是，由于看目標(biāo)的兩眼的水平定位視差被提供的方向在階段4被局限于水平方向。
實(shí)施例1的各自階段已經(jīng)在上述描述了。隨后，它們將進(jìn)一步地被描述。[階段1]提取2-D運(yùn)動信息圖5是檢測取景器圖象幀之間對應(yīng)關(guān)系的流程圖，各個步驟將逐一加以描述。(步10)在幀t提供代表點(diǎn)如圖6所示，代表點(diǎn)在參考幀t中被提供。在圖6中，通過把柵網(wǎng)放在其上面，幀t被劃分為8×8象素，在柵網(wǎng)的水平和垂直線的每一個交叉點(diǎn)上配置有代表點(diǎn)。從左邊第i和從上邊第j個代表點(diǎn)被表示為pt(i，j)， 在時間t′的pt(i，j)的對應(yīng)點(diǎn)被表示為pt′(i，j)。如果需要話，pt(i，j)的x和y的坐標(biāo)被分別表示為pt(i，j)x和pt(i，j)y。
不僅可以在交叉點(diǎn)上而且可以在任何希望的點(diǎn)上提供代表點(diǎn)c作為極端的情況，所有的象素均被分別指定為獨(dú)立的代表點(diǎn)。(步11)設(shè)置一對應(yīng)點(diǎn)后選區(qū)域以圖6pt(6，4)為例，基于如下假設(shè)pt′(6，4)是位于pt(6，4)的鄰近除非取景器圖象急劇運(yùn)動而超出了預(yù)定的界限，可能包括pt′(6，4)的區(qū)域被預(yù)定。在實(shí)施例1中，為了減少位置檢測的計(jì)算，pt′(6，4)被假設(shè)為在pt(6，4)鄰近的100×60象素的區(qū)域內(nèi)。
步11也能修改為如下1.當(dāng)取景器圖象移動相對劇烈時，依照幀順序的相鄰兩幀被確定為幀t和t′以最小化幀t和t′之間代表點(diǎn)位置的變化，也就是最小化冒從假設(shè)的區(qū)域移出相應(yīng)點(diǎn)的危險(xiǎn)。當(dāng)然，可以假設(shè)所有圖象區(qū)域?yàn)橄鄳?yīng)點(diǎn)的候選區(qū)域。由于取景器圖象的大的運(yùn)動從假定區(qū)域移出相應(yīng)點(diǎn)的危險(xiǎn)就這樣被減少了，雖然計(jì)算量是相應(yīng)地增加了。2.在上述當(dāng)中，根據(jù)簡單的假設(shè)pt′(6，4)是位于pt(6，4)的鄰近，對應(yīng)點(diǎn)的候選區(qū)域被確定。然而，當(dāng)pt(6，4)的運(yùn)動在大量的幀中被跟蹤時，根據(jù)運(yùn)動蹤跡的范圍可以確定相應(yīng)點(diǎn)的候選區(qū)域。在取景器圖象具有相對恒定的運(yùn)動的情況時，該方法在限定這樣的區(qū)域時特別有利。
(步12)在相應(yīng)點(diǎn)后選區(qū)域內(nèi)計(jì)算非相似性相應(yīng)點(diǎn)的位置被指定在相應(yīng)點(diǎn)的候選區(qū)域。在和步11相反的情況下，當(dāng)取景器圖象移動相當(dāng)慢時，問題就出現(xiàn)了。即，當(dāng)取景器圖象僅移動了一個小的范圍，提取運(yùn)動信息是困難的和這樣，在信息中包括嚴(yán)重錯誤的危險(xiǎn)就增加了。
為了防止這樣的問題，時間t′被預(yù)選，使得幀t和t′設(shè)置得相互離開一些范圍，換言之，在對各自圖象部分變化的范圍進(jìn)行統(tǒng)計(jì)分析之后，時間t′被選取，使得變化范圍的幅度或變化范圍的差異超出預(yù)定的值。另外，時間t′可以這樣選取，使得多于預(yù)定數(shù)目特征點(diǎn)運(yùn)動的總合(或使得多于預(yù)定數(shù)目特征點(diǎn)運(yùn)動差異的總合)超出一預(yù)定的值。如果符合上述條件的t′沒有找到，3-D顯示圖象的產(chǎn)生(深度信息的計(jì)算)被間斷，取代的是，輸入的取景器圖象將被原封不動地輸出，或取景器圖象的所有圖象部分被顯示，仿佛具有一致的深度。
在該步中，為了確定相應(yīng)點(diǎn)的位置，通過在匹配方法，幀t和t′之間的非相似性被計(jì)算。即，灰度級平方差的總和(非相似性)在具有特定點(diǎn)為在相應(yīng)點(diǎn)后選區(qū)域的中心的一塊和包括代表點(diǎn)的一塊之間被計(jì)算以檢測提供最小和的特點(diǎn)定，該最小和然后被確定作為計(jì)算的相應(yīng)點(diǎn)。
圖7給出了塊匹配。在實(shí)施例1中，9個象素構(gòu)成了以中心象素為塊代表點(diǎn)的一塊。
塊1提供給幀t，包括pt(i，j)， 而塊2提供給幀t′，包括pt′(i，j)，它是對應(yīng)點(diǎn)的假定候選點(diǎn)。用時間t的象素(x，y)的象素值指定為It(x，y)，非相似性(以后稱為E1)一般從下述公式1得到E1＝∑∑{It(pt(i，j)x+u，pt(i，j)y+v)-It′(pt′(i，j)x+u，pt′(i，j)y+v)}2[公式1]這里兩個∑相關(guān)于u和v。由于u和v分別取值為u＝-1，0，1v＝-1，0，1對于臨時pt′(i，j)，灰度級平方差可根據(jù)9個象素總體獲得。然后，當(dāng)在候選區(qū)域內(nèi)逐漸變化位置pt′(i，j)時，具有最小E1值的點(diǎn)被確定為相應(yīng)點(diǎn)。
圖8給出了在每一pt′(i，j)的垂直方向具有E1值的概念模型在這個模型中，點(diǎn)Q被確定為相應(yīng)點(diǎn)，由于它給出了非相似性的陡峰。以這種方式，所有代表點(diǎn)的相應(yīng)點(diǎn)被確定。
步12也能被修改為如下1.在上述中，灰度級的平方差已經(jīng)被計(jì)算了，作為灰度圖象的非相似性。雖然，在彩色圖象中，非相似性可以是在紅，綠，蘭的灰度級的平方差的總合，即為E1R+E1G+E1B。另外，其它色彩空間的密度，例如HNC密度，可以被使用，或留數(shù)差的總合能被使用代替灰度級的平方差。
2.在該步中，9個象素組成一塊，雖然最好是，被定義的一塊能包含相對大數(shù)目的象素。例如，使用具有高分辨率的屏，例如個人計(jì)算機(jī)，工作站或類似儀器中的屏幕，實(shí)驗(yàn)已經(jīng)證明在一塊包括大約16×16象素的情況下可以獲得較好的結(jié)果。
(步13)確定相應(yīng)點(diǎn)的初始位置到步12，臨時相應(yīng)點(diǎn)已經(jīng)被確定，雖然它不一定定位正確。
相關(guān)于邊界或目標(biāo)邊緣的相應(yīng)點(diǎn)已用滿意的精度加以確定，雖然它應(yīng)當(dāng)被理解，相關(guān)于較少特性圖象部分的點(diǎn)可帶有可觀的錯誤已經(jīng)被確定。這樣的問題可能在E1值并不象給出圖8的確定峰或類似情況下出現(xiàn)。圖9給出了代表點(diǎn)和它的相應(yīng)點(diǎn)之間的關(guān)系，相應(yīng)點(diǎn)是到步12時被確定。很明顯，雖然相關(guān)于特性部分例如房子和樹特別是它們的輪廓的相應(yīng)點(diǎn)用滿意的精度加以定位， 但相關(guān)于天空和地的諸點(diǎn)帶有可觀地錯誤加以定位。
在步13和隨后的步14，因此，這些不精確定位的對應(yīng)點(diǎn)被調(diào)整使得在正確的位置。在步13，初始位置的概念被引入，使得在這一步每一個對應(yīng)點(diǎn)的初始位置被精確地確定，在步14，通過重復(fù)地計(jì)算位置精度被改進(jìn)。
初始位置被確定，隨后的任一方式描述如下1.已經(jīng)在步12確定的所有對應(yīng)點(diǎn)在步13同樣的被處理。
所有對應(yīng)點(diǎn)現(xiàn)在所位于的位置被認(rèn)為是隨后處理的它們的初始位置2.對應(yīng)點(diǎn)被不同地加以處理對于那些位置已經(jīng)具有滿意精度的對應(yīng)點(diǎn)(以后稱為特征點(diǎn))，它們現(xiàn)在具有的位置被認(rèn)為是它們的初始位置。而對另外一些對應(yīng)點(diǎn)(以后稱為非特征點(diǎn))，它們的初始位置將根據(jù)特征點(diǎn)的位置加以確定。下邊描述的對應(yīng)點(diǎn)可能是特征點(diǎn)的候選點(diǎn)，雖然下述(1)至(3)的對應(yīng)點(diǎn)很可能是候選點(diǎn)。在這個說明書中，為特征應(yīng)點(diǎn)的代表點(diǎn)也被稱為特征點(diǎn)。
(1)對應(yīng)點(diǎn)在步12的E1值中有確定的峰。
一般而言，這樣的點(diǎn)很可能用高的定位精度已經(jīng)被定位。
(2)對應(yīng)點(diǎn)位于具有許多正交邊緣分量的區(qū)域繞著建筑物邊緣的區(qū)域所包括的對應(yīng)點(diǎn)很可能已經(jīng)被正確地定位了。
(3)其位置已經(jīng)從幀t到t′變化了的對應(yīng)點(diǎn)不變性應(yīng)被理解為運(yùn)動矢量的一致性。因此，當(dāng)幀從t到t′時，在一致運(yùn)動方向移動一致距離的對應(yīng)點(diǎn)應(yīng)進(jìn)一步被選為特征點(diǎn)。正確地說，要被選取的對應(yīng)點(diǎn)應(yīng)當(dāng)具有其變化值少于預(yù)定值的運(yùn)動矢量，因?yàn)檫@樣的對應(yīng)點(diǎn)在各自的幀中必須已經(jīng)被精確地跟蹤和這樣被評價(jià)為和它的代表點(diǎn)有正確的對應(yīng)關(guān)系。然而，當(dāng)攝象機(jī)移動不規(guī)則時，在判斷時必須考慮其影響。
當(dāng)特征點(diǎn)被確定時，它的位置被用來作為初始位置，而非特征點(diǎn)的初始位置將使用鄰近特征點(diǎn)進(jìn)行插入。換言之，由于在步12確定的非特征點(diǎn)的位置精度是低的，根據(jù)具有高定位精度的鄰近的征性點(diǎn)它們的初始位置將被幾何地確定。當(dāng)然，步12的方法能被利用以發(fā)現(xiàn)在上述(3)所述的特征點(diǎn)。
附加到上述的基于選擇特征點(diǎn)的方法，對應(yīng)位置的初始位置可由動態(tài)編程方法加以確定。
(步14)對應(yīng)點(diǎn)位置的改進(jìn)過程估算相應(yīng)點(diǎn)位置可接收性的公式已被引入，使得通過用公式相互作用的計(jì)算改進(jìn)相關(guān)位置的可接收性。即，除了在步12的公式1以外，還引入估算相應(yīng)點(diǎn)的相應(yīng)位置關(guān)系的可接收性，從兩公式導(dǎo)出的估算結(jié)果被組合以改進(jìn)位置精度。
參看圖10，相關(guān)位置估算的原理將被描述，圖10給出了相應(yīng)點(diǎn)，以pt(i，j)為中心，下述四個對應(yīng)點(diǎn)位于它的鄰近pt′(i-1，j)，pt′(i+1，j)，pt′(i，j-1)，pt′(i，j+1)有理由假定，pt(i，j)是位于約為這四個點(diǎn)的重心，這樣的假設(shè)是基于經(jīng)驗(yàn)的基礎(chǔ)上，甚至各自的圖象部分移動了，它們相對位置關(guān)系實(shí)質(zhì)上被保持。該經(jīng)驗(yàn)?zāi)軘?shù)學(xué)地表示為等于這種情況，其中i和j的函數(shù)pt′(i，j)的二次微分為0。
因此，四個點(diǎn)的重點(diǎn)中心表示為(st′(i，j)x，st′(i，j)y)，公式2被獲得以估算相關(guān)位置的可接收性E2＝{pt′(i，j)x-st′(i，j)x}2+pt′(i，j)y-st′(i，j)y}2[公式2]僅考慮到公式2，相應(yīng)點(diǎn)將最好用最小值E2加以定位。換言之，使用鄰近圖象部分之間的距離函數(shù)估算相關(guān)的圖象位置可接收性。
在這一步中，從公式1和2導(dǎo)出的價(jià)算結(jié)果用適當(dāng)?shù)鸟詈弦蜃觡組合起來，因此，最終估算公式E能被表示為公式3E＝E1/N+kE2 [公式3]其中N是包含在一塊中的象素的數(shù)目，它已經(jīng)為塊匹配所決定。換言之，為了改進(jìn)相關(guān)位置可接收性，首先根據(jù)所有的對應(yīng)點(diǎn)計(jì)算E。然后，在把所有的E加入到∑E中后，各自的對應(yīng)點(diǎn)逐漸移動以最小化∑E值。該計(jì)算被重復(fù)直到那個∑E值收斂或計(jì)算被重復(fù)到預(yù)定的迭代數(shù)目，即，正確地說，當(dāng)移動各自的對應(yīng)點(diǎn)時， 任何下述的方法都是實(shí)用的。
(1)使用Euler-Lagrange微分方程的方法當(dāng)Euler-Lagrange微分方程表示∑E取極值時(在這種情況下相關(guān)最小值)，一個相應(yīng)點(diǎn)通過解該Euler-Lagrange微分方程被獲得。這是公知的方法，為改進(jìn)它的初始位置要被移動的對應(yīng)點(diǎn)的方向根據(jù)包括代表點(diǎn)的各自塊的梯度和相應(yīng)塊之間的微分加以確定，使得對應(yīng)點(diǎn)在它的初始點(diǎn)的方向逐漸地移動直到達(dá)到它的最終解。
(2)固定檢索方法在對應(yīng)點(diǎn)候選區(qū)域內(nèi)，一點(diǎn)被檢索，其中要被改進(jìn)的一對應(yīng)點(diǎn)的E值將變得最小，然后新的設(shè)置為對應(yīng)點(diǎn)、固定檢索方法的特征為，對一個對應(yīng)點(diǎn)引入檢索，而其它的點(diǎn)保持固定。上述過程對應(yīng)著所有的對應(yīng)點(diǎn)重復(fù)。
(3)混合方法根據(jù)方法(1)，可能用理論上少于一個象素的單元的精度定位一對應(yīng)點(diǎn)，而根據(jù)方法(2)，用一個象素為單元的精度。因此，可能使用兩種方法，即，首先應(yīng)用方法(2)獲得以象素為單元的精度的對應(yīng)關(guān)系，然后用方法(1)去增強(qiáng)精度。
實(shí)驗(yàn)已經(jīng)表明，方法(2)使用比方法(1)獲得同樣水平精度要較短的時間獲得較好的答案。
圖11給出了依照此步驟改進(jìn)處理的結(jié)果，該步是根據(jù)圖9所示對應(yīng)點(diǎn)的候選點(diǎn)已經(jīng)被引入，實(shí)驗(yàn)已經(jīng)表明，使用耦合因子k在至200之間時可在彩色圖象中獲得優(yōu)選的結(jié)果。圖9和11示出了模型的結(jié)果，通過真實(shí)的實(shí)驗(yàn)已經(jīng)證實(shí)，已經(jīng)實(shí)現(xiàn)了模型結(jié)果的很接近的改進(jìn)。
該步的特征是，2-D運(yùn)動信息可以從目標(biāo)在任何方向的運(yùn)動中提取。這就是通過引入代表點(diǎn)和對應(yīng)點(diǎn)的概念而實(shí)現(xiàn)的理解目標(biāo)運(yùn)動的優(yōu)點(diǎn)，和通過水平方向的運(yùn)動已經(jīng)檢測時間差的現(xiàn)有技術(shù)相比較，該優(yōu)點(diǎn)可以使本發(fā)明應(yīng)用到更廣泛的領(lǐng)域。
步14可以修改如下1.在獲得E2時，8個點(diǎn)的重點(diǎn)能夠被確定，8個點(diǎn)包括與中心對角設(shè)置的4個點(diǎn)，那就是圖10中的pt′(i，j)，和4個分別位于中心的上，下，左和右的點(diǎn)。最好，點(diǎn)的最佳組合由實(shí)驗(yàn)確定，這取決于要被處理的2-D圖象的種類。
2.用公式3進(jìn)行估算應(yīng)當(dāng)用在用公式2獲得不是有利的結(jié)果的那些對應(yīng)點(diǎn)開始，因?yàn)閷υ谠缙陔A段對應(yīng)點(diǎn)的劇烈改進(jìn)是優(yōu)選的，因?yàn)樗话惚徽J(rèn)為具有大的錯誤。
3.為了改進(jìn)位置精度，應(yīng)當(dāng)利用幾何信息。作為形成具有幾何特征的大量代表點(diǎn)，例如直線，在幀t內(nèi)，它們對應(yīng)點(diǎn)的位置也應(yīng)當(dāng)被校正以形成同樣的幾何特征。這樣的校正理由是，在取景器圖象看來是直線的那部分在真實(shí)的3-D世界中也完全可能形成直線和在3-D世界的直線也應(yīng)在幀t′中形成直線。由于圖象的深度沿直線一致地變化，因?yàn)榫€性變化容易被視覺識別，上述方法的校正將完成顯著地改進(jìn)，沒有這樣的改進(jìn)，最終的圖象可能在沿線的深度包括非規(guī)則性，這樣可能造成了非自然的3-D顯示。圖象區(qū)域的邊緣能被用來作為替換的幾何信息。
4.進(jìn)而，根據(jù)其它的幀也可以獲得對應(yīng)點(diǎn)，在這一階段，根據(jù)幀t對應(yīng)點(diǎn)僅可在幀t′中獲得，雖然也可能在第三幀或幀t″中獲得對應(yīng)點(diǎn)，使得獲得各自圖象部分的平均運(yùn)動，該方法并沒有改進(jìn)在幀t′的相應(yīng)點(diǎn)的相對位置精度，但是基于在很多幀中已經(jīng)提供的相應(yīng)點(diǎn)的各自的位置和當(dāng)各自幀被拍攝時的各自時間，該方法相當(dāng)滿意地確定了各自圖象部分的運(yùn)動。
5.當(dāng)不足夠數(shù)目的特征點(diǎn)被建立時，進(jìn)行的過程被間斷，這是因?yàn)橥耆珱]有可能獲得精確的對應(yīng)關(guān)系。[階段2]計(jì)算3-D運(yùn)動信息在階段1，在屏上的各自圖象部分的2-D運(yùn)動已經(jīng)被識別，在階段2，根據(jù)識別的2-D信息計(jì)算3-D運(yùn)動。即，由于在取景器圖象的2-D運(yùn)動是目標(biāo)真實(shí)3-D運(yùn)動在平面上的投影，根據(jù)在取景器圖象的代表點(diǎn)和對應(yīng)點(diǎn)之間的位置關(guān)系計(jì)算最初的目標(biāo)的3-D運(yùn)動。
目標(biāo)在3-D世界的運(yùn)動可以一般地描述為直線和旋轉(zhuǎn)運(yùn)動的組合，在下面僅僅首先描述，計(jì)算包括直線運(yùn)動的運(yùn)動的方法，隨后給出一般化方法的實(shí)例。
1.僅直線運(yùn)動圖12給出了在屏上點(diǎn)P的運(yùn)動和它的在3-D空間真實(shí)運(yùn)動之間的對應(yīng)關(guān)系，在圖12中，2-D坐標(biāo)用大寫字母表示，而3-D坐標(biāo)用小寫字母表示，其中x和y軸是被提供在屏的表面，而z軸是在深度方面，從視點(diǎn)到屏的距離被設(shè)置為1。
如圖12所示在2-D屏p(x，y)運(yùn)動到p′(x′，y′)，而在3-D空間S(x，y，z)同時移動到S(x′，y′，z′)。
當(dāng)下述的公式是(x′，y′，z′)＝(x，y，z)+(a，b，c)由于屏被放置的離視者為1的距離，x，y，x′和y′能被表示如下X＝x/z，Y＝y(tǒng)/zX′＝x′/z′，Y′＝y(tǒng)′/z′通過解上述方程，可以引入如下的結(jié)果。
X′＝(Xz+a)/(z+c)Y′＝(Yz+b)/(z+c)因此，消去z，可以得到公式4(a-X′c)(Y′-Y)＝(b-Y′c)(X′-X)[公式4]由于公式4表示為屏上運(yùn)動的項(xiàng)，依照在階段1獲得的信息就有可能獲得值(a)，(b)和(c)。然而，雖然，在實(shí)際情況中，k次倍的-①標(biāo)以大于k次倍的速度運(yùn)動，要高于離開-位置的k次倍，但k的值(比例刻度因子)并不能被確定，僅(a)，(b)和(c)相互間的比率的值能被獲得，數(shù)學(xué)上來講，盡管三對(X，Y)和(x′，y′)被給出，由于該瞬時等式的系數(shù)矩陣小于2，(a)，(b)和(c)并不能確定為真實(shí)值而僅僅作為相對值。因此，在這個階段，(c)的值標(biāo)準(zhǔn)化為1以表示(a)和(b)的值為(c)的比率值，因?yàn)楸嚷手翟陔S后的處理中足夠有用一個關(guān)于直線運(yùn)動的替換方案如下，錯誤(e)可由公式4被定義，作為方程5e＝{(a-X′c)(Y′Y)-(b-Y′c)(X′-X)}2e＝{(Y′-Y)a-(X′-X)b-(XY′-X′Y) c]}2[公式5]然后，考慮到代表點(diǎn)和相應(yīng)點(diǎn)之間的所有對應(yīng)關(guān)系，所以(e)和∑e被計(jì)算，使得(a)，(b)和(c)的各自的值從公式6至8中被獲得以最小化∑e的值。
d(∑e)/da＝0 [公式6]d(∑e)/db＝0 [公式7]d(∑e)/dc＝0 [公式8]更具體而言，公式6至8分別發(fā)展為公式9至11a∑(Y′-Y)2-b∑(X′-X)(Y′-Y)-(∑(Y′-Y)(XY′-X′Y)＝0[公式9]-a∑(X′-X)(Y′-Y)+b∑(X′-X)2+(∑(X′-X)(XY′-X′Y)＝0[公式10]-a∑(Y′-Y)(XY′-X′Y)+b∑(X′-X)(XY′-X′Y)+(∑(XY′-X′Y)2＝0[公式11]
2.包括旋轉(zhuǎn)的運(yùn)動包括直線和旋轉(zhuǎn)的運(yùn)動可以使用x，y，z軸方向的位移和以各自的x，y，z軸為旋轉(zhuǎn)軸的3個旋轉(zhuǎn)角例如α，β，和γ表示，旋轉(zhuǎn)角可用Eulerian角或卷間距方法表示。
上述六個變量的值隨后將被獲得。然而，如上所述，由于比例刻度因子不能被確定僅能獲得變量相互之間的比率，假定變量中的一個為1 。這里理論上可以指定五對代表點(diǎn)和相應(yīng)點(diǎn)的運(yùn)動。
然而，值得注意的是，依賴于對的選擇，在一些情況下使用線性變換的結(jié)果并不能指定運(yùn)動的內(nèi)容。眾所周知選用八對可以防止這種情況，這種情況理由可以在參考中找到，例如在儀器和控制工程處理協(xié)會，卷26，號6，714/720(1990)中由Deguchi和Akiba著的“運(yùn)動目標(biāo)的單眼立體顯示器的線性算法”。獲得深度信息各自圖象部分的3-D運(yùn)動的相關(guān)范圍已經(jīng)在階段2被識別。在階段3，根據(jù)相關(guān)的范圍獲得各自圖象部分的深度信息，在下面的描述中假定目標(biāo)是靜止的，而拍照的攝象機(jī)是運(yùn)動的，在該階段，假設(shè)由于目標(biāo)和攝象機(jī)之間的相對運(yùn)動是個靶子問題。
取景器圖象特定部分的運(yùn)動是由旋轉(zhuǎn)矩陣R和直線矢量(a，b，c)表示為如下(x′，y′，z′)＝R(x，y，z)+(a，b，c)用如下公式12表示的該公式的逆變換可以認(rèn)為是攝象機(jī)的運(yùn)動(x，y，z)＝R-1{(x′，y′，z′)-(a，b，c)}[公式12]
參考圖13，根據(jù)攝象機(jī)的3-D運(yùn)動和屏上2-D運(yùn)動獲得P點(diǎn)3-D坐標(biāo)的原理將被解釋，該原理一般被稱為三角測量法之一，其中，當(dāng)從兩個獨(dú)立點(diǎn)看P點(diǎn)方向時，點(diǎn)P(圖13中的點(diǎn)S)實(shí)際上存在于兩點(diǎn)視線的交點(diǎn)。
在圖13中，現(xiàn)假定，依照公式12，攝象機(jī)按箭頭所示方向從時間t到t′運(yùn)動。點(diǎn)s投射到幀t的點(diǎn)pt和幀t′的點(diǎn)pt′，點(diǎn)s是線Lt和Lt′的交叉點(diǎn)。
由于攝象機(jī)面朝方向分別和線Lt和Lt′形成的角度度θt和θt′是已知的和攝象機(jī)移動方向和它移動的距離已經(jīng)被識別，這就可能獲得點(diǎn)S的3-D坐標(biāo)，根據(jù)點(diǎn)S的3-D坐標(biāo)，各自圖象分量可由它們的深度信息獲得。
值得注意的是，如上所述，由于標(biāo)準(zhǔn)化(C)為1，點(diǎn)S獲得的3-D坐標(biāo)已經(jīng)被一致比率擴(kuò)展或壓縮。然而，由于它是作為整體一致地?cái)U(kuò)展或壓縮，深度信息在各自的圖象部分中保持了正確的相對的位置關(guān)系。
在這階段的上述的處理中，這就必須考慮在前階段中已經(jīng)造成的錯誤。換言之，由于這些錯誤，線Lt和Lt′作為計(jì)算結(jié)果經(jīng)常并不交叉，為了對付這樣的問題，點(diǎn)被提供在連接線Lt和Lt′的諸點(diǎn)的線的中間，那里線之間相互最近，使得這樣一點(diǎn)的z坐標(biāo)將被指定為點(diǎn)S的深度，該過程將使用符號加以描述。
當(dāng)線Lt和Lt′的方向矢量被分別表示為(u，v，w)和(u′，v′，w′)時，使用參數(shù)α和β(實(shí)數(shù))可以把兩直線L和L′用下述公式13表示
Lt(x，y，z)+α(u，v，w)Lt′(x′，y′，z′)+β(u′，v′，w′)[公式13]因此，當(dāng)錯誤被表示為如下時e＝{(x+βu)-(x′+αu′)}2+{(y+βv)-(y′+αv′)}2+{(z+βw)-(z′+αw′)}2使用表達(dá)式de/dα＝0和de/dβ＝0可以獲得使(e)值最小化的α和β的值。換言之，解下面方程(u2+v2+w2)α-(uu′+vv′+ww′)β+(x-x′)u+(y-y′)v+(z-z′)w＝0(u′2+v′2+w′2)β-(uu′+vv′+ww′)α+(x-x′)u′+(y-y′)v′+(z-z′)w′＝0可以確定α和β的值，使得點(diǎn)S的深度最終表示為如下{(z+αw)+(z′+βw′)}/2特別是在錯誤(e)為0的情況下，中點(diǎn)(Z)坐標(biāo)與線Lt和Lt′的交叉點(diǎn)的坐標(biāo)相疊合。
作為替換的方法，線Lt和Lt′兩者投影到幀t的屏上，使得獲得線Lt和Lt′最近點(diǎn)的(Z)坐標(biāo)，使用這種方法時，線Lt在屏上投影為一點(diǎn)，而線Lt′一般為一線，當(dāng)線Lt′表示為公式13時，通過分別使用它們的(Z)坐標(biāo)在3-D空間劃分線Lt′上諸點(diǎn)的(x)和(y)坐標(biāo)時，在屏上投影的線Lt′的諸點(diǎn)的(x)和(y)坐標(biāo)表示為公式14和15。x＝f(x′+βu′)/(z′+βw′) [公式14]y＝f(y′+βv′)/(z′+βw′) [公式15]這里(f)是能被設(shè)置為1的從視點(diǎn)到幀t的屏的真實(shí)距離，在從公式14和15消去β，在投影后的線Lt′(以后稱為Li)能被指定如下kx+my+fn＝0這里k＝v′z′-w′y′，m＝w′x′-u′z′，n＝u′y′-v′x′。被檢測的最近點(diǎn)是從代表點(diǎn)pt向線Li做垂線與Li的交點(diǎn)(以后稱為點(diǎn)D)，即，從代表點(diǎn)pt劃線與線Li相交的點(diǎn)，以形成右角，點(diǎn)D的坐標(biāo)被表示為方程16 。x＝(m2X-kn-kmY)/(k2+m2)y＝(k2Y-mn-kmX)/(k2+m2)[公式16]假設(shè)與點(diǎn)D對應(yīng)的在3-D空間的線Lt′的初始點(diǎn)被指定為點(diǎn)E(x″，y″，z″)，通過替代公式16到公式14獲得β值，近一步代入獲得的β值到方程13可以檢測點(diǎn)E，由于β可以表示為β＝(xz′-fx′)/(fu′-xw′)，通過代換該表達(dá)式到公式13，E點(diǎn)的(Z)坐標(biāo)，即Z″，被確定如下z″＝z′+w′(xz′-fx′)/(tu′-xw′)這能做為點(diǎn)S的深度值由于在圖象處理的錯誤，當(dāng)深度值是負(fù)數(shù)時，計(jì)算的值并不可靠，因?yàn)樨?fù)值意指點(diǎn)S存在于攝象機(jī)的后面。因此，P點(diǎn)的(z)坐標(biāo)需要以一些其它的方式獲得，例如使用接近某個正值的諸代表點(diǎn)。
不管那一種方法被使用，各自圖象部分計(jì)算的深度作為實(shí)際的數(shù)值應(yīng)當(dāng)分別到各自的代表點(diǎn)，如圖14所示代表點(diǎn)的每一個應(yīng)給一個實(shí)際的數(shù)值。例如，pt(2，3)和pt′(4，3)的深度分別為100和200，后者實(shí)際位于比前者二倍遠(yuǎn)。[階段4]產(chǎn)生圖象根據(jù)已經(jīng)在第三階段獲得的深度信息確定視差，使得產(chǎn)生右和左圖象，在這一階段，較遠(yuǎn)的圖象提供有較小的視差。
在圖15中，這給出了包括目標(biāo)和攝象機(jī)的整個系統(tǒng)的頂視圖，依照深度信息給出視差。當(dāng)圖14的pt(2，3)和pt(4，3)被提供給在圖15情況下由攝象機(jī)拍攝的取景器圖象時，它們的真實(shí)位置分別在st(2，3)和st(4，3)后者離攝象機(jī)的位置是前者的兩倍遠(yuǎn)。
R和L屏和R和L視點(diǎn)被分別放置，這如圖15所示，R和L視點(diǎn)分別對應(yīng)著視者的右和左眼。那末，通過分別從R和L視點(diǎn)看它們，st(2，3)和st(4，3)被投影到R和L屏的每一個，該投影是由所有代表點(diǎn)完成的直到一最終圖象在R和L屏的每一個上形成，最終的圖象能被用來分別做為右和左的圖象。在日本的公開申請3-65943中公開了在雙凸透鏡或類似透鏡的顯示屏上顯示這樣的圖象，這就有可能獲得很好的立體圖象。
在該實(shí)施例中，僅當(dāng)該部分已經(jīng)和圖象分開時，所希望的該部分能從立體圖象中產(chǎn)生以人位于攝象機(jī)5米背景是山的景為例“在10米深度”情況下的圖象處理能夠從整個圖象區(qū)域分離僅僅包括人的區(qū)域，使得右和左圖象能被產(chǎn)生僅僅關(guān)于包含人的區(qū)域，而留下其余部分為空白或?yàn)閹в蓄A(yù)準(zhǔn)備的不同圖象上的該人的通過區(qū)域，該階段不同于至大量取景器圖象幀要被使用的階段3，至階段3，至少兩幀被使用以提取必要的信息，可是在階段4一幀就足夠了以產(chǎn)生右和左的圖象。圖16給出了使用幀t為參考已經(jīng)產(chǎn)生的右和左的圖象，其中樹，房子和人的圖象部分按此順序分別離視者有較小的距離，人的圖象部分離視者最近并展示了如下特征1.在右圖象內(nèi)向左有最大的位移2.在左圖象內(nèi)向右有最大的位移這可以分別理解為，關(guān)于(1)是這種情況，其中視者是從初始視點(diǎn)稍微向右的一點(diǎn)看該人，而關(guān)于(2)是從初始視點(diǎn)稍微向左的一點(diǎn)。作為這些特征的結(jié)果是，感覺該人是靠近視點(diǎn)有較小的距離，在圖16中，各自圖象部分的位移通過使用柵網(wǎng)交叉點(diǎn)運(yùn)動的方法表示出，其中人，房子和樹按此順序呈現(xiàn)出較小的位移(視差)。
為了根據(jù)幀t產(chǎn)生圖象，在圖16的取景器圖象各自劃分的部分能被變換。在這種情況下，這就必需選取線性或非線性變換如下1.非線性變換如圖16所示，一些劃分的部分能變換為不規(guī)則的四邊形，廣泛應(yīng)用的線性變換，例如仿射變換，然而，并不能應(yīng)用到這樣的變換，因此，為了把具有四個頂點(diǎn)的部分變換為不規(guī)則的四邊形，應(yīng)用非線性變換，例如投影變換。
2.線性變換在變換為不規(guī)則四邊形時，倘若帶有四個頂點(diǎn)的部分首先被劃分為每個帶有三個頂點(diǎn)的兩部分，線性變換可以應(yīng)用到這樣的部分。
通過上述的變換各自圖象水平位移的結(jié)果是，圖象的邊緣可能變得不齊。在圖16中，右和左圖象底部分被顯示的相互朝內(nèi)，依此，位移部分的周邊部分變得卷曲。因此加一些象素到凹處，使圖象的形狀被校正回初始的形狀(在此例中是直角)。
落入附加象素的圖象部分的深度在參考那些緊靠著附加象素的象素的深度或以其它方式加以確定，附加象素的圖象僅能被雙眼中的一支眼看見，當(dāng)人們通過窗口朝外看時，該圖象是自然現(xiàn)象并且出現(xiàn)在緊靠窗框的區(qū)域，值得注意的是，通過檢測從邊緣向外伸出的冗余的象素也可以做出這種校正。另外是，圖象的邊緣部分被用特定的寬度一致地切去，用這種校正，不管上述方法的選擇，也可能維持自然的顯示。
在該階段，視差是由深度決定的，可是由于下述理由視差最好進(jìn)一步被校準(zhǔn)。
1.眼睛的錯覺在上述的例子中，并不希望最靠近視者的人被給出極小的深度，因?yàn)楦惺艿綐O度靠近屏的圖象造成視者眼睛的錯覺。根據(jù)“Nikkei Electronics”(1988.4.4.頁211)的報(bào)道，當(dāng)視者位于顯示50cm時，最希望各個的圖象部分所給出的深度范圍為0.2m至2m。
2.各人的喜好一些人喜歡被顯示的圖象盡可能的近和距圖象盡可能的遠(yuǎn)，而另一些人正好相反。
3.處理能力如果構(gòu)成遠(yuǎn)背景例如山的所有圖象區(qū)域被顯示仿佛具有相同距離，被處理的數(shù)據(jù)量能被減少。
因?yàn)榍笆隼碛?，在這階段變換深度或視差的下述功能因?yàn)樾枰粦?yīng)用。
1.深度變換功能深度是直接經(jīng)受線性或非線性的變換，即，變換的目標(biāo)是深度，和視差作為結(jié)果而被改變了。例如，取景器圖象包括的圖象部分的深度在范圍1a至10a((a)是任意值)，各自的圖象部分的深度能一致地被10乘，這樣所有的深度落入到10a至100a的范圍，這樣深度變換功能對于具有過度小的深度作為整體的取景器圖象是有好處的。
另外，當(dāng)深度范圍是0到100a時，深度能夠被壓縮，例如，例如從25a到75a的區(qū)域作為初始變換，進(jìn)一步，具有等于或小于20a，或等于或大于1000a的所有的圖象能被變換，使其分別具有一致的20a或1000a的深度，在這種情況下，然而，作為一致變換的結(jié)果，在上和下限值即1000a和20a的區(qū)域，將變得不連續(xù)(間斷)和在一些取景器圖象形成不自然的顯示，為了解決這個問題，非線性變換被應(yīng)用，使得圖象在上和下限值處平滑地收斂，在這個例子中，應(yīng)做下述的變換z-＞α/{1+exp(-(x-0.5α)/αT)}+z0這里(z)是初始深度，z0＝20a，α＝1000a-20a＝980a，和T＝42.視差變換功能視差經(jīng)受了線性或非線性的變換，即，在視差根據(jù)深度計(jì)算和變換之后，根據(jù)變換的視差深度被再計(jì)算。
圖17給出了視差的非線性變換，其中點(diǎn)S，變換的目標(biāo)，被提供在中線L上和點(diǎn)B是視點(diǎn)A到線L垂線的交點(diǎn)。點(diǎn)S的深度用線段SB表示和視差角θ(嚴(yán)格地講，視差的一半)被設(shè)置如圖17所示。
以視差減少到一半為例。即，點(diǎn)S被變換到滿足下列公式17的點(diǎn)，這就是點(diǎn)S′。
θ′＝θ/2 [公式17]點(diǎn)S′的深度用線段S′B表示。連接變換的一系列處理將用數(shù)學(xué)表示。首先，使用深度SB確定θ，這依照關(guān)系θ＝a tan(SB)依照下面關(guān)系然后確定S′BS′B＝tanθ′這樣S′B將被用來作為變換后的深度信息。由于通過簡單的線性變換遠(yuǎn)點(diǎn)被變換得顯得更遠(yuǎn)和近點(diǎn)更近，深度的感覺更有效地通過變換加以調(diào)整。公式17表示了簡單的線性比例刻度，雖然各種非線性變換，例如在1中描述的(非線性變換)也能應(yīng)用到θ’-θ的變換。
依照本發(fā)明的第一實(shí)施例，根據(jù)深度信息而不是現(xiàn)存取景器圖象的組合產(chǎn)生一新的圖象。由于這種產(chǎn)生并不需要水平運(yùn)動，而該水平運(yùn)動已經(jīng)是通常的時間差方法所必須遵循的，所示本發(fā)明可以在廣泛地范圍應(yīng)用。近而，由于本發(fā)明公開了根據(jù)代表點(diǎn)檢測相應(yīng)點(diǎn)的方法，這就可能自動提取深度信息和更容易更有效地產(chǎn)生圖象。實(shí)施例2實(shí)踐實(shí)施例1的最佳儀器將被描述。
圖18給出了實(shí)現(xiàn)實(shí)施例1的硬件結(jié)構(gòu)。
在圖18中，要被處理的取景器圖象通過圖象輸入電路20被提供，那里它被轉(zhuǎn)換為數(shù)字信號。使用幀存儲器控制電路22把數(shù)字的取景器圖象存儲在幀存儲器24內(nèi)。隨后相應(yīng)點(diǎn)檢測電路被提供從存儲存器24讀出大量取景器圖象幀以檢測相應(yīng)點(diǎn)。在檢測電路26內(nèi)，實(shí)施例1的階段1的處理由硬件手段實(shí)現(xiàn)，其中MPEG編碼器或類似裝置被用來進(jìn)行塊匹配。
已經(jīng)在電路26中檢測出的相應(yīng)點(diǎn)的坐標(biāo)被存儲在相應(yīng)點(diǎn)坐標(biāo)存儲器28內(nèi)，以任意地被運(yùn)動檢測電路30讀出。在運(yùn)動檢測電路30內(nèi)，實(shí)施例1的階段2和3的處理被實(shí)現(xiàn)，其中根據(jù)直線和旋轉(zhuǎn)運(yùn)動計(jì)算目標(biāo)的3-D相關(guān)的位置。
計(jì)算的關(guān)于3-D相關(guān)位置的信息提供給圖象產(chǎn)生電路32，通過給出它們之間的適合的視差，數(shù)字的取景器圖象從幀存儲器24中被恢復(fù)以分別產(chǎn)生右和左圖象，先于圖象產(chǎn)生電路32，指令輸入部分34被提供以從外面接收幾個指令。
已經(jīng)在圖象產(chǎn)生電路32中產(chǎn)生的右和左圖象通過圖象輸出電路36轉(zhuǎn)換為模擬信號，以被提供到未被描述的顯示部分。
描述儀器的操作一攝象機(jī)拍攝目標(biāo)以捕獲它的取景器圖象，或一視頻設(shè)備重放取景器圖象。這樣的取景器圖象通過取景器圖象輸入電路20被提供，以存儲到幀存儲器24。對于標(biāo)準(zhǔn)的2-D顯示，提供的取景器圖象將原封不動地顯示，或作為替換，存儲在幀存儲器24的取景器圖象順序地從中讀出以顯示。對于3-D顯示，大量的幀的取景器圖象從幀存儲器24中讀出，使用相應(yīng)點(diǎn)檢測電路26和運(yùn)動檢測電路30把目標(biāo)的深度信息從讀出的幀中獲得。隨后，根據(jù)深度信息圖象產(chǎn)生電路產(chǎn)生右和左的圖象指令輸入部分能被構(gòu)成如下以完成如下的功能。
1.構(gòu)成為控制旋鈕通過比例刻度深度控制旋鈕可以變化深度的讀出使得產(chǎn)生的圖象的深度讀出能夠被調(diào)整以滿足用戶的個人喜好。旋鈕的旋轉(zhuǎn)可以事先調(diào)整，使得最小化深度的讀出將提供2-D顯示。
2.構(gòu)成點(diǎn)入指示裝置(1)深度讀出可以以圖象部分為單元來調(diào)整。例如，當(dāng)圖16中的人被希望顯示得更近一些時，一點(diǎn)入指示裝置，例如鼠標(biāo)， 被用來指向人，然后咔嚓按一下，作為結(jié)果是，通過給出較大的視差圖象產(chǎn)生電路32變換人的深度信息作為增強(qiáng)顯示使用。如果所選項(xiàng)的顯示區(qū)域也隨著深度讀出的變化而變化，這個調(diào)整的效果將變得更為明顯。具體而言，用二等分深度的讀出，所選項(xiàng)的顯示區(qū)域?qū)U(kuò)大四倍。
(2)從不同點(diǎn)看到取景器圖象能被產(chǎn)生。由于深度信息是可以得到的，這通過用鼠標(biāo)咔嚓指定器標(biāo)的拍攝點(diǎn)(視點(diǎn))實(shí)現(xiàn)的，這就有可能通過計(jì)算各自圖象部分的直線和旋轉(zhuǎn)運(yùn)動而去計(jì)算伴隨視點(diǎn)變化而形成的運(yùn)動。因此，從不同的點(diǎn)能被看見的取景器圖象能被產(chǎn)生。在圖16中，例如，在視點(diǎn)的高度發(fā)生變化或移動或移開攝象機(jī)，能被看見的取景器圖象能被再產(chǎn)生。近而，由于再產(chǎn)生的取景器圖象的深度信息通過計(jì)算而能再被計(jì)算，根據(jù)新計(jì)算的深度信息和用改變了的視差使3-D顯示能維持在好的狀況。從不同點(diǎn)看到的取景器圖象將進(jìn)一步在實(shí)施例5中以后描述。
在下面，實(shí)驗(yàn)的結(jié)果，其中本發(fā)明的儀器中裝在工作臺內(nèi)，將參看附圖加以描述。
圖19至26給出了使用本發(fā)明儀器的圖象產(chǎn)生過程。附圖的每一張均是包括640×480象素的區(qū)域的顯示屏上的B/W(黑/白)照片。
圖19和20分別是幀t和t′的取景器圖象，并且由于攝象機(jī)的位置差別而展示了它們之間的一些運(yùn)動。圖21給出了圖19同樣的取景器圖象，用柵網(wǎng)蓋在上面和提供有諸代表點(diǎn)。圖22給出了在它們的初始位置具有諸對應(yīng)點(diǎn)的圖20的相同的取景器圖象，其中初始位置設(shè)置在臨時的最好點(diǎn)。臨時最好點(diǎn)通過已經(jīng)引入的并以特征點(diǎn)開始的塊匹配獲得，是根據(jù)16×16個象素并且代表點(diǎn)在它的中心。
圖23給出了改進(jìn)的對應(yīng)點(diǎn)的位置，表示了從圖22的顯著的改進(jìn)，作為考慮對應(yīng)點(diǎn)之間的位置關(guān)系的實(shí)施例1的公式3的結(jié)果。
圖24表示了灰度等級的深度信息，那里較輕的等級表示較小的深度。從圖中可以看出，具有可觀精度的深度信息已經(jīng)獲得。
圖25和26是根據(jù)深度信息分別產(chǎn)生的右和左圖象。較近的物體，在此例中是罐，顯示出有較大的視差，和給出較大的水平位移。
如上所述，使用本儀器，這就可能自動地實(shí)踐本發(fā)明實(shí)施例1的方法。近而，和應(yīng)用軟件所需的執(zhí)行時間相比較，應(yīng)用硬件進(jìn)行塊匹配顯著地改進(jìn)了處理速度。
通過把具有圖18結(jié)構(gòu)的附加卡插到個人計(jì)算機(jī)或工作站，或把具有圖18結(jié)構(gòu)的電路安裝到電視接收機(jī)，放象機(jī)或類似機(jī)器中，本發(fā)明的儀器能有效地體現(xiàn)為產(chǎn)品。近而，把本儀器和攝象機(jī)組合在一起，就可能拍攝目標(biāo)和它的環(huán)境分開以捕獲從不同點(diǎn)看到的許多取景器圖象并且產(chǎn)生包括目標(biāo)3-D照片的目錄。使用這種方法拍攝時，使用通常必需的激光，紅外線或超聲波進(jìn)行深度測量就不再是必需的。實(shí)施例3和使用單眼攝象機(jī)拍攝目標(biāo)的實(shí)施例1和2相反，在實(shí)施例3中，多眼攝象機(jī)系統(tǒng)被使用去捕獲立體取景器圖象。被捕獲的立體取景器圖象被用來產(chǎn)生3-D顯示圖象。在下面，這樣圖象產(chǎn)生方法主要從與實(shí)施例1不同的觀點(diǎn)加以描述。
圖27給出了產(chǎn)生3-D圖象顯示的主要階段同實(shí)施例1的圖4的差別是如下。
1.在實(shí)施例3的階段1，位移信息不是從實(shí)施例1的運(yùn)動信息中提取。
當(dāng)在實(shí)施例1中不同時間幀被處理時，而在實(shí)施例3中同時幀主要被處理，在同時拍攝的諸幀之間，目標(biāo)的運(yùn)動不能被確定。這樣，這些幀之間的目標(biāo)位移信息被提取。
2.在圖4的階段2在圖27中是不必要的圖27并不包括對應(yīng)圖4的階段2(計(jì)算3-D運(yùn)動信息)，因?yàn)閿z象機(jī)之間的距離如圖13所示是已經(jīng)知道的，根據(jù)三角測量原理使用距離就可以獲得深度信息。
當(dāng)由于多眼攝象機(jī)系統(tǒng)的大量的攝象機(jī)之間的相對位置關(guān)系產(chǎn)生不精確時，這就希望通過使用自校正去檢驗(yàn)在階段2的這樣的不精確。自校正的方法已經(jīng)在參考資料中描述，例如由著者Tomita和Takahashi著的“立體攝象機(jī)的自校準(zhǔn)”日本信息處理協(xié)會雜志，卷31，號5(1990)，頁650-659，日本公開申請，號Hei2-138671和日本公開申請，號Hei2-138672。
實(shí)施例3的階段1至3將在下面描述。[階段1]提取2-D位移信息為了用位移信息替代運(yùn)動信息，幀t和t′被由攝象機(jī)1和2在時間t分別拍攝的幀1和2所取代。在實(shí)施例3中，可能僅根據(jù)最少在同時即時間t拍攝的兩幀就產(chǎn)生最終的圖象。換言之，當(dāng)使用多眼攝象機(jī)時，捕獲的取景器圖象是靜止的圖象。階段1進(jìn)一步與實(shí)施例不同如下。
(1)在實(shí)施例的步11中(設(shè)置對應(yīng)點(diǎn)候選區(qū)域)隨著適當(dāng)?shù)剡x取不同時間的幀或限制相應(yīng)點(diǎn)的候選區(qū)域使計(jì)算量減小，相應(yīng)點(diǎn)候選區(qū)域是根據(jù)取景器圖象運(yùn)動的強(qiáng)度或蹤跡引入的。在實(shí)施例3中，在另一方面，一不同于實(shí)施例1的方法的不同方法被使用并且在下面描述以為同樣目的限制相應(yīng)點(diǎn)候選區(qū)域。
假設(shè)多眼攝象機(jī)被水平地設(shè)置，如同通常的情況。由多眼攝象機(jī)系統(tǒng)的諸攝象機(jī)拍攝的幀的相應(yīng)點(diǎn)的y坐標(biāo)(垂直坐標(biāo))是相互相同的。考慮到這一步，及由于圖象處理或攝象機(jī)安裝出現(xiàn)的誤差，對應(yīng)點(diǎn)候選區(qū)域能被限制為水平徑向帶區(qū)域?，F(xiàn)假定幀1′和2′是在時間t′被拍攝的和幀1和2是在時間t拍攝的，而且t′＝t-1。當(dāng)在幀1′和2′之間的代表點(diǎn)的位置差是x時，可以預(yù)測，在幀1和2的相應(yīng)點(diǎn)候選區(qū)域被如此設(shè)置以具有相同的差x或相互之間大約如此。換言之，在幀1和2的相應(yīng)點(diǎn)的候選區(qū)域能被限制區(qū)域使它們之間的差大約為x 。
(2)雖然在實(shí)施例1的步12的慢運(yùn)動中引入統(tǒng)計(jì)分析(為對應(yīng)點(diǎn)的候選點(diǎn)計(jì)算區(qū)域的非相似性)，這樣的分析在實(shí)施例3中最是不必要的。
(3)類似實(shí)施例1的步12，引入塊配置以確定在實(shí)施例3中相應(yīng)點(diǎn)的位置，然而，在實(shí)施例3中，在一些情況下，位移的塊匹配能比簡單的塊匹配更有效，例如當(dāng)要被使用的多眼攝象機(jī)是由具有不同特性的攝象機(jī)構(gòu)成時，例如，如果攝象機(jī)2趨向于比攝象機(jī)1產(chǎn)生更多的蘭色圖象，在進(jìn)行塊匹配之前，幀2的色彩強(qiáng)度應(yīng)使它的蘭色分量(B)減去一些程度，(即色彩偏差常數(shù)αB)。沒有這樣的校正，這就要冒組合E1和E2的E3意義變?yōu)闊o效的危險(xiǎn)。將要給出一個例子，這里色彩強(qiáng)度表示為紅，綠和蘭空間。在該情況下，不僅蘭(B)，而且紅(R)和綠(G)應(yīng)經(jīng)過這樣的校正即分別減去色彩偏差常數(shù)αR和αG。注意，根據(jù)灰度級的方差，位移塊匹配估價(jià)了相似性。這意味著，相似性能被處理作為色彩空間的距離，該距離和被用來求取景器圖象相對位置可接受性的距離具有同樣的量度。因此相似性和可接收性可以組合在一塊和能被用來作為塊匹配。
參看圖7和根據(jù)公式1，使用等式將描述位移的塊匹配。在實(shí)施例1中pt(i，j)分別表示為對應(yīng)幀1和2的P1和P2，和It(i，j)為I1和I2。由于公式1能被簡化為被表示的公式18，公式18根據(jù)灰度圖象能被用來進(jìn)行正常的塊匹配。
E1＝∑∑{I1(P1x+u，P1y+v)-I2(P2x+u，P2y+v)}2[公式18]另一方面，位移的塊匹配可用下面的公式19表示，它是公式18的修改。
E1＝∑∑{I1(P1x+u，P1y+v)-I2(P2x+u；P2y+v)-α}2[公式19]對于彩色圖象，使用表示αR，αG，αB的任一個的α，為整個RGB空間的所有取景器圖象計(jì)算E1，以獲得它們的全部，即是E1R+E1G+E1B，該值用于塊匹配。為簡化起見，公式19能被表示為公式20，用I1和I2分別表示I1(P1x+u，P1y+v)和I2(P2x+u，P2y+v)，I2(P2x+u，P2y+v)，E1＝∑∑(I1-I2-α)2[公式20]其中I1和I2分別是u和v的函數(shù)，和α是常數(shù)。
下面是被獲得的α的最佳值。由于攝象機(jī)1和2拍攝相同的目標(biāo)，由兩個攝象機(jī)捕獲的取景器圖象應(yīng)當(dāng)包括實(shí)質(zhì)相同的內(nèi)容，除了各自圖象部分的位移。換言之，諸攝象機(jī)的特性越相似方程20求出的E1值應(yīng)越小。根據(jù)這樣的事實(shí)，公知的是，α應(yīng)是能使E1值最小的值。由于公式20能被表示為公式21，
E1＝∑∑{(I1-I2)2-2α(I1-I2)+α2}＝∑∑(I1-I2)2-2α∑∑(I1-I2)+∑∑α2[公式21]倘若在一塊中全部象素的數(shù)目為N，公式21進(jìn)而表示為公式22，因?yàn)椤啤?＝NE1＝∑∑(I1-I2)2-2α∑∑(I1-I2)+Nα2[公式22]因此，由于dE1/dα＝-2∑∑(I1-I2)+2Nα被得到，當(dāng)公式23被得到時E1的值是最小化α＝{∑∑(I1-I2)}/N[公式23]由于α可以理解為在塊匹配的兩目標(biāo)區(qū)域之間的各自象素的色彩距離的平均差值，用公式23替換公式22可以導(dǎo)出公式24E1＝∑∑(I1-I2)2-{∑∑(I1-I2)]}2/N[公式24]因此，可以得出，公式24是用于位移的塊匹配，用引入的公式24，如果假設(shè)，攝象機(jī)1和2嚴(yán)格地拍攝同一個目標(biāo)，E1的值將為0。因此，可以理解，位移的塊匹配在消除判斷取景器圖象相似性形成的初始錯誤是有效的，此后，通過和實(shí)施例1相同的過程最好的塊匹配將被檢索。
值得注意的是，不是RGB強(qiáng)度例如HVC強(qiáng)度而是色彩強(qiáng)度也能被應(yīng)用而沒有塊匹配的問題。然而，塊匹配可以根據(jù)色差完成，這是留數(shù)差而不是灰度級的平方差。當(dāng)已經(jīng)由公式23確定的校正值α超出了預(yù)定的值的范圍，位移的塊匹配可以間斷。這就需要提供最大的限制值，沒有該限制值，有時塊匹配可能檢測出不正確的對應(yīng)點(diǎn)，因?yàn)榘ㄔ擖c(diǎn)的塊在送出時已偶然有類似的模型，雖然它有完全不同的顏色。然而，由于攝象機(jī)特性形成的色差一般并不是非常大和因此在預(yù)定的限制范圍內(nèi)，引入這樣的限制值是有用的和實(shí)際的。
隨著位移塊匹配的間斷，通常的塊匹配能被使用估算取景器圖象的相似性。在校正圖象部分之后僅在可校正區(qū)域的上限值時，從位置塊匹配導(dǎo)出的值可以被使用，該值能用下列等式計(jì)算。E1＝∑∑(I1-I2)2-{∑∑(I1-I2)}2/N+Nx2這里x＝|∑∑(I1-I2)/N|-T(4)在實(shí)施例1的步13中(確定對應(yīng)點(diǎn)的初始位置)，在不同時間幀t，t′之間穩(wěn)定運(yùn)動的點(diǎn)被進(jìn)一步選取作為特征點(diǎn)。在實(shí)施例3中，附加的標(biāo)準(zhǔn)被考慮作為選擇。在圖28中，構(gòu)成相互之間的不同時間幀的幀10至12是由攝象機(jī)1拍攝的，而幀20至22構(gòu)成了由攝象機(jī)2拍攝的不同時間幀。在圖28并排靠著的兩幀相互構(gòu)成了同時幀。注意各幀中的點(diǎn)P，它在不同時間幀之間的運(yùn)動用矢量An表示(n是自然數(shù))，和它在同時幀中的運(yùn)動用矢量Bn表示。
當(dāng)按上述設(shè)置時，符合如下標(biāo)準(zhǔn)的點(diǎn)被選為特征點(diǎn)。(a)矢量Bn實(shí)質(zhì)上是一致的或運(yùn)動實(shí)質(zhì)上是一致的。
除了上述的標(biāo)準(zhǔn)(a)，加入下面的標(biāo)準(zhǔn)(b)，選符合兩標(biāo)準(zhǔn)的點(diǎn)為特征點(diǎn)。(b)矢量An實(shí)值上是一致的或運(yùn)動實(shí)質(zhì)上是一致的。
標(biāo)準(zhǔn)(b)對應(yīng)著在實(shí)施例1引入的情況。如上所述，當(dāng)用多眼攝象機(jī)系統(tǒng)拍攝時，這就可能僅從同時幀獲得深度信息。為此，這就需要獲得取景器圖象之間的正確的對應(yīng)關(guān)系。為了獲得正確的對應(yīng)關(guān)系，從不同時間幀可獲得的信息受鼓勵被允許加入。由于考慮已經(jīng)被精確地跟蹤了，同時滿足上述兩標(biāo)準(zhǔn)的點(diǎn)在提取2-D位移信息時將提供關(guān)鍵信息。當(dāng)一攝象機(jī)捕獲靜止取景器圖象時，已知的動態(tài)編程可以應(yīng)用去獲得相應(yīng)點(diǎn)。[階段2]深度信息的獲得根據(jù)已經(jīng)在階段1獲得的各自圖象部分的位移計(jì)算深度信息。在多眼拍攝時，在時間t被完成圖13的情況，使用實(shí)施例1第三階段公開的方法可以獲得深度信息。
值得注意的是，由于多眼攝象機(jī)系統(tǒng)的各自攝象機(jī)被放置成在相互之間有固定的關(guān)系，假定它們之間的關(guān)系和它們的放大率(聚焦距離是已知的，深度信息的正(絕對)值能被獲得，包括比例因子，這些在實(shí)施例1中是不能被確定的。[階段3]產(chǎn)生圖象通過和實(shí)施例1的階段4的相同的步驟產(chǎn)生圖象(圖象的產(chǎn)生)。
在實(shí)施例3中，如上所述，攝象機(jī)接收立體取景器圖象和輸出3-D顯示圖象。
因此，由攝象機(jī)捕獲的取景器圖象將被精確地復(fù)制輸出，附加這樣的事實(shí)，所希望的圖象能通過圖象處理產(chǎn)生，包括增強(qiáng)的顯示，這在實(shí)施例1中已經(jīng)描述過。實(shí)施例4產(chǎn)生從不同點(diǎn)看的取景器圖象的技術(shù)，通過使用鼠標(biāo)和它的咔嚓按的功能，已經(jīng)在實(shí)施例2中描述了。在下面，將描述例子，這里從不同點(diǎn)看的各種取景器圖象將被產(chǎn)生以為各種目的。
如上所述，依照本發(fā)明，可能產(chǎn)生從不同點(diǎn)看的一取景器圖象而無需移動攝象機(jī)。在這種情況下，自然地，假設(shè)位于離真實(shí)視點(diǎn)較短距離的視點(diǎn)看的取景器圖象將產(chǎn)生較大的精度。使用這個事實(shí)，能實(shí)現(xiàn)下面的應(yīng)用。
1.基于由雙眼攝象機(jī)拍攝的取景器圖象產(chǎn)生多視點(diǎn)取景器圖象。
當(dāng)用雙眼攝象機(jī)系統(tǒng)獲得立體取景器圖象時，使用假設(shè)提供的第三個攝象機(jī)將產(chǎn)生多視點(diǎn)取景器圖象。換言之，假設(shè)第三個攝象機(jī)被放置的點(diǎn)被確定，使得第三攝象機(jī)設(shè)置得離開另二個攝象機(jī)一個小距離。然后，從這樣確定點(diǎn)看的取景器圖象被產(chǎn)生了。相對精確地這樣產(chǎn)生的圖象和由雙眼攝象機(jī)系統(tǒng)的兩個攝象機(jī)捕獲的真實(shí)的兩取景器圖象組合在一塊，以產(chǎn)生多視點(diǎn)的好的取景器圖象。隨后，附加考慮的深度信息將允許產(chǎn)生從多視點(diǎn)中任一視點(diǎn)看出的3-D顯示圖象。
2.產(chǎn)生慢運(yùn)動取景器圖象依照時間兩個最緊靠著的不同時間幀被分別指定為幀t和t′；幀t和t′的視點(diǎn)分別指定為視點(diǎn)t和t′。雖然視點(diǎn)實(shí)際從視點(diǎn)t到t′和從幀t到t′變化，在它們之間不能獲得取景器圖象。因此，通過在視點(diǎn)t和t′之間提供假想的視點(diǎn)，不從不同點(diǎn)看的取景器圖象，即，在這個實(shí)例中在視點(diǎn)t和t′之間的一個點(diǎn)被新產(chǎn)生了。從不同點(diǎn)的大量的取景器圖象能以這樣方式產(chǎn)生。然后，順序地顯示這樣的取景器圖象能夠呈現(xiàn)有下述效果的慢運(yùn)動的取景器圖象。a.在各自取景器圖象之間的運(yùn)動變慢，而不是初始的快閃運(yùn)動。b.隨著依照時間較近幀之間視點(diǎn)的較少運(yùn)動，這些幀之間的取景器圖象的質(zhì)量并不降低。
c.視點(diǎn)從視點(diǎn)t移到t′的路徑的變化將提供慢運(yùn)動的取景器圖象的不同的效果。
深度信息的附加考慮將允許產(chǎn)生3-D顯示的圖象。值得注意的是，上述的技術(shù)能被應(yīng)用到同時幀而沒有問題。實(shí)施例5實(shí)施例5實(shí)質(zhì)上和實(shí)施例1相同，除了它輸出2-D顯示圖象，目的在于使用深度信息實(shí)現(xiàn)下述的圖象處理。
1.視點(diǎn)的改變伴隨假設(shè)視點(diǎn)的變化，取景器圖象已應(yīng)能被變化。根據(jù)本發(fā)明，當(dāng)假想的視點(diǎn)改變時，從已改變的視點(diǎn)看出的取景器圖象自動地改變而攝象機(jī)保持固定。
2.圖象的部分?jǐn)U展或壓縮使用深度信息，按需要通過部分地變化比例最自然和最有效的取景器圖象被自動地產(chǎn)生。
3.圖象區(qū)域的分離為了分離所希望的圖象區(qū)域，首先有必要完全識別各自的圖象區(qū)域，為了區(qū)域識別，已經(jīng)提出了幾種方法，包括光標(biāo)識別方法，但它們僅獲得不滿意的結(jié)果。使用深度信息和與通常方法完全不同的方法，本發(fā)明保證了精確地區(qū)域分離。
由于深度信息是使和實(shí)施例1同樣的處理過程獲得的，在下述中，僅階段4(產(chǎn)生圖象)將被描述，因?yàn)樗煌趯?shí)施例1。[階段4]圖象的產(chǎn)生按照在階段3獲得的深度信息產(chǎn)生所希望的取景器圖象。直至階段3的階段中，至少兩個取景器圖象幀被要求以提取必要的信息，雖在階段4基于僅僅單獨(dú)的取景器圖象可能產(chǎn)生所希望的圖象。
(1)從不同點(diǎn)看到的取景器圖象圖29和30給出了最初的取景器圖象和從變化視點(diǎn)看到的再產(chǎn)生的圖象之間的相應(yīng)在關(guān)系。圖29是最初的取景器圖象，給出了樹，房子和人，每一個按此順序給出了較小的景深。圖30是產(chǎn)生的取景器圖象，并假設(shè)，視點(diǎn)被假設(shè)移動到景的頂右端的某處的一點(diǎn)。
從這些圖中可以明顯看出，依照本發(fā)明，可能獲得從不同點(diǎn)看到的取景器圖象而同時攝象機(jī)保持固定，因?yàn)楦髯詧D象部分的3-D信息，包括深度信息從階段3已經(jīng)知道了，在這個例子中，假設(shè)視點(diǎn)移動到景的頂右邊，雖然可以理解目標(biāo)被移動到景的底左部。移動到底左部表示為直線和旋轉(zhuǎn)運(yùn)動的形式，這如在階段3的描述。通過反相跟隨階段1至3的處理，就有可能計(jì)算屏上目標(biāo)2-D運(yùn)動，基于目標(biāo)的假想的3-0運(yùn)動，也就產(chǎn)生了圖30所示取景器圖象。由于在階段1至4中沒有留下任意創(chuàng)造的余地，這樣產(chǎn)生的取景器圖象是非常自然的。
在這階段，最好考慮和反射在制造圖象的屏蔽關(guān)系。具體而言，以圖30為例，伴隨著視點(diǎn)的變化，樹的底部分被房子的頂遮蓋而變得不清楚。因此，為產(chǎn)生自然的取景器圖象，樹的底部分應(yīng)當(dāng)被房子的圖象數(shù)據(jù)遮蓋。在實(shí)際的軟件處理時，產(chǎn)生應(yīng)當(dāng)從具有較大深度的圖象部分開始以產(chǎn)生自然的取景器圖象。另外，在計(jì)算機(jī)圖象廣泛使用的2-緩沖器技術(shù)能被用來為此目的。為了通過計(jì)算獲得屏蔽關(guān)系，首先做出判斷，是否從變化視點(diǎn)指向各自圖象部分的視矢量相互重疊，部分A離視點(diǎn)比部分B近，這就知道，部分A應(yīng)被視為屏蔽部分B。根據(jù)這樣的計(jì)算信息可以產(chǎn)生圖象c(2)圖象的部分比例在增強(qiáng)的顯示中，圖象顯示技術(shù)之一，較近的目標(biāo)能被再定位得更近，而較遠(yuǎn)的目標(biāo)能被做得甚至更遠(yuǎn)，這樣深度的對比在兩個目標(biāo)中被強(qiáng)調(diào)。
為了這樣的圖象處理，依照本發(fā)明，根據(jù)深度信息圖象部分地改變它的比例。圖31給出了與圖29相同的取景器圖象，除了它的部分被放大。作為人被擴(kuò)展的結(jié)果，在圖中所有目標(biāo)中人具有最小的深度，人被感覺得離視者最近。其結(jié)果是，有效的增強(qiáng)的顯示被實(shí)現(xiàn)了。在這種情況下，屏蔽關(guān)系也反射到新產(chǎn)生的取景器圖象中。
值得注意的是，在具有最小深度的擴(kuò)展區(qū)域內(nèi)，這里并不存在著放大比率的限制，因?yàn)樵搮^(qū)域能被沒有問題地?cái)U(kuò)展，直到它感覺完全沒有深度。然而，在放大具有取景器圖象中間深度的區(qū)域時，即，在圖31中的房子，放大率依此受到限制。這樣限制的破壞將造成非自然的取景器圖象。在依照深度信息進(jìn)行擴(kuò)展時，如本發(fā)明中所執(zhí)行的，這就可能出現(xiàn)這種情況，例如僅具有最短深度的區(qū)域被放大，僅具有最大深度的區(qū)域被縮小，以產(chǎn)生自然的和實(shí)際的圖象，即，符合自然法則的圖象。
在上述中，產(chǎn)生自然圖象的方法已經(jīng)被描述了，但是有時要求非自然的圖象，例如當(dāng)在較遠(yuǎn)的部分比較近的部份的顯示要大的非自然的景需要被強(qiáng)調(diào)時。這樣非自然的圖象能被用到游戲或類似的應(yīng)用中。在任何情況下，依照本發(fā)明，自然的或非自然的能按所需自由地產(chǎn)生。通常，自然的圖象能或不能作為事故的結(jié)果已經(jīng)被產(chǎn)生，在該事故中圖象一些部分的比例被變化。然而，依本發(fā)明，自然的或非自然的圖象的產(chǎn)生是確保按要求滿足。
一旦一自然圖象被產(chǎn)生了，為了進(jìn)一步完成上述的在產(chǎn)生的自然圖象上的以后將被描述的處理(3)或處理(1)，最好通過改變擴(kuò)展或壓縮的區(qū)域來開始處理。例如，當(dāng)區(qū)域在尺寸上擴(kuò)大一倍時，它的深度將為二分之一。相反，當(dāng)區(qū)域減小一半時，它的深度擴(kuò)大一倍。這樣的校正是必需的，因?yàn)閰^(qū)域的大小和它的深度成反比。圖象的校正應(yīng)確保在以后的過程中自然的圖象被產(chǎn)生。
在引入的關(guān)于(1)和(2)的圖象處理中，通過平滑沿圖象邊角的不平部分，一圖象被處理完畢。例如，當(dāng)再產(chǎn)生的圖20的取景器圖象為圖30的相應(yīng)部分，這絕對不會發(fā)生，圖29的所有圖象部分和圖30的相應(yīng)部分有一一對應(yīng)關(guān)系。具體而言，由于在圖30圖象頂右角示出的空間可能給出的目標(biāo)在圖29的圖象的相同區(qū)域不被看見。因此，基于圖29在圖30的取景器圖象的自然的產(chǎn)生，在區(qū)域被看的圖象部分與實(shí)際從圖30斷開。這斷開造成了依據(jù)圖象理想邊角線的內(nèi)凹?；谕瑯拥睦碛?，包括在圖29內(nèi)的所有圖象部分并不在圖30的圖象的理想邊角內(nèi)，而一些圖象部分從邊角中伸出。
為了解決這個問題和維持初始屏幕形狀(在此例是長方形)，這樣的凹處用額外的象素添充，而這樣突出將被切去冗余的象素。使用和圖象相鄰區(qū)域中的相同顏色的象素進(jìn)行添充。當(dāng)上述的圖象處理(2)在圖象的邊角線形成類似的不平時，似類的修補(bǔ)解決該問題。使用這種修補(bǔ)。使圖象的邊角線顯示得自然。(3)分離圖象所希望的要被分離的部分將被單獨(dú)地加以處理。參看圖29，假定人，房子和樹分別具有的深度為3m，10m，和20m。為了使分離人，在開始檢測和評判各個部分的景深之前，先設(shè)“5米的深度”為了分離房子，情況可以設(shè)為“在5米到15米的深度”。
圖32是從圖29分出的房子而產(chǎn)生的取景器圖象。在分離所希望的圖象區(qū)域之后，其余的部分可以留為空白，或分離的區(qū)域可以通過不同的取景器圖象。
如上所述，本發(fā)明提供了圖象識別和處理的方法。通常，圖象區(qū)域手動地已經(jīng)被分離，或使用色彩的光標(biāo)方法。本發(fā)明提供的實(shí)現(xiàn)精確區(qū)域識別方法完全不同于通常的方法，是使用深度信息。
到目前所述，本發(fā)明公開了使用精確深度信息進(jìn)行圖象處理的方法。由于一系列的處理能用軟件自動地完成，本發(fā)明能應(yīng)用到廣泛的領(lǐng)域。實(shí)施例6將描述實(shí)現(xiàn)實(shí)施例5的適當(dāng)?shù)膬x器，該儀器實(shí)質(zhì)上和在實(shí)施例2中所描述的儀器相同，除了它輸出單獨(dú)類型的圖象，而不是兩種類型的圖象，即，實(shí)施例2中的右和左眼的圖象。僅聯(lián)系和實(shí)施例2的結(jié)構(gòu)差異描述其操作。一攝象機(jī)拍攝目標(biāo)作為捕獲的取景器圖象，該取景器圖象通過圖象輸入電路20被提供并且存儲在幀存儲器24中。大量取景器圖象的幀從幀存儲器24中被讀出并且通過相應(yīng)點(diǎn)檢測電路26和運(yùn)動檢測電路30加以處理以獲得目標(biāo)的深度信息。
隨后，依照深度信息，圖象產(chǎn)生電路32產(chǎn)生圖象例如從不同點(diǎn)看到的取景器圖象。在這種情況下，使用由指令輸入部分34提供的指令，各種處理將被完成，包括產(chǎn)生從不同點(diǎn)看到的取景器圖象，擴(kuò)展，壓縮，或分離，如在實(shí)施例5中所示。實(shí)施例7將描述當(dāng)接收立體取景器圖象產(chǎn)生2-D顯示圖象的方法。
實(shí)施例5和7之間的差別和實(shí)施例1和3之間的差別是相同的。這一般可能高精度地獲得深度信息，因此能高精度地完成從不同點(diǎn)看的取景器圖象的產(chǎn)生作為最終的圖象。實(shí)施例8和實(shí)施例1相類似，根據(jù)深度信息和2-D圖象產(chǎn)生好的立體圖象的方法將被描述。實(shí)施例8不同于實(shí)施例1，當(dāng)顯示圖象時它考慮了顯示儀器的唯一的情況。
如前邊日本公開號Sho 55-36240申請所公開的， 當(dāng)給出深度信息，根據(jù)2-D圖象就可能產(chǎn)生和顯示立體圖象。即，發(fā)射機(jī)發(fā)射附有深度信息的電視圖象信號(2-D圖象信號)。接收機(jī)，另一方面，劃分接收的圖象信號為兩組。然后，兩圖象信號組的一個的各自圖象部分按照深度信息給出一些位移，以分別產(chǎn)生右和左眼圖象。這樣產(chǎn)生的圖象被顯示在立體圖象顯示儀上，以完成再現(xiàn)立體圖象。
在這種情況下，就需要考慮視差的性質(zhì)。換言之，如上面已經(jīng)討論的，由于視差是基于視矢量之間的角度差，在顯示甚至相同數(shù)目的象素時，角差的范圍隨著顯示儀器的不同尺寸而變化，視差的變化取決于顯示儀器的尺寸。甚至假設(shè)尺寸是相同的，視差始終依顯示儀器和視者之間的距離而變化。因而，為了達(dá)到最佳的3-D效果，位移的范圍應(yīng)當(dāng)依照顯示儀器唯一的情況單獨(dú)地加以確定。
在實(shí)施例8中，每一個立體圖象顯示儀的唯一的校正值被引入附加深度信息。圖33給出了依實(shí)施例8的立體圖顯示儀的結(jié)構(gòu)。其中2-D圖象和深度信息通過輸入端100被提供，和深度信息在深度信息提取電路102中以公知的方法被提取。
另一方面，2-D圖象被分為兩組。一組提供給緩沖存儲器104，和另一組提供給右眼圖象位置電路106。緩沖存儲器吸收在位移電路106中形成的延遲。左眼顯示面板108顯示從緩沖存儲器104傳送的圖象，而右眼顯示面板110顯示在位移電路106中給出位移的圖象。
該儀器的特征在于，位移電路106不僅參考深度信息而且參考對儀器唯一的參數(shù)來確定位移的范圍，參數(shù)預(yù)先存儲在ROM112內(nèi)。ROM內(nèi)112存儲儀器的最佳校正值，最佳校正值遵照下面的一般的規(guī)則。
(1)相關(guān)于顯示面板的尺寸，對較小的顯示面板，存儲較大的值。
(2)相關(guān)于在一般使用下顯示面板到視者的距離對于較小的距離，較小的值被存儲。
如果深度較小或校正值較大，顯示電路106給出較大的位移，校正值依照上述的規(guī)則預(yù)先被確定。作為結(jié)果，最佳立體顯示被獲得，該最佳立體顯示反應(yīng)了對顯示儀器唯一狀況。
實(shí)施例8也應(yīng)用下述的技術(shù)變化。
1.如圖33所示，位移開關(guān)114可以提供以手動地改變位移范圍，使得按個人喜好的補(bǔ)充的調(diào)整或調(diào)整能夠?qū)崿F(xiàn)。
2.位移能夠給右和左兩個圖象。
3.如前述Nikkei Electronics No.444.所示，使用Pulfrich效應(yīng)產(chǎn)生3-D效果。
4.ROM112可以預(yù)先存儲大量的校正值，以根據(jù)情況被選來使用。
5.校正值可以分兩組存儲，一組隨屏幕尺寸變化，另一組隨著顯示屏和視差之間的距離變化。
6.如上所述，深度信息值是精確地與拍攝位置和目標(biāo)之間距離成正比。然而，深度信息可以給出拍攝位置和目標(biāo)之間的絕對距離。取簡單的情況為例，深度信息僅包括三個級別即，大、中和小。當(dāng)深度信息指示“大”，或長距離，沒有位移被求出使得圖象部分沒有視差。當(dāng)“中”或中等距離被指出時，一些位移被求出形成圖象部分的視差。當(dāng)“小”或小距離被指出時，大的位移被求出以形成圖象部分的大視差。
這樣簡化的深度信息能夠減少廣播的數(shù)據(jù)傳送量，另外，實(shí)現(xiàn)了具有簡單結(jié)構(gòu)電路的立體圖象顯示儀。
權(quán)利要求
1.產(chǎn)生3-D顯示圖象的方法包括從2-D運(yùn)動圖象提取深度信息的步驟；和按照深度信息產(chǎn)生3-D顯示圖象的步驟。
2.權(quán)利要求1的產(chǎn)生3-D顯示圖象的方法，其中，提取深度信息的步驟包括檢測2-D運(yùn)動圖象運(yùn)動的步驟；計(jì)算在景和2-D運(yùn)動圖象拍攝視點(diǎn)之間的相關(guān)的3-D運(yùn)動的步驟；和根據(jù)相關(guān)的3-D運(yùn)動和各自圖象部分的2-D運(yùn)動計(jì)算從拍攝視點(diǎn)到投影到2-D運(yùn)動圖象的3-D空間的各個部分的相關(guān)距離的步驟；
3.根據(jù)包括在2-D運(yùn)動圖象的幀計(jì)算深度信息的方法，包括從2-D運(yùn)動圖象中選取在它們之間有適當(dāng)大運(yùn)動的兩幀的步驟；和根據(jù)兩幀的信息計(jì)算深度信息的步驟。
4.權(quán)利要求3的計(jì)算深度信息的方法，進(jìn)而包括在參考幀提供大量代表點(diǎn)的步驟；在另一幀確定大量相應(yīng)點(diǎn)以和代表點(diǎn)的每一個相互對應(yīng)的步驟；和在代表點(diǎn)和對應(yīng)點(diǎn)之間獲得位置關(guān)系的步驟，其中在另一幀的相應(yīng)點(diǎn)的位置是依靠代表點(diǎn)和相應(yīng)點(diǎn)之間的位置關(guān)系預(yù)測的，以限制在另一幀檢索相應(yīng)點(diǎn)的區(qū)域。
5.權(quán)利要求3計(jì)算深度信息的方法，進(jìn)而包括在參考幀提供大量代表點(diǎn)的步驟；在另一幀確定大量相應(yīng)點(diǎn)以使和代表點(diǎn)的每一個相對應(yīng)的步驟；獲得代表點(diǎn)和對應(yīng)點(diǎn)位置關(guān)系的步驟；每一個代表點(diǎn)被分為特征點(diǎn)和非特征點(diǎn)；其中當(dāng)比預(yù)定數(shù)目多的特征點(diǎn)在參考和另一幀之間移動時，使得它們運(yùn)動的總合超出了一預(yù)定值，這就判斷為參考幀和另一幀的運(yùn)動是適當(dāng)?shù)拇?，參考幀和另一幀被選取。
6.權(quán)利要求3計(jì)算深度信息的方法，進(jìn)而包括在參考幀提供大量代表點(diǎn)的步驟；在另一幀確定大量相應(yīng)點(diǎn)以和代表點(diǎn)的每一個相對應(yīng)的步驟，和和在代表點(diǎn)和對應(yīng)點(diǎn)之間獲得位置關(guān)系的步驟；代表點(diǎn)被分類為特征點(diǎn)和非特征點(diǎn)，其中當(dāng)多于預(yù)定數(shù)目的特征點(diǎn)在參考幀和另一幀之間運(yùn)動時，使得它們的運(yùn)動的變化超過了一預(yù)定值，這就判斷，參考幀和另一幀之間的運(yùn)動是足夠的大，參考幀和另一幀因此被選出來。
7.權(quán)利要求3至6中任一個的計(jì)算深度信息的方法，其中當(dāng)在它們之間具有適當(dāng)大的運(yùn)動的兩幀不能從2-D運(yùn)動圖象中選出時，深度信息的計(jì)算被間斷。
8.權(quán)利要求5至7中任一個的計(jì)算深度信息的方法，其中相關(guān)于圖象區(qū)域的代表點(diǎn)的相應(yīng)點(diǎn)具有幾何特性，這被判別和被定位，使得與此相關(guān)的圖象區(qū)域保留有幾何特性。
9.權(quán)利要求8計(jì)算深度信息的方法，其中具有幾何特性的圖象區(qū)域是包括直線的區(qū)域。
10.計(jì)算深度信息的方法包括在參考幀提供大量代表點(diǎn)的步驟；在包括在另一幀任意設(shè)置的特定點(diǎn)的圖象區(qū)域和在參考幀內(nèi)包括代表點(diǎn)的鄰近圖象區(qū)域之間引進(jìn)估算圖象相似性的步驟；在特定點(diǎn)之間估算相對位置可接收性的步驟；當(dāng)兩者的估算提供有利的結(jié)果時確定特殊點(diǎn)為代表點(diǎn)的相應(yīng)點(diǎn)的步驟；當(dāng)移動諸相應(yīng)點(diǎn)的一個和所有固定在它們當(dāng)前位置的其它相應(yīng)點(diǎn)時，引入求最佳點(diǎn)的檢索，在那里的兩個估算提供最好的結(jié)果的步驟；引入相應(yīng)在檢索期間發(fā)現(xiàn)的最佳點(diǎn)的諸相應(yīng)點(diǎn)之一的位置的變化的步驟；就所有對應(yīng)點(diǎn)而論順序地引入檢索和位置變化的步驟；和依照代表點(diǎn)和通過上述一系列步驟已經(jīng)確定的相應(yīng)點(diǎn)之間的位置關(guān)系計(jì)算深度信息的步驟。
11.權(quán)利要求10計(jì)算深度信息的方法，其中在為所有的對應(yīng)點(diǎn)引入檢索和位置變化以后，通過解Euler-Lagrange差分方程位置精度由此得到改進(jìn)并指明估算兩者的組合值為極值的情況。
12.權(quán)利要求10和11中任一個的計(jì)算深度信息的方法，其中使用位移的塊匹配引入圖象相似性的估算，那里當(dāng)包括同一目標(biāo)的塊被測試時，相似性被正確地估算為最高，而不管拍攝狀況，和使用鄰近圖象部分之間的距離函數(shù)估算圖象相關(guān)位置的可接收性，和對分別依照色彩空間和象素空間的距離項(xiàng)目的上述估算結(jié)果加以處理，使得它們能被組合在一塊和能被一塊使用進(jìn)行估算以確定相應(yīng)點(diǎn)。
13.權(quán)利要求12的計(jì)算深度信息的方法，其中在已經(jīng)預(yù)先決定的限制的校正區(qū)域內(nèi)使用位移塊匹配引入圖象相似性的估算。
14.計(jì)算深度信息的方法，包括在參考幀提供大量代表點(diǎn)的步驟；在另一幀確定大量的對應(yīng)點(diǎn)以和代表點(diǎn)中的每一個相對應(yīng)的步驟；和獲得在代表點(diǎn)之間至少一特征點(diǎn)和它的相應(yīng)點(diǎn)之間的位置關(guān)系的步驟，其中，在不同時間拍攝的大量幀當(dāng)中其位置穩(wěn)定地移動的一點(diǎn)被選出作為特征點(diǎn)。
15.計(jì)算深度信息的方法，包括在參考幀提供大量代表點(diǎn)的步驟；在另一幀確定大量相應(yīng)點(diǎn)使得和代表點(diǎn)中的每一個相對應(yīng)的步驟；和獲得在代表點(diǎn)當(dāng)中至少一個特征點(diǎn)和它的相應(yīng)點(diǎn)之間的位置關(guān)系的步驟，其中這樣的點(diǎn)被選取做為一特征點(diǎn)，即，它的位移在同時拍攝的兩幀之間實(shí)質(zhì)上是一致的，并且在緊靠著但在不同時間同時拍攝的另外一些幀之間實(shí)質(zhì)上是一致的或?qū)嵸|(zhì)上一致變化的。
16.計(jì)算深度信息的方法，包括在參考圖象提供大量代表點(diǎn)的步驟；在另一圖象確定大量的對應(yīng)點(diǎn)以和代表點(diǎn)的每一個相對應(yīng)的步驟；獲得代表點(diǎn)和相應(yīng)點(diǎn)之間的位置關(guān)系的步驟；和依照位置關(guān)系計(jì)算深度信息的步驟，其中當(dāng)少于預(yù)定數(shù)目的特征點(diǎn)從代表點(diǎn)中選取時深度信息的計(jì)算被中斷。
17.權(quán)利要求16計(jì)算深度信息的方法，其中代表點(diǎn)和對應(yīng)點(diǎn)分別在包括2-D運(yùn)動圖象的兩幀中提供。
18.根據(jù)包括2-D運(yùn)動圖象的兩幀計(jì)算深度信息的方法，其中當(dāng)在兩幀之間的運(yùn)動小時，間斷深度的計(jì)算。
19.計(jì)算2-D圖象深度信息的方法，其中當(dāng)特定圖象任一點(diǎn)的深度被計(jì)算為負(fù)時，該深度用具有正深度值逼近點(diǎn)的深度信息加以內(nèi)插。
20.使用深度信息進(jìn)行圖象處理的方法，包括，通過依照深度信息給2-D圖象視差以產(chǎn)生立體圖象的步驟，其中，視差被變換以落入預(yù)定的范圍，使得依照變換的視差產(chǎn)生立體圖象。
21.權(quán)利要求20圖象處理的方法，其中視差被線性地壓縮以落入到使點(diǎn)被任意指定為預(yù)定區(qū)域中間值的預(yù)定區(qū)域。
22.權(quán)利要求20的圖象處理方法，其中出了預(yù)定區(qū)域的視差被一致地變換為預(yù)定區(qū)域的上或下限值中的一逼近值。
23.權(quán)利要求20的圖象處理的方法，其中視差被非線性地變換，使得變換的值平滑地收斂為預(yù)定區(qū)域的上和下限值，從而這樣落入預(yù)定的區(qū)域內(nèi)。
24.使用深度信息進(jìn)行圖象處理的方法，包括根據(jù)深度信息給2-D圖象視差以產(chǎn)生立體圖象的步驟，其中視差是可以變化的，該視差最初是由深度信息決定的。
25.使用深度信息進(jìn)行圖象處理的方法，包括，依深度信息給2-D圖象視差以產(chǎn)生立體圖象的步驟；和在立體圖象顯示儀上顯示立體圖象的步驟，其中對2-D圖象進(jìn)行處理，使得視差依據(jù)立體圖象顯示儀器的唯一的顯示狀況所決定。
26.權(quán)利要求25圖象處理的方法，其中顯示狀況是根據(jù)立體圖象顯示儀器的顯示屏的大小和假設(shè)的從顯示屏到視者之間的距離確定的，和對2-D圖象進(jìn)行處理使得所希望的視差是根據(jù)這樣確定的顯示狀況單獨(dú)地加以確定的。
27.使用深度信息進(jìn)行圖象處理的方法，包括，通過依照深度信息給2-D圖象的每一圖象部分的視差產(chǎn)生立體圖象的步驟，其中由于給出的視差形成的不平的圖象幀輪廓線被校正。
28.使用深度信息進(jìn)行圖象處理的方法，包括，通過依照深度信息為2-D圖象的每一部分給出的視差產(chǎn)生立體圖象的步驟，其中圖象幀的所希望形狀通過切去圖象的外圍部分而獲得。
29.依照深度信息對2-D圖象引入圖象處理的方法，其中根據(jù)深度信息，確定經(jīng)受圖象處理的圖象區(qū)域。
30.權(quán)利要求29圖象處理的方法，其中圖象處理是改變圖象區(qū)域大小的處理。
31.權(quán)利要求30的圖象處理的方法，其中改變圖象區(qū)域大小的處理是使用較小的深度擴(kuò)展圖象區(qū)域的尺寸使得比用較大的深度的圖象的尺寸大的處理。
32.權(quán)利要求29的圖象處理的方法，其中圖象處理是引入分開所希望的圖象區(qū)域的處理。
33.權(quán)利要求32的圖象處理的方法，其中在預(yù)定的區(qū)域內(nèi)對具有一深度的圖象區(qū)域進(jìn)行分離。
34.權(quán)利要求32的圖象處理方法，其中已經(jīng)被分開的圖象區(qū)域和其它的圖象進(jìn)行組合。
35.根據(jù)深度信息對2-D圖象進(jìn)行圖象處理的方法，其中根據(jù)深度信息，產(chǎn)生在2-D圖象的一拍攝點(diǎn)是假想移動的假想運(yùn)動路徑上的大量點(diǎn)為視點(diǎn)的圖象作為低速運(yùn)動圖象。
全文摘要
從2-D運(yùn)動圖象自動獲得深度信息以產(chǎn)生3-D顯示圖象的方法，和選取適當(dāng)?shù)膸杂?jì)算深度信息或間斷計(jì)算，并用深度信息進(jìn)行圖象處理的方法，通過塊匹配等方式取出屏上目標(biāo)的運(yùn)動信息，隨后，計(jì)算3-D目標(biāo)的真實(shí)運(yùn)動。由于取景器圖象是空間投影，可根據(jù)大量代表點(diǎn)的運(yùn)動通過逆變換獲得目標(biāo)的初始3-D運(yùn)動，結(jié)果，目標(biāo)的3-D坐標(biāo)被識別，從而獲得目標(biāo)的深度信息。此后，根據(jù)深度信息計(jì)算視差，以從輸入取景器圖象產(chǎn)生左右眼圖象。
文檔編號G06T15/10GK1153362SQ9610848
公開日1997年7月2日 申請日期1996年3月29日 優(yōu)先權(quán)日1995年3月29日
發(fā)明者松本幸則, 寺崎肇, 杉本和英, 片山正純, 荒川勉, 鈴木治 申請人:三洋電機(jī)株式會社