專利名稱：用于從二維視頻源中合成出三維視頻的系統(tǒng)和方法
此申請要求Amber C.Davidson和Loran L.Swensen 1996年12月27日提交并包括在本文中作為參考的題目為“TWO-DIMENSIONAL TOTHREE-DIMENSIONAL STEREOSCOPIC TELEVISIONCONVERTER”的美國臨時專利申請No.60/034,149的權(quán)益。
本發(fā)明一般涉及用于處理及顯示視頻圖象的系統(tǒng)和方法。具體涉及接收二維視頻信號并合成出被顯示在顯示裝置上的三維視頻信號的系統(tǒng)和方法。
逼真的三維視頻在娛樂業(yè)，商業(yè)，工業(yè)以及研究領域均有廣泛的用途。而上述每種領域又均有各自不同的需求和不同的目標。由于要求不同，使得適用于某一領域的某些系統(tǒng)有可能完全不適用于其它的領域。然而，通常三維視頻圖象必須在持續(xù)很長時間的情況下也不會給人帶來緊張和眼睛疲勞等不舒適的感覺。此外，系統(tǒng)還應有足夠高的分辨率和圖象顯示品質(zhì)以提供良好視覺效果。然而，現(xiàn)有技術(shù)的系統(tǒng)并不能總是很充分地實現(xiàn)這些目標。
任何被設計來產(chǎn)生三維視頻圖象的方法均依賴于其將不同視頻流投影到觀察者每只眼睛上的能力。這些視頻流包含有被觀察者理解為三維圖象的視覺線索。目前已研制出多種不同的系統(tǒng)用來將這兩個視頻流展示給個人的不同眼睛。一些系統(tǒng)采用的是為了使其每只眼睛感知不同的視頻流而讓觀察者所佩戴的使用無源偏振或具有不同顏色的觀測透鏡和眼鏡的雙屏顯示器。其它方法則是利用其中只采用一個在兩個視頻流之間快速切換的單獨顯示屏進行顯示的場或幀多路復用技術(shù)。這些系統(tǒng)典型地具有一付由個人佩戴的遮光鏡，遮光板交替地遮住一只眼睛和另一只眼睛以使每只眼睛感知不同視頻流。最后，如那些通常在虛擬現(xiàn)實系統(tǒng)中所使用的一些系統(tǒng)，使用的是內(nèi)置在由觀察者所戴的頭盔中的雙液晶或雙CRT顯示器。其它技術(shù)還包括不需要佩戴眼鏡的投影系統(tǒng)和多種自動立體視覺系統(tǒng)。
產(chǎn)生并顯示三維視頻圖象的現(xiàn)有技術(shù)系統(tǒng)通常采用兩種方法之一。第一種方法采用的是用于產(chǎn)生兩個視覺信息通道的雙眼系統(tǒng)，例如兩個透鏡或兩個攝像機。兩個通道的空間偏移量產(chǎn)生了模仿個人的眼睛所產(chǎn)生效果的視差效果。
利用兩個攝像機產(chǎn)生高品質(zhì)立體視頻中的關(guān)鍵因素是保持兩個通道的圖象數(shù)據(jù)的嚴格對準。必須保持攝像機透鏡的對準，當本系統(tǒng)的電子器件或光學器件對由攝像機所產(chǎn)生的視頻信號進行處理時，視頻信號必須保持嚴格的時間對準。觀察者將把未對準感知為失真。眾所周知雙屏顯示系統(tǒng)特別易于發(fā)生對準失配，且其體積很大并十分笨重，而且由于具有多個顯示器而十分昂貴。多路復用場或幀的單顯示屏方案雖然可以減輕由雙顯示器而產(chǎn)生的問題，但這些系統(tǒng)的性能仍舊依賴于輸入視頻數(shù)據(jù)的對準精度。
為多種系統(tǒng)所采用的第二種方法試圖將輸入的二維視頻信號轉(zhuǎn)換為適用于立體顯示器的形式。這些系統(tǒng)通常將該二維視頻信號分解為兩個單獨通道的視覺信息，其中一個通道的視頻信息相對于另一個通道的視頻信息有所延遲。由于接收和處理兩個單獨通道信息的必要硬件要求有所降低，所以用于從二維輸入數(shù)據(jù)中合成出模擬三維場景的系統(tǒng)勢必會稍微便宜一些。此外，此類系統(tǒng)可以使用任何常規(guī)的視頻源，而不再需要由立體攝像機系統(tǒng)所產(chǎn)生的特殊視頻。然而對于在場景中并不移動的物體，為了生成模擬模擬三維場景而依賴于部分數(shù)據(jù)的時間偏移的方法并不很奏效。因此，目前還不存在能夠從二維輸入信號中產(chǎn)生高品質(zhì)模擬三維視頻的系統(tǒng)。
另一個限制著傳統(tǒng)三維視頻取得商業(yè)上的成功的因素是此類系統(tǒng)的大多數(shù)用戶常會體驗到的包括視覺疲勞，頭疼和惡心等在內(nèi)的有害生理反應。其中的一個例示便是50到60年代所十分流行的3D電影。然而今天，在主題公園和類似集會地點之外，因為一般觀眾對此種媒介的容忍度是有限的，所以通常要將這些電影的長度限制為30分鐘左右。觀眾的容忍度問題似乎是傳統(tǒng)立體觀測技術(shù)的固有問題，其是由于這些系統(tǒng)不能逼真模仿人類視覺系統(tǒng)的工作原理而造成的。此類系統(tǒng)似乎也存在由于不能解釋人腦的中心作用以及高效視覺處理中人腦與眼睛之間的神經(jīng)協(xié)作而帶來的問題。
總之，現(xiàn)有技術(shù)的系統(tǒng)存在圖象品質(zhì)不佳，用戶容忍度較低以及成本較高的缺點。因此制造出能夠克服上述缺點的三維視頻系統(tǒng)對于本技術(shù)領域來說將是很大的進展。
本發(fā)明成功地克服了現(xiàn)有技術(shù)的問題，其目的在于發(fā)明用于從二維視頻信號中合成出模擬三維視頻圖象的系統(tǒng)和方法。本發(fā)明相對成本較低，能產(chǎn)生高品質(zhì)的視頻，并具有較高的用戶容忍度。本發(fā)明的系統(tǒng)并不依賴于為生成模擬三維場景而進行的時間偏移。然而，某些實施例可能會將時間偏移與其它處理結(jié)合起來使用以從二維視頻源中產(chǎn)生出模擬三維視頻。
傳統(tǒng)的視頻源，諸如與NTSC兼容的視頻源由為了產(chǎn)生運動視頻圖象而順序顯示給用戶的幀序列構(gòu)成。NTSC視頻的幀頻是每秒30幀。通過在顯示裝置上顯示幀的各水平掃描線，各幀被顯示在諸如監(jiān)視器或電視機的顯示裝置上。傳統(tǒng)上，電視被設計成通過隔行掃描兩個不同的場來顯示該幀。換句話說，電視首先顯示所有的奇數(shù)掃描線，然后隔行掃描偶數(shù)掃描線以顯示出一個完整的幀。因此，一個幀典型地被分解為包含偶數(shù)掃描線的偶數(shù)場和包含奇數(shù)掃描線的奇數(shù)場。
本發(fā)明取用二維視頻輸入信號并將該信號數(shù)字化以使系統(tǒng)能夠以數(shù)字方法對其進行處理。數(shù)字化幀被分離成偶數(shù)場和奇數(shù)場。隨后通過一次或多次變換對偶數(shù)場和/或奇數(shù)場進行處理以在給予該場特性，而將其與另一場組合在一起并將其合適地顯示給觀察者時，便可以產(chǎn)生模擬三維視頻流。隨后將這些場一直存儲在數(shù)字存儲器中，直到需要對其進行顯示時。當需要顯示這些場時，將其從數(shù)字存儲器中提取出來，并發(fā)送給用于向用戶顯示的顯示裝置。
以一種一只眼睛觀看到一個場而另一只眼睛觀看到另一場的方式將這些場顯示給用戶?？梢允褂冒ㄏ惹八龅亩喾N現(xiàn)有技術(shù)的機構(gòu)在內(nèi)的多種機構(gòu)來實現(xiàn)這種顯示方式。在某一實施例中，本系統(tǒng)使用了一付遮光鏡，其與不同場的顯示同步，以使得在顯示某一場時遮蔽或擋住一只眼睛，而在顯示另一場時遮蔽或擋住另一只眼睛。通過以此方式來交替顯示這些場，便可以在常規(guī)的顯示裝置上，如常規(guī)的電視機上觀看到三維視頻。在從眼睛接收信號時，大腦將解釋視頻流中所包含的視覺線索并將兩個場融合為一個單獨的模擬三維圖象。
用于給予一個將被理解為三維視覺線索的場多種特性的處理可以包括發(fā)生在場的水平和/或垂直維向上的一種或多種變換。當把一個幀數(shù)字化并分離為兩個場時，這些場由所取樣的視頻數(shù)據(jù)的矩陣構(gòu)成。為了生成所需的模擬三維圖象，可以通過平移，縮放以及其它的空間變換對此視頻數(shù)據(jù)矩陣進行轉(zhuǎn)換，以給予將由觀察者的大腦進行解釋的合適視覺線索。
在給予這些視覺線索的變換中有用的一個變換是偏斜變換。偏斜變換由一個特定的信息行或列開始并隨后將接下來的每行或列相對于緊接著其之前的行或列平移某個指定的數(shù)量。例如，可以在水平方向上相對于上面的一行將每條線平移某個數(shù)目的數(shù)據(jù)取樣。超出該矩陣邊界之外的數(shù)據(jù)取樣被刪掉或循環(huán)移位回到該行的前面。
另外證明在給予視覺線索的過程中有用的變換有其中所有行或列均被平移設定數(shù)量的平移變換，以及其中對行或列縮放以增加或減少該場中各行或各列中數(shù)據(jù)取樣的數(shù)目的縮放變換。當對場進行縮放時，通過使用內(nèi)插法或簡單地通過選取用于插入的固定值來插入填充的數(shù)據(jù)取樣。
在本發(fā)明的多種實施例中，如上所述，通過變換所進行的多種場處理均發(fā)生在一幀之內(nèi)。換句話說，系統(tǒng)中沒有引入時間變換或延遲。簡單地將一幀分解為其組成場，隨后對這些場進行適當?shù)刈儞Q，再重新組合出該幀。然而，在其它的實施例中，則可能需要在一個或另一場中引入時間偏移。換句話說，可以先對一個場進行變換，而后將其保存起來，隨后與后一幀的其它場重新組合在一起。具體地說，其可能需要結(jié)合進行垂直變換和時間變換以將多種視覺線索引入到將被解釋為三維圖象的場景中。
為了實現(xiàn)本發(fā)明的上述和其它優(yōu)點，接下來將參照附圖中所示的具體實施例對上面所簡要說明的本發(fā)明進行更為詳細地說明。應被理解的是，這些附圖僅是本發(fā)明的典型實施例，因此不應將其理解為對本發(fā)明范圍的限制，接下來將利用附圖對本發(fā)明的其它特性和細節(jié)進行說明和解釋，其中

圖1所示為本發(fā)明一個實施例的總體處理原理示意圖；圖2所示為本發(fā)明另一個實施例的總體處理原理示意圖；圖3A到3D所示為并用于給予所合成的三維場景視覺線索的多種變換的示意圖；圖4A到4D所示為使用縮放變換的一個具體示例的示意圖；圖5所示為時間變換的示意圖；及圖6A到8B所示為本發(fā)明一個實施例中的多種電路的示意圖。
本發(fā)明目的在于發(fā)明用于從二維視頻源中合成出三維視頻流的系統(tǒng)和方法。該視頻源可以是諸如電視信號，來自VCR，DVD，視頻攝像機，有線電視，衛(wèi)星TV或任何其它視頻源的信號。由于本發(fā)明目的是從二維視頻流中合成出三維視頻流，所以不需要特殊的視頻輸入源。然而，如果一個視頻源產(chǎn)生了兩個視頻通道，每個分別用于由用戶的一只眼睛進行觀察，則還可以對本發(fā)明進行適當修正后使用。從下面的討論中，本領域的技術(shù)人員將能夠很快地看出所應進行的修正。
接下來的討論對視頻信號的基礎知識進行了介紹，并可以對本發(fā)明其余討論部分提供一些相關(guān)的背景知識。盡管在此討論中使用了具體示例和數(shù)值，但其應僅被理解為示意性的而不應作為對本發(fā)明的限制。如上所述，本發(fā)明適用于任何類型的視頻源。
通常，視頻信號由為了向觀察者提供運動場景而想要以順序方式顯示給顯示裝置的用戶或觀察者的多個幀組成。上述每幀與電影膠片中的圖象幀的類似之處在于在顯示下一幀之前均對其進行完整地顯示。傳統(tǒng)的顯示裝置，如電視機或監(jiān)視器，可以以多種方式來顯示這些視頻幀。由于早期硬件所造成的限制，電視以隔行掃描方式來顯示一幀。其意味著首先沿監(jiān)視器掃描一序列的直線，隨后再沿監(jiān)視器來掃描另一序列的直線。此時，電視首先將掃描奇數(shù)線而后再返回并掃描偶數(shù)線。熒光屏上的熒光粉的余輝將使人眼感覺好象一次便顯示完整個幀，而實際上所有直線并不是一次顯示的。以此隔行掃描方式所顯示的這些幀的兩個不同部分通常被稱作場。偶數(shù)場含有偶數(shù)掃描線，而奇數(shù)場含有奇數(shù)掃描線。
由于硬件的發(fā)展，許多計算機監(jiān)視器和一些電視機均已能夠不再以隔行掃描方式而是以順序掃描方式來顯示圖象了。原理上，仍舊分偶數(shù)場和奇數(shù)場來進行顯示，只是不再以隔行掃描方式而是以順序方式進行顯示了。此外，隨著先進TV標準的采用，可能會從隔行掃描方式變?yōu)轫樞驋呙璺绞?。本發(fā)明可被應用于采用隔行掃描或順序掃描方式的任一種顯示器。唯一不同之處在于顯示信息的順序。
作為特殊掃描率的一個例子，我們考慮標準的NTSC視頻。標準NTSC視頻的幀頻為每秒30幀。而由于每一幀有兩個場，所以場頻為每秒60場。其它的視頻源使用不同的幀頻。然而，這并不是本發(fā)明的關(guān)鍵所在，因此本發(fā)明的一般原理可適用于任何視頻源。
參照圖1，其所示為本發(fā)明一個實施例的處理的原理示意圖。圖1中，被簡化顯示為20的輸入視頻流由標注為F1到F8的多個幀22組成。圖1中，將幀24提取出來進行處理。如圖1所示，幀24由多個掃描線構(gòu)成。幀24的偶數(shù)掃描線被標注為26，而幀24的奇數(shù)掃描線被標注為28。其僅是出于示意目的并用于例示一幀，如幀24可以被分為多個場。盡管在圖1顯示的是由偶數(shù)掃描線26和奇數(shù)掃描線28構(gòu)成的兩個場，但也可以有其它方式。例如，可以將該幀劃分為多于兩個的場。
該幀由編碼器30數(shù)字化。其中，編碼器30對幀24的視頻數(shù)據(jù)進行取樣并將其從模擬格式轉(zhuǎn)換為數(shù)字格式。編碼器30還可以執(zhí)行其它與顏色校正/變換，增益調(diào)節(jié)等有關(guān)的處理。編碼器30在每個取樣有足夠大的數(shù)位的條件下對幀24進行數(shù)字化，以避免將不可接受的失真引入到視頻信號中。此外，其也可能需要單獨對該視頻信號的多個方面進行取樣。在NTSC視頻中，其可能需要單獨對信號的熒光和色度進行取樣。最后，編碼器30的取樣率必需足夠高以避免在信號中引入失真噪聲。在某一實施例中，發(fā)現(xiàn)利用16位的13.5HMz取樣速率足夠于表示標準的NTSC視頻信號。其它的視頻源可能需要不同的取樣速率和樣本容量。圖1中，數(shù)字化后的圖象幀被顯示為32。
數(shù)字化幀32由修正處理組件34進行處理。修正處理組件34執(zhí)行多種變換和其它與數(shù)字化幀32有關(guān)的處理，以將視覺線索引入到該幀中，從而使得在將其顯示給用戶時可被理解為三維圖象。在修正處理組件34中可以使用多種處理以引入合適的視覺線索。接下來將討論這些變換和其它的處理。然而，通常修正處理組件34將準備所要顯示給用戶以使該幀被理解為三維物體的圖象幀。由修正處理組件34所進行的變換和其它處理經(jīng)常要求將幀32分離為兩個或多個分量并相對于另一分量對一個分量進行變換。所得的修正幀如圖1中的36所示。
在對該幀進行完修正之后，下一步是保存該修正幀并在合適的時間以合適的方式將其顯示在顯示裝置上。根據(jù)編碼器30和修正處理器34的處理速度，可能會有必要短時間地保存修正幀36。在圖1所示的實施例中，控制器38將修正幀36一直存儲在存儲器40中直到需要其時。當需要其時，提取出修正幀36并將其送到所要進行顯示的適宜顯示裝置處。這需要控制器38，或其它組件能夠?qū)︼@示裝置或其它系統(tǒng)進行控制以使信息能夠被適當?shù)仫@示給觀察者。
提取出修正幀并將其顯示在顯示裝置上的確切過程將完全取決于所用顯示裝置的類型。通常，其有必要使用能夠使觀察者的一只眼睛觀察到該幀的一部分而其另一只眼睛觀察到該幀的另一部分的顯示裝置。例如，如上所述的一種顯示系統(tǒng)將圖象幀分離為在一個單一顯示裝置上多路復用的兩個場。使用了一付遮光鏡，或其它遮光裝置以使得在一只眼睛觀察到一個場的同時遮住另一只眼睛，而在遮光板進行切換后則觀察到另一場。以此方式，一只眼睛被用于觀察一個場，而另一只眼睛被用于觀察另一場。大腦將取用由修正處理組件34所引入的視覺線索并將兩個場融合為被理解為三維形式的一幅單獨圖象。也可以使用其它機構(gòu)。這些機構(gòu)包括其中一只眼睛觀察一個顯示器而另一只眼睛觀察另一顯示器的多顯示器系統(tǒng)。也可以使用如上所述的傳統(tǒng)的利用一付無源偏振眼鏡或有色眼鏡的方法。
在圖1所示的實施例中，如圖所示控制器38對遮光裝置42進行控制以使得在監(jiān)視器44上所多路復用的圖象能夠被合適地觀察到。此外，解碼器46將修正幀36從數(shù)字形式轉(zhuǎn)換為適于在監(jiān)視器44上進行顯示的模擬形式。解碼器46還可以產(chǎn)生多種控制信號，用于對監(jiān)視器44以及遮光裝置42進行控制以使得合適的眼睛能夠觀察到幀36的合適部分。解碼器46還執(zhí)行任何為確保幀36正常顯示所需的任何功能，如以合適的順序讀出所要顯示的數(shù)據(jù)。
現(xiàn)在參照圖2，將對本發(fā)明的一個實施例進行更詳細地說明。圖2所示的實施例與圖1所示的實施例具有很多相同的部件。然而，將對所執(zhí)行的用于從二維到三維對圖象幀進行修正的某種處理進行更詳細地說明。
圖2中，由編碼器50接收一個視頻幀，如幀48并對其進行編碼。編碼器50代表了用于從二維視頻流接收一幀并對其進行數(shù)字化以使其能夠被進一步處理的裝置的一個示例。因此，其中編碼器50對幀48進行數(shù)字化。數(shù)字化幀如圖2中的數(shù)字化幀52所示。編碼器50也可以執(zhí)行如上所述結(jié)合圖1中的編碼器所說明的功能。
數(shù)字化幀52被分離器54分離為奇數(shù)場56和偶數(shù)場58。分離器54代表了用于將一個圖象幀分離為多個場的裝置的一個示例。奇數(shù)場56和偶數(shù)場58則簡單地表示了將一幀，如數(shù)字化幀52分離為多個場的能力。當使用的是隔行掃描顯示裝置時，其有必要將一幀分離為所要顯示在顯示裝置上的偶數(shù)和奇數(shù)場。而在順序掃描顯示裝置中，既可以繼續(xù)使用偶數(shù)和奇數(shù)場，也可以使用其它標準來將一幀分離為多個場。例如，曾經(jīng)提出一種使用垂直掃描而不是傳統(tǒng)的水平掃描方式的先進TV標準。在此種顯示裝置中，該標準可以基于垂直分離而不是圖2所示的水平分離。所需要發(fā)生的只是分離器54將幀52分離為將被單獨處理的至少兩個場。
奇數(shù)場56和偶數(shù)場58由修正處理組件60和62分別進行處理。修正處理組件60和62代表了對這些場所分別進行的概念化處理。實際上，這些場也可以由相同的組件進行處理。修正處理組件60和62僅代表了用于利用所選定的變換對至少一個場進行變換的裝置的一個示例。此種裝置可以使用多種類型的技術(shù)進行實施，如以數(shù)字方法處理信息的處理器或?qū)鲋械男畔⑦M行變換的分立硬件。下面將對一種實施方案的多個示例進行說明。
圖2中，修正奇數(shù)場64和修正偶數(shù)場66代表了分別由修正處理組件60和62進行完變換的場。應注意的是盡管圖2顯示的是修正場64和66，但在多種實施例中，可以對其中一個，另一個或兩個場均進行修正。可以以如上所述的任何用于將合適的視覺線索引入到該場中的方式對這些場進行變換。接下來將對所發(fā)現(xiàn)的一些對為了將二維視頻流轉(zhuǎn)化為三維視頻流而引入視覺線索很有用的變換的多個示例進行說明。通常，這些變換包括對一個或兩個場中所包含的信息進行平移，縮放，或別的方式的修正。注意由修正處理組件60和62所進行的變換可以在水平和垂直方向的任一方向上，或兩個方向上同時來進行。
隨后由控制器68將修正后的場64和66存儲在存儲器70，一直到需要顯示其時。一旦需要對其進行顯示，控制器68便按照所需的次序提取出這些信息并將其傳送給解碼器72。如果其顯示過程需要交錯地顯示一個場及另一場，則控制器68將為了得到合適地顯示效果而依次的傳送一個場及另一場。然而，如果其顯示過程需要進行順序地掃描時，則控制器68也可以以一種不同的次序來提供該信息。因此，控制器68代表了用于對多個場進行重新組合并將重新組合后的場傳送給顯示裝置的裝置的一個示例。在另選方案中，此項功能性的某些部分可包括在解碼器72之內(nèi)。
解碼器72負責取入信息并將其從數(shù)字形式轉(zhuǎn)換為模擬形式，以允許顯示該信息。解碼器72還可以負責產(chǎn)生用于控制該顯示過程的控制信號。在另選方案中，控制器68還可以另外提供某些控制信號以使得能夠準確地顯示及理解該信息。作為其另一示例，一種單獨的裝置，諸如處理器或其它裝置，可以負責產(chǎn)生控制該顯示裝置以使該信息被正確顯示的控制信號。從本發(fā)明的立場看，所需要的只是能夠?qū)⒃撔畔臄?shù)字格式轉(zhuǎn)換為適于由該種顯示裝置進行顯示的格式。盡管其它類型的顯示裝置可能會優(yōu)選接收數(shù)字格式的信息，但目前大多數(shù)情況此格式均為模擬格式。隨后對顯示裝置進行適當控制以將該信息以合適的方式呈現(xiàn)給用戶以使用戶將該場景理解為三維的。其可以包括，例如，在該顯示裝置上依次多路復用一個場及另一場，而同時對允許一只眼睛觀察一個場而另一只眼睛觀察另一場的遮光裝置進行操作。在另選方案中，如上所述的任何顯示裝置均還可以與適宜的控制電路一起結(jié)合使用來向個人顯示圖象。然而，通常所有這些顯示系統(tǒng)均以一只眼睛觀察到該信息的某一部分而另一只眼睛觀察到該信息的不同部分為前提。如何實現(xiàn)這點只是選擇的事情，因為已有許多適用于本發(fā)明的特別實施方案。
接下來參照圖3A到3D，發(fā)現(xiàn)了一些對提供包括在數(shù)據(jù)中并由用戶理解為三維性的視覺線索很有用的變換。圖3A到3D所示的各個示例介紹了多種水平方向上的變換。另外，這些示例還顯示了在單獨水平方向上的變換。其僅是示意性的。這些變換也可以被用在不同的水平方向上或垂直方向上。最后，上述方向的任意組合形式均可以使用。本領域的技術(shù)人員應可以意識到如何將圖3A到圖3D所介紹的變換修正為其它合適的形式。
首先參照圖3A，其所示為一種偏斜變換。此種變換在水平或垂直方向上對數(shù)據(jù)進行偏斜。圖3A中，將被變換的一個場被例示為74。此場已被數(shù)字化，所以可由數(shù)據(jù)點的一個矩陣來表示。圖3中，此矩陣為5列3行。本發(fā)明中所用的變換將平移或否則修正該場矩陣的數(shù)據(jù)。典型的場矩陣為幾百列乘幾百行。比如，在NTSC視頻中，偶數(shù)或奇數(shù)場的列數(shù)在800到900之間，而行數(shù)則在200到300之間。偏斜變換首先選取一個起始行或列，隨后相對于其之前的列或行將緊接著的行或列平移一定的數(shù)目。在圖3A中所示的示例中，每行相對于其上面一行平移了一個數(shù)據(jù)點。因此，變換后的場如76所示，其中行78未被平移，行80平移了一個數(shù)據(jù)點，而行82則平移了兩個數(shù)據(jù)點。如圖3A所示，原始矩陣的數(shù)據(jù)點將變?yōu)橛商摼€84所圍成的一種偏斜形狀。從開始行到結(jié)束行的總平移量是加到該幀上的偏斜量的量度。
當平移每一行時，數(shù)據(jù)點開始向圖3A中實線86所示的原始矩陣邊界之外移動。當這些數(shù)據(jù)點均平移完之后，將在場矩陣中產(chǎn)生如多個數(shù)據(jù)點88所示的“空洞”。因此，問題便成為將什么數(shù)據(jù)放置在數(shù)據(jù)點88中?？刹蓸佣喾N選擇方案。在某一實施例中，當數(shù)據(jù)點被平移時，其被循環(huán)移位放置在行或列開始處所產(chǎn)生的空洞中。因此，行80中當最后一個數(shù)據(jù)點被平移到場矩陣邊界之外時，其將被循環(huán)平移放置在該行起始處。其它行的處理與此處理類似。在另選方案中，如果該場矩陣中所敞露出的空洞位于顯示在顯示器上的正常視覺范圍之外，則可以簡單地將其忽略并用諸如黑色的固定值來進行填充。在另選方案中，也可以使用多種內(nèi)插方法來計算用于放置在該空洞中的數(shù)值。如上所述，可以在水平方向，垂直方向或兩者的組合方向上來進行此變換。
接下來參照圖3B，其所示為平移變換。在平移變換中，場矩陣的每一行或列被平移一個設定的數(shù)量。圖3B中，未發(fā)生平移的場矩陣如90所示，而平移后的場矩陣如92所示。如圖3B所示，再次有某些數(shù)據(jù)點移出到場矩陣邊界之外。這些數(shù)據(jù)點可以被“尾首循環(huán)”到該行的起始處并被放置在所敞露出的空洞中，或者也可以用不同的數(shù)值來填充所敞開的空洞，而將落在場矩陣邊界之外的數(shù)據(jù)點簡單地忽略掉。這里同樣也可以使用多種方案來填充該空洞，如用固定值來填充或利用無數(shù)種內(nèi)插方法來進行填充。
圖3C和3D所示為多種縮放變換。圖3C所示為減少場矩陣中的數(shù)據(jù)點數(shù)目的縮放變換，而圖3D所示為增加數(shù)據(jù)點的數(shù)目的縮放變換。其分別對應于使其變小或變大的變換。圖3C中，未縮放的矩陣如96所示，而縮放后的場矩陣如98所示。當使用了如圖3C中所示的減少數(shù)據(jù)點數(shù)目的縮放變換時，將簡單地刪掉合適數(shù)目的數(shù)據(jù)點，而余下的數(shù)據(jù)點將被平移以消除掉由于刪除數(shù)據(jù)點而留下的任何開放空間。由于利用縮放變換減小了數(shù)據(jù)點的數(shù)目，所以必須將各數(shù)值放置在由于數(shù)據(jù)點數(shù)目減少而敞開的空洞中。同樣，這些數(shù)值可以是固定值或通過某些內(nèi)插運算或其它計算來進行推導。在某一實施例中，便是簡單地用黑色數(shù)據(jù)點來填充各個空洞。
圖3D所示為一種增加場矩陣中數(shù)據(jù)點的數(shù)目的縮放變換。圖3D中，未縮放的場矩陣如100所示而縮放后的場矩陣如102所示。通常，當按比例增加矩陣的數(shù)據(jù)點時，在這些數(shù)據(jù)點中間將敞露出“空洞”。因此，必須進行確定用什么數(shù)值來填充這些空洞。在此情況下，通常只在環(huán)繞在周圍的這些數(shù)據(jù)值之間進行內(nèi)插來產(chǎn)生用于放置在特定位置上的特定值便已能滿足要求。此外，由于數(shù)據(jù)點增多了，所以將簡單忽略掉任何落在場矩陣大小之外的數(shù)據(jù)點。這意味著只有那些位于場矩陣邊界之內(nèi)的數(shù)值必須被內(nèi)插和填充。
盡管圖3A到3D所示的各種變換是分開來使用的，但顯然也可以將其結(jié)合在一起使用。因此，可以先對一個場進行縮放然而再進行偏斜或平移，隨后再進行偏斜或縮放以及平移。另外，也可以使用其它類型的變換。例如，有一種從中心沿兩個方向向外偏斜場矩陣的變換也十分有用。此外，也可以在這些變換處理的過程中變換數(shù)據(jù)點的數(shù)值。換句話說，即在變換的過程中可以調(diào)節(jié)數(shù)據(jù)點的亮度或其它特征。
接下來參照圖4A到圖4D，其所示為用于例示上述多種變換的另一方面的一個具體示例。應特別注意的是，當一個場被平移或作其它變換時，能夠在被變換的場和其它場之間選出一個對準點。例如，其可以希望在場的中心位置來進行對準，而隨后允許進行偏斜，平移，縮放或其它用于從對準點向外發(fā)展的變換。換句話說，當對場進行變換時，其通常需要先選取一個對準點然后平移兩個場以將其相對于對準點而對準。這樣便可以確定隨后將用何種數(shù)值來填充所敞露出的空洞。作為一個簡單示例，考慮如圖3A所示不是在第一行而是在中心行開始的偏斜變換。隨后中心行上面各行可以沿一個方向平移，而中心行下面各行則可以沿另一方向平移。很明顯此種偏斜變換與那種從頂行開始，隨后向下繼續(xù)或從最底行開始向上繼續(xù)的偏斜變換不一樣。
首先參照圖4A，其所示為一個未發(fā)生變換的幀104。此幀由標記為105到110的6行和7列組成，該幀各行首先被分離為一個偶數(shù)場和一個奇數(shù)場。奇數(shù)場112包含有行105，107和109，而偶數(shù)場114包含行106，108和110。此功能可以由，例如，分離器或其它用于將一個圖象幀分離為多個場的裝置來執(zhí)行。圖2所示的分離器54僅是一個例子。
接下來參照圖4B，其所示為用于對一個或兩個場進行變換的處理。在圖4B所示的示例中，將對奇數(shù)場112進行變換，而偶數(shù)場114則保持不變。未進行變換的場如圖4B的左側(cè)視圖所示，而進行了變換的場則如圖4B的右側(cè)視圖所示。在此情況中，將對奇數(shù)場112進行一種增加水平方向上數(shù)據(jù)點的數(shù)目的縮放變換。由此將得到變換后的奇數(shù)場116。正如上文中參照圖3D所說明的，當應用了增加數(shù)據(jù)點數(shù)目的變換時，將在場矩陣中的多個數(shù)據(jù)點之間出現(xiàn)多個“空洞”。圖4B中，這些空洞如標注為118的灰色數(shù)據(jù)點所示?？梢砸匀魏嗡璺绞絹硖畛溥@些“空洞”。如上所述，一種用于填充這些空洞的好方法是在周圍的數(shù)據(jù)點中進行內(nèi)插以找出應放置于其中的數(shù)值。
接下來參照圖4C，其所示為在進行變換時所可能產(chǎn)生的對準問題。這種情況在進行的是一種改變場中數(shù)據(jù)點數(shù)目的變換時尤為明顯。例如，變換后的奇數(shù)場116的列數(shù)是10而不是通常情況下的7。如上所述，在此情況中最好選取一個對準點并平移數(shù)據(jù)點直到場矩陣被對準。例如，假設其想要將變換后的奇數(shù)場116的第二列與偶數(shù)場114的第一列對準。此時，將如圖4C中右側(cè)視圖所示適當?shù)仄揭七@兩個場。因此場矩陣的邊緣將如虛線120表示，而落在其之外的數(shù)據(jù)點將被簡單地忽略掉。
選取一個對準點并為了準確地將兩個場對準而進行平移是一個重要的步驟。根據(jù)所選取的對準點以及所進行的平移，在顯示重建出的模擬三維圖象幀時將可能會得到十分不同的結(jié)果。平移趨于生成那些開始指明深度的視覺線索。通常，沿一個方向平移將使得某物體表現(xiàn)為向屏幕外移動，而沿另一方向平移則將會使某物體表現(xiàn)為向屏幕背景內(nèi)部移動。因此，根據(jù)對準點和平移的方向，可將諸多特征從顯示中移入或移出。另外，根據(jù)所選的對準點可將這些效果應用于屏幕的某一邊緣或另一邊緣。由于傳統(tǒng)節(jié)目中大多數(shù)動作均發(fā)生在屏幕的中心附近，所以其優(yōu)選地在屏幕的中心應用增強三維效果的變換。
接下來參照圖4D，其所示為用于對場進行重新組合以生成模擬三維圖象幀的處理。圖4D的左側(cè)視圖所示為被裁剪為合適大小的變換后的奇數(shù)場116。圖4D中還例示了偶數(shù)場114。通過隔行掃描圖4D右側(cè)視圖所示合適的行可以重建出該圖象幀。重建出的圖象幀如122所示。此重建過程是在，例如當在顯示裝置上顯示這些場時發(fā)生的。如果該顯示裝置是一種隔行掃描顯示器，如常規(guī)的電視機，則為了生成合成三維圖象幀可以在顯示奇數(shù)場之后再顯示偶數(shù)場。
在本發(fā)明的多種實施例中，合成三維圖象幀被認為是通過對圖象幀的多個場進行重新組合而建立出來的。重建出的圖象幀隨后被顯示在顯示裝置上?，F(xiàn)實中，這兩個步驟實際上可以同時發(fā)生。換句話說，當所用的是隔行掃描監(jiān)視器或顯示裝置時，將在顯示完一個場之后再顯示另一場。然而，兩個場的總體顯示效果則代表了所重建出的圖象幀。類似地，如果使用的是雙顯示器系統(tǒng)，則在實際顯示過程中從未對總圖象幀進行重建，而只是在觀察者記憶中利用視覺暫留而產(chǎn)生三維效果。然而，原理上仍將進行通過對場進行重新組合而生成合成三維圖象幀的步驟。因此，這里所介紹的幾個示例不應被認為是對本發(fā)明范圍的限制，而應將這些步驟理解為具有廣泛適用性。
上面所介紹的多種實施例中均是逐幀的處理而后顯示各圖象幀。換句話說，輸出視頻流的幀頻等于輸入視頻流的幀頻。然而，存在相對于輸入幀頻增大或減小輸出幀頻的技術(shù)。在本發(fā)明中可優(yōu)選采用此種技術(shù)。
當采用相對于輸入幀頻增大輸出幀頻的技術(shù)時，必須決定用什么數(shù)據(jù)來提供增大幀頻所需的數(shù)據(jù)?？梢允褂脙煞N方法中的任一種。第一種方法是簡單地進行多次發(fā)送，而每次發(fā)送一幀數(shù)據(jù)。例如，如果輸出幀頻翻倍，則可以簡單地發(fā)送兩次一幀的信息。在另選方案中，其可能希望通過另外的變換來生成發(fā)送給顯示器的額外數(shù)據(jù)。例如，可以利用兩種不同的變換來生成隨后以正常幀頻的兩倍進行顯示的兩個不同的圖象幀。
如上所述的實施例和討論例示了一個單獨的圖象幀如何被分解為兩個或多個場，以及如何對這些場進行處理并對其進行重新組合而生成合成三維圖象幀。如上所述的這些實施例的一個重要方面是在進行三維圖象幀的合成時其均對這些場的任一個進行時間偏移。換句話說，其先從一個圖象幀中提取出兩個場，隨后對其進行處理并將其顯示在完全相同的圖象幀中。然而在另選方案中，利用某些變換其也可能希望在生成合成三維圖象幀的處理中引入時間變換或時間偏移。接下來將參照圖5對時間偏移的概念進行介紹。
圖5中，由多個圖象幀組成的輸入視頻流如124所示。根據(jù)本發(fā)明，提取出一個單獨的圖象幀以進行處理。此圖象幀如圖5中的126所示。將該圖象幀分解為多個場，如場128和130。如上所述，盡管圖中所示只有兩個場，但如果需要也可以將其分解為多于兩個的場。
隨后通過由修正處理組件132和134進行如圖5所示的一種或多種變換來對各個場進行處理。修正后的場130如場136所示。然而，對于場128，圖5所示的實施例引入了由時延138所示的時間偏移。時延138簡單地將變換后的場保持一定長度的時間并替換來自先前某幀的變換場。因此，來自幀1的一個場將不被顯示直到幀2或3出現(xiàn)。如圖5中的140所示，被延遲的場與場136組合在一起生成幀142。幀142隨后被放置在輸出視頻流144中以進行顯示。
接下來參照圖6A到圖8B，其所示為本發(fā)明的一個實施例。這些附圖所示為本領域的技術(shù)人員均會十分熟悉的電路圖。因此接下來的說明將僅局限于在較高層次上對合并入一些較重要功能模塊中的功能性進行討論。圖6A到8B所示的實施例被設計成用于對一種諸如電視的常規(guī)顯示器以及用于交替地擋住一只眼睛和另一只眼睛以使一只眼睛看到該圖象幀的一個場而另一只眼睛則看到該圖象幀的另一場的遮光鏡進行操作。
首先參照圖6A，其所示為本實施例電路的第一部分。圖6A中，其所示為處理器144。處理器144負責該系統(tǒng)的總體控制。例如，處理器144負責從遙控器或其它輸入裝置接收多種用戶輸入命令，以允許用戶輸入系統(tǒng)所需的多種參數(shù)。這些輸入可以，例如，調(diào)節(jié)在用于產(chǎn)生合成三維圖象的變換中所用的多種參數(shù)。此能力將使用戶能夠?qū)λ铣傻娜S場景進行調(diào)節(jié)以使其更適合于自己的口味。處理器144隨后將把此信息提供給合適的組件。此外，處理器144還可以輔助進行多種在產(chǎn)生合成三維場景過程中所用的變換。圖6A還例示了將在下文中對其進行詳細說明的遮光鏡150的示意簡圖。
圖6B所示為視頻板146的模塊級連接示意圖。下文中將結(jié)合圖7A到7I對視頻板146進行更詳細地說明。視頻板146含有用于接收視頻信號，數(shù)字化該視頻信號，將變換后的場存儲到存儲器中以及從存儲器中接收場，將變換后的場重新轉(zhuǎn)換成模擬信號，并將該模擬信號提供給顯示裝置的所需的所有視頻電路。此外，視頻板146還可以含有一種邏輯電路，用于產(chǎn)生被用來驅(qū)動由此實施例所用的用于當觀察者佩戴其時可產(chǎn)生合成三維效果的遮光鏡的控制信號。
圖6C中的模塊148包含被用來驅(qū)動遮光鏡的驅(qū)動器的示意簡圖。圖6A中遮光鏡被簡要例示為模塊150。圖6D-6F含有諸如電源和濾波器，接地器，變壓器等多種類型的支持電路和連接器。支持電路均被標注為152。
接下來參照圖7A到7I，其所示為圖6B所示視頻板146更詳細的示意圖。視頻板146包括解碼器154(圖7A)，控制器156(圖7B)，存儲器158(圖7C和7D)，編碼器162(圖7E)。此外，圖7F中的模塊160所示為一種另選的存儲器配置。圖7G到7I中所示為多種支持電路。圖7G中的模塊164含有多種用于從多種信號源接收視頻信號及其它數(shù)據(jù)的輸入電路。圖7G所示的模塊165所示為圖6B所示的視頻板146的管腳輸出是如何轉(zhuǎn)化為圖7A到7I中所用的信號的。圖7H和7I所示的模塊166含有輸出電路和其它支持電路。
解碼器154(圖7A)負責視頻信號的接收和數(shù)字化。在控制器156(圖7B)的控制下將數(shù)字化后的視頻信號存儲在存儲器158(圖7C和圖7D)中。控制器156是一種高尖端的控制器，其主要用于允許將信息寫入到存儲器158中，以由編碼器162(圖7E)來讀出這些信息以進行顯示。可以通過視頻數(shù)據(jù)中的控制信號識別出由譯碼器154所接收到的輸入視頻的多個幀和場。因此可以將這些場從中分離出來以如上所述進行處理和變換。
其應被注意的是如果變換發(fā)生在水平方向上，則在接收場的同時便可以逐行地進行變換。而另一方面如果變換發(fā)生在垂直方向上，則在進行變換之前必須接收完整個場。這些變換確切的實施形式取決于為具體實施例所作出的多種不同的設計選擇。
現(xiàn)在參照圖7B所示的控制器156，其應被注意的是，除了向存儲器158中存儲信息或從中讀出信息之外，控制器156還產(chǎn)生用于驅(qū)動遮光鏡的控制信號。其將使得控制器156能夠讓遮光鏡的遮光動作與從存儲器158讀出的并為了在顯示裝置上進行顯示而傳送給編碼器162的信息的顯示保持同步。編碼器162(圖7E)取用從存儲器158讀出的信息并生成隨后發(fā)送給顯示裝置的合適的模擬信號。
圖8A和8B中所更完整顯示的另選存儲器160(圖7F)是一種可用來替代存儲器158的使用了不同元部件的另選存儲器配置。圖8A所示為另選存儲器160所用的多個存儲器芯片。圖8B所示為圖7F所示的管腳輸出是如何轉(zhuǎn)化為圖8A和8B中管腳引出線模塊161的信號的。圖8B還例示了濾波電路163的結(jié)構(gòu)。
總之，本發(fā)明制作出了高品質(zhì)的，合成的，三維視頻。由于本發(fā)明可以將二維視頻源轉(zhuǎn)換為合成三維視頻源，所以本發(fā)明適用于任何種類的視頻源。本系統(tǒng)適用于，例如電視信號，有線電視信號，衛(wèi)星電視信號，由光盤、DVD裝置、VCR、攝像機等等所產(chǎn)生的視頻信號。用二維視頻源作為輸入源使本發(fā)明不必使用專用設備來產(chǎn)生輸入視頻源，所以其將大大降低生成三維視頻的總成本。
本發(fā)明讀出視頻源，并對其進行數(shù)字化，然后將視頻幀分解為多個場，隨后對一個或多個場進行變換，此后再將變換后的場重新組合為合成三維視頻流?？梢栽谌魏芜m宜的顯示裝置上顯示該合成三維視頻流。這些顯示裝置包括，但并不僅局限于，利用單獨的顯示器來多工顯示兩個視頻流并使該多工操作與諸如由觀察者所佩戴的遮光鏡的遮光裝置的動作保持一致的多路復用系統(tǒng)。另外的可選顯示裝置還可以是允許每只眼睛獨立觀看各自顯示器的多顯示器裝置。另外如上所述也有許多其它種類的單顯示器或多顯示器裝置適用于本發(fā)明。
在不背離本發(fā)明精神或本質(zhì)特征的條件下可以以其它的形式來實施本發(fā)明。上述實施例僅是示意性的而并非限制性的。因此，本發(fā)明的范圍由所附加的權(quán)利要求而并非上述說明來指明。包括在這些權(quán)利要求含義和范圍之內(nèi)的所有變型均包含在本發(fā)明的范圍之內(nèi)。
權(quán)利要求
1.一種用于生成并顯示從二維視頻流中合成出的三維視頻流的方法，包括如下步驟接收包含有多個想要在顯示裝置上順序顯示的視頻幀的二維數(shù)字化視頻流，其中每幀由合在一起包含了一幀所要顯示的所有數(shù)字視頻信息的多個場組成；從所述視頻流中提取出單個二維視頻幀以進行處理；將所述單個二維視頻幀的多個場分離成至少一個第一場和一個第二場；為了在所述第一場和所述第二場被重新組合在一起并在顯示裝置上進行觀看時產(chǎn)生模擬三維視頻幀而對所述第一場或所述第二場的至少一個進行空間變換；以及為了通過以使得觀看該顯示裝置的個人的一只眼睛觀看到所述第一場而其另一只眼睛觀看到所述第二場的方式在顯示裝置上的單獨一幀內(nèi)顯示所述第一場和所述第二場而生成所述模擬三維視頻幀，在不對所述第一場或所述第二場中任一個進行時間偏移的情況下顯示所述第一場和所述第二場。
2.如權(quán)利要求1所述的用于生成并顯示三維視頻流的方法，其特征在于所述第一場和所述第二場分別由排列成具有多行和多列的矩陣的形式的多個象素構(gòu)成，其中所述空間變換步驟通過至少執(zhí)行如下步驟而在水平方向上相對于另一場來偏斜其中一個場選擇總偏斜值；選擇起始象素行；及對于所選出的所述起始行之后的每一行，相對于前一行在選定的水平方向上將該行平移從總偏斜值中推導出的預定值。
3.如權(quán)利要求1所述的用于生成并顯示三維視頻流的方法，其特征在于所述第一場和所述第二場分別由排列成具有多行和多列的矩陣的形式的多個象素構(gòu)成，其中所述空間變換步驟通過至少執(zhí)行如下步驟而在垂直方向上相對于另一場來偏斜其中一個場選擇總偏斜值；選擇起始象素列及對于所選出的所述起始列之后的每一列，相對于前一列在選定的垂直方向上將該列平移從總偏斜值中推導出的預定值。
4.如權(quán)利要求1所述的用于生成并顯示三維視頻流的方法，其特征在于所述空間變換步驟在水平方向上相對于另一場來平移其中一個場。
5.如權(quán)利要求1所述的用于生成并顯示三維視頻流的方法，其特征在于所述空間變換步驟在垂直方向上相對于另一場來平移其中一個場。
6.如權(quán)利要求1所述的用于生成并顯示三維視頻流的方法，其特征在于所述空間變換步驟在水平方向上相對于另一場來縮放其中一個場。
7.如權(quán)利要求1所述的用于生成并顯示三維視頻流的方法，其特征在于所述空間變換步驟在垂直方向上相對于另一場來縮放其中一個場。
8.一種用于生成并顯示從二維視頻流中合成出的三維視頻流的方法，包括如下步驟接收包含有多個想要在顯示裝置上順序顯示的視頻幀的二維數(shù)字化視頻流，其中每幀由合在一起包含了一幀所要顯示的所有數(shù)字視頻信息的多個場組成；從所述視頻流中提取出單個二維視頻幀以進行處理；將所述單個二維視頻幀的多個場分離成至少一個第一場和一個第二場；利用至少一種在垂直維向上改變所變換場的信息的垂直變換對所述第一場或所述第二場的至少一個進行空間變換；及通過以使得觀看顯示裝置的個人的一只眼睛觀看到所述第一場而其另一只眼睛觀看到所述第二場的方式輪換所述第一場和所述第二場而在顯示裝置上顯示模擬三維視頻幀。
9.如權(quán)利要求8所述的用于生成并顯示三維視頻流的方法，其特征在于所述第一場和所述第二場分別由排列成具有多行和多列的矩陣的形式的多個象素構(gòu)成，其中所述空間變換步驟通過至少執(zhí)行如下步驟而在垂直方向上相對于另一場來偏斜其中一個場選擇總偏斜值；選擇起始象素列；及對于所選出的所述起始列之后的每一列，相對于前一列在選定的垂直方向上將該列平移從總偏斜值中推導出的預定值。
10.如權(quán)利要求8所述的用于生成并顯示三維視頻流的方法，其特征在于所述空間變換步驟在垂直方向上相對于另一場來平移其中一個場。
11.如權(quán)利要求8所述的用于生成并顯示三維視頻流的方法，其特征在于所述空間變換步驟在垂直方向上相對于另一場來縮放其中一個場。
12.如權(quán)利要求8所述的用于生成并顯示三維視頻流的方法，其特征在于另外包括為了相對于其在所述二維視頻流中的原始位置引入時延而對所述第一場或所述第二場中的至少一個進行時間偏移的步驟。
13.一種用于從二維視頻流中生成三維視頻流的方法，包括如下步驟接收包含有多個想要在顯示裝置上順序顯示的視頻幀的二維數(shù)字化視頻流，其中每幀由合在一起包含了一幀所要顯示的所有數(shù)字視頻信息的多個場組成；從所述視頻流中提取出單個二維視頻幀以進行處理；將所述單個二維視頻幀的多個場分離成至少一個第一場和一個第二場；利用如下變換(a)相對于另一場偏斜其中一個場的偏斜變換，(b)相對于另一場縮放其中一個場的縮放變換，以及(c)相對于另一場平移其中一個場的平移變換中的至少一種變換對所述第一場或所述第二場中的至少一個進行空間變換；為了生成模擬三維視頻幀而在不對所述第一場或所述第二場中任一個進行時間偏移的情況下重新組合所述第一場和所述第二場；通過以使得觀看顯示裝置的個人的一只眼睛觀看到所述第一場而其另一只眼睛觀看到所述第二場的方式輪換所述第一場和所述第二場而在顯示裝置上顯示所述模擬三維視頻幀。
14.如權(quán)利要求13所述的用于生成三維視頻流的方法，其特征在于所述空間變換步驟在水平方向上對所述第一場或所述第二場中的至少一個進行變換。
15.如權(quán)利要求13所述的用于生成三維視頻流的方法，其特征在于所述空間變換步驟在垂直方向上對所述第一場或所述第二場中的至少一個進行變換。
16.一種用于從二維視頻流中生成三維視頻流的系統(tǒng)，其中所述二維視頻流由多個想要在顯示裝置上順序顯示的視頻幀組成，而每幀又至少含有一個第一場和一個第二場，所述系統(tǒng)包括用于接收所述二維視頻流的幀并用于對所述幀進行數(shù)字化以使其能夠由該系統(tǒng)進一步進行處理的裝置；用于將所述幀分離成至少一個第一場和一個第二場，而每個所述場分別含有所述幀的視頻數(shù)據(jù)的一部分的裝置；用于利用所選定的一種能夠在對所述第一場和所述第二場進行重新組合并將其顯示在顯示裝置上時產(chǎn)生模擬三維視頻幀的變換來對所述第一場或所述第二場中的至少一個進行變換的裝置；用于在不對所述第一場或所述第二場中任一個進行時間偏移的情況下重新組合所述第一場和所述第二場并用于為了生成所述模擬三維視頻幀而將重新組合后的所述第一場和第二場傳送給顯示裝置的裝置；以及用于對所述顯示裝置進行控制以使觀看所述顯示裝置的個人的一只眼睛觀看到所述第一場而其另一只眼睛觀看到所述第二場的裝置。
17.如權(quán)利要求16所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在水平方向上相對于另一場而偏斜其中一個場的偏斜變換。
18.如權(quán)利要求16所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在垂直方向上相對于另一場而偏斜其中一個場的偏斜變換。
19.如權(quán)利要求16所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在水平方向上相對于另一場而平移其中一個場的平移變換。
20.如權(quán)利要求16所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在垂直方向上相對于另一場而平移其中一個場的平移變換。
21.如權(quán)利要求16所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在水平方向上相對于另一場而縮放其中一個場的縮放變換。
22.如權(quán)利要求16所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在垂直方向上相對于另一場而縮放其中一個場的縮放變換。
23.一種用于從二維視頻流中生成三維視頻流的系統(tǒng)，其中所述二維視頻流由多個想要在顯示裝置上順序顯示的視頻幀組成，而每幀又至少含有一個第一場和一個第二場，所述系統(tǒng)包括用于接收所述二維視頻流的幀并用于對所述幀進行數(shù)字化以使其能夠由該系統(tǒng)進一步進行處理的裝置；用于將所述幀分離成至少一個第一場和一個第二場，而每個所述場分別含有所述幀的視頻數(shù)據(jù)的一部分的裝置；用于利用所選定的一種在垂直方向上對視頻數(shù)據(jù)進行變換以使得在將所述第一場和所述第二場重新組合后并將其顯示在顯示裝置上時所述第一場和所述第二場將產(chǎn)生模擬三維視頻幀的垂直變換對所述第一場或所述第二場的至少一個進行變換的裝置；用于為了生成所述模擬三維視頻幀而對所述第一場和所述第二場進行重新組合并將重新組合后的所述第一場和第二場傳送給顯示裝置的裝置；及用于對所述顯示裝置進行控制以使觀看所述顯示裝置的個人的一只眼睛觀看到所述第一場而其另一只眼睛觀看到所述第二場的裝置。
24.如權(quán)利要求23所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在垂直方向上相對于另一場而偏斜其中一個場的偏斜變換。
25.如權(quán)利要求23所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在垂直方向上相對于另一場而平移其中一個場的平移變換。
26.如權(quán)利要求23所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于所述被選定的變換包括一種在垂直方向上相對于另一場而縮放其中一個場的縮放變換。
27.如權(quán)利要求23所述的一種用于生成及顯示三維視頻流的系統(tǒng)，其特征在于另外包括用于對所述第一場或所述第二場中的至少一個進行時間偏移的裝置。
28.一種用于從二維視頻流中生成三維視頻流的系統(tǒng)，其中所述二維視頻流由多個想要在顯示裝置上順序顯示的視頻幀組成，而每幀又至少含有一個第一場和一個第二場，所述系統(tǒng)包括用于接收所述二維視頻流的幀并用于對所述幀進行數(shù)字化以使其能夠由該系統(tǒng)進一步進行處理的裝置；用于將所述幀分離成至少一個第一場和一個第二場，而每個所述場分別含有所述幀的視頻數(shù)據(jù)的一部分的裝置；用于為了在對所述第一場和所述第二場進行重新組合并顯示在顯示裝置上時產(chǎn)生模擬三維視頻幀而利用如下變換；(a)相對于另一場偏斜其中一個場的偏斜變換，(b)相對于另一場而縮放其中一個場的縮放變換，以及(c)相對于另一場而平移其中一個場的平移變換中的至少一種變換對所述第一場或所述第二場中的至少一個進行變換的裝置；用于為了生成所述模擬三維視頻幀而在不對所述第一場或所述第二場中的任一個進行時間偏移的情況下對所述第一場和所述第二場進行重新組合并將重新組合后的所述第一場和第二場傳送給顯示裝置的裝置；及用于對所述顯示裝置進行控制以使觀看所述顯示裝置的個人的一只眼睛觀看到所述第一場而其另一只眼睛觀看到所述第二場的裝置。
全文摘要
本發(fā)明致力于一種用于從二維視頻源中合成出三維視頻流的系統(tǒng)和方法。對來自二維視頻源的幀(48)進行數(shù)字化(50)并將其分解(54)為多個場(56,58)。每個場含有該幀的一部分信息。隨后對這些場單獨進行處理并對其進行變換(60,62)以引入在與其它場組接在一起時可被觀察者理解為三維圖象的視覺線索。這些變換可包括,但并不僅局限于,偏斜變換,平移變換和縮放變換?？梢栽谒骄S向上,或在垂直維向上,或同時在兩個維向上進行這些變換。在許多實施例中,變換的場的變換和重新組接是在單個幀中進行的,以使其不必引入或利用時間偏移來生成合成三維視頻流。在合成出三維視頻流之后,其被顯示在一種合適的顯示裝置上。合適的顯示裝置包括一種交替顯示不同場的多路復用顯示裝置,連同一付能夠向觀察者的一只眼睛顯示一個場而向其另一只眼睛顯示另一場的遮光鏡。也可以使用其它類型的單顯示器裝置和多顯示器裝置。
文檔編號H04N13/00GK1244278SQ97181060
公開日2000年2月9日 申請日期1997年12月24日 優(yōu)先權(quán)日1996年12月27日
發(fā)明者安伯C·戴維森, 洛倫L·斯溫森 申請人:切克梅特國際公司