專(zhuān)利名稱(chēng)：用于處理輸入的三維視頻信號(hào)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理輸入的三維視頻信號(hào)的方法和系統(tǒng)以及一種用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的計(jì)算程序產(chǎn)品。
背景技術(shù)：
適于顯示三維圖像的顯示設(shè)備在研究中受到增長(zhǎng)的關(guān)注。另外，進(jìn)行了大量的研究，以便確立如何為終端用戶(hù)提供令人滿意的高質(zhì)量觀看體驗(yàn)。三維(3D)顯示器通過(guò)為觀看者的雙眼提供被觀看的場(chǎng)景的不同視圖來(lái)為觀看體驗(yàn)添加第三維。這可以通過(guò)使用戶(hù)佩戴眼鏡以分離被顯示的兩個(gè)視圖而實(shí)現(xiàn)。然而，由于眼鏡可能被視為對(duì)于用戶(hù)來(lái)說(shuō)不方便，在許多場(chǎng)景下優(yōu)選使用自動(dòng)立體顯示器，其使用顯示器處的裝置(諸如雙凸透鏡或隔板)來(lái)分離視圖，并且將它們以不同的方向發(fā)送，其中它們可以分別到達(dá)用戶(hù)的眼睛。對(duì)于立體顯示器，需要兩個(gè)視圖，而自動(dòng)立體顯示器典型地需要更多視圖(諸如例如九個(gè)視圖)。存在各種不同的途徑來(lái)為這種立體設(shè)備和自動(dòng)立體設(shè)備提供內(nèi)容。流行的格式是傳遞有效地包括可以由顯示設(shè)備顯示的相應(yīng)視圖的多個(gè)圖像的立體內(nèi)容或多視圖內(nèi)容。這樣做的優(yōu)點(diǎn)是通常這種顯示設(shè)備和內(nèi)容創(chuàng)建中的處理要求可以保持到最小。與傳遞包括用于顯示的實(shí)際的編碼的視圖的立體或多視圖內(nèi)容相關(guān)聯(lián)的問(wèn)題是這些圖像以隱式的方式有效地修正兩個(gè)或者更多個(gè)相應(yīng)的視圖之間的視差關(guān)系。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是減輕在施加疊加時(shí)編碼用于三維顯示器的立體或多視圖內(nèi)容中的視差關(guān)系的缺點(diǎn)。此目的是通過(guò)根據(jù)本發(fā)明的處理輸入的三維視頻信號(hào)的方法而實(shí)現(xiàn)的，其中所述方法包括確定指示輸入的三維視頻信號(hào)的最大視差值的遠(yuǎn)視差估計(jì)、以及指示輸入的三維視頻信號(hào)內(nèi)的空間區(qū)域的最小視差值的近視差估計(jì)，通過(guò)基于所述遠(yuǎn)視差估計(jì)借助于視差移位向后移位輸入的三維視頻信號(hào)來(lái)適配三維視頻信號(hào)，并且基于所述近視差估計(jì)和所述視差移位在經(jīng)過(guò)移位的三維視頻信號(hào)的空間區(qū)域內(nèi)生成疊加。通過(guò)使一些視差信息(遠(yuǎn)值和近值)變?yōu)轱@式的(與多視像數(shù)據(jù)中的隱式信息相對(duì)照)，使得可以進(jìn)行諸如確定移位的量之類(lèi)的顯式處理。本發(fā)明的發(fā)明人認(rèn)識(shí)到通過(guò)建立如上所述的遠(yuǎn)和近視差估計(jì)，可以建立用于疊加的可用自由空間(headroom)，以便允許在視頻信號(hào)中描繪的場(chǎng)景的前面安全地放置疊加?？梢岳缤ㄟ^(guò)使用輸入的三維視頻信號(hào)的粗粒視差分析、或者作為替代通過(guò)使用在輸入的三維視頻信號(hào)中提供的元數(shù)據(jù)，來(lái)確定遠(yuǎn)和近視差估計(jì)。一旦清楚是否可以適配輸入的三維視頻信號(hào)以及適配多少，可以基于遠(yuǎn)視差估計(jì)借助于視差移位來(lái)向后移位所述輸入的三維視頻信號(hào)的視差范圍。視差移位不需要重新呈現(xiàn)內(nèi)容，而是可以典型地通過(guò)修剪以及延展視圖而以相對(duì)節(jié)省成本的方式實(shí)現(xiàn)。
結(jié)果是，可以延展可用于生成疊加的視差范圍，從而允許例如疊加更靠近顯示器的零視差平面而被放置，以便獲得更明顯(Sharper)的疊加。將對(duì)于本領(lǐng)域技術(shù)人員清楚的是所述疊加受輸入的三維視頻信號(hào)中的可用自由空間的影響。在一個(gè)實(shí)施例中，遠(yuǎn)和近視差估計(jì)基于輸入的三維視頻信號(hào)的視差估計(jì)。具體地， 當(dāng)在視差范圍的適配中保留余量時(shí)，可以進(jìn)行粗視差估計(jì)(coarse disparity estimate). 在稀疏視差估計(jì)(sparse disparity estimate)不完全正確的情況下，所述余量仍可以補(bǔ)償這種錯(cuò)誤。在替代實(shí)施例中，從作為輸入的三維視頻信號(hào)內(nèi)的元數(shù)據(jù)提供的信息中導(dǎo)出遠(yuǎn)和近視差估計(jì)。結(jié)果是，可以以高度節(jié)省成本的方式實(shí)現(xiàn)本發(fā)明。在根據(jù)本發(fā)明的優(yōu)選實(shí)施例中，所述方法還包括用所生成的疊加疊加經(jīng)過(guò)移位的三維視頻信號(hào)，從而使得能夠生成用在包括諸如例如字幕、隱蔽式字幕信息、用戶(hù)界面信息和/或圖像序列之類(lèi)的疊加的多視圖顯示器上的圖像。這些疊加自身可以是二維或三維圖像數(shù)據(jù)的靜止圖像或者動(dòng)畫(huà)序列，隨后基于近視差估計(jì)和所施加的視差移位使用適當(dāng)?shù)囊暡钪祵?duì)它們進(jìn)行編碼。在三維疊加的情況下，可能需要以這種方式來(lái)移位疊加的視差范圍即，所述視差范圍可以在可用的視差范圍內(nèi)放置。當(dāng)使用計(jì)算機(jī)制圖法生成疊加時(shí)，存在對(duì)于圖形的放置的完全控制，并且可以利用可用于經(jīng)過(guò)移位的三維視頻信號(hào)中的疊加的整個(gè)可用的視差范圍。在優(yōu)選實(shí)施例中，視差值估計(jì)是基于每個(gè)鏡頭確定的。為了確定鏡頭邊界(也被稱(chēng)為鏡頭切換)，可以將傳統(tǒng)的鏡頭切換檢測(cè)技術(shù)應(yīng)用于輸入的三維視頻信號(hào)中的視圖的一個(gè)或多個(gè)視圖。B. L. Yeo 和 B. Liu 在 IEEE Trans. Circuits and Systems for Video Technology, Vol. 5，pp. 533-544，1995 年 12 月中發(fā)表的 “Rapid Scene Analysis on Compressed Videos”中給出了這種技術(shù)的實(shí)例。盡管可以實(shí)時(shí)地確定鏡頭邊界，但是與本發(fā)明一起使用的確定通常將需要充分的前瞻(look-ahead)。結(jié)果是，鏡頭切換檢測(cè)優(yōu)選地離線地進(jìn)行。如果疊加要呈現(xiàn)在若干連續(xù)鏡頭中，例如在畫(huà)中畫(huà)場(chǎng)景下，優(yōu)選地基于這些連續(xù)鏡頭的內(nèi)容來(lái)確定遠(yuǎn)和近視差估計(jì)，以便允許適當(dāng)?shù)丿B加所述疊加。在有利的實(shí)施例中，視差移位基于多個(gè)視圖的相鄰視圖之間的預(yù)先確定的最大視差值來(lái)確定。貫穿本申請(qǐng)，正視差用于指示被感知為位于零視差平面后面的對(duì)象。結(jié)果是， 這里考慮預(yù)先確定的最大值。大于眼距的正視差對(duì)應(yīng)于在物理上不可解釋的發(fā)散的眼線(eye line)。結(jié)果是， 大于眼距的正視差可以導(dǎo)致觀看不適。為了避免這點(diǎn)，可以將最大視差設(shè)置為平均眼距，或者設(shè)置為低于平均眼距的值。優(yōu)選地，選擇最大視差，以使得考慮安全余量，以便為所有的觀看者保持舒適性?？商娲?，最大視差可以是可選地上限為平均眼距的用戶(hù)定義的值。后者尤其有利，因?yàn)槠湓试S補(bǔ)償例如成人或孩子之間的眼距的差異。疊加信息的范圍可以包括例如編碼在光盤(pán)和/或以數(shù)字傳輸流可用的字幕或者隱蔽式字幕信息。疊加信息也可以涉及疊合(superimpose)在輸入的三維視頻信號(hào)之上的圖形用戶(hù)界面數(shù)據(jù)(GUI)。另外，可替代地，疊加可以是畫(huà)中畫(huà)系統(tǒng)(PiP)或者包括諸如GUI 中的動(dòng)畫(huà)縮略圖或者動(dòng)畫(huà)TV臺(tái)標(biāo)志之類(lèi)的動(dòng)畫(huà)內(nèi)容的其它子畫(huà)面。
在一個(gè)實(shí)施例中，輸入的三維視頻信號(hào)的適配包括在視圖的第一側(cè)上修剪輸入的三維視頻信號(hào)的一個(gè)或者多個(gè)視圖。隨后，經(jīng)過(guò)修剪的視圖可以被延展以便通過(guò)在與視圖的第一側(cè)相對(duì)的一側(cè)填充或者插入像素來(lái)獲得完整尺寸的視圖，從而對(duì)于經(jīng)過(guò)修剪的視圖獲得改變的視差范圍?？商娲兀梢允褂脠D像放大(zooming)來(lái)再次將剩余部分縮放到完整寬度。在此場(chǎng)景下，圖像放大因數(shù)也將必須被應(yīng)用于其它視圖。在立體的輸入的視頻信號(hào)的情況下，所述方法可以包括修剪單個(gè)圖像，然而，優(yōu)選地，修剪兩個(gè)圖像，以便分布(distribute)由延展經(jīng)過(guò)修剪的圖像而導(dǎo)致的可能的偽像。對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)將是清楚的是延展經(jīng)過(guò)修剪的圖像可以包含范圍從簡(jiǎn)單的像素重復(fù)方案到從靜止/運(yùn)動(dòng)圖像復(fù)原的領(lǐng)域已知的更復(fù)雜的描繪方案的各種算法。在一個(gè)實(shí)施例中，所述方法還包括在經(jīng)過(guò)移位的三維視頻信號(hào)中嵌入元數(shù)據(jù)，所述數(shù)據(jù)指示經(jīng)過(guò)移位的三維視頻信號(hào)的遠(yuǎn)和近視差?？商娲?，當(dāng)所述方法也包括疊加經(jīng)過(guò)移位的三維視頻信號(hào)時(shí)，所述方法包括在包括所述疊加的經(jīng)過(guò)移位的三維視頻信號(hào)中嵌入元數(shù)據(jù)，所述數(shù)據(jù)指示包括所述疊加的經(jīng)過(guò)移位的三維視頻信號(hào)的遠(yuǎn)和近視差。結(jié)果是， 所述元數(shù)據(jù)可以用于進(jìn)一步的下游處理步驟。本發(fā)明還涉及一種計(jì)算程序產(chǎn)品，包括用于執(zhí)行本發(fā)明的方法的程序指令。本發(fā)明還涉及一種用于處理包括多個(gè)視圖的輸入的三維視頻信號(hào)的系統(tǒng)，所述系統(tǒng)包括視差確定器，用于確定指示輸入的三維視頻信號(hào)的最大視差值的遠(yuǎn)視差估計(jì)、以及指示輸入的三維視頻信號(hào)內(nèi)的空間區(qū)域的最小視差值的近視差估計(jì)；視差移位器，其被配置為通過(guò)基于所述遠(yuǎn)視差估計(jì)借助于視差移位向后移位所述三維視頻信號(hào)來(lái)適配所述三維視頻信號(hào)；以及疊加生成器，其被配置為基于所述近視差估計(jì)和所述視差移位在經(jīng)過(guò)移位的三維視頻信號(hào)的疊加安全區(qū)域內(nèi)生成疊加。優(yōu)選地，還提供視頻混合器，以在經(jīng)過(guò)移位的三維視頻信號(hào)上疊加所述疊加。本發(fā)明這些和其它方面、特征以及優(yōu)點(diǎn)將根據(jù)下文描述的實(shí)施例而清楚明白，并且將參照下文描述的實(shí)施例而被闡明。


將參照附圖僅以實(shí)例的方式描述本發(fā)明的實(shí)施例，其中相似的標(biāo)號(hào)指代具有相似功能的元件，附圖中
圖1圖示了定義視差的若干一般概念和參數(shù)， 圖2A圖示了三維輸入信號(hào)的視差頻率分布圖(histogram)， 圖2B圖示了三維輸入信號(hào)和三維疊加的另一個(gè)視差頻率分布圖， 圖3圖示了根據(jù)本發(fā)明的立體輸入對(duì)的右視像的適配， 圖4圖示了根據(jù)本發(fā)明的方法， 圖5A圖示了根據(jù)本發(fā)明的系統(tǒng)，以及圖5B圖示了根據(jù)本發(fā)明的另一個(gè)系統(tǒng)。
具體實(shí)施例方式圖1圖示了定義視差的若干一般概念和參數(shù)。圖1示出了位于雙箭頭E的邊緣的、相隔眼距E的兩個(gè)視點(diǎn)。由虛線表示的屏幕S位于觀看距離Z處，其用于顯示三維信息。這種屏幕在實(shí)踐中可以是例如可替代地為佩戴適合的眼部佩戴物的觀看者的眼睛提供用于相應(yīng)的視點(diǎn)的適當(dāng)圖像信息的時(shí)間序列顯示器或者頻譜序列顯示器。這里屏幕S放置在零視差處，W指示屏幕的寬度。N (近)表示屏幕S前面的最大感知深度。同樣地，F(xiàn) (遠(yuǎn)) 表示屏幕S后面的最大感知深度。線dN表示位于屏幕S前面N處的對(duì)象的所感知的視差，視差值dN這里是負(fù)的，也被稱(chēng)作交叉視差，并且可被表示為
dN= N E / (Z-N)[1]
線dF表示位于屏幕S后面F處的對(duì)象的所感知的視差，視差值dF這里是正的，也被稱(chēng)作非交叉視差，并且可被表示為
dF = F E / (Z+F)[2]
在實(shí)踐中，最大視差應(yīng)當(dāng)?shù)陀谘劬郋，以允許舒適的觀看。在實(shí)踐中，最大視差優(yōu)選地設(shè)置為低于平均眼距E的值，以允許各人之間眼距的變化。應(yīng)注意作為對(duì)應(yīng)于最大正視差的像素的數(shù)目的最大正屏幕視差(screen parallax)取決于屏幕S的分辨率和屏幕寬度W。圖2A圖示了三維輸入信號(hào)的視差頻率分布圖205。該頻率分布圖205是基于輸入的三維信號(hào)、即基于三維輸入信號(hào)的整個(gè)空間區(qū)域而確定的?？商娲兀暡铑l率分布圖可以被編譯用于三維輸入信號(hào)的整個(gè)空間區(qū)域的代表樣本。在圖2A中，沿d軸的最近視差值是具有負(fù)視差的點(diǎn)C。最遠(yuǎn)的視差值是沿d軸的具有正視差的點(diǎn)B?；陬l率分布圖205，用于根據(jù)本發(fā)明的方法的遠(yuǎn)視差估計(jì)對(duì)應(yīng)于點(diǎn)B。頻率分布圖205指示在視差范圍內(nèi)存在可用于遠(yuǎn)離觀看者地移位輸入的三維的視差范圍的自由空間215，其將頻率分布圖向右移動(dòng)。考慮其中疊加需要被放置在相應(yīng)視圖中的特定空間區(qū)域內(nèi)的情況。圖2A還示出了相關(guān)空間區(qū)域中的輸入的三維信號(hào)的視差頻率分布圖。該空間區(qū)域的三維輸入信號(hào)的頻率分布圖由粗虛線205’指示?；陬l率分布圖205’，指示此空間區(qū)域的最小視差值的近視差估計(jì)對(duì)應(yīng)于點(diǎn)A。注意由于此特定的空間區(qū)域不包括更小(即更負(fù))的視差值，在空間區(qū)域中已經(jīng)存在用于放置疊加的很大的自由空間210。注意用于放置疊加的空間區(qū)域典型地是由輪廓定義的塊或者段(segment)，并且同樣明顯不同于如上所述的用于以其整體確定視圖的視差估計(jì)的樣本點(diǎn)。盡管在空間區(qū)域中已經(jīng)存在用于放置疊加的很大的自由空間，但是可以通過(guò)將輸入的三維視頻信號(hào)的視差范圍遠(yuǎn)離觀看者移位視差移位DS (其中DS < E-B)來(lái)創(chuàng)建甚至更多的自由空間。盡管不是嚴(yán)格必需，但是可以建議保留如圖2B中由余量215’所指示的余量(E-B) - DS，以便適應(yīng)各種用戶(hù)之間的不同的眼距。結(jié)果是，本發(fā)明提供了用于放置疊加的視差范圍中的附加增益。頻率分布圖220指示疊加的視差頻率分布圖，由于疊加完全放置在此空間區(qū)域內(nèi)，因此此頻率分布圖也是整個(gè)圖像上的疊加的頻率分布圖。作為視差移位的結(jié)果，現(xiàn)在可以將諸如字幕之類(lèi)的疊加信息放置在零視差平面處或者接近零視差平面，這提高了疊加觀看舒適性。如上面所指示的，遠(yuǎn)和近視差估計(jì)可以基于與輸入的三維視頻信號(hào)一起提供的視差頻率分布圖信息而確定?？商娲?，遠(yuǎn)和近視差估計(jì)可以使用對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)已知的算法而從輸入的三維視頻信號(hào)導(dǎo)出。在Konrad等人的“Dense disparity estimation from feature correspondences，，， IS&T/SPIE Symposium on Electronic Imaging Stereoscopic Displays and Virtual Reality Syst., Jan. 23-28， 2000, San Jose, CA, USA中給出了這種算法的實(shí)例。圖3圖示了由本發(fā)明提出的移位視差的過(guò)程。左手側(cè)示出了來(lái)自輸入的立體視頻信號(hào)的圖像對(duì)LVl和RV1。所述圖像示出了放置在零視差處的灰色塊310和310’以及分別放置在圖像LVl和RVl中的負(fù)視差處的塊的前面的白色盤(pán)305和305’。如可從灰色塊310和310’的邊緣處的垂直密虛線看到的，該矩形具有零視差，因?yàn)槠湓谧髨D像和右圖像中放置在相同的位置。盤(pán)305和305，具有負(fù)屏幕視差，即，在右圖像RVl中，盤(pán)305，在左圖像LVl中盤(pán) 305的位置的左側(cè)。結(jié)果是，其在顯示器的前面可視化。為了向后移位場(chǎng)景，我們將RVl向右移位以獲得RV1，。將RV1，與LVl比較，我們
現(xiàn)在看到盤(pán)305’具有零視差并且矩形具有正視差。為了使經(jīng)過(guò)移位的圖像適合立體顯示器，經(jīng)過(guò)移位的圖像RV1’在右手側(cè)被修剪并且在左手側(cè)被延展相等的量以得到RV1’ ’。LVl和RV1’ ’繼而可以一起被可視化為其中與原始LVl-RVl對(duì)相比屏幕已經(jīng)被向后移位的新的立體對(duì)。結(jié)果是，對(duì)LV1-RV1’ ’比對(duì)LVl-RVl 具有更多的用于放置疊加的自由空間。應(yīng)當(dāng)注意盡管在上述實(shí)例中視圖中的僅一個(gè)被移位，但是還可以將左圖像LVl 和右圖像RVl兩者移位相等的相反量，其中組合的量對(duì)應(yīng)于RV1’的移位。結(jié)果是，兩個(gè)經(jīng)過(guò)移位的圖像都將必須被延展，但是延展區(qū)域是圖3中修剪和延展的區(qū)域的大小的一半。結(jié)果是，由延展造成的偽像可以更均勻地散布(spread)。當(dāng)移位多視圖(例如三視圖)內(nèi)容時(shí)，可以保留中心圖像并且分別移位和延展左和右圖像。對(duì)于技術(shù)人員來(lái)說(shuō)將是清楚的是上面的移位視差范圍的方式隨后可以被擴(kuò)展到另外的多視像并且擴(kuò)展到任何適當(dāng)量的圖像移位，從而造成它們之間相同的相對(duì)移位量。當(dāng)適配輸入的三維視頻信號(hào)時(shí)，若干選項(xiàng)可用，例如，第一選項(xiàng)是僅使用修剪。考慮立體視頻信號(hào)，在此情況下可以將視頻信號(hào)中的左和右圖像兩者修剪相同量。如果圖像高寬比不是問(wèn)題，則經(jīng)過(guò)修剪的視圖不需要延展并且可以照原樣使用。這樣做的優(yōu)點(diǎn)是不需要延展，不引入延展偽像。第二選項(xiàng)是使用如上所述的修剪和延展。考慮立體視頻信號(hào)， 在此情況下可以將視頻信號(hào)中的左圖像和右圖像兩者修剪相等的量，并且隨后如圖3所示的那樣延展相應(yīng)的視圖。使用延展的優(yōu)點(diǎn)是可以保留輸入的三維視頻信號(hào)的高寬比。注意 上面的選項(xiàng)的列出不是窮舉的。圖4給出根據(jù)本發(fā)明的用于處理包括多個(gè)視圖的輸入的三維視頻信號(hào)的方法400 的流程圖。所述方法包括用于確定405指示輸入的三維視頻信號(hào)的最大視差值的遠(yuǎn)視差估計(jì)和指示輸入的三維視頻信號(hào)內(nèi)的空間區(qū)域的最小視差值的近視差估計(jì)的步驟。如上面所指示的，相應(yīng)的視差估計(jì)可以基于元數(shù)據(jù)，或者可以可替代地基于輸入的三維視頻信號(hào)的圖像內(nèi)容而確定。所述方法還包括步驟通過(guò)基于所述遠(yuǎn)視差估計(jì)借助于視差移位向后移位輸入的三維視頻信號(hào)來(lái)適配410三維視頻信號(hào)，并且基于所述近視差估計(jì)和所述視差移位在經(jīng)過(guò)移位的三維視頻信號(hào)的空間區(qū)域內(nèi)生成415疊加。優(yōu)選地，所述方法還包括在經(jīng)過(guò)移位的三維視頻信號(hào)上疊加420疊加的步驟。如上面所指示的，適配輸入的三維視頻信號(hào)的步驟可以包括用于修剪425相應(yīng)的視圖并且利用填充像素來(lái)延展430所述相應(yīng)的視圖以便獲得改變的視差范圍的步驟。在立體信號(hào)的情況下，一個(gè)或者優(yōu)選地兩個(gè)視圖被修剪并且隨后被延展。對(duì)于N 視圖多視像，在N為偶數(shù)的情況下，N-I或者優(yōu)選地N個(gè)視圖被如上所述地修剪并且延展。圖5A給出了根據(jù)本發(fā)明的用于處理包括多個(gè)視圖的輸入的三維視頻信號(hào)的系統(tǒng) 500。所述系統(tǒng)500包括視差確定器505，用于確定指示輸入的三維視頻信號(hào)的最大視差值的遠(yuǎn)視差估計(jì)、以及指示輸入的三維視頻信號(hào)內(nèi)的空間區(qū)域的最小視差值的近視差估計(jì)。 如上面所指示的，視差確定器505可以被實(shí)現(xiàn)為視差估計(jì)器。所述系統(tǒng)還包括視差移位器 510，其被配置為通過(guò)基于所述遠(yuǎn)視差估計(jì)借助于視差移位向后移位所述三維視頻信號(hào)來(lái)適配所述三維視頻信號(hào)。所述系統(tǒng)500還包括疊加生成器515，其被配置為基于所述近視差估計(jì)和所述視差移位在經(jīng)過(guò)移位的三維視頻信號(hào)的疊加安全區(qū)域內(nèi)生成疊加。優(yōu)選地，所述系統(tǒng)500還包括視頻混合器520，其被配置為在經(jīng)過(guò)移位的三維視頻信號(hào)上疊加所述疊加。如圖5A所示的系統(tǒng)500可以實(shí)現(xiàn)在個(gè)人計(jì)算機(jī)或者其它用于離線處理內(nèi)容的計(jì)算平臺(tái)上?？商娲?，所述系統(tǒng)500可以實(shí)現(xiàn)在例如能夠進(jìn)行藍(lán)光盤(pán)重放的設(shè)備或者機(jī)頂盒或3D-TV中。圖5B示出了根據(jù)本發(fā)明的另一個(gè)系統(tǒng)500，其中所述系統(tǒng)被分為分析設(shè)備502和混合設(shè)備503，兩個(gè)設(shè)備相結(jié)合實(shí)現(xiàn)如圖5A中給出的系統(tǒng)500中得到的功能。將理解上面為了清楚而進(jìn)行的描述已經(jīng)參照不同的功能單元和處理器描述了本發(fā)明的各實(shí)施例。然而，將清楚的是可以在不脫離本發(fā)明的情況下使用不同的功能單元或者處理器之間的任何適當(dāng)?shù)墓δ芊植肌＠?，被說(shuō)明為由分離的單元、處理器或控制器執(zhí)行的功能可以由相同的處理器或控制器執(zhí)行。因此，對(duì)于特定功能單元的引用僅被視為對(duì)于用于提供所描述的功能的適當(dāng)?shù)难b置的引用，而不是指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。本發(fā)明可以以包括硬件、軟件、固件或其任何組合的任何適當(dāng)形式實(shí)現(xiàn)。本發(fā)明可以可選地至少部分地實(shí)現(xiàn)為在一個(gè)或多個(gè)數(shù)據(jù)處理器和/或數(shù)字信號(hào)處理器上運(yùn)行的計(jì)算機(jī)軟件。本發(fā)明的實(shí)施例的元件和組件可以以任何適當(dāng)方式物理地、功能性地和邏輯地實(shí)現(xiàn)。實(shí)際上，功能可以在單個(gè)單元中、多個(gè)單元中或作為其他功能單元的一部分實(shí)現(xiàn)。同樣，本發(fā)明可以以單個(gè)單元實(shí)現(xiàn)，或可以在不同單元和處理器之間物理地和功能性地分布。盡管已經(jīng)關(guān)于一些實(shí)施例描述了本發(fā)明，但是不意在限制為這里闡述的特定形式。而是，本發(fā)明的范圍僅由所附權(quán)利要求限定。另外，盡管特征可能看起來(lái)是關(guān)于特定實(shí)施例描述的，但是本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到所描述的實(shí)施例的各種特征可以根據(jù)本發(fā)明而組合。在權(quán)利要求中，術(shù)語(yǔ)包括不排除其他元件或步驟的存在。此外，盡管被單獨(dú)列出，但是多個(gè)裝置、元件或方法步驟可以由例如單個(gè)單元或處理器實(shí)現(xiàn)。另外，盡管各個(gè)特征可以被包括在不同的權(quán)利要求中，但是這些特征可以被有利地組合，并且包括在不同的權(quán)利要求中不意味著特征的組合是不可行和/或不利的。而且， 特征包括在一個(gè)類(lèi)別的權(quán)利要求中不意味著限于該類(lèi)別，而是指示該特征等同地可適當(dāng)?shù)貞?yīng)用于其它權(quán)利要求類(lèi)別。此外，權(quán)利要求書(shū)中特征的順序不意味著所述特征必須按其起作用的任何特定順序，具體而言，方法權(quán)利要求中各個(gè)步驟的順序不意味著各步驟必須按此順序執(zhí)行。而是，可以以任何適當(dāng)?shù)捻樞驁?zhí)行步驟。另外，單數(shù)的引用不排除多個(gè)。因此， 對(duì)“一”、“第一”、“第二”等的引用不排除多個(gè)。權(quán)利要求中的附圖標(biāo)記僅僅被提供來(lái)作為澄清性的實(shí)例，而不應(yīng)被解釋為以任何方式限制權(quán)利要求的范圍。
權(quán)利要求
1.一種處理包括多個(gè)視圖的輸入的三維視頻信號(hào)的方法(400)，所述方法包括 -確定(405)-指示輸入的三維視頻信號(hào)的最大視差值的遠(yuǎn)視差估計(jì)(B)， -指示輸入的三維視頻信號(hào)內(nèi)的空間區(qū)域的最小視差值的近視差估計(jì)(A)， -通過(guò)基于所述遠(yuǎn)視差估計(jì)借助于視差移位(DS)向后移位所述輸入的三維視頻信號(hào)來(lái)適配(310)所述輸入的三維視頻信號(hào)，-基于所述近視差估計(jì)和所述視差移位(DS)在經(jīng)過(guò)移位的三維視頻信號(hào)的空間區(qū)域內(nèi)生成(315)疊加。
2.如權(quán)利要求1所述的方法，所述方法還包括-在經(jīng)過(guò)移位的三維視頻信號(hào)上疊加(320)所述疊加。
3.如權(quán)利要求1所述的方法，其中所述遠(yuǎn)視差估計(jì)(B)和所述近視差估計(jì)(A)兩者基于鏡頭或者基于鏡頭組。
4.如權(quán)利要求1所述的方法，其中所述視差移位(DS)基于多個(gè)視圖中的相鄰視圖之間的預(yù)先確定的最大視差值。
5.如權(quán)利要求4所述的方法，其中所述預(yù)先確定的最大視差值基于以下之一 -所選擇的眼距值和安全余量(M)以及-用戶(hù)定義的最大視差值。
6.如權(quán)利要求1-5中的任一項(xiàng)所述的方法，其中所述疊加包括以下中的至少一個(gè)_字幕，-隱蔽式字幕信息， -用戶(hù)界面信息，以及 -另外的輸入的三維輸入信號(hào)。
7.如權(quán)利要求1-5中的任一項(xiàng)所述的方法，其中適配輸入的三維視頻信號(hào)包括以下之-在一側(cè)修剪(325)至少一個(gè)視圖，以便在所述經(jīng)過(guò)修剪的視圖與視圖中的另一個(gè)視圖組合時(shí)獲得改變的視差范圍，-在一側(cè)修剪(325)至少一個(gè)視圖并且在所述一側(cè)的相對(duì)側(cè)延展(330)該至少一個(gè)經(jīng)過(guò)修剪的視圖，以便在所述經(jīng)過(guò)延展的經(jīng)過(guò)修剪的視圖與視圖中的另一個(gè)視圖組合時(shí)獲得改變的視差范圍，以及-修剪(325)至少一個(gè)視圖并且將其縮放回完整寬度，以便在所述經(jīng)過(guò)延展的縮放的修剪視圖與另一個(gè)經(jīng)過(guò)縮放的修剪視圖組合時(shí)獲得改變的視差范圍。
8.如權(quán)利要求1所述的方法，其中所述方法還包括在經(jīng)過(guò)移位的三維視頻信號(hào)中嵌入指示經(jīng)過(guò)移位的三維視頻信號(hào)的遠(yuǎn)視差和近視差的元數(shù)據(jù)。
9.如權(quán)利要求2所述的方法，其中所述方法還包括在包括所述疊加的經(jīng)過(guò)移位的三維視頻信號(hào)中嵌入指示包括所述疊加的經(jīng)過(guò)移位的三維視頻信號(hào)的遠(yuǎn)視差和近視差的元數(shù)據(jù)。
10.一種計(jì)算機(jī)程序產(chǎn)品，包括用于執(zhí)行權(quán)利要求1、2、3、4、5、8或9中的任一項(xiàng)所述的方法的程序指令。
11.用于處理包括多個(gè)視圖的輸入的三維視頻信號(hào)的系統(tǒng)(500)，所述系統(tǒng)包括 -視差確定器(505)，用于確定-指示輸入的三維視頻信號(hào)的最大視差值的遠(yuǎn)視差估計(jì)以及 -指示輸入的三維視頻信號(hào)內(nèi)的空間區(qū)域的最小視差值的近視差估計(jì)， -視差移位器(510)，其被配置為通過(guò)基于所述遠(yuǎn)視差估計(jì)借助于視差移位向后移位所述輸入的三維視頻信號(hào)來(lái)適配所述輸入的三維視頻信號(hào)，-疊加生成器(515)，其被配置為基于所述近視差估計(jì)和所述視差移位在經(jīng)過(guò)移位的三維視頻信號(hào)的疊加安全區(qū)域內(nèi)生成疊加。
12.如權(quán)利要求10所述的系統(tǒng)，該系統(tǒng)還包括-視頻混合器(520)，其被配置為在經(jīng)過(guò)移位的三維視頻信號(hào)上疊加所述疊加。
13.如權(quán)利要求11-12中的任一項(xiàng)所述的系統(tǒng)，其中所述視差估計(jì)器(505)被配置為基于每個(gè)鏡頭或者基于每個(gè)鏡頭組來(lái)確定所述遠(yuǎn)視差估計(jì)和所述近視差估計(jì)。
14.如權(quán)利要求11-12中的任一項(xiàng)所述的系統(tǒng)，其中所述視差移位(DS)基于多個(gè)視圖中的相鄰視圖之間的預(yù)先確定的最大視差值。
全文摘要
本發(fā)明涉及一種處理包括多個(gè)視圖的輸入的三維視頻信號(hào)的系統(tǒng)和方法，所述方法包括確定指示輸入的三維視頻信號(hào)的最大視差值的遠(yuǎn)視差估計(jì)、以及指示輸入的三維視頻信號(hào)內(nèi)的空間區(qū)域的最小視差值的近視差估計(jì)，通過(guò)基于所述遠(yuǎn)視差估計(jì)借助于視差移位向后移位輸入的三維視頻信號(hào)來(lái)適配輸入的三維視頻信號(hào)，并且基于所述近視差估計(jì)和所述視差移位在經(jīng)過(guò)移位的三維視頻信號(hào)的空間區(qū)域內(nèi)生成疊加。本發(fā)明還涉及一種實(shí)現(xiàn)根據(jù)本發(fā)明的方法的計(jì)算機(jī)程序產(chǎn)品。
文檔編號(hào)H04N13/00GK102204261SQ200980141834
公開(kāi)日2011年9月28日 申請(qǐng)日期2009年10月16日 優(yōu)先權(quán)日2008年10月21日
發(fā)明者B·G·B·巴倫布魯格, G·W·T·范德海登, P·J·L·A·斯維倫斯 申請(qǐng)人:皇家飛利浦電子股份有限公司