專利名稱：中間視合成和多視點數(shù)據(jù)信號的提取的制作方法
技術領域：
本發(fā)明涉及中間視合成以及多視點數(shù)據(jù)信號的提取/構(gòu)造。
背景技術：
3D視頻(3DV)可向觀看者提供所觀看場景的縱深感知。這也被稱為立體電影，但這又是常被局限于使用2D視頻的傳統(tǒng)技術的術語。最近，3DV越來越受關注，其范圍包括從移動電話到3D電影[25]的系統(tǒng)和應用。日臻成熟的技術覆蓋從攝像系統(tǒng)到3D顯示的整個處理鏈。希望體驗擴展視覺效果的消費者一方的認識和興趣在逐漸增長，企業(yè)一方包括內(nèi)容供應商、設備生產(chǎn)商、和經(jīng)銷商的認識和興趣也在增長。產(chǎn)生3D深度印象(cbpth impression)需要觀看3D顯示的觀眾每只眼睛看到不同的景色。這些景色應該對應于從具有人眼距離的不同視點所拍的圖像。換句話說，給用戶提供所觀看場景逼真的深度印象需要特定的3D顯示技術，其確保每只眼睛同時只看到所呈現(xiàn)的一對立體圖像中的一個圖像[17]。過去，用戶必須戴專用眼鏡(視差圖像、偏振現(xiàn)象、快門)。加上有限的視覺質(zhì)量，這被看作是3DV系統(tǒng)在家庭用戶環(huán)境廣泛成功的主要障礙，而其他類型的應用，例如3D電影，由于其高的視覺質(zhì)量，預期在未來數(shù)年內(nèi)將迅速發(fā)展。更確切地說，3D顯示器同時發(fā)出兩個以上圖像，這確保觀眾總是看到特定視點的一對立體圖像[17]。基于視差圖像、偏振現(xiàn)象、或快門技術的專用眼鏡在過去實現(xiàn)這一目標是必要的，但是今天仍然適合廣泛的應用。例如，成功地建立了基于眼鏡的3D電影應用(例如 IMAX theatres (立體電影院))。在電影院，用戶坐在椅子上不太可能移動，并且通常全神貫注地觀看當前播放的電影。在這種情況下佩戴眼鏡被廣泛接受，并且運動視差不再是個大問題。因此，利用基于眼鏡的顯示技術的3D電影預期在未來數(shù)年仍然是標準。預期該市場將進一步增長，并且制造越來越多的經(jīng)典2D電影，和3D影院能夠播放的3D形式的電影。人們預期這將擴大用戶的認識和增長用戶接受程度，以及創(chuàng)造家用3DV應用的需求。然而，在居室環(huán)境中，用戶期望是迥然不同的。戴眼鏡的必要性被認為是3D視頻在家庭用戶環(huán)境中成功的主要障礙?，F(xiàn)在利用多視點自動立體顯示器[17]克服了該缺陷。 數(shù)個圖像同時發(fā)出，但是該技術確保了用戶只看到特定視點的一對立體圖像。目前市場上的3D顯示器能夠同時顯示九張或更多不同的圖像，其中從特定的視點只有一對立體圖像是可見的。具有這個無眼鏡的多用戶立體感例如在居室中是可以實現(xiàn)的。一群人在熟悉的沙發(fā)-電視環(huán)境中無需佩戴眼鏡就可享受3D電影，而且同時可以從事我們所習慣的所有社會交流互動。當走來走去時，如果適當?shù)匕才胚B續(xù)的圖像作為立體對，則可以支持逼真的運動視差印象。但是，從略有不同的視點傳輸9個以上相同3D場景的視圖給家庭用戶是極其低效的。該傳輸成本將無法證明附加價值的正確性。幸運的是，供選擇的3D視頻格式允許顯著地降低原始數(shù)據(jù)速率。當使用該多視點視頻加深度(MVD)格式時，只傳輸N個顯示視圖中的一個子集M。對那些M視頻流而言，傳輸另外的每個像素深度數(shù)據(jù)作為補充信息。在接收端，基于深度的圖像繪制(DIBR)被用于由所傳輸?shù)腗VD數(shù)據(jù)內(nèi)插所有的N個顯示視圖[15]。因此，多視點視頻加深度(MVD)格式允許大幅度地降低3DV系統(tǒng)的原始數(shù)據(jù)速率。 只傳輸N個顯示視圖中的一個子集M。此外，傳輸子集M的深度數(shù)據(jù)。如果有傳輸數(shù)據(jù)[17]， 那么通過中間視圖內(nèi)插在接收端可產(chǎn)生非傳輸?shù)膱D像。3D系統(tǒng)通過同時顯示多個視圖而能夠支持頭部運動觀看視差。特別地，例如具有傾斜透鏡鏡頭技術的高分辨率LCD屏幕，9個同步視點是從飛利浦公司(Wiilips)商用地獲得的[28]。在圖10中具體說明用3D顯示頭部運動視差支持的原理。用戶在位置1用右眼和左眼分別只看到視點視圖1和視圖2。另一個用戶在位置3看到視點視圖6和視點視圖 7，因此支持多用戶3D觀看。假定用戶從位置1移動到位置2。現(xiàn)在分別用右眼和左眼可看到圖像2和圖像3。 如果Vl和V2是具有適當?shù)哪烤嗷€的一對立體圖像，那么V2和V3等等也是，用戶在這樣的3D顯示系統(tǒng)前移動，它將察覺到景物中物體的遮擋和非遮擋3D印象，結(jié)果取決于物體的深度。該運動視差印象不是無縫的，以及不同位置數(shù)目限制為N-I個。更確切地說，多視點自動立體顯示過程N同步了從略有不同的視點顯示相同3D場景的視頻信號。與正常的2D視頻相比較，這極大地增加了原始數(shù)據(jù)速率。已經(jīng)顯示出，專用多視點視頻編碼(MVC)包括從鄰近視點采集的視頻信號的視點間(inter-view)預測， 與所有視頻信號的獨立編碼(同時播放(simulcast))相比較，其可將總比特率降低20% [20]。這意味著降低單個視頻比特率的20%乘以N。對于9-視點顯示MVC仍然需要7. 2 倍于相應的單個視頻比特率。如此增加很顯然阻止了成功應用3DV。進一步，在[20]中也已經(jīng)顯示出MVC的總比特率隨N呈線性增長。因此，未來顯示更多視圖將要求更高的總比特率。最后，如果與MVC —樣確定傳輸格式中的視圖數(shù)，這并不能提供充足的靈活性支持當前和未來任意類型的3D顯示。對于2-視點顯示器(或小數(shù)目的視點顯示器)而言，展示了不同的方法，同時提供了高壓縮效率以及擴展功能。代替?zhèn)鬏斠粋€立體視頻對，使用一個視頻和相關的每個像素深度圖。該深度圖將景深值分配給視頻信號的每個像素，以及用此提供3D場景描述。該深度圖可視為單色視頻信號，以及使用可用的視頻編解碼器來編碼。這種情形的視頻加深度(V+D)被限定為3DV數(shù)據(jù)格式[7]。近來已經(jīng)通過MPEG[11]，[12]發(fā)布了被稱為MPEG-C part 3的相應標準。從解碼的V+D，接收器通過DIBR可產(chǎn)生第二視頻作為立體對。實驗已經(jīng)顯示出，在大多數(shù)情形下可有效地壓縮深度數(shù)據(jù)。相應的彩色視頻必需的比特率只有大約 10-20%需要進行質(zhì)量讓人滿意的深度壓縮。這意味著使用解碼的深度繪制的最后的立體對是相同的視覺質(zhì)量，就好像傳輸了 2個視頻信號。眾所周知DIBR引入假象(artifacts)。 產(chǎn)生虛擬視圖需要將圖像內(nèi)容外推到一定程度。從虛擬視點來看，3D場景中落后于可用的原始視頻中前景物體的遮擋部分可變得可見。如果虛擬視點接近于原始攝影位置(如，對應于圖20中的Vl和V2)，那么遮蔽無覆蓋物的圖像區(qū)域與有限的假象一起很好地運作。因此，對具有小數(shù)目視點的3D顯示來說，V+D是極好的概念。但是，隨著虛擬視點的距離增加， 外推假象也增加。因此，概念V+D不適合于具有大量視點和在很寬的范圍內(nèi)支持運動視差的3DV系統(tǒng)。因此，MVC和V+D都不適合于具有大量視點的先進3D顯示系統(tǒng)。解決方法是如圖 20. 9中示出的MVD的擴充和組合，其顯示出視點視圖V1-V9。MVC的直接編碼是極其低效的。只傳輸一個具有深度圖的視頻例如V5+D5將導致外部圖像不能接受的質(zhì)量。使用MVD 格式，具有深度圖的M = 3圖像的子集傳輸給接收器。通過DIBR產(chǎn)生中間視點視圖V2-V4 和V6-V8。它們足夠接近于可用的原始視點視圖，從而最小化外推誤差。進一步，可以從2 個方向(左邊和右邊的鄰近視點視圖)內(nèi)插獲得中間視點視圖，因此，可以廣泛地最小化無覆蓋問題。例如，為虛擬視點視圖產(chǎn)生的區(qū)域在左邊視點視圖是遮擋的，其在右邊視圖中極有可能是可見的。但是，仍然有可能需要外推在原始視圖和最終視圖中均遮擋的部分。該先進的3DV系統(tǒng)概念包括許多復雜的處理步驟，其部分尚未解決，仍然需要研究。仍然需要開發(fā)采集系統(tǒng)并優(yōu)化，其包括多級攝影系統(tǒng)、可能的深度采集器件、以及其他可能只支持傳感器和信息源的類型，例如，光[8]，[22]。發(fā)送器一方信號處理包括很多先進的算法，例如攝像機標定、色彩校正、調(diào)整、分割以及深度估計或產(chǎn)生。后者對DIBR來說很重要，因為深度估計的任何誤差都導致繪制的輸出圖像質(zhì)量下降。深度估計或產(chǎn)生的主題在計算機視覺領域是廣泛研究的，其可包括同樣半自動地處理[16]，[18]，[26]，[29]。一般3DV格式的最優(yōu)參數(shù)化設置仍然需要調(diào)查研究，這包括傳輸具有深度和設置/間距的圖像數(shù)。大多數(shù)MVD數(shù)據(jù)的有效壓縮仍然有待發(fā)現(xiàn)，特別是最優(yōu)深度處理。通常應當為不同的信道考慮傳輸問題。最終在解碼之后，從解碼的MVD數(shù)據(jù)中繪制出N個輸出圖像。這里具有很少的高質(zhì)量假象對整個概念的成功來說是至關重要的。最終，具有最少的明顯假象的高質(zhì)量圖像內(nèi)插對3DV系統(tǒng)的成功來說是至關重要的。特別地沿著深度不連續(xù)性物體邊緣產(chǎn)生內(nèi)插假象。因此，內(nèi)插概念允許避免沿著這樣的邊緣產(chǎn)生假象，這將是有利的。進一步，如果存儲3DV數(shù)據(jù)的壓縮率能夠降低，而不會明顯降低或完全保持可獲得的3DV結(jié)果，那么這將是有利的。

發(fā)明內(nèi)容
首先，本發(fā)明的目的是提供用于中間視合成和多視點數(shù)據(jù)信號提取的概念，其允許減少假象和/或提高壓縮率，從而提供多視點數(shù)據(jù)。通過分別根據(jù)權利要求1和22中的一個設備、根據(jù)權利要求35的多視點數(shù)據(jù)信號、和根據(jù)權利要求36或37的方法實現(xiàn)了該目的。構(gòu)成本發(fā)明基礎的基本思想是當投影和融合不同視點的圖像時，處理相對于非邊界部分次級的前景/背景邊界區(qū)域，有助于避免或減少假象，以及反過來，也可使用該認識以保證質(zhì)量的方式移除多視點數(shù)據(jù)信號中的不相關信息。因此，根據(jù)本發(fā)明的第一個方面，中間視合成用于將對應于第一視點的第一圖像和對應于不同于第一視點的第二視點的第二圖像合成為中間視點圖像，它的執(zhí)行是通過基于其深度信息檢測第二圖像中的前景/背景邊界，確定前景/背景邊界區(qū)域為沿其擴展的區(qū)域，以及使用該區(qū)域僅僅是為了填補初始的中間視點圖像中的空洞，該初始的中間視點圖像是通過投影和融合第二圖像的剩余部分連同至少第一圖像的部分而獲得的。通過該方法，各自的前景/背景邊界區(qū)域僅僅以相對于第二個圖像的剩余部分以次級 (subordinate)的方式來使用，因此不會負面影響到投影-和_融合結(jié)果，另一方面，仍有助于填補空洞，否則會產(chǎn)生空洞。根據(jù)本發(fā)明的第二個方面，多視點數(shù)據(jù)信號提取用于從多視點表示中提取出多視點數(shù)據(jù)信號，此多視點表示包括對應于第一視點的第一圖像和對應于不同于第一視點的第二視點的第二圖像，通過檢測第二圖像中的前景/背景邊界，確定第二圖像的去除左邊邊界部分為沿前景/背景邊界的擴展，以及將無去除左邊邊界部分的第二圖像投影到所述第一視點，確定第二圖像的去除左邊邊界部分，從而獲得具有非遮擋區(qū)域的第二圖像的投影變體。然后，第二圖像連同第一個圖像的部分被插入到多視點數(shù)據(jù)信號中，插入的第一圖像的部分取決于非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置。例如，要被插入到多視點數(shù)據(jù)信號的第一圖像的部分是由非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置來確定的。根據(jù)本發(fā)明的實施例，前景/背景邊界區(qū)域是通過檢測前景/背景邊界，在周圍限定η-樣本寬的區(qū)域，以及將該區(qū)域分別一方面分割為前景邊界部分和另一方面分割為背景邊界部分而獲得的，此背景邊界部分表示前面提及的去除左邊邊界部分，以及此前面提及的背景邊界部分僅僅是用來填補初始的中間視點圖像的空洞。在以下將參考附圖更詳細地說明本發(fā)明的優(yōu)選實施例。具體地，


圖Ia示出了根據(jù)本發(fā)明實施例的中間視合成設備的方框圖；圖Ib示出了根據(jù)本發(fā)明的另一實施例的中間視合成設備的方框圖；圖Ic示出了根據(jù)本發(fā)明的實施例的多視點數(shù)據(jù)信號提取設備；圖2示出了根據(jù)本發(fā)明的實施例的對示例性圖像的層分配，示例性的圖像被分成前景邊界部分(黑色)、背景邊界部分(白色)、和非邊界區(qū)域(灰度值)；圖3示出了根據(jù)實施例由保護和融合兩個不同圖像的兩個非邊界區(qū)域產(chǎn)生的中間視點視圖；圖4示出了根據(jù)實施例在使用由過濾和/或空洞填補移除其之后的背景邊界部分及其外觀投影-和-填補步驟之后產(chǎn)生的不同的假象(從左到右)；圖5示出了根據(jù)實施例移除假象之后的中間視點圖像；圖6示出了根據(jù)實施例的9-視點自動立體顯示器的立體對距離的五個視點視圖， 也就是在原始攝像機位置(極左和極右)的兩個視點視圖，以及芭蕾舞這(上)和霹靂舞這順序(下)的中間視點視圖；圖7示出了根據(jù)實施例的中間視合成方法的一系列方法步驟的示意圖；圖和圖8b示出了根據(jù)實施例的中間視點視圖，其是由一方面投影和融合兩個不同視點視圖和另一方面前景/背景邊界區(qū)域的次級視點視圖產(chǎn)生的；圖9示出了中間視點視圖的詳細部分，其是通過一方面簡單融合的中間視合成和另一方面根據(jù)本發(fā)明實施例的中間視合成而產(chǎn)生的；圖10示出了根據(jù)本發(fā)明的實施例說明的基于LDV的3DTV概念的示意圖；圖11示出了根據(jù)實施例將圖像進一步劃分為一方面去除左邊邊界部分(白色) 和另一方面剩余部分(灰色)的結(jié)果；圖12示出了由中間視點視圖投影到兩個邊視點產(chǎn)生的圖像，其省略了去除左邊邊界部分；圖13示出了根據(jù)實施例從圖12中圖像獲得的兩個圖像，其是通過過濾移除不希望有的ι-像素-寬的深度值從而獲得非遮擋區(qū)域；圖14示出了根據(jù)實施例的邊視點視圖和圖13投影的中間視點視圖之間的排除差異(exclusion difference)的結(jié)果；圖15示出了根據(jù)實施例的不同的剩余數(shù)據(jù)變體；圖16示出了根據(jù)實施例由從兩個邊視點視圖投影產(chǎn)生的另一個中間視點視圖；圖17示出了根據(jù)實施例的過濾后最終的視合成圖像，即左邊的中間視點視圖加左剩余數(shù)據(jù)以及右邊的中間視點視圖加右剩余數(shù)據(jù)；圖18示出了中間視點視圖的詳細部分，此中間視點視圖是一方面通過簡單融合的中間視合成和另一方面根據(jù)本發(fā)明的實施例的中間視合成產(chǎn)生的； 圖19示出了 LDV和MVD的中間視合成圖像之間的對比；以及圖20示出了說明基于MVD的先進3DVT概念的示意圖。
具體實施例方式圖Ia示出了中間視合成設備10，其用于將對應于第一視點Vl的第一圖像14和對應于第二視點V2的第二圖像16合成為中間視點圖像12，此第二視點V2不同于第一視點 VI，第一和第二圖像包括深度信息Dl和D2。第一圖像14和第二圖像16可具有與深度信息 Dl和D2相關聯(lián)的單色或彩色信息Vl和V2。特別地，雖然有可能深度和彩色信息的空間分辨率可以是不同的，但是兩者可包含每像素的樣本值。第二圖像16被劃分為非邊界部分16a和前景/背景邊界區(qū)域，在圖Ia中分別用白色部分表示前者和用陰影線部分表示后者，其中中間視合成設備構(gòu)造為將第一圖像14和第二圖像16投影和融合到中間視點，從而獲得中間視點圖像12，以及處理相對于非邊界部分16a次級的前景/背景邊界區(qū)域16b。根據(jù)以下進一步描述的實施例，中間視合成設備10被構(gòu)造為使用至少一部分前景/背景邊界區(qū)域16b，僅僅來填補本將會在中間視點圖像12中產(chǎn)生的空洞，通過使用第二圖像16的與部分前景/背景邊界區(qū)域16b分離的分離部分，投影和融合成中間視點圖像 12。根據(jù)圖lb，更詳細地描述了中間視合成10的進一步實施例。根據(jù)該實施例，第二圖像16的前景/背景邊界區(qū)域16b劃分成前景邊界部分和背景邊界部分，此背景邊界部分形成前面提及的用來填補空洞的部分。因此，上面提及的部分可對應于背景邊界區(qū)域。圖Ib中的中間視合成設備10包括前景/背景邊界檢測器18，其作為檢測第二圖像16中的前景/背景邊界區(qū)域16b的裝置；以及細分器20，其作為將第二圖像的前景/背景區(qū)域16b劃分為前景邊界部分16bl和背景邊界部分16b2，以便于第二圖像16劃分為非邊界部分16a、前景邊界部分16bl、和背景邊界部分16 的裝置。進一步，中間視合成設備10包含投影-和-融合級22，用于將第二個圖像16的非邊界部分16a和前景邊界部分 16bl連同至少第一圖像14的一部分一起投影和融合到中間視點，從而獲得如箭頭M所示的初始的中間視點圖像。提供投影-和-填補級沈用來將第二圖像16的背景邊界部分16 投影到中間視點，以及通過投影的第二圖像16的背景邊界部分來填補初始的中間視點圖像M的空洞， 從而獲得中間視點圖像12。比較圖Ia和圖Ib的實施例，以下變得清晰，在圖Ib的情形中邊界區(qū)域檢測和劃分在設備中執(zhí)行，而在圖Ia的實施例中，假定為已經(jīng)完成此步驟，以及附近的信息諸如以邊信息的形式與第二圖像16b相關聯(lián)。因此，根據(jù)進一步實施例，中間視合成設備10可包括用于獲得層信息的裝置，此層信息將第二圖像的非邊界部分16a、前景邊界部分16bl、和背景邊界部分16 與多視點數(shù)據(jù)信號區(qū)別開，后者表示取代圖Ib中的模塊18和20。如圖Ib中通過虛線進一步說明的，中間視合成設備10還可包括前景/背景邊界檢測器18’和前景/背景細分器20’，前者作為檢測第一圖像14中的前景/背景邊界區(qū)域的裝置，后者作為將第一圖像的前景/背景邊界區(qū)域劃分為前景邊界部分和背景邊界部分的裝置。換句話說，在中間視合成設備10中，用于檢測的裝置18可構(gòu)造為也檢測第一圖像 14的前景/背景邊界區(qū)域，裝置20可構(gòu)造為也將第一圖像14的前景/背景區(qū)域劃分為前景邊界部分和背景邊界部分，以便于第一圖像14也被劃分成非邊界部分、前景邊界部分和背景邊界部分。在這種情形下，投影-和-融合級22可構(gòu)造為將第一圖像14和第二圖像 16的非邊界部分和前景邊界部分投影和融合為中間視點視圖，從而獲得初始的中間視點圖像24，以及投影-和-填補級沈也可構(gòu)造為投影第一圖像14和第二圖像16的背景邊界部分，以及通過投影的第一圖像14和第二圖像16的背景邊界部分來填補初始的中間視點圖像M中的空洞。根據(jù)供選擇的實施例，在中間視合成設備10中，用于根據(jù)多視點數(shù)據(jù)信號獲得層信息的裝置可獲得層信息，其至少將第一圖像的非邊界部分和背景邊界部分與多視點數(shù)據(jù)信號區(qū)別開。檢測器18’和細分器20’將是不必要的。中間視合成設備10可包括剛剛提及的獲得器作為替代。但是，用于投影和融合的裝置22將被構(gòu)造為將第二圖像16的非邊界部分16a和前景邊界部分16bl以及第一圖像14的非邊界部分投影和融合到中間視點， 從而獲得初始的中間視點圖像對，用于投影和填補的裝置26將被構(gòu)造為投影第一圖像14 和第二圖像16的背景邊界部分，以及通過投影的第一圖像14和第二圖像16的背景邊界部分來填補初始的中間視點圖像M中的空洞?；蛘?，多視點數(shù)據(jù)信號可包含，例如，作為邊信息的層信息，其區(qū)別第一圖像14的非邊界部分、前景邊界部分、和背景邊界部分。因此根據(jù)該實施例的中間視合成設備10可包含獲得該層信息的裝置，該層信息用來區(qū)別第一圖像14的非邊界部分、前景邊界部分和背景邊界部分，其中用來投影和融合的裝置22可被構(gòu)造成將第一圖像14和第二圖像16的非邊界部分和前景邊界部分投影和融合到中間視點，從而獲得初始的中間視點圖像M，用于投影和填補的裝置26被構(gòu)造為投影第一圖像14和第二圖像16的背景邊界部分，以及通過投影的第一圖像14和第二圖像16的背景邊界部分來填補初始的中間視點圖像M中的空洞。例如，檢測器18可包含邊緣檢測器，其用于在深度信息D2中檢測邊緣，邊緣周圍的η-樣本-寬的區(qū)域表示前景/背景邊界區(qū)域161^2。相應地，細分器20可被構(gòu)造為將 η-樣本-寬的區(qū)域劃分為前景邊界區(qū)域和背景邊界區(qū)域。例如，細分器20可被構(gòu)造為通過比較前景/背景邊界區(qū)域16b的樣本/像素內(nèi)深度信息D2的深度與閾值，從而確定樣本 /像素屬于前景邊界部分16bl還是背景邊界部分16 來進行劃分。就這一點而言，細分器可被構(gòu)造為通過計算諸如深度信息D2的深度值的平均數(shù)或中間值的集中趨勢來獲得閾值。特別地，細分器可被構(gòu)造為通過由與前景/背景邊界區(qū)域16b中各樣本/像素鄰近的樣本/像素的深度信息D2的深度值計算各樣本/像素的集中趨勢，局部地獲得閾值，例如基于屬于前景/背景邊界區(qū)域16b和鄰近各樣本/像素的鄰近樣本/像素。
在上述第一圖像14和第二圖像16同時被劃為非邊界區(qū)域和邊界區(qū)域的實施例中，投影-和-融合級22可被構(gòu)造為將第一圖像14和第二個像16的非邊界部分投影和融合到中間視點，從而獲得非邊界中間視點圖像，其中非邊界部分的融合包含在第一圖像14 和第二圖像16之間取平均值，以及將第一圖像14和第二圖像16的前景邊界部分投影和融合為非邊界中間視點圖像對，其中前景邊界部分的融合包含在非邊界中間視點圖像M的樣本以及投影第一圖像14和第二圖像16的前景邊界部分產(chǎn)生的位于一處的樣本之間選擇，而不是取其平均值。至于考慮到投影機構(gòu)，投影-和-融合級22以及投影-和-填補級沈可被構(gòu)造為通過分別使用相關聯(lián)的深度信息Dl和D2將2D樣本投影為3D樣本從而獲得3D世界點 (world points)以及將3D世界點投影到中間視點，來執(zhí)行到中間視點的各投影。特別地， 投影-和-融合級22以及投影-和-填補級沈可被構(gòu)造為通過在第一視點和第二視點的投影矩陣之間內(nèi)插來計算投影矩陣，以及通過使用投影矩陣執(zhí)行3D世界點的投影。事實上，投影-和-融合級22與投影-和-填補級沈可被構(gòu)造為通過按取決于偏離中間視點的量二維地(或在像素平面內(nèi))移動樣本位置來執(zhí)行到中間視點的各投影。當然，平面內(nèi)的移動可限制為沿著一個維度移動，例如，沿著行(row)/列(line)方向，因為，例如，使用相同的放大率、分辨率等已經(jīng)采集了所有圖像，同時使像素行記錄到彼此的垂直方向。下文中，將使用一般術語在-像素-平面或二維移動，它們應該含有剛剛概述的可能性從而將移動限制在一個維度內(nèi)?？墒褂眠M一步的二維內(nèi)插將投影點/像素映射到規(guī)則的目標像素網(wǎng)格中，如中間視點。僅通過同時使用投影的第一視點的像素和投影的第二視點的像素就可執(zhí)行融合，從而獲得目標視點圖像。其次，可使用內(nèi)插將投影的像素融合成一個規(guī)則的目標圖像的像素網(wǎng)格。進一步，應當注意的是，可選擇地，可以提供增強器觀，其通過過濾和/或外推到中間視點圖像M的剩余空洞來增強中間視點圖像對。這樣的增強器觀可通過檢測中間視點圖像M的前景/背景邊界區(qū)域，以及在中間視點圖像M的前景/背景邊界區(qū)域內(nèi)進行低通濾波來增強中間視點圖像。以下，將描述前述實施例的詳細例子，其中第一圖像和第二圖像是MVD或LDV視頻的部分，以及某些例子，其中中間視合成設備是3DTV顯示系統(tǒng)的部分。但是，在那之前，描述的另一個實施例適合于高效地編碼多視點視圖。圖Ic示出了多視數(shù)據(jù)信號提取設備30，如箭頭32所示，其用于從多視點表示 (representation)中提取多視點數(shù)據(jù)信號其中多視點表示包含對應于第一視點的第一圖像34和對應于第二視點的第二圖像36，第二視點與第一視點不同，第一圖像34和第二圖像36分別包含深度信息Dl和D2。多視點數(shù)據(jù)信號提取設備30包括前景/背景邊界檢測器38和去除左邊邊界部分檢測器42，前者用于檢測第二圖像36中的前景/背景邊界40， 后者用于確定第二圖像36沿著前景/背景邊界40的去除左邊邊界部分44。投影器46被設置為將無去除左邊部分44的第二圖像36投影到第一視點，從而獲得由于投影而具有非遮擋區(qū)域50的第二圖像的投影變體(version) 48。插入器52響應于非遮擋區(qū)域50在第二圖像的投影變體48內(nèi)的位置，將第二圖像連同第一圖像34的部分插入到多視點數(shù)據(jù)信號 32，所述第一個圖像的部分取決于非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置。具體地，多視點數(shù)據(jù)信號提取設備30可包含確定器M，其用于根據(jù)非遮擋區(qū)域50在第二圖像的投影變體48內(nèi)的位置確定第一圖像34的部分從第二圖像的投影變體48內(nèi)的非遮擋區(qū)域50的位置插入到多視點數(shù)據(jù)信號32的第一圖像34的部分。就是說，確定器 54可將插入到多視點數(shù)據(jù)信號32的第一個圖像34的部分確定為第一個圖像34的區(qū)域，分別地，第二圖像的投影變體內(nèi)的非遮擋區(qū)域50遍布此區(qū)域，或此區(qū)域被區(qū)域50占據(jù)。投影器46可被構(gòu)造為將無去除左邊邊界部分44的第二圖像36也投影到圖Ic未示出的第三視點，但有選擇地，以便于第二個視點位于第一視點和第三視點之間。通過這種方法，可獲得具有非遮擋區(qū)域的第二圖像的進一步投影變體，插入器52可被構(gòu)造為將第二圖像、第一圖像34的部分、和第三圖像的部分插入到多視點數(shù)據(jù)信號32中，第一圖像34的部分和第三圖像的部分也取決于非遮擋區(qū)域在第二圖像的進一步投影變體內(nèi)的位置。插入器也可被構(gòu)造為將諸如邊信息形式的層信息插入到多視點數(shù)據(jù)信號32，該層信息至少區(qū)別第二圖像36的非邊界部分56和去除左邊邊界部分44。進一步，可選擇地，階段58可有效地連接在投影器46和插入器52之間，階段58 用于填補由投影第二圖像的投影48產(chǎn)生的小空洞和/或過濾第二圖像的投影變體48。插入器52可被構(gòu)造為丟棄第一圖像34的剩余部分，此部分與由例如確定器M選擇的取決于非遮擋區(qū)域50在第二圖像的投影變體48內(nèi)的位置的部分分離，以及在多視點數(shù)據(jù)信號32中用信號表明該丟棄，例如通過將各自的像素值設定為默認值。檢測器38可被構(gòu)造為通過使用在深度信息中檢測邊緣的邊緣檢測器來檢測前景 /背景邊界40，其與上述提及的作為前景/背景邊界檢測器18的部件類似。相應地，檢測器38可被構(gòu)造為將邊緣周圍的η-樣本-寬的區(qū)域分割為前景邊界部分、和背景邊界部分， 利用背景邊界部分定義了上述提及的去除左邊部分44。這里并不關心前景部分，因此在圖 Ic中沒有示出前景部分。因此，檢測器38產(chǎn)生的效果類似于圖Ib中的細分器，因此，可通過比較η-樣本-寬的區(qū)域的樣本的深度信息的深度與閾值來實現(xiàn)分割，從而確定樣本屬于前景邊界部分還是背景邊界部分，以及相應地，閾值可通過計算上面描述的η-樣本-寬的區(qū)域的樣本等的鄰近樣本的深度信息的深度值的集中趨勢而獲得。進一步與圖Ib相對應， 投影器48可被構(gòu)造為通過使用相關聯(lián)的深度信息將2D樣本投影為3D樣本從而獲得3D世界點，以及將3D世界點投影到中間視點，來執(zhí)行到第一視點的各投影。具體地，投影器46 可被構(gòu)造為通過在第一視點的投影矩陣和第二視點的投影矩陣之間內(nèi)插來計算投影矩陣， 以及使用投影矩陣執(zhí)行3D世界點的投影。一般地，投影器46可被構(gòu)造為通過根據(jù)偏離中間視的量二維地(或在像素平面內(nèi))移動樣本位置來執(zhí)行到中間視的各投影。由設備30獲得的多視點數(shù)據(jù)信號32，一般地，包含關于對應于第一視點的第一圖像34和對應于第二視點的第二圖像36的數(shù)據(jù)，第二視點不同于第一視點，該第一圖像34 和第二圖像36包含深度信息Dl和D2。但是，只有第一圖像34的部分包括在多視點數(shù)據(jù)信號32內(nèi)，而其分離部分在多視點數(shù)據(jù)信號32中被丟棄。包括的部分取決于非遮擋區(qū)域50 在第二圖像36的投影變體48內(nèi)的位置，投影變體48是由將無去除左邊邊界部分44的第二像36沿著第二圖像36的前景/背景邊界40擴展而投影到第一視點產(chǎn)生的。僅剛剛提及的第一圖像34的部分插入到該多視點數(shù)據(jù)信號32中，該信號32可以是前文關于圖 Ia和Ib提及的第一個圖像14的部分，第二圖像的投影變體與其一起融合。下文提出的用于先進的3DV系統(tǒng)的解決方法是如本說明書的引言部分描述的MVD 的擴展和組合。在圖20的例子中，示出了基于MVD的先進3DTV概念(Pos 觀察點，R 右眼，L 左眼，V 視點視圖/圖像，D 深度)，只有M = 3的視圖的子集被傳輸給接收器。對這些作為說明的視點而言，精確取樣的深度圖應該在發(fā)送器一方產(chǎn)生，并與視頻信號一起運送。 在該情形中，每個深度值被分配給每個原始視頻樣本。通常把深度圖當作如圖2示的灰度圖。在接收器顯示的所有其他圖像都由DIBR產(chǎn)生。這樣的基于MVD格式的3DV系統(tǒng)的設計包括一些有待于研究的困難和部分未解決的難題。這包括多視點采集、深度估計/產(chǎn)生、系統(tǒng)的參數(shù)化設置(如輸入視點的數(shù)目)、深度數(shù)據(jù)的有效壓縮、傳輸和繪制。在以下實施例中，根據(jù)實施例說明目標接收器邊繪制。在引言部分呈現(xiàn)的3DV概念依賴于在接收器高質(zhì)量中間視點視圖內(nèi)插算法的有效性。內(nèi)插假象可導致不可接受的性質(zhì)。在圖20的例子中，例如從位置2只能看到虛擬視點視圖。立體設置中的典型攝影距離是5cm。這表示原始視點視圖Vl與V5之間的跨度是 20cm，這段距離用DIBR是很難處理的。特別地沿著具有巨大的深度不連續(xù)性的物理邊緣會產(chǎn)生一些已知的假象。另一方面具有平滑深度變體的區(qū)域可非常可靠地投影到虛擬中間視點。這意味著分開處理深度不連續(xù)性和平滑深度區(qū)域。使用邊緣檢測算法在深度圖像內(nèi)可以很容易地發(fā)現(xiàn)深度不連續(xù)性。因此，下文提出的內(nèi)插過程由三個部分構(gòu)成層提取(邊緣檢測以及劃分為可靠和邊界區(qū)域)、層投影(劃分區(qū)域的DIBR和融合)、和空洞填補&過濾(校正、清理、和過濾)。為了應用自由視點導航(navigate)在[30]中已經(jīng)調(diào)查研究了對分層方法起作用的思想，其中沿著明顯的深度不連續(xù)性提取了某些寬度的邊界層。在以下的方法中，進一步改進了該思想。而且，在[30]中的方法使用用于繪制的幾何基元(三角)操作，下面的實施例僅僅用基于圖像的3D圖像變換操作。因此，不需要3D圖形支持和幾何建模。不利的一面是，引入了某些投影假象，可以如下面描述的移除此假象。換句話說，下文提出了多視點3D顯示的視頻系統(tǒng)，其中數(shù)據(jù)表示 (representation)由多視點視頻和景深構(gòu)成。至多傳輸3個多視點視頻信號，連同深度數(shù)據(jù)一起在接收器產(chǎn)生中間視點視圖。提出了這樣的中間視點視圖內(nèi)插方法，其沿著深度不連續(xù)性分離可靠的圖像區(qū)域與不可靠的圖像區(qū)域。用不同的算法處理和融合這些圖像區(qū)域，從而獲得最終的內(nèi)插視點視圖。與先前分層的方法相比較，使用了兩個邊界層和一個可靠層。而且，提出的技術并不依賴于3D圖像支持，而使用基于圖像的3D圖像變換作為替代。 為了產(chǎn)生質(zhì)量增強的中間視點視圖，描述了空洞填補和過濾方法。因此，提出了適用于現(xiàn)存的9-視點自動立體顯示器的高質(zhì)量中間視點視圖，其證明了適用于先進3D視頻(3DV)系統(tǒng)的方法的適合性。在繪制方法的第一部分——層提取中，區(qū)分了原始視圖中的可靠和不可靠的深度區(qū)域。一般而言，層提取對應于圖Ib中的模塊18和20的功能。沿著物體邊界的區(qū)域認為是不可靠的，因為邊界樣本通常具有混合的前景/背景顏色，并在投影到新的視點之后會產(chǎn)生假象。進一步，深度估計的誤差主要使物體邊界失真。因此，類似于[30]，檢測明顯的深度不連續(xù)性從而創(chuàng)建主層和邊界層。為此，可使用Carmy邊緣檢測器[2]，其對深度圖像進行操作，將沿著檢測邊緣的7-樣本-寬的區(qū)域標記為不可靠的。與[30]相比較，該區(qū)域被分割為前景邊界層和背景邊界層(分別如圖2所示的黑色區(qū)域和白色區(qū)域)，從而允許不同的處理，如下一小節(jié)所示。換句話說，圖2示出了沿著明顯的深度不連續(xù)性的層分配前景邊界層(黑色)、背景邊界層(白色)、和主層(灰度值)。
該第二部分——層投影是視點視圖內(nèi)插算法的主體，對應于圖Ib中的階段22和 M的功能。輸入為如圖2所示的左邊原始圖像和右邊原始圖像、相關聯(lián)的深度圖、相關聯(lián)的攝像機標定信息、和相關聯(lián)的標示信息。輸入圖像的不同標示區(qū)域分開地投影到虛擬視點位置，并遵循可靠性準則融合結(jié)果。中間視點投影是經(jīng)典的基于圖像的3D圖像變換首先，使用相關聯(lián)的深度值和攝像機標定信息將原始的2D視點的樣本投影到3D空間。其次，作為結(jié)果的3D世界點正向投影到要產(chǎn)生的中間視點視圖。使用位置相關參數(shù)λ e W... 1]，根據(jù)相關的兩個原始視點的矩陣內(nèi)插第二步驟中限定虛擬視點位置的投影矩陣，，其中例如λ =0.5定義了中間位置。這是使用球面線性內(nèi)插[24]完成的，適用于原始攝像機之間的直線路徑上的任意位置。遵循該方法，利用相應的浮點深度數(shù)據(jù)Cl1和d2，兩主層(如，根據(jù)關于圖la-c使用的措辭“非邊界部分”)都投影到分離的顏色緩沖區(qū)I1和12，源于以上數(shù)據(jù)創(chuàng)建了公共主層1。，如下其中λ表示上面提及的位置相關參數(shù)，ε表示標準差(signigicance value)，本實驗中其設定為1. 0。該方法保證使用每個視點的最前方樣本，或是如果兩個樣本具有相似的深度值，那么對這兩個樣本都進行λ-內(nèi)插。當從一個原始攝像機視點導航到另一個視點時，內(nèi)插進一步降低了原始視點視圖之間可能的亮度差異，提供了平滑的過度。圖3示出了投影之后作為結(jié)果的公共主層。根據(jù)(1)的內(nèi)插過程還創(chuàng)建了公共浮點深度緩沖區(qū)。在下一個步驟中，前景邊界層(也就是圖la-c的措辭中的“前景邊界部分”)被投影以及創(chuàng)建顏色和浮點深度的公共層，這類似于上面所述的主層方法。然后，融合公共主層和前景邊界層。這里使用簡單的深度測試采用任一個層的最前方樣本，其通常是前景邊界樣本。到現(xiàn)在為止，此功能對應于階段22的功能。在投影過程的最后一個步驟中，背景邊界層，也就是圖la-c中的背景部分被投影。使用該信息僅僅是為了填補中間視點視圖的剩余空洞。這對應于圖10中階段M的功能。由于公共主層已經(jīng)覆蓋了前景物體周圍的大多數(shù)樣本，如圖3所示，僅僅使用很少的背景邊界樣本，因此原始視圖的物體邊界的顏色失真樣本被省略。已知使用簡單的3D圖像變換算法在背景區(qū)域內(nèi)創(chuàng)建象日冕(corona-like)的假象，利用2種不同的邊界層的該分層方法避免了這一點。該算法的最后一部分，空洞填補&過濾是校正、清理和過濾過程。其對應于圖Ib中的增強器觀的功能。在該階段的繪制圖像中仍可產(chǎn)生兩種類型的空洞微裂紋和更大的空白區(qū)域。第一種類型的空洞是在整個圖像區(qū)域內(nèi)產(chǎn)生的微裂紋，其可由基于圖像的3D圖像變換的正向映射性質(zhì)引入。原始圖像的每個點都分別地投影到中間視點，以及一般落在浮點坐標上。該位置量化為整數(shù)樣本光柵的最近鄰位置。讓人遺憾的是，量化可使某些未填補的樣本可見，如圖3中細細的黑線所示。在某些情形中，前景區(qū)域中這樣的裂紋由其他原始圖像的背景信息填補。這導致如圖4中左邊所示的假象，其中背景樣本表現(xiàn)出來(shine through)前景物體。在圖4中，頂線示出了不同的假象，而底線示出了移除假象(具體地，移除裂紋樣本(左邊)、填補區(qū)域(中間)和平滑邊緣(右邊))之后的相同部分。這樣的假象是通過查找深度值來檢測的，該深度值與其在水平、垂直、或?qū)欠较虻泥徑凳敲黠@不同的。然后，假定已經(jīng)校正了所分配的深度值，用中值過濾填補假象，即通過計算鄰近彩色值的中間值。也在圖4的左邊示出這樣的假象的校正。第二種類型的空洞包括更大的空白區(qū)域。這些空洞要么是由于錯誤的深度值而產(chǎn)生的，要么是在兩個原始視圖中被遮擋而在中間視點視圖中變得可見的區(qū)域。這樣的更大空洞用可用的背景信息填補，如圖4的中間所示。這里，分析沿著空洞邊界的對應深度值， 以便于找到背景顏色樣本從而外推到空洞區(qū)域。當該方法使得很好地填補了由于深度誤差引起的空白區(qū)域時，有時錯誤地根據(jù)前景信息填補非遮擋區(qū)域，因此顯示錯誤的顏色。最后，沿著邊緣低通濾波前景物體從而提供逼真的外觀，如圖4中的右邊所示。在原始視圖中，由于在圖像捕獲期間最初的取樣和過濾，物體邊界樣本是前景-背景的顏色混合。在本發(fā)明的分層方法所繪制的中間視點視圖中，通常不包括這些混合顏色樣本，為的是避免背景中出現(xiàn)日冕狀假象。因此，某些前景-背景邊界看起來銳化的不自然，就好像前景物體是人為地插入到場景中的。因此，上面提及的Carmy邊緣檢測濾波器應用于最終的深度信息以便于識別邊緣，平均低通濾波器應用于相應的顏色樣本以便于提供更逼真的外觀。此外，過濾有助于減少沿著深度不連續(xù)性的剩余假象。所有處理步驟之后作為結(jié)果的中間視點視圖在圖5中示出，因此圖5示出了過濾之后的最終中間視點內(nèi)插，是圖Ib中的中間視點圖像12的例子。這里，兩個原始的攝像機之間的中間視點視圖被合成，即λ =0.5，在該情形中其對應于兩個原始攝像機之間IOcm 的物理距離。虛擬視點視圖品質(zhì)優(yōu)良且無可見的假象。視點視圖內(nèi)插器的目的是用M個視點加深度的MVD表示為3DV系統(tǒng)創(chuàng)建N個輸入視點視圖。一個例子是Wiilips自動立體顯示器，其中需要具有目距(大約5cm)的9個視點作為輸入。對如圖20所示的設置而言，在圖6中示出了作為芭蕾舞者和霹靂舞者數(shù)據(jù)集中9個視點視圖結(jié)果的五個。這些數(shù)據(jù)集的攝像機間距是20cm。在兩個原始的攝像機之間已經(jīng)創(chuàng)建了 λ = {1/4,1/2,3/4}的三個中間視點。圖6中最左邊和最右邊的圖像是原始視點視圖。中間的三個圖像是未顯示任何假象的虛擬視點視圖。成對的立體視點有效地支持運動視差和3D深度印象。換句話說，圖6示出了 9-視點自動立體顯示器的立體對距離的五個視點視圖在原始攝像機位置(極左和極右)的兩個視點視圖以及芭蕾舞(頂部) 和霹靂舞順序(底部)的中間視點視圖。概述以上實施例，描述了用于先進3D視頻(3DV)系統(tǒng)的概念，此3DV系統(tǒng)基于多視點和深度(MVD)表示。與基于MVC或MPEG-C Part3的可選擇的概念相比，從數(shù)據(jù)速率、 質(zhì)量、和功能方面來說，該3DV系統(tǒng)具有明顯的優(yōu)勢。特別地，高質(zhì)量的中間視點視圖內(nèi)插算法對使該概念可行而言是決定性的。上面提出了適當?shù)姆椒?，其最小化所繪制視點視圖中的假象。該算法僅僅以基于圖像的3D圖像變換為基礎，并不需要3D圖形支持。剛描述的實施例引入不可靠圖像區(qū)域沿著深度不連續(xù)性分離的前景邊界層和背景邊界層。分別處理邊界層和可靠層，以及遵循可靠性準則融合輸出。而且，已經(jīng)執(zhí)行空洞填補算法產(chǎn)生中間視點視圖中空白顏色信息。顏色樣本沿著明顯的深度不連續(xù)性的最終低通濾波可提供更為逼真的外觀，并減少沿著邊緣的剩余假象。視點視圖內(nèi)插可由位置相關參數(shù)來控制，此參數(shù)降低了原始視圖之間亮度差異的影響。隨即，已經(jīng)說明了高質(zhì)量的中間視點視圖繪制對基于MVD的3DV概念的必要性。以下部分描述了本發(fā)明的第二個實施例，與第一個實施例相比較更詳細。此外，該實施例把重點放在日益增長的3D視頻應用和系統(tǒng)，3D視頻應用和系統(tǒng)迅速增長且技術日益成熟。預期多視點自動立體顯示器在家庭用戶環(huán)境中將扮演重要角色，因為它支持多用戶3D感覺和運動視差印象。極大的數(shù)據(jù)速率不可能通過表示和諸如MVC或MPEG-C Part 3的編碼格式獲得有效地處理。多視點視頻加深度是有效地支持這樣的先進3DV系統(tǒng)的新格式，但是這需要高質(zhì)量的中間視合成。為此，下面提出的方法沿著深度不連續(xù)性分離可靠圖像區(qū)域與不可靠圖像區(qū)域，這兩區(qū)域被分別處理并融合為最終的內(nèi)插視點視圖。與先前的分層方法相比較，下面的算法使用兩個邊界層和一個可靠層，只執(zhí)行基于圖像的3D圖像變換，而不依賴于3D圖形支持。而且，加入了不同的空洞填補和過濾方法，從而提供了高質(zhì)量的中間視點視圖。因此，提出了適用于現(xiàn)存的9-視點自動立體顯示器的高質(zhì)量的中間視點視圖，其證明了適用于先進3DV系統(tǒng)方法的適合性。該概念依賴于高質(zhì)量的中間視合成算法。下面給出這樣的DIBR或3D圖像變換的一般表達。已知DIBR產(chǎn)生可察覺的假象，特別地沿著具有深度不連續(xù)性的物體邊界產(chǎn)生所述假象。因此，下面的實施例引入了新穎的 DIBR算法，其中在分層方法中處理深度不連續(xù)性，圖像區(qū)域被標記為可靠和不可靠區(qū)域。然后呈現(xiàn)標準3D圖像變換的結(jié)果和改進。最后，總結(jié)了第二個實施例。首先，系統(tǒng)地闡述了基于深度的中間視合成。在3DV框架內(nèi)我們假定為每個原始視點k給定以顏色數(shù)據(jù)lk、深度數(shù)據(jù)dk、和攝像機參數(shù)形式的輸入數(shù)據(jù)?？赏ㄟ^Ik的捕獲過程和相關聯(lián)的dk深度攝像機或深度估計過程來提供該數(shù)據(jù)。作為例子，適用于先進3DTV 概念的原始視點顯示在圖20底部，其中k e {1,5,9}。每個原始視點k的攝像機參數(shù)以內(nèi)部矩陣Kk的內(nèi)部參數(shù)(焦距、傳感器縮放、主光點)，以及具有旋轉(zhuǎn)矩陣&和平移向量tk的外部矩陣[&|tk]中的外部參數(shù)(旋轉(zhuǎn)、平移)的形式給定?？赏ㄟ^標準的攝像機標定算法 [27]、[6], [9]獲得攝像機參數(shù)。通常，外部矩陣和內(nèi)部矩陣相乘從而獲得投影矩陣Pk = Kk[Rk|tk]，其將3D世界點投影到原始視點k的平面圖像。因此，原始視點由下面給出Lk (Uk，vk)Dk (Uk，vk)(1)Pk在每個像素位置(uk，vk)給定的框架提供了許多稀疏的原始攝像機，以(1)的形式。視合成的任務是在任意對鄰近的原始攝像機之間提供稠密的中間視點。對該內(nèi)推過程的數(shù)學推導而言，根據(jù) (1)給定兩個原始視點k和η。對兩個攝像機之間的任意虛擬視點位置而言，引入內(nèi)插參數(shù) λ e W... 1]，其中λ =0是指第一個原始觀察位置，λ = 1是指第二個觀察位置和λ = 0.5例如定義了中間位置。對中間視點1λ( !λ，νλ)而言，首先計算出相關聯(lián)的內(nèi)部矩陣和外部矩陣Κλ = (I-X)Kk+λ KntA = (l_X)tk+Xtn(2)Ra = slerp(I k，Ι η，λ)這里，除了旋轉(zhuǎn)矩陣中的參數(shù)之外，所有參數(shù)都是線性內(nèi)插的，其中球面線性內(nèi)插 [24]用來保持矩陣的正交性。為此，分別內(nèi)插矩陣Rk和Ι η的列向量，從而獲得Ra的列向量。示出矩陣I的第一列向量Rji，l)的示例性計算 η /. ι ν f / w% / ·%\ 9% / ν λ ν sin (Cl *** λ ^iZ ι )JS!t fifc
權利要求
1.一種中間視合成設備(10)，用于將對應于第一視點的第一圖像(14)和對應于第二視點的第二圖像(16)合成為中間視點圖像(12)，所述第二視點不同于所述第一視點，所述第一圖像和第二圖像包含深度信息，其中所述第二圖像(16)被劃分為非邊界部分(16a)和前景/背景邊界區(qū)域(16b)，其中，所述中間視合成設備被構(gòu)造為將所述第一圖像(14)和所述第二圖像(16)投影和融合到中間視點，從而獲得所述中間視點圖像(12)，以及處理相對于所述非邊界部分(16a)次級的所述前景/背景邊界區(qū)域(16b)。
2.根據(jù)權利要求1所述的中間視合成設備，其中，所述中間視合成設備被構(gòu)造為至少使用所述前景/背景邊界區(qū)域(16b)的部分(16b2)來僅填補空洞，否則空洞會在所述中間視點圖像(1 中產(chǎn)生，以及使用所述第二圖像的與所述前景/背景邊界區(qū)域(16b)的部分 (16b2)分離的分離部分(16bl)來投影和融合到所述中間視點。
3.根據(jù)權利要求1或2所述的中間視合成設備，其中，所述第二圖像(16)的所述前景 /背景邊界區(qū)域(16b)包括前景邊界部分(16bl)和背景邊界部分(161^2)，所述中間視合成設備包括用于將所述第二圖像的所述非邊界部分(16a)和所述前景邊界部分(16bl)連同所述第一圖像(14)的至少一部分投影和融合到所述中間視點，從而獲得初始的中間視點圖像 (24)的裝置(22)；以及將所述第二圖像(16)的所述背景邊界部分(16 )投影到所述中間視點，以及用所投影的所述第二圖像(16)的所述背景邊界部分來填補所述初始的中間視點圖像04)中的空洞的裝置(26)。
4.根據(jù)權利要求3所述的中間視合成設備，進一步包含用于檢測所述第二圖像(16)中的所述前景/背景邊界區(qū)域(16b)的裝置(18)；用于將所述第二圖像(16)的所述前景/背景邊界區(qū)域(16b)劃分為所述前景邊界部分(16bl)和所述背景邊界部分(16 )的裝置(20)，這樣所述第二圖像(16)被劃分為所述非邊界部分(16a)、所述前景邊界部分(16bl)、和所述背景邊界部分(16b2)。
5.根據(jù)權利要求3所述的中間視合成設備，其中，所述中間視合成設備被構(gòu)造為獲得將所述第二圖像(16)的所述非邊界部分(16)、所述前景邊界部分(16bl)、和所述背景邊界部分(16b2)與多視點數(shù)據(jù)信號(32)區(qū)別開的層信息。
6.根據(jù)權利要求4所述的中間視合成設備，其中，用于檢測的所述裝置(18)被構(gòu)造為還檢測所述第一圖像(14)的前景/背景邊界區(qū)域，用于劃分的所述裝置00)被構(gòu)造為也將所述第一圖像(14)的前景/背景邊界區(qū)域劃分為前景邊界部分和背景邊界部分，這樣所述第一圖像(14)也被劃分為非邊界部分、前景邊界部分、和背景邊界部分，以及用于投影和融合的裝置0 被構(gòu)造為將第一和第二圖像(14、16)的非邊界部分和前景邊界部分投影和融合到所述中間視點，從而獲得所述初始的中間視點圖像04)，以及用于投影和填補的裝置06)被構(gòu)造為將所述第一和第二圖像(14、16)的背景邊界部分投影到所述中間視點，以及通過所投影的所述第一和第二圖像(14、16)的背景邊界部分來填補所述初始的中間視點圖像04)中的空洞。
7.根據(jù)權利要求3和4中任一項所述的中間視合成設備，其中，所述中間視合成設備被構(gòu)造為獲得至少將所述第一圖像(14)的非邊界部分和背景邊界部分與所述多視點數(shù)據(jù)信號區(qū)別開的層信息，其中用于投影和融合的裝置02)被構(gòu)造為將所述第二圖像(16)的非邊界部分(16a)和前景邊界部分(16bl)與所述第一圖像(14)的非邊界部分投影和融合到所述中間視點，從而獲得所述初始的中間視點圖像(M)，以及用于投影和填補的裝置06) 被構(gòu)造為將所述第一和第二圖像(14、16)的背景邊界部分投影到所述中間視點，以及通過所投影的所述第一和第二圖像(14、16)的背景邊界部分來填補所述初始的中間視點圖像 (24)中的空洞。
8.根據(jù)權利要求3至5中任一項所述的中間視合成設備，其中，所述中間視合成設備被構(gòu)造為獲得將所述第一圖像(14)的非邊界部分、前景邊界部分、和背景邊界部分區(qū)別開的層信息，其中，用于投影和融合的裝置02)被構(gòu)造為將所述第一和第二圖像(14、16)的非邊界部分和前景邊界部分投影和融合到中間視點，從而獲得所述初始的中間視點圖像 (M)，以及用于投影和填補的裝置06)被構(gòu)造為將所述第一和第二圖像(14、16)的背景邊界部分投影到所述中間視點，以及通過所投影的所述第一和第二圖像(14、16)的背景邊界部分來填補所述初始的中間視點圖像04)中的空洞。
9.根據(jù)權利要求4或6所述的中間視合成設備，其中，用于檢測前景/背景邊界區(qū)域的所述裝置(18)包括用于在深度信息中檢測邊緣的邊緣檢測器。
10.根據(jù)權利要求4、6或9所述的中間視合成設備，其中，所述用于劃分的裝置OO)被構(gòu)造為將作為所述前景/背景邊界區(qū)域(16b)的沿邊緣周圍的η-樣本-寬的區(qū)域分割為前景邊界部分(16bl)和背景邊界部分(16b2)。
11.根據(jù)權利要求4、6、9或10所述的中間視合成設備，其中，所述用于劃分的裝置 (20)被構(gòu)造為通過將前景/背景邊界區(qū)域(16b)的一樣本的深度信息的深度與一閾值比較來執(zhí)行分割，從而確定所述樣本屬于前景邊界部分(16bl)還是屬于背景邊界部分(161^2)。
12.根據(jù)權利要求11所述的中間視合成設備，其中，所述用于劃分的裝置OO)被構(gòu)造為通過計算鄰近所述樣本的前景/背景邊界區(qū)域(16b)的樣本的深度信息的深度值的集中趨勢來獲得所述閾值。
13.根據(jù)權利要求6所述的中間視合成設備，其中，所述用于投影和融合的裝置02)被構(gòu)造為將所述第一和第二圖像(14、16)的非邊界部分投影和融合到中間視點，從而獲得非邊界中間視點圖像，其中所述非邊界部分的融合包括所述第一和第二圖像(14、16)之間的平均值，以及將所述第一和第二圖像(14、16)的前景邊界部分投影和融合到非邊界中間視點圖像中，其中所述前景邊界部分的融合包括在所述非邊界中間視點圖像的樣本和由所述第一和第二圖像(14、16)的前景邊界部分投影產(chǎn)生的位于一處的樣本之間選擇，而不是取其平均值。
14.根據(jù)權利要求3至13中任一項所述的中間視合成設備，其中，所述用于投影和融合的裝置02)與所述用于投影和填補的裝置06)被構(gòu)造為通過使用相關聯(lián)的深度信息將樣本從2D投影到3D，從而獲得3D世界點，以及將所述3D世界點投影到中間視點來執(zhí)行到所述中間視點的各投影。
15.根據(jù)權利要求14所述的中間視合成設備，其中，所述用于投影和融合的裝置02) 與所述用于投影和填補的裝置06)被構(gòu)造為通過在所述第一視點和所述第二視點的投影矩陣之間內(nèi)插來計算投影矩陣，以及通過使用所述投影矩陣執(zhí)行所述3D世界點的投影。
16.根據(jù)權利要求3至15中任一項所述的中間視合成設備，其中，所述用于投影和融合的裝置02)與所述用于投影和填補的裝置06)被構(gòu)造為通過在像素平面內(nèi)按照取決于偏離所述中間視點的量移動樣本位置來執(zhí)行到所述中間視點的各投影。
17.根據(jù)前述權利要求中任一項所述的中間視合成設備，進一步包括通過過濾和/或外推到所述中間視點圖像的剩余空洞來增強所述中間視點圖像的裝置08)。
18.根據(jù)前述權利要求中任一項所述的中間視合成設備，進一步包括通過檢測所述中間視點圖像的前景/背景邊界，以及在所述中間視點圖像的前景/背景邊界區(qū)域內(nèi)低通濾波來增強所述中間視點圖像的裝置08)。
19.根據(jù)前述權利要求中任一項所述的中間視合成設備，其中，第一和第二圖像(14、 16)是MVD或LDV視頻的部分。
20.根據(jù)前述權利要求中任一項所述的中間視合成設備，其中，第一和第二圖像(14、 16)具有與所述深度信息相關聯(lián)的顏色信息。
21.根據(jù)前述權利要求中任一項所述的中間視合成設備，所述中間視合成設備是3DTV 顯示系統(tǒng)的一部分。
22.—種多視點數(shù)據(jù)信號提取設備，用于從多視點表示中提取多視點數(shù)據(jù)信號(32)， 所述多視點表示包括對應于第一視點的第一圖像(34)和對應于第二視點的第二圖像 (36)，所述第二視點不同于第一視點，第一和第二圖像包含深度信息，所述多視點數(shù)據(jù)信號提取設備包括用于檢測所述第二圖像的前景/背景邊界GO)的裝置(38)；用于確定所述第二圖像沿所述前景/背景邊界GO)的去除左邊邊界部分G4)的裝置 (42)；用于將無所述去除左邊邊界部分G4)的所述第二圖像(36)投影到所述第一視點，從而獲得具有非遮擋區(qū)域(50)的所述第二圖像(36)的投影變體08)的裝置06)；以及用于將所述第二個圖像(36)連同所述第一圖像(34)的一部分插入到所述多視點數(shù)據(jù)信號(3 中的裝置(52)，所述第一圖像的部分取決于所述非遮擋區(qū)域(50)在所述第二圖像(36)的投影變體08)內(nèi)的位置。
23.根據(jù)權利要求22所述的多視點數(shù)據(jù)信號提取設備，進一步包括用于將被插入到多視點數(shù)據(jù)信號(3 中的所述第一圖像(34)的一部分確定為所述第二圖像的投影變體內(nèi)的所述非遮擋區(qū)域(50)所延伸覆及的所述第一圖像(34)的區(qū)域的裝置(54)。
24.根據(jù)權利要求22或23所述的多視點數(shù)據(jù)信號提取設備，其中，用于投影的裝置 (46)被構(gòu)造為將無所述去除左邊邊界部分的所述第二圖像也投影到第三視點，從而獲得具有非遮擋區(qū)域的所述第二圖像的進一步投影變體，以及其中，用于插入的裝置被構(gòu)造為將所述第二圖像、所述第一圖像的所述部分、和所述第三圖像的部分插入到多視點數(shù)據(jù)信號中，第二和第三圖像的部分取決于所述非遮擋區(qū)域在所述第二圖像的所述進一步投影變體內(nèi)的位置，其中所述第二視點位于所述第一視點和所述第三視點之間。
25.根據(jù)權利要求M所述的多視點數(shù)據(jù)信號提取設備，其中，用于插入的裝置(52)被構(gòu)造為將層信息插入到多視點數(shù)據(jù)信號(32)中，所述層信息至少將所述第二個圖像的所述非邊界部分(56)和所述去除左邊邊界部分G4)區(qū)別開。
26.根據(jù)權利要求22或25中任一項所述的多視點數(shù)據(jù)信號提取設備，進一步包括用于填補由于投影所述第二圖像和/或過濾所述第二圖像的所述投影變體而產(chǎn)生的微小空洞的裝置(58)。
27.根據(jù)權利要求22至26中任一項所述的多視點數(shù)據(jù)信號提取設備，其中，用于插入的裝置(5 被構(gòu)造為丟棄所述第一圖像的剩余部分，所述剩余部分與取決于所述非遮擋區(qū)域(50)在所述第二圖像的投影變體內(nèi)的位置的部分分離，以及在所述多視點數(shù)據(jù)信號 (32)中以信號表明所述丟棄。
28.根據(jù)權利要求22至27中任一項所述的多視點數(shù)據(jù)信號提取設備，其中，用于檢測前景/背景邊界GO)的裝置(38)包括用于在所述深度信息中檢測邊緣的邊緣檢測器。
29.根據(jù)權利要求觀所述的多視點數(shù)據(jù)信號提取設備，其中，用于確定的裝置G2)被構(gòu)造為將所述邊緣的周圍η-樣本-寬的區(qū)域分割為前景邊界部分和背景邊界部分，所述背景邊界部分限定所述去除左邊部分G4)。
30.根據(jù)權利要求四所述的多視點數(shù)據(jù)信號提取設備，其中，用于確定的裝置G2)被構(gòu)造為通過將所述η-樣本-寬的區(qū)域的一樣本的深度信息的深度與一閾值比較來進行分割，從而確定該樣本屬于所述前景邊界部分還是屬于所述背景邊界部分。
31.根據(jù)權利要求30所述的多視點數(shù)據(jù)信號提取設備，其中，用于確定的裝置02)被構(gòu)造為通過計算鄰近所述樣本的η-樣本-寬區(qū)域的樣本的深度信息的深度值的集中趨勢來獲得所述閾值。
32.根據(jù)權利要求22至31中任一項所述的多視點數(shù)據(jù)信號提取設備，其中，用于投影的裝置G6)被構(gòu)造為通過使用相關聯(lián)的深度信息將樣本從2D投影到3D，從而獲得3D世界點，并將所述3D世界點投影到所述中間視點，來執(zhí)行到所述中間視點的各投影。
33.根據(jù)權利要求32所述的多視點數(shù)據(jù)信號提取設備，其中，所述用于投影的裝置 (46)被構(gòu)造為通過在所述第一視點和所述第二視點的投影矩陣之間內(nèi)插來計算投影矩陣， 以及通過使用所述投影矩陣執(zhí)行所述3D世界點的投影。
34.根據(jù)前述任一項權利要求所述的多視點數(shù)據(jù)信號提取設備，其中，所述用于投影的裝置G2)被構(gòu)造為通過在像素平面內(nèi)按照取決于偏離所述中間視點的量移動樣本位置來執(zhí)行到所述中間視點的各投影。
35.一種多視點數(shù)據(jù)信號，包括關于對應于第一視點的第一圖像(34)和對應于第二視點的第二圖像(36)的數(shù)據(jù)，所述第二視點不同于所述第一視點，所述第一圖像和所述第二圖像包含深度信息，其中所述第一圖像(34)的僅僅一部分包括在所述多視點數(shù)據(jù)信號 (32)中，而其分離部分在所述多視點數(shù)據(jù)信號(32)中被丟棄，所述部分取決于非遮擋區(qū)域 (50)在所述第二圖像(36)的投影變體內(nèi)的位置，所述第二圖像的投影變體通過將無去除左邊邊界部分G4)的第二圖像(36)投影到所述第一視點而獲得，所述去除左邊邊界部分沿著所述第二圖像(36)的前景/背景邊界00)擴展。
36.一種中間視合成方法，用于由對應于第一視點的第一圖像和對應于第二視點的第二圖像合成為中間視點圖像，所述第二視點不同于所述第一視點，第一和第二圖像包含深度信息，其中所述第二圖像被劃分為非邊界部分和前景/背景邊界區(qū)域，其中所述中間視點合成方法包括將所述第一圖像和所述第二圖像投影和融合到所述中間視點，從而獲得所述中間視點圖像，以及處理相對于所述非邊界部分次級的所述前景/背景邊界區(qū)域。
37.一種多視點數(shù)據(jù)信號提取方法，用于從多視點表示中提取所述多視點數(shù)據(jù)信號，所述多視點表示包含對應于第一視點的第一圖像和對應于第二視點的第二圖像，所述第二視點不同于所述第一視點，第一和第二圖像包含深度信息，所述多視點數(shù)據(jù)信號提取方法包括檢測所述第二圖像的前景/背景邊界；確定沿著所述前景/背景邊界的去除左邊邊界部分；將無所述去除左邊邊界部分的所述第二圖像投影到所述第一視點，從而獲得具有非遮擋區(qū)域的所述第二圖像的投影變體；以及將所述第二圖像連同所述第一圖像的部分插入到所述多視點數(shù)據(jù)信號中，所述第一圖像的部分取決于所述非遮擋區(qū)域在所述第二圖像的投影變體內(nèi)的位置。
38.當運行在計算機上時，計算機程序執(zhí)行根據(jù)權利要求36或37的方法的指令。
全文摘要
本發(fā)明描述了一種中間視合成設備，其用于將對應于第一個視點的第一圖像(14)和對應于第二視點的第二圖像(16)合成為中間視點圖像，所述第二視點不同于第一視點，所述第一圖像和第二圖像包含深度信息，其中第二圖像被劃分為非邊界部分(16a)、和前景/背景邊界區(qū)域(16b)，其中所述中間視合成設備被構(gòu)造為將第一圖像和第二圖像投影到中間視，從而獲得中間視點圖像(12)，以及處理相對于非邊界部分(16a)次級的前景/背景邊界區(qū)域(16b)。本發(fā)明還描述了一種多視點數(shù)據(jù)信號提取設備，其用于從多視點表示中提取多視點數(shù)據(jù)信號，該多視點表示包含對應于第一視點的第一圖像和對應于第二視點的第二圖像，所述第二視點不同于第一視點，所述第一圖像和第二圖像包含深度信息。該多視點數(shù)據(jù)信號提取設備包含用于檢測第二圖像的前景/背景邊界的裝置；用于確定沿著前景/背景邊界的去除左邊邊界部分的裝置；用于將無去除左邊邊界部分的第二圖像投影到第一視點，從而獲得具有非遮擋區(qū)域的第二圖像的投影變體的裝置；和用于將第二圖像沿著第一圖像的部分插入到多視點數(shù)據(jù)信號中的裝置，該第一圖像的部分取決于非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置。
文檔編號G06T15/20GK102239506SQ200980148452
公開日2011年11月9日 申請日期2009年9月28日 優(yōu)先權日2008年10月2日
發(fā)明者克里斯蒂娜·迪克斯, 卡斯滕·米勒, 阿爾約薩·斯莫利克 申請人:弗蘭霍菲爾運輸應用研究公司