相關(guān)申請的交叉引用

本申請要求如下美國臨時(shí)申請的申請日的權(quán)益，其通過引用而被整體合并于此：(i)2010年6月11日提交和發(fā)明名稱為“3D Disparity Maps(三維視差圖)”的第61/397,418號；以及(ii)2010年3月31日提交和發(fā)明名稱為“Dense Disparity Maps(稠密視差圖)”的第61/319,566號。

技術(shù)領(lǐng)域

本文描述了涉及3D(三維)的實(shí)現(xiàn)方式。各種具體實(shí)現(xiàn)方式涉及視頻圖像的視差圖。

背景技術(shù)：

立體視頻提供包括左視頻圖像和右視頻圖像的兩種視頻圖像。還可以為這兩種視頻圖像提供深度和/或視差信息。深度和/或視差信息可以用于對兩種視頻圖像的多種處理操作。

技術(shù)實(shí)現(xiàn)要素：

按照一個(gè)一般方面，存取畫面中的特定地點(diǎn)的視差值。該視差值指示與特定分辨率有關(guān)的視差。根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值。

按照另一個(gè)一般方面，信號或結(jié)構(gòu)包括其包括畫面中的特定地點(diǎn)的視差值的視差部分。該畫面具有特定分辨率。該視差值指示與不同于該特定分辨率和基于多種分辨率的另一個(gè)分辨率有關(guān)的視差。

按照另一個(gè)一般方面，存取畫面中的特定地點(diǎn)的視差值。該畫面具有特定分辨率。該視差值指示與不同于該特定分辨率和基于多種分辨率的另一個(gè)分辨率有關(guān)的視差。修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改視差值。

在附圖和下面的描述中展示了一種或多種實(shí)現(xiàn)方式的細(xì)節(jié)。即使以一種特定方式描述，也應(yīng)該清楚可以以各種方式配置或具體化這些實(shí)現(xiàn)方式。例如，一種實(shí)現(xiàn)方式可以作為方法來執(zhí)行，具體化成諸如，例如，配置成執(zhí)行一組操作的裝置或存儲執(zhí)行一組操作的指令的裝置那樣的裝置，或以信號形式具體化。其他方面和特征將從結(jié)合附圖和權(quán)利要求書考慮的如下詳細(xì)描述中清楚看出。

附圖說明

圖1是平行攝像機(jī)的實(shí)際深度值的圖形表示。

圖2是視差值的圖形表示。

圖3是表觀深度與視差之間的關(guān)系的圖形表示；

圖4是交向攝像機(jī)的圖形表示。

圖5是立體視頻圖像對中的遮擋的圖形表示。

圖6是描繪具有不同本機(jī)格式和傳輸格式的一個(gè)實(shí)現(xiàn)方式的框/流程圖。

圖7是視差值的公倍數(shù)表示的一個(gè)例子的表格表示。

圖8是描繪發(fā)送和使用視差值的公倍數(shù)表示的過程的一個(gè)例子的方塊/流程圖。

圖9是描繪可以與一種或多種實(shí)現(xiàn)方式一起使用的發(fā)送系統(tǒng)的一個(gè)例子的方塊/流程圖。

圖10是描繪可以與一種或多種實(shí)現(xiàn)方式一起使用的接收系統(tǒng)的一個(gè)例子的方塊/流程圖。

具體實(shí)施方式

作為展示在本申請中的一些特征的預(yù)覽，至少一種實(shí)現(xiàn)方式描述了基于比任何標(biāo)準(zhǔn)顯示器的最大分辨率大得多的分辨率的視差值的使用。在本申請中，術(shù)語“分辨率”一般指水平分辨率，以及用，例如，顯示器的像素的數(shù)量，顯示器的像素的方塊的數(shù)量，或數(shù)字圖像的元素的數(shù)量來度量。非標(biāo)準(zhǔn)分辨率是易于轉(zhuǎn)換成幾種標(biāo)準(zhǔn)顯示分辨率之一或多種的整數(shù)。在這種特定實(shí)現(xiàn)方式中，有效顯示分辨率是幾種標(biāo)準(zhǔn)顯示分辨率的最小公倍數(shù)。有效顯示分辨率的視差值用整數(shù)格式表示。作為基于大非顯示分辨率的結(jié)果，視差值可能很大。然而，當(dāng)將視差值向下轉(zhuǎn)換成標(biāo)準(zhǔn)顯示分辨率時(shí)，整數(shù)表示保證了子像素精度。

從上面的預(yù)覽中退出，圖1例示了視頻圖像中的深度的概念。圖1示出了帶有傳感器107的右攝像機(jī)105、和帶有傳感器112的左攝像機(jī)110。兩臺攝像機(jī)105，110捕獲物體115的圖像。為了例示的目的，物體115是有形十字架，其具有位于十字架的右側(cè)的任意細(xì)節(jié)116(參見圖2)。右攝像機(jī)105含有捕獲角120，左攝像機(jī)110具有捕獲角125。兩個(gè)捕獲角120，125在3D立體區(qū)130中重疊。

因?yàn)槲矬w115處在3D立體區(qū)130中，所以物體115可被攝像機(jī)105，110兩者看見，因此物體115能夠被感覺成具有深度。物體115具有實(shí)際深度135。實(shí)際深度135一般被稱為從物體115到攝像機(jī)105，110的距離。更具體地說，實(shí)際深度135可以稱為從物體115到立體攝像機(jī)基線140的距離，立體攝像機(jī)基線140是通過兩臺攝像機(jī)105，110的入射光瞳面定義的平面。攝像機(jī)的入射光瞳面通常在變焦透鏡內(nèi)部，因此通常在物理上是不可接近的。

攝像機(jī)105，110還被顯示成具有焦距145。焦距145是從出射光瞳面到傳感器107，112的距離。為了例示的目的，入射光瞳面和出射光瞳面被顯示成重合的，但在大多數(shù)情況下，它們分開一點(diǎn)。另外，攝像機(jī)105，110被顯示成具有基線長度150?；€長度150是攝像機(jī)105，110的入射光瞳的中心之間的距離，因此在立體攝像機(jī)基線140上測量。

物體115被攝像機(jī)105和110的每一臺成像成傳感器107和112的每一個(gè)上的實(shí)像。這些實(shí)像包括傳感器107上的細(xì)節(jié)116的實(shí)像117、和傳感器112上的細(xì)節(jié)116的實(shí)像118。如圖1所示，如在現(xiàn)有技術(shù)中所知，實(shí)像是顛倒的。

深度與視差密切相關(guān)。圖2示出了從攝像機(jī)110捕獲的左圖像205、和從攝像機(jī)105捕獲的右圖像210。兩個(gè)圖像205，210包括具有細(xì)節(jié)116的物體115的表示。圖像210包括細(xì)節(jié)116的細(xì)節(jié)圖像217，圖像205包括細(xì)節(jié)116的細(xì)節(jié)圖像218。在左圖像205中的細(xì)節(jié)圖像218中的像素220中，以及在右圖像210中的細(xì)節(jié)圖像217中的像素225中捕獲了細(xì)節(jié)116的最右點(diǎn)。像素220和像素225的地點(diǎn)之間的水平距離是視差230。假設(shè)物像217，218是垂直對準(zhǔn)的，使得細(xì)節(jié)116的圖像在圖像205，210兩者中具有相同垂直位置。當(dāng)左右圖像205，210分別被觀眾的左右眼看到時(shí)，視差230提供了物體215具有深度的感覺。

圖3示出了視差與感覺深度之間的關(guān)系。所示的是三個(gè)觀察者305，307，309在各自屏幕310，320，330上觀看物體的立體圖像對。

第一觀察者305觀看具有正視差的物體的左視圖315和物體的右視圖317。正視差反映在屏幕310上物體的左視圖315在物體的右視圖317的左側(cè)的事實(shí)。正視差導(dǎo)致出現(xiàn)在屏幕310的平面的后面的感覺或虛擬物體319。

第二觀察者307觀看具有零視差的物體的左視圖325和物體的右視圖327。零視差反映在屏幕320上物體的左視圖325處在與物體的右視圖327相同的位置上的事實(shí)。零視差導(dǎo)致出現(xiàn)在與屏幕320相同的深度上的感覺或虛擬物體329。

第三觀察者309觀看具有負(fù)視差的物體的左視圖335和物體的右視圖337。負(fù)視差反映在屏幕330上物體的左視圖335在物體的右視圖337的右側(cè)的事實(shí)。負(fù)視差導(dǎo)致出現(xiàn)在屏幕330的平面的前面的感覺或虛擬物體339。

在這一點(diǎn)上值得注意的是，視差和深度在各種實(shí)現(xiàn)方式中可以互換使用，除非上下文另有所指或要求。從方程1中我們知道視差與景深成反比：

$D=\frac{f\·b}{d}---\left(1\right)$

其中“D”描述深度(圖1中的135)，“b”是兩臺立體圖像攝像機(jī)之間的基線長度(圖1中的150)，“f”是每臺攝像機(jī)的焦距(圖1中的145)，以及“d”是兩個(gè)相對特征點(diǎn)的視差(圖2中的230)。

上面的方程1對于具有相同焦距的平行攝像機(jī)是有效的?？梢詾槠渌樾味x更復(fù)雜的公式，但在大多數(shù)情況下，方程1可以用作近似。但是，另外，如本領(lǐng)域的普通技術(shù)人員所知，下面的方程2至少對于交向(converging)攝像機(jī)的各種安排是有效的：

$D=\frac{f\·b}{d_{\mathrm{\∞}}-d}---\left(2\right)$

其中d_∞是處在無窮遠(yuǎn)的物體的視差值。d_∞取決于交向角和焦距，用米(例如)來表達(dá)而不是用像素的數(shù)量來表達(dá)。前面參照圖1和針對焦距145已經(jīng)討論過焦距。交向角如圖4所示。

圖4包括處在交向配置下而不是圖1的平行配置下的攝像機(jī)105和攝像機(jī)110。角度410示出了攝像機(jī)105，110交向的視線，角度410可以稱為交向角。

視差圖用于提供視頻圖像的視差信息。視差圖一般指具有與相關(guān)視頻圖像中的像素相對應(yīng)的幾何的一組視差值。

稠密視差圖一般指具有通常與相關(guān)視頻圖像的分辨率相同的空間和時(shí)間分辨率的視差圖。時(shí)間分辨率指的是，例如，幀速率，以及可以是，例如，50Hz或60Hz。因此，稠密視差圖一般每個(gè)像素地點(diǎn)具有一個(gè)視差樣本。稠密視差圖的幾何通常與相應(yīng)視頻圖像的幾何相同，例如，具有以像素為單位的如下水平和垂直尺寸的長方形：

(i)1920×1080(或1920×1200)；

(ii)1440×1080(或1440×900)；

(iii)1280×720(或1280×1024，1280×960，1280×900，1280×800)；

(iv)960×640(或960×600，960×576，960×540)；

(v)2048×1536(或2048×1152)；

(vi)4096×3072(或4096×3112，4096×2304，4096×2400，4096×2160，4096×768)；或

(vii)8192×4302(或8192×8192，8192×4096，7680×4320)。

稠密視差圖的分辨率可以基本上與相關(guān)圖像的分辨率相同，但也可以與之不同。在一種實(shí)現(xiàn)方式中，圖像邊界上的視差信息難以獲得。因此，在那種實(shí)現(xiàn)方式中，邊界像素上的視差值未包括在視差圖中，該視差圖小于相關(guān)圖像。

下采樣視差圖一般指分辨率小于本機(jī)視頻分辨率(例如，除以因數(shù)4)的視差圖。下采樣視差圖將，例如，每個(gè)像素塊具有一個(gè)視差值。

稀疏視差圖一般指與相應(yīng)視頻圖像中被認(rèn)為可容易跟蹤的有限個(gè)像素(例如，1000個(gè))相對應(yīng)的一組視差。所選的有限個(gè)像素一般取決于內(nèi)容本身。在圖像中經(jīng)常超過一二百萬個(gè)像素(1280×720或1920×1080)。像素子集選擇一般通過能夠檢測特征點(diǎn)的跟蹤工具自動或半自動完成的。跟蹤工具都是現(xiàn)成的。特征點(diǎn)可以是，例如，可以在其他圖像中容易跟蹤的畫面中的邊緣或角落點(diǎn)。一般為像素子集優(yōu)選代表物體的高對比度邊緣的特征。

視差圖，或更一般地說，視差信息可以用于多種處理操作。這樣的操作包括，例如，調(diào)整消費(fèi)者設(shè)備上的3D效果的視圖內(nèi)插(呈現(xiàn))、提供智能字幕布置、視覺效果以及圖形插入。

在一種特定實(shí)現(xiàn)方式中，將圖形插入圖像的背景中。在這種實(shí)現(xiàn)方式中，3D呈現(xiàn)包括兩者都在前景中的體育比賽解說員和足球運(yùn)動員之間的立體視頻采訪。背景包括體育館的視圖。在本例中，視差圖用于當(dāng)相應(yīng)視差值比預(yù)定值小(也就是說，更近)時(shí)從立體視頻采訪中選擇像素。相反，如果視差值比預(yù)定值大(也就是說，更遠(yuǎn))時(shí)從圖形中選擇像素。這使，例如，導(dǎo)演可以將采訪參與者顯示在圖形圖像的前面，而不是在實(shí)際體育館背景的前面。在其他變體中，在球員最近得分播放的重放期間用像，例如，球場那樣的另一種環(huán)境取代該背景。

在一種實(shí)現(xiàn)方式中，根據(jù)用戶偏愛軟化(減弱)3D效果。為了減弱3D效果(減小視差的絕對值)，使用視差和視頻圖像內(nèi)插新視圖。例如，將新視圖放置在現(xiàn)有左視圖和右視圖之間的地點(diǎn)上，讓新視圖取代左視圖和右視圖之一。因此，新立體圖像對具有縮短的基線長度和具有減小的視差，因此具有減弱的3D效果。

在另一種實(shí)現(xiàn)方式中，進(jìn)行外推而不是內(nèi)插，以便擴(kuò)大表觀深度，從而增強(qiáng)3D效果。在這種實(shí)現(xiàn)方式中，與相對于原始左右視圖之一具有更長基線長度的虛擬攝像機(jī)相對應(yīng)地外推新視圖。

在另一個(gè)實(shí)施例中，視差圖用于在視頻圖像中智能放置字幕，以便降低或避免觀眾不適感。例如，字幕一般應(yīng)具有在字幕遮擋的任何物體前面的感覺深度。但是，感覺深度一般應(yīng)具有與感興趣的區(qū)域相當(dāng)，而不是在感興趣區(qū)域中的物體前面太遠(yuǎn)的深度。

對于許多3D處理操作，稠密視差圖優(yōu)于下采樣視差圖或稀疏視差圖。例如，當(dāng)視差圖用于實(shí)現(xiàn)用戶可控3D效果時(shí)，基于每個(gè)像素的視差信息一般是優(yōu)選的?；诿總€(gè)像素視差信息一般可能取得更好的結(jié)果，因?yàn)槭褂孟∈杌蛳虏蓸右暡顖D可能使合成視圖的質(zhì)量變差。

視差值可以用多種格式表示。有幾種實(shí)現(xiàn)方式使用如下格式來表示視差值以便于存儲或發(fā)送：

(i)帶符號整數(shù)：2的補(bǔ)數(shù)

·(a)負(fù)視差值指示在屏幕前面的深度

·(b)零用于屏幕面中物體的視差值

(ii)1/8像素為單位

(iii)用16位表示視差值

·(a)典型視差范圍在+80個(gè)像素到-150個(gè)像素之間變化。這對于分辨率為1920或2048的四十英寸顯示器一般足夠了。

·(b)對于1/8像素精度，該范圍在+640到-1200個(gè)單位之間，這可以用11個(gè)位+1個(gè)符號位＝12個(gè)位來表示。

·(c)為了在8k顯示器(具有約等于1920或2048個(gè)像素寬的顯示器的水平分辨率的四倍的分辨率)上保持相同3D效果，我們通常需要兩個(gè)附加位來編碼視差：12+2＝14個(gè)位。

·(d)提供2個(gè)位以備將來使用。

并且，使用上述格式的各種實(shí)現(xiàn)方式也為稠密視差圖提供。因此，為了針對這樣的實(shí)現(xiàn)方式來完成稠密視差圖，為相應(yīng)視頻圖像中的每個(gè)像素地點(diǎn)提供上述16-位格式。

視差以及相關(guān)深度變化造成場景的不同視圖之間的遮擋。圖5示出了在觀眾的大腦中組合在一起產(chǎn)生3D場景530的左視圖510和右視圖520。左視圖510、右視圖520、和3D場景530每一種都包含三個(gè)物體，其包括胖圓筒532、橢球體534、和瘦圓筒536。但是，如圖5所示，三個(gè)物體532，534，536的兩個(gè)在兩個(gè)視圖510，520和3D場景530的每一個(gè)中處在不同的相對地點(diǎn)上。這兩個(gè)物體是胖圓筒532和瘦圓筒536。橢球體534在視圖510，520和3D場景530的每一個(gè)中處在相同的相對地點(diǎn)上。

如下面簡化討論所說明，不同的相對地點(diǎn)會產(chǎn)生遮擋。在也揭示了遮擋區(qū)545和548的左圖像540中示出了左視圖510。遮擋區(qū)545和548只在左視圖510中可看見而在右視圖520中看不見。這是因?yàn)?i)在右視圖520中與遮擋區(qū)545相對應(yīng)的區(qū)域被胖圓筒532覆蓋，以及(ii)在右視圖520中與遮擋區(qū)548相對應(yīng)的區(qū)域被瘦圓筒536覆蓋。

類似地，在也揭示了兩個(gè)遮擋區(qū)555和558的右圖像550中示出了右視圖520。遮擋區(qū)555，558只在右視圖520中可看見而在左視圖510中看不見。這是因?yàn)?i)在左視圖510中與遮擋區(qū)555相對應(yīng)的區(qū)域被胖圓筒532覆蓋，以及(ii)在左視圖510中與遮擋區(qū)558相對應(yīng)的區(qū)域被瘦圓筒536覆蓋。

鑒于在立體圖像對中可能存在遮擋，為立體圖像對提供兩個(gè)視差圖是有用的。在一種這樣的實(shí)現(xiàn)方式中，為左視頻圖像提供左視差圖，為右視頻圖像提供右視差圖。已知算法可以用于將視差值指定給每個(gè)圖像不能使用標(biāo)準(zhǔn)視差矢量手段確定視差值的像素地點(diǎn)。然后可以通過比較左右視差值確定遮擋區(qū)。

作為比較左右視差值的一個(gè)例子，考慮左眼圖像和相應(yīng)右眼圖像。一個(gè)像素L處在第N行上，在左眼圖像中具有水平坐標(biāo)x_L。像素L被確定為具有視差值d_L。像素R處在相應(yīng)右眼圖像的第N行上，具有與x_L+d_L最接近的水平坐標(biāo)。像素R被確定為具有大約“-d_L”的視差值d_R。然后，可以有較大程度把握地認(rèn)為，在L或R上沒有遮擋，因?yàn)橐暡钕嗷?yīng)。也就是說，一般說來，對于它們確定的視差，像素L和R兩者指向?qū)Ψ健?/p>

但是，如果d_R不與-d_L大致相同，則可能存在遮擋。例如，如果兩個(gè)視差值明顯不同，則在考慮到符號之后，一般可以很有把握地認(rèn)為存在遮擋。在一種實(shí)現(xiàn)方式中，明顯不同用|d_L-d_R|>1來指示。另外，如果視差值之一(d_R或d_L)不可用，則一般可以有較大程度把握地認(rèn)為存在遮擋。視差值可能不可用是因?yàn)?，例如，不能確定視差值。遮擋一些涉及兩個(gè)圖像之一。例如，與具有較小幅度的視差相聯(lián)系的像素所示，或與不可用視差值相對應(yīng)的像素所示的場景部分一般認(rèn)為在另一個(gè)圖像中被遮擋。

表示視差值的一種可能性是使用整數(shù)來表示視頻圖像中的給定像素地點(diǎn)的視差的像素?cái)?shù)。視差值代表視頻圖像的特定水平分辨率的視差的像素?cái)?shù)。因此，視差值取決于特定水平分辨率。這樣的實(shí)現(xiàn)方式是有用的并且可以是有效的。

但是，其他實(shí)現(xiàn)方式要求視差值達(dá)到子像素精度。這樣的實(shí)現(xiàn)方式一般使用浮點(diǎn)數(shù)來表示視差值，以便在視差值中可以包括分?jǐn)?shù)。這些實(shí)現(xiàn)方式的幾種提供了給定水平分辨率特有的視差值。這些實(shí)現(xiàn)方式也是有用的并且可以是有效的。

一些其他實(shí)現(xiàn)方式將視差值表示成百分比值。因此，取代將視差表示成像素?cái)?shù)，將視差表示成水平分辨率的百分比。例如，如果給定像素地點(diǎn)的視差是十個(gè)像素，和水平分辨率是1920，則百分比視差值是(10/1920)*100。這樣的實(shí)現(xiàn)方式也可以提供視差的子像素精度。百分比值表示通常是浮點(diǎn)表示，而不是整數(shù)表示。例如，水平分辨率為1920的顯示器的一個(gè)像素視差是1/1920，等于0.0005208或0.05208％。

并且，這樣的百分比視差值可以直接應(yīng)用于其他水平分辨率。例如，假設(shè)(i)視頻圖像具有1920的水平分辨率，(ii)將視頻圖像發(fā)送到用戶的家里，以及(iii)用戶的顯示設(shè)備具有1440的水平分辨率。在這種情形下，用戶的顯示設(shè)備(或機(jī)頂盒、一些其他處理器或處理設(shè)備)通常將視頻圖像的水平分辨率從1920轉(zhuǎn)換成1440，并且還轉(zhuǎn)換視差值以便視差值對應(yīng)于1440的水平分辨率。該轉(zhuǎn)換可以，例如，通過將百分比視差值乘以水平分辨率來進(jìn)行。例如，如果給定像素地點(diǎn)的百分比視差是0.5％，并且水平分辨率是1920，則絕對視差值是1/2*1920/100。這些實(shí)現(xiàn)方式的幾種與視頻圖像和視差圖的水平分辨率無關(guān)地將等于百分比視差值的單個(gè)視差值用在視差值的發(fā)送和存儲中。這樣的實(shí)現(xiàn)方式也是有用的，并且可以是有效的。

如上所述，發(fā)送系統(tǒng)可以使用與視頻圖像的水平分辨率不同的發(fā)送格式的水平分辨率。另外，接收系統(tǒng)可以使用不同水平分辨率來顯示視頻圖像。因此，可能需要從一種水平分辨率轉(zhuǎn)換到另一種水平分辨率。這樣的轉(zhuǎn)換不僅改變視頻圖像的分辨率，而且需要調(diào)整視差值。一般說來，這樣的轉(zhuǎn)換不僅是絕對視差值所需的，而且是百分比視差值所需的。

如下的例子提供了有關(guān)各種實(shí)現(xiàn)方式之間的一些折衷的更多細(xì)節(jié)：

●(i)一種實(shí)現(xiàn)方式將視差值格式化成精度為一個(gè)像素的1/8的給定視頻分辨率的絕對值(像素?cái)?shù))(例如，在具有1920個(gè)水平像素的視頻內(nèi)容上一個(gè)物體具有10個(gè)像素的視差)。

●(ii)這樣的系統(tǒng)具有許多優(yōu)點(diǎn)，包括簡單和易于操縱。

●(iii)在一個(gè)這樣的系統(tǒng)中，使用11個(gè)位：8位用于提供上至255個(gè)像素視差的整數(shù)部分，3位用于小數(shù)部分(以便達(dá)到1/8準(zhǔn)確度或精度)。注意，也可以使用符號位，或系統(tǒng)提供+/-127個(gè)像素的視差值。

●(iv)如果在發(fā)送期間需要將視頻圖像重新格式化，則也要將視差圖格式化，這可能導(dǎo)致信息丟失。例如，參照圖6，一種實(shí)現(xiàn)方式使用水平分辨率為1920的本機(jī)格式610和下采樣成具有1280(或在另一種實(shí)現(xiàn)方式中，1440)的水平分辨率的發(fā)送格式620。在通常導(dǎo)致深度細(xì)節(jié)丟失的子采樣之前，與視頻圖像一樣地濾波深度或視差圖。該濾波發(fā)生在濾波和子采樣操作630中。將濾波和子采樣操作應(yīng)用于視頻圖像和視差圖像兩者。

●(v)而且，新視差值被轉(zhuǎn)換，并通常遭到破壞。例如，在下采樣以便降低視差圖的分辨率(也就是說，減少視差值的數(shù)量)之后，視差值被轉(zhuǎn)換成發(fā)送格式的分辨率。當(dāng)從1920變成1280時(shí)，10個(gè)像素的視差值變成6.6666。這導(dǎo)致了，例如，將該值舍成6.625，因?yàn)樾?shù)部分只能是0.125(1/8)的倍數(shù)。

●(vi)在發(fā)送之后，如果顯示器是1920個(gè)像素寬，則最終視差值是6.625×1920/1280＝9.9375。9.9375的值與10的原始值相比代表某種失真。9.9375的值可以被上，向下舍成最接近整數(shù)，或例如，最接近1/8，從而可能造成信息丟失。如果該值被向下舍入，則丟失很嚴(yán)重。

一種解決方案是使用可能是所有水平分辨率共有的百分比視差。上述這樣的實(shí)現(xiàn)方式既有優(yōu)點(diǎn)也有缺點(diǎn)。百分比視差值的使用使發(fā)送之前的轉(zhuǎn)換操作可以省略。

另一種解決方案是使用不是任何一種常用分辨率特有的整數(shù)值(注意，通常假設(shè)畫面已經(jīng)經(jīng)過垂直校正以及接受其他處理。于是，通常針對水平布置來討論視差就足夠了)。這種解決方案建議定義11520個(gè)像素的參考分辨率(或虛擬分辨率)，在本申請中將其稱為幾種標(biāo)準(zhǔn)TV分辨率(720，960，1280，1440，1920)的最小公倍數(shù)(“SCM”)。注意，SCM在各種參考文獻(xiàn)中也被稱為“最低公倍數(shù)”。

這種SCM解決方案的至少一種實(shí)現(xiàn)方式具有包括如下的許多優(yōu)點(diǎn)(其他實(shí)現(xiàn)方式無需具有所有這些優(yōu)點(diǎn))：

●(i)因?yàn)橐暡钪凳钦麛?shù)，所以確定和存儲視差值簡單，并且使視差值易于操縱和處理。

●(ii)視差值不再是嚴(yán)格絕對的，而是具有相對方面，因此與本機(jī)視頻分辨率無關(guān)。

●(iii)不需要小數(shù)部分。

●(iv)視差值像百分比，因?yàn)樗窍鄬Φ?，并且與本機(jī)視頻分辨率無關(guān)。但是，視差值是整數(shù)，因此，無明顯需要編碼像0.00868％那樣的復(fù)雜數(shù)字來描述最小視差值。最小視差值是一個(gè)像素，1/11520是0.00868％。

●(v)在傳輸期間無明顯需要將視差值轉(zhuǎn)碼，因?yàn)橐暡钪抵傅氖?1520。

●(vi)當(dāng)基于SCM的視差值到達(dá)，例如，機(jī)頂盒(“STB”)時(shí)，STB通過進(jìn)行像，例如，如下那樣的極簡單運(yùn)算計(jì)算給定視頻分辨率的真正絕對值視差：

o(a)對于1920分辨率，視差/6；

o(b)對于1440分辨率，視差/8；

o(c)對于1280分辨率，視差/9；以及

o(d)對于960分辨率，視差/12。

●(vii)與使用哪些信道無關(guān)，只要不轉(zhuǎn)碼，在傳輸期間不關(guān)心視差信息。

●(viii)即使對于像2k，4k，8k那樣的較新消費(fèi)者分辨率，其運(yùn)算實(shí)現(xiàn)起來也簡單，并且可以容易地在STB處理單元中實(shí)現(xiàn)。注意，2k一般指具有2048的水平像素分辨率的圖像，4k一般指4096，以及8k一般指8192。其運(yùn)算是：

o(a)對于2048分辨率，視差×8/45；

o(b)對于4096分辨率，視差×16/45；以及

o(c)對于8192分辨率，視差×32/45。

在實(shí)際中，一個(gè)或多個(gè)SCM實(shí)現(xiàn)方式(1)確定相應(yīng)視頻內(nèi)容的現(xiàn)有水平分辨率的視差值；(2)通過簡單相乘和/或相除將那些視差值轉(zhuǎn)換成11520的尺度以生成SCM視差值；(3)不轉(zhuǎn)碼地存儲和發(fā)送SCM視差值；以及(4)使用簡單相乘和/或相除將接收的SCM視差值轉(zhuǎn)換成輸出顯示器的分辨率。因?yàn)椴挥棉D(zhuǎn)碼，所以這種解決方案一般不會遭受由轉(zhuǎn)碼引起的信息丟失(例如，舍入丟失)。注意，上述過程不會改變視差圖的分辨率。而是，縮放現(xiàn)有視差值(針對現(xiàn)有分辨率)，以便使它們基于，或反映與實(shí)際分辨率不同的參考分辨率(或虛擬分辨率)。

各種實(shí)現(xiàn)方式通過與上述的那些相反的簡單數(shù)學(xué)運(yùn)算生成視差值。例如，為了生成SCM視差值，按如下將接收的絕對視差值乘以和/或除以一個(gè)或兩個(gè)整數(shù)：

o(i)1920視差*6＝SCM視差；

o(ii)1440視差*8＝SCM視差；

o(iii)1280視差*9＝SCM視差；

o(iv)960視差*12＝SCM視差；

o(v)2048視差*45/8＝SCM視差；

o(vi)4096視差*45/16＝SCM視差；

o(vii)8192視差*45/32＝SCM視差；

圖7更詳細(xì)地提供了為各種不同水平分辨率確定最小公倍數(shù)的過程。列710列出了不同水平分辨率。列720列出了水平分辨率的最小因子(factor)。例如，960被因子分解成2⁶*3*5，其中2⁶是2的6次方。因此，960＝64*3*5。還要注意到，關(guān)于1280的水平分辨率，3⁰等于1。

前四個(gè)分辨率960，1280，1440和1920的最小公倍數(shù)2⁸*3²*5，即等于11520。通過乘以2的適當(dāng)次方，然后除以未出現(xiàn)在2k，4k和8k中的3²和5因子，將11520用在2k，4k和8k的分辨率上。注意，在各種實(shí)現(xiàn)方式中，使用逐位左移操作，而不是實(shí)際相乘運(yùn)算來進(jìn)行2的冪次相乘。圖7包括提供在11520與顯示在列710中的各種分辨率之間轉(zhuǎn)換的轉(zhuǎn)換方程的列730。

列730的轉(zhuǎn)移方程可以用于根據(jù)多種常用顯示器尺寸(顯示器尺寸指的是用，例如，英寸或厘米度量的顯示器的物理尺寸)支持的分辨率縮放視差值。在圖6的例子中，通過6的因子縮放基于，例如，1920水平分辨率的輸入視差值，以便將視差值轉(zhuǎn)換成基于11520的水平分辨率的新視差值。新視差值也基于960，1280，和1440的水平分辨率，因?yàn)槟切┓直媛适潜?1520的分辨率接納的，并且用在確定11520的分辨率中。

一種替代實(shí)現(xiàn)方式簡單地使用11520*2⁵＝368640的視差分辨率。在這種替代實(shí)現(xiàn)方式中，無需相乘將368640轉(zhuǎn)換回到原始分辨率。

11520的值被用于各種實(shí)現(xiàn)方式。但是，在其他實(shí)現(xiàn)方式中也可以使用其他值。在一種實(shí)現(xiàn)方式中，將11520加倍成23040。在第二種實(shí)現(xiàn)方式中，將368640加倍成737280。

可替代地，在各種實(shí)現(xiàn)方式中可以使用不同組的水平分辨率。這導(dǎo)致不同的SCM。例如，在另一種實(shí)現(xiàn)方式中，只對1920和1440輸出分辨率感興趣，因此該實(shí)現(xiàn)方式使用5760的SCM。然后，為了生成SCM視差值，將來自1920分辨率的視差值乘以3的因子，而將來自1440分辨率的視差值乘以4的因子。

應(yīng)當(dāng)清楚，各種實(shí)現(xiàn)方式不是SCM實(shí)現(xiàn)方式。例如，甚至11520值也不是列在列710中的所有七種分辨率的SCM。而是，368640值是SCM。不過，即使視差值不是所有水平分辨率的最小公倍數(shù)，描述在本申請中的實(shí)現(xiàn)方式一般也稱為SCM實(shí)現(xiàn)方式。

注意，SCM實(shí)現(xiàn)方式提供了子像素精度。例如，對于1920分辨率，視差值使用6的因子轉(zhuǎn)換成11520分辨率/從11520分辨率轉(zhuǎn)換過來，這樣就提供了1/6的像素精度。更具體地說，如果基于11520的視差值是83，則基于1920的視差值是13 5/6。這顯然提供了1/6的像素精度。就質(zhì)量，以及將來使用的邊界而言，這提供了各種優(yōu)點(diǎn)。例如，如果1920分辨率被2k分辨率取代，則基于11520的視差值仍然提供8/45像素精度的子像素精度，這稍低于1/6(7.5/45)像素的精度，但仍然高于1/5(9/45)像素的精度。

使用11520的SCM分辨率的至少一種實(shí)現(xiàn)方式以兩字節(jié)(十六位)格式操作。在1920×1080顯示器(分辨率)上典型的視差值往往在+80與-150個(gè)像素之間變化。在11520參考分辨率上將那些數(shù)字乘以六得出+480到-900的范圍。這個(gè)1380的范圍可以用十一個(gè)位(2¹¹＝2048)來表示。一種替代實(shí)現(xiàn)方式使用十個(gè)位來表示視差的絕對值(視差最大絕對值是900)，以及用一個(gè)附加位來表示符號。

又一種實(shí)現(xiàn)方式通過將視差的符號變成隱性的保留一個(gè)位。例如，與視差的符號一起編碼左視圖中的像素的視差。但是，假設(shè)相應(yīng)右視圖中的相應(yīng)像素的視差具有相反符號。

另一種實(shí)現(xiàn)方式為了能夠?yàn)槊總€(gè)視圖(左視圖和右視圖兩者)提供一個(gè)稠密視差圖，從而減輕遮擋引起的問題，分配指示稠密視差圖對應(yīng)的視圖的位。另一種實(shí)現(xiàn)方式提供圖像(左圖像或右圖像)與相應(yīng)稠密視差圖之間的隱性聯(lián)系，因此無需把位花費(fèi)在這個(gè)信息上。這些實(shí)現(xiàn)方式的變體使用一個(gè)或多個(gè)附加位來介紹其他類型的圖或圖像。一種這樣的實(shí)現(xiàn)方式使用兩個(gè)位來指示該圖是(i)左圖像視差圖，(ii)右圖像視差圖，(iii)遮擋圖，還是(iv)透明圖。一種實(shí)現(xiàn)方式使用十六位格式，將11位用于指示-900到+480的范圍，將2位用于指示圖的類型，另外3位待用。

圖8提供了例示一種或多種實(shí)現(xiàn)方式的操作的框/流程圖。圖8還例示了不同實(shí)現(xiàn)方式之間的一些折衷。

圖8包括處理視頻的處理鏈810。視頻圖像811具有1920的水平分辨率。但是，處理鏈810的發(fā)送格式具有1280的分辨率。于是，在操作812中濾波和下采樣視頻圖像811，以便生成水平分辨率為1280的視頻圖像813。在處理鏈810中濾波和下采樣是一起進(jìn)行的。但是，在其他實(shí)現(xiàn)方式中分開進(jìn)行濾波和下采樣。該濾波用于，例如，當(dāng)下采樣視頻圖像811時(shí)以防止混疊為目的地低通濾波視頻圖像811。在發(fā)送和/或存儲操作814中傳送視頻圖像813。

處理鏈810的接收側(cè)存取可以與視頻圖像813相同、相似或不同的接收視頻圖像815。例如，在一種實(shí)現(xiàn)方式中，視頻圖像815是視頻圖像813的存儲版本。另外，在另一種實(shí)現(xiàn)方式中，視頻圖像815代表源編碼和解碼操作(未示出)之后視頻圖像813的重構(gòu)版本。并且，在又一種實(shí)現(xiàn)方式中，視頻圖像815代表信道編碼和解碼(包括糾錯(cuò))操作(未示出)之后視頻圖像813的糾錯(cuò)版本。在上采樣操作816中處理視頻圖像815以產(chǎn)生具有像在原始視頻圖像811中那樣的1920水平分辨率的視頻圖像817。

圖8還包括處理與在處理鏈810中處理的視頻圖像相對應(yīng)的視差圖像的處理鏈820。視差圖像821具有1920的水平分辨率，并且包括基于11520的分辨率的整數(shù)值化視差值。注意，視差圖像一般指像，例如，稠密視差圖、下采樣視差圖、或稀疏視差圖那樣的視差信息的任何累積。并且，視差圖可以對應(yīng)于，例如，畫面、幀、場、切片、宏塊、分區(qū)、或視差信息的一些其他集合。

但是，處理鏈820的發(fā)送格式具有1280的水平分辨率。于是，在操作822中濾波和下采樣視差圖像，以便生成水平分辨率為1280的視差圖像823。在處理鏈820中濾波和下采樣是一起進(jìn)行的。但是，其他實(shí)現(xiàn)方式分開進(jìn)行濾波和下采樣。該濾波用于，例如，當(dāng)下采樣視差圖像821時(shí)以防止混疊為目的地低通濾波視差圖像821的視差值。

視差圖像821的視差值是整數(shù)值。這可以以各種方式來完成。在一種實(shí)現(xiàn)方式中，將濾波和下采樣操作的結(jié)果舍成最接近整數(shù)。在另一種實(shí)現(xiàn)方式中，簡單地放棄任何分?jǐn)?shù)部分。又一種實(shí)現(xiàn)方式將浮點(diǎn)表示用于視差圖像823的視差值。注意，即使在濾波和下采樣產(chǎn)生1280的視差圖像823的分辨率之后，視差值也仍然基于11520的分辨率。

在發(fā)送和/或存儲操作824中傳送視差圖像823。處理鏈820的接收側(cè)存取接收的視差圖像825。視差圖像825可以與視差圖像823相同、相似或不同。例如，在一種實(shí)現(xiàn)方式中，視差圖像825是視差圖像823的存儲版本。另外，在另一種實(shí)現(xiàn)方式中，視差圖像825代表源編碼和解碼操作(未示出)之后視差圖像823的重構(gòu)版本。并且，在又一種實(shí)現(xiàn)方式中，視差圖像825代表信道編碼和解碼(包括糾錯(cuò))操作(未示出)之后視差圖像823的糾錯(cuò)版本。但是，如果需要的話，通過使用，例如，舍入使視差圖像825中的視差值保持整數(shù)。

在上采樣操作826中處理視差圖像825以產(chǎn)生具有像在原始視差圖像821中那樣的1920水平分辨率的視差圖像827。操作826使用，例如，舍入和截?cái)嗌梢暡顖D像827的整數(shù)值。

在轉(zhuǎn)換操作828中將視差圖像827的視差值從基于11520分辨率的值轉(zhuǎn)換成基于1920分辨率的值。如上所述，轉(zhuǎn)換操作827將每個(gè)視差值除以6。轉(zhuǎn)換操作828生成視差圖像829。將視差圖像829的視差值表示成浮點(diǎn)數(shù)，以便保持子像素精度。

應(yīng)當(dāng)清楚，處理鏈820至少包括重要優(yōu)點(diǎn)。首先，視差值在整個(gè)處理鏈820中都是整數(shù)，直到提供最終視差圖像829。其次，盡管發(fā)送格式的水平分辨率不同于本機(jī)視差圖821的水平分辨率，但不用轉(zhuǎn)碼實(shí)際視差值。因此，該視差值可應(yīng)用于多種不同水平分辨率。

然后，接收系統(tǒng)使用視差圖像829處理視頻圖像817。如上所述，該處理可以包括調(diào)整3D效果，定位字幕，插入圖形，或?qū)崿F(xiàn)方式視覺效果。

圖8還描述了用于比較目的的處理鏈830。處理鏈830也處理與在處理鏈810中處理視頻圖像相對應(yīng)的視差圖像。處理鏈830是處理鏈820的一種替代。應(yīng)當(dāng)清楚，如下所述，為了簡化圖8，未示出整個(gè)處理鏈830。

視差圖像831具有1920的水平分辨率，并且包括具有浮點(diǎn)表示的基于百分比視差值。但是，處理鏈830的發(fā)送格式具有1280的水平分辨率。于是，在操作832中濾波和下采樣視差圖像831，以便生成水平分辨率為1280的視差圖像833。操作832可以類似于，例如，濾波和下采樣操作812或822。繼續(xù)用浮點(diǎn)格式表示視差圖像833的基于百分比視差值。

處理鏈830的其余部分(未示出)反映了處理鏈820的其余部分。在發(fā)送和/或存儲操作中傳送視差圖像833。處理鏈830的接收側(cè)存取接收的視差圖像。將接收的視差圖像上采樣成1920的水平分辨率，然后將視差值從基于百分比的值轉(zhuǎn)換成基于1920分辨率的值。如上所述，該轉(zhuǎn)換操作是百分比乘以1920的乘法。但是，與處理鏈820相反，處理鏈830中的視差圖像的視差值總是用浮點(diǎn)格式表示。

圖8還描述了用于比較目的的處理鏈840。處理鏈840也處理與在處理鏈810中處理視頻圖像相對應(yīng)的視差圖像。處理鏈840是處理鏈820的一種替代。應(yīng)當(dāng)清楚，如下所述，為了簡化圖8，未示出整個(gè)處理鏈840。

視差圖像841具有1920的水平分辨率，并且包括基于1920分辨率和具有浮點(diǎn)表示的視差值。但是，處理鏈840的發(fā)送格式具有1280的水平分辨率。于是，在操作842中濾波和下采樣視差圖像841，以便生成水平分辨率為1280的視差圖像843。操作842可以類似于，例如，濾波和下采樣操作812、822或823。繼續(xù)用浮點(diǎn)格式表示視差圖像843的視差值。

然后，在轉(zhuǎn)換操作850中轉(zhuǎn)換視差圖像843的視差值，以便生成視差圖像860。轉(zhuǎn)換操作850將視差值從基于1920水平分辨率的值轉(zhuǎn)換成基于1280水平分辨率的值。繼續(xù)用浮點(diǎn)格式表示視差圖像860的視差值。

處理鏈840的其余部分(未示出)反映了處理鏈820的其余部分。在發(fā)送和/或存儲操作中傳送視差圖像860。處理鏈840的接收側(cè)存取接收的視差圖像。將接收的視差圖像上采樣成1920的水平分辨率，然后將視差值從基于1280分辨率的值轉(zhuǎn)換成基于1920分辨率的值。該轉(zhuǎn)換操作牽涉到將視差值乘以1920/1280。與處理鏈830一樣，而與處理鏈820相反，處理鏈830中的視差圖像的視差值總是用浮點(diǎn)格式表示。

在處理鏈840的另一種實(shí)現(xiàn)方式中，不進(jìn)行轉(zhuǎn)換操作850。因此，視差圖像843的視差值保持與基于1920水平分辨率的視差值一樣。但是，視差圖像843的水平分辨率保持與1280一樣。因此，這種實(shí)現(xiàn)方式避免了發(fā)送之前的轉(zhuǎn)換，以及可能避免了接收或檢索之后的再轉(zhuǎn)換。在至少一些實(shí)現(xiàn)方式中避免轉(zhuǎn)換或再轉(zhuǎn)換也避免了舍入誤差。這種實(shí)現(xiàn)方式與本申請中的所有其他實(shí)現(xiàn)方式一樣具有優(yōu)點(diǎn)并且可以是有用的。但是，視差值在整個(gè)實(shí)現(xiàn)過程中都用浮點(diǎn)數(shù)表示。

現(xiàn)在參照圖9，示出了可以應(yīng)用上述特征和原理的視頻發(fā)送系統(tǒng)或裝置900。視頻發(fā)送系統(tǒng)或裝置900可以是，例如，使用像，例如，衛(wèi)星、有線、電話線、或地面廣播那樣的多種介質(zhì)的任何一種發(fā)送信號的首端或發(fā)送系統(tǒng)。視頻發(fā)送系統(tǒng)或裝置900也可以或可替代地用于，例如，提供加以存儲的信號。可以在互聯(lián)網(wǎng)或一些其他網(wǎng)絡(luò)上提供發(fā)送。視頻發(fā)送系統(tǒng)或裝置900能夠生成和輸送，例如，視頻內(nèi)容以及像，例如，包括，例如，深度和/或視差值的深度指示那樣的其他內(nèi)容。還應(yīng)當(dāng)清楚，除了提供視頻發(fā)送系統(tǒng)或裝置的方塊圖之外，圖9的方塊還提供了視頻發(fā)送過程的流程圖。

視頻發(fā)送系統(tǒng)或裝置900接收來自處理器901的輸入視頻。在一種實(shí)現(xiàn)方式中，處理器901簡單地將像視差圖像821，831，841和/或視頻圖像811那樣的原始分辨率圖像提供給視頻發(fā)送系統(tǒng)或裝置900。但是，在另一種實(shí)現(xiàn)中，處理器901是配置成，例如，如上面針對操作812，822，832，842所述，進(jìn)行濾波和下采樣，以便生成像視頻圖像813和/或視差圖像823，833，843那樣的圖像的處理器。在又一種實(shí)現(xiàn)方式中，處理器901被配置成進(jìn)行像，例如，操作850那樣的視差轉(zhuǎn)換，以便生成像，例如，視差圖像860那樣具有轉(zhuǎn)換視差值的視差圖像。處理器901也可以把元數(shù)據(jù)提供給視頻發(fā)送系統(tǒng)或裝置900以指示，例如，輸入圖像的水平分辨率、視差值基于的水平分辨率、視差值基于百分比還是公倍數(shù)、和描述一種或多種輸入圖像的其他信息。

視頻發(fā)送系統(tǒng)或裝置900包括編碼器902和能夠發(fā)送編碼信號的發(fā)送器904。編碼器902接收來自處理器901的視頻信息。該視頻信息可以包括，例如，視頻圖像和/或視差(或深度)圖像。編碼器902根據(jù)視頻和/或視差信息生成編碼信號。編碼器902可以是，例如，AVC編碼器。AVC編碼器可以應(yīng)用于視頻和視差信息兩者。AVC指的是現(xiàn)有國際標(biāo)準(zhǔn)化組織/國際電工委員會(ISO/IEC)運(yùn)動圖像專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟，電信部門(ITU-T)H.264建議書(在下文中，“H.264/MPEG-4AVC標(biāo)準(zhǔn)”或像“AVC標(biāo)準(zhǔn)”、“H.264標(biāo)準(zhǔn)、或簡單地“AVC”或“H.264”那樣它的變體)。

編碼器902可以包括子模塊，該子模塊包括，例如，接收各種信息段并將其組裝成結(jié)構(gòu)化格式加以存儲或發(fā)送的組裝單元。各種信息段可以包括，例如，編碼或未編碼視頻、編碼或未編碼視差(或深度)值、和像，例如，運(yùn)動矢量、編碼格式指示符、和語法元素那樣的編碼或未編碼元素。在一些實(shí)現(xiàn)方式中，編碼器902包括處理器901，因此進(jìn)行處理器901的操作。

發(fā)送器904接收來自編碼器902的編碼信號，并在一種或多種輸出信號中發(fā)送編碼信號。發(fā)送器904可以，例如，適用于發(fā)送含有代表編碼畫面和/或與之相關(guān)的信息的一種或多種位流的節(jié)目信號。典型的發(fā)送器執(zhí)行像，例如，提供糾錯(cuò)編碼、交織信號中的數(shù)據(jù)、將信號中的能量隨機(jī)化、和使用調(diào)制器906將信號調(diào)制在一種或多種載波上的一種或多種那樣的功能。發(fā)送器904可以包括天線(未示出)，或與天線交接。并且，發(fā)送器904的實(shí)現(xiàn)方式可以不局限于調(diào)制器906。

視頻發(fā)送系統(tǒng)或裝置900還可通信地與存儲單元908耦合。在一種實(shí)現(xiàn)方式中，存儲單元908與編碼器902耦合，以及存儲單元908存儲來自編碼器902的編碼位流。在另一種實(shí)現(xiàn)方式中，存儲單元908與發(fā)送器904耦合，存儲來自發(fā)送器904的位流。來自發(fā)送器904的位流可以包括，例如，已經(jīng)經(jīng)過發(fā)送器904進(jìn)一步處理的一種或多種編碼位流。在不同實(shí)現(xiàn)方式中，存儲單元908是標(biāo)準(zhǔn)DVD、藍(lán)光盤、硬盤驅(qū)動器、或一些其他存儲設(shè)備的一種或多種。

現(xiàn)在參照圖10，所示的是可以應(yīng)用上述特征和原理的視頻接收系統(tǒng)或裝置1000。視頻接收系統(tǒng)或裝置1000可以配置成在像，例如，衛(wèi)星、電線、電話線、或地面廣播那樣的多種介質(zhì)上接收信號?？梢栽诨ヂ?lián)網(wǎng)或一些其他網(wǎng)絡(luò)上接收信號。還應(yīng)當(dāng)清楚，除了提供視頻接收系統(tǒng)或裝置的框圖之外，圖10的框還提供了視頻接收過程的流程圖。

視頻接收系統(tǒng)或裝置1000可以是，例如，蜂窩式電話、計(jì)算機(jī)、機(jī)頂盒、電視機(jī)、或接收編碼視頻和提供，例如，解碼視頻信號加以顯示(向，例如，用戶顯示)，加以處理，或加以存儲的其他設(shè)備。因此，視頻接收系統(tǒng)或裝置1000可以將它的輸出提供給電視機(jī)的屏幕、計(jì)算機(jī)監(jiān)視器、計(jì)算機(jī)(加以存儲、處理、或顯示)、或一些其他存儲、處理、或顯示設(shè)備。

視頻接收系統(tǒng)或裝置1000能夠接收和處理視頻信息，該視頻信息可以包括，例如，視頻圖像和/或視差(或深度)圖像。視頻接收系統(tǒng)或裝置1000包括接收像，例如，在本申請的實(shí)現(xiàn)方式中所述的信號那樣的編碼信號的接收器1002。接收器1002可以接收，例如，提供視頻圖像815和/或視差圖像825的信號、或從圖9的視頻發(fā)送系統(tǒng)900輸出的信號的一個(gè)或多個(gè)。

接收器1002可以，例如，適用于接收含有代表編碼畫面的多種位流的節(jié)目信號。典型的接收器執(zhí)行像，例如，接收調(diào)制和編碼數(shù)據(jù)信號、使用解調(diào)器從一種或多種載波中解調(diào)數(shù)據(jù)信號、將信號中的能量去隨機(jī)化、將信號中的數(shù)據(jù)去交織、和糾錯(cuò)解碼信號的一種或多種那樣的功能。接收器1002可以包括天線(未示出)，或與天線交接。并且，接收器1002的實(shí)現(xiàn)方式可以不局限于解調(diào)器1004。

視頻接收系統(tǒng)或裝置1000包括解碼器1006。接收器1002將接收信號提供給解碼器1006。接收器1002提供給解碼器1006的信號可以包括一種或多種編碼位流。解碼器1006輸出像，例如，包括視頻信息的解碼視頻信號那樣的解碼信號。解碼器1006可以是，例如，AVC解碼器。

視頻接收系統(tǒng)或裝置1000還可通信地與存儲單元1007耦合。在一種實(shí)現(xiàn)方式中，存儲單元1007與接收器1002耦合，接收器1002從存儲單元1007中存取位流。在另一種實(shí)現(xiàn)方式中，存儲單元1007與解碼器1006耦合，解碼器1006從存儲單元1007中存取位流。在不同實(shí)現(xiàn)方式中，從存儲單元1007中存取的位流包括一種或多種編碼位流。在不同實(shí)現(xiàn)方式中，存儲單元1007是標(biāo)準(zhǔn)DVD、藍(lán)光盤、硬盤驅(qū)動器、或一些其他存儲設(shè)備的一種或多種。

在一種實(shí)現(xiàn)方式中，將來自解碼器1006的輸出視頻提供給處理器1008。在一種實(shí)現(xiàn)方式中，處理器1008是配置成進(jìn)行像，例如，針對上采樣操作816和/或826所述的那種那樣的上采樣的處理器。在一些實(shí)現(xiàn)方式中，解碼器1006包括處理器1008，因此執(zhí)行處理器1008的操作。在其他實(shí)現(xiàn)方式中，處理器1008是像，例如，機(jī)頂盒或電視機(jī)那樣的下游設(shè)備的一部分。

注意，至少一種實(shí)現(xiàn)方式使用額外位來生成2個(gè)視差圖。第一視差圖是針對“左”視圖計(jì)算的，第二視差圖是針對“右”視圖計(jì)算的。鑒于物體可能被遮擋，擁有兩個(gè)視差圖有助于改進(jìn)對遮擋的管理。例如，通過比較相應(yīng)視差值，系統(tǒng)可以確定是否存在遮擋，如果存在，則采取填充造成空洞的步驟。另外的實(shí)現(xiàn)方式提供更多的視差圖，并分配適當(dāng)位數(shù)來接納視差圖的數(shù)量。例如，在像，例如，MVC(指的是帶有MVC擴(kuò)展(附錄G)的AVC)那樣的多視圖背景下，可能希望發(fā)送逐個(gè)視圖地示出計(jì)算視差的一組視差圖。可替代地，一種實(shí)現(xiàn)方式可能只發(fā)送與一小組視圖有關(guān)的視差圖。視差可以，例如，以類似于計(jì)算運(yùn)動矢量的方式計(jì)算?？商娲兀娝苤腿缟纤?，視差可以從深度值中計(jì)算。

各種實(shí)現(xiàn)方式還具有使用視差值取代深度值引起的優(yōu)點(diǎn)。這樣的優(yōu)點(diǎn)可以包括：(1)視差值是有界的，而深度值可能無窮大，因此深度值更難以表示/編碼；以及(2)視差值可以直接表示，而表示可能極大深度值往往需要對數(shù)刻度。另外，從視差中確定深度一般簡單。在各種實(shí)現(xiàn)方式中包括元數(shù)據(jù)來提供像焦距、基線距離(長度)、和會聚面距離那樣的信息。會聚面距離是當(dāng)攝像機(jī)交向時(shí)攝像機(jī)軸相交的距離。像角度410的頂點(diǎn)那樣可以從圖4中看出攝像機(jī)軸相交的點(diǎn)。當(dāng)攝像機(jī)平行時(shí)，會聚面距離是無窮大距離。

因此，我們提供了具有特定特征和方面的一種或多種實(shí)現(xiàn)方式。尤其，我們提供了與稠密視差圖有關(guān)的幾種實(shí)現(xiàn)方式。稠密視差圖可以使像，例如，消費(fèi)者設(shè)備上的相對復(fù)雜3D效果調(diào)整、和制作后期的相對簡單字幕布置那樣的多種應(yīng)用成為可能。但是，可以設(shè)想出這些實(shí)現(xiàn)方式的變體和附加應(yīng)用，它們都在本公開之內(nèi)，以及所述實(shí)現(xiàn)方式的特征和方面可以適用于其他實(shí)現(xiàn)方式。

注意，對于一種或多種特定顯示器尺寸，在上述實(shí)現(xiàn)方式的至少一種中使用了+80到-150個(gè)像素的范圍。但是，在其他實(shí)現(xiàn)方式中，即使對于那些特定顯示器尺寸，也可以使用范圍的端值和/或范圍本身的大小有變的不同視差范圍。在一種實(shí)現(xiàn)方式中，主題公園中的表演使用負(fù)得多的視差(例如，把對象描繪成比中途更近地從屏幕出來)來達(dá)到更具戲劇性的效果。在另一種實(shí)現(xiàn)方式中，讓專業(yè)設(shè)備支持比消費(fèi)者設(shè)備更寬的視差范圍。

本申請所述的幾種實(shí)現(xiàn)方式和特征可以用在AVC標(biāo)準(zhǔn)、帶有MVC擴(kuò)展(附錄H)的AVC、和/或帶有SVC擴(kuò)展(附錄G)的AVC的背景下。另外，這些實(shí)現(xiàn)方式和特征可以用在另一種標(biāo)準(zhǔn)(現(xiàn)在或?qū)?的背景下，或用在不牽涉標(biāo)準(zhǔn)的背景下。

提到本原理的“一個(gè)實(shí)施例”、“實(shí)施例”、“一種實(shí)現(xiàn)方式”或“實(shí)現(xiàn)方式”以及它們的其他變體意味著結(jié)合所述實(shí)施例描述的特定特征、結(jié)構(gòu)、特性等包括在本原理的至少一個(gè)實(shí)施例中。因此，在說明書各處出現(xiàn)的短語“在一個(gè)實(shí)施例中”、“在實(shí)施例中”、“在一種實(shí)現(xiàn)方式中”或“在實(shí)現(xiàn)方式中”以及任何其他變體的出現(xiàn)不一定都指代相同的實(shí)施例。

另外，本申請或其權(quán)利要求書可能提到“確定”各種信息段。確定信息可以包括，例如，估計(jì)信息、計(jì)算信息、預(yù)測信息或從存儲器中檢索信息的一種或多種。

應(yīng)該明白，給定顯示器可能支持多種不同分辨率。因此，給定顯示器可能能夠顯示具有，例如，1280、1440或1920的分辨率的視頻內(nèi)容。不過，給定顯示器往往被稱為1920顯示器，因?yàn)樽罡咧С址直媛适?920。當(dāng)大顯示器顯示低分辨率圖像時(shí)，圖像的各個(gè)元素可能包含多個(gè)像素。例如，如果顯示器可以支持800和1920的水平分辨率，則顯示器通常至少是1920個(gè)像素寬。當(dāng)顯示器顯示800分辨率圖像時(shí)，顯示器可能至少一部分地將三個(gè)或更多個(gè)像素分配給圖像的元素。

各種實(shí)現(xiàn)方式使用視差值的浮點(diǎn)表示。這樣實(shí)現(xiàn)方式的特定變體使用視差值的定點(diǎn)表示來取代浮點(diǎn)表示。

應(yīng)當(dāng)認(rèn)識到，例如，在“A/B”、“A和/或B”和“A和B的至少一個(gè)”的情況中，如下“/”、“和/或”和“至少一個(gè)”的任何一種的使用意欲包括只對第一所列選項(xiàng)(A)的選擇、只對第二所列選項(xiàng)(B)的選擇、或者對兩個(gè)選項(xiàng)(A和B)的選擇。作為另一示例，在“A、B和/或C”、“A、B和C的至少一個(gè)”和“A、B或C的至少一個(gè)”的情況中，這種措辭意欲包括只對第一所列選項(xiàng)(A)的選擇、只對第二所列選項(xiàng)(B)的選擇、只對第三所列選項(xiàng)(C)的選擇、只對第一和第二所列選項(xiàng)(A和B)的選擇、只對第一和第三所列選項(xiàng)(A和C)的選擇、只對第二和第三所列選項(xiàng)(B和C)的選擇、或者對全部三個(gè)選項(xiàng)(A和B和C)的選擇。如本領(lǐng)域和相關(guān)領(lǐng)域普通技術(shù)人員容易認(rèn)識到，這可以被擴(kuò)展用于很多列出的項(xiàng)目。

另外，許多實(shí)現(xiàn)方式可以在編碼器(例如，編碼器902)、解碼器(例如，解碼器1006)、處理來自解碼器的輸出的后處理器(例如，處理器1008)、或向編碼器提供輸入的預(yù)處理器(例如，處理器901)的一個(gè)或多個(gè)中實(shí)現(xiàn)。并且，通過本公開可以設(shè)想出其他實(shí)現(xiàn)方式。

本文所述的實(shí)現(xiàn)方式可以以，例如，方法或進(jìn)程、裝置、軟件程序、數(shù)據(jù)流、或信號的形式實(shí)現(xiàn)。即使只在單種實(shí)現(xiàn)形式的背景下討論(例如，只作為方法來討論)，所討論的特征的實(shí)現(xiàn)方式也可以以其他形式(例如，裝置或程序)實(shí)現(xiàn)。裝置可以以，例如，適當(dāng)硬件、軟件、或固件的形式實(shí)現(xiàn)。方法可以在，例如，像例如處理器那樣的裝置中實(shí)現(xiàn)，處理器一般指處理設(shè)備，包括，例如，計(jì)算機(jī)、微處理器、集成電路、或可編程邏輯設(shè)備。處理設(shè)備還包括像，例如，計(jì)算機(jī)、蜂窩式電話、便攜式/個(gè)人數(shù)據(jù)助理(“PDA”)、和有助于在最終用戶之間傳送信息的其他設(shè)備那樣的通信設(shè)備。

本文所述的各種進(jìn)程和特征的實(shí)現(xiàn)方式可以在多種不同裝備或應(yīng)用，尤其，例如，與數(shù)據(jù)編碼、數(shù)據(jù)解碼、視圖生成、深度或視差處理、和圖像和相關(guān)深度和/或視差圖的其他圖像相聯(lián)系的裝備或應(yīng)用中實(shí)施。這樣裝備的例子包括編碼器、解碼器、處理來自解碼器的輸出的后處理器、向編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、萬維網(wǎng)服務(wù)器、機(jī)頂盒、膝上型電腦、個(gè)人計(jì)算機(jī)、蜂窩式電話、PDA、和其他通信設(shè)備。應(yīng)當(dāng)清楚，該裝備可以是移動的，甚至可以安裝在移動交通工具中。

另外，這些方法可以通過由處理器執(zhí)行的指令來實(shí)現(xiàn)，這樣的指令可以存儲在像，例如，集成電路、軟件載體或像，例如，硬盤、小型盤(“CD”)、光盤(像，例如，往往稱為數(shù)字多功能盤或數(shù)字視頻盤的DVD那樣)、隨機(jī)訪問存儲器(“RAM”)、或只讀存儲器(“ROM”)那樣的處理器可讀介質(zhì)上。這些指令可以在，例如，硬件、固件、軟件或它們的組合體中。這些指令可以在，例如，操作系統(tǒng)、單獨(dú)應(yīng)用程序、或兩者的組合體中找到。因此，可以將處理器表征成，例如，配置成執(zhí)行進(jìn)程的設(shè)備和包括含有執(zhí)行進(jìn)程的指令的處理器可讀介質(zhì)(像存儲設(shè)備那樣)的設(shè)備兩者。并且，除了指令之外或取代指令，處理器可讀介質(zhì)可以存儲一種實(shí)現(xiàn)方式產(chǎn)生的數(shù)據(jù)值。

對于本領(lǐng)域的普通技術(shù)人員來說，顯而易見，各種實(shí)現(xiàn)方式可以產(chǎn)生格式化成傳送可以，例如，存儲或發(fā)送的信息的多種信號。該信息可以包括，例如，執(zhí)行方法的指令、或所述實(shí)現(xiàn)方式之一產(chǎn)生的數(shù)據(jù)。例如，可以將信號格式化成傳送寫入或讀取所述實(shí)施例的語法的規(guī)則作為數(shù)據(jù)，或傳送所述實(shí)施例寫入的實(shí)際語法值作為數(shù)據(jù)。這樣的信號可以格式化成，例如，電磁波(例如，使用頻譜的射頻部分)或基帶信號。格式化可以包括，例如，編碼數(shù)據(jù)流和將編碼數(shù)據(jù)流調(diào)制在載波上。信號傳送的信息可以是，例如，模擬或數(shù)字信息。眾所周知，可以在多種不同有線或無線鏈路上發(fā)送信號。可以將信號存儲在處理器可讀介質(zhì)上。

本文描述了許多實(shí)現(xiàn)方式。不過應(yīng)該明白，可以作出各種修改。例如，可以組合，補(bǔ)充，修改，或除去不同實(shí)現(xiàn)方式的一些元素以形成其他實(shí)現(xiàn)方式。另外，本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，可以用其他結(jié)構(gòu)和進(jìn)程取代本文公開的那些，所得實(shí)現(xiàn)方式以至少基本相同的方式執(zhí)行至少基本相同的功能，以獲得與本文公開的實(shí)現(xiàn)方式至少基本相同的結(jié)果。于是，這些和其他實(shí)現(xiàn)方式可以通過本申請?jiān)O(shè)想出來。