專利名稱：深度相關(guān)信息傳播方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于將深度相關(guān)信息從與第一圖像關(guān)聯(lián)的第一深度圖傳播到與 第二圖像關(guān)聯(lián)的第二深度圖的方法和設(shè)備，第一和第二圖像是圖像序列中的時(shí)間緊鄰圖 像。
背景技術(shù)：
近年來(lái)，各個(gè)公司都積極開(kāi)發(fā)了適合再現(xiàn)三維(3D)圖像的自動(dòng)立體顯示器。這些 設(shè)備可以在不需要特殊的頭盔和/或眼鏡的情況下為觀看者呈現(xiàn)3D印象。自動(dòng)立體顯示器通常產(chǎn)生針對(duì)不同視角的不同視圖。通過(guò)這種方式，可以為觀看 者的左眼產(chǎn)生第一圖像，為觀看者的右眼產(chǎn)生第二圖像。通過(guò)顯示恰當(dāng)?shù)膱D像，也就是顯示 分別從左眼和右眼的視點(diǎn)來(lái)看合適的圖像，可以向觀看者顯示相應(yīng)的圖像并傳達(dá)3D印象。有很多種技術(shù)可以用來(lái)產(chǎn)生用于這樣的自動(dòng)立體顯示器的圖像。例如，通過(guò)使用 多個(gè)相機(jī)，可以產(chǎn)生多視像，其中各個(gè)相機(jī)的位置與每一個(gè)相應(yīng)視圖的相應(yīng)視點(diǎn)是對(duì) 應(yīng)的。作為替換，單獨(dú)的圖像也可以用3D計(jì)算機(jī)模型產(chǎn)生。為了保持后向兼容性并提高帶寬使用率，很多自動(dòng)立體顯示器都使用了常規(guī)2D 圖像序列形式的輸入序列以及相應(yīng)的深度圖。深度圖提供了表示圖像中描繪的對(duì)象到相機(jī)的絕對(duì)或相對(duì)距離的深度信息。例 如，表示深度信息的常見(jiàn)方法是借助8比特的灰度圖像。深度圖可以基于每個(gè)像素來(lái)提供 深度信息，但是本領(lǐng)域技術(shù)人員也很清楚，它也可以使用較粗糙的粒度，例如較低分辨率的 深度圖，其中每一個(gè)深度圖值都為多個(gè)像素提供了深度信息。視差圖可以用來(lái)替換上述深度圖。視差指的是在從兩個(gè)視點(diǎn)(例如從左眼和右眼 視點(diǎn))觀察的時(shí)候，對(duì)象在場(chǎng)景中的表觀移動(dòng)。視差信息和深度信息是相關(guān)的，并且是可以 相互映射的，這一點(diǎn)對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是公知的。有鑒于上述內(nèi)容，在說(shuō)明書中將會(huì)始終使用術(shù)語(yǔ)深度相關(guān)信息和深度值，并且這 些術(shù)語(yǔ)被理解成至少包含了深度信息以及視差信息。通過(guò)為自動(dòng)立體顯示器提供圖像序列以及相應(yīng)深度相關(guān)信息圖(或者簡(jiǎn)稱為深 度圖)序列，自動(dòng)立體顯示器可以為一個(gè)或多個(gè)觀看者再現(xiàn)內(nèi)容的多個(gè)視圖。雖然有可能 為新創(chuàng)建的內(nèi)容提供精確記錄的深度值，但是更常規(guī)的二維(2D)圖像序列并不包含所需 要的深度值。用于將2D轉(zhuǎn)換成3D內(nèi)容的各種方法是已知的，這其中的一些方法解決的是沒(méi)有 人為干預(yù)的實(shí)時(shí)轉(zhuǎn)換，而其他方法解決的則是人類輔助的2D-3D轉(zhuǎn)換。在后一種方法中，操 作者通常會(huì)為選定的關(guān)鍵幀定義深度信息，隨后，這個(gè)深度信息會(huì)被傳播到非關(guān)鍵幀。當(dāng)深 度值只能用于圖像序列中的圖像子集時(shí)，可以使用類似的方法來(lái)傳播深度值。在國(guó)際專利申請(qǐng)W02002/13141中給出了一種已知方法。根據(jù)這種方法，網(wǎng)絡(luò)是用 來(lái)自關(guān)鍵幀的像素子集的有注釋深度值來(lái)訓(xùn)練的。該信息被用于學(xué)習(xí)紋理信息與深度特性 之間的關(guān)系。隨后，經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)用于為所有關(guān)鍵幀產(chǎn)生深度信息。在第二階段期間，使用關(guān)鍵幀的深度圖來(lái)從圖像特性以及與關(guān)鍵幀的相對(duì)距離中產(chǎn)生用于非關(guān)鍵幀的深度圖。

發(fā)明內(nèi)容
已知方法的問(wèn)題是其難于處理具有相似紋理信息且位于不同深度的對(duì)象。本發(fā)明的目的是提供一種旨在改善這個(gè)問(wèn)題并且將深度相關(guān)信息從與第一圖像關(guān)聯(lián)的第一深度圖傳播到與第二圖像關(guān)聯(lián)的第二深度圖的可替換解決方案，第一和第二圖 像是圖像序列中的時(shí)間緊鄰圖像。這個(gè)目的是在根據(jù)本發(fā)明的方法中實(shí)現(xiàn)的，該方法包括通過(guò)使用第一圖像和第 二圖像的像素將深度值從第一深度圖傳播到與第二圖像關(guān)聯(lián)中間深度圖，來(lái)產(chǎn)生中間深度 圖；使用包含了第一深度圖中的第一位置周圍的空間區(qū)域的深度值以及中間深度圖中的第 二位置周圍的空間區(qū)域的深度值的信息，產(chǎn)生運(yùn)動(dòng)矢量；以及使用包含了該運(yùn)動(dòng)矢量和第 一深度圖的信息，產(chǎn)生第二深度圖中的第二位置的深度值。第一和第二圖像代表來(lái)自圖像序列的具有相似但卻不同的時(shí)間戳的圖像。結(jié)果， 第一和第二圖像通常是彼此相似的，但卻會(huì)因?yàn)槔缦鄼C(jī)視點(diǎn)、相機(jī)設(shè)置、對(duì)象運(yùn)動(dòng)和/或 對(duì)象改變中的改變的結(jié)果而存在差別。相應(yīng)地，分別與第一和第二圖像關(guān)聯(lián)的第一和第二深度圖同樣涉及不同的時(shí)間 戳。本發(fā)明旨在使用來(lái)自與第一圖像關(guān)聯(lián)的第一深度圖的深度值產(chǎn)生第二圖像的深度圖； 因此，本發(fā)明將信息從第一深度圖傳播到第二深度圖。眾所周知，在傳播諸如手工注釋的關(guān)鍵幀深度圖之類的可靠深度圖的深度值的過(guò) 程中，所傳播的深度圖通常在靠近關(guān)鍵幀處表現(xiàn)出小誤差，離關(guān)鍵幀越遠(yuǎn)，誤差就越大。發(fā)明人的見(jiàn)解是，有必要在此類傳播誤差仍舊相對(duì)較小的時(shí)候及早校正這些誤 差。作為附加的好處，較小的誤差允許使用具有較小孔徑的濾波器。為了在早期校正傳播 誤差，發(fā)明人提出了一種多步驟方法。在第一個(gè)步驟中，通過(guò)傳播來(lái)自第一深度圖的深度 值，產(chǎn)生中間深度圖。在這里，使用了術(shù)語(yǔ)傳播來(lái)強(qiáng)調(diào)第一深度圖涉及不同于中間深度圖的 時(shí)間戳。來(lái)自第一深度圖的深度值可以使用基于第一和第二圖像的圖像特性的濾波器來(lái)傳 播，所述圖像特性例如亮度、色度和/或紋理。得到的中間深度圖可以被解釋成是關(guān)于第二 深度圖的初始估計(jì)。優(yōu)選地，中間深度圖是用雙邊濾波器產(chǎn)生的。但是，在這里也可以改用其他方法， 例如使用機(jī)器學(xué)習(xí)方法。在第二個(gè)步驟中，使用來(lái)自第一深度圖中的第一位置周圍的空間區(qū)域以及中間深 度圖中的第二位置周圍的空間區(qū)域的信息，產(chǎn)生運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量被選定成致使中間 深度圖中的第二位置周圍的空間區(qū)域與第一深度圖中的第一位置周圍的空間區(qū)域表現(xiàn)出 相對(duì)較高的相關(guān)性；也就是說(shuō)，其相關(guān)性與第一深度圖中的其他空間區(qū)域相比是高的。在第三個(gè)步驟中，通過(guò)使用包含了運(yùn)動(dòng)矢量和第一深度圖的信息，使用運(yùn)動(dòng)矢量 來(lái)產(chǎn)生第二深度圖中的第二位置的深度值。在上述方式中，來(lái)自關(guān)鍵幀的有注釋深度值或者可替換地已經(jīng)根據(jù)本發(fā)明傳播的 深度值可以被傳播到其他的幀。第二個(gè)步驟明確考慮了第一深度圖中的第一位置的空間上 下文以及第二深度圖中的第二位置的空間上下文。通過(guò)在被運(yùn)動(dòng)矢量指示為恰當(dāng)?shù)纳舷挛?中使用來(lái)自第一深度圖的深度值，可以充分保留存在于第一深度圖中的對(duì)象邊界，尤其是具有相似顏色和不同深度的對(duì)象的邊界。在上述方式中，本發(fā)明有效改善了現(xiàn)有技術(shù)的問(wèn)題。在一個(gè)實(shí)施例中，第二深度圖中的第二位置的深度值通過(guò)僅僅使用運(yùn)動(dòng)矢量以及 來(lái)自第一深度圖的深度值而形成。在這種情況下，運(yùn)動(dòng)矢量用來(lái)將深度值和/或區(qū)域從第 一深度圖拷貝到第二深度圖。第一和第二位置對(duì)應(yīng)于運(yùn)動(dòng)矢量的源和目標(biāo)。上述實(shí)施例的 優(yōu)點(diǎn)在于，通過(guò)將深度值從第一深度圖拷貝到第二深度圖，充分保留了第一深度圖的邊緣 完整性。在另一個(gè)實(shí)施例中，第二深度圖中的第二位置的深度值的產(chǎn)生包括從包含下列 各項(xiàng)的候選集中選擇深度值基于運(yùn)動(dòng)矢量和第一深度圖的深度值，以及基于中間深度圖 中的第二位置的深度值的深度值。上述方法的優(yōu)點(diǎn)在于，如果從第一深度圖拷貝深度值沒(méi) 有產(chǎn)生令人滿意的結(jié)果，那么可以使用中間深度圖作為后備。在這個(gè)實(shí)施例的優(yōu)選變體中， 其中運(yùn)動(dòng)矢量的生成包括計(jì)算運(yùn)動(dòng)矢量的絕對(duì)差值之和(SAD)，使用該SAD來(lái)從候選集中 選擇深度值。在另一個(gè)實(shí)施例中，第一和中間深度圖的深度值和/或區(qū)域?qū)⒈唤M合，例如混合， 以便形成第二深度圖的深度值和/或塊。通過(guò)這種方式，可以獲得深度值之間的更連續(xù)的 轉(zhuǎn)換。當(dāng)使用可靠性量度來(lái)加權(quán)中間深度圖(也就是第二深度圖的初始估計(jì))的貢獻(xiàn)時(shí)， 該實(shí)施例是特別有效的。在本發(fā)明的一個(gè)實(shí)施例中，中間深度圖的生成包括使用基于第一圖像的至少一 個(gè)像素以及第二圖像的至少一個(gè)像素的加權(quán)因子，借助來(lái)自第一深度圖的深度值的加權(quán)加 法，計(jì)算中間深度圖中的深度值，這兩個(gè)像素在所傳播的相應(yīng)深度相關(guān)信息的空間鄰近。在上述實(shí)施例的一個(gè)優(yōu)選實(shí)施例中，加權(quán)因子是根據(jù)來(lái)自第一圖像的所述至少一 個(gè)像素與來(lái)自第二圖像的所述至少一個(gè)像素之間的差值的非線性函數(shù)確定的。通過(guò)這種方 式，在得到的深度值中表現(xiàn)出很大差異的像素的影響可以得到抑制。本發(fā)明的目標(biāo)還借助一種用于將深度相關(guān)信息從與第一圖像關(guān)聯(lián)的第一深度圖 傳播到與第二圖像關(guān)聯(lián)的第二深度圖的深度圖傳播設(shè)備來(lái)實(shí)現(xiàn)，第一和第二圖像是圖像序 列中的時(shí)間緊鄰圖像，該設(shè)備包括第一生成裝置，它被設(shè)置成通過(guò)使用第一圖像和第二 圖像的像素將深度值從第一深度圖傳播到與第二圖像關(guān)聯(lián)的中間深度圖，產(chǎn)生該中間深度 圖；第二生成裝置，它被設(shè)置成使用包含了第一深度圖中的第一位置周圍的空間區(qū)域的深 度值以及中間深度圖中的第二位置周圍的空間區(qū)域的深度值的信息，產(chǎn)生運(yùn)動(dòng)矢量；以及 第三生成裝置，它被設(shè)置成使用包含了該運(yùn)動(dòng)矢量和第一深度圖的信息，產(chǎn)生第二深度圖 中的第二位置的深度值。


本發(fā)明的這些和其他有利方面將通過(guò)使用下列附圖而被更詳細(xì)地描述。圖1顯示的是使用了雙邊濾波器的深度傳播方法；圖2顯示的是計(jì)算機(jī)生成的圖像以及使用雙邊濾波器傳播的深度圖的示例；圖3顯示的是本發(fā)明解決的深度模糊問(wèn)題；圖4顯示的是本發(fā)明解決的新顏色問(wèn)題；圖5顯示的是依照本發(fā)明的方法的流程圖6顯示的是依照本發(fā)明的深度圖傳播示例；圖7顯示的是依照本發(fā)明的深度傳播設(shè)備的框圖； 圖8顯示的是依照本發(fā)明的消費(fèi)類電子設(shè)備和內(nèi)容轉(zhuǎn)換設(shè)備的框圖。這些附圖并不是按比例繪制的。一般來(lái)說(shuō)，相同的部件在附圖中是用相同的附圖 標(biāo)記表示的。
具體實(shí)施例方式在執(zhí)行半自動(dòng)的2D-3D內(nèi)容轉(zhuǎn)換(也就是人類輔助的內(nèi)容轉(zhuǎn)換)處理時(shí)，該轉(zhuǎn) 換過(guò)程有可能會(huì)受到用于將深度值傳播到非關(guān)鍵幀的自動(dòng)外推例程所產(chǎn)生的誤差的影 響。本發(fā)明人應(yīng)用的一種用于將深度值自動(dòng)傳播到非關(guān)鍵幀的方法使用了雙邊濾波。正如 C. Tomasi 等人在 Proceedingsof the International Conference on Computer Vision, 1998 中發(fā)表的 “Bilateral filtering for Gray and Color Images” 一文中公開(kāi)的那樣， 雙邊濾波器最初是為保留邊緣的圖像平滑化處理開(kāi)發(fā)的，該文獻(xiàn)通過(guò)引用合并于此。發(fā)明人已經(jīng)發(fā)現(xiàn)，對(duì)于將深度值從關(guān)鍵幀傳播到圖像序列中的其他圖像來(lái)說(shuō)，雙 邊濾波器是非常有效的。為了傳播深度相關(guān)信息，雙邊濾波器以遞歸的方式被應(yīng)用于后續(xù) 圖像配對(duì)。出于上述原因，雙邊濾波器優(yōu)選地用于根據(jù)與第一圖像Il關(guān)聯(lián)的第一深度圖Dl 來(lái)產(chǎn)生中間深度圖。雙邊濾波組合了域(domain)濾波和范圍(range)濾波。實(shí)驗(yàn)表明，雙邊濾波是一 種用于將深度從關(guān)鍵幀傳播到圖像序列中的其他幀的非常有效的方法。這個(gè)深度傳播過(guò)程 可以以遞歸的方式應(yīng)用。對(duì)于每一個(gè)遞歸步驟來(lái)說(shuō)，深度是用如下關(guān)系式從第一圖像傳播 到第二圖像的<formula>formula see original document page 7</formula>
以下將檢查雙邊濾波器的單次迭代，其中來(lái)自第一深度圖的深度值被傳播到中間 深度圖。在這里，是中間深度中的像素i在時(shí)間t+δ的深度值，并且是空間相鄰像 素j在第一深度圖中的深度值。本領(lǐng)域技術(shù)人員可以清楚了解，雙邊濾波器可以用于前向傳播，也就是在時(shí)間上 是前向的(S >0)。但是，雙邊濾波器還可以用于后向傳播(δ <0)。此外，雖然雙邊濾 波器通常被用于以遞歸的方式傳播來(lái)自鄰近圖像的深度(δ =-1或δ = 1)，但是更大的 步長(zhǎng)(δ <-1或δ >1)也是可以使用的。在將雙邊濾波器與本發(fā)明結(jié)合使用時(shí)，雙邊濾 波器優(yōu)選地用于傳播來(lái)自鄰近圖像的深度值。通過(guò)這種方式，第一與第二圖像之間的差值 保持最小，由此提高中間深度圖可被校正的概率。在一開(kāi)始，在關(guān)鍵幀(t = 0)，假設(shè)已經(jīng)知道深度值是沒(méi)有誤差的。像素j來(lái)自以 位置i為中心的時(shí)間鄰域。函數(shù)、依照空間鄰居的空間距離來(lái)對(duì)這些空間鄰居加權(quán)。在 這里，我們使用了大小為Δ的箱式濾波器<formula>formula see original document page 8</formula>舉個(gè)例子，如果使用的是具有19個(gè)像素的窗口大小Δ，那么可以在每一次迭代中 追蹤大小為9個(gè)像素的最大運(yùn)動(dòng)。加權(quán)、α+δ’ 取決于處在時(shí)間戳t+δ的第二圖像中的 像素i與幀t中的相鄰像素j之間的色差。所使用的加權(quán)是如下給出的
<formula>formula see original document page 8</formula>其中α是確定顏色重要性的常數(shù)。顏色的影響隨著α的增大而提升。圖1示出 了用于例示的濾波器窗口大小Δ =7的雙邊深度傳播濾波器的操作。圖1顯示了圖像序 列的第一圖像ιω和第二圖像i(t+s)。所述第一和第二圖像代表的是來(lái)自圖像序列且時(shí)間 緊鄰的不同圖像，并且是用上標(biāo)(t+δ)表示的。在第一圖像中可見(jiàn)的淺色像素代表的是深 藍(lán)色背景上的紅色對(duì)象的紅色像素。在用I(t+S)表示的第二圖像12中，深藍(lán)色的背景像素 隨著對(duì)象移動(dòng)到右邊而顯現(xiàn)出來(lái)。為了計(jì)算用表示的中間深度圖中的新的深度值i，針對(duì)幀t的濾波足跡中的 所有像素j計(jì)算加權(quán)、α+δ’ 。加權(quán)平均值用于預(yù)測(cè)幀t+δ的像素i的深度值。由于深藍(lán) 色像素的色差小，但是淺紅色像素的大，因此深藍(lán)色像素的深度值的加權(quán)將會(huì)比淺紅色像 素的高。由此，中間深度圖中的深度值基本上是通過(guò)深藍(lán)色像素的深度值確定的。雙邊濾波器隱含假設(shè)相似的顏色意味著相似的深度值。但在實(shí)踐中卻通常會(huì)違反 這種顏色恒定性假設(shè)，由此導(dǎo)致所傳播的深度值存在誤差。一旦在深度圖中引入了誤差，那 么它們會(huì)以遞歸的方式傳播到新的幀。圖2示出的是這樣的傳播誤差在深度圖中的影響，該深度圖是根據(jù)等式1使用雙 邊濾波器而在30幅圖像上傳播的。為了產(chǎn)生圖2的結(jié)果，在這里使用了足跡大小Δ =19 的雙邊濾波器。顏色重要性參數(shù)α則被設(shè)置為0.125。在該圖像中可以觀察到以下問(wèn)題1. “深度模糊性”問(wèn)題深度模糊性實(shí)際上涉及其中單個(gè)顏色在同一圖像中出現(xiàn)在不同深度值處的的狀 況。在雙邊濾波器的情況下，這將會(huì)導(dǎo)致深度圖中出現(xiàn)隨時(shí)間傳播和累積的誤差。2. “新顏色”問(wèn)題新顏色問(wèn)題是由于為之產(chǎn)生初始深度圖估計(jì)的第二圖像包含了原始關(guān)鍵幀圖像 中不存在的顏色這一事實(shí)而導(dǎo)致的結(jié)果。結(jié)果，關(guān)于哪種深度值應(yīng)當(dāng)與該顏色關(guān)聯(lián)的信息 不存在。舉例來(lái)說(shuō)，如果背景的新的部分顯現(xiàn)出來(lái)，如果離焦前景對(duì)象的邊緣在第二圖像中 與新的背景顏色混合，或者如果在圖像中存在透明物，那么將會(huì)發(fā)生這種狀況。在圖2中，如果兩個(gè)小骰子在圖片中接觸，那么“深度模糊性”問(wèn)題可見(jiàn)。兩個(gè)小骰 子的顏色相同，但是前景和背景骰子的深度值不同。結(jié)果，在傳播之后，這個(gè)邊界的深度值 是相應(yīng)深度值的平均值。在圖片右側(cè)，“新顏色”問(wèn)題可見(jiàn)，其中背景的一部分是顯現(xiàn)出來(lái)， 由此導(dǎo)致產(chǎn)生不正確的深度值。圖3更詳細(xì)地示出了深度模糊性問(wèn)題。在第一圖像I(t)中為前景主色的淺紅色像素也出現(xiàn)在背景中。因此，在根據(jù)第一圖像ιω和第二圖像i(t+s)使用雙邊濾波來(lái)傳播深度 值時(shí)，會(huì)對(duì)來(lái)自第一深度圖的深度值求取平均值，由此導(dǎo)致在中間深度圖中產(chǎn)生錯(cuò) 誤的深度值。圖4更詳細(xì)地示出了新顏色問(wèn)題。新顏色出現(xiàn)在第二圖像I(t+S)中前景中的淺 紅色對(duì)象向右移動(dòng)，在背景中可以看到若干個(gè)非常淺的黃色的像素。由于黃色沒(méi)有在第一 圖像Ιω的濾波器窗口中出現(xiàn)，因此顏色與深度之間的關(guān)系不能被精確拷貝，并且將會(huì)導(dǎo)致 出現(xiàn)錯(cuò)誤的深度。雖然上述示例顯式提出了使用雙線性濾波來(lái)產(chǎn)生在本發(fā)明中使用的 中間深度圖， 但是上面表示的問(wèn)題通常在其他那些使用圖像特性推斷深度值的方法中出現(xiàn)。嚴(yán)格地講， 圖像特性并不與實(shí)際深度值直接聯(lián)系，并且處于不同深度的對(duì)象實(shí)際有可能具有相似的顏 色、紋理和/或亮度。因此，模糊性也會(huì)影響其他那些使用了此類圖像特性的傳播方法。本發(fā)明的目標(biāo)是至少改善模糊性問(wèn)題。中間深度圖中的深度誤差通常作為一些像 素而開(kāi)始，但是越遠(yuǎn)離關(guān)鍵幀時(shí)，往往覆蓋越大的區(qū)域。本發(fā)明提出在發(fā)生傳播誤差之后以 一種旨在防止這些誤差進(jìn)一步傳播的方式來(lái)直接校正傳播誤差。圖5顯示的是根據(jù)本發(fā)明的將深度相關(guān)信息從與第一圖像關(guān)聯(lián)的第一深度圖傳 播到與第二圖像關(guān)聯(lián)的第二深度圖的方法的流程圖，第一和第二圖像是圖像序列中的時(shí)間 緊鄰圖像。該方法包含了在圖5中分別被表示為Si、S2和S3的三個(gè)步驟。圖5所示的第一個(gè)步驟Sl包括通過(guò)使用第一圖像和第二圖像的圖像特性將深度 值從第一深度圖傳播到與第二圖像關(guān)聯(lián)的中間深度圖，產(chǎn)生該中間深度圖。在實(shí)踐中，這些 圖像特性可以是例如色度、亮度和/或紋理。步驟Si可以使用如上所述的雙邊濾波器來(lái)實(shí) 施。但是，本發(fā)明并不局限于此?？商鎿Q的方法包括但不局限于例如使用圖像特性來(lái)傳播 深度值的機(jī)器學(xué)習(xí)方法。為了產(chǎn)生與第二圖像關(guān)聯(lián)的第二深度圖中的第二位置的深度值，在第二步驟S2 中使用第一深度圖和中間深度圖產(chǎn)生運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量標(biāo)識(shí)的是第一深度圖中的第一 位置周圍的空間區(qū)域，所述空間區(qū)域表現(xiàn)出與第二深度圖中的第二位置周圍的空間區(qū)域具 有相對(duì)較高的相關(guān)性。第二個(gè)步驟S2可以使用技術(shù)人員已知的運(yùn)動(dòng)估計(jì)算法而以多種方式實(shí)施。只要 算法顧及了中間深度圖中的第二位置的空間上下文以及第一深度圖中的第一位置的空間 上下文，那么，使用哪一種特定算法是無(wú)關(guān)緊要的。通過(guò)這種方式，運(yùn)動(dòng)矢量標(biāo)識(shí)的是第一 深度圖中與第二深度圖中的空間區(qū)域相類似的空間區(qū)域。在第三個(gè)步驟S3中，第二深度圖中的第二位置的深度值是使用包含了運(yùn)動(dòng)矢量 和第一深度圖的信息產(chǎn)生的。在不脫離本發(fā)明的范圍的情況下，各種可替換方法均可用于 產(chǎn)生這個(gè)深度值。在第一種方法中，第三個(gè)步驟S3包括使用在第二個(gè)步驟S2中產(chǎn)生的運(yùn)動(dòng)矢量來(lái) 從第一深度圖拷貝深度值。支持這種方法的理由在于，只要相應(yīng)圖像之間的差值相對(duì)較小， 則相應(yīng)深度圖之間的變化同樣較小。因此，在第一深度圖中有可能存在一定空間區(qū)域，與處于中間深度圖中的第二位 置的空間區(qū)域相比，該空間區(qū)域給出關(guān)于第二位置周圍的空間區(qū)域的更精確表示。在第二 個(gè)步驟S2中產(chǎn)生的運(yùn)動(dòng)矢量代表了關(guān)于第一深度圖中的空間區(qū)域的指示，其提供了與中間深度圖中的第二位置的空間區(qū)域的相對(duì)良好的匹配。在這個(gè)第一方法中，運(yùn)動(dòng)矢量用于將深度值和/或整個(gè)區(qū)域從第一深度圖拷貝到 第二深度圖。通過(guò)拷貝來(lái)自第一深度圖的區(qū)域和/或通過(guò)考慮深度值的空間上下文，深度 圖內(nèi)部的邊緣將會(huì)得到充分保留。為了進(jìn)一步闡明本發(fā)明的實(shí)施方式，接下來(lái)將討論基于塊的運(yùn)動(dòng)矢量生成的形式 的第二個(gè)步驟S2以及將空間區(qū)域從第一深度圖拷貝到第二深度圖的形式的第三個(gè)步驟S3 的實(shí)施方式。如先前所示，中間深度圖可以解釋成是關(guān)于第二深度圖的第一估計(jì)。隨后，這 個(gè)估計(jì)將使用第二個(gè)步驟S2和第三個(gè)步驟S3來(lái)校正。為了校正這個(gè)估計(jì)，假設(shè)中間深度 圖> )中的深度誤差在空間上是不相關(guān)的，并且第一深度圖 =中的深度值沒(méi)有誤差(在 該圖像對(duì)應(yīng)關(guān)鍵幀的情況下)或者已經(jīng)經(jīng)過(guò)校正(用下標(biāo)“cor”表示)。為了校正中間深度圖劣(+ )，像素被分成了大小為16Χ 16個(gè)像素的k = 1. . . N個(gè)塊 Bk。然后，對(duì)于每一個(gè)塊Bk，確定位移矢量(ux (k)，uy (k))，該位移矢量在將塊Bk(來(lái)自中間深 度圖)與第一深度圖中的塊相比較時(shí)導(dǎo)致最小的匹配誤差。隨后，使用下式獲取第二深度圖&丨廣的深度值
<formula>formula see original document page 10</formula>(4)對(duì)于所有(x，y) e Bko這個(gè)運(yùn)動(dòng)補(bǔ)償操作對(duì)應(yīng)的是將深度值的塊從第一深度圖拷 貝到第二深度圖。位移矢量通過(guò)把在塊Bk中所有像素上求和的深度誤差函數(shù)最小化來(lái)確 定<formula>formula see original document page 10</formula>^(5)其中深度誤差函數(shù)g(x，y，vx, vy)如下給出
<formula>formula see original document page 10</formula>( 6 )應(yīng)該指出的是，深度誤差函數(shù)是在兩個(gè)具有不同統(tǒng)計(jì)屬性的信號(hào)之間計(jì)算的； 是從例如雙邊濾波器產(chǎn)生的中間深度圖，并且J=是第一深度圖，該深度圖要么是有注
釋的深度圖，要么是先前校正的圖。雖然上述方法使用的是搜索本地鄰域中的所有位置的運(yùn)動(dòng)估計(jì)過(guò)程，但是也可以 使用其他搜索方法來(lái)獲取可接受的結(jié)果。對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，關(guān)于運(yùn)動(dòng)估計(jì)的此類優(yōu) 化和/或變體都是公知的。圖6顯示的是第一圖像Ιω、第二圖像I(t+S)、第一深度圖丨以及中間深度圖》^ 的示例。在運(yùn)動(dòng)矢量生成過(guò)程中，在第一深度圖內(nèi)部的第一位置標(biāo)識(shí)塊，該塊提供與位 于中間深度圖》中的第二位置的塊的最佳匹配。在這里，最佳匹配是導(dǎo)致最小匹配誤差 的匹配。接下來(lái)，該運(yùn)動(dòng)矢量所標(biāo)識(shí)的塊被拷貝到第二深度圖中的第二位置。這種方法確 保了在所傳播的幀中充分保留了存在于第一深度圖中的形狀信息。
無(wú)論匹配質(zhì)量如何，上述方法都會(huì)將對(duì)應(yīng)于最佳匹配的信息從第一深度圖拷貝到 第二深度圖。在可替換實(shí)施例中，選擇是否傳播來(lái)自第一深度圖&丨I的信息或者來(lái)自中間深 度圖》叫的信息。
關(guān)于傳播這些可替換深度值中的哪些深度值的決定優(yōu)選地基于匹配誤差。在匹配 誤差低的情況下，在圍繞第一深度圖&^中的第一位置的空間區(qū)域與圍繞中間深度圖>") 中的第二位置的空間區(qū)域之間存在很大的相關(guān)性。在這種情況下，優(yōu)選的是傳播來(lái)自第一 深度圖的信息。作為替換，如果匹配誤差大，那么顯然，候選運(yùn)動(dòng)矢量可能不是最優(yōu)的概 率是很大的。在這種情況下，優(yōu)選的是傳播來(lái)自中間深度圖的信息。更優(yōu)選的是，匹配誤差閾值用于在上述候選之間進(jìn)行選擇。此外還可以設(shè)想針對(duì) 上述方法的細(xì)小改變，例如添加其他候選和/或其他選擇判據(jù)。上述方法的一個(gè)可能缺陷在于，在為鄰近塊選擇不同的候選時(shí)，這可能導(dǎo)致在得 到的第二深度圖中出現(xiàn)不連續(xù)性。為了避免這種不連續(xù)性，代替選擇任一所述候選的是，也 可以混合這些候選。優(yōu)選地，混合這些候選是借助諸如匹配誤差之類的可靠性量度來(lái)控制 的。如果匹配誤差高，則表明候選運(yùn)動(dòng)矢量的可靠性相對(duì)較低。結(jié)果，在混合這些候選者時(shí)， 可以降低該候選的加權(quán)。為了進(jìn)一步改進(jìn)候選的選擇和/或混合，可以使用其他可靠性量度，例如表明中 間深度圖的深度值可靠性的可靠性量度。在雙邊濾波器用來(lái)產(chǎn)生中間深度圖的情況下，可 以在計(jì)算濾波器加權(quán)的時(shí)候通過(guò)確定像素之間的最小色差來(lái)確定這種可靠性量度。如果第 一圖像和第二圖像中的像素之間的所有色差都是大的，也就是所有加權(quán)都是小的，那么雙 邊濾波器不提供可靠深度值的可能性將會(huì)很大。雖然在整個(gè)說(shuō)明書中都認(rèn)為深度值的傳播在時(shí)間上前向發(fā)生，但是本發(fā)明并不局 限于此。在應(yīng)用了雙向傳播(也就是前向和后向傳播)的方案中，可以類似地利用本發(fā)明。 在雙向傳播方案中，可以為每一個(gè)幀估計(jì)兩個(gè)中間深度圖，并且可以產(chǎn)生兩個(gè)運(yùn)動(dòng)矢量。在 雙向方法中，后向和前向預(yù)測(cè)的貢獻(xiàn)優(yōu)選地根據(jù)與相應(yīng)關(guān)鍵幀的距離來(lái)加權(quán)。為了發(fā)揮本發(fā)明的最大效力，中間深度圖的生成優(yōu)選地應(yīng)該考慮第一與第二圖像 像素之間的差值，但是應(yīng)該避免施加第一深度圖的形態(tài)所提供的空間約束。與之形成對(duì)照 的是，生成運(yùn)動(dòng)矢量的步驟優(yōu)選地考慮為之產(chǎn)生深度值的像素周圍的區(qū)域形態(tài)所提供的空 間約束。圖7顯示的是根據(jù)本發(fā)明的用于將深度相關(guān)信息從與第一圖像820關(guān)聯(lián)的第一深 度圖810傳播到與第二圖像830關(guān)聯(lián)的第二深度圖860的基本深度圖傳播設(shè)備800。該設(shè) 備800分別在輸入連接器802、801和803上接收三個(gè)輸入信號(hào)第一圖像820、第一深度圖 810以及第二圖像830。該設(shè)備在輸出連接器806上輸出一個(gè)輸出信號(hào)，即第二深度圖860。在設(shè)備800的變體中，在單個(gè)連接器上而不是在三個(gè)輸入連接器801、802和803 上輸入單個(gè)集合輸入信號(hào)，該信號(hào)為具有有注釋的關(guān)鍵幀的圖像序列的形式。同樣，可以提 供具有根據(jù)本發(fā)明傳播的深度圖的圖像序列的形式的單個(gè)集合輸出信號(hào)。設(shè)備800還包括第一生成裝置805，它被設(shè)置成產(chǎn)生與第二圖像830關(guān)聯(lián)的中間深 度圖840。如上所述，可以通過(guò)使用第一圖像820和第二圖像830的像素將深度值從第一深 度圖810傳播到中間深度圖840，以多種方式來(lái)實(shí)施中間深度圖840的生成。
該設(shè)備還包括第二生成裝置815，它被設(shè)置成使用包含了第一深度圖中的第一位置周圍的空間區(qū)域的深度值以及中間深度圖中的第二位置周圍的空間區(qū)域的深度值的信 息來(lái)產(chǎn)生運(yùn)動(dòng)矢量850。隨后，第三生成裝置825使用這個(gè)運(yùn)動(dòng)矢量850，該裝置被設(shè)置成使用包含了運(yùn)動(dòng) 矢量850和第一深度圖810的信息來(lái)產(chǎn)生第二深度圖860中的第二位置的深度值。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚的是，在不脫離本發(fā)明的范圍的情況下，可以想到設(shè)備 800的若干可替換實(shí)施方式。當(dāng)上述所有生成裝置都執(zhí)行處理任務(wù)時(shí)，第一、第二和第三生 成裝置805、815、825執(zhí)行的任務(wù)可以映射到單個(gè)數(shù)字信號(hào)處理器。雖然上文明確述及了數(shù)字信號(hào)處理器，但是本發(fā)明并不局限于此。在這里可以使 用可替換的處理平臺(tái)，所述處理平臺(tái)提供與上述數(shù)字信號(hào)處理器相似的功能。這些處理平 臺(tái)不必是可編程的處理平臺(tái)，而是同樣地可以包括專用的專用集成電路(ASIC)。實(shí)際上， 在不脫離本發(fā)明的范圍的情況下，處理任務(wù)可以被劃分到混合硬件/軟件系統(tǒng)中的不同模 塊。圖8顯示的是內(nèi)容轉(zhuǎn)換設(shè)備955和消費(fèi)類電子設(shè)備965，其中每一個(gè)設(shè)備都包括上 述設(shè)備800。內(nèi)容轉(zhuǎn)換設(shè)備包括輸入準(zhǔn)備裝置905，該裝置在輸入連接器901上接收?qǐng)D像序 列910形式的輸入信號(hào)。圖像序列910提供設(shè)備800使用的第一和第二圖像。輸入準(zhǔn)備裝 置905允許實(shí)施關(guān)于關(guān)鍵幀的人類輔助鏡頭切換檢測(cè)及注釋。隨后，本發(fā)明可以用于將深 度值傳播到非關(guān)鍵幀。此外，內(nèi)容轉(zhuǎn)換設(shè)備955還包括輸出準(zhǔn)備裝置915，該裝置允許例如 對(duì)包含了所傳播的深度圖的輸出信號(hào)920執(zhí)行格式選擇，以便在輸出連接器902上輸出。消費(fèi)類電子設(shè)備965包括用于接收輸入信號(hào)930的輸入連接器903，該輸入信號(hào) 包含圖像序列以及用于選擇圖像序列中的關(guān)鍵幀的深度信息。輸入準(zhǔn)備裝置925準(zhǔn)備供設(shè) 備800處理的圖像。在操作中，設(shè)備800實(shí)際上將深度信息從關(guān)鍵幀傳播到非關(guān)鍵幀。因 此，并不是輸入信號(hào)930中的每一幅圖像都需要深度圖，通過(guò)這種方式，本發(fā)明還允許對(duì)傳 輸信號(hào)執(zhí)行數(shù)據(jù)壓縮。作為選擇，消費(fèi)類電子設(shè)備965可以包括自動(dòng)立體顯示裝置935，其用于顯示得到 的具有伴隨的深度圖的圖像序列。在整個(gè)說(shuō)明書中，中間深度圖的生成是作為單個(gè)處理步驟而給出的，但是本領(lǐng)域 技術(shù)人員應(yīng)當(dāng)清楚的是，中間深度圖的生成并不局限于此。事實(shí)上，中間深度圖的生成很可 能包含若干個(gè)步驟，例如包含例如可以提供噪聲抑制的后處理步驟。在整個(gè)說(shuō)明書中，術(shù)語(yǔ)圖像序列用于包含了某種形式的連續(xù)性的圖像序列。本領(lǐng) 域技術(shù)人員應(yīng)當(dāng)清楚的是，深度值的傳播僅僅在存在這種連續(xù)性的情況下才是有意義的。 為了獲取基本連續(xù)的圖像序列，可以向鏡頭切換檢測(cè)器提供圖像序列，或者可以手動(dòng)處理 圖像序列，以便隔離基本連續(xù)的圖像序列。應(yīng)該指出的是，上述實(shí)施例是說(shuō)明了而不是限制了本發(fā)明，并且在不脫離附加權(quán) 利要求的范圍的情況下，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)能夠設(shè)計(jì)出眾多的可替換實(shí)施例。在權(quán)利要求中，放在括號(hào)之間的任何附圖標(biāo)記都不應(yīng)該被解釋成對(duì)權(quán)利要求的限 制。顯然，在本發(fā)明的框架以內(nèi)，很多變型都是可行的。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本 發(fā)明并不受上文特別顯示和描述的內(nèi)容的限制。本發(fā)明存在于每一個(gè)新穎的特性特征以及每一種特性特征組合中。權(quán)利要求中的附圖標(biāo)記并未限制其保護(hù)范圍。
動(dòng)詞“包括”及其變形的使用并沒(méi)有排除除了權(quán)利要求陳述的元件以外的其他元
件的存在。處于元件之前的冠詞“一”并未排除多個(gè)這樣的元件的存在。
權(quán)利要求
一種用于將深度相關(guān)信息從與第一圖像(820)關(guān)聯(lián)的第一深度圖(810)傳播到與第二圖像(830)關(guān)聯(lián)的第二深度圖(860)的方法，第一和第二圖像是在圖像序列中的時(shí)間緊鄰圖像，該方法包括-通過(guò)使用第一圖像(820)和第二圖像(830)的像素將深度值從第一深度圖(810)傳播到與第二圖像(830)關(guān)聯(lián)的中間深度圖(840)，產(chǎn)生該中間深度圖(840)；-使用包含了第一深度圖(810)中的第一位置周圍的空間區(qū)域的深度值以及中間深度圖(840)中的第二位置周圍的空間區(qū)域的深度值的信息，產(chǎn)生運(yùn)動(dòng)矢量(850)；以及-使用包含了運(yùn)動(dòng)矢量(850)和第一深度圖(810)的信息，產(chǎn)生第二深度圖(860)中的第二位置的深度值。
2.權(quán)利要求1的方法，其中產(chǎn)生中間深度圖(840)包括使用基于第一圖像(820)中 的至少一個(gè)像素以及第二圖像(830)中的至少一個(gè)相應(yīng)像素的加權(quán)因子，借助來(lái)自第一深 度圖(810)的深度值的加權(quán)加法，計(jì)算中間深度圖(840)中的深度值，這兩個(gè)像素在所傳播 的相應(yīng)深度相關(guān)信息的空間鄰近。
3.權(quán)利要求2的方法，其中加權(quán)因子是根據(jù)來(lái)自第一圖像的所述至少一個(gè)像素與來(lái)自 第二圖像的所述至少一個(gè)相應(yīng)像素之間的差值的非線性函數(shù)確定的。
4.權(quán)利要求1的方法，其中生成第二深度圖(860)中的第二位置的深度值包括從包含 下列各項(xiàng)的候選中選擇深度值-基于運(yùn)動(dòng)矢量(850)和第一深度圖(810)的深度值，以及-基于處于中間深度圖(840)中的第二位置的深度值的深度值。
5.權(quán)利要求1的方法，其中生成第二深度圖(860)中的第二位置的深度值包括包含下 列各項(xiàng)的信息的加權(quán)相加-基于運(yùn)動(dòng)矢量(850)和第一深度圖(810)的深度值，以及_基于處于中間深度圖(840)的第二位置的深度值的其他深度值。
6.權(quán)利要求1的方法，其中產(chǎn)生中間深度圖(840)還包括為中間深度圖(840)中的 深度值產(chǎn)生可靠性量度(R)，并且其中在產(chǎn)生第二深度圖(860)中的第二位置的深度值的 過(guò)程中使用該可靠性量度(R)。
7.權(quán)利要求1的方法，其中圖像序列是來(lái)自另一個(gè)圖像序列的快照。
8.一種用于將深度相關(guān)信息從與第一圖像(820)關(guān)聯(lián)的第一深度圖(810)傳播到與第 二圖像(830)關(guān)聯(lián)的第二深度圖(860)的深度圖傳播設(shè)備(800)，第一和第二圖像是圖像序 列中的時(shí)間緊鄰圖像，該設(shè)備包括-第一生成裝置(805)，它被設(shè)置成通過(guò)使用第一圖像(820)和第二圖像(830)的像素 將深度值從第一深度圖(810)傳播到與第二圖像(830)關(guān)聯(lián)的中間深度圖(840)，產(chǎn)生該中 間深度圖(840)；-第二生成裝置(815)，它被設(shè)置成使用包含了第一深度圖(810)中的第一位置周圍的 空間區(qū)域的深度值以及中間深度圖(840)中的第二位置周圍的空間區(qū)域的深度值的信息， 產(chǎn)生運(yùn)動(dòng)矢量(850)；以及-第三生成裝置(825)，它被設(shè)置成使用包含了運(yùn)動(dòng)矢量(850)和第一深度圖(810)的 信息，產(chǎn)生第二深度圖(860)中的第二位置的深度值。
9.一種消費(fèi)類電子設(shè)備(965)，包含根據(jù)權(quán)利要求8的深度圖傳播設(shè)備(800)。
10.一種內(nèi)容轉(zhuǎn)換設(shè)備(955)，包含根據(jù)權(quán)利要求8的深度圖傳播設(shè)備(800)。
11.一種計(jì)算機(jī)程序產(chǎn)品，包含用于使得可編程設(shè)備執(zhí)行權(quán)利要求1-7中任一項(xiàng)的方 法的指令。
全文摘要
本發(fā)明涉及一種用于將深度相關(guān)信息從與第一圖像(820)關(guān)聯(lián)的第一深度圖(810)傳播到與第二圖像(830)關(guān)聯(lián)的第二深度圖(860)的設(shè)備和方法，第一和第二圖像是圖像序列中的時(shí)間緊鄰圖像。該方法包括通過(guò)使用第一圖像(820)和第二圖像(830)的像素將深度值從第一深度圖(810)傳播到與第二圖像(830)關(guān)聯(lián)的中間深度圖(840)，產(chǎn)生該中間深度圖(840)，使用包含了第一深度圖(810)中的第一位置周圍的空間區(qū)域的深度值以及中間深度圖(840)中的第二位置周圍的空間區(qū)域的深度值的信息，產(chǎn)生運(yùn)動(dòng)矢量(850)，以及使用包含了運(yùn)動(dòng)矢量(850)和第一深度圖(810)的信息，產(chǎn)生第二深度圖(860)中的第二位置的深度值。
文檔編號(hào)H04N13/00GK101822067SQ200880100657
公開(kāi)日2010年9月1日 申請(qǐng)日期2008年7月18日 優(yōu)先權(quán)日2007年7月26日
發(fā)明者C·瓦雷坎普 申請(qǐng)人:皇家飛利浦電子股份有限公司