專(zhuān)利名稱(chēng)：用于可伸縮視頻編碼的位深度增強(qiáng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于可伸縮^LM編碼的位深度增強(qiáng)。
背景技術(shù)：
本發(fā)明概要地涉及用于可伸縮^LM編碼(scalable video coding)的位深 度增強(qiáng)。
多個(gè)不同的觀^0:可利用多種不同的設(shè)備和連接收看特定的視頻。例如， 特定的互聯(lián)網(wǎng)址可廣播視頻流，可通過(guò)多種有線(xiàn)和無(wú)線(xiàn)網(wǎng)絡(luò)、在具有不同 能力并連接到該網(wǎng)址的移動(dòng)設(shè)備、臺(tái)式計(jì)算機(jī)以及電視i/L等上面觀看該視 頻流。為了適應(yīng)這種不同的環(huán)境，可采用稱(chēng)為可伸縮^LM編碼的概念。
在可伸縮視頻編碼中，提供多層壓縮視頻流，其允i恃個(gè)終端設(shè)備提 取與該設(shè)備能力匹配的信息并忽略其^f言息?？删幋a該壓縮視頻流以容納 多個(gè)不同的可伸縮特征，例如可伸縮分辨率、可伸縮幀速率或可伸縮信噪 比(SNR)。
為了生成可伸縮視頻流，編碼器處理原始視頻流，其生成包含M層 (baselinelayer)和至少一個(gè)增強(qiáng)層的壓縮視頻流。正如其名字所示，M層 組成關(guān)于該視頻的最小信息。終端設(shè)備可利用增強(qiáng)層的特征，以達(dá)到伸縮 接4t^的視頻流以匹配終端設(shè)備能力的目的。
可伸縮視頻編碼的過(guò)程-^:涉及將基線(xiàn)層的位深度轉(zhuǎn)換到用于增強(qiáng)層 的更高的位深度。在此處的上下文中，"位深度"是指用于表示每個(gè)特定 像素值的位的數(shù)量。例如，與M層相關(guān)的壓縮^LM流可具有八的位;H， 因?yàn)樵摿鞯拿縙^象素M由八個(gè)^4示的。增強(qiáng)層流可具有每個(gè)由十個(gè)位 表示的傳_素值。因此，位深度轉(zhuǎn)換涉及將，層流的八位像素值轉(zhuǎn)M增 強(qiáng)層濟(jì)jf應(yīng)的十位i象素值。常規(guī)的位深度伸縮技術(shù)涉及分塊映射或色調(diào)映射。但是，這些技#編碼的角度來(lái)說(shuō)可肯^_相對(duì)#^文的。

發(fā)明內(nèi)容
本發(fā)明提^"-種方法，包括接收第一編石^w信號(hào)，所述第一編碼
視頻信號(hào)指示關(guān)于像素的第一值，所述第一值與第一位深度相關(guān)；對(duì)于每 W象素，分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述每^f象 素；以M少部分地基于所述分析，生成指示關(guān)于所述像素的第二值的第 二編石^^LM信號(hào)，所述第二值與不同于所述第一位深度的第二位^1相關(guān)。 本發(fā)明還1是#—種物品，包"^i十算才幾可i方問(wèn)的^f渚^^質(zhì)以^^指令， 當(dāng)#^亍所述指令時(shí)^^于處理器的系統(tǒng)接收第一編^te^f言號(hào)，所述第 一編碼視頻信號(hào)指示關(guān)于像素的第一值，所述第一值與第一位深度相關(guān)； 對(duì)于每^M象素，分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述 每^H象素；以及至少部分tt于所述分析，生成指示關(guān)于所述像素的第二 值的第二編石4^M信號(hào)，所述第二值與高于所述第一位深度的第1深度 相關(guān)。
本發(fā)明還提#~~種*^系統(tǒng)，包括分析器，所述分析雜J]錄一編 碼視頻信號(hào)，所述第一編碼# 信號(hào)指示關(guān)于像素的第一值，所述第一值 與第一位深度相關(guān)，以M于每^M象素，分析關(guān)于位于鄰域中的像素的第 一值，所述鄰域包含所述每^H象素；以及位;f^預(yù)測(cè)器，至少部分;峰于 所述分析，生成指示關(guān)于所述像素的第二值的第二編;射J^貞信號(hào)，所述第 二值與不同于所述第一位深度的第二位^1相關(guān)。


圖1和4是J賄技術(shù)的可伸縮視頻編解碼器(SVC)系統(tǒng)的沖匡圖。 圖2是根據(jù)本發(fā)明的實(shí)施例的內(nèi)容自適應(yīng)的位深度增強(qiáng)器的框圖。 圖3和5是根據(jù)本發(fā)明的不同實(shí)施例的可伸縮^LM編解碼器(SVC) 系統(tǒng)的框圖。
圖6是根據(jù)本發(fā)明的實(shí)施例的局部像素鄰域的圖示。M實(shí)施方式
參照?qǐng)D1,常身見(jiàn)的可伸縮^L頻編解碼器(SVC)系統(tǒng)10包4射見(jiàn)頻源20, 其捕捉圖傳教據(jù)的連續(xù)幀以產(chǎn)生^^貞信號(hào)21 ，其像素值具有M的位;f^(十 的位深度，作為非限制性的示例)。也，^1說(shuō)，由視頻源20捕捉的視頻圖 像具有每個(gè)由具有M位的像素值定義的像素(即對(duì)于每^H象素而言，每個(gè) 色彩空間^J:一個(gè)M位像素值)。
SVC系統(tǒng)10處理M位^LM信號(hào)21以產(chǎn)生編碼的J^層和增強(qiáng)層^f妙I(lǐng) 流。更具體地，為了產(chǎn)生編碼的基《勤見(jiàn)頻流(在本文中稱(chēng)為"BL視頻流 30" ) , SVC系統(tǒng)10包含色調(diào)艦單元22和絲層編碼器24。從M位 牙J^刷言號(hào)21，色調(diào)映射單元22產(chǎn)生更低的位深度信號(hào)(稱(chēng)為"N位^LM信 號(hào)23"),其具有位深度小于M的N(八的位茱變，作為非限制性的示例) 的位深度。J^層編碼器24壓縮N位^LM信號(hào)23以生成BL視頻流30。
為了生成編碼的增強(qiáng)層視頻流(在本文中稱(chēng)為"EL視頻流32"), SVC系統(tǒng)10包含反向色調(diào)映射單元26和增強(qiáng)層編碼器28。反向色調(diào)^ 單元26將由皿層編碼器24提供的壓縮的N位^LM濟(jì)o^M壓縮的M位 視頻流27。增強(qiáng)層編碼器28處理壓縮的M位3見(jiàn)頻流27和M位^LM信號(hào) 21以生成EL視頻流32。
BL30和EL32 ^LM流可被傳i^J^J^傳輸網(wǎng)絡(luò)(無(wú)線(xiàn)網(wǎng)絡(luò)、蜂窩網(wǎng)絡(luò)、 互聯(lián)網(wǎng)、廣播網(wǎng)絡(luò)等等)和/或4^貞^i殳備，如參考標(biāo)號(hào)40所示。^i殳 備可以是磁盤(pán)、石M、 CD-ROM、 ^f^區(qū)域網(wǎng)絡(luò)(SAN)、網(wǎng)頁(yè)服務(wù)器、 服務(wù)器場(chǎng)等等。不考慮特定的傳輸網(wǎng)絡(luò)iUH浙殳備，終端設(shè)備最終可從傳 輸網(wǎng)絡(luò)/4^i殳備40處接>^/重新獲得BL38和EL39視頻流,并將其解;^(例 如，解壓縮)以產(chǎn)生用于較低的位^^顯示44的N位^LM信號(hào)43或用于 較高的位;錄顯示49的M位^LM信號(hào)48。
更^WM也，，層解碼器42可解碼BL視頻流38 ，其產(chǎn)生用于較低的 位深度顯示44的N位^M信號(hào)43。增強(qiáng)層解碼器47可解碼EL視頻流39, 其接收EL視頻流39以及由反向色調(diào),單元46供給的M位視頻流47。反向色調(diào)映射單元46響應(yīng)由M層解碼器42提供的N位解壓縮^J^貞流而 產(chǎn)生M位枧頻流47。增強(qiáng)層解碼器47接著提供M位#彭頁(yè)信號(hào)48給較高 的位深度顯示49。
色調(diào)Wt是經(jīng)常^皮用于將較高的位深度^J貞轉(zhuǎn)^^較低的位^1^LM 的技術(shù)。這種技術(shù)包括線(xiàn)性伸縮，分段M，并涉M成和佳JD查詢(xún)表。 色調(diào)映射基于的原則是提供從高位深度像素值到^f綠深度像素值的像素到 像素的映射。通過(guò)視頻編碼器提供的映射的信息，^艦解碼器能夠/A^碼 的J緣^1^LM構(gòu)建高位^1^M。
但是，如同前面所講的，在編碼的上下文中色調(diào),可負(fù)^_相對(duì)#^1 的，因?yàn)樯{(diào)映射沒(méi)有考慮位于正被映射的每^M象素值的局部鄰域的像素 值。更M地，在本文中描述的位深度轉(zhuǎn)換技^較低的N位深;^信號(hào)中 ^H皮轉(zhuǎn)換的每^f象素值考慮了局部l象素鄰域。
像素鄰域可由當(dāng)前圖像中的像素形成，所述像素最接近于其像素^IUE 被轉(zhuǎn)換成較高的位深度的像素。像素鄰域可以備i^L是在早先時(shí)間圖像中 的目標(biāo)像素的同位置的鄰域，或者是在未來(lái)時(shí)間圖像中的目標(biāo)像素的同位 置的鄰域。根據(jù)本發(fā)明的一些實(shí)施例，像素鄰域的邊界可由用戶(hù)定義。參 照?qǐng)D6,作為非限制性的特定示例，像素鄰域可以是三^的鄰域100,該 鄰域包括位于其中心的目標(biāo)像素110 (^iiM皮轉(zhuǎn)^^高的位^l的像 素)和八個(gè)鄰近的像素120 (將在下面描述的特定鄰近像素120a-h)。對(duì)于 本例，目標(biāo)像素110是三紅鄰域100的中心，具有四個(gè)鄰近像素120a、 120c、 120f和120h，位于目標(biāo)像素110的對(duì)角，兩個(gè)鄰近像素位于目標(biāo)像 素110的左邊(像素120d)和右邊(像素120e)，以及兩個(gè)鄰近像素位于 目標(biāo)像素110的上面(像素120b)和下面(像素120g)。如前面所描述的， 鄰域100可以是當(dāng)前圖像(即當(dāng)前正由N位深度信號(hào)所表示的圖像)中的 目標(biāo)像素的鄰域，可以是早先時(shí)間的圖像中的目標(biāo)像素的同位置的鄰g 是未來(lái)時(shí)間的圖像中的目標(biāo)像素的同位置的鄰域。
為了提高可伸縮一J^LM編解碼器系統(tǒng)中位深度可伸縮性的編碼效率，根 據(jù)本發(fā)明的實(shí)施例可使用圖2中描述的內(nèi)容自適應(yīng)的位深度增強(qiáng)器50。如下面所描述的，位深度增強(qiáng)器50逐步經(jīng)過(guò)壓縮的N位信號(hào)流的像素值，并 以收集到的有關(guān)每個(gè)像素的鄰域的信息作為每個(gè)位深度轉(zhuǎn)換的1^出。如上 面所討論的，鄰^戈可以與現(xiàn)在的、早先時(shí)間的和/或#時(shí)間的圖#^目關(guān)。
參照?qǐng)D2,通常，位深度增強(qiáng)器50接收壓縮的N位視頻流52，該N ^^LM力W皮增強(qiáng)器50的內(nèi)容分析器54以A^部鄰域統(tǒng)計(jì)量分析器分沖斤。 對(duì)于每個(gè)局部鄰域，內(nèi)容分析器54^J則鄰域中i^彖的存在(即水平的、垂 直的和/或?qū)堑膇i^)。如下面進(jìn)一步描述的，如果內(nèi)容分析器54在鄰域 中檢測(cè)到姊，則位^^增強(qiáng)器50##定的鄰域《議為異類(lèi)的；并站這 種情況下，位深度增強(qiáng)器50可默認(rèn)由系統(tǒng)的另一#件提#^深度轉(zhuǎn)換， 正如下面ii一步描述的。
否則，如^4鄰域中沒(méi)有才&則到i^皋，位^JL增強(qiáng)器50基于鄰域內(nèi)容 的分析確定位^t轉(zhuǎn)換的偏移和伸縮因子值。
局部鄰域統(tǒng)計(jì)量分析器58確定鄰域的多種統(tǒng)計(jì)量。基于分析器54和 58的處理結(jié)果，位深^^增強(qiáng)器50的局部?jī)?nèi)容自適應(yīng)的位深度預(yù)測(cè)器64將 壓縮的N位視頻流52轉(zhuǎn)纟^壓縮的更高位^^ M位視頻流65。
根據(jù)本發(fā)明的一些實(shí)施例，內(nèi)容分析器54可應(yīng)用邊^(qū)^測(cè)度量以便檢 測(cè)鄰域中垂直的、水平的或?qū)堑倪吘壍拇嬖?。在鄰域中檢測(cè)到邊緣的存 在可作為認(rèn)定鄰&樹(shù)于基于局部鄰域像素值的位深度的預(yù)測(cè)不是充分同類(lèi) 的依據(jù)，正如下面進(jìn)一步描述的。相^J4，在鄰域中沒(méi)有;f^測(cè)到邊緣可用 來(lái)認(rèn)定鄰ii^于基于局部鄰域像素值的位深度預(yù)測(cè)^^分同類(lèi)的。
作為更M的示例，對(duì)于^JU三fc的鄰域的示例，內(nèi)容分析器54可 將索貝爾(Sobd)邊^(qū)#子應(yīng)用于三^_鄰域。索貝爾邊*|^子可如下面 等式l、 2、 3和4中所描述
五"
v =
_1 _2 -l
0 0 0
1 2 1
-i o r
-2 0 2
_1 0 1
等式l
等式2<formula>formula see original document page 10</formula> 以及 等式3
<formula>formula see original document page 10</formula> 等式4
等式1 ^)于檢測(cè)水平i^彖的邊纟i^子的分量；等式2 ^于檢測(cè)垂直邊緣的邊緣算子的分量；等式3 A^于檢測(cè)正四十五度i^彖的邊纟l^子的分量；以及等式4顏于抬鍘負(fù)四十五度邊緣的ii^子的分量。
々汰上面定義的邊，錄子，邊緣度量，稱(chēng)為"EM(x)"，在三^S鄰域中(在下面稱(chēng)為"NH9(x)")可用z^i(A示為等式1、 2、 3和4中的加權(quán)的巻積，如下所示
EM(x)=|NH9(x)*E—h|+pslH9(x)*E—v|+|NH9(x)*E—P45|+,9(x)*E_N45|。
等式5
在等式5中，在N位信號(hào)中目標(biāo)像素值用"x"表示。
根據(jù)本發(fā)明的一些實(shí)施例，內(nèi)容分析器54確定i^彖度量EM(x)，并且局部?jī)?nèi)容自適應(yīng)的位深度預(yù)測(cè)器64將邊緣度量EM(x)與預(yù)定閾值比較以確定在鄰域中是否檢測(cè)到i^彖。因此，如果邊緣度量EM(x)高于預(yù)定閾值，位^1預(yù)測(cè)器64作IX檢測(cè)到邊緣。否則，位深度預(yù)測(cè)器64 ^X沒(méi)有枱測(cè)到錄。
需要注意的是，才艮據(jù)本發(fā)明的其它實(shí)施例，除了索貝爾i^錄子，還可使用其它i^錄子。此外，根據(jù)本發(fā)明的其它實(shí)施例，^^1水平的(等式l)和垂直的(等式2)邊^(qū)^子分量，而不使用對(duì)角的(等式3和4)邊緣分量，對(duì)于邊^(qū)f^測(cè)可以AA夠的。因此，預(yù)期多種變化，并JLit些變化在所附權(quán)利要求的范圍中。
鄰域包含k^H象素，并且k的值取決于^jl]的鄰域。例如，以圖6的三#鄰域100為例，k等于九。另一個(gè)例子，對(duì)于五乘五的鄰域，鄰近像素的數(shù)量k可以是二十五。但是另一個(gè)例子，對(duì)于其中考慮有兩個(gè)像素在目標(biāo)像素的上面和下面，又有兩個(gè)像素在目標(biāo)像素的左邊和右邊的鄰域的情況，鄰近像素的數(shù)量k可以是五。因此，預(yù)期多種變化，并JLi^些變化在所附權(quán)利^"求的范圍中。
根據(jù)本發(fā)明的實(shí)施例，局部鄰域統(tǒng)計(jì)量分析器58收集下列鄰域統(tǒng)計(jì)量k個(gè)鄰近像素的總和，稱(chēng)為"sum一k",以及k個(gè)鄰近像素的方差，稱(chēng)為"var_k"。定義為距離的員，或"dist_x"，被位深度預(yù)測(cè)器64 4，(正如下面進(jìn)一步M的)，可如下描述
dist—x 二 (k*x-sum—k)/(var_k+C) 等式6
其中"C"代J^預(yù)定的常量值。
通常，位;^1預(yù)測(cè)器64才財(cái)居以下關(guān)系將特定的N位目標(biāo)像素值x從N位信號(hào)轉(zhuǎn)城M位目標(biāo)像素值(稱(chēng)為"y"):
y=a*x0b， 等式7其中"a"代表伸縮因子值，"b"代耒偏移值，而" " A束符號(hào)運(yùn)算符。如下所述，伸縮因子值和b偏移^^M"應(yīng)的鄰域中的像素值的函數(shù)。通常，a伸縮因子值遵循非線(xiàn)性函數(shù)，因?yàn)槿绻麤](méi)有檢測(cè)到i^彖(即，ii^彖度量EM(x)小于預(yù)定闊值)，則位^^預(yù)測(cè)器6Mff申縮因子值設(shè)置成等于M減去N (作為一個(gè)非限制性的示例)，如果檢測(cè)到邊緣則位深度預(yù)測(cè)器修改伸縮因子值。
更^M也，作為一個(gè)示例，M可等于十(對(duì)應(yīng)十位^f象素值)，并且N可等于八(對(duì)應(yīng)八位^f象素值)。因此，M的范圍為1024 ( 210)，是N的范圍的四倍，N的范圍為256 (28)。當(dāng)檢測(cè)到邊緣時(shí)，位i^l預(yù)測(cè)器64可忽略局部像素鄰域(由于鄰域的異類(lèi)〗錄)，并且##縮因子值設(shè)置為四(由于范圍的相對(duì)伸縮)，并將b偏移^直i殳置為零。然而，當(dāng)沒(méi)有^r測(cè)到邊^(qū)彖時(shí)，位深度預(yù)測(cè)器64基于局部鄰域調(diào)節(jié)位^jl轉(zhuǎn)換，彬申縮因子a設(shè)置為M-N (或其它缺省值)并將b偏移值設(shè)置為由局部鄰&W象素內(nèi)^^角定的值，正如下面進(jìn)一步M的。在本發(fā)明的其它實(shí)施例中，當(dāng)檢測(cè)到邊緣時(shí)，位^^預(yù)測(cè)器64允許無(wú)的位^1技術(shù)(例如色調(diào)條或分塊位深度伸縮技術(shù)，作為示例)來(lái)確定被轉(zhuǎn)換的像素值，如下面進(jìn)一步描述的。
根據(jù)本發(fā)明的一些實(shí)施例，當(dāng)沒(méi)有檢測(cè)到邊緣時(shí)(也就是，當(dāng)邊緣度量EM(x)^氐于預(yù)定閾值時(shí))位深度預(yù)測(cè)器54將偏移值b設(shè)置成如下所述
b = d*dist_x， 等式8其中"dist一x"在等式6中定義，并且"d" ^R4預(yù)定的常量值。才財(cái)居本發(fā)明的一些實(shí)施例，如果邊緣度量EM(x)高于預(yù)定閾值，則齊汰異類(lèi)像素環(huán)境，因此，偏移值b可被設(shè)置。
符號(hào)運(yùn)算符G)可以是加或減運(yùn)算符，它可基于^J頁(yè)編碼器提供的信號(hào)。備逸地，該符號(hào)運(yùn)算符可在解碼器端導(dǎo)出或可以根據(jù)用戶(hù)定X^指定。因此，預(yù)期多種變化，并皿些變化在所附加權(quán)利要求的范圍中。
參照?qǐng)D3，才M居本發(fā)明的實(shí)施例，內(nèi)容自適應(yīng)的位深度增強(qiáng)器50可并WJ可伸縮^LM編解碼器(SVC)系統(tǒng)100的編碼器端和解碼器端。在這點(diǎn)上，SVC系統(tǒng)100與SVC系統(tǒng)10相似(參見(jiàn)圖1)，同樣的參考標(biāo)號(hào)用于表示同才羊的部件。但是，不同于SVC系統(tǒng)10, SVC系統(tǒng)100在反向色調(diào)映射單元26和增強(qiáng)層編碼器28之間包括位^^增強(qiáng)器50a(與圖2的位深度增強(qiáng)器50具有相同的設(shè)計(jì))。在這點(diǎn)上，才 本發(fā)明的一些實(shí)施例，位)^1增強(qiáng)器50a從反向色調(diào),單元26處接收M位視頻流27。位〖f^增強(qiáng)器50a也接收由M層編碼器24提供的N位視頻流。
當(dāng)在像素鄰域中^i;則到i^彖時(shí)，位^^增強(qiáng)器50a 4狄由反向色調(diào)映射單元26產(chǎn)生的位^^轉(zhuǎn)換。否則，位深度增強(qiáng)器50a處理由^層編碼器24提供的N位信號(hào)，并為像素^f亍位^l轉(zhuǎn)換。因此，銜fJL增強(qiáng)器50a補(bǔ)充了反向色調(diào),單元26的^f乍。
在解碼端，系統(tǒng)100包含內(nèi)容自適應(yīng)的位深度增強(qiáng)器50b (具有與圖2的位深度增強(qiáng)器50相同的設(shè)計(jì))，其與編碼端相似，在反向色調(diào)g單元46和增強(qiáng)層解碼器47之間耦合以補(bǔ)充由單元46提供的位深度轉(zhuǎn)換。
參照?qǐng)D4,作為圖1中4鬆會(huì)的常失見(jiàn)SVC系統(tǒng)10的替換，可使用另一個(gè)常規(guī)SVC系統(tǒng)200。 SVC系統(tǒng)200具有與SVC系統(tǒng)10相似的i殳計(jì)，除了反向色調(diào)映射單元26和46分別#^向分塊伸縮單元206和208代替。與色調(diào)映射中^J 1的像素到像素的映射相比，分塊位深度伸縮方法將圖像劃分成像素塊，并為塊中的像素采用相同的伸縮和偏移值。即視頻編碼器為每個(gè)塊確定一組伸縮因子和偏移值，并JW見(jiàn)頻解碼器利用已確定的該組伸縮因子和偏移值以及BL 4彭貞中的4緣深度的解石M象素來(lái)重建EL ^LM中的高位深度的像素。塊的大小可被調(diào)整絲塊大小，16X16像素塊大小，或亞孩l塊大小，例如八^/v， 16X8， 8X16， 8X4， 4X8或4X4,其與當(dāng)
前的可伸縮視頻編解碼器(svc)標(biāo)準(zhǔn)兼容。
參照?qǐng)D5，為了提高編碼效率，根據(jù)本發(fā)明的實(shí)施例可^JUSVC系統(tǒng)250。 SVC系統(tǒng)250具有與系統(tǒng)200相似的設(shè)計(jì)，具有用于表示相同部件的相同參考標(biāo)號(hào)，除了 SVC系統(tǒng)250包括內(nèi)容自適應(yīng)的位深度增強(qiáng)器50a和50b，兩者^(guò)"有與內(nèi)容自適應(yīng)的位深度增強(qiáng)器50(參見(jiàn)圖2)相同的設(shè)計(jì)。在逸存、上，如圖5中所描繪的，位深度增強(qiáng)器50a位于反向分塊伸縮單元206和增強(qiáng)層編碼器28之間。位深度增強(qiáng)器50a^^)鄰域分析的信息以出色細(xì)節(jié)補(bǔ)充高位深度像素的預(yù)測(cè)，從而實(shí)現(xiàn)更好的編碼效率。々喊在圖5中所描繪的，位深度增強(qiáng)器50b可位于反向塊伸縮單元208和增強(qiáng)層解碼器47之間。當(dāng)^r測(cè)到邊緣時(shí)，^^I由分塊單元206和208提供的位^^轉(zhuǎn)換結(jié)果。否則，位深度增強(qiáng)器50a和50b基于像素鄰域的內(nèi)^:^f立^JL轉(zhuǎn)換。
需要注意的是，根據(jù)本發(fā)明的其它實(shí)施例，內(nèi)容自適應(yīng)的位深度增強(qiáng)器50可在沒(méi)有(系統(tǒng)100的)反向色調(diào)映射單元26和46或在沒(méi)有(系統(tǒng)250的)反向分塊伸縮單元206和208的情況下使用。因此，預(yù)期多種變化，并Jil些變化在所附權(quán)利要求的范圍中。
依據(jù)本發(fā)明的特定實(shí)施例，本文中描述的位深JL^石^支術(shù)的優(yōu)點(diǎn)可包括以下的一個(gè)或多個(gè)。內(nèi)容自適應(yīng)的位深度增強(qiáng)器通過(guò)利用^/f立深度中的目標(biāo)像素的局部?jī)?nèi)容的棒性為位深度可伸縮^LM實(shí)現(xiàn)高效的編碼效率。內(nèi)容自適應(yīng)的位深度增強(qiáng)器通過(guò)利用^^立深度中的目標(biāo)像素的局部?jī)?nèi)容的特性為組合的BL視頻和EL視頻實(shí)現(xiàn)高效的編碼效率。通it^人壽交j氐的位深度的信號(hào)推導(dǎo)出的特征，內(nèi)容自適應(yīng)的位深度增強(qiáng)器從較低的位^1的信號(hào)預(yù)測(cè)較高的位深度的信號(hào)，并且由于在位流中沒(méi)有額外開(kāi)銷(xiāo)需要傳送，內(nèi)容自適應(yīng)的位深度增強(qiáng)器繼承自我建構(gòu)的良好特性。通it/人BL視頻中的較低的位深度信號(hào)推導(dǎo)出的特征，內(nèi)容自適應(yīng)的位^1增強(qiáng)器從BL ^LM中的較低的位^1的信號(hào)預(yù)測(cè)ELSH貞中的較高的位深度的信號(hào)。通過(guò)鄰域統(tǒng)計(jì)量和局部?jī)?nèi)容的掙性，內(nèi)容自適應(yīng)的位深度增強(qiáng)器從BL ^LM中的較低的位深度的信號(hào)預(yù)測(cè)EL^LM中的較高的位^JL的信號(hào)。通it^'用^j立深度信號(hào)的局部邊全員測(cè)以適應(yīng)高位深度信號(hào)的構(gòu)建，內(nèi)容自適應(yīng)的位深度增強(qiáng)器提高了轉(zhuǎn)換高/^f立深度^LM的像素到像素的色調(diào)崎的編碼效率。通過(guò)利用^^立深度信號(hào)的局部ii^測(cè)以適應(yīng)高位深度信號(hào)的構(gòu)建，內(nèi)容自適應(yīng)的位深;^增強(qiáng)器提高了轉(zhuǎn)換高/^f立深度視頻的分塊伸縮的編碼效率。
雖然本發(fā)明是參照有限數(shù)量的實(shí)施例描述的，但是>^^開(kāi)受益的本領(lǐng)域技術(shù)人員將因此領(lǐng)會(huì)到多種修改和變化。所附權(quán)利要求旨^A屬于本發(fā)明的實(shí)質(zhì)和范圍的所有此類(lèi)修改和變化。
權(quán)利要求
1. 一種方法，包括接收第一編碼視頻信號(hào)，所述第一編碼視頻信號(hào)指示關(guān)于像素的第一值，所述第一值與第一位深度相關(guān)；對(duì)于每個(gè)像素，分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述每個(gè)像素；以及至少部分地基于所述分析，生成指示關(guān)于所述像素的第二值的第二編碼視頻信號(hào)，所述第二值與不同于所述第一位深度的第二位深度相關(guān)。
2. 如權(quán)利要求l所述的方法，還包括生成所述第一編碼^^信號(hào)，包括^J]基線(xiàn)編碼器isli^解碼器。
3. 如權(quán)利要求l所述的方法，還包括所述第二編;^f見(jiàn)頻信號(hào)的生成，還基于由所述第一編;^^j^f言號(hào)的反 向^^塊伸縮獲得的結(jié)果。
4. 如權(quán)利要求l所述的方法，還包括所述第二編^^LM信號(hào)的生成，*于由所述第一編;射妙頁(yè)信號(hào)的反 向色調(diào)映射獲得的結(jié)果。
5. 如權(quán)利要求l所述的方法，其中所述鄰域包括與早先時(shí)間的圖^4目 關(guān)的同位置的鄰域，與未來(lái)時(shí)間的圖像相關(guān)的同位置的鄰域^V或與當(dāng)前圖 4糾目關(guān)的鄰域。
6. 如權(quán)利要求l所述的方法，還包括其中所述分析包括處理關(guān)于位于所述鄰域中的像素的第一值以檢測(cè)邊緣。
7. 如權(quán)利要求6所述的方法，其中所i^成所述第1石^f，信號(hào)包 括，基于是否沖&則到i^彖調(diào)對(duì)申縮因子和偏移中的至少一個(gè)。
8. 如權(quán)利要求1所述的方法，其中所述分析包括處理關(guān)于位于所述鄰 域中的像素的第一值以確定關(guān)于所處理的第一值的統(tǒng)計(jì)量。
9. 如權(quán)利要求8所述的方法，其中所述處理包括確定所處理的第一值的方差與和中的至少一個(gè)。
10. —種物品，包^i十算機(jī)可訪(fǎng)問(wèn)的^^介質(zhì)以^l指令，當(dāng)扭行所 述指令時(shí)使基于處理器的系統(tǒng)接收第 一編碼纟，貞信號(hào)，所述第一編碼^J^刷言號(hào)指示關(guān)于像素的第一 值，所述第一值與第一位深度相關(guān)；對(duì)于每^f象素，分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述每^H象素；以及至少部分i4^于所述分析，生成指示關(guān)于所述像素的第二值的第1石4^J貞信號(hào)，所述第二值與高于所述第一位深度的第二位^^相關(guān)。
11. 如權(quán)利要求10所述的物品，所述#^介質(zhì)^#指令，當(dāng)^f亍所述 指令時(shí)^^斤述基于處理器的系統(tǒng)還將所述第二編碼^i貞信號(hào)的生成基于由所述第一編石^妙頁(yè)信號(hào)的反向^^塊伸縮^y尋的結(jié)果。
12. 如權(quán)利要求10所述的物品，所述^^介質(zhì)^t指令，當(dāng)^/f亍所述 指令時(shí)^^斤#于處理器的系統(tǒng)還將所述第二編^f彭貞信號(hào)的生成基于由所述第一編石勁妙貞信號(hào)的反 向色調(diào)^^^得的結(jié)果。
13. 如權(quán)利要求10所述的物品，所述^l介質(zhì)^l指令，當(dāng)扭行所述 指令時(shí)^/斤i^于處理器的系統(tǒng)處理關(guān)于位于局部鄰域中的像素的第一值以確定關(guān)于所處理的第一值 的統(tǒng)/H"量，以及所述分析至少部分;tt于所確定的統(tǒng)計(jì)量。
14. 如權(quán)利要求10所述的物品，其中所述鄰域包括與早先時(shí)間的圖l象 相關(guān)的同位置的鄰域，與未來(lái)時(shí)間的圖傳湘關(guān)的同位置的鄰域和/或與當(dāng)前 圖像相關(guān)的鄰域。
15. —種^M系統(tǒng)，包4舌 分析器接收第一編碼視頻信號(hào)，所述第一編碼視頻信號(hào)指示關(guān)于傳J:的第一值，所述第一值與第一位深度相關(guān)；以及對(duì)于每W象素，分析關(guān)于位于鄰域中的像素的第一值，所述鄰域 包含所述每錯(cuò)素；以及4立^^1預(yù)測(cè)器，至少部分ig于所述分4斤，生成指示關(guān)于所述像素的 第二值的第二編碼視頻信號(hào)，所述第二值與不同于所述第一位私復(fù)的第二 位絲相關(guān)。
16. 如權(quán)利要求15所述的^LM系統(tǒng)，還包括 錢(qián)層編碼器，用于提供所述第一編石4^LM信號(hào)。
17. 如權(quán)利要求16所述的^LM系統(tǒng)，還包括 增強(qiáng)層編碼器，用于接4i^斤述第二編;5^M信號(hào)。
18. 如權(quán)利要求15所述的^!j^系統(tǒng)，還包括 反向色調(diào)RjMt單元，用于至少部分地生成所述第二編石^J^頁(yè)信號(hào)。
19. 如權(quán)利要求15所述的^LM系統(tǒng)，還包括 反向分塊伸縮單元，用于至少部分地生成所述第1石^妙貞信號(hào)。
20. 如權(quán)利要求15所述的^LM系統(tǒng)，其中所述分析器包括內(nèi)容分析器，用于處理關(guān)于位于局部鄰域中的像素的第一值以檢測(cè)所 述局部鄰域中邊緣的存在；以及統(tǒng)計(jì)量分析器，用于確定關(guān)于所處理的第一值的至少一個(gè)統(tǒng)計(jì)量。
全文摘要
視頻系統(tǒng)包括分析器和位深度預(yù)測(cè)器。分析器接收第一編碼視頻信號(hào)，其指示關(guān)于像素的第一值。第一值與第一位深度相關(guān)。分析器對(duì)于每個(gè)像素分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述每個(gè)像素。位深度預(yù)測(cè)器，至少部分地基于所述分析，生成指示關(guān)于像素的第二值的第二編碼視頻信號(hào)。第二值與不同于第一位深度的第二位深度相關(guān)。
文檔編號(hào)H04N7/26GK101459845SQ20081017995
公開(kāi)日2009年6月17日 申請(qǐng)日期2008年10月15日 優(yōu)先權(quán)日2007年10月15日
發(fā)明者H·姜, Y·-J·秋, Y·-T·葉 申請(qǐng)人:英特爾公司