專利名稱：用于可伸縮視頻編碼的位深度增強的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于可伸縮視頻編碼的位深度增強。
背景技術(shù)：
本發(fā)明概要地涉及用于可伸縮視頻編碼(scalable video coding)的位深度增強。多個不同的觀眾可利用多種不同的設(shè)備和連接收看特定的視頻。例如，特定的互 聯(lián)網(wǎng)址可廣播視頻流，可通過多種有線和無線網(wǎng)絡(luò)、在具有不同能力并連接到該網(wǎng)址的移 動設(shè)備、臺式計算機以及電視機等上面觀看該視頻流。為了適應(yīng)這種不同的環(huán)境，可采用稱 為可伸縮視頻編碼的概念。在可伸縮視頻編碼中，提供多層壓縮視頻流，其允許每個終端設(shè)備提取與該設(shè)備 能力匹配的信息并忽略其余信息?？删幋a該壓縮視頻流以容納多個不同的可伸縮特征，例 如可伸縮分辨率、可伸縮幀速率或可伸縮信噪比(SNR)。為了生成可伸縮視頻流，編碼器處理原始視頻流，其生成包含基線層(baseline layer)和至少一個增強層的壓縮視頻流。正如其名字所示，基線層組成關(guān)于該視頻的最小 信息。終端設(shè)備可利用增強層的特征，以達到伸縮接收到的視頻流以匹配終端設(shè)備能力的 目的。可伸縮視頻編碼的過程一般涉及將基線層的位深度轉(zhuǎn)換到用于增強層的更高的 位深度。在此處的上下文中，“位深度”是指用于表示每個特定像素值的位的數(shù)量。例如，與 基線層相關(guān)的壓縮視頻流可具有八的位深度，因為該流的每個像素值是由八個位表示的。 增強層流可具有每個由十個位表示的像素值。因此，位深度轉(zhuǎn)換涉及將基線層流的八位像 素值轉(zhuǎn)換成增強層流對應(yīng)的十位像素值。常規(guī)的位深度伸縮技術(shù)涉及分塊映射或色調(diào)映 射。但是，這些技術(shù)從編碼的角度來說可能是相對低效的。

發(fā)明內(nèi)容
本發(fā)明提供一種方法，包括接收第一編碼視頻信號，所述第一編碼視頻信號指示 關(guān)于像素的第一值，所述第一值與第一位深度相關(guān)；對于每個像素，分析關(guān)于位于鄰域中的 像素的第一值，所述鄰域包含所述每個像素；以及至少部分地基于所述分析，生成指示關(guān)于 所述像素的第二值的第二編碼視頻信號，所述第二值與不同于所述第一位深度的第二位深 度相關(guān)。本發(fā)明還提供一種物品，包括計算機可訪問的存儲介質(zhì)以存儲指令，當(dāng)執(zhí)行所述 指令時使基于處理器的系統(tǒng)接收第一編碼視頻信號，所述第一編碼視頻信號指示關(guān)于像 素的第一值，所述第一值與第一位深度相關(guān)；對于每個像素，分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述每個像素；以及至少部分地基于所述分析，生成指示關(guān)于所述像 素的第二值的第二編碼視頻信號，所述第二值與高于所述第一位深度的第二位深度相關(guān)。本發(fā)明還提供一種視頻系統(tǒng)，包括分析器，所述分析器接收第一編碼視頻信號， 所述第一編碼視頻信號指示關(guān)于像素的第一值，所述第一值與第一位深度相關(guān)，以及對于 每個像素，分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述每個像素；以及位深度 預(yù)測器，至少部分地基于所述分析，生成指示關(guān)于所述像素的第二值的第二編碼視頻信號， 所述第二值與不同于所述第一位深度的第二位深度相關(guān)。


圖1和4是現(xiàn)有技術(shù)的可伸縮視頻編解碼器(SVC)系統(tǒng)的框圖。圖2是根據(jù)本發(fā)明的實施例的內(nèi)容自適應(yīng)的位深度增強器的框圖。圖3和5是根據(jù)本發(fā)明的不同實施例的可伸縮視頻編解碼器(SVC)系統(tǒng)的框圖。圖6是根據(jù)本發(fā)明的實施例的局部像素鄰域的圖示。
具體實施例方式參照圖1，常規(guī)的可伸縮視頻編解碼器(SVC)系統(tǒng)10包括視頻源20，其捕捉圖像 數(shù)據(jù)的連續(xù)幀以產(chǎn)生視頻信號21，其像素值具有M的位深度(十的位深度，作為非限制性的 示例)。也就是說，由視頻源20捕捉的視頻圖像具有每個由具有M位的像素值定義的像素 (即對于每個像素而言，每個色彩空間分量一個M位像素值)。SVC系統(tǒng)10處理M位視頻信號21以產(chǎn)生編碼的基線層和增強層視頻流。更具體 地，為了產(chǎn)生編碼的基線視頻流(在本文中稱為“BL視頻流30”)，SVC系統(tǒng)10包含色調(diào)映 射單元22和基線層編碼器M。從M位視頻信號21，色調(diào)映射單元22產(chǎn)生更低的位深度信 號(稱為“N位視頻信號23”)，其具有位深度小于M的N(八的位深度，作為非限制性的示 例)的位深度?；€層編碼器M壓縮N位視頻信號23以生成BL視頻流30。為了生成編碼的增強層視頻流(在本文中稱為“EL視頻流32”)，SVC系統(tǒng)10包 含反向色調(diào)映射單元26和增強層編碼器觀。反向色調(diào)映射單元沈?qū)⒂苫€層編碼器24 提供的壓縮的N位視頻流轉(zhuǎn)換成壓縮的M位視頻流27。增強層編碼器觀處理壓縮的M位 視頻流27和M位視頻信號21以生成EL視頻流32。BL30和EL32視頻流可被傳送到視頻傳輸網(wǎng)絡(luò)(無線網(wǎng)絡(luò)、蜂窩網(wǎng)絡(luò)、互聯(lián)網(wǎng)、廣播 網(wǎng)絡(luò)等等)和/或視頻存儲設(shè)備，如參考標(biāo)號40所示。存儲設(shè)備可以是磁盤、硬盤、⑶-ROM、 存儲區(qū)域網(wǎng)絡(luò)(SAN)、網(wǎng)頁服務(wù)器、服務(wù)器場等等。不考慮特定的傳輸網(wǎng)絡(luò)或存儲設(shè)備，終 端設(shè)備最終可從傳輸網(wǎng)絡(luò)/存儲設(shè)備40處接收/重新獲得BL38和EL39視頻流，并將其解 碼(例如，解壓縮)以產(chǎn)生用于較低的位深度顯示44的N位視頻信號43或用于較高的位 深度顯示49的M位視頻信號48。更具體地，基線層解碼器42可解碼BL視頻流38，其產(chǎn)生用于較低的位深度顯示 44的N位視頻信號43。增強層解碼器47可解碼EL視頻流39，其接收EL視頻流39以及由 反向色調(diào)映射單元46供給的M位視頻流47。反向色調(diào)映射單元46響應(yīng)由基線層解碼器 42提供的N位解壓縮視頻流而產(chǎn)生M位視頻流47。增強層解碼器47接著提供M位視頻信 號48給較高的位深度顯示49。
色調(diào)映射是經(jīng)常被用于將較高的位深度視頻轉(zhuǎn)換成較低的位深度視頻的技術(shù)。這 種技術(shù)包括線性伸縮，分段插值，并涉及生成和使用查詢表。色調(diào)映射基于的原則是提供從 高位深度像素值到低位深度像素值的像素到像素的映射。通過視頻編碼器提供的映射的信 息，視頻解碼器能夠從解碼的低位深度視頻構(gòu)建高位深度視頻。但是，如同前面所講的，在編碼的上下文中色調(diào)映射可能是相對低效的，因為色調(diào) 映射沒有考慮位于正被映射的每個像素值的局部鄰域的像素值。更具體地，在本文中描述 的位深度轉(zhuǎn)換技術(shù)在較低的N位深度信號中對被轉(zhuǎn)換的每個像素值考慮了局部像素鄰域。像素鄰域可由當(dāng)前圖像中的像素形成，所述像素最接近于其像素值正被轉(zhuǎn)換成較 高的位深度的像素。像素鄰域可以備選地是在早先時間圖像中的目標(biāo)像素的同位置的鄰 域，或者是在未來時間圖像中的目標(biāo)像素的同位置的鄰域。根據(jù)本發(fā)明的一些實施例，像素 鄰域的邊界可由用戶定義。參照圖6，作為非限制性的特定示例，像素鄰域可以是三乘三的 鄰域100，該鄰域包括位于其中心的目標(biāo)像素110(其值正被轉(zhuǎn)換成較高的位深度的像素) 和八個鄰近的像素120(將在下面描述的特定鄰近像素120a-h)。對于本例，目標(biāo)像素110 是三乘三鄰域100的中心，具有四個鄰近像素120a、120c、120f和120h，位于目標(biāo)像素110 的對角，兩個鄰近像素位于目標(biāo)像素110的左邊(像素120d)和右邊(像素120e)，以及兩 個鄰近像素位于目標(biāo)像素110的上面(像素120b)和下面(像素120g)。如前面所描述的， 鄰域100可以是當(dāng)前圖像(即當(dāng)前正由N位深度信號所表示的圖像)中的目標(biāo)像素的鄰 域，可以是早先時間的圖像中的目標(biāo)像素的同位置的鄰域或是未來時間的圖像中的目標(biāo)像 素的同位置的鄰域。為了提高可伸縮視頻編解碼器系統(tǒng)中位深度可伸縮性的編碼效率，根據(jù)本發(fā)明的 實施例可使用圖2中描述的內(nèi)容自適應(yīng)的位深度增強器50。如下面所描述的，位深度增強 器50逐步經(jīng)過壓縮的N位信號流的像素值，并以收集到的有關(guān)每個像素的鄰域的信息作為 每個位深度轉(zhuǎn)換的基礎(chǔ)。如上面所討論的，鄰域可以與現(xiàn)在的、早先時間的和/或未來時間 的圖像相關(guān)。參照圖2，通常，位深度增強器50接收壓縮的N位視頻流52，該N位視頻流被增強 器50的內(nèi)容分析器M以及局部鄰域統(tǒng)計量分析器分析。對于每個局部鄰域，內(nèi)容分析器 M檢測鄰域中邊緣的存在(即水平的、垂直的和/或?qū)堑倪吘?。如下面進一步描述的， 如果內(nèi)容分析器M在鄰域中檢測到邊緣，則位深度增強器50將特定的鄰域認(rèn)定為異類的； 并且在這種情況下，位深度增強器50可默認(rèn)由系統(tǒng)的另一個部件提供位深度轉(zhuǎn)換，正如下 面進一步描述的。否則，如果在鄰域中沒有檢測到邊緣，位深度增強器50基于鄰域內(nèi)容的分析確定 位深度轉(zhuǎn)換的偏移和伸縮因子值。局部鄰域統(tǒng)計量分析器58確定鄰域的多種統(tǒng)計量?；诜治銎鱉和58的處理 結(jié)果，位深度增強器50的局部內(nèi)容自適應(yīng)的位深度預(yù)測器64將壓縮的N位視頻流52轉(zhuǎn)換 成壓縮的更高位深度M位視頻流65。根據(jù)本發(fā)明的一些實施例，內(nèi)容分析器M可應(yīng)用邊緣檢測度量以便檢測鄰域中 垂直的、水平的或?qū)堑倪吘壍拇嬖?。在鄰域中檢測到邊緣的存在可作為認(rèn)定鄰域?qū)τ诨?于局部鄰域像素值的位深度的預(yù)測不是充分同類的依據(jù)，正如下面進一步描述的。相反地， 在鄰域中沒有檢測到邊緣可用來認(rèn)定鄰域?qū)τ诨诰植苦徲蛳袼刂档奈簧疃阮A(yù)測是充分同類的。 作為更具體的示例，對于使用—乘三的鄰域的示例，內(nèi)容分析器M可將索貝爾
(Sobel)邊緣算子應(yīng)用于三三乘三三鄰域。索貝爾邊緣算子可如下面等式1、2、3和4中所描述
權(quán)利要求
1.一種用于位深度轉(zhuǎn)換的方法，包括 接收指示像素的位深度的信號；以及使用與所述像素的鄰域有關(guān)的信息來增加所述像素的位深度。
2.如權(quán)利要求1所述的方法，還包括使用基線層編碼器或基線層解碼器來生成所述信號。
3.如權(quán)利要求1所述的方法，還包括還使用由所述信號的反向分塊伸縮獲得的結(jié)果來增加所述像素的位深度。
4.如權(quán)利要求1所述的方法，還包括還使用由所述信號的反向色調(diào)映射獲得的結(jié)果來增加所述像素的位深度。
5.如權(quán)利要求1所述的方法，其中所述鄰域包括與早先時間的圖像相關(guān)的同位置的鄰 域，與未來時間的圖像相關(guān)的同位置的鄰域和與當(dāng)前圖像相關(guān)的鄰域中的至少一個。
6.如權(quán)利要求1所述的方法，還包括處理位于所述鄰域中的像素，以檢測所述鄰域中邊緣的存在。
7.如權(quán)利要求6所述的方法，包括基于是否檢測到邊緣調(diào)整伸縮因子和偏移中的至少 一個。
8.如權(quán)利要求1所述的方法，包括處理位于所述鄰域中的像素，以確定統(tǒng)計量。
9.如權(quán)利要求8所述的方法，其中所述處理包括確定所處理的第一值的方差與和中的 至少一個。
10.一種視頻系統(tǒng)，包括接收指示像素的位深度的信號的部件；以及使用與所述像素的鄰域有關(guān)的信息來增加所述像素的位深度的部件。
11.如權(quán)利要求10所述的視頻系統(tǒng)，還包括 基線層編碼器，用于提供所述信號。
12.如權(quán)利要求11所述的視頻系統(tǒng)，還包括 增強層編碼器，用于接收增加了位深度的所述像素。
13.如權(quán)利要求10所述的視頻系統(tǒng)，還包括反向色調(diào)映射單元，用于至少部分地增加所述像素的位深度。
14.如權(quán)利要求10所述的視頻系統(tǒng)，還包括反向分塊伸縮單元，用于至少部分地增加所述像素的位深度。
15.如權(quán)利要求10所述的視頻系統(tǒng)，其中還包括用于處理位于所述鄰域中的像素以檢測所述鄰域中邊緣的存在的部件；以及 用于處理位于所述鄰域中的像素以確定統(tǒng)計量的部件。
全文摘要
本發(fā)明名稱為“用于可伸縮視頻編碼的位深度增強”。視頻系統(tǒng)包括分析器和位深度預(yù)測器。分析器接收第一編碼視頻信號，其指示關(guān)于像素的第一值。第一值與第一位深度相關(guān)。分析器對于每個像素分析關(guān)于位于鄰域中的像素的第一值，所述鄰域包含所述每個像素。位深度預(yù)測器，至少部分地基于所述分析，生成指示關(guān)于像素的第二值的第二編碼視頻信號。第二值與不同于第一位深度的第二位深度相關(guān)。
文檔編號H04N7/26GK102082953SQ20111004213
公開日2011年6月1日 申請日期2008年10月15日 優(yōu)先權(quán)日2007年10月15日
發(fā)明者H·姜, Y·-J·秋, Y·-T·葉 申請人:英特爾公司