在視頻信息傳輸期間保護(hù)免遭分組丟失的制作方法
【專利說明】
【背景技術(shù)】
[0001]視頻編解碼器可用來在跨通信信道的視頻信號(hào)傳輸之前以有損和/或無損的方式來壓縮視頻信號(hào)，其中壓縮可節(jié)省信道帶寬及降低傳輸功耗。例如，參數(shù)編碼器可將當(dāng)前幀的每一個(gè)宏塊基于控制信號(hào)表示為參數(shù)集以獲得視頻信號(hào)的有損壓縮/編碼，而自適應(yīng)性熵編碼器可執(zhí)行對(duì)參數(shù)編碼器的輸出的無損編碼。而且，可將控制信號(hào)、參數(shù)編碼器的輸出和自適應(yīng)性編碼器的輸出組合成數(shù)據(jù)流供以在通信信道上傳輸，其中處于信道的接收端的解碼器可執(zhí)行逆操作以生成合成的視頻數(shù)據(jù)。然而，典型的通信信道可遭受分組丟失，這可進(jìn)而阻止傳統(tǒng)的解碼器在丟失了一個(gè)或多個(gè)分組之后重構(gòu)接收的幀。更具體地，可變速率熵編碼可涉及分組之間的碼字的同步，其中丟失的分組可消除執(zhí)行碼字同步的能力。
[0002]附圖簡(jiǎn)述
[0003]通過閱讀以下說明書和所附權(quán)利要求書和通過參考以下附圖，本發(fā)明的實(shí)施例的多個(gè)優(yōu)點(diǎn)將對(duì)本領(lǐng)域技術(shù)人員變得顯而易見，附圖中:
[0004]圖1是根據(jù)實(shí)施例保護(hù)免遭視頻信號(hào)中的分組丟失的系統(tǒng)的示例的框圖；
[0005]圖2A是根據(jù)實(shí)施例保護(hù)免遭經(jīng)傳輸?shù)囊曨l信號(hào)中的分組丟失的系統(tǒng)的示例的流程圖；
[0006]圖2B是根據(jù)實(shí)施例保護(hù)免遭經(jīng)接收的視頻信號(hào)中的分組丟失的系統(tǒng)的示例的流程圖；
[0007]圖3是根據(jù)實(shí)施例具有導(dǎo)航控制器的系統(tǒng)的示例的框圖；以及
[0008]圖4是根據(jù)實(shí)施例具有小形狀因子的系統(tǒng)的示例的框圖。
[0009]詳細(xì)描述
[0010]各實(shí)施例可包括具有使用自適應(yīng)性熵編碼器來基于輸入視頻信號(hào)生成經(jīng)壓縮的視頻信號(hào)的編碼器架構(gòu)的編碼器裝置。裝置也可以具有基于自適應(yīng)性熵編碼器的內(nèi)部狀態(tài)生成經(jīng)壓縮的狀態(tài)信號(hào)的輔助信息編碼器。
[0011]各實(shí)施例也可包括具有指令集的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該指令集如果由處理器執(zhí)行則導(dǎo)致計(jì)算機(jī)使用自適應(yīng)性熵編碼器來基于輸入視頻信號(hào)生成經(jīng)壓縮的視頻信號(hào)。指令如果被執(zhí)行則也可導(dǎo)致計(jì)算機(jī)基于自適應(yīng)性熵編碼器的內(nèi)部狀態(tài)生成經(jīng)壓縮的狀態(tài)信號(hào)。
[0012]而且，各實(shí)施例可以包括具有檢測(cè)與數(shù)據(jù)流相關(guān)聯(lián)的信道中的分組丟失的解碼器架構(gòu)的解碼器裝置。解碼器裝置也可具有響應(yīng)于分組丟失而判斷數(shù)據(jù)流是否包括經(jīng)壓縮的狀態(tài)信號(hào)或經(jīng)壓縮的視頻信號(hào)的重復(fù)的切換模塊。
[0013]而且，各實(shí)施例可包括具有指令集的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該指令集如果由處理器執(zhí)行則導(dǎo)致計(jì)算機(jī)檢測(cè)與數(shù)據(jù)量相關(guān)聯(lián)的信道中的分組丟失。指令如果被指令則也可導(dǎo)致計(jì)算機(jī)響應(yīng)于分組丟失而判斷數(shù)據(jù)流是否包括經(jīng)壓縮的狀態(tài)信號(hào)或經(jīng)壓縮的視頻信號(hào)的重復(fù)。
[0014]現(xiàn)在轉(zhuǎn)到圖1，示出了系統(tǒng)10，其中編碼器裝置12 —般地將視頻數(shù)據(jù)流通過通信信道16傳輸至解碼器裝置14。通信信道16可具有導(dǎo)致經(jīng)傳輸?shù)臄?shù)據(jù)流中的分組丟失的帶寬限制、噪音等。如將更詳細(xì)討論的，所示的系統(tǒng)10選擇性地使用輔助信息42來補(bǔ)充視頻數(shù)據(jù)流，以降低導(dǎo)致解碼器裝置14在已經(jīng)丟失了一個(gè)或多個(gè)分組之后不能重構(gòu)接收的幀的分組丟失的可能性。
[0015]更具體地，所示的編碼器裝置12包括具有參數(shù)編碼器34的編碼器架構(gòu)18，該參數(shù)編碼器用于基于控制信號(hào)36 (例如，指示比特率、幀類型、切片數(shù)量、質(zhì)量級(jí)別和/或其他信道反饋信息等)將輸入視頻信號(hào)24的每一個(gè)宏塊表示為參數(shù)集。編碼器架構(gòu)18也可使用自適應(yīng)性熵編碼器20來基于輸入視頻信號(hào)24的參數(shù)生成經(jīng)壓縮的視頻信號(hào)，其中輔助信息編碼器26可進(jìn)而基于自適應(yīng)性熵編碼器20的內(nèi)部狀態(tài)30來生成經(jīng)壓縮的狀態(tài)信號(hào)28。控制信號(hào)36、參數(shù)編碼器34的輸出和自適應(yīng)性熵編碼器20的輸出可被多路復(fù)用器40組合成經(jīng)壓縮的視頻信號(hào)38，其中經(jīng)壓縮的視頻信號(hào)38可與輔助信息42組合成將在信道16上傳輸?shù)臄?shù)據(jù)流。
[0016]應(yīng)特別注意的是，自適應(yīng)性熵編碼器的內(nèi)部狀態(tài)30可一般地指示視頻信號(hào)24已經(jīng)由自適應(yīng)性熵編碼器20處理了多少。在這一點(diǎn)上，可將視頻幀劃分成切片，所述切片還可以被劃分成宏塊以進(jìn)行更有效的處理。由此，如果內(nèi)部狀態(tài)30相對(duì)應(yīng)于具體切片中間中的宏塊，那么在來自該切片的前一半的分組丟失的情況下，則所述切片的后一半可由解碼器裝置14根據(jù)內(nèi)部狀態(tài)30重構(gòu)，其中輔助信息42可包括內(nèi)部狀態(tài)30。輔助信息42可替換性地包括經(jīng)壓縮的視頻信號(hào)38的重復(fù)，如將更詳細(xì)討論的。
[0017]可以包括上下文索引、最可能位標(biāo)志、上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)狀態(tài)等的內(nèi)部狀態(tài)30可因此在幀的切片內(nèi)的中間點(diǎn)處確定。盡管增加中間點(diǎn)的數(shù)量可一般地降低丟失的分組對(duì)解碼器裝置的影響并增強(qiáng)性能，但顯著地增加中間點(diǎn)的數(shù)量可潛在地對(duì)比特率有負(fù)面影響。然而，與傳統(tǒng)的編碼方法(諸如不使用錯(cuò)誤恢復(fù)工具的CABAC)相比，在例如每切片四個(gè)中間點(diǎn)處確定內(nèi)部狀態(tài)30的使用錯(cuò)誤恢復(fù)工具(例如，彈性宏塊排序/FM0)的上下文自適應(yīng)可變長(zhǎng)度編碼(CAVLC)等等將不對(duì)比特率有顯著影響。實(shí)際上，對(duì)于具有大部分靜態(tài)場(chǎng)景的視頻，輔助信息42的大小可能與經(jīng)傳輸?shù)囊曨l本身相當(dāng)，并對(duì)比特率有可忽略的影響。
[0018]而且，也可做出關(guān)于是否/何時(shí)將輔助信息42合并進(jìn)包含經(jīng)壓縮的視頻信號(hào)38的數(shù)據(jù)流的智能判斷。例如，所示的編碼器裝置12也包括比較器32，用以選擇性地將輔助信息42合并進(jìn)數(shù)據(jù)流。因此，如果輸入視頻信號(hào)24相對(duì)應(yīng)于幀間幀(1-frame)、分組群中的第一幀、或其他類型的參考幀時(shí)，由于這樣的數(shù)據(jù)的丟失可以導(dǎo)致大誤差傳遞，則比較器32可以將輔助信息42合并成數(shù)據(jù)流。而且，如果信道16的分組丟失超過了特定閾值(例如，大于每秒X丟失比特)，則比較器32可將輔助信息42合并進(jìn)數(shù)據(jù)流。視頻信號(hào)24中的幀類型和信道16的分組丟失狀態(tài)可例如基于控制信號(hào)36而確定。
[0019]所示的比較器32也可以使用控制信號(hào)36來將經(jīng)壓縮的狀態(tài)信號(hào)28與經(jīng)壓縮的視頻信號(hào)38的重復(fù)進(jìn)行比較。就此而言，對(duì)于一些視頻片段，描述自適應(yīng)性熵編碼器20的內(nèi)部狀態(tài)30的經(jīng)壓縮的狀態(tài)信號(hào)28的大小可與經(jīng)壓縮的視頻片段自身的大小相當(dāng)。因此，在某些情況中，經(jīng)壓縮的視頻片段可作為輔助信息42而重復(fù)。在一個(gè)示例中，控制信號(hào)36包括促進(jìn)經(jīng)壓縮的狀態(tài)信號(hào)28與經(jīng)壓縮的視頻信號(hào)38的重復(fù)的大小之間的適當(dāng)比較的權(quán)重信息。
[0020]比較器32可以包括第一邏輯44，用以在如果經(jīng)壓縮的視頻信號(hào)38的大小超過經(jīng)壓縮的狀態(tài)信號(hào)28的大小時(shí)將經(jīng)壓縮的狀態(tài)信號(hào)28合并進(jìn)數(shù)據(jù)流。然而，如果經(jīng)壓縮的視頻信號(hào)38的大小不超過經(jīng)壓縮的狀態(tài)信號(hào)28的大小，則第二邏輯46可將經(jīng)壓縮的視頻信號(hào)38的重復(fù)合并進(jìn)數(shù)據(jù)流。
[0021]所示的解碼器裝置14包括用于檢測(cè)與視頻比特流相關(guān)聯(lián)的信道16中的分組丟失的解碼器架構(gòu)50和用于響應(yīng)于分組丟失而判斷數(shù)據(jù)流包括經(jīng)壓縮的狀態(tài)信號(hào)還是經(jīng)壓縮的視頻信號(hào)38的重復(fù)的切換模塊52。如已經(jīng)說明的，經(jīng)壓縮的狀態(tài)信號(hào)可指示自適應(yīng)性熵編碼器20的內(nèi)部狀態(tài)。更具體地，如果數(shù)據(jù)流包括經(jīng)壓縮的狀態(tài)信號(hào)，則切換模塊52可將經(jīng)壓縮的狀態(tài)信號(hào)傳遞給解碼器架構(gòu)50中的輔助信息解碼器54。另一方面，如果數(shù)據(jù)流包括經(jīng)壓縮的視頻信號(hào)的重復(fù)，則所示的切換模塊52將經(jīng)壓縮的視頻信號(hào)的重復(fù)傳遞給解碼器架構(gòu)50中的多路分解器(DEMUX) 56，其中多路分解器56可解析經(jīng)壓縮的視頻信號(hào)的重復(fù)以供由自適應(yīng)性熵解碼器58和參數(shù)解碼器60進(jìn)一步處理。
[0022]輔助信息解碼器54可對(duì)經(jīng)壓縮的狀態(tài)信號(hào)解碼并將結(jié)果提供給自適應(yīng)性熵解碼器58。因此，取決于環(huán)境，自適應(yīng)性熵解碼器58可處理來自輔助信息解碼器54的輸入或來自多路分解器56的輸入。附加地，參數(shù)解碼器60可處理來自自適應(yīng)性摘解碼器58的輸入(其可構(gòu)成經(jīng)解碼的輔助信息或經(jīng)解碼的視頻信號(hào))，和來自多路分解器56的輸入(其可包括由參數(shù)編碼器34生成的參數(shù)信息)。如果分組丟失條件存在且來自自適應(yīng)性熵解碼器58的輸入包括經(jīng)解碼的輔助信息，則所示的解碼器架構(gòu)50的參數(shù)解碼器60基于經(jīng)壓縮的狀態(tài)信號(hào)和經(jīng)壓縮的視頻信號(hào)的重復(fù)中的一個(gè)或多個(gè)而生成一個(gè)或多個(gè)合成幀。就此而言，參數(shù)解碼器60可使用緩存器62來存儲(chǔ)合成幀。
[0023]圖2A示出了保護(hù)免遭經(jīng)傳輸?shù)囊曨l信號(hào)中的分組丟失的方法64。方法64可在可執(zhí)行軟件中實(shí)現(xiàn)為存儲(chǔ)在存儲(chǔ)器的機(jī)器或計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)中的邏輯指令集，存儲(chǔ)器諸如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(R0M)、可編程ROM (PROM)、固件、閃存等，在諸如例如可編程邏輯陣列(PLA)、場(chǎng)可編程門陣列(FPGA)、復(fù)雜可編程邏輯設(shè)備(CPLD)的可配置邏輯中實(shí)現(xiàn)，在使用諸如例如專用集成電路(ASIC)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)或晶體管到晶體管邏輯(TTL)技術(shù)、或其任何組合的道路技術(shù)的固定功能邏輯硬件中實(shí)現(xiàn)。例如，執(zhí)行方法