專(zhuān)利名稱(chēng)：用于提高效率和差錯(cuò)恢復(fù)能力的內(nèi)容自適應(yīng)多重描述運(yùn)動(dòng)補(bǔ)償?shù)闹谱鞣椒?br> 技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼，以及更具體地涉及視頻的多重描述(mulitple description)編碼。
傳輸分集，即在多個(gè)獨(dú)立信道中傳輸相同或類(lèi)似的信息以試圖克服由于信道之一的問(wèn)題而不能正確接收消息。在無(wú)線傳輸環(huán)境中這樣的問(wèn)題可作為，舉例來(lái)說(shuō)，多徑或衰落的結(jié)果而發(fā)生。
但是，增加的冗余性以通信系統(tǒng)壓力的增加為代價(jià)。對(duì)于視頻尤其如此，其正確表示傾向于牽涉大量數(shù)據(jù)。接收者通常想有效地進(jìn)行解碼以避免呈現(xiàn)的中斷。另外，因?yàn)橥ǔ＝邮照叨嘤诎l(fā)送者，所以成本效率通常允許在編碼時(shí)比在解碼時(shí)花費(fèi)更多的時(shí)間和資源。
多重描述編碼(MDC)沿著分離的信道發(fā)送待傳送信息的兩個(gè)“描述”。如果兩個(gè)描述都被接收，解碼的質(zhì)量會(huì)很高。如果僅接收到一個(gè)描述，其可以被以較低但是可以接受的質(zhì)量解碼。通過(guò)為每個(gè)描述提供來(lái)自另一信道的信息而使這種依靠一個(gè)描述的能力成為可能。因此，盡管是以冗余性及伴隨的開(kāi)銷(xiāo)為代價(jià)，差錯(cuò)恢復(fù)能力增加了。
MDC已經(jīng)被應(yīng)用于視頻以獲得多重描述運(yùn)動(dòng)補(bǔ)償，Yao Wang和Shuman Lin的“采用多重描述運(yùn)動(dòng)補(bǔ)償?shù)牟铄e(cuò)恢復(fù)視頻編碼”，IEEE視頻技術(shù)電路和系統(tǒng)學(xué)報(bào)，2002年4月(“Error Resilient Video CodingUsing Multiple Description Motion Component”，IEEE Transactionson Circuits and Systems for Video Technology，April，2002，by YaoWang and Shunan Lin)，下文中稱(chēng)為“王和林”，其整個(gè)公開(kāi)內(nèi)容被通過(guò)引用而合并在這里。運(yùn)動(dòng)補(bǔ)償是通過(guò)預(yù)測(cè)相鄰幀所包含的圖像運(yùn)動(dòng)將以相同的幅度和在相同的方向連續(xù)并考慮預(yù)測(cè)誤差來(lái)進(jìn)行有效編碼和解碼視頻的傳統(tǒng)技術(shù)。多重描述運(yùn)動(dòng)補(bǔ)償(MDMC)，如王和林所提出的，將視頻流分割成奇數(shù)和偶數(shù)幀以在分離的信道上傳輸。即使只有一個(gè)描述到達(dá)接收機(jī)，該描述的幀已經(jīng)在發(fā)射機(jī)處被獨(dú)立地運(yùn)動(dòng)補(bǔ)償，因此可以利用被內(nèi)插的居間幀來(lái)通過(guò)傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償在接收機(jī)處被恢復(fù)。作為對(duì)增加的差錯(cuò)恢復(fù)能力的交換，內(nèi)插未能實(shí)際上具有該失去的幀信息。通過(guò)在每個(gè)描述中包含關(guān)于另一描述的冗余信息來(lái)緩解這種差錯(cuò)。為了收集和組合該冗余信息，王和林的MDMC采用了二階預(yù)測(cè)器，即基于前兩個(gè)幀來(lái)預(yù)測(cè)一個(gè)幀，以抑制傳輸差錯(cuò)傳播。該健壯的二階預(yù)測(cè)器被用于一個(gè)稱(chēng)為“中心運(yùn)動(dòng)補(bǔ)償”的分離的第三運(yùn)動(dòng)補(bǔ)償中。該中心運(yùn)動(dòng)補(bǔ)償作用于所有的幀—奇數(shù)和偶數(shù)的幀。如傳統(tǒng)運(yùn)動(dòng)補(bǔ)償中所發(fā)生的，預(yù)測(cè)幀和實(shí)際幀之間的差別被作為誤差或殘差(在這里為“中心誤差”)發(fā)送到接收機(jī)，接收機(jī)通常作出同樣的預(yù)測(cè)并加上該誤差以恢復(fù)原來(lái)的幀。但是，如果一個(gè)描述丟失了，在接收機(jī)處的中心運(yùn)動(dòng)補(bǔ)償被禁用，因?yàn)樗刃枰鏀?shù)幀又需要偶數(shù)幀。而另一方面，在接收機(jī)處的奇數(shù)和偶數(shù)運(yùn)動(dòng)補(bǔ)償都被配置成使用相應(yīng)的奇數(shù)和偶數(shù)誤差，稱(chēng)為“側(cè)差(side error)”，其在發(fā)射機(jī)處生成并且其不能改而替代中心誤差而不引起失配。
為了減少這樣的失配，王和林總是將中心誤差以及側(cè)差和中心誤差之間的差值作為冗余信息傳輸，該差值被稱(chēng)為“失配誤差”。但是，失配誤差所代表的開(kāi)銷(xiāo)并不總是接收機(jī)的有效視頻呈現(xiàn)所需要的。
并且，王和林的中心預(yù)測(cè)采用了對(duì)于正被編碼的視頻內(nèi)容中正在進(jìn)行的變化不靈敏的加權(quán)平均，即使當(dāng)這些變化需要更新權(quán)重以達(dá)到更高的效率時(shí)也如此。
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的上述缺點(diǎn)。
在根據(jù)本發(fā)明的一個(gè)方面中，提供了一種由兩個(gè)運(yùn)動(dòng)補(bǔ)償過(guò)程并行編碼，以產(chǎn)生待傳輸給解碼器的兩個(gè)相應(yīng)流的方法和設(shè)備。每個(gè)流包括一個(gè)失配信息，其可被解碼器用來(lái)重構(gòu)運(yùn)動(dòng)補(bǔ)償了的視頻序列的一部分以生成另一個(gè)流。
在本發(fā)明的另一個(gè)方面中，形成中心預(yù)測(cè)圖像以表示在中心運(yùn)動(dòng)補(bǔ)償中運(yùn)動(dòng)補(bǔ)償了的幀的加權(quán)平均，其中平均值通過(guò)相應(yīng)的自適應(yīng)時(shí)域?yàn)V波器抽頭權(quán)重被加權(quán)，所述抽頭權(quán)重基于所述序列中的至少一個(gè)幀的內(nèi)容而被更新。
在本發(fā)明的又一個(gè)方面中，更新抽頭的頻率是基于由于更新而引起的殘差圖像的減少以及隨之而來(lái)的傳輸中待傳輸比特的減少而被確定。該確定還基于響應(yīng)更新而傳輸新的自適應(yīng)時(shí)域?yàn)V波器抽頭權(quán)重的比特率的增加。
在本發(fā)明的又另一個(gè)方面中，ROI的識(shí)別是通過(guò)檢測(cè)一個(gè)人的面部、不相關(guān)的運(yùn)動(dòng)、預(yù)定義的紋理級(jí)別、邊緣以及幅度大于預(yù)定閾值的對(duì)象運(yùn)動(dòng)中的至少一個(gè)而進(jìn)行的。
在本發(fā)明的再另一個(gè)方面中，提供了用于運(yùn)動(dòng)補(bǔ)償?shù)亩嘀孛枋鲆曨l解碼器，用于并行解碼兩個(gè)視頻流。該解碼器使用一個(gè)從產(chǎn)生流的運(yùn)動(dòng)補(bǔ)償編碼器接收的失配信號(hào)來(lái)重構(gòu)被運(yùn)動(dòng)補(bǔ)償?shù)囊曨l序列的一部分以產(chǎn)生另一流。解碼器包括用于接收抽頭權(quán)重的裝置，所述抽頭權(quán)重由解碼器基于視頻流的內(nèi)容更新而被解碼器用于基于兩個(gè)流來(lái)作出圖像預(yù)測(cè)。
這里公開(kāi)的本發(fā)明的細(xì)節(jié)可借助于下面列出的圖而得以描述，其中貫穿多個(gè)視圖，相似的部分被相似地編號(hào)

圖1是使用根據(jù)本發(fā)明的示例視頻編碼器的多天線發(fā)射機(jī)的框圖；圖2是顯示根據(jù)本發(fā)明的、圖1的視頻編碼器和對(duì)應(yīng)的解碼器的配置實(shí)例的框圖；圖3是描述作為例子的、能夠觸發(fā)根據(jù)本發(fā)明的中心預(yù)測(cè)器的抽頭權(quán)重更新的事件的流程圖；圖4是說(shuō)明一種根據(jù)本發(fā)明的用于確定中心預(yù)測(cè)器的抽頭權(quán)重被更新頻率的算法的流程圖；圖5是顯示作為例子的、根據(jù)本發(fā)明的可被用于識(shí)別所關(guān)心區(qū)域的基于內(nèi)容的要素的流程圖。
圖1通過(guò)舉例的方式并根據(jù)本發(fā)明描述了無(wú)線發(fā)射機(jī)100，比如具有多個(gè)連接到視頻編碼器106和音頻編碼器(未示出)的天線102、104的電視廣播發(fā)射機(jī)。兩個(gè)編碼器連同程序存儲(chǔ)器108被合并到微處理器110內(nèi)。可替換地，視頻解碼器106可以被硬編碼到硬件中，為了更快的執(zhí)行速度而以可升級(jí)性等做交換。
圖2詳細(xì)說(shuō)明了根據(jù)本發(fā)明的、在接收機(jī)處的視頻編碼器106和視頻解碼器206的部件和功能。視頻編碼器106包含中心編碼器110、偶數(shù)側(cè)編碼器120和奇數(shù)側(cè)編碼器(未示出)。中心編碼器110結(jié)合偶數(shù)側(cè)編碼器120進(jìn)行操作，并類(lèi)似地結(jié)合奇數(shù)側(cè)編碼器進(jìn)行操作。對(duì)應(yīng)地，在視頻解碼器206中，中心解碼器210結(jié)合偶數(shù)側(cè)解碼器220以及類(lèi)似地結(jié)合奇數(shù)側(cè)解碼器(未示出)進(jìn)行操作。
中心編碼器110包括輸入1:2多路分解器204、編碼器輸入2:1多路復(fù)用器205、比特率調(diào)節(jié)單元208、編碼中心輸入圖像組合器211、中心編碼器212、輸出1:2多路分解器214、編碼中心預(yù)測(cè)器216、編碼中心運(yùn)動(dòng)補(bǔ)償單元218、編碼器中心幀緩沖器221、中心重構(gòu)圖像組合器222、重構(gòu)2:1多路復(fù)用器224和運(yùn)動(dòng)估計(jì)單元226。
偶數(shù)側(cè)編碼器120包括編碼偶數(shù)側(cè)預(yù)測(cè)器228、編碼偶數(shù)側(cè)運(yùn)動(dòng)補(bǔ)償單元230、編碼偶數(shù)側(cè)幀緩沖器232、編碼偶數(shù)輸入圖像組合器234、所關(guān)心區(qū)域(ROI)選擇單元236、失配誤差抑制單元238和偶數(shù)側(cè)編碼器240。失配誤差抑制單元238由側(cè)到中心圖像組合器242和ROI比較器244以及圖像排除器246組成。
視頻序列1...ψ(n-1)，ψ(n)...的視頻幀ψ(n)由輸入1:2多路分解器接收。如果該幀是偶數(shù)，那么幀ψ(2k)被多路分解到編碼偶數(shù)輸入圖像組合器234。否則，如果該幀是奇數(shù)，幀ψ(2k+1)被多路分解到奇數(shù)側(cè)編碼器的類(lèi)似結(jié)構(gòu)。劃分偶數(shù)和奇數(shù)幀優(yōu)選地將每隔一幀分離開(kāi)，即將幀交替以創(chuàng)建偶數(shù)幀和奇數(shù)幀，但可任意根據(jù)任何向下采樣來(lái)產(chǎn)生一個(gè)子集而被完成，剩余的幀組成另一子集。
來(lái)自編碼器輸入2:1多路復(fù)用器205的輸出幀ψ(n)接著被進(jìn)行運(yùn)動(dòng)補(bǔ)償和ROI分析，兩個(gè)過(guò)程優(yōu)選地被并行執(zhí)行。根據(jù)本發(fā)明的運(yùn)動(dòng)補(bǔ)償基本遵循根據(jù)任意H.263、H.261、MPEG-2、MPEG-4等標(biāo)準(zhǔn)執(zhí)行的傳統(tǒng)運(yùn)動(dòng)補(bǔ)償。
在運(yùn)動(dòng)補(bǔ)償?shù)拈_(kāi)始，編碼中心輸入圖像組合器211從ψ(n)中減去中心預(yù)測(cè)圖像 以產(chǎn)生一個(gè)未編碼的中心預(yù)測(cè)誤差或殘差e0(n)。該未編碼的中心預(yù)測(cè)誤差e0(n)被輸入到包括量化器和熵編碼器的中心編碼器212中。輸出是中心預(yù)測(cè)誤差 輸出1:2多路分解器214將其作為適合的 或 傳輸?shù)浇獯a器206。
另外，適合的 或 被重構(gòu)2:1多路復(fù)用器224反饋到中心運(yùn)動(dòng)補(bǔ)償中。中心重構(gòu)圖像組合器222將反饋誤差添加到中心預(yù)測(cè)圖像 以重構(gòu)輸入幀ψ(n)(具有量化誤差)。重構(gòu)的幀ψ0(n)然后被存儲(chǔ)在編碼中心幀緩沖器211中。
在將如上所述地應(yīng)用的中心預(yù)測(cè)圖像 的導(dǎo)出中，前面兩個(gè)重構(gòu)的幀ψ0(n-1)、ψ0(n-2)以及輸入幀ψ(n)由運(yùn)動(dòng)估計(jì)單元226比較以導(dǎo)出相應(yīng)的運(yùn)動(dòng)矢量MV1和MV2。即，運(yùn)動(dòng)矢量MV1，舉例來(lái)說(shuō)，其每一個(gè)都屬于當(dāng)前幀ψ(n)的一個(gè)亮度宏塊，即16×16的象素矩陣。對(duì)ψ0(n-1)中位于被搜索宏塊的預(yù)定鄰近區(qū)域或范圍內(nèi)的所有16×16矩陣進(jìn)行窮舉的或僅僅預(yù)測(cè)的搜索。選擇最接近匹配的宏塊，而因此導(dǎo)出從ψ(n)中的宏塊到ψ0(n-1)中所選宏塊的運(yùn)動(dòng)矢量MV1。為ψ(n)的每個(gè)亮度宏塊執(zhí)行該過(guò)程。為了導(dǎo)出MV2，該過(guò)程再執(zhí)行一次，但是這一次是從ψ0(n-1)到ψ0(n-2)，并且增量被添加給MV1以產(chǎn)生MV2，即MV2具有兩倍的動(dòng)態(tài)范圍和MV1。MV1和MV2同被輸出到解碼器206。
編碼中心運(yùn)動(dòng)補(bǔ)償單元218也接收MV1和MV2以及重構(gòu)的幀對(duì)ψ0(n-1)、ψ0(n-2)，并且基于MV1和MV2更新，即運(yùn)動(dòng)補(bǔ)償，重構(gòu)的幀以便類(lèi)似于輸入的ψ(n)。該更新假設(shè)在視頻近來(lái)的幀序列中運(yùn)動(dòng)將在相同的方向和以相同的速率繼續(xù)移動(dòng)。編碼中心預(yù)測(cè)器216形成相應(yīng)運(yùn)動(dòng)補(bǔ)償幀W(n-1)、W(n-2)的加權(quán)平均以產(chǎn)生中心預(yù)測(cè)圖像 特別地， 被設(shè)置為等于a1W(n-1)+a2W(n-2)，其中a1+a2＝1。系數(shù)a1+a2以后被稱(chēng)為時(shí)域?yàn)V波器抽頭權(quán)重。
如上所述，使用前兩個(gè)幀而不是傳統(tǒng)地僅使用前一個(gè)幀提供了在接收機(jī)處的差錯(cuò)恢復(fù)能力。并且，如果偶數(shù)和奇數(shù)視頻信道完整地到達(dá)接收機(jī)，那么在接收機(jī)上對(duì)應(yīng)的中心解碼將成功地解碼。然而，如果偶數(shù)或奇數(shù)視頻信道因?yàn)榄h(huán)境或其他的因素而沒(méi)有成功到達(dá)，那么在接收機(jī)處的、跟蹤編碼中心解碼器的幀緩沖器221的幀緩沖器將不接收重構(gòu)的或“參考”幀，并且這一缺陷將阻止解碼器206使用對(duì)應(yīng)的中心解碼來(lái)正確地解碼接收的信號(hào)。由此，編碼器106包括兩個(gè)附加的獨(dú)立運(yùn)動(dòng)補(bǔ)償，一個(gè)只作用于偶數(shù)幀，而另一個(gè)只作用于奇數(shù)幀，所有三個(gè)補(bǔ)償并行運(yùn)行。因此，如果奇數(shù)描述被破壞或丟失，接收機(jī)可解碼偶數(shù)描述，反之亦然。
關(guān)于比特率調(diào)節(jié)單元208在中心運(yùn)動(dòng)補(bǔ)償中的作用和ROI處理的討論將推遲，以便首先更詳細(xì)地描述偶數(shù)側(cè)編碼器120和解碼器206的工作。
在偶數(shù)側(cè)編碼器120中，該編碼偶數(shù)圖像輸入組合器234從輸入信號(hào)ψ(2k)中減去一個(gè)側(cè)預(yù)測(cè)圖像 下標(biāo)1表明偶數(shù)側(cè)處理(evenside processing)而下標(biāo)2表明奇數(shù)側(cè)處理，正如下標(biāo)0在上面被用來(lái)表示中心處理一樣。側(cè)到中心圖像組合器242從由偶數(shù)圖像輸入組合器234輸出的側(cè)預(yù)測(cè)誤差中減去中心預(yù)測(cè)誤差 側(cè)到中心差值圖像，或“失配誤差”或“失配信號(hào)” 表示側(cè)預(yù)測(cè)圖像 和中心預(yù)測(cè)圖像 之間的差值，并且在ROI處理之后被偶數(shù)側(cè)編碼器240量化和熵編碼而產(chǎn)生 該失配誤差信號(hào) 被傳輸?shù)浇獯a器206，并且可指示編碼器106和解碼器206中的參考幀之間的失配，解碼器根據(jù)這個(gè)信號(hào)來(lái)按失配程度進(jìn)行偏移。
所述編碼偶數(shù)輸入圖像組合器234將側(cè)預(yù)測(cè)圖像 添加到中心和失配誤差 以重構(gòu)輸入幀ψ(2k)，接著將其存儲(chǔ)在編碼偶數(shù)側(cè)幀緩沖器232中。被用于生成失配誤差 的所述側(cè)預(yù)測(cè)圖像 是通過(guò)在編碼偶數(shù)側(cè)運(yùn)動(dòng)補(bǔ)償單元230中運(yùn)動(dòng)補(bǔ)償先前重構(gòu)的幀ψ1(2k-2)而導(dǎo)出的，并且基于所得的運(yùn)動(dòng)補(bǔ)償?shù)膸琖(2k-2)，在編碼偶數(shù)側(cè)預(yù)測(cè)器228中作出側(cè)預(yù)測(cè)。該側(cè)預(yù)測(cè)優(yōu)選地由W(2k-2)乘以一個(gè)在0和1之間而優(yōu)選地等于1的系數(shù)a3構(gòu)成。
由中心預(yù)測(cè)誤差 和失配誤差 形成偶數(shù)描述，而由中心預(yù)測(cè)誤差 和失配誤差 形成奇數(shù)描述。包括在兩種描述中的是運(yùn)動(dòng)矢量MV1和MV2，以及時(shí)域?yàn)V波器抽頭權(quán)重，正如將在后面詳細(xì)描述的，其是可根據(jù)圖像內(nèi)容調(diào)節(jié)的。
中心解碼器206具有熵解碼和逆向量化單元(未示出)、解碼器輸入2:1多路復(fù)用器250、解碼中心圖像組合器252、解碼中心預(yù)測(cè)器254、解碼中心運(yùn)動(dòng)補(bǔ)償單元256和解碼中心幀緩沖器258。接收的中心預(yù)測(cè)誤差和失配誤差在經(jīng)過(guò)熵解碼和逆向量化之后被解碼器輸入2:1多路復(fù)用器250多路復(fù)用，以合適地生成 或 根據(jù)這些誤差信號(hào)以及中心預(yù)測(cè)，重構(gòu)每個(gè)幀并將其輸出給用戶，并為后續(xù)的運(yùn)動(dòng)補(bǔ)償而將其存儲(chǔ)以重構(gòu)下一個(gè)幀，都以與在編碼器120處的運(yùn)動(dòng)補(bǔ)償類(lèi)似的方式執(zhí)行。所述熵解碼和逆向量化初始地在每個(gè)描述到達(dá)解碼器206時(shí)接收每個(gè)描述，優(yōu)選地合并一個(gè)前端，其具有差錯(cuò)校驗(yàn)?zāi)芰Σ⒃跈z測(cè)到任何差錯(cuò)時(shí)發(fā)信號(hào)給用戶。由此，用戶將忽略被標(biāo)記為沒(méi)有正確解碼的描述，而利用另一描述。當(dāng)然，如果兩種描述都被成功地接收了，則中心解碼器210的輸出將好于任意一個(gè)解碼的描述，從而將被利用。
偶數(shù)側(cè)解碼器220包括居間幀估計(jì)器260、解碼偶數(shù)側(cè)預(yù)測(cè)器262、解碼偶數(shù)側(cè)運(yùn)動(dòng)補(bǔ)償單元264、解碼偶數(shù)側(cè)幀緩沖器266和解碼輸入偶數(shù)側(cè)圖像組合器268。該偶數(shù)側(cè)解碼器220的功能類(lèi)似于偶數(shù)側(cè)編碼器的功能，盡管偶數(shù)側(cè)解碼器具有另外重構(gòu)奇數(shù)幀，即奇數(shù)描述的幀的任務(wù)。根據(jù)公式W(2k-1)=(1/a1)(ψ1(2k)-a2W(2k-2)-e~0(2k))]]>來(lái)重構(gòu)運(yùn)動(dòng)補(bǔ)償?shù)木娱g幀W(2k-1)。基于MV1和MV2重構(gòu)丟失幀中的進(jìn)一步的改進(jìn)步驟在王和林參考文獻(xiàn)中有所討論。
一些待編碼幀內(nèi)編碼的幀被整體編碼，而因此不受涉及尋找與預(yù)測(cè)幀的差值并編碼該差值的運(yùn)動(dòng)補(bǔ)償?shù)挠绊?。幀?nèi)編碼的幀周期性地出現(xiàn)在視頻序列中并用于刷新編碼/解碼。由此，盡管沒(méi)有在圖2中示出，編碼器120和解碼器220都被配置以檢測(cè)幀內(nèi)編碼的幀并且為幀內(nèi)編碼的幀而將預(yù)測(cè)器216、228、254、262的輸出設(shè)置為0。
圖3是以舉例的方式描述能夠觸發(fā)根據(jù)本發(fā)明的中心預(yù)測(cè)器的時(shí)域抽頭權(quán)重更新的事件的流程圖。在一個(gè)極端，將a1設(shè)置為1等價(jià)于僅基于前導(dǎo)幀作中心預(yù)測(cè)，而因此健壯性領(lǐng)先于二階預(yù)測(cè)。結(jié)果，以效率為代價(jià)傳輸了更大的殘差圖像。在另一個(gè)極端，將a2設(shè)置為1消除了失配信號(hào)所承載的精確地重構(gòu)居間幀的信息。因而削弱了差錯(cuò)恢復(fù)能力。王和林基于速率失真準(zhǔn)則確定a1和a2的值，并且為整個(gè)視頻序列保持這些權(quán)重。然而，這樣的固定加權(quán)策略可導(dǎo)致大量的效率低下。例如，在帶有運(yùn)動(dòng)對(duì)象的幀中經(jīng)常發(fā)生阻塞(occlusion)。在這種情況下，從幀n-2而不是從幀n-1可能獲得幀n中塊的較好的匹配。由此，較高的a2強(qiáng)調(diào)了幀n-2并因此導(dǎo)致傳輸較少的殘差圖像給解碼器206。相反地，如果視頻發(fā)生了場(chǎng)景變化，則幀n-1可提供比幀n-2更接近的預(yù)測(cè)，在這一情況下高的a1和低的a2是合適的。有利地，本發(fā)明監(jiān)視視頻內(nèi)容并相應(yīng)自適應(yīng)地調(diào)整時(shí)域?yàn)V波器抽頭權(quán)重。
步驟310通過(guò)，例如，檢查當(dāng)前幀和所有延伸回先前參考幀的先前幀的運(yùn)動(dòng)矢量來(lái)檢測(cè)幀中運(yùn)動(dòng)對(duì)象的存在，所使用的技術(shù)在美國(guó)專(zhuān)利NO.6,487,313，De Haan等以及美國(guó)專(zhuān)利NO.6,025,879，Yoneyama等，以下稱(chēng)為“Yoneyama”，中討論。這二者的全部公開(kāi)內(nèi)容通過(guò)引用被合并在這里。之前的運(yùn)動(dòng)對(duì)象檢測(cè)算法僅僅是示例性的，并且可以利用任何其他傳統(tǒng)的方法。如果檢測(cè)到運(yùn)動(dòng)對(duì)象，則在步驟320決定抽頭權(quán)重是否應(yīng)當(dāng)被更新，舉例來(lái)說(shuō)，是否能夠從更新獲得足夠的效率。該檢測(cè)和決定都是由比特率調(diào)節(jié)(BRR)單元208作出的，該單元接收、存儲(chǔ)和分析原來(lái)的幀ψ(n)。如果抽頭權(quán)重要被更新，那么步驟330作出該更新。如果沒(méi)有，則檢測(cè)下一個(gè)區(qū)域，優(yōu)選的為一個(gè)幀。在另一方面，如果BRR單元208沒(méi)有檢測(cè)到運(yùn)動(dòng)對(duì)象，步驟350則確定是否發(fā)生了場(chǎng)景變化。場(chǎng)景變化檢測(cè)可如美國(guó)專(zhuān)利N0.6,101,222，Dorricott中公開(kāi)的那樣進(jìn)行運(yùn)動(dòng)補(bǔ)償一個(gè)幀，將其與一個(gè)參考幀比較，并且如果非零象素差值的總和超過(guò)閾值，那么確定運(yùn)動(dòng)補(bǔ)償已經(jīng)發(fā)生，該專(zhuān)利的完整公開(kāi)內(nèi)容被通過(guò)引用合并在這里，或通過(guò)其他合適的已知方式來(lái)進(jìn)行。在步驟350中，如果BRR單元208確定場(chǎng)景已經(jīng)發(fā)生變化，則處理進(jìn)入步驟320以確定抽頭是否要被更新。
抽頭權(quán)重的更新頻率不需要每幀都進(jìn)行限制；相反，可自適應(yīng)地為每個(gè)宏塊或?yàn)槿我膺x擇的區(qū)域更新抽頭。權(quán)重的自適應(yīng)選擇可提高編碼效率，然而存在一些涉及傳輸所選權(quán)重的開(kāi)銷(xiāo)，該開(kāi)銷(xiāo)在極低的比特率時(shí)變得明顯。對(duì)在其上使用相同的時(shí)域權(quán)重的區(qū)域大小的選擇依據(jù)該開(kāi)銷(xiāo)和編碼效率之間的折衷。
圖4說(shuō)明一種根據(jù)本發(fā)明的、BRR單元208可用以確定中心預(yù)測(cè)器的抽頭權(quán)重被更新的頻率的算法。在步驟410中，更新頻率初始被設(shè)置到每個(gè)宏塊，而步驟420在一段時(shí)間期間或在預(yù)定數(shù)量的幀上估計(jì)比特節(jié)約。該估計(jì)可依據(jù)經(jīng)驗(yàn)作出，例如，基于最近的經(jīng)歷并且不斷地被更新。接下來(lái)的兩個(gè)步驟430、440對(duì)設(shè)置到每個(gè)幀的更新頻率作出相同的決定。在步驟450，對(duì)于兩個(gè)頻率的每一個(gè)，用新的抽頭權(quán)重確定在更新解碼器206時(shí)的比特開(kāi)銷(xiāo)，其與相應(yīng)的比特節(jié)約估計(jì)相比較以判定哪個(gè)更新頻率更有效。在步驟460設(shè)置被確定為更有效的頻率。
根據(jù)本發(fā)明，可實(shí)現(xiàn)附加或可替換的、從編碼器106到解碼器206的傳輸中的比特效率，因?yàn)椴槐貫閹械拿總€(gè)塊傳輸失配誤差。在許多時(shí)候，特別在容易出錯(cuò)的情況下，相比于其他區(qū)域(如背景)，一些區(qū)域(如前景)具有較高質(zhì)量是可接受的。在實(shí)際中，失配誤差只需要為場(chǎng)景中的所關(guān)心區(qū)域(ROI)保留，所述ROI被基于視頻內(nèi)容識(shí)別。遵循基于塊的編碼方案，可通過(guò)邊界框在幀內(nèi)界定所述ROI，但是本發(fā)明要保護(hù)的范圍不限于矩形結(jié)構(gòu)。
圖5通過(guò)舉例的方式顯示了根據(jù)本發(fā)明的ROI選擇單元236在識(shí)別ROI時(shí)可使用的基于內(nèi)容的因子。類(lèi)似于BRR單元208，該ROI選擇單元236被配置以接收、存儲(chǔ)和分析原來(lái)的幀ψ(n)。ROI比較器將識(shí)別的ROI與由側(cè)到中心圖像組合器242輸出的側(cè)到中心差值圖像相比較，以確定圖像的哪部分位于ROI之外。該部分被圖像排除器246設(shè)置為0，由此限制將被傳輸?shù)氖湔`差為ROI內(nèi)的失配誤差的那個(gè)部分。
在步驟510，識(shí)別一個(gè)人的面部，這并不必是任何特別的個(gè)體。一種在美國(guó)專(zhuān)利No.6,463,163，Kresch中提供的方法使用DCT域內(nèi)的相關(guān)性，該專(zhuān)利的全部公開(kāi)內(nèi)容被通過(guò)引用合并在這里。在步驟520，不相關(guān)的運(yùn)動(dòng)被檢測(cè)。這可以通過(guò)將幀分成大小隨每次迭代而變化的區(qū)域來(lái)進(jìn)行，并且，在每次迭代中，搜索運(yùn)動(dòng)矢量的變化超過(guò)預(yù)定閾值的區(qū)域。步驟530檢測(cè)具有紋理的區(qū)域，因?yàn)樵诮邮諜C(jī)處一個(gè)描述的缺失將要求插入丟失的幀，這將顯著地受益于失配誤差。Yoneyama公開(kāi)了基于延伸到先前參考幀的先前幀并在DCT域中操作的紋理信息檢測(cè)器。邊緣通常指示高的空間活動(dòng)，并進(jìn)而表示ROI。步驟540檢測(cè)邊緣，并能夠用Komatsu的美國(guó)專(zhuān)利No.6,008,866的邊緣檢測(cè)電路實(shí)現(xiàn)，該專(zhuān)利的全部公開(kāi)內(nèi)容被通過(guò)引用而合并在這里。該Komatsu的電路通過(guò)使色分解信號(hào)經(jīng)過(guò)帶通濾波、幅度規(guī)格化該結(jié)果并將其與一個(gè)閾值進(jìn)行比較來(lái)檢測(cè)邊緣。這個(gè)技術(shù)或任何周知的并適用的方法可被采用。最后，可通過(guò)如上述檢測(cè)運(yùn)動(dòng)對(duì)象并將運(yùn)動(dòng)矢量與預(yù)定的閾值比較來(lái)檢測(cè)指示高時(shí)域動(dòng)作而因此指示ROI的快速的對(duì)象運(yùn)動(dòng)。如果任何ROI的以上指示器被確定為存在，那么在步驟560為特定的宏塊設(shè)置一個(gè)ROI標(biāo)志?？苫趲瑑?nèi)被標(biāo)記的宏塊來(lái)形成在邊界框內(nèi)的ROI。
如上所述的，編碼器中的多重描述運(yùn)動(dòng)補(bǔ)償策略被優(yōu)化，以通過(guò)基于視頻內(nèi)容更新導(dǎo)出中心預(yù)測(cè)的預(yù)測(cè)幀的權(quán)重，和通過(guò)基于視頻內(nèi)容而排除幀中沒(méi)有落在所關(guān)心區(qū)域的那些區(qū)域用于增強(qiáng)解碼器側(cè)的預(yù)測(cè)的失配信號(hào)來(lái)節(jié)省與解碼器通信的比特。
雖然已經(jīng)顯示和描述了被認(rèn)為的本發(fā)明的優(yōu)選實(shí)施例，當(dāng)然應(yīng)該理解，可在不偏離本發(fā)明的精神的基礎(chǔ)上作出形式上或細(xì)節(jié)上不同的修改和變化。例如，被選擇性地排除的失配信號(hào)可被配置用于一個(gè)被安排接收視頻序列的兩個(gè)以上描述的解碼器。因此本發(fā)明不限于所描述和說(shuō)明的精確形式，而應(yīng)當(dāng)被構(gòu)建為包括落入所附權(quán)利要求范圍內(nèi)的所有修改。
權(quán)利要求
1.一種多重描述視頻編碼方法，包含步驟基于幀的內(nèi)容而識(shí)別所述幀中的至少一個(gè)所關(guān)心區(qū)域(ROI)，所述幀是多個(gè)組成視頻序列的幀中的一個(gè)，所述視頻序列由兩個(gè)運(yùn)動(dòng)補(bǔ)償過(guò)程并行編碼以產(chǎn)生兩個(gè)相應(yīng)的待傳輸?shù)浇獯a器的流，每個(gè)流包括失配信號(hào)，該失配信號(hào)可被解碼器用來(lái)重構(gòu)被運(yùn)動(dòng)補(bǔ)償以產(chǎn)生另一個(gè)流的視頻序列的一部分；為所述幀確定所述失配信號(hào)的、位于所述至少一個(gè)ROI之外的部分；和從傳輸中排除所述部分。
2.權(quán)利要求1的方法，其中所述視頻序列包括為了在分離的信道上的后續(xù)傳輸而被并行運(yùn)動(dòng)補(bǔ)償?shù)钠鏀?shù)流和偶數(shù)流，奇數(shù)流包含多個(gè)幀的向下采樣的子集，偶數(shù)流包含所述多個(gè)幀的不在該子集中的那些幀，每個(gè)流還包含基于所述傳輸?shù)?、?lái)自中心運(yùn)動(dòng)補(bǔ)償?shù)臍埐顖D像和基于每個(gè)流的運(yùn)動(dòng)矢量及除被排除的失配信號(hào)外的失配信號(hào)，所述中心運(yùn)動(dòng)補(bǔ)償與奇數(shù)和偶數(shù)流補(bǔ)償并行執(zhí)行，所述失配信號(hào)表示側(cè)預(yù)測(cè)圖像和中心預(yù)測(cè)圖像之間的差值，所述側(cè)預(yù)測(cè)圖像是基于奇數(shù)和偶數(shù)流中相應(yīng)的一個(gè)流的運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的，所述中心預(yù)測(cè)圖像是基于所述中心運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的。
3.權(quán)利要求2的方法，其中所述中心預(yù)測(cè)圖像被從原始圖像中減去以產(chǎn)生所述殘差圖像。
4.權(quán)利要求2的方法，其中所述運(yùn)動(dòng)矢量包含所述視頻流的時(shí)域連續(xù)幀之間的運(yùn)動(dòng)矢量，并且其中所述運(yùn)動(dòng)矢量包含所述視頻流中被一個(gè)居間幀在時(shí)域上分離的幀之間的運(yùn)動(dòng)矢量。
5.權(quán)利要求1的方法，其中所述識(shí)別步驟還包含選自以下組的步驟檢測(cè)一個(gè)人的面部、檢測(cè)不相關(guān)運(yùn)動(dòng)、檢測(cè)預(yù)定的紋理級(jí)別、檢測(cè)邊緣以及檢測(cè)幅度大于預(yù)定閾值的對(duì)象運(yùn)動(dòng)。
6.一種多重描述視頻編碼方法，包含步驟通過(guò)運(yùn)動(dòng)補(bǔ)償視頻序列的單個(gè)幀來(lái)形成側(cè)預(yù)測(cè)圖像；和根據(jù)在中心運(yùn)動(dòng)補(bǔ)償中被運(yùn)動(dòng)補(bǔ)償?shù)膸募訖?quán)平均來(lái)形成中心預(yù)測(cè)圖像，所述中心運(yùn)動(dòng)補(bǔ)償與形成側(cè)預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償是并行的，該平均是通過(guò)相應(yīng)的自適應(yīng)時(shí)域?yàn)V波器抽頭權(quán)重被加權(quán)的，所述抽頭權(quán)重基于所述序列中的至少一個(gè)幀的內(nèi)容被更新。
7.權(quán)利要求6的方法，其中至少一個(gè)幀的所述內(nèi)容包括在從所述至少一個(gè)幀導(dǎo)出的圖像中運(yùn)動(dòng)對(duì)象的存在、或場(chǎng)景變化的出現(xiàn)。
8.權(quán)利要求6的方法，其中視頻序列包括為了在分離的信道上的后續(xù)傳輸而被并行運(yùn)動(dòng)補(bǔ)償?shù)钠鏀?shù)流和偶數(shù)流，奇數(shù)流包含多個(gè)幀的向下抽樣的子集，偶數(shù)流包含所述多個(gè)幀的不在該子集中的那些幀，每個(gè)流還包含基于所述傳輸運(yùn)動(dòng)矢量的、來(lái)自中心運(yùn)動(dòng)補(bǔ)償?shù)臍埐顖D像，所述中心運(yùn)動(dòng)補(bǔ)償與奇數(shù)和偶數(shù)流補(bǔ)償并行執(zhí)行，以及基于每個(gè)流的，和表示側(cè)預(yù)測(cè)圖像和中心預(yù)測(cè)圖像之間的差值的失配信號(hào)，所述側(cè)預(yù)測(cè)圖像是基于奇數(shù)和偶數(shù)流中相應(yīng)的一個(gè)流的運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的，所述中心預(yù)測(cè)圖像是基于所述中心運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的。
9.權(quán)利要求8的方法，還包括基于由于更新而引起的所述殘差圖像的減少以及隨之的在所述傳輸中待傳輸比特的減少，以及基于在響應(yīng)該更新而傳輸新的自適應(yīng)時(shí)域?yàn)V波器抽頭權(quán)重中比特率的增加，而確定要更新抽頭權(quán)重的頻率的步驟。
10.一種多重描述視頻編碼器，包含奇數(shù)側(cè)編碼器和偶數(shù)側(cè)編碼器，用于對(duì)視頻序列的幀并行執(zhí)行運(yùn)動(dòng)補(bǔ)償以產(chǎn)生兩個(gè)待傳輸給解碼器的相應(yīng)流，每個(gè)流包括一個(gè)失配信號(hào)，其可被解碼器用來(lái)重構(gòu)為產(chǎn)生另一流而運(yùn)動(dòng)補(bǔ)償?shù)囊曨l序列的一部分；所關(guān)心區(qū)域(ROI)選擇單元，用于基于幀的內(nèi)容而識(shí)別所述幀中的至少一個(gè)ROI；和失配誤差抑制單元，用于為所述幀確定所述失配信號(hào)的位于所述至少一個(gè)ROI之外的部分并從傳輸中排除所述部分。
11.權(quán)利要求10的視頻編碼器，其中為了在分離的信道上的后續(xù)傳輸，所述運(yùn)動(dòng)補(bǔ)償并行地作用于奇數(shù)視頻流和偶數(shù)視頻流，奇數(shù)流包含所述視頻序列的幀的向下抽樣的子集，偶數(shù)流包含所述序列的不在該子集中的那些幀，每個(gè)流還包含基于在所述傳輸?shù)?、?lái)自與奇數(shù)和偶數(shù)流補(bǔ)償并行執(zhí)行的中心運(yùn)動(dòng)補(bǔ)償?shù)臍埐顖D像，和基于每個(gè)流的、運(yùn)動(dòng)矢量及除被排除的失配信號(hào)外的失配信號(hào)，所述失配信號(hào)表示側(cè)預(yù)測(cè)圖像和中心預(yù)測(cè)圖像之間的差值，所述側(cè)預(yù)測(cè)圖像是基于奇數(shù)和偶數(shù)流中相應(yīng)的一個(gè)流的運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的，所述中心預(yù)測(cè)圖像是基于所述中心運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的。
12.權(quán)利要求11的視頻編碼器，其中所述子集是由所述序列的交替幀組成的，使得奇數(shù)和偶數(shù)視頻流的每一個(gè)都包括所述序列的間隔幀。
13.權(quán)利要求11的視頻編碼器，其中所述中心編碼器被配置用于從原始圖像中減去所述中心預(yù)測(cè)圖像以產(chǎn)生所述殘差圖像。
14.權(quán)利要求11的視頻編碼器，其中所述運(yùn)動(dòng)矢量包含所述視頻流的時(shí)域連續(xù)的幀之間的運(yùn)動(dòng)矢量，并且其中所述運(yùn)動(dòng)矢量包含在所述視頻流中被一個(gè)居間幀在時(shí)域上分離的幀之間的運(yùn)動(dòng)矢量。
15.權(quán)利要求10的視頻編碼器，其中所述ROI選擇單元被配置用于檢測(cè)一個(gè)人的面部、不相關(guān)運(yùn)動(dòng)、預(yù)定的紋理級(jí)別、邊緣以及幅度大于預(yù)定閾值的對(duì)象運(yùn)動(dòng)中的至少一個(gè)。
16.一種多重描述視頻編碼器，包含奇數(shù)側(cè)編碼器和偶數(shù)側(cè)編碼器，用于對(duì)視頻序列的幀并行執(zhí)行運(yùn)動(dòng)補(bǔ)償以產(chǎn)生兩個(gè)待傳輸給解碼器的相應(yīng)流，每個(gè)流包括一個(gè)失配信號(hào)，其可被解碼器用來(lái)重構(gòu)為產(chǎn)生另一個(gè)流而運(yùn)動(dòng)補(bǔ)償?shù)囊曨l序列的一部分；用來(lái)通過(guò)運(yùn)動(dòng)補(bǔ)償所述序列的單個(gè)幀來(lái)形成側(cè)預(yù)測(cè)圖像的裝置；和用來(lái)從在中心運(yùn)動(dòng)補(bǔ)償中運(yùn)動(dòng)補(bǔ)償?shù)膸募訖?quán)平均來(lái)形成中心預(yù)測(cè)圖像的裝置，該平均是通過(guò)相應(yīng)的自適應(yīng)時(shí)域?yàn)V波器抽頭權(quán)重被加權(quán)的，所述抽頭權(quán)重基于所述序列的至少一個(gè)幀的內(nèi)容被更新。
17.權(quán)利要求16的視頻編碼器，其中至少一個(gè)幀的所述內(nèi)容包括從所述至少一個(gè)幀導(dǎo)出的圖像中的運(yùn)動(dòng)對(duì)象的存在，或場(chǎng)景變化的出現(xiàn)。
18.權(quán)利要求16的視頻編碼器，其中為了在分離的信道上的后續(xù)傳輸，所述運(yùn)動(dòng)補(bǔ)償并行地作用于奇數(shù)視頻流和偶數(shù)視頻流，奇數(shù)流包含所述視頻序列的幀的向下抽樣的子集，偶數(shù)流包含所述序列的不在該子集中的那些幀，每個(gè)流還包含基于在所述傳輸?shù)摹?lái)自中心運(yùn)動(dòng)補(bǔ)償?shù)臍埐顖D像，和基于每個(gè)流的運(yùn)動(dòng)矢量和除被排除的失配信號(hào)外的失配信號(hào)，所述中心運(yùn)動(dòng)補(bǔ)償與奇數(shù)和偶數(shù)流補(bǔ)償并行執(zhí)行，失配信號(hào)表示側(cè)預(yù)測(cè)圖像和中心預(yù)測(cè)圖像之間的差值，所述側(cè)預(yù)測(cè)圖像是基于奇數(shù)和偶數(shù)流中相應(yīng)的一個(gè)流的運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的，所述中心預(yù)測(cè)圖像是基于所述中心運(yùn)動(dòng)補(bǔ)償而導(dǎo)出的，所述視頻編碼器還包括比特率調(diào)節(jié)單元，其被配置為基于由于更新而引起的殘差圖像的減少以及隨之的在所述傳輸中待傳輸比特的減少，以及基于在響應(yīng)更新而傳輸新的自適應(yīng)時(shí)域?yàn)V波器抽頭權(quán)重中比特率的增加，而確定要更新的抽頭權(quán)重的頻率。
19.一種包括處理器可讀的介質(zhì)的計(jì)算機(jī)軟件產(chǎn)品，在所述介質(zhì)上存儲(chǔ)有第一序列指令，當(dāng)其被所述處理器執(zhí)行時(shí)使得所述處理器基于幀的內(nèi)容而識(shí)別所述幀中的至少一個(gè)所關(guān)心區(qū)域(ROI)，所述幀是多個(gè)組成視頻序列的幀中的一個(gè)，所述視頻序列由兩個(gè)運(yùn)動(dòng)補(bǔ)償過(guò)程并行編碼以產(chǎn)生兩個(gè)相應(yīng)的待傳輸?shù)浇獯a器中的流，每個(gè)流包括失配信號(hào)，其可被解碼器用來(lái)重構(gòu)為產(chǎn)生另一個(gè)流而運(yùn)動(dòng)補(bǔ)償?shù)囊曨l序列的一部分；和第二序列指令，當(dāng)被所述處理器執(zhí)行時(shí)使得所述處理器為所述幀確定所述失配信號(hào)位于所述至少一個(gè)ROI之外的部分并從傳輸中排除所述部分。
20.權(quán)利要求19所述的產(chǎn)品，其中所述第一序列指令包含這樣的指令，當(dāng)其被處理器執(zhí)行時(shí)使得所述處理器檢測(cè)一個(gè)人的面部、不相關(guān)運(yùn)動(dòng)、預(yù)定的紋理級(jí)別、邊緣以及幅度大于預(yù)定閾值的對(duì)象運(yùn)動(dòng)中的至少一個(gè)。
21.一種多重描述視頻解碼器，用于并行運(yùn)動(dòng)補(bǔ)償解碼兩個(gè)視頻流，該解碼器使用從產(chǎn)生所述流之一的運(yùn)動(dòng)補(bǔ)償編碼器接收的失配信號(hào)來(lái)重構(gòu)為產(chǎn)生另一個(gè)流而運(yùn)動(dòng)補(bǔ)償?shù)囊曨l序列的一部分，所述解碼器包含用于接收抽頭權(quán)重的裝置，所述抽頭權(quán)重由編碼器基于視頻流的內(nèi)容更新和被解碼器用來(lái)基于兩個(gè)所述流作出圖像預(yù)測(cè)。
全文摘要
多重描述編碼方法被應(yīng)用于視頻，并且被優(yōu)化以排除幀的所關(guān)心區(qū)域之外部分的失配校正信息到解碼器的傳輸?；谝曨l內(nèi)容，通過(guò)選擇性地更新在估計(jì)當(dāng)前幀中所使用的預(yù)測(cè)幀的權(quán)重來(lái)實(shí)現(xiàn)附加的比特效率，該預(yù)測(cè)幀由從對(duì)應(yīng)幀進(jìn)行運(yùn)動(dòng)補(bǔ)償而得到?；谒鶎?shí)現(xiàn)的、與作為交換的、更頻繁地將被更新權(quán)重傳輸給接收機(jī)的需要相比較所增加的預(yù)測(cè)精確度以及伴隨的殘差圖像比特節(jié)約，更新頻率被自適應(yīng)地確定。
文檔編號(hào)H04N7/26GK1679341SQ03821108
公開(kāi)日2005年10月5日 申請(qǐng)日期2003年8月29日 優(yōu)先權(quán)日2002年9月6日
發(fā)明者D·S·圖拉加, M·范德沙爾 申請(qǐng)人:皇家飛利浦電子股份有限公司