專利名稱：用于幀間編碼序列的差錯(cuò)消隱技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對編碼圖像中的差錯(cuò)進(jìn)行消隱的技術(shù)。
背景技術(shù)：
在許多例子中，視頻流經(jīng)過壓縮(編碼)以便于存儲(chǔ)和傳輸。目前存在多種編碼方案，包括諸如被提議的ISO/ITU H.2.64編碼技術(shù)這樣的基于塊的方案。這種編碼視頻流常常因?yàn)樾诺啦铄e(cuò)和/或網(wǎng)絡(luò)擁塞而在傳輸期間發(fā)生數(shù)據(jù)丟失或變得損壞。在解碼時(shí)，數(shù)據(jù)的丟失/損壞自我表示為產(chǎn)生圖像偽像(artifact)的缺失/損壞像素值。要減少這類偽像，解碼器將通過根據(jù)同一圖像的其他宏塊(macroblock)或根據(jù)其他圖像來估值，以“消隱”這類缺失/損壞像素值。短語“差錯(cuò)消隱”(error concealment)有點(diǎn)用詞不當(dāng)，因?yàn)榻獯a器實(shí)際上未將缺失/損壞像素值隱藏。
空間消隱依靠空間域中臨近區(qū)域間的相似性試圖根據(jù)同一圖像中其他區(qū)域的像素值來得到(估計(jì))缺失/損壞像素值。時(shí)間消隱試圖從具有時(shí)間冗余的其他圖像得到缺失/損壞像素值。通常，差錯(cuò)消隱后的圖像將接近原始圖像。然而，利用差錯(cuò)消隱后的圖像作為參考將傳播差錯(cuò)?，F(xiàn)代實(shí)時(shí)應(yīng)用對差錯(cuò)消隱有兩條硬性約束·時(shí)間約束(time constraint)，將消隱的計(jì)算限于一時(shí)間窗口，該時(shí)間窗口限定了差錯(cuò)檢測與損壞幀的顯示之間的間隔；以及·因果約束(causal constraint)，迫使基于先前所傳輸?shù)男畔D像進(jìn)行消隱，而不管與消隱潛在相關(guān)的位流中的輸入信息。
兩條約束都嚴(yán)重限制了消隱算法的性能并增加了差錯(cuò)傳播。
差錯(cuò)傳播的問題取決于將消隱后圖像用于顯示還是后續(xù)參考而不同。當(dāng)消隱后的圖像是可顯示的圖像且不被用作參考時(shí)，消隱的不精確決不損害其他幀間編碼(inter-coded)圖像的質(zhì)量。然而，對結(jié)果的需求是實(shí)時(shí)的。當(dāng)消隱后的圖像被用作參考圖像時(shí)，差錯(cuò)常常因?yàn)樗鼈兊臅r(shí)間暫留(time persistence)而傳播并變得可見。然而，實(shí)時(shí)約束將不會(huì)限制與從消隱后圖像得到參考圖像相關(guān)的算法的復(fù)雜性。減少差錯(cuò)傳播通常被稱為容錯(cuò)問題。以編碼效率和增加時(shí)延為代價(jià)，最普通的容錯(cuò)技術(shù)要求在傳輸流中包含冗余位并利用反饋信道來重發(fā)丟失或損壞的分組。
對于不支持時(shí)間和因果約束的應(yīng)用，為了在解碼器處校正傳輸差錯(cuò)，差錯(cuò)消隱算法變得必要。在這種環(huán)境下，差錯(cuò)傳播將取決于對參考圖像進(jìn)行消隱的質(zhì)量。迄今為止，防止差錯(cuò)傳播需要避免使用先前所消隱的塊作為參考。然而，取決于損壞圖像將充當(dāng)參考還是僅需用于顯示，這種技術(shù)未解決差錯(cuò)傳播的問題。
因此，需要一種提高差錯(cuò)消隱質(zhì)量同時(shí)克服上述缺點(diǎn)的技術(shù)。

發(fā)明內(nèi)容
簡要的，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，提供了一種用于對編碼圖像中的差錯(cuò)進(jìn)行消隱的方法。所述方法由首先識(shí)別所述編碼圖像是否具有差錯(cuò)開始。如果是的話，則利用用于顯示的第一消隱技術(shù)對所述圖像進(jìn)行消隱。對被識(shí)別為具有差錯(cuò)的所述圖像進(jìn)行判定，以確定該圖像是否將充當(dāng)參考圖像。如果是的話，則利用第二消隱技術(shù)對所述圖像進(jìn)行消隱。


圖1圖示了根據(jù)本發(fā)明的用于執(zhí)行差錯(cuò)消隱的解碼器的示意性框圖；圖2以流程圖的形式圖示了根據(jù)本發(fā)明的第一優(yōu)選實(shí)施例的一種用于對可顯示和被存儲(chǔ)(參考)的圖像進(jìn)行消隱的方法的步驟；圖3以流程圖的形式圖示了根據(jù)本發(fā)明的第二優(yōu)選實(shí)施例的一種用于對可顯示和被存儲(chǔ)的圖像進(jìn)行消隱的方法的步驟；圖4圖示了一組圖像，其說明了時(shí)間遞歸的消隱如何可以提高幀間預(yù)測的質(zhì)量；以及圖5以流程圖的形式圖示了根據(jù)本發(fā)明的第三優(yōu)選實(shí)施例的一種用于對可顯示和被存儲(chǔ)的圖像進(jìn)行消隱的方法的步驟。
具體實(shí)施例方式
圖1圖示了用于對編碼圖像進(jìn)行解碼的解碼裝置10的示意性框圖。解碼裝置10包括熵解碼器11，熵解碼器11產(chǎn)生解碼后視頻流，以輸入到尺度和反變換(scaling and inverse transformation)塊12。根據(jù)輸入的編碼視頻流，熵解碼器11產(chǎn)生一組運(yùn)動(dòng)向量、產(chǎn)生對幀間預(yù)測(inter-prediction)模式的指定，以及產(chǎn)生對一個(gè)或多個(gè)參考圖像的選擇，以輸入到運(yùn)動(dòng)補(bǔ)償塊14，所述運(yùn)動(dòng)補(bǔ)償塊14利用存儲(chǔ)在參考圖像存儲(chǔ)器16中的先前所存儲(chǔ)的一個(gè)或多個(gè)參考圖像來執(zhí)行運(yùn)動(dòng)補(bǔ)償。加法塊18將由運(yùn)動(dòng)補(bǔ)償塊14產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膱D像與來自尺寸和逆變換塊12的圖像相加。去塊(deblocking)過濾器20對由加法塊18輸出的圖像進(jìn)行去塊，以產(chǎn)生用于顯示的解碼后圖像。因?yàn)樯院罂赡鼙挥米鲄⒖紙D像，所以由去塊過濾器20輸出的解碼后圖像也被存儲(chǔ)在參考圖像存儲(chǔ)器16中。
被輸入解碼裝置10的所有編碼圖像終究被顯示，但是它們之中只有一些被用于參考。當(dāng)由熵解碼器11接收到的輸入視頻流是利用H.264壓縮標(biāo)準(zhǔn)壓縮的時(shí)，每個(gè)經(jīng)編碼圖像的NAL頭中的nal_ref_idc域?qū)⒅甘境鰣D像是否將充當(dāng)參考圖像。熵解碼器11將利用這種信息來決定具體圖像是否將充當(dāng)參考圖像。如果nal_ref_idc等于零，則圖像將不充當(dāng)參考。如果nal_ref_idc不等于0，則圖像可充當(dāng)參考圖像。
圖2、3和5各自以流程圖的形式圖示了根據(jù)本發(fā)明的用于執(zhí)行差錯(cuò)消隱的替代方法。如在下文中更詳細(xì)描述的，圖2、3和5中圖示的差錯(cuò)消隱方法利用了一種用于顯示圖像的技術(shù)，以及一種用于那些被選擇為參考圖像的圖像的不同技術(shù)。利用專用于顯示圖像的差錯(cuò)消隱技術(shù)提供了實(shí)時(shí)約束下的最佳視覺質(zhì)量，而利用專用于參考圖像的差錯(cuò)消隱技術(shù)允許更精確地恢復(fù)丟失的數(shù)據(jù)。因?yàn)樗芯幋a圖像都要被顯示，所以對這種圖像可以利用專用于顯示的技術(shù)來進(jìn)行消隱，而只有對那些被選擇為參考圖像的圖像才利用專用于參考圖像的技術(shù)來進(jìn)行消隱。圖2圖示了根據(jù)本發(fā)明的第一消隱方法，其中通過第一技術(shù)對顯示圖像進(jìn)行差錯(cuò)消隱，并且通過結(jié)合(例如鏈接(chaining))第一技術(shù)與第二消隱技術(shù)來對參考圖像進(jìn)行差錯(cuò)消隱。圖2的消隱方法從執(zhí)行初始化步驟(步驟100)開始，在該初始化步驟期間參數(shù)通過各種過程被初始化。接著，進(jìn)行步驟102，在步驟102期間輸入宏塊被檢查以檢測差錯(cuò)是否以缺失或損壞像素值的形式存在。當(dāng)找到包含差錯(cuò)的宏塊時(shí)，在步驟104期間利用第一消隱技術(shù)進(jìn)行差錯(cuò)消隱，以產(chǎn)生用于顯示的消隱后圖像106。在步驟108期間，然后確定在步驟104期間被消隱的宏塊是否表示將充當(dāng)參考圖像的圖像的一部分。如果是的話，則先前在步驟104期間被消隱的圖像106在步驟109期間經(jīng)由第二消隱技術(shù)進(jìn)行進(jìn)一步消隱，以產(chǎn)生為后續(xù)參考而被存儲(chǔ)的消隱后圖像。如果在步驟108期間執(zhí)行的判定發(fā)現(xiàn)由輸入宏塊部分地表示的圖像將不充當(dāng)參考圖像，則處理在步驟112期間結(jié)束。
圖2中圖示的消隱過程利用在步驟104期間進(jìn)行消隱后得到的圖像106作為在步驟109期間進(jìn)行的消隱的輸入。這樣，步驟109期間執(zhí)行的消隱被“鏈接到”步驟104期間執(zhí)行的消隱。圖2的方法提供了一種對消隱后圖像106的實(shí)時(shí)顯示的簡單且快速的解決方案，所述消隱后圖像106隨后被進(jìn)一步消隱以產(chǎn)生對所存儲(chǔ)的參考圖像的更好預(yù)測。
在步驟104和109期間執(zhí)行的消隱技術(shù)的選擇將取決于想要實(shí)現(xiàn)時(shí)間還是空間差錯(cuò)消隱。例如，對于時(shí)間差錯(cuò)消隱，在步驟104期間執(zhí)行的差錯(cuò)消隱將通過在減少了的數(shù)目的運(yùn)動(dòng)向量中搜索最佳匹配來填入缺失/損壞區(qū)域，而在步驟109期間執(zhí)行的消隱擴(kuò)大了搜索區(qū)域或被測試的位移(displacement)的數(shù)目。對于空間差錯(cuò)消隱可以實(shí)現(xiàn)相似的方法。在這種環(huán)境下，在步驟104期間執(zhí)行的差錯(cuò)消隱將僅測試被使用最多的幀內(nèi)預(yù)測(intra-prediction)模式，而在步驟109期間執(zhí)行的消隱對剩余的模式進(jìn)行匹配以改善重構(gòu)數(shù)據(jù)的質(zhì)量。
圖3圖示了根據(jù)本發(fā)明的第二消隱方法，其中通過對顯示圖像和被存儲(chǔ)(參考)的圖像并行使用不同的差錯(cuò)消隱技術(shù)來對包含差錯(cuò)的宏塊進(jìn)行消隱。因?yàn)闉榱双@得最佳主觀視覺質(zhì)量而執(zhí)行的差錯(cuò)消隱技術(shù)不總是提供用于后來圖像的幀間預(yù)測的最佳參考圖像，因此利用兩種不同的消隱策略有明顯的好處。
圖3的消隱方法從執(zhí)行初始化步驟(步驟200)開始，在初始化步驟期間參數(shù)通過各種過程被初始化。接著，進(jìn)行步驟202，在步驟202期間輸入宏塊被檢查以檢測差錯(cuò)。當(dāng)找到包含差錯(cuò)的宏塊時(shí)，在步驟204期間利用第一消隱技術(shù)進(jìn)行差錯(cuò)消隱，以產(chǎn)生用于顯示的消隱后圖像206。在步驟208期間，然后確定同一輸入宏塊是否表示將充當(dāng)參考圖像的圖像的一部分。如果是的話，則在步驟209期間利用第二消隱技術(shù)對輸入宏塊進(jìn)行消隱，以產(chǎn)生為后續(xù)參考而被存儲(chǔ)的差錯(cuò)消隱后的圖像210。如果在步驟208期間執(zhí)行的判定發(fā)現(xiàn)與輸入宏塊相關(guān)的圖像將不充當(dāng)參考圖像，則處理在步驟212期間結(jié)束。
圖3中圖示的消隱過程并行利用不同的消隱技術(shù)。例如，在大缺失區(qū)域的情況下，通過消隱整幅圖像同時(shí)丟棄正確接收到的宏塊以避免變換處的可見偽像，顯示圖像將看起來感覺更好。然而，利用消隱后圖像作為參考對幀間編碼宏塊進(jìn)行的預(yù)測需要精確的數(shù)據(jù)重構(gòu)，而在宏塊邊緣處創(chuàng)建的偽像不太重要或完全不重要。在這種環(huán)境下，利用專用于顯示圖像的消隱技術(shù)將提高顯示質(zhì)量，而利用專用于參考圖像的消隱技術(shù)將減少幀間預(yù)測的差錯(cuò)傳播。
雖然先前的示例說明了對顯示和參考圖像具有不同消隱策略的好處，但利用具有不同復(fù)雜性的消隱技術(shù)也有好處。至于對先前所傳輸數(shù)據(jù)的使用，實(shí)時(shí)約束和因果約束主要影響對可顯示圖像的消隱，而較少影響對所存儲(chǔ)的用于參考的圖像的消隱。注意當(dāng)對所存儲(chǔ)的用于參考的圖像進(jìn)行處理時(shí)，執(zhí)行消隱的時(shí)間窗口擴(kuò)展到當(dāng)所存儲(chǔ)的圖像被用作參考時(shí)的時(shí)間，其通常長于用于顯示的時(shí)間。
如在下文中更詳細(xì)描述的，利用了后來傳輸圖像的遞歸差錯(cuò)消隱可以提高先前所解碼的圖像的質(zhì)量。要說明這種技術(shù)的優(yōu)勢，為了討論目的而假定存在將帶來如圖4中圖示的圖像序列的差錯(cuò)，所述圖像序列具有I1P2P3B4B5B6B7B8B9的解碼順序，而顯示順序是I1B5B4B6P2B8B7B9P3。如果在圖像P2中發(fā)現(xiàn)損壞宏塊，則在該圖像的解碼期間實(shí)時(shí)應(yīng)用于這種宏塊的差錯(cuò)消隱將需要依賴于來自圖像I1的信息。然而，因?yàn)閳D像P2在顯示中第五個(gè)出現(xiàn)而非第二個(gè)出現(xiàn)，所以差錯(cuò)消隱通過利用來自即將到來的圖像(例如像P3這樣的圖像)的信息可以改善預(yù)測結(jié)果。如果在B幀上發(fā)現(xiàn)損壞塊，則該技術(shù)只有當(dāng)顯示不緊接著解碼后發(fā)生才會(huì)有用。
圖5圖示了一種消隱方法，該方法利用時(shí)間遞歸技術(shù)來提高先前利用圖2或3的方法進(jìn)行消隱的圖像的質(zhì)量。圖5的方法從執(zhí)行初始化步驟(步驟300)開始，在該初始化步驟期間參數(shù)通過各種過程被初始化。在步驟302期間，對包含在輸入宏塊304中的圖像進(jìn)行解碼，從而產(chǎn)生經(jīng)解碼的圖像308。在步驟310的執(zhí)行期間，進(jìn)行差錯(cuò)檢測。當(dāng)在步驟312期間發(fā)現(xiàn)差錯(cuò)時(shí)，在步驟312期間確定是否在當(dāng)前圖像中消隱該錯(cuò)誤。如果是的話，則在步驟314期間進(jìn)行差錯(cuò)消隱，產(chǎn)生消隱后圖像316。如果不期望進(jìn)行差錯(cuò)消隱，則進(jìn)行步驟318并且判定是否要改善任何先前圖像的差錯(cuò)消隱。如果是的話，則在步驟320期間利用先前所消隱的圖像322作為消隱過程的輸入來對該先前圖像的差錯(cuò)消隱進(jìn)行更新。在步驟320或步驟318之后，如果沒有必要對任何先前圖像的消隱進(jìn)行改善，則過程在步驟324期間結(jié)束。注意可以隨著時(shí)間遞歸地執(zhí)行步驟318和320，以不斷地改善差錯(cuò)消隱。
前面描述了一種通過利用用于顯示和參考圖像的不同消隱技術(shù)來改善幀間編碼序列的質(zhì)量的技術(shù)。
權(quán)利要求
1.一種用于在解碼時(shí)對編碼圖像中的差錯(cuò)進(jìn)行消隱的方法，包括以下步驟識(shí)別所述圖像是否具有差錯(cuò)并且如果是的話，則利用用于顯示的第一消隱技術(shù)對所述圖像進(jìn)行消隱；確定具有所述差錯(cuò)的圖像是否將充當(dāng)參考圖像，并且如果是的話，則利用第二消隱技術(shù)對所述圖像進(jìn)行消隱。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述利用第二消隱技術(shù)對圖像進(jìn)行消隱的步驟增強(qiáng)了所述第一消隱技術(shù)所實(shí)現(xiàn)的消隱。
3.根據(jù)權(quán)利要求2所述的方法，其中，隨著時(shí)間遞歸地執(zhí)行所述第二消隱技術(shù)，以提高先前所解碼的圖像的質(zhì)量。
4.根據(jù)權(quán)利要求1所述的方法，其中，隨著時(shí)間遞歸地執(zhí)行所述第二消隱技術(shù)，以提高先前所解碼的圖像的質(zhì)量。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述第一和第二消隱技術(shù)被并行執(zhí)行。
6.根據(jù)權(quán)利要求1所述的方法，其中所述第一和第二消隱技術(shù)各自實(shí)現(xiàn)了時(shí)間消隱。
7.根據(jù)權(quán)利要求1所述的方法，其中所述第一和第二消隱技術(shù)各自實(shí)現(xiàn)了空間消隱。
8.根據(jù)權(quán)利要求6所述的方法，其中，所述利用第一消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括在圖像解碼期間得到的一組減少了的運(yùn)動(dòng)向量中搜索最佳匹配的步驟。
9.根據(jù)權(quán)利要求8所述的方法，其中，所述利用第二消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括擴(kuò)大搜索區(qū)域以在一組增加了的運(yùn)動(dòng)向量中進(jìn)行搜索的步驟。
10.根據(jù)權(quán)利要求7所述的方法，其中，所述利用第一消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括只對在圖像解碼期間得到的一組使用最多的幀內(nèi)預(yù)測模式進(jìn)行測試的步驟。
11.根據(jù)權(quán)利要求11所述的方法，其中，所述利用第二消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括對所有未經(jīng)測試的幀內(nèi)預(yù)測模式進(jìn)行匹配的步驟。
12.一種對正被解碼的編碼圖像中的差錯(cuò)進(jìn)行消隱的方法，包括以下步驟識(shí)別所述圖像是否具有差錯(cuò)并且如果是的話，確定具有差錯(cuò)的圖像是否將充當(dāng)參考圖像，并且如果是的話，則利用專用于參考圖像的技術(shù)對所述圖像進(jìn)行消隱，并且利用專用于顯示圖像的技術(shù)對不充當(dāng)參考圖像的圖像進(jìn)行消隱。
13.根據(jù)權(quán)利要求12所述的方法，其中所述第一和第二消隱技術(shù)各自實(shí)現(xiàn)了時(shí)間消隱。
14.根據(jù)權(quán)利要求12所述的方法，其中所述第一和第二消隱技術(shù)各自實(shí)現(xiàn)了空間消隱。
15.根據(jù)權(quán)利要求13所述的方法，其中，所述利用第一消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括在圖像解碼期間得到的一組減少了的運(yùn)動(dòng)向量中搜索最佳匹配的步驟。
16.根據(jù)權(quán)利要求15所述的方法，其中，所述利用第二消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括擴(kuò)大搜索區(qū)域以在一組增加了的運(yùn)動(dòng)向量中進(jìn)行搜索的步驟。
17.根據(jù)權(quán)利要求14所述的方法，其中，所述利用第一消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括只對在圖像解碼期間指定的一組使用最多的幀內(nèi)預(yù)測模式進(jìn)行測試的步驟。
18.根據(jù)權(quán)利要求17所述的方法，其中，所述利用第二消隱技術(shù)對圖像進(jìn)行消隱的步驟還包括對所有未經(jīng)測試的幀內(nèi)預(yù)測模式進(jìn)行匹配的步驟。
19.一種用于在圖像解碼期間對編碼圖像中的差錯(cuò)進(jìn)行消隱的方法，包括以下步驟檢測所述圖像中是否存在差錯(cuò)，確定是否要基于檢測到的差錯(cuò)來執(zhí)行差錯(cuò)消隱，并且如果是的話，則利用第一消隱技術(shù)執(zhí)行差錯(cuò)消隱；確定對所述圖像的差錯(cuò)消隱是否可被改善，并且如果是的話，則利用至少一個(gè)先前所消隱的圖像來更新對所述圖像的差錯(cuò)消隱。
20.一種在解碼時(shí)對編碼圖像中的差錯(cuò)進(jìn)行消隱的方法，包括以下步驟識(shí)別所述圖像是否具有差錯(cuò)并且如果是的話，則確定具有所述差錯(cuò)的圖像是否將充當(dāng)參考圖像，并且如果是的話，則利用專用于參考圖像的消隱技術(shù)對所述圖像進(jìn)行消隱。
全文摘要
本發(fā)明公開了一種對編碼圖像中的差錯(cuò)進(jìn)行消隱的技術(shù)。對被顯示的編碼圖像和被存儲(chǔ)作為參考圖像的編碼圖像使用不同的差錯(cuò)消隱技術(shù)，這提高了差錯(cuò)消隱的質(zhì)量。為實(shí)時(shí)使用而優(yōu)化的消隱技術(shù)將為被顯示的圖像提供最佳的視覺質(zhì)量，而為恢復(fù)丟失數(shù)據(jù)而優(yōu)化的消隱技術(shù)提高了所存儲(chǔ)的參考圖像的質(zhì)量。
文檔編號(hào)H04N7/68GK1993997SQ200480043710
公開日2007年7月4日 申請日期2004年7月29日 優(yōu)先權(quán)日2004年7月29日
發(fā)明者克里斯蒂娜·古米拉, 吉爾·麥克唐納·伯恩斯 申請人:湯姆遜許可證公司