專利名稱:對(duì)原始圖像序列進(jìn)行圖像編碼的可縮放的方法以及與此相關(guān)的圖像解碼方法、編碼裝置 ...的制作方法
本發(fā)明涉及按照權(quán)利要求
1的前序部分的方法和按照權(quán)利要求
8的前序部分的圖像解碼方法。此外本發(fā)明還涉及按照權(quán)利要求
9的前序部分的編碼裝置，以及按照權(quán)利要求
10的前序部分的解碼裝置。
按照[1]，高效率編碼圖像序列的視頻編碼方法利用特定的信號(hào)特性。在此利用單個(gè)圖像或者該圖像的圖像點(diǎn)的位置和時(shí)間的依賴性。圖像或者視頻編碼方法越能夠較好利用單個(gè)圖像或者圖像點(diǎn)之間的該依賴性，那么一般就越能夠獲得更大的壓縮率。
在當(dāng)前視頻編碼技術(shù)中，基本上分為兩種方法混合編碼方法，例如ITU-TH.263或者ITU-T H.264標(biāo)準(zhǔn)[2，3]，和所謂的三維頻率編碼方法。雖然兩種方法都試圖無論以位置方式還是時(shí)間方式編碼由圖像序列組成的視頻信號(hào)，但是人們?cè)诨旌戏椒ㄖ惺紫壤迷跁r(shí)間方向上的運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測和接著例如借助二維離散余弦變換(DCT-離散余弦變換)對(duì)于所產(chǎn)生的差分圖像進(jìn)行二維變換，以便由此消除在該差分圖像內(nèi)的相鄰圖像點(diǎn)之間的位置相關(guān)。
在三維頻率編碼方法，例如運(yùn)動(dòng)補(bǔ)償?shù)摹r(shí)間上濾波的分頻帶編碼中，與混合編碼方法相反，不執(zhí)行時(shí)間預(yù)測，而在時(shí)間軸的方向上執(zhí)行“真正的”變換，以便由此利用相繼圖像的時(shí)間相關(guān)。在這樣的分頻帶編碼中，圖像序列在位置的二維去相關(guān)之前被分類為多個(gè)“時(shí)間的”頻帶，例如在兩個(gè)頻帶的場合分類為為時(shí)間上高頻的和低頻的圖像部分的高頻帶和低頻帶。在譜拆分的情況下在這些頻帶內(nèi)出現(xiàn)的頻率的分配極大地依賴在視頻信號(hào)中出現(xiàn)的運(yùn)動(dòng)的大小。只要所考慮的視頻信號(hào)不具有運(yùn)動(dòng)的或者變化的元素，則所有高頻的“時(shí)間譜部分”等于零，全部能量集中在低頻帶上。然而在正常情況下在一個(gè)圖像序列中總能看到時(shí)間上的圖像變化，例如局部的物體移動(dòng)、物體大小的改變或者場景變換。這導(dǎo)致在多個(gè)譜系數(shù)上的能量分配，在此也出現(xiàn)高頻的部分。
為減少在時(shí)間的高頻帶中的譜分量，從而把能量集中在時(shí)間的低頻帶上，在時(shí)間上濾波視頻信號(hào)前在多個(gè)“時(shí)間的”頻帶內(nèi)執(zhí)行在時(shí)間上要被濾波的圖像的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。
根據(jù)[4]，運(yùn)動(dòng)補(bǔ)償?shù)摹r(shí)間上濾波的分頻帶編碼也可以用于建立可縮放的視頻數(shù)據(jù)流。例如由此能夠獲得時(shí)間的、定性的、或者還有位置的可縮放性。此外在[4]中第3.2.4章提供一種組合的縮放。在此借助混合編碼方法獲得兩個(gè)不同的基本質(zhì)量(L0，L1)。為獲得改善的圖像質(zhì)量，接受附加的被縮放過的視頻數(shù)據(jù)流，例如L2、L3、L4和/或L5。這些附加的經(jīng)縮放過的視頻數(shù)據(jù)流(L2，…，L5)在[4]中借助一種運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼產(chǎn)生。從而知道，借助按照一種運(yùn)動(dòng)補(bǔ)償?shù)?、預(yù)測編碼的第一編碼方法和按照一種運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼的第二編碼方法可以產(chǎn)生一個(gè)可縮放的視頻數(shù)據(jù)流。
本發(fā)明的技術(shù)問題在于提供一種用于圖像編碼和圖像解碼的方法、一種編碼以及解碼裝置，它們能夠以簡單而有效的方式使用一種運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼方法并借助一種運(yùn)動(dòng)補(bǔ)償?shù)摹㈩A(yù)測的編碼方法來實(shí)現(xiàn)對(duì)原始圖像序列的圖像編碼和解碼。
該該技術(shù)問題從按照權(quán)利要求
1的前序部分的圖像編碼方法出發(fā)通過其特征部分的特征以及從按照權(quán)利要求
8的前序部分的圖像解碼方法出發(fā)通過其特征部分的特征得以解決。此外，該任務(wù)從按照權(quán)利要求
9的前序部分的編碼裝置出發(fā)通過其特征部分的特征以及從按照權(quán)利要求
10的前序部分的解碼裝置出發(fā)通過其特征部分的特征得以解決。
在對(duì)原始圖像序列進(jìn)行圖像編碼的方法中，從原始圖像序列中借助按照運(yùn)動(dòng)補(bǔ)償?shù)?、預(yù)測編碼的第一編碼方法產(chǎn)生已解碼圖像的一個(gè)序列，在圖像編碼前，通過按照運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上被濾波的分頻帶編碼的第二編碼方法根據(jù)為產(chǎn)生該要編碼的圖像組的一個(gè)低分辨率級(jí)的一個(gè)輸出圖像而使用的、被解碼的圖像的已確定的編碼特性來確定要編碼的彼此相繼的原始圖像的圖像組的開始圖像，其中，在圖像編碼時(shí)，從該要編碼的圖像組的彼此相繼的原始圖像中和從每一分辨率級(jí)的至少一個(gè)已解碼的圖像中產(chǎn)生至少一個(gè)輸出圖像。
通過本發(fā)明的用于圖像編碼的方法在通過第二編碼方法編碼原始圖像時(shí)考慮由通過第一編碼方法產(chǎn)生的已解碼圖像的已確定的編碼特性。由此為第二編碼方法改善了壓縮特性，例如壓縮率或者在保持相同壓縮率的圖像質(zhì)量。
此外，通過為通過第二編碼方法的圖像編碼適當(dāng)選擇開始圖像，減小通過第二編碼方法產(chǎn)生的圖像信息的易錯(cuò)性(錯(cuò)誤漂移)，由此提高圖像質(zhì)量。
此外本發(fā)明的方法能夠自由選擇對(duì)按照第一和/或第二編碼方法產(chǎn)生的單個(gè)圖像的訪問。
當(dāng)編碼特性的確定表明所使用的、已解碼的圖像的至少一個(gè)圖像塊被INTRA編碼時(shí)，優(yōu)選根據(jù)使用的、已解碼的圖像確定開始圖像。因?yàn)镮NTRA編碼的圖像塊經(jīng)常以較高的圖像質(zhì)量編碼，并在INTRA編碼的圖像塊中不出現(xiàn)錯(cuò)誤漂移，從而為低分辨率級(jí)的輸出圖像的至少一個(gè)圖像部分獲得減小的信號(hào)能量，并由此能夠獲得改善的壓縮特性。不出現(xiàn)錯(cuò)誤漂移，因?yàn)樵贗NTRA編碼時(shí)不從先前的圖像進(jìn)行預(yù)測，從而不接收任何錯(cuò)誤。
作為可選的方案，當(dāng)編碼特性的確定表明所使用的、已解碼的圖像的規(guī)定數(shù)目的圖像塊被INTRA編碼時(shí)，根據(jù)使用的、已解碼的圖像確定開始圖像。由此能夠提高第二編碼方法的壓縮效率，因?yàn)榈头直媛始?jí)的輸出圖像的多個(gè)圖像部分具有小的信號(hào)能量并因此能夠高效率地編碼。
作為可選的方案，當(dāng)編碼特性的確定表明所使用的、已解碼的圖像的所有圖像塊被INTRA編碼時(shí)，根據(jù)使用的、已解碼的圖像確定開始圖像。由此能夠極大地提高第二編碼方法的壓縮效率，因?yàn)榈头直媛始?jí)的輸出圖像的所有圖像部分都具有特別小的信號(hào)能量并能夠非常有效地壓縮。
最好，取決于已確定的編碼特性建立圖像組的多個(gè)要編碼的、彼此相繼的原始圖像。由此實(shí)現(xiàn)可以建立圖像組的這些彼此相繼的原始圖像，使得能夠?yàn)榈头直媛始?jí)的輸出圖像建立一個(gè)差分圖像而分配那些已解碼的圖像，它們獲得非常小的要編碼的信號(hào)能量。
此外如果以每一分辨率級(jí)(R1，R2)產(chǎn)生至少一個(gè)中間圖像(Z1，Z2，Z3)，并壓縮該中間圖像和低分辨率級(jí)的輸出圖像，那么能夠減少該中間圖像和低分辨率級(jí)的輸出圖像的數(shù)據(jù)量。如果附加地，按照基于小波的變換進(jìn)行壓縮，則由此能夠特別有效地減少該中間圖像和低分辨率級(jí)的輸出圖像的數(shù)據(jù)量。
本發(fā)明還涉及一種解碼至少一個(gè)通過圖像編碼方法編碼的圖像的圖像解碼方法。由此實(shí)現(xiàn)能夠解碼無論第一編碼方法的已編碼圖像還是第二編碼方法的中間圖像和低分辨率級(jí)的輸出圖像，所述圖像按照用于圖像編碼的方法產(chǎn)生。
此外本發(fā)明涉及一種編碼裝置，具有用于對(duì)原始圖像序列進(jìn)行圖像編碼的單元。由此能夠在一種設(shè)備例如移動(dòng)電話中實(shí)施圖像編碼方法。
此外本發(fā)明還包括一種解碼裝置，具有用于實(shí)施圖像解碼方法的單元。由此能夠在一種設(shè)備例如為移動(dòng)電話實(shí)現(xiàn)的設(shè)備中實(shí)施圖像解碼方法。
本發(fā)明的另外的單元以及優(yōu)點(diǎn)根據(jù)圖1到圖5說明。在各圖中圖1大致示出編碼一個(gè)原始圖像序列，這些原始圖像采用按照一種運(yùn)動(dòng)補(bǔ)償?shù)?、預(yù)測編碼的第一編碼方法壓縮，且它們用按照一種運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼的第二編碼方法通過考慮第一編碼方法的已解碼的圖像被編碼，圖2詳細(xì)表示借助第二編碼方法準(zhǔn)備一個(gè)中間圖像和一個(gè)輸出圖像，它們?cè)诙鄠€(gè)處理步驟中在第一分辨率級(jí)內(nèi)從兩個(gè)輸入圖像產(chǎn)生，在此在建立時(shí)考慮第一編碼方法的一個(gè)已編碼的圖像，圖3大致示出在低分辨率級(jí)內(nèi)的處理步驟，在此使用兩個(gè)輸入圖像和兩個(gè)已編碼的圖像產(chǎn)生一個(gè)輸出圖像，圖4大致示出用于執(zhí)行本發(fā)明的方法的編碼裝置、解碼裝置和傳輸介質(zhì)，圖5大致示出使用第一和第二編碼方法壓縮一個(gè)原始圖像序列，其中通過第二編碼方法壓縮多個(gè)各具有不同數(shù)目的要編碼的原始圖像的圖像組。
具有同樣功能和作用方式的單元在圖1到圖5中附以相同的附圖標(biāo)記。
在圖1中可以看到根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例。在此采用第一編碼方法CV1和第二編碼方法CV2壓縮原始圖像O1、…、ON的序列。這些原始圖像O1、…、ON例如由照相機(jī)K產(chǎn)生，并以具有亮度分量Y和兩個(gè)Crominanz分量CR、CB的顏色格式在一個(gè)具有640×480個(gè)圖像點(diǎn)的圖像尺寸中提供。此外，原始圖像O1、…、ON可以在其編碼前可以接受例如噪聲抑制或者邊緣清晰處理。
首先，第一編碼方法CV1執(zhí)行原始圖像O1、…、ON的移動(dòng)補(bǔ)償?shù)摹㈩A(yù)測編碼。從[5]知道這種移動(dòng)補(bǔ)償?shù)?、預(yù)測編碼方法，例如ITU-T H.263標(biāo)準(zhǔn)。由此可以從原始圖像O1、…、ON使用INTRA編碼方式和/或INTER編碼方式產(chǎn)生已編碼的圖像B1、…、BM。INTRA編碼方式編碼各原始圖像O1、…、ON的單個(gè)的圖像塊而不考慮其他的原始圖像O1、…、ON。與此相反，在INTER編碼方式中考慮一個(gè)或者多個(gè)已經(jīng)被編碼的圖像B1、…、BM壓縮各原始圖像O1、…、ON的單個(gè)圖像塊。另外，在INTER編碼方式中在編碼前有利地執(zhí)行原始圖像O1、…、ON的各要被編碼的圖像塊的運(yùn)動(dòng)估計(jì)，然后僅在運(yùn)動(dòng)補(bǔ)償后編碼該圖像塊。運(yùn)動(dòng)估計(jì)或者運(yùn)動(dòng)補(bǔ)償?shù)姆椒◤腫5]得知。此外，已編碼圖像B1、…、BM的數(shù)目M可以與原始圖像O1、…、ON的不同，因?yàn)槔绮⒎撬械脑紙D像O1、…、ON都被編碼。
在下一步驟中從已編碼的圖像B1、…、BM借助第一編碼方法建立已解碼的圖像D1、…、DM的一個(gè)序列。此外，可以為每一已解碼的圖像D1、…、DM準(zhǔn)備一個(gè)自己的解碼列表，它說明各已解碼的圖像D1、…、DM的哪些圖像塊用INTRA編碼方式編碼和哪些用INTER編碼方式編碼。這些已解碼的圖像D1、…、DM在隨后的處理步驟中由第二編碼方法考慮。對(duì)于按照?qǐng)D1所示的實(shí)施例，給其所有圖像塊用INTRA編碼方式產(chǎn)生的那些已解碼的圖像D1、…、DM用“I”標(biāo)記，給其至少一個(gè)圖像塊借助INTER編碼方式編碼的那些用“P”標(biāo)記。
在下一步驟中借助第二編碼方法CV2編碼每一個(gè)圖像組GOP的所有彼此相繼的原始圖像O1、…、ON。在本實(shí)施例中看到3個(gè)不同的圖像組GOP1、GOP2、GOP3。在此，第二圖像組GOP2的要編碼的原始圖像的數(shù)目選擇為4。每一圖像組GOP的要編碼的原始圖像的數(shù)目可以改變，例如在各圖像組GOP1、GOP2、GOP3中先編碼2個(gè)原始圖像，然后是4個(gè)，再然后是8個(gè)。于是例如第二圖像組GOP2的第一個(gè)要編碼的原始圖像是第三原始圖像O3。每一圖像組GOP的各第一原始圖像下面稱為開始圖像BSP。
在本發(fā)明的范圍內(nèi)運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼是指以下一種編碼方法其中以多個(gè)分辨率級(jí)從各至少兩個(gè)輸入圖像每次至少產(chǎn)生一個(gè)輸出圖像。另外也可以建立中間圖像。每一中間圖像表示第一分頻帶的與此相關(guān)的輸入圖像的運(yùn)動(dòng)補(bǔ)償?shù)牟糠?。各輸出圖像包括第二分頻帶的與此相關(guān)的輸入圖像的運(yùn)動(dòng)補(bǔ)償?shù)牟糠帧５谝环诸l帶例如包括高頻部分，第二分頻帶包括低頻部分。在每一較低分辨率級(jí)內(nèi)較高分辨率級(jí)的至少兩個(gè)輸出圖像與輸入圖像相對(duì)。
在圖1中繪制的第二編碼方法CV2在第二圖像組GOP2中由兩個(gè)分辨率級(jí)R1、R2組成。在第一分辨率級(jí)R1內(nèi)從各兩個(gè)輸入圖像E1和E2、E3和E4和兩個(gè)與此相關(guān)的已解碼的圖像D4、D6分別產(chǎn)生一個(gè)中間圖像Z1、Z2和各一個(gè)輸出圖像A1、A2。兩個(gè)輸出圖像A1、A2作為下一分辨率級(jí)R2的輸入圖像E5、E6使用。以在在本實(shí)施例中是低分辨率級(jí)的第二分辨率級(jí)R2，從輸入圖像E5、E6連同已解碼的圖像D3、D5產(chǎn)生一個(gè)第三中間圖像Z3和一個(gè)第三輸出圖像A3。在該實(shí)施例中低分辨率級(jí)R2同時(shí)表示最低的分辨率級(jí)。最低的分辨率級(jí)指在圖像組GOP內(nèi)僅產(chǎn)生一個(gè)輸出圖像的分辨率級(jí)。借助圖2和圖3舉例詳細(xì)說明各分辨率級(jí)R1、R2的作用方式。
在圖2中可以看到兩個(gè)輸入圖像E1、E2，它們相應(yīng)于原始圖像O3或者O4。第二輸入圖像E2例如細(xì)分為多個(gè)圖像塊Q1、…、Q9。這些圖像塊Q1、…、Q9，它們例如相應(yīng)于從[5]中知道的宏塊，可以包括16×16圖像點(diǎn)。首先第二編碼方法CV2為第二輸入圖像E2的至少一個(gè)圖像塊Q1、…、Q9例如為圖像塊Q5在第一輸入圖像E1上執(zhí)行運(yùn)動(dòng)估計(jì)。為執(zhí)行運(yùn)動(dòng)估計(jì)的可能的策略從[5]中獲知。如果在第一輸入圖像E1內(nèi)找到一個(gè)匹配的圖像區(qū)域，則把該找到的圖像區(qū)域在運(yùn)動(dòng)補(bǔ)償MC后用第二輸入圖像E2的圖像塊Q5在時(shí)間上高通濾波，例如通過減去各圖像點(diǎn)。找到的運(yùn)動(dòng)矢量被匯集到一個(gè)第一運(yùn)動(dòng)矢量列表ML1中。
如果對(duì)于圖像塊Q1、…、Q9找不到任何好的運(yùn)動(dòng)估計(jì)，則可以為這些圖像塊Q1、…、Q9為在時(shí)間上低通濾波而從屬于第二輸入圖像E2的已解碼的圖像D4抽出一個(gè)相應(yīng)的圖像塊R1、…、R9。例如如果對(duì)于圖像塊Q6在第一輸入圖像E1內(nèi)找不到任何匹配的圖像區(qū)域，則第四已解碼的圖像D4的圖像塊R6用第二輸入圖像E2的圖像塊Q6濾波。
由此通過時(shí)間上高通濾波產(chǎn)生一個(gè)第一中間圖像Z1。通過在建立第一中間圖像Z1時(shí)另外使用第四已解碼的圖像D4做到，該第一中間圖像Z1具有較小的信號(hào)能量，從而通過一種隨后的壓縮方法，例如基于小波的變換，能夠獲得較高的壓縮率，或者在保持相同的壓縮率的情況下獲得較高的圖像質(zhì)量。
在下一步驟中以圖像塊方式產(chǎn)生第一輸出圖像A1。為此，借助第一輸入圖像E1產(chǎn)生的第一中間圖像Z1的各圖像塊，通過使用考慮第一運(yùn)動(dòng)矢量列表ML1的逆運(yùn)動(dòng)補(bǔ)償IMC(ML1)，用第一輸入圖像E1在時(shí)間上低通濾波。時(shí)間上的低通濾波可以通過把第一中間圖像Z1的逆運(yùn)動(dòng)補(bǔ)償后的圖像塊的各圖像點(diǎn)和第一輸入圖像E1的圖像塊相加執(zhí)行。第一輸出圖像A1包含輸入圖像E1、E2的“時(shí)間的”低通部分。第二輸出圖像A2以同樣的方式從輸入圖像E3和E4產(chǎn)生。在此產(chǎn)生一個(gè)第二運(yùn)動(dòng)矢量列表ML2。
在本實(shí)施例中根據(jù)具有3×3圖像塊的圖像說明了為執(zhí)行本發(fā)明的方法的優(yōu)選方式。一般，圖像塊的數(shù)目可以是任意的，例如4×4、8×9或者11×9。此外，已解碼的圖像和輸入圖像的圖像塊的數(shù)目也可以不同。
下面借助圖3詳細(xì)說明相應(yīng)于低分辨率級(jí)的第二分辨率級(jí)R2的單個(gè)的處理步驟。借助相應(yīng)于前一分辨率級(jí)R1的第一和第二輸出A1、A2的第五和第六輸入圖像E5、E6并通過使用屬于第六輸入圖像E6的已解碼的圖像D5在運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償MC(ML3)后產(chǎn)生第三中間圖像Z3。在此產(chǎn)生一個(gè)第三運(yùn)動(dòng)矢量列表ML3。此外，在逆運(yùn)動(dòng)補(bǔ)償IMC(ML3)后和考慮第三輸入圖像E3而建立臨時(shí)的第三輸出圖像A3V。第三中間圖像Z3包括時(shí)間上濾波的輸入圖像E5、E6的高頻部分。此外，臨時(shí)的第三輸出圖像A3V包括時(shí)間上濾波的輸入圖像E5、E6的低通部分。如果共同考慮分辨率級(jí)R1、R2，則臨時(shí)的第三輸出圖像A3V表示彼此相繼的原始圖像O3、O4、O5、O6的第二圖像組GOP2的“時(shí)間的”低通部分。在另一個(gè)處理步驟中，通過預(yù)測，例如圖像點(diǎn)方式的差分圖像，臨時(shí)的第三輸出圖像A3V和與此相關(guān)的第三已解碼的圖像D3，產(chǎn)生第三輸出圖像A3。
該第三輸出圖像A3和中間圖像Z1、Z2、Z3可以在向解碼裝置DV傳輸前被壓縮，例如借助小波變換。
按照?qǐng)D1的實(shí)施例，開始圖像BSP的分配為按照第二編碼方法CV2的圖像編碼這樣選擇，使其相應(yīng)于第三原始圖像O3。因?yàn)榈诙D像組GOP2的要編碼的原始圖像O3、…、O6的數(shù)目在本實(shí)施例中選擇為4，所以共同編碼原始圖像O3、O4、O5、O6。在它們被壓縮后，可以接著把以第七原始圖像O7開始的后4個(gè)原始圖像按照第二編碼方法CV2壓縮。這可以在直到要編碼的原始圖像O1、…、ON的序列的末端之前繼續(xù)進(jìn)行。然而第二編碼方法CV2也可以在一個(gè)圖像組GOP中匯集更多或者更少彼此相繼的原始圖像O1、…、ON編碼。
根據(jù)本發(fā)明的方法，在圖像編碼前通過按照一種運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼的第二編碼方法CV2，根據(jù)一個(gè)為產(chǎn)生該要編碼的圖像組GOP的低分辨率級(jí)R2的一個(gè)輸出圖像A3使用的、已解碼的圖像D3的一個(gè)已確定的編碼特性，確定一個(gè)要編碼的彼此相繼的原始圖像O1、…、ON的圖像組GOP的開始圖像BSP。因?yàn)榈头直媛始?jí)的輸出圖像，在本實(shí)施例中它是第二分辨率級(jí)R2的第三輸出圖像A3，的質(zhì)量依賴于與此相關(guān)的已解碼的圖像，例如第三已解碼的圖像D3，所以與此相關(guān)的已解碼的圖像的圖像質(zhì)量具有極大的意義。與此相關(guān)的已解碼的圖像的圖像質(zhì)量主要依賴于該已解碼的圖像在其由第一編碼方法CV1建立時(shí)所遵從的編碼特性。因此，通過依賴于對(duì)于低分辨率級(jí)的輸出圖像使用的、已解碼的圖像的編碼特性選擇圖像組GOP例如第二圖像組GOP2的開始圖像BSP，能夠極大地影響低分辨率級(jí)的輸出圖像的圖像質(zhì)量。在為圖像組GOP最優(yōu)選擇開始圖像BSP時(shí)，例如為第三輸出圖像A3產(chǎn)生一個(gè)具有較低信號(hào)能量的圖像，其可以被有效地壓縮。
編碼特性可以通過評(píng)估屬于各已解碼的圖像的解碼列表確定。此外，編碼特性也可以通過分析屬于要使用的、已解碼的圖像的已編碼的圖像獲得。于是例如可以通過分析第一已編碼圖像B1確定，在第一已解碼的圖像D1中哪些圖像塊MBI借助INTRA或者INTER編碼方式壓縮。
另外，當(dāng)編碼特性確定表明，所使用的、已解碼的圖像例如D3的至少一個(gè)圖像塊MBI被INTRA編碼時(shí)，根據(jù)所使用的、已解碼的圖像D3確定開始圖像BSP。圖像塊MBI例如指由16×16圖像點(diǎn)形成的圖像區(qū)域。因?yàn)镮NTRA編碼的圖像塊MBI例如比該圖像塊MBI被INTER編碼的情況下處于較小的量子化下，所以為所使用的、已解碼的圖像D3的圖像塊MPI產(chǎn)生比在INTER編碼時(shí)較高的圖像質(zhì)量。因此能夠?yàn)榈谌敵鰣D像A3獲得一個(gè)具有較小信號(hào)能量的差分圖像，其例如可以通過一個(gè)后接的小波壓縮被非常有效地壓縮。此外使用INTRA編碼的圖像塊MBI也是有利的，因?yàn)槔缭谝丫幋a的圖像B1、…、BM的序列內(nèi)出現(xiàn)的解碼錯(cuò)誤不通過被INTRA編碼的圖像塊MBI從一個(gè)先前編碼的圖像B1、…、BM中接收，從而圖像錯(cuò)誤也不在與此相關(guān)的已解碼的圖像D1、…、DM中出現(xiàn)。
此外，當(dāng)編碼特性確定表明，所使用的、已解碼的圖像D3的規(guī)定塊數(shù)AM的圖像塊MPI被INTRA編碼時(shí)，可以根據(jù)所使用的、已解碼的圖像D3確定開始圖像BSP。如果例如存在多個(gè)可能的開始圖像可用，則通過本發(fā)明方法的該變體為通過第二編碼方法CV2編碼圖像組GOP選擇這樣的開始圖像BSP，通過該開始圖像BSP可以找到與此相關(guān)的已解碼的圖像D1、…、DM的可預(yù)先給定的最小數(shù)目AM的被INTRA編碼的圖像塊MBI。這點(diǎn)在下面的例子中說明。應(yīng)該這樣選擇開始圖像BSP，使得對(duì)于第三輸出圖像A3使用的、已解碼的圖像包括至少20個(gè)圖像塊MBI，它們借助INTRA編碼方式被壓縮。作為開始圖像BSP可以選擇第三或者第四原始圖像O3、O4。屬于第三和第四原始圖像O3、O4的已解碼的圖像是第三和第四已解碼的圖像D3、D4。在第三已解碼的圖像D3中存在25個(gè)INTRA編碼的圖像塊MBI，在第四已解碼的圖像D4中存在19個(gè)INTRA編碼的圖像塊MBI。因此作為為編碼原始圖像O1、…、ON的序列的第二圖像組GOP2的開始圖像BSP選擇第三原始圖像O3。
在本發(fā)明的方法的另一個(gè)可能的變體中，當(dāng)編碼特性確定表明，所使用的、已解碼的圖像D3的所有圖像塊MBI被INTRA編碼時(shí)，根據(jù)使用的、已解碼的圖像D3確定開始圖像BSP。這是有利的，因?yàn)橛纱四軌驗(yàn)檎麄€(gè)第三輸出圖像A3找到一個(gè)帶有小信號(hào)能量的小的差分信號(hào)。在此開始點(diǎn)與一個(gè)用“I”標(biāo)記的已解碼的圖像D1、…、DM重合。
此外，可能需要，在確定開始圖像BSP時(shí)，不僅要考慮編碼特性K1，而且要考慮彼此相繼的原始圖像O1、…、ON的最大數(shù)目，在此例如不允許超過該最大數(shù)目。例如應(yīng)該根據(jù)編碼特性確定這樣選擇下一要編碼的圖像組例如GOP2的開始圖像BSP，使得一個(gè)當(dāng)前要編碼的圖像組例如GOP1應(yīng)該包括十個(gè)原始圖像。然而每一圖像組的最大數(shù)目被限制到6個(gè)原始圖像。因此例如把當(dāng)前要編碼的圖像組GOP1分成兩個(gè)子組，使得在各一個(gè)圖像組中先編碼6個(gè)然后是4個(gè)原始圖像。
在本發(fā)明的方法的一個(gè)變體中，可以依賴于已確定的編碼特性K1建立圖像組GOP的一些要編碼的彼此相繼的原始圖像O1、…、ON。這點(diǎn)借助圖5詳細(xì)說明，其中根據(jù)已確定的編碼特性K1作為開始圖像BSP總使用這樣的原始圖像O1、…、ON，其中與此相關(guān)的已解碼的圖像D1、…、DM的所有圖像塊MPI被INTRA編碼。這些已解碼的圖像D1、…、DM用“I”表征。首先作為為編碼原始圖像O1、…、ON的第一圖像組GOP1的開始圖像BSP使用第一原始圖像O1。在此產(chǎn)生輸出圖像A11和中間圖像Z11。按照第二編碼方法CV2的編碼已經(jīng)在第二原始圖像O2后被中斷。因?yàn)榕c第三原始圖像O3一起存在用“I”標(biāo)記的已解碼的圖像D3可用，因此編碼特性K1表明，這里應(yīng)該為第二圖像組GOP2設(shè)置一個(gè)新的開始圖像BSP。在第二圖像組GOP2后編碼第三圖像組GOP3，在此例如建立輸出圖像A21。因此第一圖像組GOP1包括兩個(gè)、第二圖像組GOP2包括4個(gè)原始圖像，它們通過第二編碼方法CV2編碼。
在該實(shí)施例中專門研究原始圖像O3、O4、O5和O6的編碼。第一和第二編碼方法CV1、CV2在此建立了多個(gè)已編碼的圖像信息。在此已編碼的圖像信息例如包括中間圖像Z1、…、Z3、第三輸出圖像A3、已編碼的圖像B3、B4、B5、B6、和運(yùn)動(dòng)矢量列表ML1、ML2、ML3。此外，還在編碼時(shí)產(chǎn)生另外的信息，例如在第一編碼方法中的運(yùn)動(dòng)矢量。為編碼原始圖像O1、…、ON的整個(gè)序列，按照第一和第二編碼方法CV1、CV2產(chǎn)生大量已編碼的圖像信息，它們以類似方式對(duì)本實(shí)施例產(chǎn)生。
圖4表示編碼裝置EV、解碼裝置DV和用于從編碼裝置EV到解碼裝置DV傳輸信息的傳輸介質(zhì)UEM。編碼裝置EV包括第一視頻編碼模塊VE1，借助它把原始圖像O1、…、ON的一個(gè)序列按照第一編碼方法CV1變換為已編碼的圖像B1、…、BM的一個(gè)序列，并從它產(chǎn)生已解碼的圖像D1、…、DM的一個(gè)序列。此外，編碼裝置EV包括第二視頻編碼模塊VE2，用于按照第二編碼方法CV2考慮已解碼的圖像D1、…、DM執(zhí)行原始圖像O1、…、ON的編碼，變換為中間圖像Z1、Z2、Z3、輸出圖像A1、A2、A3，和產(chǎn)生多個(gè)運(yùn)動(dòng)矢量列表ML1、ML2、ML3。此外編碼設(shè)備EV具有第一存儲(chǔ)裝置S1，它為處理組織存儲(chǔ)各種圖像，例如原始圖像O1、…、ON。另外編碼裝置EV包括發(fā)送單元SE，用于傳輸已編碼的圖像信息，例如已編碼的圖像B1、…、BM。發(fā)送單元SE、第一存儲(chǔ)裝置S1、第一視頻編碼模塊VE1和第二視頻編碼模塊VE2通過第一連接網(wǎng)絡(luò)VN1為交換數(shù)據(jù)和控制信息彼此連接。
解碼裝置DV具有第一視頻解碼模塊VD1，用于解碼已編碼的圖像B1、…、BM，其按照第一編碼方法CV1建立。此外解碼裝置DV具有第二視頻解碼模塊VD2，用于解碼通過第二編碼方法CV2建立的壓縮圖像，例如中間圖像Z1、Z2、Z3和/或第三輸出圖像A3。此外，還使用運(yùn)動(dòng)矢量列表ML1、…、ML3來重建原始圖像O3、O4、O5、O6。此外解碼裝置DV包括接收單元EE，用它接收已編碼的圖像信息例如已編碼的圖像B1、…、BM并在第二存儲(chǔ)裝置S2中為繼續(xù)處理存儲(chǔ)。最后解碼裝置DV還包括第二存儲(chǔ)模塊S2，其內(nèi)存儲(chǔ)各種信息和數(shù)據(jù)，例如運(yùn)動(dòng)矢量列表ML1、…、ML3。接收單元EE、第二存儲(chǔ)裝置S2、第一視頻解碼模塊VD1和第二視頻解碼模塊VD2通過第二連接網(wǎng)絡(luò)VN2用于交換數(shù)據(jù)和控制信息彼此連接。
傳輸介質(zhì)UEM用于從編碼裝置EV向解碼裝置DV傳輸已編碼的圖像信息。
編碼裝置EV和/或解碼裝置DV可以安裝在按照GSM標(biāo)準(zhǔn)(GSM-GlobalSystem for Mobile Communications)或者UMTS標(biāo)準(zhǔn)(UMTS-Universal MobileTelecommunications Systems)的移動(dòng)無線電設(shè)備內(nèi)以及可集成到便攜設(shè)備中的計(jì)算機(jī)單元內(nèi)。為在編碼裝置EV和解碼裝置DV之間傳輸已編碼的圖像信息例如可以使用無線的無線電網(wǎng)絡(luò)例如按照GSM標(biāo)準(zhǔn)，也可以使用有線連接的傳輸介質(zhì)例如基于IP的網(wǎng)絡(luò)(IP-Internet Protokoll)或者ISDN(ISDN-IntegratedService Digital Network)。
除了能夠從編碼裝置EV向解碼裝置DV發(fā)送已編碼的圖像信息之外，實(shí)際上可以適宜地把已編碼的圖像信息存儲(chǔ)在一種存儲(chǔ)介質(zhì)例如CD(CD-Compact Disk)或者視頻服務(wù)器內(nèi)以便以后使用。
此外本發(fā)明還包括一種圖像解碼方法，其中用于圖像編碼原始圖像O1、…、ON的序列的方法可解碼。例如首先通過第一視頻解碼模塊VD1解碼已編碼的圖像B1、…、BM的序列為一個(gè)已解碼的圖像D1、…、DM的序列。接著第二視頻解碼模塊VD2使用中間圖像Z1、Z2、Z3和第三輸出圖像A3以及借助運(yùn)動(dòng)矢量列表ML1、…、ML3和已解碼的圖像D1、…、DM產(chǎn)生原始圖像O1、…、ON的序列的一個(gè)重建的圖像R1、…、RM的序列。
在一個(gè)可能的變體中，把通過第二視頻解碼模塊VD2產(chǎn)生的重建的圖像R1、…、RN在一個(gè)輸出介質(zhì)DD上進(jìn)行重放，例如監(jiān)視器。另外可選或者附帶地也可以把通過第一視頻解碼模塊VD1產(chǎn)生的已解碼的圖像D1、…、DM在監(jiān)視器上進(jìn)行重放。例如已解碼的圖像D1、…、DM僅包括降低的圖像質(zhì)量，與此相反，重建的圖像R1、…、RM表示高質(zhì)量的圖像質(zhì)量。因此例如可以由用戶選擇應(yīng)當(dāng)在輸出介質(zhì)上重放較低圖像質(zhì)量的還是較高圖像質(zhì)量的圖像序列。
文獻(xiàn)目錄[1]K.Hanke，RWTH-Aachen，http:/www.ient.rwth-aachen.de/forschung/pdf/3D-videocodierung.pdf[2]Videocodierstandard ITU-T H.263，″Videocoding for LowBitrate Communication″，02/1998[3]Videocodierstandard ITU-T H.264，″Advanced Video Codingfor Generic Audio Visual Services″，05/2003[4]H.Schwarz，D.Marpe und T.Wigand，F(xiàn)raunhofer Institutfür Telekommunikation，Heinrich Herz Institut，″Sca-lable Extension of H.264/AVC″，ISO/IEC JTC1/SC29/WG11，MPEG04/M10569/S03，Mrz 2004.
S.Jun，S.Huifang，″Image and Video Compression forMultimedia Engineering″，CRC-Press，2000
權(quán)利要求
1.對(duì)原始圖像(O1，…，ON)的序列進(jìn)行圖像編碼的方法，該方法包括下述步驟a)借助按照運(yùn)動(dòng)補(bǔ)償?shù)摹㈩A(yù)測編碼的第一編碼方法(CV1)，從原始圖像(O1，…，ON)的序列中產(chǎn)生已解碼圖像(D1，…，DM)的一個(gè)序列；b)在圖像編碼前，通過按照運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼的第二編碼方法(CV2)根據(jù)為產(chǎn)生該有待編碼的圖像組(GOP)的一個(gè)低分辨率級(jí)(R2)的一個(gè)輸出圖像(A3)而使用的、被解碼的圖像(D3)的已確定的一個(gè)編碼特性(K1)來確定要編碼的彼此相繼的原始圖像(O3，…，O6)的圖像組(GOP)的開始圖像(BSP)，其中，在圖像編碼時(shí)，從該要編碼的圖像組(GOP)的彼此相繼的原始圖像(O3，…，O6)中和從每一分辨率級(jí)(R1，R2)的至少一個(gè)已解碼的圖像(D3，…，D6)中產(chǎn)生至少一個(gè)輸出圖像(A1，A2，A3)。
2.根據(jù)權(quán)利要求
1的方法，其特征在于，當(dāng)編碼特性的確定表明所使用的、已解碼的圖像(D3)的至少一個(gè)圖像塊(MBI)被INTRA編碼時(shí)，根據(jù)所使用的、已解碼的圖像(D3)來確定開始圖像(PSB)。
3.根據(jù)上述權(quán)利要求
之一的方法，其特征在于，當(dāng)編碼特性的確定表明所使用的、已解碼的圖像(D3)的規(guī)定塊數(shù)(AM)的圖像塊(MBI)被INTRA編碼時(shí)，根據(jù)所使用的、已解碼的圖像(D3)來確定開始圖像(BSP)。
4.根據(jù)上述權(quán)利要求
之一的方法，其特征在于，當(dāng)編碼特性的確定表明所使用的、已解碼的圖像(D3)的所有圖像塊(MBI)被INTRA編碼時(shí)，根據(jù)所使用的、已解碼的圖像(D3)來確定開始圖像(BSP)。
5.根據(jù)上述權(quán)利要求
之一的方法，其特征在于，取決于已確定的編碼特性(K1)建立圖像組(GOP)的多個(gè)要編碼的、彼此相繼的原始圖像(O1，…，ON)。
6.根據(jù)上述權(quán)利要求
之一的方法，其特征在于，以每一分辨率級(jí)(R1，R2)產(chǎn)生至少一個(gè)中間圖像(Z1，Z2，Z3)，壓縮中間圖像(Z1，Z2，Z3)和低分辨率級(jí)(R2)的輸出圖像(A3)。
7.根據(jù)權(quán)利要求
6的方法，其特征在于，按照基于小波的變換進(jìn)行壓縮。
8.圖像解碼方法，其特征在于，具有用于解碼至少一個(gè)按照根據(jù)上述權(quán)利要求
之一的方法編碼的圖像的步驟，特別是一個(gè)中間圖像(Z1，Z2，Z3)和/或低分辨率級(jí)(R2)的輸出圖像(A3)。
9.編碼裝置(EV)，用于編碼原始圖像(O1，…，ON)的一個(gè)序列，具有用于執(zhí)行根據(jù)權(quán)利要求
1到7之一的方法的單元。
10.解碼裝置(DV)，具有用于執(zhí)行根據(jù)權(quán)利要求
8的圖像解碼方法的單元。
專利摘要
在對(duì)原始圖像序列進(jìn)行圖像編碼的方法中，借助按照運(yùn)動(dòng)補(bǔ)償?shù)?、預(yù)測編碼的第一編碼方法從原始圖像序列中產(chǎn)生一個(gè)已解碼的圖像序列，在圖像編碼前通過按照運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼的第二編碼方法，根據(jù)一個(gè)為產(chǎn)生該要編碼的圖像組的一個(gè)低分辨率級(jí)的一個(gè)輸出圖像所使用的、被解碼的圖像的已確定的分辨率，確定要編碼的彼此相繼的原始圖像的圖像組的開始圖像，其中，在圖像編碼時(shí)從要編碼的圖像組的彼此相繼的原始圖像和從在每一分辨率級(jí)內(nèi)的至少一個(gè)已解碼的圖像產(chǎn)生至少一個(gè)輸出圖像。在用于圖像編碼原始圖像序列的方法中，從原始圖像序列借助按照運(yùn)動(dòng)補(bǔ)償?shù)?、預(yù)測編碼的第一編碼方法產(chǎn)生一個(gè)已解碼的圖像的序列，在圖像編碼前通過按照一種運(yùn)動(dòng)補(bǔ)償?shù)?、時(shí)間上濾波的分頻帶編碼的第二編碼方法，根據(jù)一個(gè)為產(chǎn)生該要編碼的圖像組的一個(gè)低分辨率級(jí)的一個(gè)輸出圖像使用的、被解碼的圖像的一個(gè)已確定的分辨率，確定要編碼的彼此相繼的原始圖像的圖像組的開始圖像，其中，在編碼時(shí)從要編碼的圖像組的彼此相繼的原始圖像和在每一分辨率級(jí)內(nèi)的至少一個(gè)已解碼的圖像產(chǎn)生至少一個(gè)輸出圖像。此外，本發(fā)明包括一種圖像解碼方法，用它可解碼通過用于圖像編碼的方法獲得的已編碼的圖像信息。最后本發(fā)明還包括解碼裝置和解碼裝置，用于執(zhí)行圖像編碼或者圖像解碼的方法。例如已解碼的圖像僅包括降低的圖像質(zhì)量，與此相反，重建的圖像表示高質(zhì)量的圖像質(zhì)量。
文檔編號(hào)H04N7/50GK1993991SQ200580021878
公開日2007年7月4日 申請(qǐng)日期2005年6月13日
發(fā)明者P·阿蒙, G·巴塞, A·胡特, J·龐德爾, B·蒂默曼 申請(qǐng)人:西門子公司導(dǎo)出引文BiBTeX, EndNote, RefMan