一種基于字典庫(kù)的視頻編解碼方法及裝置制造方法
【專(zhuān)利摘要】一種基于字典庫(kù)的視頻編解碼方法及裝置，該編碼方法包括：將視頻流中待編碼的當(dāng)前圖像幀劃分為若干圖像塊；采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息，以得到恢復(fù)編碼失真信息后的圖像，并將恢復(fù)編碼失真信息后的圖像作為參考圖像進(jìn)行時(shí)域預(yù)測(cè)，得到待編碼塊的預(yù)測(cè)塊；紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字典對(duì)應(yīng)的失真圖像字典；將待編碼塊與預(yù)測(cè)塊相減得到殘差塊，對(duì)殘差塊進(jìn)行處理得到視頻碼流。本申請(qǐng)?zhí)峁┑木幗獯a方法及裝置采用紋理字典庫(kù)的方式恢復(fù)作為對(duì)待編碼塊(待解碼塊)進(jìn)行預(yù)測(cè)的參考圖像的編碼失真信息，使得待編碼塊(待解碼塊)的預(yù)測(cè)塊更加準(zhǔn)確，從而提高編解碼效率。
【專(zhuān)利說(shuō)明】一種基于字典庫(kù)的視頻編解碼方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及視頻編解碼領(lǐng)域，具體涉及一種基于字典庫(kù)的視頻編解碼方法及裝 置。

【背景技術(shù)】
[0002] 目前，主流的視頻編碼標(biāo)準(zhǔn)如JPEG、MPEG-2、AVS、H. 264、HEVC等都采用了混合編 碼框架，通過(guò)不斷挖掘圖像與視頻的時(shí)空域相關(guān)性，提高視頻的壓縮效率。
[0003] 傳統(tǒng)的編碼方法利用的仍然是待編碼圖像與視頻自身的信息冗余，隨著編碼技術(shù) 的不斷進(jìn)步，待編碼圖像與視頻自身的時(shí)空域相關(guān)性被充分利用，冗余度不斷降低，但同 時(shí)，壓縮效率進(jìn)一步提升的空間越來(lái)越小。借助待編碼圖像與視頻之外的信息，對(duì)待編碼圖 像和視頻信息進(jìn)行預(yù)測(cè)，從而降低待編碼圖像與視頻本身的信息量，是大幅度提高圖像與 視頻壓縮效率的新方向。
[0004] 提高預(yù)測(cè)效率是提高視頻編碼效率的關(guān)鍵，為了使編碼端和解碼端的預(yù)測(cè)值保持 一致，編解碼器普遍采用待編碼的當(dāng)前圖像幀前一幀的解碼重建圖像作為參考圖像進(jìn)行時(shí) 域預(yù)測(cè)，得到待編碼塊的預(yù)測(cè)塊。由于在有損編碼中，解碼重建圖像普遍存在量化噪聲，損 失了高頻信息，預(yù)測(cè)效率會(huì)受到損失。
[0005] 在視頻編碼中，視頻流被劃分若干圖像幀，對(duì)待編碼的當(dāng)前圖像幀分成若干圖像 塊，對(duì)于每個(gè)圖像塊，采用時(shí)域或空域預(yù)測(cè)的方式，得到該圖像塊的預(yù)測(cè)塊；用待編碼塊減 去相應(yīng)的預(yù)測(cè)塊得到殘差塊；對(duì)殘差塊進(jìn)行變換、量化和熵編碼等操作得到壓縮后的碼流。 為了使編碼端和解碼端對(duì)應(yīng)圖像塊的預(yù)測(cè)塊保持一致，編碼端需要基于前一圖像幀的解碼 重建圖像（參考圖像）得到待編碼塊的預(yù)測(cè)塊，因此在編碼端需要對(duì)前一圖像幀進(jìn)行解碼 重建，以得到參考圖像，為了提升解碼重建圖像的質(zhì)量，一般采用環(huán)內(nèi)濾波抑制解碼重建圖 像部分噪聲（如塊效應(yīng)等）。


【發(fā)明內(nèi)容】

[0006] 本申請(qǐng)?zhí)峁┝艘环N基于字典庫(kù)的視頻編解碼方法及裝置，采用紋理字典庫(kù)的方式 恢復(fù)作為對(duì)待編碼塊（待解碼塊）進(jìn)行預(yù)測(cè)的參考圖像的編碼失真信息，使得待編碼塊 (待解碼塊）的預(yù)測(cè)塊更加準(zhǔn)確，從而提高編解碼效率。
[0007] 本申請(qǐng)?zhí)峁┝艘换谧值鋷?kù)的視頻編碼方法，包括：
[0008] 將視頻流中待編碼的當(dāng)前圖像幀劃分為若干圖像塊。
[0009] 采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息， 以得到恢復(fù)編碼失真信息后的圖像，并將恢復(fù)編碼失真信息后的圖像作為參考圖像進(jìn)行時(shí) 域預(yù)測(cè)，得到待編碼塊的預(yù)測(cè)塊；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字 典對(duì)應(yīng)的失真圖像字典。
[0010] 將待編碼塊與預(yù)測(cè)塊相減得到殘差塊，對(duì)所述殘差塊進(jìn)行處理得到視頻碼流。 [0011] 本申請(qǐng)還提供了一種基于字典庫(kù)的視頻解碼方法，包括：
[0012] 將獲取的視頻碼流進(jìn)行處理得到待解碼的當(dāng)前圖像幀中待解碼塊的殘差塊。
[0013] 采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息， 以得到恢復(fù)編碼失真信息后的圖像，并將恢復(fù)編碼失真信息后的圖像作為參考圖像進(jìn)行時(shí) 域預(yù)測(cè)，得到待解碼塊的預(yù)測(cè)塊；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字 典對(duì)應(yīng)的失真圖像字典。
[0014] 將預(yù)測(cè)塊與殘差塊相加得到待解碼塊的解碼重建塊。
[0015] 本申請(qǐng)還提供了一種基于字典庫(kù)的視頻編碼裝置，其特征在于，包括：
[0016] 圖像塊劃分單元，用于將視頻流中待編碼的當(dāng)前圖像幀劃分為若干圖像塊。
[0017] 圖像增強(qiáng)單元，用于采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖 像的編碼失真息，以得到恢復(fù)編碼失真息后的圖像，并將恢復(fù)編碼失真息后的圖像 作為參考圖像；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字典對(duì)應(yīng)的失真圖像 字典。
[0018] 預(yù)測(cè)單元，用于根據(jù)所述參考圖像進(jìn)行時(shí)域預(yù)測(cè)，得到待編碼塊的預(yù)測(cè)塊。
[0019] 殘差塊獲取單元，用于將待編碼塊與預(yù)測(cè)塊相減得到殘差塊。
[0020] 處理單元，用于對(duì)所述殘差塊進(jìn)行處理，以得到視頻碼流。
[0021] 本申請(qǐng)還提供了一種基于字典庫(kù)的視頻解碼裝置，包括：
[0022] 處理單元，用于將獲取的視頻碼流進(jìn)行處理得到待解碼的當(dāng)前圖像幀中待解碼塊 的殘差塊。
[0023] 圖像增強(qiáng)單元，用于采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖 像的編碼失真息，以得到恢復(fù)編碼失真息后的圖像，并將恢復(fù)編碼失真息后的圖像 將作為參考圖像；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字典對(duì)應(yīng)的失真圖 像字典。
[0024] 預(yù)測(cè)單元，用于根據(jù)所述參考圖像進(jìn)行時(shí)域預(yù)測(cè)，得到待解碼塊的預(yù)測(cè)塊。
[0025] 輸出單元，用于將所述預(yù)測(cè)塊與殘差塊相加得到待解碼塊的解碼重建塊。
[0026] 本申請(qǐng)?zhí)峁┑囊环N基于字典庫(kù)的視頻編碼方法和裝置中，采用紋理字典庫(kù)的方式 恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息，并將恢復(fù)編碼失真信息后的圖像 作為參考圖像進(jìn)行時(shí)域預(yù)測(cè)，得到待編碼塊的預(yù)測(cè)塊，該方法和裝置可以恢復(fù)參考圖像的 編碼失真息，使得待編碼塊的預(yù)測(cè)塊更加準(zhǔn)確，從而提1?編碼效率。
[0027] 本申請(qǐng)?zhí)峁┑囊环N基于字典庫(kù)的視頻解碼方法和裝置中，采用紋理字典庫(kù)的方式 恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息，并將恢復(fù)編碼失真信息后的圖像 作為參考圖像進(jìn)行時(shí)域預(yù)測(cè)，得到待解碼塊的預(yù)測(cè)塊，該方法和裝置可以恢復(fù)參考圖像的 編碼失真信息，使得待解碼塊的預(yù)測(cè)塊更加準(zhǔn)確，從而提高解碼效率。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0028] 圖1為本申請(qǐng)一種實(shí)施例中基于字典庫(kù)的視頻編碼方法流程圖；
[0029] 圖2為本申請(qǐng)一種實(shí)施例中基于字典庫(kù)的視頻編碼方法的編碼框架圖；
[0030] 圖3a-3d為本申請(qǐng)一種實(shí)施例中圖像塊局部紋理結(jié)構(gòu)的特征提取示意圖；
[0031] 圖4為本申請(qǐng)一種實(shí)施例中基于字典庫(kù)的視頻編碼裝置的結(jié)構(gòu)圖。
[0032] 圖5為本申請(qǐng)一種實(shí)施例中基于字典庫(kù)的視頻解碼方法流程圖；
[0033] 圖6為本申請(qǐng)一種實(shí)施例中基于字典庫(kù)的視頻解碼方法的解碼框架圖；
[0034] 圖7為本申請(qǐng)一種實(shí)施例中基于字典庫(kù)的視頻解碼裝置的結(jié)構(gòu)圖。

【具體實(shí)施方式】
[0035] 下面通過(guò)【具體實(shí)施方式】結(jié)合附圖對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)說(shuō)明。
[0036] 實(shí)施例一
[0037] 請(qǐng)參考圖1和圖2,圖1為本實(shí)施例中基于字典庫(kù)的視頻編碼方法流程圖，圖2為 本實(shí)施例中基于字典庫(kù)的視頻編碼方法的編碼框架圖。本實(shí)施例提供的基于字典庫(kù)的視頻 編碼方法，包括 ：
[0038] 步驟101 :將視頻流中待編碼的當(dāng)前圖像幀劃分為若干圖像塊。
[0039] 步驟102 :采用紋理字典庫(kù)的方式恢復(fù)待編碼當(dāng)前圖像幀前一幀的解碼重建圖像 的編碼失真息，以得到恢復(fù)編碼失真息后的圖像，并將恢復(fù)編碼失真息后的圖像作 為參考圖像。編碼失真息包括商頻息。
[0040] 在具體實(shí)施例中，紋理字典可以為預(yù)先訓(xùn)練得到，紋理字典的訓(xùn)練包括以下步驟： 選取清晰圖像中的局部塊；選擇清晰圖像的量化失真圖像上對(duì)應(yīng)的局部塊；提取清晰圖像 中的局部塊與量化失真圖像上對(duì)應(yīng)的局部塊的特征對(duì)，以構(gòu)成清晰圖像字典D h和失真圖像 字典A。
[0041] 局部塊的特征對(duì)中，局部塊的特征包括局部紋理結(jié)構(gòu)、局部灰度差異、梯度值、以 及相鄰鄰居塊的紋理結(jié)構(gòu)信息等。通過(guò)綜合上述特征可以描述局部塊的邊緣及紋理等特 征。
[0042] 下面以局部紋理結(jié)構(gòu)特征為例對(duì)本實(shí)施例進(jìn)行說(shuō)明。
[0043] 如圖3&、313、3(：、3(1所示4、8、(：、0是局部相鄰的四個(gè)像素點(diǎn)，它們的高度反應(yīng)了它 們的灰度值大小。圖3a表示一塊平坦局部區(qū)域，圖3b反應(yīng)了有兩個(gè)點(diǎn)（A、B)的灰度值較 高。為了區(qū)分這種局部結(jié)構(gòu)的不同，本實(shí)施例定義LBS-G e〇metry(LBS_G)，且：
[0044]

【權(quán)利要求】
1. 一種基于字典庫(kù)的視頻編碼方法，其特征在于，包括： 將視頻流中待編碼的當(dāng)前圖像幀劃分為若干圖像塊； 采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息，以得 到恢復(fù)編碼失真信息后的圖像，并將恢復(fù)編碼失真信息后的圖像作為參考圖像進(jìn)行時(shí)域預(yù) 測(cè)，得到待編碼塊的預(yù)測(cè)塊；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字典對(duì) 應(yīng)的失真圖像字典； 將待編碼塊與預(yù)測(cè)塊相減得到殘差塊，對(duì)所述殘差塊進(jìn)行處理得到視頻碼流。
2. 如權(quán)利要求1所述的方法，其特征在于，采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前 一幀的解碼重建圖像的編碼失真信息，以得到恢復(fù)編碼失真信息后的圖像，具體為： 基于圖像塊局部特征對(duì)所述解碼重建圖像進(jìn)行紋理字典匹配，以得到恢復(fù)編碼失真信 息后的圖像；所述圖像塊局部特征包括局部灰度差異、梯度值、局部紋理結(jié)構(gòu)和相鄰鄰居塊 的紋理結(jié)構(gòu)信息。
3. 如權(quán)利要求2所述的方法，其特征在于，基于圖像塊局部特征對(duì)所述解碼重建圖像 進(jìn)行紋理字典匹配，以得到恢復(fù)編碼失真信息后的圖像，具體為： 采用下面的重建公式得到清晰局部塊，進(jìn)而得到恢復(fù)編碼失真信息后的圖像， X ^ Dh (y) α 其中，x為未知的清晰局部塊，y是清晰局部塊x對(duì)應(yīng)的量化失真局部塊，Dh(y)是訓(xùn)練 的清晰局部塊字典，α是表達(dá)系數(shù)。
4. 如權(quán)利要求3所述的方法，其特征在于，所述表達(dá)系數(shù)α滿足下面約束條件：
其中，ε為趨于0的極小值，F(xiàn)是圖像局部塊特征提取操作為訓(xùn)練的失真圖像字典。
5. 如權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述紋理字典庫(kù)的訓(xùn)練包括以下 步驟： 選取清晰圖像中的局部塊； 選擇所述清晰圖像的量化失真圖像上對(duì)應(yīng)的局部塊； 提取清晰圖像中的局部塊與量化失真圖像上對(duì)應(yīng)的局部塊的特征對(duì)，以訓(xùn)練清晰圖像 字典和失真圖像字典。
6. 如權(quán)利要求5所述的方法，其特征在于，所述紋理字典庫(kù)的訓(xùn)練采用K均值聚類(lèi)的方 式，以得到欠完備字典；或者所述紋理字典庫(kù)的訓(xùn)練采用稀疏編碼的方式，以得到過(guò)完備字 典。
7. 如權(quán)利要求6所述的方法，其特征在于，使用稀疏編碼的方式訓(xùn)練字典時(shí)，采用下面 的優(yōu)化公式：
其中，D為訓(xùn)練得到的字典，X為清晰圖像，λ為預(yù)設(shè)系數(shù)，L1范數(shù)項(xiàng)為稀疏性約束，L2 范數(shù)項(xiàng)為字典重構(gòu)局部塊與訓(xùn)練樣本局部塊的相似性約束；在訓(xùn)練字典時(shí)，先固定D，使用 線性規(guī)劃求解Ζ，再固定Ζ，用二次規(guī)劃方法求解最優(yōu)D并更新D，反復(fù)迭代上述過(guò)程直到滿 足終止條件的字典D訓(xùn)練完畢。
8. -種基于字典庫(kù)的視頻解碼方法，其特征在于，包括： 將獲取的視頻碼流進(jìn)行處理得到待解碼的當(dāng)前圖像幀中待解碼塊的殘差塊； 采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息，以得 到恢復(fù)編碼失真信息后的圖像，并將恢復(fù)編碼失真信息后的圖像作為參考圖像進(jìn)行時(shí)域預(yù) 測(cè)，得到待解碼塊的預(yù)測(cè)塊；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字典對(duì) 應(yīng)的失真圖像字典； 將預(yù)測(cè)塊與殘差塊相加得到待解碼塊的解碼重建塊。
9. 一種基于字典庫(kù)的視頻編碼裝置，其特征在于，包括： 圖像塊劃分單元，用于將視頻流中待編碼的當(dāng)前圖像幀劃分為若干圖像塊； 圖像增強(qiáng)單元，用于采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的 編碼失真息，以得到恢復(fù)編碼失真息后的圖像，并將恢復(fù)編碼失真息后的圖像作為 參考圖像；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字典對(duì)應(yīng)的失真圖像字 血. 預(yù)測(cè)單元，用于根據(jù)所述參考圖像進(jìn)行時(shí)域預(yù)測(cè)，得到待編碼塊的預(yù)測(cè)塊； 殘差塊獲取單元，用于將待編碼塊與預(yù)測(cè)塊相減得到殘差塊； 處理單元，用于對(duì)所述殘差塊進(jìn)行處理，以得到視頻碼流。
10. 如權(quán)利要求9所述的裝置，其特征在于，所述圖像增強(qiáng)單元采用紋理字典庫(kù)的方式 恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的編碼失真信息，以得到恢復(fù)編碼失真信息后的圖 像時(shí)： 圖像增強(qiáng)單元基于圖像塊局部特征對(duì)所述解碼重建圖像進(jìn)行紋理字典匹配，以得到恢 復(fù)編碼失真信息后的圖像；所述圖像塊局部特征包括局部灰度差異、梯度值、局部紋理結(jié)構(gòu) 和相鄰鄰居塊的紋理結(jié)構(gòu)信息。
11. 如權(quán)利要求10所述的裝置，其特征在于，所述圖像增強(qiáng)單元基于圖像塊局部特征 對(duì)所述解碼重建圖像進(jìn)行紋理字典匹配時(shí)： 采用下面的重建公式得到清晰局部塊，進(jìn)而得到恢復(fù)編碼失真信息后的圖像， X ^ Dh (y) α 其中，X為未知的清晰局部塊，y是清晰局部塊X對(duì)應(yīng)的量化失真局部塊，Dh(y)是訓(xùn)練 的清晰局部塊字典，α是表達(dá)系數(shù)。
12. 如權(quán)利要求11所述的裝置，其特征在于，所述表達(dá)系數(shù)α滿足下面約束條件：
其中，ε為趨于0的極小值，F(xiàn)是圖像局部塊特征提取操作，h為失真圖像字典。
13. 如權(quán)利要求9-12任一項(xiàng)所述的裝置，其特征在于，還包括紋理字典訓(xùn)練單元，用于 選取清晰圖像中的局部塊和所述清晰圖像的量化失真圖像上對(duì)應(yīng)的局部塊，并提取清晰圖 像中的局部塊與量化失真圖像上對(duì)應(yīng)的局部塊的特征對(duì)，以訓(xùn)練清晰圖像字典和失真圖像 字典。
14. 如權(quán)利要求13所述的裝置，其特征在于，所述紋理字典訓(xùn)練單元在訓(xùn)練紋理字典 時(shí)采用K均值聚類(lèi)的方式，以得到欠完備字典；或者所述紋理字典訓(xùn)練單元在訓(xùn)練紋理字 典時(shí)采用稀疏編碼的方式，以得到過(guò)完備字典。
15. 如權(quán)利要求14所述的裝置，其特征在于，所述紋理字典訓(xùn)練單元采用稀疏編碼的 方式訓(xùn)練紋理字典時(shí)，采用下面的優(yōu)化公式：
其中，D為訓(xùn)練得到的字典，X為清晰圖像，λ為預(yù)設(shè)系數(shù)，L1范數(shù)項(xiàng)為稀疏性約束，L2 范數(shù)項(xiàng)為字典重構(gòu)局部塊與訓(xùn)練樣本局部塊的相似性約束；在訓(xùn)練字典時(shí)，先固定D，使用 線性規(guī)劃求解Ζ，再固定Ζ，用二次規(guī)劃方法求解最優(yōu)D并更新D，反復(fù)迭代上述過(guò)程直到滿 足終止條件的字典D訓(xùn)練完畢。
16. -種基于字典庫(kù)的視頻解碼裝置，其特征在于，包括： 處理單元，用于將獲取的視頻碼流進(jìn)行處理得到待解碼的當(dāng)前圖像幀中待解碼塊的殘 差塊； 圖像增強(qiáng)單元，用于采用紋理字典庫(kù)的方式恢復(fù)當(dāng)前圖像幀前一幀的解碼重建圖像的 編碼失真息，以得到恢復(fù)編碼失真息后的圖像，并將恢復(fù)編碼失真息后的圖像將作 為參考圖像；所述紋理字典庫(kù)包括清晰圖像字典和與所述清晰圖像字典對(duì)應(yīng)的失真圖像字 血. 預(yù)測(cè)單元，用于根據(jù)所述參考圖像進(jìn)行時(shí)域預(yù)測(cè)，得到待解碼塊的預(yù)測(cè)塊； 輸出單元，用于將所述預(yù)測(cè)塊與殘差塊相加得到待解碼塊的解碼重建塊。
【文檔編號(hào)】H04N19/503GK104053012SQ201410231054
【公開(kāi)日】2014年9月17日 申請(qǐng)日期:2014年5月28日 優(yōu)先權(quán)日:2014年5月28日
【發(fā)明者】王榮剛, 趙洋, 王振宇, 高文, 王文敏, 董勝富, 黃鐵軍, 馬思偉 申請(qǐng)人:北京大學(xué)深圳研究生院