專利名稱：一種圖像填充方法、裝置及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻技術(shù)領(lǐng)域，特別是涉及一種圖像填充的方法、裝置及設(shè)備。
#景駄
現(xiàn)有的視頻編碼標準大都是基于圖像大小為Mx(NxN)設(shè)計的，其中NxN是 宏塊的大小(M、 N均為整數(shù)值)。目前，最新的視頻編碼標準H. 264視頻編 碼標準/高級視頻編碼標準(H.264/AVC)以NxN (N的值為16)的宏塊作為其 基本語法語義單元。
圖像填充技術(shù)是為了實現(xiàn)任意分辨率視頻編碼，所謂任意分辨率視頻編 碼，就是指輸入視頻序列中的矩形圖像的寬度和高度可以為任意值，即圖像 大小可以不是上述宏塊的整數(shù)倍。因為當圖像大小不是宏塊的整數(shù)倍時，圖 像編碼器就需要在圖像的外側(cè)(通常在右側(cè)和底側(cè))填充一定數(shù)量的象素點， 使得填充后的圖像大小是宏塊的整數(shù)倍，這樣，使用H.264/AVC或其它編碼 標準的編碼器就可以對填充后的圖像進行編碼和組織碼流。
現(xiàn)有技術(shù)中的圖像填充方法基本包括以下兩種
一. 直接復制填充法直接使用原始圖像右側(cè)的最后一列及底側(cè)的最后一 行像素點作為填充像素點的值，然后往右側(cè)和底側(cè)分別復制填充。
二. 鏡像復制填充法將原始圖像右側(cè)和底側(cè)的像素點對稱地復制到填充區(qū)域。
發(fā)明人在實現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，現(xiàn)有技術(shù)存在著以下缺陷
1.由于直接復制填充法或者鏡像復制填充法僅考慮了圖像垂直方向上的紋理信息的連續(xù)性，因此無論采用幀間預測還是幀內(nèi)預測編碼，填充區(qū)域都 不可避免地有非零的預測差值存在，而非零的預測差值將會占用較多的編碼 比特數(shù)。
2.當攝像機位置的一系列變化時，如平動、繞物體轉(zhuǎn)動、晃動(如fore 等，會使得圖像右側(cè)和底側(cè)處物體產(chǎn)生出、入的情況，現(xiàn)有的填充方法在確 定圖像填充值的過程中也沒有考慮到這些運動信息，就必然會導致填充區(qū)域 作為幀間預測或幀內(nèi)預測時的效率較低。
發(fā)明內(nèi)容
本發(fā)明實施例提供一種圖像填充的方法和裝置，以提高圖像編碼的效率。 本發(fā)明實施例提供了一種視頻編碼中的圖像填充方法，該方法包括為 包含填充區(qū)域像素點的圖像塊選擇預測模式；根據(jù)上述預測模式確定上述圖 像塊內(nèi)填充區(qū)域像素點的預測值；將上述預測值的解碼恢復值作為后續(xù)圖像 幀中對應圖像塊內(nèi)填充區(qū)域像素點的填充值。
本發(fā)明實施例還提供了一種圖像填充裝置，該裝置包括模式選擇單元， 用于為包含填充區(qū)域像素點的圖像塊選擇預測模式；預測值確定單元，用于 根據(jù)上述預測模式確定上述圖像塊內(nèi)填充區(qū)域像素點的預測值；填充單元， 用于將上述預測值的解碼恢復值作為后續(xù)圖像幀中對應圖像塊內(nèi)填充區(qū)域像 素點的的填充值。
本發(fā)明實施例還提供了一種電子設(shè)備，其包括上述的圖像填充裝置以及 收發(fā)裝置，所述收發(fā)裝置用于接收或發(fā)送視頻信息。
本發(fā)明實施例利用預測值的解碼恢復值作為后續(xù)圖像幀中對應圖像塊內(nèi) 填充區(qū)域像素點的填充值，從而使得填充區(qū)域內(nèi)像素點的預測差都為零，因 而降低了填充區(qū)域所占用的編碼比特數(shù)，另外，本發(fā)明實施例對填充區(qū)域也 運用了預測模式，充分利用了填充區(qū)域在幀間或幀內(nèi)的相關(guān)性，從而提高了 幀間或幀內(nèi)預測的效率。
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實 施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面 描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不 付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例一提供的一種圖像填充方法流程示意圖； 圖2為本發(fā)明實施例二提供的一種圖像填充方法流程示意圖； 圖3為本發(fā)明實施例三提供的一種計算填充區(qū)域像素點最優(yōu)值的方法流 程圖4為本發(fā)明實施例四提供的一種圖像填充裝置的結(jié)構(gòu)示意圖5為本發(fā)明實施例五提供的一種圖像填充裝置的結(jié)構(gòu)示意圖6為本發(fā)明實施例六提供的一種電子設(shè)備的結(jié)構(gòu)示意圖。
具體實施例方式
下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行 清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是 全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng) 造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
本發(fā)明實施例對于圖像的填充是以塊為單位進行的，具體來說就是將圖 像分成若干個塊，對其中包含填充區(qū)域像素點的塊逐塊進行填充，這里的圖 像塊大小可以任意設(shè)定，在本實施例及以下各個實施例，我們將以宏塊為例 對本發(fā)明實施例的技術(shù)方案進行說明。
實施例一
如圖1所示為本發(fā)明實施例一提供的一種圖像填充方法流程示意圖，需要指出的是，本實施例的描述是從圖像編碼的編碼端進行描述的，該方法包 括如下步驟S101:為包含填充區(qū)域像素點的宏塊選擇預測模式。
在本發(fā)明實施例中，為包含填充區(qū)域像素點的宏塊可以選擇預測模式進 行預測，以此來提高上述宏塊預測編碼的效率。
圖像編碼中有兩種基本的預測模式幀間預測模式和幀內(nèi)預測模式，其 中幀間預測模式是利用圖像幀間的相關(guān)性，即時間相關(guān)性，來達到圖像壓縮 的目的，活動圖像是由時間上以幀周期為間隔的連續(xù)圖像幀組成的時間圖像 序列，它在時間上比在空間上具有更大的相關(guān)性(因為連續(xù)兩幀間的變化往 往很小)，因此編碼器采用幀間預測模式先得到一預測參考圖像幀，然后和 后續(xù)的輸入幀相比較，對于預測誤差較小的像素點可以不再進行傳輸或僅利 用少量的編碼比特數(shù)進行傳輸。在對包含填充區(qū)域像素點的宏塊選擇這種幀 間預測模式，可以在填充過程中考慮到物體的整體運動特性，保證填充區(qū)域 在時域上的運動連續(xù)性。因此采用了幀間預測模式的填充方式充分利用了填 充區(qū)域在幀間或幀內(nèi)的相關(guān)性，因此可以在很大程度上提高上述宏塊作為幀 間預測參考時的效率。
幀內(nèi)預測模式是在空間域上進行的預測，如果前后幀之間的時域相關(guān)性 較小，則需要采用幀內(nèi)預測模式根據(jù)當前圖像幀中的紋理特點來確定填充區(qū) 域中像素點的值。對包含填充區(qū)域的宏塊采用幀內(nèi)預測模式，即根據(jù)本宏塊 中非填充區(qū)域(4x4或8x8大小的塊)中的紋理特性，或者與當前宏塊相鄰的 已編碼宏塊中的紋理特性來確定當前宏塊中填充區(qū)域像素點的像素值，這樣， 可以保證宏塊中填充區(qū)域與非填充區(qū)域之間的紋理連續(xù)性，從而提高了上述 宏塊作為幀內(nèi)預測參考時的效率。
需要指出的是，不管是幀間預測模式還是幀內(nèi)預測模式，它們都包含了 若干種子模式，本發(fā)明實施例中預測模式的選擇是具體到各種子模式的，這
些子模式比如幀內(nèi)垂直預測模式，水平預測 式，DC模式等，幀間P16xl6 模式，P8x8模式等。S102:根據(jù)所述預測模式確定上述宏塊內(nèi)填充區(qū)域像素點的預測值。
當步驟S101確定了某種預測模式后，就可以根據(jù)該種預測模式的特性來
確定上述宏塊內(nèi)填充區(qū)域像素點的預測值了。比如對于選定的某種幀間預測
模式，可以根據(jù)率失真準則使用下式來確定最優(yōu)的運動矢量(Motion Vector ，MV)、參考幀索引(refldx)及上述宏塊填充區(qū)域內(nèi)各個像素點的像素值-
其中，MV表示運動矢量；re/7fl^表示參考幀索引；X表示上述宏塊內(nèi)填 充區(qū)域像素點的值，X- 0r。，》，…，^-,)T ，M為所述填充區(qū)域像素點的數(shù) 量；i/ z^r i/o&表示選定的某種幀間預測模式；iFZ (X)表示使用X進行填 充時，當前宏塊的預測誤差值；瓜。，0z^， re/Trfr)表示該填充方式下當前塊 的運動矢量和參考幀索引的編碼比特數(shù)；入w，為幀間預測過程中所使用的L agrange因子；B表示X中各分量的容許取值范圍。
再比如，對于選定的某種幀內(nèi)預測模式，可以根據(jù)率失真準則使用下式 來確定上述宏塊填充區(qū)域內(nèi)各個像素點的像素值
其中，罰表示幀內(nèi)預測模式；X表示上述宏塊內(nèi)填充區(qū)域像素點的值，X-(A，》，…，為—》t ，M為所述填充區(qū)域像素點的數(shù)量；Z (馮X)表示當前宏 塊使用索引序號為仿的幀內(nèi)預測模式進行編碼時，使用X進行填充時的編碼
失真；/ 0z , X)表示該填充方式下宏塊的編碼比特數(shù)；人，f為模式選擇過程中
的Lagrange因子；B表示X中各分量的容許取值范圍。
利用上述率失真準則公式可以為確定的預測模式選擇最優(yōu)的預測值，當 然，本發(fā)明實施例并不限定以上述方式率失準準則來確定預測值。
S103:將所述預測值的解碼恢復值作為后續(xù)圖像幀中對應宏塊內(nèi)填充區(qū) 域像素點的填充值。在圖像編碼中，無論是幀間預測還是幀內(nèi)預測，都是以一參考圖像幀作 為模板，然后在后續(xù)幀的編碼過程中用作幀間預測或幀內(nèi)預測參考，即在圖 像編碼的編碼器端，會將當前幀的本地解碼恢復圖像放入一解碼圖像緩沖區(qū)
(Decoded Picture Buffer ， DPB)，然后用作幀間預測或幀內(nèi)預測參考。
在本發(fā)明實施例中，可以將所述預測值的解碼恢復值作為后續(xù)圖像幀中 對應宏塊內(nèi)填充區(qū)域像素點的填充值，即保證了該宏塊填充區(qū)域內(nèi)像素點的 預測差值恒為零。
我們知道，填充區(qū)域在編碼過程中會占用一定的編碼比特數(shù)，其主要體 現(xiàn)在以下兩個方面-
1. 宏塊頭信息開銷中與填充區(qū)域有關(guān)的參數(shù)填充區(qū)域的宏塊劃分的模 式、運動矢量、參考幀索引、編碼塊模板(Coded Block Pattern, CBP)等 信息的編碼比特數(shù)；
2. 宏塊紋理信息開銷中與填充區(qū)域有關(guān)的參數(shù)包含填充區(qū)域的宏塊劃 分的DCT系數(shù)的編碼比特數(shù)。
而預測差值對于上述和填充區(qū)域有關(guān)的參數(shù)所占編碼比特數(shù)的影響很 大，總體而言，預測差值越大，為了保證圖像傳輸?shù)恼_性，填充區(qū)域所占 用的編碼比特數(shù)越多；預測差值越小，填充區(qū)域所占用的編碼比特數(shù)越少， 但并不表示不占用。
本發(fā)明實施例方法可以根據(jù)實際需要對各個步驟順序進行調(diào)整。
本發(fā)明實施例利用預測值的解碼恢復值作為后續(xù)圖像幀中對應宏塊內(nèi)填 充區(qū)域像素點的填充值，從而使得填充區(qū)域內(nèi)像素點的預測差都為零，因而 降低了填充區(qū)域所占用的編碼比特數(shù)，另外，本發(fā)明實施例對填充區(qū)域也運 用了預測模式，充分利用了填充區(qū)域在幀間或幀內(nèi)的相關(guān)性，從而提高了幀 間或幀內(nèi)預測的效率。
實施例二
如圖2所示為本發(fā)明實施例二提供的一種圖像填充方法流程示意圖，該方法包括如下步驟
S201:根據(jù)填充宏塊標記找到所述包含填充區(qū)域像素點的宏塊；以及根 據(jù)填充像素位置標記找到所述宏塊填充區(qū)域內(nèi)各個像素點的位置。本發(fā)明實 施例的圖像填充方法是以宏塊為單位進行操作的，因此，必須需要準確定位 待填充宏塊，以及該宏塊內(nèi)待填充像素點的位置。
本發(fā)明實施例采用填充宏塊標記找到所述包含填充區(qū)域像素點的宏塊， 該填充宏塊標記記錄了 "當前宏塊中是否包含填充區(qū)域中的像素點"；而填 充像素位置記錄了 "宏塊中填充區(qū)域像素點位置標識"。本發(fā)明實施例以最 少的標記來定位待填充宏塊，以及該宏塊內(nèi)待填充像素點的位置，使得本發(fā) 明實施例提供的圖像填充方法所增加的計算復雜度很小，幾乎可以忽略不計。
S202:根據(jù)率失真準則為包含填充區(qū)域像素點的宏塊選擇最優(yōu)的幀間預 測模式或幀內(nèi)預測模式。
幀間預測模式和幀內(nèi)預測模式中又各自包括了若干種模式，為了得到最 優(yōu)的模式，本發(fā)明實施例采用了迭代最優(yōu)化的方法，該方法包括-
首先根據(jù)圖像幀的特性，比如根據(jù)其時間域或者空間域相關(guān)性的大小來 確定采用幀間預測模式或是幀內(nèi)預測模式；
假設(shè)上述步驟中采用了幀間預測模式，則根據(jù)率失真準則迭代計算第k 種幀間預測模式下Xk的代價函數(shù)Jk， X為為宏塊內(nèi)填充區(qū)域像素點的值，X-(Z。，》，…，A-;" ，M為所述填充區(qū)域像素點的數(shù)量；k為幀間預測模式的
種類，其為大于零的整數(shù)。
如果Jk滿足預設(shè)的條件，則選擇第k種幀間預測模式。這里所指的預設(shè)
條件可以包括多種，比如
預先設(shè)定一固定值Q和閾值T,計算Jk和固定值Q差值的絕對值，如果 計算結(jié)果小于閾值T， g卩l(xiāng)Jk-Ql 〈T時，迭代終止，選擇第k種幀間預測模式 為最優(yōu)的預測模式；或
當滿足"代價函數(shù)的下降值小于給定閾值T"時，即lJk一 Jk-,| <T時，迭代終止，選擇第k種幀間預測模式為最優(yōu)的預測模式，Jk-,為第k-l種幀間 或幀內(nèi)預測模式下填充區(qū)域像素點的最優(yōu)代價函數(shù)，需要指出的是，這種情 況下k的取值為大于等于2的整數(shù)。
上述迭代方法同樣也適用于幀內(nèi)預測模式。
S203:根據(jù)所述幀間預測模式或幀內(nèi)預測模式確定上述宏塊內(nèi)填充區(qū)域 像素點的預測值。該步驟其實已經(jīng)包含在了步驟S202中，步驟S202中為了 計算Xk和Xh的代價函數(shù)Jk和Jh，必須先得到Xk和Xw內(nèi)各分量的值，在本 實施例中，也可以使用率失真準則來計算Xk和XH內(nèi)各分量的最優(yōu)值。這樣， 本步驟即為將Xk中各分量的最優(yōu)值作為所述宏塊內(nèi)填充區(qū)域像素點的預測 值。
S204:將所述預測值的解碼恢復值作為后續(xù)圖像幀中對應宏塊內(nèi)填充區(qū) 域像素點的填充值。
該步驟同實施例一中步驟S103，通過該步驟可以使上述宏塊內(nèi)填充區(qū)域 像素點的預測誤差恒為零，從而可以使填充區(qū)域占用最少的編碼比特數(shù)以提 高編碼效率。
本發(fā)明實施例方法可以根據(jù)實際需要對各個步驟順序進行調(diào)整。 本發(fā)明實施例利用預測值的解碼恢復值作為后續(xù)圖像幀中對應宏塊內(nèi)填 充區(qū)域像素點的填充值，從而使得填充區(qū)域內(nèi)像素點的預測差都為零，因而 降低了填充區(qū)域所占用的編碼比特數(shù)，另外，本發(fā)明實施例對填充區(qū)域也運 用了預測模式，充分利用了填充區(qū)域在幀間或幀內(nèi)的相關(guān)性，從而提高了幀 間或幀內(nèi)預測的效率。 實施例三
如圖3所示為本發(fā)明實施例三提供的一種計算填充區(qū)域像素點最優(yōu)值的 方法流程圖。本實施例是對實施例二中步驟S202和步驟S203的詳細闡述。 如圖3所示，該種計算填充區(qū)域像素點最優(yōu)值的方法包括如下步驟 S301:初始化Xk中各分量的值，X為為宏塊內(nèi)填充區(qū)域像素點的值，X-U。，《，…，A-》t ，M為所述填充區(qū)域像素點的數(shù)量，此時，幀間預測模式 或者幀內(nèi)預測模式的編號1^0。
該步驟中X中各分量的值，可以采用現(xiàn)有技術(shù)中的"直接復制填充法" 或者"鏡像復制填充法"來確定。
S302:通過下式計算X。的代價函數(shù)值J。
S303: k k+l,初始化i的值，使i:O, i《M-l,其為X中各分量的標號。 S304:判斷i是否大于M: 如果是，進入步驟S306; 如果否，則進入步驟S305。
S305:固定Xk中除,i外其它各分量的值，并計算A的最優(yōu)值，同時i:二i +1，然后返回步驟S304。
在本步驟中》最優(yōu)值的計算是通過如下方式來實現(xiàn)的
如果k表示幀間預測模式的編號，則通過下式來確定Xi的最優(yōu)值
其中，MV表示運動矢量；re/7a(Y表示參考幀索引；X表示上述宏塊內(nèi)填 充區(qū)域像素點的值，X= Cr。， x,，…，A-,)7 ，M為所述填充區(qū)域像素點的數(shù) 量；//7t" ifo&表示選定的某種幀間預測模式；ZFZ (X)表示使用X進行填 充時，當前宏塊的預測誤差值；瓜。 。， 0^， re/7o^)表示該填充方式下當前塊 的運動矢量和參考幀索引的編碼比特數(shù)；Aw為幀間預測過程中所使用的L agrange因子；B表示X中各分量的容許取值范圍。
如果k表示幀內(nèi)預測模式的編號，則通過下式來確定a的最優(yōu)值
其中，忍表示幀內(nèi)預測模式；X表示上述宏塊內(nèi)填充區(qū)域像素點的值，X=
"V,X印,)=argmin{￡)(m,X) + AM0O/r.及(w,X)}U。， A，…，A-》T ，M為所述填充區(qū)域像素點的數(shù)量；Z (777，X)表示當前宏 塊使用索引序號為"的幀內(nèi)預測模式進行編碼時，使用X進行填充時的編碼 失真；X)表示該填充方式下宏塊的編碼比特數(shù)；入恥w為模式選擇過程中
的Lagrange因子；B表示X中各分量的容許取值范圍。
S306:計算Xk的代價函數(shù)值Jk，該計算過程同步驟S302。 S307:判斷IJw- Jk|是否小于T， T為一預設(shè)的閾值
如果是，則輸出X的最優(yōu)值；
如果否，則返回步驟S303。
本實施中包括了兩個最優(yōu)化的過程確定最優(yōu)化的預測模式以及確定該
模式下x分量的最優(yōu)值?？梢赃\用了循環(huán)迭代的方式使該兩個過程得以同時 實現(xiàn)，從而可以方便的得到最優(yōu)的X值，即最優(yōu)的宏塊內(nèi)填充區(qū)域像素點的 值，該最優(yōu)的X值可以最大限度地提高包含填充區(qū)域像素點的宏塊作為幀間 或幀內(nèi)預測參考時的效率。
需要指出的是實施例一至實施例三都是從圖像編碼的編碼器加以描述 的，但實際上除了在編碼器端需要進行圖像填充外，在解碼器端也有可能進 行圖像填充。
比如在解碼過程中，在解碼端需要將解碼恢復視頻中人為填充的像素點
"裁剪"掉，然后再送給播放設(shè)備。因此編碼器需要在SPS中設(shè)置的如下參數(shù)
是否需要對解碼恢復圖像進行裁剪；若需要則在圖像頂側(cè)、底側(cè)、左側(cè)、右 側(cè)四個邊界處需要裁剪掉的像素點的寬度。然后，解碼端在解碼當前NxN宏 塊時，如果需要裁減，則可采用和編碼端相同的如實施例一至實施例三所述 的填充方法。
本發(fā)明實施例方法可以根據(jù)實際需要對各個步驟順序進行調(diào)整。 實施例四
如圖4所示為本發(fā)明實施例四提供的一種圖像填充裝置的結(jié)構(gòu)示意圖， 該圖像填充裝置400包括模式選擇單元410、預測值確定單元420和填充單元430，其中預測值確定單元420分別和模式選擇單元410及填充單元430相連。
模式選擇單元410用于為包含填充區(qū)域像素點的宏塊選擇預測模式。本 發(fā)明實施例對于圖像的填充是以宏塊為單位進行的，具體來說可以是將圖像 分成若千個NxN的宏塊，對其中包含填充區(qū)域像素點的宏塊逐塊進行填充。
對包含填充區(qū)域像素點的宏塊選擇預測模式，可以提高該宏塊作為預測 參考時的效率，這里所說的預測模式包括了幀間預測模式和幀內(nèi)預測模式。
當前后圖像幀之間時域相關(guān)性很高，即出現(xiàn)物體出、入圖像的情況時， 當前幀的邊界位置上可能會包含有參考幀中沒有的內(nèi)容，或參考幀中包含有 當前幀中沒有的內(nèi)容。這就需要在圖像填充過程中，選擇幀間預測來預測填 充內(nèi)容，以提高運動預測的效率。
當前后幀之間的時域相關(guān)性較小時，則選擇幀內(nèi)預測根據(jù)當前圖像中的 紋理特點確定填充區(qū)域中像素點的值，以使得填充區(qū)域能夠保持原始圖像區(qū) 域中的紋理特性。
需要指出的是，不管是幀間預測模式還是幀內(nèi)預測模式，它們都包含了 若干種子模式，本發(fā)明實施例中預測模式的選擇是具體到各種子模式的，如 幀內(nèi)垂直預測模式，水平預測模式，DC模式等，幀間P16xl6模式，P8x8模 式等。
預測值確定單元420用于根據(jù)所述預測模式確定所述宏塊內(nèi)填充區(qū)域像 素點的預測值。
當模式選擇單元410確定了某種預測模式后，預測值確定單元420就可 以根據(jù)該種預測模式的特性來確定上述宏塊內(nèi)填充區(qū)域像素點的預測值了。 比如對于選定的某種幀間預測模式，可以根據(jù)率失真準則使用下式來確定最 優(yōu)的運動矢量(MV)、參考幀索引(refldx)及上述宏塊填充區(qū)域內(nèi)各個像素 點的像素值
<formula>formula see original document page 15</formula>其中，MV表示運動矢量；re/7&表示參考幀索引；X表示上述宏塊內(nèi)填 充區(qū)域像素點的值，X- Cr。， &，…，a-,)1 ，M為所述填充區(qū)域像素點的數(shù) 量；i)^er ifoJe表示選定的某種幀間預測模式；ZH (X)表示使用X進行填 充時，當前宏塊的預測誤差值；A。， (/^， "/To^)表示該填充方式下當前塊 的運動矢量和參考幀索引的編碼比特數(shù)；入w，為幀間預測過程中所使用的L agrange因子；B表示X中各分量的容許取值范圍。
再比如，對于選定的某種幀內(nèi)預測模式，可以根據(jù)率失真準則使用下式 來確定上述宏塊填充區(qū)域內(nèi)各個像素點的像素值-
("V ， x印,)=arg min {￡> (附，x) + .及(附，x)}
XsB'"
其中，歷表示幀內(nèi)預測模式；X表示上述宏塊內(nèi)填充區(qū)域像素點的值，X= (義。，&…，a-," ,M為所述填充區(qū)域像素點的數(shù)量；"(m，X)表示當前宏 塊使用索引序號為"的幀內(nèi)預測模式進行編碼時，使用X進行填充時的編碼
失真；X)表示該填充方式下宏塊的編碼比特數(shù)；A彬w為模式選擇過程中
的Lagrange因子；B表示X中各分量的容許取值范圍。
利用上述率失真準則公式可以為確定的預測模式選擇最優(yōu)的預測值，當 然，本發(fā)明實施例并不限定以上述方式率失準準則來確定預測值。
填充單元430用于將所述預測值的解碼恢復值作為后續(xù)圖像幀中對應宏 塊內(nèi)填充區(qū)域像素點的的填充值。這種填充方式保證了該宏塊填充區(qū)域內(nèi)像 素點的預測差值恒為零。
預測差值對于填充區(qū)域所占編碼比特數(shù)的影響很大，總體而言，預測差 值越大，為了保證圖像傳輸?shù)恼_性，填充區(qū)域所占用的編碼比特數(shù)越多； 預測差值越小，填充區(qū)域所占用的編碼比特數(shù)越少，但并不表示不占用。
本發(fā)明實施例利用預測值的解碼恢復值作為后續(xù)圖像幀中對應宏塊內(nèi)填 充區(qū)域像素點的填充值，從而使得填充區(qū)域內(nèi)像素點的預測差都為零，因而 降低了填充區(qū)域所占用的編碼比特數(shù)，另外，本發(fā)明實施例對填充區(qū)域也運 用了預測模式，充分利用了填充區(qū)域在幀間或幀內(nèi)的相關(guān)性，從而提高了幀間或幀內(nèi)預測的效率。 實施例五
如圖5所示為本發(fā)明實施例五提供的一種圖像填充裝置的結(jié)構(gòu)示意圖，該
圖像填充裝置500包括位置査找單元510、模式選擇單元520、預測值確定單 元530和填充單元540，其中模式選擇單元520又包括幀間預測模式選擇模塊52 1和幀內(nèi)預測模式選擇模塊522 。
位置查找單元510用于根據(jù)填充宏塊標記找到所述包含填充區(qū)域像素點 的宏塊；以及根據(jù)填充像素位置標記找到所述宏塊填充區(qū)域內(nèi)各個像素點的 位置。本發(fā)明實施例的圖像填充方法是以宏塊為單位進行操作的，因此，必 須需要準確定位待填充宏塊，以及該宏塊內(nèi)待填充像素點的位置。
本發(fā)明實施例采用填充宏塊標記找到所述包含填充區(qū)域像素點的宏塊， 該填充宏塊標記記錄了 "當前宏塊中是否包含填充區(qū)域中的像素點"；而填 充像素位置標記記錄了 "宏塊中填充區(qū)域像素點位置標識"。上述填充宏塊 標記及填充像素位置標記可以位于宏塊的開銷部分，位置査找單元510通過 讀取該開銷部分來確定該宏塊內(nèi)待填充像素點的位置。
本發(fā)明實施例以最少的標記來定位待填充宏塊，以及該宏塊內(nèi)待填充像 素點的位置，因此本發(fā)明實施例提供的圖像填充方法所增加的計算復雜度很 小，幾乎可以忽略不計。
幀間預測模式選擇模塊521用于根據(jù)率失真準則為包含填充區(qū)域像素點 的宏塊選擇最優(yōu)的幀間預測模式。為了選擇最優(yōu)的幀間預測模式，本發(fā)明實 施例的幀間預測模式選擇模塊521采用了迭代最優(yōu)化的方法，該方法包括
首先根據(jù)圖像幀的特性，比如根據(jù)其時間域或者空間域相關(guān)性的大小來 確定采用幀間預測模式或是幀內(nèi)預測模式；
假設(shè)上述步驟中采用了幀間預測模式，則根據(jù)率失真準則迭代計算第k 和k-1種幀間預測模式下Xk和Xh的代價函數(shù)Jk和Jk-,， X為為宏塊內(nèi)填充區(qū) 域像素點的值，X- U。， a，…，》t ，M為所述填充區(qū)域像素點的數(shù)量；k為幀間預測模式的種類。
如果Jk和Jw滿足預設(shè)的條件，則選擇第k種幀間預測模式，比如當滿
足"代價函數(shù)的下降值小于給定閾值T"時，即lJk一 Jwl <T時，迭代終止, 選擇第k種幀間預測模式為最優(yōu)的預測模式。
幀內(nèi)預測模式選擇模塊522用于根據(jù)率失真準則為包含填充區(qū)域像素點 的宏塊選擇最優(yōu)的幀內(nèi)預測模式，其同樣可以采用和幀間預測模式選擇模塊7 2 l相同的迭代算法來實現(xiàn)最優(yōu)幀內(nèi)預測模式的選擇。
預測值確定單元530和填充單元540的作用和實施例四相類似，在此就 不再對其加以贅述了。
本發(fā)明實施例的裝置具體可以表現(xiàn)為電路、集成電路或芯片等。本發(fā)明 實施例的各個單元可以集成于一體，也可以分離部署。上述單元可以合并為 一個單元，也可以進一步拆分成多個子單元。
本發(fā)明實施例利用預測值的解碼恢復值作為后續(xù)圖像幀中對應宏塊內(nèi)填 充區(qū)域像素點的填充值，從而使得填充區(qū)域內(nèi)像素點的預測差都為零，因而 降低了填充區(qū)域所占用的編碼比特數(shù)，另外，本發(fā)明實施例對填充區(qū)域也運 用了預測模式，充分利用了填充區(qū)域在幀間或幀內(nèi)的相關(guān)性，從而提高了幀 間或幀內(nèi)預測的效率。
實施例六
如圖6所示為本發(fā)明實施例六提供的一種電子設(shè)備的結(jié)構(gòu)示意圖，其包括 圖像填充裝置601及收發(fā)裝置602，其中，
圖像填充裝置601的技術(shù)方案可以結(jié)合參考實施例四或?qū)嵤├逯械募?術(shù)方案，在此就不再對其進行贅述了；
收發(fā)裝置602用于接收或發(fā)送視頻信息，該視頻信息可以是通過圖像填充 裝置601填充過后的視頻信息。
本發(fā)明實施例的電子設(shè)備可以是手機、視頻處理設(shè)備、計算機、服務器等。本發(fā)明實施例提供的電子設(shè)備，利用預測值的解碼恢復值作為后續(xù)圖像 幀中對應宏塊內(nèi)填充區(qū)域像素點的填充值，從而使得填充區(qū)域內(nèi)像素點的預 測差都為零，因而降低了填充區(qū)域所占用的編碼比特數(shù)，另外，本發(fā)明實施 例的電子設(shè)備對填充區(qū)域也運用了預測模式，充分利用了填充區(qū)域在幀間或 幀內(nèi)的相關(guān)性，從而提高了幀間或幀內(nèi)預測的效率。
本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實施例描述的各 示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結(jié)合來實 現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一 般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí) 行，取決于技術(shù)方案的特定應用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個 特定的應用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應認為超 出本發(fā)明的范圍。
另外本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分 流程，可以通過計算機程序來指令相關(guān)的硬件來完成，所述的程序可存儲于 一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施
例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory, ROM)或隨機存儲記憶體(Random Access Memory, RAM)等。 以上所述的具體實施方式
，對本發(fā)明的目的、技術(shù)方案和有益效果進行 了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施方式
而 己，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做 的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種圖像填充方法，其特征在于，所述方法包括為包含填充區(qū)域像素點的圖像塊選擇預測模式；根據(jù)所述預測模式確定所述圖像塊內(nèi)填充區(qū)域像素點的預測值；將所述預測值的解碼恢復值作為后續(xù)圖像幀中對應圖像塊內(nèi)填充區(qū)域像素點的填充值。
2. 如權(quán)利要求1所述的圖像填充方法，其特征在于，還包括根據(jù)填充塊 位置標記確定所述包含填充區(qū)域像素點的圖像塊的位置；以及根據(jù)填充像素位置標記確定所述包含填充區(qū)域像素點的圖像塊填充區(qū)域 內(nèi)各個像素點的位置。
3. 如權(quán)利要求1所述的圖像填充方法，其特征在于，所述為包含填充區(qū)域 像素的圖像塊選擇預測模式包括根據(jù)率失真準則為包含填充區(qū)域像素點的圖像塊選擇最優(yōu)的幀間預測模 式或幀內(nèi)預測模式。
4. 如權(quán)利要求3所述的圖像填充方法，其特征在于，所述根據(jù)率失真準則為包含填充區(qū)域像素點的圖像塊選擇最優(yōu)的幀間預測模式包括根據(jù)率失真準則計算第k種幀間預測模式下Xk中各分量的最優(yōu)值，其中X 為所述圖像塊內(nèi)填充區(qū)域像素點的值，X-(詢，力，...，；^-》t ，M為所述填充區(qū)域像素點的數(shù)量，k為大于零的整數(shù)；根據(jù)Xk內(nèi)各分量的最優(yōu)值計算Xk的最優(yōu)代價函數(shù)Jk;如果Jk滿足預先設(shè)定的終止條件，則所述第k種幀間預測模式即為所述最 優(yōu)的幀間預測模式。
5. 如權(quán)利要求4所述的圖像填充方法，其特征在于，所述根據(jù)所述預測模 式確定所述圖像塊內(nèi)填充區(qū)域像素點的預測值包括將所述第k種幀間預測模式下Xk中各分量的最優(yōu)值作為所述圖像塊內(nèi)填充區(qū)域像素點的預測值。
6. 如權(quán)利要求3所述的圖像填充方法，其特征在于，所述根據(jù)率失真準則為包含填充區(qū)域像素點的圖像塊選擇最優(yōu)的幀內(nèi)預測模式包括根據(jù)率失真準則計算第k種幀內(nèi)預測模式下Xk中各分量的最優(yōu)值，其中x 為所述圖像塊內(nèi)填充區(qū)域像素點的值，X=(局，力，...，;w_》T ， M為所述填充區(qū) 域像素點的數(shù)量；根據(jù)Xk內(nèi)各分量的最優(yōu)值計算Xk的最優(yōu)代價函數(shù)Jk;如果Jk滿足預先設(shè)定的終止條件，則所述第k種幀內(nèi)預測模式即為所述最 優(yōu)的幀內(nèi)預測模式。
7. 如權(quán)利要求6所述的圖像填充方法，其特征在于，所述根據(jù)所述預測模 式確定所述圖像塊內(nèi)填充區(qū)域像素點的預測值包括-將所述第k種幀內(nèi)預測模式下Xk中各分量的最優(yōu)值作為所述圖像塊內(nèi)填充 區(qū)域像素點的預測值。
8. 如權(quán)利要求4或6所述的圖像填充方法，其特征在于，所述預先設(shè)定的 終止條件包括所述最優(yōu)代價函數(shù)Jk和固定值Q差值的絕對值小于閾值T ，所述固定值Q及 閾值T為預先設(shè)定的值，或者，所述最優(yōu)代價函數(shù)Jk和jH差值的絕對值小于閾值T，其中，J^為第k-1 種幀間或幀內(nèi)預測模式下填充區(qū)域像素點的最優(yōu)代價函數(shù)，閾值T為預先設(shè)定 的值。
9. 一種圖像填充裝置，其特征在于，所述裝置包括 模式選擇單元，用于為包含填充區(qū)域像素點的圖像塊選擇預測模式；預測值確定單元，用于根據(jù)所述預測模式確定所述圖像塊內(nèi)填充區(qū)域像素點的預測值；填充單元，用于將所述預測值的解碼恢復值作為后續(xù)圖像幀中對應圖像 塊內(nèi)填充區(qū)域像素點的填充值。
10. 如權(quán)利要求9所述的圖像填充裝置，其特征在于，還包括位置查找單元，用于根據(jù)填充圖像塊位置標記找到所述包含填充區(qū)域像素點的圖像塊的位置；以及根據(jù)填充像素位置標記找到所述圖像塊填充區(qū)域內(nèi)各個像素點的位置。
11. 如權(quán)利要求9所述的圖像填充裝置，其特征在于，所述模式選擇單元 包括幀間預測模式選擇模塊，用于根據(jù)率失真準則為包含填充區(qū)域像素點的塊選擇最優(yōu)的幀間預測模式；或者幀內(nèi)預測模式選擇模塊，用于根據(jù)率失真準則為包含填充區(qū)域像素點的 塊選擇最優(yōu)的幀內(nèi)預測模式。
12. —種電子設(shè)備，其特征在于，其包括收發(fā)裝置以及如權(quán)利要求9至11 中任一項所述的圖像填充裝置，所述收發(fā)裝置用于接收或發(fā)送視頻信息。
全文摘要
本發(fā)明實施例提供了一種圖像填充方法、裝置和設(shè)備，該方法包括為包含填充區(qū)域像素點的圖像塊選擇預測模式；根據(jù)所述預測模式確定所述圖像塊內(nèi)填充區(qū)域像素點的預測值；將所述預測值的解碼恢復值作為后續(xù)圖像幀中對應圖像塊內(nèi)填充區(qū)域像素點的填充值。本發(fā)明實施例利用解碼恢復值作為后續(xù)圖像幀中對應圖像塊內(nèi)填充區(qū)域像素點的填充值，從而使得填充區(qū)域內(nèi)像素點的預測差都為零，因而降低了填充區(qū)域所占用的編碼比特數(shù)，另外，本發(fā)明實施例對填充區(qū)域也運用了預測模式，充分利用了填充區(qū)域在幀間或幀內(nèi)的相關(guān)性，從而提高了幀間或幀內(nèi)預測的效率。
文檔編號H04N7/50GK101610417SQ20091015868
公開日2009年12月23日 申請日期2009年7月9日 優(yōu)先權(quán)日2009年7月9日
發(fā)明者常義林, 明 李, 林四新 申請人:華為技術(shù)有限公司