專利名稱：基于梯度域變換的卡通圖像及視頻上采樣方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像和視頻處理領(lǐng)域，具體涉及一種基于梯度域變換的圖像和視頻上 采樣方法，尤其適于處理卡通圖像及視頻。
背景技術(shù)：
圖像和視頻上采樣技術(shù)(以下簡稱上采樣技術(shù))類似圖像和視頻的超分辨率技 術(shù)，是期望將低分辨率的圖像和視頻放大，并保持邊緣清晰，沒有鋸齒等現(xiàn)象，已達到改善 視覺效果之目的。上采樣技術(shù)被廣泛的應(yīng)用于視頻通信、對象識別、高清電視、圖像壓縮和 傳輸?shù)阮I(lǐng)域。目前商業(yè)軟件中所使用的上采樣方法主要是插值算法，常用的有最近鄰插值、雙 線性插值、雙三次插值等方法。這些方法的特點是可以實時處理且容易實現(xiàn)，但是經(jīng)過上采 樣之后的圖像的高頻成分不能完全保留，表現(xiàn)為邊緣比較模糊，并且有一定鋸齒(馬賽克) 現(xiàn)象，影響視覺效果。文獻中的超分辨率技術(shù)通?？梢苑譃槿?、基于圖像序列的方法，通常是使用同一個場景的多幅圖像來重建場景的超分辨 率圖像。其缺點是不便于使用，而且放大的倍數(shù)通常被限制在2左右，無法獲得更高分辨率 的圖像。2、基于樣本的超分辨率方法，其基本思想是構(gòu)建兩個關(guān)聯(lián)的數(shù)據(jù)集，一個是低分 辨率的，另外一個是高分辨率的，根據(jù)這兩個數(shù)據(jù)集訓(xùn)練高低分辨率圖像對之間的對應(yīng)關(guān) 系，并由此估計輸入的低分辨率圖像所對應(yīng)的高分辨率圖像。其缺點是計算較為復(fù)雜，且重 建結(jié)果與訓(xùn)練集有關(guān)，所恢復(fù)出的細節(jié)也是虛假的，只是從視覺上改善了圖像的效果。3、邊緣銳化的方法，其基本思想是恢復(fù)圖像的高頻成分，也就是期望模糊的邊緣 變得清晰，從而改善視覺效果。本發(fā)明提出的方法屬于上面所述的第三類方法，針對卡通圖像，即線條明顯、紋理 單一、局部色彩相似、細節(jié)較少的圖像。

發(fā)明內(nèi)容
本發(fā)明公開了一種通過對低分辨率圖像/視頻幀的梯度進行變換，將變換后的梯 度作為約束重建高分辨率圖像/視頻幀的圖像及視頻上采樣方法。本發(fā)明的核心在于提出 了一種新的快速的梯度域變換算法，并使用能量優(yōu)化的方法重建高分辨率的圖像，使得圖 像和視頻中模糊的邊緣變得清晰，從而改善圖像和視頻的視覺效果。基于梯度域變換的卡通圖像及視頻上采樣方法，包括以下步驟步驟1 對于輸入的視頻中的每一幀圖像I1,根據(jù)指定的放大倍數(shù)進行圖像放大；若圖像I1為灰度圖像，則放大后得到初始圖像/廣；若圖像I1為彩色圖像，則將放大后的圖像由RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間， 并取Y通道為初始圖像，且保存Cb通道和Cr通道的數(shù)據(jù)；
步驟2 對步驟1獲得的每一幀圖像對應(yīng)的/f，進行梯度域變換(1)求/f的梯度▽/『及該梯度的模，并對G^進行歸一化；(2)求的拉普拉斯梯度V2/,"，并對I V2/； I進行歸一化；(3)按照下式求取Gt:
Gt(χ, y),如果Gr(xj) >0 、0,其他 ’其中V2為拉普拉斯算子，U，y)是像素點坐標；(4)對Gt進行歸一化，然后按照下式獲得梯度域變換后的梯度
⑴
⑵ 其中Y為預(yù)置的調(diào)節(jié)因子，其取值可以調(diào)節(jié)，通常設(shè)為2 6，用于在迭代次數(shù)固 定的情況下調(diào)節(jié)圖像邊緣的清晰程度；步驟3 對每一幀，根據(jù)步驟2中梯度域變換后的梯度VTt，重建高分辨率圖像；步驟4 若當前幀的I1為灰度圖像，則執(zhí)行步驟(5)；若當前幀的I1為彩色圖像，則將步驟(3)重建獲得的高分辨率圖像作為Y通道， 和步驟1中保存的Cb和Cr通道數(shù)據(jù)重新組合，然后轉(zhuǎn)換為RGB圖像；步驟5 步驟4獲得的圖像即為處理后的視頻的每一幀，將其組成視頻數(shù)據(jù)。利用本方法處理單幅圖像時，將其看作僅具有一幀的視頻，進行步驟1-5的操作 即可。對比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于，計算簡單，容易實現(xiàn)，能夠自然地擴展到 視頻上采樣領(lǐng)域，尤其適用于卡通圖像，即線條明顯、紋理單一、局部色彩相似、細節(jié)較少的 圖像。本發(fā)明提供的方法可以快速有效的將卡通圖像或視頻進行上采樣，并且重建后的圖 像色彩自然，插值造成地模糊邊緣變得清晰，細節(jié)得到了一定程度的恢復(fù)，視覺效果較好。


圖1是本發(fā)明的流程圖；圖2是本發(fā)明所提出的梯度域變換的示意圖；(a)經(jīng)過雙三次插值的低分辨率圖 像；(b)圖(210)的梯度；(c)拉普拉斯梯度；(d)變換后的梯度；(e)重建結(jié)果；圖3是使用梯度下降算法求解能量函數(shù)的流程圖；圖4 (a)是輸入的低分辨率的視頻幀；圖4(b)是使用最近鄰插值算法沿圖像χ和y方向分別放大4倍之后的結(jié)果；圖4 (C)是使用雙三次插值算法放大4倍之后所得到的結(jié)果；圖4(d)是使用本發(fā)明中的方法得到的結(jié)果。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明技術(shù)方案作進一步解釋。如圖1所示，本發(fā)明所述的基于梯度域變換的卡通圖像及視頻上采樣方法具體的 技術(shù)實施方案如下步驟1 對于輸入的低分辨率的視頻中的每一幀圖像I1,根據(jù)指定的放大倍數(shù)(即 附圖1中的上采樣因子)進行圖像放大，本實施例中使用傳統(tǒng)的雙三次插值方法進行放大， 若圖像I1為灰度圖像，則放大后即得到初始圖像(圖2(a))，若圖像I1為彩色圖像，則將 放大后的圖像由RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間，取Y通道為初始圖像廠，且保存Cb 通道和Cr通道的數(shù)據(jù)。步驟2 圖2示意性的給出了本發(fā)明中定義的梯度域變換方法。(1)首先計算每一幀圖像對應(yīng)的的梯度V/f及梯度的模，見圖2(b)，計算方 (2)然后計算的拉普拉斯梯度V2/(3)按照下式求取Gt 其中V2為拉普拉斯算子，(X，y)是像素點坐標；需要注意的是，在進行步驟3(3) 前，先對Gf J ν2/; ι進行歸一化；(4)對Gt進行歸一化，然后按照下式獲得梯度域變換后的梯度V/7·. 其中Y為預(yù)置的調(diào)節(jié)因子，其取值可以調(diào)節(jié)，通常設(shè)為2 6，可以在迭代次數(shù)固 定的情況下調(diào)節(jié)圖像邊緣的清晰程度。步驟3 對每一幀，根據(jù)步驟2中變換后的梯度VjT，重建高分辨率圖像。本實施 例中使用能量優(yōu)化的方法重建高分辨率圖像(亦可采用泊松法)。為保證重建后的圖像色 彩正常，重建后的圖像梯度受到V/τ的如下能量函數(shù)約束
(3)其中，第一項保證了重建之后的高分辨率圖像經(jīng)過相同倍數(shù)的下采樣之后所得到 圖像和輸入圖像盡量接近，(·)丨是下采樣算子；第二項保證了重建之后的高分辨率圖像 的梯度與步驟2中得到梯度▽/盡量接近；β為比例系數(shù)，用來調(diào)整梯度約束在整個能量 函數(shù)中的影響程度，作為優(yōu)選，設(shè)置為0. 6。這個能量函數(shù)可以使用梯度下降法來求解，流程圖如圖3所示，即根據(jù)下面的迭 代公式進行迭代
，其絕對值如圖2(c)所示
如果(^0，力>0 其他
6 其中
將設(shè)置為初始值
；當達到最大迭代次數(shù)即停止，其中τ為預(yù)置的迭代步長，作為優(yōu)選τ =0.5。步驟4 若當前幀的I1為灰度圖像，則執(zhí)行步驟(5)；若當前幀的I1為彩色圖像，則將步驟(3)重建獲得的高分辨率圖像作為Y通道， 和步驟1中保存的Cb和Cr通道數(shù)據(jù)重新組合，然后轉(zhuǎn)換為RGB圖像；步驟5 步驟4獲得的圖像即為處理后的視頻的每一幀，將其組成視頻數(shù)據(jù)。利用本方法處理單幅圖像時，將其看作僅具有一幀的視頻，進行步驟1-5的操作 即可。通常進行1 5次迭代就可以得到滿意的效果。所以本發(fā)明提出的方法可以快速 的完成上采樣的任務(wù)。本發(fā)明中提出的方法可以將圖像或視頻沿χ和y方向分別放大1 5倍，并保證 邊緣的清晰，對于更高的放大倍數(shù)，可以迭代的進行多次處理，將上一次的輸出作為下一次 的輸入，如此就可以獲得較高倍數(shù)的上采樣結(jié)果。由圖4給出的處理結(jié)果可以看出，本發(fā)明中所提出的方法可以快速的將卡通圖像 及視頻進行上采樣，視覺較雙三次插值方式大大改善，不僅恢復(fù)了丟失的高頻信息，使得模 糊的邊緣變得清晰，而且色彩自然。以上所述的具體描述，對發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說 明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護范 圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明 的保護范圍之內(nèi)。
權(quán)利要求
基于梯度域變換的卡通圖像及視頻上采樣方法，其特征在于，包括以下步驟步驟1對于輸入的視頻中的每一幀圖像Il，根據(jù)指定的放大倍數(shù)進行圖像放大；若圖像Il為灰度圖像，則放大后得到初始圖像若圖像Il為彩色圖像，則將放大后的圖像由RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間，并取Y通道為初始圖像且保存Cb通道和Cr通道的數(shù)據(jù)；步驟2對步驟1獲得的每一幀圖像對應(yīng)的進行梯度域變換，即(1)求的梯度及該梯度的模并對進行歸一化；(2)求的拉普拉斯梯度并對進行歸一化；(3)按照下式求取GT <mrow><msup> <mover><mi>G</mi><mo>^</mo> </mover> <mi>T</mi></msup><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><msubsup> <mi>G</mi> <mi>l</mi> <mi>u</mi></msubsup><mo>-</mo><mo>|</mo><msup> <mo>&dtri;</mo> <mn>2</mn></msup><msubsup> <mi>I</mi> <mi>l</mi> <mi>u</mi></msubsup><mo>|</mo> </mrow>其中為拉普拉斯算子，(x，y)是像素點坐標；(4)對GT進行歸一化，然后按照下式獲得梯度域變換后的梯度 <mrow><msup> <mrow><mo>&dtri;</mo><mi>I</mi> </mrow> <mi>T</mi></msup><mo>=</mo><mi>&gamma;</mi><mo>&CenterDot;</mo><mo>&dtri;</mo><msubsup> <mi>I</mi> <mi>l</mi> <mi>u</mi></msubsup><mo>&CenterDot;</mo><mfrac> <msup><mi>G</mi><mi>T</mi> </msup> <msubsup><mi>G</mi><mi>l</mi><mi>u</mi> </msubsup></mfrac><mo>,</mo> </mrow>其中γ為預(yù)置的調(diào)節(jié)因子，用于在迭代次數(shù)固定的情況下調(diào)節(jié)圖像邊緣的清晰程度；步驟3對每一幀，根據(jù)步驟2中梯度域變換后的梯度重建高分辨率圖像；步驟4若當前幀的Il為灰度圖像，則執(zhí)行步驟(5)；若當前幀的Il為彩色圖像，則將步驟(3)重建獲得的高分辨率圖像作為Y通道，和步驟1中保存的Cb和Cr通道數(shù)據(jù)重新組合，然后轉(zhuǎn)換為RGB圖像；步驟5步驟4獲得的圖像即為處理后的視頻的每一幀，將其組成視頻數(shù)據(jù)。利用本方法處理單幅圖像時，將其看作僅具有一幀的視頻，進行步驟1-5的操作即可。FSA00000165316500011.tif,FSA00000165316500012.tif,FSA00000165316500013.tif,FSA00000165316500014.tif,FSA00000165316500015.tif,FSA00000165316500016.tif,FSA00000165316500017.tif,FSA00000165316500018.tif,FSA00000165316500019.tif,FSA000001653165000110.tif,FSA000001653165000112.tif,FSA000001653165000113.tif,FSA000001653165000114.tif,FSA000001653165000116.tif
2.根據(jù)權(quán)利要求1所述基于梯度域變換的卡通圖像及視頻上采樣方法，其特征在于， 步驟3中使用能量優(yōu)化的方法重建高分辨率圖像，為保證重建后的圖像色彩正常，重建后 的圖像梯度受到▽尸的如下能量函數(shù)約束E=W(Ih^K)I-Il f+β \\VIh-VI' Il2其中(·)丨是下采樣算子，β為比例系數(shù)，用來調(diào)整梯度約束在整個能量函數(shù)中的影 響程度，作為優(yōu)選，設(shè)置為0.6 ；
3.根據(jù)權(quán)利要求2所述基于梯度域變換的卡通圖像及視頻上采樣方法，其特征在于， 所述能量函數(shù)使用梯度下降法來求解，方法如下根據(jù)下面的迭代公式進行迭代 其中， 將廠設(shè)置為初始值，。 當達到最大迭代次數(shù)即停止，其中τ為預(yù)置的迭代步長，作為優(yōu)選τ =0.5。
4.根據(jù)權(quán)利要求1所述基于梯度域變換的卡通圖像及視頻上采樣方法，其特征在于， 步驟1中使用雙三次插值方法對圖像進行放大。
5.根據(jù)權(quán)利要求1所述基于梯度域變換的卡通圖像及視頻上采樣方法，其特征在于， 利用本方法處理單幅圖像時，將其看作僅具有一幀的視頻，進行步驟1-5的操作。
全文摘要
本發(fā)明屬于圖像和視頻處理領(lǐng)域，具體涉及一種基于梯度域變換的圖像和視頻上采樣方法，尤其適于處理卡通圖像及視頻。該方法將低分辨圖像首先進行上采樣放大，然后根據(jù)所以定義的梯度域變換方法，得到高分辨率圖像的梯度變換后的梯度將作為約束重建高分辨率圖像。本發(fā)明提供的方法可以快速有效的將卡通圖像或視頻進行上采樣，計算簡單，并且重建后的圖像色彩自然，插值造成地模糊邊緣變得清晰，細節(jié)得到了一定程度的恢復(fù)，視覺效果較好。
文檔編號H04N7/46GK101888557SQ201010199109
公開日2010年11月17日 申請日期2010年6月12日 優(yōu)先權(quán)日2010年6月12日
發(fā)明者沈建冰, 顏星 申請人:北京理工大學(xué)