一種相機抖動造成的模糊圖像復原方法
【專利摘要】本發(fā)明涉及一種相機抖動模糊圖像復原方法。相機抖動模糊圖像復原過程中，模糊模型設(shè)計不當會導致復原效果不佳，計算效率低和內(nèi)存占用量驟增，因此發(fā)展更好的相機抖動模糊圖像復原方法已成為該領(lǐng)域亟待解決的問題。本發(fā)明設(shè)計了廣義加性卷積模型，并基于該模型對相機抖動模糊圖像進行復原：首先，估計出相機抖動動作路徑；其次，計算出所有的切片狀路徑和纖維狀路徑，用貪心算法安排兩種路徑各自占有的比例；然后，用基于混合GACM的APG算法進行非盲復原。本發(fā)明復原視覺效果較好，兼顧高效快速，內(nèi)存占用較少的特點，本發(fā)明適用于對各類相機抖動模糊圖像復原。
【專利說明】一種相機抖動造成的模糊圖像復原方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及的是一種圖像復原方法，特別是針對相機抖動造成的模糊圖像的復原方法，屬于圖像處理領(lǐng)域。
【背景技術(shù)】
[0002]圖像復原是計算機視覺和圖像處理領(lǐng)域一個非?；A(chǔ)的問題。由于散焦，相機抖動，圖像中目標的動作等各種因素造成的圖像模糊是難以避免的。在這樣一個數(shù)字成像設(shè)備已經(jīng)被廣泛使用的時代，毫無疑問，對模糊圖像的復原技術(shù)是一個非常熱門的話題。目前為止，開發(fā)一個既精確，又擁有較強魯棒性的圖像復原技術(shù)依然是一個挑戰(zhàn)性十足的問題。早期的科學研究都假設(shè)模糊圖像中各個像素點上的模糊程度是相同的，基于這樣的假設(shè)，很多方法也顯示出較強的對模糊圖像的復原能力。然而，近期的一系列研究分析結(jié)果證明:相機抖動造成的圖像模糊是一種非均勻模糊，即，在模糊圖像中，每個像素點上的模糊程度是空間變化的，這使得恢復相機抖動造成的模糊圖像成為一個比均勻模糊圖像去卷積更有難度的問題。雖然近年來有一些方法致力于恢復相機抖動模糊圖像，但是其中主流的一些方法，例如，將整幅圖像分割成很多重疊的區(qū)域并利用均勻復原的方法進行局部模糊核的估計，這種策略忽略了圖像全局信息對局部模糊核的約束，顯然沒有合理利用圖像信息，也無法得到一個令人滿意的復原結(jié)果；另外一些基于映射動作路徑模型的方法，通過將相機抖動造成的模糊定義為清晰圖像經(jīng)過一系列單應變換后結(jié)果的加權(quán)和，雖然能得到較好的復原效果，但是，基于這種模型的復原方法，計算效率低成了致命傷，雖然有很多方法改進了算法，并且提高了計算效率，但是這些方法又引進了另一種限制這種方法被廣泛應用的弊端:計算過程中需要存儲高維的稀疏矩陣，從而使整個復原方法的內(nèi)存占用量驟增?？偠灾?，超負荷的計算量和嚴重的內(nèi)存占用量都源自于復原過程中所用到的非均勻模糊模型。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于，研究開發(fā)一個合理的相機抖動模糊圖像復原方法，其核心是設(shè)計一個模擬相機抖動模糊的模型，該模型物理概念清楚，并且能夠高效計算，獲得復原結(jié)果的幾何模型，為后續(xù)采用復原后的清晰圖像進行高級圖像處理的工作打下基礎(chǔ)。
[0004]基于上述目的，本發(fā)明技術(shù)方案的創(chuàng)新點在于將相機抖動造成的模糊模擬為是減少了數(shù)量的卷積變換結(jié)果的加權(quán)和，這種數(shù)量的減少是本發(fā)明特殊的技術(shù)實現(xiàn)的，從根本上降低了復原所需的時間，提高了復原效率。其中涉及到的卷積運算是數(shù)字圖像處理領(lǐng)域常用的算子，在頻域?qū)崿F(xiàn)卷積算子，具有計算復雜度低(運算速度快)的優(yōu)勢，從而整體上降低復原方法的運行時間；另外，利用極變換將圖像變換到極坐標下再進行對圖像的旋轉(zhuǎn)操作，結(jié)束后再將其用極坐標變換的共軛算子變換到普通空間，從而避免了復原過程中對高維稀疏矩陣的存儲，降低了運算過程中的內(nèi)存占用量。在本發(fā)明中建立了混合GACM-Generalized additive convolution model來模擬相機抖動模糊,在復原方法中，模糊模型的計算復雜度和內(nèi)存占用量以及模擬的準確程度從根本上決定了復原方法的運算時間，內(nèi)存占用量和復原效果。目前被廣泛用來進行相機抖動模糊圖像復原的算法都采用一種基于映射動作路徑的模型，通過將相機抖動造成的模糊定義為清晰圖像經(jīng)過一系列單應變換后結(jié)果的加權(quán)和。相對于這種幾何模型，混合GACM通過利用FFT變換及其逆變換能快速實現(xiàn)空間卷積運算的優(yōu)勢和利用極坐標變換避免了存儲高維稀疏矩陣從而大幅降低計算過程中的內(nèi)存占用量的優(yōu)勢提升了整體復原方法的效率?；旌螱ACM在算法上相對于映射動作路徑模型算法有以下的改進:
[0005]I)通過證明每個相機動作都可以分解為相機先進行平移操作，再進行旋轉(zhuǎn)操作這一結(jié)論，GACM將3D空間(沿著X軸，y軸平移，繞ζ軸旋轉(zhuǎn)，其中x，y軸為與相機鏡頭平面平行的坐標系所在的軸，ζ軸為垂直于相機鏡頭平面的軸)中相機抖動動作路徑分解為兩種不同的典型運動路徑一切片和纖維，這兩種動作路徑的合理組合能夠重現(xiàn)原始動作路徑;
[0006]2)GACM分解出來的切片路徑代表的是以給定的角度繞ζ軸旋轉(zhuǎn)的相機抖動動作在平面內(nèi)的平移動作構(gòu)成的切片狀路徑。因此，切片路徑的模糊模擬過程中只包含一次相機旋轉(zhuǎn)動作，GACM通過極坐標變換實現(xiàn)；而大量的平移動作可以通過計算其平移程度的加權(quán)和合成為一次平移操作，通過一組FFT變換來快速實現(xiàn)，至此，整個切片路徑中的模糊模擬得以精確實現(xiàn)；
[0007]3)GACM分解出來的纖維路徑代表的是以給定的平移幅度沿x，y軸平移的相機抖動動作在平面內(nèi)的旋轉(zhuǎn)動作構(gòu)成的纖維狀路徑。因此，纖維路徑的模糊模擬過程中只包含一次相機平移動作，通過一組FFT變換來快速實現(xiàn)；而大量的旋轉(zhuǎn)動作可以通過極坐標變換后在極坐標下快速實現(xiàn)，同時避免了映射動作路徑模型中需要存儲高維稀疏矩陣的缺點，降低了計算過程中的內(nèi)存占用量；
[0008]4)然而單獨使用基于切片的GACM或者是單獨使用基于纖維的GACM都無法保證最大程度上提升方法的效率。本發(fā)明定義一種貪心算法來確定混合GACM中纖維和切片所占有的比例；
[0009]混合GACM的提出有嚴格的理論論證作為基礎(chǔ)，擁有完美的物理角度的解釋，因此，它可以精確的模擬相機抖動動作造成的圖像模糊，提升了復原效果；與以上介紹的切片路徑實現(xiàn)過程中的時間優(yōu)勢和纖維路徑實現(xiàn)中的內(nèi)存消耗優(yōu)勢使得本發(fā)明能夠?qū)崿F(xiàn)高效的相機抖動模糊圖像復原。
[0010]本發(fā)明的具體內(nèi)容如下:
[0011]建立一種新的相機抖動模糊模型一混合GACM，并利用該模型進行相機抖動模糊圖像盲復原。復原工作是針對所有相機抖動模糊的自然圖像進行的，在的驗證實驗中用到的圖像都是現(xiàn)有的方法中常用到的相機抖動過程中拍攝到的模糊自然圖像。首先，定義GACM為通過ge變換的向量X與模糊核的卷積結(jié)果再經(jīng)過fe變換結(jié)果的累加。其中這兩種變換的個數(shù)為C，C的數(shù)值越大，恢復圖像所用的時間就越多，反之亦然。通過證明每個相機抖動動作都可以無誤差的分解為兩種子運動的合并，即，先對圖像進行對應的平移操作，再進行旋轉(zhuǎn)操作，GACM將整個相機抖動動作路徑分解成了兩種典型的路徑一切片和纖維路徑，其中切片路徑中，所有的動作都擁有同樣的繞ζ軸旋轉(zhuǎn)的角度，在基于切片的GACM中，可以定義^為恒等映射，定義fe為旋轉(zhuǎn)變換，此時，在一個切片中的所有平移變換核函數(shù)的加權(quán)和構(gòu)成一個核函數(shù)ki ;纖維路徑中，所有的動作都擁有同樣的相機平面內(nèi)的平移幅度，在基于纖維的GACM中，可以定義ge為先平移輸入圖像，再對其進行極坐標變換映射到極坐標空間，定義fe為極坐標變換的逆變換，此時，在一個纖維中的所有旋轉(zhuǎn)變換在極坐標空間內(nèi)只是簡單的加權(quán)運算，對極坐標變換和其逆變換，預先存儲一組與圖像大小相同的查找表來記錄它們相應的坐標；而且其中的逆變換采用嚴格的極坐標變換的伴隨算子，目的是避免由于插值和離散化造成的不連續(xù)性。本發(fā)明的目標在于快速高效的完成整個相機抖動模糊圖像復原工作，而提高速度的關(guān)鍵在于降低ge變換或變換個數(shù)C。給定一個相機動作路徑，純粹的把整個路徑都分解成是多個切片或多個纖維都無法保證得到足夠小的C值，因此，本發(fā)明設(shè)計出一種貪心算法來將相機動作路徑分解成切片和纖維的混合集合，以此來最大程度上降低C值。GACM可以和目前很多種圖像先驗條件和優(yōu)化算法合作實現(xiàn)模糊圖像復原。本發(fā)明中，采用APG-Accelerated proximal gradient算法來獲得最終的復原的圖像。
[0012]為實現(xiàn)以上內(nèi)容，本發(fā)明的具體步驟如下:
[0013]1.估計出相機抖動動作路徑以及動作路徑中每個動作的權(quán)值。用共軛梯度法求解下面的優(yōu)化問題解出W，即動作路徑中每個動作的權(quán)值:
【權(quán)利要求】
1.一種相機抖動造成的模糊圖像復原方法，其特征在于:首先，估計出相機抖動動作路徑；其次，計算出所有的切片狀路徑和纖維狀路徑，用貪心算法來計算切片狀路徑和纖維狀路徑各自占有的比例；然后，用基于混合廣義加性卷積模型GACM的APG算法進行非盲復原；具體包括以下步驟: 1)首先，估計出相機抖動動作路徑及每個動作的權(quán)值，即集合P={Θ = (0z，tx，ty)}和向量W，相機動作路徑上的每個動作都是三維的，并且可以用以下形式的參數(shù)表示Θ =(Θ z，tx，ty)，其中θ ζ是圖像繞ζ軸旋轉(zhuǎn)的角度，tx和ty分別是沿著X軸和y軸平移的量，由初始的假設(shè)得到的清晰圖像L e Rnxn，用共軛梯度法求解下面的優(yōu)化問題解出W，即動作路徑中每個動作的權(quán)值:.2
2.根據(jù)權(quán)利要求1所述相機抖動造成的模糊圖像復原方法，其特征在于:所述的相機抖動動作路徑分解為切片狀路徑和纖維狀路徑這兩種相機動作路徑，其具體步驟為: 1)在實際的相機抖動路徑中，所有以給定的角度繞ζ軸旋轉(zhuǎn)的相機抖動動作在平面內(nèi)的平移動作構(gòu)成切片狀路徑集合，定義為切片； 2)定義fO (X) = Re (X)，g0 (X) = X，則給定一個切片S0,由切片S0中所有動作造成的相機抖動模糊可以模擬為:
3.根據(jù)權(quán)利要求1所述的貪心算法來計算切片狀路徑和纖維狀路徑各自占有的比例，其特征在于:所述的貪心算法的實現(xiàn)步驟為: I)針對混合模型中纖維和切片所占有的比例，首先輸入:動作路徑P和每個動作的權(quán)值W，即每個動作在整個曝光過程中所占的時間；2)初始化所有切片的權(quán)值
【文檔編號】G06T5/00GK103839233SQ201410022280
【公開日】2014年6月4日 申請日期:2014年1月20日 優(yōu)先權(quán)日:2014年1月20日
【發(fā)明者】左旺孟, 鄧紅, 張宏志, 張壘磊, 石堅 申請人:左旺孟, 張宏志, 鄧紅, 石堅, 張壘磊