一種面向移動(dòng)終端的抖動(dòng)模糊圖像復(fù)原方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更具體涉及一種面向移動(dòng)終端的抖動(dòng)模糊圖像復(fù) 原方法。
【背景技術(shù)】
[0002] 移動(dòng)終端的內(nèi)置相機(jī)在拍攝圖片過(guò)程中，不可避免的會(huì)由于各種原因的抖動(dòng)而導(dǎo) 致圖像產(chǎn)生模糊，而多數(shù)時(shí)候拍攝瞬間具有不可重現(xiàn)性，因此對(duì)拍攝的模糊圖像進(jìn)行復(fù)原 就十分有必要。市場(chǎng)上絕大部分的移動(dòng)終端都內(nèi)置陀螺儀，這使得獲取移動(dòng)終端在相機(jī)快 門開(kāi)啟時(shí)間內(nèi)的運(yùn)動(dòng)信息成為可能，根據(jù)移動(dòng)終端的運(yùn)動(dòng)信息就能獲取該時(shí)間內(nèi)的抖動(dòng) PSF模板，然后根據(jù)圖像復(fù)原算法和上述的抖動(dòng)PSF模板對(duì)該模糊圖片進(jìn)行復(fù)原處理，就可 以得到復(fù)原圖像。
[0003] 圖像復(fù)原在圖像處理領(lǐng)域非常重要，其復(fù)原過(guò)程實(shí)際上是一種估計(jì)過(guò)程，根據(jù)圖 像模糊的因素構(gòu)建相應(yīng)的復(fù)原模型，從而采取相應(yīng)的圖像復(fù)原算法對(duì)模糊圖像進(jìn)行復(fù)原， 提高圖像的清晰度，改善其視覺(jué)效果。
[0004] 模糊圖像復(fù)原一直是圖像處理領(lǐng)域的研究熱點(diǎn)和難點(diǎn)，根據(jù)PSF是否已知，模糊 圖像復(fù)原分為盲復(fù)原和非盲復(fù)原，非盲復(fù)原相比盲復(fù)原主要多出PSF的估計(jì)過(guò)程，這往往 是圖像復(fù)原的難點(diǎn)。目前有很多從模糊圖像中直接提取PSF的方法，此類方法復(fù)雜程度高， 計(jì)算時(shí)間較長(zhǎng)，提取效果受圖像內(nèi)容影響較大，適應(yīng)性一般。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了一種面向移動(dòng)終端的抖動(dòng)模糊圖像復(fù)原方 法，其目的在于利用終端內(nèi)置的陀螺儀獲取PSF，然后將其應(yīng)用到非盲復(fù)原算法中對(duì)模糊圖 像進(jìn)行復(fù)原，提高圖像的清晰度。
[0006] 本發(fā)明提供了一種面向移動(dòng)終端的抖動(dòng)模糊圖像復(fù)原方法，包括下述步驟：
[0007] (1)獲得一幅移動(dòng)終端抖動(dòng)時(shí)的模糊圖像；
[0008] (2)通過(guò)陀螺儀獲得相機(jī)快門開(kāi)啟時(shí)間內(nèi)，與移動(dòng)終端抖動(dòng)軌跡相關(guān)的輸出序 列；
[0009] 其中，輸出序列為mXn組數(shù)據(jù)，數(shù)據(jù)格式為（Gxl,Gyl,Gzl,tj，m為陀螺儀的采樣頻 率，n為相機(jī)的快門開(kāi)啟時(shí)間，下標(biāo)i表示輸出序列號(hào)，取值為1，2，……，mXn，Gxl表示第 i組繞X軸旋轉(zhuǎn)的角速度，Gyl表示第i組繞Y軸旋轉(zhuǎn)的角速度，GZ1表示第i組繞Z軸旋轉(zhuǎn) 的角速度，h表示第i組數(shù)據(jù)的采樣時(shí)刻，X軸為相機(jī)的視軸，Y軸為像平面的縱軸，Z軸為 像平面的橫軸；
[0010] (3)對(duì)所述輸出序列進(jìn)行積分處理，獲得相機(jī)在其所在XYZ坐標(biāo)系中Y軸和Z軸的 轉(zhuǎn)動(dòng)角度，并將所述轉(zhuǎn)動(dòng)角度進(jìn)行坐標(biāo)映射，獲得抖動(dòng)PSF模板；
[0011] (4)根據(jù)所述模糊圖像和所述抖動(dòng)PSF模板，采用圖像復(fù)原算法進(jìn)行復(fù)原處理，獲 得復(fù)原圖像。
[0012] 更進(jìn)一步地，獲得抖動(dòng)PSF模板的步驟具體為：
[0013] (1)初始化一個(gè)空鏈表L，令輸出序列號(hào)i的初始值為1 ;
[0014] (2)對(duì)所述輸出序列進(jìn)行積分處理，獲得相機(jī)在快門開(kāi)啟時(shí)間內(nèi)h時(shí)刻在其所在 XYZ坐標(biāo)系中Y軸的轉(zhuǎn)動(dòng)角度0yjPZ軸的轉(zhuǎn)動(dòng)角度0 zl;
[0015] (3)將相機(jī)在Y軸的轉(zhuǎn)動(dòng)角度0yjPZ軸的轉(zhuǎn)動(dòng)角度0Z1映射到像平面坐標(biāo)系中， 得到像平面中h時(shí)刻的一個(gè)位置點(diǎn)（yi，Zl，A ，并將它添加到鏈表L中；
[0016] 其中，71為ti時(shí)刻Y軸的偏移位置，z$ti時(shí)刻Z軸的偏移位置，At為相機(jī)姿 態(tài)在該位置的保持時(shí)間，y;=hXtan( 0 yi) ,Zi=hXtan( 0zi)，Ah=tpftyh表示相機(jī) 鏡頭焦距；
[0017] (4)判斷i是否等于mXn，若是，則進(jìn)入步驟（5);若否，則i加1，并返回至步驟 (2)；
[0019] (6)初始化一個(gè)（2X|y|_+l)行，（2X|z|_+l)列的全0矩陣M，并令數(shù)據(jù)序列號(hào) j的初始值為1 ;
[0020] (7)取出鏈表L中的第j組數(shù)據(jù)（yj，zj，Atj，將矩陣M中第（yj+1y|_)行第 (zj+IzI_)列的元素值加Atj;
[0021] (8)判斷j是否等于mXn，若是，則進(jìn)入步驟（9);若否，則j加1，并返回至步驟 (7)；
[0022] (9)將矩陣M進(jìn)行歸一化，即得到抖動(dòng)PSF模板。
[0023] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：
[0024] (1)本發(fā)明為了提高模糊圖像的清晰度，對(duì)其進(jìn)行非盲復(fù)原處理，可以估計(jì)出模糊 圖像的PSF;具體地利用陀螺儀輸出序列準(zhǔn)確計(jì)算相機(jī)在快門開(kāi)啟時(shí)間內(nèi)的運(yùn)動(dòng)軌跡，然 后通過(guò)坐標(biāo)映射就可以估計(jì)出模糊圖像的PSF，再將該P(yáng)SF應(yīng)用到非盲復(fù)原算法中對(duì)模湖 圖像進(jìn)行復(fù)原處理，獲得復(fù)原圖像，從而提高了圖像的清晰度。
[0025] (2)本發(fā)明只與終端相機(jī)的狀態(tài)有關(guān)，而與所拍攝圖片的內(nèi)容無(wú)關(guān)；而現(xiàn)有的PSF 提取方法大多在分析模糊圖像的內(nèi)容后，根據(jù)先驗(yàn)知識(shí)對(duì)PSF進(jìn)行估計(jì)和提取，這些方法 計(jì)算量大且使用范圍多有局限性，本發(fā)明只需要根據(jù)終端相機(jī)姿態(tài)變化的輸出序列進(jìn)行模 糊圖像的PSF提取，與拍攝內(nèi)容無(wú)關(guān)，適用性強(qiáng)。
[0026] (3)本發(fā)明根據(jù)移動(dòng)終端內(nèi)置的陀螺儀的輸出序列直接計(jì)算模糊圖像的PSF，而 這些數(shù)據(jù)量比較有限，因此本發(fā)明在PSF提取上復(fù)雜程度很低，計(jì)算量很小。
[0027] (4)純數(shù)字化處理，不需要添加額外的硬件，成本低廉。通過(guò)上面的描述可以看出， 本發(fā)明只根據(jù)移動(dòng)終端內(nèi)置的陀螺儀就能得到理想的結(jié)果，復(fù)原操作純數(shù)字化，完全不需 要其他輔助硬件設(shè)備，成本低廉，具有廣泛的實(shí)用價(jià)值。
【附圖說(shuō)明】
[0028] 圖1是本發(fā)明實(shí)施例提供的相機(jī)XYZ坐標(biāo)系圖，其中X軸為相機(jī)的視軸，Y軸為像 平面的縱軸，Z軸為像平面的橫軸；
[0029] 圖2是本發(fā)明實(shí)施例提供的復(fù)原流程圖；
[0030] 圖3是本發(fā)明實(shí)施例提供的輸出序列到像平面的坐標(biāo)關(guān)系圖；
[0031] 圖4是本發(fā)明實(shí)施例提供的PSF的提取流程圖；
[0032] 圖5是本發(fā)明實(shí)施例提供的實(shí)際復(fù)原效果對(duì)比圖，其中圖（a)、（b)為兩幅模糊圖 像，圖（c)是圖（a)的復(fù)原效果圖，圖⑷是圖（b)的復(fù)原效果圖。
【具體實(shí)施方式】
[0033] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0034] 相機(jī)的抖動(dòng)分為平動(dòng)和旋轉(zhuǎn)，平動(dòng)對(duì)圖像質(zhì)量的影響較小，可以不考慮，旋轉(zhuǎn)對(duì)圖 像質(zhì)量的影響很大，是造成圖像模糊的主要原因。圖1是本實(shí)施例提供的相機(jī)XYZ坐標(biāo)系 圖，其中X軸為相機(jī)的視軸，Y軸為像平面的縱軸，Z軸為像平面的橫軸。相機(jī)的旋轉(zhuǎn)就是繞 著X軸、Y軸和Z軸的旋轉(zhuǎn)。而繞X軸的旋轉(zhuǎn)對(duì)成像的影響比較小，所以也可以不考慮。
[0035] 本發(fā)明提供了一種面向移動(dòng)終端的抖動(dòng)模糊圖像復(fù)原方法，能夠估計(jì)出相機(jī)快門 開(kāi)啟時(shí)間內(nèi)的抖動(dòng)PSF模板，并用此PSF模板進(jìn)行抖動(dòng)模糊圖像的數(shù)字化復(fù)原。本發(fā)明利 用移動(dòng)終端內(nèi)置的陀螺儀獲得相機(jī)繞所述X軸、Y軸和Z軸旋轉(zhuǎn)的輸出序列，然后估計(jì)出相 機(jī)在快門開(kāi)啟時(shí)間內(nèi)的抖動(dòng)軌跡，再通過(guò)坐標(biāo)映射得到模糊圖像的PSF，最后將此PSF應(yīng)用 到圖像復(fù)原算法中對(duì)模糊圖像進(jìn)行數(shù)字復(fù)原，從而提高圖像的清晰度，改善其視覺(jué)效果。由 于相機(jī)和陀螺儀都內(nèi)置于移動(dòng)終端，因此相機(jī)和陀螺儀擁有相同的抖動(dòng)軌跡，所以可以用 陀螺儀在相機(jī)快門開(kāi)啟時(shí)間內(nèi)的輸出序列得到相機(jī)的運(yùn)動(dòng)信息。
[0036] 在本發(fā)明提供的面向移動(dòng)終端的抖動(dòng)模糊圖像復(fù)原方法中，最后需要將抖動(dòng)PSF 模板應(yīng)用到圖像復(fù)原算法中才能對(duì)模糊圖像進(jìn)行復(fù)原，本實(shí)施例選用的圖像復(fù)原算法為 Richardson-Lucy算法。圖2是本發(fā)明實(shí)施例提供的復(fù)原流程圖，具體包括下述步驟：
[0037] (1)獲得一幅移動(dòng)終端抖動(dòng)時(shí)的模糊圖像；
[0038] (2)通過(guò)陀螺儀獲得相機(jī)在快門開(kāi)啟時(shí)間內(nèi)繞所述X軸、Y軸和Z軸旋轉(zhuǎn)的輸出序 列。
[0039] (3)對(duì)上述輸出序列進(jìn)行積分處理，得到快門開(kāi)啟時(shí)間內(nèi)各時(shí)刻相機(jī)Y軸和Z軸的 轉(zhuǎn)動(dòng)角度。
[0040] (4)將步驟（3)中求得的轉(zhuǎn)動(dòng)角度通過(guò)坐標(biāo)轉(zhuǎn)換映射到像平面坐標(biāo)系，得到抖動(dòng) PSF模板。
[0041 ] (5)利用Richardson-Lucy算法對(duì)模糊圖像進(jìn)行復(fù)原。
[0042] Richardson-Lucy復(fù)原算法是一種采用迭代方式的模糊圖像復(fù)原方法，其核心是 利用得到的高信噪比PSF模板進(jìn)行模糊圖像的復(fù)原，步驟（4)中已經(jīng)得到了模糊圖像的 PSF，從而利用Richardson-Lucy算法可以實(shí)現(xiàn)對(duì)移動(dòng)終端拍攝的模糊圖像的復(fù)原。
[0043] 對(duì)于光學(xué)成像系統(tǒng)，PSF被定義為以二維沖擊函數(shù)作為輸入的系統(tǒng)輸出。其中二 維沖擊函數(shù)被定義為如下所示的形式：
[0045] 廣義的抖動(dòng)定義為光學(xué)成像系統(tǒng)PSF中心位置隨時(shí)間變化產(chǎn)生的隨機(jī)偏移。對(duì)點(diǎn) 目標(biāo)來(lái)說(shuō)，抖動(dòng)表現(xiàn)為圖像中目標(biāo)像點(diǎn)在各個(gè)有效采樣時(shí)刻對(duì)其理想位置的偏離，也就是 說(shuō)抖動(dòng)是一種隨機(jī)影響造成的運(yùn)動(dòng)噪聲，表現(xiàn)為目標(biāo)位置在圖像幀內(nèi)的隨機(jī)偏移。此處討 論的抖動(dòng)為廣義上的抖動(dòng)，需要注意的是，當(dāng)成像相機(jī)快門開(kāi)啟時(shí)間足夠短時(shí)，抖動(dòng)不會(huì)造 成PSF在圖像幀內(nèi)的隨機(jī)運(yùn)動(dòng)，也就是說(shuō)抖動(dòng)不影響瞬時(shí)PSF的空間分布特征。不考慮散 焦等原因造成的圖像模糊，抖動(dòng)的圖像在采樣瞬間是清晰的，但是時(shí)間平均的結(jié)果會(huì)造成 圖像的模糊。
[0046] 假設(shè)快門的開(kāi)啟和關(guān)閉所用的時(shí)間非常短，那么光學(xué)成像過(guò)程不會(huì)受到圖像抖動(dòng) 的干擾。原始圖像f(x，y)通過(guò)退化函數(shù)H的作用，得到模糊圖像g(x，y):
[0047] g(x,y) =H[f(x,y)] (2)
[0048] 若退化函數(shù)H是線性的、空間不變的，則退化圖像在空間域通過(guò)下式給出：
[0049] g(x,y) =h(x,y)*f(x,y) (3)
[0050] 其中h(x，y)為退化函數(shù)的空間表示，也稱PSF，表示卷積，對(duì)上式兩邊進(jìn)行傅 里葉變換可以得到
[0051] G(u,v) =H(u,v)F(u,v) (4)
[0052] 其中（u,v)為頻域坐標(biāo)，G(u,v)、H(u,v)和F(u,v)分別對(duì)應(yīng)模糊圖像g(x,y)、退 化函數(shù)h(X,y)和原始圖像f(X,y)的頻域值。
[0053] 步驟（2)中，通過(guò)陀螺儀獲得移動(dòng)終端在快門開(kāi)啟時(shí)間內(nèi)繞所述X軸、