本發(fā)明涉及圖像質(zhì)量評(píng)價(jià)方法，尤其涉及一種多景深場(chǎng)景離焦序列圖的質(zhì)量評(píng)價(jià)方法。

背景技術(shù)：

隨著數(shù)字圖像和多媒體技術(shù)的快速發(fā)展，各種類型的光學(xué)成像系統(tǒng)也越來(lái)越多，各種成像設(shè)備逐漸走向自動(dòng)化、智能化，自動(dòng)對(duì)焦技術(shù)在光學(xué)成像系統(tǒng)的應(yīng)用越來(lái)越廣泛。在基于數(shù)字圖像處理的自動(dòng)對(duì)焦方法中，比較典型的有主動(dòng)式對(duì)焦和被動(dòng)式對(duì)焦。主動(dòng)對(duì)焦需要在系統(tǒng)中加入額外的測(cè)距系統(tǒng)，增加了系統(tǒng)的成本和系統(tǒng)的復(fù)雜度，同時(shí)對(duì)于有玻璃或者有遮擋物的場(chǎng)景，測(cè)距會(huì)出現(xiàn)問(wèn)題，因此，主動(dòng)式對(duì)焦技術(shù)慢慢地被自動(dòng)式對(duì)焦技術(shù)所取代。被動(dòng)對(duì)焦是通過(guò)分析對(duì)焦過(guò)程中所獲得圖像的模糊程度來(lái)判斷離焦程度，從而指導(dǎo)對(duì)焦過(guò)程的。因此，選擇良好性能的自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)來(lái)判斷圖像的模糊程度從而指引自動(dòng)對(duì)焦系統(tǒng)準(zhǔn)確地對(duì)焦是問(wèn)題的關(guān)鍵。由于對(duì)焦評(píng)價(jià)函數(shù)的重要性，圖像清晰度的評(píng)價(jià)已成為一個(gè)熱門的研究領(lǐng)域。理想的對(duì)焦評(píng)價(jià)函數(shù)應(yīng)該具有無(wú)偏性、單峰性、靈敏性、穩(wěn)定性，在某些特殊情況下還應(yīng)該對(duì)場(chǎng)景明暗變化以及噪聲有較好的魯棒性。

對(duì)于實(shí)際拍攝的場(chǎng)景而言，經(jīng)常會(huì)存在多景深的情況，此時(shí)自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)會(huì)出現(xiàn)雙峰或多峰的現(xiàn)象，從而影響自動(dòng)對(duì)焦的準(zhǔn)確性。因此，需要對(duì)圖像前后景分離，即將圖像中的前景部分從原始圖像中分離出來(lái)。由于一般情況下人們的興趣區(qū)域?yàn)榍熬皥D像區(qū)域，聚焦區(qū)域應(yīng)選取前景圖像區(qū)域?yàn)閷?duì)焦窗口區(qū)域，減少自動(dòng)對(duì)焦數(shù)據(jù)計(jì)算量的同時(shí)解決雙峰或多峰現(xiàn)象。深度估計(jì)是指從景物圖像中估計(jì)各個(gè)像素的深度信息，進(jìn)而獲得相應(yīng)的全局深度圖。深度估計(jì)主要分為雙目視覺(jué)和單目視覺(jué)兩種，雙目視覺(jué)利用二位投影圖像對(duì)來(lái)恢復(fù)三維景物世界，根據(jù)立體視差獲得景物的三維坐標(biāo)。單目視覺(jué)又分為聚焦法和散焦法，均是利用兩幅或多幅圖像進(jìn)行深度估計(jì)，而對(duì)于自動(dòng)對(duì)焦系統(tǒng)的深度估計(jì)而言，無(wú)法獲取景物目標(biāo)的視差信息，只能單幅圖像中存在的特征進(jìn)行深度估計(jì)。Tang等人發(fā)現(xiàn)離焦會(huì)很大程度地影響物體邊緣位置的頻譜幅度，建立了空間變化的離焦模糊量與邊緣處頻譜對(duì)比度的關(guān)系，從而得到全局散焦深度圖。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于對(duì)于存在多景深現(xiàn)象的場(chǎng)景，提出一種多景深場(chǎng)景離焦序列圖的質(zhì)量評(píng)價(jià)方法。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：一種多景深場(chǎng)景離焦序列圖的質(zhì)量評(píng)價(jià)方法，該方法包括以下步驟：

(1)從離焦序列圖中任意獲取一張大小為m×n的散焦圖像f；

(2)利用高斯卷積將散焦圖像進(jìn)行再模糊，得到圖像d：

d＝f*g(i,j；σ+σ₁) (1)

此過(guò)程中，高斯濾波器為：

其中，i,j表示散焦圖像f中的像素；σ為原始圖像的模糊核，σ₁為所加高斯模糊的模糊核；

(3)對(duì)圖像d進(jìn)行傅里葉變換，獲得D：

(4)采用頻譜對(duì)比度的方法對(duì)D進(jìn)行處理，進(jìn)一步獲得稀疏深度圖然后通過(guò)插值的方法得到全局離焦圖

(5)利用基于熵率的超像素分割方法將全局離焦圖進(jìn)行前后景分割，得到作為對(duì)焦主體的前景圖像a；

(6)對(duì)前景圖像a進(jìn)行形態(tài)學(xué)二值化處理，選取灰度值大于閾值Ta的部分得到前景二值圖b：

a_i,j表示像素i,j處的灰度值。

再對(duì)前景二值圖b進(jìn)行膨脹操作，得到前景模板c：

其中，Rid是R×R的結(jié)構(gòu)元素；是膨脹操作；

(7)將前景模板c作用于離焦序列圖，利用評(píng)價(jià)函數(shù)計(jì)算離焦序列的評(píng)價(jià)函數(shù)曲線。

本發(fā)明的有益效果在于：通過(guò)單幅圖像深度估計(jì)的方法解決了由于多景深拍攝場(chǎng)景而引起的評(píng)價(jià)函數(shù)曲線出現(xiàn)雙峰甚至多峰的問(wèn)題，進(jìn)一步結(jié)合基于熵率的超像素分割方法克服了全局深度圖中紋理信息的影響，從而更加準(zhǔn)確地區(qū)分出前景與背景。利用形態(tài)學(xué)的二值化與膨脹手段避免由于對(duì)焦過(guò)程中鏡頭移動(dòng)而引起的景物子在圖像中的漂移，最終利用前景模板作用于離焦序列圖得到的評(píng)價(jià)函數(shù)曲線具有良好的無(wú)偏性、單峰性、靈敏性以及穩(wěn)定性，避免了評(píng)價(jià)函數(shù)曲線出現(xiàn)雙峰和多峰的現(xiàn)象，實(shí)用價(jià)值較高。

附圖說(shuō)明

圖1為發(fā)明方法的流程框圖。

圖2為一組仿真離焦序列圖中任選6幅的示意圖。

圖3為獲得的前景準(zhǔn)焦圖像f。

圖4為通過(guò)深度估計(jì)得到的全局離焦圖

圖5為利用基于熵率的超像素分割方法得到的前景圖像a。

圖6為對(duì)前景圖像進(jìn)行二值化操作得到的前景二值圖b。

圖7為對(duì)前景二值圖進(jìn)行膨脹操作得到的前景模板c。

圖8為利用前景模板作用于離焦序列圖得到的評(píng)價(jià)函數(shù)曲線。

圖9為利用現(xiàn)有方法得到的評(píng)價(jià)函數(shù)曲線。

具體實(shí)施方式

本發(fā)明一種針對(duì)拍攝場(chǎng)景中存在多景深現(xiàn)象的準(zhǔn)焦質(zhì)量評(píng)價(jià)方法，通過(guò)單幅圖像深度估計(jì)的方法并結(jié)合超像素分割得到前景圖像，并通過(guò)形態(tài)學(xué)的二值化和膨脹手段得到前景模板，解決了由于多景深拍攝場(chǎng)景而引起的評(píng)價(jià)函數(shù)曲線出現(xiàn)雙峰甚至多峰的問(wèn)題。最終利用前景模板作用于離焦序列圖得到的評(píng)價(jià)函數(shù)曲線具有良好的無(wú)偏性、單峰性、靈敏性以及穩(wěn)定性，應(yīng)用范圍廣，實(shí)用價(jià)值較高。

下面結(jié)合附圖和實(shí)例進(jìn)行詳細(xì)說(shuō)明：

圖1為本發(fā)明方法的簡(jiǎn)易流程框圖。下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

本實(shí)施例以一組仿真離焦序列圖(40幅)為例，圖2為在一組離焦序列圖中隨意選取6幅圖像示意圖，其中從左至右分別為第1幅、第8幅、第18幅、第28幅、第38幅、第40幅離焦序列仿真圖，其中第38幅為前景準(zhǔn)焦圖。

本實(shí)施例首先采用現(xiàn)有的方法對(duì)40幅圖進(jìn)行離焦量評(píng)價(jià)，由于存在明顯的多景深現(xiàn)象，現(xiàn)有的幾種評(píng)價(jià)方法并不能真實(shí)反映各個(gè)圖的離焦量，如圖9所示。

本實(shí)施例采用第38幅圖像(如圖3)制備前景模板，對(duì)上述40幅圖像進(jìn)行評(píng)價(jià)：

(1)獲取第38幅圖像f，其圖像大小為m×n，如圖3所示；

(2)利用已知的高斯卷積將散焦圖像進(jìn)行再模糊，得到圖像d：

d＝f*g(i,j；σ+σ₁) (1)

此過(guò)程中，高斯濾波器為：

其中，i,j表示散焦圖像f中的像素；σ為原始圖像的模糊核，σ₁為所加高斯模糊的模糊核，這里另σ₁＝0.5；

(3)對(duì)圖像d進(jìn)行傅里葉變換，獲得D：

D＝FG (3)

其中，{d,D},{f,F},{g,G}是傅里葉變換對(duì)；

(4)采用頻譜對(duì)比度的方法對(duì)D進(jìn)行處理，進(jìn)一步獲得稀疏深度圖然后通過(guò)插值的方法得到全局離焦圖如圖4所示；

其中，頻譜對(duì)比度為一個(gè)像素與相鄰像素的絕對(duì)值對(duì)數(shù)差：

其中，B為當(dāng)前像素N×N鄰域的區(qū)域，通常鄰域的大小取N＝3的區(qū)域，通過(guò)非線性回歸分析建立邊緣處頻譜對(duì)比度與空間變化的離焦模糊量的關(guān)系：

c(i)是C(i)的傅里葉變換；

(5)利用基于熵率的超像素分割方法將全局離焦圖進(jìn)行前后景分割，得到作為對(duì)焦主體的前景圖像a，如圖5所示；

(6)對(duì)前景圖像a進(jìn)行形態(tài)學(xué)二值化處理，選取灰度值大于閾值Ta的部分得到前景二值圖b，如圖6所示：

再進(jìn)行膨脹操作分別得到前景模板c，如圖7：

其中，Rid是R×R的結(jié)構(gòu)元素，這里R＝10，是膨脹操作；

(7)將前景模板c作用于離焦序列圖，分別利用現(xiàn)有的Tenengrad、Egradient、Brenner以及Entropy函數(shù)計(jì)算離焦序列的評(píng)價(jià)函數(shù)曲線，如圖8所示。

較好地解決了如圖9所示由于場(chǎng)景中存在多景深問(wèn)題而引起評(píng)價(jià)曲線多峰的現(xiàn)象。

本發(fā)明提出了一種針對(duì)拍攝場(chǎng)景中存在多景深情況的準(zhǔn)焦質(zhì)量評(píng)價(jià)方法，將離焦深度估計(jì)和超像素分割的方法用于提取自動(dòng)對(duì)焦場(chǎng)景的前景中并結(jié)合形態(tài)學(xué)二值化和膨脹避免了對(duì)焦過(guò)程中由于鏡頭移動(dòng)而引起的在景物在圖像中漂移的現(xiàn)象，進(jìn)一步將得到的前景模板作用于離焦序列。該方法解決了由于場(chǎng)景中存在多景深問(wèn)題而引起評(píng)價(jià)曲線多峰的問(wèn)題。實(shí)用價(jià)值較高，應(yīng)用范圍較廣，具有良好的無(wú)偏性、單峰性、靈敏性、穩(wěn)定性。