本發(fā)明涉及紅外熱成像技術(shù)領(lǐng)域,具體地說(shuō)涉及一種用于紅外圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法。
背景技術(shù):
通常,紅外熱成像系統(tǒng)是先通過(guò)紅外光學(xué)系統(tǒng)來(lái)探測(cè)采集感興趣目標(biāo)的紅外輻射能量,從信號(hào)的角度去看,紅外熱輻射信號(hào)接著被轉(zhuǎn)換為電信號(hào),然后經(jīng)過(guò)各功能電路處理之后即可生成所需的圖像。在自然界中,由于具有一定溫度的物體都會(huì)發(fā)射與其特性相關(guān)的熱輻射能量,因而此紅外輻射的電磁波頻率范圍很寬。與可見(jiàn)光成像不同的是,非制冷型紅外熱成像系統(tǒng)大多是感受物體熱輻射與背景熱輻射的溫度差異進(jìn)行成像的,并且由于紅外探測(cè)器普遍存在非均勻性等特點(diǎn),使得圖像的質(zhì)量低于可見(jiàn)光圖像。
由于紅外成像的質(zhì)量較低,在處理紅外圖像之前就需要對(duì)圖像質(zhì)量進(jìn)行評(píng)估,并以此來(lái)指導(dǎo)相關(guān)的工作。例如對(duì)紅外圖像的質(zhì)量評(píng)價(jià)可以幫助改進(jìn)設(shè)計(jì)和研制紅外熱成像系統(tǒng)的流程,從而提高紅外焦平面的成像質(zhì)量。由于紅外圖像的質(zhì)量受到各種因素的制約,其中包括:圖像的對(duì)比度、紅外成像系統(tǒng)的光學(xué)性能、圖像放大處理電路的性能、儀器和環(huán)境的噪聲等,因此紅外圖像質(zhì)量的評(píng)價(jià)結(jié)果,還可以反饋至紅外圖像的獲取、傳輸和處理等各個(gè)環(huán)節(jié),對(duì)于紅外熱成像系統(tǒng)的定性評(píng)價(jià)具有重要的意義和實(shí)際應(yīng)用價(jià)值。另外可對(duì)采集的一系列紅外圖像進(jìn)行質(zhì)量排序,便于挑選質(zhì)量較高的圖像,為后續(xù)的圖像匹配、圖中目標(biāo)檢測(cè)與識(shí)別等處理方法提供樣本基礎(chǔ),同時(shí)也可為處理算法的對(duì)比提供評(píng)價(jià)指標(biāo)依據(jù)。
目前在國(guó)際和國(guó)內(nèi)的形容上,圖像質(zhì)量評(píng)價(jià)研究仍然是計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域的熱點(diǎn)問(wèn)題,不同的研究團(tuán)隊(duì)相繼推出了供圖像質(zhì)量評(píng)價(jià)研究的各類數(shù)據(jù)庫(kù)已超過(guò)30個(gè),每年有關(guān)圖像質(zhì)量評(píng)價(jià)的新理論、新方法、改進(jìn)和擴(kuò)展方法、應(yīng)用文章在重要國(guó)際期刊(TPAMI、TIP、IJCV;etc.)和會(huì)議(CVPR、ICCV、ECCV、ICIP;etc.)上相繼發(fā)表。
一直以來(lái),學(xué)者們對(duì)圖像質(zhì)量評(píng)價(jià)的研究主要沿著三條技術(shù)路線同步展開(kāi):一是人眼視覺(jué)特性(Human Visual System,HVS)的理論研究;二是圖像質(zhì)量評(píng)價(jià)理論和方法的創(chuàng)新;三是結(jié)合實(shí)際圖像質(zhì)量評(píng)價(jià)方法的拓展應(yīng)用。三條技術(shù)主線緊密結(jié)合,相互促進(jìn),使得圖像質(zhì)量評(píng)價(jià)研究呈現(xiàn)欣欣向榮的局面。
圖像質(zhì)量的評(píng)價(jià)研究最早可追溯到1940年,Goldmark和Dyer首次對(duì)電視圖像質(zhì)量的影響因素進(jìn)行了分析,將其分為:清晰度、對(duì)比度、顏色等級(jí)、亮度、閃爍、幾何失真、圖像大小、顏色、噪聲。雖然沒(méi)有建立相應(yīng)的評(píng)價(jià)方法,但給后續(xù)的研究提供了有益的啟發(fā)和借鑒,現(xiàn)在許多算法仍然使用其中的評(píng)價(jià)因子。
1952年Winch首次提出了針對(duì)彩色電視圖像質(zhì)量的客觀評(píng)價(jià)方法,文中指出質(zhì)量評(píng)價(jià)的原則是基于數(shù)據(jù)特性的質(zhì)量因子提取需與主觀表現(xiàn)相符合;尤其值得一提的是1955年Fellgett和Linfoot設(shè)計(jì)的“基于相似性評(píng)價(jià)”和“基于內(nèi)容評(píng)價(jià)”的重要評(píng)價(jià)策略,沿用至今。
如何將人眼視覺(jué)特性引入圖像質(zhì)量評(píng)價(jià)過(guò)程也是研究的焦點(diǎn),上世紀(jì)60年代至70年代初,學(xué)者們對(duì)人眼視覺(jué)特性描述進(jìn)行了有益的探索和研究,相繼提出了亮度敏感度、對(duì)比敏感度、視覺(jué)遮掩效應(yīng)等開(kāi)創(chuàng)性成果;在此基礎(chǔ)上人們?cè)?0年代對(duì)人眼視覺(jué)模型進(jìn)行了深入研究,提出了如多通道、對(duì)比遮掩等新模型并嘗試將其引入評(píng)價(jià)過(guò)程中,取得了較好的效果。在HVS特性研究方面,人們通過(guò)分析視覺(jué)刺激的變化與視覺(jué)心理感知的關(guān)系從而獲得對(duì)HVS更深入的認(rèn)識(shí),現(xiàn)在大多數(shù)評(píng)價(jià)算法都直接或間接地應(yīng)用了HVS特性。
1990年以后,隨著計(jì)算機(jī)軟硬件技術(shù)的飛速發(fā)展,數(shù)字圖像得以大量應(yīng)用,學(xué)者們也將評(píng)價(jià)對(duì)象聚焦在數(shù)字圖像上。DCT、DWT等時(shí)頻工具不斷地被用于圖像質(zhì)量評(píng)價(jià)中;同時(shí)人們對(duì)HVS模型進(jìn)行了深化研究,在評(píng)價(jià)過(guò)程引入了越來(lái)越多的HVS特性;與此同時(shí)也開(kāi)始關(guān)注特定失真類型圖像的評(píng)價(jià)問(wèn)題,提出了很多有用的方法,在圖像編碼、壓縮等領(lǐng)域得以實(shí)際應(yīng)用;在此階段另一個(gè)典型的成果是針對(duì)自然場(chǎng)景統(tǒng)計(jì)特性的深入分析研究,得出自然圖像的變換統(tǒng)計(jì)因子趨近于拉普拉斯分布的重要結(jié)論,且經(jīng)過(guò)研究發(fā)現(xiàn)失真會(huì)一定程度影響這一分布,從而采用該分布的參數(shù)變化來(lái)度量失真對(duì)圖像質(zhì)量的影響;該工作為基于自然場(chǎng)景統(tǒng)計(jì)特性(Natural Scene Statistics,NSS)的經(jīng)典評(píng)價(jià)方法的產(chǎn)生奠定了理論基礎(chǔ)。
2000年以后,圖像質(zhì)量評(píng)價(jià)迎來(lái)了研究熱潮,逐漸成為數(shù)字圖像處理領(lǐng)域的一個(gè)活躍分支;一般將其分為主觀(Subjective)和客觀(Objective)評(píng)價(jià)兩類。主觀評(píng)價(jià)方法時(shí)間長(zhǎng)長(zhǎng)、成本高、過(guò)程復(fù)雜且對(duì)環(huán)境要求苛刻,應(yīng)用起來(lái)較為困難,故常被用來(lái)作為評(píng)估各種客觀評(píng)價(jià)算法的標(biāo)準(zhǔn)(Ground Truth);客觀評(píng)價(jià)方法則通過(guò)模擬人眼視覺(jué)感知機(jī)制而建立相應(yīng)模型,模型的輸出為定量數(shù)值,從而為衡量圖像質(zhì)量給出量化指標(biāo),該方法簡(jiǎn)單容易實(shí)現(xiàn)、效率高和便于集成在大興數(shù)字圖像處理系統(tǒng)中,客觀評(píng)價(jià)方法根據(jù)是否需要利用原始參考圖像又可分為全參考型、弱參考型、無(wú)參考型(也稱盲評(píng))三種。
在圖像質(zhì)量評(píng)價(jià)理論方面,學(xué)者們逐漸將研究焦點(diǎn)由全參考和弱參考轉(zhuǎn)移到無(wú)參考評(píng)價(jià)上,無(wú)參考評(píng)價(jià)理論研究的技術(shù)趨勢(shì)為:由特定失真(Distortion Specific)、混合失真向非限定失真發(fā)展(Non-Distortion Specific)、由主觀得分已知(Opinion Aware)向主觀得分未知(Opinion Unaware)發(fā)展。
基于特定失真的方法,是指算法評(píng)價(jià)的失真類型是已知。例如:針對(duì)JPEG壓縮圖像的塊效應(yīng),主要有Wang等人分別提出了一種基于空域和頻域特征提取的質(zhì)量評(píng)價(jià)方法和Bovik等人在離散余弦變換域?qū)PEG壓縮圖進(jìn)行質(zhì)量評(píng)價(jià)。針對(duì)JPEG2000壓縮引起的模糊失真和振鈴效應(yīng),Sheikh等人提出利用自然場(chǎng)景統(tǒng)計(jì)的信息來(lái)進(jìn)行評(píng)價(jià),由于圖像壓縮量化后比自然圖像產(chǎn)生了更多的零系數(shù),該方法正是基于這一點(diǎn)利用小波系數(shù)的統(tǒng)計(jì)模型來(lái)計(jì)算和提取特征。針對(duì)模糊失真會(huì)對(duì)圖像邊緣產(chǎn)生影響,研究人員采用空域度量邊緣寬度或擴(kuò)散程度來(lái)估計(jì)圖像模糊的程度。
上述都針對(duì)特定失真類型而設(shè)計(jì)的方法,具有很大的限制性。無(wú)參考型方法的最終目的就是需要設(shè)計(jì)在無(wú)任何參考信息的情況下針對(duì)不同類型失真都適用的方法??梢詫⑺譃閮深悾褐饔^得分已知但失真類型未知(OA-DU)、主觀得分和失真類型均未知(OU-DU)。OA-DU算法需要借助圖像的主觀評(píng)分進(jìn)行訓(xùn)練,目前主要分為兩條研究主線:兩步框架法和全局方法。所謂的兩步框架法是先對(duì)圖像中存在的失真類型進(jìn)行分類,然后運(yùn)用特定失真評(píng)價(jià)方法分別對(duì)圖像的各類失真程度進(jìn)行度量。該類典型的算法包括BIQI和DIIVINE。BIQI算法首先使用廣義高斯模型(Generalized Gaussian Distribution,GGD)提取圖像的特征,然后采用支持向量回歸(Support Vector Regression,SVR)的方法分別對(duì)每一類失真的程度進(jìn)行度量。DIIVINE是BIQI的改進(jìn),主要是區(qū)別就是使用的特征變?yōu)?8個(gè)自然場(chǎng)景統(tǒng)計(jì)特征。兩步框架法需要先定義圖像的失真類型,并且要有針對(duì)這些失真類型的質(zhì)量評(píng)價(jià)方法,具有一定的局限性。因此,需要設(shè)計(jì)一種全局法,在不區(qū)分失真類型的情況下,運(yùn)用或者設(shè)計(jì)合理、有效的機(jī)器學(xué)習(xí)算法,尋找圖像及其特征到圖像質(zhì)量的有效映射,從而對(duì)圖像質(zhì)量進(jìn)行評(píng)估,典型的方法有:LBIQ,BLIINDS,BLIINDS-II,CORNIA和SRNSS等。Tang等人提出的LBIQ方法分別對(duì)三組特征進(jìn)行回歸分析的到質(zhì)量,最后綜合得到最終質(zhì)量。Bovik等人提出了運(yùn)用神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)的方法將特征映射到質(zhì);同時(shí)提出了BLIINDS和BLIINDS-II方法,運(yùn)用機(jī)器學(xué)習(xí)方法進(jìn)行質(zhì)量評(píng)價(jià)。Doermann等人提出的CORNIA方法,則運(yùn)用了支持向量機(jī)建立特征到質(zhì)量的關(guān)系。Gao等人提出的SRNSS則是利用了稀疏表示的方法,有效的解決了訓(xùn)練時(shí)需要大量主觀測(cè)試樣本的問(wèn)題。
OU-DU是指這類算法不需要訓(xùn)練圖像的主觀評(píng)分。例如:QAC、BLISS算法,這類算法沒(méi)有利用圖像的主觀評(píng)分,但是借用全參考算法先評(píng)價(jià)訓(xùn)練圖像,這就相當(dāng)于給訓(xùn)練圖像打上了標(biāo)簽,這類算法的優(yōu)勢(shì)是不需要利用國(guó)際通用圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)中的圖像樣本進(jìn)行訓(xùn)練,從而使得訓(xùn)練圖像的獲取范圍更大,普適性強(qiáng)。NIQE算法是訓(xùn)練圖像的過(guò)程就相當(dāng)于構(gòu)造出了“參考圖像”,它的訓(xùn)練圖像也不需要來(lái)源于國(guó)際通用圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)。
除此之外,還有一些基于機(jī)器學(xué)習(xí)的質(zhì)量評(píng)價(jià)算法,例如有研究者將峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)信息作為描述圖像質(zhì)量的參數(shù),采用支持向量機(jī)(Support Vector Machine,SVM)進(jìn)行分類,繼而通過(guò)神經(jīng)網(wǎng)絡(luò)產(chǎn)生基于分類的圖像質(zhì)量評(píng)價(jià)模型。尤其值得關(guān)注的是近年來(lái)隨著深度學(xué)習(xí)研究的進(jìn)一步深化,基于深度學(xué)習(xí)的無(wú)參考質(zhì)量評(píng)價(jià)方法也逐漸成為研究的熱點(diǎn)。
2013年Damon M.Chandler發(fā)表了一篇53頁(yè)的綜述長(zhǎng)文,對(duì)圖像質(zhì)量評(píng)價(jià)的過(guò)去、研究現(xiàn)狀進(jìn)行了深入分析,提出了圖像質(zhì)量評(píng)價(jià)面臨的七個(gè)挑戰(zhàn)。正是因?yàn)閳D像質(zhì)量評(píng)價(jià)面臨如此多的困難和挑戰(zhàn),才使得該方向的研究方興未艾,40多年前領(lǐng)域研究專家Z.Budrikis所稱的“評(píng)價(jià)問(wèn)題的徹底解決(Full Evaluations)是不可能完成的任務(wù)”這一論斷至今仍然有效,但相信通過(guò)國(guó)內(nèi)外學(xué)者的共同努力,不遠(yuǎn)的將來(lái)定會(huì)逼近“徹底解決”這一目標(biāo)。
目前針對(duì)紅外圖像的質(zhì)量評(píng)價(jià)研究較少,徐悅等人從研究影響紅外圖像質(zhì)量的各種噪聲入手,對(duì)其產(chǎn)生原因、對(duì)圖像質(zhì)量的影響和評(píng)價(jià)檢測(cè)方法等做了深入分析,但主要側(cè)重非均勻性噪聲的度量,評(píng)價(jià)結(jié)果有一定的局限性。杜少波等人主要針對(duì)紅外圖像的模糊度對(duì)圖像質(zhì)量進(jìn)行評(píng)估,將模糊熵理論引入到紅外圖像質(zhì)量評(píng)價(jià)方法中,但是所提出的方法只是針對(duì)模糊紅外圖像,不能很好的評(píng)價(jià)其他類型的失真圖像。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于針對(duì)上述現(xiàn)有技術(shù)的缺陷,提供一種用于紅外圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法,在綜合分析經(jīng)典無(wú)參考圖像質(zhì)量評(píng)價(jià)方法和紅外圖像特點(diǎn)的基礎(chǔ)上,提取了能夠表征紅外輻射特性的輪廓、紋理和點(diǎn)特征,并結(jié)合目標(biāo)顯著性構(gòu)建基于混合特征和顯著性檢測(cè)的紅外圖像質(zhì)量評(píng)價(jià)模型,該質(zhì)量評(píng)價(jià)模型以實(shí)拍紅外圖像為樣本,以主觀評(píng)測(cè)作為度量基準(zhǔn),能夠更好地評(píng)價(jià)紅外圖像。
為實(shí)現(xiàn)上述目的,本發(fā)明所采取的技術(shù)方案是:
一種用于紅外圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法,該無(wú)參考質(zhì)量評(píng)價(jià)方法的步驟為:
S1、基于輪廓特征的顯著度度量
將那些在樣式與周圍差異明顯的像素點(diǎn)定義為圖像中的顯著區(qū)域,計(jì)算每一個(gè)圖像塊和所有圖像塊的平均值之間的距離作為評(píng)價(jià)顯著性的尺度,計(jì)算公式為:
其中,為px為圖像塊,pA為平均塊;
該塊之間的距離計(jì)算為擴(kuò)展到主成分(principal components)領(lǐng)域的計(jì)算,找出所有圖像塊中起決定作用的主要圖像塊,然后沿著主成分的分布來(lái)計(jì)算塊與平均塊之間的距離,距離越大就越顯著,從中檢測(cè)出圖像中目標(biāo)的形狀與具體位置;該計(jì)算方法為:
為px在PCA域的坐標(biāo);
S2、基于灰度共生矩陣的紋理特征度量
以條件概率提取紋理的特征,反映灰度圖像中關(guān)于方向、間隔和變化幅度方面的灰度信息,并將之用于分析圖像的局部特征以及紋理的分布規(guī)律;
設(shè)某個(gè)點(diǎn)對(duì)的間隔為d,兩點(diǎn)之間連線與軸的方向角為θ兩點(diǎn)灰度級(jí)分別為i和j,則其共生矩陣可以表示為[P(i,j,d,θ)],點(diǎn)(i,j)處的值代表滿足對(duì)應(yīng)條件的數(shù)目值;
設(shè)給定d值和θ值,將共生矩陣內(nèi)各個(gè)元素進(jìn)行歸一化處理并記為P(i,j),提取出描述紋理特征的一系列特征值如下:
(1)角二階矩
角二階矩描述的是圖像灰度均勻分布的特性,粗紋理的值較大,細(xì)紋理的值較??;如果P(i,j)的值分布均勻,則N1值較?。划?dāng)P(i,j)的值分布并不均勻時(shí),呈現(xiàn)出部分值大而部分值小時(shí),N1的值較大;
(2)慣性矩
慣性矩參數(shù)反映矩陣中取值較大的元素遠(yuǎn)離主對(duì)角線的程度,N2值越大則說(shuō)明大值元素到對(duì)角線的距離越遠(yuǎn),因此粗紋理的N2值較小,而細(xì)紋理的N2值較大;
(3)熵
熵表示了圖像中紋理的非均勻程度或復(fù)雜程度;粗紋理N3值較小,細(xì)紋理N3值較大;當(dāng)各P(i,j)都相等時(shí),N3取最大值;
(4)相關(guān)
其中有:
(5)逆差矩
逆差矩反映矩陣中大值元素到主對(duì)角線的集中程度,N5值越大,大值元素越集中;
S3、基于SIFT的點(diǎn)特征度量
將Porikli提出的積分直方圖(integral histogram)擴(kuò)展到任意維空間和任意向量表示,首先通過(guò)傳播來(lái)產(chǎn)生積分直方圖;之后通過(guò)相交計(jì)算目標(biāo)區(qū)域的直方圖;
假定d維實(shí)數(shù)笛卡兒空間中的函數(shù)f定義為:X→f(X),其中,X={....,是這一空間中的點(diǎn);該函數(shù)映射到K維向量F([X1....,])=....,];
假定d維數(shù)據(jù)空間約束在....范圍內(nèi),0≤Xi≤Ni;沿著一系列點(diǎn),......的第P階點(diǎn)的積分直方圖H(Xp,b)定義為
式中Q(.)為當(dāng)前點(diǎn)相應(yīng)的bin值,U為并操作,定義為:H(Xp,b)的bin值等于以前訪問(wèn)過(guò)的點(diǎn)的直方圖bin值,當(dāng)J<p時(shí),所有Q(f(Xj))的和H(Xp,b)是原始點(diǎn)和當(dāng)前點(diǎn)之間區(qū)域的直方圖;
當(dāng)XN=為空間中最后一個(gè)點(diǎn)時(shí),H(Xp,b)等于所有點(diǎn)的直方圖;積分直方圖寫(xiě)成H(Xj,b)=H(Xj-1,b)UQ(f(Xj))初始條件為H(0,b)=0,表示所有bin在初始時(shí)為空;每一步中,當(dāng)前點(diǎn)的積分直方圖的值由其三個(gè)鄰域直方圖的值獲得,當(dāng)前點(diǎn)對(duì)應(yīng)的bin值加1;
區(qū)域T的直方圖可以由它所在區(qū)域的四個(gè)邊緣點(diǎn)的積分直方圖獲得,在×灰度圖像中,從左上點(diǎn)的波陣面掃描法實(shí)現(xiàn)傳播得到積分直方圖模板,表示為:
H(x1,x2,b)=H(x1-1,x2,b)+H(x1,x2-1,b)-H(x1-1,x2-1,b)+Q(f(x1,x2)) (2-11)
采用積分直方圖建立S IFT描述子,對(duì)于每組的每層圖像,傳播產(chǎn)生積分直方圖模板,對(duì)于每一個(gè)關(guān)鍵點(diǎn),其梯度直方圖在恒定時(shí)間內(nèi)求出;
S4、把特征點(diǎn)的數(shù)量作為質(zhì)量得分產(chǎn)生依據(jù)
1、采用形狀域差異檢測(cè)和計(jì)算樣本圖像的視覺(jué)顯著性,給出顯著度圖;
2、采用灰度共生矩陣中的優(yōu)選參數(shù)計(jì)算樣本圖像的紋理特征,并給出基于這一參數(shù)的紋理圖;
3、累加顯著度圖和紋理圖得到最終的特征圖像;
4、采用SIFT算法分別計(jì)算樣本圖像和特征圖像的特征點(diǎn)數(shù)量;
5、樣本圖像的質(zhì)量得分即為兩個(gè)特征點(diǎn)數(shù)量之比。
與現(xiàn)有技術(shù)相比,本發(fā)明所取得的有益效果是:
本發(fā)明的用于紅外圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法,(1)圖像特征的高效、準(zhǔn)確提取對(duì)于構(gòu)建圖像質(zhì)量模型至關(guān)重要,由于影響紅外圖像的因素很多加上成像機(jī)理制約著圖像的質(zhì)量,我們提取了三大類質(zhì)量特征因子集,后續(xù)結(jié)果表明特征的選取是有效的;
(2)我們針對(duì)紅外圖像,設(shè)計(jì)構(gòu)建了無(wú)參考質(zhì)量評(píng)價(jià)模型,進(jìn)行了相應(yīng)的Matlab實(shí)現(xiàn),并以實(shí)拍紅外圖像進(jìn)行了實(shí)驗(yàn)驗(yàn)證,結(jié)果表明提出的方法不僅性能優(yōu)越而且在實(shí)際的運(yùn)行代價(jià)上也具有一定的競(jìng)爭(zhēng)力。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例,對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
本發(fā)明用于紅外圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法,該無(wú)參考質(zhì)量評(píng)價(jià)方法的步驟為:
S1、基于輪廓特征的顯著度度量
將那些在樣式與周圍差異明顯的像素點(diǎn)定義為圖像中的顯著區(qū)域,計(jì)算每一個(gè)圖像塊和所有圖像塊的平均值之間的距離作為評(píng)價(jià)顯著性的尺度,計(jì)算公式為:
其中,為px為圖像塊,pA為平均塊;
該塊之間的距離計(jì)算為擴(kuò)展到主成分(principal components)領(lǐng)域的計(jì)算,找出所有圖像塊中起決定作用的主要圖像塊,然后沿著主成分的分布來(lái)計(jì)算塊與平均塊之間的距離,距離越大就越顯著,從中檢測(cè)出圖像中目標(biāo)的形狀與具體位置;該計(jì)算方法為:
為px在PCA域的坐標(biāo);
S2、基于灰度共生矩陣的紋理特征度量
以條件概率提取紋理的特征,反映灰度圖像中關(guān)于方向、間隔和變化幅度方面的灰度信息,并將之用于分析圖像的局部特征以及紋理的分布規(guī)律;
設(shè)某個(gè)點(diǎn)對(duì)的間隔為d,兩點(diǎn)之間連線與軸的方向角為θ兩點(diǎn)灰度級(jí)分別為i和j,則其共生矩陣可以表示為[P(i,j,d,θ)],點(diǎn)(i,j)處的值代表滿足對(duì)應(yīng)條件的數(shù)目值;
設(shè)給定d值和θ值,將共生矩陣內(nèi)各個(gè)元素進(jìn)行歸一化處理并記為P(i,j),提取出描述紋理特征的一系列特征值如下:
(1)角二階矩
角二階矩描述的是圖像灰度均勻分布的特性,粗紋理的值較大,細(xì)紋理的值較??;如果P(i,j)的值分布均勻,則N1值較??;當(dāng)P(i,j)的值分布并不均勻時(shí),呈現(xiàn)出部分值大而部分值小時(shí),N1的值較大;
(2)慣性矩
慣性矩參數(shù)反映矩陣中取值較大的元素遠(yuǎn)離主對(duì)角線的程度,N2值越大則說(shuō)明大值元素到對(duì)角線的距離越遠(yuǎn),因此粗紋理的N2值較小,而細(xì)紋理的N2值較大;
(3)熵
熵表示了圖像中紋理的非均勻程度或復(fù)雜程度;粗紋理N3值較小,細(xì)紋理N3值較大;當(dāng)各P(i,j)都相等時(shí),N3取最大值;
(4)相關(guān)
其中有:
(5)逆差矩
逆差矩反映矩陣中大值元素到主對(duì)角線的集中程度,N5值越大,大值元素越集中;
S3、基于SIFT的點(diǎn)特征度量
將Porikli提出的積分直方圖(integral histogram)擴(kuò)展到任意維空間和任意向量表示,首先通過(guò)傳播來(lái)產(chǎn)生積分直方圖;之后通過(guò)相交計(jì)算目標(biāo)區(qū)域的直方圖;
假定d維實(shí)數(shù)笛卡兒空間中的函數(shù)f定義為:X→f(X),其中,X={....,是這一空間中的點(diǎn);該函數(shù)映射到K維向量F([X1....,])=....,];
假定d維數(shù)據(jù)空間約束在....范圍內(nèi),0≤Xi≤Ni;沿著一系列點(diǎn),......的第P階點(diǎn)的積分直方圖H(Xp,b)定義為
式中Q(.)為當(dāng)前點(diǎn)相應(yīng)的bin值,U為并操作,定義為:H(Xp,b)的bin值等于以前訪問(wèn)過(guò)的點(diǎn)的直方圖bin值,當(dāng)J<p時(shí),所有Q(f(Xj))的和H(Xp,b)是原始點(diǎn)和當(dāng)前點(diǎn)之間區(qū)域的直方圖;
當(dāng)XN=為空間中最后一個(gè)點(diǎn)時(shí),H(Xp,b)等于所有點(diǎn)的直方圖;積分直方圖寫(xiě)成H(Xj,b)=H(Xj-1,b)UQ(f(Xj))初始條件為H(0,b)=0,表示所有bin在初始時(shí)為空;每一步中,當(dāng)前點(diǎn)的積分直方圖的值由其三個(gè)鄰域直方圖的值獲得,當(dāng)前點(diǎn)對(duì)應(yīng)的bin值加1;
區(qū)域T的直方圖可以由它所在區(qū)域的四個(gè)邊緣點(diǎn)的積分直方圖獲得,在×灰度圖像中,從左上點(diǎn)的波陣面掃描法實(shí)現(xiàn)傳播得到積分直方圖模板,表示為:
H(x1,x2,b)=H(x1-1,x2,b)+H(x1,x2-1,b)-H(x1-1,x2-1,b)+Q(f(x1,x2)) (2-11)
采用積分直方圖建立SIFT描述子,對(duì)于每組的每層圖像,傳播產(chǎn)生積分直方圖模板,對(duì)于每一個(gè)關(guān)鍵點(diǎn),其梯度直方圖在恒定時(shí)間內(nèi)求出;
S4、把特征點(diǎn)的數(shù)量作為質(zhì)量得分產(chǎn)生依據(jù)
1、采用形狀域差異檢測(cè)和計(jì)算樣本圖像的視覺(jué)顯著性,給出顯著度圖;
2、采用灰度共生矩陣中的優(yōu)選參數(shù)計(jì)算樣本圖像的紋理特征,并給出基于這一參數(shù)的紋理圖;
3、累加顯著度圖和紋理圖得到最終的特征圖像;
4、采用SIFT算法分別計(jì)算樣本圖像和特征圖像的特征點(diǎn)數(shù)量;
5、樣本圖像的質(zhì)量得分即為兩個(gè)特征點(diǎn)數(shù)量之比。
實(shí)驗(yàn)結(jié)果與分析
測(cè)試圖像數(shù)據(jù)庫(kù)組成
測(cè)試圖像數(shù)據(jù)庫(kù)由兩段實(shí)拍視頻截取圖像及兩個(gè)實(shí)拍圖像庫(kù)構(gòu)成,共2258幅圖像組成,大小為320*240的灰度圖像。為評(píng)估算法有效性,還給出了所有測(cè)試圖像的平均主觀評(píng)分差值(DMOS)。主觀評(píng)價(jià)人員共32人,年齡為18~37。其中DMOS值越高表示圖像質(zhì)量越差,DMOS值越低表示圖像質(zhì)量越好,且DMOS范圍為[0,100]。
實(shí)驗(yàn)結(jié)果及分析
對(duì)測(cè)試圖像庫(kù)分別使用本文算法和7種經(jīng)典無(wú)參考質(zhì)量評(píng)價(jià)算法(BIQI、DIIVINE、BLIINDS-II、CORNIA、QAC、NIQE、IL-NIQE)進(jìn)行質(zhì)量評(píng)估,然后與DMOS比較評(píng)價(jià)算法性能。由于客觀數(shù)據(jù)對(duì)主觀評(píng)價(jià)分?jǐn)?shù)的預(yù)測(cè)關(guān)系存在一定的非線性,在VQEG的測(cè)試和檢驗(yàn)中都允許這樣的非線性的映射。本文實(shí)驗(yàn)采用公式(2-11)、(2-12)所示的對(duì)數(shù)函數(shù)進(jìn)行非線性補(bǔ)償:
quality(x)=β1logistic(β2(x-β3))+β4x+β5 (2-12)
選用兩個(gè)參數(shù)指標(biāo)比較算法的性能:皮爾森線性相關(guān)系數(shù)(PLCC)、斯皮爾曼相關(guān)系數(shù)(SROCC),其中PLCC用于評(píng)測(cè)質(zhì)量模型預(yù)測(cè)的準(zhǔn)確性,SROCC用于評(píng)測(cè)質(zhì)量模型預(yù)測(cè)的單調(diào)性。對(duì)構(gòu)建的紅外圖像數(shù)據(jù)庫(kù),利用8種算法試驗(yàn)對(duì)比SROCC、PLCC結(jié)果如表2.3所示。
表2.3在測(cè)試數(shù)據(jù)庫(kù)上算法性能對(duì)比結(jié)果
從表2.3可以看出本文方法相較于其他7種方法,SROCC和PLCC均取得了最大值,具備較好的單調(diào)性和準(zhǔn)確性(黑體標(biāo)出)。
表2.4各算法的運(yùn)行時(shí)間
此外,為評(píng)估算法運(yùn)行代價(jià),在32位Windows 7操作系統(tǒng)下,以Matlab 2010a為開(kāi)發(fā)工具測(cè)試了本文算法及其他對(duì)比算法的時(shí)間開(kāi)銷。在主頻為2.6GHz Intel-Core-i5-3230CPU,內(nèi)存為4GB的臺(tái)式機(jī)上測(cè)試算法時(shí)間,結(jié)果如表2.4所示。
從表2.4可以發(fā)現(xiàn)本文算法一次評(píng)價(jià)為1.8秒,略高于BIQI、QAC和NIQE,但大大低于DIIVINE、BLIINDS-II和CORNIA,也優(yōu)于IL-NIQE,表現(xiàn)出較強(qiáng)的運(yùn)行效率競(jìng)爭(zhēng)性。
我們針對(duì)紅外圖像偵察手段中缺乏定量、科學(xué)、自動(dòng)化的圖像質(zhì)量評(píng)價(jià)手段問(wèn)題,緊密跟蹤現(xiàn)代圖像質(zhì)量評(píng)價(jià)技術(shù)的發(fā)展,引用并改進(jìn)基于視覺(jué)顯著性的評(píng)價(jià)模型構(gòu)建方法,綜合分析實(shí)拍紅外圖像的成像特點(diǎn),提取三種與質(zhì)量緊密關(guān)聯(lián)的輪廓、紋理和點(diǎn)特征因子,構(gòu)建了相應(yīng)模型并進(jìn)行了算法實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明相較于經(jīng)典質(zhì)量評(píng)價(jià)方法,所提出的方法具有較好的一致性和準(zhǔn)確性。研究主要工作如下:
(1)圖像特征的高效、準(zhǔn)確提取對(duì)于構(gòu)建圖像質(zhì)量模型至關(guān)重要,由于影響紅外圖像的因素很多加上成像機(jī)理制約著圖像的質(zhì)量,我們提取了三大類質(zhì)量特征因子集,后續(xù)結(jié)果表明特征的選取是有效的。
(2)我們針對(duì)紅外圖像,設(shè)計(jì)構(gòu)建了無(wú)參考質(zhì)量評(píng)價(jià)模型,進(jìn)行了相應(yīng)的Matlab實(shí)現(xiàn),并以實(shí)拍紅外圖像進(jìn)行了實(shí)驗(yàn)驗(yàn)證,結(jié)果表明提出的方法不僅性能優(yōu)越而且在實(shí)際的運(yùn)行代價(jià)上也具有一定的競(jìng)爭(zhēng)力。