本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域,涉及圖像處理和優(yōu)化理論問題,具體涉及一種新的基于改進(jìn)核回歸和聯(lián)合估計(jì)的凸組合的超分辨率重建方法。
背景技術(shù):
:隨著信息化時(shí)代的加深,多媒體信息得到了爆炸式的增長(zhǎng),在人們的周圍無時(shí)無刻不充斥著各種各樣的數(shù)字化信息(如圖像、音頻、視頻等)。而伴隨著圖像、視頻技術(shù)的廣泛應(yīng)用與日趨成熟,人們對(duì)于數(shù)字圖像、視頻質(zhì)量的要求越來越高。在實(shí)際的應(yīng)用場(chǎng)景中(如手機(jī)拍攝的照片,或者監(jiān)控錄像),通常要求比較清晰的圖像或者視頻以用于數(shù)字圖像、視頻的后處理與分析,而與圖像清晰度密切相關(guān)的一個(gè)概念就是圖像的分辨率。分辨率的定義是成像設(shè)備展現(xiàn)物體良好細(xì)節(jié)的能力。所以一種思路是直接從成像設(shè)備硬件方面下手,這種改善分辨率的方法有兩種。一種是增加所采集圖像的像素?cái)?shù)量,但這種方法會(huì)帶來更多的噪聲污染從而減少圖像信噪比而且還會(huì)增加采集時(shí)間,第二種方法是是增加晶片尺寸,但價(jià)格昂貴性價(jià)比不高。因此,一種可替代上述方法的提升圖像分辨率的技術(shù)出現(xiàn)了,即圖像超分辨率重建技術(shù),這種技術(shù)相對(duì)容易實(shí)現(xiàn)而且不會(huì)帶來而外的開銷,還能帶來良好的視覺效果。這種方法在計(jì)算機(jī)視覺和圖像處理領(lǐng)域有很多應(yīng)用,而且在需要展現(xiàn)重要細(xì)節(jié)的場(chǎng)合顯得尤為重要,比如從低質(zhì)量的監(jiān)控或者手機(jī)視頻中分辨清楚文本或者其他小細(xì)節(jié)時(shí)。在現(xiàn)有的圖像超分辨率重建方法中,根據(jù)輸入低分辨率圖像的數(shù)量廣義分為單幀超分辨率重建(SingleFrameSuperResolution,SFSR)和多幀超分辨率重建(Multi-FrameSuperResolution,MFSR)。SFSR技術(shù)大多是通過從很多訓(xùn)練集HR圖像中估計(jì)得到高頻成分彌補(bǔ)輸入LR圖像中丟失的高頻信息,而MFSR技術(shù)是通過合并所有LR圖像的信息獲得HR圖像。本發(fā)明屬于MFSR技術(shù)的范疇。MFSR技術(shù)的性能主要取決于運(yùn)動(dòng)參數(shù)估計(jì)的準(zhǔn)確性。MFSR方法可以分為頻域法和空域法兩類。頻域法實(shí)際上是在頻域內(nèi)解決圖像內(nèi)插問題,其觀察模型是基于傅里葉變換的移位特性,但頻域法僅限于全局平移運(yùn)動(dòng)和模型,且頻域中缺乏數(shù)據(jù)相關(guān)性,很難包含空域先驗(yàn)知識(shí),因此目前已不再成為研究主流??沼蚍ㄊ窃谙袼爻叨壬?通過對(duì)像素點(diǎn)的變換、約束而提高空間分辨率。主要的空域法有非均勻插值法,迭代反投影算法,凸集投影法,以及基于貝葉斯框架的方法-最大后驗(yàn)概率法和各種方法的混合。三十多年來,國(guó)內(nèi)外學(xué)者對(duì)MFSR方法進(jìn)行了深入的研究,取得了豐碩的成果,包括對(duì)先驗(yàn)知識(shí)模型的討論,提出新的運(yùn)動(dòng)估計(jì)方法,對(duì)現(xiàn)有方案的分析和改進(jìn)等。然而,多幀低分辨率圖像的重建研究和應(yīng)用還存在以下問題:(1)需要更加精準(zhǔn)有效的圖像配準(zhǔn)(即精確的運(yùn)動(dòng)估計(jì)),消除配準(zhǔn)帶來的重建誤差;(2)需要更加快速的重構(gòu),由于基于多幀重構(gòu)的方法多是迭代求解,在實(shí)時(shí)性上還有待提高,其插值重建后存在像素整體灰度值的偏離較大和空洞的問題;(3)需要更加穩(wěn)健的魯棒性,減少量化誤差或噪聲對(duì)重建圖像影響。技術(shù)實(shí)現(xiàn)要素:本發(fā)明的發(fā)明目的在于:針對(duì)上述存在的問題,提供一種對(duì)噪聲魯棒、且能精準(zhǔn)的估計(jì)運(yùn)動(dòng)信息的新的基于改進(jìn)核回歸和聯(lián)合估計(jì)的凸組合的超分辨率重建方法。本發(fā)明提出的一種基于改進(jìn)核回歸和聯(lián)合估計(jì)的凸組合的超分辨率重建方法是利用目前MFSR方法中性能比較顯著的兩種方法:基于核回歸的方法和聯(lián)合運(yùn)動(dòng)估計(jì)與超分辨率重建的方法?;诤嘶貧w的方法是針對(duì)圖像序列幀之間運(yùn)動(dòng)參數(shù)難以精確估計(jì)的難題提出的,它不需要精確的運(yùn)動(dòng)估計(jì)就能對(duì)多幀圖像進(jìn)行超分辨率重建。該方法在超分辨率重建領(lǐng)域具有出色的性能,能夠在插值重建的同時(shí),實(shí)現(xiàn)圖像的去噪。由于項(xiàng)目的應(yīng)用場(chǎng)景是監(jiān)控視頻,而監(jiān)控視頻大多存在分辨率較低且模糊不清的問題,所以運(yùn)用改進(jìn)的核回歸方法進(jìn)行超分辨率重建。聯(lián)合運(yùn)動(dòng)估計(jì)與超分辨率重建的方法在精確運(yùn)動(dòng)估計(jì)方面有很大的優(yōu)勢(shì)。這種聯(lián)合估計(jì)方法主要是把運(yùn)動(dòng)估計(jì)和超分辨率重建這兩個(gè)有先后順序的過程放在一個(gè)框架內(nèi)一起完成,通過超分辨率重建的估計(jì)值來優(yōu)化運(yùn)動(dòng)估計(jì)的結(jié)果,從而能得到相比于現(xiàn)有運(yùn)動(dòng)估計(jì)算法更高的精度,最后又反過來提升超分辨率重建的效果。這兩種方法各有優(yōu)勢(shì),也各有缺點(diǎn),對(duì)于基于核回歸的方法來說,因?yàn)槠錄]有運(yùn)動(dòng)估計(jì)步驟,所以當(dāng)需要重建的圖像中物體有大幅度運(yùn)動(dòng)時(shí),其重建精準(zhǔn)度會(huì)有所下降。而對(duì)于聯(lián)合估計(jì)方法來說,互相影響的運(yùn)動(dòng)估計(jì)和超分辨率重建這兩個(gè)過程能相互帶給另一個(gè)過程的信息是有限的,所以其對(duì)圖像超分辨率重建效果的提升并不是無限的,也就是對(duì)于重建效果的提升并不是很顯著。針對(duì)以上問題,本發(fā)明提出了一種凸組合的框架,能有效地融合這兩種方法,互相彌補(bǔ)各自的劣勢(shì),另一方面又相互提升各自的優(yōu)勢(shì)。在需要重建的圖像中有物體大幅度運(yùn)動(dòng)時(shí),這時(shí)候的聯(lián)合估計(jì)方法就可以提供準(zhǔn)確的運(yùn)動(dòng)估計(jì)上的優(yōu)勢(shì),而重建效果較好的核回歸方法也可以進(jìn)一步提升聯(lián)合運(yùn)動(dòng)估計(jì)方法的重建效果。本發(fā)明提出的新方法具體實(shí)施包括下列步驟:步驟1:對(duì)輸入的多幀LR圖像序列實(shí)施聯(lián)合運(yùn)動(dòng)估計(jì)與超分辨率重建的方法得到“聯(lián)合高分辨率HR圖像Ijoint”;步驟2:對(duì)輸入的多幀LR圖像序列實(shí)施基于改進(jìn)核回歸的重建方法得到“核回歸HR圖像Ikernel”;步驟3:運(yùn)用本發(fā)明提出的凸組合框架,根據(jù)空域融合準(zhǔn)則決定融合的區(qū)域,根據(jù)頻域準(zhǔn)則決定需要融合的頻率成分,以及全局權(quán)重來決定對(duì)兩種方法的融合的權(quán)重分配,通過這三個(gè)方面對(duì)上兩步得到的HR圖像進(jìn)行融合,得到最后的重建的HR圖像;凸組合方式可表述為:Icom=(1-A(r,s))·Ikernel+A(r,s)·Ijoint(1)A(r,s)=αV·W(r,s)(2)其中V和W(r,s)分別確定對(duì)兩個(gè)圖像的空域混合區(qū)域和頻域混合頻率混合成分,全局參數(shù)α∈[0,1]確定對(duì)聯(lián)合HR圖像Ijoint和核回歸HR圖像Ikernel混合多少。由于本發(fā)明的主要新穎點(diǎn)在于凸組合框架的提出,所以對(duì)于兩種基本MFSR方法:基于改進(jìn)核回歸重建方法和聯(lián)合運(yùn)動(dòng)估計(jì)與超分辨率重建方法的具體實(shí)施只做簡(jiǎn)單介紹不做深究,主要詳細(xì)介紹凸組合框架的確定。多幀圖像超分辨率重建方法具體的過程大致可以分為三個(gè)基本步驟:配準(zhǔn)、插值、重建。根據(jù)不同的算法,三個(gè)基本環(huán)節(jié)可以同時(shí)進(jìn)行,也可以分開獨(dú)立實(shí)現(xiàn)。通常,多幀超分辨率重建首先需要通過運(yùn)動(dòng)估計(jì)過程將各個(gè)低分辨率圖像進(jìn)行配準(zhǔn),再利用頻域或空域重建算法將已配準(zhǔn)的低分辨率圖像融合為一幅高分辨率圖像。而聯(lián)合運(yùn)動(dòng)估計(jì)與超分辨率重建方法的主要特征就是運(yùn)動(dòng)估計(jì)環(huán)節(jié)與超分辨率重建環(huán)節(jié)同時(shí)進(jìn)行,兩個(gè)過程迭代估計(jì),互相影響,提高運(yùn)動(dòng)估計(jì)精度從而改善重建效果。核回歸作為一種不需要依賴數(shù)據(jù)本身建模的非參數(shù)的回歸方法,由于其較強(qiáng)的靈活性和延展性,被廣泛的用于圖像處理領(lǐng)域,如:圖像插值、去噪、超分辨率重建等?;诟倪M(jìn)核回歸重建方法是對(duì)于經(jīng)典核回歸理論的進(jìn)一步改進(jìn)。經(jīng)典核回歸重建是建立在多項(xiàng)式基礎(chǔ)上的插值重建方法,只考慮了圖像的灰度信息。在經(jīng)典核回歸理論的基礎(chǔ)上,利用圖像的局部結(jié)構(gòu)特征又提出了一種可控核回歸的多幀超分辨重建方法??煽睾嘶貧w重建方法在考慮灰度信息的同時(shí),還通過構(gòu)造可控核函數(shù)融入了圖像的結(jié)構(gòu)信息,雖然在一定程度上改善了圖像的視覺質(zhì)量,但是局部協(xié)方差矩陣的計(jì)算是從經(jīng)典核回歸重建計(jì)算梯度而來,計(jì)算復(fù)雜度高,且插值重建后存在像素整體灰度值的偏離較大和空洞的問題。本發(fā)明使用的一種基于改進(jìn)核回歸的多幀超分辨率重建方法。其采用局部結(jié)構(gòu)張量代替協(xié)方差矩陣,描述圖像的幾何結(jié)構(gòu)特征,可降低核回歸算法的計(jì)算復(fù)雜度。并且,針對(duì)可控核回歸重建中圖像像素整體灰度值偏差大和空洞的問題,構(gòu)造圖像鄰域像素的幾何距離函數(shù)修正核函數(shù),使得重建出的圖像有較好的視覺質(zhì)量。凸組合框架建立在上述兩種方法之上,利用核回歸方法重建的圖像有較好細(xì)節(jié)及聯(lián)合估計(jì)方法精確運(yùn)動(dòng)估計(jì)的優(yōu)勢(shì),加以凸組合方式的融合。互相彌補(bǔ)兩種方法存在的劣勢(shì):核回歸方法缺少運(yùn)動(dòng)估計(jì),聯(lián)合估計(jì)方法重建圖像質(zhì)量相對(duì)較差。凸組合方式主要依賴于核回歸方法得到的重建圖像Ikernel,而對(duì)于需要混合之處,組合方式需要的主要是空域混合準(zhǔn)則V、頻域頻率成分混合準(zhǔn)則W(r,s)以及全局混合準(zhǔn)則α的確定。空域混合準(zhǔn)則V的目的在于找出需要兩幅圖像混合的局域,也就是說核回歸方法重建HR圖像有較大誤差的地方,也即重建的多幀LR圖像中出現(xiàn)了大幅度運(yùn)動(dòng)的物體的地方。簡(jiǎn)單的說,V需要鎖定核回歸方法HR圖像的出現(xiàn)一定誤差區(qū)域與聯(lián)合方法HR圖像進(jìn)行混合。類似地,頻域頻率成分混合準(zhǔn)則W(r,s)的目的在于找出需要兩幅圖像混合的頻域成分,這里需要用到對(duì)圖像進(jìn)行可控金字塔分解。W(r,s)的任務(wù)在于鎖定核回歸方法HR圖像在頻域出現(xiàn)較大信號(hào)損失的主要頻帶,也就是說這些頻帶信號(hào)的損失需要聯(lián)合方法HR圖像帶來的信息進(jìn)行彌補(bǔ)。對(duì)于全局混合準(zhǔn)則α,主要是保證兩幅圖像混合后依然具有正常圖像該有的特征,也就是說使得混合后的圖像偏離與自然圖像的程度最小。綜上所述,由于采用了上述技術(shù)方案,本發(fā)明的有益效果是:(1)本發(fā)明提出了一種創(chuàng)新的凸組合方式,能獲得高質(zhì)量的SR重建圖像;(2)由于本發(fā)明中凸組合方式三種原則的確定,為改進(jìn)核回歸方法重建的HR圖像帶來了丟失的信息;(3)由于本發(fā)明對(duì)目前主流的兩種MFSR方法進(jìn)行了有效混合,使得該SR重建算法對(duì)幀間大幅度運(yùn)動(dòng)以及噪聲具有魯棒性,重建圖像質(zhì)量高。附圖說明將通過例子并參照附圖的方式說明,其中:圖1是本發(fā)明的算法流程概述;圖2是本發(fā)明的低分辨率圖像運(yùn)動(dòng)估計(jì)參數(shù)的相互關(guān)系示意圖;圖3是本發(fā)明的核回歸方法的數(shù)學(xué)模型示意圖;圖4是本發(fā)明使用的三維Sobel梯度算子模板;圖5是本發(fā)明使用的可控金字塔算法應(yīng)用于輸入圖像產(chǎn)生多尺度多方向頻帶的示意圖(示例中是3尺度和3方向頻帶);圖6是本發(fā)明中圖像塊按照凸組合方式混合的示意圖。具體實(shí)施方式本說明書中公開的所有特征,或公開的所有方法或過程中的步驟,除了互相排斥的特征和/或步驟以外,均可以以任何方式組合。本說明書(包括任何附加權(quán)利要求、摘要和附圖)中公開的任一特征,除非特別敘述,均可被其他等效或具有類似目的的替代特征加以替換。即,除非特別敘述,每個(gè)特征只是一系列等效或類似特征中的一個(gè)例子而已。參照?qǐng)D1,本發(fā)明的具體實(shí)現(xiàn)過程如下:實(shí)施例1過程1,實(shí)施聯(lián)合估計(jì)方法生成高分辨率圖像Ijoint(1.1)超分辨率重建的方法首先需要得到運(yùn)動(dòng)估計(jì)參數(shù),圖像模糊參數(shù)等數(shù)據(jù)才能進(jìn)行重建。但是由于得到的這些參數(shù)無法保證完全精確,并且參數(shù)上細(xì)小的誤差的都會(huì)在重建過程中被放大。因此,如果能想辦法減少參數(shù)誤差的積累效應(yīng),那么超分辨率重建的效果將得到一定改善。所以聯(lián)合方法重新構(gòu)建超分辨率重建框架如下:X^=argminX^{Σk=1Nf(Yk-HkX^)+P(X^)+Q(Hk)}---(3)]]>其中是重建的HR圖像,Hk是退化矩陣,是關(guān)于未知HR圖像的先驗(yàn)信息,Q(Hk)函數(shù)來調(diào)整退化矩陣Hk,使得退化矩陣更加精確。(1.2)聯(lián)合估計(jì)方法認(rèn)為低分辨率圖像退化矩陣之間不是完全獨(dú)立的,通過建立退化矩陣間的關(guān)系作為限制條件,從而保證退化矩陣更加的精確。重建的過程分為兩步:第一步,不考慮模糊噪聲等因素,聯(lián)合運(yùn)動(dòng)估計(jì)與數(shù)據(jù)融合,把所有低分辨率圖像的信息都融合在一幅圖像中;第二步,對(duì)融合后的圖像進(jìn)行后處理。則圖像的降質(zhì)模型變?yōu)椋篩k=FkZ+Ek(4)其中Yk是低分辨率圖像,F(xiàn)k是運(yùn)動(dòng)估計(jì)參數(shù)矩陣,Ek是噪聲。Z代表低分辨率圖像經(jīng)過數(shù)據(jù)融合后的圖像:Z=BkX+σk(5)其中Bk是模糊算子,σk是噪聲。在式(4)中僅考慮低分辨率圖像與重建圖像之間的運(yùn)動(dòng)關(guān)系與噪聲,然后建立聯(lián)合運(yùn)動(dòng)估計(jì)與數(shù)據(jù)融合的模型,求解出式(4)中的融合圖像Zk,最后根據(jù)式(5)求解最后的高分辨率圖像X。聯(lián)合運(yùn)動(dòng)估計(jì)與數(shù)據(jù)融合的模型包括兩項(xiàng),數(shù)據(jù)擬合項(xiàng)和退化矩陣限制項(xiàng)。數(shù)據(jù)擬合項(xiàng)采用穩(wěn)健估計(jì)數(shù)據(jù)擬合函數(shù):Q(Z)=Σk=1N(-e-a||Yk-FkZ^n||2+1)---(6)]]>退化矩陣的限制條件如下:Q(F)=ϵ|k-i|Σk=1N||Fk-1Yk-Fi-1Yi||---(7)]]>其中是第k幀低分辨率圖像運(yùn)動(dòng)估計(jì)參數(shù)矩陣的逆矩陣。其中ε是常數(shù),在0到1之間??紤]到不同的低分辨率幀的權(quán)重是有區(qū)別的,這個(gè)區(qū)別和低分辨率圖像的時(shí)間距離有關(guān)。相鄰的幀相關(guān)性較大,因此來自相鄰幀的退化矩陣更加可信,所以需要賦予較大的權(quán)值而相距較遠(yuǎn)的幀,可能圖像內(nèi)容變化較大,退化矩陣可信度稍小。因此本文采用了指數(shù)函數(shù)作為權(quán)值函數(shù),當(dāng)兩幅低分辨率圖像時(shí)間距離較遠(yuǎn)時(shí),賦予較小的權(quán)值。(7)式認(rèn)為每一幅低分辨率圖像經(jīng)過“反向”運(yùn)動(dòng)估計(jì)后都可以得到需要重建的圖像,不同的低分辨率圖像經(jīng)過“反向”運(yùn)動(dòng)估計(jì)后的對(duì)于重建圖像的近似值應(yīng)該相近。如圖2所示。(1.3)根據(jù)前面的分析,建立聯(lián)合運(yùn)動(dòng)估計(jì)與數(shù)據(jù)融合的模型如下式:Q(Z,F1,F2,...,FN)=Σk=1N(-e-a||Yk-FkZ^n||2+1)+λϵ|k-i|Σk=1NΣi=1N||Fk-1Yk-Fi-1Yi||---(8)]]>然后用交替迭代法求解上述問題,先進(jìn)行運(yùn)動(dòng)估計(jì),得到F1,…FN的初始估計(jì)值,然后假設(shè)F1,…FN不變,以為自變量進(jìn)行迭代:Z^n+1=Z^n-ζ∂∂Z^n(Σk=1N(-e-a||Yk-FkZ^n||2+1)+λϵ|k-i|Σk=1NΣi=1N||Fk-1Yk-Fi-1Yi||)---(9)]]>其中,ζ代表迭代的步長(zhǎng)。根據(jù)式判定整個(gè)迭代過程曇否結(jié)束。其中,η是閾值。上述迭代停止后,可以得到融合后的圖像Z,建立以下模型:X^=argminΣk=1N(-e-a||Z-BX^||2+1)+βΣm,l=-qqα|m|+|l|(X^-SxlSymX^)---(10)]]>采用梯度下降法對(duì)(10)式求解,迭代的截止條件為:最后得到的X即是重建的HR圖像。過程2,實(shí)施基于改進(jìn)核回歸的重建方法生成高分辨率圖像Ikernel基于改進(jìn)核回歸的重建方法是對(duì)可控核回歸理論的改進(jìn),而可控核回歸理論又可追溯于經(jīng)典核回歸理論。經(jīng)典核回歸方法,獨(dú)立于回歸的階數(shù)N,它的本質(zhì)是像素點(diǎn)的局部加權(quán)過程,這一局部線性濾波特性是傳統(tǒng)核回歸的固有局限。核回歸方法的數(shù)學(xué)模型示意圖如圖3所示。經(jīng)典核回歸理論的核函數(shù)只包含了采樣點(diǎn)像素的空間信息,沒有考慮像素點(diǎn)灰度值距離對(duì)權(quán)值的影響。而在實(shí)際圖像中,往往包含了不同的圖像紋理細(xì)節(jié),圖像的邊緣、平坦、角點(diǎn)等不同區(qū)域反映了數(shù)據(jù)不同的變化特征。因此,在經(jīng)典核回歸理論的基礎(chǔ)上,提出了加入圖像自身變化的可控核回歸估計(jì)方法。該方法不僅依賴采樣點(diǎn)的空間距離,還考慮鄰域采樣點(diǎn)之間的灰度距離,這樣就使得可控核回歸方法具有了非線性的濾波特性。通過分析局部像素值的灰度信息魯棒性獲得圖像的局部信號(hào)結(jié)構(gòu),將此信息融入核函數(shù),能自適應(yīng)的改變核函數(shù)的形狀與大小,使得核的形狀與大小能夠與圖像的局部結(jié)構(gòu)特征匹配。但是可控核函數(shù)理論在計(jì)算每一個(gè)像素點(diǎn)的結(jié)構(gòu)信息時(shí),需要對(duì)每一個(gè)感興趣像素點(diǎn)的局部鄰域做協(xié)方差計(jì)算;而協(xié)方差的計(jì)算會(huì)有重復(fù)計(jì)算的現(xiàn)象,計(jì)算過程比較復(fù)雜,而且計(jì)算量大。結(jié)構(gòu)張量作為分析圖像的局部幾何結(jié)構(gòu)的有力工具,已經(jīng)被成功應(yīng)用到圖像的方向場(chǎng)的估計(jì)、去除圖像噪聲等領(lǐng)域。結(jié)構(gòu)張量是一個(gè)包含圖像中每一個(gè)元素鄰域方向和強(qiáng)度信息的對(duì)稱矩陣,能夠較為準(zhǔn)確的刻畫局部梯度的方向和結(jié)構(gòu)強(qiáng)度,且計(jì)算量小,因此改進(jìn)的核回歸重建方法用三維結(jié)構(gòu)張量代替協(xié)方差矩陣,不但能刻畫圖像的結(jié)構(gòu)信息,區(qū)分不同的結(jié)構(gòu)區(qū)域,而且能減少計(jì)算量,有效的保持了圖像的邊緣等細(xì)節(jié)信息。(2.1)由于核回歸方法中方向信息的計(jì)算需要計(jì)算出梯度,所以在改進(jìn)核回歸算法中首先進(jìn)行梯度估計(jì)。邊緣檢測(cè)的算子通常利用圖像空間的方向模板卷積圖像來檢測(cè)圖像的垂直邊緣和水平邊緣,而邊緣方向垂直于梯度方向,因此可以通過邊緣檢測(cè)算子進(jìn)行梯度估計(jì)。Sobel算子同時(shí)包含高斯微分和平滑的特性,因此對(duì)低分辨率視頻中所存在的噪聲有魯棒性,不會(huì)因?yàn)樵肼暤母蓴_而對(duì)后續(xù)結(jié)果造成不良影響,而且具有快速計(jì)算梯度的特性。所以在改進(jìn)核回歸方法中采用3D-Sobel算子與多幀圖像序列幀卷積計(jì)算梯度值可以有效的減少計(jì)算大量矩陣的時(shí)間。圖4是所用到的3D-Sobel算子模板。(2.2)核回歸重建是建立在梯度和插值基礎(chǔ)上的技術(shù),獲得幀序列梯度之后,需要計(jì)算結(jié)構(gòu)張量的方向來獲得適應(yīng)圖像結(jié)構(gòu)的插值核,而結(jié)構(gòu)張量矩陣是從局部梯度推導(dǎo)而來的,結(jié)構(gòu)張量的特征向量和特征值能夠描述具體像素點(diǎn)鄰域的能量主方向,在采樣位置P點(diǎn)的三維結(jié)構(gòu)張量如下:S(P)=▿I(P)·▿I(P)T=ΣWIx2(P)ΣWIx(P)·Iy(P)ΣWIx(P)·It(P)ΣWIx(P)·Iy(P)ΣWIy2(P)ΣWIx(P)·It(P)ΣWIx(P)·It(P)ΣWIy(P)·It(P)ΣWIt2(P)---(11)]]>其中,代表圖像的梯度,I代表輸入圖像,下標(biāo)x,y,t分別代表三個(gè)梯度方向,W是局部分析窗口,三維結(jié)構(gòu)張量S(P)是對(duì)稱矩陣,特征值求解后,三維結(jié)構(gòu)張量如下表示:S(P)=λ1e1e1T+λ2e2e2T+λ3e3e3T(12)其中,λ1≥λ2≥λ3≥0是矩陣的以降序排列的特征值,e1,e2,e3是它們對(duì)應(yīng)的特征矢量,它們代表圖像局部結(jié)構(gòu)的強(qiáng)度和方向。則改進(jìn)的核函數(shù)為:K(·)=det(Si)2πh2exp{-(Xi-X)TSi(Xi-X)2h2}---(13)]]>Xi代表噪聲采樣點(diǎn),X是要估計(jì)的感興趣的采樣點(diǎn),h稱之為全局平滑參數(shù)。(2.3)重建過程中,圖像灰度值偏離過大,利用圖像的像素相關(guān)性原理,將圖像像素的鄰近幾何距離函數(shù)插入上述改進(jìn)的核函數(shù)可抑制這一現(xiàn)象的發(fā)生,而且這一函數(shù)計(jì)算出的值可以事先保存起來。鄰近距離函數(shù)為:K(Xi)=exp{-(Xi-Xi(i,2))T(Xi(i,1)-X(i,2))σ2}+αα=1ifXi(i,1)=Xi(i,2)0---(14)]]>α為修正系數(shù),與式(13)相乘得最終改進(jìn)的可控核函數(shù)表達(dá)式:KH(·)=det(Si)2πh2exp{-(Xi-X)TSi(Xi-X)2h2}K(Xi)---(15)]]>最終的求解形式如下:z(X^)=β^0=e1T(XXTWXXX)-1XXTWXy---(16)]]>其中,代表所要估計(jì)的感興趣點(diǎn)的像素值。y為各采樣點(diǎn)灰度值的列向量,XX代表采樣點(diǎn)各階距離矩陣,e1是首元素為1,其余為0的列向量。WX為改進(jìn)的可控核函數(shù)KH(·)的對(duì)角矩陣。WX=diag[KH(X1-X),KH(X2-X),...,KH(XP-X)]×diag[K(X1),K(X2),...,K(XP)](17)(2.4)通過以上分析,把改進(jìn)的核回歸多幀超分辨率重建的主要步驟總結(jié)如下:(1)輸入多幀圖像序列(2)采用3Dsobel算子計(jì)算出每個(gè)感興趣像素點(diǎn)的梯度;(3)利用式(11)計(jì)算三維局部梯度結(jié)構(gòu)張量S(P),求得三維結(jié)構(gòu)方向信息;(4)利用式(14)計(jì)算出修正核函數(shù)的鄰域像素的幾何距離函數(shù)值;(5)將步驟(3)和(4)求出的解代入式(15),得出改進(jìn)的核函數(shù)值KH(·);(6)將步驟(5)得出的核函數(shù)值KH(·)代入式(17)得出WX;(7)將步驟(6)得出的WX代入式(16),得到最終的輸出圖像Ikernel。過程3,實(shí)施本發(fā)明的凸組合算法生成高分辨率圖像Icom凸組合框架建立在上述兩種方法之上,利用各自的優(yōu)勢(shì),彌補(bǔ)對(duì)方的缺點(diǎn),得到更高質(zhì)量的重建效果。參照?qǐng)D4,生成Icom的具體實(shí)現(xiàn)過程如下:(3.1)確定空域混合準(zhǔn)則V:在計(jì)算核回歸方法產(chǎn)生的高分辨率圖像Ikernel時(shí),需要用3Dsobel算子計(jì)算感興趣像素點(diǎn)的梯度,在此過程中可以獲得輸入的多幀LR圖像序列中的感興趣區(qū)域的梯度,由于圖像的梯度值一定程度上反映了圖像灰度值的顯著變化的地方。所以如果待重建的LR圖像中感興趣區(qū)域中存在劇烈運(yùn)動(dòng)的物體,比如企鵝圖片中劇烈扇動(dòng)的翅膀,那么每幀圖像對(duì)應(yīng)區(qū)域的梯度值相比其他靜態(tài)區(qū)域會(huì)有一定的偏差。因此,在使用核回歸方法計(jì)算梯度值時(shí),多幀LR圖像同一ROI像素點(diǎn)的多個(gè)梯度值的方差可以作為此區(qū)域是否存在大幅度運(yùn)動(dòng)物體的一個(gè)度量指標(biāo)。計(jì)算所有幀的LR圖像ROI區(qū)域的對(duì)應(yīng)梯度值的方差,且歸一化到0,1之間,由此就得到了一個(gè)方差地圖(variancemap)V。方差地圖中值比較高的區(qū)域?qū)?yīng)的區(qū)域存在大幅運(yùn)動(dòng)的概率越大,因此就更需要本發(fā)明提出的凸組合框架來加入更多含有精確運(yùn)動(dòng)估計(jì)的信息,也進(jìn)一步說明了提出方差地圖V這一概念在空域混合的合理性。方法在空域?qū)嵤r(shí),選取方差地圖中V值超過一定閾值的區(qū)域進(jìn)行混合,而其他區(qū)域保持不變。(3.2)確定頻域頻率成分混合準(zhǔn)則W(r,s):頻域頻率成分混合準(zhǔn)則W(r,s)的目的是確定在頻域需要進(jìn)行混合的主要頻帶。由于要在頻域處理圖像,本發(fā)明對(duì)改進(jìn)核回歸方法得到的高分辨率率圖像Ikernel采用可控金字塔(steerablepyramid)算法分解到頻域,得到圖像Ikernel的不同尺度和不同方向頻帶的分解。可控金字塔算法能通過多尺度多方向頻帶的分解提供對(duì)圖像聯(lián)合局部化(在空間或者頻域)的表達(dá)。如圖5所示。用R代表分解的方向頻帶數(shù)量r∈(0,R),S代表分解的尺度數(shù)量s∈(0,S),在不同尺度S上,可以得到R個(gè)不同方向帶的分解結(jié)果,便于我們更精確的選擇出不同尺度上需要混合的方向頻帶。由上一步得到的方差地圖V,選取有大幅度運(yùn)動(dòng)變化的區(qū)域(假設(shè)V>0.5),實(shí)施可控金字塔分解得到S個(gè)尺度R個(gè)方向頻帶的分解,再計(jì)算這些圖像區(qū)域在不同尺度方向頻帶下的平均能量,根據(jù)區(qū)域能量在不同尺度方向頻帶下的分布有一個(gè)重要結(jié)論:信號(hào)的損失在含有較高能量的頻帶出現(xiàn)的最普遍。而這些含有較高能量的頻帶較好對(duì)應(yīng)于不同尺度S下R個(gè)方向頻帶分解中的某一部分頻帶。引入新的變量表示在尺度S下具有較高能量的那部分頻帶。λ取值范圍為0到1之間,控制從總頻帶數(shù)R中選取的頻帶的個(gè)數(shù)。由上面的分析,對(duì)于ROI區(qū)域中的像素位置x處可以得到:W(r,s)(x)=1ifr∈Bλ(s)(x)0else---(18)]]>上式中W(r,s)的選取能有效地使兩幅圖像Ikernel和Ijoint沿著圖像Ikernel中最需要額外信息的那些頻帶進(jìn)行混合。塊區(qū)域的混合示意圖如圖6所示。(3.3)確定全局混合參數(shù)α:全局混合參數(shù)α的主要作用是確?;旌虾蟮膬煞鶊D像是滿足自然圖像性質(zhì)的一幅真實(shí)的圖像。這需要借助自然圖像對(duì)帶通分解的統(tǒng)計(jì)特性來分析:自然圖像對(duì)于帶通濾波器的邊緣響應(yīng)是高度非高斯的。而對(duì)于高斯模型的偏離程度可以用響應(yīng)的峰值(Kurtosis)來度量。而實(shí)際上也確實(shí)有調(diào)查顯示自然圖像的峰值在不同的頻帶上幾乎保持不變。某分布的峰值定義為:k=μ4σ4-3---(19)]]>其中μ4是分布均值的四階矩,σ是分布的標(biāo)準(zhǔn)差。通過這個(gè)定義可知,高斯分布的峰值為0。所以最佳α的選取應(yīng)該使得最后的混合HR圖像Icom在不同頻帶上的峰值具有最小的變化。即α應(yīng)滿足:α*=argmin0≤α≤1Σr,s[kcom(r,s)(α)-k‾new(α)]2---(20)]]>其中是最后的混合HR圖像Icom對(duì)于包含S個(gè)尺度且每個(gè)尺度含有R個(gè)方向頻帶的帶通濾波器的邊緣響應(yīng)分布的峰值。是所有頻帶上的峰值的均值。上式使用MATLAB的fminsearch函數(shù)很容易得到解。最后實(shí)施混合,根據(jù)前面兩步的分析可以帶入(2)式得到A(r,s)再帶入(1)式得到最后的重建HR圖像Icom。本發(fā)明并不局限于前述的具體實(shí)施方式。本發(fā)明擴(kuò)展到任何在本說明書中披露的新特征或任何新的組合,以及披露的任一新的方法或過程的步驟或任何新的組合。當(dāng)前第1頁1 2 3