專利名稱：折反射全聚焦成像裝置與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全向視覺領(lǐng)域，特指一種折反射全聚焦成像裝置與方法。
背景技術(shù)：
由于能夠一次性獲得360度的視場范圍，折反射全向成像在很多領(lǐng)域都已經(jīng)得到了廣泛地應(yīng)用，如機(jī)器人導(dǎo)航、視頻監(jiān)控、視頻會(huì)議等領(lǐng)域，甚至在天文學(xué)方面也有較高的應(yīng)用價(jià)值，如巨型天文望遠(yuǎn)鏡的制造就應(yīng)用了曲面反射鏡。但是，以往大部分研究工作主要集中在折反射全向成像系統(tǒng)中的反射鏡面型設(shè)計(jì)和系統(tǒng)應(yīng)用方面，相比之下，很少有研究系統(tǒng)的成像質(zhì)量。但是，隨著高分辨率圖像傳感器和大光圈成像系統(tǒng)的應(yīng)用，一個(gè)普遍存在的問題是，折反射全向成像系統(tǒng)中，由于反射鏡曲率和鏡頭光圈的大小，會(huì)導(dǎo)致散焦模糊，因此在圖像傳感器上成的像總是不能同時(shí)全部聚焦的。目前解決折反射成像散焦問題的方法主要有以下一些方法根據(jù)折反射成像特點(diǎn)，將全向圖像分為若干模糊條帶，采用基于邊界擴(kuò)散函數(shù)的PSF (點(diǎn)擴(kuò)散函數(shù)，Point Spread Function)建模方法辨識(shí)出各模糊條帶的PSF模型。該方法無需大量的圖像分割運(yùn)算，在有限的徑向邊緣區(qū)域建立了全局的PSF模型，該類方法可以參考張帆的“全景視覺圖像質(zhì)量優(yōu)化方法研究”(哈爾濱工程大學(xué)博士論文，2010)。由于散焦的折反射全向圖像中的PSF是空間變化的，即物空間各點(diǎn)的退化隨位置的改變而改變。針對這種特點(diǎn)，馮華君等人提出了結(jié)合GRM (Gradient Ringing Metric)評價(jià)算法的總變分最小化圖像分塊復(fù)原方法，具體參考“空間變化PSF圖像復(fù)原技術(shù)的研究現(xiàn)狀與展望”(《光電工程》，2009，Vol. 36，No. I)。Sujit Kuthirummal提出的方法是將全向圖像分為很多小塊，在每個(gè)小塊里認(rèn)為PSF是空間不變的，再用迭代的Richardson Lucy算法進(jìn)行反卷積去模糊，相關(guān)文獻(xiàn)可以參考 “A deconvolution method for confocal microscopy with total variationregularization” (IEEE International Symposium on Biomedical Imaging,2004)和“Flexible Imaging for Capturing Depth and Controlling Field of View and Depthof Field，，(Columbia University thesis, 2009)。通過設(shè)計(jì)特殊的鏡頭來補(bǔ)償散焦帶來的影響，可以參考“Remote Reality”(http://www. remotereality. com),但是這種方法要針對具體的每一種反射鏡面型去設(shè)計(jì)。此外還可以通過減小光圈大小，增大景深的方法，但是這樣會(huì)減少系統(tǒng)通光量，增加了噪聲，在低光條件下效果較差。針對以上折反射成像散焦去模糊方法中的一些不足，如在圖像分塊的邊緣會(huì)增加人工效應(yīng)，需要確定各個(gè)塊的PSF，計(jì)算量大，普適性不強(qiáng)等，不能從根本上解決折反射成像散焦的問題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于針對折反射全向成像散焦的特定問題，提出一種折反射全聚焦成像裝置與方法，在成像曝光時(shí)間內(nèi)，勻速移動(dòng)像平面，得到一幅全局模糊的全向圖像，通過數(shù)學(xué)推導(dǎo)和實(shí)際數(shù)據(jù)驗(yàn)證，此時(shí)基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)在數(shù)值上具有空間不變性，即實(shí)景空間各點(diǎn)在像平面上成像的模糊程度是相同的，最后運(yùn)用反卷積算法就可以復(fù)原得到一幅內(nèi)環(huán)外環(huán)都清晰的全向圖像。為解決上述技術(shù)問題，本發(fā)明采取的技術(shù)方案包括如下步驟I、根據(jù)折反射全向成像散焦原理，計(jì)算實(shí)景空間物點(diǎn)w經(jīng)曲面鏡反射在像平面上成模糊區(qū)域的大小。已知實(shí)景空間的物點(diǎn)W，折反射成像系統(tǒng)中反射鏡面型采用雙曲面面型，這樣可以保證成像系統(tǒng)的單視點(diǎn)約束，根據(jù)幾何光學(xué)中的鏡面反射定律和薄透鏡成像原理，得到點(diǎn)W在雙曲面上的反射點(diǎn)III1和m2,以及虛像的位置Wfl= (wfl x, wfl y, wfl_z)和Wf2= (wf2 x, Wf2 y, Wf2 z)，像平面上像點(diǎn)的坐標(biāo) Wil= (wil x, Wil y, Wil z)和 Wi2= (wi2 x, wi2 y, wi2 z),最后計(jì)算得到像平面上的模糊圓直徑d_blur= Il Wil-Wi2 Il (見附圖I)。2、在一次成像曝光時(shí)間內(nèi)，通過勻速移動(dòng)像平面，得到具有空間不變性的基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)(Accumulated PSF)。已知像平面的運(yùn)動(dòng)方式Vt=Vc^st,點(diǎn)擴(kuò)散函數(shù)?！?br> 型采用均勻分布的圓盤函數(shù)=,其中，Δ(^；) =是模糊圓中的
點(diǎn)到模糊中心的距離。在相機(jī)一次曝光時(shí)間T內(nèi)，推導(dǎo)得出基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)的表達(dá)形式= f'/ (r,v,y;)t//，然后計(jì)算得到不同實(shí)景空間物點(diǎn)的APSF在數(shù)值上具有空
J O
間不變性(見附圖3)。3、采用反卷積算法復(fù)原得到一幅內(nèi)環(huán)外環(huán)都清晰的全向圖像。由于整幅圖像的模糊程度是相同的，采用反卷積算法(本發(fā)明采用文獻(xiàn)“Image restoration by sparse 3Dtransform-domain collaborative filtering，，，SPIE Electronic Imaging, 2008 中的反卷積算法)和實(shí)景空間中某一個(gè)物點(diǎn)的APSF對模糊圖像做復(fù)原，就可以得到一幅全聚焦清晰的全向圖像(見附圖4)。


圖I是折反射全向成像系統(tǒng)散焦示意圖；圖2是折反射全聚焦成像裝置與方法示意圖；圖3是實(shí)景空間不同物點(diǎn)計(jì)算得到的基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)曲線圖；圖4是實(shí)際系統(tǒng)實(shí)現(xiàn)的全聚焦效果圖。
具體實(shí)施例方式實(shí)施例I :以折反射全聚焦成像裝置與方法為例，結(jié)合附圖對本發(fā)明做進(jìn)一步詳細(xì)說明。第一步建立如附圖I所示的二維笛卡爾坐標(biāo)系ROZ，其中i = +F2。已知mQ(xQ，y0, z0)為雙曲面反射鏡面H上的一點(diǎn)，w為物空間中的一點(diǎn)，ο為雙曲面的一個(gè)焦點(diǎn)，即虛擬視點(diǎn)，并位于坐標(biāo)系原點(diǎn)位置。根據(jù)單視點(diǎn)約束，若光線Wmci的延長線經(jīng)過虛擬視點(diǎn)ο,則光線wmQ經(jīng)鏡面上的點(diǎn)Hitl反射后的光線穿過鏡頭光心Ptl(0，O, 2c)。其中Ptl恰好位于雙曲面的另一個(gè)焦點(diǎn)處，C為雙曲面參數(shù)，則雙曲面方程H可以表示為式(1)，其中常數(shù)k> 2，光心平面則位于z=2c處。反射光線HiciPci稱為主光線,在像平面z=2c+v上成的像為Witl,其中V為像距。鏡面上的點(diǎn)IIi1處的法線為叫叫。鏡頭光圈為圓形光圈,若P1 (D cos α/2，D sin α/2，2c)和P2 (D cos(a + ji)/2,D sin ( a + ji )/2，2c)分別位于光圈的邊緣，其中D為光圈的直徑，則線段|wilWi2|的長度可以近似為模糊圓的直徑。
(r-c): (χ2 + ν _Λ,k-l、 2/2、— ' c'{—r-) C2 (-)
K.K根據(jù)薄透鏡成像原理，有式(2)，其中f為鏡頭焦距，u為物距，即可求出焦平面的位置為z=2c-u。由于點(diǎn)ο, IV w共線,則w的坐標(biāo)可以表示為式(3),其中為點(diǎn)Iiici到點(diǎn)
ο的距離，q為正常數(shù),且om0 ^
I I I— = - + -f 、,’ "w = -=^(xo5>o,-o)(3)根據(jù)反射定律，Iii1滿足三個(gè)約束(I)直線Wm1, Hi1Ii1和Iii1P1共面；(2)直線Wm1和Hi1Ii1的夾角等于直線Iii1P1和In1Ii1的夾角；(3)點(diǎn)Iii1在雙曲面鏡面H上。設(shè)反射光線IH1P1的反向延長線與焦平面交于點(diǎn)Wfl,由于焦平面上的點(diǎn)在像平面上都是精確聚焦的，因此連接Wfl與光心Ptl的直線與像平面的交點(diǎn)Wil，即為點(diǎn)w經(jīng)反射鏡面上的點(diǎn)Hi1反射在像平面成的像。聯(lián)立直線Hi1P1方程和焦平面方程Z=2c-U，求得Wfl的坐標(biāo)；再聯(lián)立直線WflPci方程和像平面z=2c+v,便可求得Wil的坐標(biāo)。
' (χ—χ!) _ (y-}\) ,(--Z1)< I) cos a II-X1 I) sin a! 2 - v, 2c -Z1(4)
z — 2c — u根據(jù)式(4),求得Wfl= (wfl x, wfl y, wfl_z)。
X _ y _ (z-2c)I ^fl x Wfl y Wflz-2c(5)
z-2c+ V根據(jù)式(5),求得wn=(wn—x，wn—y，wn—z)。同樣地，可以求出由物空間的點(diǎn)w發(fā)出的光線經(jīng)反射鏡面上的點(diǎn)m2反射，穿過光圈的另一個(gè)邊緣上的點(diǎn)P2(D cos(a + ji)/2,D sin( a + ji )/2，2c)，在像平面上成的像Wi2= (Wi2_x. Wi2y, Wi2z)。易知，Wilz=Wi2z,則物空間的點(diǎn)W,經(jīng)折反射成像,在像平面上成像的模糊圓的直徑表示為式(6):d. _blur = Sj(Wrl x-Wi2 x)2 +(Wa y - wi2 y)2a )第二步由于散焦模糊，折反射成像的退化模型可以用式(7)表示，其中g(shù)(x，y)為實(shí)際得到的圖像，f(x，y)是需要反卷積求得的清晰圖像，h(X，y，s, t)是點(diǎn)擴(kuò)散函數(shù)，n(x，y)為加
性噪聲。
g(x, y) = f(x, y) h(x, 5·, t) + n(x,y)(7)如附圖2所示，調(diào)整鏡頭焦距f，使得虛像Wftl在像平面上成像于一點(diǎn)wiQ。若像平面移動(dòng)到距離鏡頭光圈\處，此時(shí)Wftl在像平面上成像為模糊圓，模糊圓的中心為Wic/，模糊圓的直徑d可以用式(8)表示。d=I}\ -v|(H)
V .本文中釆用PSF圓盤模型來說明如何設(shè)計(jì)累加的PSF (Accumulated PSF)。PSF
圓盤模型認(rèn)為模糊區(qū)域是一個(gè)均勻分布的圓形光斑，其函數(shù)形式表示為式(9)。
I r v/j = ~-Δ(—)￠9)
7vd “ d
r \\r <di2其中，= j，r是模糊圓中的點(diǎn)到模糊中心的距離。當(dāng)像平面沿著光軸的方向移動(dòng)時(shí)，Vt是時(shí)間t的函數(shù)，表示像平面到鏡頭光圈的距離，定義累加的點(diǎn)擴(kuò)散函數(shù)(APSF)，由式(10)表示，其中T為曝光時(shí)間。AP(r.v)= I / (/·, i·'. V, )c//UU)
Jo考慮像平面沿光軸方向勻速運(yùn)動(dòng)，即Vt可以表示為式(11)的形式，s為常數(shù)，表示運(yùn)動(dòng)速度。vt=v0+st(11)結(jié)合式(9，10，11)，得到APSF，用式(12)表示。
,η, 、 V A+δτ 24 2δτ、AP(r,v) = -—(-^~—~r—r)(P)
KsDl r a(l ατ其中dt表示在t時(shí)刻模糊圓的直徑A =72。附圖3是實(shí)景空間不同物點(diǎn)
得到的基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)曲線圖，由圖可以看出，APSF在數(shù)值上具有空間不變性。第三步由于整幅圖像的模糊程度是相同的，采用反卷積算法(本發(fā)明采用文獻(xiàn)“Imagerestoration by sparse 3D tr an sf orm-doma in collaborative filtering，，，SPIEElectronic Imaging, 2008中的反卷積算法)和實(shí)景空間中某一個(gè)物點(diǎn)的APSF對模糊圖像做復(fù)原，就可以得到一幅全聚焦清晰的全向圖像。如圖4所示為實(shí)際系統(tǒng)實(shí)現(xiàn)的全聚焦效果圖。以上實(shí)施例僅僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護(hù)范圍并不局限于上述實(shí)施例所述的實(shí)現(xiàn)方法和具體實(shí)施步驟。因此，僅對上述實(shí)施例中具體的成像模型、公式及算法進(jìn)行簡單替換，但其實(shí)質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應(yīng)屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種折反射全聚焦成像方法，其特征包括如下步驟1)根據(jù)折反射全向成像散焦原理，計(jì)算實(shí)景空間的物點(diǎn)W經(jīng)曲面鏡反射在像平面上成模糊區(qū)域的大?。?)在相機(jī)一次成像曝光時(shí)間內(nèi)，通過勻速移動(dòng)像平面，得到具有空間不變性的基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)；3)運(yùn)用反卷積算法復(fù)原得到一幅圖像內(nèi)環(huán)外環(huán)都清晰的全向圖像。
2.根據(jù)權(quán)利要求I所述折反射全聚焦成像方法，其特征是，所述步驟I)中的根據(jù)實(shí)景空間的物點(diǎn)w，折反射成像采用雙曲面反射鏡和透視相機(jī)組成滿足單視點(diǎn)約束的成像系統(tǒng)， 再依據(jù)幾何光學(xué)中的鏡面反射定律和薄透鏡成像原理，得到像平面上模糊圓直徑的計(jì)算方法。
3.根據(jù)權(quán)利要求I所述折反射全聚焦成像方法，其特征是，所述步驟2)中的通過勻速移動(dòng)像平面，點(diǎn)擴(kuò)散函數(shù)模型采用均勻分布的圓盤函數(shù)，在相機(jī)一次成像曝光時(shí)間內(nèi)，推導(dǎo)得到的基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)在數(shù)值上具有空間不變性的計(jì)算方法。
全文摘要
本發(fā)明涉及全向視覺領(lǐng)域，公開了一種折反射全聚焦成像裝置與方法。首先根據(jù)折反射全向成像散焦分析，計(jì)算得到實(shí)景空間物點(diǎn)經(jīng)曲面鏡反射在像平面上成模糊區(qū)域的大??；然后在相機(jī)一次成像曝光時(shí)間內(nèi)，通過勻速移動(dòng)像平面，計(jì)算對應(yīng)于模糊全向圖像的基于時(shí)間累加的點(diǎn)擴(kuò)散函數(shù)具有空間不變性；最后采用反卷積算法復(fù)原得到一幅內(nèi)外環(huán)均清晰的全向圖像。本發(fā)明所述方法避免了以往基于模糊條帶的點(diǎn)擴(kuò)散函數(shù)估計(jì)方法和基于分塊思想進(jìn)行散焦去模糊等方法導(dǎo)致的圖像中局部塊或條帶邊緣效果差，點(diǎn)擴(kuò)散函數(shù)估計(jì)不精確，計(jì)算量大等問題，較好地解決了折反射成像的散焦問題。
文檔編號(hào)H04N5/225GK102932583SQ20121025036
公開日2013年2月13日 申請日期2012年7月19日 優(yōu)先權(quán)日2012年7月19日
發(fā)明者王煒, 譚樹人, 李永樂, 熊志輝, 張茂軍, 包衛(wèi)東, 徐瑋, 劉煜, 左承林, 彭?xiàng)?申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)