本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及圖像拼接技術(shù)領(lǐng)域。

背景技術(shù)：

圖像拼接技術(shù)就是將數(shù)張有部分重疊的圖像拼接成一幅大型的無(wú)縫高分辨率圖像的技術(shù)。使用普通相機(jī)獲取寬視野的場(chǎng)景圖像，因?yàn)橄鄼C(jī)的分辨率一定，拍攝的場(chǎng)景越大，得到的圖像分辨率越低；而全景相機(jī)、廣角鏡頭等不僅非常昂貴，且失真嚴(yán)重。為了在不降低圖像分辨率的條件下獲取超寬視野，甚至360度的全景圖，出現(xiàn)了利用計(jì)算機(jī)進(jìn)行圖像拼接方法。

圖像拼接技術(shù)主要分為三個(gè)主要步驟：圖像預(yù)處理、圖像配準(zhǔn)以及圖像融合，圖像預(yù)處理主要指圖像配準(zhǔn)前，將圖像進(jìn)行噪聲抑制、紋理和對(duì)比度的增強(qiáng)以及直方圖的歸一化等預(yù)處理，使參考圖和待配準(zhǔn)圖不存在明顯的差異。圖像預(yù)處理主要是為圖像配準(zhǔn)做準(zhǔn)備，讓圖像質(zhì)量能夠滿足圖像配準(zhǔn)的要求，如果圖像質(zhì)量不理想時(shí)不經(jīng)過(guò)圖像預(yù)處理就進(jìn)行圖像配準(zhǔn)，很容易造成兩幅圖像中的一些子區(qū)域之間或特征點(diǎn)之間的誤匹配。

圖像配準(zhǔn)主要指基于參考圖和待配準(zhǔn)圖中的圖像關(guān)鍵特征或灰度信息，尋找最佳匹配的特征點(diǎn)對(duì)或圖像子區(qū)域?qū)Γ?jì)算每個(gè)特征點(diǎn)對(duì)或子區(qū)域?qū)﹂g的運(yùn)動(dòng)向量，并估計(jì)兩幅圖像之間的全局的線性或非線性的運(yùn)動(dòng)變換參數(shù)。一般采用最小二乘法估計(jì)全局的運(yùn)動(dòng)變換參數(shù)，而且由于處理時(shí)間上的限制，參數(shù)估計(jì)和特征點(diǎn)匹配都是通過(guò)一次迭代完成。

圖像融合指在完成圖像匹配以后，對(duì)圖像進(jìn)行拼接、縫合，并對(duì)縫合的邊界進(jìn)行平滑處理，讓縫合邊界區(qū)域自然過(guò)渡。

圖像拼接的成功與否關(guān)鍵是圖像的配準(zhǔn)效果。然而，通常的待配準(zhǔn)的圖像之間，不同目標(biāo)區(qū)域可能存在多種非線性變換，或者存在大面積的無(wú)明顯特征區(qū)域(如均勻紋理區(qū)域或同色區(qū)域等)，這些情況大大增加了圖像配準(zhǔn)的難度。

現(xiàn)有技術(shù)中，逼近投影變換(apap)的圖像拼接方法大致上分為四步，即特征提取、特征匹配、求h矩陣、圖像融合，在特征提取步驟中采用的是sift特征描述子，在后期匹配過(guò)程中匹配速度慢且配準(zhǔn)不準(zhǔn)確。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為克服上述情況不足，旨在提供一種配準(zhǔn)精確且省時(shí)的圖像拼接方法，可實(shí)現(xiàn)圖像無(wú)縫拼接。

一種基于改進(jìn)的逼近投影變換圖像拼接方法，包括s1：圖像預(yù)處理；s2：圖像特征點(diǎn)提??；s3：基于光流金字塔的圖像特征點(diǎn)匹配；s4：基于mdlt算法和ransac算法估計(jì)投影變換矩陣；s5：計(jì)算每塊的投影變換矩陣；s6：圖像的無(wú)縫拼接；

所述s1圖像預(yù)處理的方式包括噪聲抑制、紋理和對(duì)比度的增強(qiáng)以及直方圖的歸一化，還包括對(duì)攝像機(jī)的鏡頭進(jìn)行標(biāo)定，根據(jù)圖像失真的原因建立相應(yīng)的數(shù)學(xué)模型，利用標(biāo)定的參數(shù)對(duì)被污染或畸變的圖像進(jìn)行校正；

所述s2圖像特征點(diǎn)提取采用的是brisk和/或orb特征描述子。

進(jìn)一步的，所述brisk特征描述子的提取過(guò)程如下：

第一步：構(gòu)建尺度空間；

在brisk算法進(jìn)行特征點(diǎn)檢測(cè)過(guò)程中，建立的尺度圖像金字塔分為n個(gè)八度(octave)層與n個(gè)內(nèi)部(intra-octave)層，每?jī)蓚€(gè)相鄰的八度層之間有一個(gè)內(nèi)部層；第i個(gè)八度層用ci表，第i個(gè)內(nèi)部層用di表示，其中i＝{0,1,...,n-1}；ci、di層與原圖像的尺度關(guān)系用t表示如下：t(ci)＝2ⁱ，t(di)＝2ⁱ*1.5；

第二步：特征點(diǎn)檢測(cè)；

在第一步中，n＝4，得到8張圖像，對(duì)這8張圖像進(jìn)行fast9-16角點(diǎn)檢測(cè)；對(duì)原圖像img進(jìn)行一次fast5-8角點(diǎn)檢測(cè)，當(dāng)做d(-1)虛擬層，得到9幅有角點(diǎn)信息的圖像；

第三步：非極大值抑制；

第四步：特征點(diǎn)位置擬合；

首先，在特征點(diǎn)所在的尺度圖像、前一個(gè)尺度圖像和后一個(gè)尺度圖像的分值鄰域，對(duì)fast得分值進(jìn)行最小二乘的二維二次函數(shù)插值，得到得分極值點(diǎn)及其精確的坐標(biāo)位置；再對(duì)尺度方向進(jìn)行一維插值，得到極值點(diǎn)所對(duì)應(yīng)的尺度；

第五步：計(jì)算特征點(diǎn)的特征描述子；

以特征點(diǎn)為中心，在其周圍采樣n個(gè)點(diǎn)，采樣模式是以特征點(diǎn)為中心，構(gòu)建不同半徑的同心圓，然后在每個(gè)同心圓中取一定數(shù)目的等間隔采樣點(diǎn)，得到包括特征點(diǎn)在內(nèi)的n個(gè)采樣點(diǎn)；對(duì)每個(gè)采樣點(diǎn)進(jìn)行了方差為δ的高斯濾波，濾波半徑大小與高斯濾波核的標(biāo)準(zhǔn)差成正比，最終用到的n個(gè)采樣點(diǎn)是經(jīng)過(guò)高斯平滑后的采樣點(diǎn)，n的取值范圍為50～70；

由于有n個(gè)采樣點(diǎn)，則采樣點(diǎn)兩兩組合成一對(duì)，共有種組合方式，所有組合方式的集合稱作采樣點(diǎn)對(duì)，表示如下：

其中，表示所有采樣點(diǎn)對(duì)的集合，pi與pj表示第i和j個(gè)采樣點(diǎn)；

設(shè)經(jīng)過(guò)高斯濾波以后的兩個(gè)采樣點(diǎn)的灰度值為i(pi，σi)和i(pj，σj)，其中σ表示半徑，且這兩點(diǎn)間的局部梯度g(pi，pj)為：

根據(jù)兩點(diǎn)之間的距離把上述集合分為兩個(gè)子集：短距離點(diǎn)對(duì)子集長(zhǎng)距離點(diǎn)對(duì)子集

其中，閾值θmax＝9.75t，閾值θmin＝13.67t，t表示該特征點(diǎn)的尺度；

特征點(diǎn)的方向計(jì)算公式如下：

其中，l指的是子集的元素?cái)?shù)目，gx表示特征點(diǎn)在x方向上的梯度，gy表示特征點(diǎn)在y方向上的梯度，g表示特征點(diǎn)在x與y方向上的梯度；

在計(jì)算brisk特征描述子時(shí)，首先把采樣區(qū)域旋轉(zhuǎn)α＝arctan2(gy，gx)角度，然后再在旋轉(zhuǎn)后的區(qū)域中重新采樣，得到個(gè)采樣對(duì)，選擇其中的短距離點(diǎn)對(duì)子集中512個(gè)點(diǎn)對(duì)，進(jìn)行如下比較，最后生成描述符，計(jì)算公式如下：

其中表示旋轉(zhuǎn)以后得到的采樣點(diǎn)，b表示特征描述子中每一位上的值，該值只能是0或者1。

進(jìn)一步的，所述orb特征描述子的提取過(guò)程如下：

第一步：基于fast的特征點(diǎn)提?。?/p>

對(duì)于給定的原圖像img，判斷圖像上某點(diǎn)p是不是特征點(diǎn)的具體過(guò)程為：

1)假設(shè)該點(diǎn)的灰度值為i(x，y)，以p為圓心畫一個(gè)半徑為3個(gè)像素的圓，這個(gè)圓的邊界上有16個(gè)像素；設(shè)定一個(gè)合適的闕值t,當(dāng)2個(gè)點(diǎn)的灰度值之差的絕對(duì)值大于t時(shí)，認(rèn)為這2個(gè)點(diǎn)不相同；在圓周上如果有連續(xù)m個(gè)點(diǎn)和p點(diǎn)不同，m∈9～12，則認(rèn)為p為特征點(diǎn)；

2)利用harris角點(diǎn)的度量方法，從fast特征點(diǎn)中挑選出harris角點(diǎn)響應(yīng)值最大的n個(gè)角點(diǎn)，其中harris角點(diǎn)的響應(yīng)函數(shù)定義為：

r＝detm-α(tracem)²

其中，ix表示圖像i在x方向上的偏導(dǎo)數(shù)，iy表示圖像i)在y方向上的偏導(dǎo)數(shù)，detm為矩陣m的行列式，tracem為矩陣m的跡，α是常量，取值范圍為0.04～0.06，r表示harris角點(diǎn)的響應(yīng)函數(shù)；

3)建立的尺度圖像金字塔分為n個(gè)八度(octave)層與n個(gè)內(nèi)部(intra-octave)層，每?jī)蓚€(gè)相鄰的八度層之間有一個(gè)內(nèi)部層；第i個(gè)八度層用ci表，第i個(gè)內(nèi)部層用di表示，其中i＝{0,1,...,n-1}；假設(shè)有圖像img，octave層的產(chǎn)生方法如下：c0層就是img原圖像，c1層是c0層的2倍下采樣，c2層是c1層的2倍下采樣，以此類推；intra-octave層的產(chǎn)生方法如下：d0層是img的1.5倍下采樣，d2層是d1層的2倍下采樣，d3層是d2層的2倍下采樣，以此類推；ci、di層與原圖像的尺度關(guān)系用t表示如下：

t(ci)＝2ⁱ，t(di)＝2ⁱ*1.5

4)使用灰度質(zhì)心法確定3)計(jì)算所有特征點(diǎn)的方向，即通過(guò)矩來(lái)計(jì)算特征點(diǎn)以r為半徑范圍內(nèi)的質(zhì)心，特征點(diǎn)坐標(biāo)到質(zhì)心形成一個(gè)向量作為該特征點(diǎn)的方向；對(duì)于任意一個(gè)特征點(diǎn)p，定義p的鄰域像素的矩為：

其中，i(x，y)表示點(diǎn)(x,y)處的灰度值；

該矩的質(zhì)心c為：

假設(shè)角點(diǎn)p的坐標(biāo)為o，則向量的角度即為該特征點(diǎn)的方向；計(jì)算公式如下：

θ＝arctan(m01，m10)

第二步：基于brief的特征點(diǎn)描述；

上述第一步計(jì)算出來(lái)的特征點(diǎn)中包含了特征點(diǎn)的方向角度；對(duì)于第一步計(jì)算得到的特征點(diǎn)p，它的brief(binaryrobustindependentelementaryfeatures)描述子是一個(gè)長(zhǎng)度為n的二值碼串，這個(gè)二值串是由特征點(diǎn)周圍n個(gè)點(diǎn)對(duì)(2n個(gè)點(diǎn))生成的，將這2n個(gè)點(diǎn)(xi，yi)，i＝1，2，...，2n組成一個(gè)矩陣s：

經(jīng)過(guò)旋轉(zhuǎn)角度θ順時(shí)針旋轉(zhuǎn)，得到新的點(diǎn)對(duì)：

sθ＝rθs

其中：

進(jìn)一步的，所述s3基于光流金字塔的圖像特征點(diǎn)匹配的計(jì)算過(guò)程如下：

第一步：對(duì)于參考灰度圖像ig和配準(zhǔn)灰度圖像ik分別進(jìn)行下采樣，獲得ig和ik的圖像金字塔，即用一個(gè)[0.250.50.25]的低通濾波器對(duì)進(jìn)行卷積，計(jì)算公式如下：

其中，表示參考灰度圖像ig中第l層圖像中像素坐標(biāo)(x,y)處的像素值，根據(jù)下采樣公式可以得到圖像金字塔的第二層圖像和對(duì)第二層圖像和進(jìn)行下采樣，得到圖像金字塔的第三層圖像和圖像金字塔的層數(shù)取3到5層；

第二步：計(jì)算圖像中特征點(diǎn)p[x，y]相對(duì)于圖像的光流量，計(jì)算公式如下：

其中，ix表示w*w窗口內(nèi)每個(gè)像素點(diǎn)的行方向的導(dǎo)數(shù)，iy表示w*w的窗口內(nèi)每個(gè)像素點(diǎn)的列方向的導(dǎo)數(shù)，it表示圖像與的時(shí)間導(dǎo)數(shù)，dⁿ＝[uⁿ，vⁿ]表示圖像中特征點(diǎn)p[x，y]相對(duì)于圖像的光流量，其中uⁿ為圖像金字塔第n層的行方向的光流量，vⁿ為圖像金字塔第n層的列方向的光流量，n的取值為4；

第三步：將第n層的光流量dⁿ作為初始光流量傳遞至光流金字塔的第n-1層，即在圖像中像素點(diǎn)q[x，y]上疊加光流量dⁿ，使每一個(gè)像素點(diǎn)的坐標(biāo)變成q[x+2*uⁿ，y+2*vⁿ]，然后在圖像和疊加了光流量的圖像之間，重復(fù)上一步計(jì)算出圖像金字塔第n-1層的光流量d^n-1＝[u^n-1，v^n-1]；重復(fù)這一過(guò)程，直至計(jì)算獲得圖像金字塔第一層，即原圖像的光流量d¹＝[u¹，v¹]；

第四步：根據(jù)第一層光流量d¹＝[u¹，v¹]和參考灰度圖像ig的特征點(diǎn)p[x，y]坐標(biāo)，計(jì)算配準(zhǔn)灰度圖像ik中匹配的特征點(diǎn)坐標(biāo)(x′，y′),如求得的x′，y′超出了圖像的像素范圍，即特征點(diǎn)匹配失敗，則將特征點(diǎn)q[x′，y′]丟掉，并將對(duì)應(yīng)的特征點(diǎn)p[x，y]從特征點(diǎn)集合d中剔除出去；若求得的x′，y′在圖像像素范圍內(nèi)，則將匹配特征點(diǎn)q[x′，y′]存入特征點(diǎn)集d′中，計(jì)算方法如下：

x′＝x-u¹y′＝y(tǒng)-v¹。

進(jìn)一步的，所述s4基于mdlt算法和ransac算法估計(jì)投影變換矩陣的具體步驟如下：

假設(shè)兩幅待配準(zhǔn)圖像中有一對(duì)匹配點(diǎn)對(duì)，參考圖像中的點(diǎn)x＝[xy]^t與目標(biāo)圖像中的點(diǎn)x′＝[x′y′]^t，x與x′之間的映射關(guān)系用單應(yīng)性矩陣h表示：

其中，表示x的齊次坐標(biāo)，～表示盡可能相似，h是一個(gè)3*3的矩陣，在非齊次坐標(biāo)中，有如下對(duì)應(yīng)關(guān)系：

其中，rj表示h矩陣的第j行，并且此處映射為非線性映射；

假設(shè)參考圖像與配準(zhǔn)圖像之間有一系列n個(gè)的初始匹配點(diǎn)對(duì)則有

其中，h表示將h的向量形式，hi表示單應(yīng)性矩陣的第i行；

假設(shè)表示上面矩陣的前兩行，i表示第i個(gè)匹配點(diǎn)對(duì){xi，x′i}，給定估計(jì)的h值，矩陣h的目標(biāo)函數(shù)為：

其中，||aih||表示第i個(gè)特征點(diǎn)對(duì)的幾何誤差，dlt算法計(jì)算的是整幅圖像使用一個(gè)單應(yīng)矩陣，所以只適用于旋轉(zhuǎn)角度不大的情況，mdlt算法對(duì)dlt算法做了改進(jìn)，即對(duì)圖像中的每一個(gè)像素x*，采用加權(quán)估值計(jì)算一個(gè)局部依賴的h*進(jìn)行投影映射：

其中

的值越大表明距離x*越近，的計(jì)算公式如下：

其中，σ是尺度因子；

對(duì)進(jìn)行歸一化操作，取γ∈[0，1]：

在利用mdlt計(jì)算h矩陣前，先使用基于dlt的ransac算法去除匹配的外點(diǎn)，假設(shè)初始化單應(yīng)性矩陣h(i，j)′，計(jì)算圖像i的特征集合d中的特征點(diǎn)p[xi，yi]的中間量q′[x′i，y′i]:

q′[x′i，y′i]＝h(i，j)′^-1*p[xi，yi]

若計(jì)算得到的中間向量q′[x′i，y′i]滿足下面公式，則將該特征點(diǎn)對(duì)保留在特征集s中；否則將該特征點(diǎn)對(duì)放入余集c中，最終計(jì)算出保留在集s中匹配點(diǎn)對(duì)的數(shù)量num；

|q[x′i，y′i]-q′[x′i，y′i]|≤0.1

若num≥m，則結(jié)束ransac算法，并將當(dāng)前初始單應(yīng)性矩陣h(i，j)′作為最優(yōu)單應(yīng)性矩陣h，其中m為特征點(diǎn)對(duì)集s的樣本個(gè)數(shù)閾值；

若num＜m，則進(jìn)一步判斷ransac算法的循環(huán)次數(shù)是否在預(yù)先設(shè)定的閾值內(nèi)，若ransac算法的循環(huán)次數(shù)在閾值內(nèi)，則重復(fù)以上過(guò)程求得新的初始單應(yīng)性矩陣h(i，j)′；若ransac算法的循環(huán)次數(shù)超出設(shè)定的閾值，則結(jié)束ransac算法，并將當(dāng)前初始單應(yīng)性矩陣h(i，j)′作為最優(yōu)單應(yīng)性矩陣h。

進(jìn)一步的，所述s5計(jì)算每塊的投影變換矩陣的具體方法如下：

第一步：將原圖像均勻的分割成c1×c2個(gè)單元，并且將每個(gè)單元的中心像素作為x*，那么同一單元中的所有像素使用同一個(gè)單應(yīng)性矩陣；

第二步：利用mdlt計(jì)算每個(gè)單元的矩陣，令權(quán)值矩陣wγ＝γi，假設(shè)v的列表示wγa的右奇異值分解；特征值分解計(jì)算過(guò)程如下：

矩陣與wγ矩陣相同，除了對(duì)角線上的wi不為γ的地方，則：

其中，ri表示a矩陣的第i行，用上述特征方程對(duì)角化上面公式中間的矩陣得到

進(jìn)一步的，所述圖像的無(wú)縫拼接的融合公式如下：

m1(x，y)、m2(x，y)分別為前幀參考圖像和后幀待拼接圖像的像素灰度值，m(x，y)為融合后的像素灰度值，k1、k2為權(quán)值，且滿足k1+k2＝1；

進(jìn)一步的，所述k1和k2的權(quán)值如下所示：

本發(fā)明基于逼近投影變換(apap)的圖像拼接方法做出改進(jìn)，在特征提取步驟前加入預(yù)處理步驟、在特征提取步驟中創(chuàng)造性地采用了orb和/或brisk的二進(jìn)制特征描述子、在匹配步驟中創(chuàng)造性地采用了光流金字塔，使圖像拼接省時(shí)且配準(zhǔn)精確。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例中基于改進(jìn)的逼近投影變換圖像拼接方法流程圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1所示，本發(fā)明一種逼近投影變換的圖像拼接方法包括以下步驟：

s1：圖像預(yù)處理。

在本發(fā)明實(shí)施例中，將攝像機(jī)采集到的多張具有部分重疊區(qū)域的原始圖像進(jìn)行噪聲抑制、紋理和對(duì)比度的增強(qiáng)以及直方圖的歸一化等預(yù)處理，從而使待拼接的圖像不存在明顯的差異。

另外，當(dāng)攝像機(jī)的鏡頭或者攝影裝置沒(méi)有正對(duì)待拍攝的景物，或者攝影機(jī)是廣角鏡頭與魚眼鏡頭，那么拍攝到的景物圖像就會(huì)產(chǎn)生較嚴(yán)重的畸變，原本在兩幅圖像中相同的物體會(huì)因?yàn)榛兌兊貌黄ヅ?，這會(huì)給圖像的配準(zhǔn)帶來(lái)很大的問(wèn)題。本發(fā)明實(shí)施例中通過(guò)對(duì)攝像機(jī)的鏡頭進(jìn)行標(biāo)定，根據(jù)圖像失真的原因，建立相應(yīng)的數(shù)學(xué)模型，從而利用標(biāo)定的參數(shù)對(duì)被污染或畸變的圖像進(jìn)行校正。

s2：圖像特征點(diǎn)提取。

對(duì)s1預(yù)處理之后的多張待拼接圖像進(jìn)行特征點(diǎn)提取，本發(fā)明實(shí)施例中對(duì)多張待拼接的圖像提取兩種二進(jìn)制特征描述子，分別是brisk(binaryrobustinvariantscalablekeypoints)和orb(orientedfastandrotatedbrief)特征描述子。

brisk特征描述子是一種二進(jìn)制的特征描述子，具有較好的旋轉(zhuǎn)不變性、尺度不變性以及較好的魯棒性，在對(duì)有較大模糊的圖像配準(zhǔn)時(shí)配準(zhǔn)效果好。第一步：構(gòu)建尺度空間。

在brisk算法進(jìn)行特征點(diǎn)檢測(cè)過(guò)程中，建立的尺度圖像金字塔分為n個(gè)八度(octave)層與n個(gè)內(nèi)部(intra-octave)層，每?jī)蓚€(gè)相鄰的八度層之間有一個(gè)內(nèi)部層；第i個(gè)八度層用ci表，第i個(gè)內(nèi)部層用di表示，其中i＝{0,1,...,n-1}。假設(shè)有圖像img，octave層的產(chǎn)生方法如下：c0層就是img原圖像，c1層是c0層的2倍下采樣，c2層是c1層的2倍下采樣，以此類推。intra-octave層的產(chǎn)生方法如下：d0層是img的1.5倍下采樣，d2層是d1層的2倍下采樣，d3層是d2層的2倍下采樣，以此類推。ci、di層與原圖像的尺度關(guān)系用t表示如下：

t(ci)＝2ⁱ，t(di)＝2ⁱ*1.5

第二步：特征點(diǎn)檢測(cè)。

在第一步中，由于n＝4，所以一共可以得到8張圖像，對(duì)這8張圖像進(jìn)行fast9-16角點(diǎn)檢測(cè)，即在一個(gè)像素點(diǎn)的周圍16個(gè)像素點(diǎn)中如果有連續(xù)9個(gè)或9個(gè)以上的像素點(diǎn)的灰度值大于該像素點(diǎn)的灰度值加一個(gè)閾值或者都小于該像素點(diǎn)的灰度值減一個(gè)閾值，則認(rèn)為該像素點(diǎn)是一個(gè)特征點(diǎn)。對(duì)原圖像img進(jìn)行一次fast5-8角點(diǎn)檢測(cè)，當(dāng)做d(-1)虛擬層，那么總共得到9幅有角點(diǎn)信息的圖像。

第三步：非極大值抑制。

在第二步得到的各個(gè)尺度下的特征點(diǎn)，需要對(duì)檢測(cè)到的各層特征點(diǎn)進(jìn)行非極大值抑制，即該特征點(diǎn)的fast的分值要比它所在層的8個(gè)領(lǐng)域像素點(diǎn)的fast的得分值要大，而且要比該尺度圖像的上一層和下一層對(duì)應(yīng)區(qū)域的像素點(diǎn)的fast的得分值要大，否則不能當(dāng)做特征點(diǎn)。

第四步：特征點(diǎn)位置擬合。

通過(guò)上面步驟，我們得到的特征點(diǎn)的尺度并不是連續(xù)的，而且特征點(diǎn)的位置也是根據(jù)像素點(diǎn)的行列值計(jì)算出來(lái)的，也不是連續(xù)的，因此需要進(jìn)行擬合。首先，在特征點(diǎn)所在的尺度圖像、前一個(gè)尺度圖像和后一個(gè)尺度圖像的分值鄰域，對(duì)fast得分值進(jìn)行最小二乘的二維二次函數(shù)插值(x，y方向)，得到真正意義上的得分極值點(diǎn)及其精確的坐標(biāo)位置(作為特征點(diǎn)位置)；再對(duì)尺度方向進(jìn)行一維插值，得到極值點(diǎn)所對(duì)應(yīng)的尺度(作為特征點(diǎn)尺度)。

第五步：計(jì)算特征點(diǎn)的特征描述子。

以特征點(diǎn)為中心，在其周圍采樣n個(gè)點(diǎn)(包括特征點(diǎn))，采樣模式是以特征點(diǎn)為中心，構(gòu)建不同半徑的同心圓，然后在每個(gè)同心圓中取一定數(shù)目的等間隔采樣點(diǎn)，得到包括特征點(diǎn)在內(nèi)的n個(gè)采樣點(diǎn)。由于這種采樣模式會(huì)產(chǎn)生混疊效應(yīng)，因此對(duì)每個(gè)采樣點(diǎn)進(jìn)行了方差為δ的高斯濾波，濾波半徑大小與高斯濾波核的標(biāo)準(zhǔn)差成正比，最終用到的n個(gè)采樣點(diǎn)是經(jīng)過(guò)高斯平滑后的采樣點(diǎn)，本發(fā)明中n的取值范圍為50～70。

由于有n個(gè)采樣點(diǎn)，則采樣點(diǎn)兩兩組合成一對(duì)，共有種組合方式，所有組合方式的集合稱作采樣點(diǎn)對(duì)，表示如下：

其中，表示所有采樣點(diǎn)對(duì)的集合，pi與pj表示第i和j個(gè)采樣點(diǎn)。

設(shè)經(jīng)過(guò)高斯濾波以后的兩個(gè)采樣點(diǎn)的灰度值為i(pi，σi)和i(pj，σj)，其中σ表示半徑，且這兩點(diǎn)間的局部梯度g(pi，pj)為：

根據(jù)兩點(diǎn)之間的距離把上述集合分為兩個(gè)子集：短距離點(diǎn)對(duì)子集長(zhǎng)距離點(diǎn)對(duì)子集

其中，閾值θmax＝9.75t，閾值θmin＝13.67t，t表示該特征點(diǎn)的尺度。

特征點(diǎn)的方向計(jì)算公式如下：

其中，l指的是子集的元素?cái)?shù)目，gx表示特征點(diǎn)在x方向上的梯度，gy表示特征點(diǎn)在y方向上的梯度，g表示特征點(diǎn)在x與y方向上的梯度

brisk特征描述子具有較好的旋轉(zhuǎn)不變性，因此在計(jì)算brisk特征描述子時(shí)，首先把采樣區(qū)域旋轉(zhuǎn)α＝arctan2(gy，gx)角度，然后再在旋轉(zhuǎn)后的區(qū)域中重新采樣，得到個(gè)采樣對(duì)，選擇其中的短距離點(diǎn)對(duì)子集中512個(gè)點(diǎn)對(duì)，進(jìn)行如下比較，最后生成描述符，計(jì)算公式如下：

其中表示旋轉(zhuǎn)以后得到的采樣點(diǎn)，b表示特征描述子中每一位上的值，該值只能是0或者1

orb特征描述子是一種二進(jìn)制的特征描述子，具有旋轉(zhuǎn)不變性、尺寸不變性和對(duì)噪聲的魯棒性，對(duì)圖像的配準(zhǔn)效果好，特征點(diǎn)的匹配速度比sift特征描述子至少快100倍。orb特征描述子的計(jì)算過(guò)程如下：

第一步：基于fast的特征點(diǎn)提取。

對(duì)于給定的原圖像img，判斷圖像上某點(diǎn)p是不是特征點(diǎn)的具體過(guò)程為：

1)假設(shè)該點(diǎn)的灰度值為i(x，y)，以p為圓心畫一個(gè)半徑為3個(gè)像素的圓，這個(gè)圓的邊界上有16個(gè)像素；設(shè)定一個(gè)合適的闕值t,當(dāng)2個(gè)點(diǎn)的灰度值之差的絕對(duì)值大于t時(shí)，認(rèn)為這2個(gè)點(diǎn)不相同；在圓周上如果有連續(xù)m個(gè)點(diǎn)和p點(diǎn)不同，m∈9～12，則認(rèn)為p為特征點(diǎn)。

2)利用harris角點(diǎn)的度量方法，從fast特征點(diǎn)中挑選出harris角點(diǎn)響應(yīng)值最大的n個(gè)角點(diǎn)，其中harris角點(diǎn)的響應(yīng)函數(shù)定義為：

r＝detm-α(tracem)²

其中，ix表示圖像i在x方向上的偏導(dǎo)數(shù)，iy表示圖像i)在y方向上的偏導(dǎo)數(shù)，detm為矩陣m的行列式，tracem為矩陣m的跡，α是常量，取值范圍為0.04～0.06，r表示harris角點(diǎn)的響應(yīng)函數(shù)。

3)建立的尺度圖像金字塔分為n個(gè)八度(octave)層與n個(gè)內(nèi)部(intra-octave)層，每?jī)蓚€(gè)相鄰的八度層之間有一個(gè)內(nèi)部層；第i個(gè)八度層用ci表，第i個(gè)內(nèi)部層用di表示，其中i＝{0,1,...,n-1}。假設(shè)有圖像img，octave層的產(chǎn)生方法如下：c0層就是img原圖像，c1層是c0層的2倍下采樣，c2層是c1層的2倍下采樣，以此類推。intra-octave層的產(chǎn)生方法如下：d0層是img的1.5倍下采樣，d2層是d1層的2倍下采樣，d3層是d2層的2倍下采樣，以此類推。ci、di層與原圖像的尺度關(guān)系用t表示如下：

t(ci)＝2ⁱ，t(di)＝2ⁱ*1.5

4)使用灰度質(zhì)心法確定3)計(jì)算所有特征點(diǎn)的方向，即通過(guò)矩來(lái)計(jì)算特征點(diǎn)以r為半徑范圍內(nèi)的質(zhì)心，特征點(diǎn)坐標(biāo)到質(zhì)心形成一個(gè)向量作為該特征點(diǎn)的方向。對(duì)于任意一個(gè)特征點(diǎn)p，定義p的鄰域像素的矩為：

其中，i(x，y)表示點(diǎn)(x,y)處的灰度值。

該矩的質(zhì)心c為：

假設(shè)角點(diǎn)p的坐標(biāo)為o，則向量的角度即為該特征點(diǎn)的方向。計(jì)算公式如下：

θ＝arctan(m01，m10)

第二步：基于brief的特征點(diǎn)描述。

上述第一步計(jì)算出來(lái)的特征點(diǎn)中包含了特征點(diǎn)的方向角度。對(duì)于第一步計(jì)算得到的特征點(diǎn)p，它的brief(binaryrobustindependentelementaryfeatures)描述子是一個(gè)長(zhǎng)度為n的二值碼串，這個(gè)二值串是由特征點(diǎn)周圍n個(gè)點(diǎn)對(duì)(2n個(gè)點(diǎn))生成的，將這2n個(gè)點(diǎn)(xi，yi)，i＝1，2，...，2n組成一個(gè)矩陣s：

經(jīng)過(guò)旋轉(zhuǎn)角度θ順時(shí)針旋轉(zhuǎn)，得到新的點(diǎn)對(duì)：

sθ＝rθs

其中：

s3：基于光流金字塔的圖像特征點(diǎn)匹配。

根據(jù)步驟s2提取的待拼接圖像的orb與brisk特征描述子，利用光流金字塔算法計(jì)算光流，完成待拼接圖像之間特征點(diǎn)的匹配，計(jì)算過(guò)程如下：

第一：對(duì)于參考灰度圖像ig和配準(zhǔn)灰度圖像ik分別進(jìn)行下采樣，獲得ig和ik的圖像金字塔，即用一個(gè)[0.250.50.25]的低通濾波器對(duì)進(jìn)行卷積，計(jì)算公式如下：

其中，表示參考灰度圖像ig中第l層圖像中像素坐標(biāo)(x,y)處的像素值，根據(jù)下采樣公式可以得到圖像金字塔的第二層圖像和對(duì)第二層圖像和進(jìn)行下采樣，得到圖像金字塔的第三層圖像和圖像金字塔的層數(shù)取3到5層。

第二：計(jì)算圖像中特征點(diǎn)p[x，y]相對(duì)于圖像的光流量，計(jì)算公式如下：

其中，ix表示w*w窗口內(nèi)每個(gè)像素點(diǎn)的行方向的導(dǎo)數(shù)，iy表示w*w的窗口內(nèi)每個(gè)像素點(diǎn)的列方向的導(dǎo)數(shù)，it表示圖像與的時(shí)間導(dǎo)數(shù)，dⁿ＝[uⁿ，vⁿ]表示圖像中特征點(diǎn)p[x，y]相對(duì)于圖像的光流量，其中uⁿ為圖像金字塔第n層的行方向的光流量，vⁿ為圖像金字塔第n層的列方向的光流量，n的取值為4；

第三：將第n層的光流量dⁿ作為初始光流量傳遞至光流金字塔的第n-1層，即在圖像中像素點(diǎn)q[x，y]上疊加光流量dⁿ，使每一個(gè)像素點(diǎn)的坐標(biāo)變成q[x+2*uⁿ，y+2*vⁿ]，然后在圖像和疊加了光流量的圖像之間，重復(fù)上一步計(jì)算出圖像金字塔第n-1層的光流量d^n-1＝[u^n-1，v^n-1]。重復(fù)這一過(guò)程，直至計(jì)算獲得圖像金字塔第一層，即原圖像的光流量d¹＝[u¹，v¹]。

第四步：根據(jù)第一層光流量d¹＝[u¹，v¹]和參考灰度圖像ig的特征點(diǎn)p[x，y]坐標(biāo)，計(jì)算配準(zhǔn)灰度圖像ik中匹配的特征點(diǎn)坐標(biāo)(x′，y′),如求得的x′，y′超出了圖像的像素范圍，即特征點(diǎn)匹配失敗，則將特征點(diǎn)q[x′，y′]丟掉，并將對(duì)應(yīng)的特征點(diǎn)p[x，y]從特征點(diǎn)集合d中剔除出去；若求得的x′，y′在圖像像素范圍內(nèi)，則將匹配特征點(diǎn)q[x′，y′]存入特征點(diǎn)集d′中，計(jì)算方法如下：

x′＝x-u¹y′＝y(tǒng)-v¹

s4：基于mdlt算法和ransac算法估計(jì)投影變換矩陣。

利用mdlt(movingdirectlineartransformation)算法計(jì)算投影變換矩陣，可以有效的避免兩幅圖像重合部分的重影現(xiàn)象，降低了對(duì)準(zhǔn)誤差，在幾何上看起來(lái)更加逼近真實(shí)，畸變更小。

假設(shè)兩幅待配準(zhǔn)圖像中有一對(duì)匹配點(diǎn)對(duì)，參考圖像中的點(diǎn)x＝[xy]^t與目標(biāo)圖像中的點(diǎn)x′＝[x′y′]^t，x與x′之間的映射關(guān)系用單應(yīng)性矩陣h表示：

其中，表示x的齊次坐標(biāo)，～表示盡可能相似，h是一個(gè)3*3的矩陣，在非齊次坐標(biāo)中，有如下對(duì)應(yīng)關(guān)系：

其中，rj表示h矩陣的第j行，并且此處映射為非線性映射。dlt算法就是計(jì)算單應(yīng)性矩陣h的一種基礎(chǔ)算法，假設(shè)參考圖像與配準(zhǔn)圖像之間有一系列n個(gè)的初始匹配點(diǎn)對(duì)則有

其中，h表示將h的向量形式，hi表示單應(yīng)性矩陣的第i行。

假設(shè)表示上面矩陣的前兩行，i表示第i個(gè)匹配點(diǎn)對(duì){xi，x′i}，給定估計(jì)的h值，矩陣h的目標(biāo)函數(shù)為：

其中，||aih||表示第i個(gè)特征點(diǎn)對(duì)的幾何誤差，dlt算法計(jì)算的是整幅圖像使用一個(gè)單應(yīng)矩陣，所以只適用于旋轉(zhuǎn)角度不大的情況，mdlt算法對(duì)dlt算法做了改進(jìn)，即對(duì)圖像中的每一個(gè)像素x*，采用加權(quán)估值計(jì)算一個(gè)局部依賴的h*進(jìn)行投影映射：

其中

的值越大表明距離x*越近，的計(jì)算公式如下：

其中，σ是尺度因子。當(dāng)?shù)趇個(gè)匹配點(diǎn)xi與像素x*距離近時(shí)，權(quán)值越大，因此h*更好的表示了局部的投影特性，此外，由于x*在圖像中是連續(xù)變化的，h*也是連續(xù)變化的。與圖像中每個(gè)像素x*距離第i個(gè)匹配點(diǎn)xi之間的幾何距離正相關(guān)，為了避免過(guò)于接近0導(dǎo)致誤差，對(duì)進(jìn)行歸一化操作，取γ∈[0，1]：

在利用mdlt計(jì)算h矩陣前，先使用基于dlt的ransac算法去除匹配的外點(diǎn)，假設(shè)初始化單應(yīng)性矩陣h(i，j)′，計(jì)算圖像i的特征集合d中的特征點(diǎn)p[xi，yi]的中間量q′[xi′，yi′]:

q′[x′i，y′i]＝h(i，j)′^-1*p[xi，yi]

若計(jì)算得到的中間向量q′[xi′，yi′]滿足下面公式，則將該特征點(diǎn)對(duì)保留在特征集s中；否則將該特征點(diǎn)對(duì)放入余集c中，最終計(jì)算出保留在集s中匹配點(diǎn)對(duì)的數(shù)量num。

|q[x′i，y′i]-q′[x′i，y′i]|≤0.1

若num≥m，則結(jié)束ransac算法，并將當(dāng)前初始單應(yīng)性矩陣h(i，j)′作為最優(yōu)單應(yīng)性矩陣h，其中m為特征點(diǎn)對(duì)集s的樣本個(gè)數(shù)閾值。

若num＜m，則進(jìn)一步判斷ransac算法的循環(huán)次數(shù)是否在預(yù)先設(shè)定的閾值內(nèi)，若ransac算法的循環(huán)次數(shù)在閾值內(nèi)，則重復(fù)以上過(guò)程求得新的初始單應(yīng)性矩陣h(i，j)′；若ransac算法的循環(huán)次數(shù)超出設(shè)定的閾值，則結(jié)束ransac算法，并將當(dāng)前初始單應(yīng)性矩陣h(i，j)′作為最優(yōu)單應(yīng)性矩陣h。

s5：計(jì)算每塊的投影變換矩陣。

利用步驟s4計(jì)算每個(gè)像素x*的投影變換矩陣h用非常復(fù)雜的，在本發(fā)明中采用分塊的方式計(jì)算每一塊的單應(yīng)性矩陣，具體方法如下：

第一步：將原圖像均勻的分割成c1×c2個(gè)單元，并且將每個(gè)單元的中心像素作為x*，那么同一單元中的所有像素使用同一個(gè)單應(yīng)性矩陣。

第二步：利用mdlt計(jì)算每個(gè)單元的矩陣，令權(quán)值矩陣wγ＝γi，假設(shè)v的列表示wγa的右奇異值分解。特征值分解計(jì)算過(guò)程如下：

矩陣與wγ矩陣相同，除了對(duì)角線上的wi不為γ的地方，則：

其中，ri表示a矩陣的第i行，用上述特征方程對(duì)角化上面公式中間的矩陣得到

由于是奇異值分解右側(cè)的矩陣，即h的估計(jì)值，用此對(duì)每個(gè)單元做單應(yīng)矩陣的變換，得到配準(zhǔn)的圖像。

s6：圖像的無(wú)縫拼接。

步驟s5得到配準(zhǔn)后的兩幅待拼接圖像，假設(shè)m1(x，y)、m2(x，y)分別為前幀參考圖像和后幀待拼接圖像的像素灰度值，m(x，y)為融合后的像素灰度值，融合公式如下：

其中，k1、k2為權(quán)值，且滿足k1+k2＝1。為了使圖像的重疊區(qū)域更好地平滑過(guò)渡，本發(fā)明改進(jìn)了k1、k2的權(quán)值，如下所示：

按照重疊區(qū)域內(nèi)像素與參考圖像的像素距離及重疊區(qū)域內(nèi)像素與待拼接圖像的像素距離關(guān)系，采用比例歸一化的方式進(jìn)行像素值分配，從而實(shí)現(xiàn)圖像重疊區(qū)域像素值的平滑過(guò)渡，從而完成圖像的無(wú)縫拼接。

本發(fā)明基于逼近投影變換(apap)的圖像拼接方法做出改進(jìn)，在特征提取步驟前加入預(yù)處理步驟、在特征提取步驟中創(chuàng)造性地采用了orb和/或brisk的二進(jìn)制特征描述子、在匹配步驟中創(chuàng)造性地采用了光流金字塔，使圖像拼接省時(shí)且配準(zhǔn)精確。

以上所揭露的僅為本發(fā)明一種較佳實(shí)施例而已，當(dāng)然不能以此來(lái)限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。