本發(fā)明屬于圖像拼接和圖像質(zhì)量評(píng)價(jià)技術(shù)領(lǐng)域，涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種全景圖像配準(zhǔn)效果檢測(cè)方法。

背景技術(shù)：

隨著電子信息產(chǎn)業(yè)的發(fā)展和技術(shù)進(jìn)步，能夠獲取、記錄視頻信息的設(shè)備日益普及，但與人眼的視場(chǎng)范圍相比，普通攝像機(jī)的視場(chǎng)要小得多，如何有效的利用計(jì)算機(jī)技術(shù)擴(kuò)大攝像機(jī)拍攝圖像和視頻的視場(chǎng)范圍，引起了研究者的廣泛注意。圖像拼接技術(shù)可以解決由于攝像機(jī)等成像儀器的視角和大小的限制，不能生成寬視場(chǎng)圖片的問(wèn)題，現(xiàn)有的圖像拼接技術(shù)主要有兩種方案：

第一種方案是用一個(gè)常規(guī)鏡頭的投影變換和多項(xiàng)式畸變校正技術(shù)用校正模板圖像對(duì)鏡頭畸變參數(shù)進(jìn)行畸變校正，生成一組中間校正后的2d圖像，然后采用2d圖像配準(zhǔn)技術(shù)對(duì)校正后的圖像元進(jìn)行2d配準(zhǔn)，最后對(duì)配準(zhǔn)的兩幅圖像進(jìn)行融合。

第二種方案是把圖像的徑向畸變校正參數(shù)和圖像元的位姿參數(shù)作為一體，整體用最優(yōu)化技術(shù)進(jìn)行參數(shù)估計(jì)，生成一個(gè)參數(shù)映射表，然后利用參數(shù)映射表將原始圖片逐張映射到全景圖像中，處理完所有的圖像后，將兩兩相鄰的處理之后的圖像在重疊區(qū)域做一次融合過(guò)渡。

從上述過(guò)程可以看出，圖像拼接算法性能的好壞受圖像配準(zhǔn)和圖像融合兩大步驟的共同影響。針對(duì)拼接合成圖像進(jìn)行算法評(píng)價(jià)是不可或缺的，但對(duì)于圖像拼接算法的定量評(píng)價(jià)分析，目前尚無(wú)統(tǒng)一的標(biāo)準(zhǔn)。已有的評(píng)價(jià)方法都是通過(guò)人眼觀測(cè)拼接縫的方法來(lái)評(píng)估拼接質(zhì)量的好壞，而人眼觀測(cè)的方法誤差較大，無(wú)法準(zhǔn)確評(píng)估圖像拼接算法的拼接質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為克服上述情況不足，旨在提供一種可以準(zhǔn)確判斷圖像拼接中融合效果的方法。

一種全景圖像配準(zhǔn)效果檢測(cè)方法，包括以下步驟：s1：生成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；s2：生成卷積神經(jīng)網(wǎng)絡(luò)模型；s3：基于訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)測(cè)試測(cè)試數(shù)據(jù)集；

所述s1包括s101、s102、s103、s104；

s101:獲取拼接合成圖像；

s102：計(jì)算拼接合成圖像的客觀評(píng)價(jià)參數(shù)；選取了配準(zhǔn)誤差作為客觀評(píng)價(jià)參數(shù)；該評(píng)價(jià)參數(shù)用于體現(xiàn)圖像拼接算法的配準(zhǔn)性能，本發(fā)明中采用特征位置平均誤差來(lái)反映配準(zhǔn)誤差，可由下式計(jì)算：

其中

其中，q是評(píng)價(jià)的拼接序列圖像數(shù)量，k是每相鄰圖像間的特征匹配對(duì)數(shù)，h是它們與參考平面ir之間的變換矩陣，xjk，xik表示圖像的第k個(gè)特征對(duì)，這里的特征可以是區(qū)域特征、線特征或點(diǎn)特征，對(duì)待特征匹配對(duì)(xi，xj)中的xi而言，投影到參考平面再投影到其相鄰圖像后變成坐標(biāo)x′i，xj與x′i之間的幾何距離誤差可以體現(xiàn)配準(zhǔn)的準(zhǔn)確性；特征位置平均誤差εn是指每幅圖像ii和其相鄰圖像ij上的特征匹配對(duì)經(jīng)過(guò)參考平面ir變換后的幾何距離誤差值的平均值，cl是拼接序列圖像的匹配誤差；

s103：生成訓(xùn)練數(shù)據(jù)集；

根根據(jù)s101步得到的拼接合成圖像以及s102步設(shè)置的客觀評(píng)價(jià)參數(shù)，計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集；對(duì)訓(xùn)練樣本集中所有的拼接合成圖像以及相對(duì)應(yīng)的原始圖像序列，使用圖像配準(zhǔn)技術(shù)，將拼接合成圖像與原始圖像序列進(jìn)行配準(zhǔn)，得到二者的重合區(qū)域，將重合區(qū)域按行均勻分割成m塊，對(duì)每一塊進(jìn)行處理，依據(jù)上述兩種評(píng)價(jià)參數(shù)的計(jì)算方法，對(duì)每個(gè)塊計(jì)算它們的客觀評(píng)價(jià)參數(shù)，作為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集x＝{cg¹，cl¹，cg²，cl²，...，cg^m，cl^m}；基于每個(gè)塊都會(huì)得到一個(gè)配準(zhǔn)誤差，設(shè)置一個(gè)閾值τ，將每個(gè)塊的配準(zhǔn)誤差與τ進(jìn)行比較，得到對(duì)應(yīng)于每個(gè)塊的理想輸出yⁱ，計(jì)算公式如下：

將所有塊的理想輸出組合成訓(xùn)練數(shù)據(jù)集y＝{y¹，y²，...，y^m}，{x，y}一起構(gòu)成了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集合；

s104：獲取測(cè)試數(shù)據(jù)集；

所述s2步驟包括s201、s202、s203；

s201：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型；s202：設(shè)置輸入層與卷積采樣層參數(shù)；s203：利用訓(xùn)練數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，所述步驟s102中還選取了標(biāo)準(zhǔn)差作為客觀評(píng)價(jià)參數(shù)，拼接合成圖像的標(biāo)準(zhǔn)差sd定義為：

進(jìn)一步的，所述步驟s2中采用非全連接的深層神經(jīng)網(wǎng)絡(luò)模型，且同一層中某些神經(jīng)元之間的連接權(quán)重是共享的。

進(jìn)一步的，所述s201具體為：以步驟s1生成的訓(xùn)練數(shù)據(jù)集中的客觀評(píng)價(jià)參數(shù)x為輸入，構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，該卷積神經(jīng)網(wǎng)絡(luò)采用5層的神經(jīng)網(wǎng)絡(luò)，分別是輸入層，第一卷積采樣層，第二卷積采樣層，全鏈接層，輸出層，其中，在第一卷積采樣層首先將輸入與該層設(shè)定的不同卷積核和可加偏置進(jìn)行卷積，卷積后產(chǎn)生若干個(gè)特征，然后對(duì)特征按照設(shè)定的池化尺度大小進(jìn)行特征值求和，加權(quán)值，加偏置，最后通過(guò)一個(gè)sigmoid函數(shù)得到該層的輸出，第二卷積采樣層進(jìn)行與第一卷積采樣層相同的操作，區(qū)別在于兩層所使用到的卷積核、池化尺度大小以及偏置不同，兩次卷積采樣層的輸出是特征映射圖，全鏈接層將第二卷積采樣層的特征正向傳播輸出特征向量，同時(shí)也可以進(jìn)行反向傳播操作，在輸出層中將輸入的特征向量按輸出標(biāo)簽的大小指定輸出。

進(jìn)一步的，所述步驟202具體為：輸入層：x＝{cg¹，cl¹，cg²，cl²，...，cg^m，cl^m}是卷積神經(jīng)網(wǎng)絡(luò)的輸入，為了將各項(xiàng)不同的評(píng)價(jià)參數(shù)綜合起來(lái)，需要對(duì)各個(gè)評(píng)價(jià)指標(biāo)進(jìn)行歸一化處理；

卷積采樣層：在一個(gè)卷積層l，輸入層的輸入或者是上一層的第i個(gè)特征被一個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積，然后通過(guò)一個(gè)激活函數(shù)，就可以得到輸出的第j個(gè)特征每一個(gè)輸出可能是組合卷積多個(gè)輸入的值，具體計(jì)算方法如下：

其中，i，j分別表示上一層和當(dāng)前層上特征映射編號(hào)，mj表示選取的輸入特征集合的一個(gè)子集，表示第l層的第j個(gè)特征與第l-1層的第i個(gè)特征之間相關(guān)的卷積核，表示第l層的第j個(gè)特征對(duì)應(yīng)的附加的偏置，*表示卷積操作，激活函數(shù)f(.)采用sigmoid函數(shù)將輸出壓縮到[0,1]；

卷積之后會(huì)緊跟著一個(gè)子采樣，對(duì)于子采樣來(lái)說(shuō)，有n個(gè)輸入特征，就有n個(gè)輸出特征，只是每個(gè)輸出特征在大小上變小了，計(jì)算公式如下：

其中，down(.)表示一個(gè)下采樣函數(shù)，優(yōu)選max-pooling池化模式，池化核大小為2*2，步長(zhǎng)為2。

進(jìn)一步的，所述步驟s203具體分為如下兩個(gè)階段：

第一階段：前向傳播階段

對(duì)給定的訓(xùn)練數(shù)據(jù)集{x，y}，將訓(xùn)練數(shù)據(jù)集中的x輸入到卷積神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過(guò)逐層的變換，傳送到輸出層，計(jì)算出與x相對(duì)應(yīng)的實(shí)際輸出o；計(jì)算實(shí)際輸出o與理想輸出y之間的誤差，這里采用平方誤差代價(jià)函數(shù)，第n個(gè)訓(xùn)練數(shù)據(jù)的誤差表示為：

其中，k表示輸出數(shù)據(jù)的維數(shù)，表示第n個(gè)訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的理想輸出數(shù)據(jù)的第k維，表示第n個(gè)訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的網(wǎng)絡(luò)輸出的第k個(gè)輸出；

第二階段：后向傳播階段

后向傳播階段是按照上述計(jì)算前向平方誤差方法反向傳播調(diào)整網(wǎng)絡(luò)每一層的權(quán)重矩陣；反向傳播回來(lái)的誤差可以看做是每個(gè)神經(jīng)元的偏置的靈敏度δ，卷積層逆向誤差傳播公式為：

其中，°表示每個(gè)元素相乘，l表示層數(shù)，m，n分別表示上一層和當(dāng)前層上特征的映射編號(hào)，表示第l層上的第n個(gè)神經(jīng)節(jié)點(diǎn)的靈敏度，表示下采樣層的權(quán)值，為可訓(xùn)練的常數(shù)，up()表示上采樣操作，’表示轉(zhuǎn)置，和表示第l層第n個(gè)特征對(duì)應(yīng)的權(quán)值和偏置，表示第l-1層的第n個(gè)特征；池化層的逆向誤差傳播公式計(jì)算如下：

其中，m表示輸入特征的集合，表示l+1層的第n個(gè)特征與第l層的第m個(gè)特征之間相關(guān)的卷積核，表示第l+1層的第n個(gè)神經(jīng)節(jié)點(diǎn)的靈敏度，表示第l層的第m個(gè)神經(jīng)節(jié)點(diǎn)的靈敏度；

最后，對(duì)每個(gè)神經(jīng)元運(yùn)用δ規(guī)則進(jìn)行權(quán)值更新；即對(duì)一個(gè)給定的神經(jīng)元，得到它的輸入，然后用這個(gè)神經(jīng)元的δ來(lái)進(jìn)行縮放；用向量的形式表述就是，對(duì)于第l層，誤差對(duì)于該層每一個(gè)權(quán)值(組合為矩陣)的導(dǎo)數(shù)是該層的輸入(等于上一層的輸出)與該層的靈敏度(該層每個(gè)神經(jīng)元的δ組合成一個(gè)向量的形式)的叉乘；計(jì)算偏置和卷積核的偏導(dǎo)數(shù)公式如下：

其中，e表示誤差代價(jià)函數(shù)，為計(jì)算卷積時(shí)的每一個(gè)小區(qū)域(patch)，u、v分別表示靈敏度矩陣中的元素位置；利用上述卷積核和偏置的偏導(dǎo)，更新卷積核和偏置。

進(jìn)一步的，所述步驟s3具體為：將步驟s103生成的測(cè)試數(shù)據(jù)集作為步驟s2訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)的輸入，經(jīng)過(guò)該神經(jīng)網(wǎng)絡(luò)后輸出對(duì)應(yīng)每個(gè)塊的輸出標(biāo)簽。

本發(fā)明根據(jù)卷積神經(jīng)網(wǎng)絡(luò)輸出的每塊的輸出標(biāo)簽，計(jì)算每一幅待評(píng)價(jià)拼接合成圖像所有塊的輸出標(biāo)簽的平均值，然后計(jì)算同一拼接算法下所有拼接合成圖像輸出標(biāo)簽的平均值作為該拼接算法效果好壞的評(píng)價(jià)等級(jí)。利用卷積神經(jīng)網(wǎng)絡(luò)，可以代替繁瑣的，大量的人為統(tǒng)計(jì)評(píng)分，并且可以準(zhǔn)確地判斷圖像拼接中配準(zhǔn)效果的好壞，克服單因素評(píng)價(jià)指標(biāo)所帶來(lái)的局限性，有利于全自動(dòng)自適應(yīng)圖像拼接系統(tǒng)的實(shí)現(xiàn)，具有非常重要的應(yīng)用價(jià)值。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例中一種全景圖像配準(zhǔn)效果檢測(cè)方法的流程圖；

圖2為本發(fā)明實(shí)施例中訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集的計(jì)算流程圖；

圖3為本發(fā)明實(shí)施例中卷積神經(jīng)網(wǎng)絡(luò)計(jì)算流程圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1所示，本發(fā)明提出的一種全景圖像配準(zhǔn)效果檢測(cè)方法具體包括以下步驟：

s1：生成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。

如圖2所示，訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集的計(jì)算方法如下：

s101:獲取拼接合成圖像。

利用圖像采集設(shè)備拍攝n組原始圖像序列，然后采用不同的待評(píng)價(jià)拼接算法對(duì)這n組原始圖像序列進(jìn)行拼接，獲得與每種待評(píng)價(jià)拼接算法相對(duì)應(yīng)的n組拼接合成圖像。

s102：計(jì)算拼接合成圖像的客觀評(píng)價(jià)參數(shù)。

本發(fā)明主要關(guān)心的是拼接合成圖像的匹配誤差，為了實(shí)現(xiàn)對(duì)拼接合成圖像配準(zhǔn)效果的評(píng)價(jià)，選取了配準(zhǔn)誤差作為客觀評(píng)價(jià)參數(shù)，進(jìn)一步的，還可以增加信息熵作為客觀評(píng)價(jià)參數(shù)。這兩種評(píng)價(jià)參數(shù)的具體計(jì)算方法如下：

(1)配準(zhǔn)誤差

該評(píng)價(jià)參數(shù)用于體現(xiàn)圖像拼接算法的配準(zhǔn)性能，本發(fā)明中采用特征位置平均誤差來(lái)反映配準(zhǔn)誤差，可由下式計(jì)算：

其中

其中，q是評(píng)價(jià)的拼接序列圖像數(shù)量，k是每相鄰圖像間的特征匹配對(duì)數(shù)，h是它們與參考平面ir之間的變換矩陣，xjk，xik表示圖像的第k個(gè)特征對(duì)，這里的特征可以是區(qū)域特征、線特征或點(diǎn)特征，對(duì)待特征匹配對(duì)(xi，xj)中的xi而言，投影到參考平面再投影到其相鄰圖像后變成坐標(biāo)x′i，xj與x′i之間的幾何距離誤差可以體現(xiàn)配準(zhǔn)的準(zhǔn)確性。特征位置平均誤差εn是指每幅圖像ii和其相鄰圖像ij上的特征匹配對(duì)經(jīng)過(guò)參考平面ir變換后的幾何距離誤差值的平均值，cl是拼接序列圖像的匹配誤差。

(2)信息熵

信息熵是反映圖像信息量的一個(gè)重要指標(biāo)?？赏ㄟ^(guò)下式計(jì)算拼接合成圖像i的信息熵：

其中，cg表示拼接合成圖像的信息熵，pi為灰度值i的像素與圖像總像素?cái)?shù)之比，l是灰度級(jí)別。對(duì)于拼接合成圖像i來(lái)說(shuō)，信息熵越大，則代表圖像的信息越豐富，圖像越復(fù)雜。

s103：生成訓(xùn)練數(shù)據(jù)集。

根據(jù)s101步得到的拼接合成圖像以及s102步設(shè)置的客觀評(píng)價(jià)參數(shù)，計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集。對(duì)訓(xùn)練樣本集中所有的拼接合成圖像以及相對(duì)應(yīng)的原始圖像序列，使用圖像配準(zhǔn)技術(shù)，將拼接合成圖像與原始圖像序列進(jìn)行配準(zhǔn)，得到二者的重合區(qū)域，將重合區(qū)域按行均勻分割成m塊，對(duì)每一塊進(jìn)行處理，依據(jù)上述兩種評(píng)價(jià)參數(shù)的計(jì)算方法，對(duì)每個(gè)塊計(jì)算它們的客觀評(píng)價(jià)參數(shù)，作為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集x＝{cg¹，cl¹，cg²，cl²，...，cg^m，cl^m}?；诿總€(gè)塊都會(huì)得到一個(gè)配準(zhǔn)誤差，設(shè)置一個(gè)閾值τ，將每個(gè)塊的配準(zhǔn)誤差與τ進(jìn)行比較，得到對(duì)應(yīng)于每個(gè)塊的理想輸出yⁱ，計(jì)算公式如下：

將所有塊的理想輸出組合成訓(xùn)練數(shù)據(jù)集y＝{y¹，y²，...，y^m}，{x，y}一起構(gòu)成了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集合。

s104：獲取測(cè)試數(shù)據(jù)集。

測(cè)試樣本圖像包括原始序列圖像以及拼接合成圖像，按照步驟s103介紹的方法獲取測(cè)試數(shù)據(jù)集ts＝{cg¹，cl¹，cg²，cl²，...，cg^m，cl^m}。

s2：卷積神經(jīng)網(wǎng)絡(luò)模型。

在本發(fā)明實(shí)施例中，采用的是非全連接的深層神經(jīng)網(wǎng)絡(luò)模型，且同一層中某些神經(jīng)元之間的連接權(quán)重是共享的，這種非全連接和權(quán)重共享的網(wǎng)絡(luò)結(jié)構(gòu)使該模型更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)重的數(shù)量。

如圖3所示，卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練包括如下步驟：

s201：構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型。

以步驟s1生成的訓(xùn)練數(shù)據(jù)集中的客觀評(píng)價(jià)參數(shù)x為輸入，構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，該卷積神經(jīng)網(wǎng)絡(luò)采用5層的神經(jīng)網(wǎng)絡(luò)，分別是輸入層，第一卷積采樣層，第二卷積采樣層，全鏈接層，輸出層，其中，在第一卷積采樣層首先將輸入與該層設(shè)定的不同卷積核和可加偏置進(jìn)行卷積，卷積后產(chǎn)生若干個(gè)特征，然后對(duì)特征按照設(shè)定的池化尺度大小進(jìn)行特征值求和，加權(quán)值，加偏置，最后通過(guò)一個(gè)sigmoid函數(shù)得到該層的輸出，第二卷積采樣層進(jìn)行與第一卷積采樣層相同的操作，區(qū)別在于兩層所使用到的卷積核、池化尺度大小以及偏置不同，兩次卷積采樣層的輸出是特征映射圖，全鏈接層將第二卷積采樣層的特征正向傳播輸出特征向量，同時(shí)也可以進(jìn)行反向傳播操作，在輸出層中將輸入的特征向量按輸出標(biāo)簽的大小指定輸出。

以上僅給出卷積神經(jīng)網(wǎng)絡(luò)模型的一個(gè)示例，實(shí)際上卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建方式可以根據(jù)應(yīng)用目的進(jìn)行經(jīng)驗(yàn)設(shè)置，包括卷積池化層數(shù)、全鏈接層數(shù)、卷積核的數(shù)量與大小以及池化尺度等參數(shù)可以根據(jù)應(yīng)用目的進(jìn)行設(shè)置。

s202：設(shè)置輸入層與卷積采樣層參數(shù)。

輸入層：x＝{cg¹，cl¹，cg²，cl²，...，cg^m，cl^m}是卷積神經(jīng)網(wǎng)絡(luò)的輸入，為了將各項(xiàng)不同的評(píng)價(jià)參數(shù)綜合起來(lái)，需要對(duì)各個(gè)評(píng)價(jià)指標(biāo)進(jìn)行歸一化處理。

卷積采樣層(包括第一卷積采樣層和第二卷積采樣層)：在一個(gè)卷積層l，輸入層的輸入或者是上一層的第i個(gè)特征被一個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積，然后通過(guò)一個(gè)激活函數(shù)，就可以得到輸出的第j個(gè)特征每一個(gè)輸出可能是組合卷積多個(gè)輸入的值，具體計(jì)算方法如下：

其中，i，j分別表示上一層和當(dāng)前層上特征映射編號(hào)，mj表示選取的輸入特征集合的一個(gè)子集，表示第l層的第j個(gè)特征與第l-1層的第i個(gè)特征之間相關(guān)的卷積核，表示第l層的第j個(gè)特征對(duì)應(yīng)的附加的偏置，*表示卷積操作，激活函數(shù)f(.)采用sigmoid函數(shù)將輸出壓縮到[0,1]。

卷積之后會(huì)緊跟著一個(gè)子采樣，對(duì)于子采樣來(lái)說(shuō)，有n個(gè)輸入特征，就有n個(gè)輸出特征，只是每個(gè)輸出特征在大小上變小了，計(jì)算公式如下：

其中，down(.)表示一個(gè)下采樣函數(shù)，優(yōu)選max-pooling池化模式，池化核大小為2*2，步長(zhǎng)為2。

卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)特征提取層(子采樣層)都緊跟著一個(gè)用來(lái)求局部平均與二次提取的計(jì)算層(卷積層)，這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識(shí)別時(shí)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰Α?/p>

s203：利用訓(xùn)練數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，他能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，而不需要任何輸入和輸出之間的精確數(shù)學(xué)表達(dá)式，只要用已知的模式對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)就具有輸入到輸出對(duì)之間的映射能力。在開(kāi)始訓(xùn)練前，所有的權(quán)重都應(yīng)該進(jìn)行隨機(jī)初始化。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法可以分為如下兩個(gè)階段：

第一階段：前向傳播階段

對(duì)給定的訓(xùn)練數(shù)據(jù)集{x，y}，將訓(xùn)練數(shù)據(jù)集中的x輸入到卷積神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過(guò)逐層的變換(卷積采樣層，卷積采樣層，全鏈接層，全鏈接層)，傳送到輸出層，計(jì)算出與x相對(duì)應(yīng)的實(shí)際輸出o。計(jì)算實(shí)際輸出o與理想輸出y之間的誤差，這里采用平方誤差代價(jià)函數(shù)，第n個(gè)訓(xùn)練數(shù)據(jù)的誤差表示為：

其中，k表示輸出數(shù)據(jù)的維數(shù)，表示第n個(gè)訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的理想輸出數(shù)據(jù)的第k維，表示第n個(gè)訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的網(wǎng)絡(luò)輸出的第k個(gè)輸出。

第二階段：后向傳播階段

后向傳播階段是按照上述計(jì)算前向平方誤差方法反向傳播調(diào)整網(wǎng)絡(luò)每一層的權(quán)重矩陣。反向傳播回來(lái)的誤差可以看做是每個(gè)神經(jīng)元的偏置的靈敏度δ，卷積層逆向誤差傳播公式為：

其中，°表示每個(gè)元素相乘，l表示層數(shù)，m，n分別表示上一層和當(dāng)前層上特征的映射編號(hào)，表示第l層上的第n個(gè)神經(jīng)節(jié)點(diǎn)的靈敏度，表示下采樣層的權(quán)值，為可訓(xùn)練的常數(shù)，up()表示上采樣操作，’表示轉(zhuǎn)置，和表示第l層第n個(gè)特征對(duì)應(yīng)的權(quán)值和偏置，表示第l-1層的第n個(gè)特征。池化層的逆向誤差傳播公式計(jì)算如下：

其中，m表示輸入特征的集合，表示l+1層的第n個(gè)特征與第l層的第m個(gè)特征之間相關(guān)的卷積核，表示第l+1層的第n個(gè)神經(jīng)節(jié)點(diǎn)的靈敏度，表示第l層的第m個(gè)神經(jīng)節(jié)點(diǎn)的靈敏度。

最后，對(duì)每個(gè)神經(jīng)元運(yùn)用δ規(guī)則進(jìn)行權(quán)值更新。即對(duì)一個(gè)給定的神經(jīng)元，得到它的輸入，然后用這個(gè)神經(jīng)元的δ來(lái)進(jìn)行縮放。用向量的形式表述就是，對(duì)于第l層，誤差對(duì)于該層每一個(gè)權(quán)值(組合為矩陣)的導(dǎo)數(shù)是該層的輸入(等于上一層的輸出)與該層的靈敏度(該層每個(gè)神經(jīng)元的δ組合成一個(gè)向量的形式)的叉乘。計(jì)算偏置和卷積核的偏導(dǎo)數(shù)公式如下：

其中，e表示誤差代價(jià)函數(shù)，為計(jì)算卷積時(shí)的每一個(gè)小區(qū)域(patch)，u，v分別表示靈敏度矩陣中的元素位置。利用上述卷積核和偏置的偏導(dǎo)，更新卷積核和偏置。

利用步驟s1獲取的訓(xùn)練數(shù)據(jù)集，采用hinge損失函數(shù)和隨機(jī)梯度下降方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)趨于局部最優(yōu)解附近時(shí)，完成訓(xùn)練；其中局部最優(yōu)解事先由人工設(shè)定。

s3：基于訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)測(cè)試測(cè)試數(shù)據(jù)集。

將步驟s103生成的測(cè)試數(shù)據(jù)集作為步驟s2訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)的輸入，經(jīng)過(guò)該神經(jīng)網(wǎng)絡(luò)后輸出對(duì)應(yīng)每個(gè)塊的輸出標(biāo)簽。

根據(jù)上述卷積神經(jīng)網(wǎng)絡(luò)輸出的每塊的輸出標(biāo)簽，計(jì)算每一幅待評(píng)價(jià)拼接合成圖像所有塊的輸出標(biāo)簽的平均值，然后計(jì)算同一拼接算法下所有拼接合成圖像輸出標(biāo)簽的平均值作為該拼接算法效果好壞的評(píng)價(jià)等級(jí)。

綜上所述，利用卷積神經(jīng)網(wǎng)絡(luò)，可以代替繁瑣的，大量的人為統(tǒng)計(jì)評(píng)分，并且可以準(zhǔn)確地判斷圖像拼接中配準(zhǔn)效果的好壞，克服單因素評(píng)價(jià)指標(biāo)所帶來(lái)的局限性，有利于全自動(dòng)自適應(yīng)圖像拼接系統(tǒng)的實(shí)現(xiàn)，具有非常重要的應(yīng)用價(jià)值。

以上所揭露的僅為本發(fā)明一種較佳實(shí)施例而已，當(dāng)然不能以此來(lái)限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。