本發(fā)明涉及一種圖像處理方法，具體涉及一種基于外參數(shù)修正魚眼像機的圖像生成方法。

背景技術(shù)：

全景視頻是一種基于圖像拼接技術(shù)實現(xiàn)的低成本虛擬現(xiàn)實技術(shù)，是虛擬現(xiàn)實、計算機視覺技術(shù)領(lǐng)域中的一個研究熱點。全景拼接技術(shù)作為一種廉價、直觀的實現(xiàn)方式已經(jīng)在多個領(lǐng)域得到廣泛的應(yīng)用，比如vr/ar、視頻拍攝、視頻監(jiān)控、房地產(chǎn)、裝潢設(shè)計、旅游景點、虛擬校園、街景服務(wù)等，有著廣闊的市場需求。為拍攝更大、更全的高清全景圖，全景像機通常由兩個以上的像機組成來覆蓋全方位的視角，由于魚眼像機的鏡頭具有超大視場角的特點，因此全景像機大多由魚眼像機組成。

生成全景影像需要通過若干魚眼像機分別將采集到的原始圖像拼接而成，如果要實現(xiàn)拼接，那么必須得到每一魚眼像機精確的內(nèi)參數(shù)、外參數(shù)；以及魚眼像機之間的相對位姿關(guān)系，而由于工業(yè)制造技術(shù)的限制使得像機之間的相對位姿關(guān)系無法滿足像機間姿態(tài)關(guān)系理論值的準(zhǔn)確對位需求，一般直接利用理論設(shè)計的姿態(tài)值對不同像機獲取的視頻圖像進行拼接會產(chǎn)生明顯的錯位和重影。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于，提供一種基于外參數(shù)修正魚眼像機的圖像生成方法，標(biāo)定方式簡單且與實際的場景情況更加接近，提高精度，解決以上技術(shù)問題；本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實現(xiàn)：

一種基于外參數(shù)修正魚眼像機的圖像生成方法，提供兩個具有重合視場的魚眼像機，每一魚眼像機具有初始的內(nèi)參數(shù)和外參數(shù)，以及用于成像的原始平面模型，

包括

步驟s1，根據(jù)初始的內(nèi)參數(shù)分別對每一所述魚眼像機的建立對應(yīng)的所述視場球面模型；

步驟s2，提供第一標(biāo)定板，通過所述第一標(biāo)定板修正每一所述魚眼像機初始的內(nèi)參數(shù)，得到修正后的內(nèi)參數(shù)；

步驟s3，建立一基準(zhǔn)球面模型，根據(jù)所述初始的外參數(shù)分別確定每一所述魚眼像機的視場球面模型和所述基準(zhǔn)球面模型的基準(zhǔn)映射關(guān)系；

步驟s4，提供若干第二標(biāo)定板位于所述重合視場中，每一所述第二標(biāo)定板包括若干第二特征點，每一所述魚眼像機分別采集所述第二特征點并根據(jù)對應(yīng)的基準(zhǔn)映射關(guān)系投影所述特征點至基準(zhǔn)視場球面模型，于所述基準(zhǔn)視場球面模型中確定相同的第二特征點為同名組，計算每一所述同名組內(nèi)的所述第二特征點之間的偏差距離，修正每一所述魚眼像機初始的外參數(shù)直至所有所述同名組的所述偏差距離之和最小，得到修正后的外參數(shù)；

步驟s5，根據(jù)所述修正后的內(nèi)參數(shù)和所述修正后的外參數(shù)將每一所述魚眼鏡頭采集的圖像投影至所述基準(zhǔn)球面模型中得到全景圖像。

進一步地，所述基準(zhǔn)球面模型的中心點與其中一所述視場球面模型的中心點重合。

進一步地，所述基準(zhǔn)球面模型的中心點為所有所述視場球面模型的中心點之間的中點。

進一步地，所述魚眼像機設(shè)置為兩個，兩個所述魚眼像機的所述重合視場為環(huán)形視場，若干所述第二標(biāo)定板沿所述環(huán)形視場均勻布置。

進一步地，每一所述第二標(biāo)定板上設(shè)置有辨識圖形，所述魚眼像機采集所述辨識圖形的圖像可獲取用于區(qū)分所述第二標(biāo)定板的辨識碼。

進一步地，所述步驟s4中，還包括有步驟s41用于確定相同的第二特征點于一同名組；

所述步驟s41包括，建立一公共視場模型，所述公共視場模型與每一所述魚眼像機的視場球面模型存在映射關(guān)系；對于任意存在重合視場的第一魚眼像機和第二魚眼像機，分別將所述第一魚眼像機和所述第二魚眼像機采集的所述第二特征點映射到所述公共視場模型上，在所述公共視場模型上，若所述第一魚眼像機對應(yīng)的一第二特征點與所述第二魚眼像機對應(yīng)的一第二特征點互為最接近的第二特征點，則將這兩個所述第二特征點確定于同一所述同名組中。

進一步地，所述公共視場模型的形狀為環(huán)形帶狀曲面。

進一步地，所述第二標(biāo)定板包括若干黑白相間的正方形圖形，每兩個相鄰的所述正方形圖形的重合的角點為所述的第二特征點。

有益效果：由于采用以上技術(shù)方案，通過這樣設(shè)置，基于初始的內(nèi)參數(shù)和外參數(shù)，重新對魚眼像機的內(nèi)參數(shù)和外參數(shù)進行修正，使得修正后的內(nèi)參數(shù)和外參數(shù)與實際場景情況更加接近，使魚眼像機的全景拼接精度更高，且標(biāo)定的方法較為簡便，較其他的標(biāo)定方式而言更加具有實用意義。

附圖說明

圖1為魚眼圖像重投影示意圖；

圖2為魚眼像機平差法內(nèi)參數(shù)修正模型示意圖；

圖3為球面全景圖投影模型側(cè)視圖；

圖4為第二標(biāo)定板的a型標(biāo)定板結(jié)構(gòu)示意圖；

圖5為第二標(biāo)定板的b型標(biāo)定板結(jié)構(gòu)示意圖；

圖6為魚眼像機圖像拼接的標(biāo)定結(jié)構(gòu)示意圖；

圖7為魚眼像機投影示意圖；

圖8為利用第二標(biāo)定板獲取魚眼像機的第二特征點同名組示意圖；

圖9為利用公共視場中同名像點差優(yōu)化外參示意圖；

圖10為魚眼像機全景視頻生成流程圖。

附圖標(biāo)記：1、原始平面模型；2、視場球面模型；21、第一標(biāo)定板；3、基準(zhǔn)球面模型；110、橫桿；120、中心支撐桿；130、側(cè)支撐桿；140、第二標(biāo)定板；141、底板；142、棋盤圖形；143、標(biāo)識圖形；200、魚眼像機；210、魚眼鏡頭。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

需要說明的是，在不沖突的情況下，本發(fā)明中的實施例及實施例中的特征可以相互組合。

下面結(jié)合附圖和具體實施例對本發(fā)明作進一步說明，但不作為本發(fā)明的限定。

一種基于魚眼像機200的圖像生成方法，提供至少兩個具有重合視場的魚眼像機200，每一魚眼像機200具有初始的內(nèi)參數(shù)和外參數(shù)，以及用于成像的原始平面模型1，相鄰魚眼像機200之間具有初始的相對位姿關(guān)系，

魚眼像機初始的內(nèi)參數(shù)指的是魚眼像機固有的參數(shù)，例如魚眼圖像的中心坐標(biāo)(cx，cy)，也就是原始平面模型的中心坐標(biāo)，原始平面模型的半徑r(形狀為圓形)，魚眼像機鏡頭的焦距f，魚眼像機鏡頭視場角fov以及具體的視場球面模型和像差系數(shù)等，而在本發(fā)明的方法中，視場球面模型的生成在步驟s1中實現(xiàn)，而以部分內(nèi)參數(shù)為例，對本發(fā)明做出解釋。

對于計算原始平面模型的中心坐標(biāo)和半徑，可以首先利用魚眼像機采集一個圖像，利用閾值法對圖像進行摳圖，然后用huogh變換法或切線法找出原始平面模型的圓心和半徑，設(shè)圓心o的坐標(biāo)為(cx,cy)，半徑為r；然后對魚眼圖像上所有像點(u,v)進行坐標(biāo)系變換：u＝u-cx,v＝v-cy，從而將坐標(biāo)系原點由圖像的左上角點變換到以圓心o為坐標(biāo)系原點；這樣就建立了原始平面模型。而后通過魚眼像機采集標(biāo)定板圖像通過zhang氏標(biāo)定法和ocam法等內(nèi)參數(shù)標(biāo)定方法，實現(xiàn)魚眼像機鏡頭的焦距f，魚眼像機鏡頭視場角fov的標(biāo)定。

外參數(shù)包括旋轉(zhuǎn)矩陣r和平移參數(shù)t等，初始的外參數(shù)由旋轉(zhuǎn)矩陣和平移參數(shù)可以由實際魚眼像機200的中心位置以及對應(yīng)的原始平面模型1獲得外參數(shù)。

步驟s1，根據(jù)初始的內(nèi)參數(shù)分別對每一魚眼像機200的建立對應(yīng)的視場球面模型2，建立方法已為公知常識，在此不做贅述；由于單個魚眼像機200的視場范圍不可能是360°，例如視場為210°的話，這里的視球面上就只有210°的范圍有圖像存在，其他沒有圖像存在的球面區(qū)域就為透明。

球面重投影過程如圖1所示，為原始平面模型1的圓心，同時也為視場球面模型2的球面的球心，根據(jù)zhang氏標(biāo)定法將魚眼圖像上的像點投影到視場球面模型2的球面上，設(shè)fov為魚眼像機200的鏡頭的視場角，則原始平面模型1r處對應(yīng)于視場球面模型2的球面上fov處的小圓。設(shè)視場球面模型的球面半徑為r，魚眼圖像上的原始像點(u,v)^t投影到標(biāo)準(zhǔn)球面上的三維像點為(x,y,z)^t，(u,v)^t到球心o的距離為rd，三維像點(x,y,z)^t與光軸的夾角為θ，如圖1所示：

以等距投影模型為例，通過步驟1)中得到的等距投影模型內(nèi)參數(shù)f，可得：

進一步，可以根據(jù)原始像點(u,v)^t求得三維像點(x,y,z)^t的值：

求解上述公式即可獲得視場球面模型上的所有像點，從而完成了原始平面模型根據(jù)映射關(guān)系到視場球面模型上的投影。

步驟s2，通過一預(yù)設(shè)的第一標(biāo)定板修正每一所述魚眼像機的所述初始的內(nèi)參數(shù)，得到修正后的內(nèi)參數(shù)，具體如下：

提供第一標(biāo)定板21，即一種用于標(biāo)定的標(biāo)定板，通過第一標(biāo)定板21修正每一魚眼像機200初始的內(nèi)參數(shù)，得到修正后的內(nèi)參數(shù)；

第一標(biāo)定板21包括若干第一特征點，步驟s2中，包括若干次修正步驟，修正步驟包括

步驟s21，根據(jù)第一標(biāo)定板21與對應(yīng)的魚眼像機200的相對位姿關(guān)系，以及魚眼像機200的初始的內(nèi)參數(shù)和外參數(shù)，計算第一特征點于魚眼像機200的原始平面模型1中的理論像點位置，因為魚眼像機200成像每一個像點都有對應(yīng)的位置，即實際像點位置，而通過原始平面模型計算獲得的位置則叫做實際像點位置；

步驟s22，計算第一特征點于魚眼像機200的原始平面模型1中的實際像點位置；

步驟s23，計算每一第一特征點的理論像點位置與實際像點位置的偏差，根據(jù)該偏差修正對應(yīng)的魚眼像機200的初始的內(nèi)參數(shù)使理論像點的位置趨近實際像點位置。

步驟s21中，第一標(biāo)定板21與對應(yīng)的魚眼像機200的相對位姿關(guān)系不同。

具體如下，一般來說，初始的內(nèi)參數(shù)是不精確的，還需要進行進一步的修正。本發(fā)明通過魚眼鏡頭210像機采集多張不同距離和不同姿態(tài)的第一標(biāo)定板21圖像的方法，構(gòu)造實際像點與由魚眼像機200內(nèi)參構(gòu)建的投影模型得到的理論像點的之間的約束關(guān)系，從而利用平差的方法來對初始的內(nèi)參數(shù)進行修正。

如圖2所示，設(shè)標(biāo)定板上有n個第一特征點(角點)，也就是白色正方形圖形和黑色正方形圖形重合的角點，方便識別，第一標(biāo)定板坐標(biāo)系中第i個第一特征點的坐標(biāo)為[xi，yi，0]^t，對應(yīng)的視場球面模型中特征點坐標(biāo)為映射到視場球面模型上時的球面像點坐標(biāo)為[xi，yi，zi]^t，對應(yīng)的原始平面模型上的二維像點坐標(biāo)為[ui，vi]^t，則對第k幀標(biāo)定圖像，存在如下映射關(guān)系：1、標(biāo)定板坐標(biāo)系到視球面坐標(biāo)系的三維坐標(biāo)映射：2、視球面坐標(biāo)系三維坐標(biāo)到視場球面模型坐標(biāo)的映射：其中3、視場球面模型坐標(biāo)到原始平面模型坐標(biāo)的映射：[xi，yi，zi]^t→[ui，vi]^t。

若原始平面模型像點到視場球面模型坐標(biāo)系像點的映射為f的話，即：

其中cx，cy，f，fov等為待修正的內(nèi)參數(shù)，則視場球面模型坐標(biāo)到原始平面模型坐標(biāo)的映射為上述映射的逆映射，即：

若記標(biāo)定板圖像坐標(biāo)[xi，yi，0]^t到原始平面模型上的像點坐標(biāo)[ui，vi]^t的映射為g，則由式——式則有：

從式可以看出，對單幀標(biāo)定板圖像，將會產(chǎn)生n個約束以及cx，cy，f，fov等5個內(nèi)參未知量和rk、tk等6個外參未知量，但由于內(nèi)參為恒定量保持不變，所以每增加一幀標(biāo)定圖像，將只會增加6個外參未知量，從而可以依據(jù)式列出平差約束方程，利用平差的方法對內(nèi)參進行進一步的修正，其中平差時的誤差量為依據(jù)式所示的投影模型得到的理論像點與實際像點之間的誤差，平差量為cx，cy，f，fov等5個內(nèi)參。

步驟s3，建立一基準(zhǔn)球面模型，并根據(jù)所述初始的外參數(shù)分別確定每一所述魚眼像機的所述視場球面模型和所述基準(zhǔn)球面模型的基準(zhǔn)映射關(guān)系；具體如下：

建立一基準(zhǔn)球面模型3，基準(zhǔn)球面模型3是為一個球面，用于生成球面全景圖，根據(jù)初始的外參數(shù)分別確定每一魚眼像機200的視場球面模型2和基準(zhǔn)球面模型3的基準(zhǔn)映射關(guān)系，基準(zhǔn)映射關(guān)系反應(yīng)的是視場球面模型2和基準(zhǔn)球面模型3的相對位置關(guān)系，使得每一個像點都能在另一個對應(yīng)的球面上找到對應(yīng)的位置；在其中一個實施例中，基準(zhǔn)球面模型3的中心點與其中一視場球面模型2的中心點重合。在另一個實施例中，基準(zhǔn)球面模型3的中心點為所有視場球面模型2的中心點之間的中點。

球面全景圖是與人眼模型最接近的全景描述。本專利的全景拼接思路是將不同魚眼像機200獲得的影像投影到共同坐標(biāo)系下的球面上，所以建立基準(zhǔn)球面模型3，從而形成一幅球面全景圖，如圖3所示。

首先，根據(jù)公式將兩個魚眼像機獲得的原始魚眼圖像分別根據(jù)其投影模型投影到對應(yīng)的視場球面模型上，即魚眼圖像sa投影到球面oa-xayaza上，魚眼圖像sb投影到球面ob-xbybzb上；

設(shè)sa上的原始像點(ua,va)^t投影到標(biāo)準(zhǔn)球面上的三維像點為(xa,ya,za)^t，sb上的原始像點(ub,vb)^t投影到標(biāo)準(zhǔn)球面上的三維像點為(xb,yb,zb)^t，因此有：

通過公式即可將單位球(即視場球面模型)ob-xbybzb上的像點重映射到單位球(即視場球面模型)oa-xayaza上。

對于一般的光心相距較近的魚眼像機組，可以直接投影到其中某一個魚眼像機對應(yīng)的視球面上(例如上述中即把魚眼像機b對應(yīng)的視球面b重投影到了攝像機a對應(yīng)的視球面a上)。但是，如果兩個魚眼像機的光心距離較大，將兩個魚眼圖像統(tǒng)一投影到其中一個魚眼像機的坐標(biāo)系下會出現(xiàn)“偏心”現(xiàn)象，為避免這個問題，可以將兩個像機根據(jù)如圖3所示方法統(tǒng)一投影到兩個像機中間位置處的單位球面上oo-xoyozo，其中，姿態(tài)與魚眼像機a保持一致，則有：

就得到了基準(zhǔn)映射關(guān)系，根據(jù)基準(zhǔn)映射關(guān)系就可以將兩個或多個魚眼像機采集的圖像從原始平面模型投影到基準(zhǔn)球面模型上，以便全景圖像的拼接。

步驟s4，通過一預(yù)設(shè)的第二標(biāo)定板修正每一所述魚眼像機的所述初始的外參數(shù)，得到修正后的外參數(shù)；具體如下：

提供若干第二標(biāo)定板140位于重合視場中，第二標(biāo)定板也同樣為一種用于標(biāo)定的標(biāo)定板，每一第二標(biāo)定板140包括若干第二特征點，第二特征點則是第二標(biāo)定板色塊之間的角點，每一魚眼像機200分別采集第二特征點并根據(jù)對應(yīng)的基準(zhǔn)映射關(guān)系投影特征點至基準(zhǔn)視場球面模型2，于基準(zhǔn)視場球面模型2中確定相同的第二特征點為同名組，由于對于同一個像點，兩個魚眼像機是分別采集的，所以這兩個像點都投影到基準(zhǔn)視場球面模型2上時，就會出現(xiàn)兩個對應(yīng)的第二特征點，每兩個這種特征點為一組同名組，方便后續(xù)處理，計算每一同名組內(nèi)的第二特征點之間的偏差距離，修正每一魚眼像機200初始的外參數(shù)直至所有同名組的偏差距離之和最小，得到修正后的外參數(shù)；

步驟s4中，還包括有步驟s41用于確定相同的第二特征點于一同名組；

步驟s41包括，建立一公共視場模型，公共視場模型與每一魚眼像機200的視場球面模型2存在映射關(guān)系；對于任意存在重合視場的第一魚眼像機200和第二魚眼像機200，分別將第一魚眼像機200和第二魚眼像機200采集的第二特征點映射到公共視場模型上，在公共視場模型上，若第一魚眼像機200對應(yīng)的一第二特征點與第二魚眼像機200對應(yīng)的一第二特征點互為最接近的第二特征點，則將這兩個第二特征點確定于同一同名組中。每一第二標(biāo)定板140上設(shè)置有辨識圖形，魚眼像機200采集辨識圖形的圖像可獲取用于區(qū)分第二標(biāo)定板140的辨識碼。第二標(biāo)定板140包括若干黑白相間的正方形圖形，每兩個相鄰的正方形圖形的重合的角點為的第二特征點。魚眼像機200設(shè)置為兩個，兩個魚眼像機200的重合視場為環(huán)形視場，若干第二標(biāo)定板140沿環(huán)形視場均勻布置。公共視場模型的形狀為環(huán)形帶狀曲面。

為了實現(xiàn)外參數(shù)修正，需要對應(yīng)設(shè)計一種魚眼鏡頭210圖像拼接標(biāo)定結(jié)構(gòu)，這個圖像拼接的標(biāo)定結(jié)構(gòu)具體如下：針對兩個魚眼像機200組成的標(biāo)定模型，計了專用的環(huán)形標(biāo)定場，并通過在各魚眼像機200的重合視場區(qū)域布置特定的第二標(biāo)定板140(本發(fā)明設(shè)計了兩種形式的第二標(biāo)定板140：a型是直接由二維碼組成的網(wǎng)格板；b型是由普通的棋盤板輔以標(biāo)識用的二維碼圖形)。

a型標(biāo)定板直接利用二維碼(此處為aruco碼)構(gòu)成，從而可以利用每個aruco碼的四個角點作為同名點，在具體使用的時候可以先識別出每個aruco碼的id號，然后，分別對各個aruco碼所在的方塊區(qū)域運用數(shù)字圖像處理方法(如形態(tài)學(xué)運算和閾值二值化)，將aruco碼區(qū)域轉(zhuǎn)換為黑色方塊，從而使標(biāo)定板變?yōu)槠胀ǖ钠灞P網(wǎng)格板，最后再進行角點坐標(biāo)提??；

b型標(biāo)定板由棋盤網(wǎng)格圖形和二維碼圖形組合而成(例如可通過在棋盤網(wǎng)格板上下方各貼一個aruco二維碼)，該型標(biāo)定板中還是利用棋盤網(wǎng)格板上的角點作為同名點，該型標(biāo)定板中的二維碼僅起到標(biāo)識棋盤網(wǎng)格板id號的作用，不用來作為同名點。

魚眼鏡頭210圖像拼接標(biāo)定結(jié)構(gòu)則是由多塊上述的a型或b型合作標(biāo)志板固聯(lián)而成，其中，所有的合作標(biāo)志板均處于相鄰像機的公共視場區(qū)域，(注意：并不一定要求整個標(biāo)志板必須全部位于公共視場內(nèi)，只要保證公共視場內(nèi)有同名點即可)。

魚眼鏡頭210圖像拼接標(biāo)定結(jié)構(gòu)包括支架底盤，支架底盤包括六根橫桿110組合成一個正六邊形結(jié)構(gòu)，中心向上延伸形成一個中心支撐桿120，中心支撐桿120用于固定魚眼像機200組件，以實現(xiàn)標(biāo)定的作用，每一橫桿110向外還固定有側(cè)支撐桿130，側(cè)支撐桿130垂直于地面向上延伸并固定有一底板141，底板141上固定有標(biāo)定圖形，標(biāo)定圖形可以設(shè)置為a型也可以設(shè)置為b型，底板141可以采用亞克力板構(gòu)成，底板141和標(biāo)定圖形組成第二標(biāo)定板140，側(cè)支撐桿130、中心支撐桿120和橫桿110之間的固定方式可以是焊接、螺紋連接、一體成型等固定方式，不做局限，而在另一實施例中，側(cè)支撐桿130可以與地面平行同時與橫桿110垂直，底板141固定在側(cè)支撐桿130的上方，底板141和側(cè)支撐桿130固定方式可以是粘接、螺紋連接等固定連接方式，不做局限。

第二步則需要實現(xiàn)第二特征點的檢測和提取。由于通過魚眼像機200得到的標(biāo)圖像影像包含較大的畸變，尤其在邊緣部分畸變十分嚴(yán)重，所以即使適應(yīng)性很強的sift特征匹配也不能夠直接在原始平面模型1上對提取到的第二特征點進行匹配，本發(fā)明中提出一種將兩魚眼像機200影像先投影到視場球面模型2上，再以一定的小窗口將其投影到視場球面模型2的環(huán)形帶狀曲面的方法獲取畸變較小的影像，最后基于這個畸變較小的影像來進行特征點匹配。原始平面模型i上的一個像點p首先根據(jù)魚眼投影模型投影到視場球面模型c上的點k，然后再將視場球面模型c上的點k投影到與視場球面模型相切的環(huán)形圓帶狀曲面s上的點q。

然后對相鄰魚眼圖像中同名特征點進行匹配，在相鄰兩個全景像機的公共視場區(qū)域(公共視場模型)放置多個第二標(biāo)定板，位于公共視場模型中，標(biāo)定板的位置應(yīng)均勻分布在各個方向以避免姿態(tài)優(yōu)化時陷于局部最優(yōu)，c1、c2為兩個魚眼像機投影后的視場球面模型，環(huán)形圓帶狀曲面(公共視場模型)s為兩個像機共同的可視區(qū)域，本專利優(yōu)選在環(huán)帶部分六個方向放置六個棋盤用于棋盤角點檢測。分別在各個魚眼像機獲取的影像上提取棋盤角點，則同一位置的棋盤的相同角點即為同名像點。

最后，為了保證匹配過程中同名像點對的可靠性，本發(fā)明優(yōu)選ransca方法+雙向匹配驗證來剔除錯誤的匹配點。其中，雙向匹配指的是如果魚眼圖像sa中的點p1在魚眼圖像sb中的最佳匹配點為點p2，則p1與p2是同名像點的條件是魚眼圖像sb中的點p2在圖像sa中的最佳匹配點也為p1，那么則將這兩個第二特征點劃分為同一同名組。在ransac方法中，為了剔除誤匹配點，使用相鄰魚眼像機之間的相對位姿關(guān)系(旋轉(zhuǎn)矩陣r和平移向量t)來作為內(nèi)點的校驗條件，設(shè)相鄰魚眼像機對應(yīng)視球面上的同名像點分別為pi和則pi和之間的約束關(guān)系如下：

由前述得到相鄰魚眼像機公共視場內(nèi)標(biāo)定板的同名組之后，便可以依據(jù)同名組的第二特征點于基準(zhǔn)球面模型的像差來對魚眼像機間的相對位姿關(guān)系進行優(yōu)化了。

設(shè)i1和i2分別為兩個固聯(lián)魚眼鏡頭的原始魚眼圖像，p1和p2分別為i1和i2上的一對同名像點，將像點p1和p2按照中方法利用各自的內(nèi)參分別投影到各自的視場球面模型s1和s2上，得到對應(yīng)視場球面模型的視球面上的像點k1和k2，利用外參數(shù)(旋轉(zhuǎn)矩陣r和平移向量t)投影到統(tǒng)一的基準(zhǔn)球面模型s上，得到對應(yīng)的像點q1和q2，則同名像點(同名組的第二特征點)q1和q2應(yīng)該重合，故調(diào)整優(yōu)化外參的原理就是使所有同名像點的不重合量最小，優(yōu)化的目標(biāo)函數(shù)為：

其中表示像點q1i和q2i之間的圖像距離，i為同名點的索引號，n為同名點個數(shù)。當(dāng)目標(biāo)函數(shù)達到極小值時即可得到最優(yōu)的旋轉(zhuǎn)和平移參數(shù)，記為r′和t′，就是修正后的外參數(shù)。

步驟s5，根據(jù)修正后的內(nèi)參數(shù)和修正后的外參數(shù)將每一魚眼鏡頭210采集的圖像投影至基準(zhǔn)球面模型3中得到全景圖像。

參照流程圖所示，初始的內(nèi)、外參數(shù)，對每一魚眼像機200建立視場球面模型2，按照步驟s2對內(nèi)參進行修正，按照步驟s3建立基準(zhǔn)球面模型3和步驟s4方法對外參進行修正，得到優(yōu)化后的新的外參數(shù)，將兩個魚眼圖像從原始平面模型1投影到共同坐標(biāo)系下的基準(zhǔn)球面模型3上，從而得到一幅球面全景圖。

盡管經(jīng)過優(yōu)化之后的旋轉(zhuǎn)和平移參數(shù)可以使像機準(zhǔn)確對位，使得全景影像的拼接對位更加準(zhǔn)確，但是重合部分的圖像由于曝光等原因難免會在拼接處產(chǎn)生痕跡，從而影響最終的全景圖視覺效果，本專利優(yōu)選加權(quán)平均法對拼接處的圖像灰度值先加權(quán)后疊加平均進行處理，假設(shè)和分別為待融合圖像，為融合之后的圖像，則有：

其中，ω1+ω2＝1，0＜ω1,ω2＜1是重疊區(qū)域像素的權(quán)值，經(jīng)過平滑處理后，得到最終的球面全景圖。i1和i2為待融合圖像，i為融合后圖像，ω1+ω2＝1，0＜ω1,ω2＜1，ω1、ω2分別是待融合圖像中像點坐標(biāo)的權(quán)值，(x,y)表示切平面上圖像的像點坐標(biāo)，i1(x,y)和i2(x,y)為待融合圖像中對應(yīng)坐標(biāo)的像點的灰度，i(x,y)為融合后圖像中對應(yīng)坐標(biāo)的像點的灰度。

以上僅為本發(fā)明較佳的實施例，并非因此限制本發(fā)明的實施方式及保護范圍，對于本領(lǐng)域技術(shù)人員而言，應(yīng)當(dāng)能夠意識到凡運用本發(fā)明說明書及圖示內(nèi)容所作出的等同替換和顯而易見的變化所得到的方案，均應(yīng)當(dāng)包含在本發(fā)明的保護范圍內(nèi)。