本發(fā)明屬于圖像拼接
技術(shù)領(lǐng)域：
，涉及一種基于圓柱面的全景圖像拼接方法。
背景技術(shù)：
：全景圖像拼接就是同一地點(diǎn)、時(shí)間拍攝的多張具有一定重合度的圖像經(jīng)過配準(zhǔn)、融合，合成一幅包含全部圖像序列信息的大視場(chǎng)成像技術(shù)。該技術(shù)可以獲取較大場(chǎng)，同時(shí)不會(huì)降低圖像分辨率?，F(xiàn)在全景圖像拼接技術(shù)被廣泛應(yīng)用于醫(yī)學(xué)圖像分析、虛擬現(xiàn)實(shí)技術(shù)、超分辨率重構(gòu)、安防監(jiān)控等領(lǐng)域。全景圖像拼接主要需要解決圖像配準(zhǔn)與圖像融合兩個(gè)關(guān)鍵問題，圖像配準(zhǔn)可分為基于區(qū)域的配準(zhǔn)算法和基于特征點(diǎn)的圖像配準(zhǔn)算法?；谔卣鼽c(diǎn)的圖像配準(zhǔn)算法具有計(jì)算量小、魯棒性強(qiáng)、精度高的優(yōu)點(diǎn)，得到了廣泛的研究和應(yīng)用。基于特征點(diǎn)的圖像配準(zhǔn)需要解決特征點(diǎn)檢測(cè)與特征點(diǎn)匹配兩個(gè)問題。特征點(diǎn)檢測(cè)算法主要是提取圖像的明顯特征，根據(jù)不同的使用場(chǎng)景可選擇多種不同的算法。特征點(diǎn)匹配算法是圖像配準(zhǔn)的關(guān)鍵部分，匹配精度直接影響著圖像拼接效果，而且匹配算法效率也很大程度上影響著圖像拼接算法效率。全景圖像依據(jù)映射的平面形式不同可以分為球面、正方體面、和圓柱面三種形式。由于柱面全景圖像能夠?qū)崿F(xiàn)360°水平視角，垂直方向也有一定的視角，不需要非常準(zhǔn)確的攝像機(jī)標(biāo)定，而且可以方便的使用傳統(tǒng)的圖像處理方法，因此得到了廣泛應(yīng)用。圓柱全景圖像拼接需要已知攝像機(jī)焦距，目前的計(jì)算方法是：使用攝像機(jī)拍攝一周，根據(jù)拍攝圖像張數(shù)粗略估計(jì)出圓柱面周長(zhǎng)，進(jìn)而估計(jì)出攝像機(jī)焦距。但該方法無法自動(dòng)完成焦距估計(jì)，而且當(dāng)攝像機(jī)旋轉(zhuǎn)角度小于360度時(shí)，無法進(jìn)行焦距估計(jì)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是為了解決圓柱面全景圖像拼接無法自動(dòng)完成焦距估計(jì)問題，提出一種針對(duì)視覺轉(zhuǎn)臺(tái)的基于純旋轉(zhuǎn)運(yùn)動(dòng)的自動(dòng)焦距估計(jì)算法，本方法能夠快速的完成攝像機(jī)焦距自動(dòng)估計(jì)，能夠滿足圓柱全景圖像拼接需求。為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案包括以下步驟：步驟(1).提取圖像中明顯的特征，本發(fā)明使用Harris算法檢測(cè)兩幀待拼接圖像的特征點(diǎn)，并使用方向梯度直方圖(HistogramofOrientedGradient，HOG)建立特征點(diǎn)的HOG描述符；所述的明顯的特征并非是指代某一個(gè)具體的圖像特征，而是圖像中具有獨(dú)特性的點(diǎn)，例如角點(diǎn)、交叉點(diǎn)等。步驟(2).使用一種基于預(yù)測(cè)的快速特征點(diǎn)匹配算法快速完成特征點(diǎn)粗匹配，然后使用隨機(jī)采樣一致算法(RandomSampleConsensus，RANSAC)算法對(duì)匹配特征點(diǎn)提純。步驟(3).判斷圖像焦距是否已知，如果焦距未知，則使用基于純旋轉(zhuǎn)運(yùn)動(dòng)的自動(dòng)焦距估計(jì)算法估計(jì)攝像機(jī)焦距，如果焦距已知，則直接跳轉(zhuǎn)至步驟(4)；步驟(4).根據(jù)步驟(3)獲得的焦距對(duì)平面圖像映射至圓柱面圖像，并進(jìn)行圖像融合，獲得全景圖像。本發(fā)明首先采用基于預(yù)測(cè)的快速特征點(diǎn)匹配算法獲得粗匹配特征點(diǎn)，并使用RANSAC提純特征點(diǎn)，然后使用基于純旋轉(zhuǎn)運(yùn)動(dòng)的全自動(dòng)焦距估計(jì)算法自動(dòng)完成焦距估計(jì)，最后經(jīng)過圖像映射和融合完成全景圖像拼接。本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)為：(1)無需人為操作，自動(dòng)完成焦距估計(jì)，而且計(jì)算速度較快，因此自動(dòng)完成平面圖像映射至圓柱面圖像。(2)基于預(yù)測(cè)的快速特征點(diǎn)匹配算法較大的縮短了特征點(diǎn)匹配耗時(shí)，實(shí)時(shí)性較高。附圖說明圖1為基于圓柱面全景圖像拼接算法流程圖；圖2為基于預(yù)測(cè)的快速匹配算法原理圖；圖3為Geyer等提出的小孔攝像機(jī)模型；圖4為4幅平面圖像直接拼接的結(jié)果；圖5為使用本發(fā)明進(jìn)行拼接的結(jié)果。具體實(shí)施方式以下結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說明。由圖1所示，本發(fā)明具體實(shí)施步驟如下：步驟(1).使用Harris算法檢測(cè)兩幀待拼接圖像檢測(cè)的特征點(diǎn)，并使用HOG描述子建立HOG描述符；步驟(2).使用一種基于預(yù)測(cè)的快速特征點(diǎn)匹配算法快速完成特征點(diǎn)粗匹配，然后使用RANSAC算法對(duì)匹配特征點(diǎn)提純。特征點(diǎn)粗匹配具體如下：對(duì)于使用視覺轉(zhuǎn)臺(tái)等設(shè)備進(jìn)行圖像拍攝時(shí)，如果轉(zhuǎn)臺(tái)以恒定速度旋轉(zhuǎn)，待拼接的序列圖像的重合度基本保持不變，相鄰兩幅圖像的匹配特征點(diǎn)對(duì)的相對(duì)位置變化較小，因此特征點(diǎn)匹配可以使用前一次匹配的數(shù)據(jù)進(jìn)行特征點(diǎn)位置預(yù)測(cè)，在特征點(diǎn)預(yù)測(cè)位置附近進(jìn)行匹配特征點(diǎn)搜索，減少了特征點(diǎn)匹配的搜索次數(shù)，從而較大的提高特征點(diǎn)匹配速度。如圖2所示，首先對(duì)圖像進(jìn)行網(wǎng)格劃分，每個(gè)網(wǎng)格寬度、高度可以根據(jù)預(yù)測(cè)誤差進(jìn)行修正，使得匹配特征點(diǎn)落入以預(yù)測(cè)點(diǎn)P′為中心的9個(gè)網(wǎng)格內(nèi)的概率η＞95％。設(shè)有n幀待拼接圖像，對(duì)k-1幀圖像(k表示n幀圖像中任意一幀，且1≤k≤n)上一點(diǎn)P，使用式(1)預(yù)測(cè)P點(diǎn)的匹配點(diǎn)P′位置：P′(x,y,1)＝Hk-1P(x,y,1)式(1)其中Hk-1為k-1幀圖像的投影變換矩陣。然后在P′所在的網(wǎng)格以及周圍8個(gè)網(wǎng)格內(nèi)搜索點(diǎn)P的匹配特征點(diǎn)，完成特征點(diǎn)粗匹配。這里的特征點(diǎn)是指Harris特征點(diǎn)。步驟(3).判斷焦距是否已知，如果焦距未知，使用基于純旋轉(zhuǎn)運(yùn)動(dòng)的自動(dòng)焦距估計(jì)算法估計(jì)攝像機(jī)焦距。具體如下：3.1基于純旋轉(zhuǎn)運(yùn)動(dòng)的自動(dòng)焦距估計(jì)在獲取全景圖像的初始圖像時(shí)，焦距一般保持不變，即圖像間基本無縮放變化，因此本發(fā)明利用該特點(diǎn)，設(shè)計(jì)了一種基于純旋轉(zhuǎn)運(yùn)動(dòng)的焦距估計(jì)算法。本發(fā)明采用Geyer等提出的小孔攝像機(jī)模型以及簡(jiǎn)化后的攝像機(jī)內(nèi)參矩陣進(jìn)行自動(dòng)焦距估計(jì)。Geyer的小孔成像模型由虛球面S(O,m)、虛平面成像平面π組成。虛擬球面S(O,m)以攝像機(jī)所在位置O點(diǎn)為圓心以m＝1為半徑，O-xyz為攝像機(jī)坐標(biāo)系，z軸與攝像機(jī)光軸一致，x軸、y軸與成像平面π的橫軸u縱軸v一致，虛擬平面與成像平面π相平行，與z軸垂直，且與虛擬球面S(O,m)相切。成像平面π與點(diǎn)O的距離為攝像機(jī)焦距f(為方便圖像的映射，以像素為單位)。對(duì)于空間中一靜止點(diǎn)P，其在虛球面S(O,m)上的投影點(diǎn)為s，經(jīng)過點(diǎn)P與點(diǎn)O的直線交虛平面于點(diǎn)交成像平面π于點(diǎn)p。如圖3所示。對(duì)于攝像機(jī)內(nèi)參矩陣，假設(shè)扭曲參數(shù)ε＝0，攝像機(jī)像素橫縱比為1，即則簡(jiǎn)化后的內(nèi)參矩陣如式(2)所示。設(shè)點(diǎn)p的齊次坐標(biāo)為[u,v,1]T，T表示矩陣的轉(zhuǎn)置，其中u，v分別表示點(diǎn)p在u，v坐標(biāo)上的坐標(biāo)，則的坐標(biāo)為：式中fu，fv分別為攝像機(jī)在u，v方向的焦距(單位為像素)，(u0,v0)為攝像機(jī)主點(diǎn)。根據(jù)(3)式，點(diǎn)s的坐標(biāo)可表示為：當(dāng)攝像機(jī)作純旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，球面投影點(diǎn)間的距離保持不變，即||si-sj||2＝||si′-s′j||2式(5)式中，si、sj與si′、s′j分別表示空間任意兩點(diǎn)在虛球面S(O,m)上的投影點(diǎn)以及與之對(duì)應(yīng)的在攝像機(jī)旋轉(zhuǎn)后的投影點(diǎn)。將(3)～(4)式代入(5)式中，整理并化簡(jiǎn)后可得攝像機(jī)內(nèi)參的約束方程：aiλiajλj+biλibjλj+λiλj＝ai′λi′aj′λj′+bi′λi′bj′λj′+λi′λj′式(6)式中，ai、bi、λi與aj、bj、λj表示空間任意兩點(diǎn)Pi、Pj在虛球面投影的坐標(biāo)參數(shù)，ai′、bi′、λi′與a′j、bj′、λj′表示Pi、Pj在攝像機(jī)旋轉(zhuǎn)后的投影坐標(biāo)參數(shù)。若設(shè)攝像機(jī)主點(diǎn)為圖像中心，即W、H分別為圖像寬度和高度(單位為像素)。則(6)式是焦距f的方程，(4)式、(5)式代入(6)式中，整理并化簡(jiǎn)可得：A6f6+A4f4+A2f2+A0＝0式(7)其中式中，ui、vi與uj、vj表示空間任意一點(diǎn)Pi與點(diǎn)Pj在圖像中的橫坐標(biāo)、縱坐標(biāo)，ui′、vi′與uj′、vj′表示點(diǎn)Pi與點(diǎn)Pj在攝像機(jī)旋轉(zhuǎn)后的圖像中的橫坐標(biāo)、縱坐標(biāo)。根據(jù)(7)～(9)式，任取兩對(duì)匹配特征點(diǎn)即可估計(jì)出一個(gè)焦距值f。由于該算法中假設(shè)攝像機(jī)主點(diǎn)為圖像中心、攝像機(jī)扭曲值為0、匹配特征點(diǎn)存在誤差等原因，最終估計(jì)的焦距存在一定的誤差，且估計(jì)結(jié)果方差較大。本發(fā)明采用1500次采樣，并舍棄不合理的焦距值，選取平均值作為估計(jì)值得方法估計(jì)的焦距值f0。上述不合理的焦距是指：焦距估計(jì)的結(jié)果有較小的可能出現(xiàn)負(fù)值或者過大的數(shù)值(如100000像素以上等)，這些估計(jì)值會(huì)嚴(yán)重影響最終估計(jì)準(zhǔn)確度，因此需要舍棄。3.2基于單應(yīng)矩陣的焦距修正上面介紹焦距估計(jì)方法，雖然使用采樣多次并取平均值的方法使得估計(jì)結(jié)果較為穩(wěn)定可靠，但是，由于假設(shè)攝像機(jī)主點(diǎn)為圖像中心、攝像機(jī)扭曲值為0，求取平均值的方法無法消除這兩個(gè)假設(shè)所帶來的估計(jì)誤差，因此需要一個(gè)焦距修正算法，消除上述誤差。圖像拼接常使用8參數(shù)的透視變換矩陣進(jìn)行圖像投影：式(10)中h1、h2、h4、h5與圖像旋轉(zhuǎn)、尺度變化相關(guān)，h3、h6與圖像平移相關(guān)，h7、h8與圖像在x軸方向、y軸方向形變相關(guān)。假設(shè)焦距保持不變，即圖像間不存在縮放問題，如果焦距估計(jì)準(zhǔn)確，通過(11)式把平面投影到圓柱平面后，各個(gè)圖像將位于同一個(gè)圓柱平面，那么圖像之間就只存在旋轉(zhuǎn)和平移變換，圖像間的透視變換將會(huì)退化為仿射變換，即透視變換的矩陣H的h7、h8為0。式中：(x,y)為平面圖像中任意一點(diǎn)，(x″，y″)為點(diǎn)(x,y)映射至圓柱面圖像后的位置。在實(shí)際圖像拼接中，攝像機(jī)沿著x軸方向運(yùn)動(dòng)，y軸方向運(yùn)動(dòng)相對(duì)可以忽略。實(shí)際上|h8|一般在10-6～10-7以內(nèi)，與焦距f無關(guān)。h7的值隨著焦距f的變化而變化。因此只需要修正焦距f，使得|h7|達(dá)到最小即可。自動(dòng)焦距修正步驟：3.2.1首先使用3.1節(jié)給出的焦距估計(jì)算法得到焦距估計(jì)值f0，使用f0通過(11)式把精確匹配特征點(diǎn)集Ω變換為圓柱圖像匹配特征點(diǎn)集Ω′，然后通過Ω′計(jì)算投影變換矩陣H0，并得到并記錄的正負(fù)符號(hào)設(shè)定焦距初始修正值g0，f＝f0，設(shè)(表示第i次計(jì)算得到透視變換矩陣參數(shù)h7的值，SIi表示第i焦距修正的正負(fù)符號(hào)，1≤i≤M，M為焦距修正需要迭代的次數(shù)，取表示向下取整，g0是一個(gè)經(jīng)驗(yàn)值，一般取g0＝-50)；3.2.2把焦距值fi-1代入(11)式中(fi-1表示第i-1次焦距修正后的焦距)，對(duì)精確匹配特征點(diǎn)集Ω進(jìn)行坐標(biāo)變換(平面坐標(biāo)變換為圓柱坐標(biāo))，得到新的匹配特征點(diǎn)集Ω′；3.2.3使用Ω′計(jì)算新的投影變換矩陣Hi，并得到新的矩陣參數(shù)值，的符號(hào)為SIi；3.2.4如果則fi＝fi-1+gi；如果則f＝fi-1，直至循環(huán)次數(shù)i>M，則終止循環(huán)，否則返回3.2.2，進(jìn)行下一次焦距修正。步驟(4).使用(11)式把平面圖像映射至圓柱面圖像后，使用加權(quán)平均算法對(duì)拼接圖像進(jìn)行融合，得到最終的全景圖像。為驗(yàn)證本發(fā)明的有效性，測(cè)試使用I5-3470CPU、4G內(nèi)存的臺(tái)式機(jī)，系統(tǒng)為Win1064位企業(yè)版，使用VisualStudio2010實(shí)現(xiàn)圖像拼接算法。使用手機(jī)放在三腳架上近似勻速旋轉(zhuǎn)，模擬視覺轉(zhuǎn)臺(tái)運(yùn)動(dòng)，拍攝不同焦距的測(cè)試視頻作為測(cè)試視頻，手機(jī)水平旋轉(zhuǎn)角度在120°～170°，視頻每幅圖像的大小為1280×720像素。特征點(diǎn)檢測(cè)算法采用Harris角點(diǎn)檢測(cè)算法，特征點(diǎn)描述子使用HOG描述符。表1自動(dòng)計(jì)算焦距與手動(dòng)標(biāo)定焦距值比較表1給出了部分測(cè)試結(jié)果，從表中可以看出自動(dòng)估計(jì)的焦距值經(jīng)過焦距修正后與手動(dòng)標(biāo)定的誤差較小，能夠滿足圓柱圖像拼接的需要。表2特征點(diǎn)檢測(cè)、匹配耗時(shí)比較線性匹配BBF本發(fā)明方法匹配特征點(diǎn)數(shù)量325309301耗時(shí)(秒)3.361.050.05表2中設(shè)定SIFT與Harris算法參數(shù)，使得檢測(cè)2000個(gè)特征點(diǎn)，從表中可以看出：本發(fā)明特征點(diǎn)匹配算法匹配速度較蠻力法提高了60～70倍，較BBF算法提高了20倍。但是本發(fā)明算法要求攝像機(jī)旋轉(zhuǎn)速度基本保持不變。圖4是4張平面圖像直接進(jìn)行拼接的結(jié)果，從圖中可以看出：由于圖像并不在同一投影平面上，投影存在一定的夾角，直接對(duì)圖像進(jìn)行拼接，得到的拼接圖像發(fā)生嚴(yán)重的扭曲，無法繼續(xù)進(jìn)行拼接。圖5是上面測(cè)試測(cè)試中第8組的測(cè)試結(jié)果，圖像畸變較小，拼接質(zhì)量更好。表4給出了圖4、圖5左右兩側(cè)高度對(duì)比。表3圖4～5圖像左右兩側(cè)高度對(duì)比(像素)序號(hào)左側(cè)高度右側(cè)高度偏差圖471420361322圖5694531163從圖4、圖5和表3中對(duì)比可知：使用本發(fā)明的圓柱圖像拼接算法的拼接結(jié)果基本無扭曲，圖像配準(zhǔn)較為準(zhǔn)確，無錯(cuò)誤配準(zhǔn)，能夠滿足實(shí)際需求。本發(fā)明在柱面全景圖像拼接時(shí)，加入了基于純旋轉(zhuǎn)運(yùn)動(dòng)的攝像機(jī)自動(dòng)焦距估計(jì)算法，克服了傳統(tǒng)柱面全景圖像拼接無法自動(dòng)進(jìn)行焦距估計(jì)的缺陷。新設(shè)計(jì)的特征點(diǎn)加速匹配較大的提高了特征點(diǎn)匹配速度，雖然要求攝像機(jī)恒速轉(zhuǎn)動(dòng)，仍具有一定的實(shí)際應(yīng)用意義。本發(fā)明實(shí)現(xiàn)了水平方向旋轉(zhuǎn)任意角度的柱面全景圖像快速合成，合成結(jié)果較為理想。當(dāng)前第1頁1 2 3