本發(fā)明屬于圖像匹配技術(shù)領(lǐng)域，更具體地，涉及一種基于時(shí)空一致性的無約束相機(jī)畫面匹配方法。

背景技術(shù)：

在多相機(jī)聯(lián)合目標(biāo)探測、跟蹤、場景拼接和重建等諸多應(yīng)用中，需要對多相機(jī)圖像進(jìn)行配準(zhǔn)?，F(xiàn)有技術(shù)的圖像配準(zhǔn)思路是提取同一時(shí)間各相機(jī)獲取的圖像，提取各圖像的特征點(diǎn)，然后利用特征點(diǎn)匹配的方法，獲得圖像間的最優(yōu)匹配點(diǎn)集，再利用該點(diǎn)集計(jì)算相機(jī)間的投影變換關(guān)系矩陣，最后實(shí)現(xiàn)多相機(jī)圖像間的配準(zhǔn)。然而，這種處理模式的效果依賴于穩(wěn)定的最優(yōu)匹配點(diǎn)集，當(dāng)面對相機(jī)間的相對空間關(guān)系無約束等應(yīng)用情形時(shí)，由于各相機(jī)空間位置獨(dú)立自由變化，相機(jī)間的配準(zhǔn)關(guān)系隨時(shí)間發(fā)生快速變化，同一時(shí)間相機(jī)所獲得的圖像間的最優(yōu)匹配點(diǎn)集會(huì)發(fā)生較大變化，在干擾特征點(diǎn)的影響下，容易發(fā)生錯(cuò)配，導(dǎo)致圖像間的匹配關(guān)系不穩(wěn)定，使圖像間共同場景的檢測和定位產(chǎn)生劇烈抖動(dòng)，不利于后續(xù)多相機(jī)視頻圖像的處理。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于時(shí)空一致性的無約束相機(jī)畫面匹配方法，其目的在于將前幀的穩(wěn)定關(guān)系矩陣作為先驗(yàn)信息用于驗(yàn)證當(dāng)前幀的匹配關(guān)系以使得連續(xù)時(shí)段內(nèi)的匹配關(guān)系更為平滑和準(zhǔn)確。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于時(shí)空一致性的無約束相機(jī)畫面匹配方法，包括如下步驟：

S1：圖像讀取：讀取兩個(gè)無約束相機(jī)A、B拍攝的第n幀圖像；

S2：特征點(diǎn)提?。悍謩e對兩個(gè)無約束相機(jī)A、B的第n幀圖像提取特征點(diǎn)Ω(A，n)、Ω(B，n)；

S3：特征描述：對每個(gè)特征點(diǎn)計(jì)算特征描述向量α_n、β_n；

S4：特征匹配：對特征描述向量α_n、β_n進(jìn)行相似性比對，建立與特征點(diǎn)對應(yīng)的匹配關(guān)系集合M(Ω(A，n+1)，Ω(B，n+1))；

該集合中的每個(gè)元素表示一對匹配點(diǎn)的索引，其中左索引號對應(yīng)Ω(A，n+1)的點(diǎn)，右索引號對應(yīng)Ω(B，n+1)中的點(diǎn)；

S5：匹配關(guān)系篩選：遍歷查詢匹配關(guān)系集合M(Ω(A，n+1),Ω(B，n+1))中的穩(wěn)定匹配關(guān)系，將穩(wěn)定匹配關(guān)系歸入穩(wěn)定匹配關(guān)系集合SM(Ω(A，n+1),Ω(B，n+1))中，當(dāng)穩(wěn)定匹配關(guān)系的數(shù)量達(dá)到閾值N，則用穩(wěn)定匹配關(guān)系集合SM(Ω(A，n+1)，Ω(B，n+1))的值更新最優(yōu)匹配關(guān)系集合BM(Ω(A，n+1),Ω(B，n+1))；

否則，對匹配關(guān)系集合M(Ω(A，n+1),Ω(B，n+1))采用RANSAC算法進(jìn)行篩選以保留匹配關(guān)系集合M中的較優(yōu)匹配關(guān)系，將該較優(yōu)匹配關(guān)系歸入集合Ransac Matching，記作RM(Ω(A，n+1),Ω(B，n+1))中，并用該集合RM更新集合最優(yōu)匹配關(guān)系集合BM(Ω(A，n+1),Ω(B，n+1))；

其中，較優(yōu)匹配關(guān)系是指與最優(yōu)匹配關(guān)系集合BM中的元素具有最大一致性或在匹配關(guān)系集合M中為最大一致集；

S6：變換矩陣計(jì)算：查詢最優(yōu)匹配關(guān)系集合BM(Ω(A，n+1),Ω(B，n+1))中的索引在當(dāng)前幀中對應(yīng)的實(shí)際坐標(biāo)，通過實(shí)際坐標(biāo)與和集合BM確定的匹配關(guān)系計(jì)算出變換矩陣H_n+1，建立圖像間的位置匹配關(guān)系；

S7：令n＝n+1，重復(fù)上述步驟S1～S6，直至處理完所有圖像幀。

優(yōu)選地，上述的無約束相機(jī)畫面匹配方法，步驟S5中，第n+1幀圖像中的穩(wěn)定匹配關(guān)系集合SM(Ω(A，n+1),Ω(B，n+1))根據(jù)如下方法獲?。?/p>

S5.1：保留第n幀中生成的最優(yōu)匹配關(guān)系集合BM(Ω(A，n),Ω(B，n))；

S5.2：通過比較A相機(jī)所拍攝的畫面中第n幀與第n+1幀間的特征點(diǎn)的相似程度，獲得A相機(jī)所拍攝的畫面第n幀與第n+1幀間的特征點(diǎn)的匹配關(guān)系M(Ω(A，n),Ω(A，n+1))；

通過比較B相機(jī)所拍攝的畫面中第n幀與第n+1幀間的特征點(diǎn)的相似程度，獲得B相機(jī)所拍攝的畫面第n幀與第n+1幀間的特征點(diǎn)的匹配關(guān)系M(Ω(B，n),Ω(B，n+1))；

S5.3：計(jì)算第n+1幀的匹配關(guān)系M(Ω(A，n+1),Ω(B，n+1))；

S5.4：判斷上述最優(yōu)匹配關(guān)系集合BM(Ω(A，n),Ω(B，n))中每個(gè)元素的左索引號是否為匹配關(guān)系集合M(Ω(A，n),Ω(A，n+1))中某個(gè)元素的左索引號，若否，則放棄該元素；若是，則進(jìn)入步驟S5.5；

S5.5：查詢該元素對應(yīng)的右索引號是否與M(Ω(B，n),Ω(B，n+1))中某個(gè)元素的右索引號一致，若否，則放棄該元素，若是，則表明這對匹配點(diǎn)在第n+1幀仍然存在，進(jìn)入步驟S5.6；

S5.6：驗(yàn)證這對匹配點(diǎn)在匹配關(guān)系集合M(Ω(A，n+1),Ω(B，n+1))中是否仍然為匹配關(guān)系，如果是，則判定這對匹配關(guān)系為穩(wěn)定匹配關(guān)系，將其歸入穩(wěn)定匹配關(guān)系集合SM(Ω(A，n+1),Ω(B，n+1))中，若否，則放棄這對匹配關(guān)系。

優(yōu)選地，上述的無約束相機(jī)畫面匹配方法，得到穩(wěn)定匹配關(guān)系后采用如下方法選取最終用于計(jì)算變換矩陣的最優(yōu)匹配關(guān)系集合BM(Ω(A，n+1),Ω(B，n+1))：

a：統(tǒng)計(jì)穩(wěn)定匹配關(guān)系集合中的元素個(gè)數(shù)I；

b：判斷是否滿足I≥N，若是，則將穩(wěn)定匹配關(guān)系集合SM(Ω(A，n+1),Ω(B，n+1))直接賦值給最優(yōu)匹配關(guān)系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，則進(jìn)入步驟c；

c：判斷是否滿足0<I<N，若是，則將穩(wěn)定匹配關(guān)系集合SM(Ω(A，n+1),Ω(B，n+1))中的元素作為RANSAC算法中的基準(zhǔn)點(diǎn)，遍歷匹配關(guān)系集合M(Ω(A，n+1),Ω(B，n+1))中所有元素，篩選出與基準(zhǔn)點(diǎn)偏差最小的匹配點(diǎn)集，將其與穩(wěn)定匹配關(guān)系集合SM(Ω(A，n+1),Ω(B，n+1))的并集賦值給最優(yōu)匹配關(guān)系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，則進(jìn)入步驟d：

d：判斷是否滿足I＝0，若是，則直接采用RANSAC算法篩選匹配關(guān)系集合M(Ω(A，n+1),Ω(B，n+1))中所有元素，找出最大一致集作為最優(yōu)匹配關(guān)系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，則反饋?zhàn)顑?yōu)匹配關(guān)系集獲取失敗。

優(yōu)選地，上述的無約束相機(jī)畫面匹配方法，步驟S2中采取oFAST方法進(jìn)行特征點(diǎn)提取，采取rBRIEF方法計(jì)算特征描述向量；其中，oFAST方法是指一種實(shí)時(shí)的旋轉(zhuǎn)不變的局部角點(diǎn)提取方法，具體而言是篩選出在其周圍鄰域內(nèi)有足夠多的像素點(diǎn)與該點(diǎn)處于不同的灰度區(qū)域的像素點(diǎn)作為特征點(diǎn)，且計(jì)算出特征點(diǎn)的角點(diǎn)方向。rBRIEF方法是一種具備了旋轉(zhuǎn)不變性的特征描述方法，具體而言是指在特征點(diǎn)周圍鄰域內(nèi)選取若干個(gè)像素點(diǎn)對，通過對這些點(diǎn)對的灰度值比較，將比較的結(jié)果結(jié)合對應(yīng)特征點(diǎn)的方向信息組合成一個(gè)二進(jìn)制串字符串用來描述特征點(diǎn)。

優(yōu)選地，上述的無約束相機(jī)畫面匹配方法，對特征點(diǎn)的特征描述向量α_n、β_n使用漢明距離進(jìn)行相似性比對，建立對應(yīng)特征點(diǎn)的匹配關(guān)系M(Ω(A，n+1),Ω(B，n+1))。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有益效果：

(1)無約束相機(jī)在運(yùn)動(dòng)過程中，相鄰幀間有較高概率存在公共區(qū)域，本發(fā)明提供的基于時(shí)空一致性的無約束相機(jī)畫面匹配方法，在進(jìn)行特征匹配時(shí)，充分考慮相鄰幀之間存在的穩(wěn)定特征點(diǎn)，使后幀匹配能夠得到足夠的先驗(yàn)信息，將能夠有效地優(yōu)化后幀的匹配關(guān)系，使匹配關(guān)系在連續(xù)時(shí)間內(nèi)變化更為平滑和準(zhǔn)確；

(2)本發(fā)明提供的基于時(shí)空一致性的無約束相機(jī)畫面匹配方法，充分考慮了時(shí)空一致性，將前幀的穩(wěn)定關(guān)系矩陣作為先驗(yàn)信息，用于驗(yàn)證當(dāng)前幀的匹配關(guān)系；當(dāng)同一相機(jī)的前后幀之間的匹配關(guān)系(時(shí)間上的匹配)與不同相機(jī)同一時(shí)刻幀間的匹配關(guān)系(空間上的匹配)達(dá)成一致時(shí)，則認(rèn)為該匹配關(guān)系具備了時(shí)空一致性，將其歸入穩(wěn)定匹配關(guān)系集合之中，以實(shí)現(xiàn)匹配關(guān)系的快速建立與平滑變化。

附圖說明

圖1是本發(fā)明實(shí)施例提供的基于時(shí)空一致性的無約束相機(jī)畫面匹配方法的流程圖；

圖2是本發(fā)明實(shí)施例的方法與單純基于特征匹配(orb)的方法的匹配結(jié)果比較圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

圖1所示是本發(fā)明提供的無約束多相機(jī)畫面匹配方法應(yīng)用于無約束主輔相機(jī)畫面中心位置實(shí)時(shí)匹配的實(shí)施例流程圖，其實(shí)現(xiàn)目標(biāo)為當(dāng)主輔相機(jī)畫面存在交疊區(qū)時(shí)，在輔相機(jī)畫面中實(shí)時(shí)標(biāo)記出主相機(jī)的中心區(qū)域位置，具體包括如下步驟：

S1：圖像讀?。悍謩e讀取主、輔兩個(gè)無約束相機(jī)A、B的第n幀圖像；

S2：特征點(diǎn)提取和特征描述：分別對主、輔兩個(gè)無約束相機(jī)A、B的第n幀圖像提取特征點(diǎn)集P_n＝{p_(n,i)}、Q_n＝{q_(n,j)}，其中，i和j分別表示對應(yīng)集合中元素的編號，n是指圖像幀的序號；

對特征點(diǎn)集里的每個(gè)特征點(diǎn)計(jì)算特征描述向量，生成對應(yīng)集合X_n＝{α_(n,i)}、Y_n＝{β_(n,j)}；

S3：空間匹配關(guān)系初始化：對根據(jù)主、輔兩個(gè)無約束相機(jī)A、B的第一幀畫面計(jì)算出的X₁、Y₁進(jìn)行特征匹配，建立特征點(diǎn)間的匹配關(guān)系集合Matching between P_n&Q_n,記作MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,j))}；其中的每一個(gè)元素表示一對匹配關(guān)系，它包含了左、右兩個(gè)特征點(diǎn)，左特征點(diǎn)p_(n,i)∈P_n，右特征點(diǎn)q_(n,j)∈Q_n，n的初始值為1；

采用RANSAC算法對匹配關(guān)系進(jìn)行篩選，得出最大一致集，作為最優(yōu)匹配集合Best Matching，記作BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}；

RANSAC算法是指一種求取最大一致集的方法，具體而言是指在一組包含誤匹配的匹配關(guān)系中，通過多次迭代更新，最終尋找出這組匹配關(guān)系中的最大一致集的方法；

S4：基于時(shí)空一致性的最優(yōu)匹配關(guān)系更新和投影變換矩陣計(jì)算，具體包括如下子步驟：

(4.1)建立時(shí)間匹配關(guān)系：

分別計(jì)算同一相機(jī)獲取的前、后幀的匹配關(guān)系Matching between P_n&P_n+1,Matching between Q_n&Q_n+1；

分別記作：

其中，(p_(n-1,i),q_(n-1,j))∈BM_n-1，p_(n,i′)∈P_n，q_(n,j′)∈Q_n；

(4.2)建立當(dāng)前幀空間匹配關(guān)系：對兩相機(jī)拍攝的當(dāng)前第n幀圖像的特征向量集合進(jìn)行相似性匹配，建立當(dāng)前幀的空間匹配關(guān)系MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,i))},其中，p_(n,i)∈P_n，q_(n,j)∈Q_n；

(4.3)基于時(shí)空一致性更新最優(yōu)匹配關(guān)系集合：判斷前幀中符合空間匹配關(guān)系的點(diǎn)通過各自的時(shí)間匹配所得到的對應(yīng)點(diǎn)在當(dāng)前幀是否仍然存在空間匹配關(guān)系，若是，則判定這一對匹配關(guān)系具備了時(shí)空一致性，為穩(wěn)定匹配關(guān)系；若否，則判定這一對匹配關(guān)系不具備時(shí)空一致性，無法作為穩(wěn)定匹配關(guān)系；

(4.4)生成最優(yōu)匹配集合，計(jì)算投影變換矩陣：根據(jù)穩(wěn)定匹配關(guān)系集合SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}中元素的數(shù)量生成最優(yōu)匹配關(guān)系集合BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}，具體包括如下子步驟：

a：統(tǒng)計(jì)穩(wěn)定匹配關(guān)系集合中的元素個(gè)數(shù)I；

b：判斷是否滿足I≥N，若是，則將穩(wěn)定匹配關(guān)系集合

SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}直接賦值給最優(yōu)匹配關(guān)系集合BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}；若否，則進(jìn)入步驟c；

c：判斷是否滿足0<I<N，若是，則將集合SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}中的元素作為RANSAC算法中的基準(zhǔn)點(diǎn)，遍歷集合MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,i))}中所有元素，篩選出與基準(zhǔn)點(diǎn)偏差最小的匹配點(diǎn)集，將篩選出的該匹配點(diǎn)集與SM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}的并集賦給BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}；若否，則進(jìn)入步驟d：

d：判斷是否滿足I＝0，若是，則直接采用RANSAC算法篩選MPQ_n＝{mpq_(n,k)(p_(n,i),q_(n,i))}中所有元素，找出最大一致集作為BM_n＝{bm_(n,k)(p_(n,i),q_(n,j))}，若否，則反饋?zhàn)顑?yōu)匹配關(guān)系集獲取失敗。

S5：找出輔相機(jī)畫面中主相機(jī)中心的實(shí)際位置：計(jì)算主相機(jī)的中心點(diǎn)坐標(biāo)，通過投影變換矩陣H₀計(jì)算出主相機(jī)的中心點(diǎn)坐標(biāo)在輔相機(jī)畫面中對應(yīng)的坐標(biāo)位，即為輔相機(jī)對應(yīng)的實(shí)際位置坐標(biāo)，給出相應(yīng)標(biāo)記，即建立了兩相機(jī)間的畫面匹配關(guān)系；

S6：令n＝n+1，重復(fù)上述步驟S1～S5，直至處理完所有圖像幀。

在上述實(shí)施例中，由于結(jié)合了時(shí)空一致性，將前幀的匹配關(guān)系作為當(dāng)前幀匹配的先驗(yàn)信息，用于輔助當(dāng)前幀匹配關(guān)系的計(jì)算，從而使得兩幀間的匹配關(guān)系變化更為平滑，表現(xiàn)為當(dāng)基準(zhǔn)相機(jī)或輔從相機(jī)畫面變化不大時(shí)，輔從相機(jī)中鄰幀間標(biāo)記的中心區(qū)域抖動(dòng)很小，基本能夠保持穩(wěn)定。此外，由于鄰幀間的聯(lián)系是依據(jù)前后幀中穩(wěn)定點(diǎn)的個(gè)數(shù)建立的，因此當(dāng)鄰幀間畫面急劇變化時(shí)，當(dāng)前幀并不會(huì)受到來自前幀先驗(yàn)信息的干擾，具體表現(xiàn)為，主輔相機(jī)中存在畫面急劇變化時(shí)，當(dāng)前幀仍舊能夠快速的建立正確的匹配關(guān)系，在輔從相機(jī)中標(biāo)記出正確的中心區(qū)域，而不受前一幀的干擾。

如圖2所示，為采用實(shí)施例提供的無約束多相機(jī)畫面匹配方法與采用orb方法單純基于特征匹配分別進(jìn)行實(shí)驗(yàn)得出的標(biāo)記位像素坐標(biāo)與實(shí)際位像素坐標(biāo)的偏差比較圖；該圖中，橫軸表示視頻幀數(shù)，縱軸表示標(biāo)記位像素坐標(biāo)與實(shí)際位像素坐標(biāo)的歐式距離，曲線越接近橫軸表明效果越好；由圖可見，采用本發(fā)明實(shí)施例的方法的偏差值的均值更小，且偏差值的方差遠(yuǎn)小于orb方法，表明其準(zhǔn)確度更高，且變化更為平緩。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。