本發(fā)明涉及一種視頻拼接的方法，尤其涉及一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法。

背景技術(shù)：

目前的視頻拼接方法，多采用先對(duì)兩視頻提取特征點(diǎn)，再通過(guò)對(duì)特征點(diǎn)進(jìn)行匹配，來(lái)進(jìn)行拼接。然而，球場(chǎng)中的視頻畫(huà)面內(nèi)容較一致，且較為干凈，從畫(huà)面中較少能提取出穩(wěn)定出現(xiàn)的獨(dú)特的特征點(diǎn)；另外，為了減少設(shè)備投入，往往兩鏡頭重疊區(qū)域較少。針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明提出了一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為解決上述技術(shù)問(wèn)題而采用的技術(shù)方案是提供一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，其中：包括重疊區(qū)域計(jì)算模塊、特征點(diǎn)提取模塊、圖像單應(yīng)性矩陣計(jì)算模塊、圖像融合裁剪模塊；

所述重疊區(qū)域計(jì)算模塊設(shè)置各鏡頭的前景提取模塊、跨鏡頭的前景匹配模塊；

所述特征點(diǎn)提取模塊設(shè)置單幀特征點(diǎn)子提取模塊、單幀特征點(diǎn)匹配子模塊、多幀特征點(diǎn)對(duì)融合模塊；

其中，各鏡頭的前景提取模塊工作原理為：1)對(duì)各鏡頭的視頻，建立背景模型，從中分割出前景；2)對(duì)各鏡頭的前景按行和列的形式，分別計(jì)算各行和列的前景點(diǎn)比率，將各個(gè)時(shí)刻的計(jì)算結(jié)果進(jìn)行存儲(chǔ)；

跨鏡頭的前景匹配模塊工作原理為：對(duì)需要拼接的兩鏡頭a和b根據(jù)其拼接模式，選擇相應(yīng)的計(jì)算模式，左右拼接按列前景點(diǎn)比率計(jì)算，上下 拼接按行前景點(diǎn)比率進(jìn)行計(jì)算；

單幀特征點(diǎn)子提取模塊工作原理為：對(duì)兩鏡頭的重疊區(qū)域是否存在一定比率的前景，若存在，則對(duì)當(dāng)前的前景區(qū)域，用局部特征提取算子進(jìn)行特征點(diǎn)提取；

單幀特征點(diǎn)匹配子模塊工作原理為：在對(duì)兩鏡頭的重疊區(qū)域提取得到特征點(diǎn)后，對(duì)各特征點(diǎn)進(jìn)行特征描述(如sift，surf，orb)，并對(duì)其進(jìn)行特征點(diǎn)匹配(可采用最近鄰法)，并采用對(duì)最終的匹配結(jié)果進(jìn)行過(guò)濾(如ransac)；

多幀特征點(diǎn)對(duì)融合模塊工作原理為：在對(duì)兩鏡頭的單幀圖像提取和匹配得到合適的特征點(diǎn)后，將匹配上的特征點(diǎn)對(duì)的位置進(jìn)行存儲(chǔ)，通過(guò)多幀的累積，在得到足夠多的匹配上的點(diǎn)對(duì)后(如100對(duì))，對(duì)這些點(diǎn)對(duì)再采用ransac進(jìn)行一次過(guò)濾，得到過(guò)濾后的n對(duì)點(diǎn)對(duì)：p1(pa1，pb1)，p2(pa1，pb1)，......，pn(pa1，pb1)；

圖像單應(yīng)性矩陣計(jì)算模塊工作原理為：利用兩個(gè)鏡頭中多幀所匹配上的n對(duì)點(diǎn)對(duì)p1(pa1，pb1)，p2(pa1，pb1)，......，pn(pa1，pb1)，求解homegraph矩陣方程sm＝d，得到兩鏡頭的矩陣映射關(guān)系矩陣m；

圖像融合裁剪模塊工作原理為：在求解得到兩鏡頭的映射矩陣，可按一般的處理方法，對(duì)圖像進(jìn)行拼接處理。

上述的一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，其中：跨鏡頭的前景匹配模塊對(duì)對(duì)需要拼接的兩鏡頭a和b按如下方式進(jìn)行計(jì)算：

1)以鏡頭a中靠近邊界的某行或列(設(shè)為ra)為中心，往前后各取 若干幀，以各行或列的的前景點(diǎn)比率作為各分量，形成一向量a；

2)對(duì)鏡頭a中各視頻幀，判斷向量a是否需要保留，判別規(guī)則是該向量中前景點(diǎn)比率值，與上一次保存的前景點(diǎn)比率值要出現(xiàn)交錯(cuò)；

3)若需保留，則將向量a保存為at(t表示為第t幀)，并存儲(chǔ)于va中；同時(shí)對(duì)鏡頭b中各行或各列，按以上規(guī)則形成多個(gè)向量b1t，b2t，b3t，.......，bnt(n表示以第n行或列為中心，t表示為第t幀)，并將各向量存儲(chǔ)于vb中；

4)在va中存儲(chǔ)的向量，超過(guò)給定閾值后(如200)，則綜合vb中向量進(jìn)行計(jì)算，得到鏡頭b中與a中r最為匹配的行或列rb，將rb作為匹配上的結(jié)果，從而得到兩鏡頭的重疊區(qū)域。

上述的一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，其中：圖像單應(yīng)性矩陣計(jì)算模塊運(yùn)作中，其中，s＝[x1,x2,x3,.....,xn]^t，x1,x2,x3,.....，xn為一個(gè)定義為(x,y,1)的三元組，其中x表示該點(diǎn)在鏡頭a所對(duì)應(yīng)圖像上的x坐標(biāo)，y表示該點(diǎn)在在鏡頭a所對(duì)應(yīng)圖像上的y坐標(biāo)，1為齊次項(xiàng)；d＝[y1,y2,y3,.....,yn]^t，其定義和a類(lèi)似。

上述的一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，其中：?jiǎn)螏卣鼽c(diǎn)匹配子模塊在對(duì)兩鏡頭的重疊區(qū)域提取得到特征點(diǎn)后，對(duì)特征點(diǎn)進(jìn)行特征描述，并對(duì)其進(jìn)行特征點(diǎn)采用最近鄰法匹配。

上述的一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，其中：?jiǎn)螏卣鼽c(diǎn)子提取模塊用fast、sift、surf局部特征提取算子進(jìn)行特征點(diǎn)提取。

本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下有益效果：

克服了現(xiàn)有技術(shù)中多采用先對(duì)兩視頻提取特征點(diǎn)再通過(guò)對(duì)特征點(diǎn)進(jìn) 行匹配進(jìn)行拼接的弊端，在畫(huà)面中能提取出數(shù)量較多且合適的特征點(diǎn)。

附圖說(shuō)明

圖1為本發(fā)明提供的一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法的原理示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述。

本發(fā)明提供一種基于運(yùn)動(dòng)場(chǎng)多路攝像頭進(jìn)行視頻拼接的方法，具體方案包括：

1.重疊區(qū)域計(jì)算模塊

(a).各鏡頭的前景提取模塊

(1)對(duì)各鏡頭的視頻，建立背景模型，從中分割出前景；

(2)對(duì)各鏡頭的前景，按行和列的形式，分別計(jì)算各行和列的前景點(diǎn)比率,將各個(gè)時(shí)刻的計(jì)算結(jié)果進(jìn)行存儲(chǔ)；

(b).跨鏡頭的前景匹配模塊

對(duì)需要拼接的兩鏡頭a和b，根據(jù)其拼接模式，選擇相應(yīng)的計(jì)算模式(左右拼接按列前景點(diǎn)比率計(jì)算，上下拼接按行前景點(diǎn)比率進(jìn)行計(jì)算)，對(duì)兩鏡頭按如下方式進(jìn)行計(jì)算：

(1)以鏡頭a中靠近邊界的某行或列(設(shè)為ra)為中心，往前后各取若干幀，以各行或列的的前景點(diǎn)比率作為各分量，形成一向量a；

(2)對(duì)鏡頭a中各視頻幀，判斷向量a是否需要保留(判別規(guī)則是該向量中前景點(diǎn)比率值，與上一次保存的前景點(diǎn)比率值要出現(xiàn)交錯(cuò))；

(3)若需保留，則將向量a保存為at(t表示為第t幀)，并存儲(chǔ)于va中；同時(shí)對(duì)鏡頭b中各行或各列，按以上規(guī)則形成多個(gè)向量b1t，b2t，b3t，.......，bnt(n表示以第n行或列為中心，t表示為第t幀)，并將各向量存儲(chǔ)于vb中；

(4)在va中存儲(chǔ)的向量，超過(guò)給定閾值后(如200)，則綜合vb中向量進(jìn)行計(jì)算，得到鏡頭b中與a中r最為匹配的行或列rb，將rb作為匹配上的結(jié)果，從而得到兩鏡頭的重疊區(qū)域。

2.特征點(diǎn)提取模塊

(a).單幀特征點(diǎn)子提取模塊

對(duì)兩鏡頭的重疊區(qū)域是否存在一定比率的前景，若存在，則對(duì)當(dāng)前的前景區(qū)域，用局部特征提取算子(如fast，sift，surf等)進(jìn)行特征點(diǎn)提取。

(b).單幀特征點(diǎn)匹配子模塊

在對(duì)兩鏡頭的重疊區(qū)域提取得到特征點(diǎn)后，對(duì)各特征點(diǎn)進(jìn)行特征描述(如sift，surf，orb)，并對(duì)其進(jìn)行特征點(diǎn)匹配(可采用最近鄰法)，并采用對(duì)最終的匹配結(jié)果進(jìn)行過(guò)濾(如ransac)。

(d).多幀特征點(diǎn)對(duì)融合模塊

在對(duì)兩鏡頭的單幀圖像，提取和匹配得到合適的特征點(diǎn)后，將匹配上的特征點(diǎn)對(duì)的位置進(jìn)行存儲(chǔ)。通過(guò)多幀的累積，在得到足夠多的匹配上的點(diǎn)對(duì)后(如100對(duì))，對(duì)這些點(diǎn)對(duì)再采用ransac進(jìn)行一次過(guò)濾，得到過(guò)濾后的n對(duì)點(diǎn)對(duì)：p1(pa1，pb1)，p2(pa1，pb1)，......，pn(pa1，pb1)。

3.圖像單應(yīng)性矩陣計(jì)算模塊

利用兩個(gè)鏡頭中多幀所匹配上的n對(duì)點(diǎn)對(duì)p1(pa1，pb1)，p2(pa1，pb1)，......，pn(pa1，pb1)，求解如下homegraph矩陣方程sm＝d，得到兩鏡頭的矩陣映射關(guān)系矩陣m。

其中，s＝[x1,x2,x3,.....,xn]^t，x1,x2,x3,.....,xn為一個(gè)定義為(x,y,1)的三元組，其中x表示該點(diǎn)在鏡頭a所對(duì)應(yīng)圖像上的x坐標(biāo)，y表示該點(diǎn)在在鏡頭a所對(duì)應(yīng)圖像上的y坐標(biāo),1為齊次項(xiàng)；d＝[y1,y2,y3,.....,yn]^t，其定義和a類(lèi)似。

4.圖像融合裁剪模塊

在求解得到兩鏡頭的映射矩陣，可按一般的處理方法，對(duì)圖像進(jìn)行拼接處理。

雖然本發(fā)明已以較佳實(shí)施例揭示如上，然其并非用以限定本發(fā)明，任何本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的修改和完善，因此本發(fā)明的保護(hù)范圍當(dāng)以權(quán)利要求書(shū)所界定的為準(zhǔn)。