本發(fā)明涉及圖像拼接技術(shù)領(lǐng)域，尤其涉及一種運(yùn)動(dòng)目標(biāo)的全景成像方法。

背景技術(shù)：

通過計(jì)算機(jī)視覺技術(shù)來測(cè)量火車的運(yùn)行速度，識(shí)別火車車型和車號(hào)等為鐵道交通管理提供了極大的便利。而這些技術(shù)的前提是獲取火車車身的高清全景圖像。在對(duì)行駛中的火車目標(biāo)成像時(shí)，由于目標(biāo)尺寸較大，且形狀狹長(zhǎng)(火車車身的長(zhǎng)度通常為高度的百倍級(jí))，而普通相機(jī)成像視野有限，難以一次性獲取目標(biāo)的高清全貌信息。因此，如果能通過采集連續(xù)的包含火車局部的高清視頻序列，然后利用圖像拼接技術(shù)還原目標(biāo)的高清全貌，就可以為火車等大尺寸狹長(zhǎng)目標(biāo)高清成像提供一種十分有效的途徑。

圖像拼接具有廣泛的應(yīng)用場(chǎng)景，是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向之一。圖像拼接的主要任務(wù)是將兩幅及以上的具有部分重疊的圖像進(jìn)行無縫拼接從而得到大尺寸或者寬視角的圖像。圖像拼接技術(shù)包含圖像配準(zhǔn)和圖像融合到兩個(gè)主要環(huán)節(jié)。圖像融合部分常用的算法包括直接平均法，加權(quán)求和法和距離權(quán)重法，由于其實(shí)現(xiàn)較為簡(jiǎn)單，且算法時(shí)間復(fù)雜度不高，現(xiàn)有的幾種方法已經(jīng)能達(dá)到較為理想的效果，所以總體來講算法是較為成熟的。圖像配準(zhǔn)部分是整個(gè)圖像拼接技術(shù)的核心部分，它直接關(guān)系到圖像拼接算法的成功率和運(yùn)行速度。目前，常用的圖像配準(zhǔn)算法包括基于灰度的塊模板匹配和基于局部特征點(diǎn)(surf、orb等)的特征點(diǎn)匹配。基于灰度的塊模板匹配本質(zhì)上是一種暴力匹配的算法，其計(jì)算開銷巨大，同時(shí)極容易受角度、光照、遮擋等外界條件的影響，魯棒性較差?；趫D像金字塔結(jié)構(gòu)的塊模板匹配采用了由粗到細(xì)的配準(zhǔn)思想，首先在較低分辨率的圖像上匹配，然后將該匹配結(jié)果作為起點(diǎn)在較高分辨率尺度上繼續(xù)匹配，提高了匹配效率，但仍然存在對(duì)角度、光照以及遮擋等敏感的缺陷。基于局部特征點(diǎn)的匹配方法分別在待配準(zhǔn)的兩幅圖像中提取局部特征點(diǎn)，然后對(duì)這些特征點(diǎn)進(jìn)行匹配?；诰植刻卣鼽c(diǎn)的匹配在常規(guī)的圖像配準(zhǔn)中應(yīng)用較多，是一種效率較高，魯棒性較好的圖像配準(zhǔn)方法。然而，火車車身光滑，紋理較少，且各部分相似度很大，這些特性使得基于局部特征點(diǎn)的匹配成功率并不高。

技術(shù)實(shí)現(xiàn)要素：

(一)要解決的技術(shù)問題

本發(fā)明的目的在于提供一種運(yùn)動(dòng)目標(biāo)的全景成像方法，從而解決上述的至少一項(xiàng)技術(shù)問題。

(二)技術(shù)方案

本發(fā)明提供了一種運(yùn)動(dòng)目標(biāo)的全景成像方法，包括步驟：

s1、采集運(yùn)動(dòng)目標(biāo)的視頻序列，在所述視頻序列的各幀中設(shè)置感興趣區(qū)，并在所述感興趣區(qū)中提取特征點(diǎn)；

s2、計(jì)算各相鄰幀間特征點(diǎn)的位移；

s3、對(duì)所述特征點(diǎn)的位移進(jìn)行方向約束和合成，得到各相鄰幀間運(yùn)動(dòng)目標(biāo)的位移；

s4、基于運(yùn)動(dòng)目標(biāo)的位移，去除所述視頻序列中的背景幀，并對(duì)去除了背景幀的視頻序列進(jìn)行圖像融合，得到全景圖。

優(yōu)選地，步驟s3中的方向約束可以指特征點(diǎn)光流的方向與先驗(yàn)方向的角度的范圍滿足-arctan(1/10)～arctan(1/10)，所述先驗(yàn)方向?yàn)椴杉b置采集所述視頻序列時(shí)的擺放方向。

優(yōu)選地，步驟s3中的合成可以指：采用mean-shift算法對(duì)方向約束后的特征點(diǎn)進(jìn)行密度分析，以密度峰值位置為中心取鄰域，該鄰域包含k個(gè)特征點(diǎn)的位移數(shù)據(jù)，求算術(shù)平均，得到運(yùn)動(dòng)目標(biāo)在各相鄰幀間的位移：其中，i的范圍為1～k，k為正整數(shù)。

優(yōu)選地，所述運(yùn)動(dòng)目標(biāo)的視頻序列可以為經(jīng)過灰度化處理的視頻序列。

優(yōu)選地，所述感興趣區(qū)可以為包含運(yùn)動(dòng)目標(biāo)部分的矩形區(qū)域。

優(yōu)選地，所述特征點(diǎn)包括harris角點(diǎn)。

優(yōu)選地，步驟s2中采用稀疏光流法進(jìn)行所述特征點(diǎn)的位移的計(jì)算。

優(yōu)選地，所述稀疏光流法包括圖像金字塔結(jié)構(gòu)的稀疏光流法。

優(yōu)選地，步驟s4中去除背景幀的方法為聚類法，所述聚類法包括k-means二類聚類。

優(yōu)選地，圖像融合的公式為其中d為各相鄰幀間重疊區(qū)域的寬度，d為(x1，y1)到各相鄰幀間重疊區(qū)域的邊界的距離，0≤d≤d，(x，y)為像素的坐標(biāo)。

(三)有益效果

本發(fā)明相較于現(xiàn)有技術(shù)的優(yōu)點(diǎn)為：

1、利用相機(jī)采集到的高清視頻序列，運(yùn)用圖像拼接技術(shù)對(duì)其中運(yùn)動(dòng)目標(biāo)進(jìn)行高清全景成像，算法成功率高，時(shí)間復(fù)雜度較低。

2、本發(fā)明基于稀疏光流法，主要分為特征點(diǎn)提取、光流計(jì)算與分析、前景幀和背景幀分離、圖像融合等步驟。本發(fā)明可以克服運(yùn)動(dòng)目標(biāo)等狹長(zhǎng)目標(biāo)全景成像和高清成像難以兼顧的問題，通過在運(yùn)動(dòng)目標(biāo)的一側(cè)采集視頻序列，應(yīng)用本發(fā)明中的方法即可拼接出運(yùn)動(dòng)目標(biāo)的高清全景圖像，為基于視覺的運(yùn)動(dòng)目標(biāo)智能分析、識(shí)別、速度測(cè)量等提供了基礎(chǔ)條件。

附圖說明

圖1為本發(fā)明實(shí)施例的步驟流程示意圖；

圖2a為本發(fā)明實(shí)施例的在視頻幀中設(shè)置感興趣區(qū)的示意圖；

圖2b為本發(fā)明實(shí)施例在感興趣區(qū)中選取特征點(diǎn)的示意圖；

圖2c為本發(fā)明實(shí)施例對(duì)特征點(diǎn)進(jìn)行光流分析的示意圖；

圖3為本發(fā)明實(shí)施例對(duì)特征點(diǎn)的位移進(jìn)行方向約束以及基于mean-shift的密度峰值鄰域發(fā)現(xiàn)的示意圖；

圖4為本發(fā)明實(shí)施例的圖像融合示意圖。

具體實(shí)施方式

本發(fā)明提供了一種運(yùn)動(dòng)目標(biāo)的全景成像方法，運(yùn)動(dòng)目標(biāo)包括行駛的火車、行駛的汽車或者其他處于運(yùn)動(dòng)狀態(tài)的物體。采集裝置包括相機(jī)、攝影機(jī)或者其他可以拍照攝像的裝置。在本發(fā)明中，采集裝置采集運(yùn)動(dòng)目標(biāo)的連續(xù)的包含其各局部信息的視頻序列，無縫拼接出高清的包含運(yùn)動(dòng)目標(biāo)整體信息的全景圖像，同時(shí)達(dá)到了較高的圖像拼接成功率，提升了算法的運(yùn)行效率。

又因?yàn)楦飨噜弾g的時(shí)間間隔一致，且時(shí)間間隔很短，因此可以將運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)速度近似為運(yùn)動(dòng)目標(biāo)的位移。

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。

圖1為本發(fā)明實(shí)施例的步驟流程示意圖，如圖1所示，本發(fā)明實(shí)施例提供了一種運(yùn)動(dòng)目標(biāo)的全景成像方法，包括步驟：

s1、采集運(yùn)動(dòng)目標(biāo)的視頻序列，在所述視頻序列的各幀中設(shè)置感興趣區(qū)，并在所述感興趣區(qū)中提取特征點(diǎn)；

s2、計(jì)算各相鄰幀間特征點(diǎn)的位移；

s3、對(duì)所述特征點(diǎn)的位移進(jìn)行方向約束和合成，得到各相鄰幀間運(yùn)動(dòng)目標(biāo)的位移；

s4、基于運(yùn)動(dòng)目標(biāo)的位移，去除所述視頻序列中的背景幀，并對(duì)去除了背景幀的視頻序列進(jìn)行圖像融合，得到全景圖。

下面實(shí)施例以輸入大小為1920*1080，幀數(shù)為631的可見光三通道火車視頻序列為例，進(jìn)行火車全景圖生成，主要流程包括：

首先，進(jìn)行步驟s1、采集火車的視頻序列，在所述視頻序列的各幀中設(shè)置感興趣區(qū)，并在所述感興趣區(qū)中提取特征點(diǎn)。其中，s1具體包括以下子步驟：

s11、采集火車視頻序列，將采集裝置(例如相機(jī))安裝在鐵軌一側(cè)的固定位置，同時(shí)，相機(jī)經(jīng)過水平儀的調(diào)節(jié)，光軸處于水平位置且與火車的行駛方向垂直，相機(jī)成像面矩形的底邊保持水平。

s12、設(shè)置感興趣區(qū)，圖2a為本發(fā)明實(shí)施例在視頻幀中設(shè)置感興趣區(qū)的示意圖，如圖2a所示，為避免背景對(duì)火車目標(biāo)的運(yùn)動(dòng)分析產(chǎn)生干擾，影響結(jié)果的正確性，須設(shè)置一個(gè)感興趣區(qū)(roi)，該區(qū)域僅僅包含前景車身部分。由于之前對(duì)相機(jī)位姿的約束，同時(shí)普通鐵軌的坡度不超過千分之十，故火車在圖像中基本處于水平位置，所以我們?cè)谝曨l幀的特定位置選取與坐標(biāo)軸平行的矩形框作為roi，以確保剛好包含車身部分即可。

s13、從視頻序列中依次抽取相鄰幀framea、frameb(這里以第207、208幀為例)，對(duì)framea和frameb進(jìn)行灰度化處理，本實(shí)施例采用的灰度化方法為：

i＝0.299r+0.587g+0.114b

其中rgb三個(gè)分量的系數(shù)來源于rgb顏色空間轉(zhuǎn)yuv顏色空間的轉(zhuǎn)換方程。

s14、提取特征點(diǎn)，在framea的感興趣區(qū)roi中自動(dòng)提取一些便于什么跟蹤的特征點(diǎn)，在framea的roi中提取一些便于跟蹤的特征點(diǎn)，這里采用harris角點(diǎn)。提取harris角點(diǎn)的方法為：計(jì)算每一個(gè)像素的鄰域的一階導(dǎo)數(shù)自相關(guān)矩陣的特征值，特征值大的像素點(diǎn)優(yōu)先被選取為角點(diǎn)。圖2b為本發(fā)明實(shí)施例在感興趣區(qū)中選取特征點(diǎn)的示意圖，如圖2b所示，計(jì)算harris角點(diǎn)采用的鄰域的尺度為3*3，特征點(diǎn)的數(shù)量不宜過少或者過多，對(duì)于1920*1080的圖像，一般為50～500比較合適。

其次，進(jìn)行步驟s2、計(jì)算各相鄰幀間特征點(diǎn)的位移，具體可以為：

稀疏光流法計(jì)算相鄰幀間特征點(diǎn)的位移，基于上述特征點(diǎn)，運(yùn)用稀疏光流法(opticalflow)分析這些特征點(diǎn)在frameb中相對(duì)于framea中位置的位移。這里采用了lucas-kanade稀疏光流法。光流法的假設(shè)之一是目標(biāo)的運(yùn)動(dòng)是連續(xù)的“小”運(yùn)動(dòng)，而火車的運(yùn)動(dòng)速度較快，因此在相鄰幀間，這一點(diǎn)并不能完全滿足。本發(fā)明不限于某種特定的光流法，同時(shí)，為了提高特征點(diǎn)跟蹤的正確率以及計(jì)算速度，以及克服幀間運(yùn)動(dòng)的不連續(xù)性，可以使用基于圖像金字塔結(jié)構(gòu)的光流法，金字塔的類型不做限制，金字塔的層數(shù)不做限制。本發(fā)明實(shí)施例中，首先在圖像金字塔的最高層計(jì)算光流，用得到的結(jié)果作為下一層金字塔的起始點(diǎn)，重復(fù)這個(gè)過程直到到達(dá)金字塔的最底層。這樣可以克服光流法假設(shè)中運(yùn)動(dòng)連貫性假設(shè)不滿足的影響，從而實(shí)現(xiàn)對(duì)幀間較大位移的準(zhǔn)確跟蹤。這里的圖像金字塔采用高斯金字塔，金字塔層數(shù)為5。圖2c為本發(fā)明實(shí)施例對(duì)特征點(diǎn)進(jìn)行光流分析的示意圖，如圖2c所示，運(yùn)用金字塔層數(shù)為5的高斯金字塔的稀疏光流法對(duì)選擇的特征點(diǎn)分析，特征點(diǎn)從framea運(yùn)動(dòng)到frameb，光流方向不一，大致偏向水平方向或者與水平方向之間存在夾角。

然后進(jìn)行步驟s3、對(duì)所述特征點(diǎn)的位移進(jìn)行方向約束和合成，得到各相鄰幀間運(yùn)動(dòng)目標(biāo)的位移，具體可以為：

對(duì)所述特征點(diǎn)的位移進(jìn)行方向約束和合成，得到相鄰幀間，運(yùn)動(dòng)目標(biāo)的位移。對(duì)上述位移進(jìn)行方向約束，過濾掉光流方向與先驗(yàn)方向偏離較大的位移數(shù)據(jù)，然后對(duì)剩下的位移數(shù)據(jù)進(jìn)行篩選與合成，得到運(yùn)動(dòng)目標(biāo)的位移，即為火車在framea和frameb間的位移。首先過濾掉與先驗(yàn)方向偏離較大的位移，由前所述，相機(jī)在采集視頻序列時(shí)擺放的方向是水平的，而火車也近似水平，故光流的先驗(yàn)方向?yàn)樗椒较?，運(yùn)動(dòng)方向明顯偏離這一先驗(yàn)方向的位移數(shù)據(jù)可被認(rèn)為是對(duì)最終結(jié)果有誤的錯(cuò)誤結(jié)果而首先過濾掉。由先驗(yàn)方向?qū)λ俣确较蜻M(jìn)行約束，約束范圍不限于某個(gè)特定的范圍。速度篩選不限于某種特定方法，篩選的目的在于進(jìn)一步剔除不合適的數(shù)據(jù)，挑選出最能代表火車目標(biāo)運(yùn)動(dòng)速度的數(shù)據(jù)。合成即將前面挑選出的速度合成為一個(gè)速度，作為最終火車在相鄰幀間的運(yùn)動(dòng)速度。速度合成方法不限于特定方法。

這里過濾的范圍為-arctan(1/10)～arctan(1/10)，即對(duì)于(u，v)其位移約束結(jié)果為：

其中，(u，v)為位移的二維矢量，u為水平方向，v為垂直方向。

然后對(duì)剩下的位移數(shù)據(jù)進(jìn)行篩選與合成?；跇颖緮?shù)據(jù)在真值處具有最大密度這一假設(shè)，這里我們采用mean-shift算法對(duì)數(shù)據(jù)進(jìn)行密度分析，圖3為本發(fā)明實(shí)施例對(duì)特征點(diǎn)的位移進(jìn)行方向約束以及基于mean-shift的密度峰值鄰域發(fā)現(xiàn)的示意圖，如圖3所示，通過不斷的迭代計(jì)算，我們可以得到一個(gè)穩(wěn)定收斂的密度峰值，以該密度峰值位置為中心取鄰域，該鄰域包含k個(gè)特征點(diǎn)的位移數(shù)據(jù)，將這些位移求算術(shù)平均，得到一個(gè)位移值，即為最終的火車目標(biāo)在framea和frameb間的位移：

其中，i的范圍為1～k，k為正整數(shù)。

此外，重復(fù)前述的步驟，直到計(jì)算出視頻中所有相鄰幀間火車的位移。

最后進(jìn)行步驟s4、基于運(yùn)動(dòng)目標(biāo)的位移，去除所述視頻序列中的背景幀，并對(duì)去除了背景幀的視頻序列進(jìn)行圖像融合，得到全景圖，可以包括以下步驟：

s41、基于所有相鄰幀間的位移，對(duì)其進(jìn)行2類聚類，聚類的目的在于區(qū)分視頻序列開頭和結(jié)尾部分的不包含車體信息的背景幀與中間的包含車體信息的前景幀，便于后續(xù)的圖像融合。聚類方法不限于某種特定方法，這里采用k-means二類聚類。

s42、對(duì)火車進(jìn)行圖像融合，對(duì)前景幀部分進(jìn)行圖像融合生成最終的火車全景圖即可。圖4為本發(fā)明實(shí)施例的圖像融合示意圖，如圖4所示，圖像融合方法不限于某種特定方法，這里采用的圖像融合方法為距離權(quán)重法：

其中d為roi1與roi2重疊區(qū)域的寬度，d為(x1，y1)到roi1構(gòu)成重疊區(qū)域的邊界的距離，0≤d≤d，(x，y)為像素的坐標(biāo)。

以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。