本發(fā)明屬于計(jì)算機(jī)應(yīng)用
技術(shù)領(lǐng)域：
，具體涉及一種利用高速鐵路前向車(chē)載視頻進(jìn)行全景圖拼接的方法。
背景技術(shù)：
：前向車(chē)載視頻是指當(dāng)攝像機(jī)光軸方向與攝像機(jī)運(yùn)動(dòng)方向一致情況下錄制的視頻圖像。前向車(chē)載視頻圖像僅將攝像機(jī)運(yùn)動(dòng)方向視角范圍內(nèi)的場(chǎng)景囊括其中，如許多車(chē)輛都配備了車(chē)載攝像系統(tǒng)，用于掌控駕駛員的駕駛行為、事故調(diào)查、道路環(huán)境評(píng)估和車(chē)輛安全設(shè)計(jì)。高速鐵路每天都有大量的視頻數(shù)據(jù)被記錄。以一種有效的方式分析和解釋這些數(shù)據(jù)已成為一個(gè)不平凡的任務(wù)。這類(lèi)道路前景視頻圖像在車(chē)輛導(dǎo)航、安全駕駛、虛擬旅游、環(huán)境監(jiān)測(cè)等視覺(jué)信息表達(dá)應(yīng)用中也存在很多實(shí)際優(yōu)勢(shì)。攝像機(jī)在前向運(yùn)動(dòng)情況下的視頻拍攝作為一種移動(dòng)式的場(chǎng)景獲取方式，由于其視野寬闊，景深遠(yuǎn)，空間覆蓋面廣，已經(jīng)被廣泛應(yīng)用于移動(dòng)式的場(chǎng)景監(jiān)控和目標(biāo)檢測(cè)任務(wù)中。如利用前向車(chē)載攝像機(jī)實(shí)現(xiàn)汽車(chē)行駛過(guò)程中車(chē)道偏離的自動(dòng)預(yù)警；利用前向車(chē)載視頻圖像的鐵路沿線信號(hào)標(biāo)志的自動(dòng)識(shí)別；利用前向成像膠囊內(nèi)窺鏡(fice)拍攝的視頻，生成整個(gè)胃部的全景圖，有效地降低了數(shù)據(jù)規(guī)模，從而縮短了醫(yī)生檢查這些醫(yī)學(xué)數(shù)據(jù)的時(shí)間花銷(xiāo)；利用搭載單個(gè)攝像設(shè)備的運(yùn)動(dòng)平臺(tái)，用一種單目測(cè)距法實(shí)現(xiàn)管道的可視化檢測(cè)；利用沿炮管移動(dòng)的ccd相機(jī)采集炮管內(nèi)膛的圖像，并利用圖像拼接技術(shù)，實(shí)現(xiàn)了內(nèi)膛表面圖像的快速無(wú)縫拼接，為炮管內(nèi)膛瑕疵缺陷的檢測(cè)提供了一種快速、有效的方法；利用前向車(chē)載視頻生成可用于地質(zhì)水文檢測(cè)勘探的全景圖像；利用前向車(chē)載視頻生成全景圖像可作為一個(gè)快速瀏覽的視頻索引。隨著計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域的不斷擴(kuò)大與深入，視頻資源的數(shù)據(jù)量也在急劇增加，許多算法由于較高的計(jì)算復(fù)雜度無(wú)法滿足檢測(cè)任務(wù)的實(shí)時(shí)性要求，而且視頻格式的龐大數(shù)據(jù)量也為數(shù)據(jù)的存儲(chǔ)和檢索造成了困難，所有這些都給計(jì)算機(jī)視覺(jué)算法的實(shí)際應(yīng)用帶來(lái)了新的難題。由于視頻中連續(xù)的圖像序列間存在大量冗余信息，通過(guò)多視點(diǎn)全景圖拼接技術(shù)去除相鄰圖像序列的冗余信息不失為一種可行的解決方案。如，一種管狀流形映射的條帶拼接方法用到了公路場(chǎng)景下的前向車(chē)載視頻的拼接以及醫(yī)學(xué)胃窺鏡采集的圖像序列的拼接，生成了胃部的全景圖；利用前向運(yùn)動(dòng)的車(chē)載魚(yú)眼攝像機(jī)，生成了城市道路環(huán)境的全景圖，并基于全景圖實(shí)現(xiàn)了城市場(chǎng)景的虛擬繪制；一種u形采樣法可以從前向運(yùn)動(dòng)的車(chē)載攝像機(jī)采集的視頻中生成公路駕駛場(chǎng)景的全景圖，利用全景圖實(shí)現(xiàn)行車(chē)環(huán)境的安全檢測(cè)等。對(duì)于那些場(chǎng)景沒(méi)有深度變化的場(chǎng)合，如隧道，動(dòng)物的腸管道，炮膛等往往只存在單一深度層，即場(chǎng)景拼接目標(biāo)物體全部位于同一深度層面，相鄰拼接幀之間的像素對(duì)應(yīng)關(guān)系可以通過(guò)選擇適當(dāng)?shù)膱D像變換模型來(lái)求得；而對(duì)于一些開(kāi)闊的場(chǎng)景諸如公路，鐵路等，場(chǎng)景處在一個(gè)深度變化很大的范圍之中，場(chǎng)景中的目標(biāo)物體位于不同深度層，各深度層的目標(biāo)物體之間的相互位置遮擋等隨攝像機(jī)的移動(dòng)而變化，此時(shí)相鄰拼接幀之間的變化不滿足單應(yīng)性，其像素對(duì)應(yīng)關(guān)系無(wú)法通過(guò)圖像變換模型直接求得。前向車(chē)載視頻拍攝的視頻圖像由一系列二維幀圖像構(gòu)成，其內(nèi)容通常包括三維歐式空間的路面、天空和兩側(cè)的景物。對(duì)于這類(lèi)景物圖像平面上的像素點(diǎn)并非都屬于同一兩維歐式空間，在圖像中臨近的像素點(diǎn)可能是實(shí)際景物上相距很遠(yuǎn)的景物點(diǎn)。若從光流的角度考慮，圖像中臨近的像素點(diǎn)可能具有不同的光流速度和方向，表現(xiàn)為像素運(yùn)動(dòng)的非一致性，景物由遠(yuǎn)及近在圖像中的反映是對(duì)景物的放大。道路前景視頻圖像在前向車(chē)載視頻圖像的應(yīng)用中具有代表性。高速鐵路前向車(chē)載視頻的多方位采樣線全景圖拼接技術(shù)是本發(fā)明針對(duì)高速鐵路環(huán)境提出的一種新的全景圖拼接技術(shù)。有關(guān)全景圖拼接技術(shù)在國(guó)際上已經(jīng)有多年的研究。美國(guó)印第安納普渡大學(xué)的jiang-yuzheng教授領(lǐng)導(dǎo)的團(tuán)隊(duì)多年來(lái)在道路全景圖(routepanorama)進(jìn)行了廣泛的研究，并將全景技術(shù)應(yīng)用于城市瀏覽、汽車(chē)導(dǎo)航、視頻瀏覽等，其成果在圖形學(xué)、機(jī)器視覺(jué)以及工業(yè)領(lǐng)域都有成功的應(yīng)用。條帶全景圖拼接技術(shù)是以色列的shmuelpeleg教授提出的，后來(lái)又發(fā)展了推掃全景圖和基于自適應(yīng)流形的圖像拼接技術(shù)。基于自適應(yīng)流形的圖像拼接推動(dòng)了圖像拼接的進(jìn)一步發(fā)展，也使自適應(yīng)問(wèn)題從此成為圖像拼接領(lǐng)域的新熱點(diǎn)。美國(guó)微軟研究院的richardszeliski提出了基于運(yùn)動(dòng)的全景圖拼接模型，采用levenberg-marquardt迭代非線性最小化方法，通過(guò)求出圖像間的幾何變換關(guān)系來(lái)進(jìn)行圖像配準(zhǔn)。由于該方法效果好，收斂速度快，可以處理有平移、旋轉(zhuǎn)等多種變換的待拼接圖像，已經(jīng)成為圖像拼接領(lǐng)域的經(jīng)典算法。通過(guò)高速鐵路前向車(chē)載視頻對(duì)高速鐵路環(huán)境檢測(cè)是一個(gè)定期、常態(tài)的工作，因此，如何有效地利用視頻信息，快速檢索，實(shí)現(xiàn)環(huán)境變化監(jiān)測(cè)、檢測(cè)環(huán)境異常變化以及減少周而復(fù)始獲取視頻圖像所占用的存儲(chǔ)空間等是需要解決的新的問(wèn)題。技術(shù)實(shí)現(xiàn)要素：針對(duì)現(xiàn)有技術(shù)中的不足，本發(fā)明的目的在于提供一種利用高速鐵路前向車(chē)載視頻進(jìn)行全景圖拼接的方法。為了實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案是：本發(fā)明涉及一種利用前向車(chē)載視頻進(jìn)行全景圖拼接的方法，屬于計(jì)算機(jī)應(yīng)用技術(shù)。本發(fā)明將以高速鐵路的封閉運(yùn)行環(huán)境為對(duì)象，提供一種針對(duì)前向車(chē)載視頻的多方位采樣全景圖拼接方法。利用該方法生成的高速鐵路全程運(yùn)行環(huán)境全景圖可實(shí)現(xiàn)視頻圖像的快速檢索，也可作為前向車(chē)載視頻高壓縮比的一種存儲(chǔ)方法。本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：根據(jù)已知的高速鐵路線路先驗(yàn)信息,確定記錄線路環(huán)境狀態(tài)的前向車(chē)載視頻幀圖像的三個(gè)不同方位采樣線，通過(guò)采樣拼接技術(shù)轉(zhuǎn)換為鐵路線路環(huán)境全景圖。技術(shù)方案包含以下步驟：有基于鐵路線路先驗(yàn)定位前向車(chē)載視頻多方位基準(zhǔn)采樣線(三條)的步驟；有依據(jù)基準(zhǔn)采樣線對(duì)前向車(chē)載視頻幀進(jìn)行采樣的步驟；有基于采樣結(jié)果的全景圖拼接計(jì)算的步驟；步驟1.基于高速鐵路線路先驗(yàn)，定位前向車(chē)載視頻幀圖像多方位基準(zhǔn)采樣線從前向車(chē)載視頻序列中提取幀圖像，依據(jù)高速鐵路線路先驗(yàn)，定位幀圖像的三個(gè)方位基準(zhǔn)采樣線，如圖1中的ab、ac、bd。三個(gè)方位采樣線構(gòu)建基于以下客觀近似：高速鐵路線路設(shè)施場(chǎng)景包括地面的鋼軌、應(yīng)答器以及兩側(cè)的防護(hù)欄或聲屏障、電桿等。由于懸掛在線路上方的接觸網(wǎng)與高速鐵路線路環(huán)境的封閉性無(wú)關(guān)，所以不在本專利考慮之內(nèi)。在這里，同類(lèi)的設(shè)施都視為近似位于同一平面，且設(shè)施物理尺寸及設(shè)施之間距離已知；鐵路設(shè)施場(chǎng)景的各平面為距離攝像機(jī)最近的深度層，生成的全景圖中不存在因欠采樣而引起的鐵路設(shè)施信息缺失。攝像機(jī)固定在高速鐵路列車(chē)前方已知位置，與列出沒(méi)有平移和旋轉(zhuǎn)的任何相對(duì)運(yùn)動(dòng)，攝像機(jī)光軸方向與列車(chē)運(yùn)行方向一致。高速鐵路前向車(chē)載視頻附加有實(shí)時(shí)運(yùn)行速度。前向車(chē)載視頻幀圖像三個(gè)方位基準(zhǔn)采樣線定位的步驟；準(zhǔn)不動(dòng)點(diǎn)定義圖像中亮度梯度(iu，iv)t不等于零，但亮度關(guān)于時(shí)間的變化率it等于零的點(diǎn)(us，vs)t稱為準(zhǔn)不動(dòng)點(diǎn)，所有準(zhǔn)不動(dòng)點(diǎn)組成的集合稱為準(zhǔn)不動(dòng)點(diǎn)集，記為s＝{(us，vs)t}，其中準(zhǔn)不動(dòng)點(diǎn)的梯度不等于零表明準(zhǔn)不動(dòng)點(diǎn)和其鄰域像素點(diǎn)的灰度值是有區(qū)別的，另外，準(zhǔn)不動(dòng)點(diǎn)的灰度值不隨時(shí)間發(fā)生變化，即對(duì)比兩幀中相同位置的兩個(gè)靜態(tài)點(diǎn)，其灰度值不變，這說(shuō)明準(zhǔn)不動(dòng)點(diǎn)沒(méi)有動(dòng)，或者連續(xù)多個(gè)準(zhǔn)不動(dòng)點(diǎn)沿著垂直于圖像亮度梯度方向同時(shí)運(yùn)動(dòng)。準(zhǔn)不動(dòng)點(diǎn)提供了一個(gè)垂直于圖像亮度梯度的運(yùn)動(dòng)方向。如果圖像中有多個(gè)準(zhǔn)不動(dòng)點(diǎn)集合，那么，至少是在理論上，所有準(zhǔn)不動(dòng)點(diǎn)集合所能提供的運(yùn)動(dòng)方向?qū)?huì)相交于一點(diǎn)。對(duì)于準(zhǔn)不動(dòng)點(diǎn)的進(jìn)一步解釋可見(jiàn)圖2。對(duì)于圖2中所示黑色直線箭頭向右移動(dòng)的動(dòng)作，但在視窗之內(nèi)將無(wú)法觀察到移動(dòng)的動(dòng)作，然而從圖2中的t1、t2、t3三個(gè)不同時(shí)刻圖像可以判斷黑色直線箭頭確實(shí)在向右移動(dòng)。(1)尋找視頻圖像中鋼軌所在區(qū)域的直線線段從視頻圖像序列取兩幀圖像(可以是相鄰兩幀或相隔數(shù)幀的兩幀)，根據(jù)準(zhǔn)不動(dòng)點(diǎn)原則找出所有準(zhǔn)不動(dòng)點(diǎn)，根據(jù)在圖像平面上相互連接的準(zhǔn)不動(dòng)點(diǎn)計(jì)算出圖像中的直線線段。具體計(jì)算過(guò)程如下：為提高計(jì)算速度，無(wú)需在整幅圖像進(jìn)行計(jì)算，計(jì)算的范圍限制在一個(gè)矩形方框內(nèi)，寬度距離中心線左右各100像素，高度距離幀圖像底線150像素的200×像素的區(qū)間(圖3的矩形方框?yàn)橛?jì)算準(zhǔn)不動(dòng)點(diǎn)區(qū)間，箭頭表示圖像的水平中線位置)進(jìn)行。最后確定直線方程u+kiv-ui的斜率和截距(i代表直線的編號(hào)，(u，為圖像坐標(biāo)系的橫軸和縱軸)。在上述過(guò)程中需要考慮兩個(gè)問(wèn)題，一是消除噪聲的干擾，將直線線段長(zhǎng)度在10個(gè)像素點(diǎn)以下的線段作為噪聲干擾線段而被舍棄；二是克服由于鐵路彎道對(duì)直線方程斜率的影響，將計(jì)算范圍高度距離幀圖像底線150像素縮小為像素，重復(fù)確定直線方程的工作，保留不發(fā)生變化線段，若某線段值發(fā)生變化，用新的值取代原方程的斜率。(2)確定鋼軌位置結(jié)合場(chǎng)景的先驗(yàn)信息找到表示車(chē)載相機(jī)所在鋼軌位置的兩條直線線段，即，將距離圖像底邊中點(diǎn)左測(cè)和右測(cè)最近的兩條直線線段定義為鋼軌位置。設(shè)圖像底邊(v0＝0)中點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)為(uc，v0)t，圖像底邊與左側(cè)鋼軌的交點(diǎn)為(u1，v0)t，與右側(cè)鋼軌的交點(diǎn)為(ur，v0)t，ul＜uc＜ur，kl＜0，kr＞0，兩條鋼軌的方程分別為，u+k1v-u1＝0和u+krv-ur＝0。若鐵路線路在直線情況，兩條直線鋼軌的交點(diǎn)(uvp，vvp)t就是消失點(diǎn)，，在彎道場(chǎng)合，雖然(uvp，vvp)t已經(jīng)不是圖像中的消失點(diǎn)，但在全景圖拼接過(guò)程中該點(diǎn)的作用依舊未變，(uvp，vvp)t的坐標(biāo)為：(3)水平方位基準(zhǔn)掃描線(ab)的定確在圖像坐標(biāo)系(坐標(biāo)值為像素?cái)?shù))，做一條水平掃描線交兩條鋼軌為a’、b’。當(dāng)水平掃描線a’b’與圖像底邊的距離給定后(給定v)，根據(jù)兩條鋼軌的方程u+k1v-u1＝0和u+krv-ur＝0可以求得a’，b’點(diǎn)的坐標(biāo)，進(jìn)而得到a’b’的像素?cái)?shù)α。sa′b′為兩條鋼軌之間的距離(兩條鋼軌標(biāo)準(zhǔn)軌距sa′b′＝1435毫米)，則可用t/α代表像素間的平局距離。根據(jù)具體線路(世界坐標(biāo)系)先驗(yàn)信息可知防護(hù)欄或聲屏障與兩條鋼軌的在圖像坐標(biāo)系的相對(duì)位置，故可延長(zhǎng)a’b’到a、b，ab的終點(diǎn)必然是防護(hù)欄或聲屏障所在位置。該過(guò)程就是水平掃描線ab的確定過(guò)程。然而，水平方位掃描線ab的確定還受另外垂直方位掃描線ac、bd的約束，為此，最終確定ab的位置v需要在討論垂直方位掃描線的約束條件之后。(4)垂直方位基準(zhǔn)掃描線ac、bd的確定由于兩條垂直掃描線ac、bd的確定原則相同，這里僅只描述垂直掃描線ac的確定過(guò)程。過(guò)水平掃描線ab的端點(diǎn)a做垂線ac，交圖像頂端邊緣于c，在這里要求ac的像素?cái)?shù)所代表的高度應(yīng)不小于高速鐵路環(huán)境最高的設(shè)施(電桿高度γ)，其物理高度為已知。(5)形式描述根據(jù)上述描述，可以列出如下形式描述：若給定當(dāng)水平掃描線ab在垂直方向的位置vab，根據(jù)兩條鋼軌的直線方程u+k1v-u1＝0和u+krv-ur＝0可得到a’、b’在圖像坐標(biāo)系的u軸坐標(biāo)：u1＝u1-klvabur＝ur-krvab其中ul表示左側(cè)鋼軌坐標(biāo)，ur表示右側(cè)鋼軌坐標(biāo)，則兩條鋼軌之間的像素?cái)?shù)為α＝(ur-ul)，用sa′b′/α代表在a’b’水平位置像素間的平均距離。根據(jù)車(chē)載攝像機(jī)實(shí)際安裝的位置可知，相對(duì)于ac、bd兩條垂直掃描線，a’b’距離攝像機(jī)的光軸最近，因此，若用sa′b′/α代表在ac、bd位置像素間的平均距離，則一定小于在ac、bd位置像素間實(shí)際表示的世界坐標(biāo)系距離。依據(jù)這一前提條件，以下計(jì)算的ac、bd位置一定滿足所選取的兩條垂直掃描線ac、bd可以不丟失高速鐵路環(huán)境最高的設(shè)施。設(shè)：電桿高度＝γ，圖像豎直方向的像素?cái)?shù)為s，那么ac的像素?cái)?shù)為s-vab＝β，則約束條件為。β×sa′b′α≥γ即(s-vab)×sa′b′/α≥γ將式(2)代入式(1)得到為此，我們選擇式(3)中sa′b′為軌距，軌距有多種，我國(guó)采用國(guó)際標(biāo)準(zhǔn)軌距sa′b′＝1435毫米，s為圖像垂直像素?cái)?shù)，如s＝768，γ電桿高度(已知)，ul、ur左右鋼軌與圖像底線的交點(diǎn)(在確定鋼軌位置步驟時(shí)已經(jīng)確定)，kl、kr左右鋼軌直線的斜率(在確定鋼軌位置步驟時(shí)已經(jīng)確定)。步驟2.幀圖像掃描線數(shù)選擇幀圖像掃描線數(shù)即在幀圖像中選取的條帶寬度，如圖4所示的條帶拼接示意圖給出的條帶。設(shè)列車(chē)速度為v，攝像機(jī)的幀速為r，則相鄰兩幀之間空間采樣的距離為v/r，即，世界坐標(biāo)系的距離，顯然相鄰兩幀之間空間采樣距離v/r需要通過(guò)坐標(biāo)變換才能得到在圖像坐標(biāo)系表示中用像素表示的距離。本發(fā)明利用簡(jiǎn)單清晰的幾何關(guān)系實(shí)現(xiàn)兩幀之間空間距離與圖像坐標(biāo)之間的轉(zhuǎn)換，即，將兩幀之間空間距離轉(zhuǎn)換為圖像坐標(biāo)系水平掃描線線數(shù)和左垂直掃描線數(shù)，右垂直掃描線數(shù)數(shù)。在這里、ml實(shí)際代表了掃描條帶寬度。(1)在世界坐標(biāo)系，如圖5所示，l1為某一幀水平方位基準(zhǔn)掃描線到攝像機(jī)的垂直距離，l2為相鄰兩幀之間空間采樣的距離，即v/r，那么l1+l2為下一幀水平方位基準(zhǔn)掃描線到攝像機(jī)的垂直距離，l3為攝像機(jī)距離地面的高度。依據(jù)小孔成像原理，l2的物理長(zhǎng)度在像平面可以表現(xiàn)的物理長(zhǎng)度為y1到y(tǒng)2線段長(zhǎng)度l4。由于車(chē)載攝像機(jī)光軸方向?yàn)榱熊?chē)運(yùn)動(dòng)方向z，y軸垂直于地面，為此，l4＝l3(l1+l2)/l2l1、l2、l3為已知，故l4可求。(2)在圖像坐標(biāo)系，如圖6所示，ambm線段為第m幀圖像的水平方位基準(zhǔn)掃描線，amcm線段為第m幀圖像的左垂直方位基準(zhǔn)掃描線，bmdm線段為第m幀圖像的右垂直方位基準(zhǔn)掃描線，am+1bm+1、am+1cm+1、bm+1dm+1線段為第m+1幀圖像對(duì)應(yīng)的的基準(zhǔn)掃描線在第m幀圖像的位置。當(dāng)知道m(xù)v，就可以通過(guò)e、am、bm坐標(biāo)求得ml、mr。(3)將在世界坐標(biāo)系的l4轉(zhuǎn)換為圖像坐標(biāo)系的mv。計(jì)算步驟如下：由于兩條鋼軌之間的距離為sa′b′，其像素?cái)?shù)為α，則sa′b′/α表示像素間所代表的空間距離，故，(4)計(jì)算ml、mr步驟如下：e點(diǎn)坐標(biāo)，am坐標(biāo)、bm坐標(biāo)為：(uvp，vvp)t(uam，vam)t(ubm，vbm)t其中vam＝vabuam＝ul-αsaa′/sa′b′，vbm＝vab，ubm＝ul+αsb′b/sa′b′。saa′、sb′b分別為左側(cè)防護(hù)欄或聲屏障到左側(cè)鋼軌的空間距離和右側(cè)防護(hù)欄或聲屏障到右側(cè)鋼軌的空間距離(已知)。為此可以得到e點(diǎn)到am、bm點(diǎn)的兩條直線方程。u+keamv-ueam＝0(5)u+kebmv-uebm＝0(6)給定v＝mv，依據(jù)方程(5)得到u+keammv-ueam＝0u＝ueam-keammv＝ml(7)給定v＝mv，依據(jù)方程(6)得到u+kebmmv-uebm＝0u＝uebm-kebmmv＝mr(8)(5)計(jì)算cm，dm坐標(biāo)步驟如下：e點(diǎn)到cm，dm點(diǎn)的兩條直線方程為：u+kecmv-uecm＝0(9)u+kedmv-uedm＝0(10)將ml，mr分別代入方程(9)和(10)，得到,cm+1在v軸的坐標(biāo)為：v＝(uecm-ml)/kecmdm+1在v軸的坐標(biāo)為：v＝(uedm_mr)/kedm步驟3.多方位掃描區(qū)域的幾何變換基于步驟1和步驟2構(gòu)成了ambmam+1b、amcmam+1c、bmdmbm+1d三個(gè)不同方位的掃描區(qū)域。每幀圖像重復(fù)以上過(guò)程，得到三組不同方位掃描區(qū)域序列，將這些序列分別按照首尾順序依次拼接起來(lái)就得到了全景圖。然而，由于每個(gè)掃描區(qū)域是基于小孔成像原理的三維空間到二維平面的變換，所以場(chǎng)景距離攝像機(jī)的遠(yuǎn)近表現(xiàn)為圖像中大小的不同，三個(gè)不同方位的掃描區(qū)域呈現(xiàn)不同的梯形形狀。為此，在拼接前需要通過(guò)幾何變換為將ambmam+1b、amcmam+1c、bmdmbm+1d三個(gè)掃描區(qū)域轉(zhuǎn)換為規(guī)則的矩形形狀。利用圖像卷繞(imagewrapping)對(duì)構(gòu)造的三個(gè)掃描區(qū)域進(jìn)行幾何變換，從而將不規(guī)則的梯形掃描區(qū)域映射為規(guī)則的矩形條帶，這些序列就可以實(shí)現(xiàn)掃描區(qū)域的首尾拼接。有益效果提出了一種利用計(jì)算機(jī)視覺(jué)的基于高速鐵路前向車(chē)載視頻的全景圖拼接方法。為高速綜合檢測(cè)列車(chē)海量視頻信息存儲(chǔ)和檢索以及完成高速鐵路封閉運(yùn)行環(huán)境狀態(tài)檢測(cè)提供了一種新的高效手段。提出了準(zhǔn)不動(dòng)點(diǎn)的概念以及基于準(zhǔn)不動(dòng)點(diǎn)集尋找高速鐵路鋼軌位置的方法，提出一種新的全景圖拼接方法，該方法是一種依據(jù)鋼軌位置和高速鐵路線路先驗(yàn)的三個(gè)方位采樣的全景圖拼接方法。該方法不受彎道影響，可在高速鐵路全線運(yùn)行環(huán)境范圍內(nèi)實(shí)現(xiàn)前向車(chē)載視頻全景圖生成；本發(fā)明的基于前向車(chē)載視頻多方位采樣全景圖拼接方法，可以廣泛應(yīng)用于軌道交通運(yùn)載工具的自動(dòng)駕駛、安全檢查、高壓縮比的行車(chē)記錄，以及高速鐵路鋼軌平直度檢測(cè)、異物侵限檢測(cè)、列車(chē)交會(huì)檢測(cè)等。附圖說(shuō)明圖1高速鐵路線路前向車(chē)載視頻的三個(gè)方位基準(zhǔn)采樣線；圖2(a)t1時(shí)刻準(zhǔn)不動(dòng)點(diǎn)集示意；圖2(b)t2時(shí)刻準(zhǔn)不動(dòng)點(diǎn)集示意；圖2(c)t3時(shí)刻準(zhǔn)不動(dòng)點(diǎn)集示意；圖3尋找鋼軌位置的計(jì)算區(qū)域范圍；圖4條帶拼接示意；圖5兩幀之間空間距離與采樣條帶距離關(guān)系示意；圖6幀圖像基準(zhǔn)掃描線與條帶寬度；圖7(a)直道場(chǎng)合尋找鋼軌位置例，隨機(jī)抽取一幀圖像；圖7(b)直道場(chǎng)合尋找鋼軌位置例，另一幀圖像；圖7(c)直道場(chǎng)合尋找鋼軌位置例，鋼軌位置計(jì)算區(qū)域；圖7(d)直道場(chǎng)合尋找鋼軌位置例提取鋼軌圖像；圖8(a)彎道場(chǎng)合尋找鋼軌位置例，隨機(jī)抽取一幀圖像；圖8(b)彎道場(chǎng)合尋找鋼軌位置例，另一幀圖像；圖8(c)彎道場(chǎng)合尋找鋼軌位置例，鋼軌位置計(jì)算區(qū)域；圖8(d)提取鋼軌圖像；圖9(a)封閉鐵路環(huán)境全景圖左側(cè)全景圖；圖9(b)封閉鐵路環(huán)境全景圖右側(cè)全景圖；圖9(c)封閉鐵路環(huán)境全景圖路基全景圖；圖10(a)道岔場(chǎng)景全景圖左側(cè)全景圖；圖10(b)道岔場(chǎng)景全景圖右側(cè)全景圖；圖10(c)道岔場(chǎng)景全景圖路基全景圖。具體實(shí)施方式實(shí)施例1：提出了一種基于準(zhǔn)不動(dòng)點(diǎn)集合的尋找高速鐵路前向車(chē)載視頻鋼軌位置新方法。與現(xiàn)有技術(shù)相比，本發(fā)明的突出特點(diǎn)：高速鐵路前向車(chē)載視頻記錄的所有場(chǎng)景信息與高速運(yùn)行車(chē)輛始終處在一個(gè)相對(duì)運(yùn)動(dòng)的狀態(tài)。相對(duì)于攝像機(jī)而言不存在靜止?fàn)顟B(tài)任何景物，然而觀察高速鐵路前向車(chē)載視頻鋼軌卻呈現(xiàn)一種似乎不動(dòng)的形態(tài)，即在不同幀的相同位置表現(xiàn)的亮度相同，我們稱之為準(zhǔn)不動(dòng)點(diǎn)，這在眾多前向車(chē)載視頻中唯鐵路所特有。利用這一特點(diǎn)尋找到代表鋼軌的直線線段遠(yuǎn)比目前利用圖像尋找直線的算法速度快。代表鋼軌的直線線段的獲取包含以下三個(gè)步驟：前向視頻的采集、尋找視頻圖像中鋼軌所在區(qū)域的直線線段、確定鋼軌位置。依據(jù)準(zhǔn)不動(dòng)點(diǎn)集合尋找高速鐵路前向車(chē)載視頻鋼軌位置的算法如下算法1所示。圖7給出了在鐵路線路直道場(chǎng)合尋找鋼軌位置的例子。其中，圖7(a)、圖7(b)任意取的兩幀視頻圖像，圖7(c)中的紅色框內(nèi)為尋找鋼軌位置區(qū)域，圖7(d)為準(zhǔn)不動(dòng)點(diǎn)集圖像。將準(zhǔn)不動(dòng)點(diǎn)集細(xì)線化后得到代表鋼軌位置的直線方程。與圖7示例相同，圖8給出了彎道場(chǎng)合尋找鋼軌位置的例子。依據(jù)我們獲取的高速鐵路前向車(chē)載視頻的實(shí)驗(yàn)表明，依據(jù)同一檢測(cè)列車(chē)(意指同一攝像機(jī))獲取的視頻圖像所得到的鋼軌位置直線方程與直道場(chǎng)合還是彎道場(chǎng)合無(wú)關(guān)，滿足全景圖拼接的需要。在這里我們僅給出以京津線和京滬線的實(shí)際車(chē)載視頻為對(duì)象進(jìn)行驗(yàn)證的結(jié)果，如表1所示。表1不同檢測(cè)列車(chē)不同線路的鋼軌位置直線方程表1為在不同線路隨機(jī)抽取兩段視頻的連續(xù)兩幀圖像得到的鋼軌位置直線方程。依據(jù)表1直道與彎道鋼軌方程計(jì)算得到的鋼軌相交點(diǎn)均在數(shù)個(gè)像素范圍內(nèi)，完全滿足計(jì)算多方位采樣線的需要。在表1中，京滬與京津不同線路的鋼軌方程有較大差異，這是由于不同檢測(cè)列車(chē)的攝像機(jī)安裝位姿不同，獲取圖像存在差別，體現(xiàn)在鋼軌位置直線方程的不同。表1所列出的結(jié)果充分體現(xiàn)了本算法對(duì)線路和震動(dòng)的魯棒性。實(shí)施例2：提出了一種新的高速鐵路前向車(chē)載視頻多方位采樣全景圖拼接方法。本發(fā)明以高速鐵路的運(yùn)行環(huán)境為對(duì)象，提供一種針對(duì)前向車(chē)載視頻的多方位采樣全景圖拼接方法。利用該方法生成的高速鐵路全程運(yùn)行環(huán)境全景圖可實(shí)現(xiàn)視頻圖像的快速檢索，也可作為前向車(chē)載視頻高壓縮比的一種存儲(chǔ)方法。本發(fā)明的突出特點(diǎn)是，以鋼軌位置為環(huán)境設(shè)施定位的基準(zhǔn)，計(jì)算速度快，且不受彎道的影響。高速鐵路全景圖的獲取包含以下三個(gè)步驟：前向視頻的采集、構(gòu)造拼接區(qū)域、條帶拼接。依據(jù)多方位采樣生成鐵路場(chǎng)景全景圖的算法如下算法2所示。圖9所示為依據(jù)算法2(全景圖生成算法)得到的在150km/h條件下采集的視頻(720×576)生成的全景圖結(jié)果。圖10為低速條件下(50km/h)采集的視頻生成的全景圖。本發(fā)明提出的方法可以生成令人滿意的全景圖像，從圖可以看到，生成的全景圖中各檢測(cè)目標(biāo)清晰可見(jiàn)，顯示效果真實(shí)，軌道，電桿，電線盒護(hù)欄，電務(wù)設(shè)備以及螺栓都是可見(jiàn)的。遠(yuǎn)處場(chǎng)景由于“過(guò)采樣”發(fā)生了明顯的拉伸扭曲，但這些信息對(duì)于高速鐵路環(huán)境是不被關(guān)心的部分。我們根據(jù)實(shí)際線路的視頻存儲(chǔ)空間和全景圖存儲(chǔ)進(jìn)行了比較，其結(jié)果如表2所示。表2視頻存儲(chǔ)空間和全景圖存儲(chǔ)間的比較時(shí)速及時(shí)長(zhǎng)分辨率視頻碼流視頻存儲(chǔ)空間(avi格式)全景圖存儲(chǔ)間(jpg格式)壓縮比150km/h，20分鐘720×5767545(kbps)1024(mb)29(mb)35:150km/h20分鐘1280×7207545(kbps)2048(mb)61(mb)33:1使用的實(shí)驗(yàn)視頻數(shù)據(jù)為20分鐘，avi壓縮格式，與原始的avi壓縮格式相比，我們產(chǎn)生的全景圖具有更小的數(shù)據(jù)量，如表2所示。最后應(yīng)說(shuō)明的是：顯然，上述實(shí)施例僅僅是為清楚地說(shuō)明本申請(qǐng)所作的舉例，而并非對(duì)實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在上述說(shuō)明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無(wú)需也無(wú)法對(duì)所有的實(shí)施方式予以窮舉。而由此所引申出的顯而易見(jiàn)的變化或變動(dòng)仍處于本申請(qǐng)型的保護(hù)范圍之中。當(dāng)前第1頁(yè)12