本發(fā)明涉及鐵路運(yùn)營(yíng)安全檢測(cè)
技術(shù)領(lǐng)域：
，特別是異物侵入檢測(cè)方法和異物侵入檢測(cè)裝置。
背景技術(shù)：
：伴隨著我國(guó)高速鐵路網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大和高速列車裝備制造技術(shù)的快速發(fā)展，對(duì)高鐵運(yùn)營(yíng)安全的關(guān)注度也在不斷增大。而高速鐵路基礎(chǔ)設(shè)施長(zhǎng)期服役過程中也暴露了一些值得關(guān)注的問題，運(yùn)營(yíng)期間任何侵入鐵路限界的人員、異物都會(huì)嚴(yán)重威脅高速鐵路的安全運(yùn)行，并將造成嚴(yán)重的鐵路事故。因此，準(zhǔn)確及時(shí)地檢測(cè)侵入軌道限界的異物是保證軌道交通安全運(yùn)營(yíng)的關(guān)鍵，按檢測(cè)原理可以分為接觸式和非接觸式兩種。接觸式檢測(cè)主要采用防護(hù)網(wǎng)，根據(jù)檢測(cè)防護(hù)網(wǎng)類型可分為電網(wǎng)檢測(cè)(如申請(qǐng)?zhí)?01210172059.x，200910242554.1,201210282394.5)和光纖檢測(cè)(如申請(qǐng)?zhí)枺?01110406903.6，200910272765.x)等方式。接觸式的防護(hù)網(wǎng)在鐵路建設(shè)期大范圍安裝較為困難，同時(shí)由于建設(shè)期施工情況較為復(fù)雜，例如在工作天窗可能存在侵限作業(yè)，防護(hù)網(wǎng)使用不便，而且一旦破損及時(shí)修復(fù)較為困難。該技術(shù)只能檢測(cè)掉落在防護(hù)網(wǎng)上的較大物體，對(duì)于纖細(xì)的鋼筋和越過防護(hù)網(wǎng)掉落到軌道平面的物體無法檢測(cè)，也無法判斷物體的大小與位置。非接觸式檢測(cè)方法包括基于紅外、激光、微波和視頻的方法，紅外和激光多采用幕墻方案。例如，西班牙的高速鐵路在隧道口等容易發(fā)生異物侵限(如落石)的路段，安裝了基于紅外線光幕的落物監(jiān)測(cè)系統(tǒng)，有的還在軌道兩側(cè)安裝超聲波探測(cè)器檢測(cè)落入軌道的異物。專利號(hào)為201010230606.6的發(fā)明專利公開了利用二維激光傳感器構(gòu)建激光幕墻的非接觸式鐵路異物侵入檢測(cè)系統(tǒng)。這兩種方法可以準(zhǔn)確檢測(cè)穿過檢測(cè)幕墻的物體，但對(duì)空間物體無能為力?；谝曨l的入侵檢測(cè)廣泛應(yīng)用于安防領(lǐng)域，這些設(shè)備大多采用單一種類的視覺傳感器進(jìn)行監(jiān)測(cè)，以可見光相機(jī)為主，獲得可見光圖像后，先劃定區(qū)域然后利用圖像處理方法區(qū)分物體處于區(qū)域內(nèi)還是區(qū)域外，還可實(shí)現(xiàn)侵入物體的跟蹤。sehchanoh等人在“aplatformsurveillancemonitoringsystemusingimageprocessingforpassengersafetyinrailwaystation”中介紹了基于可見光圖像利用圖像處理方法實(shí)現(xiàn)車站股道的異物檢測(cè)，其中采用圖像差分識(shí)別前景與背景，通過異物的大小與形狀區(qū)分車輛和行人。這種方法在實(shí)驗(yàn)條件下能取得不錯(cuò)的效果，但是由于可見光圖像受環(huán)境照度影響，夜間工作效果差，將會(huì)影響到這些檢測(cè)系統(tǒng)的準(zhǔn)確性和可靠性，而上述系統(tǒng)也沒有考慮到系統(tǒng)在夜間等視線差的環(huán)境下的適應(yīng)性問題。技術(shù)實(shí)現(xiàn)要素：因此，為了解決接觸式和非接觸式異物侵入檢測(cè)方法和裝置中存在的上述問題，實(shí)現(xiàn)優(yōu)于現(xiàn)有技術(shù)的有益效果，實(shí)現(xiàn)了本發(fā)明。根據(jù)本發(fā)明的一個(gè)方面，提供了一種異物侵入檢測(cè)方法，所述方法包括如下步驟：利用紅外相機(jī)獲取監(jiān)測(cè)范圍內(nèi)的紅外圖像并將其傳輸至圖像采集處理系統(tǒng)；所述圖像采集處理系統(tǒng)根據(jù)所述紅外圖像來確定在所述紅外相機(jī)的監(jiān)測(cè)范圍內(nèi)是否出現(xiàn)疑似異物；在出現(xiàn)疑似異物的情況下，使激光光源與可見光相機(jī)聚焦到所述監(jiān)測(cè)范圍內(nèi)的所述疑似異物上并利用所述激光光源對(duì)所述疑似異物進(jìn)行激光補(bǔ)光；獲取所述疑似異物的可見光圖像并將其傳輸至所述圖像采集處理系統(tǒng)；所述圖像采集處理系統(tǒng)將所述可見光圖像與所述紅外圖像中的疑似異物區(qū)域圖像進(jìn)行圖像配準(zhǔn)與融合；利用融合后圖像提供疑似異物信息，利用所述疑似異物信息對(duì)所述疑似異物進(jìn)行特征提取與分類，實(shí)現(xiàn)所述疑似異物的自動(dòng)識(shí)別與報(bào)警。進(jìn)一步地，所述的使激光光源與可見光相機(jī)聚焦到所述監(jiān)測(cè)范圍內(nèi)的所述疑似異物上的步驟包括：a)獲取所述疑似異物的像點(diǎn)；b)利用安裝好的所述紅外相機(jī)的固定的角度、焦距及所述紅外相機(jī)的相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系，以及在由所述紅外相機(jī)獲得的圖像中所述疑似異物的像素點(diǎn)位置，來計(jì)算出所述疑似異物在世界坐標(biāo)系下的實(shí)際空間中的方位角；c)利用計(jì)算出的所述疑似異物在世界坐標(biāo)系下的實(shí)際空間中的方位角，以及所述激光光源與所述可見光相機(jī)相對(duì)于所述紅外相機(jī)的相對(duì)位置和相對(duì)姿態(tài)，來確定所述激光光源與可見光相機(jī)的旋轉(zhuǎn)角度和俯仰角度；d)所述激光光源和所述可見光相機(jī)根據(jù)所述旋轉(zhuǎn)角度和俯仰角度進(jìn)行旋轉(zhuǎn)和俯仰動(dòng)作，以使所述激光光源和所述可見光相機(jī)聚焦到所述疑似異物上。進(jìn)一步地，所述的利用所述疑似異物信息對(duì)所述疑似異物進(jìn)行特征提取與分類的步驟包括：利用圖像提供所述疑似異物的輪廓、紋理、溫度、色彩的信息，基于所述輪廓、紋理、溫度、色彩的信息，提取所述疑似異物的特征并對(duì)所述特征進(jìn)行分類。進(jìn)一步地，所述的確定在所述紅外相機(jī)的監(jiān)測(cè)范圍內(nèi)是否出現(xiàn)疑似異物的步驟包括：a)基于多幀幀差法的背景提?。豪盟鰣D像采集處理系統(tǒng)從所述紅外圖像中提取背景，采用多幀幀差圖像累計(jì)來獲取所述背景，所述多幀幀差圖像累計(jì)的步驟包括：1.利用視頻進(jìn)行逐幀差分，通過差分值與固定閾值比較，差分值小于閾值的像素點(diǎn)位置對(duì)應(yīng)的是背景區(qū)域，大于閾值的像素點(diǎn)位置對(duì)應(yīng)的是前景目標(biāo)區(qū)域；2.根據(jù)得到的背景區(qū)域與前景目標(biāo)區(qū)域，對(duì)輸入圖像的像素點(diǎn)狀態(tài)進(jìn)行標(biāo)記，所述前景目標(biāo)區(qū)域中的像素點(diǎn)判定為前景像素點(diǎn)，不參與背景計(jì)算；所述背景區(qū)域中的像素點(diǎn)判定為背景像素點(diǎn)，參與背景計(jì)算；3.取100幀連續(xù)圖像幀，利用前面方法區(qū)分每幅圖像內(nèi)的背景與前景像素，引入一個(gè)累加器，初始值為0，對(duì)于所有幀圖像同一位置的各像素點(diǎn)計(jì)數(shù)，判定為前景像素點(diǎn)時(shí)累加器值不變，判定為背景像素點(diǎn)時(shí)累加器值加1，最后利用累加得到的圖像灰度累加值除以對(duì)應(yīng)的累加器值得到當(dāng)前的初始背景，所述初始背景即為所提取的背景；b)基于背景差分的異物提取：對(duì)視頻序列中的每幀圖像采用背景差分法來提取所述疑似異物。進(jìn)一步地，所述背景差分法包括：設(shè)t時(shí)刻的背景圖像為fb(x,y,t)，當(dāng)前幀圖像為fc(x,y,t)，則背景差分圖像為fd(x,y,t)＝fc(x,y,t)-fb(x,y,t)，使用合適的閾值t，對(duì)背景差分圖像fd(x,y,t)進(jìn)行二值化處理，得到疑似異物的二值前景圖，即圖像中的疑似異物目標(biāo)區(qū)域。進(jìn)一步地，所述圖像配準(zhǔn)的步驟包括：利用所述紅外圖像與所述可見光圖像的局部不變特征，進(jìn)行所述紅外圖像與所述可見光圖像的配準(zhǔn)，所述局部不變特征是指圖像在幾何變化、光照變化、噪聲干擾時(shí)仍保持穩(wěn)定性的特征。圖像配準(zhǔn)的步驟還包括：①基于surf的特征點(diǎn)提取與初匹配：利用surf對(duì)所述紅外圖像與所述可見光圖像進(jìn)行特征點(diǎn)檢測(cè)與描述，然后利用歐式距離基于最近鄰與次近鄰之比進(jìn)行初始特征點(diǎn)對(duì)匹配；②誤匹配點(diǎn)對(duì)剔除：采用三級(jí)遞進(jìn)的方法進(jìn)行誤匹配點(diǎn)對(duì)剔除，其中，首先根據(jù)相機(jī)安裝方式建立圖像的相關(guān)幾何約束條件進(jìn)行篩選；然后利用相似三角形匹配原則進(jìn)一步剔除；最后，基于ransac實(shí)現(xiàn)精匹配；③基于多幀圖像序列匹配點(diǎn)對(duì)累積的幾何變換模型求解：由于單幀紅外與可見光圖像的正確匹配點(diǎn)對(duì)數(shù)目較少，當(dāng)少于4個(gè)點(diǎn)對(duì)時(shí)不足以求解出變換模型參數(shù)；即使匹配點(diǎn)對(duì)數(shù)目滿足計(jì)算要求，也會(huì)由于特征點(diǎn)分布不均勻?qū)е虑蟪龅膸缀巫儞Q模型出現(xiàn)偏差，基于多幀圖像序列累積足夠多的正確匹配點(diǎn)對(duì)通過最小二乘法進(jìn)行幾何變換模型求解能夠解決上述問題；④將求出的幾何變換模型應(yīng)用到可見光圖像上，然后進(jìn)行雙線性插值，完成紅外與可見光圖像的配準(zhǔn)?；诰植坎蛔兲卣鞯膱D像配準(zhǔn)方法主要包括：sift、surf和mser，這些算法具有良好的抗尺度縮放、角度旋轉(zhuǎn)、視點(diǎn)變化和局部形變的能力，根據(jù)本發(fā)明的裝置主要根據(jù)上述算法來進(jìn)行圖像的特征提取與匹配，并在該算法的基礎(chǔ)上進(jìn)行改進(jìn)與優(yōu)化，配準(zhǔn)完成后再進(jìn)行圖像融合。圖像配準(zhǔn)是將不同傳感器、不同時(shí)相、不同角度所獲得的兩幅或多幅圖像變換到同一坐標(biāo)系下的過程，是圖像融合的必要前提。目前在紅外與可見光圖像配準(zhǔn)方向，國(guó)內(nèi)外都還沒有特別成熟的算法。本發(fā)明人注意到這主要是因?yàn)榧t外與可見光圖像處于不同的波段，圖像之間的相關(guān)性較小，不同的傳感器圖像具有不同的非線性畸變。因此，利用基于灰度的配準(zhǔn)方法很難達(dá)到精確的配準(zhǔn)要求。而基于特征的配準(zhǔn)方法常常提取各類圖像中共同的顯著特征(如邊緣點(diǎn)、閉區(qū)域的中心等)作為兩幅圖像配準(zhǔn)的參考信息，然后建立兩幅圖像特征之間的對(duì)應(yīng)關(guān)系來進(jìn)行特征匹配。但是，由于紅外圖像分辨率較低且邊緣模糊，導(dǎo)致紅外和可見光圖像的共性特征難以獲取，若采用一般的基于特征的配準(zhǔn)方法容易造成誤匹配。進(jìn)一步地，利用基于局部能量的contourlet變換圖像融合方法實(shí)現(xiàn)所述紅外圖像與所述變換后的可見光圖像的融合，所述圖像融合的步驟包括：①對(duì)紅外圖像和配準(zhǔn)后的可見光圖像分別進(jìn)行多尺度和多方向的contourlet變換；得到變換后的高頻系數(shù)和低頻系數(shù)；②通過對(duì)contourlet變換后的系數(shù)進(jìn)行分析來確定融合規(guī)則：綜合考慮紅外圖像的性質(zhì)及算法運(yùn)行時(shí)間，分別對(duì)低頻系數(shù)和高頻系數(shù)采用加權(quán)平均和基于局部能量的融合規(guī)則；③將融合后的contourlet系數(shù)進(jìn)行逆變換，得到融合圖像。本發(fā)明人提出改進(jìn)的基于surf特征匹配方法來進(jìn)行圖像配準(zhǔn)，由于紅外圖像和可見光圖像成像原理不同，先對(duì)紅外圖像做預(yù)處理，然后進(jìn)行特征點(diǎn)提取檢測(cè)及匹配，引入最近鄰與次近鄰之比實(shí)現(xiàn)初步特征點(diǎn)對(duì)匹配，然后結(jié)合幾何約束條件對(duì)同名點(diǎn)進(jìn)行篩選，再利用相似三角形匹配原則對(duì)同名點(diǎn)進(jìn)行剔除，最后利用ransac實(shí)現(xiàn)精匹配，保證最終匹配點(diǎn)對(duì)準(zhǔn)確率的穩(wěn)定性。在求解幾何變換矩陣的過程中，利用多幀圖像的匹配點(diǎn)對(duì)形成集合，以增加求解幾何變換矩陣的準(zhǔn)確性，最后用最小二乘法求解，并用雙線性插值實(shí)現(xiàn)圖像的配準(zhǔn)。為了增強(qiáng)鐵路場(chǎng)景下目標(biāo)圖像的清晰度和可理解性，本發(fā)明人對(duì)配準(zhǔn)后的圖像進(jìn)行像素級(jí)圖像融合，增強(qiáng)了融合圖像的可視化并突出了目標(biāo)內(nèi)容。根據(jù)本發(fā)明的另一方面，提出了一種異物侵入檢測(cè)裝置，所述裝置包括：紅外相機(jī)、圖像采集處理系統(tǒng)、激光光源與可見光相機(jī)，紅外與可見光相機(jī)安裝時(shí)緊密相鄰，能夠平行安裝也能夠上下疊放，確保其光心盡量接近；激光光源波段包含在可見光相機(jī)敏感波段內(nèi)，但不包含在紅外相機(jī)敏感波段內(nèi)，其中，紅外相機(jī)，其配置成獲取監(jiān)測(cè)范圍內(nèi)的紅外圖像；圖像采集處理系統(tǒng)，其與所述紅外相機(jī)連接并且配置成接收來自所述紅外相機(jī)的所述紅外圖像并且根據(jù)所述紅外圖像來確定在所述紅外相機(jī)的監(jiān)測(cè)范圍內(nèi)是否出現(xiàn)疑似異物；激光光源，其配置成在出現(xiàn)所述疑似異物的情況下，聚焦到所述監(jiān)測(cè)范圍內(nèi)的所述疑似異物上并對(duì)所述疑似異物進(jìn)行激光補(bǔ)光；可見光相機(jī)，其設(shè)置為與所述激光光源聯(lián)動(dòng)并且與所述圖像采集處理系統(tǒng)連接，并且配置成獲取所述疑似異物的可見光圖像并將所述可見光圖像傳輸至所述圖像采集處理系統(tǒng)；其中，所述圖像采集處理系統(tǒng)還配置成將所述可見光圖像與所述紅外圖像中的疑似異物區(qū)域圖像進(jìn)行圖像配準(zhǔn)與融合；利用融合后圖像提供疑似異物信息，利用所述疑似異物信息對(duì)所述疑似異物進(jìn)行特征提取與分類，實(shí)現(xiàn)所述疑似異物的自動(dòng)識(shí)別與報(bào)警。進(jìn)一步地，所述圖像采集處理系統(tǒng)配置成：a)獲取所述疑似異物的像點(diǎn)；b)計(jì)算所述疑似異物在世界坐標(biāo)系下的實(shí)際空間中的方位角；c)利用計(jì)算出的方位角以及所述激光光源與所述可見光相機(jī)相對(duì)于所述紅外相機(jī)的相對(duì)位置和相對(duì)姿態(tài)，確定所述激光光源與可見光相機(jī)的旋轉(zhuǎn)角度和俯仰角度；所述激光光源和所述可見光相機(jī)配置成根據(jù)所述旋轉(zhuǎn)角度和俯仰角度進(jìn)行旋轉(zhuǎn)和俯仰動(dòng)作，聚焦到所述疑似異物上。進(jìn)一步地，所述圖像采集處理系統(tǒng)配置成從所述紅外圖像中提取背景和提取所述疑似異物：a)基于多幀幀差法的背景提?。豪盟鰣D像采集處理系統(tǒng)從所述紅外圖像中提取背景，采用多幀幀差圖像累計(jì)來獲取所述背景，所述多幀幀差圖像累計(jì)的步驟包括：1.利用視頻進(jìn)行逐幀差分，通過差分值與固定閾值比較，差分值小于閾值的像素點(diǎn)位置對(duì)應(yīng)的是背景區(qū)域，大于閾值的像素點(diǎn)位置對(duì)應(yīng)的是前景目標(biāo)區(qū)域；2.根據(jù)得到的背景區(qū)域與前景目標(biāo)區(qū)域，對(duì)輸入圖像的像素點(diǎn)狀態(tài)進(jìn)行標(biāo)記，所述前景目標(biāo)區(qū)域中的像素點(diǎn)判定為前景像素點(diǎn)，不參與背景計(jì)算；所述背景區(qū)域中的像素點(diǎn)判定為背景像素點(diǎn)，參與背景計(jì)算；3.取100幀連續(xù)圖像幀，利用前面方法區(qū)分每幅圖像內(nèi)的背景與前景像素，引入一個(gè)累加器，初始值為0，對(duì)于所有幀圖像同一位置的各像素點(diǎn)計(jì)數(shù)，判定為前景像素點(diǎn)時(shí)累加器值不變，判定為背景像素點(diǎn)時(shí)累加器值加1，最后利用累加得到的圖像灰度累加值除以對(duì)應(yīng)的累加器值得到當(dāng)前的初始背景，所述初始背景即為所提取的背景；b)基于背景差分的異物提取：對(duì)視頻序列中的每幀圖像采用背景差分法來提取所述疑似異物。進(jìn)一步地，所述背景差分法包括：設(shè)t時(shí)刻的背景圖像為fb(x,y,t)，當(dāng)前幀圖像為fc(x,y,t)，則背景差分圖像為fd(x,y,t)＝fc(x,y,t)-fb(x,y,t)，使用合適的閾值t，對(duì)背景差分圖像fd(x,y,t)進(jìn)行二值化處理，得到疑似異物的二值前景圖，即圖像中的疑似異物目標(biāo)區(qū)域。進(jìn)一步地，所述圖像采集處理系統(tǒng)配置成以如下步驟將所述可見光圖像與所述紅外圖像中的疑似異物區(qū)域圖像進(jìn)行圖像配準(zhǔn)：利用所述紅外圖像與所述可見光圖像的局部不變特征，進(jìn)行所述紅外圖像與所述可見光圖像的配準(zhǔn)，所述局部不變特征是指圖像在幾何變化、光照變化、噪聲干擾時(shí)仍保持穩(wěn)定性的特征，圖像配準(zhǔn)的步驟包括：①基于surf的特征點(diǎn)提取與初匹配：利用surf對(duì)所述紅外圖像與所述可見光圖像進(jìn)行特征點(diǎn)檢測(cè)與描述，然后利用歐式距離基于最近鄰與次近鄰之比進(jìn)行初始特征點(diǎn)對(duì)匹配；②誤匹配點(diǎn)對(duì)剔除：采用三級(jí)遞進(jìn)的方法進(jìn)行誤匹配點(diǎn)對(duì)剔除，其中，首先根據(jù)相機(jī)安裝方式建立圖像的相關(guān)幾何約束條件進(jìn)行篩選；然后利用相似三角形匹配原則進(jìn)一步剔除；最后，基于ransac實(shí)現(xiàn)精匹配；③基于多幀圖像序列匹配點(diǎn)對(duì)累積的幾何變換模型求解：由于單幀紅外與可見光圖像的正確匹配點(diǎn)對(duì)數(shù)目較少，當(dāng)少于4個(gè)點(diǎn)對(duì)時(shí)不足以求解出變換模型參數(shù)；即使匹配點(diǎn)對(duì)數(shù)目滿足計(jì)算要求，也會(huì)由于特征點(diǎn)分布不均勻?qū)е虑蟪龅膸缀巫儞Q模型出現(xiàn)偏差，基于多幀圖像序列累積足夠多的正確匹配點(diǎn)對(duì)通過最小二乘法進(jìn)行幾何變換模型求解能夠解決上述問題；④將求出的幾何變換模型應(yīng)用到可見光圖像上，然后進(jìn)行雙線性插值，完成紅外與可見光圖像的配準(zhǔn)。進(jìn)一步地，所述圖像采集處理系統(tǒng)配置成利用基于局部能量的contourlet變換圖像融合方法實(shí)現(xiàn)所述紅外圖像與所述變換后的可見光圖像的融合，所述圖像融合的步驟包括：①對(duì)紅外圖像和配準(zhǔn)后的可見光圖像分別進(jìn)行多尺度和多方向的contourlet變換；得到變換后的高頻系數(shù)和低頻系數(shù)；②通過對(duì)contourlet變換后的系數(shù)進(jìn)行分析來確定融合規(guī)則：綜合考慮紅外圖像的性質(zhì)及算法運(yùn)行時(shí)間，分別對(duì)低頻系數(shù)和高頻系數(shù)采用加權(quán)平均和基于局部能量的融合規(guī)則；③將融合后的contourlet系數(shù)進(jìn)行逆變換，得到融合圖像。使用根據(jù)本發(fā)明的裝置和方法，不論白天、黑夜，還是在光線很暗、煙云密布、能見度低的惡劣環(huán)境下，均能夠獲得豐富完整的圖像信息。使用根據(jù)本發(fā)明的裝置和方法獲得了清晰度更高且更具理解性的圖像，其中不僅能獲得異物目標(biāo)的溫度信息，還能得到豐富的樣貌、輪廓、色彩等信息，從而在解決了夜間及惡劣天氣條件下異物檢測(cè)與識(shí)別的困難的基礎(chǔ)上，還能夠確定疑似異物目標(biāo)的種類，提高異物報(bào)警準(zhǔn)確率，提高了系統(tǒng)的識(shí)別精度，增強(qiáng)了系統(tǒng)的可靠性與安全性。根據(jù)本發(fā)明的異物侵入檢測(cè)裝置的特點(diǎn)在于：紅外相機(jī)和激光光源與可見光一體相機(jī)緊密相鄰安裝在同一個(gè)機(jī)箱上，可以平行安裝和上下疊放，安裝完成后，相互之間的位置關(guān)系是固定的；由于紅外相機(jī)用于進(jìn)行大場(chǎng)景下的視頻監(jiān)測(cè)，所以紅外相機(jī)安裝好后其姿態(tài)就是固定值，而利用其固定的角度和焦距以及像點(diǎn)坐標(biāo)可以計(jì)算某個(gè)目標(biāo)的在實(shí)際空間中的方位角；激光光源與可見光一體相機(jī)可以安裝在能夠精確控制旋轉(zhuǎn)及俯仰角的云臺(tái)上，其相對(duì)紅外相機(jī)的初始位置和姿態(tài)通過事先標(biāo)定確定；當(dāng)從紅外相機(jī)獲取的視頻圖像中得到疑似異物目標(biāo)在實(shí)際場(chǎng)景中的方位角后，可以通過調(diào)整云臺(tái)進(jìn)行旋轉(zhuǎn)和俯仰運(yùn)動(dòng)，將激光光源鎖定在疑似異物目標(biāo)上并通過可見光相機(jī)獲取該疑似異物目標(biāo)的視頻圖像。通過可見光與紅外圖像融合來顯示疑似異物目標(biāo)豐富的輪廓、紋理、溫度、色彩等信息，有利于對(duì)疑似異物目標(biāo)的分類與識(shí)別，提高報(bào)警準(zhǔn)確率。整個(gè)系統(tǒng)實(shí)現(xiàn)異物侵入檢測(cè)的工作過程如下：由紅外相機(jī)獲得的大場(chǎng)景下的視頻圖像來進(jìn)行全天候的異物檢測(cè)，圖像采集處理系統(tǒng)將利用紅外視頻圖像通過疑似異物目標(biāo)檢測(cè)算法來檢測(cè)疑似異物目標(biāo)，獲取所述疑似異物的像點(diǎn)；一旦檢測(cè)出疑似異物目標(biāo)，利用安裝好的所述紅外相機(jī)的固定的角度、焦距及所述紅外相機(jī)的相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系，以及在由所述紅外相機(jī)獲得的圖像中所述疑似異物的像素點(diǎn)位置，來計(jì)算出所述疑似異物在世界坐標(biāo)系下的方位角；利用計(jì)算出的所述疑似異物在世界坐標(biāo)系下的方位角，以及所述激光光源與所述可見光相機(jī)相對(duì)于所述紅外相機(jī)的相對(duì)位置和相對(duì)姿態(tài)，來確定所述激光光源與可見光相機(jī)的旋轉(zhuǎn)角度和俯仰角度；所述激光光源和所述可見光相機(jī)根據(jù)所述旋轉(zhuǎn)角度和俯仰角度進(jìn)行旋轉(zhuǎn)和俯仰動(dòng)作，以使所述激光光源和所述可見光相機(jī)聚焦到所述疑似異物上，進(jìn)行視頻圖像的采集；得到存在疑似異物目標(biāo)的可見光圖像后，將其與大場(chǎng)景下的紅外圖像中的疑似異物目標(biāo)區(qū)域圖像進(jìn)行圖像配準(zhǔn)與融合，利用融合后的目標(biāo)信息對(duì)疑似異物目標(biāo)進(jìn)行特征提取與分類，來實(shí)現(xiàn)異物目標(biāo)的自動(dòng)識(shí)別與報(bào)警。本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。附圖說明為了更清楚地說明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施方式，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1示出本發(fā)明的一種實(shí)施例中紅外相機(jī)和激光光源與可見光一體相機(jī)的位置結(jié)構(gòu)圖。圖2示出本發(fā)明的一種實(shí)施例中載有激光光源與可見光一體相機(jī)的云臺(tái)的示意圖。圖3示出本發(fā)明的一種實(shí)施例中相機(jī)視場(chǎng)的示意圖。圖4示出本發(fā)明的另一種實(shí)施例中相機(jī)成像模型的示意圖。圖5(a)示出本發(fā)明的一種實(shí)施例中相機(jī)獲得的紅外圖像的示例。圖5(b)示出本發(fā)明的一種實(shí)施例中相機(jī)獲得的可見光圖像的示例。圖6示出根據(jù)本發(fā)明的紅外圖像與可見光圖像序列配準(zhǔn)系統(tǒng)的流程圖。圖7(a)示出sift特征點(diǎn)檢測(cè)結(jié)果，圖7(b)示出surf特征點(diǎn)檢測(cè)結(jié)果，圖7(c)示出mser特征點(diǎn)檢測(cè)結(jié)果。圖8(a)示出surf特征點(diǎn)檢測(cè)結(jié)果，圖8(b)示出surf候選特征匹配點(diǎn)對(duì)結(jié)果，圖8(c)示出幾何約束條件匹配點(diǎn)對(duì)篩選結(jié)果，圖8(d)示出基于結(jié)構(gòu)相似度理論誤匹配點(diǎn)對(duì)剔除結(jié)果，圖8(e)示出ransac精匹配結(jié)果。圖9示出基于contourlet變換的圖像融合框架。圖10(a)示出紅外源圖像，圖10(b)示出可見光源圖像，圖10(c)示出基于灰度加權(quán)平均的圖像融合結(jié)果，以及圖10(d)示出基于contourlet變換的圖像融合結(jié)果。具體實(shí)施方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。根據(jù)本發(fā)明的異物侵入檢測(cè)裝置包括：紅外相機(jī)1、圖像采集處理系統(tǒng)、激光光源和可見光相機(jī)2。參照?qǐng)D1，圖1示出本發(fā)明的一種實(shí)施例中紅外相機(jī)1和激光光源與可見光一體相機(jī)2的位置結(jié)構(gòu)圖，其中，將激光光源與可見光一體相機(jī)2和紅外相機(jī)1可以置于同一高度，也可以平行安裝在機(jī)箱4上。參照?qǐng)D2，圖2示出本發(fā)明的一種實(shí)施例中載有激光光源與可見光一體相機(jī)2的云臺(tái)3的示意圖，其中，云臺(tái)3包括俯仰機(jī)構(gòu)31和旋轉(zhuǎn)機(jī)構(gòu)32，云臺(tái)3能夠利用步進(jìn)電機(jī)(或其他機(jī)電控制元件)精確控制激光光源與可見光一體相機(jī)的旋轉(zhuǎn)和俯仰。紅外相機(jī)1用于獲取大場(chǎng)景的紅外圖像，激光光源與可見光一體相機(jī)2則用于對(duì)疑似異物目標(biāo)進(jìn)行激光補(bǔ)光并聚焦疑似異物目標(biāo)來獲取可見光圖像。參照?qǐng)D3，圖3示出本發(fā)明的一種實(shí)施例中相機(jī)視場(chǎng)的示意圖，其中根據(jù)本發(fā)明的異物侵入檢測(cè)裝置可以安裝在橫跨鐵路上方的接觸網(wǎng)桿或線路一側(cè)的立柱上。如圖3所示，紅外相機(jī)1用來獲取大場(chǎng)景下的視頻圖像，其視野范圍為a1-a2，而激光光源與可見光一體相機(jī)2則用來獲取具有疑似異物目標(biāo)的場(chǎng)景圖像，其中激光光源起到補(bǔ)光的作用，尤其針對(duì)夜晚及惡劣天氣條件，其視野范圍為b1-b2。參照?qǐng)D1至圖3，根據(jù)本發(fā)明的一個(gè)實(shí)施例，異物侵入檢測(cè)裝置包括：紅外相機(jī)1、圖像采集處理系統(tǒng)、激光光源22與可見光相機(jī)21，紅外與可見光相機(jī)安裝時(shí)緊密相鄰，能夠平行安裝也能夠上下疊放，確保其光心盡量接近；激光光源波段包含在可見光相機(jī)敏感波段內(nèi)，但不包含在紅外相機(jī)敏感波段內(nèi)，其中，紅外相機(jī)1，其配置成獲取監(jiān)測(cè)范圍內(nèi)的紅外圖像；圖像采集處理系統(tǒng)，其與所述紅外相機(jī)1連接并且配置成接收來自所述紅外相機(jī)1的所述紅外圖像并且根據(jù)所述紅外圖像來確定在所述紅外相機(jī)1的監(jiān)測(cè)范圍內(nèi)是否出現(xiàn)疑似異物；激光光源22，其配置成在出現(xiàn)所述疑似異物的情況下，聚焦到所述監(jiān)測(cè)范圍內(nèi)的所述疑似異物上并對(duì)所述疑似異物進(jìn)行激光補(bǔ)光；可見光相機(jī)21，其設(shè)置為與所述激光光源22聯(lián)動(dòng)并且與所述圖像采集處理系統(tǒng)連接，并且配置成獲取所述疑似異物的可見光圖像并將所述可見光圖像傳輸至所述圖像采集處理系統(tǒng)；其中，所述圖像采集處理系統(tǒng)還配置成將所述可見光圖像與所述紅外圖像中的疑似異物區(qū)域圖像進(jìn)行圖像配準(zhǔn)與融合；利用融合后圖像提供疑似異物信息，利用所述疑似異物信息對(duì)所述疑似異物進(jìn)行特征提取與分類，實(shí)現(xiàn)所述疑似異物的自動(dòng)識(shí)別與報(bào)警。優(yōu)選地，所述圖像采集處理系統(tǒng)配置成：a)獲取所述疑似異物的像點(diǎn)；b)計(jì)算所述疑似異物在世界坐標(biāo)系下的實(shí)際空間中的方位角；c)利用計(jì)算出的所述位置和方位角以及所述激光光源與所述可見光相機(jī)相對(duì)于所述紅外相機(jī)的相對(duì)位置和相對(duì)姿態(tài)，確定所述激光光源22與可見光相機(jī)21的旋轉(zhuǎn)角度和俯仰角度；所述激光光源22和所述可見光相機(jī)21配置成根據(jù)所述旋轉(zhuǎn)角度和俯仰角度進(jìn)行旋轉(zhuǎn)和俯仰動(dòng)作，聚焦到所述疑似異物上。圖像采集處理系統(tǒng)負(fù)責(zé)采集紅外相機(jī)的圖像并進(jìn)行異物檢測(cè)，可以分為背景提取與更新和異物目標(biāo)提取兩步。其中背景提取與更新方法采用多幀幀差圖像累計(jì)來獲取背景。優(yōu)選地，所述圖像采集處理系統(tǒng)配置成從所述紅外圖像中提取背景和提取所述疑似異物：a)基于多幀幀差法的背景提?。豪盟鰣D像采集處理系統(tǒng)從所述紅外圖像中提取背景，采用多幀幀差圖像累計(jì)來獲取所述背景，所述多幀幀差圖像累計(jì)的步驟包括：1.利用視頻進(jìn)行逐幀差分，通過差分值與固定閾值比較，差分值小于閾值的像素點(diǎn)位置對(duì)應(yīng)的是背景區(qū)域，大于閾值的像素點(diǎn)位置對(duì)應(yīng)的是前景目標(biāo)區(qū)域；2.根據(jù)得到的背景區(qū)域與前景目標(biāo)區(qū)域，對(duì)輸入圖像的像素點(diǎn)狀態(tài)進(jìn)行標(biāo)記，所述前景目標(biāo)區(qū)域中的像素點(diǎn)判定為前景像素點(diǎn)，不參與背景計(jì)算；所述背景區(qū)域中的像素點(diǎn)判定為背景像素點(diǎn)，參與背景計(jì)算；3.取100幀連續(xù)圖像幀，利用前面方法區(qū)分每幅圖像內(nèi)的背景與前景像素，引入一個(gè)累加器，初始值為0，對(duì)于所有幀圖像同一位置的各像素點(diǎn)計(jì)數(shù)，判定為前景像素點(diǎn)時(shí)累加器值不變，判定為背景像素點(diǎn)時(shí)累加器值加1，最后利用累加得到的圖像灰度累加值除以對(duì)應(yīng)的累加器值得到當(dāng)前的初始背景，所述初始背景即為所提取的背景；b)基于背景差分的異物提?。簩?duì)視頻序列中的每幀圖像采用背景差分法來提取所述疑似異物。這樣得到的背景穩(wěn)定可靠，而且有效消除了日光光照等緩慢變化因素的影響，為異物的提取及判斷建立良好基礎(chǔ)。異物目標(biāo)檢測(cè)采用背景差分法。背景差分法是利用當(dāng)前幀圖像與背景圖像相減來檢測(cè)出異物目標(biāo)。在一幀含有目標(biāo)或異物的圖像中，目標(biāo)對(duì)應(yīng)位置的區(qū)域與背景圖像對(duì)應(yīng)位置的像素值相差較大，其他地方屬于背景區(qū)域，相差很小。優(yōu)選地，所述背景差分法包括：設(shè)t時(shí)刻的背景圖像為fb(x,y,t)，當(dāng)前幀圖像為fc(x,y,t)，則背景差分圖像為fd(x,y,t)＝fc(x,y,t)-fb(x,y,t)用合適的閾值t，對(duì)背景差分圖像fd(x,y,t)進(jìn)行二值化處理，就得到疑似異物的二值前景圖，即圖像中的疑似異物目標(biāo)區(qū)域。優(yōu)選地，所述圖像采集處理系統(tǒng)配置成以如下步驟將所述可見光圖像與所述紅外圖像中的疑似異物區(qū)域圖像進(jìn)行圖像配準(zhǔn)：利用所述紅外圖像與所述可見光圖像的局部不變特征，進(jìn)行所述紅外圖像與所述可見光圖像的配準(zhǔn)，所述局部不變特征是指圖像在幾何變化、光照變化、噪聲干擾時(shí)仍保持穩(wěn)定性的特征，圖像配準(zhǔn)的步驟包括：①基于surf的特征點(diǎn)提取與初匹配：利用surf對(duì)所述紅外圖像與所述可見光圖像進(jìn)行特征點(diǎn)檢測(cè)與描述，然后利用歐式距離基于最近鄰與次近鄰之比進(jìn)行初始特征點(diǎn)對(duì)匹配；②誤匹配點(diǎn)對(duì)剔除：采用三級(jí)遞進(jìn)的方法進(jìn)行誤匹配點(diǎn)對(duì)剔除，其中，首先根據(jù)相機(jī)安裝方式建立圖像的相關(guān)幾何約束條件進(jìn)行篩選；然后利用相似三角形匹配原則進(jìn)一步剔除；最后，基于ransac實(shí)現(xiàn)精匹配；③基于多幀圖像序列匹配點(diǎn)對(duì)累積的幾何變換模型求解：由于單幀紅外與可見光圖像的正確匹配點(diǎn)對(duì)數(shù)目較少，當(dāng)少于4個(gè)點(diǎn)對(duì)時(shí)不足以求解出變換模型參數(shù)；即使匹配點(diǎn)對(duì)數(shù)目滿足計(jì)算要求，也會(huì)由于特征點(diǎn)分布不均勻?qū)е虑蟪龅膸缀巫儞Q模型出現(xiàn)偏差，基于多幀圖像序列累積足夠多的正確匹配點(diǎn)對(duì)通過最小二乘法進(jìn)行幾何變換模型求解能夠解決上述問題；④將求出的幾何變換模型應(yīng)用到可見光圖像上，然后進(jìn)行雙線性插值，完成紅外與可見光圖像的配準(zhǔn)。優(yōu)選地，所述圖像采集處理系統(tǒng)配置成利用基于局部能量的contourlet變換圖像融合方法實(shí)現(xiàn)所述紅外圖像與所述變換后的可見光圖像的融合，所述圖像融合的步驟包括：①對(duì)紅外圖像和配準(zhǔn)后的可見光圖像分別進(jìn)行多尺度和多方向的contourlet變換；得到變換后的高頻系數(shù)和低頻系數(shù)；②通過對(duì)contourlet變換后的系數(shù)進(jìn)行分析來確定融合規(guī)則：綜合考慮紅外圖像的性質(zhì)及算法運(yùn)行時(shí)間，分別對(duì)低頻系數(shù)和高頻系數(shù)采用加權(quán)平均和基于局部能量的融合規(guī)則；③將融合后的contourlet系數(shù)進(jìn)行逆變換，得到融合圖像。根據(jù)本發(fā)明的一個(gè)方面，提供了一種異物侵入檢測(cè)方法，所述方法包括如下步驟：利用紅外相機(jī)獲取監(jiān)測(cè)范圍內(nèi)的紅外圖像并將其傳輸至圖像采集處理系統(tǒng)；所述圖像采集處理系統(tǒng)根據(jù)所述紅外圖像來確定在所述紅外相機(jī)的監(jiān)測(cè)范圍內(nèi)是否出現(xiàn)疑似異物；在出現(xiàn)疑似異物的情況下，使激光光源與可見光相機(jī)聚焦到所述監(jiān)測(cè)范圍內(nèi)的所述疑似異物上并利用所述激光光源對(duì)所述疑似異物進(jìn)行激光補(bǔ)光；獲取所述疑似異物的可見光圖像并將其傳輸至所述圖像采集處理系統(tǒng)；所述圖像采集處理系統(tǒng)將所述可見光圖像與所述紅外圖像中的疑似異物區(qū)域圖像進(jìn)行圖像配準(zhǔn)與融合；利用融合后圖像提供疑似異物信息，利用所述疑似異物信息對(duì)所述疑似異物進(jìn)行特征提取與分類，實(shí)現(xiàn)所述疑似異物的自動(dòng)識(shí)別與報(bào)警。優(yōu)選地，所述的使激光光源與可見光相機(jī)聚焦到所述監(jiān)測(cè)范圍內(nèi)的所述疑似異物上的步驟包括：a)獲取所述疑似異物的像點(diǎn)；b)利用安裝好的所述紅外相機(jī)的固定的角度、焦距及所述紅外相機(jī)的相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系，以及在由所述紅外相機(jī)獲得的圖像中所述疑似異物的像素點(diǎn)位置，來計(jì)算出所述疑似異物在世界坐標(biāo)系下的實(shí)際空間中的方位角；c)利用計(jì)算出的所述疑似異物在世界坐標(biāo)系下的實(shí)際空間中的方位角，以及所述激光光源與所述可見光相機(jī)相對(duì)于所述紅外相機(jī)的相對(duì)位置和相對(duì)姿態(tài)，來確定所述激光光源與可見光相機(jī)的旋轉(zhuǎn)角度和俯仰角度；d)所述激光光源和所述可見光相機(jī)根據(jù)所述旋轉(zhuǎn)角度和俯仰角度進(jìn)行旋轉(zhuǎn)和俯仰動(dòng)作，以使所述激光光源和所述可見光相機(jī)聚焦到所述疑似異物上。優(yōu)選地，所述的利用所述疑似異物信息對(duì)所述疑似異物進(jìn)行特征提取與分類的步驟包括：利用圖像提供所述疑似異物的輪廓、紋理、溫度、色彩的信息，基于所述輪廓、紋理、溫度、色彩的信息，提取所述疑似異物的特征并對(duì)所述特征進(jìn)行分類。優(yōu)選地，所述的確定在所述紅外相機(jī)的監(jiān)測(cè)范圍內(nèi)是否出現(xiàn)疑似異物的步驟包括：a)基于多幀幀差法的背景提?。豪盟鰣D像采集處理系統(tǒng)從所述紅外圖像中提取背景，采用多幀幀差圖像累計(jì)來獲取所述背景，所述多幀幀差圖像累計(jì)的步驟包括：1.利用視頻進(jìn)行逐幀差分，通過差分值與固定閾值比較，差分值小于閾值的像素點(diǎn)位置對(duì)應(yīng)的是背景區(qū)域，大于閾值的像素點(diǎn)位置對(duì)應(yīng)的是前景目標(biāo)區(qū)域；2.根據(jù)得到的背景區(qū)域與前景目標(biāo)區(qū)域，對(duì)輸入圖像的像素點(diǎn)狀態(tài)進(jìn)行標(biāo)記，所述前景目標(biāo)區(qū)域中的像素點(diǎn)判定為前景像素點(diǎn)，不參與背景計(jì)算；所述背景區(qū)域中的像素點(diǎn)判定為背景像素點(diǎn)，參與背景計(jì)算；3.取100幀連續(xù)圖像幀，利用前面方法區(qū)分每幅圖像內(nèi)的背景與前景像素，引入一個(gè)累加器，初始值為0，對(duì)于所有幀圖像同一位置的各像素點(diǎn)計(jì)數(shù)，判定為前景像素點(diǎn)時(shí)累加器值不變，判定為背景像素點(diǎn)時(shí)累加器值加1，最后利用累加得到的圖像灰度累加值除以對(duì)應(yīng)的累加器值得到當(dāng)前的初始背景，所述初始背景即為所提取的背景；b)基于背景差分的異物提?。簩?duì)視頻序列中的每幀圖像采用背景差分法來提取所述疑似異物。優(yōu)選地，所述背景差分法包括：設(shè)t時(shí)刻的背景圖像為fb(x,y,t)，當(dāng)前幀圖像為fc(x,y,t)，則背景差分圖像為fd(x,y,t)＝fc(x,y,t)-fb(x,y,t)，使用合適的閾值t，對(duì)背景差分圖像fd(x,y,t)進(jìn)行二值化處理，得到疑似異物的二值前景圖，即圖像中的疑似異物目標(biāo)區(qū)域。優(yōu)選地，所述圖像配準(zhǔn)的步驟包括：利用所述紅外圖像與所述可見光圖像的局部不變特征，進(jìn)行所述紅外圖像與所述可見光圖像的配準(zhǔn)，所述局部不變特征是指圖像在幾何變化、光照變化、噪聲干擾時(shí)仍保持穩(wěn)定性的特征。圖像配準(zhǔn)的步驟還包括：①基于surf的特征點(diǎn)提取與初匹配：利用surf對(duì)所述紅外圖像與所述可見光圖像進(jìn)行特征點(diǎn)檢測(cè)與描述，然后利用歐式距離基于最近鄰與次近鄰之比進(jìn)行初始特征點(diǎn)對(duì)匹配；②誤匹配點(diǎn)對(duì)剔除：采用三級(jí)遞進(jìn)的方法進(jìn)行誤匹配點(diǎn)對(duì)剔除，其中，首先根據(jù)相機(jī)安裝方式建立圖像的相關(guān)幾何約束條件進(jìn)行篩選；然后利用相似三角形匹配原則進(jìn)一步剔除；最后，基于ransac實(shí)現(xiàn)精匹配；③基于多幀圖像序列匹配點(diǎn)對(duì)累積的幾何變換模型求解：由于單幀紅外與可見光圖像的正確匹配點(diǎn)對(duì)數(shù)目較少，當(dāng)少于4個(gè)點(diǎn)對(duì)時(shí)不足以求解出變換模型參數(shù)；即使匹配點(diǎn)對(duì)數(shù)目滿足計(jì)算要求，也會(huì)由于特征點(diǎn)分布不均勻?qū)е虑蟪龅膸缀巫儞Q模型出現(xiàn)偏差，基于多幀圖像序列累積足夠多的正確匹配點(diǎn)對(duì)通過最小二乘法進(jìn)行幾何變換模型求解能夠解決上述問題；④將求出的幾何變換模型應(yīng)用到可見光圖像上，然后進(jìn)行雙線性插值，完成紅外與可見光圖像的配準(zhǔn)?；诰植坎蛔兲卣鞯膱D像配準(zhǔn)方法主要包括：sift、surf和mser，這些算法具有良好的抗尺度縮放、角度旋轉(zhuǎn)、視點(diǎn)變化和局部形變的能力，根據(jù)本發(fā)明的裝置主要根據(jù)上述算法來進(jìn)行圖像的特征提取與匹配，并在該算法的基礎(chǔ)上進(jìn)行改進(jìn)與優(yōu)化，配準(zhǔn)完成后再進(jìn)行圖像融合。優(yōu)選地，利用基于局部能量的contourlet變換圖像融合方法實(shí)現(xiàn)所述紅外圖像與所述變換后的可見光圖像的融合，所述圖像融合的步驟包括：①對(duì)紅外圖像和配準(zhǔn)后的可見光圖像分別進(jìn)行多尺度和多方向的contourlet變換；得到變換后的高頻系數(shù)和低頻系數(shù)；②通過對(duì)contourlet變換后的系數(shù)進(jìn)行分析來確定融合規(guī)則：綜合考慮紅外圖像的性質(zhì)及算法運(yùn)行時(shí)間，分別對(duì)低頻系數(shù)和高頻系數(shù)采用加權(quán)平均和基于局部能量的融合規(guī)則；③將融合后的contourlet系數(shù)進(jìn)行逆變換，得到融合圖像。得到疑似異物目標(biāo)區(qū)域后就能獲得運(yùn)動(dòng)目標(biāo)中心點(diǎn)在水平及垂直方向的像素坐標(biāo)(x,y)，利用該像素坐標(biāo)可以確定通過物體及像點(diǎn)的光線與相機(jī)光軸的夾角(包括天頂角α和方位角)，由于紅外相機(jī)的俯仰角γ在使用之前已經(jīng)事先確定，根據(jù)天頂角α、方位角和俯仰角γ可以計(jì)算出像點(diǎn)對(duì)應(yīng)的光線相對(duì)于激光光源與可見光一體相機(jī)的姿態(tài)，將姿態(tài)值傳遞給例如云臺(tái)進(jìn)行姿態(tài)調(diào)整來對(duì)疑似異物目標(biāo)進(jìn)行鎖定，對(duì)疑似異物目標(biāo)進(jìn)行補(bǔ)光的同時(shí)獲取該視頻圖像。1.基于surf的改進(jìn)配準(zhǔn)算法本文利用surf提取圖像特征點(diǎn)并對(duì)其進(jìn)行描述，然后通過實(shí)驗(yàn)比較典型的局部不變特征提取算法的優(yōu)缺點(diǎn)；在誤匹配點(diǎn)對(duì)剔除階段，先采用幾何約束條件進(jìn)行篩選，然后利用相似三角形匹配原則進(jìn)一步剔除外點(diǎn)，最后用ransac算法實(shí)現(xiàn)精匹配以保證最終匹配點(diǎn)對(duì)的準(zhǔn)確性和可靠性?？紤]到精匹配后的匹配點(diǎn)對(duì)數(shù)量較少，有可能不足以求取幾何變換矩陣，又為了提高幾何變換模型的準(zhǔn)確性，所以本發(fā)明在幾何變換矩陣求解過程中，利用多幀不同疑似異物目標(biāo)位置的圖像最終的正確匹配點(diǎn)對(duì)建立多幀圖像特征點(diǎn)對(duì)集合，然后利用最小二乘法求解變換模型。1.1.算法概述本發(fā)明中鐵路場(chǎng)景下的紅外與可見光相機(jī)成像模型如圖4所示，其中紅外相機(jī)1與激光光源與可見光一體相機(jī)2可以呈上下相鄰安裝。圖像間存在著平移、尺度與旋轉(zhuǎn)和變形變化，采用透視變換模型。該系統(tǒng)中紅外相機(jī)1負(fù)責(zé)采集大場(chǎng)景下的圖像，激光光源與可見光一體相機(jī)2捕捉含有疑似異物目標(biāo)的圖像。根據(jù)本發(fā)明，對(duì)獲得的紅外大場(chǎng)景圖像和可見光疑似異物目標(biāo)區(qū)域圖像進(jìn)行配準(zhǔn)與融合，獲得清晰度高和更具理解性的圖像，能夠確定疑似異物目標(biāo)的種類，提高異物報(bào)警的準(zhǔn)確率。圖5示出本發(fā)明的一種實(shí)施例中相機(jī)獲得的紅外圖像和可見光圖像的示例。由于紅外相機(jī)1和激光光源與可見光一體相機(jī)2的安裝位置不同、各自的視場(chǎng)大小不一致，所以得到的兩幅圖像存在著尺度、旋轉(zhuǎn)、縮放等變換，在對(duì)兩幅圖像進(jìn)行融合之前需要對(duì)兩類圖像進(jìn)行配準(zhǔn)。由于紅外與可見光圖像配準(zhǔn)屬于多模態(tài)圖像配準(zhǔn)，二者圖像的灰度差異較大，需要利用其圖像局部不變特征進(jìn)行配準(zhǔn)，常用的方法可以有基于harris角點(diǎn)匹配、基于sift特征匹配、基于surf特征匹配等。圖6示出根據(jù)本發(fā)明的紅外圖像與可見光圖像序列配準(zhǔn)系統(tǒng)的流程圖，其中以可見光-紅外同步視頻圖像為輸入，主要包括異源圖像候選匹配點(diǎn)對(duì)生成、誤匹配點(diǎn)對(duì)剔除以及變換模型求解三個(gè)模塊。紅外圖像利用的是目標(biāo)的輻射能量，而可見光圖像利用的是物體對(duì)于可見光的反射，二者的成像原理不同，決定了其圖像的成像效果相差很多。本發(fā)明人注意到，紅外圖像的負(fù)像更接近于可見光圖像，因此本發(fā)明人首先將紅外圖像的每個(gè)像素取反，即用255減去該點(diǎn)的像素值代替原像素值。算法實(shí)現(xiàn)步驟如下：1)首先對(duì)獲取的紅外圖像進(jìn)行取反處理；2)采用surf算法對(duì)處理后的紅外和可見光圖像進(jìn)行特征提取與描述，然后用對(duì)特征點(diǎn)進(jìn)行基于最近鄰與次近鄰之比的匹配；3)得到候選的匹配點(diǎn)對(duì)后，先利用幾何約束條件對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，然后基于相似三角形匹配原則進(jìn)行進(jìn)一步的剔除，最后用ransac算法進(jìn)行精匹配；4)選取多幀圖像重復(fù)以上操作，并形成最終的多幀圖像特征點(diǎn)對(duì)集合，再利用最小二乘法求解變換模型參數(shù)；對(duì)待配準(zhǔn)的可見光圖像進(jìn)行變換與雙線性插值，完成圖像配準(zhǔn)。1.2.異源圖像候選匹配點(diǎn)對(duì)生成由于鐵路場(chǎng)景下紅外與可見光圖像不僅存在著平移、旋轉(zhuǎn)、縮放和尺度變化，還存在著視場(chǎng)大小不同的特點(diǎn)，所以在確定異源圖像關(guān)聯(lián)特征時(shí)，采用局部不變特征提取算法。本發(fā)明人選取sift、surf和mser。本發(fā)明人認(rèn)為surf算法借鑒sift中簡(jiǎn)化近似的思想，引入積分圖像和盒子濾波器，在特征檢測(cè)的精確性、運(yùn)算速度和魯棒性等方面均優(yōu)于sift算法，所以采用surf作為特征點(diǎn)提取與描述方法，并基于最近鄰與次近鄰之比生成候選匹配點(diǎn)對(duì)。1)特征點(diǎn)提取surf算法在保持源圖像大小不變的前提下，通過不斷增大盒子濾波模板尺寸與積分圖像求取濾波響應(yīng)建立尺度金字塔，并通過近似的hessian矩陣行列式的局部極大值來檢測(cè)提取特征點(diǎn)。對(duì)圖像i中的一點(diǎn)i(x,y)，其在尺度σ下的hessian矩陣為式(1)中，lxx(x,σ)是高斯函數(shù)二階微分在點(diǎn)i(x,y)處與圖像i的卷積，其他同理。surf算法利用盒子濾波器代替高斯二階微分模板，則hessian矩陣行列式的簡(jiǎn)化形式為det(h)＝dxxdyy-(0.9·dxy)2(2)式(2)中，dxx、dxy和dyy分別為盒子濾波器與圖像i進(jìn)行卷積的結(jié)果。特征點(diǎn)的檢測(cè)與提取，涉及到特征點(diǎn)的數(shù)目、分布情況以及是否提取到關(guān)鍵角點(diǎn)等因素，是進(jìn)行圖像配準(zhǔn)關(guān)鍵的一步。為驗(yàn)證surf在特征點(diǎn)提取中的優(yōu)越性，現(xiàn)將其與sift和mser算法提取特征點(diǎn)的情況進(jìn)行比較。實(shí)驗(yàn)圖片為鐵路場(chǎng)景下的圖像，像素值大小為576x960。其檢測(cè)結(jié)果如圖7所示，圖7(a)示出了sift特征點(diǎn)檢測(cè)結(jié)果，圖7(b)示出了surf特征點(diǎn)檢測(cè)結(jié)果，圖7(c)示出了mser特征點(diǎn)檢測(cè)結(jié)果。通過比較這三種算法提取特征點(diǎn)的數(shù)目及其分布情況，如表1所示：其中，sift算法提取的可見光圖像特征點(diǎn)太多，增大了誤點(diǎn)出現(xiàn)的概率。mser算法提取的紅外圖像特征點(diǎn)太少，且遠(yuǎn)處建筑上的輪廓幾乎沒有特征點(diǎn)，不利于全局的配準(zhǔn)。而surf檢測(cè)出的特征點(diǎn)分布較均勻，特征點(diǎn)數(shù)適中且在全局范圍內(nèi)檢測(cè)出了一定數(shù)量的特征點(diǎn)。這說明surf算法相比于其他兩種算法是具有優(yōu)勢(shì)的，為后續(xù)的配準(zhǔn)過程提供了保障。2)特征點(diǎn)描述為了確保圖像的旋轉(zhuǎn)不變性，需要根據(jù)檢測(cè)到的特征點(diǎn)的局部圖像結(jié)構(gòu)求得一個(gè)方向基準(zhǔn)。surf算法在完成特征點(diǎn)鄰域的積分圖像的haar小波響應(yīng)運(yùn)算后，使用直方圖統(tǒng)計(jì)鄰域內(nèi)像素的梯度方向和模值。最大haar響應(yīng)累加值所對(duì)應(yīng)的方向?yàn)樘卣鼽c(diǎn)主方向，即直方圖最大峰值所對(duì)應(yīng)的方向。以特征點(diǎn)為中心，將大小為20σ×20σ的圖像沿主方向劃分為4×4個(gè)子塊，使用尺寸為2σ的haar模板對(duì)每個(gè)子塊進(jìn)行響應(yīng)值計(jì)算，得到沿主方向的dy和垂直于主方向的dx，并對(duì)其進(jìn)行高斯加權(quán)處理，加強(qiáng)對(duì)幾何變換的魯棒性。最后對(duì)每個(gè)子塊的響應(yīng)進(jìn)行統(tǒng)計(jì)，得到子塊的特征向量，如式(3)所示：對(duì)每個(gè)特征點(diǎn)，其描述子是一個(gè)4×4×4＝64維的特征向量。此時(shí)，surf描述子具有尺度和旋轉(zhuǎn)不變性，對(duì)特征向量進(jìn)行歸一化，可使surf特征具有光照不變性。3)最近鄰與次近鄰之比生成匹配點(diǎn)對(duì)最近鄰與次近鄰之比生成匹配點(diǎn)對(duì)是以歐氏距離為相似性度量對(duì)兩幅圖像的特征描述子進(jìn)行匹配，如式(4)所示：dnd/dnnd<ε(4)取紅外圖像中的某個(gè)關(guān)鍵點(diǎn)，并找出其與可見光圖像中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離dnn除以次近距離dnnd少于某個(gè)比例閾值ε，則接受這一對(duì)匹配點(diǎn)，當(dāng)ε過小時(shí)，surf匹配點(diǎn)對(duì)數(shù)目會(huì)減少，不利于后續(xù)的變化模型求解；當(dāng)ε過大時(shí)，surf匹配點(diǎn)對(duì)數(shù)目增加，但也會(huì)引入誤匹配點(diǎn)對(duì)。本實(shí)驗(yàn)中ε取0.8.1.3.誤匹配點(diǎn)對(duì)剔除本發(fā)明人提出在誤匹配點(diǎn)對(duì)剔除階段，誤匹配點(diǎn)對(duì)的大量剔除和準(zhǔn)確匹配點(diǎn)對(duì)的保留是關(guān)鍵，這將直接關(guān)系到幾何變換矩陣的求解，影響圖像配準(zhǔn)的精度。本發(fā)明人首先采用幾何約束條件對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，然后利用圖像結(jié)構(gòu)相似度理論進(jìn)一步剔除，最后利用ransac算法進(jìn)行精匹配，以此來產(chǎn)生最終要參與幾何變換矩陣求解的匹配點(diǎn)對(duì)。1)幾何約束條件篩選匹配點(diǎn)對(duì)由于surf算法得到的初始匹配點(diǎn)對(duì)中存在一部分明顯的錯(cuò)誤匹配點(diǎn)對(duì)，為了減少后續(xù)剔除誤匹配點(diǎn)對(duì)的計(jì)算量，增大保留正確匹配點(diǎn)對(duì)的概率，本發(fā)明提出了具有針對(duì)性的幾何約束條件。該幾何約束條件是根據(jù)本實(shí)驗(yàn)紅外相機(jī)和可見光相機(jī)擺放的相對(duì)位置確定的，由于兩個(gè)相機(jī)上下緊密疊放在一起，如圖4所示，在較遠(yuǎn)距離的拍攝過程中，紅外相機(jī)與可見光相機(jī)獲得的圖像中心可認(rèn)為近似一致，且由于紅外相機(jī)拍攝的圖像為大場(chǎng)景下的圖像p1p2，而可見光圖像的拍攝范圍是p3p4，包含在紅外圖像中?，F(xiàn)記紅外圖像表示為ir(x,y)，可見光圖像表示為iv(x,y)。紅外圖像的中心點(diǎn)位置為ir(xor,yor)，可見光圖像的中心點(diǎn)位置為iv(xov,yov)，任選其中的一對(duì)匹配點(diǎn)對(duì)ir(x1r,y1r)，iv(x1v,y1v)，則應(yīng)同時(shí)滿足以下幾何約束條件：①相應(yīng)的匹配點(diǎn)對(duì)與各自圖像中心連線的傾斜角度是近似相同的，如式(5)所示，t為傾角差值的閾值，當(dāng)相應(yīng)匹配點(diǎn)對(duì)與各自圖像中心的傾斜角度作差得到的值大于t時(shí)，則剔除。|actan((xor-x1r)/(yor-y1r))-actan((xov-x1v)/(yov-y1v))|<t(5)②相應(yīng)的匹配點(diǎn)對(duì)位置應(yīng)位于各自圖像中心點(diǎn)的同一方位。即相應(yīng)的匹配點(diǎn)對(duì)與各自圖像中心的橫坐標(biāo)之差正負(fù)應(yīng)一致，縱坐標(biāo)之差也應(yīng)一致，具體如式(6)所示。(xor-x1r)*(xov-x1v)>0&&(yor-y1r)*(yov-y1v)>0(6)③紅外圖像中的匹配點(diǎn)與圖像中心點(diǎn)的距離要小于可見光圖像中對(duì)應(yīng)匹配點(diǎn)與圖像中心的距離。如式(7)所示：當(dāng)匹配點(diǎn)對(duì)同時(shí)滿足以上三條幾何約束條件時(shí)，則保留下來進(jìn)行進(jìn)一步篩選；若不滿足任意以上三個(gè)條件之一，則直接剔除。2)相似三角形匹配剔除外點(diǎn)在本發(fā)明中，主要是利用相似三角形匹配原則對(duì)篩選后的匹配點(diǎn)對(duì)進(jìn)一步剔除。實(shí)驗(yàn)過程中發(fā)現(xiàn)，在幾何約束條件篩選后，雖然準(zhǔn)確的匹配點(diǎn)對(duì)所占比例有所增加，但還存在著“多對(duì)一”以及交叉的情況。一般情況下，正確的匹配點(diǎn)對(duì)在基準(zhǔn)圖和待配準(zhǔn)圖中的相對(duì)位置都是固定的。任意的三個(gè)正確匹配點(diǎn)在基準(zhǔn)圖中形成的三角形和對(duì)應(yīng)的點(diǎn)在待配準(zhǔn)圖中形成的三角形是相似的(近似滿足)，基于這個(gè)特點(diǎn)，本文提出了新的相似三角形匹配原則剔除錯(cuò)誤匹配點(diǎn)對(duì)。假設(shè)p和q經(jīng)過幾何約束條件篩選后保留下來的匹配點(diǎn)集，紅外圖像中任意三點(diǎn)組成的三角形為δpipjpk,(i<j<k,pi,pj,pk∈p)，在可見光圖像中對(duì)應(yīng)的三角形為δqiqjqk(i<j<k,qi,qj,qk∈q)。根據(jù)相似三角形對(duì)應(yīng)三邊成比例的性質(zhì)有：式(9)中，相似三角形相鄰兩邊與其對(duì)應(yīng)邊之比的比值dd1、dd2會(huì)受圖像噪聲和特征點(diǎn)的干擾，該值近似地等于1.所以進(jìn)行如下判斷：當(dāng)dd1、dd2滿足上式時(shí)，會(huì)出現(xiàn)dd1、dd2分別大于1和小于1的情況，即三角形的較長(zhǎng)邊與較短邊之比和1作差的絕對(duì)值與其相應(yīng)三角形較短邊與較長(zhǎng)邊之比和1作差的絕對(duì)值滿足上述閾值要求，但是這樣的相似三角形對(duì)應(yīng)的三邊長(zhǎng)短關(guān)系是不相符的，所以在此基礎(chǔ)上需要對(duì)相似三角形的長(zhǎng)短關(guān)系進(jìn)行排序，當(dāng)排序一致時(shí)，相似三角形得到保留。在上述處理后，還會(huì)出現(xiàn)匹配點(diǎn)對(duì)連線交叉的問題，雖然相似三角形三邊長(zhǎng)短關(guān)系對(duì)應(yīng)一致，但是位置關(guān)系發(fā)生了翻轉(zhuǎn)。為了剔除這種結(jié)果，增加判斷條件如下：即相似三角形中兩頂點(diǎn)組成的向量與對(duì)應(yīng)三角形的兩頂點(diǎn)組成的向量其單位向量應(yīng)該是近似相同的，另外兩組頂點(diǎn)組成的向量也應(yīng)滿足如上關(guān)系。這樣就避免了翻轉(zhuǎn)情況的出現(xiàn)。相似三角形判斷是從最匹配的點(diǎn)(歐式距離最小)開始，對(duì)任意相鄰的三對(duì)匹配點(diǎn)驗(yàn)證是否滿足相似三角形條件，若滿足，選取其中兩對(duì)點(diǎn)作為基準(zhǔn)點(diǎn)，進(jìn)而對(duì)其他的點(diǎn)對(duì)進(jìn)行判斷，該方法默認(rèn)最匹配的點(diǎn)對(duì)為正確的匹配點(diǎn)對(duì)，這種方法存在一定的風(fēng)險(xiǎn)性，并且不能保證最匹配的點(diǎn)是正確的。本文為了保證保留的正確匹配點(diǎn)對(duì)的可靠性，采用遍歷三角形和建立累加器的方法，即對(duì)具有n個(gè)點(diǎn)的點(diǎn)集p和q任意選擇3對(duì)匹配點(diǎn)對(duì)組成對(duì)三角形，并對(duì)每一對(duì)匹配點(diǎn)對(duì)引入累加器機(jī)制。當(dāng)每一對(duì)三角形滿足上述相似三角形的條件時(shí)，相應(yīng)的累加器加1。當(dāng)遍歷所有三角形后，對(duì)各點(diǎn)對(duì)累加器中的值進(jìn)行大小判斷，累加器中的值越大，則代表該點(diǎn)對(duì)組成的三角形滿足相似三角形條件的個(gè)數(shù)越多，該點(diǎn)對(duì)正確的可靠性更高。此時(shí)，再將累加器值與設(shè)立的閾值t2進(jìn)行比較，大于閾值t2時(shí)，該匹配點(diǎn)對(duì)保留；反之，則剔除。3)ransac算法精匹配當(dāng)匹配點(diǎn)對(duì)進(jìn)行幾何約束條件的篩選和基于結(jié)構(gòu)相似度理論的剔除后，保留下來的匹配點(diǎn)對(duì)基本上是正確的，但不排除存在個(gè)別錯(cuò)誤匹配點(diǎn)對(duì)的情況。而ransac算法可以在預(yù)定精度范圍內(nèi)選擇合適的控制點(diǎn)對(duì)，具有能夠容忍大部分具有外點(diǎn)數(shù)據(jù)能力，是各種魯棒性估計(jì)問題普遍選擇。所以為了增加正確匹配點(diǎn)對(duì)的準(zhǔn)確率和可靠性，本發(fā)明采用ransac算法進(jìn)行最后的精匹配。1.4.基于多幀圖像特征匹配點(diǎn)對(duì)的變換參數(shù)求解剔除誤匹配點(diǎn)對(duì)后，得到最終的匹配點(diǎn)對(duì)將參與幾何變換矩陣的計(jì)算。由于通過上述篩選過程每幀圖像保留下來的精匹配點(diǎn)對(duì)數(shù)量很少，當(dāng)數(shù)量過少時(shí)，將不足以計(jì)算出幾何變換矩陣；當(dāng)數(shù)量滿足時(shí)，可能會(huì)由于其匹配點(diǎn)對(duì)分布不均勻?qū)е虑蟪龅膸缀巫儞Q矩陣有偏差。本發(fā)明選取圖像序列中多幀位于不同位置的疑似異物目標(biāo)圖像的匹配點(diǎn)對(duì)形成集合，再進(jìn)行幾何變換矩陣的求解。由于在誤匹配點(diǎn)對(duì)剔除階段，每一幀相應(yīng)的圖像最終至少能產(chǎn)生3對(duì)匹配點(diǎn)對(duì)，而計(jì)算幾何模型至少需要4對(duì)匹配點(diǎn)對(duì)，為了提高模型的準(zhǔn)確性，在本實(shí)驗(yàn)中，采用多幀疑似異物目標(biāo)位于不同位置的圖像的特征匹配點(diǎn)對(duì)參與計(jì)算。下面將詳細(xì)展開。本課題的紅外與可見光圖像配準(zhǔn)模型為較為復(fù)雜的透視投影模型，可以采用如式(12)矩陣形式來描述空間坐標(biāo)變換模型：式(12)中(x,y),(x',y')分別是兩幅圖像中對(duì)應(yīng)點(diǎn)的坐標(biāo)，m為參數(shù)矩陣，其各分量作用如表2所示，m中8個(gè)參數(shù)決定了兩幅圖像坐標(biāo)之間的轉(zhuǎn)換關(guān)系。只需4對(duì)點(diǎn)，就可以確定這8個(gè)參數(shù)。本發(fā)明選取圖像序列中位于不同位置的多幀疑似異物目標(biāo)圖像，分別對(duì)其選取特征點(diǎn)對(duì)pts，然后形成累計(jì)的特征點(diǎn)對(duì)集合tpts，如式(13)所示，tpts:{pts(1),...,pts(i),...,pts(n)}(13)式中n為選取的幀數(shù)，pts(i)為從第1幀到第n幀圖像中隨機(jī)選取的圖像的精確匹配點(diǎn)對(duì)，tpts為選取的所有幀圖像特征點(diǎn)對(duì)組成的集合。再通過最小二乘法求解變換模型參數(shù)。至此，利用第1幀到第n幀圖像的特征匹配點(diǎn)對(duì)就可以直接通過求得的變換模型矩陣進(jìn)行變換，不用對(duì)每一幀圖像再重復(fù)參與上述圖像特征點(diǎn)檢測(cè)與匹配的過程，減少了一定的計(jì)算量。得到幾何變換矩陣參數(shù)后，采用雙線性插值法對(duì)待配準(zhǔn)可見光圖像進(jìn)行插值重采樣，完成紅外與可見光圖像配準(zhǔn)。1.5.實(shí)驗(yàn)結(jié)果本發(fā)明選取了鐵路場(chǎng)景下的紅外與可見光圖像為配準(zhǔn)圖像，圖像大小為576x960。實(shí)驗(yàn)條件：windows7，matlab2012。圖8(a)表示在紅外負(fù)相和可見光圖像上提取的surf特征點(diǎn)，分別553個(gè)和2766個(gè)，用“+”表示；圖8(b)表示經(jīng)過surf算法初匹配得到的72對(duì)匹配點(diǎn)對(duì)；圖8(c)表示經(jīng)過幾何約束條件判斷后篩選得到的12對(duì)匹配點(diǎn)對(duì)；圖8(d)表示通過基于結(jié)構(gòu)相似度理論剔除誤匹配點(diǎn)對(duì)的結(jié)果，保留了8對(duì)匹配點(diǎn)對(duì)；圖8(e)為經(jīng)過ransac精匹配得到的3對(duì)匹配點(diǎn)對(duì)。從該過程可以看出本發(fā)明算法通過對(duì)匹配點(diǎn)對(duì)逐步的篩選與剔除，使得保留的準(zhǔn)確匹配點(diǎn)對(duì)數(shù)所占比例越來越大，且最終特征點(diǎn)匹配的結(jié)果是正確的，這證明了該算法的有效性，同時(shí)也保證了最終篩選留下的匹配點(diǎn)對(duì)的準(zhǔn)確性和結(jié)果的可靠性。將本發(fā)明配準(zhǔn)算法與傳統(tǒng)的sift、surf配準(zhǔn)算法進(jìn)行比較，比較結(jié)果表3所示，傳統(tǒng)的sift和surf算法雖然在同源圖像配準(zhǔn)中有很強(qiáng)的適用性，但應(yīng)用在多源圖像配準(zhǔn)時(shí)就表現(xiàn)出了其局限性。本發(fā)明在基于surf算法的基礎(chǔ)上進(jìn)行了改進(jìn)，對(duì)紅外與可見光圖像的配準(zhǔn)具有可行性。2.基于contourlet變換的圖像融合算法由于常用的基于灰度加權(quán)平均的圖像融合方法實(shí)際上是對(duì)像素的平滑處理，這種處理在減少圖像中噪聲的同時(shí)，往往在一定程度上使圖像中的邊緣、輪廓變得模糊。而且當(dāng)融合圖像的灰度差異很大時(shí)，就會(huì)出現(xiàn)明顯的拼接痕跡，不利于人眼識(shí)別和后續(xù)的目標(biāo)識(shí)別過程。所以在上述準(zhǔn)確配準(zhǔn)的基礎(chǔ)上，采用以多分辨率分析為基礎(chǔ)的圖像融合算法對(duì)圖像進(jìn)行融合，其中contourlet變換融合不僅具有多尺度、良好的時(shí)頻局部特性，還具有多方向特性，能夠有效降低配準(zhǔn)誤差對(duì)融合性能的影響。本發(fā)明采用contourlet變換融合方法改善鐵路場(chǎng)景下的紅外與可見光圖像融合效果，更貼近人眼觀察的效果。2.1.contourlet變換圖像融合方法contourlet變換是一種離散圖像的多方向多尺度計(jì)算框架，在其變換過程中，多尺度分析和方向分析是分開進(jìn)行的。首先由拉普拉斯金字塔變換對(duì)圖像進(jìn)行多尺度分解以“捕獲”點(diǎn)奇異；接著對(duì)每一級(jí)金字塔分解的高頻分類進(jìn)行方向?yàn)V波，由方向?yàn)V波器組將分布在同一方向的奇異點(diǎn)各合成為一個(gè)系數(shù)?；赾ontourlet變換的圖像融合框架如圖9所示，具體步驟如下：1)對(duì)紅外圖像和配準(zhǔn)后的可見光圖像分別進(jìn)行多尺度和多方向的contourlet變換。在contourlet變換中首先用lp變換對(duì)圖像進(jìn)行多尺度分解來捕獲圖像中的奇異點(diǎn)。然后對(duì)lp分解后每個(gè)尺度上的高頻信號(hào)使用dfb進(jìn)行方向分解，將分布在同方向上的奇異點(diǎn)合成一個(gè)系數(shù)。contourlet變換后，它的系數(shù)分布與分解時(shí)所給定的參數(shù)nlevels有關(guān)，nlevels決定了系數(shù)分布的向量個(gè)數(shù)。2)通過對(duì)contourlet變換后的系數(shù)進(jìn)行分析來確定融合規(guī)則。融合規(guī)則主要體現(xiàn)在contourlet變換后圖像的低頻子帶和高頻子帶的優(yōu)化處理中。綜合考慮紅外圖像和可見光圖像的性質(zhì)以及算法運(yùn)算時(shí)間，分別對(duì)低頻子帶與高頻子帶設(shè)計(jì)加權(quán)平均和基于局部能量的融合規(guī)則。3)將融合后的contourlet系數(shù)進(jìn)行逆變換，得到融合圖像。2.2.基于局部能量的融合規(guī)則紅外與可見光圖像融合的主要目的是融合紅外圖像中目標(biāo)的高亮特征和可見光圖像中場(chǎng)景的清晰度。由于分解后低頻系數(shù)占據(jù)了變換后圖像的絕大部分能量，反映了源圖像的基本特征，而本文中的紅外圖像為大場(chǎng)景圖像，可見光圖像經(jīng)過配準(zhǔn)后只占據(jù)紅外圖像的一部分，在低頻部分紅外圖像所占比重越多，實(shí)際融合圖像反映出來的大場(chǎng)景整體信息就更清晰，所以本文在低頻子帶部分的融合規(guī)則采用簡(jiǎn)單的加權(quán)平均規(guī)則。分解后的高頻部分主要體現(xiàn)的是圖像的細(xì)節(jié)信息，對(duì)應(yīng)著如圖像的邊緣、紋理等重要特征，這對(duì)于目標(biāo)信息的反映尤為重要，所以本文在高頻子帶采取的是區(qū)域能量的融合規(guī)則，不僅要考慮參加融合圖像中對(duì)應(yīng)的各像素，而且要考慮參加融合像素的局部鄰域。具體如下：1)以兩幅圖像a、b為例，分別計(jì)算兩幅圖像相應(yīng)分解層上以(n,m)為中心位置的局部區(qū)域能量el,a及el,b：上式中，el(n,m)表示laplacian金字塔第l層上，以(n,m)為中心位置的局部區(qū)域能量；lpl表示laplacian金字塔的第l層圖像；w'(n',m')為與lpl對(duì)應(yīng)的權(quán)系數(shù)；j,k定義了局部區(qū)域的大小，n',m'的變化范圍在j,k內(nèi)。2)然后計(jì)算兩幅圖像對(duì)應(yīng)局部區(qū)域的匹配度mab：其中的el,a、el,b按式(15)計(jì)算。3)最后根據(jù)匹配度大小，采取不同的融合方式。當(dāng)ml,ab(n,m)<α?xí)r(α一般取0.85)，說明源圖像系數(shù)間相關(guān)性比較低，所以選取區(qū)域內(nèi)的能量大的系數(shù)為融合后系數(shù)更為合理：當(dāng)ml,ab(n,m)≥α?xí)r，說明系數(shù)間相關(guān)性比較大，采用加權(quán)平均的方法更為合理：其中，wl,max(n,m)＝1-wl,min(n,m)，(19)基于區(qū)域能量的融合規(guī)則由于考慮了與相鄰像素間的相關(guān)性，降低了對(duì)邊緣的敏感性，能夠有效減少融合像素的錯(cuò)誤選取，在一定程度上顯著提高了融合算法的魯棒性，從而提高了融合效果。2.3.融合結(jié)果分析參與融合的圖像為紅外源圖像和配準(zhǔn)后的可見光圖像，圖像大小為576x960，contourlet變換中采用的lp分解為3級(jí)，dfb方向數(shù)為8-4-4。3.3.1單幀與多幀圖像融合結(jié)果對(duì)比與分析在圖像序列的配準(zhǔn)與融合中，若對(duì)每一幀圖像都進(jìn)行配準(zhǔn)與融合，這將大大增加計(jì)算量，且單幀圖像在配準(zhǔn)過程中存在著特征匹配點(diǎn)對(duì)數(shù)目不夠而不能計(jì)算出幾何變換矩陣的情況，導(dǎo)致算法運(yùn)行的中斷，將影響后續(xù)的變換和融合過程。而利用多幀位于不同位置的運(yùn)動(dòng)目標(biāo)圖像的特征匹配點(diǎn)對(duì)進(jìn)行配準(zhǔn)幾何模型的求解，從根本上保證了算法的暢通性。同時(shí)由于采用的是位于不同位置的運(yùn)動(dòng)目標(biāo)圖像，所以該幾何變換矩陣可應(yīng)用于對(duì)應(yīng)的圖像序列，避免了大量重復(fù)的計(jì)算，又保證了矩陣的適用性。3.3.2夜間圖像的融合結(jié)果分析在夜間等視線條件差的情況下紅外與可見光視頻圖像進(jìn)行融合的優(yōu)勢(shì)更為突出。相比于單一的紅外圖像，融合圖像中具有更多的紋理色彩細(xì)節(jié)等信息，更便于對(duì)場(chǎng)景和目標(biāo)的理解；而相比于單一的可見光圖像，由于是在夜晚光線較差，目標(biāo)變得更加暗淡甚至幾乎和背景混為一體，但在融合后的圖像中目標(biāo)輪廓不僅變得明顯，還能從圖像中看到溫度信息。融合圖像反映真實(shí)場(chǎng)景，又豐富了目標(biāo)信息。3.3.3不同融合算法結(jié)果質(zhì)量評(píng)價(jià)與比較為了證明本文融合算法具有較好的融合質(zhì)量，現(xiàn)與傳統(tǒng)的灰度加權(quán)平均算法、基于小波變換的融合算法進(jìn)行比較，其中小波變換融合算法的融合規(guī)則和本文一致。對(duì)上述融合結(jié)果進(jìn)行質(zhì)量評(píng)價(jià)，采用標(biāo)準(zhǔn)差、信息熵、交叉熵及清晰度這四個(gè)評(píng)價(jià)指標(biāo)。結(jié)果如表4所示：表4圖像融合結(jié)果評(píng)價(jià)與比較融合質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)差信息熵交叉熵清晰度灰度加權(quán)平均20.365.431.571.44小波變換融合20.535.501.611.82本文算法23.845.661.742.70由表4可知，本文算法在各個(gè)評(píng)價(jià)指標(biāo)上都更具有優(yōu)勢(shì)，既突出了紅外圖像的溫度特性，又很好的保持了可見光圖像的細(xì)節(jié)信息。由上可見，本發(fā)明提出了一種鐵路場(chǎng)景下的紅外與可見光視頻圖像序列自動(dòng)配準(zhǔn)與融合算法，針對(duì)夜間圖像效果欠佳而導(dǎo)致的異物準(zhǔn)確報(bào)警率不高的問題，利用紅外與可見光圖像信息的互補(bǔ)性和冗余性，提出了改進(jìn)的surf圖像配準(zhǔn)算法與基于局部能量的contourlet變換融合算法。配準(zhǔn)時(shí)采用幾何約束條件判斷和相似三角形匹配原則剔除誤匹配點(diǎn)對(duì)，并用ransac算法精匹配，然后利用多幀圖像匹配點(diǎn)對(duì)集合的思想提高了變換模型參數(shù)的適用性，又避免了大量重復(fù)的計(jì)算。相比于傳統(tǒng)的sift和surf配準(zhǔn)算法，本文算法有更高的準(zhǔn)確率?；赾ontourlet變換融合方法得到的融合圖像與另外兩種經(jīng)典算法相比，在標(biāo)準(zhǔn)差、信息熵、互信息和清晰度方面分別至少提高了16.12％、2.91％、8.07％和48.35％，更利于人眼觀察和后續(xù)的目標(biāo)識(shí)別過程，為提高鐵路場(chǎng)景中的異物準(zhǔn)確報(bào)警率開辟了一條新路，對(duì)保障鐵路運(yùn)營(yíng)安全系統(tǒng)的開發(fā)具有重要意義。最后應(yīng)說明的是：以上所述實(shí)施例，僅為本發(fā)明的具體實(shí)施方式，用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制，本發(fā)明的保護(hù)范圍并不局限于此，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：任何熟悉本
技術(shù)領(lǐng)域：
的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，其依然可以對(duì)前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改或可輕易想到變化，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改、變化或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范圍，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。當(dāng)前第1頁12