一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法
【專利摘要】本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)和計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法，包括以下步驟：紅外與可見光圖像獲取及其預(yù)處理；紅外與可見光圖像時(shí)空配準(zhǔn)融合得到增強(qiáng)視覺圖像；獲取場景視覺參數(shù)；三維模型裁剪、渲染，得到虛擬場景信息和真實(shí)場景與虛擬場景混合疊加生成虛實(shí)合成場景。本發(fā)明既是真實(shí)世界的表達(dá)，又有虛擬信息的增強(qiáng)，當(dāng)操作人員在無法用肉眼看清周圍的真實(shí)環(huán)境時(shí)，依然可以通過計(jì)算機(jī)繪制的數(shù)字影像直觀的了解當(dāng)前環(huán)境的詳細(xì)情況虛實(shí)配準(zhǔn)的過程則是保證虛擬攝像機(jī)和真實(shí)攝像機(jī)所觀測到的內(nèi)容相同，通過混合疊加，確保顯示結(jié)果的高可信度，從而有效提高低能見度下機(jī)場場面監(jiān)視能力。
【專利說明】一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)和計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法。
【背景技術(shù)】
[0002]近年來，國民經(jīng)濟(jì)的高速增長帶動(dòng)中國民航運(yùn)輸業(yè)的市場需求不斷擴(kuò)大，民航運(yùn)輸量始終保持很高的增長率在發(fā)展。根據(jù)民航總局公布的統(tǒng)計(jì)結(jié)果，從2000年?2009年，年航班起降架次從1757117架次增加到4840710架次。9年來航班起降架次總量翻了近三倍，年平均增長率達(dá)11.8%。根據(jù)預(yù)測，到2020年，全國機(jī)場貨郵吞吐量、旅客吞吐量將分別保持15%和11.4%的年均增長速度。如此快速的發(fā)展速度，快速增長的交通流量給機(jī)場運(yùn)行安全與效率提出了更高的要求。
[0003]低能見度是影響機(jī)場場面管制的最大因素，在低能見度下，機(jī)場容量大幅度降低，導(dǎo)致航班延誤增加。如何在保證安全的前提下，減少低能見度下的航班延誤，提高運(yùn)營效率，也是航空公司和機(jī)場普遍關(guān)心的問題。
[0004]為了克服傳統(tǒng)視覺傳感器在低能見度下的缺陷，研究人員在近年來通過不斷探索提出了若干解決方案。隨著成像技術(shù)的進(jìn)步，人們開始研究能穿透云霧的紅外或微波圖像傳感技術(shù)。利用紅外成像技術(shù)對(duì)夜晚、大霧等低能見度天氣的適應(yīng)能力，通過配準(zhǔn)和融合單視角的紅外和可見光圖像，形成增強(qiáng)視覺圖像。此外，合成視覺系統(tǒng)(SVS=SyntheticVision System)根據(jù)當(dāng)前視角的位置、高度和姿態(tài)等參數(shù),再結(jié)合地形數(shù)據(jù)庫實(shí)時(shí)計(jì)算生成虛擬三維場景視景，使生成視景與當(dāng)前視點(diǎn)觀察的內(nèi)容一致，從而達(dá)到視覺增強(qiáng)的目的。隨著計(jì)算機(jī)圖形學(xué)等技術(shù)的快速進(jìn)展，21世紀(jì)以來，合成視覺技術(shù)已逐漸成為解決低能見度視覺問題的熱點(diǎn)。誠然，紅外、微波技術(shù)與合成視覺系統(tǒng)在技術(shù)革新的同時(shí)為機(jī)場場面監(jiān)視提供了新方法、新手段，但兩者都有其局限。紅外、毫米波傳感器等成像設(shè)備，在圖像分辨率、對(duì)比度等方面存在嚴(yán)重缺陷；而SVS完全采用計(jì)算機(jī)圖形學(xué)進(jìn)行繪制，只是對(duì)真實(shí)世界的一種展示，易造成監(jiān)視人員在感官上對(duì)其缺乏信任。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法，解決目前機(jī)場場面在低能見度的情況下無法清晰準(zhǔn)確的知道地面情況，而現(xiàn)有的視覺增強(qiáng)技術(shù)嚴(yán)重缺乏場景還原真實(shí)性，并且在感官上缺乏信任的問題。
[0006]為解決上述的技術(shù)問題，本發(fā)明采用以下技術(shù)方案:
[0007]—種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法，包括以下步驟:
[0008]步驟一，通過紅外傳感器與可見光傳感器獲取機(jī)場場面信息，對(duì)紅外傳感器獲取圖像利用分段線性變換算法進(jìn)行對(duì)比度增強(qiáng)處理，對(duì)可見光傳感器獲取的可見光圖像采用基于大氣散射模型的圖像去霧算法，并充分利用CPU和GPU的并行處理能力，進(jìn)行實(shí)時(shí)去霧處理；[0009]步驟二，將經(jīng)過處理后的紅外傳感器獲取的圖像和可見光傳感器獲取的圖像進(jìn)行時(shí)間同步，并通過sift特征檢測及仿射變換進(jìn)行幾何一致性配準(zhǔn)，配準(zhǔn)后的圖像采用三層拉普拉斯金字塔分解，并按照像素值取大的原則進(jìn)行融合，得到增強(qiáng)視覺圖像；
[0010]步驟三，求解相機(jī)的內(nèi)外參數(shù)，即恢復(fù)視覺參數(shù)，其中內(nèi)參數(shù)利用直接線性變換算法通過相機(jī)標(biāo)定確定，外參數(shù)是通過特征匹配得到六個(gè)二維圖像的像素坐標(biāo)及其在三維模型中對(duì)應(yīng)的世界坐標(biāo)，求解由這六對(duì)點(diǎn)組成的線性方程組，利用最小二乘優(yōu)化恢復(fù)投影矩陣確定；
[0011]步驟四，將獲取的視覺參數(shù)輸入三維引擎，經(jīng)過裁剪和渲染得到與真實(shí)場景視點(diǎn)一致的三維虛擬視景；
[0012]步驟五，將得到的增強(qiáng)視覺圖像和三維虛擬視景配準(zhǔn)后混合疊加，實(shí)現(xiàn)信息互補(bǔ)獲得清晰度非常高的虛實(shí)合成場景。
[0013]進(jìn)一步的所述步驟一中，分段線性變換算法具體是如下，
[0014]假定原圖像f(x，y)的灰階范圍為[a，b]，希望變換后的圖像g(x，y)的灰階范圍擴(kuò)展至[c，d]，則分段線性變換算法數(shù)學(xué)表達(dá)式如下:
[0015]
【權(quán)利要求】
1.一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法，其特征在于包括以下步驟: 步驟一，通過紅外傳感器與可見光傳感器獲取機(jī)場場面信息，對(duì)紅外傳感器獲取圖像利用分段線性變換算法進(jìn)行對(duì)比度增強(qiáng)處理，對(duì)可見光傳感器獲取的可見光圖像采用基于大氣散射模型的圖像去霧算法，并充分利用CPU和GPU的并行處理能力，進(jìn)行實(shí)時(shí)去霧處理； 步驟二，將經(jīng)過處理后的紅外傳感器獲取的圖像和可見光傳感器獲取的圖像進(jìn)行時(shí)間同步，并通過sift特征檢測及仿射變換進(jìn)行幾何一致性配準(zhǔn)，配準(zhǔn)后的圖像采用三層拉普拉斯金字塔分解，并按照像素值取大的原則進(jìn)行融合，得到增強(qiáng)視覺圖像； 步驟三，求解相機(jī)的內(nèi)外參數(shù)，其中內(nèi)參數(shù)利用直接線性變換算法通過相機(jī)標(biāo)定確定，外參數(shù)是通過特征匹配得到六個(gè)二維圖像的像素坐標(biāo)及其在三維模型中對(duì)應(yīng)的世界坐標(biāo)，求解由這六對(duì)點(diǎn)組成的線性方程組，利用最小二乘優(yōu)化恢復(fù)投影矩陣確定； 步驟四，將獲取的視覺參數(shù)輸入三維引擎，經(jīng)過裁剪和渲染得到與真實(shí)場景視點(diǎn)一致的三維虛擬視景； 步驟五，將得到的增強(qiáng)視覺圖像和三維虛擬視景配準(zhǔn)后混合疊加，實(shí)現(xiàn)信息互補(bǔ)獲得清晰度非常高的虛實(shí)合成場景。
2.根據(jù)權(quán)利要求1所述的一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法，其特征在于: 所述步驟一中，分段線性變換算法具體是如下， 假定原圖像f(x，Y)的灰階范圍為[&汕]，希望變換后的圖像8(1，y)的灰階范圍擴(kuò)展至[c，d]，則分段線性變換算法數(shù)學(xué)表達(dá)式如下:

3.根據(jù)權(quán)利要求1所述的一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法，其特征在于:所述步驟一中，大氣散射模型是描述霧化圖像的退化過程，基于大氣散射模型的圖像去霧算法原理如下:
I (X) =J (X) t (X) +A (1-t (X)) 式中，I是觀測圖像的亮度，J是景物光線的強(qiáng)度，A是無窮遠(yuǎn)處的大氣光，t為透射率，從I中復(fù)原J，由原始有霧圖像1、透射率分布t和大氣光值A(chǔ)可以計(jì)算出J，完成了霧天圖像復(fù)原，利用CUDA調(diào)用CPU和GPU進(jìn)行并行處理，完成實(shí)時(shí)去霧處理。
4.根據(jù)權(quán)利要求1所述的一種基于虛實(shí)融合機(jī)場場面監(jiān)視視覺增強(qiáng)的方法，其特征在于:所述步驟二中，所述三層拉普拉斯金字塔分解中，高斯金字塔的生成包含低通濾波和下采樣的過程。
【文檔編號(hào)】G06T7/00GK103455982SQ201310389703
【公開日】2013年12月18日 申請(qǐng)日期:2013年8月31日 優(yōu)先權(quán)日:2013年8月31日
【發(fā)明者】蘭時(shí)勇, 程鵬, 李科 申請(qǐng)人:四川川大智勝軟件股份有限公司, 四川大學(xué)