專利名稱：基于游弋圖像的水面鳥瞰圖成像方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及圖像穩(wěn)定技術(shù)、攝像機定標技術(shù)、圖像修復(fù)技 術(shù)等，將通過水面船艇巡邏拍攝的視頻幀圖像轉(zhuǎn)換為水面的鳥瞰圖，展示大面積水面狀態(tài)， 如藍藻等，具體為一種基于游弋圖像的水面鳥瞰圖成像方法。
背景技術(shù)：
自20世紀60年代以來，太湖流域的經(jīng)濟迅速發(fā)展，給環(huán)境帶來巨大壓力，造成了 生態(tài)系統(tǒng)的嚴重破壞和環(huán)境質(zhì)量的下降。按現(xiàn)行的《地表水環(huán)境質(zhì)量標準GB3838-88》，20 世紀90年代中期太湖水質(zhì)平均已達IV類，1/3湖區(qū)為V類，表現(xiàn)為平均每10年水質(zhì)下降一 個級別，近10多年下降速度明顯加快。隨著富營養(yǎng)化進程的加快，太湖梅梁灣、絲山湖、西 太湖沿岸等水域藍藻水華頻繁發(fā)生。藍藻異常生長極易堆積、腐爛沉降形成水華，在河口以 及近岸淤積，不僅破壞水體景觀和生態(tài)系統(tǒng)平衡，而且由于藍藻在生長過程中釋放毒素，消 耗溶解氧，引起水體生物大量死亡，湖泊水質(zhì)惡化，嚴重威脅了湖泊周圍地區(qū)的飲水安全。 2007、2008年太湖爆發(fā)的藍藻事件尤為突出，其暴發(fā)時間早、規(guī)模強度大，后果已嚴重威脅 了無錫等市的飲水安全，使經(jīng)濟遭受到巨大的損失。因此，防治湖泊水質(zhì)污染，保持生態(tài)平 衡，以保證人類正常的生活環(huán)境，已成為現(xiàn)代社會最重要的問題之一。除了藍藻，還有其它的水域情況需要大范圍監(jiān)測，如海面的赤潮，石油泄漏等引起 的水域污染等。2010年7月16日，大連灣一條輸油管線突然爆炸，造成估計至少上萬噸原油泄漏 入海，對生態(tài)安全造成嚴重危害，給海水養(yǎng)殖及旅游業(yè)等造成了難以估計的損失。大批海洋 生物因中毒或窒息死亡，原油所含的苯和甲苯等有毒化合物會進入食物鏈。此外，潛在的損 害進一步擴展到當(dāng)?shù)厣鷳B(tài)系統(tǒng)中，幸存的生物，在幾年內(nèi)會把毒物的影響遺傳給后代。2010年10月11日，臺風(fēng)凡亞比登陸福建漳浦帶來東南風(fēng)，在惠東鹽港引發(fā)大范圍 赤潮，鹽港2500多個網(wǎng)箱魚類因赤潮缺氧在3天內(nèi)死亡，造成直接經(jīng)濟損失1700多萬元。水質(zhì)監(jiān)測是水質(zhì)評價與水污染防治的主要依據(jù)，隨著水體污染問題的日漸嚴重， 水質(zhì)監(jiān)測成為社會經(jīng)濟可持續(xù)發(fā)展必須解決的重大問題。目前我國內(nèi)陸水體水質(zhì)監(jiān)測主要 采取四種方法(一 )直接檢測法。對要監(jiān)測的湖泊采集水樣，在實驗室進行水質(zhì)分析，得到相關(guān) 化學(xué)參數(shù)，以采樣點的參數(shù)代表附近水域或采用統(tǒng)計學(xué)的方法分析其時空分布。該方法的 優(yōu)點是可以檢測多種水質(zhì)參數(shù)，包括溶解氧、水溫、PH值、電導(dǎo)率、透明度，高錳酸鹽指數(shù)、氨 氮、總氮、總磷、葉綠素A、藻類總密度等等與水質(zhì)密切相關(guān)的信息，不足之處是對大面積的 水域，采用該方法耗時、耗資、耗力，難以獲取大范圍水域狀態(tài)參量，不能滿足對水質(zhì)實時、 連續(xù)、大范圍的監(jiān)測評價要求。(二)固定攝像機監(jiān)控。以太湖為例，目前無錫市環(huán)境檢測中心已和中國電信達成 協(xié)議，采用“全球眼”技術(shù)實現(xiàn)梅梁湖沿岸水域的實時視頻監(jiān)控。該系統(tǒng)已經(jīng)初步完成，但 仍存在一些不足。
1.費用昂貴雙方采用租用服務(wù)的方式，全部建設(shè)由中國電信出資，包括日后的 維護，無錫環(huán)保檢測中心租用其服務(wù)，每年交納大概50萬元的網(wǎng)絡(luò)租賃費用。2.畫質(zhì)不佳電信“全球眼”采用IOMbps光纖接入，在檢測中心的畫面不是很流 暢。目前采用的清晰度為4CIF，幀率不低于20幀，攝像頭采用云臺控制，可遠程進行水平、 上下轉(zhuǎn)動以及遠程調(diào)節(jié)鏡頭焦距。3.監(jiān)測域有限近景基本可以看清，但鏡頭拉遠時水上畫面無法辨別，其一方面 和攝像頭質(zhì)量有關(guān)，另一方面和云臺架設(shè)的高度有關(guān)。(三)人工巡邏監(jiān)視。人工巡邏監(jiān)視由沿水域各地區(qū)、各部門共同完成。在沿岸區(qū) 設(shè)置巡視點，主要記錄觀測點周邊水域的風(fēng)向、水色、污染面積、藻類聚集情況，根據(jù)事件發(fā) 生級別確定觀測頻次。人工巡視具有較強主觀性，對水色、藻類聚集狀況等判斷標準難以統(tǒng) 一，污染面積等參數(shù)只能估算得出，監(jiān)測頻次較高時需要消耗大量人力、物力。(四)遙感監(jiān)測法。目前常用的內(nèi)陸水體水質(zhì)遙感監(jiān)測是基于經(jīng)驗、統(tǒng)計分析、水 質(zhì)參數(shù)光譜特征等選擇遙感波段數(shù)據(jù)進行統(tǒng)計分析，建立水質(zhì)參數(shù)反演算法實現(xiàn)的。70年 代初期開始，對陸地水體的遙感研究從單純的水域識別發(fā)展到對水質(zhì)參數(shù)進行遙感監(jiān)測、 制圖和預(yù)測。隨著對物質(zhì)光譜特征研究的深入、算法的改進以及遙感技術(shù)本身的不斷革 新，遙感監(jiān)測水質(zhì)從定性發(fā)展到定量，且可通過遙感預(yù)測的水質(zhì)參數(shù)種類逐漸增加，包括懸 浮顆粒物、水體透明度、葉綠素a濃度以及溶解性有機物、水中入射與出射光的垂直衰減系 數(shù)，和一些綜合污染指標如營養(yǎng)狀態(tài)指數(shù)等。遙感監(jiān)測又分為兩類一是基于高空間分辨率，如法國SPOT衛(wèi)星的HRV數(shù)據(jù)、美國 陸地探測衛(wèi)星系統(tǒng)LANDSAT的TM(Thematic Mapper)數(shù)據(jù)或搭載在Terro衛(wèi)星上的ASTER 數(shù)據(jù)等對湖泊相關(guān)信息的直接提取；二是基于中低空間分辨率如氣象衛(wèi)星NOAA的AVHRR、 美國 1999 年發(fā)射的 Terra(EOS-AMI)衛(wèi)星上搭載的 MODIS (Moderate-resolution Imaging Spectroradiometer)等數(shù)據(jù)結(jié)合相關(guān)的算法來提取目標信息。遙感技術(shù)是大范圍水質(zhì)監(jiān)測中備受矚目的方法，但是仍然存在以下問題1.高分辨率遙感影像時間分辨率低且價格昂貴。如ASTER重復(fù)覆蓋周期為4 16天，TM的運行周期為16天，SPOT的軌道是“定態(tài)”(phased)的，重復(fù)覆蓋周期為26天。 ASTER影像大約為800元/景；TM影像4000元/景；SP0T1、2、3、4影像數(shù)據(jù)9900元/景， 分辨率IOm和5m的S0PT5則為14900元/景，2. 5m的高達29800元/景。2.中低分辨率的遙感監(jiān)測數(shù)據(jù)存在混合象元問題，精度受限。遙感對地物的探測 是以像元為單位，像元具有一定的面積，且很少是由單一均勻的地表覆蓋類組成的，一般都 是幾種地物的混合體。盡管不同的自然地物有其不同的光譜、時間、角度等特征，但是遙感 記錄的像元只有單一的光譜、時間、角度等特征，即混雜后的特征，從而給遙感解譯造成困 擾。MODIS儀器的地面分辨率為250m、500m和1000m ；AVHRR的星下點分辨率為1. Ikm,由于 掃描角大，圖像邊緣部分變形較大，實際上其最有用的部分在士 15°范圍內(nèi)(15°處地面 分辨率為1.5km)?；旌舷笤獑栴}是遙感技術(shù)向定量化深入發(fā)展的重要障礙。3.遙感圖像易受云層、大氣影響，導(dǎo)致無法獲得地面影像或干擾較大，多雨季節(jié)難 以實時連續(xù)跟蹤水面動態(tài)變化。太湖流域多雨，年均降水量為1100毫升，其屬亞熱帶季風(fēng) 氣候區(qū)，每年春夏之交，北上的暖氣流和南下的冷氣流相遇于此，兩者勢均力敵，相持時間 一個月，甚至五六十天，形成連綿不斷的梅雨，而此時也正是藍藻高發(fā)期，遙感監(jiān)測難以發(fā)揮效用。衛(wèi)星傳感器接收的是地物反射太陽輻射的信號，在太陽輻射與地球大氣的相互作 用中，會產(chǎn)生吸收、反射、散射與發(fā)射等效應(yīng)，這些都會引起傳感器接收到的信號失真，使圖 像質(zhì)量下降，特別是水體，其反射光譜信號相對陸地較弱，因此大氣狀況會對監(jiān)測結(jié)果造成 較大干擾。各種水域在需要對水面有整體可視狀態(tài)的監(jiān)測時，都存在上面的問題。

發(fā)明內(nèi)容
本發(fā)明要解決的問題是現(xiàn)有技術(shù)對水面的監(jiān)測存在不足，如不能滿足大面積水 域監(jiān)測的要求，監(jiān)測實時性不夠，監(jiān)測成本高昂，監(jiān)測精度易受影響等；需要一種簡便易實 現(xiàn)，精度高效果良好的水面監(jiān)測方法。本發(fā)明的技術(shù)方案為基于游弋圖像的水面鳥瞰圖成像方法，首先建立成像系統(tǒng)， 包括服務(wù)器圖像處理系統(tǒng)、客戶端界面顯示與交互系統(tǒng)和游弋船艇視頻采集系統(tǒng)，游弋船 艇視頻采集系統(tǒng)包括視頻采集裝置和GPS定位裝置，服務(wù)器圖像處理系統(tǒng)對視頻數(shù)據(jù)進行 處理得到水面鳥瞰圖像，并輸入客戶端界面顯示與交互系統(tǒng)；其中服務(wù)器圖像處理系統(tǒng) 包括視頻穩(wěn)定模塊、攝像機標定模塊、圖像變換模塊和圖像拼接模塊，客戶端界面顯示與交 互系統(tǒng)包括地圖填充及顯示模塊和網(wǎng)格地圖構(gòu)建模塊，包括以下步驟1)、在船艇上設(shè)置視頻攝像機和GPS定位裝置，視頻攝像機記錄巡邏船艇游歷路 線中視域內(nèi)的水面景象，輸出視頻幀序列，GPS定位裝置實時獲取船艇巡游中的GPS信息， GPS信息與視頻幀序列通過時間一一對應(yīng)；2)將視頻幀序列輸入服務(wù)器圖像處理系統(tǒng)，視頻穩(wěn)定模塊通過全局運動估計、運 動補償和圖像修復(fù)技術(shù)對視頻幀序列進行預(yù)處理，把由于船艇的顛簸導(dǎo)致的畫面抖動去 除，得到穩(wěn)定的視頻序列圖像；3)攝像機標定模塊從視頻攝像機獲取的圖像信息來計算水面世界坐標系中的幾 何信息，完成攝像機標定，得到的信息用于重建水面鳥瞰圖影像信息；4)圖像變換模塊利用攝像機標定模塊的標定信息，包括視頻攝像機內(nèi)外參數(shù)以及 俯仰角等相機姿態(tài)，將視頻幀序列的視角從側(cè)視轉(zhuǎn)換為俯視，再利用圖像重構(gòu)技術(shù)實現(xiàn)對 俯視圖像的空洞填補、圖像清晰化處理，得到視角變換后的清晰鳥瞰圖，其中圖像重構(gòu)采用 基于模板和基于網(wǎng)格的算法；5)圖像拼接模塊將一幅幅孤立的視頻幀序列俯視圖拼合起來，得到一張大圖，拼 接依據(jù)以圖像特征點匹配和對數(shù)圖像處理LIP模型為主，GPS信息的地理坐標為輔；6)網(wǎng)格地圖構(gòu)建模塊依據(jù)經(jīng)緯度信息和地圖坐標的對應(yīng)關(guān)系將水面的地圖按網(wǎng) 格分割，生成基于地理信息系統(tǒng)GIS的電子網(wǎng)格地圖，其中使用可縮放矢量圖形SVG作為地 圖格式，GPS坐標轉(zhuǎn)換為水面地圖坐標，通過GPS經(jīng)緯度與水面地圖坐標的對應(yīng)關(guān)系將地圖 分割為不同的網(wǎng)格，將鳥瞰圖根據(jù)GPS坐標填充到對應(yīng)的水面地圖網(wǎng)格中，生成水域的總 體鳥瞰圖在WEB上發(fā)布。步驟2)中，視頻穩(wěn)定模塊的處理流程如下21)全局運動估計采用塊匹配法和參數(shù)模型估計法；22)圖像運動補償首先對視頻幀序列的無意和有意運動進行參數(shù)估計，采用卡 爾曼狀態(tài)濾波法進行有意運動參數(shù)估計，利用統(tǒng)計學(xué)方法構(gòu)造物理狀態(tài)空間模型，描述有意和無意運動參數(shù)的動態(tài)變化，并基于卡爾曼濾波器估計有意運動參數(shù)，然后通過圖像變 換來補償無意運動，使圖像序列的運動與估計出的有意運動模型一致，從而達到視頻穩(wěn)定 的目的，假設(shè)第η幀圖像fn變換參數(shù)為(Tn，dn)，則變換模型如下
權(quán)利要求
基于游弋圖像的水面鳥瞰圖成像方法，其特征是首先建立成像系統(tǒng)，包括服務(wù)器圖像處理系統(tǒng)、客戶端界面顯示與交互系統(tǒng)和游弋船艇視頻采集系統(tǒng)，游弋船艇視頻采集系統(tǒng)包括視頻采集裝置和GPS定位裝置，服務(wù)器圖像處理系統(tǒng)對視頻數(shù)據(jù)進行處理得到水面鳥瞰圖像，并輸入客戶端界面顯示與交互系統(tǒng)；其中服務(wù)器圖像處理系統(tǒng)包括視頻穩(wěn)定模塊、攝像機標定模塊、圖像變換模塊和圖像拼接模塊，客戶端界面顯示與交互系統(tǒng)包括地圖填充及顯示模塊和網(wǎng)格地圖構(gòu)建模塊，包括以下步驟1)、在船艇上設(shè)置視頻攝像機和GPS定位裝置，視頻攝像機記錄巡邏船艇游歷路線中視域內(nèi)的水面景象，輸出視頻幀序列，GPS定位裝置實時獲取船艇巡游中的GPS信息，GPS信息與視頻幀序列通過時間一一對應(yīng)；2)將視頻幀序列輸入服務(wù)器圖像處理系統(tǒng)，視頻穩(wěn)定模塊通過全局運動估計、運動補償和圖像修復(fù)技術(shù)對視頻幀序列進行預(yù)處理，把由于船艇的顛簸導(dǎo)致的畫面抖動去除，得到穩(wěn)定的視頻序列圖像；3)攝像機標定模塊從視頻攝像機獲取的圖像信息來計算水面世界坐標系中的幾何信息，完成攝像機標定，得到的信息用于重建水面鳥瞰圖影像信息；4)圖像變換模塊利用攝像機標定模塊的標定信息，包括視頻攝像機內(nèi)外參數(shù)以及俯仰角等相機姿態(tài)，將視頻幀序列的視角從側(cè)視轉(zhuǎn)換為俯視，再利用圖像重構(gòu)技術(shù)實現(xiàn)對俯視圖像的空洞填補、圖像清晰化處理，得到視角變換后的清晰鳥瞰圖，其中圖像重構(gòu)采用基于模板和基于網(wǎng)格的算法；5)圖像拼接模塊將一幅幅孤立的視頻幀序列俯視圖拼合起來，得到一張大圖，拼接依據(jù)以圖像特征點匹配和對數(shù)圖像處理LIP模型為主，GPS信息的地理坐標為輔；6)網(wǎng)格地圖構(gòu)建模塊依據(jù)經(jīng)緯度信息和地圖坐標的對應(yīng)關(guān)系將水面的地圖按網(wǎng)格分割，生成基于地理信息系統(tǒng)GIS的電子網(wǎng)格地圖，其中使用可縮放矢量圖形SVG作為地圖格式，GPS坐標轉(zhuǎn)換為水面地圖坐標，通過GPS經(jīng)緯度與水面地圖坐標的對應(yīng)關(guān)系將地圖分割為不同的網(wǎng)格，將鳥瞰圖根據(jù)GPS坐標填充到對應(yīng)的水面地圖網(wǎng)格中，生成水域的總體鳥瞰圖在WEB上發(fā)布。
2.根據(jù)權(quán)利要求1所述的基于游弋圖像的水面鳥瞰圖成像方法，其特征是步驟2)中， 視頻穩(wěn)定模塊的處理流程如下21)全局運動估計采用塊匹配法和參數(shù)模型估計法；22)圖像運動補償首先對視頻幀序列的無意和有意運動進行參數(shù)估計，采用卡爾曼 狀態(tài)濾波法進行有意運動參數(shù)估計，利用統(tǒng)計學(xué)方法構(gòu)造物理狀態(tài)空間模型，描述有意和 無意運動參數(shù)的動態(tài)變化，并基于卡爾曼濾波器估計有意運動參數(shù)，然后通過圖像變換來 補償無意運動，使圖像序列的運動與估計出的有意運動模型一致，從而達到視頻穩(wěn)定的目 的，假設(shè)第η幀圖像fn變換參數(shù)為(Tn，dn)，則變換模型如下Pn =TnPn+ dn⑴其中，Pn為圖像變換后的點坐標向量，根據(jù)卡爾曼濾波的狀態(tài)方程和觀測方程，得到Pn =TnPn^rdn= (Tn(TJ1)Pn - (Tn(Tny dn + dn⑵因此，第η幀圖像fn的變換過程可描述如下
3.根據(jù)權(quán)利要求1所述的基于游弋圖像的水面鳥瞰圖成像方法，其特征是視頻攝像機 為針孔攝像機，步驟3)攝像機標定時在傳統(tǒng)的攝像機標定方法基礎(chǔ)上對內(nèi)外參分別標定， 以一個結(jié)構(gòu)已知的標定塊作為空間參照物，利用標定塊上一組非退化點的三維坐標和相應(yīng) 的圖像坐標通過一系列數(shù)學(xué)變換和計算方法，求取攝像機模型的內(nèi)部參數(shù)和外部參數(shù)，內(nèi) 參標定在室內(nèi)實驗環(huán)境下完成，采用傳統(tǒng)的基于標定模板的方法；外參進行在線標定，通過 提取場景中的固定特征參照物實現(xiàn)。
4.根據(jù)權(quán)利要求1所述的基于游弋圖像的水面鳥瞰圖成像方法，其特征是步驟4)中， 圖像變換模塊通過圖像逆向映射技術(shù)實現(xiàn)視頻幀的視角轉(zhuǎn)換，建立從目的域到參考域的映 射關(guān)系矩陣，目的域為鳥瞰圖，參考域為視頻幀圖像，用攝像機標定得到的信息預(yù)先重建目 的域的深度信息，根據(jù)所需構(gòu)建的鳥瞰圖中某一點的坐標(X，Y)，通過映射關(guān)系矩陣計算得 到該點的像平面坐標(x，y)，再將(x，y)處像素值賦值于(X，Y)，將視頻幀序列的視角從側(cè) 視轉(zhuǎn)換為俯視；圖像重構(gòu)采用基于模板的算法。
5.根據(jù)權(quán)利要求1所述的基于游弋圖像的水面鳥瞰圖成像方法，其特征是步驟5)的圖 像拼接模塊的處理流程包括圖像預(yù)處理、圖像配準、圖像融合，其中圖像預(yù)處理對參考圖像和待拼接圖像進行預(yù)處理，參考圖像取視頻序列的第一幀圖 像，預(yù)處理包括圖像處理的基本操作、建立圖像的匹配模板和對圖像進行變換，其中將參考 圖像作為匹配模板，根據(jù)實際情況可以做一些剪切，對圖像進行變換用以提取圖像特征，包 括傅立葉變換、小波變換、Gabor變換，之后提取圖像的特征集合，利用特征計算參考圖像和 待拼接圖像的粗略位置關(guān)系，即對待拼接圖像進行粗略定位，找到大致的重疊區(qū)域，縮小匹 配范圍，提高速度；圖像配準采用改進的歸一化灰度級相關(guān)方法NGC結(jié)合GPS定位數(shù)據(jù)進行圖像配準，改 進的歸一化灰度級相關(guān)方法NGC為將圖像的匹配模板中像素的灰度級乘以待拼接圖像中 被匹配模板覆蓋的對應(yīng)像素的灰度級，得到的總和NC值存儲在二維數(shù)組中，所述匹配模板 和待拼接圖像均未已經(jīng)過步驟4)轉(zhuǎn)化的鳥瞰圖
6.根據(jù)權(quán)利要求5所述的基于游弋圖像的水面鳥瞰圖成像方法，其特征是圖像拼合 中，把位于1<χ，>ο處的像素點的亮度值視為一個三維向量，稱之為彩色向量，用》 表示，
7.根據(jù)權(quán)利要求1所述的基于游弋圖像的水面鳥瞰圖成像方法，其特征是步驟6)中將 水面的地圖按網(wǎng)格分割時，分割為大小均勻的六邊形網(wǎng)格地圖。
全文摘要
基于游弋圖像的水面鳥瞰圖成像方法，首先建立成像系統(tǒng)，包括服務(wù)器圖像處理系統(tǒng)、客戶端界面顯示與交互系統(tǒng)和游弋船艇視頻采集系統(tǒng)，在船艇上設(shè)置視頻攝像機和GPS定位裝置，采集水面視頻數(shù)據(jù)，服務(wù)器圖像處理系統(tǒng)對視頻數(shù)據(jù)進行處理得到水面鳥瞰圖像，并輸入客戶端界面顯示與交互系統(tǒng)。本發(fā)明通過游弋船艇采集水面視頻，轉(zhuǎn)化為水面的鳥瞰圖像，失真小，噪聲干擾少；周期短，時效性高；投入低，兼容性好。
文檔編號G06T1/00GK101976429SQ20101052119
公開日2011年2月16日 申請日期2010年10月27日 優(yōu)先權(quán)日2010年10月27日
發(fā)明者劉虎, 吳聰, 張瀟, 李勃, 江登表, 董蓉, 郁健, 陳啟美, 陳晨, 顧昊 申請人:南京大學(xué)