專利名稱：攝影圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝影圖像處理方法，通過將例如安裝在直升機(jī)上的攝影裝置傳送的圖像按照與地理情報(bào)系統(tǒng)的地圖重合的方式進(jìn)行顯示，從而容易判斷震災(zāi)等地面的狀況，精度良好。
背景技術(shù)：
圖14是特許第2695393號(hào)公報(bào)顯示的現(xiàn)有技術(shù)裝置原理構(gòu)成的示意圖。在空中飛行的直升機(jī)1等機(jī)體中，安裝電視攝像機(jī)等攝像裝置2，對(duì)目標(biāo)物體3進(jìn)行攝影。目標(biāo)物體3是存在于三維狀起伏的地表面4上，而不存在于地表面4在水平面上的投影的二維平面5上。在該例中，測定直升機(jī)1目前的位置，由朝著目標(biāo)物體位置的方向延伸的直線與地表面4的交點(diǎn)來確定目標(biāo)物體3的位置。因?yàn)榈乇砻?距離二維平面5的高度H是不同的，因此判斷到目標(biāo)物體3的直線到二維平面5的延長交點(diǎn)位置與目標(biāo)物體3在二維平面5內(nèi)的投影位置存在著差異E的不同位置。在這種現(xiàn)有技術(shù)中，可以正確的確定目標(biāo)物體3在地表面4上的位置。
圖16表示由圖15的空攝圖像發(fā)現(xiàn)災(zāi)害發(fā)生地點(diǎn)的過程。圖16(1)表示與災(zāi)害發(fā)生地點(diǎn)20對(duì)應(yīng)的畫面。圖16(2)表示其放大圖，可以更詳細(xì)的了解受害情況。根據(jù)包括拍攝空攝圖像6的機(jī)體安裝攝像機(jī)的方位角PAN、升降角TILT以及直升機(jī)1的高度情報(bào)的三維位置情報(bào)，確定災(zāi)害發(fā)生地20。
圖17是確定的災(zāi)害發(fā)生地點(diǎn)20與二維地面一同顯示的圖像狀態(tài)。在災(zāi)害發(fā)生地點(diǎn)20的周圍，顯示了與進(jìn)行影像顯示的攝像機(jī)的視野21相對(duì)應(yīng)的區(qū)域，箭頭22表示攝像機(jī)的方向。由于各種原因，對(duì)災(zāi)害發(fā)生地點(diǎn)20會(huì)產(chǎn)生誤差，需要通過考慮攝像機(jī)的視野21和攝像機(jī)方向22來檢查空攝圖像6，由此正確的確定災(zāi)害發(fā)生地點(diǎn)20。
圖18表示與圖14的直升機(jī)1上安裝位置有特定關(guān)聯(lián)的機(jī)器的概要結(jié)構(gòu)圖。攝影裝置2包括攝像機(jī)30以及萬向節(jié)單元31，攝像機(jī)30包括TV攝像機(jī)30a以及紅外線攝像機(jī)30b，由此可以得到晝夜的空攝圖像。攝像機(jī)30安裝了內(nèi)置有2軸或3軸穩(wěn)定化的陀螺儀的萬向節(jié)單元31，對(duì)圖14的直升機(jī)1的外部進(jìn)行拍攝。
通過數(shù)據(jù)變換、系統(tǒng)電源分配、行視頻處理以及萬向節(jié)控制單元32，對(duì)利用攝影裝置2拍攝的圖像信號(hào)以及萬向節(jié)單元31的方向進(jìn)行處理或控制。所處理的視頻圖像和聲音情報(bào)用VTR33記錄在磁帶上，并利用監(jiān)視器34進(jìn)行圖像顯示。攝像機(jī)30的焦點(diǎn)調(diào)整以及萬向節(jié)單元31的方向的控制由攝影控制單元35來操作。
以下對(duì)現(xiàn)有技術(shù)的操作進(jìn)行說明。
根據(jù)通過GPS天線36由GPS信號(hào)接收機(jī)37從GPS衛(wèi)星接收的電波，測定圖14的直升機(jī)1目前的位置。利用從4個(gè)GPS衛(wèi)星接收的電波，求得直升機(jī)1目前的三維位置。將含有距地表面的高度情報(bào)的地勢數(shù)據(jù)存儲(chǔ)在三維地理數(shù)據(jù)存儲(chǔ)裝置38中。這種數(shù)據(jù)的實(shí)例例如國土地理院發(fā)行的三維地勢數(shù)據(jù)。利用位置檢出裝置39讀出三維地理數(shù)據(jù)存儲(chǔ)裝置38內(nèi)所存儲(chǔ)的內(nèi)容，形成地像。并且，根據(jù)從GPS信號(hào)接收機(jī)37的輸出，進(jìn)行自機(jī)位置的輸出。而且，直升機(jī)1的機(jī)頭方向的輸出、攝影的日期及時(shí)間等的輸出、目標(biāo)的顯示等，進(jìn)行這種補(bǔ)正。
數(shù)據(jù)處理單元40響應(yīng)位置檢出裝置39的輸出，計(jì)算目標(biāo)物的位置，對(duì)圖17顯示的二維表示的圖像數(shù)據(jù)進(jìn)行處理，攝像機(jī)30的操作者以及直升機(jī)1的駕駛員之間的聯(lián)絡(luò)等通過機(jī)內(nèi)對(duì)話系統(tǒng)41進(jìn)行。利用數(shù)據(jù)處理單元40處理的圖像數(shù)據(jù)通過分配單元42送至發(fā)送單元43，從發(fā)送天線44發(fā)送電波。通過自動(dòng)跟蹤單元45控制發(fā)送天線44，指向圖15顯示的現(xiàn)場本部指揮車7或?yàn)?zāi)害應(yīng)對(duì)本部10的方向。自動(dòng)跟蹤單元45不是必要的，也沒有特別的限制，但是安裝自動(dòng)跟蹤單元45，在從發(fā)送天線44發(fā)送的功率小的時(shí)候也能有效地向遠(yuǎn)方傳送。分配單元42選擇發(fā)送項(xiàng)目、進(jìn)行發(fā)送控制、進(jìn)行信號(hào)分配等。發(fā)送單元43，對(duì)分配單元42所選擇的各項(xiàng)目的圖像和聲音以及數(shù)據(jù)進(jìn)行發(fā)送。利用監(jiān)視器34觀看發(fā)送的圖像。
圖19表示災(zāi)害應(yīng)對(duì)本部10接收從圖18所示直升機(jī)1的機(jī)器發(fā)送的圖像等電波信號(hào)的構(gòu)成。操作臺(tái)14有數(shù)據(jù)處理單元50以及地像生成單元51等。數(shù)據(jù)處理單元50對(duì)所接收的圖像數(shù)據(jù)進(jìn)行處理或數(shù)據(jù)變換等。地像生成單元51生成二維地像、三維地像、以及輸出日期和時(shí)間等。
在自動(dòng)跟蹤天線裝置11內(nèi)，包括有自動(dòng)跟蹤天線55、天線控制單元56以及信號(hào)接收單元57等，自動(dòng)跟蹤天線55使用高效率指向性好的天線，天線控制單元56將指向性朝著直升機(jī)1的方向控制。自動(dòng)跟蹤天線55接收的電波由接收單元57接收，將包括圖像數(shù)據(jù)等的各種項(xiàng)目的接收數(shù)據(jù)向數(shù)據(jù)處理單元50輸入。
數(shù)據(jù)處理單元50，將從直升機(jī)1接收的圖像數(shù)據(jù)等的處理結(jié)果用大型投影儀13內(nèi)設(shè)置的防災(zāi)用監(jiān)視器62進(jìn)行圖像顯示，并用VTR61記錄。監(jiān)視器60可以顯示圖17所示的二維地像，用VTR61對(duì)該二維地像進(jìn)行記錄。圖17所示的二維地像在災(zāi)害發(fā)生時(shí)用于防災(zāi)，在平時(shí)用于運(yùn)航管理，利用監(jiān)視器60顯示三維地像。三維地像是直升機(jī)1周圍的山岳等障礙物的三維顯示，提醒運(yùn)航注意。三維地像是根據(jù)來自圖18的位置檢出裝置39的自機(jī)位置輸出由地像生成單元51生成的，并由VTR63進(jìn)行記錄。
圖18的攝像機(jī)30拍攝的圖像數(shù)據(jù)由在控制裝置12設(shè)置的監(jiān)視器65顯示，并由VTR66記錄。圖18所示的攝像機(jī)30設(shè)有可見光用的TV攝像機(jī)30a、紅外線用的紅外線攝像機(jī)30b，適合于進(jìn)行切換，從而可以得到晝夜的圖像。一般來說，白天使用TV攝像機(jī)30a，晚上使用紅外線攝像機(jī)30b，在火災(zāi)發(fā)生的時(shí)候，晚上也可以使用TV攝像機(jī)30a。并且，在白天有煙霧不能利用TV攝像機(jī)30a獲得良好的圖像時(shí)，也可以使用紅外線攝像機(jī)30b。
現(xiàn)有技術(shù)存在的問題是，在現(xiàn)有技術(shù)中如上構(gòu)成的位置特定方法及裝置中，僅利用拍攝的圖像確定目標(biāo)地點(diǎn)，利用這種圖像指示目標(biāo)地點(diǎn)，因此使得目標(biāo)地點(diǎn)特定化。但是，不能確認(rèn)出所使用的圖像情報(bào)與實(shí)際的地點(diǎn)之間的偏離，不能確認(rèn)出這種誤差，因此難以高精度的判斷目標(biāo)地點(diǎn)。而且，由于是一張圖像，不能利用一張圖像得到廣范圍的情報(bào)，因此存在著利用多張圖像對(duì)廣范圍的目標(biāo)區(qū)域進(jìn)行判定的問題。
發(fā)明概述本發(fā)明是為了解決上述問題而作出的，通過將攝影圖像與地圖情報(bào)系統(tǒng)的地圖進(jìn)行重合顯示，容易確認(rèn)圖像情報(bào)與地圖之間的重合性，從而提供一種容易判斷目標(biāo)地點(diǎn)的攝影圖像處理方法。
本發(fā)明涉及一種攝影圖像處理方法，這是一種由空中的機(jī)體上安裝的攝影裝置對(duì)地表面進(jìn)行攝影、從而實(shí)現(xiàn)對(duì)地表面的存在狀況進(jìn)行識(shí)別的目的的攝影圖像處理方法，對(duì)在空中的攝影位置進(jìn)行三維的確定，而計(jì)算所拍攝的地表面的攝影范圍，將該攝影范圍與攝影圖像一起進(jìn)行變形，由此與地理情報(bào)系統(tǒng)的地圖進(jìn)行重合顯示。
而且本發(fā)明是一種利用空中的機(jī)體上安裝的攝影裝置對(duì)地表面進(jìn)行連續(xù)攝影、從而實(shí)現(xiàn)對(duì)地表面的存在狀況進(jìn)行識(shí)別為目的的攝影圖像處理方法，對(duì)在空中的攝影位置進(jìn)行三維的確定，而計(jì)算所連續(xù)拍攝的多張地表面的各攝影范圍，將該各攝影范圍與各攝影圖像一起進(jìn)行變形，由此將該多張攝影圖像與地理情報(bào)系統(tǒng)的地圖進(jìn)行重合顯示。
而且在上述攝影圖像處理方法中，重合的多張攝影圖像是將其相互間的一部分進(jìn)行重復(fù)接合而成的。
而且在上述攝影圖像處理方法中，重復(fù)接合的攝影圖像是為了使這種重復(fù)部分中重復(fù)狀態(tài)最多而對(duì)攝影圖像進(jìn)行移動(dòng)補(bǔ)正之后進(jìn)行接合而成的。
在上述攝影圖像處理方法中，重復(fù)接合的多張攝影圖像是將連續(xù)拍攝的圖像按照預(yù)定的周期抽樣而成的。
在上述攝影圖像處理方法中，變更抽樣周期。
在上述攝影圖像處理方法中，根據(jù)上述攝影裝置的相對(duì)于上述機(jī)體傾角和旋轉(zhuǎn)角度計(jì)算拍攝的地表面的攝影范圍。
在上述攝影圖像處理方法中，根據(jù)上述機(jī)體相對(duì)于地表面的傾角和滾動(dòng)(roll)角度而計(jì)算拍攝的地表面的攝影范圍。
在上述攝影圖像處理方法中，根據(jù)上述攝影裝置的相對(duì)于上述機(jī)體傾角和旋轉(zhuǎn)角度以及根據(jù)上述機(jī)體相對(duì)于地表面的傾角和滾動(dòng)(roll)角度而計(jì)算拍攝的地表面的攝影范圍。
在上述攝影圖像處理方法中，在計(jì)算地表面的拍攝范圍之后，利用預(yù)先形成的含有地表面起伏的高度信息的三維地勢數(shù)據(jù)求得上述拍攝范圍的地表面高度，從機(jī)體的絕對(duì)高度中減去地表面的高度得到作為相對(duì)高度的拍攝地點(diǎn)的高度，與該拍攝范圍一起，通過將攝影圖像變形，與地理情報(bào)系統(tǒng)地圖上進(jìn)行重合顯示。
本發(fā)明的攝影圖像處理方法，是利用空中的機(jī)體上安裝的拍攝裝置對(duì)地表面進(jìn)行攝影、從而實(shí)現(xiàn)對(duì)地表面的存在狀況進(jìn)行識(shí)別為目的的一種攝影圖像處理方法，對(duì)空中的攝影位置進(jìn)行三維確定，將上述機(jī)體位置信息、攝像機(jī)信息、機(jī)體信息與拍攝的圖像進(jìn)行同步傳送，在接收側(cè)計(jì)算拍攝的地表面的拍攝范圍，將該拍攝范圍與拍攝圖像一起變形后，在地理情報(bào)系統(tǒng)地圖上進(jìn)行重合顯示。
在上述攝影圖像處理方法中，在地圖上重合的拍攝圖像消除了殘留的攝影范圍框架。
在上述攝影圖像處理方法中，所顯示的圖像方向是與拍攝裝置的方向無關(guān)的一定的方向。
附圖的簡要說明圖1是本發(fā)明實(shí)施方案1的實(shí)施攝影圖像處理方法的系統(tǒng)功能說明圖；圖2是實(shí)施方案1的地圖處理系統(tǒng)的功能的說明圖；圖3是表示實(shí)施方案1中所顯示的畫面的照片；圖4是由本發(fā)明實(shí)施方案2的攝影圖像處理方法得到的顯示畫面的照片；圖5是本發(fā)明實(shí)施方案3的說明圖；圖6是實(shí)施方案3中地圖處理的說明圖；圖7是本發(fā)明實(shí)施方案4的說明圖；圖8是實(shí)施方案4中地圖處理的說明圖；圖9是本發(fā)明實(shí)施方案5的說明圖；圖10是實(shí)施方案5中地圖處理的說明圖；圖11是本發(fā)明實(shí)施方案6的攝影圖像處理方法的地圖處理的說明圖；圖12是本發(fā)明實(shí)施方案7的攝影圖像處理方法的地圖處理的說明圖；圖13是本發(fā)明實(shí)施方案8的攝影圖像處理方法的說明圖；圖14是現(xiàn)有技術(shù)裝置的基本構(gòu)成圖；圖15是現(xiàn)有技術(shù)的災(zāi)害攝影系統(tǒng)的構(gòu)成圖；圖16是現(xiàn)有技術(shù)的空攝圖像及其部分放大圖；圖17是現(xiàn)有技術(shù)的災(zāi)害發(fā)生地點(diǎn)后的二維顯示圖；圖18是現(xiàn)有技術(shù)的機(jī)上系統(tǒng)電氣構(gòu)成的方框圖；圖19是現(xiàn)有技術(shù)的災(zāi)害對(duì)應(yīng)本部內(nèi)的機(jī)器的電氣構(gòu)成方框圖。
優(yōu)選實(shí)施方案的詳細(xì)說明實(shí)施方案1以下對(duì)本發(fā)明的概要進(jìn)行說明。本發(fā)明中，通過個(gè)從空中對(duì)地上所拍攝的拍攝圖像與地理信息系統(tǒng)(GIS＝Geographic Information System在計(jì)算機(jī)顯示屏上顯示地圖的系統(tǒng))的地圖上進(jìn)行重合顯示，容易確認(rèn)圖像信息和地圖之間的重合性，容易判斷目標(biāo)地點(diǎn)。但是，在從空中利用攝像機(jī)對(duì)地上進(jìn)行拍攝的情況下，這種圖像與攝像機(jī)的方向無關(guān)，通常只是一定的矩形形狀，所拍攝的圖像與通過地理信息系統(tǒng)得到的地圖不能按原樣重合(貼上)。在本發(fā)明中，通過用拍攝圖像時(shí)攝像機(jī)的信息以及機(jī)體姿勢信息而進(jìn)行計(jì)算，根據(jù)攝像機(jī)相對(duì)于地上的姿勢，由矩形向梯形或菱形的近似形狀等，計(jì)算復(fù)雜變換拍攝的地表面的拍攝范圍(＝拍攝畫框)，將該畫框與圖像一起變形而貼在地圖上，進(jìn)行顯示。
以下參照


本發(fā)明的實(shí)施方案1的攝影圖像處理方法。圖1是說明實(shí)施本發(fā)明的系統(tǒng)的各機(jī)能的方框形式的功能說明圖，圖2是說明地圖處理的功能說明圖。通過由安裝有攝影裝置(＝攝像機(jī))等的直升機(jī)等的飛行體(＝機(jī)體)構(gòu)成機(jī)上系統(tǒng)100、以及對(duì)從機(jī)上系統(tǒng)100發(fā)送的信號(hào)進(jìn)行處理的在地上設(shè)置的地上系統(tǒng)200來實(shí)現(xiàn)本發(fā)明的方法。
在機(jī)上系統(tǒng)100中，機(jī)體101中安裝了作為從空中對(duì)地上進(jìn)行拍攝的攝影裝置的攝像機(jī)102。機(jī)體101通過利用天線進(jìn)行的GPS信號(hào)接收103而獲得當(dāng)前的位置信息，進(jìn)行機(jī)體位置的檢測108。機(jī)體101設(shè)有陀螺儀，檢測機(jī)體101的姿勢也就是仰角(＝間距)與滾動(dòng)角，從而實(shí)現(xiàn)機(jī)體姿勢檢測107。
作為攝影裝置的攝像機(jī)102，對(duì)地上進(jìn)行攝影105，與該圖像信號(hào)的輸出同步的是，一并輸出攝像機(jī)的光圈、變焦等攝像機(jī)信息。攝像機(jī)102安裝在萬向節(jié)上，該萬向節(jié)檢測攝像機(jī)的旋轉(zhuǎn)角、傾角(＝傾斜角)，從而進(jìn)行攝像機(jī)姿勢的檢測106，并進(jìn)行輸出。
利用調(diào)制手段對(duì)上述機(jī)體位置檢測108的輸出信號(hào)、機(jī)體姿勢檢測107的輸出信號(hào)、攝像機(jī)攝影105的圖像信號(hào)、攝像機(jī)信息信號(hào)、攝像機(jī)姿勢檢測106的輸出信號(hào)進(jìn)行多重調(diào)制109，變換為數(shù)字信號(hào)110，從有跟蹤111功能的天線向地上系統(tǒng)200發(fā)送信號(hào)104。
地上系統(tǒng)200中，利用有跟蹤202功能的天線從機(jī)上系統(tǒng)100接收信號(hào)201，進(jìn)行信號(hào)變換203，經(jīng)過多重解調(diào)204，得到圖像信號(hào)及其他的機(jī)體位置、機(jī)體姿勢、攝像機(jī)姿勢、攝像機(jī)信息等信息信號(hào)。所得到的信息信號(hào)經(jīng)過信號(hào)處理205，然后圖像信號(hào)作為動(dòng)畫數(shù)據(jù)(MPEG)207、靜止畫面數(shù)據(jù)(JPEG)進(jìn)行如以下步驟的地圖處理206。其他的信息信號(hào)也用于地圖處理206。
地圖處理206具有圖2所示的功能。地圖處理206中，如圖2所示，根據(jù)作為動(dòng)畫數(shù)據(jù)207和靜止畫面數(shù)據(jù)208的圖像信號(hào)、機(jī)體位置、機(jī)體姿勢、攝像機(jī)姿勢的信息信號(hào)、以及地理信息系統(tǒng)的二維地圖數(shù)據(jù)209、三維地勢數(shù)據(jù)210進(jìn)行處理。
地圖處理206中，首先將空中的攝影位置按照三維的方式進(jìn)行確定，根據(jù)攝影機(jī)和機(jī)體的相對(duì)于地表面的姿勢，計(jì)算拍攝的地表面的攝影范圍(＝攝影畫框)，從而進(jìn)行畫框的計(jì)算212。將該畫框與圖像一起進(jìn)行變形213。這種圖像的變形是將圖像與地圖一致的進(jìn)行梯形或菱形等近似形狀的圖像變形。然后將變形的圖像在地理信息系統(tǒng)的地圖上進(jìn)行重合(貼合)214。然后，由CRT等監(jiān)視器進(jìn)行顯示211。
圖3是在地理信息系統(tǒng)的地圖301上將攝影畫框303與地圖合在一起而重合攝影圖像302的照片。304是機(jī)體飛行路徑，305是機(jī)體位置(攝像機(jī)位置)。通過進(jìn)行上述包括變形處理的地圖處理206，如圖3所示，圖像與地圖成高精度的一致，容易確認(rèn)圖像信息與地圖的重合性，容易判斷目標(biāo)地點(diǎn)。
圖3中，攝像機(jī)拍攝的畫框的圖像可在地圖上重合顯示，容易將攝影圖像302去除畫框303進(jìn)行顯示。這樣，攝影圖像302與二維地圖重合。由此，核對(duì)(點(diǎn)擊)根據(jù)拍攝圖像302視覺確認(rèn)例如災(zāi)害發(fā)生的場所(例如發(fā)生火災(zāi)的大廈)等的拍攝圖像302上的這個(gè)位置，然后，可以迅速的識(shí)別出顯示了僅消除畫框303而顯示的攝影圖像302下的二維地圖的攝影圖像上的核對(duì)位置與地圖上何處相當(dāng)。與攝像機(jī)方向無關(guān)，監(jiān)視器顯示的圖像沿一定的方向進(jìn)行顯示，容易判斷目標(biāo)地點(diǎn)。
實(shí)施方案2本實(shí)施方案中，測定機(jī)體101的目前位置，在地理情報(bào)系統(tǒng)地圖上計(jì)算從機(jī)上拍攝的地上的拍攝畫框，將該拍攝畫框與拍攝的圖像一同進(jìn)行變形而貼合，在將拍攝圖像與地圖進(jìn)行對(duì)照的時(shí)候，將連續(xù)拍攝的攝影圖像按照預(yù)定的周期進(jìn)行連續(xù)多張地抽樣，將連續(xù)的多張圖像與地理情報(bào)系統(tǒng)的地圖上進(jìn)行貼合顯示，由該地圖上貼合的圖像確定目標(biāo)的地點(diǎn)。
圖4表示由這種方法得到的監(jiān)視器顯示畫面，301是地圖，304是機(jī)體飛行路徑，305是機(jī)體位置(攝像機(jī)位置)。將由攝像機(jī)沿著飛行路徑304拍攝的圖像按照預(yù)定時(shí)序進(jìn)行抽樣得到各畫框，將拍攝的圖像與畫框一起進(jìn)行變形處理，貼在地圖301上。302a-302f是貼著的圖像，303a-303f是畫框。
攝影畫框的計(jì)算以及各畫框和圖像的變形，可以按照實(shí)施方案1的方式利用攝影時(shí)的攝像機(jī)信息及機(jī)體姿勢信息進(jìn)行計(jì)算。各畫像的抽樣周期根據(jù)機(jī)體的速度而改變。通常，機(jī)體的速度越快，抽樣周期越短，機(jī)體速度越慢，抽樣周期越長。
本實(shí)施方案中，根據(jù)地圖以及多張連續(xù)圖像對(duì)大范圍的地表面狀況進(jìn)行確認(rèn)，從而可以識(shí)別地上的狀況，可以更有效地判斷目標(biāo)地點(diǎn)。
實(shí)施方案3在本實(shí)施方案中，測定機(jī)體101目前的位置以及攝像機(jī)102相對(duì)于機(jī)體的旋轉(zhuǎn)角及傾角(攝像機(jī)的姿勢)，根據(jù)該攝像機(jī)的姿勢在地理信息系統(tǒng)的地圖上計(jì)算從機(jī)上拍攝的地上的拍攝畫框，將拍攝的圖像與該攝影畫框合并進(jìn)行變形而貼合，將拍攝的圖像與地圖進(jìn)行對(duì)照。
在本實(shí)施方案中，根據(jù)作為攝影裝置的攝像機(jī)的姿勢，計(jì)算攝影畫框。通過確認(rèn)拍攝圖像與地圖的位置關(guān)系，可以高精度的識(shí)別地上的狀況。
機(jī)體101與攝像機(jī)102之間的關(guān)系如圖5所示，攝像機(jī)102設(shè)置在萬向節(jié)112中，假定機(jī)體101水平飛行，同(b)、(c)所示，攝像機(jī)102的傾角是從機(jī)體101的中心軸的傾角(＝傾斜角)，攝像機(jī)102的旋轉(zhuǎn)角是相對(duì)于機(jī)體101的行進(jìn)方向的旋轉(zhuǎn)角度。即，在(b)的狀態(tài)下，攝像機(jī)102垂直向下，傾角為0度，在(c)的狀態(tài)下，攝像機(jī)102的傾角θ是距離垂直面的傾角。
攝像機(jī)的攝影畫框的計(jì)算方法，是在計(jì)算機(jī)制圖的基礎(chǔ)上，在3D坐標(biāo)內(nèi)將矩形(畫框)旋轉(zhuǎn)移動(dòng)并投影處理而得到的?；緛碚f，根據(jù)攝像機(jī)信息及機(jī)體信息對(duì)攝像機(jī)的攝影畫框進(jìn)行變換處理，而計(jì)算向地上投影的圖框，得到需要的畫框。3D坐標(biāo)內(nèi)的各坐標(biāo)的計(jì)算方法采用以下的計(jì)算方法。
1)基準(zhǔn)狀態(tài)的攝影畫框計(jì)算首先，如圖6(a)所示，以機(jī)體的位置作為原點(diǎn)，計(jì)算畫框4點(diǎn)位置的相對(duì)坐標(biāo)。由攝像機(jī)的焦點(diǎn)距離、畫角、高度，將攝影畫框按照基準(zhǔn)位置計(jì)算，得到4點(diǎn)的坐標(biāo)。
2)按照攝像機(jī)傾斜(Z軸)計(jì)算4點(diǎn)旋轉(zhuǎn)后的位置如圖6(b)所示，攝影畫框按照攝像機(jī)的傾斜角θ繞Z軸旋轉(zhuǎn)，按照算式1進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式1x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>
3)按照攝像機(jī)的方位角(Y軸)計(jì)算4點(diǎn)旋轉(zhuǎn)后的位置如圖6(c)所示，攝影畫框按照攝像機(jī)的方位角θ繞Y軸旋轉(zhuǎn)，按照算式2進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式2x′y′z′1=xyz1cosθ0-sinθ00100sinθ0cosθ00001]]>4)對(duì)利用算式1和算式2旋轉(zhuǎn)處理后的畫框進(jìn)行從原點(diǎn)(機(jī)體位置)向地表面(Y軸高度地點(diǎn))投影的圖框進(jìn)行計(jì)算如圖6(d)所示，通過將攝影畫框向地表面(Y軸高度)投影，得到投影平面(攝影畫框)。按照算式3進(jìn)行變換而求得投影后的坐標(biāo)。
式3x′y′z′1=xyz110000101/d00100000]]>利用算式4，得到一般的齊次坐標(biāo)系[X，Y，Z，W]。d是海拔高度。
式4[X Y Z W]＝[x y z y/d]然后，利用W’(＝y(tǒng)/d)去除3D，代入算式5。
式5XWYWZW1=xpypzp1=xy/ddzy/d1]]>實(shí)施方案4在本實(shí)施方案中，測定機(jī)體101目前的位置、機(jī)體101的仰角和滾動(dòng)角，利用該仰角和滾動(dòng)角，在地理信息系統(tǒng)的地圖上計(jì)算從機(jī)上拍攝的地上的拍攝畫框，將拍攝的圖像與該攝影畫框合并進(jìn)行變形而貼合，將拍攝的圖像與地圖進(jìn)行對(duì)照。在本實(shí)施方案中，根據(jù)機(jī)體101的相對(duì)于地上的位置信息，計(jì)算攝影畫框，通過確認(rèn)拍攝圖像與地圖的位置關(guān)系，可以高精度的識(shí)別地上的狀況。
機(jī)體與攝像機(jī)之間的關(guān)系如圖7所示，假定攝像機(jī)102固定在機(jī)體101中(也就是不使用萬向節(jié))，如圖(b)所示，在機(jī)體101自身從地上水平飛行的情況下，攝像機(jī)102垂直向下，攝像機(jī)102的傾角為0。如圖(c)所示，機(jī)體101傾斜的情況下，根據(jù)攝像機(jī)102的姿勢，也就是機(jī)體101的仰角(傾角)、滾動(dòng)角計(jì)算攝像機(jī)的攝影畫框。
1)基準(zhǔn)狀態(tài)的攝影畫框計(jì)算如圖8(a)所示，以機(jī)體的位置作為原點(diǎn)，計(jì)算畫框4點(diǎn)位置的相對(duì)坐標(biāo)。由攝像機(jī)的焦點(diǎn)距離、畫角、高度，將攝影畫框按照基準(zhǔn)位置計(jì)算，得到4點(diǎn)的坐標(biāo)。
2)按照攝像機(jī)滾動(dòng)(X軸)計(jì)算4點(diǎn)旋轉(zhuǎn)后的位置如圖8(b)所示，攝影畫框按照機(jī)體的滾動(dòng)角θ繞X軸旋轉(zhuǎn)，按照算式6進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式6x′y′z′1=xyz110000cosθsinθ00-sinθcosθ00001]]>3)按照機(jī)體的傾角(Z軸)計(jì)算4點(diǎn)旋轉(zhuǎn)后的位置如圖8(c)所示，攝影畫框按照機(jī)體的傾角θ繞Z軸旋轉(zhuǎn)，按照算式7進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式7x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>4)對(duì)利用算式6和算式7旋轉(zhuǎn)處理后的畫框進(jìn)行從原點(diǎn)(機(jī)體位置)向地表面(Y軸高度地點(diǎn))投影的圖框進(jìn)行計(jì)算如圖8(d)所示，通過將攝影畫框向地表面(Y軸高度)投影，得到投影平面(攝影畫框)。按照算式8進(jìn)行變換而求得投影后的坐標(biāo)。
式8x′y′z′1=xyz110000101/d00100000]]>利用算式9，得到一般的齊次坐標(biāo)系[X，Y，Z，W]。
式9[X Y Z W]＝[x y z y/d]然后，利用W’(＝y(tǒng)/d)去除3D，代入算式10。
式10XWYWZW1=xpypzp1=xy/ddzy/d1]]>實(shí)施方案5在本實(shí)施方案中，測定機(jī)體101目前的位置、攝像機(jī)102相對(duì)于機(jī)體的旋轉(zhuǎn)角和傾角、該機(jī)體101的仰角和滾動(dòng)角，由此，在地理信息系統(tǒng)的地圖上計(jì)算從機(jī)上拍攝的地上的拍攝畫框，將拍攝的圖像與該攝影畫框合并進(jìn)行變形而貼合，將拍攝的圖像與地圖進(jìn)行對(duì)照。在本實(shí)施方案中，根據(jù)攝像機(jī)的姿勢信息以及機(jī)體的姿勢信息，計(jì)算攝影畫框，通過確認(rèn)拍攝圖像與地圖的位置關(guān)系，可以高精度的識(shí)別地上的狀況。
機(jī)體101與攝像機(jī)102之間的關(guān)系如圖9所示，攝像機(jī)102安裝在萬向節(jié)112中，機(jī)體101按照自由的姿勢飛行，如圖(b)所示，輸出萬向節(jié)112形成的攝像機(jī)102的傾角和攝像機(jī)的旋轉(zhuǎn)角。輸出由陀螺儀形成的機(jī)體101自身的相對(duì)于地上的仰角和滾動(dòng)角。
攝像機(jī)的攝影畫框的計(jì)算方法，是在計(jì)算機(jī)制圖的基礎(chǔ)上，在3D坐標(biāo)內(nèi)將矩形(畫框)旋轉(zhuǎn)移動(dòng)并投影處理而得到的?；緛碚f，根據(jù)攝像機(jī)信息及機(jī)體信息對(duì)攝像機(jī)的攝影畫框進(jìn)行變換處理，而計(jì)算向地上投影的圖框，得到需要的畫框。
3D坐標(biāo)內(nèi)的各坐標(biāo)的計(jì)算方法采用以下的矩陣計(jì)算方法。
1)基準(zhǔn)狀態(tài)的攝影畫框計(jì)算如圖10(a)所示，以機(jī)體的位置作為原點(diǎn)，計(jì)算畫框4點(diǎn)位置的相對(duì)坐標(biāo)。由攝像機(jī)的焦點(diǎn)距離、畫角、高度，將攝影畫框按照基準(zhǔn)位置計(jì)算，得到4點(diǎn)的坐標(biāo)。
2)按照攝像機(jī)傾角(Z軸)計(jì)算4點(diǎn)旋轉(zhuǎn)后的位置如圖10(b)所示，攝影畫框按照攝像機(jī)的傾斜角θ繞Z軸旋轉(zhuǎn)變換，按照算式11進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式11x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>3)按照攝像機(jī)的方位角(Y軸)計(jì)算4點(diǎn)旋轉(zhuǎn)后的位置如圖10(c)所示，攝影畫框按照攝像機(jī)的方位角θ繞Y軸旋轉(zhuǎn)變換，按照算式12進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式12x′y′z′1=xyz1cosθ0-sinθ00100sinθ0cosθ00001]]>4)按照機(jī)體的滾動(dòng)(X軸)，計(jì)算4點(diǎn)旋轉(zhuǎn)后的位置如圖10(d)所示，攝影畫框按照機(jī)體的滾動(dòng)角θ繞X軸旋轉(zhuǎn)變換，按照算式13進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式13x′y′z′1=xyz110000cosθsinθ00-sinθcosθ00001]]>5)按照機(jī)體的傾角(Z軸)計(jì)算4點(diǎn)旋轉(zhuǎn)后(旋轉(zhuǎn)角θ)的位置如圖10(e)所示，攝影畫框按照機(jī)體的傾角θ繞Z軸旋轉(zhuǎn)變換，按照算式14進(jìn)行變換而求得旋轉(zhuǎn)后的坐標(biāo)。
式14x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>6)對(duì)利用算式11-算式14旋轉(zhuǎn)處理后的畫框進(jìn)行從原點(diǎn)(機(jī)體位置)向地表面(Y軸高度地點(diǎn))投影的圖框進(jìn)行計(jì)算如圖10(f)所示，通過將攝影畫框向地表面投影，得到投影平面(攝影畫框)。按照算式15進(jìn)行變換而求得投影后的坐標(biāo)。
式15x′y′z′1=xyz110000101/d00100000]]>7)利用算式16，得到一般的齊次坐標(biāo)系[X，Y，Z，W]。
式16[X Y Z W]＝[x y z y/d]8)然后，利用W’(＝y(tǒng)/d)去除3D，代入算式17。
式17XWYWZW1=xpypzp1=xy/ddzy/d1]]>實(shí)施方案6在本實(shí)施方案中，測定機(jī)體101目前的位置、攝像機(jī)102相對(duì)于機(jī)體的旋轉(zhuǎn)角和傾角、該機(jī)體101的仰角和滾動(dòng)角，在地理信息系統(tǒng)的地圖上計(jì)算從機(jī)上拍攝的地上的拍攝畫框。在該攝影畫框的4點(diǎn)的計(jì)算處理中，利用地勢高度數(shù)據(jù)，通過對(duì)機(jī)體101的飛行位置進(jìn)行補(bǔ)正而計(jì)算攝影畫框。將拍攝的圖像與該攝影畫框合并進(jìn)行變形而貼合，將拍攝的圖像與地圖進(jìn)行對(duì)照。
在本實(shí)施方案中，根據(jù)機(jī)體的位置、高度、機(jī)體姿勢信息以及攝像機(jī)的姿勢信息，通過對(duì)地表面的高度地勢信息進(jìn)行補(bǔ)正，計(jì)算攝影畫框，通過確認(rèn)拍攝圖像與地圖的位置關(guān)系，可以高精度的識(shí)別地上的狀況。
如圖11所示，在前述實(shí)施方案5中，對(duì)向利用算式11-算式14旋轉(zhuǎn)處理的地表面的攝影畫框進(jìn)行計(jì)算，所用的機(jī)體高度，是利用相對(duì)于由GPS得到的海拔高度的地表面的地勢高度信息得到的攝影地點(diǎn)的地表面高度(相對(duì)高度d＝海拔高度－地表面高度)，計(jì)算攝影畫框的4點(diǎn)。
1)對(duì)利用算式11-算式14旋轉(zhuǎn)處理后的畫框進(jìn)行從原點(diǎn)(機(jī)體位置)向地表面(Y軸高度地點(diǎn))投影的圖框進(jìn)行計(jì)算通過將攝影畫框向地表面(Y軸高度)投影，得到投影平面。按照算式18進(jìn)行變換而求得投影后的坐標(biāo)。
式18x′y′z′1=xyz110000101/d00100000]]>利用算式19，得到齊次坐標(biāo)系[X，Y，Z，W]。
式19[X Y Z W]＝[x y z y/d]然后，利用W’(＝y(tǒng)/d)去除3D，代入算式20。
式20XWYWZW1=xpypzp1=xy/ddzy/d1]]>如此使用的相對(duì)高度d，是從GPS裝置得到的由地平線起的絕對(duì)高度中減去目標(biāo)地點(diǎn)的地勢高度得到的，利用攝影機(jī)的相對(duì)高度，高精度地計(jì)算攝影畫框的位置。
實(shí)施方案7在本實(shí)施方案中，測定機(jī)體101目前的位置，在地理信息系統(tǒng)的地圖上計(jì)算從機(jī)上拍攝的地上的拍攝畫框。將拍攝的圖像與該攝影畫框合并進(jìn)行變形而貼合，將拍攝的圖像與地圖進(jìn)行對(duì)照的時(shí)候，對(duì)地圖上膠合變形的拍攝圖像選擇連續(xù)的多張，連續(xù)的在地理信息系統(tǒng)的地圖上進(jìn)行膠合顯示，由該地圖上膠合的圖像對(duì)目標(biāo)地點(diǎn)進(jìn)行指定。
在將多張攝影圖像在地理信息系統(tǒng)的地圖上進(jìn)行膠合的處理過程中，根據(jù)所計(jì)算的攝影畫框向變形的多張攝影圖像的地圖上進(jìn)行配置，確認(rèn)各攝影圖像的重復(fù)部分的接合狀態(tài)，為了使圖像重合的情況最多，移動(dòng)圖像進(jìn)行位置補(bǔ)正，使用該補(bǔ)正值在地理信息系統(tǒng)的地圖上將攝影圖像與攝影畫框一起變形，進(jìn)行貼合處理。
這種次序如圖12所示。根據(jù)機(jī)體101的移動(dòng)，重合所拍攝的例如兩張拍攝圖像1(A)和拍攝圖像2(B)，檢測重合部分，為了使圖像重合的情況最多，將A和B相對(duì)移動(dòng)，得到接合時(shí)的位置補(bǔ)正值，進(jìn)行位置補(bǔ)正而接合。位置補(bǔ)正是進(jìn)行圖2的圖像接合補(bǔ)正215。
在本實(shí)施方案中，將多張連續(xù)圖像進(jìn)行更高精度的接合，可以確認(rèn)更廣范圍的地表面狀況，可以識(shí)別地上的狀況。
實(shí)施方案8在本實(shí)施方案中，測定機(jī)體101目前的位置、攝像機(jī)102相對(duì)于機(jī)體的安裝角度和傾角、該機(jī)體101的仰角和滾動(dòng)角，在地理信息系統(tǒng)的地圖上計(jì)算從機(jī)上拍攝的地上的拍攝畫框。將拍攝的圖像與該攝影畫框合并進(jìn)行變形而貼合，將拍攝的圖像與地圖進(jìn)行對(duì)照。
在進(jìn)行這種處理的情況下，由機(jī)上系統(tǒng)100傳送的各信息是完全同步的，因此地上系統(tǒng)200的接收就是重要的，為了實(shí)現(xiàn)這一點(diǎn)，調(diào)整飛行位置檢測裝置的處理時(shí)間、檢測攝像機(jī)的因?yàn)槿f向節(jié)而形成的姿勢的處理時(shí)間、圖像傳送的處理時(shí)間等處理時(shí)間，必須同步傳送攝影圖像。為了實(shí)現(xiàn)這一點(diǎn)，如圖1所示，設(shè)置緩沖器，將機(jī)上的攝像機(jī)的攝影信號(hào)進(jìn)行暫時(shí)存儲(chǔ)113，使得GPS等的機(jī)體位置檢測的計(jì)算處理時(shí)間的延遲同步地向地上系統(tǒng)200傳送。
這種關(guān)系如圖13所述。機(jī)體101接收GPS信號(hào)，機(jī)體位置檢測完畢需要時(shí)間T，在這期間機(jī)體101由P1位置向P2位置移動(dòng)。這樣，在機(jī)體位置檢測完畢之時(shí)，攝像機(jī)102的拍攝區(qū)域是相距在P1位置的拍攝區(qū)域?yàn)镽距離的區(qū)域，因此產(chǎn)生誤差。
這種修正的次序如圖13(b)的時(shí)間圖所示。從用于檢測機(jī)體位置的GPS觀測地點(diǎn)t1，在GPS計(jì)算時(shí)間T的期間，將圖像信號(hào)暫時(shí)保存在緩沖器中，在t2時(shí)將暫時(shí)保存的圖像信號(hào)、機(jī)體位置、機(jī)體姿勢、攝像機(jī)信息等一同傳送。
在本實(shí)施方案中，通過由攝像裝置的安裝信息計(jì)算攝影畫框，確認(rèn)攝影圖像與地圖的位置關(guān)系，從而更高精度的識(shí)別地上的狀況。
根據(jù)如上所述的本發(fā)明，容易確認(rèn)圖像信息與地圖之間的重合性，容易判斷目標(biāo)地點(diǎn)。
而且，利用地圖和多張連續(xù)圖像進(jìn)行廣范圍的位置關(guān)系確認(rèn)，可以識(shí)別地上的狀況。
而且，由作為攝影裝置的攝像機(jī)相對(duì)于地面的姿勢計(jì)算攝影畫框，從而可以確認(rèn)攝影圖像與地圖之間的位置關(guān)系，可以更高精度的識(shí)別地上的狀況。
在圖形處理中，僅剩下畫框在地圖上進(jìn)行重合顯示，使與攝像機(jī)方向無關(guān)的沿一定的方向進(jìn)行顯示，因此容易處理圖像，可以更加迅速識(shí)別地上的狀況。
權(quán)利要求
1.一種攝影圖像處理方法，由空中的機(jī)體(101)上安裝的攝影裝置(102)對(duì)地表面進(jìn)行拍攝，從而識(shí)別該地表面的存在狀況，其特征在于，對(duì)空中的攝影位置進(jìn)行三維確定，計(jì)算求得拍攝的地表面的攝影范圍，將該攝影范圍與攝影圖像一同進(jìn)行變形后，將其在地理信息系統(tǒng)地圖(301)上進(jìn)行重合顯示。
2.一種攝影圖像處理方法，由空中的機(jī)體(101)上安裝的攝影裝置(102)對(duì)地表面進(jìn)行連續(xù)拍攝，從而識(shí)別該地表面的存在狀況，其特征在于，對(duì)空中的攝影位置進(jìn)行三維確定，計(jì)算求得所連續(xù)拍攝的多張地表面的各攝影范圍，將該各攝影范圍與各攝影圖像一同進(jìn)行變形后，將該多張攝影圖像在地理信息系統(tǒng)地圖(301)上進(jìn)行重合顯示。
3.如權(quán)利要求2的攝影圖像處理方法，其中重合的多張攝影圖像其相互間有一部分重復(fù)接合。
4.如權(quán)利要求3的攝影圖像處理方法，其中重復(fù)接合的攝影圖像是在為了使該重復(fù)部分的重復(fù)狀態(tài)最多而對(duì)攝影圖像進(jìn)行移動(dòng)補(bǔ)正之后接合的。
5.如權(quán)利要求2的攝影圖像處理方法，其中重合的多張攝影圖像是對(duì)連續(xù)拍攝的圖像按照預(yù)定的周期進(jìn)行抽樣而得到的。
6.如權(quán)利要求5所述的攝影圖像處理方法，其中變更攝影圖像處理裝置的抽樣周期。
7.如權(quán)利要求1或2的攝影圖像處理方法，其中拍攝的地表面的攝影范圍是根據(jù)上述攝影裝置的相對(duì)于上述機(jī)體(101)的傾角和旋轉(zhuǎn)角而計(jì)算求得的。
8.如權(quán)利要求1或2的攝影圖像處理方法，其中拍攝的地表面的攝影范圍是根據(jù)上述機(jī)體(101)的相對(duì)于地表面的傾角和滾動(dòng)角而計(jì)算求得的。
9.如權(quán)利要求1或2的攝影圖像處理方法，其中拍攝的地表面的攝影范圍是根據(jù)上述攝影裝置的相對(duì)于上述機(jī)體(101)的傾角和旋轉(zhuǎn)角、以及上述機(jī)體(101)的相對(duì)于地表面的傾角和滾動(dòng)角而計(jì)算求得的。
10.如權(quán)利要求1-9中任一項(xiàng)的的攝影圖像處理方法，其中計(jì)算求得地表面的攝影范圍之后，利用含有預(yù)先制成的地表面起伏的高度信息的三維地勢數(shù)據(jù)得到上述攝影范圍的地表面高度，從機(jī)體的絕對(duì)高度中減去地表面高度計(jì)算得到作為相對(duì)高度的攝影地點(diǎn)的高度，將該攝影范圍與拍攝的圖像一起變形，在地理信息系統(tǒng)地圖上進(jìn)行重合顯示。
11.一種攝影圖像處理方法，由空中的機(jī)體(101)上安裝的攝影裝置(102)對(duì)地表面進(jìn)行拍攝，從而識(shí)別該地表面的存在狀況，其特征在于，對(duì)空中的攝影位置進(jìn)行三維確定，同步傳送拍攝的圖像、上述機(jī)體位置信息、攝像機(jī)信息、機(jī)體信息，在接收側(cè)計(jì)算求得所拍攝的地表面的攝影范圍，將該攝影范圍與攝影圖像一同進(jìn)行變形后，在地理信息系統(tǒng)地圖(301)上進(jìn)行重合顯示。
12.如權(quán)利要求1-11任一項(xiàng)的攝影圖像處理方法，其中僅消除地圖(301)上重合顯示的攝影圖像(302)的殘余攝影范圍畫框。
13.如權(quán)利要求1-12任一項(xiàng)的攝影圖像處理方法，所顯示的圖像的方向是沿著與攝影裝置的方向無關(guān)的一定方向。
全文摘要
本發(fā)明提供一種攝影圖像處理方法，它是為了解決在從空中拍攝圖像向地上傳送而在地上對(duì)地上的狀況進(jìn)行掌握的工作中，存在著難以判斷所拍攝的圖像在地圖上的正確位置的問題。本發(fā)明的攝影圖像處理方法是，由空中的機(jī)體上安裝的攝影裝置對(duì)地表面進(jìn)行拍攝，從而識(shí)別該地表面的存在狀況，其特征在于，對(duì)空中的攝影位置進(jìn)行三維確定，計(jì)算求得拍攝的地表面的攝影范圍，將該攝影范圍與攝影圖像一同進(jìn)行變形后，將其在地理信息系統(tǒng)地圖上進(jìn)行重合顯示。
文檔編號(hào)G01C11/00GK1445508SQ0312068
公開日2003年10月1日 申請(qǐng)日期2003年2月25日 優(yōu)先權(quán)日2002年2月25日
發(fā)明者野野山泰匡 申請(qǐng)人:三菱電機(jī)株式會(huì)社