專利名稱：建筑物形狀變化檢測(cè)方法以及建筑物形狀變化檢測(cè)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種根據(jù)從飛行物上攝影的圖像檢測(cè)建筑物等地面物體的 形狀變化的方法以及系統(tǒng)。
背景技術(shù)：
在航空器等飛行物上，使用幀傳感器型數(shù)字相機(jī)取得地表面的圖像(航 空?qǐng)D像)，根據(jù)該航空?qǐng)D像檢測(cè)建筑物的變化。近年來(lái)，根據(jù)利用了該航空 圖像的建筑物形狀的變化檢測(cè)，研究諸如地震等災(zāi)害時(shí)的受災(zāi)狀況的把握 的課題。目前，航空?qǐng)D像數(shù)據(jù)被存儲(chǔ)在航空器上所搭載的數(shù)據(jù)存儲(chǔ)部中，在航 空器著陸后被轉(zhuǎn)移到地面的數(shù)據(jù)處理裝置中并被處理和解析。通過(guò)地面的 數(shù)據(jù)處理裝置，根據(jù)對(duì)新取得的地表面的圖像和已有的地表面的圖像的比 較和對(duì)照而檢測(cè)建筑物的形狀變化。作為圖像的比較和對(duì)照方法，可以考慮航空?qǐng)D像之間的比較、正射圖像的特征點(diǎn)與建筑物多邊形數(shù)據(jù)的比較，DSM (數(shù)字表面模型，Digital Surface Model)之間的比較等。圖12是說(shuō)明進(jìn)行航空?qǐng)D像之間的比較的方法的流程圖。使用該方法， 首先進(jìn)行新取得的航空?qǐng)D像和過(guò)去取得的已有的航空?qǐng)D像的配準(zhǔn)(對(duì)位)， 根據(jù)兩圖像間的亮度信息的變化檢測(cè)地面建筑物的有無(wú)或形狀的變化。圖13是說(shuō)明進(jìn)行正射圖像的特征點(diǎn)與建筑物的多邊形數(shù)據(jù)的比較的方 法的流程圖。使用該方法，首先對(duì)航空?qǐng)D像進(jìn)行正射修正并生成正射圖像。 幀傳感器型數(shù)字相機(jī)攝影的航空?qǐng)D像為中心投影圖像，越靠近攝影圖像的 周?chē)陀性酱蟮耐嵝?。正射修正?duì)該歪斜進(jìn)行修正，生成從正上方看地表 面所看到的正射影圖像即正射圖像。接下來(lái)，對(duì)生成的正射圖像進(jìn)行特征 點(diǎn)提取等處理，提取正射圖像上顯現(xiàn)的建筑物的輪廓(或者其一部分)。通 過(guò)將該輪廓與由已有的建筑物多邊形數(shù)據(jù)得到的從建筑物的正上方看到的輪廓相比較，檢測(cè)出建筑物的變化。圖14是說(shuō)明進(jìn)行DSM之間的比較的方法的流程圖。使用該方法，由 航空?qǐng)D像生成DSM，通過(guò)求得該DSM和已有的DSM的差分而檢測(cè)出建筑 物的變化。DSM是地表面的高度信息，在由航空?qǐng)D像生成的情況下，例如， 對(duì)照飛行位置不同的多個(gè)航空?qǐng)D像，根據(jù)同一地面物體的這些多個(gè)航空?qǐng)D 像的觀察方法的不同求得該地面物體的高度。災(zāi)害時(shí)的地面的狀況把握等這樣的使用目的是要求即時(shí)性的。由此觀 點(diǎn)出發(fā)，不用等待航空器著陸而處理航空?qǐng)D像成為課題。但是，航空器上攝影的數(shù)字圖像的數(shù)據(jù)量很大，而另一方面航空器和 地面之間的傳送容量比較小。因此，存在難以將取得的圖像數(shù)據(jù)直接從航 空器無(wú)線傳送到地面的問(wèn)題。并且，使用進(jìn)行航空?qǐng)D像之間的比較的方法，圖像越是高解析度則高 精度地進(jìn)行配準(zhǔn)就越困難，進(jìn)而，根據(jù)圖像間的亮度信息進(jìn)行的變化檢測(cè) 存在檢測(cè)率低的問(wèn)題，以及只能檢測(cè)出平面的變化而檢測(cè)不出高度方向的 變化的問(wèn)題。使用進(jìn)行正射圖像特征點(diǎn)與建筑物多邊形數(shù)據(jù)的比較的方法，存在正 射圖像的生成處理的負(fù)荷大的問(wèn)題，使用航空器上搭載的裝置的有限的處 理能力難以完成。并且，與已有的建筑物多邊形數(shù)據(jù)比較而進(jìn)行的變化檢 測(cè)存在只能檢測(cè)出平面變化的問(wèn)題。使用進(jìn)行DSM之間的比較的方法，存在DSM生成的負(fù)荷大的問(wèn)題， 使用航空器上搭載的裝置的有限的處理能力還是難以處理。發(fā)明內(nèi)容本發(fā)明用于解決上述問(wèn)題點(diǎn)，目的是提供一種建筑物形狀變化檢測(cè)方 法和建筑物性狀變化檢測(cè)系統(tǒng)，以能夠減輕在飛行物上攝影的圖像的處理 負(fù)荷，進(jìn)而，通過(guò)該處理的數(shù)據(jù)量的減低使從飛行物向地面無(wú)線傳送數(shù)據(jù) 變?nèi)菀?，由此能夠不用等待飛行物著陸而在地面進(jìn)行建筑物形狀變化的檢 測(cè)處理。本發(fā)明的建筑物形狀變化檢測(cè)方法具有具有觀測(cè)特征點(diǎn)提取步驟，從在飛行器上拍攝的拍攝地表圖像提取與地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)；建筑物投影像生成步驟，根據(jù)預(yù)先存儲(chǔ)的建筑物形狀存儲(chǔ)信息、和上述拍 攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及姿勢(shì)，進(jìn)行投影計(jì)算，并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)步驟，將上述 觀測(cè)特征點(diǎn)和上述建筑物投影像進(jìn)行對(duì)比，而檢測(cè)上述建筑物形狀的變化。并且，本發(fā)明的建筑物形狀變化檢測(cè)系統(tǒng)具有觀測(cè)特征點(diǎn)提取單元， 從在飛行器上拍攝的拍攝地表圖像提取與地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)； 建筑物投影像生成單元，根據(jù)預(yù)先存儲(chǔ)的建筑物形狀存儲(chǔ)信息、和上述拍 攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及姿勢(shì)，進(jìn)行投影計(jì)算， 并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)單元，將上述 觀測(cè)特征點(diǎn)和上述建筑物投影像進(jìn)行對(duì)比，而檢測(cè)上述建筑物形狀的變化。根據(jù)本發(fā)明，對(duì)作為中心投影圖像的攝影地表圖像進(jìn)行特征點(diǎn)提取處 理。因?yàn)闆](méi)有進(jìn)行正射修正等處理，以較少的處理負(fù)荷提取觀測(cè)特征點(diǎn)。 并且，觀測(cè)特征點(diǎn)能夠通過(guò)比原本的攝影地表圖像少的數(shù)據(jù)量表示。對(duì)應(yīng) 于中心投影圖像的特征點(diǎn)的投影方向上的位置根據(jù)與該點(diǎn)對(duì)應(yīng)的高度而 定。即，特征點(diǎn)的投影方向上的位置包含高度信息，通過(guò)觀測(cè)特征點(diǎn)和建 筑物投影像的對(duì)比能夠檢測(cè)出該特征點(diǎn)的高度的變化，并能夠檢測(cè)出建筑 物形狀的3維的變化。其它的本發(fā)明的建筑物形狀變化檢測(cè)方法具有拍攝步驟，從飛行器 拍攝拍攝地表圖像；觀測(cè)特征點(diǎn)提取步驟，在上述飛行器上，從上述拍攝 地表圖像提取與地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)；數(shù)據(jù)傳送步驟，將表示上 述觀測(cè)特征點(diǎn)的數(shù)據(jù)從上述飛行器向地面基站進(jìn)行無(wú)線傳送；建筑物投影 像生成步驟，在上述地面基站，根據(jù)預(yù)先存儲(chǔ)的建筑物形狀存儲(chǔ)信息、和 上述拍攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及姿勢(shì)，進(jìn)行投影 計(jì)算，并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)步驟， 在上述地面基站，將上述觀測(cè)特征點(diǎn)和上述建筑物投影像進(jìn)行對(duì)比，而檢 測(cè)上述建筑物形狀的變化。其它的本發(fā)明的建筑物形狀變化檢測(cè)系統(tǒng)具有拍攝單元，從飛行器 拍攝拍攝地表圖像；觀測(cè)特征點(diǎn)提取單元，在上述飛行器上，從上述拍攝 地表圖像提取與地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)；數(shù)據(jù)傳送單元，將表示上 述觀測(cè)特征點(diǎn)的數(shù)據(jù)從上述飛行器向地面基站進(jìn)行無(wú)線傳送；建筑物投影像生成單元，在上述地面基站，根據(jù)預(yù)先存儲(chǔ)的建筑物形狀存儲(chǔ)信息、和 上述拍攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及姿勢(shì)，進(jìn)行投影計(jì)算，并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)單元， 在上述地面基站，將上述觀測(cè)特征點(diǎn)和上述建筑物投影像進(jìn)行對(duì)比，而檢 測(cè)上述建筑物形狀的變化。根據(jù)本發(fā)明，在飛行物上以比較小的負(fù)荷進(jìn)行能夠削減數(shù)據(jù)量的觀測(cè) 特征點(diǎn)提取處理之后，進(jìn)行從飛行物向地面基站的無(wú)線傳送。由此，能夠 在飛行物飛行過(guò)程中快速地將數(shù)據(jù)傳送到地面基站。上述本發(fā)明的建筑物形狀變化檢測(cè)方法中，各步驟可以如下述那樣構(gòu) 成上述觀測(cè)特征點(diǎn)提取步驟，將作為數(shù)字圖像的上述拍攝地表圖像中構(gòu)成邊緣的像素作為上述觀測(cè)特征點(diǎn)提取，上述建筑物形狀存儲(chǔ)信息包含建 筑物的三維數(shù)據(jù)，上述建筑物投影像生成步驟，根據(jù)上述三維數(shù)據(jù)生成上 述建筑物的輪廓的投影像，上述變化檢測(cè)步驟，根據(jù)從上述拍攝地表圖像 提取的邊緣和上述投影像之間的匹配，檢測(cè)上述建筑物的平面形狀以及高 度的變化。上述變化檢測(cè)步驟可以如下述那樣構(gòu)成根據(jù)上述建筑物投影像中的 上述建筑物的上述投影像、和上述拍攝地表圖像中的該建筑物的像之間的， 與該投影像相關(guān)的投影方向上的位置的不同，檢測(cè)該建筑物的高度的變化。上述本發(fā)明的建筑物形狀變化檢測(cè)系統(tǒng)中，各機(jī)構(gòu)可以如下述那樣構(gòu) 成上述觀測(cè)特征點(diǎn)提取單元，將作為數(shù)字圖像的上述拍攝地表圖像中構(gòu) 成邊緣的像素作為上述觀測(cè)特征點(diǎn)提取，上述建筑物形狀存儲(chǔ)信息包含建 筑物的三維數(shù)據(jù)，上述建筑物投影像生成單元，根據(jù)上述三維數(shù)據(jù)生成上 述建筑物的輪廓的投影像，上述變化檢測(cè)單元，根據(jù)從上述拍攝地表圖像 提取的邊緣和上述投影像之間的匹配，檢測(cè)上述建筑物的平面形狀以及高 度的變化。上述變化檢測(cè)機(jī)構(gòu)可以如下述那樣構(gòu)成根據(jù)上述建筑物投影像中的 上述建筑物的上述投影像、和上述拍攝地表圖像中的該建筑物的像之間的， 與該投影像相關(guān)的投影方向上的位置的不同，檢測(cè)該建筑物的高度的變化。發(fā)明的效果本發(fā)明的建筑物形狀變化檢測(cè)方法和建筑物形狀變化檢測(cè)系統(tǒng)能夠減少數(shù)據(jù)量，實(shí)現(xiàn)處理負(fù)荷的減輕。并且，通過(guò)將在飛行物上取得的信息快 速地傳送到地面基站并進(jìn)行處理，提高了建筑物等的形狀的變化檢測(cè)的即 時(shí)性。


圖1為表示本發(fā)明的實(shí)施方式的建筑物形狀變化檢測(cè)系統(tǒng)的概略結(jié)構(gòu) 的示意圖。圖2為表示本發(fā)明的實(shí)施方式的建筑物形狀變化檢測(cè)系統(tǒng)的概略的處理流程的流程圖。圖3為本系統(tǒng)的航空器上搭載的部分的概略的功能框圖。圖4為本系統(tǒng)的設(shè)置在地面基站的部分的概略的功能框圖。圖5為表示作為特征點(diǎn)提取處理部的輸出得到的特征點(diǎn)圖像的一個(gè)例子的示意圖。圖6為表示與圖5的特征點(diǎn)圖像相對(duì)應(yīng)并作為線段提取部的輸出而得 到的線段圖像的一個(gè)例子的示意圖。圖7為表示與圖6所示的線段圖像相對(duì)應(yīng)而得到的輪廓圖像的一個(gè)例 子的示意圖。圖8為表示匹配處理部、變化檢測(cè)部的處理的概要的處理流程圖。圖9為表示從水平方向看到的航空器和建筑物等的位置關(guān)系以及建筑 物等的形狀的示意圖。圖IO為表示從航空器傳送的特征點(diǎn)圖像的示意圖。圖11為表示從己有的三維數(shù)據(jù)生成的建筑物的對(duì)象投影像、和從線段 圖像或者輪廓圖像提取的建筑物的提取攝影像的示意圖。圖12是說(shuō)明作為現(xiàn)有方法的進(jìn)行航空?qǐng)D像之間的比較的方法的流程圖。圖13是說(shuō)明作為現(xiàn)有方法的進(jìn)行正射圖像的特征點(diǎn)和建筑物多邊形 數(shù)據(jù)的比較的方法的流程圖。圖14是說(shuō)明作為現(xiàn)有方法的進(jìn)行DSM之間的比較的方法的流程圖。
具體實(shí)施方式
接下來(lái)，根據(jù)附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。本實(shí)施方式為檢測(cè)地表的建筑物的形狀變化的建筑物形狀變化檢測(cè)系 統(tǒng)，使用本發(fā)明的地表形狀變化檢測(cè)方法而實(shí)現(xiàn)。本系統(tǒng)在例如迅速地把 握地震等災(zāi)害時(shí)發(fā)生的建筑物的倒塌或異動(dòng)等情況，并將其信息有效應(yīng)用 于救援和恢復(fù)活動(dòng)中。圖1為表示本系統(tǒng)的概略構(gòu)成的示意圖。航空器2搭載數(shù)字相機(jī)，從 上空攝影地表的圖像。并且，航空器2搭載GPS/IMU (全球定位系統(tǒng)/慣性 測(cè)量裝置)，根據(jù)來(lái)自GPS衛(wèi)星4的信號(hào)以及作用在航空器上的慣性力來(lái) 測(cè)量和記錄航空器2上搭載的數(shù)字相機(jī)的位置和傾斜等，由此能夠把握地 表圖像攝影時(shí)的相機(jī)的位置以及姿態(tài)。航空器2進(jìn)行提取在機(jī)上取得的數(shù)字圖像的特征點(diǎn)的處理，將與該特 征點(diǎn)相關(guān)而提取出的數(shù)據(jù)以及通過(guò)GPS/IMU得到的數(shù)據(jù)無(wú)線傳送到地面 基站6。地面基站6根據(jù)從航空器2傳送來(lái)的特征點(diǎn)數(shù)據(jù)進(jìn)行檢測(cè)建筑物形 狀變化的處理。基準(zhǔn)局8預(yù)先正確地得知其位置，并由GPS得到的位置和 真正的位置來(lái)計(jì)算其誤差，作為差動(dòng)信息(修正值)提供給GPS的使用者。 地面基站6根據(jù)由航空器2得到的GPS/IMU數(shù)據(jù)，在算出圖像攝影位置時(shí)， 能夠使用該差動(dòng)信息進(jìn)行修正。圖2為表示本系統(tǒng)的概略的處理流程的流程圖。通過(guò)航空器2攝影地 表圖像(步驟S20)，從該圖像提取特征點(diǎn)(步驟S22)。與特征點(diǎn)相關(guān)的數(shù) 據(jù)被傳送到地面基站6，從特征點(diǎn)群中提取線段，進(jìn)行生成由線段組成的圖 像(線段圖像)的處理(步驟S24)。也可以進(jìn)一步將提取的線段連接，進(jìn) 行生成表示建筑物的輪廓的圖像(輪廓圖像)的處理。地面基站6對(duì)建筑 物的已有的三維數(shù)據(jù)進(jìn)行投影，生成建筑物的輪廓的投影像(建筑物投影 像)(步驟S26)。進(jìn)行該建筑物投影像和從線段圖像或者輪廓圖像提取的 提取攝影像之間的匹配處理(步驟S28)，檢測(cè)出建筑物的形狀變化(步驟 S30)，其結(jié)果是例如以容易識(shí)別的形式向用戶輸出(步驟S32)。圖3為本系統(tǒng)的航空器2上搭載的部分的概略的功能框圖。湖優(yōu)部40 具有攝影部42、 GPS/IMU44。攝影部42具有數(shù)字相機(jī)并攝影地表圖像。 數(shù)字相機(jī)除了是使用幀傳感器的相機(jī)之外，也可以是使用線傳感器取得圖 像的相機(jī)。所攝影的地表圖像的數(shù)據(jù)被輸出到特征點(diǎn)提取處理部48。特征點(diǎn)提取處理部48將構(gòu)成圖像上顯示的建筑物等的地面物體的圖像的邊緣的 像素作為觀測(cè)特征點(diǎn)提取，并輸出到壓縮編碼處理部50。GPS/IMU44接收來(lái)自GPS衛(wèi)星4的GPS信號(hào)，并且通過(guò)IMU測(cè)量航 空器的加速度，根據(jù)這些生成表示航空器2的位置和姿態(tài)的GPS/IMU數(shù)據(jù)， 并輸出到壓縮編碼處理部50。壓縮編碼處理部50對(duì)與來(lái)自特征點(diǎn)提取處理部48的特征點(diǎn)相關(guān)數(shù)據(jù) 以及來(lái)自GPS/IMU44的GPS/IMU數(shù)據(jù)實(shí)施壓縮編碼處理，由此，發(fā)送處 理部52應(yīng)發(fā)送的數(shù)據(jù)量被壓縮。發(fā)送處理部52包含束流處理部54、傳送數(shù)據(jù)轉(zhuǎn)換處理部56以及發(fā)送 部58而構(gòu)成，接收由壓縮編碼處理部50壓縮編碼后的數(shù)據(jù)，并進(jìn)行向地 面基站6的無(wú)線傳送。束流處理部54對(duì)數(shù)據(jù)實(shí)施用于使地面基站6在數(shù)據(jù) 傳送過(guò)程中進(jìn)行該數(shù)據(jù)的解析的束流成為可能的處理。接下來(lái)，通過(guò)傳送 數(shù)據(jù)變換處理部56進(jìn)行搬送波的整形，從發(fā)送部58作為無(wú)線信號(hào)被送出。圖4為設(shè)置在本系統(tǒng)的地面基站6上的部分的概略的功能框圖。接收 處理部70包括接收部72、復(fù)原數(shù)據(jù)變換處理部74以及流動(dòng)處理部76而構(gòu) 成，進(jìn)行與航空器2側(cè)的發(fā)送處理部52呼應(yīng)的處理，從來(lái)自航空器2的無(wú) 線信號(hào)接收所謂特征點(diǎn)數(shù)據(jù)、GPS/IMU數(shù)據(jù)的傳送數(shù)據(jù)。復(fù)原處理部78通過(guò)壓縮編碼處理部50對(duì)被壓縮編碼的接收數(shù)據(jù)進(jìn)行 譯碼伸長(zhǎng)復(fù)原的處理，保存處理后的特征點(diǎn)數(shù)據(jù)以及GPS/IMU數(shù)據(jù)的文件 夾80被存儲(chǔ)在存儲(chǔ)部(沒(méi)有圖示)中。并且，在文件夾80中，預(yù)先存儲(chǔ) 有數(shù)字相機(jī)的焦點(diǎn)距離、主點(diǎn)位置等內(nèi)部標(biāo)定要素。GPS/IMU數(shù)據(jù)修正部82對(duì)存儲(chǔ)部中存儲(chǔ)的GPS/IMU數(shù)據(jù)，實(shí)施使用 了由基準(zhǔn)局8得到的差動(dòng)信息的修正處理。變化檢測(cè)處理部84使用存儲(chǔ)部中存儲(chǔ)的內(nèi)部標(biāo)定要素以及GPS/IMU 數(shù)據(jù)，特定與航空器2所攝影的圖像相對(duì)應(yīng)的地表范圍，并進(jìn)行檢測(cè)該范 圍內(nèi)的建筑物的形狀變化的處理。變化檢測(cè)處理部84具有線段提取部86、 投影計(jì)算部88、匹配處理部90以及變化檢測(cè)部92，將得到的變化檢測(cè)結(jié) 果輸出到存儲(chǔ)部的文件夾94。投影計(jì)算部88的處理中，使用保存在數(shù)據(jù)庫(kù) 96中的建筑物的已存三維數(shù)據(jù)。以下，對(duì)航空器2上進(jìn)行的特征點(diǎn)提取處理以及地面基站6的變化檢測(cè)處理部84的各處理進(jìn)行進(jìn)一步說(shuō)明。在航空器2上，攝影部42攝影地表的彩色圖像或黑白圖像。特征點(diǎn)提 取處理部48根據(jù)該圖像內(nèi)的亮度或顏色的變化將構(gòu)成邊緣的像素群作為特 征點(diǎn)提取。邊緣提取可以使用各種邊緣過(guò)濾器進(jìn)行。例如使用Canny過(guò)濾 器作為邊緣過(guò)濾器提取邊緣的位置，能夠進(jìn)行以1個(gè)像素捕捉邊緣的細(xì)線 化處理。另外，在進(jìn)行特征點(diǎn)提取處理之前，例如可以以通過(guò)矩形圖平滑 化處理等進(jìn)行數(shù)字圖像的圖像強(qiáng)調(diào)的方式構(gòu)成，由此，能夠更好地進(jìn)行特 征點(diǎn)提取處理。圖5是表示將作為特征點(diǎn)提取處理部48的輸出而得到的特 征點(diǎn)數(shù)據(jù)，作為圖像進(jìn)行表示的圖像(特征點(diǎn)圖像)的一個(gè)例子的示意圖。 通過(guò)攝影部42取得的數(shù)碼圖像的各像素具有亮度值和GRB值，這些各個(gè) 值分別由多個(gè)比特的二進(jìn)制數(shù)據(jù)表示。與此相對(duì)，特征點(diǎn)圖像的各像素是 表現(xiàn)是否為特征點(diǎn)的差異的，該圖像基本上作為二值化圖像而表示。因此， 特征點(diǎn)圖像的數(shù)據(jù)量比原圖像大幅削減。并且，該特征點(diǎn)圖像能夠在壓縮編碼處理部50進(jìn)一步被編碼并壓縮數(shù) 據(jù)量。例如，因?yàn)樘卣鼽c(diǎn)圖像如上述那樣基本上為二值化圖像，所以使用 掃描寬度編碼等能夠得到高效率的壓縮。通過(guò)這樣地壓縮數(shù)據(jù)量，即使在 航空器2和地面基站6之間的無(wú)線傳送路徑的容量比較小的情況下，也能 夠不受該容量的限制，能夠與航空器2上的數(shù)據(jù)生成同時(shí)并行地迅速地向 地面基站6傳送數(shù)據(jù)。在地面基站6，通過(guò)線段提取部86的處理，由特征點(diǎn)圖像生成線段圖 像。在線段提取部86中，首先對(duì)由特征點(diǎn)提取處理部48作為點(diǎn)群而提取 的邊緣，進(jìn)行跟蹤和分割處理的過(guò)濾，將該點(diǎn)群分割為能夠分別以匯總而 捕捉的單位的點(diǎn)的集合，并且除去有把握是不構(gòu)成足夠大小的匯總的噪聲 的點(diǎn)。接下來(lái)，例如通過(guò)哈夫變換，來(lái)提取線段。這里，建筑物像的輪廓 具有比較多的直線部分。另一方面，本系統(tǒng)中不作為檢測(cè)對(duì)象的樹(shù)木等的 邊緣形成直線的情況較少。因此，通過(guò)線段提取處理，能夠?qū)ｉT(mén)取出建筑 物像的邊緣。圖6是表示對(duì)應(yīng)于圖5的特征點(diǎn)圖像并作為線段提取部86的 輸出而得到的線段圖像的一個(gè)例子的示意圖。并且，變化檢測(cè)處理部84也可以通過(guò)以下方式構(gòu)成對(duì)在線段提取部 86生成的線段圖像使用知覺(jué)組織(Perceptual Grouping)技術(shù)提取建筑物的輪廓，進(jìn)行生成輪廓圖像的處理。圖7是表示對(duì)應(yīng)于圖6所示的線段圖像 得到的輪廓圖像的一個(gè)例子的示意圖。顯現(xiàn)于線段圖像的多個(gè)線段中，找 到構(gòu)成相同建筑物的輪廓的線段，通過(guò)連接這些線段等構(gòu)成輪廓。上述的線段圖像或輪廓圖像不進(jìn)行正射變換而生成。即，這些基本上 是提取中心投影圖像中的建筑物的邊緣或輪廓的圖像。投影計(jì)算部88將數(shù) 字相機(jī)的焦點(diǎn)距離、主點(diǎn)位置等內(nèi)部標(biāo)定要素從文件夾80取出，并且同樣 地從文件夾80取得修正后的GPS/IMU數(shù)據(jù)作為外部標(biāo)定要素。根據(jù)這些 內(nèi)部標(biāo)定要素、外部標(biāo)定要素以及數(shù)據(jù)庫(kù)96的建筑物的已存三維數(shù)據(jù)進(jìn)行 投影計(jì)算，生成在與成為特征點(diǎn)圖像的來(lái)源的圖像的攝影相同的條件下將 建筑物投影(中心投影)到攝影圖像上的像(建筑物投影像)。這里所謂的 建筑物投影像是指作為由已有的三維數(shù)據(jù)的坐標(biāo)值通過(guò)投影機(jī)算求得的坐 標(biāo)值的集合即輪廓像。匹配處理部卯進(jìn)行根據(jù)已存三維數(shù)據(jù)并由投影計(jì)算部88求得的建筑 物投影像、和上述線段圖像或輪廓圖像的匹配，并計(jì)算相似度來(lái)作為表示 匹配程度的數(shù)值。例如，匹配處理可以應(yīng)用使用了豪斯多夫距離的匹配方 法進(jìn)行。變化檢測(cè)部92根據(jù)該相似度檢測(cè)建筑物的形狀變化。圖8是表示 匹配處理部90、變化檢測(cè)部92的處理的概要的處理流程圖。匹配處理部 90對(duì)每個(gè)顯像在建筑物投影像上的各建筑物進(jìn)行匹配處理。首先，匹配處 理部90對(duì)作為建筑物投影像的匹配處理的對(duì)象的建筑物(判定對(duì)象建筑物) 的輪廓像(對(duì)象投影像)、和線段圖像或輪廓圖像中與對(duì)象投影像顯現(xiàn)在相 同區(qū)域中的線段或輪廓(提取投影像)進(jìn)行對(duì)比，計(jì)算相似度R(步驟SIOO)。變化檢測(cè)部92判定閾值a和相似度R的大小關(guān)系(步驟S102)。這里 a被設(shè)定為能夠?qū)?duì)象投影像和提取攝影像看作一致的相似度。即，變化 檢測(cè)部92在a《R的情況下，判斷為與判定對(duì)象建筑物相同形狀的建筑物 存在于地面的相同位置上，并對(duì)判定對(duì)象建筑物的形狀判定為在取得三維 數(shù)據(jù)時(shí)和本次的從航空器2攝影時(shí)"無(wú)變化"，將該判定作為變化檢測(cè)結(jié)果 向文件夾94輸出(步驟S104)。另一方面，在a〉R的情況下，匹配處理部90進(jìn)行周邊區(qū)域內(nèi)的探索 (步驟S106)。這里，周邊區(qū)域被設(shè)定為，沿著基本朝向中心投影的投影 方向、即從投影中心朝向判定對(duì)象建筑物的方位而延伸的細(xì)長(zhǎng)區(qū)域之中，伴隨著判定對(duì)象建筑物的高度的變化而變化的區(qū)域。匹配處理部90，在該 設(shè)定區(qū)域內(nèi)使對(duì)應(yīng)于判定對(duì)象建筑物的大小的匹配對(duì)象區(qū)域移動(dòng)，并再次 計(jì)算相似度(將此作為相似度S)。變化檢測(cè)部92判定相似度S和相似度R 的差分值(S-R)和閾值co之間的大小關(guān)系(步驟S108)。這里co被設(shè)定為 能夠看作建筑物的高度發(fā)生了變化的值。在co《(S-R)的情況下，判定為 建筑物的高度發(fā)生了變化，將該判定結(jié)果向文件夾94輸出(步驟SllO)。另一方面，在co〉 (S-R)即通過(guò)在周邊區(qū)域內(nèi)的探索沒(méi)有得到差分值 (S-R)成為o)以上的提取建筑物像的情況下(步驟S108)，變化檢測(cè)部 92判定閾值p和相似度R的大小關(guān)系(步驟S112)。這里P被設(shè)定為能夠 看作對(duì)象投影像和提取攝影像不一致的相似度(a〉p)。 g卩，變化檢測(cè)部 92在J3《R的情況下，判定建筑物的平面形狀發(fā)生了變化，并將該判定結(jié) 果向文件夾94輸出(步驟S114)。另一方面，在卩〉R的情況下，變化檢測(cè)部92判定在判定對(duì)象建筑物 的位置上不存在與其相當(dāng)?shù)慕ㄖ铮瑢?沒(méi)有該建筑物"的判定作為變化 檢測(cè)結(jié)果向文件夾94輸出(步驟S116)。"沒(méi)有該建筑物"的情況的具體 的例子是例如建筑物被人為地解體或破壞的情況，或者在地震等災(zāi)害后倒 塌的情況。另外，在變化檢測(cè)部92，也可以使用比率S/R代替相似度S和相似度 R的差分值(S-R)。在該情況下，使閾值co適當(dāng)變更為能夠看作建筑物的 高度已變化的比率。圖9 圖11是說(shuō)明通過(guò)變化檢測(cè)部92進(jìn)行的上述建筑物形狀的變化的 檢測(cè)處理的示意圖。圖9是表示從水平方向看到的航空器2和建筑物等的 位置關(guān)系、以及建筑物等的形狀的示意圖。航空器2從上空拍攝存在地面 物體的地表。在同一圖中，表示作為地面物體的建筑物120以及樹(shù)木122。 圖9 (a)是建筑物形狀沒(méi)有變化的情況，建筑物120a維持與登記到已存三 維數(shù)據(jù)中的形狀相同的形狀。與之相對(duì)，圖9 (b)是建筑物的高度有變化 的情況，建筑物120b的高度比登記到已存三維數(shù)據(jù)中的形狀124低。并且， 圖9 (c)是建筑物的平面形狀已變化的情況，建筑物120c與登記到已存三 維數(shù)據(jù)中的形狀124相比較，水平面內(nèi)的二維形狀變化。圖10是表示從航空器2傳送的特征點(diǎn)圖像的示意圖。該圖(a) (c)是分別與圖9 (a) (c)的各情況相對(duì)應(yīng)的圖，表示由作為特征點(diǎn)提取的 邊緣構(gòu)成的建筑物的中心投影像126以及樹(shù)木的中心投影像132。并且，圖11是表示由已存三維數(shù)據(jù)生成的建筑物的輪廓像(對(duì)象投影 像)和由線段圖像或輪廓圖像提取的建筑物的提取攝影像的示意圖，該圖 (a) (c)是分別對(duì)應(yīng)于圖9 (a) (c)的各情況的圖。這里，不包含 直線排列的特征點(diǎn)群的樹(shù)木的中心投影像132，通過(guò)線段提取部86的處理 被除去，另一方面，對(duì)應(yīng)于由直線排列的特征點(diǎn)群構(gòu)成的部分建筑物的中 心投影像126而得到提取攝影像140。另外，位于航空器2的斜下方的建筑物120的中心投影像中不僅能夠 顯現(xiàn)屋頂還能夠顯現(xiàn)側(cè)面。具體為，在形狀沒(méi)有變化的情況下的特征點(diǎn)圖 像(圖10 (a))的建筑物的中心投影像126a中，顯現(xiàn)出建筑物的屋頂128a 以及側(cè)壁面130a。并且，如該圖的屋頂128a的形狀所表示的那樣，該建筑 物原本具有L字型的平面形狀(二維形狀)。圖ll (a)中用實(shí)線表示的建筑物的提取攝影像140a具有與特征點(diǎn)圖 像(圖10 (a))中顯現(xiàn)的中心投影像126a相對(duì)應(yīng)的形狀和位置。另一方面， 圖ll (a)中，用虛線表示由已存三維數(shù)據(jù)生成的對(duì)象投影像142。如該情 況那樣，在建筑物的形狀沒(méi)有變化的情況下，提取攝影像140a和對(duì)象投影 像142的相似度R變高，在變化檢測(cè)部92的相似度判定處理S102中，滿 足R》a，判定為沒(méi)有變化(S104)。接下來(lái)，當(dāng)建筑物的高度變化時(shí)，沿著中心投影像上顯現(xiàn)的側(cè)面的中 心投影的投影方向的尺寸變化。例如，如圖9 (b)所示，在建筑物的高度 變低的情況下，對(duì)應(yīng)的特征點(diǎn)圖像(圖10(b))的建筑物的中心投影像126b 中顯現(xiàn)的建筑物的側(cè)壁面130b在投影方向(該圖中的橫方向)的尺寸相比 圖10 (a)所示的側(cè)壁面130a縮小。并且，雖然屋頂128b保持與圖10 (a) 所示的屋頂128a相同的L字型形狀，但是其位置在建筑物的高度變低的部 分沿著投影方向略微平行移動(dòng)。處于這樣的關(guān)系的形狀之間，伴隨移動(dòng)距 離變大相似度R降低。因此，高度變化后的建筑物的提取攝影像140b和對(duì) 象投影像142的相似度R變成R<a，在該情況下，匹配處理部90進(jìn)行周 邊區(qū)域探索處理S106。例如，當(dāng)使匹配對(duì)象區(qū)域在圖11 (b)中位于左側(cè) 時(shí)，進(jìn)行縮小了從該匹配對(duì)象區(qū)域提取的提取攝影像140b的屋頂形狀和對(duì)象投影像142的屋頂形狀之間的平行移動(dòng)距離的匹配處理S100，能夠改善 相似度R。變化檢測(cè)部92通過(guò)周邊區(qū)域的探索，在相似度S和相似度R的 差分值(S-R)上升到閾值"以上的情況下，判定為建筑物的高度變化(步 驟S110)。并且，根據(jù)差分值(S-R)變成最大的匹配對(duì)象區(qū)域的移動(dòng)距離， 能夠推測(cè)建筑物高度的變化量。與此相對(duì)，在建筑物的平面形狀已變化的情況下，即使進(jìn)行周邊區(qū)域 探索也沒(méi)有特別的理由能夠期待相似度大幅上升。例如，圖11 (c)所示建 筑物的提取攝影像140c和對(duì)象投影像142，與側(cè)壁面的形狀以及位置一致 無(wú)關(guān)，因?yàn)槲蓓?28c的形狀已變化，所以即使通過(guò)周邊區(qū)域探索處理S106 使匹配對(duì)象區(qū)域沿著投影方向移動(dòng)，差分值(S-R)也不足閾值co。該情況 下，變化檢測(cè)部92判定相似度R和閾值p的大小關(guān)系。在P《R的情況下， 雖然不能特定高度變化，但是判定為發(fā)生了某種形狀變化(步驟S114)。另一方面，在|3>R的情況下，雖然圖9 圖11沒(méi)有表示，但如上述 那樣判定為"沒(méi)有該建筑物"(步驟S116)。
權(quán)利要求
1、一種建筑物形狀變化檢測(cè)方法，其特征在于，具有觀測(cè)特征點(diǎn)提取步驟，從在飛行器上拍攝的拍攝地表圖像提取與地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)；建筑物投影像生成步驟，根據(jù)預(yù)先存儲(chǔ)的建筑物形狀存儲(chǔ)信息、和上述拍攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及姿勢(shì)，進(jìn)行投影計(jì)算，并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)步驟，將上述觀測(cè)特征點(diǎn)和上述建筑物投影像進(jìn)行對(duì)比，而檢測(cè)上述建筑物形狀的變化。
2、 一種建筑物形狀變化檢測(cè)方法，其特征在于，具有 拍攝步驟，從飛行器拍攝拍攝地表圖像；觀測(cè)特征點(diǎn)提取步驟，在上述飛行器上，從上述拍攝地表圖像提取與 地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)；數(shù)據(jù)傳送步驟，將表示上述觀測(cè)特征點(diǎn)的數(shù)據(jù)從上述飛行器向地面基 站進(jìn)行無(wú)線傳送；建筑物投影像生成步驟，在上述地面基站，根據(jù)預(yù)先存儲(chǔ)的建筑物形 狀存儲(chǔ)信息、和上述拍攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及 姿勢(shì)，進(jìn)行投影 計(jì)算，并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)步驟，在上述地面基站，將上述觀測(cè)特征點(diǎn)和上述建筑物投 影像進(jìn)行對(duì)比，而檢測(cè)上述建筑物形狀的變化。
3、 如權(quán)利要求1或2所述的建筑物形狀變化檢測(cè)方法，其特征在于， 上述觀測(cè)特征點(diǎn)提取步驟，將作為數(shù)字圖像的上述拍攝地表圖像中構(gòu)成邊緣的像素作為上述觀測(cè)特征點(diǎn)提取，上述建筑物形狀存儲(chǔ)信息包含建筑物的三維數(shù)據(jù)，上述建筑物投影像生成步驟，根據(jù)上述三維數(shù)據(jù)生成上述建筑物的輪 廓的投影像，上述變化檢測(cè)步驟，根據(jù)從上述拍攝地表圖像提取的邊緣和上述投影 像之間的匹配，檢測(cè)上述建筑物的平面形狀以及高度的變化。
4、 如權(quán)利要求3所述的建筑物形狀變化檢測(cè)方法，其特征在于，上述變化檢測(cè)步驟，根據(jù)上述建筑物投影像中的上述建筑物的上述投 影像、和上述拍攝地表圖像中的該建筑物的像之間的，與該投影像相關(guān)的 投影方向上的位置的不同，檢測(cè)該建筑物的高度的變化。
5、 一種建筑物形狀變化檢測(cè)系統(tǒng)，其特征在于，具有 觀測(cè)特征點(diǎn)提取單元，從在飛行器上拍攝的拍攝地表圖像提取與地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)；建筑物投影像生成單元，根據(jù)預(yù)先存儲(chǔ)的建筑物形狀存儲(chǔ)信息、和上 述拍攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及姿勢(shì)，進(jìn)行投影計(jì) 算，并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)單元，將上述觀測(cè)特征點(diǎn)和上述建筑物投影像進(jìn)行對(duì)比，而 檢測(cè)上述建筑物形狀的變化。
6、 一種建筑物形狀變化檢測(cè)系統(tǒng)，其特征在于，具有 拍攝單元，從飛行器拍攝拍攝地表圖像；觀測(cè)特征點(diǎn)提取單元，在上述飛行器上，從上述拍攝地表圖像提取與 地面物體相對(duì)應(yīng)的觀測(cè)特征點(diǎn)；數(shù)據(jù)傳送單元，將表示上述觀測(cè)特征點(diǎn)的數(shù)據(jù)從上述飛行器向地面基 站進(jìn)行無(wú)線傳送；建筑物投影像生成單元，在上述地面基站，根據(jù)預(yù)先存儲(chǔ)的建筑物形 狀存儲(chǔ)信息、和上述拍攝地表圖像的拍攝時(shí)的上述飛行器的飛行位置以及 姿勢(shì)，進(jìn)行投影計(jì)算，并生成從上述飛行位置看到的建筑物投影像；以及變化檢測(cè)單元，在上述地面基站，將上述觀測(cè)特征點(diǎn)和上述建筑物投 影像進(jìn)行對(duì)比，而檢測(cè)上述建筑物形狀的變化。
7、 如權(quán)利要求5或6所述的建筑物形狀變化檢測(cè)系統(tǒng)，其特征在于， 上述觀測(cè)特征點(diǎn)提取單元，將作為數(shù)字圖像的上述拍攝地表圖像中構(gòu)成邊緣的像素作為上述觀測(cè)特征點(diǎn)提取，上述建筑物形狀存儲(chǔ)信息包含建筑物的三維數(shù)據(jù)，上述建筑物投影像生成單元，根據(jù)上述三維數(shù)據(jù)生成上述建筑物的輪 廓的投影像，上述變化檢測(cè)單元，根據(jù)從上述拍攝地表圖像提取的邊緣和上述投影 像之間的匹配，檢測(cè)上述建筑物的平面形狀以及高度的變化。
8、如權(quán)利要求7記載的建筑物形狀變化檢測(cè)系統(tǒng)，其特征在于， 上述變化檢測(cè)單元，根據(jù)上述建筑物投影像中的上述建筑物的上述投影像、和上述拍攝地表圖像中的該建筑物的像之間的，與該投影像相關(guān)的投影方向上的位置的不同，檢測(cè)該建筑物的高度的變化。
全文摘要
在根據(jù)從航空器上拍攝的航空?qǐng)D像而檢測(cè)建筑物的形狀變化的系統(tǒng)中，能夠不等到航空器著陸就進(jìn)行航空?qǐng)D像的處理。在航空器(2)上，被中心投影的拍攝圖像直接被提取邊緣(S22)，將其向地面基站(6)無(wú)線傳送。地面基站(6)從邊緣提取線段，求得拍攝圖像的建筑物的形狀。另一方面，地面基站(6)生成將已存三維數(shù)據(jù)從航空器(2)的飛行位置中心投影的建筑物的投影像，將其與由拍攝圖像得到的建筑物的形狀匹配(S28)。根據(jù)匹配的兩者的相似度，判定建筑物的形狀是否從已存三維數(shù)據(jù)登記時(shí)間點(diǎn)發(fā)生了變化。
文檔編號(hào)G06T1/00GK101405566SQ200780009568
公開(kāi)日2009年4月8日 申請(qǐng)日期2007年3月13日 優(yōu)先權(quán)日2006年3月17日
發(fā)明者世川正, 林 朱 申請(qǐng)人:株式會(huì)社博思科