圖像處理裝置、方法及其程序的制作方法
【專利摘要】本發(fā)明提供一種圖像處理裝置、方法及其程序。通過(guò)本發(fā)明能夠判定從所拍攝的基準(zhǔn)圖像得到的特定形狀候選是否具有在實(shí)際空間上對(duì)應(yīng)的形狀。從基準(zhǔn)圖像，由直線包圍的形狀作為具有矩形的候選而被檢測(cè)。生成將表示具有矩形的候選的對(duì)象物以與基準(zhǔn)圖像的視角不同的視角拍攝而得到的對(duì)象物圖像。從以不同的視角拍攝而得到的參考圖像中檢測(cè)到所生成的對(duì)象物圖像。若被檢測(cè)到，則該矩形的候選所表示的對(duì)象物確定為矩形。
【專利說(shuō)明】
圖像處理裝置、方法及其程序
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種圖像處理裝置、方法及其程序。
【背景技術(shù)】
[0002] 圖像處理技術(shù)中提出有多種技術(shù)。例如有如下技術(shù)。從多個(gè)相機(jī)的圖像中提取對(duì) 象，并定義在地表面、三維空間上的尺寸，通過(guò)比較對(duì)象的高度來(lái)判斷為相同的技術(shù)(專利 文獻(xiàn)1)。除了正規(guī)化的形狀信息以外，將截面積與高度、或截面積與體積、或體積與高度等 物體的尺寸信息中至少兩種信息提供給物體識(shí)別神經(jīng)網(wǎng)絡(luò)，由此識(shí)別物體的技術(shù)(專利文 獻(xiàn)2)。從立體相機(jī)圖像的對(duì)應(yīng)點(diǎn)中選擇4點(diǎn)，求出包含這些點(diǎn)的三維平面信息，由三維信息 求出傾斜角度，并以成為正面的方式進(jìn)行校正的技術(shù)(專利文獻(xiàn)3)。
[0003] 以往技術(shù)文獻(xiàn) [0004] 專利文獻(xiàn)
[0005] 專利文獻(xiàn)1:日本特開(kāi)2000-20728號(hào)公報(bào)
[0006] 專利文獻(xiàn)2:日本特開(kāi)平7-318331號(hào)公報(bào) [0007] 專利文獻(xiàn)3:日本特開(kāi)2010-198554號(hào)公報(bào)
[0008] 發(fā)明的概要
[0009] 發(fā)明要解決的技術(shù)課題
[0010] 當(dāng)在圖像上有如長(zhǎng)方形、平行四邊形等以直線包圍的形狀時(shí)，對(duì)于計(jì)算該形狀的 縱橫比而言能夠相對(duì)簡(jiǎn)單地求出。然而，當(dāng)通過(guò)攝像而得到的圖像中包含如長(zhǎng)方形、平行四 邊形等以直線包圍的形狀時(shí)，只要知道尺寸，就可以知道它們的形狀，但根據(jù)視角，有時(shí)無(wú) 法判定該形狀所表示的實(shí)際空間上的對(duì)象物實(shí)際上也是長(zhǎng)方形或平行四邊形等。這種情況 在專利文獻(xiàn)1至3中也并未考慮到。
[0011] 本發(fā)明的目的在于，即使不知道通過(guò)拍攝而得到的圖像中所包含的以直線包圍的 形狀在實(shí)際空間上的尺寸，也能夠判定實(shí)際上是否具有這種形狀。
[0012] 用于解決技術(shù)課題的手段
[0013] 基于本發(fā)明的圖像處理裝置，其特征在于，具備:基準(zhǔn)圖像輸入機(jī)構(gòu)，輸入通過(guò)拍 攝而得到的基準(zhǔn)圖像;參考圖像輸入機(jī)構(gòu)，輸入以與拍攝基準(zhǔn)圖像的視角不同的視角拍攝 而得到的參考圖像;特定形狀候選檢測(cè)機(jī)構(gòu)，從由基準(zhǔn)圖像輸入機(jī)構(gòu)輸入的基準(zhǔn)圖像，將由 直線包圍的形狀(將三角形、矩形、平行四邊形、五角形、其他多角形等由直線包圍的形狀稱 為特定形狀。）推定為具有特定的形狀(例如矩形)的特定形狀候選來(lái)進(jìn)行檢測(cè);虛擬對(duì)象物 信息生成機(jī)構(gòu)，生成對(duì)虛擬對(duì)象物圖像進(jìn)行特定的虛擬對(duì)象物信息，所述虛擬對(duì)象物信息 是將通過(guò)特定形狀候選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選所表示的對(duì)象物以與拍攝基準(zhǔn)圖 像的視角不同的視角拍攝時(shí)得到的(包括坐標(biāo)、虛擬對(duì)象物本身。）；虛擬對(duì)象物圖像檢測(cè)機(jī) 構(gòu)，利用通過(guò)虛擬對(duì)象物信息生成機(jī)構(gòu)生成的虛擬對(duì)象物信息，從由參考圖像輸入機(jī)構(gòu)輸 入的參考圖像中，檢測(cè)虛擬對(duì)象物圖像;形狀判定機(jī)構(gòu)，根據(jù)通過(guò)虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu) 檢測(cè)到虛擬對(duì)象物圖像，將通過(guò)特定形狀候選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選判定為具有 特定的形狀的特定形狀;生成控制機(jī)構(gòu)，根據(jù)通過(guò)虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)未檢測(cè)到虛擬 對(duì)象物圖像，控制虛擬對(duì)象物信息生成機(jī)構(gòu)以生成對(duì)通過(guò)改變虛擬對(duì)象物圖像的尺寸或位 置的至少一個(gè)而得到的虛擬對(duì)象物圖像進(jìn)行特定的虛擬對(duì)象物信息；以及反復(fù)控制機(jī)構(gòu)， 反復(fù)進(jìn)行虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)中的檢測(cè)處理、形狀判定機(jī)構(gòu)中的判定處理及生成控制 機(jī)構(gòu)中的控制處理。
[0014] 本發(fā)明還提供一種圖像處理方法。即，該方法中，基準(zhǔn)圖像輸入機(jī)構(gòu)輸入通過(guò)拍攝 而得到的基準(zhǔn)圖像;參考圖像輸入機(jī)構(gòu)輸入以與拍攝基準(zhǔn)圖像的視角不同的視角拍攝而得 到的參考圖像;特定形狀候選檢測(cè)機(jī)構(gòu)從由基準(zhǔn)圖像輸入機(jī)構(gòu)輸入的基準(zhǔn)圖像，將由直線 包圍的形狀推定為具有特定的形狀的特定形狀候選來(lái)進(jìn)行檢測(cè);虛擬對(duì)象物信息生成機(jī)構(gòu) 生成對(duì)虛擬對(duì)象物圖像進(jìn)行特定的虛擬對(duì)象物信息，所述虛擬對(duì)象物信息是將通過(guò)特定形 狀候選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選所表示的對(duì)象物以與拍攝基準(zhǔn)圖像的視角不同的 視角拍攝時(shí)得到的;虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)利用通過(guò)虛擬對(duì)象物信息生成機(jī)構(gòu)生成的虛 擬對(duì)象物信息，從由參考圖像輸入機(jī)構(gòu)輸入的參考圖像中，檢測(cè)虛擬對(duì)象物圖像;形狀判定 機(jī)構(gòu)根據(jù)通過(guò)虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)檢測(cè)到虛擬對(duì)象物圖像，將通過(guò)特定形狀候選檢測(cè) 機(jī)構(gòu)檢測(cè)到的特定形狀候選判定為具有特定的形狀的特定形狀;生成控制機(jī)構(gòu)根據(jù)通過(guò)虛 擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)未檢測(cè)到虛擬對(duì)象物圖像，控制虛擬對(duì)象物信息生成機(jī)構(gòu)以生成對(duì) 通過(guò)改變虛擬對(duì)象物圖像的尺寸或位置的至少一個(gè)而得到的虛擬對(duì)象物圖像進(jìn)行特定的 虛擬對(duì)象物信息；反復(fù)控制機(jī)構(gòu)反復(fù)進(jìn)行虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)中的檢測(cè)處理、形狀判 定機(jī)構(gòu)中的判定處理及生成控制機(jī)構(gòu)中的控制處理。
[0015] 本發(fā)明還提供一種控制圖像處理裝置的計(jì)算機(jī)的程序。也可以提供儲(chǔ)存這種程序 的記錄介質(zhì)。
[0016] 還可以具備:校正機(jī)構(gòu)，將通過(guò)形狀判定機(jī)構(gòu)判定為具有特定的形狀的特定形狀 校正為從正面拍攝對(duì)象物時(shí)得到的形狀。
[0017] 虛擬對(duì)象物信息生成機(jī)構(gòu)例如為當(dāng)已知對(duì)象物的尺寸時(shí)，根據(jù)預(yù)先設(shè)定的一個(gè)或 多個(gè)尺寸生成虛擬對(duì)象物信息的機(jī)構(gòu)。
[0018] 還可以具備：角度計(jì)算機(jī)構(gòu)，計(jì)算在實(shí)際空間中對(duì)象物的輪廓所示出的角度;及特 定形狀確定機(jī)構(gòu)，根據(jù)通過(guò)角度計(jì)算機(jī)構(gòu)計(jì)算的角度確定通過(guò)特定形狀候選檢測(cè)機(jī)構(gòu)檢測(cè) 到的特定形狀候選中作為對(duì)象的特定形狀候選。此時(shí)，虛擬對(duì)象物信息生成機(jī)構(gòu)例如為生 成對(duì)虛擬對(duì)象物圖像進(jìn)行特定的虛擬對(duì)象物信息的機(jī)構(gòu)，所述虛擬對(duì)象物信息是將通過(guò)特 定形狀確定機(jī)構(gòu)確定的特定形狀所表示的對(duì)象物以與拍攝基準(zhǔn)圖像的視角不同的視角拍 攝時(shí)得到的。
[0019] 還可以具備:狀態(tài)確定機(jī)構(gòu)，在形狀判定機(jī)構(gòu)中判定的特定形狀為多個(gè)時(shí)，確定多 個(gè)特定形狀是處于同一平面上、還是處于平行平面上、或處于垂直的平面上。
[0020] 特定的形狀例如為三角形、矩形、梯形或平行四邊形。
[0021] 還可以具備拍攝基準(zhǔn)圖像的第1攝像裝置及拍攝參考圖像的第2攝像裝置。基準(zhǔn)圖 像輸入機(jī)構(gòu)及參考圖像輸入機(jī)構(gòu)可以是1個(gè)攝像裝置。此時(shí)，輸入通過(guò)攝像裝置的拍攝而得 到的基準(zhǔn)圖像及參考圖像。
[0022]發(fā)明效果
[0023]根據(jù)本發(fā)明，從通過(guò)拍攝而得到的基準(zhǔn)圖像，由直線包圍的形狀(例如，三角形、矩 形、平行四邊形、梯形等)被推定為具有特定的形狀的特定形狀候選(例如，矩形)而被檢測(cè) 至Ij。生成對(duì)虛擬對(duì)象物圖像進(jìn)行特定的虛擬對(duì)象物信息，所述虛擬對(duì)象物信息是將被檢測(cè) 到的特定形狀候選所表示的實(shí)際空間上的對(duì)象物以與拍攝基準(zhǔn)圖像的視角不同的視角拍 攝時(shí)得到的(可以是坐標(biāo)、虛擬對(duì)象物圖像本身）。利用生成的虛擬對(duì)象物信息，從以不同的 視角拍攝而得到的參考圖像中，若檢測(cè)到虛擬對(duì)象物圖像，則被檢測(cè)到的特定形狀候選可 判定為具有特定的形狀的特定形狀。若特定形狀候選為具有特定的形狀的特定形狀，貝 1J虛 擬對(duì)象物圖像理應(yīng)從參考圖像被檢測(cè)出，因此從參考圖像檢測(cè)到虛擬對(duì)象物圖像時(shí)，可將 該特定形狀候選判定為具有特定的形狀的特定形狀，即使在實(shí)際空間上，也可判定為具有 這種特定形狀。若未檢測(cè)到虛擬對(duì)象物圖像，則以改變虛擬對(duì)象物圖像的尺寸或位置的至 少一個(gè)的方式生成對(duì)虛擬對(duì)象物圖像進(jìn)行特定的虛擬對(duì)象物信息。利用生成的虛擬對(duì)象物 信息，從參考圖像中反復(fù)進(jìn)行虛擬對(duì)象物圖像的檢測(cè)及形狀判定。即使不知道實(shí)際空間上 的尺寸，也能夠判定在實(shí)際空間上具有特定的形狀的特定形狀。
【附圖說(shuō)明】
[0024]圖1是圖像處理裝置的電結(jié)構(gòu)的一例。
[0025]圖2是實(shí)際空間的一例。
[0026]圖3是基準(zhǔn)圖像的一例。
[0027]圖4是參考圖像的一例。
[0028]圖5是表示圖像處理裝置的處理順序的流程圖。
[0029]圖6是表示圖像處理裝置的處理順序的流程圖。
[0030] 圖7示出從基準(zhǔn)圖像檢測(cè)以直線包圍的形狀的情況。
[0031] 圖8是虛擬對(duì)象物圖像的一例。
[0032]圖9示出拍攝對(duì)象物的情況。
[0033]圖10是表示圖像處理裝置的處理順序的一部分的流程圖。
[0034]圖11是表示圖像處理裝置的處理順序的流程圖。
[0035]圖12是表示圖像處理裝置的處理順序的流程圖。
[0036]圖13示出拍攝對(duì)象物的情況。
[0037]圖14是表示圖像處理裝置的處理順序的流程圖。
【具體實(shí)施方式】
[0038] 圖1是表示本發(fā)明的實(shí)施例的圖，且表示圖像處理裝置的電結(jié)構(gòu)的框圖。
[0039] 圖像處理裝置是如智能手機(jī)一樣自由攜帶的裝置，但也可以設(shè)置在屋外。
[0040] 圖像處理裝置的整體的動(dòng)作由CPU9集中控制。
[0041] 圖像處理裝置包括第1相機(jī)(基準(zhǔn)圖像輸入機(jī)構(gòu)）1及第2相機(jī)(參考圖像輸入機(jī)構(gòu)） 2。第1相機(jī)1是將通過(guò)拍攝而得到的基準(zhǔn)圖像輸入到圖像處理裝置的相機(jī)，第2相機(jī)2是將以 與基準(zhǔn)圖像不同的視角拍攝而得到的參考圖像輸入到圖像處理裝置的相機(jī)。即便第1相機(jī)1 及第2相機(jī)2的至少一個(gè)沒(méi)有設(shè)置于圖像處理裝置，只要基準(zhǔn)圖像及參考圖像被輸入到圖像 處理裝置即可。例如，可以利用一臺(tái)相機(jī)以不同的視角拍攝兩次，從而得到基準(zhǔn)圖像與參考 圖像。圖像處理裝置中也可以不設(shè)置相機(jī)。
[0042]圖像處理裝置中設(shè)置有顯示裝置3。該顯示裝置3的顯示畫面上形成有觸摸面板4。 來(lái)自觸摸面板4的指示被輸入到CPU9。并且，圖像處理裝置中設(shè)置有用于存儲(chǔ)數(shù)據(jù)的存儲(chǔ)器 5,用于經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)而進(jìn)行連接的通信裝置6,及存儲(chǔ)卡接口 7。儲(chǔ)存有后述的控制處 理的程序的存儲(chǔ)卡8經(jīng)由存儲(chǔ)卡接口 7被讀取。如此，被讀取的程序被安裝到圖像處理裝置。 但是，即使程序沒(méi)有儲(chǔ)存在如存儲(chǔ)器卡8那樣的便攜式記錄介質(zhì)中，也可以將經(jīng)由網(wǎng)絡(luò)發(fā)送 的程序在通信裝置6中進(jìn)行接收，以使接收的程序被安裝到圖像處理裝置。
[0043]圖2是屋外的景色的一例。
[0044] 沿著道路27建造有第1建筑物10及第2建筑物20。實(shí)際空間上的第1建筑物10的側(cè) 壁為平行四邊形，正面的壁12及屋頂13為矩形，背面的壁14從背面觀察為矩形。并且，實(shí)際 空間上的第2建筑物20的壁21及24為矩形，但房頂?shù)膫?cè)面22為正三角形，房頂?shù)恼?3為矩 形。這種景色是利用視角不同的上述第1相機(jī)1及第2相機(jī)2拍攝而得到的。
[0045] 圖3是通過(guò)利用第1相機(jī)1的拍攝而得到的圖像(稱為基準(zhǔn)圖像)的一例。
[0046] 基準(zhǔn)圖像包含第1建筑物圖像10A、第2建筑物圖像20A及道路圖像27A。第1建筑物 圖像10A、第2建筑物圖像20A及道路圖像27A與圖2所示的第1建筑物10、第2建筑物20及道路 27對(duì)應(yīng)。第1建筑物圖像IOA的側(cè)面的壁圖像11A、正面的壁圖像12A及背面的壁圖像14A分別 與圖2所示的第1建筑物10的側(cè)面的壁11、正面的壁12及背面的壁14對(duì)應(yīng)，第2建筑物圖像 20A的側(cè)面的壁圖像21A、正面的壁圖像24A、房頂?shù)恼鎴D像23A及房頂?shù)膫?cè)面圖像22A分別 與圖2所示的第2建筑物20的側(cè)面的壁21、正面的壁24、房頂?shù)恼?3及房頂?shù)膫?cè)面22對(duì)應(yīng)。
[0047] 圖4是通過(guò)利用第2相機(jī)2的拍攝而得到的圖像(稱為參考圖像)的一例。
[0048]與基準(zhǔn)圖像相同，參考圖像包含第1建筑物圖像10B、第2建筑物圖像20B及道路圖 像27B。第1建筑物圖像10B、第2建筑物圖像20B及道路圖像27B與圖2所示的第1建筑物10、第 2建筑物20及道路27對(duì)應(yīng)。第1建筑物圖像IOB的側(cè)面的壁圖像11B、正面的壁圖像12B及背面 的壁圖像14B分別與圖2所示的第1建筑物10的側(cè)面的壁11、正面的壁12及背面的壁14對(duì)應(yīng)， 第2建筑物圖像20B的側(cè)面的壁圖像21B、正面的壁圖像24B、房頂?shù)恼鎴D像23B及房頂?shù)膫?cè) 面圖像22B分別與圖2所示的第2建筑物20的側(cè)面的壁21、正面的壁24、房頂?shù)恼?3及房頂 的側(cè)面22對(duì)應(yīng)。
[0049] 第1相機(jī)1與第2相機(jī)2是以視角不同的方式配置于圖像處理裝置1，因此通過(guò)第1相 機(jī)1的拍攝而得到的基準(zhǔn)圖像(參考圖3)與通過(guò)第2相機(jī)2的拍攝而得到的參考圖像(參考圖 4)的視角有所不同。
[0050] 圖5及圖6是表示圖像處理裝置1的處理順序的流程圖。
[0051] 該處理順序判定表示實(shí)際空間上具有矩形(特定的形狀）的特定形狀（如三角形、 矩形、平行四邊形、梯形、正方形、五角形以上的多角形那樣將以直線包圍的形狀稱為特定 形狀。）的對(duì)象物的對(duì)象物圖像是否包含于基準(zhǔn)圖像，具體而言，判定表示平行四邊形的對(duì) 象物的對(duì)象物圖像是否包含于基準(zhǔn)圖像。
[0052] 首先，從通過(guò)拍攝而得到的基準(zhǔn)圖像20A通過(guò)CPU2檢測(cè)直線（步驟31)。接著，通過(guò) CPU2檢測(cè)被檢測(cè)到的直線的交點(diǎn)（步驟32)。另外，將由直線包圍的矩形(特定形狀)作為平 行四邊形候選(具有特定的形狀的特定形狀候選)來(lái)檢測(cè)(步驟33)。
[0053] 圖7是檢測(cè)出的平行四邊形候選(特定形狀候選)的一例。
[0054]從包含于圖3的基準(zhǔn)圖像的第1建筑物圖像IOA的側(cè)面的壁11A、正面的壁12A及背 面的壁14A，將平行四邊形候選圖像11C、12C及14C推定為平行四邊形候選來(lái)檢測(cè)。并且，從 包含于圖3的基準(zhǔn)圖像的第2建筑物圖像20A的側(cè)面的壁圖像21A、正面的壁圖像24A及房頂 的正面的圖像23A，將平行四邊形候選圖像24C、21C及23C通過(guò)CPU9推定為平行四邊形候選 來(lái)進(jìn)行檢測(cè)(將由直線包圍的形狀推定為具有特定的形狀的特定形狀候選來(lái)進(jìn)行檢測(cè)。特 定形狀候選檢測(cè)機(jī)構(gòu)）。
[0055] 若檢測(cè)到平行四邊候選圖像11(：、12(：、14(：、21(：、23(：及24(：，則可推定這些平行四邊 形候選圖像11(：、12(：、14(：、21(：、23(：及24(：在實(shí)際空間上所表示的平行四邊形的形狀和方向 (步驟34)。關(guān)于該推定的詳細(xì)內(nèi)容將進(jìn)行后述。
[0056] 接著，假設(shè)平行四邊形候選圖像11(：、12(：、14(：、21(：、23(：及24(：在實(shí)際空間上所表示 的對(duì)象物的尺寸及至對(duì)象物的距離（步驟35)。對(duì)象物的尺寸可被認(rèn)為是成為對(duì)象物的物 體，例如按照建筑物、汽車、標(biāo)志、號(hào)牌、書等由一般的尺寸進(jìn)行假設(shè)。關(guān)于至對(duì)象物的距離 也相同。關(guān)于如號(hào)牌或書那樣預(yù)先有尺寸規(guī)格的物體，優(yōu)選由通過(guò)設(shè)備保持的尺寸規(guī)格的 信息進(jìn)行設(shè)定。
[0057]另外，通過(guò)CPU9生成虛擬對(duì)象物信息（步驟36)(虛擬對(duì)象物信息生成機(jī)構(gòu)）。虛擬 對(duì)象物信息是對(duì)將被檢測(cè)到的平行四邊形候選圖像(特定形狀候選圖像)所表示的對(duì)象物 通過(guò)第2相機(jī)2拍攝時(shí)得到的虛擬對(duì)象物圖像進(jìn)行特定的信息。虛擬對(duì)象物信息可以是虛擬 對(duì)象物圖像本身，也可以是對(duì)虛擬對(duì)象物圖像的位置、尺寸進(jìn)行特定的坐標(biāo)。該實(shí)施例中， 作為虛擬對(duì)象物信息可利用虛擬對(duì)象物圖像。
[0058]圖8是虛擬對(duì)象物圖像的一例。
[0059] 虛擬對(duì)象物圖像110、120、140、210、230及240是將平行四邊形候選圖像11(：、12(：、 14C、21C、23C及24C假設(shè)為拍攝平行四邊形的對(duì)象物而得到的圖像的情況下，從第2相機(jī)2的 攝影角度，拍攝這些平行四邊形的對(duì)象物時(shí)得到的圖像。
[0060] 如此生成的虛擬對(duì)象物圖像110、120、140、210、230及240是否包含于圖4所示的參 考圖像中的檢測(cè)處理通過(guò)CPU9進(jìn)行(步驟37)(虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)）。虛擬對(duì)象物圖像 110、120、140、210、230及240中，若從參考圖像中檢測(cè)到任一虛擬對(duì)象物圖像（步驟38中 是），與被檢測(cè)到的虛擬對(duì)象物圖像對(duì)應(yīng)的平行四邊形候選圖像所表示的對(duì)象物通過(guò)CPU9 確定為平行四邊形(特定形狀）（步驟39)(形狀判定機(jī)構(gòu)）。例如，若從圖2的參考圖像中檢測(cè) 到虛擬對(duì)象物圖像IlD(第2建筑物10的側(cè)面的壁11為平行四邊形，因此檢測(cè)到第2建筑物的 圖像IOB的側(cè)面的壁圖像11B)，與該虛擬對(duì)象物圖像IlD對(duì)應(yīng)的實(shí)際空間上的對(duì)應(yīng)物(第1建 筑物20的側(cè)壁11A)判斷為平行四邊形。仿射變換確定為平行四邊形的平行四邊形候選圖像 11D，得到從正面拍攝與該平行四邊形候選圖像對(duì)應(yīng)的對(duì)象物時(shí)得到的經(jīng)校正的形狀的圖 像(步驟40)(校正機(jī)構(gòu)）。例如，通過(guò)仿射變換而得到從正面拍攝圖2所示的第1建筑物10的 側(cè)壁11時(shí)得到的圖像。并且，可以將與確定為平行四邊形的側(cè)壁11對(duì)應(yīng)的側(cè)壁圖像IlA(參 考圖3)以認(rèn)為是平行四邊形的方式進(jìn)行顯示（例如，以確定的顏色進(jìn)行包圍），也可以記錄 坐標(biāo)、面積、邊長(zhǎng)等。
[0061] 從圖4所示的參考圖像中未檢測(cè)到虛擬對(duì)象物圖像時(shí)（步驟38中否），通過(guò)CPU9改 變對(duì)象物的尺寸與至對(duì)象物的距離的假設(shè)(步驟41)。由此，使得圖8所示的虛擬對(duì)象物圖像 120、140、210、230及240的尺寸、位置改變(生成控制機(jī)構(gòu)）。具有多個(gè)對(duì)象物，且預(yù)先知道這 些的尺寸時(shí)，生成與各個(gè)對(duì)象物的尺寸對(duì)應(yīng)的虛擬對(duì)象物圖像(信息）。直至超過(guò)所設(shè)想的 對(duì)象物的尺寸及距離(步驟42中否），反復(fù)進(jìn)行從步驟37的處理(虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu) 中的檢測(cè)處理、形狀判定機(jī)構(gòu)中的判定處理及生成控制機(jī)構(gòu)中的控制處理）（反復(fù)控制機(jī) 構(gòu)）。在這些反復(fù)過(guò)程中，從圖4所示的參考圖像中檢測(cè)到與虛擬對(duì)象物圖像12D、14D、21D、 23D及24D對(duì)應(yīng)的圖像部分，與這些虛擬對(duì)象物圖像120、140、210、230及240對(duì)應(yīng)的實(shí)際空間 上的對(duì)應(yīng)物12、14、21、23及24也被判斷為平行四邊形。
[0062]超過(guò)所設(shè)想的對(duì)象物的尺寸及距離的平行四邊形候選確定為不是平行四邊形(特 定形狀候選）（步驟42中是，步驟43)。
[0063]圖9是用于說(shuō)明推定實(shí)際空間上的平行四邊形(特定形狀)的處理的圖。
[0064]例如，若通過(guò)內(nèi)置于第1相機(jī)1的圖像傳感器70拍攝到第1建筑物10的側(cè)壁11，則表 示該壁11的光學(xué)圖像通過(guò)第1相機(jī)1的成像透鏡71(焦點(diǎn)距離f)成像于圖像傳感器70的受光 面上。圖像傳感器70的受光面上形成有側(cè)壁11的圖像11E。
[0065]將圖像傳感器70上所形成的側(cè)壁11的圖像IIE的四角的坐標(biāo)設(shè)為a = (UI，V1 )、β = (112，￥2)、丫=(113，￥3)及5 = (114，￥4)。這些四角的坐標(biāo)€[、0、丫及3與實(shí)際空間上的側(cè)壁11的 四角a、b、c及d對(duì)應(yīng)。若將側(cè)壁11的圖像11E的中心坐標(biāo)設(shè)為(u0，νΟ)，則實(shí)際空間上的四角 a、b、c及d的坐標(biāo)a=(xl，yl，zl)、b=(x2，y2，z2)、c = (x3，y3，z3)及(1=(叉4,74,24)成為如 下。其中，A、B、C及D為系數(shù)(倍率）。
[0066] xl =A(ul-uO) ,yl =A(vl-vO) ,zl = Af
[0067] x2 = B(u2_uO)，y2 = B(v2_vO)，z2 = Bf
[0068] x3 = C(u3_uO)，y3 = C(v3_vO)，z3 = Cf
[0069] x4 = D(u4_uO)，y4 = D(v4_vO)，z4 = Df
[0070] 實(shí)際空間上的四角a、b、c及d存在于系數(shù)A、B、C及D為某一常數(shù)的某處，因此實(shí)際空 間上的四角a、b、c及d為平行四邊形時(shí)，式1成立。
[0071] [數(shù)式 1]
[0072]
* * *. * 式1
[0073] 從式1及上述實(shí)際空間上的四角a、b、c及d的坐標(biāo)的關(guān)系求出系數(shù)的關(guān)系B/A、C/A 及D/A。由于系數(shù)A并不是唯一的，因此無(wú)法確定以四角a、b、c及d規(guī)定的側(cè)壁11的尺寸及至 側(cè)壁11的距離，但可確定該側(cè)壁11的方向。
[0074]圖10是表示變形例的圖，且示出圖像處理裝置的處理順序的一部分。
[0075]若推定出實(shí)際空間上的平行四邊形(特定形狀）的形狀及方向（圖5步驟34)，則可 計(jì)算實(shí)際空間上的對(duì)象物的輪廓所示出的角度(圖9步驟61)(角度計(jì)算機(jī)構(gòu)）。例如，計(jì)算出 第1建筑物21的壁的輪廓所示出的角度。判斷計(jì)算出的角度是否具有找出的特定形狀的角 度(步驟62)。例如，只找出矩形的特定形狀時(shí)，判斷是否具有直角。若不具有這種角度(步驟 62中否），則該平行四邊形候選確定為不是矩形（圖6步驟43)。若具有這種角度（步驟62中 是），則進(jìn)行圖6步驟35以后的處理，且檢測(cè)到矩形(特定形狀確定機(jī)構(gòu)）。
[0076]特定形狀為正三角形時(shí)，能夠如下求出正三角形的方向。
[0077]圖11及圖12是表示圖像處理裝置的另一處理順序的流程圖，與圖5及圖6所示的處 理順序?qū)?yīng)。圖11或圖12中，對(duì)與圖5或圖6所示的處理相同的處理標(biāo)注相同符號(hào)并省略說(shuō) 明。
[0078]圖5及圖6所示的處理是檢測(cè)平行四邊形的處理，但圖11及圖12是檢測(cè)正三角形的 處理。
[0079] 如上述從基準(zhǔn)圖像(參考圖3)進(jìn)行直線及交點(diǎn)的檢測(cè)(步驟31、32)，將得到的三角 形推定為正三角形候選來(lái)檢測(cè)(步驟33A)。如后述，推定正三角形的形狀與方向（步驟34A)。
[0080] 進(jìn)行與上述處理同樣的處理，關(guān)于正三角形與被確定的正三角形候選，通過(guò)由檢 測(cè)到的正三角形候選特定的對(duì)象物圖像以從正面拍攝的方式進(jìn)行仿射變換（步驟39A、 40A)。并且，關(guān)于其他的正三角形候選確定為不是正三角形(步驟43A)。
[0081] 圖13示出拍攝正三角形的房頂?shù)膫?cè)面22的情況。
[0082]與上述同樣地，若通過(guò)內(nèi)置于第1相機(jī)1的圖像傳感器70進(jìn)行拍攝，則表示該房頂 的側(cè)面22的光學(xué)圖像通過(guò)第1相機(jī)1的成像透鏡71成像于圖像傳感器70的受光面上。圖像傳 感器70的受光面上形成有房頂?shù)膫?cè)面22的圖像22E。
[0083]將圖像傳感器70上所形成的側(cè)壁26的圖像26A的3個(gè)角的坐標(biāo)設(shè)為α1、β1及γ 1。這 3個(gè)角的坐標(biāo)〇1 = (1111，￥11)、|31 = (1112，￥12)及丫1 = (1113，￥13)與實(shí)際空間上的側(cè)壁26的3 個(gè)角al、bl及cl對(duì)應(yīng)。將側(cè)壁26的圖像26Α的中心坐標(biāo)設(shè)為(ulO，vlO)，則實(shí)際空間上的坐標(biāo) al = (xll，yll，zll)、bl = (xl2，yl2，zl2)、cl = (xl3，yl3，zl3)成為如下。其中，Al，B1及Cl 為系數(shù)(倍率)。
[0084] xll=Al(ull-ulO),yll=Al(vll-vlO),zll=AlXf
[0085] xl2 = Bl(ul2-ulO),yl2 = Bl(vl2-vlO),zl2 = BlXf
[0086] xl3 = Cl(ul3-ulO),yl3 = Cl(vl3-vlO),zl3 = ClXf
[0087] 如上所述，實(shí)際空間上的3個(gè)角al、bl及cl存在于系數(shù)AUBl及Cl為某一常數(shù)的某 處，因此實(shí)際空間上的3個(gè)角al、bl及cl為正三角形時(shí)，式2及式3成立。
[0088] 「教忒 21
[0089]
* *.x :式.?
[0090] 「救
[0091]
* " * 式3
[0092] 從式2及式3以及上述實(shí)際空間上的3個(gè)角al、bl及cl的坐標(biāo)的關(guān)系求出系數(shù)的關(guān) 系B1/A1及C1/A1。系數(shù)Al并不是唯一的，因此無(wú)法確定以3個(gè)角al、bl及cl規(guī)定的側(cè)壁26的 尺寸及至側(cè)壁26的距離，但可確定該側(cè)壁26的方向。無(wú)論圖像26A是否為正三角形都可以確 定側(cè)壁26方向。
[0093]圖14是表示變形例的圖，且表示圖像處理裝置1的處理順序的流程圖。該處理順序 是在圖6等處理結(jié)束后進(jìn)行的，當(dāng)確定的平行四邊形、矩形、正三角形等特定形狀存在多個(gè) 時(shí)，檢測(cè)多個(gè)特定形狀呈直角、或平行、或同一平面。
[0094] 多個(gè)特定形狀中，選擇一個(gè)特定形狀(步驟81)，選擇被選擇的一個(gè)特定形狀以外 的另一個(gè)特定形狀(步驟82)。計(jì)算出這兩個(gè)特定形狀所表示的在實(shí)際空間中的對(duì)象物所成 的角(步驟83)。通過(guò)檢測(cè)實(shí)際空間中的對(duì)象物的方向可知如上述所成的角。
[0095] 若兩個(gè)特定形狀所表示的實(shí)際空間中的對(duì)象物所成的角為直角(步驟84中是）（狀 態(tài)確定機(jī)構(gòu)），將這些兩個(gè)對(duì)象物作為直角的組進(jìn)行列表化(步驟85)。
[0096] 若兩個(gè)特定形狀所表示的實(shí)際空間中的對(duì)象物所成的角不是直角(步驟84中否）， 則可確認(rèn)到是否平行（步驟86)(狀態(tài)確定機(jī)構(gòu)）。若為平行（步驟86中是），進(jìn)一步可確認(rèn)到 是否處于同一平面(步驟87)(狀態(tài)確定機(jī)構(gòu)）。若為同一平面，則作為該兩個(gè)特定形狀所表 示的實(shí)際空間中的對(duì)象物處于同一平面，可將這些兩個(gè)對(duì)象物作為同一平面的組進(jìn)行列表 化(步驟88)。若不是同一平面(步驟87中否），則將這些兩個(gè)對(duì)象部作為平行平面的組進(jìn)行 列表化(步驟89)。
[0097] 若這樣進(jìn)行列表化，則該列表顯示于顯示裝置3,且記錄于存儲(chǔ)器5(步驟90)。
[0098] 符號(hào)說(shuō)明
[0099] 1-第1相機(jī)(基準(zhǔn)圖像輸入機(jī)構(gòu)），2_第2相機(jī)(參考圖像輸入機(jī)構(gòu)），9_CPU(特定形 狀候選檢測(cè)機(jī)構(gòu)、虛擬對(duì)象物信息生成機(jī)構(gòu)、虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)、形狀判定機(jī)構(gòu)、校 正機(jī)構(gòu)、控制機(jī)構(gòu)、角度計(jì)算機(jī)構(gòu)、特定形狀確定機(jī)構(gòu)、狀態(tài)確定機(jī)構(gòu)）。
【主權(quán)項(xiàng)】
1. 一種圖像處理裝置，其具備： 基準(zhǔn)圖像輸入機(jī)構(gòu)，輸入通過(guò)拍攝而得到的基準(zhǔn)圖像； 參考圖像輸入機(jī)構(gòu)，輸入以與拍攝上述基準(zhǔn)圖像的視角不同的視角拍攝而得到的參考 圖像； 特定形狀候選檢測(cè)機(jī)構(gòu)，從由上述基準(zhǔn)圖像輸入機(jī)構(gòu)輸入的基準(zhǔn)圖像，將由直線包圍 的形狀推定為具有特定的形狀的特定形狀候選來(lái)進(jìn)行檢測(cè)； 虛擬對(duì)象物信息生成機(jī)構(gòu)，生成對(duì)虛擬對(duì)象物圖像進(jìn)行確定的虛擬對(duì)象物信息，所述 虛擬對(duì)象物圖像是將通過(guò)上述特定形狀候選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選所表示的對(duì) 象物以與拍攝上述基準(zhǔn)圖像的視角不同的視角拍攝時(shí)得到的； 虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)，利用通過(guò)上述虛擬對(duì)象物信息生成機(jī)構(gòu)生成的虛擬對(duì)象物 信息，從由上述參考圖像輸入機(jī)構(gòu)輸入的參考圖像中，檢測(cè)上述虛擬對(duì)象物圖像； 形狀判定機(jī)構(gòu)，根據(jù)通過(guò)上述虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)檢測(cè)到上述虛擬對(duì)象物圖像這 一情況，將通過(guò)上述特定形狀候選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選判定為具有上述特定的 形狀的特定形狀； 生成控制機(jī)構(gòu)，根據(jù)通過(guò)上述虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)未檢測(cè)到上述虛擬對(duì)象物圖像 這一情況，控制上述虛擬對(duì)象物信息生成機(jī)構(gòu)以生成對(duì)通過(guò)改變上述虛擬對(duì)象物圖像的尺 寸或位置的至少一個(gè)而得到的上述虛擬對(duì)象物圖像進(jìn)行確定的虛擬對(duì)象物信息；以及 反復(fù)控制機(jī)構(gòu)，反復(fù)進(jìn)行上述虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)中的檢測(cè)處理、上述形狀判定 機(jī)構(gòu)中的判定處理及上述生成控制機(jī)構(gòu)中的控制處理。2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其還具備： 校正機(jī)構(gòu)，將通過(guò)上述形狀判定機(jī)構(gòu)判定為具有上述特定的形狀的特定形狀校正為從 正面拍攝上述對(duì)象物時(shí)得到的形狀。3. 根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 當(dāng)已知上述對(duì)象物的尺寸時(shí)，上述虛擬對(duì)象物信息生成機(jī)構(gòu)根據(jù)預(yù)先設(shè)定的一個(gè)或多 個(gè)尺寸生成上述虛擬對(duì)象物信息。4. 根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的圖像處理裝置，其還具備： 角度計(jì)算機(jī)構(gòu)，計(jì)算在實(shí)際空間中上述對(duì)象物的輪廓所示出的角度;及 特定形狀確定機(jī)構(gòu)，根據(jù)通過(guò)上述角度計(jì)算機(jī)構(gòu)計(jì)算的角度確定通過(guò)上述特定形狀候 選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選中作為對(duì)象的特定形狀候選， 上述虛擬對(duì)象物信息生成機(jī)構(gòu)生成對(duì)虛擬對(duì)象物圖像進(jìn)行確定的虛擬對(duì)象物信息，所 述虛擬對(duì)象物圖像是將通過(guò)上述特定形狀確定機(jī)構(gòu)確定的特定形狀所表示的對(duì)象物以與 拍攝上述基準(zhǔn)圖像的視角不同的視角拍攝時(shí)得到的。5. 根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的圖像處理裝置，其具備： 狀態(tài)確定機(jī)構(gòu)，在上述形狀判定機(jī)構(gòu)中判定的特定形狀為多個(gè)時(shí)，確定多個(gè)特定形狀 是處于同一平面上、還是處于平行平面上、或處于垂直的平面上。6. 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像處理裝置，其中， 上述特定的形狀為三角形、矩形、梯形或平行四邊形。7. 根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的圖像處理裝置，其中， 上述基準(zhǔn)圖像輸入機(jī)構(gòu)為拍攝上述基準(zhǔn)圖像的第1攝像裝置， 上述參考圖像輸入機(jī)構(gòu)為拍攝上述參考圖像的第2攝像裝置。8. 根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的圖像處理裝置，其中， 上述基準(zhǔn)圖像輸入機(jī)構(gòu)及上述參考圖像輸入機(jī)構(gòu)為1個(gè)攝像裝置， 且輸入通過(guò)上述攝像裝置的拍攝而得到的上述基準(zhǔn)圖像及上述參考圖像。9. 一種圖像處理方法，其中， 基準(zhǔn)圖像輸入機(jī)構(gòu)輸入通過(guò)拍攝而得到的基準(zhǔn)圖像， 參考圖像輸入機(jī)構(gòu)輸入以與拍攝上述基準(zhǔn)圖像的視角不同的視角拍攝而得到的參考 圖像， 特定形狀候選檢測(cè)機(jī)構(gòu)從由上述基準(zhǔn)圖像輸入機(jī)構(gòu)輸入的基準(zhǔn)圖像，將由直線包圍的 形狀推定為具有特定的形狀的特定形狀候選來(lái)進(jìn)行檢測(cè)， 虛擬對(duì)象物信息生成機(jī)構(gòu)生成對(duì)虛擬對(duì)象物圖像進(jìn)行確定的虛擬對(duì)象物信息，所述虛 擬對(duì)象物圖像是將通過(guò)上述特定形狀候選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選所表示的對(duì)象 物以與拍攝上述基準(zhǔn)圖像的視角不同的視角拍攝時(shí)得到的， 虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)利用通過(guò)上述虛擬對(duì)象物信息生成機(jī)構(gòu)生成的虛擬對(duì)象物 信息，從由上述參考圖像輸入機(jī)構(gòu)輸入的參考圖像中，檢測(cè)上述虛擬對(duì)象物圖像， 形狀判定機(jī)構(gòu)根據(jù)通過(guò)上述虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)檢測(cè)到上述虛擬對(duì)象物圖像這 一情況，將通過(guò)上述特定形狀候選檢測(cè)機(jī)構(gòu)檢測(cè)到的特定形狀候選判定為具有上述特定的 形狀的特定形狀， 生成控制機(jī)構(gòu)根據(jù)通過(guò)上述虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)未檢測(cè)到上述虛擬對(duì)象物圖像 這一情況，控制上述虛擬對(duì)象物信息生成機(jī)構(gòu)以生成對(duì)通過(guò)改變上述虛擬對(duì)象物圖像的尺 寸或位置的至少一個(gè)而得到的上述虛擬對(duì)象物圖像進(jìn)行確定的虛擬對(duì)象物信息， 反復(fù)控制機(jī)構(gòu)反復(fù)進(jìn)行上述虛擬對(duì)象物圖像檢測(cè)機(jī)構(gòu)中的檢測(cè)處理、上述形狀判定機(jī) 構(gòu)中的判定處理及上述生成控制機(jī)構(gòu)中的控制處理。10. -種控制圖像處理裝置的計(jì)算機(jī)的計(jì)算機(jī)可讀取的程序，其以如下方式控制圖像 處理裝置的計(jì)算機(jī)： 輸入通過(guò)拍攝而得到的基準(zhǔn)圖像， 輸入以與拍攝上述基準(zhǔn)圖像的視角不同的視角拍攝而得到的參考圖像， 從已輸入的基準(zhǔn)圖像，將由直線包圍的形狀推定為具有特定的形狀的特定形狀候選來(lái) 檢測(cè)， 生成對(duì)虛擬對(duì)象物圖像進(jìn)行特定的虛擬對(duì)象物信息，所述虛擬對(duì)象物信息是將檢測(cè)到 的特定形狀候選所表示的對(duì)象物以與拍攝上述基準(zhǔn)圖像的視角不同的視角拍攝時(shí)得到的， 利用生成的虛擬對(duì)象物信息，從已輸入的參考圖像中，檢測(cè)上述虛擬對(duì)象物圖像， 根據(jù)檢測(cè)到上述虛擬對(duì)象物圖像，將被檢測(cè)到的特定形狀候選判定為具有上述特定的 形狀的特定形狀， 根據(jù)未檢測(cè)到上述虛擬對(duì)象物圖像，控制上述虛擬對(duì)象物信息生成機(jī)構(gòu)以生成對(duì)通過(guò) 改變上述虛擬對(duì)象物圖像的尺寸或位置的至少一個(gè)而得到的上述虛擬對(duì)象物圖像進(jìn)行特 定的虛擬對(duì)象物信息， 反復(fù)進(jìn)行檢測(cè)上述虛擬對(duì)象物圖像的處理、上述形狀判定的處理及上述生成控制的處 理。
【文檔編號(hào)】G06T7/00GK105917380SQ201580004555
【公開(kāi)日】2016年8月31日
【申請(qǐng)日】2015年2月9日
【發(fā)明人】增田智紀(jì)
【申請(qǐng)人】富士膠片株式會(huì)社