3維形狀計測裝置、3維形狀計測方法及3維形狀計測程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及3維形狀計測裝置、3維形狀計測方法及3維形狀計測程序。
[0002] 本申請基于2013年11月6日在日本申請的特願2013-230321號而主張優(yōu)先權(quán)，并 在本申請中援引其內(nèi)容。
【背景技術(shù)】
[0003] 非專利文獻1中記載了基于包含一邊使攝像部移動一邊拍攝到的對象物的多個2 維圖像來生成對象物的3維形狀模型的技術(shù)的一例。該非專利文獻1所記載的3維形狀計測 系統(tǒng)中，如下述那樣生成對象物的3維形狀模型。首先，一邊使構(gòu)成攝像部的立體攝像機移 動一邊W動畫來拍攝對象物整體。在此所謂立體攝像機也稱作兩眼立體視攝像機，是從多 個不同視點拍攝對象物的裝置。接下來，按照每規(guī)定帖，基于1組的2維圖像，計算與各像素 對應(yīng)的3維坐標(biāo)值。其中，該時刻計算出的3維坐標(biāo)值由按照立體攝像機的每個視點而不同 的多個3維坐標(biāo)來表示。因此，非專利文獻1所記載的3維形狀計測系統(tǒng)中，通過在遍及多個 帖來追蹤作為動畫而拍攝到的多個2維圖像中包含的特征點群，來推測立體攝像機的視點 的移動。然后，基于視點移動的推測結(jié)果而將由多個坐標(biāo)系表示的3維形狀模型統(tǒng)一為同一 坐標(biāo)系，生成對象物的3維形狀模型。
[0004] 此外，非專利文獻2中記載了基于一邊使紅外線深度傳感器（W下稱作攝像部)移 動一邊取得的多個深度圖像(也稱作景深圖像、距離圖像等)來生成對象物的3維形狀模型 的技術(shù)的一例。在此，所謂深度圖像是指，將測定出的對象物的距離信息（與從攝像部起至 對象物為止的距離有關(guān)的信息）用像素單位來表示的圖像。非專利文獻2所記載的3維形狀 計測系統(tǒng)中，紅外線深度傳感器由紅外線投射部、紅外線攝像部和信號處理部構(gòu)成。紅外線 投射部對對象物投射隨機散斑圖案，由紅外線攝像部拍攝從對象物反射的反射光。然后，基 于由紅外線攝像部拍攝到的隨機散斑圖案的偏離、形狀變化，由信號處理部計算對象物的 距離信息，生成深度圖像。關(guān)于該紅外線深度傳感器的構(gòu)成等，例如在專利文獻1~3中有記 載。
[0005] 現(xiàn)有技術(shù)文獻
[0006] 專利文獻
[0007] 專利文獻1:日本國特表2011-527790號公報 [000引專利文獻2:日本國特表2009-511897號公報
[0009] 專利文獻3:日本國特表2009-530604號公報
[0010] 專利文獻4:日本國特開2008-328367號公報
[0011] 非專利文獻
[001^ 非專利文獻1:運天弘樹、增田智仁、S橋徹、安藤真，"ステレ才力弓移動撮影吃 主S VR子尹>自動生成方法。検討"，日本八一予中/レリアリテ冶^會論文誌，Vol. 12 ,No . 2， 200巧
[0013]非專利文獻2:化址ram Izadi，David Kim，0tmar Hilliges，David Molyneaux, Richard Newcombe,Pushmeet Kohli,Jamie Shotton，Steve Hodges,Dustin Freeman， Andrew Davison , and Andrew Fi t z g i bbon，''K ine c tFu s i on : Rea I - t ime 3D Reconstruction and Interaction Using a Moving Depth Camera，''October 2011， Publisher ：ACM Symposium on User Interface Software and Technology，[平成25年4 月 15 日檢索]，網(wǎng)址<11化：ht1:p://research.microsoft. com/apps/pubs/default.as陽？id = 155416>

【發(fā)明內(nèi)容】

[0014] 發(fā)明要解決的課題
[0015] 如上述那樣，在非專利文獻1、非專利文獻2所示的3維形狀計測系統(tǒng)中，一邊使攝 像部移動一邊拍攝多個2維圖像，基于拍攝到的多個2維圖像來生成對象物的3維形狀模型 (W下記作已計測3維形狀模型）。能夠與拍攝幾乎同時地使顯示部顯示該已計測3維形狀模 型。
[0016] 另一方面，在如市面出售的攝像機那樣的使攝像部和顯示部設(shè)為一體的攝像裝置 中，能夠與拍攝幾乎同時地使顯示部顯示由攝像部拍攝到的2維圖像。因此，通過單純地組 合非專利文獻1、非專利文獻2所示的3維形狀計測系統(tǒng)和將攝像部及顯示部設(shè)為一體的攝 像裝置，除了所拍攝到的包含對象物的2維圖像之外，還能夠與拍攝同時地使顯示部顯示已 計測3維形狀模型。
[0017] 然而，在運樣的構(gòu)成中，有在基于顯示部的顯示而了解到存在對象物的未計測部 位時計測者無法容易地判斷出具體如何使攝像部移動才能夠計測未計測區(qū)域運樣的課題。
[0018] 本發(fā)明考慮到W上的情況而做出，其目的在于提供一種在3維形狀的計測時能夠 容易地確定出未計測區(qū)域的3維形狀計測裝置、3維形狀計測方法及3維形狀計測程序。
[0019] 用于解決課題的手段
[0020] 為了解決上述的課題，本發(fā)明的第一方式的3維形狀計測裝置具備:攝像部，依次 輸出所拍攝到的規(guī)定的2維圖像;存儲部，存儲攝像部所輸出的2維圖像;3維形狀模型生成 部，基于存儲部所存儲的2維圖像，生成3維形狀模型，將所生成的3維形狀模型存儲于存儲 部；區(qū)域計算部，根據(jù)存儲部所存儲的2維圖像及3維形狀模型，計算2維圖像內(nèi)的已計測區(qū) 域；W及顯示用圖像生成部，基于已計測區(qū)域，根據(jù)2維圖像，生成顯示用圖像。
[0021] 本發(fā)明的第一方式的3維形狀計測裝置中，優(yōu)選為，所述區(qū)域計算部根據(jù)所述存儲 部所存儲的所述2維圖像及所述3維形狀模型，計算所述2維圖像內(nèi)的計測對象外區(qū)域、已計 測區(qū)域及未計測區(qū)域，所述顯示用圖像生成部基于所述計測對象外區(qū)域、所述已計測區(qū)域 及所述未計測區(qū)域，根據(jù)所述2維圖像，生成顯示用圖像。
[0022] 本發(fā)明的第一方式的3維形狀計測裝置中，優(yōu)選為，所述區(qū)域計算部根據(jù)所述存儲 部所存儲的所述2維圖像及所述3維模型，計算所述2維圖像內(nèi)的已低精度計測區(qū)域及已高 精度計測區(qū)域。
[0023] 本發(fā)明的第一方式的3維形狀計測裝置中，優(yōu)選為，所述3維形狀模型生成部還具 備指示精度設(shè)定的變更的精度設(shè)定變更指示部。
[0024] 本發(fā)明的第一方式的3維形狀計測裝置中，優(yōu)選為，所述顯示用圖像生成部生成所 述已計測區(qū)域的像素值高且所述計測對象外區(qū)域的像素值低的所述顯示用圖像。
[0025] 本發(fā)明的第一方式的3維形狀計測裝置中，優(yōu)選為，還具備:最佳移動方向計算部， 基于所述2維圖像內(nèi)的所述未計測區(qū)域的分布，計算最佳的所述攝像部的移動方向；W及最 佳移動方向輸出部，輸出對由所述最佳移動方向計算部計算出的移動方向進行引導(dǎo)的信 息。
[0026] 此外，本發(fā)明的第二方式的3維形狀計測方法包括如下步驟:依次取得2維圖像(攝 像圖像取得步驟）；將攝像圖像取得步驟中取得的2維圖像存儲于存儲部(存儲步驟）；基于 存儲步驟中存儲的2維圖像，生成3維模型，將所生成的3維形狀模型存儲于存儲部(3維形狀 模型生成步驟）；根據(jù)存儲部所存儲的2維圖像及3維形狀模型，計算2維圖像內(nèi)的已計測區(qū) 域（區(qū)域計算步驟）；基于區(qū)域計算步驟中計算出的已計測區(qū)域，根據(jù)2維圖像，生成顯示用 圖像(顯示用圖像生成步驟）。
[0027] 此外，本發(fā)明的第=方式的3維形狀計測程序使計算機執(zhí)行如下步驟:存儲步驟， 使存儲部存儲從拍攝2維圖像的攝像部輸出的所述2維圖像;3維形狀模型生成步驟，基于存 儲步驟中存儲的2維圖像，生成3維模型，使存儲部存儲所生成的3維形狀模型；區(qū)域計算步 驟，根據(jù)存儲部所存儲的2維圖像及3維形狀模型，計算2維圖像內(nèi)的已計測區(qū)域；W及顯示 用圖像生成步驟，基于已計測區(qū)域，根據(jù)2維圖像，生成顯示用圖像。
[0028] 發(fā)明效果
[0029]