專利名稱：拍攝裝置和拍攝控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及拍攝裝置和拍攝控制方法。
背景技術(shù)：
3D建模是在要獲取人、動(dòng)物、或美術(shù)品等的立體像時(shí)，通過照相機(jī)來對(duì)實(shí)際的被拍 攝體進(jìn)行攝影，獲取三維坐標(biāo)的技術(shù)。作為檢測(cè)物體的三維位置的方法，在過去人們知道有采用2臺(tái)照相機(jī)的立體圖像 方式。例如，在專利文獻(xiàn)1 (JP特開平07-167633號(hào)公報(bào))中記載的立體圖像方式中，根據(jù) 2臺(tái)照相機(jī)的間隔、和分別通過2臺(tái)照相機(jī)而拍攝到的物體的圖像的特定部位的表觀的差 (視差)，來計(jì)算物體和照相機(jī)的距離(進(jìn)深)。接著，基于該距離，構(gòu)建物體的3D模型。但是，具有下述問題，S卩，為了獲取具有所希望的視差的多個(gè)圖像，必須要求多臺(tái) 照相機(jī)或具有多個(gè)拍攝部的照相機(jī)，由此，必須要求大而特別的器材。

發(fā)明內(nèi)容
本發(fā)明是為了解決上述問題而提出的，本發(fā)明提供一種拍攝裝置，其可在不采用 大而特別的器材的情況下，獲取精度高的3D模型。為了實(shí)現(xiàn)上述目的，本發(fā)明的第1方面的拍攝裝置的特征在于，其包括拍攝機(jī)構(gòu)；第1拍攝控制機(jī)構(gòu)，其進(jìn)行控制，以便通過拍攝機(jī)構(gòu)進(jìn)行拍攝；獲取機(jī)構(gòu)，其在上述第1拍攝控制機(jī)構(gòu)的拍攝后，獲取生成該已拍攝的被拍攝體 的三維圖像所必需的上述拍攝部的移動(dòng)距離；第1判斷機(jī)構(gòu)，其判斷上述拍攝部是否移動(dòng)了由上述獲取機(jī)構(gòu)所獲取的移動(dòng)距 罔；第2拍攝控制機(jī)構(gòu)，其在由上述第1判斷機(jī)構(gòu)判斷為進(jìn)行了移動(dòng)的情況下，對(duì)上述 拍攝部進(jìn)行控制，以便進(jìn)行拍攝；以及三維圖像生成機(jī)構(gòu)，其根據(jù)由上述第1拍攝控制機(jī)構(gòu)所拍攝的圖像、和由上述第2 拍攝控制機(jī)構(gòu)所拍攝的圖像，來生成三維圖像。為了實(shí)現(xiàn)上述目的，本發(fā)明的第2方面的拍攝控制方法的特征在于，該方法包括第1拍攝控制步驟，進(jìn)行控制，以便通過拍攝部進(jìn)行拍攝；獲取步驟，在上述第1拍攝控制步驟的拍攝之后，根據(jù)該已拍攝的被拍攝體，獲取 生成該被拍攝體的三維圖像所必需的上述拍攝部的移動(dòng)距離；判斷步驟，判斷上述拍攝部是否移動(dòng)了在上述獲取步驟中所獲取的移動(dòng)距離；第2拍攝控制步驟，在上述判斷步驟中判斷為進(jìn)行了移動(dòng)的情況下，進(jìn)行控制，以 便進(jìn)行上述拍攝部的拍攝；以及三維圖像生成步驟，根據(jù)在上述第1拍攝控制步驟中所拍攝的圖像、和在上述第2 拍攝控制步驟中所拍攝的圖像，來生成三維圖像。
發(fā)明的效果按照本發(fā)明，可提供能夠在不采用大而特別的器材的情況下，獲取精度高的3D模 型的拍攝裝置。


圖1為表示本發(fā)明的實(shí)施方式1的數(shù)字照相機(jī)的一個(gè)例子的外觀的圖，圖1 (A)為 主視圖，圖I(B)為背視圖，圖I(C)為頂視圖；圖2為數(shù)字照相機(jī)的電路結(jié)構(gòu)的一個(gè)例子的方框圖；圖3為說明本發(fā)明的實(shí)施方式1的裝置的動(dòng)作用的流程圖；圖4為用于說明3D建模處理的流程圖；圖5為表示3D建模處理用的坐標(biāo)系的圖；圖6為用于說明根據(jù)本發(fā)明的實(shí)施方式2的實(shí)時(shí)取景(live view)圖像信息來推 算照相機(jī)的位置，并進(jìn)行3D建模的方法的流程圖；圖7為用于說明3D建模處理的流程圖；圖8為說明本發(fā)明的實(shí)施方式3的3D建模方法的流程圖。
具體實(shí)施例方式下面參照附圖，對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。(實(shí)施方式1)本發(fā)明的實(shí)施方式1的數(shù)字照相機(jī)1如圖1㈧所示的那樣，在正面?zhèn)染哂泄鈱W(xué)系 統(tǒng)(拍攝透鏡)2。另外，如圖I(B)所示的那樣，在數(shù)字照相機(jī)1的背面，設(shè)置菜單鍵3、顯示部4、游 標(biāo)鍵5、SET鍵6、和3D建模模式鍵7。3D建模模式鍵7通過按壓來切換普通攝影模式和3D 建模模式。此外，如圖I(C)所示的那樣，在頂面上，設(shè)置快門鍵9和電源按鈕8。圖2為表示圖1所示的數(shù)字照相機(jī)1的電路結(jié)構(gòu)的一個(gè)例子的方框圖。在圖2中，數(shù)字照相機(jī)1這樣構(gòu)成拍攝部210、CPU201、閃存203、工作存儲(chǔ)器204、 顯示控制部205、鍵輸入部202、圖像引擎220、傳感器231通過總線210a連接。拍攝部210由光學(xué)系統(tǒng)2、光學(xué)系統(tǒng)驅(qū)動(dòng)控制部211、CMOS傳感器212、ISP (Image Signal Processor) 213 構(gòu)成。通過光學(xué)系統(tǒng)2，在CMOS傳感器212的拍攝面上進(jìn)行被拍攝體的光像的成像。光學(xué)系統(tǒng)驅(qū)動(dòng)控制部211對(duì)光學(xué)系統(tǒng)2進(jìn)行控制。光學(xué)系統(tǒng)2和光學(xué)系統(tǒng)驅(qū)動(dòng)控 制部211的內(nèi)部結(jié)構(gòu)的圖示省略，但是光學(xué)系統(tǒng)驅(qū)動(dòng)控制部211包括調(diào)整倍率的變焦電動(dòng) 機(jī)、進(jìn)行對(duì)焦的合焦電動(dòng)機(jī)、調(diào)整光圈的光圈控制部、和快門速度控制部等。CMOS傳感器212對(duì)通過光學(xué)系統(tǒng)成像的光像進(jìn)行光電變換，接著進(jìn)行A/D變換，形 成數(shù)字?jǐn)?shù)據(jù)。ISP213針對(duì)上述數(shù)字?jǐn)?shù)據(jù)，進(jìn)行顏色的調(diào)整、數(shù)字格式變換，變換為亮度信號(hào)Y、 色差信號(hào)Cb、Cr。 CPU201進(jìn)行數(shù)字照相機(jī)1整體的控制動(dòng)作。
5
CPU201對(duì)應(yīng)于鍵輸入部202的操作，取出與存儲(chǔ)于程序存儲(chǔ)器(圖示省略)中的 各模式相對(duì)應(yīng)的動(dòng)作程序、菜單數(shù)據(jù)。接著，根據(jù)該已取出的動(dòng)作程序、菜單數(shù)據(jù)，進(jìn)行數(shù)字 照相機(jī)1的各部分的控制。在該動(dòng)作程序中，包括3D建模模式時(shí)的拍攝控制程序。鍵輸入部202輸入圖1 (B)所示的菜單鍵3、游標(biāo)鍵5、SET鍵6、3D建模模式鍵7、 電源按鈕8、以及快門鍵9的各鍵的操作，并通知給CPU201。工作存儲(chǔ)器204由DRAM等構(gòu)成，通過CPU201，轉(zhuǎn)送來自拍攝部210的輸出(Y、Cb、 Cr的數(shù)據(jù))。閃存203存儲(chǔ)通過圖像引擎220的JPEG壓縮部(圖示省略)而編碼的攝影圖像 數(shù)據(jù)、以及按照3D建模模式生成的3D建模數(shù)據(jù)。顯示控制部205將VRAM206與顯示部4連接。顯示控制部205從VRAM206中取出 RGB形式的顯示數(shù)據(jù)，并在顯示部4中顯示。圖像引擎220由DSP (數(shù)字 信號(hào)處理器)等構(gòu)成。該圖像引擎220將存儲(chǔ)于工 作存儲(chǔ)器204內(nèi)的Y、Cb、Cr的各數(shù)據(jù)變換為RGB形式，之后，經(jīng)由顯示控制部205，轉(zhuǎn)送給 VRAM206。傳感器231由角速度傳感器和加速度傳感器構(gòu)成。角速度傳感器用于檢測(cè)數(shù)字照 相機(jī)1的旋轉(zhuǎn)的有無。另一方面，加速度傳感器用于計(jì)算攝影時(shí)的平行移動(dòng)距離。S卩，CPU201在角速度傳感器的檢測(cè)的結(jié)果、數(shù)字照相機(jī)1所拍攝的視角的光軸幾 乎不平行的(即，數(shù)字照相機(jī)1不平行移動(dòng))的情況下，根據(jù)加速度傳感器檢測(cè)獲取的加速 度，獲取數(shù)字照相機(jī)1所拍攝的視角的平行移動(dòng)距離。下面參照?qǐng)D3，對(duì)上述實(shí)施方式1的數(shù)字照相機(jī)1的動(dòng)作進(jìn)行說明。如果通過檢測(cè)用戶的3D建模模式鍵7的操作，來選擇3D建模模式，則CPU201開 始圖3所示的3D建模的處理(步驟S301)。首先，CPU201在該3D建模模式開始時(shí)，判斷是 否檢測(cè)到記錄指示(步驟S302)。具體來說，判斷是否檢測(cè)到用戶的快門鍵9的操作，在沒 有檢測(cè)到該操作的情況下(步驟S302 否)，進(jìn)行等待，直至檢測(cè)到。用戶相對(duì)攝影對(duì)象，朝向數(shù)字照相機(jī)1，對(duì)快門鍵9進(jìn)行操作，由此，在CPU201檢測(cè) 到記錄指示時(shí)(步驟S302 是)，CPU201通過光學(xué)系統(tǒng)驅(qū)動(dòng)控制部211，對(duì)攝影對(duì)象進(jìn)行光 學(xué)系統(tǒng)2的對(duì)焦，由此，獲取焦距f，另外，將光學(xué)系統(tǒng)2的倍率與該已獲取的焦距f相乘， 計(jì)算從數(shù)字照相機(jī)1到攝影對(duì)象的距離Z(步驟S303)。接著，從拍攝部210取入攝影圖像 (步驟S304)。將此時(shí)的攝影圖像作為對(duì)象圖像A。接著，CPU201采用下述的式(1)，計(jì)算3D建模所必需的數(shù)字照相機(jī)1的平行移動(dòng) 距離L (步驟S305)。L = (Ζ · Z · ρ) / ( Δ Z · f)... (1)另外，在上述式中，ρ表示拍攝元件的像素大小。另外，ΔΖ表示相對(duì)在進(jìn)行3D建 模的情況下允許的平行移動(dòng)的允許誤差。例如，如果距離Z為lm，像素大小ρ為4um，焦距f為6mm，允許誤差Δ Z為5cm，則 平行移動(dòng)距離L為13mm。即，在距對(duì)象物的距離為Im的情況下，在取入對(duì)象圖像A后，如果 取入平行移動(dòng)13mm之后的視角，則可進(jìn)行良好的3D建模處理。CPU201在檢測(cè)到數(shù)字照相機(jī)1本身的平行移動(dòng)的開始時(shí)，根據(jù)從加速度傳感器 輸出的加速度，來判斷是否移動(dòng)了相當(dāng)于通過上述式(1)計(jì)算出的平行移動(dòng)距離L的距離(步驟S306)。另外，在移動(dòng)距離沒有達(dá)到L的情況下(步驟S306 否)，CPU201等待，直至 移動(dòng)距離達(dá)到L。另外，CPU201與此動(dòng)作并行地檢測(cè)角速度傳感器的規(guī)定角度以上的旋轉(zhuǎn)， 還判斷光軸是否幾乎不平行。接著，CPU201在判斷為旋轉(zhuǎn)了超過規(guī)定角度時(shí)，通報(bào)失敗。CPU201在判斷為移動(dòng)了相當(dāng)于平行移動(dòng)距離L的距離時(shí)(步驟S306 是)，則進(jìn)行 用于獲取基準(zhǔn)圖像B的拍攝(步驟S307)。接著，CPU201鳴響應(yīng)向用戶傳遞攝影結(jié)束的報(bào) 警(步驟S308)，采用對(duì)象圖像A、基準(zhǔn)圖像B、和來自傳感器231的信息，進(jìn)行3D建模(步 驟 S309)。參照?qǐng)D4，對(duì)上述3D建模處理進(jìn)行說明。首先，CPU201在對(duì)象圖像A上，獲取特征點(diǎn)候補(bǔ)(步驟S401)。該特征點(diǎn)候補(bǔ)可采用任何的方法獲取，但是，在本實(shí)施例中，采用廣泛知道的 Harris角點(diǎn)檢測(cè)函數(shù)，按照下述的方式進(jìn)行。CPU201通過廣泛知道的模板(template)匹配，來獲取與已獲取的對(duì)象圖像A的特 征點(diǎn)候補(bǔ)相對(duì)應(yīng)的基準(zhǔn)圖像B的特征點(diǎn)候補(bǔ)。接著，CPU201通過下述的方法，選擇這些已 獲取的特征點(diǎn)候補(bǔ)中的，差異度為規(guī)定的閾值以下的特征點(diǎn)候補(bǔ)(步驟S402)。這里，參照?qǐng)D5，進(jìn)行為了上述3D建模處理而導(dǎo)入的三維坐標(biāo)系統(tǒng)的說明。在圖5中，標(biāo)號(hào)501表示對(duì)象圖像A，標(biāo)號(hào)502表示基準(zhǔn)圖像B。t’表示移動(dòng)矢量。 設(shè)3D建模對(duì)象圖像中的上述特征點(diǎn)的1個(gè)三維坐標(biāo)為M。如果假定與此M相對(duì)應(yīng)的對(duì)象圖 像A的像素位置為m，基準(zhǔn)圖像B的像素位置為m’，則M通過求解下述式(2)、(3)的方式來 求出。
m~ P · M... (2)
m， P，· M... (3)
(數(shù)學(xué)公式1)

另外，trans指轉(zhuǎn)置矩陣(transposed matrix)， 指其兩邊在允許常數(shù)倍的差值的情況下相等。 此外，P指對(duì)對(duì)象圖像A進(jìn)行攝影時(shí)的M的透射射影矩陣，其通過 P = C. (R11)
⑷表示。(R|t)為表示對(duì)對(duì)象圖像A進(jìn)行攝影的位置的參數(shù)，R表示3X3的旋轉(zhuǎn)矩 陣(rotation matrix)，t表示3X1的移動(dòng)矩陣。在本實(shí)施方式中，由于以對(duì)對(duì)象圖像A進(jìn)行攝影的位置為原點(diǎn)，故R為I，t為0(1 為3X3的單位矩陣，0為3X1的零矩陣。)。同樣，P’為對(duì)基準(zhǔn)圖像B進(jìn)行攝影時(shí)的M的透視射影矩陣，其通過 P， = C · (R， |t，)
(5)表示。(R’ |t’ )為表示對(duì)對(duì)象圖像B進(jìn)行攝影的位置的參數(shù)，R’與上述R相同， 表示3X3的旋轉(zhuǎn)矩陣，t’與上述t相同，表示3X 1的移動(dòng)矩陣。接著，旋轉(zhuǎn)矩陣R’采用來自角速度傳感器的信息。移動(dòng)矩陣t’采用包括對(duì)來自 上述加速度傳感器的加速度進(jìn)行2次積分處理而獲取的三維移動(dòng)距離在內(nèi)的信息。[C]為預(yù)先配備于數(shù)字照相機(jī)1中的內(nèi)部參數(shù)，例如，為下述式(6)的3X3矩陣。(數(shù)學(xué)公式2)
rf/du 0 ηΛ C 另外，在上述C中，f指焦距。另外，δ u指拍攝元件的水平方向尺寸，δ ν指拍攝 元件的垂直方向尺寸。于是，CPU201通過在對(duì)象圖像A的特征點(diǎn)的像素位置m和與其相對(duì)應(yīng)的基準(zhǔn)圖像 B的點(diǎn)的像素位置m’求解上述式(2)、(3)，來計(jì)算該特征點(diǎn)的三維坐標(biāo)M(步驟S403)。如果將上述式⑵、(3)展開，則U= (pll · Χ+ρ12 · Υ+ρ13 · Ζ+ρ14)/(ρ31 · Χ+ρ32 · Υ+ρ33 · Ζ+ρ34)ν = (ρ21 · Χ+ρ22 · Υ+ρ23 · Ζ+ρ14)/(ρ31 · Χ+ρ32 · Υ+ρ33 · Ζ+ρ34)U，= (ρ，11 · Χ+ρ，12 · Υ+ρ，13 · Ζ+ρ，14),(ρ，31 · Χ+ρ，32 · Υ+ρ，33 · Ζ+ρ，34)ν，= (ρ，21 · Χ+ρ，22 · Υ+ρ，23 · Ζ+ρ，14),
(7)
⑶
(9)
(10)(ρ，31 · Χ+ρ，32 · Υ+ρ，33 · Ζ+ρ，34)這里，例如，ρ12表示已知的透視射影矩陣P的第1行第2列的要素，ρ’ 21表示已 知透視射影矩陣P’的第2行第1列的要素。根據(jù)這樣獲取的特征點(diǎn)的三維坐標(biāo)成分[Μ]，CPU201進(jìn)行用于構(gòu)成多面體來進(jìn)行 3D顯示的多邊形化(步驟S404)。然后，返回到圖3的步驟S309的處理。接著，返回到開始步驟S301，在步驟S302， 等待用戶下次按壓快門。
如以上具體描述的那樣，按照實(shí)施方式1，如圖5所示的那樣，在3D建模模式中 CPU201根據(jù)對(duì)對(duì)象圖像A進(jìn)行拍攝時(shí)的焦距f，對(duì)到被拍攝體的距離Z進(jìn)行概算。然后， CPU201根據(jù)該距離Z，計(jì)算用于確保所希望的精度的平行移動(dòng)距離L。在對(duì)對(duì)象圖像A進(jìn)行 拍攝后，CPU201在檢測(cè)到已計(jì)算出的平行移動(dòng)距離L的數(shù)字照相機(jī)1的移動(dòng)時(shí)，進(jìn)行基準(zhǔn) 圖像B的拍攝。然后，CPU201根據(jù)已獲取的對(duì)象圖像A和基準(zhǔn)圖像B，生成3D模型。通過如上述那樣構(gòu)成，用戶通過使數(shù)字照相機(jī)1平行移動(dòng)，從而即使在不配備多 個(gè)攝影裝置和特別的器材的情況下，仍可簡(jiǎn)單地獲取精度高的3D模型。另外，在上述實(shí)施方式1中，檢測(cè)平行移動(dòng)距離L的傳感器采用加速度傳感器，但 是，即使采用GPS，也沒有關(guān)系。此外，在上述實(shí)施方式1中，通過CPU201，計(jì)算數(shù)字照相機(jī)1的平行移動(dòng)距離L，但 是，也可以由用戶通過手動(dòng)方式來設(shè)定平行移動(dòng)距離L。(實(shí)施方式2)實(shí)施方式2通過實(shí)時(shí)取景(live view)圖像Α’上的特征點(diǎn)的移動(dòng)量，檢測(cè)數(shù)字照 相機(jī)1的移動(dòng)量，進(jìn)行3D建模。下面參照?qǐng)D6，對(duì)該實(shí)施方式2進(jìn)行說明。這里，預(yù)先確定用戶應(yīng)移動(dòng)的距離，S卩，使顯示畫面上的多少像素量進(jìn)行移動(dòng)。接 著，首先對(duì)對(duì)象圖像A進(jìn)行拍攝，根據(jù)已拍攝的對(duì)象圖像A來檢測(cè)特征點(diǎn)，如果該特征點(diǎn)按 照在顯示畫面上預(yù)先確定的像素?cái)?shù)量而移動(dòng)，則進(jìn)行基準(zhǔn)圖像B的拍攝。最好，對(duì)于上述像素?cái)?shù)量，在攝影圖像上的像素中，抑制在橫向?qū)挾鹊臄?shù)％的程度 的移動(dòng)量。如果超過10%，則表觀的差異造成的對(duì)照的錯(cuò)誤增加。例如，在攝影圖像的橫 向?qū)挾葹?600像素的情況下，如果移動(dòng)其6%，則所移動(dòng)的像素?cái)?shù)量為96像素。另外，如 果實(shí)時(shí)取景(live view)圖像Α’的橫向?qū)挾葹?50像素，則其6%的移動(dòng)量為9像素。于 是，上述預(yù)先確定的像素?cái)?shù)量例如為9像素。該像素?cái)?shù)值作為默認(rèn)值，存儲(chǔ)于閃存203中。在此情況下，如也通過實(shí)施方式1描述的那樣，如果上述坐標(biāo)的移動(dòng)量大，則視差 大，精度高。但是，另一方面，如果上述坐標(biāo)的移動(dòng)量大，則在通過視線的不同(通過表觀的 差異)進(jìn)行對(duì)象圖像A和基準(zhǔn)圖像B的對(duì)應(yīng)的點(diǎn)的對(duì)照時(shí)，產(chǎn)生錯(cuò)誤的可能性增加。于是， 在實(shí)施方式2中，用戶可適當(dāng)變更在3D建模模式的攝影之前，作為默認(rèn)值而存儲(chǔ)的特征點(diǎn) 的移動(dòng)量(像素?cái)?shù)量的值)。該變更通過游標(biāo)鍵5和SET鍵6的操作，在觀看顯示部4的同 時(shí)而進(jìn)行。如果通過檢測(cè)用戶的3D建模模式鍵7的操作，選擇3D建模模式，則CPU201開始圖 6所示的3D建模的處理(步驟S601)。首先，CPU201在該3D建模模式開始時(shí)，判斷是否檢 測(cè)到記錄指示(步驟S602)。具體來說，CPU201判斷是否檢測(cè)到用戶的快門鍵9的按壓操 作，在沒有檢測(cè)到按壓操作的情況下(步驟S602:否)，則進(jìn)行等待，直至檢測(cè)到。接著，在 檢測(cè)到通過用戶而按壓快門鍵9，即，檢測(cè)到對(duì)象圖像A的記錄指示的情況下(步驟S602 是)，CPU201對(duì)對(duì)象圖像A進(jìn)行拍攝(步驟S604)。然后，CPU201根據(jù)已拍攝的對(duì)象圖像 A，通過Harris角點(diǎn)檢測(cè)等的已有的方法，獲取多個(gè)特征點(diǎn)。接著，CPU201將該圖像和特征 點(diǎn)的坐標(biāo)臨時(shí)存儲(chǔ)于工作存儲(chǔ)器204中(步驟S605)。接著，如果用戶使數(shù)字照相機(jī)1平行移動(dòng)，則CPU201根據(jù)按照規(guī)定的周期所拍攝 的實(shí)時(shí)取景圖像A’，檢測(cè)與已臨時(shí)存儲(chǔ)的多個(gè)特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)。然后，獲取已檢測(cè)的 實(shí)時(shí)取景圖像A’的多個(gè)特征點(diǎn)的顯示畫面上的坐標(biāo)(步驟S606)。之后，CPU201將這些坐
9標(biāo)與上述臨時(shí)存儲(chǔ)的對(duì)象圖像A的特征點(diǎn)的坐標(biāo)相比較，根據(jù)已比較的坐標(biāo)的差，判斷特 征點(diǎn)的移動(dòng)量是否到達(dá)上述已存儲(chǔ)的像素值(移動(dòng)量)(步驟S607)。然后，CPU201反復(fù)進(jìn) 行上述處理(步驟S606、S607)，直至到達(dá)上述已存儲(chǔ)的像素?cái)?shù)量的移動(dòng)量。這里，對(duì)于多 個(gè)特征點(diǎn)，在移動(dòng)量不同時(shí)，既可采用實(shí)時(shí)取景圖像A’的中心附近的特征點(diǎn)的移動(dòng)量，也可 采用移動(dòng)量最大的特征點(diǎn)的移動(dòng)量。另外，也可從根據(jù)對(duì)象圖像A檢測(cè)到的特征點(diǎn)中，選擇 任意的特征點(diǎn)，采用與該已選擇的特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)的移動(dòng)量。如果CPU201判斷為上述對(duì)象圖像A的特征點(diǎn)的坐標(biāo)與實(shí)時(shí)取景(live view)圖 像Α’的特征點(diǎn)的坐標(biāo)之間的差達(dá)到上述已存儲(chǔ)的像素?cái)?shù)量(步驟S607 是)，則CPU201將 該實(shí)時(shí)取景(live view)圖像Α’的正式圖像作為基準(zhǔn)圖像B而記錄(步驟S608)，通過警 報(bào)而將攝影結(jié)束通知給用戶(步驟S609)。然后，CPU201通過如上述那樣獲取的對(duì)象圖像A和基準(zhǔn)圖像B的2個(gè)圖像，進(jìn)行 3D建模。對(duì)此，參照?qǐng)D7進(jìn)行說明。CPU201根據(jù)上述2個(gè)圖像，分別求出8點(diǎn)以上的對(duì)應(yīng) 點(diǎn)，求出基礎(chǔ)矩陣F(fundamental matrix) 0 3X3的基礎(chǔ)矩陣F給出2個(gè)圖像的約束條件， 通過下述式(11)給出。trans(m，)· F · m = 0...(11)這里，m表示對(duì)象圖像A的像素位置，m’表示基準(zhǔn)圖像B的像素位置。另外，trans () 表示轉(zhuǎn)置(transpose)。此外，F(xiàn)通過下述式(12)表示。F = trans (inv(C)) · <t> · R · inv(C)... (12)這里，inv()表示逆矩陣， 表示斜對(duì)稱矩陣(skew symmetricmatrix)。內(nèi)部參 數(shù)C為預(yù)先配備的值。由此，可求出旋轉(zhuǎn)矩陣R和移動(dòng)矢量t的方向(步驟S701)。之后，可與圖4所示的順序相同，進(jìn)行3D建模(步驟S702 S704)。如以上具體描述的那樣，按照實(shí)施方式2，首先，如果CPU201對(duì)對(duì)象圖像A進(jìn)行拍 攝，根據(jù)已拍攝的對(duì)象圖像A來檢測(cè)特征點(diǎn)。接著，根據(jù)已檢測(cè)的特征點(diǎn)的實(shí)時(shí)取景(live view)圖像Α’上的移動(dòng)量，推算數(shù)字照相機(jī)1的移動(dòng)量。接著，在該平行移動(dòng)量達(dá)到所希望 的平行移動(dòng)量時(shí)，可自動(dòng)地對(duì)基準(zhǔn)圖像B進(jìn)行拍攝。由此，即使在沒有設(shè)置用于檢測(cè)移動(dòng)量 的傳感器的情況下，仍可獲取精度高的3D模型。(實(shí)施方式3)圖8為說明本發(fā)明的實(shí)施方式3的3D建模方法的流程圖。圖8的流程圖不同于圖6的流程圖的方面在于，在存在以數(shù)字照相機(jī)1的光軸(圖 5的Z軸)以外的軸為基準(zhǔn)的旋轉(zhuǎn)動(dòng)作的情況下，限制拍攝動(dòng)作。S卩，CPU201在產(chǎn)生了以圖 5的X、Y軸為基準(zhǔn)的旋轉(zhuǎn)的情況下，不視為使數(shù)字照相機(jī)1平行移動(dòng)。即，CPU201在旋轉(zhuǎn)為 規(guī)定的閾值以上的情況下，由于光軸不基本保持平行，故無法獲取基準(zhǔn)圖像B。由此，可對(duì)數(shù) 字照相機(jī)1的平行移動(dòng)是否到達(dá)規(guī)定的距離的情況進(jìn)行更正確的判斷。于是，可進(jìn)一步提 高3D建模的精度。接著，與圖6相比較，對(duì)在圖8中追加的步驟S621的處理進(jìn)行說明。CPU201從實(shí)時(shí)取景(live view)圖像Α’中提取特征點(diǎn)，按照上述的順序，推算基 礎(chǔ)矩陣F。數(shù)字照相機(jī)1的內(nèi)部參數(shù)C事先求出。
R =
r10 r11 r12 r20 r21 r22(數(shù)學(xué)公式3) C= 0 f cy 0 0 1時(shí)，有θ y = arcsin(r02)... (18)θ χ = arctan (-rl2/r22)…(19)在步驟S621中，CPU201進(jìn)行這些θ y、θ x是否為規(guī)定的閾值θ以下的判斷。如果如上述那樣，采用實(shí)施方式3，則相對(duì)實(shí)施方式2，追加進(jìn)行上述步驟S621的 處理，由此，在旋轉(zhuǎn)為規(guī)定的閾值以上的情況下，由于光軸基本不保持平行，故無法獲取基 準(zhǔn)圖像B。由此，可對(duì)數(shù)字照相機(jī)1的平行移動(dòng)是否達(dá)到規(guī)定的距離的情況更正確地進(jìn)行判 斷。于是，可進(jìn)一步提高3D建模的精度。(變形例)(1)在上述實(shí)施方式1 3中，雖然是用戶使數(shù)字照相機(jī)1平行地移動(dòng)，但是，也可 這里，f表示數(shù)字照相機(jī)1的焦距，cx、cy表示數(shù)字照相機(jī)1的光軸的中心位置的 圖像坐標(biāo)上的位置。于是，基本矩陣E (essential matrix)通過下述式(14)求出。 這里，trans ()表示轉(zhuǎn)置。通過下述的公式(15)表示的照相機(jī)移動(dòng)的并進(jìn)矢量 t作為trans (E) · E的最小固有值的固有矢量(eigenvector)而求出。其中，對(duì)于t，程度 (scale)和符號(hào)是不定的，但是，通過在數(shù)字照相機(jī)1的前方有被拍攝體存在這樣的制約， 可求出t的符號(hào)。于是，求出_t和E的向量積，按照下述的公式(15)，對(duì)該向量積進(jìn)行奇異值分解 (singular value decomposition)。V · S · U = svd (cross (-t, E))...(15)這里，cross表示向量積，svd表示奇異值分解。其中，旋轉(zhuǎn)矩陣R通過下述公式(16)來求出。R = V · diag(l，1，det(V · U)) · U...(16)這里，det表示行列式，diag表示對(duì)角矩陣(diagonal matrix)。由于旋轉(zhuǎn)矩陣R包括X、Y、Z軸的旋轉(zhuǎn)，故對(duì)它們進(jìn)行分解。在旋轉(zhuǎn)角小的情況下， 在設(shè)(數(shù)學(xué)公式4)
r00 r01 r02將數(shù)字照相機(jī)1固定在架子上，將平行地移動(dòng)的機(jī)構(gòu)設(shè)置在該架子上。由此，用戶不必使數(shù) 字照相機(jī)1平行移動(dòng)。另外，可防止使數(shù)字照相機(jī)1增加旋轉(zhuǎn)的情況。這種機(jī)構(gòu)可通過采用周知的橫動(dòng)(traverse)機(jī)構(gòu)而實(shí)施。(2)另外，在上述各實(shí)施方式中，使數(shù)字照相機(jī)1的整體平行移動(dòng)，但是，也可將使 光學(xué)系統(tǒng)2本身平行地移動(dòng)的機(jī)構(gòu)設(shè)置于數(shù)字照相機(jī)1上。由此，用戶不必使照相機(jī)平行 移動(dòng)，另外，即使在將照相機(jī)固定于三腳架或架子上的狀態(tài)下，仍可進(jìn)行攝影。(3)此外，在上述各實(shí)施方式中，在數(shù)字照相機(jī)1中，進(jìn)行3D建模，但是，數(shù)字照相 機(jī)1也可僅僅進(jìn)行對(duì)象圖像A和基準(zhǔn)圖像B的攝影和記錄，并將這些已記錄的數(shù)據(jù)發(fā)送給 個(gè)人計(jì)算機(jī)，進(jìn)行3D建模處理。
1權(quán)利要求
一種拍攝裝置，包括第1拍攝控制機(jī)構(gòu)(201)，其進(jìn)行控制，以便通過拍攝部進(jìn)行拍攝；獲取機(jī)構(gòu)(201)，其在上述第1拍攝控制機(jī)構(gòu)的拍攝后，獲取生成該已拍攝的被拍攝體的三維圖像所必需的上述拍攝部的移動(dòng)距離；第1判斷機(jī)構(gòu)(201)，其判斷上述拍攝部是否移動(dòng)了由上述獲取機(jī)構(gòu)所獲取的移動(dòng)距離；第2拍攝控制機(jī)構(gòu)(201)，其在由上述第1判斷機(jī)構(gòu)判斷為進(jìn)行了移動(dòng)的情況下，對(duì)上述拍攝部進(jìn)行控制，以便進(jìn)行拍攝；以及三維圖像生成機(jī)構(gòu)(201)，其根據(jù)由上述第1拍攝控制機(jī)構(gòu)所拍攝的圖像、和由上述第2拍攝控制機(jī)構(gòu)所拍攝的圖像，來生成三維圖像。
2.根據(jù)權(quán)利要求1所述的拍攝裝置，其特征在于 該拍攝裝置還包括距離獲取機(jī)構(gòu)(201)，其獲取到上述被拍攝體的距離，上述獲取機(jī)構(gòu)基于由上述距離獲取機(jī)構(gòu)所獲取的距離，計(jì)算并獲取生成上述被拍攝體 的三維圖像所必需的上述拍攝部的移動(dòng)距離。
3.根據(jù)權(quán)利要求1所述的拍攝裝置，其特征在于 該拍攝裝置還包括記錄機(jī)構(gòu)(203)，上述獲取機(jī)構(gòu)獲取預(yù)先記錄在上述記錄機(jī)構(gòu)中的移動(dòng)距離。
4.根據(jù)權(quán)利要求2所述的拍攝裝置，其特征在于 該拍攝裝置還包括加速度獲取機(jī)構(gòu)(231)，其獲取上述拍攝部移動(dòng)時(shí)的加速度，上述第1判斷機(jī)構(gòu)基于對(duì)由上述加速度獲取機(jī)構(gòu)所獲取的加速度進(jìn)行2次積分處理而 得到的值，來判斷上述拍攝部是否移動(dòng)了由上述獲取機(jī)構(gòu)所獲取的移動(dòng)距離。
5.根據(jù)權(quán)利要求1所述的拍攝裝置，其特征在于 該拍攝裝置還包括特征點(diǎn)檢測(cè)機(jī)構(gòu)(201)，其根據(jù)由上述第1拍攝控制機(jī)構(gòu)所獲取的圖像，來檢測(cè)特征點(diǎn)；第3拍攝控制機(jī)構(gòu)(201)，其控制上述拍攝部，以便在上述第1拍攝控制機(jī)構(gòu)的拍攝結(jié) 束時(shí)，按照規(guī)定的周期反復(fù)進(jìn)行拍攝；以及特征點(diǎn)移動(dòng)量獲取機(jī)構(gòu)(201)，其獲取由上述第3拍攝控制機(jī)構(gòu)反復(fù)進(jìn)行拍攝所得到 的圖像間的、與由上述特征點(diǎn)檢測(cè)機(jī)構(gòu)所檢測(cè)的特征點(diǎn)相對(duì)應(yīng)的點(diǎn)的移動(dòng)量，上述第1判斷機(jī)構(gòu)基于由上述特征點(diǎn)移動(dòng)量獲取機(jī)構(gòu)所獲取的特征點(diǎn)的移動(dòng)量，來判 斷上述拍攝部是否移動(dòng)了由上述獲取機(jī)構(gòu)所獲取的移動(dòng)距離。
6.根據(jù)權(quán)利要求4所述的拍攝裝置，其特征在于 該拍攝裝置還包括顯示機(jī)構(gòu)(205)，其在顯示部中依次顯示由上述第3拍攝控制機(jī)構(gòu)反復(fù)進(jìn)行拍攝所得 到的圖像，上述特征點(diǎn)移動(dòng)量獲取機(jī)構(gòu)基于與由上述特征點(diǎn)檢測(cè)機(jī)構(gòu)所檢測(cè)的特征點(diǎn)相對(duì)應(yīng)的 點(diǎn)的顯示位置的變化，來獲取上述特征點(diǎn)的移動(dòng)量。
7.根據(jù)權(quán)利要求1所述的拍攝裝置，其特征在于， 該拍攝裝置還包括第2判斷機(jī)構(gòu)(201)，其判斷上述第1拍攝控制機(jī)構(gòu)的拍攝時(shí)的光軸與拍攝后的光軸是 否基本保持平行；以及第4拍攝控制機(jī)構(gòu)(201)，其在由上述第2判斷機(jī)構(gòu)判斷為拍攝時(shí)的光軸與拍攝后的光 軸并非基本保持平行的情況下，進(jìn)行控制，以便不進(jìn)行上述第2拍攝控制機(jī)構(gòu)的拍攝。
8.根據(jù)權(quán)利要求1所述的拍攝裝置，其特征在于 該拍攝裝置還包括通報(bào)機(jī)構(gòu)(201)，其在由上述第1判斷機(jī)構(gòu)判斷為進(jìn)行了移動(dòng)的情況下，通報(bào)該信息。
9.一種拍攝控制方法，包括第1拍攝控制步驟，進(jìn)行控制，以便通過拍攝部進(jìn)行拍攝；獲取步驟，在上述第1拍攝控制步驟的拍攝之后，根據(jù)該已拍攝的被拍攝體，獲取生成 該被拍攝體的三維圖像所必需的上述拍攝部的移動(dòng)距離；判斷步驟，判斷上述拍攝部是否移動(dòng)了在上述獲取步驟中所獲取的移動(dòng)距離； 第2拍攝控制步驟，在上述判斷步驟中判斷為進(jìn)行了移動(dòng)的情況下，對(duì)拍攝部進(jìn)行控 制，以便進(jìn)行拍攝；以及三維圖像生成步驟，根據(jù)在上述第1拍攝控制步驟中所拍攝的圖像、和在上述第2拍攝 控制步驟中所拍攝的圖像，來生成三維圖像。
全文摘要
本發(fā)明提供一種拍攝裝置和拍攝控制方法。本發(fā)明的拍攝裝置包括第1拍攝控制機(jī)構(gòu)，其進(jìn)行控制，以便通過拍攝部來進(jìn)行拍攝；獲取機(jī)構(gòu)，其在上述第1拍攝控制機(jī)構(gòu)的拍攝后，獲取生成該已拍攝的被拍攝體的三維圖像所必需的上述拍攝部的移動(dòng)距離；第1判斷機(jī)構(gòu)，其判斷上述拍攝部是否移動(dòng)了由上述獲取機(jī)構(gòu)所獲取的移動(dòng)距離；第2拍攝控制機(jī)構(gòu)，其在由上述第1判斷機(jī)構(gòu)判斷為進(jìn)行了移動(dòng)的情況下，對(duì)上述拍攝部進(jìn)行控制，以便進(jìn)行拍攝；三維圖像生成機(jī)構(gòu)，其根據(jù)由上述第1拍攝控制機(jī)構(gòu)所拍攝的圖像、和由上述第2拍攝控制機(jī)構(gòu)所拍攝的圖像，來生成三維圖像。
文檔編號(hào)H04N5/232GK101917547SQ20101022925
公開日2010年12月15日 申請(qǐng)日期2010年3月30日 優(yōu)先權(quán)日2009年3月31日
發(fā)明者中島光康 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社