專利名稱：攝影裝置及控制方法
技術領域：
本發(fā)明涉及拍攝圖像的攝影裝置及控制方法。
背景技術：
在非專利文獻1 (佐藤洋一著、「〒”夕 >畫像処理」、CG-ARTS協(xié)會出版、2009年 11月2日発行、第251頁力…第262頁)中公開了如下技術，即以光軸平行且圖像坐標 系的坐標軸在同一直線上朝同一方向的配置方式(即，平行立體)固定兩個照相機，并且基 于由固定的兩個照相機拍攝到的圖像中的拍攝對象物(以下，僅稱為對象物)的視覺差異 (即，視差)和照相機間的距離(即，基線長)，生成對象物的三維圖像。另外，公知有如下 技術，即以在移動前后處于平行立體的方式移動一個照相機，并且使用在移動前后由照相 機拍攝到的兩個圖像，生成被拍攝到的對象物的三維圖像。在此，非專利文獻1所涉及的技術存在著需要兩個照相機的問題。另外，因為在使 用一個照相機拍攝到的兩個圖像來生成三維圖像的技術中，很難使照相機在移動前后處于 平行立體，因此存在著難以拍攝適合于三維圖像生成的圖像的問題。

發(fā)明內容
本發(fā)明鑒于上述問題而完成，其目的在于提供一種能容易拍攝適合于三維圖像生 成的圖像的攝影裝置及控制方法。為了達成上述目的，本發(fā)明的第一觀點所涉及的攝影裝置的特征在于，具備攝影部件，其拍攝對象物；焦點距離檢測部件，其檢測從所述攝影部件的主點到對焦于所述對象物的焦點為 止的焦點距離；圖像獲取部件，其獲取通過使焦點對焦于所述對象物的所述攝影部件拍攝到的第 1圖像和第2圖像；圖像位置檢測部件，其檢測表示所述圖像獲取部件獲取到的所述第1圖像中的所 述對象物上的點的位置的第1圖像位置、和表示所述第2圖像中的所述點的位置的第2圖 像位置；三維圖像生成部件，其基于所述圖像位置檢測部件檢測出的所述第1圖像位置和 所述第2圖像位置之間的差異，生成所述對象物的三維圖像；平行度計算部件，其基于所述圖像位置檢測部件檢測出的所述第1圖像位置及所 述第2圖像位置、和所述焦點距離檢測部件檢測出的所述焦點距離，計算平行度，該平行度 表示拍攝所述第1圖像時的所述攝影部件的光軸和拍攝所述第2圖像時的所述攝影部件的 光軸接近平行到什么程度；以及顯示部件，其顯示所述平行度計算部件計算出的所述平行度。另外，為了達成上述目的，本發(fā)明的第2觀點所涉及的攝影裝置的控制方法是一
種具備拍攝對象物的攝影部及顯示部的攝影裝置的控制方法，該控制方法的特征在于，包括檢測從拍攝對象物的攝影部的主點到對焦于所述對象物的焦點為止的焦點距離 的焦點距離檢測步驟；獲取通過使焦點對焦于所述對象物的所述攝影部拍攝到的第1圖像和第2圖像的 圖像獲取步驟；檢測表示由所述圖像獲取步驟獲取到的所述第1圖像中的所述對象物上的點的 位置的第1圖像位置、和表示所述第2圖像中的所述點的位置的第2圖像位置的圖像位置 檢測步驟；基于由所述圖像位置檢測步驟檢測出的所述第1圖像位置和所述第2圖像位置之 間的差異，生成所述對象物的三維圖像的三維圖像生成步驟；基于由所述圖像位置檢測步驟檢測出的所述第1圖像位置及所述第2圖像位置、 以及由所述焦點距離檢測步驟檢測出的所述焦點距離，計算平行度的平行度計算步驟，該 平行度表示拍攝所述第1圖像時的所述攝影部的光軸和拍攝所述第2圖像時的所述攝影部 的光軸接近平行到什么程度；以及按照顯示由所述平行度計算步驟計算出的所述平行度的方式控制所述顯示部的 顯示控制步驟。


圖IA至ID表示本發(fā)明實施方式所涉及的數(shù)碼相機的外觀的一例的圖，圖IA是主 視圖，圖IB是后視圖，圖IC是右側視圖，圖ID是俯視圖。圖2是表示數(shù)碼相機的電路構成的一例的框圖。圖3是表示數(shù)碼相機100執(zhí)行的三維圖像生成處理的一例的流程的前半部分。圖4是表示數(shù)碼相機100執(zhí)行的三維圖像生成處理的一例的流程的后半部分。圖5A是表示數(shù)碼相機100的一個構成例的功能框圖。圖5B是表示平行評價部150的一個構成例的功能框圖。圖6A是表示平行評價部150執(zhí)行的平行度計算處理的一例的流程圖。圖6B是表示實際移動量計算部162執(zhí)行的實際移動量計算處理的一例的流程圖。圖6C是表示三維圖像生成部170執(zhí)行的3D建模處理的一例的流程圖。圖7是表示拍攝第1圖像時和拍攝第2圖像時的攝影部的透視投影模型的一例的 圖。圖8A是表示顯示部進行的平行度的顯示例的圖。圖8B是表示顯示部進行的必要移動方向的顯示例的圖。
具體實施例方式以下，參照附圖，對本發(fā)明的優(yōu)選實施方式進行說明。本發(fā)明的實施方式所涉及的數(shù)碼相機100仿造了圖IA所示的可攜帶的所謂袖珍 相機(compact camera)的形狀，被用戶攜帶來變更拍攝位置。數(shù)碼相機100使用在拍攝位 置變更前后(即，數(shù)碼相機移動前后)拍攝對象物所得到的兩個圖像，生成表示對象物的三 維圖像。另外，該數(shù)碼相機100顯示表示在移動前后數(shù)碼相機100的配置從平行立體偏移了多少的指標(以下，稱為平行度)。如圖IA所示，數(shù)碼相機100在正面上具有閃光燈發(fā)光窗101及成像光學系統(tǒng)(拍 攝鏡頭)102。另外，如圖IB所示，數(shù)碼相機在背面上具有液晶監(jiān)視器畫面即顯示部104、光標鍵 105、設定鍵 105s、菜單鍵 106m 及 3D (dimension)建模鍵 106d。顯示部104顯示拍攝到的圖像、根據(jù)拍攝到的圖像計算出的平行度、及基于拍攝 到的圖像生成的三維圖像。當按下菜單鍵106m時，光標鍵105輸入對顯示在顯示部104 上的菜單進行選擇的信號。設定鍵105s輸入對選擇出的菜單進行確定的信號。3D建模鍵 106d進行轉換動作，輸入對每次被按壓時進行通常拍攝的通常攝影模式和生成三維圖像的 3D建模模式這二者進行擇一切換的信號。而且，如圖IC所示，數(shù)碼相機100在右側面上具有USB (UniversalSerial Bus)端 子連接部107，如圖ID所示，在上表面上具有電源按鈕108及快門按鈕109。接著，對數(shù)碼相機100的電路構成進行說明。如圖2所示，數(shù)碼相機100通過總線IOOa連接攝影部110、圖像引擎120、 CPU (Central Processing Unit) 121、閃存 122、工作存儲器 123、VRAM (Video Random Access Memory)控制部 124、VRAM125、DMA (DirectMemory Access) 126、鍵輸入部 127、USB 控制部128及揚聲器129而構成。攝影部110 是 CMOS (Complementary Metal Oxide Semiconductor)照相模 塊，拍攝對象物，并輸出表示拍攝到的對象物的圖像數(shù)據(jù)。攝影部110由成像光學系統(tǒng) (拍攝鏡頭)102、(光學系統(tǒng))驅動控制部111、CMOS傳感器112及ISP(Image Signal Processor) 113 構成。成像光學系統(tǒng)(拍攝鏡頭)102在CMOS傳感器112的拍攝面上對被攝物體(對象 物)的光學像進行成像。驅動控制部111具備調整拍攝鏡頭102的光軸的變焦電機；使拍攝鏡頭102的焦 點對焦的對焦電機；調整拍攝鏡頭102的光圈的光圈控制部；及控制快門速度的快門控制部。CMOS傳感器112在對來自成像光學系統(tǒng)102的光進行光電變換之后，輸出對光電 變換得到的電信號進行A/D(Anal0g/Digital)轉換后的數(shù)字數(shù)據(jù)。ISPl 13在對CMOS傳感器112輸出的數(shù)字數(shù)據(jù)進行顏色調整及數(shù)據(jù)格式變更之后， 將數(shù)字數(shù)據(jù)轉換為亮度信號Y及色差信號Cb和Cr。關于圖像引擎120，將在工作存儲器123之后進行說明。CPU121根據(jù)鍵輸入部127 的操作，從閃存122讀出與基于操作的模式對應的攝影程序及菜單數(shù)據(jù)，并且通過對讀出 的數(shù)據(jù)執(zhí)行程序，從而控制構成數(shù)碼相機100的各部分。工作存儲器123由DRAM構成，通過DMA126傳送攝影部110輸出的YCbCr數(shù)據(jù)，并 存儲所傳送的數(shù)據(jù)。圖像引擎120由DSP (Digital Signal Processor)構成，將保存在工作存儲器123 中的YCbCr數(shù)據(jù)轉換成RGB形式的數(shù)據(jù)之后，經(jīng)由VRAM控制部124傳送至VRAMl25。VRAM控制部124在從VRAM125中讀出RGB形式的數(shù)據(jù)之后，通過向顯示部104輸 出RGB形式的信號，從而控制顯示部104的顯示。
DMA126根據(jù)CPU121的命令，代替CPU121而向工作存儲器123傳送來自攝影部110 的輸出(YCbCr數(shù)據(jù))。鍵輸入部127輸入與圖IB的光標鍵105、設定鍵105s、菜單鍵106m及3D建模鍵 106d的操作對應的信號，并且向CPU121通知信號的輸入。USB控制部128與USB端子連接部107連接，控制與經(jīng)由USB端子連接部107而 USB連接的計算機之間的USB通信，向所連接的計算機輸出表示拍攝到的圖像或生成的三 維圖像的圖像文件。揚聲器129根據(jù)CPU121的控制，輸出規(guī)定的警告音。接著，說明數(shù)碼相機100為了利用圖2所示的硬件生成三維圖像而執(zhí)行的三維圖 像生成處理。圖2的CPU121通過執(zhí)行圖3及圖4所示的三維圖像生成處理，起到如圖5A所 示的攝影控制部141、圖像獲取部142、特征點對應部143、平行評價部150、顯示控制部160、 平行判定部161、實際移動量計算部162、進深距離獲取部163、必要移動量計算部164、移動 量判定部165、必要移動方向判斷部166、通知控制部167、三維圖像生成部170、輸出控制部 171及三維圖像保存部172的作用。當用戶操作圖IB的3D建模鍵106d來選擇3D建模鍵時，CPU121檢測選擇來開始 三維圖像生成處理。若三維圖像生成處理開始，則圖5A的攝影控制部141判斷用戶是否按 下了快門按鈕109 (步驟S01)。若用戶按下了快門按鈕109，則攝影控制部141判斷為按下 了快門按鈕109(步驟SOl 是)，使攝影部110的焦點向作為拍攝對象的對象物對焦。具體 而言，由于對象物為人物，因此攝影部110進行面部檢測處理，并且通過驅動圖2的驅動控 制部111，按照與檢測出的面部的位置一致的方式控制攝影部110的焦點。此外，當攝影控 制部141判斷為未按下快門按鈕109時(步驟SOl 否)，待機到被按下為止。接著，圖像獲取部142從攝影部110獲取表示拍攝對象物所得到的圖像(以下，稱 為第1圖像)的數(shù)據(jù)，并且將獲取到的數(shù)據(jù)保存到圖2的工作存儲器123(步驟S03)。然 后，用戶將數(shù)碼相機100移動至與拍攝第1圖像的拍攝位置不同的拍攝位置。接著，與步驟 S03同樣地，圖像獲取部142獲取表示拍攝對象物所得到的圖像(以下，稱為第2圖像)的 數(shù)據(jù)，并且將數(shù)據(jù)保存到工作存儲器123 (步驟S04)。接著，圖5A的特征點對應部143獲取使表示了對象物上的相同點的第1圖像上的 點和第2圖像上的點對應后的點(對應點)(步驟S05)。具體而言，特征點對應部143通過 對第1圖像及第2圖像使用哈里斯的角檢測(harris corner detection)法，獲取表征第 1圖像的特征點(以下，稱為第1特征點)和表征第2圖像的特征點(以下，稱為第2特征 點)。接著，在第1特征點與第2特征點之間，對距特征點有規(guī)定距離的圖像區(qū)域(特征點 附近圖像)進行模板對照，并且使通過模板對照計算出的對照度在規(guī)定的閾值以上且成為 最高值的第1特征點和第2特征點相對應，將每一個作為對應點。接著，平行評價部150執(zhí)行計算平行度的平行度計算處理(步驟S06)。此外，平行 評價部150通過執(zhí)行圖6A所示的平行度計算處理，起到圖5B所示的圖像位置檢測部151、 焦點距離檢測部152、基礎矩陣計算部153、平移向量計算部154、旋轉矩陣計算部155及平 行度計算部156的作用。若在步驟S06中執(zhí)行平行度計算處理，則圖5B的圖像位置檢測部151檢測圖7所 示的向第1圖像的圖像坐標系Pl投射了對象物上的對應點Ml的向量ml的坐標值(以下，僅稱為第1圖像位置)、和向第2圖像的圖像坐標系P2投射了對應點Ml的向量m2的坐標 值(以下，僅稱為第2圖像位置)(步驟S21)。此外，圖7表示移動前(拍攝第1圖像時) 和移動后(拍攝第2圖像時)的攝影部110的透視投影模型。此外，圖像坐標系Pl以投影到攝影部110的投影面上的第1圖像的左上角為原 點，且由與第1圖像的縱向(掃描方向)及橫向(副掃描方向)一致的坐標軸U及V構成。 圖像坐標系P2與圖像坐標系Pl相同，但是以第2圖像的左上角為原點。在執(zhí)行完圖6的步驟S21之后，圖5B的焦點距離檢測部152檢測拍攝第1圖像時 的攝影部110的主點Cl與焦點fl之間的焦點距離f (步驟S22)。此外，焦點f與光軸Ial 和圖像坐標系Pl的交點一致，用坐標(u0，v0)表示。另外，焦點距離的檢測例如是利用預 先測量出的施加給鏡頭驅動部的信號和在信號被施加到鏡頭驅動部時所實現(xiàn)的焦點距離f 之間的關系進行的。然后，基礎矩陣計算部153利用對應點的圖像位置(即，第1圖像位置和第2圖像 位置)和焦點距離，計算由以下式(1)示出的基礎矩陣E(步驟S23)。這是因為，拍攝第1 圖像時和拍攝第2圖像時的數(shù)碼相機100的配置是否為平行立體是可以利用從拍攝第1圖 像時的攝影部110的主點Cl到拍攝第2圖像時的攝影部110的主點C2的平移向量t、和表 示從主點C2向主點Cl旋轉的方向的旋轉矩陣R進行判斷的?；A矩陣
權利要求
1.一種攝影裝置，其特征在于，具備攝影部件，其拍攝對象物；焦點距離檢測部件，其檢測從所述攝影部件的主點到對焦于所述對象物的焦點為止的 焦點距離；圖像獲取部件，其獲取通過使焦點對焦于所述對象物的所述攝影部件拍攝到的第1圖 像和第2圖像；圖像位置檢測部件，其檢測表示所述圖像獲取部件獲取到的所述第1圖像中的所述對 象物上的點的位置的第1圖像位置、和表示所述第2圖像中的所述點的位置的第2圖像位 置；三維圖像生成部件，其基于所述圖像位置檢測部件檢測出的所述第1圖像位置和所述 第2圖像位置之間的差異，生成所述對象物的三維圖像；平行度計算部件，其基于所述圖像位置檢測部件檢測出的所述第1圖像位置及所述第 2圖像位置、和所述焦點距離檢測部件檢測出的所述焦點距離，計算平行度，該平行度表示 拍攝所述第1圖像時的所述攝影部件的光軸和拍攝所述第2圖像時的所述攝影部件的光軸 接近平行到什么程度；以及顯示部件，其顯示所述平行度計算部件計算出的所述平行度。
2.根據(jù)權利要求1所述的攝影裝置，其特征在于，所述平行度計算部件計算的所述平行度還表示投影到所述攝影部件的投影面上的所 述第1圖像的掃描方向和投影到所述攝影部件的所述投影面上的所述第2圖像的掃描方向 接近平行到什么程度。
3.根據(jù)權利要求2所述的攝影裝置，其特征在于，所述平行度計算部件計算的所述平行度還表示投影到所述投影部件的所述投影面上 的所述第1圖像的副掃描方向和投影到所述投影部件的所述投影面上的所述第2圖像的副 掃描方向接近平行到什么程度。
4.根據(jù)權利要求3所述的投影裝置，其特征在于，所述平行度計算部件計算的所述平行度還表示從拍攝所述第1圖像時到拍攝所述第 2圖像時為止的所述攝影部件的所述主點的移動方向與投影到所述投影部件的所述投影面 上的所述第1圖像的所述掃描方向或所述副掃描方向不同到什么程度。
5.根據(jù)權利要求1所述的攝影裝置，其特征在于，該攝影裝置還具備進深距離獲取部件，其獲取從所述攝影部件的所述主點到所述對象物為止的進深距1 ；實際移動量計算部件，其基于所述圖像位置檢測部件檢測出的所述第1圖像位置和所 述第2圖像位置，計算所述對象物上的所述點在所述第1圖像和所述第2圖像中移動了圖 像上的位置的移動量；必要移動量計算部件，其基于所述進深距離獲取部件獲取到的所述進深距離，計算所 述三維圖像生成部件以規(guī)定的進深精度生成所述三維圖像而所需的所述移動量；以及必要移動方向計算部件，其基于所述實際移動量計算部件計算出的所述移動量、和所 述必要移動量計算部件計算出的所述移動量，計算所述三維圖像生成部件以所述進深精度生成所述三維圖像而所需的所述攝影部件的移動方向，所述顯示部件顯示所述必要移動方向計算部件計算出的所述移動方向。
6.根據(jù)權利要求4所述的攝影裝置，其特征在于，該攝影裝置還具備平行判定部件，該平行判定部件基于所述平行度計算部件計算出的 所述平行度，判定拍攝所述第1圖像時的所述攝影部件和拍攝所述第2圖像時的所述攝影 部件的配置是否是平行立體，在通過所述平行判定部件判定出所述配置是平行立體的情況下，所述三維圖像生成部 件生成所述對象物的所述三維圖像。
7.一種攝影裝置的控制方法，所述攝影裝置具備拍攝對象物的攝影部及顯示部，該攝 影裝置的控制方法的特征在于，包括檢測從拍攝對象物的攝影部的主點到對焦于所述對象物的焦點為止的焦點距離的焦 點距離檢測步驟；獲取通過使焦點對焦于所述對象物的所述攝影部拍攝到的第1圖像和第2圖像的圖像 獲取步驟；檢測表示由所述圖像獲取步驟獲取到的所述第1圖像中的所述對象物上的點的位置 的第1圖像位置、和表示所述第2圖像中的所述點的位置的第2圖像位置的圖像位置檢測 步驟；基于由所述圖像位置檢測步驟檢測出的所述第1圖像位置和所述第2圖像位置之間的 差異，生成所述對象物的三維圖像的三維圖像生成步驟；基于由所述圖像位置檢測步驟檢測出的所述第1圖像位置及所述第2圖像位置、以及 由所述焦點距離檢測步驟檢測出的所述焦點距離，計算平行度的平行度計算步驟，該平行 度表示拍攝所述第1圖像時的所述攝影部的光軸和拍攝所述第2圖像時的所述攝影部的光 軸接近平行到什么程度；以及按照顯示由所述平行度計算步驟計算出的所述平行度的方式控制所述顯示部的顯示 控制步驟。
全文摘要
本發(fā)明提供一種能容易拍攝適合于三維圖像生成的圖像的攝影裝置及控制方法。數(shù)碼相機(100)具備獲取由攝影部拍攝到的第1圖像和第2圖像的圖像獲取部(142)；檢測表示對象物上的點在第1圖像中的位置的第1圖像位置和表示在第2圖像中的位置的第2圖像位置的圖像位置檢測部(151)；基于第1圖像位置和第2圖像位置的差異生成對象物的三維圖像的三維圖像生成部(170)；基于第1圖像位置及第2圖像位置和拍攝第1圖像時的焦點距離來計算表示拍攝第1圖像時的攝影部的光軸和拍攝第2圖像時的攝影部的光軸接近平行到什么程度的平行度的平行度計算部(156)；及顯示平行度計算部(156)計算出的平行度的顯示部。
文檔編號H04N5/232GK102143321SQ20111003654
公開日2011年8月3日 申請日期2011年1月31日 優(yōu)先權日2010年2月1日
發(fā)明者中島光康 申請人:卡西歐計算機株式會社