本發(fā)明涉及一種多攝像裝置、多攝像方法、程序及記錄介質(zhì),尤其涉及一種使用內(nèi)部攝像裝置及外部攝像裝置的多攝像裝置、多攝像方法、程序及記錄介質(zhì)。
背景技術(shù):
一直以來,研究了對通過有線或無線連接的多個相機進行集中控制,由此獲取所希望的圖像及動態(tài)圖像的技術(shù)。例如有能夠?qū)⒍鄠€監(jiān)視相機所捕捉的各圖像或動態(tài)圖像同時顯示于一個顯示裝置,且同時觀看多個視點的圖像的技術(shù)。
并且,正在研究使用智能手機或平板電腦(以下,僅稱為智能手機)控制攝像裝置的技術(shù)。例如,專利文獻1中公開有如下技術(shù):以無線連接智能手機和相機(攝像裝置),在智能手機的顯示部顯示由相機所獲取的圖像,并且從智能手機向相機發(fā)送命令。
以往技術(shù)文獻
專利文獻
專利文獻1:日本特開2013-93843號公報
技術(shù)實現(xiàn)要素:
發(fā)明要解決的技術(shù)課題
然而,以無線將多個外部攝像裝置連接于智能手機的情況下,必須準(zhǔn)備多臺無線連接的外部攝像裝置,而且若智能手機與多個外部攝像裝置被無線連接則整體的無線通信量增加而有可能導(dǎo)致無線通信本身不穩(wěn)定。
上述專利文獻1中并沒有提到隨著連接于智能手機的攝像裝置的臺數(shù)增加而無線通信變得不穩(wěn)定且分配于各無線連接的通信量減少,也沒有記載其對策。
本發(fā)明是鑒于這種情況而完成的,其目的在于提供一種能夠有效利用內(nèi)置于智能手機的攝像裝置且能夠減少智能手機與攝像裝置的無線連接的通信量的多攝像裝置、多攝像方法、程序及記錄介質(zhì)。
用于解決技術(shù)課題的手段
本發(fā)明的一方式的多攝像裝置具備:顯示部;內(nèi)部攝像裝置,獲取第1即時預(yù)覽圖像或正式拍攝的第1圖像;無線通信部,與獲取第2即時預(yù)覽圖像或正式拍攝的第2圖像的外部攝像裝置之間進行無線通信;及控制部,連接于顯示部、內(nèi)部攝像裝置及無線通信部,控制部從內(nèi)部攝像裝置輸入有第1即時預(yù)覽圖像,從外部攝像裝置經(jīng)由無線通信部接收第2即時預(yù)覽圖像,并將所輸入的第1即時預(yù)覽圖像及所接收的第2即時預(yù)覽圖像多重即時預(yù)覽顯示于顯示部。
根據(jù)本方式,通過多攝像裝置的內(nèi)部攝像裝置及無線連接于多攝像裝置的外部攝像裝置進行多攝像,因此能夠有效利用多攝像裝置的內(nèi)部攝像裝置且能夠抑制多攝像裝置與外部攝像裝置的無線通信量。
優(yōu)選,多攝像裝置還具備存儲部,控制部分別獲取通過內(nèi)部攝像裝置及外部攝像裝置正式拍攝的第1圖像及第2圖像,并以與多重即時預(yù)覽顯示的即時預(yù)覽圖像相同的方式對所獲取的第1圖像及第2圖像進行合成,將合成的圖像保存于存儲部。
根據(jù)本方式,以與多重即時預(yù)覽顯示的即時預(yù)覽圖像相同的方式合成正式拍攝的第1圖像及第2圖像并保存于存儲部,因此存儲與即時預(yù)覽圖像相同的多圖像。
優(yōu)選,外部攝像裝置具備機械云臺機構(gòu)或電子云臺機構(gòu),所述電子云臺機構(gòu)僅顯示第2圖像中的特定區(qū)域來進行云臺控制。
根據(jù)本方式,外部攝像裝置具有機械云臺機構(gòu)或電子云臺機構(gòu)。由此,本方式中,在外部攝像裝置具有機械云臺機構(gòu)的情況下能夠拍攝更廣范圍,在外部攝像裝置具有電子云臺機構(gòu)的情況下能夠通過平搖操作及俯仰操作截取所希望的圖像并進行顯示。
優(yōu)選,控制部獲取對顯示于顯示部的內(nèi)部攝像裝置所捕捉的被攝體進行特定的被攝體特定信息,并根據(jù)被攝體特定信息將云臺驅(qū)動命令發(fā)送至外部攝像裝置,所述云臺驅(qū)動命令用于以外部攝像裝置也可捕捉由內(nèi)部攝像裝置捕捉到的被攝體的方式控制外部攝像裝置的云臺機構(gòu)。
根據(jù)本方式,控制成根據(jù)對內(nèi)部攝像裝置所捕捉的被攝體進行特定的被攝體特定信息,外部攝像裝置的云臺機構(gòu)捕捉被攝體,因此外部攝像裝置能夠捕捉與內(nèi)部攝像裝置相同的被攝體。
優(yōu)選,控制部獲取內(nèi)部攝像裝置及外部攝像裝置的位置信息,且獲取內(nèi)部攝像裝置及外部攝像裝置的姿勢信息,并根據(jù)位置信息及姿勢信息將云臺驅(qū)動命令發(fā)送至外部攝像裝置,所述云臺驅(qū)動命令用于以外部攝像裝置也可捕捉由內(nèi)部攝像裝置捕捉到的被攝體的方式控制外部攝像裝置的云臺機構(gòu)。
根據(jù)本方式,控制成根據(jù)位置信息及姿勢信息,外部攝像裝置的云臺機構(gòu)可捕捉被攝體,因此外部攝像裝置能夠捕捉與內(nèi)部攝像裝置捕捉到的相同的被攝體。
優(yōu)選,控制部獲取內(nèi)部攝像裝置與被攝體的距離信息,并根據(jù)位置信息、姿勢信息及距離信息,將云臺驅(qū)動命令發(fā)送至外部攝像裝置,所述云臺驅(qū)動命令用于以外部攝像裝置也可捕捉由內(nèi)部攝像裝置捕捉到的被攝體的方式控制外部攝像裝置的云臺機構(gòu)。
根據(jù)本方式,控制成根據(jù)位置信息、姿勢信息及距離信息,外部攝像裝置的云臺機構(gòu)捕捉被攝體,因此外部攝像裝置能夠捕捉與內(nèi)部攝像裝置捕捉到的相同的被攝體。
優(yōu)選,控制部獲取多攝像裝置的姿勢信息,并與姿勢信息聯(lián)動地將用于控制外部攝像裝置的云臺機構(gòu)的云臺驅(qū)動命令發(fā)送至外部攝像裝置。
根據(jù)本方式,與多攝像裝置的姿勢信息聯(lián)動地控制外部攝像裝置的云臺機構(gòu),因此能夠通過多攝像裝置更加直觀地控制外部攝像裝置的云臺機構(gòu)。
優(yōu)選,多攝像裝置還具備命令正式拍攝的操作部,若由操作部命令正式拍攝,則控制部將命令外部攝像裝置的正式拍攝的攝像命令發(fā)送至外部攝像裝置。
根據(jù)本方式,由具有多攝像裝置的操作部命令外部攝像裝置的正式拍攝,因此能夠通過多攝像裝置控制外部攝像裝置的正式拍攝。
優(yōu)選,若由操作部命令正式拍攝,則控制部使內(nèi)部攝像裝置及外部攝像裝置同步進行正式拍攝。
根據(jù)本方式,與向外部攝像裝置發(fā)送正式拍攝的命令同步地命令內(nèi)部攝像裝置的正式拍攝,從而同時進行內(nèi)部攝像裝置及外部攝像裝置的正式拍攝,因此能夠獲取在相同時刻正式拍攝的圖像。
優(yōu)選,內(nèi)部攝像裝置包括第1攝像部及第2攝像部,控制部從第1攝像部及第2攝像部中的兩者或一者獲取第1即時預(yù)覽圖像或第1圖像。
根據(jù)本方式,內(nèi)部攝像裝置包括第1攝像部及第2攝像部,因此內(nèi)部攝像裝置能夠獲取不同視點的圖像。
優(yōu)選,外部攝像裝置具有機械云臺機構(gòu)或電子云臺機構(gòu),所述電子云臺機構(gòu)僅顯示第2圖像中的特定區(qū)域來進行云臺控制,在進行第1攝像部的拍攝及第2攝像部的拍攝的切換時,控制部將命令外部攝像裝置進行基于云臺機構(gòu)的驅(qū)動的自動跟蹤的自動跟蹤命令發(fā)送至外部攝像裝置。
根據(jù)本方式,根據(jù)第1攝像部與第2攝像部的切換,能夠使外部攝像部的云臺機構(gòu)進行自動跟蹤。由此,通過進行多攝像裝置的第1攝像部與第2攝像部的切換,能夠利用多攝像裝置控制外部攝像部的自動跟蹤的開始。
本發(fā)明的另一方式的攝像裝置將第2即時預(yù)覽圖像或第2圖像發(fā)送至上述多攝像裝置。
本發(fā)明的另一方式的多攝像方法包括:內(nèi)部拍攝步驟,獲取第1即時預(yù)覽圖像或正式拍攝的第1圖像;及外部拍攝步驟,從獲取了第2即時預(yù)覽圖像或正式拍攝的第2圖像的外部攝像裝置通過無線通信獲取第2即時預(yù)覽圖像或第2圖像,內(nèi)部拍攝步驟中輸入有第1即時預(yù)覽圖像,在外部拍攝步驟中接收第2即時預(yù)覽圖像,并且,所述方法還包括顯示步驟,對第1即時預(yù)覽圖像及第2即時預(yù)覽圖像進行多重即時預(yù)覽顯示。
優(yōu)選,多攝像方法還包括:通過內(nèi)部拍攝步驟及外部拍攝步驟分別獲取正式拍攝的第1圖像及第2圖像,并以與多重即時預(yù)覽顯示的即時預(yù)覽圖像相同的方式對所獲取的第1圖像及第2圖像進行合成的步驟;及保存所合成的圖像的步驟。
優(yōu)選,外部拍攝步驟獲取通過外部攝像裝置拍攝的第2即時預(yù)覽圖像或第2圖像,所述外部攝像裝置具有機械云臺機構(gòu)或電子云臺機構(gòu),所述電子云臺機構(gòu)僅顯示第2圖像中的特定區(qū)域來進行云臺控制。
優(yōu)選,多攝像方法包括:獲取對由內(nèi)部拍攝步驟捕捉到的被攝體進行特定的被攝體特定信息的步驟;及根據(jù)被攝體特定信息,將云臺驅(qū)動命令發(fā)送至外部攝像裝置,所述云臺驅(qū)動命令用于以外部攝像裝置也可捕捉由內(nèi)部攝像步驟捕捉到的被攝體的方式控制外部攝像裝置的云臺機構(gòu)的步驟。
優(yōu)選,多攝像方法包括:獲取內(nèi)部拍攝步驟所進行的內(nèi)部攝像裝置及外部攝像裝置的位置信息的步驟;獲取內(nèi)部攝像裝置及外部攝像裝置的姿勢信息;及根據(jù)位置信息及姿勢信息,將云臺驅(qū)動命令發(fā)送至外部攝像裝置,所述云臺驅(qū)動命令用于以外部攝像步驟也可捕捉由內(nèi)部攝像裝置捕捉到的被攝體的方式控制外部攝像裝置的云臺機構(gòu)的步驟。
優(yōu)選,多攝像方法包括:獲取內(nèi)部攝像裝置與被攝體的距離信息的步驟;及根據(jù)位置信息、姿勢信息及距離信息,將云臺驅(qū)動命令發(fā)送至外部攝像裝置,所述云臺驅(qū)動命令用于以外部攝像步驟也可捕捉由內(nèi)部攝像裝置捕捉到的被攝體的方式控制外部攝像裝置的云臺機構(gòu)的步驟。
優(yōu)選,多攝像方法包括:獲取多攝像裝置的姿勢信息的步驟;及根據(jù)多攝像裝置的姿勢信息,將用于控制外部攝像裝置的云臺機構(gòu)的云臺驅(qū)動命令發(fā)送至外部攝像裝置的步驟。
本發(fā)明的另一方式的程序使計算機執(zhí)行多攝像方法,所述多攝像方法包括如下步驟:內(nèi)部拍攝步驟,獲取第1即時預(yù)覽圖像或正式拍攝的第1圖像;及外部拍攝步驟,從獲取了第2即時預(yù)覽圖像或正式拍攝的第2圖像的外部攝像裝置通過無線通信獲取所述第2即時預(yù)覽圖像或所述第2圖像,其中,內(nèi)部拍攝步驟中輸入有第1即時預(yù)覽圖像,在外部拍攝步驟中接收第2即時預(yù)覽圖像,并且,所述方法還包括顯示步驟,對第1即時預(yù)覽圖像及第2即時預(yù)覽圖像進行多重即時預(yù)覽顯示。
本發(fā)明的另一方式的非暫時性記錄介質(zhì)中記錄有上述程序的能夠用計算機讀取的編碼。
作為具體的“非暫時性記錄介質(zhì)”,除了ROM(Read Only Memory)和EEPROM(Electrically Erasable and Programmable Read-Only Memory)以外,能夠使用硬盤驅(qū)動器或微型光盤、DVD(Digital Versatile Disc)等各種磁光記錄介質(zhì)、SSD(Solid State Drive)等半導(dǎo)體存儲器等各種非暫時性記錄介質(zhì)。
發(fā)明效果
根據(jù)本發(fā)明,由于通過多攝像裝置的內(nèi)部攝像裝置及無線連接于多攝像裝置的外部攝像裝置進行多攝像,因此能夠提供一種可有效利用多攝像裝置的內(nèi)部攝像裝置且能夠抑制多攝像裝置與外部攝像的無線通信量的多攝像裝置、多攝像方法、程序及記錄介質(zhì)。
附圖說明
圖1是表示多攝像裝置及外部攝像裝置的外觀的立體圖。
圖2是表示外部攝像裝置的內(nèi)部結(jié)構(gòu)的例的框圖。
圖3是表示多攝像裝置的內(nèi)部結(jié)構(gòu)的例的框圖。
圖4是表示多攝像裝置的顯示畫面的顯示例的圖。
圖5是表示多攝像裝置的顯示畫面的布局的示意圖。
圖6是說明關(guān)于布局中的圖像位置的組合的圖。
圖7是顯示3個即時預(yù)覽圖像時的圖。
圖8是說明即時預(yù)覽圖像的切換的圖。
圖9是說明關(guān)于由第1攝像部拍攝的即時預(yù)覽圖像的圖。
圖10是說明關(guān)于由第2攝像部拍攝的即時預(yù)覽圖像的圖。
圖11是多攝像裝置的動作流程圖。
圖12是表示云臺攝像機以無線連接于多攝像裝置的示意圖。
圖13是表示云臺攝像機的內(nèi)部結(jié)構(gòu)例的框圖。
圖14是在使用例1中使用云臺攝像機時的多攝像裝置的動作流程圖。
圖15是在使用例2中使用云臺攝像機時的多攝像裝置的動作流程圖。
圖16是在使用例2中使用云臺攝像機時的多攝像裝置的動作流程圖。
圖17是表示具有電子云臺機構(gòu)的攝像裝置的內(nèi)部結(jié)構(gòu)的框圖。
圖18是說明關(guān)于電子云臺機構(gòu)的平搖動作及俯仰動作的圖。
具體實施方式
以下,根據(jù)附圖對本發(fā)明所涉及的多攝像裝置、多攝像方法及程序的實施方式進行說明。
<第1實施方式>
首先,對本發(fā)明的第1實施方式進行說明。本實施方式中,使用一般的相機作為外部攝像裝置10(參考圖1)。
(多攝像裝置及外部攝像裝置的外觀)
圖1是表示本發(fā)明所涉及的多攝像裝置100(以下,也稱為智能手機)及外部攝像裝置10的外觀的立體圖。在此,智能手機100通過無線與外部攝像裝置10連接,智能手機100經(jīng)由無線通信獲取外部攝像裝置10所拍攝的圖像且發(fā)送控制外部攝像裝置10的命令。另外,本申請中的多攝像裝置是指能夠在其顯示部進行第1即時預(yù)覽圖像及第2即時預(yù)覽圖像的多視點顯示的攝像裝置。
外部攝像裝置10只要具有能夠與智能手機100進行無線通信的相機側(cè)無線通信部50(圖2)即可,作為外部攝像裝置10可使用各種各樣的攝像裝置。例如,作為外部攝像裝置10,可使用單反數(shù)碼相機、無反射鏡數(shù)碼相機、小型數(shù)碼相機或智能手機。
(攝像裝置的內(nèi)部結(jié)構(gòu))
圖2是表示外部攝像裝置10的內(nèi)部結(jié)構(gòu)的例的框圖。
該外部攝像裝置10還能夠進行靜止圖像及動態(tài)圖像的拍攝,且主要具備相機側(cè)攝像部20、相機側(cè)控制部40及相機側(cè)無線通信部50。
相機側(cè)攝像部20具有成像透鏡22及成像元件(圖2中標(biāo)記為CMOS)24等。成像透鏡22為定焦鏡頭或變焦透鏡,使被攝體像在成像元件24的成像面上成像。另外,成像透鏡22中所包括的聚焦透鏡、變倍透鏡(變焦透鏡的情況)及光圈23分別由透鏡驅(qū)動部26驅(qū)動。
本例的成像元件24為每一像素以規(guī)定的圖案排列(拜耳排列、G條紋R/G完整方格、X-Trans(注冊商標(biāo))排列、蜂窩排列等)有紅(R)、綠(G)、藍(lán)(B)的3原色的原色濾色器的彩色成像元件,由CMOS(Complementary Metal Oxide Semiconductor)型圖像傳感器構(gòu)成。另外,并不限定于CMOS型圖像傳感器,也可以為CCD(Charge Coupled Device)型圖像傳感器。
成像元件24由具有垂直驅(qū)動器及水平驅(qū)動器等的CMOS驅(qū)動器28及定時信號發(fā)生器(圖2中標(biāo)記為TG)29驅(qū)動。從成像元件24讀出與被攝體光的入射光量對應(yīng)的像素信號(與每一像素中所積蓄的信號電荷對應(yīng)的數(shù)字信號)。
相機側(cè)控制部40主要具備信號處理部41、攝像控制部42、透鏡控制部43及攝影技法控制部46。
信號處理部41對從相機側(cè)攝像部20輸入的數(shù)字圖像信號進行偏移處理、包括白平衡校正及靈敏度校正的增益控制處理、伽馬校正處理、去馬賽克處理(demosaicking處理)、RGB/YC轉(zhuǎn)換處理等信號處理。其中,去馬賽克處理是指從與單板式彩色成像元件的彩色濾色器排列對應(yīng)的馬賽克圖像中按每個像素計算出所有顏色信息的處理,也稱為同步化處理。例如,當(dāng)為包括RGB3色彩色濾色器的成像元件時,是指從包括RGB的馬賽克圖像中按每個像素計算出RGB所有顏色信息的處理。并且,RGB/YC轉(zhuǎn)換處理為從進行了去馬賽克處理的RGB圖像數(shù)據(jù)生成亮度數(shù)據(jù)Y及色差數(shù)據(jù)Cb、Cr的處理。
攝像控制部42為經(jīng)由CMOS驅(qū)動器28及TG29指令排出成像元件24的每像素的電容器中所積蓄的電荷或讀取與電容器中所積蓄的電荷對應(yīng)的信號等的部分,且進行攝像控制。
透鏡控制部43為經(jīng)由透鏡驅(qū)動部26控制成像透鏡22中所包括的聚焦透鏡、變倍透鏡及光圈23的部分,并進行使聚焦透鏡移動至對焦位置的自動對焦(AF)控制等。AF控制通過如下來進行:對與AF區(qū)域?qū)?yīng)的數(shù)字信號的高頻成分的絕對值進行積算,并檢測該進行了積分的值(AF評價值)成為最大的對焦位置,使聚焦透鏡移動至所檢測出的對焦位置。
攝影技法控制部46輸出控制信號處理部41、攝像控制部42及透鏡控制部43的指令信號。
相機側(cè)無線通信部50為在與圖1所示的智能手機100等外部的終端設(shè)備之間進行無線通信的部分,且經(jīng)由無線通信從智能手機100接收各種操作用命令。并且,相機側(cè)無線通信部50將記錄用圖像等發(fā)送至智能手機100,而且能夠通過相機側(cè)攝像部20進行動態(tài)圖像拍攝,并將通過信號處理部41處理的圖像(即時預(yù)覽圖像)發(fā)送至智能手機100。由此,能夠?qū)討B(tài)圖像等記錄用圖像記錄于智能手機100的內(nèi)部或外置記錄介質(zhì),或能夠?qū)⒓磿r預(yù)覽圖像顯示于智能手機100的顯示輸入部120(圖1)的顯示面板121。
相機側(cè)操作部60包括設(shè)置于外部攝像裝置10的攝像開始按鈕及電源按鈕等,且能夠進行與來自智能手機100的操作用命令的輸入相同的操作用命令的輸入。
相機側(cè)顯示部61作為顯示即時預(yù)覽圖像及再生圖像等的圖像顯示部發(fā)揮功能,并且作為用于與相機側(cè)操作部60聯(lián)動而顯示菜單畫面且設(shè)定/輸入各種參數(shù)的用戶界面部(UI部)發(fā)揮功能。
存儲器62包括暫時存放所拍攝的靜止圖像或動態(tài)圖像的存儲區(qū)域、成為進行各種演算處理等作業(yè)用區(qū)域的SDRAM(Synchronous Dynamic Random Access Memory)、存放有拍攝用程序及控制中所需要的各種數(shù)據(jù)等的ROM(Read Only Memory)。
(多攝像裝置的內(nèi)部結(jié)構(gòu))
圖3是表示圖1所示的多攝像裝置(智能手機)100的內(nèi)部結(jié)構(gòu)的例的框圖。
如圖3所示,作為智能手機100的主要構(gòu)成要件具備無線通信部110、顯示輸入部120、通話部130、操作部139、內(nèi)部攝像裝置140、存儲部150、外部輸入輸出部160、GPS(Global Positioning System)接收部170、動作傳感器部180、電源部190及控制部101。并且,作為智能手機100的主要功能,具備進行經(jīng)由基站裝置BS及移動通信網(wǎng)NW的移動無線通信的無線通信功能。
無線通信部110根據(jù)控制部101的命令,對容納于移動通信網(wǎng)NW的基站裝置BS進行無線通信。使用該無線通信進行音頻數(shù)據(jù)、圖像數(shù)據(jù)等各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的收發(fā)、Web數(shù)據(jù)及流數(shù)據(jù)等的接收。本例中,智能手機100的無線通信部110將各種操作用命令發(fā)送至外部攝像裝置10,或從外部攝像裝置10接收即時預(yù)覽圖像、正式拍攝的圖像等。另外,無線通信部110能夠與多個外部攝像裝置10進行無線通信,但若連接的外部攝像裝置10的數(shù)量變多,則與各外部攝像裝置10的無線通信的通信量有可能減少。
顯示輸入部120通過控制部101的控制來顯示圖像(靜止圖像及動態(tài)圖像)或文字信息等,并將信息視覺傳達給用戶的同時檢測對于所顯示的信息的用戶操作。顯示輸入部(顯示部)120具備顯示面板121及操作面板122。在觀賞3D圖像時,顯示面板121優(yōu)選為3D顯示面板。
顯示面板121將LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作顯示設(shè)備。
操作面板122是載置成能夠?qū)υ陲@示面板121的顯示面上顯示的圖像進行視覺辨認(rèn),并檢測通過用戶的手指或尖筆操作的一個或多個坐標(biāo)的設(shè)備。若通過用戶的手指或尖筆操作這種設(shè)備,則將因操作而產(chǎn)生的檢測信號輸出至控制部101。接著,控制部101根據(jù)接收到的檢測信號來檢測顯示面板121上的操作位置(坐標(biāo))。
如圖1所示,智能手機100的顯示面板121和操作面板122成為一體而構(gòu)成顯示輸入部120,但配置成操作面板122完全覆蓋顯示面板121。當(dāng)采用這種配置時,操作面板122也可以在對顯示面板121以外的區(qū)域具備檢測用戶操作的功能。換言之,操作面板122可以具備針對與顯示面板121重疊的重疊部分的檢測區(qū)域(以下,稱為顯示區(qū)域)和針對除此以外的不與顯示面板121重疊的外緣部分的檢測區(qū)域(以下,稱為非顯示區(qū)域)。
另外,顯示區(qū)域的大小和顯示面板121的大小可以完全一致,但無需一定要使兩者一致。并且,操作面板122可以具備外緣部分和除此以外的內(nèi)側(cè)部分這2個感應(yīng)區(qū)域。另外,外緣部分的寬度根據(jù)框體102的大小等而適當(dāng)進行設(shè)計。并且,作為在操作面板122中所采用的位置檢測方式,可以舉出矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式、靜電電容方式等,還可以采用任意方式。
通話部130具備揚聲器131和麥克風(fēng)132,所述通話部將通過麥克風(fēng)132輸入的用戶的語音轉(zhuǎn)換成能夠由控制部101處理的音頻數(shù)據(jù)且輸出至控制部101,或者對通過無線通信部110或外部輸入輸出部160接收的音頻數(shù)據(jù)進行解碼并從揚聲器131輸出。并且,如圖1所示,例如能夠?qū)P聲器131及麥克風(fēng)132搭載于與設(shè)有顯示輸入部120的面相同的面。
操作部139可以為使用鍵開關(guān)等的硬件鍵。并且,可以為顯示于顯示輸入部120的開關(guān),接受來自用戶的命令。例如,操作部139能夠經(jīng)由控制部101命令外部攝像裝置10的正式拍攝。另外,操作部139例如搭載于智能手機100的殼體102的顯示輸入部120的下部及下側(cè)面,若用手指等按下則開啟,若放開手指則通過彈簧等的復(fù)原力而成為關(guān)閉狀態(tài)的按鈕式的開關(guān)。
存儲部150存儲控制部101的控制程序和控制數(shù)據(jù)、與通信對方的名稱、電話號碼等建立了對應(yīng)關(guān)聯(lián)的地址數(shù)據(jù)、收發(fā)的電子郵件的數(shù)據(jù)、通過Web瀏覽下載的Web數(shù)據(jù)、以及已下載的內(nèi)容數(shù)據(jù),并且臨時存儲流數(shù)據(jù)等。并且,存儲部150由智能手機內(nèi)置的內(nèi)部存儲部151和具有裝卸自如的外部存儲器插槽的外部存儲部152構(gòu)成。另外,構(gòu)成存儲部150的各內(nèi)部存儲部151和外部存儲部152使用閃存類型(flash memory type)、硬盤類型(hard disk type)、微型多媒體卡類型(multimedia card microtype)、卡類型的存儲器(例如,MicroSD(注冊商標(biāo))存儲器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等存儲介質(zhì)來實現(xiàn)。
并且,以與多重即時預(yù)覽顯示于智能手機100的顯示輸入部120的即時預(yù)覽圖像相同的方式合成第1圖像及第2圖像并保存于存儲部150。并且,存儲部150中可以存儲有通過內(nèi)部攝像裝置140正式拍攝的第1圖像及通過外部攝像裝置10正式拍攝的第2圖像。
外部輸入輸出部160起到與智能手機100連結(jié)的所有外部設(shè)備的接口的作用,用于通過通信等(例如,通用串行總線(USB)、IEEE1394等)或網(wǎng)絡(luò)(例如,互聯(lián)網(wǎng)、無線LAN、藍(lán)牙(Bluetooth)(注冊商標(biāo))、RFID(Radio Frequency Identification)、紅外線通信(Infrared Data Association:IrDA)(注冊商標(biāo))、UWB(Ultra Wideband)(注冊商標(biāo))、紫蜂(ZigBee)(注冊商標(biāo))等)直接或間接地與其他外部設(shè)備連接。
作為與智能手機100連結(jié)的外部設(shè)備,例如有:有/無線頭戴式耳機、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡插槽而連接的存儲卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、經(jīng)由音頻/影像I/O(Input/Output)端子而連接的外部音頻/影像設(shè)備、無線連接的外部音頻/影像設(shè)備、有/無線連接的智能手機、有/無線連接的個人計算機、有/無線連接的PDA、耳機等。外部輸入輸出部160能夠?qū)倪@種外部設(shè)備接收了傳送的數(shù)據(jù)傳遞至智能手機100內(nèi)部的各構(gòu)成要件、或者將智能手機100內(nèi)部的數(shù)據(jù)傳送至外部設(shè)備。
GPS接收部170按照控制部101的命令,接收從GPS衛(wèi)星ST1~STn發(fā)送的GPS信號,并執(zhí)行基于接收到的多個GPS信號的定位運算處理,檢測智能手機100的由緯度、經(jīng)度、高度構(gòu)成的位置。GPS接收部170在能夠從無線通信部110或外部輸入輸出部160(例如,無線LAN)獲取位置信息時,還能夠使用該位置信息來檢測位置。
動作傳感器部180例如具備3軸加速度傳感器等,按照控制部101的命令,檢測智能手機100的物理動作。通過檢測智能手機100的物理動作來檢測智能手機100的動作方向、加速度。該檢測結(jié)果輸出至控制部101。并且,通過動作傳感器部180檢測出智能手機100的姿勢且檢測出智能手機100的第1攝像部及第2攝像部的光軸的方向。
電源部190按照控制部101的命令,向智能手機100的各部供給電池(未圖示)中蓄積的電力。
控制部101具備微處理器,按照存儲部150所存儲的控制程序、控制數(shù)據(jù)進行動作,集中控制智能手機100的各部。并且,主控制部101為了通過無線通信部110進行語音通信、數(shù)據(jù)通信而具備控制通信系統(tǒng)的各部的移動通信控制功能和應(yīng)用處理功能。
應(yīng)用處理功能通過控制部101根據(jù)存儲部150所存儲的應(yīng)用軟件動作來實現(xiàn)。作為應(yīng)用處理功能,例如有控制外部輸入輸出部160而與相向設(shè)備進行數(shù)據(jù)通信的紅外線通信功能、進行電子郵件的收發(fā)的電子郵件功能、閱覽Web網(wǎng)頁的Web瀏覽功能等。
并且,控制部101具備根據(jù)接收數(shù)據(jù)、已下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜止圖像或動態(tài)圖像的數(shù)據(jù))而將影像顯示于顯示輸入部120等的圖像處理功能。圖像處理功能是指主控制部101對圖像數(shù)據(jù)進行解碼,對該解碼結(jié)果實施圖像處理并將圖像顯示于顯示輸入部120的功能。例如,控制部101從內(nèi)部攝像裝置140輸入有第1即時預(yù)覽圖像,并從外部攝像裝置10經(jīng)由無線通信部110接收第2即時預(yù)覽圖像,并且將所輸入的第1即時預(yù)覽圖像及所接收的第2即時預(yù)覽圖像多重即時預(yù)覽顯示于顯示輸入部120。
另外,控制部101執(zhí)行對顯示面板121的顯示控制和檢測通過操作部139、操作面板122的用戶操作的操作檢測控制。
通過顯示控制的執(zhí)行,控制部101顯示用于啟動應(yīng)用軟件的圖標(biāo)、滾動條等軟件鍵、或者顯示用于創(chuàng)建電子郵件的窗口。另外,滾動條是指針對無法完全收納于顯示面板121的顯示區(qū)域中的較大的圖像等,用于接受使圖像的顯示部分移動的命令的軟件鍵。
并且,控制部101執(zhí)行檢測通過操作部139或操作面板122的用戶操作的操作檢測控制。
通過操作檢測控制的執(zhí)行,控制部101檢測通過操作部139的用戶操作、或者通過操作面板122接受對上述圖標(biāo)的操作或?qū)ι鲜龃翱诘妮斎霗诘淖址妮斎搿⒒蛘呓邮芡ㄟ^滾動條的顯示圖像的滾動請求。例如,若由操作部139命令正式拍攝,則控制部101經(jīng)由無線通信部110將命令外部攝像裝置10的正式拍攝的攝像命令發(fā)送至外部攝像裝置10。并且,由操作部139命令正式拍攝,則控制部101與向外部攝像裝置10發(fā)送正式拍攝的命令同步地將命令內(nèi)部攝像裝置140的正式拍攝的攝像命令輸出至內(nèi)部攝像裝置140,從而能夠同時進行內(nèi)部攝像裝置140及外部攝像裝置10的正式拍攝。
另外,通過操作檢測控制的執(zhí)行,控制部101具備判定對操作面板122的操作位置是與顯示面板121重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板121重疊的外緣部分(非顯示區(qū)域),并控制操作面板122的感應(yīng)區(qū)域、軟件鍵的顯示位置的觸摸面板控制功能。
并且,控制部101還能夠檢測對操作面板122的手勢操作,根據(jù)檢測出的手勢操作來執(zhí)行預(yù)先設(shè)定的功能。手勢操作并非以往的簡單的觸摸操作,而是利用手指等描繪軌跡、或者同時指定多個位置、或者將它們進行組合而從多個位置對至少一個位置描繪軌跡的操作。
內(nèi)部攝像裝置140是使用CMOS(Complementary Metal Oxide Semiconduc tor)、CCD(Charge-Coupled Device)等成像元件進行電子攝影(拍攝)的數(shù)碼相機。并且,內(nèi)部攝像裝置140具有第1攝像部141及第2攝像部142。另外,內(nèi)部攝像裝置140所具有的攝像部的數(shù)量并無特別限定。并且其中第1攝像部141及第2攝像部142為至少包括射影透鏡或成像元件的攝像單元。
并且,內(nèi)部攝像裝置140能夠通過控制部101的控制,將通過拍攝而得到的圖像數(shù)據(jù)例如轉(zhuǎn)換成JPEG(Joint Photographic coding ExpertsGroup)等壓縮的圖像數(shù)據(jù),并記錄在存儲部150、或者通過外部輸入輸出部160、無線通信部110進行輸出。
如圖1所示的智能手機100中,內(nèi)部攝像裝置140的第1攝像部141設(shè)置于與顯示輸入部120相同的面。并且,內(nèi)部攝像裝置140的第2攝像部142搭載于顯示輸入部120的背面。另外,圖1中省略了搭載于顯示輸入部120的背面的第2攝像部142的圖示。并且,當(dāng)搭載有多個內(nèi)部攝像裝置140時,還能夠切換用于進行拍攝的內(nèi)部攝像裝置140來單獨進行拍攝?;蛘咄瑫r使用多個內(nèi)部攝像裝置140來進行拍攝。而且,控制部101能夠從第1攝像部141及第2攝像部142中的兩者或一者獲取第1即時預(yù)覽圖像或第1圖像。
并且,內(nèi)部攝像裝置140能夠利用智能手機100的各種功能。例如,能夠在顯示面板121上顯示由內(nèi)部攝像裝置140獲取的即時預(yù)覽圖像(第1即時預(yù)覽圖像)或正式拍攝的圖像(第1圖像)、或者作為操作面板122的操作輸入之一而利用內(nèi)部攝像裝置140的圖像。并且,在GPS接收部170檢測位置時,還能夠參照來自內(nèi)部攝像裝置140的圖像來檢測位置。另外,還能夠參照來自內(nèi)部攝像裝置140的圖像,不使用3軸加速度傳感器、或者與3軸加速度傳感器同時使用來判斷智能手機100的內(nèi)部攝像裝置140的光軸方向、判斷當(dāng)前的使用環(huán)境。也能夠在應(yīng)用軟件內(nèi)利用來自內(nèi)部攝像裝置140的圖像。
本例中,經(jīng)由網(wǎng)絡(luò)等下載用于操作外部攝像裝置10的應(yīng)用軟件并存儲于存儲部150,通過利用智能手機100的應(yīng)用處理功能,按照所下載的應(yīng)用軟件使控制部101動作,由此使通用的智能手機100作為用于操作外部攝像裝置10的用戶界面部(UI部)而發(fā)揮功能。
(智能手機的顯示畫面)
圖4是表示多攝像裝置(智能手機)100的顯示輸入部120的顯示面板121中的顯示例的圖。
智能手機100具有包括顯示面板121及操作面板122的顯示輸入部120(參考圖3),顯示面板121的面板面為顯示畫面。
如圖4所示,在顯示面板121上設(shè)有:顯示區(qū)域121A,顯示有即時預(yù)覽圖像;顯示區(qū)域121B,顯示有表示即時預(yù)覽的布局的圖標(biāo)按鈕;及顯示區(qū)域121C,顯示有包括設(shè)定拍攝即時預(yù)覽的多個相機的臺數(shù)的遞增遞減控制的對話框。并且,在顯示面板121上顯示有:多功能的十字鍵124,包括表示上下左右的方向鍵及中心鍵的圖標(biāo);攝像開始按鈕(圖標(biāo)按鈕)125,命令攝像開始;及選擇按鈕(圖標(biāo)按鈕)126,對靜止圖像或動態(tài)圖像的拍攝進行選擇。
控制部101將從內(nèi)部攝像裝置140獲取的第1即時預(yù)覽圖像或正式拍攝的第1圖像及從外部攝像裝置10經(jīng)由無線通信獲取的第2即時預(yù)覽圖像或正式拍攝的第2圖像顯示于顯示輸入部120的顯示面板121的顯示區(qū)域121A。
此時,控制部101按照通過顯示于顯示區(qū)域121B的表示布局的圖標(biāo)按鈕所選擇的布局,將即時預(yù)覽圖像顯示于顯示面板121的顯示區(qū)域121A。在圖4所示的例中,由于表示4個布局的圖標(biāo)按鈕中從圖4的左側(cè)起第2個圖標(biāo)按鈕(用粗框顯示的圖標(biāo)按鈕)被操作,從左側(cè)起第2個圖標(biāo)按鈕所表示的布局被選擇,因此控制部101按照從左側(cè)起第2個圖標(biāo)按鈕所表示的布局,將2個即時預(yù)覽圖像顯示于顯示面板121的顯示區(qū)域121A。
利用遞增遞減控制來增加或減少顯示于顯示面板121的顯示區(qū)域121C的對話框內(nèi)的數(shù)字,由此能夠選擇拍攝中使用的相機的臺數(shù),并且,根據(jù)所選擇的相機的臺數(shù),顯示于顯示區(qū)域121B的表示布局的圖標(biāo)按鈕發(fā)生變化。另外,關(guān)于相機的臺數(shù)及與臺數(shù)對應(yīng)的圖像的布局的詳細(xì)內(nèi)容進行后述。
并且,若顯示于顯示面板121的顯示區(qū)域121A的即時預(yù)覽圖像的任一個被觸摸操作,則強調(diào)顯示(粗框顯示)被觸摸操作的即時預(yù)覽圖像的框,能夠?qū)Πl(fā)送用粗框顯示的即時預(yù)覽圖像的相機單獨進行遠(yuǎn)程操作。
攝像開始按鈕125為操作部139的一方式,如圖1所示,可以為作為智能手機100的硬件的按鈕,如圖4所示,也可以使用顯示于顯示畫面上的攝像開始按鈕125。
并且,控制部101生成并獲取多視點圖像,所述多視點圖像沿著所設(shè)定的布局及圖像位置合成由內(nèi)部攝像裝置140正式拍攝的第1圖像及由外部攝像裝置10正式拍攝的第2圖像而成。而且,控制部101將生成并獲取的多視點圖像保存于存儲部150。
接著,對與相機的臺數(shù)所對應(yīng)的布局的種類進行說明。
圖5是表示相機臺數(shù)為3臺、2臺及1臺時,各自能夠選擇的布局的圖。
如圖5的(a)部分所示,相機臺數(shù)為2時,能夠從4個布局(1)~(4)中選擇1個布局。另外,顯示于圖4的顯示面板121的顯示區(qū)域121B表示的布局的圖標(biāo)按鈕表示圖5的(a)部分所示的4個布局(1)~(4),且表示布局(2)被選擇時的情況。
圖5的(a)部分所示的4個布局中的布局(1)為將各自縱長地裁剪成2個圖像橫向排列的布局。布局(2)為將縱長地裁剪的1個圖像配置于顯示區(qū)域121B的左側(cè)的圖像位置,將未裁剪的1個圖像配置于顯示區(qū)域121B的右側(cè)的圖像位置的布局,布局(3)為與布局(2)左右的圖像位置相反的布局,布局(4)為將各自橫長地裁剪的2個圖像縱向排列的布局。
如圖5的(b)部分所示,相機臺數(shù)為3時,能夠從5個布局(1)~(5)中選擇1個布局。
圖5的(b)部分所示的5個布局中的布局(1)為與布局(2)上下的圖像位置相反的布局,布局(3)為將各自縱長地裁剪的3個圖像橫向排列的布局。布局(4)為將縱長地裁剪的1個圖像配置于顯示區(qū)域121B的左側(cè)的圖像位置,將橫長地裁剪的2個圖像配置于顯示區(qū)域121B的右側(cè)的上下的圖像位置的布局。布局(5)為布局(4)的配置左右顛倒的布局。
如圖5的(c)部分所示,相機臺數(shù)為1時,只有顯示1個整體圖像的1個布局(1)被選擇(自動設(shè)定)。
如此,若相機臺數(shù)被特定且表示布局的編號被特定,則能夠特定1個或多個圖像的布局。另外,與相機臺數(shù)無關(guān)地通過將表示布局的編號設(shè)為序列號,能夠從表示布局的編號特定1個或多個圖像的布局。
并且,以與上述布局的方式顯示的即時預(yù)覽圖像相同的方式合成正式拍攝的第1圖像和正式拍攝的第2圖像并存儲于存儲部150。另外,關(guān)于具體的合成方法,由于使用公知的方法因此省略說明。
接著,對顯示于所選擇的布局的1個或多個即時預(yù)覽圖像的圖像位置的設(shè)定方法進行說明。
圖7是在顯示面板121的顯示區(qū)域121A顯示3個即時預(yù)覽圖像時的放大圖。
如圖7的(a)部分所示,顯示面板121的顯示區(qū)域121A上按照所選擇的布局(本例中,圖5的(b)部分所示的布局(2))顯示有3個即時預(yù)覽圖像LV1,LV2,LV3。
其中,即時預(yù)覽圖像LV1為從內(nèi)部攝像裝置140獲取的圖像,即時預(yù)覽圖像LV2及LV3為從外部攝像裝置10接收的圖像。
按照該布局顯示的即時預(yù)覽圖像LV1,LV2,LV3的各圖像中,即時預(yù)覽圖像LV1的圖像進行了截取所拍攝的1個圖像的上下區(qū)域的的裁剪,且設(shè)為具有橫長的長寬比的圖像,顯示于顯示區(qū)域121A的上半部分的區(qū)域(圖像位置)。
并且,即時預(yù)覽圖像LV2、LV3的圖像各自未被裁剪而顯示于顯示區(qū)域121A的下半部分的左右區(qū)域(圖像位置)。
另外,關(guān)于從即時預(yù)覽圖像的1個圖像截取具有橫長或縱長的長寬比的圖像的裁剪處理,通常截取1個圖像的中央部分,但在顯示1個整體圖像的狀態(tài)下顯示具有橫長或縱長的長寬比的裁剪框,并觸摸移動該裁剪框,由此能夠從1個整體圖像截取裁剪了任意位置的圖像。
圖7的(a)部分中,替換布局內(nèi)的即時預(yù)覽圖像LV1與LV2的圖像位置時,進行觸摸即時預(yù)覽圖像LV2并將即時預(yù)覽圖像LV2移動至即時預(yù)覽圖像LV1的圖像位置的滑動操作。如圖7的(b)部分所示,通過該滑動操作,能夠替換即時預(yù)覽圖像LV1與LV2的圖像位置。
另外,隨著上述圖像位置的移動,即時預(yù)覽圖像LV1成為未被裁剪的圖像,即時預(yù)覽圖像LV2成為橫長地裁剪的圖像。并且,通過進行觸摸即時預(yù)覽圖像LV1并將即時預(yù)覽圖像LV1移動至即時預(yù)覽圖像LV2的圖像位置的滑動操作,能夠與上述相同地替換即時預(yù)覽圖像LV1與LV2的圖像位置。
在上述布局內(nèi)替換即時預(yù)覽圖像LV1~LV3的3個圖像的圖像位置時得到的圖像位置的組合,如圖6所示存在6種。以下,將6種組合中的任一種設(shè)為由圖像位置(1)~(6)的數(shù)字特定的組合。
相機臺數(shù)為3時,任一布局被選擇,3個圖像的圖像位置的組合均存在6種。另外,相機臺數(shù)為2時,替換2個圖像的圖像位置時得到的圖像位置的組合為2種,相機臺數(shù)為1時,圖像位置的組合為1種。
圖8是顯示面板121的顯示區(qū)域121A的放大圖,并且尤其示出關(guān)于選擇相機臺數(shù)為1(1個即時預(yù)覽圖像)的情況。
圖8的(a)部分所示的例中,以大畫面顯示與所被選擇的相機對應(yīng)的即時預(yù)覽圖像LV1,以小畫面顯示于正在通信中但未被選擇的相機對應(yīng)的2個即時預(yù)覽圖像LV2,LV3。另外,與以小畫面顯示的即時預(yù)覽圖像LV2,LV3對應(yīng)的動態(tài)圖像無法成為動態(tài)圖像編輯的對象。
圖8的(a)部分中,將被選擇的即時預(yù)覽圖像LV1切換為即時預(yù)覽圖像LV2(選擇即時預(yù)覽圖像LV2的情況)時,進行觸摸即時預(yù)覽圖像LV1,并將即時預(yù)覽圖像LV1移動至即時預(yù)覽圖像LV2的圖像位置的滑動操作。如圖8的(b)部分所示,通過該滑動操作,能夠?qū)⒈贿x擇的即時預(yù)覽圖像LV1切換為即時預(yù)覽圖像LV2。
另外,通過進行觸摸即時預(yù)覽圖像LV2并將即時預(yù)覽圖像LV2移動至即時預(yù)覽圖像LV1的圖像位置的滑動操作,能夠與上述相同地替換即時預(yù)覽圖像LV1與LV2的圖像位置(即時預(yù)覽圖像的選擇)。
如此若相機臺數(shù)及布局被特定且圖像位置的組合(表示圖像位置的數(shù)字)被特定,則能夠特定通過哪個相機拍攝的即時預(yù)覽圖像的圖像應(yīng)該配置于布局的哪個圖像位置(相機臺數(shù)為1時為哪個相機的即時預(yù)覽圖像?)。
(第1攝像部及第2攝像部)
圖9及圖10是說明關(guān)于由第1攝像部141拍攝的即時預(yù)覽圖像及由第2攝像部142拍攝的即時預(yù)覽圖像的示意圖。圖9中,在顯示輸入部120顯示由智能手機100的內(nèi)部攝像裝置140(第1攝像部141)獲取的第1即時預(yù)覽圖像201及由外部攝像裝置10獲取的第2即時預(yù)覽圖像203的多重即時預(yù)覽顯示。圖9所示的情況中,由設(shè)置于智能手機100的顯示輸入部120側(cè)的第1攝像部141(也稱為前置相機)獲取的人物的臉部被設(shè)為主要被攝體的即時預(yù)覽圖像201顯示于顯示輸入部120。
并且,顯示輸入部120上設(shè)置有:前置相機命令接受部205,接受向前置相機的切換命令;及后置相機命令接受部207,接受向后置相機的切換命令。通過前置相機命令接受部205及后置相機命令接受部207用戶能夠控制由后置相機進行的拍攝及由前置相機進行的拍攝。
圖10中示出由智能手機100的內(nèi)部攝像裝置140(第2攝像部142)獲取的第1即時預(yù)覽圖像及由外部攝像裝置10獲取的第2即時預(yù)覽圖像的多重即時預(yù)覽顯示。圖10所示的情況中,由于通過智能手機100的后置相機(第2攝像部142)進行拍攝,因此顯示捕捉到與圖9不同的主要被攝體的第1即時預(yù)覽圖像201。
如此,能夠通過設(shè)置于顯示輸入部120的前置相機命令接受部205及后置相機命令接受部207對內(nèi)部攝像裝置140中的第1攝像部141及第2攝像部142的即時預(yù)覽圖像的顯示進行控制。由此,能夠在內(nèi)部攝像裝置140中獲取不同視點的圖像,能夠在多攝像裝置100進行各種方式的多重即時預(yù)覽顯示。
圖11為多攝像裝置100的動作流程圖。
首先,通過內(nèi)部攝像裝置140的第1攝像部141或第2攝像部142獲取第1即時預(yù)覽圖像(步驟S10:內(nèi)部拍攝步驟)。然后,從內(nèi)部攝像裝置140向多攝像裝置100的控制部101輸出第1即時預(yù)覽圖像。而且,通過外部攝像裝置10獲取的第2即時預(yù)覽圖像被多攝像裝置100獲取(步驟S11:外部拍攝步驟)。即,多攝像裝置100經(jīng)由無線通信部110從外部攝像裝置10接收第2即時預(yù)覽圖像。然后,通過控制部101設(shè)定布局及即時預(yù)覽圖像的顯示位置(步驟S12)。另外,控制部101所進行的布局及即時預(yù)覽圖像的顯示位置的設(shè)定可以根據(jù)用戶的命令由控制部101進行,也可以根據(jù)預(yù)先確定的的設(shè)定由控制部101進行。而且,按照被設(shè)定的布局及圖像位置多視點顯示第1及第2即時預(yù)覽圖像(步驟S13:顯示步驟)。
然后,通過控制部101判斷有無正式拍攝的命令(步驟S14)。當(dāng)沒有正式拍攝的命令時(步驟S14為否的情況),再次通過內(nèi)部攝像裝置140獲取第1即時預(yù)覽圖像。另一方面,當(dāng)有向外部攝像裝置10及內(nèi)部攝像裝置140的正式拍攝的命令時(步驟S14為是的情況),控制部101使外部攝像裝置10及內(nèi)部攝像裝置140同步進行正式拍攝(步驟S15)。
然后,控制部101獲取正式拍攝的第1圖像及第2圖像(步驟S16)。而且,控制部101按照設(shè)定的布局及圖像位置合成第1圖像及第2圖像(步驟S17)。然后,控制部101將沿著第1圖像及第2圖像被設(shè)定的布局及圖像位置而合成的多視點顯示圖像保存于存儲部150(步驟S18)。通過用于使計算機執(zhí)行上述的流程圖的各步驟的程序也能夠?qū)崿F(xiàn)本發(fā)明。該種情況下,程序存儲于能夠用計算機讀取的非暫時性記錄介質(zhì)。
如以上說明,根據(jù)本實施方式,通過由內(nèi)部攝像裝置140及由外部攝像裝置10獲取的即時預(yù)覽圖像進行多重即時預(yù)覽顯示,因此能夠有效利用多攝像裝置100的內(nèi)部攝像裝置140,且能夠減少多攝像裝置100與外部攝像裝置10的無線通信量。例如,與為了獲取2個即時預(yù)覽圖像而無線連接2臺外部攝像裝置10的情況相比,本實施方式中僅一臺外部攝像裝置10通過無線通信與多攝像裝置100連接,因此能夠抑制相當(dāng)于連接1臺外部攝像裝置10的無線通信量。
<第2實施方式>
接著,對第2實施方式進行說明。本實施方式中,作為外部攝像裝置10使用具備云臺機構(gòu)的攝像裝置(云臺攝像機)。
圖12是表示作為外部攝像裝置10的云臺攝像機10A以無線連接于多攝像裝置(也稱為智能手機)100的示意圖。
云臺攝像機10A主要具有裝置主體12、底座14、固定于底座14并且轉(zhuǎn)動自如地保持相機側(cè)攝像部20的保持部16及覆蓋相機側(cè)攝像部20的球形罩18。
底座14配設(shè)成以裝置主體12的垂直方向Z的軸為中心旋轉(zhuǎn)自如,且通過平搖驅(qū)動部34(圖13)以垂直方向Z的軸為中心旋轉(zhuǎn)。
保持部16具有與水平方向X的軸同軸設(shè)置的齒輪16A,且通過從俯仰驅(qū)動部36(圖13)經(jīng)由齒輪16A傳達驅(qū)動力,從而使相機側(cè)攝像部20向上下方向轉(zhuǎn)動(俯仰動作)。
球形罩18為防塵及防濺用罩體,并且優(yōu)選為將水平方向X的軸與垂直方向Z的軸的交點設(shè)定為曲率中心的恒定壁厚的球殼形狀,以使相機側(cè)攝像部20的光學(xué)性能不發(fā)生變化且與相機側(cè)攝像部20的光軸方向L無關(guān)。
并且,優(yōu)選在裝置主體12的背面設(shè)置未圖示的三腳架安裝部(三腳架螺孔等)。
云臺攝像機10A中設(shè)置有命令攝像開始的攝像開始按鈕19及電源開關(guān)(未圖示),但云臺攝像機10A具有相機側(cè)無線通信部50(圖13),并且主要通過與外部的終端設(shè)備(本例中為智能手機100)的無線通信,從智能手機100施加各種操作用命令。并且,利用云臺攝像機10A所拍攝的即時預(yù)覽圖像或正式拍攝的圖像經(jīng)由相機側(cè)無線通信部50發(fā)送至智能手機100。
圖13是表示作為外部攝像裝置10的云臺攝像機10A的內(nèi)部結(jié)構(gòu)例的框圖。另外,對與在圖2中進行說明的模塊相同的模塊賦予相同的符號并省略說明。
圖13所示的云臺攝像機10A的內(nèi)部結(jié)構(gòu)例中,相對于圖2所示,追加有云臺裝置30、云臺控制部44及被攝體檢測部45。
云臺裝置30具備云臺機構(gòu)32、平搖驅(qū)動部34及俯仰驅(qū)動部36。另外,云臺機構(gòu)32如圖12所示由使相機側(cè)攝像部20相對于裝置主體12向水平方向(平搖方向)旋轉(zhuǎn)的平搖機構(gòu)及向垂直方向(俯仰方向)轉(zhuǎn)動的俯仰機構(gòu)32構(gòu)成。云臺機構(gòu)32具有檢測平搖方向的旋轉(zhuǎn)角度(平搖角)的基準(zhǔn)位置的原位置傳感器及檢測俯仰方向的傾斜角(俯仰角)的基準(zhǔn)位置的原位置傳感器。
平搖驅(qū)動部34及俯仰驅(qū)動部36分別具有步進電機及電機驅(qū)動器,并向云臺機構(gòu)32輸出驅(qū)動力而驅(qū)動云臺機構(gòu)32。
云臺控制部44設(shè)置于相機側(cè)控制部40。云臺控制部44為控制云臺裝置30的部分。具體而言,設(shè)定了自動跟蹤模式的情況下,云臺控制部44以通過被攝體檢測部45檢測出的被攝體成為視場角的中心的方式控制云臺裝置30。并且,未設(shè)定自動跟蹤模式的情況下,云臺控制部44按照從智能手機100發(fā)送的命令控制云臺裝置30。
若圖4中說明的十字鍵124中的任一方向鍵被觸摸操作,則控制部101輸出向被觸摸操作的方向鍵所示的方向進行平搖動作或俯仰動作的電機驅(qū)動指令。并且,若十字鍵124的中心鍵被操作,則控制部101輸出用于按一定的模式重復(fù)平搖動作或俯仰動作的電機驅(qū)動指令。
被攝體檢測部45具備若特定了作為跟蹤對象的被攝體,則即使被攝體移動也檢測該被攝體的功能。具體而言,首先,自動或手動設(shè)定欲作為跟蹤對象的被攝體,接著從信號處理部41依次得到的拍攝動態(tài)圖像中通過人臉檢測處理或模式匹配處理檢測出作為跟蹤對象的被攝體的圖像。另外,關(guān)于被攝體檢測部45中進行的人臉檢測處理或模式匹配處理已眾所周知,因此在此省略說明。并且,作為被攝體檢測的另一方法,將運動物體作為被攝體的情況下,可以通過運動物體檢測來檢測被攝體。
如此,使用云臺攝像機10A作為外部攝像裝置10,由此能夠通過外部攝像裝置10進行更廣范圍的拍攝。
接著,對使用云臺攝像機10A作為外部攝像裝置10時的云臺攝像機10A的使用例進行說明。
(云臺攝像機的使用例1)
本例中,云臺攝像機10A根據(jù)被攝體特定信息拍攝利用多攝像裝置100的內(nèi)部攝像裝置140捕捉到的被攝體。
圖14是在使用例1中使用云臺攝像機10A的多攝像裝置100的動作流程圖。
首先,多攝像裝置100通過內(nèi)部攝像裝置140捕捉被攝體,并對該捕捉到的被攝體進行特定(步驟S20)。例如,在多攝像裝置100的顯示輸入部120顯示通過內(nèi)部攝像裝置140捕捉到的被攝體,通過用戶的觸摸等特定被攝體。然后,通過多攝像裝置100的控制部101獲取被特定的被攝體的被攝體特定信息(步驟S21)。例如,控制部101獲取用于被特定的被攝體的人臉識別的信息或有關(guān)被特定的被攝體的模式匹配的信息作為被攝體特定信息。
然后,控制部101根據(jù)被攝體特定信息,經(jīng)由無線通信部110向外部攝像裝置10發(fā)送云臺驅(qū)動命令,所述云臺驅(qū)動命令用于以由外部攝像裝置10也可捕捉由內(nèi)部攝像裝置140捕捉到的被攝體的方式控制外部攝像裝置10的云臺機構(gòu)32(步驟S22)。而且,云臺攝像機10A經(jīng)由相機側(cè)無線通信部50接收云臺驅(qū)動命令,并根據(jù)云臺驅(qū)動命令通過云臺控制部44控制云臺裝置30。
如此,本例中,根據(jù)對內(nèi)部攝像裝置140所捕捉的被攝體進行特定的被攝體特定信息,控制成外部攝像裝置10的云臺機構(gòu)32捕捉被攝體。因此,能夠利用外部攝像裝置10及內(nèi)部攝像裝置140捕捉相同的被攝體。
(云臺機構(gòu)的使用例2)
本例中,云臺攝像機10A根據(jù)位置信息及姿勢信息來拍攝利用多攝像裝置100的內(nèi)部攝像裝置140所捕捉的被攝體。
圖15是在使用例2中使用云臺攝像機10A的多攝像裝置100的動作流程圖。
首先,多攝像裝置100通過內(nèi)部攝像裝置140捕捉被攝體,并對該捕捉到的被攝體進行特定(步驟S30)。例如,在多攝像裝置100的顯示輸入部120顯示通過內(nèi)部攝像裝置140捕捉到的被攝體,通過用戶的觸摸等特定被攝體。然后,多攝像裝置100的控制部101獲取內(nèi)部攝像裝置140的位置信息及云臺攝像機10A的位置信息(步驟S31)。內(nèi)部攝像裝置140的位置信息能夠從多攝像裝置100的GPS接收部170獲取,云臺攝像機10A的位置信息能夠從云臺攝像機10A所具有的GPS等獲取。并且,多攝像裝置100的控制部101獲取內(nèi)部攝像裝置140的姿勢信息及云臺攝像機10A的姿勢信息(步驟S31)??刂撇?01通過設(shè)置于多攝像裝置100內(nèi)的3軸加速度傳感器等獲取多攝像裝置100的姿勢信息,并獲取關(guān)于內(nèi)部攝像裝置140的光軸的朝向的信息。并且,控制部101通過設(shè)置于云臺攝像機10A的3軸加速度傳感器或云臺機構(gòu)32等獲取云臺攝像機10A的姿勢信息,并獲取關(guān)于云臺攝像機10A的光軸的朝向的信息。
然后,控制部101根據(jù)位置信息及姿勢信息,經(jīng)由無線通信部110向外部攝像裝置10發(fā)送云臺驅(qū)動命令,所述云臺驅(qū)動命令用于以由外部攝像裝置10也可捕捉由內(nèi)部攝像裝置140捕捉到的被攝體的方式控制外部攝像裝置10的云臺機構(gòu)32(步驟S32)。而且,云臺攝像機10A經(jīng)由相機側(cè)無線通信部50接收云臺驅(qū)動命令,并根據(jù)云臺驅(qū)動命令通過云臺控制部44控制云臺裝置30。
如此,本例中,根據(jù)位置信息及姿勢信息,控制成外部攝像裝置10的云臺機構(gòu)32捕捉被攝體,因此由外部攝像裝置10也能夠捕捉內(nèi)部攝像裝置140所捕捉的被攝體。
而且本例中,云臺攝像機10A也可以根據(jù)位置信息、姿勢信息及距離信息拍攝由多攝像裝置100的內(nèi)部攝像裝置140捕捉到的被攝體。
圖16是在使用例2中使用云臺攝像機10A的另一多攝像裝置100的動作流程圖。
首先,多攝像裝置100通過內(nèi)部攝像裝置140捕捉被攝體,并對該捕捉到的被攝體進行特定(步驟S40)。例如,多攝像裝置100的顯示輸入部120顯示通過內(nèi)部攝像裝置140捕捉到的被攝體,并通過用戶的觸摸等來特定被攝體。然后,多攝像裝置100的控制部101獲取內(nèi)部攝像裝置140的位置信息及云臺攝像機10A的位置信息(步驟S41)。內(nèi)部攝像裝置140的位置信息能夠從多攝像裝置100的GPS接收部170獲取,云臺攝像機10A的位置信息能夠從云臺攝像機10A所具有的GPS等獲取。并且,多攝像裝置100的控制部101獲取內(nèi)部攝像裝置140的姿勢信息、云臺攝像機10A的姿勢信息及內(nèi)部攝像裝置140與被攝體的距離信息(步驟S41)。控制部101通過設(shè)置于多攝像裝置100內(nèi)的3軸加速度傳感器等獲取多攝像裝置100的姿勢信息,并獲取關(guān)于內(nèi)部攝像裝置140的光軸的朝向的信息。并且,控制部101通過設(shè)置于云臺攝像機10A的3軸加速度傳感器或云臺機構(gòu)32等獲取云臺攝像機10A的姿勢信息,并獲取關(guān)于云臺攝像機10A的光軸的朝向的信息。而且,多攝像裝置100的控制部101獲取關(guān)于內(nèi)部攝像裝置140與由內(nèi)部攝像裝置140捕捉到的被攝體的距離的信息(步驟S41)。另外,關(guān)于內(nèi)部攝像裝置140與被攝體的距離的信息可通過公知的方法來獲取。例如,多攝像裝置100的控制部101可以使用內(nèi)部攝像裝置140獲取與被攝體的距離,也可以通過在被攝體使用激光等距離獲取方法來獲取內(nèi)部攝像裝置140與被攝體的距離。
然后,控制部101根據(jù)位置信息、姿勢信息及距離信息,經(jīng)由無線通信部110將云臺驅(qū)動命令發(fā)送至外部攝像裝置10,所述云臺驅(qū)動命令用于以由外部攝像裝置10也捕捉由內(nèi)部攝像裝置140捕捉到的被攝體的方式控制外部攝像裝置10的云臺機構(gòu)32(步驟S42)。而且,云臺攝像機10A經(jīng)由相機側(cè)無線通信部50接收云臺驅(qū)動命令,并根據(jù)云臺驅(qū)動命令通過云臺控制部44控制云臺裝置30。
如此,本例中,根據(jù)位置信息、姿勢信息及距離信息,控制成外部攝像裝置10的云臺機構(gòu)32捕捉被攝體,因此也能夠由外部攝像裝置10捕捉內(nèi)部攝像裝置140所捕捉到的被攝體。
(云臺攝像機的使用例3)
本例中,云臺攝像機10A根據(jù)多攝像裝置100的前置相機(第1攝像部141)與后置相機(第2攝像部142)的切換,進行被攝體的自動跟蹤。即,多攝像裝置100的控制部101根據(jù)內(nèi)部攝像裝置140中的第1攝像部141與第2攝像部142的切換,將命令云臺攝像機10A進行基于云臺機構(gòu)32的驅(qū)動的自動跟蹤的自動跟蹤命令經(jīng)由無線通信部110發(fā)送至外部攝像裝置10。其中,被攝體的自動跟蹤是指以跟蹤被特定的被攝體的方式使云臺機構(gòu)32進行動作。并且,如在上述的使用例1及2中說明的那樣,自動跟蹤的對象可以通過多攝像裝置100來特定,并通過被攝體檢測部45檢測出,也可以自動跟蹤由云臺攝像機10A特定的被攝體。
如此,本例中,根據(jù)第1攝像部141與第2攝像部142的切換,使外部攝像裝置10的云臺機構(gòu)32進行自動跟蹤。由此,本例中,能夠通過操作多攝像裝置100來使外部攝像裝置10進行自動跟蹤。
(云臺攝像機的使用例4)
本例中,與多攝像裝置100的姿勢信息聯(lián)動地控制云臺攝像機10A的云臺機構(gòu)32。即,多攝像裝置100的控制部101從動作傳感器部180獲取多攝像裝置100的姿勢信息,并將用于與其姿勢信息聯(lián)動地控制外部攝像裝置10的云臺機構(gòu)32的云臺驅(qū)動命令發(fā)送至外部攝像裝置10。例如,若使多攝像裝置100橫向傾斜,則云臺機構(gòu)32控制成進行平搖動作,若使多攝像裝置100縱向傾斜,則云臺機構(gòu)32控制成進行俯仰動作。
如此,本例中,與多攝像裝置100被移動時的姿勢信息聯(lián)動地控制外部攝像裝置10的云臺機構(gòu)32,因此能夠通過多攝像裝置100更加直觀地控制外部攝像裝置10的云臺機構(gòu)32。
<第3實施方式>
接著,對本發(fā)明的第3實施方式進行說明。本實施方式中,外部攝像裝置10具有電子云臺機構(gòu)。
圖17是表示本實施方式的外部攝像裝置10的具有電子云臺機構(gòu)的攝像裝置的內(nèi)部結(jié)構(gòu)的框圖。另外,對與在圖2及圖13中進行說明的模塊相同的模塊標(biāo)注相同的符號并省略說明。
圖17所示的云臺攝像機10A的框圖與圖2及圖13所示的框圖相比,具有電子云臺控制部51。并且成像透鏡22優(yōu)選使用廣角透鏡。
電子云臺控制部51通過僅對所獲取的圖像的特定區(qū)域進行裁剪來顯示,從而虛擬地顯示攝像部進行平搖動作或俯仰動作那樣的圖像。另外,電子云臺的具體的方法使用了公知技術(shù),因此在這里省略具體說明。
圖18是說明關(guān)于電子云臺機構(gòu)的平搖動作及俯仰動作的圖。圖18中示出由外部攝像裝置10獲取的即時預(yù)覽圖像(第2即時預(yù)覽圖像)71、被攝體73及裁剪區(qū)域(特定區(qū)域)75。本申請的電子云臺機構(gòu)的一例示于圖18,即時預(yù)覽圖像71中,通過將裁剪區(qū)域75的位置向平搖方向及俯仰方向移動,能夠虛擬地顯示好像攝像部進行平搖動作及俯仰動作。另外,多攝像裝置100的顯示輸入部120中顯示有裁剪區(qū)域75內(nèi)的即時預(yù)覽圖像71。另外,裁剪區(qū)域75優(yōu)選為與上述的布局中的顯示區(qū)域相同的長寬比。
如以上說明,通過外部攝像裝置10具有電子云臺機構(gòu),即使外部攝像裝置10不具有機械云臺機構(gòu)的情況下,攝像部也能夠進行如平搖動作及俯仰動作的顯示。并且,本實施方式中,也可同樣應(yīng)用上述的云臺攝像機的使用例1至4。
以上對本發(fā)明的例子進行了說明,但本發(fā)明并不限定于上述實施方式,在不脫離本發(fā)明的精神的范圍內(nèi)可進行各種變形這是不言而喻的。
符號說明
10-外部攝像裝置,20-相機側(cè)攝像部,22-成像透鏡,23-光圈,24-成像元件,26-透鏡驅(qū)動部,28-CMOS驅(qū)動器,40-相機側(cè)控制部,41-信號處理部,42-攝像控制部,43-透鏡控制部,46-攝影技法控制部,50-相機側(cè)無線通信部,60-相機側(cè)操作部,61-相機側(cè)顯示部,62-存儲器,100-多攝像裝置,101-控制部,102-殼體,110-無線通信部,120-顯示輸入部,121-顯示面板,122-操作面板,130-通話部,131-揚聲器,132-麥克風(fēng),139-操作部,140-內(nèi)部攝像裝置,141-第1攝像部,142-第2攝像部,150-存儲部,151-內(nèi)部存儲部,152-外部存儲部,160-外部輸入輸出部,170-GPS接收部,170-接收部,180-動作傳感器部,190-電源部。