圖像生成設(shè)備以及圖像生成方法
【專利摘要】幀存儲(chǔ)器(220A-220F)分別存儲(chǔ)來(lái)自多個(gè)成像單元(20A-20F)的捕獲圖像。運(yùn)動(dòng)檢測(cè)單元(232)檢測(cè)至少一個(gè)成像單元的捕獲圖像中的運(yùn)動(dòng)。格式確定單元(234)依照運(yùn)動(dòng)檢測(cè)單元(232)檢測(cè)的運(yùn)動(dòng)量和/或圖像生成設(shè)備的電功耗限制確定使多個(gè)成像單元同時(shí)工作的模式或使多個(gè)成像單元斷續(xù)工作的模式?？刂菩盘?hào)生成單元(236)將依照格式確定單元(234)設(shè)置的模式控制從多個(gè)幀存儲(chǔ)器中讀取捕獲圖像的控制信號(hào)輸送給多個(gè)幀存儲(chǔ)器。
【專利說(shuō)明】圖像生成設(shè)備以及圖像生成方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像生成設(shè)備以及圖像生成方法，尤其涉及捕獲復(fù)合圖像的設(shè)備和方法。

【背景技術(shù)】
[0002]隨著數(shù)字相機(jī)和數(shù)字?jǐn)z像機(jī)普及起來(lái)，有更多的機(jī)會(huì)將捕獲的靜止圖像和電影存儲(chǔ)在計(jì)算機(jī)中以便觀看和編輯或顯示在游戲控制臺(tái)和電視(TV)機(jī)的屏幕上。進(jìn)一步，將捕獲的電影上載到互聯(lián)網(wǎng)上的張貼網(wǎng)站上與其他用戶共享也流行起來(lái)。
[0003]一些數(shù)字相機(jī)能夠捕獲全景圖像，使得可以以便捷方式捕獲具有寬視角的全景圖像。通過(guò)將用數(shù)字相機(jī)沿著不同拍攝方向拍攝的多個(gè)圖像拼接在一起生成全景圖像的軟件工具是常用的。
[0004]進(jìn)一步，全景拍攝模式或全景圖像合成應(yīng)用可用在像裝有相機(jī)的移動(dòng)電話那樣的一些移動(dòng)設(shè)備中，使得將通過(guò)將移動(dòng)設(shè)備傾斜成不同角度拍攝的圖像自動(dòng)合成為全景圖像。
[0005]引用列表
[0006]專利文獻(xiàn)
[0007]PTLl:JP 2011-76249A


【發(fā)明內(nèi)容】

[0008]技術(shù)問(wèn)題
[0009]可用在相機(jī)和裝有相機(jī)的移動(dòng)設(shè)備上的全景拍攝模式會(huì)因?yàn)橐贿吀淖兿鄼C(jī)或移動(dòng)設(shè)備的拍攝方向一邊拍攝圖像而造成由位置偏差引起的大的誤差。進(jìn)一步，為了合成為全景圖像，在不同拍攝方向上一個(gè)接著一個(gè)地拍攝靜止圖像，因此導(dǎo)致在不同拍攝方向上拍攝的多個(gè)靜止圖像之間的時(shí)滯。因此，盡管可以合成全景靜止圖像，但理論上難以拍攝全景電影。由于這個(gè)原因，采取使用包含多臺(tái)相機(jī)的多視圖相機(jī)同時(shí)拍攝全向圖像，然后將這些圖像合成為全景照片的方法。
[0010]這樣的全向多視圖照相機(jī)消耗許多電力來(lái)驅(qū)動(dòng)多個(gè)照相機(jī)。進(jìn)一步，將大的功率供應(yīng)給存儲(chǔ)器以便處理數(shù)量與照相機(jī)的數(shù)量一樣多的圖像數(shù)據(jù)。更進(jìn)一步，存在存儲(chǔ)器的容量大以便為若干照相機(jī)存儲(chǔ)圖像數(shù)據(jù)的問(wèn)題。
[0011]本發(fā)明就是鑒于上述情況而作出的，本發(fā)明的目的是提供即使使用多視圖照相機(jī)，也不會(huì)使電影圖像質(zhì)量顯著變差地有助于動(dòng)態(tài)降低功耗的的技術(shù)。
[0012]問(wèn)題的解決方案
[0013]為了解決上述問(wèn)題，按照本發(fā)明的一種方式的圖像生成設(shè)備包括多個(gè)幀存儲(chǔ)器和多路復(fù)用部分。該多個(gè)幀存儲(chǔ)器存儲(chǔ)來(lái)自多個(gè)成像單元的捕獲圖像。該多路復(fù)用部分從該幀存儲(chǔ)器中讀取成像單元的捕獲圖像，并多路復(fù)用該捕獲圖像以生成圖像流。該多路復(fù)用部分包括運(yùn)動(dòng)檢測(cè)部分、模式確定部分、和控制信號(hào)生成部分。該運(yùn)動(dòng)檢測(cè)部分檢測(cè)至少一個(gè)成像單元的捕獲圖像的運(yùn)動(dòng)。該模式確定部分至少依照該運(yùn)動(dòng)檢測(cè)部分檢測(cè)的運(yùn)動(dòng)量或該圖像生成設(shè)備的功耗極限設(shè)置兩種模式之一，一種模式使多個(gè)成像單元同時(shí)工作，另一種模式使多個(gè)成像單元斷續(xù)工作。該控制信號(hào)生成部分將適用于依照該模式確定部分設(shè)置的模式控制從多個(gè)幀存儲(chǔ)器中讀取捕獲圖像的控制信號(hào)供應(yīng)給該多個(gè)幀存儲(chǔ)器。
[0014]本發(fā)明的另一種方式是圖像生成方法。該圖像生成方法包括將來(lái)自多個(gè)成像單元的捕獲圖像存儲(chǔ)在多個(gè)幀存儲(chǔ)器中的步驟。該圖像生成方法進(jìn)一步包括從該幀存儲(chǔ)器中讀取成像單元的捕獲圖像，并多路復(fù)用該捕獲圖像以生成圖像流的多路復(fù)用步驟。該多路復(fù)用步驟包括運(yùn)動(dòng)檢測(cè)步驟、模式確定步驟、和控制信號(hào)生成步驟。該運(yùn)動(dòng)檢測(cè)步驟檢測(cè)至少一個(gè)成像單元的捕獲圖像的運(yùn)動(dòng)。該模式確定步驟至少依照該運(yùn)動(dòng)檢測(cè)步驟檢測(cè)的運(yùn)動(dòng)量或功耗極限設(shè)置兩種模式之一，一種模式使多個(gè)成像單兀同時(shí)工作，另一種模式使多個(gè)成像單元斷續(xù)工作。該控制信號(hào)生成步驟將適用于依照該模式確定步驟設(shè)置的模式控制從多個(gè)幀存儲(chǔ)器中讀取捕獲圖像的控制信號(hào)供應(yīng)給該多個(gè)幀存儲(chǔ)器。
[0015]應(yīng)當(dāng)注意到，上述組件的任何組合和本發(fā)明的表達(dá)在“方法”、“設(shè)備”、“系統(tǒng)”、“計(jì)算機(jī)程序”、“數(shù)據(jù)結(jié)構(gòu)”、“記錄介質(zhì)”等之間的任何轉(zhuǎn)換也可有效地作為本發(fā)明的方式。
[0016]本發(fā)明的有利效果
[0017]本發(fā)明為易于使用多視圖相機(jī)生成合成圖像創(chuàng)造了條件。

【專利附圖】

【附圖說(shuō)明】
[0018]圖1是按照一個(gè)實(shí)施例的全景成像設(shè)備的透視圖；
[0019]圖2是描述顯示在圖1中的全景成像設(shè)備的多視圖成像部分的側(cè)面成像單元的視角和操作/顯示單元的安裝位置的圖形；
[0020]圖3是描述顯示在圖1中的多視圖成像部分的內(nèi)部結(jié)構(gòu)的圖形；
[0021]圖4(a)到4(c)是描述顯示在圖3中的安裝在緊固件上的六個(gè)成像單元之間的位置關(guān)系的圖形；
[0022]圖5是例示六個(gè)成像單元緊固在上面的緊固件和主體部分的中心軸的圖形；
[0023]圖6(a)和6(b)是描述可相互拆開(kāi)多視圖成像部分和主體部分的配置的圖形；
[0024]圖7是例示在多視圖成像部分的底面上也配備了成像單元的配置的圖形；
[0025]圖8 (a)到8 (d)是描述配備在緊固件的側(cè)面之一上的成像單元的視角與配備在緊固件的頂面上的成像單元的視角之間的關(guān)系的圖形；
[0026]圖9是以從上面看過(guò)去的全景成像設(shè)備的多視圖成像部分的頂視圖的形式例示配備在緊固件的側(cè)面上的五個(gè)側(cè)面成像單元的視場(chǎng)之間的重疊的圖形；
[0027]圖10(a)和10(b)是描述顯示在操作/顯示單元上的操作屏幕的圖形；
[0028]圖11是在主體部分的主電路中實(shí)現(xiàn)的全景電影流生成器的功能配置圖；
[0029]圖12例示了與全景電影流生成器管理的電影流切換和記錄控制有關(guān)的配置；
[0030]圖13是描述全景電影流生成器管理的電影流切換和記錄控制的步驟的流程圖；
[0031]圖14(a)和14(b)是描述通過(guò)電影流切換和記錄控制生成的全景電影流的數(shù)據(jù)結(jié)構(gòu)的圖形；
[0032]圖15是適用于有選擇地控制多視圖相機(jī)的控制系統(tǒng)的配置圖；
[0033]圖16是描述顯示在圖15中的多視圖相機(jī)控制系統(tǒng)的功能配置的圖形；
[0034]圖17(a)是描述顯示在圖16中的多視圖相機(jī)控制系統(tǒng)進(jìn)行的寫入處理的流程圖，以及圖17(b)是描述顯示在圖16中的多視圖相機(jī)控制系統(tǒng)進(jìn)行的讀取處理的流程圖；
[0035]圖18是描述實(shí)現(xiàn)顯示在圖16中的多視圖相機(jī)控制系統(tǒng)的例子的圖形；
[0036]圖19是描述實(shí)現(xiàn)顯示在圖16中的多視圖相機(jī)控制系統(tǒng)的另一個(gè)例子的圖形；
[0037]圖20(a)和20(b)是描述顯示在操作/顯示單元上的操作屏幕的圖形；
[0038]圖21是描述通過(guò)指定參考相機(jī)集體設(shè)置成像單元的情況的圖形；
[0039]圖22是描述通過(guò)指定參考相機(jī)集體設(shè)置成像單元時(shí)操作屏幕的例子的圖形；
[0040]圖23是描述通過(guò)窗口從室內(nèi)拍攝室外圖像的情況的圖形；
[0041]圖24是描述通過(guò)窗口從室內(nèi)拍攝室外圖像時(shí)操作屏幕的例子的圖形；
[0042]圖25是描述通過(guò)窗口從室內(nèi)拍攝室外圖像時(shí)操作屏幕的例子的圖形；
[0043]圖26是描述凍結(jié)一些相機(jī)的情況的圖形；
[0044]圖27是例示凍結(jié)一些相機(jī)時(shí)操作屏幕的例子的圖形；
[0045]圖28是適用于進(jìn)行多步曝光拍攝的全景電影流生成器和功能配置圖；
[0046]圖29(a)和29 (b)是描述為了比較在多個(gè)成像單元中設(shè)置相同參考曝光值拍攝的捕獲圖像的圖形；
[0047]圖30(a)到30(c)是描述通過(guò)顯示在圖28中的曝光設(shè)置部分設(shè)置在成像單元中的參考曝光值、和以使可變曝光值以參考曝光值為中心的方式以多個(gè)步長(zhǎng)改變參考曝光值獲得的可變曝光值的圖形；
[0048]圖31是描述通過(guò)顯示在圖28中的HDR合成部分合成的全景圖像的圖形；
[0049]圖32是描述進(jìn)行多步曝光拍攝的步驟的流程圖；
[0050]圖33 (a)到33 (C)是描述顯示在圖28中的HDR合成部分用于繼續(xù)進(jìn)行偽HDR合成的方法的圖形；
[0051]圖34是能夠調(diào)整方位的全景電影流生成器的功能配置圖；
[0052]圖35(a)和35(b)是描述將在前向的成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形；
[0053]圖36(a)和36(b)是描述將在前向的成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形；
[0054]圖37(a)和37(b)是描述將特定成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形；以及
[0055]圖38(a)和38(b)是描述將特定成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形。

【具體實(shí)施方式】
[0056][全景成像設(shè)備的配置]
[0057]圖1是按照一個(gè)實(shí)施例的全景成像設(shè)備100的透視圖。全景成像設(shè)備100包括多視圖成像部分10和主體部分30。在本實(shí)施例中，多視圖成像部分10和主體部分30兩者都是圓柱形狀，使它們的中心軸相互對(duì)準(zhǔn)地連接在一起。
[0058]多視圖成像部分10被圓柱形相機(jī)外殼12蓋住。多個(gè)成像單元20A到20F(當(dāng)統(tǒng)指時(shí)，下文稱為成像單元20)包含在相機(jī)外殼12中。成像單元20A到20F的每一個(gè)包括像透鏡和成像元件那樣拍攝所需的組件。在本實(shí)施例中，等角地將五個(gè)成像單元20A到20E (下文也稱為“側(cè)面成像單元”)安排成使它們的透鏡位于圓柱形相機(jī)外殼12的周圍上。將單個(gè)成像單元20F(下文也稱為“頂部成像單元”)安排成使它的透鏡位于相機(jī)外殼12的頂面上。
[0059]主體部分30包括操作/顯示單元40、電池、主電路、和外部接口。操作/顯示單元40配備在從圓柱形主體部分30的外圍向內(nèi)凹進(jìn)的位置上。多視圖成像部分10的成像單元20A到20F捕獲的電影數(shù)據(jù)經(jīng)由串行接口或USB (通用串行總線)接口發(fā)送給主體部分30的主電路。主電路實(shí)現(xiàn)通過(guò)多路復(fù)用成像單元20A到20F捕獲的電影幀生成全景電影流的功能。主電路包括用于連接像USB存儲(chǔ)器那樣的外部記錄設(shè)備的外部接口。經(jīng)由外部接口將生成的全景電影流記錄到外部記錄設(shè)備中。
[0060]操作/顯示單元40是帶有觸摸面板的顯示器。操作/顯示單元40將多視圖成像部分10的成像單元20A到20F之一捕獲的每個(gè)圖像顯示在它的顯示器上。進(jìn)一步，操作/顯示單元40可以將合成多個(gè)成像單元20A到20F捕獲的多個(gè)圖像獲得的全景圖像顯示在它的顯示器上。更進(jìn)一步，操作/顯示單元40可以將操作菜單顯示在它的顯示器上，以便用戶可以一邊觀看顯示屏一邊直接觸摸觸摸面板對(duì)顯示屏作出操作輸入。
[0061]圖2是描述全景成像設(shè)備100的多視圖成像部分10的側(cè)面成像單元20A的視角和操作/顯示單元40的安裝位置的圖形。側(cè)面成像單元20A拍攝的視場(chǎng)的擴(kuò)展通過(guò)如圖2所例示的側(cè)面成像單元20A的視角Θ指示。拍攝者坐在三腳架80的前面，從側(cè)面成像單元20A的下面伸出他或她的手，因此操作出現(xiàn)在操作/顯示單元40上的操作菜單。操作/顯示單元40配備在圓柱形主體部分30的凹進(jìn)區(qū)中。因此，即使通過(guò)觸摸觸摸屏操作屏幕操作菜單，拍攝者也可以觸摸側(cè)面成像單元20A的視場(chǎng)之外的觸摸屏。這樣就防止了拍攝者的手指不經(jīng)意出現(xiàn)在圖像中。
[0062]進(jìn)一步，因?yàn)椴僮?顯示單元40配備在圓柱形主體部分30的凹進(jìn)區(qū)中，所以可以防止從操作/顯示單元40發(fā)出的照射光出現(xiàn)在任何成像單元20A到20F中。為了將出現(xiàn)在圖像中的來(lái)自操作單元40的照射光的影響降低到給定水平或更低，要設(shè)計(jì)配備操作/顯示單元40的凹處的深度和凹進(jìn)區(qū)中的操作/顯示單元40的傾角。
[0063]圖3是描述多視圖成像部分10的內(nèi)部結(jié)構(gòu)的圖形。多個(gè)成像單元20A到20F被緊固在多視圖成像部分10的相機(jī)外殼12內(nèi)部的緊固件14上。如果多個(gè)成像單元20A到20F被緊固在不同緊固件上，則由于，例如，熱膨脹引起的緊固件的變形，位置位移將從多個(gè)成像單元20A到20F的一個(gè)成像單元到另一個(gè)成像單元而不同。如果多個(gè)成像單元20A到20F像本實(shí)施例那樣被緊固在單個(gè)緊固件14上，則緊固件14由于，例如，熱膨脹的特性變化對(duì)成像單元20A到20F造成的影響是恒定的，因此有助于提高多個(gè)成像單元20A到20F之間的位置精度。
[0064]在本實(shí)施例中，緊固件14具有正五棱柱的形狀，五個(gè)側(cè)面成像單元20A，20B，20C，20D和20E的每一個(gè)配備在五棱柱的側(cè)面之一上，頂部成像單元20F配備在五棱柱的頂面上。盡管在本實(shí)施例中具有五棱柱的形狀，但緊固件14可以具有其它多棱柱的形狀，在多棱柱的每個(gè)側(cè)面上配備一個(gè)成像單元。
[0065]一般說(shuō)來(lái)，被攝物水平360°地處在全景圖像中，往往頭上是天空，腳下是大地。由于這個(gè)原因，如果像本實(shí)施例那樣將成像單元配備在多棱柱的外周面上，以及如果將一個(gè)成像單元配備在多棱柱的頂面上，則通過(guò)沿著拍攝者的水平方向等角地改變視線的方向，可以拍攝多個(gè)圖像。進(jìn)一步，等距地安排多個(gè)成像單元。這使得易于進(jìn)行通過(guò)將從成像單元獲得的圖像數(shù)據(jù)拼接在一起生成全景圖像所需的圖像合成。更進(jìn)一步，與在正十二面體的每個(gè)面上都有一個(gè)成像單元(總共12個(gè)成像單元)的傳統(tǒng)多視圖相機(jī)不同，本實(shí)施例優(yōu)于傳統(tǒng)多視圖相機(jī)之處在于可以使用較少成像單元捕獲與合成全景圖像所需一樣多的圖像。
[0066]圖4(a)到4(c)是描述顯示在圖3中的安裝在緊固件14上的六個(gè)成像單元20A到20F之間的位置關(guān)系的圖形。圖4(a)是從緊固件14的中心軸的方向看過(guò)去(從顯示在圖3中的z軸方向看過(guò)去)的頂視圖。圖4(b)是從與成像單元20A附在上面的緊固件14的棱柱的側(cè)面之一垂直的方向看過(guò)去(從顯示在圖3中的X軸方向看過(guò)去)的側(cè)視圖。圖4(c)是從與顯示在圖3中的X和z軸方向垂直的顯示在圖3中的y軸方向看過(guò)去的側(cè)視圖。
[0067]如圖4(a)的頂視圖所例示，五個(gè)側(cè)面成像單元20A到20E以在水平面上等圓周角(72° )地形成半徑為L(zhǎng)的圓形的方式排列在形狀為五棱柱的緊固件14的周圍。側(cè)面成像單元20A到20E每一個(gè)的拍攝方向是圓形的徑向。如側(cè)視圖4(b)和4(c)所例示，配備在緊固件14的頂面上的頂部成像單元20F和配備在緊固件14的側(cè)面上的側(cè)面成像單元20B以在垂直面上具有90°的圓周角地形成半徑為L(zhǎng)的圓形的方式排列。頂部成像單元20F和配備在緊固件14的其它側(cè)面之一上的側(cè)面成像單元20A，20C，20D和30E的每一個(gè)類似地以具有90°的圓周角地形成半徑為L(zhǎng)的圓形的方式排列。換句話說(shuō)，六個(gè)成像單元20A到20F以形成半徑為L(zhǎng)的球形的方式排列。
[0068]圖5是例示六個(gè)成像單元20A到20F緊固在上面的緊固件14和主體部分30的中心軸的圖形。多視圖成像部分10以緊固件14和主體部分30的中心軸相互對(duì)準(zhǔn)的方式與主體部分30連接。進(jìn)一步，將主體部分30的三腳架基座緊固孔30設(shè)置在主體部分30的中心軸上。其結(jié)果是，與三腳架基座緊固孔30連接的三腳架的位置與緊固件14的中心軸對(duì)準(zhǔn)。這使得即使安裝在三腳架上的主體部分30發(fā)生傾斜或旋轉(zhuǎn)，也易于調(diào)整拍攝位置和視線的方向。
[0069]圖6(a)和6(b)是描述可相互拆開(kāi)多視圖成像部分10和主體部分30的配置的圖形。多視圖成像部分10和主體部分30可相互拆開(kāi)，使得可以依照用于與外圍設(shè)備連接的像USB (通用串行總線)那樣的接口標(biāo)準(zhǔn)轉(zhuǎn)換圖像數(shù)據(jù)，以及使得可以使用，例如，可延伸電纜將多視圖成像部分10與物理上遙遠(yuǎn)的主體部分30連接?？商娲?，多視圖成像部分10和主體部分30可以經(jīng)由適用于延伸相機(jī)的信號(hào)線的可拆式中繼電纜連接在一起。還可替代地，多視圖成像部分10和主體部分30每一個(gè)可以具有無(wú)線通信功能以及無(wú)線地連接在一起。這為甚至不能攜帶主體部分30而只能攜帶多視圖成像部分10的有限區(qū)域中的全景拍攝創(chuàng)造條件。例如，通過(guò)將多視圖成像部分10插入孔中可以全景拍攝那個(gè)孔的內(nèi)部。
[0070]另一方面，主體部分30可以是像平板PC或移動(dòng)電話那樣的移動(dòng)終端，使得可以相互拆開(kāi)多視圖成像部分10和主體部分30，以便通過(guò)無(wú)線通信交換數(shù)據(jù)。這使拍攝者可以攜帶主體部分30和從遙遠(yuǎn)地方操作多視圖成像部分10，使得更易于防止拍攝者偶然出現(xiàn)在圖像中。
[0071]圖6(b)例示了將三腳架基座緊固孔52設(shè)置在多視圖成像部分10的底面上的配置。這種配置使三腳架可以直接與多視圖成像部分10連接。如果多視圖成像部分10具有無(wú)線通信功能，則可以將多視圖成像部分10捕獲的數(shù)據(jù)發(fā)送給主體部分30或其它移動(dòng)終端。
[0072]圖7是例示在多視圖成像部分10的底面上也配備了成像單元20G的配置的圖形。如上所述除了將成像單元20F配備在頂面上之外還將成像單元26G配備在底面上為全向拍攝創(chuàng)造了條件。在這種情況下，不能將三腳架與底面連接。因此，例如，通過(guò)利用細(xì)線將多視圖成像部分10懸掛在天花板上進(jìn)行拍攝。可替代地，可以將多視圖成像部分10拋向空中進(jìn)行全向拍攝。如果多視圖成像部分10具有無(wú)線通信功能，則可以將多視圖成像部分10捕獲的數(shù)據(jù)發(fā)送給主體部分30或其它移動(dòng)終端。
[0073]圖8(a)到8(d)是描述配備在緊固件14的側(cè)面之一上的成像單元20A的視角與配備在緊固件14的頂面上的成像單元20F的視角之間的關(guān)系的圖形。
[0074]圖8 (a)例示了配備在緊固件14的側(cè)面之一上的側(cè)面成像單元20A的視角60A與配備在緊固件14的頂面上的頂部成像單元20F的視角60B之間的關(guān)系。圖8(b)是從上面看過(guò)去的全景成像設(shè)備100的多視圖成像部分10的頂視圖(從圖3中的z軸方向看過(guò)去的視圖)，例示了配備在緊固件14的側(cè)面之一上的側(cè)面成像單元20A的視角60A的水平視角θ AH。圖8(c)和8(d)是從側(cè)面看過(guò)去的全景成像設(shè)備100的側(cè)視圖(從圖3中的X和y軸方向看過(guò)去的視圖)。圖8 (c)例示了配備在緊固件14的頂面上的頂部成像單元20F的水平視角9fh。圖8(d)例示了配備在緊固件14的側(cè)面之一上的側(cè)面成像單元20A的垂直視角θΑν和配備在緊固件14的頂面上的頂部成像單元20F的垂直視角0FV。
[0075]作為一個(gè)例子，側(cè)面成像單元20A的水平視角是θω=12Γ。由于五個(gè)側(cè)面成像單元20Α到20F配備在緊固件14的側(cè)面上，這使得可以水平360°地全景拍攝。另一方面，側(cè)面成像單元20Α的垂直視角θ AV是θ AV = 134°。將此與頂部成像單元20F的水平視角eFH( = 134° )或垂直視角eFV( = 121° )結(jié)合，可以垂直180°地全景拍攝。
[0076]應(yīng)當(dāng)注意到，在本例中側(cè)面成像單元20A的垂直視角θΑν和水平視角ΘΑΗ之間的關(guān)系是普通透鏡的水平視角大于其垂直視角。這里應(yīng)當(dāng)牢記的是，以相對(duì)于正常取向旋轉(zhuǎn)了 90°的方式將成像單元20Α到20Ε配備在緊固件14的側(cè)面上，以便增大成像單元20Α到20Ε在垂直方向的視角。
[0077]圖9是以從上面看過(guò)去的全景成像設(shè)備100的多視圖成像部分10的頂視圖的形式例示配備在緊固件14的側(cè)面上的五個(gè)側(cè)面成像單元20Α到20Ε的視場(chǎng)之間的重疊的圖形。側(cè)面成像單元20Α到20Ε每一個(gè)的水平視角是，例如，121°。組合五個(gè)側(cè)面成像單元20Α到20Ε拍攝的圖像使得可以水平360°地全景拍攝。
[0078]圖10(a)和10(b)是描述顯示在操作/顯示單元40上的操作屏幕的圖形。將顯示在圖10 (a)中的全景成像設(shè)備100的六個(gè)成像單元20A到20F拍攝的圖像分別顯示在顯示在圖10(b)中的操作屏幕的區(qū)域A到F中。
[0079]在觸摸面板上選擇顯示在圖10(b)中的區(qū)域A到F的某一個(gè)使成像單元20A到20F之一被選為參考相機(jī)。這里，選擇區(qū)域B。其結(jié)果是，使區(qū)域B得到強(qiáng)調(diào)，例如，通過(guò)用不同顏色顯示區(qū)域B的框架。將區(qū)域B與成像單元20B相聯(lián)系。成像單元20B被用作設(shè)置像曝光和白平衡那樣的拍攝條件的參考。
[0080]當(dāng)拍攝者按下自動(dòng)曝光(AE)鎖定按鈕74時(shí)，通過(guò)自動(dòng)曝光將成像單元20B，即，參考相機(jī)設(shè)置成最佳曝光值。使這個(gè)最佳曝光值反映在其它成像單元20A，20C, 20D, 20E和20F中。AF鎖定按鈕74是切換按鈕。當(dāng)拍攝者再次按下AE鎖定按鈕74時(shí)，解鎖AE，因此使成像單元20A到20F每一個(gè)的曝光分別得到自動(dòng)調(diào)整。
[0081]當(dāng)拍攝者接著按下自動(dòng)白平衡(AWB)鎖定按鈕76時(shí)，通過(guò)自動(dòng)白平衡調(diào)整成像單元20B，即，參考相機(jī)的白平衡。使其校正值反映在其它成像單元20A，20C, 20D, 20E和20F中。AWB鎖定按鈕76也是切換按鈕。當(dāng)拍攝者再次按下AWB鎖定按鈕76時(shí)，解鎖AWB，因此使成像單元20A到20F每一個(gè)的白平衡分別得到自動(dòng)調(diào)整。
[0082]當(dāng)按下擴(kuò)展控制按鈕78時(shí)，出現(xiàn)各種設(shè)置菜單，因此允許進(jìn)一步設(shè)置拍攝參數(shù)。
[0083]當(dāng)拍攝者按下電影記錄開(kāi)始/停止按鈕70時(shí),成像單元20A到20F拍攝電影。當(dāng)拍攝者再次按下電影記錄開(kāi)始/停止按鈕70時(shí)，停止拍攝電影。當(dāng)拍攝者按下靜止圖像拍攝按鈕72時(shí)，成像單元20A到20F拍攝靜止圖像。將記錄的電影或靜止圖像存儲(chǔ)在，例如，與主體部分30的主電路的外部接口連接的USB存儲(chǔ)器中。
[0084]圖11是在主體部分30的主電路中實(shí)現(xiàn)的全景電影流生成器200的功能配置圖。
[0085]拍攝控制部分210在多視圖成像部分10的所有成像單元20A到20F中集體地或在這些單元的每一個(gè)中分別地設(shè)置像曝光值、白平衡值、和幀速率那樣的拍攝參數(shù)。進(jìn)一步，拍攝控制部分210控制成像單元20A到20F的變焦和拍攝的開(kāi)始和停止。
[0086]將成像單元20A到20F拍攝的電影幀分別存儲(chǔ)在幀存儲(chǔ)器220A到220F中。
[0087]電影流多路復(fù)用部分230多路復(fù)用存儲(chǔ)在幀存儲(chǔ)器220A到220F中和成像單元20A到20F拍攝的電影幀，生成多視圖電影流并將電影流供應(yīng)給全景拼接部分242。全景拼接部分242通過(guò)拼接處理將成像單元20A到20F拍攝的電影幀拼接在一起，合并全景電影并生成全景電影流。如果功耗受到限制，則全景拼接部分242可以不進(jìn)行拼接處理地按原樣輸出多視圖電影流?？商娲兀缬斜匾?，全景拼接部分242可以輸出多視圖電影流和全景電影流兩者。全景拼接部分242至少將多視圖電影流或全景電影流記錄到全景電影存儲(chǔ)部分240中。
[0088]顯示控制部分260從幀存儲(chǔ)器220A到220F中讀取成像單元20A到20F拍攝的電影幀，將電影幀顯示在操作/顯示單元40的屏幕上。
[0089]用戶接口部分250將成像單元20A到20F的操作菜單信息供應(yīng)給顯示控制部分260，使顯示控制部分260可以將操作菜單顯示在操作/顯示單元40的屏幕上。
[0090]觸摸面板控制部分270檢測(cè)用戶的手指在觸摸面板上的觸摸操作，將觸摸位置和其它信息供應(yīng)給用戶接口部分250。用戶接口部分250從觸摸面板控制部分270供應(yīng)的觸摸位置信息中識(shí)別用戶在操作菜單上選擇的操作的性質(zhì)，以便將操作命令發(fā)送給拍攝控制部分210。拍攝控制部分210根據(jù)用戶接口部分250供應(yīng)的操作命令控制成像單元20A到20F。
[0091][電影流切換和記錄控制]
[0092]接著將給出全景成像設(shè)備100的全景電影流生成器200管理的電影流切換和記錄控制的描述。
[0093]圖12例示了與全景電影流生成器200管理的電影流切換和記錄控制有關(guān)的配置。這里將給出顯示在圖11中的拍攝控制部分210和電影流多路復(fù)用部分230的不同配置和操作的描述。在圖12中省略了全景電影存儲(chǔ)部分240、顯示控制部分260、用戶接口部分250、和觸摸面板控制部分270，即，顯示在圖11中的組件。
[0094]在圖12中，虛線代表控制信號(hào)線，粗線代表圖像數(shù)據(jù)傳送信道。如圖11已經(jīng)所述，將成像單元20A到20F拍攝的電影幀分別存儲(chǔ)在幀存儲(chǔ)器220A到220F中。電影流多路復(fù)用部分230讀取存儲(chǔ)在幀存儲(chǔ)器220A到220F中和成像單元20A到20F拍攝的電影幀，多路復(fù)用電影幀并生成多視圖電流。
[0095]除了多路復(fù)用成像單元20A到20F拍攝的電影幀的功能之外，電影流多路復(fù)用部分230還具有運(yùn)動(dòng)檢測(cè)部分232、模式確定部分234、和控制信號(hào)生成部分236的功能。
[0096]運(yùn)動(dòng)檢測(cè)部分232檢測(cè)成像單元20A到20F拍攝的電影幀A到F的運(yùn)動(dòng)矢量，求出電影幀A到F的運(yùn)動(dòng)矢量的幅度之一?？商娲兀\(yùn)動(dòng)檢測(cè)部分232可以檢測(cè)感興趣的特定一個(gè)或多個(gè)成像單元拍攝的電影幀的一個(gè)或多個(gè)運(yùn)動(dòng)矢量，以便求出感興趣的一種或多種電影幀的運(yùn)動(dòng)矢量的幅度之和。
[0097]如果運(yùn)動(dòng)檢測(cè)部分232計(jì)算的運(yùn)動(dòng)矢量的幅度之和小于給定閾值，則模式確定部分234將成像單元20A到20F設(shè)置成“成像單元斷續(xù)工作模式”。在這種模式下，使成像單元20A到20F相隔一個(gè)幀地以斷續(xù)方式一個(gè)接一個(gè)地工作，因此每個(gè)幀切換到成像單元20A至IJ20F之一。然后，從相關(guān)幀存儲(chǔ)器中讀取從切換的成像單元輸出的捕獲圖像，此后將捕獲的圖像多路復(fù)用成電影流。
[0098]如果運(yùn)動(dòng)檢測(cè)部分232計(jì)算的運(yùn)動(dòng)矢量的幅度之和大于等于給定閾值，則模式確定部分234將成像單元20A到20F設(shè)置成“成像單元同時(shí)工作模式”。在這種模式下，使所有成像單元20A到20F同時(shí)工作，然后，從幀存儲(chǔ)器220A到220F中讀取從成像單元20A到20F輸出的捕獲圖像，此后將捕獲的圖像多路復(fù)用成電影流。
[0099]模式確定部分234將有關(guān)已經(jīng)設(shè)置的成像單元的工作模式的信息供應(yīng)給拍攝控制部分210和控制信號(hào)生成部分236。
[0100]拍攝控制部分210將與模式確定部分234設(shè)置的工作模式相適應(yīng)的控制信號(hào)供應(yīng)給成像單元20A到20F。
[0101]在“成像單元斷續(xù)工作模式”下，拍攝控制部分210將適合使成像單元20A到20F相隔一個(gè)幀地以斷續(xù)方式一個(gè)接一個(gè)地工作的控制信號(hào)供應(yīng)給成像單元20A到20F。這省卻了將電力供應(yīng)給未激活成像單元的需要，因此有助于降低功耗。
[0102]在“成像單元同時(shí)工作模式”下，拍攝控制部分210將適合使所有成像單元20A到20F同時(shí)工作的控制信號(hào)供應(yīng)給成像單元20A到20F。在這種情況下，所有成像單元20A到20F都是激活的，因此導(dǎo)致更高的功耗。但是，即使被攝物作劇烈運(yùn)動(dòng)，或在場(chǎng)景變化期間，合成的全景圖像也不會(huì)質(zhì)量下降。
[0103]控制信號(hào)生成部分236將與模式確定部分234設(shè)置的工作模式相適應(yīng)的控制信號(hào)供應(yīng)經(jīng)幀存儲(chǔ)器220A到220F。在“成像單元斷續(xù)工作模式”下，控制信號(hào)生成部分236將適合每個(gè)幀切換到幀存儲(chǔ)器220A到220F之一的控制信號(hào)供應(yīng)給幀存儲(chǔ)器220A到220F，允許從切換的幀存儲(chǔ)器中讀取而禁止從所有其它幀存儲(chǔ)器中讀取。在“成像單元同時(shí)工作模式”下，控制信號(hào)生成部分236將適合允許從所有幀存儲(chǔ)器220A到220F中讀取的控制信號(hào)供應(yīng)給幀存儲(chǔ)器220A到220F。
[0104]這里，甚至在“成像單元同時(shí)工作模式”下，如果適合圖像數(shù)據(jù)的接口的帶寬大于(成像單元的數(shù)量)X (每幀數(shù)據(jù)量)X (幀速率)，則當(dāng)允許從所有幀存儲(chǔ)器220A到220F中讀取以及同時(shí)從幀存儲(chǔ)器220A到220F中讀取圖像數(shù)據(jù)時(shí)，不會(huì)引起什么問(wèn)題。但是，如果只允許一個(gè)成像單元的數(shù)據(jù)量，則可以將圖像數(shù)據(jù)暫時(shí)記錄到幀存儲(chǔ)器220A到220F中，此后從一個(gè)到另一個(gè)地切換幀存儲(chǔ)器220A到220F，以便依次發(fā)送圖像數(shù)據(jù)。
[0105]進(jìn)一步，如果因?yàn)槌上駟卧?0A到20F啟動(dòng)慢，所以使成像單元20A到20F斷續(xù)工作會(huì)選成問(wèn)題。則可以在相隔一個(gè)幀地以斷續(xù)方式一個(gè)接一個(gè)地激活幀存儲(chǔ)器220A到220F的同時(shí)，使成像單元20A到20F連續(xù)工作，因此每個(gè)幀切換到幀存儲(chǔ)器220A到220F之一，從切換的幀存儲(chǔ)器中讀取捕獲的圖像，并將這些圖像多路復(fù)用成電影流。這也有助于降低供應(yīng)給幀存儲(chǔ)器的功率。
[0106]進(jìn)一步，模式確定部分234不僅可以依照捕獲圖像的運(yùn)動(dòng)量，而且可以依照全景成像設(shè)備100的電池剩余電荷或允許功耗在“成像單元斷續(xù)工作模式”與“成像單元同時(shí)工作模式”之間切換。例如，為了使全景成像設(shè)備100多工作幾小時(shí)，必須使單位時(shí)間的功耗最小。因此，將工作模式切換到“成像單元斷續(xù)工作模式”。另一方面，如果電池剩余電荷足夠，則可以讓全景成像設(shè)備100工作在“成像單元同時(shí)工作模式”下，當(dāng)電池剩余電荷變低時(shí)，再切換到“成像單元斷續(xù)工作模式”?？商娲?，如果全景成像設(shè)備100靠?jī)?nèi)置可充電電池運(yùn)行，則可以選擇“成像單元斷續(xù)工作模式”。另一方面，如果全景成像設(shè)備100靠AC適配器供應(yīng)的外部電力運(yùn)行，則可以選擇“成像單元同時(shí)工作模式”。
[0107]電影流多路復(fù)用部分230在任一種工作模式下都多路復(fù)用從幀存儲(chǔ)器220A到220F輸出的圖像幀，因此生成多視圖電影流并將電影流供應(yīng)給主處理器280。
[0108]主處理器280對(duì)多視圖電影流進(jìn)行拼接處理，因此生成全景電影流并將該電影流記錄到像閃速存儲(chǔ)器那樣的輔助存儲(chǔ)設(shè)備290中。全景拼接部分242和切換部分246的功能通過(guò)主處理器280中的軟件實(shí)現(xiàn)，以便進(jìn)行全景拼接處理。這些功能可以通過(guò)硬件實(shí)現(xiàn)。
[0109]全景拼接部分242將包括在電影流多路復(fù)用部分230供應(yīng)的多視圖電影流中和由成像單元20A到20F拍攝的圖像幀拼接在一起，因此合成為全景圖像，生成含有全景圖像幀的時(shí)序數(shù)據(jù)的全景電影流，并輸出該電影流。如果依照電池剩余電荷或允許功耗限制功耗，全景拼接部分242不合成任何全景圖像地按原樣輸出多視圖電影流。
[0110]切換部分246依照功耗極限在從全景拼接部分242輸出的全景電影流和多視圖電影流之間切換，將電影流記錄到輔助存儲(chǔ)設(shè)備290中。例如，可以依照可用功率的幅度執(zhí)行如下三個(gè)控制步驟。
[0111](a)如果可用功率小，則全景拼接部分242不生成任何全景電影流地輸出多視圖電影流。在這種情況下，切換部分246斷開(kāi)全景電影流的數(shù)據(jù)傳送信道243的開(kāi)關(guān)247，接通多視圖電影流的數(shù)據(jù)傳送信道244的開(kāi)關(guān)248，將多視圖電影流記錄到輔助存儲(chǔ)設(shè)備290中。因?yàn)椴贿M(jìn)行全景拼接處理，所以使功耗保持最小。
[0112](b)如果可用功率中等，則全景拼接部分242生成并輸出全景電影流，但不輸出任何多視圖電影流。在這種情況下，切換部分246接通全景電影流的數(shù)據(jù)傳送信道243的開(kāi)關(guān)247，斷開(kāi)多視圖電影流的數(shù)據(jù)傳送信道244的開(kāi)關(guān)248，將全景電影流記錄到輔助存儲(chǔ)設(shè)備290中。因?yàn)槿捌唇硬糠?42被激活，所以比情況(a)消耗更多功率。但是，這種選項(xiàng)的有利之處在于實(shí)時(shí)生成全景電影。
[0113](c)如果可用功率大，則全景拼接部分242不僅生成并輸出全景電影流，而且輸出任何多視圖電影流。在這種情況下，切換部分246接通全景電影流的數(shù)據(jù)傳送信道243的開(kāi)關(guān)247，并接通多視圖電影流的數(shù)據(jù)傳送信道244的開(kāi)關(guān)248，將全景電影流和多視圖電影流都記錄到輔助存儲(chǔ)設(shè)備290中。生成并記錄多視圖電影流和全景電影流兩者。這導(dǎo)致高的處理量，記錄更多的數(shù)據(jù)，以及最高的功耗。但是，這種選項(xiàng)的有利之處在于通過(guò)事先不僅記錄全景電影流而且記錄多視圖電影流，可以找到更多應(yīng)用。
[0114]應(yīng)當(dāng)注意到，盡管在上面的描述中成像單元20A到20F的幀速率相同，但如果在成像單元20A到20F捕獲的圖像之間運(yùn)動(dòng)量不同，則可以在成像單元20A到20F之間改變幀速率。在這種背景下，拍攝控制部分210和控制信號(hào)生成部分236根據(jù)幀速率之間的比值改變?cè)诔上駟卧?0A到20F和幀存儲(chǔ)器220A到220F之間切換的比率。進(jìn)行根據(jù)幀速率之間的比值指定權(quán)重的循環(huán)控制。
[0115]圖13是描述全景電影流生成器200管理的電影流切換和記錄控制的步驟的流程圖。
[0116]運(yùn)動(dòng)檢測(cè)部分232從成像單元20A到20F捕獲的圖像中檢測(cè)運(yùn)動(dòng)矢量(SlO)。運(yùn)動(dòng)檢測(cè)部分232求出所有成像單元20A到20F或感興趣的一個(gè)或多個(gè)成像單元捕獲的圖像的運(yùn)動(dòng)矢量的幅度之和(S12)。
[0117]模式確定部分234確定捕獲圖像的運(yùn)動(dòng)矢量的幅度之和是否大于等于閾值(S14)。如果捕獲圖像的運(yùn)動(dòng)矢量的幅度之和小于閾值(S14中的N)，則模式確定部分234選擇“成像單元斷續(xù)工作模式”(S20)。在“成像單元斷續(xù)工作模式”下，選擇以低幀速率記錄多視圖電影流或全景電影流的“低幀速率記錄模式”。
[0118]如果捕獲圖像的運(yùn)動(dòng)矢量的幅度之和大于等于閾值(S14中的Y)，則模式確定部分234確定全景成像設(shè)備100是否工作在功耗極限內(nèi)(S16)。例如，模式確定部分234在在延長(zhǎng)時(shí)段內(nèi)拍攝的情況下，考慮到單位時(shí)間允許功耗和電池剩余電荷地確定全景成像設(shè)備100是否工作在功耗極限內(nèi)。如果全景成像設(shè)備100未工作在功耗極限內(nèi)(S16中的N)，則模式確定部分234將全景成像設(shè)備100設(shè)置成“成像單元斷續(xù)工作模式”。如果全景成像設(shè)備100工作在功耗極限內(nèi)(S16中的Y)，則模式確定部分234將全景成像設(shè)備100設(shè)置成“成像單元同時(shí)工作模式”(S18)。在“成像單元同時(shí)工作模式”下，選擇以高幀速率記錄多視圖電影流或全景電影流的“高幀速率記錄模式”。
[0119]拍攝控制部分210依照模式確定部分234設(shè)置的模式將成像單元20A到20F切換到同時(shí)或斷續(xù)工作模式，控制信號(hào)生成部分236依照模式確定部分234設(shè)置的模式將幀存儲(chǔ)器220A到220F切換到同時(shí)或斷續(xù)輸出模式(S22)。
[0120]全景電影流生成器200多路復(fù)用依照每種模式從幀存儲(chǔ)器220A到220F輸出的幀數(shù)據(jù)，生成多視圖電影流或全景電影流(S24)。
[0121]如果用戶停止拍攝(S26中的Y)，則終止電影流切換和記錄控制。如果用戶未停止拍攝(S26中的N)，則使控制返回到步驟S10，重復(fù)從步驟SlO開(kāi)始向前的處理。
[0122]圖14(a)和14(b)是描述通過(guò)電影流切換和記錄控制生成的多視圖電影流的數(shù)據(jù)結(jié)構(gòu)的圖形。這里假設(shè)存在四個(gè)成像單元，以及每個(gè)成像單元的幀速率是30fps(幀每秒)。
[0123]圖14(a)例示了在“成像單元斷續(xù)工作模式”下生成的多視圖電影流。成像單元20A到20D相隔一個(gè)幀地以斷續(xù)方式一個(gè)接一個(gè)地工作，成像單元20A，20B，20C和20D分別捕獲的幀A，B，C和D以每個(gè)幀為間隔按這個(gè)次序被多路復(fù)用。成像單元20A到20D的每一個(gè)每四次斷續(xù)地工作一次。其結(jié)果是，成像單元20A到20D的每一個(gè)的有效幀速率是30fps/4 = 7.5fps。多路復(fù)用之后的多視圖電影流的傳送速率等于30fps/4X4 = 30fps。也就是說(shuō)，生成低幀速率多視圖電影流。四個(gè)成像單元20A到20D斷續(xù)地工作。因此，在通過(guò)合成四個(gè)成像單元20A到20D捕獲的四個(gè)圖像獲得的全景圖像中，彼此相鄰的捕獲圖像是在不同時(shí)間捕獲的圖像。但是，如果運(yùn)動(dòng)不強(qiáng)烈，則將在不同時(shí)間捕獲的圖像拼接在一起獲得的全景圖像在質(zhì)量上不會(huì)下降太多。
[0124]圖14(b)例示了在“成像單元同時(shí)工作模式”下生成的多視圖電影流。使成像單元20A到20D同時(shí)工作，成像單元20A，20B, 20C和20D捕獲的幀A，B，C和D以每個(gè)幀為間隔被多路復(fù)用。其結(jié)果是，成像單元20A到20D的每一個(gè)的有效幀速率保持不變，仍然為30fpso多路復(fù)用之后的多視圖電影流的傳送速率等于30fpsX4 = 120fps。也就是說(shuō),生成高幀速率多視圖電影流。四個(gè)成像單元20A到20D同時(shí)工作。因此，在通過(guò)合成四個(gè)成像單元20A到20D捕獲的四個(gè)圖像獲得的全景圖像中，彼此相鄰的捕獲圖像是在相同時(shí)間捕獲的圖像。因此，即使被攝物作劇烈運(yùn)動(dòng)，通過(guò)將在相同時(shí)間捕獲的圖像拼接在一起獲得的全景圖像在質(zhì)量上保持無(wú)損。
[0125]下面將給出上述的全景電影流生成器200管理的電影流切換和記錄控制的操作優(yōu)點(diǎn)的描述。
[0126]一般說(shuō)來(lái)，如果被攝物緩慢或小幅運(yùn)動(dòng)，則即使降低相機(jī)的幀速率，圖像的質(zhì)量也不會(huì)下降太多。相反，如果被攝物作劇烈運(yùn)動(dòng)，則降低相機(jī)的幀速率(在CMOS圖像傳感器的情況下，等于較長(zhǎng)的快門速率)將由于運(yùn)動(dòng)模糊而導(dǎo)致質(zhì)量顯著下降。在多視圖相機(jī)的情況下，以最高幀速率記錄所有相機(jī)數(shù)據(jù)在任何場(chǎng)景中都提供最高圖像質(zhì)量。但是，這會(huì)導(dǎo)致更高的功耗和擾亂像SSD (固態(tài)驅(qū)動(dòng)器)或HDD (硬盤驅(qū)動(dòng)器)那樣的數(shù)據(jù)存儲(chǔ)設(shè)備的存儲(chǔ)容量。由于這個(gè)原因，優(yōu)選的是能夠依照?qǐng)鼍斑m當(dāng)控制相機(jī)的工作條件和記錄數(shù)據(jù)。
[0127]在按照本實(shí)施例的電影流切換和記錄控制中，可以依照?qǐng)鼍暗倪\(yùn)動(dòng)在成像單元20A到20F的工作模式之間和在幀存儲(chǔ)器220A到220F的輸出模式之間切換。如果場(chǎng)景大幅運(yùn)動(dòng)，則圖像的質(zhì)量會(huì)下降，除非保證每個(gè)成像單元的有關(guān)幀速率。因此，通過(guò)賦予圖像質(zhì)量以比功耗高的優(yōu)先級(jí)選擇“成像單元同時(shí)工作模式”。如果場(chǎng)景小幅運(yùn)動(dòng)，則降低每個(gè)成像單元的有效幀速率不會(huì)導(dǎo)致圖像質(zhì)量顯著下降。因此，將工作模式切換到“成像單元斷續(xù)工作模式”，以便使功耗保持最小。如上所述，依照?qǐng)鼍暗倪\(yùn)動(dòng)在工作模式之間切換使功耗保持最小，并且不用承受圖像質(zhì)量顯著下降地降低存儲(chǔ)容量。進(jìn)一步，依照電池剩余電荷和允許功耗在工作模式之間切換為全景成像設(shè)備100的有效使用創(chuàng)造了條件。更進(jìn)一步，在“成像單元斷續(xù)工作模式”下生成低幀速率圖像流，因此降低了存儲(chǔ)容量。
[0128][多視圖相機(jī)控制系統(tǒng)]
[0129]圖15是適用于有選擇地控制多視圖相機(jī)的控制系統(tǒng)的配置圖。例示在圖12中的拍攝控制部分210包括總線接口 /相機(jī)控制接口 300、通過(guò)屏蔽寄存器310、和控制數(shù)據(jù)通過(guò)邏輯320。拍攝控制部分210響應(yīng)來(lái)自主處理器280的指令，集體地和有選擇地控制多個(gè)成像單元20A到20F的任意個(gè)成像單元。例如,拍攝控制部分210可以集體地或有選擇地控制自動(dòng)曝光(AE)、自動(dòng)白平衡(AWB)、和曝光值(EV)。
[0130]總線接口 /相機(jī)控制接口 300是適用于連接主處理器280和成像單元20的給定標(biāo)準(zhǔn)的總線接口和適用于控制成像單元20A到20F的專用接口?？偩€接口 /相機(jī)控制接口300響應(yīng)來(lái)自主處理器280的指令，將控制信號(hào)供應(yīng)給控制數(shù)據(jù)通過(guò)邏輯320。
[0131]控制數(shù)據(jù)通過(guò)邏輯320是適用于將控制數(shù)據(jù)寫入成像單元20A到20F中或從成像單元20A到20F中讀取數(shù)據(jù)的電路。當(dāng)寫入數(shù)據(jù)時(shí)，控制數(shù)據(jù)通過(guò)邏輯320可以通過(guò)單播、多播或廣播將寫入數(shù)據(jù)發(fā)送給成像單元20A到20F。當(dāng)讀取數(shù)據(jù)時(shí)，控制數(shù)據(jù)通過(guò)邏輯320可以通過(guò)單播從成像單元20A到20F接收讀取數(shù)據(jù)。
[0132]通過(guò)屏蔽寄存器310是適用于控制控制數(shù)據(jù)通過(guò)邏輯320的電路的輸入和輸出操作的寄存器。通過(guò)屏蔽寄存器310是與成像單元20A到20F的數(shù)量相對(duì)應(yīng)的通過(guò)屏蔽寄存器。
[0133]圖16是描述顯示在圖15中的多視圖相機(jī)控制系統(tǒng)的功能配置的圖形。相機(jī)控制接口 302是顯示在圖15中的總線接口 /相機(jī)控制接口 300的例子，與主處理器280 —起構(gòu)成應(yīng)用處理器140。應(yīng)用處理器140通過(guò)，例如，片上系統(tǒng)(SoC)技術(shù)實(shí)現(xiàn)。
[0134]在顯示在圖16中的功能配置圖中，顯示在圖15中的控制數(shù)據(jù)通過(guò)邏輯320是使用像I2C或SPI那樣的總線接口連接相機(jī)控制接口 302和成像單元20A到20F的電路。控制數(shù)據(jù)通過(guò)邏輯320包括開(kāi)關(guān)130A到130F和多路復(fù)用器132。
[0135]相機(jī)控制接口 302的數(shù)據(jù)發(fā)送器Tx經(jīng)由開(kāi)關(guān)130A到130F與成像單元20A到20F連接。將主處理器280指定的控制數(shù)據(jù)有選擇地寫入成像單元20A到20F中。控制數(shù)據(jù)寫入通過(guò)寄存器110(下文簡(jiǎn)稱為“寫入通過(guò)寄存器”是與成像單元20A到20F的數(shù)量相對(duì)應(yīng)的通過(guò)屏蔽寄存器。通過(guò)屏蔽寄存器110設(shè)置掩碼以便在分別與成像單元20A到20F相聯(lián)系的開(kāi)關(guān)130A到130F的接通和斷開(kāi)狀態(tài)之間切換。
[0136]例如，當(dāng)寫入通過(guò)寄存器110的值是‘ 110000’時(shí)，分別與兩個(gè)成像單元20A和20B相聯(lián)系的開(kāi)關(guān)130A和130B接通，而分別與其余四個(gè)成像單元20C到20F相聯(lián)系的開(kāi)關(guān)130C到130F斷開(kāi)。這使控制數(shù)據(jù)被有選擇地寫入成像單元20A和20B中。
[0137]成像單元20A到20F經(jīng)由具有多個(gè)輸入端和單個(gè)輸出端的多路復(fù)用器132與相機(jī)控制接口 301的數(shù)據(jù)接收器Rx連接。依照來(lái)自主處理器280的讀取指令，有選擇地從成像單元20A到20F中讀出數(shù)據(jù)。相機(jī)設(shè)置值讀取通過(guò)寄存器120 (下文簡(jiǎn)稱為“讀取通過(guò)寄存器”)是與成像單元20A到20F的數(shù)量相對(duì)應(yīng)的通過(guò)選擇寄存器。讀取通過(guò)寄存器120設(shè)置掩碼以便選擇多路復(fù)用器132的多支輸入流之一。
[0138]例如，當(dāng)讀取通過(guò)寄存器120的值是‘010000’時(shí)，從饋送到多路復(fù)用器132的來(lái)自六個(gè)成像單元20A到20F的輸入流當(dāng)中選擇來(lái)自成像單元20B的輸入流。其結(jié)果是，從多路復(fù)用器132輸出來(lái)自成像單元20B的數(shù)據(jù)作為輸出流，供應(yīng)給相機(jī)控制接口 302的接收器Rx。
[0139]在顯示在圖16中的配置中，只有一個(gè)接口可用于主處理器280從或向成像單元20A到20F讀取或?qū)懭霐?shù)據(jù)。通過(guò)簡(jiǎn)單地重寫寫入通過(guò)寄存器110和讀取通過(guò)寄存器120的通過(guò)掩碼，可以集體或有選擇地從或向成像單元20A到20F讀取或?qū)懭霐?shù)據(jù)。為成像單元20A到20F的每一個(gè)配備獨(dú)立接口導(dǎo)致較大的電路規(guī)模。但是，顯示在圖16中的配置只有一個(gè)接口，因此有助于減少電路的數(shù)量。進(jìn)一步，通過(guò)簡(jiǎn)單重寫寫入通過(guò)寄存器110，可以選擇要寫入的所希望成像單元以及同時(shí)將數(shù)據(jù)寫入所選成像單元中，因此加速寫入操作。
[0140]圖17(a)是描述顯示在圖16中的多視圖相機(jī)控制系統(tǒng)進(jìn)行的寫入處理的流程圖。
[0141]主處理器280準(zhǔn)備要寫入成像單元20A到20F中的控制數(shù)據(jù)(S30)?？刂茢?shù)據(jù)是，例如，與像曝光值那樣的拍攝條件有關(guān)和用戶通過(guò)用戶接口部分250指定的數(shù)據(jù)。
[0142]主處理器280確定要寫入的目標(biāo)成像單元，并將指定要將控制數(shù)據(jù)寫入的成像單元的值寫入寫入通過(guò)寄存器110中。如果寫入通過(guò)寄存器110是與成像單元的數(shù)量相對(duì)應(yīng)的通過(guò)掩碼，則寫入通過(guò)寄存器110將通過(guò)掩碼設(shè)置成選擇要寫入的目標(biāo)成像單元。通過(guò)寫入通過(guò)寄存器I1設(shè)置開(kāi)關(guān)130A到130F的接通/斷開(kāi)狀態(tài)。要求寫入通過(guò)寄存器110將通過(guò)掩碼設(shè)置成有選擇地將控制數(shù)據(jù)發(fā)送給要寫入的目標(biāo)成像單元。
[0143]如果要求響應(yīng)寫入操作作出確認(rèn)(ACK)，則主處理器280確定要讀取的目標(biāo)成像單元，并將指定要從中讀取數(shù)據(jù)的成像單元的值寫入讀取通過(guò)寄存器120中(S34)。如果讀取通過(guò)寄存器120是與成像單元的數(shù)量相對(duì)應(yīng)的通過(guò)掩碼，則讀取通過(guò)寄存器120將通過(guò)掩碼設(shè)置成選擇要讀取的目標(biāo)成像單元。在具有多個(gè)輸入端和單個(gè)輸出端的多路復(fù)用器132的多支輸入流當(dāng)中，選擇讀取通過(guò)寄存器120指定的輸入流并加以輸出作為輸出流。要求讀取通過(guò)寄存器120將通過(guò)掩碼設(shè)置成有選擇地從要寫入的目標(biāo)成像單元接收ACK。
[0144]這里，當(dāng)寫入操作完成時(shí)，要寫入的每個(gè)目標(biāo)成像單元返回ACK。通常，應(yīng)該從要寫入的所有成像單元接收ACK，并且應(yīng)該分別核實(shí)ACK的接收。這樣的處理導(dǎo)致較大的電路規(guī)模，需要與總線標(biāo)準(zhǔn)不同的過(guò)程。但是，在正常環(huán)境下寫入處理失敗的情況極其罕見(jiàn)。因此，作為核實(shí)來(lái)自所有目標(biāo)成像單元的ACK的接收的可替代方式，只傳遞來(lái)自目標(biāo)成像單元之一的ACK來(lái)核實(shí)ACK的接收。這也有助于電路更簡(jiǎn)單。為了以更嚴(yán)格的方式核實(shí)是否已經(jīng)將數(shù)據(jù)適當(dāng)?shù)貙懭胨谐上駟卧拿恳粋€(gè)中，唯一必須做的是分別為每個(gè)成像單元讀取寄存器值來(lái)核實(shí)ACK的接收。
[0145]相機(jī)控制接口 302經(jīng)由開(kāi)關(guān)130A到130F從發(fā)送終端Tx將適合寫入控制數(shù)據(jù)的信號(hào)輸出到成像單元20A到20F(S36)。此時(shí)，依照寫入通過(guò)寄存器110設(shè)置的通過(guò)掩碼改變開(kāi)關(guān)130A到130F的接通/斷開(kāi)狀態(tài)，因此使控制數(shù)據(jù)只寫入選為目標(biāo)成像單元的成像單元20中。
[0146]如果要求響應(yīng)寫入操作作出ACK，則相機(jī)控制接口 302經(jīng)由多路復(fù)用器132利用接收終端Rx從成像單元20A到20F接收ACK信號(hào)(S38)。此時(shí)，依照讀取通過(guò)寄存器120設(shè)置的通過(guò)掩碼核實(shí)來(lái)自選為要讀取的目標(biāo)成像單元的成像單元的ACK。
[0147]應(yīng)該注意到，如果無(wú)需響應(yīng)寫入操作作出ACK，則可以省略步驟S34和S38。
[0148]圖17(b)是描述顯示在圖16中的多視圖相機(jī)控制系統(tǒng)進(jìn)行的讀取處理的流程圖。
[0149]主處理器280確定要讀取的成像單元20的寄存器(S40)。
[0150]主處理器280確定要讀取的目標(biāo)成像單元，并將指定要從中讀取數(shù)據(jù)的成像單元的值寫入寫入通過(guò)寄存器110中(S42)。如果寫入通過(guò)寄存器110是與成像單元的數(shù)量相對(duì)應(yīng)的通過(guò)掩碼，則通過(guò)寄存器110將通過(guò)掩碼設(shè)置成選擇要讀取的目標(biāo)成像單元。通過(guò)寫入通過(guò)寄存器110設(shè)置開(kāi)關(guān)130A到130F的接通/斷開(kāi)狀態(tài)。要求寫入通過(guò)寄存器110將通過(guò)掩碼設(shè)置成有選擇地將讀取地址發(fā)送給要讀取的目標(biāo)成像單元。
[0151]接著，主處理器280確定要讀取的目標(biāo)成像單元，并將指定要從中讀取數(shù)據(jù)的成像單元的值寫入讀取通過(guò)寄存器120中(S44)。如果讀取通過(guò)寄存器120是與成像單元的數(shù)量相對(duì)應(yīng)的通過(guò)掩碼，則讀取通過(guò)寄存器120將通過(guò)掩碼設(shè)置成選擇要讀取的目標(biāo)成像單元。在具有多個(gè)輸入端和單個(gè)輸出端的多路復(fù)用器132的多支輸入流當(dāng)中，選擇讀取通過(guò)寄存器120指定的輸入流并加以輸出作為輸出流。要求讀取通過(guò)寄存器120將通過(guò)掩碼設(shè)置成有選擇地從要讀取的目標(biāo)成像單元接收數(shù)據(jù)和ACK。
[0152]相機(jī)控制接口 302經(jīng)由開(kāi)關(guān)130A到130F從發(fā)送終端Tx將成像單元讀取地址輸出到成像單元20A到20F(S46)。此時(shí)，依照寫入通過(guò)寄存器110設(shè)置的通過(guò)掩碼改變開(kāi)關(guān)130A到130F的接通/斷開(kāi)狀態(tài)，因此使讀取地址只發(fā)送給選為要讀取的目標(biāo)成像單元的成像單元20。
[0153]相機(jī)控制接口 302經(jīng)由多路復(fù)用器132利用接收終端Rx從成像單元20A到20F接收有關(guān)指定地址的數(shù)據(jù)(S48)。此時(shí)，從選為要讀取的目標(biāo)成像單元的成像單元接收數(shù)據(jù)，并依照讀取通過(guò)寄存器120設(shè)置的通過(guò)掩碼核實(shí)來(lái)自選為目標(biāo)成像單元的成像單元的ACK。
[0154]圖18是描述實(shí)現(xiàn)顯示在圖16中的多視圖相機(jī)控制系統(tǒng)的例子的圖形。在顯示在圖18中的實(shí)現(xiàn)例子中，使用了與叫做I2C(內(nèi)部集成電路)的外圍設(shè)備通信的串行通信方案。這里將給出為了簡(jiǎn)單起見(jiàn)使用四個(gè)成像單元(成像單元20A到20D)的情況的描述。
[0155]I2C接口 304配備在應(yīng)用處理器140的一側(cè)上，用作I2C通信主設(shè)備。成像單元20A到20D是I2C通信從設(shè)備。
[0156]I2C狀態(tài)監(jiān)視電路150是允許三態(tài)緩沖器170在接收狀態(tài)下接收的電路。其結(jié)果是，允許從多路復(fù)用器176接收數(shù)據(jù)。在寫入操作期間，阻止三態(tài)緩沖器170。
[0157]將從I2C接口 304輸出的SDATA供應(yīng)給分別與成像單元20A到20D相聯(lián)系的三態(tài)緩沖器172A到172D。依照寫入通過(guò)寄存器110的通過(guò)掩碼啟用與要寫入的目標(biāo)成像單元相聯(lián)系的三態(tài)緩沖器，因此使STATA只發(fā)送給要寫入的目標(biāo)成像單元。上拉電阻174是將三態(tài)緩沖器172A到172D的輸出信號(hào)調(diào)整成適當(dāng)邏輯電平的電阻。從I2C接口 304輸出的SCLK是適用于使成像單元20A到20F同步的時(shí)鐘信號(hào)。
[0158]在具有多個(gè)輸入端和單個(gè)輸出端的多路復(fù)用器176的輸入端當(dāng)中，多路復(fù)用來(lái)自依照讀取通過(guò)寄存器120的通過(guò)掩碼指定的輸入端的輸入值，并經(jīng)由三態(tài)緩沖器170供應(yīng)給 I2C 接口 304。
[0159]在圖18中，寫入通過(guò)寄存器110的通過(guò)掩碼是‘1100’。因此，在寫入操作期間將控制數(shù)據(jù)寫入成像單元20A和20B中。讀取通過(guò)寄存器120的通過(guò)掩碼是‘1000’。因此，在讀取操作期間從成像單元20A中讀取ACK。
[0160]圖19是描述實(shí)現(xiàn)顯示在圖16中的多視圖相機(jī)控制系統(tǒng)的另一個(gè)例子的圖形。在顯示在圖19中的實(shí)現(xiàn)例子中，使用連接包括計(jì)算機(jī)的設(shè)備的叫做SPI(串行外圍接口)的總線接口。這里，也將給出為了簡(jiǎn)單起見(jiàn)使用四個(gè)成像單元(成像單元20A到20D)的情況的描述。
[0161]SPI接口 306配備在應(yīng)用處理器140的一側(cè)上，用作SPI通信主設(shè)備。成像單元20A到20D是SPI通信從設(shè)備。
[0162]從SPI接口 306輸出的CS#信號(hào)是芯片選擇信號(hào)，供應(yīng)給NAND電路180A到180D。寫入通過(guò)寄存器I1是適用于選擇要寫入的目標(biāo)成像單元20A到20D的通過(guò)掩碼。將寄存器值供應(yīng)給分別與成像單元20A到20D相聯(lián)系的NAND電路180A到180D。在這個(gè)例子中，寫入通過(guò)寄存器110的通過(guò)掩碼是‘1100’。因此，將‘I’饋送到兩個(gè)NAND電路180A和180B中，將‘0’饋送到其余兩個(gè)NAND電路180C和180D中。將NAND電路180A到180D的輸出值CAM1_CS#到CAM4_CS#反相，并饋送到成像單元20A到20D中。其結(jié)果是，選擇了兩個(gè)成像單元20A和20B，使控制數(shù)據(jù)TxData從SPI接口 306的MOSI (主設(shè)備輸出從設(shè)備輸入端口)發(fā)送給成像單元20A和20B。
[0163]將來(lái)自SPI接口 306的CLK的SCLK信號(hào)供應(yīng)給成像單元20A到20F以便使這些成像單元同步。
[0164]來(lái)自多路復(fù)用器182的讀取數(shù)據(jù)RxData被SPI接口 306的MISO (主設(shè)備輸入從設(shè)備輸出端口)接收。讀取通過(guò)寄存器120是適用于選擇要讀取的目標(biāo)成像單元20A到20D的通過(guò)掩碼。讀取通過(guò)寄存器120用于選擇具有多個(gè)輸入端和單個(gè)輸出端的多路復(fù)用器182的輸入信號(hào)。在這個(gè)例子中，讀取通過(guò)寄存器120的通過(guò)掩碼是‘1000’。在具有多個(gè)輸入端和單個(gè)輸出端的多路復(fù)用器182的多支輸入流當(dāng)中，選擇來(lái)自成像單元20A的輸入流，并作為多路復(fù)用器182的輸出流輸出。
[0165]圖20 (a)和20 (b)是描述顯示在操作/顯示單元40上的操作屏幕的例子的圖形。將顯示在圖20 (a)中的全景成像設(shè)備100的六個(gè)成像單元20A到20F拍攝的圖像分別顯示在顯示在圖20(b)中的操作屏幕的區(qū)域A到F中。
[0166]當(dāng)被選成參考相機(jī)時(shí)，操作屏幕的區(qū)域A到F每一個(gè)的框架表現(xiàn)為，例如，藍(lán)色。進(jìn)一步，當(dāng)將這些區(qū)域劃分成幾組時(shí)，每組的框架表現(xiàn)為不同顏色。參考相機(jī)的選擇被切換成接通或斷開(kāi)。每次點(diǎn)擊都在選擇和去選之間切換。
[0167]電影記錄開(kāi)始/停止按鈕70、靜止圖像拍攝按鈕72、自動(dòng)曝光鎖定按鈕74、自動(dòng)白平衡鎖定按鈕76、和擴(kuò)展控制按鈕78與描述在圖10(b)中的那些相同。
[0168]當(dāng)按下相機(jī)凍結(jié)按鈕75時(shí)，所選成像單元被凍結(jié)在當(dāng)前捕獲圖像上。也就是說(shuō)，成像單元仍然可操作以及在屏幕上保持與按下相機(jī)凍結(jié)按鈕75時(shí)相同的圖像。當(dāng)再次按下相機(jī)凍結(jié)按鈕75時(shí)，相機(jī)解凍，因此重新開(kāi)始通過(guò)所選成像單元拍攝。
[0169]當(dāng)按下分組按鈕77時(shí)，分組從多個(gè)區(qū)域A到F任意選擇的幾個(gè)區(qū)域。換句話說(shuō)，從成像單元20A到20F當(dāng)中選擇和分組特定成像單元。要分組的所希望區(qū)域可以通過(guò)點(diǎn)擊那些區(qū)域或用操作屏幕上的手畫曲線圍住它們來(lái)選擇。
[0170]圖21是描述通過(guò)指定參考相機(jī)集體設(shè)置成像單元的情況的圖形。圖22例示了在那種情況下操作屏幕的例子。
[0171]如圖21所例示，將成像單元20A指定成參考相機(jī)，以便在其它成像單元20B到20F中集體設(shè)置像參考相機(jī)的曝光值那樣的拍攝參數(shù)。在拍攝室內(nèi)的情況下，例如，將前方的成像單元20A指定成參考相機(jī)，其它成像單元20B到20F著手利用與參考相機(jī)相同的曝光設(shè)置進(jìn)行拍攝。
[0172]如圖22所例示，當(dāng)與與選為參考相機(jī)的成像單元20A相聯(lián)系的區(qū)域A—起按下自動(dòng)曝光(AE)鎖定按鈕74或自動(dòng)白平衡(AWB)鎖定按鈕76時(shí)，使相同參數(shù)反映在其它成像單元20B到20F中。
[0173]將讀取通過(guò)寄存器120設(shè)置成將選為參考相機(jī)的成像單元20A指定成要讀取的目標(biāo)成像單元的值。其結(jié)果是，從成像單元20A，即，參考相機(jī)中讀取像曝光值和白平衡值那樣的拍攝參數(shù)。然后，將寫入通過(guò)寄存器110設(shè)置成將除了選為參考相機(jī)的成像單元20A之外的其余成像單元20B到20F指定成要寫入的目標(biāo)成像單元的值。其結(jié)果是，將從成像單元20A,即，參考相機(jī)中讀取的拍攝參數(shù)集體寫入其余成像單元20B到20F中。
[0174]更具體操作過(guò)程如下:
[0175](I)在操作屏幕上點(diǎn)擊前相機(jī)的區(qū)域A。其結(jié)果是，區(qū)域A的框架轉(zhuǎn)變?yōu)樗{(lán)色，以及成像單元20A用作參考相機(jī)。
[0176](2)按下自動(dòng)白平衡鎖定按鈕76以便將所有成像單元20A到20F的白平衡鎖定成成像單元20A，即，參考相機(jī)的調(diào)整值。
[0177](3)按下自動(dòng)曝光鎖定按鈕74以便將所有成像單元20A到20F的曝光值鎖定成成像單元20A，即，參考相機(jī)的調(diào)整值。
[0178](4)利用電影記錄開(kāi)始/停止按鈕70或靜止圖像拍攝按鈕72拍攝。
[0179]圖23是描述通過(guò)窗口從室內(nèi)拍攝室外圖像的情況的圖形。圖24和25例示了那種情況下操作屏幕的例子。
[0180]如圖23所例示，當(dāng)通過(guò)窗口 190拍攝室外圖像時(shí)，窗口側(cè)的成像單元20A，20B，和20E因室外拍攝而減小曝光。但是，其余成像單元20C和20D因室內(nèi)拍攝而有必要利用曝光設(shè)置拍攝。
[0181]如圖24所例示，用手畫曲線192將與窗口側(cè)的成像單元20A，20B,和20E相聯(lián)系的區(qū)域A，B和E圍住以便加以選擇。按下分組按鈕77將所選區(qū)域A，B和E分組。
[0182]接著，在屬于同組的區(qū)域A，B和E當(dāng)中，如圖25所例示選擇區(qū)域B，以便將成像單元20B選為參考相機(jī)。其結(jié)果是，使與針對(duì)成像單元20B,即，參考相機(jī)相同的拍攝參數(shù)反映在屬于同組的其它成像單元20A和20E中。
[0183]將讀取通過(guò)寄存器120設(shè)置成將該組中選為參考相機(jī)的成像單元20B指定成要讀取的目標(biāo)成像單元的值。其結(jié)果是，從成像單元20B，即，參考相機(jī)中讀取像曝光值和白平衡值那樣的拍攝參數(shù)。然后，將寫入通過(guò)寄存器110設(shè)置成將該組中除了選為參考相機(jī)的成像單元20B之外的其余成像單元20A和20E指定成要寫入的目標(biāo)成像單元的值。其結(jié)果是，將從成像單元20B，即，參考相機(jī)中讀取的拍攝參數(shù)集體寫入其余成像單元20A和20E中。
[0184]更具體操作過(guò)程如下:
[0185](I)在操作屏幕上選擇與窗口側(cè)的成像單元20A，20B和20E相聯(lián)系的區(qū)域A，B和
E0
[0186](2)按下分組按鈕77以便將所選區(qū)域A，B和E分組。其結(jié)果是，區(qū)域A，B和E的框架轉(zhuǎn)變?yōu)榫G色，因此形成第一組。其余區(qū)域C，D和F形成第二組。
[0187](3)點(diǎn)擊區(qū)域B。其結(jié)果是，區(qū)域B的框架轉(zhuǎn)變?yōu)樗{(lán)色。與區(qū)域B相聯(lián)系的成像單元20B用作綠色第一組的參考相機(jī)。
[0188](4)點(diǎn)擊區(qū)域D。其結(jié)果是，區(qū)域D的框架轉(zhuǎn)變?yōu)樗{(lán)色。與區(qū)域D相聯(lián)系的成像單元20D用作第二組的參考相機(jī)。
[0189](5)當(dāng)按下自動(dòng)白平衡鎖定按鈕76時(shí)，將屬于第一組的成像單元20A，20B和20E的白平衡鎖定成成像單元20B，即，參考相機(jī)的調(diào)整值。進(jìn)一步，將屬于第二組的成像單元20C，20D和20F的白平衡鎖定成成像單元20D，即，參考相機(jī)的調(diào)整值。
[0190](6)當(dāng)按下自動(dòng)曝光鎖定按鈕74時(shí)，將屬于第一組的成像單元20A，20B和20E的曝光值鎖定成成像單元20B，即，參考相機(jī)的調(diào)整值。進(jìn)一步，將屬于第二組的成像單元20C，20D和20F的曝光值鎖定成成像單元20D，即，參考相機(jī)的調(diào)整值。
[0191](7)利用電影記錄開(kāi)始/停止按鈕70或靜止圖像拍攝按鈕72拍攝。
[0192]圖26是描述凍結(jié)一些相機(jī)的情況的圖形。圖27例示了在那種情況下操作屏幕的例子。
[0193]如果某人194如圖26所例示在全景圖像拍攝期間到來(lái)，則凍結(jié)相機(jī)圖像，使某人194不出現(xiàn)在圖像中，暫時(shí)中止相機(jī)拍攝。在這個(gè)例子中，暫時(shí)中止成像單元20A和20B的拍攝，以便某人194不出現(xiàn)在捕獲的圖像中，凍結(jié)未示出某人194的圖像。
[0194]如圖27所例示，選擇要凍結(jié)的所希望區(qū)域A和B。接著，按下分組按鈕77以便將所選區(qū)域A和B分組。然后，將區(qū)域A或B選作參考相機(jī)，并按下相機(jī)凍結(jié)按鈕75。這使得可以暫時(shí)停止與屬于同組的區(qū)域A和B相聯(lián)系的成像單元20A和20B，以及凍結(jié)沒(méi)有人出現(xiàn)在其中的圖像。
[0195]更具體操作過(guò)程如下:
[0196](I)在操作屏幕上選擇要凍結(jié)的所希望區(qū)域A和B。
[0197](2)按下分組按鈕77以便將所選區(qū)域A和B分組。其結(jié)果是，區(qū)域A和B的框架轉(zhuǎn)變成綠色。
[0198](3)點(diǎn)擊區(qū)域A或B。其結(jié)果是，與所選區(qū)域相聯(lián)系的成像單元用作參考相機(jī)。但是，實(shí)際上，這具有與指定要凍結(jié)的一組相機(jī)相同的效果。
[0199](4)當(dāng)沒(méi)有人出現(xiàn)在圖像中時(shí)，按下相機(jī)凍結(jié)按鈕75。其結(jié)果是，凍結(jié)了在步驟
(3)中指定的該組相機(jī)，因此使區(qū)域A和B凍結(jié)在示出沒(méi)有人在其中的圖像上。
[0200](5)從這里向前，利用未凍結(jié)的其余成像單元20C到20F拍攝。
[0201]如上所述，在按照本實(shí)施例的多視圖相機(jī)控制系統(tǒng)中，將寫入數(shù)據(jù)的屏蔽寄存器和讀取數(shù)據(jù)的屏蔽寄存器插在兩個(gè)接口之間，一個(gè)被主處理器用于訪問(wèn)相機(jī)，另一個(gè)是相機(jī)模塊接口。這提供了集體的和快速的相機(jī)控制，因此有助于容易的和有效的相機(jī)控制。多視圖相機(jī)控制系統(tǒng)可以簡(jiǎn)單地通過(guò)在現(xiàn)有接口之間插入寄存器來(lái)實(shí)現(xiàn)。這省卻了改變相機(jī)模塊或處理器接口的需要，因此使控制系統(tǒng)易于設(shè)計(jì)。
[0202][多步曝光拍攝]
[0203]圖28是適用于進(jìn)行多步曝光拍攝的全景電影流生成器和功能配置圖。這里，示出了與多步曝光拍攝有關(guān)的組件，而為了方便起見(jiàn)未示出所有其它組件。顯示在圖28中的曝光設(shè)置部分400可以在參考圖11所述的拍攝控制部分210中實(shí)現(xiàn)。顯示在圖28中的HDR合成部分420可以在參考圖11所述的電影流多路復(fù)用部分230中實(shí)現(xiàn)。
[0204]曝光設(shè)置部分400在多個(gè)成像單元20A到20F的每一個(gè)中設(shè)置曝光值。更具體地說(shuō)，曝光設(shè)置部分400在成像單元20A到20F的每一個(gè)中設(shè)置單獨(dú)參考曝光值，并進(jìn)一步在其中設(shè)置相對(duì)曝光值。相對(duì)曝光值以參考曝光值為中心，通過(guò)增加或減小參考曝光值獲得。通過(guò)成像單元20A到20F的每一個(gè)的自動(dòng)曝光(AE)機(jī)構(gòu)可以將成像單元20A到20F的每一個(gè)的單獨(dú)參考曝光值設(shè)置成最佳值。
[0205]曝光設(shè)置部分400可以使用參考圖15所述的多視圖相機(jī)控制系統(tǒng)集體地或有選擇地在成像單元20A到20F的每一個(gè)中設(shè)置曝光值。
[0206]將成像單元20A到20F利用可變曝光值拍攝的低動(dòng)態(tài)范圍(LDR)捕獲圖像存儲(chǔ)在幀緩沖器430A到430F中。幀緩沖器430A到430F的每一個(gè)是具有存儲(chǔ)利用設(shè)置在成像單元20A到20F中的多個(gè)曝光值拍攝的圖像的存儲(chǔ)區(qū)的幀存儲(chǔ)器。
[0207]HDR合成部分420從幀緩沖器430A到430F中讀取成像單元20A到20F利用可變曝光值拍攝的低動(dòng)態(tài)范圍捕獲圖像，通過(guò)拼接處理合成具有最佳曝光值的捕獲區(qū)域，并生成高動(dòng)態(tài)范圍(HDR)全景圖像。應(yīng)當(dāng)注意到，如果最終輸出格式是LDR全景圖像，則HDR合成部分420通過(guò)讓HDR合成圖像經(jīng)受色調(diào)映射處理，可以生成動(dòng)態(tài)范圍受到壓縮的LDR全景圖像。
[0208]HDR合成部分420提取相鄰捕獲圖像之間的特征點(diǎn)，通過(guò)根據(jù)特征點(diǎn)將相鄰捕獲圖像拼接在一起合成全景圖像。應(yīng)用于圖像匹配的已知技術(shù)可以用于特征點(diǎn)提取處理。將HDR合成部分420生成的全景圖像存儲(chǔ)在全景圖像存儲(chǔ)部分410中。
[0209]圖29(a)和29 (b)是描述為了比較在多個(gè)成像單元中設(shè)置相同參考曝光值拍攝的捕獲圖像的圖形。
[0210]圖29(a)例示了利用以可變曝光值以參考曝光值為中心的方式以多個(gè)步長(zhǎng)改變參考曝光值(在這種情況下為O)的成像單元20A支架拍攝獲得的圖像440A到446A。圖像442A是利用參考曝光值EV = O拍攝的圖像的例子。圖像443A，444A，445A和446A是通過(guò)將1，4，5和7加入?yún)⒖计毓庵礒V = O中分別拍攝的圖像的例子。另一方面，圖像441A和440A是通過(guò)從參考曝光值EV = O中減去4和7分別拍攝的圖像的例子。將I加入曝光值EV中使光量加倍，而從曝光值EV中減去I則使光量減半。
[0211]在圖29 (a)中，曝光值EV為_(kāi)7的圖像440A具有“過(guò)濃陰影”，因此導(dǎo)致信息完全缺失。曝光值EV為7的圖像446A部分具有“過(guò)度加亮”。
[0212]圖29(b)例示了利用以可變曝光值以參考曝光值為中心的方式以多個(gè)步長(zhǎng)改變與在圖29(a)的情況下相同的參考曝光值EV的其它成像單元20B支架拍攝獲得的圖像440B到446B。圖像442B是利用參考曝光值EV = O拍攝的圖像的例子。圖像443B，444B，445B和446B是通過(guò)將1，4，5和7加入?yún)⒖计毓庵礒V = O中分別拍攝的圖像的例子。另一方面，圖像441B和440B是通過(guò)從參考曝光值EV = O中減去4和7分別拍攝的圖像的例子。
[0213]曝光值EV分別為-7和-4的圖像440B和441B具有“過(guò)濃陰影”，因此導(dǎo)致信息完全缺失。曝光值EV為7的圖像446B部分具有“過(guò)度加亮”。
[0214]如上所述，在所有成像單元20A到20F中設(shè)置相同參考曝光值以及針對(duì)支架拍攝增加或減小參考曝光值導(dǎo)致在拍攝的圖像中存在“過(guò)濃陰影”或“過(guò)度加亮”，因此導(dǎo)致圖像的浪費(fèi)。
[0215]對(duì)于多視圖相機(jī)，適當(dāng)曝光值顯著地隨相機(jī)的視場(chǎng)而變。為了在所有方向都達(dá)到適當(dāng)曝光范圍，以多個(gè)步長(zhǎng)為拍攝改變曝光值的支架拍攝是有效的。但是，多視圖相機(jī)的的視場(chǎng)中的亮度的動(dòng)態(tài)范圍顯著地隨相機(jī)角度而變。其結(jié)果是，對(duì)于支架拍攝，有必要在從最暗視場(chǎng)跨越到最亮視場(chǎng)的寬曝光范圍中以多個(gè)步長(zhǎng)設(shè)置所有相機(jī)的曝光值，因此導(dǎo)致更多的圖像數(shù)據(jù)和更長(zhǎng)的拍攝時(shí)間。進(jìn)一步，對(duì)所有相機(jī)增加或減小相對(duì)于相同參考曝光值的曝光值取決于相機(jī)角度，導(dǎo)致具有“過(guò)濃陰影”或“過(guò)度加亮”的大量圖像，導(dǎo)致許多圖像的浪費(fèi)。
[0216]由于這個(gè)原因，在按照本實(shí)施例的多步曝光拍攝中，在成像單元20A到20F的每一個(gè)中設(shè)置單獨(dú)參考曝光值，以及針對(duì)支架拍攝，通過(guò)增加或減小單獨(dú)參考曝光值，以多個(gè)步長(zhǎng)改變成像單元20A到20F的每一個(gè)的曝光值。
[0217]圖30 (a)到30 (C)是描述通過(guò)曝光設(shè)置部分400設(shè)置在成像單元20A到20F的每一個(gè)中的參考曝光值、和以使相對(duì)曝光值以參考曝光值為中心的方式以預(yù)定個(gè)步長(zhǎng)改變參考曝光值獲得的相對(duì)曝光值的圖形。圖30(a)例示了設(shè)置在成像單元20A中的參考曝光值EVa和通過(guò)以三個(gè)步長(zhǎng)增加參考曝光值EVa和以三個(gè)步長(zhǎng)減小參考曝光值EVa獲得的相對(duì)曝光值。圖30(b)例示了設(shè)置在成像單元20B中的參考曝光值EVb和通過(guò)以三個(gè)步長(zhǎng)增加參考曝光值EVb和以三個(gè)步長(zhǎng)減小參考曝光值EVb獲得的相對(duì)曝光值。圖30 (c)例示了設(shè)置在成像單元20C中的參考曝光值EVc和通過(guò)以三個(gè)步長(zhǎng)增加參考曝光值EVc和以三個(gè)步長(zhǎng)減小參考曝光值EVc獲得的相對(duì)曝光值。
[0218]分別設(shè)置在成像單元20A，20B和20C中的參考曝光值EVa，EVb和EVc是一般不同的成像單元20A，20B和20C的視場(chǎng)中的最佳曝光值。這里，在分別設(shè)置在成像單元20A和20B中的參考曝光值EVa和EVb之間和在分別設(shè)置在成像單元20B和20C中的參考曝光值EVb和EVc之間存在兩個(gè)步長(zhǎng)的差異。通過(guò)將3，2和I加入每一個(gè)與其相鄰值存在兩個(gè)步長(zhǎng)的差異的參考曝光值EVa，EVb和EVc中和從其中減去1，2和3進(jìn)行多步曝光拍攝。其結(jié)果是，對(duì)于三個(gè)成像單元20A，20B和20C，總共使用11個(gè)不同曝光值進(jìn)行拍攝。
[0219]應(yīng)該優(yōu)先確定每個(gè)成像單元20的支架拍攝的步長(zhǎng)的數(shù)量，以便具有相鄰拍攝方向的成像單元20的曝光范圍部分重疊。設(shè)計(jì)成這樣是為了在HDR合成期間在相鄰捕獲圖像之間實(shí)現(xiàn)曝光方面的關(guān)聯(lián)性。
[0220]成像單元20A, 20B和20C的每一個(gè)利用最佳參考曝光值和另外六個(gè)曝光值進(jìn)行多步曝光拍攝，三個(gè)通過(guò)以三個(gè)步長(zhǎng)增加參考曝光值獲得，其它三個(gè)通過(guò)以三個(gè)步長(zhǎng)減小參考曝光值獲得。這防止了參考圖29(a)和29(b)所述的“過(guò)濃陰影”和“過(guò)度加亮”出面在通過(guò)成像單元20A，20B和20C拍攝的圖像中，因此消除了多步曝光拍攝中圖像的浪費(fèi)。進(jìn)一步，與如迄今所作所有成像單元20A，20B和20C進(jìn)行的11-步多步曝光拍攝相比，成像單元20A，20B和20C只利用包括參考曝光值的從+3到-3的七個(gè)步長(zhǎng)進(jìn)行支架拍攝，因此有助于顯著縮短支架拍攝的時(shí)間。如上所述，本實(shí)施例對(duì)于成像單元20A到20F進(jìn)行的支架拍攝，盡管只有少數(shù)的步長(zhǎng)，但在HDR合成期間提供了明顯較大的動(dòng)態(tài)范圍，因此允許無(wú)浪費(fèi)的和有效的HDR全景圖像合成。
[0221]圖31是描述通過(guò)HDR合成部分420合成的全景圖像的圖形。顯示在圖31中的全景圖像通過(guò)將成像單元20A到20F為了合成利用多個(gè)曝光值拍攝的圖像的具有適當(dāng)曝光值的捕獲區(qū)域拼接在一起獲得。例如，區(qū)域450是從對(duì)于成像單元20A的視場(chǎng)具有適當(dāng)曝光值的由成像單元20A拍攝的捕獲圖像中提取的窗口外的場(chǎng)景。區(qū)域451是從對(duì)于成像單元20B的視場(chǎng)具有適當(dāng)曝光值的由成像單元20B拍攝的捕獲圖像中提取的室內(nèi)場(chǎng)景。
[0222]圖32是描述按照本實(shí)施例進(jìn)行多步曝光拍攝的步驟的流程圖。
[0223]為成像單元20A到20F選擇自動(dòng)曝光(AE)和自動(dòng)白平衡(AWB)以便著手利用成像單元20A到20F的每一個(gè)的最佳參考曝光值進(jìn)行拍攝(S50)。
[0224]曝光設(shè)置部分400在成像單元20A到20F的每一個(gè)中設(shè)置以參考曝光值為中心的N個(gè)正和N個(gè)負(fù)相對(duì)曝光值(S52)。
[0225]使用成像單元20A到20F利用N個(gè)正和N個(gè)負(fù)相對(duì)曝光值進(jìn)行支架拍攝(S54)。
[0226]HDR合成部分420將使用成像單元20A到20F通過(guò)支架拍攝獲得的捕獲圖像的適當(dāng)曝光區(qū)域拼接在一起，因此合成為高動(dòng)態(tài)范圍全景圖像(S56)。
[0227]在上面給出的描述中，通過(guò)以給定數(shù)量的步長(zhǎng)增加和減小參考曝光值進(jìn)行多步曝光拍攝。將成像單元20A到20F通過(guò)多步曝光拍攝拍攝的捕獲圖像的適當(dāng)曝光區(qū)域拼接一起，因此合成為高動(dòng)態(tài)范圍全景圖像。作為一個(gè)修改例，可以從利用設(shè)置在成像單元20A到20F的每一個(gè)中的單獨(dú)參考曝光值捕獲的圖像中合成偽高動(dòng)態(tài)范圍全景圖像。下面將給出如何著手進(jìn)行這種偽HDR合成的描述。
[0228]圖33 (a)到33 (c)是描述HDR合成部分420用于進(jìn)行偽HDR合成的方法的圖形。
[0229]在偽HDR合成中，通過(guò)自動(dòng)曝光控制和自動(dòng)白平衡控制分別控制成像單元20A到20F的每一個(gè)，以便利用最佳曝光值拍攝單個(gè)圖像。HDR合成部分420通過(guò)匹配拍攝方向彼此相鄰的兩個(gè)捕獲圖像之間的相應(yīng)點(diǎn)合成HDR全景圖像。此時(shí)，我們可以假設(shè)匹配點(diǎn)的亮度和顏色是相同的。進(jìn)一步，通過(guò)自動(dòng)曝光設(shè)置在成像單元20A到20F中的曝光值是已知的。因此，不用將捕獲圖像的每個(gè)像素的亮度和顏色信息舍成八個(gè)位地進(jìn)行HDR合成。
[0230]更具體地說(shuō)，假設(shè)由于三個(gè)成像單元20A，20B和20C之間的最佳曝光值的差異，成像單元20A拍攝的圖像的八位亮度信息在顯示在圖33 (a)中的亮度范圍之內(nèi)，成像單元20B拍攝的圖像的八位亮度信息在顯示在圖33(b)中的亮度范圍之內(nèi)，以及成像單元20C拍攝的圖像的八位亮度信息在顯示在圖33(c)中的亮度范圍之內(nèi)。
[0231]也就是說(shuō)，在32-位高動(dòng)態(tài)范圍中，成像單元20B拍攝的圖像的亮度在比成像單元20A拍攝的圖像的亮度高3個(gè)位的范圍中。進(jìn)一步，成像單元20C拍攝的圖像的亮度在比成像單元20B拍攝的圖像的亮度高6個(gè)位的范圍中。在這種情況下，成像單元20B拍攝的圖像的像素相對(duì)于成像單元20A拍攝的圖像的像素移動(dòng)了 3個(gè)位。成像單元20C拍攝的圖像的像素相對(duì)于成像單元20A拍攝的圖像的像素移動(dòng)了 9個(gè)位(3+6個(gè)位)。然后，在32-位范圍中相加像素值。其結(jié)果是，可以獲得大致17 (8+3+6)-位的高動(dòng)態(tài)范圍像素值。
[0232]也可以通過(guò)依照成像單元20A到20F的每一個(gè)的最佳曝光值位移動(dòng)色差信息，然后在32-位空間中相加像素值獲取聞動(dòng)態(tài)范圍色差彳目息。
[0233][方位設(shè)置]
[0234]在上面給出的描述中，成像單元的拍攝方向未設(shè)置成特定方向。但是，如果將在前向的成像單元20A的拍攝方向設(shè)置成，例如，磁北，則拼接全景圖像的中心面朝北。下面將給出適用于設(shè)置全景圖像的方位的配置和為此進(jìn)行的處理的描述。
[0235]圖34是能夠設(shè)置方位的全景電影流生成器200的功能配置圖。下面將給出與顯示在圖11中的全景電影流生成器200不同的配置和操作的描述。
[0236]全景成像設(shè)備100的多視圖成像部分10或主體部分30包含三軸磁強(qiáng)計(jì)252和三軸加速度傳感器254。進(jìn)一步，還可以包含三軸陀螺儀傳感器。三軸磁強(qiáng)計(jì)252沿著三個(gè)軸檢測(cè)地面磁場(chǎng)矢量。三軸加速度傳感器254沿著三個(gè)軸檢測(cè)全景成像設(shè)備100的加速度矢量。
[0237]理論上，只要在全景成像設(shè)備100中包含三軸陀螺儀(角速度)傳感器、三軸加速度傳感器、和三軸磁強(qiáng)計(jì)的至少一種，就可以通過(guò)沿著三個(gè)軸檢測(cè)全景成像設(shè)備100的傾斜獲取姿勢(shì)信息。進(jìn)一步，可以通過(guò)由三軸磁強(qiáng)計(jì)沿著三個(gè)軸檢測(cè)地面磁場(chǎng)矢量獲取方位信息。
[0238]將三軸磁強(qiáng)計(jì)252獲取的方位信息供應(yīng)給用戶接口部分250。將三軸磁強(qiáng)計(jì)252、三軸加速度傳感器254、和三軸陀螺儀傳感器(如果包含的話)的至少一種獲取的姿勢(shì)信息供應(yīng)給用戶接口部分250。
[0239]用戶接口部分250將在屏幕上顯示全景成像設(shè)備100的多視圖成像部分10拍攝的方位和全景成像設(shè)備100的姿勢(shì)的指令供應(yīng)給顯示控制部分260。顯示控制部分260以圖形形式將有關(guān)拍攝方位和姿勢(shì)的信息顯示在操作/顯示單元40上。進(jìn)一步，用戶接口部分250使，例如，指令出現(xiàn)在屏幕上。該指令提示用戶調(diào)整多視圖成像部分10的方向，以便使成像單元之一的拍攝方向是磁北。
[0240]圖35 (a)和35 (b)和圖36 (a)和36 (b)是描述適用于將在前向的成像單元20A的拍攝方向設(shè)置成磁北的用戶界面的圖形。
[0241]圖35(a)是從該方位看過(guò)去的全景成像設(shè)備100的多視圖成像部分10的示意圖。適用于前向拍攝的成像單元20A處在操作/顯示單元40的對(duì)側(cè)上。在操作/顯示單元40上顯示引導(dǎo)，以提示用戶調(diào)整多視圖成像部分10的方向，以便將用作前相機(jī)的成像單元20A的拍攝方向設(shè)置成磁北。在圖35(a)中用箭頭指示三軸磁強(qiáng)計(jì)252測(cè)量的磁北。在成像單元20A的拍攝方向與磁北之間存在差異。
[0242]圖35(b)是描述出現(xiàn)在操作/顯示單元40上的屏幕的圖形。六個(gè)成像單元20A到20F拍攝的圖像通常分別顯示在如圖10(b)所示的操作/顯示單元40的區(qū)域A到F中。但是，當(dāng)選擇與成像單元20A，即，前相機(jī)相聯(lián)系的區(qū)域A時(shí)，如圖35(b)所例示，只有成像單元20A拍攝的圖像大尺寸地顯示在操作/顯示單元40上。
[0243]在顯示成像單元20A拍攝的圖像的區(qū)域A (標(biāo)號(hào)42)的下面，通過(guò)羅盤的圖標(biāo)(標(biāo)號(hào)44)顯示三軸磁強(qiáng)計(jì)252測(cè)量的磁北。進(jìn)一步，消息“將前相機(jī)的取向調(diào)整到磁北”出現(xiàn)在其下面(標(biāo)號(hào)46)。當(dāng)用戶通過(guò)旋轉(zhuǎn)全景成像設(shè)備100的主體部分30改變多視圖成像部分10的取向時(shí)，成像單元20A的拍攝方向發(fā)生變化，因此改變了羅盤的磁北的取向。
[0244]用戶依照顯示的消息旋轉(zhuǎn)全景成像設(shè)備100的主體部分30，直到用標(biāo)號(hào)44表示的羅盤的磁北指向正上方，因此改變了成像單元20A的取向。
[0245]圖36 (a)和36 (b)例示了成像單元20A，即，前相機(jī)的取向與三軸磁強(qiáng)計(jì)252測(cè)量的磁北對(duì)準(zhǔn)時(shí)的狀態(tài)。如圖36(a)所例示，成像單元20A的取向與磁北對(duì)準(zhǔn)。此時(shí)，羅盤的磁北指向正上方(標(biāo)號(hào)44)，以及如圖36(b)所例示，出現(xiàn)消息“好極了 ！ ”(標(biāo)號(hào)46)。
[0246]如上所述，可以讓用戶設(shè)置全景成像設(shè)備100的主體部分30的取向，以便將成像單元20A，即，前相機(jī)的拍攝方向設(shè)置成磁北。其結(jié)果是，使拼接全景圖像的中心與真北對(duì)準(zhǔn)。通過(guò)將處在操作/顯示單元40后側(cè)的成像單元20A設(shè)置成前相機(jī)，以及將前相機(jī)的取向設(shè)置成磁北，使前相機(jī)的拍攝方向與全景圖像的中心的方向之間的對(duì)應(yīng)關(guān)系變得顯而易見(jiàn)。應(yīng)當(dāng)注意到，全景成像設(shè)備100還包含三軸加速度傳感器254。這使得可以不使用水準(zhǔn)儀地檢測(cè)多視圖成像部分10的傾斜，以便校正多視圖成像部分10以便在拼接處理期間是水平的。
[0247]在上面給出的描述中，將成像單元20A，即，前相機(jī)的拍攝方向設(shè)置成磁北。但是，可以將成像單元20A的拍攝方向設(shè)置成應(yīng)該希望與全景圖像的中心對(duì)準(zhǔn)的任意角度?？商娲?，可以將除了前相機(jī)之外的其它成像單元的拍攝方向設(shè)置成磁北或任意角度。
[0248]圖37 (a)和37 (b)和圖38 (a)和38 (b)是描述適用于將特定成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形。
[0249]假設(shè)三軸磁強(qiáng)計(jì)252測(cè)量的磁北處在在圖37(a)中用箭頭指示的方向上。這里，在成像單元20A到20F當(dāng)中，成像單元20C處在與磁北最接近的方向上。
[0250]圖37 (b)例示了出現(xiàn)在操作/顯示單元40上的屏幕。成像單元20A到20F拍攝的圖像分別顯示在區(qū)域A到F中(標(biāo)號(hào)42)。因?yàn)槌上駟卧?0C處在與磁北最接近的方向上，所以羅盤顯示在出現(xiàn)成像單元20C捕獲的圖像的區(qū)域C中，因此指示磁北的方向(標(biāo)號(hào)44)。消息“將相機(jī)的取向調(diào)整到磁北”出現(xiàn)在區(qū)域A到F下面(標(biāo)號(hào)46)。
[0251]用戶依照顯示的消息旋轉(zhuǎn)全景成像設(shè)備100的主體部分30，直到用標(biāo)號(hào)44表示的羅盤的磁北指向正上方，因此改變了成像單元20C的取向。
[0252]圖38 (a)和38 (b)例示了成像單元20C的取向與三軸磁強(qiáng)計(jì)252測(cè)量的磁北對(duì)準(zhǔn)時(shí)的狀態(tài)。如圖38(a)所例示，成像單元20C的取向與磁北對(duì)準(zhǔn)。此時(shí)，羅盤的磁北指向正上方(標(biāo)號(hào)44)，以及如圖38(b)所例示，出現(xiàn)消息“好極了 ！ ”(標(biāo)號(hào)46)。
[0253]如上所述，可以讓用戶設(shè)置全景成像設(shè)備100的主體部分30的取向，以便將特定成像單元的拍攝方向設(shè)置成磁北。取決于拍攝者的位置，可能難以將處在操作/顯示單元40的對(duì)側(cè)的成像單元20A的拍攝方向設(shè)置成磁北來(lái)拍攝。在這樣的情況下，唯一必要的是將除了前相機(jī)之外的任何一臺(tái)其它相機(jī)的拍攝方向設(shè)置成磁北。
[0254]因此，上面描述了本發(fā)明的實(shí)施例。本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，上面的實(shí)施例是例示性的，可以以各種方式修改這些組件和處理的組合，這樣的修改例也在本發(fā)明的范圍之內(nèi)。
[0255]上面給出了作為多視圖成像設(shè)備的一個(gè)例子，包括多視圖成像部分10和主體部分30的全景成像設(shè)備100的描述。多視圖成像部分10包括處在不同拍攝方向上的多個(gè)成像單元20A到20F。主體部分30包括操作/顯示單元40。但是,多視圖成像部分10的多個(gè)成像單元的至少一些可以處在相同方向上。尤其，如果多視圖成像部分10包括處在相同方向的至少兩個(gè)成像單元，以及如果這兩個(gè)成像單元的視點(diǎn)的位置不同，則可以拍攝具有視差的圖像。使用視差圖像可以求出深度。其結(jié)果是，可以生成三維圖像。如果視差圖像是全景圖像，則可以生成三維全景圖像。這樣的立體成像設(shè)備可以構(gòu)成多視圖成像設(shè)備的另一個(gè)例子，本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，上面實(shí)施例的各種特征組件和處理也可應(yīng)用于這樣的立體成像設(shè)備。
[0256]上述將整個(gè)天球全景圖像取作全景圖像的一個(gè)例子給出了本實(shí)施例的描述。但是，全景圖像無(wú)需是整個(gè)天球全景圖像。的確，全景圖像可以是合成拍攝方向不同的多個(gè)相機(jī)拍攝的多個(gè)圖像獲得的圖像。
[0257]應(yīng)該注意到，本說(shuō)明書中的“全景圖像”不局限于狹義上的“全景圖像”，即，風(fēng)景或肖像圖像、360°全顯圖像等，而是可以簡(jiǎn)單地指跨越寬廣區(qū)域的圖像。進(jìn)一步，已經(jīng)給出了在本實(shí)施例中生成像合成圖像那樣的全景圖像的例子的描述。但是，輸出的合成圖像無(wú)需是所謂的全景圖像。即使合成圖像是任意尺寸的普通圖像，也可應(yīng)用本發(fā)明?？商娲?，輸出的合成圖像可以是由具有不同分辨率的分層圖像構(gòu)成的圖像。這樣的分層圖像可以這樣形成，當(dāng)放大圖像的一個(gè)區(qū)域時(shí)，用較高分辨率的圖像取代放大區(qū)域。
[0258]標(biāo)號(hào)列表
[0259]10多視圖成像部分
[0260]12相機(jī)外殼
[0261]14緊固件
[0262]20A到20F成像單元
[0263]30主體部分
[0264]40操作/顯示單元
[0265]50三腳架基座緊固孔
[0266]70電影記錄開(kāi)始/停止按鈕
[0267]74靜止圖像拍攝按鈕
[0268]75相機(jī)凍結(jié)按鈕
[0269]76自動(dòng)白平衡按鈕
[0270]77分組按鈕
[0271]78擴(kuò)展控制按鈕
[0272]80三腳架
[0273]100全景成像設(shè)備
[0274]200全景電影流生成器
[0275]210拍攝控制部分
[0276]220A到220F幀存儲(chǔ)器
[0277]230電影流多路復(fù)用部分
[0278]232運(yùn)動(dòng)檢測(cè)部分
[0279]234模式確定部分
[0280]236控制信號(hào)生成部分
[0281]240全景電影存儲(chǔ)部分
[0282]242全景拼接部分
[0283]246切換部分
[0284]250用戶接口部分
[0285]252三軸磁強(qiáng)計(jì)
[0286]254三軸加速度傳感器
[0287]260顯示控制部分
[0288]270觸摸面板控制部分
[0289]280主處理器
[0290]290輔助存儲(chǔ)設(shè)備
[0291]300總線接口 /相機(jī)控制接口
[0292]310通過(guò)屏蔽寄存器
[0293]320控制數(shù)據(jù)通過(guò)邏輯
[0294]400曝光設(shè)置部分
[0295]410全景圖像存儲(chǔ)部分
[0296]420HDR合成部分
[0297]430A到430F幀緩沖器
[0298]工業(yè)可應(yīng)用性
[0299]本發(fā)明可應(yīng)用于適合捕獲合成圖像的技術(shù)。
【權(quán)利要求】
1.一種圖像生成設(shè)備，包含: 多個(gè)幀存儲(chǔ)器，適用于存儲(chǔ)來(lái)自多個(gè)成像單元的捕獲圖像；以及多路復(fù)用部分，適用于從該幀存儲(chǔ)器中讀取成像單元的捕獲圖像，并多路復(fù)用該捕獲圖像以生成圖像流， 其中該多路復(fù)用部分包括 運(yùn)動(dòng)檢測(cè)部分，適用于檢測(cè)至少一個(gè)成像單元的捕獲圖像的運(yùn)動(dòng)； 模式確定部分，適用于至少依照該運(yùn)動(dòng)檢測(cè)部分檢測(cè)的運(yùn)動(dòng)量或該圖像生成設(shè)備的功耗極限設(shè)置兩種模式之一，一種模式使多個(gè)成像單元同時(shí)工作，另一種模式使多個(gè)成像單元斷續(xù)工作；以及 控制信號(hào)生成部分，適用于將適用于依照該模式確定部分設(shè)置的模式控制從多個(gè)幀存儲(chǔ)器中讀取捕獲圖像的控制信號(hào)供應(yīng)給該多個(gè)幀存儲(chǔ)器。
2.如權(quán)利要求1所述的圖像生成設(shè)備，進(jìn)一步包含 拍攝控制部分，適用于控制多個(gè)成像單元的操作， 其中該拍攝控制部分將適用于依照該模式確定部分設(shè)置的模式使多個(gè)成像單元同時(shí)或斷續(xù)工作的控制信號(hào)供應(yīng)給多個(gè)成像單元。
3.如權(quán)利要求2所述的圖像生成設(shè)備， 其中，即使通過(guò)模式確定部分設(shè)置了使多個(gè)成像單元斷續(xù)工作的模式，該控制信號(hào)生成部分也將適用于在使多個(gè)成像單元同時(shí)工作的同時(shí)使多個(gè)幀存儲(chǔ)器斷續(xù)工作的控制信號(hào)供應(yīng)給多個(gè)幀存儲(chǔ)器。
4.如權(quán)利要求1到3的任何一項(xiàng)所述的圖像生成設(shè)備， 其中，如果該運(yùn)動(dòng)檢測(cè)部分檢測(cè)的運(yùn)動(dòng)量大于等于給定閾值，則該模式確定部分設(shè)置使多個(gè)成像單元同時(shí)工作的模式，以及 如果該運(yùn)動(dòng)檢測(cè)部分檢測(cè)的運(yùn)動(dòng)量小于給定閾值，則該模式確定部分設(shè)置使多個(gè)成像單元斷續(xù)工作的模式。
5.如權(quán)利要求4所述的圖像生成設(shè)備， 其中，即使該運(yùn)動(dòng)檢測(cè)部分檢測(cè)的運(yùn)動(dòng)量大于等于給定閾值，但如果該圖像生成設(shè)備未工作在功耗極限內(nèi)，則該模式確定部分設(shè)置使多個(gè)成像單元斷續(xù)工作的模式，以及 如果該運(yùn)動(dòng)檢測(cè)部分檢測(cè)的運(yùn)動(dòng)量大于等于給定閾值，以及如果該圖像生成設(shè)備工作在功耗極限內(nèi)，則該模式確定部分設(shè)置使多個(gè)成像單元同時(shí)工作的模式。
6.如權(quán)利要求1到3的任何一項(xiàng)所述的圖像生成設(shè)備， 其中，如果該圖像生成設(shè)備工作在功耗極限內(nèi)，則該模式確定部分設(shè)置使多個(gè)成像單元同時(shí)工作的模式，以及 如果該圖像生成設(shè)備未工作在功耗極限內(nèi)，則該模式確定部分設(shè)置使多個(gè)成像單元斷續(xù)工作的模式。
7.如權(quán)利要求1到3的任何一項(xiàng)所述的圖像生成設(shè)備， 其中，如果該圖像生成設(shè)備靠來(lái)自外部電源的電力工作，則該模式確定部分設(shè)置使多個(gè)成像單元同時(shí)工作的模式，以及 如果該圖像生成設(shè)備靠來(lái)自內(nèi)置可充電電池的電力工作，則該模式確定部分設(shè)置使多個(gè)成像單元斷續(xù)工作的模式。
8.一種圖像生成方法，包含: 將來(lái)自多個(gè)成像單元的捕獲圖像存儲(chǔ)在多個(gè)幀存儲(chǔ)器中的步驟；以及 從該幀存儲(chǔ)器中讀取成像單元的捕獲圖像，并多路復(fù)用該捕獲圖像以生成圖像流的多路復(fù)用步驟， 其中，該多路復(fù)用步驟包括 檢測(cè)至少一個(gè)成像單元的捕獲圖像的運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)步驟； 至少依照該運(yùn)動(dòng)檢測(cè)步驟檢測(cè)的運(yùn)動(dòng)量或功耗極限設(shè)置兩種模式之一的模式確定步驟，一種模式使多個(gè)成像單元同時(shí)工作，另一種模式使多個(gè)成像單元斷續(xù)工作；以及 將適用于依照該模式確定步驟設(shè)置的模式控制從多個(gè)幀存儲(chǔ)器中讀取捕獲圖像的控制信號(hào)供應(yīng)給該多個(gè)幀存儲(chǔ)器的控制信號(hào)生成步驟。
9.一種存儲(chǔ)程序的計(jì)算機(jī)可讀記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行: 將來(lái)自多個(gè)成像單元的捕獲圖像存儲(chǔ)在多個(gè)幀存儲(chǔ)器中的步驟；以及 從該幀存儲(chǔ)器中讀取成像單元的捕獲圖像，并多路復(fù)用該捕獲圖像以生成圖像流的多路復(fù)用步驟， 其中，該多路復(fù)用步驟包括 檢測(cè)至少一個(gè)成像單元的捕獲圖像的運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)步驟； 至少依照該運(yùn)動(dòng)檢測(cè)步驟檢測(cè)的運(yùn)動(dòng)量或功耗極限設(shè)置兩種模式之一的模式確定步驟，一種模式使多個(gè)成像單元同時(shí)工作，另一種模式使多個(gè)成像單元斷續(xù)工作；以及 將適用于依照該模式確定步驟設(shè)置的模式控制從多個(gè)幀存儲(chǔ)器中讀取捕獲圖像的控制信號(hào)供應(yīng)給該多個(gè)幀存儲(chǔ)器的控制信號(hào)生成步驟。
【文檔編號(hào)】H04N5/232GK104350734SQ201280073716
【公開(kāi)日】2015年2月11日 申請(qǐng)日期:2012年6月11日 優(yōu)先權(quán)日:2012年6月11日
【發(fā)明者】平田真一, 大澤洋, 古村京子 申請(qǐng)人:索尼電腦娛樂(lè)公司