圖像生成設(shè)備以及圖像生成方法
【專利摘要】總線接口/相機控制接口(300)連接處理器和多個成像單元(20A-20F)?？刂茢?shù)據(jù)傳輸邏輯(320)在總線接口/相機控制接口(300)與多個成像單元(20A-20F)之間交換數(shù)據(jù)。傳輸屏蔽寄存器(310)包括從多個成像單元(20A-20F)當中指定要選擇的成像單元，以便有選擇地為一個或多個成像單元提供寫入數(shù)據(jù)的寫入寄存器；以及從多個成像單元(20A-20F)當中指定要選擇的成像單元，以便有選擇地從一個成像單元接收讀取數(shù)據(jù)的讀取寄存器?？刂茢?shù)據(jù)傳輸邏輯(320)可以將傳輸屏蔽寄存器(310)用于在輸入和輸出操作之間切換。
【專利說明】圖像生成設(shè)備以及圖像生成方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像生成設(shè)備以及圖像生成方法，尤其涉及捕獲復(fù)合圖像的設(shè)備和方法。

【背景技術(shù)】
[0002]隨著數(shù)字相機和數(shù)字攝像機普及起來，有更多的機會將捕獲的靜止圖像和電影存儲在計算機中以便觀看和編輯或顯示在游戲控制臺和電視(TV)機的屏幕上。進一步，將捕獲的電影上載到互聯(lián)網(wǎng)上的張貼網(wǎng)站上與其他用戶共享也流行起來。
[0003]一些數(shù)字相機能夠捕獲全景圖像，使得可以以便捷方式捕獲具有寬視角的全景圖像。通過將用數(shù)字相機沿著不同拍攝方向拍攝的多個圖像拼接在一起生成全景圖像的軟件工具是常用的。
[0004]進一步，全景拍攝模式或全景圖像合成應(yīng)用可用在像裝有相機的移動電話那樣的一些移動設(shè)備中，使得將通過將移動設(shè)備傾斜成不同角度拍攝的圖像自動合成為全景圖像。
[0005]引用列表
[0006]專利文獻
[0007]PTLl JP 2011-76249 A


【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]可用在相機和裝有相機的移動設(shè)備上的全景拍攝模式會因為一邊改變相機或移動設(shè)備的拍攝方向一邊拍攝圖像而造成由位置偏差引起的大的誤差。進一步，為了合成為全景圖像，在不同拍攝方向上一個接著一個地拍攝靜止圖像，因此導(dǎo)致在不同拍攝方向上拍攝的多個靜止圖像之間的時滯。因此，盡管可以合成全景靜止圖像，但理論上難以拍攝全景電影。由于這個原因，采取使用包含多臺相機的多視圖相機同時拍攝全向圖像，然后將這些圖像合成為全景照片的方法。
[0010]這樣的全向多視圖相機要求應(yīng)該將像曝光和白平衡那樣的拍攝參數(shù)設(shè)置在每臺相機中，因此使得不可能集體控制所有相機，導(dǎo)致既費時又費力。
[0011]本發(fā)明就是鑒于上述情況而作出的，本發(fā)明的目的是提供即使使用多視圖相機，也允許集體和迅速地控制其所有相機的技術(shù)。
[0012]問題的解決方案
[0013]為了解決上述問題，按照本發(fā)明的一種方式的圖像捕獲設(shè)備包括多個成像單元、接口部分、邏輯電路、寫入寄存器、和讀取寄存器。該接口部分連接該多個成像單元和處理器。該邏輯電路在該接口部分與該多個成像單元之間交換數(shù)據(jù)。該寫入寄存器用于在該多個成像單元當中指定要選擇的一個或多個成像單元，以便有選擇地將寫入數(shù)據(jù)供應(yīng)給該一個或多個成像單元。該讀取寄存器用于在該多個成像單元當中指定要選擇的單個成像單元，以便有選擇地從該單個成像單元接收讀取數(shù)據(jù)。通過該寫入寄存器和該讀取寄存器在輸入和輸出操作之間切換該邏輯電路。
[0014]本發(fā)明的另一種方式是圖像捕獲方法。該圖像捕獲方法包括在顯示多個成像單元捕獲的圖像的操作屏幕上選擇特定成像單元作為用于設(shè)置拍攝參數(shù)的參考相機的步驟。該圖像捕獲方法進一步包括從該特定成像單元中讀取拍攝參數(shù)的步驟。該圖像捕獲方法還進一步包括將從該特定成像單元讀取的拍攝參數(shù)集體寫入除了該特定成像單元之外的其余成像單元中的步驟。該圖像捕獲方法還進一步包括在設(shè)置的參數(shù)下使用多個成像單元進行成像的步驟。
[0015]應(yīng)當注意到，上述組件的任何組合和本發(fā)明的表達在“方法”、“設(shè)備”、“系統(tǒng)”、“計算機程序”、“數(shù)據(jù)結(jié)構(gòu)”、“記錄介質(zhì)”等之間的任何轉(zhuǎn)換也可有效地作為本發(fā)明的方式。
[0016]本發(fā)明的有利效果
[0017]本發(fā)明為易于使用多視圖相機生成合成圖像創(chuàng)造了條件。

【專利附圖】

【附圖說明】
[0018]圖1是按照一個實施例的全景成像設(shè)備的透視圖；
[0019]圖2是描述顯示在圖1中的全景成像設(shè)備的多視圖成像部分的側(cè)面成像單元的視角和操作/顯示單元的安裝位置的圖形；
[0020]圖3是描述顯示在圖1中的多視圖成像部分的內(nèi)部結(jié)構(gòu)的圖形；
[0021]圖4(a)到4(c)是描述顯示在圖3中的安裝在緊固件上的六個成像單元之間的位置關(guān)系的圖形；
[0022]圖5是例示六個成像單元緊固在上面的緊固件和主體部分的中心軸的圖形；
[0023]圖6(a)和6(b)是描述可相互拆開多視圖成像部分和主體部分的配置的圖形；
[0024]圖7是例示在多視圖成像部分的底面上也配備了成像單元的配置的圖形；
[0025]圖8 (a)到8 (d)是描述配備在緊固件的側(cè)面之一上的成像單元的視角與配備在緊固件的頂面上的成像單元的視角之間的關(guān)系的圖形；
[0026]圖9是以從上面看過去的全景成像設(shè)備的多視圖成像部分的頂視圖的形式例示配備在緊固件的側(cè)面上的五個側(cè)面成像單元的視場之間的重疊的圖形；
[0027]圖10(a)和10(b)是描述顯示在操作/顯示單元上的操作屏幕的圖形；
[0028]圖11是在主體部分的主電路中實現(xiàn)的全景電影流生成器的功能配置圖；
[0029]圖12例示了與全景電影流生成器管理的電影流切換和記錄控制有關(guān)的配置；
[0030]圖13是描述全景電影流生成器管理的電影流切換和記錄控制的步驟的流程圖；
[0031]圖14(a)和14(b)是描述通過電影流切換和記錄控制生成的全景電影流的數(shù)據(jù)結(jié)構(gòu)的圖形；
[0032]圖15是適用于有選擇地控制多視圖相機的控制系統(tǒng)的配置圖；
[0033]圖16是描述顯示在圖15中的多視圖相機控制系統(tǒng)的功能配置的圖形；
[0034]圖17(a)是描述顯示在圖16中的多視圖相機控制系統(tǒng)進行的寫入處理的流程圖，以及圖17(b)是描述顯示在圖16中的多視圖相機控制系統(tǒng)進行的讀取處理的流程圖；
[0035]圖18是描述實現(xiàn)顯示在圖16中的多視圖相機控制系統(tǒng)的例子的圖形；
[0036]圖19是描述實現(xiàn)顯示在圖16中的多視圖相機控制系統(tǒng)的另一個例子的圖形；
[0037]圖20(a)和20(b)是描述顯示在操作/顯示單元上的操作屏幕的圖形；
[0038]圖21是描述通過指定參考相機集體設(shè)置成像單元的情況的圖形；
[0039]圖22是描述通過指定參考相機集體設(shè)置成像單元時操作屏幕的例子的圖形；
[0040]圖23是描述通過窗口從室內(nèi)拍攝室外圖像的情況的圖形；
[0041]圖24是描述通過窗口從室內(nèi)拍攝室外圖像時操作屏幕的例子的圖形；
[0042]圖25是描述通過窗口從室內(nèi)拍攝室外圖像時操作屏幕的例子的圖形；
[0043]圖26是描述凍結(jié)一些相機的情況的圖形；
[0044]圖27是例示凍結(jié)一些相機時操作屏幕的例子的圖形；
[0045]圖28是適用于進行多步曝光拍攝的全景電影流生成器和功能配置圖；
[0046]圖29(a)和29 (b)是描述為了比較在多個成像單元中設(shè)置相同參考曝光值拍攝的捕獲圖像的圖形；
[0047]圖30(a)到30(c)是描述通過顯示在圖28中的曝光設(shè)置部分設(shè)置在成像單元中的參考曝光值、和以使可變曝光值以參考曝光值為中心的方式以多個步長改變參考曝光值獲得的可變曝光值的圖形；
[0048]圖31是描述通過顯示在圖28中的HDR合成部分合成的全景圖像的圖形；
[0049]圖32是描述進行多步曝光拍攝的步驟的流程圖；
[0050]圖33 (a)到33 (C)是描述顯示在圖28中的HDR合成部分用于繼續(xù)進行偽HDR合成的方法的圖形；
[0051]圖34是能夠調(diào)整方位的全景電影流生成器的功能配置圖；
[0052]圖35(a)和35(b)是描述將在前向的成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形；
[0053]圖36(a)和36(b)是描述將在前向的成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形；
[0054]圖37(a)和37(b)是描述將特定成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形；以及
[0055]圖38(a)和38(b)是描述將特定成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形。

【具體實施方式】
[0056][全景成像設(shè)備的配置]
[0057]圖1是按照一個實施例的全景成像設(shè)備100的透視圖。全景成像設(shè)備100包括多視圖成像部分10和主體部分30。在本實施例中，多視圖成像部分10和主體部分30兩者都是圓柱形狀，使它們的中心軸相互對準地連接在一起。
[0058]多視圖成像部分10被圓柱形相機外殼12蓋住。多個成像單元20A到20F(當統(tǒng)指時，下文稱為成像單元20)包含在相機外殼12中。成像單元20A到20F的每一個包括像透鏡和成像元件那樣拍攝所需的組件。在本實施例中，等角地將五個成像單元20A到20E (下文也稱為“側(cè)面成像單元”)安排成使它們的透鏡位于圓柱形相機外殼12的周圍上。將單個成像單元20F(下文也稱為“頂部成像單元”)安排成使它的透鏡位于相機外殼12的頂面上。
[0059]主體部分30包括操作/顯示單元40、電池、主電路、和外部接口。操作/顯示單元40配備在從圓柱形主體部分30的外圍向內(nèi)凹進的位置上。多視圖成像部分10的成像單元20A到20F捕獲的電影數(shù)據(jù)經(jīng)由串行接口或USB (通用串行總線)接口發(fā)送給主體部分30的主電路。主電路實現(xiàn)通過多路復(fù)用成像單元20A到20F捕獲的電影幀生成全景電影流的功能。主電路包括用于連接像USB存儲器那樣的外部記錄設(shè)備的外部接口。經(jīng)由外部接口將生成的全景電影流記錄到外部記錄設(shè)備中。
[0060]操作/顯示單元40是帶有觸摸面板的顯示器。操作/顯示單元40將多視圖成像部分10的成像單元20A到20F之一捕獲的每個圖像顯示在它的顯示器上。進一步，操作/顯示單元40可以將合成多個成像單元20A到20F捕獲的多個圖像獲得的全景圖像顯示在它的顯示器上。更進一步，操作/顯示單元40可以將操作菜單顯示在它的顯示器上，以便用戶可以一邊觀看顯示屏一邊直接觸摸觸摸面板對顯示屏作出操作輸入。
[0061]圖2是描述全景成像設(shè)備100的多視圖成像部分10的側(cè)面成像單元20A的視角和操作/顯示單元40的安裝位置的圖形。側(cè)面成像單元20A拍攝的視場的擴展通過如圖2所例示的側(cè)面成像單元20A的視角Θ指示。拍攝者坐在三腳架80的前面，從側(cè)面成像單元20A的下面伸出他或她的手，因此操作出現(xiàn)在操作/顯示單元40上的操作菜單。操作/顯示單元40配備在圓柱形主體部分30的凹進區(qū)中。因此，即使通過觸摸觸摸屏操作屏幕操作菜單，拍攝者也可以觸摸側(cè)面成像單元20A的視場之外的觸摸屏。這樣就防止了拍攝者的手指不經(jīng)意出現(xiàn)在圖像中。
[0062]進一步，因為操作/顯示單元40配備在圓柱形主體部分30的凹進區(qū)中，所以可以防止從操作/顯示單元40發(fā)出的照射光出現(xiàn)在任何成像單元20A到20F中。為了將出現(xiàn)在圖像中的來自操作單元40的照射光的影響降低到給定水平或更低，要設(shè)計配備操作/顯示單元40的凹處的深度和凹進區(qū)中的操作/顯示單元40的傾角。
[0063]圖3是描述多視圖成像部分10的內(nèi)部結(jié)構(gòu)的圖形。多個成像單元20A到20F被緊固在多視圖成像部分10的相機外殼12內(nèi)部的緊固件14上。如果多個成像單元20A到20F被緊固在不同緊固件上，則由于，例如，熱膨脹引起的緊固件的變形，位置位移將從多個成像單元20A到20F的一個成像單元到另一個成像單元而不同。如果多個成像單元20A到20F像本實施例那樣被緊固在單個緊固件14上，則緊固件14由于，例如，熱膨脹的特性變化對成像單元20A到20F造成的影響是恒定的，因此有助于提高多個成像單元20A到20F之間的位置精度。
[0064]在本實施例中，緊固件14具有正五棱柱的形狀，五個側(cè)面成像單元20A，20B，20C，20D和20E的每一個配備在五棱柱的側(cè)面之一上，頂部成像單元20F配備在五棱柱的頂面上。盡管在本實施例中具有五棱柱的形狀，但緊固件14可以具有其它多棱柱的形狀，在多棱柱的每個側(cè)面上配備一個成像單元。
[0065]一般說來，被攝物水平360°地處在全景圖像中，往往頭上是天空，腳下是大地。由于這個原因，如果像本實施例那樣將成像單元配備在多棱柱的外周面上，以及如果將一個成像單元配備在多棱柱的頂面上，則通過沿著拍攝者的水平方向等角地改變視線的方向，可以拍攝多個圖像。進一步，等距地安排多個成像單元。這使得易于進行通過將從成像單元獲得的圖像數(shù)據(jù)拼接在一起生成全景圖像所需的圖像合成。更進一步，與在正十二面體的每個面上都有一個成像單元(總共12個成像單元)的傳統(tǒng)多視圖相機不同，本實施例優(yōu)于傳統(tǒng)多視圖相機之處在于可以使用較少成像單元捕獲與合成全景圖像所需一樣多的圖像。
[0066]圖4(a)到4(c)是描述顯示在圖3中的安裝在緊固件14上的六個成像單元20A到20F之間的位置關(guān)系的圖形。圖4(a)是從緊固件14的中心軸的方向看過去(從顯示在圖3中的z軸方向看過去)的頂視圖。圖4(b)是從與成像單元20A附在上面的緊固件14的棱柱的側(cè)面之一垂直的方向看過去(從顯示在圖3中的X軸方向看過去)的側(cè)視圖。圖4(c)是從與顯示在圖3中的X和z軸方向垂直的顯示在圖3中的y軸方向看過去的側(cè)視圖。
[0067]如圖4(a)的頂視圖所例示，五個側(cè)面成像單元20A到20E以在水平面上等圓周角(72° )地形成半徑為L的圓形的方式排列在形狀為五棱柱的緊固件14的周圍。側(cè)面成像單元20A到20E每一個的拍攝方向是圓形的徑向。如側(cè)視圖4(b)和4(c)所例示，配備在緊固件14的頂面上的頂部成像單元20F和配備在緊固件14的側(cè)面上的側(cè)面成像單元20B以在垂直面上具有90°的圓周角地形成半徑為L的圓形的方式排列。頂部成像單元20F和配備在緊固件14的其它側(cè)面之一上的側(cè)面成像單元20A，20C，20D和30E的每一個類似地以具有90°的圓周角地形成半徑為L的圓形的方式排列。換句話說，六個成像單元20A到20F以形成半徑為L的球形的方式排列。
[0068]圖5是例示六個成像單元20A到20F緊固在上面的緊固件14和主體部分30的中心軸的圖形。多視圖成像部分10以緊固件14和主體部分30的中心軸相互對準的方式與主體部分30連接。進一步，將主體部分30的三腳架基座緊固孔30設(shè)置在主體部分30的中心軸上。其結(jié)果是，與三腳架基座緊固孔30連接的三腳架的位置與緊固件14的中心軸對準。這使得即使安裝在三腳架上的主體部分30發(fā)生傾斜或旋轉(zhuǎn)，也易于調(diào)整拍攝位置和視線的方向。
[0069]圖6(a)和6(b)是描述可相互拆開多視圖成像部分10和主體部分30的配置的圖形。多視圖成像部分10和主體部分30可相互拆開，使得可以依照用于與外圍設(shè)備連接的像USB (通用串行總線)那樣的接口標準轉(zhuǎn)換圖像數(shù)據(jù)，以及使得可以使用，例如，可延伸電纜將多視圖成像部分10與物理上遙遠的主體部分30連接?？商娲?，多視圖成像部分10和主體部分30可以經(jīng)由適用于延伸相機的信號線的可拆式中繼電纜連接在一起。還可替代地，多視圖成像部分10和主體部分30每一個可以具有無線通信功能以及無線地連接在一起。這為甚至不能攜帶主體部分30而只能攜帶多視圖成像部分10的有限區(qū)域中的全景拍攝創(chuàng)造條件。例如，通過將多視圖成像部分10插入孔中可以全景拍攝那個孔的內(nèi)部。
[0070]另一方面，主體部分30可以是像平板PC或移動電話那樣的移動終端，使得可以相互拆開多視圖成像部分10和主體部分30，以便通過無線通信交換數(shù)據(jù)。這使拍攝者可以攜帶主體部分30和從遙遠地方操作多視圖成像部分10，使得更易于防止拍攝者偶然出現(xiàn)在圖像中。
[0071]圖6(b)例示了將三腳架基座緊固孔52設(shè)置在多視圖成像部分10的底面上的配置。這種配置使三腳架可以直接與多視圖成像部分10連接。如果多視圖成像部分10具有無線通信功能，則可以將多視圖成像部分10捕獲的數(shù)據(jù)發(fā)送給主體部分30或其它移動終端。
[0072]圖7是例示在多視圖成像部分10的底面上也配備了成像單元20G的配置的圖形。如上所述除了將成像單元20F配備在頂面上之外還將成像單元26G配備在底面上為全向拍攝創(chuàng)造了條件。在這種情況下，不能將三腳架與底面連接。因此，例如，通過利用細線將多視圖成像部分10懸掛在天花板上進行拍攝?？商娲?，可以將多視圖成像部分10拋向空中進行全向拍攝。如果多視圖成像部分10具有無線通信功能，則可以將多視圖成像部分10捕獲的數(shù)據(jù)發(fā)送給主體部分30或其它移動終端。
[0073]圖8(a)到8(d)是描述配備在緊固件14的側(cè)面之一上的成像單元20A的視角與配備在緊固件14的頂面上的成像單元20F的視角之間的關(guān)系的圖形。
[0074]圖8 (a)例示了配備在緊固件14的側(cè)面之一上的側(cè)面成像單元20A的視角60A與配備在緊固件14的頂面上的頂部成像單元20F的視角60B之間的關(guān)系。圖8(b)是從上面看過去的全景成像設(shè)備100的多視圖成像部分10的頂視圖(從圖3中的z軸方向看過去的視圖)，例示了配備在緊固件14的側(cè)面之一上的側(cè)面成像單元20A的視角60A的水平視角θ AH。圖8(c)和8(d)是從側(cè)面看過去的全景成像設(shè)備100的側(cè)視圖(從圖3中的X和y軸方向看過去的視圖)。圖8 (c)例示了配備在緊固件14的頂面上的頂部成像單元20F的水平視角9fh。圖8(d)例示了配備在緊固件14的側(cè)面之一上的側(cè)面成像單元20A的垂直視角θΑν和配備在緊固件14的頂面上的頂部成像單元20F的垂直視角0FV。
[0075]作為一個例子，側(cè)面成像單元20A的水平視角是θω=12Γ。由于五個側(cè)面成像單元20Α到20F配備在緊固件14的側(cè)面上，這使得可以水平360°地全景拍攝。另一方面，側(cè)面成像單元20Α的垂直視角θΑν是θΑν=134°。將此與頂部成像單元20F的水平視角eFH( = 134° )或垂直視角eFV( = 121° )結(jié)合，可以垂直180°地全景拍攝。
[0076]應(yīng)當注意到，在本例中側(cè)面成像單元20A的垂直視角θΑν和水平視角ΘΑΗ之間的關(guān)系是普通透鏡的水平視角大于其垂直視角。這里應(yīng)當牢記的是，以相對于正常取向旋轉(zhuǎn)了 90°的方式將成像單元20Α到20Ε配備在緊固件14的側(cè)面上，以便增大成像單元20Α到20Ε在垂直方向的視角。
[0077]圖9是以從上面看過去的全景成像設(shè)備100的多視圖成像部分10的頂視圖的形式例示配備在緊固件14的側(cè)面上的五個側(cè)面成像單元20Α到20Ε的視場之間的重疊的圖形。側(cè)面成像單元20Α到20Ε每一個的水平視角是，例如，121°。組合五個側(cè)面成像單元20Α到20Ε拍攝的圖像使得可以水平360°地全景拍攝。
[0078]圖10(a)和10(b)是描述顯示在操作/顯示單元40上的操作屏幕的圖形。將顯示在圖10 (a)中的全景成像設(shè)備100的六個成像單元20A到20F拍攝的圖像分別顯示在顯示在圖10(b)中的操作屏幕的區(qū)域A到F中。
[0079]在觸摸面板上選擇顯示在圖10(b)中的區(qū)域A到F的某一個使成像單元20A到20F之一被選為參考相機。這里，選擇區(qū)域B。其結(jié)果是，使區(qū)域B得到強調(diào)，例如，通過用不同顏色顯示區(qū)域B的框架。將區(qū)域B與成像單元20B相聯(lián)系。成像單元20B被用作設(shè)置像曝光和白平衡那樣的拍攝條件的參考。
[0080]當拍攝者按下自動曝光(AE)鎖定按鈕74時，通過自動曝光將成像單元20B，即，參考相機設(shè)置成最佳曝光值。使這個最佳曝光值反映在其它成像單元20A，20C, 20D, 20E和20F中。AF鎖定按鈕74是切換按鈕。當拍攝者再次按下AE鎖定按鈕74時，解鎖AE，因此使成像單元20A到20F每一個的曝光分別得到自動調(diào)整。
[0081]當拍攝者接著按下自動白平衡(AWB)鎖定按鈕76時，通過自動白平衡調(diào)整成像單元20B，即，參考相機的白平衡。使其校正值反映在其它成像單元20A，20C, 20D, 20E和20F中。AWB鎖定按鈕76也是切換按鈕。當拍攝者再次按下AWB鎖定按鈕76時，解鎖AWB，因此使成像單元20A到20F每一個的白平衡分別得到自動調(diào)整。
[0082]當按下擴展控制按鈕78時，出現(xiàn)各種設(shè)置菜單，因此允許進一步設(shè)置拍攝參數(shù)。
[0083]當拍攝者按下電影記錄開始/停止按鈕70時,成像單元20A到20F拍攝電影。當拍攝者再次按下電影記錄開始/停止按鈕70時，停止拍攝電影。當拍攝者按下靜止圖像拍攝按鈕72時，成像單元20A到20F拍攝靜止圖像。將記錄的電影或靜止圖像存儲在，例如，與主體部分30的主電路的外部接口連接的USB存儲器中。
[0084]圖11是在主體部分30的主電路中實現(xiàn)的全景電影流生成器200的功能配置圖。
[0085]拍攝控制部分210在多視圖成像部分10的所有成像單元20A到20F中集體地或在這些單元的每一個中分別地設(shè)置像曝光值、白平衡值、和幀速率那樣的拍攝參數(shù)。進一步，拍攝控制部分210控制成像單元20A到20F的變焦和拍攝的開始和停止。
[0086]將成像單元20A到20F拍攝的電影幀分別存儲在幀存儲器220A到220F中。
[0087]電影流多路復(fù)用部分230多路復(fù)用存儲在幀存儲器220A到220F中和成像單元20A到20F拍攝的電影幀，生成多視圖電影流并將電影流供應(yīng)給全景拼接部分242。全景拼接部分242通過拼接處理將成像單元20A到20F拍攝的電影幀拼接在一起，合并全景電影并生成全景電影流。如果功耗受到限制，則全景拼接部分242可以不進行拼接處理地按原樣輸出多視圖電影流?？商娲?，如有必要，全景拼接部分242可以輸出多視圖電影流和全景電影流兩者。全景拼接部分242至少將多視圖電影流或全景電影流記錄到全景電影存儲部分240中。
[0088]顯示控制部分260從幀存儲器220A到220F中讀取成像單元20A到20F拍攝的電影幀，將電影幀顯示在操作/顯示單元40的屏幕上。
[0089]用戶接口部分250將成像單元20A到20F的操作菜單信息供應(yīng)給顯示控制部分260，使顯示控制部分260可以將操作菜單顯示在操作/顯示單元40的屏幕上。
[0090]觸摸面板控制部分270檢測用戶的手指在觸摸面板上的觸摸操作，將觸摸位置和其它信息供應(yīng)給用戶接口部分250。用戶接口部分250從觸摸面板控制部分270供應(yīng)的觸摸位置信息中識別用戶在操作菜單上選擇的操作的性質(zhì)，以便將操作命令發(fā)送給拍攝控制部分210。拍攝控制部分210根據(jù)用戶接口部分250供應(yīng)的操作命令控制成像單元20A到20F。
[0091][電影流切換和記錄控制]
[0092]接著將給出全景成像設(shè)備100的全景電影流生成器200管理的電影流切換和記錄控制的描述。
[0093]圖12例示了與全景電影流生成器200管理的電影流切換和記錄控制有關(guān)的配置。這里將給出顯示在圖11中的拍攝控制部分210和電影流多路復(fù)用部分230的不同配置和操作的描述。在圖12中省略了全景電影存儲部分240、顯示控制部分260、用戶接口部分250、和觸摸面板控制部分270，即，顯示在圖11中的組件。
[0094]在圖12中，虛線代表控制信號線，粗線代表圖像數(shù)據(jù)傳送信道。如圖11已經(jīng)所述，將成像單元20A到20F拍攝的電影幀分別存儲在幀存儲器220A到220F中。電影流多路復(fù)用部分230讀取存儲在幀存儲器220A到220F中和成像單元20A到20F拍攝的電影幀，多路復(fù)用電影幀并生成多視圖電流。
[0095]除了多路復(fù)用成像單元20A到20F拍攝的電影幀的功能之外，電影流多路復(fù)用部分230還具有運動檢測部分232、模式確定部分234、和控制信號生成部分236的功能。
[0096]運動檢測部分232檢測成像單元20A到20F拍攝的電影幀A到F的運動矢量，求出電影幀A到F的運動矢量的幅度之一?？商娲兀\動檢測部分232可以檢測感興趣的特定一個或多個成像單元拍攝的電影幀的一個或多個運動矢量，以便求出感興趣的一種或多種電影幀的運動矢量的幅度之和。
[0097]如果運動檢測部分232計算的運動矢量的幅度之和小于給定閾值，則模式確定部分234將成像單元20A到20F設(shè)置成“成像單元斷續(xù)工作模式”。在這種模式下，使成像單元20A到20F相隔一個幀地以斷續(xù)方式一個接一個地工作，因此每個幀切換到成像單元20A至IJ20F之一。然后，從相關(guān)幀存儲器中讀取從切換的成像單元輸出的捕獲圖像，此后將捕獲的圖像多路復(fù)用成電影流。
[0098]如果運動檢測部分232計算的運動矢量的幅度之和大于等于給定閾值，則模式確定部分234將成像單元20A到20F設(shè)置成“成像單元同時工作模式”。在這種模式下，使所有成像單元20A到20F同時工作，然后，從幀存儲器220A到220F中讀取從成像單元20A到20F輸出的捕獲圖像，此后將捕獲的圖像多路復(fù)用成電影流。
[0099]模式確定部分234將有關(guān)已經(jīng)設(shè)置的成像單元的工作模式的信息供應(yīng)給拍攝控制部分210和控制信號生成部分236。
[0100]拍攝控制部分210將與模式確定部分234設(shè)置的工作模式相適應(yīng)的控制信號供應(yīng)給成像單元20A到20F。
[0101]在“成像單元斷續(xù)工作模式”下，拍攝控制部分210將適合使成像單元20A到20F相隔一個幀地以斷續(xù)方式一個接一個地工作的控制信號供應(yīng)給成像單元20A到20F。這省卻了將電力供應(yīng)給未激活成像單元的需要，因此有助于降低功耗。
[0102]在“成像單元同時工作模式”下，拍攝控制部分210將適合使所有成像單元20A到20F同時工作的控制信號供應(yīng)給成像單元20A到20F。在這種情況下，所有成像單元20A到20F都是激活的，因此導(dǎo)致更高的功耗。但是，即使被攝物作劇烈運動，或在場景變化期間，合成的全景圖像也不會質(zhì)量下降。
[0103]控制信號生成部分236將與模式確定部分234設(shè)置的工作模式相適應(yīng)的控制信號供應(yīng)經(jīng)幀存儲器220A到220F。在“成像單元斷續(xù)工作模式”下，控制信號生成部分236將適合每個幀切換到幀存儲器220A到220F之一的控制信號供應(yīng)給幀存儲器220A到220F，允許從切換的幀存儲器中讀取而禁止從所有其它幀存儲器中讀取。在“成像單元同時工作模式”下，控制信號生成部分236將適合允許從所有幀存儲器220A到220F中讀取的控制信號供應(yīng)給幀存儲器220A到220F。
[0104]這里，甚至在“成像單元同時工作模式”下，如果適合圖像數(shù)據(jù)的接口的帶寬大于(成像單元的數(shù)量)X (每幀數(shù)據(jù)量)X (幀速率)，則當允許從所有幀存儲器220A到220F中讀取以及同時從幀存儲器220A到220F中讀取圖像數(shù)據(jù)時，不會引起什么問題。但是，如果只允許一個成像單元的數(shù)據(jù)量，則可以將圖像數(shù)據(jù)暫時記錄到幀存儲器220A到220F中，此后從一個到另一個地切換幀存儲器220A到220F，以便依次發(fā)送圖像數(shù)據(jù)。
[0105]進一步，如果因為成像單元20A到20F啟動慢,所以使成像單元20A到20F斷續(xù)工作會選成問題。則可以在相隔一個幀地以斷續(xù)方式一個接一個地激活幀存儲器220A到220F的同時，使成像單元20A到20F連續(xù)工作，因此每個幀切換到幀存儲器220A到220F之一，從切換的幀存儲器中讀取捕獲的圖像，并將這些圖像多路復(fù)用成電影流。這也有助于降低供應(yīng)給幀存儲器的功率。
[0106]進一步，模式確定部分234不僅可以依照捕獲圖像的運動量，而且可以依照全景成像設(shè)備100的電池剩余電荷或允許功耗在“成像單元斷續(xù)工作模式”與“成像單元同時工作模式”之間切換。例如，為了使全景成像設(shè)備100多工作幾小時，必須使單位時間的功耗最小。因此，將工作模式切換到“成像單元斷續(xù)工作模式”。另一方面，如果電池剩余電荷足夠，則可以讓全景成像設(shè)備100工作在“成像單元同時工作模式”下，當電池剩余電荷變低時，再切換到“成像單元斷續(xù)工作模式”?？商娲兀绻俺上裨O(shè)備100靠內(nèi)置可充電電池運行，則可以選擇“成像單元斷續(xù)工作模式”。另一方面，如果全景成像設(shè)備100靠AC適配器供應(yīng)的外部電力運行，則可以選擇“成像單元同時工作模式”。
[0107]電影流多路復(fù)用部分230在任一種工作模式下都多路復(fù)用從幀存儲器220A到220F輸出的圖像幀，因此生成多視圖電影流并將電影流供應(yīng)給主處理器280。
[0108]主處理器280對多視圖電影流進行拼接處理，因此生成全景電影流并將該電影流記錄到像閃速存儲器那樣的輔助存儲設(shè)備290中。全景拼接部分242和切換部分246的功能通過主處理器280中的軟件實現(xiàn)，以便進行全景拼接處理。這些功能可以通過硬件實現(xiàn)。
[0109]全景拼接部分242將包括在電影流多路復(fù)用部分230供應(yīng)的多視圖電影流中和由成像單元20A到20F拍攝的圖像幀拼接在一起，因此合成為全景圖像，生成含有全景圖像幀的時序數(shù)據(jù)的全景電影流，并輸出該電影流。如果依照電池剩余電荷或允許功耗限制功耗，全景拼接部分242不合成任何全景圖像地按原樣輸出多視圖電影流。
[0110]切換部分246依照功耗極限在從全景拼接部分242輸出的全景電影流和多視圖電影流之間切換，將電影流記錄到輔助存儲設(shè)備290中。例如，可以依照可用功率的幅度執(zhí)行如下三個控制步驟。
[0111](a)如果可用功率小，則全景拼接部分242不生成任何全景電影流地輸出多視圖電影流。在這種情況下，切換部分246斷開全景電影流的數(shù)據(jù)傳送信道243的開關(guān)247，接通多視圖電影流的數(shù)據(jù)傳送信道244的開關(guān)248，將多視圖電影流記錄到輔助存儲設(shè)備290中。因為不進行全景拼接處理，所以使功耗保持最小。
[0112](b)如果可用功率中等，則全景拼接部分242生成并輸出全景電影流，但不輸出任何多視圖電影流。在這種情況下，切換部分246接通全景電影流的數(shù)據(jù)傳送信道243的開關(guān)247，斷開多視圖電影流的數(shù)據(jù)傳送信道244的開關(guān)248，將全景電影流記錄到輔助存儲設(shè)備290中。因為全景拼接部分242被激活，所以比情況(a)消耗更多功率。但是，這種選項的有利之處在于實時生成全景電影。
[0113](c)如果可用功率大，則全景拼接部分242不僅生成并輸出全景電影流，而且輸出任何多視圖電影流。在這種情況下，切換部分246接通全景電影流的數(shù)據(jù)傳送信道243的開關(guān)247，并接通多視圖電影流的數(shù)據(jù)傳送信道244的開關(guān)248，將全景電影流和多視圖電影流都記錄到輔助存儲設(shè)備290中。生成并記錄多視圖電影流和全景電影流兩者。這導(dǎo)致高的處理量，記錄更多的數(shù)據(jù)，以及最高的功耗。但是，這種選項的有利之處在于通過事先不僅記錄全景電影流而且記錄多視圖電影流，可以找到更多應(yīng)用。
[0114]應(yīng)當注意到，盡管在上面的描述中成像單元20A到20F的幀速率相同，但如果在成像單元20A到20F捕獲的圖像之間運動量不同，則可以在成像單元20A到20F之間改變幀速率。在這種背景下，拍攝控制部分210和控制信號生成部分236根據(jù)幀速率之間的比值改變在成像單元20A到20F和幀存儲器220A到220F之間切換的比率。進行根據(jù)幀速率之間的比值指定權(quán)重的循環(huán)控制。
[0115]圖13是描述全景電影流生成器200管理的電影流切換和記錄控制的步驟的流程圖。
[0116]運動檢測部分232從成像單元20A到20F捕獲的圖像中檢測運動矢量(SlO)。運動檢測部分232求出所有成像單元20A到20F或感興趣的一個或多個成像單元捕獲的圖像的運動矢量的幅度之和(S12)。
[0117]模式確定部分234確定捕獲圖像的運動矢量的幅度之和是否大于等于閾值(S14)。如果捕獲圖像的運動矢量的幅度之和小于閾值(S14中的N)，則模式確定部分234選擇“成像單元斷續(xù)工作模式”(S20)。在“成像單元斷續(xù)工作模式”下，選擇以低幀速率記錄多視圖電影流或全景電影流的“低幀速率記錄模式”。
[0118]如果捕獲圖像的運動矢量的幅度之和大于等于閾值(S14中的Y)，則模式確定部分234確定全景成像設(shè)備100是否工作在功耗極限內(nèi)(S16)。例如，模式確定部分234在在延長時段內(nèi)拍攝的情況下，考慮到單位時間允許功耗和電池剩余電荷地確定全景成像設(shè)備100是否工作在功耗極限內(nèi)。如果全景成像設(shè)備100未工作在功耗極限內(nèi)(S16中的N)，則模式確定部分234將全景成像設(shè)備100設(shè)置成“成像單元斷續(xù)工作模式”。如果全景成像設(shè)備100工作在功耗極限內(nèi)(S16中的Y)，則模式確定部分234將全景成像設(shè)備100設(shè)置成“成像單元同時工作模式”(S18)。在“成像單元同時工作模式”下，選擇以高幀速率記錄多視圖電影流或全景電影流的“高幀速率記錄模式”。
[0119]拍攝控制部分210依照模式確定部分234設(shè)置的模式將成像單元20A到20F切換到同時或斷續(xù)工作模式，控制信號生成部分236依照模式確定部分234設(shè)置的模式將幀存儲器220A到220F切換到同時或斷續(xù)輸出模式(S22)。
[0120]全景電影流生成器200多路復(fù)用依照每種模式從幀存儲器220A到220F輸出的幀數(shù)據(jù)，生成多視圖電影流或全景電影流(S24)。
[0121]如果用戶停止拍攝(S26中的Y)，則終止電影流切換和記錄控制。如果用戶未停止拍攝(S26中的N)，則使控制返回到步驟S10，重復(fù)從步驟SlO開始向前的處理。
[0122]圖14(a)和14(b)是描述通過電影流切換和記錄控制生成的多視圖電影流的數(shù)據(jù)結(jié)構(gòu)的圖形。這里假設(shè)存在四個成像單元，以及每個成像單元的幀速率是30fps(幀每秒)。
[0123]圖14(a)例示了在“成像單元斷續(xù)工作模式”下生成的多視圖電影流。成像單元20A到20D相隔一個幀地以斷續(xù)方式一個接一個地工作，成像單元20A，20B，20C和20D分別捕獲的幀A，B，C和D以每個幀為間隔按這個次序被多路復(fù)用。成像單元20A到20D的每一個每四次斷續(xù)地工作一次。其結(jié)果是，成像單元20A到20D的每一個的有效幀速率是30fps/4 = 7.5fps。多路復(fù)用之后的多視圖電影流的傳送速率等于30fps/4X4 = 30fps。也就是說，生成低幀速率多視圖電影流。四個成像單元20A到20D斷續(xù)地工作。因此，在通過合成四個成像單元20A到20D捕獲的四個圖像獲得的全景圖像中，彼此相鄰的捕獲圖像是在不同時間捕獲的圖像。但是，如果運動不強烈，則將在不同時間捕獲的圖像拼接在一起獲得的全景圖像在質(zhì)量上不會下降太多。
[0124]圖14(b)例示了在“成像單元同時工作模式”下生成的多視圖電影流。使成像單元20A到20D同時工作，成像單元20A，20B, 20C和20D捕獲的幀A，B，C和D以每個幀為間隔被多路復(fù)用。其結(jié)果是，成像單元20A到20D的每一個的有效幀速率保持不變，仍然為30fpso多路復(fù)用之后的多視圖電影流的傳送速率等于30fpsX4 = 120fps。也就是說,生成高幀速率多視圖電影流。四個成像單元20A到20D同時工作。因此，在通過合成四個成像單元20A到20D捕獲的四個圖像獲得的全景圖像中，彼此相鄰的捕獲圖像是在相同時間捕獲的圖像。因此，即使被攝物作劇烈運動，通過將在相同時間捕獲的圖像拼接在一起獲得的全景圖像在質(zhì)量上保持無損。
[0125]下面將給出上述的全景電影流生成器200管理的電影流切換和記錄控制的操作優(yōu)點的描述。
[0126]一般說來，如果被攝物緩慢或小幅運動，則即使降低相機的幀速率，圖像的質(zhì)量也不會下降太多。相反，如果被攝物作劇烈運動，則降低相機的幀速率(在CMOS圖像傳感器的情況下，等于較長的快門速率)將由于運動模糊而導(dǎo)致質(zhì)量顯著下降。在多視圖相機的情況下，以最高幀速率記錄所有相機數(shù)據(jù)在任何場景中都提供最高圖像質(zhì)量。但是，這會導(dǎo)致更高的功耗和擾亂像SSD (固態(tài)驅(qū)動器)或HDD (硬盤驅(qū)動器)那樣的數(shù)據(jù)存儲設(shè)備的存儲容量。由于這個原因，優(yōu)選的是能夠依照場景適當控制相機的工作條件和記錄數(shù)據(jù)。
[0127]在按照本實施例的電影流切換和記錄控制中，可以依照場景的運動在成像單元20A到20F的工作模式之間和在幀存儲器220A到220F的輸出模式之間切換。如果場景大幅運動，則圖像的質(zhì)量會下降，除非保證每個成像單元的有關(guān)幀速率。因此，通過賦予圖像質(zhì)量以比功耗高的優(yōu)先級選擇“成像單元同時工作模式”。如果場景小幅運動，則降低每個成像單元的有效幀速率不會導(dǎo)致圖像質(zhì)量顯著下降。因此，將工作模式切換到“成像單元斷續(xù)工作模式”，以便使功耗保持最小。如上所述，依照場景的運動在工作模式之間切換使功耗保持最小，并且不用承受圖像質(zhì)量顯著下降地降低存儲容量。進一步，依照電池剩余電荷和允許功耗在工作模式之間切換為全景成像設(shè)備100的有效使用創(chuàng)造了條件。更進一步，在“成像單元斷續(xù)工作模式”下生成低幀速率圖像流，因此降低了存儲容量。
[0128][多視圖相機控制系統(tǒng)]
[0129]圖15是適用于有選擇地控制多視圖相機的控制系統(tǒng)的配置圖。例示在圖12中的拍攝控制部分210包括總線接口 /相機控制接口 300、通過屏蔽(mask)寄存器310、和控制數(shù)據(jù)通過邏輯320。拍攝控制部分210響應(yīng)來自主處理器280的指令，集體地和有選擇地控制多個成像單元20A到20F的任意個成像單元。例如，拍攝控制部分210可以集體地或有選擇地控制自動曝光(AE)、自動白平衡(AWB)、和曝光值(EV)。
[0130]總線接口 /相機控制接口 300是適用于連接主處理器280和成像單元20的給定標準的總線接口和適用于控制成像單元20A到20F的專用接口?？偩€接口 /相機控制接口300響應(yīng)來自主處理器280的指令，將控制信號供應(yīng)給控制數(shù)據(jù)通過邏輯320。
[0131]控制數(shù)據(jù)通過邏輯320是適用于將控制數(shù)據(jù)寫入成像單元20A到20F中或從成像單元20A到20F中讀取數(shù)據(jù)的電路。當寫入數(shù)據(jù)時，控制數(shù)據(jù)通過邏輯320可以通過單播、多播或廣播將寫入數(shù)據(jù)發(fā)送給成像單元20A到20F。當讀取數(shù)據(jù)時，控制數(shù)據(jù)通過邏輯320可以通過單播從成像單元20A到20F接收讀取數(shù)據(jù)。
[0132]通過屏蔽寄存器310是適用于控制控制數(shù)據(jù)通過邏輯320的電路的輸入和輸出操作的寄存器。通過屏蔽寄存器310是與成像單元20A到20F的數(shù)量相對應(yīng)的通過屏蔽寄存器。
[0133]圖16是描述顯示在圖15中的多視圖相機控制系統(tǒng)的功能配置的圖形。相機控制接口 302是顯示在圖15中的總線接口 /相機控制接口 300的例子，與主處理器280 —起構(gòu)成應(yīng)用處理器140。應(yīng)用處理器140通過，例如，片上系統(tǒng)(SoC)技術(shù)實現(xiàn)。
[0134]在顯示在圖16中的功能配置圖中，顯示在圖15中的控制數(shù)據(jù)通過邏輯320是使用像I2C或SPI那樣的總線接口連接相機控制接口 302和成像單元20A到20F的電路?？刂茢?shù)據(jù)通過邏輯320包括開關(guān)130A到130F和多路復(fù)用器132。
[0135]相機控制接口 302的數(shù)據(jù)發(fā)送器Tx經(jīng)由開關(guān)130A到130F與成像單元20A到20F連接。將主處理器280指定的控制數(shù)據(jù)有選擇地寫入成像單元20A到20F中?？刂茢?shù)據(jù)寫入通過寄存器110(下文簡稱為“寫入通過寄存器”是與成像單元20A到20F的數(shù)量相對應(yīng)的通過屏蔽寄存器。通過屏蔽寄存器110設(shè)置掩碼以便在分別與成像單元20A到20F相聯(lián)系的開關(guān)130A到130F的接通和斷開狀態(tài)之間切換。
[0136]例如，當寫入通過寄存器110的值是‘ 110000’時，分別與兩個成像單元20A和20B相聯(lián)系的開關(guān)130A和130B接通，而分別與其余四個成像單元20C到20F相聯(lián)系的開關(guān)130C到130F斷開。這使控制數(shù)據(jù)被有選擇地寫入成像單元20A和20B中。
[0137]成像單元20A到20F經(jīng)由具有多個輸入端和單個輸出端的多路復(fù)用器132與相機控制接口 301的數(shù)據(jù)接收器Rx連接。依照來自主處理器280的讀取指令，有選擇地從成像單元20A到20F中讀出數(shù)據(jù)。相機設(shè)置值讀取通過寄存器120 (下文簡稱為“讀取通過寄存器”)是與成像單元20A到20F的數(shù)量相對應(yīng)的通過選擇寄存器。讀取通過寄存器120設(shè)置掩碼以便選擇多路復(fù)用器132的多支輸入流之一。
[0138]例如，當讀取通過寄存器120的值是‘010000’時，從饋送到多路復(fù)用器132的來自六個成像單元20A到20F的輸入流當中選擇來自成像單元20B的輸入流。其結(jié)果是，從多路復(fù)用器132輸出來自成像單元20B的數(shù)據(jù)作為輸出流，供應(yīng)給相機控制接口 302的接收器Rx。
[0139]在顯示在圖16中的配置中，只有一個接口可用于主處理器280從或向成像單元20A到20F讀取或?qū)懭霐?shù)據(jù)。通過簡單地重寫寫入通過寄存器110和讀取通過寄存器120的通過掩碼，可以集體或有選擇地從或向成像單元20A到20F讀取或?qū)懭霐?shù)據(jù)。為成像單元20A到20F的每一個配備獨立接口導(dǎo)致較大的電路規(guī)模。但是，顯示在圖16中的配置只有一個接口，因此有助于減少電路的數(shù)量。進一步，通過簡單重寫寫入通過寄存器110，可以選擇要寫入的所希望成像單元以及同時將數(shù)據(jù)寫入所選成像單元中，因此加速寫入操作。
[0140]圖17(a)是描述顯示在圖16中的多視圖相機控制系統(tǒng)進行的寫入處理的流程圖。
[0141]主處理器280準備要寫入成像單元20A到20F中的控制數(shù)據(jù)(S30)?？刂茢?shù)據(jù)是，例如，與像曝光值那樣的拍攝條件有關(guān)和用戶通過用戶接口部分250指定的數(shù)據(jù)。
[0142]主處理器280確定要寫入的目標成像單元，并將指定要將控制數(shù)據(jù)寫入的成像單元的值寫入寫入通過寄存器110中。如果寫入通過寄存器110是與成像單元的數(shù)量相對應(yīng)的通過掩碼，則寫入通過寄存器110將通過掩碼設(shè)置成選擇要寫入的目標成像單元。通過寫入通過寄存器I1設(shè)置開關(guān)130A到130F的接通/斷開狀態(tài)。要求寫入通過寄存器110將通過掩碼設(shè)置成有選擇地將控制數(shù)據(jù)發(fā)送給要寫入的目標成像單元。
[0143]如果要求響應(yīng)寫入操作作出確認(ACK)，則主處理器280確定要讀取的目標成像單元，并將指定要從中讀取數(shù)據(jù)的成像單元的值寫入讀取通過寄存器120中(S34)。如果讀取通過寄存器120是與成像單元的數(shù)量相對應(yīng)的通過掩碼，則讀取通過寄存器120將通過掩碼設(shè)置成選擇要讀取的目標成像單元。在具有多個輸入端和單個輸出端的多路復(fù)用器132的多支輸入流當中，選擇讀取通過寄存器120指定的輸入流并加以輸出作為輸出流。要求讀取通過寄存器120將通過掩碼設(shè)置成有選擇地從要寫入的目標成像單元接收ACK。
[0144]這里，當寫入操作完成時，要寫入的每個目標成像單元返回ACK。通常，應(yīng)該從要寫入的所有成像單元接收ACK，并且應(yīng)該分別核實ACK的接收。這樣的處理導(dǎo)致較大的電路規(guī)模，需要與總線標準不同的過程。但是，在正常環(huán)境下寫入處理失敗的情況極其罕見。因此，作為核實來自所有目標成像單元的ACK的接收的可替代方式，只傳遞來自目標成像單元之一的ACK來核實ACK的接收。這也有助于電路更簡單。為了以更嚴格的方式核實是否已經(jīng)將數(shù)據(jù)適當?shù)貙懭胨谐上駟卧拿恳粋€中，唯一必須做的是分別為每個成像單元讀取寄存器值來核實ACK的接收。
[0145]相機控制接口 302經(jīng)由開關(guān)130A到130F從發(fā)送終端Tx將適合寫入控制數(shù)據(jù)的信號輸出到成像單元20A到20F(S36)。此時，依照寫入通過寄存器110設(shè)置的通過掩碼改變開關(guān)130A到130F的接通/斷開狀態(tài)，因此使控制數(shù)據(jù)只寫入選為目標成像單元的成像單元20中。
[0146]如果要求響應(yīng)寫入操作作出ACK，則相機控制接口 302經(jīng)由多路復(fù)用器132利用接收終端Rx從成像單元20A到20F接收ACK信號(S38)。此時，依照讀取通過寄存器120設(shè)置的通過掩碼核實來自選為要讀取的目標成像單元的成像單元的ACK。
[0147]應(yīng)該注意到，如果無需響應(yīng)寫入操作作出ACK，則可以省略步驟S34和S38。
[0148]圖17(b)是描述顯示在圖16中的多視圖相機控制系統(tǒng)進行的讀取處理的流程圖。
[0149]主處理器280確定要讀取的成像單元20的寄存器(S40)。
[0150]主處理器280確定要讀取的目標成像單元，并將指定要從中讀取數(shù)據(jù)的成像單元的值寫入寫入通過寄存器110中(S42)。如果寫入通過寄存器110是與成像單元的數(shù)量相對應(yīng)的通過掩碼，則通過寄存器110將通過掩碼設(shè)置成選擇要讀取的目標成像單元。通過寫入通過寄存器110設(shè)置開關(guān)130A到130F的接通/斷開狀態(tài)。要求寫入通過寄存器110將通過掩碼設(shè)置成有選擇地將讀取地址發(fā)送給要讀取的目標成像單元。
[0151]接著，主處理器280確定要讀取的目標成像單元，并將指定要從中讀取數(shù)據(jù)的成像單元的值寫入讀取通過寄存器120中(S44)。如果讀取通過寄存器120是與成像單元的數(shù)量相對應(yīng)的通過掩碼，則讀取通過寄存器120將通過掩碼設(shè)置成選擇要讀取的目標成像單元。在具有多個輸入端和單個輸出端的多路復(fù)用器132的多支輸入流當中，選擇讀取通過寄存器120指定的輸入流并加以輸出作為輸出流。要求讀取通過寄存器120將通過掩碼設(shè)置成有選擇地從要讀取的目標成像單元接收數(shù)據(jù)和ACK。
[0152]相機控制接口 302經(jīng)由開關(guān)130A到130F從發(fā)送終端Tx將成像單元讀取地址輸出到成像單元20A到20F(S46)。此時，依照寫入通過寄存器110設(shè)置的通過掩碼改變開關(guān)130A到130F的接通/斷開狀態(tài)，因此使讀取地址只發(fā)送給選為要讀取的目標成像單元的成像單元20。
[0153]相機控制接口 302經(jīng)由多路復(fù)用器132利用接收終端Rx從成像單元20A到20F接收有關(guān)指定地址的數(shù)據(jù)(S48)。此時，從選為要讀取的目標成像單元的成像單元接收數(shù)據(jù)，并依照讀取通過寄存器120設(shè)置的通過掩碼核實來自選為目標成像單元的成像單元的ACK。
[0154]圖18是描述實現(xiàn)顯示在圖16中的多視圖相機控制系統(tǒng)的例子的圖形。在顯示在圖18中的實現(xiàn)例子中，使用了與叫做I2C(內(nèi)部集成電路)的外圍設(shè)備通信的串行通信方案。這里將給出為了簡單起見使用四個成像單元(成像單元20A到20D)的情況的描述。
[0155]I2C接口 304配備在應(yīng)用處理器140的一側(cè)上，用作I2C通信主設(shè)備。成像單元20A到20D是I2C通信從設(shè)備。
[0156]I2C狀態(tài)監(jiān)視電路150是允許三態(tài)緩沖器170在接收狀態(tài)下接收的電路。其結(jié)果是，允許從多路復(fù)用器176接收數(shù)據(jù)。在寫入操作期間，阻止三態(tài)緩沖器170。
[0157]將從I2C接口 304輸出的SDATA供應(yīng)給分別與成像單元20A到20D相聯(lián)系的三態(tài)緩沖器172A到172D。依照寫入通過寄存器110的通過掩碼啟用與要寫入的目標成像單元相聯(lián)系的三態(tài)緩沖器，因此使STATA只發(fā)送給要寫入的目標成像單元。上拉電阻174是將三態(tài)緩沖器172A到172D的輸出信號調(diào)整成適當邏輯電平的電阻。從I2C接口 304輸出的SCLK是適用于使成像單元20A到20F同步的時鐘信號。
[0158]在具有多個輸入端和單個輸出端的多路復(fù)用器176的輸入端當中，多路復(fù)用來自依照讀取通過寄存器120的通過掩碼指定的輸入端的輸入值，并經(jīng)由三態(tài)緩沖器170供應(yīng)給 I2C 接口 304。
[0159]在圖18中，寫入通過寄存器110的通過掩碼是‘1100’。因此，在寫入操作期間將控制數(shù)據(jù)寫入成像單元20A和20B中。讀取通過寄存器120的通過掩碼是‘1000’。因此，在讀取操作期間從成像單元20A中讀取ACK。
[0160]圖19是描述實現(xiàn)顯示在圖16中的多視圖相機控制系統(tǒng)的另一個例子的圖形。在顯示在圖19中的實現(xiàn)例子中，使用連接包括計算機的設(shè)備的叫做SPI(串行外圍接口)的總線接口。這里，也將給出為了簡單起見使用四個成像單元(成像單元20A到20D)的情況的描述。
[0161]SPI接口 306配備在應(yīng)用處理器140的一側(cè)上，用作SPI通信主設(shè)備。成像單元20A到20D是SPI通信從設(shè)備。
[0162]從SPI接口 306輸出的CS#信號是芯片選擇信號，供應(yīng)給NAND電路180A到180D。寫入通過寄存器I1是適用于選擇要寫入的目標成像單元20A到20D的通過掩碼。將寄存器值供應(yīng)給分別與成像單元20A到20D相聯(lián)系的NAND電路180A到180D。在這個例子中，寫入通過寄存器110的通過掩碼是‘1100’。因此，將‘I’饋送到兩個NAND電路180A和180B中，將‘0’饋送到其余兩個NAND電路180C和180D中。將NAND電路180A到180D的輸出值CAM1_CS#到CAM4_CS#反相，并饋送到成像單元20A到20D中。其結(jié)果是，選擇了兩個成像單元20A和20B，使控制數(shù)據(jù)TxData從SPI接口 306的MOSI (主設(shè)備輸出從設(shè)備輸入端口)發(fā)送給成像單元20A和20B。
[0163]將來自SPI接口 306的CLK的SCLK信號供應(yīng)給成像單元20A到20F以便使這些成像單元同步。
[0164]來自多路復(fù)用器182的讀取數(shù)據(jù)RxData被SPI接口 306的MISO (主設(shè)備輸入從設(shè)備輸出端口)接收。讀取通過寄存器120是適用于選擇要讀取的目標成像單元20A到20D的通過掩碼。讀取通過寄存器120用于選擇具有多個輸入端和單個輸出端的多路復(fù)用器182的輸入信號。在這個例子中，讀取通過寄存器120的通過掩碼是‘1000’。在具有多個輸入端和單個輸出端的多路復(fù)用器182的多支輸入流當中，選擇來自成像單元20A的輸入流，并作為多路復(fù)用器182的輸出流輸出。
[0165]圖20 (a)和20 (b)是描述顯示在操作/顯示單元40上的操作屏幕的例子的圖形。將顯示在圖20 (a)中的全景成像設(shè)備100的六個成像單元20A到20F拍攝的圖像分別顯示在顯示在圖20(b)中的操作屏幕的區(qū)域A到F中。
[0166]當被選成參考相機時，操作屏幕的區(qū)域A到F每一個的框架表現(xiàn)為，例如，藍色。進一步，當將這些區(qū)域劃分成幾組時，每組的框架表現(xiàn)為不同顏色。參考相機的選擇被切換成接通或斷開。每次點擊都在選擇和去選之間切換。
[0167]電影記錄開始/停止按鈕70、靜止圖像拍攝按鈕72、自動曝光鎖定按鈕74、自動白平衡鎖定按鈕76、和擴展控制按鈕78與描述在圖10(b)中的那些相同。
[0168]當按下相機凍結(jié)按鈕75時，所選成像單元被凍結(jié)在當前捕獲圖像上。也就是說，成像單元仍然可操作以及在屏幕上保持與按下相機凍結(jié)按鈕75時相同的圖像。當再次按下相機凍結(jié)按鈕75時，相機解凍，因此重新開始通過所選成像單元拍攝。
[0169]當按下分組按鈕77時，分組從多個區(qū)域A到F任意選擇的幾個區(qū)域。換句話說，從成像單元20A到20F當中選擇和分組特定成像單元。要分組的所希望區(qū)域可以通過點擊那些區(qū)域或用操作屏幕上的手畫曲線圍住它們來選擇。
[0170]圖21是描述通過指定參考相機集體設(shè)置成像單元的情況的圖形。圖22例示了在那種情況下操作屏幕的例子。
[0171]如圖21所例示，將成像單元20A指定成參考相機，以便在其它成像單元20B到20F中集體設(shè)置像參考相機的曝光值那樣的拍攝參數(shù)。在拍攝室內(nèi)的情況下，例如，將前方的成像單元20A指定成參考相機，其它成像單元20B到20F著手利用與參考相機相同的曝光設(shè)置進行拍攝。
[0172]如圖22所例示，當與與選為參考相機的成像單元20A相聯(lián)系的區(qū)域A—起按下自動曝光(AE)鎖定按鈕74或自動白平衡(AWB)鎖定按鈕76時，使相同參數(shù)反映在其它成像單元20B到20F中。
[0173]將讀取通過寄存器120設(shè)置成將選為參考相機的成像單元20A指定成要讀取的目標成像單元的值。其結(jié)果是，從成像單元20A，即，參考相機中讀取像曝光值和白平衡值那樣的拍攝參數(shù)。然后，將寫入通過寄存器110設(shè)置成將除了選為參考相機的成像單元20A之外的其余成像單元20B到20F指定成要寫入的目標成像單元的值。其結(jié)果是，將從成像單元20A,即，參考相機中讀取的拍攝參數(shù)集體寫入其余成像單元20B到20F中。
[0174]更具體操作過程如下:
[0175](I)在操作屏幕上點擊前相機的區(qū)域A。其結(jié)果是，區(qū)域A的框架轉(zhuǎn)變?yōu)樗{色，以及成像單元20A用作參考相機。
[0176](2)按下自動白平衡鎖定按鈕76以便將所有成像單元20A到20F的白平衡鎖定成成像單元20A，即，參考相機的調(diào)整值。
[0177](3)按下自動曝光鎖定按鈕74以便將所有成像單元20A到20F的曝光值鎖定成成像單元20A，即，參考相機的調(diào)整值。
[0178](4)利用電影記錄開始/停止按鈕70或靜止圖像拍攝按鈕72拍攝。
[0179]圖23是描述通過窗口從室內(nèi)拍攝室外圖像的情況的圖形。圖24和25例示了那種情況下操作屏幕的例子。
[0180]如圖23所例示，當通過窗口 190拍攝室外圖像時，窗口側(cè)的成像單元20A，20B，和20E因室外拍攝而減小曝光。但是，其余成像單元20C和20D因室內(nèi)拍攝而有必要利用曝光設(shè)置拍攝。
[0181]如圖24所例示，用手畫曲線192將與窗口側(cè)的成像單元20A，20B,和20E相聯(lián)系的區(qū)域A，B和E圍住以便加以選擇。按下分組按鈕77將所選區(qū)域A，B和E分組。
[0182]接著，在屬于同組的區(qū)域A，B和E當中，如圖25所例示選擇區(qū)域B，以便將成像單元20B選為參考相機。其結(jié)果是，使與針對成像單元20B,即，參考相機相同的拍攝參數(shù)反映在屬于同組的其它成像單元20A和20E中。
[0183]將讀取通過寄存器120設(shè)置成將該組中選為參考相機的成像單元20B指定成要讀取的目標成像單元的值。其結(jié)果是，從成像單元20B，即，參考相機中讀取像曝光值和白平衡值那樣的拍攝參數(shù)。然后，將寫入通過寄存器110設(shè)置成將該組中除了選為參考相機的成像單元20B之外的其余成像單元20A和20E指定成要寫入的目標成像單元的值。其結(jié)果是，將從成像單元20B，即，參考相機中讀取的拍攝參數(shù)集體寫入其余成像單元20A和20E中。
[0184]更具體操作過程如下:
[0185](I)在操作屏幕上選擇與窗口側(cè)的成像單元20A，20B和20E相聯(lián)系的區(qū)域A，B和
E0
[0186](2)按下分組按鈕77以便將所選區(qū)域A，B和E分組。其結(jié)果是，區(qū)域A，B和E的框架轉(zhuǎn)變?yōu)榫G色，因此形成第一組。其余區(qū)域C，D和F形成第二組。
[0187](3)點擊區(qū)域B。其結(jié)果是，區(qū)域B的框架轉(zhuǎn)變?yōu)樗{色。與區(qū)域B相聯(lián)系的成像單元20B用作綠色第一組的參考相機。
[0188](4)點擊區(qū)域D。其結(jié)果是，區(qū)域D的框架轉(zhuǎn)變?yōu)樗{色。與區(qū)域D相聯(lián)系的成像單元20D用作第二組的參考相機。
[0189](5)當按下自動白平衡鎖定按鈕76時，將屬于第一組的成像單元20A，20B和20E的白平衡鎖定成成像單元20B，即，參考相機的調(diào)整值。進一步，將屬于第二組的成像單元20C，20D和20F的白平衡鎖定成成像單元20D，即，參考相機的調(diào)整值。
[0190](6)當按下自動曝光鎖定按鈕74時，將屬于第一組的成像單元20A，20B和20E的曝光值鎖定成成像單元20B，即，參考相機的調(diào)整值。進一步，將屬于第二組的成像單元20C，20D和20F的曝光值鎖定成成像單元20D，即，參考相機的調(diào)整值。
[0191](7)利用電影記錄開始/停止按鈕70或靜止圖像拍攝按鈕72拍攝。
[0192]圖26是描述凍結(jié)一些相機的情況的圖形。圖27例示了在那種情況下操作屏幕的例子。
[0193]如果某人194如圖26所例示在全景圖像拍攝期間到來，則凍結(jié)相機圖像，使某人194不出現(xiàn)在圖像中，暫時中止相機拍攝。在這個例子中，暫時中止成像單元20A和20B的拍攝，以便某人194不出現(xiàn)在捕獲的圖像中，凍結(jié)未示出某人194的圖像。
[0194]如圖27所例示，選擇要凍結(jié)的所希望區(qū)域A和B。接著，按下分組按鈕77以便將所選區(qū)域A和B分組。然后，將區(qū)域A或B選作參考相機，并按下相機凍結(jié)按鈕75。這使得可以暫時停止與屬于同組的區(qū)域A和B相聯(lián)系的成像單元20A和20B，以及凍結(jié)沒有人出現(xiàn)在其中的圖像。
[0195]更具體操作過程如下:
[0196](I)在操作屏幕上選擇要凍結(jié)的所希望區(qū)域A和B。
[0197](2)按下分組按鈕77以便將所選區(qū)域A和B分組。其結(jié)果是，區(qū)域A和B的框架轉(zhuǎn)變成綠色。
[0198](3)點擊區(qū)域A或B。其結(jié)果是，與所選區(qū)域相聯(lián)系的成像單元用作參考相機。但是，實際上，這具有與指定要凍結(jié)的一組相機相同的效果。
[0199](4)當沒有人出現(xiàn)在圖像中時，按下相機凍結(jié)按鈕75。其結(jié)果是，凍結(jié)了在步驟
(3)中指定的該組相機，因此使區(qū)域A和B凍結(jié)在示出沒有人在其中的圖像上。
[0200](5)從這里向前，利用未凍結(jié)的其余成像單元20C到20F拍攝。
[0201]如上所述，在按照本實施例的多視圖相機控制系統(tǒng)中，將寫入數(shù)據(jù)的屏蔽寄存器和讀取數(shù)據(jù)的屏蔽寄存器插在兩個接口之間，一個被主處理器用于訪問相機，另一個是相機模塊接口。這提供了集體的和快速的相機控制，因此有助于容易的和有效的相機控制。多視圖相機控制系統(tǒng)可以簡單地通過在現(xiàn)有接口之間插入寄存器來實現(xiàn)。這省卻了改變相機模塊或處理器接口的需要，因此使控制系統(tǒng)易于設(shè)計。
[0202][多步曝光拍攝]
[0203]圖28是適用于進行多步曝光拍攝的全景電影流生成器和功能配置圖。這里，示出了與多步曝光拍攝有關(guān)的組件，而為了方便起見未示出所有其它組件。顯示在圖28中的曝光設(shè)置部分400可以在參考圖11所述的拍攝控制部分210中實現(xiàn)。顯示在圖28中的HDR合成部分420可以在參考圖11所述的電影流多路復(fù)用部分230中實現(xiàn)。
[0204]曝光設(shè)置部分400在多個成像單元20A到20F的每一個中設(shè)置曝光值。更具體地說，曝光設(shè)置部分400在成像單元20A到20F的每一個中設(shè)置單獨參考曝光值，并進一步在其中設(shè)置相對曝光值。相對曝光值以參考曝光值為中心，通過增加或減小參考曝光值獲得。通過成像單元20A到20F的每一個的自動曝光(AE)機構(gòu)可以將成像單元20A到20F的每一個的單獨參考曝光值設(shè)置成最佳值。
[0205]曝光設(shè)置部分400可以使用參考圖15所述的多視圖相機控制系統(tǒng)集體地或有選擇地在成像單元20A到20F的每一個中設(shè)置曝光值。
[0206]將成像單元20A到20F利用可變曝光值拍攝的低動態(tài)范圍(LDR)捕獲圖像存儲在幀緩沖器430A到430F中。幀緩沖器430A到430F的每一個是具有存儲利用設(shè)置在成像單元20A到20F中的多個曝光值拍攝的圖像的存儲區(qū)的幀存儲器。
[0207]HDR合成部分420從幀緩沖器430A到430F中讀取成像單元20A到20F利用可變曝光值拍攝的低動態(tài)范圍捕獲圖像，通過拼接處理合成具有最佳曝光值的捕獲區(qū)域，并生成高動態(tài)范圍(HDR)全景圖像。應(yīng)當注意到，如果最終輸出格式是LDR全景圖像，則HDR合成部分420通過讓HDR合成圖像經(jīng)受色調(diào)映射處理，可以生成動態(tài)范圍受到壓縮的LDR全景圖像。
[0208]HDR合成部分420提取相鄰捕獲圖像之間的特征點，通過根據(jù)特征點將相鄰捕獲圖像拼接在一起合成全景圖像。應(yīng)用于圖像匹配的已知技術(shù)可以用于特征點提取處理。將HDR合成部分420生成的全景圖像存儲在全景圖像存儲部分410中。
[0209]圖29(a)和29 (b)是描述為了比較在多個成像單元中設(shè)置相同參考曝光值拍攝的捕獲圖像的圖形。
[0210]圖29(a)例示了利用以可變曝光值以參考曝光值為中心的方式以多個步長改變參考曝光值(在這種情況下為O)的成像單元20A支架拍攝獲得的圖像440A到446A。圖像442A是利用參考曝光值EV = O拍攝的圖像的例子。圖像443A，444A，445A和446A是通過將1，4，5和7加入?yún)⒖计毓庵礒V = O中分別拍攝的圖像的例子。另一方面，圖像441A和440A是通過從參考曝光值EV = O中減去4和7分別拍攝的圖像的例子。將I加入曝光值EV中使光量加倍，而從曝光值EV中減去I則使光量減半。
[0211]在圖29 (a)中，曝光值EV為_7的圖像440A具有“過濃陰影”，因此導(dǎo)致信息完全缺失。曝光值EV為7的圖像446A部分具有“過度加亮”。
[0212]圖29(b)例示了利用以可變曝光值以參考曝光值為中心的方式以多個步長改變與在圖29(a)的情況下相同的參考曝光值EV的其它成像單元20B支架拍攝獲得的圖像440B到446B。圖像442B是利用參考曝光值EV = O拍攝的圖像的例子。圖像443B，444B，445B和446B是通過將1，4，5和7加入?yún)⒖计毓庵礒V = O中分別拍攝的圖像的例子。另一方面，圖像441B和440B是通過從參考曝光值EV = O中減去4和7分別拍攝的圖像的例子。
[0213]曝光值EV分別為-7和-4的圖像440B和441B具有“過濃陰影”，因此導(dǎo)致信息完全缺失。曝光值EV為7的圖像446B部分具有“過度加亮”。
[0214]如上所述，在所有成像單元20A到20F中設(shè)置相同參考曝光值以及針對支架拍攝增加或減小參考曝光值導(dǎo)致在拍攝的圖像中存在“過濃陰影”或“過度加亮”，因此導(dǎo)致圖像的浪費。
[0215]對于多視圖相機，適當曝光值顯著地隨相機的視場而變。為了在所有方向都達到適當曝光范圍，以多個步長為拍攝改變曝光值的支架拍攝是有效的。但是，多視圖相機的的視場中的亮度的動態(tài)范圍顯著地隨相機角度而變。其結(jié)果是，對于支架拍攝，有必要在從最暗視場跨越到最亮視場的寬曝光范圍中以多個步長設(shè)置所有相機的曝光值，因此導(dǎo)致更多的圖像數(shù)據(jù)和更長的拍攝時間。進一步，對所有相機增加或減小相對于相同參考曝光值的曝光值取決于相機角度，導(dǎo)致具有“過濃陰影”或“過度加亮”的大量圖像，導(dǎo)致許多圖像的浪費。
[0216]由于這個原因，在按照本實施例的多步曝光拍攝中，在成像單元20A到20F的每一個中設(shè)置單獨參考曝光值，以及針對支架拍攝，通過增加或減小單獨參考曝光值，以多個步長改變成像單元20A到20F的每一個的曝光值。
[0217]圖30 (a)到30 (C)是描述通過曝光設(shè)置部分400設(shè)置在成像單元20A到20F的每一個中的參考曝光值、和以使相對曝光值以參考曝光值為中心的方式以預(yù)定個步長改變參考曝光值獲得的相對曝光值的圖形。圖30(a)例示了設(shè)置在成像單元20A中的參考曝光值EVa和通過以三個步長增加參考曝光值EVa和以三個步長減小參考曝光值EVa獲得的相對曝光值。圖30(b)例示了設(shè)置在成像單元20B中的參考曝光值EVb和通過以三個步長增加參考曝光值EVb和以三個步長減小參考曝光值EVb獲得的相對曝光值。圖30(c)例示了設(shè)置在成像單元20C中的參考曝光值EVc和通過以三個步長增加參考曝光值EVc和以三個步長減小參考曝光值EVc獲得的相對曝光值。
[0218]分別設(shè)置在成像單元20A，20B和20C中的參考曝光值EVa，EVb和EVc是一般不同的成像單元20A，20B和20C的視場中的最佳曝光值。這里，在分別設(shè)置在成像單元20A和20B中的參考曝光值EVa和EVb之間和在分別設(shè)置在成像單元20B和20C中的參考曝光值EVb和EVc之間存在兩個步長的差異。通過將3，2和I加入每一個與其相鄰值存在兩個步長的差異的參考曝光值EVa，EVb和EVc中和從其中減去1，2和3進行多步曝光拍攝。其結(jié)果是，對于三個成像單元20A，20B和20C，總共使用11個不同曝光值進行拍攝。
[0219]應(yīng)該優(yōu)先確定每個成像單元20的支架拍攝的步長的數(shù)量，以便具有相鄰拍攝方向的成像單元20的曝光范圍部分重疊。設(shè)計成這樣是為了在HDR合成期間在相鄰捕獲圖像之間實現(xiàn)曝光方面的關(guān)聯(lián)性。
[0220]成像單元20A, 20B和20C的每一個利用最佳參考曝光值和另外六個曝光值進行多步曝光拍攝，三個通過以三個步長增加參考曝光值獲得，其它三個通過以三個步長減小參考曝光值獲得。這防止了參考圖29(a)和29(b)所述的“過濃陰影”和“過度加亮”出面在通過成像單元20A，20B和20C拍攝的圖像中，因此消除了多步曝光拍攝中圖像的浪費。進一步，與如迄今所作所有成像單元20A，20B和20C進行的11-步多步曝光拍攝相比，成像單元20A，20B和20C只利用包括參考曝光值的從+3到-3的七個步長進行支架拍攝，因此有助于顯著縮短支架拍攝的時間。如上所述，本實施例對于成像單元20A到20F進行的支架拍攝，盡管只有少數(shù)的步長，但在HDR合成期間提供了明顯較大的動態(tài)范圍，因此允許無浪費的和有效的HDR全景圖像合成。
[0221]圖31是描述通過HDR合成部分420合成的全景圖像的圖形。顯示在圖31中的全景圖像通過將成像單元20A到20F為了合成利用多個曝光值拍攝的圖像的具有適當曝光值的捕獲區(qū)域拼接在一起獲得。例如，區(qū)域450是從對于成像單元20A的視場具有適當曝光值的由成像單元20A拍攝的捕獲圖像中提取的窗口外的場景。區(qū)域451是從對于成像單元20B的視場具有適當曝光值的由成像單元20B拍攝的捕獲圖像中提取的室內(nèi)場景。
[0222]圖32是描述按照本實施例進行多步曝光拍攝的步驟的流程圖。
[0223]為成像單元20A到20F選擇自動曝光(AE)和自動白平衡(AWB)以便著手利用成像單元20A到20F的每一個的最佳參考曝光值進行拍攝(S50)。
[0224]曝光設(shè)置部分400在成像單元20A到20F的每一個中設(shè)置以參考曝光值為中心的N個正和N個負相對曝光值(S52)。
[0225]使用成像單元20A到20F利用N個正和N個負相對曝光值進行支架拍攝(S54)。
[0226]HDR合成部分420將使用成像單元20A到20F通過支架拍攝獲得的捕獲圖像的適當曝光區(qū)域拼接在一起，因此合成為高動態(tài)范圍全景圖像(S56)。
[0227]在上面給出的描述中，通過以給定數(shù)量的步長增加和減小參考曝光值進行多步曝光拍攝。將成像單元20A到20F通過多步曝光拍攝拍攝的捕獲圖像的適當曝光區(qū)域拼接一起，因此合成為高動態(tài)范圍全景圖像。作為一個修改例，可以從利用設(shè)置在成像單元20A到20F的每一個中的單獨參考曝光值捕獲的圖像中合成偽高動態(tài)范圍全景圖像。下面將給出如何著手進行這種偽HDR合成的描述。
[0228]圖33 (a)到33 (c)是描述HDR合成部分420用于進行偽HDR合成的方法的圖形。
[0229]在偽HDR合成中，通過自動曝光控制和自動白平衡控制分別控制成像單元20A到20F的每一個，以便利用最佳曝光值拍攝單個圖像。HDR合成部分420通過匹配拍攝方向彼此相鄰的兩個捕獲圖像之間的相應(yīng)點合成HDR全景圖像。此時，我們可以假設(shè)匹配點的亮度和顏色是相同的。進一步，通過自動曝光設(shè)置在成像單元20A到20F中的曝光值是已知的。因此，不用將捕獲圖像的每個像素的亮度和顏色信息舍成八個位地進行HDR合成。
[0230]更具體地說，假設(shè)由于三個成像單元20A，20B和20C之間的最佳曝光值的差異，成像單元20A拍攝的圖像的八位亮度信息在顯示在圖33 (a)中的亮度范圍之內(nèi)，成像單元20B拍攝的圖像的八位亮度信息在顯示在圖33(b)中的亮度范圍之內(nèi)，以及成像單元20C拍攝的圖像的八位亮度信息在顯示在圖33(c)中的亮度范圍之內(nèi)。
[0231]也就是說，在32-位高動態(tài)范圍中，成像單元20B拍攝的圖像的亮度在比成像單元20A拍攝的圖像的亮度高3個位的范圍中。進一步，成像單元20C拍攝的圖像的亮度在比成像單元20B拍攝的圖像的亮度高6個位的范圍中。在這種情況下，成像單元20B拍攝的圖像的像素相對于成像單元20A拍攝的圖像的像素移動了 3個位。成像單元20C拍攝的圖像的像素相對于成像單元20A拍攝的圖像的像素移動了 9個位(3+6個位)。然后，在32-位范圍中相加像素值。其結(jié)果是，可以獲得大致17 (8+3+6)-位的高動態(tài)范圍像素值。
[0232]也可以通過依照成像單元20A到20F的每一個的最佳曝光值位移動色差信息，然后在32-位空間中相加像素值獲取聞動態(tài)范圍色差彳目息。
[0233][方位設(shè)置]
[0234]在上面給出的描述中，成像單元的拍攝方向未設(shè)置成特定方向。但是，如果將在前向的成像單元20A的拍攝方向設(shè)置成，例如，磁北，則拼接全景圖像的中心面朝北。下面將給出適用于設(shè)置全景圖像的方位的配置和為此進行的處理的描述。
[0235]圖34是能夠設(shè)置方位的全景電影流生成器200的功能配置圖。下面將給出與顯示在圖11中的全景電影流生成器200不同的配置和操作的描述。
[0236]全景成像設(shè)備100的多視圖成像部分10或主體部分30包含三軸磁強計252和三軸加速度傳感器254。進一步，還可以包含三軸陀螺儀傳感器。三軸磁強計252沿著三個軸檢測地面磁場矢量。三軸加速度傳感器254沿著三個軸檢測全景成像設(shè)備100的加速度矢量。
[0237]理論上，只要在全景成像設(shè)備100中包含三軸陀螺儀(角速度)傳感器、三軸加速度傳感器、和三軸磁強計的至少一種，就可以通過沿著三個軸檢測全景成像設(shè)備100的傾斜獲取姿勢信息。進一步，可以通過由三軸磁強計沿著三個軸檢測地面磁場矢量獲取方位信息。
[0238]將三軸磁強計252獲取的方位信息供應(yīng)給用戶接口部分250。將三軸磁強計252、三軸加速度傳感器254、和三軸陀螺儀傳感器(如果包含的話)的至少一種獲取的姿勢信息供應(yīng)給用戶接口部分250。
[0239]用戶接口部分250將在屏幕上顯示全景成像設(shè)備100的多視圖成像部分10拍攝的方位和全景成像設(shè)備100的姿勢的指令供應(yīng)給顯示控制部分260。顯示控制部分260以圖形形式將有關(guān)拍攝方位和姿勢的信息顯示在操作/顯示單元40上。進一步，用戶接口部分250使，例如，指令出現(xiàn)在屏幕上。該指令提示用戶調(diào)整多視圖成像部分10的方向，以便使成像單元之一的拍攝方向是磁北。
[0240]圖35 (a)和35 (b)和圖36 (a)和36 (b)是描述適用于將在前向的成像單元20A的拍攝方向設(shè)置成磁北的用戶界面的圖形。
[0241]圖35(a)是從該方位看過去的全景成像設(shè)備100的多視圖成像部分10的示意圖。適用于前向拍攝的成像單元20A處在操作/顯示單元40的對側(cè)上。在操作/顯示單元40上顯示引導(dǎo)，以提示用戶調(diào)整多視圖成像部分10的方向，以便將用作前相機的成像單元20A的拍攝方向設(shè)置成磁北。在圖35(a)中用箭頭指示三軸磁強計252測量的磁北。在成像單元20A的拍攝方向與磁北之間存在差異。
[0242]圖35(b)是描述出現(xiàn)在操作/顯示單元40上的屏幕的圖形。六個成像單元20A到20F拍攝的圖像通常分別顯示在如圖10 (b)所示的操作/顯示單元40的區(qū)域A到F中。但是，當選擇與成像單元20A，即，前相機相聯(lián)系的區(qū)域A時，如圖35 (b)所例示，只有成像單元20A拍攝的圖像大尺寸地顯示在操作/顯示單元40上。
[0243]在顯示成像單元20A拍攝的圖像的區(qū)域A (標號42)的下面，通過羅盤的圖標(標號44)顯示三軸磁強計252測量的磁北。進一步，消息“將前相機的取向調(diào)整到磁北”出現(xiàn)在其下面(標號46)。當用戶通過旋轉(zhuǎn)全景成像設(shè)備100的主體部分30改變多視圖成像部分10的取向時，成像單元20A的拍攝方向發(fā)生變化，因此改變了羅盤的磁北的取向。
[0244]用戶依照顯示的消息旋轉(zhuǎn)全景成像設(shè)備100的主體部分30，直到用標號44表示的羅盤的磁北指向正上方，因此改變了成像單元20A的取向。
[0245]圖36 (a)和36 (b)例示了成像單元20A，即，前相機的取向與三軸磁強計252測量的磁北對準時的狀態(tài)。如圖36(a)所例示，成像單元20A的取向與磁北對準。此時，羅盤的磁北指向正上方(標號44)，以及如圖36(b)所例示，出現(xiàn)消息“好極了 ！ ”(標號46)。
[0246]如上所述，可以讓用戶設(shè)置全景成像設(shè)備100的主體部分30的取向，以便將成像單元20A，即，前相機的拍攝方向設(shè)置成磁北。其結(jié)果是，使拼接全景圖像的中心與真北對準。通過將處在操作/顯示單元40后側(cè)的成像單元20A設(shè)置成前相機，以及將前相機的取向設(shè)置成磁北，使前相機的拍攝方向與全景圖像的中心的方向之間的對應(yīng)關(guān)系變得顯而易見。應(yīng)當注意到，全景成像設(shè)備100還包含三軸加速度傳感器254。這使得可以不使用水準儀地檢測多視圖成像部分10的傾斜，以便校正多視圖成像部分10以便在拼接處理期間是水平的。
[0247]在上面給出的描述中，將成像單元20A，即，前相機的拍攝方向設(shè)置成磁北。但是，可以將成像單元20A的拍攝方向設(shè)置成應(yīng)該希望與全景圖像的中心對準的任意角度。可替代地，可以將除了前相機之外的其它成像單元的拍攝方向設(shè)置成磁北或任意角度。
[0248]圖37 (a)和37 (b)和圖38 (a)和38 (b)是描述適用于將特定成像單元的拍攝方向設(shè)置成磁北的用戶界面的圖形。
[0249]假設(shè)三軸磁強計252測量的磁北處在在圖37(a)中用箭頭指示的方向上。這里，在成像單元20A到20F當中，成像單元20C處在與磁北最接近的方向上。
[0250]圖37 (b)例示了出現(xiàn)在操作/顯示單元40上的屏幕。成像單元20A到20F拍攝的圖像分別顯示在區(qū)域A到F中(標號42)。因為成像單元20C處在與磁北最接近的方向上，所以羅盤顯示在出現(xiàn)成像單元20C捕獲的圖像的區(qū)域C中，因此指示磁北的方向(標號44)。消息“將相機的取向調(diào)整到磁北”出現(xiàn)在區(qū)域A到F下面(標號46)。
[0251]用戶依照顯示的消息旋轉(zhuǎn)全景成像設(shè)備100的主體部分30，直到用標號44表示的羅盤的磁北指向正上方，因此改變了成像單元20C的取向。
[0252]圖38 (a)和38 (b)例示了成像單元20C的取向與三軸磁強計252測量的磁北對準時的狀態(tài)。如圖38(a)所例示，成像單元20C的取向與磁北對準。此時，羅盤的磁北指向正上方(標號44)，以及如圖38 (b)所例示，出現(xiàn)消息“好極了 ！ ”(標號46)。
[0253]如上所述，可以讓用戶設(shè)置全景成像設(shè)備100的主體部分30的取向，以便將特定成像單元的拍攝方向設(shè)置成磁北。取決于拍攝者的位置，可能難以將處在操作/顯示單元40的對側(cè)的成像單元20A的拍攝方向設(shè)置成磁北來拍攝。在這樣的情況下，唯一必要的是將除了前相機之外的任何一臺其它相機的拍攝方向設(shè)置成磁北。
[0254]因此，上面描述了本發(fā)明的實施例。本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，上面的實施例是例示性的，可以以各種方式修改這些組件和處理的組合，這樣的修改例也在本發(fā)明的范圍之內(nèi)。
[0255]上面給出了作為多視圖成像設(shè)備的一個例子，包括多視圖成像部分10和主體部分30的全景成像設(shè)備100的描述。多視圖成像部分10包括處在不同拍攝方向上的多個成像單元20A到20F。主體部分30包括操作/顯示單元40。但是,多視圖成像部分10的多個成像單元的至少一些可以處在相同方向上。尤其，如果多視圖成像部分10包括處在相同方向的至少兩個成像單元，以及如果這兩個成像單元的視點的位置不同，則可以拍攝具有視差的圖像。使用視差圖像可以求出深度。其結(jié)果是，可以生成三維圖像。如果視差圖像是全景圖像，則可以生成三維全景圖像。這樣的立體成像設(shè)備可以構(gòu)成多視圖成像設(shè)備的另一個例子，本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，上面實施例的各種特征組件和處理也可應(yīng)用于這樣的立體成像設(shè)備。
[0256]上述將整個天球全景圖像取作全景圖像的一個例子給出了本實施例的描述。但是，全景圖像無需是整個天球全景圖像。的確，全景圖像可以是合成拍攝方向不同的多個相機拍攝的多個圖像獲得的圖像。
[0257]應(yīng)該注意到，本說明書中的“全景圖像”不局限于狹義上的“全景圖像”，即，風景或肖像圖像、360°全顯圖像等，而是可以簡單地指跨越寬廣區(qū)域的圖像。進一步，已經(jīng)給出了在本實施例中生成像合成圖像那樣的全景圖像的例子的描述。但是，輸出的合成圖像無需是所謂的全景圖像。即使合成圖像是任意尺寸的普通圖像，也可應(yīng)用本發(fā)明。可替代地，輸出的合成圖像可以是由具有不同分辨率的分層圖像構(gòu)成的圖像。這樣的分層圖像可以這樣形成，當放大圖像的一個區(qū)域時，用較高分辨率的圖像取代放大區(qū)域。
[0258]標號列表
[0259]10 多視圖成像部分
[0260]12 相機外殼
[0261]14 緊固件
[0262]20A到20F成像單元
[0263]30 主體部分
[0264]40 操作/顯示單元
[0265]50 三腳架基座緊固孔
[0266]70 電影記錄開始/停止按鈕
[0267]74 靜止圖像拍攝按鈕
[0268]75 相機凍結(jié)按鈕
[0269]76 自動白平衡按鈕
[0270]77分組按鈕
[0271]78擴展控制按鈕
[0272]80三腳架
[0273]100全景成像設(shè)備
[0274]200全景電影流生成器
[0275]210拍攝控制部分
[0276]220A到220F幀存儲器
[0277]230電影流多路復(fù)用部分
[0278]232運動檢測部分
[0279]234模式確定部分
[0280]236控制信號生成部分
[0281]240全景電影存儲部分
[0282]242全景拼接部分
[0283]246切換部分
[0284]250用戶接口部分
[0285]252三軸磁強計
[0286]254三軸加速度傳感器
[0287]260顯示控制部分
[0288]270觸摸面板控制部分
[0289]280主處理器
[0290]290輔助存儲設(shè)備
[0291]300總線接口 /相機控制接口
[0292]310通過屏蔽寄存器
[0293]320控制數(shù)據(jù)通過邏輯
[0294]400曝光設(shè)置部分
[0295]410全景圖像存儲部分
[0296]420HDR合成部分
[0297]430A到430F幀緩沖器
[0298]工業(yè)可應(yīng)用性
[0299]本發(fā)明可應(yīng)用于適合捕獲合成圖像的技術(shù)。
【權(quán)利要求】
1.一種圖像捕獲設(shè)備，包含: 多個成像單元； 適用于連接該多個成像單元和處理器的接口部分； 適用于在該接口部分與該多個成像單元之間交換數(shù)據(jù)的邏輯電路； 寫入寄存器，用于在該多個成像單元當中指定要選擇的一個或多個成像單元，以便有選擇地將寫入數(shù)據(jù)供應(yīng)給該一個或多個成像單元；以及 讀取寄存器，用于在該多個成像單元當中指定要選擇的單個成像單元，以便有選擇地從該單個成像單元接收讀取數(shù)據(jù)， 其中通過該寫入寄存器和該讀取寄存器在輸入和輸出操作之間切換該邏輯電路。
2.如權(quán)利要求1所述的圖像捕獲設(shè)備， 其中該寫入寄存器和該讀取寄存器的每一個是與多個成像單元的數(shù)量相對應(yīng)的屏蔽寄存器，以及 將有效值設(shè)置在該屏蔽寄存器的每個相應(yīng)位中，以便指定要選擇的一個或多個成像單J Li ο
3.如權(quán)利要求2所述的圖像捕獲設(shè)備， 其中該邏輯電路包括 多個開關(guān)，每一個適用于在功能上接通或斷開供應(yīng)給該多個成像單元的每一個的寫入數(shù)據(jù)的信道；以及 多路復(fù)用器，適用于在從該多個成像單元接收的讀取數(shù)據(jù)的信道中，從來自該多個成像單元的多支輸入流當中選擇一支輸入流作為輸出流，以及 該寫入寄存器是在該多個開關(guān)的接通和斷開狀態(tài)之間切換的屏蔽寄存器，該讀取寄存器是從到該多路復(fù)用器的多支輸入流當中選擇一支輸入流的屏蔽寄存器。
4.如權(quán)利要求1到3的任何一項所述的圖像捕獲設(shè)備， 其中，當選擇特定成像單元作為設(shè)置拍攝參數(shù)的參考時，將該讀取寄存器設(shè)置成將特定成像單元指定成要選擇的成像單元、以便從特定成像單元中讀取拍攝參數(shù)的值，并且將該寫入寄存器設(shè)置成將除了特定成像單元之外的其余成像單元指定成要選擇的成像單元、以便將從特定成像單元中讀取的拍攝參數(shù)寫入其余成像單元中的值。
5.如權(quán)利要求1到3的任何一項所述的圖像捕獲設(shè)備， 其中，當從多個成像單元當中選擇一個或多個成像單元作為一組時，將該讀取寄存器設(shè)置成將該組中的特定成像單元指定成要選擇的成像單元、以便從該組中的特定成像單元中讀取拍攝參數(shù)的值，并且將該寫入寄存器設(shè)置成將該組中除了特定成像單元之外的其余成像單元指定成要選擇的成像單元、以便將從特定成像單元中讀取的拍攝參數(shù)寫入其余成像單元中的值。
6.一種圖像捕獲方法，包含: 在顯示多個成像單元捕獲的圖像的操作屏幕上選擇特定成像單元作為用于設(shè)置拍攝參數(shù)的參考相機的步驟； 從該特定成像單元中讀取拍攝參數(shù)的步驟； 將從該特定成像單元讀取的拍攝參數(shù)集體寫入除了該特定成像單元之外的其余成像單元中的步驟；以及 在設(shè)置的拍攝參數(shù)下使用多個成像單元進行成像的步驟。
7.如權(quán)利要求6所述的圖像捕獲方法，進一步包含: 從多個成像單元當中選擇一個或多個成像單元作為一組的步驟， 其中該選擇步驟從該組中的成像單元中選擇特定成像單元作為用于設(shè)置拍攝參數(shù)的參考相機， 該讀取步驟從該組中的特定成像單元中讀取拍攝參數(shù)，以及 該寫入步驟將從該組中的特定成像單元中讀取的拍攝參數(shù)寫入該組中除了特定成像單元之外的其余成像單元中。
8.一種存儲程序的計算機可讀記錄介質(zhì)，該程序使計算機執(zhí)行: 在顯示多個成像單元捕獲的圖像的操作屏幕上選擇特定成像單元作為用于設(shè)置拍攝參數(shù)的參考相機的步驟； 從該特定成像單元中讀取拍攝參數(shù)的步驟； 將從該特定成像單元讀取的拍攝參數(shù)集體寫入除了該特定成像單元之外的其余成像單元中的步驟；以及 在設(shè)置的拍攝參數(shù)下使用多個成像單元進行成像的步驟。
【文檔編號】H04N5/225GK104365081SQ201280073717
【公開日】2015年2月18日 申請日期:2012年6月11日 優(yōu)先權(quán)日:2012年6月11日
【發(fā)明者】平田真一, 大澤洋, 古村京子 申請人:索尼電腦娛樂公司