專利名稱：用以產(chǎn)生全景影像的多重鏡頭相機(jī)系統(tǒng)的影像拾取裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種影像拾取裝置。更明確地說，本發(fā)明涉及一種用以產(chǎn)生全景影像的多重鏡頭相機(jī)系統(tǒng)的影像拾取裝置。該影像拾取裝置可定位多重相機(jī)系統(tǒng)中的多個(gè)鏡頭，以便將簡(jiǎn)單的拼接運(yùn)算法實(shí)施于專用集成電路(ASIC，Application Specific IntegratedCircuit)解決方案中。
背景技術(shù)：
全景影像的產(chǎn)生通常需要多個(gè)相機(jī)同時(shí)拍攝然后再使用影像處理裝置來合成影像?；蛘?，也可以使用單一相機(jī)結(jié)合搖攝(panning)馬達(dá)來執(zhí)行多次拍攝并將每次所得的影像進(jìn)行拼接從而形成靜態(tài)的全景影像。例如，日本專利第11-008845號(hào)及第11-018003號(hào)中所公開的全景影像拾取裝置是采用搖攝馬達(dá)來捕捉廣角影像。然而，搖攝馬達(dá)增加了相機(jī)系統(tǒng)的成本及尺寸。因此，希望能以更簡(jiǎn)單的機(jī)構(gòu)及更簡(jiǎn)單的拼接運(yùn)算法來產(chǎn)生全景視頻。

發(fā)明內(nèi)容
本發(fā)明的影像拾取裝置是將所有鏡頭的視角交叉點(diǎn)對(duì)準(zhǔn)，從而提供一種具有固定拼接點(diǎn)的捕獲影像系統(tǒng)，其中能夠以低成本的ASIC解決方案實(shí)施簡(jiǎn)單的拼接運(yùn)算法來產(chǎn)生全景視頻。
為達(dá)成上述目的，本發(fā)明提供一種多重鏡頭相機(jī)系統(tǒng)的影像拾取裝置，包含N個(gè)鏡頭，其中每個(gè)鏡頭的水平視角分別為HFOVi(i＝1，2，...，N)；以及定位機(jī)構(gòu)，其中該定位機(jī)構(gòu)將各鏡頭在水平方向上旋轉(zhuǎn)θi度(0＜θi＜HFOVi，i＝1，2，...，N-1)并定位于另一鏡頭的上方，而且該定位機(jī)構(gòu)將各鏡頭的視角交叉點(diǎn)在垂直方向上對(duì)齊。
根據(jù)本發(fā)明的一個(gè)方案，上述定位機(jī)構(gòu)將各鏡頭在垂直方向上傾斜i度(0＜i＜VFOVi，i＝1，2，...，N)。
根據(jù)本發(fā)明的另一方案，上述θ1＝θ2＝θ3＝...θN-1。
根據(jù)本發(fā)明的又一方案，上述N個(gè)鏡頭所達(dá)成的總水平視角等于Σi=1NHFOVi-Σi=1N(HFOVi+1-θi).]]>


圖1是根據(jù)本發(fā)明的影像拾取裝置的N個(gè)鏡頭的示意圖。
圖2是鏡頭旋轉(zhuǎn)角度及水平視角(HFOV)的示意圖。
圖3是表示鏡頭的視角交叉點(diǎn)的圖形。
圖4是一圖形，其表示由視角交叉點(diǎn)的不對(duì)準(zhǔn)(misalignment)所造成的水平視差。
圖5(a)及圖5(b)是分別表示在不對(duì)準(zhǔn)的情況下近處物體與遠(yuǎn)處物體的影像重疊比例的改變的圖。
圖6是一圖形，其表示鏡頭的視角交叉點(diǎn)對(duì)準(zhǔn)的情況。
圖7是一圖形，其表示未在垂直方向上傾斜鏡頭時(shí)的影像偏移。
圖8是一圖形，其表示通過在垂直方向上傾斜鏡頭而對(duì)準(zhǔn)的影像。
圖9是表示根據(jù)本發(fā)明的多重鏡頭相機(jī)系統(tǒng)的框圖。
主要元件符號(hào)說明110 鏡頭部分110A、110B、110C 鏡頭120A、120B、120C 軟排線130 影像處理邏輯區(qū)塊131 多重鏡頭影像信號(hào)處理器132 拼接邏輯133 影像信號(hào)處理器134 視頻編碼器135 MPEG編碼器136 網(wǎng)絡(luò)界面具體實(shí)施方式
圖1以2、3及N個(gè)鏡頭為例，表示根據(jù)本發(fā)明的多重鏡頭相機(jī)系統(tǒng)的影像拾取裝置。此鏡頭配置是通過根據(jù)本發(fā)明的定位機(jī)構(gòu)而達(dá)成。此定位機(jī)構(gòu)可以是視頻電話系統(tǒng)的一部分，用以產(chǎn)生超過單一鏡頭的角度限制的廣角影像。根據(jù)本發(fā)明的影像拾取裝置配合一種實(shí)施了簡(jiǎn)單拼接運(yùn)算法的ASIC，從而能夠提供一種低成本、小尺寸及超廣角的相機(jī)系統(tǒng)。
以下，將參考圖2至圖8來簡(jiǎn)單地描述本發(fā)明的原理。
本發(fā)明的影像拾取裝置包含N個(gè)鏡頭及定位機(jī)構(gòu)。該定位機(jī)構(gòu)將各鏡頭在水平方向上旋轉(zhuǎn)θi度(0＜θi＜HFOVi，i＝1，2，...，N-1)并定位于另一鏡頭的上方。
圖2是鏡頭旋轉(zhuǎn)角度及水平視角(HFOV)的示意圖。假設(shè)相機(jī)系統(tǒng)中的N個(gè)鏡頭(i＝1，2，3，...，N)分別具有HFOVi的水平視角且各鏡頭旋轉(zhuǎn)角為θi(i＝1，2，3，...，N-1)，則系統(tǒng)的總水平視角HFOVt等于Σi=1NHFOVi-Σi=1N(HFOVi+1-θi)]]>。假設(shè)各鏡頭的HFOVi均為HFOV而各旋轉(zhuǎn)角θi均為θ，則系統(tǒng)的總HFOVt等于HFOV*N-(HFOV-θ)*(N-1)。舉例而言，當(dāng)N＝2(即共有兩個(gè)鏡頭)、HFOV1＝HFOV2＝60°、θ1＝30°時(shí)，總HFOVt等于90°；而當(dāng)N＝11(即共有11個(gè)鏡頭)、HFOVi＝60°(i＝1，2，3，...，11)、θi＝30°(i＝1，2，3，...，10)時(shí)，總HFOVt等于360°。
本發(fā)明的重要性在于捕捉的影像可用一種簡(jiǎn)單的拼接運(yùn)算法產(chǎn)生全景圖，其運(yùn)算法可以用低成本的ASIC實(shí)施。由于此系統(tǒng)中各鏡頭的視角交叉點(diǎn)被對(duì)準(zhǔn)，故不同距離的物體的拼接點(diǎn)維持恒定。此外，相機(jī)系統(tǒng)的各鏡頭間的旋轉(zhuǎn)角可被固定，故可在相機(jī)制造時(shí)的校準(zhǔn)(calibration)過程中計(jì)算出拼接點(diǎn)。因此，ASIC無須由于物體的距離改變而對(duì)每一畫面都動(dòng)態(tài)地計(jì)算拼接點(diǎn)。因此可顯著地減少拼接所需的計(jì)算量從而降低ASIC的成本。
在以下描述中，將解釋拼接點(diǎn)與視角交叉點(diǎn)對(duì)準(zhǔn)之間的關(guān)系。
圖3表示單一鏡頭的視角交叉點(diǎn)。圖4描述由于視角交叉點(diǎn)的不對(duì)準(zhǔn)所造成的拼接問題。在圖中，stpn代表近處物體的拼接點(diǎn)；stpf代表遠(yuǎn)處物體的拼接點(diǎn)；Dn代表視角交叉點(diǎn)與近處物體之間的距離；Df代表視角交叉點(diǎn)與遠(yuǎn)處物體之間的距離；Dth代表單一鏡頭的視角交叉點(diǎn)與二個(gè)鏡頭間FOV交會(huì)點(diǎn)的距離；Wn代表近處物體的水平視角寬度；Wf代表遠(yuǎn)處物體的水平視角寬度；α代表重疊區(qū)邊界與拼接點(diǎn)之間的角度；以及HFOV代表水平視角。如圖4所示，在不對(duì)準(zhǔn)的情況下，在距離Dth之內(nèi)并無影像重疊。假設(shè)令影像重疊的中心為拼接點(diǎn)，則當(dāng)相機(jī)與物體間的距離改變時(shí)拼接點(diǎn)也隨之偏移。
圖5(a)及圖5(b)分別表示在不對(duì)準(zhǔn)的情況下近處物體與遠(yuǎn)處物體的影像重疊比例的改變。由兩圖的比較可看出，圖5(a)中所示的近處物體的影像重疊部分(斜線部分)明顯小于圖5(b)中所示的遠(yuǎn)處物體的影像重疊部分(斜線部分)。
拼接點(diǎn)改變可由如下的運(yùn)算式求得對(duì)于近處物體stpn=2Dn*tan(HFOVi2)-(Dn-Dth)*tanα]]>Wn=2Dn*tan(HFOVi2)]]>近處物體拼接點(diǎn)在影像內(nèi)的百分比為stpnWn=2Dn*tan(HFOVi2)-(Dn-Dth)*tanα2Dn*tan(HFOVi2)]]>對(duì)于遠(yuǎn)處的物體
stpf=2Df*tan(HFOVi2)-(Df-Dth)*tanα]]>Wf=2Df*tan(HFOVi2)]]>遠(yuǎn)處物體拼接點(diǎn)在影像內(nèi)的百分比為stpfWf=2Df*tan(HFOVI2)-(Df-Dth)*tanα2Df*tan(HFOVi2)]]>因此， 圖6表示鏡頭的視角交叉點(diǎn)被對(duì)準(zhǔn)的情況。在此情況下，不管物體距離怎樣、拼接點(diǎn)均保持相同。此情況可在以下的運(yùn)算式中被解釋對(duì)于近處物體stpn=2Dn*tan(HFOVi2)-Dn*tanα]]>Wn=2Dn*tan(HFOVi2)]]>近處物體拼接點(diǎn)在影像內(nèi)的百分比為stpnWn=2Dn*tan(HFOVi2)-Dn*tanα2Dn*tan(HFOVi2)=2tan(HFOVi2)-tanα2tan(HFOVi2)]]>
對(duì)于遠(yuǎn)處的物體stpf=2Df*tan(HFOVi2)-Df*tanα]]>Wf=2Df*tan(HFOVi2)]]>遠(yuǎn)處物體拼接點(diǎn)在影像內(nèi)的百分比為stpfWf=2Df*tan(HFOVi2)-Df*tanα2Df*tan(HFOVi2)=2tan(HFOVi2)-tanα2tan(HFOVi2)]]>因此，stpnWn=stpfWf]]>此外，若有視角的垂直位移，則由各鏡頭所捕捉的影像會(huì)有所偏移。圖7解釋由于視角的垂直位移所造成的影像不重合(non-coinciding)。不重合的部分需被修剪(cropped)才可形成最終的全景影像。N越大時(shí)，就有越多的部分被修剪。為了解決此問題，本發(fā)明的定位機(jī)構(gòu)在垂直方向上傾斜各鏡頭i度(0＜i＜VFOVi，i＝1，2，...，N)。圖8解釋在垂直方向上傾斜各鏡頭而獲得的結(jié)果。注意在傾斜鏡頭時(shí)視角交叉點(diǎn)仍維持被對(duì)齊。
因此，本發(fā)明的影像拾取裝置能夠提供具有恒定拼接點(diǎn)的影像，因而簡(jiǎn)化了拼接運(yùn)算法的復(fù)雜度。
接下來，將參考圖9的框圖來描述根據(jù)本發(fā)明的多重鏡頭相機(jī)系統(tǒng)的一實(shí)施例。為使本發(fā)明的說明書更簡(jiǎn)潔且清楚，以下描述主要說明多重鏡頭相機(jī)系統(tǒng)的鏡頭部分以及相關(guān)的影像處理程序，而省略了一般相機(jī)系統(tǒng)的其他部分的詳細(xì)說明。
如圖9所示，鏡頭部分110包含三個(gè)鏡頭110A、110B及110C，其中鏡頭110B配置于鏡頭110A的上方且在水平方向上逆時(shí)針偏轉(zhuǎn)角度θ(未標(biāo)示于圖形中)；而鏡頭110C則配置于鏡頭110B的上方且在水平方向上逆時(shí)針再偏轉(zhuǎn)相同角度θ。由鏡頭110A、110B及110C所捕捉的影像信號(hào)分別透過軟排線(FFC，F(xiàn)lexible Flat Cable)120A、120B及120C而被傳送入影像處理邏輯區(qū)塊130以進(jìn)一步執(zhí)行信號(hào)處理。影像處理邏輯區(qū)塊130包含多重鏡頭影像信號(hào)處理器131、拼接邏輯132、影像信號(hào)處理器133、視頻編碼器134、MPEG編碼器135及網(wǎng)絡(luò)界面136。
首先，多重鏡頭影像信號(hào)處理器131將從鏡頭110A、110B及110C傳送來的影像信號(hào)進(jìn)行初步處理，其主要工作在于減少各鏡頭所捕捉的影像間的差異。經(jīng)初步處理后的影像信號(hào)被分別傳送至拼接邏輯132。拼接邏輯132便對(duì)各影像進(jìn)行數(shù)學(xué)轉(zhuǎn)換及合并，從而將各影像無縫地合成為單一影像。該單一影像被傳送至影像信號(hào)處理器133以進(jìn)行傳統(tǒng)的影像處理。經(jīng)影像信號(hào)處理器133處理過的影像可由視頻編碼器134所編碼并顯示在任意的顯示裝置上?；蛘撸?jīng)影像信號(hào)處理器133處理過的影像也可以由MPEG編碼器135壓縮以便存儲(chǔ)于任意的存儲(chǔ)裝置中。最后，經(jīng)MPEG編碼器135所壓縮的影像可通過網(wǎng)絡(luò)界面136而被傳送至網(wǎng)際網(wǎng)絡(luò)。
拼接運(yùn)算法是產(chǎn)生全景影像時(shí)損耗最多計(jì)算量的部分。對(duì)于高幀頻(frame rate)的視頻(例如，30fps)，一種低成本的ASIC解決方案并不足以達(dá)到每1/30秒更新拼接點(diǎn)的性能。本發(fā)明公開了一種簡(jiǎn)單且可行的機(jī)構(gòu)，使多個(gè)鏡頭捕捉具有恒定拼接點(diǎn)的影像，從而提供一種低成本、超廣角且小尺寸的相機(jī)系統(tǒng)。
權(quán)利要求
1. 一種多重鏡頭相機(jī)系統(tǒng)的影像拾取裝置，包含N個(gè)鏡頭，其中每個(gè)鏡頭的水平視角分別為HFOVi(i＝1，2，...，N)；以及定位機(jī)構(gòu)，其中該定位機(jī)構(gòu)將各鏡頭在水平方向上旋轉(zhuǎn)θi度(0＜θi＜HFOVi，i＝1，2，...，N-1)并定位于另一鏡頭的上方，而且該定位機(jī)構(gòu)將各鏡頭的視角交叉點(diǎn)在垂直方向上對(duì)齊。
2.如權(quán)利要求1所述的影像拾取裝置，其中該定位機(jī)構(gòu)將各鏡頭在垂直方向上傾斜i度(0＜i＜VFOVi，i＝1，2，...，N)。
3.如權(quán)利要求1所述的影像拾取裝置，其中θ1＝θ2＝θ3＝...＝θN-1。
4.如權(quán)利要求1所述的影像拾取裝置，其中該N個(gè)鏡頭所達(dá)成的總水平視角等于Σi=1NHFOVi-Σi=1N(HFOVi+1-θi).]]>
全文摘要
本發(fā)明的目的在于簡(jiǎn)化產(chǎn)生水平全景影像的拼接(stitching)運(yùn)算法。本發(fā)明的影像拾取裝置包含多個(gè)鏡頭及定位機(jī)構(gòu)。該定位機(jī)構(gòu)將各鏡頭的視角(FOV，F(xiàn)ield Of View)交叉點(diǎn)在垂直方向上對(duì)準(zhǔn)。因此，水平視差(parallax)不會(huì)存在于相機(jī)系統(tǒng)所拾取的影像中，而且不同距離的物體的拼接點(diǎn)保持為恒定。
文檔編號(hào)G03B37/00GK1979334SQ20051012852
公開日2007年6月13日 申請(qǐng)日期2005年11月30日 優(yōu)先權(quán)日2005年11月30日
發(fā)明者潘積桂, 光下辰己, 林旭婷, 郭恕銘 申請(qǐng)人:臺(tái)灣新力國(guó)際股份有限公司