本發(fā)明涉及包含多相機陣列的成像系統(tǒng)和方法。明確地說，本發(fā)明涉及啟用移動裝置的低輪廓成像系統(tǒng)同時維持或改進圖像質(zhì)量的系統(tǒng)和方法。

背景技術：

例如移動電話和平板計算裝置等許多移動裝置包含可由用戶操作以捕獲靜態(tài)和/或視頻圖像的相機。因為移動裝置通常設計成相對較小，所以將相機或成像系統(tǒng)設計成盡可能薄的可能是重要的，以便維持低輪廓移動裝置。折疊式光學圖像傳感器陣列(“陣列相機”)允許創(chuàng)建低輪廓圖像捕獲裝置，而不縮短焦距或減小圖像在傳感器陣列的視野內(nèi)的分辨率。通過使用主和次表面朝向陣列中的每一傳感器再引導光，并且通過定位用以將入射光聚焦于主表面與次表面之間的透鏡組合件，傳感器陣列可定位于垂直于透鏡組合件的平坦襯底上。較長的焦距使得有可能實施例如光學變焦等特征，且并入有需要比通常由傳統(tǒng)移動相機獲得的空間更多的空間的更復雜光學器件，例如添加更多光學元件。

一些陣列相機使用中心鏡或棱鏡，其具有多個小面，以將包括目標圖像的入射光分裂成多個部分來供所述陣列中的傳感器捕獲，其中每一小面將來自所述目標圖像的光的一部分朝所述陣列中的傳感器引導。所述分裂的光的每一部分可穿過透鏡組合件，并從位于傳感器正上方或下方的額外表面反射回來，使得每一傳感器捕獲所述圖像的一部分。傳感器視野可重疊以輔助將所俘獲部分拼接在一起成為完整圖像。

技術實現(xiàn)要素：

本文所述的折疊光學傳感器陣列和圖像捕獲技術允許創(chuàng)建低輪廓圖像俘獲裝置，而不縮短焦距或減小所述圖像跨傳感器陣列的視野的分辨率，且所捕獲的圖像沒有(或幾乎沒有)視差假影。陣列相機的挑戰(zhàn)是歸因于如從所述陣列的不同相機看到的同一物體的不同視圖之間的視差的質(zhì)量降級。視差阻止了將每一相機所捕獲的圖像無縫拼接成完全無假影的最終圖像。相機視圖可部分地重疊(例如，重疊大約20％)。取決于圖像中的場景的深度(例如從透鏡到物體的距離)，來自一個相機的圖像可相對于來自另一相機的圖像移位。當圖像拼接或熔合在一起時，所得視差和傾斜可導致對應于重疊視野的圖像區(qū)域中的“雙圖像”鬼影。即使構造所述陣列使得傳感器視野中不存在重疊，當此類特征越過傳感器視野之間的邊界時，視差導致所述圖像中的不連續(xù)特征，例如線和邊緣。

在各種實施例中，通過如本文所述的無視差和傾斜假影的陣列相機來解決尤其上述問題。所述實施例中的一些可使用中心鏡或棱鏡，例如具有多個表面或小面，以將包括所述目標圖像的入射光分裂成多個部分，供所述陣列中的傳感器捕獲。鏡表面和傳感器可經(jīng)配置以避免導致所捕獲圖像中的視差和傾斜假影。舉例來說，陣列相機的中心鏡表面的平面可沿著對應相機位置與虛擬相機位置之間的線位于中點處，并與所述線正交。因此，在鏡將入射光折疊之后，陣列中的所有相機的所投影視野(FOV)視錐看起來來自虛擬相機位置。

經(jīng)分裂的光的每一部分可穿過透鏡組合件，且從位于傳感器正上方或下方的任選額外反射表面反射回來，使得每一傳感器捕獲所述圖像的一部分。在一些情況下，所述陣列中的每一傳感器可捕獲所述圖像的與所述陣列中的相鄰傳感器捕獲的部分稍微重疊的一部分，且可將這些部分組合成所述目標圖像，例如通過線性混合或其它圖像拼接技術。

一個創(chuàng)新包含一種用于捕獲場景的目標圖像的系統(tǒng)，所述系統(tǒng)包含具有投影的虛擬中心的多個相機的陣列，所述多個相機中的每一者經(jīng)配置以捕獲場景的目標圖像的多個部分中的一者，且所述多個相機中的每一者包含圖像傳感器，透鏡組合件包含至少一個透鏡，所述透鏡組合件具有投影中心，所述透鏡組合件定位成將光聚焦在所述圖像傳感器上，所述透鏡組合件的投影中心沿著穿過虛擬投影中心的線定位，且鏡相對于所述透鏡組合件定位，以將光提供到所述透鏡組合件，所述鏡進一步位于鏡平面上(或內(nèi))，(本文有時稱為“鏡平面”)，所述鏡平面定位成與沿著穿過虛擬投影中心的線的點(例如中點)相交。所述鏡平面可以與所述線正交的角度定位。各種實施例可包含額外特征。

以下是此類系統(tǒng)的一些特征和實施例的非限制性實例。舉例來說，所述系統(tǒng)可進一步包含中心反射性元件(例如，金字塔形反射性組件)，其包含多個主要光再引導表面，所述表面經(jīng)配置以將表示所述場景的目標圖像的光分裂成所述多個部分，所述多個相機中的每一者的鏡形成主要光折疊表面中的一者。中心反射性元件可包含由所述多個主要光再引導表面中的每一者的相交形成的頂點。所述多個相機中的每一者的光軸可穿過所述頂點。所述頂點和虛擬投影中心位于穿過所述頂點和所述虛擬投影中心的虛擬光軸上，使得所述虛擬光軸形成所述多個相機的陣列的光軸。所述系統(tǒng)可進一步包含相機外殼，其包括至少一上表面，所述上表面具有定位成允許表示所述場景的光穿過所述孔徑到中心反射性元件的光圈。所述上表面可定位成與中心反射性元件的頂點處或上方的虛擬光軸正交。所述外殼可進一步包含大體上平行于所述上表面定位且位于中心反射性元件的下表面處或下方的下表面。所述多個相機中的每一者可位于相機外殼的上表面與下表面之間。所述系統(tǒng)可進一步包含處理器，其經(jīng)配置以從所述多個相機中的每一者接收包括所述場景的一部分的圖像的圖像數(shù)據(jù)，且執(zhí)行拼接操作以產(chǎn)生所述目標圖像。所述系統(tǒng)可進一步(例如，為了校正圖像數(shù)據(jù)中的傾斜假影)包含處理器，其進一步經(jīng)配置以至少部分地基于虛擬投影中心與所述多個相機中的每一者的透鏡組合件的投影中心之間的幾何關系以及用于所述多個相機中的每一者的鏡在對應鏡平面內(nèi)的位置，對所述圖像數(shù)據(jù)執(zhí)行投影變換。所述系統(tǒng)可進一步包含與所述多個相機中的每一者相關聯(lián)的次要光再引導表面，所述次要光再引導表面定位成將從所述透鏡組合件接收到的光引導到所述圖像傳感器上。所述系統(tǒng)可進一步包含具有至少一個光圈的襯底，所述至少一個光圈定位成允許表示所述場景的光穿過所述至少一個孔徑到所述多個相機中的每一者的鏡，其中用于所述多個相機中的每一者的所述圖像傳感器定位在襯底上或襯底內(nèi)。

另一創(chuàng)新包含一種生產(chǎn)所捕獲圖像中基本上無視差假影的陣列相機的方法。在各種實施例中，所述方法包含定位陣列中的多個相機，所述多個相機中的每一者經(jīng)配置以捕獲目標圖像場景的多個部分中的一者，所述多個相機定位成各自從具有虛擬投影中心的虛擬相機的位置捕獲圖像數(shù)據(jù)，所述多個相機中的每一者包含：具有至少一個透鏡的透鏡組合件，相機投影中心具有至少部分地由所述透鏡組合件的光學器件確定的位置；以及傳感器，其定位成從所述透鏡組合件接收光。所述方法可進一步包含為所述多個相機中的每一者提供定位在鏡平面上的鏡，所述鏡平面定位成與沿著連接所述相機的投影中心與所捕獲的虛擬投影中心的線的點(例如中點)相交。所述鏡平面可定位成垂直于所述線。

以下是此類方法的一些特征和實施例的非限制性實例。舉例來說，所述方法可進一步包含為所述多個相機中的每一者提供所述鏡，作為中心反射性元件的小面所述多個相機定位在所述中心反射性元件或反射性組件周圍。所述方法可包含提供所述中心反射性元件，使得用于所述多個相機中的每一者的鏡在所述中心反射性元件的頂點處相交。所述方法可包含將所述多個相機中的每一者定位成使得所述多個相機中的每一者的光軸與所述頂點相交。所述方法可包含為所述多個相機中的每一者提供次要光折疊表面。所述方法可包含將次要光折疊表面定位在所述透鏡組合件與所述傳感器之間，以將從所述透鏡組合件接收到的光引導到所述傳感器上。所述方法可包含提供具有至少一個光圈的襯底，所述光圈定位成允許表示場景的光穿過所述光圈到用于所述多個相機中的每一者的鏡。所述方法可包含將用于所述多個相機中的每一者的所述傳感器安裝在所述襯底上或所述襯底內(nèi)，使得所有傳感器均位于同一平面上(或內(nèi))。所述方法可包含提供與所述多個相機中的每一者的傳感器電子通信的處理器，所述處理器經(jīng)配置以接收目標圖像場景的所述多個部分，且產(chǎn)生所述目標圖像場景的完整圖像。

另一創(chuàng)新包含一種捕獲無(或大體上無)視差的圖像的方法，所述方法包含：使用多個鏡將表示所述圖像的場景的光分裂成多個部分；將所述多個部分中的每一者朝多個相機中的對應一者引導，所述相機各自定位成從具有虛擬投影中心的虛擬相機的位置捕獲圖像數(shù)據(jù)，所述多個相機中的每一者具有包括至少一個透鏡的透鏡組合件，相機投影中心具有至少部分地由透鏡組合件的光學器件確定的位置，且傳感器定位成從所述透鏡組合件接收光；以及將所述多個部分組合成所述圖像，其中對于所述多個鏡中的每一鏡，所述鏡位于鏡平面上。所述鏡平面定位成與沿著連接所述多個相機中的對應相機的相機投影中心與虛擬投影中心的線的點(例如中點)。所述鏡平面可進一步與所述線正交。

以下是此類方法的一些特征和實施例的非限制性實例。所述方法可包含將投影變換應用于所捕獲的圖像數(shù)據(jù)，以改變所述多個相機中的每一者的有效傾斜。所述方法可包含：對于所述多個相機中的每一者，使用次要光折疊表面來將從透鏡組合件接收到的光再引導到所述圖像傳感器上。

另一創(chuàng)新包含一種用于捕獲場景的目標圖像的設備，所述設備包含：具有虛擬投影中心的多個相機的陣列，所述多個相機中的每一者經(jīng)配置以捕獲所述場景的目標圖像的多個部分中的一者，且對于所述多個相機中的每一者；用于捕獲圖像的裝置，用于聚焦將具有沿著穿過虛擬投影中心的線定位的投影中心的光的裝置；以及用于再引導至少部分地位于定位成與沿著所述線的中點相交且成與所述線正交的角度的主要光折疊平面內(nèi)的光的裝置。

以下是此類設備的一些特征和實施例的非限制性實例。在一些實施例中，所述光再引導裝置包含位于主要光折疊平面內(nèi)的反射性表面中的一者，以及具有位于主要光折疊平面內(nèi)的小面的折射棱鏡。所述光聚焦裝置可包含包括一或多個透鏡的透鏡組合件。所述多個相機中的每一者可包含額外光折疊裝置，其定位成將從所述光聚焦裝置接收到的光引導到所述圖像捕獲裝置上。所述設備可包含用于將所述多個部分組合成所述目標圖像的裝置。所述設備可包含用于補償所述目標圖像的所述多個部分之間的傾斜假影的裝置。

附圖說明

將在下文中結合附圖來描述所揭示方面，提供附圖是為了說明但不限制所揭示方面，其中相同符號表示相同元件。

圖1A說明折疊光學傳感器組合件的實施例的橫截面?zhèn)纫晥D。

圖1B說明折疊光學傳感器組合件的另一實施例的橫截面?zhèn)纫晥D。

圖2說明圖像俘獲裝置的一個實施例的框圖。

圖3A和3B說明無視差陣列相機終的相機投影中心和鏡平面位置的兩個實施例。

圖4A到4C說明無視差假影的陣列相機的實施例。

圖5A說明無視差假影的陣列相機的實施例。

圖5B說明并非無視差假影的圖5A的相機的替代實施例。

圖6說明無視差的陣列相機的實施例。

圖7說明折疊光學圖像捕獲過程的實施例。

具體實施方式

I.引言

本文所揭示的實施方案提供用于使用具有折疊式光學器件的陣列相機來產(chǎn)生基本上無視差假影的圖像的系統(tǒng)、方法和設備。本發(fā)明的各方面涉及在所捕獲圖像中呈現(xiàn)極少或無視差假影的陣列相機。舉例來說，陣列相機的中心鏡表面的平面可沿著對應相機位置與虛擬相機位置之間的線位于中點處，并與所述線垂直。因此，所述陣列中的所有相機的視錐在由鏡折疊之后，看起來像是來自虛擬相機位置。所述陣列中的每一傳感器使用中心鏡棱鏡的對應小面“看到”所述圖像場景的一部分，且因此每一個別傳感器/鏡對僅表示總陣列相機的子光圈。完整陣列相機具有基于所有個別光圈光線的總和而產(chǎn)生的合成光圈，即基于將子光圈所產(chǎn)生的圖像拼接在一起。

在以下描述中，給出具體細節(jié)以提供對實例的透徹理解。然而，可以在無這些具體細節(jié)的情況下實踐實例。

II.折疊式光學陣列相機的概述

現(xiàn)參看圖1A和1B，現(xiàn)將更詳細地描述適合與本文所述的自動對焦系統(tǒng)和技術一起使用的折疊式光學多傳感器組合件100A、100B的實例。術語“折疊式”是廣泛術語，其用以表征一種類型的成像系統(tǒng)(例如相機)，其中例如在光照亮成像系統(tǒng)中的傳感器之前，進入成像系統(tǒng)的光被再引導至少一次。換句話說，在進入成像系統(tǒng)時在一個方向上傳播的光接著再引導或“折疊”，以在所述成像系統(tǒng)中或至少在其照亮(例如成像系統(tǒng)的)傳感器之前，在不同方向上傳播。圖1A說明折疊式光學多傳感器組合件100A的實例的橫截面?zhèn)纫晥D，所述折疊式光學多傳感器組合件包含圖像傳感器105、125；反射性次要光折疊表面110、135；透鏡組合件115、130；以及中心反射性表面120，其可全部安裝到襯底150。圖1B說明折疊式光學多傳感器組合件的實施例的橫截面?zhèn)纫晥D，所述折疊式光學多傳感器組合件包含中心棱鏡141、146，其用于主要光再引導表面122、124，以及額外反射表面，例如棱鏡111、136，如所說明，或反射表面，例如鏡面表面)，其形成次要光折疊表面135、110。

參看圖1A，在某些實施例中，圖像傳感器105、125可包括，電荷耦合裝置(CCD)、互補金屬氧化物半導體傳感器(CMOS)，或任何其它圖像感測裝置，其接收光并響應于所述接收到的圖像而產(chǎn)生圖像數(shù)據(jù)。每一傳感器105、125可包含布置成陣列的多個傳感器(或傳感器元件)。圖像傳感器105、125可經(jīng)配置以產(chǎn)生單個圖像的圖像數(shù)據(jù)，和/或可經(jīng)配置以產(chǎn)生多個圖像的圖像數(shù)據(jù)(例如捕獲視頻數(shù)據(jù)或一系列單一圖像)。傳感器105和125可為個別傳感器陣列，或各自可表示傳感器陣列的陣列，例如傳感器陣列的3x1陣列。然而，如所屬領域的技術人員將理解，所揭示的實施方案中可使用任何合適的傳感器陣列。

傳感器105、125可安裝在襯底150上，如圖1A中所示。在一些實施例中，所有傳感器可通過安裝到平坦襯底150而在一個平面上。襯底150可為任何合適的基本上平坦的材料。中心反射性表面120和透鏡組合件115、130也可安裝在襯底150上。用于安裝一或多個傳感器陣列、多個透鏡組合件和多個主要和次要反射性或折射表面的多個配置是可能的。

在一些實施例中，中心反射性表面120可用于將來自目標圖像場景的光朝傳感器105、125再引導。中心反射性表面120可為一個鏡或多個鏡，且可為平坦的或根據(jù)需要成形，以將入射光恰當?shù)卦僖龑У綀D像傳感器105、125。舉例來說，在一些實施例中，中心反射性表面120可為大小和形狀經(jīng)設定以將入射光光線反射通過透鏡組合件115、130到達傳感器105、125的鏡。中心反射性表面120可將包括目標圖像的光分裂成多個部分，并在不同傳感器處引導每一部分。舉例來說，中心反射性表面120(還被稱作主要光折疊表面，因為其它實施例可實施折射棱鏡而非反射表面)的第一側(cè)122可將所述光的對應于第一視野(FOV)140的部分朝左側(cè)傳感器105發(fā)送，而第二側(cè)124將所述光的對應于第二FOV 145的第二部分朝右側(cè)傳感器125發(fā)送。應了解，圖像傳感器的視野140、145一起至少覆蓋所述目標圖像。本發(fā)明的實例描述包括兩個傳感器的實施例，但其它實施例可具有大于兩個傳感器，例如2、3、4、8或更多(N)個傳感器。

在其中接收傳感器各自為多個傳感器的陣列的一些實施例中，中心反射性表面可由相對于彼此成角度的多個反射表面組成，以便朝向所述傳感器中的每一者發(fā)送目標圖像場景的不同部分。所述陣列中的每一傳感器可具有大體上不同的視野，且在一些實施例中，所述視野可重疊。當設計透鏡系統(tǒng)時，中心反射性表面的某些實施例可具有復雜的非平面表面以增加自由度。另外，盡管將中心表面論述為反射性表面，但在其它實施例中，中心表面可為折射性的。舉例來說，中心表面可為配置有多個小面的棱鏡，其中每一小面將包括所述場景的光的一部分朝所述傳感器中的一者引導。

在從中心反射性表面120反射離開之后，入射光的至少一部分可傳播通過透鏡組合件115、130中的每一者?？稍谥行姆瓷湫员砻?20和傳感器105、125和反射表面110、135之間提供一或多個透鏡組合件115、130。透鏡組合件115、130可用于使朝每一傳感器引導的目標圖像的部分對焦。

在一些實施例中，每一透鏡組合件可包括一或多個透鏡，以及用于使所述透鏡在多個不同透鏡位置之間移動穿過外殼的致動器。所述致動器可例如為話音線圈電動機(VCM)、微電子機械系統(tǒng)(MEMS)或形狀記憶合金(SMA)。透鏡組合件可進一步包括用于控制致動器的透鏡驅(qū)動器。

在一些實施例中，可通過改變每一相機的透鏡115、130與對應傳感器105、125之間的焦距來實施傳統(tǒng)的自動聚焦技術。在一些實施例中，這可通過移動鏡筒來實現(xiàn)。其它實施例可通過上下移動移動中心鏡或通過調(diào)整所述鏡相對于透鏡組合件的角度來調(diào)整焦點。某些實施例可通過在每一傳感器上方移動側(cè)鏡來調(diào)整焦點。此類實施例可允許組合件個別地調(diào)整每一傳感器的焦點。另外，對于一些實施例，有可能一次改變整個組合件的焦點，例如通過將透鏡(如液體透鏡)放置在整個組合件上方。在某些實施方案中，可使用計算攝影來改變相機陣列的焦點。

可在中心鏡120周圍提供與所述傳感器相對的多個側(cè)反射性表面，例如反射性表面110和135。在穿過透鏡組合件之后，側(cè)反射性表面110、135(還被稱作次要光折疊表面，因為其它實施例可實施折射棱鏡而不是反射性表面)可將光(向下，如圖1A的定向中所描繪)反射到傳感器105、125上。如所描繪，傳感器105可位于反射性表面110下面，且傳感器125可位于反射性表面135下面。然而，在其它實施例中，所述傳感器可在側(cè)反射表面110、135上方，且側(cè)反射性表面可經(jīng)配置以將光朝上反射(見例如圖1B)。側(cè)反射性表面和傳感器的其它合適的配置是可能的，其中來自每一透鏡組合件的光朝傳感器再引導。某些實施例可實現(xiàn)側(cè)反射性表面110、135的移動，以改變相關聯(lián)傳感器的焦點或FOV。

可通過中心鏡120的與所述傳感器相關聯(lián)的表面來將每一傳感器的FOV 140、145轉(zhuǎn)向到物空間中?？墒褂脵C械方法來使所述鏡傾斜，和/或移動陣列中的棱鏡，使得可使每一相機的FOV轉(zhuǎn)向到物場上的不同位置。這可例如用來實施高動態(tài)范圍相機，以增加相機系統(tǒng)的分辨率，或?qū)嵤┤庀鄼C系統(tǒng)。每一傳感器的(或每一3x1陣列的)FOV的可投影到物空間中，且每一傳感器可根據(jù)所述傳感器的視野捕獲部分圖像，其包括目標場景的一部分。如圖1A中所示，在一些實施例中，相對的傳感器陣列105、125的視野140、145可重疊一定的量。為了減少重疊且形成單個圖像，如下文所描述的拼接過程可用于組合來自兩個相對傳感器陣列105、125的圖像。在圖1A中所說明的具有較多傳感器的實施例中，可組合來自多個傳感器的圖像，且傳感器不必對置，例如對稱地或不對稱地布置。拼接過程的某些實施例可使用重疊150來識別在將部分圖像拼接在一起的過程中的共用特征。在將重疊圖像拼接在一起之后，可將經(jīng)拼接圖像裁減到所要的縱橫比，例如4:3或1:1，以形成最終圖像。在一些實施例中，與每一FOV相關的光學元件的對準經(jīng)布置以最小化重疊150，使得多個圖像形成為單個圖像，其中加入所述圖像需要最少或不需要圖像處理。

圖1B說明折疊光學陣列相機100B的另一實施例的橫截面?zhèn)纫晥D。如圖1B中示出，傳感器組合件100B包含：一對圖像傳感器105、125，其各自安裝到襯底150；分別對應于圖像傳感器105、125的透鏡組合件115、130；以及分別定位在圖像傳感器105、125的玻璃蓋片106、126上方的次要光折疊表面110、135。折射棱鏡141的主要光折疊表面122引導來自目標圖像場景的光的一部分沿光軸121通過透鏡組合件115，再引導離開次要光折疊表面110，穿過玻璃蓋片106，且入射到傳感器105上。折射棱鏡146的主要光折疊表面124將來自目標圖像場景的光的一部分沿光軸123引導通過透鏡組合件130，再引導離開次要光折疊表面135，穿過玻璃蓋片126，且入射到傳感器125上。折疊式光學陣列相機100B說明實施圖1A的陣列相機100A的折射棱鏡而不是反射性表面的一個陣列相機實施例。折射棱鏡141、146中的每一者提供于襯底150中的光圈中，使得主要光引導表面122、124在襯底所形成的平面下方，且接收表示目標圖像場景的光。

傳感器105、125可安裝在襯底150上，如圖1B中所示。在一些實施例中，所有傳感器可通過安裝到平坦襯底150而在一個平面上。襯底150可為任何合適的基本上平坦的材料。襯底150可包含如上文所描述的光圈，以允許入射光穿過襯底150到主要光折疊表面122、124。用于將(一或多個)傳感器陣列以及所說明的其它相機組件安裝到襯底150的多個配置是可能的。

主要光折疊表面122、124可為棱鏡表面(如所說明)，或可為鏡面或多個鏡面，且可為平坦的或按需要成形以將入射光恰當?shù)卦僖龑У綀D像傳感器105、125。在一些實施例中，主要光折疊表面122、124可形成為中心反射性元件，如圖1A中所說明。中心反射性元件可為例如多個鏡或反射性表面的排列，或一棱鏡。所述反射性元件可為金字塔形。所述中心鏡反射性元件、棱鏡或其它反射性表面可將表示目標圖像的光分裂成多個部分，且在不同傳感器處引導每一部分。舉例來說，主要光折疊表面122可將光的對應于第一FOV的部分朝左側(cè)傳感器105發(fā)送，而主要光折疊表面124將所述光的對應于第二FOV的第二部分朝右側(cè)傳感器125發(fā)送。在其中接收傳感器各自為多個傳感器的陣列的一些實施例中，光折疊表面可由相對于彼此成角的多個反射性表面組成，以便朝所述傳感器中的每一者發(fā)送目標圖像場景的不同部分。應了解，相機的視野一起覆蓋至少目標圖像，且可在捕獲之后對準和拼接在一起，從而形成由所述陣列的合成光圈捕獲的最終圖像。所述陣列中的每一傳感器可具有大體上不同的視野，且在一些實施例中，所述視野可重疊。

其它實施例可組合圖1A和1B所說明的反射性和折射性元件。舉例來說，在一些實施例中，主要光折疊表面可為反射性的，而次要光折疊服務是折射性的，且反之亦然。

如圖1A和1B所說明，每一陣列相機具有總高度H。在一些實施例中，總高度H可大約為4.5mm或更小。在其它實施例中，總高度H可大約為4.0mm或更小。盡管未說明，但可在具有大約為4.5mm或更小或大約為4.0mm或更小的對應內(nèi)高度的外殼中提供整個陣列相機100A、100B。

如本文所使用，術語“相機”是指圖像傳感器、透鏡系統(tǒng)和若干對應光折疊表面，例如主要光折疊表面124、透鏡組合件130、次要光折疊表面135和傳感器125，如圖1中所說明。折疊式光學多傳感器陣列，被稱作“陣列”或“陣列相機”可在各種配置中包含多個此類相機。陣列配置的一些實施例在2013年3月15日申請且標題為“使用折疊式光學器件的多相機系統(tǒng)”的第2014/0111650號美國申請公開案中揭示，所述公開案的揭示內(nèi)容特此以引用的方式并入。將得益于本文所描述的自動對焦系統(tǒng)和技術的其它陣列相機配置是可能的。

圖2描繪具有包含鏈接到一或多個相機215a到n的圖像處理器220的一組組件的裝置200的高級框圖。圖像處理器220還與工作存儲器205、存儲器組件230和裝置處理器250通信，所述工作存儲器205、存儲器組件230和裝置處理器250又與存儲裝置210和電子顯示器225通信。

裝置200可為手機、數(shù)碼相機、平板計算機、個人數(shù)字助理或類似者。存在其中例如本文所描述的降低厚度的成像系統(tǒng)將提供優(yōu)點的許多便攜式計算裝置。裝置200還可為靜止計算裝置或其中較薄成像系統(tǒng)將有利的任何裝置。在裝置200上有多個應用程序可供用戶使用。這些應用程序可包含傳統(tǒng)攝影和視頻應用程序、高動態(tài)范圍成像、全景照片和視頻，或例如3D圖像或3D視頻等立體成像。

圖像捕獲裝置200包含用于捕獲外部圖像的相機215a到n。相機215a到n可各自包含傳感器、透鏡組合件以及用于將目標圖像的一部分再引導到每一傳感器的主要和次要反射性或折射性表面，如上文相對于圖1所論述。大體來說，可使用N個相機215a到n，其中N≥2。因此，目標圖像可分裂成N個部分，其中N個相機的每一傳感器根據(jù)所述傳感器的視野來捕獲目標圖像的一個部分。將理解，相機215a到n可包括適合實施本文所述的折疊式光學成像裝置的任何數(shù)目的相機?？稍黾觽鞲衅鞯臄?shù)目，以實現(xiàn)系統(tǒng)的較低z高度，如下文相對于圖4較詳細論述，或符合其它目的的需要，例如具有類似于全光相機的視野的重疊視野，這可實現(xiàn)在后處理之后調(diào)整所述圖像的焦點的能力。其它實施例可具有適合于高動態(tài)范圍相機的FOV重疊配置，其實現(xiàn)捕獲兩個同時的圖像且接著將其合并在一起的能力。相機215a到n可耦合到圖像處理器220，以將所捕獲的圖像傳送到工作存儲器205、裝置處理器250，傳送所述電子顯示器225，且傳送到存儲裝置(存儲器)210。

圖像處理器220可經(jīng)配置以對包括目標圖像的N個部分的所接收的圖像數(shù)據(jù)執(zhí)行各種處理操作以便輸出高品質(zhì)經(jīng)拼接圖像，如將在下文更詳細地描述。圖像處理器220可為通用處理單元或?qū)ｉT設計用于成像應用的處理器。圖像處理操作的實例包含裁剪、按比例縮放(例如到不同分辨率)、圖像拼接、圖像格式轉(zhuǎn)換、色彩內(nèi)插、色彩處理、圖像濾波(例如空間圖像濾波)、透鏡假象或疵點校正等。在一些實施例中，圖像處理器220可包括多個處理器。某些實施例可具有專用于每一圖像傳感器的處理器。圖像處理器220可為一或多個專用圖像信號處理器(ISP)或處理器的軟件實施方案。

如所示出，圖像處理器220連接到存儲器230和工作存儲器205。在所說明的實施例中，存儲器230存儲捕獲控制模塊235、圖像拼接模塊240和操作系統(tǒng)245。這些模塊包含配置裝置處理器250的圖像處理器220以執(zhí)行各種圖像處理和裝置管理任務的指令。工作存儲器205可由圖像處理器220使用來存儲包含于存儲器組件230的模塊中的處理器指令的工作集合。或者，工作存儲器205還可由圖像處理器220使用，以存儲裝置200的操作期間創(chuàng)建的動態(tài)數(shù)據(jù)。

如上所提到，圖像處理器220由存儲在存儲器中的若干模塊來配置。捕獲控制模塊235可包含配置圖像處理器220以調(diào)整相機215a到n的聚焦位置的指令。捕獲控制模塊235可進一步包含控制裝置200的總體圖像捕獲功能的指令。舉例來說，俘獲控制模塊235可包含指令，其調(diào)用子例程以配置圖像處理器220來使用相機215a到n捕獲目標圖像場景的原始圖像數(shù)據(jù)。捕獲控制模塊235接著可調(diào)用圖像拼接模塊240以對由相機215a到n捕獲的N個部分圖像執(zhí)行拼接技術，且將經(jīng)拼接和裁剪的目標圖像輸出到成像處理器220。捕獲控制模塊235還可調(diào)用圖像拼接模塊240以對原始圖像數(shù)據(jù)執(zhí)行拼接操作，以便輸出待捕獲的場景的預覽圖像，且以特定時間間隔或在原始圖像數(shù)據(jù)中的場景改變時更新預覽圖像。

圖像拼接模塊240可包括配置圖像處理器220以對所捕獲的圖像數(shù)據(jù)執(zhí)行拼接和裁剪技術的指令。舉例來說，N個傳感器215a到n中的每一者可根據(jù)每一傳感器的視野來捕獲包括目標圖像的一部分的局部圖像。所述視野可共享重疊區(qū)域，如上文和下文所描述。為了輸出單個目標圖像，圖像拼接模塊240可配置圖像處理器220以組合多個N個局部圖像以產(chǎn)生高分辨率目標圖像。目標圖像產(chǎn)生可通過已知圖像拼接技術而發(fā)生。

舉例來說，圖像拼接模塊240可包含用以針對匹配特征比較沿著N個局部圖像的邊緣的重疊區(qū)域以便確定所述N個局部圖像相對于彼此的旋轉(zhuǎn)和對準的指令。歸因于每一傳感器的FOV的局部圖像和/或形狀的旋轉(zhuǎn)，組合圖像可形成不規(guī)則形狀。因此，在對準且組合N個局部圖像之后，圖像拼接模塊240可調(diào)用子例程，其配置圖像處理器220以將組合圖像裁剪到所需形狀和縱橫比，例如4:3矩形或1:1正方形?？蓪⒔?jīng)裁剪的圖像發(fā)送到裝置處理器250，以用于在顯示器225上顯示，或用于存儲裝置210中的節(jié)省。

操作系統(tǒng)模塊245配置圖像處理器220以管理裝置200的工作存儲器205和處理資源。舉例來說，操作系統(tǒng)模塊245可包含裝置驅(qū)動器以管理例如相機215a到n等硬件資源。因此，在一些實施例中，上文所論述的圖像處理模塊中包含的指令可不與這些硬件資源直接交互，而是經(jīng)由位于操作系統(tǒng)組件270中的標準子例程或API交互。操作系統(tǒng)245內(nèi)的指令可接著與這些硬件組件直接交互。操作系統(tǒng)模塊245可進一步配置圖像處理器220以與裝置處理器250共享信息。

裝置處理器250可經(jīng)配置以控制顯示器225以向用戶顯示所捕獲圖像或所捕獲圖像的預覽。顯示器225可在成像裝置200外部或可為成像裝置200的一部分。顯示器225還可經(jīng)配置以提供顯示預覽圖像以供在俘獲圖像之前使用的視圖查找器，或可經(jīng)配置以顯示存儲在存儲器中或最近由用戶捕獲的所捕獲圖像。顯示器225可包括LCD或LED屏幕，且可實施觸敏式技術。

裝置處理器250可將數(shù)據(jù)寫入到存儲模塊210，例如表示所捕獲圖像的數(shù)據(jù)。雖然存儲模塊210以圖形方式表示為傳統(tǒng)磁盤裝置，但所屬領域的技術人員將理解，存儲模塊210可經(jīng)配置為任何存儲媒體裝置。舉例來說，存儲模塊210可包含磁盤驅(qū)動器，例如，軟盤驅(qū)動器、硬盤驅(qū)動器、光盤驅(qū)動器或磁光盤驅(qū)動器，或固態(tài)存儲器，例如快閃存儲器、RAM、ROM和/或EEPROM。存儲模塊210還可包含多個存儲器單元，且存儲器單元中的任一者可經(jīng)配置以處于圖像捕獲裝置200內(nèi)，或可在圖像捕獲裝置200的外部。舉例來說，存儲模塊210可包含含有存儲在圖像捕獲裝置200內(nèi)的系統(tǒng)程序指令的ROM存儲器。存儲模塊210還可包含經(jīng)配置以存儲所捕獲圖像的存儲卡或高速存儲器，其可從相機裝卸。

盡管圖2描繪具有單獨組件以包含處理器、成像傳感器和存儲器的裝置，但所屬領域的技術人員將認識到，這些單獨組件可用多種方式組合以便實現(xiàn)特定的設計目標。舉例來說，在替代實施例中，存儲器組件可與處理器組件組合以節(jié)省成本且改進性能。

另外，盡管圖2說明兩個存儲器組件，包含包括若干模塊的存儲器組件230以及包括工作存儲器的單獨存儲器205，但所屬領域的技術人員將認識到利用不同存儲器架構的若干實施例。舉例來說，一種設計可利用ROM或靜態(tài)RAM存儲器來存儲實施存儲器組件230中所含有的模塊的處理器指令。可將處理器指令加載到RAM中以促進由圖像處理器220執(zhí)行。舉例來說，工作存儲器205可包括RAM存儲器，其具有在由圖像處理器220執(zhí)行之前被加載到工作存儲器205中的指令。

III.無視差和傾斜假影的折疊式光學陣列相機的概述

圖3A是說明根據(jù)一些實施例的無視差陣列相機300A中的相機310A、310B、310C以及鏡平面312A、312B、312C位置的示意圖。陣列及其對應透鏡(以及可能的額外光折疊表面)的傳感器在本文中被稱作“相機”，且所述陣列中的所有相機的協(xié)作在本文中被稱作“虛擬相機”。在無視差陣列相機設計原理的以下描述中，可將相機建模為點，即其相關聯(lián)透鏡組合件的投影中心，所述投影中心可位于xyz空間中的任何地方。相機陣列由此類投影中心的陣列建模。

虛擬相機是相機從其捕獲圖像的位置，例如由310A捕獲的圖像，表現(xiàn)為在尚未使用光學折疊(例如使用鏡的反射)的情況下已捕獲。在物理上由多個折疊式光學相機形成的無視差陣列中，所有虛擬相機合并成一個具有相同投影中心的單個虛擬相機，圖3A和3B中示出為點V。所述陣列的每一個別相機可具有潛在不同的注視方向，即相機的光軸的方向或?qū)?，其有時被稱作傾斜。本文所述的用于成型無視差陣列相機的空間關系的要點在于可通過將投影變換應用于所捕獲圖像數(shù)據(jù)來在計算上改變每一虛擬相機的有效傾斜(例如對應圖像中的傾斜的外觀)。在應用恰當?shù)耐队白儞Q和裁剪之后將所述圖像拼接在一起通過使用從所述陣列的多個相機接收到的數(shù)據(jù)而產(chǎn)生單個圖像，目標場景的合成圖像。此單個圖像看起來像是其被投影中心在點V處的單個虛擬相機捕獲，在本文中被稱作虛擬相機。因此，如本文所述的無視差陣列的虛擬相機實際上是復合虛擬相機，且多個虛擬相機的組合物合并成單個點。如本文所使用的虛擬相機還可為通過變換、裁剪和拼接所述個別圖像的計算合成的結果，所述個別圖像各自由所述陣列的多個相機中的一者捕獲。

在圖3A和3B中，相機310B、310C、310E和310F各自建模為表示所述相機在xyz空間中的投影中心的點。舉例來說，真實相機具有在空間中具有某一位置的入射光瞳。所述光瞳的中心在本文中被稱作相機的投影中心，且至少部分地由透鏡組合件的光學器件確定。投影中心可能不是相機的物理光圈歸因于透鏡組合件的光學器件而位于其中的位置，且光學投影中心所位于的真實位置是光瞳的中心所位于的位置。隨著相機圍繞此點(其投影中心)旋轉(zhuǎn)，所捕獲的圖像如同計算投影變換的應用那樣變換。圖3A和3B所說明的示意圖是抽象：注視方向和相機的焦距對于無視差成像來說不是必要的，因為此類方面可在后來的步驟(例如計算上)通過投影變換來校正。由此，在此一般處理中，僅通過投影中心來說明相機310B、310C、310E和310F的抽象。使用投影中心來表示相機起到如下目的：實現(xiàn)將相機陣列設計成形成無視差圖像。相機的真實注視和焦距對于成像的其它方面來說是重要的，但可根據(jù)無視差陣列相機的各種實施例的需要來改變這些方面的特殊性。

將虛擬相機V和相機310A、310D分別說明為以在表示虛擬相機V和相機310A、310D中的每一者的投影中心的點為中心的框圖。如圖3A的實施例中所示，對于薄相機，如上文所描述，相機陣列位于薄相機的水平面305內(nèi)(或至少大致上位于其中)。出于此論述的目的而任意選擇術語“水平”，例如參看圖3A和3B。將鏡平面312A到312E說明為具有邊界，然而所述平面無限延伸，且實際鏡位置可在由312A到312E表示的平面內(nèi)的任何地方。在一些實施例中，鏡面表面可成角度地連接，以形成具有頂點的反射性元件，例如位于或大約位于沿虛擬相機V的光軸321的點P處。在其它實例中，所述頂點可位于沿虛擬相機V的光軸321的其它點處。盡管主要在鏡平面和對應的鏡面表面方面進行論述，但在一些實施例中，還可使用平面312A、312B、312C來定位折射棱鏡的光引導小面。

圖3A說明陣列相機的水平面305中的三個相機310A、310B、310C，且圖3B說明水平面305中的三個相機310D、310E、310F。在所說明的實施例中示出，圖3A中的每一相機310A、310B、310C可定位成使得FOV的中心指向(或大約指向)中心位置P，如由相機310A的光軸311A所說明。在圖3B中，將相機310D、310E和310F描繪為水平指向中心位置P。每一相機310D、310E、310F可定位成大致朝位于對應于相機310D、310E、310F的鏡平面312D、312E、312F中的鏡330(僅參考相機310D和鏡平面312D所說明)“看”(如由相機310D的光軸311B所說明)。換句話說，每一相機310D、310E、310F的所投影FOV的光軸可朝鏡定位。在兩個配置300A、300B中，對應的鏡再引導(或折疊)每一相機310A到F的所投影光軸以及因此相機所接收到的光(或光線的錐形)，使得所有相機310A到F在光學上在沿虛擬光軸321的垂直于平面305的方向上(或大體上在此方向上)看(考慮所述光的折疊)。換句話說，每一相機310A到F的所投影FOV的中心軸可沿著虛擬光軸321，以接收從目標場景傳播的光。

然而，其中相機正在看(其光軸的對準)的方向可為可變化同時仍遵守本文所述的無視差空間關系的設計參數(shù)。存在將在特定設計中考慮的折衷，例如每一相機的注視方向，以及每一相機的投影中心的位置(例如其距中心點P的距離以及)、每一相機的焦距、陣列中的相機的數(shù)目，以及所述陣列是否應對稱。圖3A和3B的無視差設計原理的此一般性允許較大的設計自由，且捕獲所有類別的陣列相機配置。因此，取決于這些無視差原理的特定實施方案，不是來自位于平面312A到312F中的鏡的所有光均可入射在相關聯(lián)的相機310A到310F上，然而此設計的益處在于其提供無視差圖像。

因此，盡管將圖3A的光軸311A說明為“看”點P或與點P對準，但不要求相機的光軸看點P。在其它實例中，光軸可看線321上在P與Z之間的任一點，或在其它實例中，可在某一其它方向上看。類似地，圖3B的光軸311B，示出為大約指向中心鏡330，可指向其它方向，例如在由相機的多個鏡形成的鏡反射性元件的頂點處。陣列300A中具有與點P對準的光軸的相機，如同所說明的軸311A，可圍繞其投影中心旋轉(zhuǎn)，來看沿線321的稍低的點P，而不物理上旋轉(zhuǎn)實際相機，例如通過借助于從所述相機取原始圖像、應用投影變換且接著裁剪所述圖像進行的計算。此類計算旋轉(zhuǎn)可容易地以數(shù)字方式處置(在某些實際限制內(nèi)，例如大約10度)。本文所述的無視差成像的一般模型因此考慮不具有任何特定檢視方向的相機，且例如僅提供實例光軸311A和311B。

如圖3A和3B中所示的無視差設計原理被配置成使得在從位于鏡平面312A到312C以及312D到312F內(nèi)的某處的鏡反射之后，相機310A到310C以及310D到310F的所有投影中心看起來是從一個(或單個)虛擬中心V投影。

在圖3A的實施例300A中，虛擬相機投影中心V位于水平面305下方，使得相機310A、310B、310C協(xié)作以捕獲圖像，看起來沿光軸321向上看到水平面305上方的圖像空間中，其中下方和向上是任意選擇的術語來指代相機310A、310B、310C的相對位置，虛擬相機投影中心V以及圖像空間，且無意限定實際相機在真實空間中的定位或定向。在根據(jù)圖3A中所說明的原理建構的真實相機的一些實例中，位于平面312A、312B、312C內(nèi)的實際鏡可相交，以形成其頂點位于其基座上方的反射性元件。舉例來說，所述頂點可位于點P處，且反射性元件的基座可位于沿朝向虛擬相機V的光軸321的某處。

圖3B的實施例300B表示寬FOV陣列相機。虛擬相機投影中心V位于水平面305上方，使得相機310D、310E、310F協(xié)作以捕獲寬FOV圖像，看起來遠離光軸321朝外看到水平面305周圍的圖像空間中，其中下方和向上是任意選擇的術語來指代相機310D、310E、310F的相對位置，虛擬相機投影中心V以及圖像空間，且無意限定實際相機在真實空間中的定位或定向。在根據(jù)圖3B中所說明的原理建構的真實相機的一些實例中，位于平面312D、312E、312F內(nèi)的實際鏡(例如平面312D中的鏡330)可相交，以形成其頂點位于其基座下方的反射性元件。舉例來說，所述頂點可位于點P處，且反射性元件的基座可位于沿朝向虛擬相機V的光軸321的某處。

由此，與用于實施例300A的反射反射性元件相比，用于寬FOV實施例300B的反射反射性元件是倒置式的。另外，當陣列300A“看”沿光軸321定位的圖像時，陣列300B“看”圍繞軸321沿圓周定位的空間的180度全景圖像，但看不到陣列300A所看到的中心圖像場景。在一些實施例中，設計300A和300B可組合以形成捕獲完整的半球形視野的相機。

為了根據(jù)圖3A中所說明的無視差設計原理來設計或建構無視差的陣列相機，可將點V(虛擬相機的投影中心)定位在陣列相機300A的水平面305下方的任何地方。設計者或制造商可接著設定或識別相機310A、310B、310C的位置，且接著定義將每一相機的投影中心與所述虛擬相機的投影中心連接的線313A、313B、313C。接下來，設計者或制造商可定位每個區(qū)段313A、313B、313C的中間314A、314B、314C，并將鏡的平面312A、312B、312C放置在中間或大體上放置在中間314A、314B、314C處，或與所述區(qū)段正交或大體上正交。

為了根據(jù)圖3B中所說明的無視差設計原理來設計或建構無視差的陣列相機，設計者或制造商可將點V(虛擬相機的投影中心)定位在陣列相機300B的水平面305下方的任何地方。設計者或制造者可接著設定或識別相機310D、310E、310F的位置，且接著產(chǎn)生將每一相機的投影中心與所述虛擬相機的投影中心連接的線313D、313E、313F。接下來，設計者或制造商可定位每個區(qū)段313D、313E、313F的中間314D、314E、314F，并將鏡的平面312D、312E、312F放置在中間314D、314E、314F處，并與所述區(qū)段正交。如圖3B中所示，可將鏡330放置在其對應平面312D中的任何地方。

盡管將每一平面312A到312F說明為具有邊界，但理論上，平面是無限的，且設計者可根據(jù)特定相機構建的需要來選擇鏡在其對應平面內(nèi)的適當大小和位置，例如以防止重疊鏡、相機視野的阻擋等。來自那些鏡的反射將每一投影中心(在此情況下，相機310A到310F的投影中心)發(fā)送到薄相機300A、300B的相同虛擬投影中心V。這確保了相機的視野之間的所得經(jīng)拼接圖像中無視差或大體上無視差。

在一些實施例中，位于平面312A到312C以及312D到312F內(nèi)的鏡可經(jīng)布置以形成反射性元件。舉例來說，平面312A到312C可從所說明的邊界向外延伸，直到其相交以形成頂點在具有向下和向外傾斜的鏡面小面的點P處或附近的反射性元件。作為另一實例，平面312D到312F可從所說明的邊界向外延伸，直到其相交以形成頂點在具有向上和向外傾斜的鏡面小面的點P處或附近的反射性元件。由此，與用于實施例300A的反射反射性元件相比，用于實施例300B的反射反射性元件是倒置式的。因此，鏡無需位于針對平面312A到312F所示的位置中，且實際鏡不必沿線313A到313F定位，或含有中點314A到314F，但實際上可位于無限延伸平面中的任何地方。

圖3A和3B中所說明的實例包含三個相機，然而無視差設計原理對任何數(shù)目的相機起作用。個別相機的確切檢視方向與視差問題無關，而是與效率和傾斜假影等有關。從相機的不同檢視方向產(chǎn)生的圖像中的此類變形可用所述事實之后應用的眾所周知的投影變換以數(shù)字方式撤消。此校正對于無限小的光圈來說是準確的且對于小有限光圈(例如移動裝置(例如手機、平板計算機等)的成像系統(tǒng)中可通常使用的光圈)來說大致為準確的。投影變換校正可通過應用適當?shù)耐队白儞Q(其在給定鏡平面和相機的定位的情況下實際上是預定義的)，來去除所有或大體上所有傾斜假影。

在一些薄相機實施方案中，所述陣列的所有相機可定位在薄相機模塊或相機外殼的水平面內(nèi)(或物理上在其內(nèi)部)。然而，在其它實施例中相機不必位于水平面305中。舉例來說，對于球面相機或?qū)τ谧杂伞爸行牡?D云”相機布置，所述相機不必位于水平面內(nèi)。在一些陣列攝像機實施例中，相機的布置可為對稱或大體上對稱的，使得所有鏡平面具有一個共用相交點。如果此點存在，那么其為圖中，如圖3A和3B中所表示的P。所述多個鏡可形成具有頂點P的反射性元件。如本文所使用，術語金字塔或反射性元件可指代具有若干小面的任何三維形狀，所述小面各自從基座以角度向上延伸，其中一些或所有小面在頂點P處會合。在其它情況下，可能不存在所有鏡共用的點。然而，所描述的實施例中，本設計無(或大體上無)視差假影，因為所有虛擬相機(在折疊之后的真實相機的圖像)不管定向如何，均從共用虛擬投影中心V看世界。如本文所使用，虛擬投影中心是指陣列中的所有相機的所投影視野(FOV)視錐看起來源自其中的虛擬相機位置的中心投影，即使是在入射光的再引導或折疊之后(例如，通過鏡或折射棱鏡)。

如果對稱性不足，那么陣列相機設計在產(chǎn)生無視差圖像時，仍可顯示不正確的離焦模糊假影?？蓜?chuàng)建離焦模糊核心，以便至少部分地補償來自從所有相機光圈/鏡合成的共用光圈的離焦模糊。如果從位置V的視圖中的某些位置或方向存在間隙和不規(guī)律性，那么模糊將看起來不自然。這是歸因于真實個別相機實際上不是點的事實，但光圈各自表示在3D空間中具有定向的表面的區(qū)域。然而，在一些實施方案中，具有不足對稱性的設計仍可用于捕獲幾乎完全對焦的場景的良好質(zhì)量圖像，或如果不存在特別靠近陣列相機的物體，例如距相機從大約20cm到大約50cm。

圖4A到4C說明根據(jù)圖3A和3B中所說明的無視差設計原理來設計的陣列相機400的實施例。圖4A說明具有兩個相機410A、410B的陣列。相機410A、410B各自具有大約20度的檢視角度，從而針對組合式陣列相機400產(chǎn)生大約26度的有效檢視角度。相機410A、410B看起來從同一清楚來源450捕獲圖像數(shù)據(jù)。每一相機410A、410所觀察到的視圖420A、420B以藍色短劃線突出顯示。為清楚起見，相機410A、410B中未說明透鏡組合件和次要反射或反射表面。在一些實施例中，在初始反射或折射之后，相機410A、410B的傳感器可與光對準，然而在其它實施例中，可使用次要反射性或折射性表面，例如為了通過將相機410A、410B的傳感器放入共用平面內(nèi)或大體上放入共用平面內(nèi)，來減小陣列的總高度。

圖4B說明圖4A的相機410A的檢視角度420A以及鏡表面415A的設計參數(shù)的一個實例。為了實現(xiàn)合成光圈的60度的有效檢視角度(陣列400中的相機410A、410B的所有視圖的總和)，個別相機410A、410B各自應具有擁有至少約48度的檢視角度420A、420B的FOV。圖4C說明用以實現(xiàn)60度檢視角度的圖4A的相機410A、410B的檢視角度420A、420B和鏡表面415A、415B兩者的設計參數(shù)的實例。

圖5A和5B說明根據(jù)圖3A和3B中所說明的無視差設計原理來設計的四相機610A到610D陣列相機600的實施例。圖5A說明通過對單個相機的FOV關于兩個平面的鏡像處理來創(chuàng)建四相機610A到610D陣列相機600的等角視圖。為清楚起見，相機610A到610D中未說明透鏡組合件和次要反射或反射表面。在一些實施例中，在初始反射或折射之后，相機610A到610D的傳感器可與光對準，然而在其它實施例中，可使用次要反射性或折射性表面，例如為了通過將相機610A到610D的傳感器放入共用平面內(nèi)或大體上放入共用平面內(nèi)，來減小陣列的總高度。視錐625A到625D是如由相機610A到610D的透鏡看到的FOV的視錐。視錐630A、630C、630D(注意：為了圖的清楚起見，未說明視錐630B)是如由相機610A到610D的傳感器看到的FOV的視錐。

如由上文相對于圖3A和3B所述的無視差設計參數(shù)指定的鏡平面312D到312F(在圖3B中說明，且在圖5B中大體說明為鏡平面615)的位置部分地決定最終圖像的形狀，以及相機610A到610D所捕獲的圖像之間的重疊量(定位在鏡平面615內(nèi)的反射性表面的角度也是因素)。

如由上文相對于圖3A和3B所述的無視差設計參數(shù)指定的鏡平面312D到312F(在圖3B中說明，且在圖5A中大體說明為鏡平面615)的位置部分地決定最終圖像的形狀，以及相機610A到610D所捕獲的圖像之間的重疊量(定位在鏡平面615內(nèi)的反射性表面的角度也是因素)。

如所說明，歸因于每一相機610A到610D的FOV的偏斜，檢視區(qū)域620A到620D之間存在重疊。將所說明的四相機陣列相機600設計成所述相機的FOV之間不具有相當大的重疊，然而在一個實施例中，這可通過使鄰近相機圍繞其光軸旋轉(zhuǎn)來實現(xiàn)，因為所述相機的光軸存在于同一平面內(nèi)。對于鄰近相機，歸因于所述相機的FOV的偏斜，部分地存在重疊。此重疊可大于所示出的重疊且可偏斜，因為左相機的重疊區(qū)域?qū)嶋H上是從右相機的鏡表面反射的，且反之亦然。

在一些實施例中，可通過使鄰近相機朝虛擬光軸旋轉(zhuǎn)直到它們返回到未旋轉(zhuǎn)位置中為止，來產(chǎn)生鄰近相機之間的重疊。然而，將相機放置成彼此平行可導致重疊隨著物距增加而增加，而不重疊區(qū)域?qū)⒉辉谠黾拥奈锞嗵幵黾?重疊百分比將接近100％)，并且因此在某些實施例中可能不是可采用的解決方案。使相機稍微朝中心線旋轉(zhuǎn)來產(chǎn)生一些重疊可在每一方向上導致大約10度的重疊。然而，取決于每一相機的大小和相對定位以及所述陣列的高度限制，可能不存在足夠的空間可供并排放置兩個旋轉(zhuǎn)的相機。

圖6說明根據(jù)圖3A和3B中所說明的無視差設計原理來設計的陣列相機1000的實施例。圖6的相機是通過擴展四相機陣列相機以包含額外的兩個相機和兩個鏡面表面來建構的六相機910A到910F陣列相機。在此實施例中，相機910A到910F可歸因于空間限制而旋轉(zhuǎn)。

IV.實例圖像捕獲過程的概述

圖7說明折疊光學圖像捕獲過程900的實施例。過程900開始于框905，其中提供多個成像傳感器組合件。此框包含上文相對于先前圖像所論述的傳感器陣列配置中的任一者，其中傳感器和相關聯(lián)的光折疊表面是根據(jù)本文所揭示的無視差設計概念來布置的。如上文所論述，所述傳感器組合件可包含定位成將來自透鏡系統(tǒng)的光再引導到傳感器上的傳感器、透鏡系統(tǒng)和折射性或反射性表面。過程900接著移動到框910，其中將至少一個折射性或反射性表面安裝成接近于所述多個圖像傳感器。舉例來說，此框可包括將中心鏡反射性元件安裝在傳感器陣列的兩行之間，其中所述中心鏡反射性元件包括與所述陣列中的每一傳感器相關聯(lián)的表面。

過程900接著轉(zhuǎn)到框915，其中包括使場景的目標圖像的光從至少一個反射性表面朝成像傳感器反射回來。舉例來說，所述光的一部分可由多個表面中的每一者朝所述多個傳感器中的每一者折射或反射回來。此框可進一步包含使光穿過與每一傳感器相關聯(lián)的透鏡組合件，且還可包含將離開第二表面的光反射到傳感器上?？?15可進一步包括使用透鏡組合件或通過所述反射性表面中的任一者的移動來聚焦所述光。

過程900接著可移動到框920，其中傳感器捕獲目標圖像場景的多個圖像。舉例來說，每一傳感器可捕獲場景的對應于所述傳感器的視野的一部分的圖像。所述多個傳感器的視野一起覆蓋物空間中的至少所述目標圖像。盡管未說明，但可將投影變換應用于所捕獲圖像中的一些或全部，以便以數(shù)字方式旋轉(zhuǎn)用以捕獲所述圖像的相機的光軸。

過程900接著可轉(zhuǎn)變到框925，其中執(zhí)行圖像拼接方法以從所述多個圖像產(chǎn)生單個圖像。在一些實施例中，圖2的圖像拼接模塊240可執(zhí)行此框。這可包含已知圖像拼接技術。另外，視野中的任何重疊區(qū)域可產(chǎn)生所述多個圖像中的重疊，其可用于在拼接過程中使所述圖像對準。舉例來說，框925可進一步包含識別鄰近圖像的重疊區(qū)域中的共同特征且使用所述共同特征來對準圖像。

接下來，過程900轉(zhuǎn)變到框930，其中拼接的圖像按指定縱橫比(例如4:3或1:1)裁剪。最后，過程在框935處存儲經(jīng)裁剪的圖像之后結束。舉例來說，圖像可存儲在圖2的存儲裝置210中，或可存儲在圖2的工作存儲器205中以用于顯示為目標場景的預覽圖像。

V.實施系統(tǒng)和術語

本文所揭示的實施方案提供用于無視差和傾斜假影的多個光圈陣列相機的系統(tǒng)、方法和設備。所屬領域的技術人員將認識到，這些實施例可用硬件、軟件、固件或其任何組合來實施。

在一些實施例中，可在無線通信裝置中利用上文所論述的電路、過程和系統(tǒng)。無線通信裝置可為用來與其它電子裝置無線通信的一種電子裝置。無線通信裝置的實例包含蜂窩式電話、智能電話、個人數(shù)字助理(PDA)、電子閱讀器、游戲系統(tǒng)、音樂播放器、上網(wǎng)本、無線調(diào)制解調(diào)器、膝上型計算機、平板計算機裝置等。

無線通信裝置可包含：一或多個圖像傳感器；兩個或更多個圖像信號處理器；一個存儲器，其包含用于實施上文所論述的過程的指令或模塊。裝置也可具有數(shù)據(jù)、從存儲器加載指令和/或數(shù)據(jù)的處理器、一或多個通信接口、一或多個輸入裝置、一或多個輸出裝置(例如，顯示裝置)和電源/接口。無線通信裝置可另外包含發(fā)射器和接收器。發(fā)射器和接收器可共同被稱作收發(fā)器。收發(fā)器可耦合到一或多個天線以用于發(fā)射和/或接收無線信號。

無線通信裝置可無線地連接到另一電子裝置(例如，基站)。無線通信裝置或者可被稱作移動裝置、移動臺、訂戶臺、用戶設備(UE)、遠程站、接入終端、移動終端、終端、用戶終端、訂戶單元等。通信裝置的實例包含膝上型或桌上型計算機、蜂窩式電話、智能電話、無線調(diào)制解調(diào)器、電子閱讀器、平板裝置、游戲系統(tǒng)等。無線通信裝置可根據(jù)例如第三代合作伙伴計劃(3GPP)等一或多個業(yè)界標準來操作。因此，通用術語“無線通信裝置”可包含根據(jù)業(yè)界標準以變化的命名法來描述的無線通信裝置(例如，接入終端、使用者設備(UE)、遠端終端等)。

可將本文中所描述的功能作為一或多個指令而存儲在處理器可讀或計算機可讀媒體上。術語“計算機可讀媒體”是指可由計算機或處理器存取的任何可用媒體。作為實例而非限制，此類媒體可包括RAM、ROM、EEPROM、快閃存儲器、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置或可用來存儲呈指令或數(shù)據(jù)結構的形式的所要程序代碼并且可由計算機存取的任何其它媒體。如本文中所使用，磁盤和光盤包含壓縮光盤(CD)、激光光盤、光學光盤、數(shù)字多功能光盤(DVD)、軟磁盤和光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學方式再現(xiàn)數(shù)據(jù)。應注意，計算機可讀媒體可為有形且非暫時性的。術語“計算機程序產(chǎn)品”是指計算裝置或處理器，其與可由計算裝置或處理器執(zhí)行、處理或計算的代碼或指令(例如，“程序”)組合。如本文中所使用，術語“代碼”可指可由計算裝置或處理器執(zhí)行的軟件、指令、代碼或數(shù)據(jù)。

還可通過傳輸媒體來傳輸軟件或指令。舉例來說，如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線路(DSL)或無線技術(例如，紅外線、無線電和微波)從網(wǎng)站、服務器或其它遠程源傳輸軟件，那么同軸電纜、光纖電纜、雙絞線、DSL或無線技術(例如，紅外線、無線電和微波)包含在傳輸媒體的定義中。

本文中所揭示的方法包括用于實現(xiàn)所描述的方法的一或多個步驟或動作。在不偏離所附權利要求書的范圍的情況下，方法步驟和/或動作可彼此互換。換句話說，除非正描述的方法的適當操作需要步驟或動作的特定次序，否則，在不脫離所附權利要求書的范圍的情況下，可修改特定步驟和/或動作的次序和/或使用。

應注意，如本文中所使用，術語“耦合”、“正耦合”、“經(jīng)耦合”或詞語耦合的其它變化可指示間接連接或者直接連接。舉例來說，如果第一組件“耦合”到第二組件，那么第一組件可間接連接到第二組件或者直接連接到第二組件。如本文所使用，術語“多個”指示兩個或多于兩個。舉例來說，多個組件指示兩個或多于兩個組件。

術語“確定”涵蓋各種各樣的動作，且因此“確定”可包含計算、估計、處理、導出、調(diào)查、查找(例如，在表、數(shù)據(jù)庫或另一數(shù)據(jù)結構中查找)、查實等。并且，“確定”可包含接收(例如，接收信息)、存取(例如，在存儲器中存取數(shù)據(jù))等。并且，“確定”可包含解析、選擇、挑選、建立等等。

除非以其它方式明確地指定，否則短語“基于”并不意味著“僅基于”。換句話說，短語“基于”描述“僅基于”與“至少基于”兩者。

在以下描述中，給出特定細節(jié)以提供對實例的透徹理解。然而，所屬領域的技術人員將理解，可在沒有這些具體細節(jié)的情況下實踐所述實例。舉例來說，可在框圖中示出電組件/裝置，以免用不必要的細節(jié)混淆所述實例。在其它實例中，可詳細示出此些組件、其它結構和技術以進一步解釋所述實例。

本文中包含數(shù)個標題，是為了參考和輔助定位各個部分。這些標題無意限制關于其描述的概念的范圍。此類概念可在整個說明書中都適用。

還應注意，可將所述實例描述成過程，所述過程被描繪成流程圖表、流程圖、有限狀態(tài)圖、結構圖或框圖。雖然流程圖表可將操作描述成循序過程，但許多操作可并行或同時執(zhí)行，并且所述過程可重復。另外，可重新排列操作的順序。過程在其操作完成時終止。過程可對應于方法、功能、程序、子例程、子程序等。當過程對應于軟件功能時，過程的終止對應于功能返回到調(diào)用功能或主功能。

提供對所揭示實施方案的先前描述以使得所屬領域的技術人員能夠制作或使用本發(fā)明。所屬領域的技術人員將易于了解對這些實施方案的各種修改，且本文中定義的一般原理可應用于其它實施方案而不脫離本發(fā)明的精神或范圍。因此，本發(fā)明無意限于本文中所示的實施方案，而是將被賦予與本文中所揭示的原理和新穎特征相一致的最廣范圍。