背景

立體光學(xué)成像是一種用于對物體的三維輪廓成像的技術(shù)。在這一技術(shù)中，物體被并發(fā)地從兩個不同視角觀察，這兩個不同視角相隔一固定的水平距離。并發(fā)圖像的對應(yīng)像素間的差異的量提供了對于到成像在各像素上的物體軌跡的距離的估計。立體光學(xué)成像提供了許多期望的特征，諸如良好的空間分辨率和邊緣檢測、對于環(huán)境光和圖案化物體的容忍度、以及大的深度感測范圍。然而，這一技術(shù)是計算上昂貴的，提供了有限的視野，并且對于光學(xué)遮擋和成像分量的不對準(zhǔn)是敏感的。

概述

在一個實施例中，本公開提供了一種具有間隔一固定距離的第一和第二成像陣列、第一和第二驅(qū)動器、以及經(jīng)調(diào)制的光源的成像系統(tǒng)。所述第一成像陣列包括分布在多個強度響應(yīng)像素上的多個相位響應(yīng)像素；所述經(jīng)調(diào)制的光源被配置成在所述第一成像陣列的視野中發(fā)射經(jīng)調(diào)制的光。所述第一驅(qū)動器被配置成調(diào)制來自經(jīng)調(diào)制的光源的光輸出并且同步地控制來自所述相位響應(yīng)像素的電荷收集。所述第二驅(qū)動器被配置成識別所述第一成像陣列的強度響應(yīng)像素和所述第二成像陣列的對應(yīng)的強度響應(yīng)像素之間的位置差異。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現(xiàn)。

附圖簡述

圖1是示例環(huán)境的示意平面圖，其中成像系統(tǒng)被用于對物體成像。

圖2示出了圖1的成像系統(tǒng)的示例右成像陣列的各方面。

圖3示出了與圖2的右成像陣列相關(guān)聯(lián)的光學(xué)過濾器的示例透射光譜。

圖4示出了經(jīng)由圖1的成像系統(tǒng)實施的示例深度感測方法。

詳細描述

現(xiàn)在將參考以上列出的附圖來描述本公開的各方面?；旧舷嗤慕M件、過程步驟和其他元素被協(xié)調(diào)地標(biāo)識并且以重復(fù)最小的方式描述。然而，將注意，同等地標(biāo)識的各元素也可在一定程度上不同。將進一步注意到，附圖是示意性的并且通常未按照比例繪制。當(dāng)然，附圖中所示的各種繪圖比例、縱橫比、以及組件的數(shù)量可故意地失真，以更容易看到某些特征或關(guān)系。

圖1是示例環(huán)境10的示意平面圖，其中成像系統(tǒng)12被用于對物體14成像。術(shù)語“成像”、“對……成像”等在本文中指的是捕獲平面圖像、深度圖像、灰度圖像、彩色圖像、紅外(ir)圖像、靜態(tài)圖像、以及時間解析的一系列靜態(tài)圖像(即視頻)。

圖1中的成像系統(tǒng)12指向物體14的輪廓化的前表面16；這是正被成像的表面。在其中物體可相對于成像系統(tǒng)移動或反之的場景中，多個物體表面可被成像。圖1中的物體的示意呈現(xiàn)不旨在在任何意義上進行限制，因為本公開適用于對許多不同種類的物體進行成像：例如內(nèi)部和外部物體、背景和前景物體、以及諸如人之類的生物。

成像系統(tǒng)12被配置成輸出表示物體14的圖像數(shù)據(jù)18。圖像數(shù)據(jù)可被傳送給圖像接收器20——例如個人計算機、家庭娛樂系統(tǒng)、平板、智能電話、或游戲系統(tǒng)。圖像數(shù)據(jù)可經(jīng)由任何合適的接口傳送——例如諸如通用串行總線(usb)之類的有線接口、或諸如wi-fi或藍牙接口之類的無線接口。圖像數(shù)據(jù)可被用在圖像接收器20中用于各種目的——例如用于為虛擬現(xiàn)實(vr)應(yīng)用構(gòu)造環(huán)境10的地圖、或者用于記錄來自圖像接收器的用戶的姿勢輸入。在一些實施例中，成像系統(tǒng)12和圖像接收器20可被一起集成在同一設(shè)備中——例如具有近眼顯示器部件的可佩戴設(shè)備。

成像系統(tǒng)12包括兩個相機：具有右成像陣列24的右相機22、以及具有左成像陣列28的左相機26。右和左成像陣列相隔固定的水平距離d。將會理解，應(yīng)用命名“右”和“左”僅僅是為了方便在所例示的配置中的組件標(biāo)識。然而，本公開對于是所例示出的那些的鏡像圖像的配置也同等地滿足。換言之，命名“右”和“左”可被整體互換以獲得同樣可接受的描述。類似的，相機和相關(guān)聯(lián)的部件可垂直地或傾斜地分隔，并且被命名為“上”和“下”而不是“右”和“左”，而不背離本公開的精神或范圍。

繼續(xù)圖1，光學(xué)過濾器被布置成在左和右成像陣列的每一個的前方：光學(xué)過濾器30被布置在右成像陣列的前方，而光學(xué)過濾器32被布置在左成像陣列的前方。每一個光學(xué)過濾器被配置成僅讓對在相關(guān)聯(lián)的成像陣列上成像有用的那些波長通過。除了光學(xué)過濾器，物鏡系統(tǒng)被布置成在右和左成像陣列的每一個的前方：物鏡系統(tǒng)34被布置在右成像陣列的前方，而物鏡系統(tǒng)36被布置在左成像陣列的前方。每一個物鏡系統(tǒng)收集在一定場角度范圍上的光并且將這樣的光引導(dǎo)到相關(guān)聯(lián)的成像陣列上，從而將每一個場角度映射到成像陣列的對應(yīng)像素。在一個實施例中，對于兩個相機，物鏡系統(tǒng)所接受的場角度范圍覆蓋水平方向上的60度以及垂直方向上的40度。也構(gòu)想了其他場角度范圍。總的來說，物鏡系統(tǒng)可被配置成使得右和左成像陣列具有重疊的視野，從而允許物體14(或其一部分)能夠在重疊區(qū)域內(nèi)被看到。

在以上描述的配置中，來自右成像陣列24和左成像陣列28的強度響應(yīng)像素的圖像數(shù)據(jù)(分別是右圖像和左圖像)可經(jīng)由立體視覺算法被組合以獲得深度圖像。本文中的術(shù)語“深度圖像”指的是具有與每一個像素相關(guān)聯(lián)的深度值zi的矩形像素陣列(xi,yi)。在一些變例中，深度圖像的每一個像素還可具有一個或多個相關(guān)聯(lián)的亮度或色彩值——例如針對紅光、綠光、以及藍光的每一個的亮度值。

為了從一對立體圖像中計算深度圖像，可使用圖案匹配來標(biāo)識右和左圖像的對應(yīng)(即匹配)像素，該標(biāo)識基于它們的差異提供了立體光學(xué)深度估計。更具體地，對于右圖像的每一個像素，標(biāo)識左圖像的對應(yīng)(即匹配)像素。對應(yīng)像素被假設(shè)對物體的相同軌跡成像。隨后針對每一對對應(yīng)的像素識別位置差異δx,δυ。位置差異表示給定物體軌跡在左圖像中的像素位置相對于右圖像的偏移。如果成像系統(tǒng)12是水平取向的，則任何軌跡的深度坐標(biāo)zi是位置差異的水平分量δx和成像系統(tǒng)12的各個固定參數(shù)值的函數(shù)。這類固定參數(shù)值包括右和左成像陣列之間的距離d、右和左成像陣列的相應(yīng)的光軸、以及物鏡系統(tǒng)的焦距。在成像系統(tǒng)12中，在立體光學(xué)驅(qū)動器38中執(zhí)行立體視覺算法，立體光學(xué)驅(qū)動器38可包括用于圖案匹配的專用自動特征提取(afe)處理器。

在一些實施例中，右和左立體圖像可在環(huán)境光條件下捕獲而無需額外的光照源。在這一配置下，可用深度信息的量是成像表面16的2d特征密度的函數(shù)。如果該表面是無特征的(例如，光滑并且全部是同一顏色)，則將沒有深度信息可用。為了解決這一不足，成像系統(tǒng)12可選地包括結(jié)構(gòu)化光源40。該結(jié)構(gòu)化光源被配置成在左成像陣列的視野中發(fā)射結(jié)構(gòu)化光；該結(jié)構(gòu)化光源包括高強度發(fā)光二極管(led)發(fā)射器42以及重分布光學(xué)元件44。重分布光學(xué)元件被配置成收集和成角度地重新分布來自led發(fā)射器的光，使得光以定義的結(jié)構(gòu)從左相機26的物鏡系統(tǒng)36周圍的環(huán)形孔徑中投射出。投射的光中所得到的結(jié)構(gòu)可包括亮線或點的規(guī)則圖案，例如或偽隨機圖案以避免混淆問題。在一個實施例中，led發(fā)射器42可被配置成發(fā)射可見光——例如與基于硅的成像陣列的量子效率最大值匹配的綠光。在另一實施例中，led發(fā)射器可被配置成發(fā)射ir或近ir光。以此方式，結(jié)構(gòu)化光源40可被配置成在幾乎任何無特征表面上給予可成像的結(jié)構(gòu)，以便改善立體光學(xué)成像的可靠性。

雖然如以上所描述的，物體14的深度圖像可經(jīng)由立體光學(xué)成像來計算，但是這一技術(shù)存在若干個限制的問題。首先并且最主要的，所要求的圖案匹配算法是計算昂貴的，通常要求專用處理器或?qū)Ｓ眉呻娐?asic)。此外，立體光學(xué)成像易受光學(xué)遮擋的影響，在無特征表面上不提供信息(除非與結(jié)構(gòu)化光源一起使用)并且對于成像組件的不對齊相當(dāng)敏感——無論是由制造公差所導(dǎo)致的靜態(tài)不對齊，還是由溫度變化和成像系統(tǒng)12的機械彎曲導(dǎo)致的動態(tài)不對齊。

為了解決這些問題，同時仍然提供其它優(yōu)點，成像系統(tǒng)12的右相機22被配置成工作為飛行時間(tof)深度相機以及平面圖像相機。為此目的，右相機包括經(jīng)調(diào)制的光源46和tof驅(qū)動器48。為了支持tof成像，右成像陣列24包括多個相位響應(yīng)像素，作為對強度響應(yīng)像素的補充。

經(jīng)調(diào)制的光源46被配置成在右成像陣列24的視野中發(fā)射經(jīng)調(diào)制的光；該經(jīng)調(diào)制的光源46包括固態(tài)ir或近ir激光器50以及環(huán)形投射光學(xué)元件52。環(huán)形投射光學(xué)元件被配置成收集來自激光器的發(fā)射并重新引導(dǎo)該發(fā)射，使得該發(fā)射從右相機22的物鏡系統(tǒng)34周圍的環(huán)形孔徑中投射出。

tof驅(qū)動器48可包括圖像信號處理器(isp)。tof驅(qū)動器被配置成調(diào)制來自經(jīng)調(diào)制的光源46的光輸出并且同步地控制來自右成像陣列24的相位響應(yīng)像素的電荷收集。激光器可以是脈沖調(diào)制的或者連續(xù)波(cw)調(diào)制的。在其中使用cw調(diào)制的實施例中，兩個或更多個頻率可以是疊加的，以克服時域中的混淆。

在一些配置和場景中，成像系統(tǒng)12的右相機22可由其自己使用來提供物體14的tof深度圖像。與立體光學(xué)成像形成對比，tof方式從計算能力方面而言相對便宜，不易受光學(xué)遮擋影響，不要求無特征表面上的結(jié)構(gòu)化光，并且對于對齊問題相對不敏感。另外，tof成像通常展現(xiàn)優(yōu)越的運動穩(wěn)定性，因為其根據(jù)“全局快門”原理來工作。另一方面，典型的tof相機在深度感測范圍方面稍有些更受限，對于環(huán)境光和鏡面反射表面的容忍度較低，并且可能受多路徑反射混淆。

以上提到的不足，無論是對于立體光學(xué)成像還是tof成像，都在本文公開的配置和方法中得到解決?？偠灾?，本公開提供了部分基于tof成像并且部分基于立體光學(xué)成像的混合深度感測模式。

利用兩種形式的深度成像的獨特優(yōu)點，(圖2中所呈現(xiàn)的)右成像陣列24的特別的像素結(jié)構(gòu)促成了這些混合模式。

圖2示出右成像陣列24的各方面。此處，放大地示出了各個像素元件，像素的數(shù)量被縮減。右成像陣列包括分布在多個強度響應(yīng)像素56上的多個相位響應(yīng)像素54。在一個實施例中，右成像陣列可以是電荷耦合器件(ccd)陣列。在另一實施例中，右成像陣列可以是互補金屬氧化物半導(dǎo)體(cmos)陣列。相位響應(yīng)像素54可被配置用于門控脈沖tof成像，或者以其它方式被配置用于連續(xù)波(cw)鎖相tof成像。

在圖2中示出的實施例中，每一個相位響應(yīng)像素54都包括第一像素元件58a、相鄰的第二像素元件58b，并且還可包括附圖中未示出的另外的像素元件。每一個相位響應(yīng)像素元件可包括一個或多個梳狀柵、傳輸門和/或半導(dǎo)體基底上外延形成的集電節(jié)點。每一個相位響應(yīng)像素的像素元件可被編址以便提供與來自經(jīng)調(diào)制的光源的發(fā)射同步的兩個或多個整合周期。整合周期可在相位和/或總整合時間上不同?；谠诓煌现芷谄陂g在這些像素元件上積聚的差分(而在一些實施例中是共模)電荷的相對量，可評估距物體的軌跡的距離。

如上文提到的，像素元件58a和58b的編址與經(jīng)調(diào)制的光源46的經(jīng)調(diào)制的發(fā)射同步。在一個實施例中，激光器50和第一像素元件58a被同時通電，同時第二像素元件58b相對于第一像素元件180°異相通電?；诘谝幌袼卦偷诙袼卦蟹e聚的相對電荷量，在成像像素陣列中接收到的反射脈沖光相對于探測調(diào)制的相位角被計算出。根據(jù)該相位角，可基于已知的光在空氣中的速度來計算到對應(yīng)軌跡的距離。

在圖2中示出的實施例中，連續(xù)的相位響應(yīng)像素54被布置成平行的行60，位于中間的、連續(xù)的強度響應(yīng)像素56的各相互平行的行62之間。雖然附圖示出單個中間行的強度響應(yīng)像素位于相鄰的相位響應(yīng)像素的行之間，但是其它合適的配置可包括兩個或更多個中間行。在其中使用可見光來執(zhí)行立體光學(xué)成像的實施例中，每一個相位響應(yīng)像素可包括一個光學(xué)過濾器層(在圖2中以陰影來表示)，光學(xué)過濾器層被配置成阻擋經(jīng)調(diào)制的光源的發(fā)射頻帶之外(例如以下)的波長。在這樣的實施例中，光學(xué)過濾器30可包括雙帶通濾波器，該雙帶通濾波器被配置成透射可見光并且阻擋經(jīng)調(diào)制的光源46的發(fā)射頻帶之外的紅外光。圖3中示出了光學(xué)過濾器30的代表性的透射光譜。

在圖2的實施例中，給定行的一組64個兩個連續(xù)相位響應(yīng)像素被并發(fā)地編址以提供針對該組的多個電荷存儲。這一配置可提供三個或四個電荷存儲。多個電荷存儲使得tof信息能夠以對于物體或場景的運動的最小的影響而被捕捉。每一個電荷存儲以不同的深度函數(shù)收集信息。多個電荷存儲還可實現(xiàn)對運動中的相機的2d圖像的超高分辨率，從而改善了配準(zhǔn)。

右成像陣列24的朝向在本公開的不同實施例中可以是不同的。在一個實施例中，相位響應(yīng)和強度響應(yīng)像素的各平行行可被垂直地布置以獲得更好的tof分辨率，尤其是當(dāng)兩個或更多個相位響應(yīng)像素54被一起編址時(以實現(xiàn)多個電荷存儲)。這一配置還降低了像素組64的縱橫比。在其它實施例中，平行行可被水平地布置，已獲得對于水平差異的更精細的識別。

雖然圖2示出了跨右成像陣列24的均勻的像素分布，但這一方面并不是必須的。在一些實施例中，右成像陣列的強度響應(yīng)像素56僅被包括在右成像陣列的對右和左成像陣列的視野之間的重疊區(qū)域成像的部分中。右成像陣列的剩余部分可僅包括相位響應(yīng)像素54。在這一實施例中，右成像陣列的重疊成像部分可被布置在右成像陣列的左邊部分上。重疊成像部分的寬度可針對成像系統(tǒng)的期望應(yīng)用、基于物體14相對于成像系統(tǒng)12的預(yù)定的、最可能的深度范圍來確定。

與右成像陣列24相反，左成像陣列28可以是僅僅強度響應(yīng)像素的陣列。在一個實施例中，左成像陣列可以是紅－綠－藍(rgb)彩色像素陣列。相應(yīng)地，第二成像陣列的強度響應(yīng)像素包括紅光、綠光、以及藍光透射過濾元件。在另一實施例中，左成像陣列可以是未經(jīng)過濾的單色陣列。在一些實施例中，左成像陣列的像素至少對ir或近ir有一定敏感。這一配置將實現(xiàn)例如在黑暗中的立體光學(xué)成像。代替額外的tof驅(qū)動器，通用的左相機驅(qū)動器65可被用來質(zhì)詢左成像陣列。在一些實施例中，左成像陣列的像素級分辨率可大于右成像陣列的像素級分辨率。例如，左成像陣列可以是高分辨率彩色相機的成像陣列。在這種類型的配置中，成像系統(tǒng)12可向圖像接收器20不僅提供有用的深度圖像，還提供高分辨率彩色圖像。

圖4例示了在具有右和左成像陣列的成像系統(tǒng)中執(zhí)行的示例深度成像方法66，其中右和左成像陣列間隔固定距離并被配置成對物體成像。所例示的該方法的各步驟可針對物體的多個表面點的每一個來執(zhí)行，并且這些點可取決于實施例以各種方式來選擇。在一些實施例中，所選擇的表面點是被成像到右成像陣列24的強度響應(yīng)像素上的點(每一個、隔一個、每三個強度響應(yīng)像素等)。在其它實施例中，多個表面點可以是在來自右成像陣列的強度響應(yīng)像素的圖像數(shù)據(jù)中自動識別出的密集或稀疏的特征點子集——例如當(dāng)物體由環(huán)境光照亮?xí)r。在又一些其它實施例中，多個表面點可以是具體由來自成像系統(tǒng)的結(jié)構(gòu)化光源的結(jié)構(gòu)化光所照亮的點。在方法66的一些實施方式中，這些多個表面點可以是依次通過光柵的。在其它實施方式中，多個表面點中的兩個或更多個子集可各自被分派給其自己的處理器核并且被并行處理。

在方法66的68，來自成像系統(tǒng)的經(jīng)調(diào)制的光源的發(fā)射經(jīng)由脈沖或連續(xù)波調(diào)制來調(diào)制。同步地，在70，來自成像系統(tǒng)的右成像陣列的相位響應(yīng)像素的電荷收集被控制。在72，這些動作提供了對于物體的每一個表面點的tof深度估計。在74，為每一個表面點計算tof深度估計中的不確定性。簡單來說，右成像陣列的相位響應(yīng)像素可經(jīng)由不同門控方案來編址，從而得到tof深度估計的分布。分布的寬度是對當(dāng)前表面點處的tof深度估計的不確定性的替代。

在76，確定tof深度估計的不確定性是否低于預(yù)定閾值。如果不確定性低于預(yù)定閾值，則當(dāng)前表面點的立體光學(xué)深度估計被確定為非必要，并且對于當(dāng)前表面點可被忽略。在這一場景中，提供tof深度估計(在以下的86)作為最終的深度輸出，從而減少了必需的計算工作量。如果不確定性不低于預(yù)定閾值，則方法繼續(xù)到78，在78，基于該點的tof深度估計和已知的成像系統(tǒng)參數(shù)來預(yù)測右和左立體圖像之間的位置差異。

在80，基于預(yù)測的差異來選擇左圖像的搜索區(qū)域。在一個實施例中，搜索區(qū)域可以是以目標(biāo)像素周圍為中心的一組像素。目標(biāo)像素可以相對于右成像陣列的給定像素偏移等于預(yù)測的差異的量。在一個實施例中，在74計算的不確定性控制對應(yīng)于該點的被搜索子集的大小。具體地，當(dāng)不確定性大時，可搜索目標(biāo)像素周圍的較大的子集，而當(dāng)不確定性小時，可搜索目標(biāo)像素周圍的較小的子集。這減少了后續(xù)圖案匹配中的不必要的計算工作量。

在82，在左圖像的被選擇的搜索區(qū)域內(nèi)執(zhí)行圖案匹配算法以定位左成像陣列的對應(yīng)于右成像陣列的給定強度響應(yīng)像素的強度響應(yīng)像素。這一處理得到對應(yīng)像素之間的更精細的差異。在84，右成像陣列的強度響應(yīng)像素和左成像陣列的對應(yīng)的強度響應(yīng)像素之間的更精細的差異被識別，以便為物體的多個表面點的每一個提供立體光學(xué)深度估計。

在86，成像系統(tǒng)基于tof深度估計和立體光學(xué)深度估計為物體的多個表面點的每一個返回輸出。在一個實施例中，返回的輸出包括對tof深度估計和立體光學(xué)深度估計的加權(quán)平均。在其中tof不確定性可用的實施例中，tof和立體光學(xué)深度估計的相對權(quán)重可基于不確定性來調(diào)整，以便提供針對當(dāng)前表面點的更準(zhǔn)確的輸出：更準(zhǔn)確的tof估計被賦予更重的權(quán)重，越不準(zhǔn)確的tof估計被賦予較輕的權(quán)重。在一些實施例中，如果不確定性或深度分布指示多個反射已污染了當(dāng)前表面點附近的tof估計，則tof估計可被完全忽略。

在又一些其它實施例中，在86，返回輸出可包括使用立體光學(xué)估計來過濾來自與第一成像陣列的強度響應(yīng)像素的被搜索的子集相對應(yīng)的相位響應(yīng)像素的噪聲。換言之，立體光學(xué)深度測量可被選擇性地使用——即在tof圖像被過量的噪聲毀壞的區(qū)域中被使用——而在tof噪聲未過量的區(qū)域中被忽略。這一策略可被用于是整體計算量更經(jīng)濟。

從前述描述中顯而易見，本文所描述的方法和過程可被綁定到一個或多個計算機器的計算系統(tǒng)—例如圖1的tof驅(qū)動器48、左相機驅(qū)動器65、立體光學(xué)驅(qū)動器38、以及圖像接收器20。這樣的方法和過程可被實現(xiàn)為計算機應(yīng)用程序或服務(wù)、應(yīng)用編程接口(api)、庫和/或其它計算機程序產(chǎn)品。每個計算機器可包括邏輯機90、相關(guān)聯(lián)的計算機存儲機92、以及通信機94(針對圖像接收器20顯式地示出，并且在其它計算機器中也存在)。

每個邏輯機90包括被配置成執(zhí)行指令的一個或多個物理邏輯設(shè)備。邏輯機可被配置成執(zhí)行作為以下各項的一部分的指令：一個或多個應(yīng)用、服務(wù)、程序、例程、庫、對象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造。這種指令可被實現(xiàn)以執(zhí)行任務(wù)、實現(xiàn)數(shù)據(jù)類型、轉(zhuǎn)換一個或多個組件的狀態(tài)、實現(xiàn)技術(shù)效果、或以其他方式得到期望結(jié)果。

邏輯機90可包括被配置成執(zhí)行軟件指令的一個或多個處理器。作為補充或替換，邏輯機可包括被配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機。邏輯機的處理器可以是單核或多核，且在其上執(zhí)行的指令可被配置用于串行、并行和/或分布式處理。邏輯機的各個組件可任選地分布在兩個或更多單獨設(shè)備上，這些設(shè)備可以位于遠程和/或被配置用于進行協(xié)同處理。邏輯機的各方面可由以云計算配置進行配置的可遠程訪問的聯(lián)網(wǎng)計算設(shè)備來虛擬化和執(zhí)行。

計算機存儲機92包括被配置成保持可由相關(guān)聯(lián)的邏輯機90執(zhí)行以實現(xiàn)此處描述的方法和過程的指令的一個或多個物理計算機存儲器設(shè)備。在實現(xiàn)這些方法和過程時，可以變換計算機存儲機的狀態(tài)—例如以保存不同的數(shù)據(jù)。

計算機存儲機可包括可移動的和/或內(nèi)置設(shè)備；它可包括光學(xué)存儲器(例如，cd、dvd、hd-dvd、藍光碟等)、半導(dǎo)體存儲器(例如，ram、eprom、eeprom等)、和/或磁性存儲器(例如，硬盤驅(qū)動器、軟盤驅(qū)動器、磁帶驅(qū)動器、mram等)、以及其他。計算機存儲機可以包括易失性的、非易失性的、動態(tài)的、靜態(tài)的、讀/寫的、只讀的、隨機存取的、順序存取的、位置可定址的、文件可定址的、和/或內(nèi)容可定址的設(shè)備。

可以理解，計算機存儲器92包括一個或多個物理設(shè)備。然而，本文所述的指令的各方面替代地可由通信介質(zhì)(如電磁信號、光學(xué)信號等)來傳播，而不是經(jīng)由存儲介質(zhì)進行存儲。

邏輯機90和計算機存儲器92的各方面可被一起集成到一個或多個硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場可編程門陣列(fpga)、程序和應(yīng)用專用的集成電路(pasic/asic)、程序和應(yīng)用專用的標(biāo)準(zhǔn)產(chǎn)品(pssp/assp)、片上系統(tǒng)(soc)以及復(fù)雜可編程邏輯器件(cpld)。

術(shù)語“模塊”、“程序”和“引擎”可用于描述被實現(xiàn)為執(zhí)行一特定功能的計算機系統(tǒng)的一方面。在某些情況下，可經(jīng)由執(zhí)行由計算機存儲機所保持的指令的邏輯機來實例化模塊、程序或引擎。將會理解，可以從同一應(yīng)用、服務(wù)、代碼塊、對象、庫、例程、api、功能等實例化不同的模塊、程序、以及引擎。同樣，同一模塊、程序、以及引擎可由不同的應(yīng)用、服務(wù)、代碼塊、對象、例程、api、功能等實例化。模塊、程序、或引擎可包含可執(zhí)行文件、數(shù)據(jù)文件、庫、驅(qū)動器、腳本、數(shù)據(jù)庫記錄等等的個體或群組。

通信機器94可被配置為將計算系統(tǒng)通信地耦合到一個或多個其它機器，包括服務(wù)器計算機系統(tǒng)。通信機器可以包括與一個或多個不同通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例，通信機器可被配置成用于經(jīng)由無線電話網(wǎng)絡(luò)或者有線或無線局域網(wǎng)或廣域網(wǎng)來進行通信。在一些示例中，通信機器可允許計算機器經(jīng)由諸如因特網(wǎng)這樣的網(wǎng)絡(luò)將消息發(fā)送至其他設(shè)備以及/或者從其它設(shè)備接收消息。

將會理解，此處描述的配置和/或方法本質(zhì)是示例性的，這些具體實現(xiàn)或示例不應(yīng)被視為限制性的，因為許多變體是可能的。本文描述的具體例程或方法可以表示任何數(shù)量的處理策略中的一個或多個。如此，所示和/或所述的各種動作可以以所示和/或所述順序、以其他順序、并行地執(zhí)行，或者被省略。同樣，上述過程的次序可以改變。

本公開涉及了一種包括第一和第二成像陣列、經(jīng)調(diào)制的光源、以及第一和第二驅(qū)動器的成像系統(tǒng)。所述第一成像陣列包括分布在多個強度響應(yīng)像素上的多個相位響應(yīng)像素。所述經(jīng)調(diào)制的光源被配置成在所述第一成像陣列的視野中發(fā)射經(jīng)調(diào)制的光。所述第一驅(qū)動器被配置成調(diào)制所述光并且同步地控制來自所述相位響應(yīng)像素的電荷收集以提供飛行時間深度估計。所述第二成像陣列是被布置成與所述第一成像陣列相距一固定距離的強度響應(yīng)像素的陣列。所述第二驅(qū)動器被配置成識別所述第一成像陣列的強度響應(yīng)像素和所述第二成像陣列的對應(yīng)的強度響應(yīng)像素之間的差異來提供立體光學(xué)深度估計。

以上概括的成像系統(tǒng)可進一步包括結(jié)構(gòu)化光源，所述結(jié)構(gòu)化光源被配置成在所述第二成像陣列的視野中發(fā)射結(jié)構(gòu)化的光。成像系統(tǒng)可進一步包括第一和第二物鏡系統(tǒng)，所述第一和第二物鏡系統(tǒng)被布置成分別在所述第一和第二成像陣列的前面，并且被配置成使得所述第一和第二成像陣列具有重疊的視野。在成像系統(tǒng)的一些實施方式中，所述多個相位響應(yīng)像素被布置成平行的多行連續(xù)相位響應(yīng)像素，位于中間的、連續(xù)的強度響應(yīng)像素的各相互平行的行之間。在這個及其它實施方式中，給定行的一組連續(xù)相位響應(yīng)像素被并發(fā)地編址以提供針對該組的多個電荷存儲。在這個及其它實施方式中，平行的行可被垂直或水平地布置。在這個及其它實施方式中，所述第一成像陣列的強度響應(yīng)像素可僅被包括在所述第一成像陣列的對所述第一和第二成像陣列的視野之間的重疊進行成像的部分中。

以上概括的成像系統(tǒng)可進一步包括雙帶通光學(xué)濾波器，所述雙帶通光學(xué)濾波器被布置在所述第一成像陣列前面并且被配置成透射可見光并且阻擋所述經(jīng)調(diào)制的光源的發(fā)射頻帶之外的紅外光。在成像系統(tǒng)的一些實施方式中，每一個相位響應(yīng)像素包括光學(xué)過濾器層，所述光學(xué)過濾器層被配置成阻擋所述經(jīng)調(diào)制的光源的發(fā)射頻帶之外的波長。在這些及其它實施方式中，所述第二成像陣列的強度響應(yīng)像素可包括紅光、綠光、以及藍光透射過濾元件。所述經(jīng)調(diào)制的光源可以是例如紅外光源。

本公開還涉及一種在具有經(jīng)調(diào)制的光源以及第一和第二成像陣列的成像系統(tǒng)中執(zhí)行的深度感測方法，其中所述第一和第二成像陣列間隔一固定距離并且被配置成對物體成像。該方法包括下述動作：調(diào)制來自經(jīng)調(diào)制的光源的發(fā)射并且同步地控制來自所述第一成像陣列的相位響應(yīng)像素的電荷收集以為所述物體的多個表面點中的每一個提供飛行時間深度估計；識別所述第一成像陣列的強度響應(yīng)像素和所述第二成像陣列的對應(yīng)的強度響應(yīng)像素之間的差異，以便為所述物體的多個表面點中的每一個提供立體光學(xué)深度估計；以及基于所述飛行時間深度估計和所述立體光學(xué)深度估計為所述物體的多個表面點中的每一個返回輸出。

在上述方法的一些實施方式中，所述輸出包括針對所述物體的多個表面點中的每一個的飛行時間深度估計和立體光學(xué)深度估計的加權(quán)平均。所述方法還可包括為所述物體的給定表面點計算飛行時間深度估計的不確定性，并且基于所述不確定性來調(diào)整與該表面點相關(guān)聯(lián)的加權(quán)平均中的相對權(quán)重。在這一及其它實施方式中，該方法還可包括如果所述不確定性低于閾值，則忽略針對所述給定點的立體光學(xué)深度估計。在這些及其它實施方式中，多個表面點可以是由來自成像系統(tǒng)的結(jié)構(gòu)化光源的結(jié)構(gòu)化光所照亮的點。在這些及其它實施方式中，多個表面點可以是在來自第一和第二成像陣列的強度響應(yīng)像素的圖像數(shù)據(jù)中自動識別的特征點。

本公開還涉及另一種在具有經(jīng)調(diào)制的光源以及第一和第二成像陣列的成像系統(tǒng)中執(zhí)行的深度感測方法，其中所述第一和第二成像陣列間隔一固定距離并且被配置成對物體成像。該方法包括下述動作：調(diào)制來自經(jīng)調(diào)制的光源的發(fā)射并且同步地控制來自所述第一成像陣列的相位響應(yīng)像素的電荷收集以為所述物體的多個表面點中的每一個提供飛行時間深度估計；搜索第一和第二成像陣列的強度響應(yīng)像素的子集以標(biāo)識對應(yīng)像素，所搜索的子集是基于搜索飛行時間深度估計來選擇的；識別所述第一成像陣列的強度響應(yīng)像素和所述第二成像陣列的對應(yīng)的強度響應(yīng)像素之間的差異，以便為所述物體的多個表面點中的每一個提供立體光學(xué)深度估計；以及基于所述飛行時間深度估計和所述立體光學(xué)深度估計為所述物體的多個表面點中的每一個返回輸出。在一些實施方式中，以上的方法還可包括為所述物體的每一個表面點計算飛行時間深度估計的不確定性，其中所計算的不確定性決定對應(yīng)于該點的被搜索的子集的大小。在這些及其它實施方式中，基于飛行時間深度估計以及立體光學(xué)深度估計返回輸出可包括使用立體光學(xué)估計來過濾來自與第一成像陣列的強度響應(yīng)像素的被搜索的子集相對應(yīng)的相位響應(yīng)像素的噪聲。

本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其他特征、功能、動作和/或?qū)傩浴⒁约八鼈兊娜我缓腿康葍r物的所有新穎且非顯而易見的組合和子組合。