降低飛行時(shí)間深度成像的功耗的制作方法
本公開涉及用于降低飛行時(shí)間深度成像的功耗的系統(tǒng)及方法。
背景技術(shù)：
設(shè)備與對象之間的距離的感測可以通過從設(shè)備發(fā)射光且測量光從該對象反射且然后被設(shè)備采集所花費(fèi)的時(shí)間來執(zhí)行。距離感測設(shè)備可以包括光傳感器，該光傳感器采集由設(shè)備發(fā)射且然后從環(huán)境中的對象反射的光。
在飛行時(shí)間(tof)三維(3d)圖像傳感器中，圖像傳感器捕獲二維圖像。圖像傳感器進(jìn)一步配備有光源，光源照射對象，對象距設(shè)備的距離是通過檢測發(fā)射的光返回到圖像傳感器所花費(fèi)的時(shí)間來測量的。這提供了第三維信息，允許生成3d圖像。為確定對象距成像設(shè)備的距離的目的而使用光源來照射對象會(huì)使用大量的電力。
技術(shù)實(shí)現(xiàn)要素：
實(shí)施方案的方面涉及操作成像設(shè)備的方法。該方法可以包括：由圖像傳感器捕獲第一圖像；識(shí)別所捕獲的圖像中的對象的至少一部分；通過所述圖像傳感器捕獲第二圖像；從所述第二圖像確定所述對象的所述至少一部分的位置的變化；以及基于所述對象的所述至少一部分的位置的變化來更新深度圖。
實(shí)施方案的方面涉及一種包括圖像傳感器的成像設(shè)備；光源；和圖像處理器。成像設(shè)備被配置為通過圖像傳感器捕獲第一圖像；識(shí)別所捕獲的圖像中的對象的至少一部分；通過所述圖像傳感器捕獲第二圖像；從所述第二圖像確定所述對象的所述至少一部分的位置的變化；以及基于所述對象的所述至少一部分的位置的變化來更新深度圖。
附圖說明
將參考以下圖來對本申請的各方面和實(shí)施方案進(jìn)行說明。將意識(shí)到，圖不一定是按比例繪制。在多個(gè)圖中出現(xiàn)的項(xiàng)在它們出現(xiàn)的所有圖中由相同的附圖標(biāo)記來表示。
圖1a描繪根據(jù)一些實(shí)施方案的經(jīng)配置以感測距離的說明性的成像設(shè)備；
圖1b描繪根據(jù)一些實(shí)施方案的由圖1a中所示的成像設(shè)備產(chǎn)生的說明性的距離映射；
圖2是根據(jù)一些實(shí)施方案的成像設(shè)備的框圖；
圖3是描繪根據(jù)一些實(shí)施方案的確定距離信息的方法的流程圖；
圖4示出根據(jù)一些實(shí)施方案的用于確定到對象的距離的脈沖調(diào)制技術(shù)；
圖5描繪根據(jù)一些實(shí)施方案的單個(gè)成像幀內(nèi)的說明性的脈沖調(diào)制模式；
圖6示出了在一些但不是全部幀中發(fā)射照射光的幀序列。
圖7示出包括本文所述類型的成像設(shè)備的系統(tǒng)的實(shí)施例；
圖8示出包括有本文所述類型的成像設(shè)備的移動(dòng)設(shè)備；
圖9示出包括本文所述類型的成像設(shè)備的游戲控制臺(tái)；和
圖10示出包括本文所述類型的成像設(shè)備的機(jī)器人。
圖11是根據(jù)本公開的實(shí)施方案的使用成像設(shè)備進(jìn)行成像的過程流程圖。
圖12a是根據(jù)本公開的實(shí)施方案的用于確定用于從同一場景的較低質(zhì)量圖像提供來自場景的較高質(zhì)量圖像的一個(gè)或多個(gè)算法參數(shù)的過程流程圖。
圖12b是根據(jù)本公開的實(shí)施方案的使用確定的算法參數(shù)以從捕獲的較低質(zhì)量圖像提供較高質(zhì)量圖像的過程流程圖。
圖13a是根據(jù)本公開的實(shí)施方案的用于確定算法參數(shù)以從所捕獲的圖像提供特征提取的過程流程圖。
圖13b是根據(jù)本公開的實(shí)施方案的從由成像系統(tǒng)捕獲的一組幀中進(jìn)行特征提取的過程流程圖。
圖14是根據(jù)本公開的實(shí)施方案的用于過濾低功率深度圖像的過程流程圖。
圖15是根據(jù)本公開的實(shí)施方案的用于通過剛體轉(zhuǎn)換信息來更新深度圖的過程流程圖。
圖16是根據(jù)本公開的實(shí)施方案的用于確定圖像的逐像素平移以更新深度圖的過程流程圖。
圖17是根據(jù)一些實(shí)施方案的具有慣性測量單元(imu)的成像設(shè)備的框圖。
圖18a是使用結(jié)合使用rgb圖像的深度圖估計(jì)的imu測量數(shù)據(jù)來更新深度圖的過程流程圖。
圖18b是根據(jù)本公開的實(shí)施方案的用于使用慣性測量單元信息來估計(jì)深度圖的過程流程圖。
圖19是根據(jù)本公開的實(shí)施方案的用于使用對物體的運(yùn)動(dòng)的分塊式估計(jì)來更新深度圖的過程流程圖。
圖20是用于外推更新的深度圖的背景像素的過程流程圖。
具體實(shí)施方式
本申請的方面提供用于操作tof3d感測系統(tǒng)的功率高效技術(shù)，使得tof3d感測系統(tǒng)的照射源的操作頻率比距離信息所需要的每一幀低。例如通過比較兩個(gè)二維(2d)圖像來確定距離的低功率替代方式可以用于當(dāng)不使用照射源時(shí)確定到對象的距離。然后，在至少一些實(shí)施方案中，僅當(dāng)其他低功率技術(shù)不足時(shí)，即當(dāng)?shù)凸β侍娲嚯x確定機(jī)制不能確定到被成像對象的距離時(shí)，才使用照射源來確定距離。以這種方式，可以減少照射源消耗的功率。
從二維圖像獲得關(guān)于第三維中的距離的信息可有益于多種應(yīng)用，諸如那些期望三維圖像的應(yīng)用。三維圖像本身在一些設(shè)置中可能是期望的最終目標(biāo)，而在其它設(shè)置中，所確定的第三維中的距離信息可允許跟蹤對象的移動(dòng)或可以輔助做出關(guān)于要采取的措施的決策，例如導(dǎo)航物理環(huán)境。為獲得關(guān)于對象或環(huán)境的第三維的信息，可以使用關(guān)于光照射對象/環(huán)境所花費(fèi)的時(shí)間的信息，稱為“飛行時(shí)間”或簡稱為“tof”。然而，對于圖像或圖像序列的每幀進(jìn)行照射和計(jì)算飛行時(shí)間信息既是處理器密集的，又是能量密集的。為降低處理要求和功率要求，披露了多種用于圖像感測系統(tǒng)的技術(shù)。在一些實(shí)施方案中，圖像感測系統(tǒng)使用飛行時(shí)間照射技術(shù)以及可替代的距離感測技術(shù)，使得飛行時(shí)間技術(shù)基于在對象或環(huán)境中何時(shí)檢測到變化或者某時(shí)間段已經(jīng)經(jīng)過之后來執(zhí)行。
根據(jù)本文所述的一些實(shí)施方案，可以利用成像設(shè)備來確定距離信息，成像設(shè)備被配置成發(fā)射照射光且感測從環(huán)境中的對象反射回到設(shè)備的照射光。在一些情況下，同一成像設(shè)備可另外地捕獲環(huán)境的二維圖像(例如，使用與用來感測反射的照射光的相同的圖像傳感器，或通過其它方式)。在圖1a的tof3d感測系統(tǒng)100中描繪了示例性的成像設(shè)備。
在圖1a的實(shí)施例中，成像設(shè)備110包括圖像傳感器112和照射光源114，兩者都由處理器116控制。三個(gè)示例性的對象105a，105b和105c定位成分別距成像設(shè)備的距離為d2，d1和d3。照射光源114可以是激光光源比如激光二極管，其發(fā)射照射光(例如，激光)，激光從成像設(shè)備向外行進(jìn)，從對象105a-105c反射，并且入射到圖像傳感器112上。將意識(shí)到，為清晰，僅在圖中描繪了那些既入射到對象105a，105b或105c又反射到圖像傳感器的那些光線。而且通常存在其它從照射光源發(fā)射的光線以及沿除了圖中所示的方向之外的方向反射的光線。
圖像傳感器112可被配置成識(shí)別可見光和紅外光(例如，可以是組合rgb和ir傳感器)。在這些情況下，照射光源可以是紅外輻射源，使得圖像傳感器112能夠在同時(shí)接收到的紅外輻射(其包含從環(huán)境中的對象反射的照射光)以及可見光(來自可見譜內(nèi)的環(huán)境中的觀察對象)之間進(jìn)行區(qū)分。圖像傳感器112可以包括任何適合的圖像傳感器技術(shù)，包括但不限于，電荷耦合器件(ccd)或互補(bǔ)金屬氧化物半導(dǎo)體(cmos)成像設(shè)備。
在一些實(shí)現(xiàn)中，圖像傳感器112可以包括采集由成像設(shè)備觀察到的場景的部分的反射照射光的多個(gè)像素。通過分析接收的光，圖像傳感器能夠確定，對于每個(gè)像素，距該像素所觀察到的對象的距離。因此，場景的“距離映射”可以通過圖像傳感器成像，其類似于常規(guī)的二維(2d)圖像，除了每個(gè)像素測量距離而非光強(qiáng)度。圖1a所描繪的場景的示例性的距離映射150顯示在圖1b中。在圖1b所示的圖像160中，距所感測的對象定位距所述成像設(shè)備越遠(yuǎn)，則像素越暗。結(jié)果，從成像設(shè)備所觀察到的對應(yīng)于對象105b的矩形形狀被測量為相對靠近成像設(shè)備(淺灰色)；從成像設(shè)備所觀察到的對應(yīng)于對象105a的三角形形狀被測量處于距成像設(shè)備的中間距離(中灰色)；并且從成像設(shè)備所觀察到的對應(yīng)于對象105c的圓形形狀被測量為距成像設(shè)備相對較遠(yuǎn)(深灰色)。
照射光源114會(huì)消耗大量的電力來提供足夠強(qiáng)以到達(dá)對象105a-105c且反射回圖像傳感器的光。該功耗可以表示tof3d感測系統(tǒng)的可用電力的大部分，尤其是當(dāng)tof3d感測系統(tǒng)是電池供電操作時(shí)，例如用于便攜式設(shè)備。
申請人已經(jīng)認(rèn)識(shí)且意識(shí)到距離感測可以通過成像設(shè)備在期望距離確定的僅一些而非全部情況下發(fā)射照射光以較高功率效率來執(zhí)行。在照射光不由設(shè)備發(fā)射的那些情況下，圖像分析技術(shù)可通過比較成像設(shè)備所捕獲的2d圖像以及檢測那些圖像中的一個(gè)對象或多個(gè)對象如何隨時(shí)間變化而用來估計(jì)距離。
根據(jù)一些實(shí)施方案，當(dāng)照射光被產(chǎn)生且捕獲時(shí)所預(yù)先確定的距離可用作輔助利用2d圖像分析技術(shù)估計(jì)距離的參考。例如，照射光可周期性地發(fā)射以周期性地確定距離，并且在那些發(fā)射之間可以執(zhí)行圖像分析以確定距離(例如，使用利用照射光作為參考點(diǎn)而預(yù)先確定的距離)。
根據(jù)一些實(shí)施方案，是否發(fā)射照射光(以通過采集反射的照射光來確定距離)的決策可基于2d圖像的分析。該分析可以基于一個(gè)或多個(gè)2d圖像來確定距離估計(jì)將有多精確，使得當(dāng)精度降至可接受閾值以下時(shí)，做出利用照射光獲得更精確的距離確定的決策。以這種方式，僅當(dāng)2d圖像分析不產(chǎn)生可接受地精確的距離測量時(shí)才發(fā)射照射光，這可以降低發(fā)射照射光的頻率，從而降低電力使用。
雖然本公開的各方面可用于任何適合的成像設(shè)備，在多個(gè)幀期間(例如，在視頻捕獲中)捕獲光的成像設(shè)備內(nèi)應(yīng)用這些方面尤其有利。一些成像設(shè)備可被配置成最終保留單個(gè)圖像，而在圖像設(shè)備已經(jīng)被激活以保留單個(gè)圖像之前和/或之后多次捕獲圖像(例如，設(shè)備被配置成在單個(gè)圖像捕獲之前顯示場景，以達(dá)到預(yù)覽靜像的目的，和/或設(shè)備被配置成當(dāng)被激活捕獲單個(gè)圖像時(shí)捕獲多個(gè)圖像，使得可以選擇單個(gè)圖像和/或從多個(gè)圖像合成單個(gè)圖像)。為了本文論述的目的，“幀”被視為能適用于如下期間的圖像捕獲：(i)視頻捕獲；以及(ii)靜像捕獲，其中在靜像捕獲過程中多個(gè)圖像寄存在設(shè)備中(包括但不限于上文的那些實(shí)施例)。
根據(jù)一些實(shí)施方案，基于2d圖像的分析確定是否發(fā)射照射光可以在與捕獲2d圖像的相同的幀內(nèi)來執(zhí)行。在相同的幀內(nèi)做出確定可以確保，在確定不發(fā)射照射光的情況下，可以在后續(xù)幀期間內(nèi)捕獲2d圖像，而不存在要做出確定的中間幀。因此，通過在每幀期間捕獲圖像，成像設(shè)備可以高效地工作。根據(jù)一些實(shí)施方案，一旦確定要發(fā)射照射光，在與做出確定的相同的幀內(nèi)發(fā)射照射光?？商娲兀绻诓东@2d圖像的幀內(nèi)沒有足夠的時(shí)間來確定發(fā)射照射光以及還發(fā)射照射光(例如，因?yàn)槌上裨O(shè)備不具有在該幀內(nèi)執(zhí)行全部這些步驟的處理容量，因?yàn)閹瑫r(shí)間極短，和/或由于設(shè)備的處理局限性)，照射光的發(fā)射可以在后續(xù)幀中發(fā)生。
根據(jù)一些實(shí)施方案，使用照射光比如來自激光二極管的激光確定距離可以使用脈沖調(diào)制技術(shù)。在脈沖調(diào)制中，照射光被發(fā)射為已知持續(xù)時(shí)間的脈沖，使得可以識(shí)別反射光脈沖，并且測量其飛行時(shí)間(以及因此確定距對象的距離)。在一些實(shí)現(xiàn)中，脈沖調(diào)制技術(shù)可以利用多個(gè)快門來操作圖像傳感器，每個(gè)快門捕獲所反射的照射光脈沖的一段。在每個(gè)快門期間所測得的反射照射光的小部分可以暗示光脈沖的飛行時(shí)間。該方法的實(shí)施例將在下文結(jié)合圖4進(jìn)行說明。
根據(jù)一些實(shí)施方案，使用照射光確定距離可使用連續(xù)波技術(shù)。在該技術(shù)中，通過測量從對象反射的光想相移來確定到對象的距離。當(dāng)照射光的波長已知時(shí)，相移指示距對象的距離。
下面接著是與距離感測的技術(shù)和實(shí)施方案有關(guān)的各概念的更詳細(xì)說明。應(yīng)當(dāng)理解的是，本文所述的各個(gè)方面可以通過多種方式中的任一種來實(shí)現(xiàn)。在本文提供了具體的實(shí)現(xiàn)的實(shí)施例僅為了示例說明的目的。另外，在下面的實(shí)施方案中所描述的各個(gè)方面可單獨(dú)或組合使用，并且不限于本文明確描述的組合。
圖2是根據(jù)一些實(shí)施方案的tof3d感測系統(tǒng)200的框圖。tof3d感測系統(tǒng)200包括成像設(shè)備201，成像設(shè)備包括經(jīng)由透鏡205和可變光闌208接收來自成像設(shè)備外的光的圖像傳感器210。成像設(shè)備還包括被配置成從設(shè)備發(fā)射照射光的照射光源220。照射光源220可以是激光二極管，并且照射光可以是激光，但是替代選擇是可能的。照射光源220由定時(shí)發(fā)射器214控制，定時(shí)發(fā)生器214還控制可變光闌208，允許圖像傳感器210處于關(guān)閉狀態(tài)(不采集光)或打開狀態(tài)(采集光)。由圖像傳感器210所采集的光由前端212讀出，前端212可包括任何適合的電路系統(tǒng)且根據(jù)由定時(shí)發(fā)生器214所定義的時(shí)鐘來操作。處理器216可以將同步信號提供給定時(shí)發(fā)生器214且從前端212讀取數(shù)字圖像數(shù)據(jù)。
在圖2的實(shí)施例中，照射光源220是激光二極管，但是照射光源通?？梢园ㄈ魏伪慌渲贸僧a(chǎn)生激光或其它類型的光的設(shè)備。根據(jù)一些實(shí)施方案，照射光源220可以包括非可見波長的光(例如，紅外光或近紅外光，作為非限制實(shí)施例)。根據(jù)一些實(shí)施方案，照射光源可以產(chǎn)生單波長光。根據(jù)一些實(shí)施方案，照射光源可以包括將來自源的光引導(dǎo)至環(huán)境內(nèi)的多個(gè)對象的一個(gè)或多個(gè)擴(kuò)散器和/或其它光學(xué)組件。
在圖2的實(shí)施例中，任選的驅(qū)動(dòng)器211和217被包含且如圖所示定位以分別提供圖像傳感器輸出信號和提供給照射光源的照射信號的適當(dāng)?shù)姆糯蠊δ堋?/p>
根據(jù)一些實(shí)施方案，圖像傳感器210可被配置成采集用于產(chǎn)生2d圖像的目的的光以及采集由照射光源220發(fā)射且從環(huán)境中的對象反射的照射光。圖像傳感器210可以多種方式配置而使得這兩個(gè)光源可被區(qū)分開。作為實(shí)施例，根據(jù)一些實(shí)施方案，圖像傳感器的一個(gè)或多個(gè)像素可以包括顏色過濾器(例如，拜耳模式或其它的紅色、綠色和藍(lán)色過濾器)。根據(jù)一些實(shí)施方案，圖像傳感器210可以是組合rgb和ir傳感器。
根據(jù)一些實(shí)施方案，圖像傳感器210可以包括兩組單獨(dú)的像素，每組被配置成唯一地捕獲兩個(gè)光源中的一個(gè)(用于2d圖像的光和反射的照射光)。如上文所述，照射光可以包括非可見波長的光，允許其與采集用于2d圖像的可見光區(qū)分開)。兩個(gè)光源可以分開(例如，通過棱鏡)且被引導(dǎo)至不同的圖像傳感器。
根據(jù)一些實(shí)施方案，圖像傳感器210可以包括兩種不同類型的像素(例如，散布的，例如以棋盤模式)，每種像素被配置成捕獲兩個(gè)光源中的一個(gè)(用于2d圖像的光和反射的照射光)。入射到成像設(shè)備上的光因此可以都被引導(dǎo)到圖像傳感器的像素，其中一部分(例如，一半)采集可用于產(chǎn)生2d圖像的可見光，一部分(例如，一半)采集可用于確定距離信息的反射的照射光(例如，紅外光)。
根據(jù)一些實(shí)施方案，圖像傳感器210可以包括被配置成采集兩種光源(用于2d圖像的光和反射的照射光)的像素。該像素可各自產(chǎn)生指示所采集的可見光的量的第一信號(其可用于產(chǎn)生2d圖像)和指示所采集的反射的照射光的量的第二信號(其可用于確定距離信息)。
處理器216可以實(shí)現(xiàn)用于操作照射光源和/或圖像傳感器來產(chǎn)生2d圖像同時(shí)測量距離信息的適合的方案，如本文所述的。例如，處理器216可以實(shí)現(xiàn)下面所述的方法300和/或關(guān)于下面的圖4和圖5所論述的脈沖調(diào)制方案中的任一個(gè)。
圖3是描繪根據(jù)一些實(shí)施方案的利用tof3d感測系統(tǒng)確定距離信息的方法的流程圖。方法300的實(shí)施例可通過例如圖2所示的成像設(shè)備201和/或圖1所示的成像設(shè)備110來執(zhí)行。更特別地，方法300可以通過成像設(shè)備內(nèi)的一個(gè)處理或多個(gè)處理器控制圖像傳感器和照射光源來執(zhí)行。
在方法300中，成像設(shè)備利用照射光確定參考距離，然后使用2d圖像來估計(jì)或精確地確定相對于參考距離的距離變化。如上文所述，在一些實(shí)施方案中，成像設(shè)備可以得出結(jié)論，照射光將要被發(fā)射且在確定利用一個(gè)或多個(gè)2d圖像所估計(jì)的距離不足夠精確(例如在某預(yù)設(shè)閾值精度以下)時(shí)確定利用照射光來確定距離。方法300是確定何時(shí)發(fā)射照射光的該方法的一個(gè)示例性的實(shí)施例。
方法300開始于動(dòng)作302，其中照射光源被操作(例如，通過定時(shí)發(fā)生器和/或其它控制器)以發(fā)射照射光，圖像傳感器被操作(例如，通過定時(shí)發(fā)生器和/或其它控制器)以采集反射的照射光。照射光可被發(fā)射作為已知持續(xù)時(shí)間的脈沖或者作為連續(xù)波，并且可以包括任何適當(dāng)波長的光，比如紅外的。例如，動(dòng)作302可以包括下文結(jié)合圖4所描述的脈沖調(diào)制分析的步驟。
在動(dòng)作304中，在動(dòng)作302中所采集的照射光被分析以確定距一個(gè)或多個(gè)對象的距離。例如，圖像傳感器的每個(gè)像素可以接收反射的照射光且可以獨(dú)立地確定距該像素所觀察到的對象(或?qū)ο蟮囊徊糠?的距離。根據(jù)一些實(shí)施方案，所采集的照射光可被分析以確定光所展現(xiàn)的相移(根據(jù)上述的連續(xù)波測量技術(shù))。根據(jù)一些實(shí)施方案，照射光可以在多個(gè)快門周期內(nèi)被采集以確定所發(fā)射的照射光脈沖的飛行時(shí)間(根據(jù)下面要說明的脈沖調(diào)制測量技術(shù))。
在動(dòng)作306中，通過圖像傳感器捕獲2d圖像。如上文所述，圖像傳感器可使用與用于采集反射的照射光的像素相同或不同的像素來捕獲2d圖像。
在動(dòng)作308中，在動(dòng)作306中所捕獲的2d圖像被分析以估計(jì)對象面積和/或形狀變化。這些變化可相對于在對象出現(xiàn)在動(dòng)作304中所確定的距離映射中時(shí)對象的形狀來確定，和/或相對于在對象出現(xiàn)在先前捕獲的2d圖像中時(shí)對象的形狀來確定。廣義地講，分析可以檢查在先前所獲得的距離映射和/或2d圖像中所觀察到的對象的形狀并且確定較前狀態(tài)和較后狀態(tài)之間的對象的形狀和/或表觀面積的變化。例如，在距離映射和/或先前的2d圖像被捕獲之后朝向成像設(shè)備移動(dòng)的對象將期望在后續(xù)的2d圖像中看起來較大(具有較大的面積)。動(dòng)作308的分析可使用除了在動(dòng)作306中捕獲的2d圖像之外的、在動(dòng)作308中之前所捕獲的任意數(shù)量的距離映射和/或2d圖像來估計(jì)形狀/面積變化。
在動(dòng)作310中，做出如下確定：在動(dòng)作308中估計(jì)的面積/形狀變化是否足夠良定而使得無需額外的照射光來確定精確距離。在一些情況下，對象可以相對于成像設(shè)備移動(dòng)而使得確定它們的新位置和/或取向是困難的。例如，對象可以移動(dòng)和/或旋轉(zhuǎn)以產(chǎn)生譜高亮，其使得確定對象的表觀尺寸不精確(因?yàn)樵谠撉闆r下接收到的光可能無法明確指示對象的形狀)。而且，在一些實(shí)施方案中，在動(dòng)作306中所捕獲的2d圖像可以在與先前捕獲的圖像不同的場景中，使得用于動(dòng)作306中捕獲的2d圖像的距離信息無法通過與先前的2d圖像比較來確定。
根據(jù)一些實(shí)施方案，動(dòng)作308可以產(chǎn)生所確定的面積/形狀變化的估計(jì)精度的置信水平和/或其它指示，并且是否發(fā)射照射光以確定距離的確定可以至少部分地基于該精度是否落到預(yù)選閾值以上或以下。
根據(jù)一些實(shí)施方案，動(dòng)作310中的確定可以考慮多個(gè)對象以及它們的面積/形狀變化可能在動(dòng)作308中被精確(或不精確地)確定的程度。例如，在一些實(shí)現(xiàn)中，如果單個(gè)對象具有低于預(yù)設(shè)閾值的面積/形狀變化估計(jì)精度，即使其它對象的面積/形狀變化是以閾值以上的精度估計(jì)的，也可能期望發(fā)射照射光。另外地，或者可選地，可以考慮全部對象的形狀/面積估計(jì)的平均精度(以及相對于預(yù)設(shè)閾值比較)來確定是否使用照射光。其它基于對象形狀/面積變化估計(jì)精度的總效應(yīng)的方案可以替代地實(shí)現(xiàn)。
如果在動(dòng)作310中確定要發(fā)射額外的照射光來確定距離，則方法300返回到動(dòng)作302?？商娲?，如果確定不使用額外的照射光，則在動(dòng)作312中確定在動(dòng)作308中所估計(jì)的面積/形狀變化所暗示(以及基于其)的距離變化。
在任選的動(dòng)作309中，除了在動(dòng)作308和/或動(dòng)作304中確定的距離之外，可以利用在動(dòng)作306中捕獲的2d圖像來生成3維圖像(3d)圖像。該動(dòng)作可以包括：除了距離信息之外，基于在動(dòng)作306中捕獲的2d圖像來生成立體圖像。雖然在圖3的實(shí)施例中動(dòng)作309被描繪在動(dòng)作312與314之間，將理解到，動(dòng)作309可以發(fā)生在已經(jīng)確定了距對象的距離之后的任意時(shí)間。
在動(dòng)作314中，基于在動(dòng)作312中確定的距離變化來更新先前在動(dòng)作304中所確定的參考距離。在動(dòng)作314的后續(xù)實(shí)例中，多個(gè)距離變化可應(yīng)用于動(dòng)作304中所確定的距離變化。然后，在動(dòng)作306和動(dòng)作308中捕獲另一2d圖像，任選地309，310，312和314重復(fù)，直到在動(dòng)作310的實(shí)例中確定要使用另外的照射光來以期望的精度確定距離。
方法300的最終結(jié)果是，僅當(dāng)在動(dòng)作310中確定對象面積/形狀變化估計(jì)不足夠精確而使得額外的照射光將是有益的時(shí)候，在動(dòng)作302中發(fā)射照射光。使用適當(dāng)?shù)乃惴▉砉烙?jì)這些面積/形狀變化，可以期望照射光僅在成像設(shè)備的幀的小部分中發(fā)射，從而降低功耗。在一些實(shí)施方案中，功耗可以降低2或以上的因子。根據(jù)一些實(shí)施方案，照射光以不到全部幀的一半或者不到全部幀的四分之一或者不到全部幀的10％發(fā)射。
雖然在圖3的實(shí)施例中動(dòng)作312描繪于動(dòng)作310之后，將理解到，動(dòng)作312還可以在動(dòng)作310之前執(zhí)行，使得所確定的距離，而非對象面積/形狀變化，被用于確定在動(dòng)作310中是否需要額外的距離信息。
圖4示出了根據(jù)一些實(shí)施方案的確定距對象的距離的脈沖調(diào)制技術(shù)。如上文所述，在一些實(shí)施方案中，脈沖調(diào)制技術(shù)可應(yīng)用確定距離。圖400說明了可由比如圖1a和圖2所示的那些的圖像傳感器使用的該技術(shù)的一個(gè)實(shí)施例。
在圖4的實(shí)施例中，在周期tld(其可以是例如10ns與30ns之間，15ns與25ns之間，22ns或在這些范圍內(nèi)的任意值或值的范圍)內(nèi)發(fā)射照射光。該圖示出了當(dāng)返回到圖像傳感器而不是由于將從以下說明理解的原因而發(fā)射時(shí)的光脈沖。圖中所示的時(shí)間軸開始于照射光脈沖開始發(fā)射時(shí)。當(dāng)脈沖開始發(fā)射時(shí)，第一快門周期(標(biāo)記為“s0快門”)開始，在該期間內(nèi)圖像傳感器采集照射光。當(dāng)?shù)谝豢扉T周期結(jié)束時(shí)，在該周期內(nèi)所采集的光從圖像傳感器讀出，并且第二快門周期(標(biāo)記為“s1快門”)開始.當(dāng)?shù)诙扉T周期結(jié)束時(shí)，在該周期內(nèi)所采集的光也從圖像傳感器讀出。
在第二快門周期結(jié)束之后，在所示的“背景快門”所指示的時(shí)間由圖像傳感器捕獲背景圖像。背景快門可以利用圖像傳感器捕獲背景光。根據(jù)一些實(shí)施方案，背景快門信號可從s0快門周期和/或s1快門周期期間所采集的光中減除以估計(jì)在沒有任何背景光的情況下在那些快門周期內(nèi)所接收到的照射脈沖光(其可以表示在s0快門周期和s1快門周期期間所采集的光的“噪聲”成分)。
根據(jù)一些實(shí)施方案，s0快門周期和/或s1快門周期和背景圖像捕獲快門可以都發(fā)生在圖像傳感器的單個(gè)幀內(nèi)。根據(jù)一些實(shí)施方案，s0快門周期和/或s1快門周期、背景圖像捕獲快門和圖像傳感器額外捕獲2d圖像可以都發(fā)生在圖像傳感器的單個(gè)幀內(nèi)。
在圖4的實(shí)施例中，在s0中所采集的照射光(標(biāo)記為“s0信號”)相對于在s1中所采集的照射光(標(biāo)記為“s1信號”)的比率指示反射照射光的對象距圖像傳感器的距離。因?yàn)檎丈涔庠谝阎掷m(xù)時(shí)間的脈沖內(nèi)發(fā)射，所以與s1快門周期相比在s0快門周期內(nèi)所采集的光越多，對象越靠近圖像傳感器。在圖中示出了示例性的返回的照射光脈沖，該脈沖的大部分光是在第二快門周期內(nèi)采集的，如s1信號具有比s0信號更大的持續(xù)時(shí)間所表明的?；谠摲椒ǎ鄬ο蟮木嚯x可經(jīng)由以下公式來確定：
在上述公式中，“s0”和“s1”分別是指在s0和s1快門周期內(nèi)接收到的信號的量值，“bg”是指在背景快門周期內(nèi)接收到的信號的量值。例如，這些信號的量值可以是由圖像傳感器所產(chǎn)生的光強(qiáng)度信號(例如，在s0和/或s1的情況下照射光強(qiáng)度信號)。而且，在該公式中，“c”是光速，d是所確定的距對象的距離。
根據(jù)一些實(shí)施方案，為確定距離映射，圖像傳感器可以基于在s0和s1快門周期中的每一個(gè)期間內(nèi)像素采集多少光來對于每個(gè)像素獨(dú)立地執(zhí)行上述計(jì)算。照射光脈沖可從單個(gè)照射光源發(fā)射并且利用如上所述的擴(kuò)散器而散布到環(huán)境中的對象上。
圖5描繪了根據(jù)一些實(shí)施方案的在單個(gè)成像幀內(nèi)的照射光源的脈沖調(diào)制的示例性的模式。在一些情況下，有利的是在圖像傳感器的單個(gè)幀內(nèi)發(fā)射照射光的多個(gè)脈沖且進(jìn)行反射的照射光的多次測量。該方法可以例如比圖4所示以及上文所述的單一測量產(chǎn)生更精確的距離測量。例如，通過圖像傳感器所捕獲的額外光的背景噪聲可通過進(jìn)行照射光的反復(fù)測量而得以濾除。圖5所示的圖500描繪了使用關(guān)于圖4所描述的方法在單個(gè)幀內(nèi)執(zhí)行多個(gè)脈沖調(diào)制測量的一個(gè)示例性的模式。
在圖5的實(shí)施例中，相繼發(fā)射多個(gè)照射光脈沖(下軸線)。當(dāng)這些脈沖中的每一個(gè)被發(fā)射時(shí)，在從脈沖發(fā)射開始起始且以脈沖發(fā)射結(jié)束而結(jié)束的時(shí)間段內(nèi)執(zhí)行其中圖像傳感器采集光的s0快門周期(如圖4所示)。在圖5的實(shí)施例中，在一行內(nèi)執(zhí)行多個(gè)照射光脈沖與s0快門周期測量組合，而無需執(zhí)行任何s1快門周期。
在s0相位脈沖組之后，相繼發(fā)射另一組照射光脈沖。當(dāng)這些脈沖中的每一個(gè)被發(fā)射時(shí)，在從脈沖發(fā)射結(jié)束為起始且以等于此后脈沖的持續(xù)時(shí)間的時(shí)間段結(jié)束的時(shí)間段內(nèi)執(zhí)行其中圖像傳感器采集光的s1快門(如圖4所示)。
在s1相位脈沖組之后，s0和s1快門周期中的每一個(gè)期間所采集的光量的測量可以經(jīng)整理且用于確定距離(例如，通過使用上述等式1)。因?yàn)槠谕丈涔饷}沖的長度較短(例如，不到30ns)，甚至在如圖5所示的多個(gè)周期內(nèi)對象通常將不移動(dòng)很多(如果真的移動(dòng))。例如，即使使用在s0和s1相位脈沖組期間的圖5所示的十四個(gè)照射光脈沖，兩個(gè)相位脈沖組可以在實(shí)質(zhì)上不到一微秒內(nèi)完成。
在s0和s1相位脈沖組完成之后，可以在多個(gè)快門周期內(nèi)捕獲背景圖像(在該時(shí)間內(nèi)不發(fā)射對應(yīng)的照射光)。如上文所述，背景圖像可被捕獲以獲得在s0相位組信號和s1相位組信號中存在的背景“噪聲”的估計(jì)，并且可用于從s0/s1信號中減除該噪聲。根據(jù)一些實(shí)施方案，2d圖像可以在圖5所示的同一幀期間內(nèi)進(jìn)一步由圖像傳感器捕獲。
圖6示出了在一些而非全部幀內(nèi)發(fā)射照射光的幀序列。如上文所述，在幀序列中，可以在幀序列中的每一個(gè)內(nèi)做出是否應(yīng)發(fā)射照射光的判定。在不到全部的這些幀內(nèi)，所得到的判定可以是不應(yīng)發(fā)射照射光。作為該使用情況的示例性的實(shí)施例，圖6示出了幀序列601-606，其中在幀601和605中而不是在幀602，603，604或606中發(fā)射照射光。
在圖7中示出了可包含上述類型的成像設(shè)備的系統(tǒng)700的示例性的實(shí)現(xiàn)方式。系統(tǒng)700包括圖2的成像設(shè)備201，但是根據(jù)本文所述的替代實(shí)施方案的成像設(shè)備可以替代地被包含。供電裝置702可以被提供以對成像設(shè)備201供電，同時(shí)可能對系統(tǒng)的其它組件供電。供電裝置702在一些實(shí)施方案中可以是電池，比如通常在移動(dòng)電話、平板設(shè)備和其它消費(fèi)電子產(chǎn)品中所使用的電池。如已經(jīng)說明的，在一些實(shí)施方案中，成像設(shè)備201可以提供低功率操作，并且因此可以利于使用低功率電池作為供電裝置702。然而，在所有實(shí)施方案中，供電裝置702不限于電池，也不限于特定類型的電池。
系統(tǒng)700還包括存儲(chǔ)器704和非易失性存儲(chǔ)設(shè)備706。這些組件可以以任意適當(dāng)?shù)姆绞?比如經(jīng)由共享通信鏈路708)與成像設(shè)備201通信耦合。共享通信鏈路708可以是總線或其它適當(dāng)?shù)倪B接。存儲(chǔ)器704和/或非易失性存儲(chǔ)設(shè)備706可以存儲(chǔ)用于控制成像設(shè)備201的操作的處理器可執(zhí)行指令，例如以結(jié)合圖3所描述的方式來操作，和/或由成像設(shè)備201所捕獲的數(shù)據(jù)。結(jié)合例如如本文所述的距離感測技術(shù)，用于例如對照射光源發(fā)信號以產(chǎn)生一個(gè)或多個(gè)光脈沖、打開和/或關(guān)閉圖像傳感器的快門、讀出圖像傳感器的像素、基于所采集的照射光執(zhí)行距離計(jì)算等的代碼可以存儲(chǔ)在存儲(chǔ)器704或非易失性存儲(chǔ)設(shè)備706中的一個(gè)或多個(gè)上。處理器216可以執(zhí)行任何此類代碼以提供如本文所述的距離感測技術(shù)。存儲(chǔ)器704可以存儲(chǔ)表示成像設(shè)備201所捕獲的2d和/或3d圖像的數(shù)據(jù)。在至少一些實(shí)施方案中，存儲(chǔ)器704或非易失性存儲(chǔ)設(shè)備706可以是非暫態(tài)存儲(chǔ)器。
本文所述的成像系統(tǒng)可以在各種應(yīng)用中使用，其一些實(shí)施例結(jié)合圖8-10進(jìn)行了說明。第一實(shí)施例是移動(dòng)設(shè)備，比如智能電話、平板式計(jì)算機(jī)、智能手表、或其它移動(dòng)設(shè)備。本文所述的類型的成像系統(tǒng)，比如成像設(shè)備201或系統(tǒng)700，可以用作為移動(dòng)設(shè)備的照相機(jī)組件。圖8示出了實(shí)施例，在該情況下是移動(dòng)電話。移動(dòng)電話800包括照相機(jī)802，照相機(jī)802可以是本文所述的用于捕獲和生成3d圖像的類型的成像設(shè)備，比如成像設(shè)備201。使用成像設(shè)備201作為照相機(jī)802可通過低功耗操作來促進(jìn)，例如根據(jù)本申請的各方面本文結(jié)合成像設(shè)備所描述的操作方式。諸如移動(dòng)電話800的移動(dòng)設(shè)備通常借助電池電力來操作，并且因此消耗大功率的組件在這些設(shè)備內(nèi)使用是不切實(shí)際的。相反，本文所描述的類型的成像設(shè)備可以以功率高效的方式部署在此類設(shè)備內(nèi)。
圖9示出了實(shí)現(xiàn)本文所述的類型的成像系統(tǒng)的娛樂系統(tǒng)。娛樂系統(tǒng)900包括控制臺(tái)902和顯示器904。該控制臺(tái)可以是被配置成在顯示器904上生成視頻游戲的圖像的視頻游戲控制臺(tái)，并且可以包括照相機(jī)906。照相機(jī)906可以是本文所述的類型的成像系統(tǒng)，其被配置成捕獲3d圖像，比如成像設(shè)備201。在圖9的實(shí)施例中，用戶908可以經(jīng)由控制器910與娛樂系統(tǒng)交互，例如玩視頻游戲。照相機(jī)906可以捕獲用戶和/或控制器的圖像，并且可以確定距用戶的距離d1。該距離信息可用于生成3d圖像以顯示在顯示器904上或用于控制娛樂系統(tǒng)的某其它方面。例如，用戶902可以利用手勢來控制娛樂系統(tǒng)，并且可以至少部分地通過捕獲距離信息d1來確定姿勢。
本文所述的類型的成像系統(tǒng)還可以用于機(jī)器人。圖10示出了具有成像系統(tǒng)1004的機(jī)器人1002的實(shí)施例。機(jī)器人可以是移動(dòng)式的，由成像系統(tǒng)1004所采集的信息可用于輔助機(jī)器人的導(dǎo)航和/或電動(dòng)機(jī)控制。成像系統(tǒng)1004可以是本文所述的類型，例如是系統(tǒng)700或成像設(shè)備201。移動(dòng)機(jī)器人通常由電池供電，并且因此本文所述的根據(jù)一些所述的實(shí)施方案可以在相對低功率下操作的類型的成像系統(tǒng)可促進(jìn)其與機(jī)器人的集成。
本文所描述的除圖8-10中所示的那些之外的術(shù)語的使用的實(shí)施例也是可能的。例如，汽車和安全照相機(jī)可以實(shí)現(xiàn)本文所述的類型的3d成像設(shè)備。
本文在說明書和權(quán)利要求書中所使用的措辭“和/或”應(yīng)當(dāng)理解成意指如此聯(lián)合的元素中的“任一者或兩者”，即在一些情況下聯(lián)合地存在而在其它情況下分離地存在的元素。在一些實(shí)施方案中，術(shù)語“近似”和“大約”可以用來意指在目標(biāo)值的20％的均值內(nèi)，在一些實(shí)施方案中意指目標(biāo)值的±10％以內(nèi)，在一些實(shí)施方案中意指目標(biāo)值的5％以內(nèi)，而在一些實(shí)施方案中在目標(biāo)值的±2％以內(nèi)。術(shù)語“近似”和“大約”可以包括目標(biāo)值。
利用具有優(yōu)化時(shí)變光強(qiáng)度的飛行時(shí)間深度感測
使用飛行時(shí)間相機(jī)的深度感測的大能量消耗源來自對照射場景的激光器供電。為了獲得高信噪比(snr)，相機(jī)傳感器暴露于足夠量的光，這目前通常限制對插入設(shè)備的飛行時(shí)間感測。許多應(yīng)用需要電池供電的解決方案，例如無人機(jī)感測，增強(qiáng)現(xiàn)實(shí)，汽車感測。
為了以最小的深度圖像精度損失來降低功耗，本公開描述了機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺算法，以增強(qiáng)從使用低功率光源的飛行時(shí)間相機(jī)獲得的低質(zhì)量深度圖像(即通過對給定幀發(fā)送較少的光脈沖)。使用從低功率設(shè)置獲得的低質(zhì)量深度圖像來獲得更高質(zhì)量的深度圖像就好像這些更高質(zhì)量的深度圖像是使用機(jī)器學(xué)習(xí)技術(shù)在高功率設(shè)置中收集的思想，是使用機(jī)器學(xué)習(xí)技術(shù)來將用有限資源(例如，功率，曝光時(shí)間，像素計(jì)數(shù))獲得的數(shù)據(jù)映射到利用更豐富的資源獲得的數(shù)據(jù)的更一般理念的子集。一個(gè)其他實(shí)施例是將低snr圖像映射到可能已經(jīng)被記錄為高snr圖像的圖像。由于這種資源的限制可能在用有限資源獲得的數(shù)據(jù)中以系統(tǒng)的方式表現(xiàn)出來，所以如果存在足夠的訓(xùn)練數(shù)據(jù)，則數(shù)據(jù)驅(qū)動(dòng)/機(jī)器學(xué)習(xí)方法具有成功建模和補(bǔ)償這種差異的潛力。
為了獲得高質(zhì)量深度圖，實(shí)施方案包括在低質(zhì)量深度圖像旁邊使用時(shí)間不敏感幀(例如，rgb幀)。作為實(shí)施例，rgb相機(jī)的功率消耗小于用于基于激光的深度圖像捕獲的功率消耗，并且rgb幀可以用于增加深度感測的分辨率。這種系統(tǒng)以數(shù)據(jù)驅(qū)動(dòng)方法訓(xùn)練，例如通過經(jīng)訓(xùn)練以在給定當(dāng)前rgb圖像和低質(zhì)量深度圖的情況下預(yù)測當(dāng)前幀的高質(zhì)量深度圖的神經(jīng)網(wǎng)絡(luò)。為了進(jìn)一步節(jié)省功率，還訓(xùn)練系統(tǒng)以輸出置信度得分，置信度得分反映其可使用當(dāng)前rgb圖像和先前的深度估計(jì)有多精確地預(yù)測當(dāng)前幀中的深度。當(dāng)置信度得分低時(shí)，該系統(tǒng)可以打開激光器(或其他照射源)和/或使用更少的脈沖來獲得低質(zhì)量深度圖。該低質(zhì)量深度圖可以與rgb圖像一起使用以獲得更高質(zhì)量的深度圖。
圖11是根據(jù)本公開的實(shí)施方案的使用成像設(shè)備進(jìn)行成像的過程流程圖1100。該算法可以在1102處開始。成像系統(tǒng)處理器可以確定是否存儲(chǔ)了現(xiàn)有的深度圖(1104)。如果沒有存儲(chǔ)深度圖，則成像系統(tǒng)可以使用激光脈沖捕獲深度圖(1106)。系統(tǒng)可以存儲(chǔ)深度圖(1108)。
如果存在深度圖，則成像系統(tǒng)可以捕獲一個(gè)或多個(gè)幀(例如，時(shí)間不敏感的幀，例如rgb幀)(1110)。該系統(tǒng)可以在固定的時(shí)間量內(nèi)獲取時(shí)間不敏感的圖像。在實(shí)施方案中，系統(tǒng)可以對時(shí)間不敏感的圖像執(zhí)行分析并且獲取時(shí)間不敏感的圖像，直到對時(shí)間不敏感的圖像的分析顯示深度估計(jì)精度的置信度低于閾值。在實(shí)施方案中，可以分析時(shí)間不敏感圖像的運(yùn)動(dòng)。諸如3d光流算法的圖像處理或計(jì)算機(jī)視覺算法可以用于從時(shí)間不敏感和深度圖圖像來估計(jì)深度。
在設(shè)置的時(shí)間量之后，或當(dāng)使用時(shí)間不敏感幀或運(yùn)動(dòng)量獲得的深度估計(jì)的置信水平高于閾值時(shí)，可以使用飛行時(shí)間成像來測量新的深度圖，而不使用時(shí)間不敏感圖像(1112)。
可以基于更新的深度圖來計(jì)算置信度得分(1114)。成像系統(tǒng)可以確定置信度得分是否高于閾值(例如，c>t)(1116)。如果置信度得分高于閾值，則不采用新的深度圖圖片(1120)，并且成像系統(tǒng)可以繼續(xù)獲取時(shí)間不敏感幀(1510)。
如果置信度小于(或小于或等于)閾值(例如，c≤t)，則成像系統(tǒng)可以基于置信度得分來調(diào)整用于捕獲新的深度圖像的激光功率(1118)。通常，激光功率可以基于激光功率函數(shù)f(c)來確定，其接收置信度得分并輸出用于捕獲新深度圖的期望激光功率。例如，低置信度得分將導(dǎo)致較高的激光功率函數(shù)。
成像系統(tǒng)可使用經(jīng)調(diào)整的激光功率來捕獲新的深度圖像(1506)，并存儲(chǔ)新的深度圖(1108)。
圖12a是根據(jù)本公開的實(shí)施方案的用于確定用于從同一場景的較低質(zhì)量圖像提供來自場景的較高質(zhì)量圖像的一個(gè)或多個(gè)算法參數(shù)的過程流程圖1200。首先，可以捕獲多個(gè)高質(zhì)量圖像并將其存儲(chǔ)在數(shù)據(jù)庫中(1202)。同樣，為了訓(xùn)練目的，可以捕獲多個(gè)類似的低質(zhì)量圖像(1204)。高質(zhì)量圖像和相應(yīng)的低質(zhì)量圖像可以提供給訓(xùn)練算法(1206)。訓(xùn)練算法可以調(diào)整可以用于從低質(zhì)量圖像獲得高質(zhì)量圖像的一個(gè)或多個(gè)算法參數(shù)(1208)。高質(zhì)量圖像包括具有高分辨率、高snr、高功率或高資源消耗圖像或上述的組合的圖像。低質(zhì)量圖像可以是低分辨率、低snr、低功率或資源消耗圖像，或上述的組合。通過機(jī)器學(xué)習(xí)、訓(xùn)練、數(shù)據(jù)驅(qū)動(dòng)分析等，來自高質(zhì)量圖像的方面可以與低質(zhì)量圖像進(jìn)行比較?？梢曰谝粋€(gè)或多個(gè)算法參數(shù)來調(diào)整低質(zhì)量圖像以增加它們的質(zhì)量。這些算法參數(shù)可以被存儲(chǔ)用于通過成像系統(tǒng)處理器進(jìn)行的即時(shí)質(zhì)量調(diào)整。
在實(shí)施方案中，訓(xùn)練圖像可以包括時(shí)間敏感圖像(例如，飛行時(shí)間深度圖像)，并且還可以包括一個(gè)或多個(gè)時(shí)間不敏感圖像(例如，不包括時(shí)間測量的rgb或ir圖像)。值得注意的是，在即時(shí)質(zhì)量調(diào)整期間，捕獲的圖像的類型將匹配訓(xùn)練中使用的那些類型(即，如果時(shí)間敏感圖像和時(shí)間不敏感圖像的組合用于訓(xùn)練目的，在正常的相機(jī)操作期間應(yīng)使用時(shí)間敏感圖像和時(shí)間不敏感圖像的同一組合)。
圖12b是根據(jù)本公開的實(shí)施方案的使用確定的算法參數(shù)從較低質(zhì)量的捕獲圖像提供較高質(zhì)量圖像的過程流程圖1250。在正常的圖像捕獲期間，可以通過捕獲低質(zhì)量圖像來降低功耗(1252)。例如，可以使用低照射功率、低曝光時(shí)間、低分辨率等來捕獲低質(zhì)量圖像?？梢允褂脵C(jī)器學(xué)習(xí)算法來處理低質(zhì)量圖像，所述機(jī)器學(xué)習(xí)算法使用從圖12a確定的算法參數(shù)(1254)。成像系統(tǒng)可以輸出通過使用算法參數(shù)處理低質(zhì)量圖像所形成的高質(zhì)量圖像(1256)。
使用機(jī)器學(xué)習(xí)特征提取算法的可變snr深度圖像采集
飛行時(shí)間相機(jī)拍攝場景的圖片，其中每個(gè)像素表示場景中的對應(yīng)點(diǎn)到相機(jī)的距離。通過使用光脈沖(例如，ir光)照射場景并通過測量脈沖從相機(jī)到表面和從表面返回到傳感器所花費(fèi)的時(shí)間來估計(jì)距離。代替發(fā)射脈沖，一些飛行時(shí)間相機(jī)發(fā)射調(diào)幅的連續(xù)光波并測量發(fā)射的連續(xù)波(cw)和反射波之間的相移。飛行時(shí)間相機(jī)可用于包括虛擬現(xiàn)實(shí)(vr)、增強(qiáng)現(xiàn)實(shí)(ar)、自治汽車導(dǎo)航、機(jī)器人導(dǎo)航、無人駕駛導(dǎo)航等的許多應(yīng)用中。
上述應(yīng)用一般使用深度圖像作為執(zhí)行某種類型的特征提取的機(jī)器學(xué)習(xí)算法的輸入，諸如手勢識(shí)別(例如，識(shí)別手指收縮運(yùn)動(dòng))。例如，手勢識(shí)別算法可以具有不同的階段，例如：分割，其中在3d圖像中識(shí)別身體部位，以及跟蹤，其中跟蹤檢測到的身體部位的空間中的軌跡，以及何時(shí)提取手勢?？梢允褂锰卣魈崛〉钠渌麘?yīng)用包括對象檢測和碰撞避免(例如，檢測汽車/機(jī)器人/無人機(jī)附近的人/物體)。術(shù)語“特征”可以包括可以從自像素子集獲得的幀提取的任何信息，并且在一些情況下，信息可以在一定量的時(shí)間內(nèi)并且在多個(gè)幀上改變。
在一些實(shí)施方案中，可以通過對表示不同特征的深度圖像(或深度圖像和時(shí)間不敏感圖像的組合)的幀(或視頻)的標(biāo)記序列的數(shù)據(jù)集的算法訓(xùn)練來執(zhí)行特征識(shí)別。在例如手勢識(shí)別的情況下，訓(xùn)練階段可以包括向算法提供代表各種姿勢的多個(gè)幀序列并調(diào)整其參數(shù)，直到算法能夠?qū)⑺鼈兎诸愒谡_的類別(例如，手指收縮運(yùn)動(dòng))中。
如在常規(guī)相機(jī)中，由傳感器捕獲的光的量確定信噪比(snr)：捕獲的光越多，snr越好?？梢酝ㄟ^(1)增加光源的功率或通過(2)增加曝光時(shí)間來增加收集的光量。由于眼睛安全的原因，增加光源的功率通常在消費(fèi)者應(yīng)用中是不可行的。替代解決方案是用較不強(qiáng)大的光源將傳感器曝光較長時(shí)間。以較長曝光時(shí)間捕獲圖像也降低了幀速率，這在需要實(shí)時(shí)深度視頻時(shí)可能成為問題。此外，長曝光時(shí)間導(dǎo)致圖像中更多的模糊，因?yàn)閷ο蟾赡茉谳^長時(shí)間窗口期間被捕獲移動(dòng)。
對于這兩種解決方案，增加snr意味著在光源中消耗更多的能量，這可能例如在便攜式應(yīng)用中耗盡電池。激光功率通常是飛行時(shí)間相機(jī)中能量消耗的主要來源，因此，尋找減少其使用的方法是一個(gè)挑戰(zhàn)。
包括對深度圖像/視頻執(zhí)行特征提取的機(jī)器學(xué)習(xí)算法的本公開的實(shí)施方案通常假定使用給定幀速率(通常為30fps)的幀的序列(視頻)來描述感興趣的場景。每個(gè)幀可以僅包含深度圖像，僅包含從時(shí)間不敏感傳感器獲得的圖像或者兩者的組合。本公開集中于每個(gè)幀包含至少由飛行時(shí)間相機(jī)獲取的深度圖像的情況。
本公開描述了一種算法，其學(xué)習(xí)序列中的哪些深度幀對于給定特征更重要，使得僅獲取幀的子集。因?yàn)榇蠖鄶?shù)感興趣的場景是非常結(jié)構(gòu)化的(例如緩慢移動(dòng)的手)，所以大多數(shù)信息實(shí)際上包含在有限數(shù)量的幀中，并且通過適當(dāng)?shù)剡x擇那些幀，可以減少深度圖像的數(shù)量，并因此降低光源功率。例如，在手勢識(shí)別的情況下，可以在分割階段期間捕獲幾個(gè)連續(xù)的幀，然后在跟蹤階段期間捕獲較少的幀。在對象檢測或碰撞避免的情況下，當(dāng)沒有物體出現(xiàn)在照相機(jī)附近時(shí)可以降低幀速率(或每個(gè)深度圖像的snr)，并且當(dāng)物體更靠近相機(jī)時(shí)增加幀速率(或snr)。
在本公開中，訓(xùn)練被執(zhí)行特征提取的算法被訓(xùn)練以向每個(gè)深度圖像分配snr值(沒有幀等同于具有零snr的幀，具有高光源功率的幀具有較高的snr)。在手勢識(shí)別的情況下，算法可以獲知，當(dāng)手勢未被識(shí)別時(shí)在第一幀中需要高snr(即，精確的深度圖像/高功率深度圖像)，并且一旦算法對于該手勢是置信的則可以使用較低的snr。
圖13a是根據(jù)本公開的實(shí)施例的用于確定算法參數(shù)以從所捕獲的圖像提供特征提取的過程流程圖1300。首先，可以存儲(chǔ)多個(gè)幀序列并且分配至少一個(gè)標(biāo)簽。標(biāo)簽對應(yīng)于與幀序列相關(guān)聯(lián)的特征，例如一個(gè)特定的手勢。預(yù)先記錄的幀序列與標(biāo)簽一起存儲(chǔ)，并且被檢索并輸入到機(jī)器學(xué)習(xí)算法中(1302)。機(jī)器學(xué)習(xí)算法可以使用算法參數(shù)(1316)對幀序列(或者，在實(shí)施方案中，對來自幀序列的每個(gè)幀的像素的子集)進(jìn)行操作(1304)。
機(jī)器學(xué)習(xí)算法處理每個(gè)預(yù)先記錄的幀序列并且嘗試提取與幀序列相關(guān)聯(lián)的特征，并且輸出對應(yīng)于特征的估計(jì)的標(biāo)記(1306)。訓(xùn)練包括確定與所存儲(chǔ)的幀序列相關(guān)聯(lián)的正確標(biāo)記與由算法確定的估計(jì)標(biāo)記之間的誤差(1308)。如果誤差高(例如，誤差>閾值)，則可以調(diào)整算法參數(shù)(1314)，并且由機(jī)器學(xué)習(xí)算法使用調(diào)整的算法參數(shù)以提供修正的估計(jì)標(biāo)記(1316,1304)。機(jī)器學(xué)習(xí)算法的參數(shù)被迭代地調(diào)整(1314)，直到預(yù)測標(biāo)簽和數(shù)據(jù)庫中的幀的圖像系列的實(shí)際標(biāo)簽之間的誤差低于某個(gè)閾值(1310)。
算法參數(shù)可以包括諸如濾波器或插值參數(shù)的參數(shù)，但是還可以包括相機(jī)控制參數(shù)，諸如每個(gè)捕獲的幀的照明功率、snr等。
如果誤差<閾值，則來自機(jī)器學(xué)習(xí)的估計(jì)標(biāo)簽輸出與來自所存儲(chǔ)的幀序列的正確標(biāo)簽充分匹配，并且用于機(jī)器學(xué)習(xí)的算法參數(shù)被存儲(chǔ)以供相機(jī)使用(1312)。換句話說，如果誤差<閾值，則機(jī)器學(xué)習(xí)已充分地識(shí)別來自幀序列的特征(例如，手勢)。
圖13b是根據(jù)本公開的實(shí)施方案的用于從成像系統(tǒng)捕獲的一組幀中進(jìn)行特征提取的過程流程圖1350。成像系統(tǒng)可以捕獲包括一個(gè)或多個(gè)特征的幀或視頻(1352)。成像系統(tǒng)可以使用來自圖13a的存儲(chǔ)的機(jī)器學(xué)習(xí)參數(shù)對捕獲的幀/視頻執(zhí)行機(jī)器學(xué)習(xí)(1354)。成像系統(tǒng)可以使用機(jī)器學(xué)習(xí)來識(shí)別特征(1358)。在一些實(shí)施方案中，機(jī)器學(xué)習(xí)可輸出一個(gè)或多個(gè)相機(jī)參數(shù)調(diào)整以調(diào)整圖像捕獲質(zhì)量(達(dá)到機(jī)器學(xué)習(xí)算法的較高準(zhǔn)確度)(1356)。將調(diào)整提供給成像系統(tǒng)，其可以使用新的相機(jī)參數(shù)來捕獲新的幀。
在實(shí)施方案中，捕獲的幀包括rbg和深度圖像，其可以用于使用機(jī)器學(xué)習(xí)的特征提取(例如手勢識(shí)別)。
用于深度感測的引導(dǎo)濾波
通過最小化脈沖數(shù)量來獲得可靠的深度測量可以具有諸如降低功率的優(yōu)點(diǎn)，允許更多的tof相機(jī)被同時(shí)使用，允許更快地獲取深度圖像，允許更快的幀速率等。
在本部分中，描述了使用適于深度估計(jì)的邊緣保留低通濾波器來獲取深度圖像的技術(shù)。這種濾波器用于從在低功率設(shè)置中獲得的深度圖中去除噪聲。例如，可以使用雙邊濾波器，但是典型的雙邊濾波器可能需要高計(jì)算資源。
本公開描述了一種稱為“引導(dǎo)濾波器”的濾波器類型，其可以用于深度圖的噪聲濾波的邊緣保留。在本公開中，這種引導(dǎo)濾波器可以被稱為“深度感知引導(dǎo)濾波”，但是在不偏離本公開的范圍的情況下也可以使用其它濾波器，例如根據(jù)本公開的實(shí)施方案適用或使用的雙邊濾波器。通常，本公開描述了對于為深度成像捕獲的s0和s1像素集合中的每一個(gè)保持濾波器的某些參數(shù)恒定。濾波可以減少深度圖像的每個(gè)分量(s0和s1)上的低功率圖像中的噪聲，這允許以用于圖像捕獲的減少數(shù)量的脈沖的形式使用低功率。
在描述“深度感知引導(dǎo)濾波器”之前，為了完整性和清楚起見，在本部分中描述了傳統(tǒng)的引導(dǎo)濾波器。以下總結(jié)了示例的引導(dǎo)濾波技術(shù)：
讓：
w是待濾波的單個(gè)圖像(rgb、深度或其它)的當(dāng)前補(bǔ)片中的像素的nxn區(qū)域；
pij是當(dāng)前補(bǔ)片中的原始像素值；
a,b是對于當(dāng)前補(bǔ)片中的中心像素進(jìn)行計(jì)算的系數(shù)，其中a可以被視為該區(qū)域中的像素值的差異的指示(例如，越靠近邊緣，差異越大)，并且在本文稱為縮放系數(shù)。系數(shù)b可以被視為該區(qū)域中的像素值的平均值的指示(例如，b可以靠近平坦區(qū)域中的每個(gè)像素值)。系數(shù)(a,b)對于每個(gè)nxn區(qū)域可以不同。
λ是對于我們的待濾波的圖像的所有補(bǔ)片所共有的規(guī)則化常數(shù)；
經(jīng)濾波的像素表示為
該邊緣保留濾波器在λ參數(shù)被恰當(dāng)選擇時(shí)是有效的。例如，增加λ會(huì)得到更平滑的圖像，但是具有更模糊的邊緣；而減小λ會(huì)得到更清晰的邊緣，但是具有較差的噪聲抑制。λ的值可被選擇以平衡競爭利益。當(dāng)像素的基礎(chǔ)補(bǔ)片w視覺上平滑時(shí)，可以期望a≈0且
可以通過在整個(gè)圖像上劃動(dòng)nxn窗來對圖像濾波以獲得不同的圖像補(bǔ)片且對于以補(bǔ)片為中心的每個(gè)像素計(jì)算a和b。作為另一后處理步驟，可以被處理為兩個(gè)圖像本身的每個(gè)像素的a和b的統(tǒng)一值可以利用nxn盒平均核心進(jìn)一步濾波。該過程的輸出是兩個(gè)2d信號，a和b，它們分別由a和b的濾波值構(gòu)成。
如果原始圖像表示為i，則引導(dǎo)濾波器的輸出是
上面的相乘和相加是逐元素進(jìn)行的。
深度感知引導(dǎo)濾波器：
注意的是，在一些實(shí)施方案中，利用tof相機(jī)獲得的深度圖可以利用兩個(gè)圖像(標(biāo)示為s0和s1)來獲得。深度圖(標(biāo)示為d)的一個(gè)計(jì)算與下式成比例
本公開描述了將引導(dǎo)濾波器應(yīng)用于s0和s1。在這樣做時(shí)，會(huì)出現(xiàn)的一個(gè)問題是在邊緣附近引入偽跡。如果邊緣周圍的a值在s0和s1中不同，則圍繞邊緣的深度估計(jì)將失真。s0和s1中邊緣重疊，并且可以通過將縮放系數(shù)“a”約束為對于s0和s1中的同一圖像補(bǔ)片相同以最小化可能的偽跡來通過數(shù)學(xué)方式強(qiáng)制該重疊。因?yàn)檫吘壐苯拥厥堋癮”影響，可以允許系數(shù)“b”在s0和s1之間變化。確保對于s0和s1中的同一補(bǔ)片綁定“a”的一種方法是如下選擇參數(shù)：
其中b0是用于s0的系數(shù)b，b1是用于s1的系數(shù)b。該問題以類似于引導(dǎo)濾波器情況的方式解決，其中由于附加的參數(shù)“b”矩陣等式中的矩陣將是3x3，而不是2x2。
通過將引導(dǎo)濾波器應(yīng)用于s0和s1并且在對于s0和s1的濾波過程之間保持系數(shù)“a”對于每個(gè)相應(yīng)像素窗口恒定，可以利用低功率技術(shù)來捕獲s0和s1，例如使用較少的激光脈沖(例如，500個(gè)激光脈沖，與4000相對)。
圖14是依照本公開的實(shí)施方案對低功率深度圖像濾波的過程流程圖1400。可以在第一時(shí)間段捕獲第一圖像(s0)(1402)?？梢栽诓煌诘谝粫r(shí)間段的第二時(shí)間段捕獲第二圖像(s1)(1404)?？梢砸匀鐖D4-5中上述類似的方式來捕獲s0和s1。
對于每個(gè)像素窗口(即，一組像素值)可以根據(jù)捕獲圖像之一來確定一組濾波系數(shù)(1406)。例如，可以利用以下等式利用每個(gè)s0和s1的像素(一組像素)的nxn窗口來確定系數(shù)。
引導(dǎo)濾波器可以利用受約束的“a”系數(shù)而應(yīng)用于s0的每個(gè)像素(1408)。例如
可以使用硬件處理、軟件算法或硬件和軟件的組合來執(zhí)行上述的引導(dǎo)濾波處理，以實(shí)現(xiàn)實(shí)時(shí)深度估計(jì)。
在一些實(shí)施方案中，針對第一圖像s0和第二圖像s1中的每一個(gè)的比例系數(shù)?？梢葬槍Φ谝徊东@圖像的每個(gè)對應(yīng)組的像素強(qiáng)制執(zhí)行一個(gè)或多個(gè)系數(shù)之間的差的絕對值，并且第二捕獲圖像低于閾值：
其中α是尺度系數(shù)a0和a1的代價(jià)系數(shù)。
被動(dòng)深度確定
計(jì)算機(jī)視覺技術(shù)可以用于被動(dòng)深度確定。被動(dòng)深度確定意味著在一些幀中獲得深度信息，即使不執(zhí)行直接(或“主動(dòng)”)深度確定，例如以節(jié)省功率。計(jì)算機(jī)視覺技術(shù)可以首先分割出圖像中的剛體。使用2d圖像和優(yōu)化，本文描述的技術(shù)可以用于估計(jì)剛體在三維中的運(yùn)動(dòng)，使得可以從在幀1給出的深度圖推斷深度估計(jì)，而不是取新的深度圖像。
在該部分中，描述了一種算法，其能夠通過跟蹤經(jīng)歷平移的對象而不必連續(xù)地打開激光器來更新幀序列中的深度圖像。假定期望深度的對象在場景中是已知的。該過程允許估計(jì)每個(gè)對象的深度如何在給定使用標(biāo)稱激光功率和一系列“廉價(jià)獲取”圖像獲得的初始深度測量值的情況下改變。這些“廉價(jià)獲取的”圖像可以是使用數(shù)字相機(jī)獲取的rgb圖像或者以低功率設(shè)置獲取的ir圖像。
在第一種情況中，假定對象是剛性的，這意味著對象的所有部分以相同的方式移動(dòng)(即對象不收縮，擴(kuò)展，扭曲等)。在第二種情況下，組成對象的每個(gè)點(diǎn)可以以其自己的方式移動(dòng)。
讓：
i(x,y,t)是圖像。坐標(biāo)x和y表示圖像中的像素，例如第二行和第三列中的像素將具有x＝2且y＝3。時(shí)間t表示幀數(shù)，i(x,y,t)是每個(gè)像素處的強(qiáng)度。i將是縮寫；
f是相機(jī)的焦距；
x,y,z是現(xiàn)實(shí)世界坐標(biāo)；
u,v,w分別是x,y,z下的現(xiàn)實(shí)世界速度；
x,y是逐像素坐標(biāo)。這些坐標(biāo)相對于相機(jī)原點(diǎn)是已知的；
u,v分別是x和y下的逐像素速度；這還稱為“光流”。
在實(shí)施方案的實(shí)現(xiàn)方式中，可以給出初始深度圖、一系列低功率或rgb圖像和焦距；即，已知z，各坐標(biāo)x,y,和f。對于每個(gè)像素給定z，例如，如果對于x＝2且y＝3，z＝2米，這意味著在成像設(shè)備的第二行、第三列中的像素中所捕獲的光來自2米遠(yuǎn)處的對象的部分。
為獲得其余變量中的一些，可以使用如下所示的角度投射。
本文所描述的算法能夠用于恢復(fù)u,v,和w(以及擴(kuò)展地，u和v)。u,v,和w與u和v之間的關(guān)系顯示如下，其是通過相對于時(shí)間進(jìn)行微分而獲得的。
這里描述的算法的基礎(chǔ)是亮度恒定性假設(shè)。亮度恒定性假設(shè)表明在小時(shí)間段內(nèi)經(jīng)歷小平移的像素在強(qiáng)度上不改變。數(shù)學(xué)上，這可以表示如下。
讓下角標(biāo)x,y,t表示相對于那些變量的偏導(dǎo)數(shù)
ix+viy+it＝0
按u,v,w重寫u和v
重新安排各項(xiàng)，下面的等式可稱為等式a。
fixu+fiyv-(xix+yiy)w+zit＝0
剛體平移
可以計(jì)算剛體平移以確定圖像中的已知體如何改變位置。這樣的信息可以用于更新深度圖，而不依賴于獲取另外的高成本深度估計(jì)(高成本暗示高功率、基于激光的深度圖)。如前面部分所述，剛體運(yùn)動(dòng)意味著組成對象的所有點(diǎn)都以相同的位移矢量移動(dòng)。再有，假設(shè)期望深度信息的對象在圖像中是已知的。
假設(shè)和記號：
r是圖像中正進(jìn)行剛體平移的區(qū)域；
u,v,w對于所有點(diǎn)r是恒定的；
z是從先前深度圖測量得到的；
為求解剛體平移，我們求解u，v和w以使對于區(qū)域r中的所有像素在最小二乘意義上盡可能滿足等式[00166]。這等價(jià)于最小化以下目標(biāo)函數(shù)j(u,v,w)：
j(u，v，w)＝∫∫(x，y)∈r(fixu+fiyv-(xix-yiy)w+zit)2dxdy(等式j(luò)(u,v,w))
最小化j(u,v,w)的解如下：
該等式給出了對象的三維速度，其可以用于更新深度圖。剛體的假設(shè)意味著對象的速度u，v和w對于對象中的所有像素是相同的，因此它們不依賴于像素的坐標(biāo)x，y。等式j(luò)(u,v,w)從初始深度幀獲取深度圖z，使用亮度恒定性假設(shè)并最小化等式j(luò)(u,v,w)以獲得剛性對象的速度u，v，w。
幀t+1的估計(jì)深度圖以如下方式獲得：在幀t處取像素(x,y)，具有相關(guān)聯(lián)的現(xiàn)實(shí)世界深度z。其現(xiàn)實(shí)世界x和y坐標(biāo)從下式獲得：
圖15是根據(jù)本公開的實(shí)施方案的用于通過剛體平移信息來更新深度圖的過程流程圖1500。首先，為剛體平移算法識(shí)別一個(gè)或多個(gè)剛體(1502)?？梢越o出初始深度圖(例如，先前捕獲的高功率深度圖，例如在幀1中)、一系列圖像和焦距；即z，坐標(biāo)x,y和f是已知的。圖像中的剛體可以被分割到x和y中的剛體的逐像素位置(1504)。可以捕獲場景的一個(gè)或多個(gè)低功率圖像(1506)。例如，可以使用rgb相機(jī)或使用低功率ir源的相機(jī)來捕獲場景的一個(gè)或多個(gè)圖像?？梢允褂蒙鲜黾夹g(shù)來分析一個(gè)或多個(gè)圖像，以確定剛體在從初始高功率圖像的起始點(diǎn)和低功率圖像中的至少一個(gè)之間的平移(1508)?？梢允褂脛傮w平移信息來更新初始深度圖(1510)。平移的逐像素估計(jì)
本部分描述了使用運(yùn)動(dòng)的逐像素估計(jì)來更新深度圖。注意，使用等式a對單個(gè)像素的u,v,和w的確定是未確定的問題，因?yàn)?u,v,w)值的幾個(gè)三元組將滿足等式a而沒有任何附加約束，其中在剛體運(yùn)動(dòng)情況下，所需的附加約束來自所有像素以相同的u,v,w移動(dòng)的事實(shí)。為了約束等式a以獲得合理的解，一種方法是對u,v,和w施加“平滑”。這種方法的開發(fā)如下所示。
為了簡化推導(dǎo)，假設(shè)逐像素速度u和v是已知的(即，光流是已知的)；
u,v,和w是2d函數(shù)；
λ是常數(shù)；
假設(shè)z已經(jīng)從先前的深度圖測量獲得；
定義
并且
其中s和h是用于確定坐標(biāo)u,v的中間函數(shù)
f標(biāo)示為被積函數(shù)，并且相對于每個(gè)變量的拉格朗日-歐拉方程為：
省略代數(shù)，以下是示例推導(dǎo)：
盡可能地省略u,v,和w的坐標(biāo)以避免雜亂，但是這些方程對于每個(gè)像素是真的。此外，觀察拉格朗日-歐拉方程涉及u,v,和w的拉普拉斯算子。對于圖像，拉普拉斯算子的一個(gè)這樣的近似是：
其中
κ＝3
這種推導(dǎo)到目前為止提出了迭代方案。對于每個(gè)點(diǎn)：
每個(gè)像素的相對運(yùn)動(dòng)可以用于更新深度估計(jì)。
圖16是根據(jù)本公開的實(shí)施方案的用于確定圖像的逐像素平移以更新深度圖的過程流程圖1600。首先，可以知道運(yùn)動(dòng)中的物體，并且可以知道物體速度(1602)。可以識(shí)別圖像的已知深度圖，或者如果現(xiàn)在先前捕獲，則可以使用高功率深度估計(jì)技術(shù)捕獲深度圖(1604)?？梢圆东@場景的一個(gè)或多個(gè)低功率圖像(例如，2drgb圖像或低功率ir圖像)(1606)?？梢岳缡褂蒙鲜鏊惴?1608)來估計(jì)或計(jì)算物體的逐像素位置?？梢允褂梦矬w的位置變化的逐像素計(jì)算來更新深度圖(1610)。
使用慣性測量單元(imu)進(jìn)行幀插值
圖17是根據(jù)一些實(shí)施方案的包括進(jìn)一步配備有慣性測量單元(imu)1702(包括加速度計(jì)，陀螺儀)的飛行時(shí)間(tof)成像設(shè)備1701的感測系統(tǒng)1700的示意圖。感測系統(tǒng)1700類似于系統(tǒng)200。imu1702提供關(guān)于tof成像設(shè)備1701的運(yùn)動(dòng)的信息，諸如平移加速和旋轉(zhuǎn)運(yùn)動(dòng)。由imu提供的信息可以用于利用板載處理器216估計(jì)tof成像設(shè)備1701的運(yùn)動(dòng)。
根據(jù)具有幀抽取方案以降低激光發(fā)射功率的tof成像設(shè)備1701的一些實(shí)施方案，抽取幀中的深度圖從tof成像設(shè)備1701和rgb圖像或其他光敏設(shè)備在抽取幀期間捕獲的測量深度圖內(nèi)插。內(nèi)插過程涉及計(jì)算復(fù)雜的算法以分割圖像并通過相對于tof成像設(shè)備1701內(nèi)插這些分段的運(yùn)動(dòng)來內(nèi)插每個(gè)分段的深度圖。
圖18a是對組合使用tof成像設(shè)備1701的運(yùn)動(dòng)信息獲得的靜止對象的內(nèi)插深度圖和使用rgb圖像的運(yùn)動(dòng)對象的深度圖內(nèi)插的場景的深度圖進(jìn)行插值的過程的實(shí)施方案。可通過處理從一個(gè)或多個(gè)慣性測量單元(1802)接收的數(shù)據(jù)來確定tof成像設(shè)備1701的運(yùn)動(dòng)?；谙惹皉gb幀1805和來自先前幀1814的對應(yīng)深度圖來高效地計(jì)算具有對應(yīng)深度圖1806的估計(jì)rgb幀。然后將估計(jì)的rgb幀與在當(dāng)前幀1804中捕獲的rgb圖像進(jìn)行比較，可以從場景中識(shí)別和提取移動(dòng)對象1808和靜止對象1810的深度圖。根據(jù)一些實(shí)施方案，使用數(shù)據(jù)驅(qū)動(dòng)算法基于當(dāng)前幀1804和先前幀1805的rgb圖像來估計(jì)移動(dòng)對象1812的深度圖。通過組合移動(dòng)對象1812和靜止對象1810的深度圖來產(chǎn)生當(dāng)前幀1814的整個(gè)場景的內(nèi)插深度圖。
imu可以用于輔助第一2d圖像和第二2d圖像之間的估計(jì)平移、旋轉(zhuǎn)和重新縮放矢量。例如，imu可以提供與圖像傳感器如何相對于場景中的對象移動(dòng)有關(guān)的準(zhǔn)確信息。該運(yùn)動(dòng)信息可以用于確定兩個(gè)2d捕獲圖像之間的像素補(bǔ)片的平移、旋轉(zhuǎn)和/或重新縮放。
圖18b是根據(jù)本公開的實(shí)施方案的使用慣性測量單元信息來估計(jì)深度圖的過程流程圖1850。首先，諸如成像系統(tǒng)1701的成像系統(tǒng)可以在成像系統(tǒng)移動(dòng)時(shí)收集imu信息(1852)。在先前幀中，成像系統(tǒng)可以捕獲二維圖像，例如rgb圖像和場景的深度圖(1855)。成像系統(tǒng)1701可以使用imu信息和先前捕獲的二維圖像和深度圖來估計(jì)下一幀的新的二維圖像和/或深度圖(1856)。imu可以提供關(guān)于在場景中的一個(gè)或多個(gè)對象如何可能在幀之間已經(jīng)改變的信息，諸如變換信息。
物體運(yùn)動(dòng)的逐補(bǔ)片評估
圖19是根據(jù)本公開的實(shí)施方案的使用對物體的運(yùn)動(dòng)的逐補(bǔ)片估計(jì)來更新深度圖的過程流程圖1900。首先，捕獲第一幀(幀1)，其可以是用于創(chuàng)建深度圖(即，使用高功率深度估計(jì)技術(shù))的高功率捕獲(1902)。在由低功率或2drgb技術(shù)捕獲的一個(gè)或多個(gè)后來幀中(1904)，其中，深度是未知的或有噪聲的，圖像的一個(gè)或多個(gè)補(bǔ)片(或像素的窗口)可以被評估，以找到也存在于幀1中的對應(yīng)的補(bǔ)片(1906)。例如，對應(yīng)的補(bǔ)片可以包括存在于每個(gè)幀中的對象或?qū)ο蟮牟糠帧碜缘凸β?rgb圖像的補(bǔ)片可以與高功率的圖像中的在此補(bǔ)片附近的可能不同大小的補(bǔ)片進(jìn)行比較，以估計(jì)該對象或?qū)ο蟮牟糠忠苿?dòng)(平移)多少，改變多少尺寸(重新縮放)，和/或旋轉(zhuǎn)多少(1908)?？梢允褂弥T如像素值的差的和的度量來執(zhí)行比較，其中大的值對應(yīng)于大的視差，并且正在尋找具有最小視差的補(bǔ)片。在實(shí)施方案中，可以實(shí)施相鄰補(bǔ)片之間的變換的平滑度(1910)。
可以通過確定對象或?qū)ο蟮牟糠只蚱渌信d趣區(qū)域如何在兩個(gè)圖像之間改變來估計(jì)深度(1912)。例如，如果補(bǔ)片較大，那么對象比其在幀中更接近相機(jī)。在實(shí)施方案中，尺寸或其它運(yùn)動(dòng)的變化可以被量化以估計(jì)深度的變化。此外，旋轉(zhuǎn)估計(jì)能力的使用可以幫助識(shí)別兩個(gè)圖像之間的補(bǔ)片(或像素組)。在第二圖像中識(shí)別對應(yīng)的像素補(bǔ)片之后，平移和重新縮放(以及在一些實(shí)施方案中的旋轉(zhuǎn))可以用于深度估計(jì)目的。
用于識(shí)別圖像之間的像素位置的變化、重新縮放和/或旋轉(zhuǎn)的算法的示例包括光流、塊匹配、補(bǔ)片匹配、快速傅里葉變換等的變型。
在一些實(shí)施方案中，本文所描述的算法可受益于數(shù)據(jù)驅(qū)動(dòng)方法以增加可靠性?？梢允占ㄒ愿呙}沖計(jì)數(shù)獲得的高精度深度圖和一個(gè)或多個(gè)低功率或2drgb圖像的大圖像集合。可以訓(xùn)練數(shù)據(jù)驅(qū)動(dòng)算法，例如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)，以提高精度和/或速度。這樣的數(shù)據(jù)驅(qū)動(dòng)算法可以應(yīng)用于實(shí)時(shí)圖像處理技術(shù)以增強(qiáng)低功率深度圖更新。例如，可以收集包括深度圖的大數(shù)據(jù)集，以學(xué)習(xí)比較度量以比較補(bǔ)片。
作為使用補(bǔ)片位置、縮放或旋轉(zhuǎn)的變化的實(shí)施例，可以捕獲第一2d圖像以及第一2d圖像中的對象的深度圖或深度估計(jì)。然后可以捕獲第二2d圖像。從第一2d圖像，識(shí)別與像素(x,y)相鄰并且接近的像素的補(bǔ)片，并將其分配給第一2d圖像中的像素(x,y)。形成補(bǔ)片的像素的數(shù)量可以基于期望的分辨率、功耗、處理器利用率等選擇?？梢允褂美缢东@的整個(gè)圖像的深度圖來確定第一2d圖像的像素的每個(gè)補(bǔ)片的深度圖。來自第一2d圖像的像素的深度可以由f(x,y)表示，其中f(x,y)表示位置(x,y)處的像素的深度。
可以例如使用上述一個(gè)或多個(gè)算法來確定補(bǔ)片的位置、縮放或旋轉(zhuǎn)的變化。在該實(shí)施例中，可以確定像素補(bǔ)片已經(jīng)歷重新縮放和平移。像素的平移可以由t＝(x'-x,y'-y)表示，其中(x',y')表示第二2d圖像中的對應(yīng)像素的新像素位置。重新縮放可以由因子α表示。第二2d圖像中的像素的新深度可以表示為：
g(x’,y’)＝(1/α)*f(x,y)＝(1/α)*f((x’,y’)-t),
其中g(shù)(x’,y’)是第二2d圖像的位置(x’,y’)處的每個(gè)像素的估計(jì)深度。
在實(shí)施方案中，可以對第二2d圖像的每個(gè)像素執(zhí)行深度估計(jì)。在實(shí)施方案中，第一2d圖像和第二2d圖像之間的像素(x,y)的深度變化可以用作分配給像素(x,y)的像素補(bǔ)片的像素深度的代表性變化。例如，來自第二2d圖像的(x',y')處的像素可以被估計(jì)為在深度g(x',y')處，其與第一2d圖像中在(x,y)處的像素的深度之差為量a＝g(x',y')-f(x,y)。如果假設(shè)每個(gè)補(bǔ)片中的像素以相似的方式在第一2d圖像和第二2d圖像之間移動(dòng)，則分配給第二2d圖像中的像素(x',y')的補(bǔ)片中的像素的深度將相差量a。換句話說，分配給像素(x'y')的補(bǔ)片中的像素的深度將是分配給第一圖像中的像素(x,y)的補(bǔ)片中的像素的深度加上a。
在實(shí)施方案中，對于形成分配給像素(x，y)的整個(gè)像素補(bǔ)片的每個(gè)像素，t和/或α可以保持恒定，可以估計(jì)塊的深度，而不單獨(dú)估計(jì)補(bǔ)片中每個(gè)像素的深度。
背景完成
雖然被動(dòng)深度確定算法(剛體運(yùn)動(dòng)和逐像素方向運(yùn)動(dòng)版本)都可以用于監(jiān)控場景中運(yùn)動(dòng)對象的深度，但是這些對象的運(yùn)動(dòng)也暴露背景中來自前一幀的深度測量不可用的區(qū)域。為了“填充”這些區(qū)域，可能的技術(shù)包括圖像修復(fù)、塊匹配等。例如，通過在“廉價(jià)獲得”幀中使用塊匹配，可以識(shí)別與未覆蓋的背景補(bǔ)片最接近的匹配補(bǔ)片，然后使用位于來自高質(zhì)量深度圖的相同區(qū)域的補(bǔ)片來“填充”未覆蓋區(qū)域。我們的方法將使用被動(dòng)深度確定算法與這些“填充”方法一起來產(chǎn)生完整的深度圖。
圖20是用于外推更新的深度圖的背景像素的過程流程圖2000。成像系統(tǒng)可以識(shí)別其外推深度圖的方法將不給出正確的深度估計(jì)的像素(2002)。例如，當(dāng)對象或?qū)ο蟮牟糠謴牡谝粓D像移動(dòng)到第二圖像時(shí)，顯示由對象隱藏的任何東西。因?yàn)閷ο笞钃趿吮尘暗膮^(qū)域，所以隱藏的背景的深度不是初始深度圖的部分。表示背景的像素在第二圖像中被顯示，但是深度是未知的?？梢葬槍Ρ尘巴瓿蓙碜R(shí)別那些像素。
成像系統(tǒng)可以定位圖像中的、可用于估計(jì)新顯露像素的深度的、具有正確深度估計(jì)的區(qū)域(2004)。上述背景完成可以用于基于圖像中深度被正確估計(jì)的區(qū)域來估計(jì)深度(2006)。
在實(shí)施方案中，成像設(shè)備可以使用成像傳感器從場景進(jìn)行測量。術(shù)語“測量”可以包括捕獲二維圖像和深度圖像(例如，可以用于構(gòu)造深度圖的深度信息)。術(shù)語“二維圖像”包括不是深度圖像的任何圖像，例如顏色(rgb)圖像、灰度圖像、紅外圖像、其他常規(guī)圖像等。
各種發(fā)明構(gòu)思可以體現(xiàn)為至少一個(gè)非暫態(tài)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(例如，計(jì)算機(jī)存儲(chǔ)器，一個(gè)或多個(gè)軟盤，壓縮盤，光盤，磁帶，閃存，現(xiàn)場可編程門陣列或其它半導(dǎo)體器件中的電路配置等)或用一個(gè)或多個(gè)程序編碼的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備(其可以包括前述示例)，當(dāng)在一個(gè)或多個(gè)計(jì)算機(jī)或其他處理器上執(zhí)行時(shí)，一個(gè)或多個(gè)程序?qū)崿F(xiàn)本申請的各個(gè)實(shí)施方案。
已經(jīng)描述了本申請的技術(shù)的若干方面和實(shí)施方案，應(yīng)當(dāng)理解，本領(lǐng)域普通技術(shù)人員將容易想到各種改變、修改和改進(jìn)。這樣的改變、修改和改進(jìn)旨在在本申請中描述的技術(shù)的精神和范圍內(nèi)。因此，應(yīng)當(dāng)理解，前述實(shí)施例僅以示例的方式給出，并且在所附權(quán)利要求及其等同物的范圍內(nèi)，本發(fā)明實(shí)施例可以以不同于具體描述的方式實(shí)施。此外，如果這些特征、系統(tǒng)、制品、材料和/或方法不相互矛盾，則本文所述的兩個(gè)或更多個(gè)特征、系統(tǒng)、物品、材料和/或方法的任何組合包括在本公開的范圍內(nèi)。
此外，如所描述的，一些方面可以被具體化為一個(gè)或多個(gè)方法。作為方法的一部分執(zhí)行的動(dòng)作可以以任何合適的方式排序。因此，可以構(gòu)造其中以不同于所示的順序執(zhí)行動(dòng)作的實(shí)施方案，其可以包括同時(shí)執(zhí)行一些動(dòng)作，即使在說明性的實(shí)施方案中示出為順序的動(dòng)作。
本文定義和使用的所有定義應(yīng)理解為高于字典定義，通過引用并入的文獻(xiàn)中的定義和/或所定義術(shù)語的普通含義。
如本文在說明書和權(quán)利要求書中使用的短語“和/或”應(yīng)當(dāng)被理解為是指這樣連接的元件中的“任一個(gè)或兩個(gè)”，即在一些情況下連接存在而在其他情況下分離地存在的元件。
如本文在說明書和權(quán)利要求書中所使用的，關(guān)于一個(gè)或多個(gè)元件的列表的短語“至少一個(gè)”應(yīng)當(dāng)被理解為表示選自元素列表中的任意一個(gè)或多個(gè)元素的至少一個(gè)元素，但不一定包括在元素列表中具體列出的每個(gè)元素中的至少一個(gè)，并且不排除元素列表中的元素的任何組合。該定義還允許元素可以可選地存在，除了不是短語“至少一個(gè)”所指的元素列表中具體標(biāo)識(shí)的元素之外，無論與具體標(biāo)識(shí)的那些元素相關(guān)或不相關(guān)。
術(shù)語“近似”和“大約”可以用于表示在一些實(shí)施方案中在目標(biāo)值的±20％內(nèi)，在一些實(shí)施方案中在目標(biāo)值的±10％內(nèi)，在一些實(shí)施方案中在目標(biāo)值的±5％內(nèi)，并且在一些實(shí)施方案中在目標(biāo)值的±2％內(nèi)。術(shù)語“近似”和“大約”可以包括目標(biāo)值。
在權(quán)利要求中以及在上述說明書中，所有過渡短語例如“包括”，“包含”，“攜帶”，“具有”，“含有”，“涉及”，“保持”、“由...構(gòu)成”等是開放式的，即意思是包括但不限于。過渡性短語“由...組成”和“基本上由...組成”應(yīng)分別是閉合或半閉合過渡短語。
- 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊！