基于上下文的深度傳感器控制的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開總體上涉及深度感測(cè)，并且更具體地涉及用于機(jī)器視覺的深度傳感器的控制。
【背景技術(shù)】
[0002]機(jī)器視覺使能的設(shè)備可以采用深度傳感器來確定本地環(huán)境內(nèi)的對(duì)象的深度或相對(duì)距離。通常，這些深度傳感器依靠由設(shè)備投射向?qū)ο蟮囊阎臻g調(diào)制或時(shí)間調(diào)制光的反射的捕獲。這一調(diào)制光經(jīng)常實(shí)現(xiàn)為由紅外(IR)光源生成的IR光。盡管在實(shí)現(xiàn)深度估算方面有效，但是反射的IR光可能干擾本地環(huán)境中操作的可見光成像相機(jī)。而且，光源用于投射調(diào)制光的傳統(tǒng)實(shí)施方式消耗顯著功率，由此限制了在電池供電設(shè)備中或者在其它有限功率實(shí)施方式中的基于調(diào)制光的深度傳感器的實(shí)施方式。
【附圖說明】
[0003]通過參照附圖，本公開可以由本領(lǐng)域技術(shù)人員更好地理解，并且其眾多特征和優(yōu)點(diǎn)對(duì)本領(lǐng)域技術(shù)人員來說變得容易理解。在不同附圖中的相同引用符號(hào)的使用指示相似或完全相同的項(xiàng)。
[0004]圖1是圖示依照本公開的至少一個(gè)實(shí)施例的被配置為使用圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定本地環(huán)境中的相對(duì)定位/定向的電子設(shè)備的示圖。
[0005]圖2是圖示依照本公開的至少一個(gè)實(shí)施例的實(shí)現(xiàn)深度傳感器和多個(gè)成像相機(jī)的電子設(shè)備的平面前視圖的示圖。
[0006]圖3是圖示依照本公開的至少一個(gè)實(shí)施例的圖2的電子設(shè)備的平面后視圖的示圖。
[0007]圖4是圖示依照本公開的至少一個(gè)實(shí)施例的圖2的電子設(shè)備的橫截面圖的示圖。
[0008]圖5是圖示依照本公開的至少一個(gè)實(shí)施例的基于準(zhǔn)直透鏡的調(diào)制光投射器的橫截面圖的示圖。
[0009]圖6是圖示依照本公開的至少一個(gè)實(shí)施例的基于豎直腔面發(fā)射激光器(VCSEL) 二極管的調(diào)制光投射器的橫截面圖的示圖。
[0010]圖7是圖示依照本公開的至少一個(gè)實(shí)施例的用于基于圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定本地環(huán)境中的電子設(shè)備的相對(duì)定位/定向的電子設(shè)備的操作的流程圖。
[0011]圖8是圖示依照本公開的至少一個(gè)實(shí)施例的用于從捕獲的本地環(huán)境像確定二維(2D)空間特征數(shù)據(jù)和三維(3D)空間特征數(shù)據(jù)的電子設(shè)備的處理系統(tǒng)的框圖。
[0012]圖9是圖示依照本公開的至少一個(gè)實(shí)施例的用于2D空間特征提取和3D空間特征提取的圖8的處理系統(tǒng)的操作的流程圖。
[0013]圖10是圖示依照本公開的至少一個(gè)實(shí)施例的基于調(diào)制光的深度傳感器的操作的流程圖。
[0014]圖11是圖示依照本公開的至少一個(gè)實(shí)施例的用于控制基于調(diào)制光的深度傳感器的激活配置的方法的流程圖。
[0015]圖12是圖示依照本公開的至少一個(gè)實(shí)施例的用于基于調(diào)制光投射來控制可見圖像幀的顯示的方法的流程圖。
【具體實(shí)施方式】
[0016]通過提供涉及基于電子設(shè)備的本地環(huán)境中的對(duì)象的基于圖像的標(biāo)識(shí)來確定電子設(shè)備的相對(duì)定位或相對(duì)定向的若干具體實(shí)施例和細(xì)節(jié)，以下描述旨在于傳達(dá)對(duì)本公開的透徹理解。然而，應(yīng)當(dāng)理解，本公開不限于這些具體實(shí)施例和細(xì)節(jié)，它們僅是示例，并且據(jù)此本公開的范圍旨在于僅由所附權(quán)利要求及其等效物來限定。應(yīng)當(dāng)進(jìn)一步理解理解，根據(jù)已知系統(tǒng)和方法，本領(lǐng)域普通技術(shù)人員將理解出于其旨在目的和益處在任何數(shù)目的替代實(shí)施例中的本公開的使用，這依賴于具體的設(shè)計(jì)和其它需要。
[0017]圖1至圖12圖示用于確定本地環(huán)境內(nèi)的電子設(shè)備的相對(duì)定位或相對(duì)定向的各種技術(shù)，以便于支持諸如增強(qiáng)現(xiàn)實(shí)(AR)功能、視覺測(cè)程法或其它同時(shí)定位和地圖構(gòu)建(SLAM)功能等之類的基于位置的功能。術(shù)語“定位/定向”在本文中用于指代定位和定向中的任一者或兩者。在一些實(shí)施例中，電子設(shè)備包括部署在表面的深度傳感器和兩個(gè)或更多成像相機(jī)。兩個(gè)或更多成像相機(jī)可以用于捕獲電子設(shè)備的本地環(huán)境的多視圖像，并且從這一信息電子設(shè)備可以標(biāo)識(shí)表示本地環(huán)境中的對(duì)象的空間特征以及它們距電子設(shè)備的距離。進(jìn)一步地，作為從分析多視圖像提供的深度計(jì)算的替代或增強(qiáng)，深度傳感器可以用于確定所標(biāo)識(shí)的空間特征的距離。電子設(shè)備進(jìn)一步可以包括在面對(duì)用戶的表面上的另一成像相機(jī)，以便于頭部跟蹤或者面部識(shí)別或者獲得本地環(huán)境的附加像。
[0018]本地環(huán)境中的對(duì)象的相對(duì)定位/定向的標(biāo)識(shí)可以用于支持電子設(shè)備的各種基于位置的功能。為了說明，在一些實(shí)施例中，本地環(huán)境中的對(duì)象的相對(duì)定位連同諸如來自陀螺儀的定向讀數(shù)之類的非圖像傳感器數(shù)據(jù)一起用于確定本地環(huán)境中的電子設(shè)備的相對(duì)定位/定向。電子設(shè)備的相對(duì)定位/定向可以用于便于視覺測(cè)程法、室內(nèi)導(dǎo)航或者其它SLAM功能。而且，電子設(shè)備的相對(duì)定位/定向可以用于支持增強(qiáng)現(xiàn)實(shí)(AR)功能，諸如基于電子設(shè)備的相對(duì)定位和定向的在由電子設(shè)備捕獲的像的顯示中的附加信息的圖形覆蓋，并且這還可以基于用戶的頭部或眼睛相對(duì)于電子設(shè)備的定位或定向。在一些實(shí)施例中，電子設(shè)備確定其相對(duì)于本地環(huán)境而不是相對(duì)于固定或限定的定位基準(zhǔn)的定位/定向，并且從而不依靠諸如全球定位系統(tǒng)(GPS)信息、蜂窩三角測(cè)量信息等之類的外部定位信息。因此，電子設(shè)備可以在其中GPS信令或蜂窩信令弱或不存在的位置中提供基于位置的功能。
[0019]在至少一個(gè)實(shí)施例中，電子設(shè)備的深度傳感器實(shí)現(xiàn)為調(diào)制光投射器和成像相機(jī)中的一個(gè)或多個(gè)成像相機(jī)。調(diào)制光投射器將經(jīng)編碼的、結(jié)構(gòu)化的或以其它方式調(diào)制的光(通常為紅外光)投射到本地環(huán)境中，并且一個(gè)或多個(gè)成像相機(jī)捕獲調(diào)制光從對(duì)象的反射，并且從這一反射光可以確定對(duì)象距電子設(shè)備的距離。由于調(diào)制光投射器在投射的同時(shí)可以消耗顯著的功率，本公開描述用于深度傳感器的選擇性啟用和控制的各種技術(shù)，以便于降低功率消耗。
[0020]本文中進(jìn)一步描述的是處理架構(gòu)，用于分析圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)以高效地標(biāo)識(shí)電子設(shè)備的本地環(huán)境像中的2D空間特征和3D空間特征，并且用于使用這些標(biāo)識(shí)的空間特征來提供基于位置的功能。在至少一個(gè)實(shí)施例中，處理架構(gòu)利用至少兩個(gè)處理器，包括用于從一個(gè)或多個(gè)成像相機(jī)捕獲的圖像數(shù)據(jù)標(biāo)識(shí)2D空間特征的一個(gè)處理器以及用于從標(biāo)識(shí)的2D空間特征標(biāo)識(shí)3D空間特征的另一處理器。進(jìn)一步地，標(biāo)識(shí)2D空間特征的處理器可以被配置為在從成像相機(jī)流式傳輸圖像數(shù)據(jù)時(shí)標(biāo)識(shí)2D空間特征并且在2D空間特征被標(biāo)識(shí)時(shí)向另一處理器流式傳輸2D空間特征，由此降低空間特征檢測(cè)中的延遲，否則延遲將產(chǎn)生于在開始空間特征檢測(cè)之前等待整個(gè)圖像幀被緩沖。
[0021]圖1圖示依照本公開的至少一個(gè)實(shí)施例的被配置為使用圖像和非圖像傳感器數(shù)據(jù)來支持諸如SLAM或AR之類的基于位置的功能的電子設(shè)備100。電子設(shè)備100可以包括便攜式用戶設(shè)備，諸如平板計(jì)算機(jī)、計(jì)算使能的蜂窩電話(例如，“智能電話”)、筆記本計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、游戲系統(tǒng)遠(yuǎn)程、電視遠(yuǎn)程等。在其它實(shí)施例中，電子設(shè)備100可以包括固定設(shè)備，諸如醫(yī)療成像設(shè)備、安全成像相機(jī)系統(tǒng)、工業(yè)機(jī)器人控制系統(tǒng)、無人機(jī)控制系統(tǒng)等。為了便于說明，本文中的電子設(shè)備100通常在諸如平板計(jì)算機(jī)或智能電話之類的便攜式用戶設(shè)備的示例上下文中進(jìn)行描述；然而，電子設(shè)備100不限于這些示例實(shí)施方式。
[0022]在所描繪的不例中，電子設(shè)備100包括殼體102，殼體102具有與另一表面106相反的表面104。在所描繪的示例薄矩形塊外形規(guī)格中，表面104和表面106基本上平行，并且殼體102進(jìn)一步包括在表面104和表面106之間的四個(gè)側(cè)表面(頂、底、左和右)。殼體102可以以許多其它外形規(guī)格來實(shí)現(xiàn)，并且表面104和表面106可以具有非平行定向。對(duì)于所圖示的平板實(shí)施方式，電子設(shè)備100包括部署在表面104的顯示器108，用于向用戶110呈現(xiàn)視覺信息。據(jù)此，為了便于引用，表面106在本文中稱為“面對(duì)前方的”表面，并且表面104在本文中稱為“面對(duì)用戶的”表面，以反映電子設(shè)備100相對(duì)于用戶110的這一示例定向，雖然這些表面的定向不受這些關(guān)系指定的限制。
[0023]電子設(shè)備100包括用于獲得關(guān)于電子設(shè)備100的本地環(huán)境112的信息的多個(gè)傳感器。經(jīng)由部署在面對(duì)前方的表面106的成像相機(jī)114和成像相機(jī)116和深度傳感器120以及部署在面對(duì)用戶的表面104的成像相機(jī)118，電子設(shè)備100獲得針對(duì)本地環(huán)境112的視覺信息(像)。在一個(gè)實(shí)施例中，成像相機(jī)114實(shí)現(xiàn)為廣角成像相機(jī)，其具有魚眼透鏡或其它廣角透鏡，以提供面對(duì)表面106的本地環(huán)境112的較廣角視圖。成像相機(jī)116實(shí)現(xiàn)為窄角成像相機(jī)，其具有典型視角透鏡，以提供面對(duì)表面106的本地環(huán)境112的較窄角視圖。據(jù)此，成像相機(jī)114和成像相機(jī)116在本文中還分別稱為“廣角成像相機(jī)114”和“窄角成像相機(jī)116”。如下面更詳細(xì)描述的，廣角成像相機(jī)114和窄角成像相機(jī)116可以定位和定向在面對(duì)前方的表面106上，使得它們的視場(chǎng)從距電子設(shè)備100的指定距離處開始重疊，由此經(jīng)由多視圖圖像分析實(shí)現(xiàn)對(duì)本地環(huán)境112中定位在重疊視場(chǎng)區(qū)域中的對(duì)象的深度感測(cè)。成像相機(jī)118可以用于捕獲針對(duì)面對(duì)表面104的本地環(huán)境112的圖像數(shù)據(jù)。進(jìn)一步地，在一些實(shí)施例中，成像相機(jī)118被配置用于跟蹤頭部122的移動(dòng)或者用于面部識(shí)別，并且從而提供其可以用于調(diào)整經(jīng)由顯示器108呈現(xiàn)的像的視圖視角的頭部跟蹤信息。
[0024]除了支持定位和定向檢測(cè)，成像相機(jī)114、成像相機(jī)116和成像相機(jī)118中的一個(gè)或多個(gè)可以服務(wù)于電子設(shè)備100的其它成像功能。為了說明，窄角成像相機(jī)116可以被配置或優(yōu)化用于用戶發(fā)起的圖像捕獲，諸如用于捕獲消費(fèi)級(jí)照片和視頻，如智能電話和平板計(jì)算機(jī)中經(jīng)常發(fā)現(xiàn)的；并且成像相機(jī)118可以被配置或優(yōu)化用于視頻會(huì)議或視頻電話，還如智能電話和平板計(jì)算機(jī)中經(jīng)常發(fā)現(xiàn)的；而廣角成像相機(jī)114可以主要被配置用于出于位置檢測(cè)目的的機(jī)器視覺圖像捕獲。這一機(jī)器視覺特定的配置可以使光靈敏度、透鏡畸變、幀速率、全局快門性能以及從圖像傳感器的更快數(shù)據(jù)讀出優(yōu)先于其聚焦于例如像素分辨率的以用戶為中心的相機(jī)配置。
[0025]在一個(gè)實(shí)施例中，深度傳感器120使用調(diào)制光投射器119將調(diào)制光圖案從面對(duì)前方的表面106透射到本地環(huán)境中，并且使用成像相機(jī)114和成像相機(jī)116中的一者或兩者捕獲調(diào)制光圖案的反射(在它們從本地環(huán)境112中的對(duì)象反射回來時(shí))。這些調(diào)制光圖案可以是空間調(diào)制光圖案或時(shí)間調(diào)制光圖案。所捕獲的調(diào)制光圖案的反射在本文中稱為“深度像”。然后，基于對(duì)深度像的分析，深度傳感器120可以計(jì)算對(duì)象的深度，即對(duì)象距電子設(shè)備100的距離。從深度傳感器120獲得的所產(chǎn)生的深度數(shù)據(jù)可以用于校準(zhǔn)或以其它方式增強(qiáng)從對(duì)成像相機(jī)114和成像相機(jī)116捕獲的圖像數(shù)據(jù)的多視圖分析(例如，立體分析)獲得的深度信息。替代地，來自深度傳感器120的深度數(shù)據(jù)可以代替從多視圖分析獲得的深度信息而使用。為了說明，多視圖分析通常更適合于明亮的照明條件并且當(dāng)對(duì)象相對(duì)遙遠(yuǎn)時(shí)，而基于調(diào)制光的深度感測(cè)更好地適合于較低的光條件或者當(dāng)所觀察的對(duì)象相對(duì)靠近(例如，在4-5米內(nèi))時(shí)。從而，當(dāng)電子設(shè)備100感測(cè)到其處于室外或者以其它方式處于相對(duì)良好的照明條件時(shí)，電子設(shè)備100可以選擇使用多視圖分析來確定對(duì)象的深度。相反，當(dāng)電子設(shè)備100感測(cè)到其處于室內(nèi)或者以其它方式處于相對(duì)差的照明條件時(shí)，電子設(shè)備100可以切換為經(jīng)由深度傳感器120使用基于調(diào)制光的深度感測(cè)。
[0026]電子設(shè)備100還可以依靠非圖像信息以用于定位/定向檢測(cè)。這一非圖像信息可以由電子設(shè)備100經(jīng)由諸如陀螺儀或環(huán)境光傳感器之類的一個(gè)或多個(gè)非圖像傳感器(圖1中未示出)來獲得。非圖像傳感器還可以包括諸如小鍵盤(例如，觸摸屏或鍵盤)、麥克風(fēng)、鼠標(biāo)等之類的用戶接口部件。表示電子設(shè)備100在給定時(shí)間點(diǎn)的狀態(tài)的非圖像傳感器信息稱為對(duì)于該時(shí)間點(diǎn)的電子設(shè)備的“當(dāng)前上下文”。這一當(dāng)前上下文可以包括顯式上下文，諸如電子設(shè)備100的相對(duì)旋轉(zhuǎn)定向或者從本地環(huán)境112入射在電子設(shè)備100上的環(huán)境光。當(dāng)前上下文還可以包括隱式上下文信息，諸如從日歷信息或時(shí)鐘信息推斷的信息、或者從用戶與電子設(shè)備100的交互推斷的信息。用戶的交互可以包括用戶的觀察的過去行為(例如，對(duì)用戶的工作日通勤路徑和時(shí)間的確定)、最近由用戶進(jìn)行的搜索查詢、對(duì)電子郵件、文本消息、或者其它用戶通信或用戶發(fā)起的操作的關(guān)鍵項(xiàng)搜索或其它分析等。
[0027]在操作中，電子設(shè)備100使用圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定電子設(shè)備100的相對(duì)定位/定向，即相對(duì)于本地環(huán)境112的定位/定向。在至少一個(gè)實(shí)施例中，相對(duì)定位/定向的確定基于成像相機(jī)114、成像相機(jī)116和成像相機(jī)118中的一個(gè)或多個(gè)捕獲的圖像數(shù)據(jù)中的空間特征的檢測(cè)以及電子設(shè)備100相對(duì)于所檢測(cè)的空間特征的定位/定向的確定。為了說明，在所描繪的圖1的示例中，本地環(huán)境112包括辦公樓的門廳，辦公樓的門廳包括三個(gè)拐角124、126和128、護(hù)壁板130、以及電插座132。用戶110已經(jīng)定位和定向電子設(shè)備100，使得面對(duì)前方的成像相機(jī)114和成像相機(jī)116分別捕獲其包括門廳的這些空間特征的廣角成像相機(jī)圖像數(shù)據(jù)134和窄角成像相機(jī)圖像數(shù)據(jù)136。在這一示例中，深度傳感器120還捕獲深度數(shù)據(jù)138，深度數(shù)據(jù)138反映這些空間特征相對(duì)于電子設(shè)備100的當(dāng)前定位/定向的相對(duì)距離。進(jìn)一步地，面對(duì)用戶的成像相機(jī)118捕獲表示針對(duì)用戶110的頭部122的當(dāng)前定位/定向的頭部跟蹤數(shù)據(jù)140的圖像數(shù)據(jù)。諸如來自陀螺儀、磁強(qiáng)計(jì)、環(huán)境光傳感器、小鍵盤、麥克風(fēng)等的讀數(shù)之類的非圖像傳感器數(shù)據(jù)142也由處于其當(dāng)前定位/定向的電子設(shè)備100收集。
[0028]從這一輸入數(shù)據(jù)，電子設(shè)備100可以確定其相對(duì)定位/定向，而無需來自外部源的顯式絕對(duì)定位信息。為了說明，電子設(shè)備100可以執(zhí)行對(duì)廣角成像相機(jī)圖像數(shù)據(jù)134和窄角成像相機(jī)圖像數(shù)據(jù)136的多視圖分析，以確定在電子設(shè)備100和拐角124、拐角126、拐角128之間的距離。替代地，從深度傳感器120獲得的深度數(shù)據(jù)138可以用于確定空間特征的距離。從這些距離，電子設(shè)備100可以三角測(cè)量或以其它方式推斷其在由本地環(huán)境112表示的辦公室中的相對(duì)定位。作為另一示例，電子設(shè)備100可以標(biāo)識(shí)在捕獲的圖像數(shù)據(jù)134和圖像數(shù)據(jù)136的圖像幀的一個(gè)集中存在的空間特征、確定到這些空間特征的初始距離、以及然后跟蹤這些空間特征在隨后捕獲的像中的定位和距離的改變以確定電子設(shè)備100的定位/定向的改變。在這一方法中，諸如陀螺儀數(shù)據(jù)或加速計(jì)數(shù)據(jù)之類的某些非圖像傳感器數(shù)據(jù)可以用于關(guān)聯(lián)一個(gè)圖像幀中觀察到的空間特征與隨后圖像幀中觀察到的空間特征。
[0029]由電子設(shè)備100從成像相機(jī)114、成像相機(jī)116和成像相機(jī)118捕獲的圖像數(shù)據(jù)獲得的相對(duì)定位/定向信息可以用于支持各種基于位置的功能中的任何一種。相對(duì)定位/定向信息可以由電子設(shè)備100用于支持視覺測(cè)程法或其它SLAM功能。作為示例，電子設(shè)備100可以為本地環(huán)境112構(gòu)建地圖，并且然后使用這一地圖構(gòu)建來便于通過本地環(huán)境112的用戶的導(dǎo)航，諸如通過向用戶顯示從地圖構(gòu)建信息生成的樓層平面圖以及如從電子設(shè)備100的當(dāng)前相對(duì)定位確定的用戶相對(duì)于樓層平面圖的當(dāng)前位置的指示符。
[0030]而且，由電子設(shè)備100獲得的相對(duì)定位/定向信息可以與補(bǔ)充信息144組合，以經(jīng)由電子設(shè)備100的顯示器108向用戶110呈現(xiàn)本地環(huán)境112的增強(qiáng)現(xiàn)實(shí)(AR)視圖。這一補(bǔ)充信息144可以包括本地存儲(chǔ)在電子設(shè)備100的或者可由電子設(shè)備100經(jīng)由有線或無線網(wǎng)絡(luò)遠(yuǎn)程訪問的一個(gè)或多個(gè)AR數(shù)據(jù)庫。
[0031]為了說明，在所描繪的圖1的示例中，本地?cái)?shù)據(jù)庫存儲(chǔ)針對(duì)嵌入在由本地環(huán)境112表示的辦公室的墻壁內(nèi)的電布線的定位/定向計(jì)算機(jī)輔助繪圖(CAD)信息。據(jù)此，電子設(shè)備100可以經(jīng)由成像相機(jī)116捕獲本地環(huán)境112的視圖的視頻像、如上面和本文中描述的確定電子設(shè)備100的相對(duì)定向/定位、以及確定電布線位于本地環(huán)境的