用于2d/3d空間特征處理的系統(tǒng)的制作方法
【技術(shù)領域】
[0001]本公開一般涉及圖像捕捉和處理，而且更具體地，涉及使用所捕捉的圖像的機器視覺。
【背景技術(shù)】
[0002]諸如同步定位和地圖構(gòu)建(simultaneouslocalizat1n and mapping，SLAM)、增強現(xiàn)實(augmented reality,AR)和虛擬現(xiàn)實(virtual reality,VR)的機器視覺技術(shù)經(jīng)常依賴于通過對由設備捕捉的本地環(huán)境的圖像的分析的對設備的本地環(huán)境內(nèi)的對象的識別。這種分析傳統(tǒng)上由圖形處理單元(GPU)逐幀地執(zhí)行，這可導致圖像捕捉和特征識別之間的顯著滯后，這又會嚴重影響設備對于設備的位置或取向的改變或本地環(huán)境的改變的感知響應度。
【附圖說明】
[0003]本領域技術(shù)人員通過參考附圖可以更好地理解本公開，并且本公開的許多特征和優(yōu)點對于本領域技術(shù)人員來說變得清楚。在不同的圖中使用相同的參考標記指示相似的或相同的項目。
[0004]圖1是圖示出根據(jù)本公開的至少一個實施例的被配置為使用圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定本地環(huán)境中的相對位置/取向的電子設備的圖。
[0005]圖2是圖示出根據(jù)本公開的至少一個實施例的實施多個成像相機和深度傳感器的電子設備的前平面圖的圖。
[0006]圖3是圖示出根據(jù)本公開的至少一個實施例的圖2的電子設備的后平面圖的圖。
[0007]圖4是圖示出根據(jù)本公開的至少一個實施例的圖2的電子設備的截面圖的圖。
[0008]圖5是圖示出根據(jù)本公開的至少一個實施例的基于準直鏡頭的調(diào)制光投影器的截面圖的圖。
[0009]圖6是圖示出根據(jù)本公開的至少一個實施例的基于垂直腔表面發(fā)射激光器(vertical-cavity surface-emitting laser，VCSEL) 二極管的調(diào)制光投影器的截面圖的圖。
[0010]圖7是圖示出根據(jù)本公開的至少一個實施例的基于圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定電子設備在本地環(huán)境中的相對位置/取向的電子設備的操作的流程圖。
[0011]圖8是圖示出根據(jù)本公開的至少一個實施例的用于從捕捉的本地環(huán)境的圖像確定二維(2D)和三維(3D)空間特征數(shù)據(jù)的電子設備的處理系統(tǒng)的框圖。
[0012]圖9是圖示出根據(jù)本公開的至少一個實施例的用于2D和3D空間特征提取的圖8的處理系統(tǒng)的操作的流程圖。
[0013]圖10是圖示出根據(jù)本公開的至少一個實施例的基于調(diào)制光的深度傳感器的操作的流程圖。
[0014]圖11是圖示出根據(jù)本公開的至少一個實施例的用于控制基于調(diào)制光的深度傳感器的激活配置的方法的流程圖。
[0015]圖12是圖示出根據(jù)本公開的至少一個實施例的用于基于調(diào)制光投射來控制可見光圖像幀的顯示的方法的流程圖。
【具體實施方式】
[0016]以下描述旨在通過提供多個特定實施例和細節(jié)來傳達對本公開的透徹理解，所述多個特定實施例和細節(jié)涉及基于對電子設備的本地環(huán)境中的對象的基于圖像的識別，來確定電子設備的相對位置或相對取向。然而，要理解，本公開并不限于這些特定實施例和細節(jié)，它們僅僅是示例，并且相應地本公開的范圍旨在僅由所附權(quán)利要求及其等同物來限定。還要理解，本領域普通技術(shù)處理人員根據(jù)已知的系統(tǒng)和方法取決于特定設計和其它需要將會理解在任何數(shù)目的可替換實施例中針對其意圖的目的和益處而對本公開的使用。
[0017]圖1至圖12圖示了用于確定電子設備在本地環(huán)境內(nèi)的相對位置或相對取向從而支持基于位置的功能，諸如增強現(xiàn)實(AR)功能、視覺測程(odometry)或其它同步定位和地圖構(gòu)建(simultaneous localizat1n and mapping, SLAM)功能等等的各種技術(shù)。術(shù)語“位置/取向”在本文中被用于指位置和取向中的任一個或這兩者。在一些實施例中，電子設備包括布置在表面的兩個或更多個成像相機以及深度傳感器。兩個或更多個成像相機可以被用于捕捉電子設備的本地環(huán)境的多視圖圖像，并且根據(jù)這個信息，電子設備可以識別表示本地環(huán)境中的對象以及它們距電子設備的距離的空間特征。此外，深度傳感器可以被用于將所識別的空間特征的距離確定為對根據(jù)分析多視圖圖像而提供的深度計算的替換或者增強。電子設備還可以在面向用戶的表面上包括另外的成像相機，從而便利于頭部追蹤或面部識別或者獲得本地環(huán)境的附加圖像。
[0018]對于對象在本地環(huán)境中的相對位置/取向的識別可以被用來支持電子設備的各種基于位置的功能。為了說明，在一些實施例中，對象在本地環(huán)境中的相對位置連同諸如來自陀螺儀的取向讀數(shù)的非圖像傳感器數(shù)據(jù)一起被用來確定電子設備在本地環(huán)境中的相對位置/取向。電子設備的相對位置/取向可以被用來便利于視覺測程、室內(nèi)導航或其它SLAM功能。此外，電子設備的相對位置/取向可以被用來基于電子設備的相對位置和取向，并且還可以基于用戶的頭部或眼睛相對于電子設備的位置或取向，來支持增強現(xiàn)實(AR)功能，諸如由電子設備所捕捉的圖像的顯示中的附加信息的圖形覆蓋。在一些實施例中，電子設備確定其相對于本地環(huán)境而非相對于固定的或限定的定位參考的位置/取向，因此不依賴于諸如全球定位系統(tǒng)(GPS)信息、蜂窩三角測量信息等的外部定位信息。因此，該電子設備可以在GPS信令或蜂窩信令較弱或不存在的位置中提供基于位置的功能。
[0019]在至少一個實施例中，電子設備的深度傳感器被實施為調(diào)制光投影器以及成像相機中的一個或多個。調(diào)制光投影器將經(jīng)編碼的、結(jié)構(gòu)化的或以其它方式調(diào)制的光——典型的是紅外光一一投射到本地環(huán)境中，并且一個或多個成像相機捕捉從對象反射的調(diào)制光，并且根據(jù)該反射光可以確定對象距電子設備的距離。由于調(diào)制光投影器可以在投射時消耗顯著的電力，因此本公開描述了用于選擇性啟用和控制深度傳感器從而減少電力消耗的各種技術(shù)。
[0020]本文中進一步描述的是用于分析圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)以有效地識別電子設備的本地環(huán)境的圖像的2D和3D空間特征、并且用于使用這些識別的空間特征來提供基于位置的功能的處理架構(gòu)。在至少一個實施例中，處理架構(gòu)利用至少兩個處理器，包括用于從由一個或多個成像相機捕捉的圖像數(shù)據(jù)識別2D空間特征的一個處理器，以及用于所識別的2D空間特征來識別3D空間特征的另一處理器。此外，識別2D空間特征的處理器可以被配置為當從成像相機流傳輸圖像數(shù)據(jù)時識別2D空間特征并且當識別出2D空間特征時將2D空間特征流傳輸?shù)狡渌幚砥?，從而減少了空間特征檢測中的延遲，否則將導致在開始空間特征檢測之前等待緩沖整個圖像幀。
[0021]圖1圖示了根據(jù)本公開的至少一個實施例的被配置為使用圖像和非圖像傳感器數(shù)據(jù)來支持基于位置的功能(諸如SLAM或AR)的電子設備100。電子設備100可以包括便攜式用戶設備，諸如平板計算機、具備計算功能的蜂窩電話(例如，“智能電話”)、筆記本計算機、個人數(shù)字助理(PDA)、游戲系統(tǒng)遠程控制、電視遠程控制等。在其它實施例中，電子設備100可以包括固定設備，諸如醫(yī)療成像設備、安全成像相機系統(tǒng)、工業(yè)機器人控制系統(tǒng)、無人機控制系統(tǒng)等等。為了便于說明，電子設備100在本文中一般在諸如平板計算機或智能電話的便攜式用戶設備的示例場景中描述；然而，電子設備100不限于這些示例實施方式。
[0022]在所描繪的不例中，電子設備100包括殼體102，其具有與另一表面106相對的表面104。在所描繪的薄矩形框外形因子的示例中，表面104和106基本上平行，并且殼體102還在表面104和表面106之間包括四個側(cè)表面(頂部、底部、左側(cè)和右側(cè))。殼體102可以以許多其它外形因子來實施，并且表面104和106可以具有非平行的取向。對于所圖示的平板實施方式，電子設備100包括布置在表面104的用于向用戶110呈現(xiàn)視覺信息的顯示器108。因此，為了便于參考，當相對于用戶110反映電子設備100的這個示例取向時，表面106在本文中被稱為“面向前方的”表面，并且表面104在本文中被稱為“面向用戶的”表面，盡管這些表面的取向并不受這些關(guān)系性名稱的限制。
[0023]電子設備100包括多個傳感器，以獲得關(guān)于電子設備100的本地環(huán)境112的信息。電子設備100經(jīng)由布置在面向前方的表面106的成像相機114和116及深度傳感器120和布置在面向用戶的表面104的成像相機118來獲得本地環(huán)境112的視覺信息(圖像)。在一個實施例中，成像相機114被實施為具有魚眼鏡頭或其它廣角鏡頭的廣角成像相機，以提供面向表面106的本地環(huán)境112的更廣角的視圖。成像相機116被實施為具有典型視角鏡頭的窄角成像相機，以提供面向表面106的本地環(huán)境112的更窄角的視圖。因此，成像相機114和成像相機116在本文中也分別被稱為“廣角成像相機114”和“窄角成像相機116”。如下面更詳細描述的，廣角成像相機114和窄角成像相機116可以被定位和定向在面向前方的表面106上，以使得它們的視場從距電子設備100指定的距離處開始重疊，由此使得能夠經(jīng)由多視圖圖像分析來感測本地環(huán)境112中的、位于視場重疊的區(qū)域中的對象的深度。成像相機118可以被用于捕捉面向表面104的本地環(huán)境112的圖像數(shù)據(jù)。此外，在一些實施例中，成像相機118被配置用于追蹤頭部122的移動或用于面部識別，因此提供可以被用于調(diào)整經(jīng)由顯示器108呈現(xiàn)的圖像的視圖透視(perspective)的頭部追蹤信息。
[0024]除了支持位置和取向檢測以外，成像相機114、116和118中的一個或多個還可以為電子設備100提供其它成像功能。為了說明，窄角成像相機116可以被配置或被優(yōu)化用于由用戶發(fā)起的圖像捕捉，諸如用于捕捉消費級圖片和視頻，如經(jīng)常在智能電話和平板計算機中進行的那樣，并且成像相機118可以被配置或被優(yōu)化用于視頻會議或視頻電話，也如經(jīng)常在智能電話和平板計算機中進行的那樣，而廣角成像相機114可以主要被配置用于機器視覺圖像捕捉，以用于位置檢測。相比于聚焦于例如像素分辨率的用戶為中心的相機配置，這種特定于機器視覺的配置可以優(yōu)化光敏感度、鏡頭畸變、幀速率、全局快門能力、和從圖像傳感器更快的數(shù)據(jù)讀取。
[0025]在一個實施例中，深度傳感器120使用調(diào)制光投影器119將調(diào)制光圖案從面向前方的表面106投射到本地環(huán)境中，并當調(diào)制光圖案從本地環(huán)境112中的對象反射回來時使用成像相機114和116中的一個或兩個來捕捉調(diào)制光圖案的反射。這些調(diào)制光圖案可以或者是空間調(diào)制光圖案或者是時間調(diào)制光圖案。捕捉的調(diào)制光圖案的反射在本文中被稱為“深度圖像”。深度傳感器120然后可以基于對深度圖像的分析來計算對象的深度，即，對象距電子設備100的距離?？梢允褂脧纳疃葌鞲衅?20獲得的結(jié)果深度數(shù)據(jù)來校準或以其它方式增強對由成像相機114和116捕捉的圖像數(shù)據(jù)進行多視圖分析(例如，立體分析)所獲得的深度信息?？商鎿Q地，來自深度傳感器120的深度數(shù)據(jù)可以代替從多視圖分析所獲得的深度信息來使用。為了說明，多視圖分析通常更適合于明亮的照明條件以及當對象相對較遠時，而基于調(diào)制光的深度感測更適合于較低光的條件或者當觀察的對象相對較近(例如，在4-5米內(nèi))時。因此，當電子設備100感測到其在戶外或以其它方式在相對良好的照明條件下時，電子設備100可以選擇使用多視圖分析來確定對象深度。相反，當電子設備100感測到其在室內(nèi)或以其它方式在相對較差的照明條件下時，電子設備100可以切換到使用經(jīng)由深度傳感器120的基于調(diào)制光的深度感測。
[0026]電子設備100還可以依賴于用于位置/取向檢測的非圖像信息。這個非圖像信息可以由電子設備100經(jīng)由一個或多個非圖像傳感器(在圖1中未示出)，諸如陀螺儀或環(huán)境光傳感器來獲得。非圖像傳感器還可以包括用戶接口組件，諸如鍵區(qū)(例如，觸摸屏或鍵盤)、麥克風、鼠標等。表示電子設備100在給定的時間點的狀態(tài)的非圖像傳感器信息被稱為電子設備在該時間點的“當前場景”。這個當前場景可以包括顯式場景，諸如電子設備100的相對旋轉(zhuǎn)取向或者從本地環(huán)境112入射到電子設備100上的環(huán)境光。當前場景還可以包括隱式場景信息，諸如從日歷信息或時鐘信息推斷的信息、或者從用戶與電子設備100的交互所推斷的信息。用戶的交互可以包括用戶的被觀察到的過去行為(例如，對用戶工作日的通勤路徑和時間的確定)、用戶最近進行的搜索查詢、電子郵件的關(guān)鍵詞搜索或其它分析、文本消息、或其它用戶通信或者用戶發(fā)起的操作等等。
[0027]在操作中，電子設備100使用圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定電子設備100的相對位置/取向，S卩，相對于本地環(huán)境112的位置/取向。在至少一個實施例中，對相對位置/取向的確定基于對由成像相機114、116和118中的一個或多個所捕捉的圖像數(shù)據(jù)中的空間特征的檢測，以及對電子設備100相對于檢測到的空間特征的位置/取向的確定。為了說明，在圖1中所描繪的示例中，本地環(huán)境112包括辦公樓的走廊，該辦公樓包括三個角落124、126和128、底板130和電插座132。用戶110已經(jīng)定位并定向電子設備100，以使得面向前方的成像相機114和116分別捕捉包括走廊的這些空間特征的廣角成像相機圖像數(shù)據(jù)134和窄角相機成像圖像數(shù)據(jù)136。在本示例中，深度傳感器120還捕捉深度數(shù)據(jù)138，其反映了這些空間特征相對于電子設備100的當前位置/取向的相對距離。此外，面向用戶的成像相機118針對用戶110的頭部122的當前位置/取向捕捉表示頭部追蹤數(shù)據(jù)140的圖像數(shù)據(jù)。非圖像傳感器數(shù)據(jù)142，諸如來自陀螺儀、磁力計、環(huán)境光傳感器、鍵區(qū)、麥克風的讀數(shù)，也由電子設備100在其當前位置/取向中收集。
[0028]在沒有來自外部源的顯式絕對定位信息的情況下，電子設備100可以根據(jù)此輸入數(shù)據(jù)確定其相對位置/取向。為了說明，電子設備100可以執(zhí)行對廣角成像相機圖像數(shù)據(jù)134和窄角成像相機圖像數(shù)據(jù)136的多視圖分析，以確定電子設備100和角落124、126、128之間的距離?？商鎿Q地，從深度傳感器120獲得的深度數(shù)據(jù)138可以被用來確定空間特征的距離。根據(jù)這些距離，電子設備100可以以三角測量或以其它方式推斷其在由本地環(huán)境112所表示的辦公室中的相對位置。作為另一示例，電子設備100可以識別在圖像數(shù)據(jù)134和136的一組捕捉的圖像幀中存在的空間特征，確定到這些空間特征的初始距離，然后在隨后捕捉的圖像中追蹤這些空間特征的位置和距離的改變以確定電子設備100的位置/取向的改變。在這種方法中，某些非圖像傳感器數(shù)據(jù)，諸如陀螺儀數(shù)據(jù)或加速計數(shù)據(jù)，可以被用于使在一個圖像幀中觀察到的空間特征與在隨后的圖像幀中觀察的空間特征相關(guān)。
[0029]電子設備100從由成像相機114、116和118捕捉的圖像數(shù)據(jù)所獲得的相對位置/取向信息可以被用于支持多種基于位置的功能中的任何一種。相對位置/取向信息可以被電子設備100用于支持視覺測程或其它SLAM功能。作為示例，電子設備100可以地圖構(gòu)建本地環(huán)境112，然后使用這個地圖構(gòu)建來便利于用戶導航經(jīng)過本地環(huán)境112，諸如通過向用戶顯示根據(jù)地圖構(gòu)建信息生成的平面圖、和根據(jù)電子設備100的當前相對位置所確定的用戶相對于平面圖的當前位置的指示符。
[0030]另外，通過電子設備100獲得的相對位置/取向信息可以與補充信息144組合以經(jīng)由電子設備100的顯示器108向用戶110呈現(xiàn)本地環(huán)境112的增強現(xiàn)實(AR)視圖。這個補充信息144可以包括本地存儲在電子設備100的或電子設備100可以經(jīng)由有線或無線網(wǎng)絡遠程訪問的一個或多個AR數(shù)據(jù)庫。
[0031]為了說明，在圖1所描繪的示例中，本地數(shù)據(jù)庫存儲了用于嵌入在由本地環(huán)境112所表示的辦公室的墻壁內(nèi)的電氣布線的位置/取向計算機輔助繪圖(CAD)信息。因此，電子設備100可以經(jīng)由成像相機116捕捉本地環(huán)境112的視圖的視頻圖像，如以上及此處所描述地確定電子設備100的相對取向/位置，并且確定存在于本地環(huán)境的