發(fā)明的領(lǐng)域大體屬于計算系統(tǒng)外圍設(shè)備,并且更具體地,屬于具有二維圖像捕捉和三維飛行時間捕捉(其擁有可移動的感興趣的照明區(qū)域)的集成相機系統(tǒng)。
背景技術(shù):
許多現(xiàn)有的計算系統(tǒng)包括傳統(tǒng)相機作為集成的外圍設(shè)備。當(dāng)前的趨勢是通過將深度捕捉集成進其成像部件來增強計算系統(tǒng)成像能力。深度捕捉可被用于,例如,執(zhí)行各種智能物體識別功能,諸如臉部識別(例如,用于安全系統(tǒng)解鎖)或手勢識別(例如,用于非接觸用戶界面功能)。
一個深度信息捕捉方法,稱為“飛行時間(time-of-flight)”成像,從系統(tǒng)發(fā)出光到物體上,并且對于圖像傳感器的多個像素的每一個測量發(fā)出光和在傳感器上接收其反射圖像之間的時間。通過飛行時間像素產(chǎn)生的圖像對應(yīng)物體的三維分布,其特征為在不同的(x,y)像素位置的每一個處有唯一的深度度量(z)。
由于許多具有成像能力的計算系統(tǒng)本質(zhì)上是可移動的(例如,手提電腦、平板電腦、智能手機等),yinci將光源(“照明器”)集成進系統(tǒng)以實現(xiàn)“飛行時間”操作帶來了許多設(shè)計挑戰(zhàn),諸如成本挑戰(zhàn)、封裝挑戰(zhàn)和/或功率消耗挑戰(zhàn)。
技術(shù)實現(xiàn)要素:
描述了具有集成的二維圖像捕捉和三維飛行時間深度捕捉系統(tǒng)的裝置。集成系統(tǒng)包括照明器以生成光用于飛行時間深度捕捉系統(tǒng)。照明器包括成陣列的光源和可移動透鏡組件??梢苿油哥R組件用于可移動地引導(dǎo)已發(fā)射的光束至照明器的視場內(nèi)的多個位置中的任一個,以形成照明器視場內(nèi)的感興趣的照明區(qū)域。感興趣的照明區(qū)域具有比照明器的視場更小的尺寸。
附圖說明
以下描述和附圖被用于例示本發(fā)明的實施例。在附圖中:
圖1a示出了照明器及其視場;
圖1b示出了第一感興趣的照明區(qū)域;
圖1c示出了第二感興趣的照明區(qū)域;
圖1d示出了感興趣的照明區(qū)域的掃描;
圖1e示出了不同尺寸的感興趣的照明區(qū)域;
圖2a示出了照明器的側(cè)視圖,所述照明器能夠照亮感興趣的區(qū)域并且掃描感興趣的照明區(qū)域;
圖2b示出了圖2a的照明器的自下而上的視圖;
圖3a例示了通過調(diào)整透鏡和光源陣列之間的距離來改變感興趣的照明區(qū)域的尺寸;
圖3b例示了發(fā)射光束的方向可以通過關(guān)于光源陣列調(diào)整透鏡的側(cè)向偏移來確定;
圖3c例示了發(fā)射光束的方向可以通過傾斜透鏡的角度來確定;
圖4a示出了用于關(guān)于光源陣列垂直移動透鏡的可移動透鏡組件;
圖4b示出了用于關(guān)于光源陣列垂直和側(cè)向移動透鏡的可移動透鏡組件;
圖4c示出了用于相對于光源陣列傾斜透鏡的可移動透鏡組件;
圖5a示出了具有傳統(tǒng)2D圖像捕捉和3D飛行時間圖像捕捉功能二者的集成相機的實施例;
圖5b示出了通過圖5a的系統(tǒng)執(zhí)行的方法;
圖6示出了計算系統(tǒng)的實施例。
具體實施方式
“智能照明”飛行時間系統(tǒng)解決了上述設(shè)計挑戰(zhàn)中的一些。如在以下討論中將更清楚的,“智能照明”飛行時間系統(tǒng)可以只將光發(fā)射到照明器視場內(nèi)的“感興趣區(qū)域”上。因此,發(fā)射的光學(xué)信號的強度足夠強以在圖像傳感器處產(chǎn)生可檢測的信號,而同時,照明器的功率消耗不會從計算機系統(tǒng)的功率源顯著地提取。
一個智能照明方法是使用可移動物鏡來將來自光源陣列的光收集并集中成更強的光束,所述更強的光束可以被引導(dǎo)至照明器的視場內(nèi)的各個感興趣區(qū)域。緊接著參考圖1a至1d討論了這個特定方法的一些特征的回顧。
參考圖1a,照明器101擁有視場102,照明器能夠在該視場上發(fā)光。在某些情況下和/或當(dāng)支持某些應(yīng)用操作時,照明器101可僅引導(dǎo)光至視場102內(nèi)的較小區(qū)域。作為一例,參考圖1b,僅視場102內(nèi)的區(qū)域103被照亮。作為對比,如圖1c中所觀察到的,僅視場內(nèi)的區(qū)域104被照亮。在各個實施例中,如以下進一步更詳細討論的,照明區(qū)域可被引導(dǎo)至視場102內(nèi)的基本上任何位置。
“智能照明”處理的挑戰(zhàn)是這樣的需求:發(fā)射具有足夠的強度以在圖像傳感器處產(chǎn)生可檢測信號的光信號,而同時避免產(chǎn)生發(fā)射光的光源的過多的功率消耗。因此,一個方法是通過物鏡收集并集中物理光源(一個或多個)(例如,LED(一個或多個)或激光(一個或多個))的發(fā)散光以產(chǎn)生較不發(fā)散的光(諸如平行的或更加聚焦的光),來有效地減小所述物理光源(一個或多個)的自然發(fā)射角。將較不發(fā)散的光束刻意成形為更窄的束有效地將更大的光信號功率集中到照明器的視場內(nèi)的更小的感興趣區(qū)域103、104上。
另外,在需要更大的照明區(qū)域的情況下,智能照明技術(shù)可使用較小的照明區(qū)域“掃描”更大的區(qū)域。例如,如在圖1d中觀察到的,如果一應(yīng)用需要照亮視場102內(nèi)的更大區(qū)域105,照明器可以通過跨區(qū)域105掃描較小尺寸的照明區(qū)域來有效地照亮區(qū)域105。如圖1d中所描繪的,在時間t1照明區(qū)域中心在位置106處,在時間t2照明區(qū)域中心在位置107處,在時間t3照明區(qū)域中心在位置108處,并且在時間t4照明區(qū)域在位置109處。這里,只要從傳感器得到的信息被理解為跨越大約從時間t1到時間t4的時間段,更大尺寸的區(qū)域105的照明可以被理解,即使使用較小尺寸的照明區(qū)域。
仍進一步,如圖1e中所觀察到的,在各個實施例中,照明區(qū)域110、111的尺寸本身可以被改變。大體上,更大的照明區(qū)域尺寸可以被容忍,其程度與可以容忍的在傳感器處的更弱的接收的信號強度(例如,感興趣物體越靠近照明器,沖突的環(huán)境光較少,等)的程度相當(dāng),并且/或者與可以容忍的從功率源提取的更高系統(tǒng)功率消耗的程度相當(dāng)。當(dāng)然,照明區(qū)域越大,照明器為了有效照明更大的感興趣區(qū)域所需要執(zhí)行的掃描活動越少??梢岳斫?,一些情況可以允許單獨的照明區(qū)域足夠大,可以充滿整個視場102。
因此,總而言之,圖1a的照明器101將光功率從其光源(一個或多個)集中在較小的照明區(qū)域上,以提高在接收器處接收的信號的強度。因為照明器101照亮較小的區(qū)域,因此照明器被設(shè)計為有能力將所述較小的照明區(qū)域移動至視場102內(nèi)的各個位置。在一些情況下照明器101可以跨更大的表面面積掃描較小的照明區(qū)域,以有效地照亮更大的表面面積。另外,照明器101可被設(shè)計為調(diào)整照明區(qū)域的尺寸。
要照亮視場的哪個區(qū)域,要具有什么尺寸的照明區(qū)域,以及要不要執(zhí)行任何掃描,是根據(jù)計算系統(tǒng)的特定條件/情況和/或其執(zhí)行的特定應(yīng)用的。一些情況/條件/應(yīng)用的例子包括,舉例來說,人臉的智能識別(例如,用于計算系統(tǒng)的安全訪問)或人手的形成的智能識別(例如,用于支持手勢識別的計算系統(tǒng)的用戶界面)。這里,人的臉或者手(“感興趣的物體”)傾向于僅消耗視場102的部分。
圖2a和2b示出了具有物鏡202的照明器201的實施例的不同的透視圖,所述物鏡202的機械夾具包括設(shè)置用于以各個自由度(取決于實施)移動物鏡202的一個或多個機電馬達203。光源陣列204位于物鏡202下方。在操作中,當(dāng)光源陣列204的光源“打開”時,根據(jù)透鏡202相對于光源陣列204的定位,光源陣列204發(fā)射的光被透鏡202收集、成形和引導(dǎo)。
光源陣列204可以被實施為,例如,成陣列的發(fā)光二極管(LED)或激光器,諸如垂直腔面發(fā)射激光器(VCSEL)。在一實施例中,陣列的所述各個光源被集成在一相同的半導(dǎo)體芯片襯底上。在典型的實施中,陣列的光源發(fā)射不可見(例如,紅外(IR))光,使得反射的飛行時間信號不干擾計算系統(tǒng)的傳統(tǒng)可見光圖像捕捉功能。另外,在各個實施例中,陣列內(nèi)的光源中的每一個可被連接至相同的正極和相同的負極,使得陣列內(nèi)的所有光源全部打開或者全部關(guān)閉(可以想到,替代實施例可以被設(shè)計為允許陣列內(nèi)的光源的子集被一起打開/關(guān)閉)。
光源陣列傾向于發(fā)射出比單獨光源更均勻的光。這里,每個光源(諸如單獨的LED或VCSEL)本身傾向于發(fā)射非均勻的光。即,被單獨的LED或VCSEL照亮的區(qū)域的表面面積將傾向于具有較亮的點和較暗的點。通過將多個光源集成進陣列,從不同設(shè)備發(fā)射的光線趨于重疊,導(dǎo)致來自一些光源的暗點被其他光源的亮點照射。由此,來自陣列的總體發(fā)射光趨于具有更均勻的強度分布。
為了進一步促進均勻光的發(fā)射,照明器可以可選地包括散射器(diffuser)205。當(dāng)光傳播通過散射器205時光被散射,導(dǎo)致離開散射器205的光比進入散射器205的光更均勻。盡管散射器205在圖2中描繪為在照明器201的出射口和物鏡202之間,但散射器205可以位于沿著照明器201的光路的任何地方。
另外,如以上關(guān)于圖1a至1e討論的,應(yīng)注意個體的光源通常具有寬的發(fā)射光發(fā)散角206。個體光源的寬發(fā)散角206導(dǎo)致來自作為整體的光源陣列204的寬發(fā)散角。如圖2a中所觀察到的,物鏡202收集來自光源陣列204的發(fā)散光,并且形成一束發(fā)射光207,該束發(fā)射光207平行或者匯聚或者至少具有較小的發(fā)散角。
收集來自光源陣列204的發(fā)散光并且形成一束更集中的光增大了發(fā)射光束的單位面積的光學(xué)強度,其轉(zhuǎn)而導(dǎo)致在傳感器處的更強的接收信號。根據(jù)一個計算,如果來自光源陣列的發(fā)散角206是60°,則將發(fā)射光束的發(fā)散角減小到30°將以4.6的系數(shù)增大傳感器處的信號強度。將發(fā)射光束的發(fā)散角減小到20°將以10.7的系數(shù)增大傳感器處的信號強度。
通過來自光源陣列204的發(fā)射光的光學(xué)集中(與簡單地從光源陣列204發(fā)射更高強度的光相對照)來提高傳感器處的接收信號強度,保存了電池壽命,因為光源陣列204將能夠充分照亮感興趣的物體而不消耗大量功率。
圖3a至3c提供了如何通過對物鏡202的定位的操作來影響照明區(qū)域的尺寸和位置的一些基本例子/實施例。
如圖3a中所觀察到的,照明區(qū)域310的尺寸可以通過改變物鏡和光源陣列之間的豎直距離312來調(diào)整。如以上所討論的,物鏡從發(fā)散光源形成更準直的光束。隨著透鏡移動遠離陣列(圖3a(i)),更寬半徑的分散光被透鏡從光源陣列收集,導(dǎo)致具有更寬寬度310的發(fā)射光束形狀。反過來,隨著透鏡移動靠近陣列(圖3a(ii)),更小半徑的分散光被透鏡從光源陣列收集,導(dǎo)致具有更窄寬度的發(fā)射光束形狀。下面進一步提供具有機電動力部(用于如以上參考圖3a討論的豎直透鏡移動)的機械設(shè)計。在一實施例中,當(dāng)要照亮整個視場時透鏡被置于最靠近光源陣列。
如圖3b中所觀察到的,視場內(nèi)的照明區(qū)域的位置可以通過改變物鏡相對于光源陣列的水平位置來調(diào)整。在圖3b的特定方法中,光源陣列的位置被固定,并且物鏡沿著平面320可控制地移動,所述平面320與光源陣列的表面平行并居于光源陣列的表面之上。大體上,物鏡和光源陣列之間的不對準越大(沿平面320測量),來自照明器的發(fā)射光束的指向角越大。另外,不對準的方向確定發(fā)射光束的指向方向。例如,如圖3b(i)中所觀察到的,沿第一方向的不對準產(chǎn)生沿第一光束方向指向的光束。相比之下,沿第二相反的方向的不對準,如圖3b(ii)所觀察到的,產(chǎn)生沿與第一光束方向的指向方向相反的第二光束方向的光束。再一次,下面進一步提供具有機電動力部(用于如以上參考圖3b討論的水平透鏡移動)的機械設(shè)計。
替代圖3b的方法或與圖3b的方法結(jié)合,如圖3c中所觀察到的,視場內(nèi)的照明區(qū)域的位置也可以通過改變物鏡的傾斜角度來調(diào)整。即,傾斜物鏡將導(dǎo)致光束指向一方向,所述方向從透鏡的外表面沿著法向330向外延伸。下面還進一步提供具有機電動力部(用于引起如以上剛剛參考圖3c討論的透鏡移動)的機械設(shè)計。
圖4a示出了用于調(diào)整物鏡402距光源陣列404的豎直距離的更詳細的可移動透鏡組件。如圖4a中所觀察到的,由具有彈簧回位件411的豎直可移動內(nèi)構(gòu)件410和中空外構(gòu)件412組成的音圈電機可被利用,其中物鏡402被封裝在豎直可移動的構(gòu)件410中。被固定至內(nèi)構(gòu)件410的物鏡402與內(nèi)構(gòu)件410一起豎直移動,其沿著z軸線的豎直位置由內(nèi)構(gòu)件410抵靠回位彈簧411施加的馬達力限定。馬達力由施加至馬達的線圈的電壓限定。在典型實施中,線圈與內(nèi)構(gòu)件410成整體,并且外構(gòu)件412包括永磁體。響應(yīng)于被驅(qū)動通過線圈的電流的磁場與永磁體的磁場相互作用,其確定施加至內(nèi)構(gòu)件的力。
這里,具有彈簧回位件的音圈馬達通常具有直接的電流-位置關(guān)系,并且因此不需要位置傳感器用于反饋控制。為了易于繪圖,殼體圍繞音圈電機,當(dāng)內(nèi)構(gòu)件410沿z軸線延伸更高時,回位彈簧411抵靠所述殼體壓縮。在替代實施例中,回位彈簧可以在馬達下面,并且抵靠襯底(光源陣列芯片安裝至所述襯底)壓縮。在這種情況下,內(nèi)構(gòu)件的直徑應(yīng)大于光源陣列半導(dǎo)體芯片的寬度。
圖4a示出了用于調(diào)整物鏡402相對光源陣列404的側(cè)向位置的更詳細的可移動透鏡組件。如圖4b中所觀察到的,一對促動器音圈馬達421、422(每一個都具有彈簧回位件423、424)被用于分別限定物鏡402沿x和y方向的每一個的位置。即,一個音圈馬達421和回位彈簧423建立物鏡402的x位置,并且另一個音圈馬達422和回位彈簧424建立物鏡402的y位置。馬達和彈簧的力被物理地抵靠豎直構(gòu)件的外構(gòu)件412施加。盡管為了易于繪圖,如圖4b所描繪的,外構(gòu)件412具有圓柱形的外形,在現(xiàn)實中其可以是方形的/矩形的,使得促動器421、422可以在物鏡402的偏離軸線位置抵靠外構(gòu)件施加齊平力(flush force)。
圖4c示出了用于調(diào)整透鏡的傾斜角的可移動透鏡組件。這里,具有彈簧回位件433、434的一對音圈馬達431、432的每一個被用作促動器,以限定沿著透鏡402的外邊緣的兩個點的每一個的豎直位置。透鏡402繞y軸線的傾斜角實質(zhì)上由第一馬達431抵靠其回位彈簧433施加的力限定。透鏡402繞x軸線的傾斜角實質(zhì)上由第一馬達432抵靠其回位彈簧434施加的力限定。從這些基本情景,用于透鏡的任何傾斜角可以根據(jù)馬達施加的各力和彈簧施加的反作用力而建立。
另外,透鏡402的豎直定位可以通過相等地促動所述兩個馬達431、432而建立。即,如果馬達431、432二者都向外延伸相等的量,則透鏡將沿著+z方向抬升。相應(yīng)地,如果馬達431、432二者都向內(nèi)凹進相等的量,則透鏡將沿著-z方向下降。一個或者更多的附加音圈馬達促動器可以沿著透鏡保持器的外周定位,以進一步穩(wěn)定透鏡的傾斜角和豎直定位二者(例如,120°分隔開的三個促動器、90°分隔開的四個促動器等)。
盡管上述討論強調(diào)了音圈馬達的使用,但其他實施例可以使用諸如壓電促動器或步進馬達的其他設(shè)備。
圖5a示出了集成的傳統(tǒng)相機和飛行時間成像系統(tǒng)500。系統(tǒng)具有連接器501用于與例如更大的系統(tǒng)/模板(諸如手提電腦、平板電腦或智能手機的系統(tǒng)/母板)形成電接觸。取決于布置和實施,連接器501可以聯(lián)接至排線(flexcable),所述排線例如形成到系統(tǒng)/母板的實際連接,或者連接器501可以直接接觸系統(tǒng)/母板。
連接器501附接至平面板502,所述平面板502可被實施為導(dǎo)電和絕緣層交替的多層結(jié)構(gòu),其中導(dǎo)電層被設(shè)計樣式(patterned)以形成支撐系統(tǒng)500的內(nèi)部電連接的電子跡線。
集成的“RGBZ”圖像傳感器503安裝至平面板502。集成的RGBZ傳感器包括不同種類的像素,其中的一些對可見光敏感(例如,對紅色可見藍色光敏感的R像素的子集、對可見綠色光敏感的G像素的子集以及對藍色光敏感的B像素的子集),并且其他像素對IR光敏感。RGB像素被用于支持傳統(tǒng)“2D”可見圖像捕捉(傳統(tǒng)的拍照)功能。IR敏感像素被用于使用飛行時間技術(shù)支持2D IR圖像捕捉和3D深度輪廓成像。盡管基本的實施例包括用于可見圖像捕捉的RGB像素,但其他實施例可使用不同的彩色像素方案(例如,青色、品紅和黃色)。
對于IR敏感像素,集成的圖像傳感器503可還包括特殊的信號線或其他電路以支撐飛行時間檢測,所述特殊的信號線或其他電路包括,例如,時鐘信號線和/或指示IR光的接收的正時(考慮到從光源陣列505發(fā)射IR光的正時)的其他信號線。
集成的圖像傳感器503可還包括多個模擬-數(shù)字轉(zhuǎn)換器(ADC),以將從傳感器的RGB像素接收的模擬信號轉(zhuǎn)換為數(shù)字信號,所述數(shù)字信號代表相機透鏡模塊504前的可見像。平面板503可類似地包括信號跡線以將多個ADC提供的數(shù)字信息承載至連接器501,用于被計算系統(tǒng)的更高端部部件處理,所述更高端部部件諸如圖像信號處理管線(例如,其集成在應(yīng)用處理器上)。
相機透鏡模塊504集成在集成的RGBZ圖像傳感器503上面。相機透鏡模塊504包括成系統(tǒng)的一個或多個透鏡以將穿過孔接收的光聚焦到圖像傳感器503上。因為相機透鏡模塊對可見光的接收可干擾圖像傳感器的飛行時間像素對IR光的接收,并且反過來,因為相機透鏡模塊對IR光的接收可干擾圖像傳感器的RGB像素對可見光的接收,所以圖像傳感器503和透鏡模塊504中的一個或二者可包括成系統(tǒng)的過濾器(例如過濾器510),所述過濾器被布置為實質(zhì)上阻止要被RGB像素接收的IR光,并且實質(zhì)上阻擋要被飛行時間像素接收的可見光。
由在可移動物鏡506下方的光源陣列505組成的照明器507也被安裝在平面板501上。光源陣列505可以被實施在安裝至平面板501的半導(dǎo)體芯片上??梢苿油哥R組件506和光源陣列505的實施例已經(jīng)在上文參考圖1至4討論過。
尤其是,用于光源陣列的一個或多個支持集成電路(未在圖5a中示出)可以被安裝在平面板502上。所述一個或多個集成電路可包括LED或者用于驅(qū)動各電流通過光源陣列的光源的激光驅(qū)動電路以及用于驅(qū)動與可移動透鏡組件的音圈馬達相關(guān)的線圈的每一個的線圈驅(qū)動電路。LED或激光驅(qū)動電路和線圈驅(qū)動電路二者可包括各數(shù)字-模擬電路以將通過連接器501接收的數(shù)字信息轉(zhuǎn)換為用于光源或音圈的特定電流驅(qū)動強度。激光驅(qū)動可附加地包括時鐘電路以生成時鐘信號或具有成序列的1s和0s的其他信號,其當(dāng)被驅(qū)動通過光源時將導(dǎo)致光源重復(fù)地打開和關(guān)閉,使得深度測量可以重復(fù)地做出。
在一實施例中,圖5a的集成系統(tǒng)500支持三種操作模式:1)2D模式;2)3D模式;以及,3)2D/3D模式。在2D模式的情況下,系統(tǒng)表現(xiàn)為傳統(tǒng)相機。如此,照明器507被禁用并且圖像傳感器被用于通過其RGB像素接收可見圖像。在3D模式的情況下,系統(tǒng)捕捉在相機透鏡模塊504和照明器507的視場中的物體的飛行時間深度信息。如此,照明器被激活并且發(fā)射IR光(例如,成打開-關(guān)閉-打開-開閉的的序列)到物體上。IR光被從物體反射,通過相機透鏡模塊504接收,并且通過圖像傳感器的飛行時間像素感測。在2D/3D模式的情況下,以上描述的2D和3D模式二者是同時有效的。
圖5b示出了可被圖5a的系統(tǒng)執(zhí)行的方法500;如圖5b中所觀察到的,系統(tǒng)驅(qū)動電流通過光源陣列以導(dǎo)致光被從光源陣列551發(fā)射。系統(tǒng)通過透鏡收集并集中所述光以形成發(fā)射光束552。系統(tǒng)移動透鏡以將光束引導(dǎo)至感興趣區(qū)域,以形成視場內(nèi)的感興趣的照明區(qū)域,其中感興趣的照明區(qū)域的尺寸小于視場553。系統(tǒng)檢測至少一部分光(在其已從視場內(nèi)的感興趣物體反射之后)并且將各光的到達時間與光的發(fā)射時間比較以生成感興趣物體的深度信息。
圖6示出了示例性計算系統(tǒng)600的描繪圖,所述示例性計算系統(tǒng)600諸如個人計算系統(tǒng)(例如,臺式的或手提的)或諸如平板設(shè)備或智能手機的移動或手持計算系統(tǒng)。如圖6中所觀察到的,基本的計算系統(tǒng)可包括中央處理單元601(其可包括,例如,多個通用處理核心615 1至615N,以及布置在應(yīng)用處理器上的主存儲控制器617),系統(tǒng)存儲器602、顯示器603(例如,觸屏、平板)、本地有線點對點鏈路(例如,USB)接口604、各種網(wǎng)絡(luò)I/O功能605(諸如以太網(wǎng)接口和/或蜂窩調(diào)制解調(diào)器子系統(tǒng))、無線局域網(wǎng)(例如,Wifi)接口606、無線點對點鏈路(例如,藍牙)接口607以及全球定位系統(tǒng)接口608、各種傳感器609 1至609N、一個或多個相機610、電池611、功率管理控制單元612、揚聲器和麥克風(fēng)613以及音頻編碼器/解碼器614。
應(yīng)用處理器或多核處理器650可包括在其CPU 601內(nèi)的一個或多個通用處理核心615、一個或多個圖形處理單元616、存儲管理功能617(例如,存儲控制器),I/O控制功能618和一個或多個圖像信號處理器管線619。通用處理核心615通常執(zhí)行計算系統(tǒng)的操作系統(tǒng)和應(yīng)用軟件。圖形處理單元616通常執(zhí)行圖形密集功能,以便例如,生成顯示在顯示器603上的圖形信息。存儲控制功能617與系統(tǒng)存儲器602相互作用,以將數(shù)據(jù)寫到系統(tǒng)存儲器602/從系統(tǒng)存儲器602讀取數(shù)據(jù)。圖像信號處理管線619接收來自相機610的圖像信息并且處理原始圖像信息用于下游使用。功率管理控制單元612大體控制系統(tǒng)600的功率消耗。
觸屏顯示器603、通信接口604-607、GPS接口608、傳感器609、相機610、以及揚聲器/麥克風(fēng)編碼解碼器613、614都可以被視為相對于整個計算系統(tǒng)的各種形式的I/O(輸入和/或輸出),所述整個系統(tǒng)在適當(dāng)情況下還包括集成外圍設(shè)備(例如,所述一個或多個相機610)。取決于實施,這些I/O部件中的各種部件可以被集成在應(yīng)用處理器/多核處理器650上,或者可以位于遠離應(yīng)用處理器/多核處理器650的管芯或者位于應(yīng)用處理器/多核處理器650的封裝之外。
在一實施例中一個或多個相機610包括集成的傳統(tǒng)可見圖像捕捉和飛行時間深度測量系統(tǒng),諸如以上參考圖5描述的系統(tǒng)500。在應(yīng)用處理器或其他處理器的通用CPU核心(或具有指令執(zhí)行管線以執(zhí)行程序代碼的其他功能塊)上執(zhí)行的應(yīng)用軟件、操作系統(tǒng)軟件、設(shè)備驅(qū)動軟件和/或固件可將命令引導(dǎo)至相機系統(tǒng)以及從相機系統(tǒng)接收圖像數(shù)據(jù)。
在命令的情況下,命令可包括進入或者退出以上參考圖5描述的2D、3D或2D/3D系統(tǒng)狀態(tài)中的任一個。另外,命令可被引導(dǎo)至照明器的可移動透鏡子組件以指定可移動透鏡的特定指向方向、透鏡距光源陣列的距離(以指定照明區(qū)域尺寸)以及可移動透鏡的一系列指向方向以實現(xiàn)前述透鏡的前述掃描。
本發(fā)明的實施例可包括上述各種處理。所述處理可以通過機器可執(zhí)行指令實施。指令可以被用于使得通用或?qū)S锰幚砥鲌?zhí)行某些處理。替代地,這些處理可以通過包括用于執(zhí)行所述處理的硬連線邏輯的特定硬件部件來執(zhí)行,或者通過編程計算機部件和定制硬件部件的任何組合來執(zhí)行。
本發(fā)明的元件可還被提供為用于存儲機器可執(zhí)行指令的機器可讀媒介。機器可讀媒介可包括但不限于,軟盤、光盤、CD-ROM以及磁光盤、閃存、ROM、RAM、EPROM、EEPROM、磁卡或光卡、傳播媒體或適于存儲電子指令的其它類型的媒體/機器可讀媒介。例如,本發(fā)明可以被下載為計算機程序,其可以通過實施在載波或其他傳播媒介中的數(shù)據(jù)信號經(jīng)由通信鏈路(例如,調(diào)制解調(diào)器或網(wǎng)絡(luò)連接)從遠程計算機(例如,服務(wù)器)被傳遞至請求計算機(即,客戶端)。
在前述說明中,本發(fā)明已被參考其特定示例性實施例描述。然而,顯然可以對其做出各種修改和改變而不偏離如所附權(quán)利要求所述的本發(fā)明的更寬的精神和范圍。說明和附圖因此應(yīng)被看作示例性的為不是限制性的。