本發(fā)明的領(lǐng)域整體上涉及電子領(lǐng)域,更具體地,涉及堆疊半導(dǎo)體芯片RGBZ傳感器。
背景技術(shù):
諸多現(xiàn)有計算系統(tǒng)包括一個或多個傳統(tǒng)圖像采集相機作為集成的外圍設(shè)備。當前的趨勢是通過將深度采集集成到其成像組件中來增強計算系統(tǒng)的成像能力。深度采集可以用于例如執(zhí)行各種智能對象識別功能,如面部識別(例如用于安保系統(tǒng)解鎖)或手部姿勢識別(例如用于非接觸式用戶界面功能)。
一種被稱為“飛行時間”成像的深度信息采集方法將光從系統(tǒng)發(fā)射到物體上,并且對于圖像傳感器的多個像素中的每一個,測量光的發(fā)射和反射圖像的接收之間的時間。由飛行時間像素產(chǎn)生的圖像對應(yīng)于物體的三維輪廓,其表征為在不同像素位置中的每一個處(x,y)的特定深度測量值(z)。
由于諸多具有成像能力的計算系統(tǒng)(例如膝上型計算機、平板計算機、智能電話等)本質(zhì)上是可移動的,飛行時間操作與傳統(tǒng)圖像采集的集成呈現(xiàn)出許多設(shè)計挑戰(zhàn),如成本挑戰(zhàn)和封裝挑戰(zhàn)。
技術(shù)實現(xiàn)要素:
本發(fā)明描述了一種裝置,其包括具有第一像素陣列的第一半導(dǎo)體芯片。第一像素陣列具有可見光敏感像素。該裝置包括具有第二像素陣列的第二半導(dǎo)體芯片。第一半導(dǎo)體芯片堆疊在第二半導(dǎo)體芯片上,使得第二像素陣列位于第一像素陣列下方。第二像素陣列具有用于基于飛行時間的深度檢測的IR光敏像素。
本發(fā)明描述了一種裝置,其包括用于在第一像素陣列的表面處接收可見光和IR光的器件。該裝置還包括用于利用第一像素陣列感測可見光但不感測IR光的器件,其中IR光穿過第一像素陣列。該裝置還包括利用位于第一像素陣列下方的第二像素陣列感測IR光的器件。
附圖說明
以下說明和附圖用于說明本發(fā)明的實施例。在附圖中:
圖1a和1b示出了堆疊半導(dǎo)體芯片RGBZ傳感器的實施例;
圖2示出了堆疊半導(dǎo)體芯片RGBZ傳感器的操作的圖示;
圖3a至3i示出了制造堆疊半導(dǎo)體芯片RGBZ傳感器的方法;
圖4a至4d示出了不同的圖像傳感器電路分布;
圖5示出了由堆疊半導(dǎo)體芯片RGBZ傳感器執(zhí)行的方法;
圖6示出了2D/3D相機系統(tǒng)的實施例。
圖7示出了具有2D/3D相機系統(tǒng)的計算系統(tǒng)的實施例。
具體實施方式
“RGBZ”圖像傳感器是用于在同一相機封裝體內(nèi)實現(xiàn)傳統(tǒng)圖像采集和飛行時間深度分析二者的有吸引力的解決方案。RGBZ圖像傳感器是包括不同種類的像素的圖像傳感器,其中一些像素(RGB像素)對可見光敏感,而其它像素(飛行時間像素或“Z”像素)用于測量深度信息。
在通常的實施方式中,飛行時間像素被設(shè)計為對IR光敏感,因為如上所述,IR光用于飛行時間測量,使得飛行時間測量不干擾傳統(tǒng)的RGB像素的成像功能。飛行時間像素還具有特殊的相關(guān)時鐘和/或定時電路,以測量在像素處接收到光的時間。然而,因為飛行時間像素對IR光敏感,所以它們也可以被構(gòu)想為用作(例如在第二模式中)IR像素而不是飛行時間像素(即IR信息被采集,但是不進行飛行時間測量)。
與將RGB像素和Z像素包括在分開的封裝中的解決方案相比,將RGB像素和Z像素二者集成到同一封裝中會減小尺寸并降低成本。圖1a和1b示出了“堆疊”RGBZ圖像傳感器100,其中,第一類型的像素陣列101(例如RGB像素陣列)堆疊在第二類型的像素陣列102(例如IR或Z像素陣列)的頂部上。這里,堆疊結(jié)構(gòu)100包括堆疊在第二類型的功能像素108(Z)的下層上的與單純?yōu)V光器相反的第一類型的功能像素107(RGB)。如將在下面進一步詳細討論的,在操作中,上像素陣列101被實施為背側(cè)照明像素陣列,下像素陣列102被實施為前側(cè)照明像素陣列。
如圖1a和1b的實施例中所示,背側(cè)互連金屬化層109、RGB濾光層110和微透鏡陣列112位于上像素陣列101的半導(dǎo)體晶片104的背側(cè)上。背側(cè)金屬化層109有助于支持在像素陣列對101、102之間的芯片到芯片的過孔116。RGB濾光層110包括不同顏色濾光器111_1、111_2,以限定上像素陣列101的RGB像素。微透鏡陣列112與引線結(jié)合焊盤118一起形成在整個結(jié)構(gòu)100的上表面上。形成在引線結(jié)合焊盤118上的引線結(jié)合件可以布置在封裝基體上。在一些實施例中,下基體114對應(yīng)于封裝基體,而在其它實施例中,下基體114對應(yīng)于安裝在封裝基體上的另一半導(dǎo)體芯片(在后者的實施例中,封裝基體在圖1b中未示出)。
上像素陣列101還包括前側(cè)金屬化層103,以形成晶體管部件(如柵極和源極/漏極電極)和對應(yīng)的互連層(一個或多個),其一起形成集成在上像素陣列101上的電路。特別地,上像素陣列101包括延伸穿過上像素陣列101的半導(dǎo)體基體104的貫穿基體過孔115,以將金屬化層103的節(jié)點連接到金屬化層109的節(jié)點。
下像素陣列102包括前側(cè)互連金屬化層106,其面對上像素陣列101的前側(cè)互連金屬化層103。前側(cè)金屬化層106用于形成晶體管部件(如柵極和源極/漏極電極)和對應(yīng)的互連層(一個或多個),其一起形成集成在下像素陣列102上的電路。下像素陣列102的前側(cè)金屬化層106還包括連接到過孔116的節(jié)點,過孔116連接至上像素陣列101的背側(cè)金屬化層109的節(jié)點。這些過孔116,如過孔115那樣,也被實施為上像素陣列101的貫穿基體過孔。
下像素陣列102的前側(cè)金屬化層106還包括連接到過孔117的附加節(jié)點,過孔117連接到結(jié)合焊盤118。類似于過孔115和116,過孔117也被實施為上像素陣列101的貫穿基體過孔。雖然圖1b顯示,到/來自上像素陣列101的所有輸入/輸出信號必須通過下像素陣列102的前側(cè)金屬化層106,但是在各個實施例中,上像素陣列101的背側(cè)金屬化層109可以支持直接連接到接合焊盤118的過孔,從而允許信號在接合焊盤和上像素陣列101之間傳遞,而不必橫穿下像素陣列102的金屬化層106。
注意,圖1b示出了沿著特定剖切面的堆疊RGBZ圖像傳感器的實施例,示出了RGB像素陣列的第一水平軸線。例如,如果對同一結(jié)構(gòu)的描繪沿著更接近或更遠離圖1b的GBGB...軸線的下一水平軸線示出,則上像素陣列101的可見像素將替代地示出為以例如GRGR...樣式替代GBGB...樣式。還要注意,在圖1b的實施例中,Z像素108比RGB像素大,因為例如,與可見光相比,硅具有較低的IR光靈敏度,和/或,Z像素需要更大的阱電容(well capacitance)。上和下像素陣列101、102的前側(cè)金屬化層103、106還可以包括相應(yīng)的光導(dǎo)結(jié)構(gòu)113、114,以將流過上像素陣列101的RGB像素的入射光耦合到下像素陣列102的Z像素中。
圖2描繪了圖1a和1b的堆疊像素陣列結(jié)構(gòu)的操作方法。如圖2所示,由可見光和IR光組成的光210入射在上RGB像素陣列201的(例如背側(cè))表面上。如本領(lǐng)域中已知的,形成在上像素陣列201上的RGB濾光層110(一個或多個)包括單獨瓦狀(tile-like)的綠色濾光器111_1和藍色濾光器111_2,通常以如拜耳(Bayer)圖案的圖案布置。每個單獨的RGB濾光器不僅使具有其自身特定顏色的可見光(例如在R像素的情況下為紅色,在B像素的情況下為藍色等)通過,而且也使IR光通過。特定顏色的可見光和IR光照射在上像素陣列201的半導(dǎo)體基體104(例如背側(cè))上。上像素陣列201的像素107_1、107_2吸收可見光,并且相應(yīng)于此吸收而產(chǎn)生針對它們相應(yīng)的顏色的相應(yīng)的檢測信號。
與被上像素陣列201吸收的可見光不同,相比而言,IR光穿過上像素陣列201。這里,作為物理學的通常情況,相對于IR光,可見光傾向于強烈地多地被半導(dǎo)體吸收。因此,通過使上像素陣列201層的半導(dǎo)體晶片104做得足夠薄,可以使上像素陣列201吸收入射的可見光并對其做出反應(yīng),同時基本上使入射的IR光穿過。
因此,理想地,入射在上像素陣列201上的IR光211大部分穿過上像素陣列201到下像素陣列202。在實施例中,下像素陣列202的半導(dǎo)體晶片105被制成比上像素陣列201的半導(dǎo)體晶片104更厚,使得與上像素陣列201不同,其吸收入射的IR光211而不是使其穿過。因此,下像素陣列202的像素吸收IR光并且響應(yīng)于此產(chǎn)生相應(yīng)的檢測信號。通過吸收IR光,下像素陣列202下方的任何電路(例如在下基體114被實施為半導(dǎo)體芯片的情況下)不受干擾。
在各個實施方式中,下像素陣列202的Z像素通過根據(jù)在閃爍“開”IR照明器的光和在下像素陣列202處接收該閃爍的反射光之間的時間而產(chǎn)生電荷,從而有效地執(zhí)行“3D”飛行時間深度測量。Z像素通常接收時鐘信號,該時鐘信號的每一個與照明器的時鐘信號具有已知的相位關(guān)系。在一個實施例中,存在提供至下像素陣列的每個Z像素的四種這樣的時鐘信號(例如0°、90°、180°和270°正交臂)。
這里,利用具有不同相位的時鐘(例如通過4個連續(xù)的曝光時間)對Z像素進行計時,將針對同一光閃爍收集到不同的電荷量。來自不同時鐘的收集的電荷信號可以被組合,以產(chǎn)生該節(jié)點所在的區(qū)域的特定的飛行時間值。在一個實施方式中,這樣的組合由圖像信號處理器(例如集成在諸如處理器或應(yīng)用處理器半導(dǎo)體芯片的主機系統(tǒng)上)來進行。
注意,圖2的堆疊像素陣列結(jié)構(gòu)自然地使其本身能夠同時利用上RGB像素陣列201檢測可見光圖像,并利用下Z像素陣列202檢測用于飛行時間測量的IR光。
圖3a到3i示出了用于制造堆疊像素陣列結(jié)構(gòu)的示例性工藝。如圖3a所示,上像素陣列301(例如根據(jù)第一晶圓制造工藝)形成有前側(cè)金屬化層303,其包括每個在可見光像素區(qū)域組上形成的相應(yīng)的光導(dǎo)314,所述可見光像素區(qū)域組的尺寸與和下像素陣列相關(guān)聯(lián)的Z像素相稱(例如,包括一對R像素、G像素和B像素的RGB像素的4×4平方)。
如本領(lǐng)域中已知的,前側(cè)金屬化層303包括導(dǎo)電跡線層303,其中,在中間的相應(yīng)的電介質(zhì)層形成在半導(dǎo)體基體304上方。對于每個像素,電互連特征通常包括一個或多個觸頭,其接觸下面的硅(例如,用以偏壓像素和/或拾取像素的光學感應(yīng)電信號),并且向/從位于有源像素陣列的外圍周圍的支持像素陣列的操作的其它電路(例如感測放大器、行解碼器等)布線(wiring)。實施這些電路的晶體管電極通常形成在最下方的金屬化層。為了便于繪制,未示出晶體管電極。
在金屬化層303的布局中需小心操作,以盡可能地沿著像素邊界的邊緣延伸導(dǎo)電跡線,而不是在像素本身的上方(以使得跡線不阻擋入射光)。一個或多個金屬化層可以用于在電路上方形成屏蔽層,其阻止入射光到達下面的晶體管并干擾晶體管的操作。
在實施例中,光導(dǎo)314通過蝕刻穿過堆疊的電介質(zhì)層而形成,該堆疊的電介質(zhì)層位于要布置單個光導(dǎo)的相應(yīng)的RGB像素的組的上方。該堆疊的電介質(zhì)層可以對應(yīng)于層303的不具有任何金屬跡線的普通電介質(zhì)層。在蝕刻適當定位的溝槽之后,采用對IR光透明的高折射率材料填充(例如通過沉積)溝槽。采用高折射率材料對光導(dǎo)區(qū)域的填充基本上強迫IR光在光導(dǎo)內(nèi)發(fā)生內(nèi)反射,并且防止內(nèi)部光串擾傳輸?shù)较噜彽墓鈱?dǎo)和/或相鄰的像素。用于形成光導(dǎo)的其它方法包括在光導(dǎo)特征部的邊界周圍蝕刻“環(huán)帶”或類似結(jié)構(gòu),并且用金屬填充蝕刻區(qū)域(以再次強迫光導(dǎo)內(nèi)的內(nèi)部反射)或?qū)⑽g刻區(qū)域留作氣隙。
參考圖3b,另外形成下像素陣列302(例如根據(jù)第二晶圓制造工藝)。前側(cè)金屬化層306類似于上像素陣列的前側(cè)金屬化層303而形成,包括在每個Z像素區(qū)域上方形成單獨的光導(dǎo)313。前側(cè)金屬化層306還包括附加的外周特征部319,以支持連接到上像素陣列或接合焊盤的過孔連接。如圖3b所示,注意到,上像素陣列301相對于圖3a中的圖示被倒置,以準備將上像素陣列301放置在下像素陣列302上。
如圖3c所示,根據(jù)晶圓在晶圓上(wafer-on-water)的半導(dǎo)體芯片附接工藝,或晶片在晶片上(die-on-die)的半導(dǎo)體芯片附接工藝,將倒置的上像素陣列301降低到下像素陣列302上。
參考圖3d,在上像素陣列301的背側(cè)上沉積背側(cè)金屬化層109的下電介質(zhì)層321。然后蝕刻電介質(zhì)層321以形成穿過上像素陣列的半導(dǎo)體基體304的貫穿基體過孔322。基體過孔322具有不同的深度,如圖3d所示。第一深度僅延伸到上像素陣列的前側(cè)金屬化層303中。第二深度更深地延伸到下像素陣列的前側(cè)金屬化層306中。
在實施例中,通過彼此掩蔽來控制兩個不同的蝕刻深度。即,當正在蝕刻所述蝕刻深度中的一個時,通過掩蔽層覆蓋將要被蝕刻的另一個蝕刻深度的區(qū)域。如此,使用兩種不同的掩模序列來形成兩個蝕刻深度。這允許不同的蝕刻工藝(例如用于較深蝕刻的較長蝕刻時間)??梢岳缬梅磻?yīng)離子蝕刻(RIE)或深反應(yīng)離子蝕刻(DRIE)進行蝕刻。
如圖3e所示,完成上像素陣列301的背側(cè)金屬化層309,包括用導(dǎo)電材料(例如金屬)填充蝕刻區(qū)域,以及形成將上和下像素陣列301、302彼此電連接的特征部。在一種方法中,用導(dǎo)電材料填充蝕刻區(qū)域首先包括用絕緣材料(例如二氧化硅)填充蝕刻區(qū)域以在溝槽內(nèi)形成絕緣內(nèi)襯,然后以類似于該區(qū)域最初被蝕刻的方式蝕刻絕緣材料以形成開口。再次,這些蝕刻可以采用不同的相應(yīng)掩模來進行。在區(qū)域被再蝕刻之后,它們用金屬填充。
圖3f示出了在背側(cè)金屬化層309上方形成濾光層310。濾光層可以通過在背側(cè)金屬化層310的表面上形成媒染(mordent)或透明層來形成。然后,通過在媒介或透明層中的合適區(qū)域中使該層染色成適當?shù)念伾?綠色“G”)而在媒介或透明層中形成第一類型的可見光濾光器311_1(例如綠色“G”濾光器)。染色可以通過以下方式實現(xiàn):通過光抗蝕劑掩模而將媒染染料熱傳送到媒染層中,然后剝離掩模;或者,通過光抗蝕劑掩模而將染料吸入透明層,然后剝離掩模。這里,光抗蝕劑和掩模被圖案化,以便暴露感興趣的區(qū)域(G像素區(qū)域)并且阻擋其它區(qū)域(R和B區(qū)域)。然后,該工藝適當?shù)貙τ谄渌鼌^(qū)域和顏色進行重復(fù)(例如R區(qū)域311_2和B區(qū)域(圖3f中未示出))。
如圖3g所示,蝕刻濾光層310以形成蝕刻區(qū)域324。根據(jù)實施方式的不同,蝕刻區(qū)域324可以具有相同的深度或具有不同的深度。再次,單獨掩蔽可以用于形成不同的蝕刻深度。如圖3g所示,在實施例中,至少一些蝕刻深度延伸穿過上像素陣列半導(dǎo)體基體304并且延伸到下像素陣列302的前側(cè)金屬化層306中。下文將會更加明顯,這些蝕刻區(qū)域支持貫穿基體過孔,該過孔連接到堆疊RGBZ像素陣列的I/O接合焊盤。其它蝕刻深度(未示出)可以僅延伸到上像素陣列301的背側(cè)金屬化層309中,使得I/O接合焊盤可以直接連接到在該層內(nèi)的特征部。
圖3h示出了在蝕刻區(qū)域324中形成貫穿基體過孔,并且在其上布置結(jié)合焊盤325之后的結(jié)構(gòu)。過孔可以類似于圖3e的過孔形成。
圖3i示出了在濾光層310上形成微透鏡陣列312之后的完成的堆疊RGBZ像素陣列。微透鏡可以通過以下多種不同工藝中的任何一種形成,如:1)在下層結(jié)構(gòu)上涂覆和烘烤一個或多個光抗蝕劑層,將光抗蝕劑層圖案化成例如代表微透鏡陣列的圓/圓柱體,然后將光抗蝕劑的圓/圓柱體熔化成微透鏡的形狀;2)在透明層(例如熔融石英)上的層上執(zhí)行上述1)工藝,并且使用熔融的光抗蝕劑作為到透明層中的RIE蝕刻的掩模(其完成到透明層中的更完整的微透鏡的形成);3)微噴射液滴,其瞄準陣列圖案中的下層結(jié)構(gòu)并且固化液滴。
圖4a至4d示出了用于上述堆疊像素陣列結(jié)構(gòu)的不同的架構(gòu)可能。理解到存在一系列不同的架構(gòu)可能,圖4a示出了朝向范圍(spectrum)的一端的實施例,而圖4b示出了朝向范圍的另一端的實施例。依據(jù)除了像素陣列之外有多少圖像傳感器功能集成在堆疊半導(dǎo)體晶片結(jié)構(gòu)上而對范圍端進行分類。
回想到晶體管可以例如在兩個像素陣列的外圍形成,這樣的晶體管通常是用于形成執(zhí)行圖像傳感器功能的電路。在更多的圖像傳感器功能被集成在具有有源像素陣列的晶片的一個上的情況下,這樣的晶體管的數(shù)量(以及它們占用的相應(yīng)的半導(dǎo)體表面面積)將增加;并且,在更少的圖像傳感器功能被集成在具有有源像素陣列的晶片上的情況下,這樣的晶體管的數(shù)量(以及它們占用的相應(yīng)的半導(dǎo)體表面面積)將減少。
如本領(lǐng)域中所理解的,圖像傳感器通常可以被視為不僅包括有源像素陣列,而且還包括像素陣列電路、模數(shù)轉(zhuǎn)換電路以及定時和控制電路。像素陣列電路通常包括直接與有源像素陣列本身通信的電路。示例包括感測放大器、行和列地址解碼器,并且在用于飛行時間測量的Z像素的情況下,還包括用于執(zhí)行飛行時間測量的每個Z像素的至少一個時鐘信號。模數(shù)電路負責將從入射光信號檢測的模擬信號轉(zhuǎn)換為數(shù)字值。定時和控制電路負責向像素陣列電路和模數(shù)轉(zhuǎn)換器電路提供適當?shù)臅r鐘信號和控制信號。
朝向范圍的一端,如圖4a所示,幾乎沒有這樣的功能被放置在任一像素陣列晶片上,使得大部分這樣的功能被放置在被實施為半導(dǎo)體芯片的第三下基體上。朝向范圍的另一端,如圖4b所示,大量這樣的功能被放置在兩個像素陣列晶片上。在圖4b的特定實施例中,上晶片對應(yīng)于整個RGB圖像傳感器,下晶片對應(yīng)于整個飛行時間圖像傳感器。在這種情況下,下基體可以實施為封裝基體。
在這兩個范圍端區(qū)域之間存在大量的架構(gòu)可能性。例如,如圖4c所示,像素陣列電路僅在其各自的像素陣列晶片上實施,留下用于兩個圖像傳感器的定時和控制電路以及模數(shù)電路在最下方的半導(dǎo)體芯片晶片上實施。
作為另一示例,如圖4d所示,下像素陣列晶片包括用于上像素陣列和下像素陣列的定時和控制電路和ADC電路。注意到,在下像素陣列晶片包括支持上像素陣列的電路的情況下,下像素陣列的頂表面應(yīng)具有連接到下像素陣列晶片內(nèi)部電路的焊盤(pad)/地線(land),而不是下像素陣列晶片的貫穿基體過孔。從圖4a到4d,普通技術(shù)人員將認識到,存在大量的架構(gòu)可能性,其中,用于圖像傳感器對或其部分的各個電路可以位于上像素陣列晶片、下像素陣列晶片和下基體半導(dǎo)體芯片(如果有的話)中的任一者上。
圖5示出了由上述RGBZ圖像傳感器實施例執(zhí)行的方法。如圖5所示,在第一像素陣列的表面處接收入射可見光和IR光501。采用第一像素陣列感測可見光但不感測IR光,并且IR光穿過第一像素陣列502。采用位于第一像素陣列下方的第二像素陣列感測IR光503。
圖6示出了集成傳統(tǒng)相機和飛行時間成像的系統(tǒng)600。系統(tǒng)600具有連接器601,其用于例如與較大系統(tǒng)/母板(如膝上型計算機的系統(tǒng)/母板、平板電腦或智能手機)進行電接觸。根據(jù)布局和實施方式,連接器601可以連接到柔性電纜,例如實體連接到系統(tǒng)/母板,或者連接器601可以直接接觸系統(tǒng)/母板。
連接器601固定到平面板602,平面板602可以實施為交替導(dǎo)電層和絕緣層的多層結(jié)構(gòu),其中導(dǎo)電層被圖案化以形成支持系統(tǒng)600的內(nèi)部電連接的電跡線。通過連接器601,來自較大的主機系統(tǒng)的命令被接收,如向/從相機系統(tǒng)600內(nèi)的配置寄存器的寫入/讀取配置信息的配置命令。
“RGBZ”圖像傳感器位于安裝到平面板602的半導(dǎo)體芯片封裝體603內(nèi),所述“RGBZ”圖像傳感器包括RGB像素陣列組,該RGB像素陣列組在堆疊在具有IR像素以例如實施飛行時間像素的第二半導(dǎo)體晶片上的第一半導(dǎo)體晶片上實施。堆疊RGBZ圖像傳感器包括具有對可見光敏感的不同種類的像素的上RGB像素陣列(具體地,對可見紅光敏感的R像素子集,對可見綠光敏感的G像素子集和對可見藍光敏感的B像素子集)。下Z像素陣列具有對IR光敏感的像素。RGB像素用于支持傳統(tǒng)的“2D”可見圖像采集(傳統(tǒng)圖像采集)功能。IR敏感像素用于支持使用飛行時間技術(shù)的3D深度輪廓成像。盡管基本實施例包括用于可見圖像采集的RGB像素,但是其它實施例可以使用不同顏色的像素方案(例如青色、品紅色和黃色)。RGBZ圖像傳感器還可以包括用于兩個像素陣列的ADC電路以及定時和控制電路。
平面板602同樣可以包括信號跡線,以將由ADC電路提供的數(shù)字信息傳送到連接器601,以由計算系統(tǒng)的高端部件處理,如圖像信號處理管線(例如集成在應(yīng)用處理器上的)。注意到,在其它實施例中,對ADC輸出像素流操作的圖像信號處理管線或至少某些形式的數(shù)字信號處理可以利用在集成到相機系統(tǒng)600中的半導(dǎo)體芯片上的數(shù)字邏輯電路執(zhí)行。
相機透鏡模塊604集成在RGBZ圖像傳感器603的像素陣列上方。相機模塊604包括具有一個或多個透鏡的系統(tǒng),以聚焦通過RGBZ圖像傳感器封裝體603的光闌所接收的光。
由在光闌606下方的光源陣列組成的照明器607也安裝在平面板602上。光源陣列可以實施為垂直腔側(cè)發(fā)射激光器(VCSEL)或發(fā)光二極管(LED)的陣列,其實施為在安裝到平面板601的半導(dǎo)體芯片上??商娲兀梢允褂脝蝹€光源(例如與陣列相對的單個VCSEL或LED)。光源驅(qū)動器聯(lián)接到光源陣列以使其發(fā)射具有特定強度和調(diào)制波形的光。
在實施例中,圖6的集成系統(tǒng)600支持三種操作模式:1)2D模式;3)3D模式;以及,3)2D/3D模式。在2D模式的情況下,系統(tǒng)表現(xiàn)為傳統(tǒng)相機。如此,照明器607被禁用,并且圖像傳感器用于通過其RGB像素接收可見圖像。在3D模式的情況下,系統(tǒng)采集照明器607和相機透鏡模塊604的視場中的物體的飛行時間深度信息。因此,啟用照明器并且發(fā)射IR光(例如,以開-關(guān)-開-關(guān)...的序列)到對象上。IR光從物體反射,通過相機透鏡模塊604接收,并且由圖像傳感器的飛行時間像素感測。在2D/3D模式的情況下,上述2D和3D模式同時有效。
圖7示出了示例性計算系統(tǒng)700的描繪,如個人計算系統(tǒng)(例如臺式機或膝上型計算機)或移動或手持計算系統(tǒng)(例如平板設(shè)備或智能電話)。如圖7所示,基本計算系統(tǒng)可以包括中央處理單元701(其可以包括例如多個通用處理核)和設(shè)置在應(yīng)用處理器或多核處理器750上的主內(nèi)存控制器717、系統(tǒng)內(nèi)存702、顯示器703(例如觸摸屏、平板),本地有線點對點鏈路(例如USB)接口704、各個網(wǎng)絡(luò)I/O功能705(例如以太網(wǎng)接口和/或蜂窩調(diào)制解調(diào)器子系統(tǒng))、無線局域網(wǎng)(例如WiFi)接口706、無線點對點鏈路(例如藍牙)接口707和全球定位系統(tǒng)接口708、各個傳感器709_1至709_N、一個或多個相機710、電池711、電源管理控制單元712、揚聲器和麥克風713以及音頻編碼器/解碼器714。
應(yīng)用處理器或多核處理器750可以包括在其CPU 701內(nèi)的一個或多個通用處理核715、一個或多個圖形處理單元716、主內(nèi)存控制器717、I/O控制功能718和一個或多個圖像信號處理器管線719。通用處理核715通常執(zhí)行計算系統(tǒng)的操作系統(tǒng)和應(yīng)用軟件。圖形處理單元716通常執(zhí)行圖形密集函數(shù)以例如產(chǎn)生呈現(xiàn)在顯示器703上的圖形信息。內(nèi)存控制功能717與系統(tǒng)內(nèi)存702接口連接。圖像信號處理管線719從相機接收圖像信息并且處理原始圖像信息以供下游使用。功率管理控制單元712通常控制系統(tǒng)700的功率消耗。
觸摸屏顯示器703、通信接口704-707、GPS接口708、傳感器709、相機710和揚聲器/麥克風編解碼器713、714中的每一個都可以被視為相對于整體計算系統(tǒng)的各種形式的I/O(輸入和/或輸出),在適當時也包括集成外圍設(shè)備(例如一個或多個相機710)。根據(jù)實施方式,這些I/O組件中的各個可以集成在應(yīng)用處理器/多核處理器750上,或者可以位于晶片外或應(yīng)用處理器/多核處理器750的封裝之外。
在一個實施例中,一個或多個相機710包括集成傳統(tǒng)可見圖像采集和飛行時間深度測量的系統(tǒng),如上面參照圖6所述的系統(tǒng)600。在應(yīng)用處理器或其它處理器的通用CPU核(或具有用以執(zhí)行程序代碼的指令執(zhí)行管線的其它功能塊)上執(zhí)行的應(yīng)用軟件、操作系統(tǒng)軟件、設(shè)備驅(qū)動器軟件和/或固件可以將命令引導(dǎo)到相機系統(tǒng)并且從相機系統(tǒng)接收圖像數(shù)據(jù)。在命令的情況下,命令可以包括進入或退出上述2D、3D或2D/3D系統(tǒng)狀態(tài)中的任一個。
本發(fā)明的實施例可以包括如上所述的各種過程。過程可以體現(xiàn)在機器可執(zhí)行指令中。指令可以用于使通用或?qū)S锰幚砥鲌?zhí)行某些處理??商娲?,這些過程可以由包括用于執(zhí)行過程的硬連線邏輯的特定硬件組件或由編程的計算機組件和定制硬件組件的任何組合來執(zhí)行。
本發(fā)明的元件還可以被提供為用于存儲機器可執(zhí)行指令的機器可讀介質(zhì)。機器可讀介質(zhì)可以包括但不限于軟盤、光盤、CD-ROM和磁光盤、FLASH內(nèi)存、ROM、RAM、EPROM、EEPROM、磁卡或光卡、傳播介質(zhì)或其它適合于存儲電子指令的媒體類型/機器可讀介質(zhì)。例如,本發(fā)明可以作為計算機程序被下載,該計算機程序可以通過在載波或其它傳播介質(zhì)中體現(xiàn)的數(shù)據(jù)信號經(jīng)由通信鏈路(例如調(diào)制解調(diào)器或網(wǎng)絡(luò)連接)從遠程計算機(例如服務(wù)器)傳送到請求計算機(例如客戶端)
在前述說明書中,已經(jīng)參考本發(fā)明的具體示例性實施例描述了本發(fā)明。然而,將顯而易見的是,在不脫離如所附權(quán)利要求中闡述的本發(fā)明的更廣泛的精神和范圍的情況下,可以對其進行各種修改和改變。因此,說明書和附圖被認為是說明性的而不是限制性的。