專利名稱:利用散斑圖案的三維傳感的制作方法
技術(shù)領(lǐng)域:
本發(fā)明一般涉及用于對三維(3D)目標(biāo)進(jìn)4亍映射(mapping)的方 法和系統(tǒng),更具體而言,涉及利用散斑圖案進(jìn)行3D光學(xué)成像。
背景技術(shù):
當(dāng)相干光束通過漫射體而投射到一表面上時,可在該表面上觀察到 主散斑圖案。主散斑由漫射光束的不同分量之間的干涉造成。術(shù)語"主 散斑(primary speckle),,在本專利申請和權(quán)利要求書中以此種意義 使用,以區(qū)別于由來自目標(biāo)粗糙表面的相干光的漫反射所造成的副散 斑。
Hart在臺灣專利TW 527528 B和美國專利申請09/616, 606中描述 了高速3D成像系統(tǒng)中的散斑圖案的使用,上述專利的公開內(nèi)容在此以 引用的方式納入本說明書。該系統(tǒng)包括帶主動式成像元件和CCD元件的 單透鏡攝像機(jī)子系統(tǒng),以及相關(guān)性處理子系統(tǒng)。所述主動式成像元件可 以是使離焦圖像之間非等邊間隔能夠調(diào)整從而實現(xiàn)更大景深和更高亞 像素位移精確度的旋轉(zhuǎn)小孔。散斑圖案被投射到目標(biāo)上,由此產(chǎn)生的圖 案的圖像可從多角度獲取。使用圖像相關(guān)性技術(shù)將這些圖像局部互相 關(guān),并且通過使用相對的攝像機(jī)位置信息將該表面分解以計算每個局部 互相關(guān)區(qū)域的三維坐標(biāo)。
另一種基于散斑的3D成像技術(shù)是由Hunter等人在美國專利6,101,269中所描述,該美國專利的公開內(nèi)容在此以引用的方式納入本 說明書。 一隨機(jī)的散斑圖案被投射在3D表面上,并被多個攝像機(jī)成像 以獲得多個二維數(shù)字圖像。這些二維圖像被處理以獲得該表面的三維特 征。
發(fā)明內(nèi)容
本發(fā)明的實施方案利用主散斑圖案對3D目標(biāo)進(jìn)行準(zhǔn)確的實時映 射。在上述所提及的PCT專利申請中所描述的方法和系統(tǒng),以及在下文 中所進(jìn)一步描述的實施方案,能夠使用單相干光源和單圖像傳感器執(zhí)行 這種3D映射,其中所述圖像傳感器在相對于該光源的固定角度上保持 靜止。
在本發(fā)明的一方面,在已知輪廓的參考表面上初始捕獲散斑圖案的 參考圖像。然后通過捕獲投射到目標(biāo)上的散斑圖案的圖像并將該圖像與 參考圖像進(jìn)行比較,來確定該目標(biāo)的3D輪廓。
在本發(fā)明的另一方面,隨著目標(biāo)移動,捕獲目標(biāo)上的散斑圖案的連 續(xù)圖像。每個圖像都與一個或多個其先前的圖像相比較以追蹤該目標(biāo)在 三維中的運動。在下文所述的一實施方案中,光源和圖像傳感器被保持 處于線性對齊,從而允許通過計算在連續(xù)圖像之間的 一 維相關(guān)系數(shù)而實 現(xiàn)快速且準(zhǔn)確的運動追蹤。
在一些實施方案中,使用了新穎的照明和圖像處理方案以增強(qiáng)3D 映射系統(tǒng)的精確性、景深和計算速度。
因而,根據(jù)本發(fā)明的一實施方案,提供了一種用于目標(biāo)的3D映射 的裝置,包括
照明組件,包括相干光源和漫射體,所述相干光源和漫射體被布置 為將主散斑圖案投射到該目標(biāo)上;
單圖像捕獲組件,該單圖像捕獲組件被布置為從相對于所述照明組 件的單一、固定位置和角度來捕獲所述目標(biāo)上的主散斑圖案的圖像;以 及
處理器,該處理器被連接以處理在所述單一、固定角度處所捕獲的 主散斑圖案的圖像,從而導(dǎo)出所述目標(biāo)的3D圖(3D map)。
在一些實施方案中,該裝置包括安裝件,該安裝件連接至所述照明組件和所述圖像捕獲組件,從而使所述圖像捕獲組件與所述照明組件保
持處于固定空間關(guān)系。在一實施方案中,圖像捕獲組件包括以限定第 一和第二相互垂直的軸線的直線圖案布置的探測器元件陣列;以及具有
入射光瞳的物鏡光學(xué)系統(tǒng),該物鏡光學(xué)系統(tǒng)被配置為將圖像聚焦到所述 陣列上,其中所述照明組件和所述圖像捕獲組件被該安裝件校直從而限 定一設(shè)備軸線,該設(shè)備軸線平行于所述第一軸線并穿過所述入射光瞳以 及斑點(spot),在該斑點處由所述相干光源所發(fā)出的光束經(jīng)過漫射體。 因此,處理器被布置為通過找到在一個或多個所述圖像中所捕獲的主散 斑圖案和該主散斑圖案的參考圖像之間僅沿所述第一軸線的偏移量來 導(dǎo)出3D圖。
在一些實施方案中,處理器被布置為通過找到在一個或多個所述圖
像中所捕獲的所述目標(biāo)的多個區(qū)域上的主散斑圖案和該主散斑圖案的 參考圖像之間的各自偏離量來導(dǎo)出所述3D圖,其中所述各自偏移量表 示在所述區(qū)域和所述圖像捕獲組件之間的各自距離。通常,所述圖像捕 獲組件位于距所述照明組件一預(yù)定間距處,并且所述各自偏移量與所述 各自距離成比例,該比例由所述間距確定。在一所公開的實施方案中, 由所述照明組件所投射的所述主散斑圖案包括具有特征尺寸的散斑,并 且其中所述圖像中的所述散斑的尺寸在所述圖像上隨著取決于該間距 的公差的變化而變化,其中所述間距被選擇以將所述公差維持在預(yù)定界 限內(nèi)。
附加地或可替代地,處理器被布置為使用所述圖像捕獲組件中的扭 曲參數(shù)模型來將所述各自偏移量與所述3D圖中的各自坐標(biāo)相關(guān)。進(jìn)一 步,附加地或可替代地,處理器被布置,以通過找到在所述目標(biāo)的第一 區(qū)域中的所述主散斑圖案和在相對于該第一區(qū)域的第一偏移量處的所 述參考圖像的對應(yīng)區(qū)域之間的初始匹配來找到所述各自偏移量,并基于 所述第一偏移量,應(yīng)用區(qū)域增長過程來找到相鄰于所述第一區(qū)域的像素 的所述各自偏移量。
在一所公開的實施方案中,處理器被布置為處理在所述目標(biāo)正在移 動時所捕獲的連續(xù)圖像,從而對該目標(biāo)的3D運動進(jìn)行映射,其中所述 目標(biāo)是人體的一部分,并且3D運動包括由所述人體的一部分做出的姿 勢,并且所述處理器被連接以響應(yīng)于所述姿勢向計算機(jī)應(yīng)用提供輸入。
9在一些實施方案中,照明組件包括光束形成器,該光束形成器被布 置為減小由所述漫射體在該裝置傳感體積上所創(chuàng)建的所述散斑圖案的 對比度的變化。在一實施方案中,所述光束形成器包括衍射光學(xué)組件
(DOE )和被布置為限定所述漫射體的傅立葉平面的透鏡,其中所述DOE 位于所述傅立葉平面上。該光束形成器可被布置為減小從該漫射體所發(fā) 出的光的發(fā)散度,或被布置為將從漫射體所發(fā)出的遍及橫向于所述照明 組件的光軸的平面的光的強(qiáng)度均衡化。
在一實施方案中,處理器包括光學(xué)相關(guān)器,所述光學(xué)相關(guān)器包括含 有參考散斑圖案的衍射光學(xué)組件(DOE),并且所述圖像捕獲組件包括 微透鏡陣列,該微透鏡陣列被布置為將所述目標(biāo)的多個子圖像投射到所 述DOE上,從而生成表示所述目標(biāo)的3D坐標(biāo)的各自相關(guān)峰。
在一些實施方案中,相干光if、的相干長度小于lcm。附加地或可替 代地,所述主散斑圖案包括具有特征尺寸的散斑,并且所述照明組件被 配置為允許所述散斑的特征尺寸通過改變所述相干光源和所述漫射體 之間的距離而得到調(diào)整。
根據(jù)本發(fā)明的一實施方案,同樣也提供了一種用于目標(biāo)的3D映射 的方法,包括
使用來自光源的一束漫射相干光來照明目標(biāo),從而將主散斑圖案投 射到該目標(biāo)上;
從相對于所述光源的單一、固定位置和角度處捕獲所述目標(biāo)上的主 散斑圖案的圖像;以及
處理在所述單一、固定角度處所捕獲的主散斑圖案的圖像,從而導(dǎo) 出所述目標(biāo)的3D圖。
根據(jù)本發(fā)明的一實施方案,另外提供了一種用于目標(biāo)的3D映射的 裝置,包括
照明組件,該照明組件包括相干長度小于lcm的相干光源,以及漫 射體,所述相干光源和所述漫射體被布置為將主散斑圖案投射于所述目 標(biāo)上;
圖像捕獲組件,該圖像捕獲組件被布置為捕獲所述目標(biāo)上的主散斑 圖案的圖像;以及
處理器,該處理器被連接以處理所述主散斑圖案的圖像從而導(dǎo)出所述目標(biāo)的3D圖。
在一實施方案中,相干光源的相干長度小于0. 5mm。附加地或可替代地,相干光源的發(fā)散度大于5°。
根據(jù)下列詳細(xì)說明的實施方案以及附圖,可更加詳盡地理解本發(fā)明,所述附圖如下
圖l是根據(jù)本發(fā)明一實施方案的3D映射系統(tǒng)的示意性圖示;圖2是根據(jù)本發(fā)明一實施方案的散斑成像設(shè)備的示意性俯視圖;圖3是根據(jù)本發(fā)明一實施方案的示意性圖示3D映射方法的流程圖4是根據(jù)本發(fā)明另一實施方案的3D映射系統(tǒng)中所使用的照明組件的
示意性側(cè)視圖5是根據(jù)本發(fā)明一實施方案的光束形成器的示意性側(cè)視圖;圖6是根據(jù)本發(fā)明又一實施方案的光束形成器的示意性側(cè)視圖;圖7是根據(jù)本發(fā)明的再一實施方案的3D映射系統(tǒng)中所使用的光學(xué)相關(guān)器的示意性側(cè)視圖。
具體實施例方式
圖1是根據(jù)本發(fā)明一實施方案的3 D映射系統(tǒng)20的示意性圖示。系統(tǒng)20包括散斑成像設(shè)備22,該設(shè)備22生成主散斑圖案并將其投射于目標(biāo)28上,以及捕獲在該目標(biāo)上呈現(xiàn)的主散斑圖案的圖像。設(shè)備22的設(shè)計和操作細(xì)節(jié)將在下列附圖中示出,并在下文中參考這些附圖進(jìn)行描述。
圖像處理器24處理由設(shè)備22所生成的圖像數(shù)據(jù),以導(dǎo)出目標(biāo)28的3D圖。術(shù)語"3D圖",如在本專利申請和權(quán)利要求書中所使用的,是指表示目標(biāo)表面的3D坐標(biāo)集?;趫D像數(shù)據(jù)來導(dǎo)出這樣的圖也可被稱為"3D重構(gòu)"。執(zhí)行這種重構(gòu)的圖像處理器24,可包括通用計算機(jī)處理器,該處理器被軟件編程以執(zhí)行下文所述的功能。例如,該軟件可通過網(wǎng)絡(luò)以電子形式下載到處理器24中,或其可替代地在諸如光、磁或電子存儲介質(zhì)之類的有形介質(zhì)上提供??商娲鼗蛄硗獾?,該圖像處理器的一些或全部功能可在諸如定制或半定制集成電路或可編程數(shù)字信號處理器(DSP)之類的專用硬件上實現(xiàn)。盡管處理器24在圖1中以示例方式顯示為與成像設(shè)備22相分隔的單元,然而處理器24的一些或全部處理功能可通過在成像設(shè)備外殼內(nèi)或與該成像設(shè)備相關(guān)聯(lián)的合適的專用電路來實現(xiàn)。
由處理器24所生成的3D圖可用于范圍廣泛的不同目的。例如,該圖可被發(fā)送至諸如顯示器26之類的輸出設(shè)備,以顯示該目標(biāo)的假3D圖。在圖l所示的實例中,目標(biāo)28包括受試者身體的全部或部分(例如手)。在這種情況下,系統(tǒng)20可用于提供基于姿勢的用戶接口,其中由設(shè)備2 2的裝置所檢測的用戶運動來控制諸如游戲之類的交互式計算機(jī)應(yīng)用,替代諸如鼠標(biāo)、操縱桿或其他輔助設(shè)備的觸摸型接口元件??商娲兀到y(tǒng)20可用于創(chuàng)建其他類型的目標(biāo)的3D圖,用于其中需要3D坐標(biāo)分
布(profile)的幾乎任何應(yīng)用中。
圖2是根據(jù)本發(fā)明一實施方案的設(shè)備22的示意性俯視圖。照明組件30包括通常為激光器的相干光源32,以及漫射體33。(在本專利申請文本中,術(shù)語"光"是指任何類型的光輻射,包括紅外和紫外線以及可見光。)由光源32所發(fā)出的光束在半徑w。的斑點34處穿過漫射體33,從而生成發(fā)散光束36。如在上述PCT/IL2006/000335的PCT專利
申請中所提到的,只要Z。w和Zow處于由物距Z。w處的散斑圖案的軸4Z:
、2
向尺寸AZ所給定的距離范圍內(nèi), l;」,則由漫射體34在距離Z。&i
和Z。w處所生成的主散斑圖案將是彼此良好近似的線性縮放型式。
圖像捕獲組件38捕獲投射到目標(biāo)28上的散斑圖案的圖像。組件38包括物鏡光學(xué)系統(tǒng)39,該光學(xué)系統(tǒng)將圖像聚焦到圖像傳感器40。通常,傳感器40包括諸如基于CCD或CMOS的圖像傳感器陣列之類的探測器元件直線陣列41。光學(xué)系統(tǒng)39有一入射光瞳42,該光瞳與圖像傳感器的尺寸一起限定了圖像捕獲組件的視場44。設(shè)備22的傳感體積(sensing volume)包括在光束36和視場44之間的交疊區(qū)域46。
由照明組件30在距離Z。^處所投射的特征橫向散斑尺寸(由散斑
圖案的二階統(tǒng)計量所定義)為 —WO 。本發(fā)明人已發(fā)現(xiàn),對于最佳圖
像處理性能,成像到傳感器40上的散斑尺寸應(yīng)根據(jù)范圍和分辨率要求在一到十像素之間,即每個由光學(xué)系統(tǒng)39成像到傳感器40上的散斑應(yīng)在水平方向上跨越一到十個探測器元件41。在通常應(yīng)用中,在兩到三個像素之間的散斑尺寸可產(chǎn)生良好效果。
從上述關(guān)于散斑尺寸AX的公式中可以看出,由于斑點34的半徑Wo隨著距光源的距離減小而增大,所以可通過改變光源32和漫射體33之間的距離來調(diào)整散斑尺寸。因此,照明組件30的散斑參數(shù)可通過橫向移動光源來簡單控制,而無需使用透鏡或其他光學(xué)系統(tǒng)??捎迷摲绞絹碚{(diào)整照明組件30,以與不同尺寸和分辨率的圖像傳感器以及放大倍率變化的物鏡光學(xué)系統(tǒng)一起工作。假定該小散斑尺寸由上述參數(shù)控制,則有著高發(fā)散度(5?;蚋?和短相干長度(小于lcm,在一些情況下甚至小于0. 5mm)的諸如激光二極管之類的不昂貴光源可在系統(tǒng)20中使
用并取得良好效果。
照明組件30和圖像捕獲組件38被安裝件43保持處于固定空間關(guān)系。在圖2示出的實施方案中,該安裝件包括保持住所述組件的外殼??商娲?,任何其他合適類型的機(jī)械安裝件都可用于維持在照明組件和圖像捕獲組件之間的期望的空間關(guān)系。在下文中所描述的設(shè)備22的配置和處理技術(shù)可以運用簡單圖像捕獲組件進(jìn)行3D映射,而無需使照明組件和圖像捕獲組件之間進(jìn)行相對移動,也無需移動部件。圖像捕獲組件38因此在相對于照明組件30的一單一、固定的角度處捕獲圖像。
為簡化3D圖的計算以及簡化因目標(biāo)28的移動而在該圖中引起的變
化的計算,如下文所述,期望安裝件43保持住組件30和38,使得穿
過入射光瞳42和斑點34的中心的軸線平行于傳感器40的軸線中的一
條。換言之,使用探測器元件陣列41的行和列來定義相互垂直的X軸
和Y軸(其原點位于物鏡光學(xué)系統(tǒng)39的光軸上),該穿過光瞳42和斑
點34的軸線應(yīng)平行于其中一條陣列軸線,為了方便起見該軸線為X軸。
這種布置的優(yōu)點在下文中將進(jìn)一步解釋。
組件30和38的各自光軸(其分別穿過斑點34和光瞳42的中心)
相隔距離S。因此,Z^y的變化將引起由圖像捕獲組件38所捕獲的目標(biāo)
圖像中散斑圖案的扭曲。具體而言,通過三角測量,在圖2中可看出,目標(biāo)上的點在Z方向上的移動忍,將引起圖像中所觀察到的散斑圖案的
5義=< 2~^~
相伴隨的橫向移動汲,因此 2浙。
目標(biāo)上的點的z坐標(biāo),以及z坐標(biāo)隨時間的移動,可通過測量由組
件38所捕獲的圖像中的散斑的X坐標(biāo)相對于在已知距離Z處所獲得的
13參考圖像的移動而來確定。換言之,每個區(qū)域內(nèi)所捕獲的圖像的散斑組都與參考圖像相比較,從而在參考圖像中找到最接近的匹配散斑組。圖像中匹配散斑組之間的相對移動給出了所捕獲的圖像的區(qū)域相對于參
考圖像在z方向上的移動。該散斑圖案的移動可使用圖像相關(guān)或其他在
本領(lǐng)域中公知的圖像匹配計算方法進(jìn)行測量。 一些示例性方法在上述
PCT專利申請中進(jìn)行了描述。另一種與設(shè)備22相關(guān)的非常有用的方法在2006年3月24日提交的美國臨時專利申請60/785, 202中進(jìn)行了描述,其轉(zhuǎn)讓給本專利申請的受讓人,并且其公開文本在此以引用的方式納入本i兌明書。
此外,在圖2所示的布置中,其中穿過光瞳42和斑點34的X軸平行于傳感器40的X軸,帶有忍的散斑圖案的移動將嚴(yán)格處于X方向,而沒有Y分量的移動(只要由光學(xué)系統(tǒng)39所造成的扭曲可被忽略)。因此,圖像匹配計算被簡化,而僅需要尋找因X移動的最接近的匹配散斑組。換言之,為確定當(dāng)前圖像中區(qū)域相對于參考圖像(其可以是散斑圖案的任何先前的圖像)的忍,僅需要檢查當(dāng)前圖像區(qū)域?qū)φ諈⒖紙D像的X移動的拷貝,以便于找到給出了相對于參考圖像的最佳匹配的移動汰的值。
可替代地,如果設(shè)備22各元件的幾何校準(zhǔn)偏離上述標(biāo)準(zhǔn),或者如果透鏡扭曲很明顯,則處理器可使用參數(shù)模型以對該偏差進(jìn)行補(bǔ)償。換言之,該已知偏差可被測量或者建模,并且處理器可接著根據(jù)偏差參數(shù)模型來檢查當(dāng)前圖像相對于參考圖像而移動一合適的(X, Y)移動量的區(qū)域的拷貝,從而找到目標(biāo)表面實際的3D坐標(biāo)。
通常,為了構(gòu)造和計算的方便,可選擇系統(tǒng)20的運行參數(shù)從而使S Z0ty-。(另一方面,因系統(tǒng)20的Z方向分辨率取決于比率S/Z。bj,
所以S必須相對于該系統(tǒng)的預(yù)期工作距離足夠大,從而能夠達(dá)到預(yù)期的分辨率。)只要5 Zo^,那么從照明組件和圖像捕獲組件到每個目標(biāo)點的各自距離很接近,但通常不會完全相等。因此,由組件38所捕獲的散斑圖案的圖像中的散斑的尺度可在區(qū)域46中以公差Y變化。本領(lǐng)域中所公知的計算方法, 一些已在上述提及的PCT專利申請中得到描述,可用于補(bǔ)償在將當(dāng)前圖像的區(qū)域與參考圖像的相應(yīng)區(qū)域相匹配的過程中的這些尺度變化。
14然而,通常為避免對處理器24形成太大的計算負(fù)荷,希望的是將Y維持在根據(jù)匹配窗口尺寸和特征散斑尺寸的某一預(yù)定界限內(nèi)。通常,發(fā)明人已發(fā)現(xiàn),應(yīng)限制Y,從而使特征窗口的尺度變化不超過單個散斑
尺寸的30%。假定圖像捕獲組件38的視場對角為6 ,則 2'2鄉(xiāng)。
因此,當(dāng) 2,< .(、-)時,就獲得對于尺寸為N的窗口而言
的局部散斑圖案的基本尺度不變,其中/^W。W是在Z。bj處的像素的尺
寸。在這些條件下,通??捎嬎阌山M件38所捕獲的連續(xù)圖像幀中的目標(biāo)在Z方向的移動,而無需明確考慮散斑尺度的變化。
圖3是示意性圖示根據(jù)本發(fā)明一實施方案的使用系統(tǒng)20進(jìn)行3D映射的方法的流程圖。該方法尤其基于如下認(rèn)識,即,由照明組件30所投射的散斑圖案不隨時間流逝而明顯變化。因此,投射到目標(biāo)上的散斑圖案的單個圖像,由圖像捕獲組件38在相對于組件的確定位置和角度處所捕獲,該圖像可用于精確計算目標(biāo)的3D圖。
在對目標(biāo)進(jìn)行映射前,在校準(zhǔn)步驟5Q,通過將來自組件30的散斑圖案投射到距設(shè)備22已知距離處的已知空間輪廓的目標(biāo)上來校準(zhǔn)該設(shè)備22。典型地,為此目的,在已知距離Z。bj上延伸過區(qū)域46的平坦目標(biāo)被用作校準(zhǔn)靶。圖像捕獲組件38捕獲目標(biāo)的參考圖像,該參考圖像被存儲在處理器24的存儲器中。該校準(zhǔn)步驟可在制造時進(jìn)行,并且只要在設(shè)備22的不同組件之間沒有不受控制的相對運動,那么存儲在存
儲器中的參考圖像就將可以用于該場中。為節(jié)省存儲器并簡化接下來的計算,參考圖像可用數(shù)據(jù)簡化的形式保存,諸如基于闊值的二進(jìn)制圖像,
其適用于將要使用的匹配算法。
當(dāng)系統(tǒng)20準(zhǔn)備使用時,在初始圖像捕獲步驟52,系統(tǒng)20被啟動以使用設(shè)備22捕獲感興趣的目標(biāo)(在本實例中為目標(biāo)28)的圖像。在圖計算步驟54,處理器24比較該圖像和所存儲的校準(zhǔn)圖像中的散斑圖案。該圖像的暗區(qū)域通常被分類為陰影區(qū),其中其像素值低于某一閾值(或者不包含相關(guān)的散斑信息),從該陰影區(qū)不能導(dǎo)出深度(Z)信息。如在本領(lǐng)域中所公知的,該圖像的剩余部分可使用自適應(yīng)閾值被二進(jìn)制化,或被數(shù)據(jù)簡化以用于有效匹配參考圖像。
處理器24選擇在圖像非陰影部分內(nèi)的某個窗口,并比較該窗口內(nèi)的子圖像和該參考圖像的各部分,直到找到該參考圖像中的與該子圖像最佳匹配的部分。如上文所述且如圖2所示,當(dāng)組件30和38沿X軸對 齊時,處理器可充分比較子圖像和參考圖像的在X方向上相對于子圖像 所被取代的部分(如上所述,受制于最高達(dá)縮放系數(shù)Y的散斑圖案的尺 度)。處理器使用子圖像相對于參考圖像的匹配部分的橫向偏移,基于 上述解釋的三角測量原則來確定在子圖像中的目標(biāo)28的表面的區(qū)域的 Z坐標(biāo)。如果目標(biāo)表面的區(qū)域是傾斜的,而非朝向于X-Y平面中,則 子圖像中的散斑圖案將顯示扭曲。處理器24可以可選地分析該散斑扭 曲以便估計傾斜角度,并從而提高3D映射的精確度。
處理器24可使用第一窗口的圖坐標(biāo)作為用于確定該圖像相鄰區(qū)域 坐標(biāo)的起點。具體而言, 一旦處理器已經(jīng)找到該圖像的某一區(qū)域和參考 圖像中的對應(yīng)區(qū)域之間存在高相關(guān)性,則該區(qū)域相對于參考圖像的偏移 量可作為圖像中相鄰像素偏移量的良好的預(yù)測值。處理器意在將這些相 鄰像素與參考圖像進(jìn)行匹配,其中偏移量等于初始匹配區(qū)域的小范圍或
處于其中。用這種方式,處理器增長匹配區(qū)域的范圍,直至到達(dá)該范圍 的邊緣。因此繼續(xù)運行該處理器以確定該圖像所有非陰影區(qū)域的Z坐 標(biāo),直至其已經(jīng)完成目標(biāo)28的3D輪廓。這種方法的優(yōu)點在于,即使使 用小窗口和較差信噪比的圖像,也可提供快速、健壯的匹配。上述PCT 專利申請中描述了為此目的可使用的計算方法的內(nèi)容。
在上述步驟的最后,處理器24將計算出該目標(biāo)表面的在初始圖像 中可見的部分的完整的3D圖。然而,在下個圖像步驟56,可易于擴(kuò)展 該方法以捕獲和分析連續(xù)圖像從而追蹤該目標(biāo)的3D運動。設(shè)備22以某 一預(yù)定幀率捕獲連續(xù)圖像,并且處理器24基于每個連續(xù)圖像來更新3D 圖。如果希望,可對應(yīng)于所存儲的、校準(zhǔn)的參考圖像來計算該3D圖。 可替代地,由于該目標(biāo)通常不會從一圖像幀向下一圖像幀移動得太大, 所以使用每個連續(xù)圖像來作為下一幀的參考圖像常常更為有效。
因此,在移動計算步驟58,處理器24可比較每個連續(xù)圖像和先前 圖像,從而計算每個子圖像中的散斑相對于先前圖像中的相同散斑在X 方向的移動。通常,該移動僅為幾個像素,這樣可快速有效地進(jìn)行計算。 在每個新圖像以該方式進(jìn)行處理后,在新的圖輸出步驟60,處理器24 輸出已更新的3D圖。該圖像捕獲和更新過程因而可無限次地進(jìn)行。因 為連續(xù)3D圖易于計算,所以系統(tǒng)20能夠以實時視頻速率(量級為30幀/秒乃至更快)運行和輸出圖坐標(biāo),同時使用簡單、低成本的成像和 處理硬件。而且,如上所迷,即使不能從先前圖像中計算出局部移動,
但有效的圖像匹配計算和區(qū)域增長也能夠使系統(tǒng)20以視頻速度運行。
系統(tǒng)20的這些性能使其適合用于寬范圍應(yīng)用中,尤其是用于基于 人的姿勢來實現(xiàn)機(jī)器接口的應(yīng)用。在這種接口中,計算機(jī)(其可包括處 理器24或可接收由該處理器輸出的3D圖)識別3D圖中的某一體積或
某些體積,其對應(yīng)于使用者身體的各部分,諸如胳膊、手、和/或者手 指,也可能是頭、軀干以及其他肢體等等。計算機(jī)被編程以識別對應(yīng)于 這些身體部位的某些運動的姿勢,并響應(yīng)于這些姿勢來控制計算機(jī)應(yīng) 用。這類姿勢和應(yīng)用的實例包括
鼠標(biāo)平移和點擊一一計算機(jī)解釋用戶的手和手指的動作,仿佛用 戶正在桌上移動鼠標(biāo)和點擊鼠標(biāo)按鈕。
徒手指向、選擇和平移計算機(jī)屏幕上的目標(biāo)。
-計算機(jī)游戲,其中用戶姿勢可擊中、抓握、移動和釋放游戲中所 使用的真實的或虛擬的目標(biāo)。
-用于殘疾用戶的計算機(jī)接口,基于傳感該用戶所能夠做出的有限 范圍的動作。
在虛擬的鍵盤上打字。
其他的應(yīng)用對于本領(lǐng)域中的普通技術(shù)人員來說將是明顯的。 現(xiàn)在回到圖2,隨著光束36傳播超出瑞利距離,落在目標(biāo)28上的 照明強(qiáng)度以接近于Z2的比例減小。投射到目標(biāo)上的散斑圖案的對比度也 相應(yīng)下降,尤其是存在光源32的波長的較強(qiáng)的環(huán)境光時。系統(tǒng)20可在 其內(nèi)提供有用結(jié)果的深度(Z坐標(biāo))范圍可能因為在較大Z處的弱照明 而受到限制。如在本領(lǐng)域中公知的,可通過自適應(yīng)控制和圖<象處理的方 法來減輕這種限制。此類的一些合適方法在上述PCT專利申請 PCT/IL2006/000335中被描述。可替代地或另外地,如下文所述,可應(yīng)
用光束形成來改善照明輪廓。
圖4是根據(jù)本發(fā)明一實施方案的照明組件70的示意性側(cè)視圖,照 明組件70可在系統(tǒng)20中使用以增強(qiáng)該系統(tǒng)的有用深度范圍。組件70 包括源32和漫射體33,以及光束形成器72。光束形成器被設(shè)計以產(chǎn)生 光束74,該光束74在中間區(qū)域76中具有減小的發(fā)散度,同時仍保持在該區(qū)域內(nèi)軸向距離為z的散斑圖案的線性縮放比例。因此,在整個區(qū)
域76上的目標(biāo)28的圖像中維持高散斑對比度,這樣就增大了 3D映射 系統(tǒng)所覆蓋的深度范圍。下面所描述的是,在區(qū)域76中所執(zhí)行的可用 于實現(xiàn)這種增強(qiáng)效果的多種光學(xué)設(shè)計。
圖5是根據(jù)本發(fā)明一實施方案的光束形成器72的示例性側(cè)視圖。 該光束形成器包括衍射光學(xué)元件(D0E) 80和旋轉(zhuǎn)三棱鏡82。 DOE 80 可緊靠漫射體33,或者甚至被包括作為漫射體自身表面上的蝕刻或沉 積層??墒褂酶鞣N衍射設(shè)計來減少區(qū)域76中的光束發(fā)散度。例如,D0E 80可包括中心位于源32光軸上的同心圏的圖案,該圖案帶有隨機(jī)分布 的環(huán)半徑。旋轉(zhuǎn)三棱鏡82有一中心位于光軸上的圓錐輪廓,即它是一 種旋轉(zhuǎn)對稱棱鏡。D0E 80和旋轉(zhuǎn)三棱鏡82均具有沿光軸產(chǎn)生長聚焦區(qū) 的效果,因此這些元件中的任一個都可單獨用于產(chǎn)生一縮小光束發(fā)散度 的區(qū)域。也可通過共同使用所述兩個元件來進(jìn)一步增強(qiáng)其發(fā)散度的減 小。
圖6是根據(jù)本發(fā)明另一實施方案的光束形成器90的示意性側(cè)視圖。 光束形成器90包括DOE 92以及焦距為F的透鏡94和96。如圖所示, 這些透鏡與漫射體33和D0E92相分隔的距離等于它們的焦距,以使得 DOE位于該漫射體的傅立葉平面上。因此,該漫射體的傅立葉變換乘上 了 DOE的傳遞函數(shù)。在遠(yuǎn)場,該散斑圖案乘上了該DOE上的圖案的傅立 葉變換。
如上文圖4所示,可選擇該DOE圖案從而使其傅立葉變換提供減小 的發(fā)散度,和/或更多穿過照明光束的均勻照明。后一目標(biāo)可通過設(shè)計 在其中心區(qū)域較周圍透射更低的元件92來實現(xiàn)(與來自漫射體33的光 束的角強(qiáng)度分布相反,該分布趨向于在中心更亮而隨著距光軸角度的增 大而變暗)。其他為了在感興趣體積上獲得更大的均勻散斑對比度的 DOE 92或DOE 80 (圖5)的設(shè)計,對于本領(lǐng)域的普通技術(shù)人員是顯而 易見的,并被認(rèn)為在本發(fā)明的范圍內(nèi)。
圖7是根據(jù)本發(fā)明 一 實施方案的可在系統(tǒng)2 0中使用以確定目標(biāo)2 8 的Z坐標(biāo)區(qū)域的光學(xué)相關(guān)器110的示意性側(cè)視圖。換言之,相關(guān)器110 使用光學(xué)技術(shù)來執(zhí)行上文所述的處理器24的一些功能。該相關(guān)器能以 非??斓乃俣冉跬瑫r地并行確定目標(biāo)的多個區(qū)域的坐標(biāo)。因此在以快速目標(biāo)運動為特征的應(yīng)用中尤為有用。
微透鏡陣列116形成在組件30散斑照明下的目標(biāo)28的多個子圖 像。小孔陣列118限制陣列116中微透鏡的視場,使得每個子圖像包舍 僅來自窄角范圍的光。第二微透鏡陣列120將子圖像投射到DOE 122上。 陣列120與子圖像平面分隔的距離等于陣列中微透鏡的焦距,并與DOE 122分隔開相等的距離。后微透鏡陣列124位于DOE 122和傳感器40 之間,與它們中每一個均分隔開與微透鏡的焦距相等的距離。
DOE 122包括參考衍射圖案,該圖案是將與目標(biāo)28的散斑圖像相 比較的參考散斑圖案的空間傅立葉變換。例如,使用在與照明源相距已 知距離處的平坦表面,該參考衍射圖案可以是在步驟50 (圖3)所形成 的校準(zhǔn)散斑圖像的傅立葉變換。在這種情況下,參考衍射圖案可以被沉 積或蝕刻到DOE的表面。可替4戈地,D0E 122可包括空間光調(diào)制器(SLM), 該空間光調(diào)制器被驅(qū)動以動態(tài)投射參考衍射圖案。
在任一情況下,相關(guān)器110將目標(biāo)的子圖像(由陣列116中的微透 鏡形成)與傅立葉空間中的參考散斑圖案相乘。因此,由微透鏡陣列 124投射到傳感器40上的強(qiáng)度分布對應(yīng)于帶有參考散斑圖案的每個子 圖像的互相關(guān)。通常,傳感器上的強(qiáng)度分布將包括多個相關(guān)峰,每個峰 對應(yīng)于子圖像中的一個。相對于對應(yīng)于子圖像(如在陣列118中由對應(yīng) 小孔所定義)的軸線的每個峰的橫向偏移量與目標(biāo)28的對應(yīng)區(qū)域上的 散斑圖案的橫向位移成比例。如上文所說明的,該位移又與相對于參考 散斑圖案平面的區(qū)域的Z方向位移成比例。因此,可處理該傳感器40 的輸出以確定每個子圖像區(qū)域的Z坐標(biāo),并從而計算目標(biāo)的3D圖。
盡管上述實施方案涉及的是上文所述的系統(tǒng)20的具體配置和設(shè)備 22的設(shè)計,然而本發(fā)明的某些原則可類似地應(yīng)用于基于散斑的3D映射 的其他類型的系統(tǒng)和設(shè)備中。例如,上述實施方案的多個方面可應(yīng)用于 使用多圖像捕獲組件,或者其中圖像捕獲組件和照明組件相對于彼此可 移動的系統(tǒng)中。
因此將認(rèn)識到,上述實施方案是通過示例的方式被引用,并且本發(fā) 明不限于上文已經(jīng)具體示出和描述的內(nèi)容。更確切地說,本發(fā)明的范圍 包括在上文中所描述的各種特征的組合和子組合,以及在本領(lǐng)域中的普
'切.PH A -戸/r^TR主l1的乂"t:WS',y^1 人十M、 乂>^
19化和#"改。
權(quán)利要求
1.一種用于目標(biāo)的3D映射的裝置,包括照明組件,包括相干光源和漫射體,所述相干光源和漫射體被布置為將主散斑圖案投射到所述目標(biāo)上;單圖像捕獲組件,該單圖像捕獲組件被布置為從相對于所述照明組件的單一、固定位置和角度來捕獲所述目標(biāo)上的主散斑圖案的圖像;以及處理器,該處理器被連接以處理在所述單一、固定角度處所捕獲的主散斑圖案的圖像,從而導(dǎo)出所述目標(biāo)的3D圖。
2. 根據(jù)權(quán)利要求1所述的裝置,還包含安裝件,該安裝件連接至所 述照明組件和所述圖像捕獲組件,從而使所述圖像捕獲組件與所述照明組 件保持處于固定空間關(guān)系。
3. 根據(jù)權(quán)利要求2所述的裝置,其中所述圖像捕獲組件包括 探測器元件陣列,該探測器元件陣列被布置為限定第一和第二相互垂直的軸線的直線圖案;以及物鏡光學(xué)系統(tǒng),該物鏡光學(xué)系統(tǒng)具有入射光瞳并被布置為將所述圖 像聚焦到所述陣列上,其中所述照明組件和所述圖像捕獲組件被所述安裝件校直,從而限 定一設(shè)備軸線,該設(shè)備軸線平行于所述第一軸線并穿過所述入射光瞳以及 斑點,在該斑點處由所述相干光源所發(fā)出的光束經(jīng)過所述漫射體。
4. 根據(jù)權(quán)利要求3所述的裝置,其中所述處理器被布置為通過找到 在一個或多個所述圖像中所捕獲的主散斑圖案和該主散斑圖案的參考圖 像之間僅沿所述第一軸線的偏移量來導(dǎo)出所述3D圖。
5. 根據(jù)權(quán)利要求1所述的裝置,其中所述處理器被布置為通過找到在一個或多個所述圖像中所捕獲的所述目標(biāo)的多個區(qū)域上的主散斑圖案 和所述主散斑圖案的參考圖像之間的各自偏移量來導(dǎo)出所述3D圖,其中所述各自偏移量表示在所述區(qū)域和所述圖像捕獲組件之間的各自距離。
6. 根據(jù)權(quán)利要求5所述的裝置,其中所述圖像捕獲組件位于距所述 照明組件一預(yù)定間距處,并且所述各自偏移量與所述各自距離成比例,該 比例由所述間距確定。
7. 根據(jù)權(quán)利要求6所述的裝置,其中由所述照明組件所投射的所述主散斑圖案包括具有特征尺寸的散斑,并且其中所述圖像中的所述散斑的尺寸在所述圖像上隨著取決于所述間距的公差的變化而變化,并且其中所述間距被選擇以將所述公差維持在預(yù)定界限內(nèi)。
8. 根據(jù)權(quán)利要求5所述的裝置,其中所述處理器被布置為使用所迷圖像捕獲組件中的扭曲參數(shù)模型來將所述各自偏移量與所述3D圖中的各自坐標(biāo)相關(guān)。
9. 根據(jù)權(quán)利要求5所述的裝置,其中所述處理器被布置,以通過找到在所述目標(biāo)的第一區(qū)域中的所述主散斑圖案和在相對于所述第一區(qū)域的第 一偏移量處的所述參考圖像的對應(yīng)區(qū)域之間的初始匹配來找到所述各自偏移量,并基于所述第一偏移量,應(yīng)用區(qū)域增長過程來找到相鄰于所述第一區(qū)域的像素的所述各自偏移量。
10. 根據(jù)權(quán)利要求1至9中任一權(quán)利要求所述的裝置,其中所述處理器被布置為處理在所述目標(biāo)正在移動時所捕獲的連續(xù)圖像,從而對所述目標(biāo)的3D運動進(jìn)行映射。
11. 根據(jù)權(quán)利要求IO所述的裝置,其中所述目標(biāo)是人體的一部分,并且其中所述3D運動包括由所ii^體的一部分做出的姿勢,并且其中所述處理器被連接以響應(yīng)于所述姿勢向計算機(jī)應(yīng)用提供輸入。
12. 根據(jù)權(quán)利要求1至9中任一權(quán)利要求所述的裝置,其中所述照明組件包括光束形成器,該光束形成器被布置為減小由所述漫射體在該裝置傳感體積上所創(chuàng)建的所述散斑圖案的對比度的變化。
13. 根據(jù)權(quán)利要求12所述的裝置,其中所述光束形成器包括衍射光學(xué)元件廳。
14. 根據(jù)權(quán)利要求13所述的裝置,其中所述光束形成器包括被布置為限定所述漫射體的傅立葉平面的透鏡,并且其中所述D0E位于所述傅立葉平面上。
15. 根據(jù)權(quán)利要求12所述的裝置,其中所述光束形成器被布置為減小從所述漫射體中所發(fā)出的光的發(fā)散度。
16. 根據(jù)權(quán)利要求12所述的裝置,其中所述光束形成器被布置為將從所述漫射體所發(fā)出的遍及橫向于所述照明組件的光軸的平面的光的強(qiáng)度均衡化。
17. 根據(jù)權(quán)利要求1至9中任一權(quán)利要求所述的裝置,其中所述處理器包括光學(xué)相關(guān)器。
18. 根據(jù)權(quán)利要求17所述的裝置,其中所述光學(xué)相關(guān)器包括含有參考散斑圖案的衍射光學(xué)元件D0E,并且其中所述圖像捕獲組件包括微透鏡陣列,該微透鏡陣列被布置為將所述目標(biāo)的多個子圖像投射到所述D0E上,從而生成表示所述目標(biāo)的3D坐標(biāo)的各自相關(guān)峰。
19. 根據(jù)權(quán)利要求1至9中任一權(quán)利要求所述的裝置,其中所述相干光源的相干長度小于lcm。
20. 根據(jù)權(quán)利要求1至9中任一權(quán)利要求所述的裝置,其中所述主散斑圖案包括具有特征尺寸的散斑,并且其中所述照明組件被配置為允許所述散斑的特征尺寸通過改變所勤目干光源與所述漫射體之間的距離而得到調(diào)整。
21. —種用于目標(biāo)的3D映射的方法,包括使用來自光源的一束漫射相干光來照明目標(biāo),從而將主散斑圖案投射到所述目標(biāo)上;從相對于所述光源的單一、固定位置和角度處捕獲所述目標(biāo)上的主散斑圖案的圖像;以及處理在所述單一、固定角度處所捕獲的主散斑圖案的圖像,從而導(dǎo)出所述目標(biāo)的3D圖。
22. 根據(jù)權(quán)利要求21所述的方法,其中捕獲所述圖像包括使用圖像捕獲組件捕獲所述圖像,在捕獲所述圖像時所述圖像捕獲組件與所述光源保持處于固定空間關(guān)系。
23. 根據(jù)權(quán)利要求22所述的方法,其中所述圖像捕獲組件包括以限定第一和第二相互垂直的軸線的直線圖案布置的探測器元件陣列,并且其中所述光源包括漫射體,以及捕獲所述圖像包括使所述圖像捕獲組件的入射光瞳與一斑點對準(zhǔn),在該斑點處光束沿平行于所述第一軸線的設(shè)備軸線穿過所述漫射體。
24. 根據(jù)權(quán)利要求23所述的方法,其中處理所述圖像包括找到在一個或多個所述圖像中所捕獲的主散斑圖案和該主散斑圖案的參考圖像之間僅沿所述第 一軸線的偏移量。
25. 根據(jù)權(quán)利要求21所述的方法,其中處理所述圖像包括找到在一個或多個所述圖像中所捕獲的所述目標(biāo)的多個區(qū)域上的主散斑圖案和所述主散斑圖案的參考圖像之間的各自偏移量,其中所述各自偏移量表示在所述區(qū)域和所述圖l象捕獲組件之間的各自距離。
26. 根據(jù)權(quán)利要求25所述的方法,其中所述各自偏移量與所述各自距離成比例,該比例由所述固定位置距離所述光源的間距確定。
27. 根據(jù)權(quán)利要求26所述的方法,其中所述主散斑圖案包括具有特征尺寸的散斑,并且其中所述圖像中的所述散斑的尺寸在所述圖像上隨著取決于所述間距的公差的變化而變化,并且其中捕獲所述圖像包括選擇所述間距從而將所述公差維持在預(yù)定界限內(nèi)。
28. 根據(jù)權(quán)利要求25所述的方法,其中找到所述各自偏移量包括使用所述圖^^捕獲組件中的扭曲參數(shù)模型來將所述各自偏移量與所述3D圖中的各自坐標(biāo)相關(guān)。
29. 根據(jù)權(quán)利要求25所述的裝置,其中找到所述各自偏移量包括找到在所述目標(biāo)的第一區(qū)域中的所述主散斑圖案和在相對于所述第一區(qū)域的第一偏移量處的所述參考圖像的對應(yīng)區(qū)域之間的初始匹配,以及基于所述第一偏移量,應(yīng)用區(qū)域增長過程來找到相鄰于所述第一區(qū)域的《象素的所述各自偏移量。
30. 根據(jù)權(quán)利要求21至29中任一權(quán)利要求所述的方法,其中處理所述圖像包括處理在所述目標(biāo)正在移動時所捕獲的連續(xù)圖像,從而對所述目標(biāo)的3D運動進(jìn)行映射。
31. 根據(jù)權(quán)利要求30所述的方法,其中所述目標(biāo)是人體的一部分,并且其中所述3D運動包括由所i^v體的一部分《故出的姿勢,并且處理所述圖像包括響應(yīng)于所述姿勢向計算機(jī)應(yīng)用提供輸入。
32. 根據(jù)權(quán)利要求21至29中任一權(quán)利要求所述的方法,其中照明所述目標(biāo)包括形成光束以便于減小由所述光源在一給定傳感體積上所創(chuàng)建的所述散斑圖案的對比度的變化。
33. 根據(jù)權(quán)利要求32所述的方法,其中形成所述光束包括使所述光束穿過衍射光學(xué)元件DOE。
34. 根據(jù)權(quán)利要求33所述的方法,其中所述光源包括漫射體,并且其中使所述光束穿過包括將所述DOE布置在所述漫射體的傅立葉平面上。
35. 根據(jù)權(quán)利要求32所述的方法,其中形成所述光束包括減小所述光束的發(fā)散度。
36. 根據(jù)權(quán)利要求32所述的方法,其中形成所述光束包括將遍及橫向于所述光源的光軸的平面的所述光束的強(qiáng)度均衡化。
37. 根據(jù)權(quán)利要求21至29中任一權(quán)利要求所述的方法,其中處理所述圖像包括將所述圖像應(yīng)用于光學(xué)相關(guān)器。
38. 根據(jù)權(quán)利要求37所述的方法,其中所述光學(xué)相關(guān)器包括包含參考散斑圖案的衍射光學(xué)元件D0E,并且其中捕獲所述圖像包括將所述目標(biāo)的多個子圖像投射到所述DOE上,從而生成表示所述目標(biāo)的3D坐標(biāo)的各自相關(guān)峰。
39. 根據(jù)權(quán)利要求21至29中任一權(quán)利要求所述的方法,其中所述相干光源的相干長度小于lcm。
40. 根據(jù)權(quán)利要求21至29中任一權(quán)利要求所述的方法,其中照明所述目標(biāo)包括使來自所述相干光源的光穿過漫射體以便于創(chuàng)建所述主散斑圖案,并且其中所述主散斑圖案包括具有特征尺寸的散斑,并且其中所述方法包括通過改變在所述相干光源和所述漫射體之間的距離來調(diào)整所述散斑的所述特征尺寸。
41. 一種用于目標(biāo)的3D映射的裝置,包括照明組件,該照明組件包括相干長度小于lcm的相干光源,以及漫射體,所述相干光源和所述漫射體被布置為將主散斑圖案投射于所述目標(biāo)上;圖像捕獲組件,該圖像捕獲組件被布置為捕獲所述目標(biāo)上的主散斑圖案的圖像;以及處理器,該處理器被連接以處理所述主散斑圖案的圖H^而導(dǎo)出所述目標(biāo)的3D圖。
42. 根據(jù)權(quán)利要求41所述的裝置,其中所述相干光源的相干長度小于0, 5mm。
43. 根據(jù)權(quán)利要求41或42所述的裝置,其中所述相干光源的發(fā)散度大于5°。
44. 根據(jù)權(quán)利要求41或42所述的裝置,其中所述主散斑圖案包括具有特征尺寸的散斑,并且其中所述照明組件被配置為允許所述散斑的特征尺寸通過改變所述相干光源和所述漫射體之間的距離而得到調(diào)整。
全文摘要
一種用于目標(biāo)(28)的3D映射的裝置(20),包括照明組件(30),照明組件(30)包括相干光源(32)和漫射體(33),相干光源(32)和漫射體(33)被布置為將主散斑圖案投射到目標(biāo)上。單圖像捕獲組件(38)被布置為從相對于照明組件的單一、固定位置和角度捕獲主散斑圖案的圖像。處理器(24)被連接以處理在單一、固定角度所捕獲的主散斑圖案從而導(dǎo)出目標(biāo)的3D圖。
文檔編號G06K9/00GK101496033SQ200780016625
公開日2009年7月29日 申請日期2007年3月8日 優(yōu)先權(quán)日2006年3月14日
發(fā)明者A·施龐特, Z·扎爾威斯科 申請人:普萊姆森斯有限公司