專利名稱:從3d范圍圖像進(jìn)行基于繪制的界標(biāo)定位的制作方法
從3D范圍圖像進(jìn)行基于繪制的界標(biāo)定位
背景技術(shù):
生物識(shí)別正在成為用于訪問控制和監(jiān)控安全區(qū)域(諸如機(jī)場)的流行方法。在這樣的設(shè)置中,有時(shí)將人(或者人的某部分)的圖像與之前捕獲的“注冊”圖像相比較是必要的。一些用于生物識(shí)別的技術(shù)需要自動(dòng)地定位特定界標(biāo)(landmark)并估計(jì)這些界標(biāo)的方向。生物學(xué)方面許多過去的工作已經(jīng)考慮到傳統(tǒng)圖像,即電磁光譜的可見部分中的集成光。然而,隨著3D捕獲設(shè)備可用性的增加以及成本的降低,重點(diǎn)越來越多地放在從所產(chǎn)生的3D范圍(即深度)圖像進(jìn)行生物識(shí)別上。
圖I是圖解現(xiàn)有技術(shù)界標(biāo)定位方法的流程圖;圖2是圖解另一個(gè)現(xiàn)有技術(shù)界標(biāo)定位方法的流程圖;圖3是圖解根據(jù)示例實(shí)施例使用繪制從3D范圍圖像進(jìn)行界標(biāo)定位的方法的流程圖;圖4A是根據(jù)示例實(shí)施例的具有各種3D面部界標(biāo)的主體的被繪制的可視圖像的示意圖;圖4B是根據(jù)示例實(shí)施例的具有至少一個(gè)3D面部界標(biāo)的主體的被繪制的可視圖像的不意圖;圖5是計(jì)算機(jī)系統(tǒng)的框圖,該計(jì)算機(jī)系統(tǒng)執(zhí)行用于處理根據(jù)示例實(shí)施例的關(guān)于界標(biāo)定位以及繪制的方法和流程的程序。
具體實(shí)施例方式在以下描述中,參考形成本文一部分的附圖,并且其中通過圖解示出可以實(shí)現(xiàn)的特定實(shí)施例。在一個(gè)實(shí)施例中,在此描述的功能或算法可以在軟件中,或者在軟件和人類實(shí)現(xiàn)的流程的組合中實(shí)現(xiàn)。軟件可以由存儲(chǔ)在諸如存儲(chǔ)器或者其它類型存儲(chǔ)裝置的計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可執(zhí)行指令構(gòu)成。進(jìn)一步,這些功能對(duì)應(yīng)于模塊,它們是軟件、硬件、固件或者它們的任意組合。多個(gè)功能可以在所期望的一個(gè)或多個(gè)模塊中執(zhí)行,并且所描述的實(shí)施例僅僅是示例。軟件可以在數(shù)字信號(hào)處理器、ASIC、微處理器或者運(yùn)行在計(jì)算機(jī)系統(tǒng)(諸如個(gè)人計(jì)算機(jī)、服務(wù)器或者其它計(jì)算機(jī)系統(tǒng))上的其他類型處理器上執(zhí)行。每張人臉具有大量的可區(qū)分界標(biāo),包括但不限于鼻子、眼眶、顴骨、下巴等等,它們中的每一個(gè)都有特定的特征,諸如寬度、形狀等。當(dāng)在側(cè)面像中觀看時(shí),如在J. Zhou等,Histograms of Categorized Shapes for 3D Ear Detection,2010IEEE, http://utopia,csis. pace, edu/cs615/btas2010/BTAS/papers/Paper% 20157. pdf,(以下稱為“Zhou”)中描述,諸如在Zhou的第Π A部分(包括表I以及圖3)中描述的,耳朵提供了高度可區(qū)分界標(biāo),Zhou通過引用合并在本文中,就像在此充分陳述了那樣。
在此,實(shí)施例描述了計(jì)算機(jī)實(shí)現(xiàn)的方法,包括獲取包含一個(gè)或多個(gè)3D界標(biāo)的三維(3D)范圍圖像;將3D范圍圖像繪制(render)到包含與一個(gè)或多個(gè)3D界標(biāo)相關(guān)的亮度模式的被繪制的可視圖像中;并且在被繪制的可視圖像中定位一個(gè)或多個(gè)3D界標(biāo)中的至少一個(gè)以產(chǎn)生包含與至少一個(gè)3D界標(biāo)相關(guān)的至少一個(gè)定位的亮度模式的被繪制的可視圖像。在生物識(shí)別應(yīng)用中所述各種方法以及相關(guān)系統(tǒng)和裝置是有用的??梢晥D像提供關(guān)于由場景中對(duì)象反射的光量的信息,而三維(3D)圖像是進(jìn)一步提供照相機(jī)與場景中對(duì)象之間距離相關(guān)的信息的圖像。而2. 圖像具有二維(水平和垂直)和在特定位置處的提供距離信息的像素值,與3D圖像不同,它不包括關(guān)于該位置表面的方向的信息,使得照相機(jī)光軸和對(duì)象表面法線之間的距離和角度都是已知的。盡管2. 5D成像在人臉識(shí)別技術(shù)中已經(jīng)被使用,但根據(jù)定義,它包含更少的信息。由于3D范圍圖像包含大量數(shù)據(jù),因此其很難在3D范圍圖像中找到特定的界標(biāo),即
界標(biāo)定位。例如,圖I示出用于定位界標(biāo)(例如,耳朵)的現(xiàn)有技術(shù)方法100,該方法包括獲取102傳統(tǒng)可視圖像(例如人頭部一側(cè)的RGB可視圖像),并行地獲取1043D范圍圖像或者掃描(用于匹配)。3D范圍圖像具有與距離對(duì)應(yīng)的像素值,即更亮的值意味著更短的距離,或反之亦然。通過對(duì)可視圖像執(zhí)行界標(biāo)定位106以確定可視圖像102中想要的界標(biāo)的位置來繼續(xù)該方法。由于兩個(gè)圖像(已獲取的3D范圍圖像以及已定位的可視圖像)通常沒有正確地對(duì)齊,因此必須在兩個(gè)圖像之間執(zhí)行隨后的圖像配準(zhǔn)步驟(即映射)108以產(chǎn)生配準(zhǔn)的可視圖像。原始獲取的3D范圍圖像104以及來自配準(zhǔn)步驟108的配準(zhǔn)的可視圖像的界標(biāo)剪裁110緊隨圖像配準(zhǔn)108。結(jié)果提供3D圖像中界標(biāo)的位置,該位置輸出112給用戶,即3D界標(biāo)位置被映射到3D圖像。當(dāng)3D圖像和可視圖像之間的配準(zhǔn)步驟108例如因?yàn)榭梢晜鞲衅骱?D范圍傳感器之間的光學(xué)對(duì)齊較差而不精確時(shí),該方案是存在問題的。由于該方法需要采用特定的耳朵位置或者來自可視圖像的界標(biāo)并且確定它與3D圖像(例如,整個(gè)耳朵)的哪個(gè)部分對(duì)應(yīng)或者相匹配,因此也很難使配準(zhǔn)一致。其它方法已經(jīng)試圖通過不使用所獲取的圖像或者初始地不獲取圖像來忽略整個(gè)可視圖像。(參見,例如Zhou)。圖2示出另一個(gè)現(xiàn)有技術(shù)方法,其包括獲取202 3D范圍圖像并執(zhí)行界標(biāo)定位204。界標(biāo)剪裁206緊隨定位。結(jié)果是在3D圖像中的界標(biāo)的位置,該位置被輸出212給用戶。然而,由于3D范圍圖像的特性與可視圖像的特性不同,一般地在此不應(yīng)用為可視圖像(諸如RGB可視圖像)所開發(fā)的現(xiàn)有技術(shù)。此外,由于該方法實(shí)質(zhì)上要求用于每個(gè)特定特征(諸如耳朵)的定制檢測器,因而其不經(jīng)常被使用。在這里所描述的實(shí)施例中,界標(biāo)定位的還原方法從3D范圍圖像中產(chǎn)生合成的或繪制的可視圖像,該可視圖像與它所來源的3D范圍圖像內(nèi)在地對(duì)齊。結(jié)果,不用配準(zhǔn)將從繪制的可視圖像中找到的界標(biāo)位置映射到3D圖像。圖3是圖解用于輸出3D界標(biāo)的實(shí)施例的流程圖300,其由獲取302包含一個(gè)或多個(gè)3D界標(biāo)的3D范圍圖像開始。接下來是3D范圍圖像的繪制304以產(chǎn)生包含與該一個(gè)或多個(gè)3D界標(biāo)相關(guān)的亮度模式的被繪制的可視圖像。(如在此所使用的,“被繪制的可視圖像”是在特定照明和皮膚反射模型下同一區(qū)域的可視圖像的估計(jì))。隨后對(duì)被繪制的可視圖像執(zhí)行306界標(biāo)定位以產(chǎn)生定位的3D界標(biāo)。該方法能夠可選地包括界標(biāo)剪裁308以產(chǎn)生被剪裁的定位的3D界標(biāo)。與定位的3D界標(biāo)(或被剪裁的定位的3D界標(biāo))相關(guān)的亮度模式能夠被提供310給顯示器,和/或定位的3D界標(biāo)(或者被剪裁的定位的3D界標(biāo))能夠被提供311給處理器用于進(jìn)一步處理。與常規(guī)方法相比,在此所描述的新穎方法消除對(duì)圖像配準(zhǔn)(如圖I所示)以及3D范圍圖像的界標(biāo)定位(如圖2所示)的需要。取而代之的是,通過以類似于計(jì)算機(jī)圖形學(xué)的方式來繪制圖像中的主體,產(chǎn)生被繪制(即合成)的可視圖像。該方法能夠進(jìn)一步包括獲得312參考3D范圍圖像,并且在隨后的處理步驟中為一般或者生物識(shí)別的目的,將該參考3D范圍圖像與定位的3D界標(biāo)(或者被剪裁的定位的3D界標(biāo))相比較314。
能夠從能提供人臉幾何和對(duì)稱的現(xiàn)有知識(shí)的任何來源中獲得參考3D范圍圖像,諸如為存儲(chǔ)來自包含特定個(gè)體的界標(biāo)的注冊圖像的各種特征(諸如面部特征)的各種界標(biāo)而特別創(chuàng)建的數(shù)據(jù)庫,等等。任何合適類型的裝置都能夠用來獲取3D范圍圖像,諸如任何類型的編碼光方法(Coded Light Approach, CLA)裝置。其它裝置可能包括但不限于LIDAR,激光掃描儀,立體照相機(jī),散焦測距(depth from defocus)。如一般所知,典型的3D范圍圖像包含偽影和缺失點(diǎn),主要在投射光不能到達(dá)的區(qū)域上和/或在高折射率或低反射率表面上。如上面所提到的,3D范圍圖像具有與距離對(duì)應(yīng)的像素值,例如更亮的值意味著更短距離,或反之亦然。如果被正確地校準(zhǔn),用于獲得3D范圍圖像的傳感器能夠提供物理距離單位的像素值。在一個(gè)實(shí)施例中,3D范圍圖像中的數(shù)據(jù)由到該圖像中每個(gè)像素位置的公制距離(metric distance)指定或者獲取。這在使用特定類型的系統(tǒng),諸如光檢測和測距(LIDAR)系統(tǒng)(即光學(xué)遙感技術(shù))是有用的,該系統(tǒng)測量散射光特性以找到距離目標(biāo)的范圍和/或其他信息。最普遍的,使用激光脈沖確定到對(duì)象或者表面的距離。Zhou討論了將分類形狀的直方圖用于耳朵的3D對(duì)象識(shí)別。在替代的實(shí)施例中,提供3D范圍圖像作為圖像中每個(gè)像素位置處的表面方向而提供,例如當(dāng)所述3D范圍圖像被獲取為來自陰影系統(tǒng)的形狀時(shí)。在提供公制距離的實(shí)施例中,可通過局部差分將該數(shù)據(jù)轉(zhuǎn)換為表面方向。3D范圍圖像的繪制包括通過計(jì)算機(jī)程序,從一個(gè)或多個(gè)3D模型(即場景文件)產(chǎn)生二維(2D)合成圖像。場景文件包含在嚴(yán)格定義的語言或數(shù)據(jù)結(jié)構(gòu)中的對(duì)象作為虛擬場景的描述,例如x-y-z坐標(biāo)(幾何),半透明,視點(diǎn),紋理,反射率信息等等。換句話說,如果知道光在特定表面以及該表面的局部形狀上反射的形式,就能夠產(chǎn)生關(guān)于在任意照明模式下該表面看起來是什么樣的圖像。在大多數(shù)實(shí)施例中,假定存在均勻和漫射的照明而沒有粗糙陰影(例如,攝影棚照明)。還可以考慮陰影和強(qiáng)反射(bright reflection)。還考慮表面反射入射光的方式,以對(duì)不同表面使用不同的陰影模型。在場景文件中包含的數(shù)據(jù)隨后被傳給繪制程序處理并且輸出到數(shù)字圖像或者光柵圖形圖像文件。在一個(gè)實(shí)施例中,使用商業(yè)上可獲得的,能夠在來自Persistence of VisionRaytrancer Pty有限公司的計(jì)算機(jī)(例如,Persistence of Vision Raytracer (POV-Ray))等等上產(chǎn)生虛擬3D場景視圖的光線追蹤包執(zhí)行繪制。繪制還可以用其它諸如掃描線或者z-buffer繪制技術(shù)執(zhí)行。在一個(gè)實(shí)施例中,光線投射也被用作隱藏表面移除方法,以主要模仿與光傳播關(guān)聯(lián)的實(shí)際物理效果。3D范圍圖像和3D范圍圖像中的主體的雙向反射分布函數(shù)(bidirectionalreflectance distribution function, BRDF) 一起,被用來繪制與合成光源有關(guān)的主體外形。(BRDF是定義在不透明的表面上光怎樣反射的四維函數(shù))。在一個(gè)實(shí)施例中,人類皮膚的BRDF被用來繪制與合成光源(諸如漫射光源)有關(guān)的人的外形。由于界標(biāo)定位技術(shù)被應(yīng)用到被繪制的RGB圖像,因此估計(jì)的位置與3D范圍圖像中的位置精確地對(duì)應(yīng)。在一個(gè)實(shí)施例中,不管人種而使用參考皮膚色調(diào)。盡管對(duì)于一般識(shí)別目的(例如識(shí)別特定群體中的成員)有用,由于一般的皮膚模型可能與給定個(gè)體的皮膚特性匹配不好,這些被繪制的圖像不打算被用于特定人的明確生物識(shí)別。在一個(gè)實(shí)施例中,參考皮膚色調(diào)主要用于匹配人種,例如黑人,白人,亞洲人等等。在這樣的實(shí)施例中,可以執(zhí)行明確的生物識(shí)別。其它主體不同地反射入射光(例如,樹,建筑物,動(dòng)物,等等),并且可能需要不同的陰影模型。在一個(gè)實(shí)施例中,使用定制的應(yīng)用,其能夠硬編碼人類皮膚BRDF和/或參考照明。通過約束BRDF和/或照明,定制的應(yīng)用可以在比商業(yè)上可獲得的光線追蹤包更少的時(shí)間內(nèi)繪制圖像。如果給定繪制的輸出,則能夠應(yīng)用傳統(tǒng)的用于界標(biāo)定位的RGB技術(shù),例如使用?!ぐ迤ヅ浠蚓植刻卣鞣诸?。如果給定必需界標(biāo)的估計(jì)位置,這些位置能夠映射回到可以從中執(zhí)行生物識(shí)別的3D范圍圖像。在一個(gè)實(shí)施例中,系統(tǒng)進(jìn)一步包括比較裝置以通過將一個(gè)或多個(gè)3D界標(biāo)與參考圖像中的一個(gè)或多個(gè)3D界標(biāo)比較來執(zhí)行生物識(shí)別。在此描述的新穎方法具有商業(yè)和執(zhí)法應(yīng)用的廣泛適用性,包括但不限于安全和訪問控制,公共場所監(jiān)視,面部照片匹配等等。在一個(gè)實(shí)施例中,被繪制的可視圖像是被繪制的RGB可視圖像。在一個(gè)實(shí)施例中,被繪制的可視圖像是被繪制的黑白(B&W)圖像或者被繪制的灰度圖像。圖4A是具有各種界標(biāo)的主體人臉的簡化示意圖400,這些界標(biāo)具有各種特性,包括但不限于眼睛402之間的間隔,鼻子404的寬度,顴骨406的形狀以及下巴特征408。圖4B是具有眼眶界標(biāo)414的主體人眼的簡化示意圖412.繪制步驟的使用和配置的省略以及嘗試3D圖像界標(biāo)定位,在這里所描述的各種實(shí)施例中提供了提高的簡單性和準(zhǔn)確性。相比之下,由于必須通過采用距離信息的衍生物來建立每個(gè)像素的表面方向,因此2. 5D圖像無法提供合適的繪制。如果存在任何噪聲,其會(huì)因采用所述衍生物而放大。圖4示出計(jì)算機(jī)系統(tǒng)的框圖,該計(jì)算機(jī)系統(tǒng)執(zhí)行用于運(yùn)行上述診斷系統(tǒng)算法的程序。一般計(jì)算設(shè)備以計(jì)算機(jī)410形式,可以包括處理單元402,存儲(chǔ)器404,可移除存儲(chǔ)器412以及不可移除存儲(chǔ)器414。存儲(chǔ)器404包括易失性存儲(chǔ)器406和非易失性存儲(chǔ)器408。計(jì)算機(jī)410可以包括,或者具有對(duì)計(jì)算環(huán)境的訪問,該計(jì)算環(huán)境包括各種計(jì)算機(jī)可讀介質(zhì),例如易失性存儲(chǔ)器406和非易失性存儲(chǔ)器408,可移除存儲(chǔ)器412和不可移除存儲(chǔ)器414。計(jì)算機(jī)存儲(chǔ)器包括隨機(jī)訪問存儲(chǔ)器(RAM),只讀存儲(chǔ)器(R0M),可擦除可編程只讀存儲(chǔ)器(EPROM) &電可擦除可編程只讀存儲(chǔ)器(EEPROM),閃存或者其它存儲(chǔ)器技術(shù),光盤只讀存儲(chǔ)器(CD R0M),數(shù)字多功能光盤(DVD)或者其它光盤存儲(chǔ)器,磁盒,磁帶,磁盤存儲(chǔ)器或者其它磁存儲(chǔ)裝置,或者任何其它能夠存儲(chǔ)計(jì)算機(jī)可讀指令的介質(zhì)。計(jì)算機(jī)410可以包括或者具有對(duì)計(jì)算環(huán)境的訪問,該計(jì)算環(huán)境包括輸入416,輸出418以及通信連接420。計(jì)算機(jī)可以運(yùn)行在網(wǎng)絡(luò)化環(huán)境中,該環(huán)境使用通信連接以連接到一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)。遠(yuǎn)程計(jì)算機(jī)可以包括個(gè)人計(jì)算機(jī)(PC),服務(wù)器,路由器,網(wǎng)絡(luò)PC,對(duì)等設(shè)備或者其它普通網(wǎng)絡(luò)節(jié)點(diǎn)等等。通信連接可以包括局域網(wǎng)(LAN),廣域網(wǎng)(WAN)或者其它網(wǎng)絡(luò)。存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀指令可由計(jì)算機(jī)410的處理單元402執(zhí)行。硬盤,⑶-ROM和RAM是包括計(jì)算機(jī)可讀介質(zhì)的物品的一些示例。盡管在以上已經(jīng)詳細(xì)描述了一些實(shí)施例,但其它修改是可能的。例如,附圖中所描述的邏輯流程不需要按所示的特定順序或者依次的順序來達(dá)到想要的結(jié)果。可以提供其它 步驟,或者可以從所描述的流程中刪除步驟,并且可以添加其它組件到所描述的系統(tǒng),或從所描述的系統(tǒng)中刪除組件。其它實(shí)施例將落入所附權(quán)利要求的范圍內(nèi)。遵循37C. F. R. § I. 72(b)而被提供的摘要被提交,可以理解其不被用來解釋或限定權(quán)利要求的范圍或含義。
權(quán)利要求
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法,包括 獲取(302)包含一個(gè)或多個(gè)3D界標(biāo)的三維(3D)范圍圖像(400); 繪制(304)所述3D范圍圖像到包含與所述一個(gè)或多個(gè)3D界標(biāo)相關(guān)的亮度模式的被繪制的可視圖像中;并且 在所述被繪制的可視圖像中定位(306)所述一個(gè)或多個(gè)3D界標(biāo)的至少一個(gè),以提供至少一個(gè)定位的3D界標(biāo)。
2.權(quán)利要求I的方法,進(jìn)一步包括剪裁(308)所述至少一個(gè)定位的界標(biāo),以產(chǎn)生至少一個(gè)被剪裁的定位的3D界標(biāo)。
3.權(quán)利要求2的方法,進(jìn)一步包括將至少一個(gè)被剪裁的定位的3D界標(biāo)與參考圖像中的至少一個(gè)3D界標(biāo)進(jìn)行比較(314),以提供一般識(shí)別或者生物識(shí)別。
4.權(quán)利要求I的方法,其中所述被繪制的可視圖像是被繪制的可視RGB圖像。
5.權(quán)利要求I的方法,其中所述一個(gè)或多個(gè)3D界標(biāo)包括臉部界標(biāo)(402,404,406,408,414)。
6.權(quán)利要求I的方法,其中所述3D范圍圖像具有主體,并且繪制步驟包括使用所述3D范圍圖像和所述主體的雙向反射分布函數(shù)(BRDF),來繪制與合成光源相關(guān)的主體的外形。
7.一種計(jì)算機(jī)可讀裝置,具有指令以使計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)一種方法,該方法包括 繪制包含一個(gè)或多個(gè)3D界標(biāo)的3D范圍圖像到包含與所述一個(gè)或多個(gè)3D界標(biāo)相關(guān)的亮度模式的被繪制的可視圖像中; 定位所述一個(gè)或多個(gè)3D界標(biāo)中的至少一個(gè),以提供至少一個(gè)定位的3D界標(biāo)。
8.一種系統(tǒng),包括 三維(3D)范圍圖像獲取裝置,與包含一個(gè)或多個(gè)3D界標(biāo)的3D范圍圖像關(guān)聯(lián); 繪制裝置,配置為繪制所述3D范圍圖像到包含與所述一個(gè)或多個(gè)3D界標(biāo)相關(guān)的亮度模式的被繪制的可視圖像中;以及 與所述繪制裝置通信的界標(biāo)定位裝置,所述界標(biāo)定位裝置被配置為在所述被繪制的可視圖像中定位所述一個(gè)或多個(gè)3D界標(biāo)中的至少一個(gè),以提供至少一個(gè)定位的3D界標(biāo)。
9.權(quán)利要求8的系統(tǒng),進(jìn)一步包括 與所述界標(biāo)定位裝置通信的剪裁裝置,用于剪裁所述至少一個(gè)定位的3D界標(biāo),以產(chǎn)生至少一個(gè)3D界標(biāo);以及 與所述3D范圍圖像獲取裝置通信的顯示器,用于輸出所述至少一個(gè)定位的亮度模式。
10.權(quán)利要求9的系統(tǒng),進(jìn)一步包括與所述剪裁裝置通信的比較裝置,用于將所述被繪制的可視圖像中的所述至少一個(gè)已剪裁的定位的亮度模式與參考可視圖像中的至少一個(gè)3D界標(biāo)進(jìn)行比較,其中能夠執(zhí)行一般識(shí)別或者生物識(shí)別。
全文摘要
提供一種計(jì)算機(jī)實(shí)現(xiàn)的方法,包括獲取包含一個(gè)或多個(gè)3D界標(biāo)的三維(3D)范圍圖像;繪制該3D范圍圖像到包含與所述一個(gè)或多個(gè)3D界標(biāo)相關(guān)的亮度模式的被繪制的可視圖像中;并且在所述被繪制的可視圖像中定位所述一個(gè)或多個(gè)3D界標(biāo)中的至少一個(gè),以提供至少一個(gè)定位的3D界標(biāo)。這樣的方法以及相關(guān)系統(tǒng)和裝置在生物識(shí)別應(yīng)用中是有用的。
文檔編號(hào)G06T15/30GK102708586SQ20121006384
公開日2012年10月3日 申請(qǐng)日期2012年1月28日 優(yōu)先權(quán)日2011年1月28日
發(fā)明者S·麥克羅斯基 申請(qǐng)人:霍尼韋爾國際公司