臉部位置檢測(cè)的制作方法
【專(zhuān)利摘要】從關(guān)于場(chǎng)景的數(shù)據(jù)來(lái)檢測(cè)臉部位置。從所述場(chǎng)景的測(cè)量結(jié)果獲得3D表面模型。從所述3D表面模型生成2D角度數(shù)據(jù)圖像。針對(duì)虛擬照明方向生成所述角度數(shù)據(jù)圖像，所述圖像表示在來(lái)自虛擬光源方向的射線方向與3D表面的法線之間的角度。將2D臉部位置算法應(yīng)用于各自的2D圖像中的每個(gè)。在實(shí)施例中，生成針對(duì)多個(gè)虛擬照明方向的各自的2D角度數(shù)據(jù)圖像，并且融合從所述各自的2D圖像檢測(cè)的臉部位置。
【專(zhuān)利說(shuō)明】臉部位置檢測(cè)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于從產(chǎn)生包含臉部的場(chǎng)景的3維表面模型的測(cè)量結(jié)果確定臉部位置的系統(tǒng)和方法。
【背景技術(shù)】
[0002]US7436988公開(kāi)了一種使用2維圖像以形成3維模型的臉部認(rèn)證和識(shí)別方法，以及通過(guò)3維模型與參考數(shù)據(jù)的比較來(lái)驗(yàn)證人的身份。從的臉部的對(duì)稱(chēng)平面與3D模型的交叉提取臉部輪廓線，并且使用該輪廓線的特性驗(yàn)證人的身份。通過(guò)形成3D模型的鏡像版本并且以導(dǎo)致最佳匹配的方式相對(duì)于彼此定位原始3D模型和鏡像版本來(lái)尋找對(duì)稱(chēng)平面。假設(shè)在建模的空間中臉部是僅有的基本上對(duì)稱(chēng)的對(duì)象，則用于尋找對(duì)稱(chēng)平面的程序隱含地確定涉及臉部位置的信息。然而，US7436988并未討論位置確定的問(wèn)題。
[0003]臉部識(shí)別和臉部位置確定是涉及不同考慮的不同任務(wù)。臉部識(shí)別是固有的人特異性的:臉部識(shí)別的本質(zhì)是不同的人應(yīng)當(dāng)是被區(qū)分。另一方面，臉部位置確定優(yōu)選地是不依賴(lài)于人的:應(yīng)當(dāng)不依賴(lài)于獨(dú)特的人的臉部特征來(lái)確定位置。

【發(fā)明內(nèi)容】

[0004]除了其他因素，目的在于提供用于從包含臉部的場(chǎng)景的3維模型確定臉部的位置的系統(tǒng)和方法。
[0005]提供了根據(jù)權(quán)利要求1所述的方法。在本文中，使用包含臉部的場(chǎng)景的3D表面模型作為開(kāi)始點(diǎn)，以用于臉部定位，即，在場(chǎng)景中檢測(cè)臉部的位置。例如，可以從2D光學(xué)成像推導(dǎo)3D表面模型。從3D表面模型生成2D角度數(shù)據(jù)圖像，所述2D角度數(shù)據(jù)圖像表示建模的3D表面的法線與根據(jù)虛擬光源的方向的入射方向之間的角度的角度數(shù)據(jù)。在執(zhí)行2D臉部位置算法中使用角度數(shù)據(jù)圖像。
[0006]以這種方式，能夠使用可用的和測(cè)試的2D臉部位置算法，以確定3D模型中的臉部位置。不需要臉部的光學(xué)表面特性的可靠的測(cè)量結(jié)果。即使是從2D光學(xué)圖像推導(dǎo)3D表面模型，3D表面模型的使用使臉部位置檢測(cè)更加魯棒，以防表面的反射特性和色彩的效應(yīng)。優(yōu)選地，僅從關(guān)于在生成的2D圖像的各自像素位置處看得見(jiàn)的3D點(diǎn)處建模的3D表面的幾何信息確定生成的2D圖像的像素值，而不使用非幾何光學(xué)特性。
[0007]在實(shí)施例中，生成針對(duì)各自不同的虛擬照明方向的具有角度數(shù)據(jù)的多幅各自的2D圖像，并且將臉部位置檢測(cè)算法應(yīng)用于各自的2D圖像的每幅。產(chǎn)生的位置檢測(cè)可以被組合，以提供檢測(cè)的臉部位置。例如，可以通過(guò)任選地在移除異常值后對(duì)針對(duì)不同方向檢測(cè)的位置取平均，或者通過(guò)選擇針對(duì)不同方向檢測(cè)的位置的中值或其他具有代表性的一個(gè)，來(lái)融合產(chǎn)生的位置檢測(cè)。組合還可以包括聚類(lèi)步驟，這涉及將位置檢測(cè)分配到選定的聚類(lèi)并且在聚類(lèi)內(nèi)融合位置檢測(cè)。
[0008]在實(shí)施例中，針對(duì)所述各自方向的相同觀察方向，生成多幅2D圖像。以這種方式，使所述方法更加魯棒。此外，使得能夠確定在2D圖像中的臉部位置的平均?；蛘?，可以使用所述各自方向的觀察方向的任意組合。在實(shí)施例中，生成針對(duì)多個(gè)不同的觀察方向的圖像。這使所述方法魯棒地防止臉部的旋轉(zhuǎn)的變化。
[0009]在實(shí)施例中，2D臉部定位算法可以包括確定在圖像中的各自區(qū)域上的角度數(shù)據(jù)的多個(gè)總和、將所述總和與閾值進(jìn)行比較并且組合將所述比較的結(jié)果。
[0010]從Viola 等人題目為《Robust Real-Time Face Detection》(InternationalJournal of Computer Vision57 (2), 2004 年,第 137-154 頁(yè))的文章中已知用于從 2 維圖像進(jìn)行臉部位置確定的成功的算法。Viola等人使用在各種矩形圖像區(qū)域中的像素值的總和的組合，以決定臉部的位置。借助計(jì)算機(jī)學(xué)習(xí)來(lái)設(shè)置矩形圖像區(qū)域的組合。在學(xué)習(xí)階段，提出具有可以使用的臉部的大量范例和反例以及大量不同尺寸和位置的矩形的系統(tǒng)。使用AdaBoost計(jì)算機(jī)學(xué)習(xí)技術(shù)來(lái)選擇提供魯棒結(jié)果的矩形的組合。例如，可以通過(guò)使用針對(duì)2D圖像的訓(xùn)練結(jié)果，而不必經(jīng)歷新的訓(xùn)練程序，而使用由Viola等人描述的算法。
[0011]可以從存儲(chǔ)設(shè)備獲得3D表面模型，在已經(jīng)生成所述3D表面模型之后，所述3D表面模型已經(jīng)存儲(chǔ)在所述存儲(chǔ)設(shè)備中。在實(shí)施例中，使用來(lái)自從場(chǎng)景接收的光的一幅或多幅2D圖像的信息，以獲得3D表面模型?？梢允褂媒Y(jié)構(gòu)光來(lái)照亮場(chǎng)景。通過(guò)首先將該信息轉(zhuǎn)換為3D表面模型并且之后轉(zhuǎn)換回2D圖像(其中，使用表面取向而不是直接的光學(xué)圖像特性)所述方法不必獲得關(guān)于臉部的光學(xué)表面特性的可靠信息?；蛘?，可以使用諸如3D斷層攝影技術(shù)的其他測(cè)量技術(shù)，以例如從3D體積模型間接地獲得3D表面。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0012]這些和其他目的以及有利的方面將使用以下附圖，通過(guò)對(duì)示范性實(shí)施例的描述變得顯而易見(jiàn)。
[0013]圖1示出了臉部數(shù)據(jù)處理系統(tǒng)。
[0014]圖2示出了臉部位置確定的流程圖。
[0015]圖3示出了處理架構(gòu)。
【具體實(shí)施方式】
[0016]圖1示出了臉部數(shù)據(jù)處理系統(tǒng)，其包括結(jié)構(gòu)光源10、照相機(jī)12和處理器14。結(jié)構(gòu)光源10和照相機(jī)12被耦合到處理器14。盡管通過(guò)舉例的方式示出結(jié)構(gòu)光源10和照相機(jī)12，但應(yīng)當(dāng)認(rèn)識(shí)到，可以使用用于捕獲3D幾何信息的其他設(shè)備。結(jié)構(gòu)光源10可以被配置為將點(diǎn)或條紋的陣列投影到對(duì)象上，即，僅在相互獨(dú)立的射線方向的陣列中或在相互獨(dú)立的射線平面的陣列中傳播光。結(jié)構(gòu)光源10可以被配置為借助沿方向的模式的動(dòng)態(tài)掃描或例如使用例如穿過(guò)靜態(tài)掩模的投影來(lái)實(shí)現(xiàn)投影。
[0017]示出了操作配置，其中，結(jié)構(gòu)光源10和照相機(jī)12被導(dǎo)引到含有臉部16的場(chǎng)景處。在操作中，結(jié)構(gòu)光源10利用一個(gè)或多個(gè)結(jié)構(gòu)光模式來(lái)照射場(chǎng)景，并且在結(jié)構(gòu)光源10照射所述場(chǎng)景的同時(shí)照相機(jī)12捕獲場(chǎng)景的圖像。結(jié)構(gòu)光源10向處理器14提供表示一幅或多幅產(chǎn)生的圖像的信息。
[0018]處理器14處理一幅或多幅圖像，以形成場(chǎng)景的3D表面模型。用于這樣做的方法本身是已知的。處理器14可以是可編程處理器，其包括使處理器14這樣做的計(jì)算機(jī)程序。事實(shí)上，處理器14可以是處理系統(tǒng)，包括執(zhí)行處理器14被配置執(zhí)行的任務(wù)的不同部分的多個(gè)計(jì)算機(jī)。如在本文中所使用的，在處理器14具有將使其執(zhí)行操作的程序時(shí)，處理器14將被描述為被配置為當(dāng)其具有執(zhí)行操作的程序時(shí)，執(zhí)行這些操作。然而，如果處理器14包含被設(shè)計(jì)為執(zhí)行操作的專(zhuān)用電路，則處理器14還將被描述為被配置為執(zhí)行所述操作。
[0019]處理器14可以被配置為檢測(cè)像素位置，在所述像素位置處，由來(lái)自結(jié)構(gòu)光源10的光照射的場(chǎng)景中的表面點(diǎn)是可見(jiàn)的。另外，處理器14可以被配置為每個(gè)這樣的像素識(shí)別在來(lái)自結(jié)構(gòu)光源10的結(jié)構(gòu)光的模式內(nèi)的照射光的位置?？紤]到照相機(jī)姿態(tài)和結(jié)構(gòu)光源10的幾何形狀，模式中的位置和像素位置每個(gè)都定義了 3D空間中的射線方向，各方向在所照射的對(duì)象點(diǎn)處交叉。處理器14從像素位置和模式中的位置計(jì)算對(duì)象點(diǎn)的3D坐標(biāo)。
[0020]處理器14可以通過(guò)在所計(jì)算的位置之間插值，例如，通過(guò)逼近如平面三角形的相鄰檢測(cè)點(diǎn)之間的表面，來(lái)逼近對(duì)象的表面。通過(guò)這樣的插值，能夠確定任何表面點(diǎn)的差值的3D坐標(biāo)，以及在那些表面點(diǎn)處的表面法線。這樣的確定能夠應(yīng)用于由照相機(jī)12捕獲的圖像的像素，而且能夠應(yīng)用于從其他照相機(jī)姿態(tài)能夠獲得的虛擬圖像。處理器14被配置為使用該信息以確定在3D空間中的臉部的位置。
[0021]圖2示出了用于確定臉部位置的過(guò)程的流程圖。將根據(jù)由處理器14執(zhí)行的動(dòng)作來(lái)描述所述流程圖。應(yīng)當(dāng)理解，處理器14被“配置”為執(zhí)行這些動(dòng)作。在第一步驟21中，處理器14選擇相對(duì)于3D模型的第一方向。選定的第一方向?qū)⒈环Q(chēng)為虛擬照相機(jī)方向。在實(shí)施例中，第一方向可以對(duì)應(yīng)于照相機(jī)12的方向。
[0022]在第二步驟22中，處理器14定義包括像素陣列的圖像。像素陣列與具有相對(duì)于選定的第一方向定義的方向的射線路徑陣列相關(guān)聯(lián)。處理器14使用從結(jié)構(gòu)照明獲得的3D表面模型來(lái)為每個(gè)像素確定3D點(diǎn)，該3D點(diǎn)是針對(duì)該像素的射線路徑與3D表面和在該3D點(diǎn)處的表面法線的交叉的3D點(diǎn)。
[0023]在第三步驟23中，處理器14選擇相對(duì)于3D模型的第二方向。選定的第二方向?qū)⒈环Q(chēng)為虛擬光源方向。(應(yīng)當(dāng)強(qiáng)調(diào)，虛擬光源方向一詞僅用作對(duì)于該方向的標(biāo)簽，并不意味著虛擬光源必須用于生成圖像，或所生成的圖像表示能夠利用特定光源獲得的圖像。)
[0024]在第四步驟24中，處理器14確定在第二方向和針對(duì)各自像素的法線之間的角度，或者至少處理器14確定作為角度的函數(shù)的量，諸如，角度的余弦。角度或作為角度的函數(shù)的量將被稱(chēng)為角度數(shù)據(jù)。與圖像中的各自位置相關(guān)聯(lián)的角度數(shù)據(jù)形成角度數(shù)據(jù)圖像。在實(shí)施例中，具有與第二方向一直相同的推導(dǎo)的方向的角度可以用于圖像位置中的每個(gè)，從而利用來(lái)自在無(wú)窮遠(yuǎn)處的虛擬照射源的射線模擬角度?；蛘撸梢源_定具有從第二方向間接推導(dǎo)的方向的角度?？梢岳?，通過(guò)假設(shè)沿第二方向的在來(lái)自場(chǎng)景的線上的源點(diǎn)、確定從該源點(diǎn)到在2D圖像平面中的各自位置處可見(jiàn)的各自3D點(diǎn)的線并且使用這些線的方向作為推導(dǎo)的方向，來(lái)確定推導(dǎo)的方向。通常，角度數(shù)據(jù)指示角度，從而能夠從角度數(shù)據(jù)確定角度，而不需要了解光學(xué)表面特性。
[0025]在第五步驟25中，處理器14將2D臉部位置檢測(cè)算法應(yīng)用于角度數(shù)據(jù)。使用通過(guò)在正常2D照相機(jī)圖像(示出光強(qiáng)度)上進(jìn)行訓(xùn)練而已經(jīng)選定的檢測(cè)器矩形的組合，可以使用常規(guī)算法，例如由Viola等人描述的算法。可以使用檢測(cè)器矩形的標(biāo)準(zhǔn)組合，所述檢測(cè)器矩形的標(biāo)準(zhǔn)組合通過(guò)利用2D照相機(jī)圖像訓(xùn)練檢測(cè)算法是可用的。簡(jiǎn)言之，2D臉部位置檢測(cè)算法可以包括在圖像中的檢測(cè)器矩形的預(yù)定集合中確定針對(duì)每個(gè)檢測(cè)器矩形的角度數(shù)據(jù)的各自總和。可以通過(guò)遞增地確定針對(duì)各自像素位置的連續(xù)參考總和來(lái)計(jì)算各自總和，針對(duì)每個(gè)像素位置的參考總和是在具有該像素位置和作為斜對(duì)角的圖像的一角的矩形中的像素值的總和。確定參考總和之后，選擇用于檢測(cè)器矩形的角(LL=左下等到UR=右上)的參考總和值V (LU、V (LR)、V (UL), V (UR)并且減去針對(duì)檢測(cè)器矩形的各對(duì)兒斜對(duì)角的參考總和值。盡管針對(duì)矩形已經(jīng)給出范例，應(yīng)當(dāng)認(rèn)識(shí)到，通過(guò)使用針對(duì)從像素位置到具有不同形狀的圖像的角的其他形狀的參考總和，類(lèi)似的技術(shù)能夠應(yīng)用于其他形狀的區(qū)域，諸如，平行四邊形。之后，處理器14可以將針對(duì)檢測(cè)器三角形的總和與(可以通過(guò)學(xué)習(xí)已經(jīng)獲得的)各自預(yù)定閾值進(jìn)行比較，并且組合比較的結(jié)果，以形成檢測(cè)結(jié)果。檢測(cè)結(jié)果指示在圖像中所檢測(cè)的臉部的至少2D中心像素位置，如果有的話。
[0026]可以針對(duì)第二方向的不同選擇重復(fù)第三到第五步驟23-25。在第六步驟26中，處理器14確定是否已經(jīng)選擇預(yù)定數(shù)量的第二方向。如果沒(méi)有，則處理器14針對(duì)新的第二方向從第三步驟23重復(fù)。當(dāng)針對(duì)預(yù)定數(shù)量的第二方向已經(jīng)執(zhí)行了步驟時(shí)，處理器14進(jìn)行到第七步驟27。
[0027]在第七步驟27中，處理器14組合針對(duì)不同的第二方向獲得的結(jié)果?？梢酝ㄟ^(guò)結(jié)果的融合來(lái)實(shí)現(xiàn)所述組合。在實(shí)施例中，融合可以涉及確定針對(duì)不同的第二方向確定的2D中心像素位置的中值以及使用所述中值作為融合的檢測(cè)結(jié)果?；蛘?，任選地在移除異常值之后，可以計(jì)算平均。用于融合針對(duì)相同的測(cè)量的參數(shù)的多個(gè)結(jié)果的這些和其他技術(shù)本身是已知的。在這種情況下，檢測(cè)結(jié)果的組合產(chǎn)生標(biāo)稱(chēng)像素位置，或?qū)⒍鄠€(gè)2D位置和矩形尺寸進(jìn)行組組合的類(lèi)似結(jié)果，所述標(biāo)稱(chēng)像素位置是中值或平均的像素位置。接著，處理器14確定與標(biāo)稱(chēng)像素位置相關(guān)聯(lián)的3D位置。在另一實(shí)施例中，針對(duì)具有不同的各個(gè)第二方向的2D圖像，可以確定各自3D位置，并且各自3D位置可以用于確定標(biāo)稱(chēng)3D位置。第三步驟27的組合還可以包括聚類(lèi)。諸如k-均值算法的聚類(lèi)技術(shù)本身是已知的，并且可以涉及為各自聚類(lèi)確定多個(gè)標(biāo)稱(chēng)臉部位置、將每個(gè)所檢測(cè)的臉部位置分配到具有最接近的標(biāo)稱(chēng)臉部位置的聚類(lèi)中并且將已經(jīng)分配到相同聚類(lèi)的檢測(cè)的臉部位置進(jìn)行融合以產(chǎn)生組合結(jié)果。
[0028]在借助圖2的流程圖描述的方法中，優(yōu)選地確定3D臉部位置，而不在2D位置確定中使用(依賴(lài)光強(qiáng)度和對(duì)象反射率的)常規(guī)圖像信息。3D表面模型可以是僅定義空間位置和方向向量的純粹的幾何模型。3D模型中的方向向量可以是測(cè)量的結(jié)果，或者它們可以通過(guò)插值來(lái)定義。如果3D模型包含光學(xué)反射率信息(例如，反射系數(shù)，其能夠作為漫反射或者甚至鏡面光反射的波長(zhǎng)的函數(shù))，則可以在針對(duì)2D臉部位置檢測(cè)的2D圖像的生成中忽略該信息。
[0029]當(dāng)然，光強(qiáng)度和對(duì)象反射率可以在利用結(jié)構(gòu)光進(jìn)行照射期間在形成照相機(jī)圖像中起作用，但在第二到第四步驟22-24中使用的3D表面模型中丟失了該信息，在這些步驟中僅使用幾何信息。避免使用這樣的常規(guī)圖像信息使臉部位置檢測(cè)更加獨(dú)立于個(gè)體臉部之間的差異，諸如臉部色彩。對(duì)比臉部識(shí)別，個(gè)體性的抑制對(duì)于臉部位置檢測(cè)是有利的。同時(shí)，使用角度數(shù)據(jù)的圖像使得可以使用常規(guī)2D臉部位置檢測(cè)算法，而不需要廣泛學(xué)習(xí)，并且使用多個(gè)第二方向使所述方法魯棒地防止臉部旋轉(zhuǎn)的效應(yīng)。
[0030]處理器14被配置為例如在計(jì)算機(jī)程序的控制下或者通過(guò)使用被設(shè)計(jì)為執(zhí)行步驟的電子電路或者通過(guò)使用執(zhí)行步驟的各自部分的計(jì)算機(jī)程序和電路的混合體來(lái)執(zhí)行所描述的步驟。
[0031]盡管已經(jīng)描述了實(shí)施例，其中，針對(duì)多個(gè)第一和/或第二方向的多幅2D圖像被生成，并且將被用于臉部位置檢測(cè)，應(yīng)當(dāng)認(rèn)識(shí)到，來(lái)自針對(duì)特定第一和第二方向的各個(gè)2D圖像的臉部位置檢測(cè)可以是足夠的。在這種情況下，能夠借助關(guān)于3D表面模型點(diǎn)的信息(所述信息是對(duì)于所檢測(cè)的2D臉部位置的圖像)，將所檢測(cè)的2D臉部位置轉(zhuǎn)換為3D位置。使用多個(gè)虛擬照明方向使所述方法魯棒地防止對(duì)虛擬照明方向的依賴(lài)性。
[0032]圖3示出了處理器14的架構(gòu)的實(shí)施例，其包括3D表面模型生成器30、2D圖像生成器32、2D臉部位置檢測(cè)器34、數(shù)據(jù)組合器36、2D-3D轉(zhuǎn)換器38和控制模塊39。3D表面模型生成器30具有用于從照相機(jī)(未示出)接收2D圖像數(shù)據(jù)的輸入端和用于提供3D表面模型數(shù)據(jù)的輸出端。2D圖像生成器32具有耦合到3D表面模型生成器30的輸出端的輸入端，以及用于輸出2D角度數(shù)據(jù)圖像和3D坐標(biāo)(或深度數(shù)據(jù))的2D圖像的輸出端。2D臉部位置檢測(cè)器34具有耦合到針對(duì)2D角度數(shù)據(jù)圖像的輸出端的輸入端。示出了實(shí)施例，其中，2D臉部位置檢測(cè)器34包括總和器340、比較器342和串聯(lián)耦合的組合模塊344。
[0033]2D臉部位置檢測(cè)器34具有用于輸出表示檢測(cè)結(jié)果的信息的輸出端，所述2D臉部位置檢測(cè)器34包括在其輸入圖像中指示所檢測(cè)的臉部位置和/或臉部區(qū)域的信息。數(shù)據(jù)組合器36具有用于接收指示所檢測(cè)的臉部位置和/或臉部區(qū)域的信息的輸入端，以及用于輸出指示標(biāo)稱(chēng)位置和/或區(qū)域的輸出端。數(shù)據(jù)組合器36可以是數(shù)據(jù)融合器。如在本文中所使用的，融合是組合關(guān)于相同參數(shù)的不同數(shù)據(jù)以確定參數(shù)值的任何操作，例如，包括對(duì)所檢測(cè)的臉部位置和/或臉部區(qū)域的位置求平均(如在本文中所使用的，廣義地使用平均，包括均值、中值或在移除異常值之后獲得的均值)。數(shù)據(jù)組合器是模塊，例如，以這種方式組合數(shù)據(jù)的程序模塊。在使用單個(gè)第一和第二方向的實(shí)施例中，可以省略數(shù)據(jù)組合器36。
[0034]2D-3D轉(zhuǎn)換器具有輸入端，所述輸入端耦合到用于輸出指示平均的所檢測(cè)的臉部位置和/或臉部區(qū)域的信息的輸出端，并且耦合到用于輸出3D坐標(biāo)(或深度數(shù)據(jù))的2D圖像的2D圖像生成器32的輸出端。控制模塊39耦合到3D表面模型生成器30、2D圖像生成器32、2D臉部位置檢測(cè)器34、平均模塊36和2D-3D轉(zhuǎn)換器?？刂颇K39被配置為使2D圖像生成器32生成針對(duì)來(lái)自相同3D表面模型的多個(gè)角度的圖像，并且被配置為使平均模塊36對(duì)針對(duì)多個(gè)角度的2D臉部檢測(cè)結(jié)果求平均(S卩，均值或中值)。如所解釋的，該架構(gòu)的各種元件可以是由可編程處理器或電子電路或其組合來(lái)執(zhí)行的軟件模塊。所述元件執(zhí)行圖2的流程圖的步驟:控制模塊39可以執(zhí)行第一、第三和第六步驟21、23、26，20圖像生成器32可以執(zhí)行第二和第四步驟22、24，2D臉部位置檢測(cè)器34可以執(zhí)行第五步驟25，并且數(shù)據(jù)組合器36可以執(zhí)行第七步驟27。并不是所有的步驟都需要在相同設(shè)備中執(zhí)行。例如，可以在2D圖像捕獲期間在一個(gè)設(shè)備中在線執(zhí)行3D表面模型生成器30，并且之后將3D表面模型生成器30從該設(shè)備提供給包含圖3的其他元件另一設(shè)備，以于離線處理。
[0035]在實(shí)施例中，可以多個(gè)不同的選定的第一方向重復(fù)第一到第七步驟21-27。以這種方式，確定與針對(duì)不同的第二方向的標(biāo)稱(chēng)像素位置相關(guān)聯(lián)的多個(gè)3D位置。通過(guò)這些3D位置，可以確定標(biāo)稱(chēng)3D位置(例如，針對(duì)不同的第一方向的3D位置的中值或平均)。在實(shí)施例中，針對(duì)圖像位置中的每個(gè)，可以使用相同的第一方向，從而模擬無(wú)窮遠(yuǎn)處的虛擬照相機(jī)?；蛘?，可以使用從第一方向推導(dǎo)的衍生第一方向。例如可以通過(guò)假設(shè)沿第一方向的來(lái)自場(chǎng)景的線上的觀察點(diǎn)、確定從該觀察點(diǎn)穿過(guò)成像平面中的2D位置的線并且使用那些線與建模的3D表面的交叉點(diǎn)作為表面點(diǎn),來(lái)確定推導(dǎo)的方向。
[0036]當(dāng)通過(guò)針對(duì)利用相同的第二方向獲得的多幅2D圖像的標(biāo)稱(chēng)的所檢測(cè)的臉部位置來(lái)確定3D位置時(shí)，可以在確定與標(biāo)稱(chēng)的2D表面位置相關(guān)聯(lián)的3D表面位置之前，在2D中確定該標(biāo)稱(chēng)的所檢測(cè)的臉部位置。當(dāng)通過(guò)針對(duì)各幅2D圖像的臉部位置檢測(cè)來(lái)確定3D位置并且隨后在3D中確定標(biāo)稱(chēng)位置時(shí)，沒(méi)有必要具有利用相同的第二方向獲得的2D圖像集合:可以組合第一步驟21和第三步驟23，從而以任何方式選擇第一和第二方向的對(duì)兒。
[0037]在實(shí)施例中，可以在第五步驟25中使用2D臉部位置檢測(cè)算法，所述2D臉部位置檢測(cè)算法以已經(jīng)檢測(cè)到臉部的2D圖像區(qū)域的指示的形式輸出所檢測(cè)的臉部位置。2D圖像區(qū)域的指示可以指示例如具有在所檢測(cè)的臉部的上、下、左和右側(cè)的邊緣的矩形。在該實(shí)施例中，處理器14可以被配置為使用矩形的中心點(diǎn)作為所檢測(cè)的臉部位置。這些中的每個(gè)可以用作單個(gè)所檢測(cè)的臉部位置。
[0038]另外，處理器14可以被配置為使用2D圖像區(qū)域的指示，來(lái)確定已經(jīng)檢測(cè)到臉部的3D表面區(qū)域，例如，從與所指示的2D圖像區(qū)域內(nèi)的像素位置相關(guān)聯(lián)的3D坐標(biāo)，或者從與沿所指示的2D圖像區(qū)域的邊界的像素位置相關(guān)聯(lián)的3D坐標(biāo)。在實(shí)施例中，處理器14被配置為從利用各自第二方向獲得的所指示的2D圖像區(qū)域來(lái)確定針對(duì)所檢測(cè)的臉部的標(biāo)稱(chēng)2D圖像區(qū)域，例如，通過(guò)確定矩形區(qū)域邊緣的位置的中值或平均值，或者通過(guò)對(duì)從標(biāo)稱(chēng)中心位置到邊界的距離取中值或平均。
[0039]另外的步驟可以跟隨所描述的步驟，以確定臉部的取向、邊界和/或尺寸。處理器14可以被配置為在其他步驟中使用3D臉部位置，以確定搜索區(qū)域，以執(zhí)行對(duì)諸如鼻子、嘴和眼睛的臉部特征的位置的搜索。這樣的特征的位置可以用于確定臉部取向和/或尺寸。
[0040]盡管在附圖和前述說(shuō)明中詳細(xì)說(shuō)明并描述了示范性實(shí)施例，但是這樣的說(shuō)明和描述應(yīng)當(dāng)被認(rèn)為是說(shuō)明性或者示范性而不是限制性的；本發(fā)明不限于所公開(kāi)的實(shí)施例。
[0041]盡管已經(jīng)示出了實(shí)施例，其中，結(jié)構(gòu)光用于獲得3D表面模型，應(yīng)當(dāng)認(rèn)識(shí)到，其他的技術(shù)可以用于獲得這樣的模型。例如，可以使用立體技術(shù)，其中，使用來(lái)自不同位置處的多個(gè)照相機(jī)的圖像，或者可以使用SLAM技術(shù)，其中，使用來(lái)自相同的移動(dòng)照相機(jī)的多幅圖像，以推導(dǎo)3D表面模型?？梢允褂蒙疃瘸上裾障鄼C(jī)(范圍照相機(jī))，其被配置為如果多個(gè)方向?qū)?yīng)于各自像素則基于“飛行時(shí)間”測(cè)量來(lái)形成圖像?？梢允褂梅枪鈱W(xué)技術(shù)，例如核磁成像、超聲回波攝影、X-射線斷層攝影，以作為備選。當(dāng)使用體積技術(shù)時(shí)，可以使用產(chǎn)生的體積模型，以推導(dǎo)3D表面模型。在從2D照相機(jī)圖像推導(dǎo)3D表面模型的實(shí)施例中，選擇等于2D照相機(jī)圖像中的一幅或多幅的觀察方向的第一方向。在這種情況中，替代從相同觀察方向觀察的光強(qiáng)度的原始2D照相機(jī)圖像，或除了從相同觀察方向觀察的光強(qiáng)度的原始2D照相機(jī)圖像以外，使用具有由3D表面模型定義的法線的角度來(lái)生成針對(duì)臉部位置檢測(cè)的圖像。
[0042]可以在存儲(chǔ)設(shè)備(例如，磁盤(pán)或半導(dǎo)體存儲(chǔ)器)中存儲(chǔ)3D表面模型，從所述存儲(chǔ)設(shè)備中可以讀取所述3D表面模型，以便獲得所述3D表面模型，以用于所描述的臉部位置檢測(cè)?；蛘撸?dāng)執(zhí)行臉部位置檢測(cè)時(shí)，可以從測(cè)量結(jié)果直接獲得3D表面模型，或者當(dāng)執(zhí)行臉部位置檢測(cè)時(shí)，可以通過(guò)從2D圖像或體積模型推導(dǎo)3D表面模型來(lái)獲得所述3D表面模型。
[0043]根據(jù)所期望的應(yīng)用，可以以不同方式使用產(chǎn)生的所檢測(cè)的3D臉部位置。例如，其可以用于執(zhí)行臉部識(shí)別算法，以從3D表面模型驗(yàn)證或找到人的身份。作為另一范例，其可以作為輸入，以進(jìn)一步處理3D表面模型，例如，確定待擬合到臉部的掩模的形狀，以及從預(yù)定的掩模集合中選擇合適的掩模，或者控制這種掩模的制造。作為另一范例，其可以用于控制對(duì)諸如匪I圖像的體積數(shù)據(jù)的處理，例如，針對(duì)獲得哪些測(cè)量結(jié)果，控制體積模型中的3D區(qū)域的位置。
[0044]通過(guò)研究附圖、說(shuō)明書(shū)和權(quán)利要求書(shū)，本領(lǐng)域的技術(shù)人員在實(shí)施所主張保護(hù)的發(fā)明時(shí)，能夠理解并且影響對(duì)所公開(kāi)實(shí)施例的其他變型。在權(quán)利要求中，“包括”一詞不排除其他元件或步驟，并且量詞“一”或“一個(gè)”不排除多個(gè)。單個(gè)處理器或其他單元可以實(shí)現(xiàn)在權(quán)利要求中記載的若干項(xiàng)目的功能。在相互不同的從屬權(quán)利要求中記載特定措施并不指示不能有利地使用這些措施的組合。計(jì)算機(jī)程序可以存儲(chǔ)/分布在合適介質(zhì)上，所述合適介質(zhì)例如為與其他硬件一起提供或者作為其他硬件的一部分提供的光學(xué)存儲(chǔ)器介質(zhì)或者固態(tài)介質(zhì)，但是計(jì)算機(jī)程序也可以以其他形式分布，例如經(jīng)由因特網(wǎng)或者其他有線或無(wú)線的遠(yuǎn)程通信系統(tǒng)。權(quán)利要求書(shū)中的任何附圖標(biāo)記不得被解釋為對(duì)范圍的限制。
【權(quán)利要求】
1.一種檢測(cè)臉部位置的圖像處理方法，所述方法包括: -從場(chǎng)景的測(cè)量結(jié)果獲得3D表面模型； -從所述3D表面模型生成(24)角度數(shù)據(jù)的2D圖像，所述2D圖像表示角度數(shù)據(jù)，針對(duì)所述2D圖像中的每個(gè)各自的圖像點(diǎn)的角度數(shù)據(jù)是根據(jù)從虛擬照明方向?qū)С龅娜肷浞较蚺c在3D表面上的在所述2D圖像中的所述圖像點(diǎn)處看得到的點(diǎn)處的所述3D表面的法線之間的角度而選擇的； -將2D臉部位置算法應(yīng)用(25)于所述2D圖像。
2.根據(jù)權(quán)利要求1所述的方法，包括: -從所述3D表面模型生成(24)多幅各自的2D圖像，每幅所述各自的2D圖像針對(duì)各自的虛擬照明方向； -將所述2D臉部位置算法應(yīng)用(25)于所述各自的2D圖像中的每幅； -組合(27)從所述各自的2D圖像檢測(cè)的臉部位置。
3.根據(jù)權(quán)利要求 2所述的方法，包括針對(duì)所述各自的虛擬照明方向的相同觀察方向來(lái)生成多幅所述各自的2D圖像。
4.根據(jù)權(quán)利要求3所述的方法，包括從包括針對(duì)多個(gè)相互不同的各自的虛擬照明方向的各自的2D圖像的每個(gè)多幅所述各自的2D圖像來(lái)生成各自的多個(gè)多幅所述各自的2D圖像，每個(gè)多幅所述各自的2D圖像來(lái)自不同的觀察方向。
5.根據(jù)權(quán)利要求3所述的方法，包括確定針對(duì)所述多幅各自的2D圖像的平均的檢測(cè)的2D位置，并且根據(jù)所述3D表面模型確定與所述平均的檢測(cè)的2D位置相關(guān)聯(lián)的3D表面位置。
6.根據(jù)權(quán)利要求1所述的方法，其中，應(yīng)用(25)所述2D臉部位置算法包括確定在圖像中的各自區(qū)域上的角度的多個(gè)總和、將所述總和與閾值進(jìn)行比較并且組合所述比較的結(jié)果O
7.根據(jù)權(quán)利要求2所述的方法，包括根據(jù)所述3D表面模型確定與各自的檢測(cè)的2D臉部位置相關(guān)聯(lián)的各自的3D表面位置，并且確定所述各自的3D表面位置的平均。
8.根據(jù)權(quán)利要求1所述的方法，其中，使用來(lái)自從所述場(chǎng)景接收的光的一幅或多幅另外的2D圖像的信息，獲得所述3D表面模型。
9.根據(jù)權(quán)利要求8所述的方法，包括借助結(jié)構(gòu)光對(duì)所述場(chǎng)景進(jìn)行照明。
10.根據(jù)權(quán)利要求8所述的方法，其中，針對(duì)與從所述場(chǎng)景接收的光的所述一幅或多幅另外的2D圖像的觀察方向相對(duì)應(yīng)的觀察方向，生成所述各自的2D圖像。
11.根據(jù)權(quán)利要求8所述的方法，其中，如果有與所述3D表面上的所述點(diǎn)相關(guān)聯(lián)的光反射特性，獨(dú)立于所述光反射特性生成所述各自的2D圖像。
12.根據(jù)權(quán)利要求1所述的方法，包括使用所述3D表面模型和由所述2D臉部位置算法檢測(cè)的臉部位置，來(lái)確定在所述3D表面上的在所檢測(cè)的臉部位置處可見(jiàn)的點(diǎn)的3D位置。
13.一種計(jì)算機(jī)程序產(chǎn)品，包括用于可編程處理器的指令的程序，所述指令的程序在由所述可編程處理器執(zhí)行時(shí)，令所述可編程處理器執(zhí)行如前述權(quán)利要求中任一項(xiàng)所述的方法。
14.一種圖像處理系統(tǒng)，所述系統(tǒng)包括: -2D圖像生成器(32)，其被配置為從針對(duì)場(chǎng)景獲得的3D表面模型生成2D圖像，所述2D圖像表示角度數(shù)據(jù)，針對(duì)所述2D圖像中的每個(gè)各自的圖像點(diǎn)的角度數(shù)據(jù)是根據(jù)從虛擬照明方向?qū)С龅娜肷浞较蚺c在3D表面上的在所述圖像中的所述圖像點(diǎn)處看得到的點(diǎn)處的所述3D表面的法線之間的角度而選擇的； -2D臉部位置檢測(cè)器(34)，其被配置為將2D臉部位置檢測(cè)算法應(yīng)用于所述各自的2D圖像中的每幅。
15.根據(jù)權(quán)利要求14所述的圖像處理系統(tǒng)，其中，所述2D圖像生成器(32)被配置為從所述3D表面模型生成多幅各自的2D圖像，每幅各自的2D圖像針對(duì)各自的虛擬照明方向，所述圖像處理系統(tǒng)包括數(shù)據(jù)組合器，所述數(shù)據(jù)組合器被配置為組合由2D臉部位置檢測(cè)器從所述多幅各自的2D圖像檢測(cè)的臉部位置檢測(cè)結(jié)果。
16.根據(jù)權(quán)利要求14所述的圖像處理系統(tǒng)，包括照相機(jī)和3D模型生成器(3)，所述3D模型生成器被配置為使用來(lái)自`所述照相機(jī)的圖像數(shù)據(jù)生成所述3D表面模型。
【文檔編號(hào)】G06K9/00GK103562934SQ201280025930
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2012年4月23日 優(yōu)先權(quán)日:2011年4月28日
【發(fā)明者】K·C·范布雷, R·弗盧特爾斯, D·N·茲納緬斯基 申請(qǐng)人:皇家飛利浦有限公司