專利名稱：個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種試妝信息數(shù)據(jù)處理方法及裝置，尤其是涉及一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法及裝置。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的發(fā)展與普及，電子商務(wù)網(wǎng)站日益成為商品銷售的重要渠道，網(wǎng)上購(gòu)物的方式也日益為廣大網(wǎng)民接受。然而，與個(gè)人形象息息相關(guān)的商品，需要用戶親身體驗(yàn)才能做出購(gòu)買決定的商品如化妝品、服裝等依然需要技術(shù)對(duì)在線體驗(yàn)的支持。在此需求下，近年來(lái)，各種在線體驗(yàn)式電子商務(wù)網(wǎng)站層出不窮，而此類技術(shù)成功的關(guān)鍵在于對(duì)用戶體驗(yàn)過(guò)程模擬的逼真度。虛擬形象體驗(yàn)的感覺(jué)是否真實(shí)，首要的關(guān)鍵點(diǎn)在于形象是否是自己的形象。用模特的形象體驗(yàn)效果不能滿足用戶的需求，用戶需要知道自己試用以后的效果。現(xiàn)有技術(shù)中，有能捕捉人臉動(dòng)態(tài)圖像進(jìn)行化妝模擬的技術(shù)(比如，可參照日本專利申請(qǐng)公開(kāi)“特開(kāi)2003-44837”和中國(guó)專利申請(qǐng)公開(kāi)“CN 101371272A”)。但是，這些方法是對(duì)動(dòng)態(tài)圖像中的每一楨做人臉特征追蹤，計(jì)算量大，多以終端機(jī)或終端軟件形式應(yīng)用，無(wú)法以B/S軟件形式應(yīng)用于網(wǎng)絡(luò)終端，應(yīng)用范圍有限。而且在終端應(yīng)用中用戶實(shí)時(shí)拍攝時(shí)一旦離開(kāi)攝像頭區(qū)域或者姿勢(shì)不夠正面就會(huì)失效。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種促進(jìn)產(chǎn)業(yè)發(fā)展、 可應(yīng)用于網(wǎng)絡(luò)終端、應(yīng)用范圍更廣、體驗(yàn)更加真實(shí)、同時(shí)不受時(shí)間、地點(diǎn)和終端條件限制的個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法及裝置。本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)—種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法，其特征在于，包括以下步驟1)客戶端獲取用戶照片信息，并將其傳輸給服務(wù)器；2)服務(wù)器中的人臉特征定位單元對(duì)用戶照片信息檢測(cè)人臉位置，并判斷是否檢測(cè)成功，若為是，執(zhí)行步驟3)，若為否返回步驟1)；3)服務(wù)器中的人臉特征定位單元采用可變形狀模型(ASM)檢測(cè)算法來(lái)定位并提取人臉特征點(diǎn)信息；4)服務(wù)器中的3D形象重建單元采用基于三維人臉特征數(shù)據(jù)庫(kù)計(jì)算三維特征點(diǎn)， 并采用基于標(biāo)準(zhǔn)模型的曲面變形算法建立三維人臉模型；5)服務(wù)器將照片作為紋理映射到三維人臉模型中；6)客戶端通過(guò)flash來(lái)渲染3D模型，并通過(guò)模型形變方法來(lái)驅(qū)動(dòng)3D模型模擬真人動(dòng)作，通過(guò)客戶端的顯示單元來(lái)輸出真人模擬形象信息；7)用戶在客戶端選擇化妝物品，服務(wù)器中的化妝處理單元根據(jù)選擇的化妝物品信息和人臉特征點(diǎn)的位置信息，將化妝物品準(zhǔn)確疊加到模型紋理圖片上，更新3D形象渲染，并通過(guò)顯示單元顯示處理后的3D形象信息。所述的步驟幻中的可變形狀模型(ASM)檢測(cè)算法如下31)模型初始定位對(duì)于人臉圖像，采用人臉檢測(cè)算法來(lái)確定照片中是否有人臉以及人臉的位置，根據(jù)得到的初始位置并通過(guò)角度θ旋轉(zhuǎn)、尺度s縮放以及位置t的平移將平均形狀模型放到照片中，得到初始的形狀
權(quán)利要求
1.一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法，其特征在于，包括以下步驟1)客戶端獲取用戶照片信息，并將其傳輸給服務(wù)器；2)服務(wù)器中的人臉特征定位單元對(duì)用戶照片信息檢測(cè)人臉位置，并判斷是否檢測(cè)成功，若為是，執(zhí)行步驟3)，若為否返回步驟1)；3)服務(wù)器中的人臉特征定位單元采用可變形狀模型(ASM)檢測(cè)算法來(lái)定位并提取人臉特征點(diǎn)信息；4)服務(wù)器中的3D形象重建單元采用基于三維人臉特征數(shù)據(jù)庫(kù)計(jì)算三維特征點(diǎn)，并采用基于標(biāo)準(zhǔn)模型的曲面變形算法建立三維人臉模型；5)服務(wù)器將照片作為紋理映射到三維人臉模型中；6)客戶端通過(guò)flash來(lái)渲染3D模型，并通過(guò)模型形變方法來(lái)驅(qū)動(dòng)3D模型模擬真人動(dòng)作，通過(guò)客戶端的顯示單元來(lái)輸出真人模擬形象信息；7)用戶在客戶端選擇化妝物品，服務(wù)器中的化妝處理單元根據(jù)選擇的化妝物品信息和人臉特征點(diǎn)的位置信息，將化妝物品準(zhǔn)確疊加到模型紋理圖片上，更新3D形象渲染，并通過(guò)顯示單元顯示處理后的3D形象信息。
2.根據(jù)權(quán)利要求1所述的一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法，其特征在于，所述的步驟3)中的可變形狀模型(ASM)檢測(cè)算法如下31)模型初始定位對(duì)于人臉圖像，采用人臉檢測(cè)算法來(lái)確定照片中是否有人臉以及人臉的位置，根據(jù)得到的初始位置并通過(guò)角度θ旋轉(zhuǎn)、尺度s縮放以及位置t的平移將平均形狀模型放到照片中，得到初始的形狀X = M(s,0)X + tX2' = M(0,s)[X2] + t =32)特征點(diǎn)法線方向上搜索 利用訓(xùn)練得到的局部灰度模型，對(duì)每-X20y2oΧ20Χ2(η~])~y2(n-\)少 2(/7-1)Χ2(η-\)1 0 0 11 00 1\S COS θssine txJlnxAS _-個(gè)特征點(diǎn)使其沿法線方向在一定范圍內(nèi)進(jìn)行搜索，在該范圍內(nèi)的每一個(gè)點(diǎn)計(jì)算其規(guī)格化灰度導(dǎo)數(shù)向量與訓(xùn)練得到該點(diǎn)的平均規(guī)格化灰度導(dǎo)數(shù)向量的馬氏距離，從中選取距離最小的候選點(diǎn)作為最佳匹配點(diǎn)，對(duì)模型的每一個(gè)特征點(diǎn)都進(jìn)行最佳匹配點(diǎn)的搜索，得到了一個(gè)新的形狀向量X'；33)用形狀模型對(duì)進(jìn)行近似表達(dá)，由于每個(gè)特征點(diǎn)搜索后得到的形狀無(wú)法在新的正交基下直接表示，只能得到最小誤差意義上的近似表示，將X向X'作對(duì)齊運(yùn)算得到仿射變換的四個(gè)參數(shù)(1+ds，d θ，dtx, dty)，進(jìn)一步得到形狀參數(shù)的變化值db = PtPPt (M(0(1 + ds)Yl，-(θ + d0))[M{s, Θ)[Χ] + dX-dt]-X)34)形狀合理性的約束，形狀參數(shù)bi的變化范圍應(yīng)在±3^范圍內(nèi)才能具有較合理的性質(zhì)，因此要對(duì)b+db進(jìn)行判斷，對(duì)于不在該范圍的bi將其變換到范圍內(nèi)，利用最終得到的形狀參數(shù)b+db計(jì)算出重構(gòu)的形狀；35)重復(fù)32) 34)的步驟進(jìn)行循環(huán)，當(dāng)兩次相鄰循環(huán)的形狀向量的歐式距離小于等于設(shè)定的閾值時(shí)，認(rèn)為其收斂，迭代結(jié)束。
3.根據(jù)權(quán)利要求1所述的一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法，其特征在于，所述的步驟3)中的人臉特征點(diǎn)信息包括人臉輪廓點(diǎn)信息、眼睛輪廓點(diǎn)信息、鼻子輪廓點(diǎn)信息、嘴巴輪廓點(diǎn)信息、眉毛輪廓點(diǎn)信息。
4.根據(jù)權(quán)利要求1所述的一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法，其特征在于，所述的步驟4)中的基于標(biāo)準(zhǔn)模型的曲面變形算法如下經(jīng)過(guò)步驟3)的處理，獲得一般人臉模型的三維特征點(diǎn)Smf和照片人臉的三維特征點(diǎn) Sobj,通過(guò)它們的對(duì)應(yīng)關(guān)系將一般人臉模型Sm。-彈性變形為特定人臉模型，選擇薄板樣條插值算法(TPS)，該算法是一種徑向基插值函數(shù)，TPS的基函數(shù)為U(r) =r2logr2，其中r = ||Pi-(x，y，z) ||，(x, y, z)為待插值點(diǎn)的三維坐標(biāo)，Pi為特征點(diǎn)，根據(jù)Smf與S。w的對(duì)應(yīng)關(guān)系，計(jì)算出徑向基插值函數(shù)的系數(shù)，得到TPS 插值函數(shù)為
5.根據(jù)權(quán)利要求1所述的一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法，其特征在于，所述的步驟6)中的模型形變方法具體如下基于面部運(yùn)動(dòng)編碼系統(tǒng)FACS設(shè)立44個(gè)基本動(dòng)作單元，每個(gè)基本動(dòng)作單元控制一個(gè)或幾個(gè)人臉特征點(diǎn)在三維空間的位移，將不同的基本動(dòng)作單元組合，產(chǎn)生各種表情，并使用 TPS對(duì)三維特征點(diǎn)進(jìn)行插值變形，實(shí)現(xiàn)表情變化。
6.根據(jù)權(quán)利要求1所述的一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法，其特征在于，所述的步驟7)中的化妝物品包括眼鏡、發(fā)型、首飾、化妝品，所述的眼鏡、發(fā)型、首飾的圖片加載后根據(jù)人臉特征點(diǎn)的位置直接疊加到模型紋理圖片上，所述的化妝品按照影響區(qū)域和顏色合成顏色圖層后根據(jù)人臉特征點(diǎn)的位置疊加到模型紋理圖片上。
7.一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理裝置，其特征在于，包括客戶端、服務(wù)器、 通信網(wǎng)絡(luò)，所述的客戶端包括互聯(lián)網(wǎng)終端、移動(dòng)終端、零售終端，并且均設(shè)有顯示單元，所述的服務(wù)器包括人臉特征定位單元、3D形象重建單元、化妝處理單元、三維人臉特征數(shù)據(jù)庫(kù)、 化妝物品數(shù)據(jù)庫(kù)，所述的客戶端通過(guò)通信網(wǎng)絡(luò)與服務(wù)器連接，所述的人臉特征定位單元、3D 形象重建單元、化妝處理單元依次連接，所述的3D形象重建單元與三維人臉特征數(shù)據(jù)庫(kù)連接，所述的化妝處理單元與化妝物品數(shù)據(jù)庫(kù)連接。
8.根據(jù)權(quán)利要求7所述的一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理裝置，其特征在于，所述的通信網(wǎng)絡(luò)為internet、通信總線或無(wú)線網(wǎng)絡(luò)。
全文摘要
本發(fā)明涉及一種個(gè)人三維形象互動(dòng)試妝信息數(shù)據(jù)處理方法及裝置，包括客戶端、服務(wù)器、通信網(wǎng)絡(luò)，所述的客戶端包括互聯(lián)網(wǎng)終端、移動(dòng)終端、零售終端，并均設(shè)有顯示單元，所述的服務(wù)器包括人臉特征定位單元、3D形象重建單元、化妝處理單元、三維人臉特征數(shù)據(jù)庫(kù)、化妝物品數(shù)據(jù)庫(kù)，所述的客戶端通過(guò)通信網(wǎng)絡(luò)與服務(wù)器連接，本裝置工作流程包括1)客戶端獲取用戶照片信息，并將其傳輸給服務(wù)器等7個(gè)步驟。與現(xiàn)有技術(shù)相比，本發(fā)明具有可同時(shí)在互聯(lián)網(wǎng)終端、移動(dòng)終端、零售終端觸摸屏實(shí)現(xiàn)跨媒體應(yīng)用服務(wù)、促進(jìn)產(chǎn)業(yè)更加智能化發(fā)展、應(yīng)用服務(wù)范圍更廣、個(gè)性化體驗(yàn)更加真實(shí)、不受時(shí)間、地點(diǎn)和終端條件的限制等優(yōu)點(diǎn)。
文檔編號(hào)G06T17/00GK102262788SQ20101018373
公開(kāi)日2011年11月30日 申請(qǐng)日期2010年5月24日 優(yōu)先權(quán)日2010年5月24日
發(fā)明者盧曉康, 涂意 申請(qǐng)人:上海一格信息科技有限公司