圖像處理方法、個(gè)性化人體顯示方法及其圖像處理系統(tǒng)的制作方法
【專利摘要】提供一種圖像處理方法、個(gè)性化人體顯示方法及其圖像處理系統(tǒng)。一種用于產(chǎn)生個(gè)性化人體模型的圖像處理方法包括：A）獲取包含人體對(duì)象的3D場(chǎng)景的深度圖；B）從獲取的深度圖提取人體對(duì)象的人體輪廓以及包括各個(gè)身體部位點(diǎn)的骨架模型；C）針對(duì)每個(gè)身體部位，根據(jù)獲取的深度圖計(jì)算所述身體部位在各個(gè)維度上的放縮比例；D）根據(jù)在步驟C）計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其在各個(gè)維度上的放縮比例對(duì)所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象的個(gè)性化人體模型。
【專利說(shuō)明】圖像處理方法、個(gè)性化人體顯示方法及其圖像處理系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及一種3D人體模型個(gè)性化技術(shù)，尤其涉及一種從包括人體對(duì)象的3D場(chǎng) 景的深度圖構(gòu)建所述人體對(duì)象的人性化模型的圖像處理方法、一種個(gè)性化人體顯示方法以 及使用所述方法的系統(tǒng)。

【背景技術(shù)】
[0002] 人體模型的個(gè)性化（personal human model)是一種新的人機(jī)交互技術(shù)，這種技術(shù) 可以使得用戶在增強(qiáng)現(xiàn)實(shí)（AR)中獲得更加逼真的用戶體驗(yàn)。在增強(qiáng)現(xiàn)實(shí)的場(chǎng)景中，系統(tǒng)構(gòu) 建一個(gè)虛擬的物理世界讓使用者置身其中，而使用者可以突破自己所處的空間和時(shí)間限制 獲得系統(tǒng)提供的任意體驗(yàn)，讓使用者感受到身臨其境的感覺(jué)。隨著增強(qiáng)現(xiàn)實(shí)應(yīng)用的不斷推 廣，許多應(yīng)用模式都需要獲得用戶精確的體型數(shù)據(jù)，用于實(shí)現(xiàn)場(chǎng)景中更加精細(xì)的交互體驗(yàn)。 而人體模型的個(gè)性化使得使用者在虛擬場(chǎng)景中獲得更加逼真的感覺(jué)，讓虛擬場(chǎng)景中的用戶 與現(xiàn)實(shí)中的用戶具有一樣的體型、動(dòng)作甚至表情，每個(gè)虛擬場(chǎng)景中的行為動(dòng)作都能實(shí)現(xiàn)與 現(xiàn)實(shí)中的動(dòng)作近乎一致的交互結(jié)果，更好地推廣增強(qiáng)現(xiàn)實(shí)的應(yīng)用范圍。
[0003] 人體模型的個(gè)性化在增強(qiáng)現(xiàn)實(shí)中是非常具有推廣需求的，如球類的運(yùn)動(dòng)、格斗類 游戲等，都需要獲取用戶的體格數(shù)據(jù)來(lái)形成對(duì)應(yīng)的交互信息。而在虛擬試衣的應(yīng)用模式中， 人體模型的個(gè)性化顯得尤為必須。虛擬試衣是使用了增強(qiáng)現(xiàn)實(shí)來(lái)實(shí)現(xiàn)的一種新的服飾消費(fèi) 者的購(gòu)買體驗(yàn)方式，它既可以保留線上購(gòu)買的方便快捷特點(diǎn)，又能實(shí)現(xiàn)線下購(gòu)買親身試穿 的完美商品體驗(yàn)。它通過(guò)一個(gè)利用增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)的虛擬試衣場(chǎng)景來(lái)把3D的服飾加載到用 戶身上，并通過(guò)體感操作形式來(lái)實(shí)現(xiàn)交互。而用戶個(gè)性化體型數(shù)據(jù)能使得虛擬的服飾更加 合身，以獲得更好的視覺(jué)效果和穿著體驗(yàn)。
[0004] 在增強(qiáng)現(xiàn)實(shí)中，個(gè)性化的人體模型可以使得用戶獲得更加精細(xì)準(zhǔn)確的交互體驗(yàn)， 使得在虛擬場(chǎng)景中的模型與用戶自身具有相同的體型體格等三維數(shù)據(jù)，如身高、臂長(zhǎng)、胸圍 等。如何在現(xiàn)實(shí)場(chǎng)景中估計(jì)出這些數(shù)據(jù)并在虛擬場(chǎng)景中換算成相應(yīng)合理的模型數(shù)據(jù)是個(gè)性 化人體模型的主要問(wèn)題。
[0005] 在用戶體型數(shù)據(jù)獲取中，專利W02012123346通過(guò)要求用戶擺出特定的姿勢(shì)，從而 拍出相應(yīng)的人體二維輪廓圖，在輪廓圖中定義不同部位的估計(jì)數(shù)據(jù)，利用這些數(shù)據(jù)來(lái)表示 人體的不同體型。專利US20110298897則通過(guò)一個(gè)立體的攝像頭陣列來(lái)掃描出一個(gè)三維度 量數(shù)據(jù)，從而完整獲取人體的整個(gè)體型。
[0006] 而在虛擬場(chǎng)景的模型構(gòu)建中，專利W02012123346和US20110298897都是通過(guò)預(yù)存 多個(gè)具有標(biāo)準(zhǔn)體型的人體模型來(lái)實(shí)現(xiàn)相應(yīng)用戶的模型個(gè)性化。將獲取的用戶體型數(shù)據(jù)與預(yù) 存儲(chǔ)的所有人體模型的體型數(shù)據(jù)進(jìn)行比較，提取出最近似的模型作為用戶模型，實(shí)現(xiàn)個(gè)性 化定制。專利US20030101105則避開(kāi)了用戶體型獲取的過(guò)程，在其描述的試衣系統(tǒng)中，當(dāng)用 戶選取了相應(yīng)的服飾時(shí)，系統(tǒng)將選取一個(gè)最適合此服飾的體型來(lái)用作用戶模型，從而實(shí)現(xiàn) 不同服飾的人體模型個(gè)性化。
[0007] 首先將現(xiàn)實(shí)場(chǎng)景中用戶的體型數(shù)據(jù)化，然后將虛擬場(chǎng)景中的人體模型參數(shù)化，并 建立兩組數(shù)據(jù)的一種一一對(duì)應(yīng)關(guān)系，這是實(shí)現(xiàn)一個(gè)完整的人體模型個(gè)性化過(guò)程的主要方 法。
[0008] 在人體模型的個(gè)性化過(guò)程中，上述的多種方法都具有相應(yīng)的局限性。專利 W02012123346通過(guò)人體的二維輪廓圖來(lái)獲取體型數(shù)據(jù)，這要求用戶能擺出特定的姿勢(shì)， 這附加的要求對(duì)交互體驗(yàn)的復(fù)雜性有所增加，而專利US20110298897采用立體攝像頭陣 列來(lái)獲取數(shù)據(jù)是一種非常繁瑣復(fù)雜的方法。在虛擬模型構(gòu)建中，專利W02012123346和 US20110298897都使用預(yù)存的特定模型，這種方法并沒(méi)有實(shí)現(xiàn)完全的用戶個(gè)性化，因?yàn)橄到y(tǒng) 存儲(chǔ)的模型是有限的。
[0009] 專利US20030101105則是針對(duì)特定的虛擬試衣系統(tǒng)的應(yīng)用而實(shí)現(xiàn)的個(gè)性化模型， 該個(gè)性化過(guò)程并沒(méi)有依據(jù)人的體型來(lái)實(shí)現(xiàn)，方法并不具備通用性。


【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的在于提供一種產(chǎn)生3D個(gè)性化人體模型的圖像處理方法以及系統(tǒng)， 通過(guò)從包含人體對(duì)象的深度圖提取人體對(duì)象的各個(gè)身體部位,并且對(duì)所述各個(gè)身體部位進(jìn) 行個(gè)性化縮放來(lái)產(chǎn)生3D個(gè)性化人體模型。
[0011] 本發(fā)明的目的在于提供一種增強(qiáng)現(xiàn)實(shí)中的個(gè)性化人體顯示方法以及系統(tǒng)，通過(guò)從 包含人體對(duì)象的深度圖提取人體對(duì)象的各個(gè)身體部位，并且對(duì)所述各個(gè)身體部位進(jìn)行個(gè)性 化縮放來(lái)產(chǎn)生3D個(gè)性化人體模型，將增強(qiáng)現(xiàn)實(shí)的虛擬場(chǎng)景和虛擬物體與所述個(gè)性化人體 模型進(jìn)行結(jié)合并展現(xiàn)，從而在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中逼真地顯示人體對(duì)象。
[0012] 根據(jù)本發(fā)明的一方面，提供一種用于產(chǎn)生個(gè)性化人體模型的圖像處理方法，所述 圖像處理方法包括：A)獲取包含人體對(duì)象的3D場(chǎng)景的深度圖；B)從獲取的深度圖提取人 體對(duì)象的人體輪廓以及包括各個(gè)身體部位點(diǎn)的骨架模型；C)針對(duì)每個(gè)身體部位，根據(jù)獲取 的深度圖執(zhí)行以下個(gè)性化處理：C-1)通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位置信息 (X，y)和深度信息d擬合出所述身體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱體的半 徑和長(zhǎng)度；C-2)將第一特征球體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀?體，并且將第二特征球體置于相應(yīng)性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的第二圓柱體的相 應(yīng)位置以產(chǎn)生第二截?cái)鄮缀误w，其中，通過(guò)第一圓柱體的長(zhǎng)度乘以預(yù)定的比例系數(shù)求得第 一特征球體的半徑，通過(guò)第二圓柱體的長(zhǎng)度乘以所述預(yù)定的比例系數(shù)求得第二特征球體的 半徑，選取的比例系數(shù)使每個(gè)特征球體的半徑在其放置的圓柱體的截面半徑和長(zhǎng)度之間； C-3)通過(guò)比較第一截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上的放 縮比例；D)根據(jù)在步驟C)計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其在各個(gè) 維度上的放縮比例對(duì)所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象的個(gè)性 化人體模型。
[0013] 優(yōu)選地，在步驟C-1)中，還計(jì)算表示所述第一圓柱體與標(biāo)準(zhǔn)圓柱體偏差的約束參 數(shù)，其中，值為〇的約束參數(shù)表示符合標(biāo)準(zhǔn)圓柱體。
[0014] 優(yōu)選地，在步驟c-3)中，通過(guò)分別將第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影到某 個(gè)共同度量單位的空間中的投影平面生成第一截?cái)嗝婧偷诙財(cái)嗝?，分別估計(jì)第一截?cái)嗝?和第二截?cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部位在 所述投影平面各維度上的放縮比例。
[0015] 優(yōu)選地，步驟D)還包括：對(duì)產(chǎn)生的個(gè)性化人體模型中出現(xiàn)不連續(xù)效果的兩個(gè)相鄰 身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放縮比例分別加權(quán)來(lái)計(jì)算所述相鄰身體部位的統(tǒng)一 放縮比例，并且按照所述統(tǒng)一放縮比例來(lái)對(duì)所述兩個(gè)相鄰身體部位進(jìn)行放縮。
[0016] 根據(jù)本發(fā)明的另一方面，提供一種用于產(chǎn)生個(gè)性化人體模型的圖像處理系統(tǒng)，包 括：深度傳感器，用于獲取包含人體對(duì)象的3D場(chǎng)景的深度圖；人體檢測(cè)和處理單元，從獲 取的深度圖提取人體對(duì)象的人體輪廓以及包括各個(gè)身體部位點(diǎn)的骨架模型；人體個(gè)性化處 理單元，用于根據(jù)獲取的深度圖對(duì)人體檢測(cè)和處理單元提取的各個(gè)身體部位執(zhí)行個(gè)性化處 理，以產(chǎn)生人體對(duì)象的個(gè)性化模型；其中，人體個(gè)性化處理單元首先針對(duì)每個(gè)身體部位，執(zhí) 行以下處理：通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位置信息（x，y)和深度信息d擬合 出所述身體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱體的半徑和長(zhǎng)度，將第一特征球 體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀误w，并且將第二特征球體置于相 應(yīng)性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的第二圓柱體的相應(yīng)位置以產(chǎn)生第二截?cái)鄮缀误w， 其中，通過(guò)第一圓柱體的長(zhǎng)度乘以預(yù)定的比例系數(shù)求得第一特征球體的半徑，通過(guò)第二圓 柱體的長(zhǎng)度乘以所述預(yù)定的比例系數(shù)求得第二特征球體的半徑，選取的比例系數(shù)使每個(gè)特 征球體的半徑在其放置的圓柱體的截面半徑和長(zhǎng)度之間，通過(guò)比較第一截?cái)鄮缀误w和第二 截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上的放縮比例，人體個(gè)性化處理單元還根據(jù)計(jì) 算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其在各個(gè)維度上的放縮比例對(duì)所述3D 標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象的個(gè)性化人體模型。
[0017] 優(yōu)選地，人體個(gè)性化處理單元針對(duì)每個(gè)身體部位還計(jì)算表示所述第一圓柱體與標(biāo) 準(zhǔn)圓柱體偏差的約束參數(shù)，其中，值為〇的約束參數(shù)表示符合標(biāo)準(zhǔn)圓柱體。
[0018] 優(yōu)選地，人體個(gè)性化處理單元通過(guò)分別將第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影 到某個(gè)共同度量單位的空間中的投影平面生成第一截?cái)嗝婧偷诙財(cái)嗝妫謩e估計(jì)第一截 斷面和第二截?cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部 位在所述投影平面各維度上的放縮比例。
[0019] 優(yōu)選地，人體個(gè)性化處理單元還對(duì)產(chǎn)生的個(gè)性化人體模型中出現(xiàn)不連續(xù)效果的兩 個(gè)相鄰身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放縮比例分別加權(quán)來(lái)計(jì)算所述相鄰身體部位 的統(tǒng)一放縮比例，并且按照所述統(tǒng)一放縮比例來(lái)對(duì)所述兩個(gè)相鄰身體部位進(jìn)行放縮。
[0020] 根據(jù)本發(fā)明的另一方面，提供一種增強(qiáng)現(xiàn)實(shí)中的個(gè)性化人體顯示方法，所述方法 包括：A)通過(guò)與用戶交互確定增強(qiáng)現(xiàn)實(shí)的虛擬場(chǎng)景和虛擬物體；B)獲取包含人體對(duì)象的3D 場(chǎng)景的深度圖；C)從獲取的深度圖提取人體對(duì)象的人體輪廓以及包括各個(gè)身體部位點(diǎn)的骨 架模型；D)針對(duì)每個(gè)身體部位，根據(jù)獲取的深度圖執(zhí)行以下個(gè)性化處理：通過(guò)從深度圖中 所述身體部位的各個(gè)點(diǎn)的位置信息（x，y)和深度信息d擬合出所述身體部位的第一圓柱體 的曲面來(lái)計(jì)算所述第一圓柱體的半徑和長(zhǎng)度，將第一特征球體置于所述身體部位的第一圓 柱體中以產(chǎn)生第一截?cái)鄮缀误w，并且將第二特征球體置于相應(yīng)于選擇的性別的3D標(biāo)準(zhǔn)人 體模型中相應(yīng)部位的第二圓柱體的相應(yīng)位置以產(chǎn)生第二截?cái)鄮缀误w，其中，第一特征球體 的半徑通過(guò)第一圓柱體的長(zhǎng)度乘以一個(gè)比例系數(shù)而得。同理第二特征球體的半徑也通過(guò)第 二圓柱體的長(zhǎng)度乘以一個(gè)比例系數(shù)而得。該兩個(gè)比例系數(shù)必須相同，并且該比例系數(shù)應(yīng)該 選取以保證每個(gè)特征球體的半徑在其放置的圓柱體的截面半徑和長(zhǎng)度之間，通過(guò)比較第一 截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上的放縮比例，E)根據(jù)在步 驟D)計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其在各個(gè)維度上的放縮比例對(duì) 所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象的個(gè)性化人體模型；F)加載確 定的虛擬物體和虛擬場(chǎng)景，并且在虛擬場(chǎng)景中使用所述人體對(duì)象的個(gè)性化人體模型生成虛 擬物體與所述人體對(duì)象結(jié)合的虛擬圖像；G)輸出生成的虛擬圖像。
[0021] 優(yōu)選地，在步驟D)中，還計(jì)算表示所述第一圓柱體與標(biāo)準(zhǔn)圓柱體偏差的約束參數(shù)， 其中，值為〇的約束參數(shù)表示符合標(biāo)準(zhǔn)圓柱體。
[0022] 優(yōu)選地，在步驟D)中，通過(guò)分別將第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影到某個(gè) 共同度量單位的空間中的投影平面生成第一截?cái)嗝婧偷诙財(cái)嗝妫謩e估計(jì)第一截?cái)嗝婧?第二截?cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部位在所 述投影平面各維度上的放縮比例。
[0023] 優(yōu)選地，步驟E)還包括：對(duì)產(chǎn)生的個(gè)性化人體模型中出現(xiàn)不連續(xù)效果的兩個(gè)相鄰 身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放縮比例分別加權(quán)來(lái)計(jì)算所述相鄰身體部位的統(tǒng)一 放縮比例，并且按照所述統(tǒng)一放縮比例來(lái)對(duì)所述兩個(gè)相鄰身體部位進(jìn)行放縮。
[0024] 優(yōu)選地，所述3D標(biāo)準(zhǔn)人體模型還標(biāo)注有包括各個(gè)身體部位的控制點(diǎn)，在步驟E)中 產(chǎn)生的個(gè)性化人體模型也攜帶各個(gè)身體部位的控制點(diǎn)，并且在步驟F)中，根據(jù)所述身體部 位的控制點(diǎn)將虛擬物體與產(chǎn)生的個(gè)性化人體模型結(jié)合。
[0025] 優(yōu)選地，步驟C)還包括：從獲取的深度圖檢測(cè)人體對(duì)象的位置以及姿態(tài)。
[0026] 優(yōu)選地，在步驟F)中，還根據(jù)在檢測(cè)到的人體對(duì)象的位置并且以檢測(cè)的姿態(tài)生成 虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像。
[0027] 優(yōu)選地，步驟B)還包括：獲取所述3D場(chǎng)景的彩色圖像，步驟C)還包括：從獲取的 彩色圖像檢測(cè)人體對(duì)象各個(gè)部位的色彩特征，在步驟F)中，還根據(jù)檢測(cè)的各個(gè)部位的色彩 特征在獲取的彩色圖像的場(chǎng)景或虛擬場(chǎng)景中生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖 像。
[0028] 優(yōu)選地，所述的個(gè)性化人體顯示方法還包括：對(duì)生成的虛擬圖像進(jìn)行渲染，以生成 視覺(jué)合理的虛擬場(chǎng)景圖像。
[0029] 根據(jù)本發(fā)明的另一方面，提供一種增強(qiáng)現(xiàn)實(shí)中執(zhí)行個(gè)性化人體顯示的圖像處理系 統(tǒng)，包括：輸出/輸出單元，用于通過(guò)與用戶交互接收增強(qiáng)現(xiàn)實(shí)的虛擬場(chǎng)景和虛擬物體，并 且輸出虛擬物體和人體對(duì)象結(jié)合的虛擬圖像；深度傳感器，用于獲取包含人體對(duì)象的3D場(chǎng) 景的深度圖；人體檢測(cè)和處理單元，用于從獲取的深度圖提取人體對(duì)象的人體輪廓以及包 括各個(gè)身體部位點(diǎn)的骨架模型；人體個(gè)性化處理單元，用于根據(jù)獲取的深度圖對(duì)人體檢測(cè) 和處理單元提取的各個(gè)身體部位執(zhí)行個(gè)性化處理，以產(chǎn)生人體對(duì)象的個(gè)性化模型；虛擬場(chǎng) 景加載單元，用于加載確定的虛擬物體和虛擬場(chǎng)景，并且在虛擬場(chǎng)景中使用所述人體對(duì)象 的個(gè)性化人體模型生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像；其中，人體個(gè)性化處理 單元首先針對(duì)每個(gè)身體部位，執(zhí)行以下處理：通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位 置信息（x，y)和深度信息d擬合出所述身體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱 體的半徑和長(zhǎng)度，將第一特征球體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀?體，并且將第二特征球體置于相應(yīng)性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的第二圓柱體的相 應(yīng)位置以產(chǎn)生第二截?cái)鄮缀误w，其中，通過(guò)第一圓柱體的長(zhǎng)度乘以預(yù)定的比例系數(shù)求得第 一特征球體的半徑，通過(guò)第二圓柱體的長(zhǎng)度乘以所述預(yù)定的比例系數(shù)求得第二特征球體的 半徑，選取的比例系數(shù)使每個(gè)特征球體的半徑在其放置的圓柱體的截面半徑和長(zhǎng)度之間， 通過(guò)比較第一截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上的放縮比 例，人體個(gè)性化處理單元還根據(jù)計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其在 各個(gè)維度上的放縮比例對(duì)所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象的 個(gè)性化人體模型。
[0030] 優(yōu)選地，人體個(gè)性化處理單元針對(duì)每個(gè)身體部位還計(jì)算表示所述第一圓柱體與標(biāo) 準(zhǔn)圓柱體偏差的約束參數(shù)，其中，值為0的約束參數(shù)表示符合標(biāo)準(zhǔn)圓柱體。
[0031] 優(yōu)選地，人體個(gè)性化處理單元通過(guò)分別將第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影 到某個(gè)共同度量單位的空間中的投影平面生成第一截?cái)嗝婧偷诙財(cái)嗝?，分別估計(jì)第一截 斷面和第二截?cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部 位在所述投影平面各維度上的放縮比例。
[0032] 優(yōu)選地，人體個(gè)性化處理單元還對(duì)產(chǎn)生的個(gè)性化人體模型中出現(xiàn)不連續(xù)效果的兩 個(gè)相鄰身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放縮比例分別加權(quán)來(lái)計(jì)算所述相鄰身體部位 的統(tǒng)一放縮比例，并且按照所述統(tǒng)一放縮比例來(lái)對(duì)所述兩個(gè)相鄰身體部位進(jìn)行放縮。
[0033] 優(yōu)選地，所述3D標(biāo)準(zhǔn)人體模型還標(biāo)注有包括各個(gè)身體部位的控制點(diǎn)，人體個(gè)性化 處理單元產(chǎn)生的個(gè)性化人體模型也攜帶各個(gè)身體部位的控制點(diǎn)，并且虛擬場(chǎng)景加載單元根 據(jù)所述身體部位的控制點(diǎn)將虛擬物體與產(chǎn)生的個(gè)性化人體模型結(jié)合。
[0034] 優(yōu)選地，人體檢測(cè)和處理單元還從獲取的深度圖檢測(cè)人體對(duì)象的位置以及姿態(tài)。
[0035] 優(yōu)選地，虛擬場(chǎng)景加載單元還根據(jù)在檢測(cè)到的人體對(duì)象的位置并且以檢測(cè)的姿態(tài) 生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像。
[0036] 優(yōu)選地，所述的圖像處理系統(tǒng)還包括：光感傳感器，用于獲取所述3D場(chǎng)景的彩色 圖像，其中，人體檢測(cè)和處理單元還從獲取的彩色圖像檢測(cè)人體對(duì)象各個(gè)部位的色彩特征， 虛擬場(chǎng)景加載單元還根據(jù)檢測(cè)的各個(gè)部位的色彩特征在獲取的彩色圖像的場(chǎng)景或虛擬場(chǎng) 景中生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像。
[0037] 優(yōu)選地，所述的圖像處理系統(tǒng)還包括：渲染單元，用于對(duì)生成的虛擬圖像進(jìn)行渲 染，以生成視覺(jué)合理的虛擬場(chǎng)景圖像。

【專利附圖】

【附圖說(shuō)明】
[0038] 通過(guò)下面結(jié)合附圖進(jìn)行的描述，本發(fā)明的上述和其他目的和特點(diǎn)將會(huì)變得更加清 楚，其中：
[0039] 圖1是示出分別通過(guò)光學(xué)傳感器和深度傳感器獲得的人體輪廓的示意圖；
[0040] 圖2示意性地示出根據(jù)本發(fā)明的示例性實(shí)施例產(chǎn)生的個(gè)性化人體模型的粗度標(biāo) 示；
[0041] 圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的產(chǎn)生個(gè)性化人體模型的圖像處理方法 的流程圖；
[0042] 圖4是示出根據(jù)本發(fā)明的示例性實(shí)施例的增強(qiáng)現(xiàn)實(shí)中的個(gè)性化人體顯示方法的 流程圖；
[0043] 圖5和圖6是示出根據(jù)本發(fā)明的示例性實(shí)施例對(duì)身體部位的表示以及放縮比例的 計(jì)算的示意圖；
[0044] 圖7是示出人體各個(gè)部位的個(gè)性化處理后出現(xiàn)的蒙皮不自然過(guò)渡的示意圖； [0045] 圖8和圖9是示出根據(jù)本發(fā)明的示例性實(shí)施例的對(duì)相鄰部位執(zhí)行平滑處理的示意 圖；
[0046] 圖10是示出根據(jù)本發(fā)明的示例性實(shí)施例的圖像處理系統(tǒng)的邏輯框圖。

【具體實(shí)施方式】
[0047] 以下，將參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。
[0048] 3D場(chǎng)景的深度圖是指場(chǎng)景的二維像素矩陣表示，其中每個(gè)像素分別對(duì)應(yīng)于場(chǎng) 景中的一個(gè)位置，并且分別具有指示從某一參考位置到各場(chǎng)景位置的距離的像素值。因 此，深度圖表達(dá)的是場(chǎng)景中目標(biāo)的形貌信息，而不是亮度和/或色彩。PCT國(guó)際申請(qǐng) W02007/043035A1中公開(kāi)了一種產(chǎn)生場(chǎng)景的深度圖的方法。可使用深度圖來(lái)分割出場(chǎng)景中 的物體。圖1分別示出通過(guò)光學(xué)傳感器和深度傳感器獲得的人體輪廓。
[0049] 本發(fā)明提供一種通過(guò)包含人體對(duì)象的3D場(chǎng)景的深度圖對(duì)所述人體對(duì)象的各個(gè)部 位進(jìn)行個(gè)性化定制，以產(chǎn)生個(gè)性化的人體模型的圖像處理方法。在所述圖像處理方法中，將 每個(gè)人體部位看作是一個(gè)圓柱體或接近圓柱體，對(duì)于從所述3D場(chǎng)景的深度圖提取的每個(gè) 身體部位擬合出所述身體部位的圓柱體曲面來(lái)計(jì)算器半徑和長(zhǎng)度，并且針對(duì)提取的每個(gè)身 體部位以及預(yù)存的標(biāo)準(zhǔn)人體模型的相應(yīng)部位計(jì)算特征球體，分別置于所述身體部位中，以 計(jì)算所述身體部位的放縮比例，從而對(duì)標(biāo)準(zhǔn)人體模型進(jìn)行個(gè)性化定制。圖2示意性地示出 根據(jù)本發(fā)明的示例性實(shí)施例產(chǎn)生的個(gè)性化人體模型的粗度標(biāo)示。本發(fā)明還提供使用上述 技術(shù)的增強(qiáng)現(xiàn)實(shí)中的個(gè)性化人體顯示方法。本發(fā)明還提供一種使用所述方法的圖像處理系 統(tǒng)。
[0050] 圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的產(chǎn)生個(gè)性化人體模型的圖像處理方法 的流程圖。
[0051] 參照?qǐng)D3,在步驟S310,圖像處理系統(tǒng)獲取包含人體對(duì)象的3D場(chǎng)景的深度圖。
[0052] 在步驟S320,圖像處理系統(tǒng)從獲取的深度圖提取人體對(duì)象的人體輪廓以及包括各 個(gè)身體部位點(diǎn)的骨架模型。
[0053] 在步驟S330,圖像處理系統(tǒng)對(duì)提取的各個(gè)身體部位計(jì)算各個(gè)維度上的放縮比例。
[0054] 首先，圖像處理系統(tǒng)針對(duì)提取的每個(gè)身體部位，根據(jù)獲取的深度圖執(zhí)行以下個(gè)性 化處理：
[0055] 1、通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位置信息（X，y)和深度信息d擬合出 所述身體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱體的半徑和長(zhǎng)度。
[0056] 具體地，使用圓柱體cylinder(r，h)表示人體的每個(gè)部位，其中r為圓柱體的半 徑，h為圓柱體的長(zhǎng)度。而對(duì)于某些與圓柱體特性相差較遠(yuǎn)的人體部位如軀干、頭部等，計(jì) 算表示所述圓柱體與標(biāo)準(zhǔn)圓柱體偏差的約束參數(shù)，表示為cylinder (r, h, a)，其中，a為約 束參數(shù)，其中，值為〇的約束參數(shù)表示符合標(biāo)準(zhǔn)圓柱體?；謴?fù)人體體型即對(duì)人體每個(gè)部位的 參數(shù)r、h以及a的測(cè)量。從深度圖像可以獲取人體表面的點(diǎn)陣信息，每一點(diǎn)可用p (X，y，d) 表示，其中（x，y)為人體點(diǎn)的位置信息，而d表示人體點(diǎn)的深度信息，從而表示出人體點(diǎn)在 三維空間中的位置信息。同一個(gè)部位的點(diǎn)陣滿足以下關(guān)系：cylinder (r, h, a)=p_i (X，y, d), 其中，0 < i < N，N為這一部位的表面點(diǎn)數(shù)量。通過(guò)所有點(diǎn)的位置信息組成的方程組擬合 出圓柱體型曲面，計(jì)算出相應(yīng)的參數(shù)。這里，將為提取的每個(gè)身體部位擬合出的圓柱體稱 為第一圓柱體。通過(guò)所有點(diǎn)的位置信息組成的方程組擬合出圓柱體型曲面，計(jì)算出相應(yīng)的 參數(shù)。由于立體物體的平面投影問(wèn)題，對(duì)于人體部位只能獲取一個(gè)投影面的表面點(diǎn)，擬合出 的結(jié)果如圖5中的"表面"所示，只有圓柱體的一小部分表面點(diǎn)；通過(guò)計(jì)算出的半徑及長(zhǎng)度 參數(shù)則可以完全恢復(fù)出一個(gè)圓柱體型，如圖5中的"完整形狀"所示。
[0057] 2、將第一特征球體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀误w，并 且將第二特征球體置于相應(yīng)性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的
[0058] 第二圓柱體的相應(yīng)位置以產(chǎn)生第二截?cái)鄮缀误w，其中，通過(guò)第一圓柱體的長(zhǎng)度乘 以預(yù)定的比例系數(shù)求得第一特征球體的半徑，通過(guò)第二圓柱體的長(zhǎng)度乘以所述預(yù)定的比例 系數(shù)求得第二特征球體的半徑，選取的比例系數(shù)使每個(gè)特征球體的半徑在其放置的圓柱體 的截面半徑和長(zhǎng)度之間。也就是說(shuō)，通過(guò)使用相同的比例系數(shù)來(lái)分別求得兩個(gè)特征球體的 半徑，以計(jì)算每個(gè)身體部位的縮放比例。這里，每個(gè)特征球體的半徑R滿足以下條件：
[0059] R (圓柱體）〈R (特征球體）〈H (圓柱體），
[0060] 其中，R(圓柱體）為圓柱體的截面半徑，Η(圓柱體）為圓柱體的長(zhǎng)度。
[0061] 假設(shè)cylinderl和cylinder2分別為第一圓柱體和第二圓柱體，spherel和 sphere2分別為第一特征球體和第二特征球體。當(dāng)分別確定了第一特征球體和第二特征球 體后，分別將各特征球體置于相應(yīng)的圓柱體內(nèi)以產(chǎn)生相應(yīng)的截?cái)鄮缀误w：
[0062] cylinderl&spherel=truncationl
[0063] cylinder2&sphere2=truncation2
[0064] 其中，truncationl和truncation2分別為第一截?cái)鄮缀误w第二截?cái)鄮缀误w，&表 示幾何體的相交截?cái)噙^(guò)程。
[0065] 3、通過(guò)比較第一截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度 上的放縮比例。可使用不同方法對(duì)兩個(gè)截?cái)鄮缀误w進(jìn)行比較。
[0066] 根據(jù)本發(fā)明的示例性實(shí)施例，通過(guò)分別將第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影 到某個(gè)共同度量單位的空間中的投影平面生成第一截?cái)嗝婧偷诙財(cái)嗝?，分別估計(jì)第一截 斷面和第二截?cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部 位在所述投影平面各維度上的放縮比例。
[0067]

【權(quán)利要求】
1. 一種用于產(chǎn)生個(gè)性化人體模型的圖像處理方法，所述圖像處理方法包括： A) 獲取包含人體對(duì)象的3D場(chǎng)景的深度圖； B) 從獲取的深度圖提取人體對(duì)象的人體輪廓以及包括各個(gè)身體部位點(diǎn)的骨架模型； C) 針對(duì)每個(gè)身體部位，根據(jù)獲取的深度圖執(zhí)行以下個(gè)性化處理： C-1)通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位置信息（x，y)和深度信息d擬合出所 述身體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱體的半徑和長(zhǎng)度； C-2)將第一特征球體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀误w，并且 將第二特征球體置于相應(yīng)性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的第二圓柱體的相應(yīng)位置以 產(chǎn)生第二截?cái)鄮缀误w，其中，通過(guò)第一圓柱體的長(zhǎng)度乘以預(yù)定的比例系數(shù)求得第一特征球 體的半徑，通過(guò)第二圓柱體的長(zhǎng)度乘以所述預(yù)定的比例系數(shù)求得第二特征球體的半徑，選 取的比例系數(shù)使每個(gè)特征球體的半徑在其放置的圓柱體的截面半徑和長(zhǎng)度之間； C-3)通過(guò)比較第一截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上 的放縮比例； D) 根據(jù)在步驟C)計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其在各個(gè)維度 上的放縮比例對(duì)所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象的個(gè)性化人 體模型。
2. 如權(quán)利要求1所述的圖像處理方法，其特征在于，在步驟C-1)中，還計(jì)算表示所述第 一圓柱體與標(biāo)準(zhǔn)圓柱體偏差的約束參數(shù)，其中，值為〇的約束參數(shù)表示符合標(biāo)準(zhǔn)圓柱體。
3. 如權(quán)利要求2所述的圖像處理方法，其特征在于，在步驟C-3)中，通過(guò)分別將第一截 斷幾何體和第二截?cái)鄮缀误w投影到某個(gè)共同度量單位的空間中的投影平面生成第一截?cái)?面和第二截?cái)嗝妫謩e估計(jì)第一截?cái)嗝婧偷诙財(cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根據(jù)分別 估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部位在所述投影平面各維度上的放縮比例。
4. 如權(quán)利要求3所述的圖像處理方法，其特征在于，步驟D)還包括：對(duì)產(chǎn)生的個(gè)性化 人體模型中出現(xiàn)不連續(xù)效果的兩個(gè)相鄰身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放縮比例分 別加權(quán)來(lái)計(jì)算所述相鄰身體部位的統(tǒng)一放縮比例，并且按照所述統(tǒng)一放縮比例來(lái)對(duì)所述兩 個(gè)相鄰身體部位進(jìn)行放縮。
5. -種用于產(chǎn)生個(gè)性化人體模型的圖像處理系統(tǒng)，包括： 深度傳感器，用于獲取包含人體對(duì)象的3D場(chǎng)景的深度圖； 人體檢測(cè)和處理單元，從獲取的深度圖提取人體對(duì)象的人體輪廓以及包括各個(gè)身體部 位點(diǎn)的骨架模型； 人體個(gè)性化處理單元，用于根據(jù)獲取的深度圖對(duì)人體檢測(cè)和處理單元提取的各個(gè)身體 部位執(zhí)行個(gè)性化處理，以產(chǎn)生人體對(duì)象的個(gè)性化模型； 其中，人體個(gè)性化處理單元首先針對(duì)每個(gè)身體部位，執(zhí)行以下處理： 通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位置信息（x，y)和深度信息d擬合出所述身 體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱體的半徑和長(zhǎng)度， 將第一特征球體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀误w，并且將第 二特征球體置于相應(yīng)性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的第二圓柱體的相應(yīng)位置以產(chǎn)生 第二截?cái)鄮缀误w，其中，通過(guò)第一圓柱體的長(zhǎng)度乘以預(yù)定的比例系數(shù)求得第一特征球體的 半徑，通過(guò)第二圓柱體的長(zhǎng)度乘以所述預(yù)定的比例系數(shù)求得第二特征球體的半徑，選取的 比例系數(shù)使每個(gè)特征球體的半徑在其放置的圓柱體的截面半徑和長(zhǎng)度之間， 通過(guò)比較第一截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上的放 縮比例， 人體個(gè)性化處理單元還根據(jù)計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其 在各個(gè)維度上的放縮比例對(duì)所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象 的個(gè)性化人體模型。
6. 如權(quán)利要求5所述的圖像處理系統(tǒng)，其特征在于，人體個(gè)性化處理單元針對(duì)每個(gè)身 體部位還計(jì)算表示所述第一圓柱體與標(biāo)準(zhǔn)圓柱體偏差的約束參數(shù)，其中，值為0的約束參 數(shù)表示符合標(biāo)準(zhǔn)圓柱體。
7. 如權(quán)利要求6所述的圖像處理系統(tǒng)，其特征在于，人體個(gè)性化處理單元通過(guò)分別將 第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影到某個(gè)共同度量單位的空間中的投影平面生成第 一截?cái)嗝婧偷诙財(cái)嗝妫謩e估計(jì)第一截?cái)嗝婧偷诙財(cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根 據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部位在所述投影平面各維度上的放縮比例。
8. 如權(quán)利要求7所述的圖像處理系統(tǒng)，其特征在于，人體個(gè)性化處理單元還對(duì)產(chǎn)生的 個(gè)性化人體模型中出現(xiàn)不連續(xù)效果的兩個(gè)相鄰身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放縮 比例分別加權(quán)來(lái)計(jì)算所述相鄰身體部位的統(tǒng)一放縮比例，并且按照所述統(tǒng)一放縮比例來(lái)對(duì) 所述兩個(gè)相鄰身體部位進(jìn)行放縮。
9. 一種增強(qiáng)現(xiàn)實(shí)中的個(gè)性化人體顯示方法，所述方法包括： A) 通過(guò)與用戶交互確定增強(qiáng)現(xiàn)實(shí)的虛擬場(chǎng)景和虛擬物體； B) 獲取包含人體對(duì)象的3D場(chǎng)景的深度圖； C) 從獲取的深度圖提取人體對(duì)象的人體輪廓以及包括各個(gè)身體部位點(diǎn)的骨架模型； D) 針對(duì)每個(gè)身體部位，根據(jù)獲取的深度圖執(zhí)行以下個(gè)性化處理： 通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位置信息（x，y)和深度信息d擬合出所述身 體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱體的半徑和長(zhǎng)度， 將第一特征球體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀误w，并且將第 二特征球體置于相應(yīng)于選擇的性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的第二圓柱體的相應(yīng)位 置以產(chǎn)生第二截?cái)鄮缀误w，其中，第一特征球體的半徑通過(guò)第一圓柱體的長(zhǎng)度乘以一個(gè)比 例系數(shù)而得。同理第二特征球體的半徑也通過(guò)第二圓柱體的長(zhǎng)度乘以一個(gè)比例系數(shù)而得。 該兩個(gè)比例系數(shù)必須相同，并且該比例系數(shù)應(yīng)該選取以保證每個(gè)特征球體的半徑在其放置 的圓柱體的截面半徑和長(zhǎng)度之間， 通過(guò)比較第一截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上的放 縮比例， E) 根據(jù)在步驟D)計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其在各個(gè)維度 上的放縮比例對(duì)所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象的個(gè)性化人 體模型； F) 加載確定的虛擬物體和虛擬場(chǎng)景，并且在虛擬場(chǎng)景中使用所述人體對(duì)象的個(gè)性化人 體模型生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像； G) 輸出生成的虛擬圖像。
10. 如權(quán)利要求9所述的個(gè)性化人體顯示方法，其特征在于，在步驟D)中，還計(jì)算表示 所述第一圓柱體與標(biāo)準(zhǔn)圓柱體偏差的約束參數(shù)，其中，值為0的約束參數(shù)表示符合標(biāo)準(zhǔn)圓 柱體。
11. 如權(quán)利要求10所述的個(gè)性化人體顯示方法，其特征在于，在步驟D)中，通過(guò)分別將 第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影到某個(gè)共同度量單位的空間中的投影平面生成第 一截?cái)嗝婧偷诙財(cái)嗝?，分別估計(jì)第一截?cái)嗝婧偷诙財(cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且根 據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部位在所述投影平面各維度上的放縮比例。
12. 如權(quán)利要求11所述的個(gè)性化人體顯示方法，其特征在于，步驟Ε)還包括：對(duì)產(chǎn)生 的個(gè)性化人體模型中出現(xiàn)不連續(xù)效果的兩個(gè)相鄰身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放 縮比例分別加權(quán)來(lái)計(jì)算所述相鄰身體部位的統(tǒng)一放縮比例，并且按照所述統(tǒng)一放縮比例來(lái) 對(duì)所述兩個(gè)相鄰身體部位進(jìn)行放縮。
13. 如權(quán)利要求12所述的個(gè)性化人體顯示方法，其特征在于，所述3D標(biāo)準(zhǔn)人體模型還 標(biāo)注有包括各個(gè)身體部位的控制點(diǎn)，在步驟Ε)中產(chǎn)生的個(gè)性化人體模型也攜帶各個(gè)身體部 位的控制點(diǎn)，并且在步驟F)中，根據(jù)所述身體部位的控制點(diǎn)將虛擬物體與產(chǎn)生的個(gè)性化人 體模型結(jié)合。
14. 如權(quán)利要求13所述的個(gè)性化人體顯示方法，其特征在于，步驟C)還包括：從獲取 的深度圖檢測(cè)人體對(duì)象的位置以及姿態(tài)。
15. 如權(quán)利要求14所述的個(gè)性化人體顯示方法，其特征在于，在步驟F)中，還根據(jù)在檢 測(cè)到的人體對(duì)象的位置并且以檢測(cè)的姿態(tài)生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像。
16. 如權(quán)利要求9-15中任一項(xiàng)所述的個(gè)性化人體顯示方法，其特征在于， 步驟Β)還包括：獲取所述3D場(chǎng)景的彩色圖像， 步驟C)還包括：從獲取的彩色圖像檢測(cè)人體對(duì)象各個(gè)部位的色彩特征， 在步驟F)中，還根據(jù)檢測(cè)的各個(gè)部位的色彩特征在獲取的彩色圖像的場(chǎng)景或虛擬場(chǎng)景 中生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像。
17. 如權(quán)利要求16所述的個(gè)性化人體顯示方法，還包括：對(duì)生成的虛擬圖像進(jìn)行渲染， 以生成視覺(jué)合理的虛擬場(chǎng)景圖像。
18. -種增強(qiáng)現(xiàn)實(shí)中執(zhí)行個(gè)性化人體顯示的圖像處理系統(tǒng)，包括： 輸出/輸出單元，用于通過(guò)與用戶交互接收增強(qiáng)現(xiàn)實(shí)的虛擬場(chǎng)景和虛擬物體，并且輸 出虛擬物體和人體對(duì)象結(jié)合的虛擬圖像； 深度傳感器，用于獲取包含人體對(duì)象的3D場(chǎng)景的深度圖； 人體檢測(cè)和處理單元，用于從獲取的深度圖提取人體對(duì)象的人體輪廓以及包括各個(gè)身 體部位點(diǎn)的骨架模型； 人體個(gè)性化處理單元，用于根據(jù)獲取的深度圖對(duì)人體檢測(cè)和處理單元提取的各個(gè)身體 部位執(zhí)行個(gè)性化處理，以產(chǎn)生人體對(duì)象的個(gè)性化模型； 虛擬場(chǎng)景加載單元，用于加載確定的虛擬物體和虛擬場(chǎng)景，并且在虛擬場(chǎng)景中使用所 述人體對(duì)象的個(gè)性化人體模型生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像； 其中，人體個(gè)性化處理單元首先針對(duì)每個(gè)身體部位，執(zhí)行以下處理： 通過(guò)從深度圖中所述身體部位的各個(gè)點(diǎn)的位置信息（x，y)和深度信息d擬合出所述身 體部位的第一圓柱體的曲面來(lái)計(jì)算所述第一圓柱體的半徑和長(zhǎng)度， 將第一特征球體置于所述身體部位的第一圓柱體中以產(chǎn)生第一截?cái)鄮缀误w，并且將第 二特征球體置于相應(yīng)性別的3D標(biāo)準(zhǔn)人體模型中相應(yīng)部位的第二圓柱體的相應(yīng)位置以產(chǎn)生 第二截?cái)鄮缀误w，其中，通過(guò)第一圓柱體的長(zhǎng)度乘以預(yù)定的比例系數(shù)求得第一特征球體的 半徑，通過(guò)第二圓柱體的長(zhǎng)度乘以所述預(yù)定的比例系數(shù)求得第二特征球體的半徑，選取的 比例系數(shù)使每個(gè)特征球體的半徑在其放置的圓柱體的截面半徑和長(zhǎng)度之間， 通過(guò)比較第一截?cái)鄮缀误w和第二截?cái)鄮缀误w來(lái)計(jì)算所述身體部位在各個(gè)維度上的放 縮比例， 人體個(gè)性化處理單元還根據(jù)計(jì)算的各個(gè)身體部位的第一圓柱體的半徑和長(zhǎng)度以及其 在各個(gè)維度上的放縮比例對(duì)所述3D標(biāo)準(zhǔn)人體模型執(zhí)行個(gè)性化定制，以產(chǎn)生所述人體對(duì)象 的個(gè)性化人體模型。
19. 如權(quán)利要求18所述的圖像處理系統(tǒng)，其特征在于，人體個(gè)性化處理單元針對(duì)每個(gè) 身體部位還計(jì)算表示所述第一圓柱體與標(biāo)準(zhǔn)圓柱體偏差的約束參數(shù)，其中，值為0的約束 參數(shù)表示符合標(biāo)準(zhǔn)圓柱體。
20. 如權(quán)利要求19所述的圖像處理系統(tǒng)，其特征在于，人體個(gè)性化處理單元通過(guò)分別 將第一截?cái)鄮缀误w和第二截?cái)鄮缀误w投影到某個(gè)共同度量單位的空間中的投影平面生成 第一截?cái)嗝婧偷诙財(cái)嗝?，分別估計(jì)第一截?cái)嗝婧偷诙財(cái)嗝嬖谒銎矫嫔系拈L(zhǎng)度，并且 根據(jù)分別估計(jì)的長(zhǎng)度的值來(lái)計(jì)算所述身體部位在所述投影平面各維度上的放縮比例。
21. 如權(quán)利要求20所述的圖像處理系統(tǒng)，其特征在于，人體個(gè)性化處理單元還對(duì)產(chǎn)生 的個(gè)性化人體模型中出現(xiàn)不連續(xù)效果的兩個(gè)相鄰身體部位，通過(guò)對(duì)每個(gè)所述身體部位的放 縮比例分別加權(quán)來(lái)計(jì)算所述相鄰身體部位的統(tǒng)一放縮比例，并且按照所述統(tǒng)一放縮比例來(lái) 對(duì)所述兩個(gè)相鄰身體部位進(jìn)行放縮。
22. 如權(quán)利要求21所述的圖像處理系統(tǒng)，其特征在于，所述3D標(biāo)準(zhǔn)人體模型還標(biāo)注有 包括各個(gè)身體部位的控制點(diǎn)，人體個(gè)性化處理單元產(chǎn)生的個(gè)性化人體模型也攜帶各個(gè)身體 部位的控制點(diǎn)，并且虛擬場(chǎng)景加載單元根據(jù)所述身體部位的控制點(diǎn)將虛擬物體與產(chǎn)生的個(gè) 性化人體模型結(jié)合。
23. 如權(quán)利要求22所述的圖像處理系統(tǒng)，其特征在于，人體檢測(cè)和處理單元還從獲取 的深度圖檢測(cè)人體對(duì)象的位置以及姿態(tài)。
24. 如權(quán)利要求23所述的圖像處理系統(tǒng)，其特征在于，虛擬場(chǎng)景加載單元還根據(jù)在檢 測(cè)到的人體對(duì)象的位置并且以檢測(cè)的姿態(tài)生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像。
25. 如權(quán)利要求18-24中任一項(xiàng)所述的圖像處理系統(tǒng)，還包括：光感傳感器，用于獲取 所述3D場(chǎng)景的彩色圖像， 其中，人體檢測(cè)和處理單元還從獲取的彩色圖像檢測(cè)人體對(duì)象各個(gè)部位的色彩特征， 虛擬場(chǎng)景加載單元還根據(jù)檢測(cè)的各個(gè)部位的色彩特征在獲取的彩色圖像的場(chǎng)景或虛擬場(chǎng) 景中生成虛擬物體與所述人體對(duì)象結(jié)合的虛擬圖像。
26. 如權(quán)利要求25所述的圖像處理系統(tǒng)，還包括：渲染單元，用于對(duì)生成的虛擬圖像進(jìn) 行渲染，以生成視覺(jué)合理的虛擬場(chǎng)景圖像。
【文檔編號(hào)】G06T15/00GK104103090SQ201310115985
【公開(kāi)日】2014年10月15日 申請(qǐng)日期:2013年4月3日 優(yōu)先權(quán)日:2013年4月3日
【發(fā)明者】毛文濤, 郭榮偉, 文永秀, 趙程昱, 金智淵 申請(qǐng)人:北京三星通信技術(shù)研究有限公司, 三星電子株式會(huì)社