用戶的三維表示的生成的制作方法
【專利說明】用戶的H維表示的生成 WW] 背景
[0002] 相對新近地，人們已經(jīng)利用數(shù)字化身來在計算機環(huán)境中表示他們自己。數(shù)字化身 的創(chuàng)建通常通過利用在線特征庫來完成，其中用戶能夠從多個不同特征中進行選擇W生成 一般表示該用戶的化身。例如，與生成用戶的虛擬表示相關地，用戶可W選擇特定頭形、特 定膚色、預定義形狀的眉毛等。該過程是相對耗時的，并且經(jīng)常導致創(chuàng)建不表示個體的實際 外貌的化身。
[0003] 已經(jīng)開發(fā)出用于自動生成用戶的虛擬化S維表示的系統(tǒng)。然而，運些系統(tǒng)是不準 確、復雜和/或昂貴的。例如，已經(jīng)開發(fā)出使用紅-藍-綠（RGB)視頻流來生成用戶臉部的 虛擬=維模型的系統(tǒng)。用戶被要求在相機前旋轉他或她的頭部，并且基于視頻來生成該用 戶臉部的虛擬=維模型。然而，運一系統(tǒng)遭受相對糟糕的質量，因為它無法捕捉到在人臉中 找到的有細微差別的深度。
[0004] 另一示例性系統(tǒng)利用若干激光測量單元來獲取用于生成用戶臉部的虛擬=維表 示的相對密集的點云。然而，激光測量單元是相對昂貴的。因此，運一系統(tǒng)不適用于普通消 費者。此外，運一系統(tǒng)不容易被運輸?shù)搅硪晃恢?，并且缺乏允許將所得點云變換成可動畫化 的化身的底層技術。 陽005] 概述
[0006] W下是在本文詳細描述的主題的簡要的概述。本概述不旨在是關于權利要求的范 圍的限制。
[0007] 本文描述了設及利用日用RGB相機和深度傳感器來W半自治方式生成用戶頭部/ 臉部的相對準確的虛擬=維模型的各種技術。在一示例性實施例中，運一=維模型可被用 作一個人的虛擬化表示，該虛擬化表示可W在在線/游戲環(huán)境中標識運個人。該=維模型 能夠相對準確地表示用戶頭部的形狀、用戶頭部的大小、用戶的膚色W及用戶的臉部特征， 包括眼睛、鼻子、耳朵、臉頰線、嘴己等。
[0008] 為了生成用戶頭部/臉部的相對準確的模型，在一時間范圍內從彩色相機接收多 個RGB帖，并且在該時間范圍內從深度傳感器接收多個深度帖。相機和深度傳感器兩者都 被配置成捕捉用戶頭部/臉部的圖像。對RGB帖執(zhí)行臉部跟蹤算法W標識在運些RGB帖中 捕捉到的臉部中的特征。運些特征可包括但不限于：用戶眼睛的中屯、、用戶鼻子的中屯、和用 戶的鼻翼。可基于深度帖和RGB帖中標識的特征來生成點云，其中RGB帖中的特征被映射 到深度帖W定位運些特征在=維空間中的位置，并且運些特征后續(xù)被用來對齊深度帖。點 云中的點表示用戶頭部/臉部在運些點處的離深度傳感器的相應距離。
[0009] 隨后，可使人類頭部形狀的預先存在的模型變形W適合=維點云（用臉部特征標 記）W表示用戶頭部/臉部的形狀?？蒞對運一=維模型應用紋理W使該虛擬=維模型準 確地表示用戶?？蒞對RGB帖應用降噪和皮膚估計技術，W便為用戶的頭部/臉部的虛擬 =維模型提供審美上令人愉快的紋理。例如，可W利用針對RGB帖的諸如自動曝光調整和 自動降噪等技術來紋理化（tex化rize)用戶的頭部/臉部的=維模型。從RGB帖中生成的 紋理圖然后可被映射到=維模型，W使得臉部和顏色特征在=維模型上適當?shù)貙R。
[0010] 可利用日用傳感器單元來采用上述技術。例如，運一傳感器單元可W是可W禪合 到諸如游戲控制臺等計算設備的外圍設備。在另一示例中，傳感器單元可被包括在諸如臺 式計算設備、平板計算設備或便攜式電話等計算設備中。因此，例如相機和/或深度傳感器 的分辨率可能相對較低。然而，利用本文描述的技術，能夠生成用戶頭部/臉部的相對準確 的虛擬=維表示。
[0011] 在閱讀并理解了附圖和描述后，可W明白其他方面。
[0012] 附圖簡述
[0013] 圖1是方便生成用戶頭部/臉部的相對準確的虛擬S維模型的示例性系統(tǒng)的功能 框圖。
[0014] 圖2是用于生成用戶頭部/臉部的相對準確的虛擬=維模型的模型生成器組件的 功能框圖。
[0015] 圖3是示出用于構造用戶頭部/臉部的虛擬S維網(wǎng)格的示例性方法的流程圖。
[0016] 圖4是示出用于生成表示用戶臉部紋理的紋理圖的示例性方法的流程圖。
[0017] 圖5是示出用于構造用戶頭部/臉部的相對準確的虛擬S維模型的示例性方法的 流程圖。
[001引圖6是示例性計算系統(tǒng)。
[0019] 詳細描述
[0020] 現(xiàn)在將參考附圖來描述設及構造用戶的虛擬=維頭部/臉部的各種技術，在全部 附圖中相同的附圖標記表示相同的元素。另外，本文出于解釋的目的示出并描述了各示例 性系統(tǒng)的若干功能框圖；然而可W理解，被描述為由特定系統(tǒng)組件執(zhí)行的功能可W由多個 組件來執(zhí)行。類似地，例如，一組件可被配置成執(zhí)行被描述為由多個組件執(zhí)行的功能。另外， 如此處所用的，術語"示例性"旨在表示用作某些事物的圖示或示例，而不意圖指示優(yōu)選。
[0021] 如本文所使用的，術語"組件"和"系統(tǒng)"旨在涵蓋被配置有計算機可執(zhí)行指令的計 算機可讀數(shù)據(jù)存儲，運些指令在被處理器執(zhí)行時使得特定功能得W執(zhí)行。計算機可執(zhí)行指 令可包括例程、功能等。還應理解，組件或系統(tǒng)可W位于單個設備上或分布在若干設備上。
[0022] 現(xiàn)在參考圖1，示出了方便構造用戶頭部/臉部的相對準確的虛擬=維模型的示 例性系統(tǒng)100。系統(tǒng)100包括傳感器單元102,該傳感器單元包括捕捉彩色（RGB)圖像的相 機104和捕捉深度圖像的深度傳感器106。在一示例性實施例中，相機104捕捉到的圖像 的分辨率可能相對較低；諸如舉例而言小于或等于1280個像素乘960個像素。例如，相機 104捕捉到的圖像的分辨率可W是640個像素乘480個像素。類似地，深度傳感器106所 生成的深度圖像的分辨率可能相對較低；諸如舉例而言小于或等于1280個像素乘960個像 素。在另一示例中，深度傳感器106所生成的深度圖像的分辨率可W是640個像素乘480個 像素。在圖1所示的示例中，相機104和深度傳感器106被容納在傳感器單元102中。然 而，應當理解，相機104和深度傳感器106可被包括在單獨的外殼中。此外，傳感器單元102 可被包括在可W禪合到計算設備的外圍設備中，諸如禪合到游戲控制臺的傳感器。在另一 示例性實施例中，傳感器單元102可被包括在諸如個人計算設備、膝上型計算設備、移動電 話、平板計算設備等計算設備中。因此，例如，相機104可W是web攝像頭。另外，深度傳感 器106可利用任何合適的技術來生成深度圖像。例如，深度傳感器106可利用基于紅外線 的深度傳感系統(tǒng)、飛行時間深度傳感系統(tǒng)或任何合適的深度傳感技術。
[0023] 如圖I所示，相機104和深度傳感器106被對齊W便分別捕捉用戶108頭部/臉 部的RGB圖像和深度圖像。例如，對應于相機104捕捉到的圖像中的用戶108頭部/臉部 的分辨率可低至50個像素乘50個像素。類似地，深度傳感器106捕捉到的圖像中的用戶 108頭部/臉部的分辨率可低至100X100個像素。因此，可W理解，傳感器單元102可W是 日用傳感器單元，W使得相機104和深度傳感器106可W是相對不昂貴的、便攜的并且可適 于用戶108的不同環(huán)境。
[0024] 系統(tǒng)100包括接收器組件112,該組件在一時間范圍內接收相機104捕捉到的多 個RGB圖像/帖。多個RGB圖像/帖中的每一個RGB圖像/帖都包括用戶108頭部/臉部 的圖像。接收器組件110還接收在該時間范圍內深度傳感器106捕捉到的多個深度圖像/ 帖。類似于RGB圖像/帖，多個深度圖像/帖中的每一個深度圖像/帖都包括對應于用戶 108頭部/臉部的深度圖。在一示例性實施例中，相機104和深度傳感器106可W與共同的 時鐘進行通信，W使得深度相機104和深度傳感器106在時間上彼此同步。因此，相機104 生成的每一個RGB圖像/帖在時間上與深度傳感器106生成的相應深度圖像/帖對齊。在 另一示例性實施例中，接收器組件110可W被配置成在時間上使相機104輸出的RGB帖與 深度傳感器106輸出的深度帖同步。
[0025] 模型生成器組件112與接收器組件110通信并接收同步的相機104捕捉到的RGB 圖像和深度傳感器106捕捉到的深度圖像。如將在下文中更詳細地描述的，模型生成器組 件112被配置成至少部分地基于相機104輸出的RGB帖與深度傳感器106輸出的深度帖來 生成用戶108頭部/臉部的相對準確的虛擬=維模型。系統(tǒng)100包括數(shù)據(jù)存儲114,該數(shù)據(jù) 存儲114可保存模型生成器組件112生成的用戶108頭部/臉部的虛擬=維模型116。= 維模型116可W在其中期望虛擬化用戶108頭部/臉部的各種環(huán)境中使用。例如，=維模 型116可被用來表示諸如在線游戲環(huán)境等在線環(huán)境中的用戶108。旨P，S維模型116可被 用作用戶108的化身。另外，S維模型116可被動畫化。例如，S維模型116可被用來映射 到用戶表情，運使用RGB帖中所標識的特征作為指導。在另一個示例中，S維模型116可使 用預定義表情來動畫化。在運一示例性實施例中，=維模型116中的特征位置的知識可W 在動畫化該=維模型時使用。簡而言之，當用戶108的頭部/臉部處在相對于傳感器單元 102的各種不同的可能位置時，模型生成器組件112可基于相機104輸出的RGB帖和深度傳 感器106輸出的深度帖來生成=維模型116。在第一示例性實施例中，用戶108最初可將 她的頭部定向在相對于傳感器單元102向左偏移大約20° (從用戶的角度）。當用戶108 的頭部被運樣定位時，相機104和深度傳感器106可W分別捕捉用戶108頭部/臉部的多 個RGB圖像和多個深度圖像（大約40個）。隨后，用戶108可W直接看著傳感器單元102。 當用戶108的頭部/臉部W運一方式定向時，可由相機104和深度傳感器106分別捕捉到 大約40個RGB圖像和40個深度圖像。之后，用戶可將她的頭部定向在相對于傳感器單元 102向右偏移大約20° (從用戶的角度），并且可由相機104和