專利名稱：用于介觀幾何結(jié)構(gòu)調(diào)制的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖形和計(jì)算機(jī)視覺(jué)的領(lǐng)域，具體而言涉及用于介觀幾何結(jié)構(gòu)調(diào) 制(mesoscopic geometry modulation)的系統(tǒng)禾口方法。
背景技術(shù)：
近來(lái)，對(duì)于三維(3D)臉部模型的需求越來(lái)越大。電影行業(yè)越來(lái)越依賴于計(jì)算機(jī)圖 形(CG)來(lái)將人類演員放置在物理上不可行的情形中。在一些情形中，演員完全被相應(yīng)的虛 擬對(duì)應(yīng)物所替換，因?yàn)樗枰溺R頭可能使演員遭到危險(xiǎn)。為了無(wú)縫地集成演員或其CG表示，必須匹配從其他物體投射的光影。使用粗略 臉部模型的傳統(tǒng)方案是不夠的，因?yàn)槿祟愌劬σ驯挥?xùn)練來(lái)研讀臉部，因此即使是細(xì)微的瑕 疵也會(huì)立即被發(fā)現(xiàn)。另外，諸如皺紋形成之類的次級(jí)效應(yīng)對(duì)于動(dòng)畫(huà)制作者來(lái)說(shuō)或者通過(guò)物 理仿真的方式創(chuàng)建起來(lái)是尤其困難和煩冗的，但這些次級(jí)效應(yīng)對(duì)于自然的臉部外觀是必需 的。當(dāng)前，唯一實(shí)際的選項(xiàng)是利用3D捕捉來(lái)獲取臉部的模型。所獲取的模型可以直接 被集成到電影中，或者可用于控制其他臉部。此外，電影行業(yè)不是僅有的需要逼真的臉部模 型的行業(yè)。計(jì)算機(jī)游戲?qū)τ谔摂M人物有需求。另外，醫(yī)學(xué)對(duì)于這種模型感興趣。3D捕捉的傳統(tǒng)方案可被分類成深度估計(jì)技術(shù)或法線估計(jì)技術(shù)。諸如毛孔和皺紋之 類的介觀皮膚細(xì)節(jié)的深度變化在微米范圍內(nèi)。大多數(shù)深度估計(jì)技術(shù)用當(dāng)前的硬件是無(wú)法實(shí) 現(xiàn)這種水平的細(xì)節(jié)的。激光掃描能夠恢復(fù)這些尺度上的深度變化，但是此技術(shù)因?yàn)槠つw的 半透明性和/或獲取過(guò)程所需的時(shí)間而產(chǎn)生不充分的結(jié)果。作為一種變通方案，改為掃描 臉部的石膏模具。這些深度估計(jì)技術(shù)中的每一個(gè)都有各種缺陷，其中包括獲得演員臉部的 石膏模具的繁重過(guò)程。法線估計(jì)技術(shù)區(qū)分從物體的表面發(fā)散的漫射法線(diffuse normal)和鏡面法線 (specular normal)。與漫射法線相比，鏡面法線所編碼的細(xì)節(jié)要高得多?？梢曰谠趯?duì)象 的表面處反射的光來(lái)估計(jì)漫射法線和鏡面法線。每條法線反射來(lái)自不同方向的光。給定光 的方向，可以估計(jì)法線。取決于入射光的方向，存在兩條對(duì)立的研究線。第一條研究線使用 已知位置和已知方向處的單個(gè)光源。然而，為了對(duì)可能法線的整個(gè)空間采樣，必須移動(dòng)光。 從而，該系統(tǒng)只適合于靜態(tài)場(chǎng)景。第二條研究線在對(duì)象的四周都放置光源。這里的問(wèn)題是 區(qū)分反射的光源自哪個(gè)光源。傳統(tǒng)的法線估計(jì)技術(shù)依賴于極化來(lái)分離漫射部分和鏡面部分，從而具有多種缺 點(diǎn)。首先，最先進(jìn)的實(shí)現(xiàn)方式對(duì)于一次掃描要求多達(dá)13個(gè)幀。為了能夠捕捉表演，這些傳 統(tǒng)的技術(shù)實(shí)現(xiàn)非常昂貴的高速相機(jī)。被捕捉的對(duì)象在捕捉過(guò)程期間仍有可能略微移動(dòng)；從 而，必須應(yīng)用精密的圖像配準(zhǔn)技術(shù)來(lái)將所捕捉的幀重新對(duì)齊。另外，短曝光時(shí)間和對(duì)極化的 使用大大增加了所需的照明量，從而導(dǎo)致非常高的能量消耗和發(fā)熱問(wèn)題。最后，光的極化將 傳統(tǒng)方案限于從有限的一組視點(diǎn)捕捉高分辨率鏡面法線地圖。從以上可見(jiàn)，現(xiàn)有技術(shù)中需要用于諸如高分辨率臉部模型之類的高分辨率模型的捕捉的改進(jìn)技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例提供了將介觀細(xì)節(jié)添加到通過(guò)諸如立體重建之類的重建技術(shù)恢 復(fù)的低頻幾何結(jié)構(gòu)的技術(shù)。在某些實(shí)施例中，介觀皮膚細(xì)節(jié)存在于空間頻率域中的某些頻 帶內(nèi)。本發(fā)明的實(shí)施例應(yīng)用一個(gè)或多個(gè)帶通濾波器來(lái)從對(duì)象中提取一種或多種不同類型的 細(xì)節(jié)。這些特征隨后被用于調(diào)制低頻幾何結(jié)構(gòu)。本發(fā)明的一個(gè)實(shí)施例提供了用于生成物體的三維模型的由計(jì)算機(jī)實(shí)現(xiàn)的方法。該 方法包括利用諸如立體重建之類的重建方法生成物體的粗略幾何結(jié)構(gòu)網(wǎng)格；基于與該粗略 幾何結(jié)構(gòu)網(wǎng)格相關(guān)聯(lián)的光度一致性和表面一致性來(lái)優(yōu)化該粗略幾何結(jié)構(gòu)網(wǎng)格；通過(guò)向該物 體的圖像應(yīng)用濾波器來(lái)確定與該物體相關(guān)聯(lián)的第一組介觀細(xì)節(jié)，其中第一組介觀細(xì)節(jié)中包 括的介觀細(xì)節(jié)在該物體的圖像中是可檢測(cè)的并且在生成該物體的粗略幾何結(jié)構(gòu)網(wǎng)格時(shí)是 不可重建的；以及利用第一組介觀細(xì)節(jié)來(lái)細(xì)化該粗略幾何結(jié)構(gòu)網(wǎng)格以生成該物體的三維模 型。本發(fā)明的另一實(shí)施例提供了一種用于生成物體的三維模型的由計(jì)算機(jī)實(shí)現(xiàn)的方 法。該方法包括生成物體的粗略幾何結(jié)構(gòu)網(wǎng)格；基于與該粗略幾何結(jié)構(gòu)網(wǎng)格相關(guān)聯(lián)的光度 一致性和表面一致性來(lái)計(jì)算該粗略幾何結(jié)構(gòu)網(wǎng)格的優(yōu)化；以及基于該優(yōu)化來(lái)細(xì)化該粗略幾 何結(jié)構(gòu)網(wǎng)格。在使用立體重建來(lái)恢復(fù)低頻幾何結(jié)構(gòu)的實(shí)施例中，細(xì)節(jié)是從用于立體重建的那些 圖像中恢復(fù)的，這是本技術(shù)與法線估計(jì)相比的關(guān)鍵優(yōu)點(diǎn)之一。然后，從每個(gè)相機(jī)的一個(gè)圖像 重建臉部模型。結(jié)果在視覺(jué)上接近當(dāng)前最先進(jìn)的法線估計(jì)方案產(chǎn)生的結(jié)果，但是成本低得 多。本發(fā)明的實(shí)施例從而為較小的公司或私人提供了低預(yù)算的替代方案。


為了能夠詳細(xì)理解以上記載的本發(fā)明的特征，通過(guò)參考實(shí)施例可以對(duì)以上簡(jiǎn)要總 結(jié)的本發(fā)明進(jìn)行更具體的描述，實(shí)施例中的一些在附圖中圖示。然而，要注意，附圖只圖示 了本發(fā)明的典型實(shí)施例，因此不應(yīng)被認(rèn)為限制了其范圍，因?yàn)楸景l(fā)明可涵蓋其他具有相同 效果的實(shí)施例。圖1是被配置為實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)方面的系統(tǒng)的框圖。圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例在捕捉和重建對(duì)象時(shí)恢復(fù)介觀細(xì)節(jié)的方法步驟的 流程圖。圖3A是圖示出根據(jù)本發(fā)明一個(gè)實(shí)施例利用兩個(gè)相機(jī)來(lái)捕捉對(duì)象的概念圖。圖;3B是根據(jù)本發(fā)明一個(gè)實(shí)施例用于執(zhí)行立體重建的方法步驟的流程圖。圖4A是根據(jù)本發(fā)明一個(gè)實(shí)施例的介觀細(xì)節(jié)的概念圖示。圖4B是根據(jù)本發(fā)明一個(gè)實(shí)施例的粗略幾何結(jié)構(gòu)(coarse geometry)的概念圖示。圖4C是根據(jù)本發(fā)明一個(gè)實(shí)施例在帶有視差位移(disparitydisplacement)的情 況下被應(yīng)用到粗略幾何結(jié)構(gòu)的介觀細(xì)節(jié)的概念圖示。圖4D是根據(jù)本發(fā)明一個(gè)實(shí)施例在帶有法線位移的情況下被應(yīng)用到粗略幾何結(jié)構(gòu) 的介觀細(xì)節(jié)的概念圖示。
具體實(shí)施例方式本發(fā)明的實(shí)施例提供了將介觀細(xì)節(jié)添加到通過(guò)諸如立體重建之類的重建技術(shù)恢 復(fù)的低頻幾何結(jié)構(gòu)的技術(shù)。在某些實(shí)施例中，介觀皮膚細(xì)節(jié)存在于空間頻率域中的某些頻 帶內(nèi)。本發(fā)明的實(shí)施例應(yīng)用一個(gè)或多個(gè)帶通濾波器來(lái)從對(duì)象中提取一種或多種不同類型的 細(xì)節(jié)。這些特征隨后被用于調(diào)制低頻幾何結(jié)構(gòu)。本發(fā)明的一個(gè)實(shí)施例提供了用于生成物體的三維模型的由計(jì)算機(jī)實(shí)現(xiàn)的方法。該 方法包括利用諸如立體重建之類的重建方法生成物體的粗略幾何結(jié)構(gòu)網(wǎng)格；基于與該粗略 幾何結(jié)構(gòu)網(wǎng)格相關(guān)聯(lián)的光度一致性和表面一致性來(lái)優(yōu)化該粗略幾何結(jié)構(gòu)網(wǎng)格；通過(guò)向該物 體的圖像應(yīng)用濾波器來(lái)確定與該物體相關(guān)聯(lián)的第一組介觀細(xì)節(jié)，其中第一組介觀細(xì)節(jié)中包 括的介觀細(xì)節(jié)在該物體的圖像中是可檢測(cè)的并且在生成該物體的粗略幾何結(jié)構(gòu)網(wǎng)格時(shí)是 不可重建的；以及利用第一組介觀細(xì)節(jié)來(lái)細(xì)化該粗略幾何結(jié)構(gòu)網(wǎng)格以生成該物體的三維模 型。本發(fā)明的另一實(shí)施例提供了一種用于生成物體的三維模型的由計(jì)算機(jī)實(shí)現(xiàn)的方 法。該方法包括生成物體的粗略幾何結(jié)構(gòu)網(wǎng)格；基于與該粗略幾何結(jié)構(gòu)網(wǎng)格相關(guān)聯(lián)的光度 一致性和表面一致性來(lái)計(jì)算該粗略幾何結(jié)構(gòu)網(wǎng)格的優(yōu)化；以及基于該優(yōu)化來(lái)細(xì)化該粗略幾 何結(jié)構(gòu)網(wǎng)格。在使用立體重建來(lái)恢復(fù)低頻幾何結(jié)構(gòu)的實(shí)施例中，細(xì)節(jié)是從用于立體重建的那些 圖像中恢復(fù)的，這是本技術(shù)與法線估計(jì)相比的關(guān)鍵優(yōu)點(diǎn)之一。然后，從每個(gè)相機(jī)的一個(gè)圖像 重建臉部模型。結(jié)果在視覺(jué)上接近當(dāng)前最先進(jìn)的法線估計(jì)方案產(chǎn)生的結(jié)果，但是成本低得 多。本發(fā)明的實(shí)施例從而為較小的公司或私人提供了低預(yù)算的替代方案。皮膚是包括多種成分的復(fù)雜結(jié)構(gòu)。在一些實(shí)施例中，可在以下三個(gè)不同尺度上考 慮皮膚微觀尺度、介觀尺度和宏觀尺度。微觀尺度中的皮膚特征在相機(jī)捕捉的圖像中是不 可感知的，而宏觀尺度則太粗略以至于不適合于細(xì)節(jié)特征。在介觀尺度上，特征可被分類成 兩個(gè)群組。第一群組是基于顏色變化的。斑點(diǎn)、雀斑和痣是介觀尺度特征的第一群組的示 例。第二群組是基于幾何變化的。毛孔、細(xì)紋和臉部汗毛屬于此群組。在一些實(shí)施例中，第 一和第二群組中的每個(gè)特征位于圖像的空間頻譜的特定范圍中。從而，根據(jù)本發(fā)明的實(shí)施例，基于圖像的空間頻率內(nèi)容，可從圖像中提取介觀特 征。在一些實(shí)施例中，介觀特征是在物體的圖像中可察覺(jué)、但在由于對(duì)物體執(zhí)行諸如立體重 建之類的重建而產(chǎn)生的粗略幾何結(jié)構(gòu)中則不可測(cè)量的那些特征。在一些實(shí)施例中，粗略幾 何結(jié)構(gòu)可包括物體的比介觀特征更大尺度的特征。例如，可從圖像中提取毛孔信息。毛孔 以一種有非常有規(guī)律的方式覆蓋臉部并且很適合作為用于圖像配準(zhǔn)的特征。此外，毛孔通 常是各向同性的(即，沿著每條軸是對(duì)稱的)。在一個(gè)實(shí)施例中，可利用適當(dāng)選擇的帶通濾 波器來(lái)對(duì)圖像進(jìn)行濾波?？衫美绽篂V波器和非極大抑制算法來(lái)對(duì)結(jié)果進(jìn)一步濾波以 找到介觀細(xì)節(jié)的位置。作為最后一步，本發(fā)明的實(shí)施例可以按照拉普拉斯的響應(yīng)對(duì)特征候 選者進(jìn)行加權(quán)。諸如丘疹之類的其他各向同性特征可以按類似的方式來(lái)提取，而諸如皺紋 之類的各向異性特征則可能需要不同的濾波器。系統(tǒng)概述圖1是被配置為實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)方面的系統(tǒng)100的框圖。系統(tǒng)100可以是計(jì)算機(jī)工作站、個(gè)人計(jì)算機(jī)、視頻游戲控制臺(tái)、個(gè)人數(shù)字助理、渲染引擎、移動(dòng)電話或任何 其他適用于實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的設(shè)備。如圖所示，系統(tǒng)100包括中央處理單元(CPU) 102和系統(tǒng)存儲(chǔ)器104，它們經(jīng)由總 線路徑通信，總線路徑可包括存儲(chǔ)器橋105。CPU 102包括一個(gè)或多個(gè)處理核心，并且在 操作中CPU 102是系統(tǒng)100的主處理器，控制和協(xié)調(diào)其他系統(tǒng)組件的操作。系統(tǒng)存儲(chǔ)器 104存儲(chǔ)供CPU 102使用的軟件應(yīng)用和數(shù)據(jù)。CPU 102運(yùn)行軟件應(yīng)用并且可選地運(yùn)行操作 系統(tǒng)。存儲(chǔ)器橋105(其例如可以是Norttibridge芯片)經(jīng)由總線或其他通信路徑(例 如HyperTransport鏈路)連接到1/0(輸入/輸出)橋107。I/O橋107 (其例如可以是 Southbridge芯片)從一個(gè)或多個(gè)用戶輸入設(shè)備108(例如鍵盤、鼠標(biāo)、操縱桿、數(shù)化板、觸 摸板、觸摸屏、靜止或視頻相機(jī)、運(yùn)動(dòng)傳感器和/或麥克風(fēng))接收用戶輸入并經(jīng)由存儲(chǔ)器橋 105將輸入轉(zhuǎn)發(fā)給CPU102。顯示處理器112經(jīng)由總線或其他通信路徑(例如PCI Express、Accelerated Graphics Port或者HyperTransport鏈路)耦合到存儲(chǔ)器橋105 ；在一個(gè)實(shí)施例中，顯示處 理器112是包括至少一個(gè)圖形處理單元(GPU)和圖形存儲(chǔ)器的圖形子系統(tǒng)。圖形存儲(chǔ)器包 括用于存儲(chǔ)輸出圖像的每個(gè)像素的像素?cái)?shù)據(jù)的顯示存儲(chǔ)器(例如幀緩沖器)。圖形存儲(chǔ)器 可與GPU集成在同一設(shè)備中、作為單獨(dú)的設(shè)備與GPU相連和/或在系統(tǒng)存儲(chǔ)器104內(nèi)實(shí)現(xiàn)。顯示處理器112周期性地遞送像素給顯示設(shè)備110 (例如屏幕或傳統(tǒng)的基于CRT、 等離子、0LED、SED或IXD的監(jiān)視器或電視機(jī))。此外，顯示處理器112可將像素輸出到適合 于在攝影膠片上再現(xiàn)計(jì)算機(jī)生成的圖像的膠片記錄器。顯示處理器112可向顯示設(shè)備110 提供模擬或數(shù)字信號(hào)。系統(tǒng)盤114也連接到I/O橋107并且可被配置為存儲(chǔ)供CPU 102和顯示處理器 112使用的內(nèi)容和應(yīng)用和數(shù)據(jù)。系統(tǒng)盤114為應(yīng)用和數(shù)據(jù)提供非易失性存儲(chǔ)并且可包括固 定或可移除的硬盤驅(qū)動(dòng)器、閃存設(shè)備以及⑶-ROM、DVD-ROM、Blu-ray, HD-DVD或其他磁的、 光的或固態(tài)的存儲(chǔ)設(shè)備。交換機(jī)116在1/0橋107和諸如網(wǎng)絡(luò)適配器118和各種附加卡120和121之類的 其他組件之間提供連接。網(wǎng)絡(luò)適配器118使得系統(tǒng)100可以經(jīng)由電子通信網(wǎng)絡(luò)與其他系統(tǒng) 通信，并且可包括經(jīng)由局域網(wǎng)和廣域網(wǎng)(例如因特網(wǎng))的有線或無(wú)線通信。包括USB或其他端口連接、膠片記錄設(shè)備等等在內(nèi)的其他組件(未示出)也可連 接到1/0橋107。例如，音頻處理器可用于根據(jù)由CPU 102、系統(tǒng)存儲(chǔ)器104或系統(tǒng)盤114 提供的指令和/或數(shù)據(jù)生成模擬或數(shù)字音頻輸出?；ミB圖1中的各種組件的通信路徑可利 用諸如 PCI (外圍組件互連)、PCT Express (PCI-E)、AGP(加速圖形端口 )、HyperTransport 或任何其他(一個(gè)或多個(gè))總線或點(diǎn)對(duì)點(diǎn)通信協(xié)議之類的任何適當(dāng)協(xié)議來(lái)實(shí)現(xiàn)，并且不同 設(shè)備之間的連接可使用不同的協(xié)議，這是本領(lǐng)域中已知的。在一個(gè)實(shí)施例中，顯示處理器112包含針對(duì)圖形和視頻處理進(jìn)行了優(yōu)化的電路 (包括例如視頻輸出電路)并且構(gòu)成圖形處理單元(GPU)。在另一實(shí)施例中，顯示處理器 112包含針對(duì)通用處理進(jìn)行了優(yōu)化的電路。在又一實(shí)施例中，顯示處理器112可與諸如存儲(chǔ) 器橋105、CPU 102和/或1/0橋107之類的一個(gè)或多個(gè)其他系統(tǒng)元件集成以形成片上系統(tǒng) (Soc) 0在其他實(shí)施例中，顯示處理器112被省略，并且CPU 102運(yùn)行的軟件執(zhí)行顯示處理 器112的功能。
像素?cái)?shù)據(jù)可以被直接從CPU 102提供給顯示處理器112。在本發(fā)明的一些實(shí)施 例中，表示場(chǎng)景的指令和/或數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)適配器118或系統(tǒng)盤114被提供到渲染集群 (render farm)或一組服務(wù)器計(jì)算機(jī)，其中每一個(gè)類似于系統(tǒng)100。該渲染集群利用所提供 的指令和/或數(shù)據(jù)來(lái)生成該場(chǎng)景的一個(gè)或多個(gè)渲染的圖像。這些渲染的圖像可以以數(shù)字格 式被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上并且可選地被返回給系統(tǒng)100以供顯示。類似地，經(jīng)顯示處 理器112處理的立體圖像對(duì)可被輸出到其他系統(tǒng)以供顯示、存儲(chǔ)在系統(tǒng)盤114中或者以數(shù) 字格式被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上?；蛘?，CPU 102向顯示處理器112提供限定所期望的輸出圖像的數(shù)據(jù)和/或指令， 顯示處理器112根據(jù)這些數(shù)據(jù)和/或指令生成一個(gè)或多個(gè)輸出圖像的像素?cái)?shù)據(jù)，其中包括 表征和/或調(diào)整立體圖像對(duì)之間的偏移。限定所期望的輸出圖像的數(shù)據(jù)和/或指令可被存 儲(chǔ)在系統(tǒng)存儲(chǔ)器104中或顯示處理器112內(nèi)的圖形存儲(chǔ)器中。在一實(shí)施例中，顯示處理器 112包括3D渲染能力，用于根據(jù)限定場(chǎng)景的幾何結(jié)構(gòu)、光影、紋理、運(yùn)動(dòng)和/或相機(jī)參數(shù)的指 令生成輸出圖像的像素?cái)?shù)據(jù)。顯示處理器112還可包括能夠執(zhí)行描影器(shader)程序、色 調(diào)映射程序等等的一個(gè)或多個(gè)可編程執(zhí)行單元。將認(rèn)識(shí)到，這里示出的系統(tǒng)是例示性的，變化和修改是可能的。包括橋的數(shù)目和布 置在內(nèi)的連接拓?fù)淇筛鶕?jù)需要被修改。例如，在一些實(shí)施例中，系統(tǒng)存儲(chǔ)器104直接而不是 通過(guò)橋連接到CPU 102，并且其他設(shè)備經(jīng)由存儲(chǔ)器橋105和CPU 102與系統(tǒng)存儲(chǔ)器104通 信。在其他替代拓?fù)渲?，顯示處理器112連接到I/O橋107或直接連接到CPU 102，而不是 連接到存儲(chǔ)器橋105。在還有一些實(shí)施例中，I/O橋107和存儲(chǔ)器橋105可被集成到單個(gè)芯 片中。這里示出的特定組件是可選的；例如，可以支持任意數(shù)目的附加卡或外圍設(shè)備。在一 些實(shí)施例中，去除了交換機(jī)116，并且網(wǎng)絡(luò)適配器118和附加卡120、121直接連接到I/O橋 107。根據(jù)本發(fā)明的實(shí)施例，可基于圖像的空間頻率內(nèi)容從圖像中提取介觀特征。本發(fā) 明的某些實(shí)施例可利用存儲(chǔ)在系統(tǒng)存儲(chǔ)器104中并由CPU 102和/或顯示處理器112執(zhí)行 的軟件來(lái)實(shí)現(xiàn)。其他實(shí)施例可實(shí)現(xiàn)為顯示處理器112執(zhí)行的一個(gè)或多個(gè)描影器程序。還有 一些實(shí)施例可利用包括在顯示處理器112內(nèi)的固定功能硬件來(lái)實(shí)現(xiàn)。其他實(shí)施例可實(shí)現(xiàn)為 硬件和軟件的組合。介觀幾何結(jié)構(gòu)調(diào)制圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例在捕捉和重建對(duì)象時(shí)恢復(fù)介觀細(xì)節(jié)的方法步驟的 流程圖。本領(lǐng)域的技術(shù)人員將會(huì)理解，雖然方法200是結(jié)合圖1的系統(tǒng)來(lái)描述的，但是被配 置為按任何順序執(zhí)行這些方法步驟的任何系統(tǒng)都在本發(fā)明的實(shí)施例的范圍內(nèi)。如圖所示，方法200開(kāi)始于步驟202，在該步驟中處理器確定對(duì)象的粗略幾何結(jié) 構(gòu)。在一個(gè)實(shí)施例中，對(duì)象是人類頭部，并且人類頭部的粗略幾何結(jié)構(gòu)包括頭部的大體形 狀，提供了諸如鼻子、耳朵、眼睛、嘴巴等等之類的主要特征的形狀。在粗略幾何結(jié)構(gòu)中不包 括介觀細(xì)節(jié)(例如毛孔、瑕疵、毛發(fā)等等)。例如，粗略幾何結(jié)構(gòu)可提供對(duì)象的塑料狀和/或 “蠟狀”的幾何結(jié)構(gòu)。在一個(gè)實(shí)施例中，粗略幾何結(jié)構(gòu)是利用(多視圖)立體重建來(lái)確定的，如圖:3B所 述。在其他實(shí)施例中，可以實(shí)現(xiàn)任何其他技術(shù)上可行的用于確定粗略幾何結(jié)構(gòu)的技術(shù)。立體重建包括找出對(duì)象的兩個(gè)圖像之間的對(duì)應(yīng)關(guān)系。一旦確定了兩個(gè)圖像之間的對(duì)應(yīng)像素和/或亞像素位置，就可以很容易實(shí)現(xiàn)重建。圖像配準(zhǔn)在過(guò)去幾十年來(lái)一直是熱 門研究領(lǐng)域，不僅用于立體重建，而且用于光流分析、醫(yī)學(xué)成像及其他。在此期間，提出了許 多不同的技術(shù)。圖3A是圖示出根據(jù)本發(fā)明一個(gè)實(shí)施例利用兩個(gè)相機(jī)304、306來(lái)捕捉對(duì)象302的 概念圖。如圖所示，相機(jī)304從左側(cè)捕捉對(duì)象302 ；而相機(jī)306從右側(cè)捕捉對(duì)象302。在一 些實(shí)施例中，相機(jī)304、306的圖像可以同時(shí)被捕捉以減輕時(shí)間上的不連續(xù)。根據(jù)由此產(chǎn)生 的圖像，可以實(shí)現(xiàn)立體重建以生成對(duì)象302的粗略幾何結(jié)構(gòu)。圖;3B是根據(jù)本發(fā)明一個(gè)實(shí)施例用于執(zhí)行立體重建的方法步驟的流程圖。本領(lǐng)域 的技術(shù)人員將會(huì)理解，雖然方法300是結(jié)合圖1和3A的系統(tǒng)來(lái)描述的，但是被配置為按任 何順序執(zhí)行這些方法步驟的任何系統(tǒng)都在本發(fā)明的實(shí)施例的范圍內(nèi)。如圖所示，方法300開(kāi)始于步驟310，在該步驟中處理器矯正圖像。立體重建包括 找出一個(gè)圖像中的點(diǎn)和另一圖像中的點(diǎn)之間的對(duì)應(yīng)關(guān)系。例如，對(duì)于圖像I中的給定的點(diǎn) P，立體重建包括找出圖像J中的對(duì)應(yīng)點(diǎn)q。本發(fā)明的實(shí)施例利用經(jīng)校準(zhǔn)的設(shè)置來(lái)操作；從 而，搜索范圍可被約束到一個(gè)維度。此約束被稱為對(duì)極約束(epipolar constraint)，其規(guī) 定圖像I中的點(diǎn)P在圖像J中的對(duì)應(yīng)點(diǎn)q必須位于對(duì)極線上，反之亦然。當(dāng)這些線對(duì)應(yīng)于 圖像中的相同行時(shí)(這是通過(guò)矯正來(lái)實(shí)現(xiàn)的)，匹配變得尤其簡(jiǎn)單。在步驟312，處理器執(zhí)行立體匹配。在一個(gè)實(shí)施例中，可使用基于塊的匹配算法 (也稱為基于面片的或基于區(qū)域的匹配算法)。經(jīng)由誤差函數(shù)ε為所有可能的對(duì)應(yīng)關(guān)系 Qi計(jì)算匹配質(zhì)量，并且選擇具有最低誤差的對(duì)應(yīng)關(guān)系。常用的誤差函數(shù)包括距離平方之和 (SSD)、絕對(duì)差之和(SAD)或互相關(guān)。在立體匹配算法中可實(shí)現(xiàn)額外的改進(jìn)，例如添加約束、 雙向匹配以及亞像素匹配。此外，本發(fā)明的一些實(shí)施例可包括確保對(duì)應(yīng)關(guān)系具有低誤差和 良好的定位的匹配質(zhì)量度量。在步驟314，處理器執(zhí)行優(yōu)化。在一些實(shí)施例中，立體匹配僅提供了視差地圖的粗 略初始估計(jì)。此地圖還可包括整片的離群值，尤其在不連續(xù)處或僅相機(jī)之一可見(jiàn)的區(qū)域處。 可執(zhí)行一個(gè)或多個(gè)額外的處理步驟來(lái)優(yōu)化視差地圖，包括面片填充和不連續(xù)重定位。在一個(gè)實(shí)施例中，優(yōu)化被定義為利用光度一致性和表面一致性對(duì)視差d的迭代細(xì) 化。優(yōu)化既對(duì)視差地圖執(zhí)行并且隨后也對(duì)表面執(zhí)行。這兩個(gè)優(yōu)化都可以實(shí)現(xiàn)為迭代的過(guò)程。 在一些實(shí)施例中，優(yōu)化保留了體積并且迅速收斂到期望的解答。由于收斂在開(kāi)始時(shí)接近于 指數(shù)的，所以本發(fā)明的實(shí)施例在到達(dá)收斂前終止優(yōu)化，以在質(zhì)量和計(jì)算工作量之間找到平 衡。如下所述，這對(duì)于視差金字塔的低分辨率層尤其有價(jià)值，因?yàn)橄乱粋€(gè)較高的級(jí)別反正也 會(huì)細(xì)化視差，因此一些實(shí)施例只需要消除嚴(yán)重誤差。1.視差地圖優(yōu)化在一個(gè)實(shí)施例中，視差值在每次迭代中以~和ds的線性組合的形式被更新，其中 dp是在改進(jìn)的光度一致性的方向上調(diào)整，而ds是在改進(jìn)的表面一致性的方向上的調(diào)整。計(jì)算dp-給定圖像I中的當(dāng)前像素ρ及其在圖像J中的匹配q，本發(fā)明的實(shí)施例計(jì) 算ρ與q-l、q和q+Ι的正規(guī)化互相關(guān)(NCC)，其中偏移表示q的左鄰居和右鄰居。各個(gè)NCC 被標(biāo)記為ξ-” 10、ξ+1，并且\被計(jì)算為
權(quán)利要求
1.一種用于介觀幾何結(jié)構(gòu)調(diào)制的由計(jì)算機(jī)實(shí)現(xiàn)的方法，該方法包括通過(guò)向物體的圖像應(yīng)用濾波器來(lái)確定與物體相關(guān)聯(lián)的第一組介觀細(xì)節(jié)，其中所述第一 組介觀細(xì)節(jié)中包括的介觀細(xì)節(jié)在所述物體的圖像中是可檢測(cè)的并且在生成所述物體的粗 略幾何結(jié)構(gòu)重建時(shí)是不可檢測(cè)的；以及通過(guò)利用所述第一組介觀細(xì)節(jié)調(diào)制所述粗略幾何結(jié)構(gòu)來(lái)生成所述物體的三維模型。
2.如權(quán)利要求1所述的方法，其中所述濾波器與一空間頻率范圍相關(guān)聯(lián)，該空間頻率 范圍與所述第一組介觀細(xì)節(jié)相關(guān)聯(lián)。
3.如權(quán)利要求1所述的方法，還包括通過(guò)基于所述物體的兩個(gè)圖像執(zhí)行立體重建來(lái)確 定所述粗略幾何結(jié)構(gòu)。
4.如權(quán)利要求3所述的方法，其中執(zhí)行立體重建包括 矯正所述物體的兩個(gè)圖像；向所述物體的兩個(gè)圖像應(yīng)用高通濾波器以提取高空間頻率特征；以及 基于所述高空間頻率特征來(lái)執(zhí)行立體匹配。
5.如權(quán)利要求1所述的方法，其中利用所述第一組介觀細(xì)節(jié)調(diào)制所述粗略幾何結(jié)構(gòu)包 括執(zhí)行法線位移操作。
6.如權(quán)利要求1所述的方法，還包括向所述物體的圖像應(yīng)用第二濾波器以確定與所述 物體相關(guān)聯(lián)的第二組介觀細(xì)節(jié)。
7.如權(quán)利要求6所述的方法，其中所述第二濾波器具有與所述第二組介觀細(xì)節(jié)中包括 的介觀細(xì)節(jié)相關(guān)聯(lián)的空間頻率范圍。
8.如權(quán)利要求1所述的方法，其中與所述濾波器相關(guān)聯(lián)的空間頻率范圍是基于以下各 項(xiàng)中的至少一項(xiàng)來(lái)計(jì)算的與所述物體的圖像相關(guān)聯(lián)的分辨率、所述物體與用于捕捉所述 物體的圖像的相機(jī)之間的距離、以及所述第一組介觀細(xì)節(jié)中包括的介觀細(xì)節(jié)的大小。
9.如權(quán)利要求1所述的方法，其中所述物體包括人類頭部，并且所述介觀細(xì)節(jié)包括斑 點(diǎn)、雀斑、痣、毛孔、細(xì)紋或臉部汗毛。
10.一種用于生成物體的三維模型的由計(jì)算機(jī)實(shí)現(xiàn)的方法，該方法包括 生成所述物體的粗略幾何結(jié)構(gòu)網(wǎng)格；基于與所述粗略幾何結(jié)構(gòu)網(wǎng)格相關(guān)聯(lián)的光度一致性和表面一致性來(lái)計(jì)算所述粗略幾 何結(jié)構(gòu)網(wǎng)格的優(yōu)化；以及基于所述優(yōu)化來(lái)細(xì)化所述粗略幾何結(jié)構(gòu)網(wǎng)格。
11.如權(quán)利要求10所述的方法，其中生成所述物體的粗略幾何結(jié)構(gòu)網(wǎng)格包括實(shí)現(xiàn)立體重建技術(shù)。
12.如權(quán)利要求10所述的方法，其中實(shí)現(xiàn)所述立體重建技術(shù)提供了視差地圖的初始估計(jì)。
13.如權(quán)利要求12所述的方法，還包括基于在改進(jìn)的光度一致性的方向上和/或改進(jìn) 的表面一致性的方向上調(diào)整與所述視差地圖相關(guān)聯(lián)的視差值來(lái)優(yōu)化所述視差值。
14.如權(quán)利要求10所述的方法，還包括通過(guò)向所述物體的圖像應(yīng)用濾波器來(lái)確定與所 述物體相關(guān)聯(lián)的第一組介觀細(xì)節(jié)，其中所述第一組介觀細(xì)節(jié)中包括的介觀細(xì)節(jié)在所述物體 的圖像中是可檢測(cè)的、但在生成所述物體的粗略幾何結(jié)構(gòu)網(wǎng)格時(shí)不可重建的。
15.如權(quán)利要求14所述的方法，還包括利用所述第一組介觀細(xì)節(jié)來(lái)調(diào)制經(jīng)細(xì)化的粗略幾何結(jié)構(gòu)網(wǎng)格，其中利用所述第一組介觀細(xì)節(jié)來(lái)調(diào)制經(jīng)細(xì)化的粗略幾何結(jié)構(gòu)網(wǎng)格是基于介 觀一致性項(xiàng)的。
全文摘要
本發(fā)明提供了用于介觀幾何結(jié)構(gòu)調(diào)制的系統(tǒng)和方法。一種用于生成物體的三維模型的由計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法包括生成物體的粗略幾何結(jié)構(gòu)網(wǎng)格；基于與該粗略幾何結(jié)構(gòu)網(wǎng)格相關(guān)聯(lián)的光度一致性和表面一致性來(lái)計(jì)算該粗略幾何結(jié)構(gòu)網(wǎng)格的優(yōu)化；以及基于該優(yōu)化來(lái)細(xì)化該粗略幾何結(jié)構(gòu)網(wǎng)格以生成該物體的三維模型。
文檔編號(hào)G06T15/00GK102136156SQ20111002503
公開(kāi)日2011年7月27日 申請(qǐng)日期2011年1月18日 優(yōu)先權(quán)日2010年1月18日
發(fā)明者伯爾德·畢克, 保羅·比爾茲利, 羅伯特·薩姆奈, 薩博·多米尼克·比勒爾, 邁克斯·戈洛斯 申請(qǐng)人:迪士尼企業(yè)公司