本發(fā)明屬于虛擬現(xiàn)實(shí)和計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，具體涉及一種基于視覺感知的自適應(yīng)服裝動(dòng)畫建模方法。

背景技術(shù)：

服裝動(dòng)畫模擬效果的視覺逼真性，一直是研究者們致力工作的目標(biāo)。為了得到細(xì)膩的服裝效果，通常需要對(duì)服裝模型進(jìn)行高精度的建模，以表現(xiàn)其豐富的變形細(xì)節(jié)。但高精度模型有近萬個(gè)圖元，這就需要進(jìn)行大量的碰撞檢測(cè)和大規(guī)模動(dòng)力學(xué)方程求解，從而花費(fèi)高昂的計(jì)算代價(jià)，降低系統(tǒng)性能。

為了解決上述問題，一種有效的解決方案是對(duì)服裝進(jìn)行自適應(yīng)多精度建模，現(xiàn)有方法主要包括：基于變形狀態(tài)驅(qū)動(dòng)的建模法，即根據(jù)動(dòng)畫過程中布料狀態(tài)估算服裝可能出現(xiàn)的高變形區(qū)和低變形區(qū)，不同變形程度區(qū)采用不同精度的模型；基于視點(diǎn)位置驅(qū)動(dòng)的建模法，即根據(jù)攝像機(jī)的視點(diǎn)信息，對(duì)位于攝像機(jī)鏡頭內(nèi)和距離攝像機(jī)鏡頭較近的點(diǎn)或面片進(jìn)行精化，而位于鏡頭外或背對(duì)鏡頭的點(diǎn)或面片進(jìn)行粗化。這些方法可以在一定程度上降低計(jì)算代價(jià)，并保持變形細(xì)節(jié)。

但已有方法存在的共性問題是：在動(dòng)畫建模時(shí)，只考慮服裝運(yùn)動(dòng)的客觀真實(shí)性，而完全忽略了人眼主觀作用對(duì)感知逼真性的影響。事實(shí)上，人類視覺系統(tǒng)通過從外界獲取圖像信息傳送入大腦，通過大腦對(duì)圖像信息進(jìn)行分析和理解，然后獲得對(duì)外界信息的感知。視覺感知的敏感度不僅受到光強(qiáng)度、波長的影響，還與記憶與經(jīng)驗(yàn)等更高層次的心理因素有關(guān)。因此，人類視覺系統(tǒng)對(duì)于服裝不同區(qū)域變形的感知將會(huì)受到諸多因素的影響；如果單純考慮構(gòu)建物理真實(shí)的動(dòng)畫模型或者提高服裝模型的精度，而完全忽略視覺敏感度對(duì)感知真實(shí)性的影響，則難以保證最終生成的服裝動(dòng)畫的視覺逼真性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為了實(shí)現(xiàn)視覺效果逼真服裝動(dòng)畫，同時(shí)提高動(dòng)畫計(jì)算效率。

為了保證服裝動(dòng)畫視覺效果逼真，同時(shí)提高動(dòng)畫計(jì)算效率，本發(fā)明公開了一種基于視覺感知的自適應(yīng)多精度服裝動(dòng)畫方法，該方法基于服裝動(dòng)畫視頻提取出在不同抽象層次的特征表示，構(gòu)建符合人眼視覺感知特性的服裝關(guān)注度模型，再結(jié)合服裝不同區(qū)域的物理變形程度以及攝像機(jī)的視點(diǎn)運(yùn)動(dòng)信息，對(duì)服裝進(jìn)行分區(qū)域建模，構(gòu)建視覺效果逼真的服裝動(dòng)畫系統(tǒng)。

本發(fā)明方法包含3個(gè)步驟：

步驟1：構(gòu)建符合人眼特性的服裝視覺顯著模型

人類視覺機(jī)制和視覺心理學(xué)的研究發(fā)現(xiàn)，當(dāng)人類在觀察圖像時(shí)，并不能夠獲得圖像中的所有信息，而是會(huì)選擇性地將注意力集中在場(chǎng)景中的某部分而忽略掉其他的部分。傳統(tǒng)的顯著模型是基于底層圖像特征表示的數(shù)學(xué)模型，而這些特征的選取往往是由人的先驗(yàn)知識(shí)來確定的，存在很多不確定性，由此得到的視覺顯著模型往往不能夠準(zhǔn)確反映人類真實(shí)的視覺感受。為此，本發(fā)明中應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并提取出服裝動(dòng)畫每幀圖像的不同層次抽象特征，并從這些特征和真實(shí)的眼動(dòng)數(shù)據(jù)中深度學(xué)習(xí)出視覺顯著模型。

步驟2：服裝分區(qū)域建模

基于步驟1已構(gòu)建的視覺顯著模型，預(yù)測(cè)服裝動(dòng)畫圖像的視覺顯著圖，提取出服裝區(qū)域的關(guān)注度，對(duì)服裝變形進(jìn)行濾波，并結(jié)合攝像機(jī)視點(diǎn)運(yùn)動(dòng)信息以及物理變形信息，通過設(shè)置細(xì)節(jié)模擬因子對(duì)服裝進(jìn)行分區(qū)域建模；在此基礎(chǔ)上，結(jié)合攝像機(jī)視點(diǎn)位置和方向?qū)Ψb區(qū)域進(jìn)行分割，通過設(shè)置細(xì)節(jié)模擬因子控制不同區(qū)域的模擬細(xì)節(jié)程度，保證離視點(diǎn)較遠(yuǎn)的低關(guān)注遮擋區(qū)域盡可能平滑，而離視點(diǎn)近的未遮擋區(qū)域盡可能保持原有變形。

步驟3：構(gòu)建視覺感知驅(qū)動(dòng)的自適應(yīng)服裝模型并實(shí)現(xiàn)模擬，

采用自適應(yīng)多精度網(wǎng)格技術(shù)實(shí)現(xiàn)服裝分區(qū)域建模，細(xì)節(jié)模擬因子高的區(qū)域進(jìn)行高精度建模，細(xì)節(jié)模擬因子較低的區(qū)域則進(jìn)行低精度建模，在此基礎(chǔ)上進(jìn)行動(dòng)力學(xué)計(jì)算和碰撞檢測(cè)，構(gòu)建視覺逼真的服裝動(dòng)畫系統(tǒng)。由于各區(qū)域精度不同，因此區(qū)域邊界容易產(chǎn)生視覺不平滑和偽影。為此，通過設(shè)置連續(xù)精度改變因子進(jìn)行變形修正。

本發(fā)明的有益效果

(1)構(gòu)建的服裝顯著模型能夠準(zhǔn)確的預(yù)測(cè)服裝動(dòng)畫圖像的視覺顯著圖，從而分析出服裝各區(qū)域的關(guān)注度。

(2)通過對(duì)服裝的分區(qū)域建模，能夠保證服裝模型視覺效果逼真，同時(shí)提高模擬效率。

(3)通過構(gòu)建視覺感知驅(qū)動(dòng)的自適應(yīng)服裝模型并實(shí)現(xiàn)模擬，能夠模擬出視覺感知逼真的服裝動(dòng)畫。

附圖說明

圖1為眼動(dòng)數(shù)據(jù)處理示意圖。

圖2為圖像視覺顯著性模型示意圖。

圖3為服裝分割示意圖。

具體實(shí)施方式

下面結(jié)合附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。

一種基于視覺感知的自適應(yīng)服裝動(dòng)畫建模方法，包含以下步驟：

1.構(gòu)建符合人眼特性的服裝視覺顯著模型

1.1眼動(dòng)數(shù)據(jù)采集和預(yù)處理

本發(fā)明采用遙測(cè)式眼動(dòng)儀收集真實(shí)眼動(dòng)數(shù)據(jù)，人位于屏幕前觀看服裝動(dòng)畫視頻，眼動(dòng)儀通過捕捉眼球的運(yùn)動(dòng)情況分析出人眼視線的運(yùn)動(dòng)軌跡和關(guān)注點(diǎn)，并由此產(chǎn)生每幀視頻的焦點(diǎn)圖和熱度圖。對(duì)多位試驗(yàn)者疊加的焦點(diǎn)圖進(jìn)行高斯卷積，得到連續(xù)平滑的“groundtruth”顯著圖(如圖1所示)。圖中自左至右，分別是原始圖像，焦點(diǎn)圖，熱度圖和groundtruth顯著圖。

1.2運(yùn)用深度學(xué)習(xí)方法構(gòu)建視覺顯著性模型

本發(fā)明中運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)提取每幀圖像的不同層次抽象特征，并從這些特征中訓(xùn)練出視覺顯著模型，從而預(yù)測(cè)動(dòng)畫每幀圖像的顯著圖。模型主要由三個(gè)部分組成(如圖2所示)。

將一幀圖像作為輸入，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)(cnn)提取出底層、中層和高層特征；然后，通過特征權(quán)重網(wǎng)絡(luò)訓(xùn)練出各個(gè)特征在視覺顯著性預(yù)測(cè)中的影響權(quán)重，并產(chǎn)生臨時(shí)的視覺顯著圖；最終，再與一個(gè)學(xué)習(xí)得到的先驗(yàn)顯著圖通svm或softmax分類器得到最終的視覺顯著性模型。

(1)特征提取網(wǎng)絡(luò)

該網(wǎng)絡(luò)架構(gòu)是一個(gè)完全卷積神經(jīng)網(wǎng)絡(luò)，共有13層，其獲取輸入圖像并產(chǎn)生特征圖。通過vgg-16架構(gòu)，能夠得到每幀圖像在不同的神經(jīng)網(wǎng)絡(luò)層中的特征表示圖。這些特征圖在不同的抽象層次映射著圖像信息，特征圖在神經(jīng)網(wǎng)絡(luò)中的層次越高所代表的圖像信息越抽象。

(2)特征權(quán)重網(wǎng)絡(luò)

本發(fā)明從特征提取網(wǎng)絡(luò)中選取三層，得到三種不同特征空間的特征圖。它們共享相同的空間大小并且連接形成一個(gè)多通道張量，隨后將其輸入到特征權(quán)重網(wǎng)絡(luò)，其保留概率為0.5，以提高泛化能力。然后，卷積層使用3×3的卷積核學(xué)習(xí)64個(gè)顯著的指定特征圖。最后一個(gè)1×1的卷積層學(xué)習(xí)衡量每個(gè)特征圖的重要性，從而產(chǎn)生臨時(shí)的顯著性預(yù)測(cè)圖。最終，再與一個(gè)學(xué)習(xí)得到的先驗(yàn)顯著圖通過svm或softmax分類器訓(xùn)練得到最終的視覺顯著性預(yù)測(cè)圖。

(3)構(gòu)建視覺顯著性模型

提取到圖像特征后，作為輸入輸送到最后的特征權(quán)重神經(jīng)網(wǎng)絡(luò)用于計(jì)算，得到每塊圖像區(qū)域的顯著度分?jǐn)?shù)。在每幅圖所對(duì)應(yīng)的“groundtruth”顯著圖中，按照顯著性從最引人注意的前30％的顯著位置中選若干個(gè)正樣本，標(biāo)記為1；同樣從最不引人注意的后30％的區(qū)域里選若干個(gè)負(fù)樣本，標(biāo)記為-1。以視頻的每幀圖像和其“groundtruth”顯著圖中的正負(fù)樣本構(gòu)成訓(xùn)練樣本，通過最小化均方預(yù)測(cè)誤差訓(xùn)練得到最后的結(jié)果。

1.3通過交叉驗(yàn)證評(píng)價(jià)模型的準(zhǔn)確性

將特征數(shù)據(jù)集以及顯著圖集分割為兩個(gè)子集，其中一個(gè)子集作為訓(xùn)練樣本集，另外一個(gè)子集作為驗(yàn)證樣本集。根據(jù)訓(xùn)練樣本集學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)；然后用測(cè)試集進(jìn)行測(cè)試，比較預(yù)測(cè)值與真實(shí)樣本值之間的誤差，用以評(píng)價(jià)顯著模型學(xué)習(xí)算法的準(zhǔn)確性。

2.服裝分區(qū)域建模

為了能夠模擬出視覺感知逼真的服裝動(dòng)畫，本發(fā)明將服裝變形、服裝視覺顯著模型、攝像機(jī)視點(diǎn)運(yùn)動(dòng)軌跡相結(jié)合，對(duì)服裝進(jìn)行分區(qū)域建模。

2.1根據(jù)變形分布對(duì)服裝模型進(jìn)行區(qū)域分割

首先選取人體運(yùn)動(dòng)和服裝模型，生成服裝動(dòng)畫，并根據(jù)變形程度對(duì)服裝進(jìn)行分割(如圖3所示)，顏色越深表示該區(qū)域變形越劇烈。

2.2基于顯著圖對(duì)已劃分區(qū)域進(jìn)行濾波

為了得到三維服裝模型的顯著圖，需要將三維空間點(diǎn)與二維圖像點(diǎn)聯(lián)系起來的。本發(fā)明依據(jù)攝像機(jī)模型將世界坐標(biāo)系中的服裝頂點(diǎn)映射到二維圖像內(nèi)，以此來確定服裝頂點(diǎn)位于圖像中的像素位置。由于服裝視覺顯著模型輸入和輸出是基于圖像的，為了能夠確定世界空間中服裝各區(qū)域的關(guān)注度大小，需要依據(jù)服裝頂點(diǎn)世界空間和圖像平面的像素映射，來確定服裝各區(qū)域關(guān)注度大小。根據(jù)服裝頂點(diǎn)映射到像素坐標(biāo)的二維顯著性確定該服裝頂點(diǎn)的顯著性，從而形成三維服裝模型顯著圖。

2.3基于攝像機(jī)視點(diǎn)軌跡對(duì)服裝各區(qū)域劃分結(jié)果進(jìn)行二次濾波

基于攝像機(jī)視點(diǎn)信息進(jìn)行進(jìn)一步簡化。服裝模型各個(gè)區(qū)域由于相對(duì)于攝像機(jī)的位置和角度不同，人眼會(huì)有不同的視覺感知效果。位于攝像機(jī)鏡頭內(nèi)的服裝區(qū)域?qū)τ谌搜鄹兄挠绊懽畲?，同時(shí)，鏡頭的遠(yuǎn)近和角度也能夠影響視覺感知效果。本發(fā)明考慮了兩個(gè)可見性標(biāo)準(zhǔn)，在當(dāng)前攝像機(jī)位置不可見的區(qū)域，即那些位于攝像機(jī)鏡頭外或者背離攝像機(jī)鏡頭的區(qū)域，將其細(xì)節(jié)模擬因子設(shè)置為最低等級(jí)。對(duì)于可見的區(qū)域，控制其可見圖元的大小，對(duì)于遠(yuǎn)離攝像機(jī)的區(qū)域，對(duì)其細(xì)節(jié)模擬因子可適當(dāng)減小。

為了消除不連續(xù)的現(xiàn)象并且得到無偽影的效果，本發(fā)明定義了空間和時(shí)間上連續(xù)的精度改變因子。

(1)空間平滑

本發(fā)明對(duì)于位于鏡頭內(nèi)外邊界的面定義了一個(gè)連續(xù)衰減的視覺因子。對(duì)于給定的模型網(wǎng)格，令d作為距離攝像機(jī)視錐體的距離。本發(fā)明定義了空間平滑視覺因子該因子在指定的邊界長度m范圍內(nèi)對(duì)網(wǎng)格精度線性插值到vout：

其中，vfb是1或者vback，這是由面法線的方向決定的。因此，在位于攝像機(jī)視錐體范圍內(nèi)的面或者vback和相對(duì)視錐體較遠(yuǎn)的面vout之間有一個(gè)連續(xù)的變換區(qū)域。

(2)時(shí)間平滑

在時(shí)間平滑前，可以將視覺因子看成一個(gè)時(shí)間函數(shù)v，該因子考慮到攝像機(jī)視點(diǎn)的運(yùn)動(dòng)。為了平滑視覺因子v，本發(fā)明基于當(dāng)前模擬時(shí)間t，在時(shí)間間隔[t,t+t]內(nèi)對(duì)v進(jìn)行平滑。定義一個(gè)時(shí)間窗口函數(shù)w(τ)，滿足w(0)＝1并且當(dāng)t＝t時(shí)減小至0。時(shí)間平滑視覺因子是

其中

w(τ)＝1-τ/t

3.構(gòu)建視覺感知驅(qū)動(dòng)的自適應(yīng)服裝模型并試驗(yàn)?zāi)M

動(dòng)畫計(jì)算過程中，首先需要對(duì)服裝模型各區(qū)域進(jìn)行精度變換，再基于布料動(dòng)力學(xué)模型進(jìn)行動(dòng)畫計(jì)算，以保持服裝動(dòng)畫的視覺效果逼真。動(dòng)畫計(jì)算流程如下：

(1)預(yù)測(cè)服裝各區(qū)域的關(guān)注度大小，生成顯著圖，并將視覺顯著圖按照顯著區(qū)域范圍進(jìn)行分區(qū)，以此來確定各區(qū)域的關(guān)注度，按照服裝各塊區(qū)域關(guān)注度級(jí)別以及原有變形對(duì)其進(jìn)行多精度變換。

(2)基于攝像機(jī)視點(diǎn)位置和方向優(yōu)化多精度服裝模型：對(duì)于鏡頭外的區(qū)域統(tǒng)一減精到最低等級(jí)，對(duì)于遠(yuǎn)離攝像機(jī)的服裝區(qū)域按距離反比修改精度級(jí)別，并對(duì)其進(jìn)行時(shí)間和空間平滑。

(3)對(duì)上述優(yōu)化后服裝模型進(jìn)行受力計(jì)算和動(dòng)力學(xué)方程求解，生成視覺逼真的服裝動(dòng)畫。

上述實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)行了詳細(xì)說明。顯然，本發(fā)明并不局限于所描述的實(shí)施例。基于本發(fā)明中的實(shí)施例，熟悉本技術(shù)領(lǐng)域的人員還可據(jù)此做出多種變化，但任何與本發(fā)明等同或相類似的變化都屬于本發(fā)明保護(hù)的范圍。