眼睛運(yùn)動），眼急動產(chǎn)生運(yùn)動神經(jīng)元的活動，該又產(chǎn)生眼睛的加速。
[0320] 物理系統(tǒng)使用慣性約束使運(yùn)動衰減，眼睛的逼真的運(yùn)動往回供應(yīng)到SC，W用于校 正。物理模塊例如通過限制響應(yīng)的速度幫助降低不正常運(yùn)動的可能性，并且?guī)椭┘游锢?約束。眼睛的計算運(yùn)動供應(yīng)到臉部動畫系統(tǒng)，臉部動畫系統(tǒng)使眼睛的幾何結(jié)構(gòu)相應(yīng)旋轉(zhuǎn)，并 在屏幕上對其擅染。眼睛運(yùn)動可W往回供應(yīng)到計算機(jī)視覺系統(tǒng)，產(chǎn)生凹區(qū)或視線；該允許模 型的輸入與輸出相關(guān)，產(chǎn)生模塊的反饋環(huán)或依從關(guān)系。
[0321] 更復(fù)雜的模型還可W包括表情檢測和表情反應(yīng)。例如，視皮層、邊緣系統(tǒng)和腦干PG 可W加入到模型中。梭狀臉部回區(qū)可W是用于臉部表情識別的卷積神經(jīng)網(wǎng)絡(luò)（CNN)，其觸發(fā) 不同的情緒行為（例如通過頸闊肌觸發(fā)害怕，或者通過觀大肌觸發(fā)微笑）。中樞模式發(fā)生 器（CPG)可W用作響應(yīng)于情緒的所需動作的基礎(chǔ)。面神經(jīng)核分解臉部肌肉活動，將動畫權(quán) 重發(fā)送到臉部動畫系統(tǒng)，臉部動畫系統(tǒng)使幾何結(jié)構(gòu)變形，幾何結(jié)構(gòu)被供應(yīng)到臉部擅染器，然 后是屏幕。
[0322] 神經(jīng)遞質(zhì)/神經(jīng)調(diào)質(zhì)還可W通過其與杏仁核（AMG)的關(guān)系并入到系統(tǒng)中。杏仁核 具有（例如通過下丘腦）與自發(fā)和內(nèi)分泌系統(tǒng)的連接（該些連接在此情況下可W設(shè)及生物 投射）。催產(chǎn)素（OXY)、促腎上腺皮質(zhì)素釋放荷爾蒙（CRH)和0內(nèi)啡膚炬巧水平具有相互 調(diào)節(jié)效果，在此示例中用來調(diào)節(jié)腦干臉部回路的觸發(fā)。腦干CPG產(chǎn)生隨時間控制臉部肌肉 的模式。產(chǎn)生中腦腹側(cè)被蓋區(qū)（VTA)的多己胺具有來自SC和AMG的自發(fā)連接，提供互連單 獨(dú)的神經(jīng)系統(tǒng)的示例。單獨(dú)地連接來自模塊的配置的模塊的能力允許W直接了當(dāng)?shù)姆绞郊?入并修改模型。
[0323] 另外的輸入可W包括于系統(tǒng)中，例如音頻處理系統(tǒng)。該可W檢測語音。新模塊的 并入還可W需要其它模塊中的新模塊，諸如擴(kuò)展到包括多模式集成組件W混合或組合聽覺 和視覺輸入的皮層。然而，新模塊的加入不一定要求修改W前的連接，簡化了模型的擴(kuò)展。 進(jìn)一步加入到模型可W通過協(xié)調(diào)動眼系統(tǒng)和面神經(jīng)核之間的巧眼來實(shí)現(xiàn)。使巧眼（該設(shè)及 眼輪應(yīng)?。?0c)的眼臉部分）與掃視協(xié)調(diào)。
[0324] 加入巧眼神經(jīng)元模塊來控制00c肌肉，定時是通過與動眼系統(tǒng)的連接協(xié)調(diào)的。第 二步可W引入從巧眼神經(jīng)元到多己胺系統(tǒng)的連接。自發(fā)巧眼率巧BR)顯示為是多己胺功能 的關(guān)鍵標(biāo)志。從VTA到巧眼神經(jīng)元建立調(diào)節(jié)多己胺連接。點(diǎn)連接表明多己胺是如何能夠通 過在單獨(dú)的系統(tǒng)之間加入新連接來調(diào)節(jié)巧眼率的。該調(diào)節(jié)巧眼率，同時仍與掃視活動協(xié)調(diào)， 說明使用模型連接不同的神經(jīng)子系統(tǒng)的靈活性。當(dāng)模塊形成包括例如一系列模塊分組或關(guān) 聯(lián)模塊的所需結(jié)構(gòu)時，可W在該些分組內(nèi)或外通過連接建立鏈接。該些連接允許加入高水 平的效果或者在不同的模塊分組上協(xié)調(diào)效果。
[03巧]另一結(jié)構(gòu)
[0326] 再次參照圖5,示出了具有模塊的層級結(jié)構(gòu)的系統(tǒng)，所述模塊通常包含于其它模塊 內(nèi)。在系統(tǒng)的實(shí)施例中，個別模塊可W通過從上部模塊到底部模塊沿著樹引用而被引用。例 如，F(xiàn)FA著色器可W作為頭/腦/FFA/著色器引用。替代性地，在一些實(shí)例中，使輸入和輸 出依從層級中更高的模塊是優(yōu)選的，例如，通常使用的輸出（諸如臉56)可W分配給視覺系 統(tǒng)模塊作為可用輸出，W便使引用臉部更加容易。
[0327] 現(xiàn)在參照圖7,示出了模塊100的表示。模塊100包含與計算103相關(guān)的數(shù)據(jù)元件 101、與圖形104相關(guān)的數(shù)據(jù)元件102和與模塊107的變形相關(guān)的元件。模塊的任何依從部 分可W包含于模塊100中，但優(yōu)選通過其中包含模塊的層級樹結(jié)構(gòu)被包含。樹結(jié)構(gòu)具有多 個模塊由其分支的中點(diǎn)或模塊，每個較低層的模塊能夠具有另外的子模塊。在一些情況下， 樹結(jié)構(gòu)在主分支之外可W具有另外的模塊。模塊100的輸入109和輸出108可W是任何一 個或多個元件或模塊依從性中設(shè)及的變量。圖形元件或數(shù)據(jù)102可W包含與模塊的動作關(guān) 聯(lián)的一系列模塊105和產(chǎn)生圖像中的適當(dāng)水平的光的一系列著色器106。替代性地，模塊可 W提供使計算的一部分可視化的圖形輸出。計算元件可W包含指令或指向庫結(jié)構(gòu)或類似物 中包含的計算塊的指針。在一些情況下，計算元件可W被限制，模塊充當(dāng)常數(shù)或容器模塊， W提高層級的依從性結(jié)構(gòu)。在其它實(shí)施例中，計算元件可W包括大的復(fù)雜的神經(jīng)網(wǎng)絡(luò)或單 個神經(jīng)元。
[0328] 變換元件可W提供調(diào)節(jié)模塊圖形如何作為動畫的一部分變化或者變成依從結(jié)構(gòu) 如何影響圖形元件的數(shù)據(jù)。該在層級結(jié)構(gòu)用來遍歷模型時是特別重要的。每個模塊可W具 有變換部分，變換部分提供如何對層級中上面模塊中的變化反應(yīng)的指令。例如，如果臉部改 變方向，則臉部的特征和腦中包含的特征也應(yīng)當(dāng)旋轉(zhuǎn)。臉部的旋轉(zhuǎn)會影響眼睛的旋轉(zhuǎn)，該可 能影響瞳孔的適當(dāng)旋轉(zhuǎn)。層級結(jié)構(gòu)提供使該些變化是一致的手段，所W當(dāng)繪制元件時，元件 的變化可W適當(dāng)?shù)嘏c周圍元件組合，W便產(chǎn)生逼真的動畫。盡管對變換的描述是基于模型 的層級結(jié)構(gòu)的，但應(yīng)當(dāng)理解可w使用w不同方式但具有類似結(jié)果鏈接變換手段的替代性的 結(jié)構(gòu)方法。
[0329] 架構(gòu)
[0330] 系統(tǒng)結(jié)構(gòu)可W包括第一和第二模型子結(jié)構(gòu)（數(shù)據(jù)結(jié)構(gòu)），其中，第一子結(jié)構(gòu)（等 級）由多個計算模塊的布置定義，第二子結(jié)構(gòu)（等級）由鏈接模塊變量的連接器定義。第 一子結(jié)構(gòu)可W是有方向的用圖表表示的場景圖。該可W允許仔細(xì)布置模塊。第二子結(jié)構(gòu)可 W是方向圖，其中連接形成邊緣，模塊形成頂點(diǎn)或節(jié)點(diǎn)。該兩種等級的子結(jié)構(gòu)提高了操作模 型的有效性，原因是數(shù)據(jù)與控制代碼分離。因此，建模過程變成使用第二子結(jié)構(gòu)將來自第一 子結(jié)構(gòu)的多個模塊（該可W通過使用模塊變量）鏈接的方法，而不是構(gòu)建完全鏈接的系統(tǒng) 或設(shè)計過程流。結(jié)構(gòu)還允許變量或常數(shù)在模型正在操作時被更新。該是因為由于關(guān)系或連 接與數(shù)據(jù)分離，所W模型并不需要被重新編譯。
[0331] 第一子結(jié)構(gòu)可W實(shí)現(xiàn)為多個模塊，或者組織多個模塊的結(jié)構(gòu)。第二子結(jié)構(gòu)可W實(shí) 現(xiàn)為用于組合模塊的指令的集合。在一些實(shí)施例中，指令的集合可W位于多個單獨(dú)的文件 中。單獨(dú)的文件可W分別定義模型的連接的一部分或子區(qū)段。在特定的實(shí)施例中，指令可 W位于與模型相同但分離的結(jié)構(gòu)中。
[0332] 第一子結(jié)構(gòu)（模塊）
[0333] 第一等級可W包括多個模塊的組織結(jié)構(gòu)。在一些實(shí)施例中，該可W是樹型結(jié)構(gòu)，其 中，多個模塊基本上按照層級組織。多個模塊可W排列在類似目錄的文件夾結(jié)構(gòu)中。該在 容器模塊存在時是特別有用的。圖3示出了一種可能的結(jié)構(gòu)，其中，容器模塊"場景"保存 許多模塊，包括容器模塊"臉"。模塊"臉"保存兩個另外的模塊"眼睛"和"嘴"。該可W存 儲在類似文件的結(jié)構(gòu)中，其中，"場景"在頂層文件夾，"臉"和"頭"在第一級子文件夾，"眼 睛"和"嘴"在子-子文件夾等等。W此方式，模型結(jié)構(gòu)是清楚的容易觀看的。模型元件可 W通過拷貝所需級別的文件夾和所有包含的文件夾而被拷貝或復(fù)制。該在例如每只眼睛是 獨(dú)立的時是有用的。相同的模型結(jié)構(gòu)被復(fù)制，然而，每只眼睛可具有不同的控制信號，或者 可W進(jìn)行小的變化。
[0334] 第二子結(jié)構(gòu)（連接器）
[03巧]子結(jié)構(gòu)包括與模塊相關(guān)的一系列指令。指令可W包含于與整個模型或動畫相關(guān)的 單個文件中。在優(yōu)選的實(shí)施例中，第二子結(jié)構(gòu)包括一系列單獨(dú)的鏈接文件。在一個實(shí)施例 中，指令文件包含于與模塊相同的結(jié)構(gòu)中。指令文件包含于在所需結(jié)構(gòu)中依從他們的所有 模型之上一級（或更多級）的層級。例如，鏈接"眼睛"模塊的指令可W優(yōu)選在包含"臉"模 塊的文件夾中。然而，指令也可W設(shè)置在包括"場景"模塊的文件夾中或設(shè)置在"臉"模塊 之上的任何等級。
[0336] 直接在模塊上的等級中設(shè)置指令是有利的，他們稱作該提供了有效的建模技術(shù)。 具體地，如果需要對特定模塊或其指令進(jìn)行變化，則可W簡單地找到正確位置。其次，模塊 和相關(guān)的指令的搭配允許整個模塊使用適當(dāng)?shù)闹噶畋豢焖購?fù)制。該可能是有用的，W便將 模塊移動到不同模型或在模型內(nèi)部拷貝模塊。在一個實(shí)施例中，在第一子結(jié)構(gòu)的每個階段 有單獨(dú)的指令，使得：
[0337] ?"方向"指令在眼睛文件夾中，
[033引 ?"眼睛"指令在"臉"文件夾中，W及
[0339] ?"臉"指令在"場景"文件夾中。
[0340] 操作
[0341] 在模型運(yùn)行時，它編譯包含創(chuàng)建其模塊、連接器、幾何結(jié)構(gòu)等等的配置文件的第一 和第二子結(jié)構(gòu)（優(yōu)選如上文描述的排列在目錄樹中）。所需結(jié)構(gòu)可W是目錄樹的形式，其結(jié) 構(gòu)可W變化，但能夠構(gòu)建多個模塊和模塊之間的鏈接。在每個時間步長，結(jié)構(gòu)必須被遍歷并 被更新。該可W根據(jù)如上文描述的模型的具體設(shè)計從底部向上或從上部向下的方法進(jìn)行， 但在頭在上部的層級結(jié)構(gòu)中優(yōu)選是從上到下。每個模塊是基于當(dāng)前提供的輸入評估的。該 包括所有容器模塊和其子類。如果模塊（諸如容器模塊）沒有任何代碼，則不會發(fā)生任何 變化。然而，如果代碼或計算材料存在，則會發(fā)生變化，并通常獨(dú)立于系統(tǒng)的其它部分。時 間步長的結(jié)果然后發(fā)送到輸出字段。在第二次通過結(jié)構(gòu)時，可W在連接上拷貝輸出。該在 下一時間步長更新每個模塊的輸入。在一些實(shí)例中，可W有在連接上進(jìn)行的處理，例如保持 或闊值，他們可W在一個或兩個階段被更新。如果出現(xiàn)實(shí)質(zhì)性變化，或者已經(jīng)過去固定的時 段，則模型可W完全地重新構(gòu)建，包括基本上所有的元件W確保連續(xù)性。
[0342] 在具體的示例中，如圖4所示，具有相同名稱（不包括任何文件擴(kuò)展名）的文件或 文件夾認(rèn)為包含屬于相同對象的數(shù)據(jù)。例如，幾何結(jié)構(gòu)數(shù)據(jù)（.obj,.化ag, .ved, .geom,. mtl，.tex，.trans，或圖像文件）必須具有與它所屬的對象相同的名稱，并且應(yīng)當(dāng)設(shè)置在相 同名稱的文件夾的內(nèi)部。對象定義文件或指令文件（.blm，.blc)可W設(shè)置在與此文件夾相 同的父目錄中。如圖4所示可W規(guī)定具有幾何結(jié)構(gòu)、著色器但沒有紋理的簡單模塊。因此， 當(dāng)代碼正在操作時，它可W讀，連接具有共同名稱的項目，該些提供模型的附加細(xì)節(jié)。
[03創(chuàng)模塊
[0344] 如果需要新模塊，則可W與建模系統(tǒng)分開準(zhǔn)備新模塊。模塊可W根據(jù)實(shí)施例和具 體的模型而不同，但可W包括：
[0345] 動畫；
[0346] ?提供已知的時間步長，
[0347] ?包括動畫文件，
[0348] 文件夾模塊；
[0349] ?也稱作容器模塊，
[0350] ?保存其它模塊，
[0巧1] 神經(jīng)元模塊；
[0巧2] ?例如，泄露積分觸發(fā)模塊，
[0353] ?多泄露積分神經(jīng)元，
[0巧4] 突觸權(quán)重模塊；
[0巧5] ?可W與神經(jīng)元模塊組合，形成自包含人工神經(jīng)網(wǎng)絡(luò)，
[0巧6] 視覺界面模塊；
[0357] ?滾動顯示模塊W演示輸出，
[0巧引界面模塊；
[0359] ?視覺模塊，
[0360] ?可W控制與外部世界（例如照相機(jī)或麥克風(fēng)）的交互，
[0361] 恒定值；
[0362] ?不依從于時間步長，
[036引黑盒子
[0364] ?常備模塊W執(zhí)行任務(wù)或W后被更新，
[03化]空；
[0366] ?空模塊可W被忽略。
[0367] 另外的模塊或模塊類型可W根據(jù)需要創(chuàng)建。
[0368] 模塊描述
[0369] 在模塊可W在建模環(huán)境中使用之前，必須首先創(chuàng)建。該設(shè)及定義模型的輸入和輸 出，W及他們之間的關(guān)系。然后設(shè)置模塊定義。
[0370] 例如，考慮已知的神經(jīng)元模型，諸如泄露積分觸發(fā)神經(jīng)元，該可W通過下式用數(shù)學(xué) 公式描述為：
【主權(quán)項】
1. 一種用于制作虛擬對象或數(shù)字實(shí)體的動畫的計算機(jī)實(shí)現(xiàn)的系統(tǒng)，所述系統(tǒng)包括多個 模塊，所述模塊具有計算元件和圖形元件，所述模塊W所需結(jié)構(gòu)排列， 每個模塊具有至少一個變量，并與至少一個連接器關(guān)聯(lián)，其中，所述連接器將所述結(jié)構(gòu) 中的模塊之間的變量鏈接，所述模塊一起提供神經(jīng)行為模型。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述模塊W層級結(jié)構(gòu)排列。
3. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述層級包括樹結(jié)構(gòu)。
4. 根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，所述結(jié)構(gòu)由所述虛擬對象或數(shù)字實(shí) 體的生物性質(zhì)或生物結(jié)構(gòu)衍生出。
5. 根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，所述結(jié)構(gòu)由進(jìn)化的神經(jīng)結(jié)構(gòu)衍生出。
6. 根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，至少一個模塊包括聽覺或圖形或視 覺輸入，至少一個模塊包括聽覺/圖形/視覺輸出。
7. 根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，一個或多個模塊的圖形元件包括所 述計算元件的代表。
8. 根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，模塊代表一個或多個神經(jīng)元。
9. 根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，來自模塊的變量可W通過連接器鏈 接到多個模塊中的任何一個。
10. 根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，所述模塊中的至少一個是關(guān)聯(lián)模 塊，所述關(guān)聯(lián)模塊通過變量權(quán)重鏈接所述模塊的輸入和輸出。
11. 一種用于制作對象或數(shù)字實(shí)體的動畫的計算機(jī)實(shí)現(xiàn)的系統(tǒng)，所述系統(tǒng)包括多個模 塊，所述模塊具有計算元件和圖形元件， 每個計算元件具有模塊類型和至少一個變量，并且與至少一個連接器關(guān)聯(lián)， 其中，所述連接器鏈接模塊之間的變量，被鏈接的模塊一起代表制成動畫的虛擬對象 的圖形和計算模型。
12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述系統(tǒng)包括輸入，所述輸入用于接收聽覺或 視覺輸入刺激。
13. -種用于產(chǎn)生交互式行為的計算機(jī)實(shí)現(xiàn)的系統(tǒng)，所述系統(tǒng)包括多個模塊，所述模塊 具有計算元件和圖形元件， 所述多個模塊中的至少一個接收外部刺激， 所述多個模塊中的至少一個提供外部輸出， 所述多個模塊中的至少一個創(chuàng)建所述外部刺激和所述外部輸出之間的關(guān)聯(lián)， 其中，所述關(guān)聯(lián)影響未來系統(tǒng)的行為，使得所述外部輸出響應(yīng)于所述外部刺激的變化。
14. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述關(guān)聯(lián)給所述系統(tǒng)提供學(xué)習(xí)行為。
15. 根據(jù)權(quán)利要求13或14所述的系統(tǒng)，其中，所述模塊中的至少一個創(chuàng)建第一內(nèi)部刺 激和第二內(nèi)部刺激或所述外部輸出之間的關(guān)聯(lián)。
16. -種可操作于響應(yīng)外部刺激控制數(shù)字實(shí)體的計算機(jī)系統(tǒng)，所述系統(tǒng)包括代碼的功 能模塊的網(wǎng)絡(luò)，所述網(wǎng)絡(luò)可操作于接收表征所述刺激的數(shù)據(jù)，并且可操作于產(chǎn)生限定對所 述數(shù)字實(shí)體的響應(yīng)的數(shù)據(jù)，其中，所述網(wǎng)絡(luò)包括： 用于每個功能模塊的一個或多個變量， 允許相對于一個或多個其它模塊限定所述模塊的位置的結(jié)構(gòu)； 一個或多個連接器，所述一個或多個變量與至少一個連接器關(guān)聯(lián)，所述至少一個連接 器在模塊的變量之間傳送數(shù)據(jù)； 其中，所述連接器選擇性可調(diào)節(jié)W連接不同的模塊，從而響應(yīng)于所述外部刺激改變或 調(diào)節(jié)所述數(shù)字實(shí)體的行為。
17. -種計算機(jī)，所述計算機(jī)被編程或可操作于實(shí)施根據(jù)前述權(quán)利要求中任一項所述 的系統(tǒng)。
18. -個或多個計算機(jī)可讀介質(zhì)，其存儲計算機(jī)可使用指令，所述指令被計算裝置使用 時引起所述計算裝置實(shí)施根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)。
19. 一種響應(yīng)于外部刺激控制數(shù)字實(shí)體的方法，所述方法包括； 接收表征所述刺激的數(shù)據(jù)； 處理多個互連模塊中一起代表神經(jīng)行為模型的數(shù)據(jù)，W提供限定所述數(shù)字實(shí)體對所述 外部刺激的響應(yīng)的輸出； 響應(yīng)于所述輸出改變一個或多個模塊之間的連接，或者改變一個或多個模塊中的變 量。
20. -種計算裝置，所述計算裝置可操作于執(zhí)行根據(jù)權(quán)利要求19所述的方法。
21. -個或多個計算機(jī)可讀介質(zhì)，其存儲計算機(jī)可使用指令，所述指令被計算裝置使用 時引起所述計算裝置實(shí)施根據(jù)權(quán)利要求19所述的方法。
【專利摘要】本發(fā)明涉及用于制作虛擬對象或數(shù)字實(shí)體的動畫的計算機(jī)實(shí)現(xiàn)的系統(tǒng)。本發(fā)明具體涉及使用生物型模型或行為模型特別是神經(jīng)行為模塊的動畫。提供了多個具有計算元件和圖形元件的模塊。所述模塊以所需結(jié)構(gòu)排列，具有至少一個變量，并與至少一個連接器關(guān)聯(lián)。所述連接器將所述結(jié)構(gòu)中的模塊之間的變量鏈接，所述模塊一起提供神經(jīng)行為模型。還提供了一種響應(yīng)于外部刺激控制數(shù)字實(shí)體的方法。
【IPC分類】G06T13-00
【公開號】CN104541306
【申請?zhí)枴緾N201480001057
【發(fā)明人】P. 布里范特 D., B. 羅伯特森 P., A. 薩加 M.
【申請人】奧克蘭單一服務(wù)有限公司
【公開日】2015年4月22日
【申請日】2014年8月4日
【公告號】WO2015016723A1