專利名稱：圖像處理方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法與系統(tǒng)，涉及一種使計(jì)算機(jī)執(zhí)行該方法的計(jì)算機(jī)程序，以及存儲(chǔ)所述計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
背景技術(shù)：
已知可以利用發(fā)送者的動(dòng)畫(huà)圖片或至少顯示為發(fā)送者創(chuàng)建的化身的頭部來(lái)增強(qiáng)合成或記錄話音消息的傳送，但這兩種情況下都是只有嘴唇的運(yùn)動(dòng)與再現(xiàn)的話音同步。在使用發(fā)送者的圖像的情況下，通過(guò)顯示所謂的“視位(viseme)”來(lái)產(chǎn)生嘴唇運(yùn)動(dòng)的印象，“視位”是帶有嘴唇的(例如消息發(fā)送者的)人臉圖像，該嘴唇形狀是分別表示與一個(gè)或多個(gè)音位(phoneme)相關(guān)聯(lián)的多個(gè)可識(shí)別的嘴唇形狀中的一個(gè)。當(dāng)然，音位是眾所周知的，是語(yǔ)言中使用的單個(gè)離散音。估計(jì)英語(yǔ)中有大約44個(gè)音位，但可能只有20個(gè)左右的視位。因而，可能會(huì)在再現(xiàn)幾個(gè)音位時(shí)顯示相同的視位。
在操作中，話音再現(xiàn)裝置(如話音合成器)輸出與一系列音位對(duì)應(yīng)的聲波，同時(shí)顯示裝置向使用者顯示與任何特定時(shí)間再現(xiàn)的特定音位相關(guān)聯(lián)的適當(dāng)視位。因而，使用者產(chǎn)生了這樣的錯(cuò)覺(jué)圖像中發(fā)送者嘴唇的運(yùn)動(dòng)是與再現(xiàn)的音位同步的。應(yīng)注意，此處視位是發(fā)送者的兩維圖像。
如上所述，本領(lǐng)域公知的可選方法是生成整個(gè)身體的化身(avatar)或至少發(fā)送者頭部的三維視覺(jué)模型，隨后對(duì)其進(jìn)行定型并紋理化，從而看起來(lái)像發(fā)送者。隨后可以控制頭部模型的嘴唇以與再現(xiàn)的話音同步地運(yùn)動(dòng)，從而模型的嘴唇為在特定時(shí)間再現(xiàn)的特定音位呈現(xiàn)合適的形狀。然而，這種系統(tǒng)涉及復(fù)雜的頭部建模(該建模使用由困難的圖像處理或侵入式測(cè)量而形成的虛擬線框)，并需要進(jìn)行處理使靜止圖像精確地與給定模型相匹配。因而，例如在由Avatar-Me Ltd.(一家英國(guó)的有限公司)提供的專用化身創(chuàng)建工作室(no.03560745)中，如果不對(duì)待建模的人進(jìn)行侵入式測(cè)量或掃描仍然很難再現(xiàn)頭部模型。另外，一旦獲得了3D模型，獲得模型向用戶講話的錯(cuò)覺(jué)所需要的計(jì)算量也很大，目前不適于在移動(dòng)設(shè)備(例如移動(dòng)電話、個(gè)人數(shù)字助理等)上實(shí)現(xiàn)。
前述第一種方法是與再現(xiàn)話音同步地顯示一系列兩維視位，不會(huì)遇到前述第二種方法的計(jì)算強(qiáng)度問(wèn)題，但會(huì)遇到顯示給觀察者的圖像非常機(jī)械的問(wèn)題，這些圖像可能顯得干癟、呆板且沒(méi)有活氣。這是因?yàn)橛^察者看到的僅僅是嘴唇的運(yùn)動(dòng)，以此來(lái)創(chuàng)建與再現(xiàn)的當(dāng)前話音相對(duì)應(yīng)的視位形狀。然而，這種運(yùn)動(dòng)并不對(duì)應(yīng)于人說(shuō)話時(shí)的自然運(yùn)動(dòng)。據(jù)觀察，在說(shuō)話時(shí)，大多數(shù)人的頭部也有細(xì)微的運(yùn)動(dòng)(參見(jiàn)“Autonomous secondarygaze behaViour，M Gillies，N Dodgeson & D Ballin，Proceedingsof the AISB2002 symposium on Animating Expressive Characters forSocial Interactions，ISBN 1902956256’)，但是這種頭部運(yùn)動(dòng)很難人工再現(xiàn)。雖然可以改進(jìn)前述的第二種方法(也就是3D化身模型)以使模型根據(jù)所觀察到的人的行為稍稍移動(dòng)，但如所討論的，這種運(yùn)動(dòng)當(dāng)然會(huì)帶來(lái)同樣的計(jì)算強(qiáng)度問(wèn)題。為避免該問(wèn)題，如果能夠改進(jìn)前述第一種方法(也就是二維視位法)來(lái)再現(xiàn)所觀察的運(yùn)動(dòng)，那么這將是有利的。

發(fā)明內(nèi)容
本發(fā)明提供一種圖像處理方法和系統(tǒng)來(lái)解決上述問(wèn)題，該方法和系統(tǒng)能夠處理二維視位圖像以產(chǎn)生處理后圖像，這些處理后圖像在依次顯示時(shí)再現(xiàn)所觀察到的說(shuō)話時(shí)頭部的微小運(yùn)動(dòng)?？梢酝ㄟ^(guò)在概念上將待處理的圖像紋理化到3D形狀(優(yōu)選地，是在3D虛擬空間中提供的虛擬形狀)的表面上，并隨后稍稍移動(dòng)該形狀，以模擬所觀察的人頭部的運(yùn)動(dòng)，從而實(shí)現(xiàn)該圖像處理。每當(dāng)形狀被稍稍移動(dòng)，則將該圖像從形狀的表面投影回原始圖像位置，這產(chǎn)生了第二個(gè)處理后圖像，即寬高比略有改變的頭像。當(dāng)利用該方法依次處理了一系列視位圖像，并依次向用戶顯示所得的處理后圖像時(shí)，結(jié)果就是模擬了觀察到的頭部在講話期間的隨機(jī)運(yùn)動(dòng)。
然而，應(yīng)該注意，雖然本發(fā)明是考慮到前面介紹的模擬微小頭部運(yùn)動(dòng)的問(wèn)題而開(kāi)發(fā)的，并針對(duì)這種情況進(jìn)行說(shuō)明，但獲得了這個(gè)結(jié)果的圖像處理方法和系統(tǒng)不僅僅限于這種應(yīng)用，而可以在更廣的范圍中得到應(yīng)用，如電視特技行業(yè)、計(jì)算機(jī)建模與映射應(yīng)用，或需要處理兩維圖像的任何其它領(lǐng)域。
因而，出于以上的考慮，根據(jù)本發(fā)明的第一方面，提供了一種圖像處理方法，包括以下步驟a)將第一圖像從其圖像位置和朝向投影到三維形狀的至少一個(gè)表面上，從而紋理化所述至少一個(gè)表面；b)相對(duì)移動(dòng)所述形狀和/或所述圖像位置兩者或其中之一；和c)將所述形狀的紋理化表面投影到所述圖像位置上，以在該位置處并在與所述第一圖像相同的朝向上獲得第二圖像。
本發(fā)明的優(yōu)點(diǎn)是其圖像處理操作可以有效地模擬圖像中顯示的物體的三維方位變化。另一優(yōu)點(diǎn)是因?yàn)檩斎牒洼敵龆际嵌S圖像，因而降低了采用該方法的算法的計(jì)算強(qiáng)度。
優(yōu)選地，所述第一圖像構(gòu)成第一圖像序列的一部分，該方法進(jìn)一步包括針對(duì)所述序列中的各個(gè)第一圖像重復(fù)步驟(a)，(b)，(c)，以獲得相應(yīng)的第二圖像序列。因此，本發(fā)明可以依次應(yīng)用于一系列圖像以對(duì)″動(dòng)畫(huà)″序列采用相同的處理。
為具體地解決現(xiàn)有技術(shù)中的問(wèn)題，優(yōu)選地，第一和第二圖像序列分別形成說(shuō)話的頭部的動(dòng)畫(huà)序列。
優(yōu)選地，移動(dòng)步驟進(jìn)一步包括隨機(jī)移動(dòng)所述形狀和/或圖像位置。這產(chǎn)生了這樣的優(yōu)點(diǎn)當(dāng)圖像是人的頭像時(shí)，可以更精確地再現(xiàn)本發(fā)明的優(yōu)選實(shí)施例所要再現(xiàn)的被觀察的人體運(yùn)動(dòng)。
優(yōu)選地，所述的運(yùn)動(dòng)包括繞所述三維形狀的一個(gè)或多個(gè)軸旋轉(zhuǎn)該三維形狀。這提供了這樣的優(yōu)點(diǎn)當(dāng)圖像是人的頭像時(shí)，形狀的運(yùn)動(dòng)模擬了雙肩上的頭部可能的運(yùn)動(dòng)。
在第二方面，本發(fā)明還提供了一種圖像處理系統(tǒng)，包含圖像接收裝置，用于接收待處理的第一圖像；
圖像處理裝置；以及圖像輸出裝置，用于輸出處理后的第二圖像，其特征在于，所述圖像處理裝置還包含形狀建模裝置，用于對(duì)三維形狀進(jìn)行建模；并用于a)將第一圖像從其圖像位置和朝向投影到三維形狀的至少一個(gè)表面上，從而紋理化所述至少一個(gè)表面；b)相對(duì)移動(dòng)所述形狀和/或所述圖像位置兩者或其中之一；和c)將所述形狀的紋理化表面投影到所述圖像位置上，以在該位置處并在與所述第一圖像相同的朝向上獲得第二圖像。
第二方面具有與前面對(duì)第一方面的描述相同的附加特征和優(yōu)點(diǎn)。
根據(jù)第三方面，還提供了一種計(jì)算機(jī)程序，當(dāng)在計(jì)算機(jī)上執(zhí)行該程序時(shí)，其使計(jì)算機(jī)執(zhí)行本發(fā)明第一方面的方法。
根據(jù)本發(fā)明的第四方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)根據(jù)第三方面的計(jì)算機(jī)程序。優(yōu)選地，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何磁、光、磁光、固態(tài)、或本領(lǐng)域公知的其他存儲(chǔ)介質(zhì)，如硬盤(pán)、便攜式磁盤(pán)、CD-ROM、DVD、RAM、ROM、可編程ROM、磁帶等。應(yīng)注意，上面列出的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)不是窮盡的，可使用任何已知的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
在所附權(quán)利要求中可以發(fā)現(xiàn)本發(fā)明另外的特征和優(yōu)點(diǎn)。


通過(guò)下面對(duì)僅作為示例的實(shí)施例的描述，可以更清楚地理解本發(fā)明另外的特征和優(yōu)點(diǎn)，其中用相同的標(biāo)號(hào)指示相同的部分，在附圖中圖1是根據(jù)本發(fā)明的裝置的系統(tǒng)方框圖；圖2是圖1的圖像處理器的系統(tǒng)方框圖；圖3的流程圖示出了由圖1的系統(tǒng)執(zhí)行的步驟；圖4的流程圖示出了由圖2的圖像處理器執(zhí)行的步驟；圖5以線框模型的形式示出了可在本發(fā)明的實(shí)施例中使用的各種幾何形狀；
圖6的立體圖示出了本發(fā)明實(shí)施例的操作原理；圖7的立體圖也示出了本發(fā)明的基本操作原理；圖8的立體圖用于本發(fā)明操作的數(shù)學(xué)分析；圖9是本發(fā)明的第一圖像的正視圖；圖10是圖8的結(jié)構(gòu)的平面圖；圖11是圖8的結(jié)構(gòu)的平面圖，但示出了圓柱體的運(yùn)動(dòng)；圖12是圖8的結(jié)構(gòu)的平面圖，也示出了圓柱體的運(yùn)動(dòng)；圖13也是圖8的結(jié)構(gòu)的平面圖，并示出圓柱體移動(dòng)了特定角度；以及圖14是根據(jù)本發(fā)明一個(gè)實(shí)施例的移動(dòng)電話的立體圖。
具體實(shí)施例方式
現(xiàn)在參照?qǐng)D7對(duì)代表本發(fā)明第一實(shí)施例的基本操作原理進(jìn)行描述。隨后將描述更詳細(xì)和實(shí)用的實(shí)施例。
參照?qǐng)D6和圖7，本發(fā)明的第一實(shí)施例提供了一種圖像處理方法和系統(tǒng)，用于處理第一圖像62，以提供處理后的第二圖像72。在圖6和圖7中概念化地示出了本發(fā)明執(zhí)行的圖像處理，并在下面進(jìn)行描述。
在圖6中，待處理的第一圖像(即圖像62)相對(duì)于三維形狀(本例中為圓柱體60)處于特定的位置和朝向。圓柱體60是虛擬空間中的三維虛擬形狀，并且該圖像在虛擬空間中處于特定的位置和朝向。在本實(shí)施例中，相對(duì)于圓柱體60布置圖像，使得圖像的平面平行于圓柱體的軸。還可看到，圖像的朝向是這樣的所示圖像的上下軸也與圓柱體60的軸平行。圓柱體60具有彎曲的外表面64.
在操作中，作為處理的第一步，通過(guò)將圖像62從圖像位置投影到表面64上而將圖像62“紋理化”在圓柱體的表面64上。在執(zhí)行投影時(shí)，將看到，圖像朝向被維持，但在被投影到外表面64上時(shí)，圖像寬高比因圓柱體表面的彎曲特性而稍稍改變?！寮y理化″表示根據(jù)圖像在圓柱體上的投影，把各個(gè)象素的亮度和色度值應(yīng)用到圓柱體60的表面64上，從而看起來(lái)好像是通過(guò)投影而把圖像62“畫(huà)”在了表面64上。通過(guò)圖像62的投影對(duì)表面64進(jìn)行紋理化有效地將各象素亮度和色度值綁定到表面64上，以致于圖像看起來(lái)是粘在上面的，注意到這一點(diǎn)是很重要的。因此，在投影和紋理化之后，表面64上有了圖像62的投影作為固定的紋理，從而即使圓柱體60以任何方式移動(dòng)，在表面64上作為紋理的圖像也會(huì)隨之移動(dòng)。
在通過(guò)圖像62的投影對(duì)表面64進(jìn)行紋理化，使投影固定在表面64上之后，圖像處理方法的下一個(gè)步驟是稍稍移動(dòng)圓柱體60，在此是如圖7所示，其繞軸旋轉(zhuǎn)到第二位置60’。因?yàn)閳D像62在表面64上的投影是紋理化在其上從而綁定到上面的，所以如圖7所示，表面64上的紋理化圖像也隨著圓柱體旋轉(zhuǎn)到第二位置64’。圓柱體60到第二位置60’的運(yùn)動(dòng)可以是獲得期望效果必需的任何運(yùn)動(dòng)。在本實(shí)施例中，期望效果是嘗試處理圖像以使其中包含的頭像產(chǎn)生一定程度的隨機(jī)運(yùn)動(dòng)，因而，運(yùn)動(dòng)優(yōu)選地是繞圓柱體的軸旋轉(zhuǎn)，旋轉(zhuǎn)角度在任一方向小于10度，并且優(yōu)選地不超過(guò)1度?？梢皂槙r(shí)針?lè)较蚧蚰鏁r(shí)針?lè)较蚶@軸旋轉(zhuǎn)。
在本發(fā)明的實(shí)施例中，優(yōu)選地為各待處理圖像隨機(jī)選擇形狀(在本例中即為圓柱體60)的運(yùn)動(dòng)。也就是，對(duì)于各個(gè)待處理圖像對(duì)形狀施加隨機(jī)運(yùn)動(dòng)。如上所述，在形狀是圓柱體，而且圖像是頭像時(shí)，優(yōu)選地形狀的運(yùn)動(dòng)是繞其軸旋轉(zhuǎn)，旋轉(zhuǎn)角度在任一方向不超過(guò)10度，優(yōu)選地不超過(guò)1度，在這些限制的范圍內(nèi)隨機(jī)選擇旋轉(zhuǎn)量和方向。
每當(dāng)形狀移動(dòng)時(shí)，本發(fā)明實(shí)施例的圖像處理方法的最后步驟是將綁定在紋理化表面64′上的象素亮度和色度值從該表面投影回第一圖像62的相對(duì)空間中的位置上。在形狀移動(dòng)的情況下，需要從該表面投影回第一圖像的原始位置，以通過(guò)產(chǎn)生圖像的寬高比變化而獲得運(yùn)動(dòng)效果。如果僅僅在大致垂直于紋理化表面的方向上對(duì)其進(jìn)行投影，那么所得圖像將與第一圖像62相同。然而，通過(guò)從紋理化表面64′的位置投影回到原始圖像位置而且朝向相同，可以獲得由投影到第一圖像位置上的象素亮度和色度值形成的處理后第二圖像72，其與第一圖像62的位置和朝向相同，但因圓柱體60的運(yùn)動(dòng)，其內(nèi)容被稍稍處理以體現(xiàn)方位變化。
為處理一系列圖像，隨后分別對(duì)各圖像進(jìn)行與上述過(guò)程相同的處理。施加到形狀(本例中為圓柱體60)的運(yùn)動(dòng)優(yōu)選地是隨機(jī)選擇的，并在形狀為圓柱體的情況下，優(yōu)選地繞主軸旋轉(zhuǎn)不超過(guò)1度。在形狀被各圖像紋理化時(shí)，該形狀的此種運(yùn)動(dòng)可以模擬說(shuō)話時(shí)頭部的自然運(yùn)動(dòng)。
可選地，形狀的運(yùn)動(dòng)可以與將與所得到的處理后圖像72同時(shí)再現(xiàn)的話音的能量相關(guān)聯(lián)，而不是進(jìn)行隨機(jī)的運(yùn)動(dòng)。例如，在話音中的能量很大時(shí)(也就是話音很響)，形狀的運(yùn)動(dòng)可以高于話音的能量相對(duì)較小時(shí)的情況。這將產(chǎn)生再現(xiàn)的話音音量較大時(shí)圖像中的頭部移動(dòng)得更大的效果。
可以提供用于控制運(yùn)動(dòng)的其它方法。雖然能量是一種方法，但另一方法是通過(guò)波形分析控制形狀運(yùn)動(dòng)，從而根據(jù)話音中包含的頻率確定運(yùn)動(dòng)。作為示例，對(duì)話音波形進(jìn)行傅立葉分析，以確定其頻率，并根據(jù)所確定的頻率控制形狀運(yùn)動(dòng)。因此，可以控制形狀的運(yùn)動(dòng)，使得在話音的低頻部分中能量較高時(shí)形狀的移動(dòng)比高頻部分能量高時(shí)的情況更大，或相反。
在另一可選實(shí)施例中，對(duì)運(yùn)動(dòng)的控制不僅僅依賴于同時(shí)再現(xiàn)的話音，而是形狀在話音再現(xiàn)之前或之后運(yùn)動(dòng)。在本示例中，如果某人在喊叫并且聲音很高很快(即，憤怒)，那么形狀可以最大程度(比方說(shuō)從-8度到+8度)地從一側(cè)到另一側(cè)快速地移動(dòng)，一旦大聲和快速的話音結(jié)束，則形狀的從一側(cè)到另一側(cè)的運(yùn)動(dòng)逐漸減小，并回到其中間狀態(tài)。因而即使話音已經(jīng)停止，形狀也將以逐漸變小的方式繼續(xù)運(yùn)動(dòng)。
關(guān)于形狀，在前面描述的實(shí)施例中使用圓柱體60，但不是必須使用圓柱體，圖5示出了可以在本發(fā)明中使用的各種形狀。更具體地，圖5a示出了可以用作該形狀的球體。在這種情況下，球體可以在任何方向旋轉(zhuǎn)，并不限于繞其極軸。也可以依次繞任何軸進(jìn)行多次旋轉(zhuǎn)以獲得更復(fù)雜的運(yùn)動(dòng)。
圖5b示出了圓柱體，如前所述，優(yōu)選地對(duì)其施加的運(yùn)動(dòng)是繞其長(zhǎng)軸的旋轉(zhuǎn)。但其它的旋轉(zhuǎn)也是可以的。
圖5c示出了橢圓體。可以施加到圖5c的橢圓體上的運(yùn)動(dòng)類(lèi)似于可以施加到圖5a所示的球體上的運(yùn)動(dòng)。也就是說(shuō)，不但可以繞極軸旋轉(zhuǎn)，而且可以繞任何其它軸旋轉(zhuǎn)。類(lèi)似地，圖5d示出了卵形。圖5d的形狀更貼切的代表了人的頭部，因此使用它可以產(chǎn)生良好的效果?？梢允┘拥綀D5d所示形狀上的運(yùn)動(dòng)與可以施加到球體或橢圓體上的運(yùn)動(dòng)相同，也就是繞其任何軸的旋轉(zhuǎn)，但優(yōu)選地是繞其極軸旋轉(zhuǎn)。
圖5e示出了本文稱為“雙圓柱體”的形狀，也就是一個(gè)圓柱體，其上下表面是與第一圓柱體的方向相正交的第二圓柱體的一部分?？梢詫?duì)這種形狀施加任何運(yùn)動(dòng)，特別是繞其任一軸的任何旋轉(zhuǎn)。
另外，要注意不是必須對(duì)紋理化形狀進(jìn)行移動(dòng)，關(guān)鍵的是形狀相對(duì)于紋理化表面將投影到的圖像位置(也就是獲得處理后的第二圖像的圖像位置)的相對(duì)運(yùn)動(dòng)。因而，在另一實(shí)施例中，形狀可以保持在相同的位置，而紋理化表面投影的圖像位置繞形狀移動(dòng)。在進(jìn)一步的實(shí)施例中，圖像位置和形狀都可以移動(dòng)，各自的運(yùn)動(dòng)不同從而相互之間產(chǎn)生相對(duì)運(yùn)動(dòng)。在上述的任何情況下，是形狀和圖像位置的相對(duì)運(yùn)動(dòng)產(chǎn)生了寬高比改變的效果，因此相對(duì)運(yùn)動(dòng)是重要的。
在圖像位置運(yùn)動(dòng)的情況下，可以施加到圖像上的運(yùn)動(dòng)可以從上述針對(duì)形狀描述的那些運(yùn)動(dòng)中推出，例如繞形狀(注意，不是圖像)的一個(gè)軸或更多軸的旋轉(zhuǎn)。
上面描述了本發(fā)明的第一實(shí)施例，其示出了本發(fā)明的基本操作原理，現(xiàn)在描述更詳細(xì)的優(yōu)選的實(shí)施例，其是本發(fā)明在移動(dòng)電話中的實(shí)施例，使得能夠活靈活現(xiàn)地再現(xiàn)正在說(shuō)出待傳送的文本消息的發(fā)送者的圖像。
圖14示出了根據(jù)本發(fā)明的第二實(shí)施例的移動(dòng)電話。更具體地，提供了移動(dòng)電話100，其自身帶有顯示屏102和鍵盤(pán)104以允許用戶輸入數(shù)據(jù)。還帶有音頻再現(xiàn)裝置108，即音頻變換器。當(dāng)移動(dòng)電話100接收到文本消息時(shí)，在顯示屏102上顯示文本消息的發(fā)送者的圖像106。該圖像是所選擇的一系列的視位，以與音頻再現(xiàn)裝置108再現(xiàn)的用于朗讀所接收的文本消息的音位相應(yīng)。根據(jù)本發(fā)明的第二實(shí)施例，圖像106被處理從而使圖像活靈活現(xiàn)地展現(xiàn)所觀察到的人說(shuō)話時(shí)的運(yùn)動(dòng)。下面描述為獲得該效果而對(duì)圖像106進(jìn)行的處理。
圖1示出了位于移動(dòng)電話100內(nèi)的實(shí)現(xiàn)圖像處理所需的部件的系統(tǒng)方框圖。更具體地，在移動(dòng)電話100內(nèi)提供了文本消息接收裝置10，其用于例如根據(jù)短消息系統(tǒng)(SMS)協(xié)議接收文本消息，并將所接收的文本消息的文本傳送給文本緩存12，在該處進(jìn)行存儲(chǔ)。存儲(chǔ)在緩存12中的消息的文本被解析器14讀取，解析器14用于解析該文本以確定將文本轉(zhuǎn)換為話音輸出所需的特定音位以及再現(xiàn)它們的順序。因此解析器14將來(lái)自文本緩存12的文本作為輸入，對(duì)該文本進(jìn)行聲學(xué)解析，并將與該文本相對(duì)應(yīng)的一系列音位輸出到控制裝置16。解析器解析文本以產(chǎn)生音位序列所執(zhí)行的具體步驟是本領(lǐng)域所公知的，具體地涉及現(xiàn)有技術(shù)的文本-語(yǔ)音系統(tǒng)，如BT Laureate系統(tǒng)。傳送到控制裝置16的音位的表示方式可以是任何標(biāo)準(zhǔn)的音位表示方式，如SAMPA等。
移動(dòng)電話100中還提供了存儲(chǔ)介質(zhì)20，其提供用于音位存儲(chǔ)部210的存儲(chǔ)區(qū)，其中以例如.WAV文件存儲(chǔ)的波形形式存儲(chǔ)有音位的聲學(xué)表示。存儲(chǔ)介質(zhì)20進(jìn)一步提供了視位存儲(chǔ)部208，其存儲(chǔ)一系列適于在顯示器102上顯示的視位。如前所述，視位是帶有與一個(gè)或多個(gè)音位相關(guān)聯(lián)的特定嘴唇形狀的人臉圖像。
存儲(chǔ)介質(zhì)20中還提供了形狀存儲(chǔ)部206，其存儲(chǔ)與任一幾伺形狀(如圖5所示的球體、圓柱體、橢圓體、卵形體或雙圓柱體)相對(duì)應(yīng)的形狀數(shù)據(jù)。代表任一特定形狀的數(shù)據(jù)優(yōu)選地采用三維虛擬空間中的坐標(biāo)的形式，即一起構(gòu)成該形狀的大量多角形的頂點(diǎn)的坐標(biāo)。形狀表面進(jìn)一步由形狀數(shù)據(jù)定義，形狀數(shù)據(jù)進(jìn)一步包括頂點(diǎn)連接信息，這些頂點(diǎn)連接信息指定了怎樣連接這些頂點(diǎn)以形成多角形。在形狀存儲(chǔ)部206中，為各個(gè)可能的形狀存儲(chǔ)有一組頂點(diǎn)坐標(biāo)信息以及頂點(diǎn)連接信息。
存儲(chǔ)介質(zhì)20中還存儲(chǔ)了操作系統(tǒng)程序202以及動(dòng)畫(huà)程序204。操作系統(tǒng)程序202為控制裝置16提供了必要的功能和協(xié)議，使控制裝置16能夠控制各種其它系統(tǒng)元件并與之通信；動(dòng)畫(huà)程序204具體地控制控制裝置的操作以控制各種其它部件執(zhí)行本發(fā)明。優(yōu)選地，在移動(dòng)電話100中提供的存儲(chǔ)介質(zhì)20是固態(tài)存儲(chǔ)介質(zhì)、FLASH多媒體卡等。
移動(dòng)電話100中還提供了圖像處理器18，其由控制裝置16根據(jù)包含在動(dòng)畫(huà)程序204中的指令進(jìn)行控制，并進(jìn)一步用于訪問(wèn)視位存儲(chǔ)部208以從中獲得視位圖像，以及訪問(wèn)形狀存儲(chǔ)部206以從中獲得代表3D幾何形狀的數(shù)據(jù)。圖像處理器18能夠讀取3D形狀數(shù)據(jù)，以構(gòu)建該形狀的模型。圖像處理器18用于將處理后的圖像輸出到顯示裝置102，以在其上進(jìn)行顯示。
移動(dòng)電話100中還提供了音頻再現(xiàn)裝置108，其用于從音位存儲(chǔ)部210接收音位波形，并以接收的順序再現(xiàn)該音位波形，以再現(xiàn)其所代表的話音。
音位存儲(chǔ)部210、視位存儲(chǔ)部208、以及圖像處理器18都受控制裝置16的控制，從而保持它們之間的同步。更具體地，控制裝置16控制音位存儲(chǔ)部210以依次將音位輸出到音頻再現(xiàn)裝置108，以將所接收的文本消息再現(xiàn)為話音。類(lèi)似地，控制裝置16控制視位存儲(chǔ)部208以使視位存儲(chǔ)部208向圖像處理器18輸出正確的視位圖像，這些視位圖像與將從音位存儲(chǔ)部210輸出的待再現(xiàn)的特定音位相對(duì)應(yīng)。圖像處理器18處理從視位存儲(chǔ)部接收到的圖像并將處理后的圖像輸出到顯示裝置102。通過(guò)控制裝置集中控制音位存儲(chǔ)部、視位存儲(chǔ)部和圖像處理器18，可以維持從圖像處理器18輸出并在顯示裝置102上顯示的處理后的視位與音頻存儲(chǔ)器210輸出的由音頻再現(xiàn)裝置108再現(xiàn)的音位波形之間的同步，從而在相應(yīng)音位波形被音頻再現(xiàn)裝置108再現(xiàn)的同時(shí)，在顯示裝置102上顯示恰當(dāng)?shù)奶幚砗蟮囊曃弧?br> 圖2示出了由圖像處理器18執(zhí)行的系統(tǒng)功能。更具體地，在圖像處理器18中提供了控制器8，其接收來(lái)自控制裝置16的控制信號(hào)。從控制器8向紋理化裝置2、形狀建模裝置4和投影裝置6提供如圖2中的虛線示出的控制線。紋理化裝置2在其輸入端接收代表從視位存儲(chǔ)部208輸出的圖像的信號(hào)。形狀建模裝置4在其輸入端接收代表來(lái)自形狀存儲(chǔ)部206的三維形狀的數(shù)據(jù)。形狀建模裝置4能夠解釋所接收的代表數(shù)據(jù)，以構(gòu)建這些數(shù)據(jù)所代表的形狀的虛擬模型，如圓柱體、球體、橢圓體、卵形體等。
圖像處理器18中進(jìn)一步提供了投影裝置6，其接收來(lái)自形狀建模裝置的信息，并將形狀的紋理化表面虛擬地投影到圖像位置上，以獲得處理后的第二圖像。從而投影裝置6輸出來(lái)自處理器18的處理后圖像。
已經(jīng)描述了根據(jù)本發(fā)明的移動(dòng)電話的原理性內(nèi)部結(jié)構(gòu)，現(xiàn)在參照?qǐng)D3和圖4描述各部件的操作。更具體地，圖3代表了整個(gè)系統(tǒng)的操作流程圖，圖4是由根據(jù)本發(fā)明的圖像處理器18執(zhí)行的具體步驟的流程圖。
參照?qǐng)D3和圖4，在步驟3.2，文本消息接收裝置10接收文本消息。隨后，在步驟3.4，把文本消息存儲(chǔ)在文本緩存12中，并隨后在步驟3.6，解析器14從文本緩存12中讀取所需的文本消息。在步驟3.8，解析器14解析消息的文本，以獲得其音位表示。如前所述，解析文本以獲得音位表示是本領(lǐng)域公知的。
由解析器獲得的音位表示被傳送到控制裝置16，在步驟3.10，控制裝置16控制音位存儲(chǔ)部以按照從解析器接收的順序讀取第一音位的聲波?；旧贤瑫r(shí)，在步驟3.12，控制裝置控制視位存儲(chǔ)部以從視位存儲(chǔ)部208輸出與音位存儲(chǔ)部210當(dāng)前輸出的音位對(duì)應(yīng)的視位。從音位存儲(chǔ)部210輸出的音位被傳送到視頻再現(xiàn)裝置108，同時(shí)從視位存儲(chǔ)部208輸出的視位被傳送到圖像處理器18。
在步驟3.14，圖像處理器18根據(jù)本發(fā)明處理所接收的視位，通過(guò)應(yīng)用本發(fā)明的圖像處理方法，使圖像“動(dòng)”起來(lái)。這使視位產(chǎn)生了這樣的效果視位中表現(xiàn)的頭部似乎在輕輕移動(dòng)。
在圖像處理器18對(duì)輸入圖像進(jìn)行處理之后，在步驟3.16，處理后的視位被輸出到顯示裝置102，然后顯示給用戶。基本上同時(shí)，在步驟3.18，音頻再現(xiàn)裝置108播放從音位存儲(chǔ)部210接收到的當(dāng)前音位的聲波。
每當(dāng)顯示了當(dāng)前的處理后視位，并且播放了當(dāng)前音位，則在步驟3.20進(jìn)行評(píng)估，以確定是否已經(jīng)播放了由解析器14確定的序列中的所有音位。如果經(jīng)評(píng)估確認(rèn)所有的音位都已播放，那么過(guò)程結(jié)束。相反，如果確定還有音位需要播放，則播放相關(guān)的音位，隨后在步驟3.22中，控制裝置16移動(dòng)到序列中的下一音位，處理返回步驟3.10。隨后在循環(huán)中重復(fù)處理步驟步驟3.10、步驟3.12、步驟3.14、步驟3.16、步驟3.18、步驟3.20、步驟3.22，直到所有從解析器14輸出到控制裝置16的音位都被播放，并且相關(guān)的視位被處理并顯示給用戶。
已經(jīng)描述了系統(tǒng)的的總體操作，現(xiàn)在參照?qǐng)D4對(duì)執(zhí)行步驟3.14時(shí)由圖像處理器18執(zhí)行的具體步驟進(jìn)行描述。
在步驟4.2，圖像處理器18在控制裝置16的控制下接收從視位存儲(chǔ)部208輸出的視位。隨后，在步驟4.4，圖像處理器18訪問(wèn)形狀存儲(chǔ)部206并檢索代表接收?qǐng)D像所要施加到的3D形狀的數(shù)據(jù)。在圖像處理器18中提供的形狀建模裝置4接收來(lái)自形狀存儲(chǔ)部的數(shù)據(jù)，并使用該數(shù)據(jù)將該形狀建模成虛擬空間中的三維幾何形狀。接下來(lái)，在步驟4.6，紋理化裝置利用所接收?qǐng)D像的投影來(lái)紋理化形狀的表面。如前所述，紋理化表示把投影到形狀表面上的圖像象素的亮度和色度值有效地綁定在該表面上，從而好像表面被“畫(huà)”上了該圖像投影。
在圖像紋理化之后，在步驟4.8，形狀建模裝置4執(zhí)行形狀的運(yùn)動(dòng)，并在相對(duì)于圖像位置移動(dòng)了的位置處對(duì)該紋理化形狀進(jìn)行建模。如前面對(duì)第一實(shí)施例的描述，運(yùn)動(dòng)可以是繞形狀的任一軸旋轉(zhuǎn)，并在優(yōu)選的實(shí)施例中，形狀為圓柱體，并且運(yùn)動(dòng)為繞其主軸在兩個(gè)方向旋轉(zhuǎn)不超過(guò)10度，優(yōu)選地不超過(guò)1度。優(yōu)選地為各次處理隨機(jī)選擇施加到紋理化形狀上的精確運(yùn)動(dòng)，結(jié)果對(duì)各處理后圖像施加了不同的形狀運(yùn)動(dòng)。
在別的實(shí)施例中，如前面所討論的，可以根據(jù)將與處理后視位一起再現(xiàn)的音位中的話音能量來(lái)控制形狀的運(yùn)動(dòng)。
另外，在其它可選實(shí)施例中，如前所述，圖像位置相對(duì)于形狀移動(dòng)，或形狀和圖像位置都相對(duì)運(yùn)動(dòng)。與前面描述的實(shí)施例一樣，重要的是形狀和處理后圖像的圖像位置之間的相對(duì)運(yùn)動(dòng)，而不是各自的絕對(duì)運(yùn)動(dòng)。
在步驟4.8之后，也就是在移動(dòng)后的位置對(duì)紋理化形狀進(jìn)行建模之后，在步驟4.10，投影裝置6從形狀建模裝置4獲得移動(dòng)后的紋理化形狀的信息，并將形狀的紋理化表面投影到原始接收?qǐng)D像在虛擬空間中的位置。在步驟4.12，位于原始接收?qǐng)D像的位置處的由該投影獲得的圖像(包括投影的象素亮度和色度值)隨后被投影裝置作為圖像處理器18的輸出而輸出到顯示裝置102。如前所述，顯示裝置102隨后向用戶顯示處理后圖像。
依前所述，由此應(yīng)當(dāng)理解本發(fā)明提供了一種圖像處理方法和系統(tǒng)，其使得可以通過(guò)將圖像施加到三維形狀上，隨后在形狀和圖像位置之間產(chǎn)生相對(duì)運(yùn)動(dòng)，并且將所施加的圖像投影到所述圖像位置上以獲得第二圖像，來(lái)對(duì)圖像進(jìn)行處理以產(chǎn)生特定的“寬高比改變”效果。其中，在圖像為視位的情況下，形狀與圖像位置的相對(duì)運(yùn)動(dòng)獲得所得圖像內(nèi)寬高比改變的效果，這模擬了所觀察到的真實(shí)的人在講話時(shí)頭部的微小運(yùn)動(dòng)。因而，現(xiàn)有視位的呆板、死氣沉沉的性質(zhì)被改變，整體的效果更加生動(dòng)。
應(yīng)注意，盡管本發(fā)明的優(yōu)選實(shí)施例使用人的頭像，但本發(fā)明不限于處理人的頭像，可以使用動(dòng)物的頭像、虛幻的頭像等。具體地，“虛幻的頭像”表示虛幻生物(例如BBC電視臺(tái)所播出的TeletubbiesTM)的頭像或科幻電影(如Star Wars(星球大戰(zhàn))等)中的人物的頭像。此外，應(yīng)進(jìn)一步理解，雖然本發(fā)明具體為處理(人的、動(dòng)物的、虛幻的等)臉部的圖像而開(kāi)發(fā)，但其應(yīng)用不限于處理臉部圖像，可以處理與本發(fā)明先前所述的頭像一樣需要改變寬高比的任何圖像。
在前述的實(shí)施例中，在原理的基礎(chǔ)上并利用以下事實(shí)描述了本發(fā)明圖像被投影到一個(gè)形狀上，隨后形狀旋轉(zhuǎn)，隨后從形狀投影回原始圖像位置。盡管在本發(fā)明的優(yōu)選實(shí)施例中保持了所述的原理，并具體使用了本領(lǐng)域公知的專用三維虛擬現(xiàn)實(shí)編程語(yǔ)言，但應(yīng)該理解，可以通過(guò)單純的數(shù)學(xué)算法獲得相同的圖像處理效果。也就是說(shuō)，將紋理化到形狀上的圖像可以被簡(jiǎn)單地認(rèn)為是在已知坐標(biāo)系中的離散坐標(biāo)位置的點(diǎn)的集合，并且形狀不是由優(yōu)選實(shí)施例中的多角形代表，而是由已知坐標(biāo)系中的適當(dāng)?shù)墓酱?。隨后使用該幾何形狀的公式，并使用該形狀公式對(duì)圖像坐標(biāo)進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換，從而通過(guò)數(shù)學(xué)方法獲得處理后圖像。由于其實(shí)際上只是實(shí)施了針對(duì)優(yōu)選實(shí)施例所描述的本發(fā)明的原理，因而這種實(shí)施方式很顯然被所附的權(quán)利要求涵蓋。為明確這一點(diǎn)，下面對(duì)根據(jù)本發(fā)明的圖像處理方法進(jìn)行數(shù)學(xué)分析，用數(shù)學(xué)術(shù)語(yǔ)表示上述的紋理化、投影、相對(duì)運(yùn)動(dòng)和第二投影步驟?，F(xiàn)在參照?qǐng)D8到圖13描述本發(fā)明的數(shù)學(xué)分析。
圖8示出了三維虛擬空間的立體圖，在該空間中存在著本發(fā)明的圖像和形狀對(duì)象。具體的，圖8示出了待處理的圖像的位置和朝向以及在虛擬空間中的虛擬形狀模型。
圖9示出了從正前方(即垂直于圖像平面)的觀察點(diǎn)看到的待處理圖像。相反的，圖10示出了從圓柱體的軸向上獲得的視圖。在這種情況下，視圖沿著圖像平面，因而從該觀察點(diǎn)看不到圖像(由于其是兩維的)。圖11、12和13示出了類(lèi)似的視圖。
在形狀為圓柱體的情況下，僅需對(duì)圓柱體表面上的任一點(diǎn)的圓周進(jìn)行計(jì)算，例如，在AB的水平面上。所得公式在圓柱體垂直方向上下的整個(gè)路徑上相同，因?yàn)樵谠摲较蛏系臋M截面不變。
首先，計(jì)算紋理化在圓柱體上的頭部的亮度，也就是Lc。唯一的要求是在圓柱體正對(duì)它時(shí)投影的亮度必須與原始靜態(tài)圖像的亮度Ls相同。
參照?qǐng)D11，令θ為圖像中的相關(guān)點(diǎn)的對(duì)角。θ是“固定”在圓柱體上的。
由于x＝rsinθLc(θ)＝Ls(x)＝Ls(rsinθ)Lc(θ)＝Ls(x)＝Ls(rsinθ)公式1隨后，參照?qǐng)D12，計(jì)算當(dāng)圓柱體旋轉(zhuǎn)角度α?xí)r在屏幕上顯示的亮度(LD)。
此處，令LCR為旋轉(zhuǎn)后的圓柱體(在α處)的亮度，那么LD(x)＝LCR(rsinα)(參見(jiàn)圖12)；而LCR(α)＝LCR(θ+φ)(參見(jiàn)圖13)其中α＝θ+φ，因?yàn)檫@是旋轉(zhuǎn)角φ加上位移角θ，也就是LCR(θ+φ)＝LC(θ)因而位移角為θ旋轉(zhuǎn)角為φ現(xiàn)在，由公式1Lc(θ)＝Ls(rsinθ)而rsinα＝x因此θ+φ＝arcsin(x/r)θ＝arcsin(x/r)-φLc(θ)＝Ls{rsin(arcsin(x/r)-φ)}
⇒Lc(θ)=Ls{xcosφ-r2-x2sinφ}]]> 從前面可以看出，本發(fā)明可以在對(duì)優(yōu)選實(shí)施例描述的原理的基礎(chǔ)上或僅在上面所示的數(shù)學(xué)基礎(chǔ)上實(shí)施，這兩者并不互相排斥。在兩種情況下，可獲得同樣改變了寬高比的處理后圖像。
另外，本發(fā)明不限于由電子的或其它處理裝置實(shí)施，因?yàn)榭梢酝ㄟ^(guò)本發(fā)明的實(shí)際物理實(shí)現(xiàn)來(lái)實(shí)施本發(fā)明并獲得相同的效果。因而，在其它實(shí)施例中，提供了一種圖像投影機(jī)，用于通過(guò)在形狀的表面上投影而顯示圖像。該圖像投影機(jī)可以是幻燈機(jī)或數(shù)字光學(xué)投影機(jī)等。還提供了一種例如由塑料或聚苯乙烯制成的三維形狀，優(yōu)選地為淺色，并相對(duì)于圖像投影機(jī)布置，以在其表面接收?qǐng)D像的投影。進(jìn)一步提供了一種攝像機(jī)，該攝像機(jī)可以是數(shù)字的、視頻的或基于膠卷的，其用于聚焦在形狀表面上的圖像投影上，并用于拍攝該圖像。該攝像機(jī)優(yōu)選地靠近投影機(jī)，但并不位于完全相同的位置，從而攝像機(jī)的光軸與投影機(jī)的光軸形成小的角度(優(yōu)選地不超過(guò)10度，更優(yōu)選地不超過(guò)1度)。攝像機(jī)的這種定位模擬了圖像位置相對(duì)于形狀的運(yùn)動(dòng)，無(wú)需投影機(jī)、形狀或攝像機(jī)有實(shí)際的運(yùn)動(dòng)。
這種結(jié)構(gòu)的操作是很簡(jiǎn)單的，并類(lèi)似于前述的實(shí)施例。也就是說(shuō)，投影機(jī)用于將一個(gè)圖像(優(yōu)選地為視位等)投影到形狀的表面上，從而有效地“紋理化”該表面。攝像機(jī)聚焦在該形狀的表面上，拍攝投影圖像的圖像，利用攝像機(jī)的光軸與投影機(jī)的光軸之間的角度產(chǎn)生本發(fā)明提供的“寬高比變化”效果。隨后，輸出攝像機(jī)拍攝的圖像作為處理后圖像。
對(duì)于待處理的一連串圖像，改變攝像機(jī)和/或投影機(jī)的相對(duì)位置，從而對(duì)于各連續(xù)圖像觀察到看起來(lái)是隨機(jī)的寬高比變化。
除非上下文明確說(shuō)明，否則整個(gè)說(shuō)明書(shū)和權(quán)利要求書(shū)中的“包含”、“包括”等都是含有性的而沒(méi)有排他或窮盡的含義。也就是說(shuō)，含義為“包括，但不限于”。
權(quán)利要求
1.一種圖像處理方法，包括以下步驟a)將第一圖像按照其朝向從其圖像位置投影到三維形狀的至少一個(gè)表面上，從而紋理化所述至少一個(gè)表面；b)相對(duì)移動(dòng)所述形狀和/或所述圖像位置兩者或其中之一；和c)將所述形狀的紋理化表面投影到所述圖像位置上，以在所述圖像位置處獲得與所述第一圖像相同朝向的第二圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中所述第一圖像構(gòu)成了第一圖像序列中的一部分，所述方法進(jìn)一步包括針對(duì)所述序列中的每個(gè)第一圖像重復(fù)步驟(a)，(b)，(c)以獲得對(duì)應(yīng)的第二圖像序列。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述第一圖像序列和第二圖像序列分別形成說(shuō)話的臉的動(dòng)畫(huà)序列。
4.根據(jù)權(quán)利要求2或3所述的方法，進(jìn)一步包括向使用者顯示所述第二圖像序列，并與所述顯示同步地再現(xiàn)記錄或合成的聲音，所述聲音可以是話音。
5.根據(jù)權(quán)利要求4所述的方法，其中所述移動(dòng)步驟進(jìn)一步包括根據(jù)再現(xiàn)聲音中的能量移動(dòng)所述形狀和/或圖像位置。
6.根據(jù)權(quán)利要求1到4中的任意一項(xiàng)所述的方法，其中所述移動(dòng)步驟進(jìn)一步包括隨機(jī)地移動(dòng)所述形狀和/或圖像位置。
7.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中所述移動(dòng)步驟進(jìn)一步包括繞所述三維形狀的一個(gè)或多個(gè)軸旋轉(zhuǎn)所述三維形狀。
8.根據(jù)權(quán)利要求7所述的方法，其中所述旋轉(zhuǎn)在繞所述三維形狀的一個(gè)或多個(gè)軸的兩個(gè)方向上不超過(guò)10度，優(yōu)選地繞所述軸旋轉(zhuǎn)不超過(guò)1度。
9.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中所述形狀是包括球體、圓柱體、橢圓體、卵形體或雙圓柱體的組中的任意一種。
10.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中所述第一圖像包括位于虛擬空間中的第一位置處的多個(gè)象素，所述形狀是代表由處理器構(gòu)建的位于所述虛擬空間中的形狀的3D虛擬模型的數(shù)據(jù)。
11.一種計(jì)算機(jī)程序，當(dāng)由計(jì)算機(jī)系統(tǒng)執(zhí)行時(shí)，使計(jì)算機(jī)系統(tǒng)執(zhí)行前述權(quán)利要求中的任意一項(xiàng)所述的方法。
12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)根據(jù)權(quán)利要求11所述的計(jì)算機(jī)程序。
13.一種圖像處理系統(tǒng)，包括圖像接收裝置，用于接收待處理的第一圖像；圖像處理裝置；以及圖像輸出裝置，用于輸出處理后的第二圖像，其特征在于，所述圖像處理裝置進(jìn)一步包括形狀建模裝置，用于構(gòu)建三維形狀的模型；進(jìn)一步用于a)將第一圖像按照其朝向從其圖像位置投影到三維形狀的至少一個(gè)表面上，從而紋理化所述至少一個(gè)表面；b)相對(duì)移動(dòng)所述形狀和/或所述圖像位置兩者或其中之一；和c)將所述形狀的紋理化表面投影到所述圖像位置上，以在所述圖像位置處獲得與所述第一圖像相同朝向的第二圖像。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中所述第一圖像構(gòu)成了第一圖像序列中的一部分，所述系統(tǒng)進(jìn)一步被配置為在所述圖像接收裝置處接收所述序列中的各個(gè)第一圖像，所述圖像處理裝置針對(duì)所述序列中的每個(gè)第一圖像重復(fù)步驟(a)，(b)，(c)以獲得對(duì)應(yīng)的第二圖像序列。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述第一圖像序列和第二圖像序列分別形成說(shuō)話的臉的動(dòng)畫(huà)序列。
16.根據(jù)權(quán)利要求14或15所述的系統(tǒng)，進(jìn)一步包括顯示裝置和聲音再現(xiàn)裝置，所述顯示裝置用于向使用者顯示所述第二圖像序列，所述聲音再現(xiàn)裝置用于與所述顯示同步地再現(xiàn)記錄或合成的聲音，所述聲音可以是話音。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述圖像處理裝置進(jìn)一步被配置為根據(jù)再現(xiàn)聲音中的能量移動(dòng)所述形狀和/或圖像位置。
18.根據(jù)權(quán)利要求13至16中的任意一項(xiàng)所述的系統(tǒng)，其中所述圖像處理裝置進(jìn)一步被配置為隨機(jī)移動(dòng)所述形狀和/或圖像位置。
19.根據(jù)權(quán)利要求13至18中的任意一項(xiàng)所述的系統(tǒng)，其中所述圖像處理裝置進(jìn)一步被配置為繞所述三維形狀的一個(gè)或多個(gè)軸旋轉(zhuǎn)所述三維形狀。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述旋轉(zhuǎn)在繞一個(gè)或多個(gè)所述軸的兩個(gè)方向上不超過(guò)10度，優(yōu)選地在繞所述軸的兩個(gè)方向上旋轉(zhuǎn)不超過(guò)1度。
21.根據(jù)權(quán)利要求13至20中的任意一項(xiàng)所述的系統(tǒng)，其中所述形狀是包括球體、圓柱體、橢圓體、卵形體或雙圓柱體的組中的任意一種。
22.根據(jù)權(quán)利要求13至21中的任意一項(xiàng)所述的系統(tǒng)，其中所述第一圖像包括位于虛擬空間中的第一位置處的多個(gè)象素，所述形狀是代表由所述形狀建模裝置構(gòu)建的位于所述虛擬空間中的形狀的3D虛擬模型的數(shù)據(jù)。
全文摘要
本發(fā)明提供了一種圖像處理的方法和系統(tǒng)，其中，在概念上通過(guò)投影把圖像紋理化到3維形狀的表面上，隨后相對(duì)移動(dòng)該形狀和/或圖像位置，優(yōu)選地繞所述形狀的一個(gè)或多個(gè)軸旋轉(zhuǎn)，并將紋理化表面投影回圖像位置，以產(chǎn)生處理后的第二圖像。處理后圖像中顯示的畫(huà)面因處理而改變了寬高比。本發(fā)明在模擬講話期間頭部的微小運(yùn)動(dòng)時(shí)，特別是在處理視位圖像以在順序顯示時(shí)模擬這種微小運(yùn)動(dòng)時(shí)特別有用。
文檔編號(hào)G06T13/20GK1653490SQ03811287
公開(kāi)日2005年8月10日 申請(qǐng)日期2003年5月8日 優(yōu)先權(quán)日2002年5月24日
發(fā)明者丹尼爾·巴蘭, 查爾斯·南丁格爾 申請(qǐng)人:英國(guó)電訊有限公司