專利名稱：實(shí)時(shí)剪切視頻序列中記錄的真實(shí)實(shí)體的方法
技術(shù)領(lǐng)域：
本發(fā)明的一個(gè)方面涉及一種用于實(shí)時(shí)剪切視頻序列中記錄的真實(shí)實(shí)體的方法，且更具體地涉及使用化身的對(duì)應(yīng)身體部分實(shí)時(shí)剪切視頻序列中用戶身體的一部分。這種方法可以具體地但是并非排他地應(yīng)用在虛擬現(xiàn)實(shí)領(lǐng)域中、特別地在所謂虛擬環(huán)境或混合現(xiàn)實(shí)環(huán)境中繪制化身。
背景技術(shù)：
圖I表示多媒體系統(tǒng)(例如視頻會(huì)議或在線游戲系統(tǒng))環(huán)境中示例的虛擬現(xiàn)實(shí)應(yīng)用。多媒體系統(tǒng)I包括多媒體設(shè)備3、12、14、16 (它們連接到使它們能發(fā)送數(shù)據(jù)的通信網(wǎng)絡(luò)9)以及遠(yuǎn)程應(yīng)用服務(wù)器10。在這個(gè)多媒體系統(tǒng)I中，各個(gè)多媒體設(shè)備3、12、14、16的用戶
2、11、13、15可以在虛擬環(huán)境或混合現(xiàn)實(shí)環(huán)境20(圖2所示)中交互。遠(yuǎn)程應(yīng)用服務(wù)器10可以管理虛擬或混合現(xiàn)實(shí)環(huán)境20。典型地，多媒體設(shè)備3包括處理器4、存儲(chǔ)器5、到通信網(wǎng)絡(luò)9的連接模塊6、顯示和交互設(shè)備7，以及照相機(jī)8 (例如網(wǎng)絡(luò)照相機(jī))。其他多媒體設(shè)備12、14、16等效于多媒體設(shè)備3且將不會(huì)更詳細(xì)地說(shuō)明。圖2所示為其中有化身21演變的虛擬或混合現(xiàn)實(shí)環(huán)境20。虛擬或混合現(xiàn)實(shí)環(huán)境20是模仿用戶2、11、13、15可以演變、交互和/或工作等的范疇的圖形表示。在虛擬或混合現(xiàn)實(shí)環(huán)境20中，每個(gè)用戶2、11、13、15由他或她的化身21表示，化身代表人類的虛擬圖形表示。在上述應(yīng)用中，最好實(shí)時(shí)將化身的頭22與照相機(jī)8拍攝的用戶2、11、13或15的頭的視頻混合，或者換句話說(shuō)，動(dòng)態(tài)地或?qū)崟r(shí)地用對(duì)應(yīng)的化身21的頭替代用戶2、11、13或15的頭。這里，動(dòng)態(tài)或?qū)崟r(shí)表示同步或準(zhǔn)同步地將用戶2、11、13或15的多媒體設(shè)備3、12、14、16前面的他或她的頭的動(dòng)作、姿勢(shì)和實(shí)際外觀重現(xiàn)到化身21的頭22上。這里，視頻是指包括圖像序列的可視的或視聽(tīng)的序列。文獻(xiàn)US 20091202114描述了一種由計(jì)算機(jī)實(shí)現(xiàn)的視頻俘獲方法，包括在第一計(jì)算設(shè)備上實(shí)時(shí)地識(shí)別和跟蹤在若干視頻幀中的臉部，產(chǎn)生代表被識(shí)別和跟蹤的臉部的數(shù)據(jù)，以及通過(guò)網(wǎng)絡(luò)向第二計(jì)算設(shè)備發(fā)送臉部的數(shù)據(jù)以便第二計(jì)算設(shè)備在化身的身體上顯示臉部。SONOU LEE 等人的文獻(xiàn)“CFB0XTM :superimposing 3D human face on motionpicture”，PROCEEDINGS OF THE SEVENTH INTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMSAND MULTIMEDIA BERKELEY, CA, USA, 2001 年 10 月 25-27 日，LOS ALAMITOS, CA, USA, IEEEC0MPUT. SOC, US LNKD DOl :10. 1109NSMM. 2001. 969723,2001 年 10 月 25 日，644-651 頁(yè)，XP01567131 ISBN :978-0-7695-1402-4描述了一種稱為CFBOX的產(chǎn)品，其構(gòu)成一種個(gè)人商用電影工作室。它實(shí)時(shí)使用三維臉部集成技術(shù)用用戶建模的臉部代替人的臉部。還提出操作特征用于改變建模的臉部紋理以適合某人的風(fēng)格。因此能建立定制數(shù)字視頻。但是，在給定的時(shí)刻從照相機(jī)拍攝的用戶的視頻中剪切頭部，提取它，然后將它粘貼到化身的頭上，并且在稍后的時(shí)刻重復(fù)此序列是困難且昂貴的操作，因?yàn)樾枰鎸?shí)的渲染。首先，輪廓識(shí)別算法需要高對(duì)比的視頻圖像。這可以在具有ad hoc照明的工作室中實(shí)現(xiàn)。另一方面，用網(wǎng)絡(luò)照相機(jī)和/或在家庭或辦公樓的房間中的照明環(huán)境中，這不總是可能的。而且，輪廓識(shí)別算法需要來(lái)自處理器的強(qiáng)的計(jì)算能力。一般說(shuō)來(lái)，這個(gè)高的計(jì)算能力現(xiàn)在在標(biāo)準(zhǔn)多媒體設(shè)備(比如個(gè)人計(jì)算機(jī)、筆記本電腦、個(gè)人數(shù)字助理(PDA)或智能電話)上不可得。因此，需要一種用于使用化身的身體的對(duì)應(yīng)部分實(shí)時(shí)剪切視頻中的用戶身體的一部分的方法，具有足夠高的質(zhì)量以提供沉浸在虛擬環(huán)境中的感覺(jué)且其可用上述標(biāo)準(zhǔn)多媒體設(shè)備實(shí)現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提出一種用于實(shí)時(shí)剪切視頻中的一個(gè)區(qū)域的方法，且更具體地是通過(guò)使用旨在重現(xiàn)用戶身體部分的外觀的化身的身體的對(duì)應(yīng)部分實(shí)時(shí)剪切視頻中用戶身體的一部分，所述方法包括步驟 -從視頻序列中提取包括用戶的記錄的身體部分的圖像，
-確定包括用戶的記錄的身體部分的圖像中用戶的身體部分的方向和比例，
-以與用戶的身體部分大致相同的方式定位和縮放化身的身體部分，以及-使用化身的身體部分的輪廓以形成包括用戶的記錄的身體部分的圖像的剪切圖像，剪切圖像限于包括輪廓中包含的用戶的記錄的身體部分的圖像的一個(gè)區(qū)域。根據(jù)本發(fā)明的另一實(shí)施方式，真實(shí)實(shí)體可以是用戶的身體部分，且虛擬實(shí)體可以是旨在重現(xiàn)用戶的身體部分的外觀的化身身體的對(duì)應(yīng)部分，以及所述方法包括步驟
-從視頻序列中提取包括用戶的記錄的身體部分的圖像，
-從包括用戶的身體部分的圖像確定用戶的身體部分的方向，
-以與包括用戶的記錄的身體部分的圖像中大致相同的方式定向化身的身體部分，
-轉(zhuǎn)換和縮放包括用戶的記錄的身體部分的圖像以便將它與化身的對(duì)應(yīng)定向的身體部分對(duì)準(zhǔn)，
-繪制虛擬環(huán)境的圖像，其中化身的定向的身體部分的輪廓所限定的剪切區(qū)域由缺少像素或透明像素編碼；以及
-將虛擬環(huán)境的圖像疊加在包括用戶的被轉(zhuǎn)換和縮放的身體部分的圖像上。確定包括用戶的記錄的身體部分的圖像的方向和/或比例的步驟可以通過(guò)應(yīng)用于所述圖像的頭部跟蹤器功能實(shí)現(xiàn)。定向和縮放、提取輪廓以及合并的步驟可考慮化身的或用戶的身體部分的重要的點(diǎn)或區(qū)域?；淼纳眢w部分可以是所述化身身體部分的三維表示。剪切方法還可包括初始化步驟，其包括根據(jù)必須重現(xiàn)其外觀的用戶的身體部分對(duì)化身的身體部分的三維表示建模。身體部分可以是用戶的或化身的頭。根據(jù)另一方面，本發(fā)明涉及包括實(shí)現(xiàn)本發(fā)明剪切方法的處理器的一種多媒體系統(tǒng)。根據(jù)本發(fā)明的又一方面，本發(fā)明涉及旨在加載在多媒體系統(tǒng)的存儲(chǔ)器中的一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括當(dāng)程序被多媒體系統(tǒng)的處理器運(yùn)行時(shí)實(shí)現(xiàn)本發(fā)明的剪切方法的軟件代碼部分。
本發(fā)明可以有效地剪切表示視頻序列中實(shí)體的區(qū)域。本發(fā)明還可以實(shí)時(shí)合并化身和視頻序列，具有足夠高的質(zhì)量以提供沉浸在虛擬環(huán)境中的感覺(jué)。本發(fā)明的方法消耗少量的處理器資源，且使用一般編碼在圖形卡中的功能。因此可以用標(biāo)準(zhǔn)多媒體設(shè)備實(shí)現(xiàn)它，標(biāo)準(zhǔn)多媒體設(shè)備比如個(gè)人計(jì)算機(jī)、筆記本電腦、個(gè)人數(shù)字助理或智能電話。它可以使用低對(duì)比的圖像或帶有來(lái)自網(wǎng)絡(luò)照相機(jī)的缺陷的圖像。根據(jù)本發(fā)明的下列詳細(xì)說(shuō)明，其他優(yōu)點(diǎn)將變得清楚。


通過(guò)附圖中非限制的示例說(shuō)明本發(fā)明，其中相同標(biāo)號(hào)表示相似元件
圖2所示為在其中化身演變的虛擬或混合的現(xiàn)實(shí)環(huán)境；
圖3A和3B所示為用于實(shí)時(shí)剪切記錄在視頻序列中的用戶的頭部的本發(fā)明的方法的一個(gè)實(shí)施方式的功能圖；以及
圖4A和4B所示為用于實(shí)時(shí)剪切記錄在視頻序列中的用戶的頭部的本發(fā)明的方法的另一個(gè)實(shí)施方式的功能圖。
具體實(shí)施方式
。圖3A和3B所示為用于實(shí)時(shí)剪切記錄在視頻序列中的用戶的頭部的本發(fā)明的方法的一個(gè)實(shí)施方式的功能圖。在第一步驟SI中，在給定的時(shí)刻，從用戶的視頻序列30中提取EXTR圖像31。視頻序列是指例如由照相機(jī)(見(jiàn)圖I)記錄的一連串圖像。在第二步驟S2中，頭部跟蹤器功能HTFunc應(yīng)用于提取的圖像31。頭部跟蹤器功能使得可以確定用戶的頭部的比例E和方向O。它使用臉32的某些點(diǎn)或區(qū)域(例如眼睛、眉毛、鼻子、面頰和下巴)的重要位置。這種頭部跟蹤器功能可以由“Seeing Machines”公司銷售的軟件應(yīng)用“faceAPI”實(shí)現(xiàn)。在第三步驟S3中，基于確定的方向O和比例E，以與提取的圖像的頭部大致相同的方式定向ORI和縮放ECH三維化身頭部33。結(jié)果是其尺寸和方向與提取的頭部31的圖像相符的三維化身頭部34。這個(gè)步驟使用標(biāo)準(zhǔn)旋轉(zhuǎn)和縮放算法。在第四步驟S4中，其尺寸和方向與提取的頭部31的圖像相符的三維化身頭部34被象提取圖像31中的頭部一樣定位R0SI。結(jié)果是與圖像相比兩個(gè)頭部被相同地定位。這個(gè)步驟使用標(biāo)準(zhǔn)轉(zhuǎn)換功能，其中轉(zhuǎn)換考慮臉的重要點(diǎn)或區(qū)域，比如眼睛、眉毛、鼻子、面頰和/或下巴以及針對(duì)化身的頭部編碼的重要點(diǎn)。在第五步驟S5中，定位的三維化身頭部35被投影PROJ到平面上?？梢允褂脴?biāo)準(zhǔn)方案中的投影功能，例如轉(zhuǎn)換矩陣。接下來(lái)，僅來(lái)自位于投影的三維化身頭部的輪廓36中的提取的圖像31的像素被選擇PIX SEL和保存?？梢允褂脴?biāo)準(zhǔn)功能ET。這種像素選擇形成剪切的頭部圖像37 ;化身的投影頭部的功能和圖像產(chǎn)生于給定時(shí)刻的視頻序列。在第六步驟S6中，剪切的頭部圖像37可定位 、應(yīng)用和替代SUB用于在虛擬或混合現(xiàn)實(shí)環(huán)境20中演變的化身21的頭部22。這樣，在虛擬環(huán)境或混合現(xiàn)實(shí)環(huán)境中，大致在相同的給定時(shí)刻，化身表征他或她的多媒體設(shè)備前面的用戶的真實(shí)頭部。根據(jù)這個(gè)實(shí)施方式，由于剪切的頭部圖像被粘貼到化身的頭部上，化身的元素，例如其頭發(fā)，被剪切的頭部圖像37覆蓋。作為替換，當(dāng)剪切方法被用于過(guò)濾視頻序列且僅從它提取用戶的臉部時(shí)，步驟S6可以被認(rèn)為是可選的。在這種情況下，不顯示虛擬環(huán)境或混合現(xiàn)實(shí)環(huán)境的圖像。圖4A和4B是用于實(shí)時(shí)剪切記錄在視頻序列中的用戶的頭部的本發(fā)明的方法的一個(gè)實(shí)施方式的功能圖。在這個(gè)實(shí)施方式中，對(duì)應(yīng)于臉部的化身的頭部22的區(qū)域以特定方式編碼在三維化身頭部模型中。它可以，例如，是缺少對(duì)應(yīng)的像素或透明像素。在第一步驟SlA中，在給定時(shí)刻，從用戶的視頻序列30中提取EXTR圖像31。在第二步驟S2A中，頭部跟蹤器功能HTFunc應(yīng)用于提取的圖像31。頭部跟蹤器功能使得可以確定用戶的頭部的方向O。它使用臉32的某些點(diǎn)或區(qū)域(例如眼睛、眉毛、鼻子、面頰和下巴)的重要位置。這種頭部跟蹤器功能可以由“Seeing Machines”公司銷售 的軟件應(yīng)用“faceAPI”實(shí)現(xiàn)。在第三步驟S3A中，計(jì)算在其中化身演變21的虛擬或混合現(xiàn)實(shí)環(huán)境20，以及基于確定的方向O以與提取圖像的頭部大致相同的方式定位ORI三維化身頭部33。結(jié)果是其定向與提取的頭部31的圖像相符的三維化身頭部34A。這個(gè)步驟使用標(biāo)準(zhǔn)旋轉(zhuǎn)算法。在第四步驟S4A中，從視頻序列提取的圖像31象在虛擬或混合現(xiàn)實(shí)環(huán)境20中三維化身頭部34A —樣被定位POSI和縮放ECH。結(jié)果是從視頻序列38提取的圖像和虛擬或混合現(xiàn)實(shí)環(huán)境20中化身的頭部對(duì)準(zhǔn)。這個(gè)步驟使用標(biāo)準(zhǔn)轉(zhuǎn)換功能，其中轉(zhuǎn)換考慮臉部的重要點(diǎn)或區(qū)域，比如眼睛、眉毛、鼻子、面頰和/或下巴以及針對(duì)化身的頭部編碼的重要點(diǎn)。在第五步驟S5A中，繪制在其中化身21演變的虛擬或混合現(xiàn)實(shí)環(huán)境20的圖像，注意不要繪制位于對(duì)應(yīng)于定向的臉部的化身的頭部22的區(qū)域之外的像素，因?yàn)橛捎趯?duì)應(yīng)于臉部的化身的頭部22的區(qū)域的特定編碼且通過(guò)簡(jiǎn)單投影，這些像素是易于識(shí)別的。在第六步驟S6A中，虛擬或混合現(xiàn)實(shí)環(huán)境20的圖像以及包括用戶轉(zhuǎn)換的和縮放的頭部38的視頻序列中提取的圖像被疊加SUP?？商鎿Q地，在對(duì)應(yīng)于定向的臉部的化身的頭部22后面的、包括用戶轉(zhuǎn)換的和縮放的頭部38的視頻序列中提取的圖像的像素以在化身的定向的臉中最深的像素深度被結(jié)合在虛擬圖像中。這樣，在虛擬環(huán)境或混合現(xiàn)實(shí)環(huán)境中，大致在相同的給定時(shí)刻，化身表征他或她的多媒體設(shè)備前面的用戶的真實(shí)臉部。根據(jù)這個(gè)實(shí)施方式，像包括化身的剪切的臉部的虛擬或混合現(xiàn)實(shí)環(huán)境20的圖像被疊加在用戶轉(zhuǎn)換且縮放的頭部38的圖像上那樣，化身的元素，例如其頭發(fā)，是可見(jiàn)的且覆蓋用戶的圖像。三維化身頭部33是從三維數(shù)字模型得到的。它計(jì)算迅速且簡(jiǎn)單，不管用于標(biāo)準(zhǔn)多媒體設(shè)備的三維化身頭部的方向。這對(duì)于將它投影到平面上也是一樣。因此，序列作為整體給出質(zhì)量結(jié)果，即使是帶有標(biāo)準(zhǔn)處理器。步驟序列S1-S6或S1A-S6A然后可被重復(fù)用于后續(xù)的時(shí)刻?？蛇x地，可以在實(shí)現(xiàn)序列S1-S6或S1A-S6A之前單次執(zhí)行初始化步驟(未示出)。在初始化步驟中，根據(jù)用戶的頭部建模三維化身頭部。這個(gè)步驟可以從不同角度拍攝的用戶的頭部的多個(gè)圖像或一個(gè)圖像手動(dòng)或自動(dòng)執(zhí)行。這個(gè)步驟使得可以準(zhǔn)確分辨將最適合本發(fā)明的實(shí)時(shí)剪切方法的三維化身頭部的剪影?；谡掌瑢⒒砼c用戶的頭部適配可以通過(guò)軟件應(yīng)用來(lái)實(shí)現(xiàn)，比如，例如Abalone公司銷售的“Faceshop”。圖及其以上描述說(shuō)明了本發(fā)明而不是限制它。特別地，已結(jié)合應(yīng)用于視頻會(huì)議或在線游戲的具體示例說(shuō)明了本發(fā)明。但是，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)顯然地本發(fā)明可擴(kuò)展到其他在線應(yīng)用，以及一般來(lái)說(shuō)所有需要實(shí)時(shí)再現(xiàn)用戶的頭部的化身的應(yīng)用，例如游戲、論壇、用戶之間的遠(yuǎn)程協(xié)作工作、用戶之間的交互以通過(guò)符號(hào)語(yǔ)言通信等。它也可以擴(kuò)展到需要實(shí)時(shí)顯示用戶隔離的臉部或頭部的所有應(yīng)用。已用混合化身頭部和用戶頭部的特定示例說(shuō)明了本發(fā)明。但是，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)顯然地本發(fā)明可擴(kuò)展到其他身體部分，例如任何四肢或臉部更具體的部分比如嘴等。它還應(yīng)用于動(dòng)物身體部分，或物體，或風(fēng)景元素等。雖然一些圖將不同的功能實(shí)體顯示為不同的框，這并不以任何方式排除本發(fā)明的如下實(shí)施方式，其中在這些實(shí)施方式中單個(gè)實(shí)體執(zhí)行多個(gè)功能，或多個(gè)實(shí)體執(zhí)行單個(gè)功能。因此，圖必須被視為本發(fā)明的高度示意的說(shuō)明。權(quán)利要求中引用的符號(hào)并非任何形式的限制。動(dòng)詞“包括”不排除列在權(quán)利要求
中以外的其他元素的存在。元素之前的單詞“一個(gè)”不排除多個(gè)這種元素的存在。
權(quán)利要求
1.一種用于實(shí)時(shí)剪切記錄在視頻序列中的真實(shí)環(huán)境中移動(dòng)的真實(shí)實(shí)體的方法，所述真實(shí)實(shí)體與虛擬實(shí)體相關(guān)聯(lián)，所述方法包括步驟 -從所述視頻序列中提取(SI，SlA)包括記錄的真實(shí)實(shí)體的圖像， -從所述包括記錄的真實(shí)實(shí)體的圖像確定真實(shí)實(shí)體的比例和/或方向(S2，S2A)， -通過(guò)以大致相同的方式縮放、定向和定位，轉(zhuǎn)換(S3，S4，S3A，S4A)所述虛擬實(shí)體和所述記錄的真實(shí)實(shí)體，以及 -用所述真實(shí)實(shí)體的剪切圖像替代(S5，S6，S5A，S6A)所述虛擬實(shí)體，所述真實(shí)實(shí)體的剪切圖像是所述虛擬實(shí)體的輪廓限定的包括所述記錄的真實(shí)實(shí)體的圖像的區(qū)域。
2.根據(jù)權(quán)利要求I所述的剪切方法，其中所述真實(shí)實(shí)體是用戶(2)的身體部分，并且虛擬實(shí)體是g在重現(xiàn)用戶(2)的身體部分外觀的化身(21)的對(duì)應(yīng)身體部分(22)，所述方法包括步驟 -從所述視頻序列(30)中提取(SI)包括所述用戶的記錄的身體部分的圖像(31)，-確定(S2)在所述包括用戶的記錄的身體部分的圖像(31)中所述用戶的身體部分的方向(32)和比例， -以與所述用戶的身體部分大致相同的方式定向和縮放(S3)所述化身的身體部分(33，34)，以及 -使用(S4，S5)所述化身的身體部分的輪廓(36)以形成包括所述用戶的記錄的身體部分的圖像(31)的剪切圖像(37)，所述剪切圖像(37)被限于包含在所述輪廓(36)中的包括用戶的記錄的身體部分的圖像(31)的區(qū)域。
3.根據(jù)權(quán)利要求2所述的剪切方法，其中所述方法還包括將所述化身(21)的身體部分(22)與所述剪切圖像(37)合并(S6)的步驟。
4.根據(jù)權(quán)利要求I所述的剪切方法，其中所述真實(shí)實(shí)體是用戶(2)的身體部分，以及虛擬實(shí)體是g在重現(xiàn)用戶(2)的身體部分外觀的化身(21)的對(duì)應(yīng)身體部分(22)，所述方法包括步驟 -從所述視頻序列(30)中提取(SlA)包括所述用戶的記錄的身體部分的圖像(31)， -從所述包括用戶的身體部分的圖像(31)確定(S2A)所述用戶的身體部分的方向，-以與所述包括用戶的記錄的身體部分的圖像(31)中大致相同的方式定向(S3A)所述化身的身體部分(33，34A)， -轉(zhuǎn)換和縮放(S4A)所述包括用戶的記錄的身體部分(33，34)的圖像(31)以便將它與所述化身(34A)的對(duì)應(yīng)定向的身體部分對(duì)準(zhǔn)， -繪制(S5A)所述虛擬環(huán)境的圖像，其中由所述化身的定向的身體部分的輪廓所限定的剪切區(qū)域由缺少像素或透明像素編碼；以及 -將所述虛擬環(huán)境的圖像疊加(S6A)在所述包括用戶的被轉(zhuǎn)換和縮放的身體部分(38)的圖像上。
5.根據(jù)權(quán)利要求2到4之一所述的剪切方法，其中所述確定(S2)所述包括用戶的記錄的身體部分的圖像(31)的方向和/或比例的步驟由應(yīng)用于所述圖像(31)的頭部跟蹤器功能(HTFunc)執(zhí)行。
6.根據(jù)權(quán)利要求2到5之一所述的剪切方法，其中所述定向和縮放(S3)、提取輪廓(S4，S5)以及合并(S6)的步驟考慮所述化身的或用戶的身體部分的重要的點(diǎn)或區(qū)域。
7.根據(jù)權(quán)利要求2到6之一所述的剪切方法，其中所述化身的身體部分(33，34)是所述化身的身體部分的三維表示。
8.根據(jù)權(quán)利要求2到7之一所述的剪切方法，還包括初始化步驟，其包括根據(jù)必須再現(xiàn)其外觀的用戶的身體部分對(duì)化身的身體部分的三維表示建摸。
9.根據(jù)權(quán)利要求2到8之一所述的剪切方法，其中所述身體部分是用戶(2)或化身(21)的頭部。
10.ー種多媒體系統(tǒng)(I)，包括實(shí)現(xiàn)根據(jù)權(quán)利要求I到9之一所述的剪切方法的處理器⑷。
11.一種旨在被加載到多媒體系統(tǒng)⑴的存儲(chǔ)器(5)中的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)·程序產(chǎn)品包括當(dāng)程序被多媒體系統(tǒng)(I)的處理器(4)運(yùn)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求I到9之一的剪切方法的軟件代碼部分。
全文摘要
一種用于實(shí)時(shí)剪切在真實(shí)環(huán)境中移動(dòng)且記錄在視頻序列中的真實(shí)實(shí)體的方法，真實(shí)實(shí)體與虛擬實(shí)體相關(guān)聯(lián)，所述方法包括下列步驟從視頻序列中提取(S1，S1A)包括記錄的真實(shí)實(shí)體的圖像，基于包括記錄的真實(shí)實(shí)體的圖像確定真實(shí)實(shí)體的比例和/或方向(S2，S2A)，適合以大致相同的方式縮放、定向和定位轉(zhuǎn)換(S3，S4，S3A，S4A)虛擬實(shí)體和記錄的真實(shí)實(shí)體，以及用真實(shí)實(shí)體的剪切圖像替代(S5，S6，S5A，S6A)虛擬實(shí)體，真實(shí)實(shí)體的剪切圖像是虛擬實(shí)體的輪廓限定的包括記錄的真實(shí)實(shí)體的圖像的區(qū)域。
文檔編號(hào)G06K9/00GK102859991SQ201180018143
公開(kāi)日2013年1月2日 申請(qǐng)日期2011年4月1日 優(yōu)先權(quán)日2010年4月6日
發(fā)明者B·勒克萊爾, O·馬賽, Y·勒普羅沃 申請(qǐng)人:阿爾卡特朗訊