專利名稱：圖像裝置及計(jì)算機(jī)可讀記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例涉及圖像裝置及計(jì)算機(jī)可讀記錄介質(zhì)(Display device and Computer-Readable Recording Medium)，尤其涉及用于產(chǎn)生虛擬世界的虛擬角色的動(dòng)作的圖像裝置及計(jì)算機(jī)可讀記錄介質(zhì)。
背景技術(shù)：
近年來(lái)，對(duì)于體感型游戲的關(guān)注逐漸增加。微軟公司在“E3. 2009.新聞發(fā)布會(huì)”中發(fā)布了“I^roject Natal”，通過(guò)在作為該公式游戲控制臺(tái)的)(bOX360上結(jié)合由深度/色彩相機(jī)和多點(diǎn)陣列麥克風(fēng)組成的專門(mén)的傳感器設(shè)備來(lái)提供采集用戶全身運(yùn)動(dòng)、臉部識(shí)別、聲音識(shí)別技術(shù)，從而無(wú)需專門(mén)的控制器就可以與虛擬世界進(jìn)行交互。另外，索尼公司發(fā)布了體感型游戲運(yùn)動(dòng)控制器“Wand”，其在作為該公司的游戲控制臺(tái)的PS3中采用色彩攝像頭、麥克風(fēng)、超聲波傳感器的位置/方向傳感技術(shù)，從而能夠通過(guò)控制器的運(yùn)動(dòng)軌跡輸入與虛擬世界進(jìn)行交互?，F(xiàn)實(shí)世界和虛擬世界的相互作用具有兩種方向。第一種是將從現(xiàn)實(shí)世界的傳感器獲得的數(shù)據(jù)信息反映到虛擬世界的方向，第二種是將從虛擬世界獲得的數(shù)據(jù)信息通過(guò)致動(dòng)器(actuator)反映到現(xiàn)實(shí)世界的方向。圖1為表示MPEG-V標(biāo)準(zhǔn)的系統(tǒng)結(jié)構(gòu)的圖。文檔10618 (document 10618)用于處理控制信息，該控制信息用于將現(xiàn)實(shí)世界反映至Ij虛擬世界的適應(yīng)VR(adaptation VR,adaptation virtual world to real world)。但是，相反方向的控制信息，即，用于將虛擬世界反映到現(xiàn)實(shí)世界的適應(yīng)RV(adaptation RV, adaptation real world to virtual world)的控制信息還沒(méi)有被提出。用于適應(yīng)RV的控制信息處理虛擬世界的所有可控制的元素(element)。根據(jù)本發(fā)明的一實(shí)施例，為了實(shí)現(xiàn)現(xiàn)實(shí)世界和虛擬世界的交互作用，提供利用來(lái)自現(xiàn)實(shí)世界的傳感器的數(shù)據(jù)及動(dòng)畫(huà)剪輯來(lái)產(chǎn)生虛擬世界的虛擬角色的動(dòng)作的成像裝置及計(jì)算機(jī)可讀記錄介質(zhì)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一方面，圖像裝置包括存儲(chǔ)單元，用于保存動(dòng)畫(huà)剪輯、動(dòng)畫(huà)控制信息以及控制信息，其中，所述動(dòng)畫(huà)控制信息具有關(guān)于所述動(dòng)畫(huà)剪輯對(duì)應(yīng)于哪個(gè)虛擬角色的哪個(gè)部分的信息及優(yōu)先順序，所述調(diào)節(jié)控制信息具有關(guān)于處理從動(dòng)作傳感器接收的值而獲得的動(dòng)作數(shù)據(jù)對(duì)應(yīng)于哪個(gè)虛擬角色的哪個(gè)部分的信息以及優(yōu)先順序；以及，處理單元，比較對(duì)應(yīng)于虛擬角色的第一部分的所述動(dòng)畫(huà)控制信息的優(yōu)先順序和對(duì)應(yīng)于所述虛擬虛擬角色的所述第一部分的所述控制信息的優(yōu)先順序，以確定應(yīng)用于所述虛擬虛擬角色的所述第一部分的數(shù)據(jù)。根據(jù)本發(fā)明的一方面，計(jì)算機(jī)可讀記錄介質(zhì)包括第一指令集合，用于保存動(dòng)畫(huà)控制信息及管理控制信息；以及第二指令集合，參考所述控制信息，結(jié)合基于從動(dòng)作傳感器接收的值而產(chǎn)生的動(dòng)作數(shù)據(jù)及動(dòng)畫(huà)剪輯，所述動(dòng)畫(huà)控制信息包含對(duì)于對(duì)應(yīng)的動(dòng)畫(huà)剪輯的信息及關(guān)于所述對(duì)應(yīng)的動(dòng)畫(huà)剪輯對(duì)應(yīng)于哪個(gè)虛擬角色的臉部表情、頭、上身、身體中部、下身中的哪一部分的標(biāo)示符，所述控制信息包含關(guān)于所述實(shí)時(shí)動(dòng)作數(shù)據(jù)對(duì)應(yīng)于哪個(gè)虛擬角色的臉部表情、頭、上身、身體中部、下身中的哪一部分的標(biāo)示符。


圖1為表示MPEG-V標(biāo)準(zhǔn)的系統(tǒng)結(jié)構(gòu)的圖。圖2為表示根據(jù)本發(fā)明一實(shí)施例的現(xiàn)實(shí)世界和虛擬世界之間的信息及數(shù)據(jù)交換的系統(tǒng)結(jié)構(gòu)的圖。圖3至圖7表示根據(jù)本發(fā)明一實(shí)施例的虛擬角色控制命令的圖。圖8為表示根據(jù)本發(fā)明一實(shí)施例的外觀控制類型的結(jié)構(gòu)的圖。圖9為表示根據(jù)本發(fā)明一實(shí)施例的通信技能控制類型的結(jié)構(gòu)的圖。圖10為表示根據(jù)本發(fā)明一實(shí)施例的個(gè)性控制類型的結(jié)構(gòu)的圖。圖11為表示根據(jù)本發(fā)明一實(shí)施例的動(dòng)畫(huà)控制類型的結(jié)構(gòu)的圖。圖12為表示根據(jù)本發(fā)明一實(shí)施例的調(diào)節(jié)控制類型的結(jié)構(gòu)的圖。圖13為表示根據(jù)本發(fā)明一實(shí)施例的圖像裝置的組成的圖。圖14表示根據(jù)本發(fā)明一實(shí)施例的將虛擬世界的虛擬角色劃分為臉部表情、頭、上身、身體中部以及下身等部分的圖。圖15為表示根據(jù)本發(fā)明一實(shí)施例的關(guān)于動(dòng)畫(huà)剪輯的數(shù)據(jù)庫(kù)的圖。圖16為表示根據(jù)本發(fā)明一實(shí)施例的關(guān)于動(dòng)作數(shù)據(jù)的數(shù)據(jù)庫(kù)的圖。圖17為表示根據(jù)本發(fā)明一實(shí)施例的比較優(yōu)先順序而確定應(yīng)用于虛擬角色的任意部分的動(dòng)作客體數(shù)據(jù)的操作的圖。圖18為確定應(yīng)用于虛擬角色的各個(gè)部分的動(dòng)作客體數(shù)據(jù)的方法的流程圖。圖19為表示根據(jù)本發(fā)明一實(shí)施例的結(jié)合對(duì)應(yīng)于虛擬角色的各個(gè)部分的動(dòng)作客體數(shù)據(jù)的操作的流程圖。圖20為表示根據(jù)本發(fā)明一實(shí)施例的結(jié)合對(duì)應(yīng)于虛擬角色的各個(gè)部分的動(dòng)作客體數(shù)據(jù)的操作的圖。圖21為表示根據(jù)本發(fā)明一實(shí)施例的圖像裝置用于感測(cè)現(xiàn)實(shí)世界的用戶的臉部的特征點(diǎn)的圖。圖22為表示根據(jù)本發(fā)明另一實(shí)施例的圖像裝置用于感測(cè)現(xiàn)實(shí)世界的用戶的臉部的特征點(diǎn)的圖。圖23為表示根據(jù)本發(fā)明一實(shí)施例的臉部特征控制類型的圖。圖M為表示根據(jù)本發(fā)明一實(shí)施例的頭輪廓線1 (Head Outline)的圖。圖25為表示根據(jù)本發(fā)明一實(shí)施例的左眼輪廓線1及左眼輪廓線2的圖。圖沈?yàn)楸硎靖鶕?jù)本發(fā)明一實(shí)施例的右眼輪廓線1及右眼輪廓線2的圖。圖27為表示根據(jù)本發(fā)明一實(shí)施例的左眉毛輪廓線的圖。圖觀為表示根據(jù)本發(fā)明一實(shí)施例的右眉毛輪廓線的圖。圖四為表示根據(jù)本發(fā)明一實(shí)施例的左耳輪廓線的圖。圖30為表示根據(jù)本發(fā)明一實(shí)施例的右耳輪廓線的圖。
圖31為表示根據(jù)本發(fā)明一實(shí)施例的鼻子輪廓線1以及鼻子輪廓線2的圖。圖32為表示根據(jù)本發(fā)明一實(shí)施例的嘴唇輪廓線的圖。圖33為表示根據(jù)本發(fā)明一實(shí)施例的頭輪廓線2的圖。圖34為表示根據(jù)本發(fā)明一實(shí)施例的上嘴唇輪廓線的圖。圖35為表示根據(jù)本發(fā)明一實(shí)施例的下嘴唇輪廓線的圖。圖36為表示根據(jù)本發(fā)明一實(shí)施例的臉部點(diǎn)的圖。圖37為表示根據(jù)本發(fā)明一實(shí)施例的輪廓線的圖表的圖。圖38為表示根據(jù)本發(fā)明一實(shí)施例的頭輪廓線2類型的圖。圖39為表示根據(jù)本發(fā)明一實(shí)施例的眼睛輪廓線2類型的圖。圖40為表示根據(jù)本發(fā)明一實(shí)施例的鼻子輪廓線2類型的圖。圖41為表示根據(jù)本發(fā)明一實(shí)施例的上嘴唇輪廓線2類型的圖。圖42為表示根據(jù)本發(fā)明一實(shí)施例的下嘴唇輪廓線2類型的圖。圖43為表示根據(jù)本發(fā)明一實(shí)施例的臉部點(diǎn)集合類型的圖。
具體實(shí)施例方式以下，參照附圖詳細(xì)說(shuō)明根據(jù)本發(fā)明的實(shí)施例。但是，本發(fā)明并不局限于實(shí)施例或受實(shí)施例的限制。各個(gè)圖中使用的相同的附圖標(biāo)記表示相同的部件。圖2為表示根據(jù)本發(fā)明一實(shí)施例的關(guān)于現(xiàn)實(shí)世界和虛擬世界之間的信息及數(shù)據(jù)交換的系統(tǒng)結(jié)構(gòu)的圖。參照?qǐng)D2，現(xiàn)實(shí)世界用戶通過(guò)現(xiàn)實(shí)世界裝置(例如，動(dòng)作傳感器(motion sensor)) 輸入自己的意圖時(shí)，包含關(guān)于現(xiàn)實(shí)世界用戶的意圖的控制信息(Cl control information) 的傳感信號(hào)可被傳送至虛擬世界處理裝置?？刂菩畔I可以是依據(jù)通過(guò)現(xiàn)實(shí)世界裝置輸入的值的命令及關(guān)于所述命令的信息。控制信息CI可以包含傳感輸入裝置性能(SIDC:sens0ry input device capabilities)、用戶傳感輸入偏好(USIP :user sensory input preferences)、傳感輸入裝置命令(SDICmd sensory input device commands) iSjS RV(adaptation real world to virtual world) "SJ ^ RV 弓| , (RVengine :real world to virtual world engine) 。RV 禾UMySiT^t胃胃“^巾白勺# 于現(xiàn)實(shí)世界的用戶的動(dòng)作、狀態(tài)、意圖、形態(tài)等的控制信息Cl，將通過(guò)現(xiàn)實(shí)世界裝置輸入的現(xiàn)實(shí)世界的信息變換為能夠適應(yīng)(adaptation)虛擬世界的信息。通過(guò)上述適應(yīng)過(guò)程，可以對(duì)虛擬世界信息(VWI =Virtual World Information)造成影響。虛擬世界信息VWI是關(guān)于虛擬世界的信息。例如，可以是關(guān)于構(gòu)成虛擬世界 (virtual world)的虛擬世界客體(virtual object)或虛擬角色(avatar)等元素的信息。對(duì)于虛擬世界信息VWI的變化在RV引擎中可以由虛擬世界效果元數(shù)據(jù)(VWEM，virtual world effect metadata)、虛擬世界偏好(VWP, virtual world preferences)、虛擬世界性能(VWC，virtual world capabilities)形態(tài)的命令構(gòu)成。表1用于說(shuō)明圖2所示的組成部分。表 權(quán)利要求
1.一種圖像裝置，包括存儲(chǔ)單元，用于保存動(dòng)畫(huà)剪輯、動(dòng)畫(huà)控制信息以及調(diào)節(jié)控制信息，其中，所述動(dòng)畫(huà)控制信息具有關(guān)于所述動(dòng)畫(huà)剪輯對(duì)應(yīng)于哪個(gè)虛擬角色的哪個(gè)部分的信息及優(yōu)先順序，所述調(diào)節(jié)控制信息具有關(guān)于處理從動(dòng)作傳感器接收的值而獲得的動(dòng)作數(shù)據(jù)對(duì)應(yīng)于哪個(gè)虛擬角色的哪個(gè)部分的信息以及優(yōu)先順序；以及處理單元，比較對(duì)應(yīng)于虛擬角色的第一部分的所述動(dòng)畫(huà)控制信息的優(yōu)先順序和對(duì)應(yīng)于所述虛擬角色的所述第一部分的所述控制信息的優(yōu)先順序，以確定應(yīng)用于所述虛擬角色的所述第一部分的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像裝置，其中，所述處理單元通過(guò)比較對(duì)應(yīng)于所述虛擬角色的各個(gè)部分的所述動(dòng)畫(huà)控制信息的優(yōu)先順序和所述調(diào)節(jié)控制信息的優(yōu)先順序，以確定應(yīng)用于所述各個(gè)部分的數(shù)據(jù)，并結(jié)合確定的所述數(shù)據(jù)而產(chǎn)生所述虛擬角色的運(yùn)動(dòng)圖像。
3.根據(jù)權(quán)利要求1所述的圖像裝置，其中，關(guān)于對(duì)應(yīng)于哪個(gè)虛擬角色的哪個(gè)部分的信息為對(duì)應(yīng)于所述虛擬角色的臉部表情、頭、上身、身體中部及下身中的哪個(gè)部分的信息。
4.根據(jù)權(quán)利要求1所述的圖像裝置，其中，所述動(dòng)畫(huà)控制信息進(jìn)一步包括關(guān)于所述虛擬角色的速度的信息。
5.根據(jù)權(quán)利要求1所述的圖像裝置，其中，所述存儲(chǔ)單元進(jìn)一步存儲(chǔ)關(guān)于所述動(dòng)畫(huà)剪輯的連接軸的信息，所述處理單元利用所述關(guān)于所述動(dòng)畫(huà)剪輯的連接軸的信息結(jié)合所述動(dòng)畫(huà)剪輯和所述動(dòng)作數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的圖像裝置，其中，所述處理單元從所述動(dòng)作數(shù)據(jù)中提取關(guān)于連接軸的信息，并使所述動(dòng)畫(huà)剪輯的連接軸和所述動(dòng)作數(shù)據(jù)的連接軸對(duì)應(yīng)而結(jié)合所述動(dòng)畫(huà)剪輯和所述動(dòng)作數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的圖像裝置，其中，進(jìn)一步包括產(chǎn)生所述虛擬角色的臉部表情的產(chǎn)生單元，所述存儲(chǔ)單元存儲(chǔ)從所述傳感器接收的對(duì)于現(xiàn)實(shí)世界的用戶的臉部特征點(diǎn)的數(shù)據(jù)，所述產(chǎn)生單元基于所述數(shù)據(jù)產(chǎn)生所述臉部表情。
8.根據(jù)權(quán)利要求7所述的圖像裝置，其中，所述數(shù)據(jù)包括針對(duì)所述臉部的色彩、位置、 深度、角度、折射率中的至少一個(gè)的信息。
9.一種記錄有在包括處理器和存儲(chǔ)器的計(jì)算機(jī)系統(tǒng)中執(zhí)行的計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)，包括第一指令集合，用于保存動(dòng)畫(huà)控制信息及調(diào)節(jié)控制信息；以及第二指令集合，參考所述控制信息，結(jié)合基于從動(dòng)作傳感器接收的值而產(chǎn)生的動(dòng)作數(shù)據(jù)及動(dòng)畫(huà)剪輯，其中，所述動(dòng)畫(huà)控制信息包含對(duì)應(yīng)的動(dòng)畫(huà)剪輯的信息及關(guān)于所述對(duì)應(yīng)的動(dòng)畫(huà)剪輯對(duì)應(yīng)于哪個(gè)虛擬角色的臉部表情、頭、上身、身體中部、下身中的哪個(gè)部分的標(biāo)示符，所述控制信息包含關(guān)于所述實(shí)時(shí)動(dòng)作數(shù)據(jù)對(duì)應(yīng)于哪個(gè)虛擬角色的臉部表情、頭、上身、身體中部、下身中的哪個(gè)部分的標(biāo)示符。
10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述動(dòng)畫(huà)控制信息還包括優(yōu)先順序，所述調(diào)節(jié)控制信息還包括優(yōu)先順序。
11.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述第二指令集合通過(guò)比較對(duì)應(yīng)于虛擬角色的第一部分的所述動(dòng)畫(huà)控制信息的優(yōu)先順序和對(duì)應(yīng)于所述虛擬角色的所述第一部分的所述調(diào)節(jié)控制信息的優(yōu)先順序，以確定應(yīng)用于所述虛擬角色的所述第一部分的數(shù)據(jù)。
12.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述動(dòng)畫(huà)控制信息還包括關(guān)于所述虛擬角色的動(dòng)畫(huà)的速度的信息。
13.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述第二指令集合從所述動(dòng)作數(shù)據(jù)中提取關(guān)于連接軸的信息，并使動(dòng)畫(huà)剪輯的連接軸和所述動(dòng)作數(shù)據(jù)的連接軸對(duì)應(yīng)而結(jié)合所述動(dòng)畫(huà)剪輯和所述動(dòng)作數(shù)據(jù)。
全文摘要
公開(kāi)圖像裝置及計(jì)算機(jī)可讀記錄介質(zhì)。根據(jù)本發(fā)明的一實(shí)施例，通過(guò)比較對(duì)應(yīng)于虛擬世界的虛擬角色的任意部分的動(dòng)畫(huà)剪輯的優(yōu)先順序和動(dòng)作數(shù)據(jù)的優(yōu)先順序，以確定對(duì)應(yīng)于虛擬角色的任意部分的數(shù)據(jù)，從而能夠產(chǎn)生結(jié)合動(dòng)畫(huà)剪輯和感測(cè)現(xiàn)實(shí)世界的用戶的動(dòng)作而產(chǎn)生的動(dòng)作數(shù)據(jù)的虛擬角色的動(dòng)作。
文檔編號(hào)G06T13/40GK102483857SQ201080038361
公開(kāi)日2012年5月30日 申請(qǐng)日期2010年6月25日 優(yōu)先權(quán)日2009年6月25日
發(fā)明者安廷桓, 方遠(yuǎn)喆, 李賢廷, 金道均, 韓在濬, 韓承周 申請(qǐng)人:三星電子株式會(huì)社