1.一種虛擬現(xiàn)實領(lǐng)域多媒體呈現(xiàn)和交互的方法,其特征在于,所述方法包括以下步驟:
步驟一、定義虛擬現(xiàn)實中多媒體元素的類型和屬性;
步驟二、定義多媒體元素在虛擬現(xiàn)實全景3D空間的呈現(xiàn)方式和實現(xiàn)腳本;
步驟三、確定用戶與虛擬現(xiàn)實中多媒體元素的交互;
步驟四、記錄和分析交互中用戶的行為數(shù)據(jù)。
2.如權(quán)利要求1所述的方法,其特征在于,步驟一中所述的虛擬現(xiàn)實中多媒體元素的類型包括視頻、圖像、聲音、模型、文字或彈幕;其中視頻包括主線索視頻、分支劇情視頻或畫中畫視頻;圖像包括海報圖片、場景中提示圖片或商品圖片;聲音包括全景3D音樂、音效或提示語音;模型包括添加到場景中的電腦圖形3D模型;文字包括字幕、場景中的提示文字或商品介紹文字;彈幕為用戶在互動中的評論,包括文字彈幕或語音彈幕。
3.如權(quán)利要求2所述的方法,其特征在于,步驟一中所述的虛擬現(xiàn)實中多媒體元素的屬性包括:元素的唯一標(biāo)識、元素的存儲路徑、元素的名稱、元素的類型、元素的距離、元素的大小、元素的水平角方位、元素的仰角方位、元素生命周期起點、元素生命周期終點或元素是否需要被觸發(fā)啟動。
4.如權(quán)利要求3所述的方法,其特征在于,步驟二中所述的多媒體元素在虛擬現(xiàn)實全景3D空間的呈現(xiàn)方式由所述的多媒體元素的屬性決定,通過程序?qū)ζ鋵傩缘臄?shù)據(jù)做解析,從而確定多媒體元素在場景中出現(xiàn)的時間、位置或大小。
5.如權(quán)利要求4所述的方法,其特征在于,步驟二中所述的實現(xiàn)腳本采用json格式或xml格式。
6.如權(quán)利要求5所述的方法,其特征在于,步驟二中所述的實現(xiàn)腳本定義了元素的距離和元素的大小兩個屬性,對于圖片來說,元素的大小定義了圖片的原始大小,元素的距離定義了圖片的距離遠(yuǎn)近;對于聲音來說,元素的大小定義了聲源的面積,元素的距離定義了聲源的距離,聲音的音量與聲源的距離的平方成反比。
7.如權(quán)利要求6所述的方法,其特征在于,步驟二中所述的實現(xiàn)腳本定義了元素的水平角方位和元素的仰角方位,對于圖片,通過openGL渲染到全景3D可視空間里;對于聲音,通過HRTF技術(shù)渲染到全景3D聲場空間里;步驟二中所述的實現(xiàn)腳本還定義了元素的生命周期起點和生命周期終點,對于圖片,元素的生命周期起點是指圖像開始顯示;元素的生命周期終點是指圖像終止顯示;對于聲音,元素的生命周期起點是指聲音開始播放,元素的生命周期終點是指聲音終止播放。
8.如權(quán)利要求7所述的方法,其特征在于,步驟二中所述的實現(xiàn)腳本定義了元素是否需要被觸發(fā)啟動,需要被觸發(fā)啟動的多媒體元素為可交互元素;步驟三中所述的用戶與虛擬現(xiàn)實中多媒體元素的交互包括用戶觸發(fā)啟動可交互元素,從而使可交互元素在其生命周期內(nèi)得以呈現(xiàn)。
9.如權(quán)利要求8所述的方法,其特征在于,所述的觸發(fā)包括藍(lán)牙手柄觸發(fā)、語音觸發(fā)、手勢觸發(fā),眼球觸發(fā)和凝視觸發(fā);觸發(fā)的一個必要條件是用戶的視線在觸發(fā)區(qū)域內(nèi);所述的觸發(fā)區(qū)域是由可交互元素在全景3D空間中覆蓋的范圍決定的;通過程序來確定用戶視線與觸發(fā)區(qū)域是否相交;然后用戶通過觸發(fā)藍(lán)牙手柄觸發(fā)器,或者語音指令,或者通過手勢識別技術(shù),或者通過眼球追蹤技術(shù),或者通過凝視一定時間來觸發(fā)啟動可交互元素,從而使可交互元素在其生命周期內(nèi)得以呈現(xiàn);其中手勢識別技術(shù)包括利用光學(xué)追蹤、傳感器追蹤或者光學(xué)追蹤與傳感器追蹤結(jié)合的方式。
10.如權(quán)利要求9所述的方法,其特征在于,步驟四中所述的記錄和分析交互中用戶的行為數(shù)據(jù)包括以下步驟:首先記錄用戶在整個交互過程中頭部或除了頭部以外的可動身體部位的位置和角度;通過每個時間點頭部或除了頭部以外的可動身體部位的位置和角度,分析場景中各個多媒體元素的位置,得出用戶感興趣的區(qū)域和多媒體元素;然后記錄用戶在交互過程中觸發(fā)的多媒體元素;用戶的行為數(shù)據(jù)根據(jù)腳本預(yù)先的定義記錄在指定的數(shù)據(jù)庫中用于分析或結(jié)算。