一種交互式富媒體可視化渲染方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及富媒體領(lǐng)域，具體涉及一種交互式富媒體可視化渲染方法及系統(tǒng)。
【背景技術(shù)】
[0002] 以文字、圖像、聲音、視頻、動畫與交互腳本多種形式組合的富媒體具有豐富的表 現(xiàn)力與互動性。傳統(tǒng)的富媒體可視化展示方法通過某種播放器對富媒體文件內(nèi)容逐一播 放，缺少對可視化場景的交互能力。為體現(xiàn)富媒體互動性優(yōu)勢，通過對富媒體場景對象交互 式操作，收集面向不同用戶操作的有價值信息，需要研宄一種交互式富媒體可視化渲染方 法，實現(xiàn)對富媒體場景的可視化沉浸展示。
[0003] 經(jīng)文獻檢索發(fā)現(xiàn)，在現(xiàn)有富媒體可視化展示研宄中，Adobe公司的FlashLite player、Ikivo公司的MobileSVG和Bitflash公司的SVGPlayer以及符合LASeR或者 DMS標(biāo)準(zhǔn)的富媒體引擎等，采用局部渲染、矢量填充、反走樣等方法，實現(xiàn)富媒體場景的可 視化渲染，未考慮采用圖形、圖像、視頻、音頻、等多元素混合渲染方式提高渲染效率。在人 機交互方面，也只是單一的時間軸上的交互，未考慮多角度多方位的場景交互方式。發(fā)明專 利"一種高效率富媒體展現(xiàn)系統(tǒng)和方法"（申請?zhí)?：201210593871.X)，通過構(gòu)建數(shù)據(jù)接收模 塊、數(shù)據(jù)解碼模塊、富媒體展現(xiàn)模塊、接收數(shù)據(jù)緩存模塊和解碼數(shù)據(jù)緩存模塊，對該解碼的 富媒體數(shù)據(jù)的內(nèi)容進行展現(xiàn)，并采用數(shù)據(jù)緩存隊列機制和解碼阻塞機制，提高富媒體展現(xiàn) 效率，減少占用系統(tǒng)內(nèi)存，加快系統(tǒng)響應(yīng)速度。發(fā)明專利"交互式富媒體互動系統(tǒng)的控制方 法"（【申請?zhí)枴?01010589605. 0)，通過構(gòu)建交互式富媒體互動模型，按照應(yīng)用需求選擇觀察 者模式、策略模式與組合模式，定義對象間一對多依賴關(guān)系，實現(xiàn)交互式富媒體互動，當(dāng)一 個對象的狀態(tài)發(fā)生改變時，所有依賴于它的對象都得到通知并被自動更新，簡化應(yīng)用程序 的設(shè)計，降低各部分之間的耦合。
[0004] 發(fā)明專利"一種高效率富媒體展現(xiàn)系統(tǒng)和方法"（【申請?zhí)枴?01210593871.X)，所述 的技術(shù)方案，以減少富媒體展現(xiàn)系統(tǒng)的內(nèi)存開銷，加快富媒體展現(xiàn)系統(tǒng)的響應(yīng)速度為目標(biāo)， 對富媒體數(shù)據(jù)進行解碼、展現(xiàn)。當(dāng)富媒體內(nèi)容中包含三維圖形元素時，數(shù)據(jù)解碼緩存將不適 用于可視化場景的展示，無法提高富媒體展現(xiàn)效率。
[0005] 發(fā)明專利"交互式富媒體互動系統(tǒng)的控制方法"（【申請?zhí)枴?1010589605. 0)，所述 的技術(shù)方案，以用戶的請求為交互主線，將模型和視圖連接在一起，不作任何數(shù)據(jù)處理，交 互方式必須遵循規(guī)定的關(guān)聯(lián)關(guān)系，無法滿足用戶對富媒體場景對象的個性化互動操作。
[0006] 綜上，現(xiàn)有技術(shù)中的富媒體可視化展示方法中，均是對圖像、音頻與視頻播放技術(shù) 的研宄，多是通過使用基于XML規(guī)范的輕量級媒體標(biāo)記語言，配合腳本等多種技術(shù)展現(xiàn)富 媒體內(nèi)容，未考慮幾何圖形、圖像、視頻、音頻等多類型元素混合的可視化渲染表達方式；交 互方式主要是通過時間或事件觸發(fā)場景發(fā)生變化，交互形式單一，未考慮渲染過程中沉浸 式人機交互方式。

【發(fā)明內(nèi)容】

[0007] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種交互式富媒體可視化渲染方法及系統(tǒng)，將 圖形、圖像、視頻進行融合，通過在富媒體場景中設(shè)定交互觸點，利用人機交互技術(shù)，實現(xiàn)場 景對象的交互觸發(fā)，提升富媒體場景可視化描述效率與場景互動能力。
[0008] 第一方面，本發(fā)明提出了一種交互式富媒體可視化渲染方法，包括：
[0009] SI.將包含圖形、圖像和視頻的異構(gòu)富媒體場景對象進行存儲；
[0010] S2.讀取所述異構(gòu)富媒體場景對象，對所述異構(gòu)富媒體場景對象進行對象融合，得 到多源異構(gòu)富媒體場景；
[0011] S3.對所述多源異構(gòu)富媒體場景進行可視化渲染。
[0012] 其中，所述步驟Sl包括：
[0013] 構(gòu)建多層存儲架構(gòu)，將圖形、圖像、視頻異構(gòu)富媒體場景對象及其屬性在存儲前進 行編碼壓縮，動態(tài)分配靜態(tài)獨立存儲空間，以并發(fā)方式分別進行讀取，其中，存儲內(nèi)部讀寫 操作采用互斥方式，為每個存儲訪問對象設(shè)定獨立控制單元，當(dāng)富媒體場景對象遇到交互 觸發(fā)條件時，將存儲訪問權(quán)授予存儲訪問優(yōu)先級最高的富媒體場景對象。
[0014] 其中，所述步驟Sl還包括：
[0015] 采用漸進式流傳輸方式，將不同類別富媒體場景對象封裝在含有時間戳場景信息 的傳輸層單元里面，所述傳輸層單元包含一個或多個場景交互命令；當(dāng)富媒體場景更新時， 首先根據(jù)傳輸層單元上的時間戳判斷此傳輸層單元是否需要切換，若需要，立即解析切換， 若不需要，保存?zhèn)鬏攲訂卧线m交互觸點再處理，為所述傳輸層單元維護一個緩沖區(qū)，各 個傳輸層單元按照時間戳順序排列，新加入的傳輸層單元插入合適的位置，每次取緩沖區(qū) 中第一個傳輸層單元進行處理，以減少對單個對象的遍歷次數(shù)。
[0016] 其中，所述對所述異構(gòu)富媒體場景對象進行對象融合，得到多源異構(gòu)富媒體場景 包括：
[0017] (1)輸入富媒體場景對象仏[1]，％[」]，％[1]與富媒體場景5(^116，1=0，1，2，一 ，n-l;j= 0, 1，2,…，m-1 ;1 = 0, 1，2,…，p-1，其中，UJi]為圖形對象、U2[j]為圖像對象、 U3[l]為視頻對象，i，j，1分別為富媒體場景中圖形、圖像、視頻的個數(shù)；
[0018] (2)分別抽取圖形對象、圖像對象和視頻對象中的幾何形狀、離散像素、視頻編碼 的特征參數(shù)工=化卜1，^2,…，d4 5…，lh工={k'l人二，…，4},n-l!"，
[0019] (3)計算特征參數(shù)在富媒體場景所占的權(quán)值，以當(dāng)前視點到富媒體場景對象 的歐氏距離為衡量標(biāo)準(zhǔn)，Xi=dist|Ei(x,y,z)-Uj[x,y,z]I，Ei(x,y,z)為視點在富媒 體場景中世界坐標(biāo)值，UjX，y，z]為不同元素對象在富媒體場景中的世界坐標(biāo)值，則 UjaUjjLUjl]的權(quán)值分別為：
【主權(quán)項】
1. 一種交互式富媒體可視化擅染方法，其特征在于，包括：
51. 將包含圖形、圖像和視頻的異構(gòu)富媒體場景對象進行存儲；
52. 讀取所述異構(gòu)富媒體場景對象，對所述異構(gòu)富媒體場景對象進行融合，得到多源異 構(gòu)富媒體場景；
53. 對所述多源異構(gòu)富媒體場景進行可視化擅染。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1包括： 構(gòu)建多層存儲架構(gòu)，將圖形、圖像、視頻異構(gòu)富媒體場景對象及其屬性在存儲前進行編 碼壓縮，動態(tài)分配獨立存儲空間，W并發(fā)方式分別進行讀取，其中，存儲內(nèi)部讀寫操作采用 互斥方式，為每個存儲訪問對象設(shè)定獨立控制單元，當(dāng)富媒體場景對象遇到交互觸發(fā)條件 時，將存儲訪問權(quán)授予存儲訪問優(yōu)先級最高的富媒體場景對象。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟S1還包括： 采用漸進式流傳輸方式，將不同類別富媒體場景對象封裝在含有時間戳場景信息的傳 輸層單元里面，所述傳輸層單元包含一個或多個場景交互命令；當(dāng)富媒體場景更新時，首先 根據(jù)傳輸層單元上的時間戳判斷此傳輸層單元是否需要切換，若需要，立即解析切換，若不 需要，保存?zhèn)鬏攲訂卧线m交互觸點再處理，為所述傳輸層單