一種基于主動交互的飛翔影院播放系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于主動交互的飛翔影院播放系統(tǒng)，該飛翔影院播放系統(tǒng)具有簡單、方便、易操作等優(yōu)點，不需要用戶額外的學習訓練，用戶可以通過揮手、喊叫等常見的自然方式與劇情互動，創(chuàng)造能讓用戶感受到的更強更自然的沉浸式體驗，增加電影的娛樂性、趣味性和真實感；而且，該系統(tǒng)不需要額外的捕捉設備，可以直接利用影院中的監(jiān)控紅外攝像頭和麥克風作為交互捕捉設備，能夠充分利用硬件資源，不僅不會給影院帶來設備開銷，還能增加影院的真實感體驗。
【專利說明】一種基于主動交互的飛翔影院播放系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及一種基于主動交互的飛翔影院播放系統(tǒng)。
【背景技術】
[0002]近年來，我國主題公園發(fā)展極為迅猛，從20世紀80年代至今，全國已累計開發(fā)主題公園式旅游點2500個，投入資金達3000多億元。4D影院是主題公園中常見的一個項目。
[0003]4D影院是在3D立體電影的基礎上引入環(huán)境特效模擬仿真而組成的新型影視產(chǎn)品，即三維的立體電影和周圍環(huán)境模擬組成的思維空間。觀眾在欣賞立體電影時，根據(jù)影片內容的變化，可實時感受風、雨、雷、電、撞擊、拍打等身邊所發(fā)生的與立體影像對應的事件，4D座椅具有噴水、噴氣、振動、掃腿等功能，環(huán)境模擬仿真是指影院內安裝有下雪、下雨、閃電、煙霧等特效設備，營造一種與影片內容一致的環(huán)境，通過給觀眾以電影內容聯(lián)動的物理刺激，來增強臨場感的效果，觀眾可全方位感受來自視覺、聽覺、觸覺帶來的新鮮刺激。
[0004]隨著觀眾娛樂需求的不斷增加和技術的不斷進步，巨幕穹幕影院逐漸受到青睞。與4D影院不同，巨幕穹幕影院顯示的是2D圖像，但也能讓觀眾很好的體驗到視覺的沉浸感，能夠容易讓觀眾融入到影片的氛圍中。但是，無論是4D影院還是巨幕穹幕影院，都不支持觀眾交互的反饋。
[0005]飛翔影院是一種新興的特效娛樂電影，觀眾乘坐由大型機械系統(tǒng)控制的升降座椅至影院中心半空中，高清數(shù)字放映機通過特種魚眼鏡頭將畫面投射到巨大的半球銀幕，從觀眾頭頂?shù)侥_下的視線區(qū)域都被壯觀的電影畫面完全包圍，在充分感受極具震撼力的球幕影視內容的同時，還可以親身體驗懸空飛行的刺激感受。除了可以達到4D影院、巨幕穹幕影院的效果，還可在此基礎上加入模擬飛行機構等超感交互設備，讓觀眾在安全的環(huán)境下體驗到飛翔、交互娛樂等效果。但是，目前的飛翔影院只提供給觀眾超感體驗，觀眾仍不能與劇情進行交互或控制劇情。
[0006]目前，飛翔影院中存在的問題主要表現(xiàn)在:
[0007]1.飛翔影院系統(tǒng)技術國產(chǎn)化不足、進口依賴度高；
[0008]2.飛翔影院中缺少開放性和交互性，雖提供超感交互設備，只提供給觀眾超感體驗，交互仍是單方面的，觀眾不能與劇情交互或控制角色；
[0009]3.飛翔影院作為一種特殊場景，對實時性和交互性有很高的要求，給交互本身帶來了巨大的挑戰(zhàn)，主要因素包括:
[0010](I)影院嘈雜、昏暗的環(huán)境，嚴重干擾交互的準確性；
[0011](2)影院中群體行為交互指令的識別。

【發(fā)明內容】

[0012]發(fā)明的目的就是為了解決上述問題，提供一種基于主動交互的飛翔影院播放系統(tǒng)。該系統(tǒng)具有簡單、方便、易操作等優(yōu)點，通過公共場合中群體語音和手勢的自然交互方式，實現(xiàn)一類飛翔影院中用戶通過語音和手勢與劇情互動，進行劇情選擇或控制，不需要用戶額外的學習訓練，用戶可以通過揮手、喊叫等常見的自然方式與劇情互動，創(chuàng)造能讓用戶感受到的更強更自然的沉浸式體驗，增加電影的娛樂性、趣味性和真實感。而且，該系統(tǒng)不需要額外的捕捉設備，可以直接利用影院中的監(jiān)控紅外攝像頭和麥克風作為交互捕捉設備，能夠充分利用硬件資源，不僅不會給影院帶來設備開銷，還能增加影院的真實感體驗。
[0013]為了實現(xiàn)上述目的，本發(fā)明采用如下技術方案:
[0014]一種基于主動交互的飛翔影院播放系統(tǒng)，包括影片預處理子系統(tǒng)和基于主動交互的影片播放子系統(tǒng)；其中，基于主動交互的影片播放子系統(tǒng)包括播放模塊、交互特征捕獲模塊、解析外部文件模塊和觸摸屏；影片預處理子系統(tǒng)包括與影片內容相關的交互信息生成模塊和配置文件生成模塊；
[0015]所述交互信息生成模塊，包括交互方式生成模塊和交互位置與影片映射模塊，其中:
[0016]交互方式生成模塊，與交互位置與影片映射模塊連接，根據(jù)不同影片內容、不同影片觀看者，生成不同的交互方式，避免了所有影片、所有觀看者的交互方式都固定不變的缺陷；
[0017]交互位置與影片映射模塊，根據(jù)影片情節(jié)設置不同的交互位置，交互次數(shù)不受系統(tǒng)的限制，根據(jù)需要生成不同的交互數(shù)目，每個交互位置對應兩個調度參數(shù)，通過調度參數(shù)建立與調度影片的映射，與配置文件生成模塊通信；
[0018]配置文件生成模塊，用于存儲交互影片信息、交互關鍵幀位置信息、交互幀與調度影片的映射和調度影片的信息，與解析外部文件模塊通信；
[0019]播放模塊，用于提供影片播放媒介，與觸摸屏雙向通信；
[0020]交互特征捕獲模塊，與觸摸屏雙向通信，用于獲取用戶信息，并識別群體用戶行為，在分析觀眾個體指令集之后，系統(tǒng)對個體指令集合進行分析，采用基于統(tǒng)計的方法得到個體指令的共性，即群體交互指令，用于控制影片情節(jié)的發(fā)展方向；
[0021]解析外部文件模塊，接收交互特征捕獲模塊捕獲的交互特征、配置文件生成模塊的存儲信息，與觸摸屏雙向通信，完成觀眾與影片內容的互動；
[0022]觸摸屏，接收觀眾的點播、觀看的要求，與播放模塊、交互特征捕獲模塊、解析外部文件模塊、交互信息生成模塊和配置文件生成模塊雙向通信。
[0023]所述播放模塊包括視頻播放器、音響、投影機和屏幕。
[0024]所述交互特征捕獲模塊包括紅外攝像頭和麥克風設備。
[0025]基于上述飛翔影院播放系統(tǒng)的交互式控制方法，包括以下步驟:
[0026](I)設置配置文件:影片制作者通過影片預處理子系統(tǒng)完成對配置文件的設置；
[0027](2)開啟交互特征捕獲模塊:利用用戶信息捕獲設備:紅外攝像頭與麥克風設備，捕獲觀眾的圖像、動作和聲音信息集合；
[0028](3)開啟播放模塊:通過觸摸屏，觀眾選擇想要觀看的影片，開啟視頻播放器，同步啟動解析外部文件模塊的觸發(fā)器；
[0029](4)觸發(fā)器實時監(jiān)測是否達到視頻文件對應的交互位置，如果未到達交互位置，則繼續(xù)播放視頻；如果到達交互位置，則播放器通過語音和字幕提示用戶開始進行交互；
[0030](5)選擇交互方式:影院管理員可以根據(jù)實際情況決定是否進行交互以及選擇哪種交互方式，如果不進行交互，則繼續(xù)播放選定視頻，自此，待視頻播放完畢，整個交互過程完畢；否則需要選擇交互方式，交互方式有三種，分別為:手勢交互、語音交互和多通道交互；
[0031](6)如果步驟5選擇繼續(xù)進行交互，則根據(jù)管理員選擇的交互方式捕獲用戶的交互信息，根據(jù)交互信息調整視頻的播放速度 ；
[0032]( 7 )播放器按照調整后的速度播放視頻，待視頻播放完畢，整個交互過程完畢。
[0033]所述步驟(2)中紅外攝像頭的手勢特征提取方法，具體包括以下步驟:
[0034](2-1)獲取背景圖像；
[0035](2-2)紅外攝像頭實時捕獲圖像，并和步驟2-1中獲取的背景圖像進行差分運算:若差值大于預先設置的閾值，則認為差分生成圖像是前景圖像，即觀眾的手勢；若差值不大于預先設置的閾值，則認為觀眾的交互效果不夠理想，則忽略此時捕獲的圖像，重新捕獲圖像并進行差分運算，此過程一直循環(huán)直到差值大于預先設置的閾值；
[0036](2-3)對前景圖像進行形態(tài)學處理，包括膨脹和腐蝕操作，目的是消除前景圖像中的雜點；
[0037](2-4)計算交互區(qū)域內觀眾個體胳膊的長度，并對觀眾個體特征集合進行分析，采用基于統(tǒng)計的方法得到個體特征的共性，即群體交互特征，從系統(tǒng)實時性考慮，系統(tǒng)將所有觀眾的胳膊長度的均值作為群體交互特征，從而觸動相應影片的播放。
[0038]所述步驟(2)中麥克分設備提取語音特征的方法，具體步驟為:
[0039](2-a)統(tǒng)計背景音音量特征:影片制作時獲取影片中的背景音音量；
[0040](2-b)將麥克風捕獲的聲音音量與背景音音量進行相減運算,得到觀眾的聲音音量，作為與影片交互的特征，從而觸動相應的影片播放。
[0041]所述步驟(6)中調整視頻的播放速度的具體實施方法為:
[0042](a)選擇手勢交互，網(wǎng)絡紅外攝像頭捕獲觀眾的手臂長度，根據(jù)手臂的長短調整視頻播放的快慢；
[0043](b)選擇語音交互時，麥克風捕獲觀眾的喊聲，根據(jù)吶喊聲的音量大小調整視頻播放的快慢；
[0044](c)選擇多通道交互方式時，網(wǎng)絡紅外攝像頭捕獲觀眾的手臂長度，麥克風捕獲觀眾的吶喊聲，根據(jù)系統(tǒng)預定的權值得到最終的交互信息數(shù)據(jù)，并根據(jù)此數(shù)據(jù)調整視頻播放的快慢。
[0045]所述步驟(C)中，權值的選取，受影院場景、影片的約束，根據(jù)公式:
【權利要求】
1.一種基于主動交互的飛翔影院播放系統(tǒng)，其特征是:包括影片預處理子系統(tǒng)和基于主動交互的影片播放子系統(tǒng)；其中，基于主動交互的影片播放子系統(tǒng)包括播放模塊、交互特征捕獲模塊、解析外部文件模塊和觸摸屏；影片預處理子系統(tǒng)包括與影片內容相關的交互信息生成模塊和配置文件生成模塊；所述交互信息生成模塊，包括交互方式生成模塊和交互位置與影片映射模塊，其中:交互方式生成模塊，與交互位置與影片映射模塊連接，根據(jù)不同影片內容、不同影片觀看者，生成不同的交互方式，避免了所有影片、所有觀看者的交互方式都固定不變的缺陷；交互位置與影片映射模塊，根據(jù)影片情節(jié)設置不同的交互位置，交互次數(shù)不受系統(tǒng)的限制，根據(jù)需要生成不同的交互數(shù)目，每個交互位置對應兩個調度參數(shù)，通過調度參數(shù)建立與調度影片的映射，與配置文件生成模塊通信； 配置文件生成模塊，用于存儲交互影片信息、交互關鍵幀位置信息、交互幀與調度影片的映射和調度影片的信息，與解析外部文件模塊通信； 播放模塊，用于提供影片播放媒介，與觸摸屏雙向通信； 交互特征捕獲模塊，與觸摸屏雙向通信，用于獲取用戶信息，并識別群體用戶行為，在分析觀眾個體指令集之后，系統(tǒng)對個體指令集合進行分析，采用基于統(tǒng)計的方法得到個體指令的共性，即群體交互指令，用于控制影片情節(jié)的發(fā)展方向； 解析外部文件模塊， 接收交互特征捕獲模塊捕獲的交互特征、配置文件生成模塊的存儲信息，與觸摸屏雙向通信，完成觀眾與影片內容的互動； 觸摸屏，接收觀眾的點播、觀看的要求，與播放模塊、交互特征捕獲模塊、解析外部文件模塊、交互信息生成模塊和配置文件生成模塊雙向通信。
2.如權利要求1所述的一種基于主動交互的飛翔影院播放系統(tǒng)，其特征是:所述播放模塊包括視頻播放器、音響、投影機和屏幕。
3.如權利要求1所述的一種基于主動交互的飛翔影院播放系統(tǒng)，其特征是:所述交互特征捕獲模塊包括紅外攝像頭和麥克風設備。
4.一種基于上述飛翔影院播放系統(tǒng)的交互式控制方法，其特征是:包括以下步驟: (O設置配置文件:影片制作者通過影片預處理子系統(tǒng)完成對配置文件的設置； (2)開啟交互特征捕獲模塊:利用用戶信息捕獲設備:紅外攝像頭與麥克風設備，捕獲觀眾的圖像、動作和聲音信息集合； (3)開啟播放模塊:通過觸摸屏，觀眾選擇想要觀看的影片，開啟視頻播放器，同步啟動解析外部文件模塊的觸發(fā)器； (4)觸發(fā)器實時監(jiān)測是否達到視頻文件對應的交互位置，如果未到達交互位置，則繼續(xù)播放視頻；如果到達交互位置，則播放器通過語音和字幕提示用戶開始進行交互； (5)選擇交互方式:影院管理員可以根據(jù)實際情況決定是否進行交互以及選擇哪種交互方式，如果不進行交互，則繼續(xù)播放選定視頻，自此，待視頻播放完畢，整個交互過程完畢；否則需要選擇交互方式，交互方式有三種，分別為:手勢交互、語音交互和多通道交互； (6)如果步驟5選擇繼續(xù)進行交互，則根據(jù)管理員選擇的交互方式捕獲用戶的交互信息，根據(jù)交互信息調整視頻的播放速度； (7)播放器按照調整后的速度播放視頻，待視頻播放完畢，整個交互過程完畢。
5.如權利要求4所述的交互式控制方法，其特征是:所述步驟(2)中紅外攝像頭的手勢特征提取方法，具體包括以下步驟: (2-1)獲取背景圖像； (2-2)紅外攝像頭實時捕獲圖像，并和步驟2-1中獲取的背景圖像進行差分運算:若差值大于預先設置的閾值，則認為差分生成圖像是前景圖像，即觀眾的手勢；若差值不大于預先設置的閾值，則認為觀眾的交互效果不夠理想，則忽略此時捕獲的圖像，重新捕獲圖像并進行差分運算，此過程一直循環(huán)直到差值大于預先設置的閾值； (2-3)對前景圖像進行形態(tài)學處理，包括膨脹和腐蝕操作，目的是消除前景圖像中的雜占.(2-4)計算交互區(qū)域內觀眾胳膊的長度，并用所有觀眾胳膊長度的均值作為手姿態(tài)交互特征，從而觸動相應的影片播放。
6.如權利要求4所述的交互式控制方法，其特征是:所述步驟(2)中麥克分設備提取語音特征的方法，具體步驟為: (2-a)統(tǒng)計背景音音量特征:影片制作時獲取影片中的背景音音量； (2-b)將麥克風捕獲的聲音音量與背景音音量進行相減運算，得到觀眾的聲音音量，作為與影片交互的特征，從而觸動相應的影片播放。
7.如權利要求4 所述的交互式控制方法，其特征是:所述步驟(6)中調整視頻的播放速度的具體實施方法為: Ca)選擇手勢交互，網(wǎng)絡紅外攝像頭捕獲觀眾的手臂長度，根據(jù)手臂的長短調整視頻播放的快慢； (b)選擇語音交互時,麥克風捕獲觀眾的喊聲，根據(jù)吶喊聲的音量大小調整視頻播放的快慢； (c)選擇多通道交互方式時，網(wǎng)絡紅外攝像頭捕獲觀眾的手臂長度，麥克風捕獲觀眾的吶喊聲，根據(jù)系統(tǒng)預定的權值得到最終的交互信息數(shù)據(jù)，并根據(jù)此數(shù)據(jù)調整視頻播放的快慢。
8.如權利要求7所述的交互式控制方法，其特征是:所述步驟(c)中，權值的選取，受影院場景、影片的約束，根據(jù)公式:
【文檔編號】H04N21/422GK103533445SQ201310517394
【公開日】2014年1月22日 申請日期:2013年10月28日 優(yōu)先權日:2013年10月28日
【發(fā)明者】楊承磊, 蓋偉, 崔婷婷, 崔開元, 張文浩, 呂琳, 楊義軍, 孟祥旭 申請人:山東大學