基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法
【專利摘要】本發(fā)明提供一種基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，對任意給定的視頻進(jìn)行分析，包括圖像信息、音頻信息、字幕文字信息；對分析的結(jié)果進(jìn)行整合，獲得視頻內(nèi)容，以及視頻內(nèi)容隨時(shí)間的變化；利用內(nèi)容與感官間的映射關(guān)系，形成隨視頻變化的感官變化腳本，腳本內(nèi)容包括溫度感覺、濕度感覺、移動(dòng)感、味覺、增強(qiáng)視覺、觸覺；根據(jù)感覺隨視頻變化的腳本，通過智能家居設(shè)備產(chǎn)生與腳本同步的感受。本發(fā)明具有分析準(zhǔn)確性高、利用智能家居設(shè)備因而成本低廉、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)。
【專利說明】基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于多媒體技術(shù)與智能家居領(lǐng)域，尤其是一種基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法。
【背景技術(shù)】
[0002]多維電影是在2D或者3D電影播放的基礎(chǔ)上，伴隨一些物理特效的電影形式。它能夠通過給予觀眾視聽感受以外的感受來提升觀影體驗(yàn)，讓觀眾可以在觀影同時(shí)感受到與電影中人物一樣的環(huán)境變化。雖然多維電影已經(jīng)經(jīng)歷了 20年的發(fā)展，但由于高昂的造價(jià)，它依舊只能在大型商場或者游樂場部署。另外，制作多維電影需要產(chǎn)生控制設(shè)備的腳本，從而實(shí)現(xiàn)對設(shè)備的控制命令的發(fā)出，而這需要大量人工操作。所以，以上這兩點(diǎn)嚴(yán)重的阻礙了多維電影在群眾中的普及。
[0003]隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，截至2013年，已經(jīng)有12億的智能家居設(shè)備部署在了 8億家庭中。在如此多的智能家居設(shè)備普及的環(huán)境下，智能家居設(shè)備可以幫助用戶做很多事情。比如洗衣機(jī)和冰箱可以自動(dòng)運(yùn)行；空調(diào)可以自動(dòng)調(diào)節(jié)室內(nèi)溫度；安放攝像頭可以識(shí)別訪客；以及一個(gè)集中式的控制路由可以負(fù)責(zé)這些設(shè)備的人工控制。智能家居環(huán)境為在家庭中建立一套多維電影院提供了機(jī)會(huì)，家庭不單單會(huì)使我們的棲身之所，還將成為娛樂的中心。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服現(xiàn)有技術(shù)中存在的不足，提供一種基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，用戶無需購買專業(yè)多維影院設(shè)備，不需要專人進(jìn)行控制腳本撰寫工作，具有造價(jià)低廉，物理效果豐富，無人工干預(yù)產(chǎn)生腳本等優(yōu)點(diǎn)。本發(fā)明采用的技術(shù)方案是:
[0005]一種基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，包括下述步驟:
[0006]S1.將影片視頻以鏡頭為單位進(jìn)行切分；
[0007]S2.對鏡頭內(nèi)的圖像、聲音、字幕進(jìn)行提取和分析，獲得鏡頭內(nèi)容，內(nèi)容表示為關(guān)鍵詞與對應(yīng)置信度；
[0008]S3.對內(nèi)容分析結(jié)果，即通過圖像、聲音、字幕獲得的關(guān)鍵詞-置信度對，使用投票的方式進(jìn)行統(tǒng)計(jì)，得出分析內(nèi)容的最終結(jié)果；
[0009]S4.將鏡頭分析得到的內(nèi)容與建立的感受與物體的映射關(guān)系表進(jìn)行匹配，獲得當(dāng)前鏡頭內(nèi)給人的感受，從而形成感受隨視頻變化的腳本；
[0010]S5.根據(jù)感覺隨視頻變化的腳本，通過智能家居設(shè)備產(chǎn)生與腳本同步的感受，并通過傳感器反饋調(diào)節(jié)這一過程。
[0011]進(jìn)一步地，所述步驟SI具體包括:從載入的視頻的第二幀畫面開始，逐幀比較它與前一幀間顏色直方圖差異，如果差異值大于設(shè)定閾值Xhsv，則判定當(dāng)前幀與前一幀之間發(fā)生了鏡頭切換，這一時(shí)刻與上一次鏡頭切換發(fā)生時(shí)刻之間的視頻片斷為一個(gè)鏡頭，利用這種方法，將整個(gè)視頻以單個(gè)鏡頭為單位進(jìn)行切分。
[0012]進(jìn)一步地，步驟SI中，顏色直方圖的種類為HSV顏色直方圖，顏色直方圖的差異度用下面公式表示:
[0013]
【權(quán)利要求】
1.一種基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于，包括下述步驟:. 51.將影片視頻以鏡頭為單位進(jìn)行切分；. 52.對鏡頭內(nèi)的圖像、聲音、字幕進(jìn)行提取和分析，獲得鏡頭內(nèi)容，內(nèi)容表示為關(guān)鍵詞與對應(yīng)置信度； . 53.對內(nèi)容分析結(jié)果，即通過圖像、聲音、字幕獲得的關(guān)鍵詞-置信度對，使用投票的方式進(jìn)行統(tǒng)計(jì)，得出分析內(nèi)容的最終結(jié)果； . 54.將鏡頭分析得到的內(nèi)容與建立的感受與物體的映射關(guān)系表進(jìn)行匹配，獲得當(dāng)前鏡頭內(nèi)給人的感受，從而形成感受隨視頻變化的腳本； . 55.根據(jù)感覺隨視頻變化的腳本，通過智能家居設(shè)備產(chǎn)生與腳本同步的感受，并通過傳感器反饋調(diào)節(jié)這一過程。
2.如權(quán)利要求1所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 所述步驟SI具體包括:從載入的視頻的第二幀畫面開始，逐幀比較它與前一幀間顏色直方圖差異，如果差異值大于設(shè)定閾值Xhsv，則判定當(dāng)前幀與前一幀之間發(fā)生了鏡頭切換，這一時(shí)刻與上一次鏡頭切換發(fā)生時(shí)刻之間的視頻片斷為一個(gè)鏡頭，利用這種方法，將整個(gè)視頻以單個(gè)鏡頭為單位進(jìn)行切分。
3.如權(quán)利要求2所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 步驟SI中，顏色直方圖的種類為HSV顏色直方圖，顏色直方圖的差異度用下面公式表示:

4.如權(quán)利要求1所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 所述步驟S2具體包括: . 521.將鏡頭內(nèi)中間時(shí)刻的圖像幀提取出來，作為關(guān)鍵幀，利用圖像分析算法對關(guān)鍵幀圖片進(jìn)行分析，并利用圖像標(biāo)注方法對畫面內(nèi)容進(jìn)行標(biāo)注； . 522.將鏡頭所對應(yīng)時(shí)間段內(nèi)的音頻提取出來，通過變換得到音頻特征，將這個(gè)特征與標(biāo)準(zhǔn)音頻庫中的聲音進(jìn)行匹配，如果匹配程度超過閾值λ sound，則認(rèn)為鏡頭內(nèi)包含標(biāo)準(zhǔn)音頻庫中的聲音；以此方式對聲音內(nèi)容進(jìn)行標(biāo)注； . 523.將鏡頭所對應(yīng)時(shí)間段內(nèi)的字幕以文本的形式提取出來，進(jìn)行文本分析，而獲得字.內(nèi)容； . 524.將鏡頭內(nèi)的關(guān)鍵幀與其前一幀進(jìn)行光流分析，得到鏡頭拍攝時(shí)的移動(dòng)方向，即得到以第一人稱觀看影片時(shí)的運(yùn)動(dòng)感受。
5.如權(quán)利要求4所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 步驟S21中使用的圖像分析算法為: 將訓(xùn)練圖片集T的每一張圖片劃分為K個(gè)塊，共I T I XK ±夾，并利用k-means聚類算法，和hsv顏色特征和Garbor圖像紋理特征對這些塊進(jìn)行聚類，設(shè)得到M個(gè)類別，Ci e {O, 1}表示為第i個(gè)類別是否存在，則對每個(gè)圖像I e T，
有I = {C1，C2，…，CM}; 對于新輸入的關(guān)鍵楨J，它包含類別Ci的概率為:
6.如權(quán)利要求4所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 步驟S22具體包括: S221，使用工具將鏡頭對應(yīng)的音頻提取出來； S222，特征采用MFCC特征，提取MFCC特征的步驟為:將聲音進(jìn)行分段付利葉變換，每段時(shí)間為Twindmt ;將付利葉變換后的結(jié)果映射到梅爾音階上；將每個(gè)梅爾音階上的頻率進(jìn)行對數(shù)變換；對變換后的結(jié)果進(jìn)行離散余弦變換；變換后的結(jié)果的系數(shù)即為MFCC特征； S223，使用該段音頻的MFCC特征與音頻庫中的音頻MFCC特征利用DTW算法進(jìn)行匹配，如果得到的相似度大于λ s_d = 0.2，則認(rèn)為包含對應(yīng)音頻的單詞。
7.如權(quán)利要求4所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 步驟S23具體包括: 建立一個(gè)包含若干單詞的詞庫，并為庫內(nèi)單詞標(biāo)注上對應(yīng)的感受，對鏡頭內(nèi)的臺(tái)詞的文本作為輸入，得出對應(yīng)關(guān)鍵詞；并包含以下步驟: S231，對文本進(jìn)行去標(biāo)點(diǎn)和分詞處理，得到單詞列表； S232，對每個(gè)單詞進(jìn)行取詞根操作； S233，對每個(gè)取過詞根的單詞在詞庫中尋找，是否有匹配的詞目，如果有則表示字幕中存在這個(gè)詞目，如果沒有，則表示不存在。
8.如權(quán)利要求1所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 步驟S3中采用投票方式對視頻內(nèi)容進(jìn)行決策，圖像、聲音、字幕三種信息提供的內(nèi)容均用關(guān)鍵詞-置信度的二元對表示，設(shè)關(guān)鍵詞集合為KW，圖像內(nèi)容分析結(jié)果可以表示為:
9.如權(quán)利要求1所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 步驟S4中的感受與物體映射關(guān)系表的內(nèi)容為: 物體一溫度感受,濕度感受,運(yùn)動(dòng)感受,味覺,增強(qiáng)視覺,觸覺； 步驟S4中，對不同詞匯進(jìn)行分析得到的感受可能存在沖突，采用投票的方式對這些感受進(jìn)行沖突消除，#(感受名稱)表示某種感受名稱在此次標(biāo)注中出現(xiàn)的次數(shù)，S (感受名稱)表示某種感受最后的投票結(jié)果，以百分比形式表示；
10.如權(quán)利要求1所述的基于智能家居設(shè)備的多維度觀影系統(tǒng)控制方法，其特征在于: 步驟S5中，智能家居設(shè)備包括能夠產(chǎn)生溫感、濕感、運(yùn)動(dòng)感、嗅覺、觸覺和增強(qiáng)視覺的設(shè)備中的一種或多種； 對智能家居設(shè)備的調(diào)控包括兩種方式:1)即時(shí)控制、2)延遲控制；對于延遲控制，采用預(yù)測方法對相應(yīng)智能家具設(shè)備的調(diào)控效果進(jìn)行預(yù)測，并根據(jù)預(yù)測流程選擇最合適的調(diào)控步驟。
【文檔編號(hào)】G06T7/00GK103970892SQ201410223724
【公開日】2014年8月6日 申請日期:2014年5月23日 優(yōu)先權(quán)日:2014年5月23日
【發(fā)明者】孫雨新, 楊磊, 劉云浩 申請人:無錫清華信息科學(xué)與技術(shù)國家實(shí)驗(yàn)室物聯(lián)網(wǎng)技術(shù)中心