一種基于人機(jī)交互的電影受眾體驗評價方法
【專利摘要】本發(fā)明公開了一種基于人機(jī)交互的電影受眾體驗評價方法，其特征在于，包括如下步驟：取一定數(shù)量長度的不同情緒內(nèi)容的電影片段樣本并播放；采集一定數(shù)量觀看所述不同情緒內(nèi)容的電影片段的受眾受眾的腦電信號；對采集到的腦電信號進(jìn)行頻域分析，提取不同頻段的腦電響應(yīng)；將所述腦電響應(yīng)拆分為一定時長的腦電片段；計算每個腦電片段的不同腦電特征的受眾群體響應(yīng)一致性，將該一致性計算結(jié)果作為群體間一致性的多元度量指標(biāo)；根據(jù)所述多元度量指標(biāo)修正人機(jī)交互體驗狀態(tài)識別方法的參數(shù)；進(jìn)一步的，受眾受眾根據(jù)電影播放全過程中所識別得到的體驗狀態(tài)的動態(tài)變化時間過程的特點(diǎn)得到整部電影的情緒體驗狀態(tài)評價。
【專利說明】一種基于人機(jī)交互的電影受眾體驗評價方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于人機(jī)交互的電影受眾體驗評價方法，屬于人機(jī)交互【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]電影是工業(yè)、科技與藝術(shù)的結(jié)晶，是最普通、最流行的大眾娛樂活動之一。對于電影制作商以及電影受眾來說，電影的受眾體驗好壞是一部電影能否成功的關(guān)鍵因素。目前主流電影受眾體驗評價方法體系主要依賴對受眾的訪談或問卷調(diào)查數(shù)據(jù)展開，這一方式受主觀因素影響較大，比如訪談或問卷的問題設(shè)計、受眾從眾心理及對個人隱私偏好的顧慮等。建立更加客觀的評價方法，對于電影制作商在電影制作或發(fā)布前進(jìn)行更加精確的評估，以及幫助潛在受眾做出觀影決策，都有很重要的意義。
[0003]人機(jī)交互技術(shù)中的腦機(jī)交互技術(shù)是一種通過直接解讀人腦思維活動所產(chǎn)生的腦電波來判斷人思維活動狀態(tài)的工程心理學(xué)技術(shù)。隨著腦機(jī)交互技術(shù)的發(fā)展，通過腦電信號解讀人的不同情緒體驗狀態(tài)已經(jīng)可以通過特定的信號處理算法實(shí)現(xiàn)。與傳統(tǒng)方法相比，腦機(jī)交互技術(shù)依賴客觀的腦神經(jīng)電活動信息進(jìn)行體驗分析，可以讓人們更好地理解和掌握不同情景下的情緒反應(yīng)，為電影受眾體驗評價提供了新的思路，是一種更加客觀的方法。
[0004]然而，現(xiàn)有腦機(jī)交互領(lǐng)域的分析方法如事件相關(guān)電位、節(jié)律活動變化等大多針對實(shí)驗室條件下高度簡化的視覺或聽覺事件下的大腦響應(yīng)進(jìn)行分析，這些方法不能適用于分析電影這一復(fù)雜視聽覺刺激情景下的大腦情緒體驗，針對電影情景的數(shù)據(jù)分析方法尚未見報道。


【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問題是:現(xiàn)有技術(shù)中不能通過腦電對電影觀影過程中的大腦情緒體驗進(jìn)行分析的問題。
[0006]為實(shí)現(xiàn)上述的發(fā)明目的，本發(fā)明提供了一種基于人機(jī)交互的電影受眾體驗評價方法，包括如下步驟:
[0007]取一定數(shù)量長度的不同情緒內(nèi)容的電影片段樣本并播放；
[0008]采集一定數(shù)量觀看所述不同情緒內(nèi)容的電影片段的受眾的腦電信號；
[0009]對采集到的腦電信號進(jìn)行頻域分析，提取不同頻段的腦電響應(yīng)；
[0010]將所述腦電響應(yīng)拆分為一定時長的腦電片段；
[0011]計算腦電片段的不同腦電特征的受眾群體響應(yīng)一致性，將所述受眾間群體響應(yīng)一致性作為群體間一致性的多元度量指標(biāo)；
[0012]根據(jù)所述多元度量指標(biāo)組成不同腦電特征的向量，修正人機(jī)交互體驗狀態(tài)識別方法的參數(shù)；
[0013]在電影播放過程中記錄不同受眾的不同時段的不同腦電特征，對所述不同受眾的不同時段的不同腦電特征，按所述人機(jī)交互體驗狀態(tài)識別方法得到不同受眾的不同時段的喚起度和效價；統(tǒng)計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內(nèi)容預(yù)測。
[0014]其中較優(yōu)地，所述電影片段樣本的情緒內(nèi)容評價來自于影評專家或互聯(lián)網(wǎng)電影推薦系統(tǒng)。
[0015]其中較優(yōu)地，所述腦電信號是每個受眾不同位置的至少16個通道采集的。
[0016]其中較優(yōu)地，所述腦電信號采集時采樣率不低于200Hz。
[0017]其中較優(yōu)地，所述不同腦電特征包括不同采集通道、不同頻段、大腦不同半球能量比。
[0018]其中較優(yōu)地，所述群體間一致性的多元度量指標(biāo)是按下述方式得到的:
[0019]分別針對所有頻域響應(yīng)和能量比分別進(jìn)行計算得到所有受眾兩兩響應(yīng)相關(guān)性；
[0020]所有受眾兩兩響應(yīng)相關(guān)性取平均值得到群體間一致性的多元度量指標(biāo)。
[0021]其中較優(yōu)地，所述統(tǒng)計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內(nèi)容預(yù)測的步驟還包括:
[0022]如果當(dāng)前連續(xù)腦電片段的喚起度超出了閾值，則視為當(dāng)前腦電片段產(chǎn)生一個情緒事件；
[0023]根據(jù)當(dāng)前連續(xù)腦電片段的喚起度對應(yīng)的情緒事件對應(yīng)的效價得到當(dāng)前腦電片段的情緒評價；
[0024]統(tǒng)計不同受眾的不同時段的喚起度對應(yīng)的情緒得到整部電影的情緒內(nèi)容預(yù)測。
[0025]其中較優(yōu)地，所述閾值是按下述方法得到的:
[0026]整個電影時段的喚起度的平均值加上兩倍標(biāo)準(zhǔn)差得到閾值。
[0027]本發(fā)明提供的基于人機(jī)交互的電影受眾體驗評價方法，通過記錄受眾觀影過程中的大腦神經(jīng)電活動信息，建立基于群體間腦電響應(yīng)一致性的情緒識別腦機(jī)交互方法，從效價和喚起度兩個維度評價電影的受眾體驗。相比傳統(tǒng)的電影受眾體驗評價方法，本發(fā)明所提出方法依據(jù)客觀的生理數(shù)據(jù)而非主觀報告，可以對受眾體驗進(jìn)行更加精細(xì)、準(zhǔn)確的評估，對推動電影文化產(chǎn)業(yè)發(fā)展有積極意義。

【專利附圖】

【附圖說明】
[0028]圖1是本發(fā)明整部電影的情緒內(nèi)容預(yù)測示意圖。

【具體實(shí)施方式】
[0029]下面結(jié)合附圖和實(shí)施例，對本發(fā)明的【具體實(shí)施方式】作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。
[0030]本發(fā)明提供一種基于人機(jī)交互的電影受眾體驗評價方法，包括如下步驟:取一定數(shù)量長度的不同情緒內(nèi)容的電影片段樣本并播放；采集一定數(shù)量觀看所述不同情緒內(nèi)容的電影片段的受眾的腦電信號；對采集到的腦電信號進(jìn)行頻域分析，提取不同頻段的腦電響應(yīng)；將所述腦電響應(yīng)拆分為一定時長的腦電片段；計算腦電片段的不同腦電特征的受眾群體響應(yīng)一致性，將所述受眾間群體響應(yīng)一致性作為群體間一致性的多元度量指標(biāo)；根據(jù)所述多元度量指標(biāo)組成不同腦電特征的向量,修正人機(jī)交互體驗狀態(tài)識別方法的參數(shù)；在電影播放過程中記錄不同受眾的不同時段的不同腦電特征，對所述不同受眾的不同時段的不同腦電特征，按所述人機(jī)交互體驗狀態(tài)識別方法得到不同受眾的不同時段的喚起度和效價；統(tǒng)計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內(nèi)容預(yù)測。下面對本發(fā)明提供的基于人機(jī)交互的電影受眾體驗評價方法展開詳細(xì)的說明。
[0031]首先，介紹取一定數(shù)量長度的不同情緒內(nèi)容的電影片段樣本并播放的步驟。
[0032]在本發(fā)明的一個實(shí)施例中，準(zhǔn)備不少于40個具有不同情緒內(nèi)容的電影片段，每個電影片段時長不短于10分鐘。有不同情緒內(nèi)容的電影片段包括四種情緒內(nèi)容:高喚起度+高效價，低喚起度+高效價，高喚起度+低效價，低喚起度+低效價。40個具有不同情緒內(nèi)容的電影片段中每種情緒內(nèi)容電影片段10段。電影片段的情緒內(nèi)容評價可以來自影評專家或互聯(lián)網(wǎng)電影推薦系統(tǒng)。
[0033]其次，介紹采集一定數(shù)量觀看所述不同情緒內(nèi)容的電影片段的受眾的腦電信號的步驟。
[0034]在本發(fā)明的一個實(shí)施例中，同時或分別采集至少40人觀看40個具有不同情緒內(nèi)容的電影片段時的腦電信號。優(yōu)選每位受眾至少采集16通道腦電信號，覆蓋電極位置包括Fz、F3、F4、Cz、C3、C4、T3、Τ4、Τ5、Τ6、Ρζ、Ρ3、Ρ4、0ζ、01、02,且采樣率不低于 200Hz。
[0035]來自影評專家或互聯(lián)網(wǎng)電影推薦系統(tǒng)。
[0036]再次，介紹對采集到的腦電信號進(jìn)行頻域分析，提取不同頻段的腦電響應(yīng)的步驟。
[0037]在本發(fā)明的一個實(shí)施例中，對采集到的不同通道腦電信號均進(jìn)行頻域分析，提取delta (l_3Hz)、theta (4_8Hz)、alpha (8_13Hz)，beta (14_30Hz)、gamma (30_50Hz)頻段的腦電響應(yīng)，上述各頻段名稱用希臘字母分別表示為δ、θ、α、β、Y。同時在此基礎(chǔ)上計算左右半球的各頻段腦電能量不對稱性，包括額葉F3/F4能量比、頂葉C3/C4能量比、顳葉Τ3/Τ4能量比、顳葉Τ5/Τ6能量比、頂葉Ρ3/Ρ4能量比、枕葉01/02能量比。這些腦電特征以采樣率為時間單位進(jìn)行計算，即最多5毫秒得到一組上述特征數(shù)值。
[0038]第四，介紹將所述腦電響應(yīng)拆分為一定時長的腦電片段，計算腦電片段的不同腦電特征之間的腦電群體響應(yīng)一致性，將腦電群體響應(yīng)一致性作為群體間一致性的多元度量指標(biāo)的步驟。
[0039]將以上提取到的腦電響應(yīng)進(jìn)一步拆分為短時長的腦電片段(例如每10秒為片段)，計算受眾之間不同腦電特征(包括不同通道、不同頻段、不同能量比)之間的相關(guān)性作為群體間一致性的度量指標(biāo)。所述群體間一致性的多元度量指標(biāo)是按下述方式得到的:分別針對所有頻域響應(yīng)和能量比分別進(jìn)行計算得到所有受眾兩兩響應(yīng)相關(guān)性；所有受眾兩兩響應(yīng)相關(guān)性取平均值得到群體間一致性的多元度量指標(biāo)。所有受眾兩兩響應(yīng)相關(guān)性的平均值作為所測得群體間一致性。度量指標(biāo)需要分別針對所有頻域響應(yīng)和能量比分別進(jìn)行計算得到。
[0040]第五，根據(jù)所述多元度量指標(biāo)組成不同腦電特征的向量，修正人機(jī)交互體驗狀態(tài)識別方法的參數(shù)。
[0041]將得到的一系列群體間一致性指標(biāo)組成特征向量，訓(xùn)練該算法模型參數(shù)以實(shí)現(xiàn)對短時長腦電片段所對應(yīng)的情緒內(nèi)容(即喚起度、效價)的預(yù)測。
[0042]最后，介紹在電影播放過程中記錄不同受眾的不同時段的不同腦電特征，對所述不同受眾的不同時段的不同腦電特征，按所述人機(jī)交互體驗狀態(tài)識別方法得到不同受眾的不同時段的喚起度和效價；統(tǒng)計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內(nèi)容預(yù)測。
[0043]如圖1所示，本發(fā)明所提出方法即可應(yīng)用于電影受眾體驗的評價。對于一部新的電影，需要采集不少于40人觀看該電影的腦電，并通過與上述訓(xùn)練過程一樣的腦電數(shù)據(jù)處理方法進(jìn)行處理，最后得到對每個短時電影片段及整部電影的情緒內(nèi)容預(yù)測輸出，這一輸出結(jié)果即為電影受眾體驗的評價。如果當(dāng)前連續(xù)腦電片段的喚起度超出了閾值，則視為當(dāng)前腦電片段產(chǎn)生一個情緒事件；根據(jù)當(dāng)前連續(xù)腦電片段的喚起度對應(yīng)的情緒事件對應(yīng)的效價得到當(dāng)前腦電片段的情緒評價；統(tǒng)計不同受眾的不同時段的喚起度對應(yīng)的情緒得到整部電影的情緒內(nèi)容預(yù)測。
[0044]針對所有短時長腦電片段分別在喚起度和效價維度進(jìn)行統(tǒng)計，以超出平均值加上兩倍標(biāo)準(zhǔn)差為閾值，將喚起度維度超出閾值的連續(xù)腦電片段定義為一個情緒事件；通過對應(yīng)的效價維度輸出標(biāo)記情緒時間為正向或負(fù)向情緒事件。
[0045]本發(fā)明提取布置在不同腦區(qū)的不同電極通道的腦電信號，通過頻域分析提取不同頻段腦電響應(yīng)及其組合作為特征來進(jìn)行受眾體驗的預(yù)測。具體的說，本發(fā)明從情緒的兩個維度來描述受眾體驗:第一維度為效價(valence),表示情緒的正向(積極情緒)或負(fù)向(消極情緒)；第二維度為喚起度(arousal)，表示情緒的強(qiáng)弱(強(qiáng)喚起或弱喚起)。對于短時長(例如10秒鐘)的腦電數(shù)據(jù)，可以通過根據(jù)上述基于頻域的腦電響應(yīng)特征的群體一致性指標(biāo)建立的分類方法進(jìn)行分類，最終得到在情緒二維空間中表征的受眾體驗指標(biāo)。
[0046]把正向和負(fù)向情緒事件的持續(xù)時間占電影總時間的比例、單個正向和負(fù)向情緒事件的平均持續(xù)時間、情緒事件的平均間隔時間組成為特征向量(包括但不限于)，訓(xùn)練該算法參數(shù)以實(shí)現(xiàn)對整部電影所對應(yīng)的情緒內(nèi)容的預(yù)測。
[0047]綜上所述，本發(fā)明提供的基于人機(jī)交互的電影受眾體驗評價方法，采用了工程心理學(xué)前沿的腦機(jī)接口技術(shù)。通過記錄受眾觀影過程中的大腦神經(jīng)電活動信息，建立基于群體間腦電響應(yīng)一致性的情緒識別腦機(jī)交互方法，從效價和喚起度兩個維度評價電影的受眾體驗。相比傳統(tǒng)的電影受眾體驗評價方法，本發(fā)明所提出方法依據(jù)客觀的生理數(shù)據(jù)而非主觀報告，可以對受眾體驗進(jìn)行更加精細(xì)、準(zhǔn)確的評估，對推動電影文化產(chǎn)業(yè)發(fā)展有積極意義。
[0048]以上實(shí)施方式僅用于說明本發(fā)明，而并非對本發(fā)明的限制，有關(guān)【技術(shù)領(lǐng)域】的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
【權(quán)利要求】
1.一種基于人機(jī)交互的電影受眾體驗評價方法，其特征在于，包括如下步驟: 取一定數(shù)量長度的不同情緒內(nèi)容的電影片段樣本并播放； 采集一定數(shù)量觀看所述不同情緒內(nèi)容的電影片段的受眾的腦電信號； 對采集到的腦電信號進(jìn)行頻域分析，提取不同頻段的腦電響應(yīng)； 將所述腦電響應(yīng)拆分為一定時長的腦電片段； 計算腦電片段的不同腦電特征的受眾間群體響應(yīng)一致性，將所述受眾間群體響應(yīng)一致性作為群體間一致性的多元度量指標(biāo)； 根據(jù)所述多元度量指標(biāo)組成不同腦電特征的向量，修正人機(jī)交互體驗狀態(tài)識別方法的參數(shù)； 在電影播放過程中記錄不同受眾的不同時段的不同腦電特征，對所述不同受眾的不同時段的不同腦電特征，按所述人機(jī)交互體驗狀態(tài)識別方法得到不同受眾的不同時段的喚起度和效價；統(tǒng)計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內(nèi)容預(yù)測。
2.如權(quán)利要求1所述的電影受眾體驗評價方法，其特征在于:所述電影片段樣本的情緒內(nèi)容評價來自于影評專家或互聯(lián)網(wǎng)電影推薦系統(tǒng)。
3.如權(quán)利要求1所述的電影受眾體驗評價方法，其特征在于:所述腦電信號是每個受眾不同位置的至少16個通道采集的。
4.如權(quán)利要求1所述的電影受眾體驗評價方法，其特征在于:所述腦電信號采集時采樣率不低于200?。
5.如權(quán)利要求1所述的電影受眾體驗評價方法，其特征在于:所述不同腦電特征包括不同采集通道、不同頻段、大腦不同半球能量比。
6.如權(quán)利要求1所述的電影受眾體驗評價方法，其特征在于:所述群體間一致性的多元度量指標(biāo)是按下述方式得到的: 分別針對所有頻域響應(yīng)和能量比分別進(jìn)行計算得到所有受眾兩兩響應(yīng)相關(guān)性； 所有受眾兩兩響應(yīng)相關(guān)性取平均值得到群體間一致性的多元度量指標(biāo)。
7.如權(quán)利要求1所述的電影受眾體驗評價方法，其特征在于:所述統(tǒng)計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內(nèi)容預(yù)測的步驟還包括: 如果當(dāng)前連續(xù)腦電片段的喚起度超出了閾值，則視為當(dāng)前腦電片段產(chǎn)生一個情緒事件； 根據(jù)當(dāng)前連續(xù)腦電片段的喚起度對應(yīng)的情緒事件對應(yīng)的效價得到當(dāng)前腦電片段的情緒評價； 統(tǒng)計不同受眾的不同時段的喚起度對應(yīng)的情緒得到整部電影的情緒內(nèi)容預(yù)測。
8.如權(quán)利要求7所述的電影受眾體驗評價方法，其特征在于:所述閾值是按下述方法得到的: 整個電影時段的喚起度的平均值加上兩倍標(biāo)準(zhǔn)差得到閾值。
【文檔編號】G06K9/62GK104361356SQ201410743841
【公開日】2015年2月18日 申請日期:2014年12月8日 優(yōu)先權(quán)日:2014年12月8日
【發(fā)明者】張丹, 胡鑫, 彭凱平 申請人:清華大學(xué)