本發(fā)明涉及一種圖像處理技術(shù)，尤其涉及一種基于視頻信息的自信度判斷方法、裝置及系統(tǒng)。

背景技術(shù)：

辯論賽為雙方辯手在場上運用智力進行的一場融知識、智慧、語言、應(yīng)變能力為一體的激烈角逐，可以說是雙方辨手一場激烈的綜合知識、心理大戰(zhàn)。期間各辯手的心理變化過程可以說是辯論賽過程的又一亮點。心理變化通常在人的面部表情變化上體現(xiàn)的尤為明顯。目前在辯論賽過程中，主持人、觀眾、或直播解說員對各辯手的心理變化主要為人為主觀判斷，而辯手在辯論過程中細(xì)微的面部表情變化通常難以被人精準(zhǔn)的捕捉和觀察留意到。因此，發(fā)明一種能夠通過閱讀人面部的情緒變化，從而判斷辯手心理狀態(tài)的視頻識別方法成為本領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

技術(shù)實現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的之一在于提供一種基于視頻信息的自信度判斷方法，其能識別辯論賽中辯手的自信度的變化。

本發(fā)明的目的之二在于提供一種基于視頻信息的自信度判斷裝置，其能識別辯論賽中辯手的自信度的變化。

本發(fā)明的目的之三在于提供一種基于視頻信息的自信度判斷系統(tǒng)，其能識別辯論賽中辯手的自信度的變化。

本發(fā)明的目的之一采用如下技術(shù)方案實現(xiàn)：

一種基于視頻信息的自信度判斷方法，包括以下步驟：

模型建立步驟：建立人的面部識別模型庫；

信息獲取步驟：獲取用戶的面部識別信息以及脈搏數(shù)據(jù)，所述面部識別信息包括人面部的當(dāng)前特征向量；

特征比對步驟：根據(jù)面部識別信息與面部識別模型庫的比對結(jié)果以及脈搏數(shù)據(jù)得到用戶的自信度數(shù)據(jù)。

進一步地，所述模型建立步驟具體包括以下子步驟：

模型特征獲取步驟：獲取用戶的模型識別信息，所述模型識別信息包括模型特征向量，所述模型特征向量為模型特征點的位移變化；

區(qū)間劃分步驟：將自信度區(qū)間定義為自信、動搖和被說服三個區(qū)間，并在不同的自信度區(qū)間存儲相對應(yīng)的模型特征向量集以形成人的面部識別模型庫。

進一步地，所述模型特征點的數(shù)量為70至75之間的任意一數(shù)值。

進一步地，所述特征比對步驟具體包括以下子步驟：

比對結(jié)果獲取步驟：將獲取到的當(dāng)前特征向量與面部識別模型庫中的模型特征向量集進行比對以得到比對結(jié)果；

結(jié)果判斷步驟：根據(jù)比對結(jié)果以及用戶的脈搏數(shù)據(jù)判斷所屬自信度區(qū)間以得到用戶的自信度數(shù)據(jù)。

進一步地，所述面部識別信息包括識別過程中的開始特征向量和結(jié)束特征向量，所述特征比對步驟具體包括以下子步驟：

開始自信度獲取步驟：根據(jù)獲取到的開始特征向量得到用戶的開始自信度數(shù)據(jù)；

結(jié)束自信度獲取步驟：根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束自信度數(shù)據(jù)；

自信度計算步驟：根據(jù)結(jié)束自信度數(shù)據(jù)與開始自信度數(shù)據(jù)的變化得到用戶在識別過程中的自信度數(shù)據(jù)。

本發(fā)明的目的之二采用如下技術(shù)方案實現(xiàn)：

一種基于視頻信息的自信度判斷裝置，包括以下模塊：

模型建立模塊：用于建立人的面部識別模型庫；

信息獲取模塊：用于獲取用戶的面部識別信息以及脈搏數(shù)據(jù)，所述面部識別信息包括人面部的當(dāng)前特征向量；

特征比對模塊：用于根據(jù)面部識別信息與面部識別模型庫的比對結(jié)果以及脈搏數(shù)據(jù)得到用戶的自信度數(shù)據(jù)。

進一步地，所述模型建立模塊具體包括以下子模塊：

模型特征獲取模塊：用于獲取用戶的模型識別信息，所述模型識別信息包括模型特征向量，所述模型特征向量為模型特征點的位移變化；

區(qū)間劃分模塊：用于將自信度區(qū)間定義為自信、動搖和被說服三個區(qū)間，并在不同的自信度區(qū)間存儲相對應(yīng)的模型特征向量集以形成人的面部識別模型庫。

進一步地，所述模型特征點的數(shù)量為70至75之間的任意一數(shù)值。

進一步地，所述特征比對模塊具體包括以下子模塊：

比對結(jié)果獲取模塊：用于將獲取到的當(dāng)前特征向量與面部識別模型庫中的模型特征向量集進行比對以得到比對結(jié)果；

結(jié)果判斷模塊：用于根據(jù)比對結(jié)果以及用戶的脈搏數(shù)據(jù)判斷所屬自信度區(qū)間以得到用戶的自信度數(shù)據(jù)。

進一步地，所述面部識別信息包括識別過程中的開始特征向量和結(jié)束特征向量，所述特征比對模塊具體包括以下子模塊：

開始自信度獲取模塊：用于根據(jù)獲取到的開始特征向量得到用戶的開始自信度數(shù)據(jù)；

結(jié)束自信度獲取模塊：用于根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束自信度數(shù)據(jù)；

自信度計算模塊：用于根據(jù)結(jié)束自信度數(shù)據(jù)與開始自信度數(shù)據(jù)的變化得到用戶在識別過程中的自信度數(shù)據(jù)。

本發(fā)明的目的之三采用如下技術(shù)方案實現(xiàn)：

一種基于視頻信息的自信度判斷系統(tǒng)，包括執(zhí)行器，所述執(zhí)行器用于執(zhí)行如上述任意一項所描述的基于視頻信息的自信度判斷方法。

相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

本發(fā)明提供了一種基于視頻信息的自信度判斷方法，通過機器學(xué)習(xí)建立自信度識別模型，實現(xiàn)在辯論過程中通過視頻圖像分析各個辯手的面部情緒變化，結(jié)合辯手脈搏數(shù)據(jù)實時分析辯手的面部表情和脈搏跳動變化從而得出辯手的自信度判斷結(jié)果，使得主持人、觀眾、或直播解說員可以根據(jù)本發(fā)明的判斷結(jié)果更直觀、全面、細(xì)微的了解辯手在辯論過程中的心理變化狀態(tài)，增加觀賽過程的亮點和可看性。

附圖說明

圖1為本發(fā)明的基于視頻信息的自信度判斷方法的流程圖；

圖2為本發(fā)明的基于視頻信息的自信度判斷裝置的結(jié)構(gòu)圖。

具體實施方式

下面，結(jié)合附圖以及具體實施方式，對本發(fā)明做進一步描述，需要說明的是，在不相沖突的前提下，以下描述的各實施例之間或各技術(shù)特征之間可以任意組合形成新的實施例。

本發(fā)明的系統(tǒng)主要包括：攝像頭、智能手環(huán)、數(shù)據(jù)處理服務(wù)器。

攝像頭：多個攝像頭分別設(shè)置在辯論賽場地上方對向參加辯論賽的辯手、可以清晰捕捉各參賽辯手的面部視頻圖像的位置，用于持續(xù)捕捉辯手的面部視頻圖像，并將視頻圖像通過網(wǎng)絡(luò)或數(shù)據(jù)線傳輸?shù)綌?shù)據(jù)處理服務(wù)器。

智能手環(huán)：由各辯手在辯論時佩戴，用于獲取各個辯手的脈搏跳動數(shù)據(jù)，并通過網(wǎng)絡(luò)將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)處理服務(wù)器。

數(shù)據(jù)處理服務(wù)器：獲取攝像頭拍攝的各個辯手的面部視頻圖像信息和智能手環(huán)傳輸?shù)母鬓q手脈搏跳動數(shù)據(jù)，結(jié)合辯手的面部持續(xù)情緒變化和脈搏跳動變化數(shù)據(jù)比對識別模型實時判斷各辯手的自信度變化數(shù)據(jù)，并將識別結(jié)果數(shù)據(jù)對應(yīng)存儲和實時顯示。

識別主要分為2部分：建立識別模型和自信度識別。

建立識別模型：對大量人臉面部表情視頻進行學(xué)習(xí)訓(xùn)練，抽取面部視頻圖像關(guān)鍵幀、構(gòu)建面部關(guān)鍵點，對關(guān)鍵點進行特征提??；同時結(jié)合各關(guān)鍵幀時間點的脈搏跳動數(shù)據(jù)，對應(yīng)指定各個自信度區(qū)間存儲，通過反復(fù)訓(xùn)練校正結(jié)果數(shù)據(jù)，從而建立自信度各區(qū)間的訓(xùn)練集模版庫，作為自信度識別模型。

自信度識別：根據(jù)辯論過程中用戶的面部表情和脈搏跳動變化，比對識別模型得到各辯手的自信度變化結(jié)果數(shù)據(jù)。

如圖1所示，本發(fā)明提供了一種基于視頻信息的自信度判斷方法，包括以下步驟：

s1：建立人的面部識別模型庫；人的面部結(jié)構(gòu)及五官形態(tài)組合在情緒變化時具有顯著特征。通過學(xué)習(xí)和不斷校正，根據(jù)面部的眉毛、眼睛、眼角、鼻子、鼻孔、嘴唇、顴骨等面部五官及各個組成部分的結(jié)構(gòu)、輪廓組合特點，查找出能夠體現(xiàn)人的臉部表情變化、且在各種光線投射外部環(huán)境影響下、人臉各角度偏移時、穩(wěn)定的面部72個關(guān)鍵點，基于面部72個關(guān)鍵點建立識別模型；構(gòu)成面部情緒識別的72個關(guān)鍵點也可以是70-75區(qū)間中的任意數(shù)值個數(shù)，為最優(yōu)個數(shù)，也可以更多或者更少一點。點的多少對識別結(jié)果數(shù)據(jù)準(zhǔn)確性和計算效率有一定影響。

其中所述s1具體包括以下子步驟：

s11：獲取用戶的模型識別信息，所述模型識別信息包括模型特征向量，所述模型特征向量為模型特征點的位移變化；所述模型特征點的數(shù)量為70至75之間的任意一數(shù)值；也即是獲取辯手辯論時的面部視頻圖像，并根據(jù)面部特征構(gòu)建對該辯手的面部情緒識別的72個關(guān)鍵點；

s12：將自信度區(qū)間定義為自信、動搖和被說服三個區(qū)間，并在不同的自信度區(qū)間存儲相對應(yīng)的模型特征向量集以形成人的面部識別模型庫。將自信度定義為自信、動搖、被說服3個區(qū)間，用總體自信度百分比來對應(yīng)各自信度區(qū)間建立識別模型。數(shù)值越低表示自信度越低，數(shù)值越高表示自信度越高，即0-35為被說服，35-65為動搖，65-100為自信，被說服，不自信、被對方說服趨近于0，非常自信趨近于100。通過機器學(xué)習(xí)訓(xùn)練、分析大量辯論過程中辯手的面部視頻，統(tǒng)計72個關(guān)鍵點在不同自信度時的點的坐標(biāo)變化數(shù)據(jù)，計算出它們在不同自信度下的坐標(biāo)偏移向量，形成描述面部自信度變化的特征向量；將情緒變化時各個時間點面部72個關(guān)鍵點的坐標(biāo)偏移向量和脈搏跳動次數(shù)對應(yīng)自信、動搖、被說服區(qū)間的模版庫存儲，形成自信、動搖、被說服的特征向量集；反復(fù)訓(xùn)練驗證識別結(jié)果，從而建立自信度識別模型。

s2：獲取用戶的面部識別信息以及脈搏數(shù)據(jù)，所述面部識別信息包括人面部的當(dāng)前特征向量；由于人在情緒波動時，對應(yīng)的脈搏數(shù)據(jù)也會發(fā)生變化，例如激動、緊張時脈搏、心臟會加速跳動。因此，在獲取面部視頻圖像的同時佩戴智能手環(huán)，通過智能手環(huán)獲取識別對象的脈搏跳動數(shù)據(jù)，結(jié)合各個時間點的面部72個關(guān)鍵點的坐標(biāo)偏移向量數(shù)據(jù)和脈搏跳動數(shù)據(jù)來對選手的自信度進行識別；脈搏跳動數(shù)據(jù)結(jié)合面部視頻信息可以提高判斷的準(zhǔn)確率，也可以不監(jiān)測脈搏數(shù)據(jù)而單獨以面部視頻學(xué)習(xí)訓(xùn)練建立識別模型進行自信度判斷。

s3：根據(jù)面部識別信息與面部識別模型庫的比對結(jié)果以及脈搏數(shù)據(jù)得到用戶的自信度數(shù)據(jù)。在自信度獲取的過程中有兩種不同的實現(xiàn)方式，第一種是所述s3具體包括以下子步驟：

s31：將獲取到的當(dāng)前特征向量與面部識別模型庫中的模型特征向量集進行比對以得到比對結(jié)果；

s32：根據(jù)比對結(jié)果以及用戶的脈搏數(shù)據(jù)判斷所屬自信度區(qū)間以得到用戶的自信度數(shù)據(jù)。通過上述的方式可以實時顯示辯論選手在辯論過程中的自信度數(shù)據(jù)。

但是由于辯論選手的情緒是會隨著辯論的進行而不斷變化的，他有可能被對手所列舉處的強力的論點所說服，不能夠單一判斷辯論選手當(dāng)前的自信度狀態(tài)，也需要考慮在整個過程中選手的情緒變化狀態(tài)，因此，提供了另外的維度來對用戶來進行分析。由于辯論選手更多的是依靠語言來進行的，可能在辯論中，該選手可以從邏輯語言上沒有體現(xiàn)出被說服，但是通過面部識別數(shù)據(jù)并結(jié)合脈搏數(shù)據(jù)等使得辯論選手不容易進行掩飾，使得主持人、觀眾、或直播解說員可以根據(jù)本發(fā)明的判斷結(jié)果更直觀、全面、細(xì)微的了解辯手在辯論過程中的心理變化狀態(tài)，增加觀賽過程的亮點和可看性。

也即是第二種是方式是對整個比賽過程進行分析，所述面部識別信息包括識別過程中的開始特征向量和結(jié)束特征向量，所述s3具體包括以下子步驟：

s301：根據(jù)獲取到的開始特征向量得到用戶的開始自信度數(shù)據(jù)；

s302：根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束自信度數(shù)據(jù)；

s303：根據(jù)結(jié)束自信度數(shù)據(jù)與開始自信度數(shù)據(jù)的變化得到用戶在識別過程中的自信度數(shù)據(jù)。以辯論開始初期的自信度作為識別初始數(shù)據(jù)，基于初始數(shù)據(jù)和選手在整個辯論過程中的自信度的變化數(shù)據(jù)，判斷整個辯論比賽中選手的自信度的變化。

本發(fā)明應(yīng)用過程為：

辯論賽開始時，在場地設(shè)置能夠清晰捕捉各辯手面部視頻的網(wǎng)絡(luò)攝像頭，為各辯手佩戴對應(yīng)編號的智能手環(huán)。

啟動識別服務(wù)器，通過辯論賽場上設(shè)置的攝像頭實時獲取各辯手的臉部視頻圖像信息，通過網(wǎng)絡(luò)連接智能手環(huán)，實時獲取各辯手的脈搏跳動數(shù)據(jù)。

數(shù)據(jù)處理服務(wù)器的識別模塊獲取到辯手的面部視頻圖像后，根據(jù)面部特征構(gòu)建辯手的面部72個關(guān)鍵點。

持續(xù)計算辯論過程中辯手面部72個關(guān)鍵點的坐標(biāo)偏移向量數(shù)據(jù)，結(jié)合對應(yīng)時間點辯手的脈搏跳動數(shù)據(jù)，比對識別模型，得到用戶在整個辯論過程自信度變化數(shù)據(jù)。

設(shè)定整個辯論過程為30分鐘，將辯手面部視頻和脈搏跳動數(shù)據(jù)的前1分鐘的識別結(jié)果數(shù)據(jù)作為判斷自信度的初始參考基礎(chǔ)數(shù)據(jù)，進行后續(xù)29分鐘的自信度識別，得到整個辯論過程的自信度實時變化數(shù)據(jù)。即當(dāng)辯手開始準(zhǔn)備辯論或陳述各自觀點的前1分鐘，情緒本身為比較緊張、沒有什么把握，在之后辯論過程中，情緒狀態(tài)變化轉(zhuǎn)為相對平靜，甚至趨向有信心，則識別結(jié)果會趨向自信。如辯手開始辯論前1分鐘，情緒本身為非常有信心的狀態(tài)，在之后辯論過程情緒變化轉(zhuǎn)為相對低落，則識別結(jié)果趨向于動搖或被說服。

在整個辯論過程中，識別模塊將自信度識別結(jié)果數(shù)據(jù)存儲并進行實時顯示。

辯論賽主持人或觀眾可實時看到辯論過程各辯手的實時自信度變化信息，增加辯論賽的看點。

本發(fā)明不僅可以實時對選手進行分析，還可以通過數(shù)據(jù)接口接入獲取視頻數(shù)據(jù)和脈搏跳動數(shù)據(jù)信息，獲取其他已有的辯論賽過程視頻和辯手脈搏跳動數(shù)據(jù)，從而分析得到辯手的自信度變化情況。

本發(fā)明還可以用于機器人為辯論賽過程寫稿提供識別數(shù)據(jù)支持。

如圖2所示，本發(fā)明提供了一種基于視頻信息的自信度判斷裝置，包括以下模塊：

模型建立模塊：用于建立人的面部識別模型庫；所述模型建立模塊具體包括以下子模塊：

模型特征獲取模塊：用于獲取用戶的模型識別信息，所述模型識別信息包括模型特征向量，所述模型特征向量為模型特征點的位移變化；所述模型特征點的數(shù)量為70至75之間的任意一數(shù)值。

區(qū)間劃分模塊：用于將自信度區(qū)間定義為自信、動搖和被說服三個區(qū)間，并在不同的自信度區(qū)間存儲相對應(yīng)的模型特征向量集以形成人的面部識別模型庫。

信息獲取模塊：用于獲取用戶的面部識別信息以及脈搏數(shù)據(jù)，所述面部識別信息包括人面部的當(dāng)前特征向量；

特征比對模塊：用于根據(jù)面部識別信息與面部識別模型庫的比對結(jié)果以及脈搏數(shù)據(jù)得到用戶的自信度數(shù)據(jù)。在自信度獲取的過程中有兩種不同的實現(xiàn)方式，第一種是所述特征比對模塊具體包括以下子模塊：

比對結(jié)果獲取模塊：用于將獲取到的當(dāng)前特征向量與面部識別模型庫中的模型特征向量集進行比對以得到比對結(jié)果；

結(jié)果判斷模塊：用于根據(jù)比對結(jié)果以及用戶的脈搏數(shù)據(jù)判斷所屬自信度區(qū)間以得到用戶的自信度數(shù)據(jù)。

第二種是，所述面部識別信息包括識別過程中的開始特征向量和結(jié)束特征向量，所述特征比對模塊具體包括以下子模塊：

開始自信度獲取模塊：用于根據(jù)獲取到的開始特征向量得到用戶的開始自信度數(shù)據(jù)；

結(jié)束自信度獲取模塊：用于根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束自信度數(shù)據(jù)；

自信度計算模塊：用于根據(jù)結(jié)束自信度數(shù)據(jù)與開始自信度數(shù)據(jù)的變化得到用戶在識別過程中的自信度數(shù)據(jù)。

上述實施方式僅為本發(fā)明的優(yōu)選實施方式，不能以此來限定本發(fā)明保護的范圍，本領(lǐng)域的技術(shù)人員在本發(fā)明的基礎(chǔ)上所做的任何非實質(zhì)性的變化及替換均屬于本發(fā)明所要求保護的范圍。