一種基于智能手機平臺的校園霸凌檢測方法
【專利摘要】一種基于智能手機平臺的校園霸凌檢測方法，涉及模式識別和動作識別領(lǐng)域。是為了適應(yīng)對校園暴力行為進行主動檢測的需求。本發(fā)明基于內(nèi)置三軸加速度計和三軸陀螺儀的智能手機平臺，提出一種校園霸凌檢測系統(tǒng)，該系統(tǒng)通過動作識別、語音情感識別和精神壓力識別，檢測可能存在的身體暴力和言語欺凌，并在檢測出霸凌事件后自動短信報警。本發(fā)明適用于校園霸凌檢測。
【專利說明】一種基于智能手機平臺的校園霸凌檢測方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及模式識別和動作識別領(lǐng)域。

【背景技術(shù)】
[0002]校園霸凌是一種常見的社會現(xiàn)象，多發(fā)生在中小學(xué)生群體中。校園霸凌有多種表現(xiàn)形式，如身體暴力、言語欺凌、損壞財物、孤立等，其中尤以身體暴力最為嚴重，言語欺凌最為頻發(fā)。
[0003]目前的校園霸凌告警系統(tǒng)基本都是被動式的。當(dāng)霸凌發(fā)生時，需要使用者手動操作，發(fā)送告警短信。這對于霸凌受害者而言是很困難的，可能因此招致更嚴重的欺凌，而旁觀者害怕受到霸凌者的報復(fù)，不敢在現(xiàn)場進行操作，這就使監(jiān)護人無法及時得知消息。
[0004]而目前，還無法對校園暴力行為進行主動檢測。


【發(fā)明內(nèi)容】

[0005]本發(fā)明是為了適應(yīng)對校園暴力行為進行主動檢測的需求，從而提供基于智能手機平臺的校園霸凌檢測方法。
[0006]一種基于智能手機平臺的校園霸凌檢測方法，
[0007]在校園內(nèi)的每個人體身上佩戴一個智能手機，所述智能手機內(nèi)嵌一個三軸加速度計、一個三軸陀螺儀、一個麥克風(fēng)、一個短信模塊和一個GPS模塊；在一個周期下，對于每個人體的檢測，均由以下步驟實現(xiàn):
[0008]步驟一、同時執(zhí)行步驟二和步驟三；
[0009]步驟二、通過一個三軸加速度計和一個三軸陀螺儀分別采集每個時間周期下人體的加速度和陀螺儀數(shù)據(jù)，并根據(jù)采集到的加速度的垂直向量和兩個水平軸的合向量在每個時間周期內(nèi)的變化量，以及根據(jù)采集到的陀螺儀三軸合向量的均值和方差在每個時間周期下的變化量，并分別與預(yù)設(shè)的“霸凌動作”的加速度門限值和“霸凌動作”的陀螺儀門限值進行對比，如果比較結(jié)果為同時超過，則執(zhí)行步驟四；否則，則執(zhí)行步驟五；
[0010]所述“霸凌動作”的加速度門限值和“霸凌動作”的陀螺儀門限值的設(shè)定方法為:
[0011]以時間周期為間隔，采用多人多周期分別模擬“毆打”、“推搡”、“推倒”、“行走”、“奔跑”和“跳躍”動作，并通過一個三軸加速度計和一個陀螺儀分別采集每個時間周期下人體的加速度和陀螺儀數(shù)據(jù)，并根據(jù)采集到的加速度的垂直向量和兩個水平軸的合向量在每個時間周期內(nèi)的變化量，以及根據(jù)采集到的陀螺儀三軸合向量的均值和方差在每個時間周期下的變化量，設(shè)定“霸凌動作”的加速度門限值和“霸凌動作”的陀螺儀門限值；
[0012]步驟三、通過麥克風(fēng)采集人體所在環(huán)境中的個人語音數(shù)據(jù)和他人語音數(shù)據(jù)，并同時進行步驟三一和步驟三二；
[0013]步驟三一、語音情感識別:從步驟三中采集到的本身語音數(shù)據(jù)中提取梅爾頻率倒譜系數(shù)(MFCC)語音特征，并與預(yù)設(shè)的“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征、“恐懼”語音特征進行相似度比較，將相似度最高的語音特征作為本次提取的他人梅爾頻率倒譜系數(shù)(MFCC)語音特征的結(jié)果，如果該結(jié)果為“言語欺凌”，則執(zhí)行步驟四；如果該結(jié)果為“日常會話”，則執(zhí)行步驟五；
[0014]所述“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征和“恐懼”語音特征的設(shè)定方法為:
[0015]以時間周期為間隔，采用多人多周期分別模擬“快樂”、“憤怒”、“悲傷”、“中性”和“恐懼”的情感，并通過麥克風(fēng)采集每個周期的語音數(shù)據(jù)，對每個周期的語音數(shù)據(jù)提取MFCC語音特征，將該語音特征分成“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征和“恐懼”語音特征5類，并作為預(yù)設(shè)置結(jié)果；
[0016]步驟三二、從步驟三中采集到的本身語音數(shù)據(jù)中提取本身梅爾頻率倒譜系數(shù)(MFCC)語音特征，并與預(yù)設(shè)的“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征進行相似度比較，將相似度最高的語音特征作為本次提取的本身梅爾頻率倒譜系數(shù)(MFCC)語音特征的結(jié)果，如果該結(jié)果為“霸凌”，則執(zhí)行步驟四；如果該結(jié)果為“非霸凌”，則執(zhí)行步驟五；
[0017]所述“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征的設(shè)定方法為:
[0018]以時間周期為間隔，采用多人多周期分別模擬高度精神壓力、中度精神壓力和低度精神壓力的情感，并通過麥克風(fēng)采集每個周期的語音數(shù)據(jù)，對每個周期的語音數(shù)據(jù)提取MFCC語音特征，將該語音特征分成“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征3類，并作為預(yù)設(shè)置結(jié)果；
[0019]步驟四、采用佩戴的短信模塊向監(jiān)控終端發(fā)出報警短信，并采用GPS模塊向監(jiān)控終端發(fā)出GPS信號；
[0020]步驟五、結(jié)束該周期的霸凌檢測。
[0021]步驟三一將該語音特征分成“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征和“恐懼”語音特征5類是通過高斯混合模型(GMM)實現(xiàn)的。
[0022]步驟三二中，將將該語音特征分成“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征3類是通過高斯混合模型(GMM)實現(xiàn)的。
[0023]本發(fā)明適應(yīng)了對校園暴力行為進行主動檢測的需求，本發(fā)明能夠在檢測出霸凌事件后實現(xiàn)自動短信報警。本系統(tǒng)通過動作識別技術(shù)、語音情感識別技術(shù)和精神壓力識別技術(shù)，檢測并區(qū)分霸凌事件和非霸凌事件。

【專利附圖】

【附圖說明】
[0024]圖1是基于智能手機平臺的校園霸凌檢測方法的原理不意圖；

【具體實施方式】
[0025]【具體實施方式】一、結(jié)合圖1說明本【具體實施方式】，一種基于智能手機平臺的校園霸凌檢測方法，它基于智能手機平臺(包括含:三軸加速度計、三軸陀螺儀、麥克風(fēng)、短信模塊、GPS模塊的消費電子設(shè)備平臺)的校園霸凌檢測系統(tǒng)，包含以下硬件模塊:三軸加速度計，三軸陀螺儀，麥克風(fēng)，短信模塊、GPS模塊。該系統(tǒng)可以通過以上硬件模塊檢測校園霸凌中的:身體暴力，言語欺凌。
[0026](1)、通過以下方法檢測身體暴力:通過三軸加速度計和三軸陀螺儀獲取攜帶者的動作數(shù)據(jù)，用多門限(MT，Mult1-Threshold)分類算法判別該動作屬于“身體暴力”還是“日常動作”，如果是前者，則通過短信模塊向另一指定用戶(如監(jiān)護人)報警(報警短信中攜帶GPS信息)；如果是后者，則不作任何動作。
[0027](2)、通過以下方法檢測言語欺凌:通過麥克風(fēng)采集攜帶者自身和周圍環(huán)境中的語音，用高斯混合模型(GMM,Gaussian Mixture Model)分類算法識別出混合語音中的多重情感，包括快樂、憤怒、悲傷、中性、恐懼等情感，根據(jù)混合語音中的情感組成，判別當(dāng)前語境是“言語欺凌”還是“日常會話”，如果是前者，則通過短信模塊向另一指定用戶(如監(jiān)護人)報警(報警短信中攜帶GPS信息)；如果是后者，則不作任何動作。
[0028](3)、通過以下方法輔助檢測校園霸凌:通過麥克風(fēng)采集攜帶者自身和周圍環(huán)境中的語音，用高斯混合模型分類算法識別出混合語音中的精神壓力等級，包括高度精神壓力、中度精神壓力和低度精神壓力，如果混合語音中存在高度精神壓力，當(dāng)上述(1)和(2)中的分類結(jié)果處于“霸凌事件”與“非霸凌事件”中間時，使分類結(jié)果向“霸凌事件”傾向，即發(fā)出報警短信；如果混合語音中不存在高度精神壓力，當(dāng)上述(1)和(2)中的分類結(jié)果處于“霸凌事件”與“非霸凌事件”中間時，使分類結(jié)果向“非霸凌事件”傾向，即不發(fā)出報警短信。
[0029]在投入使用前，預(yù)先通過提取校園霸凌動作和聲音數(shù)據(jù)對上述(1)、(2)和(3)中的分類算法進行訓(xùn)練，得到區(qū)分霸凌事件和非霸凌事件的判定條件。在投入使用后，仍然可以通過提取校園霸凌動作和聲音數(shù)據(jù)對上述(1)、(2)和(3)中的分類算法進行反復(fù)訓(xùn)練，從而提高分類算法的準(zhǔn)確率。
[0030]本實施方式的方案共包括兩個部分:1、校園霸凌檢測系統(tǒng)訓(xùn)練階段；2、校園霸凌檢測系統(tǒng)使用階段；
[0031]1、校園霸凌檢測系統(tǒng)訓(xùn)練階段:
[0032]①、身體暴力識別分類算法訓(xùn)練
[0033]以“角色扮演”方式表演身體暴力霸凌和日常生活動作，多人多次表演毆打、推搡、推倒、行走、奔跑、跳躍等動作，用三軸加速度計和三軸陀螺儀采集加速度和陀螺儀數(shù)據(jù)。根據(jù)加速度垂直向量和水平(兩軸)合向量的數(shù)值變化，陀螺儀三軸合向量的均值和方差變化，設(shè)定多門限(MT)分類算法中的門限值，以區(qū)分“霸凌動作”和“日常生活動作”。
[0034]②、語音情感識別分類算法訓(xùn)練
[0035]以“角色扮演”方式表演言語欺凌和日常會話，用麥克風(fēng)采集語音數(shù)據(jù)。多人多次表演快樂、憤怒、悲傷、中性等情感。從采集到的情感語音數(shù)據(jù)中提取MFCC(Mel FrequencyCepstrum Coefficient,梅爾頻率倒譜系數(shù))語音特征,訓(xùn)練GMM模型,使其可將快樂、憤怒、悲傷、中性、恐懼情感明確地分為5類，從而根據(jù)混合語音中的情感成分，判別該語音屬于“言語欺凌“言語欺凌”通常是包含憤怒和恐懼的混合情感)還是“日常會話“日常會話”包含其他混合情感)。
[0036]③、精神壓力識別
[0037]以“角色扮演”方式表演言語欺凌和日常會話，用麥克風(fēng)采集語音數(shù)據(jù)。多人多次表演包含高度精神壓力(緊張)、中度精神壓力(略緊張)和低度精神壓力(放松)。從采集到的語音數(shù)據(jù)提取MFCC語音特征，訓(xùn)練GMM模型，使其可明確地將精神壓力等級分為3類(高度、中度、低度)，從而根據(jù)精神壓力的等級輔助判別身體暴力識別和言語欺凌識別(“霸凌”事件中通常包含高度精神壓力，而“非霸凌”事件中通常為中度或低度精神壓力)。
[0038]2、校園霸凌檢測方法使用階段
[0039]校園霸凌檢測系統(tǒng)以后臺方式在智能手機上運行。智能手機應(yīng)佩戴在使用者的腰部(盡量水平或垂直佩戴)，且運行本檢測系統(tǒng)后，手機的位置和方向不能大范圍移動。系統(tǒng)運行后，使用者需靜立10秒，以便本檢測系統(tǒng)確定加速度計的垂直方向和水平方向，同時進行(因手機佩戴不正導(dǎo)致的)傾斜角度修正。
[0040]校園霸凌檢測系統(tǒng)實時讀取三軸加速度計、三軸陀螺儀和麥克風(fēng)采集的數(shù)據(jù)，并由1①、1②、1③中已訓(xùn)練好的分類算法對所采集的動作、語音進行分類，判斷是否發(fā)生了身體暴力或言語欺凌。如果發(fā)生了霸凌事件，則通過短信模塊向預(yù)先設(shè)定的指定號碼發(fā)送告警短信(其中攜帶GPS信息)；如果沒有檢測出霸凌事件，則不作動作。
[0041]①“身體暴力”和“日常生活”的判別:根據(jù)三軸加速度計和三軸陀螺儀采集的加速度和陀螺儀數(shù)據(jù)，計算加速度垂直向量和水平(兩軸)合向量的數(shù)值，陀螺儀三軸合向量的均值和方差，根據(jù)這些數(shù)值的變化情況，與1①中得到的門限值做比較，根據(jù)相對于門限值的大小區(qū)分待測動作是“身體暴力”還是“日常生活”。
[0042]②“言語欺凌”和“日常會話”的判別:根據(jù)麥克風(fēng)采集的混合語音數(shù)據(jù)，提取其MFCC語音特征，并與1②中訓(xùn)練好的GMM模型(已將情感分為快樂、憤怒、悲傷、中性、恐懼5類)作對比，根據(jù)所提取語音的MFCC特征與GMM模型中已分類情感的MFCC特征的相似度(待測語音的MFCC特征與哪類情感的MFCC特征的相似度高，待測語音就被劃分為哪一類，若待測語音與多個類型情感的相似度都高，則認為待測語音中包含這些情感)，判斷混合語音中包含哪些情感，再根據(jù)混合情感的成分區(qū)分待測語音是“言語欺凌”還是“日常會話”。
[0043]③三種精神壓力等級的判別:根據(jù)麥克風(fēng)采集的混合語音數(shù)據(jù)，提取其MFCC語音特征，并1③中訓(xùn)練好的GMM模型(已將精神壓力分為高度、中度、低度3類)作對比，根據(jù)所提取語音的MFCC特征與GMM模型中已分類等級精神壓力的MFCC特征的相似度(待測語音的MFCC特征與哪類等級精神壓力的MFCC特征的相似度最高，待測語音就被劃分為哪一類)，判斷混合語音中是否包含高度精神壓力，高度精神壓力將使本霸凌識別系統(tǒng)的分類結(jié)果向發(fā)生“霸凌”的方向傾斜，中、低度精神壓力將使本霸凌識別系統(tǒng)的分類結(jié)果(包括身體暴力和言語欺凌)向“非霸凌”的方向傾斜。精神壓力等級僅在系統(tǒng)的分類結(jié)果處于“霸凌”和“非霸凌”中間時起作用，如果系統(tǒng)以很高的置信率將結(jié)果劃分為“霸凌”或“非霸凌”，則精神壓力識別對系統(tǒng)分類結(jié)果不起作用。
[0044]校園霸凌檢測系統(tǒng)支持后期重新訓(xùn)練分類算法的功能，即使用者可自己采集霸凌動作、語音數(shù)據(jù)，對1①、1②、1③中的分類算法進行重新訓(xùn)練，以提高分類準(zhǔn)確率。
【權(quán)利要求】
1.一種基于智能手機平臺的校園霸凌檢測方法，其特征是: 在校園內(nèi)的每個人體身上佩戴一個智能手機，所述智能手機內(nèi)嵌一個三軸加速度計、一個三軸陀螺儀、一個麥克風(fēng)、一個短信模塊和一個GPS模塊；在一個周期下，對于每個人體的檢測，均由以下步驟實現(xiàn): 步驟一、同時執(zhí)行步驟二和步驟三； 步驟二、通過一個三軸加速度計和一個三軸陀螺儀分別采集每個時間周期下人體的加速度和陀螺儀數(shù)據(jù)，并根據(jù)采集到的加速度的垂直向量和兩個水平軸的合向量在每個時間周期內(nèi)的變化量，以及根據(jù)采集到的陀螺儀三軸合向量的均值和方差在每個時間周期下的變化量，并分別與預(yù)設(shè)的“霸凌動作”的加速度門限值和“霸凌動作”的陀螺儀門限值進行對比，如果比較結(jié)果為同時超過，則執(zhí)行步驟四；否則，則執(zhí)行步驟五； 所述“霸凌動作”的加速度門限值和“霸凌動作”的陀螺儀門限值的設(shè)定方法為: 以時間周期為間隔，采用多人多周期分別模擬“毆打”、“推搡”、“推倒”、“行走”、“奔跑”和“跳躍”動作，并通過一個三軸加速度計和一個陀螺儀分別采集每個時間周期下人體的加速度和陀螺儀數(shù)據(jù)，并根據(jù)采集到的加速度的垂直向量和兩個水平軸的合向量在每個時間周期內(nèi)的變化量，以及根據(jù)采集到的陀螺儀三軸合向量的均值和方差在每個時間周期下的變化量，設(shè)定“霸凌動作”的加速度門限值和“霸凌動作”的陀螺儀門限值； 步驟三、通過麥克風(fēng)采集人體所在環(huán)境中的個人語音數(shù)據(jù)和他人語音數(shù)據(jù)，并同時進行步驟三一和步驟三二； 步驟三一、語音情感識別:從步驟三中采集到的本身語音數(shù)據(jù)中提取梅爾頻率倒譜系數(shù)(MFCC)語音特征，并與預(yù)設(shè)的“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征、“恐懼”語音特征進行相似度比較，將相似度最高的語音特征作為本次提取的他人梅爾頻率倒譜系數(shù)(MFCC)語音特征的結(jié)果，如果該結(jié)果為“言語欺凌”，則執(zhí)行步驟四；如果該結(jié)果為“日常會話”，則執(zhí)行步驟五； 所述“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征和“恐懼”語音特征的設(shè)定方法為: 以時間周期為間隔，采用多人多周期分別模擬“快樂”、“憤怒”、“悲傷”、“中性”和“恐懼”的情感，并通過麥克風(fēng)采集每個周期的語音數(shù)據(jù)，對每個周期的語音數(shù)據(jù)提取MFCC語音特征，將該語音特征分成“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征和“恐懼”語音特征5類，并作為預(yù)設(shè)結(jié)果； 步驟三二、從步驟三中采集到的本身語音數(shù)據(jù)中提取本身梅爾頻率倒譜系數(shù)(MFCC)語音特征，并與預(yù)設(shè)的“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征進行相似度比較，將相似度最高的語音特征作為本次提取的本身梅爾頻率倒譜系數(shù)(MFCC)語音特征的結(jié)果，如果該結(jié)果為“霸凌”，則執(zhí)行步驟四；如果該結(jié)果為“非霸凌”，則執(zhí)行步驟五； 所述“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征的設(shè)定方法為: 以時間周期為間隔，采用多人多周期分別模擬高度精神壓力、中度精神壓力和低度精神壓力的情感，并通過麥克風(fēng)采集每個周期的語音數(shù)據(jù)，對每個周期的語音數(shù)據(jù)提取MFCC語音特征，將該語音特征分成“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征3類，并作為預(yù)設(shè)置結(jié)果； 步驟四、采用佩戴的短信模塊向監(jiān)控終端發(fā)出報警短信，并采用GPS模塊向監(jiān)控終端發(fā)出GPS信號； 步驟五、結(jié)束該周期的霸凌檢測。
2.根據(jù)權(quán)利要求1所述的一種基于智能手機平臺的校園霸凌檢測方法，其特征在于步驟三一將該語音特征分成“快樂”語音特征、“憤怒”語音特征、“悲傷”語音特征、“中性”語音特征和“恐懼”語音特征5類是通過高斯混合模型(GMM)實現(xiàn)的。
3.根據(jù)權(quán)利要求1所述的一種基于智能手機平臺的校園霸凌檢測方法，其特征在于步驟三二中，將將該語音特征分成“高度精神壓力”語音特征、“中度精神壓力”語音特征、“低度精神壓力”語音特征3類是通過高斯混合模型(GMM)實現(xiàn)的。
【文檔編號】H04M1/725GK104468981SQ201410649012
【公開日】2015年3月25日 申請日期:2014年11月14日 優(yōu)先權(quán)日:2014年11月14日
【發(fā)明者】葉亮, 李月, 石碩, 李卓明, 吳少川, 于婷, 任浩, 劉鑫 申請人:哈爾濱工業(yè)大學(xué)