本發(fā)明涉及人臉表情識別方法，特別是涉及基于卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情分類方法，屬于圖像處理與模式識別技術(shù)領(lǐng)域。

背景技術(shù)：

隨著現(xiàn)代醫(yī)學(xué)水平的不斷提高與進(jìn)步，最新的研究證實，新出生的嬰兒具備一定的疼痛感知能力。護(hù)理過程中，新生兒的疼痛主要來自于外界入侵性刺激，包括足底采血、動靜脈穿刺、皮下和肌肉注射等。反復(fù)的疼痛刺激會對新生兒產(chǎn)生一系列嚴(yán)重影響，主要包括急性生理反應(yīng)、中樞神經(jīng)系統(tǒng)的永久損傷、發(fā)育遲緩和情感紊亂等。因此，對于新生兒進(jìn)行疼痛評估具有十分重大的意義。

目前，科學(xué)研究在人臉表情識別研究方面取得比較大的進(jìn)展，識別效果也比較理想，人臉表情識別對象一般針對成年人。相對于從情感角度劃分的成年人面部表情，新生兒的面部表情更偏向生理角度。國內(nèi)外越來越多的研究人員嘗試著使用多種指標(biāo)來綜合評估新生兒疼痛。多數(shù)采用傳統(tǒng)機(jī)器方法來進(jìn)行特征提取分類識別，美國學(xué)者Brahnam首次提出使用新生兒的面部表情進(jìn)行疼痛特征的提取。分別使用主成分分析(PCA)、線性判別分析(LDA)、支持向量機(jī)(SVM)三種分類方法來區(qū)分疼痛表情和其他表情。南京郵電大學(xué)盧官明教授帶領(lǐng)的課題組對新生兒疼痛表情的識別工作開展了更為全面和深入的研究。該課題組相繼研究了局部二值模式(LBP)、Gabor小波變換、支持向量機(jī)(SVM)、稀疏表示等特征提取算法，并在其基礎(chǔ)上進(jìn)行改進(jìn)算法的研究，取得一定的實驗效果。由于實驗數(shù)據(jù)集中的樣本圖像數(shù)量過少，導(dǎo)致算法性能欠缺穩(wěn)健，實驗結(jié)果分析尚未能推廣到更多的測試樣本集中。

傳統(tǒng)機(jī)器學(xué)習(xí)方法在面部表情識別上對數(shù)據(jù)量的要求不是很高，且大部分是基于面部表情的紋理特征來進(jìn)行識別分類的，未能充分學(xué)習(xí)、深度學(xué)習(xí)新生兒面部表情的內(nèi)在數(shù)據(jù)特征。因此在一定程度上會造成識別效果一般的現(xiàn)象。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中一個新的領(lǐng)域，其本質(zhì)在于建立、模擬人腦學(xué)習(xí)分析的神經(jīng)網(wǎng)絡(luò)，模仿大腦機(jī)制來解釋分析數(shù)據(jù)，如常見的聲音、圖像及文本數(shù)據(jù)。首先，采用深度學(xué)習(xí)方法的表情識別能得到較高的識別率，這正是新生兒面部表情識別所必須具備的特性。其次，深度學(xué)習(xí)方法能自動學(xué)習(xí)表情特征,自動學(xué)習(xí)同分類之間的相似性和異分類之間的差異性，從而不需要使用傳統(tǒng)機(jī)器學(xué)習(xí)方法手動去提取特征參數(shù)，節(jié)省大量的特征提取時間。最后，深度學(xué)習(xí)可以大數(shù)據(jù)完美結(jié)合應(yīng)用，在當(dāng)前這樣大數(shù)據(jù)時代，不缺乏大量數(shù)據(jù)，對大數(shù)據(jù)的學(xué)習(xí)、分析和處理才是關(guān)鍵。而深度學(xué)習(xí)需要的就是大數(shù)據(jù)，數(shù)據(jù)量越多，深度學(xué)習(xí)的效果會更好，識別率也更高。因此采用深度學(xué)習(xí)進(jìn)行新生兒面部表情識別是未來的研究方向和發(fā)展趨勢。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域一個典型的算法實現(xiàn)。目前已經(jīng)在識別分類領(lǐng)域取得良好的效果，特別是在圖像分類領(lǐng)域，如世界上圖像識別最大數(shù)據(jù)庫的Imagenet項目，采用卷積神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)最好效果。

卷積神經(jīng)網(wǎng)絡(luò)是一種深層神經(jīng)網(wǎng)絡(luò)模型，由深度學(xué)習(xí)技術(shù)和人工神經(jīng)網(wǎng)絡(luò)結(jié)合而成的新型人工神經(jīng)網(wǎng)絡(luò)方法，它具有一定的全局訓(xùn)練的特點，能實現(xiàn)層次結(jié)構(gòu)化、局部感知、特征提取和最終分類等相結(jié)合。對比與普通神經(jīng)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)一方面它的神經(jīng)元之間的連接是非全連接的；另一方面，卷積神經(jīng)網(wǎng)絡(luò)同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的，這種非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。正是由于種特點，使得卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)對圖像的平移、旋轉(zhuǎn)、傾斜、比例縮放等特性變的不敏感，具有高度不變特性。

卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池化層(下采樣層)是實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能最重要的結(jié)構(gòu)。該網(wǎng)絡(luò)模型通過采用梯度下降法最小化損失函數(shù)對網(wǎng)絡(luò)中的權(quán)重參數(shù)逐層反向調(diào)節(jié)，通過頻繁的迭代訓(xùn)練提高網(wǎng)絡(luò)的精度。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：提供基于卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情分類方法，解決傳統(tǒng)方法不能準(zhǔn)確、自動識別新生兒疼痛表情的問題，為醫(yī)學(xué)臨床提供高效、客觀、準(zhǔn)確的疼痛評估工具開辟一條全新的、高效的方法途徑。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

基于卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情分類方法，包括如下步驟：

步驟1，采集新生兒疼痛表情圖像，對圖像按新生兒面部表情的不同狀態(tài)進(jìn)行分類，建立新生兒疼痛表情圖像庫；

步驟2，構(gòu)建含有1層數(shù)據(jù)層、3層卷積層、2層全連接層和1層分類層的卷積神經(jīng)網(wǎng)絡(luò)；

步驟3，將新生兒疼痛表情圖像庫中每類表情的圖像均劃分為訓(xùn)練樣本和測試樣本，以訓(xùn)練樣本作為卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)輸入，利用反向傳播算法對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，并優(yōu)化訓(xùn)練全局參數(shù)使卷積神經(jīng)網(wǎng)絡(luò)輸出softmax損失函數(shù)值下降并收斂，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；

步驟4，輸入測試樣本，利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對測試樣本進(jìn)行識別分類，并輸出測試樣本屬于各類的概率值，將最大的概率值對應(yīng)的類別作為測試樣本的類別。

作為本發(fā)明的一種優(yōu)選方案，步驟1所述新生兒面部表情的不同狀態(tài)包括：平靜、哭、輕微疼痛、劇烈疼痛。

作為本發(fā)明的一種優(yōu)選方案，步驟2所述卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)包括如下：

2.1數(shù)據(jù)層：該層利用新生兒疼痛表情庫中的樣本圖像及其對應(yīng)的類別標(biāo)簽，作為卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)層；

2.2卷積層1：該層為卷積神經(jīng)網(wǎng)絡(luò)卷積層第一層，采用m₁個k₁*k₁的卷積核、間隔步長為l₁像素，對樣本圖像卷積并對輸出采樣和歸一化，作為下一層的輸入；

2.3卷積層2：該層為卷積神經(jīng)網(wǎng)絡(luò)卷積層第二層，采用m₂個k₂*k₂的卷積核、間隔步長為l₂像素，對上一層輸出卷積并對輸出采樣和歸一化，作為下一層的輸入；

2.4卷積層3：該層為卷積神經(jīng)網(wǎng)絡(luò)卷積層第三層，采用m₃個k₃*k₃的卷積核、步長間隔為l₃像素，對上一層輸出卷積并對輸出采樣和歸一化，作為下一層的輸入；其中，k₁、k₂、k₃逐漸遞減；

2.5全連接層1：該層為卷積神經(jīng)網(wǎng)絡(luò)全連接層第一層，是卷積層3輸出結(jié)果的全連接輸入，在激活函數(shù)、防過擬合作用下全連接到n個節(jié)點作為下一層的輸入；

2.6全連接層2：該層為卷積神經(jīng)網(wǎng)絡(luò)全連接層第二層，是全連接層1輸出結(jié)果的全連接輸入，在激活函數(shù)、防過擬合的作用下全連接到n個節(jié)點作為下一層的輸入；

2.7分類層：該層為卷積神經(jīng)網(wǎng)絡(luò)分類層，全連接層2的n個輸出節(jié)點作為該層的輸入，輸出為屬于第j類的概率值P_j，并在P_j中尋找最大值，將概率最大的j所對應(yīng)的類別作為分類結(jié)果，j＝1,…,k，k為總的類別數(shù)。

作為本發(fā)明的一種優(yōu)選方案，步驟3所述softmax損失函數(shù)定義如下：

其中，F(xiàn)(θ)表示損失函數(shù)，m為訓(xùn)練樣本總數(shù)，k為總的類別數(shù)；1{y⁽ⁱ⁾＝j(luò)}為指示函數(shù)，當(dāng)括號值為真時，函數(shù)值為1，否則函數(shù)值為0；x⁽ⁱ⁾表示全連接層輸出節(jié)點所構(gòu)成的向量，θ₁,θ₂,…,θ_k表示模型參數(shù)，T表示轉(zhuǎn)置。

作為本發(fā)明的一種優(yōu)選方案，步驟4所述概率值的定義如下：

identity(y)＝argmax(P_j)

其中，P_j表示屬于第j個類別的概率值，x⁽ⁱ⁾表示全連接層輸出節(jié)點所構(gòu)成的向量，θ₁,θ₂,…,θ_k表示模型參數(shù)，k為總的類別數(shù)，T表示轉(zhuǎn)置，identity(y)表示測試樣本y的分類結(jié)果。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

1、本發(fā)明通過引入深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)方法，利用其特有的可學(xué)習(xí)大量樣本數(shù)據(jù)特征(樣本數(shù)據(jù)質(zhì)量越好、數(shù)量越多，其學(xué)習(xí)的各類數(shù)據(jù)特征效果越好)，進(jìn)行疼痛與非疼痛表情分類識別，相比較傳統(tǒng)方法，可明顯提高識別效果。

2、本發(fā)明通過深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)方法訓(xùn)練出的識別模型，在新生兒疼痛表情圖像的噪聲、圖像取景的角度、圖像取景的曝光、部分遮擋問題上，都具有很好的健壯性；得到的實驗結(jié)果可以推廣到更多樣本集測試中，可以嘗試應(yīng)用于實際的臨床醫(yī)療。

3、本發(fā)明通過深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)方法能實現(xiàn)自動提取表情特征，不需要使用傳統(tǒng)機(jī)器學(xué)習(xí)方法手動去提取特征參數(shù)，節(jié)省了大量的特征提取時間。

附圖說明

圖1是本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情分類方法的流程圖。

圖2是本發(fā)明新生兒疼痛表情圖像庫中各類表情的圖片示例。

圖3是本發(fā)明卷積神經(jīng)網(wǎng)絡(luò)各層示意圖。

具體實施方式

下面詳細(xì)描述本發(fā)明的實施方式，所述實施方式的示例在附圖中示出。下面通過參考附圖描述的實施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。

如圖1所示，本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情分類方法的實現(xiàn)主要包含以下步驟：

步驟1，建立新生兒疼痛表情圖像庫

在醫(yī)院里，每天有著大量的對新生兒、早產(chǎn)兒進(jìn)行常規(guī)的侵入性、致痛性操作(如血液采集、疫苗接種)。因此，使用高清數(shù)碼相機(jī)拍攝記錄操作過程中新生兒的面部表情變化視頻，一般包括嬰兒由平靜—輕度疼痛—重度疼痛—輕度疼痛—平靜的整個過程。為了提高樣本質(zhì)量，對每個視頻進(jìn)行關(guān)鍵面部表情的圖像的截取工作。并由受過相關(guān)方面培訓(xùn)的醫(yī)生和護(hù)士，并采用國際公認(rèn)的新生兒疼痛評估工具——新生兒面部編碼系統(tǒng)(Neonatal Facial Coding System，NFCS),并結(jié)合相關(guān)生理指標(biāo)，對采集的新生兒面部圖像進(jìn)行疼痛程度的評估，按照疼痛的程度給予從1到10的評分，將評分值介于1～5的表情歸類為輕度疼痛表情，評分值介于6～10的表情歸類為劇烈疼痛表情。此外，再分別拍攝新生兒處于安靜狀態(tài)下、因饑餓等原因引起哭鬧時的非疼痛表情圖像。

最后對采集到的4類表情圖像進(jìn)行統(tǒng)一圖像分辨率、大小、格式等屬性?？紤]到實際應(yīng)用中可能存在的拍攝角度、曝光強(qiáng)弱、色彩飽和度等問題，注意這里并不改變采集圖像的拍攝角度、曝光強(qiáng)弱和色彩飽和度，使樣本數(shù)據(jù)具有一定的多樣性，使最終分類效果具有較強(qiáng)的魯棒性。最終使得上述4類圖像校準(zhǔn)為如圖2所示的像素大小為256*256、格式為jpeg的灰度圖像，并對每幅圖像按所屬類別進(jìn)行標(biāo)號(在本實施例中，安靜表情對應(yīng)標(biāo)號0，哭表情對應(yīng)標(biāo)號1，輕度疼痛表情對應(yīng)標(biāo)號2，劇烈疼痛表情對應(yīng)標(biāo)號3)，建立樣本數(shù)量達(dá)4000張以上新生兒面部表情圖像庫，其中安靜1000張以上，哭1000張以上，輕度疼痛1000張以上，重度疼痛1000張以上。

步驟2，劃分新生兒疼痛表情圖像庫

在完成新生兒疼痛表情圖像庫的建立后，根據(jù)基于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，將新生兒疼痛表情圖像庫中每類表情按7:3的比例劃分為訓(xùn)練樣本、測試樣本，即訓(xùn)練樣本每類圖像700張、測試樣本每類圖像300張，并分別標(biāo)注每類表情對應(yīng)標(biāo)簽。

步驟3，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)

構(gòu)建含有1層數(shù)據(jù)層、3層卷積層、2層全連接層和1層分類層的卷積神經(jīng)網(wǎng)絡(luò)，本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)各層示意圖，如圖3所示。

數(shù)據(jù)層：該層利用訓(xùn)練樣本、測試樣本和樣本標(biāo)簽作為卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)輸入，并將其轉(zhuǎn)換成深度學(xué)習(xí)平臺指定的數(shù)據(jù)類型；

卷積層1：該層為卷積神經(jīng)網(wǎng)絡(luò)中卷積層第一層，實現(xiàn)對數(shù)據(jù)層多層卷積的功能，采用100個11*11的卷積核、間隔步長為4像素，對輸入的樣本圖像進(jìn)行卷積。并對卷積后的輸出進(jìn)行采樣(池化)、歸一化，作為下一層的輸入；

卷積層2：該層為卷積神經(jīng)網(wǎng)絡(luò)中卷積層第二層，實現(xiàn)對數(shù)據(jù)層多層卷積的功能，采用256個5*5的卷積核、間隔步長為1像素，對卷積層1的輸出再次進(jìn)行卷積。并對卷積后的輸出進(jìn)行采樣(池化)、歸一化，作為下一層的輸入；

卷積層3：該層為卷積神經(jīng)網(wǎng)絡(luò)中卷積層第三層，實現(xiàn)對數(shù)據(jù)層多層卷積的功能，采用100個3*3的卷積核、步長間隔為1像素，對卷積層2的輸出再次進(jìn)行卷積。并對卷積后的結(jié)果進(jìn)行采樣(池化)，作為下一層的輸入；

全連接層1：該層為卷積神經(jīng)網(wǎng)絡(luò)中全連接層第一層，是卷積層3結(jié)果的全連接輸入。該層輸入節(jié)點為4096個節(jié)點。在激活函數(shù)、防過擬合層的作用下全連接到4096個節(jié)點作為下一層的輸入；

全連接層2：該層為卷積神經(jīng)網(wǎng)絡(luò)中全連接層第二層，是全連接層1結(jié)果的全連接輸入。該層輸入節(jié)點為4096個節(jié)點。在激活函數(shù)、防過擬合層的作用下全連接到4096個節(jié)點作為下一層的輸入；

分類層：該層為卷積神經(jīng)網(wǎng)絡(luò)中最終分類層該層，全連接層2的4096個輸出節(jié)點作為該層的輸入，輸出為屬于第j類的概率值P_j，并在P_j中尋找最大值，將概率最大的j所對應(yīng)的類別作為分類結(jié)果；

池化層：該層跟在卷積層后面，主要對卷積后數(shù)據(jù)進(jìn)行特征降維；

局部響應(yīng)歸一化層：該層跟在卷積層后面完成對數(shù)據(jù)局部輸入?yún)^(qū)域的歸一化；

激活函數(shù)層：該層跟在卷積層和全連接層完成對神經(jīng)元節(jié)點建模工作，使輸入數(shù)據(jù)得到非線性響應(yīng)；

防過擬合層：該層為跟在全連接層的一種防過擬合的策略，主要對防止數(shù)據(jù)訓(xùn)練過程的過擬合想象。

步驟4，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)

以步驟2劃分的訓(xùn)練樣本、驗證樣本記起標(biāo)簽作為卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)輸入，利用反向傳播算法對網(wǎng)絡(luò)迭代訓(xùn)練，并優(yōu)化訓(xùn)練全局參數(shù)(如學(xué)習(xí)率、學(xué)習(xí)策略、最大迭代次數(shù)、批大小、步長、權(quán)值衰減等)使網(wǎng)絡(luò)輸出損失函數(shù)值下降并收斂。

softmax損失函數(shù)定義如下：

其中，m為樣本總數(shù)，k為樣本類數(shù)，1·{y⁽ⁱ⁾＝j(luò)}為指示函數(shù)，當(dāng)括號值為真，即分類正確時，函數(shù)值為1，否則函數(shù)值為0，x⁽ⁱ⁾表示全連接層輸出n個節(jié)點所構(gòu)成的向量，θ₁,θ₂,…,θ_k∈Rⁿ表示的模型參數(shù)，為softmax的假設(shè)函數(shù)，用于計算單個樣本i屬于第j類的概率值P_j，P_j定義如下：

identity(y)＝arg max(P_j)

即在k個概率中尋找最大值，將概率最大的j所對應(yīng)的類別作為測試樣本的分類結(jié)果，用identity(y)表示。

步驟5，卷積神經(jīng)網(wǎng)絡(luò)的識別分類

利用該網(wǎng)絡(luò)對新生兒圖像進(jìn)行識別分類。輸入新生兒疼痛圖像測試樣本驗證網(wǎng)絡(luò)的識別準(zhǔn)確性，并應(yīng)用于新生兒疼痛表情的識別分類工作，設(shè)計基于該模型的分類接口，開發(fā)新生兒疼痛自動評估系統(tǒng)。

以上實施例僅為說明本發(fā)明的技術(shù)思想，不能以此限定本發(fā)明的保護(hù)范圍，凡是按照本發(fā)明提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動，均落入本發(fā)明保護(hù)范圍之內(nèi)。