本發(fā)明涉及一種基于視頻分析的新生兒疼痛表情識別方法，屬于視頻分析與模式識別技術(shù)領(lǐng)域。

背景技術(shù)：

以往醫(yī)學(xué)界認為新生兒沒有疼痛感，所以一直未對新生兒疼痛予以重視。但是近年來醫(yī)學(xué)研究證實，反復(fù)的疼痛刺激會對新生兒，尤其是早生兒和危重兒產(chǎn)生一些近期和遠期的影響。疼痛是一種主觀感受，自我評估被認為是最可靠的評估疼痛方法。但由于新生兒不能像成人一樣用語言表達疼痛的感受，所以正確評估和積極處理新生兒疼痛具有重要的臨床意義。在常用的新生兒疼痛評估工具中，“面部表情”被認為是最可靠的疼痛監(jiān)測指標。

目前國際上對新生兒疼痛的評估都是由受過專門訓(xùn)練，并熟悉各項評估技術(shù)指標的醫(yī)護人員進行人工評估,但人工評估耗時費力，而且評估結(jié)果往往受到主觀因素的影響。因此，開發(fā)一種基于面部表情的新生兒疼痛自動評估系統(tǒng)是非常有意義和價值的。

南京郵電大學(xué)盧官明教授帶領(lǐng)的課題組曾采用基于局部二值模式(lbp)和稀疏表示分類相結(jié)合的識別方法，對新生兒的疼痛與非疼痛表情的分類進行了研究，取得了較為滿意的識別性能。但前期開展的有關(guān)新生兒疼痛表情識別研究主要面向靜態(tài)圖像，實驗所用的表情圖像都是經(jīng)人工裁剪、對齊、尺度歸一化和灰度均衡化等處理后得到的。盡管實驗結(jié)果取得了較高的識別率，但算法的泛化能力有限，與實際臨床的疼痛評估還有很大的差距。因為在臨床應(yīng)用中，疼痛評估系統(tǒng)面向攝像機采集的監(jiān)控視頻，而不是預(yù)先歸一化后的靜態(tài)圖像。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種基于視頻分析的新生兒疼痛表情識別方法，能夠解決現(xiàn)有技術(shù)不能有效識別新生兒疼痛表情的問題，為開發(fā)客觀準確的新生兒疼痛自動評估系統(tǒng)提供新的途徑。

本發(fā)明為了解決上述技術(shù)問題采用以下技術(shù)方案：本發(fā)明設(shè)計了一種基于視頻分析的新生兒疼痛表情識別方法，包括如下步驟：

步驟a.采集新生兒分別對應(yīng)預(yù)設(shè)各個疼痛程度等級的各個樣本疼痛等級表情視頻，并進入步驟b；

步驟b.分別針對各個樣本疼痛等級表情視頻，具體針對樣本疼痛等級表情視頻進行剪輯，獲得各個表情圖像幀，進而獲得各個樣本疼痛等級表情視頻分別所對應(yīng)的各組樣本表情圖像幀，并統(tǒng)一各組樣本表情圖像幀的幀長度l，以及統(tǒng)一所有表情圖像幀的分辨率h×w，然后進入步驟c；

步驟c.構(gòu)建三維卷積神經(jīng)網(wǎng)絡(luò)，并采用各組樣本表情圖像幀，以及分別所對應(yīng)的疼痛程度等級作為訓(xùn)練樣本，針對三維卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，獲得對應(yīng)于新生兒表情識別的三維卷積神經(jīng)網(wǎng)絡(luò)，然后進入步驟d；

步驟d.采集新生兒實際表情視頻，并進行圖像幀調(diào)整，然后采用對應(yīng)于新生兒表情識別的三維卷積神經(jīng)網(wǎng)絡(luò)，針對新生兒實際表情視頻進行識別，獲得所對應(yīng)的疼痛程度等級。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述預(yù)設(shè)各個疼痛程度等級包括新生兒平靜狀態(tài)、新生兒啼哭狀態(tài)，以及因致通性操作所導(dǎo)致的新生兒輕度疼痛狀態(tài)、新生兒劇烈疼痛狀態(tài)。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟c中，采用各組樣本表情圖像幀，以及分別所對應(yīng)的疼痛程度等級作為訓(xùn)練樣本，通過反向傳播算法針對三維卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟c中構(gòu)建的三維卷積神經(jīng)網(wǎng)絡(luò)由輸入開始，依次包括第一層硬連接層、第二層卷積層、第三層池化層、第四層卷積層、第五層池化層、第六層卷積層、第七層全連接層和第八層分類層，所述各組樣本表情圖像幀依次經(jīng)過三維卷積神經(jīng)網(wǎng)絡(luò)中的各層，獲得表情圖象幀分類，并結(jié)合各組樣本表情圖像幀分別所對應(yīng)的疼痛程度等級，針對三維卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，獲得對應(yīng)于新生兒表情識別的三維卷積神經(jīng)網(wǎng)絡(luò)；

所述步驟d中，采集新生兒實際表情視頻，獲得所對應(yīng)的表情圖像幀，并調(diào)整該新生兒實際表情視頻所對應(yīng)表情圖像幀的幀長度為l，以及調(diào)整該新生兒實際表情視頻所對應(yīng)各表情圖像幀的分辨率為h×w，然后將新生兒實際表情視頻所對應(yīng)的表情圖像幀，依次經(jīng)過對應(yīng)于新生兒表情識別的三維卷積神經(jīng)網(wǎng)絡(luò)中的各層，獲得該新生兒實際表情視頻的分類，即獲得該新生兒實際表情視頻所對應(yīng)的疼痛程度等級。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述三維卷積神經(jīng)網(wǎng)絡(luò)中由輸入開始，依次所包括各個層如下：

第一層硬連接層，提取新生兒表情視頻所對應(yīng)各表情圖像幀中的灰度、水平方向梯度、垂直方向梯度、水平方向光流和垂直方向光流等特征；

第二層卷積層，采用d1×k1×k1的3d卷積核，針對第一層硬連接層所輸出多個通道的特征進行卷積操作，獲得l1個分辨率為h1×w1的二維特征圖，其中，l1＝m1×[(l-d1+1)×3+(l-1-d1+1)×2]，s1表示本層的卷積步長，m1表示本層卷積核的數(shù)量，int(·)表示取整函數(shù)，k1×k1表示本層中3d卷積的空間維大小，d1表示本層中3d卷積的時間維大小；

第三層池化層，采用預(yù)設(shè)尺寸k2×k2的采樣窗口，針對上一層卷積層所獲的二維特征圖進行下采樣操作，獲得l1個分辨率為h2×w2的二維特征圖；其中，s2表示本層采樣窗口的滑動步長；

第四層卷積層，采用d3×k3×k3的3d卷積核對上一層池化層的輸出進行卷積操作，獲得l2個分辨率為h3×w3的二維特征圖；其中，k3×k3表示本層中3d卷積的空間維大小，d3表示本層中3d卷積的時間維大小，l2＝m1×m3×{[(l-d1+1)-d3+1]×3+[(l-1-d1+1)-d3+1]×2}，s3表示本層的卷積步長，m3表示本層卷積核的數(shù)量；

第五層池化層，采用預(yù)設(shè)尺寸k4×k4的采樣窗口，針對上一層卷積層所獲二維特征圖進行下采樣操作，獲得l2個分辨率為h4×w4的二維特征圖；其中，s4表示本層的卷積步長；

第六層卷積層，采用h4×w4的卷積核，針對上一層池化層的輸出，按預(yù)設(shè)卷積步長為1，在空間維度上進行卷積操作，獲得l2個分辨率為1×1的二維特征圖；

第七層全連接層，獲得上層卷積層的輸出結(jié)果作為全連接層的輸入，且該全連接層的輸入節(jié)點數(shù)為l2個，該全連接層節(jié)點與上層卷積層所輸出各個二維特征圖進行全連接，進而獲得該新生兒表情視頻所對應(yīng)的l2維特征向量；

第八層分類層，接收上一層全連接層輸出的l2維特征向量，并采用預(yù)設(shè)分類器進行分類識別，即完整針對該新生兒表情視頻的識別。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述第八層分類層中，針對上一層全連接層輸出的l2維特征向量，采用softmax分類器進行分類識別。

本發(fā)明所述一種基于視頻分析的新生兒疼痛表情識別方法采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：本發(fā)明設(shè)計的一種基于視頻分析的新生兒疼痛表情識別方法，通過引入基于三維卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，將其運用于新生兒疼痛表情識別工作中，能夠有效識別出新生兒處于安靜、啼哭狀態(tài)以及致痛性操作引起輕度疼痛、劇烈疼痛等表情，為開發(fā)新生兒疼痛自動評估系統(tǒng)提供一種新的途徑，具體引入三維卷積神經(jīng)網(wǎng)絡(luò)，通過3d卷積核提取視頻片段的時域和空域特征，避免人工提取特征的繁瑣，且所提取特征更具優(yōu)越性，并且在深度學(xué)習(xí)平臺上自動學(xué)習(xí)并識別新生兒疼痛表情，與傳統(tǒng)人工評估方式相比，更加客觀，更加準確，并且節(jié)省了大量人力資源。

附圖說明

圖1是本發(fā)明所設(shè)計一種基于視頻分析的新生兒疼痛表情識別方法的示意圖；

圖2是本發(fā)明所設(shè)計三維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖；

圖3是本發(fā)明所設(shè)計新生兒各個疼痛程度等級的表情圖像幀。

具體實施方式

下面結(jié)合說明書附圖對本發(fā)明的具體實施方式作進一步詳細的說明。

本發(fā)明將深度學(xué)習(xí)理論拓展應(yīng)用到動態(tài)視頻中的表情識別領(lǐng)域，針對面向臨床應(yīng)用的新生兒疼痛表情識別關(guān)鍵技術(shù)問題，提出一種基于視頻分析的新生兒疼痛表情識別方法，其中基于三維卷積神經(jīng)網(wǎng)絡(luò)(3dcnn)進行實現(xiàn)，以突破在傳統(tǒng)的表情識別方法中人工設(shè)計與提取顯式表情特征的技術(shù)瓶頸，提高在面部受遮擋、姿態(tài)傾斜、光照變化等復(fù)雜情況下的識別率和魯棒性。

如圖1所示，本發(fā)明設(shè)計了一種基于視頻分析的新生兒疼痛表情識別方法，實際應(yīng)用中，具體包括如下步驟：

步驟a.采集新生兒分別對應(yīng)預(yù)設(shè)各個疼痛程度等級的各個樣本疼痛等級表情視頻，并進入步驟b。其中，各個疼痛程度等級包括新生兒平靜狀態(tài)、新生兒啼哭狀態(tài)，以及因致通性操作所導(dǎo)致的新生兒輕度疼痛狀態(tài)、新生兒劇烈疼痛狀態(tài)，如圖3所示。

步驟b.分別針對各個樣本疼痛等級表情視頻，具體針對樣本疼痛等級表情視頻進行剪輯，獲得各個表情圖像幀，進而獲得各個樣本疼痛等級表情視頻分別所對應(yīng)的各組樣本表情圖像幀，并統(tǒng)一各組樣本表情圖像幀的幀長度l，以及統(tǒng)一所有表情圖像幀的分辨率h×w，然后進入步驟c。

步驟c.構(gòu)建三維卷積神經(jīng)網(wǎng)絡(luò)，如圖2所示，三維卷積神經(jīng)網(wǎng)絡(luò)由輸入開始依次包括第一層硬連接層、第二層卷積層、第三層池化層、第四層卷積層、第五層池化層、第六層卷積層、第七層全連接層和第八層分類層，采用各組樣本表情圖像幀，以及分別所對應(yīng)的疼痛程度等級作為訓(xùn)練樣本，通過反向傳播算法針對三維卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，其中，所述各組樣本表情圖像幀依次經(jīng)過三維卷積神經(jīng)網(wǎng)絡(luò)中的各層，獲得表情圖象幀分類，并結(jié)合各組樣本表情圖像幀分別所對應(yīng)的疼痛程度等級，針對三維卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，獲得對應(yīng)于新生兒表情識別的三維卷積神經(jīng)網(wǎng)絡(luò)，然后進入步驟d。

其中，三維卷積神經(jīng)網(wǎng)絡(luò)中由輸入開始，依次所包括各個層如下：

第一層硬連接層，提取新生兒表情視頻所對應(yīng)各表情圖像幀中的灰度、水平方向梯度、垂直方向梯度、水平方向光流和垂直方向光流等特征，基于上述各組樣本表情圖像幀所包括的12幀表情圖像幀，形成12×3+(12-1)×2＝58個二維特征圖，其中，12個灰度特征圖，12×2＝24個梯度特征圖和(12-1)×2＝22個光流特征圖，這五種特征在網(wǎng)絡(luò)中形成了五個通道，然后對這幾個通道分別進行處理。

第二層卷積層，采用d1×k1×k1的3d卷積核，針對第一層硬連接層所輸出多個通道的特征進行卷積操作，獲得l1個分辨率為h1×w1的二維特征圖，其中，l1＝m1×[(l-d1+1)×3+(l-1-d1+1)×2]，s1表示本層的卷積步長，m1表示本層卷積核的數(shù)量，int(·)表示取整函數(shù)，k1×k1表示本層中3d卷積的空間維大小，d1表示本層中3d卷積的時間維大小。

第三層池化層，采用預(yù)設(shè)尺寸k2×k2的采樣窗口，針對上一層卷積層所獲的二維特征圖進行下采樣操作，獲得l1個分辨率為h2×w2的二維特征圖；其中，s2表示本層采樣窗口的滑動步長。

第四層卷積層，采用d3×k3×k3的3d卷積核對上一層池化層的輸出進行卷積操作，獲得l2個分辨率為h3×w3的二維特征圖；其中，k3×k3表示本層中3d卷積的空間維大小，d3表示本層中3d卷積的時間維大小，l2＝m1×m3×{[(l-d1+1)-d3+1]×3+[(l-1-d1+1)-d3+1]×2}，s3表示本層的卷積步長，m3表示本層卷積核的數(shù)量。

第五層池化層，采用預(yù)設(shè)尺寸k4×k4的采樣窗口，針對上一層卷積層所獲二維特征圖進行下采樣操作，獲得l2個分辨率為h4×w4的二維特征圖；其中，s4表示本層的卷積步長。

第六層卷積層，采用h4×w4的卷積核，針對上一層池化層的輸出，按預(yù)設(shè)卷積步長為1，在空間維度上進行卷積操作，獲得l2個分辨率為1×1的二維特征圖。

第七層全連接層，獲得上層卷積層的輸出結(jié)果作為全連接層的輸入，且該全連接層的輸入節(jié)點數(shù)為l2個，該全連接層節(jié)點與上層卷積層所輸出各個二維特征圖進行全連接，進而獲得該新生兒表情視頻所對應(yīng)的l2維特征向量。

第八層分類層，接收上一層全連接層輸出的l2維特征向量，并采用softmax分類器進行分類識別，即完整針對該新生兒表情視頻的識別。

步驟d.采集新生兒實際表情視頻，獲得所對應(yīng)的表情圖像幀，并調(diào)整該新生兒實際表情視頻所對應(yīng)表情圖像幀的幀長度為l，以及調(diào)整該新生兒實際表情視頻所對應(yīng)各表情圖像幀的分辨率為h×w，然后將新生兒實際表情視頻所對應(yīng)的表情圖像幀，依次經(jīng)過對應(yīng)于新生兒表情識別的三維卷積神經(jīng)網(wǎng)絡(luò)中的各層，獲得該新生兒實際表情視頻的分類，即獲得該新生兒實際表情視頻所對應(yīng)的疼痛程度等級。

實際應(yīng)用中，實際應(yīng)用中，我們在醫(yī)護人員對新生兒進行常規(guī)的侵入性、致痛性操作，例如洗澡、打預(yù)防針和采血的過程中，使用高清數(shù)碼相機拍攝了一系列新生兒疼痛視頻。我們隨機選取了25個新生兒在不同狀態(tài)下的面部表情視頻，同時由受過專業(yè)培訓(xùn)的醫(yī)護人員對拍攝視頻中的新生兒疼痛級別進行評估，主要分為平靜、輕度疼痛、劇烈疼痛、哭這四類表情狀態(tài)。并對每類視頻按所屬類別進行標號，平靜表情對應(yīng)標號0，輕度疼痛表情對應(yīng)標號1，劇烈疼痛表情對應(yīng)標號2，哭表情對應(yīng)標號3，并依次建立相對應(yīng)表情的文件夾，將對應(yīng)標記的新生兒表情視頻依次放入。因此，共有4個文件夾，每個文件夾下應(yīng)有25個不同新生兒的同類表情視頻。對所有樣本視頻進行灰度化、尺度歸一化等處理，將其分割成12幀表情圖像幀，每個視頻片段相互之間不重疊，并將視頻幀圖像統(tǒng)一大小，處理后的視頻幀分辨率為128×128，得到統(tǒng)一大小后的視頻片段。至此，新生兒面部表情視頻庫建立完畢。

對于三維卷積神經(jīng)網(wǎng)絡(luò)各層而言：

第一層硬連接層，提取新生兒表情視頻所對應(yīng)各表情圖像幀中的灰度、水平方向梯度、垂直方向梯度、水平方向光流和垂直方向光流等特征，基于上述各組樣本表情圖像幀所包括的12幀表情圖像幀，形成12×3+(12-1)×2＝58個二維特征圖，其中，12個灰度特征圖，12×2＝24個梯度特征圖和(12-1)×2＝22個光流特征圖，這五種特征在網(wǎng)絡(luò)中形成了五個通道，然后對這幾個通道分別進行處理。

第二層卷積層，采用7×11×11的3d卷積核，針對第一層硬連接層所輸出多個通道的特征進行卷積操作，卷積步長為3，在同一個位置使用2個不同的卷積核，可得到2組特征圖，卷積后進行非線性映射，獲得56個分辨率為40×40的二維特征圖，其中，56＝[(12-7+1)×3+(11-7+1)×2]×2，

第三層池化層，采用2×2尺寸的采樣窗口，針對上一層卷積層所獲的二維特征圖進行下采樣操作，滑動步長為2，獲得56個分辨率為20×20的二維特征圖；其中，

第四層卷積層，采用3×7×7的3d卷積核對上一層池化層的輸出進行卷積操作，卷積步長為1，在同一個位置使用3個不同的卷積核，可得到3組特征圖，卷積后再進行非線性映射，獲得108個分辨率為14×14的二維特征圖；其中，108＝[((12-7+1)-3+1)×3+((11-7+1)-3+1)×2]×2×3，14×14＝(20-7+1)×(20-7+1)。

第五層池化層，采用2×2尺寸的采樣窗口，針對上一層卷積層所獲二維特征圖進行下采樣操作，滑動步長為2，獲得108個分辨率為7×7的二維特征圖；其中，

第六層卷積層，由于時間維上幀數(shù)很少(灰度，水平方向和垂直方向梯度均為4幀，水平方向和垂直方向光流均為3幀)，故只在空間維上卷積，采用7×7的卷積核，針對上一層池化層的輸出，按預(yù)設(shè)卷積步長為1，在空間維度上進行卷積操作，獲得108個分辨率為1×1的二維特征圖，其中，1×1＝(7-7+1)×(7-7+1)。

第七層全連接層，獲得上層卷積層的輸出結(jié)果作為全連接層的輸入，且該全連接層的輸入節(jié)點數(shù)為108個，該全連接層節(jié)點與上層卷積層所輸出各個二維特征圖進行全連接，進而獲得該新生兒表情視頻所對應(yīng)的108維特征向量。

第八層分類層，接收上一層全連接層輸出的l2維特征向量，并采用softmax分類器進行分類識別，即完整針對該新生兒表情視頻的識別，其中，輸出為樣本x屬于類別j的概率值其中j＝1,2…4，則判定樣本x所屬的類別表示為：

即在4個概率值中尋找最大值，將概率值最大的j所對應(yīng)的類別作為樣本x的分類結(jié)果，用class(x)表示。

上述所設(shè)計基于視頻分析的新生兒疼痛表情識別方法，通過引入基于三維卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，將其運用于新生兒疼痛表情識別工作中，能夠有效識別出新生兒處于安靜、啼哭狀態(tài)以及致痛性操作引起輕度疼痛、劇烈疼痛等表情，為開發(fā)新生兒疼痛自動評估系統(tǒng)提供一種新的途徑，具體引入三維卷積神經(jīng)網(wǎng)絡(luò)，通過3d卷積核提取視頻片段的時域和空域特征，避免人工提取特征的繁瑣，且所提取特征更具優(yōu)越性，并且在深度學(xué)習(xí)平臺上自動學(xué)習(xí)并識別新生兒疼痛表情，與傳統(tǒng)人工評估方式相比，更加客觀，更加準確，并且節(jié)省了大量人力資源。

上面結(jié)合附圖對本發(fā)明的實施方式作了詳細說明，但是本發(fā)明并不限于上述實施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。