非接觸式主動呼叫方法
【專利摘要】本發(fā)明提供了一種非接觸式主動呼救方法與系統(tǒng)，分離線階段和在線兩個階段進行，在離線階段，先獲取公開人臉庫或自建人臉庫，然后對人臉庫中的每幅圖像手動標記面部特征點，最后建立面部表情模型；在在線階段，先后經(jīng)過架設相機、采集圖像、檢測人臉、特征點匹配和提取、面部表情分析及病痛程度判別等步驟，實現(xiàn)了自動呼救報警。與現(xiàn)有技術相比，本發(fā)明能夠以非接觸的方式監(jiān)測臥床病人的病情，并在危急時刻主動發(fā)出呼救信號，不需要病人的操作實施。
【專利說明】非接觸式主動呼叫方法

【技術領域】
[0001] 本發(fā)明涉及一種醫(yī)療器械領域，尤其涉及一種非接觸式主動呼叫方法。

【背景技術】
[0002] 住院病人每天都需要醫(yī)護人員的照顧，除了日常的查房，有時病人會有特殊護理 需要或者病情突發(fā)狀況，這時就需要及時呼叫醫(yī)務人員到場。
[0003] 現(xiàn)有技術的呼叫響應機制主要有如下兩種：
[0004] -種是在病床旁邊安裝一個呼叫按鈕，當病人有需求時由自己或家屬按動按鈕， 醫(yī)務人員在值班室看到呼叫信號后趕到病房處理。這種方法簡便易操作，目前病房里普遍 采用，其缺點主要是被動的，無法處理特殊情況。例如，有的病人由于病情突然復發(fā)，短時間 內血壓、血糖迅速降低，沒有力氣去觸發(fā)呼叫按鈕。又比如失用癥患者，由于無法自由支配 肢體，所以很難主動去觸碰按鈕。對于失語癥或失智癥患者則更為嚴重，他們根本無法用語 言表達甚至無法覺察到自己的疼痛，如果醫(yī)護人員或病人家屬沒有及時觀察，則病人就會 受到病痛的折磨而得不到及時救治。
[0005] 另一種是把監(jiān)測設備的探測端子連接到病人身上，通過實時測量脈搏、血壓、心率 等體征指標來進行判斷。這類方法主要是接觸式的，費用昂貴，主要用于重癥病人的監(jiān)護， 普通病人無法使用。
[0006] 通過面部痛苦表情來評估老年癡呆癥患者的病痛是醫(yī)學領域的一個研究熱點。 面部動作編碼系統(tǒng)（Facial Action Coding System, FACS)是目前最好的面部痛苦表 情的客觀描述方法（Craig K.D., Prkachin K.M., Grunau R.E.The facial expression of pain. In:Turk D. C. , Melzack R. , eds.The Handbook of Pain Assessment. New York, NY:The Guilford Press ;2001:153 - 69.)。FACS 是美國著名心理學家保羅?艾克 曼于1978年提出的一種面部表情編碼系統(tǒng)。該方法基于人臉的解剖學特點，將面部區(qū) 域劃分成48個動作單元，然后根據(jù)這些單元的運動模式來判別表情類型（Ekman P. and Friesen ff. Facial Action Coding System:A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978. )〇 Lints-Martindale 等人以老年人為研究對象，采用FACS方法定量研究了面部痛苦表情與疼痛之間的 對 應關系(Lints-Martindale A. C. , Hadjistavropoulos T. , Barber B. , Gibson S. J. (2007) ?''APsychophysical Investigation of the Facial Action Coding System as an Index of Pain Variability among Older Adults with and without Alzheimer's Disease". Pain Medicine 8(8):678 - 689.)。他們對被試分別進行物理刺激和電刺激，然 后采用FACS方法判斷在不同刺激強度下被試的面部表情變化，最后提出FACS可以用于評 估老年病患的病痛。但是，由于FACS只是一套理論體系，并不能直接用來測量面部表情的 變化，所以在Lints-Martindale的研究中，主要是依靠對實驗對象的面部進行錄像，然后 由實驗人員參照FACS的理論方法逐幀重復播放視頻來判斷面部動作單元對刺激的反應， 而且該研究只針對老年病患。


【發(fā)明內容】

[0007] 本發(fā)明的目的是提出一種非接觸式主動呼救方法，其能夠以非接觸的方式監(jiān)測臥 床病人的病情，并在危急時刻主動發(fā)出呼救信號，不需要病人自己去操作實施。
[0008] 為了實現(xiàn)上述目的，本發(fā)明以心理學領域的重要研究成果FACS為理論依據(jù)，采用 計算機視覺領域中目標檢測、目標跟蹤的方法檢測記錄面部表情特征點的位置信息，然后 利用表情特征點數(shù)據(jù)進行面部表情的識別，通過分析計算面部痛苦表情來判定患者的病痛 程度，最后根據(jù)患者的需要自動觸發(fā)呼救報警系統(tǒng)。
[0009] 本發(fā)明的非接觸式主動呼救方法至少包括離線階段和在線兩個階段。
[0010] 優(yōu)選地，所述離線階段進一步包括如下步驟：步驟一、獲取公開人臉庫或自建人臉 庫；步驟二、手動標記人臉庫中每幅圖像的面部特征點；步驟三、建立面部表情模型。
[0011] 優(yōu)選地，所述在線階段進一步包括如下步驟：步驟一、在病床正上方或斜上方屋頂 處安裝一部攝像機，確保相機鏡頭對著臥床病人的頭部；步驟二、利用攝像機采集一幀圖 像；步驟三、從視頻圖像中檢測人臉，并提取出相應區(qū)域；步驟四、利用離線階段建立的面 部表情模型去動態(tài)匹配上一步驟中檢測到的人臉；步驟五、獲取面部特征點的坐標；步驟 六、判斷是否是新患者，如果是則執(zhí)行步驟七，否則執(zhí)行步驟八；步驟七、采集一幀患者的正 常表情圖像，計算面部動作單元的運動模式數(shù)據(jù)并存儲為基準表情，返回步驟二；步驟八、 采集一幀患者的面部表情圖像，分析計算患者的痛苦表情涉及到的相關面部動作單元的運 動模式數(shù)據(jù)；步驟九、根據(jù)患者的面部表情分析其病痛程度，并判斷是否需要呼救，如果是 則執(zhí)行步驟十，否則返回步驟二；步驟十、向值班室或監(jiān)護人發(fā)出呼救報警信號，返回步驟 --O
[0012] 本發(fā)明的非接觸式主動呼救方法對患者的監(jiān)測是實時的、24小時不間斷的；測量 是非接觸式的，不需要連接探測端到患者身上；當發(fā)生危急情況時，呼救是主動進行的；系 統(tǒng)部署簡單、成本低廉。
[0013] 本發(fā)明提出的非接觸式主動呼救方法可以應用于醫(yī)院病房、臨終關懷機構、敬老 院，以及智能家居護理等領域，適用對象不僅限于老年病患，除了面部肌肉運動功能障礙患 者和嬰幼兒外都能適用。
[0014] 以下結合附圖和具體實施例對本發(fā)明的技術方案進行詳細的說明，以使本發(fā)明的 特性和優(yōu)點更為明顯。

【專利附圖】

【附圖說明】
[0015] 圖1所示為本發(fā)明一個實施例的非接觸式主動呼救方法的流程示意圖；
[0016] 圖2所示為本發(fā)明一個實施例的面部特征點示意圖。

【具體實施方式】
[0017] 以下將對本發(fā)明的實施例給出詳細的說明。盡管本發(fā)明將結合一些【具體實施方式】 進行闡述和說明，但需要注意的是本發(fā)明并不僅僅只局限于這些實施方式。相反，對本發(fā)明 進行的修改或者等同替換，均應涵蓋在本發(fā)明的權利要求范圍當中。
[0018] 另外，為了更好的說明本發(fā)明，在下文的【具體實施方式】中給出了眾多的具體細節(jié)。 本領域技術人員將理解，沒有這些具體細節(jié)，本發(fā)明同樣可以實施。在另外一些實例中，對 于大家熟知的方法、流程、元件和設備未作詳細描述，以便于凸顯本發(fā)明的主旨。
[0019] 在本實施例中，本發(fā)明的非接觸式主動呼救方法進一步分為離線階段和在線階 段。圖1所示為本發(fā)明一個實施例的非接觸式主動呼救方法的流程示意圖。
[0020] 更具體而言，本實施例的非接觸式主動呼救方法的離線階段進一步包括如下步 驟：
[0021] 步驟S10,獲取公開人臉庫或自建人臉庫。
[0022] 在一個實施例中，通過網(wǎng)絡獲取國內外公開的人臉庫（例如：FERET數(shù)據(jù)庫、CMU PIE數(shù)據(jù)庫、東方人臉數(shù)據(jù)庫等），從中選取至少90幅正面人臉并且包含多種面部表情的圖 像。在另一個實施例中，利用相機自行拍攝建立人臉庫，自建人臉庫的數(shù)據(jù)來源一般需要滿 足如下條件：拍攝人臉正面圖像，包含多種面部表情，光照充足并且臉部沒有反光、陰影，拍 攝對象不佩戴眼鏡和帽子，臉部在圖像畫面中占據(jù)的比例不小于1/3,頭部左右旋轉角度不 超過±20度，拍攝對象不少于30人，每人3種不同表情等。
[0023] 步驟S12,手動標記人臉庫中每幅圖像的面部特征點。
[0024] 圖2所示為本發(fā)明一個實施例的面部特征點示意圖，以下結合圖2對本發(fā)明進行 更詳細的說明。如圖2所示，在一個實施例中，對人臉庫中的每幅圖像都按照序號依次手動 標記出18個特征點并記錄下相應的二維坐標。具體地,鼻尖處標記1個特征點；左右眉毛 區(qū)域各標記3個特征點，分別位于眉毛的左右兩端及中間轉折點；左右眼睛區(qū)域各標記4個 特征點，分別位于眼睛的左右眼角及上下眼皮的中點；上嘴唇區(qū)域標記3個特征點，分別位 于嘴唇的左右嘴角及上嘴唇的中點；最后得到的特征點數(shù)據(jù)是一個2m*n大小的矩陣，存儲 的是人臉庫里每一幅圖像中18個特征點的X和y坐標值，其中m= 18, n等于人臉庫中圖 像的總數(shù)。例如：第1個列向量依次存儲第1幅圖像中第1個特征點的X和y坐標值，第2 個特征點的X和y坐標值，......，以此類推。
[0025] 步驟S14,建立面部表情模型。
[0026] 在本發(fā)明的一個實施例中，建立面部表情模型分為建立面部形狀模型和建立面部 紋理模型兩個步驟。
[0027] 具體而言，建立面部形狀模型進一步包括如下步驟：
[0028] A.利用主成分分析方法對前述步驟中獲得的特征點數(shù)據(jù)進行降維處理，剔除其中 的冗余信息，保留主要成分，從而得到一個2m*k大小的矩陣作為面部特征點的基礎形狀數(shù) 據(jù)，其中k〈n ;
[0029] B.把面部特征點的基礎形狀數(shù)據(jù)映射到一個線性子空間，剔除那些會產(chǎn)生明顯畸 變的形狀，得到一個大小為k*n的子空間坐標矩陣Q ;對矩陣Q中的每一列元素都除以相應 列的第1個元素值，進行歸一化處理，去除比例造成的影響；將矩陣Q中的每一個元素都進 行平方運算，然后按行求平均值，得到一個k*l大小的列向量e，存儲為坐標方差；由于前四 個基礎形狀都位于剛性子空間中，所以將e的前4個向量都賦值為-1 ;
[0030] C.存儲上述數(shù)據(jù)為面部形狀模型文件。
[0031] 具體而言，建立面部紋理模型進一步包括如下步驟：
[0032] A.分別計算出基礎形狀數(shù)據(jù)矩陣的第1列向量的最大值和最小值，然后用100除 以最大值和最小值的差值作為比例因子；
[0033] B.將基礎形狀數(shù)據(jù)矩陣的第1個列向量乘以比例因子，得到一個大小為2m*l的列 向量，作為參考形狀向量。該向量的第1和第2個值分別表示參考形狀的第1個特征點的 X和y坐標值，第3和第4個值分別表示參考形狀的第2個特征點的X和y坐標值，……， 以此類推；
[0034] C.對人臉庫中的每一幅圖像，分別計算參考形狀與步驟二中手動標記的特征點數(shù) 據(jù)的相似度，通過仿射變換使得參考形狀最佳匹配到人臉圖像上；
[0035] D.以匹配后的形狀特征點為坐標中心各自選取一個11*11大小的矩形區(qū)域，然后 對人臉庫中的每一幅圖像用互相關方法進行模板匹配，通過訓練得到18個面片模型矩陣， 每一個面片大小都是11*11 ;
[0036] E.保存參考形狀向量和面片模型矩陣為面部紋理模型文件。
[0037] 請再回到圖1，如圖所示，在本發(fā)明一個實施例的非接觸式主動呼救方法的在線階 段的進一步包括如下步驟：
[0038] 步驟S30,在病床正上方或斜上方屋頂處安裝一部攝像機，并確保相機鏡頭對著臥 床病人的頭部。
[0039] 更詳細而言，攝像機的作用是實時捕捉病人臉部正面的視頻圖像，所以在安裝攝 像機的時候要注意調整角度，并且注意臉部不要受到強光或陰影的干擾。普通網(wǎng)絡攝像頭 即可滿足本示例的功能需求，在特定應用場景下可以選用具有CCD或CMOS成像傳感器的相 機，來提高成像質量或成像速度。攝像機安裝好后通過USB線或網(wǎng)線（具體取決于相機的 接口類型）連接到PC主機上。
[0040] 步驟S31，利用攝像機采集一幀圖像。
[0041] 步驟S32,從視頻圖像中檢測人臉，并提取出相應區(qū)域。
[0042] 更詳細而言，先對人臉圖像進行直方圖均衡處理，去除亮度和對比度的影響，然后 采用Haar Cascade級聯(lián)分類器對人臉庫中的每一幅圖像分別進行人臉檢測，并保存檢測到 的人臉矩形區(qū)域的左上角和右下角坐標。
[0043] 步驟S33,利用前述離線階段建立的面部表情模型去動態(tài)匹配上一步驟中檢測到 的人臉。
[0044] 更詳細而言，先用面部表情模型中的形狀模型在人臉圖像中找到如圖2所示的18 個特征點的初步位置，然后用面部表情模型中的紋理模型去匹配人臉圖像中18個特征點 各自所在的區(qū)域，最后使用互相關方法找到頻率響應最大的位置點。
[0045] 步驟S34,獲取面部特征點的坐標。
[0046] 更詳細而言，記錄頻率響應最大的位置點的坐標，作為視頻圖像中人臉的特征點 坐標。
[0047] 步驟S35,判斷是否是新患者，如果是則執(zhí)行步驟S36,否則執(zhí)行步驟S37 ;
[0048] 步驟S36,采集一幀患者的正常表情圖像，計算面部動作單元的運動模式數(shù)據(jù)并存 儲為基準表情，隨后返回步驟S31 ;
[0049] 更詳細而言，痛苦表情主要通過眉毛下降、閉眼、上嘴唇上拉這三個面部動作來表 現(xiàn)，在具體測量的時候，選取鼻尖作為參考點，分別計算左右眉毛質心相對于鼻尖的位置、 左右眼睛區(qū)域面積大小，以及上嘴唇質心相對于鼻尖的位置。由于人在做表情的時候，鼻尖 相對于其它部位基本保持靜止，所以可以作為參考點。
[0050] 以左眉毛為例，其質心的計算公式：

【權利要求】
1. 一種非接觸式主動呼救方法，其特征在于，所述非接觸式主動呼叫方法至少包括離 線階段和在線兩個階段。
2. 根據(jù)權利要求1所述的非接觸式主動呼救方法，其特征在于，所述離線階段進一步 包括如下步驟： 步驟一、獲取公開人臉庫或自建人臉庫； 步驟二、手動標記人臉庫中每幅圖像的面部特征點； 步驟三、建立面部表情模型。
3. 根據(jù)權利要求2所述的非接觸式主動呼救方法，其特征在于，所述步驟一中，所述公 開人臉庫可以通過網(wǎng)絡獲取，且選取至少90幅正面人臉并且包含多種面部表情的圖像。
4. 根據(jù)權利要求2所述的非接觸式主動呼救方法，其特征在于，所述步驟二中，所述面 部特征點至少包括： 鼻尖處1個特征點； 左右眉毛區(qū)域各3個特征點，分別位于眉毛的左右兩端及中間轉折點； 左右眼睛區(qū)域各4個特征點，分別位于眼睛的左右眼角及上下眼皮的中點； 上嘴唇區(qū)域3個特征點，分別位于嘴唇的左右嘴角及上嘴唇的中點。
5. 根據(jù)權利要求2所述的非接觸式主動呼救方法，其特征在于，所述步驟三中，建立面 部表情模型進一步包括如下步驟： 建立面部形狀模型； 建立面部紋理模型。
6. 根據(jù)權利要求5所述的非接觸式主動呼救方法，其特征在于，所述建立面部形狀模 型的步驟進一步包括： 利用主成分分析方法對特征點數(shù)據(jù)進行降維處理，剔除其中的冗余信息，保留主要成 分，存儲作為面部特征點的基礎形狀數(shù)據(jù)； 把面部特征點的基礎形狀數(shù)據(jù)映射到一個線性子空間，剔除其中的會產(chǎn)生明顯畸變的 形狀，得到一個子空間坐標矩陣； 對子空間坐標矩陣中的每一列元素都除以相應列的第1個元素值，進行歸一化處理； 對子空間坐標矩陣中的每一個元素都進行平方運算，然后按行求平均值，存儲為坐標 方差矩陣； 將坐標方差矩陣的前4個向量都賦值為-1 ; 存儲上述數(shù)據(jù)為面部形狀模型文件。
7. 根據(jù)權利要求5所述的非接觸式主動呼救方法，其特征在于，所述建立面部紋理模 型的步驟進一步包括： 分別計算出基礎形狀數(shù)據(jù)矩陣的第1列向量的最大值和最小值，然后用100除以最大 值和最小值的差值作為比例因子； 將基礎形狀數(shù)據(jù)矩陣的第1個列向量乘以比例因子，作為參考形狀向量； 對人臉庫中的每一幅圖像，分別計算參考形狀與特征點數(shù)據(jù)的相似度，通過仿射變換 使得參考形狀最佳匹配到人臉圖像上； 以匹配后的形狀特征點為坐標中心各自選取一個11*11大小的矩形區(qū)域，然后對人臉 庫中的每一幅圖像用互相關方法進行模板匹配，通過訓練得到18個面片模型矩陣，每一個 面片大小都是11*11; 保存參考形狀向量和面片模型矩陣為面部紋理模型文件。
8. 根據(jù)權利要求1所述的非接觸式主動呼救方法，其特征在于，所述在線階段進一步 包括如下步驟： 步驟一、在病床正上方或斜上方屋頂處安裝一部攝像機，確保相機鏡頭對著臥床病人 的頭部； 步驟二、利用攝像機采集一幀圖像； 步驟三、從視頻圖像中檢測人臉，并提取出相應區(qū)域； 步驟四、利用離線階段建立的面部表情模型去動態(tài)匹配上一步驟中檢測到的人臉； 步驟五、獲取面部特征點的坐標； 步驟六、判斷是否是新患者，如果是則執(zhí)行步驟七，否則執(zhí)行步驟八； 步驟七、采集一幀患者的正常表情圖像，計算面部動作單元的運動模式數(shù)據(jù)并存儲為 基準表情，返回步驟二； 步驟八、采集一幀患者的面部表情圖像，分析計算患者的痛苦表情涉及到的相關面部 動作單元的運動模式數(shù)據(jù)； 步驟九、根據(jù)患者的面部表情分析其病痛程度，并判斷是否需要呼救，如果是則執(zhí)行步 驟十，否則返回步驟二； 步驟十、向值班室或監(jiān)護人發(fā)出呼救報警信號，返回步驟二。
9. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，在所述步驟一中，攝像 頭為普通網(wǎng)絡攝像頭或者具有C⑶或CMOS成像傳感器的相機。
10. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，所述步驟三進一步包 括如下： 對人臉圖像進行直方圖均衡處理，去除亮度和對比度的影響； 采用Haar Cascade級聯(lián)分類器對人臉庫中的每一幅圖像分別進行人臉檢測； 保存檢測到的人臉矩形區(qū)域的左上角和右下角坐標。
11. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，所述步驟四進一步包 括如下： 用面部表情模型中的形狀模型在人臉圖像中找到特征點的初步位置； 用面部表情模型中的紋理模型去匹配人臉圖像中特征點各自所在的區(qū)域； 使用互相關方法找到頻率響應最大的位置點。
12. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，在所述步驟五中，面 部特征點的坐標由頻率響應最大的位置點來確定。
13. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，在所述步驟七中，基 準表情的測量選取鼻尖作為參考點，分別計算左右眉毛質心相對于鼻尖的位置、左右眼睛 區(qū)域面積大小，以及上嘴唇質心相對于鼻尖的位置。
14. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，在所述步驟七中，眼 睛區(qū)域近似為橢圓形，然后運用橢圓面積公式來計算眼睛區(qū)域的面積大小。
15. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，在所述步驟八中，當 眉毛下降、閉眼、上嘴唇上拉這三個面部動作在一個給定的時間間隔內依次或同時發(fā)生，并 超過設定的閾值時認為患者流露出痛苦表情。
16. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，在所述步驟九中，可 以根據(jù)眉毛下降、閉眼、上嘴唇上拉這三個面部動作的運動幅度來設定患者的病痛程度。
17. 根據(jù)權利要求8所述的非接觸式主動呼救方法，其特征在于，在所述步驟十中，當 滿足以下任一條件之一時，判定患者處于危險狀況并自動發(fā)出報警信號： 當患者露出輕微疼痛表情，并且持續(xù)時間超過5秒或在60秒內累計出現(xiàn)3次； 當患者露出中度疼痛表情，并且在30秒內累計出現(xiàn)2次； 當患者露出嚴重疼痛表情，并且持續(xù)2秒以上。
【文檔編號】G08B21/02GK104331685SQ201410557639
【公開日】2015年2月4日 申請日期:2014年10月20日 優(yōu)先權日:2014年10月20日
【發(fā)明者】黎明 申請人:上海電機學院