基于面部特征識別的動態(tài)人機接口系統(tǒng)及其人機通訊方法
【專利摘要】本發(fā)明屬于儀控系統(tǒng)的人機接口【技術領域】，涉及一種基于面部特征識別的動態(tài)人機接口系統(tǒng)及其人機通訊方法，靜態(tài)人機接口系統(tǒng)、攝像頭、報警器、控制開關分別和所述操作人員工作狀態(tài)檢測模塊連接；攝像頭獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的圖像傳輸至操作人員工作狀態(tài)檢測模塊；操作人員工作狀態(tài)檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態(tài)不良，則向靜態(tài)人機接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時向報警器發(fā)送報警信號；控制開關由操作人員控制，決定是否允許發(fā)送降低操作人員操作可信度信號和報警信號。本發(fā)明采用圖像識別的方法動態(tài)檢測操作員的實時工作狀態(tài)，具有不易被被測個體察覺及方便實施等優(yōu)點。
【專利說明】基于面部特征識別的動態(tài)人機接口系統(tǒng)及其人機通訊方法
【技術領域】
[0001]本發(fā)明屬于火電等行業(yè)儀控系統(tǒng)的人機接口【技術領域】，具體涉及一種基于面部特征識別的動態(tài)人機接口系統(tǒng)及其人機通訊方法。
【背景技術】
[0002]火電等行業(yè)的儀控系統(tǒng)要求具備很高的可靠性，人機接口部分是其中最薄弱的一個環(huán)節(jié)?；痣姍C組運行過程中的一個小的故障，如果由于人因失效(主要由操作員工作狀態(tài)差導致)而進行誤操作，則可能對火電機組的安全運行造成大的影響。根據(jù)統(tǒng)計，人因失效所引發(fā)的各種事故和安全事件，占到事故和安全事件總數(shù)的50%以上。
[0003]火電廠的儀控系統(tǒng)中，采用各種各樣的內建測試(Built-1n-Test)來對自身的運行狀態(tài)進行監(jiān)測，從而在系統(tǒng)出現(xiàn)故障的情況下及時地采取相應措施，避免對火電廠的安全運行造成影響。而作為儀控系統(tǒng)操作核心的操作員，卻沒有相應的措施來對其工作狀態(tài)進行實時監(jiān)測，不能在其狀態(tài)出現(xiàn)異常時及時發(fā)現(xiàn)，從而成為火電事故的一種隱患。
[0004]為了提高火電儀控系統(tǒng)人機接口部分的可靠性，人們已有通過多種途徑對人機接口部分的人因可靠性因素進行分析及改進。但是已有的人因可靠性分析主要通過統(tǒng)計學或建立數(shù)學模型的方法，基于操作員整體平均特征的統(tǒng)計數(shù)據(jù)進行設計，它忽略了不同操作員個體之間的差異及操作員在不同時間所出現(xiàn)的動態(tài)的特征。因此，現(xiàn)有的人機接口系統(tǒng)只是一種具有固定模式的系統(tǒng)，無法實現(xiàn)類似于儀控系統(tǒng)的內建自測的功能。不能在操作員所處的環(huán)境或自身的狀態(tài)發(fā)生變化時，對其進行實時的檢測。比如操縱員在上夜班的時候容易犯困，導致思維能力下降、反應遲鈍、漏看錯看信息的情況增多，此時的操作具有極低的可信度。如果不能及時發(fā)現(xiàn)制止，則可能對火電的安全運行造成大的影響。但是現(xiàn)有的人機接口系統(tǒng)并沒有對這一關鍵的方面予以考慮。
[0005]已有的人機接口系統(tǒng)只能考慮到操作員靜態(tài)的整體特征和狀態(tài)，無法考慮到操作員在不同時候會有不同特征及狀態(tài)的動態(tài)因素，因此已有的人機接口系統(tǒng)為靜態(tài)人機接口系統(tǒng)。

【發(fā)明內容】

[0006]本發(fā)明要解決的技術問題是提供一種可動態(tài)地檢測操作人員的實時工作狀態(tài)，避免操作員由于工作狀態(tài)不佳而誤操作所引發(fā)事故的基于面部特征識別的動態(tài)人機接口系統(tǒng)及其人機通訊方法。
[0007]為到達上述目的，本發(fā)明采用的技術方案是:一種基于面部特征識別的動態(tài)人機接口系統(tǒng)，包括靜態(tài)人機接口系統(tǒng)，其特征在于:還包括攝像頭、報警器、控制開關和操作人員工作狀態(tài)檢測模塊，所述靜態(tài)人機接口系統(tǒng)、攝像頭、報警器、控制開關分別和所述操作人員工作狀態(tài)檢測模塊連接；所述攝像頭獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的圖像傳輸至所述操作人員工作狀態(tài)檢測模塊；所述操作人員工作狀態(tài)檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態(tài)不良，則向所述靜態(tài)人機接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時向所述報警器發(fā)送報警信號；所述控制開關由操作人員控制，決定是否允許所述操作人員工作狀態(tài)檢測模塊發(fā)送降低操作人員操作可信度信號和
報警信號。
[0008]上述基于面部特征識別的動態(tài)人機接口系統(tǒng)的人機通訊方法，其特征在于:包括以下步驟，
(1)攝像頭獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的圖像傳輸至操作人員工作狀態(tài)檢測模塊；
(2)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟(I)所發(fā)送過來的圖像中是否包含人臉，如檢測到人臉，則轉步驟(3)，未檢測到人臉，則重復本步驟；
(3)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟(2)中檢測到的人臉區(qū)域是否有處于睜開狀態(tài)的人眼，如檢測到睜開狀態(tài)的人眼，則將操作無效計時清零，轉步驟(2)，如未檢測到睜開狀態(tài)的人眼，則操作人員工作狀態(tài)檢測模塊開始操作無效計時，并轉步驟(4)；
(4)如操作無效計時超過設定時間閾值，轉步驟(5),如操作無效計時未超過設定時間閾值，則轉步驟⑶；
(5)操作人員工作狀態(tài)檢測模塊檢測控制開關的狀態(tài)，如控制開關禁止報警，則將操作無效計時清零，轉步驟(2)，如控制開關允許報警，則操作人員工作狀態(tài)檢測模塊向靜態(tài)人機接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時向報警器發(fā)送報警信號，報警器發(fā)出
聲光報警。
[0009]本發(fā)明的積極效果是:采用圖像識別的方法動態(tài)檢測識別儀控系統(tǒng)操作人員的實時工作狀態(tài)，具有不易被被測個體察覺及方便實施等優(yōu)點，避免采用腦電、心電等的接觸式測量方式令人反感的不足，且不會受到監(jiān)測儀器的限制，適用于火電、化工、航空航天等高可靠性領域的儀控系統(tǒng)中，具有良好的應用前景。
【專利附圖】

【附圖說明】
[0010]圖1是基于面部特征識別的動態(tài)人機接口系統(tǒng)結構示意圖；
圖2是本發(fā)明的人機通訊方法流程示意圖；
圖3(a)和圖3(b)是本發(fā)明的動態(tài)人機接口系統(tǒng)對于操作人員工作狀態(tài)檢測效果圖?！揪唧w實施方式】
[0011]以下結合附圖對本發(fā)明的實施例作進一步詳細描述，但本實施例并不用于限制本發(fā)明，凡是采用本發(fā)明的相似結構及其相似變化，均應列入本發(fā)明的保護范圍。
[0012]操作人員眼睛的生理特征是操作人員在工作狀態(tài)的直觀反映，比如操作人員疲勞時會較長時間地閉合雙眼，而操作人員工作狀態(tài)良好時，則雙眼很有精神。因此，本發(fā)明采用對人臉和眼睛生理特征的檢測來判斷操作員工作狀態(tài)，獲得其操作的可信度，并反饋至靜態(tài)人機接口系統(tǒng)，避免操作人員工作狀態(tài)差導致的誤操作。對于眼睛的檢測主要檢測其處于睜開狀態(tài)的眼睛。如果檢測到睜開的人眼，則說明操作人員工作狀態(tài)良好，此時其操作的可信度高；如果檢測不到操作人員處于睜開狀態(tài)的眼睛，那么認為操作員的眼睛處于閉合狀態(tài)。此時間超過某一閾值，那么認為操作員工作狀態(tài)不佳，從而降低其操作的可信度。
[0013]基于上述原理，如圖1所示，本發(fā)明基于面部特征識別的動態(tài)人機接口系統(tǒng)包括靜態(tài)人機接口系統(tǒng)，其特征在于:還包括攝像頭、報警器、控制開關和操作人員工作狀態(tài)檢測模塊，所述靜態(tài)人機接口系統(tǒng)、攝像頭、報警器、控制開關分別和所述操作人員工作狀態(tài)檢測模塊連接；所述攝像頭獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的圖像傳輸至所述操作人員工作狀態(tài)檢測模塊；所述操作人員工作狀態(tài)檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態(tài)不良，則向所述靜態(tài)人機接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時向所述報警器發(fā)送報警信號；所述控制開關由操作人員控制，決定是否允許所述操作人員工作狀態(tài)檢測模塊發(fā)送降低操作人員操作可信度信號和報警信號。
[0014]基于面部特征識別的動態(tài)人機接口系統(tǒng)的人機通訊方法如圖2所示，包括以下步驟:
(1)攝像頭獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的圖像傳輸至操作人員工作狀態(tài)檢測模塊；
(2)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟(1)所發(fā)送過來的圖像中是否包含人臉，如檢測到人臉，則轉步驟(3)，未檢測到人臉，則重復本步驟；
(3)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟(2)中檢測到的人臉區(qū)域是否有處于睜開狀態(tài)的人眼，如檢測到睜開狀態(tài)的人眼，則將操作無效計時清零，轉步驟(2)，如未檢測到睜開狀態(tài)的人眼，則操作人員工作狀態(tài)檢測模塊開始操作無效計時，并轉步驟(4)；
(4)如操作無效計時超過設定時間閾值，轉步驟(5),如操作無效計時未超過設定時間閾值，則轉步驟⑶；
(5)操作人員工作狀態(tài)檢測模塊檢測控制開關的狀態(tài)，如控制開關禁止報警，則將操作無效計時清零，轉步驟(2)，如控制開關允許報警，則操作人員工作狀態(tài)檢測模塊向靜態(tài)人機接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時向報警器發(fā)送報警信號，報警器發(fā)出
聲光報警。
[0015]采用本發(fā)明的系統(tǒng)和方法檢測操作人員的工作狀態(tài)效果如圖3(a)和圖3(b)所/In?圖中大圈為動態(tài)人機接口系統(tǒng)檢測到的人臉區(qū)域，大圈中的小圈為動態(tài)人機接口系統(tǒng)檢測到的處于睜開狀態(tài)的眼睛的區(qū)域。圖3(a)顯示操作員工作狀態(tài)良好時的檢測效果圖，此時，動態(tài)人機接口系統(tǒng)既能檢測到人臉也能檢測到處于睜開狀態(tài)的人眼，系統(tǒng)認為此時的操作具有高的可信度；圖3(b)顯示當操作員工作狀態(tài)差等因素導致眼睛閉合，此時動態(tài)人機接口系統(tǒng)只能檢測到人臉而檢測不到處于睜開狀態(tài)的人眼，當檢測不到睜開狀態(tài)的人眼達到一定時間閾值時，系統(tǒng)認為此時的操作人員工作狀態(tài)不佳，其操作具有低的可信度，因此發(fā)出降低操作人員的操作可信度信號，此時儀控系統(tǒng)需要結合其它信息決定是否接受操作員輸入的操作指令，并對外界發(fā)出報警信號。
[0016]本發(fā)明的動態(tài)人機接口系統(tǒng)和人機通訊方法中包含操作人員的反饋機制。儀控系統(tǒng)由于某種原因計劃不采用動態(tài)人機接口系統(tǒng)，則操作人員可以將控制開關置于禁止報警狀態(tài)。此時，即使動態(tài)人機接口系統(tǒng)在人臉區(qū)域檢測不到人眼超過閾值，也不報警。因為儀控系統(tǒng)此時已經(jīng)將動態(tài)人機接口系統(tǒng)芳路。。
[0017]本發(fā)明的動態(tài)人機接口系統(tǒng)和人機通訊方法中先檢測人臉，然后在人臉范圍內檢測人眼的方法來確定操作人員工作狀態(tài)是否正常，具有檢測人臉和檢測人眼兩個環(huán)節(jié)，且系統(tǒng)在判定操作人員工作狀態(tài)不佳后，還設計了操作人員的反饋機制來決定是否是動態(tài)人機接口系統(tǒng)檢測有誤，因此偏向于保守，寧拒動、不誤動。如果采用只檢測眼睛的方法來判斷操作員工作狀態(tài)是否正常，則只有檢測人眼一個環(huán)節(jié)，其誤動的可能性較大。
[0018]操作人員工作狀態(tài)檢測模塊連續(xù)檢測人臉和人眼可以采用Viola-Jones算法。
[0019]在本系統(tǒng)中，攝像頭主要用于持續(xù)獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的實時動態(tài)圖像傳輸至操作人員工作狀態(tài)檢測模塊；報警器主要用于接受操作人員工作狀態(tài)檢測模塊發(fā)送過來的報警信號，并發(fā)出聲光報警信號；當靜態(tài)人機接口系統(tǒng)接收到降低操作人員操作可信度信號時，禁止操作人員對儀控系統(tǒng)的操作指令或降低其操作的可信度。
【權利要求】
1.基于面部特征識別的動態(tài)人機接口系統(tǒng)，包括靜態(tài)人機接口系統(tǒng)，其特征在于:還包括攝像頭、報警器、控制開關和操作人員工作狀態(tài)檢測模塊，所述靜態(tài)人機接口系統(tǒng)、攝像頭、報警器、控制開關分別和所述操作人員工作狀態(tài)檢測模塊連接；所述攝像頭獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的圖像傳輸至所述操作人員工作狀態(tài)檢測模塊；所述操作人員工作狀態(tài)檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態(tài)不良，則向所述靜態(tài)人機接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時向所述報警器發(fā)送報警信號；所述控制開關由操作人員控制，決定是否允許所述操作人員工作狀態(tài)檢測模塊發(fā)送降低操作人員操作可信度信號和報警信號。
2.權利要求1所述基于面部特征識別的動態(tài)人機接口系統(tǒng)的人機通訊方法，其特征在于:包括以下步驟， (1)攝像頭獲取儀控系統(tǒng)操作區(qū)域內的實時動態(tài)圖像，并將獲取的圖像傳輸至操作人員工作狀態(tài)檢測模塊； (2)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟(I)所發(fā)送過來的圖像中是否包含人臉，如檢測到人臉，則轉步驟(3)，未檢測到人臉，則重復本步驟； (3)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟(2)中檢測到的人臉區(qū)域是否有處于睜開狀態(tài)的人眼，如檢測到睜開狀態(tài)的人眼，則將操作無效計時清零，轉步驟(2)，如未檢測到睜開狀態(tài)的人眼，則操作人員工作狀態(tài)檢測模塊開始操作無效計時，并轉步驟(4)； (4)如操作無效計時超過設定時間閾值，轉步驟(5),如操作無效計時未超過設定時間閾值，則轉步驟⑶； (5)操作人員工作狀態(tài)檢測模塊檢測控制開關的狀態(tài)，如控制開關禁止報警，則將操作無效計時清零，轉步驟(2)，如控制開關允許報警，則操作人員工作狀態(tài)檢測模塊向靜態(tài)人機接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時向報警器發(fā)送報警信號，報警器發(fā)出聲光報警。
【文檔編號】G08B21/06GK103713727SQ201310695770
【公開日】2014年4月9日 申請日期:2013年12月17日 優(yōu)先權日:2013年12月17日
【發(fā)明者】張堅, 何健 申請人:國核自儀系統(tǒng)工程有限公司