本發(fā)明涉及護(hù)理培訓(xùn)領(lǐng)域，具體是指基于深度學(xué)習(xí)的護(hù)理培訓(xùn)效果評估方法及系統(tǒng)。

背景技術(shù)：

1、隨著醫(yī)療事業(yè)的不斷發(fā)展，護(hù)理質(zhì)量成為醫(yī)療機(jī)構(gòu)關(guān)注的重要課題；護(hù)理培訓(xùn)是提高護(hù)理人員業(yè)務(wù)水平、保障患者安全的關(guān)鍵環(huán)節(jié)；然而，傳統(tǒng)的護(hù)理培訓(xùn)效果評估方法主要依賴于人工觀察和主觀評價(jià)，存在評估結(jié)果不準(zhǔn)確、效率低下等問題；因此，研究一種高效、準(zhǔn)確的護(hù)理培訓(xùn)效果評估方法及系統(tǒng)具有重要的現(xiàn)實(shí)意義；然而，現(xiàn)有的護(hù)理培訓(xùn)效果評估方法及系統(tǒng)，存在依賴于評估者的主觀判斷導(dǎo)致評估結(jié)果的不一致性和偏差問題，存在缺乏有效的量化評估指標(biāo)導(dǎo)致難以精準(zhǔn)衡量培訓(xùn)效果的問題。

技術(shù)實(shí)現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了基于深度學(xué)習(xí)的護(hù)理培訓(xùn)效果評估方法及系統(tǒng)，針對依賴于評估者的主觀判斷導(dǎo)致評估結(jié)果的不一致性和偏差的問題，本發(fā)明構(gòu)建基于深度學(xué)習(xí)的課堂內(nèi)容分析模型，融合多種深度學(xué)習(xí)算法并利用多任務(wù)學(xué)習(xí)技術(shù)實(shí)現(xiàn)對教師及學(xué)生的行為和表情識別，并根據(jù)識別結(jié)果計(jì)算專注度得分，從而進(jìn)一步對護(hù)理培訓(xùn)效果進(jìn)行客觀、全面的評估；針對缺乏有效的量化評估指標(biāo)導(dǎo)致難以精準(zhǔn)衡量培訓(xùn)效果的問題，本發(fā)明采用層次分析法對護(hù)理培訓(xùn)效果進(jìn)行綜合評估，通過構(gòu)建多層次、多維度的層次結(jié)構(gòu)模型，并利用課堂內(nèi)容分析模型的分析結(jié)果對層次結(jié)構(gòu)模型中的因素進(jìn)行量化評估，最終通過計(jì)算得出護(hù)理培訓(xùn)效果的總評分，從而實(shí)現(xiàn)了一個(gè)系統(tǒng)化、多維度評估護(hù)理培訓(xùn)效果的方法。

2、本發(fā)明采取的技術(shù)方案如下：本發(fā)明提供了基于深度學(xué)習(xí)的護(hù)理培訓(xùn)效果評估方法，具體的步驟如下：

3、步驟s1：采集護(hù)理培訓(xùn)視頻：通過攝像頭拍攝護(hù)理培訓(xùn)視頻，包括面向教師的講課視頻以及面向?qū)W生的聽課視頻；

4、步驟s2：構(gòu)建課堂內(nèi)容分析模型：提取護(hù)理培訓(xùn)視頻中人物的動(dòng)作特征和表情特征并進(jìn)行特征融合，通過多任務(wù)學(xué)習(xí)分別得到行為識別結(jié)果和表情識別結(jié)果，根據(jù)行為識別結(jié)果和表情識別結(jié)果計(jì)算專注度得分；

5、步驟s3：分別利用講課視頻和聽課視頻對課堂內(nèi)容分析模型進(jìn)行訓(xùn)練，得到教師分析模型和學(xué)生分析模型；

6、步驟s4：使用層次分析法對護(hù)理培訓(xùn)效果進(jìn)行綜合評估：構(gòu)建以護(hù)理培訓(xùn)效果評估為目標(biāo)的層次結(jié)構(gòu)模型，并利用教師分析模型和學(xué)生分析模型對層次結(jié)構(gòu)模型中的因素進(jìn)行打分，得到護(hù)理培訓(xùn)效果評估結(jié)果。

7、進(jìn)一步地，所述步驟s2具體包括：

8、步驟s21：使用openface模型對護(hù)理培訓(xùn)視頻進(jìn)行面部動(dòng)作識別，得到openface識別結(jié)果，構(gòu)建openface識別結(jié)果的嵌入向量，得到面部動(dòng)作特征，openface識別結(jié)果具體包括頭部姿態(tài)、面部特征點(diǎn)、動(dòng)作單元和注視方向；

9、步驟s22：將護(hù)理培訓(xùn)視頻進(jìn)行灰度化處理，使用cnn模型提取護(hù)理培訓(xùn)視頻的圖像特征，cnn模型具體包括兩個(gè)相連的卷積模塊，所述卷積模塊具體包括依次單向連接的兩個(gè)第一卷積模塊和兩個(gè)第二卷積模塊，所述第一卷積模塊具體包括依次單向連接的一個(gè)卷積單元和一個(gè)最大池化層，所述第二卷積模塊具體包括依次單向連接的兩個(gè)卷積單元和一個(gè)最大池化層，所述卷積單元包括依次單向連接的一個(gè)3×3卷積核和一個(gè)relu激活函數(shù)，灰度化處理公式如下所述：

10、;

11、其中，表示護(hù)理培訓(xùn)視頻的圖像的第行第列的像素，表示灰度值，、、分別表示護(hù)理培訓(xùn)視頻的圖像的r、g、b通道的像素值；

12、步驟s23：將面部動(dòng)作特征與圖像特征通過交叉注意力融合算法進(jìn)行特征融合：所述交叉注意力融合算法構(gòu)建面部動(dòng)作特征查詢向量、面部動(dòng)作特征鍵向量和面部動(dòng)作特征值向量，構(gòu)建圖像特征查詢向量、圖像特征鍵向量和圖像特征值向量，計(jì)算面部動(dòng)作特征查詢向量、圖像特征鍵向量和圖像特征值向量的第一注意力值，計(jì)算圖像特征查詢向量、面部動(dòng)作特征鍵向量和面部動(dòng)作特征值向量的第二注意力值，將第一注意力值與第二注意力值進(jìn)行拼接，得到動(dòng)作融合特征，該過程的公式具體如下所述：

13、;

14、其中，表示第一注意力值，表示softmax函數(shù)，表示面部動(dòng)作特征查詢向量，表示圖像特征鍵向量，表示圖像特征值向量，表示維度；

15、;

16、其中，表示第二注意力值，表示圖像特征特征查詢向量，表示面部動(dòng)作特征鍵向量，表示面部動(dòng)作特征值向量；

17、;

18、其中，表示動(dòng)作融合特征，表示拼接操作；

19、步驟s24：對護(hù)理培訓(xùn)視頻進(jìn)行人臉檢測，得到人臉圖像，對人臉圖像進(jìn)行灰度化處理后投入resnet50模型中，得到面部表情特征；

20、步驟s25：將動(dòng)作融合特征和面部表情特征進(jìn)行拼接，得到總體特征；

21、步驟s26：利用第一注意力模塊對總體特征進(jìn)行行為識別任務(wù)學(xué)習(xí)：第一注意力模塊首先計(jì)算總體特征的第一注意力得分，然后通過softmax函數(shù)得到行為識別結(jié)果，該過程的計(jì)算公式具體如下所述：

22、;

23、其中，表示第一注意力得分，表示relu激活函數(shù)，和都為可學(xué)習(xí)的參數(shù)；

24、;

25、其中，表示行為識別結(jié)果，為可學(xué)習(xí)的參數(shù)；

26、步驟s27：利用第二注意力模塊對總體特征進(jìn)行表情識別任務(wù)學(xué)習(xí)：第二注意力模塊首先計(jì)算總體特征的第二注意力得分，然后通過softmax函數(shù)得到表情識別結(jié)果，該過程的計(jì)算公式具體如下所述：

27、;

28、其中，表示第二注意力得分，和都為可學(xué)習(xí)的參數(shù)；

29、;

30、其中，表示表情識別結(jié)果，為可學(xué)習(xí)的參數(shù)；

31、步驟s28：計(jì)算總損失：通過交叉熵?fù)p失函數(shù)分別計(jì)算行為識別損失和表情識別損失，將行為識別損失和表情識別損失進(jìn)行求和平均后得到總損失，該過程的計(jì)算公式具體如下所述：

32、;

33、;

34、其中，和分別表示單個(gè)樣本的行為識別損失和表情識別損失，表示行為類別索引，和分別表示該樣本行為真實(shí)類別和表情真實(shí)類別，和分別表示該樣本在第個(gè)類別的行為識別結(jié)果和表情識別結(jié)果；

35、;

36、其中，表示總損失；

37、步驟s29：計(jì)算專注度得分：定義行為專注度評價(jià)矩陣和表情專注度評價(jià)矩陣，定義行為權(quán)重和表情權(quán)重，專注度得分=行為權(quán)重×行為識別結(jié)果×行為專注度評價(jià)矩陣+表情權(quán)重×表情識別結(jié)果×表情專注度評價(jià)矩陣。

38、進(jìn)一步地，步驟s3具體包括：

39、步驟s31：收集講課視頻作為第一數(shù)據(jù)集并對培訓(xùn)教師的行為和表情進(jìn)行標(biāo)注，利用標(biāo)注好的第一數(shù)據(jù)集對課堂內(nèi)容分析模型進(jìn)行訓(xùn)練，得到教師分析模型；

40、步驟s32：收集聽課視頻作為第二數(shù)據(jù)集并對學(xué)生的行為和表情進(jìn)行標(biāo)注，利用標(biāo)注好的第二數(shù)據(jù)集對課堂內(nèi)容分析模型進(jìn)行訓(xùn)練，得到學(xué)生分析模型。

41、進(jìn)一步地，步驟s4具體包括：

42、步驟s41：建立層次結(jié)構(gòu)模型：層次結(jié)構(gòu)模型包含目標(biāo)層、準(zhǔn)則層和方案層，目標(biāo)層包括護(hù)理培訓(xùn)效果評估，準(zhǔn)則層包括培訓(xùn)內(nèi)容、師生互動(dòng)、培訓(xùn)質(zhì)量和培訓(xùn)評價(jià)，所述培訓(xùn)內(nèi)容的方案層包括培訓(xùn)教師專注程度、培訓(xùn)教師積極程度和培訓(xùn)教師行為，所述師生互動(dòng)的方案層包括學(xué)生互動(dòng)程度，所述培訓(xùn)質(zhì)量的方案層包括學(xué)生行為、學(xué)生專注程度和學(xué)生積極程度，所述培訓(xùn)評價(jià)的方案層包括同行綜合評價(jià)和學(xué)生綜合評價(jià)；

43、步驟s42：構(gòu)造判斷矩陣：采用1-9標(biāo)度法分別對準(zhǔn)則層和方案層的同層因素進(jìn)行兩兩比較，得到判斷矩陣，對判斷矩陣進(jìn)行一致性檢驗(yàn)；

44、步驟s43：計(jì)算判斷矩陣權(quán)重向量；

45、步驟s45：利用教師分析模型對講課視頻進(jìn)行識別，得到教師行為識別結(jié)果、教師表情識別結(jié)果和教師專注度得分，定義教師行為評價(jià)矩陣和教師積極程度評價(jià)矩陣，進(jìn)一步對培訓(xùn)教師專注程度、培訓(xùn)教師積極程度和培訓(xùn)教師行為進(jìn)行打分，打分的公式具體如下所述：

46、培訓(xùn)教師積極程度的分?jǐn)?shù)的公式具體如下所述：

47、<msub><mi>a</mi><mi>teacher</mi></msub><mi>=</mi><msub><mi>w</mi><mi>ta</mi></msub><mi>×</mi><mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,t</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,t</mi></msub><mi>]</mi>;

48、其中，表示培訓(xùn)教師積極程度的分?jǐn)?shù)，表示教師積極程度評價(jià)矩陣，和分別表示教師行為識別結(jié)果和教師表情識別結(jié)果，<mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,t</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,t</mi></msub><mi>]</mi>表示將和進(jìn)行垂直拼接后的矩陣；

49、培訓(xùn)教師行為的分?jǐn)?shù)的公式具體如下所述：

50、;

51、其中，表示培訓(xùn)教師行為的分?jǐn)?shù)，表示教師行為評價(jià)矩陣；

52、培訓(xùn)教師專注程度的分?jǐn)?shù)的公式具體如下所述：

53、;

54、其中，表示培訓(xùn)教師專注程度的分?jǐn)?shù)，表示教師專注度得分；

55、步驟s46：利用學(xué)生分析模型對聽課視頻進(jìn)行識別，得到學(xué)生行為識別結(jié)果、學(xué)生表情識別結(jié)果和學(xué)生專注度得分，定義學(xué)生行為評價(jià)矩陣和學(xué)生積極程度評價(jià)矩陣，進(jìn)一步對學(xué)生專注程度、學(xué)生積極程度和學(xué)生行為進(jìn)行打分，打分的公式具體如下所述：

56、學(xué)生積極程度的分?jǐn)?shù)的公式具體如下所述：

57、<msub><mi>a</mi><mi>student</mi></msub><mi>=</mi><msub><mi>w</mi><mi>sa</mi></msub><mi>×</mi><mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,s</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,s</mi></msub><mi>]</mi>;

58、其中，表示學(xué)生積極程度的分?jǐn)?shù)，表示學(xué)生積極程度評價(jià)矩陣，和分別表示學(xué)生行為識別結(jié)果和學(xué)生表情識別結(jié)果，<mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,s</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,s</mi></msub><mi>]</mi>表示將和進(jìn)行垂直拼接后的矩陣；

59、學(xué)生行為的分?jǐn)?shù)的公式具體如下所述：

60、;

61、其中，表示學(xué)生行為的分?jǐn)?shù)，表示學(xué)生行為評價(jià)矩陣；

62、學(xué)生專注程度的分?jǐn)?shù)的公式具體如下所述：

63、;

64、其中，表示學(xué)生專注程度的分?jǐn)?shù)，表示學(xué)生專注度得分；

65、步驟s47：定義互動(dòng)行為評價(jià)矩陣，用互動(dòng)行為評價(jià)矩陣與學(xué)生行為識別結(jié)果進(jìn)行乘積得到學(xué)生互動(dòng)程度的得分；

66、步驟s48：通過調(diào)查問卷的形式得到同行綜合評價(jià)和學(xué)生綜合評價(jià)的得分；

67、步驟s49：將每個(gè)方案層的因素的得分與判斷矩陣權(quán)重向量進(jìn)行乘積并求和，得到護(hù)理培訓(xùn)效果評估的總評分。

68、本發(fā)明還提供了基于深度學(xué)習(xí)的護(hù)理培訓(xùn)效果評估系統(tǒng)，用于實(shí)現(xiàn)基于深度學(xué)習(xí)的護(hù)理培訓(xùn)效果評估方法，具體包括數(shù)據(jù)采集模塊、模型構(gòu)建模塊、模型訓(xùn)練模塊、層次分析模塊和用戶交互模塊：

69、所述數(shù)據(jù)采集模塊通過攝像頭采集護(hù)理培訓(xùn)課程的上課視頻，包括面向教師的講課視頻以及面向?qū)W生的聽課視頻；

70、所述模型構(gòu)建模塊構(gòu)建課堂內(nèi)容分析模型；

71、所述模型訓(xùn)練模塊對課堂內(nèi)容分析模型分別訓(xùn)練得到教師分析模型和學(xué)生分析模型；

72、所述層次分析模塊使用層次分析法結(jié)合教師分析模型和學(xué)生分析模型對護(hù)理培訓(xùn)效果進(jìn)行綜合評估，得到評估得分；

73、所述用戶交互模塊提供可交互的用戶界面，將評估得分以直方圖和餅狀圖的方式展現(xiàn)給用戶。

74、采用上述方案本發(fā)明取得的有益成果如下：

75、（1）針對依賴于評估者的主觀判斷導(dǎo)致評估結(jié)果的不一致性和偏差的問題，本發(fā)明構(gòu)建基于深度學(xué)習(xí)的課堂內(nèi)容分析模型，融合多種深度學(xué)習(xí)算法并利用多任務(wù)學(xué)習(xí)技術(shù)實(shí)現(xiàn)對教師及學(xué)生的行為和表情識別，并根據(jù)識別結(jié)果計(jì)算專注度得分，從而進(jìn)一步對護(hù)理培訓(xùn)效果進(jìn)行客觀、全面的評估。

76、（2）針對缺乏有效的量化評估指標(biāo)導(dǎo)致難以精準(zhǔn)衡量培訓(xùn)效果的問題，本發(fā)明采用層次分析法對護(hù)理培訓(xùn)效果進(jìn)行綜合評估，通過構(gòu)建多層次、多維度的層次結(jié)構(gòu)模型，并利用課堂內(nèi)容分析模型的分析結(jié)果對層次結(jié)構(gòu)模型中的因素進(jìn)行量化評估，最終通過計(jì)算得出護(hù)理培訓(xùn)效果的總評分，從而實(shí)現(xiàn)了一個(gè)系統(tǒng)化、多維度評估護(hù)理培訓(xùn)效果的方法。