本發(fā)明涉及數(shù)據(jù)處理，具體地，涉及一種基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)及方法。

背景技術(shù)：

1、腦卒中具有高致殘率、高致死率的特點(diǎn)。腦卒中篩查數(shù)據(jù)呈現(xiàn)高維及非平衡數(shù)據(jù)集特點(diǎn)，現(xiàn)有技術(shù)中，腦卒中的篩查主要依賴于專業(yè)醫(yī)療人員的檢查和臨床評(píng)分，其主要缺點(diǎn)如下：

2、1、依賴專業(yè)人員：需要專業(yè)醫(yī)療人員進(jìn)行評(píng)價(jià)，普通用戶難以自行完成篩查。

3、2、操作復(fù)雜：篩查步驟復(fù)雜，通常需要在醫(yī)療機(jī)構(gòu)進(jìn)行。

4、3、時(shí)間耗費(fèi)較長(zhǎng)：傳統(tǒng)方法要求專業(yè)醫(yī)療人員對(duì)病人逐個(gè)進(jìn)行nihss查體，對(duì)單一患者耗時(shí)約為10至15分鐘，極大占用專業(yè)醫(yī)療人員、耗費(fèi)醫(yī)療資源，難以快速篩查大量人群。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)及方法。

2、根據(jù)本發(fā)明提供的一種基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)，包括：

3、交互輸入單元，用于接收操作指令，實(shí)時(shí)采集并輸出患者數(shù)據(jù)；所述患者數(shù)據(jù)包括用戶交互數(shù)據(jù)和肢體運(yùn)動(dòng)數(shù)據(jù)；所述肢體運(yùn)動(dòng)數(shù)據(jù)包括視頻數(shù)據(jù)和相應(yīng)深度圖像數(shù)據(jù)；

4、計(jì)算單元，用于接收交互輸入單元采集的患者數(shù)據(jù)，計(jì)算得到時(shí)序運(yùn)動(dòng)特征；根據(jù)時(shí)序運(yùn)動(dòng)特征，輸出評(píng)估結(jié)果；

5、數(shù)據(jù)輸出單元，用于時(shí)序運(yùn)動(dòng)特征和評(píng)估結(jié)果的整合顯示。

6、優(yōu)選的，所述交互輸入單元包括屏幕交互模塊和計(jì)算機(jī)視覺輸入模塊；所述計(jì)算機(jī)視覺輸入模塊包括使用rgb-d相機(jī)采集肢體運(yùn)動(dòng)數(shù)據(jù)后輸出至實(shí)時(shí)展示模塊，作為計(jì)算單元的輸入以及腦卒中nihss肢體快速評(píng)分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲(chǔ)相應(yīng)數(shù)據(jù)。

7、優(yōu)選的，所述計(jì)算單元包括微型計(jì)算機(jī)和內(nèi)置處理算法；所述內(nèi)置處理算法包括時(shí)序三維人體姿態(tài)估計(jì)算法、從時(shí)序三維人體姿態(tài)中提取特征的算法和預(yù)處理時(shí)序特征的算法；

8、所述時(shí)序三維人體姿態(tài)估計(jì)算法包括從rgb或rgb-d圖像中提取人的骨架關(guān)鍵點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)；將視頻流中記錄的每一幀圖像的患者骨架連接處理；

9、所述從時(shí)序三維人體姿態(tài)中提取特征的算法包括從三維骨架中提取顯式特征；所述顯式特征包括上下肢關(guān)節(jié)角；

10、所述預(yù)處理時(shí)序特征的算法包括對(duì)特征序列進(jìn)行預(yù)處理；所述預(yù)處理包括降噪和差值重采樣。

11、優(yōu)選的，所述計(jì)算單元還包括人工智能評(píng)估模塊；所述人工智能評(píng)估模塊包括一個(gè)深度神經(jīng)網(wǎng)絡(luò)，將預(yù)處理后的時(shí)序特征作為輸入，輸出相應(yīng)評(píng)分。

12、優(yōu)選的，所述數(shù)據(jù)輸出單元包括：

13、數(shù)據(jù)整合模塊，用于將預(yù)處理后的時(shí)序運(yùn)動(dòng)特征與人工智能評(píng)估模塊輸出的評(píng)分結(jié)果進(jìn)行整合；將同一患者的歷次查體數(shù)據(jù)及相應(yīng)評(píng)估結(jié)果整合，繪制病歷曲線，并將時(shí)序特征作為參考信息輸出；

14、實(shí)時(shí)展示模塊，用于實(shí)時(shí)展示計(jì)算機(jī)視覺輸入模塊錄制的查體視頻和計(jì)算單元輸出的時(shí)序特征，在評(píng)估完成后展示評(píng)估分?jǐn)?shù)及相關(guān)依據(jù)。

15、根據(jù)本發(fā)明提供的一種基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估方法，包括：

16、步驟s1：令交互輸入單元接收操作指令，實(shí)時(shí)采集并輸出患者數(shù)據(jù)；

17、所述患者數(shù)據(jù)包括用戶交互數(shù)據(jù)和肢體運(yùn)動(dòng)數(shù)據(jù)；所述肢體運(yùn)動(dòng)數(shù)據(jù)包括視頻數(shù)據(jù)和相應(yīng)深度圖像數(shù)據(jù)；

18、步驟s2：令計(jì)算單元接收交互輸入單元采集的患者數(shù)據(jù)，計(jì)算得到時(shí)序運(yùn)動(dòng)特征；根據(jù)時(shí)序運(yùn)動(dòng)特征，輸出評(píng)估結(jié)果；

19、步驟s3：使用數(shù)據(jù)輸出單元整合顯示時(shí)序運(yùn)動(dòng)特征和評(píng)估結(jié)果。

20、優(yōu)選的，所述交互輸入單元包括屏幕交互模塊和計(jì)算機(jī)視覺輸入模塊；所述計(jì)算機(jī)視覺輸入模塊包括使用rgb-d相機(jī)采集肢體運(yùn)動(dòng)數(shù)據(jù)后輸出至實(shí)時(shí)展示模塊，作為計(jì)算單元的輸入以及腦卒中nihss肢體快速評(píng)分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲(chǔ)相應(yīng)數(shù)據(jù)。

21、優(yōu)選的，所述計(jì)算單元包括微型計(jì)算機(jī)和內(nèi)置處理算法；所述內(nèi)置處理算法包括時(shí)序三維人體姿態(tài)估計(jì)算法、從時(shí)序三維人體姿態(tài)中提取特征的算法和預(yù)處理時(shí)序特征的算法；

22、所述時(shí)序三維人體姿態(tài)估計(jì)算法包括從rgb或rgb-d圖像中提取人的骨架關(guān)鍵點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)；將視頻流中記錄的每一幀圖像的患者骨架連接處理；

23、所述從時(shí)序三維人體姿態(tài)中提取特征的算法包括從三維骨架中提取顯式特征；所述顯式特征包括上下肢關(guān)節(jié)角；

24、所述預(yù)處理時(shí)序特征的算法包括對(duì)特征序列進(jìn)行預(yù)處理；所述預(yù)處理包括降噪和差值重采樣。

25、優(yōu)選的，所述計(jì)算單元還包括人工智能評(píng)估模塊；所述人工智能評(píng)估模塊包括一個(gè)深度神經(jīng)網(wǎng)絡(luò)，將預(yù)處理后的時(shí)序特征作為輸入，輸出相應(yīng)評(píng)分。

26、優(yōu)選的，所述數(shù)據(jù)輸出單元包括：

27、數(shù)據(jù)整合模塊，用于將預(yù)處理后的時(shí)序運(yùn)動(dòng)特征與人工智能評(píng)估模塊輸出的評(píng)分結(jié)果進(jìn)行整合；將同一患者的歷次查體數(shù)據(jù)及相應(yīng)評(píng)估結(jié)果整合，繪制病歷曲線，并將時(shí)序特征作為參考信息輸出；

28、實(shí)時(shí)展示模塊，用于實(shí)時(shí)展示計(jì)算機(jī)視覺輸入模塊錄制的查體視頻和計(jì)算單元輸出的時(shí)序特征，在評(píng)估完成后展示評(píng)估分?jǐn)?shù)及相關(guān)依據(jù)。

29、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

30、1、本發(fā)明通過(guò)利用rgb-d深度相機(jī)和計(jì)算單元，通過(guò)圖像示例及語(yǔ)音指引，可在1分鐘內(nèi)完成nihss量表肢體運(yùn)動(dòng)快速評(píng)分，實(shí)現(xiàn)了普通用戶可自行操作的快速篩查，具有高效便捷的優(yōu)點(diǎn)。

31、2、本發(fā)明的系統(tǒng)采用了小型化的設(shè)計(jì)，便于攜帶使用；利用了人體姿態(tài)估計(jì)和深度圖像分析，提供了準(zhǔn)確的肢體運(yùn)動(dòng)分析結(jié)果，計(jì)算出科學(xué)有效的nihss評(píng)分，使得結(jié)果更加具有說(shuō)服力，更好地為醫(yī)生提供了決策建議。

32、3、本發(fā)明無(wú)需依賴專業(yè)人員即可在各種場(chǎng)景下進(jìn)行快速的自篩查，具備較好的靈活性及實(shí)用性。

33、本發(fā)明的其他有益效果，將在具體實(shí)施方式中通過(guò)具體技術(shù)特征和技術(shù)方案的介紹來(lái)闡述，本領(lǐng)域技術(shù)人員通過(guò)這些技術(shù)特征和技術(shù)方案的介紹，應(yīng)能理解所述技術(shù)特征和技術(shù)方案帶來(lái)的有益技術(shù)效果。

技術(shù)特征：

1.一種基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)，其特征在于，所述交互輸入單元包括屏幕交互模塊和計(jì)算機(jī)視覺輸入模塊；所述計(jì)算機(jī)視覺輸入模塊包括使用rgb-d相機(jī)采集肢體運(yùn)動(dòng)數(shù)據(jù)后輸出至實(shí)時(shí)展示模塊，作為計(jì)算單元的輸入以及腦卒中nihss肢體快速評(píng)分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲(chǔ)相應(yīng)數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)，其特征在于，所述計(jì)算單元包括微型計(jì)算機(jī)和內(nèi)置處理算法；所述內(nèi)置處理算法包括時(shí)序三維人體姿態(tài)估計(jì)算法、從時(shí)序三維人體姿態(tài)中提取特征的算法和預(yù)處理時(shí)序特征的算法；

4.根據(jù)權(quán)利要求3所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)，其特征在于，所述計(jì)算單元還包括人工智能評(píng)估模塊；所述人工智能評(píng)估模塊包括一個(gè)深度神經(jīng)網(wǎng)絡(luò)，將預(yù)處理后的時(shí)序特征作為輸入，輸出相應(yīng)評(píng)分。

5.根據(jù)權(quán)利要求4所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)，其特征在于，所述數(shù)據(jù)輸出單元包括：

6.一種基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估方法，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估方法，其特征在于，所述交互輸入單元包括屏幕交互模塊和計(jì)算機(jī)視覺輸入模塊；所述計(jì)算機(jī)視覺輸入模塊包括使用rgb-d相機(jī)采集肢體運(yùn)動(dòng)數(shù)據(jù)后輸出至實(shí)時(shí)展示模塊，作為計(jì)算單元的輸入以及腦卒中nihss肢體快速評(píng)分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲(chǔ)相應(yīng)數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估方法，其特征在于，所述計(jì)算單元包括微型計(jì)算機(jī)和內(nèi)置處理算法；所述內(nèi)置處理算法包括時(shí)序三維人體姿態(tài)估計(jì)算法、從時(shí)序三維人體姿態(tài)中提取特征的算法和預(yù)處理時(shí)序特征的算法；

9.根據(jù)權(quán)利要求8所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估方法，其特征在于，所述計(jì)算單元還包括人工智能評(píng)估模塊；所述人工智能評(píng)估模塊包括一個(gè)深度神經(jīng)網(wǎng)絡(luò)，將預(yù)處理后的時(shí)序特征作為輸入，輸出相應(yīng)評(píng)分。

10.根據(jù)權(quán)利要求9所述的基于rgb-d相機(jī)的便攜式腦卒中輔助評(píng)估方法，其特征在于，所述數(shù)據(jù)輸出單元包括：

技術(shù)總結(jié)
本發(fā)明提供了一種基于RGB?D相機(jī)的便攜式腦卒中輔助評(píng)估系統(tǒng)及方法，包括交互輸入單元，用于接收操作指令，實(shí)時(shí)采集并輸出患者數(shù)據(jù)；所述患者數(shù)據(jù)包括用戶交互數(shù)據(jù)和肢體運(yùn)動(dòng)數(shù)據(jù)；所述肢體運(yùn)動(dòng)數(shù)據(jù)包括視頻數(shù)據(jù)和相應(yīng)深度圖像數(shù)據(jù)；計(jì)算單元，用于接收交互輸入單元采集的患者數(shù)據(jù)，計(jì)算得到時(shí)序運(yùn)動(dòng)特征；根據(jù)時(shí)序運(yùn)動(dòng)特征，輸出評(píng)估結(jié)果；數(shù)據(jù)輸出單元，用于時(shí)序運(yùn)動(dòng)特征和評(píng)估結(jié)果的整合顯示。本發(fā)明通過(guò)利用RGB?D深度相機(jī)和計(jì)算單元，通過(guò)圖像示例及語(yǔ)音指引，可在1分鐘內(nèi)完成NIHSS量表肢體運(yùn)動(dòng)快速評(píng)分，實(shí)現(xiàn)了普通用戶可自行操作的快速篩查，具有高效便捷的優(yōu)點(diǎn)。

技術(shù)研發(fā)人員：王擁軍,郭遙,楊健鑫,張喆,熊云云,李金凱,徐振業(yè)
受保護(hù)的技術(shù)使用者：上海交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19