本發(fā)明涉及圖像識別，尤其涉及一種基于視頻的摔倒檢測方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)：

1、隨著老齡化社會的來臨，居家養(yǎng)老規(guī)模不斷擴大。老人摔倒后，能準確告警，通知親屬或者護工及時護理干預(yù)，對于實現(xiàn)安全養(yǎng)老、智慧養(yǎng)老的目標尤為重要。另外，在幼兒園、商場等公共場合，發(fā)現(xiàn)人員摔倒后，及時通知老師或工作人員進行幫助處理也很必要。

2、和基于傳感器的摔倒檢測方案相比較，基于視頻的摔倒檢測方法充分利用通用的監(jiān)控攝像頭，部署簡單方便，成本低廉，適宜大規(guī)模推廣，而目前還未有基于視頻的摔倒檢測方法，可以根據(jù)行為人的時序行為特征，來對摔倒進行檢測。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種基于視頻的摔倒檢測方法、裝置、介質(zhì)及設(shè)備。

2、本發(fā)明的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本發(fā)明的實踐而習(xí)得。

3、根據(jù)本發(fā)明實施例的第一方面，提供了一種基于視頻的摔倒檢測方法，所述基于視頻的摔倒檢測方法包括：

4、獲取視頻流數(shù)據(jù)，基于目標檢測工具對所述視頻流數(shù)據(jù)進行檢測識別，確認所述視頻流數(shù)據(jù)中的人體目標對象，得到人體目標box框；

5、采用deepsort目標跟蹤算法，動態(tài)跟蹤每個所述人體目標box框的軌跡，截取所述視頻流數(shù)據(jù)中均勻間隔的若干視頻幀數(shù)據(jù)，根據(jù)時間順序?qū)⑷舾伤鲆曨l幀數(shù)據(jù)保存至第一隊列，以及將若干所述視頻幀數(shù)據(jù)中每個所述人體目標box框的軌跡保存至第二隊列；

6、根據(jù)所述人體目標box框的軌跡，對每個所述人體目標對象進行行為識別，確定所述人體目標對象的行為類別，根據(jù)所述人體目標對象的行為類別確定所述第二隊列的數(shù)據(jù)為丟棄或保留；

7、根據(jù)保留的所述第二隊列的數(shù)據(jù)，計算得到目標行為狀態(tài)數(shù)據(jù)，基于所述標行為狀態(tài)數(shù)據(jù)從第一隊列的數(shù)據(jù)中裁剪出人體目標幀隊列數(shù)據(jù)；

8、基于所述人體目標幀隊列數(shù)據(jù)，生成tsm模型輸入數(shù)據(jù)；

9、將所述tsm模型輸入數(shù)據(jù)輸入摔倒檢測tsm模型，得到檢測結(jié)果，并在所述檢測結(jié)果符合告警條件時，生成告警信息。

10、在本發(fā)明的一些實施例中，所述根據(jù)所述人體目標box框的軌跡，對每個所述人體目標對象進行行為識別，確定所述人體目標對象的行為類別，根據(jù)所述人體目標對象的行為類別確定所述第二隊列的數(shù)據(jù)為丟棄或保留包括：

11、根據(jù)所述人體目標box框的軌跡，對每個所述人體目標對象進行行為識別，確定所述人體目標對象的行為類別為第一狀態(tài)或第二狀態(tài)；

12、在所述人體目標對象的行為類別為第一狀態(tài)時，丟棄對應(yīng)的所述第二隊列的數(shù)據(jù)；

13、在所述人體目標對象的行為類別為第二狀態(tài)時，保留對應(yīng)的所述第二隊列的數(shù)據(jù)；

14、在所有所述第二隊列的數(shù)據(jù)均被丟棄時，重新獲取所述人體目標box框。

15、在本發(fā)明的一些實施例中，所述基于所述人體目標幀隊列數(shù)據(jù)，生成tsm模型輸入數(shù)據(jù)包括：

16、確定所述摔倒檢測tsm模型對應(yīng)的輸入圖像的尺寸要求；

17、根據(jù)所述輸入圖像的尺寸要求對所述人體目標幀隊列數(shù)據(jù)進行縮放處理，生成所述tsm模型輸入數(shù)據(jù)。

18、在本發(fā)明的一些實施例中，所述方法包括訓(xùn)練獲取所述摔倒檢測tsm模型，包括：

19、采集樣本視頻數(shù)據(jù)；

20、對所述樣本視頻數(shù)據(jù)進行截取，得到均勻間隔的若干樣本視頻數(shù)據(jù)；

21、對所述若干樣本視頻數(shù)據(jù)分別進行分類，得到第一狀態(tài)的第一樣本數(shù)據(jù)以及第二狀態(tài)的第二樣本數(shù)據(jù)；

22、分別對所述第一樣本數(shù)據(jù)以及第二樣本數(shù)據(jù)進行抽幀處理，得到均勻間隔的若干樣本視頻幀數(shù)據(jù)；

23、根據(jù)所述樣本視頻幀數(shù)據(jù)生成數(shù)據(jù)集，基于所述數(shù)據(jù)集進行模型訓(xùn)練，得到所述摔倒檢測tsm模型。

24、根據(jù)本發(fā)明實施例的第二方面，提供了一種基于視頻的摔倒檢測裝置，所述基于視頻的摔倒檢測裝置包括：

25、數(shù)據(jù)獲取模塊，用于獲取視頻流數(shù)據(jù)，基于目標檢測工具對所述視頻流數(shù)據(jù)進行檢測識別，確認所述視頻流數(shù)據(jù)中的人體目標對象，得到人體目標box框；

26、抽幀模塊，用于采用deepsort目標跟蹤算法，動態(tài)跟蹤每個所述人體目標box框的軌跡，截取所述視頻流數(shù)據(jù)中均勻間隔的若干視頻幀數(shù)據(jù)，根據(jù)時間順序?qū)⑷舾伤鲆曨l幀數(shù)據(jù)保存至第一隊列，以及將若干所述視頻幀數(shù)據(jù)中每個所述人體目標box框的軌跡保存至第二隊列；

27、目標識別模塊，用于根據(jù)所述人體目標box框的軌跡，對每個所述人體目標對象進行行為識別，確定所述人體目標對象的行為類別，根據(jù)所述人體目標對象的行為類別確定所述第二隊列的數(shù)據(jù)為丟棄或保留；

28、第一數(shù)據(jù)處理模塊，用于根據(jù)保留的所述第二隊列的數(shù)據(jù)，計算得到目標行為狀態(tài)數(shù)據(jù)，基于所述標行為狀態(tài)數(shù)據(jù)從第一隊列的數(shù)據(jù)中裁剪出人體目標幀隊列數(shù)據(jù)；

29、第二數(shù)據(jù)處理模塊，用于基于所述人體目標幀隊列數(shù)據(jù)，生成tsm模型輸入數(shù)據(jù)；

30、數(shù)據(jù)檢測模塊，用于將所述tsm模型輸入數(shù)據(jù)輸入摔倒檢測tsm模型，得到檢測結(jié)果，并在所述檢測結(jié)果符合告警條件時，生成告警信息。

31、在本發(fā)明的一些實施例中，所述目標識別模塊用于：

32、根據(jù)所述人體目標box框的軌跡，對每個所述人體目標對象進行行為識別，確定所述人體目標對象的行為類別為第一狀態(tài)或第二狀態(tài)；

33、在所述人體目標對象的行為類別為第一狀態(tài)時，丟棄對應(yīng)的所述第二隊列的數(shù)據(jù)；

34、在所述人體目標對象的行為類別為第二狀態(tài)時，保留對應(yīng)的所述第二隊列的數(shù)據(jù)；

35、在所有所述第二隊列的數(shù)據(jù)均被丟棄時，重新獲取所述人體目標box框。

36、在本發(fā)明的一些實施例中，所述第二數(shù)據(jù)處理模塊用于：

37、確定所述摔倒檢測tsm模型對應(yīng)的輸入圖像的尺寸要求；

38、根據(jù)所述輸入圖像的尺寸要求對所述人體目標幀隊列數(shù)據(jù)進行縮放處理，生成所述tsm模型輸入數(shù)據(jù)。

39、在本發(fā)明的一些實施例中，所述數(shù)據(jù)檢測模塊還用于訓(xùn)練獲取所述摔倒檢測tsm模型，包括：

40、采集樣本視頻數(shù)據(jù)；

41、對所述樣本視頻數(shù)據(jù)進行截取，得到均勻間隔的若干樣本視頻數(shù)據(jù)；

42、對所述若干樣本視頻數(shù)據(jù)分別進行分類，得到第一狀態(tài)的第一樣本數(shù)據(jù)以及第二狀態(tài)的第二樣本數(shù)據(jù)；

43、分別對所述第一樣本數(shù)據(jù)以及第二樣本數(shù)據(jù)進行抽幀處理，得到均勻間隔的若干樣本視頻幀數(shù)據(jù)；

44、根據(jù)所述樣本視頻幀數(shù)據(jù)生成數(shù)據(jù)集，基于所述數(shù)據(jù)集進行模型訓(xùn)練，得到所述摔倒檢測tsm模型。

45、根據(jù)本發(fā)明實施例的第三方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機程序指令，所述計算機程序指令由處理器加載并執(zhí)行以實現(xiàn)如上述任一項所述的方法所執(zhí)行的操作。

46、根據(jù)本發(fā)明實施例的第四方面，提供了一種電子設(shè)備，包括處理器和存儲器，所述存儲器存儲有能夠被所述處理器執(zhí)行的計算機程序指令，所述處理器執(zhí)行所述計算機程序指令時，實現(xiàn)如上述任一所述的方法的指令。

47、本發(fā)明實施例中提供的技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點：

48、本發(fā)明實施例提供的一種基于視頻的摔倒檢測方法、裝置、介質(zhì)及設(shè)備，本發(fā)明實施例所述方法融合目標跟蹤工具deepsort(或者sort)和時間漂移模型摔倒檢測tsm模型以實現(xiàn)摔倒檢測，基于deepsort實現(xiàn)行為軌跡跟蹤，對行為進行初分類，再通過摔倒檢測tsm模型對傾倒狀態(tài)的單個個體行為進行摔倒或未摔倒的細分類識別，充分利用提取的行為時序特征，和采用單張靜態(tài)圖片進行摔倒、未摔倒分類的模型相比，提高了檢測準確率。

49、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式。