本發(fā)明涉及防摔倒監(jiān)控領(lǐng)域，具體而言，涉及一種摔倒報(bào)警方法、裝置及設(shè)備。

背景技術(shù)：

根據(jù)世界疾病控制與預(yù)防組織統(tǒng)計(jì)，世界上超過(guò)65歲的老人，每年有l(wèi)/3會(huì)摔倒，其中有一半為再發(fā)性摔倒，摔倒率隨年齡增長(zhǎng)而增長(zhǎng)；摔倒的老年人中有20％-30％的人發(fā)生中度和重度損傷(髖骨骨折和頭創(chuàng)傷)，60％活動(dòng)受限或不能活動(dòng)，造成巨大的醫(yī)療負(fù)擔(dān)和健康傷害。醫(yī)院里，病人摔倒不及時(shí)救治也會(huì)產(chǎn)生很?chē)?yán)重的后果。減小老年人以及病人摔倒帶來(lái)的傷害問(wèn)題已成為國(guó)際上新的研究熱點(diǎn)。醫(yī)學(xué)研究標(biāo)明：減小人摔倒時(shí)給身體帶來(lái)的沖擊可以有效減輕摔倒事故帶來(lái)的傷害；而對(duì)于已經(jīng)摔倒的老人及病人，救助等待時(shí)間的長(zhǎng)短直接決定了患病的程度。

目前主要的摔倒自動(dòng)檢測(cè)報(bào)警系統(tǒng)主要通過(guò)自動(dòng)檢測(cè)人體上軀干部位的加速度信息及位姿信息，綜合人體加速度、位姿、運(yùn)動(dòng)時(shí)間三者之間的關(guān)系，正確判斷人體是否摔倒以及是否需要求救。

然而，需要佩戴額外的設(shè)備這一限定，大大阻礙了現(xiàn)有方案的實(shí)現(xiàn)效果，并且設(shè)備佩戴較為繁瑣，老年人或病人此前沒(méi)有接觸過(guò)此類(lèi)裝置的話(huà)不易操作，且設(shè)備佩戴位置有嚴(yán)格要求，普通人不易掌握，可能額外需專(zhuān)業(yè)人員上門(mén)安裝。另外，老年人或病人大多行動(dòng)不便，很可能發(fā)生由于身體狀況沒(méi)有來(lái)得及佩戴設(shè)備的情況，此時(shí)一旦危險(xiǎn)發(fā)生，不能及時(shí)報(bào)警，后果將不堪設(shè)想，如果要保證這種情況下系統(tǒng)正常工作，人身體需要24小時(shí)佩戴設(shè)備，影響了老年人和病人的舒適程度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種摔倒報(bào)警方法、裝置及設(shè)備，以改善上述問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

第一方面，一種摔倒報(bào)警方法，所述摔倒報(bào)警方法包括：

獲取采集區(qū)域內(nèi)的環(huán)境視頻；

將所述環(huán)境視頻處理成多幀第一圖像序列；

將每一幀所述第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到所述環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像；

獲取所述熱度圖像的多個(gè)關(guān)鍵點(diǎn)，將所述多個(gè)關(guān)鍵點(diǎn)按預(yù)設(shè)規(guī)則生成第一關(guān)鍵點(diǎn)序列；

根據(jù)多幀連續(xù)的所述第一圖像序列對(duì)應(yīng)的所述第一關(guān)鍵點(diǎn)序列判斷所述人體是否摔倒；

當(dāng)判斷所述人體摔倒時(shí)，生成報(bào)警信息。

進(jìn)一步地，所述將每一幀所述第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到所述環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像的步驟之前，還包括對(duì)所述基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型進(jìn)行訓(xùn)練的步驟：

獲取人體圖片，對(duì)圖片中的人體的輪廓進(jìn)行標(biāo)注；

構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)；

將所述人體圖片輸入所述深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以得到所述基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型。

進(jìn)一步地，所述根據(jù)多幀連續(xù)的所述第一圖像序列對(duì)應(yīng)的所述第一關(guān)鍵點(diǎn)序列判斷所述人體是否摔倒的步驟之前還包括建立關(guān)鍵點(diǎn)序列模型的步驟，所述建立關(guān)鍵點(diǎn)序列模型的步驟包括：

獲取人體在不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列，獲取所述第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列，所述姿態(tài)包括摔倒行為和未摔倒行為；

根據(jù)第二圖像序列對(duì)應(yīng)的姿態(tài)對(duì)所述第二關(guān)鍵點(diǎn)序列進(jìn)行標(biāo)記，獲取所述第二關(guān)鍵點(diǎn)序列對(duì)應(yīng)的人體姿態(tài)變化，以得到所述關(guān)鍵點(diǎn)序列模型。

進(jìn)一步地，所述獲取人體在不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列，獲取所述第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列的步驟，包括：

獲取人體姿態(tài)模型視頻，將所述視頻處理成多幀所述第二圖像序列；

獲取多幀連續(xù)的所述第二圖像序列的所述第二關(guān)鍵點(diǎn)序列。

進(jìn)一步地，所述獲取多幀連續(xù)的第二圖像序列的第二關(guān)鍵點(diǎn)序列的步驟包括：

記錄多幀連續(xù)的所述第二圖像序列中每一所述第二圖像序列對(duì)應(yīng)的時(shí)間；

獲取所述多幀連續(xù)的所述第二圖像序列中每一所述第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列。

進(jìn)一步地，所述根據(jù)多幀連續(xù)的所述第一圖像序列對(duì)應(yīng)的所述第一關(guān)鍵點(diǎn)序列判斷所述人體是否摔倒的步驟，包括：

當(dāng)連續(xù)的多幀所述第一圖像序列對(duì)應(yīng)的所述第一關(guān)鍵點(diǎn)序列的變化大于連續(xù)的多幀所述第二圖像序列對(duì)應(yīng)的所述第二關(guān)鍵點(diǎn)序列的變化的閾值時(shí)判斷所述人體摔倒。

第二方面，一種摔倒報(bào)警裝置，所述摔倒報(bào)警裝置包括：

視頻獲取模塊，用于獲取采集區(qū)域內(nèi)的環(huán)境視頻；

圖像分割模塊，用于將所述環(huán)境視頻處理成多幀第一圖像序列；

熱度圖像獲取模塊，用于將每一幀所述第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到所述環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像；

關(guān)鍵點(diǎn)檢測(cè)模塊，用于獲取所述熱度圖像的多個(gè)關(guān)鍵點(diǎn)，將所述多個(gè)關(guān)鍵點(diǎn)按預(yù)設(shè)規(guī)則生成第一關(guān)鍵點(diǎn)序列；

摔倒行為判斷模塊，用于根據(jù)多幀連續(xù)的所述第一圖像序列對(duì)應(yīng)的所述第一關(guān)鍵點(diǎn)序列判斷所述人體是否摔倒；

報(bào)警模塊，用于當(dāng)判斷所述人體摔倒時(shí)，生成報(bào)警信息。

進(jìn)一步地，所述報(bào)警裝置還包括：

人體估計(jì)模型訓(xùn)練模塊，用于獲取人體圖片，對(duì)圖片中的人體的輪廓進(jìn)行標(biāo)注；構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)；將所述人體圖片輸入所述深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以得到所述基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型。

進(jìn)一步地，所述報(bào)警裝置還包括：

關(guān)鍵點(diǎn)序列模型模塊，用于獲取人體在不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列，獲取所述第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列，所述姿態(tài)包括摔倒行為和未摔倒行為；根據(jù)第二圖像序列對(duì)應(yīng)的姿態(tài)對(duì)所述第二關(guān)鍵點(diǎn)序列進(jìn)行標(biāo)記，獲取所述第二關(guān)鍵點(diǎn)序列對(duì)應(yīng)的人體姿態(tài)變化，以得到所述關(guān)鍵點(diǎn)序列模型。

第三方面，一種摔倒報(bào)警設(shè)備，所述摔倒報(bào)警設(shè)備包括：

存儲(chǔ)器；

處理器；以及

摔倒報(bào)警裝置，所述摔倒報(bào)警裝置存儲(chǔ)于所述存儲(chǔ)器中并包括一個(gè)或多個(gè)由所述處理器執(zhí)行的軟件功能模組，摔倒報(bào)警裝置包括：

視頻獲取模塊，用于獲取采集區(qū)域內(nèi)的環(huán)境視頻；

圖像分割模塊，用于將所述環(huán)境視頻處理成多幀第一圖像序列；

熱度圖像獲取模塊，用于將每一幀所述第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到所述環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像；

關(guān)鍵點(diǎn)檢測(cè)模塊，用于獲取所述熱度圖像的多個(gè)關(guān)鍵點(diǎn)，將所述多個(gè)關(guān)鍵點(diǎn)按預(yù)設(shè)規(guī)則生成第一關(guān)鍵點(diǎn)序列；

摔倒行為判斷模塊，用于根據(jù)多幀連續(xù)的所述第一圖像序列對(duì)應(yīng)的所述第一關(guān)鍵點(diǎn)序列判斷所述人體是否摔倒；

報(bào)警模塊，用于當(dāng)判斷所述人體摔倒時(shí)，生成報(bào)警信息；

人體估計(jì)模型訓(xùn)練模塊，用于獲取人體圖片，對(duì)圖片中的人體的輪廓進(jìn)行標(biāo)注，構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)，將所述人體圖片輸入所述深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以得到所述基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型；

關(guān)鍵點(diǎn)序列模型模塊，用于獲取人體在不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列，獲取所述第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列，所述姿態(tài)包括摔倒行為和未摔倒行為；根據(jù)第二圖像序列對(duì)應(yīng)的姿態(tài)對(duì)所述第二關(guān)鍵點(diǎn)序列進(jìn)行標(biāo)記，獲取所述第二關(guān)鍵點(diǎn)序列對(duì)應(yīng)的人體姿態(tài)變化，以得到所述關(guān)鍵點(diǎn)序列模型。

本發(fā)明提供了一種摔倒報(bào)警方法、裝置及設(shè)備，該方法應(yīng)用于該裝置，該設(shè)備包括該裝置，該方法包括：獲取采集區(qū)域內(nèi)的環(huán)境視頻；將環(huán)境視頻處理成多幀第一圖像序列；將每一幀第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像；獲取熱度圖像的多個(gè)關(guān)鍵點(diǎn)，將多個(gè)關(guān)鍵點(diǎn)按預(yù)設(shè)規(guī)則生成第一關(guān)鍵點(diǎn)序列；根據(jù)多幀連續(xù)的第一圖像序列對(duì)應(yīng)的第一關(guān)鍵點(diǎn)序列判斷人體是否摔倒；當(dāng)判斷人體摔倒時(shí)，生成報(bào)警信息。通過(guò)采集環(huán)境視頻中的人體，獲取人體姿態(tài)的變化，在判斷人體摔倒時(shí)生成報(bào)警信息，無(wú)需人體佩戴，不影響人體活動(dòng)的同時(shí)對(duì)人體狀態(tài)進(jìn)行檢測(cè)。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對(duì)范圍的限定，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1為本發(fā)明實(shí)施例提供的摔倒報(bào)警設(shè)備與多個(gè)攝像裝置的交互的示意圖；

圖2為本發(fā)明實(shí)施例提供的摔倒報(bào)警設(shè)備的方框示意圖；

圖3-圖5，為本發(fā)明實(shí)施例提供的摔倒報(bào)警裝置的功能模塊示意圖；

圖6為本發(fā)明實(shí)施例提供的摔倒報(bào)警方法應(yīng)用于摔倒報(bào)警設(shè)備的流程圖；

圖7為本發(fā)明實(shí)施例提供的建立人體姿態(tài)估計(jì)模型的步驟；

圖8-圖10為本發(fā)明實(shí)施例提供的建立關(guān)鍵點(diǎn)序列模型的步驟。

圖標(biāo)：100-摔倒報(bào)警設(shè)備；110-摔倒報(bào)警裝置；112-視頻獲取模塊；113-圖像分割模塊；114-熱度圖像獲取模塊；115-關(guān)鍵點(diǎn)檢測(cè)模塊；116-摔倒行為判斷模塊；117-報(bào)警模塊；118-人體估計(jì)模型訓(xùn)練模塊；119-關(guān)鍵點(diǎn)序列模型模塊；120-存儲(chǔ)器；130-處理器；140-通信單元；200-攝像裝置；300-網(wǎng)絡(luò)。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施例的組件可以以各種不同的配置來(lái)布置和設(shè)計(jì)。

因此，以下對(duì)在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

應(yīng)注意到：相似的標(biāo)號(hào)和字母在下面的附圖中表示類(lèi)似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋。

請(qǐng)參閱圖1，為本發(fā)明實(shí)施例提供的摔倒報(bào)警設(shè)備100與多個(gè)攝像裝置200的交互的示意圖。摔倒報(bào)警設(shè)備100可通過(guò)網(wǎng)絡(luò)300與多個(gè)攝像裝置200進(jìn)行通信，以實(shí)現(xiàn)摔倒報(bào)警設(shè)備100與多個(gè)攝像裝置200之間的數(shù)據(jù)通信或交互。

請(qǐng)參閱圖2，為本發(fā)明實(shí)施例提供的摔倒報(bào)警設(shè)備100的方框示意圖。摔倒報(bào)警設(shè)備100包括摔倒報(bào)警裝置110、存儲(chǔ)器120、處理器130和通信單元140。存儲(chǔ)器120、處理器130以及通信單元140各元件相互之間直接或間接地電性連接，以實(shí)現(xiàn)數(shù)據(jù)的傳輸或交互。例如，這些元件相互之間可通過(guò)一條或多條通訊總線(xiàn)或信號(hào)線(xiàn)實(shí)現(xiàn)電性連接。摔倒報(bào)警裝置110包括至少一個(gè)可以軟件或固件(firmware)的形式存儲(chǔ)于存儲(chǔ)器120中或固化在摔倒報(bào)警設(shè)備100的操作系統(tǒng)(operatingsystem，os)中的軟件功能模塊。處理器130用于執(zhí)行存儲(chǔ)器120中存儲(chǔ)的可執(zhí)行模塊，例如摔倒報(bào)警裝置110所包括的軟件功能模塊及計(jì)算機(jī)程序等。

其中，所述存儲(chǔ)器120可以是，但不限于，隨機(jī)存取存儲(chǔ)器(randomaccessmemory，ram)，只讀存儲(chǔ)器(readonlymemory，rom)，可編程只讀存儲(chǔ)器(programmableread-onlymemory，prom)，可擦除只讀存儲(chǔ)器(erasableprogrammableread-onlymemory，eprom)，電可擦除只讀存儲(chǔ)器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存儲(chǔ)器120用于存儲(chǔ)程序，處理器130在接收到執(zhí)行指令后，執(zhí)行所述程序。通信單元140用于通過(guò)網(wǎng)絡(luò)300建立摔倒報(bào)警設(shè)備100與多個(gè)攝像裝置200之間的通信連接，并用于通過(guò)網(wǎng)絡(luò)300收發(fā)數(shù)據(jù)。

請(qǐng)參閱圖3，為本發(fā)明實(shí)施例提供的摔倒報(bào)警裝置110的功能模塊示意圖。摔倒報(bào)警裝置110包括：視頻獲取模塊112、圖像分割模塊113、熱度圖像獲取模塊114、關(guān)鍵點(diǎn)檢測(cè)模塊115、摔倒行為判斷模塊116及報(bào)警模塊117。

其中，

視頻獲取模塊112，用于獲取采集區(qū)域內(nèi)的環(huán)境視頻。

本實(shí)施例中，視頻獲取模塊112用于獲取攝像裝置200采集的視頻信息。該攝像裝置200可以為安裝在獨(dú)居老年人家中及醫(yī)院病房及樓道內(nèi)的攝像頭，采集實(shí)時(shí)圖像信息，上傳至摔倒報(bào)警設(shè)備100進(jìn)行后續(xù)處理。攝像頭安裝保證無(wú)監(jiān)控死角，以此保證一旦有摔倒行為發(fā)生能及時(shí)報(bào)警，通知相關(guān)醫(yī)護(hù)人員進(jìn)行救治?？梢郧宄氖?，該環(huán)境視頻可以為攝像裝置200采集到人體出現(xiàn)時(shí)，對(duì)人體追蹤拍攝所獲得的視頻。

圖像分割模塊113，用于將環(huán)境視頻處理成多幀第一圖像序列。

本實(shí)施例中，圖像分割模塊113用于將視頻獲取模塊112獲取的視頻進(jìn)行分割處理，得到多張連續(xù)的圖像信息，圖像信息包括圖像?？梢郧宄氖牵梢愿鶕?jù)具體的運(yùn)用場(chǎng)景，設(shè)置每秒提取多幀圖像。例如，設(shè)置為每秒內(nèi)提取6幀圖像，當(dāng)然可以為了具體精度要求更改提取圖像幀數(shù)。

熱度圖像獲取模塊114，用于將每一幀第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像。

本實(shí)施例中，熱度圖像獲取模塊114用于將圖像分割模塊113分割的圖像輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，生成對(duì)應(yīng)的熱度圖。具體實(shí)施時(shí)，基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型使用的是深度學(xué)習(xí)框架caffe(convolutionalarchitectureforfastfeatureembedding，卷積神經(jīng)網(wǎng)絡(luò)框架)。

關(guān)鍵點(diǎn)檢測(cè)模塊115，用于獲取熱度圖像的多個(gè)關(guān)鍵點(diǎn)，將多個(gè)關(guān)鍵點(diǎn)按預(yù)設(shè)規(guī)則生成第一關(guān)鍵點(diǎn)序列。

本實(shí)施例中，關(guān)鍵點(diǎn)檢測(cè)模塊115用于根據(jù)熱度圖像獲取模塊114獲取的熱度圖得到包括鼻子、脖子、肩膀等在內(nèi)的多個(gè)關(guān)鍵點(diǎn)，該關(guān)鍵點(diǎn)可在具體運(yùn)用場(chǎng)景中設(shè)置在不同部位，并按一定順序組成關(guān)鍵點(diǎn)序列。可以清楚的是，該預(yù)設(shè)的規(guī)則可以是根據(jù)具體場(chǎng)景設(shè)置的。例如，可將關(guān)鍵點(diǎn)按人體輪廓順序連接。

摔倒行為判斷模塊116，用于根據(jù)多幀連續(xù)的第一圖像序列對(duì)應(yīng)的第一關(guān)鍵點(diǎn)序列判斷人體是否摔倒。

本實(shí)施例中，將第一圖像序列對(duì)應(yīng)的第一關(guān)鍵點(diǎn)序列放入關(guān)鍵點(diǎn)序列模型中，當(dāng)連續(xù)的多幀所述第一圖像序列對(duì)應(yīng)的所述第一關(guān)鍵點(diǎn)序列的變化大于關(guān)鍵點(diǎn)序列模型中連續(xù)的多幀所述第二圖像序列對(duì)應(yīng)的所述第二關(guān)鍵點(diǎn)序列的變化的閾值時(shí)，判斷所述人體摔倒，該閾值可以根據(jù)具體環(huán)境參數(shù)設(shè)置。在具體實(shí)施過(guò)程中，采集到連續(xù)的圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)序列，根據(jù)關(guān)鍵點(diǎn)序列判斷人體姿態(tài)變化。

具體實(shí)施時(shí)，人體不同姿態(tài)情況下，各關(guān)鍵點(diǎn)信息包括關(guān)鍵點(diǎn)位置、各關(guān)鍵點(diǎn)與中心點(diǎn)角度等具有不同的模式，例如，人在摔倒的情況下，整個(gè)身體各個(gè)關(guān)鍵點(diǎn)與中心點(diǎn)角度，將與站立或行走情況下有很大的變化。另外，由于人的行為是一個(gè)連續(xù)過(guò)程，是一連串不同姿態(tài)的變化，在此，充分考慮時(shí)間信息，將原本的二維信息擴(kuò)展到三維。

報(bào)警模塊117，用于當(dāng)判斷人體摔倒時(shí)，生成報(bào)警信息。

具體實(shí)施時(shí)，連續(xù)的第一圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)序列對(duì)應(yīng)的人體姿態(tài)為摔倒行為時(shí)生成報(bào)警信息。該報(bào)警信息可以是發(fā)送到與摔倒報(bào)警設(shè)備100連接的客戶(hù)端，以便于提示醫(yī)護(hù)人員及時(shí)進(jìn)行救治。

請(qǐng)參閱圖4，為本發(fā)明實(shí)施例提供的摔倒報(bào)警裝置110的功能模塊示意圖。進(jìn)一步地，摔倒報(bào)警裝置110還包括人體估計(jì)模型訓(xùn)練模塊118。

人體估計(jì)模型訓(xùn)練模塊118，用于獲取人體圖片，對(duì)圖片中的人體的輪廓進(jìn)行標(biāo)注，構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)300，將人體圖片輸入深度學(xué)習(xí)網(wǎng)絡(luò)300進(jìn)行訓(xùn)練，以得到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型。

本實(shí)施例中，獲取大量帶有人體數(shù)據(jù)的圖片，將該圖片中的人體輪廓進(jìn)行標(biāo)注，構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)300，將人體圖片輸入深度學(xué)習(xí)網(wǎng)絡(luò)300進(jìn)行訓(xùn)練，得到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型。

請(qǐng)參閱圖5，為本發(fā)明實(shí)施例提供的摔倒報(bào)警裝置110的功能模塊示意圖。進(jìn)一步地，摔倒報(bào)警裝置110還包括關(guān)鍵點(diǎn)序列模型模塊119。

關(guān)鍵點(diǎn)序列模型模塊119，用于獲取人體在不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列，獲取第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列，姿態(tài)包括摔倒行為和未摔倒行為；根據(jù)第二圖像序列對(duì)應(yīng)的姿態(tài)對(duì)第二關(guān)鍵點(diǎn)序列進(jìn)行標(biāo)記，獲取第二關(guān)鍵點(diǎn)序列對(duì)應(yīng)的人體姿態(tài)變化，以得到關(guān)鍵點(diǎn)序列模型。

具體實(shí)施時(shí)，在進(jìn)行關(guān)鍵點(diǎn)檢測(cè)前還要對(duì)關(guān)鍵點(diǎn)序列模型，進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程如下：

準(zhǔn)備數(shù)據(jù)：在此采用coco數(shù)據(jù)集，并對(duì)圖片中的人物進(jìn)行標(biāo)注。將數(shù)據(jù)轉(zhuǎn)換為lmdb格式，便于輸入caffe。

構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)300，并把網(wǎng)絡(luò)300結(jié)構(gòu)寫(xiě)為caffe接受的prototxt格式。

采用vgg-19model初始化網(wǎng)絡(luò)300，并開(kāi)始訓(xùn)練。

進(jìn)一步地，用于獲取人體在不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列，獲取第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列具體包括：

獲取人體姿態(tài)模型視頻，將視頻處理成多幀第二圖像序列；獲取多幀連續(xù)的第二圖像序列的第二關(guān)鍵點(diǎn)序列。

具體實(shí)施時(shí)，該獲取的不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列為已知的人體姿態(tài)模型視頻，將人體姿態(tài)模型視頻進(jìn)行處理生成多幀第二圖像序列，在第二圖像序列中關(guān)鍵點(diǎn)進(jìn)行標(biāo)記得到關(guān)鍵點(diǎn)序列，及第二關(guān)鍵點(diǎn)序列對(duì)應(yīng)的人體姿態(tài)變化。

進(jìn)一步地，記錄多幀連續(xù)的第二圖像序列中每一第二圖像序列對(duì)應(yīng)的時(shí)間；獲取多幀連續(xù)的第二圖像序列中每一第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列。

具體實(shí)施時(shí)，需要對(duì)每一第二圖像序列的時(shí)間進(jìn)行標(biāo)記，以得到多幀連續(xù)的第二圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)序列的變化，以此判斷人體的姿態(tài)變化。

請(qǐng)參閱圖6，為本發(fā)明實(shí)施例提供的摔倒報(bào)警方法應(yīng)用于摔倒報(bào)警設(shè)備100的流程圖。所述方法包括以下步驟：

步驟s101，獲取采集區(qū)域內(nèi)的環(huán)境視頻。

可以理解地，通過(guò)視頻獲取模塊112可以執(zhí)行步驟s101。

步驟s102，將環(huán)境視頻處理成多幀第一圖像序列。

可以理解地，通過(guò)圖像分割模塊113可以執(zhí)行步驟s102。

步驟s103，將每一幀第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像。

可以理解地，通過(guò)熱度圖像獲取模塊114可以執(zhí)行步驟s103。

步驟s104，獲取熱度圖像的多個(gè)關(guān)鍵點(diǎn)，將多個(gè)關(guān)鍵點(diǎn)按預(yù)設(shè)規(guī)則生成第一關(guān)鍵點(diǎn)序列。

可以理解地，通過(guò)關(guān)鍵點(diǎn)檢測(cè)模塊115可以執(zhí)行步驟s104。

步驟s105，根據(jù)多幀連續(xù)的第一圖像序列對(duì)應(yīng)的第一關(guān)鍵點(diǎn)序列判斷人體是否摔倒。

可以理解地，通過(guò)摔倒行為判斷模塊116可以執(zhí)行步驟s105。

步驟s106，當(dāng)判斷人體摔倒時(shí)，生成報(bào)警信息。

可以理解地，通過(guò)報(bào)警模塊117可以執(zhí)行步驟s106。

請(qǐng)參閱圖7，為本發(fā)明實(shí)施例提供的建立人體姿態(tài)估計(jì)模型的步驟。可以理解的，通過(guò)人體估計(jì)模型訓(xùn)練模塊118可以執(zhí)行一下步驟。

所述步驟包括：

步驟s201，獲取人體圖片，對(duì)圖片中的人體的輪廓進(jìn)行標(biāo)注。

步驟s202，構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)300。

步驟s203，將人體圖片輸入深度學(xué)習(xí)網(wǎng)絡(luò)300進(jìn)行訓(xùn)練，以得到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型。

請(qǐng)參閱圖8-圖10，為本發(fā)明實(shí)施例提供的建立關(guān)鍵點(diǎn)序列模型的步驟。可以理解的，通過(guò)關(guān)鍵點(diǎn)序列模型模塊119可以執(zhí)行一下步驟。

所述步驟包括：

步驟s301，獲取人體在不同姿態(tài)時(shí)對(duì)應(yīng)的第二圖像序列，獲取第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列，姿態(tài)包括摔倒行為和未摔倒行為。

步驟s302，根據(jù)第二圖像序列對(duì)應(yīng)的姿態(tài)對(duì)第二關(guān)鍵點(diǎn)序列進(jìn)行標(biāo)記，獲取第二關(guān)鍵點(diǎn)序列對(duì)應(yīng)的人體姿態(tài)變化，以得到關(guān)鍵點(diǎn)序列模型。

所述步驟s301具體包括步驟s3011和步驟s3012。

步驟s3011，獲取人體姿態(tài)模型視頻，將視頻處理成多幀第二圖像序列。

步驟s3012，獲取多幀連續(xù)的第二圖像序列的第二關(guān)鍵點(diǎn)序列。

所述步驟s3012包括步驟s30121和步驟s30122。

步驟s30121，記錄多幀連續(xù)的第二圖像序列中每一第二圖像序列對(duì)應(yīng)的時(shí)間。

步驟s30122，獲取多幀連續(xù)的第二圖像序列中每一第二圖像序列對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列。

綜上所述，本發(fā)明提供了一種摔倒報(bào)警方法、裝置及設(shè)備，涉及防摔倒監(jiān)控領(lǐng)域。該方法應(yīng)用于該裝置，該設(shè)備包括該裝置，該方法包括：獲取采集區(qū)域內(nèi)的環(huán)境視頻；將環(huán)境視頻處理成多幀第一圖像序列；將每一幀第一圖像序列輸入到基于深度學(xué)習(xí)算法的人體姿態(tài)估計(jì)模型，得到環(huán)境視頻中人體對(duì)應(yīng)的熱度圖像；獲取熱度圖像的多個(gè)關(guān)鍵點(diǎn)，將多個(gè)關(guān)鍵點(diǎn)按預(yù)設(shè)規(guī)則生成第一關(guān)鍵點(diǎn)序列；根據(jù)多幀連續(xù)的第一圖像序列對(duì)應(yīng)的第一關(guān)鍵點(diǎn)序列判斷人體是否摔倒；當(dāng)判斷人體摔倒時(shí)，生成報(bào)警信息。通過(guò)采集環(huán)境視頻中的人體，獲取人體姿態(tài)的變化，在判斷人體摔倒時(shí)生成報(bào)警信息，無(wú)需人體佩戴，不影響人體活動(dòng)的同時(shí)對(duì)人體狀態(tài)進(jìn)行檢測(cè)。

在本申請(qǐng)所提供的實(shí)施例中，應(yīng)該理解到，所揭露的裝置和方法，也可以通過(guò)其它的方式實(shí)現(xiàn)。以上所描述的裝置實(shí)施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的裝置、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)方式中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專(zhuān)用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn)，或者可以用專(zhuān)用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。