本技術(shù)涉及扶梯監(jiān)控，具體涉及一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控系統(tǒng)和方法。

背景技術(shù)：

1、扶梯是一種在公共場所廣泛使用的交通工具，能夠方便人們在不同樓層之間快速移動。扶梯通過一系列的梯級和扶手帶，以固定速度沿傾斜軌道持續(xù)運(yùn)行，當(dāng)乘客踏上梯級時，扶梯自動將其送往目的地。由于其運(yùn)載能力強(qiáng)、運(yùn)行效率高等優(yōu)點，扶梯已成為大型商場、地鐵站、機(jī)場等場所必不可少的垂直運(yùn)輸設(shè)備。

2、然而，隨著扶梯使用年限的增加，其部件容易出現(xiàn)老化、磨損等問題，如梯級斷裂、扶手松脫、驅(qū)動系統(tǒng)故障等，這些問題若不能及時發(fā)現(xiàn)和處理，極易引發(fā)嚴(yán)重的安全事故。同時，一些乘客在乘坐扶梯時，可能出現(xiàn)逆行、攀爬、推擠等不安全行為，也會給自己和他人帶來傷害風(fēng)險。因此，如何實現(xiàn)對扶梯設(shè)備狀態(tài)和乘客行為的實時監(jiān)控，及時預(yù)警和處置安全隱患，成為確保扶梯運(yùn)行安全必須解決的關(guān)鍵問題,

3、目前，常見的扶梯安全保障手段主要有兩種：一種是定期人工檢查，由專業(yè)人員對扶梯進(jìn)行全面的安全排查和維護(hù)保養(yǎng)；另一種是視頻監(jiān)控，通過攝像頭記錄扶梯運(yùn)行情況，人工查看視頻畫面，識別異常情況。但是，這兩種方式都存在一定局限性：人工檢查周期長、見效慢，難以發(fā)現(xiàn)早期故障征兆；視頻監(jiān)控依賴人眼識別危險，受主觀因素影響大，實時性和準(zhǔn)確性無法保證。因此，亟需一種更加高效、智能、可靠的技術(shù)方案，能夠?qū)崿F(xiàn)扶梯安全隱患的自動識別和主動預(yù)警，最大限度避免事故發(fā)生。

技術(shù)實現(xiàn)思路

1、有鑒于此，本技術(shù)實施例提供了一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控系統(tǒng)和方法，能夠?qū)Ψ鎏轄顟B(tài)進(jìn)行全面評估和精準(zhǔn)安全監(jiān)控，可以有效降低誤報率和漏報率，優(yōu)化維護(hù)策略，提高扶梯設(shè)備運(yùn)行安全性和可靠性。

2、為達(dá)到上述目的，本技術(shù)采用如下技術(shù)方案：

3、第一方面，本技術(shù)實施例提供了一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控系統(tǒng)，包括傳感器、圖像采集設(shè)備、邊緣節(jié)點和云平臺；

4、所述傳感器設(shè)置在扶梯的關(guān)鍵部位，用于采集扶梯的運(yùn)行狀態(tài)數(shù)據(jù)，所述運(yùn)行狀態(tài)數(shù)據(jù)包含梯級的振動信息、扶手的溫度信息以及驅(qū)動系統(tǒng)的噪聲信息，并將所述運(yùn)行狀態(tài)數(shù)據(jù)發(fā)送給所述邊緣節(jié)點；

5、所述圖像采集設(shè)備設(shè)置在扶梯的梯級和出入口上方，用于采集扶梯視頻圖像，并發(fā)送給所述邊緣節(jié)點；

6、所述邊緣節(jié)點用于接收所述運(yùn)行狀態(tài)數(shù)據(jù)和所述扶梯視頻圖像，對所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測，將超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)發(fā)送給云平臺，以及用于對所述扶梯視頻圖像進(jìn)行乘客行為檢測，在確定乘客存在異常行為時，將異常行為信息發(fā)送給所述云平臺；

7、所述云平臺用于根據(jù)所述異常運(yùn)行狀態(tài)數(shù)據(jù)和所述異常行為信息確定扶梯的健康度特征指標(biāo)，根據(jù)所述健康度特征指標(biāo)計算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，以及根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，根據(jù)扶梯的綜合健康度對扶梯進(jìn)行安全監(jiān)控。

8、第二方面，本技術(shù)實施例提供了一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控方法，包括：

9、獲取扶梯的運(yùn)行狀態(tài)數(shù)據(jù)和扶梯視頻圖像，所述運(yùn)行狀態(tài)數(shù)據(jù)包含梯級的振動信息、扶手的溫度信息以及驅(qū)動系統(tǒng)的噪聲信息，所述扶梯視頻圖像通過設(shè)置在扶梯的梯級和出入口上方的圖像采集設(shè)備采集得到；

10、基于頻譜能量和頻譜熵對所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測，確定超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)；

11、對所述扶梯視頻圖像進(jìn)行乘客行為檢測，確定視頻圖像中乘客存在的異常行為信息，所述異常行為信息包含摔倒、逆行和攀爬中的至少一種；

12、根據(jù)所述異常運(yùn)行狀態(tài)數(shù)據(jù)和所述異常行為信息確定扶梯的健康度特征指標(biāo)，所述健康度特征指標(biāo)包含振動噪聲相關(guān)指標(biāo)、溫度異常指數(shù)、行為影響系數(shù)、趨勢指數(shù)和環(huán)境影響系數(shù)；

13、根據(jù)所述健康度特征指標(biāo)計算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，所述多種預(yù)設(shè)健康狀態(tài)包含正常、輕微異常、中度異常和嚴(yán)重異常，正常、輕微異常、中度異常和嚴(yán)重異常表征的扶梯健康狀態(tài)依次變差；

14、根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，并基于扶梯的綜合健康度對扶梯進(jìn)行安全監(jiān)控。

15、基于第二方面，在一些實施例中，所述根據(jù)所述異常運(yùn)行狀態(tài)數(shù)據(jù)和所述異常行為信息確定扶梯的健康度特征指標(biāo)，包括：

16、通過r＝cov(v,n)/(std(v)*std(n))計算振動數(shù)據(jù)序列和噪聲數(shù)據(jù)序列的皮爾遜相關(guān)系數(shù)，得到振動噪聲相關(guān)指標(biāo)r，v為振動信息序列，n為噪聲信息序列；其中，振動噪聲相關(guān)指標(biāo)r反映振動信息和噪聲信息的相關(guān)性強(qiáng)度；

17、通過tai＝(t-tref)/trange計算溫度異常指數(shù)tai，t為扶梯的當(dāng)前溫度，tref為扶梯的正常參考溫度，trange為扶手的溫度正常變化范圍；其中，溫度異常指數(shù)tai反映扶梯溫度的異常程度；

18、通過bic＝σ(wi×bi)計算行為影響系數(shù)bic，wi為第i種異常行為的權(quán)重，bi是該異常行為的發(fā)生次數(shù)；其中，bic反映乘客異常行為的綜合影響程度；

19、通過計算趨勢指數(shù)ti，xt為運(yùn)行狀態(tài)數(shù)據(jù)的當(dāng)前值，為運(yùn)行狀態(tài)數(shù)據(jù)的歷史平均值，σ為標(biāo)準(zhǔn)差；其中，趨勢指數(shù)ti反映被監(jiān)測的運(yùn)行狀態(tài)數(shù)據(jù)的變化趨勢；

20、通過eic＝(w1t+w2h+w3l)×s計算環(huán)境影響系數(shù)eic，t為溫度因子，h為濕度因子，l為負(fù)載因子，s為季節(jié)因子，w1、w2、w3分別為溫度、濕度、負(fù)載的權(quán)重系數(shù)，w1+w2+w3＝1；其中，環(huán)境影響系數(shù)eic反映環(huán)境條件對扶梯運(yùn)行的影響程度。

21、基于第二方面，在一些實施例中，所述根據(jù)所述健康度特征指標(biāo)計算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，包括：

22、確定每種健康度特征指標(biāo)在各種預(yù)設(shè)健康狀態(tài)下的基本概率分配，并基于各種健康度特征指標(biāo)的預(yù)設(shè)權(quán)重對相應(yīng)的基本概率分配進(jìn)行調(diào)整；

23、根據(jù)調(diào)整后的健康度特征指標(biāo)的基本概率分配計算沖突度；

24、在所述沖突度小于第一沖突度閾值時，根據(jù)調(diào)整后的基本概率分配計算扶梯處于每種預(yù)設(shè)健康狀態(tài)下的概率；

25、在所述沖突度大于等于第一沖突度閾值且小于第二沖突閾值時，根據(jù)各個基本概率分配與其他基本概率分配之間的平均沖突度對各種健康度特征指標(biāo)的預(yù)設(shè)權(quán)重進(jìn)行調(diào)整，直至所述沖突度小于第一沖突度閾值；

26、在所述沖突度大于等于第二沖突閾值時，生成扶梯異常警報；其中，第二沖突度閾值大于第一沖突度閾值。

27、基于第二方面，在一些實施例中，所述確定每種健康度特征指標(biāo)在各種預(yù)設(shè)健康狀態(tài)下的基本概率分配，包括：對于每種預(yù)設(shè)健康狀態(tài)，基于健康度特征指標(biāo)的數(shù)值確定該健康度特征指標(biāo)在每種預(yù)設(shè)健康狀態(tài)下的基本概率分配的計算公式，將健康度特征指標(biāo)的數(shù)值代入該計算公式中計算得到該健康度特征指標(biāo)在每種預(yù)設(shè)健康狀態(tài)下的基本概率分配；

28、所述根據(jù)調(diào)整后的基本概率分配計算扶梯處于每種預(yù)設(shè)健康狀態(tài)下的概率，包括：對于第一預(yù)設(shè)健康狀態(tài)，確定第一事件和第二事件的所有組合，所述第一事件與所述第二事件的交集為第一預(yù)設(shè)健康狀態(tài)，所述第一預(yù)設(shè)健康狀態(tài)為正常、輕微異常、中度異常和嚴(yán)重異常中的一種；對于第一事件和第二事件的每一組合，將第一事件對應(yīng)的基本概率分配與第二事件對應(yīng)的基本概率分配相乘，將第一事件和第二事件的各個組合對應(yīng)的乘積相加，得到扶梯處于第一預(yù)設(shè)健康狀態(tài)下的概率。

29、基于第二方面，在一些實施例中，所述根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，包括：

30、根據(jù)計算事件a發(fā)生的可信度bel(a)，根據(jù)u(a)＝pl(a)-bel(a)計算事件a的不確定度區(qū)間u(a)，事件a為扶梯處于正常、輕微異常、中度異常和嚴(yán)重異常中的任一種狀態(tài)，b表示扶梯處于正常、輕微異常、中度異常和嚴(yán)重異常的任一種狀態(tài)；

31、根據(jù)扶梯處于輕微異常、中度異常和嚴(yán)重異常下的三個概率以及可信度bel(a)確定扶梯的綜合健康度；

32、在可信度bel(a)大于可信度閾值且不確定度區(qū)間u(a)小于不確定區(qū)間閾值時，執(zhí)行扶梯的綜合健康度對應(yīng)的扶梯監(jiān)控方案；其中，扶梯監(jiān)控方案包括扶梯狀態(tài)良好無需干預(yù)、增加檢查頻率、維護(hù)和檢修停運(yùn)。

33、基于第二方面，在一些實施例中，所述基于頻譜能量和頻譜熵對所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測，確定超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)，包括：

34、通過快速傅里葉變換對所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行頻譜分析，計算所述運(yùn)行狀態(tài)數(shù)據(jù)的頻譜能量和頻譜熵；其中，通過計算所述運(yùn)行狀態(tài)數(shù)據(jù)的頻譜能量e，通過計算所述運(yùn)行狀態(tài)數(shù)據(jù)的頻譜熵h，x(t)為所述運(yùn)行狀態(tài)數(shù)據(jù)；

35、將所述頻譜能量與預(yù)設(shè)頻譜能量范圍進(jìn)行比較，將所述頻譜熵與預(yù)設(shè)頻譜熵范圍進(jìn)行比較；

36、若所述頻譜能量超出所述預(yù)設(shè)頻譜能量范圍，和/或所述頻譜熵超出所述預(yù)設(shè)頻譜熵范圍，則將該運(yùn)行狀態(tài)數(shù)據(jù)作為異常運(yùn)行狀態(tài)數(shù)據(jù)。

37、基于第二方面，在一些實施例中，在通過快速傅里葉變換對所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行頻譜分析之前，所述對所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測，確定超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)，還包括：

38、通過卷積神經(jīng)網(wǎng)絡(luò)從所述運(yùn)行狀態(tài)數(shù)據(jù)中提取用于表征扶梯健康狀態(tài)的局部特征；

39、通過注意力機(jī)制自適應(yīng)地融合各種扶梯運(yùn)行狀態(tài)數(shù)據(jù)的局部特征，得到扶梯的全局健康狀態(tài)表征；其中，通過融合各種扶梯運(yùn)行狀態(tài)數(shù)據(jù)的局部特征，得到扶梯的全局健康狀態(tài)表征；v(a)為扶梯的全局健康狀態(tài)表征向量，表示第i個傳感器采集的數(shù)據(jù)的特征向量，為第i個傳感器的注意力權(quán)重，n為傳感器的數(shù)量，且為第i個傳感器采集的數(shù)據(jù)的隱藏表示，u(a)為注意力向量，和為線性變換的預(yù)設(shè)參數(shù)；

40、之后，通過快速傅里葉變換對扶梯的全局健康狀態(tài)表征進(jìn)行頻譜分析，計算扶梯的全局健康狀態(tài)表征的頻譜能量和頻譜熵，并執(zhí)行上述將所述頻譜能量與預(yù)設(shè)頻譜能量范圍進(jìn)行比較，將所述頻譜熵與預(yù)設(shè)頻譜熵范圍進(jìn)行比較的步驟。

41、基于第二方面，在一些實施例中，所述對所述扶梯視頻圖像進(jìn)行乘客行為檢測，確定視頻圖像中乘客存在的異常行為信息，包括：

42、將所述扶梯視頻圖像輸入卷積神經(jīng)圖網(wǎng)絡(luò)，生成特征圖，并基于所述特征圖進(jìn)行人體檢測；

43、在檢測到人體后，確定人體的多個關(guān)鍵點的位置坐標(biāo)；

44、將所述多個關(guān)鍵點的位置坐標(biāo)映射到扶梯三維空間坐標(biāo)系，得到乘客在扶梯上的位置姿態(tài)；

45、根據(jù)所述位置姿態(tài)確定視頻圖像中乘客存在的異常行為信息；

46、所述根據(jù)所述位置姿態(tài)確定視頻圖像中乘客存在的異常行為信息，包括：基于所述位置姿態(tài)計算乘客的移動速度和平均速度，根據(jù)所述平均速度確定乘客是否存在逆行異常行為；確定所述多個關(guān)鍵點中的手部關(guān)鍵點和腳部關(guān)鍵點，根據(jù)所述手部關(guān)鍵點和所述腳部關(guān)鍵點在豎直方向坐標(biāo)軸上的坐標(biāo)值確定乘客是否存在攀爬異常行為；確定所述多個關(guān)鍵點中的頭部關(guān)鍵點和腳部關(guān)鍵點，根據(jù)所述頭部關(guān)鍵點和所述腳部關(guān)鍵點在豎直方向坐標(biāo)軸上的坐標(biāo)值確定乘客是否存在摔倒異常行為；

47、所述根據(jù)所述位置姿態(tài)確定視頻圖像中乘客存在的異常行為信息，包括：構(gòu)建相鄰關(guān)鍵點之間的多個向量表示，每個向量表示對應(yīng)的兩個關(guān)鍵點為人體同一肢體部位的關(guān)鍵點；若存在兩個向量表示之間的角度變化大于閾值，則根據(jù)該兩個向量變化前后的角度和預(yù)設(shè)的異常行為向量角度集合確定異常行為。

48、基于第二方面，在一些實施例中，在所述對所述扶梯視頻圖像進(jìn)行乘客行為檢測，確定視頻圖像中乘客存在的異常行為信息之后，所述方法還包括

49、確定乘客所在的區(qū)域；其中，該區(qū)域包括扶梯的第一區(qū)域、第二區(qū)域和第三區(qū)域，扶梯的第一區(qū)域、第二區(qū)域和第三區(qū)域依次連通且包含整個扶梯；

50、根據(jù)該異常行為、乘客所在的區(qū)域以及扶梯上乘客的分布情況，生成扶梯控制策略；

51、其中，扶梯控制策略包含：

52、若異常行為為攀爬行為，則控制扶梯減速并發(fā)出警告，若該攀爬行為持續(xù)時間大于預(yù)設(shè)時間，則控制扶梯臨時停止運(yùn)行；

53、在異常行為為摔倒行為時，若發(fā)生摔倒行為的乘客所在的區(qū)域后面的相鄰區(qū)域存在其他乘客且乘客密度大于密度閾值，或者當(dāng)前時間位于預(yù)設(shè)時間段內(nèi)，則控制扶梯停止運(yùn)行；否則，控制扶梯減速并發(fā)出語音警告；其中，區(qū)域后面的區(qū)域基于扶梯運(yùn)行方向確定，扶梯運(yùn)行方向的相反方向為后面。

54、本技術(shù)實施例與現(xiàn)有技術(shù)相比存在的有益效果包括：

55、本技術(shù)實施例中，首先獲取扶梯的運(yùn)行狀態(tài)數(shù)據(jù)并采集扶梯視頻圖像，通過邊緣節(jié)點對運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測，將超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)發(fā)送給云平臺，通過邊緣節(jié)點對扶梯視頻圖像進(jìn)行乘客行為檢測，在確定乘客存在異常行為時，將所述異常行為發(fā)送給云平臺，云平臺根據(jù)異常運(yùn)行狀態(tài)數(shù)據(jù)和異常行為信息確定扶梯的健康度特征指標(biāo)，根據(jù)健康度特征指標(biāo)計算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，以及根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，根據(jù)扶梯的綜合健康度對扶梯進(jìn)行安全監(jiān)控。

56、本技術(shù)實施例以傳感器采集的扶梯運(yùn)行狀態(tài)數(shù)據(jù)和扶梯視頻圖像為基礎(chǔ)，根據(jù)異常運(yùn)行狀態(tài)數(shù)據(jù)和異常行為信息確定扶梯的確定健康度特征指標(biāo)，進(jìn)而再計算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，再根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，從而根據(jù)扶梯的綜合健康度對扶梯進(jìn)行安全監(jiān)控，實現(xiàn)了對扶梯狀態(tài)的全面評估和精準(zhǔn)安全監(jiān)控，具有自動化數(shù)據(jù)采集、智能化狀態(tài)評估和預(yù)測性維護(hù)決策能力，可以有效降低誤報率和漏報率，優(yōu)化維護(hù)策略，提高扶梯設(shè)備運(yùn)行安全性和可靠性。