本發(fā)明涉及移動通訊設(shè)備使用監(jiān)控，尤其涉及一種玩手機(jī)行為檢測方法與裝置。

背景技術(shù)：

1、隨著信息技術(shù)的快速發(fā)展，人們對手機(jī)的依賴程度也越來越嚴(yán)重，由于玩手機(jī)消極怠工，甚至造成事故的情況屢見不鮮。過度依賴和不當(dāng)使用手機(jī)可能導(dǎo)致注意力分散、工作效率降低甚至安全隱患。尤其是在駕駛、會議、課堂等需要專注的場合，玩手機(jī)行為可能造成嚴(yán)重后果，因此玩手機(jī)導(dǎo)致的怠工和安全風(fēng)險(xiǎn)等問題需要引起高度重視。如果通過人力監(jiān)管的方式對人員進(jìn)行監(jiān)控，會增加人力成本；因此我們提出一種玩手機(jī)行為檢測方法與裝置來解決這個(gè)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了解決通過人力監(jiān)管的方式對人員進(jìn)行監(jiān)控，會增加人力成本的缺點(diǎn)，而提出的一種玩手機(jī)行為檢測方法與裝置。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

3、一種玩手機(jī)行為檢測方法，包括如下步驟：

4、s1、信息采集：實(shí)時(shí)場景的視頻、圖像和聲音信息；

5、s2、數(shù)據(jù)預(yù)處理：對視頻、圖像、聲音信息進(jìn)行預(yù)處理；

6、s3、人臉識別：根據(jù)處理后的視頻、圖像信息獲取人臉數(shù)據(jù)；

7、s4、姿態(tài)分析：結(jié)合姿態(tài)估計(jì)算法對人體動作進(jìn)行分析，判斷是否在使用手機(jī)；

8、s5、圖像分析：通過對場景圖像內(nèi)的明暗區(qū)分和色彩分布進(jìn)行判斷是否在使用手機(jī)；

9、s6、聲音分析：通過在聲音信息內(nèi)捕捉類似觸控手機(jī)屏幕或手機(jī)音響發(fā)出的聲音，從而判斷是否在使用手機(jī)；

10、s7、綜合分析：綜合視頻、圖片和聲音信息判斷是否在玩手機(jī)；

11、s8、結(jié)果輸出：將是否在玩手機(jī)的判定結(jié)果輸出。

12、優(yōu)選的，所述s4中，在進(jìn)行對人體動作進(jìn)行分析時(shí)，首先執(zhí)行人體2d關(guān)鍵點(diǎn)監(jiān)測和骨架定位，并構(gòu)建人體特定關(guān)節(jié)的空間位姿關(guān)系，進(jìn)行姿態(tài)估計(jì)以判斷手臂和手部的動作是否符合持握手機(jī)的姿態(tài)，根據(jù)這些信息以及預(yù)設(shè)的“玩手機(jī)”和“不玩手機(jī)”兩種狀態(tài)模型判斷。

13、優(yōu)選的，所述s2中，包括如下步驟：

14、s201、視頻處理：消除視頻內(nèi)的無關(guān)信息、回復(fù)和增強(qiáng)有效信息，將視頻的幀率和分辨率調(diào)整至適應(yīng)分析算法的要求；

15、s202、圖像處理：調(diào)整亮度、對比度和清晰度，使圖像更適合分析，改善圖像質(zhì)量，突出顯示關(guān)鍵特征，根據(jù)需要調(diào)整圖像大小，裁剪掉無關(guān)區(qū)域，將焦點(diǎn)放在潛在手持手機(jī)的區(qū)域，轉(zhuǎn)換圖像的顏色空間使得更容易檢測特定顏色或亮度的手機(jī)屏幕，清除圖像中的噪點(diǎn)，以免干擾后續(xù)的圖像識別過程，提取圖像的關(guān)鍵特征，如形狀、紋理、顏色等，以便進(jìn)行進(jìn)一步的分析；

16、s203、聲音處理：消除雜音，并裁剪無效聲音片段。

17、優(yōu)選的，所述s5中，在進(jìn)行圖像分析時(shí)，包括如下步驟：

18、s501、獲取相同區(qū)域的多人圖像，并根據(jù)不同人的面部的圖像進(jìn)行對比，根據(jù)不同人的圖像區(qū)別判斷有可能的玩手機(jī)行為；

19、s502、獲取同一人物不同時(shí)間段的圖像信息并進(jìn)行對比，并排除環(huán)境光線影響，判斷是否存在玩手機(jī)行為。

20、優(yōu)選的，所述s6中，在進(jìn)行聲音分析時(shí)，包括如下步驟：

21、s601、按鍵聲：檢測用戶按鍵的頻率和組合，高頻次的按鍵聲可能意味著用戶在使用手機(jī)打字或玩游戲；

22、s602、應(yīng)用提示音：許多應(yīng)用程序會發(fā)出特定的提示音，如消息通知、游戲音效等，這些聲音若頻繁出現(xiàn)，可能表明用戶正在使用手機(jī)進(jìn)行某些活動；

23、s603、通話與非通話狀態(tài)切換聲：如果聽到手機(jī)在非通話狀態(tài)下頻繁發(fā)出接通或掛斷電話的聲音，這可能表明用戶在進(jìn)行電話接聽或結(jié)束通話的行為。

24、本發(fā)明還提供了一種玩手機(jī)行為檢測裝置，包括：

25、信息采集模塊，用于采集視頻、圖像和聲音信息；

26、數(shù)據(jù)處理模塊，用于對獲取的信息進(jìn)行處理，所述數(shù)據(jù)處理模塊與所述信息采集模塊相連；

27、數(shù)據(jù)分析模塊，用于對處理后的信息進(jìn)行分析以判斷是否存在玩手機(jī)行為，所述數(shù)據(jù)分析模塊與所述信息采集模塊相連；

28、結(jié)果輸出模塊，用于將判斷結(jié)果輸出，所述結(jié)果輸出模塊與所述數(shù)據(jù)分析模塊相連。

29、優(yōu)選的，所述信息采集模塊包括高清攝像頭、高清相機(jī)和錄音器，所述高清攝像頭用于獲取場景視頻信息，所述高清相機(jī)用于獲取圖像信息，所述錄音器用于獲取聲音信息。

30、優(yōu)選的，所述數(shù)據(jù)處理模塊包括視頻處理單元、圖像處理單元和聲音處理單元。

31、優(yōu)選的，所述數(shù)據(jù)分析模塊包括：

32、姿態(tài)分析單元，用于結(jié)合視頻和姿態(tài)估計(jì)算法分析玩手機(jī)行為；

33、圖像分析單元，用于分析圖像信息判斷玩手機(jī)行為；

34、聲音分析單元，用于分析聲音信息判斷玩手機(jī)行為；

35、綜合分析單元，用于綜合音視頻和圖像信息，并進(jìn)行匹配融合，校對玩手機(jī)行為的判斷準(zhǔn)確性；

36、結(jié)果整合單元，用于整合分析結(jié)果。

37、與現(xiàn)有技術(shù)相比，本發(fā)明中提供了一種玩手機(jī)行為檢測方法與裝置，具備以下有益效果：

38、(1)通過高清攝像頭、高清相機(jī)和錄音器獲取實(shí)時(shí)場景的視頻、圖像和聲音信息，通過數(shù)據(jù)處理模塊用于對獲取的信息進(jìn)行處理，其中視頻處理單元消除視頻內(nèi)的無關(guān)信息、回復(fù)和增強(qiáng)有效信息，將視頻的幀率和分辨率調(diào)整至適應(yīng)分析算法的要求，圖像處理單元調(diào)整圖像亮度、對比度和清晰度，使圖像更適合分析，改善圖像質(zhì)量，突出顯示關(guān)鍵特征，根據(jù)需要調(diào)整圖像大小，裁剪掉無關(guān)區(qū)域，將焦點(diǎn)放在潛在手持手機(jī)的區(qū)域，轉(zhuǎn)換圖像的顏色空間使得更容易檢測特定顏色或亮度的手機(jī)屏幕，清除圖像中的噪點(diǎn)，以免干擾后續(xù)的圖像識別過程，提取圖像的關(guān)鍵特征，如形狀、紋理、顏色等，以便進(jìn)行進(jìn)一步的分析，聲音處理單元消除雜音并裁剪無效聲音片段，聲音處理單元；

39、(2)通過數(shù)據(jù)分析模塊對處理后的信息進(jìn)行分析以判斷是否存在玩手機(jī)行為，其中姿態(tài)分析單元首先執(zhí)行人體2d關(guān)鍵點(diǎn)監(jiān)測和骨架定位，并構(gòu)建人體特定關(guān)節(jié)的空間位姿關(guān)系，進(jìn)行姿態(tài)估計(jì)以判斷手臂和手部的動作是否符合持握手機(jī)的姿態(tài)，根據(jù)這些信息以及預(yù)設(shè)的“玩手機(jī)”和“不玩手機(jī)”兩種狀態(tài)模型判斷，圖像分析單元獲取相同區(qū)域的多人圖像，并根據(jù)不同人的面部的圖像進(jìn)行對比，根據(jù)不同人的圖像區(qū)別判斷有可能的玩手機(jī)行為，并獲取同一人物不同時(shí)間段的圖像信息并進(jìn)行對比，并排除環(huán)境光線影響，判斷是否存在玩手機(jī)行為，聲音分析單元檢測用戶按鍵的頻率和組合，高頻次的按鍵聲可能意味著用戶在使用手機(jī)打字或玩游戲，許多應(yīng)用程序會發(fā)出特定的提示音，如消息通知、游戲音效等，這些聲音若頻繁出現(xiàn)，可能表明用戶正在使用手機(jī)進(jìn)行某些活動，如果聽到手機(jī)在非通話狀態(tài)下頻繁發(fā)出接通或掛斷電話的聲音，這可能表明用戶在進(jìn)行電話接聽或結(jié)束通話的行為；

40、(3)通過采集圖像、視頻和聲音信息自動實(shí)現(xiàn)對玩手機(jī)行為的檢測，能夠在不侵犯用戶隱私的前提下，高效準(zhǔn)確地監(jiān)控和管理手機(jī)使用行為，適用于學(xué)校、企業(yè)、車輛等多種環(huán)境，有助于提升公共安全和工作效率。