本發(fā)明屬于電子白板投屏領(lǐng)域，具體涉及一種電子白板投屏程序獲取usb麥克風(fēng)和攝像頭設(shè)備的方法。

背景技術(shù)：

1、隨著現(xiàn)代教育和會(huì)議系統(tǒng)的普及，電子白板上的投屏軟件作為一種交互式工具被廣泛應(yīng)用。由于電子白板上使用的操作系統(tǒng)的不同，導(dǎo)致usb麥克風(fēng)和攝像頭數(shù)據(jù)采集困難，同時(shí)采集到的視頻數(shù)據(jù)和音頻數(shù)據(jù)上傳至計(jì)算機(jī)端需要占據(jù)大量?jī)?nèi)存，影響計(jì)算機(jī)端的處理和使用。

2、傳統(tǒng)的采集方法通常采用usb麥克風(fēng)和攝像頭直接與計(jì)算機(jī)連接，以實(shí)時(shí)采集音頻和視頻數(shù)據(jù)，但由于電子白板和計(jì)算機(jī)使用的操作系統(tǒng)不同，usb麥克風(fēng)和攝像頭的驅(qū)動(dòng)程序無(wú)法在所有操作系統(tǒng)上無(wú)縫運(yùn)行，這導(dǎo)致了數(shù)據(jù)采集過(guò)程中的不穩(wěn)定性。同時(shí)傳統(tǒng)方法通常未對(duì)采集的音視頻數(shù)據(jù)進(jìn)行壓縮，導(dǎo)致數(shù)據(jù)體積龐大，不僅增加了數(shù)據(jù)傳輸?shù)膸捫枨螅矊?dǎo)致傳輸速度減慢，而傳統(tǒng)的視頻壓縮技術(shù)追求高壓縮率，影響視頻的質(zhì)量。因此，以上方法都不能很好地采集電子白板上的usb麥克風(fēng)和攝像頭數(shù)據(jù)，影響系統(tǒng)的整體性能。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本發(fā)明提供了一種電子白板投屏程序獲取usb麥克風(fēng)和攝像頭設(shè)備的方法，

2、本發(fā)明的目的可以通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

3、一種電子白板投屏程序獲取usb麥克風(fēng)和攝像頭設(shè)備的方法，包括：

4、獲取原始電子白板視頻數(shù)據(jù)，macos電腦端通過(guò)mdns電子白板模型得到電子白板設(shè)備信息，所述電子白板設(shè)備信息包括電子白板設(shè)備id和電子白板設(shè)備ip地址；

5、根據(jù)所述電子白板設(shè)備信息通過(guò)建立設(shè)備列表數(shù)據(jù)傳輸模型得到電子白板選擇設(shè)備；

6、根據(jù)所述電子白板選擇設(shè)備通過(guò)音視頻數(shù)據(jù)通道模型得到電子白板音頻數(shù)據(jù)和電子白板視頻數(shù)據(jù)；

7、根據(jù)所述電子白板音頻數(shù)據(jù)通過(guò)音頻壓縮傳輸模型傳輸?shù)絤acos虛擬聲卡輸入端；

8、根據(jù)所述電子白板視頻數(shù)據(jù)通過(guò)視頻壓縮傳輸模型傳輸?shù)絤acos虛擬攝像頭輸入端。

9、優(yōu)選的，所述mdns電子白板模型具體包括macos電腦通過(guò)mdns協(xié)議多播方式在局域網(wǎng)內(nèi)廣播設(shè)備得到局域網(wǎng)設(shè)備列表，所述局域網(wǎng)設(shè)備列表攜帶設(shè)備數(shù)量標(biāo)簽；

10、判斷所述設(shè)備數(shù)量標(biāo)簽是否為0，是，則檢查網(wǎng)絡(luò)連接、電子白板設(shè)備狀態(tài)、macos狀態(tài)；

11、否，則根據(jù)所述局域網(wǎng)設(shè)備列表通過(guò)解析得到所述電子白板設(shè)備信息。

12、優(yōu)選的，所述根據(jù)所述電子白板設(shè)備信息通過(guò)建立設(shè)備列表數(shù)據(jù)傳輸模型得到電子白板選擇設(shè)備包括：

13、根據(jù)所述電子白板設(shè)備信息與局域網(wǎng)設(shè)備信息通過(guò)數(shù)據(jù)校驗(yàn)判斷建立數(shù)據(jù)傳輸連接通道，所述局域網(wǎng)設(shè)備信息為局域網(wǎng)內(nèi)電子白板的信息；

14、根據(jù)所述數(shù)據(jù)傳輸連接通道通過(guò)tls加密協(xié)議得到數(shù)據(jù)傳輸加密連接通道；

15、根據(jù)所述數(shù)據(jù)傳輸加密連接通道通過(guò)發(fā)送設(shè)備查詢(xún)請(qǐng)求得到usb外設(shè)列表數(shù)據(jù)包；

16、根據(jù)所述usb外設(shè)列表數(shù)據(jù)包通過(guò)解析得到所述電子白板選擇設(shè)備。

17、優(yōu)選的，所述數(shù)據(jù)校驗(yàn)判斷包括：

18、判斷所述電子白板設(shè)備信息與所述局域網(wǎng)設(shè)備信息是否相等，是，則建立所述數(shù)據(jù)傳輸加密連接通道；

19、否，則重新連接macos和電子白板。

20、優(yōu)選的，所述根據(jù)所述電子白板選擇設(shè)備通過(guò)音視頻數(shù)據(jù)通道模型得到電子白板音頻數(shù)據(jù)和電子白板視頻數(shù)據(jù)包括：

21、根據(jù)所述電子白板選擇設(shè)備向所述macos發(fā)送數(shù)據(jù)連接請(qǐng)求，所述數(shù)據(jù)連接請(qǐng)求攜帶連接成功標(biāo)簽；

22、根據(jù)所述連接成功標(biāo)簽通過(guò)發(fā)送數(shù)據(jù)連接請(qǐng)求判斷建立音視頻數(shù)據(jù)通道；

23、根據(jù)所述音視頻數(shù)據(jù)通道通過(guò)webrtc協(xié)議得到音視頻數(shù)據(jù)加強(qiáng)通道，所述webrtc協(xié)議是確保數(shù)據(jù)傳輸?shù)蜁r(shí)延和高質(zhì)量的協(xié)議；

24、根據(jù)所述音視頻數(shù)據(jù)加強(qiáng)通道通過(guò)接收得到所述電子白板音頻數(shù)據(jù)和所述電子白板視頻數(shù)據(jù)。

25、優(yōu)選的，所述發(fā)送數(shù)據(jù)連接請(qǐng)求判斷包括：

26、判斷所述連接成功標(biāo)簽是否為1，是，則建立所述音視頻數(shù)據(jù)通道；

27、否，則重新連接macos和電子白板。

28、優(yōu)選的，所述根據(jù)所述電子白板音頻數(shù)據(jù)通過(guò)音頻壓縮傳輸模型傳輸?shù)絤acos虛擬聲卡輸入端包括：

29、根據(jù)所述電子白板音頻數(shù)據(jù)通過(guò)aac編碼得到電子白板aac音頻數(shù)據(jù)，所述電子白板aac音頻數(shù)據(jù)攜帶音頻數(shù)據(jù)數(shù)量標(biāo)簽；

30、根據(jù)所述電子白板aac音頻數(shù)據(jù)通過(guò)音頻數(shù)據(jù)數(shù)量標(biāo)簽判斷上傳至macos虛擬聲卡輸入端。

31、優(yōu)選的，所述音頻數(shù)據(jù)數(shù)量標(biāo)簽判斷包括：

32、判斷所述音頻數(shù)據(jù)數(shù)量標(biāo)簽是否為0，是，則對(duì)所述電子白板音頻數(shù)據(jù)重新進(jìn)行aac編碼；

33、否，則根據(jù)所述電子白板aac音頻數(shù)據(jù)通過(guò)socket傳輸?shù)絤acos虛擬聲卡輸入端。

34、優(yōu)選的，所述根據(jù)所述電子白板視頻數(shù)據(jù)通過(guò)視頻壓縮傳輸模型傳輸?shù)絤acos虛擬攝像頭輸入端包括：

35、根據(jù)所述電子白板視頻數(shù)據(jù)通過(guò)深度學(xué)習(xí)自編碼器視頻壓縮方法得到電子白板壓縮視頻數(shù)據(jù)；

36、根據(jù)所述電子白板壓縮視頻數(shù)據(jù)通過(guò)socket傳輸?shù)絤acos虛擬攝像頭輸入端。

37、優(yōu)選的，所述根據(jù)所述電子白板視頻數(shù)據(jù)通過(guò)深度學(xué)習(xí)自編碼器視頻壓縮方法得到電子白板壓縮視頻數(shù)據(jù)包括：

38、根據(jù)所述原始電子白板視頻數(shù)據(jù)通過(guò)卷積得到原始電子白板視頻數(shù)據(jù)特征圖；

39、將所述原始電子白板視頻數(shù)據(jù)特征圖通過(guò)最大值池化得到原始電子白板視頻數(shù)據(jù)池化特征圖；

40、將所述原始電子白板視頻數(shù)據(jù)池化特征圖通過(guò)全連接層得到原始電子白板壓縮視頻數(shù)據(jù)；

41、根據(jù)所述原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)通過(guò)電子白板視頻數(shù)據(jù)反卷積神經(jīng)網(wǎng)絡(luò)得到原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)；

42、根據(jù)所述原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)與所述原始電子白板視頻數(shù)據(jù)通過(guò)原始電子白板感知損失函數(shù)得到原始電子白板視頻數(shù)據(jù)損失值；

43、根據(jù)所述原始電子白板視頻數(shù)據(jù)損失值通過(guò)原始電子白板視頻數(shù)據(jù)參數(shù)更新得到訓(xùn)練后電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)；

44、根據(jù)所述電子白板視頻數(shù)據(jù)通過(guò)所述訓(xùn)練后電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)得到電子白板壓縮視頻數(shù)據(jù)，所述電子白板壓縮視頻數(shù)據(jù)攜帶視頻數(shù)據(jù)數(shù)量標(biāo)簽；

45、根據(jù)所述電子白板壓縮視頻數(shù)據(jù)通過(guò)視頻數(shù)據(jù)數(shù)量標(biāo)簽判斷上傳至macos虛擬攝像頭輸入端。

46、優(yōu)選的，所述原始電子白板感知損失函數(shù)的計(jì)算公式為：

47、

48、其中，lperceptual為所述原始電子白板視頻數(shù)據(jù)損失值，x為所述原始電子白板視頻數(shù)據(jù)，為所述原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)，l表示所述卷積神經(jīng)網(wǎng)絡(luò)第l層，φl(shuí)表示從所述卷積神經(jīng)網(wǎng)絡(luò)中提取的在第l層的特征映射，α為權(quán)重參數(shù)，β為權(quán)重參數(shù)。

49、優(yōu)選的，所述原始電子白板視頻數(shù)據(jù)參數(shù)更新的表達(dá)式為：

50、

51、其中，θe為電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，θd為電子白板視頻數(shù)據(jù)反卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，argmin表示取原始電子白板視頻數(shù)據(jù)參數(shù)更新函數(shù)值最小的θe和θd，n表示原始電子白板視頻數(shù)據(jù)的數(shù)量，x(i)表示第i個(gè)所述原始電子白板視頻數(shù)據(jù)，g表示所述電子白板視頻數(shù)據(jù)反卷積神經(jīng)網(wǎng)絡(luò)，f表示所述電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)，表示通過(guò)原始電子白板視頻數(shù)據(jù)參數(shù)更新的θe，表示通過(guò)原始電子白板視頻數(shù)據(jù)參數(shù)更新的θd。

52、優(yōu)選的，所述視頻數(shù)據(jù)數(shù)量標(biāo)簽判斷包括：

53、判斷所述視頻數(shù)據(jù)數(shù)量標(biāo)簽是否為0，是，則對(duì)所述電子白板視頻數(shù)據(jù)重新通過(guò)所述訓(xùn)練后電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)；

54、否，則根據(jù)所述電子白板壓縮視頻數(shù)據(jù)通過(guò)socket傳輸?shù)絤acos虛擬攝像頭輸入端。

55、一種基于電子白板投屏程序獲取usb麥克風(fēng)和攝像頭設(shè)備的方法的電子白板投屏程序獲取usb麥克風(fēng)和攝像頭設(shè)備系統(tǒng)，包括信息采集模塊、建立連接模塊、數(shù)據(jù)獲取模塊、音頻傳輸模塊、視頻傳輸模塊，包括：

56、所述信息采集模塊，用于獲取原始電子白板視頻數(shù)據(jù)，macos電腦端通過(guò)mdns電子白板模型得到電子白板設(shè)備信息，所述電子白板設(shè)備信息包括電子白板設(shè)備id和電子白板設(shè)備ip地址；

57、所述建立連接模塊，用于根據(jù)所述電子白板設(shè)備信息通過(guò)建立設(shè)備列表數(shù)據(jù)傳輸模型得到電子白板選擇設(shè)備；

58、所述數(shù)據(jù)獲取模塊，用于根據(jù)所述電子白板選擇設(shè)備通過(guò)音視頻數(shù)據(jù)通道模型得到電子白板音頻數(shù)據(jù)和電子白板視頻數(shù)據(jù)；

59、所述音頻傳輸模塊，用于根據(jù)所述電子白板音頻數(shù)據(jù)通過(guò)音頻壓縮傳輸模型傳輸?shù)絤acos虛擬聲卡輸入端；

60、所述視頻傳輸模塊，用于根據(jù)所述電子白板視頻數(shù)據(jù)通過(guò)視頻壓縮傳輸模型傳輸?shù)絤acos虛擬攝像頭輸入端。

61、一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述電子白板投屏程序獲取usb麥克風(fēng)和攝像頭設(shè)備方法。

62、一種包含計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令在由計(jì)算機(jī)處理器執(zhí)行時(shí)用于執(zhí)行上述電子白板投屏程序獲取usb麥克風(fēng)和攝像頭設(shè)備方法。

63、本發(fā)明的有益效果為：

64、(1)通過(guò)所述數(shù)據(jù)校驗(yàn)判斷、所述發(fā)送數(shù)據(jù)連接請(qǐng)求判斷、所述音頻數(shù)據(jù)數(shù)量標(biāo)簽判斷、所述視頻數(shù)據(jù)數(shù)量標(biāo)簽判斷，保證了數(shù)據(jù)傳輸?shù)姆€(wěn)定性和準(zhǔn)確性；

65、(2)通過(guò)tls加密協(xié)議，對(duì)所述數(shù)據(jù)傳輸連接通道進(jìn)行現(xiàn)加密，防止數(shù)據(jù)在傳輸過(guò)程中遭受未授權(quán)訪(fǎng)問(wèn)、篡改、泄露，保證數(shù)據(jù)在傳輸過(guò)程中的安全性和完整性；

66、(3)通過(guò)webrtc協(xié)議的點(diǎn)對(duì)點(diǎn)連接，實(shí)現(xiàn)了實(shí)時(shí)、低時(shí)延的音視頻傳輸，同時(shí)利用srtp和dtls加密保證了音視頻數(shù)據(jù)傳輸?shù)陌踩瑢?shí)現(xiàn)了不同操作系統(tǒng)之間數(shù)據(jù)的安全傳輸；

67、(4)通過(guò)深度學(xué)習(xí)自編碼器視頻壓縮方法，對(duì)所述電子白板視頻數(shù)據(jù)進(jìn)行壓縮，在加快所述電子白板視頻數(shù)據(jù)傳輸效率的同時(shí)，保證了所述電子白板視頻數(shù)據(jù)的質(zhì)量。