本技術(shù)涉及計(jì)算機(jī)，尤其涉及一種車地協(xié)同視頻壓縮還原傳輸方法和系統(tǒng)。

背景技術(shù)：

1、車地協(xié)同視頻傳輸是指將高速行駛車輛中的車載攝像頭實(shí)時(shí)捕獲的車內(nèi)外高清視頻傳輸至地面接收站。由于所需要傳輸?shù)囊曨l數(shù)據(jù)量巨大，帶寬資源有限，并且車輛高速移動(dòng)會(huì)導(dǎo)致網(wǎng)絡(luò)狀態(tài)有較大的波動(dòng)，使得視頻無法在車地之間進(jìn)行高效和穩(wěn)定的傳輸。

2、因此，如何在車地之間進(jìn)行高效和穩(wěn)定的視頻傳輸成為業(yè)界亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種車地協(xié)同視頻壓縮還原傳輸方法和系統(tǒng)，用于解決如何在車地之間進(jìn)行高效和穩(wěn)定的視頻傳輸?shù)募夹g(shù)問題。

2、本技術(shù)提供一種車地協(xié)同視頻壓縮還原傳輸方法，包括：

3、對(duì)車輛采集的待傳輸視頻中的各個(gè)視頻幀進(jìn)行特征提取，基于提取到的特征進(jìn)行聚類，確定所述待傳輸視頻中的關(guān)鍵幀；

4、基于車地之間的信道狀態(tài)參數(shù)確定所述待傳輸視頻中關(guān)鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀；

5、基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀；

6、基于所述傳輸幀和所述中間幀生成圖像序列，對(duì)所述圖像序列進(jìn)行超分辨率還原，得到所述待傳輸視頻在地面站對(duì)應(yīng)的還原視頻。

7、在一些實(shí)施例中，所述對(duì)車輛采集的待傳輸視頻中的各個(gè)視頻幀進(jìn)行特征提取，基于提取到的特征進(jìn)行聚類，確定所述待傳輸視頻中的關(guān)鍵幀，包括：

8、基于特征提取網(wǎng)絡(luò)對(duì)所述待傳輸視頻中的各個(gè)視頻幀進(jìn)行特征提取，得到各個(gè)視頻幀對(duì)應(yīng)的圖像特征；

9、對(duì)各個(gè)視頻幀對(duì)應(yīng)的圖像特征進(jìn)行聚類，得到多個(gè)類；

10、將各個(gè)類中最接近聚類中心的圖像特征對(duì)應(yīng)的視頻幀作為關(guān)鍵幀；

11、其中，所述特征提取網(wǎng)絡(luò)是基于樣本待傳輸視頻和樣本待傳輸視頻對(duì)應(yīng)的還原視頻進(jìn)行訓(xùn)練得到的；所述特征提取網(wǎng)絡(luò)至少包括一個(gè)注意力特征提取層。

12、在一些實(shí)施例中，所述基于車地之間的信道狀態(tài)參數(shù)確定所述待傳輸視頻中關(guān)鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀，包括：

13、獲取車地之間的多個(gè)信道狀態(tài)參數(shù)的實(shí)時(shí)值；

14、基于各個(gè)信道狀態(tài)參數(shù)對(duì)應(yīng)的計(jì)算權(quán)重，以及各個(gè)信道狀態(tài)參數(shù)的實(shí)時(shí)值，確定車地之間的信道狀態(tài)估計(jì)值；

15、基于所述信道狀態(tài)估計(jì)值，確定所述關(guān)鍵幀的傳輸比例和所述普通幀的傳輸比例；

16、其中，所述關(guān)鍵幀的傳輸比例與所述信道狀態(tài)估計(jì)值成反比；所述普通幀的傳輸比例與所述信道狀態(tài)估計(jì)值成正比。

17、在一些實(shí)施例中，所述基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀，包括：

18、基于光流計(jì)算網(wǎng)絡(luò)對(duì)相鄰的第一傳輸幀和第二傳輸幀進(jìn)行光流計(jì)算，得到所述第一傳輸幀和所述第二傳輸幀之間的雙向光流；

19、基于所述雙向光流，確定所述中間幀到所述第一傳輸幀的第一光流和所述中間幀到所述第二傳輸幀的第二光流；

20、基于光流插值網(wǎng)絡(luò)對(duì)所述第一光流和所述第二光流進(jìn)行處理，確定所述中間幀相對(duì)于所述第一傳輸幀的第一可見性圖和所述中間幀相對(duì)于所述第二傳輸幀的第二可見性圖；

21、基于所述第一可見性圖和所述第二可見性圖，在所述第一傳輸幀和所述第二傳輸幀之間進(jìn)行插值，生成所述中間幀。

22、在一些實(shí)施例中，所述基于所述傳輸幀和所述中間幀生成圖像序列，對(duì)所述圖像序列進(jìn)行超分辨率還原，得到所述待傳輸視頻在地面站對(duì)應(yīng)的還原視頻，包括：

23、基于所述傳輸幀和所述中間幀生成初始圖像序列；

24、基于圖像預(yù)處理網(wǎng)絡(luò)對(duì)所述初始圖像序列進(jìn)行預(yù)處理，得到所述圖像序列；

25、基于超分辨率還原網(wǎng)絡(luò)對(duì)所述圖像序列進(jìn)行處理，得到所述圖像序列中各個(gè)幀對(duì)應(yīng)的還原幀；

26、基于各個(gè)幀對(duì)應(yīng)的還原幀，生成所述待傳輸視頻在地面站對(duì)應(yīng)的還原視頻；

27、其中，所述圖像預(yù)處理網(wǎng)絡(luò)包括多個(gè)殘差塊；所述預(yù)處理包括降噪和去偽影。

28、在一些實(shí)施例中，所述基于圖像預(yù)處理網(wǎng)絡(luò)對(duì)所述初始圖像序列進(jìn)行預(yù)處理，得到所述圖像序列，包括：

29、確定所述初始圖像序列中的當(dāng)前幀；

30、基于所述圖像預(yù)處理網(wǎng)絡(luò)對(duì)所述當(dāng)前幀進(jìn)行預(yù)處理，得到所述當(dāng)前幀的當(dāng)前迭代處理結(jié)果；

31、在所述當(dāng)前迭代處理結(jié)果與所述當(dāng)前幀的上一迭代處理結(jié)果的差值大于預(yù)設(shè)差值的情況下，基于所述圖像預(yù)處理網(wǎng)絡(luò)繼續(xù)對(duì)所述當(dāng)前幀的當(dāng)前迭代處理結(jié)果進(jìn)行預(yù)處理；

32、在所述當(dāng)前迭代處理結(jié)果與所述當(dāng)前幀的上一迭代處理結(jié)果的差值小于預(yù)設(shè)差值的情況下，將所述當(dāng)前迭代處理結(jié)果作為所述當(dāng)前幀的預(yù)處理結(jié)果，并將所述初始圖像序列中的下一幀確定為當(dāng)前幀；

33、基于所述初始圖像序列中各個(gè)幀的預(yù)處理結(jié)果，確定所述圖像序列。

34、在一些實(shí)施例中，所述方法還包括：

35、在所述超分辨率還原網(wǎng)絡(luò)的訓(xùn)練過程中，對(duì)訓(xùn)練樣本進(jìn)行隨機(jī)退化處理。

36、本技術(shù)提供一種車地協(xié)同視頻壓縮還原傳輸系統(tǒng)，包括：

37、關(guān)鍵幀提取模塊，用于對(duì)車輛采集的待傳輸視頻中的各個(gè)視頻幀進(jìn)行特征提取，基于提取到的特征進(jìn)行聚類，確定所述待傳輸視頻中的關(guān)鍵幀；

38、視頻傳輸模塊，用于基于車地之間的信道狀態(tài)參數(shù)確定所述待傳輸視頻中關(guān)鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀；

39、中間幀插入模塊，用于基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀；

40、視頻還原模塊，用于基于所述傳輸幀和所述中間幀生成圖像序列，對(duì)所述圖像序列進(jìn)行超分辨率還原，得到所述待傳輸視頻在地面站對(duì)應(yīng)的還原視頻。

41、本技術(shù)提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)所述的車地協(xié)同視頻壓縮還原傳輸方法。

42、本技術(shù)提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的車地協(xié)同視頻壓縮還原傳輸方法。

43、本技術(shù)提供的車地協(xié)同視頻壓縮還原傳輸方法和系統(tǒng)，對(duì)車輛采集的待傳輸視頻中的各個(gè)視頻幀進(jìn)行特征提取，基于提取到的特征進(jìn)行聚類，確定待傳輸視頻中的關(guān)鍵幀；基于車地之間的信道狀態(tài)參數(shù)確定待傳輸視頻中關(guān)鍵幀與普通幀的傳輸比例，基于傳輸比例確定待傳輸視頻中的傳輸幀；基于相鄰傳輸幀之間的光流和可見性圖，生成相鄰傳輸幀之間的中間幀；基于傳輸幀和中間幀生成圖像序列，對(duì)圖像序列進(jìn)行超分辨率還原，得到待傳輸視頻在地面站對(duì)應(yīng)的還原視頻；由于對(duì)待傳輸視頻中的各個(gè)視頻幀進(jìn)行了特征提取和聚類，能夠在復(fù)雜視頻內(nèi)容中準(zhǔn)確提取關(guān)鍵幀，減少傳輸數(shù)據(jù)量，提高了視頻的傳輸效率和質(zhì)量；由于根據(jù)車地之間的信道狀態(tài)參數(shù)實(shí)時(shí)地確定關(guān)鍵幀與普通幀的傳輸比例，使得視頻的傳輸與網(wǎng)絡(luò)通信質(zhì)量相適應(yīng)，提高了視頻在各種網(wǎng)絡(luò)通信條件下的傳輸效率和穩(wěn)定性；由于根據(jù)光流和可見性圖對(duì)相鄰傳輸幀進(jìn)行插值，可以準(zhǔn)確地預(yù)測(cè)物體的運(yùn)動(dòng)，生成平滑和自然中間幀，提高了視頻的質(zhì)量；由于對(duì)得到的傳輸幀進(jìn)行超分辨率還原，得到了更加清晰和詳細(xì)的還原圖像，提高了視頻的質(zhì)量；通過上述方式的結(jié)合從整體上實(shí)現(xiàn)了對(duì)視頻的壓縮和還原，節(jié)省了傳輸成本，實(shí)現(xiàn)了在車地之間進(jìn)行高效和穩(wěn)定的視頻傳輸。