本發(fā)明涉及圖像處理，特別涉及一種視頻通話方法和系統(tǒng)。

背景技術(shù)：

1、隨著通信技術(shù)的發(fā)展，視頻通話功能逐漸應(yīng)用到智能手表等可穿戴設(shè)備中，以提升人們之間通信的便捷性。但由于智能手表等可穿戴設(shè)備的硬件資源有限，在視頻通話期間，往往會(huì)產(chǎn)生巨額流量，并對(duì)設(shè)備的續(xù)航性能造成影響。

2、為解決以上問題，現(xiàn)有技術(shù)通常是采用視頻壓縮、擴(kuò)充設(shè)備的電池容量或增加設(shè)備中相關(guān)集成芯片的處理能力等方式。但這些方式無法在提升視頻通話質(zhì)量的同時(shí)兼顧設(shè)備的資源有限性，因此，需要提供一種視頻通話方法和系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種視頻通話方法和系統(tǒng)，改善了現(xiàn)有技術(shù)無法在提升視頻通話質(zhì)量的同時(shí)兼顧設(shè)備的資源有限性的問題。

2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種視頻通話方法，應(yīng)用于可穿戴設(shè)備，所述方法包括：獲取視頻通話的視頻流，并從所述視頻流中提取出所有的視頻幀；基于動(dòng)態(tài)矢量檢測(cè)算法，從所述所有的視頻幀中確定出關(guān)鍵視頻幀以及與之對(duì)應(yīng)的非關(guān)鍵視頻幀；對(duì)所述非關(guān)鍵視頻幀進(jìn)行降采樣處理；將降采樣處理后的所述非關(guān)鍵視頻幀和對(duì)應(yīng)的所述關(guān)鍵視頻幀發(fā)送至智能終端。

3、于本發(fā)明一實(shí)施例中，所述基于動(dòng)態(tài)矢量檢測(cè)算法，從所述所有的視頻幀中確定出關(guān)鍵視頻幀以及與之對(duì)應(yīng)的非關(guān)鍵視頻幀，包括：對(duì)所述所有的視頻幀進(jìn)行預(yù)處理；分析預(yù)處理后的所述所有的視頻幀，針對(duì)每一個(gè)視頻幀，將其作為目標(biāo)視頻幀進(jìn)行分析：基于所述目標(biāo)視頻幀和與之相鄰的第一視頻幀之間像素點(diǎn)的差異度，得到兩者之間的第一差分圖像；其中，所述第一視頻幀位于所述目標(biāo)視頻幀之前；基于所述目標(biāo)視頻幀和與之相鄰的第二視頻幀之間像素點(diǎn)的差異度，得到兩者之間的第二差分圖像；其中，所述第二視頻幀位于所述目標(biāo)視頻幀之后；基于所述第一差分圖像和所述第二差分圖像，確定所述目標(biāo)視頻幀為關(guān)鍵視頻幀或非關(guān)鍵視頻幀。

4、于本發(fā)明一實(shí)施例中，所述基于所述第一差分圖像和所述第二差分圖像，確定所述目標(biāo)視頻幀為關(guān)鍵視頻幀或非關(guān)鍵視頻幀：將所述第一差分圖像和所述第二差分圖像進(jìn)行邏輯與運(yùn)算，得到差異合成圖像；對(duì)所述差異合成圖像進(jìn)行二值化處理，得到二值化圖像；對(duì)所述二值化圖像進(jìn)行連通性分析，識(shí)別出所述二值化圖像中的所有連通區(qū)域；基于所述所有連通區(qū)域的面積，確定所述目標(biāo)視頻幀為關(guān)鍵視頻幀或非關(guān)鍵視頻幀。

5、于本發(fā)明一實(shí)施例中，所述基于所述所有連通區(qū)域的面積，確定所述目標(biāo)視頻幀為關(guān)鍵視頻幀或非關(guān)鍵視頻幀，包括：逐一分析每個(gè)連通區(qū)域：判斷該連通區(qū)域的面積是否大于預(yù)設(shè)的面積閾值：若是，則所述目標(biāo)視頻幀為該連通區(qū)域的關(guān)鍵視頻幀；否則，則繼續(xù)分析下一個(gè)連通區(qū)域；所有連通區(qū)域分析完畢后，若所述目標(biāo)視頻幀不是任一個(gè)連通區(qū)域的關(guān)鍵視頻幀，則將所述目標(biāo)視頻幀作為非關(guān)鍵視頻幀。

6、于本發(fā)明一實(shí)施例中，還提供一種視頻通話方法，應(yīng)用于智能終端，所述方法包括：接收可穿戴設(shè)備端發(fā)送的關(guān)鍵視頻幀和對(duì)應(yīng)的非關(guān)鍵視頻幀；將所述關(guān)鍵視頻幀和所述非關(guān)鍵視頻幀輸入至輕量級(jí)超分模型，依據(jù)所述關(guān)鍵視頻幀對(duì)所述非關(guān)鍵視頻幀進(jìn)行超分辨率復(fù)原；將所述關(guān)鍵視頻幀和復(fù)原后的所述非關(guān)鍵視頻幀依序排列，作為目標(biāo)視頻進(jìn)行呈現(xiàn)。

7、于本發(fā)明一實(shí)施例中，所述將所述關(guān)鍵視頻幀和所述非關(guān)鍵視頻幀輸入至輕量級(jí)超分模型，依據(jù)所述關(guān)鍵視頻幀對(duì)所述非關(guān)鍵視頻幀進(jìn)行超分辨率復(fù)原，包括：將所述關(guān)鍵視頻幀輸入至所述輕量級(jí)超分模型的第一特征提取模塊，對(duì)所述關(guān)鍵幀視頻進(jìn)行特征提取，得到關(guān)鍵幀特征圖；將所述非關(guān)鍵視頻幀輸入至所述輕量級(jí)超分模型的第二特征提取模塊，對(duì)所述非關(guān)鍵視頻幀進(jìn)行特征提取，得到非關(guān)鍵幀特征圖；將所述關(guān)鍵幀特征圖和所述非關(guān)鍵幀特征圖輸入至所述輕量級(jí)超分模型的特征融合模塊，將所述關(guān)鍵幀特征圖與所述非關(guān)鍵幀特征圖進(jìn)行特征融合，得到融合后特征圖；將所述融合后特征圖輸入至所述輕量級(jí)超分模型的基礎(chǔ)殘差模塊組，通過每一個(gè)基礎(chǔ)殘差模塊進(jìn)行特征處理，得到殘差特征圖，并將所有的殘差特征圖進(jìn)行多級(jí)殘差映射，得到增強(qiáng)特征圖；其中，所述基礎(chǔ)殘差模塊組包括多個(gè)級(jí)聯(lián)的基礎(chǔ)殘差模塊；將所述增強(qiáng)特征圖輸入至所述輕量級(jí)超分模型的上采樣模塊，對(duì)所述增強(qiáng)特征圖進(jìn)行上采樣，得到超分辨率復(fù)原后的非關(guān)鍵視頻幀。

8、于本發(fā)明一實(shí)施例中，所述通過每一個(gè)基礎(chǔ)殘差模塊進(jìn)行特征處理，得到殘差特征圖，包括：將所述融合后特征圖/殘差特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的特征提取單元進(jìn)行特征提取，得到深度特征圖；將所述深度特征圖與所述融合后特征圖/殘差特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的殘差連接單元進(jìn)行殘差連接，得到殘差特征圖。

9、于本發(fā)明一實(shí)施例中，所述通過每一個(gè)基礎(chǔ)殘差模塊進(jìn)行特征處理，得到殘差特征圖，包括：將所述融合后特征圖/殘差特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的第一特征提取單元提取第一特征，并基于像素注意力機(jī)制，對(duì)提取的第一特征進(jìn)行強(qiáng)化，得到增強(qiáng)特征圖；將所述融合后特征圖/殘差特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的第二特征提取單元提取第二特征，并在保留所述融合后特征圖/殘差特征圖的特征基礎(chǔ)上，對(duì)所述第二特征進(jìn)行處理，得到基礎(chǔ)特征圖；將所述增強(qiáng)特征圖和所述基礎(chǔ)特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的拼接單元進(jìn)行特征拼接，得到綜合特征圖；將所述綜合特征圖和輸入的所述融合后特征圖/殘差特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的連接單元進(jìn)行殘差連接，得到殘差特征圖。

10、于本發(fā)明一實(shí)施例中，所述通過每一個(gè)基礎(chǔ)殘差模塊進(jìn)行特征處理，得到殘差特征圖，包括：將所述融合后特征圖/殘差特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的特征增強(qiáng)單元，通過多個(gè)卷積層逐層提取特征，并在每次提取特征后與對(duì)應(yīng)卷積層的輸入特征進(jìn)行殘差連接，得到增強(qiáng)特征圖；將所述融合后特征圖/殘差特征圖和所述增強(qiáng)特征圖輸入至對(duì)應(yīng)的基礎(chǔ)殘差模塊的連接單元進(jìn)行殘差連接，得到殘差特征圖。

11、于本發(fā)明一實(shí)施例中，還提供一種視頻通話系統(tǒng)，所述系統(tǒng)包括彼此通信連接的可穿戴設(shè)備端和智能終端：所述可穿戴設(shè)備端包括：視頻幀提取模塊，用于獲取視頻通話的視頻流，并從所述視頻流中提取出所有的視頻幀；視頻幀篩選模塊，用于基于動(dòng)態(tài)矢量檢測(cè)算法，從所述所有的視頻幀中確定出關(guān)鍵視頻幀以及與之對(duì)應(yīng)的非關(guān)鍵視頻幀；降采樣模塊，用于對(duì)所述非關(guān)鍵視頻幀進(jìn)行降采樣處理；第一通信模塊，用于將降采樣處理后的所述非關(guān)鍵視頻幀和對(duì)應(yīng)的所述關(guān)鍵視頻幀發(fā)送至智能終端；所述智能終端包括：第二通信模塊，用于接收可穿戴設(shè)備端發(fā)送的關(guān)鍵視頻幀和對(duì)應(yīng)的非關(guān)鍵視頻幀；超分辨率復(fù)原模塊，用于將所述關(guān)鍵視頻幀和所述非關(guān)鍵視頻幀輸入至輕量級(jí)超分模型，依據(jù)所述關(guān)鍵視頻幀對(duì)所述非關(guān)鍵視頻幀進(jìn)行超分辨率復(fù)原；展現(xiàn)模塊，用于將所述關(guān)鍵視頻幀和復(fù)原后的所述非關(guān)鍵視頻幀依序排列，作為目標(biāo)視頻進(jìn)行呈現(xiàn)。

12、如上所述，本發(fā)明的一種視頻通話方法和系統(tǒng)，具有以下有益效果：可穿戴設(shè)備從視頻流中，基于動(dòng)態(tài)矢量檢測(cè)算法提取出關(guān)鍵視頻幀和非關(guān)鍵視頻幀，并對(duì)非關(guān)鍵視頻幀進(jìn)行降采樣。從而極大減少了數(shù)據(jù)傳輸量，利于降低可穿戴設(shè)備在視頻通話時(shí)的流量消耗和功耗，并延長(zhǎng)其續(xù)航時(shí)間。智能終端收到可穿戴設(shè)備傳輸?shù)慕挡蓸犹幚砗蟮姆顷P(guān)鍵視頻幀和對(duì)應(yīng)的關(guān)鍵視頻幀后，利用自身部署的輕量級(jí)超分模型，依據(jù)關(guān)鍵視頻幀對(duì)非關(guān)鍵視頻幀進(jìn)行超分辨率復(fù)原，能夠使得復(fù)原后的非關(guān)鍵視頻幀接近于原始分辨率，保證了視頻通話的實(shí)時(shí)性和質(zhì)量。本發(fā)明充分利用智能終端較強(qiáng)的計(jì)算能力，減輕了可穿戴設(shè)備的計(jì)算負(fù)擔(dān)，不僅可以有效提升可穿戴設(shè)備的續(xù)航能力、降低其功耗，還可以保證視頻通話質(zhì)量不受影響。