本技術(shù)實(shí)施例涉及圖像編碼領(lǐng)域,尤其涉及一種視頻編碼方法、裝置及相關(guān)設(shè)備。
背景技術(shù):
1、在視頻編碼中編碼標(biāo)準(zhǔn)中,一般將當(dāng)前圖片劃分成16x16的固定大小的宏塊,然后按照從左往右的順序?qū)γ總€(gè)宏塊進(jìn)行編碼。編碼過程中對(duì)當(dāng)前宏塊確定一個(gè)參考幀,使用運(yùn)動(dòng)估計(jì)的方法在參考幀中查找最匹配的塊,直到把當(dāng)前圖片中的所有宏塊都編碼完成,然后進(jìn)行下一幀圖片的編碼。但是這種方式會(huì)對(duì)圖片進(jìn)行無差別劃分和壓縮,出現(xiàn)人為的分化邊界,并且搜索區(qū)域也比較復(fù)雜,無法確定重要宏塊,從而導(dǎo)致視頻編碼效果較差的問題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供一種視頻編碼方法、裝置及相關(guān)設(shè)備,以解決現(xiàn)有技術(shù)中視頻編碼效果較差的問題。
2、為解決上述問題,本技術(shù)是這樣實(shí)現(xiàn)的:
3、第一方面,本技術(shù)實(shí)施例提供了一種視頻編碼方法,所述方法包括:
4、對(duì)待編碼圖像中的多個(gè)物體分別進(jìn)行標(biāo)識(shí),得到每個(gè)物體對(duì)應(yīng)的標(biāo)識(shí)信息,基于所述標(biāo)識(shí)信息對(duì)所述待編碼圖像進(jìn)行圖像分割,得到每個(gè)所述標(biāo)識(shí)信息對(duì)應(yīng)的子圖像;
5、對(duì)多個(gè)所述子圖像進(jìn)行排序和分組,得到多個(gè)圖像序列以及每個(gè)所述圖像序列與所述多個(gè)子圖像之間的映射關(guān)系,每個(gè)所述圖像序列中包括至少兩個(gè)所述子圖像;
6、在每個(gè)所述圖像序列中獲取該圖像序列對(duì)應(yīng)的匹配像素塊,并基于所述映射關(guān)系確定每個(gè)所述匹配像素塊對(duì)應(yīng)的一個(gè)目標(biāo)子圖像;其中,所述目標(biāo)子圖像為所述多個(gè)子圖像中的任意一個(gè),所述匹配像素塊為所述圖像序列中的圖像區(qū)域;
7、依次對(duì)每個(gè)所述目標(biāo)子圖像進(jìn)行編碼,得到視頻流。
8、可選的,所述對(duì)待編碼圖像中的多個(gè)物體分別進(jìn)行標(biāo)識(shí),得到每個(gè)物體對(duì)應(yīng)的標(biāo)識(shí)信息,包括:
9、將所述待編碼圖像輸入圖像識(shí)別模型進(jìn)行圖像識(shí)別,確定所述待編碼圖像包括的所述多個(gè)物體;
10、基于所述多個(gè)物體對(duì)所述待編碼圖像進(jìn)行區(qū)域分割,得到每個(gè)物體分別對(duì)應(yīng)的一個(gè)目標(biāo)區(qū)域;
11、分別對(duì)每個(gè)所述目標(biāo)區(qū)域內(nèi)的物體進(jìn)行標(biāo)識(shí),得到每個(gè)物體對(duì)應(yīng)的標(biāo)識(shí)信息。
12、可選的,所述基于所述標(biāo)識(shí)信息對(duì)所述待編碼圖像進(jìn)行圖像分割,得到每個(gè)所述標(biāo)識(shí)信息對(duì)應(yīng)的子圖像,包括:
13、遍歷每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)的物體,確定每個(gè)所述物體的標(biāo)記坐標(biāo);
14、根據(jù)每個(gè)所述物體的標(biāo)記坐標(biāo)在第一坐標(biāo)軸上確定第一最大坐標(biāo)和第一最小坐標(biāo),以及在第二坐標(biāo)軸上確定第二最大坐標(biāo)和第二最小坐標(biāo);
15、根據(jù)所述第一最大坐標(biāo)、所述第一最小坐標(biāo)、所述第二最大坐標(biāo)和所述第二最小坐標(biāo),獲取所述物體所在的圖像像素區(qū)域;
16、根據(jù)所述圖像像素區(qū)域?qū)λ龃幋a圖像進(jìn)行圖像分割,確定每個(gè)所述物體對(duì)應(yīng)的子圖像。
17、可選的,所述對(duì)多個(gè)所述子圖像進(jìn)行排序和分組,得到多個(gè)圖像序列以及每個(gè)所述圖像序列與所述多個(gè)子圖像之間的映射關(guān)系,包括:
18、計(jì)算所述每個(gè)子圖像對(duì)應(yīng)的編碼字節(jié)數(shù)、相同所述編碼字節(jié)數(shù)出現(xiàn)的次數(shù)和所述編碼字節(jié)數(shù)最多的子圖像集合的次數(shù),得到對(duì)應(yīng)所述每個(gè)子圖像的權(quán)重值;
19、根據(jù)所述每個(gè)子圖像的權(quán)重值將所述多個(gè)子圖像從大到小進(jìn)行排序,得到目標(biāo)圖像序列;
20、根據(jù)所述目標(biāo)圖像序列對(duì)所述多個(gè)子圖像進(jìn)行分組,得到所述多個(gè)圖像序列,以及根據(jù)每個(gè)所述圖像序列中所包括子圖像確定每個(gè)所述圖像序列對(duì)應(yīng)的映射關(guān)系。
21、可選的,所述在每個(gè)所述圖像序列中獲取該圖像序列對(duì)應(yīng)的匹配像素塊,并基于所述映射關(guān)系確定每個(gè)所述匹配像素塊對(duì)應(yīng)的一個(gè)目標(biāo)子圖像,包括:
22、在所述多個(gè)圖像序列中,針對(duì)每個(gè)子圖像,在每個(gè)所述子圖像中獲取一個(gè)目標(biāo)面積的宏塊;
23、在每個(gè)所述子圖像中確定與該子圖像的所述目標(biāo)面積的宏塊最匹配的匹配像素塊;
24、基于所述匹配像素塊和所述目標(biāo)面積的宏塊之間的相對(duì)位移,確定第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量;
25、基于所述映射關(guān)系將所述第一運(yùn)動(dòng)矢量和所述第二運(yùn)動(dòng)矢量映射到每所述每個(gè)子圖像所對(duì)應(yīng)的圖像序列的坐標(biāo)中,得到所述每個(gè)子圖像對(duì)應(yīng)的第三運(yùn)動(dòng)矢量和第四運(yùn)動(dòng)矢量;
26、根據(jù)所述第三運(yùn)動(dòng)矢量、所述第四運(yùn)動(dòng)矢量和所述映射關(guān)系確定每個(gè)所述匹配像素塊對(duì)應(yīng)的一個(gè)目標(biāo)子圖像。
27、可選的,所述在每個(gè)所述子圖像中確定與該子圖像的所述目標(biāo)面積的宏塊最匹配的匹配像素塊,包括:
28、在所述子圖像為即時(shí)解碼刷新幀idr的情況下,根據(jù)圖像局部匹配算法確定與所述目標(biāo)面積的宏塊最匹配的匹配像素塊;
29、在所述子圖像不為刷新幀的情況下,從所述待編碼圖像的前一個(gè)參考幀的參考子圖像中,根據(jù)圖像局部匹配算法確定與所述目標(biāo)面積的宏塊最匹配的匹配像素塊,所述參考子圖像與所述子圖像的標(biāo)識(shí)信息相同。
30、第二方面,本技術(shù)實(shí)施例還提供一種視頻編碼裝置,所述裝置包括:
31、標(biāo)識(shí)模塊,用于對(duì)待編碼圖像中的多個(gè)物體分別進(jìn)行標(biāo)識(shí),得到每個(gè)物體對(duì)應(yīng)的標(biāo)識(shí)信息,基于所述標(biāo)識(shí)信息對(duì)所述待編碼圖像進(jìn)行圖像分割,得到每個(gè)所述標(biāo)識(shí)信息對(duì)應(yīng)的子圖像;
32、分組模塊,用于對(duì)多個(gè)所述子圖像進(jìn)行排序和分組,得到多個(gè)圖像序列以及每個(gè)所述圖像序列與所述多個(gè)子圖像之間的映射關(guān)系,每個(gè)所述圖像序列中包括至少兩個(gè)所述子圖像;
33、獲取模塊,用于在每個(gè)所述圖像序列中獲取該圖像序列對(duì)應(yīng)的匹配像素塊,并基于所述映射關(guān)系確定每個(gè)所述匹配像素塊對(duì)應(yīng)的一個(gè)目標(biāo)子圖像;其中,所述目標(biāo)子圖像為所述多個(gè)子圖像中的任意一個(gè),所述匹配像素塊為所述圖像序列中的圖像區(qū)域;
34、編碼模塊,用于依次對(duì)每個(gè)所述目標(biāo)子圖像進(jìn)行編碼,得到視頻流。
35、第三方面,本技術(shù)實(shí)施例還提供一種電子設(shè)備,包括:收發(fā)機(jī)、存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序;所述處理器,用于讀取存儲(chǔ)器中的程序?qū)崿F(xiàn)如前述第一方面所述方法中的步驟。
36、第四方面,本技術(shù)實(shí)施例還提供一種可讀存儲(chǔ)介質(zhì),用于存儲(chǔ)程序,所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述第一方面所述方法中的步驟。
37、第五方面,本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品被存儲(chǔ)在存儲(chǔ)介質(zhì)中,所述計(jì)算機(jī)程序產(chǎn)品被至少一個(gè)處理器執(zhí)行以實(shí)現(xiàn)如第一方面所述方法中的步驟。
38、本技術(shù)提供一種視頻編碼方法、裝置及相關(guān)設(shè)備,所述方法包括:對(duì)待編碼圖像中的多個(gè)物體分別進(jìn)行標(biāo)識(shí),得到每個(gè)物體對(duì)應(yīng)的標(biāo)識(shí)信息,基于所述標(biāo)識(shí)信息對(duì)所述待編碼圖像進(jìn)行圖像分割,得到每個(gè)所述標(biāo)識(shí)信息對(duì)應(yīng)的子圖像;對(duì)多個(gè)所述子圖像進(jìn)行排序和分組,得到多個(gè)圖像序列以及每個(gè)所述圖像序列與所述多個(gè)子圖像之間的映射關(guān)系,每個(gè)所述圖像序列中包括至少兩個(gè)所述子圖像;在每個(gè)所述圖像序列中獲取該圖像序列對(duì)應(yīng)的匹配像素塊,并基于所述映射關(guān)系確定每個(gè)所述匹配像素塊對(duì)應(yīng)的一個(gè)目標(biāo)子圖像;其中,所述目標(biāo)子圖像為所述多個(gè)子圖像中的任意一個(gè),所述匹配像素塊為所述圖像序列中的圖像區(qū)域;依次對(duì)每個(gè)所述目標(biāo)子圖像進(jìn)行編碼,得到視頻流。本技術(shù)通過識(shí)別出待編碼圖像中的多個(gè)物體并對(duì)其進(jìn)行表示,從而對(duì)其進(jìn)行圖像分割,得到多個(gè)子圖像,對(duì)多個(gè)子圖像進(jìn)行排序和分組確定出多個(gè)圖像序列和映射關(guān)系,并根據(jù)圖像序列確定多個(gè)匹配像素塊,根據(jù)匹配像素塊對(duì)應(yīng)的子圖像進(jìn)行編碼,提高了視頻編碼的效果。