本技術(shù)實(shí)施例涉及編解碼領(lǐng)域,尤其涉及一種編解碼方法及電子設(shè)備。
背景技術(shù):
1、隨著互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展,以及視頻監(jiān)控的硬件成本、實(shí)施成本的不斷下降,使視頻監(jiān)控技術(shù)得到了廣泛應(yīng)用;例如,采用視頻監(jiān)控技術(shù)對(duì)目標(biāo)區(qū)域?qū)嵤┻h(yuǎn)程視頻監(jiān)控,以協(xié)助治安管理、事故預(yù)警等。
2、然而,采集的視頻圖像可能會(huì)攜帶用戶(hù)信息(如人臉、車(chē)牌號(hào)等),若視頻圖像被泄露,則用戶(hù)信息也會(huì)被泄露,這可能會(huì)對(duì)用戶(hù)造成損失;因此,視頻隱私保護(hù)技術(shù)應(yīng)運(yùn)而生。
3、現(xiàn)有技術(shù)中,編碼端將視頻圖像的隱私區(qū)域圖像和非隱私區(qū)域圖像分別輸入至兩個(gè)編碼器進(jìn)行編碼,得到一路隱私區(qū)域圖像的位流和一路非隱私區(qū)域圖像的位流;然后,傳輸非隱私區(qū)域圖像的位流和加密后的隱私區(qū)域圖像的位流;這樣可以實(shí)現(xiàn)視頻隱私保護(hù)。但是隱私區(qū)域圖像和非隱私區(qū)域圖像獨(dú)立編碼,一定程度降低了編碼性能;此外,還需要由系統(tǒng)層對(duì)隱私區(qū)域圖像的位流與非隱私區(qū)域圖像的位流進(jìn)行同步,以保證解碼端能夠得到完整的圖像,這會(huì)帶來(lái)運(yùn)算開(kāi)銷(xiāo)。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述技術(shù)問(wèn)題,本技術(shù)提供一種編解碼方法電子設(shè)備。該方法能夠提高編碼性能以及降低運(yùn)算開(kāi)銷(xiāo)。
2、第一方面,本技術(shù)實(shí)施例提供一種編碼方法,該方法包括:首先,獲取第一圖像和第二圖像,第一圖像包括原始圖像中第一區(qū)域的圖像且不包括原始圖像中第二區(qū)域的圖像,第二圖像包括原始圖像中第二區(qū)域的圖像,第一圖像的尺寸、第二圖像的尺寸與原始圖像的尺寸相同,原始圖像中第二區(qū)域的圖像包含用戶(hù)信息;接著,對(duì)第一圖像進(jìn)行基本層的編碼,得到基本層位流;之后,對(duì)第二圖像進(jìn)行增強(qiáng)層的編碼,得到增強(qiáng)層位流;其中,基本層位流和增強(qiáng)層位流交織成一路位流。
3、由于增強(qiáng)層的編碼的參考隊(duì)列中包括了基本層的重建圖像(也就是第一圖像的重建圖像(后續(xù)稱(chēng)為第一重建圖像)),也就是說(shuō),第二圖像的參考隊(duì)列中包括了第一重建圖像;相對(duì)于現(xiàn)有技術(shù)中第二圖像(即隱私圖像)的參考隊(duì)列中僅包括當(dāng)前幀第二圖像的重建塊和其他幀第二重建圖像(即其他幀第二圖像的重建圖像)而言,本技術(shù)編碼第二圖像的參考圖像更多,這樣,本技術(shù)可以得到更準(zhǔn)確的預(yù)測(cè)塊,進(jìn)而能夠提高增強(qiáng)層的編碼性能(即提高編碼質(zhì)量或降低碼率開(kāi)銷(xiāo)),從而提高整體的編碼性能。此外,本技術(shù)中增強(qiáng)層位流和基本層位流交織成一路位流,便于實(shí)現(xiàn)增強(qiáng)層位流和基本層位流的幀同步,可以降低運(yùn)算開(kāi)銷(xiāo)。
4、示例性的,原始圖像可以是指最初期望向遠(yuǎn)端傳輸?shù)膱D像。其中,原始圖像的生成方式可以包括多種,例如,原始圖像可以是由圖像采集設(shè)備采集的圖像、從其他終端設(shè)備接收到的圖像、ai(artificial?intelligence,人工智能)生成的圖像、經(jīng)圖像處理工具處理得到的圖像等等,本技術(shù)對(duì)此不作限制。
5、示例性的,原始圖像可以包括第一區(qū)域和第二區(qū)域,其中,原始圖像的第二區(qū)域圖像可以包括用戶(hù)信息,用戶(hù)信息可以是指直接或間接描述用戶(hù)身份的信息。例如,用戶(hù)信息包括但不限于:用戶(hù)姓名、出生日期、證件號(hào)碼、住址、電話號(hào)碼、人臉、車(chē)牌號(hào)、運(yùn)動(dòng)姿態(tài)、服飾等等,本技術(shù)對(duì)此不作限制。在部分場(chǎng)景中,用戶(hù)信息也可以稱(chēng)為隱私信息,隱私信息可以是指不愿為他人(一定范圍以外的人)公開(kāi)或知悉的秘密,且這一秘密與其他人及社會(huì)利益無(wú)關(guān)的信息。
6、需要說(shuō)明的是,本技術(shù)是采用一個(gè)編碼器進(jìn)行基本層的編碼和增強(qiáng)層的編碼,其中,一個(gè)編碼器輸出一路位流;其中,bl位流和el位流可以交織成的一路位流,也可以稱(chēng)為原始圖像的位流。
7、示例性的,對(duì)于包括n(n為正整數(shù))幀原始圖像的視頻數(shù)據(jù),針對(duì)每一幀原始圖像均可以執(zhí)行上述第一方面中的步驟,得到的n幀原始圖像的位流(后續(xù)稱(chēng)為n幀位流);其中,基于第i(i為1至n之間的整數(shù))幀原始圖像生成的第一圖像和第二圖像,可以稱(chēng)為第i幀第一圖像和第i幀第二圖像。這樣,編碼器輸出的一路位流可以包括n幀位流,每幀位流包括el位流和bl位流。
8、需要說(shuō)明的是,增強(qiáng)層位流是在基本層位流之后輸出,也就是說(shuō),編碼器輸出增強(qiáng)層位流之后,增強(qiáng)層位流就連接在基本層位流之后,此時(shí),增強(qiáng)層位流與基本層位流交織形成了一路位流(可以理解為編碼器輸出的一路位流中基本層位流與增強(qiáng)層位流交織排序著);并不是編碼器執(zhí)行了額外的操作(如交織操作),使得增強(qiáng)層位流與基本層位流交織形成一路位流。
9、基于上述可知,本技術(shù)可以看做是對(duì)原始圖像的分層編碼,其中,在對(duì)原始圖像的分層編碼過(guò)程中,基本層的編碼對(duì)應(yīng)編碼的基本層的圖像為第一圖像,增強(qiáng)層的編碼對(duì)應(yīng)編碼的增強(qiáng)層的圖像為第二圖像。
10、示例性的,編碼端得到原始圖像的位流之后,可以對(duì)原始圖像的位流中增強(qiáng)層位流進(jìn)行加密,以在向遠(yuǎn)端傳輸原始圖像的過(guò)程中對(duì)原始圖像中的用戶(hù)信息進(jìn)行保護(hù),進(jìn)而保證原始圖像中用戶(hù)信息安全。其中,加密操作可以由編碼端系統(tǒng)層執(zhí)行。
11、根據(jù)第一方面,第二圖像還包括原始圖像中第一區(qū)域的圖像;或者,第二圖像不包括原始圖像中第一區(qū)域的圖像。也就是說(shuō),第二圖像只要包括原始圖像中第二區(qū)域的圖像即可。
12、示例性的,第二圖像還包括原始圖像中第一區(qū)域的圖像,即第二圖像為原始圖像。
13、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,對(duì)第二圖像進(jìn)行增強(qiáng)層的編碼,得到增強(qiáng)層位流,包括:對(duì)第二圖像進(jìn)行幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)或?qū)娱g預(yù)測(cè),得到第二圖像的預(yù)測(cè)圖像;編碼第二圖像與第二圖像的預(yù)測(cè)圖像之間的殘差,得到增強(qiáng)層位流。
14、示例性的,對(duì)第二圖像進(jìn)行幀間預(yù)測(cè)的參考圖像可以為其他幀第二圖像的重建圖像。對(duì)第二圖像進(jìn)行幀內(nèi)預(yù)測(cè)的參考圖像可以為當(dāng)前幀第二圖像的重建塊。對(duì)第二圖像進(jìn)行層間預(yù)測(cè)的參考圖像可以為當(dāng)前幀第一圖像的重建圖像。
15、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,對(duì)第二圖像進(jìn)行幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)或?qū)娱g預(yù)測(cè),得到第二圖像的預(yù)測(cè)圖像,包括:劃分第二圖像,得到多個(gè)編碼單元(codingunit,cu);針對(duì)多個(gè)cu中的第一cu,判斷第一cu是否屬于第二區(qū)域;當(dāng)?shù)谝籧u屬于第二區(qū)域時(shí),對(duì)第一cu進(jìn)行幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè),確定第一cu的預(yù)測(cè)塊;當(dāng)?shù)谝籧u不屬于第二區(qū)域時(shí),對(duì)第一cu進(jìn)行層間預(yù)測(cè),確定第一cu的預(yù)測(cè)塊;其中,第二圖像的預(yù)測(cè)圖像包括劃分第二圖像所得到的多個(gè)cu的預(yù)測(cè)塊。
16、其中,對(duì)于屬于第二區(qū)域的第一cu而言,與其他幀第二圖像的重建圖像中第二區(qū)域內(nèi)的重建塊相似度更高,因此可以得到更準(zhǔn)確的預(yù)測(cè)塊;進(jìn)而能夠提高編碼性能。當(dāng)?shù)诙D像為原始圖像時(shí),對(duì)于不屬于第二區(qū)域的第一cu而言,與當(dāng)前幀第一圖像的重建圖像中第一區(qū)域的重建塊相似度更高,因此也可以得到更準(zhǔn)確的預(yù)測(cè)塊;進(jìn)而能夠提高編碼性能。
17、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,對(duì)第一cu進(jìn)行層間預(yù)測(cè),確定第一cu的預(yù)測(cè)塊,包括:將第一重建圖像中與第一cu位置相同的重建塊,作為第一cu的預(yù)測(cè)塊;其中,第一重建圖像為第一圖像的重建圖像。這樣,第一cu的mv為(0,0),進(jìn)而編碼第一cu的mv所需的比特?cái)?shù)較少,可以降低增強(qiáng)層的編碼的碼率開(kāi)銷(xiāo),從而降低了整體的碼率開(kāi)銷(xiāo)。此外,還可以減少編碼端運(yùn)動(dòng)搜索的計(jì)算量,進(jìn)而可以降低編碼復(fù)雜度。
18、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,當(dāng)?shù)谝籧u不屬于第二區(qū)域時(shí),第一cu的預(yù)測(cè)塊與第一cu的殘差為0。其中,可以將第一cu與第一cu的預(yù)測(cè)塊之間的殘差強(qiáng)制設(shè)置為0。這樣,編碼第一cu與第一cu預(yù)測(cè)塊之間殘差所需的比特?cái)?shù)較少,可以降低增強(qiáng)層的編碼的碼率開(kāi)銷(xiāo),進(jìn)而降低了整體的碼率開(kāi)銷(xiāo)。
19、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,對(duì)第二圖像進(jìn)行幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)或?qū)娱g預(yù)測(cè),得到第二圖像的預(yù)測(cè)圖像,包括:劃分第二圖像,得到多個(gè)cu;針對(duì)多個(gè)cu中的第二cu,分別進(jìn)行幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)或?qū)娱g預(yù)測(cè),確定第二cu的預(yù)測(cè)塊;其中,第二圖像的預(yù)測(cè)圖像包括劃分第二圖像所得到的多個(gè)cu的預(yù)測(cè)塊。這樣,針對(duì)每個(gè)第二cu而言,可以確定更準(zhǔn)確的預(yù)測(cè)塊,能夠提高第二cu的編碼質(zhì)量。
20、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,多個(gè)cu中的任意一個(gè)cu位于第二區(qū)域之內(nèi)或之外。也就是說(shuō),第二區(qū)域的邊界線不分割任一cu;這可以作為將第二圖像劃分為多個(gè)cu的約束條件,這樣,便于判斷第一cu是否屬于第二區(qū)域。
21、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,該方法還包括:生成第一重建圖像;其中,第一重建圖像為第一圖像的重建圖像,第一重建圖像為其他幀第一圖像的參考圖像和/或第二圖像的參考圖像;第一重建圖像為經(jīng)環(huán)路濾波后的圖像,第一重建圖像中第二區(qū)域內(nèi)像素點(diǎn)的像素值為預(yù)設(shè)值。
22、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,該方法還包括:生成第二重建圖像;其中,第二重建圖像為第二圖像的重建圖像,第二重建圖像為其他幀第二圖像的參考圖像,第二重建圖像中第二區(qū)域的圖像為經(jīng)過(guò)環(huán)路濾波的圖像,第二重建圖像中第一區(qū)域的圖像為未經(jīng)過(guò)環(huán)路濾波的圖像。這樣,可以保證第二重建圖像中第一區(qū)域的圖像與第一重建圖像中第一區(qū)域的圖像相同;這種情況下,解碼端解碼得到第二重建圖像之后,可以直接將第二重建圖像作為原始圖像的重建圖像,無(wú)需融合第一重建圖像和第二重建圖像,能夠減少計(jì)算開(kāi)銷(xiāo)。
23、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,當(dāng)?shù)诙D像不包括原始圖像中第一區(qū)域的圖像時(shí),融合第一重建圖像和第二重建圖像,得到更新后的第二重建圖像。此時(shí),更新后的第二重建圖像,也就是原始圖像的重建圖像;后續(xù)可以將更新后的第二重建圖像存儲(chǔ)在解碼圖像緩存中,作為后續(xù)編碼其他幀第二圖像的參考圖像。
24、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,該方法還包括:獲取位置指示信息,位置指示信息用于指示第二區(qū)域的位置;將編碼后的位置指示信息添加至基本層位流和/或增強(qiáng)層位流中。這樣,可以將位置指示信息傳輸至解碼端,便于解碼端根據(jù)從基本層位流和/或增強(qiáng)層位流中解析的位置指示信息,針對(duì)第一區(qū)域和第二區(qū)域的環(huán)路濾波進(jìn)行約束,以及融合第一重建圖像和第二重建圖像。
25、一種可能的方式中,當(dāng)?shù)诙^(qū)域?yàn)榫匦螘r(shí),位置指示信息可以包括第二區(qū)域左上角坐標(biāo)和第二區(qū)域的尺寸。當(dāng)?shù)诙^(qū)域?yàn)閳A形時(shí),位置指示信息可以包括第二區(qū)域中心坐標(biāo)和第二區(qū)域的半徑。應(yīng)該理解的是,當(dāng)?shù)诙^(qū)域?yàn)槠渌螤顣r(shí),位置指示信息可以包括其他信息,本技術(shù)對(duì)此不作限制。
26、一種可能的方式中,位置指示信息可以是圖像塊標(biāo)識(shí)圖。具體地,可以將原始圖像劃分為固定大小(可以按照需求設(shè)置如2*2)的m(m為正整數(shù))個(gè)圖像塊;接著,針對(duì)每個(gè)圖像塊使用預(yù)設(shè)標(biāo)識(shí)來(lái)標(biāo)識(shí)其是否處于第二區(qū)域。例如,針對(duì)一個(gè)圖像塊,當(dāng)該圖像塊處于第二區(qū)域時(shí),將該圖像塊的預(yù)設(shè)標(biāo)識(shí)的值設(shè)置為第一標(biāo)識(shí)值;當(dāng)該圖像塊不處于第二區(qū)域時(shí),將該圖像塊的預(yù)設(shè)標(biāo)識(shí)的值設(shè)置為第二標(biāo)識(shí)值;這樣即可得到圖像塊標(biāo)識(shí)圖;其中,圖像塊標(biāo)識(shí)圖可以包括m個(gè)像素點(diǎn),一個(gè)像素點(diǎn)對(duì)應(yīng)原始圖像中的一個(gè)圖像塊,每個(gè)像素點(diǎn)的像素值為預(yù)設(shè)標(biāo)識(shí)的值。其中,第一標(biāo)識(shí)值與第二標(biāo)識(shí)值不同,具體可以按照需求設(shè)置,本技術(shù)對(duì)此不作限制。例如,第一標(biāo)識(shí)值為“1”,第二標(biāo)識(shí)值為“0”;此時(shí),圖像塊標(biāo)示圖包含的m個(gè)像素點(diǎn)中,m1個(gè)像素點(diǎn)的像素值為“1”和m2個(gè)像素點(diǎn)的像素值為“0”。其中,m1+m2=m,m1和m2為大于或等于0的整數(shù)。
27、應(yīng)該理解的是,圖像塊標(biāo)識(shí)圖也可以稱(chēng)為圖像塊標(biāo)識(shí)矩陣;圖像塊標(biāo)識(shí)矩陣可以包括m個(gè)元素,一個(gè)元素對(duì)應(yīng)原始圖像中的一個(gè)圖像塊,每個(gè)元素的值為預(yù)設(shè)標(biāo)識(shí)的值。
28、一種可能的方式中,上述的圖像塊可以是cu。
29、一種可能的方式中,上述的圖像塊僅包括一個(gè)像素點(diǎn),此時(shí),位置指示信息可以是像素點(diǎn)標(biāo)識(shí)圖。
30、需要說(shuō)明的是,位置指示信息還可以采用其他形式表示,本技術(shù)對(duì)此不作限制。
31、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,基本層位流位于增強(qiáng)層位流之前。
32、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,原始圖像中第一區(qū)域?yàn)樵紙D像中除第二區(qū)域之外的區(qū)域;第二圖像通過(guò)對(duì)原始圖像中第一區(qū)域內(nèi)像素點(diǎn)的像素值進(jìn)行替換生成的;第一圖像通過(guò)對(duì)原始圖像中第二區(qū)域內(nèi)像素點(diǎn)的像素值進(jìn)行替換生成的;其中,替換方式包括以下至少一種:純色填充、馬賽克或高斯模糊。
33、應(yīng)該理解的是,替換方式還可以是其他方式,本技術(shù)對(duì)此不作限制。
34、首先,可以對(duì)原始圖像進(jìn)行用戶(hù)信息檢測(cè),確定用戶(hù)信息所在的區(qū)域。其中,為了便于說(shuō)明,將原始圖像中包含用戶(hù)信息的區(qū)域(也就是用戶(hù)信息所在的區(qū)域)稱(chēng)為第二區(qū)域,將原始圖像中不包含用戶(hù)信息的區(qū)域稱(chēng)為第一區(qū)域;應(yīng)該理解的是,第一區(qū)域?yàn)樵紙D像中除第二區(qū)域之外的區(qū)域。其中,對(duì)原始圖像進(jìn)行用戶(hù)信息檢測(cè)的方法可以例如基于ai的智能檢測(cè)方法等,本技術(shù)對(duì)此不作限制。
35、接著,生成第二圖像。一種可能的方式中,可以將原始圖像,作為第二圖像;也就是說(shuō),第二圖像包括原始圖像中第一區(qū)域的圖像和原始圖像中第二區(qū)域的圖像。一種可能的方式中,可以保持原始圖像中第二區(qū)域內(nèi)像素點(diǎn)的像素值不變,將原始圖像中第一區(qū)域內(nèi)像素點(diǎn)的像素值進(jìn)行替換,例如,可以采用如下至少一種方式進(jìn)行替換:純色填充、馬賽克或者高斯模糊等,本技術(shù)對(duì)此不作限制。
36、以及,生成第一圖像。示例性的,可以保持原始圖像中第一區(qū)域內(nèi)像素點(diǎn)的像素值不變,將原始圖像中第二區(qū)域內(nèi)像素點(diǎn)的像素值進(jìn)行替換,例如,可以采用如下至少一種方式進(jìn)行替換:純色填充、馬賽克或者高斯模糊等,本技術(shù)對(duì)此不作限制。
37、需要說(shuō)明的是,上述用戶(hù)信息檢測(cè)、生成第一圖像和生成第二圖像的步驟,可以由編碼器執(zhí)行,也可以由其他模塊執(zhí)行,本技術(shù)對(duì)此不作限制。
38、根據(jù)第一方面,或者以上第一方面的任意一種實(shí)現(xiàn)方式,基本層位流和增強(qiáng)層位流包括參考幀標(biāo)識(shí)和預(yù)測(cè)模式。這樣,將參考幀標(biāo)識(shí)和預(yù)測(cè)模式傳輸至解碼端,便于解碼端確定參考圖像,然后根據(jù)參考圖像進(jìn)行預(yù)測(cè)。
39、示例性的,預(yù)測(cè)模式可以包括但不限于幀內(nèi)預(yù)測(cè)模式、幀間預(yù)測(cè)模式和層間預(yù)測(cè)模式等。
40、第二方面,本技術(shù)實(shí)施例提供一種解碼方法,該方法包括:首先,接收位流,位流包括基本層位流和增強(qiáng)層位流;接著,對(duì)基本層位流進(jìn)行基本層的解碼,得到第一重建圖像,其中,第一重建圖像為第一圖像的重建圖像,第一圖像包含原始圖像中第一區(qū)域的圖像且不包括原始圖像中第二區(qū)域的圖像;之后,對(duì)增強(qiáng)層位流進(jìn)行增強(qiáng)層的解碼,得到第二重建圖像;其中,第二重建圖像為第二圖像的重建圖像,第二圖像包括原始圖像中第二區(qū)域的圖像;其中,第一重建圖像和第二重建圖像,用于確定原始圖像的重建圖像。
41、示例性的,基本層的解碼和增強(qiáng)層的解碼可以由一個(gè)解碼器執(zhí)行。
42、示例性的,解碼端接收到位流之后,一方面,可以將位流中基本層位流輸入至解碼器中;另一方面,可以將位流中經(jīng)加密的增強(qiáng)層位流解密之后輸入至解碼器中;由解碼器進(jìn)行基本層的解碼和增強(qiáng)層的解碼。其中,解密操作可以由解碼端的系統(tǒng)層執(zhí)行。
43、根據(jù)第二方面,第二圖像還包括原始圖像中第一區(qū)域的圖像;或者,第二圖像不包括原始圖像中第一區(qū)域的圖像。
44、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,位流還包括參考幀標(biāo)識(shí)和預(yù)測(cè)模式,對(duì)增強(qiáng)層位流進(jìn)行增強(qiáng)層的解碼,得到第二重建圖像,包括:根據(jù)參考幀標(biāo)識(shí)和預(yù)測(cè)模式,確定第二圖像的參考圖像;根據(jù)第二圖像的參考圖像進(jìn)行預(yù)測(cè),得到第二圖像的預(yù)測(cè)圖像;將第二圖像的預(yù)測(cè)圖像與從增強(qiáng)層位流解析出的第二圖像的殘差相加,得到第二重建圖像。
45、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,第二圖像包括多個(gè)編碼單元cu,第二圖像的參考圖像包括多個(gè)cu的參考圖像,根據(jù)第二圖像的參考圖像進(jìn)行預(yù)測(cè),得到第二圖像的預(yù)測(cè)圖像,包括:針對(duì)多個(gè)cu中的第一cu,根據(jù)第一cu的參考圖像對(duì)第一cu進(jìn)行預(yù)測(cè),確定第一cu的預(yù)測(cè)塊;其中,第二圖像的預(yù)測(cè)圖像包括第二圖像包括的多個(gè)cu的預(yù)測(cè)塊。
46、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,第一重建圖像為經(jīng)環(huán)路濾波后的圖像,第一重建圖像中第二區(qū)域內(nèi)像素點(diǎn)的像素值為預(yù)設(shè)值。
47、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,第二重建圖像中第二區(qū)域的圖像為經(jīng)過(guò)環(huán)路濾波的圖像,第二重建圖像中第一區(qū)域的圖像為未經(jīng)過(guò)環(huán)路濾波的圖像。
48、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,該方法還包括:當(dāng)?shù)诙D像不包括原始圖像中第一區(qū)域的圖像時(shí),融合第一重建圖像和第二重建圖像,得到更新后的第二重建圖像。
49、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,位流還包括編碼后的位置指示信息,位置指示信息用于指示第二區(qū)域的位置;該方法還包括:根據(jù)位置指示信息,確定第一重建圖像中的第二區(qū)域。
50、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,位流還包括參考幀標(biāo)識(shí)和/或編碼后的位置指示信息,位置指示信息用于指示第二區(qū)域的位置,該方法還包括:根據(jù)參考幀標(biāo)識(shí)和/或位置指示信息,確定第二重建圖像中的第二區(qū)域。
51、示例性的,當(dāng)?shù)谝籧u的參考幀標(biāo)識(shí)所標(biāo)識(shí)的參考圖像為第一重建圖像時(shí),可以確定第一cu不屬于第二區(qū)域;當(dāng)?shù)谝籧u的參考幀標(biāo)識(shí)所標(biāo)識(shí)的參考圖像不是第一重建圖像時(shí),可以確定第一cu屬于第二區(qū)域。接著,可以根據(jù)屬于第二區(qū)域的第一cu的位置,確定第一重建圖像中的第二區(qū)域。
52、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,位流還包括編碼后的位置指示信息,位置指示信息用于指示第二區(qū)域的位置;該方法還包括:根據(jù)位置指示信息,確定第一重建圖像中的第一區(qū)域和第二重建圖像中的第二區(qū)域;融合第一重建圖像和第二重建圖像,得到更新后的第二重建圖像,包括:融合第一重建圖像中第一區(qū)域的圖像和第二重建圖像中第二區(qū)域的圖像,得到更新后的第二重建圖像。
53、例如,可以將第一重建圖像中第二區(qū)域內(nèi)像素點(diǎn)的像素值,替換為第二重建圖像中第二區(qū)域內(nèi)對(duì)應(yīng)位置像素點(diǎn)的像素值。又例如,可以將第二重建圖像中第一區(qū)域內(nèi)像素點(diǎn)的像素值,替換為第一重建圖像中第一區(qū)域內(nèi)對(duì)應(yīng)位置像素點(diǎn)的像素值。
54、根據(jù)第二方面,或者以上第二方面的任意一種實(shí)現(xiàn)方式,該方法還包括:將第二重建圖像,作為原始圖像的重建圖像。
55、示例性的,當(dāng)?shù)诙D像包含原始圖像中第二區(qū)域的圖像且不包括原始圖像中第一區(qū)域的圖像時(shí),可以將更新后的第二重建圖像,作為原始圖像的重建圖像。
56、第二方面以及第二方面的任意一種實(shí)現(xiàn)方式分別與第一方面以及第一方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第二方面以及第二方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
57、第三方面,本技術(shù)實(shí)施例提供一種編碼裝置,該裝置包括:
58、圖像獲取模塊,用于獲取第一圖像和第二圖像,第一圖像包括原始圖像中第一區(qū)域的圖像且不包括原始圖像中第二區(qū)域的圖像,第二圖像包括原始圖像中第二區(qū)域的圖像,第一圖像的尺寸、第二圖像的尺寸與原始圖像的尺寸相同,原始圖像中第二區(qū)域的圖像包含用戶(hù)信息;
59、基本層編碼模塊,用于對(duì)第一圖像進(jìn)行基本層的編碼,得到基本層位流;
60、增強(qiáng)層編碼模塊,用于對(duì)第二圖像進(jìn)行增強(qiáng)層的編碼,得到增強(qiáng)層位流;其中,基本層位流和增強(qiáng)層位流交織成一路位流。
61、應(yīng)該理解的是,第三方面的編碼裝置可以用于執(zhí)行第一方面或第一方面的任意可能的實(shí)現(xiàn)方式中編碼方法。
62、第三方面以及第三方面的任意一種實(shí)現(xiàn)方式分別與第一方面以及第一方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第三方面以及第三方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
63、第四方面,本技術(shù)實(shí)施例提供一種解碼裝置,該裝置包括:
64、碼流接收模塊,用于接收位流,位流包括基本層位流和增強(qiáng)層位流;
65、基本層解碼模塊,用于對(duì)基本層位流進(jìn)行基本層的解碼,得到第一重建圖像,其中,第一重建圖像為第一圖像的重建圖像,第一圖像包含原始圖像中第一區(qū)域的圖像且不包括原始圖像中第二區(qū)域的圖像;
66、增強(qiáng)層解碼模塊,用于對(duì)增強(qiáng)層位流進(jìn)行增強(qiáng)層的解碼,得到第二重建圖像;其中,第二重建圖像為第二圖像的重建圖像,第二圖像包括原始圖像中第二區(qū)域的圖像;其中,第一重建圖像和第二重建圖像,用于確定原始圖像的重建圖像。
67、應(yīng)該理解的是,第四方面的解碼裝置可以用于執(zhí)行第二方面或第二方面的任意可能的實(shí)現(xiàn)方式中解碼方法。
68、第四方面以及第四方面的任意一種實(shí)現(xiàn)方式分別與第二方面以及第二方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第四方面以及第四方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第二方面以及第二方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
69、第五方面,本技術(shù)實(shí)施例提供一種電子設(shè)備,包括:存儲(chǔ)器和處理器,存儲(chǔ)器與處理器耦合;存儲(chǔ)器存儲(chǔ)有程序指令,當(dāng)程序指令由處理器執(zhí)行時(shí),使得電子設(shè)備執(zhí)行第一方面或第一方面的任意可能的實(shí)現(xiàn)方式中的編碼方法。
70、第五方面以及第五方面的任意一種實(shí)現(xiàn)方式分別與第一方面以及第一方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第五方面以及第五方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
71、第六方面,本技術(shù)實(shí)施例提供一種電子設(shè)備,包括:存儲(chǔ)器和處理器,存儲(chǔ)器與處理器耦合;存儲(chǔ)器存儲(chǔ)有程序指令,當(dāng)程序指令由處理器執(zhí)行時(shí),使得電子設(shè)備執(zhí)行第二方面或第二方面的任意可能的實(shí)現(xiàn)方式中的解碼方法。
72、第六方面以及第六方面的任意一種實(shí)現(xiàn)方式分別與第二方面以及第二方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第六方面以及第六方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第二方面以及第二方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
73、第七方面,本技術(shù)實(shí)施例提供一種芯片,包括一個(gè)或多個(gè)接口電路和一個(gè)或多個(gè)處理器;接口電路用于從電子設(shè)備的存儲(chǔ)器接收信號(hào),并向處理器發(fā)送信號(hào),信號(hào)包括存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)指令;當(dāng)處理器執(zhí)行計(jì)算機(jī)指令時(shí),使得第一方面或第一方面的任意可能的實(shí)現(xiàn)方式中的步驟被執(zhí)行。
74、第七方面以及第七方面的任意一種實(shí)現(xiàn)方式分別與第一方面以及第一方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第七方面以及第七方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
75、第八方面,本技術(shù)實(shí)施例提供一種芯片,包括一個(gè)或多個(gè)接口電路和一個(gè)或多個(gè)處理器;一個(gè)或多個(gè)處理器通過(guò)一個(gè)或多個(gè)接口電路接收或發(fā)送數(shù)據(jù),當(dāng)一個(gè)或多個(gè)處理器執(zhí)行計(jì)算機(jī)指令時(shí),使得第二方面或第二方面的任意可能的實(shí)現(xiàn)方式中的步驟被執(zhí)行。
76、第八方面以及第八方面的任意一種實(shí)現(xiàn)方式分別與第二方面以及第二方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第八方面以及第八方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第二方面以及第二方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
77、第九方面,本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序,當(dāng)計(jì)算機(jī)程序運(yùn)行在計(jì)算機(jī)或處理器上時(shí),使得計(jì)算機(jī)或處理器執(zhí)行第一方面或第一方面的任意可能的實(shí)現(xiàn)方式中的編碼方法。
78、第九方面以及第九方面的任意一種實(shí)現(xiàn)方式分別與第一方面以及第一方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第九方面以及第九方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
79、第十方面,本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序,當(dāng)計(jì)算機(jī)程序運(yùn)行在計(jì)算機(jī)或處理器上時(shí),使得計(jì)算機(jī)或處理器執(zhí)行第二方面或第二方面的任意可能的實(shí)現(xiàn)方式中的解碼方法。
80、第十方面以及第十方面的任意一種實(shí)現(xiàn)方式分別與第二方面以及第二方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第十方面以及第十方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第二方面以及第二方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
81、第十一方面,本技術(shù)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品,計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)指令,當(dāng)計(jì)算機(jī)指令被計(jì)算機(jī)或處理器執(zhí)行時(shí),使得計(jì)算機(jī)或處理器執(zhí)行第一方面或第一方面的任意可能的實(shí)現(xiàn)方式中的編碼方法。
82、第十一方面以及第十一方面的任意一種實(shí)現(xiàn)方式分別與第一方面以及第一方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第十一方面以及第十一方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。
83、第十二方面,本技術(shù)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品,計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)指令,當(dāng)計(jì)算機(jī)指令被計(jì)算機(jī)或處理器執(zhí)行時(shí),使得計(jì)算機(jī)或處理器執(zhí)行第二方面或第二方面的任意可能的實(shí)現(xiàn)方式中的解碼方法。
84、第十二方面以及第十二方面的任意一種實(shí)現(xiàn)方式分別與第二方面以及第二方面的任意一種實(shí)現(xiàn)方式相對(duì)應(yīng)。第十二方面以及第十二方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果可參見(jiàn)上述第二方面以及第二方面的任意一種實(shí)現(xiàn)方式所對(duì)應(yīng)的技術(shù)效果,此處不再贅述。