本技術(shù)實施例涉及圖像編解碼,尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)的圖像濾波方法、裝置、設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、隨著視頻技術(shù)的發(fā)展,視頻數(shù)據(jù)所包括的數(shù)據(jù)量較大,為了便于視頻數(shù)據(jù)的傳輸,視頻裝置執(zhí)行視頻壓縮技術(shù),以使視頻數(shù)據(jù)更加有效的傳輸或存儲。在視頻壓縮中,編碼端和解碼端均需要通過反量化、反變換等操作,得到重建圖像。由于視頻壓縮中引入損失,因此通過對重建圖像進行濾波,以降低圖像的壓縮損失。
2、隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展,神經(jīng)網(wǎng)絡(luò)濾波器在視頻處理中得到廣泛應(yīng)用。但是,在實際應(yīng)用過程中,神經(jīng)網(wǎng)絡(luò)濾波器的實際待濾波信息與訓(xùn)練數(shù)據(jù)的數(shù)據(jù)分布可能存在差異,導(dǎo)致神經(jīng)網(wǎng)絡(luò)濾波器的濾波效果不理想。
技術(shù)實現(xiàn)思路
1、本技術(shù)提供一種基于神經(jīng)網(wǎng)絡(luò)的圖像濾波方法、裝置、設(shè)備及存儲介質(zhì),提高圖像的濾波效果。
2、第一方面,本技術(shù)提供一種基于神經(jīng)網(wǎng)絡(luò)的圖像濾波方法,包括:
3、從m+1種數(shù)據(jù)處理方式中,確定待濾波信息的第一數(shù)據(jù)處理方式,所述m+1種數(shù)據(jù)處理方式包括數(shù)據(jù)不重排方式和m種數(shù)據(jù)重排方式,所述待濾波信息包括待濾波的重建圖像塊,所述重建圖像塊為一張重建圖像或為所述重建圖像的部分區(qū)域,所述m為正整數(shù);
4、若所述第一數(shù)據(jù)處理方式為所述m種數(shù)據(jù)重排方式中的一種時,基于所述第一數(shù)據(jù)處理方式,對所述重建圖像塊進行數(shù)據(jù)重排,得到重排后的待濾波信息,并通過神經(jīng)網(wǎng)絡(luò)濾波器,對所述重排后的待濾波信息進行濾波處理,得到所述重排后的待濾波信息的濾波圖像塊;
5、基于所述第一數(shù)據(jù)處理方式,對所述重排后的待濾波信息的濾波圖像進行數(shù)據(jù)反重排,得到所述重建圖像塊的濾波圖像塊;以及
6、若所述第一數(shù)據(jù)處理方式為所述數(shù)據(jù)不重排方式時,則通過所述神經(jīng)網(wǎng)絡(luò)濾波器,對所述待濾波信息進行濾波處理,得到所述重建圖像塊的濾波圖像。
7、第二方面,本技術(shù)提供一種基于神經(jīng)網(wǎng)絡(luò)的圖像濾波方法,包括:
8、從m+1種數(shù)據(jù)處理方式中,確定待濾波信息的第一數(shù)據(jù)處理方式,所述m+1種數(shù)據(jù)處理方式包括數(shù)據(jù)不重排方式和m種數(shù)據(jù)重排方式,所述待濾波信息包括重建圖像塊,所述重建圖像塊為一張重建圖像或為所述重建圖像的部分區(qū)域,所述m為正整數(shù);
9、若所述第一數(shù)據(jù)處理方式為所述m種數(shù)據(jù)重排方式中的一種時,基于所述第一數(shù)據(jù)處理方式,對所述待濾波信息進行數(shù)據(jù)重排,得到重排后的待濾波信息,并通過神經(jīng)網(wǎng)絡(luò)濾波器,對所述重排后的待濾波信息進行濾波處理,得到所述重排后的待濾波信息的濾波圖像塊;
10、基于所述第一數(shù)據(jù)處理方式,對所述重排后的待濾波信息的濾波圖像塊進行數(shù)據(jù)反重排,得到所述重建圖像塊的濾波圖像塊;以及
11、若所述第一數(shù)據(jù)處理方式為所述數(shù)據(jù)不重排方式時,則通過所述神經(jīng)網(wǎng)絡(luò)濾波器,對所述待濾波信息進行濾波處理,得到所述重建圖像塊的濾波圖像。
12、第三方面,本技術(shù)提供了一種基于神經(jīng)網(wǎng)絡(luò)的圖像濾波裝置,包括:
13、重排確定單元,用于從m+1種數(shù)據(jù)處理方式中,確定待濾波信息的第一數(shù)據(jù)處理方式,所述m+1種數(shù)據(jù)處理方式包括數(shù)據(jù)不重排方式和m種數(shù)據(jù)重排方式,所述待濾波信息包括待濾波的重建圖像塊,所述重建圖像塊為一張重建圖像或為所述重建圖像的部分區(qū)域,所述m為正整數(shù);
14、重排濾波單元,用于若所述第一數(shù)據(jù)處理方式為所述m種數(shù)據(jù)重排方式中的一種時,基于所述第一數(shù)據(jù)處理方式,對所述重建圖像塊進行數(shù)據(jù)重排,得到重排后的待濾波信息,并通過神經(jīng)網(wǎng)絡(luò)濾波器,對所述重排后的待濾波信息進行濾波處理,得到所述重排后的待濾波信息的濾波圖像塊;
15、反重排單元,用于基于所述第一數(shù)據(jù)處理方式,對所述重排后的待濾波信息的濾波圖像進行數(shù)據(jù)反重排,得到所述重建圖像塊的濾波圖像塊;以及
16、所述重排濾波單元,還用于若所述第一數(shù)據(jù)處理方式為所述數(shù)據(jù)不重排方式時,則通過所述神經(jīng)網(wǎng)絡(luò)濾波器,對所述待濾波信息進行濾波處理,得到所述重建圖像塊的濾波圖像。
17、第四方面,本技術(shù)提供了一種基于神經(jīng)網(wǎng)絡(luò)的圖像濾波裝置,包括:
18、重排確定單元,用于從m+1種數(shù)據(jù)處理方式中,確定待濾波信息的第一數(shù)據(jù)處理方式,所述m+1種數(shù)據(jù)處理方式包括數(shù)據(jù)不重排方式和m種數(shù)據(jù)重排方式,所述待濾波信息包括重建圖像塊,所述重建圖像塊為一張重建圖像或為所述重建圖像的部分區(qū)域,所述m為正整數(shù);
19、重排濾波單元,用于若所述第一數(shù)據(jù)處理方式為所述m種數(shù)據(jù)重排方式中的一種時,基于所述第一數(shù)據(jù)處理方式,對所述待濾波信息進行數(shù)據(jù)重排,得到重排后的待濾波信息,并通過神經(jīng)網(wǎng)絡(luò)濾波器,對所述重排后的待濾波信息進行濾波處理,得到所述重排后的待濾波信息的濾波圖像塊;
20、反重排單元,用于基于所述第一數(shù)據(jù)處理方式,對所述重排后的待濾波信息的濾波圖像塊進行數(shù)據(jù)反重排,得到所述重建圖像塊的濾波圖像塊;以及
21、所述重排濾波單元,還用于若所述第一數(shù)據(jù)處理方式為所述數(shù)據(jù)不重排方式時,則通過所述神經(jīng)網(wǎng)絡(luò)濾波器,對所述待濾波信息進行濾波處理,得到所述重建圖像塊的濾波圖像。
22、第五方面,提供了一種解碼器,包括處理器和存儲器。所述存儲器用于存儲計算機程序,所述處理器用于調(diào)用并運行所述存儲器中存儲的計算機程序,以執(zhí)行上述第一方面或其各實現(xiàn)方式中的方法。
23、第六方面,提供了一種編碼器,包括處理器和存儲器。所述存儲器用于存儲計算機程序,所述處理器用于調(diào)用并運行所述存儲器中存儲的計算機程序,以執(zhí)行上述第二方面或其各實現(xiàn)方式中的方法。
24、第七方面,提供了一種芯片,用于實現(xiàn)上述第一方面至第二方面中任一方面或其各實現(xiàn)方式中的方法。具體地,所述芯片包括:處理器,用于從存儲器中調(diào)用并運行計算機程序,使得安裝有所述芯片的設(shè)備執(zhí)行如上述第一方面至第二方面中任一方面或其各實現(xiàn)方式中的方法。
25、第八方面,提供了一種計算機可讀存儲介質(zhì),用于存儲計算機程序,所述計算機程序使得計算機執(zhí)行上述第一方面至第二方面中任一方面或其各實現(xiàn)方式中的方法。
26、第九方面,提供了一種計算機程序產(chǎn)品,包括計算機程序指令,所述計算機程序指令使得計算機執(zhí)行上述第一方面至第二方面中任一方面或其各實現(xiàn)方式中的方法。
27、第十方面,提供了一種計算機程序,當(dāng)其在計算機上運行時,使得計算機執(zhí)行上述第一方面至第二方面中任一方面或其各實現(xiàn)方式中的方法。
28、綜上,本技術(shù)從m+1種數(shù)據(jù)處理方式中,確定待濾波信息的第一數(shù)據(jù)處理方式,該m+1種數(shù)據(jù)處理方式包括數(shù)據(jù)不重排方式和m種數(shù)據(jù)重排方式,待濾波信息包括待濾波的重建圖像塊;若第一數(shù)據(jù)處理方式為m種數(shù)據(jù)重排方式中的一種時,基于第一數(shù)據(jù)處理方式,對待濾波信息中的重建圖像塊進行數(shù)據(jù)重排,得到重排后的待濾波信息,并通過神經(jīng)網(wǎng)絡(luò)濾波器,對重排后的待濾波信息進行濾波處理,得到重排后的待濾波信息的濾波圖像塊;基于第一數(shù)據(jù)處理方式,對重排后的待濾波信息的濾波圖像進行數(shù)據(jù)反重排,得到重建圖像塊的濾波圖像塊。也就是說,本技術(shù)在對待濾波信息進行濾波之前,首先確定是否需要對該待濾波信息進行數(shù)據(jù)重排,若確定需要數(shù)據(jù)重排時,則使用第一數(shù)據(jù)處理方式對待濾波信息中的重建圖像塊進行數(shù)據(jù)重排,以使重排后的待濾波信息的數(shù)據(jù)分布特性與訓(xùn)練數(shù)據(jù)的數(shù)據(jù)分布特性一致或接近,以提高神經(jīng)網(wǎng)絡(luò)濾波器對重排后的待濾波信息的濾波效果,從而提高了圖像濾波效果,提升圖像編解碼性能。