本技術(shù)涉及解碼器在解碼過程中對幀緩沖器的使用。特別是(但不限于)解碼器被配置為解碼包含幀數(shù)據(jù)的數(shù)據(jù)信號。特別是(但不限于)數(shù)據(jù)信號與視頻數(shù)據(jù)有關(guān)。特別是(但不限于)解碼器采用低復雜度視頻編碼(lcevc)技術(shù)。特別是(但不限于)，解碼器是在專用硬件電路上實現(xiàn)的，專用硬件電路利用幀緩沖器所在的外部存儲器來存儲解碼過程中使用的數(shù)據(jù)。

背景技術(shù)：

1、數(shù)據(jù)通常從一個地方傳輸?shù)搅硪粋€地方以供使用。例如，視頻或圖像數(shù)據(jù)可從服務(wù)器或存儲介質(zhì)傳輸?shù)娇蛻魴C設(shè)備以供顯示。為了便于傳輸和存儲，數(shù)據(jù)通常會進行編碼?？蛻魴C設(shè)備收到數(shù)據(jù)后，必須對編碼數(shù)據(jù)進行解碼，以重構(gòu)原始信號或其近似值。

2、在一些實施方案中，當解碼后續(xù)數(shù)據(jù)時，解碼器可以重新使用之前在解碼過程中生成的數(shù)據(jù)。先前生成的數(shù)據(jù)被存儲在存儲器(特別是“幀緩沖器”)中，在需要時，例如在解碼后續(xù)數(shù)據(jù)幀時，解碼器可以訪問這些數(shù)據(jù)。重要的是要確保足夠快地對幀緩沖器中存儲數(shù)據(jù)進行訪問，以實現(xiàn)實時解碼，否則解碼過程可能會出現(xiàn)難以接受的瓶頸，解碼數(shù)據(jù)將無法及時呈現(xiàn)。例如，視頻數(shù)據(jù)的各個幀必須及時解碼，以便在適當?shù)臅r間呈現(xiàn)視頻幀，從而保持幀率。對于相對較高的幀分辨率(如目前的8k)而言，這一挑戰(zhàn)會更大，而對于相對較高的幀率(如目前的60fps)而言，這一挑戰(zhàn)會進一步加大，反之亦然。

3、通常情況下，優(yōu)選的是在專用硬件電路上實現(xiàn)解碼器，如專用集成電路(asic)或現(xiàn)場可編程門陣列(fpga)。通常情況下，幀緩沖器位于專用硬件電路外部的主存儲器中(即“片外存儲器”)，因為在專用硬件電路上設(shè)置存儲器的成本相對較高。這種安排給解碼過程帶來了潛在的瓶頸，因為與訪問片上存儲器相比，訪問片外存儲器的速度相對較慢。在某些應用中，尤其是涉及大量數(shù)據(jù)的應用，這些數(shù)據(jù)突破了當前硬件處理和存儲技術(shù)的極限(例如8k60fps視頻數(shù)據(jù))，片外存儲器讀寫數(shù)據(jù)的過程可能會非常緩慢，以至于中斷實時解碼。

4、因此，需要一種在解碼器上管理數(shù)據(jù)的技術(shù)，以防止由于存儲器訪問速度的限制而導致解碼過程出現(xiàn)不需要的延遲。此外，還需要一種在解碼器上管理數(shù)據(jù)的技術(shù)，以防止在解碼器位于專用硬件電路上而幀緩沖器位于專用硬件電路外部存儲器上的特殊情況下，由于存儲器訪問速度的限制而導致解碼過程出現(xiàn)不需要的延遲。此外，還需要一種能夠?qū)ι鲜銮闆r進行實時解碼的技術(shù)。本技術(shù)書中描述的發(fā)明試圖提供一種解決方案，至少部分地滿足上述一種或多種需求。

技術(shù)實現(xiàn)思路

1、根據(jù)本發(fā)明的第一方面，提供了一種在解碼過程中使用幀緩沖器的方法。該方面的方法通常在專用硬件電路上執(zhí)行，例如asic、fpga等。不過，該方法也可用于訪問存儲器時存在讀/寫瓶頸的其他實施方案中。所述方法包括使用幀緩沖器存儲代表第一幀數(shù)據(jù)的數(shù)據(jù)。所述代表第一幀數(shù)據(jù)的數(shù)據(jù)在處理第二幀數(shù)據(jù)時使用。在一般的實施方式中，所述幀緩沖器存儲在所述專用硬件電路外部的存儲器中。所述代表第一幀數(shù)據(jù)的數(shù)據(jù)是指示所述第一幀數(shù)據(jù)中空間相關(guān)程度的變換元素集。所述方法使用無損壓縮技術(shù)壓縮所述變換元素集，并將壓縮后的變換元素集發(fā)送到所述幀緩沖器，以在處理所述第二幀數(shù)據(jù)時取出。

2、這樣，代表第一幀的數(shù)據(jù)可以通過相對較大的倍率進行壓縮，例如以100倍壓縮，而一般的幀緩沖壓縮技術(shù)可能只能實現(xiàn)2-3倍的壓縮。與幀數(shù)據(jù)本身相比，指示幀數(shù)據(jù)中空間相關(guān)程度的數(shù)據(jù)相對稀少，使用無損壓縮技術(shù)進行壓縮時，可以實現(xiàn)高度壓縮。因此，解碼器將代表第一幀的數(shù)據(jù)寫入外部存儲器和取出所述數(shù)據(jù)所需的時間可以大幅減少。因此，由于片外存儲器等設(shè)備讀寫數(shù)據(jù)的速度較慢而導致發(fā)生不必要的延遲或?qū)崟r解碼中斷的可能性較小。此外，使用無損壓縮技術(shù)可減少解碼數(shù)據(jù)中的人工痕跡。

3、優(yōu)選地，從幀緩沖器取出變換元素集包括：對所述壓縮后的變換元素集執(zhí)行逆向無損壓縮技術(shù)。這樣，存儲在外部存儲器中的壓縮數(shù)據(jù)就可以返回到解碼器在解碼過程中可以使用的未壓縮格式。

4、優(yōu)選地，所述第一幀數(shù)據(jù)包括第一殘差元素集。

5、優(yōu)選地，所述第一殘差元素集是基于與所述第一幀數(shù)據(jù)相關(guān)聯(lián)的第一幀在具有多個質(zhì)量等級的分級層次結(jié)構(gòu)中的第一質(zhì)量等級的第一呈現(xiàn)與所述第一幀在所述第一質(zhì)量等級的第二呈現(xiàn)之間的差值。

6、優(yōu)選地，所述變換元素集指示所述殘差元素集之間的空間相關(guān)程度，使得至少一個所述變換元素集指示所述殘差元素集中相鄰殘差元素之間的平均、水平、垂直和對角線(ahvd)關(guān)系中的至少一種。這樣，通過使用與殘差元素集中相鄰殘差元素之間的ahvd關(guān)系相關(guān)的數(shù)據(jù)，可以實現(xiàn)更高的壓縮率，因為這些數(shù)據(jù)是稀疏的，可以顯著壓縮。此外，

7、avhd數(shù)據(jù)可以并行處理，從而實現(xiàn)快速壓縮，并提高向內(nèi)存讀寫數(shù)據(jù)的速度。

8、優(yōu)選地，所述方法包括接收第一輸入數(shù)據(jù)。所述第一輸入數(shù)據(jù)指示所述變換元素集與第二變換元素集之間的時間相關(guān)程度。

9、優(yōu)選地，所述第二變換元素集指示第二殘差元素集的空間相關(guān)程度。

10、優(yōu)選地，所述第二殘差元素集用于基于第二幀在所述第二質(zhì)量等級的呈現(xiàn)，通過使用數(shù)據(jù)重構(gòu)與所述第一質(zhì)量等級的所述第二幀數(shù)據(jù)相關(guān)聯(lián)的所述第二幀的呈現(xiàn)。

11、優(yōu)選地，所述第二殘差元素集是基于在具有多個質(zhì)量等級的分級層次結(jié)構(gòu)中的所述第一質(zhì)量等級的所述第二幀的第一呈現(xiàn)與所述第一質(zhì)量等級的所述第二幀的第二呈現(xiàn)之間的差值。

12、優(yōu)選地，所述第二變換元素集指示與所述第二幀相關(guān)聯(lián)的所述第二殘差元素集中的多個殘差元素之間的空間相關(guān)程度，使得至少一個所述第二變換元素集指示所述第二殘差元素集中相鄰殘差元素之間的平均、水平、垂直和對角線關(guān)系中的至少一種。

13、優(yōu)選地，所述方法包括將所述第一輸入數(shù)據(jù)與所述變換元素集結(jié)合以生成所述第二變換元素集。

14、優(yōu)選地，所述方法包括對所述第二變換元素集執(zhí)行逆變換操作，以生成所述第二殘差元素集。

15、優(yōu)選地，所述方法包括接收第二輸入數(shù)據(jù)。在一個示例中，所述第二輸入數(shù)據(jù)處于所述分級層次結(jié)構(gòu)中的第二質(zhì)量等級?？蛇x地，所述第二質(zhì)量等級低于所述第一質(zhì)量等級。

16、優(yōu)選地，所述方法包括對所述第二輸入數(shù)據(jù)執(zhí)行上采樣操作，以生成所述第一質(zhì)量等級的所述第二幀的第二呈現(xiàn)。

17、優(yōu)選地，所述方法包括將所述第二幀的第二呈現(xiàn)與所述第二殘差元素集結(jié)合以重構(gòu)所述第二幀。

18、優(yōu)選地，所述第一輸入數(shù)據(jù)包括所述變換元素集與所述第二變換元素集之間差值結(jié)果的量化版本。

19、優(yōu)選地，所述變換元素集與所述第一幀中的信號元素陣列相關(guān)聯(lián)。且所述第二變換元素集在與所述第一幀中的所述信號元素陣列相同的空間位置處與所述第二幀中的信號元素陣列相關(guān)聯(lián)。

20、優(yōu)選地，所述無損壓縮技術(shù)包括兩種不同的無損壓縮技術(shù)。然而，在一些實施方式中，

21、使用一種無損壓縮技術(shù)或兩種以上的無損壓縮技術(shù)可能是有用的。

22、優(yōu)選地，所述無損壓縮技術(shù)包括運行長度編碼和霍夫曼編碼中的至少一種。然而，在一些實施方式中，使用其他類型的無損壓縮技術(shù)(如范圍編碼)可能是有用的。

23、優(yōu)選地，所述無損壓縮技術(shù)包括運行長度編碼，然后運行霍夫曼編碼。

24、在一個示例中，所述解碼過程被配置為解碼視頻信號。在一個更具體的示例中，視頻信號至少是8k、60fps視頻信號。

25、根據(jù)本發(fā)明的第二方面，提供了一種在專用硬件電路上實現(xiàn)的解碼器裝置，其中，所述解碼器裝置包括用于與外部存儲器通信的數(shù)據(jù)通信鏈路。所述解碼器裝置被配置為執(zhí)行任一前述方法。

26、根據(jù)本發(fā)明的第二個方面，提供了一種計算機程序，包括指令，當所述指令被執(zhí)行時，

27、使所述解碼器裝置執(zhí)行任一前述方法。