本申請(qǐng)實(shí)施方式涉及數(shù)據(jù)處理領(lǐng)域，更具體地，本申請(qǐng)實(shí)施方式涉及一種數(shù)據(jù)壓縮處理方法及相關(guān)裝置。

背景技術(shù)：

1、稀疏矩陣是指大部分元素為零的矩陣。這類(lèi)矩陣在工程應(yīng)用中經(jīng)常被使用，尤其是在人工智能領(lǐng)域。比如自然語(yǔ)言處理等機(jī)器學(xué)習(xí)領(lǐng)域常常會(huì)應(yīng)用到大型稀疏矩陣。由于稀疏矩陣中存在大量的冗余0，如果將其當(dāng)作稠密矩陣來(lái)表示和處理，計(jì)算資源消耗大，導(dǎo)致計(jì)算成本較高。因而，需要對(duì)稀疏矩陣進(jìn)行預(yù)處理，以降低其計(jì)算成本，提升計(jì)算效率。

2、相關(guān)技術(shù)中，基于字典的壓縮方案將數(shù)據(jù)字替換為字典中的對(duì)應(yīng)短碼，通過(guò)壓縮頻繁出現(xiàn)的數(shù)據(jù)字，此方案可以實(shí)現(xiàn)較高的壓縮率，然而該方案需要依賴(lài)于專(zhuān)用字典，由于字典同步復(fù)雜性使得方案的可擴(kuò)展性較差，時(shí)延較長(zhǎng)。

3、綜上，亟待提供一種全新的技術(shù)方案，用以解決相關(guān)技術(shù)中存在的上述至少一個(gè)技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、在本上下文中，本申請(qǐng)的實(shí)施方式期望提供一種數(shù)據(jù)壓縮處理方法及相關(guān)裝置，用以實(shí)現(xiàn)相關(guān)技術(shù)中可拓展性不高的問(wèn)題，以實(shí)現(xiàn)高可拓展性。

2、在本申請(qǐng)實(shí)施方式的第一方面中，提供了一種數(shù)據(jù)壓縮處理方法，所述方法應(yīng)用稀疏矩陣壓縮場(chǎng)景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述方法包括：

3、接收多個(gè)通道的初始數(shù)據(jù)和連接位圖；其中，所述連接位圖用于表征多個(gè)通道之間的數(shù)據(jù)連接關(guān)系，每一通道的初始數(shù)據(jù)的數(shù)據(jù)位寬相同；

4、對(duì)每個(gè)通道的初始數(shù)據(jù)進(jìn)行預(yù)處理，得到每個(gè)通道的第一數(shù)據(jù)；

5、將所述多個(gè)通道的第一數(shù)據(jù)和所述連接位圖輸入到中間存儲(chǔ)區(qū)域中；

6、根據(jù)中間存儲(chǔ)區(qū)域中的所述連接位圖，通過(guò)數(shù)據(jù)拼接模塊將多個(gè)通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；

7、通過(guò)零壓縮模塊對(duì)所述拼接數(shù)據(jù)進(jìn)行零壓縮處理，得到壓縮數(shù)據(jù)包。

8、在本申請(qǐng)實(shí)施方式的第二方面中，提供了一種數(shù)據(jù)壓縮處理裝置，所述裝置應(yīng)用稀疏矩陣壓縮場(chǎng)景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述裝置至少包括：

9、數(shù)據(jù)接收模塊，用于接收多個(gè)通道的初始數(shù)據(jù)和連接位圖；其中，所述連接位圖用于表征多個(gè)通道之間的數(shù)據(jù)連接關(guān)系，每一通道的初始數(shù)據(jù)的數(shù)據(jù)位寬相同；

10、數(shù)據(jù)預(yù)處理模塊，用于對(duì)每個(gè)通道的初始數(shù)據(jù)進(jìn)行預(yù)處理，得到每個(gè)通道的第一數(shù)據(jù)；

11、數(shù)據(jù)拼接模塊，用于將所述多個(gè)通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲(chǔ)區(qū)域中；根據(jù)中間存儲(chǔ)區(qū)域中的所述連接位圖，將多個(gè)通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；

12、零壓縮模塊，用于對(duì)所述拼接數(shù)據(jù)進(jìn)行零壓縮處理，得到壓縮數(shù)據(jù)包。

13、在本申請(qǐng)實(shí)施方式的第三方面中，提供了一種計(jì)算設(shè)備，所述計(jì)算設(shè)備包括：

14、至少一個(gè)處理器、存儲(chǔ)器和輸入輸出單元；

15、其中，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于調(diào)用所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序來(lái)執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。

16、在本申請(qǐng)實(shí)施方式的第四方面中，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行該指令時(shí)，使得計(jì)算機(jī)執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。

17、在本申請(qǐng)實(shí)施方式的第五方面中，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面的數(shù)據(jù)壓縮處理方法。

18、在本申請(qǐng)實(shí)施方式的第六方面中，提供了一種芯片，該芯片中包括與收發(fā)器耦合的處理器，用于執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。

19、在本申請(qǐng)實(shí)施方式的第七方面中，提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括：通信接口，用于輸入和/或輸出信息；處理器，用于執(zhí)行計(jì)算機(jī)可執(zhí)行程序，使得安裝有所述芯片系統(tǒng)的設(shè)備執(zhí)行如第一方面的數(shù)據(jù)壓縮處理方法。

20、本申請(qǐng)實(shí)施方式中，提供了一種數(shù)據(jù)壓縮處理方法及相關(guān)裝置。本申請(qǐng)實(shí)施方式中，通過(guò)接收多個(gè)通道的初始數(shù)據(jù)和連接位圖；對(duì)每個(gè)通道的初始數(shù)據(jù)進(jìn)行預(yù)處理，得到每個(gè)通道的第一數(shù)據(jù)；將所述多個(gè)通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲(chǔ)區(qū)域中；根據(jù)中間存儲(chǔ)區(qū)域中的所述連接位圖，將多個(gè)通道的第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；對(duì)拼接數(shù)據(jù)進(jìn)行零壓縮處理，得到壓縮數(shù)據(jù)包。通過(guò)數(shù)據(jù)拼接將多路數(shù)據(jù)整合為單數(shù)據(jù)流，對(duì)單數(shù)據(jù)流進(jìn)行零壓縮處理，以實(shí)現(xiàn)存儲(chǔ)空間壓縮。且數(shù)據(jù)拼接和零壓縮兩個(gè)環(huán)節(jié)實(shí)現(xiàn)數(shù)據(jù)壓縮，是不對(duì)輸入數(shù)據(jù)類(lèi)型有特殊約束的，因此具有更廣泛的適用性，也就是實(shí)現(xiàn)了數(shù)據(jù)壓縮處理的高可拓展性。

技術(shù)特征：

1.一種數(shù)據(jù)壓縮處理方法，其特征在于，所述方法應(yīng)用稀疏矩陣壓縮場(chǎng)景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，對(duì)每個(gè)通道的初始數(shù)據(jù)進(jìn)行預(yù)處理，得到每個(gè)通道的第一數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)壓縮處理方法，其特征在于，對(duì)每個(gè)通道的初始數(shù)據(jù)進(jìn)行移位補(bǔ)零處理，包括：

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)壓縮處理方法，其特征在于，將每個(gè)通道的初始數(shù)據(jù)按照預(yù)設(shè)規(guī)則對(duì)應(yīng)的目標(biāo)位數(shù)進(jìn)行左移，包括：

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，根據(jù)中間存儲(chǔ)區(qū)域中的所述連接位圖，通過(guò)數(shù)據(jù)拼接模塊將多個(gè)通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)，包括：

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)壓縮處理方法，其特征在于，基于所述連接位圖，確定多個(gè)通道中至少兩個(gè)待拼接通道，包括：

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)壓縮處理方法，其特征在于，將所述至少兩個(gè)待拼接通道的所述第一數(shù)據(jù)拼接得到所述拼接數(shù)據(jù)，包括：

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)壓縮處理方法，其特征在于，若所述多個(gè)通道的通道個(gè)數(shù)為n，每個(gè)通道的所述第一數(shù)據(jù)的數(shù)據(jù)位寬為m，則所述拼接數(shù)據(jù)的數(shù)據(jù)位寬與拼接前的所述第一數(shù)據(jù)的數(shù)據(jù)位寬均為n×m位。

9.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，將所述多個(gè)通道的第一數(shù)據(jù)和所述連接位圖輸入到中間存儲(chǔ)區(qū)域中，包括：

10.一種數(shù)據(jù)壓縮處理裝置，其特征在于，所述裝置應(yīng)用稀疏矩陣壓縮場(chǎng)景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述裝置至少包括：

技術(shù)總結(jié)
本申請(qǐng)實(shí)施方式提供了一種數(shù)據(jù)壓縮處理方法及相關(guān)裝置。該方法包括：接收多個(gè)通道的初始數(shù)據(jù)和連接位圖；對(duì)每個(gè)通道的初始數(shù)據(jù)進(jìn)行預(yù)處理，得到每個(gè)通道的第一數(shù)據(jù)；將多個(gè)通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲(chǔ)區(qū)域中；根據(jù)中間存儲(chǔ)區(qū)域中的連接位圖，將多個(gè)通道的第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；對(duì)拼接數(shù)據(jù)進(jìn)行零壓縮處理，得到壓縮數(shù)據(jù)包。本申請(qǐng)通過(guò)數(shù)據(jù)拼接將多路數(shù)據(jù)整合為單數(shù)據(jù)流，對(duì)單數(shù)據(jù)流進(jìn)行零壓縮處理，以實(shí)現(xiàn)存儲(chǔ)空間壓縮。數(shù)據(jù)拼接和零壓縮兩個(gè)環(huán)節(jié)實(shí)現(xiàn)數(shù)據(jù)壓縮，是不對(duì)輸入數(shù)據(jù)類(lèi)型有特殊約束的，因此具有更廣泛的適用性，也就是實(shí)現(xiàn)了數(shù)據(jù)壓縮處理的高可拓展性。

技術(shù)研發(fā)人員：鄭瀚尋,楊龔軼凡,闖小明,靳翼冰
受保護(hù)的技術(shù)使用者：上海泰則半導(dǎo)體有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19