本發(fā)明涉及一種結合wasm與數(shù)據(jù)加密的防爬蟲方法及系統(tǒng)，屬于網(wǎng)絡安全。

背景技術：

1、反網(wǎng)頁爬蟲技術正處于快速發(fā)展和不斷演進的階段。它正在變得更加智能、動態(tài)和全面，同時也在尋求與用戶體驗、法律法規(guī)和網(wǎng)站性能之間的平衡；隨著數(shù)據(jù)價值的不斷提升，反爬蟲技術在未來很可能會繼續(xù)保持高速發(fā)展的態(tài)勢。

2、現(xiàn)有的反爬蟲技術通常包括驗證碼、ip封鎖、用戶瀏覽器指紋檢測、頻率限制等方式來防止爬蟲程序對網(wǎng)站進行訪問。然而，這些技術仍然存在一些不足之處，人工智能技術的發(fā)展使得爬蟲程序可以自動解決大部分驗證碼，降低了驗證碼的防御效果；ip地址可以很容易地被更換或者使用代理服務器來避開封鎖，使得ip封鎖的方法相對容易被繞過；爬蟲程序可以偽裝成普通用戶的瀏覽器指紋，從而避開簡單的瀏覽器指紋檢測；

3、公告號為“cn114553541b”的發(fā)明專利提出了一種分級校驗防爬蟲的方法，包括：接受用戶請求，統(tǒng)計橫向時間訪問次數(shù)，利用所述橫向時間訪問次數(shù)計算風險系數(shù)，判斷所述風險系數(shù)是否在預設的校?驗異常范圍內(nèi)，若所述風險系數(shù)在預設的校驗異常范圍內(nèi)，則根據(jù)所述風險系數(shù)進行風險值評估，判斷用戶請求風險分級，當所述用戶請求風?險分級為高風險時，進行登錄攔截校驗，所述用戶請求風險分級為中風險時，進行驗證碼校驗，所述用戶請求風險分級為低風險時，則允許請求，本發(fā)明避免了誤封正常用戶ip地址，既不影響正常用戶的訪問，并且還防止了系統(tǒng)宕機的風險；

4、上述方案中采樣的頻率限制方法容易導致誤封正常用戶，同時對于分布式爬蟲來說，并不是很有效。

技術實現(xiàn)思路

1、為了解決上述現(xiàn)有技術中存在的問題，本發(fā)明提出了一種結合wasm與數(shù)據(jù)加密的防爬蟲方法及系統(tǒng)。

2、本發(fā)明的技術方案如下：

3、一方面，本發(fā)明提供了一種結合wasm與數(shù)據(jù)加密的防爬蟲方法，包括以下步驟：

4、初始化wasm字節(jié)碼緩存池，通過java的securerandom類生成一個隨機數(shù)輸入wasm字節(jié)碼緩存池中，再基于wasm字節(jié)碼緩存池中的隨機數(shù)通過aes算法生成密鑰；

5、動態(tài)生成包含解密邏輯的java代碼，并將密鑰以數(shù)組形式嵌入代碼當中；

6、將動態(tài)生成的java代碼轉譯生成wasm解密字節(jié)碼，將wasm解密字節(jié)碼和密鑰一起保存到wasm緩存池中；

7、在網(wǎng)頁后臺服務返回請求數(shù)據(jù)前，從緩存池中獲取一個密鑰與對應的wasm解密字節(jié)碼，使用密鑰對數(shù)據(jù)進行加密后返回密文數(shù)據(jù)以及wasm解密字節(jié)碼。

8、作為本發(fā)明的優(yōu)選實施方式，密文數(shù)據(jù)的解密步驟為：

9、網(wǎng)頁前端判斷后臺返回的數(shù)據(jù)是否需要解密，若需要則使用javascript加載并實例化wasm解密字節(jié)碼，基于wasm解密字節(jié)碼中的解密邏輯，使用嵌入的密鑰對密文數(shù)據(jù)進行解密，得到原始數(shù)據(jù)。

10、作為本發(fā)明的優(yōu)選實施方式，所述密鑰為256位aes密鑰。

11、作為本發(fā)明的優(yōu)選實施方式，每隔固定時間，wasm字節(jié)碼緩存池將會生成新的wasm解密字節(jié)碼和密鑰。

12、另一方面，本發(fā)明還提供了一種結合wasm與數(shù)據(jù)加密的防爬蟲系統(tǒng)，包括初始化模塊、密鑰嵌入模塊、解密字節(jié)碼生成模塊以及數(shù)據(jù)加密模塊；

13、所述初始化模塊用于初始化wasm字節(jié)碼緩存池，通過java的securerandom類生成一個隨機數(shù)輸入wasm字節(jié)碼緩存池中，再基于wasm字節(jié)碼緩存池中的隨機數(shù)通過aes算法生成密鑰；

14、所述密鑰嵌入模塊用于動態(tài)生成包含解密邏輯的java代碼，并將密鑰以數(shù)組形式嵌入代碼當中；

15、所述解密字節(jié)碼生成模塊用于將動態(tài)生成的java代碼轉譯生成wasm解密字節(jié)碼，將wasm解密字節(jié)碼和密鑰一起保存到wasm緩存池中；

16、所述數(shù)據(jù)加密模塊用于在網(wǎng)頁后臺服務返回請求數(shù)據(jù)前，從緩存池中獲取一個密鑰與對應的wasm解密字節(jié)碼，使用密鑰對數(shù)據(jù)進行加密后返回密文數(shù)據(jù)以及wasm解密字節(jié)碼。

17、作為本發(fā)明的優(yōu)選實施方式，所述系統(tǒng)還包括前端數(shù)據(jù)解密模塊；

18、所述前端數(shù)據(jù)解密模塊用于判斷后臺返回的數(shù)據(jù)是否需要解密，若需要則使用javascript加載并實例化wasm解密字節(jié)碼，基于wasm解密字節(jié)碼中的解密邏輯，使用嵌入的密鑰對密文數(shù)據(jù)進行解密，得到原始數(shù)據(jù)。

19、作為本發(fā)明的優(yōu)選實施方式，所述密鑰為256位aes密鑰。

20、作為本發(fā)明的優(yōu)選實施方式，每隔固定時間，wasm字節(jié)碼緩存池將會生成新的wasm解密字節(jié)碼和密鑰。

21、再一方面，本發(fā)明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如本發(fā)明任一實施例所述的方法。

22、再一方面，本發(fā)明還提供一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明任一實施例所述的方法。

23、本發(fā)明具有如下有益效果：

24、1、本發(fā)明通過wasm字節(jié)碼來進行解密，利用wasm的高效性，顯著提升了解密過程的速度和性能。

25、2、本發(fā)明的密鑰生成為唯一密鑰，保證了數(shù)據(jù)加密結果的唯一性，每個wasm解密字節(jié)碼與特定的唯一密鑰進行綁定，生成的wasm解密字節(jié)碼也是唯一的，每個wasm字節(jié)碼只能解密使用與之綁定的對應密鑰加密過的數(shù)據(jù)，有效防止了惡意攻擊和數(shù)據(jù)泄露的風險。

26、3、本發(fā)明提供對密鑰和wasm解密字節(jié)碼緩存機制，wasm構造服務生成字節(jié)碼和密鑰信息，并提供了定時刷新緩存機制，不僅提高了系統(tǒng)的運行效率，還保證了用戶在數(shù)據(jù)驗證過程中的順暢體驗。

技術特征：

1.一種結合wasm與數(shù)據(jù)加密的防爬蟲方法，其特征在于，包括以下步驟：初始化wasm字節(jié)碼緩存池，通過java的securerandom類生成一個隨機數(shù)輸入wasm字節(jié)碼緩存池中，再基于wasm字節(jié)碼緩存池中的隨機數(shù)通過aes算法生成密鑰；

2.根據(jù)權利要求1所述的一種結合wasm與數(shù)據(jù)加密的防爬蟲方法，其特征在于，密文數(shù)據(jù)的解密步驟為：

3.根據(jù)權利要求1所述的一種結合wasm與數(shù)據(jù)加密的防爬蟲方法，其特征在于，所述密鑰為256位aes密鑰。

4.根據(jù)權利要求1所述的一種結合wasm與數(shù)據(jù)加密的防爬蟲方法，其特征在于，每隔固定時間，wasm字節(jié)碼緩存池將會生成新的wasm解密字節(jié)碼和密鑰。

5.一種結合wasm與數(shù)據(jù)加密的防爬蟲系統(tǒng)，其特征在于，包括初始化模塊、密鑰嵌入模塊、解密字節(jié)碼生成模塊以及數(shù)據(jù)加密模塊；

6.根據(jù)權利要求5所述的一種結合wasm與數(shù)據(jù)加密的防爬蟲系統(tǒng)，其特征在于，所述系統(tǒng)還包括前端數(shù)據(jù)解密模塊；

7.根據(jù)權利要求5所述的一種結合wasm與數(shù)據(jù)加密的防爬蟲系統(tǒng)，其特征在于，所述密鑰為256位aes密鑰。

8.根據(jù)權利要求5所述的一種結合wasm與數(shù)據(jù)加密的防爬蟲系統(tǒng)，其特征在于，每隔固定時間，wasm字節(jié)碼緩存池將會生成新的wasm解密字節(jié)碼和密鑰。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1至4任一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權利要求1至4任一項所述的方法。

技術總結
本發(fā)明涉及一種結合WASM與數(shù)據(jù)加密的防爬蟲方法及系統(tǒng)，所述方法包括以下步驟：初始化WASM字節(jié)碼緩存池，WASM字節(jié)碼緩存池通過Java的SecureRandom類生成一個隨機數(shù)輸入WASM字節(jié)碼緩存池中，再基于WASM字節(jié)碼緩存池中的隨機數(shù)通過AES算法生成密鑰；動態(tài)生成包含解密邏輯的JAVA代碼，并將密鑰以數(shù)組形式嵌入代碼當中；將動態(tài)生成的JAVA代碼轉譯生成WASM解密字節(jié)碼，將WASM解密字節(jié)碼和密鑰一起保存到WASM緩存池中；在網(wǎng)頁后臺服務返回請求數(shù)據(jù)前，從緩存池中獲取一個密鑰與對應的WASM解密字節(jié)碼，使用密鑰對數(shù)據(jù)進行加密后返回密文數(shù)據(jù)以及WASM解密字節(jié)碼。

技術研發(fā)人員：陳海量,張文,劉盈,吳運澤,周麗紅,劉志鵬
受保護的技術使用者：福建博思軟件股份有限公司
技術研發(fā)日：
技術公布日：2024/12/17