專利名稱：一種網(wǎng)絡(luò)去重的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)通信領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)去重的方法和設(shè)備。
背景技術(shù)：
在網(wǎng)絡(luò)鏈路上傳送的數(shù)據(jù)分組中存在大量的重復(fù)內(nèi)容，重復(fù)內(nèi)容的傳送不僅占用鏈路帶寬資源，還降低了網(wǎng)絡(luò)傳輸效率。通常網(wǎng)絡(luò)去重(duplicate removal)技術(shù)是在鏈路的兩端部署去重功能，即在上游網(wǎng)絡(luò)設(shè)備的出接口和下游網(wǎng)絡(luò)設(shè)備的入接ロ對(duì)應(yīng)部署去重功能。這樣，對(duì)于點(diǎn)到多點(diǎn)模式傳輸網(wǎng)絡(luò)流量的場景，需要在上游網(wǎng)絡(luò)設(shè)備的多個(gè)出接ロ部署去重功能，上游網(wǎng)絡(luò)設(shè)備的緩存利用率低。同吋，由于去重只針對(duì)鏈路，無法實(shí)現(xiàn)上游網(wǎng)絡(luò)設(shè)備內(nèi)部交換的流量去重。此外，當(dāng)網(wǎng)絡(luò)部署調(diào)整時(shí)，例如増加ー個(gè)下游網(wǎng)絡(luò)設(shè)備，上游網(wǎng)絡(luò)設(shè)備也需要調(diào)整相應(yīng)出接ロ的配置，配置和操作較復(fù)雜
發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供了一種網(wǎng)絡(luò)去重的方法，裝置和系統(tǒng)，以解決現(xiàn)有技術(shù)無法實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備內(nèi)部和接ロ線卡的流量去重，網(wǎng)絡(luò)設(shè)備的緩存利用率低的問題。為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種網(wǎng)絡(luò)去重的方法，包括從入接ロ接收分組；根據(jù)所述分組的目的地址獲取出接ロ ；根據(jù)所述出接ロ對(duì)所述分組去重；將所述去重后的分組從所述入接ロ交換到所述出接ロ。本發(fā)明實(shí)施例提供了一種網(wǎng)絡(luò)去重的設(shè)備，包括入接ロ線卡，去重模塊，交換矩陣和出接ロ線卡；其中所述入接ロ線卡，用于從入接ロ接收分組；還用于根據(jù)所述分組的目的地址獲取出接ロ。所述去重模塊，用于根據(jù)所述出接ロ對(duì)所述分組去重；所述交換矩陣，用于將所述去重后的分組從所述入接ロ線卡交換到所述出接ロ線卡;所述出接ロ線卡，用于從所述出接ロ轉(zhuǎn)發(fā)所述去重后的分組。采用本發(fā)明實(shí)施例提供的技術(shù)方案，通過在網(wǎng)絡(luò)設(shè)備的上行接ロ部署去重功能，分組在上行接ロ進(jìn)行去重處理，統(tǒng)ー緩存，不僅提升了緩存利用率，還減少了網(wǎng)絡(luò)設(shè)備的接ロ線卡和內(nèi)部交換矩陣的流量。


圖I是本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)去重的方法流程圖；圖2是本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)去重的設(shè)備硬件框圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。本發(fā)明實(shí)施例提供了一種網(wǎng)絡(luò)去重的方法，裝置和系統(tǒng)。所述方法包括從入接ロ接收分組；根據(jù)所述分組的目的地址獲取出接ロ ；根據(jù)所述出接ロ對(duì)所述分組去重；將所述去重后的分組從所述入接ロ交換到所述出接ロ。采用本發(fā)明實(shí)施例提供的技術(shù)方案，可以解決現(xiàn)有技術(shù)無法實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備內(nèi)部和接ロ卡的流量去重，網(wǎng)絡(luò)設(shè)備的緩存利用率低的問題。參見圖1，是本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)去重的方法流程圖，所述方法包括101 :從入接ロ接收分組。網(wǎng)絡(luò)設(shè)備從入接ロ接收分組，例如網(wǎng)際協(xié)議IP分組、以太網(wǎng)幀等?！?02 :根據(jù)所述分組的目的地址獲取出接ロ。所述網(wǎng)絡(luò)設(shè)備可以根據(jù)所述分組的目的地址查詢轉(zhuǎn)發(fā)表，例如路由表或MAC (Media Access Control，媒體訪問控制)表，獲取所述目的地址對(duì)應(yīng)的出接ロ。所述網(wǎng)絡(luò)設(shè)備可以保存所述分組和所述出接ロ，例如，可以將所述分組和所述出接ロ保存在分組庫中。所述分組庫可以由緩存實(shí)現(xiàn)。所述緩存可以是入接ロ線卡的緩存。103 :根據(jù)所述出接ロ對(duì)所述分組去重。所述網(wǎng)絡(luò)設(shè)備在入接口上根據(jù)所述出接ロ對(duì)所述分組去重。所述網(wǎng)絡(luò)設(shè)備可以采用通用的方式，例如內(nèi)容指紋技木，對(duì)所述分組去重，得到去重后的分組。例如，所述網(wǎng)絡(luò)設(shè)備可以根據(jù)所述分組和指紋算法，例如拉賓Rabin算法，得到所述分組的內(nèi)容指紋，對(duì)所述分組去重。所述網(wǎng)絡(luò)設(shè)備可以在入接ロ部署去重模塊，用于根據(jù)出接ロ對(duì)所述分組去重。 所述去重模塊可以集成在所述入接ロ線卡上。所述去重模塊可以是功能實(shí)體，也可以由硬件實(shí)現(xiàn)。所述網(wǎng)絡(luò)設(shè)備可以保存內(nèi)容指紋信息庫，包括出接ロ，內(nèi)容指紋和分組指針的對(duì)應(yīng)關(guān)系。所述分組指針是分組在分組庫中指針。所述內(nèi)容指紋信息庫還可以包括分組標(biāo)識(shí)，所述分組標(biāo)識(shí)可以是根據(jù)分組和哈希算法，例如 SHA (Secure Hash Algorithm,安全哈希算法)、MD5 (Message-Digest Algorithm5，信息摘要算法5)等，得到的標(biāo)識(shí)。所述網(wǎng)絡(luò)設(shè)備還可以保存分組標(biāo)識(shí)庫，包括分組標(biāo)識(shí)和分組指針的對(duì)應(yīng)關(guān)系。所述去重模塊可以根據(jù)所述出接ロ和所述內(nèi)容指紋查詢內(nèi)容指紋信息庫，獲取出接口和內(nèi)容指紋相同的已有分組，對(duì)所述分組去重。所述去重模塊還可以包括多個(gè)子模塊，各子模塊和各個(gè)出接ロ分別對(duì)應(yīng)。對(duì)于發(fā)往不同出接ロ的分組，所述去重模塊可以將分組發(fā)送到不同的子模塊，對(duì)所述分組去重。所述網(wǎng)絡(luò)設(shè)備在入接ロ線卡統(tǒng)ー緩存分組、內(nèi)容指紋等信息所需要的緩存大小，相對(duì)于在每個(gè)出接ロ線卡上分別緩存分組、內(nèi)容指紋等信息需要的緩存大小，存在一定的收斂比，提高了緩存利用率。
舉例來說，所述網(wǎng)絡(luò)設(shè)備根據(jù)所述分組和Rabin算法，得到所述分組的內(nèi)容指紋；然后根據(jù)所述出接口和所述內(nèi)容指紋，查詢內(nèi)容指紋信息庫，所述內(nèi)容指紋信息庫包括出接ロ，內(nèi)容指紋和分組指針的對(duì)應(yīng)關(guān)系。當(dāng)所述出接口和所述內(nèi)容指紋與內(nèi)容指紋信息庫中一條已有內(nèi)容指紋信息中的出接口和內(nèi)容指紋相同吋，獲取所述已有內(nèi)容指紋信息中的分組指針對(duì)應(yīng)的已有分組。根據(jù)所述已有分組和所述分組，得到所述分組和所述已有分組的重復(fù)內(nèi)容；然后，獲取重復(fù)內(nèi)容信息，所述重復(fù)內(nèi)容信息包括所述已有分組的分組標(biāo)識(shí)，重復(fù)內(nèi)容在所述已有分組中的起始偏移量和終止偏移量。 最后，用所述重復(fù)內(nèi)容信息替換所述分組中的重復(fù)內(nèi)容，得到去重后的分組。104 :將所述去重后的分組從所述入接ロ交換到所述出接ロ。
所述網(wǎng)絡(luò)設(shè)備通過內(nèi)部交換矩陣將所述去重后的分組從所述入接ロ交換到所述出接ロ。所述網(wǎng)絡(luò)設(shè)備通過所述出接ロ轉(zhuǎn)發(fā)所述去重后的分組。參見圖2，是本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)去重的設(shè)備硬件框圖，所述設(shè)備包括入接ロ線卡201，去重模塊202，交換矩陣203和出接ロ線卡204。所述入接ロ線卡201，用于從入接ロ接收分組；還用于根據(jù)所述分組的目的地址獲取出接ロ。所述入接ロ線卡201可以保存所述分組和所述出接ロ，例如，可以將所述分組和所述出接ロ保存在分組庫中，所述分組庫可以由入接ロ線卡的緩存實(shí)現(xiàn)。所述去重模塊202，用于根據(jù)所述出接ロ對(duì)所述分組去重。所述去重模塊202可以集成在所述入接ロ線卡201上，還可以是獨(dú)立的硬件。所述去重模塊202可以采用通用的方式去重，例如內(nèi)容指紋技術(shù)，對(duì)所述分組去重，得到去重后的分組。例如，所述去重模塊202可以根據(jù)所述分組和指紋算法，得到所述分組的內(nèi)容指紋，對(duì)所述分組去重。所述入接ロ線卡201可以保存內(nèi)容指紋信息庫，包括出接ロ，內(nèi)容指紋和分組指針的對(duì)應(yīng)關(guān)系。所述分組指針是分組在分組庫中指針。所述內(nèi)容指紋信息庫還可以包括分組標(biāo)識(shí)，所述分組標(biāo)識(shí)可以是根據(jù)分組和哈希算法，例如 SHA (Secure Hash Algorithm,安全哈希算法)、MD5 (Message-Digest Algorithm5，信息摘要算法5)等，得到的標(biāo)識(shí)。所述入接ロ線卡201還可以保存分組標(biāo)識(shí)庫，包括分組標(biāo)識(shí)和分組指針的對(duì)應(yīng)關(guān)
系O所述去重模塊202可以根據(jù)所述出接口和所述內(nèi)容指紋查詢內(nèi)容指紋信息庫，獲取出接口和內(nèi)容指紋相同的已有分組，對(duì)所述分組去重。所述去重模塊202還可以包括多個(gè)子模塊，各子模塊和各個(gè)出接ロ分別對(duì)應(yīng)。所述去重模塊202還可以將發(fā)往不同出接ロ的數(shù)據(jù)分組，發(fā)送到不同的子模塊，以對(duì)所述分
組去重。所述設(shè)備在入接ロ線卡統(tǒng)ー緩存分組、內(nèi)容指紋等信息所需要的緩存大小，相對(duì)于在每個(gè)出接ロ線卡上分別緩存分組、內(nèi)容指紋等信息需要的緩存大小，存在一定的收斂比，提高了緩存利用率。舉例來說，所述去重模塊202根據(jù)所述分組和Rabin算法，得到所述分組的內(nèi)容指紋；然后根據(jù)所述出接口和所述內(nèi)容指紋，查詢內(nèi)容指紋信息庫，所述內(nèi)容指紋信息庫包括出接ロ，內(nèi)容指紋和分組指針的對(duì)應(yīng)關(guān)系。當(dāng)所述出接口和所述內(nèi)容指紋與內(nèi)容指紋信息庫中一條已有內(nèi)容指紋信息中的出接口和內(nèi)容指紋相同吋，獲取所述已有內(nèi)容指紋信息中的分組指針對(duì)應(yīng)的已有分組。根據(jù)所述已有分組和所述分組，得到所述分組和所述已有分組的重復(fù)內(nèi)容；然后，獲取重復(fù)內(nèi)容信息，所述重復(fù)內(nèi)容信息包括所述已有分組的分組標(biāo)識(shí)，重復(fù)內(nèi)容在所述已有分組中的起始偏移量和終止偏移量。最后，用所述重復(fù)內(nèi)容信息替換所述分組中的重復(fù)內(nèi)容，得到去重后的分組。所述交換矩陣203，用于將所述去重后的分組從所述入接ロ線卡201交換到所述出接ロ線卡204 ；
所述出接ロ線卡204，用于從所述出接ロ轉(zhuǎn)發(fā)所述去重后的分組。采用本發(fā)明實(shí)施例提供的技術(shù)方案，通過在網(wǎng)絡(luò)設(shè)備的入接ロ部署去重功能，分組在入接ロ進(jìn)行去重處理，統(tǒng)ー緩存，不僅提升了緩存利用率，同時(shí)由于網(wǎng)絡(luò)設(shè)備內(nèi)部緩存和交換的是去重的數(shù)據(jù)分組，實(shí)現(xiàn)了網(wǎng)絡(luò)設(shè)備內(nèi)部和接ロ線卡的流量去重。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，所述存儲(chǔ)介質(zhì)可以是R0M/RAM，磁盤或光盤等。以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種網(wǎng)絡(luò)去重的方法，其特征在于，包括 從入接口接收分組； 根據(jù)所述分組的目的地址獲取出接口； 根據(jù)所述出接口對(duì)所述分組去重； 將所述去重后的分組從所述入接口交換到所述出接口。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述根據(jù)分組的目的地址獲取出接口，具體包括 根據(jù)所述分組的目的地址查詢轉(zhuǎn)發(fā)表，獲取所述目的地址對(duì)應(yīng)的出接口。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述根據(jù)所述出接口對(duì)所述分組去重，具體包括 在所述入接口上根據(jù)所述出接口對(duì)所述分組去重。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述將所述去重的分組從所述入接口交換到所述出接口，具體包括 通過內(nèi)部交換矩陣將所述去重后的分組從所述入接口交換到所述出接口。
5.根據(jù)權(quán)利要求I至4任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述出接口對(duì)所述分組去重，具體包括 根據(jù)所述出接口，采用內(nèi)容指紋技術(shù)對(duì)所述分組去重。
6.一種網(wǎng)絡(luò)去重的設(shè)備，其特征在于，包括入接口線卡，去重模塊，交換矩陣和出接口線卡；其中 所述入接口線卡，用于從入接口接收分組；還用于根據(jù)所述分組的目的地址獲取出接□。
所述去重模塊，用于根據(jù)所述出接口對(duì)所述分組去重； 所述交換矩陣，用于將所述去重后的分組從所述入接口線卡交換到所述出接口線卡； 所述出接口線卡，用于從所述出接口轉(zhuǎn)發(fā)所述去重后的分組。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述入接口線卡具體用于 根據(jù)所述分組的目的地址查詢轉(zhuǎn)發(fā)表，獲取所述目的地址對(duì)應(yīng)的出接口。
8.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述去重模塊集成在所述入接口線卡上。
9.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述去重模塊還包括多個(gè)子模塊，各個(gè)子模塊和各個(gè)出接口分別對(duì)應(yīng)。
10.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述去重模塊具體用于根據(jù)所述出接口采用內(nèi)容指紋技術(shù)對(duì)所述分組去重。
全文摘要
本發(fā)明實(shí)施例公開了一種網(wǎng)絡(luò)去重的方法和設(shè)備。所述方法包括從入接口接收分組；根據(jù)所述分組的目的地址獲取出接口；根據(jù)所述出接口對(duì)所述分組去重；將所述去重后的分組從所述入接口交換到所述出接口。采用本發(fā)明實(shí)施例提供的技術(shù)方案，可以解決現(xiàn)有技術(shù)無法實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備內(nèi)部和接口線卡的流量去重，網(wǎng)絡(luò)設(shè)備的緩存利用率低的問題。
文檔編號(hào)H04L12/56GK102833146SQ20111016430
公開日2012年12月19日 申請(qǐng)日期2011年6月17日 優(yōu)先權(quán)日2011年6月17日
發(fā)明者許用梁 申請(qǐng)人:華為技術(shù)有限公司