專利名稱：一種捕獲BitTorrent網(wǎng)絡(luò)中節(jié)點信息的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用分布式仿真技術(shù)捕獲BitTorrent(以下簡稱BT)網(wǎng)絡(luò)中節(jié)點 信息的方法。該方法結(jié)合分布式仿真技術(shù)，實現(xiàn)了一個BitTorrent仿真系統(tǒng)。利用該仿真 系統(tǒng)可實現(xiàn)與真實Tracker服務(wù)器和BT網(wǎng)絡(luò)客戶端相兼容的BT仿真客戶端，并從真實BT 網(wǎng)絡(luò)下載和上傳數(shù)據(jù)的功能，從而可捕獲BT網(wǎng)絡(luò)中的節(jié)點信息。
背景技術(shù)：
BitTorrent是一種文件分發(fā)的協(xié)議，它通過URL來識別內(nèi)容，并且可以無縫的和 Web進(jìn)行交互，它基于HTTP協(xié)議，其優(yōu)勢是如果有多個下載者并發(fā)的下載同一個文件，那 么，每個下載者也同時為其它下載者上傳文件，這樣，文件源可以支持大量的用戶進(jìn)行下 載，而只帶來適當(dāng)?shù)呢?fù)載的增長。 BitTorrent協(xié)議的基本思想為把文件分割成文件片；將各文件片迅速地復(fù)制到 需要下載該文件的不同的節(jié)點上；當(dāng)一個節(jié)點獲得一個完整的文件片時，它便可以向其他 節(jié)點進(jìn)行發(fā)送；通過以上策略，節(jié)點最終能夠獲得一個完整的文件。 BitTorrent協(xié)議采用博弈論的思想，利用tit-for-tat策略進(jìn)行大文件的共享與 下載。在這種策略下，有效的控制了"免費搭車者"(free rider)現(xiàn)象的發(fā)生，節(jié)點只有提 供資源的下載才能從其他節(jié)點處下載自己所需的資源。 雖然BitTorrent協(xié)議不像DHTs那樣對資源的定位有非常好的保證，但在實際的 操作中，BitTorrent協(xié)議的運行效果卻遠(yuǎn)遠(yuǎn)優(yōu)于DHTs。 BT文件分布系統(tǒng)由四個實體組成Web服務(wù)器、Tracker服務(wù)器、種子seed和下載 者leecher。 Web服務(wù)器用于存放靜態(tài)的.torrent文件，別人可以從此服務(wù)器上下載此文 件，此文件中的內(nèi)容以B編碼的形式存在。 Tracker服務(wù)器主要向節(jié)點提供鄰居節(jié)點列表，并記錄各節(jié)點的運行狀況，其中包
括節(jié)點上傳量、下載量、下載分片信息等。當(dāng)一個peer剛開始下載時，它需要知道都有哪些
peer正在下載這一個文件，以便能與它們建立連接，從它們那里下載文件。這一信息交互是
采用HTTP的方式來進(jìn)行的。首先peer在.torrent文件中找到Tracker服務(wù)器的URL，向
Tracker提交請求，然后Tracker返回給節(jié)點相應(yīng)的信息。 種子seed是指擁有完整文件并提供下載的節(jié)點。 下載者leecher是指正在下載文件，擁有部分文件的節(jié)點。 BitTorrent協(xié)議的運行過程可以分成四個階段請求文件下載；獲取鄰居列表； 文件下載；下載完畢。 當(dāng)一個節(jié)點想要下載某個文件時，首先是從Web服務(wù)器上下載.Torrent元信息文 件。.Torrent元信息文件中，主要包括有Tracker服務(wù)器的IP和Port,并且包括有該文件 的分片數(shù)。 當(dāng)節(jié)點獲取到Tracker服務(wù)器信息以及文件分片數(shù)后，便向Tracker服務(wù)器發(fā)送 信息，表明自己的存在，并在Tracker服務(wù)器中注冊。Tracker服務(wù)器接收到節(jié)點發(fā)送的消息后，記錄下該節(jié)點的信息，并隨機(jī)返回給該節(jié)點一定量的鄰居節(jié)點的列表。
當(dāng)節(jié)點獲取到鄰居節(jié)點的信息后，并同鄰居節(jié)點建立連接，進(jìn)行文件的下載。文件 下載的過程可以分成以下幾個階段當(dāng)節(jié)點獲取到鄰居節(jié)點的信息后，便采用TCP協(xié)議進(jìn) 行連接，如果連接成功便在本地記錄下來；當(dāng)一個節(jié)點下載的文件分片數(shù)小于四個時，便隨 機(jī)地下載四個文件片，當(dāng)節(jié)點下載的文件分片超過四個時，便按照rarest first算法進(jìn)行 文件分片下載；節(jié)點定時向Tracker服務(wù)器匯報其進(jìn)程，其中匯報的內(nèi)容包括以下幾部分 節(jié)點ID、上傳量、下載量，剩余量、狀態(tài)、擁有的文件分片等。節(jié)點之間會定時相互發(fā)送消息 以維護(hù)連接。當(dāng)節(jié)點發(fā)現(xiàn)其某個鄰居超過一定時間而未發(fā)送消息時，便判斷與該鄰居的連 接已經(jīng)斷掉，并將該鄰居從自己的鄰居列表中刪除。當(dāng)節(jié)點的鄰居列表所保存的鄰居數(shù)少 于20時，并向Tracker服務(wù)器發(fā)送消息請求鄰居。每個節(jié)點的鄰居列表的最大長度為80。
當(dāng)節(jié)點下載完文件后，可以選擇繼續(xù)保持在BT網(wǎng)絡(luò)中，充當(dāng)種子，提供文件的下 載。節(jié)點也可以選擇退出BT網(wǎng)絡(luò)，退出時向Tracker服務(wù)器發(fā)送退出消息。

發(fā)明內(nèi)容
本發(fā)明的目的是利用一種分布式仿真技術(shù)來捕獲BitTorrent網(wǎng)絡(luò)中的節(jié)點信 息。該方法結(jié)合分布式仿真技術(shù)，實現(xiàn)了一個BitTorrent仿真系統(tǒng)。利用該仿真系統(tǒng)可捕 獲BT網(wǎng)絡(luò)中的節(jié)點信息。 如圖l所示，整個仿真系統(tǒng)從邏輯上分為兩層。第一層是由五個分布式仿真平 臺所構(gòu)成的一個非結(jié)構(gòu)化P2P網(wǎng)絡(luò)，每一個仿真平臺運行有一個或多個仿真節(jié)點。每個 仿真節(jié)點彼此間相互獨立，具有高度的自治性，同時彼此間又能夠進(jìn)行信息的交互。仿真 平臺負(fù)責(zé)完成本地仿真節(jié)點的仿真運行功能，主要包括仿真節(jié)點的創(chuàng)建、仿真節(jié)點連接關(guān) 系的建立、BT協(xié)議的執(zhí)行、信息的交互、本地數(shù)據(jù)的統(tǒng)計等。其中，當(dāng)從真實BT網(wǎng)絡(luò)中獲 取.torrent文件后，仿真節(jié)點通過BT協(xié)議的執(zhí)行，可實現(xiàn)與真實Tracker服務(wù)器和BT網(wǎng) 絡(luò)客戶端兼容性，并從真實BT網(wǎng)絡(luò)下載和上傳數(shù)據(jù)的功能，從而可捕獲BT網(wǎng)絡(luò)中的節(jié)點信 息。 第二層是由仿真服務(wù)器與已構(gòu)成的P2P網(wǎng)絡(luò)所組成，是一個集中式的C/S結(jié)構(gòu)，其 中服務(wù)器負(fù)責(zé)完成整個仿真系統(tǒng)和仿真運行的控制管理功能，包括時間同步管理、仿真任 務(wù)規(guī)劃、仿真運行控制、仿真數(shù)據(jù)收集分析等操作，仿真節(jié)點間的消息交互則交由節(jié)點所在 的仿真平臺處理。這樣的體系結(jié)構(gòu)結(jié)合了 C/S模式和P2P模式的分布式仿真網(wǎng)絡(luò)環(huán)境體系 結(jié)構(gòu)的優(yōu)點，可擴(kuò)展性好、實現(xiàn)難度較小。 仿真節(jié)點能夠與外界真實P2P應(yīng)用進(jìn)行網(wǎng)絡(luò)通信，是通過創(chuàng)建一張用于網(wǎng)絡(luò)連接 的維護(hù)和管理的網(wǎng)絡(luò)連接映射表來實現(xiàn)的。在真實的P2P網(wǎng)絡(luò)環(huán)境中，P2P應(yīng)用一般采用 UDP來發(fā)送命令等控制信息，而采用TCP來進(jìn)行數(shù)據(jù)的傳輸。根據(jù)P2P應(yīng)用的這一特征，網(wǎng) 絡(luò)連接映射表設(shè)計為如圖2所示。其中，Connection Type字段代表網(wǎng)絡(luò)連接方式，分為UDP 和TCP兩種方式；A卯lication IP字段是真實P2P應(yīng)用的IP地址。利用網(wǎng)絡(luò)連接映射表， 仿真節(jié)點能夠準(zhǔn)確地將數(shù)據(jù)傳輸?shù)酵饨缒硞€P2P應(yīng)用，以及外界數(shù)據(jù)能夠準(zhǔn)確地傳輸?shù)侥?的仿真節(jié)點，從而實現(xiàn)了仿真節(jié)點與外界真實P2P應(yīng)用的通信。而對于外界真實P2P應(yīng)用 而言，只清楚網(wǎng)絡(luò)仿真平臺的IP地址和相關(guān)通信的端口號，并不知道與之通信的仿真節(jié)點 的信息，對仿真系統(tǒng)起了一定的保護(hù)作用。
仿真系統(tǒng)中，由于仿真節(jié)點消息不通過仿真服務(wù)器端進(jìn)行轉(zhuǎn)發(fā)，不受服務(wù)器端計 算機(jī)性能的影響。仿真信息交互所帶來的網(wǎng)絡(luò)通信開銷分?jǐn)偟礁鱾€仿真平臺，網(wǎng)絡(luò)通信直 接、高效。因此，只要通過增加仿真平臺的數(shù)量，便可以實現(xiàn)大規(guī)模的BT仿真。
借助該分布式仿真系統(tǒng)實現(xiàn)BT網(wǎng)絡(luò)信息捕獲時，仿真節(jié)點首先主動從互聯(lián)網(wǎng)上 捕獲.torrent文件，解析完torrent文件，便向Tracker服務(wù)器發(fā)送注冊信息并請求鄰居 列表。因為Tracker服務(wù)器已經(jīng)登記BT仿真節(jié)點的注冊信息，所以，當(dāng)互聯(lián)網(wǎng)上的BT客 戶端向Tracker服務(wù)器發(fā)送請求鄰居列表消息時，Tracker服務(wù)器會向互聯(lián)網(wǎng)上的真實BT 客戶端返回仿真系統(tǒng)的仿真節(jié)點信息，真實BT客戶端會主動向仿真節(jié)點發(fā)送請求連接消 息。當(dāng)仿真節(jié)點接收到請求連接信息時，會記錄下基于特定.torrent文件的請求連接數(shù) 據(jù)包的IP地址、網(wǎng)絡(luò)端口號和接收請求連接數(shù)據(jù)包的系統(tǒng)時間等信息。通過對大量的網(wǎng) 絡(luò)數(shù)據(jù)包的IP地址、網(wǎng)絡(luò)端口號和連接時間差的統(tǒng)計與分析，可以得出如圖3所示的基于 某.torrent共享文件的BT客戶端地域分布情況以及不同時段的BT客戶端在線時間長等 有效信息。 利用該捕獲方法，可以進(jìn)一步的統(tǒng)計出第一個做種子者的客戶端、torrent文件的 生命周期、對應(yīng)Tracker的周期、torrent文件的有效性等數(shù)據(jù)，從而為深層研究BT協(xié)議和 BT網(wǎng)絡(luò)特征提供了一種有效的方法。


圖IBitTorrent仿真系統(tǒng)結(jié)構(gòu)圖； 圖2網(wǎng)絡(luò)連接映射表示意圖； 圖3基于地域分布的數(shù)據(jù)捕獲統(tǒng)計信息分布圖。
具體實施例方式
下面結(jié)合附圖對本發(fā)明的技術(shù)方案作詳細(xì)說明。 整個BitTorrent仿真系統(tǒng)的系統(tǒng)結(jié)構(gòu)如圖l所示。仿真系統(tǒng)服務(wù)端負(fù)責(zé)完成整個 仿真系統(tǒng)和仿真運行的控制管理功能，包括時間同步管理、仿真任務(wù)規(guī)劃、仿真運行控制、 仿真數(shù)據(jù)收集分析等操作；仿真平臺負(fù)責(zé)完成本地仿真節(jié)點的仿真運行功能，主要包括仿 真節(jié)點的創(chuàng)建、仿真節(jié)點連接關(guān)系的建立、BT協(xié)議的執(zhí)行、信息的交互、本地數(shù)據(jù)的統(tǒng)計等。
仿真系統(tǒng)開始時，先在仿真服務(wù)端配置子網(wǎng)拓?fù)湫畔⒑拖到y(tǒng)仿真參數(shù)，包括仿真 平臺數(shù)、仿真節(jié)點數(shù)、仿真協(xié)議、用于仿真平臺同步的仿真標(biāo)準(zhǔn)時間、仿真調(diào)度時間等信息， 并把仿真參數(shù)、子網(wǎng)拓?fù)湫畔⒓捌浞抡婷钕路诺礁鞣抡嫫脚_。 仿真平臺接收服務(wù)器傳送的仿真參數(shù)配置，進(jìn)行初始化設(shè)置，在接收子網(wǎng)拓?fù)湫?息后，完成三項操作確定本地的仿真節(jié)點數(shù)目，構(gòu)建相應(yīng)的仿真節(jié)點，同時給每個仿真節(jié) 點分配一個全局唯一標(biāo)識；確定本地仿真節(jié)點間的連接關(guān)系；確定本地仿真節(jié)點與其他仿 真平臺上的仿真節(jié)點間的連接關(guān)系。通過以上操作，仿真節(jié)點和彼此間的連接關(guān)系構(gòu)建完 畢，這樣才能進(jìn)行仿真節(jié)點的調(diào)度管理。同時，仿真平臺還要負(fù)責(zé)實時記錄由于網(wǎng)絡(luò)抖動而 造成的仿真節(jié)點狀態(tài)以及彼此間連接關(guān)系的動態(tài)變化，并將信息發(fā)送到仿真服務(wù)器端進(jìn)行 匯總處理。 當(dāng)仿真平臺初始化設(shè)置完畢后，向服務(wù)器端發(fā)送等待仿真運行消息，進(jìn)行仿真就緒狀態(tài)。然后仿真平臺接收服務(wù)器端發(fā)送的仿真時間消息，決定是否繼續(xù)推進(jìn)仿真還是暫 停仿真以待所有的仿真平臺進(jìn)行時間同步。如果整個仿真沒有結(jié)束，則仿真平臺運行當(dāng)前 時間的P2P仿真程序，然后向服務(wù)器端發(fā)送當(dāng)前時間仿真結(jié)束消息和當(dāng)前時間的仿真統(tǒng)計 數(shù)據(jù)。如果接收到仿真結(jié)束消息，則結(jié)束當(dāng)前仿真平臺的仿真運行，并發(fā)送當(dāng)前仿真平臺仿 真結(jié)束消息。 仿真平臺根據(jù)仿真參數(shù)配置仿真節(jié)點信息并執(zhí)行仿真命令，開始仿真。在仿真的 過程中，仿真節(jié)點執(zhí)行BT協(xié)議，當(dāng)仿真節(jié)點需要與外界真實P2P應(yīng)用進(jìn)行通信時，仿真系統(tǒng) 創(chuàng)建一個UDP或TCP的網(wǎng)絡(luò)連接，并將連接關(guān)系記錄到網(wǎng)絡(luò)連接映射表中。當(dāng)網(wǎng)絡(luò)通信結(jié) 束后，網(wǎng)絡(luò)連接會被仿真平臺撤銷，并將連接關(guān)系從網(wǎng)絡(luò)連接映射表中刪除，以減少仿真系 統(tǒng)的開銷。 仿真節(jié)點執(zhí)行BT協(xié)議時，仿真節(jié)點首先主動從互聯(lián)網(wǎng)上捕獲.torrent文件，解析 完torrent文件，便向Tracker服務(wù)器發(fā)送注冊信息并請求鄰居列表。因為Tracker服務(wù) 器已經(jīng)登記BT仿真節(jié)點的注冊信息，所以，當(dāng)互聯(lián)網(wǎng)上的BT客戶端向Tracker服務(wù)器發(fā)送 請求鄰居列表消息時，Tracker服務(wù)器會向互聯(lián)網(wǎng)上的真實BT客戶端返回仿真系統(tǒng)的仿真 節(jié)點信息，真實BT客戶端會主動向仿真節(jié)點發(fā)送請求連接消息。當(dāng)仿真節(jié)點接收到請求連 接信息時，會記錄下基于特定.torrent文件的請求連接數(shù)據(jù)包的IP地址、網(wǎng)絡(luò)端口號和接 收請求連接數(shù)據(jù)包的系統(tǒng)時間等信息。通過對大量的網(wǎng)絡(luò)數(shù)據(jù)包的IP地址、網(wǎng)絡(luò)端口號和 連接時間差的統(tǒng)計與分析，可以得出如圖3所示的基于某.torrent共享文件的BT客戶端 地域分布情況以及不同時段的BT客戶端在線時間長等有效信息。 在該數(shù)據(jù)捕獲方法中，通過對流經(jīng)該仿真系統(tǒng)的網(wǎng)絡(luò)流量的數(shù)據(jù)進(jìn)行捕獲與分 析，可以統(tǒng)計出不同地域、不同時段的BT流量信息，比如，IP地址、網(wǎng)絡(luò)端口、客戶端在線時 間等信息。通過對該數(shù)據(jù)捕獲方法的合理改善，可以進(jìn)一步的統(tǒng)計出第一個做種子者的客 戶端、torrent文件的生命周期、對應(yīng)Tracker的周期、torrent文件的有效性等數(shù)據(jù)，從而 為深層研究BT協(xié)議和BT網(wǎng)絡(luò)特征提供了一種有效的方法。
權(quán)利要求
一種捕獲BitTorrent網(wǎng)絡(luò)中節(jié)點信息的方法，其特征在于，該捕獲方法是基于BitTorrent仿真系統(tǒng)實現(xiàn)的；該仿真系統(tǒng)是邏輯上分為兩層第一層是由分布式仿真平臺所構(gòu)成的一個非結(jié)構(gòu)化P2P網(wǎng)絡(luò)；第二層是由仿真服務(wù)器與已構(gòu)成的P2P網(wǎng)絡(luò)所組成，是一個集中式的C/S結(jié)構(gòu)。仿真節(jié)點通過一種網(wǎng)絡(luò)連接映射表實現(xiàn)了與真實BT網(wǎng)絡(luò)的兼容性；在該捕獲方法中，通過對大量的連接數(shù)據(jù)包的統(tǒng)計與分析，可以建立基于BT網(wǎng)絡(luò)的外部節(jié)點的地域分布和在線時間分布應(yīng)用圖。
2. 如權(quán)利要求l所述，整個仿真系統(tǒng)從邏輯上分為兩層。第一層是由仿真計算機(jī)或仿 真節(jié)點所構(gòu)成的一個非結(jié)構(gòu)化P2P網(wǎng)絡(luò)，主要用于仿真的運行、信息交互等操作。第二層是 由服務(wù)器與已構(gòu)成的P2P網(wǎng)絡(luò)所組成，是一個集中式的C/S結(jié)構(gòu)，其中服務(wù)器主要進(jìn)行仿真 控制管理的工作，包括時間同步管理、仿真任務(wù)規(guī)劃、仿真運行控制、仿真數(shù)據(jù)收集分析等 操作；而仿真節(jié)點間的通信則交由仿真平臺處理。
3. 如權(quán)利要求1所述，為實現(xiàn)與真實BT網(wǎng)絡(luò)兼容性，仿真平臺需要創(chuàng)建一張網(wǎng)絡(luò)連 接映射表用于網(wǎng)絡(luò)連接的維護(hù)和管理，以保證仿真節(jié)點能夠準(zhǔn)確地將數(shù)據(jù)傳輸?shù)酵饨缒硞€ P2P應(yīng)用，以及外界數(shù)據(jù)能夠準(zhǔn)確地傳輸?shù)侥康姆抡婀?jié)點。當(dāng)仿真節(jié)點需要與外界真實P2P 應(yīng)用進(jìn)行通信時，仿真平臺才會創(chuàng)建一個UDP或TCP的網(wǎng)絡(luò)連接，并將連接關(guān)系記錄到網(wǎng)絡(luò) 連接映射表中。當(dāng)網(wǎng)絡(luò)通信結(jié)束后，網(wǎng)絡(luò)連接會被仿真平臺撤銷，并將連接關(guān)系從網(wǎng)絡(luò)連接 映射表中刪除，以減少仿真系統(tǒng)的開銷。
4. 如權(quán)利要求3所述，網(wǎng)絡(luò)連接映射表包含7個字段-Connection Type代表網(wǎng)絡(luò)連接 方式，分為UDP和TCP兩種連接方式；Peer ID，仿真節(jié)點全局唯一標(biāo)識；Peer IP，仿真節(jié)點 IP地址，即仿真節(jié)點所在仿真平臺的IP地址；PeerPort，仿真節(jié)點與真實P2P應(yīng)用的通信 端口號；A卯lication IP，真實P2P應(yīng)用的IP地址；A卯lication Port,真實P2P應(yīng)用與仿 真節(jié)點通信的端口號；Socket，網(wǎng)絡(luò)連接套接字。
5. 如權(quán)利要求4所述，仿真節(jié)點利用其與真實BT網(wǎng)絡(luò)的兼容性，仿真節(jié)點解析 完.torrent文件后，便向Tracker服務(wù)器發(fā)送注冊信息并請求鄰居列表。通過Tracker服 務(wù)器，真實BT客戶端會主動向仿真節(jié)點發(fā)送請求連接消息。通過對大量的BT節(jié)點信息的 統(tǒng)計分析，可以初步得到給BT網(wǎng)絡(luò)的信息。利用該捕獲方法，可以進(jìn)一步的統(tǒng)計出第一個 做種子者的客戶端、torrent文件的生命周期、對應(yīng)Tracker的周期、torrent文件的有效性 等數(shù)據(jù)，從而為深層研究BT協(xié)議和BT網(wǎng)絡(luò)特征提供了一種有效的方法。
6. 如權(quán)利要求2所述，由于仿真節(jié)點消息不通過仿真服務(wù)器端進(jìn)行轉(zhuǎn)發(fā)，不受服務(wù)器 端計算機(jī)性能的影響。仿真信息交互所帶來的網(wǎng)絡(luò)通信開銷分?jǐn)偟礁鱾€仿真平臺，網(wǎng)絡(luò)通 信直接、高效。因此，只要通過增加仿真平臺的數(shù)量，便可以實現(xiàn)大規(guī)模的BT仿真，從而為 捕獲完整的BT網(wǎng)絡(luò)信息提供了一種可能的方法。
全文摘要
本發(fā)明提出了一種利用分布式仿真技術(shù)捕獲BitTorrent(以下簡稱BT)網(wǎng)絡(luò)中節(jié)點信息的方法。其特征在于，該方法結(jié)合分布式仿真技術(shù)，實現(xiàn)了一個BitTorrent仿真系統(tǒng)。利用該仿真系統(tǒng)可實現(xiàn)與真實Tracker服務(wù)器和BT網(wǎng)絡(luò)客戶端相兼容的BT仿真客戶端，實現(xiàn)了從真實BT網(wǎng)絡(luò)下載和上傳數(shù)據(jù)的功能。基于此，可以統(tǒng)計出BT網(wǎng)絡(luò)中節(jié)點的各種信息，比如，BT客戶端的IP和端口信息、客戶端在線時間等。這些信息不但為深層研究BitTorrent協(xié)議和BT網(wǎng)絡(luò)特征提供了有效依據(jù)，而且對于基于BitTorrent協(xié)議的其他應(yīng)用方法具有一定的指導(dǎo)作用。
文檔編號G06F17/50GK101741867SQ20081004656
公開日2010年6月16日 申請日期2008年11月14日 優(yōu)先權(quán)日2008年11月14日
發(fā)明者何興高, 吳春江, 周世杰, 李亞龍, 楊文君, 楊睿, 秦志光, 陳明軍 申請人:電子科技大學(xué)