一種數(shù)據(jù)采集方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)采集方法和裝置，包括：采集設(shè)備從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過該網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包；并當(dāng)采集的該數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的該數(shù)據(jù)包；以及當(dāng)采集的該數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的該數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。采用本發(fā)明實(shí)施例提供的方案，提高了對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
【專利說明】一種數(shù)據(jù)采集方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)【技術(shù)領(lǐng)域】和互聯(lián)網(wǎng)【技術(shù)領(lǐng)域】，尤其涉及一種數(shù)據(jù)采集方法和裝置。

【背景技術(shù)】
[0002]在現(xiàn)有互聯(lián)網(wǎng)技術(shù)中，經(jīng)常需要對(duì)經(jīng)過一些網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)進(jìn)行采集和還原，以便監(jiān)控所傳輸數(shù)據(jù)的合法性?，F(xiàn)有技術(shù)中在采集和還原經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)的網(wǎng)絡(luò)傳輸數(shù)據(jù)時(shí)，通常是將網(wǎng)絡(luò)節(jié)點(diǎn)的流量數(shù)據(jù)進(jìn)行鏡像分流，再使用專用的采集設(shè)備將采集的數(shù)據(jù)包進(jìn)行重組，還原成網(wǎng)絡(luò)傳輸數(shù)據(jù)，例如網(wǎng)站訪問數(shù)據(jù)，如網(wǎng)站的頁面數(shù)據(jù)和圖像數(shù)據(jù)等。
[0003]現(xiàn)有技術(shù)中所采集的數(shù)據(jù)包可以是IP層數(shù)據(jù)包，在還原時(shí)可以對(duì)所采集的IP層數(shù)據(jù)包進(jìn)行解封裝，并將解封裝后得到的TCP (Transmiss1n Control Protocol,傳輸控制協(xié)議)數(shù)據(jù)片段按TCP序號(hào)重組，再根據(jù)應(yīng)用層協(xié)議進(jìn)行內(nèi)容還原，形成文件并存儲(chǔ)于磁盤。
[0004]目前，采集設(shè)備通常是對(duì)經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行全量采集，當(dāng)網(wǎng)絡(luò)流量超過采集設(shè)備性能上限時(shí)，即超過采集設(shè)備的處理能力時(shí)，由于不能立即處理采集的數(shù)據(jù)包，會(huì)導(dǎo)致數(shù)據(jù)包積壓，最終使采集設(shè)備的網(wǎng)卡緩沖區(qū)溢出，使得采集設(shè)備自動(dòng)丟棄掉部分?jǐn)?shù)據(jù)包。
[0005]由于采集設(shè)備丟棄數(shù)據(jù)包是隨機(jī)的，所以對(duì)于分別表示完整會(huì)話的多組數(shù)據(jù)包，均可能存在部分?jǐn)?shù)據(jù)包的丟失，再由于TCP會(huì)話重組需要依靠序列號(hào)，所以不連續(xù)的數(shù)據(jù)包將影響對(duì)完整會(huì)話的內(nèi)容還原。
[0006]例如，對(duì)于頁面數(shù)據(jù)還原而言，如果數(shù)據(jù)包丟失在協(xié)議頭部，則頁面內(nèi)容無法還原，而對(duì)于目前約80%網(wǎng)站使用的gzip壓縮格式的頁面數(shù)據(jù)，任意數(shù)據(jù)包的丟失，均將導(dǎo)致內(nèi)容無法還原；對(duì)于圖片數(shù)據(jù)還原而言，丟包將造成壓縮圖像無法讀取、變色、破損等，還原后得到的受損圖像將對(duì)后續(xù)圖像識(shí)別產(chǎn)生嚴(yán)重影響。


【發(fā)明內(nèi)容】

[0007]本發(fā)明實(shí)施例提供一種數(shù)據(jù)采集方法和裝置，用以解決現(xiàn)有技術(shù)中存在的對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果較差的問題。
[0008]本發(fā)明實(shí)施例提供一種數(shù)據(jù)采集方法，包括:
[0009]采集設(shè)備從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包；
[0010]當(dāng)采集的所述數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的所述數(shù)據(jù)包；
[0011]當(dāng)采集的所述數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的所述數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0012]本發(fā)明實(shí)施例提供的上述數(shù)據(jù)采集方法中，采集設(shè)備在采集到經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包之后，對(duì)于源地址位于丟棄地址列表中的數(shù)據(jù)包，進(jìn)行丟棄，對(duì)于源地址不位于丟棄地址列表中的數(shù)據(jù)包，進(jìn)行保留，并用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原，由于表示一個(gè)完整會(huì)話的一組數(shù)據(jù)包的源地址是相同的，所以通過主動(dòng)丟棄源地址位于丟棄地址列表中的一些數(shù)據(jù)包，降低了隨機(jī)丟棄源地址不位于丟棄地址列表中的一些數(shù)據(jù)包的丟棄概率，從而提高了源地址不位于丟棄地址列表中的數(shù)據(jù)包表示的網(wǎng)絡(luò)傳輸數(shù)據(jù)還原的成功率，進(jìn)而提高了對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0013]進(jìn)一步的，在確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，還包括:
[0014]確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示所述采集設(shè)備的性能越差。
[0015]這樣，可以在采集設(shè)備的性能較差時(shí)，即性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值時(shí)，為了避免較高的隨機(jī)丟棄數(shù)據(jù)包的丟棄概率，從而主動(dòng)丟棄源地址位于丟棄地址列表的數(shù)據(jù)包，而采集設(shè)備的性能較高時(shí)，可以不主動(dòng)丟棄采集的數(shù)據(jù)包，從而能夠進(jìn)一步提高對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0016]進(jìn)一步的，確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值，具體為:
[0017]在第一丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值。
[0018]這樣，可以減少處理操作的次數(shù)，降低對(duì)處理資源的消耗。
[0019]進(jìn)一步的，在確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值之后，還包括:
[0020]在第二丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集設(shè)備的性能參數(shù)是否小于第二預(yù)設(shè)參數(shù)閾值，其中，所述第二預(yù)設(shè)參數(shù)閾值小于所述第一預(yù)設(shè)參數(shù)閾值；
[0021]當(dāng)所述采集設(shè)備的性能參數(shù)小于所述第二預(yù)設(shè)參數(shù)閾值時(shí)，保留從所述網(wǎng)絡(luò)節(jié)點(diǎn)采集的經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0022]這樣，能進(jìn)一步提高對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0023]進(jìn)一步的，在確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，還包括:
[0024]在最近過去的預(yù)設(shè)時(shí)間段內(nèi)采集的數(shù)據(jù)包的源地址中，隨機(jī)選擇預(yù)設(shè)百分比數(shù)量的源地址，組成丟棄地址列表。
[0025]這樣，可以避免當(dāng)丟棄地址列表中的地址不變時(shí)，對(duì)于源地址位于丟棄地址列表中數(shù)據(jù)包組成的網(wǎng)絡(luò)傳輸數(shù)據(jù)一直無法還原的情況。
[0026]本發(fā)明實(shí)施例還提供一種數(shù)據(jù)采集裝置，包括:
[0027]采集單元，用于從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包；
[0028]第一處理單元，用于當(dāng)采集的所述數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的所述數(shù)據(jù)包；當(dāng)采集的所述數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的所述數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0029]采用本發(fā)明實(shí)施例提供的上述裝置，在采集到經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包之后，對(duì)于源地址位于丟棄地址列表中的數(shù)據(jù)包，進(jìn)行丟棄，對(duì)于源地址不位于丟棄地址列表中的數(shù)據(jù)包，進(jìn)行保留，并用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原，由于表示一個(gè)完整會(huì)話的一組數(shù)據(jù)包的源地址是相同的，所以通過主動(dòng)丟棄源地址位于丟棄地址列表中的一些數(shù)據(jù)包，降低了隨機(jī)丟棄源地址不位于丟棄地址列表中的一些數(shù)據(jù)包的丟棄概率，從而提高了源地址不位于丟棄地址列表中的數(shù)據(jù)包表示的網(wǎng)絡(luò)傳輸數(shù)據(jù)還原的成功率,進(jìn)而提高了對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0030]進(jìn)一步的，上述數(shù)據(jù)采集裝置，還包括:
[0031]第一確定單元，用于在所述第一處理單元確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示所述采集裝置的性能越差。
[0032]這樣，可以在采集裝置的性能較差時(shí)，即性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值時(shí)，為了避免較高的隨機(jī)丟棄數(shù)據(jù)包的丟棄概率，從而主動(dòng)丟棄源地址位于丟棄地址列表的數(shù)據(jù)包，而采集裝置的性能較高時(shí)，可以不主動(dòng)丟棄采集的數(shù)據(jù)包，從而能夠進(jìn)一步提高對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0033]進(jìn)一步的，所述第一確定單元，具體用于在第一丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值。
[0034]這樣，可以減少處理操作的次數(shù)，降低對(duì)處理資源的消耗。
[0035]進(jìn)一步的，上述數(shù)據(jù)采集裝置，還包括:
[0036]第二確定單元，用于在所述第一確定單元確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值之后，在第二丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集裝置的性能參數(shù)是否小于第二預(yù)設(shè)參數(shù)閾值，其中，所述第二預(yù)設(shè)參數(shù)閾值小于所述第一預(yù)設(shè)參數(shù)閾值；
[0037]第二處理單元，用于當(dāng)所述采集設(shè)備的性能參數(shù)小于所述第二預(yù)設(shè)參數(shù)閾值時(shí)，保留從所述網(wǎng)絡(luò)節(jié)點(diǎn)采集的經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0038]這樣，能進(jìn)一步提高對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0039]進(jìn)一步的，上述數(shù)據(jù)采集裝置，還包括:
[0040]列表確定單元，具體用于在確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，在最近過去的預(yù)設(shè)時(shí)間段內(nèi)采集的數(shù)據(jù)包的源地址中，隨機(jī)選擇預(yù)設(shè)百分比數(shù)量的源地址，組成丟棄地址列表。
[0041]這樣，可以避免當(dāng)丟棄地址列表中的地址不變時(shí)，對(duì)于源地址位于丟棄地址列表中數(shù)據(jù)包組成的網(wǎng)絡(luò)傳輸數(shù)據(jù)一直無法還原的情況。
[0042]本發(fā)明實(shí)施例還提供一種數(shù)據(jù)采集設(shè)備，包括上述數(shù)據(jù)采集裝置。
[0043]本申請(qǐng)的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本申請(qǐng)而了解。本申請(qǐng)的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

【專利附圖】

【附圖說明】
[0044]附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中:
[0045]圖1為本發(fā)明實(shí)施例提供的數(shù)據(jù)采集方法的流程圖；
[0046]圖2為本發(fā)明實(shí)施例1提供的數(shù)據(jù)采集方法的流程圖；
[0047]圖3為本發(fā)明實(shí)施例2提供的數(shù)據(jù)采集方法的流程圖；
[0048]圖4為本發(fā)明實(shí)施例3提供的數(shù)據(jù)采集裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0049]為了給出提高對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果的實(shí)現(xiàn)方案，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)包采集方法及裝置，以下結(jié)合說明書附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。并且在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0050]本發(fā)明實(shí)施例提供一種數(shù)據(jù)采集方法，如圖1所示，包括:
[0051]步驟101、采集設(shè)備從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過該網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包。
[0052]步驟102、當(dāng)采集的該數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的該數(shù)據(jù)包；
[0053]步驟103、當(dāng)采集的該數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的該數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0054]由于表示一個(gè)完整會(huì)話的一組數(shù)據(jù)包的源地址是相同的，所以通過主動(dòng)丟棄源地址位于丟棄地址列表中的一些數(shù)據(jù)包，降低了隨機(jī)丟棄源地址不位于丟棄地址列表中的一些數(shù)據(jù)包的丟棄概率，從而提高了源地址不位于丟棄地址列表中的數(shù)據(jù)包表示的網(wǎng)絡(luò)傳輸數(shù)據(jù)還原的成功率，進(jìn)而提高了對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0055]進(jìn)一步的，在本發(fā)明實(shí)施例提供的上述方法中，在確定采集的數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，可以先確定采集設(shè)備的性能參數(shù)是否大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示采集設(shè)備的性能越差，并且當(dāng)大于時(shí)，才針對(duì)采集的數(shù)據(jù)包，觸發(fā)執(zhí)行確定采集的數(shù)據(jù)包的源地址是否位于丟棄地址列表中的步驟，并當(dāng)位于時(shí)，執(zhí)行上述步驟102，當(dāng)不位于時(shí)，執(zhí)行上述步驟103。
[0056]這樣可以在采集設(shè)備的性能較差時(shí)，即性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值時(shí)，為了避免較高的隨機(jī)丟棄數(shù)據(jù)包的丟棄概率，才通過上述步驟102和步驟103主動(dòng)丟棄源地址位于丟棄地址列表的數(shù)據(jù)包，而采集設(shè)備的性能較高時(shí)，可以不主動(dòng)丟棄采集的數(shù)據(jù)包，從而能夠進(jìn)一步提高對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0057]其中，確定采集設(shè)備的性能參數(shù)是否大于第一預(yù)設(shè)參數(shù)閾值，可以是每采集到一個(gè)數(shù)據(jù)包，即確定一次，并根據(jù)確定結(jié)果確定是否主動(dòng)丟棄該數(shù)據(jù)包，然而這樣會(huì)增加大量的處理操作，消耗較多的處理資源，所以，也可以是周期確定的，例如，監(jiān)控第一丟棄監(jiān)測周期，在第一丟棄監(jiān)測周期到達(dá)時(shí)確定，并當(dāng)確定結(jié)果為大于第一預(yù)設(shè)參數(shù)閾值時(shí)，在到達(dá)下一個(gè)第一丟棄監(jiān)測周期之前，對(duì)于采集的數(shù)據(jù)包通過上述步驟102和步驟103進(jìn)行主動(dòng)丟棄或保留，當(dāng)確定結(jié)果為不大于第一預(yù)設(shè)參數(shù)閾值時(shí)，在到達(dá)下一個(gè)第一丟棄監(jiān)測周期之前，對(duì)于采集的數(shù)據(jù)包可以均保留。
[0058]進(jìn)一步的，在確定采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值之后，還可以監(jiān)控第二丟棄監(jiān)測周期，并在第二丟棄監(jiān)測周期到達(dá)時(shí)，確定采集設(shè)備的性能參數(shù)是否小于第二預(yù)設(shè)參數(shù)閾值，其中，第二預(yù)設(shè)參數(shù)閾值小于第一預(yù)設(shè)參數(shù)閾值；并當(dāng)采集設(shè)備的性能參數(shù)小于第二預(yù)設(shè)參數(shù)閾值時(shí)，保留從網(wǎng)絡(luò)節(jié)點(diǎn)采集的經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原，即不再進(jìn)行主動(dòng)丟棄，從而進(jìn)一步提高了對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0059]下面結(jié)合附圖，用具體實(shí)施例對(duì)本發(fā)明提供的數(shù)據(jù)采集方法及裝置進(jìn)行詳細(xì)描述。
[0060]實(shí)施例1:
[0061]本發(fā)明實(shí)施例1提供一種數(shù)據(jù)采集方法，在該方法中，采集設(shè)備采集經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包時(shí)，可以在兩種工作模式下切換，一種工作模式為主動(dòng)丟棄模式，另一種工作模式為非主動(dòng)丟棄模式，采集設(shè)備在啟動(dòng)后，初始工作模式為非主動(dòng)丟棄模式，基于采集設(shè)備的這兩種工作模式的數(shù)據(jù)采集方法如圖2所示，具體包括如下處理步驟:
[0062]步驟201、采集設(shè)備在啟動(dòng)后，持續(xù)的從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過該網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包。
[0063]具體可以通過對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)的流量數(shù)據(jù)進(jìn)行鏡像分流的方式進(jìn)行采集，所采集的數(shù)據(jù)包可以各種類型的數(shù)據(jù)包，例如，網(wǎng)站訪問數(shù)據(jù)包，如網(wǎng)站的頁面數(shù)據(jù)包和圖像數(shù)據(jù)包。
[0064]步驟202、采集設(shè)備進(jìn)入非主動(dòng)丟棄模式，在非主動(dòng)丟棄模式下，采集設(shè)備對(duì)于采集的數(shù)據(jù)包均進(jìn)行保留，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0065]有關(guān)還原網(wǎng)絡(luò)傳輸數(shù)據(jù)的具體方法，可以根據(jù)數(shù)據(jù)包的傳輸協(xié)議，采用現(xiàn)有技術(shù)的各種方法，在此不再進(jìn)行詳細(xì)描述。
[0066]步驟203、采集設(shè)備在第一丟棄監(jiān)測周期到達(dá)時(shí)，確定采集設(shè)備的性能參數(shù)是否大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示采集設(shè)備的性能越差，如果大于第一預(yù)設(shè)參數(shù)閾值時(shí)，進(jìn)入步驟204，如果不大于第一預(yù)設(shè)參數(shù)閾值，進(jìn)入步驟202。
[0067]其中，采集設(shè)備的性能參數(shù)可以是能夠表示采集設(shè)備當(dāng)前運(yùn)行性能的各種參數(shù)，例如，CPU利用率，內(nèi)存使用率，隨機(jī)丟包率等。
[0068]步驟204、采集設(shè)備進(jìn)入主動(dòng)丟棄模式，在主動(dòng)丟棄模式下，采集設(shè)備對(duì)于采集的數(shù)據(jù)包，確定該數(shù)據(jù)包的源地址是否位于丟棄地址列表中，如果位于，進(jìn)入步驟205，如果不位于，進(jìn)入步驟206。
[0069]其中，丟棄地址列表中的地址可以是預(yù)先設(shè)置的，也可以是根據(jù)采集設(shè)備采集的數(shù)據(jù)包的源地址確定的，例如，可以在最近過去的預(yù)設(shè)時(shí)間段內(nèi)采集的數(shù)據(jù)包的源地址中，隨機(jī)選擇預(yù)設(shè)百分比數(shù)量的源地址，組成丟棄地址列表，進(jìn)一步的，該丟棄地址列表也可以是周期變化的，即監(jiān)控列表生成周期，在列表生成周期到達(dá)時(shí)，通過上述方式更新丟棄地址列表中的地址，從而避免當(dāng)丟棄地址列表中的地址不變時(shí)，對(duì)于源地址位于丟棄地址列表中數(shù)據(jù)包組成的網(wǎng)絡(luò)傳輸數(shù)據(jù)一直無法還原的情況。
[0070]步驟205、丟棄采集的源地址位于丟棄地址列表中的該數(shù)據(jù)包。
[0071]步驟206、保留采集的源地址不位于丟棄地址列表中的該數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0072]在本發(fā)明實(shí)施例1提供的上述數(shù)據(jù)采集方法中，涉及到的各種預(yù)設(shè)參數(shù)，如第一丟棄監(jiān)測周期，第一預(yù)設(shè)參數(shù)閾值，預(yù)設(shè)時(shí)間段和列表生成周期等，均可以根據(jù)實(shí)際需要進(jìn)行靈活設(shè)置，在此不再舉例進(jìn)行描述。
[0073]實(shí)施例2:
[0074]本發(fā)明實(shí)施例2提供一種數(shù)據(jù)采集方法，在該方法中，采集設(shè)備采集經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包時(shí)，可以在兩種工作模式下切換，一種工作模式為主動(dòng)丟棄模式，另一種工作模式為非主動(dòng)丟棄模式，采集設(shè)備在啟動(dòng)后，初始工作模式為非主動(dòng)丟棄模式，基于采集設(shè)備的這兩種工作模式的數(shù)據(jù)采集方法如圖3所示，具體包括如下處理步驟:
[0075]步驟301、采集設(shè)備在啟動(dòng)后，持續(xù)的從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過該網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包。
[0076]具體可以通過對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)的流量數(shù)據(jù)進(jìn)行鏡像分流的方式進(jìn)行采集，所采集的數(shù)據(jù)包可以各種類型的數(shù)據(jù)包，例如，網(wǎng)站訪問數(shù)據(jù)包，如網(wǎng)站的頁面數(shù)據(jù)包和圖像數(shù)據(jù)包。
[0077]步驟302、采集設(shè)備進(jìn)入非主動(dòng)丟棄模式，在非主動(dòng)丟棄模式下，采集設(shè)備對(duì)于采集的數(shù)據(jù)包均進(jìn)行保留，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0078]有關(guān)還原網(wǎng)絡(luò)傳輸數(shù)據(jù)的具體方法，可以根據(jù)數(shù)據(jù)包的傳輸協(xié)議，采用現(xiàn)有技術(shù)的各種方法，在此不再進(jìn)行詳細(xì)描述。
[0079]步驟303、采集設(shè)備在第一丟棄監(jiān)測周期到達(dá)時(shí)，確定采集設(shè)備的性能參數(shù)是否大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示采集設(shè)備的性能越差，如果大于第一預(yù)設(shè)參數(shù)閾值時(shí)，進(jìn)入步驟304，如果不大于第一預(yù)設(shè)參數(shù)閾值，進(jìn)入步驟302，繼續(xù)保持工作在非主動(dòng)丟棄模式下。
[0080]其中，采集設(shè)備的性能參數(shù)可以是能夠表示采集設(shè)備當(dāng)前運(yùn)行性能的各種參數(shù)，例如，CPU利用率，內(nèi)存使用率，隨機(jī)丟包率等。
[0081]步驟304、采集設(shè)備進(jìn)入主動(dòng)丟棄模式，在主動(dòng)丟棄模式下，采集設(shè)備對(duì)于采集的數(shù)據(jù)包，確定該數(shù)據(jù)包的源地址是否位于丟棄地址列表中，如果位于，進(jìn)入步驟305，如果不位于，進(jìn)入步驟306。
[0082]其中，丟棄地址列表中的地址可以是預(yù)先設(shè)置的，也可以是根據(jù)采集設(shè)備采集的數(shù)據(jù)包的源地址確定的，例如，可以在最近過去的預(yù)設(shè)時(shí)間段內(nèi)采集的數(shù)據(jù)包的源地址中，隨機(jī)選擇預(yù)設(shè)百分比數(shù)量的源地址，組成丟棄地址列表，進(jìn)一步的，該丟棄地址列表也可以是周期變化的，即監(jiān)控列表生成周期，在列表生成周期到達(dá)時(shí)，通過上述方式更新丟棄地址列表中的地址，從而避免當(dāng)丟棄地址列表中的地址不變時(shí)，對(duì)于源地址位于丟棄地址列表中數(shù)據(jù)包組成的網(wǎng)絡(luò)傳輸數(shù)據(jù)一直無法還原的情況。
[0083]步驟305、丟棄采集的源地址位于丟棄地址列表中的該數(shù)據(jù)包。
[0084]步驟306、保留采集的源地址不位于丟棄地址列表中的該數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0085]步驟307、采集設(shè)備在第二丟棄監(jiān)測周期到達(dá)時(shí)，確定采集設(shè)備的性能參數(shù)是否小于第二預(yù)設(shè)參數(shù)閾值，第二預(yù)設(shè)參數(shù)閾值小于第一預(yù)設(shè)參數(shù)閾值，如果小于第二預(yù)設(shè)參數(shù)閾值時(shí)，進(jìn)入步驟302，如果不小于第二預(yù)設(shè)參數(shù)閾值，進(jìn)入步驟304，繼續(xù)保持工作在主動(dòng)丟棄模式下。
[0086]在本發(fā)明實(shí)施例2提供的上述數(shù)據(jù)采集方法中，涉及到的各種預(yù)設(shè)參數(shù)，如第一丟棄監(jiān)測周期，第一預(yù)設(shè)參數(shù)閾值，第二丟棄監(jiān)測周期，第二預(yù)設(shè)參數(shù)閾值，預(yù)設(shè)時(shí)間段和列表生成周期等，均可以根據(jù)實(shí)際需要進(jìn)行靈活設(shè)置，在此不再舉例進(jìn)行描述。
[0087]實(shí)施例3:
[0088]基于同一發(fā)明構(gòu)思，根據(jù)本發(fā)明上述實(shí)施例提供的數(shù)據(jù)采集方法，相應(yīng)地，本發(fā)明實(shí)施例3還提供了一種數(shù)據(jù)采集裝置，其結(jié)構(gòu)示意圖如圖4所示，具體包括:
[0089]采集單元401，用于從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包；
[0090]第一處理單元402，用于當(dāng)采集的所述數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的所述數(shù)據(jù)包；當(dāng)采集的所述數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的所述數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0091]進(jìn)一步的，上述數(shù)據(jù)采集裝置，還包括:
[0092]第一確定單元403，用于在所述第一處理單元確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示所述采集裝置的性能越差。
[0093]進(jìn)一步的，第一確定單元403，具體用于在第一丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值。
[0094]進(jìn)一步的，上述數(shù)據(jù)采集裝置，還包括:
[0095]第二確定單元404，用于在所述第一確定單元確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值之后，在第二丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集裝置的性能參數(shù)是否小于第二預(yù)設(shè)參數(shù)閾值，其中，所述第二預(yù)設(shè)參數(shù)閾值小于所述第一預(yù)設(shè)參數(shù)閾值；
[0096]第二處理單元405，用于當(dāng)所述采集設(shè)備的性能參數(shù)小于所述第二預(yù)設(shè)參數(shù)閾值時(shí)，保留從所述網(wǎng)絡(luò)節(jié)點(diǎn)采集的經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
[0097]進(jìn)一步的，上述數(shù)據(jù)采集裝置，還包括:
[0098]列表確定單元406，用于在所述第一處理單元確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，在最近過去的預(yù)設(shè)時(shí)間段內(nèi)采集的數(shù)據(jù)包的源地址中，隨機(jī)選擇預(yù)設(shè)百分比數(shù)量的源地址，組成丟棄地址列表。
[0099]相應(yīng)的，本發(fā)明實(shí)施例3還提供一種數(shù)據(jù)采集設(shè)備，包括上述數(shù)據(jù)采集裝置。
[0100]上述各單元的功能可對(duì)應(yīng)于圖1至圖3所示流程中的相應(yīng)處理步驟，在此不再贅述。
[0101]綜上所述，本發(fā)明實(shí)施例提供的方案，包括:采集設(shè)備從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過該網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包；并當(dāng)采集的該數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的該數(shù)據(jù)包；以及當(dāng)采集的該數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的該數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。采用本發(fā)明實(shí)施例提供的方案，提高了對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行還原的效果。
[0102]本申請(qǐng)的實(shí)施例所提供的數(shù)據(jù)采集裝置可通過計(jì)算機(jī)程序?qū)崿F(xiàn)。本領(lǐng)域技術(shù)人員應(yīng)該能夠理解，上述的模塊劃分方式僅是眾多模塊劃分方式中的一種，如果劃分為其他模塊或不劃分模塊，只要數(shù)據(jù)采集裝置具有上述功能，都應(yīng)該在本申請(qǐng)的保護(hù)范圍之內(nèi)。
[0103]本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
[0104]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
[0105]這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0106]顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
【權(quán)利要求】
1.一種數(shù)據(jù)采集方法，其特征在于，包括: 采集設(shè)備從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包； 當(dāng)采集的所述數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的所述數(shù)據(jù)包； 當(dāng)采集的所述數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的所述數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
2.如權(quán)利要求1所述的方法，其特征在于，在確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之如，還包括: 確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示所述采集設(shè)備的性能越差。
3.如權(quán)利要求2所述的方法，其特征在于，確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值，具體為: 在第一丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值。
4.如權(quán)利要求3所述的方法，其特征在于，在確定所述采集設(shè)備的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值之后，還包括: 在第二丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集設(shè)備的性能參數(shù)是否小于第二預(yù)設(shè)參數(shù)閾值，其中，所述第二預(yù)設(shè)參數(shù)閾值小于所述第一預(yù)設(shè)參數(shù)閾值； 當(dāng)所述采集設(shè)備的性能參數(shù)小于所述第二預(yù)設(shè)參數(shù)閾值時(shí)，保留從所述網(wǎng)絡(luò)節(jié)點(diǎn)采集的經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
5.如權(quán)利要求1-4任一所述的方法，其特征在于，在確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，還包括: 在最近過去的預(yù)設(shè)時(shí)間段內(nèi)采集的數(shù)據(jù)包的源地址中，隨機(jī)選擇預(yù)設(shè)百分比數(shù)量的源地址，組成丟棄地址列表。
6.一種數(shù)據(jù)采集裝置，其特征在于，包括: 采集單元，用于從網(wǎng)絡(luò)節(jié)點(diǎn)采集經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包； 第一處理單元，用于當(dāng)采集的所述數(shù)據(jù)包的源地址位于丟棄地址列表中時(shí)，丟棄采集的所述數(shù)據(jù)包；當(dāng)采集的所述數(shù)據(jù)包的源地址不位于丟棄地址列表中時(shí)，保留采集的所述數(shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
7.如權(quán)利要求6所述的裝置，其特征在于，還包括: 第一確定單元，用于在所述第一處理單元確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值，性能參數(shù)越大表示所述采集裝置的性能越差。
8.如權(quán)利要求6所述的裝置，其特征在于，所述第一確定單元，具體用于在第一丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值。
9.如權(quán)利要求8所述的裝置，其特征在于，還包括: 第二確定單元，用于在所述第一確定單元確定所述采集裝置的性能參數(shù)大于第一預(yù)設(shè)參數(shù)閾值之后，在第二丟棄監(jiān)測周期到達(dá)時(shí)，確定所述采集裝置的性能參數(shù)是否小于第二預(yù)設(shè)參數(shù)閾值，其中，所述第二預(yù)設(shè)參數(shù)閾值小于所述第一預(yù)設(shè)參數(shù)閾值； 第二處理單元，用于當(dāng)所述采集設(shè)備的性能參數(shù)小于所述第二預(yù)設(shè)參數(shù)閾值時(shí)，保留從所述網(wǎng)絡(luò)節(jié)點(diǎn)采集的經(jīng)過所述網(wǎng)絡(luò)節(jié)點(diǎn)傳輸?shù)臄?shù)據(jù)包，用于網(wǎng)絡(luò)傳輸數(shù)據(jù)的還原。
10.如權(quán)利要求6-9任一所述的裝置，其特征在于，還包括: 列表確定單元，用于在所述第一處理單元確定采集的所述數(shù)據(jù)包的源地址是否位于丟棄地址列表中之前，在最近過去的預(yù)設(shè)時(shí)間段內(nèi)采集的數(shù)據(jù)包的源地址中，隨機(jī)選擇預(yù)設(shè)百分比數(shù)量的源地址，組成丟棄地址列表。
11.一種數(shù)據(jù)采集設(shè)備，其特征在于，包括如權(quán)利要求6-9任一所述的裝置。
【文檔編號(hào)】H04L12/823GK104348656SQ201310342198
【公開日】2015年2月11日 申請(qǐng)日期:2013年8月7日 優(yōu)先權(quán)日:2013年8月7日
【發(fā)明者】黃平, 宮捷 申請(qǐng)人:中國移動(dòng)通信集團(tuán)北京有限公司