基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)及方法
【專(zhuān)利說(shuō)明】基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)及方法
[0001]本發(fā)明專(zhuān)利申請(qǐng)是申請(qǐng)日為2012年09月29日、申請(qǐng)?zhí)枮?01210376922.3、名稱(chēng)為“基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)及方法”的中國(guó)發(fā)明專(zhuān)利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)及方法。
【背景技術(shù)】
[0003]對(duì)于搜索引擎來(lái)說(shuō)，從互聯(lián)網(wǎng)上抓取頁(yè)面是其處理的第一步。然而互聯(lián)網(wǎng)累積的頁(yè)面數(shù)巨大，而每天新更新和新產(chǎn)生的頁(yè)面數(shù)同樣非常巨大。如何及時(shí)地獲取這些頁(yè)面，是搜索引擎面臨的首要問(wèn)題。為了能及時(shí)地抓取這些海量頁(yè)面，必須進(jìn)行合理而有效的調(diào)度。因此，采用何種調(diào)度算法就非常重要了。
[0004]目前，網(wǎng)頁(yè)搜索在進(jìn)行網(wǎng)頁(yè)抓取調(diào)度時(shí)，對(duì)于新發(fā)現(xiàn)的頁(yè)面按順序進(jìn)行排隊(duì)。對(duì)于歷史頁(yè)面，則根據(jù)歷史頁(yè)面的更新頻率來(lái)決定其重新調(diào)度的頻度。
[0005]在網(wǎng)頁(yè)搜索中，由于所有頁(yè)面都采用統(tǒng)一的策略，下載延遲的時(shí)間幾乎都是按天來(lái)計(jì)的。這對(duì)于很多垂直搜索來(lái)說(shuō)是無(wú)法容忍的。
[0006]特殊情況下，大數(shù)據(jù)量網(wǎng)站將影響其他網(wǎng)站的及時(shí)處理。如果服務(wù)器數(shù)量不足，一些數(shù)據(jù)量大的網(wǎng)站的頁(yè)面，將占去大部分處理能力，導(dǎo)致其他網(wǎng)站無(wú)法及時(shí)處理。

【發(fā)明內(nèi)容】

[0007]鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)及方法。
[0008]依據(jù)本發(fā)明的一個(gè)方面，提供了一種基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)，包括:
[0009]調(diào)度任務(wù)獲取模塊，適于獲取站點(diǎn)的域名隊(duì)列中的調(diào)度任務(wù)；
[0010]調(diào)度模塊，適于對(duì)所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁(yè)面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁(yè)面。
[0011]可選地，所述調(diào)度任務(wù)獲取模塊適于按預(yù)定的任務(wù)優(yōu)先級(jí)獲取站點(diǎn)的域名隊(duì)列中的調(diào)度任務(wù)。
[0012]可選地，所述系統(tǒng)還包括:反饋調(diào)整模塊，適于在調(diào)度一個(gè)頁(yè)面后將所述服務(wù)器的上次調(diào)度時(shí)間更新為所述上次調(diào)度時(shí)間加上頁(yè)面超時(shí)時(shí)間。
[0013]可選地，所述系統(tǒng)還包括:反饋調(diào)整模塊，適于在下載一個(gè)頁(yè)面后將所述服務(wù)器的上次調(diào)度時(shí)間更新為所述上次調(diào)度時(shí)間減去回調(diào)時(shí)間，所述回調(diào)時(shí)間為頁(yè)面超時(shí)時(shí)間與所述頁(yè)面下載時(shí)間之差。
[0014]可選地，當(dāng)頁(yè)面實(shí)際下載時(shí)間小于預(yù)設(shè)的下載耗時(shí)，則所述頁(yè)面下載時(shí)間為所述預(yù)設(shè)的下載耗時(shí)，否則為頁(yè)面實(shí)際下載時(shí)間。
[0015]可選地，所述系統(tǒng)還包括:配額分配模塊，具體包括:
[0016]站點(diǎn)結(jié)構(gòu)定位模塊，適于獲取當(dāng)前服務(wù)器上的站點(diǎn)總數(shù)，根據(jù)站點(diǎn)序號(hào)，直接定位站點(diǎn)結(jié)構(gòu)；
[0017]域名配額分配模塊，適于從站點(diǎn)結(jié)構(gòu)中獲取該站點(diǎn)的域名總數(shù)和首尾域名序號(hào)，對(duì)站點(diǎn)域名按上次調(diào)度時(shí)間進(jìn)行排序，從選擇排序后的域名中選擇預(yù)定數(shù)量的域名；
[0018]域名IP定位模塊，適于對(duì)選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號(hào)定位其域名IP地址，通過(guò)域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄IP的上次調(diào)度時(shí)間，選擇上次調(diào)度時(shí)間最早的IP對(duì)應(yīng)的服務(wù)器；
[0019]調(diào)度時(shí)間設(shè)置模塊，適于定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時(shí)間與當(dāng)前時(shí)間。如果上次調(diào)度時(shí)間大于或等當(dāng)前時(shí)間，不為該服務(wù)器分配所述一次可調(diào)度頁(yè)面數(shù)，如果上次調(diào)度時(shí)間小于當(dāng)前時(shí)間，為該服務(wù)器分配所述一次可調(diào)度頁(yè)面數(shù)，同時(shí)將該IP的上次調(diào)度時(shí)間置為當(dāng)前時(shí)間；
[0020]循環(huán)分配模塊，適于如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個(gè)域名，否則在剩下的IP中選擇上次調(diào)度時(shí)間最早的一個(gè)IP繼續(xù)處理，當(dāng)前站點(diǎn)中所有域名分配完成后，將站點(diǎn)序號(hào)加1，以便處理下一個(gè)站點(diǎn)，如果站點(diǎn)數(shù)達(dá)到最大值，序號(hào)重置為0，如果在所有站點(diǎn)都檢查過(guò)一次后沒(méi)有可分配站點(diǎn)，休眠預(yù)定時(shí)間后再對(duì)所有站點(diǎn)循環(huán)分配。
[0021 ] 可選地，預(yù)定時(shí)間為I秒。
[0022]根據(jù)本發(fā)明的另一方面，提供了基于站點(diǎn)配額的均衡調(diào)度方法，包括以下步驟:
[0023]獲取站點(diǎn)的域名隊(duì)列中的調(diào)度任務(wù)；
[0024]對(duì)所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁(yè)面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁(yè)面。
[0025]可選地，按預(yù)定的任務(wù)優(yōu)先級(jí)獲取站點(diǎn)的域名隊(duì)列中的調(diào)度任務(wù)。
[0026]可選地，調(diào)度一個(gè)頁(yè)面后還包括步驟:將所述服務(wù)器的上次調(diào)度時(shí)間更新為所述上次調(diào)度時(shí)間加上頁(yè)面超時(shí)時(shí)間。
[0027]可選地，下載一個(gè)頁(yè)面后還包括步驟:將所述服務(wù)器的上次調(diào)度時(shí)間更新為所述上次調(diào)度時(shí)間減去回調(diào)時(shí)間，所述回調(diào)時(shí)間為頁(yè)面超時(shí)時(shí)間與所述頁(yè)面下載時(shí)間之差。
[0028]可選地，當(dāng)頁(yè)面實(shí)際下載時(shí)間小于預(yù)設(shè)的下載耗時(shí)，則所述頁(yè)面下載時(shí)間為所述預(yù)設(shè)的下載耗時(shí)，否則為頁(yè)面實(shí)際下載時(shí)間。
[0029]可選地，對(duì)所述調(diào)度任務(wù)中的服務(wù)器按照預(yù)配置的一次可調(diào)度頁(yè)面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁(yè)面具體包括:
[0030]獲取當(dāng)前服務(wù)器上的站點(diǎn)總數(shù)，根據(jù)站點(diǎn)序號(hào)，直接定位站點(diǎn)結(jié)構(gòu)；
[0031]從站點(diǎn)結(jié)構(gòu)中獲取該站點(diǎn)的域名總數(shù)和首尾域名序號(hào)；
[0032]對(duì)站點(diǎn)域名按上次調(diào)度時(shí)間進(jìn)行排序，從排序后的域名中選擇預(yù)定數(shù)量的域名；
[0033]對(duì)選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號(hào)定位其域名IP地址，通過(guò)域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄各IP的上次調(diào)度時(shí)間，選擇上次調(diào)度時(shí)間最早的IP對(duì)應(yīng)的服務(wù)器；
[0034]定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時(shí)間與當(dāng)前時(shí)間。如果上次調(diào)度時(shí)間大于或等于當(dāng)前時(shí)間，不為該服務(wù)器分配所述一次可調(diào)度頁(yè)面數(shù)，如果上次調(diào)度時(shí)間小于當(dāng)前時(shí)間，為該服務(wù)器分配所述一次可調(diào)度頁(yè)面數(shù)，同時(shí)將該IP的上次調(diào)度時(shí)間置為當(dāng)前時(shí)間；
[0035]如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個(gè)域名，否則在剩下的IP中選擇上次調(diào)度時(shí)間最早的一個(gè)IP繼續(xù)處理；
[0036]當(dāng)前站點(diǎn)中所有域名分配完成后，將站點(diǎn)序號(hào)加1，以便處理下一個(gè)站點(diǎn)，如果站點(diǎn)數(shù)達(dá)到最大值，序號(hào)重置為0，如果在所有站點(diǎn)都檢查過(guò)一次后沒(méi)有可分配站點(diǎn)，休眠預(yù)定時(shí)間后再對(duì)所有站點(diǎn)循環(huán)分配。
[0037]可選地，預(yù)定時(shí)間為I秒。
[0038]根據(jù)本發(fā)明的基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)將方法保證所有站點(diǎn)在任何情況下都能獲得一定的下載機(jī)會(huì)。同時(shí)，可以根據(jù)實(shí)際情況設(shè)置不同的配額限制，以兼顧效率與時(shí)效性，滿(mǎn)足不同搜索產(chǎn)品的需求。這也為全網(wǎng)搜索能與垂直搜索統(tǒng)一處理奠定了基礎(chǔ)。
[0039]上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說(shuō)明】
[0040]通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中:
[0041]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于站點(diǎn)配額的均衡調(diào)度方法流程圖；
[0042]圖2示出了圖1中步驟S120的具體流程圖；
[0043]圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于站點(diǎn)配額的均衡調(diào)度系統(tǒng)結(jié)構(gòu)示意圖；
[0044]圖4示出了圖3中調(diào)度模塊具體結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0045]下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理