本發(fā)明涉及網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)領(lǐng)域,更具體地,涉及一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng)。
背景技術(shù):
在互聯(lián)網(wǎng)的大數(shù)據(jù)時代,人們逐漸擺脫了傳統(tǒng)的信息獲取方式,形成了通過互聯(lián)網(wǎng)來獲取信息的新的數(shù)據(jù)獲取形式。雖然互聯(lián)網(wǎng)使得信息采集和傳播的速度以及規(guī)模都達到了空前的水平,但是它同樣給人們的認知帶來了困惑,當通過人工的方式從互聯(lián)網(wǎng)上篩選數(shù)據(jù)并進行處理時,首先需要消耗大量的時間以及成本,其次人們很難在信息海洋中準確地獲取自己所需的信息,因此人們對數(shù)據(jù)收集和處理的準確性得不到保證。為了獲取有用的數(shù)據(jù)信息,已有一些公司和組織開發(fā)出搜索引擎等工具試圖幫助人們盡量容易的獲取所需要的數(shù)據(jù),但是每次在獲取數(shù)據(jù)時均需要對站點的頁面格式進行解析后進行代碼化,獲取效率低。
因此,提供一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),解決現(xiàn)有技術(shù)中網(wǎng)絡(luò)數(shù)據(jù)獲取效率低的問題,是本領(lǐng)域亟待解決的問題。
技術(shù)實現(xiàn)要素:
有鑒于此,本發(fā)明提供了一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),解決了現(xiàn)有技術(shù)中網(wǎng)絡(luò)數(shù)據(jù)獲取效率低的問題。
為了解決上述技術(shù)問題,本發(fā)明提出一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),其中用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法,包括:
接收網(wǎng)絡(luò)數(shù)據(jù)獲取請求,網(wǎng)絡(luò)數(shù)據(jù)獲取請求包括目標參數(shù),目標參數(shù)包括體育賽事主題、關(guān)鍵詞列表及目標主題相關(guān)度;
從存儲器中提取至少一個歷史站點;
解析歷史站點內(nèi)的所有模塊;
將模塊與存儲器中的配置文件相匹配;
若歷史站點的第一模塊與存儲器中的第一配置文件匹配,則將歷史站點、第一配置文件和網(wǎng)絡(luò)數(shù)據(jù)獲取請求發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器,使網(wǎng)絡(luò)數(shù)據(jù)獲取器根據(jù)第一配置文件對歷史站點的相應(yīng)模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲?。黄渲?,指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器對歷史站點的利用率大于利用率閾值,利用率為網(wǎng)絡(luò)數(shù)據(jù)獲取器對歷史站點的爬取次數(shù)與歷史站點的總爬取次數(shù)的比值;
接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的第一獲取結(jié)果;
解析第一獲取結(jié)果,獲得第一解析參數(shù),第一解析參數(shù)包括第一獲取結(jié)果主題和第一獲取結(jié)果關(guān)鍵詞列表;
將第一解析參數(shù)與目標參數(shù)進行匹配,計算第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度;
將第一主題相關(guān)度與目標主題相關(guān)度進行比較;
若第一主題相關(guān)度大于或等于目標主題相關(guān)度,則將第一獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的業(yè)務(wù)存儲器,存儲器包括業(yè)務(wù)存儲器。
進一步地,
接收第二配置文件;
將第二配置文件與所有的第一配置文件進行比較;
若第二配置文件與所有的第一配置文件均不同,則將第二配置文件發(fā)送到存儲器。
在一些可選的實施例中,獲取任務(wù)包括獲取停止程序;
網(wǎng)絡(luò)數(shù)據(jù)獲取方法還包括:
若歷史站點的第二模塊與存儲器中的所有第一配置文件均不匹配,則將第二配置文件發(fā)送到存儲器后,若未接收到指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的停止信息,并且指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器未對第二模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取,則:
解析第二模塊;
將第二模塊與第二配置文件相匹配;
若第二模塊與第二配置文件匹配,則向指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器發(fā)送第二配置文件。
進一步地,
第一配置文件所對應(yīng)的第一模塊的第一獲取結(jié)果中,若第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度大于或等于目標主題相關(guān)度,則返回獲取成功結(jié)論;若所有的第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度均小于目標主題相關(guān)度,則返回獲取失敗結(jié)論;
計算預(yù)定時間間隔內(nèi)每個第一配置文件的獲取成功結(jié)論與獲取失敗結(jié)論的比值,形成第一配置文件的成功率;
將第一配置文件的成功率與第一配置文件的成功率閾值進行比較;
若第一配置文件的成功率小于第一配置文件的成功率閾值,則返回故障信息;
接收與第一模塊對應(yīng)的修改后的第一配置文件;
將修改后的第一配置文件發(fā)送至存儲器。
進一步地,
接收輸入站點及其站點描述;
將輸入站點的站點描述與歷史站點的站點描述進行比較;
若輸入站點的站點描述與歷史站點的站點描述不同,則將輸入站點發(fā)送至存儲器;
若所有的獲取結(jié)果的主題相關(guān)度均小于目標主題相關(guān)度,則從歷史站點存儲器中提取輸入站點的統(tǒng)一資源定位符;
解析輸入站點內(nèi)的所有模塊;
將輸入站點內(nèi)的第三模塊與存儲器中的配置文件相匹配;
若第三模塊與存儲器中的第三配置文件匹配,則將輸入站點、第三配置文件發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器;
接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器對輸入站點的第二獲取結(jié)果;
解析第二獲取結(jié)果,獲得第二解析參數(shù),第二解析參數(shù)包括第二獲取結(jié)果主題和第二獲取結(jié)果關(guān)鍵詞列表;
將第二解析參數(shù)與目標參數(shù)進行匹配,計算第二獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第二主題相關(guān)度;
將第二主題相關(guān)度與目標主題相關(guān)度進行比較;
若第二主題相關(guān)度大于或等于目標主題相關(guān)度,則將第二獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的業(yè)務(wù)存儲器,存儲器包括業(yè)務(wù)存儲器。
進一步地,一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng),包括請求接收單元、歷史站點提取單元、第一模塊解析單元、第一配置文件匹配單元、任務(wù)指定單元、第一結(jié)果接收單元、第一結(jié)果解析單元、第一解析參數(shù)匹配單元、第一相關(guān)度比較單元、第一獲取結(jié)果發(fā)送單元,其中:
請求接收單元,用于接收網(wǎng)絡(luò)數(shù)據(jù)獲取請求,網(wǎng)絡(luò)數(shù)據(jù)獲取請求包括目標參數(shù),目標參數(shù)包括體育賽事主題、關(guān)鍵詞列表及目標主題相關(guān)度;
歷史站點提取單元,用于從存儲器中提取至少一個歷史站點;
第一模塊解析單元,用于解析歷史站點內(nèi)的所有模塊;
第一配置文件匹配單元,用于將模塊與存儲器中的配置文件相匹配;
任務(wù)指定單元,用于:若歷史站點的第一模塊與存儲器中的第一配置文件匹配,則將歷史站點、第一配置文件和網(wǎng)絡(luò)數(shù)據(jù)獲取請求發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器,使網(wǎng)絡(luò)數(shù)據(jù)獲取器根據(jù)第一配置文件對歷史站點的相應(yīng)模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲??;
第一結(jié)果接收單元,用于接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的第一獲取結(jié)果;
第一結(jié)果解析單元,用于解析第一獲取結(jié)果,獲得第一解析參數(shù),第一解析參數(shù)包括第一獲取結(jié)果主題和第一獲取結(jié)果關(guān)鍵詞列表;
第一解析參數(shù)匹配單元,用于將第一解析參數(shù)與目標參數(shù)進行匹配,計算第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度;
第一相關(guān)度比較單元,用于將第一主題相關(guān)度與目標主題相關(guān)度進行比較;
第一獲取結(jié)果發(fā)送單元,用于:若第一主題相關(guān)度大于或等于目標主題相關(guān)度,則將第一獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的業(yè)務(wù)存儲器,存儲器包括業(yè)務(wù)存儲器。
進一步地,還包括配置文件接收單元、配置文件比較單元、配置文件存儲單元;其中:
配置文件接收單元,用于接收第二配置文件;
配置文件比較單元,用于將第二配置文件與所有的第一配置文件進行比較;
配置文件存儲單元,用于:若第二配置文件與所有的第一配置文件均不同,則將第二配置文件發(fā)送到存儲器。
進一步地,獲取任務(wù)包括獲取停止程序;
其中,網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)還包括第二模塊解析單元、第二配置文件匹配單元和配置文件發(fā)送單元;其中,
第二模塊解析單元,用于解析第二模塊;
第二配置文件匹配單元,用于將第二模塊與第二配置文件相匹配;
配置文件發(fā)送單元,用于:若第二模塊與第二配置文件匹配,則向指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器發(fā)送第二配置文件。
進一步地,還包括獲取結(jié)論返回單元、成功率計算單元、成功率比較單元、故障信息返回單元、修改接收單元以及修改存儲單元;其中,
獲取結(jié)論返回單元,用于:第一配置文件所對應(yīng)的第一模塊的第一獲取結(jié)果中,若第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度大于或等于目標主題相關(guān)度,則返回獲取成功結(jié)論;若所有的第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度均小于目標主題相關(guān)度,則返回獲取失敗結(jié)論;
成功率計算單元,用于計算預(yù)定時間間隔內(nèi)每個第一配置文件的獲取成功結(jié)論與獲取失敗結(jié)論的比值,形成第一配置文件的成功率;
成功率比較單元,用于將第一配置文件的成功率與第一配置文件的成功率閾值進行比較;
故障信息返回單元,用于:若第一配置文件的成功率小于第一配置文件的成功率閾值,則返回故障信息;
修改接收單元,用于接收與第一模塊對應(yīng)的修改后的第一配置文件;
修改存儲單元,用于將修改后的第一配置文件發(fā)送至存儲器。
進一步地,網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)還包括輸入站點接收單元、站點描述比較單元、輸入站點存儲單元、輸入站點提取單元、第三模塊解析單元、第三配置文件匹配單元、輸入站點發(fā)送單元、第二結(jié)果接收單元,第二結(jié)果解析單元、第二解析參數(shù)匹配單元、第二相關(guān)度比較單元、第二獲取結(jié)果發(fā)送單元;其中,
輸入站點接收單元,用于接收輸入站點及其站點描述;
站點描述比較單元,用于將輸入站點的站點描述與歷史站點的站點描述進行比較;
輸入站點存儲單元,用于:若輸入站點的站點描述與歷史站點的站點描述不同,則將輸入站點發(fā)送至存儲器;
輸入站點提取單元,用于:若所有的獲取結(jié)果的主題相關(guān)度均小于目標主題相關(guān)度,則從歷史站點存儲器中提取輸入站點的統(tǒng)一資源定位符;
第三模塊解析單元,用于解析輸入站點內(nèi)的所有模塊;
第三配置文件匹配單元,用于將輸入站點內(nèi)的第三模塊與存儲器中的配置文件相匹配;
輸入站點發(fā)送單元,用于:若第三模塊與存儲器中的第三配置文件匹配,則將輸入站點、第三配置文件發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器;
第二結(jié)果接收單元,用于接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器對輸入站點的第二獲取結(jié)果;
第二結(jié)果解析單元,用于解析第二獲取結(jié)果,獲得第二解析參數(shù),第二解析參數(shù)包括第二獲取結(jié)果主題和第二獲取結(jié)果關(guān)鍵詞列表;
第二解析參數(shù)匹配單元,用于將第二解析參數(shù)與目標參數(shù)進行匹配,計算第二獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第二主題相關(guān)度;
第二相關(guān)度比較單元,用于將第二主題相關(guān)度與目標主題相關(guān)度進行比較;
第二獲取結(jié)果發(fā)送單元,用于:若第二主題相關(guān)度大于或等于目標主題相關(guān)度,則將第二獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的業(yè)務(wù)存儲器,存儲器包括業(yè)務(wù)存儲器。
與現(xiàn)有技術(shù)相比,本發(fā)明的一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),實現(xiàn)了如下的有益效果:
(1)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),首先解析歷史站點內(nèi)的所有模塊,并將模塊與存儲器中的配置文件進行匹配,以便利用配置文件對站點中的模塊進行快速獲取,避免對站點的頁面格式進行解析并進行代碼化,提高了獲取效率;判定獲取結(jié)果是否達到目標主題相關(guān)度,以獲取理想的獲取結(jié)果,并存儲于相應(yīng)的業(yè)務(wù)存儲器中,方便用戶的隨時搜索和使用。
(2)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),實時監(jiān)控第一配置文件的獲取成功率,當?shù)谝慌渲梦募墨@取成功率低于其成功率閾值時,及時根據(jù)模塊的變化更新配置文件,避免模塊的更新后配置文件的不匹配導致的獲取失敗,以提高其獲取結(jié)果的成功率,有利于后續(xù)數(shù)據(jù)獲取的工作快捷有效的進行,以防相應(yīng)站點的模塊更新。
(3)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),實時加入新的模塊所對應(yīng)的配置文件,便于網(wǎng)絡(luò)數(shù)據(jù)獲取器利用更多的配置文件進行獲取,提高獲取效率。
(4)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),實時加入新的站點,擴大網(wǎng)絡(luò)數(shù)據(jù)獲取范圍,提高數(shù)據(jù)獲取的成功率。
附圖說明
被結(jié)合在說明書中并構(gòu)成說明書的一部分的附圖示出了本發(fā)明的實施例,并且連同其說明一起用于解釋本發(fā)明的原理。
圖1為本發(fā)明實施例1提供的一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法的流程示意圖;
圖2為本發(fā)明實施例1提供的更新第一配置文件的流程示意圖;
圖3為本發(fā)明實施例1提供的新建配置文件的流程示意圖;
圖4為本發(fā)明實施例1提供的輸入站點提取的流程示意圖;
圖5為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的一種構(gòu)成示意圖;
圖6為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的另一種構(gòu)成示意圖;
圖7為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的再一種構(gòu)成示意圖;
圖8為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的又一種構(gòu)成示意圖;
圖9為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的再又一種構(gòu)成示意圖。
具體實施方式
現(xiàn)在將參照附圖來詳細描述本發(fā)明的各種示例性實施例。應(yīng)注意到:除非另外具體說明,否則在這些實施例中闡述的部件和步驟的相對布置、數(shù)字表達式和數(shù)值不限制本發(fā)明的范圍。
以下對至少一個示例性實施例的描述實際上僅僅是說明性的,決不作為對本發(fā)明及其應(yīng)用或使用的任何限制。
對于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細討論,但在適當情況下,所述技術(shù)、方法和設(shè)備應(yīng)當被視為說明書的一部分。
在這里示出和討論的所有例子中,任何具體值應(yīng)被解釋為僅僅是示例性的,而不是作為限制。因此,示例性實施例的其它例子可以具有不同的值。
應(yīng)注意到:相似的標號和字母在下面的附圖中表示類似項,因此,一旦某一項在一個附圖中被定義,則在隨后的附圖中不需要對其進行進一步討論。
實施例1
圖1為本發(fā)明實施例1提供的一種用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法的流程示意圖,該方法包括如下步驟:
步驟101、接收網(wǎng)絡(luò)數(shù)據(jù)獲取請求,網(wǎng)絡(luò)數(shù)據(jù)獲取請求包括目標參數(shù),目標參數(shù)包括體育賽事主題、關(guān)鍵詞列表及目標主題相關(guān)度。其中,關(guān)鍵詞列表如球隊名稱、球員姓名等。
步驟102、從存儲器中提取至少一個歷史站點。
存儲器中有以往獲取到的歷史站點數(shù)據(jù),當接收到網(wǎng)絡(luò)數(shù)據(jù)獲取請求后,從存儲器中提取至少一個歷史站點。
步驟103、解析歷史站點內(nèi)的所有模塊。
每個站點均設(shè)有各模塊,通過在存儲器中獲取歷史站點后,解析該歷史站點中所有模塊所處的位置及大小等信息。
步驟104、將模塊與存儲器中的配置文件相匹配。
將解析到的歷史站點內(nèi)所有模塊的位置及大小等數(shù)據(jù),與存儲器中的配置文件的相應(yīng)數(shù)據(jù)(如位置、大小)進行匹配。
步驟105、若歷史站點的第一模塊與存儲器中的第一配置文件匹配,則將歷史站點、第一配置文件和網(wǎng)絡(luò)數(shù)據(jù)獲取請求發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器,使網(wǎng)絡(luò)數(shù)據(jù)獲取器根據(jù)第一配置文件對歷史站點的相應(yīng)模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取。
其中,指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器對歷史站點的利用率大于利用率閾值,利用率為網(wǎng)絡(luò)數(shù)據(jù)獲取器對歷史站點的爬取次數(shù)與歷史站點的總爬取次數(shù)的比值。
若歷史站點的第一模塊與存儲器中的第一配置文件匹配,則網(wǎng)絡(luò)數(shù)據(jù)獲取器即可根據(jù)該第一配置文件對所對應(yīng)的第一模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取,避免對站點的頁面格式進行解析后進行代碼化導致的網(wǎng)絡(luò)獲取效率低的問題。
步驟106、接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的第一獲取結(jié)果。
步驟107、解析第一獲取結(jié)果,獲得第一解析參數(shù),第一解析參數(shù)包括第一獲取結(jié)果主題和第一獲取結(jié)果關(guān)鍵詞列表。
步驟108、將第一解析參數(shù)與目標參數(shù)進行匹配,計算第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度。
將第一獲取結(jié)果的解析參數(shù)(結(jié)果主題和結(jié)果關(guān)鍵詞列表)與目標參數(shù)(體育賽事主題、關(guān)鍵詞列表及目標主題相關(guān)度)進行匹配,計算第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度。
步驟109、將第一主題相關(guān)度與目標主題相關(guān)度進行比較。
步驟110、若第一主題相關(guān)度大于或等于目標主題相關(guān)度,則將第一獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的業(yè)務(wù)存儲器,存儲器包括業(yè)務(wù)存儲器。
當?shù)谝恢黝}相關(guān)度大于或等于目標主題相關(guān)度,說明該第一獲取結(jié)果滿足目標參數(shù)的條件,可被獲取使用,因此將第一獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的存儲器中的業(yè)務(wù)存儲器中,可隨時被使用。
通過實時監(jiān)控網(wǎng)絡(luò)數(shù)據(jù)獲取器所獲取的獲取結(jié)果,并判定該獲取結(jié)果是否與目標參數(shù)匹配,以獲取理想的獲取結(jié)果,并存儲于相應(yīng)的業(yè)務(wù)存儲器中,方便用戶的隨時搜索和使用。
在一些可選的實施例中,網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)實時對第一配置文件的獲取成功率進行監(jiān)控,以防相應(yīng)模塊的更新,以及時更新存儲器中的相應(yīng)配置文件。在圖1所示流程圖步驟110、獲取第一獲取結(jié)果后,對該獲取結(jié)果進行相應(yīng)的相關(guān)度判定,具體操作參見圖2提供的更新第一配置文件的流程示意圖:
步驟111、第一配置文件所對應(yīng)的第一模塊的第一獲取結(jié)果中,若第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度大于或等于目標主題相關(guān)度,則返回獲取成功結(jié)論;若所有的第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度均小于目標主題相關(guān)度,則返回獲取失敗結(jié)論。
步驟112、計算預(yù)定時間間隔內(nèi)每個第一配置文件的獲取成功結(jié)論與獲取失敗結(jié)論的比值,形成第一配置文件的成功率。
步驟113、將第一配置文件的成功率與第一配置文件的成功率閾值進行比較。
步驟114、若第一配置文件的成功率小于第一配置文件的成功率閾值,則返回故障信息。
接收到故障信息說明該模塊發(fā)生了變化,需要對該模塊進行重新解析,獲得新的配置文件,及時更新第一配置文件,避免第一模塊與第一配置文件不匹配而導致的網(wǎng)絡(luò)數(shù)據(jù)獲取失敗。
步驟115、接收與第一模塊對應(yīng)的修改后的第一配置文件。
步驟116、將修改后的第一配置文件發(fā)送至存儲器。
及時更新站點的模塊信息和相應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)獲取器第一配置文件,避免站點或模塊更新帶來的網(wǎng)絡(luò)獲取失敗。
在一些可選的實施例中,系統(tǒng)操作人員會實時對未形成配置文件的模塊進行解析,從而將新建的配置文件儲存在存儲器中,以備后續(xù)使用具體操作參見圖3提供的新建配置文件的流程示意圖:
步驟301、接收第二配置文件。
步驟302、將第二配置文件與所有的第一配置文件進行比較。
步驟303、若第二配置文件與所有的第一配置文件均不同,則將第二配置文件發(fā)送到存儲器。
將及時解析出來的新的第二配置文件發(fā)送至配置文件的存儲器,方便后期對相應(yīng)模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取時的快速搜索。
通過實時監(jiān)控新建的第二配置文件,并判定該第二配置文件是否與所有第一配置文件匹配,并存儲于配置文件的存儲器中,避免配置文件的冗余現(xiàn)象,并且方便用戶后期的快速搜索和使用。
在一些可選的實施例中,網(wǎng)絡(luò)數(shù)據(jù)獲取方法還包括獲取停止程序。
若歷史站點的第二模塊與存儲器中的所有第一配置文件均不匹配,則將第二配置文件發(fā)送到配置文件存儲器后,若未接收到指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的停止信息,并且指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器未對該第二模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取,則繼續(xù)進行如下步驟:
步驟304、解析第二模塊。
步驟305、將第二模塊與第二配置文件相匹配。
步驟306、若第二模塊與第二配置文件匹配,則向指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器發(fā)送第二配置文件。
在一些可選的實施例中,網(wǎng)絡(luò)獲取系統(tǒng)可隨時更新存儲器中的站點,以收集新的站點,提高網(wǎng)絡(luò)獲取的選擇。具體步驟參見圖4提供的輸入站點提取的流程示意圖:
步驟401、接收輸入站點及其站點描述。
步驟402、將輸入站點的站點描述與歷史站點的站點描述進行比較。
步驟403、若輸入站點的站點描述與歷史站點的站點描述不同,則將輸入站點發(fā)送至存儲器。
若輸入站點的站點描述與歷史站點的站點描述不同,則說明輸入站點不屬于歷史站點,即可將該輸入站點收錄到歷史站點的存儲器中。
步驟404、若所有的獲取結(jié)果的主題相關(guān)度均小于目標主題相關(guān)度,則從歷史站點存儲器中提取輸入站點的統(tǒng)一資源定位符。
如果從存儲器的歷史站點中獲取的所有獲取結(jié)果的主題相關(guān)度均小于目標主題相關(guān)度,說明現(xiàn)有存儲器中的歷史站點中均獲取不到所需的獲取結(jié)果。此時,則從存儲器中提取輸入站點的統(tǒng)一資源定位符。
步驟405、解析輸入站點內(nèi)的所有模塊。
步驟406、將輸入站點內(nèi)的第三模塊與存儲器中的配置文件相匹配。
將輸入站點中解析到的第三模塊與存儲器中的配置文件進行匹配。
步驟407、若第三模塊與存儲器中的第三配置文件匹配,則將輸入站點、第三配置文件發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器,使指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器對新加入的站點進行網(wǎng)絡(luò)數(shù)據(jù)獲取,提高獲取任務(wù)的成功率。
步驟408、接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器對輸入站點的第二獲取結(jié)果。
步驟409、解析第二獲取結(jié)果,獲得第二解析參數(shù),第二解析參數(shù)包括第二獲取結(jié)果主題和第二獲取結(jié)果關(guān)鍵詞列表。
步驟410、將第二解析參數(shù)與目標參數(shù)進行匹配,計算第二獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第二主題相關(guān)度。
步驟411、將第二主題相關(guān)度與目標主題相關(guān)度進行比較。
步驟412、若第二主題相關(guān)度大于或等于目標主題相關(guān)度,則將第二獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的業(yè)務(wù)存儲器,存儲器包括業(yè)務(wù)存儲器。
在對歷史站點進行數(shù)據(jù)獲取時,同時可將新的輸入站點作為獲取對象,可擴大數(shù)據(jù)獲取范圍,提高數(shù)據(jù)獲取的成功率。
實施例2
圖5為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的一種構(gòu)成示意圖;該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50包括:請求接收單元501、歷史站點提取單元502、第一模塊解析單元503、第一配置文件匹配單元504、任務(wù)指定單元505、第一結(jié)果接收單元506、第一結(jié)果解析單元507、第一解析參數(shù)匹配單元508、第一相關(guān)度比較單元509、第一獲取結(jié)果發(fā)送單元510。
請求接收單元501,用于接收網(wǎng)絡(luò)數(shù)據(jù)獲取請求,網(wǎng)絡(luò)數(shù)據(jù)獲取請求包括目標參數(shù),目標參數(shù)包括體育賽事主題、關(guān)鍵詞列表及目標主題相關(guān)度,其中,關(guān)鍵詞列表如球隊名稱、球員姓名等;并將目標參數(shù)傳輸至歷史站點提取單元502。
歷史站點提取單元502與請求接收單元501相連接,當接收到目標參數(shù)后,為了提高網(wǎng)絡(luò)數(shù)據(jù)獲取效率,可以優(yōu)先選擇曾經(jīng)獲得到該類網(wǎng)絡(luò)數(shù)據(jù)的歷史站點來獲取數(shù)據(jù),因此歷史站點提取單元502從存儲器中提取至少一個歷史站點,并將該歷史站點的數(shù)據(jù)傳輸至第一模塊解析單元503。
第一模塊解析單元503與歷史站點提取單元502相連接,當接收到歷史站點數(shù)據(jù)后,第一模塊解析單元503對該歷史站點的頁面格式進行解析,獲取歷史站點內(nèi)的所有模塊,便于將各模塊與配置文件進行匹配;將解析到的歷史站點內(nèi)的所有模塊傳輸至第一配置文件匹配單元504。
第一配置文件匹配單元504與第一模塊解析單元503相連接,當接收到解析到的歷史站點內(nèi)的所有模塊后,第一配置文件匹配單元504將解析后的站點模塊與存儲器中的配置文件相匹配;并將二者的匹配數(shù)據(jù)傳輸至任務(wù)指定單元505。
任務(wù)指定單元505與第一配置文件匹配單元504相連接,當接收到解析后站點模塊與存儲器中配置文件的匹配數(shù)據(jù)后,若歷史站點的第一模塊與存儲器中的第一配置文件匹配,說明該歷史站點的第一模塊可以按照第一配置文件來獲取,任務(wù)指定單元505將歷史站點、第一配置文件和網(wǎng)絡(luò)數(shù)據(jù)獲取請求發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器,使網(wǎng)絡(luò)數(shù)據(jù)獲取器根據(jù)第一配置文件對歷史站點的相應(yīng)模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲??;并將網(wǎng)絡(luò)數(shù)據(jù)獲取信息傳輸至第一結(jié)果接收單元506。
第一結(jié)果接收單元506與指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器相連接。第一結(jié)果接收單元506接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的第一獲取結(jié)果;并將該第一獲取結(jié)果傳輸至第一結(jié)果解析單元507。
第一結(jié)果解析單元507和第一結(jié)果接收單元506相連接,當接收到指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的第一獲取結(jié)果后,第一結(jié)果解析單元507對第一獲取結(jié)果進行解析,獲得第一解析參數(shù),第一解析參數(shù)包括第一獲取結(jié)果主題和第一獲取結(jié)果關(guān)鍵詞列表;并將解析到的第一解析參數(shù)傳輸至第一解析參數(shù)匹配單元508。
第一解析參數(shù)匹配單元508與第一結(jié)果解析單元507相連接,當接收到第一解析參數(shù)后,第一解析參數(shù)匹配單元508將第一解析參數(shù)與目標參數(shù)進行匹配,計算第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度;并將計算的第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度傳輸至第一相關(guān)度比較單元509。
第一相關(guān)度比較單元509與第一解析參數(shù)匹配單元508相連接,當接收到計算得到的第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度后,第一相關(guān)度比較單元509將第一主題相關(guān)度與目標主題相關(guān)度進行比較;并將比較結(jié)果傳輸至第一獲取結(jié)果發(fā)送單元510。
結(jié)果發(fā)送單元510與第一相關(guān)度比較單元509相連接,當接收到第一主題相關(guān)度與目標主題相關(guān)度的比較結(jié)果后,如果第一主題相關(guān)度大于或等于目標主題相關(guān)度,則結(jié)果發(fā)送單元510將第一獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的存儲器中的業(yè)務(wù)存儲器。
將站點中的模塊與配置文件進行匹配,使網(wǎng)絡(luò)數(shù)據(jù)獲取器利用配置文件對相應(yīng)的模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取,節(jié)省了對站點的頁面格式進行解析并進行代碼化的時間,提高了網(wǎng)絡(luò)數(shù)據(jù)獲取的效率。
圖6為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的另一種構(gòu)成示意圖;該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50包括圖5所對應(yīng)實施例中的請求接收單元501、歷史站點提取單元502、第一模塊解析單元503、第一配置文件匹配單元504、任務(wù)指定單元505、第一結(jié)果接收單元506、第一結(jié)果解析單元507、第一解析參數(shù)匹配單元508、第一相關(guān)度比較單元509、第一獲取結(jié)果發(fā)送單元510,進一步的,該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50可以包括:配置文件接收單元511、配置文件比較單元512、配置文件存儲單元513。
當系統(tǒng)工作人員對新的模塊進行解析得到一個新的第二配置文件后,將該第二配置文件發(fā)送至配置文件接收單元511。配置文件接收單元511將接收到的第二配置文件傳送至配置文件比較單元512。
配置文件比較單元512與配置文件接收單元511相連接,當接收到第二配置文件后,配置文件比較單元512將第二配置文件與所有的第一配置文件進行比較,以驗證第二配置文件與現(xiàn)有的第一配置文件是否相同,并將二者的比較結(jié)果傳送至配置文件存儲單元513。
配置文件存儲單元513與配置文件比較單元512相連接,當接收到第二配置文件與所有的第一配置文件的比較結(jié)果后,若第二配置文件與所有的第一配置文件均不同,則說明第二配置文件相較于存儲器中現(xiàn)有的所有第一配置文件是一個新的配置文件,配置文件存儲單元513則將該第二配置文件發(fā)送到配置文件存儲器中。
在一些可選的實施例中,網(wǎng)絡(luò)數(shù)據(jù)獲取方法還可以包括獲取停止程序。在一些可選的實施例中,若歷史站點解析出的第二模塊與存儲器中的所有第一配置文件均不匹配,則將第二配置文件發(fā)送到配置文件存儲器后,若未接收到指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的停止信息,并且指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器未對第二模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取時,可以利用第二配置文件來輔助網(wǎng)絡(luò)數(shù)據(jù)獲取器,提高網(wǎng)絡(luò)數(shù)據(jù)獲取的效率。
圖7為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的再一種構(gòu)成示意圖;該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50包括圖6所對應(yīng)實施例中的請求接收單元501、歷史站點提取單元502、第一模塊解析單元503、第一配置文件匹配單元504、任務(wù)指定單元505、第一結(jié)果接收單元506、第一結(jié)果解析單元507、第一解析參數(shù)匹配單元508、第一相關(guān)度比較單元509、第一獲取結(jié)果發(fā)送單元510、配置文件接收單元511、配置文件比較單元512、配置文件存儲單元513。進一步的,該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50可以包括:第二模塊解析單元514、第二配置文件匹配單元515和配置文件發(fā)送單元516。
第二模塊解析單元514與第一配置文件匹配單元504相連接,當配置文件存儲單元513將第二配置文件發(fā)送到配置文件存儲器中后,若歷史站點解析出的第二模塊與存儲器中的所有第一配置文件均不匹配,且未接收到指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器的停止信息,并且指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器未對第二模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取,此時,第二模塊解析單元514對該第二模塊進行解析;并將解析結(jié)果傳送至第二配置文件匹配單元515。
第二配置文件匹配單元515與第二模塊解析單元514相連接,接收到第二模塊的解析結(jié)果后,第二配置文件匹配單元515將該解析結(jié)果與第二配置文件進行匹配,以檢測第二模塊與第二配置文件是否匹配;并將匹配結(jié)果傳送至配置文件發(fā)送單元516。
配置文件發(fā)送單元516與第二配置文件匹配單元515相連接,如果第二模塊與第二配置文件匹配,則說明第二配置文件可以用于對第二模塊進行網(wǎng)絡(luò)數(shù)據(jù)獲取,此時,配置文件發(fā)送單元516則向指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器發(fā)送第二配置文件。
在一些可選的實施例中,網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)實時對第一配置文件的獲取成功率進行監(jiān)控,以防相應(yīng)模塊的更新。圖8為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的又一種構(gòu)成示意圖;該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50包括圖5所對應(yīng)實施例中的請求接收單元501、歷史站點提取單元502、第一模塊解析單元503、第一配置文件匹配單元504、任務(wù)指定單元505、第一結(jié)果接收單元506、第一結(jié)果解析單元507、第一解析參數(shù)匹配單元508、第一相關(guān)度比較單元509、第一獲取結(jié)果發(fā)送單元510,進一步的,該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50可以包括:獲取結(jié)論返回單元517、成功率計算單元518、成功率比較單元519、故障信息返回單元520、修改接收單元521以及修改存儲單元522。
獲取結(jié)論返回單元517與第一相關(guān)度比較單元509相連接。若第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度大于或等于目標主題相關(guān)度,則返回獲取成功結(jié)論;若所有的第一獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第一主題相關(guān)度均小于目標主題相關(guān)度,則返回獲取失敗結(jié)論;并將該獲取結(jié)論傳送至成功率計算單元518。
成功率計算單元518與獲取結(jié)論返回單元517相連接,當接收到第一配置文件分別獲取的成功結(jié)論和失敗結(jié)論的數(shù)據(jù)后,成功率計算單元518計算預(yù)定時間間隔內(nèi)每個第一配置文件的獲取成功結(jié)論與獲取失敗結(jié)論的比值,形成第一配置文件的成功率;并將該第一配置文件的成功率傳送至成功率比較單元519。
成功率比較單元519與成功率計算單元518相連接,當接收到第一配置文件的成功率數(shù)值后,成功率比較單元519將第一配置文件的成功率與第一配置文件的成功率閾值進行比較;并將比較結(jié)果傳送至故障信息返回單元520。
故障信息返回單元520與成功率比較單元519相連接,當接收到第一配置文件的成功率與第一配置文件的成功率閾值的比較結(jié)果后,如果第一配置文件的成功率小于第一配置文件的成功率閾值,則向系統(tǒng)工作人員返回故障信息,說明該配置文件對應(yīng)的模塊發(fā)生了變化,系統(tǒng)工作人員需要對該模塊進行解析,對第一配置文件進行相應(yīng)的修改,以便及時更新第一配置文件,以提高其獲取成功結(jié)論的成功率;并將該故障信息傳輸至修改接收單元521。
當接收到故障信修改接收單元521接收來自系統(tǒng)工作人員的與第一模塊對應(yīng)的修改后的第一配置文件;并將修改后的第一配置文件傳送至修改存儲單元522。
修改存儲單元522與修改接收單元521相連接,當接收到修改后的第一配置文件后,為了及時對存儲器中第一配置文件進行更新,避免站點更新帶來的網(wǎng)絡(luò)獲取失敗,修改存儲單元522修改后的第一配置文件發(fā)送至存儲器中,以供后期正常使用。
圖9為本發(fā)明實施例2提供的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的再又一種構(gòu)成示意圖;該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50包括圖5所對應(yīng)實施例中的請求接收單元501、歷史站點提取單元502、第一模塊解析單元503、第一配置文件匹配單元504、任務(wù)指定單元505、第一結(jié)果接收單元506、第一結(jié)果解析單元507、第一解析參數(shù)匹配單元508、第一相關(guān)度比較單元509、第一獲取結(jié)果發(fā)送單元510,進一步的,該網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)50可以包括:輸入站點接收單元523、站點描述比較單元524、輸入站點存儲單元525、輸入站點提取單元526、第三模塊解析單元527、第三配置文件匹配單元528、輸入站點發(fā)送單元529、第二結(jié)果接收單元530,第二結(jié)果解析單元531、第二解析參數(shù)匹配單元532、第二相關(guān)度比較單元533、第二獲取結(jié)果發(fā)送單元534。
輸入站點接收單元523與存儲歷史站點的存儲器相連接。輸入站點接收單元523接收輸入站點及其站點描述;并將該輸入站點及站點描述傳輸至站點描述比較單元524。
站點描述比較單元524與輸入站點接收單元523相連接,當接收到輸入站點及站點描述后,站點描述比較單元524將輸入站點的站點描述與歷史站點的站點描述進行比較;并將比較結(jié)果傳輸至輸入站點存儲單元525。
輸入站點存儲單元525與站點描述比較單元524相連接,當接收到輸入站點的站點描述與歷史站點的站點描述的比較結(jié)果后,若輸入站點的站點描述與歷史站點的站點描述不同,輸入站點存儲單元525則將輸入站點發(fā)送至存儲器;并將該信息傳送至輸入站點提取單元526。
輸入站點提取單元526與存儲站點的存儲器相連接。當輸入站點存儲單元525將輸入站點發(fā)送至存儲器后,若所有的獲取結(jié)果的主題相關(guān)度均小于目標主題相關(guān)度,則輸入站點提取單元526從歷史站點存儲器中提取輸入站點的統(tǒng)一資源定位符;并將信息傳送至第三模塊解析單元527。
第三模塊解析單元527與輸入站點提取單元526相連接,當接收到輸入站點提取單元526提取到的輸入站點的統(tǒng)一資源定位符后,第三模塊解析單元527對該輸入站點內(nèi)的所有模塊進行解析;并將解析結(jié)果傳送至第三配置文件匹配單元528。
第三配置文件匹配單元528與第三模塊解析單元527相連接,當接收到輸入站點解析得到的所有模塊后,第三配置文件匹配單元528將輸入站點內(nèi)的第三模塊與存儲器中的配置文件相匹配;并將匹配結(jié)果傳送至輸入站點發(fā)送單元529。
輸入站點發(fā)送單元529與第三配置文件匹配單元528相連接,若第三模塊與存儲器中的第三配置文件匹配,輸入站點發(fā)送單元529則將輸入站點、第三配置文件發(fā)送至指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器,供指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器利用第三配置文件對輸入站點進行網(wǎng)絡(luò)數(shù)據(jù)獲取。
第二結(jié)果接收單元530與指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器相連接,用于接收指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器對輸入站點的第二獲取結(jié)果;并將該第二獲取結(jié)果傳送至第二結(jié)果解析單元531。
第二結(jié)果解析單元531與第二結(jié)果接收單元530相連接,當接收到指定的網(wǎng)絡(luò)數(shù)據(jù)獲取器獲取的第二獲取結(jié)果后,第二結(jié)果解析單元531對該第二獲取結(jié)果進行解析,獲得第二解析參數(shù),第二解析參數(shù)包括第二獲取結(jié)果主題和第二獲取結(jié)果關(guān)鍵詞列表;將獲得的第二解析參數(shù)傳送至第二解析參數(shù)匹配單元532。
第二解析參數(shù)匹配單元532與第二結(jié)果解析單元531相連接,當接收到第二獲取結(jié)果所解析的第二解析參數(shù)后,第二解析參數(shù)匹配單元532將第二解析參數(shù)與目標參數(shù)進行匹配,計算第二獲取結(jié)果與網(wǎng)絡(luò)數(shù)據(jù)獲取請求之間的第二主題相關(guān)度;并將計算得到的第二主題相關(guān)度傳送至第二相關(guān)度比較單元533。
第二相關(guān)度比較單元533與第二解析參數(shù)匹配單元532相連接,當接收到計算得到的第二主題相關(guān)度,第二相關(guān)度比較單元533將第二主題相關(guān)度與目標主題相關(guān)度進行比較;并將二者的比較結(jié)果傳送至第二獲取結(jié)果發(fā)送單元534。
第二獲取結(jié)果發(fā)送單元534與第二相關(guān)度比較單元533相連接,接收到第二主題相關(guān)度與目標主題相關(guān)度的比較結(jié)果后,若第二主題相關(guān)度大于或等于目標主題相關(guān)度,第二獲取結(jié)果發(fā)送單元534則將第二獲取結(jié)果發(fā)送至與網(wǎng)絡(luò)數(shù)據(jù)獲取請求相應(yīng)的存儲器的業(yè)務(wù)存儲器中。
通過上述實施例可知,本發(fā)明的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),達到了如下的有益效果:
(1)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),首先解析歷史站點內(nèi)的所有模塊,并將模塊與存儲器中的配置文件進行匹配,以便利用配置文件對站點中的模塊進行快速獲取,避免對站點的頁面格式進行解析并進行代碼化,提高了獲取效率;判定獲取結(jié)果是否達到目標主題相關(guān)度,以獲取理想的獲取結(jié)果,并存儲于相應(yīng)的業(yè)務(wù)存儲器中,方便用戶的隨時搜索和使用。
(2)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),實時監(jiān)控第一配置文件的獲取成功率,當?shù)谝慌渲梦募墨@取成功率低于其成功率閾值時,及時根據(jù)模塊的變化更新配置文件,避免模塊的更新后配置文件的不匹配導致的獲取失敗,以提高其獲取結(jié)果的成功率,有利于后續(xù)數(shù)據(jù)獲取的工作快捷有效的進行,以防相應(yīng)站點的模塊更新。
(3)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),實時加入新的模塊所對應(yīng)的配置文件,便于網(wǎng)絡(luò)數(shù)據(jù)獲取器利用更多的配置文件進行獲取,提高獲取效率。
(4)本發(fā)明所述的用于體育賽事的網(wǎng)絡(luò)數(shù)據(jù)獲取方法和系統(tǒng),實時加入新的站點,擴大網(wǎng)絡(luò)數(shù)據(jù)獲取范圍,提高數(shù)據(jù)獲取的成功率。
雖然已經(jīng)通過例子對本發(fā)明的一些特定實施例進行了詳細說明,但是本領(lǐng)域的技術(shù)人員應(yīng)該理解,以上例子僅是為了進行說明,而不是為了限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員應(yīng)該理解,可在不脫離本發(fā)明的范圍和精神的情況下,對以上實施例進行修改。本發(fā)明的范圍由所附權(quán)利要求來限定。