專利名稱：基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息采集領(lǐng)域，尤其涉及一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法和裝置。
背景技術(shù)：
隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)上的信息資源日益強(qiáng)大并呈快速增長(zhǎng)的趨勢(shì)，越來(lái)越多的人喜歡從網(wǎng)絡(luò)上獲取信息。傳統(tǒng)的搜索引擎信息采集方法都是基于爬蟲(chóng) (Spider, Crawl等)程序?qū)崿F(xiàn)的，在一定的時(shí)期內(nèi)取得了一定的成績(jī)。但是隨著網(wǎng)絡(luò)服務(wù)的日益更新，特別是Web2. 0,ffeb3. 0, Twitter, Facebook,微博等新型網(wǎng)絡(luò)服務(wù)的推出，傳統(tǒng)的信息采集方法已經(jīng)不能滿足時(shí)代的需求。
經(jīng)過(guò)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，中國(guó)專利文獻(xiàn)號(hào)CN100501746C的專利，公告日期為2009年6月17日，記載了一種“網(wǎng)頁(yè)抓取方法和網(wǎng)頁(yè)抓取服務(wù)器”，該技術(shù)包括首先接收網(wǎng)頁(yè)請(qǐng)求；其次判斷所請(qǐng)求網(wǎng)頁(yè)是否抓取過(guò)；如果沒(méi)抓取過(guò)，則直接抓??；如果抓取過(guò)，則根據(jù)兩次時(shí)間間隔是否達(dá)到一定閾值來(lái)決定是否重新嘗試抓取，達(dá)到了則去抓取 ’最后，根據(jù)網(wǎng)頁(yè)是否更新，決定是否重新抓取。該發(fā)明專利技術(shù)仍然以傳統(tǒng)搜索引擎采集方法為主，主要存在以下
1、浪費(fèi)網(wǎng)絡(luò)資源
傳統(tǒng)的信息采集方法需要重復(fù)試探或重復(fù)采集網(wǎng)絡(luò)上的信息，以判斷網(wǎng)絡(luò)上的信息是否已經(jīng)被更新。盡管現(xiàn)在也有技術(shù)能夠通過(guò)時(shí)間戳來(lái)判斷是否更新，以實(shí)現(xiàn)查新下載， 但大量的網(wǎng)絡(luò)服務(wù)根本不支持這種基于時(shí)間戳判斷的技術(shù)，因此還只能采取復(fù)試探或重復(fù)采集網(wǎng)絡(luò)上的信息，造成了網(wǎng)絡(luò)資源的浪費(fèi)。
2、實(shí)效性差
在面對(duì)數(shù)量龐大的網(wǎng)絡(luò)信息時(shí)，傳統(tǒng)采集技術(shù)只能采用輪詢的方法訪問(wèn)某個(gè)特定采集點(diǎn)，因此，經(jīng)常需要至少1周以上的時(shí)間間隔才能輪詢到某些網(wǎng)站的最新信息，因此時(shí)效性較差。
3、采集信息不全面
由于動(dòng)態(tài)網(wǎng)頁(yè)、用戶登錄等訪問(wèn)權(quán)限限制，傳統(tǒng)的信息采集技術(shù)很難解決信息采集的全面性，因此大量的網(wǎng)絡(luò)信息無(wú)法被采集到。
4、動(dòng)態(tài)數(shù)據(jù)無(wú)法采集
對(duì)于論壇、微博、Twitter等新型網(wǎng)絡(luò)服務(wù)，它們的回復(fù)數(shù)、瀏覽數(shù)等數(shù)據(jù)可能瞬息變化，因此通過(guò)傳統(tǒng)的網(wǎng)絡(luò)采集方法根本不可能采集到這些信息變化過(guò)程。發(fā)明內(nèi)容
為解決現(xiàn)有技術(shù)網(wǎng)絡(luò)信息采集不及時(shí)以及采集不全面的問(wèn)題，本發(fā)明實(shí)施例提供了一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法和裝置。
一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法，包括
數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商數(shù)據(jù)采集協(xié)議；
所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議把所述數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方；
所述數(shù)據(jù)采集方接收所述特定數(shù)據(jù)，并且將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)；
其中所述數(shù)據(jù)采集協(xié)議是指所述數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商制定的數(shù)據(jù)提交規(guī)則，所述數(shù)據(jù)采集方是指采集網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述數(shù)據(jù)被采集方是指提供網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述特定數(shù)據(jù)是指在兩次采集間隔內(nèi)在數(shù)據(jù)被采集方上更新過(guò)的數(shù)據(jù)。
一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集裝置，包括數(shù)據(jù)采集方和數(shù)據(jù)被采集方， 其中
所述數(shù)據(jù)被采集方，用于和所述數(shù)據(jù)采集方協(xié)商數(shù)據(jù)采集協(xié)議，并按照所述數(shù)據(jù)采集協(xié)議把所述數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方；
所述數(shù)據(jù)采集方，用于和所述數(shù)據(jù)被采集方協(xié)商所述數(shù)據(jù)采集協(xié)議，并接收所述數(shù)據(jù)被采集方推送的特定數(shù)據(jù)，并且將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)；
其中所述數(shù)據(jù)采集協(xié)議是指所述數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商制定的數(shù)據(jù)提交規(guī)則，所述數(shù)據(jù)采集方是指采集網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述數(shù)據(jù)被采集方是指提供網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述特定數(shù)據(jù)是指在兩次采集間隔內(nèi)在數(shù)據(jù)被采集方上更新過(guò)的數(shù)據(jù)。
本發(fā)明實(shí)施例所提供的基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法和裝置中，數(shù)據(jù)被采集方可以主動(dòng)將特定數(shù)據(jù)按照協(xié)商的數(shù)據(jù)采集協(xié)議推送給數(shù)據(jù)采集方，實(shí)現(xiàn)一個(gè)基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集新方法，該方法可以實(shí)現(xiàn)在采集網(wǎng)絡(luò)信息時(shí)不浪費(fèi)帶寬資源， 并且信息采集比較全面，及時(shí)，同時(shí)也能采集到特殊數(shù)據(jù)。
應(yīng)用本發(fā)明實(shí)施例所提供網(wǎng)絡(luò)信息的采集方法裝置，數(shù)據(jù)被采集方可以主動(dòng)將特定數(shù)據(jù)按照協(xié)商的數(shù)據(jù)采集協(xié)議推送給數(shù)據(jù)采集方，實(shí)現(xiàn)一個(gè)基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集新方法，該方法和裝置可以保證網(wǎng)絡(luò)信息采集的及時(shí)性和全面性，同時(shí)也能采集到特殊數(shù)據(jù)。


圖1是本發(fā)明實(shí)施例網(wǎng)絡(luò)信息的采集方法的第一流程示意圖2是本發(fā)明實(shí)施例網(wǎng)絡(luò)信息的采集方法的第二流程示意圖3是本發(fā)明實(shí)施例網(wǎng)絡(luò)信息的采集方法中數(shù)據(jù)交互示意圖4是本發(fā)明實(shí)施例網(wǎng)絡(luò)信息的采集裝置的結(jié)構(gòu)圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例所提供的方法和裝置進(jìn)行詳細(xì)的描述。
實(shí)施例一
本發(fā)明實(shí)施例提供了一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法，參照附圖1，包括
S10，數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商數(shù)據(jù)采集協(xié)議，其中
所述的數(shù)據(jù)采集方是指采集網(wǎng)絡(luò)信息數(shù)據(jù)的一方，如系統(tǒng)的信息匯聚中心等；數(shù)據(jù)采集方被動(dòng)地接收被采集方按協(xié)商的協(xié)議提交的數(shù)據(jù)信息，并存儲(chǔ)到相應(yīng)的存儲(chǔ)介質(zhì)中，如信息存儲(chǔ)器等設(shè)備中。
所述的數(shù)據(jù)被采集方是指提供網(wǎng)絡(luò)信息數(shù)據(jù)的一方，主要包括門(mén)戶網(wǎng)站、論壇、博客、社交網(wǎng)絡(luò)、微博、交友網(wǎng)站等各類提供互聯(lián)網(wǎng)信息發(fā)布服務(wù)的實(shí)體，數(shù)據(jù)被采集方按照協(xié)商的數(shù)據(jù)采集協(xié)議，主動(dòng)推送并更新到數(shù)據(jù)采集方。
所述的數(shù)據(jù)采集協(xié)議，即數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商制定的數(shù)據(jù)提交規(guī)則， 其中數(shù)據(jù)被采集方按這些規(guī)則把數(shù)據(jù)以結(jié)構(gòu)化的形式提交到數(shù)據(jù)采集方。其中，數(shù)據(jù)采集協(xié)議的具體規(guī)則包括采集方標(biāo)示、推送頻率、采集頻道、主帖數(shù)據(jù)(例如，信息標(biāo)示、標(biāo)題、 主體內(nèi)容、發(fā)布者、發(fā)布時(shí)間、回復(fù)數(shù)、瀏覽數(shù)等)、評(píng)論數(shù)據(jù)(例如，評(píng)論內(nèi)容、評(píng)論者、樓層關(guān)系、評(píng)論時(shí)間、評(píng)論屬性)、同步時(shí)序等。
S20，數(shù)據(jù)被采集方把數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到數(shù)據(jù)采集方，
具體的，數(shù)據(jù)被采集方通過(guò)同步引擎，將所述特定數(shù)據(jù)主動(dòng)推送到數(shù)據(jù)采集方。
所述的同步引擎，其功能是能夠獲得數(shù)據(jù)被采集端的特定數(shù)據(jù)，并按雙方協(xié)商的數(shù)據(jù)采集協(xié)議，把這些數(shù)據(jù)信息主動(dòng)推送到數(shù)據(jù)采集方，具體的，該同步引擎可以是一個(gè)硬件或者軟件或者二者的結(jié)合。
所述的特定數(shù)據(jù)，具體指在兩次采集間隔內(nèi)，數(shù)據(jù)被采集方上更新過(guò)的數(shù)據(jù)，如最新發(fā)布的數(shù)據(jù)、帖子瀏覽數(shù)、帖子回復(fù)數(shù)等規(guī)定的數(shù)據(jù)信息。
需要說(shuō)明的是在本發(fā)明實(shí)施例以及后續(xù)的實(shí)施例中，主動(dòng)推送是指在滿足數(shù)據(jù)采集協(xié)議所設(shè)定的規(guī)則時(shí)，數(shù)據(jù)被采集方主動(dòng)將特定數(shù)據(jù)發(fā)送給數(shù)據(jù)采集方。
S30,數(shù)據(jù)采集方接收數(shù)據(jù)被采集方發(fā)送的特定數(shù)據(jù)，并將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)，包括
數(shù)據(jù)采集方的信息匯集服務(wù)接收同步引擎推送的數(shù)據(jù)，并且通過(guò)存儲(chǔ)引擎把采集到的數(shù)據(jù)進(jìn)行存儲(chǔ)；其中
數(shù)據(jù)采集方可以將接收到的數(shù)據(jù)存儲(chǔ)在大容量存儲(chǔ)介質(zhì)中。
所述的信息匯集服務(wù)，其功能是并行地接收同步引擎主動(dòng)推送的數(shù)據(jù)。在外圍設(shè)備配合下，可以實(shí)現(xiàn)負(fù)載均衡、容量擴(kuò)展等，可以是一個(gè)硬件或軟件或二者的結(jié)合。
所述的存儲(chǔ)引擎，其功能是把采集的數(shù)據(jù)按類別結(jié)構(gòu)化地存儲(chǔ)在采集方的大容量存儲(chǔ)介質(zhì)上?？梢允且粋€(gè)裝置或軟件或二者的結(jié)合。
所述的大容量存儲(chǔ)介質(zhì)，具體為，能夠大量存儲(chǔ)數(shù)據(jù)信息的存儲(chǔ)設(shè)備。
本發(fā)明實(shí)施例所提供的基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法中，數(shù)據(jù)被采集方可以主動(dòng)將特定數(shù)據(jù)按照協(xié)商的數(shù)據(jù)采集協(xié)議發(fā)送給數(shù)據(jù)采集方，實(shí)現(xiàn)一個(gè)基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集新方法，該方法可以實(shí)現(xiàn)在采集網(wǎng)絡(luò)信息時(shí)不浪費(fèi)帶寬資源，并且信息采集比較全面，及時(shí)，同時(shí)也能采集到特殊數(shù)據(jù)。
實(shí)施例二
本發(fā)明實(shí)施例提供了一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法，其中被采集方以典型的論壇為例，具體實(shí)施例包括以下步驟
101、數(shù)據(jù)被采集方和數(shù)據(jù)采集方制定數(shù)據(jù)采集協(xié)議，如圖2所示，其中，數(shù)據(jù)被采集方為論壇，數(shù)據(jù)匯集中心即為數(shù)據(jù)采集方。在本發(fā)明實(shí)施例中，針對(duì)典型論壇的信息發(fā)布特征，論壇和數(shù)據(jù)匯集中心協(xié)商形成具體數(shù)據(jù)采集協(xié)議為
論壇的標(biāo)示、論壇主動(dòng)推送數(shù)據(jù)的頻率、采集論壇的板塊、論壇的主帖數(shù)據(jù)(例如，主帖的標(biāo)示、主帖標(biāo)題、主帖的內(nèi)容、主帖的發(fā)布者、發(fā)布時(shí)間、回復(fù)數(shù)、瀏覽數(shù)等)、針對(duì)該主帖的評(píng)論或回復(fù)數(shù)據(jù)(例如，對(duì)該帖子的評(píng)論內(nèi)容、評(píng)論者、樓層關(guān)系、評(píng)論時(shí)間、評(píng)論屬性等)、同步的時(shí)間戳等協(xié)商指定其他的數(shù)據(jù)采集協(xié)議。
103，通過(guò)同步引擎把論壇的特定數(shù)據(jù)主動(dòng)推送到數(shù)據(jù)采集方，參見(jiàn)附圖3，該過(guò)程具體包括
(1)論壇主動(dòng)查詢數(shù)據(jù)
論壇提交論壇標(biāo)示(論壇統(tǒng)一資源定位符(URL)地址)到信息匯集服務(wù)，主動(dòng)查詢配置數(shù)據(jù)。具體的配置數(shù)據(jù)包括推送頻率、采集板塊列表，具體為，
REQ(Request,請(qǐng)求)(URL)
ACK(回應(yīng))(5M;國(guó)際觀察，休閑娛樂(lè)，…，股票市場(chǎng))
(2)新創(chuàng)建主帖的提交
論壇每5分鐘檢查采集板塊中有沒(méi)有出現(xiàn)新的主帖，如果出現(xiàn)新的主帖，則把新主帖的相關(guān)信息主動(dòng)推送到采集方。推送的主帖數(shù)據(jù)包括主帖的標(biāo)示、主帖標(biāo)題、主帖的內(nèi)容、主帖的發(fā)布者、發(fā)布時(shí)間、同步時(shí)間戳等，具體為，
REQ(Request，請(qǐng)求)(主帖URL ；祝祖國(guó)生日快樂(lè)；國(guó)慶節(jié)馬上到了，預(yù)祝祖國(guó)繁榮昌盛…；samOOl ；20110929 ；20110929080500)
ACK (回應(yīng))OK
(3)評(píng)論或回復(fù)帖子的提交
主帖的內(nèi)容基本不會(huì)變化，但時(shí)刻都有可能產(chǎn)生對(duì)主帖的新評(píng)論和回復(fù)數(shù)據(jù)。對(duì)于一個(gè)熱門(mén)主帖，針對(duì)其評(píng)論或回復(fù)時(shí)刻都會(huì)發(fā)生。被采集方也會(huì)每5分鐘查看是否有新的回復(fù)數(shù)據(jù)出現(xiàn)或者新的瀏覽行為出現(xiàn)，如果有則按主帖標(biāo)示歸類，并推送到采集方。推送的數(shù)據(jù)包括主帖標(biāo)示、回復(fù)數(shù)、瀏覽數(shù)、評(píng)論記錄(評(píng)論內(nèi)容、評(píng)論者、評(píng)論時(shí)間、樓層、回復(fù)樓層、評(píng)論屬性)、同步時(shí)間戳等。
REQ(Request，請(qǐng)求)(主帖 URL ； 1024 ;3231 ；(同祝、user01、x、0、20110929、+l ； 路過(guò)、user02、x+l、0、20110929、0) ；20110929080500)
ACK (回應(yīng))OK
105、數(shù)據(jù)采集方的信息匯集服務(wù)接收同步引擎推送的數(shù)據(jù)，以結(jié)構(gòu)化的形式存儲(chǔ)在大容量存儲(chǔ)介質(zhì)。
針對(duì)本實(shí)施例，采集方會(huì)把論壇推送過(guò)來(lái)的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化存儲(chǔ)，為后期的挖掘、 檢索、分析等提供數(shù)據(jù)支持。針對(duì)論壇，需要存儲(chǔ)3個(gè)數(shù)據(jù)表主帖、回復(fù)(評(píng)論)、動(dòng)態(tài)數(shù)據(jù)等。
其中主貼存儲(chǔ)如表1所示，回復(fù)(含評(píng)論)存儲(chǔ)如表2所示，動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)如表3 所示，
表 權(quán)利要求
1.一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法方法，其特征在于，包括數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商數(shù)據(jù)采集協(xié)議；所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議把所述數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方；所述數(shù)據(jù)采集方接收所述特定數(shù)據(jù)，并且將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)；其中所述數(shù)據(jù)采集協(xié)議是指所述數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商制定的數(shù)據(jù)提交規(guī)則，所述數(shù)據(jù)采集方是指采集網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述數(shù)據(jù)被采集方是指提供網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述特定數(shù)據(jù)是指在兩次采集間隔內(nèi)在數(shù)據(jù)被采集方上更新過(guò)的數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議把所述數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方，包括通過(guò)同步引擎，所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議把所述特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方，其中所述同步引擎能夠獲得數(shù)據(jù)被采集方的特定數(shù)據(jù)，并按雙方協(xié)商的數(shù)據(jù)采集協(xié)議，將所述特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方。
3.如權(quán)利要求2所述的方法，其特征在于，所述數(shù)據(jù)采集方接收所述特定數(shù)據(jù)，并且所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)，包括數(shù)據(jù)采集方的信息匯集服務(wù)接收同步引擎發(fā)送的所述特定數(shù)據(jù)，并且通過(guò)存儲(chǔ)引擎將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)，其中，所述信息匯集服務(wù)接收所述同步引擎發(fā)送所述的特定數(shù)據(jù)， 所述存儲(chǔ)引擎將所述特定數(shù)據(jù)按類別結(jié)構(gòu)化地進(jìn)行存儲(chǔ)。
4.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議把所述數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方，包括所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議，將所述數(shù)據(jù)被采集方的特定數(shù)據(jù)以結(jié)構(gòu)化的形式主動(dòng)推送到所述數(shù)據(jù)采集方。
5.如權(quán)利要求1至4任一所述的方法，其特征在于，所述數(shù)據(jù)采集協(xié)議的具體規(guī)則包括數(shù)據(jù)采集方標(biāo)示、推送頻率、采集頻道、主帖數(shù)據(jù)、評(píng)論數(shù)據(jù)、同步時(shí)序中的至少一個(gè)。
6.一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集裝置裝置，其特征在于，包括數(shù)據(jù)采集方和數(shù)據(jù)被采集方，其中所述數(shù)據(jù)被采集方，用于和所述數(shù)據(jù)采集方協(xié)商數(shù)據(jù)采集協(xié)議，并按照所述數(shù)據(jù)采集協(xié)議把所述數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方；所述數(shù)據(jù)采集方，用于和所述數(shù)據(jù)被采集方協(xié)商所述數(shù)據(jù)采集協(xié)議，并接收所述數(shù)據(jù)被采集方發(fā)送的特定數(shù)據(jù)，并且將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)；其中所述數(shù)據(jù)采集協(xié)議是指所述數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商制定的數(shù)據(jù)提交規(guī)則，所述數(shù)據(jù)采集方是指采集網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述數(shù)據(jù)被采集方是指提供網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述特定數(shù)據(jù)是指在兩次采集間隔內(nèi)在數(shù)據(jù)被采集方上更新過(guò)的數(shù)據(jù)。
7.如權(quán)利要求6所述的裝置，其特征在于，還包括同步引擎，用于獲得數(shù)據(jù)被采集方的特定數(shù)據(jù)，并按雙方協(xié)商的數(shù)據(jù)采集協(xié)議，將所述特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方。
8.如權(quán)利要求7所述的裝置，其特征在于，還包括信息匯集服務(wù)和存儲(chǔ)引擎，其中所述信息匯集服務(wù)，用于接收所述同步引擎發(fā)送的所述特定數(shù)據(jù)，并且通過(guò)所述存儲(chǔ)引擎將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)；所述存儲(chǔ)引擎，用于將接收到的特定數(shù)據(jù)按類別結(jié)構(gòu)化地進(jìn)行存儲(chǔ)。
9.如權(quán)利要求7所述的裝置，其特征在于，所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議，將所述數(shù)據(jù)被采集方的特定數(shù)據(jù)以結(jié)構(gòu)化的形式主動(dòng)推送到所述數(shù)據(jù)采集方。
10.如權(quán)利要求6至9任一所述的裝置，其特征在于，所述數(shù)據(jù)采集協(xié)議的具體規(guī)則包括數(shù)據(jù)采集方標(biāo)示、推送頻率、采集頻道、主帖數(shù)據(jù)、評(píng)論數(shù)據(jù)、同步時(shí)序中的至少一個(gè)。
全文摘要
本發(fā)明實(shí)施例提供了一種基于主動(dòng)推技術(shù)的互聯(lián)網(wǎng)信息采集方法和裝置，其中該方法包括數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商數(shù)據(jù)采集協(xié)議；所述數(shù)據(jù)被采集方按照所述數(shù)據(jù)采集協(xié)議把所述數(shù)據(jù)被采集方的特定數(shù)據(jù)主動(dòng)推送到所述數(shù)據(jù)采集方；所述數(shù)據(jù)采集方接收所述特定數(shù)據(jù)，并且將所述特定數(shù)據(jù)進(jìn)行存儲(chǔ)；其中所述數(shù)據(jù)采集協(xié)議是指所述數(shù)據(jù)采集方和數(shù)據(jù)被采集方協(xié)商制定的數(shù)據(jù)提交規(guī)則，所述數(shù)據(jù)采集方是指采集網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述數(shù)據(jù)被采集方是指提供網(wǎng)絡(luò)信息數(shù)據(jù)的一方，所述特定數(shù)據(jù)是指在兩次采集間隔內(nèi)在數(shù)據(jù)被采集方上更新過(guò)的數(shù)據(jù)。本發(fā)明實(shí)施例所提供的方法和裝置可以實(shí)現(xiàn)網(wǎng)絡(luò)信息采集的及時(shí)性和全面性，能為搜索引擎、網(wǎng)絡(luò)信息分析應(yīng)用提供新型的采集技術(shù)。
文檔編號(hào)G06F17/30GK102521379SQ20111042875
公開(kāi)日2012年6月27日 申請(qǐng)日期2011年12月19日 優(yōu)先權(quán)日2011年12月19日
發(fā)明者劉功申, 李建華, 李生紅, 王士林, 胡佩華, 許陽(yáng) 申請(qǐng)人:上海交通大學(xué)