專利名稱：一種文章采集的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種針對各式各樣的網(wǎng)站文章進行自動采集的方法。
背景技術(shù)：
文章采集是根據(jù)用戶定義的關(guān)鍵詞字，從各式各樣的網(wǎng)站上檢索出相關(guān)的數(shù)據(jù)， 并對數(shù)據(jù)進行合理的截取、分類、去重和過濾，然后以文件或數(shù)據(jù)庫的方式保存下來。文章采集應(yīng)用的關(guān)鍵在于如何從眾多的網(wǎng)站獲取所需要的準確內(nèi)容到預(yù)期的中 心資源庫中，然后進行快速的利用。文章采集的核心技術(shù)是模式定義和模式匹配。模式屬 于人工智能的術(shù)語，是對前人積累的經(jīng)驗的抽象和升華。簡單地說，就是從不斷重復(fù)出現(xiàn)的 事件中發(fā)現(xiàn)和抽象出的規(guī)律，是解決問題的經(jīng)驗的總結(jié)。只要是一再重復(fù)出現(xiàn)的事物，就可 能存在某種模式。文章采集的模式大多不是程序自動發(fā)現(xiàn)的，目前幾乎所有的文章采集產(chǎn) 品都需要通過人工來定義。但模式本身是個很復(fù)雜、很抽象的內(nèi)容，所以所有的開發(fā)者精力 都花在怎樣讓模式定義更簡單、更準確上，這也是文章采集技術(shù)競爭力的衡量標準。目前大 多采用正則表達式定義和文檔結(jié)構(gòu)定義。傳統(tǒng)的文章采集存在幾個方面的問題1、采集的是整篇文章，需要手工進行頁面 處理才能被利用；2、不能分欄目采集；3、只支持單一站點的采集；4、采集的文章不能自動 套用自己網(wǎng)站的格式進行發(fā)布，需要進行手工處理。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種文章采集的方法，支持網(wǎng)站群的多站點采集，可針對 文章進行分段采集和分欄目采集，采集的文章能自動套用自己網(wǎng)站的格式進行發(fā)布，不需 要進行手工處理。一種文章采集的方法，具體包括如下步驟先選定采集來源，采用正則表達式制定 采集規(guī)則，使用關(guān)鍵信息處理方式確定采集內(nèi)容的范圍，將采集的內(nèi)容和目標站點的欄目 進行綁定；開始采集文章時，先搜索采集來源，采用多線程技術(shù)，進行網(wǎng)站群的多站點采集； 根據(jù)設(shè)定的采集規(guī)則，把采集到的內(nèi)容存放在各自對應(yīng)的欄目下；若需要自動發(fā)布，則調(diào)用 文章合并模板進行發(fā)布。所述的采用正則表達式制定采集規(guī)則，是指輸入需要采集的靜態(tài)頁面地址，確定 地址中到第N個“/”為需要被采集的靜態(tài)文件內(nèi)容的地址，并將其自動轉(zhuǎn)換成正則表達式 規(guī)則。所述的關(guān)鍵信息處理方式，指確定需要采集內(nèi)容的文章標題或者關(guān)鍵信息的字符 串位置。本發(fā)明采用正則表達式定義的方式，根據(jù)用戶自定義的任務(wù)配置，批量而精確地 抽取目標網(wǎng)絡(luò)媒體欄目中的新聞或文章，轉(zhuǎn)化為結(jié)構(gòu)化的記錄(標題，作者，內(nèi)容，采集時 間，來源，分類，相關(guān)圖片等)，保存在本地數(shù)據(jù)庫中，用于內(nèi)部使用或外網(wǎng)發(fā)布，快速實現(xiàn)外 部信息的獲取，對各類網(wǎng)站新聞的采集具有較快的速度和較高的準確率。本發(fā)明可在自動、手動兩種模式下運行，自動由系統(tǒng)定期到指定的站點更新最新的信息，手動提供了及時觸 發(fā)的機制；支持不同的信息采集使用不同的模式。本發(fā)明對傳統(tǒng)的文章采集技術(shù)進行改進，真正滿足了用戶的應(yīng)用需求1、可以針 對文章進行分段采集，只獲取所需要的內(nèi)容；2、每個欄目都可以定制相應(yīng)的采集任務(wù)，文章 采集后自動存放在對應(yīng)欄目下；3、采用多線程技術(shù)，支持網(wǎng)站群的多站點采集；4、結(jié)合模 板弓I擎技術(shù)，文章采集后可以自動套用網(wǎng)站模板進行自動發(fā)布。


圖1為本發(fā)明的邏輯流程圖。
圖2為本發(fā)明實施例中采集內(nèi)容的字符串位置示意圖。以下結(jié)合附圖和具體實施例對本發(fā)明作進一步詳述。
具體實施例方式如圖1所示，本發(fā)明一種文章采集的方法，具體包括如下先選定采集來源，采用正則表達式制定采集規(guī)則，使用關(guān)鍵信息處理方式確定采 集內(nèi)容的范圍，將采集的內(nèi)容和目標站點的欄目進行綁定。所述的采用正則表達式制定采集規(guī)則指輸入需要采集的靜態(tài)頁面地址，該路徑 指向待采集頁面的某個欄目中的其中一篇文章，確定第N個“/”開始下的內(nèi)容，自動轉(zhuǎn)換成 正則表達式規(guī)則，符合表達式規(guī)則的靜態(tài)文件內(nèi)容將被采集。所述的關(guān)鍵信息處理方式指確定需要采集內(nèi)容的文章標題或者關(guān)鍵信息的字符 串位置(如圖2舉例所示)。由于每個網(wǎng)站內(nèi)容展示位置不一樣，在配置采集時需先找到所 要采集內(nèi)容的字符串位置，才能準確地采集到數(shù)據(jù)。所述的將采集的內(nèi)容和目標站點的欄目進行綁定就是用戶在采集配置中，用戶 需選擇所屬欄目，或在創(chuàng)建欄目時，用戶可選擇指定的文章模板，開始采集時，通過欄目找 到指定的文章模板，在發(fā)布時合并生成靜態(tài)頁面。開始采集文章時，先搜索采集來源，采用多線程技術(shù)，進行網(wǎng)站群的多站點采集； 根據(jù)設(shè)定的采集規(guī)則，把采集到的內(nèi)容存放在各自對應(yīng)的欄目下；若需要自動發(fā)布，則調(diào)用 文章合并模板進行發(fā)布。所述的文章合并模板指將動態(tài)的文章數(shù)據(jù)通過調(diào)用模板引擎生成靜態(tài)的HTML 頁面。以上所述，僅是本發(fā)明較佳實施例而已，并非對本發(fā)明的技術(shù)范圍作任何限制，故 凡是依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何細微修改、等同變化與修飾，均仍屬 于本發(fā)明技術(shù)方案的范圍內(nèi)。
權(quán)利要求
1.一種文章采集的方法，其特征在于包括如下步驟先選定采集來源，采用正則表達 式制定采集規(guī)則，使用關(guān)鍵信息處理方式確定采集內(nèi)容的范圍，將采集的內(nèi)容和目標站點 的欄目進行綁定；開始采集文章時，先搜索采集來源，采用多線程技術(shù)，進行網(wǎng)站群的多站 點采集；根據(jù)設(shè)定的采集規(guī)則，把采集到的內(nèi)容存放在各自對應(yīng)的欄目下；若需要自動發(fā) 布，則調(diào)用文章合并模板進行發(fā)布。
2.根據(jù)權(quán)利要求1所述的一種文章采集的方法，其特征在于所述的采用正則表達式 制定采集規(guī)則，是指輸入需要采集的靜態(tài)頁面地址，確定地址中到第N個“/”為需要被采集 的靜態(tài)文件內(nèi)容的地址，并將其自動轉(zhuǎn)換成正則表達式規(guī)則。
3.根據(jù)權(quán)利要求1所述的一種文章采集的方法，其特征在于所述的關(guān)鍵信息處理方 式，指確定需要采集內(nèi)容的文章標題或者關(guān)鍵信息的字符串位置。
全文摘要
一種文章采集的方法，先選定采集來源，采用正則表達式制定采集規(guī)則，使用關(guān)鍵信息處理方式確定采集內(nèi)容的范圍，將采集的內(nèi)容和目標站點的欄目進行綁定；開始采集文章時，先搜索采集來源，采用多線程技術(shù)，進行網(wǎng)站群的多站點采集；根據(jù)設(shè)定的采集規(guī)則，把采集到的內(nèi)容存放在各自對應(yīng)的欄目下；若需要自動發(fā)布，則調(diào)用文章合并模板進行發(fā)布；本發(fā)明根據(jù)用戶自定義的任務(wù)配置，批量而精確地抽取目標網(wǎng)絡(luò)媒體欄目中的新聞或文章，轉(zhuǎn)化為結(jié)構(gòu)化的記錄保存或用于內(nèi)部使用或外網(wǎng)發(fā)布，能快速實現(xiàn)外部信息的獲取，對各類網(wǎng)站新聞的采集具有較快的速度和較高的準確率。
文檔編號G06F17/30GK102096705SQ20101061842
公開日2011年6月15日 申請日期2010年12月31日 優(yōu)先權(quán)日2010年12月31日
發(fā)明者曾文語, 林雅珊 申請人:南威軟件股份有限公司