專利名稱:征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方法。
背景技術(shù):
銀行在發(fā)行信用卡的過程,必須對客戶的各種信息(包括身份信息、存款貸款、 房產(chǎn)、保險信息等)進(jìn)行核查,即征信協(xié)查,而現(xiàn)有的征信協(xié)查采用人工辦理,由于缺乏科 技手段的支持,審批過程中業(yè)務(wù)人員需要人工查詢預(yù)審批客戶的人行征信記錄、公積金、存 款、貸款、理財產(chǎn)品、代發(fā)工資等多個系統(tǒng)的數(shù)據(jù)信息,效率低,差錯高。業(yè)務(wù)人員在審批信用卡過程中需要的信息需要從眾多的外聯(lián)系統(tǒng)中獲得,訪問的 方式也不盡相同,如人行征信,通過訪問人行相關(guān)系統(tǒng)網(wǎng)站,使用用戶登錄后,輸入相關(guān)信 息后查詢?nèi)〉茫蝗绻e金,通過批量上傳文件,由公積金系統(tǒng)批量返回結(jié)果;如行內(nèi)的一些 帳務(wù)查詢,通過行內(nèi)系統(tǒng)相關(guān)接口實現(xiàn)。目前分行主要征信涉及的業(yè)務(wù)范圍有公安戶籍信息查詢、人行信用記錄查詢、汽車網(wǎng)查詢、企業(yè)網(wǎng)查詢、公積金信息查 詢、聯(lián)名卡查詢、電信黃頁、客戶手機信息查詢、房產(chǎn)證信息查詢、系統(tǒng)內(nèi)征信(存款、代發(fā) 工資、基金、房貸,消費貸款,汽車貸款…)數(shù)據(jù)查詢等等。因此,當(dāng)前審查方法存在以下問題征信協(xié)查主要是通過手工方式操作,比如操作人員分別登錄到一些相關(guān)的外聯(lián) 系統(tǒng),輸入客戶提供的協(xié)查信息,外聯(lián)系統(tǒng)單筆或批量返回協(xié)查結(jié)果,作業(yè)人員通過打印征 信結(jié)果或在申請表標(biāo)注的方式,為審批人員提供征信依據(jù)。各外聯(lián)系統(tǒng)分散分布在不同的地點,提供不同方式的查詢,所需提交的查詢條件 不同;各外聯(lián)系統(tǒng)查詢結(jié)果數(shù)據(jù)格式不一致,無用信息較多,無法提供綜合集成的結(jié)果, 審批人員很難利用;各外聯(lián)系統(tǒng)管理繁瑣,需記錄多個系統(tǒng)的登錄用戶名及密碼,占用大量的登錄和 切換時間,增加操作人員的工作量;外聯(lián)系統(tǒng)類別繁多,手工登錄頁面查詢工作統(tǒng)計工作量大,效率低,需要手工記錄 大量的信息,或者打印資料多,難于保管,浪費嚴(yán)重,且容易出差錯。
發(fā)明內(nèi)容
本發(fā)明的目的是提出一種征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方 法,該方法能方便地從外聯(lián)系統(tǒng)獲取待審批客戶的征信數(shù)據(jù),顯著提高信用卡征信協(xié)查的 效率。本發(fā)明的技術(shù)解決方案如下一種征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方法,其特征在于,從外 聯(lián)系統(tǒng)獲取待審批客戶的征信數(shù)據(jù),該征信數(shù)據(jù)用于信用卡審查人員查閱;步驟如下
步驟A 對目標(biāo)資源站點的分析模擬對目標(biāo)資源站點的頁面結(jié)構(gòu)進(jìn)行分析,獲取 其請求參數(shù)用來模擬HTTP請求針對目標(biāo)資源站點的頁面來構(gòu)造HTTP請求的請求行、請求 頭部域和請求實體,并發(fā)出該HTTP請求;步驟B 網(wǎng)頁抓取獲取所需要查詢的從目標(biāo)資源站點返回的結(jié)果頁面,并將該結(jié) 果頁面存儲在本地計算機;步驟C 信息抽取從結(jié)果頁面中抽取出所需信息;步驟D 數(shù)據(jù)入庫將抽取的所需信息記錄存放在信用卡征信協(xié)查單元中的信息 記錄數(shù)據(jù)庫中。所述的外聯(lián)系統(tǒng)包括公安部居民身份信息系統(tǒng)、人行征信系統(tǒng)、房產(chǎn)信息系統(tǒng)、 公積金信息系統(tǒng)。步驟A中,HTTP請求采用HttpClient來完成,步驟如下(1)創(chuàng)建 HttpClient 的一個實例;(2)創(chuàng)建某個方法的一個實例,一般用目標(biāo)URL為參數(shù);所述的某個方法為 GetMethod 或 PostMethod 方法;(3)讓 HttpClient 執(zhí)行該方法;(4)讀取應(yīng)答信息;(5)釋放連接;(6)處理應(yīng)答;在上述步驟中,通過HttpWatch獲取所需參數(shù),對其中動態(tài)變化的參數(shù)實時動態(tài) 提?。涣硗膺M(jìn)行模擬用戶登錄訪問,以獲得用戶所需要查詢的結(jié)果頁面。步驟C中,采用基于特征模式匹配的NoDOSE抽取方法實現(xiàn)信息抽取。HttpClient是ApacheJakarta Common下的子項目,為現(xiàn)有技術(shù),用來提供高效 的、最新的、功能豐富的支持HTTP協(xié)議的客戶端編程工具包,并且它支持HTTP協(xié)議最新的 版本和建議。HttpClient提供的主要的功能實現(xiàn)了所有HTTP 的方法(GET,POST, PUT, HEAD 等);支持自動轉(zhuǎn)向;支持HTTPS協(xié)議;支持代理服務(wù)器等。本發(fā)明所具有的有益效果有采用本發(fā)明的征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方法,能為銀行 信用卡業(yè)務(wù)提供了一個規(guī)范的、統(tǒng)一的、靈活支持多外聯(lián)系統(tǒng)的信用協(xié)查平臺,以降低成 本、提高查詢效率,也在信用卡風(fēng)險防患方面提供了新的有效手段,安全性更高。主要表現(xiàn) 在以下幾個方面1、促進(jìn)信用卡業(yè)務(wù)快速發(fā)展,迅速占領(lǐng)市場,應(yīng)用效果良好系統(tǒng)未上線之前,所統(tǒng)計,湖南建行2009年3月底,僅發(fā)卡4. 74萬張,只完成全 年任務(wù)的12. 03%,系統(tǒng)上線之后,到2009年12月底,信用卡業(yè)務(wù)實現(xiàn)又好又快發(fā)展,各主 要業(yè)務(wù)指標(biāo)超額完成計劃,系統(tǒng)內(nèi)排名前列,同業(yè)排名第一。信用卡客戶年內(nèi)凈新增35萬 戶,全國38家分行系統(tǒng)內(nèi)排名第5位;凈新增發(fā)卡30萬張,系統(tǒng)內(nèi)排名第6位,累計發(fā)卡量 93. 7萬張;高端、重點產(chǎn)品營銷成效明顯,折算客戶數(shù)達(dá)到9. 4萬戶,系統(tǒng)內(nèi)排名4位。與此同時,分行信用卡資產(chǎn)質(zhì)量保持良好,逾期60天以上貸款不良率從年初的3.下降到 2. 21%,資產(chǎn)質(zhì)量優(yōu)于湖南同業(yè)。到2010年2月11日,信用卡累計發(fā)卡量突破100萬張, 是重點分行中第一個跨越“百萬”的分行;信用卡年凈新增客戶、新增發(fā)卡在全行38家分行 系統(tǒng)內(nèi)名列第一。取得的商業(yè)成功也充分說明了本發(fā)明的創(chuàng)造性。2、資源整合該征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方法投入使用后,有效地整 合了行外客戶信息,包括公安戶籍信息、人行信用記錄、汽車網(wǎng)資訊、企業(yè)網(wǎng)信息、公積金信 息、聯(lián)名卡查詢、電信黃頁、客戶手機信息查詢、房產(chǎn)證信息查詢、系統(tǒng)內(nèi)征信(存款、代發(fā) 工資、基金、房貸,消費貸款,汽車貸款…)等幾十個行內(nèi)外系統(tǒng)的數(shù)據(jù)查詢,形成一套完整 的客戶信息數(shù)據(jù),進(jìn)行匯總和組合在審批人員面前展示,大大提高審批發(fā)卡速度和準(zhǔn)確性。3、減輕了征信人員的勞動強度協(xié)查系統(tǒng)上線之前,征信人員對于每份申請件的處理,會根據(jù)申請人提供的不同 資信證明,核查申請人的填表信息是否準(zhǔn)確。如,他行卡信息是否相符、單位電話是否與114 登記相符、房產(chǎn)證信息的核查、在本行的存貸款信息情況等。這些信息的核查需要在不同的 網(wǎng)站和行內(nèi)系統(tǒng)中查詢,造成作業(yè)時間的延長。征信協(xié)查系統(tǒng)上線后,可以在同一界面中, 查看客戶的基本信息、公積金信息(包括行外信息)、已有信用卡信息(包括額度)、貸款信 息、理財信息、單位電話查詢、公安信息查詢和關(guān)注信息,并查詢房產(chǎn)證信息。不再需要征信 人員打開不同的窗口、進(jìn)入不同的頁面核查。4、提高了征信人員的工作效率在以往的工作環(huán)節(jié)征信人員處理進(jìn)件時,查詢客戶人行信息就進(jìn)入征信中心、查 詢客戶公積金信息就進(jìn)入各地市公積金網(wǎng)站、查詢客戶在我行的存款信息就進(jìn)入統(tǒng)一門戶 系統(tǒng)管理、如遇到客戶提供的財力證明是代工存折和公積金或醫(yī)???,還需要在DCC系統(tǒng) 中查詢。一天的審表過程,需要征信人員在不同的系統(tǒng)和頁面中多次登錄和查詢,耗費不少 的工作時間,工作量難以提升。征信協(xié)查系統(tǒng)上線后,將以上提到的經(jīng)常使用的查詢項目歸 集到了同一的頁面,大大緩解了征信人員的工作壓力,進(jìn)而提高了工作效率。工作量也由之 前的日均不超過200件,提到了日均600件。
圖1為信用卡征信協(xié)查單元與外聯(lián)系統(tǒng)相連的結(jié)構(gòu)框圖。
具體實施例方式以下將結(jié)合圖和具體實施過程對本發(fā)明做進(jìn)一步詳細(xì)說明。實施例1 如圖1所示,征信協(xié)查系統(tǒng)(CCAIS)從外聯(lián)系統(tǒng)獲取數(shù)據(jù)(人行征信系統(tǒng)、房產(chǎn)系 統(tǒng)、電信黃頁(如從電信、聯(lián)通、移動等系統(tǒng)提取客戶資料數(shù)據(jù))等)。信用卡征信協(xié)查系統(tǒng)CCAIS與外部系統(tǒng)聯(lián)結(jié),具體是采用互聯(lián)網(wǎng),用模擬瀏覽器 方式,基于動態(tài)異構(gòu)的Web信息集成網(wǎng)頁分析方法,實現(xiàn)了自動提交HTML表單獲得所需頁 面和對頁面的信息抽取,并可將頁面抓取保存到本地數(shù)據(jù)庫中。具體流程
信用卡征信協(xié)查系統(tǒng)CCAIS_(互聯(lián)網(wǎng))_>公安部居民身份信息系統(tǒng)、人行征信系 統(tǒng)、房產(chǎn)信息系統(tǒng)、公積金信息系統(tǒng)等WEB網(wǎng)站。信息采集流程由于一些網(wǎng)站提供的頁面往往不是可以通過一個簡單的URL就可 以訪問的,而必須經(jīng)過注冊并登錄后方可使用提供服務(wù)的頁面。各個網(wǎng)站的信息表示具有 很大的異構(gòu)性,不同的資源對于登錄有不同的限制。由于與Web交互的細(xì)節(jié)需要人們自己 來實現(xiàn),這就需要人們對訪問Web資源的細(xì)節(jié)進(jìn)行模擬和描述,分析其網(wǎng)頁表單,得到所需 結(jié)果頁面;然后通過分析頁面結(jié)構(gòu)和內(nèi)容,采用相應(yīng)的抽取算法,模擬用戶點擊行為找到結(jié) 果頁面,將信息抽取出來存入相應(yīng)的數(shù)據(jù)庫中,實現(xiàn)自動提交HTML表單獲得所需頁面和對 頁面的信息抽取,最后以系統(tǒng)已經(jīng)定制的形式顯示在屏幕上或打印出來,也可以將抓取的 WEB網(wǎng)頁保存到本地數(shù)據(jù)庫,操作員可以將原來的頁面很快調(diào)出來。網(wǎng)頁源數(shù)據(jù)站點分析與提取技術(shù)是實現(xiàn)和Web資源自動交互的基礎(chǔ),也是對所需 網(wǎng)頁提取數(shù)據(jù)的基礎(chǔ)。一方面,與Web資源的交互過程中,有些參數(shù)和數(shù)據(jù)是通過網(wǎng)頁分析 與提取獲得的;另一方面,得到的所需網(wǎng)頁是通過網(wǎng)頁分析和提取獲得的。查詢公安部居民身份信息的具體過程1、源數(shù)據(jù)站點分析模擬主要對資源站點的頁面結(jié)構(gòu)進(jìn)行分析,通過分析獲取其請求參數(shù)用來模擬HTTP 請求。其分析結(jié)果包括如何得到查詢結(jié)果頁面及其規(guī)律等。其原理與實現(xiàn)如下用戶通過瀏覽器來訪問Web資源時,瀏覽器為用戶隱藏了與Web資源交互的具體 細(xì)節(jié),用戶看到的只是結(jié)果。對于需要查詢的信息,一般通過Web瀏覽器登錄到一個Web服 務(wù)器,輸入查詢條件,提交查詢請求,服務(wù)器返回查詢結(jié)果。HTTP協(xié)議是基于請求/響應(yīng)模式的。HTTP請求信息由請求行、請求頭部域和請 求實體三部分組成。請求行中的方法描述指定資源中應(yīng)該執(zhí)行的動作。常用方法有g(shù)et、 post和head。請求頭部域是關(guān)于該次請求的一些附加信息。請求實體則是該次請求所需 傳遞的一些參數(shù)信息。HTTP響應(yīng)信息由響應(yīng)行、響應(yīng)頭部域和響應(yīng)實體三部分組成。響應(yīng) 行主要顯示HTTP版本,以及此次響應(yīng)結(jié)果的狀態(tài)碼;響應(yīng)頭部域為該次響應(yīng)的附加信息; 響應(yīng)實體則為該次響應(yīng)結(jié)果的詳細(xì)信息。對于動態(tài)異構(gòu)的Web資源,首先需要分析其網(wǎng)頁 表單,模擬用戶點擊行為找到結(jié)果頁面,對資源站點的頁面結(jié)構(gòu)進(jìn)行分析,通過分析獲取其 請求參數(shù)用來模擬HTTP請求。其分析結(jié)果包括如何得到查詢結(jié)果頁面及其規(guī)律等。由于 用戶與Web資源的交互是以HTTP協(xié)議為基礎(chǔ)進(jìn)行的,這種交互過程是由程序模擬瀏覽器向 遠(yuǎn)程Web服務(wù)器發(fā)送HTTP請求的過程。用戶每查詢一次信息,就是向服務(wù)器發(fā)送一次HTTP 請求的過程。由于可以通過程序模擬發(fā)送HTTP請求的過程,對于HTTP請求信息的獲取是模擬 成功的關(guān)鍵。有些Web服務(wù)程序的設(shè)計要求瀏覽器端通過腳本技術(shù),對檢索項進(jìn)行預(yù)處理, 在瀏覽器端生成一個檢索表達(dá)式,再將此表達(dá)式以HTTP請求的方式傳遞給服務(wù)器進(jìn)行檢 索。在此情況下,需要分析HTML文件中的腳本代碼,構(gòu)造出正確的檢索表達(dá)式。有些請求 信息參數(shù)是動態(tài)變化的。這需要人工仔細(xì)分析,找出其中規(guī)律,才能實現(xiàn)實時請求、實時響 應(yīng),以及對查詢頁面的翻頁等功能。這些參數(shù)信息都不能有絲毫差錯??梢越柚延械囊?些網(wǎng)絡(luò)通信攔截工具軟件,如EHSniffer、HttpWatch、HttpTracer等。這些軟件可以捕獲并解碼瀏覽器發(fā)出的HTTP請求的數(shù)據(jù),分析HTTP通信的網(wǎng)絡(luò)活動等。這樣就可以正確獲取 HTTP請求通信所需的參數(shù)。HTTP請求的實現(xiàn)主要借助HttpClient來完成。使用HttpClient編程主要有以下 基本步驟(1)創(chuàng)建 HttpClient 的一個實例;(2)倉Ij 建某個方法(DeleteMethod、EntityEnclosingMethod^ ExpectContinueMethod、GetMethod、HeadMethod、MultipartPostMe_thod、OptionsMethocU PostMethod, PutMethod, TraceMethod)的一個實例,一般用目標(biāo) URL 為參數(shù);(3)讓 HttpClient 執(zhí)行該方法;(4)讀取應(yīng)答信息;(5)釋放連接;(6)處理應(yīng)答。在HttpClient中主要用GetMethod和PostMethod兩個方法分別實現(xiàn)HTTP請求 中的get和post方法。按上面的步驟,通過HttpWatch獲取其所需參數(shù),對其中動態(tài)變化 的參數(shù)實時動態(tài)提取,進(jìn)行模擬用戶登錄訪問,可以獲得用戶所需要查詢的結(jié)果頁面。驗證 登錄如果需要用戶密碼,在網(wǎng)站上我們是點擊登錄按鈕登錄,模擬登陸實質(zhì)是一樣的,利用 Post方法提交參數(shù)來登錄。NameValuePair[JpostData = {new NameValuePair(“ username“ , username), newName ValuePair ( “ userpwd 〃,password)} ;//把用戶名、密碼保存到參數(shù)數(shù)組里面 pMethod. setRequestBody (postData) ;// 設(shè)置請求的主題;username, userpwd等是通過抓包工具獲取的,或者注冊一個用戶,獲取用戶名和 密碼。2、網(wǎng)頁抓取根據(jù)分析模擬將查詢得到的結(jié)果頁面抓取到本地計算機,以供信息提取作進(jìn)一步 分析之用。3、信息抽取通過分析網(wǎng)頁結(jié)構(gòu)和內(nèi)容,總結(jié)出其抽取規(guī)則,采用相應(yīng)的抽取算法,將所需信息 抽取出來。其原理與算法如下對Web頁面的信息提取主要表現(xiàn)在對其標(biāo)記節(jié)點和文本內(nèi)容的分析,構(gòu)造出健壯 的包裝器。信息抽取的規(guī)則在包裝器中占有很重要的地位。抽取工具有TSMMIS、W4F等, 采用了一些基于Web文檔結(jié)構(gòu)的抽取規(guī)則,可以根據(jù)結(jié)構(gòu)樹中的節(jié)點準(zhǔn)確定位HTML頁面中 的TAG標(biāo)記,能夠準(zhǔn)確定位到所要抽取信息的位置,不會與其他具有類似結(jié)構(gòu)的數(shù)據(jù)相混 淆。但是當(dāng)頁面結(jié)構(gòu)發(fā)生了變化,結(jié)構(gòu)中的任一個層次發(fā)生微小的改變就會最終影響到抽 取規(guī)則的失效性,需要重新進(jìn)行調(diào)整。NoDoSE、WHISK、STALKER等抽取工具,采用基于特征 模式匹配的抽取規(guī)則,能夠在Web文檔的全文中識別具有特征模式的子串,不需要結(jié)構(gòu)層 次的信息,對于網(wǎng)頁結(jié)構(gòu)變化多的一類的網(wǎng)頁能夠很好地處理。本發(fā)明采用后一種基于特 征模式匹配的NoDOSE抽取方法。4、數(shù)據(jù)入庫
將抽取的信息記錄存放在相應(yīng)的信息記錄數(shù)據(jù)庫中,也可以將抓取的TOB網(wǎng)頁保 存到本地數(shù)據(jù)庫中,提供給用戶查詢和使用。
權(quán)利要求
1.一種征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方法,其特征在于,從外聯(lián) 系統(tǒng)獲取待審批客戶的征信數(shù)據(jù),該征信數(shù)據(jù)用于信用卡審查人員查閱;步驟如下步驟A 對目標(biāo)資源站點的分析模擬對目標(biāo)資源站點的頁面結(jié)構(gòu)進(jìn)行分析,獲取其請 求參數(shù)用來模擬HTTP請求針對目標(biāo)資源站點的頁面來構(gòu)造HTTP請求的請求行、請求頭部 域和請求實體,并發(fā)出該HTTP請求;步驟B 網(wǎng)頁抓取獲取所需要查詢的從目標(biāo)資源站點返回的結(jié)果頁面,并將該結(jié)果頁 面存儲在本地計算機;步驟C 信息抽取從結(jié)果頁面中抽取出所需信息;步驟D 數(shù)據(jù)入庫將抽取的所需信息記錄存放在信用卡征信協(xié)查單元中的信息記錄 數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的信用卡征信協(xié)查方法,其特征在于所述的外聯(lián)系統(tǒng)包括公安部居民身份信息系統(tǒng)、人行征信系統(tǒng)、房產(chǎn)信息系統(tǒng)、公積 金信息系統(tǒng)。
3.根據(jù)權(quán)利要求1所述的信用卡征信協(xié)查方法,其特征在于,步驟A中,HTTP請求采用 HttpClient來完成,步驟如下(1)創(chuàng)建HttpClient的一個實例;(2)創(chuàng)建某個方法的一個實例,一般用目標(biāo)URL為參數(shù);所述的某個方法為GetMethod 或 PostMethod 方法;(3)讓HttpClient執(zhí)行該方法;(4)讀取應(yīng)答信息;(5)釋放連接;(6)處理應(yīng)答;在上述步驟中,通過HttpWatch獲取所需參數(shù),對其中動態(tài)變化的參數(shù)實時動態(tài)提取; 另外進(jìn)行模擬用戶登錄訪問,以獲得用戶所需要查詢的結(jié)果頁面。
4.根據(jù)權(quán)利要求1-3任一項所述的信用卡征信協(xié)查方法,其特征在于,步驟C中,采用 基于特征模式匹配的NoDOSE抽取方法實現(xiàn)信息抽取。
全文摘要
本發(fā)明提出了一種征信協(xié)查系統(tǒng)中基于互聯(lián)網(wǎng)模擬瀏覽器獲取數(shù)據(jù)的方法,從外聯(lián)系統(tǒng)獲取待審批客戶的征信數(shù)據(jù),該征信數(shù)據(jù)用于信用卡審查人員查閱;步驟如下步驟A對目標(biāo)資源站點的分析模擬;步驟B網(wǎng)頁抓取獲取所需要查詢的從目標(biāo)資源站點返回的結(jié)果頁面,并將該結(jié)果頁面存儲在本地計算機;步驟C信息抽取從結(jié)果頁面中抽取出所需信息;步驟D數(shù)據(jù)入庫將抽取的所需信息記錄存放在信用卡征信協(xié)查單元中的信息記錄數(shù)據(jù)庫中。采用本發(fā)明的方法,能方便地從外聯(lián)系統(tǒng)獲取待審批客戶的征信數(shù)據(jù),顯著提高信用卡征信協(xié)查的效率。
文檔編號G06F17/30GK102117470SQ20111007641
公開日2011年7月6日 申請日期2011年3月28日 優(yōu)先權(quán)日2011年3月28日
發(fā)明者侯典斌, 劉軍, 唐丁波, 朱金榮, 梁楠, 秦梓航, 肖曉斌, 蘇俊強, 詹求芝 申請人:中國建設(shè)銀行股份有限公司