本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域,具體而言,涉及一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控方法及系統(tǒng)。
背景技術(shù):
隨著經(jīng)濟(jì)的發(fā)展,每年新增大量的企業(yè),企業(yè)也會(huì)根據(jù)市場(chǎng)的需要變更業(yè)務(wù)等其他方面的信息,同一行業(yè)的企業(yè)針對(duì)不同的用戶也各具不同的優(yōu)勢(shì),了解和跟蹤行業(yè)內(nèi)企業(yè)信息的變化,對(duì)于用戶選擇合適的企業(yè)進(jìn)行合作是重要的指引和參考。因此,市面上出現(xiàn)很多提供企業(yè)信息查詢的產(chǎn)品。
企業(yè)信息的獲取,通常通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從互聯(lián)網(wǎng)上獲取,通過(guò)數(shù)據(jù)庫(kù)進(jìn)行保存;進(jìn)一步利用網(wǎng)絡(luò)爬蟲(chóng)定期采集企業(yè)信息,并通過(guò)和存儲(chǔ)在本地的信息進(jìn)行比較來(lái)獲取最新的企業(yè)數(shù)據(jù)。但是,在對(duì)新舊數(shù)據(jù)比較的過(guò)程中,經(jīng)常會(huì)出現(xiàn)需要處理的特殊數(shù)據(jù),它們表達(dá)的意思相同但是數(shù)據(jù)格式卻并不相同,如果不加以人工干預(yù)會(huì)出現(xiàn)錯(cuò)誤的企業(yè)信息。
現(xiàn)有的對(duì)企業(yè)信息存儲(chǔ)的數(shù)據(jù)庫(kù)通常采用關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行組織,對(duì)于多維度的企業(yè)信息處理效率低下,擴(kuò)展性能不好,無(wú)法適應(yīng)用戶個(gè)性化的需求,比如用戶自定義組裝維度。
另外,對(duì)于網(wǎng)絡(luò)爬蟲(chóng)采集的源數(shù)據(jù),有時(shí)會(huì)出現(xiàn)大量的錯(cuò)誤信息,比如將屬性a的數(shù)據(jù)值錯(cuò)誤地替換成屬性b的數(shù)據(jù)值,導(dǎo)致企業(yè)信息數(shù)據(jù)不夠精確。
不同的用戶需要不同的維度信息,對(duì)于獲取到的最新的企業(yè)信息,如何根據(jù)不同的用戶有針對(duì)性的推送用戶自定義組裝的維度信息,也是亟待解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提出一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控技術(shù),其目的在于解決至少一種上述技術(shù)問(wèn)題,從而提高數(shù)據(jù)更新的效率和精確度,快速精確推送用戶關(guān)注數(shù)據(jù),并支持用戶自定義接收企業(yè)細(xì)化的各維度數(shù)據(jù)。
為了實(shí)現(xiàn)上述目的,本發(fā)明采用如下技術(shù)方案:
根據(jù)本發(fā)明的一方面,提供一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控方法,所述方法包括:
通過(guò)至少一臺(tái)服務(wù)器實(shí)時(shí)獲取第一企業(yè)數(shù)據(jù)實(shí)體,所述第一企業(yè)數(shù)據(jù)實(shí)體為最新的企業(yè)數(shù)據(jù)實(shí)體;
獲取當(dāng)前數(shù)據(jù)庫(kù)中存儲(chǔ)的第二企業(yè)數(shù)據(jù)實(shí)體,利用雷達(dá)監(jiān)控技術(shù)自動(dòng)比較所述第一企業(yè)數(shù)據(jù)實(shí)體和第二企業(yè)數(shù)據(jù)實(shí)體;
根據(jù)預(yù)設(shè)規(guī)則審核機(jī)制對(duì)比較結(jié)果集進(jìn)行自定義排查,若是正常變更,則更新數(shù)據(jù)庫(kù),若比較結(jié)果異常,則重新獲取第一企業(yè)數(shù)據(jù)實(shí)體進(jìn)行所述比較和排查,所述異常次數(shù)超過(guò)閾值時(shí),向系統(tǒng)發(fā)出錯(cuò)誤通知
向關(guān)注企業(yè)的用戶實(shí)時(shí)地推送變更信息的通知。
優(yōu)選地,所述雷達(dá)監(jiān)控技術(shù)包括:通過(guò)底層映射技術(shù)自動(dòng)獲取所述第一企業(yè)數(shù)據(jù)實(shí)體和第二企業(yè)數(shù)據(jù)實(shí)體下所有的屬性,通過(guò)getvalue獲取所述屬性的數(shù)據(jù)值,比較所述兩個(gè)數(shù)據(jù)實(shí)體對(duì)應(yīng)屬性的數(shù)據(jù)值。
優(yōu)選地,在對(duì)所述對(duì)應(yīng)屬性的數(shù)據(jù)值進(jìn)行所述比較之前,還包括數(shù)據(jù)格式預(yù)處理,將獲取的相同屬性的數(shù)據(jù)值進(jìn)行統(tǒng)一格式處理。
優(yōu)選地,所述異常為比較結(jié)果存在問(wèn)題數(shù)據(jù),所述問(wèn)題數(shù)據(jù)是數(shù)據(jù)錯(cuò)位、股東全部刪除或主要人員全部刪除。
優(yōu)選地,通過(guò)消息隊(duì)列技術(shù)(mq)發(fā)送所述錯(cuò)誤通知。
優(yōu)選地,通過(guò)消息隊(duì)列技術(shù)(mq)實(shí)時(shí)向所述用戶推送所述變更信息的通知。
優(yōu)選地,所述通知是系統(tǒng)通知、短信通知或郵件通知的任一個(gè),或所述通知類型的任意組合。
優(yōu)選地,所述向用戶推送變更信息的通知還包括:根據(jù)用戶自定義接收的企業(yè)細(xì)化的各維度數(shù)據(jù),用戶可以根據(jù)推送的數(shù)據(jù)格式自定義組裝維度。
優(yōu)選地,所述數(shù)據(jù)庫(kù)為文檔類型的非關(guān)系型數(shù)據(jù)庫(kù)。
優(yōu)選地,所述非關(guān)系型數(shù)據(jù)庫(kù)是:mongodb。
根據(jù)本發(fā)明的另一方面,提供了一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控系統(tǒng),所述系統(tǒng)包括:
最新企業(yè)數(shù)據(jù)獲取模塊,當(dāng)前企業(yè)數(shù)據(jù)獲取模塊,企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù),雷達(dá)監(jiān)控比較模塊,消息推送模塊;
最新企業(yè)數(shù)據(jù)獲取模塊,用于獲取企業(yè)的最新數(shù)據(jù),企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)用于管理企業(yè)數(shù)據(jù)信息,雷達(dá)監(jiān)控比較模塊用于最新數(shù)據(jù)和當(dāng)前數(shù)據(jù)的比較,消息推送模塊用于向用戶推送變更信息的通知。
優(yōu)選地,最新企業(yè)數(shù)據(jù)獲取模塊可以根據(jù)需要部署到多臺(tái)服務(wù)器,互聯(lián)網(wǎng)上實(shí)時(shí)獲取企業(yè)信息的源數(shù)據(jù),保證所采集到的企業(yè)數(shù)據(jù)實(shí)體是最新的,
當(dāng)前企業(yè)數(shù)據(jù)獲取模塊從本地?cái)?shù)據(jù)庫(kù)獲取當(dāng)前企業(yè)數(shù)據(jù);
優(yōu)選地,企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)采用非關(guān)系型數(shù)據(jù)庫(kù)(nosql)組織存儲(chǔ)企業(yè)數(shù)據(jù)信息;
優(yōu)選地,采用文檔型nosql數(shù)據(jù)庫(kù),例如mongodb;數(shù)據(jù)庫(kù)中存儲(chǔ)的文檔同樣包括多個(gè)維度的屬性,和網(wǎng)絡(luò)爬蟲(chóng)采集的企業(yè)數(shù)據(jù)實(shí)體源數(shù)據(jù)多個(gè)維度相對(duì)應(yīng);
優(yōu)選地,雷達(dá)監(jiān)控比較模塊通過(guò)對(duì)實(shí)體的底層映射技術(shù)(propertyinfo),遍歷自動(dòng)獲取該實(shí)體下所有的屬性,通過(guò)getvalue分別獲取在兩個(gè)實(shí)體中的數(shù)據(jù)值;
優(yōu)選地,雷達(dá)監(jiān)控比較模塊,還包括數(shù)據(jù)預(yù)處理模塊,用于對(duì)于預(yù)設(shè)的數(shù)據(jù)類型進(jìn)行數(shù)據(jù)格式的預(yù)處理;
優(yōu)選地,數(shù)據(jù)預(yù)處理模塊還用于對(duì)實(shí)體屬性中如果包含其他自定義實(shí)體,也需要相應(yīng)的做自定義類型處理;
優(yōu)選地,雷達(dá)監(jiān)控比較模塊還包括自定義排查模塊,自定義排查模塊用于對(duì)雷達(dá)監(jiān)控?cái)?shù)據(jù)對(duì)比結(jié)果進(jìn)行自定義排查,若是正常的變更,則更新數(shù)據(jù)庫(kù),
若比較結(jié)果異常,例如數(shù)據(jù)的錯(cuò)位、數(shù)據(jù)刪除過(guò)多等情況則進(jìn)行駁回,通知爬蟲(chóng)重新處理,這里可以設(shè)置計(jì)數(shù)程序或其他公知的手段對(duì)比較結(jié)果異常的次數(shù)進(jìn)行計(jì)數(shù),當(dāng)達(dá)到閾值的時(shí)候則通知相關(guān)開(kāi)發(fā)人員進(jìn)行核實(shí)該情況是否屬實(shí);
優(yōu)選地,消息推送模塊使用的mq技術(shù)將流程分割,獨(dú)立數(shù)據(jù)流程后期實(shí)時(shí)處理消息隊(duì)列;
優(yōu)選地,消息推送模塊還用于將自定義排查模塊得出的異常數(shù)據(jù)推送給開(kāi)發(fā)人員;
優(yōu)選地,消息推送模塊還用于將自定義排查模塊的輸出的正常比較結(jié)果以通知的形式推送給用戶;
優(yōu)選地,所述通知是系統(tǒng)通知、短信通知或郵件通知的任一個(gè),或所述通知類型的任意組合;
優(yōu)選地,消息推送模塊還用于根據(jù)用戶自定義的維度組裝數(shù)據(jù),推送給用戶。
本發(fā)明的有益效果在于:
根據(jù)雷達(dá)系統(tǒng)的自定義排查規(guī)則找到有問(wèn)題的數(shù)據(jù),根據(jù)問(wèn)題提醒通知爬蟲(chóng)優(yōu)化框架高效提升數(shù)據(jù)爬蟲(chóng)質(zhì)量,快速響應(yīng)數(shù)據(jù)變化的錯(cuò)誤,雷達(dá)系統(tǒng)的實(shí)時(shí)變更推送服務(wù)使得用戶及時(shí)獲取最新企業(yè)數(shù)據(jù)信息,精確推送用戶關(guān)注的信息,支持用戶自定義接收企業(yè)細(xì)化的各維度數(shù)據(jù)。
附圖說(shuō)明
通過(guò)以下參照附圖而提供的具體實(shí)施方式部分,本發(fā)明的特征和優(yōu)點(diǎn)將變得更加容易理解,在附圖中:
圖1是本發(fā)明基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控方法的流程圖;
圖2是本發(fā)明基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控方法優(yōu)選的的流程圖;
圖3是本發(fā)明基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖;
圖4是本發(fā)明基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控系統(tǒng)的優(yōu)選結(jié)構(gòu)框圖。
具體實(shí)施方式
下面參照附圖對(duì)本發(fā)明的示例性實(shí)施方式進(jìn)行詳細(xì)描述。對(duì)示例性實(shí)施方式的描述僅僅是出于示范目的,而絕不是對(duì)本發(fā)明及其應(yīng)用或用法的限制。
本發(fā)明的一個(gè)實(shí)施例中,提供一種基于企業(yè)大數(shù)據(jù)平臺(tái)的雷達(dá)企業(yè)數(shù)據(jù)監(jiān)控方法,
圖1是根據(jù)本發(fā)明實(shí)施例的企業(yè)數(shù)據(jù)監(jiān)控方法的流程圖,根據(jù)圖1所示該流程包括:
步驟s102,對(duì)企業(yè)監(jiān)控的數(shù)據(jù),看作成對(duì)兩個(gè)企業(yè)實(shí)體的監(jiān)控;
根據(jù)需要將引擎部署到多臺(tái)服務(wù)器(視情況而定),開(kāi)啟多線程數(shù)據(jù)入口,保證數(shù)據(jù)量的要求的同時(shí),讓數(shù)據(jù)更加完善。這里的服務(wù)器包括搜索服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器以及應(yīng)用服務(wù)器,搜索服務(wù)器上部署有網(wǎng)絡(luò)爬蟲(chóng),利用網(wǎng)絡(luò)爬蟲(chóng)從互聯(lián)網(wǎng)上搜索企業(yè)的最新信息,數(shù)據(jù)庫(kù)服務(wù)器用于存儲(chǔ)采集的企業(yè)信息,應(yīng)用服務(wù)器用于執(zhí)行雷達(dá)監(jiān)控技術(shù)、消息通知等。其中,搜索服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、應(yīng)用服務(wù)器可分別由多臺(tái)物理或虛擬服務(wù)器實(shí)現(xiàn),也可用多臺(tái)pc實(shí)現(xiàn),或者是服務(wù)器和pc的組合實(shí)現(xiàn),這里不做限制。
優(yōu)選地,網(wǎng)絡(luò)爬蟲(chóng)通過(guò)搜索服務(wù)器從互聯(lián)網(wǎng)上實(shí)時(shí)獲取企業(yè)信息的源數(shù)據(jù),保證所采集到的企業(yè)數(shù)據(jù)實(shí)體是最新的,其中企業(yè)數(shù)據(jù)實(shí)體源數(shù)據(jù)包括多個(gè)維度的屬性,例如企業(yè)的經(jīng)營(yíng)范圍、地址、法人代表、品牌產(chǎn)品、股東高管、工商信息、對(duì)外投資、失信信息、被執(zhí)行人信息、裁判文書(shū)、商標(biāo)、專利、法院公告、證書(shū)、著作權(quán)、經(jīng)營(yíng)異常、股權(quán)出質(zhì)、動(dòng)產(chǎn)抵押、抽查檢查、清算信息等,可以根據(jù)需要對(duì)信息維度進(jìn)行設(shè)置。
步驟s104,獲取本地?cái)?shù)據(jù)庫(kù)中存儲(chǔ)的當(dāng)前企業(yè)數(shù)據(jù)實(shí)體;
優(yōu)選地,本地?cái)?shù)據(jù)庫(kù)服務(wù)器存儲(chǔ)有當(dāng)前的企業(yè)數(shù)據(jù)實(shí)體,本發(fā)明采用非關(guān)系型數(shù)據(jù)庫(kù)(nosql)組織存儲(chǔ)企業(yè)數(shù)據(jù)信息,nosql數(shù)據(jù)庫(kù)特別適用于大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù),尤其是企業(yè)大數(shù)據(jù)信息的存儲(chǔ)。
更進(jìn)一步地,本發(fā)明優(yōu)選文檔型nosql數(shù)據(jù)庫(kù),可以把企業(yè)所有信息當(dāng)作一個(gè)實(shí)體,可以把整個(gè)企業(yè)的實(shí)體當(dāng)作一個(gè)文檔存儲(chǔ),這樣大大提升了數(shù)據(jù)的完整性、保存和查詢的性能。
數(shù)據(jù)庫(kù)中存儲(chǔ)的文檔同樣包括多個(gè)維度的屬性,和網(wǎng)絡(luò)爬蟲(chóng)采集的企業(yè)數(shù)據(jù)實(shí)體源數(shù)據(jù)多個(gè)維度相對(duì)應(yīng)。
步驟s106,利用雷達(dá)監(jiān)控技術(shù)比較網(wǎng)絡(luò)爬蟲(chóng)采集的最新企業(yè)數(shù)據(jù)實(shí)體和數(shù)據(jù)庫(kù)中存儲(chǔ)的企業(yè)數(shù)據(jù)實(shí)體;
優(yōu)選地,這里使用是c#語(yǔ)言,通過(guò)每次抓取最新的企業(yè)數(shù)據(jù)實(shí)體,然后獲取當(dāng)前數(shù)據(jù)庫(kù)中存儲(chǔ)的企業(yè)數(shù)據(jù)實(shí)體,對(duì)兩個(gè)企業(yè)實(shí)體進(jìn)行對(duì)比。一個(gè)企業(yè)實(shí)體可以抽象為如下數(shù)據(jù)結(jié)構(gòu):
如:公司實(shí)體
通過(guò)對(duì)實(shí)體的底層映射技術(shù)(propertyinfo),遍歷自動(dòng)獲取該實(shí)體下所有的屬性,通過(guò)getvalue獲取分別獲取在兩個(gè)實(shí)體中的數(shù)據(jù)值如:
foreach(propertyinfopinnewdata.gettype().getproperties())
{
varnewvalue=p.getvalue(newdata);//獲取新值
varoldvalue=p.getvalue(olddata);//獲取舊值
}
這樣可以簡(jiǎn)便的對(duì)比數(shù)據(jù)。
步驟s108,對(duì)雷達(dá)監(jiān)控的數(shù)據(jù)對(duì)比結(jié)果進(jìn)行自定義排查(自制規(guī)則審核機(jī)制),若是正常的變更,則執(zhí)行s110,更新數(shù)據(jù)庫(kù);
步驟s112,根據(jù)關(guān)注該企業(yè)的用戶實(shí)時(shí)推送;上述兩個(gè)步驟的執(zhí)行順序不做限制;
若比較結(jié)果異常,例如數(shù)據(jù)的錯(cuò)位、數(shù)據(jù)刪除過(guò)多等情況則進(jìn)行駁回,通知爬蟲(chóng)重新處理,
步驟s114,這里可以設(shè)置計(jì)數(shù)程序或其他公知的手段對(duì)比較結(jié)果異常的次數(shù)進(jìn)行計(jì)數(shù),
步驟s116判斷異常次數(shù)是否超過(guò)預(yù)設(shè)閾值,
步驟s118通知相關(guān)開(kāi)發(fā)人員進(jìn)行核實(shí)該情況是否屬實(shí),這樣可大大減少人力成本,更能高效的提升數(shù)據(jù)質(zhì)量。
優(yōu)選地,這里的數(shù)據(jù)庫(kù)使用mongodb,因?yàn)榘颜麄€(gè)企業(yè)當(dāng)作一個(gè)實(shí)體,可以把整個(gè)企業(yè)的實(shí)體當(dāng)作一個(gè)文檔存儲(chǔ),這樣大大提升的數(shù)據(jù)的完整性、保存及查詢的性能。
優(yōu)選地,消息推送機(jī)制這里使用的mq技術(shù)將流程分割,獨(dú)立數(shù)據(jù)流程后期實(shí)時(shí)處理消息隊(duì)列,既能保證雷達(dá)監(jiān)控的完整性,又能達(dá)到消息提醒的實(shí)時(shí)性,保證用戶消息的及時(shí)性已應(yīng)對(duì)相應(yīng)的措施。
處理消息隊(duì)列,開(kāi)啟一個(gè)實(shí)時(shí)job不停的處理消息隊(duì)列,跟消息隊(duì)列獲取雷達(dá)對(duì)比的結(jié)果集,根據(jù)自定義規(guī)則排查流程,例如:每次對(duì)比的結(jié)果是否有以下異常情況:
1、數(shù)據(jù)錯(cuò)位,例如一些企業(yè)數(shù)據(jù)的變化是正確的,如公司的名稱a改成了b,但有些情況下又是錯(cuò)的,如公司名稱正確的就是a,但爬蟲(chóng)的誤把公司名稱替換成了公司法人,這時(shí)也是做特殊處理,屬于數(shù)據(jù)錯(cuò)位的問(wèn)題;
2、股東全部刪除,即:原來(lái)的值有很多,網(wǎng)絡(luò)爬蟲(chóng)獲取的股東屬性對(duì)應(yīng)的數(shù)據(jù)值新值為空;
3、主要人員全部刪除;
一方面,這些情況都可以作為問(wèn)題數(shù)據(jù)處理放到緩存中,發(fā)送給相關(guān)人員。
另一方面,若流程排查沒(méi)有異常的話就可以作為準(zhǔn)確數(shù)據(jù)通過(guò)消息提醒機(jī)制發(fā)送給關(guān)注該企業(yè)的用戶變更提醒通知。
當(dāng)然,優(yōu)選地,所述通知是系統(tǒng)通知、短信通知或郵件通知的任一個(gè),或所述通知類型的任意組合。
優(yōu)選地,用戶可以根據(jù)需要自定義接收企業(yè)細(xì)化的各維度數(shù)據(jù),例如:工商維度、法律訴訟等維度;根據(jù)推送的數(shù)據(jù)格式自定義組裝維度如:工商類型、失信類型等提高數(shù)據(jù)針對(duì)性。
圖2是根據(jù)本發(fā)明實(shí)施例的企業(yè)數(shù)據(jù)監(jiān)控方法優(yōu)選的流程圖,相比圖1,該流程還包括如下步驟:
在對(duì)當(dāng)前企業(yè)數(shù)據(jù)實(shí)體和最新數(shù)據(jù)實(shí)體進(jìn)行比較之前,還包括步驟s120,這里還會(huì)有一些具體的格式進(jìn)行自定義對(duì)比處理,不必生搬硬套,對(duì)于預(yù)設(shè)的數(shù)據(jù)類型進(jìn)行數(shù)據(jù)格式的預(yù)處理。如:newvalue的數(shù)據(jù)類型是日期類型,在比較之前需要對(duì)新舊數(shù)據(jù)做統(tǒng)一處理,使其格式相同,
varnewdata=newvalue.parsetodatetime().tostring(“yyyy-mm-dd”);
否則的話就有可能會(huì)出現(xiàn)2017-02-03和2017/02/03不相同的情況。
另外,該實(shí)體屬性中如果包含其他自定義實(shí)體,也需要相應(yīng)的做自定義類型處理。
本發(fā)明的另一個(gè)實(shí)施例中,提供了一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控系統(tǒng),圖3是根據(jù)本發(fā)明實(shí)施例的雷達(dá)企業(yè)監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖,該雷達(dá)企業(yè)監(jiān)控系統(tǒng)包括:最新企業(yè)數(shù)據(jù)獲取模塊31,當(dāng)前企業(yè)數(shù)據(jù)獲取模塊32,企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)33,雷達(dá)監(jiān)控比較模塊34,雷達(dá)監(jiān)控比較模塊34包括自定義排查模塊35,消息推送模塊36,下面對(duì)此說(shuō)明。
最新企業(yè)數(shù)據(jù)獲取模塊31,用于獲取企業(yè)的最新數(shù)據(jù),企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)33用于管理企業(yè)數(shù)據(jù)信息,雷達(dá)監(jiān)控比較模塊用于最新數(shù)據(jù)和當(dāng)前數(shù)據(jù)的比較,消息推送模塊35用于向用戶推送變更信息的通知。
優(yōu)選地,最新企業(yè)數(shù)據(jù)獲取模塊31可以根據(jù)需要部署到多臺(tái)服務(wù)器,互聯(lián)網(wǎng)上實(shí)時(shí)獲取企業(yè)信息的源數(shù)據(jù),保證所采集到的企業(yè)數(shù)據(jù)實(shí)體是最新的,
其中企業(yè)數(shù)據(jù)實(shí)體源數(shù)據(jù)包括多個(gè)維度的屬性,例如企業(yè)的經(jīng)營(yíng)范圍、地址、法人代表、品牌產(chǎn)品、股東高管、工商信息、對(duì)外投資、失信信息、被執(zhí)行人信息、裁判文書(shū)、商標(biāo)、專利、法院公告、證書(shū)、著作權(quán)、經(jīng)營(yíng)異常、股權(quán)出質(zhì)、動(dòng)產(chǎn)抵押、抽查檢查、清算信息等,可以根據(jù)需要對(duì)信息維度進(jìn)行設(shè)置。
當(dāng)前企業(yè)數(shù)據(jù)獲取模塊32從本地?cái)?shù)據(jù)庫(kù)33獲取當(dāng)前企業(yè)數(shù)據(jù);
優(yōu)選地,企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)33本發(fā)明采用非關(guān)系型數(shù)據(jù)庫(kù)(nosql)組織存儲(chǔ)企業(yè)數(shù)據(jù)信息;
優(yōu)選地,采用文檔型nosql數(shù)據(jù)庫(kù),例如mongodb;數(shù)據(jù)庫(kù)中存儲(chǔ)的文檔同樣包括多個(gè)維度的屬性,和網(wǎng)絡(luò)爬蟲(chóng)采集的企業(yè)數(shù)據(jù)實(shí)體源數(shù)據(jù)多個(gè)維度相對(duì)應(yīng);
優(yōu)選地,雷達(dá)監(jiān)控比較模塊34通過(guò)對(duì)實(shí)體的底層映射技術(shù)(propertyinfo),遍歷自動(dòng)獲取該實(shí)體下所有的屬性,通過(guò)getvalue獲取分別獲取在兩個(gè)實(shí)體中的數(shù)據(jù)值;
優(yōu)選地,雷達(dá)監(jiān)控比較模塊還包括自定義排查模塊35,自定義排查模塊用于對(duì)雷達(dá)監(jiān)控的數(shù)據(jù)對(duì)比結(jié)果進(jìn)行自定義排查,若是正常的變更,則更新數(shù)據(jù)庫(kù),
若比較結(jié)果異常,例如數(shù)據(jù)的錯(cuò)位、數(shù)據(jù)刪除過(guò)多等情況則進(jìn)行駁回,通知爬蟲(chóng)重新處理,這里可以設(shè)置計(jì)數(shù)程序或其他公知的手段對(duì)比較結(jié)果異常的次數(shù)進(jìn)行計(jì)數(shù),當(dāng)達(dá)到閾值的時(shí)候則通知相關(guān)開(kāi)發(fā)人員進(jìn)行核實(shí)該情況是否屬實(shí);
優(yōu)選地,消息推送模塊36使用的mq技術(shù)將流程分割,獨(dú)立數(shù)據(jù)流程后期實(shí)時(shí)處理消息隊(duì)列;
優(yōu)選地,消息推送模塊36還用于將自定義排查模塊得出的異常數(shù)據(jù)推送給開(kāi)發(fā)人員;
優(yōu)選地,消息推送模塊36還用于將自定義排查模塊的出的正常比較結(jié)果以通知的形式推送給用戶;
優(yōu)選地,所述通知是系統(tǒng)通知、短信通知或郵件通知的任一個(gè),或所述通知類型的任意組合;
優(yōu)選地,消息推送模塊還用于根據(jù)用戶自定義的維度組裝數(shù)據(jù),推送給用戶;
圖4是根據(jù)本發(fā)明實(shí)施例的企業(yè)數(shù)據(jù)監(jiān)控系統(tǒng)優(yōu)選的結(jié)構(gòu)框圖,相比圖3還包括數(shù)據(jù)預(yù)處理模塊47:
優(yōu)選地,雷達(dá)監(jiān)控比較模塊還包括數(shù)據(jù)預(yù)處理模塊47,用于對(duì)于預(yù)設(shè)的數(shù)據(jù)類型進(jìn)行數(shù)據(jù)格式的預(yù)處理;
優(yōu)選地,數(shù)據(jù)預(yù)處理模塊47,還用于對(duì)實(shí)體屬性中如果包含其他自定義實(shí)體,也需要相應(yīng)的做自定義類型處理;
本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述,每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處,各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于系統(tǒng)實(shí)施例而言,由于其與方法實(shí)施例基本相似,所以描述的比較簡(jiǎn)單,相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、系統(tǒng)、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器,使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中,使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理,從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟;
雖然參照示例性實(shí)施方式對(duì)本發(fā)明進(jìn)行了描述,但是應(yīng)當(dāng)理解,本發(fā)明并不局限于文中詳細(xì)描述和示出的具體實(shí)施方式,在不偏離權(quán)利要求書(shū)所限定的范圍的情況下,本領(lǐng)域技術(shù)人員可以對(duì)所述示例性實(shí)施方式做出各種改變。