本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域,尤其涉及一種數(shù)據(jù)接入處理方法和裝置。
背景技術(shù):
為了減少水、電、氣等收費(fèi)單位以及銀行等的發(fā)賬單成本,出現(xiàn)了與互聯(lián)網(wǎng)對(duì)接的電子形式的賬單數(shù)據(jù),即電子賬單。以支付寶的電子賬單發(fā)送平臺(tái)為例,該平臺(tái)業(yè)務(wù)流程大體是:若干水、電、氣等收費(fèi)單位以及銀行將數(shù)據(jù)提供給支付寶,由支付寶對(duì)數(shù)據(jù)信息進(jìn)行處理,進(jìn)而將處理后的數(shù)據(jù)推送給相應(yīng)用戶(hù)。
出于準(zhǔn)確性和可靠性的考慮,處理平臺(tái)一般都需要標(biāo)準(zhǔn)化結(jié)構(gòu)的數(shù)據(jù),而上述的水、電、氣等收費(fèi)單位以及銀行提供的數(shù)據(jù)的結(jié)構(gòu)一般都不相同,尤其是當(dāng)數(shù)據(jù)提供單位規(guī)模較大時(shí),這種“映射”的工作量和溝通是非常大的,因此需要花費(fèi)大量的人工成本將個(gè)性化的數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為標(biāo)準(zhǔn)的數(shù)據(jù)結(jié)構(gòu)。這必然會(huì)使得處理平臺(tái)接入業(yè)務(wù)數(shù)據(jù)模型的成本高,對(duì)處理平臺(tái)本身的支撐能力是一個(gè)挑戰(zhàn),且業(yè)務(wù)數(shù)據(jù)接入的效率低,不利于處理平臺(tái)自身業(yè)務(wù)的拓展。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。
為此,本申請(qǐng)的第一個(gè)目的在于提出一種數(shù)據(jù)接入處理方法,該方法能夠使將接收的異構(gòu)格式數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了異構(gòu)格式數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于處理平臺(tái)的業(yè)務(wù)拓展。
本申請(qǐng)的第二個(gè)目的在于提出一種數(shù)據(jù)接入處理裝置。
為達(dá)上述目的,本申請(qǐng)第一方面實(shí)施例提出了一種數(shù)據(jù)接入處理方法,包括:從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù);將所述原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與所述原始數(shù)據(jù)對(duì)應(yīng)的映射字段;根據(jù)所述原始數(shù)據(jù)與所述映射字段的對(duì)應(yīng)關(guān)系,生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,可從接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù),并將原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,進(jìn)而生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。由此,可將接入終端的異構(gòu)格式的業(yè)務(wù)數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了個(gè)接入終端業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于處理平臺(tái)的業(yè)務(wù)拓展。
為達(dá)上述目的,本申請(qǐng)第二方面實(shí)施例提出了一種數(shù)據(jù)接入處理方法,包括:接收攜 帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù);獲取與所述接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本,其中,所述轉(zhuǎn)換腳本是根據(jù)所述業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的映射字段的對(duì)應(yīng)關(guān)系生成的;根據(jù)所述轉(zhuǎn)換腳本完成所述業(yè)務(wù)數(shù)據(jù)到所述標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,可從攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù)中獲取與接入終端表示對(duì)應(yīng)的轉(zhuǎn)換腳本,進(jìn)而根據(jù)轉(zhuǎn)換腳本完成業(yè)務(wù)數(shù)據(jù)到標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。由此,可使接入終端的異構(gòu)格式的業(yè)務(wù)數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了個(gè)接入終端業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于處理平臺(tái)的業(yè)務(wù)拓展。
為達(dá)上述目的,本申請(qǐng)第三方面實(shí)施例提出了一種數(shù)據(jù)接入處理裝置,包括:提取模塊,用于從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù);匹配確定模塊,用于將所述原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與所述原始數(shù)據(jù)對(duì)應(yīng)的映射字段;第一生成模塊,用于根據(jù)所述原始數(shù)據(jù)與所述映射字段的對(duì)應(yīng)關(guān)系,生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理裝置,可通過(guò)提取模塊從接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù),通過(guò)匹配確定模塊將原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,進(jìn)而通過(guò)生成模塊生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。由此,可將接入終端的異構(gòu)格式的業(yè)務(wù)數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了個(gè)接入終端業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于處理平臺(tái)的業(yè)務(wù)拓展。
為達(dá)上述目的,本申請(qǐng)第四方面實(shí)施例提出了一種數(shù)據(jù)接入處理裝置,包括:接收模塊,用于接收攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù);獲取模塊,用于獲取與所述接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本,其中,所述轉(zhuǎn)換腳本是根據(jù)所述業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的映射字段的對(duì)應(yīng)關(guān)系生成的;第一映射模塊,用于根據(jù)所述轉(zhuǎn)換腳本完成所述業(yè)務(wù)數(shù)據(jù)到所述標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理裝置,可通過(guò)接收模塊接收攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù),通過(guò)獲取模塊獲取與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本,進(jìn)而通過(guò)映射模塊根據(jù)轉(zhuǎn)換腳本完成業(yè)務(wù)數(shù)據(jù)到標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。由此,可將接入終端的異構(gòu)格式的業(yè)務(wù)數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了個(gè)接入終端業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于處理平臺(tái)的業(yè)務(wù)拓展。
附圖說(shuō)明
圖1是本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理方法的流程圖。
圖2是本申請(qǐng)一個(gè)實(shí)施例的步驟s101的流程圖。
圖3是本申請(qǐng)一個(gè)實(shí)施例的步驟s102的流程圖。
圖4是本申請(qǐng)另一個(gè)實(shí)施例的數(shù)據(jù)接入處理方法的流程圖。
圖5是本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理方法的示意圖。
圖6是本申請(qǐng)又一個(gè)實(shí)施例的數(shù)據(jù)接入處理方法的流程圖。
圖7是本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理裝置的結(jié)構(gòu)框圖。
圖8是本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理裝置的一個(gè)組成的結(jié)構(gòu)框圖。
圖9是本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理裝置的另一個(gè)組成的結(jié)構(gòu)框圖。
圖10是本申請(qǐng)另一個(gè)實(shí)施例的數(shù)據(jù)接入處理裝置的結(jié)構(gòu)框圖。
圖11是本申請(qǐng)又一個(gè)實(shí)施例的數(shù)據(jù)接入處理裝置的結(jié)構(gòu)框圖。
具體實(shí)施方式
下面詳細(xì)描述本申請(qǐng)的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的,旨在用于解釋本申請(qǐng),而不能理解為對(duì)本申請(qǐng)的限制。
下面參考附圖描述本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法、系統(tǒng)和裝置。
圖1是本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理方法的流程圖,如圖1所示,該數(shù)據(jù)接入處理方法包括:
s101,從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù)。
具體地,為了提高處理平臺(tái)對(duì)各接入終端上傳的各種異構(gòu)格式數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理的效率,處理平臺(tái)需要建立各接入終端提供的異構(gòu)格式數(shù)據(jù)與處理平臺(tái)的標(biāo)準(zhǔn)格式數(shù)據(jù)的映射關(guān)系。
為了提高處理效率,在本申請(qǐng)的一個(gè)實(shí)施例中,可以先從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取實(shí)驗(yàn)數(shù)據(jù),再?gòu)膶?shí)驗(yàn)數(shù)據(jù)中提取原始數(shù)據(jù)。
其中,實(shí)驗(yàn)數(shù)據(jù)可以是從業(yè)務(wù)數(shù)據(jù)中隨機(jī)提取的一些數(shù)據(jù),也可以是從業(yè)務(wù)數(shù)據(jù)中提取的有代表性的一些數(shù)據(jù)。
需要說(shuō)明的是,不同的業(yè)務(wù)類(lèi)型對(duì)應(yīng)不同的處理平臺(tái),不同的處理平臺(tái)根據(jù)業(yè)務(wù)特點(diǎn)預(yù)先建立符合需要的標(biāo)準(zhǔn)格式數(shù)據(jù)。以賬單發(fā)送平臺(tái)為例:
賬單發(fā)送平臺(tái)預(yù)先建立的賬單標(biāo)準(zhǔn)格式數(shù)據(jù)包括:姓名、地址、項(xiàng)目名稱(chēng)、金額等字段。與該賬單發(fā)送平臺(tái)對(duì)應(yīng)的接入終端可以包括:供電機(jī)構(gòu)、供水機(jī)構(gòu)等。
為了建立接入終端的異構(gòu)格式數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的映射關(guān)系,首先,從接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù)。
需要注意的是,業(yè)務(wù)數(shù)據(jù)的來(lái)源很多,可以根據(jù)應(yīng)用需要進(jìn)行選取,例如:可以是至少一個(gè)接入終端初次上傳到業(yè)務(wù)數(shù)據(jù),也可以是至少一個(gè)接入終端上傳的歷史業(yè)務(wù)數(shù)據(jù)。
在本申請(qǐng)的實(shí)施例中,從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù)的方法可以有多種,例如分隔符法、字段數(shù)量法、關(guān)鍵字法等,可以在實(shí)際應(yīng)用中根據(jù)不同的場(chǎng)景進(jìn)行選擇,本實(shí)施例對(duì)此不作限制。
需要解釋的是,原始數(shù)據(jù)是接入終端的業(yè)務(wù)數(shù)據(jù)中要進(jìn)行標(biāo)準(zhǔn)化處理的信息內(nèi)容,例如:接入終端a上傳的業(yè)務(wù)數(shù)據(jù)包括:“張三,北京,600度,欠費(fèi)金額500元,滯納金0”,那么原始數(shù)據(jù)就是:“張三”“北京”等具體的內(nèi)容,而不是逗號(hào)等字符。
s102,將原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段。
具體地,其中,標(biāo)準(zhǔn)格式數(shù)據(jù)的字段是處理平臺(tái)預(yù)先設(shè)置的,標(biāo)準(zhǔn)格式數(shù)據(jù)具有多個(gè)字段,每個(gè)字段有對(duì)應(yīng)的名稱(chēng)和功能。例如:第一字段為姓名、第二字段為地址、第三字段為項(xiàng)目名稱(chēng)、第四字段為金額等。
由于每個(gè)接入終端的數(shù)據(jù)格式中的字段名稱(chēng)和功能都是自定義的,個(gè)性化的,與處理平臺(tái)的標(biāo)準(zhǔn)格式數(shù)據(jù)不符。因此,處理平臺(tái)需要通過(guò)將原始數(shù)據(jù)與處理平臺(tái)的標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)對(duì)應(yīng)的映射字段。
s103,根據(jù)原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。
具體地,根據(jù)原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,生成與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。進(jìn)而,對(duì)于在處理平臺(tái)生成轉(zhuǎn)換腳本的接入終端后續(xù)上傳的業(yè)務(wù)數(shù)據(jù),可以根據(jù)轉(zhuǎn)換腳本自動(dòng)進(jìn)行標(biāo)準(zhǔn)格式數(shù)據(jù)的轉(zhuǎn)換處理。
需要說(shuō)明的是,與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本的內(nèi)容可以根據(jù)應(yīng)用需要進(jìn)行不同的設(shè)置。舉例如下:
示例一:
轉(zhuǎn)換腳本為查詢(xún)存儲(chǔ)原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系的腳本。進(jìn)而,通過(guò)運(yùn)行該腳本查詢(xún)相應(yīng)的存儲(chǔ)區(qū)域獲取原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)格式數(shù)據(jù)的轉(zhuǎn)換處理。
示例二:
轉(zhuǎn)換腳本為將原始數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)映射字段的腳本。進(jìn)而,通過(guò)運(yùn)行該腳本直接將業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)格式數(shù)據(jù)的轉(zhuǎn)換處理。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,可以從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù),進(jìn)而將原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,以確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,并根據(jù)原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本,由此,可使接入終端的業(yè)務(wù)數(shù)據(jù)自動(dòng)映射成標(biāo)準(zhǔn)式數(shù)據(jù),提高了業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于業(yè)務(wù)拓展。
基于上述實(shí)施例,以分隔符法為例說(shuō)明原始數(shù)據(jù)的提取過(guò)程。具體地,如圖2所示,在本申請(qǐng)的一個(gè)實(shí)施例中,步驟s101可以包括以下步驟:
s1011,根據(jù)預(yù)設(shè)的分隔符列表識(shí)別業(yè)務(wù)數(shù)據(jù)中的分隔符。
可以理解的是,預(yù)設(shè)的分隔符列表可以包含在處理平臺(tái)系統(tǒng)中,該列表中可以包括所有可能的分隔符,例如:逗號(hào)“,”、分號(hào)“;”、空格“”等。因此,處理平臺(tái)在識(shí)別業(yè)務(wù)數(shù)據(jù)中的分隔符時(shí),需要遍歷分隔符列表,進(jìn)而可以按分隔符出現(xiàn)的概率大小對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分。
s1012,如果業(yè)務(wù)數(shù)據(jù)包括一種類(lèi)型的分隔符,則根據(jù)分隔符對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分獲取原始數(shù)據(jù)。
例如,業(yè)務(wù)數(shù)據(jù)為:“張三,北京,600度,欠費(fèi)金額500元,滯納金0”,分隔符為逗 號(hào),只有一種類(lèi)型,則對(duì)業(yè)務(wù)數(shù)據(jù)拆分獲取的原始數(shù)據(jù)為:“張三、北京、600度、欠費(fèi)金額500元、滯納金0”。需要說(shuō)明的是,上述提取的原始數(shù)據(jù)中的頓號(hào)“、”只是為了方便說(shuō)明,即根據(jù)逗號(hào)分隔符,上述業(yè)務(wù)數(shù)據(jù)被分為5個(gè)字段。
s1013,如果業(yè)務(wù)數(shù)據(jù)包括多種類(lèi)型的分隔符,則根據(jù)所有類(lèi)型的分隔符,依次對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分獲取多組候選的原始數(shù)據(jù)。
s1014,根據(jù)標(biāo)準(zhǔn)格式數(shù)據(jù)的格式信息與多組候選的原始數(shù)據(jù)進(jìn)行匹配,分別獲取每組候選的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的匹配度。
其中,標(biāo)準(zhǔn)格式數(shù)據(jù)的格式信息應(yīng)至少包括字段數(shù)量和關(guān)鍵字符中的一個(gè)。
s1015,比較所有的匹配度,選擇匹配度最高的候選原始數(shù)據(jù)。
舉例而言,如果業(yè)務(wù)數(shù)據(jù)為:“張三,北京;600度;欠費(fèi)金額500元;滯納金0”,分隔符有逗號(hào)1個(gè)和分號(hào)3個(gè),則對(duì)業(yè)務(wù)數(shù)據(jù)拆分獲取的兩組候選的原始數(shù)據(jù)為:“張三北京、600度、欠費(fèi)金額500元、滯納金0”和“張三、北京600度欠費(fèi)金額500元滯納金0”。而標(biāo)準(zhǔn)格式數(shù)據(jù)為:“姓名、城市、繳費(fèi)類(lèi)別、應(yīng)繳費(fèi)用,滯納金”,是5個(gè)字段,可以得出上述兩組候選的原始數(shù)據(jù)“張三北京、600度、欠費(fèi)金額500元、滯納金0”中與標(biāo)準(zhǔn)格式數(shù)據(jù)的匹配度為4/5,“張三、北京600度欠費(fèi)金額500元滯納金0”與標(biāo)準(zhǔn)格式數(shù)據(jù)的匹配度為2/5。比較上述匹配度,則可以得出提取的原始數(shù)據(jù)應(yīng)為:“張三北京、600度、欠費(fèi)金額500元、滯納金0”。
綜上,本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,可根據(jù)預(yù)設(shè)的分隔符列表從各接入終端向處理平臺(tái)上傳的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù),該提取方式簡(jiǎn)單明了,易于實(shí)現(xiàn)。
基于上述實(shí)施例,在本申請(qǐng)的一個(gè)實(shí)施例中,在步驟s102中識(shí)別標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)匹配的字段之前,需要根據(jù)業(yè)務(wù)類(lèi)型以及標(biāo)準(zhǔn)格式數(shù)據(jù)中的字段特征,生成與標(biāo)準(zhǔn)格式數(shù)據(jù)的每個(gè)字段對(duì)應(yīng)的解析器。
可以理解的是,解析器可以根據(jù)標(biāo)準(zhǔn)格式數(shù)據(jù)字段的特點(diǎn)和業(yè)務(wù)特點(diǎn)決定。以電費(fèi)繳納時(shí)的電子賬單為例,與標(biāo)準(zhǔn)格式數(shù)據(jù)“姓名、城市、欠費(fèi)金額”的字段對(duì)應(yīng)的解析器包括姓名解析器、城市解析器和欠費(fèi)金額解析器。其中,姓名解析器的解析規(guī)則為“姓名”字?jǐn)?shù)通常為2-3個(gè)漢字,并且第1個(gè)或前2個(gè)字為姓氏;城市解析器的解析規(guī)則為在預(yù)設(shè)的城市列表中有可以選擇的“城市”;欠費(fèi)金額解析器的解析規(guī)則可以是以元(如可以精確到小數(shù)點(diǎn)后兩位)為單位的十進(jìn)制數(shù)字,可以設(shè)置上限為2000元。
具體地,如圖3所示,在本申請(qǐng)的一個(gè)實(shí)施例中,步驟s102可以包括以下步驟:
s1021,根據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的各字段對(duì)應(yīng)的解析器,識(shí)別標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)匹配的字段。
s1022,如果與原始數(shù)據(jù)匹配成功的為一個(gè)字段,則將字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段。
s1023,如果與原始數(shù)據(jù)匹配成功的為多個(gè)候選字段,則確定與每個(gè)候選字段對(duì)應(yīng)的權(quán)重,并發(fā)送到控制中心進(jìn)行確認(rèn),并將與確認(rèn)結(jié)果對(duì)應(yīng)的字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映 射字段。
舉例而言,如果原始數(shù)據(jù)為“張家國(guó)、張家口、600度、欠費(fèi)金額500元、滯納金0”,與張家國(guó)匹配成功的是姓名一個(gè)字段,與600度匹配成功的是繳費(fèi)類(lèi)別一個(gè)字段,與欠費(fèi)金額500元匹配成功的是欠費(fèi)金額一個(gè)字段,與滯納金0匹配成功的是滯納金一個(gè)字段,則將張家國(guó)、600度、500元、0確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段;與張家口匹配成功的有姓名和城市兩個(gè)字段,則確定張家口與姓名對(duì)應(yīng)的權(quán)重可以為5,張家口與城市對(duì)應(yīng)的權(quán)重可以為9,并發(fā)送到控制中心由管理員進(jìn)行人工確認(rèn),管理員可以確認(rèn)張家口為城市,即將城市確定為與原始數(shù)據(jù)中張家口對(duì)應(yīng)的映射字段。
需要說(shuō)明的是,上述實(shí)施例中,由控制中心處管理員確認(rèn)與原始數(shù)據(jù)中張家口對(duì)應(yīng)的映射字段為城市,這一過(guò)程可以認(rèn)為是一次訓(xùn)練,之后原始數(shù)據(jù)中再次出現(xiàn)張家口時(shí),均可認(rèn)為與張家口對(duì)應(yīng)的映射字段為城市,即處理平臺(tái)可以對(duì)上述確認(rèn)行為進(jìn)行自學(xué)習(xí),從而能夠節(jié)省人力。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,可以根據(jù)業(yè)務(wù)類(lèi)型以及標(biāo)準(zhǔn)格式數(shù)據(jù)中的字段特征,生成與標(biāo)準(zhǔn)格式數(shù)據(jù)的每個(gè)字段對(duì)應(yīng)的解析器,進(jìn)而根據(jù)該解析器,識(shí)別標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)匹配的字段,如果與原始數(shù)據(jù)匹配成功的為一個(gè)字段,則將字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,以及如果與原始數(shù)據(jù)匹配成功的為多個(gè)候選字段,則確定與每個(gè)候選字段對(duì)應(yīng)的權(quán)重,并發(fā)送到控制中心進(jìn)行確認(rèn),并將與確認(rèn)結(jié)果對(duì)應(yīng)的字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,由此,保證了與原始數(shù)據(jù)對(duì)應(yīng)的映射字段的準(zhǔn)確性。
基于上述實(shí)施例,為了檢驗(yàn)所生成的與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本的準(zhǔn)確性,在本申請(qǐng)的一個(gè)實(shí)施例中,如圖4所示,在生成與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本之后,本申請(qǐng)的數(shù)據(jù)接入處理方法還可以包括:
s104,檢測(cè)處理平臺(tái)上各接入終端的業(yè)務(wù)運(yùn)行狀況。
s105,如果檢測(cè)獲知業(yè)務(wù)運(yùn)行狀況不符合預(yù)設(shè)指標(biāo),則調(diào)整相應(yīng)接入終端中原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,并更新對(duì)應(yīng)的轉(zhuǎn)換腳本。
舉例而言,如果一個(gè)接入終端中的原始數(shù)據(jù)為“張家口、北京、200元”,且與該接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本中已將張家口與城市對(duì)應(yīng),則使用轉(zhuǎn)換腳本進(jìn)行轉(zhuǎn)換時(shí),在該接入終端的業(yè)務(wù)運(yùn)行會(huì)出現(xiàn)兩個(gè)城市字段選項(xiàng),且沒(méi)有姓名字段選項(xiàng),不符合預(yù)設(shè)指標(biāo),因此需要將該接入終端中張家口對(duì)應(yīng)城市調(diào)整為張家口與姓名對(duì)應(yīng),同時(shí)更新對(duì)應(yīng)的轉(zhuǎn)換腳本。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,能夠在生成與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本之后,對(duì)接入終端的業(yè)務(wù)運(yùn)行狀況進(jìn)行檢測(cè),并在業(yè)務(wù)運(yùn)行狀況不符合預(yù)設(shè)指標(biāo)時(shí),調(diào)整相應(yīng)接入終端中的原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,以更新對(duì)應(yīng)的轉(zhuǎn)換腳本,由此,提高轉(zhuǎn)換腳本的準(zhǔn)確性。
為了便于理解本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,可通過(guò)圖5進(jìn)行說(shuō)明:
如圖6所示,從至少一個(gè)接入終端提供的數(shù)據(jù)中隨機(jī)抽取若干條業(yè)務(wù)數(shù)據(jù)輸入處理平臺(tái),根據(jù)分隔符對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分以獲取原始數(shù)據(jù),并將原始數(shù)據(jù)與處理平臺(tái)的標(biāo) 準(zhǔn)格式數(shù)據(jù)進(jìn)行匹配,具體地,可以通過(guò)相應(yīng)的解析器解析得到與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,即獲取原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,進(jìn)而根據(jù)該對(duì)應(yīng)關(guān)系可以獲得與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。
當(dāng)原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)匹配出現(xiàn)問(wèn)題時(shí),可以將出現(xiàn)問(wèn)題的原始數(shù)據(jù)和對(duì)應(yīng)標(biāo)準(zhǔn)格式數(shù)據(jù)的字段推送至處理平臺(tái)的控制中心處,由控制中心處的管理員對(duì)上述問(wèn)題進(jìn)行確認(rèn),該確認(rèn)結(jié)果即為相應(yīng)出現(xiàn)問(wèn)題的原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,該過(guò)程可認(rèn)為是一次訓(xùn)練,有助于處理平臺(tái)進(jìn)行自學(xué)習(xí),即可根據(jù)上述訓(xùn)練自動(dòng)對(duì)對(duì)應(yīng)關(guān)系進(jìn)行調(diào)整,以提高生成映射腳本的準(zhǔn)確率。獲得了轉(zhuǎn)換腳本之后,處理平臺(tái)可以對(duì)各接入終端的原始數(shù)據(jù)進(jìn)行處理,即自動(dòng)將原始數(shù)據(jù)映射成相應(yīng)的標(biāo)準(zhǔn)格式數(shù)據(jù)。
需要說(shuō)明的是,本申請(qǐng)的上述實(shí)施例是對(duì)以文件為載體的數(shù)據(jù)標(biāo)準(zhǔn)化過(guò)程進(jìn)行的闡述,通常是針對(duì)非實(shí)時(shí)數(shù)據(jù)交互場(chǎng)景,而對(duì)于實(shí)時(shí)數(shù)據(jù)交互場(chǎng)景,如報(bào)文交互等與本申請(qǐng)的上述實(shí)施例類(lèi)似,只是數(shù)據(jù)的輸入形式和解析方式不同,為減少冗余。此處不做贅述。
圖6是本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理方法的流程圖,如圖6所示,該數(shù)據(jù)接入處理方法包括:
s201,接收攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù)。
其中,接入終端標(biāo)識(shí)可以是水、電、氣等收費(fèi)機(jī)構(gòu)的名稱(chēng),例如**燃?xì)庳?zé)任有限公司。
s202,獲取與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本。
其中,轉(zhuǎn)換腳本可以是根據(jù)業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的映射字段的對(duì)應(yīng)關(guān)系生成的。
s203,根據(jù)轉(zhuǎn)換腳本完成業(yè)務(wù)數(shù)據(jù)到標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。
需要說(shuō)明的是,如果沒(méi)有存儲(chǔ)與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本,則將業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,進(jìn)而生成與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本。
可以理解的是,沒(méi)有存儲(chǔ)與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本(即無(wú)法直接獲取與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本)可以有多種情況,例如,接入終端可以有很多,當(dāng)有新的接入終端向處理平臺(tái)上傳業(yè)務(wù)數(shù)據(jù)時(shí),處理平臺(tái)中沒(méi)有存儲(chǔ)與這些接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本;或者由于一些原因,處理平臺(tái)丟失了與一些接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本等。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理方法,可從攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù)中直接獲取或生成與接入終端表示對(duì)應(yīng)的轉(zhuǎn)換腳本,進(jìn)而根據(jù)轉(zhuǎn)換腳本完成業(yè)務(wù)數(shù)據(jù)到標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。由此,可使接入終端的異構(gòu)格式的業(yè)務(wù)數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了個(gè)接入終端業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于處理平臺(tái)的業(yè)務(wù)拓展。,為了實(shí)現(xiàn)上述實(shí)施例,本申請(qǐng)還提出了一種數(shù)據(jù)接入處理裝置。
圖7是根據(jù)本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理裝置的結(jié)構(gòu)框圖。
如圖7所示,該數(shù)據(jù)接入的處理裝置包括:提取模塊10、匹配確定模塊20和第一生成模塊30。
其中,提取模塊10用于從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù)。
具體地,為了提高處理平臺(tái)對(duì)各接入終端上傳的各種異構(gòu)格式數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理的效率,處理平臺(tái)需要建立各接入終端提供的異構(gòu)格式數(shù)據(jù)與處理平臺(tái)的標(biāo)準(zhǔn)格式數(shù)據(jù)的映射關(guān)系。
為了提高處理效率,在本申請(qǐng)的一個(gè)實(shí)施例中,提取模塊10可以先從業(yè)務(wù)數(shù)據(jù)中提取實(shí)驗(yàn)數(shù)據(jù),再?gòu)膶?shí)驗(yàn)數(shù)據(jù)中提取原始數(shù)據(jù)。
其中,實(shí)驗(yàn)數(shù)據(jù)可以是從業(yè)務(wù)數(shù)據(jù)中隨機(jī)提取的一些數(shù)據(jù),也可以是從業(yè)務(wù)數(shù)據(jù)中提取的有代表性的一些數(shù)據(jù)。需要說(shuō)明的是,不同的業(yè)務(wù)類(lèi)型對(duì)應(yīng)不同的處理平臺(tái),不同的處理平臺(tái)根據(jù)業(yè)務(wù)特點(diǎn)預(yù)先建立符合需要的標(biāo)準(zhǔn)格式數(shù)據(jù)。以賬單發(fā)送平臺(tái)為例:
賬單發(fā)送平臺(tái)預(yù)先建立的賬單標(biāo)準(zhǔn)格式數(shù)據(jù)包括:姓名、地址、項(xiàng)目名稱(chēng)、金額等字段。與該賬單發(fā)送平臺(tái)對(duì)應(yīng)的接入終端可以包括:供電機(jī)構(gòu)、供水機(jī)構(gòu)等。
為了建立接入終端的異構(gòu)格式數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的映射關(guān)系,首先,通過(guò)提取模塊10從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù)。
需要注意的是,業(yè)務(wù)數(shù)據(jù)的來(lái)源很多,可以根據(jù)應(yīng)用需要進(jìn)行選取,例如:可以是至少一個(gè)接入終端初次上傳的業(yè)務(wù)數(shù)據(jù),也可以是至少一個(gè)接入終端上傳的歷史業(yè)務(wù)數(shù)據(jù)。
在本申請(qǐng)的實(shí)施例中,從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù)的方法可以有多種,例如分隔符法、字段數(shù)量法、關(guān)鍵字法等,可以在實(shí)際應(yīng)用中根據(jù)不同的場(chǎng)景進(jìn)行選擇,本實(shí)施例對(duì)此不作限制。
需要解釋的是,原始數(shù)據(jù)是各接入終端的業(yè)務(wù)數(shù)據(jù)中要進(jìn)行標(biāo)準(zhǔn)化處理的信息內(nèi)容,例如:接入終端a上傳的業(yè)務(wù)數(shù)據(jù)包括:“張三,北京,600度,欠費(fèi)金額500元,滯納金0”,那么原始數(shù)據(jù)就是:“張三”“北京”等具體的內(nèi)容,而不是逗號(hào)等字符。
匹配確定模塊20用于將原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段。
具體地,其中,標(biāo)準(zhǔn)格式數(shù)據(jù)的字段是預(yù)先設(shè)置的,標(biāo)準(zhǔn)格式數(shù)據(jù)具有多個(gè)字段,每個(gè)字段有對(duì)應(yīng)的名稱(chēng)和功能。例如:第一字段為姓名、第二字段為地址、第三字段為項(xiàng)目名稱(chēng)、第四字段為金額等。
由于每個(gè)接入終端的數(shù)據(jù)格式中的字段名稱(chēng)和功能都是自定義的,個(gè)性化的,與標(biāo)準(zhǔn)格式數(shù)據(jù)不符。因此,需要通過(guò)匹配確定模塊20將原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)對(duì)應(yīng)的映射字段。
第一生成模塊30用于根據(jù)原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,生成與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。
具體地,第一生成模塊30根據(jù)原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。進(jìn)而,對(duì)于生成轉(zhuǎn)換腳本的接入終端后續(xù)上傳的業(yè)務(wù)數(shù)據(jù),可以根據(jù)轉(zhuǎn)換腳本自動(dòng)進(jìn)行標(biāo)準(zhǔn)格式數(shù)據(jù)的轉(zhuǎn)換處理。
需要說(shuō)明的是,與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本的內(nèi)容可以根據(jù)應(yīng)用需要進(jìn)行不同的設(shè)置。 舉例如下:
示例一:
轉(zhuǎn)換腳本為查詢(xún)存儲(chǔ)原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系的腳本。進(jìn)而,通過(guò)運(yùn)行該腳本查詢(xún)相應(yīng)的存儲(chǔ)區(qū)域獲取原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)格式數(shù)據(jù)的轉(zhuǎn)換處理。
示例二:
轉(zhuǎn)換腳本為將原始數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)映射字段的腳本。進(jìn)而,通過(guò)運(yùn)行該腳本直接將業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)格式數(shù)據(jù)的轉(zhuǎn)換處理。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理裝置,可通過(guò)提取模塊從至少一個(gè)接入終端的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù),通過(guò)匹配確定模塊將原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,進(jìn)而通過(guò)生成模塊生成與接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本。由此,可使接入終端輸入的業(yè)務(wù)數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了個(gè)接入終端業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于業(yè)務(wù)拓展。
基于上述實(shí)施例,以分隔符法為例說(shuō)明原始數(shù)據(jù)的提取過(guò)程。具體地,如圖8所示,在本申請(qǐng)的一個(gè)實(shí)施例中,所述提取模塊10包括第一識(shí)別模塊11、第一獲取模塊12、第二獲取模塊13、第三獲取模塊14和比較選擇模塊15。
其中,第一識(shí)別模塊11用于根據(jù)預(yù)設(shè)的分隔符列表識(shí)別業(yè)務(wù)數(shù)據(jù)中的分隔符。
可以理解的是,預(yù)設(shè)的分隔符列表可以包含在處理平臺(tái)系統(tǒng)中,該列表中可以包括所有可能的分隔符,例如:逗號(hào)“,”、分號(hào)“;”、空格“”等。因此,處理平臺(tái)在識(shí)別業(yè)務(wù)數(shù)據(jù)中的分隔符時(shí),需要遍歷分隔符列表,進(jìn)而可以按分隔符出現(xiàn)的概率大小對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分。
第一獲取模塊12用于在業(yè)務(wù)數(shù)據(jù)包括一種類(lèi)型的分隔符時(shí),根據(jù)分隔符對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分獲取原始數(shù)據(jù)。
例如,業(yè)務(wù)數(shù)據(jù)為:“張三,北京,600度,欠費(fèi)金額500元,滯納金0”,分隔符為逗號(hào),只有一種類(lèi)型,則通過(guò)第一獲取模塊12對(duì)業(yè)務(wù)數(shù)據(jù)拆分獲取的原始數(shù)據(jù)為:“張三、北京、600度、欠費(fèi)金額500元、滯納金0”。需要說(shuō)明的是,上述提取的原始數(shù)據(jù)中的頓號(hào)“、”只是為了方便說(shuō)明,即根據(jù)逗號(hào)分隔符,上述業(yè)務(wù)數(shù)據(jù)被分為5個(gè)字段。
第二獲取模塊13用于在業(yè)務(wù)數(shù)據(jù)包括多種類(lèi)型的分隔符時(shí),根據(jù)所有類(lèi)型的分隔符,依次對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分獲取多組候選的原始數(shù)據(jù)。
第三獲取模塊14用于根據(jù)標(biāo)準(zhǔn)格式數(shù)據(jù)的格式信息與多組候選的原始數(shù)據(jù)進(jìn)行匹配,分別獲取每組候選的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的匹配度。
其中,標(biāo)準(zhǔn)格式數(shù)據(jù)的格式信息應(yīng)至少包括字段數(shù)量和關(guān)鍵字符中的一個(gè)。
比較選擇模塊15用于比較所有的匹配度,選擇匹配度最高的候選原始數(shù)據(jù)。
舉例而言,如果業(yè)務(wù)數(shù)據(jù)為:“張三,北京;600度;欠費(fèi)金額500元;滯納金0”,分隔符有逗號(hào)1個(gè)和分號(hào)3個(gè),則通過(guò)第二獲取模塊13對(duì)業(yè)務(wù)數(shù)據(jù)拆分獲取的兩組候選的原 始數(shù)據(jù)為:“張三北京、600度、欠費(fèi)金額500元、滯納金0”和“張三、北京600度欠費(fèi)金額500元滯納金0”。而標(biāo)準(zhǔn)格式數(shù)據(jù)為:“姓名、城市、繳費(fèi)類(lèi)別、應(yīng)繳費(fèi)用,滯納金”,是5個(gè)字段,通過(guò)第三獲取模塊14可以得出上述兩組候選的原始數(shù)據(jù)“張三北京、600度、欠費(fèi)金額500元、滯納金0”中與標(biāo)準(zhǔn)格式數(shù)據(jù)的匹配度為4/5,“張三、北京600度欠費(fèi)金額500元滯納金0”與標(biāo)準(zhǔn)格式數(shù)據(jù)的匹配度為2/5。通過(guò)比較選擇模塊15比較上述匹配度,則可以得出提取的原始數(shù)據(jù)應(yīng)為:“張三北京、600度、欠費(fèi)金額500元、滯納金0”。
綜上,本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理裝置,可根據(jù)預(yù)設(shè)的分隔符列表從各接入終端向處理平臺(tái)上傳的業(yè)務(wù)數(shù)據(jù)中提取原始數(shù)據(jù),該提取方式簡(jiǎn)單明了,易于實(shí)現(xiàn)。
基于上述實(shí)施例,在本申請(qǐng)的一個(gè)實(shí)施例中,本申請(qǐng)的數(shù)據(jù)接入處理裝置還可以包括第二生成模塊40。其中,第二生成模塊40用于在識(shí)別標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)匹配的字段之前,根據(jù)處理平臺(tái)的業(yè)務(wù)類(lèi)型以及標(biāo)準(zhǔn)格式數(shù)據(jù)中的字段特征,生成與標(biāo)準(zhǔn)格式數(shù)據(jù)的每個(gè)字段對(duì)應(yīng)的解析器。
可以理解的是,解析器可以根據(jù)標(biāo)準(zhǔn)格式數(shù)據(jù)字段的特點(diǎn)和業(yè)務(wù)特點(diǎn)決定。以電費(fèi)繳納時(shí)的電子賬單為例,與標(biāo)準(zhǔn)格式數(shù)據(jù)“姓名、城市、欠費(fèi)金額”的字段對(duì)應(yīng)的解析器包括姓名解析器、城市解析器和欠費(fèi)金額解析器。其中,姓名解析器的解析規(guī)則為“姓名”字?jǐn)?shù)通常為2-3個(gè)漢字,并且第1個(gè)或前2個(gè)字為姓氏;城市解析器的解析規(guī)則為在預(yù)設(shè)的城市列表中有可以選擇的“城市”;欠費(fèi)金額解析器的解析規(guī)則可以是以元(如可以精確到小數(shù)點(diǎn)后兩位)為單位的十進(jìn)制數(shù)字,可以設(shè)置上限為2000元。
具體地,如圖9所示,在本申請(qǐng)的一個(gè)實(shí)施例中,匹配確定模塊20可以包括第二識(shí)別模塊21、第一確定模塊22和第二確定模塊23。
其中,第二識(shí)別模塊21用于根據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的各字段對(duì)應(yīng)的解析器,識(shí)別標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)匹配的字段;第一確定模塊22用于在與原始數(shù)據(jù)匹配成功的為一個(gè)字段時(shí),將字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段;第二確定模塊23用于在與原始數(shù)據(jù)匹配成功的為多個(gè)候選字段時(shí),確定與每個(gè)候選字段對(duì)應(yīng)的權(quán)重,并發(fā)送到控制中心進(jìn)行確認(rèn),并將與確認(rèn)結(jié)果對(duì)應(yīng)的字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段。
舉例而言,如果原始數(shù)據(jù)為“張家國(guó)、張家口、600度、欠費(fèi)金額500元、滯納金0”,通過(guò)第二識(shí)別模塊21識(shí)別出與張家國(guó)匹配成功的是姓名一個(gè)字段,與600度匹配成功的是繳費(fèi)類(lèi)別一個(gè)字段,與欠費(fèi)金額500元匹配成功的是欠費(fèi)金額一個(gè)字段,與滯納金0匹配成功的是滯納金一個(gè)字段,則通過(guò)第一確定模塊22將張家國(guó)、600度、500元、0確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段;與張家口匹配成功的有姓名和城市兩個(gè)字段,則通過(guò)第二確定模塊20確定張家口與姓名對(duì)應(yīng)的權(quán)重可以為5,張家口與城市對(duì)應(yīng)的權(quán)重可以為9,并發(fā)送到控制中心由管理員進(jìn)行人工確認(rèn),管理員可以確認(rèn)張家口為城市,即將城市確定為與原始數(shù)據(jù)中張家口對(duì)應(yīng)的映射字段。
需要說(shuō)明的是,上述實(shí)施例中,由控制中心處管理員確認(rèn)與原始數(shù)據(jù)中張家口對(duì)應(yīng)的映射字段為城市,這一過(guò)程可以認(rèn)為是一次訓(xùn)練,之后原始數(shù)據(jù)中再次出現(xiàn)張家口時(shí),均 可認(rèn)為與張家口對(duì)應(yīng)的映射字段為城市,即處理平臺(tái)可以對(duì)上述確認(rèn)行為進(jìn)行自學(xué)習(xí),從而能夠節(jié)省人力。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理裝置,可以通過(guò)第二生成模塊根據(jù)處理平臺(tái)的業(yè)務(wù)類(lèi)型以及標(biāo)準(zhǔn)格式數(shù)據(jù)中的字段特征,生成與標(biāo)準(zhǔn)格式數(shù)據(jù)的每個(gè)字段對(duì)應(yīng)的解析器,進(jìn)而根據(jù)該解析器,通過(guò)第二識(shí)別模塊識(shí)別標(biāo)準(zhǔn)格式數(shù)據(jù)中與原始數(shù)據(jù)匹配的字段,如果與原始數(shù)據(jù)匹配成功的為一個(gè)字段,則通過(guò)第一確定模塊將字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,以及如果與原始數(shù)據(jù)匹配成功的為多個(gè)候選字段,則通過(guò)第二確定模塊確定與每個(gè)候選字段對(duì)應(yīng)的權(quán)重,并發(fā)送到控制中心進(jìn)行確認(rèn),并將與確認(rèn)結(jié)果對(duì)應(yīng)的字段確定為與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,由此,保證了與原始數(shù)據(jù)對(duì)應(yīng)的映射字段的準(zhǔn)確性。
基于上述實(shí)施例,為了檢驗(yàn)所生成的與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本的準(zhǔn)確性,在本申請(qǐng)的一個(gè)實(shí)施例中,如圖10所示,本申請(qǐng)的數(shù)據(jù)接入處理裝置還可以包括檢測(cè)模塊50和更新模塊60。
其中,檢測(cè)模塊50用于在生成與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本之后,檢測(cè)接入終端的業(yè)務(wù)運(yùn)行狀況;更新模塊60用于在檢測(cè)模塊50檢測(cè)獲知業(yè)務(wù)運(yùn)行狀況不符合預(yù)設(shè)指標(biāo)時(shí),調(diào)整相應(yīng)接入終端中原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,并更新對(duì)應(yīng)的轉(zhuǎn)換腳本。
舉例而言,如果一個(gè)接入終端中的原始數(shù)據(jù)為“張家口、北京、200元”,且與該接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本中已將張家口與城市對(duì)應(yīng),則使用轉(zhuǎn)換腳本進(jìn)行轉(zhuǎn)換時(shí),在處理平臺(tái)上該接入終端的業(yè)務(wù)運(yùn)行會(huì)出現(xiàn)兩個(gè)城市字段選項(xiàng),且沒(méi)有姓名字段選項(xiàng),通過(guò)檢測(cè)模塊50檢測(cè)獲知該接入終端對(duì)應(yīng)的業(yè)務(wù)運(yùn)行狀況不符合預(yù)設(shè)指標(biāo),因此需要通過(guò)更新模塊60將該接入終端中張家口對(duì)應(yīng)城市調(diào)整為張家口與姓名對(duì)應(yīng),同時(shí)更新對(duì)應(yīng)的轉(zhuǎn)換腳本。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理裝置,能夠在第一生成模塊生成與各接入終端對(duì)應(yīng)的轉(zhuǎn)換腳本之后,通過(guò)檢測(cè)模塊對(duì)接入終端的業(yè)務(wù)運(yùn)行狀況進(jìn)行檢測(cè),并在業(yè)務(wù)運(yùn)行狀況不符合預(yù)設(shè)指標(biāo)時(shí),通過(guò)更新模塊調(diào)整相應(yīng)接入終端中的原始數(shù)據(jù)與映射字段的對(duì)應(yīng)關(guān)系,以更新對(duì)應(yīng)的轉(zhuǎn)換腳本,由此,提高轉(zhuǎn)換腳本的準(zhǔn)確性。
圖11是根據(jù)本申請(qǐng)一個(gè)實(shí)施例的數(shù)據(jù)接入處理裝置的結(jié)構(gòu)框圖,如圖11所示,本申請(qǐng)的數(shù)據(jù)接入處理裝置包括:接收模塊100、獲取模塊200和映射模塊300。
其中,接收模塊100用于接收攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù)。
其中,接入終端標(biāo)識(shí)可以是水、電、氣等收費(fèi)機(jī)構(gòu)的名稱(chēng),例如**燃?xì)庳?zé)任有限公司。
獲取模塊200用于獲取與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本。
其中,轉(zhuǎn)換腳本可以是根據(jù)業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的映射字段的對(duì)應(yīng)關(guān)系生成的。
映射模塊300用于根據(jù)轉(zhuǎn)換腳本完成業(yè)務(wù)數(shù)據(jù)到標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。
如圖11所示,在本申請(qǐng)的一個(gè)實(shí)施例中,數(shù)據(jù)接入處理裝置還可以包括生成模塊400。
生成模塊400用于在沒(méi)有存儲(chǔ)與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本時(shí),將業(yè)務(wù)數(shù)據(jù)中的原始數(shù)據(jù)與標(biāo)準(zhǔn)格式數(shù)據(jù)的字段進(jìn)行匹配,確定與原始數(shù)據(jù)對(duì)應(yīng)的映射字段,進(jìn)而生成與接 入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本
可以理解的是,沒(méi)有存儲(chǔ)與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本(即獲取模塊無(wú)法直接獲取與接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本)可以有多種情況,例如,接入終端可以有很多,當(dāng)有新的接入終端向處理平臺(tái)上傳業(yè)務(wù)數(shù)據(jù)時(shí),處理平臺(tái)中沒(méi)有存儲(chǔ)與這些接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本;或者由于一些原因,處理平臺(tái)丟失了與一些接入終端標(biāo)識(shí)對(duì)應(yīng)的轉(zhuǎn)換腳本等。
本申請(qǐng)實(shí)施例的數(shù)據(jù)接入處理裝置,可通過(guò)獲取模塊從攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù)中獲取與接入終端表示對(duì)應(yīng)的轉(zhuǎn)換腳本,或通過(guò)生成模塊從攜帶接入終端標(biāo)識(shí)的業(yè)務(wù)數(shù)據(jù)中生成與接入終端表示對(duì)應(yīng)的轉(zhuǎn)換腳本,進(jìn)而通過(guò)映射模塊根據(jù)轉(zhuǎn)換腳本完成業(yè)務(wù)數(shù)據(jù)到標(biāo)準(zhǔn)格式數(shù)據(jù)的映射。由此,可使接入終端的異構(gòu)格式的業(yè)務(wù)數(shù)據(jù),自動(dòng)映射成標(biāo)準(zhǔn)格式數(shù)據(jù),提高了個(gè)接入終端業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換效率,節(jié)省了人力,有利于處理平臺(tái)的業(yè)務(wù)拓展。在本說(shuō)明書(shū)的描述中,參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本申請(qǐng)的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書(shū)中,對(duì)上述術(shù)語(yǔ)的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且,描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外,在不相互矛盾的情況下,本領(lǐng)域的技術(shù)人員可以將本說(shuō)明書(shū)中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。
此外,術(shù)語(yǔ)“第一”、“第二”僅用于描述目的,而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此,限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本申請(qǐng)的描述中,“多個(gè)”的含義是至少兩個(gè),例如兩個(gè),三個(gè)等,除非另有明確具體的限定。
流程圖中或在此以其他方式描述的任何過(guò)程或方法描述可以被理解為,表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過(guò)程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分,并且本申請(qǐng)的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn),其中可以不按所示出或討論的順序,包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序,來(lái)執(zhí)行功能,這應(yīng)被本申請(qǐng)的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。
在流程圖中表示或在此以其他方式描述的邏輯和/或步驟,例如,可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表,可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中,以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用,或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說(shuō)明書(shū)而言,"計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲(chǔ)、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下:具有一個(gè)或多個(gè)布線的電連接部(電子裝置),便攜式計(jì)算機(jī)盤(pán)盒(磁裝置),隨機(jī)存取存儲(chǔ)器(ram),只讀存儲(chǔ)器(rom),可擦除可編輯只讀存儲(chǔ)器(eprom或閃速存儲(chǔ)器),光纖裝置,以及便攜式 光盤(pán)只讀存儲(chǔ)器(cdrom)。另外,計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì),因?yàn)榭梢岳缤ㄟ^(guò)對(duì)紙或其他介質(zhì)進(jìn)行光學(xué)掃描,接著進(jìn)行編輯、解譯或必要時(shí)以其他合適方式進(jìn)行處理來(lái)以電子方式獲得所述程序,然后將其存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。
應(yīng)當(dāng)理解,本申請(qǐng)的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中,多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。例如,如果用硬件來(lái)實(shí)現(xiàn),和在另一實(shí)施方式中一樣,可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門(mén)電路的離散邏輯電路,具有合適的組合邏輯門(mén)電路的專(zhuān)用集成電路,可編程門(mén)陣列(pga),現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)等。
本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成,所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),包括方法實(shí)施例的步驟之一或其組合。
此外,在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中,也可以是各個(gè)單元單獨(dú)物理存在,也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí),也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器,磁盤(pán)或光盤(pán)等。盡管上面已經(jīng)示出和描述了本申請(qǐng)的實(shí)施例,可以理解的是,上述實(shí)施例是示例性的,不能理解為對(duì)本申請(qǐng)的限制,本領(lǐng)域的普通技術(shù)人員在本申請(qǐng)的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。