本發(fā)明涉及數(shù)據(jù)處理
技術(shù)領(lǐng)域：
：，具體涉及一種數(shù)據(jù)導(dǎo)入系統(tǒng)及基于該系統(tǒng)的數(shù)據(jù)導(dǎo)入方法。
背景技術(shù)：
：：經(jīng)濟(jì)的全球化，給企業(yè)帶來了無(wú)限商機(jī)，同時(shí)也給企業(yè)帶來越來越大的壓力。業(yè)務(wù)的迅速擴(kuò)展，使企業(yè)的信息化程度需要急速提升，而企業(yè)的核心數(shù)據(jù)處理速度現(xiàn)成為抑制企業(yè)信息溝通的瓶頸。對(duì)于各類企業(yè)，隨著業(yè)務(wù)的增多與商業(yè)全球化，企業(yè)通常通過信息系統(tǒng)統(tǒng)一存儲(chǔ)各種業(yè)務(wù)數(shù)據(jù)、產(chǎn)品數(shù)據(jù)和員工管理數(shù)據(jù)等等，均需要將大量數(shù)據(jù)導(dǎo)入數(shù)據(jù)系統(tǒng)中以進(jìn)行查閱、存儲(chǔ)和實(shí)施管理。以往，導(dǎo)入原始數(shù)據(jù)這一工作通常由人工完成：即人工進(jìn)行原始數(shù)據(jù)的識(shí)別、篩選以及最后導(dǎo)入。如此，存在如下不足之處：一是效率低下，人工導(dǎo)入原始數(shù)據(jù)浪費(fèi)了大量時(shí)間；二是容易出錯(cuò)，人工導(dǎo)入原始數(shù)據(jù)很容易出錯(cuò)；三是導(dǎo)入可能不及時(shí)。以業(yè)務(wù)數(shù)據(jù)為例：當(dāng)企業(yè)與客戶處在地球的不同時(shí)區(qū)時(shí)，相互之間的數(shù)據(jù)溝通就需要跨時(shí)區(qū)進(jìn)行，如果客戶數(shù)據(jù)信息的導(dǎo)入必須由人工完成，當(dāng)客戶與企業(yè)的工作時(shí)間不同時(shí)，勢(shì)必造成客戶數(shù)據(jù)信息與企業(yè)信息系統(tǒng)的溝通不能在第一時(shí)間進(jìn)行，使客戶與企業(yè)雙方失去大量業(yè)務(wù)處理的有效時(shí)機(jī)。為了解決上述技術(shù)問題，現(xiàn)有技術(shù)中出現(xiàn)了大量的改進(jìn)技術(shù)，例如現(xiàn)有技術(shù)中的分布式順序表(distributedorderedtable簡(jiǎn)稱dot)是一種最適用于海量數(shù)據(jù)(tb到pb級(jí))下的數(shù)據(jù)庫(kù)系統(tǒng)，有效實(shí)現(xiàn)大量數(shù)據(jù)信息的導(dǎo)入。但針對(duì)該數(shù)據(jù)導(dǎo)入方式，由于數(shù)據(jù)量過大，使用dot提供的接口導(dǎo)入的時(shí)候，需要自上而下逐級(jí)尋找region分片的位置，導(dǎo)致導(dǎo)入數(shù)據(jù)時(shí)間漫長(zhǎng)，效率低下。由此可見，能否基于現(xiàn)有技術(shù)中的不足，提供一種改進(jìn)的數(shù)據(jù)導(dǎo)入技術(shù)，能夠滿足對(duì)海量數(shù)據(jù)導(dǎo)入需求，極大地提高數(shù)據(jù)導(dǎo)入速度。成為本領(lǐng)域技術(shù)人員家亟待解決的技術(shù)難題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明為了解決上述技術(shù)問題，提供一種數(shù)據(jù)導(dǎo)入系統(tǒng)及基于該系統(tǒng)的數(shù)據(jù)導(dǎo)入方法，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行導(dǎo)入和處理，極大地提高數(shù)據(jù)導(dǎo)入速度。為了達(dá)到上述技術(shù)效果，本發(fā)明包括以下技術(shù)方案：一種數(shù)據(jù)導(dǎo)入系統(tǒng)，包括相互連接的應(yīng)用服務(wù)器和計(jì)算機(jī)，所述計(jì)算機(jī)用于提供數(shù)據(jù)信息，其特征在于，所述服務(wù)器包括數(shù)據(jù)接收模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)存儲(chǔ)模塊；所述數(shù)據(jù)接收模塊用于接收計(jì)算機(jī)提供的數(shù)據(jù)信息并將所述數(shù)據(jù)信息發(fā)送至數(shù)據(jù)處理模塊；所述數(shù)據(jù)處理模塊用于將接收的數(shù)據(jù)信息導(dǎo)入界面，并提供相應(yīng)數(shù)據(jù)模板和格式信息，將所述數(shù)據(jù)信息與數(shù)據(jù)模板和格式信息相結(jié)合，生成數(shù)據(jù)文件，將所述數(shù)據(jù)文件發(fā)送至數(shù)據(jù)存儲(chǔ)模塊；所述數(shù)據(jù)存儲(chǔ)模塊，用于接收所述數(shù)據(jù)文件，并將所述數(shù)據(jù)文件存儲(chǔ)至數(shù)據(jù)庫(kù)中。進(jìn)一步的，所述數(shù)據(jù)模板是根據(jù)數(shù)據(jù)信息類型進(jìn)行預(yù)先設(shè)定。進(jìn)一步的，所述數(shù)據(jù)模板為excel數(shù)據(jù)模板，所述excel數(shù)據(jù)模板中包括至少一個(gè)頁(yè)簽；在所述頁(yè)簽中包括數(shù)據(jù)信息類型編號(hào)、與所述數(shù)據(jù)信息類型相關(guān)的一類數(shù)據(jù)中的多個(gè)屬性數(shù)據(jù)；所述獲取的數(shù)據(jù)文件為excel數(shù)據(jù)文件。進(jìn)一步的，所述數(shù)據(jù)信息包括至少一個(gè)如下的信息：數(shù)據(jù)編號(hào)、數(shù)據(jù)名稱、日期、摘要、自定義字段和與數(shù)據(jù)信息類型相關(guān)的文字信息；所述格式信息包括至少一個(gè)如下的信息：數(shù)據(jù)信息類型、長(zhǎng)度、是否是必錄信息和自定義格式。進(jìn)一步的，所述數(shù)據(jù)獲取模塊還用于將已接收的數(shù)據(jù)信息與待接收的數(shù)據(jù)信息比對(duì)，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱一致，則待接收的數(shù)據(jù)信息導(dǎo)入失敗，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱不一致，則待接收的數(shù)據(jù)信息導(dǎo)入成功。進(jìn)一步的，所述數(shù)據(jù)導(dǎo)入系統(tǒng)還包括數(shù)據(jù)檢測(cè)模塊，所述數(shù)據(jù)處理模塊將所述數(shù)據(jù)文件發(fā)送至數(shù)據(jù)檢測(cè)模塊，所述數(shù)據(jù)檢測(cè)模塊用于對(duì)所述數(shù)據(jù)文件中的數(shù)據(jù)進(jìn)行校驗(yàn)，并將校驗(yàn)后的數(shù)據(jù)文件發(fā)送至數(shù)據(jù)存儲(chǔ)模塊。一種基于上述數(shù)據(jù)導(dǎo)入系統(tǒng)的數(shù)據(jù)導(dǎo)入方法，包括以下步驟：步驟一：接收計(jì)算機(jī)提供的數(shù)據(jù)信息；步驟二：將接收的所述數(shù)據(jù)信息導(dǎo)入界面，并將所述數(shù)據(jù)信息與數(shù)據(jù)模板和格式信息相結(jié)合，生成數(shù)據(jù)文件；步驟三：將所述數(shù)據(jù)文件進(jìn)行存儲(chǔ)。進(jìn)一步的，所述步驟一還包括以下步驟：在接受計(jì)算機(jī)提供的數(shù)據(jù)信息時(shí)，將已接收的數(shù)據(jù)信息與待接收的數(shù)據(jù)信息比對(duì)，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱一致，則待接收的數(shù)據(jù)信息導(dǎo)入失敗，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱不一致，則待接收的數(shù)據(jù)信息導(dǎo)入成功；所述步驟二中還包括以下步驟：將生成的數(shù)據(jù)文件進(jìn)行校驗(yàn)，如果校驗(yàn)通過，則執(zhí)行步驟三；如校驗(yàn)未通過則結(jié)束本次數(shù)據(jù)文件導(dǎo)入，并繼續(xù)執(zhí)行步驟一。其中對(duì)數(shù)據(jù)的校驗(yàn)可以按照如下預(yù)置的規(guī)則進(jìn)行校驗(yàn)，可以包括：儲(chǔ)存單據(jù)規(guī)則、數(shù)據(jù)合法性規(guī)則、數(shù)據(jù)正確性規(guī)則、反寫規(guī)則或權(quán)限規(guī)則等，比如校驗(yàn)供應(yīng)商是否存在，日期是否小于當(dāng)期系統(tǒng)時(shí)間，以及業(yè)務(wù)邏輯檢查比如價(jià)格策略、信用額度、物料權(quán)限、反寫上游單據(jù)的邏輯等。且系統(tǒng)中預(yù)置的進(jìn)行校驗(yàn)的規(guī)則可以根據(jù)用戶需要進(jìn)行設(shè)置。進(jìn)一步的，所述數(shù)據(jù)模板是根據(jù)數(shù)據(jù)信息類型進(jìn)行預(yù)先設(shè)定；所述數(shù)據(jù)模板為excel數(shù)據(jù)模板，所述excel數(shù)據(jù)模板中包括至少一個(gè)頁(yè)簽；在所述頁(yè)簽中包括數(shù)據(jù)信息類型編號(hào)、與所述數(shù)據(jù)信息類型相關(guān)的一類數(shù)據(jù)中的多個(gè)屬性數(shù)據(jù)；所述獲取的數(shù)據(jù)文件為excel數(shù)據(jù)文件。進(jìn)一步的，所述數(shù)據(jù)信息包括至少一個(gè)如下的信息：數(shù)據(jù)編號(hào)、數(shù)據(jù)名稱、日期、摘要、自定義字段和與數(shù)據(jù)信息類型相關(guān)的文字信息；所述格式信息包括至少一個(gè)如下的信息：數(shù)據(jù)信息類型、長(zhǎng)度、是否是必錄信息和自定義格式。采用上述技術(shù)方案，包括以下有益效果：本發(fā)明提供的一種數(shù)據(jù)導(dǎo)入系統(tǒng)及基于該系統(tǒng)的數(shù)據(jù)導(dǎo)入方法，各模塊及數(shù)據(jù)導(dǎo)入流程設(shè)計(jì)科學(xué)合理，能夠快速準(zhǔn)確及時(shí)地將原始數(shù)據(jù)導(dǎo)入信息系統(tǒng)，大大提高了數(shù)據(jù)的導(dǎo)入效率，充分保證數(shù)據(jù)導(dǎo)入的準(zhǔn)確性和及時(shí)性。附圖說明圖1為本發(fā)明實(shí)施例數(shù)據(jù)導(dǎo)入系統(tǒng)一種實(shí)施方式的結(jié)構(gòu)框圖；圖2為本發(fā)明實(shí)施例數(shù)據(jù)導(dǎo)入系統(tǒng)另一種實(shí)施方式的結(jié)構(gòu)框圖；圖3為本發(fā)明實(shí)施例數(shù)據(jù)導(dǎo)入方法一種實(shí)施方式的結(jié)構(gòu)框圖；圖4為本發(fā)明實(shí)施例數(shù)據(jù)導(dǎo)入方法另一種實(shí)施方式的結(jié)構(gòu)框圖；具體實(shí)施方式下面通過具體的實(shí)施例對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。實(shí)施例：一種數(shù)據(jù)導(dǎo)入系統(tǒng)，如圖1所示，包括相互連接的應(yīng)用服務(wù)器1和計(jì)算機(jī)2，所述計(jì)算機(jī)用于提供數(shù)據(jù)信息，所述服務(wù)器包括數(shù)據(jù)接收模塊11、數(shù)據(jù)處理模塊12和數(shù)據(jù)存儲(chǔ)模塊13；所述數(shù)據(jù)接收模塊用于接收計(jì)算機(jī)提供的數(shù)據(jù)信息并將所述數(shù)據(jù)信息發(fā)送至數(shù)據(jù)處理模塊；所述數(shù)據(jù)處理模塊用于將接收的數(shù)據(jù)信息導(dǎo)入界面，并提供相應(yīng)數(shù)據(jù)模板和格式信息，將所述數(shù)據(jù)信息與數(shù)據(jù)模板和格式信息相結(jié)合，生成數(shù)據(jù)文件，將所述數(shù)據(jù)文件發(fā)送至數(shù)據(jù)存儲(chǔ)模塊；所述數(shù)據(jù)存儲(chǔ)模塊，用于接收所述數(shù)據(jù)文件，并將所述數(shù)據(jù)文件存儲(chǔ)至數(shù)據(jù)庫(kù)中。在本實(shí)施例中，進(jìn)一步的，所述數(shù)據(jù)模板是根據(jù)數(shù)據(jù)信息類型進(jìn)行預(yù)先設(shè)定。在本實(shí)施例中，進(jìn)一步的，所述數(shù)據(jù)模板為excel數(shù)據(jù)模板，所述excel數(shù)據(jù)模板中包括至少一個(gè)頁(yè)簽；在所述頁(yè)簽中包括數(shù)據(jù)信息類型編號(hào)、與所述數(shù)據(jù)信息類型相關(guān)的一類數(shù)據(jù)中的多個(gè)屬性數(shù)據(jù)；所述獲取的數(shù)據(jù)文件為excel數(shù)據(jù)文件。在本實(shí)施例中，進(jìn)一步的，所述數(shù)據(jù)信息包括至少一個(gè)如下的信息：數(shù)據(jù)編號(hào)、數(shù)據(jù)名稱、日期、摘要、自定義字段和與數(shù)據(jù)信息類型相關(guān)的文字信息；所述格式信息包括至少一個(gè)如下的信息：數(shù)據(jù)信息類型、長(zhǎng)度、是否是必錄信息和自定義格式。在本實(shí)施例中，進(jìn)一步的，所述數(shù)據(jù)獲取模塊還用于將已接收的數(shù)據(jù)信息與待接收的數(shù)據(jù)信息比對(duì)，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱一致，則待接收的數(shù)據(jù)信息導(dǎo)入失敗，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱不一致，則待接收的數(shù)據(jù)信息導(dǎo)入成功。在本實(shí)施例中，進(jìn)一步的，如圖2所示，所述數(shù)據(jù)導(dǎo)入系統(tǒng)還包括數(shù)據(jù)檢測(cè)模塊14，所述數(shù)據(jù)處理模塊將所述數(shù)據(jù)文件發(fā)送至數(shù)據(jù)檢測(cè)模塊，所述數(shù)據(jù)檢測(cè)模塊用于對(duì)所述數(shù)據(jù)文件中的數(shù)據(jù)進(jìn)行校驗(yàn)，并將校驗(yàn)后的數(shù)據(jù)文件發(fā)送至數(shù)據(jù)存儲(chǔ)模塊。本實(shí)施例還提供一種基于上述數(shù)據(jù)導(dǎo)入系統(tǒng)的數(shù)據(jù)導(dǎo)入方法，如圖3所示，包括以下步驟：s101：接收計(jì)算機(jī)提供的數(shù)據(jù)信息；s102：將接收的所述數(shù)據(jù)信息導(dǎo)入界面，并將所述數(shù)據(jù)信息與數(shù)據(jù)模板和格式信息相結(jié)合，生成數(shù)據(jù)文件；s103：將所述數(shù)據(jù)文件進(jìn)行存儲(chǔ)。在本實(shí)施例中，進(jìn)一步的，如圖4所示，所述s101還包括以下步驟：在接受計(jì)算機(jī)提供的數(shù)據(jù)信息時(shí)，將已接收的數(shù)據(jù)信息與待接收的數(shù)據(jù)信息比對(duì)，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱一致，則待接收的數(shù)據(jù)信息導(dǎo)入失敗，若已接收的數(shù)據(jù)信息的數(shù)據(jù)名稱與待接收的數(shù)據(jù)信息的數(shù)據(jù)名稱不一致，則待接收的數(shù)據(jù)信息導(dǎo)入成功；所述s102中還包括以下步驟：將生成的數(shù)據(jù)文件進(jìn)行校驗(yàn)，如果校驗(yàn)通過，則執(zhí)行s103；如校驗(yàn)未通過則結(jié)束本次數(shù)據(jù)文件導(dǎo)入，并繼續(xù)執(zhí)行s101。其中對(duì)數(shù)據(jù)的校驗(yàn)可以按照如下預(yù)置的規(guī)則進(jìn)行校驗(yàn)，可以包括：儲(chǔ)存單據(jù)規(guī)則、數(shù)據(jù)合法性規(guī)則、數(shù)據(jù)正確性規(guī)則、反寫規(guī)則或權(quán)限規(guī)則等，比如校驗(yàn)供應(yīng)商是否存在，日期是否小于當(dāng)期系統(tǒng)時(shí)間，以及業(yè)務(wù)邏輯檢查比如價(jià)格策略、信用額度、物料權(quán)限、反寫上游單據(jù)的邏輯等。且系統(tǒng)中預(yù)置的進(jìn)行校驗(yàn)的規(guī)則可以根據(jù)用戶需要進(jìn)行設(shè)置。在本實(shí)施例中，進(jìn)一步的，所述數(shù)據(jù)模板是根據(jù)數(shù)據(jù)信息類型進(jìn)行預(yù)先設(shè)定。在本實(shí)施例中，進(jìn)一步的，所述數(shù)據(jù)模板為excel數(shù)據(jù)模板，所述excel數(shù)據(jù)模板中包括至少一個(gè)頁(yè)簽；在所述頁(yè)簽中包括數(shù)據(jù)信息類型編號(hào)、與所述數(shù)據(jù)信息類型相關(guān)的一類數(shù)據(jù)中的多個(gè)屬性數(shù)據(jù)；所述獲取的數(shù)據(jù)文件為excel數(shù)據(jù)文件。在本實(shí)施例中，進(jìn)一步的，所述數(shù)據(jù)信息包括至少一個(gè)如下的信息：數(shù)據(jù)編號(hào)、數(shù)據(jù)名稱、日期、摘要、自定義字段和與數(shù)據(jù)信息類型相關(guān)的文字信息；所述格式信息包括至少一個(gè)如下的信息：數(shù)據(jù)信息類型、長(zhǎng)度、是否是必錄信息和自定義格式。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12