本發(fā)明涉及的是可視化工具自動化處理領(lǐng)域，具體涉及一種可視化工具自動化更新機制。
背景技術(shù)：
：可視化工具自動化是一種能夠?qū)臄?shù)據(jù)獲取步驟到將數(shù)據(jù)加載到可視化工具步驟整個流程人工干預(yù)最小化的技術(shù)。與人工手動操作過程相比，該技術(shù)大體上能減少整個流程最多90%的時間?，F(xiàn)有的端到端自動化、數(shù)據(jù)整合以及數(shù)據(jù)處理的工具和技術(shù)可能有結(jié)構(gòu)不夠合理并且沒有包含關(guān)鍵的基準檢查等問題。即便是包含了基準檢查的可視化工具自動化機制，很多也需要一名專家來運行用于數(shù)據(jù)質(zhì)量檢查的代碼。本發(fā)明所描述的這個新的可視化工具自動化機制能夠很容易地被一個沒有專業(yè)背景的人所掌握并且無需很多技術(shù)方面的知識。這個結(jié)構(gòu)化的新機制可以基于預(yù)先制定的衡量標(biāo)準以及數(shù)據(jù)有效性規(guī)則的基礎(chǔ)上更徹底地檢查數(shù)據(jù)。這個機制減少了發(fā)生人為錯誤的幾率并且減少了對人力介入的依賴。通過開發(fā)一個可以憑借一系列預(yù)定義的規(guī)則來評估報告的工具，本機制能夠生成關(guān)于數(shù)據(jù)可接受性以及數(shù)據(jù)集中問題的報告，并保存這些報告以備將來進一步核查。其中部分的預(yù)定義規(guī)則是通過最初和商業(yè)伙伴討論確定的，部分是根據(jù)分析提供的數(shù)據(jù)中包含的邏輯確定的。這些規(guī)則是動態(tài)的，并且很容易被操作工具的人根據(jù)需要進行修改。技術(shù)實現(xiàn)要素：針對現(xiàn)有技術(shù)上存在的不足，本發(fā)明目的是在于提供一種可視化工具自動化更新機制，提供了數(shù)據(jù)質(zhì)量檢查結(jié)果以及處理后的數(shù)據(jù)輸出，并且還能夠把數(shù)據(jù)分析的洞見以更容易理解和閱讀的方式呈現(xiàn)。如此，每次有新數(shù)據(jù)需要更新的時候，由于自動化機制已經(jīng)替代了人工反復(fù)檢查，就減少了所耗費的時間，同時也將人為錯誤發(fā)生的可能最小化。此外，和多個流程相關(guān)的數(shù)據(jù)處理以及轉(zhuǎn)換的算法也被連接并整合在一起以此消除需要將多個算法程序逐個運行一次的情形。為了實現(xiàn)上述目的，本發(fā)明是通過如下的技術(shù)方案來實現(xiàn)：可視化工具自動化更新機制，其包括以下步驟：1、從數(shù)據(jù)倉庫按照預(yù)定的取數(shù)邏輯獲取原始數(shù)據(jù)；2、按一系列由專家創(chuàng)建的預(yù)定義規(guī)則進行質(zhì)量檢查來確保數(shù)據(jù)的正確性；3、將單個經(jīng)過質(zhì)量校正后的數(shù)據(jù)文件按照一定的數(shù)據(jù)合并規(guī)則進行合并；4、將前述合并后的數(shù)據(jù)集用sas程序按照業(yè)務(wù)需求進一步加工；5、對最終的數(shù)據(jù)集進行基于預(yù)定義的商業(yè)和技術(shù)規(guī)則的檢查并校正數(shù)據(jù)集，從而發(fā)現(xiàn)可能的缺陷或錯誤。同時提供可以直接加載到可視化工具的整合數(shù)據(jù)輸出。如果發(fā)現(xiàn)最終的數(shù)據(jù)的質(zhì)量經(jīng)檢查是無法接受的，本機制則會自動生成合適的報告以備進一步補救或改進。所述的步驟2能夠在生成有缺陷的輸出數(shù)據(jù)集之前，從最初的輸入數(shù)據(jù)源發(fā)現(xiàn)錯誤。所述的步驟3和步驟4通過對數(shù)據(jù)集進行一定的加工，以便能夠更好地在數(shù)據(jù)分析中運用。本發(fā)明特別加入了一種能夠?qū)Χ噙_8項可視化工具進行月度更新的機制。其中包括了數(shù)據(jù)質(zhì)量管理、通過應(yīng)用商業(yè)規(guī)則與數(shù)據(jù)協(xié)調(diào)規(guī)則進行數(shù)據(jù)轉(zhuǎn)換、以及通過分析數(shù)據(jù)處理及數(shù)據(jù)質(zhì)量檢查的結(jié)果來發(fā)現(xiàn)問題等流程。數(shù)據(jù)質(zhì)量管理流程進一步包含了諸如對數(shù)據(jù)質(zhì)量規(guī)則的詳細清單、以及定義和應(yīng)用數(shù)據(jù)質(zhì)量規(guī)則的流程進行標(biāo)準化、應(yīng)用已定義的規(guī)則創(chuàng)建和實施的標(biāo)準模版、通過分析結(jié)果確定異常值、及臨界值沖突等關(guān)鍵步驟。除此之外，本發(fā)明自動化了整個通常由人力手動完成的數(shù)據(jù)處理流程，包括數(shù)據(jù)獲取、數(shù)據(jù)清理、數(shù)據(jù)問題確定及糾正、數(shù)據(jù)整合、數(shù)據(jù)質(zhì)量檢查和數(shù)據(jù)可視化等步驟。系統(tǒng)從服務(wù)器上的預(yù)定地點抓取數(shù)據(jù)，部署早期數(shù)據(jù)質(zhì)量探測系統(tǒng)以監(jiān)控新數(shù)據(jù)的一致性，為更精細的數(shù)據(jù)分析添加相關(guān)字段，在數(shù)據(jù)準備的前后進行徹底的數(shù)據(jù)質(zhì)量檢查并最終將處理后的數(shù)據(jù)整體導(dǎo)入數(shù)據(jù)可視化工具以供進一步的分析及使用。本發(fā)明的有益效果：1、實現(xiàn)了整個數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)處理以及可視化工具的數(shù)據(jù)更新流程可以在一天（在原始數(shù)據(jù)有明顯問題的情況下，可能需要兩天）內(nèi)完成，并且只需要一個人完成操作。這樣就顯著地減少了人力和工時的需求。2、本發(fā)明可以實現(xiàn)對有多個數(shù)據(jù)源，總共超過50個數(shù)據(jù)集的可視化工具進行每日更新。附圖說明下面結(jié)合附圖和具體實施方式來詳細說明本發(fā)明；圖1為本發(fā)明的流程圖；圖2為本發(fā)明實施例1的可視化工具自動化處理平臺的界面圖；圖3為本發(fā)明實施例1的用戶操作平臺第三步界面圖；圖4為本發(fā)明實施例1的處理界面圖。具體實施方式為使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面結(jié)合具體實施方式，進一步闡述本發(fā)明。參照圖1，本具體實施方式采用以下技術(shù)方案：可視化工具自動化更新機制，其包括以下步驟：1、從數(shù)據(jù)倉庫按照預(yù)定的取數(shù)邏輯獲取原始數(shù)據(jù)；2、按一系列由專家創(chuàng)建的預(yù)定義規(guī)則進行質(zhì)量檢查來確保數(shù)據(jù)的正確性；3、將單個經(jīng)過質(zhì)量校正后的數(shù)據(jù)文件按照一定的數(shù)據(jù)合并規(guī)則進行合并；4、將前述合并后的數(shù)據(jù)集用sas程序按照業(yè)務(wù)需求進一步加工；5、對最終的數(shù)據(jù)集進行基于預(yù)定義的商業(yè)和技術(shù)規(guī)則的檢查并校正數(shù)據(jù)集，從而發(fā)現(xiàn)可能的缺陷或錯誤。同時提供可以直接加載到可視化工具的整合數(shù)據(jù)輸出。如果發(fā)現(xiàn)最終的數(shù)據(jù)的質(zhì)量經(jīng)檢查是無法接受的，本機制則會自動生成合適的報告以備進一步補救或改進。其步驟如下表所示：在任何機構(gòu)中，數(shù)據(jù)都是從很多不同的數(shù)據(jù)源中提取的，并且很可能已經(jīng)被觀察到其中有明顯的質(zhì)量問題。這就需要很多人為努力來進行數(shù)據(jù)質(zhì)量檢查并為相關(guān)的應(yīng)用進行數(shù)據(jù)準備。再加上etl流程的因素（例如商業(yè)規(guī)則的應(yīng)用，數(shù)據(jù)協(xié)調(diào)規(guī)則，數(shù)據(jù)轉(zhuǎn)換等），導(dǎo)致整個流程高度依賴人為操作、缺乏效率、冗長、并且容易出錯。本發(fā)明通過用有限的人力對可視化工具信息更新的整個流程實現(xiàn)自動化，減少了端對端流程中數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)整合以及數(shù)據(jù)可視化的人為介入。本發(fā)明提供了數(shù)據(jù)質(zhì)量檢查結(jié)果以及處理后的數(shù)據(jù)輸出，并且還能夠把數(shù)據(jù)分析的洞見以更容易理解和閱讀的方式呈現(xiàn)。如此，每次有新數(shù)據(jù)需要更新的時候，由于已經(jīng)淘汰人為反復(fù)檢查，就減少了所耗費的時間，同時也將人為錯誤發(fā)生的可能最小化。此外，和多個流程相關(guān)的數(shù)據(jù)處理以及轉(zhuǎn)換的算法也被連接并整合在一起以此消除需要將多個算法程序逐個運行一次的情形。本具體實施方式所描述新機制是完全自動的，并且也提供了圖形化用戶界面，如果需要，從中用戶可以靈活地選擇運行整個流程的任意部分。一般大致可以分為五個步驟：首先，從數(shù)據(jù)倉庫按照預(yù)定的取數(shù)邏輯獲取原始數(shù)據(jù)。然后，按一系列由專家創(chuàng)建的預(yù)定義規(guī)則進行質(zhì)量檢查來確保數(shù)據(jù)的正確性。這個步驟是至關(guān)重要的因為它能夠在生成有缺陷的輸出數(shù)據(jù)集之前，從最初的輸入數(shù)據(jù)源發(fā)現(xiàn)錯誤。第三步將單個經(jīng)過質(zhì)量校正后的數(shù)據(jù)文件按照一定的數(shù)據(jù)合并規(guī)則進行合并。第四步將前述合并后的數(shù)據(jù)集用sas程序按照業(yè)務(wù)需求進一步加工。第三步和第四步通過對數(shù)據(jù)集進行一定的加工，以便能夠更好地在數(shù)據(jù)分析中運用。因為在很多情況下，最初的數(shù)據(jù)集不足以發(fā)現(xiàn)可能有幫助的洞見；因此，這兩個步驟是創(chuàng)建有意義且內(nèi)容豐富的數(shù)據(jù)集所需要的。最后一步，對最終的數(shù)據(jù)集進行基于預(yù)定義的商業(yè)和技術(shù)規(guī)則的檢查并校正數(shù)據(jù)集，從而發(fā)現(xiàn)可能的缺陷或錯誤。同時提供可以直接加載到可視化工具的整合數(shù)據(jù)輸出。如果發(fā)現(xiàn)最終的數(shù)據(jù)的質(zhì)量經(jīng)檢查是無法接受的，本機制則會自動生成合適的報告以備進一步補救或改進。以前，人為完成一項對有兩個不規(guī)則數(shù)據(jù)源的可視化工具進行最新數(shù)據(jù)更新的所有步驟往往需要大約10天。這種情形通常在需要對最新數(shù)據(jù)馬上進行分析的狀況下會成為一種阻礙?，F(xiàn)在有了可視化工具自動化機制，整個數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)處理以及可視化工具的數(shù)據(jù)更新流程可以在一天（在原始數(shù)據(jù)有明顯問題的情況下，可能需要兩天）內(nèi)完成，并且只需要一個人完成操作。這樣就顯著地減少了人力和工時的需求。目前，本發(fā)明可以實現(xiàn)對有多個數(shù)據(jù)源，總共超過50個數(shù)據(jù)集的可視化工具進行每日更新。本具體實施方式所描述的機制額外的好處是它非常容易操控并且并不需要由一個專家來操作。用這個機制去評估數(shù)據(jù)中可能出現(xiàn)的缺陷會遠比人為進行質(zhì)量檢查耗時少。本發(fā)明在數(shù)據(jù)質(zhì)量檢查后生成的報告只需基礎(chǔ)的技術(shù)知識就能理解。這些報告以excel格式生成并且能夠很容易地和最終的數(shù)據(jù)使用者共享。如果希望更好地運用本發(fā)明，下一步工作可以在多個利益相關(guān)方中共同達成一個普遍歸一化的數(shù)據(jù)交互標(biāo)準。這個歸一化的標(biāo)準是由這些利益相關(guān)方形成的一種共識，共同定義了數(shù)據(jù)處理流程的時間表，數(shù)據(jù)里變量的格式和順序以及存儲、提取和展示數(shù)據(jù)的基準規(guī)則。也可以包括制定協(xié)議來約定當(dāng)提供的數(shù)據(jù)沒有遵從協(xié)定的情況下數(shù)據(jù)提供者的應(yīng)對以及補救措施以及當(dāng)預(yù)期的數(shù)據(jù)交互標(biāo)準沒有被滿足時的工作流程。實施例1：本實施例展示了可視化工具自動化處理平臺的界面，如圖2所示，（第1步：輸入–客戶原始數(shù)據(jù)；第2步：質(zhì)量檢查–客戶原始數(shù)據(jù)；第3步：合并–客戶原始數(shù)據(jù)（編輯/修改）；第4步：處理–整合的sas數(shù)據(jù)（編輯/修改）；第5步：質(zhì)量檢查–經(jīng)sas處理后的數(shù)據(jù)（編輯/修改）），以及其對業(yè)務(wù)分析效率的影響，在需要大量數(shù)據(jù)文件時尤其明顯。1.包含步驟點擊功能的平臺頁面如圖3和圖4所示，這些步驟提供直接修改數(shù)據(jù)文件并按數(shù)據(jù)類別進行處理的功能。其中圖2中，中英文翻譯對照如下表所示：英文中文step1:input–clientrawdata第1步：輸入–客戶原始數(shù)據(jù)step2:qualitycheck–clientrawdata第2步：質(zhì)量檢查–客戶原始數(shù)據(jù)step3:append–clientrawdata第3步：合并–客戶原始數(shù)據(jù)edit/modify編輯/修改step4:process–consolidatedsasdata第4步：處理–整合的sas數(shù)據(jù)step5:qualitycheck–sasprocesseddata第5步：質(zhì)量檢查–經(jīng)sas處理后的數(shù)據(jù)其中圖3中，中英文翻譯對照如下表所示：其中圖4中，中英文翻譯對照如下表所示：2.本工具在特定案例上的影響在本實施例所描述的自動化工具開始發(fā)揮作用后，和自動化相關(guān)的大部分性能指標(biāo)都有了顯著的改善。1、對人工干預(yù)的需求從相當(dāng)高的水平下降到了相對很低的水平；2、節(jié)約處理時間達90%；3、由于采取了自動化的系統(tǒng)質(zhì)量檢查，出錯的可能性顯著降低；4、高度的標(biāo)準化是本工具嵌入在設(shè)計理念中的特點；5、執(zhí)行更改的靈活性以及按類別進行數(shù)據(jù)處理時的可擴展性得到了大幅的增強，從而在未來需要進行文件更改時不必對整個系統(tǒng)作出大的改造。以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內(nèi)。本發(fā)明要求保護范圍由所附的權(quán)利要求書及其等效物界定。當(dāng)前第1頁12