專利名稱：一種電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計算機應用的海量數(shù)據(jù)處理方法，尤其是涉及一種專用于電動汽車系統(tǒng)海量數(shù)據(jù)處理方法。
背景技術(shù)：
2009年初國家電網(wǎng)曾經(jīng)做了汽車充電站的十年長期發(fā)展規(guī)劃。根據(jù)規(guī)劃，到2015年我國汽車充電站數(shù)量將達到1700座；到2020年我國汽車充電站數(shù)量有望達到10000座。這一規(guī)劃在電動公交車和PHEV (插電式混合動力汽車)、EV (電動汽車)乘用車的共同拉動下，有望成為現(xiàn)實。汽車充電站的管理需要用到電動汽車管理系統(tǒng)，電動汽車管理系統(tǒng)需要采集數(shù)
據(jù)，其涉及的數(shù)據(jù)采集主要通過汽車充電站的站級系統(tǒng)采集充電站數(shù)據(jù)，將數(shù)據(jù)集中起來。對于實時采集的數(shù)據(jù)類型包括I)電能數(shù)據(jù)包括表碼、需量等。2)模擬量包括電壓、電流、有功功率等。3)電能質(zhì)量統(tǒng)計數(shù)據(jù)包括電壓、功率因數(shù)、諧波等數(shù)據(jù)。4)事件記錄數(shù)據(jù)包括終端和表計的事件記錄數(shù)據(jù)。5)開關(guān)量數(shù)據(jù)、監(jiān)控數(shù)據(jù)。而運營管理方希望展示的分析數(shù)據(jù)包括工況統(tǒng)計、計量點電量、功率因數(shù)、對象電量、負荷統(tǒng)計、極值分析數(shù)據(jù)、采集完整率、流量數(shù)據(jù)。再深入的分析包括涉及決策支持、運營效益、充電設備利用率等。由于電動汽車管理系統(tǒng)實時采集的數(shù)據(jù)相當龐大，一般的處理方式已經(jīng)很難滿足系統(tǒng)管理的要求?，F(xiàn)有的應用系統(tǒng)直接依靠采集的基礎(chǔ)數(shù)據(jù)提供用戶所需的結(jié)果需要借助數(shù)據(jù)庫的SQL統(tǒng)計分組等語句和應用服務器的實時計算能力，在數(shù)據(jù)量海量情況下對數(shù)據(jù)庫系統(tǒng)和應用系統(tǒng)都有很大的壓力，且某些應用功能要多種業(yè)務數(shù)據(jù)的綜合分析才能得出最終結(jié)果，此時實時計算更是耗時巨大，對數(shù)據(jù)庫、應用服務器的軟硬件也提出了很高的要求，由于統(tǒng)計的耗時很長，用戶的體驗也很差，特別在多用戶并發(fā)查詢操作的情況下，系統(tǒng)不能再處理用戶的請求，甚至造成系統(tǒng)內(nèi)存不足而宕機。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題，就是提供一種電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，其既能滿足系統(tǒng)管理的要求，且實時計算費時較短，統(tǒng)計耗時也不長，用戶體驗較好，對數(shù)據(jù)庫、應用服務器的軟硬件要求不高，即便在多用戶并發(fā)查詢操作的情況下，系統(tǒng)也能很好地處理用戶的請求，不會造成系統(tǒng)內(nèi)存不足而宕機。解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案如下一種電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，包括以下步驟
SI前置采集系統(tǒng)通過GPRS(通用無線分組業(yè)務)網(wǎng)絡或應用程序接口、WebService(在線應用服務)服務其中之一的方式采集充電站的實時數(shù)據(jù)，根據(jù)實時數(shù)據(jù)的屬性和業(yè)務特征按時間分表的方式錄入基礎(chǔ)數(shù)據(jù)采集庫；S2根據(jù)實時數(shù)據(jù)的屬性，調(diào)用策略庫的對應處理策略，對采集的實時數(shù)據(jù)進行預處理，形成基礎(chǔ)數(shù)據(jù)；S3根據(jù)基礎(chǔ)數(shù)據(jù)的屬性和業(yè)務特征，調(diào)度系統(tǒng)啟動自動計算任務，并賦予自動計算任務對應的屬性值；S4調(diào)度系統(tǒng)對自動計算任務按照綜合權(quán)重值的優(yōu)先級排序，通過策略庫中配置的權(quán)重閥值動態(tài)分配雙線程池運行，分析處理基礎(chǔ)數(shù)據(jù)得到以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)；S5計算服務向C0MCACHE(緩存系統(tǒng))緩存以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)；S6計算服務對C0MCACHE緩存中以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)二次處理，分析并計算出以充電樁、充電站、地區(qū)、全省為屬性的高級計算數(shù)據(jù)；S7DBSERVER存儲系統(tǒng)向計算結(jié)果數(shù)據(jù)庫存儲基礎(chǔ)計算數(shù)據(jù)和高級計算數(shù)據(jù)。所述的步驟SI中，實時數(shù)據(jù)是指電動汽車充電站運營中產(chǎn)生的一系列不同種類的實時數(shù)據(jù)，包含I)電能數(shù)據(jù)包括表碼、需量等；2)模擬量包括電壓、電流、有功功率等；3)電能質(zhì)量統(tǒng)計數(shù)據(jù)包括電壓、功率因數(shù)、諧波等數(shù)據(jù)；4)事件記錄數(shù)據(jù)包括終端和表計的事件記錄數(shù)據(jù)；5)開關(guān)量數(shù)據(jù)、監(jiān)控數(shù)據(jù)；實時數(shù)據(jù)的屬性和業(yè)務特征是指屬性是實時數(shù)據(jù)的不同種類，如表碼、瞬時量、諧波、功率因素等；業(yè)務特征是每個種類實時數(shù)據(jù)的采集密度、采集時間、數(shù)據(jù)項屬性、所屬上級對象。所述的步驟S2中的實時數(shù)據(jù)預處理至少包含以下內(nèi)容之一數(shù)據(jù)的合并、合理性檢查、表碼飛走、表碼反走、數(shù)據(jù)滿量程、缺數(shù)統(tǒng)計、缺數(shù)的線性擬合；所述的步驟S2中的策略庫是指一組可配置屬性和方法的集合，詳細定義了各種業(yè)務的參數(shù)及每種采集數(shù)據(jù)需要處理的過程和方法，存放于數(shù)據(jù)庫；所述的步驟S3中的基礎(chǔ)數(shù)據(jù)是實時數(shù)據(jù)經(jīng)過預處理后形成的新數(shù)據(jù)；所述的步驟S3中的基礎(chǔ)數(shù)據(jù)的屬性和業(yè)務特征是屬性是實時數(shù)據(jù)的種類表碼、瞬時量、諧波、功率因素等，業(yè)務特征是每個種類包含的采集密度、采集時間、數(shù)據(jù)項屬性、統(tǒng)計周期、所屬上級對象；所述的步驟S3的調(diào)度系統(tǒng)啟動自動計算任務是自動計算任務包含屬性值為計算類型、計算時間、計算方案、對象類型、對象編碼、計算開始時間、計算結(jié)束時間、是否計算子項和進度百分比；所述的計算類型的內(nèi)容包括計量點電量、對象電量、負荷分析、采集完整率、極值分析、工況統(tǒng)計、在線率、工程統(tǒng)計；所述的步驟S4中的計算任務的優(yōu)先級排序順序指策略庫中每種計算任務屬性和業(yè)務特征都中配置有加權(quán)值，是某個具體的浮點數(shù)；根據(jù)配置的加權(quán)值的大小我們對計算類型權(quán)重有如下優(yōu)先級定義計量點電量 > 工況統(tǒng)計 > 功率因數(shù)分析 > 負荷分析 > 對象電量；計算方案權(quán)重優(yōu)先級日方案 > 月方案；對象類型權(quán)重優(yōu)先級表計 > 充電樁 > 充電站 > 地市局 > 省局；計算任務綜合權(quán)重值=Σ計算任務屬性*加權(quán)值；計算任務按照綜合權(quán)重值從大到小排序，形成排序后的計算隊列；所述的步驟S4中的雙線程池是立即計算的線程池和等待隊列的線程池；配置參數(shù)包括置等待線程數(shù)量、最大線程數(shù)量、線程空閑時間、等待隊列大??；立即計算的線程池分配的計算任務立即開始運行，等待隊列的線程池當它分配的計算任務數(shù)量小于配置的等待線程數(shù)量時任務會立即分配線程運行，當計算任務數(shù)量大于配置的等待線程數(shù)量小于配置的最大線程數(shù)量時，計算任務進入等待隊列待調(diào)度；當計算任務數(shù)量大于配置的當最大線程數(shù)量時，此計算任務會被取消，計算任務會狀態(tài)設置為待調(diào)度，在延遲一段時間后再次被調(diào)度服務識別加載。所述的步驟S4中的動態(tài)分配雙線程池是指根據(jù)排序后的計算任務綜合權(quán)重值當綜合權(quán)重值大于或等于策略庫中配置的閥值時，計算任務分配給立即計算的線程池，當綜合權(quán)重值小于策略庫中配置的閥值時，計算任務分配等待隊列的線程池。所述的步驟S5中緩存的基礎(chǔ)計算數(shù)據(jù)是以計量點對象為基本單位，向緩存服務器存儲計量的業(yè)務數(shù)據(jù)包括計量點編碼、當前計算方案、計算時間、電量值、負荷值、采集數(shù)據(jù)值等數(shù)據(jù)。所述的步驟S6中基礎(chǔ)計算數(shù)據(jù)二次處理包括調(diào)用緩存服務中的電動汽車業(yè)務檔案模型，對基礎(chǔ)計量點數(shù)據(jù)統(tǒng)計、求和、極值分析，分析出全省、地區(qū)、充電站、充電樁等區(qū)域的統(tǒng)計數(shù)據(jù)。所述的步驟S7中的數(shù)據(jù)DBSERVER存儲服務是指提供統(tǒng)一調(diào)用指令訪問數(shù)據(jù)庫中的業(yè)務數(shù)據(jù)，存儲高級計算數(shù)據(jù)。有益效果本發(fā)明的核心是由獨立的計算服務系統(tǒng)按照特定的策略和方法對實時數(shù)據(jù)進行處理，按照特定的邏輯存儲符合業(yè)務要求的計算數(shù)據(jù)，業(yè)務系統(tǒng)直接訪問計算數(shù)據(jù)，這樣對業(yè)務系統(tǒng)和海量基礎(chǔ)數(shù)據(jù)之間進行了隔離，大大降低了應用系統(tǒng)處理數(shù)據(jù)的數(shù)量級，降低對數(shù)據(jù)庫的計算壓力，能夠很大程度降低系統(tǒng)的軟硬件配置費用；和海量的基礎(chǔ)的實時數(shù)據(jù)相比，計算數(shù)據(jù)對用戶業(yè)務更加友好，應用開發(fā)難度相應降低，提高業(yè)務系統(tǒng)的開發(fā)效率，降低了開發(fā)成本；計算服務靈活的配置策略保證了計算結(jié)構(gòu)的正確性和完整性；通過共享計算數(shù)據(jù)，保證多用戶的并發(fā)訪問，也能為其他外部系統(tǒng)提供數(shù)據(jù)支持。


圖I是本發(fā)明的專用于電動汽車業(yè)務的海量數(shù)據(jù)處理方法的系統(tǒng)邏輯示意圖；圖2是本發(fā)明的專用于電動汽車業(yè)務的海量數(shù)據(jù)處理方法的任務計算服務示意圖；圖3是本發(fā)明的專用于電動汽車業(yè)務的海量數(shù)據(jù)處理方法的業(yè)務流程圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明作進一步地詳細描述。圖I是本發(fā)明的專用于電動汽車業(yè)務的海量數(shù)據(jù)處理方法實施例的系統(tǒng)邏輯示意圖，它包括系統(tǒng)的總體解決方案，以及和各個服務間的調(diào)用關(guān)系。
任務調(diào)度服務根據(jù)系統(tǒng)生成的自動計算任務，權(quán)重判斷優(yōu)先級排序，提交計算服務處理(手工計算任務和業(yè)務模塊發(fā)起任務系統(tǒng)同樣能夠處理，但不在本文討論之列)。緩存服務會根據(jù)電動汽車管理系統(tǒng)模型自動構(gòu)建業(yè)務數(shù)據(jù)，提供調(diào)用的數(shù)據(jù)接口指令。計算服務是多線程、雙線程池的核心單元，負責判斷計算任務的計算類型、計算時間、計算方案、對象類型、對象編碼等信息，啟動業(yè)務邏輯計算。計算任務在計算中可以調(diào)用緩存服務中的接口指令緩存中間計算結(jié)果數(shù)據(jù)，或調(diào)用業(yè)務模型數(shù)據(jù)。當數(shù)據(jù)處理完畢后交由數(shù)據(jù)存儲服務接口指令存儲計算結(jié)果數(shù)據(jù)。圖2是本發(fā)明的專用于電動汽車業(yè)務的海量數(shù)據(jù)處理方法的任務計算服務示意圖。任務計算服務由雙線程池構(gòu)成一個是立即計算的線程池，另一個是可配置參數(shù)的等待隊列線程池，配置參數(shù)包括置等待線程數(shù)量、最大線程數(shù)量、線程空閑時間、等待隊列大小。它分配的計算任務當數(shù)量小于等待線程數(shù)量時任務會立即分配線程計算，當計算
任務數(shù)量大于等待線程數(shù)量小于最大線程數(shù)量時，計算任務進入等待隊列待調(diào)度，計算任務數(shù)量大于當最大線程數(shù)量時，此計算任務會被取消，計算任務會將狀態(tài)設置為待調(diào)度，在延遲一段時間后再次被任務調(diào)度加載。圖3是本發(fā)明的專用于電動汽車業(yè)務的海量數(shù)據(jù)處理方法的流程圖。本發(fā)明的專用于電動汽車業(yè)務的海量數(shù)據(jù)處理方法，包括下列步驟SI前置采集系統(tǒng)通過GPRS(通用無線分組業(yè)務)網(wǎng)絡或應用程序接口、WebService(在線應用服務)服務其中之一的方式采集充電站的實時數(shù)據(jù)，根據(jù)實時數(shù)據(jù)的屬性和業(yè)務特征按時間分表的方式錄入基礎(chǔ)數(shù)據(jù)采集庫。在步驟SI中的實時數(shù)據(jù)是指電動汽車充電站運營中產(chǎn)生的一系列不同種類的實時數(shù)據(jù)，包含1)電能數(shù)據(jù)包括表碼、需量等；2)模擬量包括電壓、電流、有功功率等；3)電能質(zhì)量統(tǒng)計數(shù)據(jù)包括電壓、功率因數(shù)、諧波等數(shù)據(jù)；4)事件記錄數(shù)據(jù)包括終端和表計的事件記錄數(shù)據(jù)；5)開關(guān)量數(shù)據(jù)、監(jiān)控數(shù)據(jù)；實時數(shù)據(jù)的屬性是指實時數(shù)據(jù)的不同種類，如表碼、瞬時量、諧波、功率因素等；實時數(shù)據(jù)的業(yè)務特征是每個種類實時數(shù)據(jù)的采集密度、采集時間、數(shù)據(jù)項屬性、所屬上級對象。S2根據(jù)實時數(shù)據(jù)的屬性，調(diào)用策略庫的對應處理策略，對采集的實時數(shù)據(jù)進行預處理，形成基礎(chǔ)數(shù)據(jù)。策略庫是指一組可配置屬性和方法的集合，詳細定義了各種業(yè)務的參數(shù)及每種采集數(shù)據(jù)需要處理的過程和方法，存放于數(shù)據(jù)庫。實時數(shù)據(jù)預處理至少包含以下內(nèi)容之一數(shù)據(jù)的合并、合理性檢查、表碼飛走、表碼反走、數(shù)據(jù)滿量程、缺數(shù)統(tǒng)計、缺數(shù)的線性擬合。S3根據(jù)基礎(chǔ)數(shù)據(jù)的屬性和業(yè)務特征，調(diào)度系統(tǒng)啟動自動計算任務，并賦予自動計算任務對應的屬性值?；A(chǔ)數(shù)據(jù)是指實時數(shù)據(jù)經(jīng)過預處理后形成的新數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)的屬性和業(yè)務特征分別是屬性指實時數(shù)據(jù)的種類表碼、瞬時量、諧波、功率因素等，業(yè)務特征是每個種類包含的采集密度、采集時間、數(shù)據(jù)項屬性、統(tǒng)計周期、所屬上級對象。調(diào)度系統(tǒng)啟動自動計算任務是自動計算任務包含屬性值為計算類型、計算時間、計算方案、對象類型、對象編碼、計算開始時間、計算結(jié)束時間、是否計算子項和進度百分比；計算類型的內(nèi)容包括計量點電量、對象電量、負荷分析、采集完整率、極值分析、工況統(tǒng)計、在線率、工程統(tǒng)計。S4調(diào)度系統(tǒng)對自動計算任務按照綜合權(quán)重值的優(yōu)先級排序，通過策略庫中配置的權(quán)重閥值動態(tài)分配雙線程池運行，分析處理基礎(chǔ)數(shù)據(jù)得到以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)；計算任務的優(yōu)先級排序順序指策略庫中每種計算任務屬性和業(yè)務特征都中配置有加權(quán)值，是某個具體的浮點數(shù)；根據(jù)配置的加權(quán)值的大小我們對計算類型權(quán)重有如下優(yōu)先級定義計量點電量〉工況統(tǒng)計〉功率因數(shù)分析〉負荷分析〉對象電量；計算方案權(quán)重優(yōu)先級日方案〉月方案；對象類型權(quán)重優(yōu)先級表計 > 充電樁〉充電站 > 地市局 > 省局；計算任務綜合權(quán)重值=Σ計算任務屬性*加權(quán)值；計算任務按照綜合權(quán)重值從大到小排序，
形成排序后的計算隊列；雙線程池是立即計算的線程池和等待隊列的線程池；配置參數(shù)包括置等待線程數(shù)量、最大線程數(shù)量、線程空閑時間、等待隊列大小；立即計算的線程池分配的計算任務立即開始運行，等待隊列的線程池當它分配的計算任務數(shù)量小于配置的等待線程數(shù)量時任務會立即分配線程運行，當計算任務數(shù)量大于配置的等待線程數(shù)量小于配置的最大線程數(shù)量時，計算任務進入等待隊列待調(diào)度；當計算任務數(shù)量大于配置的當最大線程數(shù)量時，此計算任務會被取消，計算任務會狀態(tài)設置為待調(diào)度，在延遲一段時間后再次被調(diào)度服務識別加載。動態(tài)分配雙線程池是指根據(jù)排序后的計算任務綜合權(quán)重值當綜合權(quán)重值大于或等于策略庫中配置的閥值時，計算任務分配給立即計算的線程池，當綜合權(quán)重值小于策略庫中配置的閥值時，計算任務分配等待隊列的線程池。S5計算服務向C0MCACHE(緩存系統(tǒng))緩存以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)?；A(chǔ)計算數(shù)據(jù)是以計量點對象為基本單位，向緩存服務器存儲計量的業(yè)務數(shù)據(jù)包括計量點編碼、當前計算方案、計算時間、電量值、負荷值、采集數(shù)據(jù)值等數(shù)據(jù)。S6計算服務對C0MCACHE緩存中以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)二次處理，分析并計算出以充電樁、充電站、地區(qū)、全省為屬性的高級計算數(shù)據(jù)；基礎(chǔ)計算數(shù)據(jù)二次處理包括調(diào)用緩存服務中的電動汽車業(yè)務檔案模型，對基礎(chǔ)計量點數(shù)據(jù)統(tǒng)計、求和、極值分析，分析出全省、地區(qū)、充電站、充電樁等區(qū)域的統(tǒng)計數(shù)據(jù)。S7DBSERVER存儲系統(tǒng)向計算結(jié)果數(shù)據(jù)庫存儲基礎(chǔ)計算數(shù)據(jù)和高級計算數(shù)據(jù)，指提供統(tǒng)一調(diào)用指令訪問數(shù)據(jù)庫中的業(yè)務數(shù)據(jù)，存儲高級計算數(shù)據(jù)。存儲數(shù)據(jù)是基于ORACLE數(shù)據(jù)庫系統(tǒng)的MERGE語句上的封裝，能高性能實現(xiàn)批量數(shù)據(jù)的新增和修改操作。
權(quán)利要求
1.一種電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，包括以下步驟 SI前置采集系統(tǒng)通過GPRS網(wǎng)絡或應用程序接口、WebService服務其中之一的方式采集充電站的實時數(shù)據(jù)，根據(jù)實時數(shù)據(jù)的屬性和業(yè)務特征按時間分表的方式錄入基礎(chǔ)數(shù)據(jù)采集庫； S2根據(jù)實時數(shù)據(jù)的屬性，調(diào)用策略庫的對應處理策略，對采集的實時數(shù)據(jù)進行預處理，形成基礎(chǔ)數(shù)據(jù)； S3根據(jù)基礎(chǔ)數(shù)據(jù)的屬性和業(yè)務特征，調(diào)度系統(tǒng)啟動自動計算任務，并賦予自動計算任務對應的屬性值； S4調(diào)度系統(tǒng)對自動計算任務按照綜合權(quán)重值的優(yōu)先級排序，通過策略庫中配置的權(quán)重閥值動態(tài)分配雙線程池運行，分析處理基礎(chǔ)數(shù)據(jù)得到以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)； S5計算服務向COMCACHE緩存以計量點對象為基礎(chǔ)的基礎(chǔ)計算數(shù)據(jù)； S6計算服務對COMCACHE緩存中的基礎(chǔ)計算數(shù)據(jù)二次處理，分析并計算出以充電樁、充電站、地區(qū)、全省為屬性的高級計算數(shù)據(jù)； S7DBSERVER存儲系統(tǒng)向計算結(jié)果數(shù)據(jù)庫存儲基礎(chǔ)計算數(shù)據(jù)和高級計算數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，其特征是所述的步驟SI中的實時數(shù)據(jù)是指電動汽車充電站運營中產(chǎn)生的一系列不同種類的實時數(shù)據(jù)，包含1)電能數(shù)據(jù)包括表碼、需量；2)模擬量包括電壓、電流、有功功率；3)電能質(zhì)量統(tǒng)計數(shù)據(jù)包括電壓、功率因數(shù)、諧波數(shù)據(jù)；4)事件記錄數(shù)據(jù)包括終端和表計的事件記錄數(shù)據(jù)；5)開關(guān)量數(shù)據(jù)、監(jiān)控數(shù)據(jù)； 實時數(shù)據(jù)的屬性和業(yè)務特征分別指實時數(shù)據(jù)的不同種類，如表碼、瞬時量、諧波、功率因素；業(yè)務特征指每個種類實時數(shù)據(jù)的采集密度、采集時間、數(shù)據(jù)項屬性、所屬上級對象。
3.根據(jù)權(quán)利要求2所述的電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，其特征是所述的步驟S2中的實時數(shù)據(jù)預處理至少包含以下內(nèi)容之一數(shù)據(jù)的合并、合理性檢查、表碼飛走、表碼反走、數(shù)據(jù)滿量程、缺數(shù)統(tǒng)計、缺數(shù)的線性擬合； 所述的策略庫是指一組可配置屬性和方法的集合，詳細定義了各種業(yè)務的參數(shù)及每種采集數(shù)據(jù)需要處理的過程和方法，存放于數(shù)據(jù)庫。
4.根據(jù)權(quán)利要求3所述的電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，其特征是所述的步驟S3中的基礎(chǔ)數(shù)據(jù)是實時數(shù)據(jù)經(jīng)過預處理后形成的新數(shù)據(jù)；所述的基礎(chǔ)數(shù)據(jù)的屬性和業(yè)務特征是屬性是實時數(shù)據(jù)的種類表碼、瞬時量、諧波、功率因素；業(yè)務特征是每個種類包含的采集密度、采集時間、數(shù)據(jù)項屬性、統(tǒng)計周期、所屬上級對象； 所述的調(diào)度系統(tǒng)啟動自動計算任務是自動計算任務包含屬性值為計算類型、計算時間、計算方案、對象類型、對象編碼、計算開始時間、計算結(jié)束時間、是否計算子項和進度百分比； 所述的計算類型的內(nèi)容包括計量點電量、對象電量、負荷分析、采集完整率、極值分析、工況統(tǒng)計、在線率、工程統(tǒng)計。
5.根據(jù)權(quán)利要求4所述的電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，其特征是所述的步驟S4中的計算任務的優(yōu)先級排序順序指策略庫中每種計算任務屬性和業(yè)務特征都中配置有加權(quán)值，是某個具體的浮點數(shù)；根據(jù)配置的加權(quán)值的大小對計算類型權(quán)重有如下優(yōu)先級定義計量點電量 > 工況統(tǒng)計 > 功率因數(shù)分析 > 負荷分析 > 對象電量；計算方案權(quán)重優(yōu)先級日方案 > 月方案；對象類型權(quán)重優(yōu)先級表計 > 充電樁 > 充電站 > 地市局>省局；計算任務綜合權(quán)重值=Σ計算任務屬性*加權(quán)值；計算任務按照綜合權(quán)重值從大到小排序，形成排序后的計算隊列； 所述的雙線程池是立即計算的線程池和等待隊列的線程池；配置參數(shù)包括置等待線程數(shù)量、最大線程數(shù)量、線程空閑時間、等待隊列大?。涣⒓从嬎愕木€程池分配的計算任務立即開始運行，等待隊列的線程池當它分配的計算任務數(shù)量小于配置的等待線程數(shù)量時任務會立即分配線程運行，當計算任務數(shù)量大于配置的等待線程數(shù)量小于配置的最大線程數(shù)量時，計算任務進入等待隊列待調(diào)度；當計算任務數(shù)量大于配置的當最大線程數(shù)量時，此計算任務會被取消，計算任務會狀態(tài)設置為待調(diào)度，在延遲一段時間后再次被調(diào)度服務識別加載； 所述的動態(tài)分配雙線程池是指根據(jù)排序后的計算任務綜合權(quán)重值當綜合權(quán)重值大于或等于策略庫中配置的閥值時，計算任務分配給立即計算的線程池，當綜合權(quán)重值小于策略庫中配置的閥值時，計算任務分配等待隊列的線程池。
6.根據(jù)權(quán)利要求5所述的電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法，其特征是所述的步驟S5中緩存的基礎(chǔ)計算數(shù)據(jù)是以計量點對象為基本單位，向緩存服務器存儲計量的業(yè)務數(shù)據(jù)包括計量點編碼、當前計算方案、計算時間、電量值、負荷值、采集數(shù)據(jù)值等數(shù)據(jù)；所述的步驟S6中基礎(chǔ)計算數(shù)據(jù)二次處理包括調(diào)用緩存服務中的電動汽車業(yè)務檔案模型，對基礎(chǔ)計量點數(shù)據(jù)統(tǒng)計、求和、極值分析，分析出全省、地區(qū)、充電站、充電樁等區(qū)域的統(tǒng)計數(shù)據(jù)；所述的步驟S7中的數(shù)據(jù)DBSERVER存儲服務是指提供統(tǒng)一調(diào)用指令訪問數(shù)據(jù)庫中的業(yè)務數(shù)據(jù)，存儲高級計算數(shù)據(jù)。
全文摘要
一種電動汽車及充換電設施系統(tǒng)海量數(shù)據(jù)處理方法S1采集充電站的實時數(shù)據(jù)并錄入基礎(chǔ)數(shù)據(jù)采集庫；S2調(diào)用策略庫的對應處理策略進行預處理；S3調(diào)度系統(tǒng)啟動自動計算任務；S4對自動計算任務按照綜合權(quán)重值的優(yōu)先級排序，通過策略庫中配置的權(quán)重閥值動態(tài)分配雙線程池運行；S5緩存基礎(chǔ)計算數(shù)據(jù)；S6基礎(chǔ)計算數(shù)據(jù)二次處理；S7存儲基礎(chǔ)計算數(shù)據(jù)和高級計算數(shù)據(jù)。本發(fā)明大大降低了應用系統(tǒng)處理數(shù)據(jù)、計算壓力和系統(tǒng)的軟硬件配置費用，對用戶業(yè)務更加友好，應用開發(fā)難度相應降低，提高業(yè)務系統(tǒng)的開發(fā)效率，降低開發(fā)成本；保證了計算結(jié)構(gòu)的正確性和完整性;通過共享計算數(shù)據(jù)，保證多用戶的并發(fā)訪問,也能為其他外部系統(tǒng)提供數(shù)據(jù)支持。
文檔編號G06F17/30GK102855293SQ20121028687
公開日2013年1月2日 申請日期2012年8月10日 優(yōu)先權(quán)日2012年8月10日
發(fā)明者趙偉, 陳銳民, 張永旺, 丁國茂, 周黎 申請人:廣東電網(wǎng)公司電力科學研究院