本發(fā)明涉及大數(shù)據(jù)處理領域,尤其是一種基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模方法及系統(tǒng)。
背景技術(shù):
教育設備是教育現(xiàn)代化的必備條件,教育決策部門需要對信息技術(shù)應用水平的調(diào)研數(shù)據(jù)進行采集和統(tǒng)計,以掌握教育信息化進程基礎設施的配備情況、明確軟硬件設施的應用情況,同時還需要基于調(diào)研數(shù)據(jù)綜合描述教育信息化的進行情況,生成相應的應用分析報告、問題診斷、規(guī)劃咨詢和發(fā)展決策等各種報告,從而利用豐富的調(diào)研數(shù)據(jù)進行各級教育信息化實施現(xiàn)狀、應用效果和發(fā)展水平的評估、咨詢及規(guī)劃。
近年來隨著教育信息化的巨額投入以及教育信息化的應用與之前預期效果的巨大落差,使得人們不得不關(guān)注教育信息化的戰(zhàn)略決策和投資收益等深層問題。越來越多的人開始關(guān)注教育信息化的績效,將教育信息化的工作重心從投資、提供信息化方案、平臺和系統(tǒng)轉(zhuǎn)向教育信息化整合、教育信息化價值評估和教育信息化可持續(xù)發(fā)展。教育信息化評價也逐步由以“投入為主”確定教育信息化水平的方式轉(zhuǎn)變?yōu)橐浴翱冃橹鳌贝_定教育信息化水平的方式,以通過對教育信息化績效評價來促進教育信息化的應用發(fā)展。然而,在教育信息化績效評價這方面,無論國外還是國內(nèi)都處于嘗試探索階段。教育信息化績效評價是一項比較困難的事情:一方面,教育信息化不僅是個動態(tài)的發(fā)展過程,而且屬于多投入多產(chǎn)出的問題,它的產(chǎn)出不易用量化指標來衡量;另一方面,在這一領域至今尚未有成熟的理論指導和合適的測量辦法和測量工具,再加上教育信息化評價本身就是一項十分困難的工作,因為教育信息化的效益具有多樣性,不僅要看其經(jīng)濟效益更主要看社會效益,不僅要看當前效益更多地表現(xiàn)為長遠效益不,僅要看固有效益更多地表現(xiàn)為派生效益。所以教育信息化績效評價己成為大家關(guān)注的十分重要且相當緊迫的話題。
教育信息化調(diào)研數(shù)據(jù)的數(shù)據(jù)類型比較復雜,并且屬于會因勢而變的動態(tài)化數(shù)據(jù),而對省市大規(guī)模的調(diào)研所產(chǎn)生的巨大數(shù)據(jù)量亟需能夠進行自動化處理和可視化分析的手段。常規(guī)的可視化手段主要對數(shù)值類的簡化類型進行對照統(tǒng)計與可視化,在數(shù)據(jù)量及類型急驟增加的情況下已經(jīng)不適應調(diào)研分析的需要,這時通常會通過聚類進行分析處理。
傳統(tǒng)的聚類分析計算方法主要有如下幾種:
1、劃分方法(partitioning methods)
給定一個有N個元組或者紀錄的數(shù)據(jù)集,劃分方法將構(gòu)造K個分組,每一個分組就代表一個聚類,K<N,且這K個分組滿足下列條件:(1)每一個分組至少包含一個數(shù)據(jù)紀錄;(2)每一個數(shù)據(jù)紀錄屬于且僅屬于一個分組(這個要求在某些模糊聚類算法中可以適當放寬)。對于給定的K,該算法首先給出一個初始的分組方法,然后通過反復迭代的方法改變分組,使得每一次改進之后的分組方案都較前一次好。好的衡量標準為:同一分組中的記錄越近越好,而不同分組中的紀錄越遠越好。使用劃分方法這個基本思想的算法有:K-MEANS算法、K-MEDOIDS算法和CLARANS算法。
大部分劃分方法是基于距離的。給定要構(gòu)建的分區(qū)數(shù)K后,劃分方法首先創(chuàng)建一個初始化劃分方案;然后,它采用一種迭代的重定位技術(shù),通過把對象從一個組移動到另一個組來進行劃分。在這些劃分方法中一個好的劃分的衡量標準一般是:同一個簇中的對象盡可能相互接近或相關(guān),而不同的簇中的對象盡可能遠離或不同。傳統(tǒng)的劃分方法只可以擴展到子空間聚類,而不是搜索整個數(shù)據(jù)空間,適用于存在很多屬性并且數(shù)據(jù)稀疏的數(shù)據(jù)。為了達到全局最優(yōu),基于劃分的聚類方法可能需要窮舉所有可能的劃分,計算量極大。實際上,大多數(shù)應用都采用了流行的啟發(fā)式方法,如k-均值和k-中心算法,漸近地提高聚類質(zhì)量,以逼近局部最優(yōu)解。這些啟發(fā)式聚類方法很適合用來尋找中小規(guī)模的數(shù)據(jù)庫中的球狀簇。為了尋找出具有復雜形狀的簇和對超大型數(shù)據(jù)集進行聚類,需要進一步擴展基于劃分的聚類方法。
2、層次方法(hierarchical methods)
層次方法對給定的數(shù)據(jù)集進行層次化分解,直到某種條件滿足為止,其具體又可分為“自底向上”和“自頂向下”兩種方案。以“自底向上”方案為例,初始時每一個數(shù)據(jù)紀錄都組成一個單獨的組,在接下來的迭代中,層次方法把那些相互鄰近的組合并成一個組,直到所有的記錄組成一個分組或者某個條件滿足為止。層次方法的代表算法有:BIRCH算法、CURE算法、CHAMELEON算法等。
層次聚類方法可以基于距離或者基于密度或連通性的。層次聚類方法的一些擴展也考慮了子空間聚類內(nèi)容。層次方法的缺陷在于,一旦一個步驟(合并或分裂)完成,它就不能被撤(不用考慮不同選擇的組合數(shù)目,計算開銷?。?;然而這種技術(shù)不能更正錯誤的決定。因此還需要對層次聚類方法的聚類質(zhì)量進行進一步提高。
3、基于模型的方法(model-based methods)
基于模型的方法給每一個聚類假定一個模型,然后去尋找能夠較好滿足這個模型的數(shù)據(jù)集。這樣一個模型可能是數(shù)據(jù)點在空間中的密度分布函數(shù)或者其它,它的一個潛在假定就是:目標數(shù)據(jù)集是由一系列的概率分布所決定的。通常基于模型的方法有兩種嘗試方向:統(tǒng)計的方案和神經(jīng)網(wǎng)絡的方案。
綜上所述,目前針對信息化調(diào)研大數(shù)據(jù)的可視化建模方法,存在以下缺陷或不足:
(1)只能實現(xiàn)簡單的局部數(shù)據(jù)型可視化,只適合同種數(shù)據(jù)類型的直觀比較,沒法形成統(tǒng)一的整體可視化分析結(jié)果,適用性不廣;
(2)可視化對數(shù)據(jù)處理過程不可逆,保真度低;
(3)無法滿足復雜的多類型數(shù)據(jù)的處理要求,不能根據(jù)不同的數(shù)據(jù)類型采取相應有效的數(shù)據(jù)預處理方法。
技術(shù)實現(xiàn)要素:
為解決上述技術(shù)問題,本發(fā)明的目的在于:提供一種適用性廣、保真度和有效的,基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模方法。
本發(fā)明的另一目的在于:提供一種適用性廣、保真度和有效的,基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模系統(tǒng)。
本發(fā)明所采取的技術(shù)方案是:
基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模方法,包括以下步驟:
進行三維可視化模型初始化;
對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理;
讀取原始的調(diào)研數(shù)據(jù),并依據(jù)三維可視化模型的要求和分類別預處理的結(jié)果,進行拓展三維直方圖數(shù)據(jù)提取和規(guī)格化,生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù),所述拓展三維直方圖的橫向維度由具有不同層次的不同的填報主體來構(gòu)成,縱向維度包括多種復雜的數(shù)據(jù)類型,Z向維度為由單元格屬性、單元高度和頂端紋理組成并與原調(diào)研數(shù)據(jù)相聯(lián)系的結(jié)構(gòu),其中,不同層次的不同的填報主體包括但不限于省、市、縣區(qū)和學校,多種復雜的數(shù)據(jù)類型包括但不限于邏輯類數(shù)據(jù)、文本類數(shù)據(jù)、數(shù)值類數(shù)據(jù)和枚舉類數(shù)據(jù),頂端紋理采用不同的色彩來表示數(shù)據(jù)的變化趨勢;
將生成的拓展三維直方圖數(shù)據(jù)按照圖形學的方法進行可視化顯示。
進一步,所述進行三維可視化模型初始化這一步驟,其包括:
確定拓展三維直方圖橫向和縱向的絕對寬度、數(shù)據(jù)間隔、所包含的最小單位維度總個數(shù);
確定拓展三維直方圖橫向坐標和縱向坐標的具體維度結(jié)構(gòu);
確定拓展三維直方圖z軸方向總的高度、地平面的位置以及不同數(shù)據(jù)類型的高度表示方法;
設置拓展三維直方圖z軸方向的頂端紋理參數(shù)。
進一步,所述對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理這一步驟,其包括:
讀入原始的調(diào)研數(shù)據(jù);
根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型進行相應的分類別處理,得到處理后的數(shù)據(jù);
將處理后的數(shù)據(jù)存檔。
進一步,所述根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型進行相應的分類別處理,得到處理后的數(shù)據(jù)這一步驟,其具體為:
若原始的調(diào)研數(shù)據(jù)為數(shù)值類數(shù)據(jù),則先確定數(shù)值類數(shù)據(jù)的取值范圍,然后確定數(shù)值類數(shù)據(jù)的平均值,再確定數(shù)值類數(shù)據(jù)數(shù)值映射的方法,最后標識單個數(shù)值類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為邏輯類數(shù)據(jù),則先列舉出邏輯類數(shù)據(jù)各個調(diào)研項的取值范圍,然后確定邏輯類數(shù)據(jù)的參考值,再確定邏輯類數(shù)據(jù)數(shù)值映射的方法,最后標識單個邏輯類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為文本類數(shù)據(jù),則先列舉出文本類數(shù)據(jù)的關(guān)鍵詞,然后提取文本類數(shù)據(jù)的摘要,再確定文本類數(shù)據(jù)關(guān)鍵詞映射的方法,最后標識單個文本類數(shù)據(jù)的變化趨勢。
進一步,所述讀取原始的調(diào)研數(shù)據(jù),并依據(jù)三維可視化模型的要求和分類別預處理的結(jié)果,進行拓展三維直方圖數(shù)據(jù)提取和規(guī)格化,生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù)這一步驟,其包括:
逐條讀取原始的調(diào)研數(shù)據(jù),根據(jù)預定復合結(jié)構(gòu)調(diào)研數(shù)據(jù)的數(shù)據(jù)格式對原始的調(diào)研數(shù)據(jù)進行逐層深入解析,直到解析出原始的調(diào)研數(shù)據(jù)最小的數(shù)據(jù)單元;
根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型、三維可視化模型的要求和分類別預處理的結(jié)果,提取原始的調(diào)研數(shù)據(jù)所需要的圖形化表示數(shù)據(jù),并計算出相應的數(shù)據(jù)變化趨勢;
將提取的圖形化表示數(shù)據(jù)和計算出的數(shù)據(jù)變化趨勢進行三維可視化模型的規(guī)格化,得到符合三維可視化模型標準格式的數(shù)據(jù);
將符合三維可視化模型標準格式的數(shù)據(jù)寫入拓展三維直方圖數(shù)據(jù)集。
進一步,所述進行拓展三維直方圖數(shù)據(jù)規(guī)格化這一步驟,其包括:
以地平面作為參考的平面,根據(jù)不同數(shù)據(jù)類型的特點,制定立方高度歸一化對策略;
根據(jù)立方高度歸一化對策略對拓展三維直方圖數(shù)據(jù)進行規(guī)格化處理,所述拓展三維直方圖Z軸方向的高度高于地平面或低于地平面。
本發(fā)明所采取的另一技術(shù)方案是:
基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模系統(tǒng),包括:
三維可視化模型初始化模塊,用于進行三維可視化模型初始化;
調(diào)研數(shù)據(jù)分類別預處理模塊,用于對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理;
拓展三維直方圖數(shù)據(jù)生成模塊,用于讀取原始的調(diào)研數(shù)據(jù),并依據(jù)三維可視化模型的要求和分類別預處理的結(jié)果,進行拓展三維直方圖數(shù)據(jù)提取和規(guī)格化,生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù),所述拓展三維直方圖的橫向維度由具有不同層次的不同的填報主體來構(gòu)成,縱向維度包括多種復雜的數(shù)據(jù)類型,Z向維度為由單元格屬性、單元高度和頂端紋理組成并與原調(diào)研數(shù)據(jù)相聯(lián)系的結(jié)構(gòu),其中,不同層次的不同的填報主體包括但不限于省、市、縣區(qū)和學校,多種復雜的數(shù)據(jù)類型包括但不限于邏輯類數(shù)據(jù)、文本類數(shù)據(jù)、數(shù)值類數(shù)據(jù)和枚舉類數(shù)據(jù),頂端紋理采用不同的色彩來表示數(shù)據(jù)的變化趨勢;
調(diào)研數(shù)據(jù)拓展三維直方圖顯示模塊,用于將生成的拓展三維直方圖數(shù)據(jù)按照圖形學的方法進行可視化顯示。
進一步,所述調(diào)研數(shù)據(jù)分類別預處理模塊包括:
數(shù)據(jù)讀入單元,用于讀入原始的調(diào)研數(shù)據(jù);
分類別處理單元,用于根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型進行相應的分類別處理,得到處理后的數(shù)據(jù);
存檔單元,用于將處理后的數(shù)據(jù)存檔。
進一步,所述分類別處理單元具體執(zhí)行以下操作:
若原始的調(diào)研數(shù)據(jù)為數(shù)值類數(shù)據(jù),則先確定數(shù)值類數(shù)據(jù)的取值范圍,然后確定數(shù)值類數(shù)據(jù)的平均值,再確定數(shù)值類數(shù)據(jù)數(shù)值映射的方法,最后標識單個數(shù)值類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為邏輯類數(shù)據(jù),則先列舉出邏輯類數(shù)據(jù)各個調(diào)研項的取值范圍,然后確定邏輯類數(shù)據(jù)的參考值,再確定邏輯類數(shù)據(jù)數(shù)值映射的方法,最后標識單個邏輯類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為文本類數(shù)據(jù),則先列舉出文本類數(shù)據(jù)的關(guān)鍵詞,然后提取文本類數(shù)據(jù)的摘要,再確定文本類數(shù)據(jù)關(guān)鍵詞映射的方法,最后標識單個文本類數(shù)據(jù)的變化趨勢。
進一步,所述拓展三維直方圖數(shù)據(jù)生成模塊包括:
讀取與解析單元,用于逐條讀取原始的調(diào)研數(shù)據(jù),根據(jù)預定復合結(jié)構(gòu)調(diào)研數(shù)據(jù)的數(shù)據(jù)格式對原始的調(diào)研數(shù)據(jù)進行逐層深入解析,直到解析出原始的調(diào)研數(shù)據(jù)最小的數(shù)據(jù)單元;
提取與計算單元,用于根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型、三維可視化模型的要求和分類別預處理的結(jié)果,提取原始的調(diào)研數(shù)據(jù)所需要的圖形化表示數(shù)據(jù),并計算出相應的數(shù)據(jù)變化趨勢;
規(guī)格化單元,用于將提取的圖形化表示數(shù)據(jù)和計算出的數(shù)據(jù)變化趨勢進行三維可視化模型的規(guī)格化,得到符合三維可視化模型標準格式的數(shù)據(jù);
寫入單元,用于將符合三維可視化模型標準格式的數(shù)據(jù)寫入拓展三維直方圖數(shù)據(jù)集。
本發(fā)明的方法的有益效果是:包括進行三維可視化模型初始化,對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理,進行拓展三維直方圖數(shù)據(jù)提取和規(guī)格化以及進行可視化顯示的步驟,基于拓展三維直方圖,通過拓展三維直方圖數(shù)據(jù)提取和規(guī)格化生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù)并進行可視化顯示,能形成統(tǒng)一的整體可視化分析結(jié)果,適用性更廣;拓展三維直方圖Z向維度為由單元格屬性、單元高度和頂端紋理組成并與原調(diào)研數(shù)據(jù)相聯(lián)系的結(jié)構(gòu),通過拓展三維直方圖這一可視化圖表與原調(diào)研數(shù)據(jù)相聯(lián)系,克服了常規(guī)可視化對數(shù)據(jù)處理的不可逆性缺陷,保真度高;拓展三維直方圖縱向維度包括多種復雜的數(shù)據(jù)類型,對數(shù)據(jù)類型進行了擴展,并增設了對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理,滿足了復雜的多類型數(shù)據(jù)的處理要求,能根據(jù)不同的數(shù)據(jù)類型采取相應有效的數(shù)據(jù)預處理方法,更加有效。
本發(fā)明的系統(tǒng)的有益效果是:包括三維可視化模型初始化模塊、調(diào)研數(shù)據(jù)分類別預處理模塊、拓展三維直方圖數(shù)據(jù)生成模塊和調(diào)研數(shù)據(jù)拓展三維直方圖顯示模塊,基于拓展三維直方圖,在拓展三維直方圖數(shù)據(jù)生成模塊和調(diào)研數(shù)據(jù)拓展三維直方圖顯示模塊中通過拓展三維直方圖數(shù)據(jù)提取和規(guī)格化生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù)并進行可視化顯示,能形成統(tǒng)一的整體可視化分析結(jié)果,適用性更廣;拓展三維直方圖數(shù)據(jù)生成模塊的拓展三維直方圖Z向維度為由單元格屬性、單元高度和頂端紋理組成并與原調(diào)研數(shù)據(jù)相聯(lián)系的結(jié)構(gòu),通過拓展三維直方圖這一可視化圖表與原調(diào)研數(shù)據(jù)相聯(lián)系,克服了常規(guī)可視化對數(shù)據(jù)處理的不可逆性缺陷,保真度高;拓展三維直方圖數(shù)據(jù)生成模塊的拓展三維直方圖縱向維度包括多種復雜的數(shù)據(jù)類型,對數(shù)據(jù)類型進行了擴展,并增設了對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理的調(diào)研數(shù)據(jù)分類別預處理模塊,滿足了復雜的多類型數(shù)據(jù)的處理要求,能根據(jù)不同的數(shù)據(jù)類型采取相應有效的數(shù)據(jù)預處理方法,更加有效。
附圖說明
圖1為本發(fā)明基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模方法的步驟流程圖;
圖2為本發(fā)明根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型進行相應的分類別處理步驟的流程圖;
圖3為本發(fā)明基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模的整體結(jié)構(gòu)框圖。
具體實施方式
參照圖1,基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模方法,包括以下步驟:
進行三維可視化模型初始化;
對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理;
讀取原始的調(diào)研數(shù)據(jù),并依據(jù)三維可視化模型的要求和分類別預處理的結(jié)果,進行拓展三維直方圖數(shù)據(jù)提取和規(guī)格化,生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù),所述拓展三維直方圖的橫向維度由具有不同層次的不同的填報主體來構(gòu)成,縱向維度包括多種復雜的數(shù)據(jù)類型,Z向維度為由單元格屬性、單元高度和頂端紋理組成并與原調(diào)研數(shù)據(jù)相聯(lián)系的結(jié)構(gòu),其中,不同層次的不同的填報主體包括但不限于省、市、縣區(qū)和學校,多種復雜的數(shù)據(jù)類型包括但不限于邏輯類數(shù)據(jù)、文本類數(shù)據(jù)、數(shù)值類數(shù)據(jù)和枚舉類數(shù)據(jù),頂端紋理采用不同的色彩來表示數(shù)據(jù)的變化趨勢;
將生成的拓展三維直方圖數(shù)據(jù)按照圖形學的方法進行可視化顯示。
進一步作為優(yōu)選的實施方式,所述進行三維可視化模型初始化這一步驟,其包括:
確定拓展三維直方圖橫向和縱向的絕對寬度、數(shù)據(jù)間隔、所包含的最小單位維度總個數(shù);
確定拓展三維直方圖橫向坐標和縱向坐標的具體維度結(jié)構(gòu);
確定拓展三維直方圖z軸方向總的高度、地平面的位置以及不同數(shù)據(jù)類型的高度表示方法;
設置拓展三維直方圖z軸方向的頂端紋理參數(shù)。
參照圖2,進一步作為優(yōu)選的實施方式,所述對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理這一步驟,其包括:
讀入原始的調(diào)研數(shù)據(jù);
根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型進行相應的分類別處理,得到處理后的數(shù)據(jù);
將處理后的數(shù)據(jù)存檔。
參照圖2,進一步作為優(yōu)選的實施方式,所述根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型進行相應的分類別處理,得到處理后的數(shù)據(jù)這一步驟,其具體為:
若原始的調(diào)研數(shù)據(jù)為數(shù)值類數(shù)據(jù),則先確定數(shù)值類數(shù)據(jù)的取值范圍,然后確定數(shù)值類數(shù)據(jù)的平均值,再確定數(shù)值類數(shù)據(jù)數(shù)值映射的方法,最后標識單個數(shù)值類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為邏輯類數(shù)據(jù),則先列舉出邏輯類數(shù)據(jù)各個調(diào)研項的取值范圍,然后確定邏輯類數(shù)據(jù)的參考值,再確定邏輯類數(shù)據(jù)數(shù)值映射的方法,最后標識單個邏輯類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為文本類數(shù)據(jù),則先列舉出文本類數(shù)據(jù)的關(guān)鍵詞,然后提取文本類數(shù)據(jù)的摘要,再確定文本類數(shù)據(jù)關(guān)鍵詞映射的方法,最后標識單個文本類數(shù)據(jù)的變化趨勢。
進一步作為優(yōu)選的實施方式,所述讀取原始的調(diào)研數(shù)據(jù),并依據(jù)三維可視化模型的要求和分類別預處理的結(jié)果,進行拓展三維直方圖數(shù)據(jù)提取和規(guī)格化,生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù)這一步驟,其包括:
逐條讀取原始的調(diào)研數(shù)據(jù),根據(jù)預定復合結(jié)構(gòu)調(diào)研數(shù)據(jù)的數(shù)據(jù)格式對原始的調(diào)研數(shù)據(jù)進行逐層深入解析,直到解析出原始的調(diào)研數(shù)據(jù)最小的數(shù)據(jù)單元;
根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型、三維可視化模型的要求和分類別預處理的結(jié)果,提取原始的調(diào)研數(shù)據(jù)所需要的圖形化表示數(shù)據(jù),并計算出相應的數(shù)據(jù)變化趨勢;
將提取的圖形化表示數(shù)據(jù)和計算出的數(shù)據(jù)變化趨勢進行三維可視化模型的規(guī)格化,得到符合三維可視化模型標準格式的數(shù)據(jù);
將符合三維可視化模型標準格式的數(shù)據(jù)寫入拓展三維直方圖數(shù)據(jù)集。
進一步作為優(yōu)選的實施方式,所述進行拓展三維直方圖數(shù)據(jù)規(guī)格化這一步驟,其包括:
以地平面作為參考的平面,根據(jù)不同數(shù)據(jù)類型的特點,制定立方高度歸一化對策略;
根據(jù)立方高度歸一化對策略對拓展三維直方圖數(shù)據(jù)進行規(guī)格化處理,所述拓展三維直方圖Z軸方向的高度高于地平面或低于地平面。
參照圖3,基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模系統(tǒng),包括:
三維可視化模型初始化模塊,用于進行三維可視化模型初始化;
調(diào)研數(shù)據(jù)分類別預處理模塊,用于對調(diào)研數(shù)據(jù)按照具體的數(shù)據(jù)類型進行分類別預處理;
拓展三維直方圖數(shù)據(jù)生成模塊,用于讀取原始的調(diào)研數(shù)據(jù),并依據(jù)三維可視化模型的要求和分類別預處理的結(jié)果,進行拓展三維直方圖數(shù)據(jù)提取和規(guī)格化,生成符合三維可視化模型標準格式的拓展三維直方圖數(shù)據(jù),所述拓展三維直方圖的橫向維度由具有不同層次的不同的填報主體來構(gòu)成,縱向維度包括多種復雜的數(shù)據(jù)類型,Z向維度為由單元格屬性、單元高度和頂端紋理組成并與原調(diào)研數(shù)據(jù)相聯(lián)系的結(jié)構(gòu),其中,不同層次的不同的填報主體包括但不限于省、市、縣區(qū)和學校,多種復雜的數(shù)據(jù)類型包括但不限于邏輯類數(shù)據(jù)、文本類數(shù)據(jù)、數(shù)值類數(shù)據(jù)和枚舉類數(shù)據(jù),頂端紋理采用不同的色彩來表示數(shù)據(jù)的變化趨勢;
調(diào)研數(shù)據(jù)拓展三維直方圖顯示模塊,用于將生成的拓展三維直方圖數(shù)據(jù)按照圖形學的方法進行可視化顯示。
進一步作為優(yōu)選的實施方式,所述調(diào)研數(shù)據(jù)分類別預處理模塊包括:
數(shù)據(jù)讀入單元,用于讀入原始的調(diào)研數(shù)據(jù);
分類別處理單元,用于根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型進行相應的分類別處理,得到處理后的數(shù)據(jù);
存檔單元,用于將處理后的數(shù)據(jù)存檔。
進一步作為優(yōu)選的實施方式,所述分類別處理單元具體執(zhí)行以下操作:
若原始的調(diào)研數(shù)據(jù)為數(shù)值類數(shù)據(jù),則先確定數(shù)值類數(shù)據(jù)的取值范圍,然后確定數(shù)值類數(shù)據(jù)的平均值,再確定數(shù)值類數(shù)據(jù)數(shù)值映射的方法,最后標識單個數(shù)值類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為邏輯類數(shù)據(jù),則先列舉出邏輯類數(shù)據(jù)各個調(diào)研項的取值范圍,然后確定邏輯類數(shù)據(jù)的參考值,再確定邏輯類數(shù)據(jù)數(shù)值映射的方法,最后標識單個邏輯類數(shù)據(jù)的變化趨勢;若原始的調(diào)研數(shù)據(jù)為文本類數(shù)據(jù),則先列舉出文本類數(shù)據(jù)的關(guān)鍵詞,然后提取文本類數(shù)據(jù)的摘要,再確定文本類數(shù)據(jù)關(guān)鍵詞映射的方法,最后標識單個文本類數(shù)據(jù)的變化趨勢。
進一步作為優(yōu)選的實施方式,所述拓展三維直方圖數(shù)據(jù)生成模塊包括:
讀取與解析單元,用于逐條讀取原始的調(diào)研數(shù)據(jù),根據(jù)預定復合結(jié)構(gòu)調(diào)研數(shù)據(jù)的數(shù)據(jù)格式對原始的調(diào)研數(shù)據(jù)進行逐層深入解析,直到解析出原始的調(diào)研數(shù)據(jù)最小的數(shù)據(jù)單元;
提取與計算單元,用于根據(jù)原始的調(diào)研數(shù)據(jù)的具體數(shù)據(jù)類型、三維可視化模型的要求和分類別預處理的結(jié)果,提取原始的調(diào)研數(shù)據(jù)所需要的圖形化表示數(shù)據(jù),并計算出相應的數(shù)據(jù)變化趨勢;
規(guī)格化單元,用于將提取的圖形化表示數(shù)據(jù)和計算出的數(shù)據(jù)變化趨勢進行三維可視化模型的規(guī)格化,得到符合三維可視化模型標準格式的數(shù)據(jù);
寫入單元,用于將符合三維可視化模型標準格式的數(shù)據(jù)寫入拓展三維直方圖數(shù)據(jù)集。
下面結(jié)合說明書附圖和具體實施例對本發(fā)明作進一步解釋和說明。
實施例一
針對現(xiàn)有技術(shù)適用性不廣、保真度低和不夠有效的問題,本發(fā)明提出了一種新的基于拓展三維直方圖的調(diào)研大數(shù)據(jù)可視化建模方法及系統(tǒng)。本發(fā)明最關(guān)鍵的是要將多種層次、多維度、多種類型的調(diào)研數(shù)據(jù)處理過程,從常規(guī)同種數(shù)據(jù)類型的直觀比較方式,聚類上升為統(tǒng)一的整體可視化分析模型。本發(fā)明基于拓展三維直方圖,而拓展三維直方圖以三維直方圖為基礎進行了擴維:橫向維度由簡單同一種層次的不同部分組成擴展到由省、市、縣區(qū)和學校這樣具有不同層次的不同的填報主體構(gòu)成,為后續(xù)展開不同粒度的大數(shù)據(jù)處理提供了條件;縱向維度由通常的純數(shù)值數(shù)據(jù)類型拓展為包括邏輯類數(shù)據(jù)、文本類數(shù)據(jù)、數(shù)值類數(shù)據(jù)和枚舉類數(shù)據(jù)等多種復雜數(shù)據(jù)類型的集合,大大擴充了可視化三維模型的表達能力與適用范圍;Z向維度由通常的單一高度拓展成由單元格屬性、單元高度和頂端紋理這三大內(nèi)涵組成的,并與原調(diào)研數(shù)據(jù)相聯(lián)系的高保真結(jié)構(gòu)。其中,頂端紋理采用不同的色彩來表示數(shù)據(jù)的變化趨勢,為時態(tài)數(shù)據(jù)庫的應用奠定了基礎。在可視化建模過程中,本發(fā)明對新引進的復雜數(shù)據(jù)類型進行預處理時,根據(jù)不同數(shù)據(jù)類型的特點,制定了立方高度歸一化策略。為此,本發(fā)明還專門引進了地平面作為參考的平面,使得擴展后的高度可以通過高于地平面或低于地平面的方式進行表示,增強了立方高度的內(nèi)涵和表達能力。
如圖3所示,本發(fā)明的調(diào)研大數(shù)據(jù)可視化建模系統(tǒng)包括調(diào)研數(shù)據(jù)分類別預處理模塊、三維可視化模型初始化模塊、拓展三維直方圖數(shù)據(jù)生成模塊和調(diào)研數(shù)據(jù)拓展三維直方圖顯示模塊這四大部分。其中,調(diào)研數(shù)據(jù)分類別預處理模塊,用于對不同類別的調(diào)研數(shù)據(jù)進行預處理。三維可視化模型初始化模塊,用于初始化可視化三維模型的寬度、高度和精度等需要初始化的數(shù)據(jù)。拓展三維直方圖數(shù)據(jù)生成模塊把原始的調(diào)研數(shù)據(jù)讀取進來,并依據(jù)三維可視化模型的要求,進行數(shù)據(jù)的組合和規(guī)格化,最終得到規(guī)范化的三維可視化模型標準格式數(shù)據(jù)。調(diào)研數(shù)據(jù)拓展三維直方圖顯示模塊,把拓展三維直方圖數(shù)據(jù)生成模塊標準化的數(shù)據(jù)依照圖形學的方法,逐行逐列,按高度及頂端紋理來組成能夠直接可視化顯示的輸出數(shù)據(jù)。
如圖1所示,本發(fā)明的調(diào)研大數(shù)據(jù)可視化建模方法包括以下步驟:
(1)進行三維可視化模型的初始化,包括:確定橫向和縱向的絕對的寬度以及數(shù)據(jù)的間隔;確定一共有多少個最小單位維度;根據(jù)調(diào)研系統(tǒng)的需求,還可以確定橫縱坐標的維度是一個怎么樣的包含結(jié)構(gòu);z軸方向要確定總的高度、地平面的位置和不同的數(shù)據(jù)類型的高度表示方法,從而給不同平面位置純數(shù)值的高度賦予不同的與信息技術(shù)應用水平相關(guān)的現(xiàn)實意義。同時,在初始化時還要制定一套差異化的頂端紋理來表示數(shù)值的變化。
(2)對調(diào)研數(shù)據(jù)進行分類別預處理。如圖2所示,分類別預處理主要處理三種主要類型的數(shù)據(jù):數(shù)值類數(shù)據(jù),先確定數(shù)值類數(shù)據(jù)的取值范圍,然后確定數(shù)值類數(shù)據(jù)的平均值,再確定數(shù)值類數(shù)據(jù)數(shù)值映射的方法,最后標識單個數(shù)值類數(shù)據(jù)的變化趨勢;邏輯類數(shù)據(jù),先列舉出邏輯類數(shù)據(jù)各個調(diào)研項的取值范圍,然后確定邏輯類數(shù)據(jù)的參考值,再確定邏輯類數(shù)據(jù)數(shù)值映射的方法,最后標識單個邏輯類數(shù)據(jù)的變化趨勢;文本類數(shù)據(jù),先列舉出文本類數(shù)據(jù)的關(guān)鍵詞,然后提取文本類數(shù)據(jù)的摘要,再確定文本類數(shù)據(jù)關(guān)鍵詞映射的方法,最后標識單個文本類數(shù)據(jù)的變化趨勢。
(3)拓展三維直方圖數(shù)據(jù)的生成。
生成拓展三維直方圖數(shù)據(jù)的具體過程為:首先,要逐條讀取調(diào)研的原數(shù)據(jù),根據(jù)預定復合結(jié)構(gòu)調(diào)研數(shù)據(jù)的數(shù)據(jù)格式(即設定要解析的目標格式)對原始的調(diào)研數(shù)據(jù)進行逐層深入解析,直到解析出原始的調(diào)研數(shù)據(jù)最小的數(shù)據(jù)單元;再根據(jù)調(diào)研的原數(shù)據(jù)的數(shù)據(jù)類型,依據(jù)步驟(2)中相關(guān)類型數(shù)據(jù)的處理方法,去提取所需要的圖形化表示數(shù)據(jù),并計算出相應數(shù)據(jù)變化的趨勢;然后,把這些提取和計算出的數(shù)據(jù)進行三維可視化模型的規(guī)格化,最后統(tǒng)一寫入到拓展三維直方圖數(shù)據(jù)集中。
(4)調(diào)研數(shù)據(jù)拓展三維直方圖顯示。
此步驟用來把上一步驟(3)中生成的具有一定意義的拓展三維直方圖數(shù)據(jù),變成完全按照圖形學要求的格式來表示的數(shù)據(jù)集,以進行可視化顯示處理。此步驟能規(guī)定三維可視化模型的長寬高,各個行列間的間隔及高度以及頂端貼圖等紋理的具體顯示要求,具備能夠進行顯示,移動、轉(zhuǎn)動、向各個維度坐標軸方向進行投影切割等操作的基本條件。
實施例二
教育信息技術(shù)應用水平的評測是一個復雜的系統(tǒng)過程,其應用實施例一的可視化建模系統(tǒng)進行建模的過程具體包括以下步驟:
(1)建立信息技術(shù)應用評測的指標體系,包括各個規(guī)劃、管理、投入、應用、培訓等評價的主要指標,并保持在歷次評測中的相對穩(wěn)定性;
(2)建立網(wǎng)絡評測系統(tǒng),盡量通過網(wǎng)絡手段來進行跨地域的調(diào)查,積累足夠的調(diào)研數(shù)據(jù)量;
(3)建立實施例一的可視化建模系統(tǒng),將傳統(tǒng)數(shù)據(jù)處理方式朝著可視化處理分析的方向進行改進;
(4)根據(jù)實施例一的可視化建模系統(tǒng)進行調(diào)研數(shù)據(jù)的可視化分析與呈現(xiàn);
(5)在可視化分析的基礎上,基于頂端紋理建立長期的調(diào)研機制,以從終結(jié)性的調(diào)研評測轉(zhuǎn)變成為持續(xù)性的監(jiān)測。
與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點:
a.建立了可視化模型來改進統(tǒng)計分析框架,將數(shù)字化服務形式轉(zhuǎn)變?yōu)閳D形化服務形式;
b.從簡單的局部數(shù)據(jù)型可視化擴展到全系統(tǒng)數(shù)據(jù)的可視化;
c.通過拓展三維直方圖這一可視化圖表與原調(diào)研數(shù)據(jù)相聯(lián)系,克服了常規(guī)可視化對數(shù)據(jù)處理的不可逆性缺陷,保真度更高;
d.對復雜的多類型數(shù)據(jù)以語義為基礎進行了聚類拓展,由模型內(nèi)部進行不同類型數(shù)據(jù)的分辨并采取了相應有效的數(shù)據(jù)預處理方法,更加有效;
e.充分利用了頂部紋理,在傳統(tǒng)三維可視化模型上附加上表示變化趨勢的第四維信息,使得調(diào)研系統(tǒng)向持續(xù)監(jiān)測系統(tǒng)的轉(zhuǎn)變成為可能;
f.擴充了三維直方圖的內(nèi)涵,構(gòu)建了有層次、可分析和可解讀的結(jié)構(gòu)化基礎可視化模型。
以上是對本發(fā)明的較佳實施進行了具體說明,但本發(fā)明并不限于所述實施例,熟悉本領域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替換,這些等同的變形或替換均包含在本申請權(quán)利要求所限定的范圍內(nèi)。