本發(fā)明涉及數(shù)據(jù)質(zhì)量檢測(cè)技術(shù)領(lǐng)域，具體涉及一種基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法。

背景技術(shù)：

信息技術(shù)的快速發(fā)展使得數(shù)據(jù)逐漸成為實(shí)現(xiàn)企業(yè)業(yè)務(wù)價(jià)值最重要的資源之一。然而隨著數(shù)據(jù)量的不斷增大，數(shù)據(jù)質(zhì)量問(wèn)題也隨之而來(lái)。數(shù)據(jù)缺失、錯(cuò)誤、不一致等問(wèn)題使企業(yè)對(duì)其的應(yīng)用受到阻礙，嚴(yán)重的甚至?xí)?dǎo)致企業(yè)做出錯(cuò)誤決策，損失重要價(jià)值進(jìn)而引發(fā)信任危機(jī)。針對(duì)這些臟數(shù)據(jù)，許多數(shù)據(jù)質(zhì)量檢測(cè)和清洗方案應(yīng)運(yùn)而生。而數(shù)據(jù)依賴(lài)在其中則是比較難以檢測(cè)的一種數(shù)據(jù)質(zhì)量問(wèn)題。由于系統(tǒng)往往并不知道隱藏在數(shù)據(jù)表內(nèi)部字段間的邏輯關(guān)系，所以數(shù)據(jù)依賴(lài)問(wèn)題一般是通過(guò)外部參考文件來(lái)進(jìn)行檢查。

現(xiàn)有的大多數(shù)數(shù)據(jù)質(zhì)量檢測(cè)方法都是基于數(shù)據(jù)庫(kù)或者軟件實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的標(biāo)示，過(guò)分依賴(lài)評(píng)分者當(dāng)時(shí)的主觀選擇，大多數(shù)結(jié)果以表格或者文字形式表示，不能達(dá)到簡(jiǎn)單明了的直觀效果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法，利用空間色散原理，對(duì)數(shù)據(jù)質(zhì)量的檢測(cè)結(jié)果進(jìn)行顏色標(biāo)識(shí)，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的量化顯示。

為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案：

一種基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法，包括以下步驟；

(1)構(gòu)建數(shù)據(jù)質(zhì)量檢模型：

M＝<D,I,R,W，E，S>

其中，M表示數(shù)據(jù)質(zhì)量，D表示需要進(jìn)行檢測(cè)的數(shù)據(jù)節(jié)點(diǎn)，I表示與數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)指標(biāo)，R表示與數(shù)據(jù)指標(biāo)相對(duì)應(yīng)的集合，W表示賦予規(guī)則R的權(quán)值，E表示對(duì)規(guī)則R給出的期望值，S表示對(duì)規(guī)則R給出的最終結(jié)果；

(2)計(jì)算數(shù)據(jù)質(zhì)量絕對(duì)量化值；

(3)計(jì)算數(shù)據(jù)質(zhì)量相對(duì)量化值；

(4)根據(jù)數(shù)據(jù)質(zhì)量相對(duì)量化值，顯示質(zhì)量檢測(cè)結(jié)果。

所述的基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法，所述數(shù)據(jù)指標(biāo)包括精確性、一致性、完整性、有效性、唯一性、使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量。

所述的基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法，步驟(2)，所述計(jì)算數(shù)據(jù)質(zhì)量絕對(duì)量化值，采用以下公式：

其中，SA表示R所得結(jié)果得分的加權(quán)平均值，W_i表示對(duì)應(yīng)指標(biāo)的權(quán)值，S_i表示當(dāng)前指標(biāo)對(duì)應(yīng)的計(jì)算值。

所述的基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法，步驟(3)，所述計(jì)算數(shù)據(jù)質(zhì)量相對(duì)量化值，采用以下公式：

其中，SR表示數(shù)據(jù)質(zhì)量相對(duì)量化值，E_i表示當(dāng)前指標(biāo)期望值。

由上述技術(shù)方案可知，本發(fā)明所述的基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法，通過(guò)對(duì)數(shù)據(jù)質(zhì)量相對(duì)量化值的計(jì)算，將數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果均以圖形化界面進(jìn)行展示，其展示結(jié)果簡(jiǎn)單明了，效果直觀有效，能迅速達(dá)到數(shù)據(jù)質(zhì)量定量化顯示的目的。

附圖說(shuō)明

圖1是本發(fā)明的流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說(shuō)明：

一種基于空間色散原理的數(shù)據(jù)質(zhì)量檢測(cè)方法，包括以下步驟：

S1：構(gòu)建數(shù)據(jù)質(zhì)量檢模型：

M＝<D,I,R,W，E，S>

其中，M表示數(shù)據(jù)質(zhì)量，D表示需要進(jìn)行檢測(cè)的數(shù)據(jù)節(jié)點(diǎn)，I表示與數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)指標(biāo)，R表示與數(shù)據(jù)指標(biāo)相對(duì)應(yīng)的集合，W表示賦予規(guī)則R的權(quán)值，E表示對(duì)規(guī)則R給出的期望值，S表示對(duì)規(guī)則R給出的最終結(jié)果；

該步驟中，賦予集合R的權(quán)值的取值范圍為大于0的整數(shù)，描述了該集合在所有集合中所占的比重；對(duì)集合R給出的期望值E是在檢測(cè)之前對(duì)該規(guī)則所期望得到的結(jié)果，其取值為介于0至100之間的實(shí)數(shù)，對(duì)集合R給出的最終結(jié)果是在檢測(cè)該規(guī)則后得到的結(jié)果，其取值介于0至100之間的實(shí)數(shù)。

所述數(shù)據(jù)指標(biāo)包括精確性、一致性、完整性、有效性、唯一性、使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量。

對(duì)于錄入節(jié)點(diǎn)：

完整性：即檢測(cè)數(shù)據(jù)節(jié)點(diǎn)是否存在缺失記錄或者缺失字段，可通過(guò)以下公式檢測(cè)，1-A₂/(A₁*A₂),其中，A₁表示記錄數(shù)，A₂表示缺少記錄數(shù)。當(dāng)其計(jì)算結(jié)果等于零時(shí)，則表示數(shù)據(jù)節(jié)點(diǎn)完整無(wú)缺失，否則存在缺失字段。

一致性：同一錄入來(lái)源的節(jié)點(diǎn)信息是否一致，1-B₄/B₃(B₁-B₂)，其中，B₁表示元數(shù)據(jù)定義數(shù)據(jù)項(xiàng)個(gè)數(shù)，B₂表示缺失數(shù)據(jù)項(xiàng)個(gè)數(shù)，B₃表示除冗余記錄數(shù)，B₄表示除冗余問(wèn)題數(shù)據(jù)個(gè)數(shù),除冗余記錄數(shù)＝記錄數(shù)-記錄冗余記錄數(shù)+記錄冗余鍵值數(shù)。

精確性：是否與其對(duì)應(yīng)的來(lái)源數(shù)據(jù)的特征相一致，1-C₁/A₁,其中，C₁表示問(wèn)題記錄數(shù)；

可用性：冗余度是否符合業(yè)務(wù)系統(tǒng)需要，1-(D₁*D₂+D₃*D₄)/D₅*D₆，其中D₁表示冗余記錄數(shù)，D₂表示元數(shù)據(jù)定義數(shù)據(jù)項(xiàng)個(gè)數(shù)，D₃表示冗余數(shù)據(jù)項(xiàng)個(gè)數(shù)，D₄表示除冗余記錄數(shù)，D₅表示記錄數(shù)，D₆表示元數(shù)據(jù)定義數(shù)據(jù)項(xiàng)個(gè)數(shù)。

對(duì)于過(guò)程節(jié)點(diǎn)：

使用質(zhì)量：指在數(shù)據(jù)使用過(guò)程中數(shù)據(jù)出現(xiàn)問(wèn)題的可能性，1-E₁/A₁(E₂-E₃),其中，E₁表示問(wèn)題數(shù)據(jù)個(gè)數(shù)，E₂表示元數(shù)據(jù)定義數(shù)據(jù)個(gè)數(shù)，E₃表示缺少數(shù)據(jù)項(xiàng)個(gè)數(shù)。

存貯質(zhì)量：指在過(guò)程節(jié)點(diǎn)中數(shù)據(jù)存貯的質(zhì)量，1-F₁/F₂，其中，F(xiàn)₁表示問(wèn)題數(shù)據(jù)個(gè)數(shù)，F(xiàn)₂表示總的數(shù)據(jù)個(gè)數(shù)。

傳輸質(zhì)量：指在過(guò)程節(jié)點(diǎn)之間數(shù)據(jù)相互傳輸?shù)馁|(zhì)量，1-F₁/D₄。

采用AHP法定義權(quán)重：

層次分析法(AHP)是美國(guó)著名的運(yùn)籌學(xué)家Satty等人在20世紀(jì)70年代提出的將一種定性和定量分析相結(jié)合的多準(zhǔn)則決策方法。層次分析模型是把復(fù)雜的問(wèn)題分成若干個(gè)組成因素，并按支配關(guān)系分組形成層次結(jié)構(gòu)。然后通過(guò)兩兩比較的方式，綜合決策者的判斷，確定決策方案重要性的總排序。具體步驟如下：分析各因素的關(guān)系，建立遞階層次結(jié)構(gòu)；對(duì)同一層次的多個(gè)元素，關(guān)于上一層中某一準(zhǔn)則的重要性進(jìn)行兩兩比較，構(gòu)建比較判斷矩陣；由判斷矩陣計(jì)算比較元素對(duì)于該準(zhǔn)則的相對(duì)權(quán)重，并檢驗(yàn)一致性；計(jì)算合成權(quán)重，即全局權(quán)重。

S2：計(jì)算數(shù)據(jù)質(zhì)量絕對(duì)量化值：

假設(shè)數(shù)據(jù)節(jié)點(diǎn)T對(duì)應(yīng)的集合R^T(R1，R2，R3，……Rn),賦予R^T中R_i的權(quán)值W_i,計(jì)算的結(jié)果得分為S_i,i＝1,2,……n，由此計(jì)算數(shù)據(jù)節(jié)點(diǎn)T的數(shù)據(jù)質(zhì)量。

計(jì)算數(shù)據(jù)質(zhì)量絕對(duì)量化值，采用以下公式：

其中，SA表示R所得結(jié)果得分的加權(quán)平均值，W_i表示，S_i表示。

SA是規(guī)則集R^T所得結(jié)果得分的加權(quán)平均值，反映了數(shù)據(jù)節(jié)點(diǎn)T的真實(shí)的數(shù)據(jù)質(zhì)量狀況。

S3：計(jì)算數(shù)據(jù)質(zhì)量相對(duì)量化值：

計(jì)算數(shù)據(jù)質(zhì)量相對(duì)量化值，采用以下公式：

其中，SR表示數(shù)據(jù)質(zhì)量相對(duì)量化值，E_i表示。

SR是SA與期望值的差值，它反映了數(shù)據(jù)集T相對(duì)于其期望值的數(shù)據(jù)質(zhì)量狀況，若SR符號(hào)為正，則其數(shù)值越大，說(shuō)明數(shù)據(jù)質(zhì)量比預(yù)期的更好；若SR符號(hào)為負(fù)，則其數(shù)值越大，說(shuō)明數(shù)據(jù)質(zhì)量比預(yù)期的更差。

S4：根據(jù)數(shù)據(jù)質(zhì)量相對(duì)量化值，顯示數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果：

根據(jù)空間色散原理，即依據(jù)波段的不同將空間進(jìn)行分解得到不同的線性大空間色散,實(shí)現(xiàn)對(duì)入射光束的空間解復(fù)用作用，根據(jù)不同節(jié)點(diǎn)的數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果的不同而顯示不同顏色標(biāo)記，以RGB形式展示節(jié)點(diǎn)數(shù)據(jù)質(zhì)量的定量化顯性表示。該方法主要是將數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果SR的值對(duì)應(yīng)RGB表示。若SR值大于0，則以RGB(0,255,0)表示；若SR值小于0，則以RGB(255,0,0)表示；若SR值等于0，則以RGB(0,0,255)表示。數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果均以圖形化界面展示。

以上所述的實(shí)施例僅僅是對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行描述，并非對(duì)本發(fā)明的范圍進(jìn)行限定，在不脫離本發(fā)明設(shè)計(jì)精神的前提下，本領(lǐng)域普通技術(shù)人員對(duì)本發(fā)明的技術(shù)方案作出的各種變形和改進(jìn)，均應(yīng)落入本發(fā)明權(quán)利要求書(shū)確定的保護(hù)范圍內(nèi)。