一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法，該方法包括：定義數(shù)據(jù)格Gxy，并對多種趨勢線進(jìn)行擬合；采用散點(diǎn)圖展示數(shù)據(jù)，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示；根據(jù)確定好的趨勢線類型和參數(shù)生成數(shù)據(jù)質(zhì)量規(guī)則；選取適當(dāng)?shù)臄?shù)據(jù)質(zhì)量規(guī)則，根據(jù)閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測。本發(fā)明通過定義數(shù)據(jù)格Gxy來存儲(chǔ)數(shù)據(jù)，并利用散點(diǎn)圖來展示數(shù)據(jù)，并根據(jù)已確定的趨勢線來生成數(shù)據(jù)質(zhì)量規(guī)則，進(jìn)而根據(jù)該規(guī)則設(shè)定閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，實(shí)現(xiàn)了數(shù)據(jù)量巨大情況下對數(shù)據(jù)的展示和異常數(shù)據(jù)分析、數(shù)據(jù)糾錯(cuò)等應(yīng)用。另外，本發(fā)明另一個(gè)實(shí)施例提供一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測系統(tǒng)。
【專利說明】一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法及系統(tǒng)【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)領(lǐng)域，尤其涉及一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法及系統(tǒng)。
【背景技術(shù)】
[0002]散點(diǎn)圖又稱散點(diǎn)分布圖，是以一個(gè)變量為橫坐標(biāo)，另一變量為縱坐標(biāo)，利用散點(diǎn)(坐標(biāo)點(diǎn))的分布形態(tài)反映變量統(tǒng)計(jì)關(guān)系的一種圖形。特點(diǎn)是能直觀表現(xiàn)出影響因素和預(yù)測對象之間的總體關(guān)系趨勢。優(yōu)點(diǎn)是能通過直觀醒目的圖形方式反映變量間關(guān)系的變化形態(tài)，以便決定用何種數(shù)學(xué)表達(dá)方式來模擬變量之間的關(guān)系。散點(diǎn)圖不僅可傳遞變量間關(guān)系類型的信息，也能反映變量間關(guān)系的明確程度。簡單的散點(diǎn)圖只能表征少量的數(shù)據(jù)，在數(shù)據(jù)量巨大情況中會(huì)遇到顯示的點(diǎn)太多，響應(yīng)速度異常慢等一系列問題。同時(shí)簡單的散點(diǎn)圖只是個(gè)展示工具，沒有交互功能，不能查看數(shù)據(jù)的具體情況，也不具備數(shù)據(jù)糾錯(cuò)的能力。因而需要一種基于散點(diǎn)圖展示二維數(shù)據(jù)分布情況，并具對異常數(shù)據(jù)進(jìn)行分析、糾錯(cuò)功能的方法。

【發(fā)明內(nèi)容】

[0003]因此，本發(fā)明為了解決上述缺陷之一。
[0004]因而，本發(fā)明提供一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法及系統(tǒng)，本發(fā)明通過定義數(shù)據(jù)格Gxy來存儲(chǔ)數(shù)據(jù)，并利用散點(diǎn)圖來展示數(shù)據(jù)，并根據(jù)已確定的趨勢線來生成數(shù)據(jù)質(zhì)量規(guī)則，進(jìn)而根據(jù)該規(guī)則設(shè)定閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，實(shí)現(xiàn)了數(shù)據(jù)量巨大情況下對數(shù)據(jù)的展示和異常數(shù)據(jù)分析、數(shù)據(jù)糾錯(cuò)等應(yīng)用。
[0005]所以，本發(fā)明一個(gè)實(shí)施例提供一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法，該方法包括:定義數(shù)據(jù)格Gxy，并對多種趨勢線進(jìn)行擬合；采用散點(diǎn)圖展示數(shù)據(jù)，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示；根據(jù)確定好的趨勢線類型和參數(shù)生成數(shù)據(jù)質(zhì)量規(guī)則；選取適當(dāng)?shù)臄?shù)據(jù)質(zhì)量規(guī)則，根據(jù)閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測。
[0006]在本發(fā)明一個(gè)實(shí)施例中，定義數(shù)據(jù)格Gxy，并對多種趨勢線進(jìn)行擬合包括以下步驟:
定義數(shù)據(jù)格Gxy，對數(shù)據(jù)源進(jìn)行掃描；
對數(shù)據(jù)源進(jìn)行讀取，并分析存儲(chǔ)的數(shù)據(jù)，修正X軸展示刻度；
對每個(gè)有效展示刻度的每個(gè)有效數(shù)據(jù)格Gxy，依據(jù)總記錄數(shù)和總和計(jì)算出X、Y平均值；對每個(gè)有效展示刻度的每個(gè)Gx，計(jì)算X的總平均值和所有Gy總的平均值，并根據(jù)總平均值對每種趨勢線進(jìn)行擬合。
[0007]優(yōu)選地，采用的趨勢線種類包括:直線、對數(shù)曲線、指數(shù)曲線、二次曲線、龔柏茲曲線、邏輯曲線、周期曲線等。
[0008]優(yōu)選地，采用散點(diǎn)圖展示數(shù)據(jù)信息至少包括:數(shù)據(jù)散點(diǎn)信息、所有Gx均值線和擬合出的趨勢線等。
[0009]在本發(fā)明一個(gè)實(shí)施例中，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線包括:
在散點(diǎn)圖上顯示趨勢線的種類，根據(jù)數(shù)據(jù)實(shí)際趨勢進(jìn)行選擇； 當(dāng)擬合出的趨勢線參數(shù)不滿足當(dāng)前數(shù)據(jù)顯示時(shí)，可進(jìn)行手工調(diào)整趨勢線的參數(shù)；其中，調(diào)整方式可在散點(diǎn)圖中可直接修改趨勢線公式或者對每個(gè)參數(shù)支持鼠標(biāo)拖動(dòng)修改，并在散點(diǎn)圖中實(shí)時(shí)展示鼠標(biāo)拖動(dòng)修改時(shí)趨勢線變化情況。
[0010]在本發(fā)明一個(gè)實(shí)施例中，生成數(shù)據(jù)質(zhì)量規(guī)則包括:
假設(shè)趨勢線為y=f (X)，即對某個(gè)X值，根據(jù)趨勢線可計(jì)算出目標(biāo)值I ；
給目標(biāo)值設(shè)定一個(gè)閥值生成數(shù)據(jù)質(zhì)量規(guī)則。
[0011]優(yōu)選地，閥值的設(shè)定可為絕對值。
[0012]優(yōu)選地，閥值的設(shè)定可為百分比方式。
[0013]在本發(fā)明一個(gè)實(shí)施例中，數(shù)據(jù)質(zhì)量檢測包括:
根據(jù)散點(diǎn)圖中數(shù)據(jù)展示的實(shí)際情況選取合適的數(shù)據(jù)質(zhì)量規(guī)則，針對每個(gè)輸入數(shù)據(jù)(X，y)，根據(jù)所述規(guī)則的趨勢線技術(shù)計(jì)算出X對應(yīng)的目標(biāo)值I，；
設(shè)定閥值的大小或者百分比，計(jì)算出目標(biāo)值的合理區(qū)間進(jìn)行判斷實(shí)際值y的數(shù)據(jù)質(zhì)量情況。
[0014]本發(fā)明另一個(gè)實(shí)施例提供一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測系統(tǒng)，該系統(tǒng)包括: 趨勢線擬合單元，用于根據(jù)定義數(shù)據(jù)格Gxy，并獲取對多種趨勢線進(jìn)行擬合的信息； 數(shù)據(jù)展示單元，用于采用散點(diǎn)圖展示數(shù)據(jù)，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展
示；
數(shù)據(jù)質(zhì)量規(guī)則生成單元，用于根據(jù)確定好的趨勢線類型和參數(shù)生成數(shù)據(jù)質(zhì)量規(guī)則，并獲取數(shù)據(jù)質(zhì)量規(guī)則信息；
數(shù)據(jù)質(zhì)量檢測單元，用于選取適當(dāng)?shù)臄?shù)據(jù)質(zhì)量規(guī)則，根據(jù)閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，并獲取數(shù)據(jù)質(zhì)量檢測結(jié)果。
[0015]優(yōu)選地，數(shù)據(jù)展示單元選擇趨勢線種類包括:直線、對數(shù)曲線、指數(shù)曲線、二次曲線、龔柏茲曲線、邏輯曲線、周期曲線等。
[0016]在本發(fā)明一個(gè)實(shí)施例中，數(shù)據(jù)展示單元根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示包括:
在散點(diǎn)圖上顯示趨勢線的種類，根據(jù)數(shù)據(jù)實(shí)際趨勢進(jìn)行選擇；
當(dāng)擬合出的趨勢線參數(shù)不滿足當(dāng)前數(shù)據(jù)顯示時(shí)，可進(jìn)行手工調(diào)整趨勢線的參數(shù)；其中，調(diào)整方式可在散點(diǎn)圖中直接修改趨勢線公式或者對每個(gè)參數(shù)支持鼠標(biāo)拖動(dòng)修改，可在散點(diǎn)圖中實(shí)時(shí)展示鼠標(biāo)拖動(dòng)修改時(shí)趨勢線變化情況。
[0017]在本發(fā)明一個(gè)實(shí)施例中，數(shù)據(jù)質(zhì)量規(guī)則生成單元生成數(shù)據(jù)質(zhì)量規(guī)則包括:假設(shè)趨勢線為y=f (X)，即對某個(gè)X值，根據(jù)趨勢線可計(jì)算出目標(biāo)值I;給目標(biāo)值設(shè)定一個(gè)閥值生成數(shù)據(jù)質(zhì)量規(guī)則。本發(fā)明通過定義數(shù)據(jù)格Gxy來存儲(chǔ)數(shù)據(jù)，并利用散點(diǎn)圖來展示數(shù)據(jù)，并根據(jù)已確定的趨勢線來生成數(shù)據(jù)質(zhì)量規(guī)則，進(jìn)而根據(jù)該規(guī)則設(shè)定閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，實(shí)現(xiàn)了數(shù)據(jù)量巨大情況下對數(shù)據(jù)的展示和異常數(shù)據(jù)分析、數(shù)據(jù)糾錯(cuò)等應(yīng)用。
【專利附圖】

【附圖說明】
[0018]圖1是本發(fā)明一個(gè)實(shí)施例提供的一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法的具體流程不意圖。
[0019]圖2是本發(fā)明一個(gè)實(shí)施例中定義的數(shù)據(jù)格Gxy的示意圖?！揪唧w實(shí)施方式】
[0020]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，并不用于限定本發(fā)明。
[0021]本發(fā)明提供一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法及系統(tǒng)，本發(fā)明通過定義數(shù)據(jù)格Gxy來存儲(chǔ)數(shù)據(jù)，并利用散點(diǎn)圖來展示數(shù)據(jù)，并根據(jù)已確定的趨勢線來生成數(shù)據(jù)質(zhì)量規(guī)則，進(jìn)而根據(jù)該規(guī)則設(shè)定閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，實(shí)現(xiàn)了數(shù)據(jù)量巨大情況下對數(shù)據(jù)的展示和異常數(shù)據(jù)分析、數(shù)據(jù)糾錯(cuò)等應(yīng)用。
[0022]如圖1是本發(fā)明一個(gè)實(shí)施例提供的一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法的具體流程示意圖，該方法具體步驟如下:
步驟SllO:定義數(shù)據(jù)格Gxy，并對多種趨勢線進(jìn)行擬合。
[0023]步驟Slll:定義數(shù)據(jù)格Gxy，對數(shù)據(jù)源進(jìn)行掃描。
[0024]在本發(fā)明實(shí)施例中，為了解決簡單散點(diǎn)圖只能表征少量數(shù)據(jù)的分布形態(tài)，且當(dāng)簡單散點(diǎn)圖展示數(shù)據(jù)量巨大時(shí)無法在一個(gè)圖形中展示出所有的點(diǎn)，因此本發(fā)明將對散點(diǎn)圖進(jìn)行擴(kuò)展，擴(kuò)展后的散點(diǎn)圖中的某一個(gè)點(diǎn)將不再對應(yīng)一個(gè)具體的記錄點(diǎn)，而是滿足{xl〈=x〈x2,yl〈=y〈y2}的所有記錄點(diǎn)的集合:數(shù)據(jù)格Gxy。如圖2所示,對數(shù)據(jù)格Gxy進(jìn)行如下定義:
定義 Gx{xl，x2}為 G{(x, y) |xl〈=x〈x2},簡稱 Gx,即所有滿足 xl〈=x〈x2 的點(diǎn)(x, y)； 定義 Gy{yl，y2}為 G {(x, y) | yl〈=y〈y2},簡稱 Gy,即所有滿足 yl〈=y〈y2 的點(diǎn)(x, y)； 定義數(shù)據(jù)格Gxy為G {Gx, Gy}，即同時(shí)滿足Gx和Gy的點(diǎn)。
[0025]步驟S112:對數(shù)據(jù)源進(jìn)行讀取，并分析存儲(chǔ)的數(shù)據(jù)，修正X軸展示刻度。
[0026]對數(shù)據(jù)進(jìn)行讀取前需要對數(shù)據(jù)源進(jìn)行配置，包括配置數(shù)據(jù)來源依據(jù)自變量X和因變量Y。然后掃描數(shù)據(jù)源，獲取Y值的分布情況和變量X、Y的最小值和最大值，計(jì)算出X、Y的取值區(qū)間，依據(jù)取值區(qū)間對最小值、最大值進(jìn)行修整，依據(jù)X的取值區(qū)間計(jì)算出X軸的4種展示刻度。根據(jù)每條記錄的X、Y值X和y,計(jì)算出X y對應(yīng)所處的數(shù)據(jù)格Gxy,并且分析存儲(chǔ)的數(shù)據(jù)，修正X軸展示刻度，如果某個(gè)小級(jí)別的刻度中有效的Gx數(shù)量(Gx中記錄數(shù)大于O則稱該Gx有效)小于上級(jí)的有效Gx數(shù)量的2倍，則刪除該刻度。刪除該刻度的原因是當(dāng)放大到該級(jí)別時(shí)，信息增加的并不多，實(shí)際數(shù)據(jù)明細(xì)并沒有得到有效的放大。確定保留的有效展示刻度中最大的為初始展示的刻度。
[0027]步驟S113:對每個(gè)有效展示刻度的每個(gè)有效數(shù)據(jù)格Gxy，依據(jù)總記錄數(shù)和總和計(jì)算出X、Y平均值。
[0028]步驟S114:對每個(gè)有效展示刻度的每個(gè)Gx，計(jì)算X的總平均值和所有Gy總的平均值，并根據(jù)總平均值對每種趨勢線進(jìn)行擬合。
[0029]趨勢線種類包括:
直線:y = a + b * X ;
對數(shù)曲線:y = a + b*ln(x + I)；
指數(shù)曲線:y = k + a* b"x ；
二次曲線:y = a + b*x + c* x'2 ； 襲柏茲曲線:y = k * a" (b"x)；
邏輯曲線:y = I/ (k + a* b'x)；
周期曲線:y = a*x + b*sin (c*x+d)。
[0030]步驟S120:采用散點(diǎn)圖展示數(shù)據(jù)，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示。
[0031]在本發(fā)明一個(gè)實(shí)施例中，用散點(diǎn)圖的方式來展示處理后的數(shù)據(jù)，處理后的數(shù)據(jù)中每個(gè)數(shù)據(jù)格代表散點(diǎn)圖中的一個(gè)點(diǎn)，對于數(shù)據(jù)格{[xl，x2)，[yl，y2)}，點(diǎn)的位置為{(xl+x2)/2, (yl+y2)/2}，點(diǎn)的大小依據(jù)該數(shù)據(jù)格內(nèi)包含的記錄數(shù)而定。采用散點(diǎn)圖展示數(shù)據(jù)信息至少包括:數(shù)據(jù)散點(diǎn)信息、所有Gx均值線和擬合出的趨勢線等。
[0032]在本發(fā)明一個(gè)實(shí)施例中，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線包括:在散點(diǎn)圖上顯示趨勢線的種類，根據(jù)數(shù)據(jù)實(shí)際趨勢進(jìn)行選擇；當(dāng)擬合出的趨勢線參數(shù)不滿足當(dāng)前數(shù)據(jù)顯示時(shí)，可進(jìn)行手工調(diào)整趨勢線的參數(shù)；其中，調(diào)整方式可在散點(diǎn)圖中直接修改趨勢線公式或者對每個(gè)參數(shù)支持鼠標(biāo)拖動(dòng)修改，可在散點(diǎn)圖中實(shí)時(shí)展示鼠標(biāo)拖動(dòng)修改時(shí)趨勢線變化情況。
[0033]步驟S130:根據(jù)確定好的趨勢線類型和參數(shù)生成數(shù)據(jù)質(zhì)量規(guī)則。
[0034]在本發(fā)明一個(gè)實(shí)施例中，生成數(shù)據(jù)質(zhì)量規(guī)則包括:假設(shè)趨勢線為y=f (X)，即對某個(gè)X值，根據(jù)趨勢線可計(jì)算出目標(biāo)值y;給目標(biāo)值設(shè)定一個(gè)閥值生成數(shù)據(jù)質(zhì)量規(guī)則；其中，閥值的設(shè)定可為絕對值或者百分比方式。假設(shè)趨勢線為y=f (X)，即對某個(gè)X值，根據(jù)趨勢線可計(jì)算出目標(biāo)值y，給目標(biāo)值一個(gè)合理的浮動(dòng)范圍(閾值)，則構(gòu)成數(shù)據(jù)質(zhì)量規(guī)則。浮動(dòng)范圍有兩種定義方式，一種是絕對值，如定義上限為50，下限為40，則當(dāng)目標(biāo)值為200時(shí)，實(shí)際值在區(qū)間[160，250]內(nèi)都是合理的。另一種方式是百分比，如上下限都是20%且目標(biāo)值為200時(shí)，實(shí)際值在區(qū)間[160，240]內(nèi)都是合理的。數(shù)據(jù)規(guī)則定義好后可以保存到規(guī)則庫中，以后需要時(shí)可直接從規(guī)則庫中取出相應(yīng)的規(guī)則使用。
[0035]步驟S140:選取適當(dāng)?shù)臄?shù)據(jù)質(zhì)量規(guī)則，根據(jù)閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測。
[0036]在本發(fā)明一個(gè)實(shí)施例中，數(shù)據(jù)質(zhì)量檢測包括:根據(jù)散點(diǎn)圖中數(shù)據(jù)展示的實(shí)際情況選取合適的數(shù)據(jù)質(zhì)量規(guī)則，針對每個(gè)輸入數(shù)據(jù)(x，y)，根據(jù)所述規(guī)則的趨勢線技術(shù)計(jì)算出X對應(yīng)的目標(biāo)值y’ ；設(shè)定閥值的大小或者百分比，計(jì)算出目標(biāo)值的合理區(qū)間進(jìn)行判斷實(shí)際值y的數(shù)據(jù)質(zhì)量情況。假設(shè)數(shù)據(jù)規(guī)則的趨勢部分為y=37.9 + 20*x/1000，閾值部分為百分比20%。對于輸入數(shù)據(jù)(10000，213)，可計(jì)算出目標(biāo)值為37.9+20*10/1000=237.9，合理區(qū)間為[237.9*0.8，237.9*1.2] = [190.32，285.48]，實(shí)際值213屬于該區(qū)間，則數(shù)據(jù)(10000,213)是合理數(shù)據(jù)。同理可判定(32000，511)是異常數(shù)據(jù)。
[0037]本發(fā)明另一個(gè)實(shí)施例提供一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測系統(tǒng)，該系統(tǒng)包括: 趨勢線擬合單元，用以根據(jù)定義數(shù)據(jù)格Gxy，并獲取對多種趨勢線進(jìn)行擬合的信息；
數(shù)據(jù)展示單元，用以采用散點(diǎn)圖展示數(shù)據(jù)，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展
示；
數(shù)據(jù)質(zhì)量規(guī)則生成單元，用以根據(jù)確定好的趨勢線類型和參數(shù)生成數(shù)據(jù)質(zhì)量規(guī)則，并獲取數(shù)據(jù)質(zhì)量規(guī)則信息；
數(shù)據(jù)質(zhì)量檢測單元，用以選取適當(dāng)?shù)臄?shù)據(jù)質(zhì)量規(guī)則，根據(jù)閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，并獲取數(shù)據(jù)質(zhì)量檢測結(jié)果。
[0038]優(yōu)選地，數(shù)據(jù)展示單元選擇趨勢線種類包括:直線、對數(shù)曲線、指數(shù)曲線、二次曲線、龔柏茲曲線、邏輯曲線、周期曲線等。[0039]在本發(fā)明一個(gè)實(shí)施例中，數(shù)據(jù)展示單元根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示包括:
在散點(diǎn)圖上顯示趨勢線的種類，根據(jù)數(shù)據(jù)實(shí)際趨勢進(jìn)行選擇；
當(dāng)擬合出的趨勢線參數(shù)不滿足當(dāng)前數(shù)據(jù)顯示時(shí)，可進(jìn)行手工調(diào)整趨勢線的參數(shù)；其中，調(diào)整方式可在散點(diǎn)圖中直接修改趨勢線公式或者對每個(gè)參數(shù)支持鼠標(biāo)拖動(dòng)修改，可在散點(diǎn)圖中實(shí)時(shí)展示鼠標(biāo)拖動(dòng)修改時(shí)趨勢線變化情況。
[0040]在本發(fā)明一個(gè)實(shí)施例中，數(shù)據(jù)質(zhì)量規(guī)則生成單元生成數(shù)據(jù)質(zhì)量規(guī)則包括:假設(shè)趨勢線為y=f (X)，即對某個(gè)X值，根據(jù)趨勢線可計(jì)算出目標(biāo)值I;給目標(biāo)值設(shè)定一個(gè)閥值生成數(shù)據(jù)質(zhì)量規(guī)則。本發(fā)明通過定義數(shù)據(jù)格Gxy來存儲(chǔ)數(shù)據(jù)，并利用散點(diǎn)圖來展示數(shù)據(jù)，并根據(jù)已確定的趨勢線來生成數(shù)據(jù)質(zhì)量規(guī)則，進(jìn)而根據(jù)該規(guī)則設(shè)定閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，實(shí)現(xiàn)了數(shù)據(jù)量巨大情況下對數(shù)據(jù)的展示和異常數(shù)據(jù)分析、數(shù)據(jù)糾錯(cuò)等應(yīng)用。
【權(quán)利要求】
1.一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測方法，其特征在于，所述方法包括以下步驟: 定義數(shù)據(jù)格GXy，并對多種趨勢線進(jìn)行擬合； 采用散點(diǎn)圖展示數(shù)據(jù)，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示； 根據(jù)確定好的趨勢線類型和參數(shù)生成數(shù)據(jù)質(zhì)量規(guī)則； 選取適當(dāng)?shù)臄?shù)據(jù)質(zhì)量規(guī)則，根據(jù)閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述定義數(shù)據(jù)格Gxy，并對多種趨勢線進(jìn)行擬合包括以下步驟: 定義數(shù)據(jù)格Gxy，對數(shù)據(jù)源進(jìn)行掃描； 對數(shù)據(jù)源進(jìn)行讀取，并分析存儲(chǔ)的數(shù)據(jù)，修正X軸展示刻度； 對每個(gè)有效展示刻度的每個(gè)有效數(shù)據(jù)格Gxy，依據(jù)總記錄數(shù)和總和計(jì)算出X、Y平均值；對每個(gè)有效展示刻度的每個(gè)Gx，計(jì)算X的總平均值和所有Gy總的平均值，并根據(jù)總平均值對每種趨勢線進(jìn)行擬合。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述趨勢線包括:直線、對數(shù)曲線、指數(shù)曲線、二次曲線、龔柏茲曲線、邏輯曲線、周期曲線等。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用散點(diǎn)圖展示數(shù)據(jù)信息至少包括:數(shù)據(jù)散點(diǎn)信息、所有Gx均值線和擬合出的趨勢線等。
5.根據(jù)權(quán)利要求1所述.的方法，其特征在于，所述根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線包括: 在散點(diǎn)圖上顯示趨勢線的種類，根據(jù)數(shù)據(jù)實(shí)際趨勢進(jìn)行選擇； 當(dāng)擬合出的趨勢線參數(shù)不滿足當(dāng)前數(shù)據(jù)顯示時(shí)，可進(jìn)行手工調(diào)整趨勢線的參數(shù)；其中，調(diào)整方式可在散點(diǎn)圖中直接修改趨勢線公式或者對每個(gè)參數(shù)支持鼠標(biāo)拖動(dòng)修改，可在散點(diǎn)圖中實(shí)時(shí)展示鼠標(biāo)拖動(dòng)修改時(shí)趨勢線變化情況。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成數(shù)據(jù)質(zhì)量規(guī)則包括: 假設(shè)趨勢線為y=f (X)，即對某個(gè)X值，根據(jù)趨勢線可計(jì)算出目標(biāo)值I ； 給目標(biāo)值設(shè)定一個(gè)閥值生成數(shù)據(jù)質(zhì)量規(guī)則。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述閥值的設(shè)定為絕對值。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述閥值的設(shè)定為百分比方式。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)質(zhì)量檢測包括: 根據(jù)散點(diǎn)圖中數(shù)據(jù)展示的實(shí)際情況選取數(shù)據(jù)質(zhì)量規(guī)則，針對每個(gè)輸入數(shù)據(jù)U，y)，根據(jù)所述規(guī)則的趨勢線技術(shù)計(jì)算出X對應(yīng)的目標(biāo)值r ； 設(shè)定閥值的大小或者百分比，計(jì)算出目標(biāo)值的合理區(qū)間進(jìn)行判斷實(shí)際值y的數(shù)據(jù)質(zhì)量情況。
10.一種基于散點(diǎn)圖的數(shù)據(jù)質(zhì)量檢測系統(tǒng)，其特征在于，所述系統(tǒng)包括: 趨勢線擬合單元，用于根據(jù)定義數(shù)據(jù)格Gxy，并獲取對多種趨勢線進(jìn)行擬合的信息； 數(shù)據(jù)展示單元，用于采用散點(diǎn)圖展示數(shù)據(jù)，根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示； 數(shù)據(jù)質(zhì)量規(guī)則生成單元，用于根據(jù)確定好的趨勢線類型和參數(shù)生成數(shù)據(jù)質(zhì)量規(guī)則，并獲取數(shù)據(jù)質(zhì)量規(guī)則信息； 數(shù)據(jù)質(zhì)量檢測單元，用于選取適當(dāng)?shù)臄?shù)據(jù)質(zhì)量規(guī)則，根據(jù)閥值進(jìn)行數(shù)據(jù)質(zhì)量檢測，并獲取數(shù)據(jù)質(zhì)量檢測結(jié)果。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)展示單元選擇趨勢線種類包括:直線、對數(shù)曲線、指數(shù)曲線、二次曲線、龔柏茲曲線、邏輯曲線、周期曲線等。
12.根據(jù)權(quán)利要求10或11所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)展示單元根據(jù)數(shù)據(jù)的實(shí)際趨勢選擇趨勢線進(jìn)行展示包括: 在散點(diǎn)圖上顯示趨勢線的種類，根據(jù)數(shù)據(jù)實(shí)際趨勢進(jìn)行選擇； 當(dāng)擬合出的趨勢線參數(shù)不滿足當(dāng)前數(shù)據(jù)顯示時(shí)，可進(jìn)行手工調(diào)整趨勢線的參數(shù)；其中，調(diào)整方式可在散點(diǎn)圖中直接修改趨勢線公式或者對每個(gè)參數(shù)支持鼠標(biāo)拖動(dòng)修改，可在散點(diǎn)圖中實(shí)時(shí)展示鼠標(biāo)拖動(dòng)修改時(shí)趨勢線變化情況。
13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)質(zhì)量規(guī)則生成單元生成數(shù)據(jù)質(zhì)量規(guī)則包括: 假設(shè)趨勢線為y=f (X)，即對某個(gè)X值，根據(jù)趨勢線可計(jì)算出目標(biāo)值I ； 給目標(biāo)值設(shè)定一個(gè)閥值 生成數(shù)據(jù)質(zhì)量規(guī)則。
【文檔編號(hào)】G06F19/00GK103473473SQ201310443454
【公開日】2013年12月25日 申請日期:2013年9月26日 優(yōu)先權(quán)日:2013年9月26日
【發(fā)明者】王明興, 樊文飛, 賈西貝 申請人:深圳市華傲數(shù)據(jù)技術(shù)有限公司