用于檢測(cè)數(shù)據(jù)源中的偏差的方法、設(shè)備和計(jì)算機(jī)程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開大體上涉及用于檢測(cè)數(shù)據(jù)源中的偏差的方法、設(shè)備和計(jì)算機(jī)程序。
【背景技術(shù)】
[0002] 在大多數(shù)企業(yè)（例如，移動(dòng)通信運(yùn)營(yíng)商）中，信息遍布于很多不同的數(shù)據(jù)源。存 儲(chǔ)在不同源中的數(shù)據(jù)是重復(fù)的或者至少具有相同含義的情況不在少數(shù)。當(dāng)預(yù)期為相同的 數(shù)據(jù)由于某種原因而不同時(shí)，可能出現(xiàn)不期望的問題，例如，在移動(dòng)通信網(wǎng)絡(luò)中，移動(dòng)電話 的用戶不能打電話、或者運(yùn)營(yíng)商不能對(duì)顧客進(jìn)行計(jì)費(fèi)等。因此，不一致的數(shù)據(jù)可能引起很多 麻煩。根據(jù)申請(qǐng)人的調(diào)查，平均移動(dòng)通信運(yùn)營(yíng)商的收入流失約為2%，并且該收入流失的很 大一部分是不一致數(shù)據(jù)（其導(dǎo)致通信使用的含糊不清的登記，因此不能對(duì)通信使用進(jìn)行計(jì) 費(fèi)）的直接或間接結(jié)果。
[0003] 如今，市場(chǎng)上存在對(duì)數(shù)據(jù)源進(jìn)行掃描以尋找數(shù)據(jù)不一致或數(shù)據(jù)偏差的工具。此類 工具的一個(gè)常見問題是必須向工具指示在數(shù)據(jù)源中尋找什么。因?yàn)槊恳粋€(gè)數(shù)據(jù)系統(tǒng)包括這 樣的數(shù)據(jù)源，即，其中存儲(chǔ)的數(shù)據(jù)具有其自己的數(shù)據(jù)結(jié)構(gòu)，因此，必須針對(duì)要掃描的每一個(gè) 數(shù)據(jù)源組合向工具指示。即，工具需要關(guān)于數(shù)據(jù)源的數(shù)據(jù)模型以及數(shù)據(jù)模型如何相互相關(guān) 的指示。然而，不同的系統(tǒng)或源可能來自不同的供應(yīng)商，并且可能難以有權(quán)訪問描述數(shù)據(jù)模 型的文件。另一個(gè)問題是數(shù)據(jù)模型通常很復(fù)雜，使得即使某人已知或有權(quán)訪問一個(gè)數(shù)據(jù)模 型的描述，也難以分辨它如何與另一數(shù)據(jù)模型相關(guān)。另一個(gè)問題是，為了尋找數(shù)據(jù)偏差，可 能還必須理解什么被認(rèn)為是偏差以及什么不被認(rèn)為是偏差。
[0004] 此外，數(shù)據(jù)源中的數(shù)據(jù)可以隨著時(shí)間改變。在這些情況下，被認(rèn)為是數(shù)據(jù)偏差的內(nèi) 容可能實(shí)時(shí)改變。
[0005] 因此，需要用于有效地檢測(cè)不同數(shù)據(jù)源的數(shù)據(jù)之間的數(shù)據(jù)偏差的工具。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是解決上文列出的問題中的至少一些?？梢酝ㄟ^使用所附獨(dú)立權(quán)利 要求中定義的方法和設(shè)備來實(shí)現(xiàn)這些和其他目的。
[0007] 根據(jù)第一方面，提供了一種用于檢測(cè)數(shù)據(jù)源中的偏差的方法，每一個(gè)數(shù)據(jù)源包括 多個(gè)數(shù)據(jù)公布，每一個(gè)數(shù)據(jù)公布包括多個(gè)數(shù)據(jù)值。所述方法包括：標(biāo)識(shí)數(shù)據(jù)公布對(duì)，每一對(duì) 包括第一數(shù)據(jù)源中的第一數(shù)據(jù)公布和第二數(shù)據(jù)源中的第二數(shù)據(jù)公布，其中，針對(duì)數(shù)據(jù)公布 對(duì)中的第一數(shù)據(jù)公布和第二數(shù)據(jù)公布的唯一匹配數(shù)據(jù)屬性，數(shù)據(jù)值的子集相等。此外，所述 方法還包括：確定所述多個(gè)數(shù)據(jù)公布對(duì)中的每一個(gè)數(shù)據(jù)公布對(duì)中的第一數(shù)據(jù)公布的數(shù)據(jù)值 和第二數(shù)據(jù)公布的數(shù)據(jù)值的多個(gè)組合中的個(gè)體組合是否滿足多個(gè)關(guān)系模式算法中的個(gè)體 關(guān)系模式算法。此外，所述方法還包括：確定針對(duì)所述多個(gè)數(shù)據(jù)公布對(duì)所確定的關(guān)系模式算 法的滿足的符合性水平；以及基于所確定的符合性水平，從所述多個(gè)關(guān)系模式算法中選擇 關(guān)系模式算法。所述方法還包括：關(guān)于所選擇的關(guān)系模式算法，分析個(gè)體數(shù)據(jù)公布對(duì)的數(shù)據(jù) 值組合，以檢測(cè)個(gè)體數(shù)據(jù)公布對(duì)中不符合所選擇的關(guān)系模式算法的數(shù)據(jù)值組合，不符合指 示個(gè)體數(shù)據(jù)公布對(duì)的數(shù)據(jù)的可能偏差。
[0008] 通過這種方法，可以自動(dòng)地檢測(cè)具有可比較的數(shù)據(jù)公布的兩個(gè)數(shù)據(jù)源的數(shù)據(jù)之間 的可能偏差。例如，可以自動(dòng)地檢測(cè)兩個(gè)可比較數(shù)據(jù)源中的任意一個(gè)的數(shù)據(jù)的錯(cuò)誤。如果檢 測(cè)到這種數(shù)據(jù)錯(cuò)誤或數(shù)據(jù)值錯(cuò)誤，則可以容易地減輕這些錯(cuò)誤，并且可以避免由于這些錯(cuò) 誤引起的問題?？赡艿氖褂们闆r是針對(duì)移動(dòng)通信運(yùn)營(yíng)商的相當(dāng)大的數(shù)據(jù)庫(kù)。在該使用情況 下，可以避免的問題的示例是如果在兩個(gè)相當(dāng)大的數(shù)據(jù)庫(kù)中存在偏差，則可能不清楚向誰 收取撥打的電話的費(fèi)用，這導(dǎo)致運(yùn)營(yíng)商收入流失。此外，該方法使得可以從多個(gè)關(guān)系模式算 法中選擇適合于個(gè)體數(shù)據(jù)值組合的關(guān)系的關(guān)系模式算法，這導(dǎo)致尋找偏差的準(zhǔn)確度提高。
[0009] 根據(jù)第二方面，提供了一種用于檢測(cè)數(shù)據(jù)源中的偏差的設(shè)備，每一個(gè)數(shù)據(jù)源包括 多個(gè)數(shù)據(jù)公布，每一個(gè)數(shù)據(jù)公布包括多個(gè)數(shù)據(jù)值。所述設(shè)備包括：標(biāo)識(shí)單元，用于標(biāo)識(shí)數(shù)據(jù) 公布對(duì)，每一對(duì)包括第一數(shù)據(jù)源中的第一數(shù)據(jù)公布和第二數(shù)據(jù)源中的第二數(shù)據(jù)公布，其中， 針對(duì)數(shù)據(jù)公布對(duì)中的第一數(shù)據(jù)公布和第二數(shù)據(jù)公布的唯一匹配數(shù)據(jù)屬性，數(shù)據(jù)值的子集相 等。此外，所述設(shè)備包括：確定單元，用于確定所述多個(gè)數(shù)據(jù)公布對(duì)中的每一個(gè)數(shù)據(jù)公布對(duì) 中的第一數(shù)據(jù)公布的數(shù)據(jù)值和第二數(shù)據(jù)公布的數(shù)據(jù)值的多個(gè)組合中的個(gè)體組合是否滿足 多個(gè)關(guān)系模式算法中的個(gè)體關(guān)系模式算法，以及用于確定針對(duì)所述多個(gè)數(shù)據(jù)公布對(duì)所確定 的關(guān)系模式算法的滿足的符合性水平。所述設(shè)備還包括：選擇單元，用于基于所確定的符合 性水平，從所述多個(gè)關(guān)系模式算法中選擇關(guān)系模式算法；以及分析單元，用于關(guān)于所選擇的 關(guān)系模式算法，分析個(gè)體數(shù)據(jù)公布對(duì)的數(shù)據(jù)值組合，以檢測(cè)個(gè)體數(shù)據(jù)公布對(duì)中不符合所選 擇的關(guān)系模式算法的數(shù)據(jù)值組合，不符合指示個(gè)體數(shù)據(jù)公布對(duì)的數(shù)據(jù)的可能偏差。
[0010] 根據(jù)第三方面，提供了一種計(jì)算機(jī)程序，包括計(jì)算機(jī)可讀代碼裝置，當(dāng)在被配置用 于檢測(cè)數(shù)據(jù)源中的偏差的設(shè)備中運(yùn)行所述計(jì)算機(jī)可讀代碼裝置時(shí)，所述計(jì)算機(jī)可讀代碼裝 置使所述設(shè)備執(zhí)行以下步驟：標(biāo)識(shí)數(shù)據(jù)公布對(duì)，每一對(duì)包括第一數(shù)據(jù)源中的第一數(shù)據(jù)公布 和第二數(shù)據(jù)源中的第二數(shù)據(jù)公布，其中，針對(duì)數(shù)據(jù)公布對(duì)中的第一數(shù)據(jù)公布和第二數(shù)據(jù)公 布的唯一匹配數(shù)據(jù)屬性，數(shù)據(jù)值的子集相等；確定所述多個(gè)數(shù)據(jù)公布對(duì)中的每一個(gè)數(shù)據(jù)公 布對(duì)中的第一數(shù)據(jù)公布的數(shù)據(jù)值和第二數(shù)據(jù)公布的數(shù)據(jù)值的多個(gè)組合中的個(gè)體組合是否 滿足多個(gè)關(guān)系模式算法中的個(gè)體關(guān)系模式算法；確定針對(duì)所述多個(gè)數(shù)據(jù)公布對(duì)所確定的關(guān) 系模式算法的滿足的符合性水平；基于所確定的符合性水平，從所述多個(gè)關(guān)系模式算法中 選擇關(guān)系模式算法；以及關(guān)于所選擇的關(guān)系模式算法，分析個(gè)體數(shù)據(jù)公布對(duì)的數(shù)據(jù)值組合， 以檢測(cè)個(gè)體數(shù)據(jù)公布對(duì)中不符合所選擇的關(guān)系模式算法的數(shù)據(jù)值組合，不符合指示個(gè)體數(shù) 據(jù)公布對(duì)的數(shù)據(jù)的可能偏差。
【附圖說明】
[0011] 現(xiàn)在參照附圖通過舉例說明的方式描述本發(fā)明，在附圖中：
[0012] 圖1至圖6示出了描述根據(jù)本發(fā)明的實(shí)施例的方法的流程圖。
[0013] 圖7是關(guān)于7個(gè)關(guān)系模式算法對(duì)數(shù)據(jù)公布對(duì)的個(gè)體數(shù)據(jù)值進(jìn)行比較的比較矩陣的 示例。
[0014] 圖8是圖7中的比較矩陣的一個(gè)單元n32的特寫。
[0015] 圖9示出了描述根據(jù)一個(gè)實(shí)施例的方法的流程圖。
[0016] 圖10是根據(jù)本發(fā)明的實(shí)施例的設(shè)備的示意性框圖，該設(shè)備連接到第一數(shù)據(jù)源和 第二數(shù)據(jù)源。
[0017] 圖11是根據(jù)本發(fā)明的實(shí)施例的裝置的示意性框圖。
【具體實(shí)施方式】
[0018] 簡(jiǎn)言之，提供了用于檢測(cè)數(shù)據(jù)源（更具體地，至少兩個(gè)不同數(shù)據(jù)源的數(shù)據(jù)）的偏 差。該解決方案至少部分地以以下思想為基礎(chǔ)：通過標(biāo)識(shí)兩個(gè)數(shù)據(jù)源的數(shù)據(jù)之間的關(guān)系的 模式，還可以標(biāo)識(shí)與這些模式的偏差。
[0019] 在本公開中，"數(shù)據(jù)源"可以是存儲(chǔ)數(shù)據(jù)的任意類型的地方（臨時(shí)的或長(zhǎng)期的）。 數(shù)據(jù)源是保存數(shù)據(jù)的任何實(shí)體，例如，數(shù)據(jù)庫(kù)或文檔等。數(shù)據(jù)源的示例是經(jīng)由結(jié)構(gòu)化查詢語 言（SQL)訪問的關(guān)系數(shù)據(jù)庫(kù)或經(jīng)由輕量級(jí)目錄訪問協(xié)議（LDAP)訪問的目錄服務(wù)。其他示 例是M_i'cros〇r_Excel文件、逗號(hào)