依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，具體說(shuō)是一種依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法。
【背景技術(shù)】
[0002]隨著大數(shù)據(jù)領(lǐng)域的不斷發(fā)展，針對(duì)海量數(shù)據(jù)的處理變得越來(lái)越普遍。當(dāng)前互聯(lián)網(wǎng)數(shù)據(jù)的存量在飛速的增長(zhǎng)，針對(duì)大數(shù)據(jù)的處理都會(huì)面臨一個(gè)根本性的問(wèn)題，如何在海量的數(shù)據(jù)中找到自己想要的數(shù)據(jù)。通常這些數(shù)據(jù)都具有離散性、不可預(yù)測(cè)性以及主觀性等特點(diǎn)，為滿足各種個(gè)性化的數(shù)據(jù)篩選需求，業(yè)界通常都使用了可靈活組配的規(guī)則來(lái)解決這個(gè)問(wèn)題。但是隨著數(shù)據(jù)量的增加，以及篩選規(guī)則的日益復(fù)雜，篩選的性能問(wèn)題逐漸凸顯，慢慢變成了阻礙整個(gè)業(yè)務(wù)最嚴(yán)重的環(huán)節(jié)。為了解決這個(gè)問(wèn)題，需要讓數(shù)據(jù)在具體進(jìn)行規(guī)則篩選之前進(jìn)行一次初篩，而初篩使用的條件來(lái)源于規(guī)則的必要條件，不同的業(yè)務(wù)需求使用的規(guī)則必要條件不盡相同，數(shù)量也成千上萬(wàn)，但其中有相同部分，有相似部分，有重疊部分，如何進(jìn)行必要條件的分析以減少冗余計(jì)算的快速篩選條件是當(dāng)前大數(shù)據(jù)處理行業(yè)所面對(duì)的主要問(wèn)題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問(wèn)題是提供一種依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法。
[0004]本發(fā)明為解決公知技術(shù)中存在的技術(shù)問(wèn)題所采取的技術(shù)方案是:
本發(fā)明的依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法，包括以下步驟:
A、針對(duì)數(shù)據(jù)篩選規(guī)則進(jìn)行分析，提取篩選規(guī)則中的必要條件組合，必要條件組合中包括必要條件；
B、將必要條件組合中的檢索詞進(jìn)行還原，并將每一必要條件項(xiàng)都轉(zhuǎn)換為檢索詞集合，檢索詞之間為并集關(guān)系；
C、如果必要條件組合中僅包含一個(gè)必要條件項(xiàng)的，則對(duì)該必要條件項(xiàng)進(jìn)行單獨(dú)提??；
D、如果一個(gè)必要條件組合的其中一個(gè)必要條件項(xiàng)被包含在了另一個(gè)必要條件項(xiàng)的范圍中，則放棄該必要條件組合，而保留另一個(gè)必要條件項(xiàng)；
E、如果存在相同的必要條件組合則進(jìn)行消重，只保留其中一組必要條件組合；
F、對(duì)同一個(gè)必要條件項(xiàng)中的檢索詞進(jìn)一步抽象出更少的公共條件；
G、如果多組必要條件組合中的對(duì)應(yīng)必要條件項(xiàng)相等或存在包含關(guān)系，則視為同一個(gè)條件項(xiàng)，只保留母集對(duì)應(yīng)的必要條件組合；
H、如果多組必要條件組合中存在相同的部分，則對(duì)相同部分進(jìn)行提取，對(duì)不同部分進(jìn)行合并；
1、按照數(shù)據(jù)類型進(jìn)行分類匯總，以獲得數(shù)據(jù)快速篩選條件。
[0005]本發(fā)明還可以采用以下技術(shù)措施:
步驟H中，舍棄不同的必要條件項(xiàng)，只保留公共部分的必要條件項(xiàng)。
[0006]本發(fā)明具有的優(yōu)點(diǎn)和積極效果是:
本發(fā)明的依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法中，通過(guò)對(duì)處理規(guī)則的必要條件進(jìn)行分析，得到面向不同的業(yè)務(wù)，不同的規(guī)則組配的快速篩選條件，滿足了業(yè)務(wù)上的靈活性，必要條件的分析使用了一系列歸并優(yōu)化的方法既能完全覆蓋目標(biāo)數(shù)據(jù)又一定程度上繼承了規(guī)則的精度，滿足了完整性和復(fù)雜性。
【具體實(shí)施方式】
[0007]以下通過(guò)具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
[0008]A、針對(duì)數(shù)據(jù)篩選規(guī)則進(jìn)行分析，提取篩選規(guī)則中的必要條件組合，必要條件組合中包括必要條件；
B、將必要條件組合中的檢索詞進(jìn)行還原，并將每一必要條件項(xiàng)都轉(zhuǎn)換為檢索詞集合，檢索詞之間為并集關(guān)系；例如，將必要條件A轉(zhuǎn)換為檢索詞集合{a，b，c}，其關(guān)系是aUbUc；
C、如果必要條件組合中僅包含一個(gè)必要條件項(xiàng)的，則對(duì)該必要條件項(xiàng)進(jìn)行單獨(dú)提取；例如，必要條件組合A中僅包含一個(gè)必要條件項(xiàng)A，則對(duì)必要條件項(xiàng)A進(jìn)行單獨(dú)提??；
D、如果一個(gè)必要條件組合的其中一個(gè)必要條件項(xiàng)被包含在了另一個(gè)必要條件項(xiàng)的范圍中，則放棄該必要條件組合，而保留另一個(gè)必要條件項(xiàng);例如，必要條件項(xiàng)A和必要條件組合B n C H D，如果其中的B[ A，則只保留A;
Ε、如果存在相同的必要條件組合則進(jìn)行消重，只保留其中一組必要條件組合;例如必要條件組合a η B和a η B中需消重只保留一個(gè)a η B;
F、對(duì)同一個(gè)必要條件項(xiàng)中的檢索詞進(jìn)一步抽象出更少的公共條件;例如，在必要條件項(xiàng)A中，包含三個(gè)檢索詞a，b，c，三者的關(guān)系式a UbUc,如果c [ a，則可將必要條件項(xiàng)A對(duì)應(yīng)的檢索詞化簡(jiǎn)為a Ub;
G、如果多組必要條件組合中的對(duì)應(yīng)必要條件項(xiàng)相等或存在包含關(guān)系，則視為同一個(gè)條件項(xiàng)，只保留母集對(duì)應(yīng)的必要條件組合;例如，兩組必要條件組合A Γ? B和A Γ? C中，如果BGC，則僅保留必要條件組合a n C;
H、如果多組必要條件組合中存在相同的部分，則對(duì)相同部分進(jìn)行提取，對(duì)不同部分進(jìn)行合并;例如，兩組必要條件組合a η B和a η C，可合并成為a n (BUc)
1、按照數(shù)據(jù)類型進(jìn)行分類匯總，以獲得數(shù)據(jù)快速篩選條件。
[0009]在步驟H中，還可以舍棄不同的必要條件項(xiàng)，只保留公共部分的必要條件項(xiàng)。例如兩組必要條件組合a η B和a n C，則僅保留a，這樣數(shù)據(jù)處理時(shí)更加簡(jiǎn)單。
[0010]以上所述，僅是本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制，雖然本發(fā)明已以較佳實(shí)施例公開(kāi)如上，然而，并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)然會(huì)利用揭示的技術(shù)內(nèi)容作出些許更動(dòng)或修飾，成為等同變化的等效實(shí)施例，但凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法，包括以下步驟: A、針對(duì)數(shù)據(jù)篩選規(guī)則進(jìn)行分析，提取篩選規(guī)則中的必要條件組合，必要條件組合中包括必要條件； B、將必要條件組合中的檢索詞進(jìn)行還原，并將每一必要條件項(xiàng)都轉(zhuǎn)換為檢索詞集合，檢索詞之間為并集關(guān)系； C、如果必要條件組合中僅包含一個(gè)必要條件項(xiàng)的，則對(duì)該必要條件項(xiàng)進(jìn)行單獨(dú)提取； D、如果一個(gè)必要條件組合的其中一個(gè)必要條件項(xiàng)被包含在了另一個(gè)必要條件項(xiàng)的范圍中，則放棄該必要條件組合，而保留另一個(gè)必要條件項(xiàng)； E、如果存在相同的必要條件組合則進(jìn)行消重，只保留其中一組必要條件組合； F、對(duì)同一個(gè)必要條件項(xiàng)中的檢索詞進(jìn)一步抽象出更少的公共條件； G、如果多組必要條件組合中的對(duì)應(yīng)必要條件項(xiàng)相等或存在包含關(guān)系，則視為同一個(gè)條件項(xiàng)，只保留母集對(duì)應(yīng)的必要條件組合； H、如果多組必要條件組合中存在相同的部分，則對(duì)相同部分進(jìn)行提取，對(duì)不同部分進(jìn)行合并； 1、按照數(shù)據(jù)類型進(jìn)行分類匯總，以獲得數(shù)據(jù)快速篩選條件。2.根據(jù)權(quán)利要求1所述的依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法，其特征在于:步驟H中，舍棄不同的必要條件項(xiàng)，只保留公共部分的必要條件項(xiàng)。
【專利摘要】一種依據(jù)數(shù)據(jù)關(guān)聯(lián)規(guī)則的必要條件分析方法中，針對(duì)數(shù)據(jù)篩選規(guī)則進(jìn)行分析，提取篩選規(guī)則中的必要條件組合，必要條件組合中包括必要條件，將必要條件組合中的檢索詞進(jìn)行還原，并將每一必要條件項(xiàng)都轉(zhuǎn)換為檢索詞集合，檢索詞之間為并集關(guān)系，再通過(guò)對(duì)不同情況下的處理規(guī)則的必要條件進(jìn)行分析，可得到面向不同的業(yè)務(wù)，不同的規(guī)則組配的快速篩選條件，滿足了業(yè)務(wù)上的靈活性，必要條件的分析使用了一系列歸并優(yōu)化的方法既能完全覆蓋目標(biāo)數(shù)據(jù)又一定程度上繼承了規(guī)則的精度，滿足了完整性和復(fù)雜性。
【IPC分類】G06F17/30
【公開(kāi)號(hào)】CN105574087
【申請(qǐng)?zhí)枴緾N201510910422
【發(fā)明人】史墨軒, 張作職
【申請(qǐng)人】天津海量信息技術(shù)有限公司
【公開(kāi)日】2016年5月11日
【申請(qǐng)日】2015年12月10日