專利名稱：數(shù)據(jù)自適應(yīng)過濾方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理操作領(lǐng)域，尤其涉及一種數(shù)據(jù)自適應(yīng)過濾方法及裝置。
背景技術(shù)：
在數(shù)據(jù)處理業(yè)務(wù)中經(jīng)常遇到如下一種業(yè)務(wù)狀況:數(shù)據(jù)處理模塊需要對收集到的數(shù)據(jù)按照時間進行清洗過濾。例如，對廣告業(yè)務(wù)而言，需要對收到的數(shù)據(jù)進行訂單-廣告位-日期的白名單過濾。訂單-廣告位-日期的白名單假設(shè)我們事先已經(jīng)建立好，并且由于白名單數(shù)據(jù)一般都存儲在數(shù)據(jù)庫表中，全量查詢耗時較長，所以只能查詢一段時間內(nèi)的數(shù)據(jù)，并且為提高性能考慮，不能每條記錄都查詢數(shù)據(jù)庫，應(yīng)該都一次性載入到內(nèi)存中。如圖1所示，將收到的數(shù)據(jù)流x(t，X)，經(jīng)過過濾器的過濾后，得到過濾后的輸出數(shù)據(jù)流，其中該輸出數(shù)據(jù)流表示為:Y(t,x)=X(t,x) F(T) ,F⑴為過濾函數(shù)。目前有以下兩種數(shù)據(jù)過濾的方法:第一種，以運行的當(dāng)前時間now為基準，F(xiàn)⑴=[now-1, now]的白名單，即檢查前2天的白名單，不在白名單中的數(shù)據(jù)則丟棄；該方法中，F(xiàn)(T)是一個固定的函數(shù)。第二種，將時間在程序運行之初以參數(shù)T傳入，F(xiàn)(T) = [T-1,T]的白名單，即檢查[Τ-1，Τ]的白名單，不在白名單中的數(shù)據(jù)則丟棄。在實現(xiàn)上述數(shù)據(jù)過濾的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題:對于方法一，當(dāng)因為種種原因要重新計算前端時間數(shù)據(jù)的時候，會出現(xiàn)數(shù)據(jù)全部丟棄的問題。而對于方法二而言，則需要明確知道正在處理的數(shù)據(jù)是哪個時間點的數(shù)據(jù)，否則一旦多個時間點的數(shù)據(jù)混合在一起，就很難處理?？傊捎谀壳耙延械姆椒ㄖ械倪^濾函數(shù)都是事先準備好的過濾函數(shù)，導(dǎo)致現(xiàn)有技術(shù)中的數(shù)據(jù)過濾方法的靈活性較差。

發(fā)明內(nèi)容
本發(fā)明的實施例提供一種數(shù)據(jù)自適應(yīng)過濾方法及裝置，能夠簡單靈活自適應(yīng)的實現(xiàn)數(shù)據(jù)的過濾。為達到上述目的，本發(fā)明的實施例采用如下技術(shù)方案:一種數(shù)據(jù)自適應(yīng)過濾方法，包括:讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳；通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾；將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，并將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中。一種數(shù)據(jù)自適應(yīng)過濾裝置，包括:時間戳獲取單元，用于讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳；過濾單元，用于通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾；業(yè)務(wù)處理單元，用于將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中。本發(fā)明實施例提供的數(shù)據(jù)自適應(yīng)過濾方法及裝置，能夠在讀取數(shù)據(jù)記錄時，獲取該數(shù)據(jù)記錄的時間戳，并且在對讀取的數(shù)據(jù)記錄進行過濾時，是通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾，與現(xiàn)有技術(shù)中使用事先準備好的過濾函數(shù)對數(shù)據(jù)記錄進行過濾相比，能夠簡單靈活自適應(yīng)的實現(xiàn)數(shù)據(jù)的過濾。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為現(xiàn)有技術(shù)中數(shù)據(jù)流濾波處理過程示意圖；圖2為本發(fā)明實施例1中數(shù)據(jù)自適應(yīng)過濾方法的流程圖；圖3為本發(fā)明實施例1中數(shù)據(jù)流濾波處理過程示意圖；圖4為本發(fā)明實施例2中數(shù)據(jù)自適應(yīng)過濾方法的流程圖；圖5為本發(fā)明實施例2中確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中的方法流程圖；圖6為本發(fā)明實施例3中一種數(shù)據(jù)自適應(yīng)過濾裝置的組成框圖；圖7為本發(fā)明實施例3中另一種數(shù)據(jù)自適應(yīng)過濾裝置的組成框圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。實施例1本發(fā)明實施例提供一種數(shù)據(jù)自適應(yīng)過濾方法，如圖2所示，該方法包括:101、讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳。需要說明的是，數(shù)據(jù)記錄在生成時，都會包含時間戳，例如廣告業(yè)務(wù)，其對應(yīng)的一條數(shù)據(jù)記錄包含進行訂單-廣告位-日期，該日期即為所述廣告業(yè)務(wù)對應(yīng)數(shù)據(jù)記錄的時間戳。該時間戳可以以天為單位，但本發(fā)明實施例對此不進行限制，用戶在實施本發(fā)明實施例時，可以根據(jù)自己的需要具體設(shè)置時間戳的單位。102、通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾。需要說明的是，由于該對讀取的數(shù)據(jù)記錄進行過濾的函數(shù)為與所述時間戳相關(guān)的過濾函數(shù)，該過濾函數(shù)可以為F(T) =f(t)，為[t-l，t]的白名單數(shù)據(jù)。其t與數(shù)據(jù)流即數(shù)據(jù)記錄X(t，x)中的t相同，這樣過濾函數(shù)就與輸入的時間自動匹配，根據(jù)輸入時間的不同，可以得到不同的過濾輸出數(shù)據(jù)，從而實現(xiàn)自適應(yīng)。具體如圖3所示，當(dāng)輸入的時間為T1、T2、Τ3時，分別得到的濾輸出數(shù)據(jù)流Y (Tl，χ)、Υ(Τ2，χ)、Υ(Τ3，χ)。103、將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，并將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中。將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中，即將業(yè)務(wù)處理結(jié)果輸出到按時間戳分割到文件夾中，即一時間戳范圍的文件放在同一個文件夾中。本發(fā)明實施例中，能夠在讀取數(shù)據(jù)記錄時，獲取該數(shù)據(jù)記錄的時間戳，并且在對讀取的數(shù)據(jù)記錄進行過濾時，是通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾，與現(xiàn)有技術(shù)中使用事先準備好的過濾函數(shù)對數(shù)據(jù)記錄進行過濾相比，能夠簡單靈活自適應(yīng)的實現(xiàn)數(shù)據(jù)的過濾。實施例2本發(fā)明實施例提供一種數(shù)據(jù)自適應(yīng)過濾方法，如圖4所示，該方法包括:201、讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳。需要說明的是，數(shù)據(jù)記錄在生成時，都會包含時間戳，例如廣告業(yè)務(wù)，其對應(yīng)的一條數(shù)據(jù)記錄包含進行訂單-廣告位-日期，該日期即為所述廣告業(yè)務(wù)對應(yīng)數(shù)據(jù)記錄的時間戳。該時間戳可以以天為單位，但本發(fā)明實施例對此不進行限制，用戶在實施本發(fā)明實施例時，可以根據(jù)自己的需要具體設(shè)置時間戳的單位。202、確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中；若與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中，則執(zhí)行步驟203 ;若與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中，則執(zhí)行步驟206。其中，該與所述時間戳相關(guān)的預(yù)定時間段可以根據(jù)用戶的需求設(shè)置，本發(fā)明實施例對此不進行限制，例如，可以將其直接設(shè)置為[t-l，t]或者[t-l，t+l]或者[t-2，t]等，也可以初次將其設(shè)置為[t-1，t]，并根據(jù)后續(xù)的需求修改為[t-1，t+1]或者[t-2，t]等。其中，確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中，可以通過以下的方法實現(xiàn)，如圖5所示，該方法包括:2021、檢測內(nèi)存中是否存在已加載的白名單數(shù)據(jù)；若檢測到所述內(nèi)存中存在已加載的白名單數(shù)據(jù)，則執(zhí)行步驟2022 ;若檢測到所述內(nèi)存中不存在已加載的白名單數(shù)據(jù)，則執(zhí)行步驟2024。2022、判斷所述時間戳與已加載的白名單對應(yīng)的時間戳是否相同；若相同，則執(zhí)行步驟2023 ;若不相同，則執(zhí)行步驟2024。2023、確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中。2024、確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中。需要說明的是，在確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中時，除了圖5所描述的方法外，還可以直接檢測所述內(nèi)存中是否存在與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)；當(dāng)然本發(fā)明實施例對此不進行限制，任何可以確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中的方法都屬于本發(fā)明保護的范圍。特別說明的是，當(dāng)已知讀取的待過濾的數(shù)據(jù)記錄為第一條數(shù)據(jù)記錄時，可以優(yōu)選采用直接檢測的方法；當(dāng)已知讀取的待過濾的數(shù)據(jù)記錄為非第一條記錄是，可以優(yōu)選采用圖5所描述的方法，因為圖5描述的方法可以將讀取的數(shù)據(jù)記錄的時間戳和已加載的白名單對應(yīng)的時間戳直接進行比較，使得操作比較簡單，能夠節(jié)省查詢時間。203、確定所述數(shù)據(jù)記錄是否與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配；若所述數(shù)據(jù)記錄與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配，則執(zhí)行步驟204;若所述數(shù)據(jù)記錄不與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配，則執(zhí)行步驟205。204、將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，并將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中，并讀取下一個數(shù)據(jù)記錄，直到完成所有的需要進行過濾處理的數(shù)據(jù)記錄過濾處理。205、結(jié)束所述數(shù)據(jù)記錄的自適應(yīng)過濾。206、將所述與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)加載到內(nèi)存中，并執(zhí)行步驟203。本發(fā)明實施例中，能夠在讀取數(shù)據(jù)記錄時，獲取該數(shù)據(jù)記錄的時間戳，并且在對讀取的數(shù)據(jù)記錄進行過濾時，是通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾，與現(xiàn)有技術(shù)中使用事先準備好的過濾函數(shù)對數(shù)據(jù)記錄進行過濾相比，能夠簡單靈活自適應(yīng)的實現(xiàn)數(shù)據(jù)的過濾。實施例3 本發(fā)明實施例提供一種數(shù)據(jù)自適應(yīng)過濾裝置，如圖6所示，該數(shù)據(jù)自適應(yīng)過濾裝置包括:時間戳獲取單元31、過濾單元32、業(yè)務(wù)處理單元33。時間戳獲取單元31，用于讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳。過濾單元32，用于通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾。業(yè)務(wù)處理單元33，用于將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中。進一步的，如圖7所示，所述過濾單元32包括:第一確定模塊321、第二確定模塊322、過濾輸出模塊323、加載模塊324。第一確定模塊321，用于檢測與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中；其中，所述第一確定模塊321在檢測與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中時，具體用于檢測內(nèi)存中是否存在已加載的白名單數(shù)據(jù)；若檢測到所述內(nèi)存中存在已加載的白名單數(shù)據(jù)，則判斷所述時間戳與已加載的白名單對應(yīng)的時間戳是否相同；若相同，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中；若不相同，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中。若檢測到所述內(nèi)存中不存在已加載的白名單數(shù)據(jù)，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中。第二確定模塊322，用于在所述第一確定模塊321確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中時，確定所述數(shù)據(jù)記錄是否與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配。過濾輸出模塊323，用于在所述第二確定模塊322確定所述數(shù)據(jù)記錄與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配時，將所述數(shù)據(jù)記錄輸出，得到過濾輸出的數(shù)據(jù)記錄。加載模塊324,用于在所述第一確定模塊321確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中時，將所述與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)加載到內(nèi)存中。所述第二確定模塊322還用于，在所述加載模塊324將所述與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)加載到內(nèi)存中之后確定所述數(shù)據(jù)記錄是否與所述白名單中的數(shù)據(jù)相匹配。需要說明的是，本發(fā)明實施例提供的數(shù)據(jù)自適應(yīng)過濾裝置所包含的各功能模塊的其他描述，可以參考實施例1和實施例2中的相應(yīng)描述，本發(fā)明實施例此處將不再贅述。
本發(fā)明實施例提供的數(shù)據(jù)自適應(yīng)過濾方法及裝置，能夠在讀取數(shù)據(jù)記錄時，獲取該數(shù)據(jù)記錄的時間戳，并且在對讀取的數(shù)據(jù)記錄進行過濾時，是通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾，與現(xiàn)有技術(shù)中使用事先準備好的過濾函數(shù)對數(shù)據(jù)記錄進行過濾相比，能夠簡單靈活自適應(yīng)的實現(xiàn)數(shù)據(jù)的過濾。通過以上的實施方式的描述，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件的方式來實現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在可讀取的存儲介質(zhì)中，如計算機的軟盤，硬盤或光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。以上所述，僅為本發(fā)明的具體實施方式
，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。
權(quán)利要求
1.一種數(shù)據(jù)自適應(yīng)過濾方法，其特征在于，包括: 讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳； 通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾； 將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，并將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)自適應(yīng)過濾方法，其特征在于，所述通過與所述時間戳相關(guān)的過濾函數(shù)，對所述數(shù)據(jù)記錄進行過濾包括: 確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中； 若與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中，則確定所述數(shù)據(jù)記錄是否與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配； 若所述數(shù)據(jù)記錄與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配，則將所述數(shù)據(jù)記錄輸出，得到過濾輸出的數(shù)據(jù)記錄。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)自適應(yīng)過濾方法，其特征在于，還包括: 若與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中，則將所述與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)加載到內(nèi)存中，并執(zhí)行所述確定所述數(shù)據(jù)記錄是否與所述白名單中的數(shù)據(jù)相匹配。
4.根據(jù)權(quán)利要求2或3所述的數(shù)據(jù)自適應(yīng)過濾方法，其特征在于，確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中包括: 檢測內(nèi)存中是否存在已加載的白名單數(shù)據(jù)； 若檢測到所述內(nèi)存中存在已加載的白名單數(shù)據(jù)，則判斷所述時間戳與已加載的白名單對應(yīng)的時間戳是否相同； 若相同，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中；若不相同，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)自適應(yīng)過濾方法，其特征在于，還包括: 若檢測到所述內(nèi)存中不存在已加載的白名單數(shù)據(jù)，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中。
6.一種數(shù)據(jù)自適應(yīng)過濾裝置，其特征在于，包括: 時間戳獲取單元，用于讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳； 過濾單元，用于通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾； 業(yè)務(wù)處理單元，用于將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)自適應(yīng)過濾裝置，其特征在于，所述過濾單元包括: 第一確定模塊，用于檢測與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)是否已加載到內(nèi)存中； 第二確定模塊，用于在所述第一確定模塊確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中時，確定所述數(shù)據(jù)記錄是否與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配； 過濾輸出模塊，用于在所述第二確定模塊確定所述數(shù)據(jù)記錄與加載到內(nèi)存的白名單中的數(shù)據(jù)相匹配時，將所述數(shù)據(jù)記錄輸出，得到過濾輸出的數(shù)據(jù)記錄。
8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)自適應(yīng)過濾裝置，其特征在于，所述過濾單元還包括:加載模塊，用于在所述第一確定模塊確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中時，將所述與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)加載到內(nèi)存中； 所述第二確定模塊還用于，在所述加載模塊將所述與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)加載到內(nèi)存中之后確定所述數(shù)據(jù)記錄是否與所述白名單中的數(shù)據(jù)相匹配。
9.根據(jù)權(quán)利要求7或8所述的數(shù)據(jù)自適應(yīng)過濾裝置，其特征在于，所述第一確定模塊用于， 檢測內(nèi)存中是否存在已加載的白名單數(shù)據(jù)； 若檢測到所述內(nèi)存中存在已加載的白名單數(shù)據(jù)，則判斷所述時間戳與已加載的白名單對應(yīng)的時間戳是否相同； 若相同，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)已加載到內(nèi)存中；若不相同，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中。
10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)自適應(yīng)過濾裝置，其特征在于，所述第一確定模塊還用于， 若檢測到所述內(nèi)存中不存在已加載的白名單數(shù)據(jù)，則確定與所述時間戳相關(guān)的預(yù)定時間段內(nèi)的白名單數(shù)據(jù)沒有加載到內(nèi)存中。
全文摘要
本發(fā)明公開了一種數(shù)據(jù)自適應(yīng)過濾方法及裝置，涉及數(shù)據(jù)處理操作領(lǐng)域，能夠簡單靈活自適應(yīng)的實現(xiàn)數(shù)據(jù)的過濾。本發(fā)明的方法包括讀取數(shù)據(jù)記錄，并獲取所述數(shù)據(jù)記錄的時間戳；通過與所述時間戳相關(guān)的過濾函數(shù)對所述數(shù)據(jù)記錄進行過濾；將過濾輸出的數(shù)據(jù)記錄進行對應(yīng)的業(yè)務(wù)處理，并將業(yè)務(wù)處理結(jié)果輸出到所述時間戳對應(yīng)的文件夾中。本發(fā)明的實施例主要用于數(shù)據(jù)自適應(yīng)過濾處理的過程中。
文檔編號G06F17/30GK103186562SQ20111044864
公開日2013年7月3日 申請日期2011年12月28日 優(yōu)先權(quán)日2011年12月28日
發(fā)明者伍劉, 趙宏宇 申請人:騰訊科技(北京)有限公司