提取數(shù)據(jù)的方法和裝置制造方法
【專利摘要】本發(fā)明提供一種提取數(shù)據(jù)的方法和裝置，能夠節(jié)省從數(shù)據(jù)倉庫提取數(shù)據(jù)的人力并且提高數(shù)據(jù)安全性。本發(fā)明的提取數(shù)據(jù)的方法包括：保存數(shù)據(jù)提取任務；在監(jiān)聽到保存了新的數(shù)據(jù)提取任務的情況下，執(zhí)行該新的數(shù)據(jù)提取任務以從數(shù)據(jù)源中提取數(shù)據(jù)得到數(shù)據(jù)提取的結(jié)果文件；將所述結(jié)果文件發(fā)送到存儲裝置中，以供用戶從該存儲裝置獲取所述結(jié)果文件。
【專利說明】提取數(shù)據(jù)的方法和裝置

【技術領域】
[0001 ] 本發(fā)明涉及一種提取數(shù)據(jù)的方法和裝置。

【背景技術】
[0002]隨著互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生的數(shù)據(jù)越來越多，人們對于數(shù)據(jù)分析研究也越來越重視，數(shù)據(jù)倉庫在這樣的背景下越來越發(fā)揮巨大的作用，業(yè)務方也擁有更大的動力在數(shù)據(jù)分析研究方面做出持續(xù)的投入。為了滿足業(yè)務方靈活多樣的數(shù)據(jù)分析需求，數(shù)據(jù)挖掘工程師經(jīng)常需要幫助業(yè)務方人工從數(shù)據(jù)倉庫中將其需要的相關數(shù)據(jù)提取出來，然后以文件的形式交給業(yè)務方。這個過程就是一個數(shù)據(jù)提取的過程。
[0003]在進行數(shù)據(jù)提取時，數(shù)據(jù)挖掘工程師根據(jù)業(yè)務方的需求，分析業(yè)務方需求的數(shù)據(jù)在數(shù)據(jù)倉庫中的存儲位置，然后通過手工執(zhí)行數(shù)據(jù)倉庫使用的數(shù)據(jù)庫的語句的形式將數(shù)據(jù)倉庫中的數(shù)據(jù)轉(zhuǎn)換為普通文本文件，再將文本文件從線上數(shù)據(jù)倉庫服務器下載到數(shù)據(jù)挖掘工程師的個人工作電腦，最后再通過企業(yè)內(nèi)部的溝通工具發(fā)送給業(yè)務方，完成一次數(shù)據(jù)提取流程。
[0004]數(shù)據(jù)庫語句的執(zhí)行時間一般比較長，并且下載文本文件、發(fā)送文本文件也需較長的時間，而且這三個環(huán)節(jié)具有連貫性，任何一個環(huán)節(jié)的失敗都需要人工重新操作，所以在執(zhí)行這三個環(huán)節(jié)的過程中數(shù)據(jù)挖掘工程師必須持續(xù)保持關注，因此很難并行的去同時完成其他的工作，占用大量的人力。并且，由上述三個環(huán)節(jié)組成的整個過程中都是線下手工完成，數(shù)據(jù)在這個過程中經(jīng)過多次流轉(zhuǎn)，造成數(shù)據(jù)在多個地方存在多個備份，這些備份數(shù)據(jù)缺乏足夠的記錄及監(jiān)管，存在數(shù)據(jù)泄露的風險。
[0005]因此目前從數(shù)據(jù)倉庫提取數(shù)據(jù)的方案存在的主要問題是占用大量人力并且數(shù)據(jù)安全性不夠。


【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明提供一種提取數(shù)據(jù)的方法和裝置，能夠節(jié)省從數(shù)據(jù)倉庫提取數(shù)據(jù)的人力并且提高數(shù)據(jù)安全性。
[0007]為實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種提取數(shù)據(jù)的方法。
[0008]本發(fā)明的提取數(shù)據(jù)的方法包括:保存數(shù)據(jù)提取任務；在監(jiān)聽到保存了新的數(shù)據(jù)提取任務的情況下，執(zhí)行該新的數(shù)據(jù)提取任務以從數(shù)據(jù)源中提取數(shù)據(jù)得到數(shù)據(jù)提取的結(jié)果文件；將所述結(jié)果文件發(fā)送到存儲裝置中，以供用戶從該存儲裝置獲取所述結(jié)果文件。
[0009]可選地，保存數(shù)據(jù)提取任務之前還包括:通過表單接收數(shù)據(jù)提取語句，然后根據(jù)該數(shù)據(jù)提取語句生成數(shù)據(jù)提取任務。
[0010]可選地，所述數(shù)據(jù)提取語句為所述數(shù)據(jù)源所使用的數(shù)據(jù)庫的數(shù)據(jù)提取語句，所述數(shù)據(jù)提取任務為該數(shù)據(jù)庫的數(shù)據(jù)提取任務。
[0011]可選地，將所述結(jié)果文件發(fā)送到存儲裝置中的步驟包括:將所述結(jié)果文件保存到臨時存儲目錄中；將所述臨時存儲目錄中的數(shù)據(jù)上傳到云存儲裝置中，然后刪除所述臨時存儲目錄中的數(shù)據(jù)。
[0012]根據(jù)本發(fā)明的另一方面，提供了一種提取數(shù)據(jù)的裝置
[0013]本發(fā)明的提取數(shù)據(jù)的裝置包括:保存模塊，用于保存數(shù)據(jù)提取任務；監(jiān)聽模塊，用于監(jiān)聽所述保存模塊是否保存了新的數(shù)據(jù)提取任務；執(zhí)行模塊，用于在所述監(jiān)聽模塊監(jiān)聽到保存了新的數(shù)據(jù)提取任務的情況下，執(zhí)行該新的數(shù)據(jù)提取任務以從數(shù)據(jù)源中提取數(shù)據(jù)得到數(shù)據(jù)提取的結(jié)果文件；處理模塊，用于將所述結(jié)果文件發(fā)送到存儲裝置中，以供用戶從該存儲裝置獲取所述結(jié)果文件。
[0014]可選地，還包括接收模塊和生成模塊，其中:所述接收模塊，用于通過表單接收數(shù)據(jù)提取語句；所述生成模塊，用于根據(jù)所述數(shù)據(jù)提取語句生成數(shù)據(jù)提取任務。
[0015]可選地，所述數(shù)據(jù)提取語句為所述數(shù)據(jù)源所使用的數(shù)據(jù)庫的數(shù)據(jù)提取語句，所述數(shù)據(jù)提取任務為該數(shù)據(jù)庫的數(shù)據(jù)提取任務。
[0016]可選地，所述處理模塊還用于:將所述結(jié)果文件保存到臨時存儲目錄中；將所述臨時存儲目錄中的數(shù)據(jù)上傳到云存儲裝置中，然后刪除所述臨時存儲目錄中的數(shù)據(jù)。
[0017]根據(jù)本發(fā)明的技術方案，預先保存數(shù)據(jù)提取任務，對保存的數(shù)據(jù)提取任務進行監(jiān)聽以及執(zhí)行監(jiān)聽到的數(shù)據(jù)提取任務，然后將執(zhí)行數(shù)據(jù)提取任務得到的數(shù)據(jù)提供給用戶進行下載。可以看出，這些步驟的組合使得數(shù)據(jù)提取基本是以自動化的方式完成，數(shù)據(jù)挖掘工程師只需按照業(yè)務方的數(shù)據(jù)提取需求，在人機界面中錄入數(shù)據(jù)提取語句，然后無需數(shù)據(jù)挖掘工程師繼續(xù)關注，就可以使業(yè)務方從存儲裝置例如云存儲裝置中獲取數(shù)據(jù)。在該方案中，從數(shù)據(jù)源提取出的數(shù)據(jù)首先保存在臨時目錄中，待數(shù)據(jù)轉(zhuǎn)存到具有較高安全性的云存儲裝置之后即刪除該臨時目錄的內(nèi)容，有助于保證數(shù)據(jù)的安全性。

【專利附圖】

【附圖說明】
[0018]附圖用于更好地理解本發(fā)明，不構(gòu)成對本發(fā)明的不當限定。其中:
[0019]圖1是根據(jù)本發(fā)明實施例的提取數(shù)據(jù)的方法的主要步驟的示意圖；
[0020]圖2是根據(jù)本發(fā)明實施例的提取數(shù)據(jù)的裝置的主要模塊的示意圖。

【具體實施方式】
[0021]以下結(jié)合附圖對本發(fā)明的示范性實施例做出說明，其中包括本發(fā)明實施例的各種細節(jié)以助于理解，應當將它們認為僅僅是示范性的。因此，本領域普通技術人員應當認識至IJ，可以對這里描述的實施例做出各種改變和修改，而不會背離本發(fā)明的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結(jié)構(gòu)的描述。
[0022]圖1是根據(jù)本發(fā)明實施例的提取數(shù)據(jù)的方法的主要步驟的示意圖。該方法可以通過一個作為軟件的數(shù)據(jù)提取裝置來實現(xiàn)。如圖1所示，該提取數(shù)據(jù)的方法主要包括如下的步驟Sll至步驟S17。
[0023]步驟Sll:通過表單接收數(shù)據(jù)提取語句。上述的數(shù)據(jù)提取裝置可以提供人機界面來接收數(shù)據(jù)提取語句，例如提供表單或其他控件來接收數(shù)據(jù)挖掘工程師輸入的數(shù)據(jù)提取語句。數(shù)據(jù)提取語句是數(shù)據(jù)源所使用的數(shù)據(jù)庫的數(shù)據(jù)提取語句，例如數(shù)據(jù)源使用的是SQL數(shù)據(jù)庫，相應地數(shù)據(jù)提取語句即為SQL語句。
[0024]步驟S12:根據(jù)接收的數(shù)據(jù)提取語句生成數(shù)據(jù)提取任務然后保存。數(shù)據(jù)挖掘工程師也可以使用其他工具生成數(shù)據(jù)提取任務，然后由該數(shù)據(jù)提取裝置保存。
[0025]步驟S13:判斷是否監(jiān)聽到保存了新的數(shù)據(jù)提取任務。在本實施例中，數(shù)據(jù)提取裝置持續(xù)監(jiān)聽以確定是否有新的數(shù)據(jù)提取任務。若是，則進入步驟S14，否則按監(jiān)聽頻率延時之后返回本步驟繼續(xù)進行監(jiān)聽。
[0026]步驟S14:執(zhí)行監(jiān)聽到的新的數(shù)據(jù)提取任務。執(zhí)行的結(jié)果即是從數(shù)據(jù)源中提取數(shù)據(jù)，得到數(shù)據(jù)提取的結(jié)果文件。
[0027]步驟S15:將結(jié)果文件保存到臨時存儲目錄中。因為數(shù)據(jù)提取需要一定時間，相應地保存結(jié)果文件需要一定時間，待數(shù)據(jù)提取結(jié)果時形成完整的結(jié)果文件，再進行后續(xù)處理。
[0028]步驟S16:將臨時存儲目錄中的數(shù)據(jù)上傳到云存儲裝置中。這里的數(shù)據(jù)即為上述的結(jié)果文件。如果同時有多個任務執(zhí)行，這里的數(shù)據(jù)也可以是形成的多個結(jié)果文件。步驟S15和步驟S16的目的是將提取到的數(shù)據(jù)保存在一個存儲裝置中以供用戶獲取該數(shù)據(jù)。云存儲裝置具有數(shù)據(jù)安全措施，因此將數(shù)據(jù)最終保存在云存儲裝置中有助于提高數(shù)據(jù)的安全性。用戶例如業(yè)務方可以使用賬戶登錄到云存儲裝置，進行數(shù)據(jù)下載。
[0029]步驟S17:刪除臨時存儲目錄中的數(shù)據(jù)。在將數(shù)據(jù)從臨時存儲目錄上傳到云存儲裝置之后，最好是將臨時存儲目錄中的內(nèi)容清空，以確保數(shù)據(jù)的安全。
[0030]圖2是根據(jù)本發(fā)明實施例的提取數(shù)據(jù)的裝置的主要模塊的示意圖。如圖2所示，本發(fā)明實施例的提取數(shù)據(jù)的裝置20主要包括保存模塊21、監(jiān)聽模塊22、執(zhí)行模塊23、以及處理模塊24。保存模塊21用于保存數(shù)據(jù)提取任務。監(jiān)聽模塊22用于監(jiān)聽保存模塊21是否保存了新的數(shù)據(jù)提取任務。執(zhí)行模塊23用于在監(jiān)聽模塊22監(jiān)聽到保存了新的數(shù)據(jù)提取任務的情況下，執(zhí)行該新的數(shù)據(jù)提取任務以從數(shù)據(jù)源中提取數(shù)據(jù)得到數(shù)據(jù)提取的結(jié)果文件。處理模塊24用于將該結(jié)果文件發(fā)送到存儲裝置中，以供用戶從該存儲裝置獲取該結(jié)果文件。處理模塊24還可用于將結(jié)果文件保存到臨時存儲目錄中；以及將臨時存儲目錄中的數(shù)據(jù)上傳到云存儲裝置中，然后刪除臨時存儲目錄中的數(shù)據(jù)。
[0031]提取數(shù)據(jù)的裝置20還可以包括接收模塊和生成模塊(圖中未示出)。接收模塊用于通過表單接收數(shù)據(jù)提取語句。生成模塊用于根據(jù)數(shù)據(jù)提取語句生成數(shù)據(jù)提取任務。
[0032]根據(jù)本發(fā)明實施例的技術方案，預先保存數(shù)據(jù)提取任務，對保存的數(shù)據(jù)提取任務進行監(jiān)聽以及執(zhí)行監(jiān)聽到的數(shù)據(jù)提取任務，然后將執(zhí)行數(shù)據(jù)提取任務得到的數(shù)據(jù)提供給用戶進行下載?？梢钥闯觯@些步驟的組合使得數(shù)據(jù)提取基本是以自動化的方式完成，數(shù)據(jù)挖掘工程師只需按照業(yè)務方的數(shù)據(jù)提取需求，在人機界面中錄入數(shù)據(jù)提取語句，然后無需數(shù)據(jù)挖掘工程師繼續(xù)關注，就可以使業(yè)務方從存儲裝置例如云存儲裝置中獲取數(shù)據(jù)。在該方案中，從數(shù)據(jù)源提取出的數(shù)據(jù)首先保存在臨時目錄中，待數(shù)據(jù)轉(zhuǎn)存到具有較高安全性的云存儲裝置之后即刪除該臨時目錄的內(nèi)容，有助于保證數(shù)據(jù)的安全性。
[0033]以上結(jié)合具體實施例描述了本發(fā)明的基本原理，但是，需要指出的是，對本領域的普通技術人員而言，能夠理解本發(fā)明的方法和設備的全部或者任何步驟或者部件，可以在任何計算裝置(包括處理器、存儲介質(zhì)等)或者計算裝置的網(wǎng)絡中，以硬件、固件、軟件或者它們的組合加以實現(xiàn)，這是本領域普通技術人員在閱讀了本發(fā)明的說明的情況下運用他們的基本編程技能就能實現(xiàn)的。
[0034]因此，本發(fā)明的目的還可以通過在任何計算裝置上運行一個程序或者一組程序來實現(xiàn)。所述計算裝置可以是公知的通用裝置。因此，本發(fā)明的目的也可以僅僅通過提供包含實現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來實現(xiàn)。也就是說，這樣的程序產(chǎn)品也構(gòu)成本發(fā)明，并且存儲有這樣的程序產(chǎn)品的存儲介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲介質(zhì)可以是任何公知的存儲介質(zhì)或者將來開發(fā)出的任何存儲介質(zhì)。
[0035]還需要指出的是，在本發(fā)明的裝置和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為本發(fā)明的等效方案。并且，執(zhí)行上述系列處理的步驟可以自然地按照說明的順序按時間順序執(zhí)行，但是并不需要一定按照時間順序執(zhí)行。某些步驟可以并行或彼此獨立地執(zhí)行。
[0036]上述【具體實施方式】，并不構(gòu)成對本發(fā)明保護范圍的限制。本領域技術人員應該明白的是，取決于設計要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進等，均應包含在本發(fā)明保護范圍之內(nèi)。
【權(quán)利要求】
1.一種提取數(shù)據(jù)的方法，其特征在于，包括: 保存數(shù)據(jù)提取任務； 在監(jiān)聽到保存了新的數(shù)據(jù)提取任務的情況下，執(zhí)行該新的數(shù)據(jù)提取任務以從數(shù)據(jù)源中提取數(shù)據(jù)得到數(shù)據(jù)提取的結(jié)果文件； 將所述結(jié)果文件發(fā)送到存儲裝置中，以供用戶從該存儲裝置獲取所述結(jié)果文件。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，保存數(shù)據(jù)提取任務之前還包括:通過表單接收數(shù)據(jù)提取語句，然后根據(jù)該數(shù)據(jù)提取語句生成數(shù)據(jù)提取任務。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述數(shù)據(jù)提取語句為所述數(shù)據(jù)源所使用的數(shù)據(jù)庫的數(shù)據(jù)提取語句，所述數(shù)據(jù)提取任務為該數(shù)據(jù)庫的數(shù)據(jù)提取任務。
4.根據(jù)權(quán)利要求1，2或3所述的方法，其特征在于，將所述結(jié)果文件發(fā)送到存儲裝置中的步驟包括: 將所述結(jié)果文件保存到臨時存儲目錄中； 將所述臨時存儲目錄中的數(shù)據(jù)上傳到云存儲裝置中，然后刪除所述臨時存儲目錄中的數(shù)據(jù)。
5.一種提取數(shù)據(jù)的裝置，其特征在于，包括: 保存模塊，用于保存數(shù)據(jù)提取任務； 監(jiān)聽模塊，用于監(jiān)聽所述保存模塊是否保存了新的數(shù)據(jù)提取任務； 執(zhí)行模塊，用于在所述監(jiān)聽模塊監(jiān)聽到保存了新的數(shù)據(jù)提取任務的情況下，執(zhí)行該新的數(shù)據(jù)提取任務以從數(shù)據(jù)源中提取數(shù)據(jù)得到數(shù)據(jù)提取的結(jié)果文件； 處理模塊，用于將所述結(jié)果文件發(fā)送到存儲裝置中，以供用戶從該存儲裝置獲取所述結(jié)果文件。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，還包括接收模塊和生成模塊，其中: 所述接收模塊，用于通過表單接收數(shù)據(jù)提取語句； 所述生成模塊，用于根據(jù)所述數(shù)據(jù)提取語句生成數(shù)據(jù)提取任務。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述數(shù)據(jù)提取語句為所述數(shù)據(jù)源所使用的數(shù)據(jù)庫的數(shù)據(jù)提取語句，所述數(shù)據(jù)提取任務為該數(shù)據(jù)庫的數(shù)據(jù)提取任務。
8.根據(jù)權(quán)利要求5，6或7所述的裝置，其特征在于，所述處理模塊還用于:將所述結(jié)果文件保存到臨時存儲目錄中；將所述臨時存儲目錄中的數(shù)據(jù)上傳到云存儲裝置中，然后刪除所述臨時存儲目錄中的數(shù)據(jù)。
【文檔編號】G06F17/30GK104268172SQ201410467821
【公開日】2015年1月7日 申請日期:2014年9月15日 優(yōu)先權(quán)日:2014年9月15日
【發(fā)明者】劉彥偉, 王曉 申請人:北京京東尚科信息技術有限公司, 北京京東世紀貿(mào)易有限公司