員或者作業(yè)開發(fā)人員可以調整緩存中的元數據和中間任務的輸出數據的比率，以便減少緩存溢出的次數，進而減少讀寫量。管理員或者作業(yè)開發(fā)人員還可以調整每個中間任務的輸入數據的大小(也即調整中間任務的數量)，從而減少每個中間任務的輸出數據或者輸出記錄的個數。以這樣的方式，與存儲中間任務的輸出數據相關聯(lián)的讀寫量可以被減少。
[0062]應當注意的是，以上參照圖2所描述的方法是在目標作業(yè)尚未被處理或者僅被部分處理的時候，預測目標作業(yè)的資源開銷并且生成告警。
[0063]以上討論了對于一個目標作業(yè)的資源開銷計算以及告警生成，然而在作業(yè)處理系統(tǒng)中，通常可以由多個目標作業(yè)組成一個作業(yè)流(workflow)，并且這些目標作業(yè)是重復的。因此，對于作業(yè)流每個目標作業(yè)，均可以按照以上實施例所描述的方式計算資源開銷。在一個實施例中，可以根據確定的資源開銷，針對每個目標作業(yè)生成相應的告警。在另一個實施例中，還可以根據確定的資源開銷，針對一個作業(yè)流生成告警。
[0064]圖3示出了根據本發(fā)明實施例的用于生成作業(yè)告警的系統(tǒng)300的示例性框圖。如圖所示，系統(tǒng)300包括:特性確定單元301，被配置為通過分析歷史作業(yè)來確定目標作業(yè)在至少一個階段中的輸入輸出的特性，目標作業(yè)將要在至少一個階段中被并行處理；資源開銷計算單元302，被配置為基于輸入輸出的特性，計算與目標作業(yè)的處理相關聯(lián)的資源開銷；以及告警生成單元303，被配置為響應于資源開銷超過預定閾值，生成針對目標作業(yè)的生敬口目。
[0065]在一些實施例中，歷史作業(yè)是基于目標作業(yè)的輸入數據中已被處理的部分數據而獲得的。
[0066]在一些實施例中，歷史作業(yè)與目標作業(yè)具有相同的處理邏輯。在這些實施例中，特性確定單元301包括:第一關聯(lián)關系確定單元，被配置為基于歷史作業(yè)的輸入數據大小和輸出數據大小，確定目標作業(yè)的輸入數據與輸出數據之間的第一關聯(lián)關系。
[0067]在一些實施例中，資源開銷計算單元302包括:輸入數據獲取單元，被配置為獲取目標作業(yè)的輸入數據的大?。坏谝惠敵鰯祿_定單元，被配置為基于第一關聯(lián)關系以及目標作業(yè)的輸入數據的大小，確定目標作業(yè)在至少一個階段之后的輸出數據的大小。
[0068]在一些實施例中，告警生成單元303被配置為響應于目標作業(yè)在至少一個階段之后的輸出數據的大小超過相應存儲器的預定存儲閾值，生成針對目標作業(yè)的告警。
[0069]在一些實施例中，目標作業(yè)具有中間任務，歷史作業(yè)具有歷史中間任務，中間任務與歷史中間任務具有相同的處理邏輯；并且在這些實施例中，特性確定單元301包括:第二關聯(lián)關系確定單元，被配置為基于歷史中間任務的輸入數據大小和輸出數據大小，確定目標作業(yè)關于中間任務的輸入數據與輸出數據之間的第二關聯(lián)關系。
[0070]在一些實施例中，資源開銷計算單元302包括:輸入數據屬性獲取單元，被配置為獲取目標作業(yè)的輸入數據的屬性，輸入數據的屬性包括輸入數據的大小、數據分布、以及分塊大小中的至少一個；中間輸入數據確定單元，被配置為基于輸入數據的屬性，確定與目標作業(yè)的中間任務相關聯(lián)的輸入數據的大小；以及中間輸出數據確定單元，被配置為基于第二關聯(lián)關系以及與中間任務相關聯(lián)的輸入數據的大小，確定中間任務的輸出數據的大小。
[0071]在一些實施例中，告警生成單元303被配置為響應于中間任務的輸出數據的大小超過相應存儲器的預定存儲閾值，生成針對目標作業(yè)的告警。
[0072]在一些實施例中，特性確定單元301進一步包括:第三關聯(lián)關系確定單元，被配置為基于所述歷史中間任務的輸入數據大小和輸出記錄個數，確定所述目標作業(yè)關于所述中間任務的輸入數據與輸出記錄個數之間的第三關聯(lián)關系。在另外的實施例中，資源開銷計算單元302進一步包括:輸出記錄確定單元，被配置為基于第三關聯(lián)關系以及與中間任務相關聯(lián)的輸入數據的大小，確定中間任務的輸出記錄個數；以及讀寫量確定單元，被配置為基于中間任務的輸出記錄個數和中間任務的輸出數據的大小，確定與存儲中間任務的輸出數據有關的讀寫量。
[0073]在一些實施例中，告警生成單元303被配置為響應于讀寫量超過預定讀寫閾值，生成針對目標作業(yè)的告警。
[0074]應當注意，為清晰起見，圖3中沒有示出系統(tǒng)300所包括的可選單元或者子單元。上文所描述的所有特征和操作分別適用于系統(tǒng)300。而且，系統(tǒng)300中的單元或子單元的劃分不是限制性的而是示例性的，旨在從邏輯上描述其主要功能或操作。一個單元的功能可以由多個單元來實現(xiàn)；反之，多個單元亦可由一個單元來實現(xiàn)。本發(fā)明的范圍在此方面不受限制。
[0075]而且，系統(tǒng)300所包含的單元可以利用各種方式來實現(xiàn)，包括軟件、硬件、固件或其任意組合。例如，在某些實施方式中，系統(tǒng)300可以利用軟件和/或固件來實現(xiàn)。備選地或附加地，系統(tǒng)300可以部分地或者完全地基于硬件來實現(xiàn)。例如，系統(tǒng)300中的一個或多個單元可以實現(xiàn)為集成電路(IC)芯片、專用集成電路(ASIC)、片上系統(tǒng)(SOC)、現(xiàn)場可編程門陣列(FPGA)，等等。本發(fā)明的范圍在此方面不受限制。
[0076]本發(fā)明可以是系統(tǒng)、方法和/或計算機程序產品。計算機程序產品可以包括計算機可讀存儲介質，其上載有用于使處理器實現(xiàn)本發(fā)明的各個方面的計算機可讀程序指令。
[0077]計算機可讀存儲介質可以是可以保持和存儲由指令執(zhí)行設備使用的指令的有形設備。計算機可讀存儲介質例如可以是一一但不限于一一電存儲設備、磁存儲設備、光存儲設備、電磁存儲設備、半導體存儲設備或者上述的任意合適的組合。計算機可讀存儲介質的更具體的例子(非窮舉的列表)包括:便攜式計算機盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPR0M或閃存)、靜態(tài)隨機存取存儲器(SRAM)、便攜式壓縮盤只讀存儲器(⑶-ROM)、數字多功能盤(DVD)、記憶棒、軟盤、機械編碼設備、例如其上存儲有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這里所使用的計算機可讀存儲介質不被解釋為瞬時信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈沖)、或者通過電線傳輸的電信號。
[0078]這里所描述的計算機可讀程序指令可以從計算機可讀存儲介質下載到各個計算/處理設備，或者通過網絡、例如因特網、局域網、廣域網和/或無線網下載到外部計算機或外部存儲設備。網絡可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機、網關計算機和/或邊緣服務器。每個計算/處理設備中的網絡適配卡或者網絡接口從網絡接收計算機可讀程序指令，并轉發(fā)該計算機可讀程序指令，以供存儲在各個計算/處理設備中的計算機可讀存儲介質中。
[0079]用于執(zhí)行本發(fā)明操作的計算機程序指令可以是匯編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態(tài)設置數據、或者以一種或多種編程語言的任意組合編寫的源代碼或目標代碼，所述編程語言包括面向對象的編程語言一諸如Smalltalk、C++等，以及常規(guī)的過程式編程語目一諸如“C”語目或類似的編程語目。計算機可讀程序指令可以完全地在用戶計算機上執(zhí)行、部分地在用戶計算機上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算機上部分在遠程計算機上執(zhí)行、或者完全在遠程計算機或服務器上執(zhí)行。在涉及遠程計算機的情形中，遠程計算機可以通過任意種類的網絡一包括局域網(LAN)或廣域網(WAN)—連接到用戶計算機，或者，可以連接到外部計算機(例如利用因特網服務提供商來通過因特網連接)。在一些實施例中，通過利用計算機可讀程序指令的狀態(tài)信息來個性化定制電子電路，例如可編程邏輯電路、現(xiàn)場可編程門陣列(FPGA)或可編程邏輯陣列(PLA)，該電子電路可以執(zhí)行計算機可讀程序指令，從而實現(xiàn)本發(fā)明的各個方面。
[0080]這里參照根據本發(fā)明實施例的方法、裝置(系統(tǒng))和計算機程序產品的流程圖和/或框圖描述了本發(fā)明的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由計算機可讀程序指令實現(xiàn)。
[0081]這些計算機可讀程序指令可以提供給通用計算機、專用計算機或其它可編程數據處理裝置的處理器，從而生產出一種機器，使得這些指令在通過計算機或其它可編程數據處理裝置的處理器執(zhí)行時，產生了實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的裝置。也可以把這些計算機可讀程序指令存儲在計算機可讀存儲介質中，這些指令使得計算機、可編程數據處理裝置和/或其他設備以特定方式工作，從而，存儲有指令的計算機可讀介質則包括一個制造品，其包括實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的各個方面的指令。
[0082]也可以把計算機可讀程序指令加載到計算機、其它可編程數據處理裝置、或其它設備上，使得在計算機、其它可編程數據處理裝置或其它設備上執(zhí)行一系列操作步驟，以產生計算機實現(xiàn)的過程，從而使得在計算機、其它可編程數據處理裝置、或其它設備上執(zhí)行的指令實現(xiàn)流程圖和/或框圖中的一