特征模型樣本分割為多個(gè)群組。另外,可選擇地,該模型群組器可從各該群組中選擇一資源特征模型樣本作為一資源特征模型代表,而請(qǐng)求處理器1137a可根據(jù)最佳資源模塊1135傳送的工作名稱與節(jié)點(diǎn)名稱,從該等資源特征模型代表中選出資源特征模型23。當(dāng)出現(xiàn)一新資源特征模型樣本時(shí),該群組決定器會(huì)根據(jù)該新資源特征模型樣本的各項(xiàng)信息,將該新資源特征模型樣本加入最適合的群組中。
[0096]同質(zhì)節(jié)點(diǎn)引擎1137d可包含一節(jié)點(diǎn)信息檢索器(未繪示于圖)、一節(jié)點(diǎn)群組器(未繪示于圖)、一群組決定器(未繪示于圖)及一群組模型產(chǎn)生器(未繪示于圖)。當(dāng)節(jié)點(diǎn)(即從屬裝置13)的數(shù)量過高(例如超過一門檻值),該節(jié)點(diǎn)信息檢索器會(huì)截取各個(gè)節(jié)點(diǎn)的各項(xiàng)信息(例如硬件信息),而該節(jié)點(diǎn)群組器會(huì)根據(jù)這些信息,將該等節(jié)點(diǎn)分割為多個(gè)群組。例如,該節(jié)點(diǎn)群組器可利用K-means演算將該等節(jié)點(diǎn)分割為多個(gè)群組。當(dāng)出現(xiàn)一新節(jié)點(diǎn)時(shí),該群組決定器會(huì)根據(jù)該新節(jié)點(diǎn)的各項(xiàng)信息,將該新節(jié)點(diǎn)加入最適合的群組中。另外,該群組模型產(chǎn)生器會(huì)擷取該新節(jié)點(diǎn)所屬群組中的訓(xùn)練數(shù)據(jù),透過一支持向量回歸模塊產(chǎn)生器為該新節(jié)點(diǎn)建立資源特征模型23,并將資源特征模型23儲(chǔ)存至分布式檔案系統(tǒng)15。于其它實(shí)施例,同質(zhì)節(jié)點(diǎn)引擎1137d可與同質(zhì)模型引擎1137c合并在一起。
[0097]如圖5所示,模型產(chǎn)生器1335可包含一工作完成偵測(cè)器(job finisheddetector) 1335a、一工作信息檢索器(job informat1n retriever) 1335b 及一支持向量回歸模塊產(chǎn)生器(support vector regress1n model generator) 1335c。工作完成偵測(cè)器1335a用以偵測(cè)工作21 (或資源管理器1131分配的對(duì)應(yīng)至工作21的任務(wù))是否已經(jīng)完成。在工作21 (或資源管理器1131分配的對(duì)應(yīng)至工作21的任務(wù))完成后,工作信息檢索器1335b會(huì)從分布式檔案系統(tǒng)15取得對(duì)應(yīng)至工作21的工作信息25以及從規(guī)格文件1339取得各項(xiàng)信息(包含狀態(tài)信息26)。然后,支持向量回歸模塊產(chǎn)生器1335c會(huì)根據(jù)工作信息25及規(guī)格文件1339的各項(xiàng)信息,建立并儲(chǔ)存資源特征模型23至分布式檔案系統(tǒng)15。
[0098]支持向量回歸模塊產(chǎn)生器1335c的輸入數(shù)據(jù)可包含但不限于:來自工作信息檢索器1335b的歷史工作數(shù)據(jù)集大小、來自工作信息檢索器1335b的歷史工作總共Map任務(wù)數(shù)量、來自工作信息檢索器1335b的歷史工作總共Reduce任務(wù)數(shù)量、歷史工作中節(jié)點(diǎn)被分配的Map容器數(shù)量、歷史工作中節(jié)點(diǎn)被分配的Reduce容器數(shù)量、歷史工作中單一任務(wù)的中央處理單元使用量及歷史工作中單一任務(wù)的存儲(chǔ)器使用量等。歷史工作中單一任務(wù)的中央處理單元使用量等于中央處理單元使用量除以運(yùn)行的Map與Reduce數(shù)量,而歷史工作中單一任務(wù)的存儲(chǔ)器使用量等于存儲(chǔ)器使用量除以運(yùn)行的Map與Reduce數(shù)量。工作信息25及規(guī)格文件1339的各項(xiàng)信息可包含但不限于:輸入數(shù)據(jù)大小、被分配的Map任務(wù)、被分配的Reduce任務(wù)、被分配的Map槽、被分配的Reduce槽、每任務(wù)的平均中央處理單元使用量及每任務(wù)的平均存儲(chǔ)器使用量等。
[0099]如圖6所示,工作狀態(tài)收集器1337可包含一硬件性能收集器(hardwareperformance collector) 1337a、一工作狀態(tài)收集器(task status collector) 1337b 及一規(guī)格整合器(metric aggregator) 1337c。硬件性能收集器1337a用以收集容器1333中的中央處理單元使用量以及存儲(chǔ)器使用量,而工作狀態(tài)收集器1337b用以收集容器1333中的被分被的Map槽、被分配的Reduce槽、運(yùn)算中的Map任務(wù)以及運(yùn)算中的Reduce任務(wù)。規(guī)格整合器1337c用以整合硬件性能收集器1337a與工作狀態(tài)收集器1337b所收集的信息至規(guī)格文件1339。整合至規(guī)格文件1339的信息包含但不限于:被分被的Map槽、被分配的Reduce槽及每任務(wù)的平均中央處理單元使用量、每任務(wù)的平均存儲(chǔ)器使用量等。每任務(wù)的平均中央處理單元使用量等于中央處理單元使用量除以運(yùn)算中的Map任務(wù)以及運(yùn)算中的Reduce任務(wù),而每任務(wù)的平均存儲(chǔ)器使用量等于存儲(chǔ)器使用量除以運(yùn)算中的Map任務(wù)以及運(yùn)算中的Reduce任務(wù)。
[0100]第3-6圖所分別例示的最佳資源模塊1135、模型管理器1137、模型產(chǎn)生器1335及工作狀態(tài)收集器1337,僅為本實(shí)施例的一范例,并非用以限制本發(fā)明。
[0101]本發(fā)明的另一實(shí)施例(簡(jiǎn)稱「第二實(shí)施例」)為一種用于一叢集運(yùn)算系統(tǒng)中一主裝置及一從屬裝置的運(yùn)算方法。該叢集運(yùn)算系統(tǒng)、該主裝置及該從屬裝置可分別視為對(duì)應(yīng)至前述實(shí)施例的叢集運(yùn)算系統(tǒng)1、主裝置11及從屬裝置13。圖7為一種用于一叢集運(yùn)算系統(tǒng)中一主裝置及一從屬裝置的運(yùn)算方法的一例示圖。
[0102]針對(duì)該主裝置,本實(shí)施例所述運(yùn)算方法包含:步驟S21,由該主裝置的一處理器接收該從屬裝置的裝置信息;步驟S23,由該主裝置的該處理器根據(jù)該裝置信息及一工作為該從屬裝置選擇一資源特征模型;步驟S25,由該主裝置的該處理器根據(jù)該資源特征模型估測(cè)該從屬裝置的一容器組態(tài)參數(shù);步驟S27,由該主裝置的該處理器傳送該容器組態(tài)參數(shù)至該從屬裝置;以及步驟S29,由該主裝置的該處理器分配該工作至該從屬裝置。步驟S21-S29的呈現(xiàn)順序并非用以限制本發(fā)明,且在不脫離本發(fā)明的精神的前提下,可以適當(dāng)?shù)剡M(jìn)行調(diào)整。
[0103]作為該運(yùn)算系統(tǒng)的一范例,該叢集運(yùn)算系統(tǒng)更包含一分布式檔案系統(tǒng),該主裝置與該從屬裝置共享該分布式檔案系統(tǒng),且該步驟S23包含下列步驟:由該主裝置的該處理器根據(jù)該裝置信息及該工作為該從屬裝置從該分布式檔案系統(tǒng)內(nèi)選出該資源特征模型。于該范例中,該運(yùn)算方法可選擇地更包含以下步驟:由該主裝置的該處理器儲(chǔ)存對(duì)應(yīng)至該工作的工作信息至該分布式檔案系統(tǒng)。
[0104]作為該運(yùn)算系統(tǒng)的一范例,該資源特征模型包含一中央處理單元特征模型及一存儲(chǔ)器特征模型,該容器組態(tài)參數(shù)包含一容器數(shù)量及一容器規(guī)格,且該容器規(guī)格包含一中央處理單元規(guī)格及一存儲(chǔ)器規(guī)格。
[0105]作為該運(yùn)算系統(tǒng)的一范例,步驟S23包含下列步驟:由該主裝置的該處理器根據(jù)該裝置信息及該工作為該從屬裝置選擇一相應(yīng)資源特征模型、一相似資源特征模型及一預(yù)設(shè)資源特征模型其中之一作為該資源特征模型,其中該相應(yīng)資源特征模型優(yōu)先于該相似資源特征模型而被選擇,且該相似資源特征模型優(yōu)先于該預(yù)設(shè)資源特征模型而被選擇。
[0106]作為該運(yùn)算系統(tǒng)的一范例,步驟S23包含下列步驟:由該主裝置的該處理器分割多個(gè)資源特征模型樣本為多個(gè)群組;從各該群組中選擇一資源特征模型樣本作為一資源特征模型代表;以及根據(jù)該裝置信息及該工作從該等資源特征模型代表中為該從屬裝置選擇該資源特征模型。
[0107]針對(duì)該從屬裝置,本實(shí)施例所述運(yùn)算方法包含:步驟S31,由該從屬裝置的該處理器傳送裝置信息至該主裝置;步驟S33,由該從屬裝置的該處理器自該主裝置接收該主裝置分配的一工作和一容器組態(tài)參數(shù);步驟S35,由該從屬裝置的該處理器根據(jù)該容器組態(tài)參數(shù)產(chǎn)生至少一容器以運(yùn)算該工作;以及步驟S37,由該從屬裝置的該處理器根據(jù)對(duì)應(yīng)至該工作的工作信息及一規(guī)格文件建立一資源特征模型。步驟S31-S37的呈現(xiàn)順序并非用以限制本發(fā)明,且在不脫離本發(fā)明的精神的前提下,可以適當(dāng)?shù)剡M(jìn)行調(diào)整。
[0108]作為該運(yùn)算系統(tǒng)的一范例,該叢集運(yùn)算系統(tǒng)更包含一分布式檔案系統(tǒng),該主裝置與該從屬裝置共享該分布式檔案系統(tǒng),且步驟S37包含下列步驟:由該從屬裝置的該處理器根據(jù)該工作信息及該規(guī)格文件在該分布式檔案系統(tǒng)內(nèi)建立該資源特征模型。于該范例中,該運(yùn)算方法可選擇地更包含以下步驟:由該從屬裝置的該處理器從該分布式檔案系統(tǒng)中取得該工作息。
[0109]作為該運(yùn)算系統(tǒng)的一范例,該運(yùn)算方法更包含以下步驟:由該從屬裝置的該處理器收集該容器運(yùn)算該工作的工作狀態(tài),并將對(duì)應(yīng)至該工作狀態(tài)的狀態(tài)信息儲(chǔ)存至該規(guī)格文件。
[0110]作為該運(yùn)算系統(tǒng)的一范例,該資源特征模型包含一中央處理單元特征模型及一存儲(chǔ)器特征模型,該容器組態(tài)參數(shù)包含一容器數(shù)量及一容器規(guī)格,且該容器規(guī)格包含一中央處理單元規(guī)格及一存儲(chǔ)器規(guī)格。
[0111]作為該運(yùn)算系統(tǒng)的一范例,步驟S37包含下列步驟:由該處理器根據(jù)該工作信息及該規(guī)格文件,利用一支持向量回歸模塊產(chǎn)生器建立一資源特征模型。
[0112]第二實(shí)施例的運(yùn)算方法本質(zhì)上包含了與前述實(shí)施例的主裝置11及從屬裝置13的各項(xiàng)運(yùn)作相對(duì)應(yīng)的所有步驟。由于本發(fā)明所屬技術(shù)領(lǐng)域中具有通常知識(shí)