用于一叢集運(yùn)算系統(tǒng)的主裝置、從屬裝置及其運(yùn)算方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明關(guān)于一種主裝置、從屬裝置及其運(yùn)算方法。更具體而言，本發(fā)明關(guān)于一種用于一叢集運(yùn)算系統(tǒng)的主裝置、從屬裝置及其運(yùn)算方法。
【背景技術(shù)】
[0002]對(duì)于巨量數(shù)據(jù)運(yùn)算(big data computat1ns)而言，叢集運(yùn)算技術(shù)是一種相當(dāng)有效的解決方案。一般而言，叢集運(yùn)算乃指將多個(gè)運(yùn)算單元聚集為一叢集，并透過該等運(yùn)算單位的協(xié)同合作來完成一項(xiàng)工作(job)。在運(yùn)作上，一叢集運(yùn)算系統(tǒng)通常包含一主裝置(master device)及多個(gè)從屬裝置(slave devices),其中該主裝置用以分配一工作給該等從屬裝置，而各該從屬裝置用以產(chǎn)生容器(containers)以執(zhí)行對(duì)應(yīng)至該工作的被分配的任務(wù)。因此，為了避免資源浪費(fèi)，在進(jìn)行巨量數(shù)據(jù)運(yùn)算時(shí)，一叢集運(yùn)算系統(tǒng)必須適當(dāng)?shù)剡M(jìn)行資源分配。
[0003]普遍來說，傳統(tǒng)的叢集運(yùn)算系統(tǒng)會(huì)因以下問題而無法有效地進(jìn)行資源分配。首先，傳統(tǒng)的從屬裝置所產(chǎn)生的容器，其容器規(guī)格(包含中央處理單元規(guī)格及存儲(chǔ)器規(guī)格)都是固定的，故容易因工作的特性不同，而造成資源浪費(fèi)。例如，當(dāng)一工作的運(yùn)算需求低于一容器的規(guī)格，則該容器將因無法完整被利用而造成資源浪費(fèi)。再者，由于每一個(gè)容器的容器規(guī)格都是固定的，傳統(tǒng)的從屬裝置所能產(chǎn)生的容器總數(shù)也是固定的，故容易造成資源閑置。例如，當(dāng)運(yùn)算一工作所需的容器數(shù)量低于容器總數(shù)，則多余的容器數(shù)量將造成資源閑置。另夕卜，由于每一個(gè)容器的容器規(guī)格都是固定的，故當(dāng)多個(gè)從屬裝置具有不同的裝置效能時(shí)，將容易造成資源分配不當(dāng)。例如，當(dāng)二從屬裝置的容器規(guī)格相同但裝置效能不同時(shí)，則因二者處理效率不同而造成資源分配不當(dāng)。
[0004]有鑒于此，如何針對(duì)傳統(tǒng)的叢集運(yùn)算系統(tǒng)提供一種有效的資源分配技術(shù)，確實(shí)為本發(fā)明所屬技術(shù)領(lǐng)域的一項(xiàng)重大需求。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的一目的乃是針對(duì)傳統(tǒng)的叢集運(yùn)算系統(tǒng)提供一種有效的資源分配技術(shù)。
[0006]為達(dá)上述目的，本發(fā)明提供一種用于一叢集運(yùn)算系統(tǒng)(cluster computingsystem)的主裝置(master device)。該主裝置包含一連接接口及一處理器。該連接接口用以與至少一從屬裝置(slave device)連接。該處理器電性連接至該連接接口，并用以接收該從屬裝置的裝置信息，根據(jù)該裝置信息及一工作(job)為該從屬裝置選擇一資源特征模型，根據(jù)該資源特征模型估測(cè)該從屬裝置的一容器組態(tài)參數(shù)，傳送該容器組態(tài)參數(shù)至該從屬裝置，以及分配該工作至該從屬裝置。
[0007]為達(dá)上述目的，本發(fā)明亦提供一種用于一叢集運(yùn)算系統(tǒng)的從屬裝置。該從屬裝置包含一連接接口及一處理器。該連接接口用以與一主裝置連接。該處理器電性連接至該連接接口，并用以傳送裝置信息至該主裝置，自該主裝置接收該主裝置分配的一工作和一容器組態(tài)參數(shù)，根據(jù)該容器組態(tài)參數(shù)產(chǎn)生至少一容器以運(yùn)算該工作，以及根據(jù)對(duì)應(yīng)至該工作的工作信息(job informat1n)及一規(guī)格文件(metric file)建立一資源特征模型。
[0008]為達(dá)上述目的，本發(fā)明更提供一種用于一叢集運(yùn)算系統(tǒng)中一主裝置的運(yùn)算方法。該主裝置包含一連接接口及一處理器，且該連接接口用以與至少一從屬裝置連接。該運(yùn)算方法包含下列步驟:
[0009]由該處理器接收該從屬裝置的裝置信息；
[0010]由該處理器根據(jù)該裝置信息及一工作為該從屬裝置選擇一資源特征模型；
[0011]由該處理器根據(jù)該資源特征模型估測(cè)該從屬裝置的一容器組態(tài)參數(shù)；
[0012]由該處理器傳送該容器組態(tài)參數(shù)至該從屬裝置；以及
[0013]由該處理器分配該工作至該從屬裝置。
[0014]為達(dá)上述目的，本發(fā)明還提供一種用于一叢集運(yùn)算系統(tǒng)中一從屬裝置的運(yùn)算方法。該從屬裝置包含一連接接口及一處理器，且該連接接口用以與一主裝置連接。該運(yùn)算方法包含下列步驟:
[0015]由該處理器傳送裝置信息至該主裝置；
[0016]由該處理器自該主裝置接收該主裝置分配的一工作和一容器組態(tài)參數(shù)；
[0017]由該處理器根據(jù)該容器組態(tài)參數(shù)產(chǎn)生至少一容器以運(yùn)算該工作；以及
[0018]由該處理器根據(jù)對(duì)應(yīng)至該工作的工作信息及一規(guī)格文件建立一資源特征模型。
[0019]綜上所述，本發(fā)明提供了一種用于一叢集運(yùn)算系統(tǒng)的主裝置、從屬裝置及其運(yùn)算方法。根據(jù)本發(fā)明，一主裝置接收各個(gè)從屬裝置所傳送的裝置信息，根據(jù)該裝置信息及一工作為各個(gè)從屬裝置選擇一資源特征模型，根據(jù)各個(gè)資源特征模型估測(cè)相對(duì)應(yīng)的從屬裝置的一容器組態(tài)參數(shù)，傳送各個(gè)容器組態(tài)參數(shù)至相對(duì)應(yīng)的從屬裝置，以及分配該工作至該等從屬裝置。根據(jù)本發(fā)明，一從屬裝置傳送其裝置信息至一主裝置，自該主裝置接收該主裝置分配的一工作和一容器組態(tài)參數(shù)，根據(jù)該容器組態(tài)參數(shù)產(chǎn)生至少一容器以運(yùn)算該工作，以及根據(jù)對(duì)應(yīng)至該工作的工作信息及一規(guī)格文件建立一資源特征模型。
[0020]據(jù)此，本發(fā)明的從屬裝置所產(chǎn)生的容器，其容器規(guī)格可被動(dòng)態(tài)調(diào)整，故不會(huì)因工作的特性不同，而造成資源浪費(fèi)。再者，由于本發(fā)明的每一個(gè)容器的容器規(guī)格不再是固定的，故本發(fā)明的從屬裝置的容器總數(shù)也可被動(dòng)態(tài)調(diào)整，故不會(huì)造成資源閑置。另外，由于本發(fā)明的從屬裝置所產(chǎn)生的容器，其容器規(guī)格與容器總數(shù)可被動(dòng)態(tài)調(diào)整，故即使多個(gè)從屬裝置具有不同的裝置效能，也不會(huì)造成資源分配不當(dāng)。
[0021]于參閱附圖及隨后描述的實(shí)施方式后，本技術(shù)領(lǐng)域的技術(shù)人員便可更了解本發(fā)明的目的、技術(shù)手段及所達(dá)功效。
【附圖說明】
[0022]以下是針對(duì)附圖所記載的簡單說明，并非用以限定本發(fā)明，其中:
[0023]圖1為本發(fā)明的一實(shí)施例的一叢集運(yùn)算系統(tǒng)的一結(jié)構(gòu)例示圖；
[0024]圖2為圖1所示叢集運(yùn)算系統(tǒng)中主裝置與單一從屬裝置的一運(yùn)作例示圖；
[0025]圖3為圖2所示主裝置中最佳資源模塊的一運(yùn)作例示圖；
[0026]圖4為圖2所示主裝置中模型管理器的一運(yùn)作例示圖；
[0027]圖5為圖2所示主裝置中模型產(chǎn)生器的一運(yùn)作例示圖；
[0028]圖6為圖2所示主裝置中工作狀態(tài)收集器的一運(yùn)作例示圖；以及
[0029]圖7為本發(fā)明的一實(shí)施例的用于一叢集運(yùn)算系統(tǒng)中一主裝置及一從屬裝置的運(yùn)算方法的一例示圖。
[0030]符號(hào)說明
[0031]1:叢集運(yùn)算系統(tǒng)
[0032]11:主裝置
[0033]111:連接接口
[0034]113:處理器
[0035]1131:資源管理器
[0036]1133:工作管理器
[0037]1135:最佳資源模塊
[0038]1135a:工作信息檢索器
[0039]1135b:有效節(jié)點(diǎn)檢驗(yàn)器
[0040]1135c:模型加載器
[0041]1135d:最佳資源預(yù)測(cè)器
[0042]1135e:最佳容器數(shù)量預(yù)測(cè)器
[0043]1137:模型管理器
[0044]1137a:請(qǐng)求處理器
[0045]1137b:模型檢索器
[0046]1137c:同質(zhì)模型引擎
[0047]1137d:同質(zhì)節(jié)點(diǎn)引擎
[0048]13:從屬裝置
[0049]1331:從屬管理器
[0050]1333:容器
[0051]1335:模型產(chǎn)生器
[0052]1335a:工作完成偵測(cè)器
[0053]1335b:工作信息檢索器
[0054]1335c:支持向量回歸模塊產(chǎn)生器
[0055]1337:工作狀態(tài)收集器
[0056]1337a:硬件性能收集器
[0057]1337b:工作狀態(tài)收集器
[0058]1337c:規(guī)格整合器
[0059]1339:規(guī)格文件
[0060]131:連接接口
[0061]133:處理器
[0062]15:分布式檔案系統(tǒng)
[0063]21:工作
[0064]22:裝置信息
[0065]23:資源特征模型
[0066]24:容器組態(tài)參數(shù)
[0067]25:工作信息
[0068]26:狀態(tài)信息
[0069]S21、S23、S25、S27、S29、S31、S33、S35、S37:步驟
【具體實(shí)施方式】
[0070]以下將透過實(shí)施例來解釋本發(fā)明的