專利名稱:一種異步任務(wù)分發(fā)系統(tǒng)及調(diào)度分發(fā)計(jì)算單元的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及計(jì)算系統(tǒng)技術(shù)領(lǐng)域,尤其涉及一種異步任務(wù)分發(fā)系統(tǒng)及調(diào)度分發(fā)計(jì)算單元。
背景技術(shù):
在現(xiàn)有的系統(tǒng)平臺(tái)中,由于業(yè)務(wù)需求的不同,總存在各種任務(wù)處理機(jī)制,例如視頻轉(zhuǎn)碼、文檔轉(zhuǎn)換、郵件群發(fā)、語(yǔ)音識(shí)別等。在大型的系統(tǒng)平臺(tái)中,一方面由于系統(tǒng)規(guī)模過(guò)大,導(dǎo)致處理單元的處理能力往往不能夠進(jìn)行實(shí)時(shí)處理,需要采用隊(duì)列控制機(jī)制,來(lái)進(jìn)行異步處理。另一方面,部分處理機(jī)制需要較長(zhǎng)耗時(shí),例如視頻轉(zhuǎn)碼可能耗費(fèi)幾十分鐘甚至更長(zhǎng)時(shí)間才能完成。這些機(jī)制都決定了需要有一個(gè)異步任務(wù)分發(fā)的系統(tǒng)來(lái)調(diào)度完成?,F(xiàn)有的技術(shù)方案對(duì)于集群式的異步任務(wù)調(diào)度提出了一些實(shí)現(xiàn)思路,按照統(tǒng)一調(diào)度,各個(gè)分發(fā)的思想建立任務(wù)分發(fā)的機(jī)制,將來(lái)源于各個(gè)業(yè)務(wù)的任務(wù)請(qǐng)求由調(diào)度系統(tǒng)分發(fā)到具體的處理單元,并進(jìn)行回饋。典型的架構(gòu)如圖I所示,其中,各個(gè)Web終端11來(lái)將轉(zhuǎn)碼任務(wù)統(tǒng)一發(fā)送到調(diào)度服務(wù)器12,調(diào)度服務(wù)器12再根據(jù)自己的策略將任務(wù)分發(fā)到轉(zhuǎn)碼服務(wù)器13,由轉(zhuǎn)碼服務(wù)器13完成后再進(jìn)行任務(wù)回饋。這一方案實(shí)現(xiàn)了在一定規(guī)模內(nèi)的集群轉(zhuǎn)碼任務(wù)的調(diào)度處理?,F(xiàn)有架構(gòu)的缺點(diǎn)主要有如下幾點(diǎn)僅適用于一定規(guī)模內(nèi)的小集群作業(yè),不適合大規(guī)模集群;其業(yè)務(wù)涉及相對(duì)單一,例如僅針對(duì)轉(zhuǎn)碼,不夠抽象,能容納的處理機(jī)制有限;其它一些類似的方案或者存在類似問(wèn)題或者實(shí)現(xiàn)過(guò)于復(fù)雜,系統(tǒng)彼此之間耦合度太高,部署成本高。
發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種異步任務(wù)分發(fā)系統(tǒng)及調(diào)度分發(fā)計(jì)算單元,用于解決現(xiàn)有異步任務(wù)分發(fā)系統(tǒng)無(wú)法滿足大規(guī)模系統(tǒng)架構(gòu)下多層級(jí)多集群集中式調(diào)度管理的問(wèn)題。為達(dá)此目的,本發(fā)明采用以下技術(shù)方案
一種異步任務(wù)分發(fā)系統(tǒng),該系統(tǒng)由若干計(jì)算單元和調(diào)度分發(fā)計(jì)算單元構(gòu)成,具體如
下
所述計(jì)算單元,用于接收計(jì)算任務(wù),完成具體任務(wù)處理過(guò)程,并回調(diào)任務(wù)處理結(jié)果;并負(fù)責(zé)將本計(jì)算單元向調(diào)度分發(fā)計(jì)算單元注冊(cè);
所述調(diào)度分發(fā)計(jì)算單元,用于接收計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè),維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,接收計(jì)算任務(wù)并轉(zhuǎn)發(fā)計(jì)算單元進(jìn)行處理。所述計(jì)算單元或調(diào)度分發(fā)計(jì)算單元僅能夠注冊(cè)到一個(gè)調(diào)度分發(fā)計(jì)算單元。所述調(diào)度分發(fā)計(jì)算單元維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,包括計(jì)算能力、計(jì)算類型和接收請(qǐng)求地址。所述調(diào)度分發(fā)計(jì)算單元具體包括接收模塊、調(diào)度處理模塊和回調(diào)模塊,具體如下所述接收模塊,用于接收任務(wù)請(qǐng)求,接收計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)請(qǐng)
求;
所述調(diào)度處理模塊,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,按照任務(wù)請(qǐng)求的特征確定所述任務(wù)發(fā)送處理的計(jì)算單元,接收所述任務(wù)處理結(jié)果;
所述回調(diào)模塊,用于發(fā)送所述任務(wù)處理結(jié)果。所述調(diào)度處理模塊具體包括子單元管理子模塊、任務(wù)下發(fā)子模塊和回調(diào)處理子模塊,具體如下
所述子單元管理子模塊,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息; 所述任務(wù)下發(fā)子模塊,用于按照任務(wù)請(qǐng)求的特征確定所述任務(wù)發(fā)送處理的計(jì)算單元; 所述回調(diào)處理子模塊,用于接收所述任務(wù)處理結(jié)果,并發(fā)送所述回調(diào)模塊進(jìn)行發(fā)送。所述計(jì)算單元具體包括接收模塊、處理模塊和回調(diào)模塊,具體如下
所述接收模塊,用于接收計(jì)算任務(wù);
所述處理模塊,用于完成具體任務(wù)處理過(guò)程,并進(jìn)行本計(jì)算單元在調(diào)度分發(fā)計(jì)算單元的注冊(cè);
所述回調(diào)模塊,用于發(fā)送任務(wù)處理結(jié)果。一種調(diào)度分發(fā)計(jì)算單元,應(yīng)用于如上所述的異步任務(wù)分發(fā)系統(tǒng),具體包括接收模塊、調(diào)度處理模塊和回調(diào)模塊,具體如下
所述接收模塊,用于接收任務(wù)請(qǐng)求,接收計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)請(qǐng)
求;
所述調(diào)度處理模塊,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,按照任務(wù)請(qǐng)求的特征確定所述任務(wù)發(fā)送處理的計(jì)算單元,接收所述任務(wù)處理結(jié)果;
所述回調(diào)模塊,用于發(fā)送所述任務(wù)處理結(jié)果。所述調(diào)度處理模塊,還用于將本調(diào)度分發(fā)計(jì)算單元注冊(cè)到其它調(diào)度分發(fā)計(jì)算單
J Li ο所述調(diào)度處理模塊具體包括子單元管理子模塊、任務(wù)下發(fā)子模塊和回調(diào)處理子模塊,具體如下
所述子單元管理子模塊,用于將本調(diào)度分發(fā)計(jì)算單元注冊(cè)到其它調(diào)度分發(fā)計(jì)算單元;維護(hù)其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息;
所述任務(wù)下發(fā)子模塊,用于按照任務(wù)請(qǐng)求的特征確定所述任務(wù)發(fā)送處理的計(jì)算單元; 所述回調(diào)處理子模塊,用于接收所述任務(wù)處理結(jié)果,并發(fā)送所述回調(diào)模塊進(jìn)行發(fā)送。采用了本發(fā)明的技術(shù)方案,突破了傳統(tǒng)任務(wù)分發(fā)處理系統(tǒng)的任務(wù)類型單一和扁平式架構(gòu)模式,采用樹(shù)狀分布式架構(gòu),能夠滿足大規(guī)模系統(tǒng)架構(gòu)下多層級(jí)多集群的集中式管理,并提供了簡(jiǎn)明的計(jì)算單元實(shí)現(xiàn)標(biāo)準(zhǔn),可以方便的對(duì)接任何計(jì)算類任務(wù),實(shí)現(xiàn)了大型異步任務(wù)分發(fā)系統(tǒng)的可管理、易擴(kuò)展。
圖I是現(xiàn)有技術(shù)中網(wǎng)絡(luò)架構(gòu)示意 圖2是本發(fā)明實(shí)施例提供的計(jì)算單元結(jié)構(gòu)示意 圖3是本發(fā)明實(shí)施例提供的調(diào)度分發(fā)計(jì)算單元結(jié)構(gòu)示意圖;圖4是本發(fā)明實(shí)施例提供的第一種調(diào)度分發(fā)流程示意 圖5是本發(fā)明實(shí)施例提供的第二種調(diào)度分發(fā)流程示意 圖6是本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)結(jié)構(gòu)示意 圖7是本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)結(jié)構(gòu)實(shí)施示意圖。
具體實(shí)施例方式下面結(jié)合附圖并通過(guò)具體實(shí)施方式
來(lái)進(jìn)一步說(shuō)明本發(fā)明的技術(shù)方案。
本發(fā)明實(shí)施例旨在解決在超大規(guī)模系統(tǒng)規(guī)模下,能夠通過(guò)簡(jiǎn)明清晰的架構(gòu)方式,實(shí)現(xiàn)對(duì)系統(tǒng)內(nèi)各種需要異步處理計(jì)算任務(wù)的統(tǒng)一調(diào)度和分發(fā),并能夠在規(guī)模擴(kuò)張和處理業(yè)務(wù)增加時(shí),各種處理單元按照本系統(tǒng)所描述的接口協(xié)議方便的接入,豐富本系統(tǒng)的處理能力。本發(fā)明提出了一種結(jié)構(gòu)清晰的異步計(jì)算系統(tǒng)的接口標(biāo)準(zhǔn),能夠?qū)⒆駨倪@一標(biāo)準(zhǔn)的大量計(jì)算單元,快速組裝成一個(gè)龐大的任務(wù)處理網(wǎng)絡(luò)。本發(fā)明實(shí)施例提供一種異步任務(wù)分發(fā)系統(tǒng),該系統(tǒng)由若干計(jì)算單元和調(diào)度分發(fā)計(jì)算單元構(gòu)成。調(diào)度分發(fā)計(jì)算單元是計(jì)算單元的一種,具備與計(jì)算單元相同的邏輯結(jié)構(gòu)。在本發(fā)明的整體架構(gòu)下,存在一個(gè)核心的組成部分,即計(jì)算單元,各種計(jì)算單元的類型不一,但其總體架構(gòu)均如圖2所示。計(jì)算單元,用于接收計(jì)算任務(wù),完成具體任務(wù)處理過(guò)程,并回調(diào)任務(wù)處理結(jié)果。如圖2所示,具體包括接收模塊101、回調(diào)模塊102和處理模塊103。接收模塊101,用于接收計(jì)算任務(wù),也就是按照標(biāo)準(zhǔn)的協(xié)議接收其它系統(tǒng)傳遞過(guò) 來(lái)的處理任務(wù)。每一個(gè)計(jì)算單元在接收模塊101所接受的信息都具備同樣的描述方法,其包括如下四個(gè)核心要素,分別是任務(wù)標(biāo)識(shí)符、任務(wù)類型、回調(diào)地址、任務(wù)詳情。例如其格式可以如下
<missionId>564afa4fda23fe649981</missionId> // 任務(wù)標(biāo)識(shí) <missionType>videoEncoder</missionType> // 任務(wù)類型
<calIbackUrI>http://www. example, com/callback. php〈/callbackUrl> // 回調(diào)地址〈detailX!-此處描述該任務(wù)的詳情一>〈/detail> //任務(wù)詳情任務(wù)標(biāo)識(shí)符來(lái)區(qū)分唯一計(jì)算任務(wù),任務(wù)類型描述本任務(wù)的種類,回調(diào)地址則用于處理單元在完成或者失敗、出錯(cuò)之后進(jìn)行反饋通知。任務(wù)詳情適用于不同類型的計(jì)算單元,其所處理任務(wù)類型不同,對(duì)于詳情的處理解析方式也不相同。例如,在一個(gè)文件分發(fā)的任務(wù)中,詳情描述的應(yīng)該是源文件地址和目標(biāo)文件地址,而轉(zhuǎn)碼任務(wù)則應(yīng)該是源文件地址和目標(biāo)編碼方式,郵件發(fā)送任務(wù)則應(yīng)該包含發(fā)件人、收件人、主題和正文等內(nèi)容。回調(diào)模塊102,用于發(fā)送任務(wù)處理結(jié)果,也就是負(fù)責(zé)按照標(biāo)準(zhǔn)的協(xié)議對(duì)任務(wù)的請(qǐng)求者進(jìn)行處理結(jié)果的回調(diào)通知。各種類型的計(jì)算單元的回調(diào)模塊102也都按照同樣的標(biāo)準(zhǔn)進(jìn)行任務(wù)回調(diào),任務(wù)的回調(diào)主要具備兩個(gè)核心要素任務(wù)唯一標(biāo)識(shí)符和處理結(jié)果,然后還可以另外附帶一些附加信息,并按照特定的傳輸方式傳輸給創(chuàng)建任務(wù)時(shí)所指定的回調(diào)地址。例如,規(guī)則指定為按照POST方式把如下信息反饋給回調(diào)地址HTTP 方法POST
目標(biāo)地址http://www. example, com/callback, php傳輸內(nèi)容
<missionId>564afa4fda23fe649981</missionId>
<result>failed</result>
〈message〉源文件獲取失敗〈/message〉
任務(wù)發(fā)起者按照這一標(biāo)準(zhǔn)進(jìn)行接口實(shí)現(xiàn),則能夠達(dá)到任務(wù)回饋接收的目的。處理模塊103,用于完成具體任務(wù)處理過(guò)程。
處理模塊103是計(jì)算單元的核心所在,不同類型的計(jì)算單元的處理模塊103實(shí)現(xiàn)方式完全不一樣,但都通過(guò)接收模塊101來(lái)接收任務(wù)請(qǐng)求后,按照自己的業(yè)務(wù)邏輯進(jìn)行處理,完成具體的任務(wù),最終在需要的時(shí)候請(qǐng)求回調(diào)模塊102進(jìn)行任務(wù)回調(diào),通知任務(wù)發(fā)起者當(dāng)前任務(wù)的執(zhí)行情況。處理模塊103能夠隨著系統(tǒng)的業(yè)務(wù)功能不斷改變而改變,在整個(gè)系統(tǒng)中,將能夠存在大量按照標(biāo)準(zhǔn)協(xié)議實(shí)現(xiàn)的計(jì)算單元,例如轉(zhuǎn)碼類計(jì)算單元、文本識(shí)別類計(jì)算單元、郵件群發(fā)類計(jì)算單元。這些具體的計(jì)算單元所包含處理模塊103的實(shí)現(xiàn)細(xì)節(jié)。本發(fā)明實(shí)施例中的調(diào)度分發(fā)計(jì)算單元,用于接收計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè),維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,接收計(jì)算任務(wù)并轉(zhuǎn)發(fā)計(jì)算單元進(jìn)行處理。每個(gè)計(jì)算單元或調(diào)度分發(fā)計(jì)算單元僅能夠注冊(cè)到一個(gè)調(diào)度分發(fā)計(jì)算單元。調(diào)度分發(fā)計(jì)算單元維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,包括計(jì)算能力、計(jì)算類型和接收請(qǐng)求地址。在按照如上標(biāo)準(zhǔn)組成實(shí)現(xiàn)各個(gè)計(jì)算單元之后,本發(fā)明實(shí)施例要繼續(xù)解決如何將各個(gè)計(jì)算單元有機(jī)聯(lián)系起來(lái),構(gòu)建成一個(gè)龐大的處理網(wǎng)絡(luò)的問(wèn)題。 在這些計(jì)算單元之中,有一種計(jì)算單元——調(diào)度分發(fā)計(jì)算單元是將本系統(tǒng)構(gòu)建成一個(gè)龐大網(wǎng)絡(luò)所不可缺少的元素,其相當(dāng)于網(wǎng)絡(luò)環(huán)境中的路由器,將各個(gè)節(jié)點(diǎn)聯(lián)系起來(lái)。調(diào)度分發(fā)單元是一種相對(duì)特殊的計(jì)算單元,其所負(fù)責(zé)處理的任務(wù)是接受并存儲(chǔ)任務(wù)后,根據(jù)任務(wù)類型將任務(wù)分發(fā)到能夠完成該任務(wù)類型的計(jì)算單元。其在核心組成基礎(chǔ)之上,具備如圖3所示的內(nèi)部設(shè)計(jì)。圖3中,調(diào)度分發(fā)計(jì)算單元與其他計(jì)算單元一樣,具備接收模塊、調(diào)度處理模塊和回調(diào)模塊,具體如下
接收模塊,用于接收任務(wù)請(qǐng)求,接收計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)請(qǐng)求。相應(yīng)的,為了滿足系統(tǒng)需求,上述實(shí)施例中的計(jì)算單元也必須具備將本計(jì)算單元注冊(cè)到適當(dāng)?shù)恼{(diào)度分發(fā)計(jì)算單元的任務(wù)。調(diào)度處理模塊,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,按照任務(wù)請(qǐng)求的特征確定任務(wù)發(fā)送處理的計(jì)算單元,接收所述任務(wù)處理結(jié)果。為避免混亂管理,每一個(gè)計(jì)算單元能且僅能夠注冊(cè)為一次子單元,即其不能夠同時(shí)被登記成為多個(gè)調(diào)度分發(fā)計(jì)算單元的子單元。而一個(gè)調(diào)度分發(fā)計(jì)算單元?jiǎng)t可以擁有多個(gè)注冊(cè)的子單元,維護(hù)和管理這些子單元的信息。每一個(gè)計(jì)算單元都具備三個(gè)關(guān)鍵屬性計(jì)算類型(例如是轉(zhuǎn)碼、語(yǔ)音識(shí)別、視頻關(guān)鍵幀提取、高清轉(zhuǎn)碼、郵件發(fā)送、文件同步)、計(jì)算能力(能夠同時(shí)支持的任務(wù)數(shù)量),接收模塊請(qǐng)求地址(告知上級(jí)單元如何請(qǐng)求,例如http://www. exam, com/request, php),在注冊(cè)登記時(shí),調(diào)度分發(fā)計(jì)算單元根據(jù)這些這三個(gè)關(guān)鍵屬性來(lái)決定將任務(wù)如何分發(fā),首先根據(jù)計(jì)算類型來(lái)篩選所有符合該類型的計(jì)算單元,并可以根據(jù)已經(jīng)分發(fā)的數(shù)量和計(jì)算單元的最大計(jì)算能力,來(lái)決定是否應(yīng)該繼續(xù)分發(fā)更多任務(wù)?;卣{(diào)模塊,用于發(fā)送回調(diào)任務(wù)處理結(jié)果。進(jìn)一步的,圖3中,調(diào)度處理模塊具體包括子單元管理子模塊201、任務(wù)下發(fā)子模塊202和回調(diào)處理子模塊203,具體如下
子單元管理子模塊201,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息;管理登記在本節(jié)點(diǎn)下的所有其它計(jì)算單元,任何一個(gè)計(jì)算單元(也包括其它的調(diào)度分發(fā)計(jì)算單元)都可以注冊(cè)登記在本調(diào)度單元之下作為其子單元。
任務(wù)下發(fā)子模塊202,用于按照任務(wù)請(qǐng)求的特征確定任務(wù)發(fā)送處理的計(jì)算單元;負(fù)責(zé)轉(zhuǎn)發(fā)任務(wù)到具體的計(jì)算單元,其跟計(jì)算單元的接收模塊是對(duì)應(yīng)功能設(shè)計(jì)?;卣{(diào)處理子模塊203,用于接收任務(wù)處理結(jié)果,并發(fā)送回調(diào)模塊進(jìn)行發(fā)送。接收其它單元的回調(diào)請(qǐng)求,其跟計(jì)算單元的回調(diào)模塊也是對(duì)應(yīng)功能設(shè)計(jì),分別為數(shù)據(jù)的發(fā)送和接收方。本發(fā)明實(shí)施例提供的系統(tǒng)架構(gòu)中,能夠通過(guò)調(diào)度分發(fā)計(jì)算單元來(lái)將各個(gè)計(jì)算單元連接起來(lái),形成一個(gè)龐大的網(wǎng)絡(luò)體系。例如,如圖4所示,外部業(yè)務(wù)系統(tǒng)(請(qǐng)求最初發(fā)起者)通過(guò)計(jì)算單元請(qǐng)求任務(wù),計(jì)算單元將任務(wù)發(fā)送調(diào)度分發(fā)計(jì)算單元,調(diào)度分發(fā)計(jì)算單元接收任務(wù)再進(jìn)行下發(fā),其它類計(jì)算單元完成任務(wù)后通知調(diào)度分發(fā)計(jì)算單元,調(diào)度分法計(jì)算單元接受其回調(diào),并作出處理,并最終返回給業(yè)務(wù)系統(tǒng)。由于調(diào)度分發(fā)計(jì)算單元也是一種計(jì)算單元,其核心組成同普通的計(jì)算單元是完全一致的,因此,在本發(fā)明的一個(gè)實(shí)施例中,可以采用另外一種流程來(lái)處理,即將調(diào)度分發(fā)計(jì)算單元B作為調(diào)度分發(fā)計(jì)算單元A的子單元,B注冊(cè)到A的子單元時(shí)跟普通單元注冊(cè)時(shí)并無(wú)區(qū)別,只是其計(jì)算能力更豐富,可能包含多個(gè)計(jì)算類型。表I是調(diào)度分發(fā)計(jì)算單元A所具備的子單元注冊(cè)登記情況。表I
權(quán)利要求
1.一種異步任務(wù)分發(fā)系統(tǒng),其特征在干,該系統(tǒng)由若干計(jì)算單元和調(diào)度分發(fā)計(jì)算単元構(gòu)成,具體如下 所述計(jì)算単元,用于接收計(jì)算任務(wù),完成具體任務(wù)處理過(guò)程,并回調(diào)任務(wù)處理結(jié)果;并負(fù)責(zé)將本計(jì)算單元向調(diào)度分發(fā)計(jì)算単元注冊(cè); 所述調(diào)度分發(fā)計(jì)算単元,用于接收計(jì)算單元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè),維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)信息,接收計(jì)算任務(wù)并轉(zhuǎn)發(fā)計(jì)算單元進(jìn)行處理。
2.如權(quán)利要求I所述的異步任務(wù)分發(fā)系統(tǒng),其特征在于,所述計(jì)算単元或調(diào)度分發(fā)計(jì)算單元僅能夠注冊(cè)到ー個(gè)調(diào)度分發(fā)計(jì)算単元。
3.如權(quán)利要求I所述的異步任務(wù)分發(fā)系統(tǒng),其特征在于,所述調(diào)度分發(fā)計(jì)算単元維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)信息,包括計(jì)算能力、計(jì)算類型和接收請(qǐng)求地址。
4.如權(quán)利要求I所述的異步任務(wù)分發(fā)系統(tǒng),其特征在于,所述調(diào)度分發(fā)計(jì)算単元具體包括接收模塊、調(diào)度處理模塊和回調(diào)模塊,具體如下 所述接收模塊,用于接收任務(wù)請(qǐng)求,接收計(jì)算単元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)請(qǐng)求; 所述調(diào)度處理模塊,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)信息,按照任務(wù)請(qǐng)求的特征確定所述任務(wù)發(fā)送處理的計(jì)算單元,接收所述任務(wù)處理結(jié)果; 所述回調(diào)模塊,用于發(fā)送所述任務(wù)處理結(jié)果。
5.如權(quán)利要求4所述的異步任務(wù)分發(fā)系統(tǒng),其特征在干,所述調(diào)度處理模塊具體包括子単元管理子模塊、任務(wù)下發(fā)子模塊和回調(diào)處理子模塊,具體如下 所述子單元管理子模塊,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)信息; 所述任務(wù)下發(fā)子模塊,用于按照任務(wù)請(qǐng)求的特征確定所述任務(wù)發(fā)送處理的計(jì)算單元; 所述回調(diào)處理子模塊,用于接收所述任務(wù)處理結(jié)果,并發(fā)送所述回調(diào)模塊進(jìn)行發(fā)送。
6.如權(quán)利要求I所述的異步任務(wù)分發(fā)系統(tǒng),其特征在于,所述計(jì)算単元具體包括接收模塊、處理模塊和回調(diào)模塊,具體如下 所述接收模塊,用于接收計(jì)算任務(wù); 所述處理模塊,用于完成具體任務(wù)處理過(guò)程,并進(jìn)行本計(jì)算單元在調(diào)度分發(fā)計(jì)算単元的注冊(cè); 所述回調(diào)模塊,用于發(fā)送任務(wù)處理結(jié)果。
7.一種調(diào)度分發(fā)計(jì)算単元,應(yīng)用于如權(quán)利要求I所述的異步任務(wù)分發(fā)系統(tǒng),其特征在干,具體包括接收模塊、調(diào)度處理模塊和回調(diào)模塊,具體如下 所述接收模塊,用于接收任務(wù)請(qǐng)求,接收計(jì)算単元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)請(qǐng)求; 所述調(diào)度處理模塊,用于維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)信息,按照任務(wù)請(qǐng)求的特征確定所述任務(wù)發(fā)送處理的計(jì)算單元,接收所述任務(wù)處理結(jié)果; 所述回調(diào)模塊,用于發(fā)送所述任務(wù)處理結(jié)果。
8.如權(quán)利要求7所述的調(diào)度分發(fā)計(jì)算単元,其特征在于,所述調(diào)度處理模塊,還用于將本調(diào)度分發(fā)計(jì)算単元注冊(cè)到其它調(diào)度分發(fā)計(jì)算単元。
9.如權(quán)利要求8所述的調(diào)度分發(fā)計(jì)算単元,其特征在干,所述調(diào)度處理模塊具體包括子単元管理子模塊、任務(wù)下發(fā)子模塊和回調(diào)處理子模塊,具體如下所述子單元管理子模塊,用于將本調(diào)度分發(fā)計(jì)算単元注冊(cè)到其它調(diào)度分發(fā)計(jì)算単元;維護(hù)其它調(diào)度分發(fā)計(jì)算単元的注冊(cè)信息; 所述任務(wù)下發(fā)子 塊,用于接收所述任務(wù)處理結(jié)果,并發(fā)送所述回調(diào)模塊進(jìn)行發(fā)送。
全文摘要
本發(fā)明公開(kāi)了一種異步任務(wù)分發(fā)系統(tǒng)及調(diào)度分發(fā)計(jì)算單元,該系統(tǒng)由若干計(jì)算單元和調(diào)度分發(fā)計(jì)算單元構(gòu)成,所述計(jì)算單元,用于接收計(jì)算任務(wù),完成具體任務(wù)處理過(guò)程,并回調(diào)任務(wù)處理結(jié)果;并負(fù)責(zé)將本計(jì)算單元向調(diào)度分發(fā)計(jì)算單元注冊(cè);所述調(diào)度分發(fā)計(jì)算單元,用于接收計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè),維護(hù)計(jì)算單元和其它調(diào)度分發(fā)計(jì)算單元的注冊(cè)信息,接收計(jì)算任務(wù)并轉(zhuǎn)發(fā)計(jì)算單元進(jìn)行處理。采用了本發(fā)明的技術(shù)方案,突破了傳統(tǒng)任務(wù)分發(fā)處理系統(tǒng)的任務(wù)類型單一和扁平式架構(gòu)模式,采用樹(shù)狀分布式架構(gòu),能夠滿足大規(guī)模系統(tǒng)架構(gòu)下多層級(jí)多集群的集中式管理。
文檔編號(hào)H04L29/08GK102685173SQ20111009333
公開(kāi)日2012年9月19日 申請(qǐng)日期2011年4月14日 優(yōu)先權(quán)日2011年4月14日
發(fā)明者官文吉 申請(qǐng)人:天脈聚源(北京)傳媒科技有限公司