專(zhuān)利名稱(chēng)：用于服務(wù)器集群處的高能效負(fù)載均衡的系統(tǒng)和方法
用于服務(wù)器集群處的高能效負(fù)載均衡的系統(tǒng)和方法
背景技術(shù)：
如今，數(shù)據(jù)中心消耗了大量的能量，并且這種趨勢(shì)日益增加。在數(shù)據(jù)中心中，負(fù)載 均衡器可放置在一組服務(wù)器(有時(shí)稱(chēng)為服務(wù)器集群)或者其他數(shù)據(jù)處理單元的前面。負(fù)載 均衡器可以負(fù)責(zé)將到來(lái)的請(qǐng)求分配給多個(gè)服務(wù)器。諸如隨機(jī)或者循環(huán)負(fù)載分派之類(lèi)的傳統(tǒng) 方法以分散的方式將到來(lái)的請(qǐng)求分配給活動(dòng)的服務(wù)器。這些請(qǐng)求例如可以尋找數(shù)據(jù)庫(kù)環(huán)境 中的數(shù)據(jù)，或者例如可以尋找分布式計(jì)算環(huán)境中的計(jì)算資源。在這種情況下，對(duì)于每個(gè)單獨(dú) 的處理單元而言，請(qǐng)求頻繁地自負(fù)載均衡器到達(dá)，即使統(tǒng)計(jì)而言該單元可能大量時(shí)間是空 閑的。因此，在處理單元可能表現(xiàn)為處于空閑時(shí)仍然會(huì)消耗能量。當(dāng)進(jìn)入和退出低功率狀 態(tài)時(shí)存在著延時(shí)，例如，由于沒(méi)有立即進(jìn)入或退出低功率狀態(tài)。在該延時(shí)時(shí)段期間，處理單 元不進(jìn)行任何處理，然而處理單元仍然會(huì)消耗比其嚴(yán)格處于低功率(或“休眠”)狀態(tài)時(shí)所 消耗的更高的功率。因此，處理單元可能很少有機(jī)會(huì)進(jìn)入深度低功率狀態(tài)。因此，數(shù)據(jù)中心 的功耗會(huì)是相當(dāng)高的。為了獲得可伸縮性以及快速的響應(yīng)時(shí)間，通常需要大量的處理單元(有時(shí)稱(chēng)為集 群)來(lái)處理請(qǐng)求(例如，HTTP請(qǐng)求)。負(fù)載均衡器例如可以位于服務(wù)器集群的前端，以便執(zhí) 行活動(dòng)的服務(wù)器之間的負(fù)載分配?？蓪⒇?fù)載均衡應(yīng)用于許多類(lèi)型的處理單元，例如網(wǎng)絡(luò)服 務(wù)器、應(yīng)用程序服務(wù)器以及數(shù)據(jù)庫(kù)服務(wù)器。在現(xiàn)代的數(shù)據(jù)中心中，集群中不是所有的處理單元在所有的時(shí)間都可以是活動(dòng) 的。當(dāng)?shù)絹?lái)的業(yè)務(wù)變得繁重時(shí)，更多的處理單元會(huì)可以被調(diào)用；以及當(dāng)業(yè)務(wù)輕時(shí)，將關(guān)閉一 些處理單元以節(jié)省功率。對(duì)于活動(dòng)的處理單元而言，目標(biāo)使用率通常遠(yuǎn)少于100%，以便提 供良好的響應(yīng)時(shí)間并為突然的請(qǐng)求突發(fā)預(yù)留容量空間。在目標(biāo)使用率為60%的情況下，處 理單元將空閑40%的時(shí)間。然而，如何隨著時(shí)間來(lái)分配空閑對(duì)處理單元能效具有很大的影 響。存在著多種方案來(lái)用于在活動(dòng)的處理單元之間分配到來(lái)的請(qǐng)求。通常使用的方案 包括1)隨機(jī)分派，其中將請(qǐng)求指派給由負(fù)載均衡器隨機(jī)選擇的活動(dòng)的處理單元。平均 而言，負(fù)載在處理單元之間均勻地分布。該方案可由各種哈希函數(shù)來(lái)實(shí)現(xiàn)；2)循環(huán)分派，其中負(fù)載均衡器以循環(huán)為基礎(chǔ)將請(qǐng)求指派給活動(dòng)的處理單元。這使 得能夠均等地指派處理單元；以及3)加權(quán)循環(huán)分派，其中將權(quán)重指派給組中的每個(gè)處理單元，以便更高容量的處理 單元服務(wù)更多的請(qǐng)求。例如，負(fù)載均衡器可以在將一個(gè)請(qǐng)求指派給稍慢的處理單元時(shí)，指派 兩個(gè)請(qǐng)求給更快的處理單元。就能效而言，這些或相關(guān)方案的共同缺點(diǎn)是負(fù)載均衡器以分散的方式將到來(lái)的請(qǐng) 求分配給活動(dòng)的處理單元。在這種情況下，每個(gè)單獨(dú)的處理單元必須處理頻繁地來(lái)自負(fù)載 均衡器的請(qǐng)求，即使統(tǒng)計(jì)而言其在大量時(shí)間是空閑的。因此，處理單元很少有機(jī)會(huì)進(jìn)入深度 低功率狀態(tài)。頻繁的喚醒使得處理單元從來(lái)都不能進(jìn)入深度休眠狀態(tài)。


圖1是根據(jù)一個(gè)實(shí)施方式示出了處理單元集群的拓?fù)涞目驁D。圖2示出了一個(gè)實(shí)施方式中的到處理單元的請(qǐng)求的時(shí)序和分布。圖3示出了一個(gè)實(shí)施方式中的批量處理和低功率狀態(tài)的時(shí)序。圖4是示出了一個(gè)實(shí)施方式的總體操作的流程圖。圖5是根據(jù)一個(gè)實(shí)施方式示出了請(qǐng)求的接收和批量的組織的流程圖。圖6是根據(jù)一個(gè)實(shí)施方式示出了批量大小的自適應(yīng)修改的流程圖。圖7是示出了一個(gè)實(shí)施方式的操作的流程圖。圖8是示出了軟件或固件實(shí)施方式的框圖。附圖中，附圖標(biāo)記中最左邊的數(shù)字標(biāo)識(shí)該附圖標(biāo)記首次出現(xiàn)于其中的附圖。
具體實(shí)施例方式本文討論了以允許低功率的處理單元周期的方式、在一組處理單元(諸如服務(wù) 器)之間均衡負(fù)載的方法和系統(tǒng)。這允許處理單元的高能效操作。而且，該過(guò)程可以適應(yīng) 于系統(tǒng)響應(yīng)時(shí)間的改變，使得當(dāng)運(yùn)行條件如此規(guī)定時(shí)可以改善系統(tǒng)響應(yīng)時(shí)間。圖1示出了一組處理單元120-122(諸如服務(wù)器集群)的示例。這些處理單元一 起工作以服務(wù)到來(lái)的請(qǐng)求105。請(qǐng)求105在負(fù)載均衡器110處被接收到。然后，負(fù)載均衡器 以下面描述的方式將請(qǐng)求分配給處理單元。根據(jù)一個(gè)實(shí)施方式，用于在服務(wù)器集群處均衡負(fù)載的系統(tǒng)如圖2所示。示出了時(shí) 間線210，在該時(shí)間線210期間，請(qǐng)求220可以在負(fù)載均衡器處被接收到?？稍谡?qǐng)求220到 達(dá)負(fù)載均衡器時(shí)，將請(qǐng)求220發(fā)送給處理單元。當(dāng)發(fā)送給特定處理單元的請(qǐng)求的數(shù)目達(dá)到 規(guī)定的批量大小時(shí)，可將隨后的請(qǐng)求發(fā)送給下一個(gè)處理單元。可將請(qǐng)求發(fā)送給該后一處理 單元，直到發(fā)送給該處理單元的數(shù)目達(dá)到所述批量大小。該過(guò)程繼續(xù)將后續(xù)的成批量的請(qǐng) 求發(fā)送給各個(gè)隨后的處理單元。當(dāng)已經(jīng)將一個(gè)批量發(fā)送給最后的處理單元時(shí)，將下一批量 發(fā)送給第一處理單元。這樣，以循環(huán)的方式將成批量的請(qǐng)求單獨(dú)地分派給處理單元。在所 示的示例中，批量大小為3。當(dāng)分派給處理單元的請(qǐng)求的數(shù)目達(dá)到3時(shí)，可以將下一批的三 個(gè)請(qǐng)求分派給下一個(gè)處理單元。第一批量221包含三個(gè)請(qǐng)求，并且當(dāng)它們到達(dá)負(fù)載均衡器時(shí)可以被發(fā)送給第一處 理單元251。當(dāng)已經(jīng)接收到第四個(gè)請(qǐng)求時(shí)，可以將該請(qǐng)求發(fā)送給下一處理單元252。類(lèi)似 地，可將接下來(lái)的兩個(gè)請(qǐng)求分派給該下一處理單元252。因此，當(dāng)?shù)诙恐械母鱾€(gè)請(qǐng)求到 達(dá)負(fù)載均衡器時(shí)，該第二批量的三個(gè)請(qǐng)求(批量22 被分派給處理單元252。類(lèi)似地，可將 下一批量223發(fā)送給下一處理單元253。假設(shè)在該示例中存在著三個(gè)處理單元，則可將第四 批量發(fā)送給第一處理單元251，以及可將下一批量225發(fā)送給第二處理單元252?？梢砸匝?環(huán)的方式繼續(xù)將批量分派給處理單元。這種安排允許任何給定的處理單元在處理批量請(qǐng)求之間的延長(zhǎng)時(shí)段期間空閑并 進(jìn)入低功率狀態(tài)。對(duì)于所示的系統(tǒng)，給定的處理單元可以服務(wù)一個(gè)批量，然后當(dāng)兩個(gè)其它的 批量可被其它處理單元處理時(shí)可以空閑。處理單元252例如可以處理批量222，然后可以在 其它單元處理批量223和224時(shí)空閑。處理單元252可以不需要恢復(fù)操作，直到批量225 被負(fù)載均衡器所分派。
通常，如果存在著m個(gè)處理單元，則任何給定的處理單元處理每個(gè)第m個(gè)批量。在 處理一個(gè)批量之后，處理單元可以在接下來(lái)的m-1個(gè)批量被其它處理單元處理時(shí)空閑并進(jìn) 入低功率狀態(tài)。這如圖3所示。時(shí)間線351示出了在處理單元251處的批量請(qǐng)求的接收； 時(shí)間線352示出了在處理單元252處的批量請(qǐng)求的接收；以及時(shí)間線353示出了在處理單 元253處的批量請(qǐng)求的接收。時(shí)間線351包括處理單元251的空閑間隔361，該空閑間隔 361位于處理整個(gè)第一批量221與整個(gè)第四批量2M之間。在間隔361期間，可由其它處 理單元來(lái)處理批量，從而在該間隔期間處理單元251可以進(jìn)入低功率狀態(tài)。類(lèi)似地，時(shí)間線 352包括處理單元252的空閑間隔362，該空閑間隔362位于處理該系統(tǒng)的第二批量222與 該系統(tǒng)的第五批量225之間。注意，該圖示示出了大小為三個(gè)請(qǐng)求的批量。該數(shù)目?jī)H是出于說(shuō)明的目的，并不表 示限制。在可替換的實(shí)施方式中，批量可以具有不同的大小。圖3還示出了三個(gè)處理單元； 在可替換的實(shí)施方式中，處理單元的數(shù)目可以更少或更多。一個(gè)實(shí)施方式的處理如圖4所示。在410處，當(dāng)接收到請(qǐng)求時(shí)，可以將接收到的請(qǐng) 求分派給處理單元。如上所述，一旦已經(jīng)分派給一個(gè)處理單元的請(qǐng)求的數(shù)目達(dá)到批量大小， 可以將隨后批量的請(qǐng)求發(fā)送給下一處理單元等。在430處，可以在需要時(shí)調(diào)整批量大小。改 變批量大小的決策可以取決于用于處理請(qǐng)求的系統(tǒng)響應(yīng)時(shí)間。系統(tǒng)響應(yīng)時(shí)間可以取決于單 獨(dú)的請(qǐng)求的響應(yīng)時(shí)間。單獨(dú)的請(qǐng)求的響應(yīng)時(shí)間表示從在負(fù)載均衡器處接收到該請(qǐng)求到在處 理單元處完成該請(qǐng)求的處理的間隔。如果用于服務(wù)請(qǐng)求的系統(tǒng)響應(yīng)時(shí)間不在指定的范圍， 則可以改變批量大小。例如，如果系統(tǒng)響應(yīng)時(shí)間過(guò)長(zhǎng)，則可以做出決策來(lái)減少批量大小。這 將意味著分派給給定處理單元的連續(xù)請(qǐng)求的數(shù)目不是那么大。如果批量大小減少了，則在 負(fù)載均衡器處隨著時(shí)間接收請(qǐng)求并將請(qǐng)求分派給處理單元，但將更快地達(dá)到批量大小。這 可以降低負(fù)載均衡器處的任何的排隊(duì)延遲，因此請(qǐng)求將更快地到達(dá)處理單元。因此，當(dāng)批量 大小減少時(shí)，系統(tǒng)響應(yīng)時(shí)間可以得到改善。在另一實(shí)施方式中，當(dāng)增加批量大小不預(yù)示著會(huì)明顯地惡化系統(tǒng)響應(yīng)時(shí)間時(shí)，可 以做出決策來(lái)增加批量大小。該變化可以增加處理單元的空閑間隔的長(zhǎng)度。這將允許處理 單元在更長(zhǎng)的時(shí)段中處于低功率狀態(tài)，從而節(jié)省能量。圖5根據(jù)一個(gè)實(shí)施方式更詳細(xì)地示出了請(qǐng)求的分派(圖4中的410)。在510處， 確定是否已經(jīng)接收到請(qǐng)求。如果沒(méi)有，可以重復(fù)510，直到接收到請(qǐng)求。當(dāng)接收到請(qǐng)求時(shí)，該 過(guò)程可以繼續(xù)到520處，在此，將請(qǐng)求分派給處理單元，諸如服務(wù)器。在530處，確定連續(xù)分 派給該處理單元的請(qǐng)求的數(shù)目是否已經(jīng)達(dá)到了批量大小。如果是，則在540處，針對(duì)該批量 的分派過(guò)程可以結(jié)束。如果在530處確定連續(xù)分派給該處理單元的請(qǐng)求的數(shù)目還沒(méi)有達(dá)到 批量大小，則該過(guò)程可以在510處繼續(xù)。圖6根據(jù)一個(gè)實(shí)施方式示出了批量大小的自適應(yīng)調(diào)整。在610處，可以確定系統(tǒng) 響應(yīng)時(shí)間。系統(tǒng)響應(yīng)時(shí)間描述了處理單元服務(wù)請(qǐng)求所需的時(shí)間，其自請(qǐng)求在負(fù)載均衡器處 被接收到的時(shí)間點(diǎn)開(kāi)始。因此，系統(tǒng)響應(yīng)時(shí)間可以取決于處理單獨(dú)的請(qǐng)求所需的時(shí)間長(zhǎng)度。 可以以若干方式中的任意方式來(lái)計(jì)算系統(tǒng)響應(yīng)時(shí)間。一種方式考慮最近的請(qǐng)求，并確定服 務(wù)該請(qǐng)求所需要的時(shí)間。該單獨(dú)的響應(yīng)時(shí)間將然后被當(dāng)做系統(tǒng)響應(yīng)時(shí)間。另一種可能是考 慮一些數(shù)目的最近的單獨(dú)的響應(yīng)，并確定這些單獨(dú)的響應(yīng)時(shí)間的平均值或者中間值。在后 一實(shí)施方式中可以考慮的請(qǐng)求的數(shù)目例如可以是預(yù)設(shè)值或者可以是批量大小。另一種可能可以是考慮之前時(shí)間段(例如最后兩分鐘)中所服務(wù)的一些或所有請(qǐng)求，并確定在該間隔 中所服務(wù)的請(qǐng)求的單獨(dú)的響應(yīng)時(shí)間的平均值或中間值?？商鎿Q地，可以使用除平均值和中 間值之外的其他函數(shù)。注意，確定系統(tǒng)響應(yīng)時(shí)間的這些各種方式代表不同的實(shí)施方式，并不 意味著限制其范圍。在620處，確定在610處計(jì)算的系統(tǒng)響應(yīng)時(shí)間是否超出上限。該上限可以表示在 保持期望的服務(wù)質(zhì)量的情況下所允許的最大系統(tǒng)響應(yīng)時(shí)間或者以其他方式與該最大系統(tǒng) 響應(yīng)時(shí)間相關(guān)。作為響應(yīng)，超出該上限可以導(dǎo)致在630處減少批量大小。如果沒(méi)有超出上 限，則該過(guò)程可以在640處結(jié)束。批量大小的減少可以是固定或可變的。例如，每當(dāng)系統(tǒng)響應(yīng)時(shí)間超出上限時(shí)，就可 以在630處將批量大小減少固定的量?？商鎿Q地，在不同的情況下，該減少可以是不同的。 如果系統(tǒng)響應(yīng)時(shí)間超出上限更多的量，則可以將批量大小減少更多的量。如果系統(tǒng)響應(yīng)時(shí) 間大量增加，這將允許更快地調(diào)整批量大小。類(lèi)似地，如果系統(tǒng)響應(yīng)時(shí)間超出上限中等的 量，則可以將批量大小減少中等的量。因此，批量大小可以被調(diào)整到的程度與系統(tǒng)響應(yīng)時(shí)間 和可接受的范圍之間的差異量相關(guān)。圖7更詳細(xì)地示出了一個(gè)實(shí)施方式的處理。在710處，可以將變量η初始化為零， 其中η可以用于指示下一批量請(qǐng)求將被分派到的處理單元。在715處，將變量r初始化為 零，其中r可以用于指示已經(jīng)被分派給特定處理單元的連續(xù)請(qǐng)求的數(shù)目。在720處，可以確 定在負(fù)載均衡器處是否已經(jīng)接收到請(qǐng)求。如果沒(méi)有，則在該過(guò)程等待請(qǐng)求時(shí)重復(fù)720。如果 已經(jīng)接收到請(qǐng)求，則在730處，將該請(qǐng)求分派給處理單元η。在735處，可以將r遞增1，這是因?yàn)樵?30處已經(jīng)將連續(xù)分派給處理單元η的請(qǐng) 求的數(shù)目增加了 1。在740處，可以確定已經(jīng)連續(xù)分派給處理單元η的請(qǐng)求的數(shù)目r是否等 于批量大小。如果沒(méi)有足夠的請(qǐng)求已經(jīng)被連續(xù)地分派給處理單元η以構(gòu)成一個(gè)批量，則該 過(guò)程返回720以等待另一請(qǐng)求。如果分派的請(qǐng)求的數(shù)目r目前等于批量大小，則在750處， 可以將r重置為零，因?yàn)檫@是已經(jīng)被分派給下一處理單元的連續(xù)請(qǐng)求的數(shù)目。在760處，可 以將η遞增1并對(duì)m求模，其中m等于可用處理單元的數(shù)目。這允許將隨后的批量發(fā)送給 下一處理單元(對(duì)m求模)。這種安排允許任何給定的處理單元在處理批量請(qǐng)求之間的延 長(zhǎng)時(shí)段期間空閑并進(jìn)入低功率狀態(tài)。在770處，如上所述那樣確定系統(tǒng)響應(yīng)時(shí)間。在780處，可以確定系統(tǒng)響應(yīng)時(shí)間是 否超出上限。如果系統(tǒng)響應(yīng)時(shí)間超出上限，則在790處，可以減少批量大小。然后該過(guò)程可 以返回720以等待另一請(qǐng)求。在一些實(shí)施方式中，當(dāng)系統(tǒng)響應(yīng)時(shí)間足夠快時(shí)，可替換地增加批量大小。在該情況 中，通過(guò)使批量更大，批量之間任何給定處理單元的空閑時(shí)間可以增加，從而降低了功耗。 這在783和786處示出。如果在780處確定系統(tǒng)響應(yīng)時(shí)間沒(méi)有超出上限，則在783處可以 確定系統(tǒng)響應(yīng)時(shí)間是否小于下限。如果不小于，系統(tǒng)響應(yīng)時(shí)間位于上限和下限之間，則該過(guò) 程可以返回720以等待另一請(qǐng)求。如果系統(tǒng)響應(yīng)時(shí)間小于下限，則在786處，可以增加批量 大小。上文描述的用于管理處理單元和能耗的系統(tǒng)可以在硬件、固件、或軟件、或它們的 一些組合中實(shí)現(xiàn)。另外，本文公開(kāi)的任何一個(gè)或多個(gè)特征可以在硬件、軟件、固件以及它們 的組合中實(shí)現(xiàn)，包括離散和集成電路邏輯、專(zhuān)用集成電路(ASIC)邏輯以及微控制器，并可以被實(shí)現(xiàn)為特定于域的集成電路封裝的一部分或者集成電路封裝的組合。本文所使用的術(shù) 語(yǔ)“軟件”指的是計(jì)算機(jī)程序產(chǎn)品，包括具有存儲(chǔ)于其中的計(jì)算機(jī)程序邏輯的計(jì)算機(jī)可讀介 質(zhì)，該計(jì)算機(jī)程序邏輯使計(jì)算機(jī)系統(tǒng)執(zhí)行本文公開(kāi)的一個(gè)或多個(gè)特征和/或特征的組合。上文描述的處理的軟件或固件實(shí)施方式如圖8所示。系統(tǒng)800可以包括處理器 840和存儲(chǔ)器主體810，存儲(chǔ)器主體810可以包括存儲(chǔ)計(jì)算機(jī)程序邏輯820的一個(gè)或多個(gè)計(jì) 算機(jī)可讀媒介。例如，存儲(chǔ)器810可以被實(shí)現(xiàn)為硬盤(pán)和驅(qū)動(dòng)器、諸如壓縮盤(pán)和驅(qū)動(dòng)器之類(lèi)的 可移動(dòng)媒介、或者只讀存儲(chǔ)器(ROM)設(shè)備中的一個(gè)或多個(gè)。處理器840和存儲(chǔ)器810可以 使用本領(lǐng)域普通技術(shù)人員已知的若干技術(shù)中的任意一種(諸如總線)來(lái)進(jìn)行通信。包含在 存儲(chǔ)器810中的邏輯可以由處理器840來(lái)讀取和執(zhí)行。一個(gè)或多個(gè)I/O端口和/或I/O設(shè) 備(總體示為I/O 830)也可以連接到處理器840和存儲(chǔ)器810。在一個(gè)實(shí)施方式中，系統(tǒng) 800可以被并入到負(fù)載均衡器中，例如圖1所示的負(fù)載均衡器。計(jì)算機(jī)程序邏輯820可以包括分派模塊822。分派模塊822可以負(fù)責(zé)將成批量的 所接收到的請(qǐng)求分派給各個(gè)連續(xù)的處理單元。計(jì)算機(jī)程序邏輯820還可以包括系統(tǒng)響應(yīng)時(shí) 間確定模塊824。模塊擬4可以負(fù)責(zé)確定用于服務(wù)請(qǐng)求的系統(tǒng)響應(yīng)時(shí)間。如上所述，該確定 可以使用最近的請(qǐng)求的單獨(dú)的響應(yīng)時(shí)間或者一些最近請(qǐng)求的集合或子集的單獨(dú)的響應(yīng)時(shí) 間作為輸入。計(jì)算機(jī)程序邏輯820還可以包括批量大小調(diào)整模塊826，用于如果所確定的系 統(tǒng)響應(yīng)時(shí)間超出門(mén)限則負(fù)責(zé)改變批量大小。如上所述，如果系統(tǒng)響應(yīng)時(shí)間超出上限則可以 減少批量大小。在可替換的實(shí)施方式中，如果系統(tǒng)響應(yīng)時(shí)間下降到小于下限則也可以增加 批量大小。調(diào)整的大小可以變化，并且可以與系統(tǒng)響應(yīng)時(shí)間偏離可接受范圍的量相關(guān)。借助于示出了本發(fā)明的方法和系統(tǒng)的功能、特征和關(guān)系的功能構(gòu)造框，公開(kāi)了本 文的方法和系統(tǒng)。出于描述方便的目的，本文已經(jīng)任意地限定了這些功能構(gòu)造框的至少一 些界限。可以定義可替換的界限，只要能夠適當(dāng)?shù)貓?zhí)行它們的指定功能和關(guān)系。雖然本文公開(kāi)了各種實(shí)施方式，但是應(yīng)當(dāng)理解，它們只是以示例而非限制性的方 式進(jìn)行示出。對(duì)相關(guān)領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，在不背離本文公開(kāi)的方法和系統(tǒng)的精神 和范圍的情況下，可以進(jìn)行形式和細(xì)節(jié)上的各種改變。因此，權(quán)利要求的寬度和范圍不受本 文公開(kāi)的任何示例性實(shí)施方式的限制。
權(quán)利要求
1.一種用于處理單元負(fù)載均衡的方法，包括從負(fù)載均衡器向處理單元分派針對(duì)處理單元服務(wù)的連續(xù)的請(qǐng)求，其中，分派給所述處 理單元的連續(xù)的請(qǐng)求的數(shù)目表示大小為批量大小的批量，并且隨后的批量的請(qǐng)求被分派給 相繼的各個(gè)處理單元，其中，未正在處理批量的處理單元進(jìn)入低功率狀態(tài)；監(jiān)視用于服務(wù)所述請(qǐng)求的系統(tǒng)響應(yīng)時(shí)間；以及當(dāng)所述系統(tǒng)響應(yīng)時(shí)間不在可接受的范圍時(shí)，為隨后的分派修改所述批量大小。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述處理單元包括服務(wù)器。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述系統(tǒng)響應(yīng)時(shí)間不在所述可接受的范圍包括 所述系統(tǒng)響應(yīng)時(shí)間超出上限。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述批量大小的修改包括減少所述批量大小。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述批量大小被減少到與所述系統(tǒng)響應(yīng)時(shí)間超 出所述上限的量相關(guān)的程度。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述系統(tǒng)響應(yīng)時(shí)間不在所述可接受的范圍包括 所述系統(tǒng)響應(yīng)時(shí)間下降到低于下限，并且所述批量大小的修改包括增加所述批量大小。
7.一種用于處理單元負(fù)載均衡的系統(tǒng)，包括分派模塊，用于從負(fù)載均衡器向處理單元分派針對(duì)處理單元服務(wù)的連續(xù)的請(qǐng)求，其中， 分派給所述處理單元的連續(xù)的請(qǐng)求的數(shù)目表示大小為批量大小的批量，并且還用于使處理 器將隨后的批量的請(qǐng)求分派給相繼的各個(gè)處理單元，其中，未正在處理批量的處理單元進(jìn) 入低功率狀態(tài)；監(jiān)視模塊，用于監(jiān)視用于服務(wù)所述請(qǐng)求的系統(tǒng)響應(yīng)時(shí)間；以及修改模塊，用于當(dāng)所述系統(tǒng)響應(yīng)時(shí)間不在可接受的范圍時(shí)為隨后的分派修改所述批量大小。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述處理單元包括服務(wù)器。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述系統(tǒng)響應(yīng)時(shí)間不在所述可接受的范圍包括 所述系統(tǒng)響應(yīng)時(shí)間超出上限。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述批量大小的修改包括減少所述批量大小。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述批量大小被減少到與所述系統(tǒng)響應(yīng)時(shí)間 超出所述上限的量相關(guān)的程度。
12.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述系統(tǒng)響應(yīng)時(shí)間不在所述可接受的范圍包括 所述系統(tǒng)響應(yīng)時(shí)間下降到低于下限，并且所述批量大小的修改包括增加所述批量大小。
13.一種用于處理單元負(fù)載均衡的系統(tǒng)，包括處理器；以及與所述處理器進(jìn)行通信的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)用于指示所述處理器執(zhí)行以 下操作的多個(gè)處理指令從負(fù)載均衡器向處理單元分派針對(duì)處理單元服務(wù)的連續(xù)的請(qǐng)求，其中，分派給所述處 理單元的連續(xù)的請(qǐng)求的數(shù)目表示大小為批量大小的批量，并且隨后的批量的請(qǐng)求被分派給 相繼的各個(gè)處理單元，其中，未正在處理批量的處理單元進(jìn)入低功率狀態(tài)；監(jiān)視用于服務(wù)所述請(qǐng)求的系統(tǒng)響應(yīng)時(shí)間；以及當(dāng)所述系統(tǒng)響應(yīng)時(shí)間不在可接受的范圍時(shí)，為隨后的分派修改所述批量大小。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述處理單元包括服務(wù)器。
15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述系統(tǒng)響應(yīng)時(shí)間不在所述可接受的范圍包 括所述系統(tǒng)響應(yīng)時(shí)間超出上限。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述批量大小的修改包括減少所述批量大小。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述批量大小被減少到與所述系統(tǒng)響應(yīng)時(shí)間 超出所述上限的量相關(guān)的程度。
18.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述系統(tǒng)響應(yīng)時(shí)間不在所述可接受的范圍包 括所述系統(tǒng)響應(yīng)時(shí)間下降到低于下限，并且所述批量大小的修改包括增加所述批量大小。
全文摘要
公開(kāi)了以允許低功耗的服務(wù)器周期的方式、在一組處理單元(諸如服務(wù)器)之間均衡負(fù)載的方法和系統(tǒng)。這允許該組處理單元的高能效操作。而且，該過(guò)程適應(yīng)于系統(tǒng)響應(yīng)時(shí)間的改變，使得當(dāng)運(yùn)行條件如此規(guī)定時(shí)可以改善系統(tǒng)響應(yīng)時(shí)間。
文檔編號(hào)H04L29/08GK102104626SQ20101060157
公開(kāi)日2011年6月22日 申請(qǐng)日期2010年12月20日 優(yōu)先權(quán)日2009年12月22日
發(fā)明者C-F·辛, J-s·蔡, R·王, S·尤塔, T-Y·C·泰 申請(qǐng)人:英特爾公司