相關(guān)申請的交叉引用

本申請要求于2014年12月24日提交的第14/582,985號美國專利申請的申請日的權(quán)益，所述美國專利申請通過引用結(jié)合于此。

本技術(shù)總體上涉及向執(zhí)行分布式計算的設(shè)施供電。更具體地，本技術(shù)涉及設(shè)施的電力消耗的管理。

背景技術(shù)：

各種計算配置和系統(tǒng)可能會消耗相對較大的電力量。這樣的系統(tǒng)可能包括用于云計算、大數(shù)據(jù)分析、web服務(wù)、企業(yè)服務(wù)、分布式計算、高性能計算(hpc)等的系統(tǒng)。容納這樣的系統(tǒng)的設(shè)施可能需要相當(dāng)多的能量。

分布式計算hpc系統(tǒng)以及其他上述配置可以幫助科學(xué)家和工程師使用受益于高帶寬、低延遲網(wǎng)絡(luò)和非常高計算能力的應(yīng)用來解決復(fù)雜的科學(xué)、工程和業(yè)務(wù)問題。這樣的系統(tǒng)還可以執(zhí)行數(shù)據(jù)存儲和檢索，執(zhí)行更直接的任務(wù)等。遺憾的是，此外，可能具有數(shù)百或數(shù)千個處理器、服務(wù)器或執(zhí)行任務(wù)的計算節(jié)點的系統(tǒng)(如分布式系統(tǒng)、hpc系統(tǒng))通常消耗大量的電力。這在“大數(shù)據(jù)”時代可能尤其成問題。此外，電力消耗的變化和電力分配的問題也可能成為問題。

數(shù)據(jù)和計算服務(wù)的競爭性業(yè)務(wù)驅(qū)動制造商不斷改進其工藝和產(chǎn)品，以降低生產(chǎn)成本并交付可靠的服務(wù)。的確，隨著在數(shù)據(jù)、計算和電信服務(wù)方面的技術(shù)進步，存在競爭需求以不斷提高服務(wù)一致性和電力利用效率。

附圖說明

圖1是根據(jù)本技術(shù)的多個實施例的示例性分布式計算系統(tǒng)的圖解表示。

圖2是根據(jù)本技術(shù)的多個實施例的示例性分布式計算設(shè)施的框圖。

圖3是根據(jù)本技術(shù)的多個實施例的示例性分布式計算設(shè)施的圖解表示。

圖4是根據(jù)本技術(shù)的多個實施例的示例性分布式計算設(shè)施的系統(tǒng)級和節(jié)點級的圖解表示。

圖5a和圖5b是根據(jù)本技術(shù)的多個實施例的電力管理器層級和動作的示例的流程圖。

圖6是根據(jù)本技術(shù)的多個實施例的系統(tǒng)級和節(jié)點級的示例性管理器和功能的框圖。

圖7是根據(jù)本技術(shù)的多個實施例的比較分布式計算的兩個示例作業(yè)的電力消耗的條形圖。

圖8是描繪根據(jù)本技術(shù)的多個實施例的可以有助于分布式計算系統(tǒng)的電力管理的有形非瞬態(tài)計算機可讀介質(zhì)的示例的框圖。

貫穿本公開和附圖使用相同的數(shù)字來引用相似的部件和特征。100系列的數(shù)字指代最初見于圖1的特征；200系列的數(shù)字指代最初見于圖2的特征；依此類推。

具體實施方式

本技術(shù)的多個實施例涉及一種設(shè)施，所述設(shè)施具有被配置為用于執(zhí)行計算作業(yè)的多個計算節(jié)點的系統(tǒng)。設(shè)施處的電力消耗被管理或控制在電力帶內(nèi)和/或期望或指定的電力變化斜坡或速率內(nèi)。例如，變化速率可以是每分鐘或每小時某一量值的瓦特?？梢允窃谠O(shè)施級、系統(tǒng)級、以及作業(yè)/節(jié)點級將電力管理或控制在電力帶或斜坡內(nèi)。

進一步地，應(yīng)當(dāng)注意的是，將電力消耗控制在電力帶內(nèi)與如常規(guī)的那樣僅僅努力使用更少的電力或更少的電大不相同。相反，例如，電力帶可以是電力的指定最小值到指定最大值，并且在多個實施例中，所述帶是相對較窄的范圍。例如，電力帶可以與市電提供方的協(xié)商范圍相關(guān)。從市電提供方到設(shè)施的協(xié)商分配的電力量可以是相對較窄的電力范圍(例如，10mw的分配允許降至但不低于8.5mw)。因此，利用電力帶，所述帶的最大極限可以是所分配的電力消耗量(例如，10mw)。所述帶的最小極限可以是電力消耗達到的較低量(例如，8.5mw)，如通過分配所協(xié)商的。應(yīng)當(dāng)指出的是，設(shè)施利用本地能量生產(chǎn)和存儲可以提供設(shè)施的電力消耗方面的靈活性(例如，稍微加寬設(shè)施控制電力帶)，并且滿足與市電提供方的協(xié)商分配。然而，無論是否有本地能量產(chǎn)生/存儲，設(shè)施可以實施用于將設(shè)施的電力消耗控制在電力帶內(nèi)的活動。

可以實施各種活動來調(diào)整電力消耗。設(shè)施級活動的示例可以是通過降低冷卻系統(tǒng)的溫度來浪費超出所需的電力。這可以被實施以增大電力消耗，使得設(shè)施電力消耗保持在電力帶內(nèi)。設(shè)施級活動的另一示例可以是激活或調(diào)整本地能量產(chǎn)生/存儲，以將電力消耗維持在電力帶內(nèi)或維持電力斜坡極限或目標(biāo)內(nèi)。例如，能量產(chǎn)生可以來自設(shè)施本地布置的可再生和/或不可再生能源。能量存儲可以涉及電力存儲(例如電池)、熱存儲(例如，冰、冷卻液體)等。

為了管理和控制電力，可以在系統(tǒng)和作業(yè)/節(jié)點級實現(xiàn)具有低優(yōu)先級計算輸出或無計算輸出的活動以影響電力消耗。如以下所討論的，在系統(tǒng)級和作業(yè)/節(jié)點級，這樣的活動可以由電力氣泡提示(powerballoon)模塊來實現(xiàn)。相對于帶和速率兩者，活動可以用于增大或減少電力消耗。例如，電力氣泡提示可以指定或發(fā)起浪費能量的活動，以減緩電力的突然減少。在另一示例中，管理器模塊可以發(fā)起在沒有計算輸出的情況下增大電力的活動。例如，活動可以用于對空閑節(jié)點(不在此節(jié)點上執(zhí)行任務(wù))供電以浪費/消耗電力，以便將系統(tǒng)的電力消耗提高到指定最小目標(biāo)以上。

再次，電力氣泡提示或管理器模塊可以發(fā)起具有很少或沒有計算/工作輸出或沒有附加計算輸出的活動，以調(diào)整和控制系統(tǒng)級和/或節(jié)點級的電力。這些活動可以包括“綠色”和“非綠色”活動。

綠色技術(shù)是有用的，但對于客戶端而言不產(chǎn)生計算輸出或不產(chǎn)生新的計算作業(yè)輸出、或者不產(chǎn)生新的作業(yè)功(jobwork)。換句話說，在特定實施例中，綠色動作可以產(chǎn)生有用功，但是針對用戶或客戶端不產(chǎn)生計算輸出。綠色技術(shù)(由電力氣泡提示或管理器實施以調(diào)整/控制電力)的示例是節(jié)點或節(jié)點系統(tǒng)上的診斷動作和維護動作。在系統(tǒng)級，電力氣泡提示或管理器的綠色活動可以包括系統(tǒng)診斷、未分配但供電的節(jié)點(每節(jié)點電力)的校準(zhǔn)、存儲系統(tǒng)的維護(壓縮、病毒掃描、錯誤檢測和校正)、系統(tǒng)存儲器的維護(錯誤檢測和校正)、低優(yōu)先級作業(yè)的運行等。在節(jié)點級，電力氣泡提示或管理器發(fā)起的綠色活動可以包括節(jié)點診斷、節(jié)點的校準(zhǔn)、本地存儲的維護(壓縮、病毒掃描、錯誤檢測和校正)、系統(tǒng)存儲器的維護(錯誤檢測和校正)等。

相比之下，非綠色技術(shù)是無用的活動，除了旨在浪費能量的目的和能源效率低以致增大電力消耗。通過電力氣泡提示或管理器實施的非綠色活動不產(chǎn)生有用功，并且不產(chǎn)生輸出或至少不產(chǎn)生功輸出、不產(chǎn)生計算輸出(或不產(chǎn)生附加計算輸出)。電力氣泡提示或管理器實施非綠色活動，消耗能量以將節(jié)點或系統(tǒng)處(以及因此在設(shè)施處)的電力消耗維持在電力帶的較低極限或目標(biāo)以上、或低于電力變化速率的上極限或目標(biāo)。

在作業(yè)/節(jié)點級，由電力氣泡提示或管理器發(fā)起的非綠色動作可以包括關(guān)閉各種電力特征(例如，降低電力和制定與計算負載和組件利用率成比例的能量消耗的特征)，并且運行各種電力的病毒進程等。在系統(tǒng)級，由電力氣泡提示發(fā)起或?qū)嵤┮钥刂齐娏Φ姆蔷G色動作包括使未分配的斷電節(jié)點通電、打開虛擬作業(yè)(每節(jié)點電力)、改變作業(yè)的能量策略(使得以更少的能量效率的方式運行)等。

在配置和運行中，電力氣泡提示或適當(dāng)?shù)墓芾砥髂K將選擇應(yīng)用哪種電力氣泡提示活動。選擇可以基于活動將消耗的電力量，設(shè)施、系統(tǒng)或節(jié)點處期望消耗的電力量，并且基于活動的優(yōu)先級(例如有用活動)以及其他考慮因素。

關(guān)于計算，如分布式計算、高性能計算(hpc)或大數(shù)據(jù)分析、云計算等，設(shè)施或數(shù)據(jù)中心的能量成本(與電力或電力有關(guān))可以涉及電表費用和需求費用。電表費用可以時間周期內(nèi)所使用的能量的量成比例。需求費用可以是電力分配的指定需求、作為需求的百分比的實際使用的電力量、電力消耗率的波動或變化等的函數(shù)。

今天，例如，這樣的設(shè)施或數(shù)據(jù)中心的典型的指定需求可以是約1兆瓦(mw)的電力。將來，預(yù)期需求將增長到高達45mw或更高，例如特別是對于托管高性能計算(hpc)或超級計算機和/或執(zhí)行大數(shù)據(jù)分析的設(shè)施或數(shù)據(jù)中心。在如此高的需求下，需求費用可能大于電表費用。為管理和控制數(shù)據(jù)中心(包括具有高預(yù)定需求的數(shù)據(jù)中心)的需求費用，示例中的數(shù)據(jù)中心可以從以下方面受益：(1)當(dāng)分配xmw的電力時，電力消耗一般不應(yīng)低于x減去ymw，其中x減y可以標(biāo)注為電力帶；以及(2)電力的波動或變化一般應(yīng)隨時間推移而受限制，包括每分鐘電力和每小時電力等速率。

目前，電容器(如電壓調(diào)節(jié)器(vr))、電源和不間斷電源(ups)在短時間內(nèi)提供對相對較小波動的電力消耗的保護。遺憾的是，對于ups或電池，支持多mw消耗一般需要較大占地面積或不動產(chǎn)，并且在許多示例中將是非常昂貴的。傳統(tǒng)解決方案通常不能有效地滿足未來數(shù)據(jù)中心或具有較大電力需求和大實際電力消耗的數(shù)據(jù)中心的電力消耗的控制速率。

根據(jù)本技術(shù)的多個實施例，電力消耗的速率的管理一般可以通過控制計算系統(tǒng)的電力消耗、使用能量存儲和能量產(chǎn)生等的組合來實現(xiàn)和實施。從能量/環(huán)境保護的觀點，控制一般可以分為綠色或非綠色。特別地，綠色機制典型地有助于能量用于有用的目的。另一方面，非綠色機制可能會導(dǎo)致浪費或低效率的能量支出，以用于提高電力或減緩電力降低的預(yù)期目的?？梢栽谠O(shè)施級、系統(tǒng)級、以及作業(yè)/節(jié)點級實施綠色和非綠色活動。設(shè)施級的綠色活動可以包括使用多余能量來用于：(1)為電池充電以存儲電能，(2)對液體進行冷卻并且將經(jīng)冷卻的液體存儲在貯存器中供以后使用(例如，用于補充冷卻系統(tǒng))，以及(3)產(chǎn)生冰以存儲熱能量。設(shè)施級綠色活動還可以包括使用涉及運行可再生能源(例如太陽能、風(fēng)能、地?zé)岬?和/或傳統(tǒng)能源(如柴油發(fā)電機)的本地能量產(chǎn)生。設(shè)施級非綠色活動可以包括在低溫下運行設(shè)施機架和數(shù)據(jù)中心(這樣可以類似于通過在窗口打開情況下運行空調(diào)來浪費能量)。

本文的一些實施例可以采用層級結(jié)構(gòu)來管理電力消耗的速率。所述結(jié)構(gòu)可以涉及設(shè)施電力管理器、系統(tǒng)電力-性能管理器、作業(yè)電力-性能管理器等。如以下所討論的，可以實施各種機制和結(jié)構(gòu)來控制例如在管理器層級內(nèi)的不同級的電力消耗的速率。

如圖所示，各種電力輸送級的電容器(例如vr、電源、電力分配單元(pdu)、帶電池的ups等)可以提供本地的能量存儲和排放。在組件和系統(tǒng)級，電容器可以抑制微秒和毫秒的瞬變。在特定示例中，對于1mw的數(shù)據(jù)中心，ups可以支持幾分鐘的能量損失。為了解決即將到來的用戶需求，例如10mw到45mw的數(shù)據(jù)中心，例如傳統(tǒng)途徑的擴展一般可能是相對昂貴和不足的。在另一特定示例中，如果hpc作業(yè)崩潰或結(jié)束(完成)，則數(shù)據(jù)中心例如可能會在幾毫秒遇到電力消耗的4-6mw的下降。常規(guī)機制不保護或解決這種不幸和可能的情形。相比之下，如本文所討論的，本技術(shù)的實施例保護或解決數(shù)據(jù)中心和用于分布式計算的設(shè)施(包括hpc和大數(shù)據(jù)分析)的電力消耗的突然和較大的變化。

歷史上，管理電力消耗的努力集中在降低電力消耗，而不考慮電力帶。相反，本文中的實施例適用于從市電公司或提供方汲取的電力保持接近數(shù)據(jù)中心的電力分配的需要。此外，一些實施例采用多個層級目標(biāo)和控制來管理或控制數(shù)據(jù)中心或類似設(shè)施的電力消耗的速率。

設(shè)施或數(shù)據(jù)中心一般托管多個計算系統(tǒng)、能量發(fā)生器、電力存儲裝置(例如電池)、冷卻單元等。在多個實施例中，設(shè)施可以具有設(shè)施級電力管理器(fpm)，以滿足用戶對每分鐘和每小時的變化的要求，并且fpm用于例如基于市電供應(yīng)方實體的分配而將設(shè)施消耗維持在最小-最大水平或范圍內(nèi)。fpm可以生成并提供用于系統(tǒng)級控制的系統(tǒng)級電力-性能管理器(sppm)的目標(biāo)。fpm和sppm可以管理電力消耗的變化。sppm可以與節(jié)點系統(tǒng)以及例如作業(yè)級電力-性能管理器或控制器一起作業(yè)，并且為節(jié)點級電力性能管理器(nppm)提供電力消耗目標(biāo)。sppm和作業(yè)電力-性能管理器(jppm)兩者可以包含架構(gòu)、電力使用和本地能量存儲來實現(xiàn)各種方案，如以下所討論的。因此，此外，可以實現(xiàn)層級目標(biāo)和控制器，包括用于控制到電力帶內(nèi)和用于控制電力消耗的速率的層級。

圖1是用于計算的示例性系統(tǒng)100，例如分布式計算系統(tǒng)、數(shù)據(jù)中心、(多個)超級計算機、大數(shù)據(jù)分析中心、云計算、企業(yè)服務(wù)、高性能計算(hpc)中心等。本文涉及設(shè)施電力水平和系統(tǒng)電力水平的實施例一般適用于各種計算配置。在所示實施例中，系統(tǒng)100具有帶計算架構(gòu)的104設(shè)施102，所述計算架構(gòu)包括節(jié)點108的一個或多個系統(tǒng)106。在示例中，設(shè)施102包括三個系統(tǒng)106，每個系統(tǒng)具有20,000個節(jié)點108。在替代性實施例中，在節(jié)點108的分組可以隨著時間推移(例如每個作業(yè))而改變的意義上，系統(tǒng)級可以是流體。節(jié)點108一般可以是計算節(jié)點，而且還可以包括操作系統(tǒng)(os)節(jié)點、輸入/輸出(i/o)節(jié)點以及其他節(jié)點。每個節(jié)點108可以包括一個或多個處理器110，其中每個處理器110具有一個或多個處理核112。

每個節(jié)點108還可以包括存儲可由處理器108執(zhí)行的代碼116的存儲器114。節(jié)點108可以包括附加硬件、軟件、固件等。計算架構(gòu)104還可以包括一個或多個計算裝置118，諸如服務(wù)器、主機等，每個計算裝置具有至少一個處理器120和存儲器122，存儲器存儲可由處理器120執(zhí)行的代碼124。

所存儲的可執(zhí)行代碼116和124可以包括各種管理器或控制模塊，包括層級中不同級的管理器。如上所述，示例性管理器包括分別由虛線框126、128和130表示的(多個)節(jié)點電力-性能管理器(nppm)、(多個)系統(tǒng)電力-性能管理器(sppm)和設(shè)施電力管理器(fpm)，以及其他模塊。在多個實施例中，作業(yè)電力性能管理器(jppm)(未示出)被分布在節(jié)點108之間。jppm的在單獨節(jié)點上運行的部分被稱為nppm。此外，這些控制器或管理器126、128、130是存儲在存儲器(例如，114和/或124)中的可執(zhí)行代碼(例如，116和/或126)。管理器126、128、130可以具有為其他模塊的一部分的子模塊。此外，如所指示的，管理器126、128和130以及其他控制器模塊可以提供關(guān)于電力的層級管理或控制。進一步地，管理器128、128，130的相應(yīng)變體和/或其他控制器和管理器可以提供帶內(nèi)或帶外控制。

可以理解，設(shè)施102處的計算架構(gòu)104可以消耗電力。另外，設(shè)施102可以包括諸如建筑物冷卻系統(tǒng)、照明等的其他電力消耗者132。例如，設(shè)施102可以接收來自一個或多個市電公司或提供方136的電力或電力134。所接收的電力134可以根據(jù)需要在設(shè)施102處進行轉(zhuǎn)換。此外，設(shè)施102還可以具有在本地和/或遠程布置的多個電力產(chǎn)生設(shè)施138(例如柴油發(fā)電機等)。進一步地，設(shè)施102可以具有電力存儲裝置140(如電池)和其他能量存儲裝置(如用于冷卻劑的貯存器)。最后，設(shè)施102可以(例如，經(jīng)由網(wǎng)絡(luò)142)與其他分布式計算系統(tǒng)144(例如，數(shù)據(jù)中心、超級計算機、大數(shù)據(jù)等)或非分布式或傳統(tǒng)計算系統(tǒng)和計算裝置146(例如，在客戶端位置、市電公司或分銷商等)進行通信。

圖2是用于分布式計算的示例性設(shè)施102的圖解表示。如上所述，在一些實施例中，可以實施層級來管理或控制包括設(shè)施102的分布式計算系統(tǒng)100(例如，數(shù)據(jù)中心、超級計算機等)的電力消耗的速率。在設(shè)施級，設(shè)施電力管理器(fpm)130可以適應(yīng)每時間(例如，每分鐘和每小時)的設(shè)施電力變化的要求，并且將設(shè)施102處的電力消耗維持在最小電力消耗與最大電力消耗之間。這樣的范圍可以基于市電公司或供應(yīng)方或者設(shè)施管理器(例如人類管理員)對電力的分配。

fpm130可以為用于系統(tǒng)級的系統(tǒng)電力-性能管理器(sppm)128生成和提供多個電力目標(biāo)(例如，用于消耗和變化兩者)。fpm130和sppm128可以管理電力消耗的變化?；谟蓅ppm128和/或其他因素闡明的約束和目標(biāo)，sppm128可以管理其相應(yīng)節(jié)點108的系統(tǒng)106的電力消耗。

圖3是用于分布式計算的示例性設(shè)施102。如所討論的，設(shè)施管理器fpm130給出了對用于節(jié)點系統(tǒng)106的多個系統(tǒng)管理器sppm128的指導(dǎo)。進一步地，fpm130可以與人類管理員300、市電公司或提供方302等進行通信并且具有由其設(shè)定的策略/規(guī)則。在多個示例中，fpm130可以使用或者是到市電提供方302的需求/響應(yīng)接口。此外，fpm130可以執(zhí)行設(shè)施102處的電力和冷卻等的計算，包括通信容量和要求。fpm130可以考慮冷卻系統(tǒng)132c，管理能量的熱電聯(lián)產(chǎn)(例如，在發(fā)電機138處)，向所述一個或多個sppm128分配電力預(yù)算等。

fpm130可以使用各種機制來滿足數(shù)據(jù)中心運營商關(guān)于電力消耗變化的要求，例如對于每分鐘的德耳塔瓦特(δw/min)和δw/小時。數(shù)據(jù)中心運營商還可以使fpm130將設(shè)施級電力消耗維持在或稍低于市電提供方302的電力分配。為了保持能量效率高的目標(biāo)，fpm可以嘗試在采取非綠色機制之前使用綠色機制。

對于具有本地發(fā)電機138的設(shè)施102，fpm130可以使用本地發(fā)電機138進行設(shè)施電力控制。根據(jù)具體設(shè)施102，可以存在各種類型的本地發(fā)電機138。本地發(fā)電機138的示例是柴油發(fā)動機、太陽能電力等。在特定示例中，如果與市電提供方302協(xié)商的設(shè)施102電力需求被設(shè)置為12mw，并且設(shè)施102具有例如2mw的本地發(fā)電，則設(shè)施102可以替代地重新協(xié)商從市電提供方302需求10mw。如果是這樣的話，市電提供方302可以要求設(shè)施102從市電提供方汲取8.5mw到10mw(例如，15％的允許變化)之間的電力。在這個數(shù)字示例中，本地產(chǎn)生的2mw可以促進數(shù)據(jù)中心設(shè)施102級波動在8.5至12mw(～30％變化)之間。因此，本地發(fā)電可以增大靈活性或電力水平，并且有助于滿足長期有限變化(例如，δw/小時)的目標(biāo)。

對于具有本地電力存儲140的設(shè)施102，fpm130可以使用電力存儲(例如，電池、本地制冷等)。當(dāng)設(shè)施102級實際電力消耗可能低于最低需求(在上述數(shù)值示例中為8.5mw)時，fpm130可以引導(dǎo)能量以對電力存儲140的電池140b部分充電。稍后在設(shè)施102實際電力需求增長時可以使用所產(chǎn)生的電池充電。能量存儲的另一途徑是使用多余能量(例如，當(dāng)設(shè)施的實際電力消耗下降到低于協(xié)商需求時)來冷卻液體或產(chǎn)生冰。例如，當(dāng)設(shè)施102的實際電力消耗接近或超過需求(即，電力帶的上極限)時，可以將冰或冷卻液存儲或以后用于冷卻，以例如降低冷卻系統(tǒng)132c的能量。

fpm130可以采用的其他機制示例是fpm130指定冷卻系統(tǒng)132c的環(huán)境，例如調(diào)整冷卻系統(tǒng)132c中的冷卻劑、空氣或水的溫度或溫度設(shè)定點。這樣的控制可能影響系統(tǒng)的冷卻系統(tǒng)132c和包括計算系統(tǒng)的計算架構(gòu)104所消耗的電力。例如，對于提高設(shè)施電力消耗，fpm130可以降低冷卻系統(tǒng)132c中空調(diào)單元的排出空氣的出口溫度。雖然這可能是非綠色機制，但這樣降低冷卻空氣溫度有助于提高用空氣冷卻的組件(例如，計算架構(gòu)104)的壽命。因此，這種非綠色活動一般是無用的，除了將電力消耗提升到電力帶之外還可以具有益處。

圖4是用于分布式計算的示例性設(shè)施102的系統(tǒng)級和節(jié)點級的圖解表示400。例如，數(shù)據(jù)中心管理器406和機架控制器或管理器402監(jiān)控系統(tǒng)級的共享電源404以及節(jié)點108的機架中的冷卻等。例如，關(guān)于監(jiān)控節(jié)點108的電力，機架管理器402可以指導(dǎo)節(jié)點管理器403(例如，帶外節(jié)點管理器)?？梢赃m應(yīng)帶內(nèi)和帶外管理、監(jiān)控和控制。例如，數(shù)據(jù)中心管理器406可以是帶外管理層級的一部分。數(shù)據(jù)中心管理器406將電力和冷卻系統(tǒng)的健康狀況和容量通信給sppm128。

在多個示例中，節(jié)點管理器403、機架管理器402以及數(shù)據(jù)中心管理器406是帶外的，而不是系統(tǒng)軟件的直接部分。例如，這三個管理器402、403和406可以代替地是監(jiān)控電力和冷卻基礎(chǔ)設(shè)施的失效的獨立機制的一部分。在電力供應(yīng)或冷卻失效的情況下，機架管理器402可以采取行動來減少或防止所產(chǎn)生的不期望事件，可以與作業(yè)管理器、資源管理器、sppm進行通信，使得它們將操作包含較低的電力/冷卻容量(由于故障)的系統(tǒng)和節(jié)點。

如參照圖1-3所討論的，在包含設(shè)施102或者設(shè)施102的數(shù)據(jù)中心級容量和能量成本(例如電力和冷卻系統(tǒng)、建筑物等中的損失)時，fpm130可以產(chǎn)生用于相應(yīng)spc128和節(jié)點108的系統(tǒng)106(參見圖1-3)的電力量或水平以及電力變化的目標(biāo)。這些目標(biāo)可以被通信到spc128以用于系統(tǒng)106的電力管理和控制。

圖5a和圖5b是具有示例性動作502的示例管理層級500的流程圖。圖5a是所述圖的頂部。圖5b是所述圖的底部。管理層級500中的實體可以包括上述fpm130、sppm128、jppm504和nppm126、或其變體。在操作中，fpm130可以管理設(shè)施102資源并且將限定所述一個或多個sppm128的系統(tǒng)電力預(yù)算。在系統(tǒng)級，資源管理器(未單獨描繪)可以包括例如sppm128和作業(yè)電力-性能管理器件(jppm)504，并且可以在電力消耗(包括變化)方面指導(dǎo)nppm126。系統(tǒng)級和作業(yè)級的這種電力消耗可以用于系統(tǒng)106中的多個節(jié)點108，例如在節(jié)點108上實施或執(zhí)行分布式計算作業(yè)時。管理層級中的附加實體可以包括設(shè)施管理器(例如，自動化或人類管理員)、能量公共設(shè)施(energyutility)508(例如，市電公司或提供方)、建筑物管理510等。

如關(guān)于上圖所討論的，fpm130一般可以通過需求/響應(yīng)接口與能量公共設(shè)施508進行通信，用設(shè)施管理器506接收并設(shè)置規(guī)則和策略，并且管理設(shè)施102的能量資源。fpm130可以考慮設(shè)施102的電力和冷卻，包括容量需求和要求進行通信、管理本地能量的使用、以及將預(yù)算分配給系統(tǒng)(即，資源管理器或sppm128)。

在如圖5a所示的實施例中，如動作502所示，fpm130可以查詢和接收所預(yù)測的系統(tǒng)電力。sppm128可以制定系統(tǒng)需求預(yù)測。fpm130還可以從sppm128查詢和接收當(dāng)前和歷史系統(tǒng)電力信息。進一步地，fpm130可以從建筑物管理510查詢和接收電力和冷卻基礎(chǔ)設(shè)施的狀態(tài)。fpm130還可以從建筑物管理510查詢和接收本地能量存儲和產(chǎn)生的狀態(tài)。

此外，如圖5a所指出的，設(shè)施管理器506可以接收用于電力斜坡和電力帶的策略，并且進而設(shè)施管理器506可以對fpm130設(shè)置用于控制電力斜坡和電力帶的策略和規(guī)則。fpm130可以從能量公共設(shè)施508接收對電力使用和變化的效用期望、以及關(guān)于能量的定價信息和激勵。當(dāng)然，可以實現(xiàn)相反的方向，因為fpm130還可以將類似信息以及其他數(shù)據(jù)和信息提供給設(shè)施管理器506和能量公共設(shè)施508。

繼續(xù)圖5b的圖，基于所接收的各種上述信息和其他信息，fpm130可以制定設(shè)施需求預(yù)測、制定本地能量存儲/產(chǎn)生的目標(biāo)和計劃、并且將這些目標(biāo)設(shè)置用于建筑物管理510、以及制定電力帶和斜坡的系統(tǒng)級目標(biāo)并且將這些限制設(shè)置用于sppm128。作為回應(yīng)，sppm128可以制定用于作業(yè)電力定序的策略、制定用于“綠色”和“非綠色”電力活動的策略、并且將作業(yè)級電力帶和斜坡限制設(shè)置用于jppm502。

如圖5a中的動作502所示，jppm502可以將節(jié)點級電力帶和斜坡限制(例如，與電力預(yù)算一起提供)設(shè)置用于nppm126。jppm502還可以將用于管理電力斜坡和帶(包括綠色和非綠色途徑)的策略通信到nppm126。nppm126可以在帶和斜坡目標(biāo)或限制內(nèi)的(多個)相應(yīng)節(jié)點處維持電力消耗。最后，應(yīng)當(dāng)強調(diào)的是，圖5中未描繪出的其他管理層級(包括標(biāo)簽、級和配置)都適用于本技術(shù)。

圖6是系統(tǒng)級和節(jié)點級的示例性管理器和功能的框圖。在系統(tǒng)106中，可以存在維持系統(tǒng)106電力性能以在系統(tǒng)106級電力預(yù)算內(nèi)提供相對較高的能量效率的機制。例如，sppm128可以與資源管理器600協(xié)同工作，以滿足對電力消耗變化速率的要求。資源管理器600(例如，指導(dǎo)處理器的可執(zhí)行代碼)可以具有諸如作業(yè)調(diào)度器(未示出)、作業(yè)啟動器(joblauncher，未示出)等的元件，以管理用戶提交的作業(yè)并且按優(yōu)先順序啟動作業(yè)以達到目標(biāo)，例如，超過95％的節(jié)點用于計算。資源管理器(rm)600可以具有諸如系統(tǒng)電力性能管理器(sppm)128和作業(yè)電力性能管理器(jppm)604(其可以類似于圖5a和圖5b的502)的組件，以管理作業(yè)的電力-性能。通過選擇各種類型的作業(yè)并控制作業(yè)電力的逐漸增大，rm600可以幫助滿足電力消耗的系統(tǒng)106級目標(biāo)。

對于作業(yè)的選擇，rm600可以從隊列中選擇作業(yè)606并且調(diào)度作業(yè)606進行執(zhí)行。在多個實施例中，rm600可以訪問估計作業(yè)的電力需求的工具。這些估計可以幫助rm600選擇可運行以滿足電力控制的系統(tǒng)106級電力要求的作業(yè)組合。

rm600可以解決作業(yè)的電力定序608。在特定示例中，如果作業(yè)在約20,000個節(jié)點108上開始，則系統(tǒng)106和設(shè)施102處的電力消耗可能突然增大。在某些實施例中，rm600可以采用多種技術(shù)來使所述電力逐漸增大。例如，rm600可以與fpm130協(xié)調(diào)以解決系統(tǒng)電力并使系統(tǒng)106的電力消耗漸變。fpm130可以通過使用本地能量存儲140和本地能量產(chǎn)生138來抑制電力消耗的突然或明顯的增大。在另一示例中，對于使系統(tǒng)電力逐漸增大，rm600可以控制計算節(jié)點108的性能，所述計算節(jié)點運行作業(yè)，其方式為使得節(jié)點以低(例如，最低)頻率開始所述作業(yè)。然后，rm600可以以受控的方式逐漸地增大執(zhí)行作業(yè)的節(jié)點108的頻率。

對于非關(guān)鍵作業(yè)610，當(dāng)前項作業(yè)完成時，rm600可以指定非關(guān)鍵但有用的作業(yè)的運行或執(zhí)行。這樣的作業(yè)610的示例可以是系統(tǒng)健康檢查、診斷、安全掃描、節(jié)點108的電力-性能校準(zhǔn)、存儲裝置的碎片整理、系統(tǒng)存儲器和存儲驅(qū)動器中的錯誤的掃描和校正等。這些可以是提高系統(tǒng)106和其他設(shè)施102系統(tǒng)的可靠性的綠色機制。

電力控制作業(yè)612可以是很少或不產(chǎn)生有用功并且消耗能量以維持超過最小值的最小電力水平的作業(yè)。顯然，這些可以是非綠色選項。然而，這樣的電力控制作業(yè)612可以幫助將系統(tǒng)106級電力消耗維持目標(biāo)內(nèi)。在某些實施例中，這些類型的活動可以通過系統(tǒng)電力氣泡提示應(yīng)用614(例如，可執(zhí)行代碼)來實現(xiàn)，如下面更詳細地討論的。

對于節(jié)點108的電力消耗目標(biāo)，rm600可以通過作業(yè)或作業(yè)負載管理器(例如jppm604)來控制節(jié)點106的電力-性能。例如，在某些實施例中，rm600通過jppm604可以提供特定目標(biāo)，使得節(jié)點108級電力消耗不會急劇和突然地變化。此外，為了滿足斜坡或帶目標(biāo)，旨在避免電力速率突然變化(以及還旨在將電力消耗管理在帶內(nèi))的某些活動可以通過電力氣泡提示技術(shù)或機制(存儲在存儲器中的模塊或可執(zhí)行代碼)來實現(xiàn)。在某些實施例中，在系統(tǒng)級和節(jié)點級可以存在電力氣泡提示。所示實施例描繪了系統(tǒng)電力氣泡提示614和節(jié)點電力氣泡提示622。

為了將節(jié)點108級電力消耗維持在由作業(yè)管理器或jppm604提供的目標(biāo)內(nèi)，可以解決電力管理(pm)特征的控制(如框618所指出的)。節(jié)點108級電力的降低可能是節(jié)點或平臺中的電力管理(pm)或電力降低技術(shù)的結(jié)果。這些技術(shù)可以在組件的使用或計算負載減少時降低組件級電力。在一些實施例中，通過禁用pm特征，組件級電力可以保持穩(wěn)定或基本穩(wěn)定。然而，rm600和/或節(jié)點電力氣泡提示622可以指導(dǎo)pm進行更漸變的途徑以緩慢降低電力。更漸變的途徑幫助實現(xiàn)電力變化速率的目標(biāo)，并且還可以是節(jié)能的。

此外，可以存在用于維護的非關(guān)鍵應(yīng)用620。在節(jié)點108處電力下降的示例中，rm600通過節(jié)點電力氣泡提示622可以運行非關(guān)鍵但有用的應(yīng)用620。盡管這樣的非關(guān)鍵應(yīng)用620可以不為任何用戶生成計算機輸出，但這樣的應(yīng)用程序620可以執(zhí)行維護并因此提高節(jié)點108的可靠性。這樣的應(yīng)用的示例包括系統(tǒng)健康檢查、診斷、安全掃描、節(jié)點的校準(zhǔn)、存儲驅(qū)動的碎片整理、系統(tǒng)存儲器和存儲驅(qū)動器中的錯誤的掃描和校正等。

例如，sppm128可以實現(xiàn)稱為電力氣泡提示的本技術(shù)(例如，參見圖7)。電力氣泡提示(614和622)可以管理綠色和非綠色應(yīng)用，以(1)將系統(tǒng)電力維持在電力帶內(nèi)和(2)管理系統(tǒng)級電力波動和其他結(jié)果。如以上關(guān)于非關(guān)鍵應(yīng)用620所述的，綠色應(yīng)用的示例可以是包括系統(tǒng)健康檢查、診斷、安全掃描、節(jié)點的校準(zhǔn)、存儲驅(qū)動的碎片整理、系統(tǒng)存儲器和存儲驅(qū)動器中的錯誤的掃描和校正等。非綠色應(yīng)用(例如由電力氣泡提示應(yīng)用實現(xiàn)的那些非綠色應(yīng)用)的示例可以是對未分配的節(jié)點(未分配的節(jié)點一般被斷電以節(jié)省能量)通電、運行諸如電力病毒的虛擬作業(yè)、要求作業(yè)管理器(或jppm502或604)不節(jié)能地運行作業(yè)等。如所提及的和圖6所描繪的，電力氣泡提示614、622可以在分別在系統(tǒng)級和節(jié)點級上操作。對于節(jié)點級，節(jié)點電力氣泡提示622可以在節(jié)點108處提供本地技術(shù)。在特定示例中，節(jié)點電力氣泡提示622可以是非綠色技術(shù)，因為節(jié)點可以響應(yīng)于電力氣泡提示活動而不產(chǎn)生有用的計算輸出。節(jié)點電力氣泡提示622還可以實施綠色動作。此外，還可以通過系統(tǒng)電力氣泡提示614在系統(tǒng)級上實施相同或相似的動作(綠色和非綠色)。

圖7展示了節(jié)點電力氣泡提示622如何可以用于有益地將節(jié)點108電力維持在帶內(nèi)。在一些實施例中，即使當(dāng)以毫秒計存在電力消耗變化時，所述機制也可以作出響應(yīng)。電力氣泡提示622可以由操作系統(tǒng)、或帶外機制或固件調(diào)用。在所示實施例中，帶外節(jié)點管理器616可以調(diào)用電力氣泡提示622。一般地，電力氣泡提示增大或降低電力以滿足對于電力斜坡和電力帶控制的要求。此外，可以在節(jié)點級或系統(tǒng)級實現(xiàn)電力氣泡提示。在圖7的具體示出的實施例中，電力氣泡提示在節(jié)點級實施并且增大電力以滿足電力帶。然而，電力氣泡提示實施方式可以是系統(tǒng)地或類似地適用于系統(tǒng)級或在系統(tǒng)級采用，而且還可以用于調(diào)整或控制電力斜坡，即電力變化速率(增大或減小)。

圖7是條形圖700，比較了在分布式計算系統(tǒng)106中的計算節(jié)點108上執(zhí)行的兩個示例計算作業(yè)702和704的或相同的計算作業(yè)在不同時間的電力消耗。節(jié)點108電力的期望范圍或帶是從最小電力708到最大電力710。第一計算作業(yè)702在期望帶內(nèi)執(zhí)行。相比之下，第二計算作業(yè)704在節(jié)點108的低于期望的最小電力708下執(zhí)行。然而，通過上述電力氣泡提示應(yīng)用622的實施，當(dāng)執(zhí)行第二作業(yè)704時，節(jié)點108的電力可以被增大到等于或高于如用附加電力706所示的最小電力708水平以達到期望電力帶內(nèi)。

總之，節(jié)點級電力氣泡提示622可以實施綠色和非綠色動作來管理電力帶和電力波動。綠色動作或方法可以包括運行節(jié)點校準(zhǔn)、診斷、存儲器或盤掃描以檢測和校正錯誤、病毒掃描等。非綠色動作可以包括禁用或關(guān)閉功能降低功能、運行消耗電力但不產(chǎn)生功輸出的虛擬程序(例如電力病毒)等。此外，實施給出圖7所描繪的節(jié)點級的結(jié)果的上述動作的功能氣泡提示也可以在系統(tǒng)級(參見圖6的系統(tǒng)功能氣泡提示614)上實施。

圖8是描繪根據(jù)本技術(shù)的多個實施例的可以有助于分布式計算系統(tǒng)的電力管理的有形非瞬態(tài)計算機可讀介質(zhì)的示例的框圖。計算機可讀介質(zhì)800可以由處理器802在計算機互連804上訪問。處理器802可以是一個或多個計算節(jié)點處理器(例如，110)、服務(wù)器處理器(例如，110、120)、或另一處理器。有形非瞬態(tài)計算機可讀介質(zhì)800可以包括用于指導(dǎo)處理器802執(zhí)行本文描述的技術(shù)的操作的可執(zhí)行指令或代碼。

本文中討論的不同軟件部件可以存儲在有形非瞬態(tài)計算機可讀介質(zhì)800上，如在圖8中所表明的。例如，電力管理/控制模塊806(可執(zhí)行代碼/指令)可以指導(dǎo)處理器802管理和控制分布式計算設(shè)設(shè)施的電力消耗和變化。實際上，模塊806可執(zhí)行指令或代碼可以包括fpm、資源管理器、sppm、jppm、nppm、系統(tǒng)電力氣泡提示、節(jié)點電力氣泡提示等。代碼或模塊806可以與圖1中的上述可執(zhí)行代碼116、124相似或相同。應(yīng)當(dāng)理解，根據(jù)應(yīng)用，圖8中未示出的任何數(shù)量的附加軟件組件可以被包括在有形非瞬態(tài)計算機可讀介質(zhì)800內(nèi)。

一些實施例可以在硬件、固件和軟件之一或其組合中被實現(xiàn)。一些實施例還可以實現(xiàn)為存儲在機器可讀介質(zhì)上的指令，這些指令可以由計算平臺讀取并執(zhí)行以便執(zhí)行在此描述的操作。機器可讀介質(zhì)可以包括用于以可由機器(例如，計算機)讀取的形式存儲或傳輸信息的任何機制。例如，機器可讀介質(zhì)可以包括只讀內(nèi)存(rom)；隨機存取內(nèi)存(ram)；磁盤存儲介質(zhì)；光存儲介質(zhì)；閃速存儲裝置；或者電氣、光學(xué)、聲學(xué)或其他形式的傳播信號(例如，載波、紅外信號、數(shù)字信號)、或傳輸和/或接收信號的接口、以及其他。

實施例是實施方式或示例。說明書中對“實施例”、“一個實施例”、“一些實施例”、“各種實施例”或“其他實施例”的引用意味著結(jié)合實施例描述的特定特征、構(gòu)造或特性包括在本技術(shù)的至少一些實施例中，但不必是全部實施例?！皩嵤├?、“一個實施例”或“一些實施例”的多處出現(xiàn)不必全部指代相同的實施例。來自一個實施例的元素或方面可與另一實施例的元素或方面組合。

并非在此描述和展示的所有組件、特征、構(gòu)造、特性等都需要包括在特定實施例或多個實施例中。例如，如果說明書陳述組件、特征、構(gòu)造或特性“可以”、“可能”、“可”或“能夠”被包括，則那個特定組件、特征、構(gòu)造或特性不要求被包括。如果說明書或權(quán)利要求書提及“一個(a)”或“一個(an)”要素，則那并非意味著僅存在一個要素。如果說明書或權(quán)利要求書提及“附加”要素，則那并不排除存在多于一個的附加要素。

應(yīng)注意的是，盡管已經(jīng)參考特定實施方式對一些實施例進行了描述，但根據(jù)一些實施例其他實施方式是可能的。另外，在附圖中展示和/或在此描述的電路元素或其他特征的安排和/或順序不需要以所展示和描述的特定方式安排。根據(jù)一些實施例，許多其他安排是可能的。

在圖中示出的每個系統(tǒng)中，一些情況中的元素可以各自都具有相同的參考號或不同的參考號以表明所表示的元素可以是不同和/或類似的。然而，元素可以足夠靈活到具有不同的實施方式并與在此示出或描述的系統(tǒng)的一些或全部一起工作。圖中示出的各種元素可以是相同的或不同的。哪個稱為第一元素和哪個稱為第二元素是任意的。

提供了多個示例。示例1是一種用于計算的設(shè)施，所述設(shè)施具有用于執(zhí)行計算作業(yè)的多個計算節(jié)點的系統(tǒng)。計算設(shè)施具有存儲代碼的存儲器，其中，所述代碼可由所述多個計算節(jié)點或處理器執(zhí)行以將所述設(shè)施的電力消耗管理到電力帶內(nèi)，并且其中，管理電力消耗包括通過電力氣泡提示來調(diào)整電力消耗。所述可執(zhí)行代碼包括所述電力氣泡提示。

示例2結(jié)合了如示例1所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗控制了所述電力消耗的速率。

示例3結(jié)合了如示例1-2的任一組合所述的主題。在所述示例中，所述計算包括分布式計算，并且所述作業(yè)包括分布式計算作業(yè)。進一步地，管理電力消耗包括在設(shè)施級、系統(tǒng)級和節(jié)點級上管理電力消耗，并且其中，所述電力帶包括從最小電力消耗到最大電力消耗的范圍。

示例4結(jié)合了如示例1-3的任一組合所述的主題。在所述示例中，所述電力氣泡提示是節(jié)點電力氣泡提示。

示例5結(jié)合了如示例1-4的任一組合所述的主題。在所述示例中，所述電力氣泡提示是系統(tǒng)電力氣泡提示。

示例6結(jié)合了如示例1-5的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括實施綠色技術(shù)。

示例7結(jié)合了如示例1-6的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的活動。

示例8結(jié)合了如示例1-7的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括實施非綠色技術(shù)。

示例9結(jié)合了如示例1-8的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動，所述活動消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例10結(jié)合了如示例1-9的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括運行診斷或執(zhí)行維護、或其組合。

示例11結(jié)合了如示例1-10的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括為未分配的斷電節(jié)點通電。

示例12結(jié)合了如示例1-11的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括運行電力熱效用的過程以增大計算節(jié)點的能量消耗。

示例13是一種用于計算的設(shè)施，所述設(shè)施具有計算節(jié)點系統(tǒng)，每個系統(tǒng)包括所述計算節(jié)點中的多個以執(zhí)行多項分布式計算作業(yè)。所述用于計算的設(shè)施包括存儲器，所述存儲器存儲用于管理所述設(shè)施處的電力消耗的可執(zhí)行代碼，其中，管理電力消耗包括通過發(fā)起用于調(diào)整所述電力消耗的活動來控制所述電力消耗在電力帶內(nèi)并控制所述設(shè)施的電力消耗的速率，所述活動不提供計算輸出。

示例14結(jié)合了如示例13所述的主題。在所述示例中，所述活動作用于計算節(jié)點系統(tǒng)或計算節(jié)點、或兩者，并且其中，所述設(shè)施包括云計算設(shè)施、分布式計算設(shè)施、高性能計算(hpc)設(shè)施、大數(shù)據(jù)分析設(shè)施、或其任何組合。

示例15結(jié)合了如示例13-14的任一組合所述的主題。在所述示例中，可執(zhí)行代碼包括用于發(fā)起所述活動的電力氣泡提示。

示例16是一種計算方法，所述計算方法包括在設(shè)施處的多個計算系統(tǒng)上執(zhí)行計算作業(yè)，其中，每個系統(tǒng)包括多個計算節(jié)點。所述方法包括通過處理器經(jīng)由電力氣泡提示將所述設(shè)施處的電力消耗管理到電力帶內(nèi)，包括實施綠色活動和非綠色活動。

示例17結(jié)合了如示例16所述的主題。在所述示例中，管理電力消耗包括控制電力消耗的速率。

示例18結(jié)合了如示例16-17的任一組合所述的主題。在所述示例中，所述電力氣泡提示位于節(jié)點級。

示例19結(jié)合了如示例16-18的任一組合所述的主題。在所述示例中，所述電力氣泡提示位于系統(tǒng)級。

示例20結(jié)合了如示例16-19的任一組合所述的主題。在所述示例中，通過電力氣泡提示來管理電力消耗包括實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的活動。

示例21結(jié)合了如示例16-20的任一組合所述的主題。在所述示例中，通過電力氣泡提示來管理電力消耗包括實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動，其中，所述活動被實施而消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例22結(jié)合了如示例16-21的任一組合所述的主題。在所述示例中，所述計算包括分布式計算，所述系統(tǒng)包括分布式計算系統(tǒng)，并且所述設(shè)施包括分布式計算設(shè)施。

示例23是一種非瞬態(tài)計算機可讀介質(zhì)，所述非瞬態(tài)計算機可讀介質(zhì)包括可由處理器執(zhí)行的指令，所述指令用于通過電力氣泡提示實施綠色技術(shù)和非綠色技術(shù)來將分布式計算設(shè)施處的電力消耗管理到電力帶內(nèi)，所述設(shè)施包括多個計算節(jié)點的系統(tǒng)，并且其中，管理電力消耗包括在設(shè)施級、系統(tǒng)級、以及計算節(jié)點級上控制電力消耗的速率。所述可執(zhí)行指令包括所述電力氣泡提示。

示例24結(jié)合了如示例23所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括實施所述設(shè)施處的計算節(jié)點系統(tǒng)上的活動以產(chǎn)生有用功但針對用戶不產(chǎn)生計算輸出，并且其中，所述電力帶包括從最小電力消耗到最大電力消耗的范圍。

示例25結(jié)合了如示例23和24的任一組合所述的主題。在所述示例中，通過電力氣泡提示來管理電力消耗包括發(fā)起所述設(shè)施處的計算節(jié)點系統(tǒng)上的活動而不產(chǎn)生有用功且不產(chǎn)生附加計算輸出，其中，所述活動被實施而消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例26是一種用于管理分布式計算設(shè)施處的電力消耗的設(shè)備，所述設(shè)備包括用于通過電力氣泡提示實施綠色技術(shù)和非綠色技術(shù)來將所述設(shè)施處的電力消耗管理到電力帶內(nèi)的裝置，所述設(shè)施包括多個計算節(jié)點的系統(tǒng)，并且其中，管理電力消耗包括在設(shè)施級、系統(tǒng)級、以及計算節(jié)點級上控制電力消耗的速率。

示例27結(jié)合了如示例26所述的主題。在所述示例中，用于通過電力氣泡提示來管理電力消耗的裝置包括用于實施所述設(shè)施處的計算節(jié)點系統(tǒng)上的活動以產(chǎn)生有用功但針對用戶不產(chǎn)生計算輸出的裝置，并且其中，所述電力帶包括從最小電力消耗到最大電力消耗的范圍。

示例28結(jié)合了如示例26-27的任一組合所述的主題。在所述示例中，用于通過電力氣泡提示來管理電力消耗的裝置包括用于發(fā)起所述設(shè)施處的計算節(jié)點系統(tǒng)上的活動而不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的裝置，其中，所述活動被實施而消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例29是一種用于計算的設(shè)施，所述設(shè)施具有用于執(zhí)行計算作業(yè)的多個計算節(jié)點的系統(tǒng)。所述計算設(shè)施具有存儲器，所述存儲器存儲用于將所述設(shè)施的電力消耗管理到電力帶內(nèi)的可執(zhí)行代碼，其中管理電力消耗包括控制電力消耗的速率，并且其中，管理電力消耗包括通過電力氣泡提示來調(diào)整電力消耗。

示例30結(jié)合了如示例29所述的主題。在所述示例中，所述計算包括分布式計算，并且所述作業(yè)包括分布式計算作業(yè)，其中，管理電力消耗包括在設(shè)施級、系統(tǒng)級和節(jié)點級上管理電力消耗，并且其中，所述電力帶包括從最小電力消耗到最大電力消耗的范圍。

示例31結(jié)合了如示例29和30的任一組合所述的主題。在所述示例中，所述電力氣泡提示包括節(jié)點電力氣泡提示。

示例32結(jié)合了如示例29-31的任一組合所述的主題。在所述示例中，所述電力氣泡提示包括系統(tǒng)電力氣泡提示。

示例33結(jié)合了如示例29-32的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括實施綠色技術(shù)，所述綠色技術(shù)包括實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的活動。

示例34結(jié)合了如示例29-33的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括實施非綠色技術(shù)，所述非綠色技術(shù)包括實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動，所述活動消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例35結(jié)合了如示例29-34的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括運行診斷或執(zhí)行維護、或其組合。

示例36結(jié)合了如示例29-35的任一組合所述的主題。在所述示例中，通過電力氣泡提示來調(diào)整電力消耗包括運行電力熱效用的過程以增大計算節(jié)點的能量消耗。

示例37是一種計算方法，所述計算方法包括在設(shè)施處的多個計算系統(tǒng)上執(zhí)行計算作業(yè)，其中，每個系統(tǒng)包括多個計算節(jié)點。所述方法包括通過電力氣泡提示管理所述設(shè)施處的電力消耗管理以控制電力消耗的速率并且將電力控制在電力帶內(nèi)，所述電力氣泡提示實施綠色活動和非綠色活動。

示例38結(jié)合了如示例37所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的活動。

示例39結(jié)合了如示例37和38的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動，其中，所述活動被實施而消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例40結(jié)合了如示例37-39的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括為未分配的斷電節(jié)點通電。

示例41是一種非瞬態(tài)計算機可讀介質(zhì)，所述非瞬態(tài)計算機可讀介質(zhì)包括可由處理器執(zhí)行的指令(包括電力氣泡提示)，所述指令用于管理設(shè)施的電力消耗以控制所述設(shè)施的電力消耗的速率并且將所述設(shè)施的電力消耗控制在電力帶內(nèi)，所述電力氣泡提示實施綠色活動和非綠色活動，并且其中，所述設(shè)施包括分布式計算設(shè)施。

示例42結(jié)合了如示例41所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的活動。

示例43結(jié)合了如示例41-42的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動，其中，所述活動被實施而消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例44結(jié)合了如示例41-43的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括為未分配的斷電節(jié)點通電。

示例45結(jié)合了如示例41-44的任一組合所述的主題。在所述示例中，所述電力氣泡提示被配置為用于節(jié)點級。

示例46結(jié)合了如示例41-45的任一組合所述的主題。在所述示例中，所述電力氣泡提示被配置為用于系統(tǒng)級。

示例47結(jié)合了如示例41-46的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動。

示例48結(jié)合了如示例41-47的任一組合所述的主題。在所述示例中，所述分布式計算設(shè)施包括包含多個計算節(jié)點的高性能計算(hpc)設(shè)施。

示例49結(jié)合了如示例41-48的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來管理電力消耗包括實施綠色技術(shù)。

示例50結(jié)合了如示例41-49的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括實施非綠色技術(shù)。

示例51是一種用于計算的設(shè)施，所述設(shè)施具有：多個計算節(jié)點的系統(tǒng)，所述多個計算節(jié)點的系統(tǒng)被配置為用于執(zhí)行計算作業(yè)；以及存儲器，所述存儲器存儲可由所述多個計算節(jié)點或由處理器執(zhí)行以將所述設(shè)施的電力消耗管理到電力帶內(nèi)的代碼。

示例52結(jié)合了如示例51所述的主題。在所述示例中，所述計算包括分布式計算，并且所述作業(yè)包括分布式計算作業(yè)，其中，管理電力消耗包括：在設(shè)施級、系統(tǒng)級和節(jié)點級上管理電力消耗；以及利用本地能量存儲或本地能量產(chǎn)生、或兩者。

示例53結(jié)合了如示例51-52的任一組合所述的主題。在所述示例中，所述代碼包括電力氣泡提示，并且其中，管理所述電力消耗包括通過所述電力氣泡提示來調(diào)整所述電力消耗。

示例54結(jié)合了如示例51-53的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗控制了所述電力消耗的速率。

示例55結(jié)合了如示例51-54的任一組合所述的主題。在所述示例中，所述電力氣泡提示包括節(jié)點電力氣泡提示。

示例56結(jié)合了如示例51-54的任一組合所述的主題。在所述示例中，所述電力氣泡提示包括系統(tǒng)電力氣泡提示。

示例57結(jié)合了如示例51-56的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括實施綠色技術(shù)。

示例58結(jié)合了如示例51-57的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的活動。

示例59結(jié)合了如示例51-58的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括實施非綠色技術(shù)。

示例60結(jié)合了如示例51-59的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動，所述活動消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例61結(jié)合了如示例51-60的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括運行診斷或執(zhí)行維護、或其組合。

示例62結(jié)合了如示例51-61的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括為未分配的斷電節(jié)點通電。

示例63結(jié)合了如示例51-62的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來調(diào)整電力消耗包括運行電力熱效用的過程以增大計算節(jié)點的能量消耗。

示例64結(jié)合了如示例51-63的任一組合所述的主題。在所述示例中，管理所述電力消耗包括控制所述電力消耗的速率。

示例65結(jié)合了如示例51-64的任一組合所述的主題。在所述示例中，控制電力消耗的速率包括調(diào)整所述計算節(jié)點的操作頻率以影響電力定序，以便減少由作業(yè)開始引起的初始電力消耗。

示例66結(jié)合了如示例51-65的任一組合所述的主題。在所述示例中，管理電力消耗包括利用本地能量存儲。

示例67結(jié)合了如示例51-66的任一組合所述的主題。在所述示例中，管理電力消耗包括利用本地能量產(chǎn)生。

示例68是一種計算方法，所述計算方法包括在設(shè)施處的多個計算系統(tǒng)上執(zhí)行計算作業(yè)，其中，每個系統(tǒng)具有多個計算節(jié)點。所述方法包括：通過處理器將所述設(shè)施的電力消耗管理到電力帶內(nèi)并且控制電力消耗的速率。

示例69結(jié)合了如示例68所述的主題。在所述示例中，管理電力消耗包括通過電力氣泡提示控制電力消耗。

示例70結(jié)合了如示例69所述的主題。在所述示例中，所述電力氣泡提示處于系統(tǒng)級或節(jié)點級、或兩者，并且通過所述電力氣泡提示管理所述電力消耗包括實施綠色活動，所述綠色活動產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出。

示例71結(jié)合了如示例69和70的任一組合所述的主題。在所述示例中，通過所述電力氣泡提示來管理所述電力消耗包括在多個計算節(jié)點的系統(tǒng)上實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的活動，其中，所述活動被實施而消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例72結(jié)合了如示例68-71的任一組合所述的主題。在所述示例中，管理電力消耗包括在設(shè)施級、系統(tǒng)級、作業(yè)級、以及計算節(jié)點級上控制電力消耗的速率。

示例73結(jié)合了如示例68-71的任一組合所述的主題。在所述示例中，管理電力消耗包括控制作業(yè)級的電力消耗的速率。

示例74結(jié)合了如示例68-73的任一組合所述的主題。在所述示例中，所述系統(tǒng)包括高性能計算(hpc)系統(tǒng)。

示例75結(jié)合了如示例68-74的任一組合所述的主題。在所述示例中，所述電力氣泡提示位于系統(tǒng)級或節(jié)點級、或兩者。

示例76是一種用于計算的設(shè)施，所述設(shè)施包括：多個計算節(jié)點的系統(tǒng)，所述多個計算節(jié)點的系統(tǒng)被配置為用于執(zhí)行多項分布式計算作業(yè)；以及存儲器，所述存儲器存儲可由所述多個計算節(jié)點或由處理器執(zhí)行以將所述設(shè)施的電力消耗管理到電力帶內(nèi)并且控制所述電力消耗的速率的代碼。

示例77結(jié)合了如示例76所述的主題。在所述示例中，管理電力消耗包括：在設(shè)施級、系統(tǒng)級和節(jié)點級上管理電力消耗；以及利用本地電力存儲或本地發(fā)電、或兩者。

示例78結(jié)合了如示例76-77的任一組合所述的主題。在所述示例中，所述代碼包括電力氣泡提示，并且其中，管理電力消耗包括通過所述電力氣泡提示來調(diào)整電力消耗，實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的綠色技術(shù)。

示例79結(jié)合了如示例76-78的任一組合所述的主題。在所述示例中，所述代碼包括電力氣泡提示，并且其中，管理電力消耗包括通過所述電力氣泡提示來調(diào)整電力消耗，實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的非綠色活動，所述非綠色活動用于消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的最小極限。

示例80結(jié)合了如示例76-79的任一組合所述的主題。在所述示例中，所述非綠色活動包括為未分配的斷電節(jié)點通電。

示例81結(jié)合了如示例76-80的任一組合所述的主題。在所述示例中，管理電力消耗包括通過電力熱效用來調(diào)整電力消耗以增大計算節(jié)點的能量消耗。

示例82結(jié)合了如示例76-81的任一組合所述的主題。在所述示例中，控制電力消耗的速率包括調(diào)整所述計算節(jié)點的操作頻率以影響電力定序，以便減少由分布式計算作業(yè)開始引起的初始電力消耗。

示例83是一種非瞬態(tài)計算機可讀介質(zhì)，所述非瞬態(tài)計算機可讀介質(zhì)包括可由處理器執(zhí)行的指令，所述指令用于將設(shè)施的電力消耗管理到電力帶內(nèi)并且控制所述設(shè)施的電力消耗的速率，所述設(shè)施具有多個分布式計算系統(tǒng)，所述分布式計算系統(tǒng)具有多個計算節(jié)點。

示例84結(jié)合了如示例83所述的主題。在所述示例中，管理電力消耗包括在設(shè)施級、系統(tǒng)級和計算節(jié)點級上管理電力消耗，并且其中，所述電力帶包括從指定最小電力消耗到指定最大電力消耗的范圍。

示例85結(jié)合了如示例83-84的任一組合所述的主題。在所述示例中，由所述處理器執(zhí)行的所述指令包括電力氣泡提示，并且其中，管理電力消耗包括通過所述電力氣泡提示來調(diào)整電力消耗，實施產(chǎn)生有用功但針對客戶端不產(chǎn)生計算輸出的綠色活動。

示例86結(jié)合了如示例83-85的任一組合所述的主題。在所述示例中，由所述處理器執(zhí)行的所述指令包括電力氣泡提示，并且其中，管理電力消耗包括通過所述電力氣泡提示來調(diào)整電力消耗，實施不產(chǎn)生有用功且不產(chǎn)生附加計算輸出的非綠色活動，其中，所述活動被實施而消耗能量以將所述設(shè)施處的所述電力消耗維持為高于所述電力帶的指定最小極限。

應(yīng)理解的是，前述示例中的細節(jié)可以用在一個或多個實施例中的任何地方。例如，以上描述的計算裝置的所有可選特征還可以關(guān)于在此描述的方法或計算機可讀介質(zhì)中的任何一個來實現(xiàn)。而且，盡管在此可能使用了流程圖和/或狀態(tài)圖來描述實施例，但本技術(shù)不限于那些圖或在此的相應(yīng)描述。例如，流程不需要移動通過每個展示的框或狀態(tài)或者按與在此展示和描述的完全相同的順序。

本技術(shù)不限于在此列出的特定細節(jié)。實際上，受益于此公開的本領(lǐng)域技術(shù)人員將理解，許多來自前述描述和附圖的其他變型可以在本技術(shù)的范圍內(nèi)進行。從而，是包括其任何修改的以下權(quán)利要求書定義了本技術(shù)的范圍。