虛擬化系統(tǒng)的實(shí)時(shí)遷移的制作方法
【專利摘要】用于支持虛擬化的系統(tǒng)遷移和縮放的方法、設(shè)備，軟件，以及系統(tǒng)體系結(jié)構(gòu)。根據(jù)方法的各方面，由多個(gè)數(shù)據(jù)中心中的每一個(gè)的多個(gè)代理在多個(gè)級別自動地收集和聚集數(shù)據(jù)。數(shù)據(jù)包括與虛擬機(jī)利用率有關(guān)的數(shù)據(jù)、與電利用成本有關(guān)的數(shù)據(jù)、與數(shù)據(jù)中心利用率有關(guān)的數(shù)據(jù)，以及與觸發(fā)器事件有關(guān)的數(shù)據(jù)。處理數(shù)據(jù)，以判斷是否將虛擬服務(wù)器從第一數(shù)據(jù)中心遷移到第二數(shù)據(jù)中心。軟件體系結(jié)構(gòu)包括多個(gè)模塊，包括控制器、數(shù)據(jù)中心簡檔、轉(zhuǎn)變觸發(fā)器、電力成本簡檔以及虛擬機(jī)封裝模塊。在代理層次結(jié)構(gòu)中實(shí)現(xiàn)代理，并被配置成收集數(shù)據(jù)本身和/或聚集來自其他代理的數(shù)據(jù)，并提供API以促進(jìn)對收集到的數(shù)據(jù)和代理服務(wù)的訪問。
【專利說明】虛擬化系統(tǒng)的實(shí)時(shí)遷移
[0001] 背景信息
[0002] 自從引入微處理器以來，計(jì)算機(jī)系統(tǒng)已變得越來越快。近似根據(jù)摩爾定律（基于 Intel?公司共同創(chuàng)設(shè)者戈登摩爾在1965年預(yù)測集成電路上晶體管數(shù)目每兩年翻一倍的出 版物），增速已經(jīng)以相當(dāng)均勻的速率急速上升了近三十年。同時(shí)，存儲器和非易失性存儲兩 者的尺寸已穩(wěn)步增加，從而使得許多當(dāng)今的個(gè)人計(jì)算機(jī)相比僅10-15年以前的超級計(jì)算機(jī) 更加強(qiáng)大。另外，網(wǎng)絡(luò)通信速度同樣也可見巨大增加。
[0003] 處理器速度、存儲器、存儲以及網(wǎng)絡(luò)帶寬技術(shù)的增長造成了對于具有日益增長的 能力的網(wǎng)絡(luò)的擴(kuò)建和部署。最近，基于云的服務(wù)的引入，如Amazon(例如，亞馬遜彈性計(jì)算 云（EC2)以及簡單存儲服務(wù)（S3))和微軟（例如，Azure和0ffice365)所提供的那些服務(wù)， 已經(jīng)造成了對于公共網(wǎng)絡(luò)基礎(chǔ)設(shè)施的附加網(wǎng)絡(luò)擴(kuò)建，并造成了對大容量數(shù)據(jù)中心的增加部 署以支持使用私有網(wǎng)絡(luò)基礎(chǔ)設(shè)施的這些服務(wù)。
[0004] 基于云的服務(wù)通常通過大量的互連的高速服務(wù)器來促進(jìn)，主機(jī)設(shè)施通常被稱為服 務(wù)器"場"或數(shù)據(jù)中心。這些服務(wù)器場和數(shù)據(jù)中心通常包括封裝在專門地設(shè)計(jì)的設(shè)施內(nèi)的機(jī) 架和/或刀片式服務(wù)器的大到巨大的陣列。許多較大的基于云的服務(wù)都通過跨地理區(qū)域， 或者甚至全球地分布的多個(gè)數(shù)據(jù)中心來主存。例如，MicrosoftAzure在美國、歐洲，以及 亞洲中的每一個(gè)都多個(gè)非常大的數(shù)據(jù)中心。Amazon使用用于主存其EC2和AWS服務(wù)的位 于一起的和單獨(dú)的數(shù)據(jù)中心，包括僅在美國的超過一打的AWS數(shù)據(jù)中心。通常，跨在地理位 置上分散的數(shù)據(jù)中心復(fù)制數(shù)據(jù)，以在數(shù)據(jù)中心的全部或一部分由于電源故障/可用性事件 (例如，斷電和電壓下降），天氣事件及其他自然災(zāi)害，網(wǎng)絡(luò)可用性問題（例如，大容量光纜 被割或以別的方式不可用），以及其他原因而發(fā)生故障的情況下，確保完全服務(wù)可用性。
[0005] 功率消耗和冷卻考慮因素非常重要。較快的處理器一般消耗更多功率，且當(dāng)這樣 的處理器非?？拷匮b配在高密度服務(wù)器部署中時(shí)，由于冷卻要求，總體性能常常受限。不 僅服務(wù)器中的處理器及其他組件消耗難以置信的電量，為冷卻，也消耗相當(dāng)大的額外的電 能級別。結(jié)果，數(shù)據(jù)中心的最大的操作成本之一是電能。盡管以較低的電能消耗的硅、更 好的冷卻管理，以及智能電源的形式作出許多改善，但是，對于降低能源成本，硬件供應(yīng)商 很快碰壁。因此，許多數(shù)據(jù)中心位于電價(jià)低的地區(qū)。一個(gè)主要示例是華盛頓州昆西，其位 于多個(gè)大壩附近并具有世界上最低的電價(jià)之一。多個(gè)非常大的數(shù)據(jù)中心位于昆西，包括 Microsoft(世界上第九大）、Yahoo、Dell、Intuit,Sabey,以及Vantage的數(shù)據(jù)中心。
[0006] 盡管電力公司的電價(jià)是用于確定一些數(shù)據(jù)中心的位置的驅(qū)動因素，但是，數(shù)據(jù)中 心的位置也可以取決于多個(gè)額外因素。例如，這樣的因素可以包括到居民中心的位置，數(shù)據(jù) 傳輸帶寬的可用性，以及速率，能源供應(yīng)可靠性，稅收考慮因素，諸如房地產(chǎn)以及銷售稅折 扣和/或沖銷，建筑物造價(jià)，天氣考慮，環(huán)境考慮，及其他。

【專利附圖】

【附圖說明】
[0007] 通過參考與附圖一起進(jìn)行的下面的詳細(xì)描述，本發(fā)明的前述的方面和許多伴隨的 優(yōu)點(diǎn)，將變得更加輕松地被理解，其中，在各個(gè)視圖中，相同參考編號表示相同部件，除非另 作說明：
[0008] 圖1是示出了用于生成數(shù)據(jù)中心簡檔的示例性參數(shù)組的表；
[0009] 圖2是示出了用于生成電力成本簡檔的示例性參數(shù)組的表；
[0010] 圖3是示出了轉(zhuǎn)變觸發(fā)條件以及事件的示例性列表的表；
[0011] 圖4是示出了用于生成虛擬機(jī)封裝的示例性參數(shù)組的表；
[0012] 圖5是示出了根據(jù)一實(shí)施例的用于促進(jìn)虛擬化系統(tǒng)的遷移和縮放的高級軟件體 系結(jié)構(gòu)的框圖；
[0013] 圖6是根據(jù)一實(shí)施例的示出了由控制器執(zhí)行的各種操作以及邏輯的組合方框示 意圖、流程圖，以及狀態(tài)機(jī)圖不；
[0014] 圖7是示出根據(jù)一實(shí)施例的用于促進(jìn)虛擬化系統(tǒng)的遷移和縮放的分布式軟件實(shí) 現(xiàn)的圖示；
[0015] 圖8是示出了根據(jù)一實(shí)施例的用于實(shí)現(xiàn)VM、VMM以及服務(wù)器代理的各種軟件組件 的示意框圖；
[0016] 圖9是示出了根據(jù)一實(shí)施例的用于實(shí)現(xiàn)與數(shù)據(jù)中心簡檔模塊和虛擬機(jī)封裝模塊 相關(guān)聯(lián)的操作的分布式代理層次結(jié)構(gòu)的實(shí)現(xiàn)的示意框圖；
[0017] 圖10是示出了兩個(gè)示例性虛擬服務(wù)器遷移的示意圖；
[0018] 圖11是示出了根據(jù)此處所公開的各實(shí)施例的用于實(shí)現(xiàn)控制器的各方面的各種引 擎和軟件組件的框圖；以及
[0019] 圖12示出了根據(jù)一實(shí)施例的流程圖1200,示出了實(shí)現(xiàn)數(shù)據(jù)中心服務(wù)縮放的操作 以及邏輯。

【具體實(shí)施方式】
[0020] 此處描述了用于促進(jìn)虛擬化系統(tǒng)的實(shí)時(shí)遷移和動態(tài)縮放的方法和設(shè)備的實(shí)施例。 在以下描述中，闡述了許多具體細(xì)節(jié)以提供對本發(fā)明的實(shí)施例的透徹理解。然而，相關(guān)領(lǐng)域 內(nèi)技術(shù)人員將理解本發(fā)明可省去一個(gè)或多個(gè)特定細(xì)節(jié)而實(shí)現(xiàn)，或通過其它方法、組件、材料 等實(shí)現(xiàn)。在其它例子中，公知的結(jié)構(gòu)、材料或操作不被示出或詳細(xì)說明以避免對本發(fā)明某些 方面產(chǎn)生混淆。
[0021] 貫穿本說明書，對"一個(gè)實(shí)施例"或"一實(shí)施例"的引用意味著結(jié)合該實(shí)施例描述 的特定特征、結(jié)構(gòu)或特性被包括在本發(fā)明的至少一個(gè)實(shí)施例中。因此，在整個(gè)說明書的多個(gè) 位置出現(xiàn)短語"在一個(gè)實(shí)施例中"或"在實(shí)施例中"不一定指的是同一實(shí)施例。此外，在一 個(gè)或多個(gè)實(shí)施例中，特定特征、結(jié)構(gòu)或特性可以以任何合適的方式組合起來。
[0022] 當(dāng)今的機(jī)架和刀片式服務(wù)器體系結(jié)構(gòu)中有許多使用多個(gè)多核處理器和/或使用 "微"服務(wù)器。這些體系結(jié)構(gòu)提供較高的性能密度，以及其他優(yōu)點(diǎn)，諸如內(nèi)建冗余度和可縮放 性。通過使用虛擬機(jī)，獲得額外的可縮放性，虛擬機(jī)允許單一物理服務(wù)器作為多個(gè)虛擬服務(wù) 器來操作。由于服務(wù)器場和數(shù)據(jù)中心工作負(fù)荷可能變化劇烈，因此，僅使必要數(shù)量的服務(wù)器 保持活動是有利的，由此，降低功率消耗。然而，并不是簡單地按需打開和關(guān)閉服務(wù)器那么 簡單。當(dāng)使用采用了多個(gè)處理器的服務(wù)器時(shí)降低功率消耗的一種方式是將處理器中的一個(gè) 或多個(gè)置于非常低的功率的空閑狀態(tài)。根據(jù)典型的虛擬機(jī)和/或操作系統(tǒng)考慮因素，將多 處理器服務(wù)器中的一個(gè)處理器置于空閑狀態(tài)需要各處理器之間的協(xié)調(diào)，以便在服務(wù)器上運(yùn) 行的應(yīng)用程序保持操作。
[0023] 與使用虛擬化環(huán)境相結(jié)合地使用在地理位置上分散的數(shù)據(jù)中心向數(shù)據(jù)中心運(yùn)營 商提供了額外的靈活性。從使用云托管的服務(wù)的消費(fèi)者角度來看，無論數(shù)據(jù)服務(wù)器位于1〇〇 英里以外、500英里以外、還是甚至數(shù)千英里以外，沒有區(qū)別。同時(shí)，有許多可能會影響與從 給定數(shù)據(jù)中心主存基于云的服務(wù)相關(guān)聯(lián)的成本和性能的參數(shù)，包括電力成本（固定價(jià)格、 基于負(fù)荷的價(jià)格、每小時(shí)的，等等），可用的功率容量、服務(wù)器能力、存儲容量和位置、地理位 置、網(wǎng)絡(luò)成本等等。
[0024] 許多數(shù)據(jù)中心現(xiàn)在使用虛擬化環(huán)境來操作，在這些環(huán)境下，物理服務(wù)器被配置成 主存多個(gè)虛擬機(jī)，每一虛擬機(jī)都作為虛擬服務(wù)器實(shí)例來操作。使用虛擬服務(wù)器不僅增強(qiáng)可 縮放性，與非虛擬化環(huán)境相比，它通常每個(gè)服務(wù)器地降低成本。虛擬化環(huán)境還提供比可比較 的物理服務(wù)器實(shí)現(xiàn)更大的靈活性，不僅允許很快地?cái)U(kuò)大或減少給定數(shù)據(jù)中心中的服務(wù)的能 力，而且允許管理員輕松地在各數(shù)據(jù)中心之間移動虛擬系統(tǒng)。如此處所使用的，將虛擬服 務(wù)器實(shí)例從一個(gè)數(shù)據(jù)中心移動到另一數(shù)據(jù)中心被稱為服務(wù)器"遷移"。根據(jù)當(dāng)前的方法，數(shù) 據(jù)中心管理員一般在考慮被管理員觀察到的一個(gè)或多個(gè)參數(shù)的情況下，或通過預(yù)定的日程 表，人工地啟動（觸發(fā)）服務(wù)器遷移。此方法效率相當(dāng)?shù)?，并費(fèi)力。
[0025] 根據(jù)此處所公開的本發(fā)明的各實(shí)施例，提供了用于基于許多不同的因素和/或觸 發(fā)器，自動化虛擬化環(huán)境的遷移和縮放的技術(shù)。一方面，實(shí)現(xiàn)與代理和應(yīng)用程序接口（API) 相結(jié)合的"控制器"體系結(jié)構(gòu)，該體系結(jié)構(gòu)收集與各種操作參數(shù)和觸發(fā)條件有關(guān)的輸入，并 響應(yīng)于檢測到應(yīng)用條件和/或觸發(fā)器，啟動各數(shù)據(jù)中心之間的服務(wù)器遷移。此外，控制器/ 代理/API體系結(jié)構(gòu)被構(gòu)建為支持遷移判斷中的不同級別的粒度，并跨多個(gè)級別的數(shù)據(jù)中 心層次結(jié)構(gòu)，分布數(shù)據(jù)收集和決策工作負(fù)荷。
[0026] 圖1示出了根據(jù)一實(shí)施例的對應(yīng)于包含用于確定可以觸發(fā)虛擬服務(wù)器遷移的條 件的參數(shù)的示例性列表的DC簡檔的表100。最大容量表示數(shù)據(jù)中心可以使用的和/或一個(gè) 或多個(gè)電力公司所提供的最高能級。這一般可以是固定值，或可以是考慮到動態(tài)電網(wǎng)負(fù)荷 狀態(tài)，是可變的。例如，在夏季，支持較大的人口的電網(wǎng)可能會遇到較高級別的消耗和/或 可能具有降低的容量。考慮到這樣的情況，可以節(jié)制對數(shù)據(jù)中心可用的最大能量。
[0027] 當(dāng)前容量表示以瓦特或其倍數(shù)（例如，以千瓦或兆瓦度量）度量的當(dāng)前能源消耗 級別。平均瓦特可用性表示數(shù)據(jù)中心消耗的平均瓦特?cái)?shù)級別。
[0028] 可用的單元的數(shù)量是指可用的物理服務(wù)器實(shí)例的數(shù)量和/或虛擬服務(wù)器主機(jī)單 元實(shí)例的數(shù)量。例如，單元可以包括與選擇的存儲器量相結(jié)合的處理器。典型的物理服務(wù) 器可以包括帶有多個(gè)核的處理器和一定量的系統(tǒng)存儲器。每一個(gè)核（或邏輯核）主存單獨(dú) 的虛擬服務(wù)器實(shí)例是常見的，服務(wù)器的整個(gè)系統(tǒng)存儲器在由物理服務(wù)器主存的各虛擬服務(wù) 器實(shí)例之間分配（一些系統(tǒng)存儲器為服務(wù)器的操作系統(tǒng)和虛擬機(jī)管理器（VMM)或系統(tǒng)管理 程序預(yù)留）。例如，使用英特爾的Hyperthreading?體系結(jié)構(gòu)的4核處理器具有八個(gè)邏輯 核，如此，可以被配置成主存八個(gè)虛擬服務(wù)器實(shí)例。如果服務(wù)器具有16Gb的存儲器，則每一 虛擬服務(wù)器都可以被分配I. 8Gb，I. 6Gb的剩余存儲器為操作系統(tǒng)和VMM/系統(tǒng)管理程序預(yù) 留。值得注意的是，存儲器的均勻分配只是示例性的，因?yàn)榭梢越o一些虛擬機(jī)比在同一個(gè)物 理主機(jī)上運(yùn)行的其他分配更多存儲器和/或處理器資源。
[0029] 可用的存儲容量表示可以供數(shù)據(jù)中心服務(wù)器使用的存儲器量。取決于特定實(shí)現(xiàn)， 這可以僅限于本地存儲器容量，即，在數(shù)據(jù)中心內(nèi)或附近的存儲設(shè)施，和/或本地和遠(yuǎn)程存 儲設(shè)施的組合的容量。
[0030] 電力成本簡檔一般被確定為多個(gè)參數(shù)的函數(shù)，并參考圖2中的電力成本簡檔表 200更詳細(xì)地討論?？稍偕茉词褂冒俜直仁峭ㄟ^一個(gè)或多個(gè)可再生能源供應(yīng)的由數(shù)據(jù)中 心消耗的電能的百分比。例如，由水力發(fā)電、風(fēng)場、太陽能以及地?zé)崮芩峁┑哪芰靠梢员?視為可再生能源。取決于適用的規(guī)定/定義，諸如生物物質(zhì)之類的能源也可以屬于可再生 能源范疇。一般而言，對使用可再生能源相對于化石燃料資源（諸如通過燃燒煤炭或天然 氣），可以有本地，州，和/或聯(lián)邦財(cái)政獎(jiǎng)勵(lì)。如果C02級別是一考慮因素，則也可以權(quán)衡諸 如核電之類的能源。
[0031] 數(shù)據(jù)中心位置對應(yīng)于數(shù)據(jù)中心的地理位置?？梢酝ㄟ^與地理位置有關(guān)的其他參 數(shù)，諸如動亂、天氣、災(zāi)難、電能穩(wěn)定性、數(shù)據(jù)安全性、用戶體驗(yàn)，及上文所討論的其他因素， 計(jì)算此參數(shù)。此外，根據(jù)合同協(xié)議或法律要求，可能限制一些軟件在某些國家或區(qū)域運(yùn)行。 地理參數(shù)將確保這些要求被滿足。
[0032] 圖2示出了電力成本表200,示出了可以用于計(jì)算DC簡檔表100中所使用的電力 成本簡檔參數(shù)的示例性參數(shù)列表。近年來，電力公司從（一般）固定價(jià)格模式轉(zhuǎn)向動態(tài)定 價(jià)模式。通常，電能成本基于每千瓦小時(shí)價(jià)格。根據(jù)動態(tài)定價(jià)模式，此價(jià)格可能隨著多個(gè)因 素而變化。例如，在美國的許多地方的解除管制的能源市場中，各種電能供應(yīng)商向市場的獨(dú) 立服務(wù)運(yùn)營商（ISO)輸入供應(yīng)出價(jià)曲線，這導(dǎo)致周期性地，諸如每小時(shí)或每一刻鐘，計(jì)算的 市場價(jià)格。除輸入的出價(jià)之外，還有使用傳輸擁擠模型確定的傳輸成本；由于每一段輸電線 路都具有固定容量，當(dāng)使用附接到電網(wǎng)中的不同的點(diǎn)的多個(gè)發(fā)電單元時(shí)，還需要確定輸電 線路，以便沒有一個(gè)輸電段過載。凈結(jié)果是，電力公司購買電能的成本可能在不同的條件下 變化。
[0033] 盡管電力公司的購買電能的成本可能在一天當(dāng)中有變化，但是，電力公司通常使 用較小的粒度來對他們的消費(fèi)者進(jìn)行收費(fèi)。例如，可能基于給定出帳周期內(nèi)消耗的能量，按 不同的價(jià)格對單個(gè)房主進(jìn)行收費(fèi)，或可任選地，單個(gè)房主可以選擇基于時(shí)間的記帳，在不同 的時(shí)間段，采用不同的預(yù)先確定的價(jià)格進(jìn)行收費(fèi)。由于數(shù)據(jù)中心消耗非常大的電能量，因 此，他們常常與給他們供應(yīng)電力的電力公司簽訂特殊的合同。根據(jù)某些合同，可以對于不同 的利用率閾值，采取不同的價(jià)格。例如，為了得到有利的價(jià)格，數(shù)據(jù)中心可能需要使用某種 最小電能閾值；如果這不滿足，則按較高的電價(jià)收費(fèi)。還可以有電能成本提高的最大閾值。 電力成本簡檔表200中的頭兩個(gè)參數(shù)對應(yīng)于這些最小和最大使用率閾值。
[0034] 現(xiàn)在和將來的每千瓦小時(shí)成本對應(yīng)于涉及可變的能源成本日程表的當(dāng)前能源成 本和未來能源成本。能源成本日程表可以基于預(yù)定義的價(jià)格日程表，或可以根據(jù)位于解除 管制的能源市場的數(shù)據(jù)中心的歷史價(jià)格來確定。例如，取決于對于給定時(shí)刻，對于哪一個(gè)數(shù) 據(jù)中心采用什么價(jià)格進(jìn)行收費(fèi)，在位于不同的時(shí)區(qū)的數(shù)據(jù)中心之間遷移服務(wù)器是有利的。 由于大多數(shù)非數(shù)據(jù)中心能源消耗一般遵循業(yè)務(wù)經(jīng)營日程表（例如，一般在工作時(shí)間，諸如 對于給定時(shí)區(qū)，8AM-6PM，產(chǎn)生較高的電能使用），因此，某些電力公司在這些時(shí)間內(nèi)采取較 高的價(jià)格。在夏天，由于冷卻目的消耗的額外的電能，加重了這種情況，因?yàn)樵诠ぷ鲿r(shí)間比 晚上和夜間更熱。對于給定時(shí)區(qū)，在一天的收取較高價(jià)格的時(shí)間段，從位于該時(shí)區(qū)的數(shù)據(jù)中 心遷移走服務(wù)器有利的。
[0035] 本地發(fā)電級別對應(yīng)于由數(shù)據(jù)中心利用的現(xiàn)場或本地電源，諸如，但不僅限于風(fēng)輪 機(jī)、太陽能電池板、燃?xì)鉁u輪機(jī)、柴油發(fā)電機(jī)等等。盡管來源于現(xiàn)場或本地風(fēng)輪機(jī)和太陽能 電池板的電能非常低，但是，數(shù)據(jù)中心一般具有燃?xì)鉁u輪發(fā)電機(jī)和/或柴油發(fā)電機(jī)，用于在 電網(wǎng)的電能不可用的情況下作為備份。在某些情況下，使用本地燃?xì)鉁u輪機(jī)發(fā)電機(jī)可以在 峰值價(jià)格時(shí)間段比從電網(wǎng)購買電力更經(jīng)濟(jì)合算。
[0036] 可用的可再生能源級別對應(yīng)于可用的可再生能源的級別。如上文所討論的，如果 滿足某些可再生能源級別的使用級別，則可以有有利的價(jià)格降低和/或折扣，一般而言，取 決于數(shù)據(jù)中心的位置（例如，某些州將為使用可再生能源，比其他州提供更好的交易）。另 夕卜，聯(lián)邦政府還可以為使用可再生能源提供折扣、稅收刺激，或其他刺激。
[0037] 現(xiàn)場/本地能量存儲對應(yīng)于在現(xiàn)場或現(xiàn)場附近可用的能量存儲。例如，當(dāng)前正在 開發(fā)用于存儲可以在稍晚的時(shí)間點(diǎn)使用的能量的各種技術(shù)。當(dāng)前，用于存儲電力的最常見 的技術(shù)使用基于電池的單元，但是，在諸如華盛頓和俄勒R州之類的地區(qū)，可以將大量的水 存儲在水位高的水庫中，在低需求時(shí)間段，可以使用多余電力來將水抽到水庫中。來自水庫 的水可以稍后釋放并穿過渦輪發(fā)電機(jī)以發(fā)電。
[0038] 根據(jù)一些實(shí)施例，實(shí)現(xiàn)集中式控制器，作為觸發(fā)各數(shù)據(jù)中心之間的服務(wù)器遷移的 自動化系統(tǒng)的一部分。在頂層，控制器具有兩個(gè)基本作業(yè)功能：決策者和數(shù)據(jù)收集器?？刂?器首先充當(dāng)決策者以確定何時(shí)應(yīng)該發(fā)生VM遷移以及應(yīng)該將新VM置于哪里。這些判斷使用 來自充當(dāng)數(shù)據(jù)收集器的控制器的第二功能的數(shù)據(jù)來進(jìn)行?？刂破魑挥跀?shù)據(jù)收集層次結(jié)構(gòu)的 頂部，聚集從層次結(jié)構(gòu)中的較低級別處的各種代理等等收集的數(shù)據(jù)，如下面進(jìn)一步詳細(xì)描 述的。
[0039] 作為決策者，控制器使用"轉(zhuǎn)變觸發(fā)器"來確定何時(shí)應(yīng)該標(biāo)識新DC，用于操作一個(gè) 或多個(gè)VM。在圖3中示出了轉(zhuǎn)變觸發(fā)器表300,示出了示例性觸發(fā)條件的列表。在列表的頂 部,是每瓦特電力成本觸發(fā)器。當(dāng)電力成本超出此值時(shí),這移動VM?？梢詫?shí)現(xiàn)類似的基于成 本的觸發(fā)器，該觸發(fā)器考慮兩個(gè)數(shù)據(jù)中心之間的電力成本價(jià)格的差異，如果差異超出閾值， 則可以觸發(fā)VM服務(wù)器遷移。
[0040] 如上文所討論的，如果數(shù)據(jù)中心利用率太低或過高，則電力公司可以利用不同的 價(jià)格進(jìn)行收費(fèi)。表300所示出的對應(yīng)的條件包括利用率高和利用率低閾值。也可以使用由 上文所討論的電力成本簡檔使用的參數(shù)，由計(jì)算出的未來成本（相對于當(dāng)前成本）的變化， 產(chǎn)生遷移觸發(fā)器。
[0041] VM服務(wù)器遷移也可以由環(huán)境事件產(chǎn)生，諸如天氣事件、自然災(zāi)害，或產(chǎn)生不安全的 操作環(huán)境的任何其他問題。例如，極端的氣候條件導(dǎo)致電力分配能力的中斷是常見的，諸如 由斷了輸電線或配電系統(tǒng)中的其他故障所產(chǎn)生的。
[0042] 新VM的創(chuàng)建會產(chǎn)生另一種類型的觸發(fā)器。響應(yīng)于判斷需要新VM服務(wù)器，就將向 數(shù)據(jù)中心添加VM作出判斷。一般而言，VM間接地消耗功率，當(dāng)VM正在在其上面運(yùn)行的物理 服務(wù)器直接消耗功率。例如，向已經(jīng)在高功率狀態(tài)下操作的物理服務(wù)器添加新VM通常將導(dǎo) 致比必須提供額外的物理服務(wù)器以主存新VM小的能源消耗的變化。已知，物理服務(wù)器和/ 或VM可以在低功率或空閑狀態(tài)下操作，并切換到滿狀態(tài)，以支持由數(shù)據(jù)中心主存的數(shù)據(jù)服 務(wù)的快速的縮放。在這些情況中的任何一種下，創(chuàng)建新VM可以實(shí)際對應(yīng)于將現(xiàn)有的VM和 /或其主機(jī)物理服務(wù)器的功率狀態(tài)從低功率或空閑狀態(tài)改變?yōu)橥耆僮鳡顟B(tài)。
[0043] 除前述的觸發(fā)器之外，還可以實(shí)現(xiàn)自定義觸發(fā)器。例如，管理員可以定義強(qiáng)制對應(yīng) 的觸發(fā)器事件的觸發(fā)器。
[0044]VM服務(wù)器遷移也可以作為多個(gè)條件和參數(shù)的函數(shù)來觸發(fā)。例如，可以使用考慮多 個(gè)加權(quán)的輸入來確定何時(shí)可以觸發(fā)遷移的加權(quán)算法。一般而言，遷移具有與它相關(guān)聯(lián)的在 能源成本之外的額外的"成本"，包括管理成本，涉及服務(wù)器遷移本身的數(shù)據(jù)傳輸成本、重新 配置成本，以及涉及在被遷移的服務(wù)器被遷移之后由被遷移的服務(wù)器所提供的服務(wù)的數(shù)據(jù) 傳輸成本。例如，盡管從能源成本觀點(diǎn)來看使用非高峰時(shí)間方案（根據(jù)該方案，數(shù)據(jù)中心位 置被遷移到與大多數(shù)服務(wù)用戶相關(guān)聯(lián)的時(shí)區(qū)前面）來操作全局服務(wù)是有利的，但是，可能 會有對于網(wǎng)絡(luò)數(shù)據(jù)傳輸發(fā)生的額外的成本，特別是在這將需要使用洲際電纜的情況下。
[0045] 當(dāng)轉(zhuǎn)變觸發(fā)器中的一個(gè)被滿足時(shí)，控制器使用它控制的所有DC的其全局知識，并 評估DC簡檔，作出關(guān)于應(yīng)該在哪里創(chuàng)建VM或遷移到哪里的決定。為適當(dāng)?shù)刈鞒龃伺袛?，?制器使用包含正在被移動或創(chuàng)建的VM上的所有必需的操作數(shù)據(jù)的VMPackageProfile(VM 封裝簡檔）圖4的表400示出了VMPackageProfile參數(shù)的示例性列表。
[0046] VM系統(tǒng)處理器要求標(biāo)識系統(tǒng)需要多少CPU。VM存儲數(shù)據(jù)大小定義存儲要求。VM系 統(tǒng)存儲器要求定義存儲器要求，而所需的DC單元定義所需的數(shù)據(jù)中心單位的數(shù)量，其中， 在一個(gè)實(shí)施例中，一個(gè)單元對應(yīng)于帶有1千兆字節(jié)存儲器的單一處理器。在另一個(gè)實(shí)施例 中，DC單元包括帶有相關(guān)聯(lián)的存儲器量（例如，lGb、2Gb等等）的處理器核。平均CPU使用 對應(yīng)于VM的平均CPU負(fù)荷。在所示實(shí)施例中，VM操作優(yōu)先級具有從1到3之間的范圍，其 中1是臨界，3是非臨界。
[0047] 圖5示出了根據(jù)一實(shí)施例的用于實(shí)現(xiàn)虛擬服務(wù)器遷移的高級的接口和數(shù)據(jù)聚集 體系結(jié)構(gòu)。該體系結(jié)構(gòu)使用控制器500,該控制器500被配置成從各種源收集數(shù)據(jù)，并響應(yīng) 于在轉(zhuǎn)變觸發(fā)器表300中定義的并通過轉(zhuǎn)變觸發(fā)器模塊300-M實(shí)現(xiàn)的觸發(fā)器事件，發(fā)起虛 擬服務(wù)器遷移。轉(zhuǎn)變觸發(fā)器基于各種數(shù)據(jù)的集合一一包括電力成本簡檔表1〇〇 (通過使用 電力成本簡檔模塊100-M)，虛擬機(jī)數(shù)據(jù)包表400 (通過使用虛擬機(jī)數(shù)據(jù)包模塊400-M)，以及 數(shù)據(jù)中心簡檔表200 (通過使用數(shù)據(jù)中心簡檔模塊200-M)中的參數(shù)--來生成。
[0048] 圖6示出了根據(jù)一實(shí)施例的控制器500的選擇的各方面的進(jìn)一步的細(xì)節(jié)?？刂破?具有兩個(gè)主要功能--作為事件處理程序600和數(shù)據(jù)收集器602。響應(yīng)于由數(shù)據(jù)收集器602 收集的數(shù)據(jù)，處理事件。數(shù)據(jù)收集是使用輪詢模型，（如圖6所示）、推模型，或兩者的組合， 持續(xù)地進(jìn)行的。根據(jù)所示出的輪詢模型，輪詢周期是周期性地執(zhí)行的（一般而言），諸如按 預(yù)定時(shí)間間隔或根據(jù)日程表。輪詢周期在狀態(tài)604開始，對應(yīng)于輪詢數(shù)據(jù)中心，獲取其DC 簡檔數(shù)據(jù)。收集DC簡檔數(shù)據(jù)，如狀態(tài)606所描繪的。還由數(shù)據(jù)收集器602收集額外的本地 數(shù)據(jù)（即，數(shù)據(jù)中心本地的），包括狀態(tài)608期間的本地電力公司數(shù)據(jù)，在狀態(tài)610期間的本 地天氣數(shù)據(jù)，以及在可選狀態(tài)612期間的本地環(huán)境數(shù)據(jù)。本地環(huán)境數(shù)據(jù)的示例包括一個(gè)區(qū) 域的可能會影響數(shù)據(jù)中心操作的一切，諸如地震、火災(zāi)、戰(zhàn)爭、海嘯等等。如狀態(tài)614所描繪 的，對于其虛擬服務(wù)器遷移由控制器500管理的每一個(gè)數(shù)據(jù)中心，重復(fù)該周期。
[0049] 事件處理程序600功能包括用于檢測事件觸發(fā)器的邏輯。一般而言，事件觸發(fā)器 可以通過對由數(shù)據(jù)收集器602收集的數(shù)據(jù)的評價(jià)來確定，或可以響應(yīng)于由數(shù)據(jù)中心遷移代 理等所生成的特定的觸發(fā)器，如下面進(jìn)一步詳細(xì)描述的。在輪詢模型下，可以周期性地對應(yīng) 于輪詢率或日程表來評估事件觸發(fā)器。在框616中描繪了對觸發(fā)器事件的評估，判斷在判 斷框中618(否）以及620(是）中所描繪的觸發(fā)器事件的存在。響應(yīng)于觸發(fā)器事件，事件 處理程序邏輯轉(zhuǎn)到判斷框622,以判斷是否有數(shù)據(jù)中心時(shí)隙可以用來執(zhí)行對應(yīng)于觸發(fā)器事 件的虛擬服務(wù)器遷移。取決于觸發(fā)器的類型以及遷移粒度設(shè)置，遷移可以涉及少到單一服 務(wù)器，或者，最小遷移大小可以對應(yīng)于服務(wù)器的聚集級別，諸如最小遷移對應(yīng)于單一物理服 務(wù)器或相當(dāng)于物理服務(wù)器的刀片式服務(wù)器基座。如指出無數(shù)據(jù)中心時(shí)隙可用的判斷框624 所描繪的，邏輯繼續(xù)到評估數(shù)據(jù)中心時(shí)隙的可用性，直到"是"判斷結(jié)果，如判斷框628所描 繪的。響應(yīng)于"是"結(jié)果，在框628開始虛擬服務(wù)器遷移。
[0050] 圖7示出了可以被用作控制器500的輸入以及通過在不同的聚集級別操作的各種 代理促進(jìn)的數(shù)據(jù)聚集的不同級別的使用。最高聚集級別發(fā)生在數(shù)據(jù)中心級別，該數(shù)據(jù)中心 級別一般包括由數(shù)據(jù)收集器602收集的數(shù)據(jù)，如圖6中所描繪的。在一個(gè)實(shí)施例中，在如 數(shù)據(jù)中心A，B，…以及N所描繪的多個(gè)數(shù)據(jù)中心中的每一個(gè)處，有一個(gè)或多個(gè)數(shù)據(jù)中心代 理700。每一數(shù)據(jù)中心都包括通常以刀片式服務(wù)器機(jī)架的行配置的大量的物理服務(wù)器，其 中，每一刀片式服務(wù)器機(jī)架都包括多刀片服務(wù)器基座702,每一刀片式服務(wù)器基座都包括多 個(gè)服務(wù)器刀片704。在某些實(shí)施例中，在服務(wù)器刀片級別、刀片式服務(wù)器基座級別和/或刀 片式服務(wù)器機(jī)架級別中的一個(gè)或多個(gè)處，聚集數(shù)據(jù)，其中，由與該級別相關(guān)聯(lián)的代理收集可 應(yīng)用的數(shù)據(jù)，如通過服務(wù)器刀片代理706和刀片式服務(wù)器基座代理708所描繪的。在某些 實(shí)施例中，為每一個(gè)刀片式服務(wù)器基座，或?yàn)橐唤M刀片式服務(wù)器基座，實(shí)現(xiàn)管理刀片等等。 一般而言，管理刀片可以包括類似于其他服務(wù)器刀片但是另外還包括管理軟件的服務(wù)器刀 片，或可以包括特殊用途的服務(wù)器刀片。在給定數(shù)據(jù)中心內(nèi)，可以存在其他聚集級別，諸如 通過使用跨塊或服務(wù)器聚集數(shù)據(jù)和/或在服務(wù)器房間級別（兩者都未示出）聚集的代理。 例如，給定數(shù)據(jù)中心可以具有多個(gè)服務(wù)器房間或較大的分區(qū)的服務(wù)器機(jī)架組。
[0051] 除這些聚集級別之外，可以有對應(yīng)于在服務(wù)器刀片704上運(yùn)行的VMM和VM的額 外的聚集級別。例如，每一服務(wù)器刀片704 -般將被配置成主存一個(gè)或多個(gè)VMM710。每一 VMM710又將一般被配置成主存被配置成作為虛擬服務(wù)器714來操作的多個(gè)VM712。在某些 實(shí)施例中，服務(wù)器刀片704可以包括多個(gè)"插槽"，每一插槽都被配置成連接到處理器，諸如 實(shí)現(xiàn)為片上系統(tǒng)（SoC)的多核服務(wù)器處理器。每一多核服務(wù)器處理器又可以用于運(yùn)行主機(jī) 操作系統(tǒng)，VMM或Hypervisor(系統(tǒng)管理程序）在該主機(jī)操作系統(tǒng)上運(yùn)行,該主機(jī)操作系統(tǒng) 被用來主存一個(gè)或多個(gè)VM。如下面參考圖8詳述的，代理可以用于VMM中，可任選地，VM級 別中，以提供可以聚集成鏈并作為數(shù)據(jù)輸入提供到控制器500的另外的數(shù)據(jù)。
[0052] 較低聚集級別下的代理被配置成生成適用的數(shù)據(jù)，諸如由較高級別的代理聚集的 虛擬機(jī)封裝數(shù)據(jù)，以產(chǎn)生其他數(shù)據(jù)聚集，諸如數(shù)據(jù)中心簡檔數(shù)據(jù)。最高聚集級別的代理，諸 如數(shù)據(jù)中心代理，將聚集的數(shù)據(jù)傳遞到控制器500。
[0053] 除聚集的數(shù)據(jù)之外，控制器500使用輪詢、推，或組合模型，收集其他數(shù)據(jù)。例如， 這樣的信息可以包括實(shí)時(shí)和/或平均數(shù)據(jù)中心功率測量值718。一般而言，將電源提供到數(shù) 據(jù)中心的電力公司將使用多個(gè)功率計(jì)，來測量由數(shù)據(jù)中心消耗的功率，諸如每一個(gè)高安培 功率輸入的功率計(jì)。當(dāng)今，這些計(jì)量儀器中有許多是數(shù)字的，并可以被配置成提供實(shí)時(shí)功率 測量值。取決于實(shí)現(xiàn)，實(shí)時(shí)功率測量數(shù)據(jù)可以由電力公司收集，對應(yīng)的數(shù)據(jù)通過私有的Web 門戶其他安全在線設(shè)施可用，和/或數(shù)據(jù)中心本身將具有實(shí)時(shí)功率測量設(shè)備和監(jiān)視軟件。 根據(jù)任一方法，控制器500將被配置成收集實(shí)時(shí)能源消耗數(shù)據(jù)。另外，控制器500將被配置 成收集和/或查詢向每一數(shù)據(jù)中心提供電能的電力公司的能量價(jià)格數(shù)據(jù)。
[0054] 進(jìn)一步參考圖9,數(shù)據(jù)中心A位于華盛頓中心（Quincy)，數(shù)據(jù)中心B位于得克薩 斯，數(shù)據(jù)中心N位于弗吉尼亞。數(shù)據(jù)中心A位于許多大壩附近，包括GrandCouleeDam720、 ChiefJosephDam、WellsDam、RockyReachDam、RockIslandDam、WanapumDam以及 PriestRapidsDam,所有的這些都位于Columbia河上。另外，還有一個(gè)大風(fēng)場722位于 距離昆西大致15英里處。盡管風(fēng)場722的電能是可變的，但是，Columbia河大壩提供通常 賣給諸如加利福尼亞州之類的其他西部各州的過剩的電能。主要電力公司是Bonneville PowerAssociation，它與昆西的數(shù)據(jù)中心協(xié)商非常低的一般固定的電價(jià)。由于合同結(jié)構(gòu)， 低于最小閾值或高于最大閾值的價(jià)格的變化是小的。從實(shí)用來看，數(shù)據(jù)中心的價(jià)格是固定 的。有趣的是，為鼓勵(lì)開發(fā)額外的可再生能源，在華盛頓州，水力發(fā)電不分類為可再生能源。 結(jié)果，考慮可再生能源使用是非常小的，即使有的話。盡管BPA可以向美國西部的解除管制 的市場提供電源，但是，向數(shù)據(jù)中心收取的價(jià)格與時(shí)間市場價(jià)格無關(guān)。
[0055] 數(shù)據(jù)中心B位于得克薩斯的被得克薩斯的解除管制的能源市場覆蓋的區(qū)域中，該 能源市場由得克薩斯能源可靠性理事會（ERCOT)管理，該理事會還是該區(qū)域的獨(dú)立系統(tǒng)運(yùn) 營商（ISO)。在ERCOT市場中，發(fā)電參與者（能源供應(yīng)商）輸入供應(yīng)標(biāo)價(jià)曲線，而消費(fèi)方參 與者（能源購買者）輸入能源購買出價(jià)曲線。一般有兩個(gè)市場--日前（dayahead)市場， 以及實(shí)時(shí)市場。市場參與者可以是供應(yīng)商、消費(fèi)者或兩者?；趨⑴c者輸入，導(dǎo)出每一個(gè)結(jié) 算期的市場價(jià)格。一般而言，ERCOT不會產(chǎn)生每一個(gè)結(jié)算期的單一市場價(jià)格，而是，價(jià)格可 以是區(qū)域性的和/或可以反映其他考慮因素，諸如電網(wǎng)擁擠。為確?？煽啃?，還輸入用于供 應(yīng)輔助服務(wù)的出價(jià)--服務(wù)通常將不被使用，但是，提供這樣的服務(wù)的出價(jià)人需要在可以 在考慮到系統(tǒng)內(nèi)的故障時(shí)可以快速地上線的狀態(tài)下操作設(shè)備。
[0056] 向ERCOT的發(fā)電供應(yīng)包括通過燃燒常規(guī)化石燃料源，諸如天然氣，來進(jìn)行發(fā)電，以 及燃燒化石燃料和生物物質(zhì)的某些混合型電廠。另外，還可以通過可再生能源，諸如太陽能 場724和風(fēng)場726,來進(jìn)行其他發(fā)電。由于太陽和風(fēng)可能會變化，這些發(fā)電源比使用天然氣 發(fā)電難以預(yù)測，其中，天然氣發(fā)電廠的輸出可以在十分寬的范圍向上或向下傾斜，而不會對 效率產(chǎn)生不利的影響。
[0057] 前述的因素的凈結(jié)果是，提供給數(shù)據(jù)中心B的電能成本（S卩，電價(jià)B)不是固定的， 而是在一天內(nèi)可以變化，取決于每一個(gè)結(jié)算期的市場價(jià)格和/或其他合同安排。由于數(shù)據(jù) 中心消耗這樣的大量電能，因此，可以想象，數(shù)據(jù)中心本身可以是市場參與者，雖然數(shù)據(jù)中 心通常將與一個(gè)或多個(gè)電力公司訂向他們提供電源的合同。由于價(jià)格波動，對于消耗低于 最小和高于最大消耗等級的價(jià)格處罰十分重要。
[0058] 數(shù)據(jù)中心N位于弗吉尼亞，由DominionVirginiaPower供電。DominionVirginia Power從多個(gè)設(shè)施購買電力，包括燃煤發(fā)電廠728和天然氣發(fā)電廠730。另外，Dominion VirginiaPower還從各種可再生的源（諸如風(fēng)（離案和陸地），生物物質(zhì)）購買電力。由 于燃煤電能與可再生的發(fā)電源的價(jià)格關(guān)稅優(yōu)惠相結(jié)合的比較高的成本，因此，弗吉尼亞數(shù) 據(jù)中心的電能的成本一般高于得克薩斯，并可能顯著高于昆西。然而，如AT&TIP主干網(wǎng)絡(luò) 圖示所示出的，在東北比美國的其余地區(qū)有多得多的數(shù)據(jù)網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)，一般而言，導(dǎo)致從 弗吉尼亞數(shù)據(jù)中心比從得克薩斯數(shù)據(jù)中心或昆西數(shù)據(jù)中心有較低的網(wǎng)絡(luò)傳輸成本。
[0059] 如上文所討論的，一些實(shí)現(xiàn)可以在VMM級別（或主機(jī)操作系統(tǒng)級別），可任選地， 在VM級別收集數(shù)據(jù)?，F(xiàn)代的操作系統(tǒng)通常支持一系列功率管理特征，諸如改變功率狀態(tài)， 生成主機(jī)處理器的功率消耗數(shù)據(jù)。盡管可以從由VM主存的操作系統(tǒng)查詢功率消耗信息，但 是，此信息可能不準(zhǔn)確，因?yàn)椴僮飨到y(tǒng)并非實(shí)際運(yùn)行在物理硬件上。然而，可以有操作系統(tǒng) 可以提供的將指出VM正在使用核的多少處理能力的信息?？扇芜x地，或另外，這樣的信息 可以由主機(jī)OS和/或VMM聚集。
[0060] 圖8示出了體系結(jié)構(gòu)800,其被配置成支持由VMM和多個(gè)VM通過使用被允許以 對等方式進(jìn)行通信的軟件代理以及相關(guān)聯(lián)的應(yīng)用程序編程接口（API)，收集功率相關(guān)的信 息。更詳細(xì)地，體系結(jié)構(gòu)800包括用于主存多個(gè)虛擬機(jī)VMg的VMM(或系統(tǒng)管理程序）810。 VMM810由在服務(wù)器計(jì)算機(jī)830上運(yùn)行的主機(jī)0S820主存。一般而言，主機(jī)0S820通過由固 件832所提供的接口，被允許訪問大多數(shù)平臺硬件834。同時(shí)，取決于服務(wù)器計(jì)算機(jī)830的 配置，平臺硬件834中的一些可以被主機(jī)0S820直接訪問，諸如通過使用適用的OS設(shè)備驅(qū) 動程序。
[0061] 在圖8中，在虛擬機(jī)VM1的操作系統(tǒng)86(^上運(yùn)行的軟件代理85(^實(shí)現(xiàn)多個(gè)用于與 其他代理（諸如在虛擬機(jī)MV2的操作系統(tǒng)8602上運(yùn)行的代理8502，以及主機(jī)OS代理840) 進(jìn)行通信的通信機(jī)制。在一種實(shí)現(xiàn)中，代理850:與運(yùn)行的代理8502實(shí)現(xiàn)對等通信機(jī)制，如 通過雙頭指針855所描繪的。在另一種實(shí)現(xiàn)中，代理850:充當(dāng)來自其他虛擬機(jī)和主機(jī)系統(tǒng) 的性能信息的中心收集器。
[0062] 更詳細(xì)地，代理之間的通信可以以為那些精通軟件和通信技術(shù)人所知的許多方式 中的一種來促進(jìn)。例如，主機(jī)OS代理840可以通過由主機(jī)OS代理和VM所提供的相應(yīng)的API815和816與虛擬機(jī)進(jìn)行通信。然后，代理850又可以通過API817,與虛擬機(jī)API816進(jìn) 行通信，如圖8所示。根據(jù)另一實(shí)施例，API815可以直接與API817進(jìn)行通信。根據(jù)再一個(gè) 方案，使用操作系統(tǒng)級別的通信來實(shí)現(xiàn)主機(jī)OS和VM主存的OS之間的通信。例如，相應(yīng)的 網(wǎng)絡(luò)OS組件825和826 (例如，網(wǎng)絡(luò)棧）可以使用諸如TCP/IP或SOAP之類的網(wǎng)絡(luò)協(xié)議來 促進(jìn)通信。相應(yīng)的代理又可以通過API等等或某種其他OS-應(yīng)用程序通信方案，與它們的 相應(yīng)的OS主機(jī)進(jìn)行通信。
[0063] 如在圖8中進(jìn)一步示出的，在一個(gè)實(shí)施例中，各種性能、配置以及事件數(shù)據(jù)可以存 儲在通過主機(jī)OS代理840訪問的數(shù)據(jù)存儲880?？扇芜x地，代理85(Vn中的每一個(gè)都可以 管理和/或被提供對這些數(shù)據(jù)的復(fù)制的實(shí)例的訪問，如通過數(shù)據(jù)存儲850b所描繪的。一般 而言，VM主存的代理可以使用分配給它們的相應(yīng)的VM的系統(tǒng)存儲器的相應(yīng)的部分和/或 分配給它們的相應(yīng)的VM的本地或遠(yuǎn)程磁盤存儲器空間。
[0064] 在服務(wù)器計(jì)算機(jī)830的操作過程中，功率使用及其他性能數(shù)據(jù)由VMM810使用代理 840收集，可任選地，在VM級別由代理85(Vn通過使用API815、816,以及817收集。服務(wù)器 計(jì)算機(jī)平臺（例如，服務(wù)器刀片）的數(shù)據(jù)被聚集并存儲在數(shù)據(jù)存儲800中。在某些實(shí)施例 中，使此數(shù)據(jù)對管理刀片或刀片式服務(wù)器基座或機(jī)架級別的其他管理實(shí)體可用。
[0065]除由VMM或主機(jī)OS收集到的功率和性能信息之外，刀片式服務(wù)器體系結(jié)構(gòu)可以 被配置成支持管理通道，在該管理通道下，各種性能信息可以被諸如管理刀片或管理服務(wù) 器之類的管理實(shí)體890訪問。管理通道可以是帶外（00B)通道，或者它可以是使用諸如 SOAP(簡單對象訪問協(xié)議）之類的適用的協(xié)議來收集數(shù)據(jù)的基于網(wǎng)絡(luò)的通道?，F(xiàn)代的服務(wù) 器處理器和/或服務(wù)器底板已經(jīng)嵌入了管理邏輯，該管理邏輯被配置成促進(jìn)對各種處理器 和核度量的訪問，并向操作系統(tǒng)和/或底板管理控制器（BMC) 836等等暴露度量。除從BMC收集數(shù)據(jù)之外，管理實(shí)體890中的代理可以通過任何合適的協(xié)議（諸如SOAP)和/或通過 使用API(諸如通過API891和892所描繪的）與代理840進(jìn)行通信。
[0066] 在使用多個(gè)插槽的一些服務(wù)器實(shí)現(xiàn)中，可以有由同一個(gè)物理服務(wù)器主存的多個(gè) VMM實(shí)例。相應(yīng)地，代理708可以被配置成通過API892或單獨(dú)的API(未示出），向管理實(shí) 體890提供服務(wù)器使用信息，可任選地，可以被配置成聚集由代理840的多個(gè)實(shí)例所生成的 信息。與服務(wù)器使用信息的生成結(jié)合，代理708可以與BMC836連接，和/或從在多個(gè)插槽 中的每一個(gè)上運(yùn)行的OS功率管理組件獲取使用信息。
[0067] 圖9示出了與代理層次結(jié)構(gòu)相結(jié)合的用于促進(jìn)此處所描述的各實(shí)施例的操作的 分布式軟件組件的實(shí)現(xiàn)。代理層次結(jié)構(gòu)一般包括多個(gè)代理級別，其中，給定級別的代理聚 集從它們上方的一層或多層的代理生成和/或收集的數(shù)據(jù)，并向其下面的一層或多層的一 個(gè)代理或多個(gè)代理提供聚集的數(shù)據(jù)，該聚集的數(shù)據(jù)可以包括由代理本身所生成的另外的數(shù) 據(jù)。代理以樹形的方式排列，其中，代理的數(shù)量一般沿著層次結(jié)構(gòu)向上而增大。相對于圖9， 代理級別從頁面底部向頁面的頂部從較低向較高提高。在圖9中所示的實(shí)施例中，從最低 到最高的示例性代理級別包括數(shù)據(jù)中心級別、房間級別、集群級別、基座級別、服務(wù)器級別、 VMM級別，以及VM級別。一般而言，代理層次結(jié)構(gòu)可以包括比如圖9所示多一些或少一些級 另IJ，可以實(shí)現(xiàn)未示出的其他級別的代理。
[0068] 代理850、840以及708分別占用VM、VMM以及服務(wù)器代理級別，并以上文參考圖8 所描述的方式來操作。在一個(gè)實(shí)施例中，這些代理被實(shí)現(xiàn)為虛擬機(jī)包裝模塊400-M中的組 件，如此，可以被視為虛擬機(jī)封裝模塊代理。一般而言，這些代理將在單個(gè)服務(wù)器的基礎(chǔ)上 共同地生成對應(yīng)于VM和物理服務(wù)器利用率的數(shù)據(jù)，這樣的數(shù)據(jù)在VMM或服務(wù)器代理級別聚 集，表明在服務(wù)器級別使用代理708是可選的。例如，如果物理服務(wù)器主存單一VMM，并且 VMM級別（或主機(jī)OS級別）的代理可以被配置成生成VM利用率和服務(wù)器利用率數(shù)據(jù)，而不 要求服務(wù)器級別的單獨(dú)代理。
[0069] 一般而言，分別在數(shù)據(jù)中心、DC房間、集群，以及基座代理級別實(shí)現(xiàn)的代理700、 701、705和706可以實(shí)現(xiàn)為與數(shù)據(jù)中心簡檔模塊200-M相關(guān)聯(lián)的組件。另外，服務(wù)器層的代 理708也可以包括與數(shù)據(jù)中心簡檔模塊200-M相關(guān)聯(lián)的功能。如所描繪的，代理700、702、 705以及706中的每一個(gè)都包括被配置成支持與其他代理進(jìn)行通信的API和/或被配置成 支持與數(shù)據(jù)中心簡檔模塊200-M進(jìn)行通信的API900。圖9中所描繪的API中的每一個(gè)都可 以被配置成支持單一API或多個(gè)API。
[0070] 代理706在基座級別操作，在一個(gè)實(shí)施例中，包括或以別的方式與圖8的管理實(shí)體 890連接。取決于特定刀片式服務(wù)器或服務(wù)器模塊體系結(jié)構(gòu)，可以使用每一個(gè)基座的管理刀 片或模塊等等，收集各種服務(wù)器利用率數(shù)據(jù)。代理706也可以被配置成聚集來自代理708， 840以及850中的一個(gè)或多個(gè)的數(shù)據(jù)。代理706的API可以被配置成與集群代理705、DC房 間代理701的API和/或API900 (后兩者未示出以避免擁擠）進(jìn)行通信。
[0071] 集群代理705被配置成在集群級別操作。如此處所使用的，集群包括與多個(gè)基座 相關(guān)聯(lián)的服務(wù)器刀片和/或模塊，雖然值得注意的是，對應(yīng)于單一基座的虛擬服務(wù)器可以 被配置成支持集群操作；在此情況下，基座代理和集群代理將是冗余的，如此，與此處所討 論的那些有關(guān)的操作將通過基座代理來實(shí)現(xiàn)。在一個(gè)級別，集群可以被視為一組共同地管 理的服務(wù)器。在某些實(shí)施例中，集群可以被配置成支持由數(shù)據(jù)中心主存的一個(gè)或多個(gè)服務(wù)， 以便并非遷移支持服務(wù)的一部分的虛擬服務(wù)器，而是遷移完全支持服務(wù)器的整組服務(wù)器， 結(jié)果，在物理集群級別遷移虛擬服務(wù)器。
[0072] 更詳細(xì)地，用于促進(jìn)基于云的服務(wù)的軟件通常使用n層體系結(jié)構(gòu)來實(shí)現(xiàn)，該體系 結(jié)構(gòu)包括前端web服務(wù)器層、一個(gè)或多個(gè)應(yīng)用程序服務(wù)層，以及數(shù)據(jù)存儲的后端層，諸如文 件存儲器，或更復(fù)雜的數(shù)據(jù)管理，諸如通過使用數(shù)據(jù)庫或大數(shù)據(jù)存儲方案。根據(jù)使用物理服 務(wù)器的常規(guī)方法，給定層中的服務(wù)器可以與一個(gè)單獨(dú)的機(jī)架或機(jī)架組相關(guān)聯(lián)，以便整個(gè)機(jī) 架可以用支持web服務(wù)器功能的物理服務(wù)器填充，可以使用單獨(dú)的機(jī)架組來支持應(yīng)用程序 服務(wù)服務(wù)器，等等。一般而言，數(shù)據(jù)存儲層使用諸如存儲器電器、存儲器陣列等等單獨(dú)的物 理設(shè)備來暗示。隨著大數(shù)據(jù)體系結(jié)構(gòu)的引入，數(shù)據(jù)可以以更分布的方式存儲，使使用刀片本 身上的本地存儲器成為實(shí)際的選項(xiàng)。與虛擬化相結(jié)合，這通過遷移虛擬服務(wù)和存儲在服務(wù) 器刀片本身中的適用的數(shù)據(jù)，允許整個(gè)服務(wù)的主存在數(shù)據(jù)中心之間遷移。
[0073] 房間代理701對應(yīng)于在集群級別和數(shù)據(jù)中心級別之間的聚集級別，該聚集級別對 應(yīng)于整個(gè)數(shù)據(jù)中心。這里的術(shù)語"房間"不僅限于服務(wù)器的房間，而是收集并聚集其數(shù)據(jù)簡 檔數(shù)據(jù)的服務(wù)器的一些邏輯和/或物理分區(qū)。除物理房間之外，示例包括以機(jī)架為基礎(chǔ)，以 一行機(jī)架或機(jī)架過道為基礎(chǔ)，以多行/過道為基礎(chǔ)等等。
[0074] 如圖9所示，可以由數(shù)據(jù)中心代理700收集給定數(shù)據(jù)中心的數(shù)據(jù)中心簡檔數(shù)據(jù)的 聚集，或可以從較高級別的代理，諸如房間級別代理，集群級別代理或服務(wù)器級別代理，收 集這樣的數(shù)據(jù)?？扇芜x地，可以使用收集方法的組合，其中，可以在API900從不同于數(shù)據(jù) 中心代理700的代理收集一些數(shù)據(jù)，而由數(shù)據(jù)中心代理700收集并聚集其他數(shù)據(jù)，并通過 API900,將它們傳遞到數(shù)據(jù)中心簡檔模塊200-M。
[0075] 圖9還示出了對應(yīng)于此處所描述的各實(shí)施例的軟件體系結(jié)構(gòu)的分布特征。例如， 如圖所示，虛擬封裝模塊400-M可以包括對應(yīng)于跨多個(gè)物理服務(wù)器分布的多個(gè)代理的軟件 組件，并可以通過在那些物理服務(wù)器上運(yùn)行的操作系統(tǒng)和/或在由物理服務(wù)器主存的虛擬 機(jī)上運(yùn)行的操作系統(tǒng)來實(shí)現(xiàn)。類似地，數(shù)據(jù)中心簡檔模塊200-M可以包括對應(yīng)于在服務(wù)器 代理級別、基座代理級別、集群代理級別、房間代理級別以及數(shù)據(jù)中心代理級別中的一個(gè)或 多個(gè)中實(shí)現(xiàn)的多個(gè)代理的軟件組件。此外，無論代理被配置成在虛擬機(jī)還是在物理服務(wù)器 上運(yùn)行，代理都包括軟件組件或組件組，包括被配置成在計(jì)算機(jī)上執(zhí)行的多個(gè)指令。
[0076] 返回到圖10，示出了兩個(gè)虛擬服務(wù)器遷移的示例。在第一虛擬服務(wù)器遷移過程中， 與由控制器500啟動的服務(wù)器遷移結(jié)合，將四個(gè)虛擬服務(wù)器714從位于弗吉尼亞的數(shù)據(jù)中 心N遷移到位于得克薩斯的數(shù)據(jù)中心B。如上文所討論的，服務(wù)器遷移可以由各種觸發(fā)器事 件產(chǎn)生，或通過處理聚集的數(shù)據(jù)，以及確定執(zhí)行遷移有利。四個(gè)服務(wù)器的遷移的圖示是要遷 移的數(shù)量大得多的虛擬服務(wù)器的代表，因?yàn)榈湫蛿?shù)據(jù)中心機(jī)架單獨(dú)地可以主存100或者甚 至1000個(gè)虛擬服務(wù)器。例如，惠普公司最近引入了模塊化web服務(wù)器（MoonShot)的線， 該線具有每個(gè)4. 3U底座45個(gè)服務(wù)器模塊；充滿這些服務(wù)器模塊的機(jī)架可以單獨(dú)地支持高 達(dá)1000個(gè)物理服務(wù)器。
[0077] 虛擬服務(wù)器的遷移實(shí)際涉及實(shí)例化遷移到的數(shù)據(jù)中心上的虛擬服務(wù)器的新實(shí)例， 該虛擬服務(wù)器的實(shí)例被配置成執(zhí)行與正在被遷移的虛擬服務(wù)器相同的服務(wù)，該正在被遷移 的虛擬服務(wù)器在遷移之后在從其中遷移的數(shù)據(jù)中心中關(guān)閉。與實(shí)例化新虛擬服務(wù)器實(shí)例一 起，可能需要傳輸?shù)臄?shù)據(jù)。取決于特定物理服務(wù)器體系結(jié)構(gòu)以及由遷移的虛擬服務(wù)器主存 的服務(wù)，可以有數(shù)據(jù)存儲在要遷移的物理服務(wù)器中（從該物理服務(wù)器復(fù)制到遷移到的數(shù)據(jù) 中心中的物理服務(wù)器，或可能需要從數(shù)據(jù)存儲池等等遷移的對應(yīng)于存儲在與物理服務(wù)器分 開的設(shè)備中的數(shù)據(jù)的數(shù)據(jù)。
[0078] 例如，有各種類型的用于存儲大量的涉及基于云的存儲服務(wù)的數(shù)據(jù)的網(wǎng)絡(luò)存儲器 電器，存儲器陣列，等等。在一些基于云的存儲體系結(jié)構(gòu)下面，存儲設(shè)施以及用于訪問存儲 設(shè)施的服務(wù)器設(shè)施位于一起或相距不遠(yuǎn)。一些基于云的服務(wù)提供商使用地理數(shù)據(jù)復(fù)制，其 中，跨不同的地理位置的數(shù)據(jù)中心復(fù)制相同數(shù)據(jù)的實(shí)例。根據(jù)常見的方法，接收到的（用于 存儲）數(shù)據(jù)與上傳數(shù)據(jù)同時(shí)被寫入到兩個(gè)（或更多）存儲設(shè)備。周期性地，將此數(shù)據(jù)的副 本寫入到位于不同的地理位置的數(shù)據(jù)中心中的單獨(dú)的存儲設(shè)施中。根據(jù)一些遷移，由被遷 移的虛擬服務(wù)器實(shí)例使用的存儲設(shè)施的位置可能是一個(gè)重要考慮。
[0079] 如數(shù)據(jù)中心B和位于華盛頓昆西的數(shù)據(jù)中心A之間的第二虛擬服務(wù)器遷移所示 出的，與虛擬服務(wù)器實(shí)例的遷移一起，遷移對應(yīng)于多個(gè)存儲卷1000的數(shù)據(jù)。除與數(shù)據(jù)存儲 卷的遷移有關(guān)的考慮之外，還可以有與在數(shù)據(jù)中心本身之間復(fù)制該數(shù)據(jù)有關(guān)的相關(guān)聯(lián)的成 本，以及遷移之后與為服務(wù)用戶而進(jìn)行數(shù)據(jù)傳輸有關(guān)的增加的成本。例如，大數(shù)據(jù)中心通常 與網(wǎng)絡(luò)主干線路提供商協(xié)商有利的數(shù)據(jù)傳輸價(jià)格。這樣的價(jià)格可以包括支持提升的服務(wù)質(zhì) 量（QoS)的某些級別的帶寬分配--如果數(shù)據(jù)中心運(yùn)營商超出分配的帶寬，運(yùn)營商會產(chǎn)生 額外的成本，或可以節(jié)制多余的帶寬通信量。另外，移動數(shù)據(jù)存儲位置會導(dǎo)致用于訪問數(shù)據(jù) 的傳輸路線比較長。例如，如果大部分用戶位于東海岸，則將主存儲器從東海岸移動到西海 岸會導(dǎo)致運(yùn)營商的另外的數(shù)據(jù)傳輸成本。這是讓數(shù)據(jù)中心位于東海岸的重要?jiǎng)訖C(jī)，因?yàn)閷?于東海岸位置，能源消耗成本高得多。
[0080] 前述的內(nèi)容的凈關(guān)鍵點(diǎn)是，可以有與涉及數(shù)據(jù)傳輸?shù)姆?wù)器遷移相關(guān)聯(lián)的成本， 這些額外的成本可以由控制器500建模，并且在判斷是否啟動虛擬服務(wù)器遷移時(shí)考慮它 們。在圖10中作為傳輸成本1002,描繪了此輸入。
[0081] 圖11示出了根據(jù)一個(gè)實(shí)施例的控制器500的進(jìn)一步的詳情。除上文所討論的事 件處理程序600和數(shù)據(jù)收集器602之外，控制器500還包括數(shù)據(jù)傳輸成本模塊1000、能源 市場競標(biāo)模塊1002、預(yù)測模塊1004、節(jié)省量/成本引擎1006、遷移/縮放判斷引擎1008、統(tǒng) 計(jì)模塊1010以及耦合到數(shù)據(jù)存儲1114的數(shù)據(jù)儲存庫1112。如上文所討論的，數(shù)據(jù)收集器 602被配置成從各種源和代理收集數(shù)據(jù)，包括與數(shù)據(jù)中心簡檔模塊200-m相關(guān)聯(lián)的代理，電 力公司門戶網(wǎng)站902以及天氣門戶網(wǎng)站1116。如此處所使用的，門戶網(wǎng)站是可通過網(wǎng)絡(luò)訪 問的數(shù)據(jù)接口，該數(shù)據(jù)接口允許從諸如電力公司或氣象服務(wù)之類的對應(yīng)的門戶網(wǎng)站主機(jī)檢 索數(shù)據(jù)。門戶網(wǎng)站可以提供公共接口，諸如通過因特網(wǎng)可訪問的或支持通過專用網(wǎng)絡(luò)鏈路 訪問的私有的接口。
[0082] 當(dāng)由數(shù)據(jù)收集器602收集數(shù)據(jù)時(shí)，它通過數(shù)據(jù)儲存庫1112,存儲在數(shù)據(jù)存儲1114 中。數(shù)據(jù)儲存庫1112也可以將最近收集到的數(shù)據(jù)的一部分保留在控制器的存儲器中。統(tǒng) 計(jì)引擎被配置成對由數(shù)據(jù)儲存庫存儲的數(shù)據(jù)執(zhí)行統(tǒng)計(jì)分析，并生成對應(yīng)的統(tǒng)計(jì)數(shù)據(jù)，統(tǒng)計(jì) 數(shù)據(jù)也可以存儲在數(shù)據(jù)儲存庫1112中。例如，統(tǒng)計(jì)模塊1010可以被配置成生成每一白天 時(shí)間間隔的平均使用級別，產(chǎn)生數(shù)據(jù)，可以從該數(shù)據(jù)，生成和/或訪問平均使用曲線。更一 般而言，統(tǒng)計(jì)模塊1010可以被配置成生成涉及存儲在數(shù)據(jù)儲存庫1112中的任何數(shù)據(jù)參數(shù) 的統(tǒng)計(jì)數(shù)據(jù)。
[0083] 預(yù)測模塊1004被配置成預(yù)測與多個(gè)數(shù)據(jù)中心的數(shù)據(jù)中心操作有關(guān)的各種參數(shù)， 諸如每個(gè)小時(shí)的電能利用率，預(yù)計(jì)的電力公司價(jià)格，固定的時(shí)間間隔或作為預(yù)計(jì)的能量利 用的函數(shù)。例如，基于對應(yīng)于歷史使用模式的統(tǒng)計(jì)數(shù)據(jù)，預(yù)測引擎可以預(yù)計(jì)所需的能量利用 級別，預(yù)計(jì)的能量價(jià)格，預(yù)計(jì)的觸發(fā)條件等等。另外，如果數(shù)據(jù)中心在具有包括諸如ERCOT 之類的日前市場的能源市場的區(qū)域運(yùn)轉(zhuǎn)，那么，預(yù)測引擎可以在那些市場時(shí)間段關(guān)閉時(shí)檢 索日前市場價(jià)格，并使用這些作為實(shí)際預(yù)計(jì)的價(jià)格，而不是來源于處理統(tǒng)計(jì)數(shù)據(jù)的估計(jì)的 價(jià)格。
[0084] 使用數(shù)據(jù)傳輸成本模塊1000來從數(shù)據(jù)網(wǎng)絡(luò)提供商1118檢索數(shù)據(jù)傳輸成本，并預(yù) 計(jì)與虛擬服務(wù)器遷移相關(guān)聯(lián)的數(shù)據(jù)傳輸成本，包括在各數(shù)據(jù)中心之間移動（通常是復(fù)制） 數(shù)據(jù)的成本和/或作為從不同的數(shù)據(jù)中心訪問服務(wù)的結(jié)果（在遷移之后），數(shù)據(jù)傳輸成本的 變化，諸如涉及將虛擬服務(wù)器遷移到與使用涉及被遷移的虛擬服務(wù)器的一個(gè)或多個(gè)服務(wù)的 消費(fèi)者群體更靠近的或遠(yuǎn)離消費(fèi)者群體的數(shù)據(jù)中心的傳輸成本變化。
[0085] 節(jié)省量/成本引擎1006被配置成預(yù)計(jì)涉及執(zhí)行虛擬服務(wù)器遷移、向上或向下縮放 數(shù)據(jù)中心服務(wù)，或出于出價(jià)目的操作節(jié)省量和/或成本。如上文所討論的，通常將有與給定 遷移相關(guān)聯(lián)的某些節(jié)省量以及成本。這些節(jié)省量和成本是由節(jié)省量/成本引擎1006所生 成的。例如，節(jié)省量/成本引擎1106可以被配置成為多個(gè)數(shù)據(jù)中心遷移情況預(yù)計(jì)節(jié)省量和 成本。另外，節(jié)省量/成本引擎1106可以被配置成執(zhí)行涉及由數(shù)據(jù)中心通過在那些數(shù)據(jù)中 心中添加或刪除虛擬服務(wù)器實(shí)例所提供的縮放服務(wù)的成本比較。
[0086] 能源市場競標(biāo)引擎1002被配置成與能源市場競標(biāo)門戶1120連接，并對于能源消 耗進(jìn)行市場出價(jià)。如果數(shù)據(jù)中心的運(yùn)營商是注冊的市場參與者，則可以向能源市場ISO作 出這樣的出價(jià)，或如果能源市場不使用IS0,則可以向電力公司票據(jù)交換所等等作出這樣的 出價(jià)。典型的出價(jià)可以包括單一價(jià)格/數(shù)量組合，導(dǎo)致階梯式的價(jià)格/數(shù)量出價(jià)曲線的多 個(gè)價(jià)格/數(shù)量組合是由一個(gè)數(shù)學(xué)函數(shù)所定義的價(jià)格/數(shù)量出價(jià)曲線或一組定義價(jià)格/質(zhì)量 出價(jià)曲線的價(jià)格/數(shù)量數(shù)據(jù)點(diǎn)。可以為不同類型的市場，諸如日前市場和"現(xiàn)貨"市場（又 名，實(shí)時(shí)市場，雖然現(xiàn)貨出價(jià)比實(shí)際價(jià)格時(shí)間段領(lǐng)先某個(gè)預(yù)定的時(shí)間量）進(jìn)行出價(jià)。此外， 競標(biāo)出價(jià)通常是針對給定價(jià)格時(shí)間段的。可以至少部分地通過由節(jié)省量/成本引擎1006 所生成的數(shù)據(jù)來計(jì)算競標(biāo)出價(jià)。競標(biāo)出價(jià)結(jié)果將存儲在數(shù)據(jù)儲存庫1112中。取決于能源 市場結(jié)構(gòu)和規(guī)則，具有等于或高于競標(biāo)時(shí)間段的結(jié)算價(jià)格的任何出價(jià)（或出價(jià)的一部分） 都將是滿足（filled)出價(jià)，而具有低于結(jié)算價(jià)格的價(jià)格的出價(jià)（或出價(jià)的一部分）將不能 被滿足。另外，取決于數(shù)據(jù)中心可能與本地電力公司簽訂的合同，數(shù)據(jù)中心可以基于結(jié)算 價(jià)格，對于給定競標(biāo)時(shí)間段，不獲取，獲取其電能的一部分，或者甚至全部，電能的剩余部分 (如果有的話）從一家或多家本地電力公司購買。
[0087] 遷移/縮放判斷引擎1008被配置成處理來自各種輸入的數(shù)據(jù)，并確定應(yīng)該何時(shí)以 及如何執(zhí)行數(shù)據(jù)中心之間的虛擬服務(wù)器遷移，以及響應(yīng)于服務(wù)需求的變化，當(dāng)向上或向下 縮放服務(wù)時(shí)，確定向哪些數(shù)據(jù)中心添加虛擬服務(wù)器實(shí)例或去除虛擬服務(wù)器實(shí)例。例如，響應(yīng) 于接收到某些事件觸發(fā)器，遷移/縮放判斷引擎1008可以啟動虛擬服務(wù)器遷移，而響應(yīng)于 其他事件觸發(fā)器和/或其他輸入，遷移/縮放判斷引擎1008可以從節(jié)省量/成本引擎請求 額外的信息，以判斷是否應(yīng)該執(zhí)行虛擬服務(wù)器遷移。
[0088] 如上文所討論的，也可以使用控制器500來擴(kuò)大和縮小服務(wù)，據(jù)此，基于各種操作 的和成本考慮，添加虛擬服務(wù)器，或從所選擇的數(shù)據(jù)中心中刪除虛擬服務(wù)器。圖12示出了 根據(jù)一實(shí)施例的流程圖1200,示出了實(shí)現(xiàn)數(shù)據(jù)中心服務(wù)縮放的操作以及邏輯。在框1202， 控制器500檢測對由數(shù)據(jù)中心主存的給定服務(wù)的需求的增大或縮小，或?qū)⒋饲闆r通知給 控制器500。例如，數(shù)據(jù)中心可以主存其自己的服務(wù)，或簽約主存第三方服務(wù)；后者的示例 包括AmazonWebServices(AWS)和ElasticComputeCloud(EC2)以及一些Microsoft Azure服務(wù)。與服務(wù)需求變化有關(guān)的信息可以在控制器500外部確定，諸如由轉(zhuǎn)變觸發(fā)模塊 300-M確定，或可以根據(jù)由控制器500收集到的輸入數(shù)據(jù)確定。一般而言，來自轉(zhuǎn)變觸發(fā)模 塊300-M的輸入將對應(yīng)于推模型（例如，可以向控制器500發(fā)送推通知），而由控制器500 收集到的檢測服務(wù)需求的變化的數(shù)據(jù)可以通過使用拉和/或推模型來獲取，如上文所討論 的。
[0089] 如由判斷框1204所描繪的，響應(yīng)于"擴(kuò)大"判斷（例如，標(biāo)識的服務(wù)將被擴(kuò)大）， 邏輯轉(zhuǎn)到框1206,在此，就根據(jù)需要，哪一個(gè)數(shù)據(jù)中心要擴(kuò)大、要實(shí)例化哪些虛擬服務(wù)器，以 及使哪些物理服務(wù)器上線作出判斷。例如，遷移/縮放判斷引擎1008可以基于來自節(jié)省/ 成本引擎1006的輸入和/或其他輸入數(shù)據(jù)，確定要縮放的成本效率最高的數(shù)據(jù)中心。一般 而言，虛擬服務(wù)器將被配置成支持預(yù)定的服務(wù)功能，諸如Webserver功能或應(yīng)用程序服務(wù) 器功能。web服務(wù)器功能對于許多不同類型的服務(wù)有點(diǎn)類似，一些web服務(wù)器可以被配置 成被實(shí)現(xiàn)，用于支持多個(gè)服務(wù)。相比之下，常常定制應(yīng)用程序服務(wù)器，以支持特定服務(wù)。在 很多情況下，web服務(wù)器軟件以及應(yīng)用程序服務(wù)器軟件將作為被配置成在由物理服務(wù)器主 存的VM上運(yùn)行的應(yīng)用程序來預(yù)先安裝。添加虛擬服務(wù)器通常被稱為實(shí)例化虛擬服務(wù)器實(shí) 例。取決于要執(zhí)行的特定類型的縮放，可能需要使物理服務(wù)器上線；這樣的物理服務(wù)器在被 上線之前，可以處于現(xiàn)有的較低功率的空閑狀態(tài)或完全關(guān)閉。
[0090] 如判斷框1204作出的SCALEDOWN判斷所描繪的，邏輯轉(zhuǎn)到框1208,在此，就要向 哪個(gè)數(shù)據(jù)中心縮減，要關(guān)閉或空載哪些虛擬服務(wù)器，以及如果有的話，要使哪些物理服務(wù)器 離線或置于降低功率狀態(tài)作出判斷。如前所述，這些判斷可以由遷移/縮放判斷引擎1008 基于來自節(jié)省/成本引擎1006的輸入和/或其他輸入數(shù)據(jù)來作出。在縮減服務(wù)的情況下， 帶有每個(gè)虛擬服務(wù)器最高的操作成本的數(shù)據(jù)中心通常將被標(biāo)識為要縮減，與擴(kuò)大服務(wù)相 反，根據(jù)擴(kuò)大服務(wù)，將標(biāo)識帶有每個(gè)虛擬服務(wù)器最低的操作成本的數(shù)據(jù)中心。
[0091] 控制器500可以通過使用在一個(gè)或多個(gè)計(jì)算機(jī)器（包括物理計(jì)算機(jī)，服務(wù)器等等） 上運(yùn)行的軟件，以及在物理計(jì)算機(jī)以及服務(wù)器上運(yùn)行的虛擬機(jī)來實(shí)現(xiàn)。例如，圖11中所描 繪的每一模塊或引擎都可以包括單獨(dú)的軟件模塊、組件、一組模塊、組件、庫等等。出于解釋 的目的，選擇了被描繪成通過控制器500來實(shí)現(xiàn)的模塊和引擎，以示出用于實(shí)現(xiàn)由控制器 500支持的整體功能的軟件模塊、組件等等的示例性組。類似的功能可以使用較大或較小數(shù) 量的軟件模塊和組件來支持，所示出的模塊和組件組不是限制性的，僅僅是示例性的。
[0092] 雖然參考特定實(shí)現(xiàn)方式描述了一些實(shí)施例，但根據(jù)一些實(shí)施例，其他實(shí)現(xiàn)方式也 是可能的。另外，附圖中所示的和/或本文描述的元件或其它特征的配置和/或順序不需 要以所示和所描述的特定方式安排。根據(jù)某些實(shí)施例很多其它配置也是可能的。
[0093] 在附圖中示出的每個(gè)系統(tǒng)中，在一些情況下的元件可分別具有相同附圖標(biāo)記或不 同的附圖標(biāo)記，以暗示所表示的元件可能不同和/或相似。然而，元件是足夠靈活的以具有 不同的實(shí)現(xiàn)并與本文所示或所描述的系統(tǒng)中的部分或全部一起操作。附圖中所示的各元件 可以相同或不同。將哪個(gè)稱為第一元件以及將哪個(gè)稱為第二元件是任意的。
[0094] 在說明書和權(quán)利要求書中，可使用術(shù)語耦合摂和連接摂及其衍生詞。應(yīng)當(dāng)理解，這 些術(shù)語并不旨在作為彼此的同義詞。相反，在具體實(shí)施例中，"連接的"用于指示兩個(gè)或更 多個(gè)要素彼此直接物理或電接觸。"耦合的"可表示兩個(gè)或更多個(gè)元件直接物理或電接觸。 然而，"耦合的"也可表示兩個(gè)或更多個(gè)元件并未彼此直接接觸，但是仍然彼此協(xié)作、彼此相 互作用。
[0095] 實(shí)施例是本發(fā)明的實(shí)現(xiàn)或示例。說明書中對"實(shí)施例"、"一個(gè)實(shí)施例"、"一些實(shí)施 例"或其它實(shí)施例摂?shù)囊帽硎窘Y(jié)合這些實(shí)施例描述的特定特征、結(jié)構(gòu)或特性被包括在本 發(fā)明的至少一些實(shí)施例中，而不一定在所有的實(shí)施例中。各處出現(xiàn)的"實(shí)施例"、"一個(gè)實(shí)施 例"或"一些實(shí)施例"不一定都指相同的實(shí)施例。
[0096] 并非本文中描述和示出的所有組件、特征、結(jié)構(gòu)、特性等等都需要被包括在特定實(shí) 施例或多個(gè)實(shí)施例中。例如，如果說明書陳述"可"、"可能"或"能夠"包括組件、特征、結(jié)構(gòu) 或特性，則不一定包括該特定組件、特征、結(jié)構(gòu)或特性。如果說明書或權(quán)利要求書提到"一" 或"一個(gè)"元件，則這并不意味著僅有一個(gè)該元件。如果說明書或權(quán)利要求書引用"額外的" 元素，則不排除有一個(gè)以上的額外的元素。
[0097] 如上文所討論的，此處的各實(shí)施例的各方面可以通過對應(yīng)的軟件和/或固件組件 以及應(yīng)用程序，諸如在由服務(wù)器刀片、服務(wù)器模塊、獨(dú)立服務(wù)器等等主存的虛擬機(jī)上運(yùn)行 的，或直接在服務(wù)器刀片、服務(wù)器模塊、獨(dú)立服務(wù)器等等的處理器上運(yùn)行的軟件，來促進(jìn)。 如此，本發(fā)明的各實(shí)施例可以被用作或支持在某種形式的處理核（諸如計(jì)算機(jī)或服務(wù)器 的CPU、多核處理器的一個(gè)或多個(gè)核）上執(zhí)行的軟件程序、軟件模塊、固件，和/或分布式軟 件），在處理器或核上運(yùn)行的，或以別的方式在機(jī)器可讀取的介質(zhì)上面或其內(nèi)實(shí)現(xiàn)的虛擬 機(jī)。機(jī)器可讀介質(zhì)包括用于存儲或傳送機(jī)器（例如，計(jì)算機(jī)）可讀形式的信息的任何機(jī)制。 例如，機(jī)器可讀介質(zhì)可包括只讀存儲器（ROM)、隨機(jī)存取存儲器（RAM)、磁盤存儲介質(zhì)、光存 儲介質(zhì)，以及閃存設(shè)備等。
[0098] 上文對本發(fā)明的所示出的本發(fā)明的各實(shí)施例的描述，包括在摘要所描述的，不是 詳盡的，或?qū)⒈景l(fā)明限于上文所公開的準(zhǔn)確的形式。盡管為了說明，此處描述了本發(fā)明的具 體實(shí)施例以及示例，但是，如那些精通相關(guān)技術(shù)的人所理解的，各種可能的等效的修改也都 在本發(fā)明的范圍內(nèi)。
[0099] 可以根據(jù)上面的詳細(xì)描述摂對本發(fā)明進(jìn)行這些修改。后面的權(quán)利要求中所使用的 術(shù)語不應(yīng)該被理解為將本發(fā)明限制于說明書和附圖中所公開的特定實(shí)施例。相反，本文的 范圍完全由下列權(quán)利要求書來確定，權(quán)利要求書根據(jù)權(quán)利要求解釋的建立的原則來解釋。
【權(quán)利要求】
1. 一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括以下步驟： 自動地收集用作用于判斷是否在數(shù)據(jù)中心之間執(zhí)行虛擬服務(wù)器遷移的輸入的數(shù)據(jù)，所 述數(shù)據(jù)是從多個(gè)數(shù)據(jù)中心中的每一個(gè)收集的并包括由多個(gè)代理在多個(gè)級別收集到的數(shù)據(jù)， 其中，所述數(shù)據(jù)包括， 與虛擬機(jī)利用率有關(guān)的數(shù)據(jù)； 與電利用成本有關(guān)的數(shù)據(jù)； 與數(shù)據(jù)中心利用率有關(guān)的數(shù)據(jù)；以及 與觸發(fā)器事件有關(guān)的數(shù)據(jù)；以及 處理收集到的所述數(shù)據(jù)，以判斷是否將虛擬服務(wù)器從第一數(shù)據(jù)中心遷移到第二數(shù)據(jù)中 心。
2. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于，所述多個(gè)代理包括： 對于下列各項(xiàng)中的至少一項(xiàng)的相應(yīng)的代理， 數(shù)據(jù)中心級別； 房間或分區(qū)級別；以及 服務(wù)器集群級別； 對于下列各項(xiàng)中的至少一項(xiàng)的相應(yīng)的代理， 服務(wù)器級別； 服務(wù)器基座級別；以及 集群級別的代理，以及 其中，所述多個(gè)代理被配置成實(shí)現(xiàn)用于與另一級別中的代理中的至少一個(gè)進(jìn)行通信的 一個(gè)或多個(gè)應(yīng)用程序接口（API)，以及被實(shí)現(xiàn)為處理收集到的所述數(shù)據(jù)以判斷是否要遷移 虛擬服務(wù)器的控制器。
3. 如權(quán)利要求2所述的方法，進(jìn)一步包括使用虛擬機(jī)管理器（VMM)級別的被配置成收 集與虛擬機(jī)利用率有關(guān)的數(shù)據(jù)的多個(gè)代理。
4. 如權(quán)利要求3所述的方法，進(jìn)一步包括使用虛擬機(jī)（VM)級別的多個(gè)代理，其中，所述 所述VM級別的多個(gè)代理被配置成將VM利用率數(shù)據(jù)傳遞到所述VMM級別的所述代理，所述 VMM級別的代理被配置成聚集從多個(gè)VM代理收集到的與由所述VMM主存的VM的利用率有 關(guān)的VM利用率數(shù)據(jù)，所述VM級別的所述代理進(jìn)一步被配置成將所述聚集的VM利用率數(shù)據(jù) 傳遞到較低級別的代理和所述控制器中的至少一個(gè)。
5. 如權(quán)利要求2所述的方法，其特征在于，在代理層次結(jié)構(gòu)中配置了所述代理，根據(jù)該 層次結(jié)構(gòu)，所述層次結(jié)構(gòu)的較低級別的代理從所述代理層次結(jié)構(gòu)的較高的級別代理收集并 聚集數(shù)據(jù)。
6. 如前面的權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，判斷是否執(zhí)行虛擬服務(wù)器 遷移包括節(jié)省/成本分析，包括考慮作為虛擬服務(wù)器的遷移的結(jié)果的預(yù)計(jì)的數(shù)據(jù)傳輸成 本。
7. 如前面的權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，還包括： 如果判斷遷移所述虛擬服務(wù)器，則自動地啟動多個(gè)虛擬服務(wù)器從所述第一數(shù)據(jù)中心向 所述第二數(shù)據(jù)中心的遷移，其中自動地啟動所述多個(gè)虛擬服務(wù)器的遷移包括標(biāo)識要遷移到 哪些虛擬服務(wù)器實(shí)例。
8. 如前面的權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，與電利用成本有關(guān)的所述 數(shù)據(jù)包括每個(gè)能量單位的當(dāng)前成本和所述多個(gè)數(shù)據(jù)中心中的每一個(gè)的當(dāng)前消耗級別，以及 關(guān)于是否要遷移虛擬服務(wù)的判斷包括至少部分地基于所述當(dāng)前消耗級別，考慮所述每個(gè)能 量單位的當(dāng)前成本以及預(yù)計(jì)的每個(gè)能量單位的未來成本。
9. 如權(quán)利要求1所述的方法，其特征在于，與虛擬機(jī)利用率有關(guān)的數(shù)據(jù)包括在每服務(wù) 器刀片或服務(wù)器模塊級別、在刀片式服務(wù)器或服務(wù)器模塊底座級別或在多刀片服務(wù)器或服 務(wù)器模塊底座級別的聚集中的一項(xiàng)或多項(xiàng)聚集的虛擬服務(wù)器平均功率消耗率。
10. 如前面的權(quán)利要求所述的方法，其特征在于，涉及觸發(fā)器事件的所述數(shù)據(jù)包括高能 量利用率閾值和低能量利用率閾值觸發(fā)器中的至少一項(xiàng)，其中，響應(yīng)于給定數(shù)據(jù)中心的高 能量利用率閾值或低能量利用率閾值的實(shí)際或預(yù)計(jì)的交叉，觸發(fā)遠(yuǎn)離所述數(shù)據(jù)中心的虛擬 服務(wù)器遷移。
11. 如前面的權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，進(jìn)一步包括使用數(shù)據(jù)收 集周期，根據(jù)該數(shù)據(jù)收集周期，由控制器使用拉模型和推模型中的一個(gè)或多個(gè)收集數(shù)據(jù)，其 中，所述數(shù)據(jù)是對于所述數(shù)據(jù)中心中的每一個(gè)收集的，且包括數(shù)據(jù)中心簡檔數(shù)據(jù)，本地電力 公司數(shù)據(jù)和本地天氣數(shù)據(jù)。
12. 如前面的權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，收集的每一個(gè)數(shù)據(jù)中心的 所述數(shù)據(jù)還包括本地環(huán)境數(shù)據(jù)。
13. 如前面的權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，還包括： 預(yù)測未來能源消耗級別；以及 向能源市場競標(biāo)提交購買電能的出價(jià)，其中，所述出價(jià)包括單一價(jià)格/數(shù)量組合、導(dǎo)致 階梯式的價(jià)格/數(shù)量出價(jià)曲線的多個(gè)價(jià)格/數(shù)量組合中的一項(xiàng)或多項(xiàng)，所述出價(jià)是由一個(gè) 數(shù)學(xué)函數(shù)所定義的價(jià)格/數(shù)量出價(jià)曲線或一組定義價(jià)格/質(zhì)量出價(jià)曲線的一組價(jià)格/數(shù)量 數(shù)據(jù)點(diǎn)，其中，所述出價(jià)部分地基于預(yù)測的未來能源消耗級別。
14. 如前面的權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，還包括： 響應(yīng)于服務(wù)縮放事件，處理收集到的所述數(shù)據(jù)，以確定數(shù)據(jù)中心以實(shí)例化額外的虛擬 服務(wù)器以支持所述服務(wù)的擴(kuò)大。
15. 在其上存儲了多個(gè)指令的非瞬時(shí)機(jī)器可讀的介質(zhì)，包括被配置成在至少一個(gè)計(jì)算 機(jī)上執(zhí)行以實(shí)現(xiàn)控制器操作的多個(gè)模塊，包括： 收集要用作用于判斷是否在數(shù)據(jù)中心之間執(zhí)行虛擬服務(wù)器遷移的輸入的數(shù)據(jù)，所述數(shù) 據(jù)是從多個(gè)數(shù)據(jù)中心中的每一個(gè)收集到的，并包括由多個(gè)代理在多個(gè)級別收集的數(shù)據(jù)，其 中，所述數(shù)據(jù)包括， 與虛擬機(jī)利用率有關(guān)的數(shù)據(jù)； 與電利用成本有關(guān)的數(shù)據(jù)； 與數(shù)據(jù)中心利用率有關(guān)的數(shù)據(jù)；以及 與觸發(fā)器事件有關(guān)的數(shù)據(jù)；以及 處理收集到的所述數(shù)據(jù)，以判斷是否將虛擬服務(wù)器從第一數(shù)據(jù)中心遷移到第二數(shù)據(jù)中 心。
16. 如權(quán)利要求15所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述多個(gè)模塊包括： 數(shù)據(jù)收集器模塊，所述數(shù)據(jù)收集器模塊被配置成從多個(gè)代理收集和接收數(shù)據(jù)以及通過 多個(gè)門戶收集數(shù)據(jù)中的至少一項(xiàng)，包括被配置成提供對電能數(shù)據(jù)的訪問的電力公司門戶以 及被配置成提供對天氣數(shù)據(jù)的訪問的天氣門戶； 事件處理程序，所述事件處理程序被配置成收集和接收涉及數(shù)據(jù)中心操作條件和事件 的數(shù)據(jù)中的至少一項(xiàng)， 其中，所述控制器在判斷是否觸發(fā)所述第一和第二數(shù)據(jù)中心之間的服務(wù)器遷移時(shí)至少 部分地使用所述事件處理程序。
17. 如權(quán)利要求16所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述多個(gè)模塊包括： 數(shù)據(jù)儲存庫模塊，所述數(shù)據(jù)儲存庫模塊被配置成存儲由所述數(shù)據(jù)收集器收集到的數(shù) 據(jù)； 統(tǒng)計(jì)模塊，所述統(tǒng)計(jì)模塊被配置成對由所述數(shù)據(jù)儲存庫模塊存儲的數(shù)據(jù)執(zhí)行統(tǒng)計(jì)操 作，以生成數(shù)據(jù)中心操作統(tǒng)計(jì)數(shù)據(jù)；以及 預(yù)測模塊，所述預(yù)測模塊被配置成基于所述數(shù)據(jù)中心操作統(tǒng)計(jì)數(shù)據(jù)，預(yù)測未來數(shù)據(jù)中 心操作參數(shù)。
18. 如權(quán)利要求15-17中的任一項(xiàng)所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述多 個(gè)模塊包括： 遷移/縮放判斷引擎，被配置成， 接收與數(shù)據(jù)中心操作、事件以及成本有關(guān)的輸入數(shù)據(jù)；以及 處理所述輸入數(shù)據(jù)，以判斷是否將執(zhí)行數(shù)據(jù)中心之間的虛擬服務(wù)器遷移；以及 處理所述輸入數(shù)據(jù)，以判斷是否將通過添加虛擬服務(wù)器來縮放服務(wù)，并標(biāo)識將向所述 多個(gè)數(shù)據(jù)中心中的哪一個(gè)添加補(bǔ)充的虛擬服務(wù)器。
19. 如權(quán)利要求15-18中的任一項(xiàng)所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述多 個(gè)模塊包括： 數(shù)據(jù)傳輸成本模塊，所述數(shù)據(jù)傳輸成本模塊被配置成確定與在數(shù)據(jù)中心之間執(zhí)行虛擬 服務(wù)器遷移有關(guān)的數(shù)據(jù)傳輸成本，包括在所述數(shù)據(jù)中心之間傳輸數(shù)據(jù)的成本，與在完成所 述服務(wù)器遷移之后用戶接入有關(guān)的傳輸成本的變化。
20. 如權(quán)利要求15-19中的任一項(xiàng)所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述多 個(gè)模塊包括： 節(jié)省/成本引擎，所述節(jié)省/成本引擎被配置成接收與數(shù)據(jù)中心操作和服務(wù)器遷移成 本有關(guān)的多個(gè)輸入并且預(yù)計(jì)涉及數(shù)據(jù)中心之間的虛擬服務(wù)器遷移的估計(jì)的操作節(jié)省和成 本。
21. 在其上存儲了多個(gè)指令的非瞬時(shí)機(jī)器可讀的介質(zhì)，包括被配置成在包括數(shù)據(jù)中心 中的計(jì)算機(jī)器的多個(gè)分布式計(jì)算機(jī)器上實(shí)現(xiàn)的多個(gè)模塊，所述多個(gè)模塊包括： 虛擬機(jī)封裝模塊，所述虛擬機(jī)封裝模塊被配置成生成與數(shù)據(jù)中心中的虛擬機(jī)利用率有 關(guān)的數(shù)據(jù)； 電力成本簡檔模塊，所述電力成本簡檔模塊被配置成生成與所述數(shù)據(jù)中心的電利用成 本有關(guān)的數(shù)據(jù)； 數(shù)據(jù)中心簡檔模塊，所述數(shù)據(jù)中心簡檔模塊被配置成生成與數(shù)據(jù)中心利用率有關(guān)的數(shù) 據(jù)； 轉(zhuǎn)變觸發(fā)器模塊，所述轉(zhuǎn)變觸發(fā)器模塊被配置成生成與轉(zhuǎn)變觸發(fā)器事件有關(guān)的數(shù)據(jù)； 以及 控制器模塊，所述控制器模塊被配置成從多個(gè)不同的數(shù)據(jù)中心接收包括由所述虛擬機(jī) 封裝模塊、所述電力成本簡檔模塊、所述數(shù)據(jù)中心簡檔模塊以及所述轉(zhuǎn)變觸發(fā)器模塊中的 每一個(gè)所生成的數(shù)據(jù)的輸入，并處理所述輸入，以判斷是否在數(shù)據(jù)中心之間遷移在所述數(shù) 據(jù)中心上運(yùn)行的虛擬服務(wù)器。
22. 如權(quán)利要求21所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述電力成本簡檔模 塊被配置成檢索與所述數(shù)據(jù)中心的電利用價(jià)格有關(guān)的數(shù)據(jù)，并生成所述數(shù)據(jù)中心的現(xiàn)在和 將來電利用價(jià)格數(shù)據(jù)中的至少一項(xiàng)，并將所述電利用價(jià)格數(shù)據(jù)傳遞到所述數(shù)據(jù)中心簡檔模 塊和所述控制器模塊中的至少一項(xiàng)。
23. 如權(quán)利要求21或22所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述轉(zhuǎn)變觸發(fā)器 模塊被配置成接收由所述數(shù)據(jù)中心簡檔所生成的數(shù)據(jù)，并響應(yīng)于檢測到多個(gè)轉(zhuǎn)變觸發(fā)器事 件和/或條件，生成轉(zhuǎn)變觸發(fā)器，所述轉(zhuǎn)變觸發(fā)器事件包括高能量利用率閾值交叉和低能 量利用率閾值交叉中的至少一項(xiàng)，其中，響應(yīng)于給定數(shù)據(jù)中心的高能量利用率閾值或低能 量利用率閾值的實(shí)際或預(yù)計(jì)的交叉，觸發(fā)遠(yuǎn)離所述數(shù)據(jù)中心的虛擬服務(wù)器遷移。
24. 如權(quán)利要求21-23中的任一項(xiàng)所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，所述多 個(gè)模塊包括多個(gè)代理和多個(gè)應(yīng)用程序接口（API)，其中，所述多個(gè)代理被配置成在包括多個(gè) 代理級別的代理層次結(jié)構(gòu)中實(shí)現(xiàn)，所述代理使用所述多個(gè)API來促進(jìn)所述代理層次結(jié)構(gòu)中 的不同級別的所述代理之間的通信。
25. 如權(quán)利要求21-23中的任一項(xiàng)所述的非瞬時(shí)機(jī)器可讀的介質(zhì)，其特征在于，與電利 用成本有關(guān)的所述數(shù)據(jù)包括所述多個(gè)數(shù)據(jù)中心中的每一個(gè)的每個(gè)能量單位的當(dāng)前成本和 當(dāng)前消費(fèi)級別，其中，所述控制器模塊被配置成至少部分地基于所述每個(gè)能量單位的當(dāng)前 成本、每個(gè)能量單位的預(yù)計(jì)的未來成本以及所述當(dāng)前消費(fèi)級別的考慮，來判斷是否遷移虛 擬服務(wù)器。
【文檔編號】G06Q50/06GK104516768SQ201410499480
【公開日】2015年4月15日 申請日期:2014年9月25日 優(yōu)先權(quán)日:2013年9月26日
【發(fā)明者】C·帕弗拉斯, D·C·洪, S·P·杜巴爾, E·M·卡普勒, P·康納, M·A·賈德 申請人:英特爾公司