用于多節(jié)點環(huán)境中的動態(tài)節(jié)點修復(fù)的方法和裝置的制造方法
【專利說明】
【背景技術(shù)】
[0001]數(shù)據(jù)中心的發(fā)展以及向著百億億級高性能計算的驅(qū)動創(chuàng)建了向著增加的節(jié)點密度的長期的平臺趨勢。需要將多個CPU(中央處理單元)節(jié)點容納在公共的板、卡或甚至封裝襯底中。為了實現(xiàn)平臺成本、密度和功率效率，需要將更多的平臺能力吸收到更少的部件中。當(dāng)前，計算架構(gòu)要求每CPU節(jié)點專用的平臺控制器中心(PCH)，這迫使在具有多個CPU或CPU聯(lián)合體的共享板上的PCH的多個實例。
[0002]將現(xiàn)有的平臺架構(gòu)縮至密集規(guī)格會使得在每一個計算節(jié)點中大量功能的不必要的重復(fù)，并且會產(chǎn)生密集規(guī)格平臺所特有的一些新的問題。對未來系統(tǒng)解決方案的高密度值的主張由每節(jié)點專用的PCH的需要影響。通過將PCH功能單片集成到CPU管芯中來消除PCH不是功率高效/面積高效的，并且也沒有提供可擴展的解決方案。因此，存在對將降低或消除平臺上的冗余并且滿足密集平臺的要求的改進的平臺架構(gòu)的需求。
[0003]—種增加規(guī)格密度的方法是采用多節(jié)點感知的平臺控制器中心(MN-PCH)。在這種方案下，單個MN-PCH被配置為替換由常規(guī)的多節(jié)點共享的板架構(gòu)下的多個PCH所提供的功能。較長期數(shù)據(jù)指示從傳統(tǒng)的8插槽無膠合服務(wù)器或4個插槽服務(wù)器轉(zhuǎn)移到2個插槽的具有更高RAS(可靠性、可用性和服務(wù)能力)的系統(tǒng)的基于關(guān)鍵任務(wù)的計算的值。這不會降低5-9’ s可靠性標(biāo)準(zhǔn)，但是要求較新的系統(tǒng)架構(gòu)不能遭受芯片組互連的故障。為了實現(xiàn)這種較可靠的系統(tǒng)，該系統(tǒng)架構(gòu)需要確保當(dāng)芯片組部件耦合到MN-PCH時支持這種使用。
【附圖說明】
[0004]當(dāng)結(jié)合附圖時，通過參考以下【具體實施方式】，本發(fā)明的上述方面以及許多伴隨的優(yōu)勢將變得更容易意識到，同時也會變得更好理解，其中，在各種視圖中，類似的附圖標(biāo)記指代類似的部件，除非另做指定:
[0005]圖1是包括被配置為支持沒有冗余的4個節(jié)點的MN-PCH的示例性多節(jié)點平臺架構(gòu)的示意圖；
[0006]圖1a是包括被重新配置為支持使用冗余的主接口和部件以及備份接口和部件的兩個節(jié)點的圖1的MN-PCH的示例性多節(jié)點平臺架構(gòu)的示意圖；
[0007]圖2是示出了根據(jù)一個實施例的圖1的MN-PCH的內(nèi)部結(jié)構(gòu)的示意圖；
[0008]圖2a是示出了在被重新配置為支持冗余的主和備份接口及部件之后的圖2的MN-PCH的內(nèi)部結(jié)構(gòu)的示意圖；
[0009]圖3a、3b和3c共同地包括示出了根據(jù)一個實施例的用于響應(yīng)于檢測到接口和部件故障或有故障條件而實現(xiàn)自動節(jié)點修復(fù)的操作及邏輯的流程圖；
[0010]圖4是示出了根據(jù)一個實施例的采用被配置為支持動態(tài)節(jié)點修復(fù)的MN-PCH的多節(jié)點計算平臺的系統(tǒng)架構(gòu)400的示意圖；以及
[0011]圖4a是示出了根據(jù)一個實施例的對在其中處理器支持其DMI接口的動態(tài)修復(fù)的系統(tǒng)架構(gòu)400進行擴充的示意圖。
【具體實施方式】
[0012]本文描述了用于多節(jié)點環(huán)境中的動態(tài)節(jié)點修復(fù)的方法和裝置的實施例。在以下描述中，闡述了大量具體細節(jié)以提供對本文公開并示出的實施例的充分理解。然而，相關(guān)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)意識到，本發(fā)明可以在沒有所述具體細節(jié)中的一個或多個，或者利用其他方法、部件、材料等的情況下實施。在其他實例中，沒有示出或具體描述公知的結(jié)構(gòu)、材料或操作，以避免使本發(fā)明的多個方面難以理解。
[0013]為了清楚，本文附圖中的單獨部件還可以通過其在附圖中的標(biāo)簽而不是特定的附圖標(biāo)記來進行指代。另外，指代特定類型的部件的附圖標(biāo)記(與特定部件不同)可以使用后帶表示“典型”的“(typ) ”的附圖標(biāo)記示出。應(yīng)當(dāng)理解的是，這些部件的配置是可能存在但為了簡潔及清楚而未在附圖中示出的類似部件的典型配置，或者未用單獨的附圖標(biāo)記進行標(biāo)記的類似部件的典型配置。相反，“ (typ) ”不應(yīng)被解釋為表示該部件、元件等典型地用于其所公開的功能、實現(xiàn)、目的等。
[0014]圖1示出了根據(jù)一個實施例的包括被配置為支持4個節(jié)點(節(jié)點1、節(jié)點2、節(jié)點3和節(jié)點4)的MN-PCH 102的平臺架構(gòu)100。除了支持所示的4個節(jié)點之外，架構(gòu)100通?？梢詳U展為支持N個節(jié)點，例如但不限于6個節(jié)點、8個節(jié)點等。在一個實施例中，MN-PCH102支持用于與其連接的每一個CPU聯(lián)合體進行帶內(nèi)通信的DMI (直接媒體接口 )鏈路，如由DMI鏈路104、105、106和107、以及相應(yīng)的DMI接口 1041、1051、106i和107i所描繪的。另外，當(dāng)將信令聚集到平臺的其余部分時，MN-PCH2支持用于每個節(jié)點進行帶外通信的一組專用的信號。
[0015]通常，MN-PCH 102被配置為支持與專用PCH提供給多個節(jié)點中每一個的功能相類似的功能，但是使用單個的集成PCH而不是獨立的專用PCH。這包括用于針對節(jié)點1、節(jié)點
2、節(jié)點3和節(jié)點4的每一個實現(xiàn)各種類型的I/O互連和鏈路的裝置，例如，USB(通用串行總線)控制器106、串行高級技術(shù)附件(SATA)控制器108、串行管理總線(SMB)控制器110以及多組傳統(tǒng)(legacy)裝置(iLB)112。
[0016]MN-PCH 102進一步包括管理引擎(ME) 114、創(chuàng)新引擎(IE) 116和管理(MGB)子系統(tǒng)117。在一個實施例中，ME 114被實現(xiàn)為聚合的安全和管理引擎(CSME)。在一些實施例中，原始設(shè)備制造商(OEM)可能希望使用定制的功能來對ME 114提供的裝置進行擴充。這些可以通過IE 116來實現(xiàn)，IE 116也被稱為(EM創(chuàng)新引擎。通常，使用IE 116是可選的。MGB子系統(tǒng)與ME 114和IE 116 (如果使用)交互操作，以執(zhí)行平臺管理操作。
[0017]在針對每一個CPU使用專用PCH的傳統(tǒng)平臺架構(gòu)的情況下，可以使用合適的控制器(例如，經(jīng)由串行外圍接口(SPI)總線控制器或增強的SPI (eSPI)控制器)來訪問固件存儲設(shè)備及其他外圍設(shè)備。在一個實施例中，使用與傳統(tǒng)PCH提供的控制器和接口類似的控制器和接口，除了在節(jié)點之間共享控制器和/或接口之外。例如，在一個實施例中，包括用于所有節(jié)點的B1S啟動映像的固件被包含在單個閃存設(shè)備中，所述單個閃存設(shè)備可以位于MN-PCH本地，如經(jīng)由互連119耦合到SPI控制器120的閃存存儲設(shè)備118所描繪的，或與其遠程附連的(例如，在基板管理控制器(BMC)(未示出)后面)。SPI閃存設(shè)備可以支持用于每一個節(jié)點的獨立B1S區(qū)域，或者支持用于所有節(jié)點的公共基礎(chǔ)B1S，加上用于個性化的每節(jié)點的額外的B1S區(qū)域。MN-PCH 102支持每節(jié)點的專用啟動驅(qū)動，或者公共的共享啟動驅(qū)動。在一個實施例中，MN-PCH 102還支持動態(tài)硬件分區(qū)。
[0018]如所示出的，閃存存儲設(shè)備118的地址空間被劃分為多個區(qū)域，包括:其中設(shè)置有芯片組軟程序的閃存描述符O(FDO)區(qū)域122;以及用于存儲管理控制單元固件(MCUFff) 124、IE固件126、節(jié)點I固件128、節(jié)點2固件130、節(jié)點3固件132、節(jié)點4固件134和公共節(jié)點固件136的區(qū)域。使用單個SPI控制器和閃存存儲設(shè)備互連消除了對用于每一個節(jié)點的獨立的SPI控制器和/或閃存存儲設(shè)備的需求。
[0019]MN-PCH 102提供了專用的一組傳統(tǒng)裝置(iLB)，例如，在每節(jié)點基礎(chǔ)上的中斷控制器、計時器、GP1和SMBus。MN-PCH 102支持隔離的錯誤處理和恢復(fù)，使得沿著一個節(jié)點的數(shù)據(jù)路徑檢測到的錯誤不會影響任何其他節(jié)點，除非是不可恢復(fù)的全局重置情況。
[0020]MN-PCH 102利用每節(jié)點的專用帶內(nèi)和帶外管理通信信道來支持用于所有節(jié)點的公共管理引擎。MN-PCH還提供OEM FW(原始設(shè)備制造商固件)(例如，創(chuàng)新引擎)的放置點，以用于多節(jié)點管理。
[0021]圖2示出了根據(jù)一個實施例的說明了 MN-PCH 102的進一步細節(jié)的內(nèi)部架構(gòu)圖。MN-PCH 102支持的能力由包括高帶寬根結(jié)構(gòu)200和低帶寬子結(jié)構(gòu)202的內(nèi)部主干結(jié)構(gòu)互連。該內(nèi)部主干結(jié)構(gòu)被配置為對多個正交尋址空間進行處理，MN-PCH 102有效地利用該主干結(jié)構(gòu)以進一步在部件級實現(xiàn)對能力的聚合。此外，多根空間(mult1-root space)感知的內(nèi)部主干結(jié)構(gòu)將這些正交尋址空間保持為隔離，并且保證公共的交換結(jié)構(gòu)可以由多個相干系統(tǒng)共享。
[0022]多節(jié)點PCH架構(gòu)支持用于到獨立節(jié)點的專用上行鏈路連接的多個DMI鏈路。對于示例性的4個節(jié)點的情況，其包括耦合到高帶寬根構(gòu)造200的4個DMI接口 1041、1051、106?和107i，它們?yōu)楣?jié)點1、節(jié)點2、節(jié)點3和節(jié)點4的每一個提供相應(yīng)的DMI接口。
[0023]在一個實施例中，由耦合到子結(jié)構(gòu)202的部件提供了啟動和傳統(tǒng)能力(重置/定序、啟動、中斷、計時器、GP1等)。在所示出的實施例中，這些部件包括在節(jié)點間共享的功率管理控制器(PMC) 208和SPI控制器210，以及用于節(jié)點1、節(jié)點2、節(jié)點3和節(jié)點4的每一個的相應(yīng)的一組傳統(tǒng)1裝置212。重置和啟動塊支持用于與每一個節(jié)點中的單獨的根空間進行通信的多個PCI報頭。PMC 208增強了單節(jié)點定序邏輯，以能夠獨立地處理每一個節(jié)點的重置定序。同樣地，SPI控制器210提供到啟動映像的路徑、支持每節(jié)點專用報頭、并且控制對啟動設(shè)備內(nèi)的隔離區(qū)域的訪問。由傳統(tǒng)1塊212支持的多個傳統(tǒng)能力使用固定的存儲器或1地址，并且被重復(fù)多次以覆蓋MN-PCH 102所支持的所有節(jié)點。
[0024]在一個實施例中，MN-PCH 102支持每節(jié)點專用的平臺級別信號，以用于每節(jié)點功率傳送控制。其結(jié)果是，單獨的節(jié)點可以執(zhí)行狀態(tài)轉(zhuǎn)變和主機分區(qū)重置，而不影響其他節(jié)點。用于單獨的節(jié)點的重置定序流是相互獨立的，并且可以由PMC 208交錯進行。
[0025]用于節(jié)點1、節(jié)點2、節(jié)點3和節(jié)點4的每一個的相應(yīng)組的高速1(HS1)控制器214附連到高帶寬根結(jié)構(gòu)200。在所示出的實施例中，每一個HS1控制器214包括PCIe控制器216、SATA控制器218和USB控制器220。除了所示的HS1控制器之外，還可以提供其他類型的高速控制器和/或接口，例如，可擴展主控制器接口(XHCI)。此外，HS1控制器可以包括相關(guān)聯(lián)的接口的一個或多個實例(例如，多個PCIe、SATA和/或USB接口)。
[0026]MN-PCH 102的高速1能力(例如，由PCIe控制器216、SATA控制器218和USB控制器220提供的)在一組通用物理通道(lane)中是高度可配置的。這些通道可以被靈活地映射到各種集成1控制器(未示出)。另外，在初始啟動序列期間，每一個控制器可以被配置給任意節(jié)點。這允許客戶在系統(tǒng)支持的節(jié)點中劃分1能力。在一個舉例示出性的配置中，可以對該I/o通道進行劃分，以向每一個節(jié)點提供各種1協(xié)議的相等數(shù)量的通道。在另一配置中，通過將所有SATA分配給單個節(jié)點，一個節(jié)點可以被配置用于最小啟動支持，而另一節(jié)點被配置用于容量存儲。具有較少節(jié)點的系統(tǒng)甚至可以對未用的上行鏈路進行重設(shè)，以支持下游設(shè)備。此外，用于主HS1控制器的通道的數(shù)量可以與用于備用HS1控制器的通道的數(shù)量不同，如以下將描述及示出的。這種按照每系統(tǒng)需求靈活地使用可用數(shù)量的通道的能力大大地擴展了客戶專用配置的可能性。
[0027]MN-PCH 102還支持基于附加的微控制器的子系統(tǒng)，以提供平臺、框架和/或裝置級別管理能力。這包括ME 222和IE 224。ME 222包括微控制器226和管理子系統(tǒng)228。類似地，IE 224包括微控制器230和管理子系統(tǒng)232。在一個實施例中，這些ME和IE管理子系統(tǒng)具有主機接口，但是也可以獨立于主機操作。
[0028]管理引擎(ME/CSME/IE)同樣支持用于每一個節(jié)點的專用接口，同時在每節(jié)點的基礎(chǔ)上提供對管理傳感器和1的訪問。運行在微控制器226和230上的固件(例如，MCU固件124和IE固件126)是多節(jié)點感知的，并且允許ME和/或IE的單個實例對系統(tǒng)中的所有節(jié)點進行服務(wù)。按照每客戶需求，ME/IE可以與單個多節(jié)點感知的BMC進行通信或者與每節(jié)點的專用BMC通信。
[0029]在一些實施例中，多節(jié)點PCH可以被