專利名稱：節(jié)點(diǎn)控制器、并行計(jì)算服務(wù)器系統(tǒng)以及路由方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，尤其涉及節(jié)點(diǎn)控制器、并行計(jì)算服務(wù)器系統(tǒng)以及路由方法。
背景技術(shù)：
當(dāng)前的IT發(fā)展趨勢逐漸向高端服務(wù)器領(lǐng)域拓展，對于大數(shù)據(jù)處理，云存儲(chǔ)和計(jì)算的需求激增，此類應(yīng)用對系統(tǒng)的內(nèi)存空間和處理器的個(gè)數(shù)有較大需求，采用一致性緩存非均勻存儲(chǔ)訪問(Cache coherence Non-Uniform Memory Access,CC-NUMA)架構(gòu)的并行計(jì)算服務(wù)器系統(tǒng)可以滿足此類市場需求。如圖1所示，為現(xiàn)有技術(shù)中的一種CC-NUMA架構(gòu)下的計(jì)算服務(wù)器系統(tǒng)的結(jié)構(gòu)組成示意圖。如圖1所示，在CC-NUMA架構(gòu)并行計(jì)算服務(wù)器系統(tǒng)中，利用處理器之間的高速互聯(lián)接口，采用多個(gè)處理器直連的方式來構(gòu)成計(jì)算服務(wù)器系統(tǒng)，在系統(tǒng)中，各個(gè)處理器共享整個(gè)系統(tǒng)的內(nèi)存空間，所有處理器協(xié)同處理系統(tǒng)事務(wù)。但是，由于處理器本身的高速互連接口一般有多組高速差分信號(hào)組成，管腳數(shù)很多，導(dǎo)致處理器芯片的面積較大，所以一般處理器的高速互連接口數(shù)量不多，這樣就導(dǎo)致整個(gè)計(jì)算服務(wù)器系統(tǒng)的規(guī)模受到處理器高速互連接口數(shù)量的限制，一般僅支持8個(gè)處理器直連的方式，嚴(yán)重限制系統(tǒng)規(guī)模；在各個(gè)處理器直連的系統(tǒng)中，可靠性方面較差，如果任何一個(gè)處理器的熱插拔或互連鏈路的損壞都會(huì)導(dǎo)致系統(tǒng)性能下降甚至死機(jī)；途經(jīng)某個(gè)處理器的數(shù)據(jù)過多，路由過于繁忙，也會(huì)導(dǎo)致系統(tǒng)性能的突然下降。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供節(jié)點(diǎn)控制器、并行計(jì)算服務(wù)器系統(tǒng)以及路由方法，可擴(kuò)展計(jì)算服務(wù)器系統(tǒng)的規(guī)模，并提升計(jì)算服務(wù)器系統(tǒng)的性能。本發(fā)明第一方面提供一種節(jié)點(diǎn)控制器，其位于并行計(jì)算服務(wù)器系統(tǒng)中的一個(gè)節(jié)點(diǎn)內(nèi)，可包括:高速互連接口，與所述節(jié)點(diǎn)內(nèi)的處理器的高速互聯(lián)接口相連，用于與所述處理器的高速互連接口互傳數(shù)據(jù)；外部網(wǎng)絡(luò)接口，與所述并行計(jì)算服務(wù)器系統(tǒng)中其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，本發(fā)明的節(jié)點(diǎn)控制器還可包括:節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口，與所述節(jié)點(diǎn)內(nèi)的其他節(jié)點(diǎn)控制器的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)控制器的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口互傳數(shù)據(jù)。本發(fā)明第二方面提供一種并行計(jì)算服務(wù)器系統(tǒng)，其可包括至少一個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)包括至少兩個(gè)處理器和至少一個(gè)節(jié)點(diǎn)控制器:所述至少兩個(gè)處理器通過高速互連接口級(jí)聯(lián)形成封閉鏈路；每個(gè)處理器通過高速互連接口至少與一個(gè)節(jié)點(diǎn)控制器的高速互連接口相連，以通過高速互連接口互傳數(shù)據(jù)；當(dāng)包括至少兩個(gè)節(jié)點(diǎn)控制器時(shí)，每個(gè)節(jié)點(diǎn)控制器通過節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成封閉鏈路，以通過節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口互傳數(shù)據(jù)；每個(gè)節(jié)點(diǎn)控制器通過所述節(jié)點(diǎn)控制器的外部網(wǎng)絡(luò)接口，與其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。結(jié)合第二方面，在第一種可能的實(shí)現(xiàn)方式中，所述至少兩個(gè)處理器還通過高速互連接口與級(jí)聯(lián)鏈路中的其他處理器跨級(jí)相連。結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，本發(fā)明的每個(gè)節(jié)點(diǎn)具體包括4的倍數(shù)個(gè)處理器和2的倍數(shù)個(gè)節(jié)點(diǎn)控制器。結(jié)合第二方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，每個(gè)節(jié)點(diǎn)控制器上連接2個(gè)或4個(gè)處理器。本發(fā)明第三方面提供一種基于本發(fā)明所述的并行計(jì)算服務(wù)器系統(tǒng)的路由方法，其可包括: 第一節(jié)點(diǎn)內(nèi)的第一處理器發(fā)起對同一節(jié)點(diǎn)內(nèi)的第二處理器的內(nèi)存訪問請求；若所述節(jié)點(diǎn)內(nèi)的處理器之間的高速互連接口可用，通過所述節(jié)點(diǎn)內(nèi)的各處理器的高速互連接口級(jí)聯(lián)形成的鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到所述第二處理器；若所述節(jié)點(diǎn)內(nèi)的處理器之間有不可用的高速互連接口，則通過高速互連接口將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第一處理器相連的第一節(jié)點(diǎn)控制器上；若所述第二處理器與所述第一節(jié)點(diǎn)控制器相連，則將所述第一處理器對所述第二處理器的內(nèi)存訪問請求通過所述第一節(jié)點(diǎn)控制器與所述第二處理器之間的高速互連接口路由到所述第二處理器；若所述第二處理器與所述第一節(jié)點(diǎn)控制器不相連，則通過所述節(jié)點(diǎn)內(nèi)節(jié)點(diǎn)控制器之間的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成的封閉鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第二處理器相連的第二節(jié)點(diǎn)控制上，并將所述第一處理器對所述第二處理器的內(nèi)存訪問請求通過所述第二節(jié)點(diǎn)控制器與所述第二處理器之間的高速互連接口路由到所述第二處理器。結(jié)合第二方面，在第一種可能的實(shí)現(xiàn)方式中，所述方法還可包括:第一節(jié)點(diǎn)內(nèi)的第一處理器發(fā)起對第二節(jié)點(diǎn)內(nèi)的第三處理器的內(nèi)存訪問請求；通過高速互連接口將所述第一處理器對所述第三處理器的內(nèi)存訪問請求路由到與所述第一處理器相連的第一節(jié)點(diǎn)控制器上；若所述第三處理器位于的第二節(jié)點(diǎn)內(nèi)的第三節(jié)點(diǎn)控制器與所述第一節(jié)點(diǎn)控制器相連，則將所述第一處理器對所述第三處理器的內(nèi)存訪問請求通過所述第三節(jié)點(diǎn)控制與所述第一節(jié)點(diǎn)控制之間的外部網(wǎng)絡(luò)接口路由到所述第三節(jié)點(diǎn)控制器；若所述第三處理器位于的第二節(jié)點(diǎn)內(nèi)的第三節(jié)點(diǎn)控制器不與所述第一節(jié)點(diǎn)控制器相連，則所述第一節(jié)點(diǎn)控制器通過所述節(jié)點(diǎn)內(nèi)節(jié)點(diǎn)控制器之間的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成的封閉鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第三節(jié)點(diǎn)控制器相連的所述第一節(jié)點(diǎn)內(nèi)的第四節(jié)點(diǎn)控制上，并將所述第一處理器對所述第三處理器的內(nèi)存訪問請求通過所述第三節(jié)點(diǎn)控制與所述第四節(jié)點(diǎn)控制之間的外部網(wǎng)絡(luò)接口路由到所述第三節(jié)點(diǎn)控制器；由所述第三節(jié)點(diǎn)控制器作為發(fā)起端，在所述另一節(jié)點(diǎn)內(nèi)將所述第一處理器對所述第三處理器的內(nèi)存訪問請求路由到所述第三處理器。結(jié)合第三方面或第三方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，當(dāng)處理器之間的高速互連接口的信用證為正常標(biāo)志的持續(xù)時(shí)間超過第一時(shí)間時(shí)，表明所述處理器之間的高速互連接口可用；當(dāng)處理器之間的高速互連接口的信用證為耗盡標(biāo)志的持續(xù)時(shí)間超過第二時(shí)間時(shí)，表明所述處理器之間的高速互連接口不可用。由上可見，在本發(fā)明的一些可行的實(shí)施方式中，在并行計(jì)算服務(wù)器系統(tǒng)中的節(jié)點(diǎn)內(nèi)設(shè)置節(jié)點(diǎn)控制器，所述節(jié)點(diǎn)控制器包括:高速互連接口，與所述節(jié)點(diǎn)內(nèi)的處理器的高速互聯(lián)接口相連，用于與所述處理器的高速互連接口互傳數(shù)據(jù)；所述節(jié)點(diǎn)控制器還包括外部網(wǎng)絡(luò)接口，與所述并行計(jì)算服務(wù)器系統(tǒng)中其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。由此，本發(fā)明實(shí)施例通過節(jié)點(diǎn)控制器的高速互連接口與處理器相連，其解決了處理器直連的方式所帶來的系統(tǒng)性能下降的問題，另一方面，本發(fā)明實(shí)施例通過節(jié)點(diǎn)控制器的外部網(wǎng)絡(luò)接口建立節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接關(guān)系，由此，實(shí)現(xiàn)了并行計(jì)算服務(wù)器系統(tǒng)的無限擴(kuò)展，避免了現(xiàn)有技術(shù)采用處理器的直連的方式對并行計(jì)算服務(wù)器系統(tǒng)規(guī)模的限制。


圖1為現(xiàn)有技術(shù)的并行計(jì)算服務(wù)器系統(tǒng)的一實(shí)施例的結(jié)構(gòu)組成示意圖。圖2為本發(fā)明的并行計(jì)算服務(wù)器系統(tǒng)的一實(shí)施例的結(jié)構(gòu)組成示意圖。圖3為本發(fā)明的并行計(jì)算服務(wù)器系統(tǒng)的一實(shí)施例的架構(gòu)示意圖。圖4為本發(fā)明的路由方法的第一實(shí)施例的流程示意圖。圖5為本發(fā)明的路由方法的第一實(shí)施例的流程示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明作進(jìn)一步地詳細(xì)描述。本發(fā)明實(shí)施例提供一種并行計(jì)算服務(wù)器系統(tǒng)，該并行計(jì)算服務(wù)器系統(tǒng)包括至少一個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)包括至少兩個(gè)處理器和至少一個(gè)節(jié)點(diǎn)控制器；所述至少兩個(gè)處理器通過高速互連接口級(jí)聯(lián)形成封閉鏈路；每個(gè)處理器通過高速互連接口至少與一個(gè)節(jié)點(diǎn)控制器的高速互連接口相連，以通過高速互連接口互傳數(shù)據(jù)；當(dāng)包括至少兩個(gè)節(jié)點(diǎn)控制器時(shí)，每個(gè)節(jié)點(diǎn)控制器通過節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成封閉鏈路，以通過節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口互傳數(shù)據(jù)；每個(gè)節(jié)點(diǎn)控制器通過所述節(jié)點(diǎn)控制器的外部網(wǎng)絡(luò)接口，與其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。在一些可行的實(shí)施方式中，所述至少兩個(gè)處理器還通過高速互連接口與級(jí)聯(lián)鏈路中的其他處理器跨級(jí)相連。在一些可行的實(shí)施方式中，本發(fā)明的并行計(jì)算服務(wù)器系統(tǒng)的節(jié)點(diǎn)包括4的倍數(shù)個(gè)處理器和2的倍數(shù)個(gè)節(jié)點(diǎn)控制器。在一些可行的實(shí)施方式中，每個(gè)節(jié)點(diǎn)控制器上連接2個(gè)或4個(gè)處理器。圖2為本發(fā)明的并行計(jì)算服務(wù)器系統(tǒng)的一實(shí)施例的結(jié)構(gòu)組成示意圖。在圖2中以并行計(jì)算服務(wù)器系統(tǒng)包括兩個(gè)節(jié)點(diǎn)(節(jié)點(diǎn)A和節(jié)點(diǎn)B)為例進(jìn)行說明。如圖2所示，節(jié)點(diǎn)A包括4個(gè)處理器(處理器Al、處理器A2、處理器A3和處理器A4)和2個(gè)節(jié)點(diǎn)控制器(節(jié)點(diǎn)控制器NCl和節(jié)點(diǎn)控制器NC2)，處理器Al、處理器A2、處理器A3和處理器A4通過高速互連接口級(jí)聯(lián)形成封閉鏈路(圖2中的方形的鏈路)；處理器Al和處理器A2通過高速互連接口(圖2中處理器Al、處理器A2與節(jié)點(diǎn)控制器NCl之間的斜線)與節(jié)點(diǎn)控制器NCl相連，處理器A3和處理器A4通過高速互連接口(圖2中處理器A3、處理器A4與節(jié)點(diǎn)控制器NC2之間的斜線)與節(jié)點(diǎn)控制器NC2相連，節(jié)點(diǎn)控制器NCl和節(jié)點(diǎn)控制器NC2通過節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成封閉鏈路(圖2中節(jié)點(diǎn)控制器NCl和節(jié)點(diǎn)控制器NC2之間的兩條交叉斜線)，節(jié)點(diǎn)控制器NCl還通過外部網(wǎng)絡(luò)接口與節(jié)點(diǎn)B的節(jié)點(diǎn)控制器NC3的外部網(wǎng)絡(luò)接口相連(圖2中節(jié)點(diǎn)控制器NCl與節(jié)點(diǎn)控制器NC3之間的四條直線)，節(jié)點(diǎn)控制器NC2還通過外部網(wǎng)絡(luò)接口與其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連(圖2中僅示出節(jié)點(diǎn)控制器NC2的2條外部網(wǎng)絡(luò)接口)。節(jié)點(diǎn)B包括4個(gè)處理器(處理器B1、處理器B2、處理器B3和處理器B4)和2個(gè)節(jié)點(diǎn)控制器(節(jié)點(diǎn)控制器NC3)，處理器B1、處理器B2、處理器B3和處理器B4通過高速互連接口級(jí)聯(lián)形成封閉鏈路(圖2中的方形的鏈路)；處理器B1、處理器B2、處理器B3和處理器B4通過高速互連接口(圖2中處理器B1、處理器B2、處理器B3和處理器B4與節(jié)點(diǎn)控制器NC3之間的斜線)與節(jié)點(diǎn)控制器NC3相連，節(jié)點(diǎn)控制器NC3還通過外部網(wǎng)絡(luò)接口與節(jié)點(diǎn)A的節(jié)點(diǎn)控制器NCl的外部網(wǎng)絡(luò)接口相連(圖2中節(jié)點(diǎn)控制器NCl與節(jié)點(diǎn)控制器NC2之間的四條直線)。在一些可行的實(shí)施方式中，圖2中的處理器Al、處理器A2、處理器A3和處理器A4還可通過高速互連接口與級(jí)聯(lián)鏈路中的其他處理器跨級(jí)相連，比如處理器Al可與處理器A3，處理器A2可與處理器A4相連。相類似的，處理器B1、處理器B2、處理器B3和處理器B4也可通過高速互連接口與級(jí)聯(lián)鏈路中的其他處理器跨級(jí)相連，比如處理器BI可與處理器B3，處理器B2可與處理器B4相連。圖2中僅以并行計(jì)算服務(wù)器系統(tǒng)包括兩個(gè)節(jié)點(diǎn)為例進(jìn)行說明，具體實(shí)現(xiàn)中，本發(fā)明實(shí)施例的計(jì)算服務(wù)器系統(tǒng)可借助節(jié)點(diǎn)控制器的節(jié)點(diǎn)外網(wǎng)絡(luò)接口進(jìn)行無限制的級(jí)聯(lián)，比如圖3即為32個(gè)節(jié)點(diǎn)組成的雙立方體全互連方式的并行計(jì)算服務(wù)器系統(tǒng)的架構(gòu)圖。其中，圖3中的每個(gè)節(jié)點(diǎn)內(nèi)的網(wǎng)絡(luò)架構(gòu)均可參考圖2的節(jié)點(diǎn)10或節(jié)點(diǎn)11或者其他的結(jié)構(gòu)。由上可知，在并行計(jì)算服務(wù)器系統(tǒng)中的節(jié)點(diǎn)內(nèi)設(shè)置節(jié)點(diǎn)控制器，所述節(jié)點(diǎn)控制器包括:高速互連接口，與所述節(jié)點(diǎn)內(nèi)的處理器的高速互聯(lián)接口相連，用于與所述處理器的高速互連接口互傳數(shù)據(jù)；所述節(jié)點(diǎn)控制器還包括外部網(wǎng)絡(luò)接口，與所述并行計(jì)算服務(wù)器系統(tǒng)中其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。由此，本發(fā)明實(shí)施例通過節(jié)點(diǎn)控制器的高速互連接口與處理器相連，其解決了處理器直連的方式所帶來的系統(tǒng)性能下降的問題，另一方面，本發(fā)明實(shí)施例通過節(jié)點(diǎn)控制器的外部網(wǎng)絡(luò)接口建立節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接關(guān)系，由此，實(shí)現(xiàn)了并行計(jì)算服務(wù)器系統(tǒng)的無限擴(kuò)展，避免了現(xiàn)有技術(shù)采用處理器的直連的方式對并行計(jì)算服務(wù)器系統(tǒng)規(guī)模的限制。相應(yīng)的，本發(fā)明實(shí)施例還提供了一種基于本發(fā)明的并行計(jì)算服務(wù)器系統(tǒng)的路由方法，圖4為本發(fā)明基于并行計(jì)算服務(wù)器系統(tǒng)的路由方法的第一實(shí)施例的流程示意圖。如圖4所示，本發(fā)明的路由方法可包括:步驟S410，第一節(jié)點(diǎn)內(nèi)的第一處理器發(fā)起對同一節(jié)點(diǎn)內(nèi)的第二處理器的內(nèi)存訪問請求；步驟S411，若所述節(jié)點(diǎn)內(nèi)的處理器之間的高速互連接口可用，通過所述節(jié)點(diǎn)內(nèi)的各處理器的高速互連接口級(jí)聯(lián)形成的鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到所述第二處理器；步驟S412，若所述節(jié)點(diǎn)內(nèi)的處理器之間有不可用的高速互連接口，則通過高速互連接口將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第一處理器相連的第一節(jié)點(diǎn)控制器上；步驟S413，若所述第二處理器與所述第一節(jié)點(diǎn)控制器相連，則將所述第一處理器對所述第二處理器的內(nèi)存訪問請求通過所述第一節(jié)點(diǎn)控制器與所述第二處理器之間的高速互連接口路由到所述第二處理器；步驟S414，若所述第二處理器與所述第一節(jié)點(diǎn)控制器不相連，則通過所述節(jié)點(diǎn)內(nèi)節(jié)點(diǎn)控制器之間的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成的封閉鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第二處理器相連的第二節(jié)點(diǎn)控制上，并將所述第一處理器對所述第二處理器的內(nèi)存訪問請求通過所述第二節(jié)點(diǎn)控制器與所述第二處理器之間的高速互連接口路由到所述第二處理器。結(jié)合圖2的架構(gòu)，假設(shè)在步驟S410，處理器Al發(fā)起對同一節(jié)點(diǎn)A內(nèi)的處理器A3的內(nèi)存訪問請求，在步驟S411，若處理器Al與處理器A2之間的高速互連接口，以及處理器A2和處理器A3之間的高速互連接口可用，則通過節(jié)點(diǎn)A內(nèi)的處理器Al至處理器A3的高速互連接口形成的鏈路(即按照處理器Al-處理器A2-處理器A3的順序)將處理器Al對處理器A3的內(nèi)存訪問請求路由到處理器A3。在步驟S412，若處理器Al與處理器A2之間的高速互連接口，以及處理器A2和處理器A3之間的高速互連接口有部分不可用，則通過高速互連接口將所述處理器Al對所述處理器A3的內(nèi)存訪問請求路由到與所述處理器Al相連的節(jié)點(diǎn)控制器NCl上；由于處理器A3不與與節(jié)點(diǎn)控制器A6相連，則不執(zhí)行步驟S413而執(zhí)行步驟S414，節(jié)點(diǎn)控制器NCl和節(jié)點(diǎn)控制器NC2之間的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成的封閉鏈路將所述處理器Al對處理器A3的內(nèi)存訪問請求路由到與所述處理器A3相連的節(jié)點(diǎn)控制NC2上，并通過所述節(jié)點(diǎn)控制器NC2與處理器A3之間的高速互連接口路由到處理器A3。具體實(shí)現(xiàn)中，本發(fā)明實(shí)施例中的處理器之間的各個(gè)高速互連接口可通過信用證實(shí)現(xiàn)報(bào)文的流控，每個(gè)高速互連接口上電復(fù)位后有個(gè)初始信用證值(可記為:C)，每發(fā)出一個(gè)報(bào)文，報(bào)文發(fā)送端的處理器的信用證做減I操作，當(dāng)信用證減到0，處理器停止報(bào)文的發(fā)送；當(dāng)處理器收到報(bào)文并處理后，會(huì)向發(fā)送端反饋一個(gè)信用證，發(fā)送端每收到一個(gè)反饋的信用證報(bào)文，信用值做加I操作，從而實(shí)現(xiàn)報(bào)文的流控。管理軟件采用心跳采樣的方式每隔時(shí)間T_heart_beat監(jiān)控處理器之間的高速互連接口作為報(bào)文發(fā)送端的信用證使用情況，當(dāng)發(fā)現(xiàn)信用證值小于信用水線m的時(shí)間超過M X T_heart_beat,認(rèn)為該接口的數(shù)據(jù)包過多甚至鏈路斷開，也即認(rèn)為該高速互連接口不可用。直到信用值大于信用水線n的時(shí)間超過N X T_heart_beat,認(rèn)為該高速互連接口可用。其中:T_heart_beat為管理軟件監(jiān)測的最小時(shí)隙；信用水線m為處理器之間的高速互連接口作為報(bào)文發(fā)送端的信用證耗盡標(biāo)志；信用水線n為處理器之間的高速互連接口作為報(bào)文發(fā)送端的信用證正常標(biāo)志；M X T_heart_beat為管理軟件監(jiān)測到M次信用證耗盡標(biāo)志的持續(xù)時(shí)間(記為第二時(shí)間)；N X T_heart_beat為管理軟件監(jiān)測到N次信用證正常標(biāo)志的持續(xù)時(shí)間(記為第一時(shí)間)。具體實(shí)現(xiàn)中，管理軟件根據(jù)每一個(gè)節(jié)點(diǎn)內(nèi)的處理器之間的連接關(guān)系以及處理器與節(jié)點(diǎn)控制器的之間的連接關(guān)系為節(jié)點(diǎn)配置路由關(guān)系表，所述路由關(guān)系表中指明了各處理器之間的路由關(guān)系，以及處理器與節(jié)點(diǎn)控制器之間的路由關(guān)系，以及節(jié)點(diǎn)控制器之間的路由關(guān)系。仍結(jié)合圖2的架構(gòu)，管理軟件為該架構(gòu)配置的節(jié)點(diǎn)A的路由關(guān)系表可包括表I (處理器之間的路由關(guān)系)和表2(處理器與節(jié)點(diǎn)控制器之間的路由關(guān)系以及節(jié)點(diǎn)控制器之間的路由關(guān)系)所示:表1:
權(quán)利要求
1.種節(jié)點(diǎn)控制器，其特征在于，位于并行計(jì)算服務(wù)器系統(tǒng)中的一個(gè)節(jié)點(diǎn)內(nèi)，包括: 高速互連接口，與所述節(jié)點(diǎn)內(nèi)的處理器的高速互聯(lián)接口相連，用于與所述處理器的高速互連接口互傳數(shù)據(jù)； 外部網(wǎng)絡(luò)接口，與所述并行計(jì)算服務(wù)器系統(tǒng)中其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。
2.權(quán)利要求1所述的節(jié)點(diǎn)控制器，其特征在于，還包括: 節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口，與所述節(jié)點(diǎn)內(nèi)的其他節(jié)點(diǎn)控制器的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)控制器的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口互傳數(shù)據(jù)。
3.種并行計(jì)算服務(wù)器系統(tǒng)，其特征在于，包括至少一個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)包括至少兩個(gè)處理器和至少一個(gè)節(jié)點(diǎn)控制器: 所述至少兩個(gè)處理器通過高速互連接口級(jí)聯(lián)形成封閉鏈路； 每個(gè)處理器通過高速互連接口至少與一個(gè)節(jié)點(diǎn)控制器的高速互連接口相連，以通過高速互連接口互傳數(shù)據(jù)； 當(dāng)包括至少 兩個(gè)節(jié)點(diǎn)控制器時(shí)，每個(gè)節(jié)點(diǎn)控制器通過節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成封閉鏈路，以通過節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口互傳數(shù)據(jù)； 每個(gè)節(jié)點(diǎn)控制器通過所述節(jié)點(diǎn)控制器的外部網(wǎng)絡(luò)接口，與其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。
4.權(quán)利要求3所述的并行計(jì)算服務(wù)器系統(tǒng)，其特征在于，所述至少兩個(gè)處理器還通過高速互連接口與級(jí)聯(lián)鏈路中的其他處理器跨級(jí)相連。
5.權(quán)利要求3或4所述的并行計(jì)算服務(wù)器系統(tǒng)，其特征在于，具體包括4的倍數(shù)個(gè)處理器和2的倍數(shù)個(gè)節(jié)點(diǎn)控制器。
6.權(quán)利要求5所述的并行計(jì)算服務(wù)器系統(tǒng)，其特征在于，每個(gè)節(jié)點(diǎn)控制器上連接2個(gè)或4個(gè)處理器。
7.種基于權(quán)利要求3-6中任一項(xiàng)所述的并行計(jì)算服務(wù)器系統(tǒng)的路由方法，其特征在于，包括: 第一節(jié)點(diǎn)內(nèi)的第一處理器發(fā)起對同一節(jié)點(diǎn)內(nèi)的第二處理器的內(nèi)存訪問請求； 若所述節(jié)點(diǎn)內(nèi)的處理器之間的高速互連接口可用，通過所述節(jié)點(diǎn)內(nèi)的各處理器的高速互連接口級(jí)聯(lián)形成的鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到所述第二處理器； 若所述節(jié)點(diǎn)內(nèi)的處理器之間有不可用的高速互連接口，則通過高速互連接口將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第一處理器相連的第一節(jié)點(diǎn)控制器上； 若所述第二處理器與所述第一節(jié)點(diǎn)控制器相連，則將所述第一處理器對所述第二處理器的內(nèi)存訪問請求通過所述第一節(jié)點(diǎn)控制器與所述第二處理器之間的高速互連接口路由到所述第二處理器； 若所述第二處理器與所述第一節(jié)點(diǎn)控制器不相連，則通過所述節(jié)點(diǎn)內(nèi)節(jié)點(diǎn)控制器之間的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成的封閉鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第二處理器相連的第二節(jié)點(diǎn)控制上，并將所述第一處理器對所述第二處理器的內(nèi)存訪問請求通過所述第二節(jié)點(diǎn)控制器與所述第二處理器之間的高速互連接口路由到所述第二處理器。
8.權(quán)利要求7所述的路由方法，其特征在于，還包括: 第一節(jié)點(diǎn)內(nèi)的第一處理器發(fā)起對第二節(jié)點(diǎn)內(nèi)的第三處理器的內(nèi)存訪問請求； 通過高速互連接口將所述第一處理器對所述第三處理器的內(nèi)存訪問請求路由到與所述第一處理器相連的第一節(jié)點(diǎn)控制器上； 若所述第三處理器位于的第二節(jié)點(diǎn)內(nèi)的第三節(jié)點(diǎn)控制器與所述第一節(jié)點(diǎn)控制器相連，則將所述第一處理器對所述第三處理器的內(nèi)存訪問請求通過所述第三節(jié)點(diǎn)控制與所述第一節(jié)點(diǎn)控制之間的外部網(wǎng)絡(luò)接口路由到所述第三節(jié)點(diǎn)控制器； 若所述第三處理器位于的第二節(jié)點(diǎn)內(nèi)的第三節(jié)點(diǎn)控制器不與所述第一節(jié)點(diǎn)控制器相連，則所述第一節(jié)點(diǎn)控制器通過所述節(jié)點(diǎn)內(nèi)節(jié)點(diǎn)控制器之間的節(jié)點(diǎn)內(nèi)網(wǎng)絡(luò)接口級(jí)聯(lián)形成的封閉鏈路將所述第一處理器對所述第二處理器的內(nèi)存訪問請求路由到與所述第三節(jié)點(diǎn)控制器相連的所述第一節(jié)點(diǎn)內(nèi)的第四節(jié)點(diǎn)控制上，并將所述第一處理器對所述第三處理器的內(nèi)存訪問請求通過所述第三節(jié)點(diǎn)控制與所述第四節(jié)點(diǎn)控制之間的外部網(wǎng)絡(luò)接口路由到所述第三節(jié)點(diǎn)控制器； 由所述第三節(jié)點(diǎn)控制器作為發(fā)起端，在所述另一節(jié)點(diǎn)內(nèi)將所述第一處理器對所述第三處理器的內(nèi)存訪問請求路由到所述第三處理器。
9.權(quán)利要求7或8所述的路由方法，其特征在于，當(dāng)處理器之間的高速互連接口的信用證為正常標(biāo)志的持續(xù)時(shí)間超 過第一時(shí)間時(shí)，表明所述處理器之間的高速互連接口可用； 當(dāng)處理器之間的高速互連接口的信用證為耗盡標(biāo)志的持續(xù)時(shí)間超過第二時(shí)間時(shí)，表明所述處理器之間的高速互連接口不可用。
全文摘要
本發(fā)明實(shí)施例公開了節(jié)點(diǎn)控制器、并行計(jì)算服務(wù)器系統(tǒng)以及路由方法，其中所述節(jié)點(diǎn)控制器位于并行計(jì)算服務(wù)器系統(tǒng)中的一個(gè)節(jié)點(diǎn)內(nèi)，可包括高速互連接口，與所述節(jié)點(diǎn)內(nèi)的處理器的高速互聯(lián)接口相連，用于與所述處理器的高速互連接口互傳數(shù)據(jù)；外部網(wǎng)絡(luò)接口，與所述并行計(jì)算服務(wù)器系統(tǒng)中其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口相連，用于與所述其他節(jié)點(diǎn)的外部網(wǎng)絡(luò)接口互傳數(shù)據(jù)。由此可擴(kuò)展計(jì)算服務(wù)器系統(tǒng)的規(guī)模，并提升計(jì)算服務(wù)器系統(tǒng)的性能。
文檔編號(hào)G06F15/16GK103092807SQ20121056704
公開日2013年5月8日 申請日期2012年12月24日 優(yōu)先權(quán)日2012年12月24日
發(fā)明者楊寶川, 趙獻(xiàn)明, 陳昊 申請人:杭州華為數(shù)字技術(shù)有限公司