專利名稱：自洽多階張量擴(kuò)展方法及多mpu并行計(jì)算系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多處理器系統(tǒng)互連網(wǎng)絡(luò)及其擴(kuò)展領(lǐng)域，具體地說，涉及基于MPU系統(tǒng)作為超節(jié)點(diǎn)的并行計(jì)算系統(tǒng)自洽多階張量超高擴(kuò)展方法及采用該方法擴(kuò)展而成的多MPU超級(jí)并行計(jì)算系統(tǒng)。
背景技術(shù)：
本發(fā)明與專利申請“內(nèi)外連網(wǎng)絡(luò)拓?fù)浼軜?gòu)及自洽擴(kuò)展該架構(gòu)的并行計(jì)算系統(tǒng)”(中國專利申請?zhí)?00610029753.0)屬于同一個(gè)系列。
所述MPU架構(gòu)為一種K維互連網(wǎng)絡(luò)系統(tǒng)，其中的每個(gè)節(jié)點(diǎn)，均位于2K個(gè)相鄰節(jié)點(diǎn)所組成的K維立方體的體心，并同時(shí)可與上述2K個(gè)相鄰節(jié)點(diǎn)互連，在所述網(wǎng)絡(luò)系統(tǒng)邊界處的節(jié)點(diǎn)，位于2K個(gè)相鄰的節(jié)點(diǎn)和拓?fù)溲h(huán)映射節(jié)點(diǎn)所組成的一個(gè)虛擬K維立方體的體心，并同時(shí)與上述2K個(gè)節(jié)點(diǎn)互連。
一個(gè)MPU系統(tǒng)本身即是一部小型完整的高性能并行計(jì)算系統(tǒng)，具有高擴(kuò)展性、高帶寬低延遲等特征。如果能將每個(gè)MPU系統(tǒng)視為一個(gè)高性能可高耦合的超節(jié)點(diǎn)，借助外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，按照一定的擴(kuò)展方式，靈活地整合成為一部更大規(guī)模的、具有更高計(jì)算性能的多MPU超級(jí)并行計(jì)算系統(tǒng)，則是本發(fā)明要解決的技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種自洽多階張量超高擴(kuò)展方法及采用該方法擴(kuò)展而成的多MPU超級(jí)并行計(jì)算系統(tǒng)，能夠更有效地在擴(kuò)充系統(tǒng)時(shí)，減緩網(wǎng)絡(luò)半徑的增加，降低長程通信的延遲。
為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明的技術(shù)方案如下一種自洽多階張量超高擴(kuò)展方法，將多個(gè)基于MPU架構(gòu)、集成有外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口的超節(jié)點(diǎn)互連成為一部整合的、更大規(guī)模的并行計(jì)算系統(tǒng)；該方法包括
1-1)零階張量擴(kuò)展每個(gè)MPU超節(jié)點(diǎn)打開原有的內(nèi)聯(lián)網(wǎng)絡(luò)的環(huán)繞連接，形成外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口；按照MPU拓?fù)浼軜?gòu)的連接法則，將多個(gè)超節(jié)點(diǎn)利用外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口互連起來，從而使得所有打開的環(huán)繞連接重新在超節(jié)點(diǎn)間得到閉合；1-2)一階張量擴(kuò)展在每個(gè)MPU超節(jié)點(diǎn)，增加若干Axon節(jié)點(diǎn)；上述的Axon節(jié)點(diǎn)，一方面，與內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)含多個(gè)節(jié)點(diǎn)的子集進(jìn)行互連，另一方面，提供Axon節(jié)點(diǎn)間互連的網(wǎng)絡(luò)接口；按照一定的Axon節(jié)點(diǎn)間的互連方式，所有Axon節(jié)點(diǎn)互連成為一個(gè)一階外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)；1-3)高階張量擴(kuò)展以由比它低一階張量擴(kuò)展方式生成的MPU系統(tǒng)為超節(jié)點(diǎn)；在上述的超節(jié)點(diǎn)中，增加若干高階Axon節(jié)點(diǎn)，作為輔助的通信節(jié)點(diǎn)；上述的高階Axon節(jié)點(diǎn)，一方面，與內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)低一階Axon節(jié)點(diǎn)子集進(jìn)行互連，另一方面，提供高階外聯(lián)擴(kuò)展網(wǎng)絡(luò)的接口；按照一定的Axon節(jié)點(diǎn)間的互連方式，所有Axon節(jié)點(diǎn)互連成為一個(gè)高階外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。
對(duì)應(yīng)地，采用自洽多階張量方式擴(kuò)展而成的多MPU超級(jí)并行計(jì)算系統(tǒng)包括多個(gè)基于MPU架構(gòu)、集成有外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口的超節(jié)點(diǎn)；一種或多種混和的自洽多階張量擴(kuò)展方式，此方式用于互連各個(gè)超節(jié)點(diǎn)的外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口，形成外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，從而將各個(gè)超節(jié)點(diǎn)互連成為一部整合的、更大規(guī)模的并行計(jì)算系統(tǒng)。
本發(fā)明可用于諸如全局求和與全局取大值等全局操作，遠(yuǎn)端通信，以提高長程通信效率，有效地減少網(wǎng)絡(luò)半徑。同時(shí)，本發(fā)明提出的互連網(wǎng)絡(luò)拓?fù)浞绞?，還可應(yīng)用于任意類型節(jié)點(diǎn)間的擴(kuò)展互連網(wǎng)絡(luò)的搭建，比較通常所采用的簡易外聯(lián)網(wǎng)絡(luò)拓?fù)洌鐦湫屯負(fù)?、星型拓?fù)?，能夠更有效地在擴(kuò)充系統(tǒng)時(shí)，減緩網(wǎng)絡(luò)半徑的增加，降低長程通信的延遲，從而保證了更大規(guī)模系統(tǒng)的更高擴(kuò)展性與可用性。


為了更透徹、更直觀地理解本發(fā)明的設(shè)計(jì)方案和特點(diǎn)，下面參考相關(guān)的附圖進(jìn)行詳細(xì)描述和說明，其中圖1是一個(gè)已知的2維MPU(4×4)系統(tǒng)的實(shí)施例圖；每個(gè)節(jié)點(diǎn)代表完整的MPU(4×4)系統(tǒng)內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)，其中，虛線代表了環(huán)繞連接，實(shí)線代表了內(nèi)部連接。
圖2是一個(gè)基于MPU(4×4)系統(tǒng)、用于零階張量擴(kuò)展的超節(jié)點(diǎn)實(shí)施例圖；其中，虛線標(biāo)示了外聯(lián)網(wǎng)絡(luò)接口。
圖3是一個(gè)零階張量擴(kuò)展方式的實(shí)施例圖。
圖4至圖7是基于MPU(4×4)系統(tǒng)、用于一階張量擴(kuò)展的單Axon超節(jié)點(diǎn)實(shí)施例圖；Axon節(jié)點(diǎn)分別與MPU(4×4)系統(tǒng)中的1個(gè)、4個(gè)、16個(gè)和32個(gè)節(jié)點(diǎn)相連。
圖8、圖9是基于MPU(4×4)系統(tǒng)、用于一階張量擴(kuò)展的多Axon超節(jié)點(diǎn)圖10是單Axon超節(jié)點(diǎn)互連方式的實(shí)施例圖。
圖11是多Axon超節(jié)點(diǎn)互連方式的實(shí)施例圖。
具體實(shí)施例方式
在本發(fā)明中，每個(gè)MPU系統(tǒng)被視為一個(gè)高性能、具有MPU內(nèi)外連網(wǎng)絡(luò)系統(tǒng)架構(gòu)的超節(jié)點(diǎn)，通過多階張量擴(kuò)展方式，互連成為多MPU超級(jí)并行計(jì)算系統(tǒng)。所述的多階張量擴(kuò)展方式包括零階、一階和高階張量擴(kuò)展方式。
零階張量擴(kuò)展方式，或稱為自然擴(kuò)展方式，是一種最直接的、甚為簡單直觀的擴(kuò)展方式。該擴(kuò)展方式是展開MPU系統(tǒng)內(nèi)聯(lián)網(wǎng)絡(luò)的環(huán)繞連接，將各個(gè)不同的超節(jié)點(diǎn)互連起來的。首先，對(duì)于一個(gè)完整的MPU系統(tǒng)，我們將所有或部分閉合的環(huán)繞連接打開，形成用于外聯(lián)網(wǎng)絡(luò)連接的接口。這里的環(huán)繞連接是指一個(gè)MPU拓?fù)浣Y(jié)構(gòu)的邊界節(jié)點(diǎn)與拓?fù)溲h(huán)映射節(jié)點(diǎn)間的連接，如圖1所示。然后，通過對(duì)應(yīng)邊界點(diǎn)上的外聯(lián)網(wǎng)絡(luò)接口的互連，所有的超節(jié)點(diǎn)可整合成一個(gè)更大規(guī)模的MPU系統(tǒng)。就本質(zhì)而言，通過這種方式擴(kuò)展生成的MPU并行計(jì)算系統(tǒng)，在全局上，其互連網(wǎng)絡(luò)是和完整的MPU拓?fù)浼軜?gòu)完全同構(gòu)的，可以被視為是一個(gè)更大規(guī)模的MPU系統(tǒng)。
零階張量擴(kuò)展方式的優(yōu)勢在于它簡捷而易于實(shí)現(xiàn)。同時(shí)，不用增加新的通信節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)度保持不變，超節(jié)點(diǎn)間的外聯(lián)網(wǎng)絡(luò)通信僅與內(nèi)聯(lián)網(wǎng)絡(luò)的邊界節(jié)點(diǎn)發(fā)生關(guān)系，全局拓?fù)浼軜?gòu)一致。只是系統(tǒng)的網(wǎng)絡(luò)直徑隨系統(tǒng)規(guī)模的增大，也相應(yīng)地在每一維空間方向線性增加。零階張量擴(kuò)展方式的系統(tǒng)定義如下定義1 設(shè)超節(jié)點(diǎn)A和B的內(nèi)聯(lián)網(wǎng)絡(luò)系統(tǒng)分別為K維MPU(NA1×NA2×L×NAK)系統(tǒng)和K維MPU(NB1×NB2×L×NBK)系統(tǒng)，且滿足至少存在K-1個(gè)維度上，系統(tǒng)A和B的節(jié)點(diǎn)數(shù)目是相等的(零階張量擴(kuò)展的必要條件)。不妨設(shè)NAj＝NBj≡Njj∈[1，K-1]，NAK＝NA，NBK＝NB。則在這K-1維超平面上，系統(tǒng)A和B打開所有邊界節(jié)點(diǎn)處的環(huán)繞連接，形成外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口，然后在超節(jié)點(diǎn)間的對(duì)應(yīng)邊界處互連，形成外聯(lián)擴(kuò)展網(wǎng)絡(luò)。根據(jù)拓?fù)溲h(huán)性質(zhì)，所有打開的環(huán)繞連接都將被兩相連的系統(tǒng)A與B閉合。這一擴(kuò)展方式，稱為零階張量擴(kuò)展方式。其數(shù)學(xué)表達(dá)式記為MPU(N1×N2×L×NK-1×(NA+NB))≡{MPU(N1×N2×L×NK-1×NA)}{MPU(N1×N2×L×NK-1×NB)}則由以上方式擴(kuò)展生成的多MPU超級(jí)并行計(jì)算系統(tǒng)，總共集成了 個(gè)節(jié)點(diǎn)。以此類推，對(duì)于任意M個(gè)滿足零階張量擴(kuò)展條件的超節(jié)點(diǎn)，其零階張量擴(kuò)展所生成的新的MPU系統(tǒng)記為MPU=(N1×N2×L×NK)≡Σj=1M⊕{MPU(Nlj1×Nlj2×L×NljK)}]]>圖3中給出了一個(gè)2□2的零階張量擴(kuò)展方式的實(shí)施例，按照零階張量擴(kuò)展方式，利用外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口，將4個(gè)圖2所示的超節(jié)點(diǎn)進(jìn)行互連。即MPU(8×8)≡Σi=12⊕{{MPU(4×4)}⊕{MPU(4×4)}}=Σi=12Σj=12⊕{MPU(4×4)}.]]>一階張量擴(kuò)展方式，是借助于MPU拓?fù)浼軜?gòu)的思想，不僅要在每個(gè)超節(jié)點(diǎn)的外聯(lián)網(wǎng)絡(luò)中實(shí)現(xiàn)完整的MPU拓?fù)浼軜?gòu)，而且要在互連超節(jié)點(diǎn)的內(nèi)聯(lián)擴(kuò)展網(wǎng)絡(luò)中也實(shí)現(xiàn)完整的MPU拓?fù)浼軜?gòu)。這樣，內(nèi)聯(lián)網(wǎng)絡(luò)系統(tǒng)和外聯(lián)網(wǎng)絡(luò)系統(tǒng)就可同時(shí)具備MPU拓?fù)浼軜?gòu)的優(yōu)點(diǎn)，以保證由此方法而擴(kuò)展生成的多MPU超級(jí)并行計(jì)算系統(tǒng)具有高耦合性、高帶寬低延遲、高可擴(kuò)展等特征。特別地，在一階張量擴(kuò)展方式中，所述的超節(jié)點(diǎn)可以是由零階張量擴(kuò)展方式生成的一個(gè)大規(guī)模的超節(jié)點(diǎn)，其中的內(nèi)外連網(wǎng)絡(luò)一起被視為其內(nèi)聯(lián)網(wǎng)絡(luò)。在一階張量擴(kuò)展方式中，我們保持每個(gè)超節(jié)點(diǎn)的內(nèi)聯(lián)網(wǎng)絡(luò)MPU拓?fù)浼軜?gòu)的完整性，同時(shí)，增加一些輔助通信和協(xié)助外連的節(jié)點(diǎn)，即一階Axon節(jié)點(diǎn)，來提供外聯(lián)擴(kuò)展網(wǎng)絡(luò)的接口。根據(jù)超節(jié)點(diǎn)具有Axon節(jié)點(diǎn)數(shù)目的不同，Axon節(jié)點(diǎn)互連方式，又進(jìn)一步劃分為單Axon超節(jié)點(diǎn)互連方式和多Axon超節(jié)點(diǎn)互連方式。
單Axon超節(jié)點(diǎn)互連方式是，每個(gè)超節(jié)點(diǎn)僅具有一個(gè)Axon節(jié)點(diǎn)，用于外聯(lián)擴(kuò)展網(wǎng)絡(luò)的連接與其他功能。這個(gè)Axon節(jié)點(diǎn)，按照一定規(guī)律，與MPU系統(tǒng)內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)一定數(shù)目的節(jié)點(diǎn)子集互連。在互連Axon節(jié)點(diǎn)構(gòu)建外聯(lián)擴(kuò)展網(wǎng)絡(luò)的時(shí)候，每個(gè)Axon節(jié)點(diǎn)又被視為一個(gè)虛擬的內(nèi)聯(lián)網(wǎng)絡(luò)中的節(jié)點(diǎn)，按照原有的MPU拓?fù)浼軜?gòu)，互連成為一個(gè)外聯(lián)擴(kuò)展網(wǎng)絡(luò)。
定義2 設(shè)超節(jié)點(diǎn)為K維MPU(N1×N2×L×NK)系統(tǒng)，則其內(nèi)聯(lián)網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)為M=2Πj=1KNj,]]>所有這些節(jié)點(diǎn)組成的集合為MPU={Pj}j=0M-1,]]>Pj表示第j個(gè)內(nèi)聯(lián)網(wǎng)絡(luò)節(jié)點(diǎn)，j∈
。每個(gè)超節(jié)點(diǎn)具有一個(gè)Axon節(jié)點(diǎn)與一個(gè)內(nèi)部節(jié)點(diǎn)子集互連，設(shè)該子集為Axon＝{Pj|0≤j≤M-1}。所有的Axon節(jié)點(diǎn)，按照L維MPU(M1×M2×L×ML)拓?fù)浣Y(jié)構(gòu)進(jìn)行互連，即每個(gè)Axon節(jié)點(diǎn)視為該虛擬的內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)，從而形成一套外聯(lián)擴(kuò)展網(wǎng)絡(luò)。這一擴(kuò)展方式，稱為單Axon超節(jié)點(diǎn)互連方式，定義為MPU((N1×L×NK)×(M1×L×ML))≡MPU(N1×N2×L×NK)MPU(M1×M2×L×ML)則由以上方式擴(kuò)展生成的多MPU超級(jí)并行計(jì)算系統(tǒng)，總共集成了 個(gè)節(jié)點(diǎn)，以及 個(gè)Axon節(jié)點(diǎn)。
多Axon超節(jié)點(diǎn)互連方式是，每個(gè)超節(jié)點(diǎn)具有多個(gè)Axon節(jié)點(diǎn)，來提供外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口。每個(gè)Axon節(jié)點(diǎn)，按照一定規(guī)律，與MPU系統(tǒng)內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)一定數(shù)量的節(jié)點(diǎn)子集互連。所有Axon節(jié)點(diǎn)組成的集合，又可分成若干子集合。每個(gè)子集中的Axon節(jié)點(diǎn)，按照一定的MPU拓?fù)浞绞?，互連成為一個(gè)獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)。所有這樣的外聯(lián)擴(kuò)展網(wǎng)絡(luò)，構(gòu)成一個(gè)整合的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。實(shí)質(zhì)上，這樣的多Axon的MPU系統(tǒng)可由零階張量擴(kuò)展而成。以下，我們首先定義一些集合。
定義3 在多Axon超節(jié)點(diǎn)互連方式中，我們使用如下的集合符號(hào)進(jìn)行表述。
設(shè)每個(gè)超節(jié)點(diǎn)A具有R個(gè)Axon節(jié)點(diǎn)，記為A0，...，AR-1，其中，Aj表示超節(jié)點(diǎn)A的第j個(gè)Axon節(jié)點(diǎn)，j∈
。設(shè)多MPU超級(jí)并行計(jì)算系統(tǒng)一共集成有P個(gè)這樣的超節(jié)點(diǎn)。Axonk表示由所有超節(jié)點(diǎn)的第k個(gè)Axon節(jié)點(diǎn)組成的集合，即Axonk＝{所有超節(jié)點(diǎn)的Ak}，k∈
。設(shè)∑表示所有Axon節(jié)點(diǎn)的集合，則有S=∪k=0R-1Axonk.]]>我們把集合∑的元素個(gè)數(shù)(MPU系統(tǒng)中節(jié)點(diǎn)個(gè)數(shù))記作card(∑)，則card(∑)＝P×R，card(Axonk)＝P。又設(shè)集合∑劃分為N個(gè)獨(dú)立的子集合S0，S1，...，SN-1，且Sj=∪k=0N-1Sk.]]>如果集合S中的所有Axon節(jié)點(diǎn)組成一個(gè)統(tǒng)一的外聯(lián)擴(kuò)展網(wǎng)絡(luò)，那么，我們就稱其為I型多Axon超節(jié)點(diǎn)互連方式。如果每個(gè)子集合Sk中的所有Axon節(jié)點(diǎn)組成一個(gè)獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)，N個(gè)這樣獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)組成一個(gè)整合的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，那么，我們就稱其為II型多Axon超節(jié)點(diǎn)互連方式。I型多Axon超節(jié)點(diǎn)互連方式，可視為II型多Axon超節(jié)點(diǎn)互連方式的一個(gè)特例，即N＝1時(shí)的情況。
定義4 設(shè)超節(jié)點(diǎn)為K維MPU(N1×N2×L×NK)系統(tǒng)，具有R個(gè)Axon節(jié)點(diǎn)。設(shè)共有P個(gè)這樣的超節(jié)點(diǎn)。所有的Axon節(jié)點(diǎn)，按照L維MPU(M1×M2×L×ML)拓?fù)浣Y(jié)構(gòu)，互連成為一個(gè)外聯(lián)擴(kuò)展網(wǎng)絡(luò)。其它集合符號(hào)如前定義3所述。則I型多Axon超節(jié)點(diǎn)互連方式的定義為(MPU(N1×L×NK)MPU(M1×L×ML))S則由以上方式擴(kuò)展生成的多MPU超級(jí)并行計(jì)算系統(tǒng)，總共集成了2P(Πj=1KNj)=4R(Πj=1KNj)(Πi=1LMi)]]>個(gè)節(jié)點(diǎn)，及R×P=2(Πi=1LMi)]]>個(gè)Axon節(jié)點(diǎn)。
定義5 設(shè)超節(jié)點(diǎn)為K維MPU(N1×N2×L×NK)系統(tǒng)，具有R個(gè)Axon節(jié)點(diǎn)。設(shè)共有P個(gè)這樣的超節(jié)點(diǎn)。所有的Axon節(jié)點(diǎn)分成N個(gè)獨(dú)立的子集合，S0，S1，...，SN-1。每個(gè)子集合Sj中的所有Axon節(jié)點(diǎn)，按照MPU(M1j×M2j×L×MLjj)拓?fù)浣Y(jié)構(gòu)，互連成為一個(gè)獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)。N個(gè)這樣獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)，組成了一套完整的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。其它集合符號(hào)如前定義3所述。則II型多Axon超節(jié)點(diǎn)互連方式的定義為Σj=1N-1(MPU(N1×L×NK)⊗MPU(M1j×L×MLjjj))Sj]]>則由以上方式擴(kuò)展生成的多MPU超級(jí)并行計(jì)算系統(tǒng)，總共集成了 個(gè)節(jié)點(diǎn)，及R×P個(gè)Axon節(jié)點(diǎn)。
高階張量擴(kuò)展方式，是指二階及二階以上的張量擴(kuò)展方式。二階張量擴(kuò)展方式是將一個(gè)由一階張量擴(kuò)展方式生成的MPU系統(tǒng)視為一個(gè)規(guī)模更大的超節(jié)點(diǎn)，其內(nèi)外連網(wǎng)絡(luò)系統(tǒng)均被視為其內(nèi)聯(lián)網(wǎng)絡(luò)。其中，所有的用于提供一階張量擴(kuò)展網(wǎng)絡(luò)接口的Axon節(jié)點(diǎn)，即一階Axon節(jié)點(diǎn)，被視為該超節(jié)點(diǎn)內(nèi)聯(lián)網(wǎng)絡(luò)中的節(jié)點(diǎn)。類似于一階張量擴(kuò)展方式，在二階張量擴(kuò)展方式中，保持上述每個(gè)超節(jié)點(diǎn)內(nèi)聯(lián)網(wǎng)絡(luò)的完整性，同時(shí)，增加一些輔助通信和協(xié)助外連的節(jié)點(diǎn)，即二階Axon節(jié)點(diǎn)，來提供二階張量擴(kuò)展網(wǎng)絡(luò)的接口。一方面，每個(gè)二階Axon節(jié)點(diǎn)，按照一定規(guī)律，與超節(jié)點(diǎn)的一個(gè)一定數(shù)目的一階Axon節(jié)點(diǎn)子集互連；另一方面，所有的二階Axon節(jié)點(diǎn)，仍然按照前述的單Axon超節(jié)點(diǎn)互連方式或多Axon超節(jié)點(diǎn)互連方式，互連成為一個(gè)完整的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，即二階張量外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，從而完成二階張量擴(kuò)展。
同理，對(duì)于任意更高的K階張量擴(kuò)展方式，是將K-1階張量擴(kuò)展方式生成的MPU系統(tǒng)視為新的超節(jié)點(diǎn)，其內(nèi)外連網(wǎng)絡(luò)視為新的內(nèi)聯(lián)網(wǎng)絡(luò)，其K-1階Axon節(jié)點(diǎn)視為這一超節(jié)點(diǎn)內(nèi)聯(lián)網(wǎng)絡(luò)中的節(jié)點(diǎn)。同時(shí)，增加一些新的K階Axon節(jié)點(diǎn)，作為輔助通信和協(xié)助外連的節(jié)點(diǎn)，來提供K階張量擴(kuò)展網(wǎng)絡(luò)的接口。一方面，每個(gè)K階Axon節(jié)點(diǎn)，按照一定規(guī)律，與超節(jié)點(diǎn)內(nèi)的一個(gè)一定數(shù)目的K-1階Axon節(jié)點(diǎn)子集互連；另一方面，所有的K階Axon節(jié)點(diǎn)，按照單Axon超節(jié)點(diǎn)互連方式或多Axon超節(jié)點(diǎn)互連方式，互連成為一個(gè)完整的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，即K階張量外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，從而完成K階張量擴(kuò)展。
實(shí)施例1 零階張量擴(kuò)展(MPU(4×4)MPU(4×4))(MPU(4×4)MPU(4×4))每個(gè)超節(jié)點(diǎn)如圖2所示，具有基于MPU(4×4)拓?fù)浣Y(jié)構(gòu)的內(nèi)聯(lián)網(wǎng)絡(luò)系統(tǒng)，及虛線所示的外聯(lián)網(wǎng)絡(luò)接口。按照零階張量擴(kuò)展方式，如圖3所示，將外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口對(duì)應(yīng)相連，4個(gè)超節(jié)點(diǎn)組成了一個(gè)完整的MPU(8×8)系統(tǒng)。
實(shí)施例2 單Axon超節(jié)點(diǎn)一階張量擴(kuò)展方式MPU(4×4)MPU(4×4)每個(gè)超節(jié)點(diǎn)可以是圖4至圖7所示有的一種，具有完整的MPU(4×4)內(nèi)聯(lián)網(wǎng)絡(luò)系統(tǒng)，同時(shí)僅具有一個(gè)Axon節(jié)點(diǎn)。根據(jù)單Axon超節(jié)點(diǎn)互連擴(kuò)展方式，如圖10所示，每個(gè)單Axon超節(jié)點(diǎn)可視為一個(gè)MPU系統(tǒng)中的虛擬節(jié)點(diǎn)，按照MPU(4×4)拓?fù)溥B接方式，將所有的Axon節(jié)點(diǎn)互連起來，形成一套外聯(lián)擴(kuò)展網(wǎng)絡(luò)。將32個(gè)Axon節(jié)點(diǎn)，按照MPU(4×4)拓?fù)浼軜?gòu)模式，互連成一套外聯(lián)擴(kuò)展網(wǎng)絡(luò)，組成了一個(gè)完整的MPU(4×4)MPU(4×4)系統(tǒng)。該系統(tǒng)具有1024個(gè)內(nèi)聯(lián)網(wǎng)絡(luò)的節(jié)點(diǎn)，和32個(gè)Axon節(jié)點(diǎn)，以及由一套外聯(lián)網(wǎng)絡(luò)組成的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。如果每個(gè)單Axon超節(jié)點(diǎn)采用如圖4至圖7中的一種模型，那么該擴(kuò)展方式則記為MPU(4×4)MPU(4×4)，總共可集成1024個(gè)節(jié)點(diǎn)，以及32個(gè)Axon節(jié)點(diǎn)。
在圖4至圖7中，用單個(gè)Axon節(jié)點(diǎn)為一個(gè)如圖1所示的完整MPU(4×4)系統(tǒng)提供外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口。從圖4到圖7，Axon節(jié)點(diǎn)分別與MPU(4×4)系統(tǒng)中的1個(gè)、4個(gè)、16個(gè)和32個(gè)節(jié)點(diǎn)相連，從而使得內(nèi)聯(lián)網(wǎng)絡(luò)中的節(jié)點(diǎn)到Axon節(jié)點(diǎn)的平均距離依次減少。

實(shí)施例3 I型多Axon超節(jié)點(diǎn)一階張量擴(kuò)展方式(MPU(4×4)MPU(4×4))S每個(gè)超節(jié)點(diǎn)如圖8所示，具有完整的MPU(4×4)內(nèi)聯(lián)網(wǎng)絡(luò)系統(tǒng)，同時(shí)具有4個(gè)Axon節(jié)點(diǎn)。一共有8個(gè)這樣的超節(jié)點(diǎn)。根據(jù)I型多Axon超節(jié)點(diǎn)互連方式，如圖11所示，將所有的32個(gè)Axon節(jié)點(diǎn)，按照MPU(4×4)拓?fù)浼軜?gòu)模式，互連成一套外聯(lián)擴(kuò)展網(wǎng)絡(luò)。由此擴(kuò)展生成的(MPU(4×4)MPU(4×4))S并行計(jì)算系統(tǒng)，具有256個(gè)內(nèi)聯(lián)網(wǎng)絡(luò)的節(jié)點(diǎn)，和32個(gè)Axon節(jié)點(diǎn)，以及由一套外聯(lián)網(wǎng)絡(luò)組成的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。我們采用帶有4個(gè)Axon節(jié)點(diǎn)的MPU系統(tǒng)作為一個(gè)超節(jié)點(diǎn)，Axon節(jié)點(diǎn)標(biāo)號(hào)從#0到#3。一共有8個(gè)這樣的超節(jié)點(diǎn)，標(biāo)號(hào)從0到7。我們將這32個(gè)Axon節(jié)點(diǎn)，互連成一個(gè)統(tǒng)一的外聯(lián)擴(kuò)展網(wǎng)絡(luò)，其連接拓?fù)浼軜?gòu)與MPU(4×4)系統(tǒng)是同構(gòu)的，具體細(xì)節(jié)如圖所示。如果每個(gè)多Axon超節(jié)點(diǎn)采用如圖9所示的模型，那么該擴(kuò)展方式則記為(MPU(4×4)MPU(4×4))S，其中，Sj=∪k=03Ak,]]>總共可集成256個(gè)節(jié)點(diǎn)，及32個(gè)Axon節(jié)點(diǎn)。
實(shí)施例4 II型多Axon超節(jié)點(diǎn)一階張量擴(kuò)展Σj=03(MPU(4×4)⊗MPU(4×4))Aj]]>每個(gè)超節(jié)點(diǎn)如圖9所示，具有完整的MPU(4×4)內(nèi)聯(lián)網(wǎng)絡(luò)系統(tǒng)，同時(shí)具有4個(gè)Axon節(jié)點(diǎn)，記為Axon#0，Axon#1，Axon#2和Axon#3。一共有32個(gè)這樣的超節(jié)點(diǎn)。根據(jù)II型多Axon超節(jié)點(diǎn)互連方式，將每個(gè)子集合Ak中的32個(gè)Axon節(jié)點(diǎn)(k□
)，按照MPU(4×4)拓?fù)浼軜?gòu)模式(如圖10所示)，互連成一套外聯(lián)擴(kuò)展網(wǎng)絡(luò)。一共4套這樣的外聯(lián)擴(kuò)展網(wǎng)絡(luò)，組成了一個(gè)完整的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。由此擴(kuò)展生成的Σj=03(MPU(4×4)⊗MPU(4×4))Aj]]>并行計(jì)算系統(tǒng)，具有1024個(gè)內(nèi)聯(lián)網(wǎng)絡(luò)的節(jié)點(diǎn)，和128個(gè)Axon節(jié)點(diǎn)，以及由4套獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)組成的外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。
綜上所述的零階、一階和高階張量擴(kuò)展方式，共同組成了本專利提出的并行計(jì)算系統(tǒng)自洽多階張量超高擴(kuò)展方法，針對(duì)專利“內(nèi)外連網(wǎng)絡(luò)拓?fù)浼軜?gòu)及自洽擴(kuò)展該架構(gòu)的并行計(jì)算系統(tǒng)”中提出的MPU系統(tǒng)，提供了一套完整的超高擴(kuò)展方式。另外，我們也可同時(shí)混合使用多種擴(kuò)展方式，來提高整個(gè)并行計(jì)算系統(tǒng)的長程通信效率，以增加大規(guī)模并行計(jì)算系統(tǒng)的擴(kuò)展性。同時(shí)，本發(fā)明不僅能夠應(yīng)用于MPU系統(tǒng)的自洽多階超高擴(kuò)展方式的設(shè)計(jì)，而且可以應(yīng)用于其它類型的節(jié)點(diǎn)間的擴(kuò)展互連網(wǎng)絡(luò)的搭建，例如每個(gè)節(jié)點(diǎn)可以是多路的SMP節(jié)點(diǎn)等，以及任何有關(guān)于交換網(wǎng)絡(luò)結(jié)構(gòu)的擴(kuò)展設(shè)計(jì)之中。任意類型節(jié)點(diǎn)，可以是向量并行機(jī)、共享存儲(chǔ)的對(duì)稱多處理系統(tǒng)，也可以是一個(gè)小的集群系統(tǒng)，等等。高階Axon節(jié)點(diǎn)間的互連方式，既可采用單Axon超節(jié)點(diǎn)互連擴(kuò)展方式，也可采用多Axon超節(jié)點(diǎn)互連擴(kuò)展方式。既可單獨(dú)采用所述擴(kuò)展方式中的一種，來擴(kuò)展成為多MPU超級(jí)并行計(jì)算系統(tǒng)。同時(shí)，也可同時(shí)采用其中的多種混合擴(kuò)展方式，這樣既可在全局上，保持與MPU拓?fù)浼軜?gòu)的同構(gòu)性，又可借助輔助多階外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，來有效地減少長程通訊延遲。應(yīng)當(dāng)指出，所有這些修改或者變換都不可能脫離本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種自洽多階張量擴(kuò)展方法，其特征在于，將多個(gè)基于MPU架構(gòu)、集成有外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口的超節(jié)點(diǎn)互連成為一部整合的、更大規(guī)模的多MPU并行計(jì)算系統(tǒng)；該方法包括1-1)零階張量擴(kuò)展每個(gè)MPU超節(jié)點(diǎn)打開原有的內(nèi)聯(lián)網(wǎng)絡(luò)的環(huán)繞連接，形成外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口；按照MPU拓?fù)浼軜?gòu)的連接法則，將多個(gè)超節(jié)點(diǎn)利用外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口互連起來，從而使得所有打開的環(huán)繞連接重新在超節(jié)點(diǎn)間得到閉合；1-2)一階張量擴(kuò)展在每個(gè)MPU超節(jié)點(diǎn)，增加若干Axon節(jié)點(diǎn)；上述的Axon節(jié)點(diǎn)，一方面，與內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)含多個(gè)節(jié)點(diǎn)的子集進(jìn)行互連，另一方面，提供Axon節(jié)點(diǎn)間互連的網(wǎng)絡(luò)接口；按照一定的Axon節(jié)點(diǎn)間的互連方式，所有Axon節(jié)點(diǎn)互連成為一個(gè)一階外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)；1-3)高階張量擴(kuò)展以由比它低一階張量擴(kuò)展方式生成的MPU系統(tǒng)為超節(jié)點(diǎn)；在上述的超節(jié)點(diǎn)中，增加若干高階Axon節(jié)點(diǎn)，作為輔助的通信節(jié)點(diǎn)；上述的高階Axon節(jié)點(diǎn)，一方面，與內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)低一階Axon節(jié)點(diǎn)子集進(jìn)行互連，另一方面，提供高階外聯(lián)擴(kuò)展網(wǎng)絡(luò)的接口；按照一定的Axon節(jié)點(diǎn)間的互連方式，所有Axon節(jié)點(diǎn)互連成為一個(gè)高階外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)。
2.如權(quán)利要求1所述的自洽多階張量擴(kuò)展方法，其特征在于，每個(gè)超節(jié)點(diǎn)都可是一部小型完整，具有內(nèi)外連網(wǎng)絡(luò)結(jié)構(gòu)的MPU系統(tǒng)；其內(nèi)聯(lián)網(wǎng)絡(luò)架構(gòu)是基于一個(gè)任意維可自洽擴(kuò)展MPU互連網(wǎng)絡(luò)系統(tǒng)。
3.如權(quán)利要求1所述的自洽多階張量擴(kuò)展方法，其特征在于，每個(gè)超節(jié)點(diǎn)都提供若干用于外聯(lián)擴(kuò)展網(wǎng)絡(luò)連接的接口；外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口的提供方式，既可借助于處理節(jié)點(diǎn)的直接互連，也可借助于多個(gè)用于外聯(lián)擴(kuò)展網(wǎng)絡(luò)連接的通信節(jié)點(diǎn)。
4.如權(quán)利要求3所述的自洽多階張量擴(kuò)展方法，其特征在于，每個(gè)Axon節(jié)點(diǎn)都與超節(jié)點(diǎn)內(nèi)聯(lián)網(wǎng)絡(luò)中的一個(gè)具有特定個(gè)數(shù)節(jié)點(diǎn)子集互連，同時(shí)，提供若干用于外聯(lián)擴(kuò)展網(wǎng)絡(luò)連接的接口，可實(shí)現(xiàn)消息的轉(zhuǎn)發(fā)功能，主要負(fù)責(zé)大規(guī)模系統(tǒng)的長程通信和超節(jié)點(diǎn)之間的消息通信，它也可作為存儲(chǔ)節(jié)點(diǎn)及管理節(jié)點(diǎn)。
5.如權(quán)利要求4所述的自洽多階張量擴(kuò)展方法，其特征在于，所述Axon節(jié)點(diǎn)相配置的常規(guī)節(jié)點(diǎn)的個(gè)數(shù)存在一優(yōu)化值，即每十六個(gè)常規(guī)節(jié)點(diǎn)配一個(gè)Axon節(jié)點(diǎn)。
6.如權(quán)利要求1所述的自洽多階張量擴(kuò)展方法，其特征在于，零階張量擴(kuò)展方法所產(chǎn)生的完整的MPU拓?fù)浼軜?gòu)是與單個(gè)MPU系統(tǒng)同構(gòu)的。
7.如權(quán)利要求6所述的自洽多階張量擴(kuò)展方法，其特征在于，Axon節(jié)點(diǎn)間的互連方式，按照每個(gè)超節(jié)點(diǎn)所具有Axon節(jié)點(diǎn)數(shù)目的不同，劃分為單Axon超節(jié)點(diǎn)互連擴(kuò)展方式和多Axon超節(jié)點(diǎn)互連擴(kuò)展方式。
8.如權(quán)利7所述的自洽多階張量擴(kuò)展方法，其特征在于，所述的單Axon超節(jié)點(diǎn)互連擴(kuò)展方法，是指每個(gè)超節(jié)點(diǎn)具有單個(gè)Axon節(jié)點(diǎn)。每個(gè)Axon節(jié)點(diǎn)視為一個(gè)虛擬內(nèi)聯(lián)網(wǎng)絡(luò)中的節(jié)點(diǎn)，按照MPU內(nèi)聯(lián)網(wǎng)絡(luò)互連方式，所有Axon節(jié)點(diǎn)互連成為一個(gè)外聯(lián)擴(kuò)展網(wǎng)絡(luò)。
9.如權(quán)利7所述的自洽多階張量擴(kuò)展方法，其特征在于，所述的多Axon超節(jié)點(diǎn)互連擴(kuò)展方法，是指每個(gè)超節(jié)點(diǎn)具有多個(gè)Axon節(jié)點(diǎn)，所有Axon節(jié)點(diǎn)劃分成若干子集合，每個(gè)子集合中的所有Axon節(jié)點(diǎn)形成一個(gè)獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)，所有這樣獨(dú)立的外聯(lián)擴(kuò)展網(wǎng)絡(luò)組成一個(gè)整合的外聯(lián)網(wǎng)絡(luò)系統(tǒng)。
10.如權(quán)利要求7所述的自洽多階張量擴(kuò)展方法，其特征在于，高階Axon節(jié)點(diǎn)間的互連方式，既可采用單Axon超節(jié)點(diǎn)互連擴(kuò)展方式，也可采用多Axon超節(jié)點(diǎn)互連擴(kuò)展方式。
11.如權(quán)利要求1所述的自洽多階張量擴(kuò)展方法，其特征在于，超節(jié)點(diǎn)可以是向量并行機(jī)、共享存儲(chǔ)的對(duì)稱多處理系統(tǒng)，也可以是一個(gè)小的集群系統(tǒng)。
12.采用自洽多階張量方式擴(kuò)展而成的多MPU并行計(jì)算系統(tǒng)包括多個(gè)基于MPU架構(gòu)、集成有外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口的超節(jié)點(diǎn)；一種或多種混和的自洽多階張量擴(kuò)展方式，此方式用于互連各個(gè)超節(jié)點(diǎn)的外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口，形成外聯(lián)擴(kuò)展網(wǎng)絡(luò)系統(tǒng)，從而將各個(gè)超節(jié)點(diǎn)互連成為一部整合的、更大規(guī)模的多MPU并行計(jì)算系統(tǒng)。
全文摘要
本發(fā)明涉及一種自洽多階張量擴(kuò)展方法及多MPU并行計(jì)算系統(tǒng)，將多個(gè)基于MPU架構(gòu)、集成有外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口的超節(jié)點(diǎn)互連成為一部整合的、更大規(guī)模的并行計(jì)算系統(tǒng)。外聯(lián)擴(kuò)展網(wǎng)絡(luò)接口可以通過打開MPU超節(jié)點(diǎn)原有的內(nèi)聯(lián)網(wǎng)絡(luò)的環(huán)繞連接來實(shí)現(xiàn)，也可以另外增設(shè)Axon節(jié)點(diǎn)，Axon節(jié)點(diǎn)與內(nèi)聯(lián)網(wǎng)絡(luò)中的節(jié)點(diǎn)子集進(jìn)行互連。多階張量超高擴(kuò)展方法包括零階張量擴(kuò)展、一階張量擴(kuò)展和高階張量擴(kuò)展。本發(fā)明可用于諸如全局求和與全局取大值等全局操作，遠(yuǎn)端通信，以提高長程通信效率，有效地減少網(wǎng)絡(luò)半徑。同時(shí)能夠更有效地在擴(kuò)充系統(tǒng)時(shí)，減緩網(wǎng)絡(luò)半徑的增加，降低長程通信的延遲，從而保證了更大規(guī)模系統(tǒng)的更高擴(kuò)展性與可用性。
文檔編號(hào)H04L12/46GK1921428SQ20061003047
公開日2007年2月28日 申請日期2006年8月25日 優(yōu)先權(quán)日2006年8月25日
發(fā)明者鄧越凡, 張鵬 申請人:上海紅神信息技術(shù)有限公司