專利名稱：嵌入式專用向外擴展網(wǎng)絡的制作方法
嵌入式專用向外擴展網(wǎng)絡
背景技術：
大容量存儲系統(tǒng)持續(xù)提供不斷增加的存儲能力以滿足用戶需求。照片和電影存儲 以及照片和電影共享是拉動對越來越大的存儲系統(tǒng)的需求增長的應用的示例。對于這些不斷增長的需求的一種解決方案是使用多廉價盤陣列?？梢园凑仗峁┤?余和錯誤恢復而不丟失任何數(shù)據(jù)的方式配置這些陣列。這些陣列還可以被配置成通過允許 對多個盤驅(qū)動器的數(shù)據(jù)的同時讀取或者寫入來提高讀取和寫入性能。這些陣列還可以被 配置成允許“熱插拔”，其允許故障盤被替換而不中斷陣列的存儲服務。無論是否提供任何 冗余，這些陣列通常被稱為獨立冗余盤陣列(或者更常用地通過首字母RAID來指代)。來 自加利福尼亞大學伯克利分校的David A. Patterson等人于1987年在名為“A Case for RedundantArrays of Inexpensive Disks (RAID) ”(廉價冗余盤陣列方案)的公開物中討 論了 RAID技術的基本概念和層級。RAID存儲系統(tǒng)通常使用對用戶或者主系統(tǒng)屏蔽管理存儲陣列的細節(jié)的控制器?？?制器使得存儲陣列看起來像一個或多個盤驅(qū)動器(或者卷)。盡管事實是特定卷的數(shù)據(jù)(或 者冗余數(shù)據(jù))可能散布在多個盤驅(qū)動器中，但這仍然能夠?qū)崿F(xiàn)。

發(fā)明內(nèi)容
因此，本發(fā)明的實施例可以包含存儲陣列系統(tǒng)，包含N個配置有至少兩個互連結 構端口(interconnect fabric port)的陣列控制器，其中N是大于2的整數(shù)；集成在環(huán)境 服務模塊(ESM)中的第一和第二互連結構交換機(switch)，所述第一和第二互連結構交換 機中的每一個具有至少N個互連結構端口，所述N個互連結構端口中的每一個連接至位于 所述N個陣列控制器中的一個上的互連結構端口，從而建立所述N個陣列控制器中的每一 個之間的冗余連接。因此，本發(fā)明的實施例可以進一步包含存儲陣列的存儲陣列架構，包含至少兩個 陣列控制器，每一個具有至少兩個集成的互連結構交換機；具有至少兩個集成的互連結構 交換機的JB0D單元，所述至少兩個集成的互連結構交換機中的每一個與所述至少兩個陣 列控制器中的每一個至少直接連接兩次，從而在所述集成的互連結構交換機中的每一個與 所述至少兩個陣列控制器中的每一個之間建立至少兩個直接連接。


圖1是存儲陣列系統(tǒng)的框圖。圖2是存儲陣列系統(tǒng)的框圖。圖3是計算機系統(tǒng)的框圖。
具體實施例方式圖1是存儲陣列系統(tǒng)的框圖。在圖1中，存儲系統(tǒng)100包含陣列控制器110、 陣列控制器111、陣列控制器112以及簡單盤捆綁(Justa Bunch of Disks enclosure,JB0D)130。陣列控制器110包括多個互連結構端口 115。陣列控制器111包括多個互連結 構端口 116。陣列控制器112包括多個互連結構端口 117。在圖1中，僅僅顯示了三個陣列 控制器110-112。這是出于簡明的目的。應當理解，存儲系統(tǒng)100可以包括附加的陣列控制 器 110-112。JB0D 130包括環(huán)境服務模塊(ESM)140和ESM 141。ESM 140包括互連交換機120。 ESM 141包括互連交換機121。在實施例中，ESM 140和ESM 141被集成在與JB0D 130的其 它部分相同的系統(tǒng)級封裝中。因而，由于被包含在ESM 140和ESM 141中，互連交換機120 和互連交換機121也被集成在與JB0D 130的其它部分相同的系統(tǒng)級封裝中。JB0D 130還 可以包括盤驅(qū)動器131?；ミB交換機120包括多個互連結構端口 125?；ミB交換機121包 括多個互連結構端口 126。多個互連結構端口 125中的一個直接連接至互連結構端口 115中的一個。多個互 連結構端口 125中的一個直接連接至互連結構端口 116中的一個。多個互連結構端口 125 中的一個直接連接至互連結構端口 117中的一個。多個互連結構端口 126中的一個直接連 接至互連結構端口 115中的一個。多個互連結構端口 126中的一個直接連接至互連結構端 口 116中的一個。多個互連結構端口 126中的一個直接連接至互連結構端口 117中的一個。 因而，互連交換機120和互連交換機121提供每個陣列控制器110-112和每個其它陣列控 制器110-112之間經(jīng)由互連交換機120和互連交換機121的冗余互連路徑。在圖1中，僅僅顯示了一個JB0D 130。這是出于簡明的目的。應當理解，存儲陣列 100可以包括附加的JB0D。還應當理解，這些附加的JB0D可以具有替代的結構。例如，這 些附加的JB0D可以具有不同數(shù)目的ESM、互連結構端口和/或互連交換機。同樣，圖1所示 的JB0D 130具有ESM 140和141，每一個ESM分別具有單個互連交換機120和121。這也 是出于簡明的目的。應當理解，JB0D 130可以包括附加的ESM 140-141。同樣，在一個或多 個ESM 140-141中可以包括附加的互連交換機120-121。連接互連端口 115-117和125-126以形成專用于陣列控制器110-112之間的通信 的互連結構。該互連結構還可以被稱為專用向外擴展網(wǎng)絡(PS0N)。該互連結構還可以用 于互連JB0D。還可以使用多種存儲互連結構中的一種來實現(xiàn)通過互連陣列控制器110-112 的互連端口 115-117和互連交換機120-121的互連端口 125-126所形成的PS0N互連結構。 例如，可以使用串行連接SCSI (SAS)、InfiniBand、以太網(wǎng)或者高速PCI (PCI Express)所規(guī) 定的連接、端口和協(xié)議來實現(xiàn)PS0N互連結構。還可以使用其它互連結構技術。陣列控制器110-112可以是(或者包含)由例如InfiniBand、冗余廉價盤陣列 (RAID)、網(wǎng)絡附加存儲(NAS)、存儲區(qū)域網(wǎng)絡(SAN)、iSCSI SAN或者虛擬磁帶庫(VTL)所描 述的控制器或者與它們兼容的控制器。JB0D 130可以是(或者包含)與其它硬件一同位于 機殼(enclosure)中的一個或多個簡單盤捆綁或者簡單盤驅(qū)動盒(Just aBox OfDrives)。 ESM 140-141可以提供監(jiān)控和管理與JBOD 130相關聯(lián)的功能的擴展器和環(huán)境服務。在實施例中，存儲系統(tǒng)100具有N個數(shù)目的陣列控制器110-112。JB0D 130具有 M個數(shù)目的含有互連交換機120-121的ESM 140-141，每個互連交換機具有至少N個互連端 口。M可以是大于或等于1的整數(shù)。如能夠從圖1中所看見的一樣，每個陣列控制器110-112 與每個互連交換機120-121至少連接一次。因而，在圖1中，M等于2。每個陣列控制器110-112和每個JB0D 130之間的兩個連接(一個到互連交換機120，一個到互連交換機121)在陣列控制器110-112中的每一個和每個其它陣列控制器 110-112之間建立直接的冗余連接。例如，這在圖1中例示為陣列控制器110和互連交換機 120之間的第一連接以及陣列控制器110和互連交換機121之間的第二連接。這還例示為 陣列控制器111和互連交換機120之間的第一連接以及陣列控制器111和互連交換機121 之間的第二連接。最后，在陣列控制器112和互連交換機120之間顯示第一連接并且在陣 列控制器112和互連交換機121之間顯示第二連接。應當理解，這些連接是直接連接并且 不通過JBOD 130的外部的附加交換結構或者其它中間設備來傳遞。在實施例中，通過將額外的ESM 140-141增加至JBOD 130或者將額外的互連交換 機120-121增加至ESM 140-141，每個陣列控制器110-112可以與JBOD 130連接兩次以上。 在另一個實施例中，通過使用具有一個或多個ESM 140-141的多個JBOD 130，每個ESM具有 一個或多個互連交換機120-121，每個陣列控制器110-112可以連接至每個其它陣列控制 器 110-112。因為每個陣列控制器110-112通過互連交換機120-121與每個其它陣列控制器 110-112互連，所以從陣列控制器110-112到陣列控制器110-112的專用數(shù)據(jù)傳輸是可能 的。此外，因為互連交換機120-121由于它們被包含在ESM 140-141中而被集成至 JBOD 130，所以它們不占用存儲系統(tǒng)100中額外的機柜空間(rack space) 0作為JBOD 130 的ESM功能的一部分，互連交換機120-121的集成特性還允許對互連交換機120-121狀態(tài) 進行監(jiān)控。JBOD 130的封裝、冷卻、電源、風扇、環(huán)境功能和其它基礎設施功能可以用來將這 些基礎設施功能中的一個或多個提供給互連交換機120-121以及ESM 140-141。圖2是存儲陣列系統(tǒng)的圖示。圖2例示了一個陣列控制器210和一組互連交換機 230-231之間的連接。應當理解，其它陣列控制器、JBOD單元(未示出)或者PSON JBOD單 元(未示出)可以連接至陣列控制器210。出于簡明的目的而省略它們。陣列控制器210 和JBOD單元220-221之間的連接可以與圖1中所示的那些連接類似或相同。在圖2中，陣列控制器210至少包括PSON端口 240和PSON端口 241。陣列控制器 210還可以包括盤驅(qū)動器。PSON端口 240和PSON端口 241的每一個包括至少一個互連端 口。在圖2中，PSON端口 240和PSON端口 241的每一個顯示為4-寬端口(4_wide ports)。 應當理解，這僅僅出于示例的目的并且可以預期其它寬度的端口。還應當理解，PSON端口 240和PSON端口 241通?？梢跃哂?M個端口，其中M是存儲系統(tǒng)200中PSON JBOD單元 220的數(shù)目。PSON JBOD 單元 220 包括 ESM 250 和 ESM 251。ESM 250 包括互連交換機 230。ESM 251包括互連交換機231。因而，PSON JBOD單元220包括互連交換機230和互連交換機 231。PSON JBOD單元220和JBOD單元221還可以包括盤驅(qū)動器?；ミB交換機230和互連 交換機231的每一個包括互連端口。在圖2中，互連交換機230和互連交換機231的每一個 具有6個4-寬互連端口。應當理解，這僅僅出于示例的目的，并且互連交換機230和互連 交換機231通?？梢跃哂兄辽貼個端口，其中N是存儲系統(tǒng)200中陣列控制器210的數(shù)目。 PSON JBOD單元220還可以包括額外的互連端口。這些互連端口連接至JBOD單元221。這 些互連端口可以由互連交換機230和/或互連交換機231提供。JBOD單元221還可以連接 至額外的JBOD單元(未示出)。
在實施例中，互連交換機230的互連端口直接連接至PSON端口 240的互連端口。 互連交換機231的互連端口直接連接至PSON端口 241的互連端口。因而，PSON JBOD單元 220直接并且冗余地連接至陣列控制器210。同樣，PSON JBOD單元220還可以通過至少兩 個直接連接而直接地連接至存儲系統(tǒng)200中的每個其它陣列控制器210 (未示出)。因而， 存儲系統(tǒng)200的每個陣列控制器210冗余地連接至存儲系統(tǒng)200中的每個其它陣列控制器 210。PSON JBOD單元220、JBOD單元221以及諸如端口擴展器和盤驅(qū)動器的其它設備可以 位于單個或多個機殼或機柜中以形成存儲系統(tǒng)200。如能夠從圖1和圖2中所看到的一樣，多個陣列控制器110-112和210可以相互 直接并且冗余地連接而無需使用外部交換，同時仍然向任一控制器設備連接提供任一冗余 的控制器。為存儲系統(tǒng)100和200增加了作為陣列控制器來擴展的性能。同樣，當存儲系 統(tǒng)100和200的一個或多個部件出現(xiàn)故障或者不能提供服務時，性能僅僅以線性的方式來 降低。例如，如果N = 6 ( S卩，系統(tǒng)中存在6個陣列控制器110-112)，并且一個陣列控制器出 現(xiàn)故障，則存儲系統(tǒng)100或200的性能將僅僅降低至其此前水平的大約5/6。將其與僅僅具 有兩個陣列控制器110-112的系統(tǒng)相比，該系統(tǒng)的性能在一個陣列控制器出現(xiàn)故障時將降 低至其此前水平的大約1/2。此外，因為在每個陣列控制器110-112或210之間存在直接連 接，免除了控制器之間的單獨的互連結構交換機。這些單獨的互連結構交換機增加了成本 并且占用封裝空間。上述的系統(tǒng)、單元、驅(qū)動器、設備、裝置和功能可以由一個或多個計算機系統(tǒng)來實 現(xiàn)或者執(zhí)行。上述的方法還可以存儲在計算機可讀介質(zhì)上。存儲系統(tǒng)100和存儲系統(tǒng)200 的許多部件可以是、可以包含或者可以包括計算機系統(tǒng)。這包括但不限于陣列控制器110、 陣列控制器111、陣列控制器112、JB0D 130、互連交換機120、互連交換機121、ESM 140,ESM 141、陣列控制器210、PSON JBOD單元220、JBOD單元221、ESM 250、ESM 251、互連交換機 230、互連交換機231、PS0N端口 240、PS0N端口 241以及存儲系統(tǒng)100或存儲系統(tǒng)200中包 含的任何盤驅(qū)動器。圖3例示了計算機系統(tǒng)的框圖。計算機系統(tǒng)300包括通信接口 320、處理系統(tǒng)330、 存儲系統(tǒng)340以及用戶接口 360。處理系統(tǒng)330可操作地(operatively)耦接至存儲系統(tǒng) 340。存儲系統(tǒng)340存儲軟件350和數(shù)據(jù)370。處理系統(tǒng)330可操作地耦接至通信接口 320 和用戶接口 360。計算機系統(tǒng)300可以包含已編程的通用計算機。計算機系統(tǒng)300可以包 括微處理器。計算機系統(tǒng)300可以包含可編程或者專用電路。計算機系統(tǒng)300可以分布在 合起來包含部件320-370的多個設備、處理器、存儲裝置和/或接口中。通信接口 320可以包含網(wǎng)絡接口、調(diào)制解調(diào)器、端口、總線、鏈路、收發(fā)器或其它通 信設備。通信接口 320可以分布在多個通信設備中。處理系統(tǒng)330可以包含微處理器、微 控制器、邏輯電路或者其它處理設備。處理系統(tǒng)330可以分布在多個處理設備中。用戶接 口 360可以包含鍵盤、鼠標、語音識別接口、傳聲器和揚聲器、圖形顯示器、觸摸屏或者其它 類型的用戶接口設備。用戶接口 360可以分布在多個接口設備中。存儲系統(tǒng)340可以包含 盤、磁帶、集成電路、RAM、R0M、網(wǎng)絡存儲、服務器或者其它存儲功能模塊。存儲系統(tǒng)340可以 是計算機可讀介質(zhì)。存儲系統(tǒng)340可以分布在多個存儲設備中。處理系統(tǒng)330從存儲系統(tǒng)340獲取(retrieve)并執(zhí)行軟件350。處理系統(tǒng)可以 獲取并且存儲數(shù)據(jù)370。處理系統(tǒng)還可以通過通信接口 320獲取并且存儲數(shù)據(jù)。處理系統(tǒng)330可以創(chuàng)建或者修改軟件350或數(shù)據(jù)370以取得實效。處理系統(tǒng)可以控制通信接口 320 或者用戶接口 360以取得實效。處理系統(tǒng)可以通過通信接口 320獲取并且執(zhí)行遠程存儲的 軟件。軟件350和遠程存儲的軟件可以包含操作系統(tǒng)、應用程序、驅(qū)動、網(wǎng)絡軟件以及通 常由計算機系統(tǒng)執(zhí)行的其它軟件。軟件350可以包含應用程序、小應用程序、固件或者通常 由計算機系統(tǒng)執(zhí)行的機器可讀處理指令的其它形式。當由處理系統(tǒng)330執(zhí)行時，軟件350 或者遠程存儲的軟件可以指導計算機系統(tǒng)300如本申請所述的一樣來操作。本發(fā)明此前的描述出于示例和描述的目的而出現(xiàn)。其不意在窮舉或者限制本發(fā)明 為所公開的精確形式，在上述內(nèi)容的教導下，其它修改和變化是可能的。為了最佳地解釋本 發(fā)明的原理及其實際應用而選擇和描述了實施例，從而使得本領域其他技術人員以適于預 期的特定使用目的的各種實施例和各種修改來最佳地使用本發(fā)明。所附的權利要求意在被 解釋成包括本發(fā)明的其它替代實施例，只要其不被現(xiàn)有技術限定即可。
權利要求
一種存儲陣列系統(tǒng)，包含N個配置有至少兩個互連結構端口的陣列控制器，其中N是大于2的整數(shù)；分別集成在第一和第二環(huán)境服務模塊(ESM)中的第一互連結構交換機和第二互連結構交換機，所述第一和第二互連結構交換機中的每一個具有至少N個互連結構端口，所述N個互連結構端口中的每一個連接至所述N個陣列控制器中的一個上的互連結構端口，從而建立所述N個陣列控制器中的每一個之間的冗余連接。
2.如權利要求1所述的存儲系統(tǒng)，其中所述N個陣列控制器中的每一個能夠通過所述 第一互連結構交換機和所述第二互連結構交換機與所述N個陣列控制器中的其它每一個 進行專用數(shù)據(jù)傳輸通信。
3.如權利要求1所述的存儲系統(tǒng)，其中所述第一互連結構交換機和所述第二互連結構 交換機分別從所述第一和第二 ESM接收電力。
4.如權利要求3所述的存儲系統(tǒng)，其中所述第一互連結構交換機和所述第二互連結構 交換機從JB0D接收冷卻。
5.如權利要求1所述的存儲系統(tǒng)，其中所述N個陣列控制器中的至少一個進一步包括 至少一個盤驅(qū)動器。
6.如權利要求1所述的存儲系統(tǒng)，其中所述互連結構端口被構造成串行連接SCSI端□。
7.如權利要求1所述的存儲系統(tǒng)，其中所述互連結構端口被構造成InfiniBand端口。
8.如權利要求1所述的存儲系統(tǒng)，其中所述互連結構端口被構造成以太網(wǎng)端口。
9.如權利要求1所述的存儲系統(tǒng)，其中所述互連結構端口被構造成高速PCI端口。
10.一種存儲陣列的存儲陣列架構，包含至少兩個陣列控制器，每一個陣列控制器具有至少兩個集成的互連結構交換機；具有至少兩個集成的互連結構交換機的JB0D單元，所述至少兩個集成的互連結構交 換機中的每一個與所述至少兩個陣列控制器中的每一個至少直接連接兩次，從而在所述集 成的互連結構交換機中的每一個與所述至少兩個陣列控制器中的每一個之間建立至少兩 個直接連接。
11.如權利要求10所述的存儲系統(tǒng)，其中所述JB0D單元進一步包括盤驅(qū)動器。
12.如權利要求10所述的存儲系統(tǒng)，其中所述JB0D單元包括環(huán)境服務模塊。
13.如權利要求10所述的存儲系統(tǒng)，其中所述陣列控制器中的至少一個進一步包括至 少一個盤驅(qū)動器。
14.如權利要求10所述的存儲系統(tǒng)，其中所述互連結構端口被構造成串行連接SCSI端
15.如權利要求10所述的存儲系統(tǒng)，其中所述互連結構端口被構造成InfiniBand端
16.如權利要求10所述的存儲系統(tǒng)，其中所述互連結構端口被構造成以太網(wǎng)端口。
17.如權利要求10所述的存儲系統(tǒng)，其中所述互連結構端口被構造成高速PCI端口。
全文摘要
公開了一種嵌入式專用向外擴展網(wǎng)絡和存儲陣列系統(tǒng)。N個陣列控制器配置有至少兩個互連結構端口，其中N是大于2的整數(shù)。JBOD單元配置有至少兩個互連結構交換機。兩個互連結構交換機中的每一個具有至少N個互連結構端口。至少N個互連結構端口中的每一個直接連接至N個陣列控制器中的相應一個，從而在N個陣列控制器中的每一個和N個陣列控制器中的其它每一個之間建立直接冗余連接。
文檔編號H04L29/08GK101923445SQ20091017066
公開日2010年12月22日 申請日期2009年9月1日 優(yōu)先權日2009年6月9日
發(fā)明者C·E·尼科爾斯, K·霍爾特, M·埃爾-巴塔爾, R·A·德科寧, W·P·德拉尼 申請人:Lsi公司