專利名稱：數(shù)據(jù)存儲系統(tǒng)和數(shù)據(jù)存儲控制裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)存儲系統(tǒng)的構(gòu)造和一種數(shù)據(jù)存儲控制裝置，它們用于計算機的外部存儲裝置，并且更加具體地講，涉及一種數(shù)據(jù)存儲系統(tǒng)和一種數(shù)據(jù)存儲控制裝置，具有能夠以高性能和高靈活性構(gòu)筑連接多個盤裝置的數(shù)據(jù)存儲系統(tǒng)的單元的組合和連接。
背景技術(shù)：
近來，隨著各種數(shù)據(jù)得到了計算機化并且在計算機上進行處理，獨立于執(zhí)行數(shù)據(jù)處理的主計算機的、能夠有效存儲大量具有高可靠性的用于處理的數(shù)據(jù)的數(shù)據(jù)存儲裝置(外部存儲裝置)變得越來越重要了。
這種數(shù)據(jù)存儲裝置使用了具有很多盤裝置(例如，磁盤和光盤)的盤陣列裝置和用于控制這很多個盤裝置的盤控制器。這種盤陣列裝置能夠同時接收來自多個主計算機的盤存取請求，并且能夠控制很多盤。
最近，給出了能夠控制具有數(shù)千乃至更多盤裝置的盤裝置組的盤陣列裝置，這些盤裝置自身具有數(shù)百吉字節(jié)(terabyte)。
這樣的盤陣列裝置封裝著存儲器，該存儲器起到了盤的緩沖的一部分的作用。由此，能夠減少接收到來自主計算機的讀取請求或?qū)懭胝埱髸r的數(shù)據(jù)存取時間，并且能夠?qū)崿F(xiàn)更高的性能。
一般來說，盤陣列裝置由以下多個主要單元組成，即通道適配器，是與主計算機的連接部分；盤適配器，是與盤驅(qū)動器的連接部分；緩沖存儲器；緩存控制單元，管理緩沖存儲器；和很多盤驅(qū)動器。
附圖11是示出了第一種現(xiàn)有技術(shù)的示意圖。附圖11中所示的盤陣列裝置102具有兩個緩存管理器(緩沖存儲器和緩存控制單元)10，并且通道適配器11和盤適配器13與各個緩存管理器10相連接。
這兩個緩存管理器10經(jīng)總線10c直接連接起來，從而使通信成為可能。這兩個緩存管理器10和10、緩存管理器10與通道適配器11以及緩存管理器10與盤適配器13分別經(jīng)PCI總線相連接，這是因為需要低的等待時間。
通道適配器11借助例如光纖通道(Fibre Channel)或以太網(wǎng)(Ethernet)與主計算機(未示出)相連接，而盤適配器13借助例如光纖通道的纜線與盤封裝組12的各個驅(qū)動器相連接。
盤封裝組12具有兩個端口(例如，光纖通道端口)，并且這兩個端口與不同的盤適配器13相連接。這提供了冗余度，這種冗余度增加了抗故障能力。
附圖12是示出了根據(jù)第二種現(xiàn)有技術(shù)的盤陣列裝置100的框圖。如附圖12所示，傳統(tǒng)的盤陣列裝置100具有緩存管理器(圖中由CM表示)10，該緩存管理器10由緩沖存儲器和作為主要單元的緩存控制單元構(gòu)成；通道適配器(圖中由CA表示)11，是與主計算機(未示出)的接口；盤封裝組12，由多個盤驅(qū)動器構(gòu)成；和盤適配器(圖中由DA表示)13，是與該盤驅(qū)動器12的接口。
盤陣列裝置此外還具有路由器(圖中由RT表示)14，用于相互連接緩沖存儲器10；通道適配器11和盤適配器13，用于進行這些主要單元之間的數(shù)據(jù)傳送和通信。
該盤陣列裝置100包括四個緩存管理器10和與四個與這些緩存管理器10相對應的路由器14。這些緩存管理器10與路由器14一對一相互連接，因此多個緩存管理器10之間的連接是冗余的，并且可存取性得到了提高(例如，日本專利申請?zhí)亻_No.2001-256003)。
換句話說，即使一個路由器14發(fā)生了故障，也能夠借助另一個路由器14確保多個緩存管理器10之間的連接，并且即使在這種情況下，盤陣列裝置100也能夠繼續(xù)進行正常的操作。
在這種盤陣列裝置100中，各個路由器14與兩個通道適配器11和兩個盤適配器13相連接，并且盤陣列裝置100包括總數(shù)為八的通道適配器和總數(shù)為八的盤適配器13。
通過緩存管理器10和路由器14的相互連接，這些通道適配器11和盤適配器13能夠與所有的緩存管理器10進行通信。
通道適配器11借助光纖通道(Fibre Channel)或以太網(wǎng)(Ethernet)與處理數(shù)據(jù)的主計算機相連接，并且盤適配器13通過(例如)光纖通道與盤封裝組12(具體來說是盤驅(qū)動器)相連接。
此外，在通道適配器11與緩存管理器10之間以及盤適配器13與緩存管理器10之間，不僅要交換來自主計算機的用戶數(shù)據(jù)，而且要交換用來保持盤陣列裝置100的內(nèi)部操作(例如，多個緩沖存儲器之間數(shù)據(jù)的鏡像處理)的一致性的各種信息。
緩存管理器10、通道適配器11和盤適配器13通過接口與路由器14相連接，能夠?qū)崿F(xiàn)比盤陣列裝置100與主計算機或盤陣列裝置100與盤驅(qū)動器之間的通信更低的等待時間。例如，緩存管理器10、通道適配器11和盤適配器13通過設計為用于連接LSI(大規(guī)模集成電路)與印刷電路板的總線(比如PCI(外部部件互連)總線)與路由器14相連接。
用于裝納盤驅(qū)動器的盤封裝組12具有兩個光纖通道端口，這兩個端口分別與屬于不同路由器14的盤適配器13連接。由此，即使在盤適配器13或路由器14發(fā)生故障時，也能夠防止與緩存管理器10的連接斷開。
由于近來計算機化的發(fā)展，存在對更大容量和更快速度的數(shù)據(jù)存儲系統(tǒng)的需求。在上面提到的第一種現(xiàn)有技術(shù)的盤陣列裝置的情況下，如果對緩存管理器10、通道適配器11和盤適配器13進行擴充來增大容量和速度，則必須增加盤封裝組12的端口數(shù)量并且必須增加盤適配器13與盤封裝組12之間的連接纜線數(shù)量。
增加盤封裝組12的端口數(shù)量會與要連接到一個盤封裝組上的盤適配器的數(shù)量相應地增加纜線的數(shù)量，這增加了安裝空間。這意味著裝置的大小會增加。由于對于一個盤封裝組來說，只有存在兩個路徑系統(tǒng)，才能夠?qū)崿F(xiàn)足夠的冗余結(jié)構(gòu)，因此增加端口的數(shù)量也不是個好主意。而且要連接的盤適配器的數(shù)量也不是恒定的，而是會依照用戶的需求而改變，所以如果擴充了很多端口，而使用少量的盤適配器，就會造成浪費，但是如果擴充了少量端口，又不能支持很多盤適配器。換句話說就是，喪失了靈活性。
另一方面，在第二種現(xiàn)有技術(shù)的盤陣列裝置的情況下，擴充緩存管理器10、通道適配器11和盤適配器13是可行的，但是所有的通信都是通過路由器14進行的，所以通信數(shù)據(jù)都會匯集到路由器14中，它變成了流量瓶頸，因此不能指望會有高的流量。而且在盤陣列裝置100的情況下，如果構(gòu)造具有很多主要單元的大規(guī)模盤陣列裝置，則緩存管理器10與路由器14之間的連線數(shù)量會急劇增加，這會造成連接關(guān)系復雜并且安裝在物理上會變得很困難。
例如，在附圖12所示的結(jié)構(gòu)的情況下，四個(四片)緩存管理器10與四個路由器14通過背板15連接起來，如附圖13所示。在這種情況下，如附圖12所示，信號的數(shù)量是(4×4×(每路徑信號線的數(shù)量))。例如，如果一條路徑是借助64位PCI(并行路徑)連接的，則包括控制線，背板15上的信號線數(shù)量就是100×16＝1600。要形成這些信號線，背板15上的印刷電路板需要六個信號層。
在大規(guī)模構(gòu)造的情況下，比如通過背板15連接八個(四片)緩存管理器10和八個(四片)路由器14的情況下的構(gòu)造，所需的信號線數(shù)量大約為100×8×8＝6400。因此背板15的印刷電路板需要24層，這是上述情況的四倍，實現(xiàn)這樣的構(gòu)造是很困難的。
如果使用信號線少于64位PCI總線的四路PCI-Express總線來進行連接，則信號線的數(shù)量是16×8×8＝1024。不過，PCI總線以66MHz的頻率工作，而PCI-Express總線(PCI快速總線)是2.5Gbps的高速總線，為了維持高速總線的信號質(zhì)量，必須使用昂貴的基質(zhì)材料。
如果使用低速總線，可以通過使用通孔來代替接線層，但是在高速總線的情況下，應當避免使用通孔，因為這會降低信號質(zhì)量。因此在高速總線的情況下，需要布局成使得所有的信號線都不交叉，所以與具有相同數(shù)量信號線的低速總線相比，需要大約兩倍的信號層。例如，電路板需要12個信號層，并且這些層必須使用昂貴的材料來構(gòu)造，因此這實現(xiàn)起來也是很困難的。
而且在第二種現(xiàn)有技術(shù)的盤陣列裝置100的情況下，如果路由器14之一發(fā)生故障，則與這個路由器14相連的通道適配器11和盤適配器13在這個路由器14發(fā)生故障的同時也是不能使用的。

發(fā)明內(nèi)容
鑒于前述問題，本發(fā)明的目的是提供一種數(shù)據(jù)存儲系統(tǒng)和數(shù)據(jù)存儲控制裝置，它們用于實現(xiàn)各單元之間的高流量數(shù)據(jù)傳遞，并且能夠很容易地實現(xiàn)小規(guī)模到大規(guī)模的結(jié)構(gòu)，而不會引發(fā)安裝問題。
本發(fā)明的另一個目的是提供一種數(shù)據(jù)存儲系統(tǒng)和數(shù)據(jù)存儲控制裝置，它們具有以相同單元的組合輕松實現(xiàn)小規(guī)模到大規(guī)模結(jié)構(gòu)的靈活性，同時保持了即使在一個單元故障的情況下也能夠操作的冗余度。
本發(fā)明的再一個目的是提供一種數(shù)據(jù)存儲系統(tǒng)和數(shù)據(jù)存儲控制裝置，它們用于輕松實現(xiàn)小規(guī)模到大規(guī)模的結(jié)構(gòu)，而不會引發(fā)安裝問題，同時保持了高流量和冗余度。
為了實現(xiàn)這些目的，本發(fā)明的數(shù)據(jù)存儲系統(tǒng)具有多個存儲裝置，用于存儲數(shù)據(jù)；和多個控制模塊，用于按照來自于主機的存取指令進行所述存儲裝置的存取控制。并且所述控制模塊還包括緩沖存儲器，用于存儲一部分存儲在所述存儲裝置中的數(shù)據(jù)；緩存控制單元，用于控制所述緩沖存儲器；第一接口單元，用于控制與所述主機的連接；第二接口單元，用于控制與所述多個存儲裝置的連接；和多個第一切換單元，設置在所述多個控制模塊與所述多個存儲裝置之間，用于選擇性地開關(guān)各個控制模塊的所述第二接口單元和所述多個存儲裝置。并且所述多個控制模塊與所述多個第一切換單元是使用背板相連接的。
本發(fā)明的數(shù)據(jù)存儲控制裝置具有緩沖存儲器，用于存儲一部分存儲在所述存儲裝置中的數(shù)據(jù)；緩存控制單元，用于控制所述緩沖存儲器；多個控制模塊，具有第一接口單元，用于控制與所述主機的連接，和第二接口單元，用于控制與所述多個存儲裝置的連接；和多個第一切換單元，設置在所述多個控制模塊與所述多個存儲裝置之間，用于選擇性地開關(guān)各個控制模塊的所述第二接口單元和所述多個存儲裝置。并且所述多個控制模塊與所述多個第一切換單元是使用背板相連接的。
在本發(fā)明中，優(yōu)選地，所述緩存控制單元和所述第二接口單元通過具有低等待時間的高速串行總線相連接，并且所述第二接口單元與所述多個第一切換單元使用所述背板通過串行總線相連接。
在本發(fā)明中，優(yōu)選地，所述控制模塊還包括用于與另外一個所述控制模塊進行通信的通信單元，并且還包括第二切換單元，用于選擇性地連接各所述控制模塊中的通信單元。
在本發(fā)明中，優(yōu)選地，各個控制模塊的通信單元和第二切換單元是使用背板進行連接。
在本發(fā)明中，優(yōu)選地，所述第一切換單元和所述多個存儲裝置是通過纜線進行連接的。
在本發(fā)明中，優(yōu)選地，所述存儲裝置還包括多個存取端口，并且其中多個不同的第一切換單元與所述多個存取端口相連接。
在本發(fā)明中，優(yōu)選地，所述緩存控制單元和所述第二接口單元是通過多路高速串行總線相連接的，并且所述第二接口單元和所述多個第一切換單元是使用背板通過串行總線相連接的。
在本發(fā)明中，優(yōu)選地，所述高速串行總線是PCI-Express總線。
在本發(fā)明中，優(yōu)選地，所述串行總線是光纖通道。
在本發(fā)明中，優(yōu)選地，所述緩存控制單元和所述第一接口單元是通過具有低等待時間的高速串行總線相連接的。
在本發(fā)明中，各個控制模塊的第二接口與多個第一切換單元相連接，所以所有的控制模塊都可以維持對所有存儲裝置進行存取的冗余度，并且即使控制模塊的數(shù)量增加，控制模塊與第一切換單元也使用背板通過串行總線(具有構(gòu)成接口的少量信號)相連接，所以在印刷電路板上進行安裝是可行的。


附圖1是示出了依據(jù)本發(fā)明的實施例的數(shù)據(jù)存儲系統(tǒng)的框圖；附圖2是示出了附圖1中的控制模塊的框圖；附圖3是示出了附圖1和附圖2中的后端路由器和盤封裝組的框圖；附圖4是示出了附圖1和附圖3中的盤封裝組的框圖；
附圖5是示出了附圖1和附圖2中的結(jié)構(gòu)的讀取處理的示意圖；附圖6是示出了附圖1和附圖2中的結(jié)構(gòu)的寫入處理的示意圖；附圖7是示出了依據(jù)本發(fā)明的實施例的控制模塊的安裝結(jié)構(gòu)的示意圖；附圖8是示出了依據(jù)本發(fā)明的實施例的數(shù)據(jù)存儲系統(tǒng)的安裝結(jié)構(gòu)示例的示意圖；附圖9是示出了依據(jù)本發(fā)明的實施例的大規(guī)模存儲系統(tǒng)的框圖；附圖10是示出了依據(jù)本發(fā)明的另一實施例的中等規(guī)模存儲系統(tǒng)的框圖；附圖11是示出了依據(jù)第一種現(xiàn)有技術(shù)的存儲系統(tǒng)的框圖；附圖12是示出了依據(jù)第二種現(xiàn)有技術(shù)的存儲系統(tǒng)的框圖；附圖13是示出了依據(jù)附圖12中的第二種現(xiàn)有技術(shù)的存儲系統(tǒng)的安裝結(jié)構(gòu)的示意圖。
具體實施例方式
現(xiàn)在將按照數(shù)據(jù)存儲系統(tǒng)、讀/寫處理、安裝結(jié)構(gòu)和其它實施例的順序介紹本發(fā)明的實施例。
數(shù)據(jù)存儲系統(tǒng)附圖1是示出了依據(jù)本發(fā)明的實施例的數(shù)據(jù)存儲系統(tǒng)的框圖，附圖2是示出了附圖1中的控制模塊的框圖，附圖3是示出了附圖1中的后端路由器和盤封裝組的框圖，而附圖4是示出了附圖1和附圖3中的盤封裝組的框圖。
附圖1示出了作為示例具有八個控制模塊的大規(guī)模存儲系統(tǒng)。如附圖1所示，存儲系統(tǒng)1具有多個用于保存數(shù)據(jù)的盤封裝組2-0到2-25；多個(在本情況下是八個)設置在未示出的主計算機(數(shù)據(jù)處理單元)與多個盤封裝組2-0到2-25之間的控制模塊4-0到4-7；多個(在本情況下是八個)設置在多個控制模塊4-0到4-7與多個盤封裝組2-0到2-25之間的后端路由器(第一切換單元在圖中標為BRT，此后稱其為BRT)5-0到5-7以及多個(在本情況下是兩個)前端路由器(第二切換單元在圖中標為FRT，此后稱之為FRT)6-0到6-1。
控制模塊4-0到4-7中的每一個具有緩存管理器40、通道適配器(第一接口單元在圖中標為CA)41a到41d、盤適配器(第二接口單元在圖中標為DA)42a和42b以及DMA(直接存儲器存取)引擎(通信單元在圖中標為DMA)43。
在附圖1中，為了簡化作圖，僅對控制模塊4-0標出了附圖標記緩存管理器“40”，通道適配器“41a”、“41b”、“41c”和“41d”，盤適配器的“42a”和“42b”以及DMA的“43”，并且省略了其它控制模塊4-1到4-7中的組成元件的這些附圖標記。
現(xiàn)在將參照附圖2介紹控制模塊4-0到4-7。緩存管理器40根據(jù)來自主計算機的處理請求(讀請求或?qū)懻埱?進行讀/寫處理，并且該緩存控制器40具有緩沖存儲器40b和緩存控制單元40a。
緩沖存儲器40b保存盤封裝組2-0到2-25的多個盤中存儲的數(shù)據(jù)的一部分，就是說，它起多個盤的緩存器的作用。
緩存控制單元40a控制緩沖存儲器40b、通道適配器41、裝置適配器42和DMA 43。為此，緩存控制單元40a具有一個或多個(在附圖2中是2個)CPU 400和410以及存儲器控制器420。存儲器控制器420控制各個存儲器的讀/寫，并且開關(guān)路徑。
經(jīng)存儲器總線434與緩沖存儲器40b相連接的存儲器控制器420經(jīng)CPU總線430和432與CPU 400和410相連接，并且還經(jīng)后面將要提到的四路高速串行總線(例如，PCI-Express)440和442與盤適配器42a和42b相連接。同樣，存儲器控制器420經(jīng)四路高速串行總線(例如，PCI-Express)443、444、445和446與通道適配器41a、41b、41c和41d相連接，并且經(jīng)四路高速串行總線(例如，PCI-Express)447和448與DMA 43-a到43-b相連接。
后面將要介紹，這種高速總線(比如PCI-Express)以分組方式進行通信，并且通過設置多路串行總線，使得以很快的響應速度進行的通信成為可能，這樣進行的通信具有很小的延遲，即具有很低的等待時間，即使在減少了信號線的數(shù)量的情況下也是如此。
通道適配器41a到41d是用于主計算機的接口，并且通道適配器41a到41d分別與不同的主計算機相連接。優(yōu)選地，借助總線(比如光纖通道和以太網(wǎng)(Ethernet))將通道適配器41a到41d分別與相應主計算機的接口單元相連接，并且在這種情況下，使用了光纖或同軸電纜作為總線。
這些通道適配器41a到41d中的每一個構(gòu)成為各個控制模塊4-0到4-7的一部分，但是，作為相應主計算機與控制模塊4-0到4-7之間的接口，必須要支持多種協(xié)議。由于所要安裝的協(xié)議依相應的主計算機而不同，將作為控制模塊4-0到4-7的主要單元的緩存管理器40安裝在不同的印刷電路板上，如后面在附圖7中介紹的那樣，從而在需要的時候能夠很容易地替換各個通道適配器41a到41d。
通道適配器41a到41d應當支持的與主計算機的協(xié)議的示例是相應于上面提到的光纖通道和以太網(wǎng)的iSCSI(因特網(wǎng)小計算機系統(tǒng)接口)。各個通道適配器41a到41d經(jīng)設計用于連接LSI(大規(guī)模集成電路)與印刷電路板的總線(比如前面提到的PCI-Express總線)直接與緩存管理器40連接。由此，能夠?qū)崿F(xiàn)各通道適配器41a到41d與緩存管理器40之間要求的高流量。
盤適配器42a和42b是盤封裝組2-0到2-25到盤驅(qū)動器的接口，并且與連接在盤封裝組2-0到2-25上的BRT 5-0到5-7相連接，為了進行這一連接，使用了四個FC(光纖通道(Fibre Channel)))端口。各個盤適配器42a和42b通過上面提到的設計用于連接LSI(大規(guī)模集成電路)與印刷電路板的總線(比如PCI-Express)直接與緩存管理器40相連接。由此，能夠?qū)崿F(xiàn)各個盤適配器42a和42b與緩存管理器40之間要求的高流量。
如附圖1和附圖3所示，BRT 5-0到5-7是多端口開關(guān)，它們選擇性地開關(guān)并可通信地連接各個控制模塊4-0到4-7的盤適配器42a和42b與各個盤封裝組2-0到2-25。
如附圖3所示，多個(在本情況下是兩個)BRT 5-0到5-1與各個盤封裝組2-0到2-7相連接。如附圖4所示，各個盤封裝組2-0具有多個盤驅(qū)動器200，這些盤驅(qū)動器200分別具有兩個端口，并且這個盤封裝組2-0還具有單位盤封裝組20-0到23-0，這些單位盤封裝組具有四個連接端口210、212、214和216。這些單位盤封裝組是串聯(lián)連接的，以便實現(xiàn)容量的增大。
在盤封裝組20-0到23-0中，各個盤驅(qū)動器200的各個端口經(jīng)從兩個端口210和212引出的一對FC纜線與這兩個端口210和212相連接。這兩個端口210和212與不同的BRT 5-0和5-1相連接，如附圖3所示。
如附圖1所示，各個控制模塊4-0到4-7的盤適配器42a和42b分別與所有的盤封裝組2-0到2-25相連接。換句話說，各個控制模塊4-0到4-7的盤適配器42a分別與連接于盤封裝組2-0到2-7上的BRT 5-0(見附圖3)、連接于盤封裝組2-8、2-9、——上的BRT 5-2、連接于盤封裝組2-16、2-17、——上的BRT 5-4和連接于盤封裝組2-24、2-25、——上的BRT 5-6相連接。
采用同樣的方式，各個控制模塊4-0到4-7的盤適配器42b分別與連接于盤封裝組2-0到2-7上的BRT 5-1(見附圖3)、連接于盤封裝組2-8、2-9、——上的BRT 5-3、連接于盤封裝組2-16、2-17、——上的BRT 5-5和連接于盤封裝組2-24、2-25、——上的BRT 5-7相連接。
這樣，將多個(在本情況下是兩個)BRT連接到了各個盤封裝組2-0到2-31上，并且同一控制模塊4-0到4-7中的不同的盤適配器42a和42b分別與連接到同一盤封裝組2-0到2-31的兩個BRT相連接。
借助這種結(jié)構(gòu)，每個控制模塊4-0到4-7能夠經(jīng)盤適配器42a或42b對所有的盤封裝組(盤驅(qū)動器)2-0到2-31進行存取。
這些構(gòu)成為控制模塊4-0到4-7的一部分的盤適配器42a和42b中的每一個安裝在緩存管理器40的電路板上，該緩存管理器40是控制模塊4-0到4-7的主要單元，各個盤適配器42a和42b借助例如PCI(外圍部件互連)-Express總線與緩存管理器40直接連接，并且由此，能夠?qū)崿F(xiàn)各個盤適配器42a和42b與緩存管理器40之間要求的高流量。
而且如附圖2所示，各盤適配器42a和42b借助總線(比如光纖通道和以太網(wǎng))與相應的BRT 5-0到5-7相連接。在這種情況下，該總線通過電子布線安裝在背板的印刷電路板上，后面將作介紹。
各個控制模塊4-0到4-7的盤適配器42和42b和BRT 5-0到5-7進行一對一網(wǎng)形連接，從而連接到了所有的盤封裝組上，如前所述，只要控制模塊4-0到4-7的數(shù)量(換句話說，盤適配器42a和42b的數(shù)量)增加，連接線路的數(shù)量就會增加，并且連接關(guān)系會變得更加復雜，這就會造成物理安裝困難。但是當將光纖通道(信號數(shù)量少，構(gòu)成的接口小)用于盤適配器42a和42b與BRT 5-0到5-7之間的連接時，在印刷電路板上進行安裝變得可行了。
當各個盤適配器42a和42b與相應的BRT 5-0到5-7通過光纖通道連接時，BRT 5-0到5-7就成為了光纖通道的開關(guān)。各個BRT 5-0到5-7與相應的盤封裝組2-0到2-31也是例如通過光纖通道連接的，并且在這種情況下，由于模塊不同，使用了光纜500和510進行連接。如附圖1所示，DMA引擎43與其它控制模塊4-0到4-7相互通信，并且負責與其它控制模塊4-0到4-7的通信和數(shù)據(jù)傳遞處理。各個控制模塊4-0到4-7的各個DMA引擎43構(gòu)成為控制模塊4-0到4-7的一部分，并且安裝在緩存管理器40的電路板上，該緩存管理器40是控制模塊4-0到4-7的主要單元。并且DMA引擎43借助前面提到的高速串行總線與緩存管理器40直接連接，并且經(jīng)FRT 6-0和6-1與其它控制模塊4-0到4-7的DMA引擎43相互通信。
FRT 6-0和6-1與多個(具體來說是三個或更多，在本情況下是八個)控制模塊4-0到4-7的DMA引擎43相連接，并且選擇性地開關(guān)并可通信地連接這些控制模塊4-0到4-7。
借助這種結(jié)構(gòu)，各個控制模塊4-0到4-7的各個DMA引擎43執(zhí)行通信和數(shù)據(jù)傳遞處理(例如，鏡像處理)，所述處理是依照來自主計算機的存取請求在連接到這個控制模塊上的緩存管理器40與其它控制模塊4-0到4-7的緩存管理器40之間經(jīng)FRT 6-0和6-1發(fā)生的。
如附圖2所示，各個控制模塊4-0到4-7的DMA引擎43由多個(在本情況下是兩個)DMA引擎43-a和43-b構(gòu)成，并且這兩個DMA引擎43-a和43-b中的每一個都使用這兩個FRT 6-0和6-1。
DMA引擎43-a和43-b通過例如上面提到的PCI-Express總線與緩存管理器40相連接，以便實現(xiàn)低等待時間。
在各個控制模塊4-0到4-7之間(換句話說，在各個控制模塊4-0到4-7的緩存管理器40之間)進行通信和數(shù)據(jù)傳遞處理的情況下，數(shù)據(jù)傳遞量很高，優(yōu)選地能減少通信所需的時間，并要求高的流量和低的等待時間(很快的響應速度)。因此，如附圖1和附圖2所示，各個控制模塊4-0到4-7的DMA引擎43與FRT 6-0和6-1是通過使用高速串行傳輸(PCI-Express或Rapid-IO)的總線進行連接的，這種總線被設計成同時滿足高流量和低等待時間的要求。
PCI-Express和Rapid-IO使用2.5Gbps高速串行傳輸，并且使用了稱為LVDS(低電壓差分信令)的小幅度差分接口作為其總線接口。
讀/寫處理現(xiàn)在將介紹附圖1到附圖4中的數(shù)據(jù)存儲系統(tǒng)的讀取處理。附圖5是示出了附圖1和附圖2中的結(jié)構(gòu)的讀取操作的示意圖。
當緩存管理器40經(jīng)相應的通道適配器41a到41d接收到來自一個主計算機的讀取請求時，如果緩沖存儲器40b保存著這一讀取請求的目標數(shù)據(jù)，則緩存管理器40將保存在緩沖存儲器40b中的這一目標數(shù)據(jù)經(jīng)通道適配器41a到41d發(fā)送給主計算機。
如果這一數(shù)據(jù)沒有保存在緩沖存儲器40b中，則緩存控制單元40a將目標數(shù)據(jù)從保存著這一數(shù)據(jù)的盤驅(qū)動器200中讀取到緩沖存儲器40b中，然后將該目標數(shù)據(jù)發(fā)送給發(fā)出讀取請求的主計算機。
將參照附圖5介紹對盤驅(qū)動器進行的這一讀取處理。
(1)緩存管理器40的控制單元40a(CPU)在緩沖存儲器40b的描述符區(qū)中創(chuàng)建FC報頭和描述符。該描述符是向數(shù)據(jù)傳遞電路(DMA電路)請求數(shù)據(jù)(DMA)傳遞的指令，包括FC報頭在緩沖存儲器上的地址、數(shù)據(jù)傳遞到緩沖存儲器上的地址、其數(shù)據(jù)字節(jié)數(shù)和數(shù)據(jù)傳遞的盤的邏輯地址。
(2)啟動盤適配器42的數(shù)據(jù)傳遞電路。
(3)盤適配器42的已啟動數(shù)據(jù)傳遞電路從緩沖存儲器40b中讀取描述符。
(4)盤適配器42的已啟動數(shù)據(jù)傳遞電路從緩沖存儲器40b中讀取FC報頭。
(5)盤適配器42的已啟動數(shù)據(jù)傳遞電路對描述符進行分析，并且獲得關(guān)于所請求的盤、首地址和字節(jié)數(shù)的數(shù)據(jù)，并且經(jīng)光纖通道500(510)將FC報頭傳遞給目標盤驅(qū)動器200。盤驅(qū)動器200讀取所請求的目標數(shù)據(jù)，并且經(jīng)光纖通道500(510)將其發(fā)送給盤適配器42的數(shù)據(jù)傳遞電路。
(6)盤驅(qū)動器200讀取所請求的目標數(shù)據(jù)，并且當傳輸完成時，經(jīng)光纖通道500(510)向盤適配器42的數(shù)據(jù)傳遞電路發(fā)送完成通知。
(7)當接收到完成通知時，盤適配器42的已啟動數(shù)據(jù)傳遞電路從盤適配器42的存儲器中讀取已讀取數(shù)據(jù)并且將其存儲到緩沖存儲器40b中。
(8)當讀取傳遞完成時，盤適配器42的已啟動數(shù)據(jù)傳遞電路通過中斷向緩存管理器40發(fā)送完成通知。
(9)當接收到來自盤適配器42的中斷參數(shù)時，緩存管理器40的控制單元40a確認讀取傳遞。
(10)緩存管理器40的控制單元42a檢查盤適配器42的結(jié)束指針，并且確認讀取傳遞完成。
所有連接線路必須具有高流量以實現(xiàn)足夠高的性能，并且由于尤其是緩存控制單元40a與盤適配器42之間的信號交換是很頻繁的(在附圖5中是七次)，需要具有特別低等待時間的總線。
在這個例子中，使用了PCI-Express(四路)和光纖通道(4G)作為高流量連接線路，但是PCI-Express是低等待時間連接線路，而光纖通道連接具有相對較高的等待時間(數(shù)據(jù)傳遞花費時間)。
在第二種現(xiàn)有技術(shù)的情況下，等待時間高的光纖通道不能用于CM 10與DA 13或CA 11之間的RT 14(見附圖12)，但是在本發(fā)明中，具有附圖1中的結(jié)構(gòu)，光纖通道可以用于BRT 5-0到5-7。
要實現(xiàn)低等待時間，總線的信號數(shù)量不能減少到小于某個數(shù)量，但是依據(jù)本發(fā)明，使用少量信號線的光纖通道可以用于盤適配器42與BRT5-0之間的連接，所以這減少了背板上的信號線數(shù)量，這對安裝來說是很有效的。
現(xiàn)在將介紹寫入操作。當經(jīng)相應的通道適配器41a到41d接收到來自主計算機之一的寫入請求時，接收到寫入請求命令和寫入數(shù)據(jù)的通道適配器41a到41d向緩存管理器40詢問寫入數(shù)據(jù)應當寫入的緩沖存儲器40b的地址。
當接收到來自緩存管理器40的響應時，通道適配器41a到41d將寫入數(shù)據(jù)寫入到緩存管理器40的緩沖存儲器40b中，而且還將該寫入數(shù)據(jù)寫入到不同于這個緩存管理器40的至少一個緩存管理器40(換句話說，不同控制模塊4-0到4-7中的緩存管理器40)中的緩沖存儲器40b中。為此，通道適配器41a到41d啟動DMA引擎43，并且經(jīng)FRT 6-0和6-1將寫入數(shù)據(jù)寫入到另一個控制模塊4-0到4-7中的緩存管理器40中的緩沖存儲器40b中。
這里將寫入數(shù)據(jù)寫入到了至少兩個不同的控制模塊4-0到4-7的緩沖存儲器40b中，這是因為要對數(shù)據(jù)進行復制(鏡像)，以便即使控制模塊4-0到4-7或緩存管理器40發(fā)生了意外的硬件故障也能防止數(shù)據(jù)丟失。
當寫入數(shù)據(jù)向這多個緩沖存儲器40b的寫入正常結(jié)束時，通道適配器41a到41d向主計算機3-0到3-31發(fā)出完成通知，并且處理結(jié)束。
必須還要將這一寫入數(shù)據(jù)反寫到目標盤驅(qū)動器中(反寫技術(shù)，writeback)。緩存控制單元40a按照內(nèi)部進度將緩沖存儲器40b的寫入數(shù)據(jù)反寫到保存這一目標數(shù)據(jù)的盤驅(qū)動器200中。將參照附圖6描述這一對盤驅(qū)動器進行的寫入處理。
(1)緩存管理器40的控制單元40a(CPU)在緩沖存儲器40b的描述符區(qū)中創(chuàng)建FC報頭和描述符。該描述符是向數(shù)據(jù)傳遞(DMA)電路請求數(shù)據(jù)傳遞(DMA)的指令，并且包括FC報頭在緩沖存儲器上的地址、數(shù)據(jù)要傳遞到緩沖存儲器上的地址及其數(shù)據(jù)字節(jié)數(shù)，以及數(shù)據(jù)傳遞的盤的邏輯地址。
(2)啟動盤適配器42的數(shù)據(jù)傳遞電路。
(3)盤適配器42的已啟動數(shù)據(jù)傳遞電路從緩沖存儲器40b中讀取描述符。
(4)盤適配器42的已啟動數(shù)據(jù)傳遞電路從緩沖存儲器40b中讀取FC報頭。
(5)盤適配器42的已啟動數(shù)據(jù)傳遞電路對描述符進行分析，并且獲得關(guān)于所請求的盤、首地址和字節(jié)數(shù)的數(shù)據(jù)，并且從緩沖存儲器40b中讀取數(shù)據(jù)。
(6)在讀取完成之后，盤適配器42的數(shù)據(jù)傳遞電路經(jīng)光纖通道500(510)將FC報頭和數(shù)據(jù)傳遞給目標盤驅(qū)動器200。盤驅(qū)動器200將所傳遞的數(shù)據(jù)寫入到內(nèi)部盤上。
(7)當數(shù)據(jù)的寫入完成時，盤驅(qū)動器200經(jīng)光纖通道500(510)向盤適配器42的數(shù)據(jù)傳遞電路發(fā)送完成通知。
(8)當接收到完成通知時，盤適配器42的已啟動數(shù)據(jù)傳遞電路借助中斷向緩存管理器40發(fā)送完成通知。
(9)當接收到來自盤適配器42的中斷參數(shù)時，緩存管理器40的控制單元40a確認寫入操作。
(10)緩存管理器40的控制單元42a檢查盤適配器42的結(jié)束指針，并且確認寫入操作完成。
在附圖6和附圖5中，箭頭標志都表示分組信息(比如數(shù)據(jù))的傳遞，而U形彎箭頭標志都表示將數(shù)據(jù)發(fā)送回數(shù)據(jù)請求端的數(shù)據(jù)讀取。由于需要確認DA中控制電路的開始和結(jié)束狀態(tài)，因此傳遞一次數(shù)據(jù)，要在CM 40與DA 42之間交換七次數(shù)據(jù)。數(shù)據(jù)在DA 42與盤200之間交換了兩次。
由此，可以理解，緩存控制單元40與盤適配器42之間的連接線路需要低等待時間，并且另一方面，具有少量信號線的接口可以用于盤適配器42和盤裝置200。
安裝結(jié)構(gòu)附圖7是示出了依據(jù)本發(fā)明的控制模塊的安裝結(jié)構(gòu)示例的示意圖，附圖8是示出了包括附圖7中的控制模塊和盤封裝組的安裝結(jié)構(gòu)示例的示意圖，而附圖9和附圖10是示出了具有這些安裝結(jié)構(gòu)的數(shù)據(jù)存儲系統(tǒng)的框圖。
如附圖8所示，四個盤封裝組2-0、2-1、2-8和2-9安裝在了存儲裝置主體的上側(cè)?？刂齐娐钒惭b在了存儲裝置的下半部分中。這個下半部分由背板7分成了前后兩個部分，如附圖7所示。分別在背板7的前側(cè)和后側(cè)創(chuàng)建了插槽。在存儲系統(tǒng)具有附圖9中的大規(guī)模結(jié)構(gòu)的情況下，在前側(cè)設置了八個(八片)CM 4-0到4-7，而在后側(cè)設置了兩個(兩片)FRT 6-0和6-1、八個(八片)BRT 5-0到5-7和負責電源控制的服務處理機SVC(附圖1和附圖9中未示出)。
在附圖7中，八片CM 4-0到4-7和兩片F(xiàn)RT 6-0和6-1是經(jīng)背板7由四路PCI-Express連接的。PCI-Express具有四個(差分和雙向)信號線，所以四路使用了16根信號線，這意味著信號線的數(shù)量為16×16＝256。這八片CM 4-0到4-7與八片BRT 5-0到5-7是經(jīng)背板7由光纖通道連接的。光纖通道(具有差分和雙向信號線)具有1×2×2＝4根信號線，所以信號線的數(shù)量是8×8×4＝256。
通過如上面所述依據(jù)連接位置而不同地使用總線，可以借助512根信號線來實現(xiàn)八片CM 4-0到4-7、兩片F(xiàn)RT 6-0和6-1和八片BRT 5-0到5-7，即使在存儲系統(tǒng)具有如附圖9中所示的大規(guī)模結(jié)構(gòu)的情況下也是如此。這一信號線的數(shù)量是能夠足量安裝在背板基板7上的信號線的數(shù)量，并且電路板的信號層數(shù)量是六個，這個數(shù)量是足夠用的，并且處在從成本角度講能夠?qū)崿F(xiàn)的范圍之內(nèi)。
在附圖8中，安裝了四個盤封裝組2-0、2-1、2-8和2-9(見附圖9)，而其它的盤封裝組2-3到2-7和2-10到2-31安裝在不同的主體上。
附圖10中的中等規(guī)模存儲系統(tǒng)也能夠采用類似的結(jié)構(gòu)來實現(xiàn)。換句話說，可以采用同樣的體系結(jié)構(gòu)來實現(xiàn)四個單元的CM 4-0到4-3、四個單元的BRT 5-0到5-3、兩個單元的FRT 6-0到6-1和16個模塊的盤封裝組2-0到2-15的結(jié)構(gòu)。
各個控制模塊4-0到4-7的盤適配器42a和42b借助BRT與所有的盤驅(qū)動器200相連接，從而各個控制模塊4-0到4-7能夠經(jīng)盤適配器42a或42b對所有的盤驅(qū)動器進行存取。
這些盤適配器42a和42b分別安裝在緩存管理器40的電路板上，該緩存管理器40是控制模塊4-0到4-7的主要單元，并且各個盤適配器42a和42b可以借助諸如PCI-Express之類的低等待時間總線直接與緩存管理器40相連接，所以能夠?qū)崿F(xiàn)高流量。
各個控制模塊4-0到4-7的盤適配器42a和42b與BRT 5-0到5-7進行一對一網(wǎng)形連接，所以即使系統(tǒng)的控制模塊4-0到4-7的數(shù)量(換句話說，盤適配器42a和42b的數(shù)量)增加，光纖通道(具有構(gòu)成接口的少量信號)也可以用于盤適配器42a和42b與BRT 5-0到5-7之間的連接，這解決了安裝問題。
在各個控制模塊4-0到4-7之間(換句話說，在各個控制模塊4-0到4-7的緩存管理器40之間)進行通信和數(shù)據(jù)傳遞處理的情況下，數(shù)據(jù)傳遞量很高，并且最好能減少連接所需的時間，并且要求高的流量和低的等待時間(很快的響應速度)，所以如附圖2所示，各個控制模塊4-0到4-7的DMA引擎43與FRT 6-0和6-1是通過PCI-Express進行連接的，這種總線是使用高速串行傳輸?shù)目偩€，被設計成同時滿足高流量和低等待時間的要求。
其它實施例依據(jù)上述的實施例，控制模塊中的信號線是使用PCI-Express加以介紹的，但是也可以使用其它的高速串行總線，比如Rapid-IO。控制模塊中的通道適配器和盤適配器的數(shù)量可以依據(jù)需要增加或減少。
對于盤驅(qū)動器來說，可以使用諸如硬盤驅(qū)動器、光盤驅(qū)動器和磁光盤驅(qū)動器之類的存儲裝置。
本發(fā)明是利用具體實施例進行介紹的，但是本發(fā)明也可以采用處于本發(fā)明的基本特征的范圍之內(nèi)的各種不同的方式來具體實現(xiàn)，并且不應將這些方式排除于本發(fā)明的范圍之外。
由于各個控制模塊的第二接口與多個第一切換單元相連接，因此所有的控制模塊都能夠維持訪問所有存儲裝置的冗余度，并且即使控制模塊的數(shù)量增加，也可以使用背板通過串行總線(具有少量構(gòu)成接口的信號)將控制模塊與第一切換單元相連接，因此安裝到印刷電路板上成為可能，同時保持控制模塊內(nèi)的低等待時間通信。所以本發(fā)明對統(tǒng)一從大規(guī)模到小規(guī)模的體系結(jié)構(gòu)來說是很有效果的，并且能夠有助于降低裝置的成本。
相關(guān)申請的交叉引用本申請基于2004年11月30日提交的在先日本專利申請No.2004-347411和2005年1月28日提交的在先日本專利申請No.2005-022121并且要求這些在先申請的優(yōu)先權(quán)，這些在先申請的全部內(nèi)容以引用的方式并入本文。
權(quán)利要求
1.一種數(shù)據(jù)存儲系統(tǒng)，包括多個存儲裝置，用于存儲數(shù)據(jù)；和多個控制模塊，用于依據(jù)來自于主機的存取指令進行所述存儲裝置的存取控制，其中所述控制模塊進一步包括緩沖存儲器，用于存儲一部分存儲在所述存儲裝置中的數(shù)據(jù)；緩存控制單元，用于控制所述緩沖存儲器；第一接口單元，用于控制與所述主機的接口；第二接口單元，用于控制與所述多個存儲裝置的接口；并且其中所述數(shù)據(jù)存儲系統(tǒng)還包括多個第一切換單元，設置在所述多個控制模塊與所述多個存儲裝置之間，用于選擇性地開關(guān)各個控制模塊的所述第二接口單元和所述多個存儲裝置；和背板，用于將所述多個控制模塊與所述第一切換單元相連接。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲系統(tǒng)，其中所述緩存控制單元和所述第二接口單元通過具有低等待時間的高速串行總線相連接，并且所述第二接口單元與所述多個第一切換單元使用所述背板通過串行總線相連接。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲系統(tǒng)，其中所述控制模塊還包括用于與另外一個所述控制模塊進行通信的通信單元，和所述系統(tǒng)還包括第二切換單元，用于選擇性地連接各所述控制模塊中的通信單元。
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)存儲系統(tǒng)，其中各個控制模塊的通信單元和第二切換單元是使用所述背板進行連接的。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲系統(tǒng)，其中所述第一切換單元和所述多個存儲裝置是通過纜線進行連接的。
6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲系統(tǒng)，其中所述存儲裝置還包括多個存取端口，并且其中所述多個不同的第一切換單元與所述多個存取端口相連接。
7.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲系統(tǒng)，其中所述緩存控制單元和所述第二接口單元是通過多路高速串行總線相連接的，并且所述第二接口單元和所述多個第一切換單元是使用所述背板通過串行總線相連接的。
8.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲系統(tǒng)，其中所述高速串行總線是PCI快速總線。
9.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲系統(tǒng)，其中所述串行總線是光纖通道。
10.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲系統(tǒng)，其中所述控制模塊通過具有低等待時間的高速串行總線連接所述緩存控制單元和所述第一接口單元。
11.一種數(shù)據(jù)存儲控制裝置，用于依據(jù)來自于主機的存取指令進行用于存儲數(shù)據(jù)的多個存儲裝置的存取控制，該數(shù)據(jù)存儲控制裝置包括多個控制模塊，包括緩沖存儲器，用于存儲一部分存儲在所述存儲裝置中的數(shù)據(jù)；緩存控制單元，用于控制所述緩沖存儲器；第一接口單元，用于控制與所述主機的連接，和第二接口單元，用于控制與所述多個存儲裝置的連接，多個第一切換單元，設置在所述多個控制模塊與所述多個存儲裝置之間，用于選擇性地開關(guān)各個控制模塊的所述第二接口單元和所述多個存儲裝置；和背板，用于將所述多個控制模塊與所述第一切換單元相連接。
12.根據(jù)權(quán)利要求11所述的數(shù)據(jù)存儲控制裝置，其中所述緩存控制單元和所述第二接口單元通過具有低等待時間的高速串行總線相連接，并且所述第二接口單元與所述多個第一切換單元使用所述背板通過串行總線相連接。
13.根據(jù)權(quán)利要求11所述的數(shù)據(jù)存儲控制裝置，其中所述控制模塊還包括用于與另外一個所述控制模塊進行通信的通信單元，并且所述裝置還包括第二切換單元，用于選擇性地連接各所述控制模塊中的通信單元。
14.根據(jù)權(quán)利要求13所述的數(shù)據(jù)存儲控制裝置，其中各個控制模塊的通信單元和第二切換單元是使用所述背板進行連接的。
15.根據(jù)權(quán)利要求11所述的數(shù)據(jù)存儲控制裝置，其中所述第一切換單元和所述多個存儲裝置是通過纜線進行連接的。
16.根據(jù)權(quán)利要求11所述的數(shù)據(jù)存儲控制裝置，其中所述多個不同的第一切換單元分別與具有多個存取端口的各個所述存儲裝置相連接。
17.根據(jù)權(quán)利要求12所述的數(shù)據(jù)存儲控制裝置，其中所述緩存控制單元和所述第二接口單元是通過多路高速串行總線相連接的，并且所述第二接口單元和所述多個第一切換單元是使用所述背板通過串行總線相連接的。
18.根據(jù)權(quán)利要求12所述的數(shù)據(jù)存儲控制裝置，其中所述高速串行總線是PCI快速總線。
19.根據(jù)權(quán)利要求12所述的數(shù)據(jù)存儲控制裝置，其中所述串行總線是光纖通道。
20.根據(jù)權(quán)利要求12所述的數(shù)據(jù)存儲控制裝置，其中所述緩存控制單元和所述第一接口單元是通過具有低等待時間的高速串行總線相連接的。
全文摘要
數(shù)據(jù)存儲系統(tǒng)和數(shù)據(jù)存儲控制裝置。存儲系統(tǒng)具有用于控制多個存儲裝置的多個控制模塊，這使得安裝更加容易，同時保持了低等待時間響應，即使控制模塊的數(shù)量增加了也是如此。多個存儲裝置使用后端路由器與各個控制模塊的第二接口相連接，從而保持了所有控制模塊對所有存儲裝置進行存取的冗余度。而且控制模塊與第一切換單元是通過串行總線進行連接的，這種總線具有小的信號數(shù)量，通過使用背板構(gòu)成了接口。由此，在印刷電路板上進行安裝成為了可能。
文檔編號G06F3/06GK1782978SQ20051007964
公開日2006年6月7日 申請日期2005年6月23日 優(yōu)先權(quán)日2004年11月30日
發(fā)明者小原成介, 增山和則 申請人:富士通株式會社