針對遠(yuǎn)程存儲器訪問的nvm express控制器的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及在網(wǎng)絡(luò)上使用非易失性存儲器Express(NVMe)協(xié)議并利用低延時來訪問遠(yuǎn)程存儲器。
【背景技術(shù)】
[0002]通常，CPU可以在網(wǎng)絡(luò)上通過使用網(wǎng)絡(luò)協(xié)議來訪問遠(yuǎn)程存儲器或者I/O設(shè)備。用于訪問遠(yuǎn)程存儲器或者I/O設(shè)備的一個常規(guī)方法是通過iSCSI存儲。該方法通過CPU使用大量的處理，其增加總訪問延時。經(jīng)由iSCSI存儲訪問遠(yuǎn)程存儲器或者I/O設(shè)備通常具有比對本地存儲器或者I/o設(shè)備的直接訪問大四到五倍的延時。這導(dǎo)致針對在網(wǎng)絡(luò)上要求遠(yuǎn)程存儲器或者I/o設(shè)備訪問的系統(tǒng)的顯著的性能和吞吐量退化。
[0003]處理本地非易失性存儲器訪問的相對新的接口標(biāo)準(zhǔn)是NVMExpress(NVMe)，有時被稱為非易失性存儲器主機(jī)控制器接口規(guī)范。NVMe是寄存器級接口，其允許主機(jī)軟件與非易失性存儲器子系統(tǒng)通信。該接口針對企業(yè)和客戶端固態(tài)驅(qū)動器(SSD)而被優(yōu)化，其通常附接到PCI Express(PCle)接口 JVMe提供對本地非易失性存儲器的直接I/O訪問。使用NVMe，與諸如SAS (串行SC SI)或者SATA (串行ATA)的傳統(tǒng)I /0接口上的連接相比較，減少了讀取和寫入操作的延時。
[0004]然而，NVMe具有關(guān)于以太網(wǎng)交換機(jī)或者其他類型的網(wǎng)絡(luò)上的數(shù)據(jù)傳遞的限制。通常，NVMe被設(shè)計為訪問本地SSD并且未在通過網(wǎng)絡(luò)訪問遠(yuǎn)程存儲方面被定義。如現(xiàn)今所定義的NVMe不提供用于通過網(wǎng)絡(luò)通過多個主機(jī)CHJ訪問多個遠(yuǎn)程SSD的方案。因此，存在使得NVMe能夠在網(wǎng)絡(luò)(例如，以太網(wǎng))上高效地工作以用于在網(wǎng)絡(luò)上訪問遠(yuǎn)程SSD和命名空間的需要。

【發(fā)明內(nèi)容】

[0005]本發(fā)明通過提供一種系統(tǒng)來克服現(xiàn)有技術(shù)的限制，該系統(tǒng)使能使用NVMe命令在外部網(wǎng)絡(luò)(諸如以太網(wǎng))上對遠(yuǎn)程非易失性存儲器的訪問。在一個方面中，擴(kuò)展的NVMe控制器提供該能力。
[0006]在一種方法中，擴(kuò)展的NVMe控制器使得CPU能夠使用NVMe協(xié)議來訪問遠(yuǎn)程非易失性存儲器(例如，SSD)。例如，擴(kuò)展的NVMe控制器被實現(xiàn)在用于經(jīng)由以太網(wǎng)交換機(jī)與其他服務(wù)器或者SSD通信的一個服務(wù)器上。可以通過提供以太網(wǎng)上的NVM(NVM0E)幀在以太網(wǎng)上使用NVMe協(xié)議。在一個實施方式中，定義NVMoE幀，其指定通過以太網(wǎng)由擴(kuò)展的NVMe控制器所傳輸?shù)腘VMoE命令。擴(kuò)展的NVMe控制器包括用于基于NVMoE幀的定義來將NVMe命令轉(zhuǎn)換為NVMoE命令的轉(zhuǎn)換機(jī)制。特別地，通過映射表支持轉(zhuǎn)換機(jī)制，映射表用于將NVMe控制器的主機(jī)標(biāo)識符(HSID)和/或NVMe命令的命名空間標(biāo)識符(NSID)映射到NVMoE命令中所包括的以太網(wǎng)介質(zhì)訪問控制(MAC)地址。
[0007]在另一方面中，擴(kuò)展的NVMe控制器配備有用于從通過外部網(wǎng)絡(luò)所傳輸?shù)腘VMe命令的損耗恢復(fù)的重試機(jī)制。重試機(jī)制包括用于檢測NVMe命令的損耗的定時器，并且如果NVMe命令被確定為根據(jù)定時器的丟失，則重試機(jī)制將重新發(fā)出NVMe命令。
[0008]在又一方面中，擴(kuò)展的NVMe控制器使能多路徑I/O和命名空間共享。多路徑I/O是指單個主機(jī)與命名空間之間的兩個或兩個以上完全獨立的物理PCIe路徑。命名空間共享是指兩個或兩個以上主機(jī)使用不同的NVMe控制器來訪問共同共享命名空間的能力。擴(kuò)展的NVMe控制器中的一個或多個擴(kuò)展的NVMe控制器可以使得主機(jī)能夠通過多個PCIe路徑訪問單個命名空間和兩個或兩個以上主機(jī)訪問共享命名空間。
[0009]本發(fā)明的另一方面包括擴(kuò)展的NVMe存儲網(wǎng)絡(luò)和外部網(wǎng)絡(luò)，該擴(kuò)展的NVMe存儲網(wǎng)絡(luò)包括多個本地NVMe存儲節(jié)點，并且該外部網(wǎng)絡(luò)耦合多個NVMe存儲節(jié)點。本地NVMe存儲節(jié)點包括一個或多個主機(jī)處理器，如上文所描述的擴(kuò)展的NVMe控制器和本地非易失性存儲器。
[0010]在一個示例性實施例中，外部網(wǎng)絡(luò)可以包括L3網(wǎng)絡(luò)。因此，擴(kuò)展的NVMe控制器可以包括用于將NVMe命令轉(zhuǎn)譯為由L3分組頭部封裝并且因此適于在L3網(wǎng)絡(luò)上的傳輸?shù)腘VMoE命令。
[0011]擴(kuò)展的NVMe存儲網(wǎng)絡(luò)的各種示例應(yīng)用在本文中還被描述以適于不同的場景。在一個應(yīng)用中，擴(kuò)展的NVMe存儲網(wǎng)絡(luò)實現(xiàn)為服務(wù)器機(jī)架，其中本地存儲節(jié)點包括服務(wù)器機(jī)架中的服務(wù)器，并且外部網(wǎng)絡(luò)包括架頂以太網(wǎng)交換機(jī)。在另一應(yīng)用中，擴(kuò)展的NVMe存儲網(wǎng)絡(luò)實現(xiàn)為包括單個主機(jī)的單個服務(wù)器，其中每個本地NVMe存儲節(jié)點包括專用擴(kuò)展的NVMe控制器和基于專用本地非易失性存儲器的命名空間。在又一示例應(yīng)用中，擴(kuò)展的NVMe存儲網(wǎng)絡(luò)包括至少兩個主機(jī)處理器并且經(jīng)由兩個擴(kuò)展的NVMe控制器提供冗余度。
[0012]本發(fā)明的其他方面包括與上文所描述的那些有關(guān)的方法、系統(tǒng)、部件、設(shè)備、改進(jìn)、應(yīng)用和其他方面。
[0013]本發(fā)明的附加特征和優(yōu)點將在以下描述中被闡述并且部分將從描述變得明顯或者可以通過本發(fā)明的實踐被學(xué)習(xí)。可以通過在書面描述和其權(quán)利要求以及附圖中特別指出的結(jié)構(gòu)實現(xiàn)和達(dá)到本發(fā)明的各種優(yōu)點。應(yīng)當(dāng)理解，前述一般描述和以下詳細(xì)描述是示例性和解釋性的，并且旨在提供如所要求保護(hù)的本發(fā)明的進(jìn)一步的解釋。
【附圖說明】
[0014]當(dāng)結(jié)合附圖時，本發(fā)明具有從本發(fā)明的以下詳細(xì)描述和隨附的權(quán)利要求更容易明顯的其他優(yōu)點和特征，其中:
[0015]圖1是圖示擴(kuò)展的NVMe存儲網(wǎng)絡(luò)的系統(tǒng)的框圖。
[0016]圖2是NVMoE幀定義的示圖。
[0017]圖3是如圖2中所描繪的NVMoE幀定義的第一部分的示圖。
[0018]圖4是用于使得NVMe命令能夠在以太網(wǎng)上傳輸?shù)姆椒ǖ牧鞒虉D。
[0019]圖5是擴(kuò)展的NVMe控制器的框圖。
[0020]圖6是如圖5中所描繪的擴(kuò)展的NVMe控制器的詳細(xì)結(jié)構(gòu)的框圖。
[0021]圖7是NVMoE幀的一個實施例的示圖。
[0022]圖8是NVMoE幀的另一實施例的示圖。
[0023]圖9是L3網(wǎng)絡(luò)上的擴(kuò)展的NVMe存儲系統(tǒng)的框圖。
[0024]圖10是適于在L3網(wǎng)絡(luò)上傳輸?shù)腘VMoE幀的示圖。
[0025]圖1lA-B是將擴(kuò)展的NVMe存儲網(wǎng)絡(luò)的應(yīng)用模型圖示為服務(wù)器機(jī)架的示圖。
[0026]圖12A-B是將擴(kuò)展的NVMe存儲網(wǎng)絡(luò)的應(yīng)用模型圖示為單個服務(wù)器的示圖。
[0027]圖13是將擴(kuò)展的NVMe存儲網(wǎng)絡(luò)的應(yīng)用模型圖示為雙服務(wù)器系統(tǒng)的示圖。
[0028]圖14是將擴(kuò)展的NVMe存儲網(wǎng)絡(luò)的應(yīng)用模型圖示為雙端口服務(wù)器系統(tǒng)的示圖。
[0029]圖15是命名空間控制器的框圖。
[0030]圖16是可以使用在本發(fā)明中的計算機(jī)或者服務(wù)器的示意性示例的框圖。
[0031]僅出于圖示的目的，附圖描繪了本發(fā)明的實施例。本領(lǐng)域的技術(shù)人員將容易地從以下討論認(rèn)識到，在不脫離本文所描述的本發(fā)明的原理的情況下，可以采用本文所圖示的結(jié)構(gòu)和方法的備選實施例。
【具體實施方式】
[0032]通常，NVMe控制器與單個PCI功能相關(guān)聯(lián)。控制器所支持的能力在控制器能力(CAP)寄存器中被指示并且作為如標(biāo)識命令所返回的控制器和命名空間數(shù)據(jù)結(jié)構(gòu)的一部分?？刂破鲾?shù)據(jù)結(jié)構(gòu)指示適于整個控制器的能力和設(shè)置。命名空間數(shù)據(jù)結(jié)構(gòu)指示特定于具體命名空間的能力和設(shè)置。另外，NVMe控制器基于配對的提交和完成隊列機(jī)制。通過主機(jī)軟件將命令放置到提交隊列中。通過控制器將完成放置到相關(guān)聯(lián)的完成隊列中。多個提交隊列可以利用相同的完成隊列。將提交和完成隊列分配在主機(jī)存儲器中。
[0033]本發(fā)明涉及用于使能在網(wǎng)絡(luò)上使用NVMe協(xié)議對遠(yuǎn)程非易失性存儲器(例如，SSD)命名空間的訪問以減少訪問延時的方法。因此，擴(kuò)展的NVMe控制器使得主機(jī)CPU能夠使用NVMe協(xié)議來訪問遠(yuǎn)程非易失性存儲器。附圖和以下描述僅以圖示的方式涉及優(yōu)選的實施例。應(yīng)當(dāng)注意，根據(jù)以下討論，在不脫離權(quán)利要求書的原理的情況下，本文所公開的結(jié)構(gòu)和方法的備選實施例將容易地被識別為可以采用的可行的備選方案。
[0034]現(xiàn)在參考圖1，根據(jù)一個示例性實施例，描繪了圖示擴(kuò)展的NVMe存儲網(wǎng)絡(luò)的系統(tǒng)100的框圖。擴(kuò)展的NVMe存儲網(wǎng)絡(luò)100可以是以太網(wǎng)架構(gòu)上的NVMe的一個示例。在所圖示的示例性實施例中，擴(kuò)展的NVMe存儲網(wǎng)絡(luò)100包括兩個本地NVMe存儲節(jié)點11 la、11 Ib和耦合兩個本地NVMe存儲節(jié)點111a、Illb的外部網(wǎng)絡(luò)(包括交換機(jī)114)。擴(kuò)展的NVMe存儲網(wǎng)絡(luò)100還包括目錄服務(wù)器116，其通信地耦合到包括交換機(jī)114的外部網(wǎng)絡(luò)。在一個實施例中，外部網(wǎng)絡(luò)是以太網(wǎng)。在其他實施例中，外部網(wǎng)絡(luò)可以是光纖信道(FC)或者無線帶寬(IB)類型的網(wǎng)絡(luò)。
[0035]兩個本地NVMe存儲節(jié)點ll