本發(fā)明涉及存儲(chǔ)技術(shù),特別是涉及一種存儲(chǔ)資源管理的系統(tǒng)及方法。
背景技術(shù):
數(shù)據(jù)中心對(duì)存儲(chǔ)容量需求呈幾何級(jí)數(shù)增長(zhǎng),而傳統(tǒng)刀片服務(wù)器使用本地存儲(chǔ)已經(jīng)不能滿足市場(chǎng)需求,為此誕生了機(jī)柜式服務(wù)器,服務(wù)器上只保留少量存儲(chǔ)存放版本和日志,而把存儲(chǔ)資源獨(dú)立出來(lái)作為一個(gè)資源池來(lái)統(tǒng)一管理,所有服務(wù)器可以共享存儲(chǔ)資源池。
SAS(Serial Attached SCSI,串行連接SCSI,其中SCSI(Small Computer System Interface,小型計(jì)算機(jī)系統(tǒng)接口))是存儲(chǔ)網(wǎng)絡(luò)中使用最廣泛的一種硬盤連接技術(shù),以串行通訊為協(xié)議基礎(chǔ)架構(gòu),采用SCSI-3擴(kuò)展指令集,綜合了現(xiàn)有并行SCSI和串行連接技術(shù)的優(yōu)勢(shì),并能兼容SATA設(shè)備。SAS具備當(dāng)前硬盤通道技術(shù)里面的最高接口速率,SAS3.0標(biāo)準(zhǔn)的速率達(dá)到12Gb/s,SAS特有的寬端口技術(shù),使得傳輸帶寬得到成倍的提升,以12Gbps SAS通道為例,4*SAS寬端口帶寬可達(dá)48Gbps。
當(dāng)多個(gè)SAS設(shè)備需要互相通信時(shí),必須通過(guò)SAS expander擴(kuò)展器連接。SAS expander具有多個(gè)SAS端口,內(nèi)置MIPS(Million Instructions Per Second,單字長(zhǎng)定點(diǎn)指令平均執(zhí)行速度)處理器,根據(jù)功能分為SAS switch交換和JBOD(Just Bundle of Disk,簡(jiǎn)單硬盤簇),其中JBOD只是做硬盤擴(kuò)展,把若干個(gè)硬盤連在一起組成一個(gè)大的邏輯硬盤。SAS Switch連接若干個(gè)JBOD形成一個(gè)SAS交換域,通過(guò)SAS Switch就可以管理整個(gè)SAS交換域。
圖1是一個(gè)典型的機(jī)柜服務(wù)器系統(tǒng),機(jī)柜內(nèi)置JBOD,若干個(gè)server服務(wù)器通過(guò)SAS switch連接JBOD。
機(jī)柜服務(wù)器系統(tǒng)具有以下特點(diǎn):1、傳輸隔離:隔離server和存儲(chǔ)資源,防止非法訪問(wèn)。2、訪問(wèn)控制:限制每個(gè)server可以訪問(wèn)的存儲(chǔ)資源,如圖1 中,每個(gè)server只能訪問(wèn)JBOD的部分硬盤;3、靈活的資源分配:如果某個(gè)server需要更多的資源,可以分配新的硬盤。為此,ANSI(美國(guó)國(guó)家標(biāo)準(zhǔn)學(xué)會(huì))T10技術(shù)委員會(huì)提出了SAS zoning區(qū)域技術(shù),類似于以太網(wǎng)的VLAN(Virtual Local Area Network,虛擬局域網(wǎng))技術(shù),SAS switch和JBOD組成的SAS交換域劃分為不同的ZONE(分區(qū)),不同ZONE之間互不可見。圖1中,server1和若干個(gè)硬盤劃分為ZONE1,server1只能訪問(wèn)ZONE1中的硬盤,如果需要更多的硬盤,只需要把新的硬盤加入到ZONE1即可。SAS zoning具體是通過(guò)SAS expander中的ZPT表(Zoning Permission Table,分區(qū)權(quán)限表)來(lái)控制不同ZONE之間是否可以通信。
機(jī)柜服務(wù)器系統(tǒng)中存在兩個(gè)通信平面,分別是數(shù)據(jù)平面和管理平面。數(shù)據(jù)平面采用帶內(nèi)通道(SAS)互聯(lián),目前的組網(wǎng)通常采用多路徑冗余設(shè)計(jì),網(wǎng)絡(luò)中至少有兩個(gè)交換節(jié)點(diǎn),JBOD內(nèi)有兩個(gè)SAS expander連接硬盤的兩個(gè)端口,每個(gè)交換節(jié)點(diǎn)與server和JBOD交叉互聯(lián),server上運(yùn)行主機(jī)多路徑軟件來(lái)實(shí)現(xiàn)多條IO路徑的鏈路冗余和負(fù)載均衡。管理平面通常分為帶內(nèi)管理和帶外管理,帶內(nèi)管理使用HBA(Host Bus Adapter,主機(jī)總線適配器)管理SAS expander,通過(guò)SES(SCSI Enclosure Services)協(xié)議實(shí)現(xiàn)箱體管理,帶外管理通道有eth(以太網(wǎng))、UART(Universal Asynchronous Receiver/Transmitter,通用異步收發(fā)傳輸器或異步收發(fā)傳輸器)或I2C(Inter-Integrated Circuit,兩線式串行總線)等。由于HBA的硬件成本昂貴,因此交換節(jié)點(diǎn)通常采用帶外管理。圖1顯示的是管理客戶端5(PC)通過(guò)帶外通道連接其中一個(gè)SAS switch,在管理客戶端5上提供web GUI(Graphical User Interface,圖形用戶界面),通過(guò)圖形化界面管理server使用的存儲(chǔ)資源。
圖2是現(xiàn)有機(jī)柜服務(wù)器系統(tǒng)常見的一種管理平面,HBA24,JBOD42均與SAS Switch32連接,BMC21,31,41(Board Management Controller,基板管理控制器)提供帶外監(jiān)管、固件管理和傳感器23,33,43管理等。服務(wù)器節(jié)點(diǎn)板2上的BMC21負(fù)責(zé)傳感器23功能,通過(guò)與BIOS22(Basic Input Output System,基本輸入輸出系統(tǒng))進(jìn)行數(shù)據(jù)交換,獲取單板的系統(tǒng)信息,接收來(lái)自BIOS22的系統(tǒng)事件,上報(bào)給RMC1(Rack Management Controller,機(jī)柜管理板)。交換節(jié)點(diǎn)板3的BMC31只傳感器33管理,SAS Switch32通過(guò)帶外通道 直接與RMC1通信。存儲(chǔ)節(jié)點(diǎn)板4的BMC41只負(fù)責(zé)傳感器43功能,JBOD42只有帶內(nèi)通道連接交換節(jié)點(diǎn)板3。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例的目的在于提供一種存儲(chǔ)資源管理的系統(tǒng)及方法,可以直接獲取JBOD存儲(chǔ)資源,提高傳遞效率。
為了實(shí)現(xiàn)上述目的,本發(fā)明實(shí)施例提供的一種存儲(chǔ)資源管理的系統(tǒng),包括:
機(jī)柜管理板RMC,用于根據(jù)接收到的自我監(jiān)測(cè)分析和報(bào)告技術(shù)SMART信息、串行連接小型計(jì)算機(jī)系統(tǒng)接口SAS拓?fù)湫畔⒁约坝脖P信息中的一種或多種,管理存儲(chǔ)資源;
與所述RMC連接的服務(wù)器節(jié)點(diǎn)板,用于獲取所述SMART信息,并上報(bào)至所述RMC;
與所述RMC連接的交換節(jié)點(diǎn)板,用于獲取所述SAS拓?fù)湫畔ⅲ⑸蠄?bào)至所述RMC;
與所述RMC連接的存儲(chǔ)節(jié)點(diǎn)板,用于獲取所述硬盤信息,并上報(bào)至所述RMC,其中所述存儲(chǔ)節(jié)點(diǎn)板包括:連接于所述RMC的存儲(chǔ)節(jié)點(diǎn)板中的第一基板管理控制器BMC、連接于所述第一BMC上的簡(jiǎn)單硬盤簇JBOD,其中所述第一BMC,用于管理從所述JBOD獲取的硬盤信息。
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述服務(wù)器節(jié)點(diǎn)板包括:連接于所述RMC的服務(wù)器節(jié)點(diǎn)板中的第二基板管理控制器BMC、分別帶外管理連接于所述第二BMC上的主機(jī)總線適配器HBA、基本輸入輸出系統(tǒng)BIOS以及溫度傳感器,其中,所述第二BMC,用于管理所述HBA記錄的所述SMART信息中的溫度信息。
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述交換節(jié)點(diǎn)板包括:連接于所述RMC的交換節(jié)點(diǎn)板中的第三基板管理控制器BMC、分別帶外管理連接于所述第三BMC上的串行連接小型計(jì)算機(jī)系統(tǒng)接口交換SAS Switch以及溫度傳感器,其中,所述第三BMC,用于管理從所述SAS Switch獲取的SAS拓?fù)湫畔ⅰ?/p>
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述SAS拓?fù)湫畔ㄋ鯤BA連接SAS Switch的端口號(hào)Port ID、所述SAS的地址。
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述硬盤信息包括硬盤的端口信息、容量、設(shè)備類型以及接口類型。
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述RMC還用于在獲取第一硬盤的分配請(qǐng)求,解析所述分配請(qǐng)求中所述第一硬盤的端口及容量信息;根據(jù)所述第一硬盤的端口及所述容量信息,將所述第一硬盤的端口加入到,與所述第一硬盤容量匹配的伙伴硬盤分區(qū),其中所述伙伴硬盤分區(qū)為與服務(wù)器節(jié)點(diǎn)板分區(qū)預(yù)先建立一一對(duì)應(yīng)關(guān)系的分區(qū)。
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述RMC還用于在所述第一硬盤已分配之后,獲取一刪除分配請(qǐng)求,根據(jù)所述刪除分配請(qǐng)求,將所述第一硬盤退出伙伴硬盤分區(qū)。
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述第一BMC還用于獲取到第二硬盤拔出事件,將所述第二硬盤拔出事件上報(bào)給所述RMC,由所述RMC進(jìn)行第二硬盤信息的刪除。
其中所述的存儲(chǔ)資源管理的系統(tǒng)中,
所述第一BMC還用于獲取到第二硬盤插入事件,將所述第二硬盤分配給預(yù)設(shè)默認(rèn)分區(qū),并將所述插入事件上報(bào)給所述RMC。
本發(fā)明實(shí)施例還提供一種存儲(chǔ)資源管理的方法中,包括:
服務(wù)器節(jié)點(diǎn)板獲取自我監(jiān)測(cè)分析和報(bào)告技術(shù)SMART信息,并上報(bào)至機(jī)柜管理板RMC;
交換節(jié)點(diǎn)板獲取串行連接小型計(jì)算機(jī)系統(tǒng)接口SAS拓?fù)湫畔?,并上?bào)至所述RMC;
存儲(chǔ)節(jié)點(diǎn)板獲取硬盤信息,并上報(bào)至所述RMC,其中所述存儲(chǔ)節(jié)點(diǎn)板包括:連接于所述RMC的存儲(chǔ)節(jié)點(diǎn)板中的第一基板管理控制器BMC、連接于所述第一BMC上的簡(jiǎn)單硬盤簇JBOD,其中所述第一BMC,用于管理從所述JBOD獲取的硬盤信息;
所述RMC根據(jù)接收到的所述SMART信息、所述SAS拓?fù)湫畔⒁约八鲇脖P信息中的一種或多種,管理存儲(chǔ)資源。
其中所述的存儲(chǔ)資源管理的方法中,
所述服務(wù)器節(jié)點(diǎn)板包括:連接于所述RMC的服務(wù)器節(jié)點(diǎn)板中的第二基板管理控制器BMC、分別帶外管理連接于所述第二BMC上的主機(jī)總線適配器HBA、基本輸入輸出系統(tǒng)BIOS以及溫度傳感器,其中,所述第二BMC管理所述HBA記錄的所述SMART信息中的溫度信息。
其中所述的存儲(chǔ)資源管理的方法中,
所述交換節(jié)點(diǎn)板包括:連接于所述RMC的交換節(jié)點(diǎn)板中的第三基板管理控制器BMC、分別帶外管理連接于所述第三BMC上的串行連接小型計(jì)算機(jī)系統(tǒng)接口交換SAS Switch以及溫度傳感器,其中,所述第三BMC,用于管理從所述SAS Switch獲取的SAS拓?fù)湫畔ⅰ?/p>
其中所述的存儲(chǔ)資源管理的方法中,
所述SAS拓?fù)湫畔ㄋ鯤BA連接SAS Switch的端口號(hào)Port ID、所述SAS的地址。
其中所述的存儲(chǔ)資源管理的方法中,
所述硬盤信息包括硬盤的端口信息、容量、設(shè)備類型以及接口類型。
其中所述的存儲(chǔ)資源管理的方法中,
所述RMC在獲取第一硬盤的分配請(qǐng)求,解析所述分配請(qǐng)求中所述第一硬盤的端口及容量信息;根據(jù)所述第一硬盤的端口及所述容量信息,將所述第一硬盤的端口加入到,與所述第一硬盤容量匹配的伙伴硬盤分區(qū),其中所述伙伴硬盤分區(qū)為與服務(wù)器節(jié)點(diǎn)板分區(qū)預(yù)先建立一一對(duì)應(yīng)關(guān)系的分區(qū)。
其中所述的存儲(chǔ)資源管理的方法中,
所述RMC在所述第一硬盤已分配之后,獲取一刪除分配請(qǐng)求,根據(jù)所述刪除分配請(qǐng)求,將所述第一硬盤退出伙伴硬盤分區(qū)。
其中所述的存儲(chǔ)資源管理的方法中,
所述第一BMC獲取到第二硬盤拔出事件,將所述第二硬盤拔出事件上報(bào)給所述RMC,由所述RMC進(jìn)行第二硬盤信息的刪除。
其中所述的存儲(chǔ)資源管理的方法中,
所述第一BMC獲取到第二硬盤插入事件,將所述第二硬盤分配給預(yù)設(shè)默認(rèn)分區(qū),并將所述插入事件上報(bào)給所述RMC。
其中所述的存儲(chǔ)資源管理的方法中,
所述RMC發(fā)送查詢第三硬盤運(yùn)行狀態(tài)的命令給所述第二BMC;
所述RMC接收到由所述第二BMC反饋所述HBA中的SMATR信息,并根據(jù)所述SMATR信息中的所述第三硬盤實(shí)際溫度,調(diào)控整體的散熱系統(tǒng);
所述RMC接收到由所述第二BMC反饋所述HBA中的SMATR信息,并根據(jù)所述SMATR信息中的所述第三硬盤的運(yùn)行狀態(tài),判斷所述第三硬盤的是否發(fā)生故障硬盤;
所述RMC在所述第三硬盤發(fā)生故障之后,告警并隔離。
本發(fā)明實(shí)施例的上述技術(shù)方案的有益效果如下:
本發(fā)明實(shí)施例的方案中,通過(guò)直接分別從服務(wù)器節(jié)點(diǎn)板、交換節(jié)點(diǎn)板及存儲(chǔ)節(jié)點(diǎn)板獲取自我監(jiān)測(cè)分析和報(bào)告技術(shù)SMART信息、串行連接小型計(jì)算機(jī)系統(tǒng)接口SAS拓?fù)湫畔⒁约坝脖P信息進(jìn)行管理,本發(fā)明實(shí)施例對(duì)現(xiàn)有機(jī)柜服務(wù)器系統(tǒng)的管理平面進(jìn)行了優(yōu)化,使用第一BMC實(shí)現(xiàn)帶外資源管理和分配,并且通過(guò)存儲(chǔ)節(jié)點(diǎn)板的第一BMC管理JBOD,可以直接獲取JBOD存儲(chǔ)資源,簡(jiǎn)化了SAS Switch的軟件復(fù)雜度,提高了傳遞效率。
附圖說(shuō)明
圖1為現(xiàn)有SAS Zoning原理圖;
圖2為現(xiàn)有機(jī)柜服務(wù)器系統(tǒng)管理平面示意圖;
圖3為本發(fā)明實(shí)施例機(jī)柜服務(wù)器系統(tǒng)管理平面示意圖;
圖4為本發(fā)明實(shí)施例存儲(chǔ)資源分配示意圖;
圖5為本發(fā)明實(shí)施例存儲(chǔ)資源管理狀態(tài)機(jī);
圖6為本發(fā)明實(shí)施例的存儲(chǔ)資源管理的方法的步驟示意圖。
具體實(shí)施方式
為使本發(fā)明要解決的技術(shù)問(wèn)題、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述。
本發(fā)明實(shí)施例針對(duì)現(xiàn)有技術(shù)中SAS Switch32直接和RMC1連接,再將交換節(jié)點(diǎn)板3中的BMC31和RMC1連接,只能從交換節(jié)點(diǎn)板3中的BMC31獲 取到傳感器43信息,并不能獲取到資源管理信息的問(wèn)題,還有現(xiàn)有通過(guò)SAS switch32轉(zhuǎn)發(fā)JBOD42給RMC1,不僅效率差,而且條件要求較高的問(wèn)題。
本發(fā)明實(shí)施例提供一種存儲(chǔ)資源管理的系統(tǒng)及方法,將BMC分別與JBOD和HBA連接,就可得到資源管理信息以及傳感器信息,實(shí)現(xiàn)了直接獲取資源,進(jìn)行管理,并且減少了RMC的軟件復(fù)雜度,而且通過(guò)BMC轉(zhuǎn)發(fā)JBOD安全可靠,效率高。
如圖3和圖4所示,本發(fā)明實(shí)施例提供的存儲(chǔ)資源管理的系統(tǒng),包括:
機(jī)柜管理板RMC31,用于根據(jù)接收到的自我監(jiān)測(cè)分析和報(bào)告技術(shù)SMART信息、串行連接小型計(jì)算機(jī)系統(tǒng)接口SAS拓?fù)湫畔⒁约坝脖P信息中的一種或多種,管理存儲(chǔ)資源;
與所述RMC31連接的服務(wù)器節(jié)點(diǎn)板32,用于獲取所述SMART信息,并上報(bào)至所述RMC31;
與所述RMC31連接的交換節(jié)點(diǎn)板33,用于獲取所述SAS拓?fù)湫畔?,并上?bào)至所述RMC31;
與所述RMC31連接的存儲(chǔ)節(jié)點(diǎn)板34,用于獲取所述硬盤信息,并上報(bào)至所述RMC31,其中所述存儲(chǔ)節(jié)點(diǎn)板34包括:連接于所述RMC的存儲(chǔ)節(jié)點(diǎn)板中的第一基板管理控制器BMC341、連接于所述第一BMC341上的簡(jiǎn)單硬盤簇JBOD342,其中所述第一BMC341,用于管理從所述JBOD342獲取的硬盤信息。
本發(fā)明實(shí)施例中,通過(guò)直接分別從服務(wù)器節(jié)點(diǎn)板32、交換節(jié)點(diǎn)板33及存儲(chǔ)節(jié)點(diǎn)板34獲取自我監(jiān)測(cè)分析和報(bào)告技術(shù)SMART信息、串行連接小型計(jì)算機(jī)系統(tǒng)接口SAS拓?fù)湫畔⒁约坝脖P信息進(jìn)行管理,比起傳統(tǒng)的圖2中RMC1獲取JBOD42的硬盤信息(RMC1對(duì)JBOD42的管理需要SAS switch32進(jìn)行帶外到帶內(nèi)的轉(zhuǎn)換,在獲取存儲(chǔ)資源信息時(shí),SAS switch32需要先解析帶外管理命令,轉(zhuǎn)換成SCSI命令發(fā)送給JBOD42,并且對(duì)SAS switch32軟件要求較高,很多功能需要特殊定制)的問(wèn)題來(lái)說(shuō),本發(fā)明實(shí)施例對(duì)現(xiàn)有機(jī)柜服務(wù)器系統(tǒng)的管理平面進(jìn)行了優(yōu)化,使用第一BMC341實(shí)現(xiàn)帶外資源管理和分配,并且通過(guò)存儲(chǔ)節(jié)點(diǎn)板的第一BMC341管理JBOD342,可以直接獲取JBOD342存儲(chǔ)資源,簡(jiǎn)化了SAS Switch的軟件復(fù)雜度,提高了傳遞效率。
需要說(shuō)明的是:如圖3所示,所述存儲(chǔ)節(jié)點(diǎn)板34還包括:連接于所述第一BMC341上溫度傳感器343,其中所述存儲(chǔ)節(jié)點(diǎn)板34可以配置一塊或者多塊。
上述存儲(chǔ)節(jié)點(diǎn)板上的JBOD以及SAS expander自動(dòng)拓?fù)浒l(fā)現(xiàn)SAS交換域中的所有硬盤的信息,包括連接SAS expander的Port ID、SAS地址、設(shè)備類型、接口類型、容量、硬盤序列號(hào)等。
還有上述簡(jiǎn)單硬盤簇JBOD包括串行連接小型計(jì)算機(jī)系統(tǒng)接口擴(kuò)展器SAS expander以及硬盤。
與所述第一BMC連接的JBOD以及溫度傳感器均是通過(guò)帶外管理連接,其中所述帶外管理連接包括但不限于以太網(wǎng)、UART(Universal Asynchronous Receiver/Transmitter,通用異步收發(fā)傳輸器或異步收發(fā)傳輸器)、I2C(Inter-Integrated Circuit,兩線式串行總線),具體的連接對(duì)應(yīng)取決于HBA、SAS switch以及SAS expander芯片能力,并且上述與所述RMC連接的服務(wù)器節(jié)點(diǎn)板,交換節(jié)點(diǎn)板以及存儲(chǔ)節(jié)點(diǎn)板均通過(guò)以太網(wǎng)進(jìn)行連接。
還有,上述SAS拓?fù)湫畔ㄋ鯤BA連接SAS Switch的端口號(hào)Port ID、所述SAS的地址。上述硬盤信息包括硬盤的端口信息、容量、設(shè)備類型以及接口類型。
另外,上述的SMART(Self Monitoring Analysis and Reporting Technology,自我監(jiān)測(cè)分析和報(bào)告技術(shù))信息是具有硬盤的運(yùn)行時(shí)間,運(yùn)行參數(shù),運(yùn)行溫度等信息,用于記錄硬盤的狀態(tài);通過(guò)查詢硬盤的SMART信息直接得到信息,不影響系統(tǒng)散熱效果,也方便可靠的監(jiān)測(cè)硬件溫度。
上述RMC,作為系統(tǒng)中的機(jī)柜管理節(jié)點(diǎn),通過(guò)以太網(wǎng)交換匯聚了所有節(jié)點(diǎn)板的BMC,組成所述機(jī)柜服務(wù)器系統(tǒng)的管理平面。
管理客戶端35,作為系統(tǒng)中的網(wǎng)管后臺(tái),以太網(wǎng)連接RMC,負(fù)責(zé)整個(gè)服務(wù)器機(jī)柜節(jié)點(diǎn)板的版本管理、故障管理和資源管理等。提供web GUI,用戶可以圖形化管理所述機(jī)柜服務(wù)器系統(tǒng)中的存儲(chǔ)資源。
還有,機(jī)柜管理板RMC如果僅僅是SMART信息、SAS拓?fù)湫畔⒁约坝脖P信息中的一種信息,則說(shuō)明其他沒(méi)有上報(bào)信息的路徑出現(xiàn)異常,就可以實(shí)現(xiàn)異常的IO路徑檢測(cè),針對(duì)傳統(tǒng)的RMC對(duì)硬盤的檢測(cè)不能覆蓋完整的服務(wù)器 節(jié)點(diǎn)的IO路徑(如圖2中RMC并不能發(fā)現(xiàn)HBA和SAS Switch之間出現(xiàn)的斷鏈),本發(fā)明實(shí)施例能夠?qū)崿F(xiàn)故障硬盤隔離更換功能。
如圖3所示,為了實(shí)現(xiàn)HBA324記錄的所述SMART信息中的溫度信息上報(bào)給RMC,本發(fā)明實(shí)施例的存儲(chǔ)資源管理的系統(tǒng)中,所述服務(wù)器節(jié)點(diǎn)板包括:連接于所述RMC的服務(wù)器節(jié)點(diǎn)板中的第二基板管理控制器BMC321、分別帶外管理連接于所述第二BMC321上的主機(jī)總線適配器HBA324、基本輸入輸出系統(tǒng)BIOS322以及溫度傳感器323,其中,所述第二BMC321,用于管理所述HBA324記錄的所述SMART信息中的溫度信息。
本發(fā)明實(shí)施例中,所述服務(wù)器節(jié)點(diǎn)板的第二BMC管理HBA,可以彌補(bǔ)SAS expander帶外管理通道無(wú)法直接獲取硬盤的SMART信息的缺陷。
需要說(shuō)明的是:所述服務(wù)器節(jié)點(diǎn)板可以配置一塊或者多塊,通過(guò)所述第二BMC監(jiān)控硬盤狀態(tài),檢測(cè)所述服務(wù)器節(jié)點(diǎn)的IO路徑,并根據(jù)硬盤實(shí)際溫度調(diào)節(jié)散熱系統(tǒng),隔離故障硬盤。
如圖3所示,為了實(shí)現(xiàn)從SAS Switch332獲取的SAS拓?fù)湫畔⑸蠄?bào)給RMC,本發(fā)明實(shí)施例的存儲(chǔ)資源管理的系統(tǒng)中,所述交換節(jié)點(diǎn)板包括:連接于所述RMC的交換節(jié)點(diǎn)板中的第三基板管理控制器BMC331、分別帶外管理連接于所述第三BMC331上的串行連接小型計(jì)算機(jī)系統(tǒng)接口交換SAS Switch332以及溫度傳感器333,其中,所述第三BMC331,用于管理從所述SAS Switch332獲取的SAS拓?fù)湫畔ⅰ?/p>
本發(fā)明實(shí)施例中,所述交換節(jié)點(diǎn)板的第三BMC管理SAS Switch,對(duì)RMC屏蔽了不同廠家SAS Switch的差異。
需要說(shuō)明的是:上述所述交換節(jié)點(diǎn)板至少配置兩塊構(gòu)成多路徑冗余設(shè)計(jì),并且連接于第三BMC上的SAS Switch自動(dòng)拓?fù)浒l(fā)現(xiàn)SAS交換域中的所有SAS device和SAS expander的信息,包括HBA連接SAS Switch的Port ID、SAS地址。
為了能夠通過(guò)RMC管理SAS Switch一端來(lái)管理所有資源,將所述存儲(chǔ)節(jié)點(diǎn)板上的JBOD、所述HBA均與SAS Switch連接,所述第一BMC、第三BMC與第二BMC均與RMC連接,因此可以通過(guò)RMC管理SAS Switch一端來(lái)管理所有資源,避免了如圖2的RMC與HBA以及JBOD沒(méi)有連接,無(wú)法進(jìn)行 管理的問(wèn)題。本發(fā)明實(shí)施例中具體的檢測(cè)方法如下:
步驟101:RMC下發(fā)命令給服務(wù)器節(jié)點(diǎn)板中的第二BMC,檢測(cè)IO路徑。
步驟102:第二BMC命令HBA通過(guò)SCSI命令獲取交換節(jié)點(diǎn)板SAS Switch的SAS地址。如果獲取失敗,上報(bào)異常。
步驟103:第二BMC命令HBA通過(guò)SCSI命令獲取存儲(chǔ)節(jié)點(diǎn)板SAS expander的SAS地址。如果獲取失敗,上報(bào)異常。
步驟104:第二BMC命令HBA通過(guò)SCSI命令獲取存儲(chǔ)節(jié)點(diǎn)板硬盤序列號(hào)。如果獲取失敗,上報(bào)異常。
本發(fā)明實(shí)施例的系統(tǒng)平面示意。
為便于描述如圖4所示,只顯示兩個(gè)服務(wù)器節(jié)點(diǎn)板32、一個(gè)交換節(jié)點(diǎn)板33和兩個(gè)存儲(chǔ)節(jié)點(diǎn)板34。譬如兩塊存儲(chǔ)節(jié)點(diǎn)板34共有3個(gè)硬盤,用戶希望在初始態(tài),所有服務(wù)器節(jié)點(diǎn)板看不到任何硬盤,由RMC根據(jù)用戶配置把硬盤分配給具體的服務(wù)器節(jié)點(diǎn)板32,譬如硬盤HDD1(Hard Disk Drive,硬盤驅(qū)動(dòng)器)分配給HBA1,硬盤HDD2分配給HBA2。未分配的硬盤稱為無(wú)主盤,圖4中硬盤HDD3為無(wú)主盤。因?yàn)榉?wù)器節(jié)點(diǎn)板的槽位是固定的,HBA連接SAS Switch的端口也是確定的,SAS Switch不用關(guān)心該槽位服務(wù)器節(jié)點(diǎn)板是否在位,初始化時(shí)分配好所有服務(wù)器節(jié)點(diǎn)板槽位的ZONE,服務(wù)器節(jié)點(diǎn)板在上電后就可以看到被分配的硬盤。
為了實(shí)現(xiàn)資源分配,本發(fā)明實(shí)施例的存儲(chǔ)資源管理的系統(tǒng)中,所述RMC在獲取第一硬盤的分配請(qǐng)求,解析所述分配請(qǐng)求中所述第一硬盤的端口及容量信息;根據(jù)所述第一硬盤的端口及所述容量信息,將所述第一硬盤的端口加入到,與所述第一硬盤容量匹配的伙伴硬盤分區(qū),其中所述伙伴硬盤分區(qū)為與服務(wù)器節(jié)點(diǎn)板分區(qū)預(yù)先建立一一對(duì)應(yīng)關(guān)系的分區(qū)。
本發(fā)明實(shí)施例中,在服務(wù)器節(jié)點(diǎn)沒(méi)有加電前實(shí)現(xiàn)動(dòng)態(tài)資源分配,采用的存儲(chǔ)資源分配方法,只需要在初始化時(shí)同步一次ZPT表,后續(xù)SAS拓?fù)浒l(fā)生變化時(shí),通過(guò)更改硬盤對(duì)應(yīng)SAS PHY的組識(shí)別碼group ID即可方便的實(shí)現(xiàn)SAS zoning配置。
需要說(shuō)明的是:通過(guò)所述SAS Switch設(shè)置服務(wù)器節(jié)點(diǎn)ZONE和伙伴硬盤ZONE,所述服務(wù)器節(jié)點(diǎn)ZONE是指交換節(jié)點(diǎn)板SAS Switch對(duì)應(yīng)服務(wù)器節(jié)點(diǎn) 板槽位的SAS PHY(Physical Layer,物理層)的屬性組group ID,譬如SAS Switch修改HBA1對(duì)應(yīng)的端口P1的group ID為group 8(SAS Zoning規(guī)定group0~7為保留group),修改HBA2對(duì)應(yīng)的端口P2的group ID為group9。所述伙伴硬盤ZONE是指所述服務(wù)器節(jié)點(diǎn)可以通信的ZONE。譬如HBA1的伙伴存儲(chǔ)節(jié)點(diǎn)ZONE為group64,HBA2的伙伴存儲(chǔ)節(jié)點(diǎn)ZONE為group65。
SAS expander設(shè)置所有硬盤歸屬同一個(gè)缺省ZONE,通常選擇一個(gè)保留group作為缺省ZONE。譬如SAS expander1設(shè)置硬盤HDD1對(duì)應(yīng)的端口P3的group ID為group0,SAS expander2設(shè)置硬盤HDD2對(duì)應(yīng)的端口P4的group ID為group0,硬盤HDD3對(duì)應(yīng)的端口P5的group ID為group0。
還有,所述預(yù)先建立是指所述交換節(jié)點(diǎn)板SAS Switch在初始化時(shí)設(shè)置服務(wù)器節(jié)點(diǎn)板ZONE和伙伴硬盤ZONE,使得所述服務(wù)器節(jié)點(diǎn)板ZONE與伙伴硬盤ZONE是一一對(duì)應(yīng)的關(guān)系。
所述存儲(chǔ)節(jié)點(diǎn)板SAS expander設(shè)置所有硬盤歸屬于同一個(gè)缺省ZONE。
所述SAS Switch設(shè)置ZPT表,只允許所述服務(wù)器節(jié)點(diǎn)板ZONE與伙伴硬盤ZONE通信。
所述SAS Switch在拓?fù)浒l(fā)現(xiàn)時(shí)把ZPT同步給所有SAS expander。
SAS Switch創(chuàng)建ZPT表(協(xié)議要用到這個(gè)表進(jìn)行劃分通信),服務(wù)器節(jié)點(diǎn)ZONE和伙伴硬盤ZONE建立通信。譬如SAS Switch創(chuàng)建的ZPT表如下表1所示。
ZPT表的X軸表示源ZONE,Y軸表示目的ZONE,ZP(X,Y)為0表示groupX和groupY不能通信,1表示groupX和groupY能通信。M表示最大group,與SAS expander芯片能力有關(guān),一般支持128個(gè)group。圖4實(shí)例把 ZP(8、64)和ZP(64、8)都設(shè)置為1使得group8和group64可以互相通信,把ZP(9、65)和ZP(65、9)都設(shè)置為1使得group9和group65可以互相通信。
SAS Switch把ZPT同步給SAS expander,譬如SAS Switch1和SAS Switch2把ZPT同步給SAS expander1和SAS expander2。
本發(fā)明實(shí)施例的具體實(shí)現(xiàn)過(guò)程如下。
步驟201:用戶在管理客戶端35給服務(wù)器節(jié)點(diǎn)板分配硬盤,譬如HBA1分配硬盤HDD1,給HBA2分配硬盤HDD2,下發(fā)命令給RMC。
步驟202:RMC下發(fā)命令給第一BMC。
步驟203:第一BMC命令SAS expander修改伙伴硬盤ZONE。所述伙伴硬盤ZONE是指存儲(chǔ)節(jié)點(diǎn)板SAS expander對(duì)應(yīng)硬盤SAS PHY屬性的group ID。譬如SAS expander1修改硬盤HDD1對(duì)應(yīng)的端口P3的group ID為group64,SAS expander2修改硬盤HDD2對(duì)應(yīng)的端口P4的group ID為group65。
步驟204:資源分配成功,RMC保存用戶數(shù)據(jù)。
對(duì)于本發(fā)明實(shí)施例中,需要先上報(bào)硬件資源,再根據(jù)用戶配置給服務(wù)器節(jié)點(diǎn)分配硬件,先將硬盤加載group 0就是默認(rèn)組,在判斷硬件容量以及接口信息機(jī)上報(bào)資源給RMC,RMC根據(jù)上報(bào)信息將硬盤分配為服務(wù)的伙伴ZONE的group ID(即將原有的group 0修改為group 64),這樣就可以得到通過(guò)RMC轉(zhuǎn)發(fā)的用戶客戶端指令所需的服務(wù)器以及容量大小。
為了實(shí)現(xiàn)將分配的資源刪除,本發(fā)明實(shí)施例的存儲(chǔ)資源管理的系統(tǒng)中,
所述RMC還用于在所述第一硬盤已分配之后,獲取一刪除分配請(qǐng)求,根據(jù)所述刪除分配請(qǐng)求,將所述第一硬盤退出伙伴硬盤分區(qū)。
本發(fā)明實(shí)施例的具體實(shí)現(xiàn)過(guò)程如下。
步驟301:用戶在管理客戶端35刪除分配給服務(wù)器節(jié)點(diǎn)板的硬盤,譬如刪除分配給HBA1的硬盤HDD1,下發(fā)命令給RMC。
步驟302:RMC下發(fā)命令給第一BMC。
步驟303:第一BMC命令SAS expander把硬盤退出伙伴存儲(chǔ)節(jié)點(diǎn)ZONE,譬如SAS expander1修改硬盤HDD1對(duì)應(yīng)的端口P3的group ID為group0(0到9),退出group64。
為了方便用戶維護(hù)或者更換硬盤,進(jìn)而拔出硬盤,本發(fā)明實(shí)施例的存儲(chǔ)資源管理的系統(tǒng)中,所述第一BMC還用于獲取到第二硬盤拔出事件,將所述第二硬盤拔出事件上報(bào)給所述RMC,由所述RMC進(jìn)行第二硬盤信息的刪除。
為了方便用戶增加硬盤或者更換硬盤,進(jìn)而插入新的硬盤,本發(fā)明實(shí)施例的存儲(chǔ)資源管理的系統(tǒng)中,所述第一BMC還用于獲取到第二硬盤插入事件,將所述第二硬盤分配給預(yù)設(shè)默認(rèn)分區(qū),并將所述插入事件上報(bào)給所述RMC。
需要說(shuō)明的是:上述預(yù)設(shè)默認(rèn)分區(qū)為group0。
還有,如圖5所示,本發(fā)明實(shí)施例中所述RMC可以實(shí)現(xiàn)上述多種功能,硬盤管理,資源刪除,IO路徑檢測(cè),硬盤插入等功能。
如圖6所示,本發(fā)明實(shí)施例提供一種存儲(chǔ)資源管理的方法,包括:
步驟61,服務(wù)器節(jié)點(diǎn)板獲取自我監(jiān)測(cè)分析和報(bào)告技術(shù)SMART信息,并上報(bào)至機(jī)柜管理板RMC;
步驟62,交換節(jié)點(diǎn)板獲取串行連接小型計(jì)算機(jī)系統(tǒng)接口SAS拓?fù)湫畔?,并上?bào)至所述RMC;
步驟63,存儲(chǔ)節(jié)點(diǎn)板獲取硬盤信息,并上報(bào)至所述RMC,其中所述存儲(chǔ)節(jié)點(diǎn)板包括:連接于所述RMC的存儲(chǔ)節(jié)點(diǎn)板中的第一基板管理控制器BMC、連接于所述第一BMC上的簡(jiǎn)單硬盤簇JBOD,其中所述第一BMC,用于管理從所述JBOD獲取的硬盤信息;
步驟64,所述RMC根據(jù)接收到的所述SMART信息、所述SAS拓?fù)湫畔⒁约八鲇脖P信息中的一種或多種,管理存儲(chǔ)資源。
本發(fā)明實(shí)施例中,通過(guò)直接分別從服務(wù)器節(jié)點(diǎn)板、交換節(jié)點(diǎn)板及存儲(chǔ)節(jié)點(diǎn)板獲取自我監(jiān)測(cè)分析和報(bào)告技術(shù)SMART信息、串行連接小型計(jì)算機(jī)系統(tǒng)接口SAS拓?fù)湫畔⒁约坝脖P信息進(jìn)行管理,從而本發(fā)明實(shí)施例對(duì)現(xiàn)有機(jī)柜服務(wù)器系統(tǒng)的管理平面進(jìn)行了優(yōu)化,使用第一BMC實(shí)現(xiàn)帶外資源管理和分配,并且通過(guò)存儲(chǔ)節(jié)點(diǎn)板的第一BMC管理JBOD,可以直接獲取JBOD存儲(chǔ)資源,簡(jiǎn)化了SAS Switch的軟件復(fù)雜度,提高了傳遞效率。
為了更好的獲得拓?fù)湫畔ⅲ景l(fā)明獲取拓?fù)湫畔⒌木唧w流程舉例如下:
步驟401,第三BMC向SAS Switch獲取SAS拓?fù)湫畔?,譬如SAS Switch獲取HBA1和HBA2的端口信息、連接SAS expander1和SAS expander 2的端 口信息。
步驟402:第三BMC向RMC上報(bào)SAS拓?fù)湫畔ⅰ?/p>
步驟403:RMC匯總所有交換節(jié)點(diǎn)板上報(bào)的SAS拓?fù)洌┤鐚?duì)板SAS Switch分別上報(bào)的SAS拓?fù)?,如果不一致則告警,并選擇最優(yōu)拓?fù)洹?/p>
步驟404:第一BMC向SAS expander獲取SAS拓?fù)湫畔?,譬如SAS expander1和SAS expander 2獲取SAS拓?fù)湫畔?,包括硬盤的端口信息、容量、設(shè)備類型、接口類型。
步驟405:第一BMC向RMC上報(bào)SAS拓?fù)洹?/p>
步驟406:RMC匯總所有存儲(chǔ)節(jié)點(diǎn)板上報(bào)的SAS拓?fù)洌┤鐚?duì)比SAS expander 1和SAS expander 2分別上報(bào)的SAS拓?fù)?,如果不一致則告警,并選擇最優(yōu)拓?fù)?所述最優(yōu)拓?fù)涫侵笖?shù)字最高,比如是通過(guò)一個(gè)SAS expander1檢測(cè)到3個(gè)硬盤,一個(gè)SAS expander2檢測(cè)到2個(gè)硬盤,為了避免遺漏硬盤,因此按照3個(gè)硬盤。具有SAS expander1以及SAS expander2兩個(gè),防止一個(gè)出錯(cuò)后,另一個(gè)可以保證業(yè)務(wù),此處是為了選擇最優(yōu)拓?fù)?,一般一個(gè)也可以滿足要求)。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述服務(wù)器節(jié)點(diǎn)板包括:連接于所述RMC的服務(wù)器節(jié)點(diǎn)板中的第二基板管理控制器BMC、分別帶外管理連接于所述第二BMC上的主機(jī)總線適配器HBA、基本輸入輸出系統(tǒng)BIOS以及溫度傳感器,其中,所述第二BMC管理所述HBA記錄的所述SMART信息中的溫度信息。
本發(fā)明實(shí)施例中,所述服務(wù)器節(jié)點(diǎn)板中的第二BMC管理HBA,可以彌補(bǔ)SAS expander帶外管理通道無(wú)法直接獲取硬盤的SMART信息的缺陷。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述交換節(jié)點(diǎn)板包括:連接于所述RMC的交換節(jié)點(diǎn)板中的第三基板管理控制器BMC、分別帶外管理連接于所述第三BMC上的串行連接小型計(jì)算機(jī)系統(tǒng)接口交換SAS Switch以及溫度傳感器,其中,所述第三BMC,用于管理從所述SAS Switch獲取的SAS拓?fù)湫畔ⅰ?/p>
本發(fā)明實(shí)施例中,所述交換節(jié)點(diǎn)板中的第三BMC管理SAS Switch,對(duì)RMC屏蔽了不同廠家SAS Switch的差異。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述SAS拓?fù)湫畔ㄋ鯤BA連接SAS Switch的端口號(hào)Port ID、所述SAS的地址。
本發(fā)明實(shí)施例中,將第一BMC、第二BMC分別與JBOD和HBA連接,所述第一BMC管理JBOD,也可以直接獲取JBOD存儲(chǔ)資源,簡(jiǎn)化了SAS Switch的軟件復(fù)雜度。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述硬盤信息包括硬盤的端口信息、容量、設(shè)備類型以及接口類型。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述RMC在獲取第一硬盤的分配請(qǐng)求,解析所述分配請(qǐng)求中所述第一硬盤的端口及容量信息;根據(jù)所述第一硬盤的端口及所述容量信息,將所述第一硬盤的端口加入到,與所述第一硬盤容量匹配的伙伴硬盤分區(qū),其中所述伙伴硬盤分區(qū)為與服務(wù)器節(jié)點(diǎn)板分區(qū)預(yù)先建立一一對(duì)應(yīng)關(guān)系的分區(qū)。
本發(fā)明采用的存儲(chǔ)資源分配方法,只需要在初始化時(shí)同步一次ZPT表,后續(xù)SAS拓?fù)浒l(fā)生變化時(shí),通過(guò)更改硬盤對(duì)應(yīng)SAS PHY(Physical layer,物理層)的group ID即可方便的實(shí)現(xiàn)SAS zoning配置。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述RMC在所述第一硬盤已分配之后,獲取一刪除分配請(qǐng)求,根據(jù)所述刪除分配請(qǐng)求,將所述第一硬盤退出伙伴硬盤分區(qū)。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述第一BMC獲取到第二硬盤拔出事件,將所述第二硬盤拔出事件上報(bào)給所述RMC,由所述RMC進(jìn)行第二硬盤信息的刪除。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,所述第一BMC獲取到第二硬盤插入事件,將所述第二硬盤分配給預(yù)設(shè)默認(rèn)分區(qū),并將所述插入事件上報(bào)給所述RMC。
本發(fā)明的又一實(shí)施例的存儲(chǔ)資源管理的方法中,
所述RMC發(fā)送查詢第三硬盤運(yùn)行狀態(tài)的命令給所述第二BMC;
所述RMC接收到由所述第二BMC反饋所述HBA中的SMATR信息,并根據(jù)所述SMATR信息中的所述第三硬盤實(shí)際溫度,調(diào)控整體的散熱系統(tǒng);
所述RMC接收到由所述第二BMC反饋所述HBA中的SMATR信息,并 根據(jù)所述SMATR信息中的所述第三硬盤的運(yùn)行狀態(tài),判斷所述第三硬盤的是否發(fā)生故障硬盤;
所述RMC在所述第三硬盤發(fā)生故障之后,告警并隔離。
本發(fā)明實(shí)施例中,能夠根據(jù)硬盤溫度動(dòng)態(tài)調(diào)節(jié)系統(tǒng)散熱并對(duì)硬盤的運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)。
需要說(shuō)明的是:上述的SMART信息是具有硬盤的運(yùn)行時(shí)間,運(yùn)行參數(shù),運(yùn)行溫度等信息,用于記錄硬盤的狀態(tài)。
對(duì)于RMC的硬盤管理的流程舉例如下:
步驟501:RMC下發(fā)命令給第二BMC,查詢硬盤運(yùn)行狀態(tài)。
步驟502:服務(wù)器節(jié)點(diǎn)板中的第二BMC命令HBA查詢硬盤的SMART信息。
步驟503:RMC獲取到硬盤的運(yùn)行狀態(tài)。
步驟504:RMC根據(jù)硬盤實(shí)際溫度調(diào)控散熱系統(tǒng)。
步驟505:RMC發(fā)現(xiàn)故障盤(和正常參數(shù)不同),告警并隔離(就是退出硬盤)。
本發(fā)明實(shí)施例中,針對(duì)傳統(tǒng)的通過(guò)單個(gè)傳感器的數(shù)據(jù)進(jìn)行溫度數(shù)據(jù)的上報(bào)數(shù)據(jù)的誤差(具體的由于存儲(chǔ)板較多,對(duì)應(yīng)的每個(gè)存儲(chǔ)板上不能都有傳感器,或者每個(gè)傳感器上距離每個(gè)存儲(chǔ)板的距離遠(yuǎn)近也會(huì)影響測(cè)量數(shù)據(jù),使得存儲(chǔ)節(jié)點(diǎn)通過(guò)溫度傳感器監(jiān)測(cè)的硬盤溫度與硬盤內(nèi)部的實(shí)際溫度存在誤差,影響系統(tǒng)散熱效果以及縮短硬盤壽命的問(wèn)題。如圖2中只有服務(wù)器節(jié)點(diǎn)中的HBA可以作為SAS initiator Device(發(fā)起者的裝置)通過(guò)SCSI(Small Computer System Interface,小型計(jì)算機(jī)系統(tǒng)接口)協(xié)議去獲取。交換節(jié)點(diǎn)的帶外通道是無(wú)法直接獲取SMART信息的,但是服務(wù)器節(jié)點(diǎn)通常采用商用OS(Operation System,操作系統(tǒng)),不便直接增加應(yīng)用程序去控制HBA。)本發(fā)明實(shí)施例通過(guò)查詢硬盤的SMART信息直接得到信息,不影響系統(tǒng)散熱效果,也方便可靠的監(jiān)測(cè)硬件溫度。
需要說(shuō)明的是,本發(fā)明提供的裝置是應(yīng)用上述存儲(chǔ)資源管理的方法的裝置,則上述存儲(chǔ)資源管理的方法的所有實(shí)施例均適用于該裝置,且均能達(dá)到相同或相似的有益效果。
以上所述是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明所述原理的前提下,還可以作出若干改進(jìn)和潤(rùn)飾,這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。