本發(fā)明涉及網絡技術領域，特別是涉及一種HDFS文件系統(tǒng)的多租戶網盤權限管理方法及系統(tǒng)。

背景技術：

Hadoop的分布式文件系統(tǒng)(HDFS)是一個高度容錯性的文件系統(tǒng)，部署在廉價的機器上，能提供高吞吐量的數(shù)據訪問，非常適合大規(guī)模數(shù)據集上的應用。網盤是指把HDFS文件系統(tǒng)按需分隔成多個邏輯上獨立的數(shù)據存儲空間，對多個獨立的業(yè)務用戶提供海量數(shù)據的云存儲服務，包括空間配額管理和權限管理。可以通過WEB界面以及后臺API的方式，供不同的業(yè)務部門、個人使用。網盤相關的業(yè)務需求：一個網盤屬于一個用戶組使用(如公司、業(yè)務部門)；一個用戶組有多個用戶；一個用戶組可擁有多個網盤；一個用戶可屬于多個用戶組；一個用戶組的多個網盤中，允許部分用戶有權使用部分網盤。

原生的Hadoop(Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構)，不管是通過操作系統(tǒng)方式登錄到集群的Datanode節(jié)點上，還是通過Hadoop的REST API對數(shù)據進行操作，底層執(zhí)行操作的用戶往往都是HDFS、Hive、Hbase等Hadoop內置用戶，無法與實際業(yè)務的用戶進行映射。

如果把Hadoop作為云存儲平臺，現(xiàn)有技術中，當網盤用戶需要通過API方式直接操作網盤數(shù)據時，底層使用的仍然是HDFS等超級用戶的權限，網盤用戶無法使用自身用戶的權限通過Hadoop的原生讀寫API或使用集群的HDFS文件系統(tǒng)查詢命令來(如Hadoop fs–ls)查看到自己所屬的網盤數(shù)據。

技術實現(xiàn)要素：

為了克服上述現(xiàn)有技術的缺陷，本發(fā)明要解決的技術問題是提供一種HDFS文件系統(tǒng)的多租戶網盤權限管理方法及系統(tǒng)。

為解決上述技術問題，本發(fā)明中的一種HDFS文件系統(tǒng)的多租戶網盤權限管理方法，包括：

針對任一網盤，在HDFS文件系統(tǒng)的NameNode節(jié)點創(chuàng)建與所述網盤名稱一致的操作系統(tǒng)用戶組；

在所述HDFS文件系統(tǒng)中創(chuàng)建子目錄作為所述網盤；

將所述子目錄的根權限賦予所述網盤的使用用戶組。

可選地，所述將所述子目錄的根權限賦予所述網盤的使用用戶組之后，還包括：

當在所述網盤的WEB界面創(chuàng)建使用用戶時，在所述NameNode節(jié)點創(chuàng)建與所述使用用戶名稱一致的操作系統(tǒng)用戶。

具體地，所述當在所述網盤的WEB界面創(chuàng)建使用用戶時，在所述NameNode節(jié)點創(chuàng)建與所述使用用戶名稱一致的操作系統(tǒng)用戶之后，還包括：

當在所述WEB界面上監(jiān)測到所述使用用戶建立的文件或文件夾時，獲取所述使用用戶對所述文件或所述文件夾設置的第一讀寫權限；

將所述文件或所述文件夾存儲在所述子目錄下；

根據所述第一讀寫權限設置所述子目錄下的所述文件或所述文件夾的第二讀寫權限。

具體地，所述根據獲取的讀寫權限設置將所述子目錄下的所述文件或所述文件夾的讀寫權限之后，還包括：

將所述使用用戶注冊為Kerberos用戶；

啟動Kerberos鑒權模式；

調用所述操作系統(tǒng)用戶根據所述第二讀寫權限訪問所述子目錄下的所述文件或所述文件夾。

可選地，所述在所述HDFS文件系統(tǒng)中創(chuàng)建子目錄作為所述網盤，還包括：

根據所述網盤名稱設置所述子目錄的路徑。

為解決上述技術問題，本發(fā)明中的一種HDFS文件系統(tǒng)的多租戶網盤權限管理系統(tǒng)，包括：

用戶管理模塊，用于針對任一網盤，在HDFS文件系統(tǒng)的NameNode節(jié)點創(chuàng)建與所述網盤名稱一致的操作系統(tǒng)用戶組；

創(chuàng)建模塊，用于在所述HDFS文件系統(tǒng)中創(chuàng)建子目錄作為所述網盤；

權限管理模塊，用于將所述子目錄的根權限賦予所述網盤的使用用戶組。

可選地，所述用戶管理模塊，還用于當在所述網盤的WEB界面創(chuàng)建使用用戶時，在所述NameNode節(jié)點創(chuàng)建與所述使用用戶名稱一致的操作系統(tǒng)用戶。

具體地，所述用戶管理模塊，還用于當在所述WEB界面上監(jiān)測到所述使用用戶建立的文件或文件夾時，獲取所述使用用戶對所述文件或所述文件夾設置的第一讀寫權限；

將所述文件或所述文件夾存儲在所述子目錄下；

根據所述第一讀寫權限設置所述子目錄下的所述文件或所述文件夾的第二讀寫權限。

具體地，所述系統(tǒng)還包括：

鑒權模塊，用于將所述使用用戶注冊為Kerberos用戶；

啟動Kerberos鑒權模式；

調用所述操作系統(tǒng)用戶根據所述第二讀寫權限訪問所述子目錄下的所述文件或所述文件夾。

可選地，所述用戶管理模塊，還用于根據所述網盤名稱設置所述子目錄的路徑。

本發(fā)明有益效果如下：

本發(fā)明中方法及系統(tǒng)實現(xiàn)了上層業(yè)務系統(tǒng)用戶、上層業(yè)務系統(tǒng)用戶組與操作系統(tǒng)用戶、操作系統(tǒng)用戶組以及HDFS數(shù)據用戶、用戶組的統(tǒng)一，既保證了權限管理的簡單清晰，又實現(xiàn)了在Hadoop集群中可靠的數(shù)據權限隔離；有效解決了現(xiàn)有技術不能通過Hadoop原生API的方式直接讀寫網盤數(shù)據的問題。

附圖說明

圖1是本發(fā)明實施例中HDFS文件系統(tǒng)的總體存儲結構示意圖；

圖2是本發(fā)明實施例中HDFS文件系統(tǒng)中一可選網盤的存儲結構示意圖；

圖3是本發(fā)明實施例中HDFS文件系統(tǒng)中另一可選網盤的存儲結構示意圖。

具體實施方式

為了解決現(xiàn)有技術的問題，本發(fā)明提供了一種HDFS文件系統(tǒng)的多租戶網盤權限管理方法及系統(tǒng)，以下結合附圖以及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不限定本發(fā)明。

本發(fā)明實施例中一種HDFS文件系統(tǒng)的多租戶網盤權限管理方法，其包括：

針對任一網盤，在HDFS文件系統(tǒng)的NameNode節(jié)點創(chuàng)建與所述網盤名稱一致的操作系統(tǒng)用戶組；

在所述HDFS文件系統(tǒng)中創(chuàng)建子目錄作為所述網盤；

將所述子目錄的根權限賦予所述網盤的使用用戶組。

也就是說，為了支持網盤用戶既能在WEB界面上操作網盤數(shù)據，也能通過Hadoop原生API的方式直接讀寫網盤數(shù)據，本發(fā)明提出如下思路：

1、在Hadoop集群的NameNode(管理文件系統(tǒng)的命名空間)所在服務器上創(chuàng)建與網盤名稱一致的linux操作系統(tǒng)用戶組(DataNode節(jié)點上無需創(chuàng)建)，創(chuàng)建與網盤使用用戶的名稱一致的Linux操作系統(tǒng)用戶；DataNode節(jié)點為文件系統(tǒng)的工作節(jié)點。

2、Hadoop集群啟動Kerberos(網絡認證協(xié)議)鑒權模式，每個網盤使用用戶都注冊為kerberos用戶，這樣，在操作系統(tǒng)層面，操作系統(tǒng)用戶需要先執(zhí)行Kinit命令才能以網盤用戶的身份訪問網盤數(shù)據；

3、在HDFS文件系統(tǒng)中創(chuàng)建子目錄作為網盤，將該網盤對應的子目錄權限賦予某個Linux用戶組--即為網盤使用用戶組，如某網盤HDFS路徑為/disk/abc，該子目錄的屬主為超級用戶hdfs，用戶組即為未來擁有權限的網盤用戶組abc(亦為NameNode節(jié)點上的Linux用戶組)，讀寫權限設置為770，即只允許同用戶組的用戶進入該網盤，其它用戶組禁止訪問。

進一步說，所述將所述子目錄的根權限賦予所述網盤的使用用戶組之后，還包括：

當在所述網盤的WEB界面創(chuàng)建使用用戶時，在所述NameNode節(jié)點創(chuàng)建與所述使用用戶名稱一致的操作系統(tǒng)用戶。

其中，所述當在所述網盤的WEB界面創(chuàng)建使用用戶時，在所述NameNode節(jié)點創(chuàng)建與所述使用用戶名稱一致的操作系統(tǒng)用戶之后，還包括：

當在所述WEB界面上監(jiān)測到所述使用用戶建立的文件或文件夾時，獲取所述使用用戶對所述文件或所述文件夾設置的第一讀寫權限；

將所述文件或所述文件夾存儲在所述子目錄下；

根據所述第一讀寫權限設置所述子目錄下的所述文件或所述文件夾的第二讀寫權限。

其中，所述根據獲取的讀寫權限設置將所述子目錄下的所述文件或所述文件夾的讀寫權限之后，還包括：

將所述使用用戶注冊為Kerberos用戶；

啟動Kerberos鑒權模式；

調用所述操作系統(tǒng)用戶根據所述第二讀寫權限訪問所述子目錄下的所述文件或所述文件夾。

進一步說，所述在所述HDFS文件系統(tǒng)中創(chuàng)建子目錄作為所述網盤，還包括：

根據所述網盤名稱設置所述子目錄的路徑。

詳細說，一個網盤對應HDFS文件系統(tǒng)的一個子目錄。HDFS文件系統(tǒng)(存儲系統(tǒng))為每個網盤默認創(chuàng)建一個用戶組(即資源ID)，同一網盤的實驗操作者(使用用戶)，均屬于這個用戶組。

實驗操作者與網盤的關系，在存儲系統(tǒng)中映射為用戶與用戶組的關系。

網盤中子目錄和文件可以有不同的屬主(即操作者)，屬主自行設置是否允許同組讀寫。

若一個操作者在上層業(yè)務系統(tǒng)中可使用多個網盤，則在存儲系統(tǒng)中被加入到對應網盤的用戶組。

如圖1所示，在HDFS文件系統(tǒng)中創(chuàng)建網盤abc、bcd、cde，并分別設置配額、屬主、用戶組、根權限。

其中，在網盤abc中，用戶組名也叫做abc。

如圖2所示，在abc組中的兩個用戶user1和user2分別創(chuàng)建了自己的文件夾或文件，可以設置各自的文件夾或文件的權限屬性，允許或限制同組其它用戶對數(shù)據的讀寫操作，如750是允許同組可讀，770是同組可寫，700則是禁止同組讀寫。

如圖3所示，網盤cde中，對應用戶組cde，組中包含了用戶user2和user5，其中user2有權操作。

本發(fā)明中方法及系統(tǒng)實現(xiàn)了上層業(yè)務系統(tǒng)用戶、上層業(yè)務系統(tǒng)用戶組與操作系統(tǒng)用戶、操作系統(tǒng)用戶組以及HDFS數(shù)據用戶、用戶組的統(tǒng)一，既保證了權限管理的簡單清晰，又實現(xiàn)了在Hadoop集群中可靠的數(shù)據權限隔離。本發(fā)明中方法及系統(tǒng)實現(xiàn)了網盤使用用戶既能在WEB界面上操作網盤數(shù)據，也能通過Hadoop原生API的方式直接讀寫網盤數(shù)據。

本發(fā)明進一步提出一種HDFS文件系統(tǒng)的多租戶網盤權限管理系統(tǒng)。

本發(fā)明實施例中一種HDFS文件系統(tǒng)的多租戶網盤權限管理系統(tǒng)，包括：

用戶管理模塊，用于針對任一網盤，在HDFS文件系統(tǒng)的NameNode節(jié)點創(chuàng)建與所述網盤名稱一致的操作系統(tǒng)用戶組；

創(chuàng)建模塊，用于在所述HDFS文件系統(tǒng)中創(chuàng)建子目錄作為所述網盤；

權限管理模塊，用于將所述子目錄的根權限賦予所述網盤的使用用戶組。

進一步說，所述用戶管理模塊，還用于當在所述網盤的WEB界面創(chuàng)建使用用戶時，在所述NameNode節(jié)點創(chuàng)建與所述使用用戶名稱一致的操作系統(tǒng)用戶。

具體說，所述用戶管理模塊，還用于當在所述WEB界面上監(jiān)測到所述使用用戶建立的文件或文件夾時，獲取所述使用用戶對所述文件或所述文件夾設置的第一讀寫權限；

將所述文件或所述文件夾存儲在所述子目錄下；

根據所述第一讀寫權限設置所述子目錄下的所述文件或所述文件夾的第二讀寫權限。

具體說，所述系統(tǒng)還包括：

鑒權模塊，用于將所述使用用戶注冊為Kerberos用戶；

啟動Kerberos鑒權模式；

調用所述操作系統(tǒng)用戶根據所述第二讀寫權限訪問所述子目錄下的所述文件或所述文件夾。

進一步說，所述用戶管理模塊，還用于根據所述網盤名稱設置所述子目錄的路徑。

本發(fā)明中系統(tǒng)實現(xiàn)了上層業(yè)務系統(tǒng)用戶、上層業(yè)務系統(tǒng)用戶組與操作系統(tǒng)用戶、操作系統(tǒng)用戶組以及HDFS數(shù)據用戶、用戶組的統(tǒng)一，既保證了權限管理的簡單清晰，又實現(xiàn)了在Hadoop集群中可靠的數(shù)據權限隔離。本發(fā)明中方法及系統(tǒng)實現(xiàn)了網盤使用用戶既能在WEB界面上操作網盤數(shù)據，也能通過Hadoop原生API的方式直接讀寫網盤數(shù)據。

雖然本申請描述了本發(fā)明的特定示例，但本領域技術人員可以在不脫離本發(fā)明概念的基礎上設計出來本發(fā)明的變型。

本領域技術人員在本發(fā)明技術構思的啟發(fā)下，在不脫離本發(fā)明內容的基礎上，還可以對本發(fā)明做出各種改進，這仍落在本發(fā)明的保護范圍之內。