本發(fā)明涉及大數(shù)據(jù)處理的技術(shù)領(lǐng)域，尤其涉及一種多維度的hadoop權(quán)限控制方法，以及多維度的hadoop權(quán)限控制系統(tǒng)。

背景技術(shù)：

專利“一種支持多租戶的大數(shù)據(jù)平臺及租戶訪問方法”(CN201510538231.2)給出了一種hadoop權(quán)限控制方法。hadoop權(quán)限默認(rèn)使用基于POSIX模型，支持按用戶、用戶組、其他用戶的讀寫執(zhí)行控制權(quán)限，而用戶對應(yīng)的組通過master節(jié)點(diǎn)本地linux系統(tǒng)獲取，獲取命令為groups$user。

但是，這種方式不夠靈活，有以下缺點(diǎn)：配置權(quán)限需要修改master節(jié)點(diǎn)本地的用戶組信息；無法控制用戶偽造超級賬號訪問hadoop集群；無法限制用戶只能從指定的IP訪問hadoop集群。

技術(shù)實(shí)現(xiàn)要素：

為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明要解決的技術(shù)問題是提供了一種多維度的hadoop權(quán)限控制方法，其能夠?qū)崿F(xiàn)用戶組可配置，同時限制用戶只能在固定的IP上訪問hadoop集群，解決默認(rèn)權(quán)限存在的配置不夠靈活、無法控制用戶偽造超級賬號，無法限制用戶必須從指定的IP訪問hadoop集群這些問題，真正從用戶、組和IP等多個維度來實(shí)現(xiàn)hadoop權(quán)限的安全認(rèn)證。

本發(fā)明的技術(shù)方案是：這種多維度的hadoop權(quán)限控制方法，其包括以下步驟：

(1)準(zhǔn)備配置文件，配置文件包括：權(quán)限配置文件、IP白名單文件和IP黑名單文件；

(2)使hadoop的master進(jìn)程識別和生效。

本發(fā)明通過準(zhǔn)備配置文件，使hadoop的master進(jìn)程識別和生效，從而能夠?qū)崿F(xiàn)用戶組可配置，同時限制用戶只能在固定的IP上訪問hadoop集群，解決默認(rèn)權(quán)限存在的配置不夠靈活、無法控制用戶偽造超級賬號，無法限制用戶必須從指定的IP訪問hadoop集群這些問題，真正從用戶、組和IP等多個維度來實(shí)現(xiàn)hadoop權(quán)限的安全認(rèn)證。

還提供了一種多維度的hadoop權(quán)限控制系統(tǒng)，該系統(tǒng)包括：

配置文件準(zhǔn)備模塊，其配置來準(zhǔn)備配置文件，配置文件包括：權(quán)限配置文件、IP白名單文件和IP黑名單文件；

權(quán)限生效模塊，其配置來使hadoop的master進(jìn)程識別和生效。

附圖說明

圖1所示為根據(jù)本發(fā)明的多維度的hadoop權(quán)限控制方法的流程圖。

具體實(shí)施方式

如圖1所示，這種多維度的hadoop權(quán)限控制方法，其包括以下步驟：

(1)準(zhǔn)備配置文件，配置文件包括：權(quán)限配置文件(usergroupsmapping)、IP白名單文件(includes)和IP黑名單文件(excludes)；

(2)使hadoop的master進(jìn)程識別和生效。

本發(fā)明通過準(zhǔn)備配置文件，使hadoop的master進(jìn)程識別和生效，從而能夠?qū)崿F(xiàn)用戶組可配置，同時限制用戶只能在固定的IP上訪問hadoop集群，解決默認(rèn)權(quán)限存在的配置不夠靈活、無法控制用戶偽造超級賬號，無法限制用戶必須從指定的IP訪問hadoop集群這些問題，真正從用戶、組和IP等多個維度來實(shí)現(xiàn)hadoop權(quán)限的安全認(rèn)證。

另外，該方法還包括步驟(3)，在hadoop客戶端上驗(yàn)證配置的權(quán)限是否生效，驗(yàn)證包括確認(rèn)訪問hadoop分布式文件系統(tǒng)hdfs是否有權(quán)限，確認(rèn)提交應(yīng)用到資源控制器Yarn是否有權(quán)限。

另外，所述步驟(1)中權(quán)限配置文件包括：配置用戶，用戶所屬的組，以及該用戶能夠訪問集群的IP節(jié)點(diǎn)。文件內(nèi)容格式如下：

user1:group1,group2…:ip1,ip2…

user2:group3,group4…:ip3,ip4…

…

另外，所述步驟(1)中IP白名單文件為，一行一個IP，在白名單里面的IP，訪問hadoop集群時都不做權(quán)限認(rèn)證，直接放行。這個主要用于跨集群拷貝數(shù)據(jù)，批量授予其他集群節(jié)點(diǎn)訪問集群數(shù)據(jù)的權(quán)限。

另外，所述步驟(1)中IP黑名單文件為，一行一個IP，在黑名單里面的IP，直接不能訪問集群。

另外，所述步驟(2)為自動生效方式，master進(jìn)程定時檢測配置文件，如果檢測到文件被修改，則自動加載到內(nèi)存并使權(quán)限生效。

另外，所述步驟(2)為手動刷新方式，手動刷新遠(yuǎn)程過程調(diào)用RPC接口，通過master進(jìn)程，加載最新的配置文件到內(nèi)存并生效。

另外，所述步驟(2)的手動刷新方式使用hadoop自身提供的RPC接口通過刷新用戶映射協(xié)議RefreshUserMappingsProtocol來刷新緩存中用戶與用戶組映射關(guān)系信息。這樣簡單方便。

本領(lǐng)域普通技術(shù)人員可以理解，實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，所述的程序可以存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，包括上述實(shí)施例方法的各步驟，而所述的存儲介質(zhì)可以是：ROM/RAM、磁碟、光盤、存儲卡等。因此，與本發(fā)明的方法相對應(yīng)的，本發(fā)明還同時包括一種多維度的hadoop權(quán)限控制系統(tǒng)，該系統(tǒng)通常以與方法各步驟相對應(yīng)的功能模塊的形式表示。該系統(tǒng)包括：

配置文件準(zhǔn)備模塊，其配置來準(zhǔn)備配置文件，配置文件包括：權(quán)限配置

文件、IP白名單文件和IP黑名單文件；

權(quán)限生效模塊，其配置來使hadoop的master進(jìn)程識別和生效。

另外，該系統(tǒng)還包括驗(yàn)證模塊，其配置來在hadoop客戶端上驗(yàn)證配置的權(quán)限是否生效，驗(yàn)證包括確認(rèn)訪問hadoop分布式文件系統(tǒng)hdfs是否有權(quán)限，確認(rèn)提交應(yīng)用到資源控制器Yarn是否有權(quán)限。

本發(fā)明的有益效果如下：

1.權(quán)限可配置；

2.控制權(quán)限的維度更多，包括了ip，控制力度更細(xì)；

3.權(quán)限生效有自動生效和手動刷新兩種，非常方便。

以上所述，僅是本發(fā)明的較佳實(shí)施例，并非對本發(fā)明作任何形式上的限制，凡是依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所作的任何簡單修改、等同變化與修飾，均仍屬本發(fā)明技術(shù)方案的保護(hù)范圍。