專利名稱：一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及資源與權(quán)限管理技術(shù)領(lǐng)域，尤其涉及一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法及裝置。
背景技術(shù)：
隨著信息時(shí)代的發(fā)展，數(shù)據(jù)資源以數(shù)據(jù)集群的方式出現(xiàn)，因此，如何有效快速處理這些數(shù)據(jù)集群的超大數(shù)據(jù)集的應(yīng)用程序，實(shí)現(xiàn)這些數(shù)據(jù)集計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理，已經(jīng)成為當(dāng)前計(jì)算機(jī)領(lǐng)域的一項(xiàng)重大技術(shù)難題。Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。Hadoop充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)，實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System)，簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且能夠設(shè)計(jì)部署在低廉的硬件上。而且Hadoop提供高傳輸率來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)。因此，Hadoop適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。Hadoop由許多元素構(gòu)成。其最底層部是分布式文件系統(tǒng)，該分布式文件系統(tǒng)存儲(chǔ)Hadoop集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。該分布式文件系統(tǒng)的上一層是MapReduce編程模型，該MapReduce編程模型由工作跟蹤器JobTrackers和任務(wù)跟蹤器TaskTrackers組成。Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，Hive可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的SQL查詢功能，可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce編程模型任務(wù)進(jìn)行運(yùn)行。Hive學(xué)習(xí)成本低,可以通過(guò)類似SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce編程?！ば徒y(tǒng)計(jì)，不必開(kāi)發(fā)專門(mén)的MapReduce編程模型應(yīng)用,Hive十分便于對(duì)數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。Hive權(quán)限控制方式包括
I )、為不同日志的元數(shù)據(jù)表建立不同的數(shù)據(jù)庫(kù)。2 )、為不同的外部訪問(wèn)用戶建立單獨(dú)的目錄。3)、在單獨(dú)的目錄下，能修改Hive對(duì)象來(lái)配置相應(yīng)的數(shù)據(jù)庫(kù)。4)、啟動(dòng)單獨(dú)的Hive服務(wù)器實(shí)例，并監(jiān)聽(tīng)不同的端口。5)、在JDBC中連接自己對(duì)應(yīng)的端口。通過(guò)Hive權(quán)限控制方式，我們能夠?qū)崿F(xiàn)不同用戶對(duì)不同數(shù)據(jù)庫(kù)的訪問(wèn)控制。但表對(duì)象的授權(quán)及更細(xì)粒度的列對(duì)象的授權(quán)靈活性還不夠，同時(shí)，還不能通過(guò)指定端口訪問(wèn)的方式來(lái)控制該端口所對(duì)應(yīng)的用戶還有多少個(gè)可以使用的計(jì)算資源。Hadoop及Hive都需要結(jié)合Linux系統(tǒng)用戶來(lái)對(duì)資源進(jìn)行管理控制。其中，Hadoop可以通過(guò)公平調(diào)度器實(shí)現(xiàn)對(duì)各個(gè)不同用戶的資源進(jìn)行共享限制管理。公平調(diào)度是指隨著時(shí)間的推移平均分配工作，這樣每個(gè)作業(yè)都能平均地共享到資源。Hive允許創(chuàng)建對(duì)象，并將該對(duì)象授予用戶，同時(shí)能夠?qū)υ搶?duì)象所包含的表、數(shù)據(jù)庫(kù)、視圖等對(duì)象進(jìn)行授權(quán)。因此，利用Hadoop對(duì)數(shù)據(jù)資源的共享和Hive對(duì)數(shù)據(jù)資源的權(quán)限管理的優(yōu)點(diǎn)，形成一個(gè)組織協(xié)調(diào)、效快速處理集群數(shù)據(jù)資源的超大數(shù)據(jù)集的應(yīng)用程序，實(shí)現(xiàn)數(shù)據(jù)集計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理。
中國(guó)專利公開(kāi)號(hào)CN101034990A，
公開(kāi)日是2007年9月12日，名稱為“權(quán)限管理方法及裝置”的方案中公開(kāi)了一種權(quán)限管理方法，該方法包括步驟查詢用戶的角色是否有對(duì)應(yīng)的資源訪問(wèn)權(quán)限；當(dāng)用戶的角色沒(méi)有對(duì)應(yīng)的資源訪問(wèn)權(quán)限時(shí)，繼續(xù)查詢用戶是否有對(duì)應(yīng)的資源訪問(wèn)條件；如果用戶沒(méi)有對(duì)應(yīng)的資源訪問(wèn)條件，拒絕用戶對(duì)資源的訪問(wèn)；如果用戶有對(duì)應(yīng)的資源訪問(wèn)條件，對(duì)資源訪問(wèn)條件評(píng)估成功時(shí)允許用戶對(duì)資源的訪問(wèn)；對(duì)資源訪問(wèn)條件評(píng)估失敗時(shí)拒絕用戶對(duì)資源的訪問(wèn)。不足之處是，這種權(quán)限管理方法，不能對(duì)數(shù)據(jù)資源進(jìn)行一對(duì)一配置和管理，無(wú)法統(tǒng)一對(duì)分布式計(jì)算系統(tǒng)的數(shù)據(jù)資源和對(duì)象權(quán)限進(jìn)行限制，無(wú)法直接查詢外部系統(tǒng)用戶是否符合數(shù)據(jù)資源訪問(wèn)的權(quán)限限制條件，無(wú)法做到靈活細(xì)化的權(quán)限管理。

發(fā)明內(nèi)容
本發(fā)明是為了克服現(xiàn)有技術(shù)不能對(duì)數(shù)據(jù)資源進(jìn)行一對(duì)一配置和管理，無(wú)法統(tǒng)一對(duì)分布式計(jì)算系統(tǒng)的數(shù)據(jù)資源和對(duì)象權(quán)限進(jìn)行限制，無(wú)法直接查詢外部系統(tǒng)用戶是否符合數(shù)據(jù)資源訪問(wèn)的權(quán)限限制條件，無(wú)法做到靈活細(xì)化的權(quán)限管理的這些不足，提供一種有效快 速處理數(shù)據(jù)集群的超大數(shù)據(jù)集的應(yīng)用程序，實(shí)現(xiàn)數(shù)據(jù)集計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理，能對(duì)數(shù)據(jù)資源進(jìn)行一對(duì)一配置和管理，對(duì)分布式計(jì)算系統(tǒng)的數(shù)據(jù)資源和對(duì)象權(quán)限進(jìn)統(tǒng)一行限制管理，能夠直接查詢外部系統(tǒng)用戶是否符合數(shù)據(jù)資源訪問(wèn)的權(quán)限限制條件，靈活強(qiáng)，細(xì)化度高的一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法及裝置。為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法，包括以下步驟
對(duì)象權(quán)限差異化管理步驟把對(duì)象授權(quán)給某個(gè)Hive角色,每個(gè)Hive角色均設(shè)一個(gè)唯一的Hive角色端口，將Hive角色授予其對(duì)應(yīng)的Linux系統(tǒng)用戶，Linux系統(tǒng)用戶再通過(guò)其所對(duì)應(yīng)的Hive角色端口來(lái)啟動(dòng)一個(gè)Hive服務(wù)器偵聽(tīng)，外部訪問(wèn)用戶采用JDBC或Thrift方式進(jìn)行配置，指定一個(gè)Hive角色端口來(lái)連接Hive對(duì)象，然后執(zhí)行數(shù)據(jù)檢索請(qǐng)求語(yǔ)句；
資源共享限制管理步驟把從數(shù)據(jù)檢索請(qǐng)求后發(fā)來(lái)的數(shù)據(jù)檢索請(qǐng)求任務(wù)，讓該任務(wù)在分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop的Hive服務(wù)器偵聽(tīng)端口處，由Hive將數(shù)據(jù)檢索請(qǐng)求語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)，然后按照數(shù)據(jù)檢索請(qǐng)求任務(wù)所對(duì)應(yīng)的Iinux系統(tǒng)用戶的啟動(dòng)來(lái)對(duì)資源隊(duì)列進(jìn)行限制管理；
操作系統(tǒng)步驟Linux系統(tǒng)用戶對(duì)Hive角色進(jìn)行管理。用戶登錄HiveAdmin管理系統(tǒng)時(shí)，HiveAdmin管理系統(tǒng)首先會(huì)讀取Hive的元數(shù)據(jù)表判斷該用戶是否已經(jīng)被授權(quán)(即是否已擁有Hive角色)，若沒(méi)有則進(jìn)入用戶登陸授權(quán)流程。首先判斷是否存在相匹配的角色，若沒(méi)有則需要新增角色。新增角色時(shí)首先需要在Hive里創(chuàng)建角色對(duì)象。然后到角色管理模塊，修改其對(duì)應(yīng)的端口號(hào)，主要是記錄角色id及啟動(dòng)端口號(hào)的一對(duì)一對(duì)應(yīng)關(guān)系。同時(shí)記錄操作用戶及操作時(shí)間等信息。其次需要到Linux主服務(wù)器上新增對(duì)應(yīng)的系統(tǒng)用戶，并授權(quán)HDFS的訪問(wèn)權(quán)限給該用戶，通過(guò)公平調(diào)度器配置該用戶的資源限制數(shù)，并將新創(chuàng)建角色授予給該用戶。最后Linux切換到該用戶下，按新配置端口后啟動(dòng)Hive服務(wù)器。在用戶登錄成功后，可以在數(shù)據(jù)庫(kù)查詢窗口編輯好查詢語(yǔ)句，執(zhí)行查詢語(yǔ)句操作后，Hive倉(cāng)庫(kù)會(huì)判斷該端口對(duì)應(yīng)的用戶是否有對(duì)指定表或視圖的操作權(quán)限，若沒(méi)有則需要管理員通過(guò)授權(quán)操作對(duì)其進(jìn)行授權(quán)，授權(quán)完成后，Hive將提交該計(jì)算任務(wù)給hadoop。在Hadoop接收到Hive提交的計(jì)算任務(wù)后,會(huì)判斷該對(duì)應(yīng)系統(tǒng)用戶是否還有空余的計(jì)算資源數(shù)，如果有則直接執(zhí)行。若沒(méi)有則繼續(xù)判斷該用戶是否已分配計(jì)算資源，如果有則等待上一個(gè)任務(wù)完成并釋放資源；若沒(méi)有則需要新增配置其對(duì)應(yīng)系統(tǒng)用戶的資源數(shù)。作為優(yōu)選，所述的資源隊(duì)列由Hadoop的公平調(diào)度器對(duì)資源隊(duì)列進(jìn)行限制管理。作為優(yōu)選，所述的Hive角色與所述的Linux系統(tǒng)用戶采用一對(duì)一的關(guān)系進(jìn)行配置，并將該Hive角色授權(quán)給與該Hive角色對(duì)應(yīng)的Linux系統(tǒng)用戶。相應(yīng)地，本發(fā)明提供一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理裝置，包括 對(duì)象權(quán)限差異化管理層，用于對(duì)Hive對(duì)象的權(quán)限差異化進(jìn)行管理；
資源共享限制管理層，用于對(duì)資源隊(duì)列進(jìn)行有效的限制管理；
操作系統(tǒng)層，用于對(duì)Hive角色進(jìn)行管理；
訪問(wèn)接入層，用于外部訪問(wèn)用戶對(duì)Hive對(duì)象的訪問(wèn)。作為優(yōu)選，所述的資源隊(duì)列由Hadoop的公平調(diào)度器對(duì)資源隊(duì)列進(jìn)行限制管理。作為優(yōu)選，所述的Hive角色與Linux系統(tǒng)用戶采用一對(duì)一的對(duì)應(yīng)關(guān)系進(jìn)行配置，并將該Hive角色授權(quán)給與該Hive角色對(duì)應(yīng)的Linux系統(tǒng)用戶。本發(fā)明能夠達(dá)到如下效果
I、本發(fā)明由于利用了 Hadoop對(duì)數(shù)據(jù)資源的共享和Hive對(duì)數(shù)據(jù)資源的權(quán)限管理的優(yōu)點(diǎn)，形成了一個(gè)組織協(xié)調(diào)、效快速處理集群數(shù)據(jù)資源的超大數(shù)據(jù)集的應(yīng)用程序，實(shí)現(xiàn)數(shù)據(jù)集計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理。2、進(jìn)一步，由于Hadoop計(jì)算資源及Hive對(duì)象訪問(wèn)權(quán)限,都實(shí)現(xiàn)了應(yīng)用系統(tǒng)的用戶級(jí)綁定，因此，Hive能夠控制到表及列等較小粒度對(duì)象的訪問(wèn)，從而實(shí)現(xiàn)對(duì)外各基于Hive數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用系統(tǒng)的統(tǒng)一權(quán)限服務(wù)接口功能的限制管理。3、再進(jìn)一步，由于分布式文件系統(tǒng)有著高容錯(cuò)性的特點(diǎn)，并且能夠設(shè)計(jì)部署在低廉的硬件上，Hive學(xué)習(xí)成本低，易于掌握Hive技術(shù)，從而使得本發(fā)明部署配置簡(jiǎn)單高效。


圖I是本發(fā)明的一種Hive權(quán)限控制示意框圖。圖2是本發(fā)明的一種裝置實(shí)施例組成示意圖。圖3是本發(fā)明的一種流程圖。
具體實(shí)施例方式 下面通過(guò)實(shí)施例，并結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步具體的說(shuō)明。實(shí)施例本實(shí)施例的一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法，包括以下步驟
對(duì)象權(quán)限差異化管理步驟把對(duì)象授權(quán)給某個(gè)Hive角色,每個(gè)Hive角色均設(shè)一個(gè)唯一的Hive角色端口，將Hive角色授予其對(duì)應(yīng)的Linux系統(tǒng)用戶，Linux系統(tǒng)用戶再通過(guò)其所對(duì)應(yīng)的Hive角色端口來(lái)啟動(dòng)一個(gè)Hive服務(wù)器偵聽(tīng)，外部訪問(wèn)用戶采用JDBC或Thrift方式進(jìn)行配置，指定一個(gè)Hive角色端口來(lái)連接Hive對(duì)象，然后執(zhí)行數(shù)據(jù)檢索請(qǐng)求語(yǔ)句。資源共享限制管理步驟把從數(shù)據(jù)檢索請(qǐng)求后發(fā)來(lái)的數(shù)據(jù)檢索請(qǐng)求任務(wù)，讓該任務(wù)在分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop的Hive服務(wù)器偵聽(tīng)端口處，由Hive將數(shù)據(jù)檢索請(qǐng)求語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù),然后按照數(shù)據(jù)檢索請(qǐng)求任務(wù)所對(duì)應(yīng)的Iinux系統(tǒng)用戶的啟動(dòng)來(lái)對(duì)資源隊(duì)列進(jìn)行限制管理。操作系統(tǒng)步驟Linux系統(tǒng)用戶對(duì)Hive角色進(jìn)行管理。管理方法中的資源隊(duì)列由Hadoop的公平調(diào)度器對(duì)資源隊(duì)列進(jìn)行限制管理。Hive角色與Linux系統(tǒng)用戶采用一對(duì)一的關(guān)系進(jìn)行配置,并將該Hive角色授權(quán)給與該Hive角色對(duì)應(yīng)的Linux系統(tǒng)用戶。相應(yīng)地，本發(fā)明提供一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理裝置，如圖2所示，包括
訪問(wèn)接入層SI,用于外部訪問(wèn)用戶對(duì)Hive對(duì)象的訪問(wèn)。對(duì)象權(quán)限差異化管理層S2，用于對(duì)Hive對(duì)象的權(quán)限差異化進(jìn)行管理；
資源共享限制管理層S3，用于對(duì)資源隊(duì)列進(jìn)行有效的限制管理；·
操作系統(tǒng)層S4，用于對(duì)Hive角色進(jìn)行管理；
資源隊(duì)列由Hadoop的公平調(diào)度器對(duì)資源隊(duì)列進(jìn)行限制管理。Hive角色與Linux系統(tǒng)用戶采用一對(duì)一的對(duì)應(yīng)關(guān)系進(jìn)行配置，并將該Hive角色授權(quán)給與該Hive角色對(duì)應(yīng)的Linux系統(tǒng)用戶。工作過(guò)程如圖I、圖3所示。HiveAdmin管理系統(tǒng)是一個(gè)基于Hive開(kāi)發(fā)的數(shù)據(jù)庫(kù)管理工具，HiveAdmin管理系統(tǒng)主要實(shí)現(xiàn)了在web系統(tǒng)中對(duì)Hive數(shù)據(jù)倉(cāng)庫(kù)的可視化管理，支持SQL的在線編輯，包括執(zhí)行表、視圖等對(duì)象的瀏覽操作。HiveAdmin管理系統(tǒng)的權(quán)限控制如下
用戶登錄用戶登錄HiveAdmin管理系統(tǒng)時(shí)，HiveAdmin管理系統(tǒng)首先會(huì)讀取Hive的元數(shù)據(jù)表判斷該用戶是否已經(jīng)被授權(quán)(即是否已擁有Hive角色)，若沒(méi)有則進(jìn)入用戶登陸授權(quán)流程。開(kāi)始，用戶登錄需進(jìn)行用戶身份驗(yàn)證，輸入用戶名及密碼點(diǎn)擊進(jìn)入，判斷用戶是否有Hive權(quán)限。用戶登陸授權(quán)首先判斷是否存在相匹配的角色，若沒(méi)有則需要新增角色。新增角色時(shí)首先需要在Hive里創(chuàng)建角色對(duì)象。然后到角色管理模塊，修改其對(duì)應(yīng)的端口號(hào)，主要是記錄角色id及啟動(dòng)端口號(hào)的一對(duì)一對(duì)應(yīng)關(guān)系。同時(shí)記錄操作用戶及操作時(shí)間等信息。其次需要到Linux主服務(wù)器上新增對(duì)應(yīng)的系統(tǒng)用戶，并授權(quán)hdfs的訪問(wèn)權(quán)限給該用戶，通過(guò)Fair Scheduler配置該用戶的資源限制數(shù),并將新創(chuàng)建角色授予給該用戶。最后Linux切換到該用戶下，按新配置端口后啟動(dòng)Hive服務(wù)器。判斷系統(tǒng)中是否存在新增授權(quán)與用戶身份相匹配的對(duì)象，若不存在則需要進(jìn)入用戶登錄授權(quán)流程模塊進(jìn)行新增加對(duì)象。新增授權(quán)后，要判斷角色是否存在，如果角色不存在則要新增角色，新增授權(quán)的用戶具有角色后，就對(duì)新增授權(quán)用戶進(jìn)行角色授權(quán)操作。在新增加對(duì)象時(shí)首先需要在Hive里創(chuàng)建對(duì)象。包括建立Hive數(shù)據(jù)庫(kù)、建立數(shù)據(jù)表、建立視圖、建立函數(shù)、建立用戶對(duì)象。對(duì)象權(quán)限管理用戶登錄成功后，可以在SQL查詢窗口編輯好查詢語(yǔ)句，執(zhí)行查詢語(yǔ)句操作后，Hive倉(cāng)庫(kù)會(huì)判斷該端口對(duì)應(yīng)的用戶是否有對(duì)指定表或視圖的操作權(quán)限，若沒(méi)有則需要管理員通過(guò)授權(quán)操作對(duì)其進(jìn)行授權(quán)，授權(quán)完成后，Hive將提交該計(jì)算任務(wù)給hadoop。在新增授權(quán)用戶的角色授權(quán)操作完成后進(jìn)入到用戶登錄處進(jìn)行登錄，在登錄后，用戶采用JDBC或Thrift方式進(jìn)行配置，指定一個(gè)Hive角色端口來(lái)連接Hive對(duì)象，然后進(jìn)入到Hive對(duì)象管理流程，執(zhí)行SQL數(shù)據(jù)檢索請(qǐng)求語(yǔ)句，判斷對(duì)象權(quán)限是否擁有，如果對(duì)象沒(méi)有擁有權(quán)限，則要進(jìn)行對(duì)象權(quán)限操作，使對(duì)象擁有權(quán)限。
Hadoop資源管理在Hadoop接收到Hive提交的計(jì)算任務(wù)后，會(huì)判斷該對(duì)應(yīng)系統(tǒng)用戶是否還有空余的計(jì)算資源數(shù)，如果有則直接執(zhí)行。若沒(méi)有則繼續(xù)判斷該用戶是否已分配計(jì)算資源，如果有則等待上一個(gè)任務(wù)完成并釋放資源；若沒(méi)有則需要新增配置其對(duì)應(yīng)系統(tǒng)用戶的資源數(shù)。在對(duì)象擁有權(quán)限后，Hive對(duì)象管理流程就提交任務(wù)給對(duì)象。對(duì)象隨即進(jìn)入到Hadoop資源管理流程，首先判斷節(jié)點(diǎn)空余計(jì)算資源是否擁有，如果節(jié)點(diǎn)沒(méi)有空余計(jì)算資源，則判斷用戶是否已分配計(jì)算資源，如果用戶已分配計(jì)算資源，則等待資源釋放，在等待資源釋放完成后，再次判斷空余計(jì)算資源是否擁有并是否夠用，如果夠用，則執(zhí)行任務(wù)。如果用戶沒(méi)有分配計(jì)算資源，則進(jìn)行資源上限配置，在資源上限配置完成后，執(zhí)行任務(wù)并結(jié)束。 上面結(jié)合附圖描述了本發(fā)明的實(shí)施方式，但實(shí)現(xiàn)時(shí)不受上述實(shí)施例限制，本領(lǐng)域普通技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)做出各種變化或修改。
權(quán)利要求
1.一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法，其特征在于，包括以下步驟 對(duì)象權(quán)限差異化管理步驟把對(duì)象授權(quán)給某個(gè)Hive角色,每個(gè)Hive角色均設(shè)一個(gè)唯一的Hive角色端口，將Hive角色授予其對(duì)應(yīng)的Linux系統(tǒng)用戶，Linux系統(tǒng)用戶再通過(guò)其所對(duì)應(yīng)的Hive角色端口來(lái)啟動(dòng)一個(gè)Hive服務(wù)器偵聽(tīng)，外部訪問(wèn)用戶采用JDBC或Thrift方式進(jìn)行配置，指定一個(gè)Hive角色端口來(lái)連接Hive對(duì)象，然后執(zhí)行數(shù)據(jù)檢索請(qǐng)求語(yǔ)句； 資源共享限制管理步驟把從數(shù)據(jù)檢索請(qǐng)求后發(fā)來(lái)的數(shù)據(jù)檢索請(qǐng)求任務(wù)，讓該任務(wù)在分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop的Hive服務(wù)器偵聽(tīng)端口處，由Hive將數(shù)據(jù)檢索請(qǐng)求語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)，然后按照數(shù)據(jù)檢索請(qǐng)求任務(wù)所對(duì)應(yīng)的Iinux系統(tǒng)用戶的啟動(dòng)來(lái)對(duì)資源隊(duì)列進(jìn)行限制管理； 操作系統(tǒng)步驟linux系統(tǒng)用戶對(duì)Hive角色進(jìn)行管理。
2.根據(jù)權(quán)利要求I所述的一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法，其特征在于，所述的資源隊(duì)列由Hadoop的公平調(diào)度器對(duì)資源隊(duì)列進(jìn)行限制管理。
3.根據(jù)權(quán)利要求I所述的一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法，其特征在于，所述的Hive角色與所述的Linux系統(tǒng)用戶采用一對(duì)一的關(guān)系進(jìn)行配置，并將該Hive角色授權(quán)給與該Hive角色對(duì)應(yīng)的Linux系統(tǒng)用戶。
4.一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理裝置，其特征在于，包括 對(duì)象權(quán)限差異化管理層，用于對(duì)hive對(duì)象的權(quán)限差異化進(jìn)行管理； 資源共享限制管理層，用于對(duì)資源隊(duì)列進(jìn)行有效的限制管理； 操作系統(tǒng)層，用于對(duì)Hive角色進(jìn)行管理； 訪問(wèn)接入層，用于外部訪問(wèn)用戶對(duì)Hive對(duì)象的訪問(wèn)。
5.根據(jù)權(quán)利要求4所述的一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理裝置，其特征在于，所述的資源隊(duì)列由Hadoop的公平調(diào)度器對(duì)資源隊(duì)列進(jìn)行限制管理。
6.根據(jù)權(quán)利要求4所述的一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理裝置，其特征在于，所述的Hive角色與Linux系統(tǒng)用戶采用一對(duì)一的對(duì)應(yīng)關(guān)系進(jìn)行配置，并將該Hive角色授權(quán)給與該Hive角色對(duì)應(yīng)的Linux系統(tǒng)用戶。
全文摘要
本發(fā)明公開(kāi)了一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法及裝置，意在提供一種有效快速處理數(shù)據(jù)集群的超大數(shù)據(jù)集的應(yīng)用程序，實(shí)現(xiàn)數(shù)據(jù)集計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理一種實(shí)現(xiàn)計(jì)算資源和對(duì)象權(quán)限的統(tǒng)一控制管理方法及裝置。包括以下步驟對(duì)象權(quán)限差異化管理步驟把對(duì)象授權(quán)給某個(gè)Hive角色，每個(gè)Hive角色均設(shè)一個(gè)唯一的Hive角色端口，linux系統(tǒng)用戶通過(guò)該linux系統(tǒng)用戶所對(duì)應(yīng)的Hive角色端口來(lái)啟動(dòng)一個(gè)hive服務(wù)器偵聽(tīng)，外部訪問(wèn)用戶采用JDBC或Thrift方式進(jìn)行配置，指定一個(gè)Hive角色端口來(lái)連接Hive對(duì)象，然后執(zhí)行數(shù)據(jù)檢索請(qǐng)求語(yǔ)句；包括對(duì)象權(quán)限差異化管理層，資源共享限制管理層，操作系統(tǒng)層，訪問(wèn)接入層。本發(fā)明主要用在資源與權(quán)限管理技術(shù)中。
文檔編號(hào)G06F17/30GK102917006SQ20121031712
公開(kāi)日2013年2月6日 申請(qǐng)日期2012年8月31日 優(yōu)先權(quán)日2012年8月31日
發(fā)明者李達(dá), 趙俊鳳 申請(qǐng)人:杭州斯凱網(wǎng)絡(luò)科技有限公司