本發(fā)明涉及大數(shù)據(jù)云平臺領域，尤其涉及分布式大數(shù)據(jù)框架的云平臺領域，具體是指一種基于微容器實現(xiàn)的大數(shù)據(jù)云平臺。

背景技術：

隨著大數(shù)據(jù)需求的不斷攀升以及云計算平臺的不斷普及，對于大數(shù)據(jù)和云平臺的結合開始受到大家的廣泛關注。而現(xiàn)有云平臺通常采用VM等重量級虛擬機技術，鏡像的調度比較遲緩，并且現(xiàn)有的虛擬云平臺大多無法滿足跨越物理機網絡進行快速部署分布式計算框架。本發(fā)明給出了一種輕量級云平臺的構建技術，并且能夠完成對于大數(shù)據(jù)框架的定制化鏡像服務，秒級速度完成大數(shù)據(jù)框架跨物理機的快速部署和銷毀，最大程度簡化了大數(shù)據(jù)平臺的構建成本。

在通常情況下，企業(yè)單位中仍然使用裸機安裝Hadoop，Spark，Storm等大數(shù)據(jù)應用，盡管現(xiàn)在擁有了Yarn、Mesos等資源統(tǒng)一協(xié)調調度方案，但是粒度較粗，尤其針對多樣性集群(集群中機器配置不一致)難以完成資源的合理利用和分配。并且針對不同租戶的應用場景，計算資源和存儲資源結合過于緊密，很難做到計算資源的自由創(chuàng)建和銷毀。而如果采用傳統(tǒng)意義上的虛擬云平臺，虛擬機的創(chuàng)建和回收開銷過大。

技術實現(xiàn)要素：

為了克服上述現(xiàn)有技術中的問題，本發(fā)明提出了一種開銷小、支配計算資源的自由度大的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺。

本發(fā)明的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺具體如下：

該基于微容器實現(xiàn)的大數(shù)據(jù)云平臺，其主要特點是，所述的大數(shù)據(jù)云平臺包括上層和下層，其中所述的上層包括多個Docker容器，所述的下層為存儲系統(tǒng)，且所述的存儲系統(tǒng)向所述的所有的Docker容器開放。

較佳地，所述的存儲系統(tǒng)為一通過Ambari搭建的基于HDFS的分布式存儲系統(tǒng)。

更佳地，所述的基于HDFS的分布式存儲系統(tǒng)其上還設置有一Hive層，該Hive層用以實現(xiàn)對結構化數(shù)據(jù)的處理，所述的Hive層包括一Hive數(shù)據(jù)接口，所述的基于HDFS的分布式存儲系統(tǒng)包括一HDFS數(shù)據(jù)接口，所述的Hive層和所述的基于HDFS的分布式存儲系統(tǒng)分別通過所述的Hive層數(shù)據(jù)接口和所述的HDFS數(shù)據(jù)接口與所述的所有的Docker容器相連接。

較佳地，所述的Docker容器中封裝有該大數(shù)據(jù)云平臺實現(xiàn)所需的計算資源。

較佳地，所述的計算資源通過所述的上層中的一Docker_FILE組件進行鏡像定制。

更佳地，所述的大數(shù)據(jù)云平臺包括一Swarm管理框架，該Swarm管理框架用以實現(xiàn)對所述的Docker容器的啟停、編排管理，并用以分發(fā)和管理所述的鏡像。

尤佳地，所述的Swarm管理框架還內設置有一Overlay網絡，該Overlay網絡實現(xiàn)所述的上層和下層的交互，以及消除連接至該大數(shù)據(jù)云平臺的不同物理主機上各個容器的網絡訪問限制。

較佳地，所述的大數(shù)據(jù)云平臺通過管理員端部署Consule組件以協(xié)調跨物理主機容器的網絡分配，且所述的所有的Docker容器均通過Consule組件完成網絡分配。

較佳地，所述的上層還包括一本地鏡像倉庫，用以存儲鏡像源，且所述的本地鏡像倉庫還包括所述的計算資源的文本編排后獲取所述的計算資源的編排文本。

更佳地，所述的上層還包括一Shipyard組件，用以實現(xiàn)對所述的鏡像源生成的大數(shù)據(jù)集群的啟停、銷毀和可視化狀態(tài)維護的操作，且該Shipyard組件還對所述的計算資源的編排文本進行引用和具體部署操作。

采用了該發(fā)明的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺，由于其中采用了輕量級虛擬技術Docker與大數(shù)據(jù)框架進行結合的方式，并采用了存儲資源和計算資源分離的方式，該大數(shù)據(jù)框架部署方案兼具了自由創(chuàng)建和銷毀計算資源的能力和很小的系統(tǒng)開銷。其中存儲資源由管理員進行統(tǒng)一管理，計算資源通過使用者發(fā)起，管理者授權并且申請，然后將資源分配給使用者，當使用者使用完畢后，可以自由銷毀。

該大數(shù)據(jù)云平臺可以輕松實現(xiàn)不同版本的Spark等計算資源協(xié)同運作，實現(xiàn)多種不同的計算資源互不干擾的運作。由于建立在輕量級云平臺之上，該大數(shù)據(jù)平臺可以實現(xiàn)靈活插拔，且數(shù)據(jù)管理變得更加可靠，資源利用變得更加合理，同時應用之間的競爭和資源鎖被消除，無需針對不同用戶需求重復搭建不同應用環(huán)境，一勞永逸，將零散的環(huán)境搭建整理為統(tǒng)一完善的鏡像資源管理，將可能存在互斥性場景的應用編排整理為自由靈活的容器資源管理。

附圖說明

圖1為本發(fā)明的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺的基礎架構圖。

圖2為本發(fā)明的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺的系統(tǒng)架構圖。

圖3為本發(fā)明的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺的工作原理圖。

圖4為本發(fā)明的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺的基本流程圖。

具體實施方式

為了更好的說明對本發(fā)明進行說明，下面舉出一些實施例來對本發(fā)明進行進一步的說明。

該基于微容器實現(xiàn)的大數(shù)據(jù)云平臺，其主要特點是，所述的大數(shù)據(jù)云平臺包括上層和下層，其中所述的上層包括多個Docker容器，，所述的Docker容器中封裝有該大數(shù)據(jù)云平臺實現(xiàn)所需的計算資源，所述的下層為存儲系統(tǒng)，且所述的存儲系統(tǒng)向所述的所有的Docker容器開放，所述的計算資源通過所述的上層中的一Docker_FILE組件進行鏡像定制，且所述的大數(shù)據(jù)云平臺通過管理員端部署Consule組件以協(xié)調跨物理主機容器的網絡分配，且所述的所有的Docker容器均通過Consule組件完成網絡分配。

在一種較佳的實施例中，所述的存儲系統(tǒng)為一通過Ambari搭建的基于HDFS的分布式存儲系統(tǒng)。

在一種更佳的實施例中，所述的基于HDFS的分布式存儲系統(tǒng)其上還設置有一Hive層，該Hive層用以實現(xiàn)對結構化數(shù)據(jù)的處理，所述的Hive層包括一Hive數(shù)據(jù)接口，所述的基于HDFS的分布式存儲系統(tǒng)包括一HDFS數(shù)據(jù)接口，所述的Hive層和所述的基于HDFS的分布式存儲系統(tǒng)分別通過所述的Hive層數(shù)據(jù)接口和所述的HDFS數(shù)據(jù)接口與所述的所有的Docker容器相連接。

在一種較佳的實施例中，所述的大數(shù)據(jù)云平臺包括一Swarm管理框架，該Swarm管理框架用以實現(xiàn)對所述的Docker容器的啟停、編排，并用以分發(fā)和管理所述的鏡像，且所述的Swarm管理框架還內設置有一Overlay網絡，該Overlay網絡實現(xiàn)所述的上層和下層的交互，以及消除連接至該大數(shù)據(jù)云平臺的不同物理主機上各個容器的網絡訪問限制。

在一種較佳的實施例中，所述的上層還包括一本地鏡像倉庫，用以存儲鏡像源，且所述的本地鏡像倉庫還包括所述的計算資源的文本編排后獲取所述的計算資源的編排文本，且所述的上層還包括一Shipyard管理集群，用以實現(xiàn)對所述的鏡像源生成的大數(shù)據(jù)集群的啟停、銷毀和可視化狀態(tài)維護的操作，且該Shipyard管理集群還對所述的計算資源的編排文本進行引用和具體部署操作。

請參閱圖1，在一種具體的實施方式中，所述的大數(shù)據(jù)平臺采用存儲資源和計算資源隔離的方式，首先在底層通過Ambari搭建基于HDFS的分布式存儲系統(tǒng)，而上層使用Docker容器封裝計算資源，通過Docker容器制作Spark鏡像，Storm鏡像和Hbase鏡像等虛擬化資源后，再通過微容器管理框架Swarm完成對Docker容器的啟停和編排。

基于HDFS的分布式存儲系統(tǒng)上層部署有一Hive層，用以完成對于結構化數(shù)據(jù)的處理，Hive層和基于HDFS的分布式存儲系統(tǒng)分別具有Hive數(shù)據(jù)接口和HDFS數(shù)據(jù)接口，且Hive數(shù)據(jù)接口和HDFS數(shù)據(jù)接口向所有Docker容器開放，達到Docker容器可以自由訪問數(shù)據(jù)的目的。

且上層計算資源通過Docker_File進行鏡像定制化，通過Swarm管理框架完成鏡像的分發(fā)和管理。管理員端部署Consule組件，用以完成對于跨物理主機容器網絡分配的協(xié)調工作，所有Docker容器通過Consule組件完成網絡分配，確保容器IP不會產生沖突。

且整個Docker容器集群向Swarm管理集群構建Overlay網絡，用以消除不同物理主機上各個Docker容器的網絡訪問限制，由于各個Docker容器在物理主機會被分配Docker網橋所劃分的內網地址，Docker網橋和宿主機連通，所以當前物理主機上容器只能連通當前物理主機，無法實現(xiàn)跨物理主機的互相訪問，通過以上方法既完成了跨域訪問，同時又完成了IP地址的統(tǒng)一分配。

底層的構建完畢，上層鏡像制作完成，網絡打通，便可以通過自由參數(shù)來靈活創(chuàng)建定制化的大數(shù)據(jù)集群。

接著通過部署Shipyard組件完成大數(shù)據(jù)集群啟停，銷毀和狀態(tài)維護的可視化，一鍵完成Spark等上層分布式計算平臺的部署工作。

最后建立本地鏡像倉庫，通過社區(qū)力量和定制化鏡像完成鏡像源的擴充，制作針對每一組計算資源的編排文本，統(tǒng)一將容器編排文本進行管理和存儲，通過Shipyard界面完成對編排后的計算資源的文本文件的引用和具體部署實施，針對最常用的計算集群保存模板，實現(xiàn)真正的一鍵部署，一鍵銷毀。

請參閱圖2，在一種具體實施例中，所述的上層為由Swarm管理系統(tǒng)管理的Docker系統(tǒng)，所述的下層為由Ambari管理系統(tǒng)管理的Hadoop系統(tǒng)。

請參閱圖3，在一種具體的實施例中，所述的Swarm管理系統(tǒng)中還部署有一Overlay網絡層，用以實現(xiàn)Hadoop系統(tǒng)和Docker系統(tǒng)的交互。

請參閱圖4，在一種具體的實施例中，該大數(shù)據(jù)云平臺的應用過程如下：

用戶進行資源申請，通過頁面提交請求，管理員針對用戶請求進行授權，通過頁面進行資源申請，并且選取用戶需求的調度腳本，由Swarm統(tǒng)一完成資源的分配，啟動完畢所有的計算資源之后，系統(tǒng)分配給用戶一個具有VNC功能的容器，用戶通過頁面獲取到VNC容器訪問的地址和端口，然后通過WEB瀏覽器開始對于計算集群的使用。

用戶使用完畢后，可以將數(shù)據(jù)存儲到本地掛靠的存儲卷中或者基于HDFS的分布式存儲系統(tǒng)中。然后可以手動銷毀所申請的計算資源或者交由管理員端進行銷毀，Swarm接受到用戶的銷毀請求調用銷毀腳本完成對容器的刪除操作，資源進行歸還。

采用了該發(fā)明的基于微容器實現(xiàn)的大數(shù)據(jù)云平臺，由于其中采用了輕量級虛擬技術Docker與大數(shù)據(jù)框架進行結合的方式，并采用了存儲資源和計算資源分離的方式，該大數(shù)據(jù)云平臺兼具了自由創(chuàng)建和銷毀計算資源的能力和很小的系統(tǒng)開銷。其中存儲資源由管理員端進行統(tǒng)一管理，計算資源通過使用者發(fā)起，管理者端授權并且申請，然后將資源分配給使用者，當使用者使用完畢后，可以自由銷毀。

該大數(shù)據(jù)云平臺可以輕松實現(xiàn)不同版本的Spark等計算資源協(xié)同運作，實現(xiàn)多種不同的計算資源互不干擾的運作。由于建立在輕量級云平臺之上，該大數(shù)據(jù)平臺可以實現(xiàn)靈活插拔，且數(shù)據(jù)管理變得更加可靠，資源利用變得更加合理，同時應用之間的競爭和資源鎖被消除，無需針對不同用戶需求重復搭建不同應用環(huán)境，一勞永逸，將零散的環(huán)境搭建整理為統(tǒng)一完善的鏡像資源管理，將可能存在互斥性場景的應用編排整理為自由靈活的容器資源管理。

在此說明書中，本發(fā)明已參照其特定的實施例作了描述。但是，很顯然仍可以作出各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應被認為是說明性的而非限制性的。