本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，特別涉及一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)方法和分發(fā)平臺(tái)。

背景技術(shù)：

隨著全球消費(fèi)者市場(chǎng)的不斷擴(kuò)大，娛樂文化產(chǎn)業(yè)處于穩(wěn)步增長(zhǎng)的發(fā)展時(shí)期，中國(guó)是全球第二大電影市場(chǎng)，同時(shí)也是增長(zhǎng)最快的市場(chǎng)之一。為了滿足消費(fèi)者對(duì)于影視娛樂的需求，影視分發(fā)公司需要快速的將上映影片進(jìn)行全國(guó)范圍的分發(fā)。根據(jù)數(shù)字電影發(fā)行放映業(yè)務(wù)要求，一部專業(yè)(2K)電影數(shù)字拷貝(文件約200GB)要求能在同一時(shí)間內(nèi)分發(fā)到全國(guó)各放映影院。

當(dāng)前國(guó)內(nèi)的影視行業(yè)中，數(shù)字影片內(nèi)容分發(fā)主要有人工分發(fā)、快遞分發(fā)、衛(wèi)星分發(fā)和網(wǎng)絡(luò)分發(fā)幾種方式。然而這幾種分發(fā)方式均存在種種不足，例如：人工分發(fā)成本太高，分發(fā)速度太慢；快遞分發(fā)成本也很高，并且依賴快遞服務(wù)的時(shí)效性和分發(fā)范圍，耗時(shí)較長(zhǎng)，難以應(yīng)對(duì)突發(fā)狀態(tài)，分發(fā)可靠性和效率較低；衛(wèi)星分發(fā)涉及到大型硬件的加裝改造，價(jià)格昂貴，傳輸時(shí)長(zhǎng)和傳輸成功率也較難保障；而網(wǎng)絡(luò)分發(fā)則面臨全國(guó)大部分影院的網(wǎng)絡(luò)帶寬不足以支撐高速傳輸，傳統(tǒng)傳輸協(xié)議在實(shí)現(xiàn)200GB以上大數(shù)據(jù)量的電影數(shù)字拷貝傳輸任務(wù)中，很難保證傳輸性能等問題，暫時(shí)無法實(shí)現(xiàn)應(yīng)用。

綜上所述，現(xiàn)有技術(shù)存在的問題是：現(xiàn)有的大數(shù)據(jù)分發(fā)方法，分發(fā)速度慢，耗時(shí)長(zhǎng)；分發(fā)成本高，價(jià)格昂貴；分發(fā)可靠性難以保證；分發(fā)效率低。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)的問題，本發(fā)明實(shí)施例提供了一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)方法和分發(fā)平臺(tái)。所述技術(shù)方案如下：

一方面，一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)方法，包括以下步驟：

任務(wù)調(diào)度管理平臺(tái)向文件分發(fā)服務(wù)器和文件接收客戶端分別發(fā)送分發(fā)任務(wù)信息；

文件分發(fā)服務(wù)器和文件接收客戶端分別接收分發(fā)任務(wù)信息，并根據(jù)分發(fā)任務(wù)信息分別進(jìn)行狀態(tài)檢查；

文件分發(fā)服務(wù)器與文件接收客戶端建立最優(yōu)數(shù)據(jù)分發(fā)通道；

文件分發(fā)服務(wù)器通過最優(yōu)數(shù)據(jù)分發(fā)通道，將分發(fā)任務(wù)的數(shù)據(jù)文件主動(dòng)推送至文件接收客戶端。

進(jìn)一步的，文件分發(fā)服務(wù)器和文件接收客戶端分別接收分發(fā)任務(wù)信息，并根據(jù)分發(fā)任務(wù)信息分別進(jìn)行狀態(tài)檢查的具體步驟包括：

文件分發(fā)服務(wù)器和文件接收客戶端分別接收并解析分發(fā)任務(wù)信息；

文件分發(fā)服務(wù)器和文件接收客戶端根據(jù)解析后的分發(fā)任務(wù)信息，分別檢查本地文件分發(fā)環(huán)境是否正常，并上報(bào)任務(wù)調(diào)度管理平臺(tái)。

進(jìn)一步的，文件分發(fā)服務(wù)器與文件接收客戶端建立最優(yōu)數(shù)據(jù)分發(fā)通道的具體步驟包括：

任務(wù)調(diào)度管理平臺(tái)向中轉(zhuǎn)平臺(tái)發(fā)送最優(yōu)傳輸路徑查詢請(qǐng)求；

中轉(zhuǎn)平臺(tái)接收最優(yōu)傳輸路徑查詢請(qǐng)求，分析獲得最優(yōu)傳輸路徑，并將最優(yōu)傳輸路徑反饋給任務(wù)調(diào)度管理平臺(tái)；

任務(wù)調(diào)度管理平臺(tái)根據(jù)最優(yōu)傳輸路徑，通過私有傳輸協(xié)議，在文件分發(fā)服務(wù)器、中轉(zhuǎn)平臺(tái)和文件接收客戶端之間建立最優(yōu)數(shù)據(jù)分發(fā)通道。

進(jìn)一步的，文件分發(fā)服務(wù)器通過最優(yōu)數(shù)據(jù)分發(fā)通道，將分發(fā)任務(wù)的數(shù)據(jù)文件主動(dòng)推送至文件接收客戶端的具體步驟包括：

文件分發(fā)服務(wù)器通過最優(yōu)數(shù)據(jù)分發(fā)通道，將分發(fā)任務(wù)的數(shù)據(jù)文件主動(dòng)推送至文件接收客戶端；

文件接收客戶端實(shí)時(shí)向任務(wù)調(diào)度管理平臺(tái)上報(bào)分發(fā)任務(wù)的數(shù)據(jù)文件接收進(jìn)度信息，直至分發(fā)任務(wù)的數(shù)據(jù)文件接收完成。

進(jìn)一步的，任務(wù)調(diào)度管理平臺(tái)向文件分發(fā)服務(wù)器和文件接收客戶端分別發(fā)送分發(fā)任務(wù)信息的具體步驟包括：

任務(wù)調(diào)度管理平臺(tái)配置分發(fā)任務(wù)信息；

任務(wù)調(diào)度管理平臺(tái)根據(jù)分發(fā)任務(wù)信息，判斷當(dāng)前時(shí)間是否為分發(fā)時(shí)間的前N分鐘，N＞0；

若不是則停留在當(dāng)前步驟直至到達(dá)分發(fā)時(shí)間的前N分鐘；

若是則任務(wù)調(diào)度管理平臺(tái)將分發(fā)任務(wù)信息發(fā)送至文件分發(fā)服務(wù)器和文件接收客戶端。

進(jìn)一步的，私有傳輸協(xié)議具體包括：智能發(fā)包策略控制、智能擁塞控制算法、協(xié)議保持連接方法和數(shù)據(jù)包智能優(yōu)化處理方法。

具體的，智能發(fā)包策略控制為：實(shí)時(shí)根據(jù)傳輸鏈路實(shí)際情況，調(diào)整傳輸鏈路發(fā)包速率大小，減少傳輸鏈路擁塞；

具體的，智能擁塞控制算法為：通過判定傳輸鏈路擁塞原因，從而調(diào)整發(fā)包速率，提高帶寬利用率；

具體的，協(xié)議保持連接方法為：建立最優(yōu)數(shù)據(jù)分發(fā)通道后，同時(shí)建立備用數(shù)據(jù)分發(fā)通道，若數(shù)據(jù)在傳輸過程中，出現(xiàn)傳輸鏈路異常中斷，則零時(shí)延切換到備用數(shù)據(jù)分發(fā)通道；

具體的，數(shù)據(jù)包智能優(yōu)化處理方法包括：數(shù)據(jù)包智能壓縮、快速重傳、斷點(diǎn)續(xù)傳、智能秒傳。

進(jìn)一步的，最優(yōu)傳輸路徑通過節(jié)點(diǎn)負(fù)載均衡、節(jié)點(diǎn)就近原則或路徑可用帶寬進(jìn)行加權(quán)分析得到。

進(jìn)一步的，任務(wù)信息的具體內(nèi)容包括：分發(fā)時(shí)間、分發(fā)文件名稱、文件接收客戶端以及是否需要中轉(zhuǎn)緩存。

另一方面，一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)平臺(tái)，包括：

調(diào)度管理平臺(tái)，用于向分發(fā)服務(wù)器和接收客戶端發(fā)送任務(wù)信息；

分發(fā)服務(wù)器，與調(diào)度管理平臺(tái)連接，用于接收調(diào)度管理平臺(tái)發(fā)送的任務(wù)信息，存儲(chǔ)和發(fā)送數(shù)據(jù)；

中轉(zhuǎn)平臺(tái)，與分發(fā)服務(wù)器連接，用于緩存和中轉(zhuǎn)分發(fā)服務(wù)器發(fā)送的數(shù)據(jù)；

接收客戶端，與中轉(zhuǎn)平臺(tái)連接，用于接收調(diào)度管理平臺(tái)發(fā)送的任務(wù)信息和中轉(zhuǎn)平臺(tái)中轉(zhuǎn)的數(shù)據(jù)。

進(jìn)一步的，調(diào)度管理平臺(tái)具體包括：

任務(wù)管理模塊，用于設(shè)定數(shù)據(jù)分發(fā)任務(wù)；

網(wǎng)絡(luò)監(jiān)控模塊，用于對(duì)分發(fā)任務(wù)進(jìn)行質(zhì)量監(jiān)控；

中央文件管理模塊，用于對(duì)分發(fā)服務(wù)器中的數(shù)據(jù)進(jìn)行存儲(chǔ)管理、分析是否需要通過中轉(zhuǎn)平臺(tái)上的中轉(zhuǎn)節(jié)點(diǎn)進(jìn)行分發(fā)數(shù)據(jù)緩存。

進(jìn)一步的，中轉(zhuǎn)平臺(tái)具體包括：

數(shù)據(jù)緩存模塊，用于將分發(fā)服務(wù)器發(fā)送的數(shù)據(jù)在中轉(zhuǎn)平臺(tái)上的中轉(zhuǎn)節(jié)點(diǎn)進(jìn)行緩存；

智能路由模塊，用于在接收客戶端和分發(fā)服務(wù)器之間、分發(fā)服務(wù)器和中轉(zhuǎn)節(jié)點(diǎn)之間、接收客戶端和中轉(zhuǎn)節(jié)點(diǎn)之間選擇最優(yōu)傳輸路徑建立連接；

中轉(zhuǎn)平臺(tái)大數(shù)據(jù)優(yōu)化模塊，用于針對(duì)超大文件數(shù)據(jù)傳輸進(jìn)行優(yōu)化處理。

進(jìn)一步的，客戶端具體包括：

私有傳輸協(xié)議模塊，用于在分發(fā)服務(wù)器、中轉(zhuǎn)節(jié)點(diǎn)和客戶端間建立私有傳輸協(xié)議；

客戶端大數(shù)據(jù)優(yōu)化模塊，用于對(duì)接收到的分發(fā)數(shù)據(jù)進(jìn)行處理。

可選的，調(diào)度管理平臺(tái)還包括：數(shù)據(jù)安全控制模塊，用于保證數(shù)據(jù)傳輸過程中的安全性。

進(jìn)一步的，數(shù)據(jù)安全控制模塊包括：

數(shù)據(jù)安全加密模塊，用于對(duì)傳輸數(shù)據(jù)安全加密；

身份認(rèn)證模塊，用于校驗(yàn)接收客戶端的身份，防止數(shù)據(jù)被惡意盜取。

本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是：本發(fā)明的方法通過私有傳輸協(xié)議實(shí)現(xiàn)分發(fā)服務(wù)端到客戶端的傳輸加速，克服傳統(tǒng)傳輸協(xié)議實(shí)現(xiàn)超大文件傳輸尤其是200GB以上文件的網(wǎng)絡(luò)性能限制瓶頸問題，實(shí)現(xiàn)任務(wù)定時(shí)下發(fā)和智能推送，構(gòu)成統(tǒng)一的數(shù)據(jù)分發(fā)和調(diào)度管理平臺(tái)。本發(fā)明通過統(tǒng)一調(diào)度監(jiān)控管理平臺(tái)，按分發(fā)任務(wù)時(shí)間主動(dòng)將文件從分發(fā)服務(wù)器發(fā)送至文件接收客戶端，并進(jìn)行全程智能監(jiān)控，實(shí)現(xiàn)超大數(shù)據(jù)的主動(dòng)快速分發(fā)。本發(fā)明的方法能夠建立滿足電影數(shù)字拷貝放映要求的大容量點(diǎn)對(duì)面?zhèn)鬏斚到y(tǒng)，利用互聯(lián)網(wǎng)優(yōu)化數(shù)字電影發(fā)行流程，解放電影從業(yè)人員生產(chǎn)力，提高我國(guó)電影數(shù)字內(nèi)容的分發(fā)效率。上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例一提供的基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)方法的流程圖；

圖2是本發(fā)明實(shí)施例一提供的基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)方法的流程圖；

圖3是本發(fā)明實(shí)施例一提供的基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)方法的流程圖，圖3(1)是本發(fā)明實(shí)施例一的一種實(shí)施方式的流程圖，圖3(2)是本發(fā)明實(shí)施例一的另一種實(shí)施方式的流程圖，圖3(3)是本發(fā)明實(shí)施例一的再一種實(shí)施方式的流程圖；

圖4是本發(fā)明實(shí)施例二提供的基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)平臺(tái)的結(jié)構(gòu)圖；

圖5是本發(fā)明實(shí)施例二提供的基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)平臺(tái)的結(jié)構(gòu)圖；

圖6是本發(fā)明實(shí)施例二提供的基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)平臺(tái)的調(diào)度管理平臺(tái)結(jié)構(gòu)圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。

實(shí)施例一

本發(fā)明提供一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)方法，如圖1所示，包括以下步驟：步驟S101，任務(wù)調(diào)度管理平臺(tái)向文件分發(fā)服務(wù)器和文件接收客戶端分別發(fā)送分發(fā)任務(wù)信息；步驟S102，文件分發(fā)服務(wù)器和文件接收客戶端分別接收分發(fā)任務(wù)信息，并根據(jù)分發(fā)任務(wù)信息分別進(jìn)行狀態(tài)檢查；檢查完成后進(jìn)行步驟S103，文件分發(fā)服務(wù)器與文件接收客戶端建立最優(yōu)數(shù)據(jù)分發(fā)通道；步驟S104，文件分發(fā)服務(wù)器通過最優(yōu)數(shù)據(jù)分發(fā)通道，將分發(fā)任務(wù)的數(shù)據(jù)文件主動(dòng)推送至文件接收客戶端。

具體的，如圖2所示：

步驟S201，任務(wù)調(diào)度管理平臺(tái)向文件分發(fā)服務(wù)器和文件接收客戶端分別發(fā)送分發(fā)任務(wù)信息。

步驟S202，文件分發(fā)服務(wù)器和文件接收客戶端分別接收并解析該分發(fā)任務(wù)信息。

步驟S203，文件分發(fā)服務(wù)器和文件接收客戶端根據(jù)解析后的分發(fā)任務(wù)信息，分別檢查本地文件分發(fā)環(huán)境是否正常，并上報(bào)任務(wù)調(diào)度管理平臺(tái)。

步驟S204，任務(wù)調(diào)度管理平臺(tái)向中轉(zhuǎn)平臺(tái)發(fā)送最優(yōu)傳輸路徑查詢請(qǐng)求。

步驟S205，中轉(zhuǎn)平臺(tái)接收最優(yōu)傳輸路徑查詢請(qǐng)求，分析獲得最優(yōu)傳輸路徑，并將最優(yōu)傳輸路徑反饋給任務(wù)調(diào)度管理平臺(tái)。

步驟S206，任務(wù)調(diào)度管理平臺(tái)根據(jù)最優(yōu)傳輸路徑，通過私有傳輸協(xié)議，在文件分發(fā)服務(wù)器、中轉(zhuǎn)平臺(tái)和文件接收客戶端之間建立最優(yōu)數(shù)據(jù)分發(fā)通道。

步驟S207，文件分發(fā)服務(wù)器通過最優(yōu)數(shù)據(jù)分發(fā)通道，將分發(fā)任務(wù)的數(shù)據(jù)文件主動(dòng)推送至文件接收客戶端。

步驟S208，文件接收客戶端實(shí)時(shí)向任務(wù)調(diào)度管理平臺(tái)上報(bào)分發(fā)任務(wù)的數(shù)據(jù)文件接收進(jìn)度信息，直至分發(fā)任務(wù)的數(shù)據(jù)文件接收完成。

如圖3(1)所示是本發(fā)明的一種實(shí)施方式：

步驟S301，任務(wù)調(diào)度管理平臺(tái)配置分發(fā)任務(wù)信息。任務(wù)信息包括：分發(fā)時(shí)間、分發(fā)文件名稱、文件接收客戶端以及是否需要中轉(zhuǎn)緩存等信息。文件分發(fā)服務(wù)器則是將存儲(chǔ)該分發(fā)任務(wù)數(shù)據(jù)文件的服務(wù)器作為文件分發(fā)服務(wù)器。

步驟S302，任務(wù)調(diào)度管理平臺(tái)根據(jù)分發(fā)任務(wù)信息，判斷當(dāng)前時(shí)間是否為分發(fā)時(shí)間的前N分鐘。若是則進(jìn)入步驟S303，若不是則停留在當(dāng)前步驟直至到達(dá)分發(fā)時(shí)間的前N分鐘。N的取值范圍大于零，即只需保證時(shí)間點(diǎn)設(shè)置在分發(fā)時(shí)間前即可。在本實(shí)施例中將N設(shè)置為1為較優(yōu)選值，在其他實(shí)施例中N也可以是0.5或1.5等值。

步驟S303，任務(wù)調(diào)度管理平臺(tái)將分發(fā)任務(wù)信息發(fā)送至文件分發(fā)服務(wù)器和文件接收客戶端。

步驟S304，文件分發(fā)服務(wù)器和文件接收客戶端分別接收并解析該分發(fā)任務(wù)信息。

步驟S305，文件分發(fā)服務(wù)器和文件接收客戶端根據(jù)解析后的分發(fā)任務(wù)信息，分別檢查本地文件分發(fā)環(huán)境是否正常，并上報(bào)任務(wù)調(diào)度管理平臺(tái)。文件分發(fā)服務(wù)器和文件接收客戶端檢查本地分發(fā)環(huán)境是否正常的內(nèi)容包括：文件分發(fā)服務(wù)器上分發(fā)數(shù)據(jù)文件是否完整，文件接收客戶端本地存儲(chǔ)是否正常，是否可以正常接收分發(fā)任務(wù)數(shù)據(jù)文件等，檢查結(jié)束后將檢查結(jié)果反饋給任務(wù)調(diào)度管理平臺(tái)，若有異常則進(jìn)行步驟S306處理，否則進(jìn)行步驟S307。

步驟S306，任務(wù)調(diào)度管理平臺(tái)接收到異常報(bào)警信息，觸發(fā)異常報(bào)警處理，啟動(dòng)線上異常處理及緊急人工處理機(jī)制進(jìn)行修復(fù)。

步驟S307，任務(wù)調(diào)度管理平臺(tái)向中轉(zhuǎn)平臺(tái)發(fā)送最優(yōu)傳輸路徑查詢請(qǐng)求。

步驟S308，中轉(zhuǎn)平臺(tái)接收最優(yōu)傳輸路徑查詢請(qǐng)求，分析獲得最優(yōu)傳輸路徑，并將最優(yōu)傳輸路徑反饋給任務(wù)調(diào)度管理平臺(tái)。中轉(zhuǎn)平臺(tái)收到任務(wù)調(diào)度管理平臺(tái)發(fā)送的最優(yōu)傳輸路徑查詢請(qǐng)求后，經(jīng)過智能路由策略分析，得到文件分發(fā)服務(wù)器-中轉(zhuǎn)平臺(tái)-文件接收客戶端的最優(yōu)分發(fā)路徑信息，并將最優(yōu)分發(fā)路徑信息和中轉(zhuǎn)平臺(tái)上的中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器是否緩存該分發(fā)任務(wù)數(shù)據(jù)文件的信息反饋給任務(wù)調(diào)度管理平臺(tái)。智能路由策略為通過節(jié)點(diǎn)負(fù)載均衡、節(jié)點(diǎn)就近原則、路徑可用帶寬等條件進(jìn)行加權(quán)分析，得出最優(yōu)傳輸路徑。

步驟S309，判斷中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器是否緩存該分發(fā)任務(wù)的數(shù)據(jù)文件。

在本實(shí)施例中，中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器已緩存有該分發(fā)任務(wù)的數(shù)據(jù)文件。

步驟S310，任務(wù)調(diào)度管理平臺(tái)發(fā)送指令，由緩存有該分發(fā)任務(wù)數(shù)據(jù)文件的中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器根據(jù)最優(yōu)分發(fā)路徑發(fā)起路由連接請(qǐng)求，通過私有傳輸協(xié)議，與文件接收客戶端建立高速任務(wù)分發(fā)通道。私有傳輸協(xié)議是指通過智能發(fā)包策略控制、智能擁塞控制算法、協(xié)議保持連接、數(shù)據(jù)包智能優(yōu)化處理等克服傳統(tǒng)TCP/UDP傳輸協(xié)議的機(jī)制瓶頸。智能發(fā)包策略控制實(shí)時(shí)根據(jù)傳輸鏈路實(shí)際情況，調(diào)整鏈路發(fā)包速率大小，減少鏈路擁塞；智能擁塞控制能夠更準(zhǔn)確地判定鏈路擁塞原因，從而更準(zhǔn)確地調(diào)整發(fā)包速率，提高帶寬利用率；協(xié)議保持連接是指，當(dāng)通過傳輸協(xié)議建立連接分發(fā)通道后，同時(shí)建立備用連接分發(fā)通道，若數(shù)據(jù)在傳輸過程中，出現(xiàn)傳輸鏈路異常中斷，則零時(shí)延切換到備用連接分發(fā)通道，保證數(shù)據(jù)傳輸可靠性和穩(wěn)定性；數(shù)據(jù)包智能優(yōu)化處理包括數(shù)據(jù)包智能壓縮、快速重傳、斷點(diǎn)續(xù)傳、智能秒傳等數(shù)據(jù)優(yōu)化處理，進(jìn)一步提升數(shù)據(jù)傳輸效率。

步驟S311，中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器通過該高速任務(wù)分發(fā)通道主動(dòng)將該分發(fā)任務(wù)對(duì)應(yīng)的數(shù)據(jù)文件分發(fā)至文件接收客戶端。該分發(fā)任務(wù)對(duì)應(yīng)數(shù)據(jù)文件，通過該高速任務(wù)分發(fā)通道，不經(jīng)過文件分發(fā)服務(wù)器，直接從中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器主動(dòng)分發(fā)至文件接收客戶端。

步驟S312，文件接收客戶端接收分發(fā)任務(wù)數(shù)據(jù)文件，并進(jìn)行一致性效驗(yàn)，實(shí)時(shí)向任務(wù)調(diào)度管理平臺(tái)反饋分發(fā)任務(wù)數(shù)據(jù)文件接收進(jìn)度信息。若數(shù)據(jù)文件正常接收完成并且一致性校驗(yàn)通過，至此，對(duì)應(yīng)該文件接收客戶端的分發(fā)任務(wù)結(jié)束，否則進(jìn)行步驟S306處理。

如圖3(2)所示是本發(fā)明的另一種實(shí)施方式，中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器未緩存該分發(fā)任務(wù)的數(shù)據(jù)文件。

步驟S301-步驟S309、步驟S312與圖3(1)相同。

步驟S313，任務(wù)調(diào)度管理平臺(tái)判斷該分發(fā)任務(wù)的數(shù)據(jù)文件是否需要進(jìn)行中轉(zhuǎn)緩存。在本實(shí)施例中該分發(fā)任務(wù)的數(shù)據(jù)文件需要進(jìn)行中轉(zhuǎn)緩存。

步驟S314，任務(wù)調(diào)度管理平臺(tái)發(fā)送指令，由文件分發(fā)服務(wù)器根據(jù)最優(yōu)分發(fā)路徑發(fā)起路由連接請(qǐng)求，通過私有傳輸協(xié)議，經(jīng)過中轉(zhuǎn)平臺(tái)上的中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器，與文件接收客戶端建立高速任務(wù)分發(fā)通道。私有傳輸協(xié)議是指通過智能發(fā)包策略控制、智能擁塞控制算法、協(xié)議保持連接、數(shù)據(jù)包智能優(yōu)化處理等克服傳統(tǒng)TCP/UDP傳輸協(xié)議的機(jī)制瓶頸。智能發(fā)包策略控制實(shí)時(shí)根據(jù)傳輸鏈路實(shí)際情況，調(diào)整鏈路發(fā)包速率大小，減少鏈路擁塞；智能擁塞控制能夠更準(zhǔn)確地判定鏈路擁塞原因，從而更準(zhǔn)確地調(diào)整發(fā)包速率，提高帶寬利用率；協(xié)議保持連接是指，當(dāng)通過傳輸協(xié)議建立連接分發(fā)通道后，同時(shí)建立備用連接分發(fā)通道，若數(shù)據(jù)在傳輸過程中，出現(xiàn)傳輸鏈路異常中斷，則零時(shí)延切換到備用連接分發(fā)通道，保證數(shù)據(jù)傳輸可靠性和穩(wěn)定性；數(shù)據(jù)包智能優(yōu)化處理包括數(shù)據(jù)包智能壓縮、快速重傳、斷點(diǎn)續(xù)傳、智能秒傳等數(shù)據(jù)優(yōu)化處理，進(jìn)一步提升數(shù)據(jù)傳輸效率。

步驟S315，文件分發(fā)服務(wù)器通過該高速任務(wù)分發(fā)通道主動(dòng)將該分發(fā)任務(wù)的數(shù)據(jù)文件分發(fā)至文件接收客戶端。該分發(fā)任務(wù)的數(shù)據(jù)文件通過該高速任務(wù)分發(fā)通道從文件分發(fā)服務(wù)器經(jīng)過中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器主動(dòng)分發(fā)至文件接收客戶端，分發(fā)任務(wù)的數(shù)據(jù)文件經(jīng)過中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器時(shí)，中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器同步進(jìn)行文件數(shù)據(jù)緩存。然后進(jìn)入步驟S312。

如圖3(3)所示是本發(fā)明的又一種實(shí)施方式，中轉(zhuǎn)節(jié)點(diǎn)服務(wù)器未緩存該分發(fā)任務(wù)的數(shù)據(jù)文件，且該分發(fā)任務(wù)的數(shù)據(jù)文件不需要進(jìn)行中轉(zhuǎn)緩存。

步驟S301-步驟S309、步驟S312、步驟S313與圖3(2)相同。

步驟S316，任務(wù)調(diào)度管理平臺(tái)發(fā)送指令，由文件分發(fā)服務(wù)器通過私有傳輸協(xié)議直接與文件接收客戶端建立高速任務(wù)分發(fā)通道。該高速任務(wù)分發(fā)通道不經(jīng)過中轉(zhuǎn)平臺(tái)。私有傳輸協(xié)議是指通過智能發(fā)包策略控制、智能擁塞控制算法、協(xié)議保持連接、數(shù)據(jù)包智能優(yōu)化處理等克服傳統(tǒng)TCP/UDP傳輸協(xié)議的機(jī)制瓶頸。智能發(fā)包策略控制實(shí)時(shí)根據(jù)傳輸鏈路實(shí)際情況，調(diào)整鏈路發(fā)包速率大小，減少鏈路擁塞；智能擁塞控制能夠更準(zhǔn)確地判定鏈路擁塞原因，從而更準(zhǔn)確地調(diào)整發(fā)包速率，提高帶寬利用率；協(xié)議保持連接是指，當(dāng)通過傳輸協(xié)議建立連接分發(fā)通道后，同時(shí)建立備用連接分發(fā)通道，若數(shù)據(jù)在傳輸過程中，出現(xiàn)傳輸鏈路異常中斷，則零時(shí)延切換到備用連接分發(fā)通道，保證數(shù)據(jù)傳輸可靠性和穩(wěn)定性；數(shù)據(jù)包智能優(yōu)化處理包括數(shù)據(jù)包智能壓縮、快速重傳、斷點(diǎn)續(xù)傳、智能秒傳等數(shù)據(jù)優(yōu)化處理，進(jìn)一步提升數(shù)據(jù)傳輸效率。

步驟S317，文件分發(fā)服務(wù)器通過該高速任務(wù)分發(fā)通道主動(dòng)將該分發(fā)任務(wù)的數(shù)據(jù)文件分發(fā)至文件接收客戶端。該分發(fā)任務(wù)對(duì)應(yīng)大數(shù)據(jù)文件通過該高速任務(wù)分發(fā)通道從文件分發(fā)服務(wù)器主動(dòng)分發(fā)至文件接收客戶端時(shí)，不經(jīng)過中轉(zhuǎn)平臺(tái)，直接到達(dá)文件接收客戶端。然后進(jìn)入步驟S312。

本發(fā)明的方法通過私有傳輸協(xié)議實(shí)現(xiàn)分發(fā)服務(wù)端到客戶端的傳輸加速，克服傳統(tǒng)傳輸協(xié)議實(shí)現(xiàn)超大文件傳輸尤其是200GB以上文件的網(wǎng)絡(luò)性能限制瓶頸問題，實(shí)現(xiàn)任務(wù)定時(shí)下發(fā)和智能推送。

實(shí)施例二

本發(fā)明還提供一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分發(fā)平臺(tái)，如圖4所示，包括：調(diào)度管理平臺(tái)100、分發(fā)服務(wù)器200、中轉(zhuǎn)平臺(tái)300和接收客戶端400。

調(diào)度管理平臺(tái)100用于向分發(fā)服務(wù)器200和接收客戶端400發(fā)送任務(wù)信息；分發(fā)服務(wù)器200與調(diào)度管理平臺(tái)100連接，用于接收調(diào)度管理平臺(tái)100發(fā)送的任務(wù)信息，存儲(chǔ)和發(fā)送數(shù)據(jù)；中轉(zhuǎn)平臺(tái)300與分發(fā)服務(wù)器200連接，用于緩存和中轉(zhuǎn)分發(fā)服務(wù)器200發(fā)送的數(shù)據(jù)；接收客戶端400與中轉(zhuǎn)平臺(tái)300連接，用于接收調(diào)度管理平臺(tái)100發(fā)送的任務(wù)信息和中轉(zhuǎn)平臺(tái)300中轉(zhuǎn)的數(shù)據(jù)。

如圖5所示：

調(diào)度管理平臺(tái)100包括：任務(wù)管理模塊101、網(wǎng)絡(luò)監(jiān)控模塊102和中央文件管理模塊103。

分發(fā)服務(wù)器200由N臺(tái)單獨(dú)的服務(wù)器201組成，N為大于1的整數(shù)。

中轉(zhuǎn)平臺(tái)300包括：數(shù)據(jù)緩存模塊301、智能路由模塊302和中轉(zhuǎn)平臺(tái)大數(shù)據(jù)優(yōu)化模塊303。

接收客戶端400包括：私有傳輸協(xié)議模塊401和客戶端大數(shù)據(jù)優(yōu)化模塊402。

任務(wù)管理模塊101用于設(shè)定數(shù)據(jù)分發(fā)任務(wù)，通過選擇分發(fā)文件，選擇分發(fā)時(shí)間，選擇接收客戶端400名稱來進(jìn)行分發(fā)任務(wù)下發(fā)。網(wǎng)絡(luò)監(jiān)控模塊102用于對(duì)分發(fā)任務(wù)進(jìn)行質(zhì)量監(jiān)控，包括監(jiān)控分發(fā)任務(wù)情況、接收客戶端400服務(wù)是否正常。中央文件管理模塊103用于對(duì)分發(fā)服務(wù)器200中的數(shù)據(jù)進(jìn)行存儲(chǔ)管理，分析是否需要通過中轉(zhuǎn)平臺(tái)上的中轉(zhuǎn)節(jié)點(diǎn)進(jìn)行分發(fā)數(shù)據(jù)緩存。

數(shù)據(jù)緩存模塊301用于將分發(fā)服務(wù)器200發(fā)送的數(shù)據(jù)在中轉(zhuǎn)平臺(tái)300上的中轉(zhuǎn)節(jié)點(diǎn)進(jìn)行緩存。通過數(shù)據(jù)緩存模塊301實(shí)現(xiàn)分發(fā)數(shù)據(jù)在中轉(zhuǎn)平臺(tái)300上的中轉(zhuǎn)節(jié)點(diǎn)進(jìn)行緩存，當(dāng)最優(yōu)分發(fā)通道建立后，可直接通過中轉(zhuǎn)節(jié)點(diǎn)將分發(fā)數(shù)據(jù)主動(dòng)下發(fā)至接收客戶端400，能夠有效提高數(shù)據(jù)分發(fā)速率。

智能路由模塊302用于在接收客戶端400和分發(fā)服務(wù)器之間200、分發(fā)服務(wù)器200和中轉(zhuǎn)節(jié)點(diǎn)之間、接收客戶端400和中轉(zhuǎn)節(jié)點(diǎn)之間選擇最優(yōu)傳輸路徑建立連接。具體地通過節(jié)點(diǎn)負(fù)載均衡、節(jié)點(diǎn)就近原則、路徑可用帶寬等條件進(jìn)行加權(quán)分析，得出最優(yōu)傳輸路徑。

中轉(zhuǎn)平臺(tái)大數(shù)據(jù)優(yōu)化模塊303用于針對(duì)超大文件數(shù)據(jù)傳輸進(jìn)行優(yōu)化處理，包括數(shù)據(jù)壓縮、數(shù)據(jù)分片、數(shù)據(jù)一致性處理等，保障大數(shù)據(jù)分發(fā)的時(shí)效性、安全性和可靠性。

私有傳輸協(xié)議模塊401用于在分發(fā)服務(wù)器200—中轉(zhuǎn)節(jié)點(diǎn)—接收客戶端400間建立私有傳輸協(xié)議。私有傳輸協(xié)議能夠解決傳統(tǒng)傳輸控制協(xié)議進(jìn)行超大文件傳輸?shù)木W(wǎng)絡(luò)瓶頸問題，通過智能探測(cè)、智能擁塞控制等優(yōu)化技術(shù)，實(shí)現(xiàn)分發(fā)服務(wù)器200—中轉(zhuǎn)節(jié)點(diǎn)—接收客戶端400的全程傳輸加速?？蛻舳舜髷?shù)據(jù)優(yōu)化模塊402用于對(duì)接收到的分發(fā)數(shù)據(jù)進(jìn)行處理，保證傳輸數(shù)據(jù)的準(zhǔn)確性和可靠性。

可選的，如圖6所示，調(diào)度管理平臺(tái)100還包括數(shù)據(jù)安全控制模塊104，用于保證數(shù)據(jù)傳輸過程中的安全性。

數(shù)據(jù)安全控制模塊104包括數(shù)據(jù)安全加密模塊1041和身份認(rèn)證模塊1042。數(shù)據(jù)安全加密模塊1041用于對(duì)傳輸數(shù)據(jù)安全加密。通過加密的分發(fā)任務(wù)請(qǐng)求，防止請(qǐng)求被不良劫持，避免服務(wù)器受到非法攻擊，同時(shí)采用傳輸數(shù)據(jù)塊粒度的加密，保證傳輸過程的數(shù)據(jù)安全。身份認(rèn)證模塊1042用于校驗(yàn)接收客戶端的身份，防止數(shù)據(jù)被惡意盜取。

通過以上裝置可以實(shí)現(xiàn)全國(guó)所有影院從影片發(fā)行方正常接收分發(fā)的電影數(shù)字文件，同時(shí)對(duì)全國(guó)所有影院的網(wǎng)絡(luò)和電影數(shù)字拷貝中轉(zhuǎn)平臺(tái)、分發(fā)服務(wù)器進(jìn)行有效的監(jiān)控和報(bào)警，及時(shí)監(jiān)控和匯報(bào)異常接入點(diǎn)，并通過數(shù)據(jù)優(yōu)化技術(shù)、數(shù)據(jù)傳輸加解密技術(shù)、身份密鑰管理技術(shù)、校驗(yàn)技術(shù)保證電影數(shù)字拷貝在互聯(lián)網(wǎng)傳輸網(wǎng)絡(luò)中傳輸過程的保密性和安全性，以及內(nèi)容接收端合法身份信息的可管可控，搭建電影數(shù)字拷貝傳輸平臺(tái)認(rèn)證系統(tǒng)。

國(guó)內(nèi)某一流的電影院線，通過接入該大數(shù)據(jù)分發(fā)平臺(tái)，在100Mbps帶寬環(huán)境下，從片源提供方機(jī)房傳輸248G文件到廣州、北京、廈門某影院，傳輸速度統(tǒng)計(jì)結(jié)果如下：

從測(cè)試結(jié)果可以看出，平均傳輸性能在11.98MB/S以上，帶寬利用率達(dá)到95.84％以上，一部248G的影片，能夠在6個(gè)小時(shí)內(nèi)完成傳輸分發(fā)，較好地滿足全國(guó)電影數(shù)字分發(fā)拷貝的需求，實(shí)現(xiàn)基于互聯(lián)網(wǎng)的數(shù)字電影分發(fā)。并且該分發(fā)平臺(tái)可適用于其他數(shù)據(jù)文件分發(fā)的場(chǎng)景，尤其是超大文件分發(fā)的場(chǎng)景。

本發(fā)明通過統(tǒng)一調(diào)度監(jiān)控管理平臺(tái)，按分發(fā)任務(wù)時(shí)間主動(dòng)將文件從分發(fā)服務(wù)器發(fā)送至文件接收客戶端，并進(jìn)行全程智能監(jiān)控，實(shí)現(xiàn)超大數(shù)據(jù)的主動(dòng)快速分發(fā)。本發(fā)明的方法能夠建立滿足電影數(shù)字拷貝放映要求的大容量點(diǎn)對(duì)面?zhèn)鬏斚到y(tǒng)，利用互聯(lián)網(wǎng)優(yōu)化數(shù)字電影發(fā)行流程，解放電影從業(yè)人員生產(chǎn)力，提高我國(guó)電影數(shù)字內(nèi)容的分發(fā)效率。上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。

以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。