數(shù)據(jù)的處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種數(shù)據(jù)的處理方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)電視即OTT TV發(fā)展迅速，智能機頂盒越來越普及。OTT TV是“Over The Top TV”的縮寫，是指基于開放互聯(lián)網(wǎng)的視頻服務(wù)，終端可以是電視機、電腦、機頂盒、PAD、智能手機等等，其在網(wǎng)絡(luò)之上提供服務(wù)，強調(diào)服務(wù)與物理網(wǎng)絡(luò)的無關(guān)性。從消費者的角度出發(fā)，OTT TV就是互聯(lián)網(wǎng)電視，滿足消費者的需求，集成互動電視功能的全功能的互聯(lián)網(wǎng)電視。
[0003]在國際上，OTT TV指通過公共互聯(lián)網(wǎng)面向電視傳輸?shù)幕ヂ?lián)網(wǎng)協(xié)議(IP)視頻和互聯(lián)網(wǎng)應(yīng)用融合的服務(wù)。其接收終端為互聯(lián)網(wǎng)電視一體機或機頂盒+電視機。而在我國，0ΤΤTV是指通過公共互聯(lián)網(wǎng)面向電視機傳輸?shù)挠蓢袕V播電視機構(gòu)提供視頻內(nèi)容的可控可管服務(wù)。接收終端一般為國產(chǎn)互聯(lián)網(wǎng)電視一體機。
[0004]目前，相關(guān)技術(shù)中的OTTTV主要有兩種實現(xiàn)方式:HTTP漸進下載(HTTPProgressive Download,簡稱為 HPD)和 HTTP 自適應(yīng)流媒體(HTTP Adaptive Streaming,簡稱為HAS)。傳統(tǒng)的OTT TV 一般采用HPD技術(shù)?；贖PD的客戶端在開始播放之前僅需等待一段較短的時間用于下載和緩沖媒體文件最前面的一部分數(shù)據(jù)，之后便可以一邊下載一邊播放。HPD OTT TV存在諸多的局限性，例如:不適合對實時性要求較高的直播節(jié)目的傳輸；初始播放的等待時延一般較長；當(dāng)網(wǎng)絡(luò)帶寬不穩(wěn)定時比較容易出現(xiàn)卡屏現(xiàn)象；由于客戶端會持續(xù)下載視頻文件，當(dāng)用戶中途放棄節(jié)目觀看，會造成已下載文件(消耗帶寬)的浪費。
[0005]為了克服HPD OTT TV技術(shù)的局限性，近年來基于HAS的OTT TV技術(shù)逐漸被業(yè)界廣泛采用和推廣。HAS OTT TV采用視頻分片和自適應(yīng)碼率(ABR)技術(shù)。在HAS系統(tǒng)中，媒體流分割器將編碼器輸出的視頻流分割為一系列連續(xù)的、長度均等的小分片文件，并將它們存儲在Web內(nèi)容分發(fā)服務(wù)器。HAS客戶端設(shè)備能夠在可用的帶寬的基礎(chǔ)上，自動向Web月艮務(wù)器請求合適的視頻質(zhì)量(即不同的分辨率和碼率)的分片文件，從而給用戶最好的視覺體驗。為了便于HAS客戶端實現(xiàn)不同碼率分片之間的快速、實時切換，HAS視頻一般采用較短的分片長度(例如:10秒)。由于HAS系統(tǒng)可向不同屏幕大小的終端提供適合分辨率的視頻分片文件，并可在不同網(wǎng)絡(luò)帶寬情況下實現(xiàn)流暢的視頻播放，因此HAS被業(yè)內(nèi)認為是未來無所不在的多屏互動視頻的核心技術(shù)。
[0006]然而，盡管OTT TV技術(shù)的不斷發(fā)展帶來諸多益處，但是，如何能夠有效地監(jiān)控0ΤΤ用戶的播放質(zhì)量是運營商無法回避的問題，目前相關(guān)技術(shù)中也缺乏有效的解決方案。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供了一種數(shù)據(jù)的處理方法及裝置，以至少解決相關(guān)技術(shù)中如何利用大數(shù)據(jù)技術(shù)對0ΤΤ機頂盒上報的數(shù)據(jù)進行監(jiān)控分析的問題。
[0008]根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)的處理方法。
[0009]根據(jù)本發(fā)明實施例的數(shù)據(jù)的處理方法包括:接收機頂盒上報的待處理數(shù)據(jù)，其中，待處理數(shù)據(jù)是由機頂盒對從第三方應(yīng)用組件獲取到的原始數(shù)據(jù)進行加工計算后得到的，原始數(shù)據(jù)包括以下至少之一:文件下載數(shù)據(jù)、用戶觸發(fā)行為數(shù)據(jù)、文件播放數(shù)據(jù)；對待處理數(shù)據(jù)進行分析，獲取關(guān)鍵性能指標(KPI)數(shù)據(jù)。
[0010]優(yōu)選地，對待處理數(shù)據(jù)進行分析，獲取KPI數(shù)據(jù)包括:采用負載均衡組件對待處理數(shù)據(jù)進行解析，并將解析后的數(shù)據(jù)發(fā)送至分布式消息隊列集群；利用分布式消息隊列集群中的分布式消息隊列對解析后的數(shù)據(jù)進行備份，并將解析后的數(shù)據(jù)發(fā)送至分布式實時計算系統(tǒng)；通過分布式實時計算系統(tǒng)對解析后的數(shù)據(jù)進行分析統(tǒng)計，得到KPI數(shù)據(jù)。
[0011]優(yōu)選地，采用負載均衡組件對待處理數(shù)據(jù)進行解析包括:采用負載均衡組件從待處理數(shù)據(jù)中解析出消息頭和消息體；采用負載均衡組件將消息頭進行剝離處理，保留消息體。
[0012]優(yōu)選地，按照預(yù)設(shè)時長經(jīng)由協(xié)商的數(shù)據(jù)接口接收機頂盒上報的待處理數(shù)據(jù)。
[0013]優(yōu)選地，在對待處理數(shù)據(jù)進行分析，獲取KPI數(shù)據(jù)之后，還包括:對KPI數(shù)據(jù)進行離線分析挖掘。
[0014]根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)的處理裝置。
[0015]根據(jù)本發(fā)明實施例的數(shù)據(jù)的處理裝置包括:接收模塊，用于接收機頂盒上報的待處理數(shù)據(jù)，其中，待處理數(shù)據(jù)是由機頂盒對從第三方應(yīng)用組件獲取到的原始數(shù)據(jù)進行加工計算后得到的，原始數(shù)據(jù)包括以下至少之一:文件下載數(shù)據(jù)、用戶觸發(fā)行為數(shù)據(jù)、文件播放數(shù)據(jù)；處理模塊，用于對待處理數(shù)據(jù)進行分析，獲取KPI數(shù)據(jù)。
[0016]優(yōu)選地，處理模塊包括:解析單元，用于采用負載均衡組件對待處理數(shù)據(jù)進行解析，并將解析后的數(shù)據(jù)發(fā)送至分布式消息隊列集群；備份單元，用于利用分布式消息隊列集群中的分布式消息隊列對解析后的數(shù)據(jù)進行備份，并將解析后的數(shù)據(jù)發(fā)送至分布式實時計算系統(tǒng)；分析單元，用于通過分布式實時計算系統(tǒng)對解析后的數(shù)據(jù)進行分析統(tǒng)計，得到KPI數(shù)據(jù)。
[0017]優(yōu)選地，解析單元包括:解析子單元，用于采用負載均衡組件從待處理數(shù)據(jù)中解析出消息頭和消息體；處理子單元，用于采用負載均衡組件將消息頭進行剝離處理，保留消息體。
[0018]優(yōu)選地，接收模塊，用于按照預(yù)設(shè)時長經(jīng)由協(xié)商的數(shù)據(jù)接口接收機頂盒上報的待處理數(shù)據(jù)。
[0019]優(yōu)選地，上述裝置還包括:分析模塊，用于對KPI數(shù)據(jù)進行離線分析挖掘。
[0020]通過本發(fā)明實施例，采用接收機頂盒上報的待處理數(shù)據(jù)，其中，待處理數(shù)據(jù)是由機頂盒對從第三方應(yīng)用組件獲取到的原始數(shù)據(jù)進行加工計算后得到的，原始數(shù)據(jù)包括以下至少之一:文件下載數(shù)據(jù)、用戶觸發(fā)行為數(shù)據(jù)、文件播放數(shù)據(jù)；對待處理數(shù)據(jù)進行分析，獲取KPI數(shù)據(jù)，解決了相關(guān)技術(shù)中如何利用大數(shù)據(jù)技術(shù)對0ΤΤ機頂盒上報的數(shù)據(jù)進行監(jiān)控分析的問題，進而可以較為及時地對0ΤΤ機頂盒上報的海量原始數(shù)據(jù)進行統(tǒng)計分析，并且可以實現(xiàn)離線挖掘。
【附圖說明】
[0021]此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0022]圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)的處理方法的流程圖；
[0023]圖2是根據(jù)本發(fā)明優(yōu)選實施例的0ΤΤ機頂盒數(shù)據(jù)采集模型的示意圖；
[0024]圖3是根據(jù)本發(fā)明優(yōu)選實施例的基于圖2所示的0ΤΤ機頂盒數(shù)據(jù)采集模型的數(shù)據(jù)處理的流程圖；
[0025]圖4是根據(jù)本發(fā)明實施例的數(shù)據(jù)的處理裝置的結(jié)構(gòu)框圖；
[0026]圖5是根據(jù)本發(fā)明優(yōu)選實施例的數(shù)據(jù)的處理裝置的結(jié)構(gòu)框圖。
【具體實施方式】
[0027]下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0028]圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)的處理方法的流程圖。如圖1所示，該方法可以包括以下處理步驟:
[0029]步驟S102:接收機頂盒上報的待處理數(shù)據(jù)，其中，待處理數(shù)據(jù)是由機頂盒對從第三方應(yīng)用組件獲取到的原始數(shù)據(jù)進行加工計算后得到的，原始數(shù)據(jù)包括以下至少之一:文件下載數(shù)據(jù)、用戶觸發(fā)行為數(shù)據(jù)、文件播放數(shù)據(jù)；
[0030]步驟S104:對待處理數(shù)據(jù)進行分析，獲取KPI數(shù)據(jù)。
[0031]相關(guān)技術(shù)中無法利用大數(shù)據(jù)技術(shù)對0ΤΤ機頂盒上報的數(shù)據(jù)進行監(jiān)控分析。采用如圖1所示的方法，通過機頂盒在對從第三方應(yīng)用組件獲取到的原始數(shù)據(jù)進行加工計算后得到待處理數(shù)據(jù)，再對機頂盒上報的待處理數(shù)據(jù)進行分析進而獲取KPI數(shù)據(jù)，由此解決了相關(guān)技術(shù)中如何利用大數(shù)據(jù)技術(shù)對0ΤΤ機頂盒上報的數(shù)據(jù)進行監(jiān)控分析的問題，進而可以較為及時地對0ΤΤ機頂盒上報的海量原始數(shù)據(jù)進行統(tǒng)計分析，并且可以實現(xiàn)離線挖掘。
[0032]在優(yōu)選實施過程中，可以按照預(yù)設(shè)時長經(jīng)由協(xié)商的數(shù)據(jù)接口接收機頂盒上報的待處理數(shù)據(jù)。
[0033]在優(yōu)選實施例中，第三方應(yīng)用組件收集文件下載、用戶觸發(fā)行為以及播放有關(guān)的原始數(shù)據(jù)，并向機頂盒數(shù)據(jù)采集接口實時傳輸收集到的原始數(shù)據(jù)。機頂盒對采集到的原始數(shù)據(jù)進行加工計算，然后再按照預(yù)設(shè)時長經(jīng)由協(xié)商的數(shù)據(jù)接口將數(shù)據(jù)上報至指定的地址。
[0034]優(yōu)選地，在步驟S104中，對待處理數(shù)據(jù)進行分析，獲取KPI數(shù)據(jù)可以包括以下操作:
[0035]步驟S1:采用負載均衡組件對待處理數(shù)據(jù)進行解析，并將解析后的數(shù)據(jù)發(fā)送至分布式消息隊列集群；
[0036]步驟S2:利用分布式消息隊列集群中的分布式消息隊列對解析后的數(shù)據(jù)進行備份，并將解析后的數(shù)據(jù)發(fā)送至分布式實時計算系統(tǒng)；
[0037]步驟S3:通過分布式實時計算系統(tǒng)對解析后的數(shù)據(jù)進行分析統(tǒng)計，得到KPI數(shù)據(jù)。
[0038]在優(yōu)選實施例中，可以采用負載均衡組件來接收機頂盒上報的數(shù)據(jù)。對機頂盒上報的數(shù)據(jù)進行解析，同時作為分布式消息隊列的客戶端，將消息體發(fā)送至分布式消息隊列集群。分布式消息隊列對接收到的數(shù)據(jù)進行備份，并發(fā)送至分布式實時計算系統(tǒng)。分布式實時計算系統(tǒng)利用流技術(shù)對有效數(shù)據(jù)進行實時解析與統(tǒng)計，從而得到全網(wǎng)的統(tǒng)計KPI數(shù)據(jù)。
[0039]優(yōu)選地，在步驟S1中，采用負載均衡組件對待處理數(shù)據(jù)進行解析可以包括以下步驟:
[0040]步驟Sll:采用負載均衡組件從待處理數(shù)據(jù)中解析出消息頭和消息體；
[0041]步驟S12:采用負載均衡組件將消息頭進行剝離處理，保留消息體。
[0042]在優(yōu)選實施例中，可以采用負載均衡組件對機頂盒上報的數(shù)據(jù)進行解析，剝離消息頭，僅留下實際有用的消息體。
[0043]優(yōu)選地，在步驟S104，對待處理數(shù)據(jù)進行分析，獲取KPI數(shù)據(jù)之后，還可以包括以下操作:
[0044]步驟S4:對KPI數(shù)據(jù)進行離線分析挖掘。
[0045]在