云終端、云服務(wù)器、媒體數(shù)據(jù)流播放系統(tǒng)及方法
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供一種云終端、云服務(wù)器、媒體數(shù)據(jù)流播放系統(tǒng)及方法。本發(fā)明實(shí)施例中，云服務(wù)器并不對(duì)原始音視頻數(shù)據(jù)流進(jìn)行解碼和播放，而是將原始音視頻數(shù)據(jù)流發(fā)送給云終端，由云終端使用硬件解碼器對(duì)所述原始音視頻數(shù)據(jù)流進(jìn)行硬件解碼，節(jié)省網(wǎng)絡(luò)帶寬，提高了網(wǎng)絡(luò)負(fù)載能力，降低了云終端的推廣成本，提高了媒體數(shù)據(jù)流的播放性能。
【專(zhuān)利說(shuō)明】云終端、云服務(wù)器、媒體數(shù)據(jù)流播放系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實(shí)施例涉及通信技術(shù)，尤其涉及一種云終端、云服務(wù)器、媒體數(shù)據(jù)流播放系 統(tǒng)及方法。

【背景技術(shù)】
[0002] 云終端（Cloud Terminal)是基于云計(jì)算商業(yè)模式應(yīng)用的終端設(shè)備和終端平臺(tái)服 務(wù)的總稱(chēng)，云終端技術(shù)可實(shí)現(xiàn)共享主機(jī)資源，大幅減少硬件投資和軟件許可證開(kāi)銷(xiāo)，并實(shí)現(xiàn) 單機(jī)多用戶(hù)，每一個(gè)用戶(hù)獨(dú)立享用完整的PC功能。
[0003] 現(xiàn)有的音視頻播放技術(shù)，在云服務(wù)器的虛擬機(jī)內(nèi)進(jìn)行音視頻數(shù)據(jù)流的解碼，云服 務(wù)器上的播放器調(diào)用解碼器，將音視頻數(shù)據(jù)流解碼為逐幀的圖像和音頻數(shù)據(jù)，再渲染到虛 擬機(jī)內(nèi)的桌面和虛擬音頻設(shè)備上，然后，云服務(wù)器將逐幀圖像和音頻數(shù)據(jù)逐幀與虛擬桌面 打包在一起，壓縮，再發(fā)到云終端，在云終端上再進(jìn)行最后的解碼和渲染。
[0004] 現(xiàn)有技術(shù)中，大多數(shù)音視頻都采用動(dòng)態(tài)圖像專(zhuān)家組4(Moving Picture Experts Group4,簡(jiǎn)稱(chēng)MPEG4)進(jìn)行音視頻壓縮編碼。由于最常用的MPEG4格式比較復(fù)雜，解碼的算 法也很復(fù)雜，造成云服務(wù)器的解碼運(yùn)算量非常大。以及，常用的比特流解析、變長(zhǎng)熵解碼等 操作適合并行處理，而云服務(wù)器的CPU -般是為通用計(jì)算而設(shè)計(jì)，并不完全適合并行處理， 因而占用大部分的CPU計(jì)算能力。因此，虛擬機(jī)解碼使得云服務(wù)器的運(yùn)算負(fù)載過(guò)大，導(dǎo)致每 云服務(wù)器所能負(fù)擔(dān)的云終端數(shù)量較少，需要實(shí)際部署較多的云服務(wù)器，增加了云終端的推 廣成本。
[0005] 另外，現(xiàn)有技術(shù)中，云服務(wù)器將解碼后的音視頻數(shù)據(jù)，逐幀圖像和音頻數(shù)據(jù)與虛擬 桌面打包壓縮發(fā)到云終端，這種逐幀傳送的數(shù)據(jù)雖然也經(jīng)過(guò)了壓縮，但其壓縮率與MPEG4 具有的幀間壓縮技術(shù)相比，壓縮率較低，對(duì)網(wǎng)絡(luò)帶寬的要求非常高，導(dǎo)致網(wǎng)絡(luò)負(fù)載能力下 降，并且，逐幀的傳輸音視頻具有較大且不穩(wěn)定的網(wǎng)絡(luò)延遲，導(dǎo)致播放不流暢，用戶(hù)體驗(yàn)差。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明實(shí)施例提供一種云終端、云服務(wù)器、媒體數(shù)據(jù)流播放系統(tǒng)及方法，節(jié)省網(wǎng)絡(luò) 帶寬，提高了網(wǎng)絡(luò)負(fù)載能力，降低了云終端的推廣成本，提高了媒體數(shù)據(jù)流的播放性能。
[0007] 第一方面，本發(fā)明實(shí)施例提供一種云終端，所述云終端包括：
[0008] 接收器，用于接收云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流；
[0009] 主處理器，用于在所述接收器接收到所述待解碼的媒體數(shù)據(jù)流后，向硬件解碼器 發(fā)送硬件解碼命令；
[0010] 所述硬件解碼器，用于根據(jù)所述主處理器發(fā)送的硬件解碼命令，對(duì)所述待解碼的 媒體數(shù)據(jù)流進(jìn)行解碼，得到解碼后的媒體數(shù)據(jù)流，以及，在解碼完成后向所述主處理器發(fā)送 硬件解碼完成響應(yīng)；
[0011] 所述主處理器，還用于在接收到所述硬件解碼器發(fā)送的硬件解碼完成響應(yīng)后，將 所述解碼后的媒體數(shù)據(jù)流中的視頻數(shù)據(jù)與所述背景數(shù)據(jù)流中的背景數(shù)據(jù)進(jìn)行視頻疊加，形 成顯示頁(yè)面并作為視頻輸出，以及，將所述解碼后的媒體數(shù)據(jù)流中的音頻數(shù)據(jù)作為音頻輸 出。
[0012] 根據(jù)第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述云終端還包括：顯示 器；
[0013] 所述主處理器，還用于在將所述顯示頁(yè)面作為視頻輸出時(shí)，向所述顯示器發(fā)送顯 示命令；
[0014] 所述顯示器，用于根據(jù)所述顯示命令，對(duì)所述顯示頁(yè)面進(jìn)行顯示。
[0015] 根據(jù)第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式 中，所述云終端還包括：圖像處理器，用于在所述顯示器顯示所述顯示頁(yè)面時(shí)，進(jìn)行顯示加 速。
[0016] 根據(jù)第一方面，在第一方面的第三種可能的實(shí)現(xiàn)方式中，所述接收器包括：
[0017] 媒體數(shù)據(jù)流接收模塊，用于接收所述云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流；
[0018] 背景數(shù)據(jù)流接收模塊，用于接收所述云服務(wù)器發(fā)送的背景數(shù)據(jù)流。
[0019] 根據(jù)第一方面，在第一方面的第四種可能的實(shí)現(xiàn)方式中，所述硬件解碼器包括：
[0020] 硬件解碼控制單元，用于在接收到所述主處理器發(fā)送的所述硬件解碼命令后，指 示硬件解碼執(zhí)行單元對(duì)所述待解碼的媒體數(shù)據(jù)流進(jìn)行硬件解碼；
[0021] 所述硬件解碼執(zhí)行單元，用于根據(jù)所述硬件解碼控制單元的指示對(duì)所述待解碼的 媒體數(shù)據(jù)流進(jìn)行硬件解碼；
[0022] 所述硬件解碼控制單元，還用于在解碼完成后，指示所述硬件解碼執(zhí)行單元向所 述主處理器發(fā)送所述硬件解碼完成響應(yīng)；
[0023] 所述硬件解碼執(zhí)行單元，還用于根據(jù)所述硬件解碼控制單元的指示，向所述主處 理器發(fā)送所述硬件解碼完成響應(yīng)。
[0024] 根據(jù)第一方面、第一方面的第一種至第四種可能的實(shí)現(xiàn)方式中的任意一種，在第 一方面的第五種可能的實(shí)現(xiàn)方式中，所述云終端還包括：存儲(chǔ)器，用于存儲(chǔ)所述待解碼的媒 體數(shù)據(jù)流和背景數(shù)據(jù)流。
[0025] 第二方面，本發(fā)明實(shí)施例提供一種云服務(wù)器，所述云服務(wù)器包括：
[0026] 接收單元，用于接收云終端發(fā)送的播放請(qǐng)求；
[0027] 獲取單元，用于當(dāng)所述接收單元接收到所述播放請(qǐng)求時(shí)，獲取待解碼的媒體數(shù)據(jù) 流和背景數(shù)據(jù)流；
[0028] 重定向單元，用于將所述獲取單元獲取的所述待解碼的媒體數(shù)據(jù)流重定向到第一 網(wǎng)絡(luò)鏈路，所述第一網(wǎng)絡(luò)鏈路異于原有的網(wǎng)絡(luò)鏈路；
[0029] 發(fā)送單元，用于將所述待解碼的媒體數(shù)據(jù)流和所述背景數(shù)據(jù)流分別通過(guò)所述第一 網(wǎng)絡(luò)鏈路和所述原有的網(wǎng)絡(luò)鏈路發(fā)送給所述云終端。
[0030] 第三方面，本發(fā)明實(shí)施例提供一種媒體數(shù)據(jù)流播放系統(tǒng)，所述媒體數(shù)據(jù)流播放系 統(tǒng)包括上述第一方面所提供的任意一種云終端，以及，上述第二方面所提供的云服務(wù)器。
[0031] 第四方面，本發(fā)明實(shí)施例提供一種媒體數(shù)據(jù)流播放方法，所述方法包括：
[0032] 分別接收云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流；
[0033] 對(duì)所述待解碼的媒體數(shù)據(jù)流采用硬件解碼器進(jìn)行解碼，得到解碼后的媒體數(shù)據(jù) 流；
[0034] 將所述解碼后的媒體數(shù)據(jù)流中的視頻數(shù)據(jù)與所述背景數(shù)據(jù)流中的背景數(shù)據(jù)進(jìn)行 視頻疊加，形成顯示頁(yè)面；
[0035] 將所述顯示頁(yè)面作為視頻輸出，并將所述解碼后的媒體數(shù)據(jù)流中的音頻數(shù)據(jù)作為 音頻輸出。
[0036] 根據(jù)第四方面，在第四方面的第一種可能的實(shí)現(xiàn)方式中，在所述形成顯示頁(yè)面之 后，所述方法還包括：使用圖像處理器對(duì)所述顯示頁(yè)面的顯示進(jìn)行加速。
[0037] 第五方面，本發(fā)明實(shí)施例提供一種媒體數(shù)據(jù)流播放方法，所述方法包括：
[0038] 當(dāng)接收到云終端發(fā)送的播放請(qǐng)求時(shí)，獲取待解碼的媒體數(shù)據(jù)流；
[0039] 將所述待解碼的媒體數(shù)據(jù)流重定向到第一網(wǎng)絡(luò)鏈路，所述第一網(wǎng)絡(luò)鏈路異于原有 的網(wǎng)絡(luò)鏈路；
[0040] 將所述待解碼的媒體數(shù)據(jù)流和所述背景數(shù)據(jù)流分別通過(guò)所述第一網(wǎng)絡(luò)鏈路和所 述原有的網(wǎng)絡(luò)鏈路發(fā)送給所述云終端。
[0041] 采用本發(fā)明實(shí)施例提供的云終端、云服務(wù)器、媒體數(shù)據(jù)流播放系統(tǒng)及方法，云服務(wù) 器并不對(duì)原始音視頻數(shù)據(jù)流進(jìn)行解碼和播放，而是將原始音視頻數(shù)據(jù)流發(fā)送給云終端，由 云終端使用硬件解碼器對(duì)所述原始音視頻數(shù)據(jù)流進(jìn)行硬件解碼，從而，避免了在云服務(wù)器 進(jìn)行復(fù)雜的解碼運(yùn)算，減少了云服務(wù)器的運(yùn)算壓力，使得在相同的云服務(wù)器和網(wǎng)絡(luò)配置下， 每云服務(wù)器可以容納更多的云終端同時(shí)工作，相當(dāng)于減少了云終端的配套設(shè)備的單位成 本，即降低了云終端的推廣成本；并且，與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例中，在網(wǎng)絡(luò)中傳輸?shù)?是采用MPEG4幀間壓縮的原始音視頻數(shù)據(jù)流，比現(xiàn)有的逐幀發(fā)送的壓縮率高，數(shù)據(jù)量小，傳 輸時(shí)占用的帶寬小，可以節(jié)省網(wǎng)絡(luò)帶寬，提高了網(wǎng)絡(luò)負(fù)載能力，而原始音視頻數(shù)據(jù)流由云終 端的硬件解碼器進(jìn)行硬件解碼，并在解碼后通過(guò)顯示器進(jìn)行顯示，解碼后的音視頻數(shù)據(jù)流 不需要再在網(wǎng)絡(luò)中進(jìn)行逐幀的傳輸，不需要對(duì)解碼后的音視頻數(shù)據(jù)進(jìn)行壓縮，可以支持高 清視頻播放，因此，既降低了對(duì)網(wǎng)絡(luò)帶寬的要求，提高了網(wǎng)絡(luò)負(fù)載能力，也提高了播放性能， 改善了用戶(hù)體驗(yàn)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0042] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā) 明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0043] 圖1為本發(fā)明實(shí)施例提供的云終端的結(jié)構(gòu)示意圖；
[0044] 圖2為本發(fā)明實(shí)施例提供的云終端的另一結(jié)構(gòu)示意圖；
[0045] 圖3為本發(fā)明實(shí)施例提供的云終端的又一結(jié)構(gòu)示意圖；
[0046] 圖4為本發(fā)明實(shí)施例提供的云終端的再一結(jié)構(gòu)示意圖；
[0047] 圖5是本發(fā)明實(shí)施例提供的云終端的又再一結(jié)構(gòu)示意圖；
[0048] 圖6為本發(fā)明實(shí)施例提供的云服務(wù)器的結(jié)構(gòu)示意圖；
[0049] 圖7為本發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放系統(tǒng)的結(jié)構(gòu)示意圖；
[0050] 圖8為本發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放方法的流程圖；
[0051] 圖9為本發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放方法的另一流程圖。

【具體實(shí)施方式】
[0052] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0053] 圖1為本發(fā)明實(shí)施例提供的云終端的結(jié)構(gòu)示意圖。如圖1所示，本發(fā)明實(shí)施例提 供的云終端10,包括：
[0054] 接收器101，用于接收云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流；
[0055] 主處理器102,用于在所述接收器接收到所述待解碼的媒體數(shù)據(jù)流后，向硬件解碼 器103發(fā)送硬件解碼命令；
[0056] 所述硬件解碼器103,用于根據(jù)所述主處理器102發(fā)送的硬件解碼命令，對(duì)所述待 解碼的媒體數(shù)據(jù)流進(jìn)行解碼，得到解碼后的媒體數(shù)據(jù)流，以及，在解碼完成后向所述主處理 器102發(fā)送硬件解碼完成響應(yīng)；
[0057] 所述主處理器102,還用于在接收到所述硬件解碼器103發(fā)送的硬件解碼完成響 應(yīng)后，將所述解碼后的媒體數(shù)據(jù)流中的視頻數(shù)據(jù)與所述背景數(shù)據(jù)流中的背景數(shù)據(jù)進(jìn)行視頻 疊加，形成顯示頁(yè)面并作為視頻輸出，以及，將所述解碼后的媒體數(shù)據(jù)流中的音頻數(shù)據(jù)作為 音頻輸出。
[0058] 具體地，所述媒體數(shù)據(jù)流可以為音視頻數(shù)據(jù)流，所述待解碼的媒體數(shù)據(jù)流為原始 音視頻數(shù)據(jù)流，一般是采用MPEG4進(jìn)行音視頻壓縮編碼的媒體數(shù)據(jù)流?？蛇x的，所述背景數(shù) 據(jù)為遠(yuǎn)程桌面數(shù)據(jù)，是指遠(yuǎn)程桌面窗口中除了視頻播放界面之外的部分，所述顯示頁(yè)面為 遠(yuǎn)程桌面窗口，視頻數(shù)據(jù)與遠(yuǎn)程桌面數(shù)據(jù)組成遠(yuǎn)程桌面窗口。如果云終端上設(shè)有顯示器，則 顯示頁(yè)面可以在云終端的顯示器上顯示；如果云終端上未設(shè)置顯示器，則將形成的顯示頁(yè) 面作為視頻輸出給外接的顯示器。
[0059] 本發(fā)明實(shí)施例中，通過(guò)在云服務(wù)器的虛擬機(jī)內(nèi)配置用于實(shí)現(xiàn)多媒體重定向的重定 向插件，播放音視頻時(shí)，重定向插件截獲原始音視頻數(shù)據(jù)流后，并不進(jìn)行解碼和播放，而是 將原始音視頻數(shù)據(jù)流發(fā)送給云終端，由云終端使用硬件解碼器對(duì)所述原始音視頻數(shù)據(jù)流進(jìn) 行硬件解碼，從而，避免了在云服務(wù)器進(jìn)行復(fù)雜的解碼運(yùn)算，減少了云服務(wù)器的運(yùn)算壓力， 使得在相同的云服務(wù)器和網(wǎng)絡(luò)配置下，每云服務(wù)器可以容納更多的云終端同時(shí)工作，相當(dāng) 于減少了云終端的配套設(shè)備的單位成本，即降低了云終端的推廣成本；并且，與現(xiàn)有技術(shù)將 解碼后的音視頻數(shù)據(jù)，逐幀圖像和音頻數(shù)據(jù)與虛擬桌面打包壓縮發(fā)到云終端相比，本發(fā)明 實(shí)施例中，在網(wǎng)絡(luò)中傳輸?shù)氖遣捎肕PEG4幀間壓縮的原始音視頻數(shù)據(jù)流，比現(xiàn)有的逐幀發(fā) 送的壓縮率高，數(shù)據(jù)量小，傳輸時(shí)占用的帶寬小，可以節(jié)省網(wǎng)絡(luò)帶寬，提高了網(wǎng)絡(luò)負(fù)載能力， 而原始音視頻數(shù)據(jù)流由云終端的硬件解碼器進(jìn)行硬件解碼，并在解碼后通過(guò)顯示器進(jìn)行顯 示，解碼后的音視頻數(shù)據(jù)流不需要再在網(wǎng)絡(luò)中進(jìn)行逐幀的傳輸，不需要對(duì)解碼后的音視頻 數(shù)據(jù)進(jìn)行壓縮，可以支持高清視頻播放，因此，既降低了對(duì)網(wǎng)絡(luò)帶寬的要求，也提高了播放 性能，改善了用戶(hù)體驗(yàn)。
[0060] 圖2為本發(fā)明實(shí)施例提供的云終端的另一結(jié)構(gòu)示意圖。本發(fā)明實(shí)施例基于圖1所 示的云終端實(shí)現(xiàn)，如圖2所示，本發(fā)明實(shí)施例提供的云終端20也包括接收器101、主處理器 102及硬件解碼器103,并且各功能模塊也具有圖1所示的功能；進(jìn)一步，本發(fā)明實(shí)施例提供 的云終端20中還包括顯示器201 ;
[0061] 所述主處理器102,還用于在將所述顯示頁(yè)面作為視頻輸出時(shí)，向所述顯示器201 發(fā)送顯示命令；
[0062] 所述顯示器201，用于根據(jù)所述顯示命令，對(duì)所述顯示頁(yè)面進(jìn)行顯示。
[0063] 本發(fā)明實(shí)施例提供的所述云終端20,通過(guò)顯示器將包含解碼后的媒體數(shù)據(jù)流中的 視頻數(shù)據(jù)與背景數(shù)據(jù)流中的背景數(shù)據(jù)的顯示頁(yè)面進(jìn)行視頻輸出。
[0064] 圖3為本發(fā)明實(shí)施例提供的云終端的又一結(jié)構(gòu)示意圖。本發(fā)明實(shí)施例基于圖2所 示的云終端實(shí)現(xiàn)，如圖3所示，本發(fā)明實(shí)施例提供的云終端30也包括接收器101、主處理器 102、硬件解碼器103及顯示器201，并且各功能模塊也具有圖2所示的功能；本發(fā)明實(shí)施例 提供的云終端30還包括：
[0065] 圖像處理器301，用于在所述顯示器201顯示所述顯示頁(yè)面時(shí)，進(jìn)行顯示加速。采 用所述圖像處理器301對(duì)所述解碼后的媒體數(shù)據(jù)流的顯示進(jìn)行加速，降低視頻顯示時(shí)所需 的時(shí)鐘周期。
[0066] 可選的，所述接收器101可以包括：媒體數(shù)據(jù)流接收模塊及背景數(shù)據(jù)流接收模塊； 其中，所述媒體數(shù)據(jù)流接收模塊用于接收所述云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流；所述 背景數(shù)據(jù)流接收模塊用于接收所述云服務(wù)器發(fā)送的背景數(shù)據(jù)流。
[0067] 圖4為本發(fā)明實(shí)施例提供的云終端的再一結(jié)構(gòu)示意圖。本發(fā)明實(shí)施例基于圖1所 示的云終端實(shí)現(xiàn)，如圖4所示，本發(fā)明實(shí)施例提供的云終端40也包括接收器101、主處理器 102及硬件解碼器103,并且各功能模塊也具有圖1所示的功能；進(jìn)一步，本發(fā)明實(shí)施例提供 的硬件解碼器103包括：
[0068] 硬件解碼控制單元4011，用于在接收到所述主處理器102發(fā)送的所述硬件解碼命 令后，指示硬件解碼執(zhí)行單元4012對(duì)所述待解碼的媒體數(shù)據(jù)流進(jìn)行硬件解碼；
[0069] 所述硬件解碼執(zhí)行單元4012,用于根據(jù)所述硬件解碼控制單元4011的指示對(duì)所 述待解碼的媒體數(shù)據(jù)流進(jìn)行硬件解碼；
[0070] 所述硬件解碼控制單元4011，還用于在解碼完成后，指示所述硬件解碼執(zhí)行單元 4012向所述主處理器102發(fā)送所述硬件解碼完成響應(yīng)；
[0071] 所述硬件解碼執(zhí)行單元4012,還用于根據(jù)所述硬件解碼控制單元4011的指示，向 所述主處理器102發(fā)送所述硬件解碼完成響應(yīng)。
[0072] 本發(fā)明實(shí)施例提供的所述云終端40,通過(guò)使用硬件解碼器103實(shí)現(xiàn)了在云終端對(duì) 所述未解碼的音視頻數(shù)據(jù)流的硬件解碼，避免了在云服務(wù)器進(jìn)行復(fù)雜的解碼運(yùn)算，提高云 服務(wù)器同時(shí)能支持的云終端的數(shù)量，降低了云終端的推廣成本。并且，解碼后的音視頻數(shù)據(jù) 流不需要再在網(wǎng)絡(luò)中進(jìn)行逐幀的傳輸，因此，既降低了對(duì)網(wǎng)絡(luò)帶寬的要求，也提高了播放性 能，改善了用戶(hù)體驗(yàn)。
[0073] 可選的，在上述實(shí)施例的基礎(chǔ)上，上述云終端還可以包括存儲(chǔ)器，用于存儲(chǔ)所述待 解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流。
[0074] 需要說(shuō)明的是，上述主處理器、硬件解碼器、圖像處理器可以是分開(kāi)獨(dú)立的模塊， 也可以集成在一個(gè)處理器芯片上。圖5是本發(fā)明實(shí)施例提供的云終端的又再一結(jié)構(gòu)示 意圖，如圖5所示，該云終端的處理器51包括：處理器核511，圖像處理器模塊（Graphic Processing Unit，簡(jiǎn)稱(chēng) GPU) 512 及高清解碼模塊（High Definition Video,簡(jiǎn)稱(chēng) HDV) 513， 處理器核511作為上述主處理器，HDV513作為硬件解碼器。在一種可行的實(shí)現(xiàn)方案中，處 理器51可以采用高集成度的處理器芯片，例如采用龍芯2H處理器，其處理器核可以采用4 發(fā)射64位主處理器核（GS464)，處理器51擁有片內(nèi)集成定點(diǎn)處理器、浮點(diǎn)處理器、流媒體處 理和圖形圖像處理功能，以及南橋、北橋等配套芯片組功能。該云終端還包括：顯示器、存儲(chǔ) 器、以太網(wǎng)模塊、電源、輸入/輸出設(shè)備（音頻輸出、鍵盤(pán)、鼠標(biāo)、USB控制器等）等。
[0075] 在一種可行的實(shí)現(xiàn)方案中，高清解碼模塊513主要包含了帶有向量協(xié)處理器的雙 發(fā)射32位處理器核和一個(gè)由解碼模塊和直接內(nèi)存存?。―MA)寫(xiě)通道及其相關(guān)配置寄存器 組成的解碼單元。所述雙發(fā)射32位處理器核，例如采用雙發(fā)射32位龍芯GS232處理器核。 解碼單元可以看做一個(gè)黑盒，通過(guò)在GS232處理器核中運(yùn)行的軟件，可以解碼不同的媒體 格式，解碼的部分加速功能是通過(guò)向量協(xié)處理器完成，而不是專(zhuān)用模塊。
[0076] 云終端配置了硬件解碼模塊后，相應(yīng)的，還需要在主處理器端（主處理器核 GS464)配置適配軟件，進(jìn)行上層的配套處理。主處理器中至少包括HDV驅(qū)動(dòng)，作為主處理器 與HDV模塊溝通的橋梁，及向HDV發(fā)起解碼命令和接收解碼完成的反饋；為了和常用播放軟 件兼容，還需要配套VAAPI接口、FFMpeg解碼庫(kù)等。
[0077] 圖6為本發(fā)明實(shí)施例提供的云服務(wù)器的結(jié)構(gòu)示意圖。如圖6所示，本發(fā)明實(shí)施例 提供的云服務(wù)器60,包括：
[0078] 接收單元601，用于接收云終端發(fā)送的播放請(qǐng)求；
[0079] 獲取單元602,用于當(dāng)所述接收單元601接收到所述播放請(qǐng)求時(shí)，獲取待解碼的媒 體數(shù)據(jù)流和背景數(shù)據(jù)流；
[0080] 重定向單元603,用于將所述獲取單元602獲取的所述待解碼的媒體數(shù)據(jù)流重定 向到第一網(wǎng)絡(luò)鏈路，所述第一網(wǎng)絡(luò)鏈路異于原有的網(wǎng)絡(luò)鏈路；
[0081] 發(fā)送單元604,用于將所述待解碼的媒體數(shù)據(jù)流和所述背景數(shù)據(jù)流分別通過(guò)所述 第一網(wǎng)絡(luò)鏈路和所述原有的網(wǎng)絡(luò)鏈路發(fā)送給所述云終端。其中，重定向操作可以通過(guò)插件 的方式注冊(cè)到播放軟件中，啟動(dòng)該播放軟件則具有重定向的功能，顯然，所述播放軟件必須 是支持插件的播放軟件。
[0082] 其中，重定向單元的重定向程序可以通過(guò)插件的方式注冊(cè)到播放軟件中，該播放 軟件是支持插件安裝的播放軟件，例如，Media Player等等。在用戶(hù)請(qǐng)求播放視頻時(shí)，在帶 有該插件的播放軟件中進(jìn)行播放，在獲取單元獲取到待解碼的媒體數(shù)據(jù)流時(shí)，對(duì)獲取的待 解碼的媒體數(shù)據(jù)流進(jìn)行重定向。
[0083] 本發(fā)明實(shí)施例中，云服務(wù)器通過(guò)重定向單元獲取原始音視頻數(shù)據(jù)流，并由發(fā)送單 元將原始音視頻數(shù)據(jù)流發(fā)送給云終端，以使云終端使用硬件解碼器對(duì)所述原始音視頻數(shù)據(jù) 流進(jìn)行硬件解碼，使云服務(wù)器避免了進(jìn)行復(fù)雜的解碼運(yùn)算，減少了云服務(wù)器的運(yùn)算壓力，使 得在相同的云服務(wù)器和網(wǎng)絡(luò)配置下，每云服務(wù)器可以容納更多的云終端同時(shí)工作，相當(dāng)于 減少了云終端的配套設(shè)備的單位成本，即降低了云終端的推廣成本；并且，與現(xiàn)有技術(shù)相 t匕，本發(fā)明實(shí)施例中原始音視頻數(shù)據(jù)流是由云終端的硬件解碼器進(jìn)行硬件解碼，并在解碼 后通過(guò)顯示器進(jìn)行顯示，解碼后的音視頻數(shù)據(jù)流不需要再在網(wǎng)絡(luò)中進(jìn)行逐幀的傳輸，因此， 既降低了對(duì)網(wǎng)絡(luò)帶寬的要求，也提高了播放性能，改善了用戶(hù)體驗(yàn)。
[0084]圖7為本發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放系統(tǒng)的結(jié)構(gòu)示意圖。如圖7所示，本 發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放系統(tǒng)1，包括：云終端71和云服務(wù)器72 ;其中：
[0085] 所述云終端71可以采用圖1-圖5任意所示的云終端實(shí)施例的結(jié)構(gòu)，其實(shí)現(xiàn)原理 和有益效果類(lèi)似，在此不再贅述。所述云服務(wù)器72可以采用圖6所示的云服務(wù)器實(shí)施例的 結(jié)構(gòu)，其實(shí)現(xiàn)原理和有益效果類(lèi)似，在此不再贅述。
[0086] 圖8為本發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放方法的流程圖。如圖8所示，本發(fā)明 實(shí)施例提供的媒體數(shù)據(jù)流播放方法，包括：
[0087] 801、分別接收云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流；
[0088] 802、對(duì)所述待解碼的媒體數(shù)據(jù)流采用硬件解碼器進(jìn)行解碼，得到解碼后的媒體數(shù) 據(jù)流；
[0089] 803、將所述解碼后的媒體數(shù)據(jù)流中的視頻數(shù)據(jù)與所述背景數(shù)據(jù)流中的背景數(shù)據(jù) 進(jìn)行視頻疊加，形成顯示頁(yè)面；
[0090] 804、將所述顯示頁(yè)面作為視頻輸出，并將所述解碼后的媒體數(shù)據(jù)流中的音頻數(shù)據(jù) 作為音頻輸出。
[0091] 具體地，所述方法可以采用圖1-圖5任意所示的云終端執(zhí)行。其中，所述背景數(shù) 據(jù)例如為遠(yuǎn)程桌面數(shù)據(jù)，所述顯示頁(yè)面例如為遠(yuǎn)程桌面窗口。
[0092] 可選的，在所述形成顯示頁(yè)面之后，所述云終端使用圖像處理器對(duì)所述顯示頁(yè)面 的顯示進(jìn)行加速。
[0093] 圖9為本發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放方法的另一流程圖。如圖9所示，本 發(fā)明實(shí)施例提供的媒體數(shù)據(jù)流播放方法，包括：
[0094] 901、當(dāng)接收到云終端發(fā)送的播放請(qǐng)求時(shí)，獲取待解碼的媒體數(shù)據(jù)流；
[0095] 902、將所述待解碼的媒體數(shù)據(jù)流重定向到第一網(wǎng)絡(luò)鏈路，所述第一網(wǎng)絡(luò)鏈路異于 原有的網(wǎng)絡(luò)鏈路；
[0096] 903、將所述待解碼的媒體數(shù)據(jù)流和所述背景數(shù)據(jù)流分別通過(guò)所述第一網(wǎng)絡(luò)鏈路 和所述原有的網(wǎng)絡(luò)鏈路發(fā)送給所述云終端。
[0097] 具體地，所述方法可以采用圖6所示的云服務(wù)器執(zhí)行。其中，重定向操作可以通過(guò) 插件的方式注冊(cè)到播放軟件中，啟動(dòng)該播放軟件則具有重定向的功能，顯然，所述播放軟件 必須是支持插件的播放軟件。
[0098] 在本發(fā)明所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的裝置和方法，可以通過(guò)其 它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅 僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié) 合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的 相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通 信連接，可以是電性，機(jī)械或其它的形式。
[0099] 所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯 示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè) 網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目 的。
[0100] 另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以 是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單 元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。
[0101] 上述以軟件功能單元的形式實(shí)現(xiàn)的集成的單元，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存 儲(chǔ)介質(zhì)中。上述軟件功能單元存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算 機(jī)設(shè)備（可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等）或處理器（processor)執(zhí)行本發(fā) 明各個(gè)實(shí)施例所述方法的部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器 (Read-Only Memory, ROM)、隨機(jī)存取存儲(chǔ)器（Random Access Memory, RAM)、磁碟或者光盤(pán) 等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0102] 本領(lǐng)域技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，僅以上述各功能模塊 的劃分進(jìn)行舉例說(shuō)明，實(shí)際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能模塊完 成，即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。上 述描述的裝置的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。
[0103] 最后應(yīng)說(shuō)明的是：以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制； 盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其 依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征 進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技 術(shù)方案的范圍。
【權(quán)利要求】
1. 一種云終端，其特征在于，包括： 接收器，用于接收云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流； 主處理器，用于在所述接收器接收到所述待解碼的媒體數(shù)據(jù)流后，向硬件解碼器發(fā)送 硬件解碼命令； 所述硬件解碼器，用于根據(jù)所述主處理器發(fā)送的硬件解碼命令，對(duì)所述待解碼的媒體 數(shù)據(jù)流進(jìn)行解碼，得到解碼后的媒體數(shù)據(jù)流，以及，在解碼完成后向所述主處理器發(fā)送硬件 解碼完成響應(yīng)； 所述主處理器，還用于在接收到所述硬件解碼器發(fā)送的硬件解碼完成響應(yīng)后，將所述 解碼后的媒體數(shù)據(jù)流中的視頻數(shù)據(jù)與所述背景數(shù)據(jù)流中的背景數(shù)據(jù)進(jìn)行視頻疊加，形成顯 示頁(yè)面并作為視頻輸出，以及，將所述解碼后的媒體數(shù)據(jù)流中的音頻數(shù)據(jù)作為音頻輸出。
2. 根據(jù)權(quán)利要求1所述的云終端，其特征在于，所述云終端還包括：顯示器； 所述主處理器，還用于在將所述顯示頁(yè)面作為視頻輸出時(shí)，向所述顯示器發(fā)送顯示命 令； 所述顯示器，用于根據(jù)所述顯示命令，對(duì)所述顯示頁(yè)面進(jìn)行顯示。
3. 根據(jù)權(quán)利要求2所述的云終端，其特征在于，所述云終端還包括： 圖像處理器，用于在所述顯示器顯示所述顯示頁(yè)面時(shí)，進(jìn)行顯示加速。
4. 根據(jù)權(quán)利要求1所述的云終端，其特征在于，所述接收器包括： 媒體數(shù)據(jù)流接收模塊，用于接收所述云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流； 背景數(shù)據(jù)流接收模塊，用于接收所述云服務(wù)器發(fā)送的背景數(shù)據(jù)流。
5. 根據(jù)權(quán)利要求1所述的云終端，其特征在于，所述硬件解碼器包括： 硬件解碼控制單元，用于在接收到所述主處理器發(fā)送的所述硬件解碼命令后，指示硬 件解碼執(zhí)行單元對(duì)所述待解碼的媒體數(shù)據(jù)流進(jìn)行硬件解碼； 所述硬件解碼執(zhí)行單元，用于根據(jù)所述硬件解碼控制單元的指示對(duì)所述待解碼的媒體 數(shù)據(jù)流進(jìn)行硬件解碼； 所述硬件解碼控制單元，還用于在解碼完成后，指示所述硬件解碼執(zhí)行單元向所述主 處理器發(fā)送所述硬件解碼完成響應(yīng)； 所述硬件解碼執(zhí)行單元，還用于根據(jù)所述硬件解碼控制單元的指示，向所述主處理器 發(fā)送所述硬件解碼完成響應(yīng)。
6. 根據(jù)權(quán)利要求1-5任一所述的云終端，其特征在于，所述云終端還包括：存儲(chǔ)器，用 于存儲(chǔ)所述待解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流。
7. -種云服務(wù)器，其特征在于，包括： 接收單元，用于接收云終端發(fā)送的播放請(qǐng)求； 獲取單元，用于當(dāng)所述接收單元接收到所述播放請(qǐng)求時(shí)，獲取待解碼的媒體數(shù)據(jù)流和 背景數(shù)據(jù)流； 重定向單元，用于將所述獲取單元獲取的所述待解碼的媒體數(shù)據(jù)流重定向到第一網(wǎng)絡(luò) 鏈路，所述第一網(wǎng)絡(luò)鏈路異于原有的網(wǎng)絡(luò)鏈路； 發(fā)送單元，用于將所述待解碼的媒體數(shù)據(jù)流和所述背景數(shù)據(jù)流分別通過(guò)所述第一網(wǎng)絡(luò) 鏈路和所述原有的網(wǎng)絡(luò)鏈路發(fā)送給所述云終端。
8. -種媒體數(shù)據(jù)流播放系統(tǒng)，其特征在于，包括：如權(quán)利要求1-6任一所述的云終端， 以及，如權(quán)利要求7所述的云服務(wù)器。
9. 一種媒體數(shù)據(jù)流播放方法，其特征在于，包括： 分別接收云服務(wù)器發(fā)送的待解碼的媒體數(shù)據(jù)流和背景數(shù)據(jù)流； 對(duì)所述待解碼的媒體數(shù)據(jù)流采用硬件解碼器進(jìn)行解碼，得到解碼后的媒體數(shù)據(jù)流； 將所述解碼后的媒體數(shù)據(jù)流中的視頻數(shù)據(jù)與所述背景數(shù)據(jù)流中的背景數(shù)據(jù)進(jìn)行視頻 疊加，形成顯示頁(yè)面； 將所述顯示頁(yè)面作為視頻輸出，并將所述解碼后的媒體數(shù)據(jù)流中的音頻數(shù)據(jù)作為音頻 輸出。
10. 根據(jù)權(quán)利要求9所述的方法，其特征在于，在所述形成顯示頁(yè)面之后，所述方法還 包括：使用圖像處理器對(duì)所述顯示頁(yè)面的的顯示進(jìn)行加速。
11. 一種媒體數(shù)據(jù)流播放方法，其特征在于，包括： 當(dāng)接收到云終端發(fā)送的播放請(qǐng)求時(shí)，獲取待解碼的媒體數(shù)據(jù)流； 將所述待解碼的媒體數(shù)據(jù)流重定向到第一網(wǎng)絡(luò)鏈路，所述第一網(wǎng)絡(luò)鏈路異于原有的網(wǎng) 絡(luò)鏈路； 將所述待解碼的媒體數(shù)據(jù)流和所述背景數(shù)據(jù)流分別通過(guò)所述第一網(wǎng)絡(luò)鏈路和所述原 有的網(wǎng)絡(luò)鏈路發(fā)送給所述云終端。
【文檔編號(hào)】H04L29/06GK104159150SQ201410409586
【公開(kāi)日】2014年11月19日 申請(qǐng)日期:2014年8月19日 優(yōu)先權(quán)日:2014年8月19日
【發(fā)明者】程愚, 蔡萬(wàn)偉, 吳松偉, 凌杰, 孫章質(zhì) 申請(qǐng)人:龍芯中科技術(shù)有限公司