用于管理傳輸無關(guān)式多媒體體驗質(zhì)量的方法和系統(tǒng)的制作方法
【專利摘要】公開了調(diào)整用于向用戶終端傳送實時多媒體會話的虛擬資源的系統(tǒng)和方法?；谫Y源參數(shù)，設置資源需求，用戶終端設置用于傳送所述實時多媒體會話的資源需求。用戶終端根據(jù)所設置的資源需求分配資源。用戶終端隨后連續(xù)確定所分發(fā)的資源是否足夠用于想要的體驗質(zhì)量。如果所分發(fā)的資源不夠用，那么通過從資源管理(MRD)/資源預置策略(RPP)數(shù)據(jù)庫取得資源而在用戶終端調(diào)整資源的分配，以保持想要的體驗質(zhì)量。資源參數(shù)可以包括音頻、視頻、和/或文本消息傳送的資源分配的歷史趨勢、當前的資源分配趨勢、優(yōu)化準則、業(yè)務簽名產(chǎn)生等。
【專利說明】用于管理傳輸無關(guān)式多媒體體驗質(zhì)量的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的領(lǐng)域是基于會話的多媒體服務，并且更具體地，本發(fā)明的領(lǐng)域是控制通 過基于網(wǎng)際互聯(lián)協(xié)議（IP)的網(wǎng)絡（包括互聯(lián)網(wǎng)）的基于會話的多媒體服務的體驗質(zhì)量 (QoE)。

【背景技術(shù)】
[0002] 正在出現(xiàn)的高要求應用和服務需要前攝的體驗質(zhì)量（QoE)管理，以減少客戶的反 復嘗試并改善用戶體驗。用于改善用戶體驗的傳統(tǒng)的反應式基于服務質(zhì)量（QoS)的方案， 由于響應時間慢且需要分配過量的開銷，其可能是不可接受的。
[0003] 當前使用的QoE管理技術(shù)使用了互聯(lián)網(wǎng)工程任務組（IETF)協(xié)議和機制，所述協(xié)議 和機制利用了像等待時間/延遲、抖動/延遲變化、以及分組丟失的傳輸層（ISO的七層0SI 模型的傳輸層）參數(shù)的QoS管理。
[0004] 用來監(jiān)測分組延遲、抖動、以及丟失的機制通常需要傳輸層上另外的開銷，這是因 為要結(jié)合監(jiān)測信道和/或可能需要在客戶端和服務器之間、或在通信對端之間交換的消 息。
[0005] 此外，對于QoE的維持可以使用帶寬預分配和過量供應。這種資源的預分配和過 量供應通常導致資源的過低利用，這對于當今的成本有效的網(wǎng)絡操作的目標而言可能是不 可接受的。
[0006] 因此，在這種環(huán)境中配備基于前攝端點的機制將是有利，其利用了網(wǎng)絡傳輸?shù)膭?態(tài)特性。結(jié)果，會話可以獲得超出期望狀態(tài)的Q〇E而無需利用過量的傳輸資源。這些機制 利用傳輸動力學作為輸入，并且調(diào)整端點表示以有效地改善期望的Q〇E。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的各個方面克服了如上所述的多個缺陷，并具有如下特點：(a)沒有引起 傳輸網(wǎng)絡中的任何開銷；(b)在端點使用虛擬化；以及（c)使用向前查看/向后查看與錯誤 糾正/錯誤隱藏的平衡組合。
[0008] 在一個方面，方法調(diào)整用于向用戶終端傳送實時多媒體會話的虛擬資源?；谫Y 源參數(shù)，設置資源需求，用戶終端設置用于傳送實時多媒體會話的資源需求。用戶終端根據(jù) 所設置的資源需求分配資源。用戶終端隨后連續(xù)確定所分發(fā)的資源是否足夠用于想要的體 驗質(zhì)量。如果所分發(fā)的資源不足，那么通過從資源管理（MRD)/資源預置策略（RPP)數(shù)據(jù)庫 取得資源而在用戶終端調(diào)整資源的分配，以保持想要的體驗質(zhì)量。資源參數(shù)可以包括音頻、 視頻、和/或文本消息傳送的資源分配的歷史趨勢、當前的資源分配趨勢、優(yōu)化準則、業(yè)務 簽名產(chǎn)生等。

【專利附圖】

【附圖說明】
[0009] 圖1示出了開環(huán)QoE管理的高層框圖。
[0010] 圖2表示了用于開環(huán)QoE管理的工具集中所需的特征/功能列表。
[0011] 圖3說明了用于開環(huán)QoE管理的多層彈性虛擬緩沖區(qū)塊。
[0012] 圖4是說明了傳輸速率依附（clinging)的示意圖。
[0013] 圖5a示出了用于動態(tài)調(diào)整子會話（音頻、視頻、文本/消息傳送等）之間的虛擬 資源的示意圖。
[0014] 圖5b表示了用于動態(tài)調(diào)整子會話（音頻、視頻、文本/消息傳送等）之間的虛擬 資源的流程圖。
[0015] 圖6是說明動態(tài)識別業(yè)務簽名和使用資源優(yōu)化的示意圖。

【具體實施方式】
[0016] 本發(fā)明的各個方面克服了關(guān)于執(zhí)行多媒體會話的實時傳送的多個缺陷，并具有如 下特點：(a)沒有引起傳輸網(wǎng)絡中的任何開銷；(b)在端點使用虛擬化；以及（c)使用向前 查看/向后查看與錯誤糾正/錯誤隱藏的平衡組合。
[0017] 一旦開始了具有特定傳輸帶寬的會話，那么端點的一個目標就是即使在會話帶寬 波動時也要保持一致的體驗質(zhì)量。在端點或用戶終端處存在智能，并且虛擬化的使用使得 該實現(xiàn)是技術(shù)上可行的一個方案。
[0018] 在本發(fā)明的各個方面中利用的多個機制的一個是基于在聯(lián)網(wǎng)（分布式）環(huán)境中通 常使用的高性能且自適應的高端（high-end)視頻編碼器和譯碼器。例如，所述多個機制中 的一個是基于多層編碼和包括錯誤隱藏的自動糾正錯誤的原理。另一種機制是速率自適 應，信息/分組按所述速率被饋送到渲染設備的緩沖區(qū)。這是基于類似于VCR或盒式磁帶 錄像機的增值特征/功能的視頻技巧模式，其允許基于從儲存器接收的信息/分組（向前 和向后）慢速或快速移動會話信息，而在這種情況下是基于從傳輸網(wǎng)絡接收的信息/分組。
[0019] 另一個特征是預置，包括動態(tài)調(diào)整多媒體會話要素的實體之間的資源，其目的是 保持或超過想要的目標體驗質(zhì)量（QoE)參數(shù)。例如，用于保持會話的視頻幀速率和像素分 辨率的資源可以與用于同一個會話的音頻部分和消息傳送部分的那些資源進行交換。
[0020] 另一個特征是在端點按需利用資源（真實資源或虛擬資源）來模擬感知參數(shù)的能 力。這可能包括關(guān)于帶寬和傳輸質(zhì)量下降的前攝糾正，例如，對所察覺的由于瞬時的帶寬 減少造成的故障和錯誤的/分段的信息傳輸所造成的故障的隱藏。例如，（a)調(diào)整音頻類 型（單音、立體聲、環(huán)繞立體聲等）和音量可能比凍結(jié)圖片幀或?qū)D片幀進行分段更容易忍 受；(b)在"即時消息"窗口中傳送文本/消息時的稍大的延遲可能比在音頻中的絕對安靜 更容易忍受，等等。
[0021] 圖1說明了開環(huán)QoE管理機制的高層框圖。雖然QoE管理代理可能是實際的或虛 擬的，但是其都同時駐留在設備（用戶終端）和接入網(wǎng)絡中。
[0022] 在圖2中示出了根據(jù)本發(fā)明的各個方面的用于開環(huán)QoE管理的工具集的組件的特 征/功能。這個列表包括下列項：
[0023] ?多層彈性虛擬緩沖區(qū)堆棧
[0024] ?錯誤糾正和隱藏
[0025] ?傳輸速率依附
[0026] ?端點資源再分配（在音頻、視頻、消息傳送等之間）
[0027] ?深度自適應
[0028] ?虛擬顯示
[0029] ?慢速/快速向前查看/向后查看
[0030] 在圖3中說明了用于開環(huán)QoE管理的多層彈性虛擬緩沖區(qū)塊。緩沖區(qū)虛擬化允許 將有效獲得的緩沖區(qū)提高到超過物理上實際可以獲得的總數(shù)。例如，這可以通過分配大于 實際的物理緩沖區(qū)/存儲塊，從而使得在過程執(zhí)行/運行期間可以實際上臨時使用更大的 存儲區(qū)來實現(xiàn)。這些緩沖區(qū)塊在基于持續(xù)管理一致的QoE的資源分配策略的導向下提供了 下列功能：
[0031] ?錯誤糾正和隱藏
[0032] ?端點資源再分配（在音頻、視頻、消息傳送等之間）
[0033] ?深度自適應
[0034] ?用于傳輸故障消除的慢速/快速向前查看/向后查看
[0035] 圖4示出了通過使用開環(huán)速率調(diào)整方法在顯著的網(wǎng)絡傳輸擁塞/故障時間段期間 依附（或附加到）傳輸速率。在維持一致的QoE的唯一目的下，該方法使用多層虛擬緩沖 區(qū)補充和清理機制。
[0036] 在圖5a中示出了用于動態(tài)調(diào)整子會話（音頻、視頻、文本/消息傳送等）之間的 虛擬資源的示意圖。資源預置策略（RPP)和MRD或資源管理（進程、存儲器、DSP等）分發(fā)， 通過不同類型（音頻、視頻、消息傳送、以及其他類型）的會話之間的軟交換/路由相互協(xié) 作，以保持一致的Q〇E。在圖5b中呈現(xiàn)了用于動態(tài)調(diào)整子會話（音頻、視頻、文本/消息傳 送等）之間的虛擬資源的流程圖。在這個算法中，同時利用歷史資源和期望（或預計）資 源利用/需求配置來保持對正在進行的音頻、視頻、以及文本消息交換會話的一致的QoE。
[0037] 對動態(tài)識別業(yè)務簽名的利用和用于優(yōu)化資源的其他準則被用來將媒體流分配給 用于傳送可接受的體驗質(zhì)量的流，這在圖6中進行了說明。
[0038] 應當理解的是，本發(fā)明的方法和設備可以運用包括簡單計算機和復雜計算機的機 器和裝置執(zhí)行。而且，上述結(jié)構(gòu)和方法可以被部分存儲或全部存儲在各種形式的機器可讀 介質(zhì)上。例如，本發(fā)明的操作能夠被存儲在比如通過磁盤驅(qū)動器（或計算機可讀介質(zhì)驅(qū)動 器）可以訪問的磁盤或光盤的機器可讀介質(zhì)上?？蛇x擇地，用來執(zhí)行上述操作的邏輯可 以在另外的計算機和/或比如分離的硬件組件（如大規(guī)模集成電路（LSI)、專用集成電路 (ASIC)、比如電可擦除可編程的只讀存儲器（EEPR0M)的固件）等的機器可讀介質(zhì)上實現(xiàn)。 特定實施方式的實現(xiàn)還可以采用機器實現(xiàn)（包括網(wǎng)頁實現(xiàn)）的計算機軟件的形式。
[0039] 盡管已經(jīng)示出并描述了本發(fā)明的各個方面，但是對本領(lǐng)域的那些技術(shù)人員將明顯 的是，可能做出許多修改而沒有背離本文描述的創(chuàng)造性構(gòu)思。因此，本發(fā)明不被下列權(quán)利要 求的精神之外的內(nèi)容所限制。
【權(quán)利要求】
1. 一種用于調(diào)整向用戶終端傳送實時多媒體會話的虛擬資源的方法，所述方法包括： 基于資源參數(shù)，設置在所述用戶終端的用于傳送所述實時多媒體會話的資源需求； 在所述用戶終端，根據(jù)所設置的資源需求分配資源； 在所述用戶終端，確定所分發(fā)的資源是否足夠用于想要的體驗質(zhì)量；以及 如果所分發(fā)的資源不足，則在所述用戶終端通過從資源管理MRD/資源預置策略RPP數(shù) 據(jù)庫取得資源來調(diào)整資源分配，以保持所述想要的體驗質(zhì)量。
2. 如權(quán)利要求1所述的方法，其中所述資源參數(shù)包括業(yè)務簽名和與所述體驗質(zhì)量有關(guān) 的優(yōu)化準則。
3. 如權(quán)利要求1所述的方法，其中所述調(diào)整包括利用虛擬緩沖區(qū)塊。
4. 如權(quán)利要求3所述的方法，其中所述調(diào)整還包括調(diào)整信息被饋送到所述用戶終端的 緩沖區(qū)的速率。
5. 如權(quán)利要求3所述的方法，其中所述調(diào)整還包括調(diào)整所述多媒體會話的音頻類型。
6. 如權(quán)利要求3所述的方法，其中所述調(diào)整包括延遲向所述用戶終端的文本消息傳 送。
7. -種用于調(diào)整向用戶終端傳送實時多媒體會話的虛擬資源的系統(tǒng)，所述系統(tǒng)包括： 用戶終端，其被配置為： 基于資源參數(shù)，設置用于傳送所述實時多媒體會話的資源需求； 根據(jù)所設置的資源需求分配資源； 確定所分發(fā)的資源是否足夠用于想要的體驗質(zhì)量；以及 如果所分發(fā)的資源不足，則通過從資源管理MRD/資源預置策略RPP數(shù)據(jù)庫取得資源來 調(diào)整資源分配，以保持所述想要的體驗質(zhì)量。
8. 如權(quán)利要求7所述的方法，其中所述資源參數(shù)包括業(yè)務簽名和與所述體驗質(zhì)量有關(guān) 的優(yōu)化準則。
9. 如權(quán)利要求7所述的系統(tǒng)，其中所述用戶終端還配置為利用虛擬緩沖區(qū)塊。
10. 如權(quán)利要求9所述的系統(tǒng)，其中所述用戶終端還配置為調(diào)整信息被饋送到所述用 戶終端的緩沖區(qū)的速率。
11. 如權(quán)利要求9所述的系統(tǒng)，其中所述用戶終端還配置為調(diào)整所述多媒體會話的音 頻類型。
12. 如權(quán)利要求9所述的系統(tǒng)，其中所述用戶終端還配置為延遲向所述用戶終端的文 本消息傳送。
13. -種用于調(diào)整向用戶終端傳送實時多媒體會話的虛擬資源的裝置，所述裝置包 括： 用于基于資源參數(shù)在所述用戶終端設置用于傳送所述實時多媒體會話的資源需求的 工具； 用于在所述用戶終端根據(jù)所設置的資源需求分配資源的工具； 用于在所述用戶終端確定所分發(fā)的資源是否足夠用于想要的體驗質(zhì)量的工具；以及 用于調(diào)整的工具，如果所分發(fā)的資源不足，則所述用于調(diào)整的工具在所述用戶終端通 過從資源管理MRD/資源預置策略RPP數(shù)據(jù)庫取得資源來調(diào)整資源分配以保持所述想要的 體驗質(zhì)量。
14. 如權(quán)利要求13所述的裝置，其中所述資源參數(shù)包括業(yè)務簽名和與所述體驗質(zhì)量有 關(guān)的優(yōu)化準則。
15. 如權(quán)利要求13所述的裝置，其中所述用于調(diào)整的工具包括利用虛擬緩沖區(qū)塊的工 具。
16. 如權(quán)利要求15所述的裝置，其中所述用于調(diào)整的工具包括用于調(diào)整信息被饋送到 所述用戶終端的緩沖區(qū)的速率的工具。
17. 如權(quán)利要求15所述的裝置，其中所述用于調(diào)整的工具包括用于調(diào)整所述多媒體會 話的音頻類型的工具。
18. 如權(quán)利要求15所述的裝置，其中所述用于調(diào)整的工具包括用于延遲向所述用戶終 端的文本消息傳送的工具。
【文檔編號】H04L29/02GK104106246SQ201380007145
【公開日】2014年10月15日 申請日期:2013年1月28日 優(yōu)先權(quán)日:2012年1月31日
【發(fā)明者】布米普·哈斯納比西, 格拉德·M·X·費爾南多 申請人:中興通訊(美國)公司