專利名稱：無線通信網絡中提高自適應多媒體服務質量的方法
技術領域：
本發(fā)明涉及移動通信技術領域，特別涉及蜂窩無線網絡中的自適應多媒體應用領域，具 體是指一種無線通信網絡中提高自適應多媒體服務質量的方法。
背景技術：
近來，在蜂窩無線網絡中的自適應多媒體業(yè)務已經成為了一個非?；钴S的研究領域。未 來的網絡需要支持自適應多媒體應用，帶寬要能夠動態(tài)的調整從而適應高速變化的無線通信 環(huán)境，無線資源的分配也要靈活從而能夠有效的支持自適應多媒體業(yè)務。例如第三代通用移 動通信系統(tǒng)(3GUMTS)能夠重新配置正在進行的通話的帶寬。在自適應多媒體結構中，帶 寬適應算法(BA)需要和呼叫允許控制(CAC)算法一起使用。CAC決定了一個新的呼叫 是被允許接入還是拒絕，BA指定進行中的呼叫的帶寬。
多媒體技術的應用會給運行商帶來巨大的利益。那么怎么樣能夠使得網絡能夠得到最大 的利益，又能提高用戶的服務質量，這是現(xiàn)在研究的熱點問題?，F(xiàn)在有很多研究是使用折扣 報酬加強學習算法來解決這個問題，請參閱圖1所示，但是折扣報酬加強學習算法需要合適 的折扣因子，由于引入了折扣因子，那么并不能反應一個長期的平均的報酬，但是有時候長 期的報酬才是最優(yōu)的。所以在本方法中使用平均報酬加強學習模型算法來解決這個問題。
對于自適應多媒體應用來說，在自適應多媒體應用中能夠根據要求動態(tài)改變一個多媒體 流的帶寬。比如，^使用分層編碼:技術， 一個原始的^L頻序列能夠^皮壓縮成;f艮多層，例如，有 三層，包含一個基本層，兩個提高層。基本層能夠獨立的解碼提供基本的視頻質量，提高層 的編碼流必須要和基本層合作，但是能夠提供比基本層更好的質量。因此， 一個視頻流被壓 縮為三層就能夠適應三種帶寬。帶寬少的時候只傳遞基本層編碼流，這樣用戶就能看到效果 一般的視頻圖像，帶寬多的時候就連提高層的編碼流一起發(fā)送，那么這個時候用戶就能看到 效果更加好的視頻圖像。這樣就能保證在通信環(huán)境差的條件下用戶最起碼也能夠看到圖像。
而對于自適應蜂窩無線網絡來說，因為無線連接的嚴重波動性，在將來的蜂窩無線網絡 中終端的能力或業(yè)務源能夠適應通信環(huán)境是非常重要的，比如，在UMTS系統(tǒng)中， 一個為呼 叫建立的無線承載在會話過程中能夠動態(tài)的被重新配置。在UMTS中的無線承載信息包含大部分的層二的信息層一的信息，也就是說包括無線鏈路控制，功率控制，擴頻因子，多樣性， 等等。通過重新配置無線承載，在一個會話過程中帶寬能夠被動態(tài)的改變。
而對于提供服務質量的限制，為了提高服務質量，需要考慮兩個重要算法CAC和BA。 在自適應多媒體網絡中提高服務質量的問題就是怎樣定義CAC和BA的策略以達到最大化網 絡的收入并且又能保證服務質量。為了減少網絡信令的，需要假設BA僅僅只有當一個呼叫 到達或是分離時才會被執(zhí)行。也就是說當信道的質量變差導致?lián)砣臅r候是不會使用BA的。 像糾錯編碼和有效包調度之類的低等級的機制被用來處理簡短的無線鏈路的變化。
在將來的蜂窩無線網絡中會使用更小的小區(qū)來增加能力，因此，呼叫過程中切換的次數 會被增加，并且鄰小區(qū)的狀態(tài)會影響本小區(qū)的服務質量。為了適應這種改變業(yè)務模式的改變， 在提高服務質量的時候需要考慮鄰'J、區(qū)的信息狀態(tài)。

發(fā)明內容
本發(fā)明的目的是克服了上述現(xiàn)有技術中的缺點，提供一種能夠動態(tài)適應多種業(yè)務類型和 業(yè)務條件、有效提高網絡服務質量、降低計算復雜度、工作性能穩(wěn)定可靠、適用范圍較為廣 泛的無線通信網絡中提高自適應多媒體服務質量的方法。
為了實現(xiàn)上述的目的，本發(fā)明的無線通信網絡中提高自適應多媒體服務質量的方法如下 該無線通信網絡中提高自適應多媒體服務質量的方法，其主要特點是，所述的方法包括 以下步驟
(1) 確定無線通信網絡中相應小區(qū)的狀態(tài)空間；
(2) 在所述的狀態(tài)空間中確定對應的動作空間；
(3 )在所迷的動作空間中尋找相應的可以執(zhí)行的動作；
(4) 沖艮據所述的動作計算得到相應的動作值；
(5) 從所得到的動作值中找出最大的一個，并以一定的概率執(zhí)行該最大動作值的動作， 以較小的概率進行探索操作；
(6) 如果發(fā)現(xiàn)在某個狀態(tài)執(zhí)行某個動作有更好的效果，則才艮據相應的動作值對系統(tǒng)進行
更新；
(7) 當相應小區(qū)中有下一個事件發(fā)生時，返回上述步驟(l)。
該無線通信網絡中提高自適應多媒體服務質量的方法的確定小區(qū)的狀態(tài)空間為 根據以下公式確定小區(qū)的狀態(tài)空間S:{ATW, KW, 1
s = (xj,): t|>y~ SC;￡|;々 《i^fC,1 Sz、/STV,; ,=i 乂=] _/=i J
其中，s= (x，》e)為狀態(tài)空間中的狀態(tài)，e為在一個隨機的時間里面在該小區(qū)中發(fā)生
的事件；〖為無線通信網絡中的業(yè)務類型數；6i2……，"，……，6^)為第!'種業(yè)務
類型的呼叫使用的帶寬范圍，且^〈Z),n ,其中/=1, 2, ......, W，且M是類型/能使用
的最寬的帶寬；x = (jc ,;c12,…，x"…，x《^)為該小區(qū)中的配置，其中x&表示類型/進行中的
呼叫在該小區(qū)中占有的帶寬~, 1^/5《，C為該小區(qū)所具有的固定的信道容量， ilf為該小區(qū)的鄰小區(qū)數量。
該無線通信網絡中提高自適應多媒體服務質量的方法的動作空間中的動作為
根據以下公式確定動作空間中的動作a:
"=(a。， &， a )，其中a。代表允許決定，即允許a。-l表示允許，"。=0表示拒絕， "a=-l表示沒有動作，arf表示帶寬被降低，其形式為
"r((4,…,《,…0,i化"w^,""〈4;
其中《表示正在進行的使用帶寬為~減少到類型/的呼叫的數目； a"表示帶寬升級，其形式為 .
其中《表示正在進行的使用帶寬為~減少到類型/的呼叫的數目。 該無線通信網絡中提高自適應多媒體服務質量的方法的根據動作計算得到相應的動作值
為
根據動作a使用神經網絡中的增加訓練算法得到相應的動作值及(& a )。 該無線通信網絡中提高自適應多媒體服務質量的方法的探索操作為 以一定的概率執(zhí)行最大的動作值的動作，以小概率執(zhí)行動作值小的動作。 該無線通信網絡中提高自適應多媒體服務質量的方法的對系統(tǒng)進行更新為 將相應的動作值對更新到所述的神經網絡中。
采用了該發(fā)明的無線通信網絡中提高自適應多媒體服務質量的方法，其有益效果如下
(1) 可以在有多種業(yè)務類型時考慮鄰小區(qū)狀態(tài)的信息，4吏得可以動態(tài)的適應業(yè)務條件的
改變；
(2) 不需要知道系統(tǒng)狀態(tài)的轉變概率，而實際中由于不規(guī)則的網絡拓樸，不同的傳播環(huán) 境和隨機的終端能力等原因要評估系統(tǒng)狀態(tài)的轉變概率是非常困難的。從而本發(fā)明的方法的根本假設要比現(xiàn)有技術更為現(xiàn)實；
(3 )通過使用隨機近似方法，從而有效的解決了大狀態(tài)空間和動作空間的問題，由于在 將來的移動多媒體網絡中有很多種類型的業(yè)務并且每個類型的業(yè)務有多種帶寬的等級，在實 際網絡中狀態(tài)空間和動作空間在計算提高服務質量的問題上會非常的大，這會使得本發(fā)明解
決這個問題比現(xiàn)有技術更加容易；
(4 )本發(fā)明的方法能夠在模型中通過計算自適應帶寬的成本來有效的控制調整帶寬的頻 率次數，在不同等級中頻率的切換帶寬會消耗很多資源并且可能會降低通信的質量，本發(fā)明 能夠比先前的設計更加有效的控制調整帶寬的頻率次數；
(5) 同時將切換失敗概率，平級分配到的帶寬和同等級業(yè)務的公平性認為是提高服務質 量問題的限制；
(6) 允許狀態(tài)空間的復雜性和動作空間的復雜性進行有效的交換，在真實的系統(tǒng)中 一個 大的動作空間會阻礙它的發(fā)展，本發(fā)明能夠使得動作空間和狀態(tài)空間的復雜性進行有效的交 換，從而有效的解決了大的動作空間問題。


圖1為現(xiàn)有技術中的折扣報酬加強學習算法模型示意圖。
圖2為本發(fā)明的無線通信網絡中提高自適應多媒體服務質量的方法的模型示意圖。
具體實施例方式
為了能夠更清楚地理解本發(fā)明的技術內容，特舉以下實施例詳細說明。 請參閱圖2所示，該無線通信網絡中提高自適應多媒體服務質量的方法，包括以下步驟 (1 )確定無線通信網絡中相應小區(qū)的狀態(tài)空間S，該確定小區(qū)的狀態(tài)空間S為 才艮據以下公式確定小區(qū)的狀態(tài)空間S:
(atw, 《w, ""l
s = (W)Ux'A《《MC,l^",1 q.《iV,; ,=1戶l ,=1產l 」
其中，s= (jc,》e)為狀態(tài)空間中的狀態(tài)，e為在一個隨機的時間里面在該小區(qū)中發(fā)生 的事件；K為無線通信網絡中的業(yè)務類型數；&i2……，"，……，^,}為第/種業(yè)務 類型的呼叫使用的帶寬范圍，且^〈6力+d,其中；=1, 2, ......, iVi，且M是類型/能使用
的最寬的帶寬；x二(jcu,j^,.,、，…，j^^)為該小區(qū)中的配置，其中A表示類型Z進行中的
呼叫在該小區(qū)中占有的帶寬~, is/sx， ls)s^; c為該小區(qū)所具有的固定的信道容量，
7M為該小區(qū)的鄰小區(qū)數量；
(2 )在所述的狀態(tài)空間中確定對應的動作空間爿，該動作空間^中的動作a為 根據以下公式確定動作空間爿中的動作g:
a= ("a， a& a ),其中"。代表允許決定，即允許^=1表示允許，"。=0表示拒絕， a。=-l表示沒有動作，^表示帶寬被降低，其形式為
<formula>formula see original document page 8</formula>
其中《表示正在進行的使用帶寬為~減少到6, 類型z'的呼叫的數目； 表示帶寬升級，其形式為
<formula>formula see original document page 8</formula>
其中《表示正在進行的使用帶寬為~減少到類型/的呼叫的數目；
(3 )在所述的動作空間中尋找相應的可以執(zhí)行的動作； (4 ) 4艮據所述的動作計算得到相應的動作值i ,該得到相應的動作值及為 根據動作a使用神經網絡中的增加訓練算法得到相應的動作值及"，fl);
(5 )從所得到的動作值中找出最大的一個，并以一定的概率1 _尸 執(zhí)行該最大動作值的 動作，以尸"的概率進行探索操作；該探索操作為
以一定的概率執(zhí)行最大的動作值的動作，以小概率執(zhí)行動作值小的動作；
(6) 如果發(fā)現(xiàn)在某個狀態(tài)執(zhí)行某個動作有更好的效果，則根據相應的動作值對系統(tǒng)進行 更新；該對系統(tǒng)進行更新為
將相應的動作值對更新到所述的神經網絡中；
(7) 當相應小區(qū)中有下一個事件發(fā)生時，返回上述步驟(l)。
在實際使用當中，本發(fā)明的基本思想是提高蜂窩無線網絡中自適應多媒體的服務質量， 并且保證網絡能夠得到最大報酬，這個報酬不僅僅是指短期的報酬，是一個長期的平均報酬。
本發(fā)明的方法是基于聯(lián)合隨機近似的平均報酬加強學習算法，此方法能夠在提高服務質 量的同時最大化網絡的報酬。具體過程如下
某個小區(qū)中配置(包括信道容量、用戶數量、每個業(yè)務占的帶寬等等)、服務質量、以及 有用戶要接入或離開事件這些因素的組合用數學表示為狀態(tài)空間S，允許另外一個用戶接入 還是不允許接入用數學表示為動作空間X,當在某個特定時候的狀態(tài)s,如果允許用戶接入， 必然要對原來的用戶進行帶寬的調整，這就會影響到網絡的報酬和用戶的服務質量，均衡這 些得失之后再決定是允許接入還是不允許接入，這種概率都是不確定的。數學的語言表達如
8下
首先在狀態(tài)s尋找動作空間^中有哪些動作a可以執(zhí)行，然后得到一個動作值及(^，a),這 個動作值的表示可以使用查表的方法，也可以使用神經網絡算法，因為動作空間可能會非常 的大，查表的方法會占有很大的內存，所以在這里選擇使用神經網絡算法。當得到動作值后 以一定的概率來執(zhí)行最大的動作值。又因為不能長時間在一個狀態(tài)執(zhí)行一個動作，這樣有時 候效果并不一定是最好的，所以有必要進行小概率的探索，有可能發(fā)現(xiàn)在某個狀態(tài)執(zhí)行某個 動作有更好的效果。如果有更好的動作值，那么需要將動作值更新到神經網絡或表中。執(zhí)行 動作值后，當有下一個事件發(fā)生的時候，轉狀態(tài)后再重復上面的過程。
本發(fā)明的方法是利用馬爾可夫決策過程來計算，從而提高服務質量。為了利用平均報酬 增強學習模型算法，有必要知道系統(tǒng)狀態(tài)、動作、報酬、以及約束條件等的計算。下面是詳 細的描述以及計算。
(1)系統(tǒng)狀態(tài)
假設目前的網絡中有尺種類型的業(yè)務，類型/的呼叫使用的帶寬范圍為(Z),i, 6,7......，
",......,~,}, ~<6,(/+1)，其中/=1, 2, ......, iV,.,并且iV,是類型z'能使用的最寬的帶寬。
在一個隨機的時間里面在小區(qū)c中發(fā)生了事件e,其中e既不是一個新來的呼叫，切換型的呼 叫或被叫，也不是切換到鄰小區(qū)的呼叫。在這個時候，小區(qū)C存在一個特別的配置JC,這個配 置定義了每一種正在進行的呼叫。x= x12, ......, ......, )，其中x々表示類型
/進行中的呼叫在小區(qū)c中占有的帶寬^， 15/5〖，15ySW,由于鄰小區(qū)的狀態(tài)對應提高 服務質量的問題來說是很重要的，所以在狀態(tài)描述中也要考慮它。假設在小區(qū)c中通過改變 小區(qū)之間的狀態(tài)信息能夠獲得鄰小區(qū)的狀態(tài)，配置和事件一起決定了狀態(tài)。s= (;c，》e)。 假設每個小區(qū)都有固定的信道容量C,并且小區(qū)C有M個鄰小區(qū)。狀態(tài)空間如下
<formula>formula see original document page 9</formula>(2)動作
當一個事件發(fā)生的時候必須根據狀態(tài)選擇一個動作。使用a= (a。， a")來表示動作， 其中a。代表允許決定，也就是說允許(aa=l),拒絕(a。 = 0)，或者沒有動作(a。= - 1), 代表了帶寬被降低了， 代表了帶寬被升級了。 ^的形式為
其中《表示正在進行的使用帶寬為~減少到6, 類型/的呼叫的數目；的形式為<formula>formula see original document page 10</formula>
其中《表示正在進行的使用帶寬為\減少到、類型! 的呼叫的數目。
(3 )報酬
因為在小區(qū)中承栽業(yè)務所以網絡需要獲得確定性報酬。另一方面，調整帶寬需要額外的 信令開銷，這會消耗無線和有線的帶寬以及電池。變化頻率帶寬會消耗很多資源，因此在呼 叫中使用的業(yè)務資源，信令資源之間要有個平衡處理并且通過調整帶寬來處理負荷?？梢允?用一個函數來模擬成本，成本函數的定義依賴于特殊的業(yè)務，用戶終端，真實網絡中的網絡 架構。
是使用帶寬^的f類型呼叫的報酬回報率，C。是一種調整帶寬的成本，iV。 (fl)是所 有調整動作的總和。在狀態(tài)s (動作為")和狀態(tài)s'這兩個成功的決策時刻，實際的累積4艮 酬r(s'， s， a),可以如下計算
<formula>formula see original document page 10</formula>
其中乙,O'， ")是真實的在兩個決策時刻的逗留時間。
在模型中通過計算調整帶寬操作的成本，能夠有效地控制帶寬調整操作的頻率次數。注 意所有的小區(qū)中正在進行的呼叫，包含那些已經降低或是升高了帶寬的呼叫，它們所有的報
酬為<formula>formula see original document page 10</formula>
(4)約束限制
在本發(fā)明的方法中，通常認為有三種約束條件會限制服務質量。由切換失敗導致的呼叫 中斷要比新的呼叫阻塞更加令人討厭，在蜂窩無線網絡中有一個很重要的服務質量限制參數 切換失敗概率。由于完全排除切換失敗是不切實際的，最好的方法能做的就是保持尸w 低于一個目標值。另外，盡管自適應應用能夠容忍帶寬的減少，但是對于一些應用來說能夠 分配到一個平均的帶寬還是比較好的。因此，需要另外一個服務質量的參數來保證一個平均 帶寬。這個參數是J5,，為了保證平均帶寬，這個參數的值要高于一個目標值。最后由于帶 寬的可調整性， 一些呼叫可能得到很高的帶寬，而另外相同等級的一些呼叫只能使用很低的 帶寬，站在用戶的角度來說，這是不合理的。因此提高服務質量的設計還要考慮同等級服務 的公平性。
如前面提到的第一個服務質量約束涉及到切換失敗概率。尸w(")是第"個呼叫到達時測量到的切換失敗率，7T^代表允許的最大的切換失敗概率。那么i^O)的約束條件為
<formula>formula see original document page 11</formula>
這里使用拉格朗日乘子來優(yōu)化這個公式。需要一個新的臨時狀態(tài)，？ = (A^,WMU)，其 中是要求切換的總數，WM切換失敗的總數。t是當前和最后決策時刻之間的時間。s是 最初的狀態(tài)。/>M = iVM /iV&和i"被用來使得狀態(tài)空間有限。拉格朗日乘子用來優(yōu)化報酬
(T， 7， ") =(7， t g)-義z(7,7， a); 其中q,(7，&")是初始報酬函數，z(7,f，a) = &(307"。 (7，7，tf)是與約束相關的成本函數。 初始報酬，新的報酬以及成本函數不是單調的以義增長。要選擇好一個義。
第二個服務質量的約束條件是正常的平均分配給類型/呼叫的帶寬，爿5',爿5'=5'/~， F是代表分配給類型z'呼叫的帶寬。
》A
爿5'必須大于最低值7^W: 2T^5',f-l，2,…，《。 第三個約束條件是同等級的類型呼叫的公平性。
<formula>formula see original document page 11</formula>
其中F"代表兩個各自獨立的類型z'的呼叫的帶寬與平均帶寬之間的差異。為了絕對的公 平，K5'必須一直保持為0,然而在實際中這很難達到，因此保持J^'小于一般目標值7TB'會 更好一些。，2渭'，/ = 1，2,.-.,《。 (5 )探索
每個狀態(tài)動作空間中有很多動作，有時候不一定最大的動作值能夠帶來最好的效果，以 一定的概率執(zhí)行最大的動作值，但是會以小概率執(zhí)行動作值小的動作，這就叫探索。 (6)交換動作空間和狀態(tài)空間的復雜性 在計算中動作空間非常大，算法中需要消耗很多時間來做。交換動作空間和狀態(tài)空間的復雜性可以解決這個問題。可以通過增加狀態(tài)空間的復雜性減少動作空間的復雜性，對于 一 個動作^^,4,…,《,…0有至少『=1+|;|;卜i個組成，在一個給定的狀態(tài)&動作a能夠被『控制的序列打斷，(fl。,4,…,《，…,"^C)然后設置—些非真實的中間狀態(tài)g，0,(i"。，4),…,(^"。，4，…,《,…,^C),最后一個控制內容^^使得進入下一個狀態(tài)。 以這樣的方式，動作空間被簡化為引用了『-l個額外的層『-l個額外的動作值及(y，a"),i g,fl。,4),…^(["。,4,…,《,…,《;C)，除了 i (&"。,《2，…,《，…,"^—')。狀態(tài)空 間的增長能夠通過使用近似函數來處理。另外上面的過程能夠被修正，使得順序服從選擇。 (7)用神經網絡計算動作值怎樣存儲動作一查表的方法是最直接的方法這種方法需要將狀態(tài)和動作成對關系存儲 在存儲器中。如果狀態(tài)和動作這種成對的關系特別多，就要求很大的內存，這種方法會被限制。這里就需要用到近似算法來解決狀態(tài)空間很大的問題。神經網絡是一個有效的方法來表 現(xiàn)動作值。通常的神經網絡架構是多層感知器，它具有一個隱藏的層，在現(xiàn)有技術中有很多算法可 以實現(xiàn)，本發(fā)明的方法使用增加訓練算法。具體請參閱以下文獻D. P. Bertsekas and丄N. Tsitsiklis, A^wro-Z)_y"flw/c 7Vogra附w/wg， Athena Scientific, Belmont, MA， 1996。采用了上述的無線通信網絡中提高自適應多媒體服務質量的方法，其有益效果如下 (1 )可以在有多種業(yè)務類型時考慮鄰小區(qū)狀態(tài)的信息，使得可以動態(tài)的適應業(yè)務條件的改變；(2)不需要知道系統(tǒng)狀態(tài)的轉變概率，而實際中由于不規(guī)則的網絡拓樸，不同的傳播環(huán) 境和隨機的終端能力等原因要評估系統(tǒng)狀態(tài)的轉變概率是非常困難的。從而本發(fā)明的方法的 根本假設要比現(xiàn)有技術更為現(xiàn)實；(3 )通過使用隨機近似方法，從而有效的解決了大狀態(tài)空間和動作空間的問題，由于在 將來的移動多媒體網絡中有很多種類型的業(yè)務并且每個類型的業(yè)務有多種帶寬的等級，在實 際網絡中狀態(tài)空間和動作空間在計算提高服務質量的問題上會非常的大，這會使得本發(fā)明解 決這個問題比現(xiàn)有技術更加容易；(4 )本發(fā)明的方法能夠在模型中通過計算自適應帶寬的成本來有效的控制調整帶寬的頻率次數，在不同等級中頻率的切換帶寬會消耗很多資源并且可能會降低通信的質量，本發(fā)明 能夠比先前的設計更加有效的控制調整帶寬的頻率次數；(5) 同時將切換失敗概率，平級分配到的帶寬和同等級業(yè)務的公平性認為是提高服務質量問題的限制；(6) 允許狀態(tài)空間的復雜性和動作空間的復雜性進行有效的交換，在真實的系統(tǒng)中一個 大的動作空間會阻礙它的發(fā)展，本發(fā)明能夠使得動作空間和狀態(tài)空間的復雜性進行有效的交 換，從而有效的解決了大的動作空間問題。在此說明書中，本發(fā)明已參照其特定的實施例作了描述。但是，很顯然仍可以作出各種 修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應被認為是說明性的而非限 制性的。
權利要求
1、一種無線通信網絡中提高自適應多媒體服務質量的方法，其特征在于，所述的方法包括以下步驟(1)確定無線通信網絡中相應小區(qū)的狀態(tài)空間；(2)在所述的狀態(tài)空間中確定對應的動作空間；(3)在所述的動作空間中尋找相應的可以執(zhí)行的動作；(4)根據所述的動作計算得到相應的動作值；(5)從所得到的動作值中找出最大的一個，并以一定的概率1-Pn執(zhí)行該最大動作值的動作，以Pn的概率進行探索操作；(6)如果發(fā)現(xiàn)在某個狀態(tài)執(zhí)行某個動作有更好的效果，則根據相應的動作值對系統(tǒng)進行更新；(7)當相應小區(qū)中有下一個事件發(fā)生時，返回上述步驟(1)。
2、 根據權利要求1所述的無線通信網絡中提高自適應多媒體服務質量的方法，其特征在 于，所述的確定小區(qū)的狀態(tài)空間為根據以下公式確定小區(qū)的狀態(tài)空間S:{ATiV KJV ，s = (w，e):￡1>,A ^EM,《MC,B/《"W^iV,j; j=l _/=l z=l _y=l J其中，5= (x，》e)為狀態(tài)空間中的狀態(tài)，e為在一個隨機的時間里面在該小區(qū)中發(fā)生 的事件；《為無線通信網絡中的業(yè)務類型數；{6n, 、2......，"，……，6^)為第/種業(yè)務類型的呼叫使用的帶寬范圍，且~<6力.+1),其中/=1, 2， ......， M,且iV,.是類型/能使用的最寬的帶寬；JC-(Xu,J^…，x,),…，x^^)為該小區(qū)中的配置，其中x"表示類型Z進行中的呼叫在該小區(qū)中占有的帶寬~, 15/Si:, 1^/SiV,; C為該小區(qū)所具有的固定的信道容量， M為該小區(qū)的鄰小區(qū)數量。
3、 根據權利要求2所述的無線通信網絡中提高自適應多媒體服務質量的方法，其特征在 于，所述的動作空間中的動作為根據以下公式確定動作空間中的動作a:a= ("a, a ),其中a。代表允許決定，即允許a。-l表示允許，"。=0表示拒絕， l表示沒有動作，w表示帶寬被降低，其形式為<formula>formula see original document page 3</formula>其中《表示正在進行的使用帶寬為~減少到Z>, 類型/的呼叫的數目； " 表示帶寬升級，其形式為<formula>formula see original document page 3</formula>其中《表示正在進行的使用帶寬為~減少到6m類型的呼叫的數目。
4、 根據權利要求3所述的無線通信網絡中提高自適應多媒體服務質量的方法，其特征在 于，所述的才艮據動作計算得到相應的動作值為根據動作fl使用神經網絡中的增加訓練算法得到相應的動作值i (& a)。
5、 根據權利要求1至4中任一項所述的無線通信網絡中提高自適應多媒體服務質量的方 法，其特征在于，所述的探索操作為以 一定的概率執(zhí)行最大的動作值的動作，以小概率執(zhí)行動作值小的動作。
6、 根據權利要求4所述的無線通信網絡中提高自適應多媒體服務質量的方法，其特征在 于，所述的對系統(tǒng)進行更新為將相應的動作值對吏新到所述的神經網絡中。
全文摘要
本發(fā)明涉及一種無線通信網絡中提高自適應多媒體服務質量的方法，包括確定無線通信網絡中小區(qū)的狀態(tài)空間、在狀態(tài)空間中確定對應的動作空間、在動作空間中尋找可以執(zhí)行的動作、根據動作計算得到相應的動作值、從所得到的動作值中找出最大的一個，并以一定的概率執(zhí)行該最大動作值的動作、以較小的概率進行探索操作、如果發(fā)現(xiàn)在某個狀態(tài)執(zhí)行某個動作有更好的效果則根據動作值對系統(tǒng)進行更新、當小區(qū)中有下一個事件發(fā)生時返回重復執(zhí)行。采用該種無線通信網絡中提高自適應多媒體服務質量的方法，能夠動態(tài)地適應多種業(yè)務類型和業(yè)務條件，有效提高了網絡服務質量，大大降低了計算復雜度，而且工作性能穩(wěn)定可靠，適用范圍較為廣泛。
文檔編號H04L12/16GK101316380SQ200710041579
公開日2008年12月3日 申請日期2007年6月1日 優(yōu)先權日2007年6月1日
發(fā)明者非 于, 霞 張, 殷衛(wèi)東, 王和平 申請人:上海摩波彼克半導體有限公司