專利名稱：異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法。
背景技術(shù)：
目前，隨著無線網(wǎng)絡(luò)技術(shù)高速發(fā)展，出現(xiàn)了許多新型的無線異構(gòu)網(wǎng)絡(luò)，其融合多種 無線接入技術(shù)，各種無線接入技術(shù)相互補(bǔ)，為多媒體用戶提供隨時(shí)隨地的最優(yōu)接入。如 圖l所示，無線異構(gòu)網(wǎng)絡(luò)的無線接入技術(shù)，如以蜂窩網(wǎng)絡(luò)為代表的無線廣域網(wǎng)，以WiMAX (World Interoperability for Microwave Access,微波存取全球互通)網(wǎng)絡(luò)為代表的 無線城域網(wǎng)，以及以IEEE 802.11 (IEEE制定的一個(gè)無線局域網(wǎng)標(biāo)準(zhǔn))網(wǎng)絡(luò)為代表的無線 局域網(wǎng)等。
提出如下在異構(gòu)網(wǎng)絡(luò)中選擇網(wǎng)絡(luò)的方法
如，在某一時(shí)刻，用戶請(qǐng)求接入網(wǎng)絡(luò)，可以根據(jù)用戶偏好、應(yīng)用類型等確定各個(gè)網(wǎng) 絡(luò)之間的權(quán)重，最終為用戶選擇最優(yōu)網(wǎng)絡(luò)作為接入網(wǎng)絡(luò)；又如，通過一套網(wǎng)絡(luò)選擇和決 策過程為網(wǎng)絡(luò)排序，最終為用戶選擇最優(yōu)網(wǎng)絡(luò)作為接入網(wǎng)絡(luò)，等等方法。 在實(shí)現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題 上述各種異構(gòu)網(wǎng)絡(luò)中網(wǎng)絡(luò)選擇的方法，由于在時(shí)間段內(nèi)，各個(gè)網(wǎng)絡(luò)的狀態(tài)是可能變 化的，而且某一時(shí)刻的各個(gè)網(wǎng)絡(luò)的狀態(tài)變化與上一時(shí)刻各個(gè)網(wǎng)絡(luò)的狀態(tài)有關(guān)，所以，如 果每次有用戶請(qǐng)求接入網(wǎng)絡(luò)的時(shí)刻，都選擇最優(yōu)網(wǎng)絡(luò)作為用戶的接入網(wǎng)絡(luò)，而沒有考慮 在時(shí)間段內(nèi)各個(gè)網(wǎng)絡(luò)的狀態(tài)變化的相關(guān)性，可能會(huì)導(dǎo)致選擇的最優(yōu)網(wǎng)絡(luò)不能實(shí)現(xiàn)為用戶 提供最佳效果，異構(gòu)網(wǎng)絡(luò)的系統(tǒng)能力不佳。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例提供了一種異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，提高系統(tǒng)收益。 一種異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，包括
通過各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻 的接入網(wǎng)絡(luò)；
4通過所述各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，異構(gòu)網(wǎng)絡(luò)獲得最大系統(tǒng)收益，所述決策時(shí)刻為 用戶向各網(wǎng)絡(luò)發(fā)送接入請(qǐng)求或離開請(qǐng)求的時(shí)刻，所述網(wǎng)絡(luò)的狀態(tài)為各網(wǎng)絡(luò)中可能接入的 各類型用戶的個(gè)數(shù)。
由上述本發(fā)明的實(shí)施例提供的技術(shù)方案可以看出，由于考慮在時(shí)間段內(nèi)各個(gè)網(wǎng)絡(luò)的 狀態(tài)變化的相關(guān)性，通過連續(xù)多個(gè)決策時(shí)刻中各決策時(shí)刻各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài) 轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，使得異構(gòu)網(wǎng)絡(luò)在包含所述
連續(xù)多個(gè)決策時(shí)刻的決策期間獲得最大系統(tǒng)收益。


為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的 附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得 其他的附圖。
圖l為現(xiàn)有技術(shù)中異構(gòu)網(wǎng)絡(luò)構(gòu)成示意圖2為本發(fā)明實(shí)施例異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法的流程圖一；
圖3為本發(fā)明實(shí)施例異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法的流程圖二；
圖4為本發(fā)明實(shí)施例異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法的流程圖三。
具體實(shí)施例方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整 地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有 其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
現(xiàn)有的異構(gòu)網(wǎng)絡(luò)中網(wǎng)絡(luò)選擇的方法，沒有考慮在時(shí)間段內(nèi)各個(gè)網(wǎng)絡(luò)的狀態(tài)變化的相 關(guān)性，會(huì)導(dǎo)致選擇的最優(yōu)網(wǎng)絡(luò)不能實(shí)現(xiàn)為用戶提供最佳效果。
本發(fā)明實(shí)施例提供一種異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，通過各網(wǎng)絡(luò)在各狀態(tài)的收益、 狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，以使異構(gòu)網(wǎng)絡(luò)獲得最 大系統(tǒng)收益，所述決策時(shí)刻為用戶向各網(wǎng)絡(luò)發(fā)送接入請(qǐng)求或離開請(qǐng)求的時(shí)刻，所述網(wǎng)絡(luò) 的狀態(tài)為各網(wǎng)絡(luò)中可能接入的各類型用戶的個(gè)數(shù)。
而且，現(xiàn)有的各種異構(gòu)網(wǎng)絡(luò)中網(wǎng)絡(luò)選擇的方法，由于主要考慮網(wǎng)絡(luò)層的QoS(Quality of Service,服務(wù)質(zhì)量)，例如阻塞概率、效用等，來確定用戶請(qǐng)求接入網(wǎng) 絡(luò)時(shí)刻的最優(yōu)網(wǎng)絡(luò)，而都忽略了應(yīng)用層的QoS，使得為用戶選擇的接入網(wǎng)絡(luò)不能為用戶提 供很好的體驗(yàn)效果。
進(jìn)一步地，本發(fā)明實(shí)施例提供的異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，由于從用戶體驗(yàn)的角 度，應(yīng)用層的QoS在目前網(wǎng)絡(luò)中非常有前景，尤其是應(yīng)用層層視頻失真及接入價(jià)格，所 以，通過對(duì)網(wǎng)絡(luò)優(yōu)化應(yīng)用層層視頻失真及接入價(jià)格，獲得最大系統(tǒng)收益，如獲得最優(yōu)視 頻失真和最佳接入價(jià)格的平衡。
具體地，本發(fā)明實(shí)施例提供的異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，考慮在時(shí)間段內(nèi)各個(gè)網(wǎng) 絡(luò)的狀態(tài)變化的相關(guān)性，將網(wǎng)絡(luò)選擇問題以可變狀態(tài)模型(Restless Bandits)以及原 始-雙重(Primal-Dual)啟發(fā)式算法得以解決，極大減小計(jì)算復(fù)雜度。
Restless Bandits可以理解為，在時(shí)間段內(nèi)，^個(gè)對(duì)象中的^個(gè)為活躍對(duì)象，而這
所有^個(gè)對(duì)象的狀態(tài)都可以改變，在某一時(shí)刻，每個(gè)對(duì)象都可能獲得收益。進(jìn)一步，給 出了Restless Bandits的一種啟發(fā)式的Primal-Dual算法，可以稱為Restless Bandits的 索引特性，即在某一時(shí)刻對(duì)象是否為活躍對(duì)象，是根據(jù)其索引值確定的，其索引值是通 過對(duì)象的狀態(tài)、狀態(tài)轉(zhuǎn)移概率和收益等通過線性規(guī)劃松弛計(jì)算得到的，可以極大減小計(jì) 算復(fù)雜度。
如圖2所示，如下，具體介紹本發(fā)明實(shí)施例的一種異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，包
括
步驟10:通過各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè) 決策時(shí)刻的接入網(wǎng)絡(luò)；
步驟20:通過所述各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，異構(gòu)網(wǎng)絡(luò)獲得最大系統(tǒng)收益，所述決 策時(shí)刻為用戶向各網(wǎng)絡(luò)發(fā)送接入請(qǐng)求或離開請(qǐng)求的時(shí)刻，所述網(wǎng)絡(luò)的狀態(tài)為各網(wǎng)絡(luò)中可 能接入的各類型用戶的個(gè)數(shù)。
所述各網(wǎng)絡(luò)在各狀態(tài)的收益為各網(wǎng)絡(luò)應(yīng)用層為用戶提供的服務(wù)質(zhì)量QoS的收益。而 且，所述應(yīng)用層QoS可以包括應(yīng)用層視頻失真及接入價(jià)格。
如圖3所示，進(jìn)一步，通過連續(xù)多個(gè)決策時(shí)刻中各決策時(shí)刻各網(wǎng)絡(luò)在各狀態(tài)的收益、 狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)的步驟IO，包括
步驟101:將各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量進(jìn)行線性規(guī)劃松 弛計(jì)算，得到各網(wǎng)絡(luò)在各狀態(tài)的索引值；
步驟102:根據(jù)所述各網(wǎng)絡(luò)在決策時(shí)刻的狀態(tài)，得到對(duì)應(yīng)的索引值，將所述索引值最
6小的網(wǎng)絡(luò)作為接入網(wǎng)絡(luò)。
這里，可以根據(jù)所述各網(wǎng)絡(luò)應(yīng)用層為用戶提供的服務(wù)質(zhì)量QoS為用戶劃分類型。 上述步驟101中各網(wǎng)絡(luò)在各狀態(tài)的轉(zhuǎn)移概率及狀態(tài)概率向量，可以如下方式獲得 根據(jù)所述各網(wǎng)絡(luò)的所有狀態(tài)得到所述各網(wǎng)絡(luò)的狀態(tài)空間；
根據(jù)所述各網(wǎng)絡(luò)的狀態(tài)空間按照馬爾科夫鏈進(jìn)行狀態(tài)轉(zhuǎn)移，得到所述各網(wǎng)絡(luò)的各狀 態(tài)轉(zhuǎn)移概率；
根據(jù)所述所有網(wǎng)絡(luò)中所有狀態(tài)的概率，得到各網(wǎng)絡(luò)在各狀態(tài)的狀態(tài)概率向量。
值得注意的是，某網(wǎng)絡(luò)在某一狀態(tài)的狀態(tài)概率向量，是根據(jù)所有網(wǎng)絡(luò)中所有狀態(tài)的 概率得到的向量，即由所有網(wǎng)絡(luò)處于第一種可能狀態(tài)的概率、處于第二種可能狀態(tài)的概 率……處于最后一種可能狀態(tài)的概率組成的向量。原因在于，異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方 法，并行對(duì)多個(gè)網(wǎng)絡(luò)進(jìn)行計(jì)算，以為用戶選擇一個(gè)網(wǎng)絡(luò)接入，即在某一時(shí)刻，某網(wǎng)絡(luò)處 于某一狀態(tài)，而其他網(wǎng)絡(luò)可能處于任何可能的狀態(tài)，這樣，需要根據(jù)所有網(wǎng)絡(luò)中所有狀 態(tài)的概率得到各網(wǎng)絡(luò)的狀態(tài)概率向量。
而且，在為用戶選擇網(wǎng)絡(luò)時(shí)，可以根據(jù)各網(wǎng)絡(luò)在決策時(shí)刻的狀態(tài)(即各網(wǎng)絡(luò)在決策 時(shí)刻的狀態(tài)概率)，得到狀態(tài)概率向量，并通過狀態(tài)概率向量得到對(duì)應(yīng)的索引值，將所 述索引值最小的網(wǎng)絡(luò)作為接入網(wǎng)絡(luò)，具體見后文敘述。
另外，進(jìn)一步，還可以通過所述各網(wǎng)絡(luò)的各狀態(tài)轉(zhuǎn)移概率得到各網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移概 率矩陣。
具體而言，所述應(yīng)用層QoS可以包括應(yīng)用層視頻失真及接入價(jià)格，而且，上述步驟 102中各網(wǎng)絡(luò)在各狀態(tài)的收益，可以這樣獲得-
根據(jù)源編碼速率和丟包率，優(yōu)化各網(wǎng)絡(luò)的視頻編碼內(nèi)刷新率； 通過各網(wǎng)絡(luò)的視頻編碼內(nèi)刷新率獲得最小應(yīng)用層視頻失真；
根據(jù)所述最小應(yīng)用層視頻失真及各網(wǎng)絡(luò)的接入價(jià)格，得到所述各網(wǎng)絡(luò)在各狀態(tài)的收
-、^
所述應(yīng)用層視頻失真為發(fā)送視頻與接收解碼視頻之間的均方誤差。 由于各網(wǎng)絡(luò)狀態(tài)的時(shí)變特性， 一般可以采用自適應(yīng)動(dòng)態(tài)調(diào)節(jié)視頻編碼內(nèi)刷新率來得
到最小應(yīng)用層視頻失真，獲得最優(yōu)視頻失真和最佳接入價(jià)格的平衡收益。
在將各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量進(jìn)行線性規(guī)劃松弛計(jì)
算，得到各網(wǎng)絡(luò)在各狀態(tài)的索引值的步驟101之后，可以為所述各網(wǎng)絡(luò)分別存儲(chǔ)各自的索
引值表，所述索引值表，可以包括所述索引值與狀態(tài)轉(zhuǎn)移概率、收益以及狀態(tài)概率向量的對(duì)應(yīng)關(guān)系。
如圖4所示，進(jìn)一步，根據(jù)所述各網(wǎng)絡(luò)在決策時(shí)刻的狀態(tài)，得到對(duì)應(yīng)的索引值，將所 述索引值最小的網(wǎng)絡(luò)作為接入網(wǎng)絡(luò)的步驟102，包括
步驟1021根據(jù)在決策時(shí)刻是否有用戶到達(dá)或離開網(wǎng)絡(luò)，分別確定所述各網(wǎng)絡(luò)在決策 時(shí)刻的狀態(tài)，并通知給其他各網(wǎng)絡(luò)；
步驟1022:根據(jù)所述各網(wǎng)絡(luò)在決策時(shí)刻的狀態(tài)，得到所述各網(wǎng)絡(luò)在決策時(shí)刻的各所 述狀態(tài)概率向量；這是因?yàn)樵谇覂H在決策時(shí)刻，網(wǎng)絡(luò)的狀態(tài)發(fā)生改變。
步驟1023:根據(jù)各所述狀態(tài)概率向量，從所述各網(wǎng)絡(luò)的索引值表中分別確定所述各 網(wǎng)絡(luò)決策時(shí)刻狀態(tài)對(duì)應(yīng)的索引值，并通知給其他各網(wǎng)絡(luò)；
步驟1024:選擇所述索引值最小的網(wǎng)絡(luò)作為下一決策時(shí)刻用戶的接入網(wǎng)絡(luò)。
也就是，在每個(gè)決策時(shí)刻，將索引值最小的那個(gè)網(wǎng)絡(luò)被設(shè)為接入網(wǎng)絡(luò)，其他網(wǎng)絡(luò)為 非接入網(wǎng)絡(luò)。在下一個(gè)決策時(shí)刻，如果有新的用戶到達(dá)，則接入接納此新用戶；如果有 用戶離開網(wǎng)絡(luò)，則只需相應(yīng)的網(wǎng)絡(luò)進(jìn)行用戶離網(wǎng)的相關(guān)操作。
下面說明上述網(wǎng)絡(luò)選擇方法的各步驟中涉及的計(jì)算參數(shù)及模型
簡單地對(duì)使用的符號(hào)進(jìn)行說明
網(wǎng)絡(luò)編號(hào)為"；
網(wǎng)絡(luò)總數(shù)為^;
接入網(wǎng)絡(luò)的編號(hào)為"。； 用戶編號(hào)為"；
源編碼速率為; 網(wǎng)絡(luò)丟包率為^;
內(nèi)刷新率為《；
最優(yōu)內(nèi)刷新率為^ ;
視頻失真為"；
最小視頻失真為"^
動(dòng)作為"，就是在當(dāng)前決策時(shí)刻所做出的網(wǎng)絡(luò)選擇，即選擇一個(gè)接入網(wǎng)絡(luò)； 策略為^，就是多個(gè)決策時(shí)刻的動(dòng)作的集合；
網(wǎng)絡(luò)"在狀態(tài)Z'、動(dòng)作"時(shí)的收益為A ；
網(wǎng)絡(luò)"的接納控制集合為S";網(wǎng)絡(luò)"從狀態(tài)z'到狀態(tài)7'的轉(zhuǎn)移概率為^二 ；
折扣因子為"，為常量系數(shù)； 狀態(tài)概率向量為"；
網(wǎng)絡(luò)"在狀態(tài)z'時(shí)的索引值為《；
決策時(shí)刻為"；
用戶類型編號(hào)為" 用戶類型總數(shù)為Z; 1、狀態(tài)空間
各網(wǎng)絡(luò)的狀態(tài)空間用于表示各網(wǎng)絡(luò)的所有可能的狀態(tài)，而所有可能的狀態(tài)都可以包
含在接納控制集合S"，所以可以參考文獻(xiàn)，Y. Kuo， C. Lu, E. Wu, and G. Chen, "An admission control strategy for differentiated services in IEEE 802.11， ，， in Proc. IEEE Globecom， 03， (San Francisco, CA), pp. 707 - 712， Dec. 2003. (IEEE 802. ll區(qū)分服務(wù)的一種接納控制策略，全球通信大會(huì)論文集，(美國加利福尼亞州舊金 山市)，第707-712頁，2003年12月)。
H. Zhu and I. Chlamtac， "A call admission and rate control scheme for multimedia support over IEEE 802.11 wireless LANs," Wireless. Netw. ， vol. 12， pp. 451 - 463， July 2006. (IEEE 802. ll無線局域網(wǎng)中支持多媒體的一種呼叫接納 和速率控制方法，無線網(wǎng)絡(luò)，第12巻第451-463頁，2006年7月)。
IEEE Std. 802. 16-2004, "IEEE standard for local and metropolitan area networks, part 16: Air interface for fixed broadband wireless access systems," Oct. 2004. (IEEE局域和城域網(wǎng)標(biāo)準(zhǔn)，第16部分固定寬帶無線接入系統(tǒng)的 空中接口， 2004年10月)。
Q. Liu， S. Zhou, and G. B. Giannakis， "Queuing with adaptive modulation and coding over wireless links: Cross-layer analysis and design," IEEE Trans. Wireless Co誦un. ， vol. 4， no. 3， pp. 1142 - 1153， May 2005.(無線鏈路的 自適應(yīng)編碼調(diào)制排隊(duì)跨層分析和設(shè)計(jì)，IEEE無線通信匯刊，第4巻第3期第1142-1153 頁，2005年5月)。
A. I. Elwalid and D. Mitra， "Effective bandwidth of general Markovian traffic sources and admission control of high speed networks, " IEEE/ACM
9Trans. Netw. ， vol. 1， no. 3， pp. 329 - 343， Jun. 1993.(高速網(wǎng)絡(luò)中一般馬爾科夫 流量源和接納控制的有效帶寬，IEEE/ACM網(wǎng)絡(luò)匯刊，第l巻第3期第329-343頁，1993年6 月)。
H. Holma and A. Toskala， WCDMA for UMTS: Radio Access for Third Generation Mobile Communications. NY: Wiley， 2004. (UMTS中的WCDMA:第三代移動(dòng) 通信的無線接入，紐約Wiley出版社，2004年。)
可以得到，無線局域網(wǎng)的接納控制集合為
S =(")e : # (")》T5'(")， W (")《7^ (")}，其中# (")表示對(duì)于網(wǎng)絡(luò)
"中的用戶類型為z的業(yè)務(wù)的吞吐量的約束，"(")^(")表示對(duì)于網(wǎng)絡(luò)"中的用戶類型 為Z的業(yè)務(wù)的時(shí)延的約束。
微波存取全球互通WiMAX網(wǎng)絡(luò)的接納控制集合為
、="(")e《如'(")『'(")S C (")}
L w 」，其中"("是WiMAX網(wǎng)絡(luò)"中用戶類型為Z的用
戶的個(gè)數(shù)，『'(")是網(wǎng)絡(luò)"中用戶類型為Z的用戶所占用的帶寬，e(")是WiMAX的網(wǎng)絡(luò)容 蜂窩網(wǎng)絡(luò)的接納控制集合為
。"^"e《'/^—^ }，其中A 是基站可提供的最大功率，A是基站保證QoS
時(shí)的發(fā)射功率最小值。
2、狀態(tài)轉(zhuǎn)移概率《厶
設(shè)在決策時(shí)刻"，網(wǎng)絡(luò)"中類型為z的用戶數(shù)為V("，4)。定義決策時(shí)刻^時(shí)網(wǎng)絡(luò)"的
狀態(tài)為""'"—("'"]碎'"'4，其中Z為用戶類型的總數(shù)。因此網(wǎng)絡(luò)"的狀態(tài)空間為 接納控制集合S"。網(wǎng)絡(luò)"在動(dòng)作"的作用下按照馬爾科夫鏈進(jìn)行狀態(tài)轉(zhuǎn)移，從狀態(tài) 'V 7 L 'V "Hi'2工'4轉(zhuǎn)移到狀態(tài)八^ L A "帥'2^}的概率是; ''八")。把兩個(gè)決策時(shí)
刻間的時(shí)間間隔的平均值定義為""'=￡(4+1—4—'("'")，也就是總的事件速率的倒數(shù)這樣，可以通過狀態(tài)轉(zhuǎn)移概率P"獲得狀態(tài)轉(zhuǎn)移概率矩陣P'::
把在采用動(dòng)作"時(shí)的網(wǎng)絡(luò)"的狀態(tài)轉(zhuǎn)移概率矩陣定義為尸("X^"(")]，河"、其中
s(")為網(wǎng)絡(luò)"的所有可能狀態(tài)總數(shù)。用7(0， 1《"丄表示第/個(gè)元素為i、其余/-i各元
素為o的共有z個(gè)元素的行向量，則采用動(dòng)作"時(shí)的網(wǎng)絡(luò)"從狀態(tài)z'到狀態(tài)7'的轉(zhuǎn)移概率為
0)=
",h("))"r'， 0，
若 (")^(") + Z(/)， 若、(")=《(")-,(/),
-")(")//V,, 若~ (") = & (")，否則.
其中《G)定義為
"^ = io,否則.
3、應(yīng)用層的視頻失真"
可以通過仿真獲得所述各網(wǎng)絡(luò)的內(nèi)刷新率《(即視頻編碼內(nèi)刷新率)及其對(duì)應(yīng)的視頻 失真"(即應(yīng)用層視頻失真)，進(jìn)而通過最優(yōu)的內(nèi)刷新率^得到最小視頻失真"'；還可 以，通過源編碼速率^s和丟包率^，獲得最優(yōu)的內(nèi)刷新率^ ，進(jìn)而得到最小視頻失真 D*。
視頻失真"也就是發(fā)送視頻與接收解碼視頻之間的均方誤差。
視頻失真"包括兩部分，其一為量化視頻失真(源視頻失真)，由視頻編碼器引 入，只要視頻數(shù)據(jù)速率有限，量化視頻失真就一定存在；另一為信道視頻失真，為信道 差錯(cuò)引入。
源視頻失真由下式給出
Ds (& ，《)=A (A, 0) + "1 -;/+ W) [ A (A, 1) - Ds (//s, O)]
其中A為源編碼速率，《為內(nèi)刷新率，7為由多媒體序列特征決定的常數(shù)。
A(A，fO和A(A，0分別是時(shí)間平均的全內(nèi)/間編碼模式選擇，定義如下
11<formula>formula see original document page 12</formula>
其中《為在時(shí)間段々內(nèi)的間/內(nèi)幀個(gè)數(shù)。
信道視頻失真由下式給出
"c旨〔TT^〕fe〕麵")]
其中^為丟包率，"為編碼濾波器的能量損失率，。2為由多媒體文件內(nèi)容運(yùn)動(dòng)隨機(jī)
性決定的常數(shù)，E[&"，y^)]為幀間差距&^J-0在時(shí)間段上的的平均值。
由上述的源視頻失真和信道視頻失真表達(dá)式可以得到視頻失真^為
"(A，^^ = "S(A'。 + "C(^0。則為了最小化視頻失真，最優(yōu)的內(nèi)刷新率《'為
《* = argminZ)(i/s，y，《)
一般采用自適應(yīng)動(dòng)態(tài)內(nèi)刷新率《來達(dá)到實(shí)時(shí)最小視頻失真"。
4、收益^("):
示例性的，以《")為時(shí)刻^用戶"的收益為例 《(,),5(。) = lg (D(")) - c,(") + c3 ] T,
其中"(")是用戶"的視頻失真，^(")是用戶"需要付的接入價(jià)格，這個(gè)接入價(jià)格是 與為其提供接入服務(wù)的網(wǎng)絡(luò)有關(guān)的，不贅述。A^Q， 6^G和&為常量系數(shù)。通過調(diào)節(jié) A, e2和q可以達(dá)到視頻失真和接入價(jià)格的平衡。
則收益"^")為采用動(dòng)作"后網(wǎng)絡(luò)中所有用戶的《")的總和。
這樣，系統(tǒng)收益，可以
r-1
其中T為所討論的決策時(shí)刻總個(gè)數(shù)。
由上所述，可以知道，由于考慮在時(shí)間段內(nèi)各個(gè)網(wǎng)絡(luò)的狀態(tài)變化的相關(guān)性，通過連 續(xù)多個(gè)決策時(shí)刻中各決策時(shí)刻各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，使得異構(gòu)網(wǎng)絡(luò)在包含所述連續(xù)多個(gè)決策時(shí)刻的決策期 間獲得最大系統(tǒng)收益。
而且，由于從用戶體驗(yàn)的角度，應(yīng)用層的QoS在目前網(wǎng)絡(luò)中非常有前景，所以，根據(jù) 各網(wǎng)絡(luò)應(yīng)用層為用戶提供的服務(wù)質(zhì)量QoS優(yōu)化各網(wǎng)絡(luò)在各狀態(tài)的收益，提高了用戶的體驗(yàn)效果。
下面，參考P. Whittle, "Restless bandits: activity allocation in a changing world, ，， in A Celebration of Applied Probability (J. Gani， ed.)， vol. 25 of J. Appl. Probab., pp. 287 - 298， Applied Probability Trust, 1988.
(狀態(tài)可變的賭博機(jī)變化的世界中的活躍分配，1988年應(yīng)用概率學(xué)學(xué)報(bào)，25巻第287 -298頁)，以及D. Berstimas and 工 Nift o-Mora,"Restless bandits, linear programming relaxations, and a primal-dual index heuristic, ，， Operations Research, vol. 48， no. 1， pp. 80 - 90， 2000.(狀態(tài)可變的賭博機(jī)、線性規(guī)劃、松弛 和原始-雙重索引啟發(fā)式算法，運(yùn)籌學(xué)，48巻第80 - 90頁)。
網(wǎng)絡(luò)選擇方法通過可變狀態(tài)模型(Restless Bandits)得以解決。 為了解決Restless Bandits問題，首先需要基于馬爾科夫決策鏈(Markov Decision Chain, MDC)的線性規(guī)劃(Linear Programming, LP)的建模，給定一系列的越來越緊 的線性規(guī)劃松弛。
首先，引入"")，其定義為如果在決策時(shí)刻^，網(wǎng)絡(luò)的動(dòng)作為"，狀態(tài)為7'，則
C") = i。否則^")"o。有了這個(gè)"h)，令
EC
(乂)=a
a)
表示使用策略^ 、狀態(tài)為J 、動(dòng)作為"時(shí)，總的折扣時(shí)間。用
D ={(/，o):/eS ，aeA }表示狀態(tài)—?jiǎng)幼骺臻g，系統(tǒng)收益可以寫作
Z* = max Z i X (J)
^ C "， (2)
其中《為網(wǎng)絡(luò)"在狀態(tài)^、動(dòng)作"時(shí)的收益。對(duì)于^eJ ，引入性能向量 x(小(;c;(J)) Z*，,《《X'。
V 乂 V八,顛。于是可以重寫式(2) : ，其中
I = {X(")'"eU L可以把式(l)分解為兩個(gè)動(dòng)作
13<formula>formula see original document page 14</formula>
因此RestlessBandits問題可以轉(zhuǎn)換成線性規(guī)劃問題
A" -Ep,L,W}, eS " 頓 ，其中 I、"
解此問題的方法是構(gòu)建一個(gè)多項(xiàng)的I，是線性規(guī)劃的松弛。用^^Z表示這個(gè)松
弛，不是在原始變量^的空間上，而是在更高維的空間上，包含了新的輔助變量。 于是，這個(gè)一階松弛可以表示為一個(gè)線性規(guī)劃-
<formula>formula see original document page 14</formula>
此線性規(guī)劃中，共有G(WS籠卩個(gè)變量和G(^ISmaxl)個(gè)限制條件。其中
|S mav I = max |S I
—i"，^ i為多項(xiàng)式的大小。
式(3)的Dual (雙重)為:
<formula>formula see original document page 14</formula>
表示這個(gè)一階松弛(式(3))和其Dual (式(4))的一對(duì)最優(yōu)Primal
和Dual解(原始-雙重)。令
表示相應(yīng)的最優(yōu)代價(jià)系數(shù):
(5)《和《都必須是非負(fù)的。此外，《和《還分別表示為每個(gè)單位中，式(3)的線性規(guī)
劃的目標(biāo)值< 和^的減小的速率。
由網(wǎng)絡(luò)"，"eN的狀態(tài)轉(zhuǎn)移概率定義一個(gè)有向圖《(S"，4j，其中， 4-K、,厶)lp,L〉0,pL〉0,w"e Sj。根據(jù)式(5)計(jì)算的代價(jià)系數(shù)，網(wǎng)絡(luò)"在狀態(tài)4下
的索引值定義為《=《—《。
優(yōu)先級(jí)-索引值的方法規(guī)則就是將所有網(wǎng)絡(luò)中具有最小索引值的網(wǎng)絡(luò)作為用戶接入的 網(wǎng)絡(luò)。
實(shí)施例一
下面具體結(jié)合圖卜4，詳細(xì)說明本發(fā)明實(shí)施例異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，其中，省 略了異構(gòu)網(wǎng)絡(luò)中的每個(gè)網(wǎng)絡(luò)如何獲得其所有狀態(tài)的索引值表的過程，主要說明決策時(shí)刻
的狀態(tài)下，如何確定每個(gè)網(wǎng)絡(luò)中的接入網(wǎng)絡(luò)
每個(gè)網(wǎng)絡(luò)將其決策時(shí)刻的狀態(tài)Z'"共享給其他的所有網(wǎng)絡(luò)； 每個(gè)網(wǎng)絡(luò)根據(jù)各網(wǎng)絡(luò)的狀態(tài)Z'"得到自己的狀態(tài)概率向量"；
每個(gè)網(wǎng)絡(luò)根據(jù)其狀態(tài)概率向量"査其索引值表，確定對(duì)應(yīng)的索引值《，并共享其索 引值氣給其他的所有網(wǎng)絡(luò)。
每個(gè)網(wǎng)絡(luò)按照從小到大的順序排列所有的索引值《，如果自己的索引值處在第一 位，則將自己設(shè)為接入網(wǎng)絡(luò)，在下一決策時(shí)刻，可以接入用戶；
在下一決策時(shí)刻，希望到達(dá)網(wǎng)絡(luò)或希望離開網(wǎng)絡(luò)的用戶向異構(gòu)網(wǎng)絡(luò)中的每個(gè)網(wǎng)絡(luò)發(fā) 送請(qǐng)求；
如果有用戶希望到達(dá)網(wǎng)絡(luò)，且當(dāng)前接入網(wǎng)絡(luò)"。(通過索引值排序，得到網(wǎng)絡(luò)"。的索
引值最小)按照其接納控制方案s"。，可以接納新用戶時(shí)，則網(wǎng)絡(luò)"。接納新用戶，這時(shí)，
由于有新用戶達(dá)到該網(wǎng)絡(luò)""，網(wǎng)絡(luò)^的狀態(tài)發(fā)生變化，網(wǎng)絡(luò)"。需要更新其狀態(tài)，以為查 找新的對(duì)應(yīng)索引值；
如果有用戶希望到達(dá)網(wǎng)絡(luò)"。，但當(dāng)前接入網(wǎng)絡(luò)""按照其接納控制方案s"。，不能接納
新用戶時(shí)，則新用戶被拒絕接入。如果有用戶希望離開網(wǎng)絡(luò)"。，則進(jìn)行用戶離網(wǎng)操作，由于有用戶離開該網(wǎng)絡(luò)""，更
新網(wǎng)絡(luò)"。的狀態(tài)，以為查找新的對(duì)應(yīng)索引值。
由于考慮在時(shí)間段內(nèi)各個(gè)網(wǎng)絡(luò)的狀態(tài)變化的相關(guān)性，通過連續(xù)多個(gè)決策時(shí)刻中各決 策時(shí)刻各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的 接入網(wǎng)絡(luò)，使得異構(gòu)網(wǎng)絡(luò)在包含所述連續(xù)多個(gè)決策時(shí)刻的決策期間獲得最大系統(tǒng)收益；
而且，由于從用戶體驗(yàn)的角度，應(yīng)用層的QoS在目前網(wǎng)絡(luò)中非常有前景，所以，根據(jù) 各網(wǎng)絡(luò)應(yīng)用層為用戶提供的服務(wù)質(zhì)量QoS優(yōu)化各網(wǎng)絡(luò)在各狀態(tài)的收益，提高了用戶的體驗(yàn) 效果；
還有，考慮在時(shí)間段內(nèi)各個(gè)網(wǎng)絡(luò)的狀態(tài)變化的相關(guān)性，將網(wǎng)絡(luò)選擇問題以可變狀態(tài) 模型(Restless Bandits)以及原始-雙重(Primal-Dual)啟發(fā)式算法得以解決，極大 減小計(jì)算復(fù)雜度；
該異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，在松耦合、緊耦合下都可以適用。
松耦合、緊耦合可以如是理解如圖1所示，在使用松耦合的異構(gòu)網(wǎng)絡(luò)中，來自作為 補(bǔ)充的網(wǎng)絡(luò)的數(shù)據(jù)流直接流向核心IP網(wǎng)，而與蜂窩網(wǎng)之間只有信令交互；在使用緊耦合 的異構(gòu)網(wǎng)絡(luò)中，作為補(bǔ)充的網(wǎng)絡(luò)與蜂窩網(wǎng)直接通信，共享用戶數(shù)據(jù)庫等信息。
以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此， 任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替 換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保 護(hù)范圍為準(zhǔn)。
1權(quán)利要求
1、一種異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，其特征在于，包括通過各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)；通過所述各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，異構(gòu)網(wǎng)絡(luò)獲得最大系統(tǒng)收益，所述決策時(shí)刻為用戶向各網(wǎng)絡(luò)發(fā)送接入請(qǐng)求或離開請(qǐng)求的時(shí)刻，所述網(wǎng)絡(luò)的狀態(tài)為各網(wǎng)絡(luò)中可能接入的各類型用戶的個(gè)數(shù)。
2、 根據(jù)權(quán)利要求l所述的網(wǎng)絡(luò)選擇方法，其特征在于，所述各網(wǎng)絡(luò)在各狀態(tài)的收益 為各網(wǎng)絡(luò)應(yīng)用層為用戶提供的服務(wù)質(zhì)量QoS的收益。
3、 根據(jù)權(quán)利要求l所述的網(wǎng)絡(luò)選擇方法，其特征在于，所述應(yīng)用層QoS包括應(yīng)用層視 頻失真及接入價(jià)格。
4、 根據(jù)權(quán)利要求l所述的網(wǎng)絡(luò)選擇方法，其特征在于，通過各網(wǎng)絡(luò)在各狀態(tài)的收 益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，包括將各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量進(jìn)行線性規(guī)劃松弛計(jì)算，得到各網(wǎng)絡(luò)在各狀態(tài)的索引值；根據(jù)所述各網(wǎng)絡(luò)在決策時(shí)刻的狀態(tài)，得到對(duì)應(yīng)的索引值，將所述索引值最小的網(wǎng)絡(luò) 作為接入網(wǎng)絡(luò)。
5、 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)選擇方法，其特征在于，所述方法，還包括 根據(jù)所述各網(wǎng)絡(luò)應(yīng)用層為用戶提供的QoS為用戶劃分類型； 根據(jù)所述各網(wǎng)絡(luò)的所有狀態(tài)得到所述各網(wǎng)絡(luò)的狀態(tài)空間；根據(jù)所述各網(wǎng)絡(luò)的狀態(tài)空間按照馬爾科夫鏈進(jìn)行狀態(tài)轉(zhuǎn)移，得到所述各網(wǎng)絡(luò)的各狀 態(tài)轉(zhuǎn)移概率；根據(jù)所述所有網(wǎng)絡(luò)中所有狀態(tài)的概率，得到各網(wǎng)絡(luò)在各狀態(tài)的狀態(tài)概率向量。
6、 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)選擇方法，其特征在于，所述方法，還包括根據(jù)源 編碼速率和丟包率，優(yōu)化各網(wǎng)絡(luò)的視頻編碼內(nèi)刷新率；通過各網(wǎng)絡(luò)的視頻編碼內(nèi)刷新率獲得最小應(yīng)用層視頻失真；根據(jù)所述最小應(yīng)用層視頻失真及各網(wǎng)絡(luò)的接入價(jià)格，得到所述各網(wǎng)絡(luò)在各狀態(tài)的收顯。
7、 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)選擇方法，其特征在于，所述方法還包括將各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量進(jìn)行線性規(guī)劃松弛計(jì)算，得到各網(wǎng)絡(luò)在 各狀態(tài)的索引值之后，為所述各網(wǎng)絡(luò)分別存儲(chǔ)各自的索引值表，所述索引值表包括所 述索引值與狀態(tài)轉(zhuǎn)移概率、收益以及狀態(tài)概率向量的對(duì)應(yīng)關(guān)系。
8、 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)選擇方法，其特征在于，根據(jù)所述各網(wǎng)絡(luò)在決策時(shí)刻 的狀態(tài)，得到對(duì)應(yīng)的索引值，將所述索引值最小的網(wǎng)絡(luò)作為接入網(wǎng)絡(luò)，包括根據(jù)在決策時(shí)刻是否有用戶到達(dá)或離開網(wǎng)絡(luò)，分別確定所述各網(wǎng)絡(luò)在決策時(shí)刻的狀 態(tài)，并通知給其他各網(wǎng)絡(luò)；根據(jù)所述各網(wǎng)絡(luò)在決策時(shí)刻的狀態(tài)，得到所述各網(wǎng)絡(luò)在決策時(shí)刻的各所述狀態(tài)概率根據(jù)各所述狀態(tài)概率向量，從所述各網(wǎng)絡(luò)的索引值表中分別確定所述各網(wǎng)絡(luò)決策時(shí) 刻狀態(tài)對(duì)應(yīng)的索引值，并通知給其他各網(wǎng)絡(luò)；選擇所述索引值最小的網(wǎng)絡(luò)作為下一決策時(shí)刻用戶的接入網(wǎng)絡(luò)。
9、 根據(jù)權(quán)利要求3或6所述的網(wǎng)絡(luò)選擇方法，其特征在于，所述應(yīng)用層視頻失真為發(fā) 送視頻與接收解碼視頻之間的均方誤差。
全文摘要
本發(fā)明實(shí)施例提供一種異構(gòu)網(wǎng)絡(luò)中的網(wǎng)絡(luò)選擇方法，包括通過各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)；通過所述各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，異構(gòu)網(wǎng)絡(luò)獲得最大系統(tǒng)收益，所述決策時(shí)刻為用戶向各網(wǎng)絡(luò)發(fā)送接入請(qǐng)求或離開請(qǐng)求的時(shí)刻，所述網(wǎng)絡(luò)的狀態(tài)為各網(wǎng)絡(luò)中可能接入的各類型用戶的個(gè)數(shù)。由于考慮在時(shí)間段內(nèi)各個(gè)網(wǎng)絡(luò)的狀態(tài)變化的相關(guān)性，通過連續(xù)多個(gè)決策時(shí)刻中各決策時(shí)刻各網(wǎng)絡(luò)在各狀態(tài)的收益、狀態(tài)轉(zhuǎn)移概率和狀態(tài)概率向量，確定在各個(gè)決策時(shí)刻的接入網(wǎng)絡(luò)，使得異構(gòu)網(wǎng)絡(luò)在包含所述連續(xù)多個(gè)決策時(shí)刻的決策期間獲得最大系統(tǒng)收益。
文檔編號(hào)H04W28/16GK101562843SQ200910085559
公開日2009年10月21日 申請(qǐng)日期2009年5月25日 優(yōu)先權(quán)日2009年5月25日
發(fā)明者非 于, 司鵬搏, 屹 李, 曦 李, 李希金, 旭 毛, 王成金, 紅 紀(jì) 申請(qǐng)人:北京郵電大學(xué)