專利名稱：一種提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法，屬于Web 服務(wù)組合技術(shù)領(lǐng)域。
背景技術(shù)：
近年來，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)上聚集了越來越多的資 源，而且資源的數(shù)目和類型日益增長，從而為基于服務(wù)的網(wǎng)絡(luò)軟件開發(fā) 提供了重要的基礎(chǔ)。同時(shí)，SOAP、 WSDL、 UDDI和BPEL等標(biāo)準(zhǔn)的制定 進(jìn)一步促進(jìn)了 Web服務(wù)技術(shù)及面向服務(wù)的軟件結(jié)構(gòu)SOA的快速發(fā)展，使 得異構(gòu)信息、異構(gòu)平臺(tái)的共享與集成成為可能。在此背景下，基于服務(wù) 的分布式應(yīng)用系統(tǒng)開發(fā)成為一個(gè)重要的方向。
目前，Web服務(wù)技術(shù)得到廣泛接受，存在大量商用、開放源碼及獨(dú) 立開發(fā)的服務(wù)軟件。此外，Google、 Amazon等公司已開始對(duì)外提供商用 Web服務(wù)。Web服務(wù)技術(shù)可以用于解決不同的平臺(tái)/系統(tǒng)之間應(yīng)用的整合 問題，為跨組織邊界的業(yè)務(wù)流程的自動(dòng)化提供技術(shù)基礎(chǔ)，但由于服務(wù)提 供者的分工越來越細(xì)，并且為了保證重用性和可維護(hù)性等， 一般不將復(fù) 雜的業(yè)務(wù)邏輯封裝到單個(gè)的Web服務(wù)中。為了滿足用戶多樣性的需求， 實(shí)現(xiàn)完整的業(yè)務(wù)功能，需要把分布的獨(dú)立Web服務(wù)組合起來，形成增值 服務(wù)。因此，服務(wù)組合技術(shù)成為構(gòu)建網(wǎng)絡(luò)化軟件的一種重要方法。
通常，基于服務(wù)組合的網(wǎng)絡(luò)軟件開發(fā)要按照需求(功能和非功能需 求)集成不同服務(wù)供應(yīng)商提供的軟件服務(wù)實(shí)體。這些服務(wù)實(shí)體位于不同 的管理域，具有異構(gòu)性、自治性和動(dòng)態(tài)性等特點(diǎn)，如服務(wù)運(yùn)行在不同系 統(tǒng)平臺(tái)之上、具有不同的自治策略(如訪問控制、事務(wù)處理策略等)，服 務(wù)的狀態(tài)和性質(zhì)動(dòng)態(tài)變化等等；同時(shí)，網(wǎng)絡(luò)應(yīng)用的多樣性和復(fù)雜性增加， 許多應(yīng)用不僅對(duì)軟件核心功能需求增多，而且對(duì)非功能的需求(如可用 性、可靠性和可信性等)也越來越高。因此，對(duì)服務(wù)組合系統(tǒng)的構(gòu)造、 部署、管理、演化等機(jī)制，都提出了諸多挑戰(zhàn)。
在提高服務(wù)組合系統(tǒng)可用性方面，冗余技術(shù)是經(jīng)常采用的方法。在 服務(wù)器集群技術(shù)中，通過使用備用服務(wù)器或多臺(tái)服務(wù)器的并發(fā)執(zhí)行實(shí)現(xiàn)系統(tǒng)容錯(cuò)，提高服務(wù)器系統(tǒng)的可用性。在傳統(tǒng)的軟件技術(shù)中，也提出了N版本程序設(shè)計(jì)和恢復(fù)塊等技術(shù)。但它們需要專門進(jìn)行設(shè)計(jì)，在很大程度上提高了軟件開發(fā)的成本?；诜?wù)組合的軟件開發(fā)處于開放的互聯(lián)網(wǎng)環(huán)境下，自然存在多個(gè)服務(wù)滿足相同的服務(wù)需求，可以通過發(fā)現(xiàn)相同功能的服務(wù)節(jié)點(diǎn)為每個(gè)活動(dòng)建立備選服務(wù)的隊(duì)列。通過配置冗余服務(wù)(即為完成同一活動(dòng)而選擇的多個(gè)功能相同的Web服務(wù))改進(jìn)服務(wù)組合的可用性。
但是，現(xiàn)有服務(wù)組合系統(tǒng)的可靠性方面仍然存在不足。由于服務(wù)組合中的構(gòu)件服務(wù)處于開放的互聯(lián)網(wǎng)中，具有天然的動(dòng)態(tài)性，具體表現(xiàn)為服務(wù)個(gè)體的動(dòng)態(tài)發(fā)布、失效、刪除、更新，服務(wù)個(gè)體的質(zhì)量屬性動(dòng)態(tài)變
化，服務(wù)之間的協(xié)同關(guān)系的動(dòng)態(tài)演化，以及服務(wù)運(yùn)行環(huán)境動(dòng)態(tài)變化等；因而導(dǎo)致服務(wù)組合的質(zhì)量和可靠性難以保證，并使得初始構(gòu)造的服務(wù)組合可靠性降低甚至不可用。因此，需要一種機(jī)制能動(dòng)態(tài)維護(hù)服務(wù)組合的質(zhì)量和可靠性，保證其維持在一個(gè)相對(duì)較高的水平。
另外一方面，雖然Web服務(wù)相關(guān)研究取得了較大進(jìn)展，但服務(wù)的可
信性等方面的研究還難以滿足應(yīng)用要求?？尚判缘难芯可婕鞍踩浴⑼?br> 整性和可維護(hù)性等等。在Web服務(wù)及SOA的相關(guān)研究中，上述的這些屬性從不同的角度反映了服務(wù)提供所需功能的能力。商業(yè)應(yīng)用要保證服務(wù)能24^7小時(shí)可靠的運(yùn)行，而現(xiàn)有的Web服務(wù)技術(shù)還難以達(dá)到提供商業(yè)應(yīng)用特別是關(guān)鍵任務(wù)所需要的可信性水平。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)所存在的不足，本發(fā)明的目的是提供一種提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法。該方法通過構(gòu)件服務(wù)的可信性變化反饋和自適應(yīng)控制維護(hù)服務(wù)組合的可信性，防止由于構(gòu)件服務(wù)的失效或可信性下降導(dǎo)致服務(wù)組合的可信性降低，從而提高服務(wù)組合的綜合可信性。
為實(shí)現(xiàn)上述的發(fā)明目的，本發(fā)明采用下述的技術(shù)方案
一種提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法，將服務(wù)組合作為被控對(duì)象，服務(wù)保證策略作為相應(yīng)的控制器，由所述服務(wù)組合和所述服務(wù)保
證策略構(gòu)成閉環(huán)反饋控制系統(tǒng)，其特征在于
在所述閉環(huán)反饋控制系統(tǒng)中，將對(duì)服務(wù)組合的可信性的期望值作為給定量，所述給定量輸入所述控制器，獲得所述可信性的調(diào)整量，所述
4調(diào)整量進(jìn)入構(gòu)造器，所述構(gòu)造器的輸出進(jìn)入服務(wù)緩沖池和組合緩沖池；
所述服務(wù)緩沖池和組合緩沖池的信息通過監(jiān)測評(píng)估器后，生成所述
可信性的實(shí)際值；
所述可信性的實(shí)際值與期望值結(jié)合，反饋給所述控制器；服務(wù)注冊庫將所述可信性的變化反饋給所述服務(wù)緩沖池、組合緩沖
池和監(jiān)測評(píng)估器。
其中，所述控制器通過服務(wù)組合可信性維護(hù)的馬爾可夫決策模型實(shí)現(xiàn)。
所述馬爾可夫決策模型中，采用了強(qiáng)化學(xué)習(xí)算法獲得最優(yōu)決策策略；
所述強(qiáng)化學(xué)習(xí)算法中，把狀態(tài)一動(dòng)作對(duì)的獎(jiǎng)賞作為值函數(shù)，首先對(duì)當(dāng)前狀態(tài)^和動(dòng)作fl的所有組合，設(shè)定值函數(shù)的初始估計(jì)為0，然后觀察當(dāng)前狀態(tài)" 一直重復(fù)做在選擇和執(zhí)行動(dòng)作"，接受瞬時(shí)獎(jiǎng)賞。觀察新狀態(tài)S'，按照S —S'更新估計(jì)值；
在強(qiáng)化學(xué)習(xí)過程中，如果執(zhí)行某個(gè)動(dòng)作O后獲得環(huán)境正的獎(jiǎng)賞，則之后增強(qiáng)繼續(xù)應(yīng)用該策略的趨勢，反之則降低這種趨勢；
由此不斷根據(jù)環(huán)境的反饋學(xué)習(xí)出真實(shí)的值函數(shù)，進(jìn)而得到最優(yōu)決策策略。
本發(fā)明通過構(gòu)件服務(wù)的可信性變化反饋和基于強(qiáng)化學(xué)習(xí)的自適應(yīng)控制維護(hù)，提高服務(wù)組合的可信性。通過在馬爾科夫決策過程框架下，根據(jù)構(gòu)件服務(wù)的可信性變化情況，應(yīng)用強(qiáng)化學(xué)習(xí)算法選擇維護(hù)策略，替換失效或性能下降的構(gòu)件服務(wù)，防止了服務(wù)組合的可信性下降。


下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步的說明。圖1為一個(gè)具有自適應(yīng)功能的服務(wù)組合可信性反饋控制系統(tǒng)的基本結(jié)構(gòu)示意圖2為實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)機(jī)制的強(qiáng)化學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)示意圖；圖3為服務(wù)可信性屬性值變化的反饋交互過程示意圖；圖4為新服務(wù)加入的反饋交互過程示意圖。
具體實(shí)施例方式
本發(fā)明是一種提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法。為了實(shí)現(xiàn)對(duì)Web服務(wù)組合系統(tǒng)可信性的自適應(yīng)控制，需要通過在線實(shí)時(shí)了解被控對(duì)象，不斷調(diào)節(jié)控制器，使系統(tǒng)的性能達(dá)到技術(shù)要求或最優(yōu)。因此，自適
5應(yīng)維護(hù)的過程需要滿足以下的要求(1)能在線實(shí)時(shí)的了解被控對(duì)象，(2)具有一個(gè)可調(diào)環(huán)節(jié)，(3)能使服務(wù)組合系統(tǒng)的可信性達(dá)到要求或最優(yōu)。
為了滿足上述的要求，本發(fā)明將服務(wù)組合的可信保證問題當(dāng)作控制問題。其中服務(wù)組合及其可用資源當(dāng)作被控對(duì)象，服務(wù)保證策略當(dāng)作相應(yīng)的控制器，服務(wù)組合和保證策略構(gòu)成一個(gè)閉環(huán)反饋控制系統(tǒng)，利用馬爾可夫決策過程理論來設(shè)計(jì)和優(yōu)化服務(wù)組合的可信性保證策略。
圖1顯示了一個(gè)具有自適應(yīng)功能的服務(wù)組合可信性反饋控制系統(tǒng)的基本結(jié)構(gòu)。其中，該系統(tǒng)包括順序連接的控制器和構(gòu)造器，構(gòu)造器獲得
控制器輸出的閉環(huán)反饋控制的控制量之后，將相應(yīng)的輸出送入服務(wù)緩沖池和組合緩沖池。這兩個(gè)緩沖池的信息通過監(jiān)測評(píng)估器后，生成閉環(huán)反饋控制的反饋量。該反饋量與閉環(huán)反饋控制的給定量結(jié)合并反饋給上述
的控制器。UDDI-E表示一個(gè)擴(kuò)展的、可以支持服務(wù)QoS信息的服務(wù)注冊庫，它包含服務(wù)可用性主動(dòng)監(jiān)控功能，支持QoS信息的描述和主動(dòng)更新，并支持不同策略下服務(wù)的可用性探測。UDDI-E將可信性變化反饋給上述的兩個(gè)緩沖池和監(jiān)測評(píng)估器。
在圖1中，所示的^是該服務(wù)組合系統(tǒng)的閉環(huán)反饋控制的給定量，代表對(duì)服務(wù)組合的&類可信性的期望值；G是該服務(wù)組合系統(tǒng)的閉環(huán)反饋控制的反饋量，代表服務(wù)組合的A類可信性實(shí)際值；A是該服務(wù)組合系統(tǒng)的閉環(huán)反饋控制的控制量，代表服務(wù)組合的々類可信性的調(diào)整量，根據(jù)它來指導(dǎo)替換服務(wù)的選擇和服務(wù)組合的重構(gòu)。
上述服務(wù)組合可信性反饋控制系統(tǒng)可以提供一種基于客戶反饋評(píng)價(jià)的服務(wù)QoS信息監(jiān)測機(jī)制，通過激勵(lì)有效的防治共謀，從而獲得較準(zhǔn)確的QoS信息，支持基于激勵(lì)機(jī)制的QoS客戶評(píng)價(jià)信息監(jiān)測和統(tǒng)計(jì)功能，支持不同策略下(不同的統(tǒng)計(jì)分析頻率、不同的獎(jiǎng)懲激勵(lì)措施等)的服務(wù)評(píng)價(jià)信息的監(jiān)測和統(tǒng)計(jì)功能。
要實(shí)現(xiàn)服務(wù)組合可信性的自適應(yīng)維護(hù)，需要解決的問題如下
(1) 如何確定服務(wù)的可信性；
(2) 如何獲得服務(wù)可信性的變化情況；
(3) 如何確定自適應(yīng)維護(hù)策略；
(4) 如何根據(jù)可信性的變化選擇策略。下面分別對(duì)這四個(gè)問題的解決策略進(jìn)行詳細(xì)的說明。
6(1)如何確定服務(wù)的可信性考慮到實(shí)用和可量測性，本發(fā)明主要用服務(wù)可用度、服務(wù)可靠度和服務(wù)信任度等三個(gè)屬性描述服務(wù)的可信性.
服務(wù)可用度是指服務(wù)在一定條件下、在特定的時(shí)間內(nèi)能夠提供所需要的功能的能力，定義為可以提供服務(wù)的時(shí)間與總的時(shí)間的比率
j 0)=k =_^—— 匸，、
式中夂表示服務(wù)、:的可用度；7;(,)表示測量時(shí)間/內(nèi)該服務(wù)可用的時(shí)間，z;w表示對(duì)該服務(wù)的總測量時(shí)間，z;,(,)表示測量時(shí)間內(nèi)服務(wù)不可用的時(shí)間。
服務(wù)可靠度指服務(wù)在一定條件下，在特定的時(shí)間內(nèi)執(zhí)行所需要的功能的能力。由于Web服務(wù)是按次進(jìn)行調(diào)用的，因此可靠度可以用服務(wù)成功執(zhí)行的比率來衡量，也就是服務(wù)執(zhí)行成功的次數(shù)與總的執(zhí)行次數(shù)的比
率
4層)，+単) (2〕
式中 (/)表示服務(wù)^的可靠度，W、W表示測量時(shí)間/內(nèi)該服務(wù)成功
執(zhí)行的次數(shù)， (,)表示對(duì)該對(duì)服務(wù)的總調(diào)用次數(shù)，W,々)表示測量時(shí)間內(nèi)服務(wù)調(diào)用不成功的次數(shù)。
服務(wù)信任度設(shè)^為服務(wù),、;的消費(fèi)者，t/為服務(wù)安全信息記錄者，約
定當(dāng)sM吏用f/中任意服務(wù)后，這些服務(wù)消費(fèi)者都向/7報(bào)告一個(gè)值，表明該服務(wù)是否從事惡意行為的肯定或者否定值，經(jīng)過一段時(shí)間，如果f/記
錄的關(guān)于的肯定、否定值總數(shù)分別V、 g，稱
"'' 力
0
v >《
>為服
務(wù)^的服務(wù)信任度，其中x是一次對(duì).s;安全調(diào)用的期望值。
(2)如何獲得服務(wù)可信性的變化情況要實(shí)時(shí)在線地了解被控對(duì)象，需要設(shè)計(jì)有效的反饋通路?；谟嘘P(guān)
的研究，反饋回路主要包括兩部分系統(tǒng)自身監(jiān)控和服務(wù)信息中心使用
7從客戶處匯總的信息。系統(tǒng)自身監(jiān)控主要獲取使用中的主服務(wù)的可用不 可用狀態(tài)信息。服務(wù)信息中心綜合客戶的使用信息形成反饋通路，主要 包括三個(gè)層次首先是服務(wù)的可用狀態(tài)、其次是服務(wù)的屬性值變化、再 次是特定功能的新的、高質(zhì)量的服務(wù)的注冊。
特定服務(wù)的其它用戶使用這些服務(wù)時(shí)，如果發(fā)現(xiàn)服務(wù)狀態(tài)發(fā)生變化 后，通知服務(wù)信息管理者服務(wù)失效。服務(wù)信息管理者査詢提供者，確認(rèn) 服務(wù)可用狀態(tài)的變化后，通知訂閱了服務(wù)狀態(tài)信息的服務(wù)組合開發(fā)者， 服務(wù)組合開發(fā)者調(diào)整其構(gòu)造的服務(wù)組合。
服務(wù)提供者注冊服務(wù)的可信性信息，用戶使用這些服務(wù)后報(bào)告服務(wù) 的實(shí)際可信性信息，服務(wù)信息管理者綜合使用者的報(bào)告后，通知訂閱了 服務(wù)信息的用戶綜合結(jié)果，服務(wù)組合開發(fā)者調(diào)整其構(gòu)造的服務(wù)組合。
當(dāng)有新的性能更好或價(jià)格更低的服務(wù)加入時(shí)，原來質(zhì)量最優(yōu)或性價(jià) 比最優(yōu)的服務(wù)組合競爭優(yōu)勢下降。服務(wù)組合開發(fā)者向服務(wù)信息管理者訂 閱特定類別的服務(wù)更新信息，并和特定服務(wù)提供者簽訂服務(wù)更新的合同， 服務(wù)提供者注冊新的高質(zhì)量服務(wù)，服務(wù)信息管理者或特定服務(wù)提供者通 知訂閱了服務(wù)更新信息的使用者，其中的服務(wù)組合開發(fā)者調(diào)整其構(gòu)造的 服務(wù)組合。
(3)如何確定自適應(yīng)維護(hù)策略
在面向服務(wù)的軟件開發(fā)過程中，服務(wù)組合的狀態(tài)和性能受各構(gòu)件服 務(wù)的狀態(tài)和性能影響，由于服務(wù)的分布性和自治性，很難觀察構(gòu)件服務(wù) 節(jié)點(diǎn)所有的歷史行為，也不能夠完全了解這些行為對(duì)服務(wù)組合系統(tǒng)的效 用的影響及其程度。因此，在對(duì)服務(wù)組合可信性的調(diào)整控制中，轉(zhuǎn)移概 率函數(shù)和獎(jiǎng)賞函數(shù)是未知的，無法采用動(dòng)態(tài)規(guī)劃技術(shù)求解最優(yōu)決策策略。 為求解服務(wù)組合系統(tǒng)可信性維護(hù)的馬氏決策問題，本發(fā)明采用了一種強(qiáng) 化學(xué)習(xí)算法來求解。通過強(qiáng)化學(xué)習(xí)算法可以不必計(jì)算及存儲(chǔ)轉(zhuǎn)移概率， 且當(dāng)系統(tǒng)的狀態(tài)空間增加到一定的規(guī)模時(shí)，可以結(jié)合一些近似函數(shù)框架 (如神經(jīng)網(wǎng)絡(luò)等等)估算值函數(shù)，從而用動(dòng)態(tài)規(guī)劃方法求解該問題。
下面對(duì)該強(qiáng)化學(xué)習(xí)算法展開具體的說明。強(qiáng)化學(xué)習(xí)算法根據(jù)環(huán)境狀
態(tài)到動(dòng)作的映射，通過試錯(cuò)(trial-and-error)的方式尋找最優(yōu)行為策略， 使得動(dòng)作獲得累積獎(jiǎng)賞最大。如圖2所示，強(qiáng)化學(xué)習(xí)系統(tǒng)由狀態(tài)監(jiān)控器、 學(xué)習(xí)器、動(dòng)作選擇器和服務(wù)資源及環(huán)境四部分組成，狀態(tài)監(jiān)控器連接動(dòng) 作選擇器，動(dòng)作選擇器直接連接服務(wù)資源及環(huán)境，學(xué)習(xí)器分別與狀態(tài)監(jiān) 控器和動(dòng)作選擇器實(shí)現(xiàn)連接，服務(wù)資源及環(huán)境向?qū)W習(xí)器和狀態(tài)監(jiān)控器提
8供資源。狀態(tài)監(jiān)控器監(jiān)測系統(tǒng)狀態(tài)S;動(dòng)作選擇器根據(jù)當(dāng)前策略選擇動(dòng)作
a執(zhí)行；學(xué)習(xí)器根據(jù)環(huán)境的獎(jiǎng)賞r更新決策者的策略知識(shí)；動(dòng)作a的作用
于環(huán)境使其狀態(tài)變化。
本發(fā)明采用強(qiáng)化學(xué)習(xí)算法去預(yù)測服務(wù)選擇、調(diào)整的最優(yōu)策略。該強(qiáng)
化學(xué)習(xí)算法把狀態(tài)一動(dòng)作對(duì)的獎(jiǎng)賞作為值函數(shù)(Q函數(shù))，然后對(duì)值函數(shù)
進(jìn)行估計(jì)，以求得最優(yōu)策略。其基本形式如下
^(■s, a) = y Z尸(s， s s') + max ',"')) ( 3 )
基于上述的Q函數(shù)，首先對(duì)所有的G，")，設(shè)置Q G， a)的初始
估計(jì)&&") = 0。然后，觀察當(dāng)前狀態(tài)S， 一直重復(fù)做在選擇和執(zhí)行動(dòng)作
"，接受瞬時(shí)獎(jiǎng)賞r;觀察新狀態(tài)s，，按照s—s'更新估計(jì)值
在強(qiáng)化學(xué)習(xí)過程中，如果執(zhí)行某個(gè)動(dòng)作后獲得環(huán)境正的獎(jiǎng)賞，則之 后增強(qiáng)繼續(xù)應(yīng)用該策略的趨勢，反之則降低這種趨勢。強(qiáng)化學(xué)習(xí)的目標(biāo) 是為了學(xué)習(xí)出一個(gè)行為策略，最后獲得長期的、最大的環(huán)境獎(jiǎng)賞，這需 要通過一個(gè)目標(biāo)函數(shù)(值函數(shù))來確定什么樣的動(dòng)作是最優(yōu)動(dòng)作。
這樣，決策者在當(dāng)前狀態(tài)s下的最優(yōu)決策就是選擇使Q G， 最大 化的動(dòng)作a。然后強(qiáng)化學(xué)習(xí)算法不斷根據(jù)環(huán)境的反饋學(xué)習(xí)出真實(shí)的Q函 數(shù)，進(jìn)而得到最優(yōu)決策策略。
(4)如何根據(jù)可信性的變化選擇策略
由于構(gòu)件服務(wù)的可信性的動(dòng)態(tài)變化，如隨負(fù)載、網(wǎng)絡(luò)條件的變化， 構(gòu)件服務(wù)的動(dòng)態(tài)加入退出等都會(huì)影響服務(wù)組合的可靠性、可用性，因此 在設(shè)計(jì)需要預(yù)留一定余量，以保證部分構(gòu)件服務(wù)性能下降時(shí)，仍能最大 程度的滿足用戶的需求。因此本發(fā)明人設(shè)計(jì)可信裕度系數(shù)/*體現(xiàn)對(duì)可信 性的重視程度，以用戶的需求R和服務(wù)組合可信性設(shè)計(jì)對(duì)數(shù)比值
,=1115^￡)為基準(zhǔn)調(diào)整構(gòu)件服務(wù)的選擇?？梢钥闯?，當(dāng)網(wǎng)絡(luò)中構(gòu)件服務(wù)的
可信度下降很少時(shí)，使用較低的裕度系數(shù)可減少服務(wù)組合的構(gòu)造成本； 當(dāng)構(gòu)件服務(wù)的可信度下降明顯時(shí)，調(diào)高裕度系數(shù)能夠增加，減少構(gòu)件服 務(wù)失效或可信性下降可能帶來的損失。裕度系數(shù)的調(diào)整需要綜合考慮服 務(wù)提供者的歷史行為(如可用性和可靠性變化規(guī)律等)，以及流程中構(gòu) 件服務(wù)之間的關(guān)系。因此，如何調(diào)整服務(wù)組合的裕度系數(shù)成為服務(wù)組合 開發(fā)者的重要決策問題。
馬爾可夫決策過程(Markov Decision Process, MDP)是一種廣泛應(yīng)
9用的隨機(jī)決策過程，通常由五元組〈S，A MWIxeS}, 0,『〉表示，其中S 為系統(tǒng)所有可能的狀態(tài)組成的狀態(tài)空間集；^是決策者的決策集合；
MWI^S!是系統(tǒng)狀態(tài)為X時(shí)的決策；2(S|x，O) = 0X,+ieJB|^=x，4="} ， 5、 S
表示在狀態(tài)Aw時(shí)，采用決策4 =。，轉(zhuǎn)移到狀態(tài)《w的概率；『是每次決
策執(zhí)行的代價(jià)。如假設(shè)t時(shí)刻系統(tǒng)狀態(tài)為A>.r"，而此時(shí)的決策為 4=a"W，那么將會(huì)有以下事件發(fā)生系統(tǒng)在轉(zhuǎn)移方程Q的決定下，以代
價(jià)K.,W，轉(zhuǎn)移到《+/狀態(tài)。發(fā)生轉(zhuǎn)移后，系統(tǒng)進(jìn)入新的狀態(tài)，然后選擇
新的決策繼續(xù)循環(huán)決策過程。
基于上述的馬爾可夫決策過程，本發(fā)明建立服務(wù)組合可信性維護(hù)的 馬式?jīng)Q策模型如下
對(duì)某個(gè)時(shí)段，月艮務(wù)組合CS的可信度為"=6^ + >^ + (1-^ —將[O， l]分成A等分，記^[^1,丄)，當(dāng)"E[^1,如時(shí)，稱該時(shí)段服務(wù)組合的可信
狀態(tài)為A。這樣5={&， ...， ^}為服務(wù)組合可信性的狀態(tài)集。通過將[O， l]劃分，可以約減狀態(tài)空間，降低服務(wù)組合可信性維護(hù)決策的復(fù)雜性。
設(shè)^={-1， o， u為系統(tǒng)通過構(gòu)件服務(wù)的動(dòng)態(tài)選擇(替換)實(shí)現(xiàn)對(duì)服
務(wù)組合可信性的裕度系數(shù)的調(diào)整策略集，表示選擇一個(gè)對(duì)任意A/e」，稱 A/為控制器的一個(gè)策略，即系統(tǒng)的策略集為^。
對(duì)一服務(wù)組合CS，設(shè)么v/和vv分別為它在某一時(shí)段的可信度、收入 和服務(wù)調(diào)整花費(fèi)，T7為一個(gè)正數(shù)，表示服務(wù)組合開發(fā)者對(duì)可信性的重視程
度(不同的服務(wù)組合可能有不同的Ti值)，稱v = /7(-ln(l —")) + w-w為該日寸段
服務(wù)組合的效用。當(dāng)服務(wù)組合的可信性越高("值越大)，客戶使用服務(wù)
組合的收入越高(w值越大)或維護(hù)開銷越小(vv值越小)時(shí)，服務(wù)組合
的開發(fā)者對(duì)其使用的構(gòu)件服務(wù)情況越滿意，即rf直越大。其中，收入主要 和服務(wù)訪問次數(shù)和價(jià)格(價(jià)格和服務(wù)可信性有關(guān)，相同條件下服務(wù)可信 性越高，價(jià)格越高)有關(guān)，如果服務(wù)組合的用戶數(shù)目和質(zhì)量價(jià)格保持基
10本穩(wěn)定，則服務(wù)組合的訪問價(jià)格主要與流程長度及可信性相關(guān)，并且服
務(wù)調(diào)整費(fèi)用只與調(diào)整涉及的服務(wù)數(shù)目及流程的長度有關(guān)。
對(duì)一服務(wù)組合CS，設(shè)/時(shí)刻在狀態(tài)s,(即當(dāng)前的服務(wù)組合可信度
de a)下采取策略4調(diào)整可信度的代價(jià)為^m,)， ^w",)4，)/':"，稱
ln(l-^) + v/-w(0為服務(wù)組合獲得的瞬時(shí)獎(jiǎng)賞。
圖3顯示了對(duì)服務(wù)可信性屬性值變化的反饋交互過程。參見圖3所 示，服務(wù)提供者將服務(wù)可信性信息向服務(wù)信息管理器進(jìn)行注冊，服務(wù)使 用者和組合服務(wù)開發(fā)者將服務(wù)使用后可信性信息反饋報(bào)告發(fā)送給服務(wù)信 息管理器，在服務(wù)信息管理器內(nèi)部進(jìn)行服務(wù)可信性信息的計(jì)算，產(chǎn)生必 要的修正信息。然后服務(wù)信息管理器將需要修正的內(nèi)容發(fā)送給服務(wù)提供 者，并通知組合服務(wù)開發(fā)者。組合服務(wù)開發(fā)者將根據(jù)該修正通知進(jìn)行組 合服務(wù)的調(diào)整工作。
圖4顯示了新服務(wù)加入時(shí)的反饋交互過程。首先，組合服務(wù)開發(fā)者 向服務(wù)信息管理器提出特定功能服務(wù)更新通知請求登記，并向服務(wù)提供 者提出服務(wù)更新協(xié)議。服務(wù)提供者也向服務(wù)信息管理器提出特定功能的 新服務(wù)注冊。服務(wù)信息管理器由此向組合服務(wù)開發(fā)者發(fā)出特定功能的新 服務(wù)注冊通知，服務(wù)提供者也向組合服務(wù)開發(fā)者發(fā)出服務(wù)更新通知。在 收到這兩個(gè)通知后，組合服務(wù)開發(fā)者進(jìn)行自身的組合服務(wù)調(diào)整。
以上對(duì)本發(fā)明所述的提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法進(jìn)行了 詳細(xì)的說明。對(duì)本領(lǐng)域的一般技術(shù)人員而言，在不背離本發(fā)明實(shí)質(zhì)精神 的前提下對(duì)它所做的任何顯而易見的改動(dòng)，都將構(gòu)成對(duì)本發(fā)明專利權(quán)的 侵犯，將承擔(dān)相應(yīng)的法律責(zé)任。
權(quán)利要求
1. 一種提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法，將服務(wù)組合作為被控對(duì)象，服務(wù)保證策略作為相應(yīng)的控制器，由所述服務(wù)組合和所述服務(wù)保證策略構(gòu)成閉環(huán)反饋控制系統(tǒng)，其特征在于在所述閉環(huán)反饋控制系統(tǒng)中，將對(duì)服務(wù)組合的可信性的期望值作為給定量，所述給定量輸入所述控制器，獲得所述可信性的調(diào)整量，所述調(diào)整量進(jìn)入構(gòu)造器，所述構(gòu)造器的輸出進(jìn)入服務(wù)緩沖池和組合緩沖池；所述服務(wù)緩沖池和組合緩沖池的信息通過監(jiān)測評(píng)估器后，生成所述可信性的實(shí)際值；所述可信性的實(shí)際值與期望值結(jié)合，反饋給所述控制器；服務(wù)注冊庫將所述可信性的變化反饋給所述服務(wù)緩沖池、組合緩沖池和監(jiān)測評(píng)估器。
2. 如權(quán)利要求1所述的提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法，其 特征在于所述控制器通過服務(wù)組合可信性維護(hù)的馬爾可夫決策模型實(shí)現(xiàn)。
3. 如權(quán)利要求2所述的提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法，其 特征在于所述馬爾可夫決策模型中，采用了強(qiáng)化學(xué)習(xí)算法獲得最優(yōu)決策策略； 所述強(qiáng)化學(xué)習(xí)算法中，把狀態(tài)一動(dòng)作對(duì)的獎(jiǎng)賞作為值函數(shù)，首先對(duì) 當(dāng)前狀態(tài)S和動(dòng)作fl的所有組合，設(shè)定值函數(shù)的初始估計(jì)為0，然后觀察 當(dāng)前狀態(tài)S， 一直重復(fù)做在選擇和執(zhí)行動(dòng)作a，接受瞬時(shí)獎(jiǎng)賞r;觀察 新狀態(tài)S'，按照S—S'更新估計(jì)值；在強(qiáng)化學(xué)習(xí)過程中，如果執(zhí)行某個(gè)動(dòng)作a后獲得環(huán)境正的獎(jiǎng)賞，則之后增強(qiáng)繼續(xù)應(yīng)用該策略的趨勢，反之則降低這種趨勢；由此不斷根據(jù)環(huán)境的反饋學(xué)習(xí)出真實(shí)的值函數(shù)，進(jìn)而得到最優(yōu)決策 策略。
全文摘要
本發(fā)明提供了一種提高服務(wù)組合可信性的自適應(yīng)維護(hù)方法。該方法將服務(wù)組合的可信保證問題當(dāng)作控制問題，服務(wù)組合及其可用資源當(dāng)作被控對(duì)象，服務(wù)保證策略當(dāng)作相應(yīng)的控制器，服務(wù)組合和保證策略構(gòu)成一個(gè)閉環(huán)反饋控制系統(tǒng)，利用馬爾可夫決策過程理論設(shè)計(jì)和優(yōu)化服務(wù)組合可信性質(zhì)保證策略。本發(fā)明通過構(gòu)件服務(wù)的可信性變化反饋和基于強(qiáng)化學(xué)習(xí)的自適應(yīng)控制維護(hù)，提高服務(wù)組合的可信性。通過在馬爾可夫決策過程框架下，根據(jù)構(gòu)件服務(wù)的可信性變化情況，應(yīng)用強(qiáng)化學(xué)習(xí)法選擇維護(hù)策略，替換失效或性能下降的構(gòu)件服務(wù)，防止了服務(wù)組合的可信性下降。
文檔編號(hào)H04L12/24GK101488880SQ20081005634
公開日2009年7月22日 申請日期2008年1月16日 優(yōu)先權(quán)日2008年1月16日
發(fā)明者懷進(jìn)鵬, 晉 曾, 揚(yáng) 李, 杜宗霞, 婷 鄧, 郭慧鵬 申請人:北京航空航天大學(xué)