一種制造系統(tǒng)自適應動態(tài)調度方法
【技術領域】
[0001] 本發(fā)明涉及制造系統(tǒng)生產調度領域，尤其涉及一種制造系統(tǒng)自適應動態(tài)調度方 法。
【背景技術】
[0002] 近年來，高效生產的優(yōu)化調度或不確定和復雜生產環(huán)境下自適應調度是制造系統(tǒng) 有待解決的一個重要問題，面對動態(tài)生產環(huán)境實現自適應的動態(tài)調度具有重要意義。不確 定生產環(huán)境下的自適應生產調度研宄正成為一個活躍的研宄領域。針對動態(tài)調度約束復 雜、多變問題，有學者建立了一種約束聯動調度模型和算法以實現快速的人機交互動態(tài)調 度，并提出一種根據系統(tǒng)當前狀態(tài)動態(tài)選擇最適應規(guī)則的隨機自適應調度策略。亦有研宄 中建立了一種動態(tài)調度系統(tǒng)模型，采用改進的Q學習算法以確定自適應調度策略，能夠根 據生產環(huán)境的變化動態(tài)選擇恰當的調度規(guī)則，以滿足動態(tài)調度的自適應要求。但是，其動態(tài) 調度算法在學習過程中，動作搜索采用固定的參數值貪婪策略，其貪婪參數取值具有一定 的主觀性和盲目性，忽略了學習過程中學習經驗的動態(tài)累積。

【發(fā)明內容】

[0003] 本發(fā)明所要解決的技術問題是針對【背景技術】中所涉及的缺陷，提供一種制造系統(tǒng) 自適應動態(tài)調度方法，用于指導動態(tài)環(huán)境下調度策略的自適應選擇，提高制造企業(yè)的生產 效益和競爭力。
[0004] 本發(fā)明為解決上述技術問題采用以下技術方案：
[0005] 一種制造系統(tǒng)自適應動態(tài)調度方法，包括以下步驟：
[0006] 步驟1)，將最小化提前拖期懲罰作為調度目標，建立制造系統(tǒng)的動態(tài)調度目標函 數；
[0007] 步驟2)，建立制造系統(tǒng)的動態(tài)調度系統(tǒng)模型，所述動態(tài)調度系統(tǒng)模型包含作業(yè) Agent、狀態(tài) Agent、設備 Agent 和緩沖 Agent ;
[0008] 所述作業(yè)Agent用于與人機交互接口對接，對接信息包含作業(yè)的數量、工序及加 工時間；
[0009] 所述狀態(tài)Agent用于代理調度系統(tǒng)的狀態(tài)；
[0010] 所述設備Agent用于代理調度系統(tǒng)的生產設備；
[0011] 所述緩沖Agent表示生產設備的緩沖區(qū)，用于代理緩沖區(qū)中的待加工工序與設備 Agent進行協(xié)商；
[0012] 步驟3)，建立動態(tài)調度系統(tǒng)模型的調度協(xié)商機制；
[0013] 步驟4)，利用順序聚類方法對連續(xù)的調度系統(tǒng)狀態(tài)進行聚類，以降低狀態(tài)空間的 復雜性；
[0014] 步驟5)，將對調度規(guī)則影響較大的設備利用率UM、相對機器負載LK、平均交貨因子 Fa和平均提前拖期損失P A定義為系統(tǒng)狀態(tài)特征，對系統(tǒng)狀態(tài)進行聚類；
[0015] 步驟6)，利用狀態(tài)差異度度量聚類狀態(tài)與瞬時系統(tǒng)狀態(tài)之間的距離，將聚類狀 態(tài)-動作值代替系統(tǒng)狀態(tài)-動作值，以狀態(tài)差異度作為權系數進行Q值函數的迭代更新，所 述Q值函翁佚代審新的公式為，
[0016]
【主權項】
1. 一種制造系統(tǒng)自適應動態(tài)調度方法，其特征在于，包括以下步驟： 步驟1)，將最小化提前拖期懲罰作為調度目標，建立制造系統(tǒng)的動態(tài)調度目標函數； 步驟2)，建立制造系統(tǒng)的動態(tài)調度系統(tǒng)模型，所述動態(tài)調度系統(tǒng)模型包含作業(yè)Agent、 狀態(tài)Agent、設備Agent和緩沖Agent ; 所述作業(yè)Agent用于與人機交互接口對接，對接信息包含作業(yè)的數量、工序及加工時 間； 所述狀態(tài)Agent用于代理調度系統(tǒng)的狀態(tài)； 所述設備Agent用于代理調度系統(tǒng)的生產設備； 所述緩沖Agent表示生產設備的緩沖區(qū)，用于代理緩沖區(qū)中的待加工工序與設備 Agent進行協(xié)商； 步驟3)，建立動態(tài)調度系統(tǒng)模型的調度協(xié)商機制； 步驟4)，利用順序聚類方法對連續(xù)的調度系統(tǒng)狀態(tài)進行聚類，以降低狀態(tài)空間的復雜 性； 步驟5)，將對調度規(guī)則影響較大的設備利用率UM、相對機器負載LK、平均交貨因子FJP 平均提前拖期損失Pa定義為系統(tǒng)狀態(tài)特征，對系統(tǒng)狀態(tài)進行聚類； 步驟6)，利用狀態(tài)差異度度量聚類狀態(tài)與瞬時系統(tǒng)狀態(tài)之間的距離，將聚類狀態(tài)-動 作值代替系統(tǒng)狀態(tài)-動作值，以狀態(tài)差異度作為權系數進行Q值函數的迭代更新，所述Q值 函數迭代更新的公式為： ρ(,(5Λα^^(1-αη(5； ^^·(1-;/ν： (5(ΙΙ)))β, ,(5； ^,.) + α" (5； , α,) · (I - μ (S1,,)) {η,, max[(?(, , (5；,,,/?) + ； ] | ??+1 beA 其中，為第η次循環(huán)生成的狀態(tài)動作對〇Sf ,4)的Q值，η為大于零的整數， t為調度時刻；為步長參數；為系統(tǒng)狀態(tài)St+1與聚類狀態(tài)心的差異度， 該差異度是通過系統(tǒng)狀態(tài)St+1與聚類狀態(tài)的Manhattan距離定量計算出的差異程度； Qp1OSfw)為第n-1次循環(huán)狀態(tài)動作對〇Sf 4,)生成的Q值；rt+1為即時回報因子；γ為延 遲回報的折扣因子；為將來回報：??表示第η-1次循環(huán)時狀態(tài)的最大模糊收 益加權均值，即系統(tǒng)狀態(tài)St+1下所有聚類狀態(tài)的最大收益加權平均和。
2. 根據權利要求1所述的制造系統(tǒng)自適應動態(tài)調度方法，其特征在于，所述步驟1)中 制造系統(tǒng)的動態(tài)調度目標函數為： N OBJ = m\nYj(EPr max {D1 -€：,0}+ TP1- max {C - D,., O |) 其中，OBJ為最小化提前拖期懲罰，EPiS單位提前懲罰系數，TP 單位拖期懲罰系數， Ci為作業(yè)J i的實際完工時間，D i為作業(yè)J i的交貨期，J i表示第i項作業(yè)，N為大于0的自 然數，i為大于等于1且小于等于N的自然數。
3. 根據權利要求1所述的制造系統(tǒng)自適應動態(tài)調度方法，其特征在于，所述步驟3)中 的調度協(xié)商機制為： 步驟3. I)，設備Agent在可用的空閑時段發(fā)出邀標請求，通知緩沖Agent中的工序進行 投標； 步驟3. 2)，緩沖Agent根據數據庫中的信息及參數生成標書，并向設備Agent提交標 書； 步驟3. 3)，設備Agent評價所有收集到的標書，確定中標標書； 步驟3. 4)，設備Agent通知中標工序并等待中標工序返回確認信息；若未返回，重新進 行招投標，否則雙方簽訂合同； 步驟3. 5)，更新設備Agent的可用空閑時段，從緩沖Agent中移除中標工序，通知作業(yè) Agent發(fā)放新的加工工序； 步驟3. 6)，重復步驟3. 1)至步驟3. 5)，直至所有作業(yè)分配完成。
4. 根據權利要求1所述的制造系統(tǒng)自適應動態(tài)調度方法，其特征在于，所述步驟6)中 的rt+1采用啟發(fā)式立即回報函數，其公式如下：
其中，ΣΕ*作業(yè)提前完工懲罰，Σ p為作業(yè)拖期懲罰。
5. 根據權利要求1所述的制造系統(tǒng)自適應動態(tài)調度方法，其特征在于，采用學習算法 來實現調度規(guī)則的自適應選擇和作業(yè)加工的自適應調度，所述學習算法采用基于學習次數 η的動態(tài)貪婪策略：
其中，η為當前學習次數；G為總學習次數；τι為搜索幅值，且滿足0.95 < τι <1;ξ。 為限幅調節(jié)系數，"e (0,（I-n) G)。
【專利摘要】本發(fā)明公開了一種制造系統(tǒng)自適應動態(tài)調度方法，涉及制造系統(tǒng)生產調度領域。本發(fā)明針對制造系統(tǒng)生產環(huán)境的不確定性，構建了一個基于多Agent的動態(tài)生產調度系統(tǒng)。為了保證設備能夠根據當前的系統(tǒng)狀態(tài)選擇合適的中標作業(yè)，提出一種基于聚類-動態(tài)搜索的改進Q學習算法,以指導不確定生產環(huán)境下動態(tài)調度策略的自適應選擇。該動態(tài)調度策略采用順序聚類降低系統(tǒng)狀態(tài)維數，根據狀態(tài)差異度和動態(tài)貪婪搜索策略進行學習。給出了算法的收斂性和復雜性分析，并通過仿真實驗，驗證了本發(fā)明所提出的自適應動態(tài)調度方法的有效性和適應性。
【IPC分類】G05D13-04
【公開號】CN104635772
【申請?zhí)枴緾N201410740511
【發(fā)明人】王玉芳, 宋 瑩, 陳逸菲, 葉小嶺, 楊麗, 薛力紅
【申請人】南京信息工程大學
【公開日】2015年5月20日
【申請日】2014年12月8日