本發(fā)明涉及自動控制，尤其涉及一種基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制方法。

背景技術(shù)：

1、蒸汽鍋爐是一種利用燃料或其他能源的熱能將水加熱為蒸汽的熱力設(shè)備，是各領(lǐng)域中重要的能源供給設(shè)備。蒸汽鍋爐的應(yīng)用范圍廣泛，主要用于提供蒸汽以滿足各種設(shè)備和系統(tǒng)的需求。如何通過調(diào)整輸入至蒸汽鍋爐的水量、天然氣和/或減溫水等這些輸入?yún)?shù)，實現(xiàn)對鍋爐運行狀態(tài)的調(diào)控，對于鍋爐運行過程中把控成本、節(jié)能降耗起到十分關(guān)鍵的作用。

2、目前，通常是采用pid控制器對鍋爐運行過程中的輸入?yún)?shù)進行調(diào)整。然而，由于蒸汽鍋爐是非線性、動態(tài)變化快以及存在不確定性的系統(tǒng)，因此，采用pid控制器對輸入?yún)?shù)進行調(diào)整的方式，無法實現(xiàn)對蒸汽鍋爐運行狀態(tài)的精確控制，存在鍋爐運行過程的穩(wěn)定差、效率低的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制方法，以實現(xiàn)對蒸汽鍋爐運行狀態(tài)的精確控制，從而提高鍋爐運行過程的穩(wěn)定性、供能效率。

2、第一方面，本發(fā)明實施例提供了一種基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制方法，該方法包括：

3、將目標(biāo)鍋爐在當(dāng)前時刻下所對應(yīng)的蒸汽數(shù)據(jù)輸入至與所述當(dāng)前時刻相對應(yīng)的鍋爐控制模型中，輸出用于調(diào)整所述目標(biāo)鍋爐在下一時刻的鍋爐控制參數(shù)；所述鍋爐控制模型是基于上一時刻的控制參數(shù)權(quán)益屬性和模型評估屬性對上一時刻所對應(yīng)的鍋爐控制模型優(yōu)化后確定的，所述控制參數(shù)權(quán)益屬性和所述模型評估屬性是基于歷史時刻的歷史蒸汽數(shù)據(jù)和預(yù)設(shè)目標(biāo)信息確定的；

4、基于所述鍋爐控制參數(shù)調(diào)整下一時刻所述目標(biāo)鍋爐的設(shè)備參數(shù)，以使所述目標(biāo)鍋爐在下一時刻基于所述鍋爐控制參數(shù)進行工作，并將所述下一時刻作為當(dāng)前時刻。

5、第二方面，本發(fā)明實施例還提供了一種基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制裝置，該裝置包括：

6、控制參數(shù)確定模塊，用于將目標(biāo)鍋爐在當(dāng)前時刻下所對應(yīng)的蒸汽數(shù)據(jù)輸入至與所述當(dāng)前時刻相對應(yīng)的鍋爐控制模型中，輸出用于調(diào)整所述目標(biāo)鍋爐在下一時刻的鍋爐控制參數(shù)；所述鍋爐控制模型是基于上一時刻的控制參數(shù)權(quán)益屬性和模型評估屬性對上一時刻所對應(yīng)的鍋爐控制模型優(yōu)化后確定的，所述控制參數(shù)權(quán)益屬性和所述模型評估屬性是基于歷史時刻的歷史蒸汽數(shù)據(jù)和預(yù)設(shè)目標(biāo)信息確定的；

7、鍋爐控制模塊，用于基于所述鍋爐控制參數(shù)調(diào)整下一時刻所述目標(biāo)鍋爐的設(shè)備參數(shù)，以使所述目標(biāo)鍋爐在下一時刻基于所述鍋爐控制參數(shù)進行工作，并將所述下一時刻作為當(dāng)前時刻。

8、第三方面，本發(fā)明實施例還提供了一種電子設(shè)備，電子設(shè)備包括：

9、一個或多個處理器；

10、存儲裝置，用于存儲一個或多個程序，

11、當(dāng)一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如本發(fā)明實施例任一的基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制方法。

12、第四方面，本發(fā)明實施例還提供了一種包含計算機可執(zhí)行指令的存儲介質(zhì)，計算機可執(zhí)行指令在由計算機處理器執(zhí)行時用于執(zhí)行如本發(fā)明實施例任一的基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制方法。

13、本發(fā)明實施例的技術(shù)方案，通過將目標(biāo)鍋爐在當(dāng)前時刻下所對應(yīng)的蒸汽數(shù)據(jù)輸入至與當(dāng)前時刻相對應(yīng)的鍋爐控制模型中，輸出用于調(diào)整目標(biāo)鍋爐在下一時刻的鍋爐控制參數(shù)，其中，鍋爐控制模型是基于上一時刻的控制參數(shù)權(quán)益屬性和模型評估屬性對上一時刻所對應(yīng)的鍋爐控制模型優(yōu)化后確定的，控制參數(shù)權(quán)益屬性和模型評估屬性是基于歷史時刻的歷史蒸汽數(shù)據(jù)和預(yù)設(shè)目標(biāo)信息確定的，從而，基于鍋爐控制參數(shù)調(diào)整下一時刻目標(biāo)鍋爐的設(shè)備參數(shù)，以使目標(biāo)鍋爐在下一時刻基于鍋爐控制參數(shù)進行工作，并將下一時刻作為當(dāng)前時刻。本發(fā)明的技術(shù)方案，在鍋爐控制模型對目標(biāo)鍋爐進行控制的過程中，鍋爐控制模型通過不斷的實時交互學(xué)習(xí)，逐步優(yōu)化控制策略，適應(yīng)鍋爐的動態(tài)變化和不確定性，提高了鍋爐控制模型的自適應(yīng)能力和魯棒性，實現(xiàn)對了蒸汽鍋爐運行狀態(tài)的精確控制，從而提高了鍋爐運行過程的穩(wěn)定性、供能效率。

技術(shù)特征：

1.一種基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述鍋爐控制模型包括動作價值映射層和動作決策層，所述將目標(biāo)鍋爐在當(dāng)前時刻下所對應(yīng)的蒸汽數(shù)據(jù)輸入至與所述當(dāng)前時刻相對應(yīng)的鍋爐控制模型中，輸出用于調(diào)整所述目標(biāo)鍋爐在下一時刻的鍋爐控制參數(shù)，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)前時刻對應(yīng)的鍋爐控制模型是通過下述方式確定的：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于各所述歷史蒸汽數(shù)據(jù)和相應(yīng)的預(yù)設(shè)目標(biāo)信息之間的誤差信息，確定上一時刻的控制參數(shù)權(quán)益屬性，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述壓力誤差信息包括壓力誤差權(quán)重和壓力差值，所述基于所述歷史蒸汽壓力與預(yù)設(shè)壓力目標(biāo)值，確定壓力誤差信息，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述歷史蒸汽負(fù)荷與預(yù)設(shè)負(fù)荷目標(biāo)值，確定負(fù)荷誤差信息，包括：

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于各所述歷史蒸汽數(shù)據(jù)和相應(yīng)的預(yù)設(shè)目標(biāo)信息之間的誤差信息，確定上一時刻的模型評估屬性，包括：

8.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述鍋爐控制模型中包括至少一個隱藏層，所述基于所述模型評估屬性，對所述上一時刻所對應(yīng)的鍋爐控制模型的模型結(jié)構(gòu)進行優(yōu)化，包括：

9.一種基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制裝置，其特征在于，該裝置包括：

10.一種電子設(shè)備，其特征在于，電子設(shè)備包括：

技術(shù)總結(jié)
本發(fā)明實施例公開了一種基于自適應(yīng)多尺度獎勵深度強化學(xué)習(xí)算法的鍋爐控制方法，該方法包括：將目標(biāo)鍋爐在當(dāng)前時刻下所對應(yīng)的蒸汽數(shù)據(jù)輸入至與當(dāng)前時刻相對應(yīng)的鍋爐控制模型中，輸出用于調(diào)整目標(biāo)鍋爐在下一時刻的鍋爐控制參數(shù)；鍋爐控制模型是基于上一時刻的控制參數(shù)權(quán)益屬性和模型評估屬性對上一時刻所對應(yīng)的鍋爐控制模型優(yōu)化后確定的，控制參數(shù)權(quán)益屬性和模型評估屬性是基于歷史時刻的歷史蒸汽數(shù)據(jù)和預(yù)設(shè)目標(biāo)信息確定的；基于鍋爐控制參數(shù)調(diào)整下一時刻目標(biāo)鍋爐的設(shè)備參數(shù)，以使目標(biāo)鍋爐在下一時刻基于鍋爐控制參數(shù)進行工作。本發(fā)明的技術(shù)方案，實現(xiàn)對了蒸汽鍋爐運行狀態(tài)的精確控制，從而提高了鍋爐運行過程的穩(wěn)定性、供能效率。

技術(shù)研發(fā)人員：王洪帥,周德榮,崔杭榕,李泰,馮熙蕓,汪云峰
受保護的技術(shù)使用者：紅塔煙草（集團）有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/12