本發(fā)明涉及一種基于Q學(xué)習(xí)的戶用微電網(wǎng)能量優(yōu)化方法，屬于微電網(wǎng)能量管理領(lǐng)域。

背景技術(shù)：

分布式發(fā)電具有投資小、發(fā)電方式靈活、損耗低、利于環(huán)保等優(yōu)點(diǎn)，與高峰期電力負(fù)荷集中供電相比，其更加經(jīng)濟(jì)、有效。而戶用微電網(wǎng)則是集成了分布式電源、儲能設(shè)備、負(fù)荷等單元且具備獨(dú)立控制能力的自治網(wǎng)絡(luò)。對戶用微電網(wǎng)進(jìn)行能量管理，可在盡量滿足用戶舒適度的前提下，充分發(fā)揮負(fù)荷的調(diào)峰潛力，引導(dǎo)用戶合理用電，提高戶用微電網(wǎng)的經(jīng)濟(jì)性及電網(wǎng)運(yùn)行效率。同時，隨著國民經(jīng)濟(jì)的快速增長以及人民生活水平的提高，空調(diào)負(fù)荷在用戶負(fù)荷中的比例逐漸上升，在經(jīng)濟(jì)發(fā)達(dá)地區(qū)比例已超過40％。而空調(diào)作為重要負(fù)荷的同時，還具有一定的熱存儲能力，在負(fù)荷調(diào)節(jié)方面具有巨大的潛力。通過合理的空調(diào)負(fù)荷控制手段，不僅可以緩解高峰期電力供需的矛盾，還可以在盡量不影響用戶舒適度的情況下，降低微電網(wǎng)的運(yùn)行成本。如何對空調(diào)進(jìn)行精確的建模，充分發(fā)揮其作為溫控負(fù)荷的需求響應(yīng)性能，同時提高用戶的舒適度，實(shí)現(xiàn)對溫度的精確控制，已成為戶用微電網(wǎng)能量管理研究的重點(diǎn)。

目前國內(nèi)外針對空調(diào)建模與優(yōu)化的研究已有很多，現(xiàn)有的主要模型有基于直接負(fù)荷控制的空調(diào)負(fù)荷雙層優(yōu)化調(diào)度和控制模型、聚合空調(diào)負(fù)荷的雙線性偏微分方程模型、基于分散式空調(diào)負(fù)荷等效熱參數(shù)模型等。然而現(xiàn)有研究普遍存在下列問題：大部分模型均由負(fù)荷聚合商通過控制空調(diào)的啟停實(shí)現(xiàn)對群體空調(diào)的優(yōu)化調(diào)度，但該方法不適用于只能控制空調(diào)設(shè)置溫度的單個居民用戶；僅以空調(diào)設(shè)置溫度為目標(biāo)的研究通常把空調(diào)設(shè)置溫度近似等效為實(shí)際室內(nèi)溫度，忽略了環(huán)境動態(tài)變化對房間溫度的影響；絕大多數(shù)研究對空調(diào)均采用簡化的熱等效參數(shù)模型建模，但缺乏在實(shí)際應(yīng)用時對其中房間參數(shù)以及空調(diào)能效比系數(shù)獲取的詳細(xì)說明。而對戶用型微電網(wǎng)中空調(diào)建模的研究還較少，如何對室內(nèi)空調(diào)進(jìn)行精確的建模，充分發(fā)揮其作為溫控負(fù)荷的需求響應(yīng)性能，同時提高用戶的舒適度，實(shí)現(xiàn)對溫度的精確控制，已成為戶用微電網(wǎng)能量管理研究的重點(diǎn)。

以上三個問題使目前對空調(diào)負(fù)荷制定的能量管理策略過于理想化，若得不到解決會使其不能得到廣泛應(yīng)用。因此，發(fā)明一種基于Q學(xué)習(xí)的戶用微電網(wǎng)能量優(yōu)化方法是一項(xiàng)具有重大研究意義的課題。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種

技術(shù)方案：

一種基于Q學(xué)習(xí)的戶用微電網(wǎng)能量優(yōu)化方法，包括步驟：

步驟(1)：在所述戶用微電網(wǎng)系統(tǒng)中配備光伏發(fā)電系統(tǒng)以及儲能設(shè)備；將所述戶用微電網(wǎng)中負(fù)荷分為可平移負(fù)荷、可削減負(fù)荷和不可控負(fù)荷三類；

步驟(2)：對所述戶用微電網(wǎng)當(dāng)前場景空調(diào)工作時的室內(nèi)外溫度及功率歷史數(shù)據(jù)進(jìn)行實(shí)時采樣，通過遺傳算法對歷史數(shù)據(jù)擬合得到適合當(dāng)前建筑物的熱力學(xué)模型，同時對歷史數(shù)據(jù)進(jìn)行離線訓(xùn)練通過預(yù)學(xué)習(xí)獲得初始Q矩陣；

步驟(3)：根據(jù)步驟(2)得到的空調(diào)熱力學(xué)模型、步驟(1)中儲能設(shè)備的儲能模型以及負(fù)荷的可平移負(fù)荷模型在日前階段由用戶選擇需要的能量管理模式，以用電成本與舒適度為目標(biāo)，以功率平衡約束與交互點(diǎn)功率限制作為約束條件，計(jì)算得出室內(nèi)溫度、儲能的工作指令以及可平移負(fù)荷優(yōu)化結(jié)果；

步驟(4)：Q矩陣根據(jù)室外溫度及房屋內(nèi)部人員、環(huán)境的變化，不停地在線學(xué)習(xí)并實(shí)時更新；根據(jù)步驟(3)下發(fā)可平移負(fù)荷及儲能的工作指令，空調(diào)根據(jù)步驟(3)得到的室內(nèi)溫度優(yōu)化結(jié)果在日內(nèi)階段根據(jù)在線更新的Q矩陣修正后下發(fā)設(shè)置溫度，從而實(shí)現(xiàn)戶用微電網(wǎng)的能量優(yōu)化。

所述步驟(2)得到的熱力學(xué)模型具體如下：

目前空調(diào)所屬建筑物熱力學(xué)模型等效熱參數(shù)模型以制冷時：

其中，T_in，t表示t時刻室內(nèi)溫度，T_out,t表示t時刻室外溫度，Δt為時間間隔，C表示房間的熱容量，R表示房間熱阻，Q_air,t表示t時刻空調(diào)的制熱量，可表示為：

Q_air,t＝COP_air,t·P_air,t

其中，COP_air,t為空調(diào)能效比，即空調(diào)制熱量與功率之間的定量關(guān)系，對定頻空調(diào)，COP_air,t為固定常數(shù)；對變頻空調(diào)，COP_air,t隨空調(diào)壓縮機(jī)頻率變化而變化；

對于定頻空調(diào)，得到目標(biāo)函數(shù)為：

其中，T_in，t表示t時刻室內(nèi)溫度，T_out,t表示t時刻室外溫度，Δt為時間間隔，C表示房間的熱容量，R表示房間熱阻，P_air,t表示空調(diào)功率，歷史數(shù)據(jù)個數(shù)為n；

對于變頻空調(diào)，得到目標(biāo)函數(shù)為：

所述儲能模型包含運(yùn)行成本模型與充放電約束兩個部分；

運(yùn)行成本模型：計(jì)算儲能在t時段的運(yùn)行費(fèi)用為：

其中：P_cmax和P_dmax分別為儲能充電、放電最大功率，均為正值；P_B(t)為t時間段儲能的充放電功率，正值表示放電，負(fù)值表示充電；對能量優(yōu)化而言，在一個調(diào)度周期內(nèi)認(rèn)為設(shè)備的功率為常數(shù)，功率值取其在該周期內(nèi)的平均功率；

充放電約束：

其中，SOC_max和SOC_min分別為儲能單元荷電狀態(tài)上、下限值；ΔSOC_max(t)和ΔSOC_min(t)分別為t時間段儲能單元荷電狀態(tài)變化量上下限值；P_cmax和P_dmax分別為儲能充電、放電最大功率，均為正值；P_B(t)為t時間段儲能的充放電功率，正值表示放電，負(fù)值表示充電。

所述可平移負(fù)荷模型為：

可平移負(fù)荷i的實(shí)際工作功率P_sli(t)為：

P_sli(t)＝x_sli(t)P_Nsli

其中，P_Nsli表示可平移負(fù)荷i的額定功率，x_sli(t)表示可平移負(fù)荷i的工作狀態(tài)，其值為1表示可平移負(fù)荷運(yùn)行，為0表示可平移負(fù)荷停運(yùn)；

可平移負(fù)荷需要滿足約束條件：

其中，T_istart、T_ifinish、T_sli分別表示可平移負(fù)荷i的最早啟動時間、最遲停止時間和連續(xù)運(yùn)行時長，該約束表示可平移負(fù)荷工作時長滿足要求并且工作不可中斷。

所述優(yōu)化目標(biāo)具體為：

其中，F(xiàn)表示系統(tǒng)全天用電成本；N為一天劃分時間段數(shù)；Fss(t)為t時間段的購售電費(fèi)用；α、β分別為用電成本與用戶舒適度的權(quán)重系數(shù)；

所述購售電費(fèi)用為微電網(wǎng)與上級電網(wǎng)進(jìn)行功率交互時產(chǎn)生的費(fèi)用或收益：

F_SS(t)＝c(t)P_cc(t)Δt

其中，P_CC(t)為t時間段聯(lián)絡(luò)線功率，正值表示從電網(wǎng)購電，負(fù)值表示向電網(wǎng)售電；Δt為一個調(diào)度周期的時長；c(t)、sell_price(t)、buy_price(t)分別為t時間段購售電價、售電價格、購電價格。

所述用戶選擇需要的能量管理模式包括用電成本優(yōu)化模式、用戶舒適度優(yōu)化模式和綜合優(yōu)化模式；由用戶根據(jù)自身需求選擇對應(yīng)的能量管理模式，確定優(yōu)化目標(biāo)中用電成本與用戶舒適度的比重，得出適應(yīng)不同用戶需求的戶用微電網(wǎng)日前計(jì)劃。

所述Q學(xué)習(xí)算法具體為：

假設(shè)狀態(tài)集和動作集分別劃分為M和N個離散區(qū)間，則將每個狀態(tài)—動作對的評價值Q(s,a)建立為一個M*N階的Q矩陣，其公式如下：

式中，α為學(xué)習(xí)率，a'為在狀態(tài)s下可執(zhí)行的所有動作；Q(s,a)的值是從狀態(tài)s執(zhí)行動作a后獲得的累計(jì)回報值；

在每個時刻t，根據(jù)環(huán)境狀態(tài)s選擇對應(yīng)Q值最大的動作a，并觀察瞬時獎賞r和新狀態(tài)s’，并更新Q值，其基本形式：

式中，s為當(dāng)前狀態(tài)，s'為下一時刻環(huán)境狀態(tài)，Q^*(s,a)表示在狀態(tài)s下執(zhí)行動作a獲得的回報總和，P(s,a,s')為執(zhí)行動作a后狀態(tài)從s轉(zhuǎn)換到s’的概率，R(s,s',a)為從s狀態(tài)選擇動作a后轉(zhuǎn)換到s’后獲得的獎勵，γ為折扣因子，S為環(huán)境狀態(tài)集，A為控制器動作集；

采用室內(nèi)溫度與目標(biāo)溫度T_goal的偏差ΔT作為Q學(xué)習(xí)輸入的環(huán)境狀態(tài)變量，其中T_goal根據(jù)日前能量管理優(yōu)化得出；將室內(nèi)溫度偏差ΔT劃分為一系列離散區(qū)間{ΔT₁,ΔT₂,…ΔT_m}，對應(yīng)環(huán)境狀態(tài)集；將室內(nèi)溫度的控制目標(biāo)設(shè)置為T_goal±0.5℃，將狀態(tài)集ΔT設(shè)定為：{(-∞,-3],(-3,-2],(-2,-1],(-1,0.5],(-0.5,0],(0,0.5],(0.5,1]，(1,2],(2,3],(3,+∞)}；

獎勵函數(shù)定義為：

當(dāng)室內(nèi)溫度偏差|ΔT|＞0.5℃時，根據(jù)不同偏差大小，學(xué)習(xí)將獲得不同程度的懲罰，偏差越大，受到的懲罰越大，則經(jīng)過迭代后獲得的Q值越小，此后選擇此動作的概率越小。

有益效果：本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

本發(fā)明針對空調(diào)能效比系數(shù)、房間固定參數(shù)不易獲取的問題，通過歷史數(shù)據(jù)用遺傳算法擬合得到當(dāng)前場景的房間熱阻、熱容量，空調(diào)能效比系數(shù)等參數(shù)，建立更為準(zhǔn)確的空調(diào)熱力學(xué)模型，提高對空調(diào)功率預(yù)測的準(zhǔn)確性。

本發(fā)明針對室內(nèi)人員活動、其他冷熱型負(fù)荷影響等動態(tài)變化的問題，考慮環(huán)境變化對空調(diào)工作的影響，在日內(nèi)階段通過Q學(xué)習(xí)在線修正空調(diào)的設(shè)置溫度，可以適應(yīng)應(yīng)用過程中當(dāng)前場景環(huán)境的動態(tài)變化，進(jìn)一步提高能量管理的準(zhǔn)確性。

本發(fā)明考慮戶用微電網(wǎng)中用戶不同的需求，由用戶選擇能量管理模式，確定優(yōu)化目標(biāo)中用電成本與用戶舒適度的比重，可以得出適應(yīng)不同用戶需求的戶用微電網(wǎng)日前計(jì)劃，實(shí)現(xiàn)對戶用微電網(wǎng)的個性化管理。

本發(fā)明所提策略可以實(shí)現(xiàn)對空調(diào)溫度的精準(zhǔn)調(diào)節(jié)，提高戶用微電網(wǎng)調(diào)度的精確性，同時可以適應(yīng)不同的應(yīng)用場合以及不同用戶的需求，促進(jìn)戶用微電網(wǎng)能量管理的普遍應(yīng)用。

附圖說明

圖1為戶用微電網(wǎng)結(jié)構(gòu)圖；

圖2為戶用微電網(wǎng)能量管理策略圖；

圖3為基于Q學(xué)習(xí)的戶用微電網(wǎng)能量優(yōu)化流程圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明作更進(jìn)一步的說明。

(1)建立戶用微電網(wǎng)中各單元模型

典型戶用微電網(wǎng)由光伏電池、儲能系統(tǒng)、各類家用負(fù)荷構(gòu)成，電壓等級為單相交流220V，其結(jié)構(gòu)示意圖如圖1所示。

1)光伏發(fā)電系統(tǒng)

用戶配備小型光伏電池可充分利用太陽能資源，改變用戶單向從電網(wǎng)購電的被動用電方式，并將多余的電能反饋給電網(wǎng)。隨著新能源的發(fā)展，各類小型光伏電池已開始在居民中得到應(yīng)用，如由透明導(dǎo)電玻璃及染料和電解質(zhì)構(gòu)成的染料敏化電池，將其用作窗戶玻璃，既透光又可當(dāng)電池用。

2)戶用負(fù)荷

戶用微電網(wǎng)系統(tǒng)中負(fù)荷主要是家用負(fù)荷，如空調(diào)、洗衣機(jī)、電磁爐等。用戶在使用各類負(fù)荷電器時有一定的習(xí)慣，根據(jù)用戶與系統(tǒng)運(yùn)行互動意愿的程度與負(fù)荷用電特性，將家用負(fù)荷分為可平移負(fù)荷、可削減負(fù)荷(空調(diào))和不可控負(fù)荷三類。

不可控負(fù)荷是指：用電特征為剛性，由用戶設(shè)定負(fù)荷的工作計(jì)劃，不參與系統(tǒng)的互動的負(fù)荷；如照明、電磁爐等。可平移負(fù)荷是指：日用電量一定，用電曲線可在一天內(nèi)平移，但不可中斷的負(fù)荷；如洗衣機(jī)、消毒柜等。

3)小型儲能系統(tǒng)

儲能單元對保證戶用微電網(wǎng)的供電連續(xù)性、平抑間歇性電源出力波動和對負(fù)荷曲線削峰填谷具有至關(guān)重要的作用。為戶用微電網(wǎng)配備儲能設(shè)備，可使系統(tǒng)在并網(wǎng)時通過儲能削峰填谷，提高系統(tǒng)的經(jīng)濟(jì)性；在孤島時為負(fù)荷供電，維持系統(tǒng)穩(wěn)定運(yùn)行。戶用微電網(wǎng)可選用壽命長、無污染的磷酸鐵鋰電池。

(2)對戶用微電網(wǎng)當(dāng)前場景空調(diào)工作時的溫度、功率等歷史數(shù)據(jù)進(jìn)行實(shí)時采樣，從而擬合得到適合當(dāng)前建筑物的熱力學(xué)模型，同時獲得初始Q矩陣。

(3)根據(jù)空調(diào)熱力學(xué)模型、儲能模型以及可平移負(fù)荷模型，在日前階段由用戶選擇需要的能量管理模式，以用電成本與舒適度為目標(biāo)，給出可平移負(fù)荷、儲能的工作指令以及室內(nèi)溫度優(yōu)化結(jié)果。

(4)直接下發(fā)可平移負(fù)荷、儲能的工作指令，空調(diào)設(shè)置溫度則在日內(nèi)階段根據(jù)在線更新的Q矩陣修正后下發(fā)，從而實(shí)現(xiàn)戶用微電網(wǎng)的能量優(yōu)化。

微電網(wǎng)能量優(yōu)化主要有多時間尺度、基于模型預(yù)測控制的滾動優(yōu)化、魯棒優(yōu)化等幾種基本形式，與常規(guī)微電網(wǎng)相比，戶用微電網(wǎng)系統(tǒng)規(guī)模小，能量管理策略不宜過于復(fù)雜。但戶用微電網(wǎng)能量管理直接面向居民用戶，需要充分考慮用戶接受能量管理的意愿，對用戶用電行為進(jìn)行精細(xì)化分析，以免給用戶帶來不適。

因此本發(fā)明對戶用微電網(wǎng)中各類負(fù)荷及儲能建立精細(xì)化模型，以用電成本與用戶舒適度為目標(biāo)，采用日前計(jì)劃結(jié)合室內(nèi)修正的方式，提出了計(jì)及空調(diào)模型自適應(yīng)修正的戶用微電網(wǎng)能量優(yōu)化策略，考慮到能量管理的準(zhǔn)確性以及可能給用戶帶來的不適應(yīng)性，優(yōu)化的最小時間尺度選為15min，整體框架如圖2所示，根據(jù)系統(tǒng)狀態(tài)以及預(yù)測信息得到模型基本參數(shù)，建立儲能模型、購售電模型和各類負(fù)荷模型，其中空調(diào)負(fù)荷作為重點(diǎn)對象，通過參數(shù)擬合的方式建立更為準(zhǔn)確的熱力學(xué)模型。以最小用電成本為目標(biāo)，經(jīng)過日前優(yōu)化給出儲能充放電計(jì)劃、可平移負(fù)荷用電計(jì)劃和空調(diào)的優(yōu)化溫度。儲能充放電計(jì)劃、可平移負(fù)荷用電計(jì)劃直接下發(fā)，空調(diào)設(shè)定溫度根據(jù)環(huán)境動態(tài)變化通過空調(diào)自適應(yīng)模型進(jìn)行在線修正再下發(fā)。圖3為計(jì)及空調(diào)模型自適應(yīng)的戶用微電網(wǎng)能量優(yōu)化流程圖，具體步驟如下：

(1)對戶用微電網(wǎng)當(dāng)前場景空調(diào)工作時的溫度、功率等歷史數(shù)據(jù)進(jìn)行實(shí)時采樣，從而擬合得到適合當(dāng)前建筑物的熱力學(xué)模型，同時獲得初始Q矩陣。

歷史數(shù)據(jù)是通過微電網(wǎng)中央控制(MGCC)軟件采集PLC、PCS測得的數(shù)據(jù)得到，數(shù)據(jù)將實(shí)時地采集并顯示在界面中，定時存入歷史數(shù)據(jù)庫。歷史數(shù)據(jù)包括光伏、負(fù)荷(室內(nèi)外溫度數(shù)據(jù)、功率數(shù)據(jù)、開關(guān)狀態(tài)等)、儲能狀態(tài)等。在步驟(2)中只用到了室內(nèi)外溫度數(shù)據(jù)和功率數(shù)據(jù)。

Q學(xué)習(xí)的學(xué)習(xí)目標(biāo)是學(xué)習(xí)在動態(tài)環(huán)境下根據(jù)外部評價信號來選取較優(yōu)動作或最優(yōu)動作，本質(zhì)上是一個動態(tài)決策的過程。它的思想是學(xué)習(xí)每個狀態(tài)—動作對的評價值Q(s,a)，Q(s,a)的值是從狀態(tài)s執(zhí)行動作a后獲得的累計(jì)回報值，在每個時刻t，根據(jù)環(huán)境狀態(tài)s選擇對應(yīng)Q值最大的動作a，并觀察瞬時獎賞r和新狀態(tài)s’，并更新Q值，其基本形式如式(1)所示：

式中，s為當(dāng)前狀態(tài)，s'為下一時刻環(huán)境狀態(tài)，Q^*(s,a)表示在狀態(tài)s下執(zhí)行動作a獲得的回報總和，P(s,a,s')為執(zhí)行動作a后狀態(tài)從s轉(zhuǎn)換到s’的概率，R(s,s',a)為從s狀態(tài)選擇動作a后轉(zhuǎn)換到s’后獲得的獎勵，γ為折扣因子，S為環(huán)境狀態(tài)集，A為控制器動作集。

假設(shè)狀態(tài)集和動作集分別劃分為M和N個離散區(qū)間，則可將Q(s,a)建立為一個M*N階的Q矩陣，Q學(xué)習(xí)是依據(jù)學(xué)習(xí)策略選擇動作之后通過迭代逼近最優(yōu)解實(shí)現(xiàn)的，其公式如下：

式中，α為學(xué)習(xí)率，a'為在狀態(tài)s下可執(zhí)行的所有動作，通常來說Q學(xué)習(xí)只需要選取貪心策略即可保證算法的收斂性，即每次都選擇最高Q值的動作執(zhí)行。

為了在滿足用戶舒適度需求條件下，調(diào)整空調(diào)的工作功率使空調(diào)參與到整個系統(tǒng)的優(yōu)化調(diào)度，需要建立空調(diào)所屬建筑物的熱力學(xué)模型。該模型包括建筑物等效比熱容、等效熱阻、空調(diào)能效比等參數(shù)，而這些參數(shù)在現(xiàn)實(shí)情況中很難得到精確的測量和計(jì)算，嚴(yán)重影響了模型的準(zhǔn)確性。本發(fā)明通過對當(dāng)前建筑物在空調(diào)運(yùn)行工況下室內(nèi)溫度、室外溫度、空調(diào)功率的數(shù)據(jù)進(jìn)行測量和分析，借鑒傳統(tǒng)熱力學(xué)模型的形式，用遺傳算法對歷史數(shù)據(jù)進(jìn)行擬合，得出修正參數(shù)后適合當(dāng)前建筑物的熱力學(xué)模型。

目前常用空調(diào)所屬建筑物熱力學(xué)模型等效熱參數(shù)模型，以制冷時為例，如式(1)所示：

其中，T_in，t表示t時刻室內(nèi)溫度，T_out,t表示t時刻室外溫度，Δt為時間間隔，C表示房間的熱容量，R表示房間熱阻，Q_air,t表示t時刻空調(diào)的制熱(冷)量，可表示為：

Q_air,t＝COP_air,t·P_air,t (2)

其中，COP_air,t為空調(diào)能效比，即空調(diào)制熱(冷)量與功率之間的定量關(guān)系，對定頻空調(diào)，COP_air,t為固定常數(shù)；對變頻空調(diào)，COP_air,t隨空調(diào)壓縮機(jī)頻率變化而變化。

1)定頻空調(diào)

定頻空調(diào)能效比為常數(shù)，即COP_air,t＝COP，只需對其中R、C、COP進(jìn)行擬合，設(shè)歷史數(shù)據(jù)個數(shù)為n，擬合的目標(biāo)函數(shù)為：

其中，T_in，t表示t時刻室內(nèi)溫度，T_out,t表示t時刻室外溫度，Δt為時間間隔，C表示房間的熱容量，R表示房間熱阻，P_air,t表示空調(diào)功率。

2)變頻空調(diào)

變頻空調(diào)功率P_air,t、壓縮機(jī)頻率f_air,t、制冷量Q_air,t和能效比COP_air,t可近似為如下關(guān)系：

其中，n,m,a,b,c為常系數(shù)，代入式(2)消去變量f，可推得COP_air,t與P_air,t的關(guān)系式如下：

采用遺傳算法對R、C、k₁、k₂、k₃進(jìn)行擬合，目標(biāo)函數(shù)為：

(2)建立儲能及其他負(fù)荷模型

1)儲能模型

儲能模型包含運(yùn)行成本模型與充放電約束兩個部分。儲能的運(yùn)行成本與儲能的操作、維護(hù)費(fèi)用有關(guān)，同時也包含了折舊費(fèi)用，即已經(jīng)將儲能的購置費(fèi)用折算其中。儲能在t時段的運(yùn)行費(fèi)用為：

其中：P_cmax和P_dmax分別為儲能充電、放電最大功率，均為正值；P_B(t)為t時間段儲能的充放電功率，正值表示放電，負(fù)值表示充電。對能量優(yōu)化而言，在一個調(diào)度周期內(nèi)認(rèn)為設(shè)備的功率為常數(shù)，功率值取其在該周期內(nèi)的平均功率。

儲能充放電除了最大功率的約束還包括荷電狀態(tài)SOC約束。SOC是儲能充放電保護(hù)的一個重要決策變量，反映了儲能剩余容量占總?cè)萘康谋壤?，?dāng)前時刻的SOC與前一時刻的剩余容量及前一時段的充放電量有關(guān)，計(jì)算公式如下：

其中，η_c、η_d分別為充放電效率；Q為額定容量。通過對儲能SOC的變化量ΔSOC進(jìn)行動態(tài)約束，避免過充過放對電池壽命造成損害。

其中，SOC_max和SOC_min分別為儲能單元荷電狀態(tài)上、下限值；ΔSOC_max(t)和ΔSOC_min(t)分別為t時間段儲能單元荷電狀態(tài)變化量上下限值。

綜上，儲能充放電模型包含以下3個約束條件：

2)其他負(fù)荷模型

在戶用微電網(wǎng)中，除可削減負(fù)荷外，還存在不可控負(fù)荷與可平移負(fù)荷。不可控負(fù)荷是指：用電特征為剛性，由用戶設(shè)定負(fù)荷的工作計(jì)劃，不參與系統(tǒng)的互動的負(fù)荷；如照明、電磁爐等?？善揭曝?fù)荷是指：日用電量一定，用電曲線可在一天內(nèi)平移，但不可中斷的負(fù)荷；如洗衣機(jī)、消毒柜等。可平移負(fù)荷的模型如下：

用x_sli(t)表示可平移負(fù)荷i的工作狀態(tài)，其值為1表示可平移負(fù)荷運(yùn)行，為0表示可平移負(fù)荷停運(yùn)。

可平移負(fù)荷i的實(shí)際工作功率P_sli(t)為：

P_sli(t)＝x_sli(t)P_Nsli (11)

其中，P_Nsli表示可平移負(fù)荷i的額定功率。

可平移負(fù)荷需要滿足約束條件：

其中，T_istart、T_ifinish、T_sli分別表示可平移負(fù)荷i的最早啟動時間、最遲停止時間和連續(xù)運(yùn)行時長，該約束表示可平移負(fù)荷工作時長滿足要求并且工作不可中斷。

(3)根據(jù)空調(diào)熱力學(xué)模型、儲能模型以及可平移負(fù)荷模型，在日前階段以用電成本與舒適度為目標(biāo)，給出可平移負(fù)荷、儲能的工作指令以及室內(nèi)溫度優(yōu)化結(jié)果。

1)優(yōu)化目標(biāo)

優(yōu)化調(diào)度目標(biāo)同時考慮用電成本與用戶舒適度。就微電網(wǎng)系統(tǒng)的日運(yùn)行而言，清潔能源能耗成本和運(yùn)營管理成本可近乎看作為零，從而微電網(wǎng)系統(tǒng)日用電成本包括與上級電網(wǎng)的交互費(fèi)用和儲能的運(yùn)行成本。用戶舒適度主要體現(xiàn)在室內(nèi)溫度與用戶理想溫度的偏差，因此優(yōu)化目標(biāo)可表示為：

其中，F(xiàn)表示系統(tǒng)全天用電成本；N為一天劃分時間段數(shù)；Fss(t)為t時間段的購售電費(fèi)用；α、β分別為用電成本與用戶舒適度的權(quán)重系數(shù)。本文設(shè)置三種能量管理模式，分別為用電成本優(yōu)化(模式A)、用戶舒適度優(yōu)化(模式B)和綜合優(yōu)化(模式C)，由用戶根據(jù)自身需求選擇對應(yīng)的能量管理模式，確定優(yōu)化目標(biāo)中用電成本與用戶舒適度的比重，得出適應(yīng)不同用戶需求的戶用微電網(wǎng)日前計(jì)劃，相應(yīng)的α、β的取值可如表1所示。

表1能量管理模式

購售電費(fèi)用主要為微電網(wǎng)與上級電網(wǎng)進(jìn)行功率交互時產(chǎn)生的費(fèi)用或收益：

F_SS(t)＝c(t)P_cc(t)Δt (14)

其中，P_CC(t)為t時間段聯(lián)絡(luò)線功率，正值表示從電網(wǎng)購電，負(fù)值表示向電網(wǎng)售電；Δt為一個調(diào)度周期的時長；c(t)、sell_price(t)、buy_price(t)分別為t時間段購售電價、售電價格、購電價格。

2)約束條件

a.功率平衡約束

各時間段儲能充放電功率、與上級電網(wǎng)交互功率、光伏發(fā)電功率、總負(fù)荷功率必須滿足功率平衡約束：

P_B(t)+P_CC(t)+P_PV(t)＝P_load(t) (16)

其中，P_PV(t)表示t時間段光伏發(fā)電功率；P_load(t)表示t時間段總負(fù)荷。

b.交互點(diǎn)功率限制

各時間段與電網(wǎng)交互功率應(yīng)滿足上級電網(wǎng)對交互功率的限制：

-P_smax≤P_CC≤P_bmax (17)

其中，P_smax為用戶向上級電網(wǎng)售電功率上限；P_bmax為用戶從上級電網(wǎng)購電功率上限。

(4)直接下發(fā)可平移負(fù)荷、儲能的工作指令，空調(diào)設(shè)置溫度則在日內(nèi)階段根據(jù)在線更新的Q矩陣修正后下發(fā)，從而實(shí)現(xiàn)戶用微電網(wǎng)的能量優(yōu)化。

傳統(tǒng)對空調(diào)的優(yōu)化通常將空調(diào)設(shè)定溫度直接設(shè)置為用戶所需要的或能量管理系統(tǒng)優(yōu)化得到的室內(nèi)溫度，而實(shí)際上由于受室內(nèi)環(huán)境變化的影響，實(shí)際室內(nèi)溫度往往與空調(diào)設(shè)定溫度有一定誤差。為解決這一問題，針對室內(nèi)人員活動、其他冷熱型負(fù)荷影響等動態(tài)變化的問題，本發(fā)明基于Q學(xué)習(xí)建立空調(diào)溫度自適應(yīng)模型，根據(jù)實(shí)際室內(nèi)溫度與優(yōu)化出理想室內(nèi)溫度的偏差，利用Q學(xué)習(xí)算法動態(tài)計(jì)算出建筑物中空調(diào)實(shí)時運(yùn)行時需要設(shè)置的溫度，提高能量管理的準(zhǔn)確性。具體方法為：

采用室內(nèi)溫度與目標(biāo)溫度T_goal的偏差ΔT作為Q學(xué)習(xí)輸入的環(huán)境狀態(tài)變量，其中T_goal根據(jù)日前能量管理優(yōu)化得出。將室內(nèi)溫度偏差ΔT劃分為一系列離散區(qū)間{ΔT₁,ΔT₂,…ΔT_m}，對應(yīng)環(huán)境狀態(tài)集。將室內(nèi)溫度的控制目標(biāo)設(shè)置為T_goal±0.5℃，將狀態(tài)集ΔT設(shè)定為：{(-∞,-3],(-3,-2],(-2,-1],(-1,0.5],(-0.5,0],(0,0.5],(0.5,1]，(1,2],(2,3],(3,+∞)}。

獎勵函數(shù)定義為：

當(dāng)室內(nèi)溫度偏差|ΔT|＞0.5℃時，根據(jù)不同偏差大小，學(xué)習(xí)將獲得不同程度的懲罰，偏差越大，受到的懲罰越大，則經(jīng)過迭代后獲得的Q值越小，此后選擇此動作的概率越小。選用室內(nèi)溫度偏差作為狀態(tài)變量，其好處是在相同環(huán)境中，當(dāng)目標(biāo)溫度改變時，只需要改變T_goal，無需調(diào)整預(yù)先設(shè)計(jì)的狀態(tài)集。

將空調(diào)設(shè)置溫度T_set作為控制器的輸出動作變量，T_setl為空調(diào)設(shè)置溫度下限，T_seth為空調(diào)設(shè)置溫度上限，控制動作集A為{T_setl,T_setl+1,...,T_seth-1,T_seth}。

通過歷史數(shù)據(jù)的離線訓(xùn)練，可以得到預(yù)學(xué)習(xí)后的Q矩陣。作為戶用微電網(wǎng)空調(diào)系統(tǒng)初始運(yùn)行的Q矩陣，在微電網(wǎng)實(shí)際運(yùn)行過程中，由于室外溫度及房屋內(nèi)部人員、環(huán)境的變化，需要進(jìn)行不停地在線學(xué)習(xí)，實(shí)時更新Q矩陣，不停修正空調(diào)設(shè)置的溫度，以實(shí)現(xiàn)空調(diào)設(shè)置溫度對環(huán)境變化的自適應(yīng)修正。

本發(fā)明可以適應(yīng)不同應(yīng)用場景以及環(huán)境的變化，提高能量管理的準(zhǔn)確性和實(shí)際應(yīng)用性。并且綜合考慮戶用微電網(wǎng)中其他具有調(diào)控潛力的用電負(fù)荷及儲能設(shè)備，以用電成本與用戶舒適度為目標(biāo)，實(shí)現(xiàn)對戶用微電網(wǎng)的有效管理。

采用日前計(jì)劃與日內(nèi)修正相結(jié)合的方式。由于儲能、可平移負(fù)荷等受環(huán)境變化影響較小，直接執(zhí)行日前計(jì)劃指令，而空調(diào)負(fù)荷受環(huán)境動態(tài)變化影響較大，在日內(nèi)經(jīng)過不停地修正下發(fā)指令。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出：對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。