本發(fā)明涉及一種機(jī)械學(xué)習(xí)裝置、電動(dòng)機(jī)控制裝置以及機(jī)械學(xué)習(xí)方法，特別涉及學(xué)習(xí)電動(dòng)機(jī)控制中的電流增益參數(shù)的最優(yōu)化的機(jī)械學(xué)習(xí)裝置、具備機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置以及機(jī)械學(xué)習(xí)方法。

背景技術(shù)：

作為通過(guò)逆變器對(duì)電動(dòng)機(jī)進(jìn)行可變速控制的情況下的電流控制系統(tǒng)，已知PI(比例積分)控制，作為其調(diào)整項(xiàng)目，有比例增益函數(shù)和積分增益函數(shù)(例如日本特開(kāi)2000-184785號(hào)公報(bào)。以下稱(chēng)為“專(zhuān)利文獻(xiàn)1”)。

專(zhuān)利文獻(xiàn)1記載的電流控制增益調(diào)整方法是PI控制的比例增益的調(diào)整，比較單相交流的電流指令信號(hào)和電流檢測(cè)信號(hào)的波形，測(cè)量電流檢測(cè)信號(hào)波形的延遲相位或延遲時(shí)間，判定檢測(cè)延遲是否比預(yù)先設(shè)定的目標(biāo)延遲相位或延遲時(shí)間大，進(jìn)行在檢測(cè)延遲大時(shí)增大比例增益，在檢測(cè)延遲小時(shí)減小比例增益的調(diào)整。

在現(xiàn)有技術(shù)中，根據(jù)物理常數(shù)等計(jì)算并設(shè)定適當(dāng)?shù)碾娏髟鲆鎱?shù)。另外，在現(xiàn)有技術(shù)中，由于電感因電流而變動(dòng)等的理由，最優(yōu)值和計(jì)算值稍微存在差值(偏差)。因此，一邊改變參數(shù)一邊觀察階躍響應(yīng)或頻率響應(yīng)而由人進(jìn)行微調(diào)整。

這樣的現(xiàn)有技術(shù)難以說(shuō)是最優(yōu)的，另外存在調(diào)整花費(fèi)時(shí)間、勞力(工夫)這樣的問(wèn)題。進(jìn)而，電動(dòng)機(jī)的物理常數(shù)有個(gè)體差異，因此真正最優(yōu)的參數(shù)也由于個(gè)體而不同，每個(gè)個(gè)體的參數(shù)的最優(yōu)化更加麻煩，存在不現(xiàn)實(shí)的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于：提供一種機(jī)械學(xué)習(xí)裝置、具備機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置以及機(jī)械學(xué)習(xí)方法，通過(guò)機(jī)械學(xué)習(xí)而對(duì)電流增益參數(shù)進(jìn)行最優(yōu)化，由此能夠提高電動(dòng)機(jī)的響應(yīng)性、改善進(jìn)給不穩(wěn)、提高精度。

本發(fā)明的一個(gè)實(shí)施例的機(jī)械學(xué)習(xí)裝置對(duì)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件進(jìn)行學(xué)習(xí)，該機(jī)械學(xué)習(xí)裝置具備：狀態(tài)觀測(cè)部，其取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與階躍狀的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的過(guò)沖量、下沖量、以及上升時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量；學(xué)習(xí)部，其依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

本發(fā)明的其他實(shí)施例的機(jī)械學(xué)習(xí)裝置對(duì)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件進(jìn)行學(xué)習(xí)，該機(jī)械學(xué)習(xí)裝置具備：狀態(tài)觀測(cè)部，其取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與由不同頻率的正弦波的組構(gòu)成的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的振幅比和根據(jù)相位延遲量計(jì)算出的頻帶時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量；學(xué)習(xí)部，其依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

本發(fā)明的一個(gè)實(shí)施例的電動(dòng)機(jī)控制裝置具備上述機(jī)械學(xué)習(xí)裝置和電動(dòng)機(jī)控制部，其中，電動(dòng)機(jī)控制部具備輸入轉(zhuǎn)矩指令的轉(zhuǎn)矩指令輸入部，電動(dòng)機(jī)控制裝置還具備：意圖決定部，其根據(jù)由學(xué)習(xí)部依照訓(xùn)練數(shù)據(jù)集學(xué)習(xí)的結(jié)果，對(duì)當(dāng)前的狀態(tài)變量的輸入進(jìn)行響應(yīng)，決定積分增益函數(shù)和比例增益函數(shù)的變更。

本發(fā)明的一個(gè)實(shí)施例的機(jī)械學(xué)習(xí)方法對(duì)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件進(jìn)行學(xué)習(xí)，其中，包括以下步驟：取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與階躍狀的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的過(guò)沖量、下沖量、以及上升時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量；依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

本發(fā)明的其他實(shí)施例的機(jī)械學(xué)習(xí)方法對(duì)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件進(jìn)行學(xué)習(xí)，其中，包括以下步驟：取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與由不同頻率的正弦波的組構(gòu)成的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的振幅比和根據(jù)相位延遲量計(jì)算出的頻帶時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量；依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

附圖說(shuō)明

根據(jù)與附圖關(guān)聯(lián)的以下的實(shí)施方式的說(shuō)明，能夠進(jìn)一步了解本發(fā)明的目的、特征和優(yōu)點(diǎn)。

圖1是本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置的結(jié)構(gòu)圖。

圖2A是表示不調(diào)整電流增益的情況下的電流的時(shí)間性變化的圖表。

圖2B是表示調(diào)整電流增益的情況下的電流的時(shí)間性變化的圖表。

圖3是本發(fā)明的實(shí)施例的電動(dòng)機(jī)控制裝置的結(jié)構(gòu)圖。

圖4A是表示伴隨著轉(zhuǎn)矩指令的增加，積分增益函數(shù)單調(diào)減少、比例增益函數(shù)單調(diào)增加的情況下的電流增益參數(shù)(積分增益、比例增益)和轉(zhuǎn)矩指令之間的關(guān)系的圖表。

圖4B是表示學(xué)習(xí)后的積分增益函數(shù)或比例增益函數(shù)相對(duì)于轉(zhuǎn)矩指令的增減而大幅度變化的情況下的電流增益參數(shù)(積分增益、比例增益)和轉(zhuǎn)矩指令之間的關(guān)系的圖表。

圖5是用于說(shuō)明本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置的動(dòng)作步驟的流程圖。

圖6是用于說(shuō)明本發(fā)明的實(shí)施例的電動(dòng)機(jī)控制裝置的動(dòng)作步驟的流程圖。

具體實(shí)施方式

以下，參照附圖，說(shuō)明本發(fā)明的機(jī)械學(xué)習(xí)裝置、電動(dòng)機(jī)控制裝置以及機(jī)械學(xué)習(xí)方法。

圖1是本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置的結(jié)構(gòu)圖。圖3是本發(fā)明的實(shí)施例的電動(dòng)機(jī)控制裝置的結(jié)構(gòu)圖。

本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置1是學(xué)習(xí)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件的機(jī)械學(xué)習(xí)裝置1，具備狀態(tài)觀測(cè)部2、學(xué)習(xí)部3。

狀態(tài)觀測(cè)部2取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與階躍狀的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的過(guò)沖量、下沖量、以及上升時(shí)間中的至少一個(gè)、積分增益函數(shù)以及比例增益函數(shù)構(gòu)成的狀態(tài)變量。

學(xué)習(xí)部3依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置1通過(guò)機(jī)械學(xué)習(xí)(強(qiáng)化學(xué)習(xí))對(duì)電動(dòng)機(jī)控制的電流增益參數(shù)(積分增益、比例增益)進(jìn)行最優(yōu)化。在此，最優(yōu)的積分增益、比例增益根據(jù)轉(zhuǎn)矩指令而不同，因此對(duì)將轉(zhuǎn)矩指令作為自變量的積分增益函數(shù)、比例增益函數(shù)進(jìn)行最優(yōu)化。

本發(fā)明的另一個(gè)實(shí)施例的機(jī)械學(xué)習(xí)裝置1`學(xué)習(xí)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件，具備狀態(tài)觀測(cè)部2`、學(xué)習(xí)部3`。

在上述的本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置1中，利用了階躍響應(yīng)，但對(duì)于頻率響應(yīng)也可以同樣，因此能夠?qū)⑦^(guò)沖和上升時(shí)間置換為輸出/輸入的振幅比和頻帶。因此，在本發(fā)明的另一個(gè)實(shí)施例的機(jī)械學(xué)習(xí)裝置1`中，狀態(tài)觀測(cè)部2`取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并取得實(shí)際電流，觀測(cè)由與由不同頻率的正弦波的組構(gòu)成的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的振幅比和根據(jù)相位延遲量計(jì)算出的頻帶時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量。

學(xué)習(xí)部3`依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

學(xué)習(xí)部3、3`在學(xué)習(xí)中使用的訓(xùn)練數(shù)據(jù)集并不限于針對(duì)一個(gè)電動(dòng)機(jī)取得。即，學(xué)習(xí)部3、3`也可以依照對(duì)多個(gè)電動(dòng)機(jī)取得的訓(xùn)練數(shù)據(jù)集而學(xué)習(xí)條件。

本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置1優(yōu)選還具備：回報(bào)計(jì)算部4，其根據(jù)存儲(chǔ)在訓(xùn)練數(shù)據(jù)集中的狀態(tài)變量中的過(guò)沖量、下沖量以及上升時(shí)間，計(jì)算回報(bào)；函數(shù)更新部5，其根據(jù)回報(bào)，更新用于從當(dāng)前的狀態(tài)變量調(diào)整電流增益參數(shù)的函數(shù)。例如，如圖2B所示，在滿足過(guò)沖小的情況、下沖小的情況、或上升時(shí)間短的情況中的至少任意一個(gè)條件的情況下，考慮增加回報(bào)。

但是，例如如圖4B所示，在學(xué)習(xí)后的積分增益函數(shù)或比例增益函數(shù)相對(duì)于轉(zhuǎn)矩指令的增減大幅度地變化的情況下，在響應(yīng)特性良好的情況下，還與噪聲等相關(guān)聯(lián)，并不理想。因此，在這樣的情況下，優(yōu)選減少回報(bào)。

本發(fā)明的其他實(shí)施例的機(jī)械學(xué)習(xí)裝置1`優(yōu)選還具備：回報(bào)計(jì)算部4`，其根據(jù)存儲(chǔ)在訓(xùn)練數(shù)據(jù)集中的狀態(tài)變量中的振幅比、相位延遲量，計(jì)算回報(bào)；函數(shù)更新部5`，其根據(jù)回報(bào)，更新用于從當(dāng)前的狀態(tài)變量調(diào)整電流增益參數(shù)的函數(shù)。

另外，如果響應(yīng)性過(guò)高，則針對(duì)干擾容易振動(dòng)。因此，也可以根據(jù)相對(duì)于振蕩的富余的程度，決定增加還是減少回報(bào)。具體地說(shuō)，例如在將比例增益固定，并使積分增益成倍時(shí)，確認(rèn)階躍響應(yīng)是否振動(dòng)、以及頻率響應(yīng)的振幅比是否超過(guò)允許值(這也是振蕩)。這時(shí)，也可以如果不振動(dòng)則判斷為有富余而增加回報(bào)，如果振動(dòng)則判斷為沒(méi)有富余而減少回報(bào)。

因此，在上述機(jī)械學(xué)習(xí)裝置1、1`中，回報(bào)計(jì)算部4、4`也可以進(jìn)而根據(jù)相對(duì)于電流的震蕩的富余而計(jì)算回報(bào)。

進(jìn)而，如圖4A所示，基本上伴隨著轉(zhuǎn)矩指令的增加，積分增益函數(shù)單調(diào)減少，比例增益函數(shù)單調(diào)增加。因此，也可以如果積分增益函數(shù)的斜率為正或低于閾值則減少回報(bào)，如果比例增益函數(shù)的斜率為負(fù)或高于閾值則減少回報(bào)。

因此，在上述機(jī)械學(xué)習(xí)裝置1、1`中，回報(bào)計(jì)算部4、4`也可以進(jìn)而根據(jù)積分增益函數(shù)的斜率和比例增益函數(shù)的斜率計(jì)算回報(bào)。

函數(shù)更新部5、5`優(yōu)選使用所謂的Q學(xué)習(xí)進(jìn)行強(qiáng)化學(xué)習(xí)。Q學(xué)習(xí)是在某狀態(tài)(環(huán)境)s下學(xué)習(xí)選擇行為a的價(jià)值(行為的價(jià)值)Q(s，a)的方法。在某狀態(tài)(環(huán)境)s時(shí)，選擇Q(s，a)最高的行為a作為最優(yōu)的行為。函數(shù)更新部5、5`使用下述的式(1)更新函數(shù)(行為價(jià)值函數(shù)Q(s_t，a_t))。

在此，Q(s_t，a_t)是行為價(jià)值函數(shù)，s_t是時(shí)刻t的狀態(tài)(環(huán)境)，a_t是時(shí)刻t的行為，α是學(xué)習(xí)系數(shù)，r_t+1是回報(bào)，γ是折扣率。行為價(jià)值函數(shù)表示回報(bào)的期待值。附加了max的項(xiàng)是在狀態(tài)(環(huán)境)s_t+1下選擇了Q值最高的行為a的情況下的Q值乘以γ所得的結(jié)果。

已知以0<α，γ≤1下定學(xué)習(xí)系數(shù)和折扣率，但在此，如果為了簡(jiǎn)化而將學(xué)習(xí)系數(shù)和折扣率設(shè)為1，則如下述的式(2)所示那樣表示。

該更新式表示如果行為a引起的下一環(huán)境狀態(tài)下的最優(yōu)的行為的價(jià)值Q(s_t+1，max a_t+1)比狀態(tài)(環(huán)境)s下的行為a的價(jià)值Q(s_t，a_t)大，則增大Q(s_t，a_t)，相反，如果比狀態(tài)(環(huán)境)s下的行為a的價(jià)值Q(s_t，a_t)小，則減小Q(s_t，a_t)。即，使某狀態(tài)(環(huán)境)下的行為的價(jià)值接近它引起的下一狀態(tài)下的最優(yōu)的行為的價(jià)值。

在本實(shí)施例中，存儲(chǔ)在訓(xùn)練數(shù)據(jù)集中的狀態(tài)變量中的積分增益函數(shù)和比例增益函數(shù)對(duì)應(yīng)于狀態(tài)(環(huán)境)，決定積分增益函數(shù)和比例增益函數(shù)的變化量即Δ積分增益函數(shù)和Δ比例增益函數(shù)，并根據(jù)Δ積分增益函數(shù)和Δ比例增益函數(shù)設(shè)定新的積分增益函數(shù)和比例增益函數(shù)對(duì)應(yīng)于行為。學(xué)習(xí)部3、3`通過(guò)使用了回報(bào)的學(xué)習(xí)，來(lái)更新((積分增益函數(shù)，比例增益函數(shù))、(Δ積分增益函數(shù)，Δ比例增益函數(shù))，行為價(jià)值Q)的表(以下稱(chēng)為“行為價(jià)值表”)。

本發(fā)明的實(shí)施例的電動(dòng)機(jī)控制裝置7具備機(jī)械學(xué)習(xí)裝置1、1`以及電動(dòng)機(jī)控制部6。電動(dòng)機(jī)控制部6具備輸入轉(zhuǎn)矩指令的轉(zhuǎn)矩指令輸入部8。機(jī)械學(xué)習(xí)裝置1、1`具備：意圖決定部9，其根據(jù)由學(xué)習(xí)部3、3`依照訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)的結(jié)果，對(duì)當(dāng)前的狀態(tài)(環(huán)境)的輸入進(jìn)行響應(yīng)，決定積分增益函數(shù)和比例增益函數(shù)的變更。

意圖決定部9也可以以1-ε的概率選擇行為價(jià)值Q增大的行為(Δ積分增益函數(shù)，Δ比例增益函數(shù))，以ε的概率進(jìn)行隨機(jī)選擇(ε-greedy法)。

可以根據(jù)電動(dòng)機(jī)的繞組電阻值以及電感值來(lái)計(jì)算存儲(chǔ)在行為價(jià)值表中的行為價(jià)值的初始值。通常，在學(xué)習(xí)開(kāi)始時(shí)存儲(chǔ)在行為價(jià)值表中的行為價(jià)值的初始值是隨機(jī)值。因此，可以取得電動(dòng)機(jī)的繞組電阻、電感，適當(dāng)?shù)刭x予初始值，提高學(xué)習(xí)的效率。

在難以將行為價(jià)值全部存儲(chǔ)為表并逐次更新的情況下，也可以組合使用了多層神經(jīng)網(wǎng)絡(luò)的深層學(xué)習(xí)來(lái)更新行為價(jià)值Q。已知深層學(xué)習(xí)作為削減Q學(xué)習(xí)的巨大計(jì)算量的手段是有用的。

如圖3所示，電動(dòng)機(jī)控制部6中的狀態(tài)有因行為而間接地變化的狀態(tài)、因行為而直接地變化的狀態(tài)。因行為而間接地變化的狀態(tài)包含每個(gè)步長(zhǎng)的過(guò)沖量、下沖量、以及上升時(shí)間。因行為而直接地變化的狀態(tài)包含積分增益函數(shù)和比例增益函數(shù)。

學(xué)習(xí)部3、3`構(gòu)成為依照由當(dāng)前的狀態(tài)變量構(gòu)成的追加的訓(xùn)練數(shù)據(jù)集，再學(xué)習(xí)條件來(lái)進(jìn)行更新。

也可以構(gòu)成為機(jī)械學(xué)習(xí)裝置1、1`經(jīng)由網(wǎng)絡(luò)與電動(dòng)機(jī)控制部6連接，狀態(tài)觀測(cè)部2、2`經(jīng)由網(wǎng)絡(luò)取得當(dāng)前的狀態(tài)變量。

優(yōu)選機(jī)械學(xué)習(xí)裝置1、1`存在于云服務(wù)器中。

電動(dòng)機(jī)控制部6具備轉(zhuǎn)矩指令輸入部8(轉(zhuǎn)矩步長(zhǎng)指示器)。狀態(tài)觀測(cè)部2、2`具備電流傳感器21以及用于取得積分增益函數(shù)和比例增益函數(shù)的通信單元22。也可以將機(jī)械學(xué)習(xí)裝置1、1`內(nèi)置于電動(dòng)機(jī)控制部6中。

接著，說(shuō)明本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)方法。在圖5中表示用于說(shuō)明本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置的動(dòng)作步驟的流程圖。本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)方法對(duì)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件進(jìn)行學(xué)習(xí)，包括：取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與階躍狀的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的過(guò)沖量、下沖量、上升時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量，依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

本發(fā)明的其他實(shí)施例的機(jī)械學(xué)習(xí)方法，對(duì)與電動(dòng)機(jī)控制中的電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件進(jìn)行學(xué)習(xí)，該機(jī)械學(xué)習(xí)方法包括：取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與由不同頻率的正弦波的組構(gòu)成的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的振幅比和根據(jù)相位延遲量計(jì)算出的頻帶時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量，依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

在圖5中表示用于說(shuō)明本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置的動(dòng)作步驟的流程圖。首先，在步驟S101中，取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與階躍狀的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的過(guò)沖量、下沖量、以及上升時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量?；蛘撸部梢栽诓襟ES101中，取得電流控制環(huán)路的積分增益函數(shù)和比例增益函數(shù)，并且取得實(shí)際電流，觀測(cè)由與由不同頻率的正弦波的組構(gòu)成的轉(zhuǎn)矩指令對(duì)應(yīng)的實(shí)際電流的振幅比和根據(jù)相位延遲量計(jì)算出的頻帶時(shí)間中的至少一個(gè)、積分增益函數(shù)、比例增益函數(shù)構(gòu)成的狀態(tài)變量。

接著，在步驟S102中，依照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電流增益參數(shù)的調(diào)整相關(guān)聯(lián)的條件。

接著，說(shuō)明使用了本發(fā)明的實(shí)施例的電動(dòng)機(jī)控制裝置電動(dòng)機(jī)驅(qū)動(dòng)系統(tǒng)的機(jī)械學(xué)習(xí)方法。在圖6中表示用于說(shuō)明本發(fā)明的實(shí)施例的電動(dòng)機(jī)控制裝置的動(dòng)作步驟的流程圖。首先，在步驟S201中，開(kāi)始學(xué)習(xí)。

接著，在步驟S202中，設(shè)定積分增益函數(shù)和比例增益函數(shù)。

接著，在步驟S203中，輸入步長(zhǎng)指令。例如，一邊如10％、20％、……那樣逐漸地增加一邊輸入轉(zhuǎn)矩指令。

接著，在步驟S204中，采樣電流，并變換為轉(zhuǎn)矩指令的每個(gè)大小的過(guò)沖量等。例如，一邊按照10％的刻度增加轉(zhuǎn)矩指令，一邊將采樣的電流變換為各轉(zhuǎn)矩指令下的過(guò)沖量(OS量)、下沖量(US量)、上升時(shí)間(Rise Time)。

接著，在步驟S205中，計(jì)算回報(bào)。在此，回報(bào)并不限于決定為0或1的情況。即，根據(jù)相對(duì)于過(guò)沖量單調(diào)減少的函數(shù)、相對(duì)于下沖量單調(diào)增加的函數(shù)、相對(duì)于上升時(shí)間單調(diào)減少的函數(shù)來(lái)計(jì)算。例如，既可以賦予與積分增益函數(shù)、比例增益函數(shù)全體對(duì)應(yīng)的一個(gè)回報(bào)，也可以對(duì)步長(zhǎng)的每個(gè)大小設(shè)為一個(gè)回報(bào)。這是將積分增益函數(shù)、比例增益函數(shù)最優(yōu)化為函數(shù)、還是個(gè)別地對(duì)每個(gè)轉(zhuǎn)矩指令的積分增益和比例增益進(jìn)行最優(yōu)化的不同。具體地說(shuō)，可以按照10％的刻度，如果是10步長(zhǎng)則增減10種回報(bào)。

接著，在步驟S206中，更新行為價(jià)值表。

接著，在步驟S207中，根據(jù)更新后的行為價(jià)值表，決定Δ積分增益函數(shù)和Δ比例增益函數(shù)。通過(guò)重復(fù)以上的步驟S202～S207，能夠最優(yōu)化積分增益函數(shù)和比例增益函數(shù)。

在以上的說(shuō)明中，說(shuō)明了使用電流環(huán)路的增益參數(shù)的例子，但對(duì)于速度環(huán)路的增益參數(shù)也可以同樣。在該情況下，需要將轉(zhuǎn)矩指令置換為速度指令。

如以上說(shuō)明的那樣，根據(jù)本發(fā)明的實(shí)施例的機(jī)械學(xué)習(xí)裝置和具備機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置和機(jī)械學(xué)習(xí)方法，通過(guò)還考慮到電動(dòng)機(jī)的個(gè)體差異的電流增益參數(shù)的最優(yōu)化，能夠提高電動(dòng)機(jī)的響應(yīng)性，改善進(jìn)給不穩(wěn)，提高精度，削減調(diào)整的工時(shí)。

根據(jù)本發(fā)明，可以提供一種機(jī)械學(xué)習(xí)裝置、具備機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置以及機(jī)械學(xué)習(xí)方法，其通過(guò)機(jī)械學(xué)習(xí)來(lái)對(duì)電流增益參數(shù)進(jìn)行最優(yōu)化，由此能夠提高電動(dòng)機(jī)的響應(yīng)性，改善進(jìn)給不穩(wěn)以及提高精度。