本發(fā)明涉及一種學(xué)習(xí)功率元件的預(yù)測壽命的機器學(xué)習(xí)裝置及方法以及具備該機器學(xué)習(xí)裝置的壽命預(yù)測裝置及電動機驅(qū)動裝置。

背景技術(shù)：

在驅(qū)動機床、鍛壓機械、注射成型機、工業(yè)機械或各種機器人內(nèi)的交流電動機的電動機驅(qū)動裝置中，通過逆變器將直流電力變換為交流電力來供給用于驅(qū)動交流電動機的驅(qū)動電力。逆變器例如由PWM逆變器等這樣的具有功率元件(半導(dǎo)體開關(guān)元件)以及與該功率元件逆并聯(lián)連接的二極管的開關(guān)部的電橋電路構(gòu)成，通過對功率元件進行接通關(guān)斷驅(qū)動來將直流電力變換為交流電力來輸出到交流電動機側(cè)。

在使用這樣的電動機驅(qū)動裝置的領(lǐng)域中，為了防止作業(yè)效率降低或發(fā)生嚴重事故，預(yù)測功率元件的壽命，基于該預(yù)測結(jié)果，在功率元件由于達到壽命而無法運轉(zhuǎn)之前更換功率元件。

例如，如在日本特開2011-196703號公報中記載的那樣，已知如下的方法：將由功率半導(dǎo)體元件構(gòu)成的半導(dǎo)體裝置的整個動作溫度范圍劃分為多個溫度區(qū)域，在該溫度區(qū)域內(nèi)使用針對分別設(shè)定的基準溫度差中的功率循環(huán)數(shù)進行加權(quán)后的值來計算循環(huán)數(shù)，在該劃分后的溫度區(qū)域之間基于各個計算出的循環(huán)數(shù)并使用次要規(guī)則(minor rule)來計算累計傷害從而預(yù)測壽命。

電動機驅(qū)動裝置中的逆變器內(nèi)的功率元件的壽命由于電動機驅(qū)動裝置的運行條件、周圍溫度等環(huán)境條件而發(fā)生變化，所以難以正確地進行預(yù)測。如果無法正確地預(yù)測功率元件的壽命，則有可能錯過功率元件更換定時從而作業(yè)效率降低或者導(dǎo)致發(fā)生嚴重事故。因此，重要的是能夠正確地掌握功率元件的壽命從而確切地判斷是否達到壽命。

技術(shù)實現(xiàn)要素：

鑒于上述問題，本發(fā)明的目的在于提供一種能夠正確且容易地預(yù)測功率元件的預(yù)測壽命的機器學(xué)習(xí)裝置及方法以及具備該機器學(xué)習(xí)裝置的壽命預(yù)測裝置及電動機驅(qū)動裝置。

為了實現(xiàn)上述目的，機器學(xué)習(xí)裝置學(xué)習(xí)電動機驅(qū)動裝置的功率元件的預(yù)測壽命，電動機驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力來提供給交流電動機，該機器學(xué)習(xí)裝置具備：狀態(tài)觀測部，其觀測狀態(tài)變量，該狀態(tài)變量由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、以及與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成；以及學(xué)習(xí)部，其按照基于狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

在此，可以基于對功率元件進行冷卻的散熱片的溫度、電動機驅(qū)動裝置的周圍溫度、從電動機驅(qū)動裝置向交流電動機供給的電流的值、以及從電動機驅(qū)動裝置向交流電動機施加的電壓的值來計算功率元件的結(jié)溫。

另外，學(xué)習(xí)部可以具備回報計算部，其基于功率元件的開關(guān)次數(shù)以及功率元件有無故障來計算回報；函數(shù)更新部，其基于狀態(tài)變量以及回報來更新用于計算功率元件的預(yù)測壽命的函數(shù)。

另外，回報計算部可以在功率元件的開關(guān)次數(shù)超過規(guī)定次數(shù)時減少回報。

另外，回報計算部可以在功率元件的開關(guān)次數(shù)未超過規(guī)定次數(shù)的情況下，在發(fā)生了功率元件的故障時減少回報。

另外，函數(shù)更新部可以基于狀態(tài)變量以及回報，按照神經(jīng)網(wǎng)絡(luò)模型來更新用于計算功率元件的預(yù)測壽命的函數(shù)。

另外，學(xué)習(xí)部可以具備：誤差計算部，其基于狀態(tài)變量來計算誤差；學(xué)習(xí)模型更新部，其基于狀態(tài)變量以及誤差來更新用于計算功率元件的預(yù)測壽命的學(xué)習(xí)模型。

另外，學(xué)習(xí)部可以構(gòu)成為按照針對多個電動機驅(qū)動裝置取得的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

另外，一種電動機驅(qū)動裝置內(nèi)的功率元件的壽命預(yù)測裝置，其具備上述的機器學(xué)習(xí)裝置，該壽命預(yù)測裝置還具備意圖決定部，該意圖決定部基于學(xué)習(xí)部按照訓(xùn)練數(shù)據(jù)集進行學(xué)習(xí)的結(jié)果，對當前的狀態(tài)變量的輸入進行響應(yīng)，來計算功率元件的預(yù)測壽命。

另外，壽命預(yù)測裝置可以進一步具備通知部，該通知部向作業(yè)者通知由意圖決定部計算出的預(yù)測壽命。

另外，壽命預(yù)測裝置可以進一步具備通知部，該通知部基于意圖決定部計算出的預(yù)測壽命，向作業(yè)者通知用于催促更換功率元件或更換電動機驅(qū)動裝置的信息。

學(xué)習(xí)部可以構(gòu)成為按照由當前的狀態(tài)變量構(gòu)成的追加的訓(xùn)練數(shù)據(jù)集，重新學(xué)習(xí)并更新功率元件的預(yù)測壽命。

另外，電動機驅(qū)動裝置具備：上述的壽命預(yù)測裝置；電力供給部，其通過功率元件的開關(guān)動作將直流電力變換為交流電力來提供給交流電動機；開關(guān)次數(shù)取得部，其基于針對功率元件的開關(guān)指令，來取得與開關(guān)次數(shù)相關(guān)的數(shù)據(jù)；故障判定部，其基于針對功率元件的開關(guān)指令和從電力供給部輸出的交流電力來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。

在此，電動機驅(qū)動裝置可以進一步具備溫度計算部，該溫度計算部基于對功率元件進行冷卻的散熱片的溫度、電動機驅(qū)動裝置的周圍溫度、從電動機驅(qū)動裝置向交流電動機供給的電流的值、以及從電動機驅(qū)動裝置向交流電動機施加的電壓的值來計算功率元件的結(jié)溫。

另外，電動機驅(qū)動裝置可以進一步具備溫度傳感器，該溫度傳感器測定功率元件的結(jié)溫。

另外，一種機器學(xué)習(xí)方法，其學(xué)習(xí)電動機驅(qū)動裝置的功率元件的預(yù)測壽命，該電動機驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力來提供給交流電動機，機器學(xué)習(xí)方法具備：狀態(tài)觀測步驟，其觀測狀態(tài)變量，該狀態(tài)變量由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、以及與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成；以及學(xué)習(xí)步驟，其按照基于狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

附圖說明

通過參照一下的附圖，能夠更加明確地理解本發(fā)明。

圖1是實施例的機器學(xué)習(xí)裝置的原理框圖。

圖2是表示實施例的機器學(xué)習(xí)方法的動作流程的流程圖。

圖3是實施例的應(yīng)用強化學(xué)習(xí)的機器學(xué)習(xí)裝置的原理框圖。

圖4是表示實施例的應(yīng)用強化學(xué)習(xí)的機器學(xué)習(xí)方法的動作流程的流程圖。

圖5是表示實施例的具備應(yīng)用強化學(xué)習(xí)的機器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機驅(qū)動裝置的原理框圖。

圖6是表示計算某個電動機施加電壓時的功率元件的結(jié)溫的溫度計算部的框圖。

圖7是表示實施例的具備應(yīng)用強化學(xué)習(xí)的機器學(xué)習(xí)裝置的壽命預(yù)測裝置的動作流程的流程圖。

圖8是表示神經(jīng)元模型的示意圖。

圖9是表示具有D1～D3的三層權(quán)重的神經(jīng)網(wǎng)絡(luò)的示意圖。

圖10是表示實施例的具備應(yīng)用有教師學(xué)習(xí)的機器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機驅(qū)動裝置的原理框圖。

具體實施方式

以下，參照附圖對學(xué)習(xí)功率元件的預(yù)測壽命的機器學(xué)習(xí)裝置及方法以及具備該機器學(xué)習(xí)裝置的壽命預(yù)測裝置以及電動機驅(qū)動裝置進行說明。然而，希望理解本發(fā)明并不限于附圖或以下說明的實施方式。

圖1是實施例的機器學(xué)習(xí)裝置的原理框圖。以下，在不同的附圖中賦予相同參照符號的部分意味著具有相同功能的結(jié)構(gòu)要素。

在驅(qū)動交流電動機的電動機驅(qū)動裝置中，通過逆變器將直流電力變換為交流電力后來供給用于驅(qū)動交流電動機的驅(qū)動電力。逆變器例如由PWM逆變器等這樣的具有功率元件(半導(dǎo)體開關(guān)元件)以及與該功率元件逆并聯(lián)連接的二極管的開關(guān)部的電橋電路構(gòu)成，通過對功率元件進行接通斷開驅(qū)動來將直流電力變換為交流電力后輸出到交流電動機側(cè)。實施例的機器學(xué)習(xí)裝置1構(gòu)成為學(xué)習(xí)電動機驅(qū)動裝置的功率元件的預(yù)測壽命，該電動機驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力后提供給交流電動機。功率元件的壽命(開關(guān)次數(shù))由功率元件動作時結(jié)溫和基礎(chǔ)溫度之間的差(功率循環(huán))來決定。功率元件的結(jié)溫是指功率元件內(nèi)的功率半導(dǎo)體芯片與焊接部之間的接合部分的溫度。另外，基礎(chǔ)溫度是指為了冷卻功率元件與外部進行熱連接的部分的溫度，也稱為散熱片溫度。結(jié)溫與基礎(chǔ)溫度之間的差根據(jù)電動機驅(qū)動裝置的運行條件和周圍溫度而發(fā)生變化。因此，在本發(fā)明中，通過機器學(xué)習(xí)裝置1觀測功率元件的開關(guān)次數(shù)、功率元件的結(jié)溫以及功率元件有無故障，并將它們作為行為價值表來形成數(shù)據(jù)庫，由此根據(jù)與過去的結(jié)溫與基礎(chǔ)溫度之間的差相關(guān)的數(shù)據(jù)或故障數(shù)據(jù)來預(yù)測功率元件的壽命。

機器學(xué)習(xí)裝置1具備狀態(tài)觀測部11以及學(xué)習(xí)部12。在這里，機器學(xué)習(xí)裝置1可以內(nèi)置在驅(qū)動控制交流電動機的電動機驅(qū)動裝置中，此時，利用該電動機驅(qū)動裝置的處理器來執(zhí)行機器學(xué)習(xí)。又或者，機器學(xué)習(xí)裝置1也可以構(gòu)成為經(jīng)由網(wǎng)絡(luò)與電動機驅(qū)動裝置相連接的數(shù)字計算機。又或者，機器學(xué)習(xí)裝置1也可以設(shè)置在云服務(wù)器上，此時經(jīng)由網(wǎng)絡(luò)與電動機驅(qū)動裝置相連接。

狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成。

根據(jù)由電動機驅(qū)動裝置生成的用于對功率元件進行接通斷開驅(qū)動的開關(guān)指令(例如PWM開關(guān)信號)來生成與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)。

另外，根據(jù)對功率元件進行冷卻的散熱片的溫度、電動機驅(qū)動裝置的周圍溫度、從電動機驅(qū)動裝置向交流電動機供給的電流的值以及從電動機驅(qū)動裝置向交流電動機施加的電壓的值，通過計算來求出與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)。功率元件的結(jié)溫的計算方法如后所述。又或者，也可以通過在功率元件附近設(shè)置的溫度傳感器來取得與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)。

另外，例如在向功率元件賦予了由電動機驅(qū)動裝置生成的開關(guān)指令的情況下，能夠通過監(jiān)視是否從電動機驅(qū)動裝置內(nèi)的電力供給部輸出了與該開關(guān)指令相對應(yīng)的交流電力來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。例如，還可以通過電流檢測部檢測從電動機驅(qū)動裝置內(nèi)的電力供給部流入到交流電動機的電流，如果電流檢測值是與從電動機驅(qū)動裝置輸出的開關(guān)指令相對應(yīng)的電流檢測值，則判定為“功率元件無故障”，在盡管存在該開關(guān)指令但電流檢測值為接近于零的值時或者為根據(jù)該開關(guān)指令無法想到的異常大的值時判定為“功率元件有故障”。又或者，也可以通過發(fā)現(xiàn)或者得知了功率元件的故障的作業(yè)者自己操作輸入裝置，向狀態(tài)觀測部輸入表示功率元件發(fā)生故障的數(shù)據(jù)。

如此，狀態(tài)觀測部11觀測由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。此外，在機器學(xué)習(xí)裝置1經(jīng)由網(wǎng)絡(luò)與電動機驅(qū)動裝置相連接時或設(shè)置在云服務(wù)器上時，狀態(tài)觀測部11經(jīng)由網(wǎng)絡(luò)觀測狀態(tài)變量。又或者，在機器學(xué)習(xí)裝置1內(nèi)置在電動機驅(qū)動裝置中時，基于在該電動機驅(qū)動裝置中存儲的控制軟件的內(nèi)部數(shù)據(jù)、從與該電動機驅(qū)動裝置相連接的各種傳感器輸出的數(shù)據(jù)來觀測狀態(tài)變量。

學(xué)習(xí)部12按照基于由狀態(tài)觀測部11觀測到的狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。此外，也可以關(guān)于多個電動機驅(qū)動裝置來取得訓(xùn)練數(shù)據(jù)集，此時，學(xué)習(xí)部12根據(jù)針對多個電動機驅(qū)動裝置取得的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

圖2是表示實施例的機器學(xué)習(xí)方法的動作流程的流程圖。學(xué)習(xí)電動機驅(qū)動裝置的功率元件的預(yù)測壽命的機器學(xué)習(xí)方法具備狀態(tài)觀測步驟S101和學(xué)習(xí)步驟S102，其中，電動機驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力后提供給交流電動機。

狀態(tài)觀測步驟S101通過狀態(tài)觀測部11來執(zhí)行，即，觀測由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。

學(xué)習(xí)步驟S102通過學(xué)習(xí)部12來執(zhí)行，即，按照基于狀態(tài)觀測部11觀測到的狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

學(xué)習(xí)部12使用的學(xué)習(xí)算法可以使用任意的算法。機器學(xué)習(xí)裝置1具有如下功能：通過解析從在裝置中輸入的數(shù)據(jù)的集合中抽出其中有用的規(guī)則和知識表現(xiàn)、判斷基準等，輸出其判斷結(jié)果，并且進行知識的學(xué)習(xí)。該方法有各種各樣，但是大致分為“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“強化學(xué)習(xí)”。并且，在實現(xiàn)這些方法的基礎(chǔ)上，具有對特征量自身的抽出進行學(xué)習(xí)的被稱為“深層學(xué)習(xí)(深度學(xué)習(xí)：Deep Learning)”的方法。此外，這些機器學(xué)習(xí)(機器學(xué)習(xí)裝置1)例如通過應(yīng)用GPGPU(General-Purpose computing on Graphics Processing Units通用計算圖形處理器)或大規(guī)模PC集群等來實現(xiàn)。

以下，作為一個例子，參照圖3以及圖4對使用了強化學(xué)習(xí)的情況進行說明?！坝薪處煂W(xué)習(xí)”、“無教師學(xué)習(xí)”等如后所述。

圖3是實施例的采用了強化學(xué)習(xí)的機器學(xué)習(xí)裝置的原理框圖。學(xué)習(xí)部12具備回報計算部21和函數(shù)更新部22。此外，因為回報計算部21以及函數(shù)更新部22以外的結(jié)構(gòu)要素與圖1所示的結(jié)構(gòu)要素相同，所以對相同的結(jié)構(gòu)要素賦予相同的符號，并省略該結(jié)構(gòu)要素的詳細說明。

回報計算部21基于由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)以及功率元件有無故障來計算回報。例如，回報計算部21可以在通過狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)超過了規(guī)定次數(shù)時減少回報。又例如回報計算部21可以在功率元件的開關(guān)次數(shù)沒有超過上述規(guī)定次數(shù)時而發(fā)生了功率元件的故障時減少回報。在這里，上述規(guī)定次數(shù)是與功率元件的壽命相當?shù)摹澳陀瞄_關(guān)次數(shù)”，是對每個功率元件規(guī)定的次數(shù)。

函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報計算部21計算出的回報，來更新用于計算功率元件的預(yù)測壽命的函數(shù)(行為價值表)。函數(shù)(行為價值表)的更新方法如后所述。

學(xué)習(xí)部12可以通過多層構(gòu)造來運算由狀態(tài)觀測部11觀測到的狀態(tài)變量，并實時更新函數(shù)(行為價值表)。例如，函數(shù)更新部22可以基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報計算部21計算出的回報，按照神經(jīng)網(wǎng)絡(luò)模型來更新用于計算功率元件的預(yù)測壽命的函數(shù)(行為價值表)。在這里，作為通過多層構(gòu)造運算狀態(tài)變量的方法，例如能夠使用后述的圖9所示的多層神經(jīng)網(wǎng)絡(luò)。

圖4是表示實施例的應(yīng)用了強化學(xué)習(xí)的機器學(xué)習(xí)方法的動作流程的流程圖。

首先，在狀態(tài)觀測步驟S101中，狀態(tài)觀測部11觀測由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。

其次，在回報計算步驟S102-1中，回報計算部21基于由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)以及功率元件有無故障來計算回報。

其次，在函數(shù)更新步驟S102-2中，函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報計算部21計算出的回報來更新用于計算功率元件的預(yù)測壽命的函數(shù)(行為價值表)。

接下來，對具備上述機器學(xué)習(xí)裝置的功率元件的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機驅(qū)動裝置進行說明。

圖5是表示實施例的具備應(yīng)用了強化學(xué)習(xí)的機器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機驅(qū)動裝置的原理框圖。在這里，對通過電動機驅(qū)動裝置1000控制交流電動機2的情況進行說明。在本發(fā)明中并不限定交流電動機2的種類，可以是感應(yīng)電動機也可以是同步電動機。

電動機驅(qū)動裝置1000內(nèi)的功率元件的壽命預(yù)測裝置100具備機器學(xué)習(xí)裝置1、意圖決定部13、通知部14。另外，電動機驅(qū)動裝置1000具備壽命預(yù)測裝置100、電力供給部31、開關(guān)次數(shù)取得部32、故障判定部33、溫度計算部34、電動機控制部50。此外，雖然在這里沒有圖示，但是也可以另外設(shè)置數(shù)據(jù)輸出部，該數(shù)據(jù)輸出部輸出與意圖決定部13決定的預(yù)測壽命相關(guān)的數(shù)據(jù)。

電動機控制部50基于在其內(nèi)部存儲的控制軟件，使用預(yù)定的速度指令、用于交流電動機2的動作程序、從電力供給部31輸出的交流電流以及/或交流電壓、交流電動機2的轉(zhuǎn)子轉(zhuǎn)速以及/或轉(zhuǎn)子位置等信息來生成用于控制交流電動機2的速度、扭矩或轉(zhuǎn)子位置的開關(guān)指令。本發(fā)明并不特別限定電動機控制部50生成開關(guān)指令的方法，可以使用公知的生成方法，例如有三角波比較PWM方式等。

電力供給部31基于在電動機控制部50中生成的開關(guān)指令來控制功率元件的開關(guān)動作，從而將直流電力變換為交流電力后提供給交流電動機。作為電力供給部31，例如有PWM逆變器。PWM逆變器由功率元件以及與其逆并聯(lián)連接的二極管的電橋電路組成，基于在電動機控制部50中生成的開關(guān)指令來對功率元件的開關(guān)動作進行PWM控制。此外，雖然在此沒有圖示，但是在由PWM逆變器構(gòu)成的電力供給部31的直流側(cè)即DC鏈路，設(shè)置了將從交流電源側(cè)供給的交流電力變換為直流電力后輸出給DC鏈路的整流器。電力供給部31內(nèi)的逆變器基于從電動機控制部50接收到的開關(guān)指令使內(nèi)部功率元件進行開關(guān)動作，從而將從DC鏈路側(cè)供給的直流電力變換為用于驅(qū)動交流電動機2的期望電壓以及期望頻率的三相交流電力。由此，交流電動機2基于被供給的電壓可變以及頻率可變的三相交流電力來進行動作。

開關(guān)次數(shù)取得部32基于由電動機控制部50生成的用于對功率元件進行接通斷開驅(qū)動的開關(guān)指令，來取得與開關(guān)次數(shù)相關(guān)的數(shù)據(jù)。

故障判定部33基于由電動機控制部50生成的針對功率元件的開關(guān)指令和從電力供給部31輸出的交流電力，來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。更具體來說，故障判定部33可通過監(jiān)視是否從電力供給部31輸出了與該開關(guān)指令相對應(yīng)的交流電力來判定功率元件有無故障。例如，可以通過電流檢測部(未圖示)檢測從電力供給部31流入到交流電動機2的電流，在電流檢測值是與從電動機控制部50輸出的開關(guān)指令相對應(yīng)的電流檢測值時判定為“功率元件無故障”，在盡管存在該開關(guān)指令但是電流檢測值為接近于零的值時或者為根據(jù)該開關(guān)指令無法想到的異常大的值時判定為“功率元件有故障”。又或者，也可以通過發(fā)現(xiàn)或者得知了功率元件的故障的作業(yè)者自己操作輸入裝置，不經(jīng)由故障判定部33，向狀態(tài)觀測部11直接輸入表示功率元件發(fā)生故障的數(shù)據(jù)。

溫度計算部34基于對功率元件進行冷卻的散熱片溫度、電動機驅(qū)動裝置1000的周圍溫度、從電動機驅(qū)動裝置1000向交流電動機2供給的電流的值、以及從電動機驅(qū)動裝置1000向交流電動機2施加的電壓的值來計算功率元件的結(jié)溫，對此，參照圖6來進行說明。

圖6是表示計算某個電動機施加電壓時的功率元件的結(jié)溫的溫度計算部的框圖。在從電動機驅(qū)動裝置1000對交流電動機2施加的電壓(來自電力供給部31的輸出電壓)發(fā)生變化時，功率元件的散熱(損失)變化，即散熱系數(shù)變化。在此，說明用于計算在向交流電動機2施加了某個電壓Vx[V]時的結(jié)溫的計算方法。

溫度計算部34由芯片溫度計算部34-1和散熱器溫度計算部34-2構(gòu)成。通過電流檢測部(未圖示)檢測從電動機驅(qū)動裝置向交流電動機供給的電流的值，并將其表示為電流反饋值Ir[Arms]。在這里[rms]意味著有效值。通過設(shè)置在電動機驅(qū)動裝置1000附近的溫度傳感器(未圖示)來檢測電動機驅(qū)動裝置1000的周圍溫度T_a。

在溫度計算部34內(nèi)的芯片溫度計算部34-1，將芯片側(cè)時間常數(shù)設(shè)為T₁，來針對電流反饋值Ir[Arms]乘以電源頻率系數(shù)K_ω以及散熱系數(shù)K₁[℃/Arms]后的值進行積分，由此得到芯片相對于散熱片(散熱器)的上升溫度T_upc[℃]。在此，電源頻率系數(shù)K_ω是取決于電源頻率的固定值，舉一個例子，是“1.55”～“2.00”等值。另外，散熱系數(shù)K₁[℃/Arms]是取決于輸出電流以及輸出電壓的值，舉一個例子，是每次最大額定電流Imax時40～60[℃]的上升率。另外，芯片側(cè)時間常數(shù)T₁是取決于功率元件的值，舉一個例子，是100～300[ms]。

在溫度計算部34內(nèi)的散熱器溫度計算部34-2，將散熱片側(cè)時間常數(shù)設(shè)為T₂，來對電流反饋值Ir[Arms]乘以散熱系數(shù)K₂[℃/Arms]后的值進行積分，由此得到散熱片(散熱器)相對于外部空氣的上升溫度T_UPF[℃]。通過對散熱片(散熱器)相對于外部空氣的上升溫度T_UPF[℃]相加電動機驅(qū)動裝置1000的周圍溫度Ta，得到散熱片溫度(散熱器的溫度)T_FIN[℃]。在此，散熱系數(shù)K₂[℃/Arms]是取決于構(gòu)成電力供給部31的逆變器(放大)的形式以及PWM頻率的值，舉一個例子，是每30分鐘額定電流I₃₀時65～100[℃]的上升率。散熱片側(cè)時間常數(shù)T2是取決于電力供給部31內(nèi)的逆變器的放大結(jié)構(gòu)的值，舉一個例子，是70～150[sec]。

然后，通過將芯片溫度計算部34-1計算出芯片相對于散熱片(散熱器)的上升溫度T_upc[℃]與散熱器溫度計算部34-2計算出的散熱片溫度(散熱器溫度)T_FIN[℃]相加，得到功率元件的結(jié)溫T_CHIP[℃]。

在這樣的本實施例中，通過溫度計算部34計算功率元件的結(jié)溫。作為其代替例子，也可以通過設(shè)置在功率元件附近的溫度傳感器來直接測定功率元件的結(jié)溫。當采用通過溫度計算部34計算功率元件的結(jié)溫的方法時，對于功率元件的散熱系數(shù)和芯片的熱時間常數(shù)這樣的特性數(shù)據(jù)無法考慮功率元件的個體偏差，但是如果通過溫度傳感器直接測定功率元件的結(jié)溫，則能夠進一步提升溫度的精度。

機器學(xué)習(xí)裝置1內(nèi)的狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由從開關(guān)次數(shù)取得部32取得的與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與從溫度計算部34取得的功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與從故障判定部33取得的功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成。

機器學(xué)習(xí)裝置1內(nèi)的學(xué)習(xí)部12具備回報計算部21和函數(shù)更新部22，按照基于狀態(tài)觀測部11觀測到的狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

學(xué)習(xí)部12內(nèi)的回報計算部21基于由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)以及功率元件有無故障來計算回報。例如，回報計算部21在由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)超過規(guī)定次數(shù)時，因為超過了與功率元件具有的壽命相當?shù)摹澳陀瞄_關(guān)次數(shù)”，所以減少回報。另外，回報計算部21在功率元件的開關(guān)次數(shù)沒有超過上述規(guī)定次數(shù)時而發(fā)生了功率元件的故障時，也減少回報。

學(xué)習(xí)部12內(nèi)的函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報計算部21計算出的回報，更新用于計算功率元件的預(yù)測壽命的函數(shù)(行為價值表)。

意圖決定部13基于學(xué)習(xí)部12按照訓(xùn)練數(shù)據(jù)集進行學(xué)習(xí)的結(jié)果，對當前的狀態(tài)變量的輸入進行響應(yīng)，計算功率元件的預(yù)測壽命。如上所述，功率元件的壽命(開關(guān)次數(shù))由功率元件動作時的結(jié)溫與基礎(chǔ)溫度之間的差(功率循環(huán))來決定，該結(jié)溫與基礎(chǔ)溫度之間的差根據(jù)電動機驅(qū)動裝置的運行條件和周圍溫度而變化。因此，意圖決定部13從基于狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)、功率元件的結(jié)溫以及功率元件有無故障而在函數(shù)更新部22中生成(更新)后的函數(shù)(行為價值表)中，參考與過去的結(jié)溫與基礎(chǔ)溫度之間的差相關(guān)的數(shù)據(jù)或故障數(shù)據(jù)來決定功率元件的預(yù)測壽命。在本實施例中，作為一個例子使用強化學(xué)習(xí)來作為學(xué)習(xí)算法，因此學(xué)習(xí)部12內(nèi)的函數(shù)更新部22基于由學(xué)習(xí)部12內(nèi)的回報計算部21計算出的回報，更新用于計算預(yù)測壽命的函數(shù)，意圖決定部13基于更新后的函數(shù)，選擇得到最多回報的預(yù)測壽命，并將其輸出。將意圖決定部13決定的預(yù)測壽命輸出到通知部14。

通知部14向作業(yè)者通知由意圖決定部13計算出的預(yù)測壽命。并且，通知部14也可以基于意圖決定部13計算出的預(yù)測壽命，向作業(yè)者通知用于催促更換功率元件的信息。通過通知部14，作業(yè)者能夠得知功率元件的預(yù)測壽命，所以能夠在功率元件無法運轉(zhuǎn)之前更換功率元件。由于能夠在適當?shù)臅r期更換功率元件，能夠消除不需要的設(shè)計余量，并且能夠減少功率元件的庫存。又或者，作為通知部14的通知內(nèi)容，也可以一并通知在計算預(yù)測壽命時得到的對功率元件的壽命造成大的影響的運轉(zhuǎn)狀態(tài)。由此，作業(yè)者能夠采取措施，來變更對功率元件的壽命造成影響的運轉(zhuǎn)狀態(tài)。例如，設(shè)計者能夠采取對電動機驅(qū)動裝置1000的周圍環(huán)境進行調(diào)整從而成為延長功率元件的壽命的適當溫度的措施、或者采取對輸出電壓、輸出電流或開關(guān)頻率這樣的運行條件進行變更的措施。

作為通知部14，例如是個人電腦、便攜終端、觸摸屏等顯示器或電動機驅(qū)動裝置1000所附帶的顯示器等，例如能夠通過字符或圖案在顯示器上顯示預(yù)測壽命。此外，例如也可以將通知部14通過揚聲器、蜂鳴器、鈴等可發(fā)出聲音的音響設(shè)備來實現(xiàn)。又或者，關(guān)于通知部14，還可以采取使用打印機打印到紙面等來進行顯示的方式。又或者，也可以將它們適當組合來實現(xiàn)通知部14。

圖7是表示實施例的具備應(yīng)用了強化學(xué)習(xí)的機器學(xué)習(xí)裝置的壽命預(yù)測裝置的動作流程的流程圖。

一般在強化學(xué)習(xí)中隨機選擇行為的初始值。在本實施例的步驟S201中，隨機選擇作為行為的預(yù)測壽命。

在步驟S202中，電動機控制部50基于在其內(nèi)部存儲的控制軟件，使用預(yù)定的速度指令、用于交流電動機2的動作程序、從電力供給部31輸出的交流電流以及/或者交流電壓、交流電動機2的轉(zhuǎn)子轉(zhuǎn)速以及/或者轉(zhuǎn)子位置等這樣的信息，來生成用于控制交流電動機2的速度、扭矩或轉(zhuǎn)子位置的開關(guān)指令。電力供給部31基于在電動機控制部50中生成的開關(guān)指令來控制功率元件的開關(guān)動作，從而將直流電力變換為交流電力后提供給交流電動機。由此，交流電動機2基于供給的電壓可變以及頻率可變的三相交流電力來進行動作。在此期間，開關(guān)次數(shù)取得部32基于由電動機控制部50生成的用于對功率元件進行接通斷開驅(qū)動的開關(guān)指令，來取得與開關(guān)次數(shù)相關(guān)的數(shù)據(jù)，故障判定部33基于由電動機控制部50生成的針對功率元件的開關(guān)指令和從電力供給部31輸出的交流電力，來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。另外，溫度計算部34基于用于冷卻功率元件的散熱片的溫度、電動機驅(qū)動裝置1000的周圍溫度、從電動機驅(qū)動裝置1000向交流電動機2供給的電流的值、以及從電動機驅(qū)動裝置1000向交流電動機2施加的電壓的值，來計算功率元件的結(jié)溫T_CHIP，但是作為其代替，也可以通過溫度傳感器測定功率元件的結(jié)溫。

在步驟S203中，狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由從開關(guān)次數(shù)取得部32取得的與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、從溫度計算部34取得的與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、從故障判定部33取得的與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成。

其次，在步驟S204中，狀態(tài)觀測部11判斷觀測到的功率元件的開關(guān)次數(shù)是否超過了規(guī)定次數(shù)α。在判定為功率元件的開關(guān)次數(shù)超過了規(guī)定次數(shù)α?xí)r，在步驟S207中回報計算部21減少回報。另一方面，在判定為功率元件的開關(guān)次數(shù)沒有超過規(guī)定次數(shù)α?xí)r，向步驟S205前進。

在步驟S205中，狀態(tài)觀測部11基于與功率元件有無故障相關(guān)的數(shù)據(jù)，辨別功率元件是否發(fā)生了故障。在判定為功率元件沒有發(fā)生故障時，在步驟S206中回報計算部21增加回報。另一方面，在判定為功率元件發(fā)生了故障時，在步驟S207中回報計算部21減少回報。

在步驟S208中，函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報計算部21計算出的回報來更新用于計算功率元件的預(yù)測壽命的函數(shù)(行為價值表)。

接著在步驟S209中，意圖決定部13基于在步驟S208中更新后的函數(shù)來選擇得到最多回報的功率元件的預(yù)測壽命，并將其輸出。將意圖決定部13決定的預(yù)測壽命輸出給通知部14。

在步驟S210中，向作業(yè)者通知由意圖決定部13計算出的預(yù)測壽命。又或者，通知部14基于由意圖決定部13計算出的預(yù)測壽命，向作業(yè)者通知用于催促更換功率元件的信息。

然后，返回到步驟S202。在此之后，直到作業(yè)者更換功率元件為止，重復(fù)執(zhí)行步驟S202～S209的處理。由此，機器學(xué)習(xí)裝置1學(xué)習(xí)功率元件的預(yù)測壽命。此外，也可以從多個電動機驅(qū)動裝置取得訓(xùn)練數(shù)據(jù)集，此時，學(xué)習(xí)部12根據(jù)針對多個電動機驅(qū)動裝置取得的訓(xùn)練數(shù)據(jù)集來重復(fù)執(zhí)行步驟S202～S210的處理，來學(xué)習(xí)預(yù)測壽命。在針對多個電動機驅(qū)動裝置取得了訓(xùn)練數(shù)據(jù)集時，機器學(xué)習(xí)裝置1的學(xué)習(xí)精度提高。

其次，對機器學(xué)習(xí)裝置1進行更詳細的說明。機器學(xué)習(xí)裝置1具有從裝置中輸入的數(shù)據(jù)的集合中，通過解析抽出其中有用的規(guī)則和知識表現(xiàn)、判斷基準等，輸出其判斷結(jié)果，并且進行知識學(xué)習(xí)的功能。如上所述，作為機器學(xué)習(xí)裝置1的學(xué)習(xí)算法，大致分為“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“強化學(xué)習(xí)”。并且，在實現(xiàn)這些方法的基礎(chǔ)上，具有對特征量自身的抽出進行學(xué)習(xí)的被稱為“深層學(xué)習(xí)”的方法。此外，這些機器學(xué)習(xí)(機器學(xué)習(xí)裝置1)例如通過應(yīng)用GPGPU(General-Purpose computing on Graphics Processing Units通用計算圖形處理器)或大規(guī)模PC集群等來實現(xiàn)。

“有教師學(xué)習(xí)”是通過向機器學(xué)習(xí)裝置1大量地賦予某個輸入和結(jié)果(標簽)的數(shù)據(jù)組合，學(xué)習(xí)這些數(shù)據(jù)集中具有的特征，可歸納性地獲得根據(jù)輸入推定結(jié)果的模型，即其關(guān)系性。當在本實施方式中應(yīng)用該有教師學(xué)習(xí)時，可以在計算功率元件的預(yù)測壽命的部分等中使用?？梢允褂煤笫龅纳窠?jīng)網(wǎng)絡(luò)等的算法來實現(xiàn)。

“無教師學(xué)習(xí)”是以下的方法：通過大量地向機器學(xué)習(xí)裝置1僅賦予輸入數(shù)據(jù)，來學(xué)習(xí)輸入數(shù)據(jù)怎樣分布，即使不賦予對應(yīng)的教師輸出數(shù)據(jù)，也可學(xué)習(xí)針對輸入數(shù)據(jù)進行壓縮、分類、整形等的裝置。例如，能夠按照彼此相似來對這些數(shù)據(jù)集所具有的特征進行分類。使用該結(jié)果，設(shè)置某種基準來進行使該基準成為最佳的輸出的分配，由此能夠?qū)崿F(xiàn)輸出的預(yù)測。

另外，作為“無教師學(xué)習(xí)”和“有教師學(xué)習(xí)”中間的問題設(shè)定，具有被稱為“半有教師學(xué)習(xí)”的方法，僅存在一部分的輸入和輸出的數(shù)據(jù)的組合，除此之外僅為輸入的數(shù)據(jù)(例如仿真的數(shù)據(jù))的情況相當于該“半有教師學(xué)習(xí)”。在本實施方式中，能夠通過無教師學(xué)習(xí)來使用即使不實際使電動機驅(qū)動裝置進行動作也能夠取得的數(shù)據(jù)，并高效地進行學(xué)習(xí)。

首先說明使機器學(xué)習(xí)裝置1的學(xué)習(xí)算法為強化學(xué)習(xí)的例子。

作為強化學(xué)習(xí)的問題設(shè)定，如下那樣考慮。

·電動機驅(qū)動裝置觀測環(huán)境的狀態(tài)，并決定行為。

·環(huán)境按照某種規(guī)則進行變化，并且有時自己的行為對環(huán)境賦予變化。

·每次行為時返回回報信號。

·期望最大化的是將來的(折扣)回報的總和。

·從完全不知道或者不完全知道行為引起的結(jié)果的狀態(tài)起開始學(xué)習(xí)。即，電動機驅(qū)動裝置實際開始進行動作從而能夠得到其結(jié)果來作為數(shù)據(jù)。即，需要一邊試錯一邊探索最佳的行為。

·能夠?qū)⒁阅７氯说膭幼鞯姆绞竭M行了事先學(xué)習(xí)(上述的有教師學(xué)習(xí)、或稱為逆強化學(xué)習(xí)的方法)的狀態(tài)作為初始狀態(tài)，從好的開始地點起開始進行學(xué)習(xí)。

在此，“強化學(xué)習(xí)”是指如下的方法：不僅學(xué)習(xí)判定和分類，還學(xué)習(xí)行為，由此基于行為對環(huán)境賦予的相互作用來學(xué)習(xí)適當?shù)男袨?，即進行用于使將來得到的回報成為最大的學(xué)習(xí)。這種情況在本實施方式中，表示為能夠正確地計算功率元件的預(yù)測壽命獲得對未來產(chǎn)生影響的行為。例如在為Q學(xué)習(xí)的情況下繼續(xù)進行說明，但是并不限于此。

Q學(xué)習(xí)是在某環(huán)境狀態(tài)s下，對選擇行為a的價值Q(s、a)進行學(xué)習(xí)的方法。即，在某狀態(tài)s時，選擇價值Q(s、a)最高的行為a來作為最佳的行為即可。但是，最初對于狀態(tài)s和行為a的組合，完全不知道價值Q(s、a)的正確值。因此，智能體(行為主體)在某狀態(tài)s下選擇各種行為a，針對此時的行為a賦予回報。由此，智能體學(xué)習(xí)了更好的行為選擇，即學(xué)習(xí)了正確的價值Q(s、a)。

并且，作為行為的結(jié)果，期望使將來得到的回報的總和最大化，因此以最終成為Q(s，a)＝E[Σγ^tr_t]為目標。在此，對于按照最佳的行為進行了狀態(tài)變化的時候得到期待值。因為不清楚這些，所以必須一邊探索一邊學(xué)習(xí)。這樣的價值Q(s、a)的更新式例如能夠通過下式來表示。

[式1]

在上述的式1中，s_t表示時刻t的環(huán)境狀態(tài)，a_t表示時刻t的行為。通過行為a_t，狀態(tài)變化為s_t+1。r_t+1表示通過該狀態(tài)的變化而得到的回報。另外，帶有max的項是在狀態(tài)s_t+1下，在選擇了此時知道的Q值最高的行為a時的Q值乘以γ的項。γ是0＜γ≤1的參數(shù)，被稱為折扣率。a是學(xué)習(xí)系數(shù)，范圍是0＜α≤1。

式1表示基于作為嘗試a_t的結(jié)果而返回的回報r_t+1，對狀態(tài)s_t下的行為a_t的評價值Q(s_t、a_t)進行更新的方法。表示了與狀態(tài)s下的行為a的評價值Q(s_t、a_t)相比，如果回報r_t+1+基于行為a的下一個狀態(tài)下的最佳的行為max a的評價值Q(s_t+1、max a_t+1)大，則增大Q(s_t、a_t)，反之如果小，則減小Q(s_t、a_t)。即，使某種狀態(tài)下的某種行為的價值接近作為結(jié)果立即返回的回報和基于該行為的下一個狀態(tài)下的最佳的行為的價值。

在這里，關(guān)于Q(s、a)在計算機上的表現(xiàn)方法，具有針對全部的狀態(tài)行為對(s、a)，將其值作為表(行為價值表)進行保存的方法、準備對Q(s、a)進行近似的函數(shù)的方法。在后者的方法中，上述的更新式能夠通過使用隨機梯度下降法等方法調(diào)整近似函數(shù)的參數(shù)來實現(xiàn)。作為近似函數(shù)，能夠使用后述的神經(jīng)網(wǎng)絡(luò)。

另外，作為有教師學(xué)習(xí)、無教師學(xué)習(xí)、以及強化學(xué)習(xí)中的價值函數(shù)的近似算法，能夠使用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)例如由實現(xiàn)神經(jīng)網(wǎng)絡(luò)的運算裝置以及存儲器等構(gòu)成，該神經(jīng)網(wǎng)絡(luò)模擬圖8所示的神經(jīng)元模型。

如圖8所示，神經(jīng)元輸出與多個輸入x(在圖8中，作為一個例子為輸入x₁～輸入x₃)相對的輸出y。對各輸入x₁～x₃乘以與該輸入x對應(yīng)的權(quán)重w(w₁～w₃)。由此，神經(jīng)元輸出式2表現(xiàn)的輸出y。此外，輸入x、輸出y以及權(quán)重w全是矢量。另外，在下式2中，θ為偏置，f_k為激活函數(shù)。

[式2]

其次，參照圖9對具有將上述神經(jīng)元進行組合后的三層的權(quán)重的神經(jīng)網(wǎng)絡(luò)進行說明。圖9是表示具有D1～D3的三層權(quán)重的神經(jīng)網(wǎng)絡(luò)的示意圖。

如圖9所示，從神經(jīng)網(wǎng)絡(luò)的左側(cè)輸入多個輸入x(在此作為一個例子，輸入x1～輸入x3)，從右側(cè)輸出結(jié)果y(在此作為一個例子，結(jié)果y1～結(jié)果y3)。

具體來說，針對三個神經(jīng)元N11～N13，將輸入x1～輸入x3分別乘以對應(yīng)的權(quán)重后進行輸入。將這些輸入乘以的權(quán)重統(tǒng)一標記為w1。

神經(jīng)元N11～N13分別輸出z11～z13。在圖9中，將這些z11～z13統(tǒng)一標記為特征矢量z1，能夠視為抽出了輸入矢量的特征量的矢量。該特征矢量z1是權(quán)重w1和權(quán)重w2之間的特征矢量。針對兩個神經(jīng)元N21、N22，將z11～z13分別乘以對應(yīng)的權(quán)重后進行輸入。將這些特征矢量乘以的權(quán)重統(tǒng)一標記為w2。

神經(jīng)元N21、N22分別輸出z21、z22。在圖9中，將這些z21、z22統(tǒng)一標記為特征矢量z2。該特征矢量z2是權(quán)重w2和權(quán)重w3之間的特征矢量。針對三個神經(jīng)元N31～N33，將特征矢量z21、z22乘以對應(yīng)的權(quán)重后進行輸入。將這些特征矢量乘以的權(quán)重統(tǒng)一標記為w3。

最后，神經(jīng)元N11～N13分別輸出結(jié)果y1～結(jié)果y3。

在神經(jīng)網(wǎng)絡(luò)的動作中，具有學(xué)習(xí)模式和價值預(yù)測模式。例如，在學(xué)習(xí)模式中使用學(xué)習(xí)數(shù)據(jù)集來學(xué)習(xí)權(quán)重w，使用其參數(shù)在預(yù)測模式中進行電動機驅(qū)動裝置的行為判斷。為了方便記載為預(yù)測，但是能夠進行檢測、分類、推論等多種多樣的任務(wù)。

在此，既能夠即時學(xué)習(xí)在預(yù)測模式中實際使電動機驅(qū)動裝置進行動作而得到的數(shù)據(jù)，并將該數(shù)據(jù)反映到下次的行為中(在線學(xué)習(xí))，也能夠使用預(yù)先收集的數(shù)據(jù)群來進行總結(jié)學(xué)習(xí)，以后一直使用該參數(shù)進行檢測模式(批量學(xué)習(xí))?；蛘撸谶@中間，能夠在每次積累了一定程度數(shù)據(jù)時間隔學(xué)習(xí)模式。

另外，權(quán)重w1～w3能夠通過誤差逆?zhèn)鞑シ?反向傳播)進行學(xué)習(xí)。誤差的信息從右側(cè)進入流向左側(cè)。誤差逆?zhèn)鞑シㄊ侨缦路椒ǎ横槍Ω魃窠?jīng)元調(diào)整(學(xué)習(xí))各個權(quán)重，從而減小輸入了輸入x時的輸出y和真實的輸出y(教師)之間的差。

這樣的神經(jīng)網(wǎng)絡(luò)可以在三層以上進一步增加層(稱為深層學(xué)習(xí))。能夠一步一步地進行輸入的特征抽出，僅從教師數(shù)據(jù)自動地獲得返回結(jié)果的運算裝置。

在此，本實施方式的機器學(xué)習(xí)裝置1為了實施上述的Q學(xué)習(xí)，例如如圖5所示，具備狀態(tài)觀測部11、學(xué)習(xí)部12以及意圖決定部13。但是，用于本發(fā)明的機器學(xué)習(xí)方法并不限于Q學(xué)習(xí)，可以采用如上所述的方法。即，能夠采用可在機器學(xué)習(xí)裝置中使用的方法，即“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“半有教師學(xué)習(xí)”以及“強化學(xué)習(xí)”等各種各樣的方法。這些的機器學(xué)習(xí)(機器學(xué)習(xí)裝置1)例如能夠通過應(yīng)用GPGPU或大規(guī)模PC集群等來實現(xiàn)。例如在應(yīng)用有教師學(xué)習(xí)時，價值函數(shù)與學(xué)習(xí)模型相對應(yīng)，回報與誤差相對應(yīng)。此外，作為其行為價值表，能夠采用使用上述的神經(jīng)網(wǎng)絡(luò)進行近似的函數(shù)，這在s以及a的信息量巨大時特別有效。

接下來，說明將機器學(xué)習(xí)裝置1的學(xué)習(xí)算法設(shè)為有教師學(xué)習(xí)的例子。

圖10是表示實施例的具備應(yīng)用了有教師學(xué)習(xí)的機器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機驅(qū)動裝置的原理框圖。通過將圖10與上述的圖5進行比較可知，圖10所示的具備電動機控制裝置(在該電動機控制裝置中具備應(yīng)用了有教師學(xué)習(xí)的機器學(xué)習(xí)裝置)的電動機驅(qū)動裝置相對于圖5所示的具備應(yīng)用了Q學(xué)習(xí)(強化學(xué)習(xí))的機器學(xué)習(xí)裝置的電動機控制裝置，還具備結(jié)果(標簽)提供部40。另外，圖10中的機器學(xué)習(xí)裝置1具備狀態(tài)觀測部11、包含誤差計算部23以及學(xué)習(xí)模型更新部24的學(xué)習(xí)部15、以及意圖決定部16。

在圖10所示的具備應(yīng)用了有教師學(xué)習(xí)的機器學(xué)習(xí)裝置的電動機控制裝置中，誤差計算部23以及學(xué)習(xí)模型更新部24分別與圖5所示的應(yīng)用了Q學(xué)習(xí)的電動機控制裝置中的回報計算部21以及函數(shù)更新部22相對應(yīng)。但是，從結(jié)果提供部40向誤差計算部23輸入結(jié)果(標簽)。其他的結(jié)構(gòu)與上述的圖5相同，在此省略其說明。

結(jié)果提供部40向?qū)W習(xí)部15的誤差計算部23提供(輸入)附帶標簽的數(shù)據(jù)(結(jié)果)，誤差計算部23取得來自狀態(tài)觀測部11的信號，并且取得來自結(jié)果提供部40的附帶標簽的數(shù)據(jù)從而進行誤差計算，并且，學(xué)習(xí)模型更新部24進行學(xué)習(xí)模型的更新。在此，結(jié)果提供部40例如在電動機驅(qū)動裝置1000的處理相同時，例如能夠保存直到使電動機驅(qū)動裝置1000進行驅(qū)動的預(yù)定日的前一日為止得到的附帶標簽的數(shù)據(jù)，并在該預(yù)定日向誤差計算部23提供該結(jié)果提供部40保存的附帶標簽的數(shù)據(jù)。

或者，能夠通過存儲卡或通信線路向該電動機驅(qū)動裝置1000的誤差計算部23提供通過在電動機驅(qū)動裝置1000外部進行的仿真等得到的數(shù)據(jù)、或者其他電動機驅(qū)動裝置的附帶標簽的數(shù)據(jù)。并且，能夠通過閃速存儲器(Flash Memory)等非易失性存儲器構(gòu)成結(jié)果提供部40，將結(jié)果提供部(非易失性存儲器)40內(nèi)置在學(xué)習(xí)部15中，由學(xué)習(xí)部15直接使用在該結(jié)果提供部40中保存的附帶標簽的數(shù)據(jù)。

關(guān)于圖10所示的電動機驅(qū)動裝置1000中具備的機器學(xué)習(xí)裝置1的動作，為了取得功率元件的預(yù)測壽命，例如，誤差計算部23根據(jù)從結(jié)果提供部40輸入的結(jié)果，基于狀態(tài)變量來計算誤差，并更新學(xué)習(xí)模型更新部24中的學(xué)習(xí)模型。

此外，作為機器學(xué)習(xí)裝置1，并不限于應(yīng)用上述的強化學(xué)習(xí)(例如Q學(xué)習(xí))或有教師學(xué)習(xí)，能夠應(yīng)用各種各樣的機器學(xué)習(xí)的算法。

此外，上述的狀態(tài)觀測部11、學(xué)習(xí)部12和15以及意圖決定部13和16例如可以由軟件程序形式來構(gòu)筑，或者也可以通過各種電子電路和軟件程序的組合來構(gòu)筑。例如在將它們由軟件程序形式來構(gòu)筑時，能夠按照該軟件程序來使電動機驅(qū)動裝置1000內(nèi)所具有的運算處理裝置進行動作，或者通過在云服務(wù)器上運行該軟件程序來實現(xiàn)上述各部位的功能。又或者，也可以將具備狀態(tài)觀測部11以及學(xué)習(xí)部12、15的機器學(xué)習(xí)裝置1作為寫入了用于實現(xiàn)各部功能的軟件程序的半導(dǎo)體集成電路來實現(xiàn)。又或者，可以通過不僅包含具備狀態(tài)觀測部11以及學(xué)習(xí)部12、15的機器學(xué)習(xí)裝置1，還包含意圖決定部13、16的形式，來實現(xiàn)寫入了用于實現(xiàn)各部功能的軟件程序的半導(dǎo)體集成電路。

另外，因為使用電動機驅(qū)動控制裝置1000為了驅(qū)動控制交流電動機2而原本具備的傳感器所檢測的數(shù)據(jù)來執(zhí)行機器學(xué)習(xí)處理1，因此不需要另外設(shè)置新的硬件裝置，所以能夠在之后安裝到既有的電動機驅(qū)動裝置中來應(yīng)用。此時，可以在該既有的電動機驅(qū)動裝置中安裝寫入了用于實現(xiàn)機器學(xué)習(xí)裝置1和意圖決定部13、16的各部功能的軟件程序的半導(dǎo)體集成電路，或者可以在該既有的電動機驅(qū)動裝置內(nèi)的運算處理裝置中追加安裝用于實現(xiàn)機器學(xué)習(xí)裝置1和意圖決定部13、16的各部功能的軟件程序自身。另外，也可以將針對某個電動機驅(qū)動裝置內(nèi)的功率元件學(xué)習(xí)了預(yù)測壽命的機器學(xué)習(xí)裝置1安裝到與之不同的其他電動機驅(qū)動裝置中，針對該其他的電動機驅(qū)動裝置內(nèi)的功率元件再次學(xué)習(xí)預(yù)測壽命來進行更新。

通過本發(fā)明，能夠?qū)崿F(xiàn)能夠正確且容易地預(yù)測功率元件的預(yù)測壽命的機器學(xué)習(xí)裝置及方法以及具備該機器學(xué)習(xí)裝置的壽命預(yù)測裝置及電動機驅(qū)動裝置。

通過本發(fā)明的機器學(xué)習(xí)裝置及其方法，能夠一邊實際地使電動機驅(qū)動裝置進行動作一邊學(xué)習(xí)電動機驅(qū)動裝置中的電力供給部內(nèi)的功率元件的預(yù)測壽命，所以能夠?qū)W習(xí)與實際的使用狀況相應(yīng)的正確的預(yù)測壽命。另外，通過本發(fā)明的具備機器學(xué)習(xí)裝置的壽命預(yù)測裝置以及電動機驅(qū)動裝置，能夠容易計算與實際的使用狀況相應(yīng)的正確的預(yù)測壽命。由此，作業(yè)者因為能夠得知功率元件的正確的預(yù)測壽命，所以能夠在功率元件無法運轉(zhuǎn)之前更換功率元件，不會超出功率元件的更換定時，因此能夠事先防止功率元件的故障或由于達到壽命而引起的重大事故。如此能夠在適當?shù)臅r期進行功率元件的更換，從而能夠消減不需要的設(shè)計余量，并且能夠減少功率元件的庫存。另外，因為能夠得知在計算預(yù)測壽命時得到的對功率元件的壽命造成大的影響的運轉(zhuǎn)狀態(tài)，所以能夠采取措施來變更對功率元件的壽命造成影響的運轉(zhuǎn)狀態(tài)。例如，設(shè)計者能夠采取對電動機驅(qū)動裝置的周圍環(huán)境進行調(diào)整從而成為延長功率元件的壽命的適當溫度這樣的措施，或者采取變更輸出電壓、輸出電流或開關(guān)頻率這樣的運轉(zhuǎn)條件的措施。