本技術(shù)涉及車輛故障診斷，具體涉及一種車輛故障診斷模型及其訓(xùn)練和使用方法、裝置及介質(zhì)。

背景技術(shù)：

1、隨著人們生活水平的不斷提高，越來(lái)越多的家庭都購(gòu)買汽車作為代步工具。然而汽車在使用過(guò)程中可能會(huì)出現(xiàn)各種故障，特別是在汽車的行駛過(guò)程中出現(xiàn)的故障需要及時(shí)發(fā)現(xiàn)和處理，以保證行駛安全性。

2、隨著新能源汽車技術(shù)的不斷發(fā)展，越來(lái)越多的汽車都可以聯(lián)網(wǎng)云平臺(tái)，在車輛發(fā)生故障時(shí)，故障反饋機(jī)制會(huì)將故障信號(hào)和故障數(shù)據(jù)上傳至云平臺(tái)，以供運(yùn)維人員查看和分析故障。目前云平臺(tái)也有采用機(jī)器學(xué)習(xí)的方式對(duì)故障信息和故障數(shù)據(jù)進(jìn)行分析，以識(shí)別故障類型和解決措施，然而該機(jī)器學(xué)習(xí)方式只能診斷單一類型的故障，其他類型的故障識(shí)別精度較低，對(duì)于不同類型的故障則需要重新構(gòu)建和訓(xùn)練模型，這樣就會(huì)導(dǎo)致較大的時(shí)間成本和經(jīng)濟(jì)成本。

3、因此，亟需構(gòu)建一種針對(duì)多種類型的故障可以進(jìn)行高效和高精度識(shí)別、診斷的模型。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，提出了本技術(shù)。本技術(shù)的實(shí)施例提供了一種車輛故障診斷模型及其訓(xùn)練和使用方法、裝置及介質(zhì)。

2、根據(jù)本技術(shù)的一個(gè)方面，提供了一種車輛故障診斷模型的訓(xùn)練方法，包括：獲取故障數(shù)據(jù)；其中，所述故障數(shù)據(jù)包括故障信號(hào)、故障描述文本和真實(shí)故障類型，所述故障信號(hào)和所述故障描述文本均包括時(shí)間特征和空間特征；根據(jù)所述故障信號(hào)，獲得故障圖片；其中，所述故障圖片由所述故障信號(hào)進(jìn)行時(shí)頻域轉(zhuǎn)化獲得；根據(jù)所述故障圖片、所述故障描述文本和初始模型，獲得與所述故障圖片和所述故障描述文本所對(duì)應(yīng)的預(yù)測(cè)故障類型；其中，所述初始模型包括知識(shí)交融模塊和分類模塊，所述知識(shí)交融模塊用于基于所述時(shí)間特征和所述空間特征融合所述故障圖片和所述故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，所述分類模塊用于基于所述圖片特征和所述文本特征獲得所述預(yù)測(cè)故障類型；調(diào)整所述初始模型的模型參數(shù)，以減少所述真實(shí)故障類型和所述預(yù)測(cè)故障類型之間的損失，獲得所述車輛故障診斷模型。

3、在一實(shí)施例中，所述調(diào)整所述初始模型的模型參數(shù)，以減少所述真實(shí)故障類型和所述預(yù)測(cè)故障類型之間的損失，獲得所述車輛故障診斷模型，包括：基于所述故障圖片和所述故障描述文本，計(jì)算所述初始模型的空間損失函數(shù)；基于所述故障圖片和所述故障描述文本，計(jì)算所述初始模型的時(shí)間損失函數(shù)；基于所述空間損失函數(shù)和所述時(shí)間損失函數(shù)，計(jì)算所述初始模型的損失函數(shù)；基于所述初始模型的損失函數(shù)，調(diào)整所述初始模型的模型參數(shù)，以實(shí)現(xiàn)所述真實(shí)故障類型和所述預(yù)測(cè)故障類型之間的損失小于預(yù)設(shè)的損失閾值，獲得所述車輛故障診斷模型。

4、在一實(shí)施例中，所述基于所述故障圖片和所述故障描述文本，計(jì)算所述初始模型的空間損失函數(shù)，包括：所述知識(shí)交融模塊包括多個(gè)前向反饋層，采用多個(gè)所述前向反饋層分別對(duì)所述故障圖片和所述故障描述文本進(jìn)行特征識(shí)別，得到多個(gè)特征對(duì)；其中，每個(gè)特征對(duì)包括同一個(gè)故障對(duì)應(yīng)的圖片特征和文本特征；基于多個(gè)所述特征對(duì)，計(jì)算所述空間損失函數(shù)。

5、在一實(shí)施例中，所述采用多個(gè)所述前向反饋層分別對(duì)所述故障圖片和所述故障描述文本進(jìn)行特征識(shí)別，得到多個(gè)特征對(duì)，包括：計(jì)算每個(gè)所述前向反饋層識(shí)別所述故障圖片和所述故障描述文本的概率；按照所述概率由大至小選取預(yù)定數(shù)量的所述前向反饋層對(duì)所述故障圖片和所述故障描述文本進(jìn)行特征識(shí)別，得到多個(gè)所述特征對(duì)。

6、在一實(shí)施例中，所述基于多個(gè)所述特征對(duì)，計(jì)算所述空間損失函數(shù)，包括：計(jì)算每個(gè)所述特征對(duì)中所述故障圖片和所述故障描述文本的全局損失函數(shù)和局部損失函數(shù)；基于所有所述特征對(duì)對(duì)應(yīng)的所述全局損失函數(shù)和所述局部損失函數(shù)，計(jì)算所述空間損失函數(shù)。

7、在一實(shí)施例中，所述基于所述故障圖片和所述故障描述文本，計(jì)算所述初始模型的時(shí)間損失函數(shù)，包括：計(jì)算所述故障圖片和所述故障描述文本在時(shí)間維度的偏差；基于所述故障圖片和所述故障描述文本在時(shí)間維度的偏差，計(jì)算所述時(shí)間損失函數(shù)。

8、在一實(shí)施例中，所述基于所述時(shí)間特征和所述空間特征融合所述故障圖片和所述故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，包括：計(jì)算所述故障圖片和所述故障描述文本之間的時(shí)間偏差、所述故障圖片和所述故障描述文本之間的空間位置偏差；融合所述時(shí)間偏差小于預(yù)設(shè)時(shí)間閾值且所述空間位置偏差小于預(yù)設(shè)距離閾值的所述故障圖片和所述故障描述文本以得到所述圖片特征和所述文本特征。

9、根據(jù)本技術(shù)的另一個(gè)方面，提供了一種車輛故障診斷模型，包括：知識(shí)交融模塊和分類模塊，所述知識(shí)交融模塊用于基于時(shí)間特征和空間特征融合故障圖片和故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，所述分類模塊用于基于所述圖片特征和所述文本特征得到車輛故障類型；其中，所述車輛故障診斷模型采用上述任一項(xiàng)所述的車輛故障診斷模型的訓(xùn)練方法得到。

10、在一實(shí)施例中，所述知識(shí)交融模塊包括多個(gè)前向反饋層，多個(gè)所述前向反饋層分別對(duì)所述故障圖片和所述故障描述文本進(jìn)行特征識(shí)別，得到多個(gè)特征對(duì)；其中，每個(gè)特征對(duì)包括同一個(gè)故障對(duì)應(yīng)的圖片特征和文本特征。

11、根據(jù)本技術(shù)的另一個(gè)方面，提供了一種車輛故障診斷模型的使用方法，包括：獲取目標(biāo)車輛的故障數(shù)據(jù)；其中，所述目標(biāo)車輛的故障數(shù)據(jù)包括所述目標(biāo)車輛的故障信號(hào)和故障描述文本；將所述目標(biāo)車輛的故障信號(hào)和故障描述文本輸入車輛故障診斷模型，得到所述目標(biāo)車輛的故障類型；其中，所述車輛故障診斷模型采用上述任一項(xiàng)所述的車輛故障診斷模型的訓(xùn)練方法得到。

12、根據(jù)本技術(shù)的另一個(gè)方面，提供了一種車輛故障診斷模型的訓(xùn)練裝置，包括：故障數(shù)據(jù)獲取模塊，用于獲取故障數(shù)據(jù)；其中，所述故障數(shù)據(jù)包括故障信號(hào)、故障描述文本和真實(shí)故障類型，所述故障信號(hào)和所述故障描述文本均包括時(shí)間特征和空間特征；故障圖片獲取模塊，用于根據(jù)所述故障信號(hào)，獲得故障圖片；其中，所述故障圖片由所述故障信號(hào)進(jìn)行時(shí)頻域轉(zhuǎn)化獲得；預(yù)測(cè)類型識(shí)別模塊，用于根據(jù)所述故障圖片、所述故障描述文本和初始模型，獲得與所述故障圖片和所述故障描述文本所對(duì)應(yīng)的預(yù)測(cè)故障類型，其中，所述初始模型包括知識(shí)交融模塊和分類模塊，所述知識(shí)交融模塊用于基于所述時(shí)間特征和所述空間特征融合所述故障圖片和所述故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，所述分類模塊用于基于所述圖片特征和所述文本特征獲得所述預(yù)測(cè)故障類型；模型參數(shù)調(diào)整模塊，用于調(diào)整所述初始模型的模型參數(shù)，以減少所述真實(shí)故障類型和所述預(yù)測(cè)故障類型之間的損失，獲得所述車輛故障診斷模型。

13、根據(jù)本技術(shù)的另一個(gè)方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行上述任一所述的車輛故障診斷模型的訓(xùn)練方法、和/或上述的車輛故障診斷模型的使用方法。

14、本技術(shù)提供的一種車輛故障診斷模型及其訓(xùn)練和使用方法、裝置及介質(zhì)，通過(guò)獲取故障數(shù)據(jù)；其中，故障數(shù)據(jù)包括故障信號(hào)、故障描述文本和真實(shí)故障類型，故障信號(hào)和故障描述文本均包括時(shí)間特征和空間特征；根據(jù)故障信號(hào)，獲得故障圖片；其中，故障圖片由故障信號(hào)進(jìn)行時(shí)頻域轉(zhuǎn)化獲得；根據(jù)故障圖片、故障描述文本和初始模型，獲得與故障圖片和故障描述文本所對(duì)應(yīng)的預(yù)測(cè)故障類型；其中，初始模型包括知識(shí)交融模塊和分類模塊，知識(shí)交融模塊用于基于時(shí)間特征和空間特征融合故障圖片和故障描述文本以得到故障圖片的圖片特征和故障描述文本的文本特征，分類模塊用于基于圖片特征和文本特征獲得預(yù)測(cè)故障類型；調(diào)整初始模型的模型參數(shù)，以減少真實(shí)故障類型和預(yù)測(cè)故障類型之間的損失，獲得車輛故障診斷模型；即通過(guò)獲取故障信號(hào)、故障描述文本和真實(shí)故障類型以獲知故障的時(shí)間特征和空間特征以及不同類型的故障之間的關(guān)聯(lián)性，從而可以實(shí)現(xiàn)多種類型的故障診斷，并且將故障信號(hào)轉(zhuǎn)換為故障圖片以降低故障信號(hào)中的噪聲信號(hào)，基于時(shí)間特征和空間特征融合故障圖片和故障描述文本以得到故障圖片的圖片特征和故障描述文本的文本特征，并基于圖片特征和文本特征以獲得預(yù)測(cè)故障類型，以融合多模態(tài)特征提高診斷精度，且從時(shí)間和空間兩個(gè)維度匹配圖片特征和文本特征，以進(jìn)一步提高模型的診斷精度和準(zhǔn)確性。