與本公開的示例性的實(shí)施方式整合的系統(tǒng)和方法涉及提供對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行評(píng)價(jià)的流水線。

背景技術(shù)：

1、機(jī)器學(xué)習(xí)(ml：machine?learning)模型可以為了使各種各樣的任務(wù)自動(dòng)化而使用。在開發(fā)ml模型時(shí)，開發(fā)者可能具有需要由ml模型滿足的特定的基準(zhǔn)或參數(shù)。例如，在ml模型旨在使安全關(guān)鍵(safety-critical)任務(wù)自動(dòng)化的情況下，ml模型可能需要達(dá)成特定的可靠性評(píng)價(jià)。因此，為了保證ml模型能滿足標(biāo)準(zhǔn)，開發(fā)者可能需要通過(guò)進(jìn)行ml評(píng)價(jià)來(lái)對(duì)ml模型進(jìn)行測(cè)試和評(píng)價(jià)。

2、在關(guān)聯(lián)技術(shù)中，為了自動(dòng)地決定模型是否良好，可以使用簡(jiǎn)單的指標(biāo)。例如，可以將平均精度的均值(map：mean?average?precision)用作表示ml模型是良好，還是差，或者是優(yōu)秀的簡(jiǎn)單的數(shù)值。

3、以往技術(shù)的系統(tǒng)和方法所使用的對(duì)ml模型進(jìn)行評(píng)價(jià)的進(jìn)程會(huì)是被限定的并且低速的。特別是，通常，在ml評(píng)價(jià)進(jìn)程中使用的各組件是獨(dú)立的。例如，獲取測(cè)試數(shù)據(jù)的部件、ml模型本身、ml評(píng)價(jià)測(cè)試單元可以全部位于單獨(dú)的系統(tǒng)內(nèi)。而且，在關(guān)聯(lián)技術(shù)中，評(píng)價(jià)進(jìn)程中的各步驟可能需要人類用戶解釋ml評(píng)價(jià)的結(jié)果，并考慮如何反復(fù)進(jìn)行評(píng)價(jià)進(jìn)程以獲取更優(yōu)化的ml模型。

4、因此，為了進(jìn)行ml評(píng)價(jià)，需要更合理化和自動(dòng)化的方法。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)一個(gè)以上的示例性的實(shí)施方式，提供對(duì)機(jī)器學(xué)習(xí)(ml)模型進(jìn)行評(píng)價(jià)的裝置和方法。特別是，示例性的實(shí)施方式的裝置和方法可以是，在要件管理層中接收從存儲(chǔ)層獲取的至少一個(gè)要件，在要件管理層中解釋要件，通過(guò)要件管理層基于被解釋的測(cè)試參數(shù)將用于進(jìn)行ml評(píng)價(jià)進(jìn)程的命令發(fā)送至執(zhí)行層。可以是，當(dāng)完成ml評(píng)價(jià)進(jìn)程時(shí)，通過(guò)執(zhí)行層發(fā)送具有ml評(píng)價(jià)進(jìn)程的結(jié)果的輸出信號(hào)?？梢允?，基于輸出信號(hào)，結(jié)果的信息顯示于用戶接口(ui：user?interface)。因此，能使構(gòu)成以及執(zhí)行ml評(píng)價(jià)進(jìn)程的整個(gè)進(jìn)程合理化/封裝化在單個(gè)流水線，可以任意選擇性地使用連接于流水線的層的用戶接口來(lái)呈現(xiàn)給用戶，因此能改善評(píng)價(jià)進(jìn)程的自動(dòng)化。

2、根據(jù)實(shí)施方式，可以提供對(duì)ml模型進(jìn)行評(píng)價(jià)的方法。方法可以包括：通過(guò)要件管理層接收從存儲(chǔ)層獲取的至少一個(gè)要件；通過(guò)要件管理層對(duì)至少一個(gè)要件進(jìn)行解釋；以及通過(guò)要件管理層基于被解釋的測(cè)試參數(shù)將用于進(jìn)行ml評(píng)價(jià)進(jìn)程的命令發(fā)送至執(zhí)行層，其中，執(zhí)行層當(dāng)完成ml評(píng)價(jià)進(jìn)程時(shí)，發(fā)送具有ml評(píng)價(jià)進(jìn)程的結(jié)果的輸出信號(hào)。

3、至少一個(gè)測(cè)試參數(shù)可以為要件代碼(rac：requirements?as?code)文件的形態(tài)。

4、可以是，存儲(chǔ)層與第一用戶接口進(jìn)行通信，該第一用戶接口被配置為使用戶能對(duì)至少一個(gè)測(cè)試參數(shù)進(jìn)行編輯。

5、可以是，執(zhí)行層被配置為將輸出信號(hào)發(fā)送至第二用戶接口，該第二用戶接口被配置為顯示ml評(píng)價(jià)進(jìn)程的結(jié)果。

6、第一用戶接口和第二用戶接口可以同時(shí)顯示。

7、執(zhí)行層可以包括結(jié)論推定組件和單元測(cè)試組件，當(dāng)接收到用于進(jìn)行ml評(píng)價(jià)進(jìn)程的命令時(shí)，結(jié)論推定組件被配置為接收測(cè)試數(shù)據(jù)，并基于測(cè)試數(shù)據(jù)和用于從ml模型獲取輸出的命令來(lái)進(jìn)行結(jié)論推定進(jìn)程，單元測(cè)試組件被配置為基于來(lái)自ml模型的輸出和用于獲取指標(biāo)的命令來(lái)進(jìn)行評(píng)價(jià)進(jìn)程。

8、可以是，結(jié)論推定組件被配置為從測(cè)試數(shù)據(jù)存儲(chǔ)層接收測(cè)試數(shù)據(jù)。

9、根據(jù)實(shí)施方式，可以提供對(duì)機(jī)器學(xué)習(xí)(ml)模型進(jìn)行評(píng)價(jià)的裝置。裝置可以包括：至少一個(gè)存儲(chǔ)器，存儲(chǔ)計(jì)算機(jī)可執(zhí)行命令；以及至少一個(gè)處理器，至少一個(gè)處理器被配置為執(zhí)行計(jì)算機(jī)可執(zhí)行命令，以進(jìn)行以下處理：通過(guò)要件管理層接收從存儲(chǔ)層獲取的至少一個(gè)要件；通過(guò)要件管理層對(duì)至少一個(gè)要件進(jìn)行解釋；以及通過(guò)要件管理層基于被解釋的要件將用于進(jìn)行ml評(píng)價(jià)進(jìn)程的命令發(fā)送至執(zhí)行層，其中，執(zhí)行層當(dāng)完成ml評(píng)價(jià)進(jìn)程時(shí)，發(fā)送具有ml評(píng)價(jià)進(jìn)程的結(jié)果的輸出信號(hào)。

10、追加的方案將在以下的說(shuō)明中部分地記載，部分地根據(jù)說(shuō)明而顯而易見，或者可以通過(guò)本公開所呈現(xiàn)的實(shí)施方式的實(shí)施來(lái)實(shí)現(xiàn)。

技術(shù)特征：

1.一種機(jī)器學(xué)習(xí)評(píng)價(jià)方法，是對(duì)機(jī)器學(xué)習(xí)ml模型進(jìn)行評(píng)價(jià)的方法，其中，

2.根據(jù)權(quán)利要求1所述的機(jī)器學(xué)習(xí)評(píng)價(jià)方法，其中，

3.根據(jù)權(quán)利要求1或2所述的機(jī)器學(xué)習(xí)評(píng)價(jià)方法，其中，

4.根據(jù)權(quán)利要求3所述的機(jī)器學(xué)習(xí)評(píng)價(jià)方法，其中，

5.根據(jù)權(quán)利要求4所述的機(jī)器學(xué)習(xí)評(píng)價(jià)方法，其中，

6.根據(jù)權(quán)利要求5所述的機(jī)器學(xué)習(xí)評(píng)價(jià)方法，其中，

7.根據(jù)權(quán)利要求6所述的機(jī)器學(xué)習(xí)評(píng)價(jià)方法，其中，

8.一種機(jī)器學(xué)習(xí)評(píng)價(jià)裝置，是對(duì)機(jī)器學(xué)習(xí)ml模型進(jìn)行評(píng)價(jià)的裝置，其中，

9.根據(jù)權(quán)利要求8所述的機(jī)器學(xué)習(xí)評(píng)價(jià)裝置，其中，

10.根據(jù)權(quán)利要求8或9所述的機(jī)器學(xué)習(xí)評(píng)價(jià)裝置，其中，

11.根據(jù)權(quán)利要求10所述的機(jī)器學(xué)習(xí)評(píng)價(jià)裝置，其中，

12.根據(jù)權(quán)利要求11所述的機(jī)器學(xué)習(xí)評(píng)價(jià)裝置，其中，

13.根據(jù)權(quán)利要求12所述的機(jī)器學(xué)習(xí)評(píng)價(jià)裝置，其中，

14.根據(jù)權(quán)利要求13所述的機(jī)器學(xué)習(xí)評(píng)價(jià)裝置，其中，

15.一種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，記錄能通過(guò)至少一個(gè)處理器執(zhí)行的命令以使所述處理器執(zhí)行機(jī)器學(xué)習(xí)評(píng)價(jià)方法，其中，

16.根據(jù)權(quán)利要求15所述的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，其中，

17.根據(jù)權(quán)利要求15或16所述的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，其中，

18.根據(jù)權(quán)利要求17所述的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，其中，

19.根據(jù)權(quán)利要求18所述的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，其中，

20.根據(jù)權(quán)利要求19所述的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，其中，

技術(shù)總結(jié)
本公開提供對(duì)機(jī)器學(xué)習(xí)(ML)模型進(jìn)行評(píng)價(jià)的機(jī)器學(xué)習(xí)評(píng)價(jià)方法、機(jī)器學(xué)習(xí)評(píng)價(jià)裝置及可讀記錄介質(zhì)。方法可以包括：通過(guò)要件管理層接收從存儲(chǔ)層獲取的至少一個(gè)要件；通過(guò)要件管理層對(duì)至少一個(gè)要件進(jìn)行解釋；以及通過(guò)要件管理層基于被解釋的要件將用于進(jìn)行ML評(píng)價(jià)進(jìn)程的命令發(fā)送至執(zhí)行層，其中，執(zhí)行層當(dāng)完成ML評(píng)價(jià)進(jìn)程時(shí)，發(fā)送具有ML評(píng)價(jià)進(jìn)程的結(jié)果的輸出信號(hào)。

技術(shù)研發(fā)人員：橋本大輔,中津川英治,小出粹玄
受保護(hù)的技術(shù)使用者：織望豐田股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19