本發(fā)明涉及機(jī)器學(xué)習(xí)(ml)可解釋性(mlx)。本文介紹了一種基于由數(shù)據(jù)集樣本的特征置換建立的超特征重要性的黑盒ml模型的局部解釋技術(shù)。

背景技術(shù)：

1、機(jī)器學(xué)習(xí)(ml)和深度學(xué)習(xí)之所以變得無(wú)處不在，主要有兩個(gè)原因：它們能夠解決各種不同領(lǐng)域的復(fù)雜問(wèn)題，以及現(xiàn)代計(jì)算資源的性能和效率不斷提高。但是，隨著問(wèn)題的復(fù)雜性不斷增加，應(yīng)用于這些問(wèn)題的ml模型的復(fù)雜性也在不斷增加。

2、深度學(xué)習(xí)是這一趨勢(shì)的一個(gè)典型示例。其他ml算法(諸如神經(jīng)網(wǎng)絡(luò))可能只包含幾層密集連接的神經(jīng)元，而深度學(xué)習(xí)算法(諸如卷積神經(jīng)網(wǎng)絡(luò))可能包含數(shù)十到數(shù)百層執(zhí)行非常不同操作的神經(jīng)元。增加神經(jīng)模型的深度和層的異質(zhì)性帶來(lái)許多益處。例如，更深入可以增加模型的容量、提高模型的泛化、以及為模型提供過(guò)濾掉不重要特征的機(jī)會(huì)，而包含執(zhí)行不同操作的層可以大大提高模型的性能。但是，這些優(yōu)化是以增加復(fù)雜性和降低模型操作的人類(lèi)可解讀性(interpretability)為代價(jià)的。

3、與許多其他ml模型相比，解釋和解讀復(fù)雜深度學(xué)習(xí)模型的結(jié)果是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。例如，決策樹(shù)可以基于n個(gè)輸入特征執(zhí)行二元分類(lèi)。在訓(xùn)練期間，對(duì)類(lèi)別預(yù)測(cè)影響最大的特征被插入到樹(shù)的根附近，而對(duì)類(lèi)別預(yù)測(cè)影響較小的特征則位于樹(shù)的葉子附近?？梢酝ㄟ^(guò)測(cè)量決策節(jié)點(diǎn)到?jīng)Q策樹(shù)的根的距離直接確定特征重要性。

4、此類(lèi)模型通常被稱(chēng)為本質(zhì)上可解讀的。但是，隨著模型的復(fù)雜性增加(例如，特征數(shù)量或決策樹(shù)深度增加)，解讀對(duì)模型推斷的解釋變得越來(lái)越具有挑戰(zhàn)性。同樣，即使是相對(duì)簡(jiǎn)單的幾層神經(jīng)網(wǎng)絡(luò)也可能難以解讀，因?yàn)槎鄬咏Y(jié)合了特征的影響并增加了模型輸入和輸出之間的操作數(shù)量。因此，需要替代技術(shù)來(lái)幫助解讀復(fù)雜的ml和深度學(xué)習(xí)模型。

5、ml可解釋性(mlx)是解釋和解讀ml和深度學(xué)習(xí)模型的處理。mlx大致可以被歸類(lèi)為局部可解釋性和全局可解釋性：

6、·局部：解釋為什么ml模型做出與給定樣本對(duì)應(yīng)的特定預(yù)測(cè)，以回答諸如為什么ml模型做出特定預(yù)測(cè)之類(lèi)的問(wèn)題。

7、·全局：理解ml模型作為整體的一般行為，以回答諸如ml模型如何工作或ml模型從訓(xùn)練數(shù)據(jù)中學(xué)到了什么之類(lèi)的問(wèn)題。

8、ml模型接受實(shí)例作為輸入，諸如基于各種數(shù)據(jù)類(lèi)型的許多特征的特征向量，這些特征分別具有許多或無(wú)限數(shù)量的可能值。每個(gè)特征在巨大的多維問(wèn)題空間中提供一個(gè)維度，其中給定的多特征輸入只是一個(gè)點(diǎn)。即使全局解釋可能基于許多輸入實(shí)例，但這些實(shí)例錯(cuò)過(guò)了大多數(shù)多維問(wèn)題空間，并且這些實(shí)例彼此之間有巨大的空間間隙。因此，對(duì)于解釋ml模型對(duì)特定輸入的特定推斷，該推斷幾乎總是落在ml模型的未知行為的這種空間間隙內(nèi)，全局解釋的準(zhǔn)確性可能低。諸如shapley之類(lèi)的局部解釋方法需要大量輸入實(shí)例和輸出推斷，這些輸入實(shí)例和輸出推斷的數(shù)量會(huì)隨著特征數(shù)量的增加而呈指數(shù)增長(zhǎng)，因?yàn)閟hapley的設(shè)計(jì)探索了特征之間的關(guān)系，這是組合上難以解決的。換句話(huà)說(shuō)，最佳品種的局部解釋器不可擴(kuò)展，并且可能會(huì)因?qū)捥卣飨蛄慷鴮?dǎo)致計(jì)算不堪重負(fù)。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：

2.如權(quán)利要求1所述的方法，還包括基于選自由以下各項(xiàng)組成的組中的至少一項(xiàng)來(lái)訪(fǎng)問(wèn)所述多個(gè)原始元組中的原始元組的超特征的值：

3.如權(quán)利要求1所述的方法，其中選自由以下各項(xiàng)組成的組中的至少一項(xiàng)：

4.如權(quán)利要求1所述的方法，還包括基于所述特定元組生成ml模型的局部解釋。

5.如權(quán)利要求4所述的方法，其中所述生成ml模型的局部解釋是基于所述多個(gè)超特征中的至少一個(gè)超特征的重要性的。

6.如權(quán)利要求5所述的方法，其中所述局部解釋包括基于所述多個(gè)超特征中的至少兩個(gè)超特征的重要性對(duì)所述至少兩個(gè)超特征的排名。

7.如權(quán)利要求1所述的方法，其中選自由以下各項(xiàng)組成的組中的至少一項(xiàng)：

8.如權(quán)利要求1所述的方法，其中所述多個(gè)超特征中的特定超特征表示選自由以下各項(xiàng)組成的組中的一項(xiàng)：數(shù)據(jù)庫(kù)連接、數(shù)據(jù)庫(kù)表、查詢(xún)條件、數(shù)據(jù)庫(kù)語(yǔ)句的結(jié)果和數(shù)據(jù)庫(kù)語(yǔ)句的種類(lèi)。

9.如權(quán)利要求1所述的方法，其中所述訓(xùn)練代理模型包括填充選自由以下各項(xiàng)組成的組中的至少一項(xiàng)：

10.如權(quán)利要求1所述的方法，其中選自由以下各項(xiàng)組成的組中的至少一項(xiàng)：

11.一個(gè)或多個(gè)存儲(chǔ)指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，所述指令在由一個(gè)或多個(gè)計(jì)算設(shè)備執(zhí)行時(shí)，使得執(zhí)行如權(quán)利要求1-10中的任一項(xiàng)中所述的方法。

12.一種系統(tǒng)，包括：

技術(shù)總結(jié)
在實(shí)施例中，計(jì)算機(jī)托管機(jī)器學(xué)習(xí)(ML)模型，該機(jī)器學(xué)習(xí)模型針對(duì)基于許多特征的特定元組推斷出特定推斷。這些特征被分組為預(yù)定義的超特征，每個(gè)超特征包含不相交(即，不交叉，互斥)的特征子集。對(duì)于每個(gè)超特征，計(jì)算機(jī)：a)從原始元組中的超特征的原始值中隨機(jī)選擇許多置換值，b)生成基于特定元組和相應(yīng)置換值的置換元組，以及c)使ML模型推斷每個(gè)置換元組的相應(yīng)置換推斷。基于置換推斷來(lái)訓(xùn)練代理模型。對(duì)于每個(gè)超特征，基于代理模型來(lái)計(jì)算超特征的相應(yīng)重要性。超特征重要性可以用于按影響力對(duì)超特征進(jìn)行排名和/或生成局部ML可解釋性(MLX)解釋。

技術(shù)研發(fā)人員：R·卡薩諾娃,N·米洛科維奇,M·卡塞里尼,F·施密特
受保護(hù)的技術(shù)使用者：甲骨文國(guó)際公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19