本發(fā)明涉及機(jī)器學(xué)習(xí)，具體涉及一種實(shí)現(xiàn)人工智能黑盒模型精細(xì)決策邏輯與人類認(rèn)知對齊程度評測的方法和系統(tǒng)。

背景技術(shù)：

1、目前，深度學(xué)習(xí)已在各個領(lǐng)域得到廣泛應(yīng)用，并展現(xiàn)出強(qiáng)大性能，但使用者與研究者很難分析人工智能模型的黑盒本質(zhì)。在現(xiàn)有的技術(shù)中，基于交互的解釋方法能夠分析一個人工智能模型，得到稀疏、簡潔的解釋。但得到的解釋仍然無法直接評測黑盒模型決策邏輯與人類認(rèn)知的差異，反映模型潛在的表征缺陷。而評測模型的決策邏輯與人類認(rèn)知的對齊程度恰是人類信任黑盒模型、在高風(fēng)險場景中應(yīng)用黑盒模型中的必要條件。

2、因此，如何可靠地評測黑盒模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度，是可解釋性領(lǐng)域亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于發(fā)明一種實(shí)現(xiàn)人工智能黑盒模型精細(xì)決策邏輯與人類認(rèn)知對齊程度評測的方法和系統(tǒng)，該方法和系統(tǒng)可以通過分析模型所建模的交互分布,評測模型決策邏輯與人類認(rèn)知的對齊程度。

2、本發(fā)明公開了一種實(shí)現(xiàn)人工智能黑盒模型精細(xì)決策邏輯與人類認(rèn)知對齊程度評測的方法，其特征在于，所述方法包括以下步驟：

3、(1)選取黑盒人工智能模型；

4、選取一個待分析的黑盒人工智能模型，所述黑盒人工智能模型包括基于某一數(shù)據(jù)集上預(yù)先訓(xùn)練好的人工智能模型；

5、(2)選取輸入樣本并進(jìn)行識別；

6、選取用于進(jìn)行交互效用計(jì)算的輸入樣本，并對所述輸入樣本進(jìn)行識別，從而將所述輸入樣本分解成n個輸入單元，并將所述n個輸入單元進(jìn)行組合得到2n個所述輸入單元的組合；所述輸入樣本選自下組：表格數(shù)據(jù)、圖片、文本、語音或其組合；

7、(3)進(jìn)行“交互效用”的計(jì)算并進(jìn)行組合；

8、將所述步驟(2)中的2n個輸入單元的組合分別輸入所述黑盒人工智能模型，并獲取所述黑盒人工智能模型的輸出；基于所述黑盒人工智能模型的輸出，對所述輸入單元間的交互進(jìn)行建模，從而獲得所述黑盒人工智能模型對于每個所述輸入單元的組合的“交互效用”；并將所述黑盒人工智能模型在某個輸入單元組合上的輸出解釋為所述其在所述輸入單元組合上的“交互效用”的組合；

9、(4)將“交互效用”劃分為“交互效用的可靠分量”和“交互效用的不可靠分量”；

10、根據(jù)每個輸入單元與所述黑盒人工智能模型的輸出在人類認(rèn)知上是否相關(guān)，利用算法或用戶自定義地將所有輸入單元劃分為“相關(guān)輸入單元”、“不相關(guān)輸入單元”和“互斥單元”。

11、將所述步驟(3)中的所有輸入單元的組合的“交互效用”劃分為“交互效用的可靠分量”和“交互效用的不可靠分量”。其中，“交互效用的可靠分量”表示與人類認(rèn)知一致的交互效用，“交互效用的不可靠分量”表示與人類認(rèn)知不一致的交互效用。交互效用可以分為“與交互效用”和“或交互效用”，分別表示模型所建模的輸入單元之間的“與關(guān)系”和其所建模的輸入單元之間的“或關(guān)系”。優(yōu)選地，“與交互效用的可靠分量”可以計(jì)算為包含“相關(guān)輸入單元”且不包含“互斥單元”的組合的交互效用；“與交互效用的不可靠分量”可以計(jì)算為不包含“相關(guān)輸入單元”或包含“互斥單元”的組合的交互效用。優(yōu)選地，一種“或交互效用的可靠分量”可以計(jì)算為包含“相關(guān)輸入單元”且不包含“互斥單元”的組合的交互效用；“或交互效用的不可靠分量”可以計(jì)算為不包含“相關(guān)輸入單元”或包含“互斥單元”的組合的交互效用。另一種算法為將“或交互效用”平均分配給此交互所包含的各個輸入單元，從而“或交互效用的可靠分量”可以計(jì)算為此“或交互效用”中均分給“相關(guān)輸入單元”的交互效用分量；“或交互效用的不可靠分量”可以計(jì)算為此“或交互效用”中均分給“不相關(guān)輸入單元”和“互斥單元”的交互效用分量。

12、(5)利用基于交互的評測指標(biāo)，評測模型決策邏輯與人類認(rèn)知的對齊程度；

13、根據(jù)提出的基于交互的評測指標(biāo)，統(tǒng)計(jì)“交互效用的可靠分量”和“交互效用的不可靠分量”的比例，評測模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度。

14、其中，步驟(1)和步驟(2)的順序可隨意替換或同時進(jìn)行。

15、在一優(yōu)選例中，對于所述黑盒人工智能模型在所述輸入單元的組合上的輸出進(jìn)行如下定義：定義如果將輸入樣本x中集合n\s中的輸入單元進(jìn)行遮擋，而不遮擋集合s中的輸入單元，得到樣本xs。以xs為模型輸入所獲得的輸出表示為v(xs)；如果將輸入樣本不加遮擋地輸入所述黑盒模型，獲得的輸出表示為v(xn)；如果將輸入樣本中全部輸入單元完全遮擋后，輸入所述黑盒模型，獲得的輸出表示為優(yōu)選地，在自然語言處理應(yīng)用中，可以通過將s所包含的各個輸入單元上所覆蓋的各個token的詞嵌入向量(embedding?vector)替換為某個特定的基準(zhǔn)值向量，來實(shí)現(xiàn)遮擋操作。

16、在一優(yōu)選例中，若所述黑盒人工智能模型為分類模型，則模型在某個輸入單元集合s上的輸出v(xs)可以表示為真實(shí)標(biāo)簽維度對應(yīng)的logit值，即若所述黑盒人工智能模型為語言生成模型，則模型輸出可以表示為模型所預(yù)測的最大概率生成的下一個token所對應(yīng)的維度的logit值，即其中ymax表示模型所預(yù)測的最大概率生成的下一個token所對應(yīng)的維度；模型輸出v(xs)也可以表示為生成后續(xù)t個tokens中，每個最大概率的token(或提前確定的目標(biāo)token)所對應(yīng)輸入維度的logits值的和。這里將生成的后續(xù)t個目標(biāo)tokens表示為y1，y2，...，yt，那么v(xs)可計(jì)算為

17、

18、類似地，v(xs)也可計(jì)算為

19、

20、在一優(yōu)選例中，所述步驟(3)進(jìn)一步包括以下步驟：將所述黑盒人工智能模型在某個輸入單元集合s上的輸出v(xs)解釋為所述其在所述輸入單元組合上的“交互效用”的組合。優(yōu)選地，“交互效用”包括“與交互效用”和“或交互效用”。

21、在一優(yōu)選例中，所述“與交互效用”表示“當(dāng)且僅當(dāng)所述輸入單元的組合中的單元都不被遮擋時，所述組合對于一個黑盒模型輸出產(chǎn)生的額外效用”；

22、在一優(yōu)選例中，對于所述黑盒人工智能模型，輸入單元的組合定義iand(s|vand，x)為所述人工智能模型對于輸入單元的組合s對應(yīng)的“與交互效用”，其可以由如下公式計(jì)算得到：

23、

24、這里vand(xl)表示從v(xl)中所分解出的由“與交互效用”所決定的輸出分量，對應(yīng)公式v(xl)＝vand(xl)+vor(xl)，而vor(xl)表示從v(xl)中所分解出的由“或交互效用”所決定的輸出分量。

25、在一優(yōu)選例中，所述“或交互效用”表示“所述輸入單元的組合中的單元至少有一個不被遮擋時，所述組合對于一組黑盒模型輸出產(chǎn)生的額外效用”；

26、在一優(yōu)選例中，對于所述黑盒人工智能模型，輸入單元的組合定義ior(s|vor，x)為所述人工智能模型對于輸入單元的組合s對應(yīng)的“或交互效用”，其可以由如下公式計(jì)算得到。

27、

28、這里vor(xl)表示從v(xl)中所分解出的由“或交互效用”所決定的輸出分量，對應(yīng)公式v(xl)＝vand(xl)+vor(xl)，而vand(xl)表示從v(xl)中所分解出的由“與交互效用”所決定的輸出分量。

29、神經(jīng)網(wǎng)絡(luò)的輸出可以表示為不同交互的和的形式。在一優(yōu)選例中，可以將所述黑盒人工智能模型在輸入單元的組合s上的輸出v(xs)解釋成“與交互效用”和“或交互效用”的組合，即v(xs)＝vand(xs)+vor(xs)。也可以將所述黑盒人工智能模型在輸入單元的組合s上的輸出v(xs)解釋成“與交互效用”的組合，即v(xs)＝vand(xs)。應(yīng)理解，在不產(chǎn)生歧義的情況下，下文的“交互效用”可以表示所有“與交互效用”和“或交互效用”的組合。

30、在一優(yōu)選例中，所述步驟(4)進(jìn)一步包括以下步驟：將所有輸入單元劃分為“相關(guān)輸入單元”、“不相關(guān)輸入單元”和“互斥單元”。將包含“相關(guān)輸入單元”且不包含“互斥單元”的組合的交互效用定義為“交互效用的可靠分量”，將包含“不相關(guān)輸入單元”或“互斥單元”的組合的交互效用定義為“交互效用的不可靠分量”。

31、在一優(yōu)選例中，根據(jù)每個輸入單元與所述黑盒人工智能模型的輸出在人類認(rèn)知上是否相關(guān)，利用算法或用戶自定義地將所有輸入單元的集合n劃分為“相關(guān)輸入單元”的集合r，“不相關(guān)輸入單元”的集合t和“互斥單元”的集合m，其中，“相關(guān)輸入單元”表示在人類認(rèn)知上與模型輸出強(qiáng)相關(guān)的輸入單元，或有直接因果關(guān)系的輸入單元；“不相關(guān)輸入單元”表示在人類認(rèn)知上與模型輸出弱相關(guān)的輸入單元，或無直接因果關(guān)系的輸入單元；“互斥單元”表示在人類認(rèn)知邏輯上不應(yīng)該影響模型輸出的輸入單元，或與模型輸出在認(rèn)知邏輯上相斥的輸入單元。在某些輸入樣本可以僅包含“相關(guān)輸入單元”、“不相關(guān)輸入單元”和“互斥單元”中的一種或多種。優(yōu)選地，對于文本輸入，所述輸入單元可以是token的詞嵌入向量、或者單詞、詞組、句子、段落所對應(yīng)的全部詞嵌入向量；對于圖像輸入，所述輸入單元可以是像素、圖像區(qū)域。

32、例如，給定一個涉及多人的法律案例“星期天，張三在爭執(zhí)中攻擊了李四的頭部，造成李四輕傷。仇敵王五見狀心生歹念，執(zhí)刀刺向李四的腹部，導(dǎo)致李四死亡?！?，并評測法律大模型對張三的判決結(jié)果“故意傷害罪”的精細(xì)決策邏輯。在這個法律案例中，所有輸入單元的集合n＝{″星期天″，″爭執(zhí)″，″攻擊″，″輕傷″，″刺向″，″死亡″}。其中，“相關(guān)輸入單元”的集合r＝{″爭執(zhí)″，″攻擊″，″輕傷″}是在人類認(rèn)知上與對張三的判決結(jié)果“故意傷害罪”具有直接因果關(guān)系的輸入單元?！安幌嚓P(guān)輸入單元”的集合t＝{″星期天″}是在人類認(rèn)知上與對張三的判決結(jié)果“故意傷害罪”無直接因果關(guān)系的輸入單元。“互斥單元”的集合m＝{″刺向″，″死亡″}是王五的行為，而非張三的行為，是在人類認(rèn)知上與對張三的判決結(jié)果“故意傷害罪”邏輯上互斥的單元。

33、在一優(yōu)選例中，在評測所述黑盒人工智能模型的任務(wù)中，用戶可以從人類認(rèn)知的角度標(biāo)注在詞匯表中的輸入單元為“相關(guān)輸入單元”、“不相關(guān)輸入單元”和“互斥單元”；用戶也可以利用某個算法自動地確定或標(biāo)注“相關(guān)輸入單元”、“不相關(guān)輸入單元”和“互斥單元”的集合；用戶可以利用包括沙普利值在內(nèi)的歸因算法測量所有輸入單元對于模型輸出的重要性，根據(jù)重要性得分自動地將所有輸入單元劃分為“相關(guān)輸入單元”、“不相關(guān)輸入單元”和“互斥單元”；用戶也可以利用復(fù)雜的人工智能算法測量所有輸入單元與模型輸出在語義邏輯層面的相關(guān)程度，根據(jù)相關(guān)性得分自動地將所有輸入單元劃分為“相關(guān)輸入單元”、“不相關(guān)輸入單元”和“互斥單元”。

34、在一優(yōu)選例中，將步驟(4)中的所有輸入單元的組合的“交互效用”進(jìn)一步劃分為“交互效用的可靠分量”和“交互效用的不可靠分量”。其中，

35、“交互效用的可靠分量”為與人類認(rèn)知一致的交互效用，可以定義為包含“相關(guān)輸入單元”且不包含“互斥單元”的組合的交互效用；“交互效用的不可靠分量”為與人類認(rèn)知不一致的交互效用，可以定義為包含“不相關(guān)輸入單元”或“互斥單元”的組合的交互效用。

36、在一優(yōu)選例中，交互效用可以分為“與交互效用”和“或交互效用”，分別表示模型所建模的輸入單元之間的“與關(guān)系”和其所建模的輸入單元之間的“或關(guān)系”。所述“與交互效用”iand(s|vand，x)可以進(jìn)一步劃分為“與交互效用的可靠分量”和“與交互效用的不可靠分量”其可以由如下公式計(jì)算得到：

37、

38、

39、其中，所有輸入單元的集合n劃分為“相關(guān)輸入單元”的集合r，“不相關(guān)輸入單元”的集合t和“互斥單元”的集合m。

40、在一優(yōu)選例中，交互效用可以分為“與交互效用”和“或交互效用”，分別表示模型所建模的輸入單元之間的“與關(guān)系”和其所建模的輸入單元之間的“或關(guān)系”。所述“或交互效用”ior(s|vor，x)可以進(jìn)一步劃分為“或交互效用的可靠分量”和“或交互效用的不可靠分量”優(yōu)選地，一種“或交互效用”的劃分類似于“與交互效用”的劃分，可以由如下公式計(jì)算得到：

41、

42、

43、其中，所有輸入單元的集合n劃分為“相關(guān)輸入單元”的集合r，“不相關(guān)輸入單元”的集合t和“互斥單元”的集合m。

44、另一種“或交互效用”的劃分考慮組合s中“相關(guān)輸入單元”的個數(shù)|s∩r|占組合s輸入單元個數(shù)|s|的比例，可以由如下公式計(jì)算得到：

45、

46、

47、在一優(yōu)選例中，所述步驟(5)進(jìn)一步包括以下步驟：利用提出的基于交互效用的評測指標(biāo)，統(tǒng)計(jì)“交互效用的可靠分量”和“交互效用的不可靠分量”的比例，評測模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度。用戶可以用“交互效用的可靠分量”在交互效用中的比例量化模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度。

48、在一優(yōu)選例中，顯著交互定義如下。給定預(yù)設(shè)的閾值τ，顯著交互被定義為大于閾值τ的交互集合ωand和ωor，可以由如下公式計(jì)算得到：

49、

50、

51、其中，閾值τ可以設(shè)置為所述黑盒人工智能模型輸出的百分比。優(yōu)選地，閾值τ也可以設(shè)置為所有交互效用的絕對值從大到小排序后第k個交互效用絕對值的數(shù)值大小。優(yōu)選地，在包含10個輸入單元的輸入樣本中，共有210個“與交互效用”；或同時包含210個“與交互效用”和210個“或交互效用”，閾值τ區(qū)分出一定比例的“顯著與交互”和“顯著或交互”。閾值τ也可以根據(jù)用戶經(jīng)驗(yàn)來設(shè)置，比如設(shè)置為在所有交互效用的絕對值中第100大的交互效用絕對值大小。

52、在一優(yōu)選例中，所有顯著交互效用的強(qiáng)度之和為：

53、

54、在一優(yōu)選例中，所有交互效用的強(qiáng)度之和為：

55、

56、在一優(yōu)選例中，交互的階數(shù)被定義為集合s中輸入變量的個數(shù)，即order(s)＝|s|。對于每階交互o，交互效用的可靠分量之和為：

57、

58、在一優(yōu)選例中，對于每階交互o，交互效用的可靠分量的強(qiáng)度為：

59、

60、在一優(yōu)選例中，交互效用的可靠分量的總強(qiáng)度為：

61、

62、在一優(yōu)選例中，對于每階交互o，交互效用的不可靠分量之和為：

63、

64、在一優(yōu)選例中，對于每階交互o，交互效用的不可靠分量的強(qiáng)度為：

65、

66、在一優(yōu)選例中，交互效用的不可靠分量的總強(qiáng)度為：

67、

68、在一優(yōu)選例中，下述指標(biāo)表示“交互效用的可靠分量”的強(qiáng)度在顯著交互效用強(qiáng)度中的比例。

69、

70、其中，“交互效用的可靠分量”的強(qiáng)度在顯著交互的交互效用強(qiáng)度中的比例越高，表明模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度越高。一個與人類認(rèn)知對齊程度較高的模型，指標(biāo)應(yīng)該越高。

71、在一優(yōu)選例中，下述指標(biāo)表示“交互效用的可靠分量”的強(qiáng)度在所有交互的交互效用強(qiáng)度中的比例。

72、

73、其中，“交互效用的可靠分量”的強(qiáng)度在所有交互的交互效用強(qiáng)度中的比例越高，表明模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度越高。一個與人類認(rèn)知對齊程度較高的模型，指標(biāo)應(yīng)該越高。

74、在一優(yōu)選例中，下述指標(biāo)和分別表示“交互效用的可靠分量”在各階顯著交互的正向效用之和和負(fù)向效用之和中的比例。

75、

76、

77、其中，∈表示一個很小的正實(shí)數(shù)，來防止分?jǐn)?shù)的除以0的操作。對于每階交互o，計(jì)算顯著交互的正向交互效用之和和顯著交互的負(fù)向交互效用之和計(jì)算“交互效用的可靠分量”的正向交互效用和“交互效用的可靠分量”的負(fù)向交互效用指標(biāo)和越高，即對于每階交互o，“交互效用的可靠分量”在顯著交互的正向、負(fù)向效用中的比例越高，表明模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度越高。一個與人類認(rèn)知對齊程度較高的模型，各階顯著交互的正向、負(fù)向效用之和中的比例或指標(biāo)應(yīng)該越高。

78、在一優(yōu)選例中，下述指標(biāo)表示各階顯著交互效用中正負(fù)抵消的比例。

79、

80、其中，指標(biāo)越高，表明對于每階交互o，顯著交互效用正負(fù)抵消后剩余的有效交互比例越高。這個指標(biāo)有利于理解是低階交互還是高階交互對模型輸出起主要作用。一個良好訓(xùn)練的模型往往更傾向于建模低階的交互。

81、在一優(yōu)選例中，下述指標(biāo)oreliable表示在顯著交互中的“可靠交互”的加權(quán)平均階數(shù)。

82、或

83、

84、其中，“可靠交互”的加權(quán)平均階數(shù)oreliable越低，表明模型精細(xì)決策邏輯的影響更易受到低階交互的影響；相反，指標(biāo)oreliable越高，表明模型精細(xì)決策邏輯的影響更易受到高階交互的影響。一個與人類認(rèn)知對齊程度較高的模型，在顯著交互中的“可靠交互”的加權(quán)平均階數(shù)oreliable∈[0，|n|]應(yīng)該越低，表明該模型建模傾向于建模更低階的“可靠交互”。

85、在一優(yōu)選例中，可以通過可視化各階顯著交互效用、交互效用的可靠分量、交互效用的不可靠分量的統(tǒng)計(jì)圖，表示模型決策邏輯和人類認(rèn)知的差異，反映模型潛在的表征缺陷。具體地，對于每階交互o，分別顯示顯著交互的正向交互效用之和salient+(o)，顯著交互的負(fù)向交互效用之和salient-(o)，可靠交互分量的正向效用之和reliable+(0)，可靠交互分量的負(fù)向效用之和reliable-(o)，不可靠交互分量的正向效用之和unreliable+(o)：＝salient+(o)-reliable+(o)，不可靠交互分量的負(fù)向效用之和unreliable-(o)：＝salient-(o)-reliable-(o)。

86、對于每階交互o，當(dāng)指標(biāo)和越高，即交互效用的可靠分量占顯著交互的比例越高，表明模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度程度越高。

87、綜上所述，可以使用各階顯著交互效用、交互效用的可靠分量、交互效用的不可靠分量的統(tǒng)計(jì)圖，以及指標(biāo)和刻畫模型決策邏輯和人類認(rèn)知的差異，反映模型潛在的表征缺陷。

88、本發(fā)明的第二方面公開了一種實(shí)現(xiàn)人工智能黑盒模型精細(xì)決策邏輯與人類認(rèn)知對齊程度測評的系統(tǒng)，所述系統(tǒng)包括：

89、(1)輸入模塊，所述輸入模塊被配置接受一個預(yù)訓(xùn)練好的黑盒人工智能模型和一組待分析數(shù)據(jù)。

90、(2)計(jì)算模塊，所述計(jì)算模塊被配置為，基于輸入模塊中的模型和數(shù)據(jù)，計(jì)算模型所建模待分析數(shù)據(jù)的輸入單元間的“交互效用”。將“交互效用”劃分為“交互效用的可靠分量”和“交互效用的不可靠分量”。利用提出的基于交互的評測指標(biāo)，統(tǒng)計(jì)“交互效用的可靠分量”和“交互效用的不可靠分量”的比例。

91、(3)輸出模塊，所述輸出模塊被配置為所述基于交互效用的評測指標(biāo)，和各階顯著交互效用、交互效用的可靠分量、交互效用的不可靠分量的統(tǒng)計(jì)，評測模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度。

92、本發(fā)明的優(yōu)點(diǎn)在于：

93、1)本發(fā)明通過對輸入分量進(jìn)行合理分類，并引入可靠分量的定義以及計(jì)算，從而實(shí)現(xiàn)可靠地評測黑盒模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度，從而反映模型潛在的表征缺陷。

94、2)本發(fā)明引入了多個標(biāo)準(zhǔn)對黑盒模型精細(xì)決策邏輯與人類認(rèn)知的對齊程度進(jìn)行評測，保證了本發(fā)明所使用的方法可適用于大部分的黑盒模型。

95、本技術(shù)的說明書中記載了大量的技術(shù)特征，分布在各個技術(shù)方案中，如果要羅列出本技術(shù)所有可能的技術(shù)特征的組合(即技術(shù)方案)的話，會使得說明書過于冗長。為了避免這個問題，本技術(shù)上述
技術(shù)實(shí)現(xiàn)要素：
中公開的各個技術(shù)特征、在下文各個實(shí)施方式和例子中公開的各技術(shù)特征、以及附圖中公開的各個技術(shù)特征，都可以自由地互相組合，從而構(gòu)成各種新的技術(shù)方案(這些技術(shù)方案均因視為在本說明書中已經(jīng)記載)，除非這種技術(shù)特征的組合在技術(shù)上是不可行的。例如，在一個例子中公開了特征a+b+c，在另一個例子中公開了特征a+b+d+e，而特征c和d是起到相同作用的等同技術(shù)手段，技術(shù)上只要擇一使用即可，不可能同時采用，特征e技術(shù)上可以與特征c相組合，則，a+b+c+d的方案因技術(shù)不可行而應(yīng)當(dāng)不被視為已經(jīng)記載，而a+b+c+e的方案應(yīng)當(dāng)視為已經(jīng)被記載。