本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種基于transformer的超參空間分析方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、超參空間的深入挖掘和研究是多維度大數(shù)據(jù)分析領(lǐng)域的重要課題之一，其目標(biāo)在于深入理解數(shù)據(jù)中隱藏的關(guān)聯(lián)性和結(jié)構(gòu)性信息。

2、在當(dāng)前數(shù)據(jù)分析領(lǐng)域，為了揭示數(shù)據(jù)中特征之間的關(guān)系，常使用諸如pearson相關(guān)系數(shù)和spearman秩相關(guān)系數(shù)等各種相關(guān)性分析方法。此外，還有因果關(guān)系分析、回歸分析、因子分析、關(guān)聯(lián)規(guī)則挖掘和時(shí)間序列分析等方法被廣泛運(yùn)用。其中，相關(guān)性系數(shù)的主要缺點(diǎn)之一是它只能描述線性關(guān)系，對(duì)于非線性關(guān)系的描述能力較弱。此外，相關(guān)性系數(shù)也無(wú)法確定變量之間的因果關(guān)系，僅僅反映它們之間的關(guān)聯(lián)程度。另外，相關(guān)性系數(shù)對(duì)異常值和數(shù)據(jù)分布敏感，可能導(dǎo)致結(jié)果的偏差。與相關(guān)性系數(shù)分析相比，因果分析更側(cè)重于確定變量之間的因果聯(lián)系，即一個(gè)變量如何影響另一個(gè)變量。然而，因果分析需要更多的數(shù)據(jù)和更嚴(yán)格的實(shí)驗(yàn)設(shè)計(jì)，以準(zhǔn)確地推斷因果關(guān)系。此外，因果分析的計(jì)算復(fù)雜度通常較高，可能需要更多的時(shí)間和計(jì)算資源。回歸分析作為一種常見(jiàn)的統(tǒng)計(jì)方法，用于探究自變量與因變量之間的關(guān)系，其也存在一些缺點(diǎn)。首先，大部分回歸模型基于線性假設(shè)，忽略了可能存在的非線性關(guān)系，導(dǎo)致擬合程度有限。其次，容易受到數(shù)據(jù)噪聲的影響，可能出現(xiàn)過(guò)擬合或欠擬合現(xiàn)象，降低了模型的泛化能力。且其對(duì)數(shù)據(jù)的要求較高，需要滿足一些基本假設(shè)，如線性關(guān)系、獨(dú)立性、常態(tài)性等，否則會(huì)影響模型的準(zhǔn)確性和可靠性。

3、可見(jiàn)，上述方法在處理復(fù)雜的數(shù)據(jù)關(guān)系時(shí)都存在局限性，其無(wú)法尋找到超參空間邊界，而超參空間邊界在幫助工作人員對(duì)模型進(jìn)行調(diào)優(yōu)上具有重大意義，因此，需要一種能夠針對(duì)超參空間進(jìn)行分析的方案，以準(zhǔn)確確定超參空間邊界。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)實(shí)施例致力于提供一種基于transformer的超參空間分析方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，以高效準(zhǔn)確地尋找到超參空間邊界。

2、本申請(qǐng)的一個(gè)方面，提供了一種基于transformer的超參空間分析方法，包括：

3、獲取超參數(shù)據(jù)，所述超參數(shù)據(jù)具有多個(gè)維度，每個(gè)維度代表一種超參數(shù)；

4、利用所述超參數(shù)據(jù)中第二維度上的數(shù)據(jù)執(zhí)行transformer模型的前向傳播以獲得所述超參數(shù)據(jù)中第一維度的預(yù)測(cè)數(shù)據(jù)；

5、利用所述預(yù)測(cè)數(shù)據(jù)和所述超參數(shù)據(jù)中第一維度上的數(shù)據(jù)執(zhí)行transformer模型的反向傳播以得到所述第二維度中各維度的梯度信息；

6、根據(jù)所述第二維度中各維度的梯度信息確定超參空間邊界，所述超參空間邊界包括所述第二維度中各維度的第一取值范圍，所述第二維度中各維度上數(shù)據(jù)在所述第一取值范圍時(shí)對(duì)所述第一維度上數(shù)據(jù)的取值影響最大。

7、本申請(qǐng)第一方面的一些實(shí)施方式中，還包括：對(duì)所述超參數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，所述數(shù)據(jù)預(yù)處理包括如下之一或多項(xiàng)：數(shù)據(jù)清洗、缺失值處理、一致性處理。

8、本申請(qǐng)第一方面的一些實(shí)施方式中，還包括：通過(guò)構(gòu)建最小均方誤差損失，利用梯度下降算法優(yōu)化所述transformer模型以使得所述transformer模型能夠擬合第一維度與第二維度中各維度的映射關(guān)系。

9、本申請(qǐng)第一方面的一些實(shí)施方式中，利用所述超參數(shù)據(jù)中第二維度上的數(shù)據(jù)執(zhí)行transformer模型的前向傳播以獲得所述超參數(shù)據(jù)中第一維度的預(yù)測(cè)數(shù)據(jù)，包括：分別提取所述超參數(shù)據(jù)中第二維度中每一維度上的數(shù)據(jù)以形成所述第二維度中每一維度的特征向量；將所述第二維度中每一維度的特征向量輸入transformer模型的編碼器以生成編碼信息矩陣；將所述編碼信息矩陣送入所述transformer模型的解碼器以生成輸出特征向量，所述輸出特征向量即為所述預(yù)測(cè)數(shù)據(jù)的向量表示。

10、本申請(qǐng)第一方面的一些實(shí)施方式中，所述第一維度包括所述超參數(shù)據(jù)中的一個(gè)或多個(gè)維度，所述第二維度包括所述超參數(shù)據(jù)中除所述第一維度外的所有維度。

11、本申請(qǐng)第一方面的一些實(shí)施方式中，所述利用所述預(yù)測(cè)數(shù)據(jù)和所述超參數(shù)據(jù)中第一維度上的數(shù)據(jù)執(zhí)行transformer模型的反向傳播以得到所述第二維度中各維度的梯度信息，包括：利用所述預(yù)測(cè)數(shù)據(jù)和所述超參數(shù)據(jù)中第一維度上的數(shù)據(jù)計(jì)算transformer模型中每一層的反向梯度，并利用鏈?zhǔn)椒▌t在transformer模型中逐層反傳所述反向梯度至transformer模型的輸入層，如此，通過(guò)梯度的迭代求得所述第一維度上數(shù)據(jù)對(duì)所述第二維度中一個(gè)維度上數(shù)據(jù)的梯度。

12、本申請(qǐng)第一方面的一些實(shí)施方式中，所述根據(jù)所述第二維度中各維度的梯度信息確定超參空間邊界，包括：確定第二維度中的關(guān)注維度；遍歷所有的所述梯度信息，統(tǒng)計(jì)得到所述關(guān)注維度上數(shù)據(jù)對(duì)應(yīng)的梯度信息并存儲(chǔ)；在所述關(guān)注維度上的數(shù)據(jù)中找到具有最大梯度絕對(duì)值的數(shù)值區(qū)間，該數(shù)值區(qū)間即為所述關(guān)注維度的第一取值范圍。

13、本申請(qǐng)的第二方面，提供了一種基于transformer的超參空間分析裝置，包括：

14、獲取單元，用于獲取超參數(shù)據(jù)，所述超參數(shù)據(jù)具有多個(gè)維度，每個(gè)維度代表一種超參數(shù)；

15、前向處理單元，用于利用所述超參數(shù)據(jù)中第二維度上的數(shù)據(jù)執(zhí)行transformer模型的前向傳播以獲得所述超參數(shù)據(jù)中第一維度的預(yù)測(cè)數(shù)據(jù)；

16、梯度分析單元，用于利用所述預(yù)測(cè)數(shù)據(jù)和所述超參數(shù)據(jù)中第一維度上的數(shù)據(jù)執(zhí)行transformer模型的反向傳播以得到所述第二維度中各維度的梯度信息；

17、邊界確定單元，用于根據(jù)所述第二維度中各維度的梯度信息確定超參空間邊界，所述超參空間邊界包括所述第二維度中各維度的第一取值范圍，所述第二維度中各維度上數(shù)據(jù)在所述第一取值范圍時(shí)對(duì)所述第一維度上數(shù)據(jù)的取值影響最大。

18、本申請(qǐng)的第三方面，提供了一種電子設(shè)備，包括：處理器和存儲(chǔ)器；其中，所述存儲(chǔ)器與所述處理器連接，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；所述處理器，用于通過(guò)運(yùn)行所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序，實(shí)現(xiàn)上述的方法。

19、本申請(qǐng)的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，實(shí)現(xiàn)上述的方法。

20、根據(jù)本申請(qǐng)實(shí)施例，通過(guò)tranformer模型對(duì)超參數(shù)據(jù)進(jìn)行擬合從而使得tranformer模型學(xué)習(xí)出超參數(shù)據(jù)中第二維度上各維度與第一維度的映射關(guān)系，并利用tranformer模型學(xué)習(xí)到的該映射關(guān)系尋求梯度，之后利用梯度尋找到第二維度中各個(gè)維度對(duì)第一維度上數(shù)據(jù)取值變化影響最大的取值范圍，從而高效快速且準(zhǔn)確地獲得超參空間邊界，同時(shí)還可提升超參空間邊界的精度。

技術(shù)特征：

1.一種基于transformer的超參空間分析方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：通過(guò)構(gòu)建最小均方誤差損失，利用梯度下降算法優(yōu)化所述transformer模型以使得所述transformer模型能夠擬合第一維度與第二維度中各維度的映射關(guān)系。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用所述超參數(shù)據(jù)中第二維度上的數(shù)據(jù)執(zhí)行transformer模型的前向傳播以獲得所述超參數(shù)據(jù)中第一維度的預(yù)測(cè)數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一維度包括所述超參數(shù)據(jù)中的一個(gè)或多個(gè)維度，所述第二維度包括所述超參數(shù)據(jù)中除所述第一維度外的所有維度。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述預(yù)測(cè)數(shù)據(jù)和所述超參數(shù)據(jù)中第一維度上的數(shù)據(jù)執(zhí)行transformer模型的反向傳播以得到所述第二維度中各維度的梯度信息，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述第二維度中各維度的梯度信息確定超參空間邊界，包括：

8.一種基于transformer的超參空間分析裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：處理器和存儲(chǔ)器；

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1～7任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N基于Transformer的超參空間分析方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。本公開(kāi)提供的方法包括：獲取超參數(shù)據(jù)，超參數(shù)據(jù)具有多個(gè)維度，每個(gè)維度代表一種超參數(shù)；利用超參數(shù)據(jù)中第二維度上的數(shù)據(jù)執(zhí)行Transformer模型的前向傳播以獲得超參數(shù)據(jù)中第一維度的預(yù)測(cè)數(shù)據(jù)；利用預(yù)測(cè)數(shù)據(jù)和超參數(shù)據(jù)中第一維度上的數(shù)據(jù)執(zhí)行Transformer模型的反向傳播以得到第二維度中各維度的梯度信息；根據(jù)第二維度中各維度的梯度信息確定超參空間邊界，超參空間邊界包括第二維度中各維度的第一取值范圍，第二維度中各維度上數(shù)據(jù)在第一取值范圍時(shí)對(duì)第一維度上數(shù)據(jù)的取值影響最大。本公開(kāi)實(shí)施例能夠利用Transformer高效快速準(zhǔn)確地獲得超參空間邊界。

技術(shù)研發(fā)人員：李婷,林晨語(yǔ),孫宇航,衛(wèi)新建,許靜
受保護(hù)的技術(shù)使用者：南開(kāi)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19