本發(fā)明涉及模型訓練，尤其涉及一種基于transformer的視覺大模型訓練系統(tǒng)。

背景技術(shù)：

1、模型訓練技術(shù)領(lǐng)域是指通過大量的數(shù)據(jù)進行訓練，從而逐步學會識別、分類、預測等任務(wù)。模型訓練涵蓋了從數(shù)據(jù)準備、特征提取、模型選擇、訓練過程、參數(shù)優(yōu)化到驗證、評估和部署等步驟。隨著人工智能技術(shù)的發(fā)展，模型訓練領(lǐng)域涉及的算法種類不斷增加，如神經(jīng)網(wǎng)絡(luò)、支持向量機、決策樹、聚類算法等，各種算法在不同場景下表現(xiàn)出各自的優(yōu)勢。通過模型訓練，不同類型的數(shù)據(jù)（如文本、圖像、視頻、音頻等）可以被轉(zhuǎn)化為具有語義信息的結(jié)構(gòu)化數(shù)據(jù)。

2、其中，視覺大模型訓練系統(tǒng)是指專門針對視覺數(shù)據(jù)（如圖像和視頻）的訓練模型。通常用于訓練大型視覺模型，使其具備圖像識別、物體檢測、場景理解等視覺感知能力。視覺大模型訓練系統(tǒng)的用途非常廣泛，包括自動駕駛、安防監(jiān)控、人臉識別、圖像檢索、醫(yī)療影像分析等應(yīng)用場景，通過對視覺數(shù)據(jù)的深度學習，模型可逐漸達到高精度的識別和分類能力。

3、現(xiàn)有技術(shù)在圖像模糊區(qū)域和清晰區(qū)域的處理上難以準確區(qū)分兩者的特征權(quán)重，導致在模糊區(qū)域的干擾下，模型對細節(jié)特征的識別效果不佳。例如，在視覺檢測任務(wù)中，模糊區(qū)域的存在會削弱對物體邊緣的分辨能力，導致物體輪廓識別偏差。在無標簽樣本的特征學習方面，現(xiàn)有技術(shù)在大規(guī)模數(shù)據(jù)處理時對無標簽樣本的分類指導不足，影響了模型對無標簽數(shù)據(jù)的學習效率。在局部與全局特征的關(guān)聯(lián)方面，難以在細節(jié)和整體結(jié)構(gòu)間實現(xiàn)動態(tài)關(guān)聯(lián)，影響了模型在圖像分割等任務(wù)中對局部細節(jié)的精準理解。此外，現(xiàn)有技術(shù)在多尺度特征的處理上難以實現(xiàn)統(tǒng)一的尺度融合，使模型對不同尺度目標的適應(yīng)性較差，影響模型在復雜場景中的識別效果。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點，而提出的一種基于transformer的視覺大模型訓練系統(tǒng)。

2、為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：一種基于transformer的視覺大模型訓練系統(tǒng)包括：

3、模糊區(qū)域選擇模塊基于輸入圖像數(shù)據(jù)，獲取模糊區(qū)域和清晰區(qū)域的分布信息，根據(jù)圖像的模糊區(qū)域和清晰區(qū)域進行權(quán)重分配，獲取區(qū)域加權(quán)圖，將區(qū)域加權(quán)圖用于transformer自注意力層中，生成權(quán)重調(diào)整后的注意力分布圖；

4、相似度偽標簽分配模塊參照所述權(quán)重調(diào)整后的注意力分布圖對圖像區(qū)域的權(quán)重，構(gòu)建樣本間的相似度矩陣，為無標簽樣本分配偽標簽，并將無標簽樣本分配至最相似的標注樣本所屬的類別，得到偽標簽分配結(jié)果；

5、協(xié)同特征關(guān)聯(lián)模塊基于所述區(qū)域加權(quán)圖中高權(quán)重區(qū)域的圖像局部細節(jié)區(qū)域，以及偽標簽分配結(jié)果中樣本間的相似度矩陣的信息，構(gòu)建上下文關(guān)聯(lián)矩陣，動態(tài)調(diào)整局部特征和全局特征的權(quán)重，得到跨層次特征關(guān)聯(lián)圖；

6、層級多尺度建模模塊基于所述跨層次特征關(guān)聯(lián)圖，對輸入圖像特征進行尺度劃分，通過跨層信息傳遞的方式，將小尺度區(qū)域特征嵌入大尺度區(qū)域?qū)崿F(xiàn)特征的融合，將融合后的特征輸入至后續(xù)的transformer層，生成多尺度特征訓練結(jié)果。

7、作為本發(fā)明的進一步方案，所述區(qū)域加權(quán)圖的獲取步驟具體為：

8、基于輸入圖像數(shù)據(jù)，將圖像劃分為若干大小的區(qū)域塊，采用公式：

9、

10、計算模糊程度得分，得到區(qū)域的模糊度評價值；

11、其中，、是組合權(quán)重系數(shù)，用于調(diào)整亮度、顏色變化、對比度與邊緣清晰度、空間頻率的相對影響，是區(qū)域的亮度值，是亮度歸一化上限，即亮度的最大值，是顏色變化值，是顏色變化的歸一化上限，是對比度差異值，是對比度的歸一化上限，是邊緣清晰度，是邊緣清晰度的歸一化上限，是空間頻率，是空間頻率的歸一化上限，、、、、是特征權(quán)重系數(shù)；

12、根據(jù)所述區(qū)域的模糊度評價值，對區(qū)域塊的模糊程度進行分析，并設(shè)定相應(yīng)權(quán)重，通過將每個區(qū)域塊的權(quán)重數(shù)據(jù)填充至與區(qū)域大小相同的權(quán)重矩陣，將權(quán)重矩陣按區(qū)域在圖像中的位置拼接組合，得到區(qū)域加權(quán)圖。

13、作為本發(fā)明的進一步方案，所述權(quán)重調(diào)整后的注意力分布圖的獲取步驟具體為：

14、基于所述區(qū)域加權(quán)圖，將每個區(qū)域的加權(quán)值映射到transformer自注意力層的輸入矩陣中，根據(jù)像素所在區(qū)域的加權(quán)值調(diào)整像素位置，得到帶有區(qū)域權(quán)重分布的輸入矩陣；

15、根據(jù)所述帶有區(qū)域權(quán)重分布的輸入矩陣，調(diào)整注意力頭對清晰和模糊區(qū)域的關(guān)注系數(shù)，依據(jù)加權(quán)值對清晰區(qū)域提升關(guān)注度，對模糊區(qū)域降低關(guān)注度，整合每個注意力頭的關(guān)注度矩陣，得到權(quán)重調(diào)整后的注意力分布圖。

16、作為本發(fā)明的進一步方案，所述樣本間的相似度矩陣的獲取步驟具體為：

17、根據(jù)所述權(quán)重調(diào)整后的注意力分布圖，將圖像區(qū)域的權(quán)重信息映射到圖像特征空間中，采用公式：

18、

19、計算標注樣本和無標簽樣本特征向量的相似度值，得到特征向量的相似度信息；

20、其中，代表特征向量中的每個分量，是特征向量的維度數(shù)，是標注樣本的特征向量，是標注樣本的第個特征值，是無標簽樣本的特征向量，是無標簽樣本的第個特征值，是權(quán)重調(diào)整因子；

21、根據(jù)所述特征向量的相似度信息，通過逐項對比無標簽樣本與標注樣本的特征向量，并將每一對樣本的相似度值填入對應(yīng)的矩陣位置，構(gòu)建樣本間的相似度矩陣。

22、作為本發(fā)明的進一步方案，所述偽標簽分配結(jié)果的獲取步驟具體為：

23、基于所述樣本間的相似度矩陣的數(shù)據(jù)，提取每個無標簽樣本的相似度信息，對比無標簽樣本與標注樣本的相似度值，選擇相似度最高的標注樣本，將無標簽樣本分配至對應(yīng)類別，生成標簽的初始劃分結(jié)果；

24、基于所述標簽的初始劃分結(jié)果，將帶有偽標簽的無標簽樣本和標注樣本輸入transformer模型，通過自監(jiān)督學習逐步優(yōu)化無標簽樣本的特征向量，并在訓練迭代中對偽標簽進行驗證和微調(diào)，得到偽標簽分配結(jié)果。

25、作為本發(fā)明的進一步方案，所述上下文關(guān)聯(lián)矩陣的獲取步驟具體為：

26、根據(jù)所述偽標簽分配結(jié)果中的相似度矩陣信息，從區(qū)域加權(quán)圖中識別高權(quán)重區(qū)域，提取區(qū)域中顏色、紋理和邊緣特征，通過全局池化操作處理圖像整體特征，得到局部特征和全局特征集合；

27、根據(jù)所述局部特征和全局特征集合，采用公式：

28、

29、計算歸一化的關(guān)聯(lián)度，用于局部特征集合與全局特征集合之間的匹配程度，構(gòu)建上下文關(guān)聯(lián)矩陣；

30、其中，用于指示局部與全局特征中的各個分量，表示局部與全局特征向量中包含的分量數(shù)量，為局部特征向量中的第個分量，為全局特征集合中的第個分量，是調(diào)整因子，表示局部特征集合的各個分量，表示全局特征集合的各個分量，是局部特征集合中的第個分量，是全局特征集合中的第個分量。

31、作為本發(fā)明的進一步方案，所述跨層次特征關(guān)聯(lián)圖的獲取步驟具體為：

32、根據(jù)所述上下文關(guān)聯(lián)矩陣的信息，參照每個局部特征與全局特征的關(guān)聯(lián)度，按照關(guān)聯(lián)度的高低對特征的權(quán)重進行動態(tài)調(diào)整，生成調(diào)整后的特征集合；

33、根據(jù)所述調(diào)整后的特征集合，在transformer模型的多層自注意力層結(jié)構(gòu)中逐層構(gòu)建上下文關(guān)聯(lián)圖，將每層關(guān)聯(lián)信息逐層累積并傳遞，得到跨層次特征關(guān)聯(lián)圖。

34、作為本發(fā)明的進一步方案，所述多尺度特征訓練結(jié)果的獲取步驟具體為：

35、基于所述跨層次特征關(guān)聯(lián)圖，對輸入圖像特征進行尺度劃分，識別并分離大尺度與小尺度特征區(qū)域，提取小尺度區(qū)域中的細節(jié)特征，并通過跨層信息傳遞逐步嵌入大尺度區(qū)域，得到融合后的特征圖；

36、基于所述融合后的特征圖，將其輸入至后續(xù)的transformer層，通過層間信息傳遞對每層的圖像特征進行動態(tài)更新，逐層累積細節(jié)和全局結(jié)構(gòu)特征，生成多尺度特征訓練結(jié)果。

37、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點和積極效果在于：

38、本發(fā)明中，通過對圖像的亮度、顏色變化、對比度、邊緣清晰度和紋理密集度等特征信息進行處理，動態(tài)區(qū)分模糊和清晰區(qū)域，并賦予清晰區(qū)域更高權(quán)重，使模型更加聚焦高信息量的區(qū)域，提升了在細節(jié)豐富場景中的分辨能力?；谙嗨贫葌螛撕灒ㄟ^標注樣本與無標簽樣本之間的特征相似性關(guān)系，自動生成指導標簽，提高了無標簽樣本在特征學習過程中的準確性和效率。在特征關(guān)聯(lián)處理中，能夠有效將圖像的局部細節(jié)與全局結(jié)構(gòu)相結(jié)合，通過動態(tài)的上下文關(guān)聯(lián)矩陣，實現(xiàn)了局部與整體信息的精準關(guān)聯(lián)匹配，使模型能夠充分理解跨層次的語義關(guān)系。通過跨層次信息的傳遞與融合，使得小尺度特征能夠嵌入大尺度區(qū)域，進一步增強了模型對細節(jié)特征和整體結(jié)構(gòu)的協(xié)同處理能力，有助于在圖像分割和檢測任務(wù)中更精確地捕捉不同層級的目標特征，增強了模型在復雜視覺任務(wù)中的識別和分析能力。