本發(fā)明涉及科技金融(fintech)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)：

1、隨著計算機技術(shù)的發(fā)展，越來越多的技術(shù)應用在金融領(lǐng)域，傳統(tǒng)金融業(yè)正在逐步向金融科技(finteh)轉(zhuǎn)變。在金融科技領(lǐng)域中，通常會涉及到代碼開發(fā)工作。通過代碼開發(fā)出各種金融分析和交易的軟件或應用程序，可以方便金融科技領(lǐng)域的工作人員更合理的篩選金融數(shù)據(jù)，提高處理金融交易的速度、準確性。

2、在代碼開發(fā)的過程中，可以利用大語言模型來對各個開發(fā)環(huán)節(jié)進行有效的輔助，比如使用大語言模型檢測所開發(fā)的代碼的準確性。由于不同的開發(fā)人員擁有各自的開發(fā)風格，因此需要對大語言模型進行必要的微調(diào)，以適應這些差異。在對大語言模型進行微調(diào)的過程中，需要提供有效的高質(zhì)量數(shù)據(jù)來提高大語言模型的質(zhì)量，以降低大語言模型微調(diào)的成本，使得大語言模型更快地學習關(guān)鍵信息，減少訓練所需的迭代次數(shù)和時間，以及減少人工篩選和清理數(shù)據(jù)的時間，降低人力成本。因此，為了提高大語言模型的泛化性和創(chuàng)新性，需要在訓練模型的過程中盡可能地使用具有多樣性且高質(zhì)量的訓練數(shù)據(jù)。

3、然而，目前的樣本數(shù)據(jù)中有許多質(zhì)量差、重復率高的數(shù)據(jù)，因此，如何從大量的樣本數(shù)據(jù)中篩選出具有多樣性和高質(zhì)量的數(shù)據(jù)，是目前亟需解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供一種數(shù)據(jù)處理方法及裝置，用于篩選具有多樣性和高質(zhì)量的數(shù)據(jù)。

2、第一方面，本發(fā)明實施例提供一種數(shù)據(jù)處理方法，該方法包括：獲取多條數(shù)據(jù)，多條數(shù)據(jù)中的每條數(shù)據(jù)包括指令數(shù)據(jù)和輸出結(jié)果數(shù)據(jù)，輸出結(jié)果數(shù)據(jù)為使用大語言模型分析指令數(shù)據(jù)所得到的，對于多條數(shù)據(jù)中的每條數(shù)據(jù)，根據(jù)預設的數(shù)據(jù)指標規(guī)則，確定數(shù)據(jù)的初始質(zhì)量值，數(shù)據(jù)的初始質(zhì)量值用于指示數(shù)據(jù)中的輸出結(jié)果數(shù)據(jù)的質(zhì)量值，數(shù)據(jù)中的輸出結(jié)果數(shù)據(jù)與數(shù)據(jù)中的指令數(shù)據(jù)的對應程度越高，則數(shù)據(jù)中的輸出結(jié)果數(shù)據(jù)的質(zhì)量值越大，對于多條數(shù)據(jù)中的每條數(shù)據(jù)，確定數(shù)據(jù)與多條數(shù)據(jù)中的每條其他數(shù)據(jù)的相似度，對于多條數(shù)據(jù)中的每條數(shù)據(jù)，使用數(shù)據(jù)與多條數(shù)據(jù)中的各條其他數(shù)據(jù)的相似度對數(shù)據(jù)的初始質(zhì)量值進行修正，得到數(shù)據(jù)的最終質(zhì)量值，最終質(zhì)量值用于指示數(shù)據(jù)的指令數(shù)據(jù)在全部數(shù)據(jù)的指令數(shù)據(jù)中的多樣性和數(shù)據(jù)的輸出結(jié)果數(shù)據(jù)的質(zhì)量，根據(jù)多條數(shù)據(jù)的最終質(zhì)量值，確定多條數(shù)據(jù)中的目標數(shù)據(jù)；目標數(shù)據(jù)是最終質(zhì)量值大于第一閾值的數(shù)據(jù)，或者目標數(shù)據(jù)是最終質(zhì)量值最大的設定數(shù)量的數(shù)據(jù)。

3、通過以上方案，根據(jù)設定的數(shù)據(jù)指標規(guī)則確定數(shù)據(jù)的初始質(zhì)量值，可以篩選出高質(zhì)量的數(shù)據(jù)，并且使用相似度對數(shù)據(jù)的初始質(zhì)量值進行修正，可以篩選掉相似度高的數(shù)據(jù)，如此，可以確保最終確定的目標數(shù)據(jù)是具有多樣性和高質(zhì)量的數(shù)據(jù)。

4、可選的，對于多條數(shù)據(jù)中的每條數(shù)據(jù)，根據(jù)預設的數(shù)據(jù)指標規(guī)則，確定數(shù)據(jù)對應的初始質(zhì)量值，包括：使用預設的第一話術(shù)，將預設的數(shù)據(jù)指標規(guī)則和數(shù)據(jù)輸入預設的多個大語言模型，獲得預設的多個大語言模型輸出的多個參考質(zhì)量值，預設的第一話術(shù)用于指示大語言模型輸出參考質(zhì)量值，獲取預設的多個大語言模型各自對應的第一權(quán)重，將預設的多個大語言模型各自對應的第一權(quán)重和參考質(zhì)量值的乘積之和，作為數(shù)據(jù)的初始質(zhì)量值。

5、通過以上方案，通過綜合多個模型的評估結(jié)果，可以解決單一模型評估帶來的偏差問題，使得初始質(zhì)量值更準確，且允許根據(jù)實際情況調(diào)整不同模型的權(quán)重，增加評估的靈活性。

6、可選的，根據(jù)預設的數(shù)據(jù)指標規(guī)則，確定數(shù)據(jù)的初始質(zhì)量值之后，確定數(shù)據(jù)與多條數(shù)據(jù)中的每條其他數(shù)據(jù)的相似度之前，還包括：使用預設的第二話術(shù)，將預設的數(shù)據(jù)指標規(guī)則和數(shù)據(jù)作為目標信息發(fā)送給大語言模型，獲得大語言模型輸出的概率值，預設的第二話術(shù)用于指示大語言模型輸出目標信息中的數(shù)據(jù)符合目標信息中的預設指標規(guī)則的概率值，使用概率值與初始質(zhì)量值的乘積，更新初始質(zhì)量值。

7、通過以上方案，確定數(shù)據(jù)符合預設的數(shù)據(jù)指標規(guī)則的概率可以彌補大語言模型在進行數(shù)據(jù)評分的過程中置信度不同的問題，即，考慮到了大語言模型評分的置信度，使得初始質(zhì)量值更準確。

8、可選的，對于多條數(shù)據(jù)中的每條數(shù)據(jù)，使用數(shù)據(jù)與多條數(shù)據(jù)中的各條其他數(shù)據(jù)的相似度對數(shù)據(jù)的初始質(zhì)量值進行修正，得到數(shù)據(jù)的最終質(zhì)量值，包括：獲取每個其他數(shù)據(jù)的初始質(zhì)量值，并將數(shù)據(jù)與每個其他數(shù)據(jù)的相似度除以每個其他數(shù)據(jù)的初始質(zhì)量值，得到每個其他數(shù)據(jù)對數(shù)據(jù)的修正比例，計算各個其他數(shù)據(jù)對數(shù)據(jù)的修正比例的和值，并將和值與初始質(zhì)量值的乘積，作為數(shù)據(jù)的最終質(zhì)量值。如此，通過數(shù)據(jù)與其他數(shù)據(jù)的相似度計算修正比例，以此來修正初始質(zhì)量值，可以篩選出質(zhì)量高且相似度小的數(shù)據(jù)。

9、可選的，預設的數(shù)據(jù)指標規(guī)則包括如下內(nèi)容中的一項或多項：代碼注釋滿足規(guī)范要求，實際完成的回答與指令數(shù)據(jù)的要求一致，生成的回答是正確的且可執(zhí)行成功的，生成的回答是流暢通順的且不存在歧義，生成回答的格式滿足要求、生成回答的格式能對回答進行充分的解釋。如此，可以篩選出符合預設的數(shù)據(jù)指標規(guī)則的數(shù)據(jù)。

10、可選的，多條數(shù)據(jù)屬于n個場景，n為大于或等于2的整數(shù)，得到數(shù)據(jù)的最終質(zhì)量值之后，還包括：確定數(shù)據(jù)所屬的目標場景，計算目標場景下包含的各條數(shù)據(jù)的初始質(zhì)量值的和值，使用和值除以目標場景的數(shù)據(jù)總量，得到目標場景對應的平均質(zhì)量值，將數(shù)據(jù)的初始質(zhì)量值除以平均質(zhì)量值，得到數(shù)據(jù)的第二權(quán)重，將第二權(quán)重與最終質(zhì)量值的乘積，作為修正后的最終質(zhì)量值。

11、通過以上方案，可以將不同場景下的數(shù)據(jù)映射到一個維度上進行質(zhì)量的衡量和比較，如此，可以篩選出具有多個場景的目標數(shù)據(jù)。

12、可選的，n個場景包括如下內(nèi)容中的一項或多項：python代碼生成場景，java代碼生成場景，python風險掃描場景，java風險掃描場景。

13、可選的，對于多條數(shù)據(jù)中的每條數(shù)據(jù)，使用數(shù)據(jù)與多條數(shù)據(jù)中的各條其他數(shù)據(jù)的相似度對數(shù)據(jù)的初始質(zhì)量值進行修正之前，還包括：根據(jù)數(shù)據(jù)與各個其他數(shù)據(jù)的相似度，刪除其中相似度大的其他數(shù)據(jù)。如此，可以簡化后續(xù)計算的步驟。

14、第二方面，本發(fā)明實施例提供一種數(shù)據(jù)處理裝置，數(shù)據(jù)處理裝置包括：

15、獲取模塊，用于獲取多條數(shù)據(jù)，所述多條數(shù)據(jù)中的每條數(shù)據(jù)包括指令數(shù)據(jù)和輸出結(jié)果數(shù)據(jù)，所述輸出結(jié)果數(shù)據(jù)為使用大語言模型分析所述指令數(shù)據(jù)所得到的。

16、初始質(zhì)量值確定模塊，用于對于所述多條數(shù)據(jù)中的每條數(shù)據(jù)，根據(jù)預設的數(shù)據(jù)指標規(guī)則，確定所述數(shù)據(jù)的初始質(zhì)量值，所述數(shù)據(jù)的初始質(zhì)量值用于指示所述數(shù)據(jù)中的輸出結(jié)果數(shù)據(jù)的質(zhì)量值，所述數(shù)據(jù)中的輸出結(jié)果數(shù)據(jù)與所述數(shù)據(jù)中的指令數(shù)據(jù)的對應程度越高，則所述數(shù)據(jù)中的輸出結(jié)果數(shù)據(jù)的質(zhì)量值越大；

17、相似度確定模塊，用于對于所述多條數(shù)據(jù)中的每條數(shù)據(jù)，確定所述數(shù)據(jù)與所述多條數(shù)據(jù)中的每條其他數(shù)據(jù)的相似度；

18、修正模塊，用于對于所述多條數(shù)據(jù)中的每條數(shù)據(jù)，使用所述數(shù)據(jù)與所述多條數(shù)據(jù)中的各條其他數(shù)據(jù)的相似度對所述數(shù)據(jù)的初始質(zhì)量值進行修正，得到所述數(shù)據(jù)的最終質(zhì)量值，所述最終質(zhì)量值用于指示所述數(shù)據(jù)的指令數(shù)據(jù)在全部數(shù)據(jù)的指令數(shù)據(jù)中的多樣性和所述數(shù)據(jù)的輸出結(jié)果數(shù)據(jù)的質(zhì)量。

19、目標數(shù)據(jù)確定模塊，用于根據(jù)所述多條數(shù)據(jù)的最終質(zhì)量值，確定所述多條數(shù)據(jù)中的目標數(shù)據(jù)；所述目標數(shù)據(jù)是所述最終質(zhì)量值大于第一閾值的數(shù)據(jù)，或者所述目標數(shù)據(jù)是所述最終質(zhì)量值最大的設定數(shù)量的數(shù)據(jù)。

20、在一種可能的實現(xiàn)方式中，初始質(zhì)量值確定模塊具體用于：使用預設的第一話術(shù)，將預設的數(shù)據(jù)指標規(guī)則和數(shù)據(jù)輸入預設的多個大語言模型，獲得預設的多個大語言模型輸出的多個參考質(zhì)量值，預設的第一話術(shù)用于指示大語言模型輸出參考質(zhì)量值，獲取預設的多個大語言模型各自對應的第一權(quán)重，將預設的多個大語言模型各自對應的第一權(quán)重和參考質(zhì)量值的乘積之和，作為數(shù)據(jù)的初始質(zhì)量值。

21、在一種可能的實現(xiàn)方式中，還包括初始質(zhì)量值更新模塊，用于使用預設的第二話術(shù)，將預設的數(shù)據(jù)指標規(guī)則和數(shù)據(jù)作為目標信息發(fā)送給大語言模型，獲得大語言模型輸出的概率值，預設的第二話術(shù)用于指示大語言模型輸出目標信息中的數(shù)據(jù)符合目標信息中的預設指標規(guī)則的概率值，使用概率值與初始質(zhì)量值的乘積，更新初始質(zhì)量值。

22、在一種可能的實現(xiàn)方式中，修正模塊具體用于：獲取每個其他數(shù)據(jù)的初始質(zhì)量值，并將數(shù)據(jù)與每個其他數(shù)據(jù)的相似度除以每個其他數(shù)據(jù)的初始質(zhì)量值，得到每個其他數(shù)據(jù)對數(shù)據(jù)的修正比例，計算各個其他數(shù)據(jù)對數(shù)據(jù)的修正比例的和值，并將和值與初始質(zhì)量值的乘積，作為數(shù)據(jù)的最終質(zhì)量值。

23、在一種可能的實現(xiàn)方式中，預設的數(shù)據(jù)指標規(guī)則包括如下內(nèi)容中的一項或多項：代碼注釋滿足規(guī)范要求，實際完成的回答與指令數(shù)據(jù)的要求一致，生成的回答是正確的且可執(zhí)行成功的，生成的回答是流暢通順的且不存在歧義，生成回答的格式滿足要求、生成回答的格式能對回答進行充分的解釋。

24、在一種可能的實現(xiàn)方式中，多條數(shù)據(jù)屬于n個場景，n為大于或等于2的整數(shù)，得到數(shù)據(jù)的最終質(zhì)量值之后，目標數(shù)據(jù)確定模塊還用于：確定數(shù)據(jù)所屬的目標場景，計算目標場景下包含的各條數(shù)據(jù)的初始質(zhì)量值的和值，使用和值除以目標場景的數(shù)據(jù)總量，得到目標場景對應的平均質(zhì)量值，將數(shù)據(jù)的初始質(zhì)量值除以平均質(zhì)量值，得到數(shù)據(jù)的第二權(quán)重，將第二權(quán)重與最終質(zhì)量值的乘積，作為修正后的最終質(zhì)量值。

25、在一種可能的實現(xiàn)方式中，n個場景包括如下內(nèi)容中的一項或多項：python代碼生成場景，java代碼生成場景，python風險掃描場景，java風險掃描場景。

26、在一種可能的實現(xiàn)方式中，還包括刪除模塊，用于根據(jù)數(shù)據(jù)與各個其他數(shù)據(jù)的相似度，刪除其中相似度大的其他數(shù)據(jù)。

27、第三方面，本技術(shù)還提供一種數(shù)據(jù)處理裝置，該設備包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執(zhí)行所述計算機程序時，實現(xiàn)如第一方面的各種可能的設計中所述的方法。

28、第四方面，本技術(shù)實施例還提供一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)上存儲有計算機程序或指令，計算機程序或指令被處理器執(zhí)行時，實現(xiàn)如第一方面的各種可能的設計中所述的方法。

29、第五方面，本技術(shù)實施例還提供一種計算機程序產(chǎn)品，當其在計算機上運行時，使得計算機執(zhí)行如上述第一方面任一所述的方法。

30、本技術(shù)的這些實現(xiàn)方式或其他實現(xiàn)方式在以下實施例的描述中會更加簡明易懂。