本申請涉及大模型應用，尤其涉及一種召回準確性評估方法、系統(tǒng)、設備、介質及產品。

背景技術：

1、大語言模型用海量數據進行訓練，使用數十億個參數為回答問題、翻譯語言和完成句子等任務生成原始輸出。檢索增強生成技術用于對大語言模型輸出進行優(yōu)化，使大語言模型能夠在生成回答之前引用訓練數據來源之外的知識庫。在大語言模型本就強大的功能基礎上，檢索增強生成技術可以將其擴展為能訪問特定領域或組織的內部知識庫。具體地，檢索增強生成技術的第一步是讀取外部數據，即大語言模型原始訓練數據集之外的新數據。新數據可以來自多個數據來源，例如ap?i、數據庫或文檔存儲庫。第二步是通過嵌入語言模型技術將數據轉換為數字表示形式并將其存儲在向量數據庫中。這個過程會創(chuàng)建一個生成式人工智能模型可以理解的知識庫。第三步是執(zhí)行相關性搜索，把用戶查詢轉換為向量表示形式，并與向量數據庫匹配。例如一個可以回答組織人力資源問題的檢索增強生成技術應用，如果員工搜索：“我有多少年假？”，系統(tǒng)將檢索年假政策文件以及員工個人過去的休假記錄。這些特定文件將被召回，因為它們與員工輸入的內容高度相關。接下來，檢索增強生成技術模型通過在上下文中添加檢索到的相關數據來增強用戶輸入。最后，再將增強后的內容一并提供給大語言模型為用戶查詢生成更相關的回答。

2、然而，在通過檢索增強生成技術為大語言模型應用注入數據搜索能力時，還需要衡量搜索出來的相關召回內容準確性?，F如今，通常通過人力對召回內容準確性進行評估，然而，人力評估需要人工的多次參與，需要較高的成本。

3、因此，如何在評估召回準確性時降低評估所需的成本，是本領域技術人員尚待解決的技術問題。

技術實現思路

1、本申請的主要目的在于提供一種召回準確性評估方法、系統(tǒng)、設備、介質及產品，旨在解決如何在評估召回準確性時降低評估所需的成本的技術問題。

2、為實現上述目的，本申請?zhí)岢鲆环N召回準確性評估方法，所述方法包括：

3、將預設的知識庫劃分為各個知識塊，并通過大語言模型，生成各所述知識塊各自對應的問題；

4、將各所述問題分別輸入至所述大語言模型，得到各所述問題各自對應的知識塊溯源結果，其中，所述知識塊溯源結果為所述大語言模型基于輸入的問題召回的知識塊；

5、根據各所述問題各自對應的所述知識塊和各自對應的所述知識塊溯源結果，自動評估召回準確性。

6、在一實施例中，所述根據各所述問題各自對應的所述知識塊和各自對應的所述知識塊溯源結果，自動評估召回準確性的步驟，包括：

7、對于各所述問題，將對應于同一問題的知識塊和知識塊溯源結果進行比較，得到各所述問題各自對應的知識塊比對結果；

8、根據各所述知識塊比對結果，計算命中率和/或者平均排名倒數，并根據所述命中率和/或所述平均排名倒數自動評估召回準確性。

9、在一實施例中，所述將預設的知識庫劃分為各個知識塊的步驟，包括：

10、識別預設的知識庫中的數據類型，其中，所述數據類型為一個或者多個；

11、根據所述數據類型，將所述知識庫劃分為各個知識塊。

12、在一實施例中，在檢測到所述數據類型的數量為一個時，所述根據所述數據類型，將所述知識庫劃分為各個知識塊的步驟，包括：

13、在檢測到所述數據類型為文本時，按照章節(jié)將所述知識庫劃分為各個知識塊；

14、在檢測到所述數據類型為表格時，將每個單元格作為一個知識塊，以得到各個知識塊。

15、在一實施例中，在檢測到所述數據類型的數量為多個時，所述根據所述數據類型，將所述知識庫劃分為各個知識塊的步驟，包括：

16、根據各所述數據類型，將所述知識庫切分為多個知識區(qū)；

17、獲取各所述數據類型各自對應的劃分規(guī)則，并基于各所述劃分規(guī)則，將各所述知識區(qū)切分為各個知識塊。

18、在一實施例中，所述將各所述問題分別輸入至所述大語言模型，得到各所述問題各自對應的知識塊溯源結果的步驟，包括：

19、將各所述知識塊分別轉換為向量，并將各所述向量存儲至rag應用中；

20、將各所述問題分別輸入至所述大語言模型，并通過所述大語言模型，在所述rag應用所存儲的向量中確定各所述問題各自對應的目標向量；

21、將各所述目標向量各自對應的知識塊作為各所述問題各自對應的知識塊溯源結果，并輸出各所述知識塊溯源結果。

22、此外，為實現上述目的，本申請還提出一種召回準確性評估系統(tǒng)，所述召回準確性評估系統(tǒng)包括：

23、問題生成模塊，用于將預設的知識庫劃分為各個知識塊，并通過大語言模型，生成各所述知識塊各自對應的問題；

24、數據召回模塊，用于將各所述問題分別輸入至所述大語言模型，得到各所述問題各自對應的知識塊溯源結果，其中，所述知識塊溯源結果為所述大語言模型基于輸入的問題召回的知識塊；

25、自動評估模塊，用于根據各所述問題各自對應的所述知識塊和各自對應的所述知識塊溯源結果，自動評估召回準確性。

26、此外，為實現上述目的，本申請還提出一種召回準確性評估設備，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如上文所述的召回準確性評估方法的步驟。

27、此外，為實現上述目的，本申請還提出一種存儲介質，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現如上文所述的召回準確性評估方法的步驟。

28、此外，為實現上述目的，本申請還提供一種計算機程序產品，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現如上文所述的召回準確性評估方法的步驟。

29、在本申請中，通過將預設的知識庫劃分為各個知識塊，并通過大語言模型，生成各所述知識塊各自對應的問題，可以建立起知識塊與問題之間的對應關系；然后將各所述問題分別輸入至所述大語言模型，得到各所述問題各自對應的知識塊溯源結果，其中，所述知識塊溯源結果為所述大語言模型基于輸入的問題召回的知識塊，可以基于大語言模型得到問題與召回的知識塊之間的對應關系；最后根據各所述問題各自對應的所述知識塊和各自對應的所述知識塊溯源結果，自動評估召回準確性，可以依據問題與知識塊，以及，問題與召回的知識塊之間的對應關系，評估大語言模型的召回準確性。

30、如此，本申請可以在無人工參與的前提下，自動化地評估召回準確性，從而降低了評估召回準確性時所需的成本。并且，本申請還通過將知識庫分塊的方式，使得問題與知識塊對應關系是明確的，然后，通過將知識塊與知識塊溯源結果進行比較的方式，使得得到的召回結果必然為準確或者不準確中的一種，從而從整體上提高了召回準確性評估的準確程度。

技術特征：

1.一種召回準確性評估方法，其特征在于，所述召回準確性評估方法包括：

2.如權利要求1所述的召回準確性評估方法，其特征在于，所述根據各所述問題各自對應的所述知識塊和各自對應的所述知識塊溯源結果，自動評估召回準確性的步驟，包括：

3.如權利要求1所述的召回準確性評估方法，其特征在于，所述將預設的知識庫劃分為各個知識塊的步驟，包括：

4.如權利要求3所述的召回準確性評估方法，其特征在于，在檢測到所述數據類型的數量為一個時，所述根據所述數據類型，將所述知識庫劃分為各個知識塊的步驟，包括：

5.如權利要求3所述的召回準確性評估方法，其特征在于，在檢測到所述數據類型的數量為多個時，所述根據所述數據類型，將所述知識庫劃分為各個知識塊的步驟，包括：

6.如權利要求1所述的召回準確性評估方法，其特征在于，所述將各所述問題分別輸入至所述大語言模型，得到各所述問題各自對應的知識塊溯源結果的步驟，包括：

7.一種召回準確性評估系統(tǒng)，其特征在于，所述召回準確性評估系統(tǒng)包括：

8.一種召回準確性評估設備，其特征在于，所述召回準確性評估設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如權利要求1至6中任一項所述的召回準確性評估方法的步驟。

9.一種存儲介質，其特征在于，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現如權利要求1至6中任一項所述的召回準確性評估方法的步驟。

10.一種計算機程序產品，其特征在于，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現如權利要求1至6中任一項所述的召回準確性評估方法的步驟。

技術總結
本申請公開了一種召回準確性評估方法、系統(tǒng)、設備、介質及產品，涉及大模型應用技術領域，公開了召回準確性評估方法，包括：將預設的知識庫劃分為各個知識塊，并通過大語言模型，生成各所述知識塊各自對應的問題；將各所述問題分別輸入至所述大語言模型，得到各所述問題各自對應的知識塊溯源結果，其中，所述知識塊溯源結果為所述大語言模型基于輸入的問題召回的知識塊；根據各所述問題各自對應的所述知識塊和各自對應的所述知識塊溯源結果，自動評估召回準確性。本申請技術方案旨在解決如何在評估召回準確性時降低評估所需的成本的技術問題。

技術研發(fā)人員：師天麾,張卓然,黃可釗,湯雄超
受保護的技術使用者：北京清程極智科技有限公司
技術研發(fā)日：
技術公布日：2024/12/19