本發(fā)明屬于目標檢測,具體涉及一種基于深度學習的目標檢測優(yōu)化方法、系統(tǒng)、設備與存儲介質(zhì)。
背景技術(shù):
1、在計算機視覺領(lǐng)域,目標檢測作為一項基礎(chǔ)且關(guān)鍵的技術(shù),廣泛應用于自動駕駛、視頻監(jiān)控、醫(yī)學影像分析等多個領(lǐng)域。傳統(tǒng)的目標檢測算法,如rcnn系列、yolo系列等,雖然在檢測精度和速度上取得了顯著進展,但仍面臨一些挑戰(zhàn)。
2、首先,現(xiàn)有的目標檢測算法通常需要在檢測后進行一系列復雜的后處理步驟,如非極大值抑制(nms)等,以去除冗余的檢測結(jié)果并優(yōu)化邊界框的位置。這些后處理步驟不僅增加了算法的復雜性和計算成本,還可能引入額外的誤差,影響檢測精度。其次,不同場景下的目標檢測任務對算法的泛化能力和魯棒性提出了更高要求。例如,在自動駕駛中,目標檢測算法需要能夠應對復雜多變的道路環(huán)境、不同尺度的車輛和行人、以及光照和遮擋等挑戰(zhàn)。然而,現(xiàn)有的目標檢測算法在面對這些復雜場景時,往往難以保持穩(wěn)定的檢測性能。此外,隨著深度學習技術(shù)的不斷發(fā)展,各種目標檢測網(wǎng)絡架構(gòu)層出不窮。然而,不同的網(wǎng)絡架構(gòu)對正負樣本的處理方式各不相同,缺乏一種統(tǒng)一且高效的正負樣本匹配方法來適應這些不同的網(wǎng)絡架構(gòu)。
技術(shù)實現(xiàn)思路
1、本發(fā)明針對現(xiàn)有技術(shù)中的不足,提供一種基于深度學習的目標檢測優(yōu)化方法、系統(tǒng)、設備與存儲介質(zhì),其精簡了目標檢測時的算法后處理流程,能夠在確保目標檢測精度的前提下,提升目標檢測的速度,并有效降低目標檢測所需的計算資源消耗。
2、本發(fā)明提供了如下的技術(shù)方案:
3、第一方面,提供一種基于深度學習的目標檢測優(yōu)化方法,包括以下步驟:
4、獲取圖像樣本數(shù)據(jù)集;所述圖像樣本數(shù)據(jù)集包括訓練樣本集和驗證樣本集;
5、對目標檢測模型進行訓練,訓練時,采用雙分支并行的樣本匹配算法對訓練樣本集進行正負樣本匹配,且根據(jù)正負樣本匹配的損失以及目標檢測模型的原始損失構(gòu)建目標檢測模型的實際損失函數(shù);基于構(gòu)建的實際損失函數(shù),通過驗證樣本集對目標檢測模型的參數(shù)進行迭代優(yōu)化,直至目標檢測模型滿足預設的優(yōu)化條件;所述雙分支并行的樣本匹配算法包括:并行的基于taskalignedassigner的one-to-many正負樣本匹配算法以及基于匈牙利匹配算法的one-to-one正負樣本匹配算法;
6、利用訓練后的目標檢測模型對目標進行檢測,且在檢測時,僅采用基于匈牙利匹配算法的one-to-one正負樣本匹配算法進行正負樣本匹配。
7、可選地,所述采用雙分支并行的樣本匹配算法對訓練樣本集進行正負樣本匹配,包括采用基于taskalignedassigner的one-to-many正負樣本匹配算法,對訓練樣本集進行正負樣本匹配,過程如下:
8、通過目標檢測模型對輸入圖像預測生成預測框,并獲取預測框在所有預設類別分數(shù)中對應的類別分數(shù)s;
9、獲取每個真實框與每個預測框之間的iou值;
10、基于獲取的iou值和類別分數(shù)s,獲取每個真實框與所有預測框的對齊度;
11、根據(jù)每個真實框與所有預測框的對齊度,選擇topk個預測框作為該真實框的候選正樣本,所述訓練樣本集中除所有候選正樣本以外的預測框均為負樣本;
12、若一個預測框?qū)鄠€真實框的候選正樣本,則比較該預測框與每個真實框的iou值,選擇最大iou值所對應的真實框與該預測框進行對應,并將該預測框從其余真實框的候選正樣本中濾除,以獲取最終的正樣本。
13、可選地,預測框與真實框的對齊度為:
14、
15、其中,為真實框與預測框的iou值,為類別分數(shù)s的權(quán)重,為u的權(quán)重。
16、可選地,所述采用雙分支并行的樣本匹配算法對訓練樣本集進行正負樣本匹配,包括基于匈牙利匹配算法的one-to-one正負樣本匹配算法,對訓練樣本集進行正負樣本匹配,過程如下:
17、目標檢測模型對輸入圖像進行預測,生成候選框和預測框;
18、將所有的候選框和預測框作為檢測框集合,獲取每個真實框與檢測框集合中的每個檢測框之間的代價矩陣;
19、將所有的代價矩陣作為輸入,針對每一個真實框,利用匈牙利匹配算法找到其所對應的代價最小的檢測框;
20、將找到的所有代價最小的檢測框作為正樣本,所述訓練樣本集中除所有正樣本以外的檢測框均為負樣本。
21、可選地,所述目標檢測模型對輸入圖像進行預測,生成候選框和預測框時,若所訓練的目標檢測模型依賴anchor?base實現(xiàn)檢測,則根據(jù)預設的錨框的寬和高生成對應的候選框,若所訓練的目標檢測模型依賴anchor?free實現(xiàn)檢測,則根據(jù)每個錨點生成設定步幅的候選框。
22、可選地,真實框與檢測框的代價矩陣為:
23、
24、其中,為預測框?qū)儆陬悇e的概率,為類別代價的指示函數(shù),為位置代價的指示函數(shù),為真實框與預測框之間的位置代價矩陣;
25、
26、其中,為真實框與預測框之間的iou損失,為iou損失的權(quán)重,為真實框與預測框之間的l1范數(shù),為l1范數(shù)的權(quán)重;
27、所述針對每一個真實框,利用匈牙利匹配算法找到其所對應的代價最小的檢測框的表達式為:
28、
29、其中,為當前真實框的最佳匹配結(jié)果,n為檢測框集合,為當前真實框與所有預測框的匹配結(jié)果集合。
30、可選地,所述根據(jù)正負樣本匹配的損失以及目標檢測模型的原始損失構(gòu)建目標檢測模型的實際損失函數(shù),包括:
31、將采用one-to-many正負樣本匹配算法匹配獲得的正樣本集合記為m,將采用one-to-one正負樣本匹配算法匹配獲得的正樣本集合記為o;
32、針對每一個真實框,對集合m和集合o進行分組,分別記為和,其中,和分別為第i個和第n個真實框所對應的采用one-to-many正負樣本匹配算法匹配獲得的正樣本集合,和分別為第i個和第n個真實框所對應的采用one-to-one正負樣本匹配算法匹配獲得的正樣本;
33、針對每一個真實框,計算其對應的以及之間的ciou損失,并將計算的ciou損失作為正負樣本匹配的損失;
34、將正負樣本匹配的損失和目標檢測模型的原始損失結(jié)合構(gòu)成目標檢測模型的實際損失函數(shù);
35、所述目標檢測模型的實際損失函數(shù)為:
36、
37、
38、其中,為正負樣本匹配的損失,為目標檢測模型的原始損失函數(shù),為預測框與真實框之間的交互比,為中的正樣本,為中的正樣本,為兩個正樣本中心點之間的歐式距離,為能夠完全包裹和的最小外接矩形的對角線長度;為權(quán)重函數(shù),為長寬比相似項,為正樣本的寬度,為正樣本的高度,為正樣本的寬度,為正樣本的高度。
39、第二方面,提供一種基于深度學習的目標檢測優(yōu)化系統(tǒng),包括:
40、樣本獲取模塊,用于獲取圖像樣本數(shù)據(jù)集;所述圖像樣本數(shù)據(jù)集包括訓練樣本集和驗證樣本集;
41、訓練模塊,用于對目標檢測模型進行訓練,訓練時,采用雙分支并行的樣本匹配算法對訓練樣本集進行正負樣本匹配,且根據(jù)正負樣本匹配的損失以及目標檢測模型的原始損失構(gòu)建目標檢測模型的實際損失函數(shù);基于構(gòu)建的實際損失函數(shù),通過驗證樣本集對目標檢測模型的參數(shù)進行迭代優(yōu)化,直至目標檢測模型滿足預設的優(yōu)化條件;所述雙分支并行的樣本匹配算法包括:并行的基于taskalignedassigner的one-to-many正負樣本匹配算法以及基于匈牙利匹配算法的one-to-one正負樣本匹配算法;
42、目標檢測模塊,用于利用訓練后的目標檢測模型對目標進行檢測,且在檢測時,僅采用基于匈牙利匹配算法的one-to-one正負樣本匹配算法進行正負樣本匹配。
43、第三方面,提供一種計算機設備,包括處理器和存儲器;其中,處理器執(zhí)行存儲器中保存的計算機程序時實現(xiàn)第一方面中任一項所述的基于深度學習的目標檢測優(yōu)化方法的步驟。
44、第四方面,提供一種計算機可讀存儲介質(zhì),用于存儲計算機程序;計算機程序被處理器執(zhí)行時實現(xiàn)第一方面中任一項所述的基于深度學習的目標檢測優(yōu)化方法的步驟。
45、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
46、(1)本發(fā)明顯著提升了目標檢測的檢測精度與效率;本發(fā)明通過引入創(chuàng)新的雙通道匹配機制one-to-many和one-to-one正負樣本匹配,在保證高精度的同時,有效減少誤檢和漏檢的情況;one-to-many分支能夠捕捉目標與其對應的多個預測框之間的復雜關(guān)系,而one-to-one分支則確保每個目標僅與一個最優(yōu)檢測框匹配,兩者相輔相成,共同提升檢測精度;此外,由于省去了非極大值抑制等復雜后處理步驟,算法的整體執(zhí)行效率顯著提高,使得實時目標檢測成為可能。
47、(2)采用本發(fā)明訓練后的目標檢測模型泛化能力強且魯棒性高;本發(fā)明在正負樣本匹配時,不依賴特定的目標檢測網(wǎng)絡架構(gòu),能夠無縫集成到各種現(xiàn)有的目標檢測模型中,展現(xiàn)出極強的泛化能力。同時,通過引入差異性損失計算來優(yōu)化兩個匹配分支的學習過程,使得算法能夠更好地適應不同場景下的復雜變化,包括目標遮擋、尺度變化、光照變化等,從而增強魯棒性。
48、(3)本發(fā)明能夠簡化模型訓練與部署流程;本發(fā)明的端到端設計,無需傳統(tǒng)目標檢測算法的非極大值抑制、邊界框回歸等后續(xù)步驟,大大簡化了模型的訓練與部署流程,這不僅降低了本發(fā)明應用的門檻,也提高了本發(fā)明在實際應用中的靈活性和易用性。