本發(fā)明涉及一種目標識別技術，特別涉及一種端到端紅綠燈多任務感知方法。

背景技術：

1、隨著無人駕駛技術的迅速發(fā)展，對車輛的感知系統提出了更高的要求。紅綠燈作為交通規(guī)則中至關重要的信號，其正確識別對于確保自動駕駛車輛安全行駛至關重要。紅綠燈感知系統不僅需要識別信號燈的狀態(tài)，還需要精確地定位紅綠燈的位置，判別種類、識別顏色、判定轉向指示，以及檢測倒計時等關鍵信息。

2、傳統無人駕駛系統主要依賴于高精度地圖數據來獲取交通燈及交通標志信息，然而此類方法嚴重依賴于地圖的實時性、準確性與覆蓋范圍，無法滿足真正的無人駕駛感知要求。此外、在基于計算機視覺的紅綠燈感知任務中，根據任務的多樣性，往往需要串行多個模型來完成多個任務，這樣會導致設備資源的消耗，以及模型間信息的冗余。

技術實現思路

1、針對無人駕駛中紅綠燈識別問題，提出了一種端到端紅綠燈多任務感知方法，能夠將紅綠燈感知中的紅綠燈目標檢測、屬性識別、倒計時關鍵點定位三種不同任務，統一到一個網絡模型中。實現輸入交通圖像，單模型推理輸出多任務結果。本發(fā)明的紅綠燈感知方法中各任務共享backbone，相比多模型串行的方式，大大減少了模型參數量與計算量，對于嵌入式設備更友好。且去除非極大值抑制（nms）過程，直接輸出目標結果，真正做到端到端檢測。

2、本發(fā)明的技術方案為：一種端到端紅綠燈多任務感知方法，具體包括如下步驟：

3、1）數據集構建：

4、采用安裝至車輛駕駛室正前方居中位置，使前方車道位于圖像中心偏下位置的長焦相機，拍攝車來前方紅綠燈圖像，構建紅綠燈多任務融合數據集；

5、數據集中需標注紅綠燈框位置、種類屬性、顏色屬性、轉向屬性以及倒計時關鍵點區(qū)域；

6、2）構建用于訓練的端到端紅綠燈感知網絡：

7、輸入圖像首先進入yolov8cspdarknet的骨干網絡backbone后，圖像經過5個層級的特征尺度層處理，每一層級特征層將上一層圖像特征進行2倍降采樣；接著將特征尺度3、4、5的特征圖輸入至pafpn的圖像特征網絡neck層進行多尺度特征融合；

8、neck層：設置兩路訓練分支，一路以topk=10選取分數最大的前十個目標來進行正負樣本分配，一路則以topk=1只保留最大分數進行正負樣本分配，neck層輸出的三種尺度特征圖分別輸入至兩路訓練分支，兩路訓練分支中均包括三個任務分支，分別為多屬性分支、檢測框分支、關鍵點分支，在兩路訓練分支中分別進行多任務分支loss計算并反向傳播、迭代優(yōu)化；

9、head層：模型推理及導出，各尺度特征圖先將多任務分支結果concat拼接，再將3個不同尺度特征圖結果進行concat拼接，接著根據紅綠燈的屬性、box及points任務進行解耦，并以屬性中的種類分數選取最大值的前50個目標，此50個目標對應的完整屬性結果、box結果及points結果即為端到端紅綠燈多任務感知網絡的訓練輸出結果；

10、3）模型訓練：

11、多任務損失loss：多屬性分支損失按照屬性的不同，包含種類損失lbce_cls、顏色損失lbce_color與方向損失lbce_direction；檢測框分支損失包括預測精度損失lciou與標簽真實度損失ldfl；關鍵點分支損失包括關鍵點坐標損失loks與關鍵點分數損失lbce_pose；

12、以上述各損失loss加權求和為最終多任務損失訓練loss；

13、將步驟1）中數據集中選定的訓練集數據送入步驟2）的網絡結構中，通過計算每次的多任務損失進行迭代優(yōu)化，完成模型訓練；并通過步驟1）數據集中選定的驗證集、測試集對訓練后模型進行驗證和測試；

14、4）端到端紅綠燈多任務感知實現：

15、模型訓練完成后，只保留topk1對應的特征圖分支，其他結構和參數不變，構成端到端紅綠燈多任務感知網絡；采集實時圖像送網絡進行多任務識別，輸出識別結果，包括紅綠燈目標檢測框、紅綠燈種類及分數、紅綠燈顏色及其分數、紅綠燈轉向及其分數、紅綠燈倒計時關鍵點及其分數。

16、進一步，所述步驟1）中所述紅綠燈框位置對應檢測框；所述種類屬性包括機動車紅綠燈、非機動車紅綠燈、行人紅綠燈，所述顏色屬性包括紅、綠、黃、黑，所述轉向屬性包括左轉、右轉、直行、調頭、無方向，所述種類屬性、顏色屬性和轉向屬性對應多屬性；所述倒計時關鍵點區(qū)域對應關鍵點。

17、進一步，所述步驟2）中三種任務分支中各分支均根據任務內容采用conv+bn+relu的基礎卷積塊構建。

18、進一步，所述步驟2）中所述正負樣本分配采用任務對齊學習動態(tài)分配策略來進行，任務對齊學習根據分類與回歸的質量分數加權的分數選擇正樣本，使得樣本分配能力隨著訓練而不斷增強，補充模型在不同任務上對正樣本的需求。

19、進一步，所述所述兩路訓練分支，通過設置topk的數量，即topk1預測分式最大目標與topk10預測分數前10大的目標，設置兩種所述正負樣本分配，對應兩個特征圖輸出；其中在訓練階段topk10為訓練提供更多的正樣本，幫助模型快速收斂；在導出階段利用topk1僅一個預測框被分配給一個真實物體標簽，避免nms操作。

20、一種端到端紅綠燈感知網絡模型訓練和模型導出共用方法，多種不同任務共享模型骨干網絡，使得模型參數高度復用；使用各任務損失loss加權求和為最終多任務損失，實現多任務之間相互監(jiān)督；在訓練階段使用topk10與topk1雙分支的正樣本分配策略，topk10為模型提供更多正樣本使得訓練容易收斂；僅用topk1分支導出模型使得模型輸出結果縮減至更低量級，避免多目標時使用nms帶來的復雜度，加速紅綠燈感知后處理。

21、本發(fā)明的有益效果在于：本發(fā)明端到端紅綠燈多任務感知方法，單個模型實現紅綠燈目標檢測、種類分類、顏色分類、轉向分類、倒計時關鍵點檢測多個感知任務功能，對比多模型串行方式：總體模型參數量及計算量大大降低；方法中不包含nms后處理方法，不會涉及復雜的后處理過程，使得輸出即所得，大大降低了后處理時間，嵌入式設備更友好；方法中集成多個計算機視覺任務，包括目標檢測、多屬性分類、關鍵點定位任務，設計新的loss策略及訓練方法，能夠為此類多任務問題提供模型集成訓練思路；多任務解耦的雙分支正樣本分配策略：topk10與topk1正樣本分配策略，在訓練時topk10為模型提供更多的正樣本使得模型訓練更容易收斂；在模型導出時，只保留topk1分支特征圖，使得模型輸出候選結果大大降低。

技術特征：

1.一種端到端紅綠燈多任務感知方法，其特征在于，具體包括如下步驟：

2.根據權利要求1所述端到端紅綠燈多任務感知方法，其特征在于，所述步驟1）中所述紅綠燈框位置對應檢測框；所述種類屬性包括機動車紅綠燈、非機動車紅綠燈、行人紅綠燈，所述顏色屬性包括紅、綠、黃、黑，所述轉向屬性包括左轉、右轉、直行、調頭、無方向，所述種類屬性、顏色屬性和轉向屬性對應多屬性；所述倒計時關鍵點區(qū)域對應關鍵點。

3.根據權利要求2所述端到端紅綠燈多任務感知方法，其特征在于，所述步驟2）中三種任務分支中各分支均根據任務內容采用conv+bn+relu的基礎卷積塊構建。

4.根據權利要求3所述端到端紅綠燈多任務感知方法，其特征在于，所述步驟2）中所述正負樣本分配采用任務對齊學習動態(tài)分配策略來進行，任務對齊學習根據分類與回歸的質量分數加權的分數選擇正樣本，使得樣本分配能力隨著訓練而不斷增強，補充模型在不同任務上對正樣本的需求。

5.根據權利要求4所述端到端紅綠燈多任務感知方法，其特征在于，所述所述兩路訓練分支，通過設置topk的數量，即topk1預測分式最大目標與topk10預測分數前10大的目標，設置兩種所述正負樣本分配，對應兩個特征圖輸出；其中在訓練階段topk10為訓練提供更多的正樣本，幫助模型快速收斂；在導出階段利用topk1僅一個預測框被分配給一個真實物體標簽，避免nms操作。

6.一種端到端紅綠燈感知網絡模型訓練和模型導出共用方法，其特征在于，多種不同任務共享模型骨干網絡，使得模型參數高度復用；使用各任務損失loss加權求和為最終多任務損失，實現多任務之間相互監(jiān)督；在訓練階段使用topk10與topk1雙分支的正樣本分配策略，topk10為模型提供更多正樣本使得訓練容易收斂；僅用topk1分支導出模型使得模型輸出結果縮減至更低量級，避免多目標時使用nms帶來的復雜度，加速紅綠燈感知后處理。

技術總結
本發(fā)明涉及一種端到端紅綠燈多任務感知方法，多種不同任務共享模型骨干網絡，使得模型參數高度復用；使用各任務損失加權求和為最終多任務損失，實現多任務之間相互監(jiān)督；在訓練階段使用topk10與topk1雙分支正樣本分配策略，topk10為模型提供更多正樣本使得訓練容易收斂；僅用topk1分支導出模型使得模型輸出結果縮減至更低量級，避免多目標時使用NMS帶來的復雜度，加速紅綠燈感知后處理。能夠將紅綠燈感知中的紅綠燈目標檢測、屬性識別、倒計時關鍵點定位三種不同任務，統一到一個網絡模型中。實現輸入交通圖像，單模型推理輸出多任務結果。相比多模型串行的方式，大大減少了模型參數量與計算量，對于嵌入式設備更友好。

技術研發(fā)人員：武建龍,陸新飛,許正昊,李家松,薛旦,張顯宏,王海濤,史頌華
受保護的技術使用者：上海幾何伙伴智能駕駛有限公司
技術研發(fā)日：
技術公布日：2024/12/19