本技術(shù)涉及圖像處理,具體而言,涉及一種目標檢測方法、裝置、存儲介質(zhì)及設(shè)備。
背景技術(shù):
1、目前,基于攝像頭2d圖像進行車載路況感知的技術(shù)被廣泛應(yīng)用于城市noa(navigate?on?autopilot,導(dǎo)航輔助自動駕駛)中,而準確、有效地感知遠處與近處動靜態(tài)目標,成為提升智駕表現(xiàn)的主要指標之一?,F(xiàn)有的基于單目視覺的目標檢測方案主要是先通過一個大參數(shù)量的神經(jīng)網(wǎng)絡(luò)模型對輸入的圖像進行初步檢測,根據(jù)初步檢測結(jié)果對圖像進行區(qū)域摳圖后再送入另一個神經(jīng)網(wǎng)絡(luò)模型進行精細化檢測,以獲得遠處目標信息和近處目標信息。然而,當初步檢測結(jié)果中具有較多目標物時,摳圖和后續(xù)檢測的耗時將會變長,往往無法滿足實時性需求,而且對實際車載配置的芯片算力需求較高。
技術(shù)實現(xiàn)思路
1、本技術(shù)的目的在于提供一種目標檢測方法、裝置、存儲介質(zhì)及設(shè)備,旨在解決相關(guān)技術(shù)中基于單目視覺的目標檢測方式存在的難以滿足實時性需求,而且對芯片算力需求較高的問題。
2、第一方面,本技術(shù)提供的一種目標檢測方法,包括:通過第一目標檢測模型對基于車載攝像頭采集到的目標圖像序列中的第一幀圖像進行處理,得到初步檢測信息;所述初步檢測信息包括所述第一幀圖像中的所有目標的區(qū)域位置信息;根據(jù)所述初步檢測信息獲取遠處目標區(qū)域,將所述遠處目標區(qū)域劃分為多個類別,并將所述多個類別分配給所述目標圖像序列中的其余圖像,從所述其余圖像中裁剪出與所分配的類別相對應(yīng)的遠處目標區(qū)域圖,并根據(jù)所述目標圖像序列的時間線在所述其余圖像中選取一幀圖像,從選取的圖像中裁剪出近處目標區(qū)域圖;對所述遠處目標區(qū)域圖和所述近處目標區(qū)域圖進行目標檢測,得到遠處目標信息和近處目標信息;所述遠處目標信息包括所述目標圖像序列中的遠處目標的位姿信息;所述近處目標信息包括所述目標圖像序列中的近處目標的位姿信息。
3、在上述實現(xiàn)過程中,以目標圖像序列為一個檢測周期,通過第一目標檢測模型對該目標圖像序列中的第一幀圖像進行初步檢測,識別出所有目標在圖像上的區(qū)域位置,之后,將遠處目標區(qū)域劃分為多個類別,將這多個類別分配給該目標圖像序列的其余圖像,以此截取出遠處目標區(qū)域圖,進而對該遠處目標區(qū)域圖進行目標檢測,得到遠處目標信息,同時,根據(jù)目標圖像序列的時間線在該其余圖像中選取一幀,從中裁剪出近處目標區(qū)域圖,進而對該近處目標區(qū)域圖進行目標檢測,得到近處目標信息。如此,在實現(xiàn)對遠近處目標的穩(wěn)定檢測的同時,降低計算消耗,提升計算效率,從而滿足實時性需求,并且降低對芯片算力的需求。
4、進一步地,在一些例子中,所述目標圖像序列的圖像幀數(shù)根據(jù)所述車載攝像頭的感知幀率進行設(shè)置。
5、在上述實現(xiàn)過程中,根據(jù)實際車載攝像頭的感知幀率對檢測周期內(nèi)的圖像幀數(shù)進行動態(tài)取值,有效避免在某些幀中漏檢目標的情況,從而提升目標檢測的準確性和可靠性。
6、進一步地,在一些例子中,所述根據(jù)所述初步檢測信息獲取遠處目標區(qū)域,將所述遠處目標區(qū)域劃分為多個類別,包括:根據(jù)所述第一幀圖像中的所有遠處目標的區(qū)域位置信息,對所述第一幀圖像中的遠處目標區(qū)域進行截取;采用聚類算法,對截取的遠處目標區(qū)域進行聚類,得到多個類別。
7、在上述實現(xiàn)過程中,基于第一目標檢測模型輸出的遠處目標的區(qū)域位置信息,對遠處目標區(qū)域進行截取,在截取出所有的遠處目標區(qū)域后,使用聚類算法將這些待檢測的遠處目標劃分成多個類別,如此,實現(xiàn)對遠處目標區(qū)域的檢測任務(wù)的合理分配,從而有效提升檢測效率,并降低目標檢測所需的算力需求。
8、進一步地,在一些例子中,所述聚類算法為k均值聚類算法;所述k均值聚類算法的k值是所述目標圖像序列的圖像幀數(shù)減一后得到的值。
9、在上述實現(xiàn)過程中,使用k均值聚類算法對遠處目標區(qū)域進行聚類合并,類別的數(shù)量與目標圖像序列除第一幀圖像外的剩余圖像幀數(shù)保持一致,使得接下來的圖像執(zhí)行推理的時候,每一幀都有遠處目標檢測任務(wù),從而有效提升遠處目標檢測任務(wù)分配的合理性與可靠性。
10、進一步地,在一些例子中,所述初步檢測信息還包括所述第一幀圖像中的所有目標的置信度;所述將所述多個類別分配給所述目標圖像序列中的其余圖像,包括:根據(jù)每個類別包含的遠處目標的置信度,計算所述類別的累積置信度;將所述多個類別按照所述累積置信度進行升序排列;根據(jù)所述多個類別的排列順序,將所述多個類別依次分配給所述目標圖像序列中的其余圖像,以使所述其余圖像中每幀圖像分配到一個類別。
11、在上述實現(xiàn)過程中,提供一種分配遠處目標檢測任務(wù)的具體方式,對置信度低的遠處目標進行優(yōu)先檢測,從而保證了檢測結(jié)果在整個時序上的長期穩(wěn)定性和精確性。
12、進一步地,在一些例子中,所述根據(jù)所述目標圖像序列的時間線在所述其余圖像中選取一幀圖像,包括:根據(jù)所述目標圖像序列的時間線,在所述其余圖像確定中間時刻對應(yīng)的至少一幀圖像;從所述中間時刻對應(yīng)的至少一幀圖像中選取一幀圖像。
13、在上述實現(xiàn)過程中,從中間時刻對應(yīng)的至少一幀圖像中截取近處目標區(qū)域圖進行近處目標檢測,從而在保證近處目標的穩(wěn)定檢測的同時,有效降低計算消耗,提升檢測效率。
14、進一步地,在一些例子中,所述對所述遠處目標區(qū)域圖和所述近處目標區(qū)域圖進行目標檢測,得到遠處目標信息和近處目標信息,包括:通過第二目標檢測模型對所述遠處目標區(qū)域圖進行目標檢測,得到遠處目標信息,并通過第三目標檢測模型對所述近處目標區(qū)域圖進行目標檢測,得到近處目標信息;其中,所述第二目標檢測模型是基于第一訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的;所述第一訓(xùn)練數(shù)據(jù)集包括多個遠處目標樣本圖像和每個遠處目標樣本圖像對應(yīng)的標簽;所述遠處目標樣本圖像對應(yīng)的標簽包括所述遠處目標樣本圖像中的遠處目標的指定屬性的真值;所述第三目標檢測模型是基于第二訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的;所述第二訓(xùn)練數(shù)據(jù)集包括多個近處目標樣本圖像和每個近處目標樣本圖像對應(yīng)的標簽;所述近處目標樣本圖像對應(yīng)的標簽包括所述近處目標樣本圖像中的近處目標的指定屬性的真值。
15、在上述實現(xiàn)過程中,訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)模型,分別專用于檢測遠處目標和近處目標,從而有效提升感知的準確性。
16、第二方面,本技術(shù)提供的一種目標檢測裝置,包括:初步檢測模塊,用于通過第一目標檢測模型對基于車載攝像頭采集到的目標圖像序列中的第一幀圖像進行處理,得到初步檢測信息;所述初步檢測信息包括所述第一幀圖像中的所有目標的區(qū)域位置信息;區(qū)域裁剪模塊,用于根據(jù)所述初步檢測信息獲取遠處目標區(qū)域,將所述遠處目標區(qū)域劃分為多個類別,并將所述多個類別分配給所述目標圖像序列中的其余圖像,從所述其余圖像中裁剪出與所分配的類別相對應(yīng)的遠處目標區(qū)域圖,并根據(jù)所述目標圖像序列的時間線在所述其余圖像中選取一幀圖像,從選取的圖像中裁剪出近處目標區(qū)域圖;目標檢測模塊,用于對所述遠處目標區(qū)域圖和所述近處目標區(qū)域圖進行目標檢測,得到遠處目標信息和近處目標信息;所述遠處目標信息包括所述目標圖像序列中的遠處目標的位姿信息;所述近處目標信息包括所述目標圖像序列中的近處目標的位姿信息。
17、第三方面,本技術(shù)提供的一種電子設(shè)備,包括:存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如第一方面任一項所述的方法的步驟。
18、第四方面,本技術(shù)提供的一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)上存儲有指令,當所述指令在計算機上運行時,使得所述計算機執(zhí)行如第一方面任一項所述的方法。
19、第五方面,本技術(shù)提供的一種計算機程序產(chǎn)品,所述計算機程序產(chǎn)品在計算機上運行時,使得計算機執(zhí)行如第一方面任一項所述的方法。
20、本技術(shù)公開的其他特征和優(yōu)點將在隨后的說明書中闡述,或者,部分特征和優(yōu)點可以從說明書推知或毫無疑義地確定,或者通過實施本技術(shù)公開的上述技術(shù)即可得知。
21、為使本技術(shù)的上述目的、特征和優(yōu)點能更明顯易懂,下文特舉較佳實施例,并配合所附附圖,作詳細說明如下。