本發(fā)明是有關(guān)于一種連續(xù)學(xué)習(xí)的物件檢測(cè)技術(shù)，且特別是有關(guān)于一種物件檢測(cè)方法、機(jī)器學(xué)習(xí)方法及電子裝置。

背景技術(shù)：

1、傳統(tǒng)物件檢測(cè)的目標(biāo)是開發(fā)計(jì)算模型和技術(shù)，提供電腦視覺(jué)應(yīng)用程序所需的資訊，包括物體位置和類別(例如人、動(dòng)物或汽車)。過(guò)去二十年間，物件檢測(cè)的發(fā)展經(jīng)歷了兩個(gè)主要時(shí)期：“傳統(tǒng)物件檢測(cè)時(shí)期”(2014年之前)和“基于深度學(xué)習(xí)的檢測(cè)時(shí)期”(2014年之后)。早期的物件檢測(cè)算法主要基于手工設(shè)計(jì)的復(fù)雜特征，并運(yùn)用各種加速技術(shù)來(lái)利用有限的計(jì)算資源。隨著深度學(xué)習(xí)技術(shù)于2014年后取得重大突破，物件檢測(cè)成為一個(gè)前所未有的研究熱點(diǎn)。近年來(lái)，由于物件檢測(cè)在機(jī)器人和自動(dòng)駕駛汽車領(lǐng)域的廣泛應(yīng)用，單級(jí)和雙級(jí)物件檢測(cè)的持續(xù)學(xué)習(xí)領(lǐng)域獲得越來(lái)越多的關(guān)注。

2、連續(xù)學(xué)習(xí)(continual?learning)是人工智能研究領(lǐng)域中的一個(gè)重要目標(biāo)，其主要關(guān)注點(diǎn)在于讓模型能夠在不同時(shí)間點(diǎn)學(xué)習(xí)不同任務(wù)的知識(shí)，同時(shí)不會(huì)忘記先前學(xué)習(xí)的知識(shí)，避免遭受災(zāi)難性遺忘的問(wèn)題。連續(xù)學(xué)習(xí)不僅能夠提高學(xué)習(xí)新知識(shí)的效率，而且由于不需要存取舊任務(wù)的資料，也能夠降低訓(xùn)練設(shè)備的硬件需求。任務(wù)增量學(xué)習(xí)是連續(xù)學(xué)習(xí)中最典型的場(chǎng)景。在這種場(chǎng)景下，同一任務(wù)的數(shù)據(jù)能夠在同一時(shí)間點(diǎn)全部到達(dá)，從而可以在獨(dú)立同分布的假設(shè)下訓(xùn)練模型。

3、換句話說(shuō)，連續(xù)學(xué)習(xí)的關(guān)注點(diǎn)是如何對(duì)于不同時(shí)間點(diǎn)收集的任務(wù)標(biāo)簽進(jìn)行特征分類，且不同任務(wù)所對(duì)應(yīng)的特征空間彼此互不相交，無(wú)論需要增加多少數(shù)量的任務(wù)或類別，都不造成災(zāi)難性遺忘(catastrophic?forgetting)的問(wèn)題。

4、現(xiàn)有的物件檢測(cè)技術(shù)，通常只針對(duì)特定的網(wǎng)絡(luò)架構(gòu)進(jìn)行演算法的開發(fā)，其架構(gòu)不一定能適用于各種不同的物件檢測(cè)器，對(duì)神經(jīng)網(wǎng)絡(luò)以及訓(xùn)練圖資的泛化性和彈性不佳，未必能減輕使用者負(fù)擔(dān)。而且，過(guò)去的任務(wù)增量學(xué)習(xí)研究主要專注于雙級(jí)物件檢測(cè)器，而非在實(shí)際應(yīng)用場(chǎng)景中速度更快的單級(jí)物件檢測(cè)器。

5、因此，如何針對(duì)多項(xiàng)任務(wù)共享同一個(gè)單級(jí)目標(biāo)檢測(cè)器的神經(jīng)網(wǎng)絡(luò)模型，讓整體網(wǎng)絡(luò)大小以及運(yùn)算量能夠大幅下降，并且在不需取用和儲(chǔ)存舊任務(wù)資料的條件下避免災(zāi)難遺忘，是本領(lǐng)域技術(shù)人員所關(guān)注的課題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種物件檢測(cè)方法、機(jī)器學(xué)習(xí)方法及電子裝置，基于單級(jí)物件檢測(cè)器的網(wǎng)絡(luò)架構(gòu)，提供一種無(wú)需刪改原有網(wǎng)絡(luò)層架構(gòu)即可進(jìn)行任務(wù)增量學(xué)習(xí)的物件檢測(cè)方法，不但泛用于各種單級(jí)物件檢測(cè)模型，而且可有效避免災(zāi)難性遺忘的問(wèn)題。

2、本發(fā)明實(shí)施例提供一種物件檢測(cè)方法，包括：探測(cè)一環(huán)境信號(hào)；根據(jù)該環(huán)境信號(hào)決定一任務(wù)模式；提取一輸入影像；通過(guò)一神經(jīng)網(wǎng)絡(luò)模型的一子模型根據(jù)該任務(wù)模式對(duì)該輸入影像進(jìn)行特征提取，其中該神經(jīng)網(wǎng)絡(luò)模型的該子模型包括對(duì)應(yīng)于該任務(wù)模式的一任務(wù)特定層，該任務(wù)特定層的閘道開關(guān)決定該神經(jīng)網(wǎng)絡(luò)模型的該子模型；以及輸出對(duì)應(yīng)于該任務(wù)模式的物件檢測(cè)結(jié)果。

3、本發(fā)明實(shí)施例提供一種機(jī)器學(xué)習(xí)方法，包括：接收一環(huán)境信號(hào)，其中該環(huán)境信號(hào)指示一任務(wù)模式；接收關(guān)聯(lián)于該任務(wù)模式的一訓(xùn)練資料，其中該訓(xùn)練資料包括一訓(xùn)練影像、對(duì)應(yīng)于該訓(xùn)練影像的類別標(biāo)簽以及對(duì)應(yīng)于該訓(xùn)練影像的邊界框標(biāo)簽；根據(jù)該任務(wù)模式設(shè)置設(shè)置一神經(jīng)網(wǎng)絡(luò)模型的一任務(wù)特定層，其中該任務(wù)特定層的閘道開關(guān)決定該神經(jīng)網(wǎng)絡(luò)模型的一子模型；根據(jù)該類別標(biāo)簽、該邊界框標(biāo)簽以及該任務(wù)特定層的該閘道開關(guān)決定一損失函數(shù)；根據(jù)該損失函數(shù)決定一反向傳播梯度；以及根據(jù)該反向傳播梯度更新該神經(jīng)網(wǎng)絡(luò)模型以及該任務(wù)特定層的該閘道開關(guān)。

4、本發(fā)明實(shí)施例提供一種電子裝置，包括：儲(chǔ)存介質(zhì)，儲(chǔ)存多個(gè)模組；以及處理器，耦接該儲(chǔ)存介質(zhì)，該處理器經(jīng)配置以執(zhí)行所述多個(gè)模組，其中所述多個(gè)模組包括：環(huán)境感知模組，探測(cè)一環(huán)境信號(hào)；影像提取模組，提取一輸入影像；推論模組，根據(jù)該環(huán)境信號(hào)決定一任務(wù)模式，通過(guò)一神經(jīng)網(wǎng)絡(luò)模型的一子模型根據(jù)該任務(wù)模式對(duì)該輸入影像進(jìn)行特征提取，其中該神經(jīng)網(wǎng)絡(luò)模型的該子模型包括對(duì)應(yīng)于該任務(wù)模式的一任務(wù)特定層，該任務(wù)特定層的閘道開關(guān)決定該神經(jīng)網(wǎng)絡(luò)模型的該子模型，且輸出對(duì)應(yīng)于該任務(wù)模式的物件檢測(cè)結(jié)果。

5、基于上述，本發(fā)明實(shí)施例提出基于物件檢測(cè)的任務(wù)增量學(xué)習(xí)技術(shù)架構(gòu)，可通過(guò)任務(wù)特定層將一個(gè)神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)不同的任務(wù)模式的重要卷積神經(jīng)參數(shù)而決定不同的子模型，并允許從一個(gè)神經(jīng)網(wǎng)絡(luò)模型結(jié)合已學(xué)習(xí)任務(wù)的閘道開關(guān)根據(jù)損失函數(shù)自動(dòng)決定是否再利用對(duì)其它舊任務(wù)重要的神經(jīng)網(wǎng)絡(luò)參數(shù)，并利用此參數(shù)來(lái)幫助新任務(wù)的優(yōu)化，使神經(jīng)網(wǎng)絡(luò)模型達(dá)到更佳的可重復(fù)利用率。因此，單級(jí)物件檢測(cè)模型可同時(shí)在分類與物體定位上都有效地避免災(zāi)難性遺忘。

技術(shù)特征：

1.一種物件檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的物件檢測(cè)方法，其特征在于，該神經(jīng)網(wǎng)絡(luò)模型包括一特征提取網(wǎng)絡(luò)，其中通過(guò)該神經(jīng)網(wǎng)絡(luò)模型的該子模型對(duì)該輸入影像進(jìn)行特征提取的步驟包括：

3.根據(jù)權(quán)利要求2所述的物件檢測(cè)方法，其特征在于，該任務(wù)特定層的該閘道開關(guān)包括該特征提取網(wǎng)絡(luò)的一批次標(biāo)準(zhǔn)化層的多個(gè)縮放因子，且所述多個(gè)縮放因子關(guān)聯(lián)于該特征提取網(wǎng)絡(luò)的一卷積層的多個(gè)卷積核，其中將該輸入影像通過(guò)該特征提取網(wǎng)絡(luò)而得到該輸入特征圖的步驟包括：

4.根據(jù)權(quán)利要求2所述的物件檢測(cè)方法，其特征在于，該特征提取網(wǎng)絡(luò)包括一骨干網(wǎng)絡(luò)以及一頸部網(wǎng)絡(luò)，其中將該輸入影像通過(guò)該特征提取網(wǎng)絡(luò)而得到該輸入特征圖的步驟包括：

5.根據(jù)權(quán)利要求4所述的物件檢測(cè)方法，其特征在于，該任務(wù)特定層的該閘道開關(guān)包括該骨干網(wǎng)絡(luò)的一第一批次標(biāo)準(zhǔn)化層的多個(gè)第一縮放因子以及該頸部網(wǎng)絡(luò)的一第二批次標(biāo)準(zhǔn)化層的多個(gè)第二縮放因子，其中所述多個(gè)第一縮放因子關(guān)聯(lián)于該骨干網(wǎng)絡(luò)的一第一卷積層的多個(gè)第一卷積核，其中所述多個(gè)第二縮放因子關(guān)聯(lián)于該頸部網(wǎng)絡(luò)的一第二卷積層的多個(gè)第二卷積核，其中將該輸入影像通過(guò)該特征提取網(wǎng)絡(luò)而得到該輸入特征圖的步驟包括：

6.根據(jù)權(quán)利要求2所述的物件檢測(cè)方法，其特征在于，該神經(jīng)網(wǎng)絡(luò)模型更包括一頭部網(wǎng)絡(luò)，其中輸出對(duì)應(yīng)于該任務(wù)模式的該物件檢測(cè)結(jié)果的步驟包括：

7.根據(jù)權(quán)利要求6所述的物件檢測(cè)方法，其特征在于，該頭部網(wǎng)絡(luò)包括一第三批次標(biāo)準(zhǔn)化層以及多個(gè)輸出層，其中該任務(wù)特定層的該閘道開關(guān)包括該第三批次標(biāo)準(zhǔn)化層的多個(gè)第三縮放因子，其中所述多個(gè)第三縮放因子關(guān)聯(lián)于該頭部網(wǎng)絡(luò)的一第三卷積層的多個(gè)第三卷積核，其中將該輸入特征圖通過(guò)該頭部網(wǎng)絡(luò)而得到該輸入影像的該預(yù)測(cè)類別以及該輸入影像的該邊界框的步驟包括：

8.根據(jù)權(quán)利要求1所述的物件檢測(cè)方法，其特征在于，該神經(jīng)網(wǎng)絡(luò)模型是yolor模型。

9.根據(jù)權(quán)利要求1所述的物件檢測(cè)方法，其特征在于，更包括：

10.根據(jù)權(quán)利要求9所述的物件檢測(cè)方法，其特征在于，該損失函數(shù)包括：

11.根據(jù)權(quán)利要求10所述的物件檢測(cè)方法，其特征在于，該任務(wù)特定層的該閘道開關(guān)包括該神經(jīng)網(wǎng)絡(luò)模型的一批次標(biāo)準(zhǔn)化層的多個(gè)縮放因子，且所述多個(gè)縮放因子關(guān)聯(lián)于該神經(jīng)網(wǎng)絡(luò)模型的一卷積層的多個(gè)卷積核，其中該逐層稀疏化正則項(xiàng)由以下公式計(jì)算：

12.根據(jù)權(quán)利要求9所述的物件檢測(cè)方法，其特征在于，根據(jù)該反向傳播梯度更新該神經(jīng)網(wǎng)絡(luò)模型以及該任務(wù)特定層的該閘道開關(guān)的步驟包括：

13.根據(jù)權(quán)利要求9所述的物件檢測(cè)方法，其特征在于，更包括：

14.一種機(jī)器學(xué)習(xí)方法，其特征在于，包括：

15.根據(jù)權(quán)利要求14所述的機(jī)器學(xué)習(xí)方法，其特征在于，該損失函數(shù)包括：

16.根據(jù)權(quán)利要求15所述的機(jī)器學(xué)習(xí)方法，其特征在于，該任務(wù)特定層的該閘道開關(guān)包括該神經(jīng)網(wǎng)絡(luò)模型的一批次標(biāo)準(zhǔn)化層的多個(gè)縮放因子，且所述多個(gè)縮放因子關(guān)聯(lián)于該神經(jīng)網(wǎng)絡(luò)模型的一卷積層的多個(gè)卷積核，其中該逐層稀疏化正則項(xiàng)由以下公式計(jì)算：

17.根據(jù)權(quán)利要求14所述的機(jī)器學(xué)習(xí)方法，其特征在于，根據(jù)該反向傳播梯度更新該神經(jīng)網(wǎng)絡(luò)模型以及該任務(wù)特定層的該閘道開關(guān)的步驟包括：

18.根據(jù)權(quán)利要求14所述的機(jī)器學(xué)習(xí)方法，其特征在于，更包括：

19.根據(jù)權(quán)利要求14所述的機(jī)器學(xué)習(xí)方法，其特征在于，該神經(jīng)網(wǎng)絡(luò)模型是yolor模型。

20.一種電子裝置，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明是有關(guān)于一種連續(xù)學(xué)習(xí)的物件檢測(cè)技術(shù)，且特別是有關(guān)于一種物件檢測(cè)方法、機(jī)器學(xué)習(xí)方法及電子裝置。一種物件檢測(cè)方法，包括以下步驟：探測(cè)一環(huán)境信號(hào)。根據(jù)該環(huán)境信號(hào)決定一任務(wù)模式。提取一輸入影像。通過(guò)一神經(jīng)網(wǎng)絡(luò)模型的一子模型根據(jù)該任務(wù)模式對(duì)該輸入影像進(jìn)行特征提取，其中該神經(jīng)網(wǎng)絡(luò)模型的該子模型包括對(duì)應(yīng)于該任務(wù)模式的一任務(wù)特定層，該任務(wù)特定層的閘道開關(guān)決定該神經(jīng)網(wǎng)絡(luò)模型的該子模型。輸出對(duì)應(yīng)于該任務(wù)模式的物件檢測(cè)結(jié)果。因此，本方法可用于單級(jí)物件檢測(cè)模型，在分類與物體定位上都有效地避免災(zāi)難性遺忘。

技術(shù)研發(fā)人員：郭峻因,劉城甫
受保護(hù)的技術(shù)使用者：緯創(chuàng)資通股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19