本發(fā)明涉及圖像識別和分割，具體為一種基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法。

背景技術(shù)：

1、用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)曾經(jīng)是解決視覺識別問題的標準結(jié)構(gòu)，但是分類網(wǎng)絡(luò)并不適合區(qū)域和像素層次的問題，因為這些網(wǎng)絡(luò)學(xué)到的表征本質(zhì)上具有低分辨率的特點，在分辨率上的巨大損失使得其在對空間精度敏感的任務(wù)上很難取得準確的預(yù)測結(jié)果。所以現(xiàn)有的兩種主要表示方式：低分辨率表示主要用于圖像分類，高分辨率表示則對許多視覺問題都起著至關(guān)重要的作用，如語義分割、目標檢測、人體姿態(tài)估計等。高分辨率表示正引起人們的廣泛關(guān)注。

2、現(xiàn)有技術(shù)中，計算高分辨率表示大體有兩類方法。一種是從網(wǎng)絡(luò)輸出的低分辨率表示和可選的中等分辨率表示中去恢復(fù)高分辨率表示，例如hourglass。由于經(jīng)歷了high-to-low(產(chǎn)生低分辨率高級特征表示)和low-to-high(恢復(fù)高分辨率)兩個過程，并且這兩個過程是串行的，所以最終的高分辨表征主要來源于兩個部分：第一是原本的高分辨率表征，但是由于只經(jīng)過了少量的卷積操作，其本身只能提供低層次的語義表達；第二是低分辨率表征通過上采樣得到的高分辨率表征，其本身雖然擁有很好的語義表達能力，但是上采樣本身并不能完整地彌補空間分辨率的損失。所以，最終輸出的高分辨率表征所具有的空間敏感度并不高，很大程度上受限于語義表達力強的表征所對應(yīng)的分辨率。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法，學(xué)習(xí)一個空間精度強的表征，hrnet從零開始，自始至終都維持高分辨率，體現(xiàn)了空間分辨率較強的表征，它結(jié)合了所有高分辨率到低分辨率并行流的表示，可以將其應(yīng)用于語義分割等對精度要求更高的場景；以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法，所述方法包括以下步驟：

3、hrnet并行連接所有高到低的卷積流；

4、從高分辨率的子網(wǎng)開始作為第一個階段，逐步增加高分辨率到低分辨率的子網(wǎng)，形成更多的階段，并將多分辨率的子網(wǎng)并聯(lián)起來；

5、通過橫跨多分辨率的并行子網(wǎng)反復(fù)交換信息來進行重復(fù)的多尺度融合；

6、在網(wǎng)絡(luò)輸出的高分辨率卷積流表示上輸出結(jié)果；

7、設(shè)計批歸一化和殘差連接。

8、優(yōu)選的，hrnet并行連接所有高到低的卷積流在整個過程中保持高分辨率表示，并通過對多分辨率流的表示進行反復(fù)融合來生成可靠的高分辨率表示。

9、優(yōu)選的，批歸一化是將每一層的輸入都進行了類似于圖像白化的操作，將每層的數(shù)據(jù)都控制在穩(wěn)定的分布內(nèi)。

10、優(yōu)選的，歸一化步驟具體包括：

11、第一步，求每一個訓(xùn)練批次數(shù)據(jù)的均值μb：

12、

13、第二步，求每一個訓(xùn)練批次數(shù)據(jù)的方差

14、

15、第三步，使用求得的均值和方差對該批次的訓(xùn)練數(shù)據(jù)做歸一化，獲得(0，1)正態(tài)分布其中ε是為了避免除數(shù)為0時所使用的微小正數(shù)；

16、

17、第四步，尺度變換和偏移：將乘以γ調(diào)整數(shù)值大小，再加上β增加偏移后得到y(tǒng)i，γ是尺度因子，β是平移因子；引入兩個新的參數(shù)：γ,β，是在訓(xùn)練時網(wǎng)絡(luò)自己學(xué)習(xí)得到的，

18、

19、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

20、本發(fā)明提出的基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法，并行地連接高分辨率到低分辨率的子網(wǎng)，而不是像大多數(shù)現(xiàn)有解決方案那樣串聯(lián)起來，這使得該網(wǎng)絡(luò)在處理的全部過程中能夠一直保持高分辨率，而不是像之前的方法一樣需要通過高到低接著低到高的過程恢復(fù)高分辨率，這使得該網(wǎng)絡(luò)在空間上可能更加精確；

21、hrnet可以反復(fù)地進行多尺度融合，它將原提取的高分辨率feature?map進行保留，同時在適當?shù)奈恢眠M行低分辨率feature?map流的生成，各分辨率間的語義信息較為獨立，可以借助相同深度和相似級別的低分辨率表示來提高高分辨率表示，通過跨分辨率信息交互的特征融合方式實現(xiàn)了語義融合，在原空間信息精確基礎(chǔ)上，增加了豐富的語義。而且該網(wǎng)絡(luò)也可以利用高分辨率表示來提高低分辨率表示，從而導(dǎo)致高分辨率表示也能夠豐富輸出結(jié)果，這使得它在目標檢測和分類等對空間精度要求不高的應(yīng)用上也能夠提供可靠的低分辨率表示。

技術(shù)特征：

1.一種基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法，其特征在于：所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法，其特征在于：hrnet并行連接所有高到低的卷積流在整個過程中保持高分辨率表示，并通過對多分辨率流的表示進行反復(fù)融合來生成可靠的高分辨率表示。

3.根據(jù)權(quán)利要求1所述的一種基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法，其特征在于：批歸一化是將每一層的輸入都進行了類似于圖像白化的操作，將每層的數(shù)據(jù)都控制在穩(wěn)定的分布內(nèi)。

4.根據(jù)權(quán)利要求1所述的一種基于hrnet的用于標記像素和區(qū)域的高分辨率表示方法，其特征在于：歸一化步驟具體包括：

技術(shù)總結(jié)
本發(fā)明涉及圖像識別和分割技術(shù)領(lǐng)域，具體為一種基于HRNet的用于標記像素和區(qū)域的高分辨率表示方法，包括以下步驟：HRNet并行連接所有高到低的卷積流；從高分辨率的子網(wǎng)開始作為第一個階段，逐步增加高分辨率到低分辨率的子網(wǎng)，形成更多的階段，并將多分辨率的子網(wǎng)并聯(lián)起來；通過橫跨多分辨率的并行子網(wǎng)反復(fù)交換信息來進行重復(fù)的多尺度融合；在網(wǎng)絡(luò)輸出的高分辨率卷積流表示上輸出結(jié)果；設(shè)計批歸一化和殘差連接；有益效果為：本發(fā)明提出的基于HRNet的用于標記像素和區(qū)域的高分辨率表示方法，并行地連接高分辨率到低分辨率的子網(wǎng)，而不是像大多數(shù)現(xiàn)有解決方案那樣串聯(lián)起來，這使得該網(wǎng)絡(luò)在處理的全部過程中能夠一直保持高分辨率確。

技術(shù)研發(fā)人員：李國濤,魏崢
受保護的技術(shù)使用者：浪潮云信息技術(shù)股份公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/18