基于多層次局部區(qū)域融合的物體分割方法及裝置、計(jì)算設(shè)備的制造方法
【專利摘要】本發(fā)明公開了一種基于多層次局部區(qū)域融合的物體分割方法及裝置、計(jì)算設(shè)備，屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，其中方法包括：對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域；對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到局部候選區(qū)域的二進(jìn)制分割掩膜；對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到局部候選區(qū)域所屬的物體類別；根據(jù)各局部候選區(qū)域所屬的物體類別和各局部候選區(qū)域的二進(jìn)制分割掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。本發(fā)明能夠在檢測(cè)物體的同時(shí)，對(duì)物體個(gè)體進(jìn)行分割，并確定其精確邊界。本發(fā)明在得到局部候選區(qū)域的分割結(jié)果后，使用有效的局部區(qū)域融合方式，能夠得到更好的優(yōu)化結(jié)果。
【專利說明】
基于多層次局部區(qū)域融合的物體分割方法及裝置、計(jì)算設(shè)備
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種基于多層次局部區(qū)域融合的物體 分割方法及裝置、計(jì)算設(shè)備。
【背景技術(shù)】
[0002] 圖像分割是圖像處理領(lǐng)域的一個(gè)基礎(chǔ)問題，在物體識(shí)別、機(jī)器人導(dǎo)航、場(chǎng)景理解等 領(lǐng)域具有廣泛的應(yīng)用。其中，物體分割是比物體檢測(cè)和場(chǎng)景分割更本質(zhì)的問題。物體檢測(cè)期 望得到每一個(gè)物體個(gè)體的大致位置，通常物體檢測(cè)通過矩形檢測(cè)框標(biāo)示出檢測(cè)出的物體， 但不能確定物體的邊界;場(chǎng)景分割為每類場(chǎng)景預(yù)測(cè)類別及精確邊界，能夠?qū)Σ煌悇e物體 進(jìn)行預(yù)測(cè)并確定邊界，但不能區(qū)分同類別的不同個(gè)體。
[0003] 現(xiàn)有技術(shù)中物體分割的做法主要是基于物體檢測(cè)得到檢測(cè)框的候選，再通過分割 方法得到邊界，這種做法的分割效果較差，精確率不高。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)施例提供一種基于多層次局部區(qū)域融合的物體分割方案。
[0005] 根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種基于多層次局部區(qū)域融合的物體分割 方法，包括：
[0006] 對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域；
[0007] 對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到所述局部候選區(qū)域的二進(jìn)制分 割掩膜；
[0008] 對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部候選區(qū)域所屬的物體 類別；
[0009] 根據(jù)各所述局部候選區(qū)域所屬的物體類別和各所述局部候選區(qū)域的二進(jìn)制分割 掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。
[0010] 進(jìn)一步的，在所述對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè) 局部候選區(qū)域之前，所述方法進(jìn)一步包括:對(duì)所述待處理的圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的卷積 層和/或池化層處理，得到卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果；
[0011] 所述按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域進(jìn)一步包括:利用所述 卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，選取局部候選區(qū)域產(chǎn)生層，通過滑動(dòng)框在局部候選區(qū)域產(chǎn)生層對(duì) 應(yīng)的特征圖上按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域。
[0012] 進(jìn)一步的，在選取多個(gè)局部候選區(qū)域之后，所述方法還包括：
[0013]通過進(jìn)行去卷積層和/或池化層處理，將不同尺寸的局部候選區(qū)域統(tǒng)一為固定尺 寸。
[0014] 進(jìn)一步的，所述對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部候選 區(qū)域所屬的物體類別進(jìn)一步包括：
[0015] 若局部候選區(qū)域的中心位于已標(biāo)定物體內(nèi)部，所述已標(biāo)定物體在局部候選區(qū)域中 的面積占已標(biāo)定物體面積的比例大于第一閾值，且所述已標(biāo)定物體在局部候選區(qū)域中的面 積占局部候選區(qū)域面積的比例大于第二閾值，則判定所述局部候選區(qū)域所屬的物體類別為 所述已標(biāo)定物體的類別。
[0016] 進(jìn)一步的，在所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理之前，所述方法包括：
[0017] 建立訓(xùn)練損失函數(shù)，對(duì)圖像分類和圖像分割的損失進(jìn)行訓(xùn)練。
[0018] 進(jìn)一步的，所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理進(jìn)一步包括：
[0019] 根據(jù)局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積以及局部候選區(qū)域所屬的物體 類別，對(duì)所有局部候選區(qū)域進(jìn)行融合處理。
[0020] 進(jìn)一步的，所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理進(jìn)一步包括：
[0021] 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積；
[0022] 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w 類別、且所述兩個(gè)相鄰的局部候選區(qū)域都未被賦值為一物體，生成新的物體將這兩個(gè)相鄰 的局部候選區(qū)域賦值為該物體。
[0023] 進(jìn)一步的，所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理進(jìn)一步包括：
[0024] 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積；
[0025] 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w 類別、且所述兩個(gè)相鄰的局部候選區(qū)域中的一個(gè)被賦值為一物體，合并這兩個(gè)相鄰的局部 候選區(qū)域，將另一個(gè)局部候選區(qū)域賦值為該物體。
[0026] 進(jìn)一步的，所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理進(jìn)一步包括：
[0027] 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積；
[0028] 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w 類別、且所述兩個(gè)相鄰的局部候選區(qū)域被賦值為兩個(gè)物體，合并這兩個(gè)物體。
[0029] 根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，提供了一種基于多層次局部區(qū)域融合的物體分 割裝置，包括：
[0030] 局部候選區(qū)域生成模塊，用于對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分 別選取多個(gè)局部候選區(qū)域；
[0031] 圖像分割模塊，用于對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到所述局部 候選區(qū)域的二進(jìn)制分割掩膜；
[0032] 圖像分類模塊，用于對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部 候選區(qū)域所屬的物體類別；
[0033]圖像融合模塊，用于根據(jù)各所述局部候選區(qū)域所屬的物體類別和各所述局部候選 區(qū)域的二進(jìn)制分割掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。
[0034]進(jìn)一步的，所述裝置還包括:卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊，用于對(duì)所述待處理的圖像進(jìn) 行卷積神經(jīng)網(wǎng)絡(luò)的卷積層和/或池化層處理，得到卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果；
[0035] 所述局部候選區(qū)域生成模塊進(jìn)一步用于：利用所述卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，選取 局部候選區(qū)域產(chǎn)生層，通過滑動(dòng)框在局部候選區(qū)域產(chǎn)生層對(duì)應(yīng)的特征圖上按照多個(gè)不同的 預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域。
[0036] 進(jìn)一步的，所述局部候選區(qū)域生成模塊進(jìn)一步用于:通過進(jìn)行去卷積層和/或池化 層處理，將不同尺寸的局部候選區(qū)域統(tǒng)一為固定尺寸。
[0037] 進(jìn)一步的，所述圖像分類模塊進(jìn)一步用于:若局部候選區(qū)域的中心位于已標(biāo)定物 體內(nèi)部，所述已標(biāo)定物體在局部候選區(qū)域中的面積占已標(biāo)定物體面積的比例大于第一閾 值，且所述已標(biāo)定物體在局部候選區(qū)域中的面積占局部候選區(qū)域面積的比例大于第二閾 值，則判定所述局部候選區(qū)域所屬的物體類別為所述已標(biāo)定物體的類別。
[0038] 進(jìn)一步的，所述裝置還包括：訓(xùn)練損失模塊，用于建立訓(xùn)練損失函數(shù)，對(duì)圖像分類 和圖像分割的損失進(jìn)行訓(xùn)練。
[0039]進(jìn)一步的，所述圖像融合模塊進(jìn)一步用于:根據(jù)局部候選區(qū)域的二進(jìn)制分割掩膜 的重疊面積以及局部候選區(qū)域所屬的物體類別，對(duì)所有局部候選區(qū)域進(jìn)行融合處理。
[0040] 進(jìn)一步的，所述圖像融合模塊進(jìn)一步用于：
[0041] 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積；
[0042] 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w 類別、且所述兩個(gè)相鄰的局部候選區(qū)域都未被賦值為一物體，生成新的物體將這兩個(gè)相鄰 的局部候選區(qū)域賦值為該物體。
[0043] 進(jìn)一步的，所述圖像融合模塊進(jìn)一步用于：
[0044] 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積；
[0045] 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w 類別、且所述兩個(gè)相鄰的局部候選區(qū)域中的一個(gè)被賦值為一物體，合并這兩個(gè)相鄰的局部 候選區(qū)域，將另一個(gè)局部候選區(qū)域賦值為該物體。
[0046] 進(jìn)一步的，所述圖像融合模塊進(jìn)一步用于：
[0047] 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積；
[0048] 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w 類別、且所述兩個(gè)相鄰的局部候選區(qū)域被賦值為兩個(gè)物體，合并這兩個(gè)物體。
[0049] 根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供了一種計(jì)算設(shè)備，包括:處理器、通信接口、 存儲(chǔ)器以及通信總線;所述處理器、所述通信接口和所述存儲(chǔ)器通過所述通信總線完成相 互間的通信；
[0050] 所述存儲(chǔ)器用于存放至少一指令;所述指令使所述處理器執(zhí)行以下操作：
[0051]對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域； [0052]對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到所述局部候選區(qū)域的二進(jìn)制分 割掩膜；
[0053]對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部候選區(qū)域所屬的物體 類別；
[0054] 根據(jù)各所述局部候選區(qū)域所屬的物體類別和各所述局部候選區(qū)域的二進(jìn)制分割 掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。
[0055] 根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī) 可讀取的指令。所述指令包括:對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多 個(gè)局部候選區(qū)域的指令;對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到所述局部候選 區(qū)域的二進(jìn)制分割掩膜的指令;對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局 部候選區(qū)域所屬的物體類別的指令；以及根據(jù)各所述局部候選區(qū)域所屬的物體類別和各所 述局部候選區(qū)域的二進(jìn)制分割掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖 像的指令。
[0056] 本發(fā)明實(shí)施例提供的技術(shù)方案使用了多尺度局部候選區(qū)域生成方式，利用了圖像 的多尺度特征，具有更好的容錯(cuò)能力;本發(fā)明實(shí)施例能夠在檢測(cè)物體的同時(shí)，對(duì)物體個(gè)體進(jìn) 行分割，并確定其精確邊界。本發(fā)明實(shí)施例通過對(duì)局部候選區(qū)域進(jìn)行分割，在得到局部候選 區(qū)域的分割結(jié)果后，使用有效的局部區(qū)域融合方式，能夠得到更好的優(yōu)化結(jié)果。
[0057] 上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段， 而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠 更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說明】
[0058]通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通 技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明 的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：
[0059] 圖1示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割方法的實(shí)施例一的 流程圖；
[0060] 圖2示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割方法的實(shí)施例二的 流程圖；
[0061] 圖3示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割方法的實(shí)施例二的 網(wǎng)絡(luò)模型示意圖；
[0062] 圖4示出了本發(fā)明提供的局部候選區(qū)域的重疊情況的示意圖；
[0063] 圖5示出了本發(fā)明提供的對(duì)所有局部候選區(qū)域進(jìn)行融合處理的流程圖；
[0064] 圖6示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割裝置的實(shí)施例一的 功能結(jié)構(gòu)框圖；
[0065] 圖7示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割裝置的實(shí)施例二的 功能結(jié)構(gòu)框圖；
[0066] 圖8示出了用于執(zhí)行根據(jù)本發(fā)明實(shí)施例的基于多層次局部區(qū)域融合的物體分割方 法的計(jì)算設(shè)備的框圖；
[0067] 圖9示出了用于保持或者攜帶實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的基于多層次局部區(qū)域融合 的物體分割方法的程序代碼的存儲(chǔ)單元。
【具體實(shí)施方式】
[0068] 下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開 的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例 所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍 完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0069] 在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人通過研究發(fā)現(xiàn)，現(xiàn)有技術(shù)提供的物體分割的方案 具有如下至少一種缺點(diǎn)：
[0070] (1)需要基于傳統(tǒng)方案得到檢測(cè)框候選，這類方法速度較慢，同時(shí)因?yàn)楹秃罄m(xù)需要 進(jìn)行的類別判斷與分割邊界割裂，沒有一起優(yōu)化，算法性能也受到了限制。
[0071] (2)-般的物體檢測(cè)和場(chǎng)景分割方法，往往需要通過外置的物體候選區(qū)域提取模 塊，該模塊與訓(xùn)練系統(tǒng)的其余部分是獨(dú)立的，無法在深度學(xué)習(xí)框架內(nèi)形成端到端的訓(xùn)練和 測(cè)試流程。
[0072] (3)-般的物體分割訓(xùn)練往往在物體全局上進(jìn)行，精確率不高。
[0073] (4)-般的物體分割往往僅考慮了物體在單一尺度上的特征，其算法性能受到一 定限制，分割效果較差。
[0074] 基于以上發(fā)現(xiàn)，本發(fā)明實(shí)施例提出了一種基于多層次局部區(qū)域融合的物體分割方 案，下面通過幾個(gè)具體的實(shí)施例對(duì)該物體分割方案進(jìn)行詳細(xì)介紹。
[0075] 圖1示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割方法的實(shí)施例一的 流程圖。如圖1所示，該方法包括如下步驟：
[0076]步驟S101，對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候 選區(qū)域。
[0077]與現(xiàn)有技術(shù)利用外置的物體候選區(qū)域提取模塊不同，本實(shí)施例提出了多尺度局部 候選區(qū)域生成方案，將一個(gè)物體拆成多個(gè)局部候選區(qū)域來理解和學(xué)習(xí)。將所選取的局部候 選區(qū)域同時(shí)作為后續(xù)圖像分割和圖像分類的處理對(duì)象。
[0078] 步驟S102,對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到局部候選區(qū)域的二 進(jìn)制分割掩膜。
[0079]以局部候選區(qū)域?yàn)檩斎氲奶幚韺?duì)象，對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù) 測(cè)每個(gè)局部候選區(qū)域的二進(jìn)制掩膜。
[0080] 步驟S103,對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到局部候選區(qū)域所屬 的物體類別。
[0081] 以局部候選區(qū)域?yàn)檩斎氲奶幚韺?duì)象，對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù) 測(cè)得到每個(gè)局部候選區(qū)域所屬的物體類別。
[0082] 上述步驟S102和步驟S103可同時(shí)進(jìn)行，也可先后進(jìn)行，本發(fā)明對(duì)兩步驟的執(zhí)行順 序不做限制。
[0083] 步驟S104,根據(jù)各局部候選區(qū)域所屬的物體類別和各局部候選區(qū)域的二進(jìn)制分割 掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。
[0084] 將由多尺度局部候選區(qū)域生成方案生成的局部候選區(qū)域得到的物體局部分割結(jié) 果和物體局部分類結(jié)果進(jìn)行融合，最終得到整幅圖像的物體個(gè)體分割結(jié)果。
[0085] 本實(shí)施例提供的基于多層次局部區(qū)域融合的物體分割方法，使用了多尺度局部候 選區(qū)域生成方法，利用了圖像的多尺度特征，具有更好的容錯(cuò)能力;本方法能夠在檢測(cè)物體 的同時(shí)，對(duì)物體個(gè)體進(jìn)行分割，并確定其精確邊界。本方法通過對(duì)局部候選區(qū)域進(jìn)行分割， 在得到局部候選區(qū)域的分割結(jié)果后，使用有效的局部區(qū)域融合方式，能夠得到更好的優(yōu)化 結(jié)果。
[0086] 圖2示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割方法的實(shí)施例二的 流程圖。圖3示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割方法的實(shí)施例二的 網(wǎng)絡(luò)模型示意圖。下面結(jié)合這兩幅圖對(duì)本實(shí)施例的具體方案進(jìn)行詳細(xì)介紹。
[0087] 如圖2所示，該方法包括如下步驟：
[0088] 步驟S201，對(duì)待處理的圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的卷積層和/或池化層處理，得到卷 積神經(jīng)網(wǎng)絡(luò)中間結(jié)果。
[0089] 在神經(jīng)網(wǎng)絡(luò)中，每個(gè)卷積層之后都有一個(gè)非線性響應(yīng)單元。該非線性響應(yīng)單元采 用糾正線性單元(Rectified Linear Units，以下簡(jiǎn)稱:ReLU)，通過在卷積層后增加ReLU， 將卷積層的映射結(jié)果盡量稀疏一些，更接近人的視覺反應(yīng)，從而使圖像處理效果更好。本實(shí) 施例將卷積層的卷積核設(shè)為3x3,能更好的綜合局部信息。同時(shí)，設(shè)定池化層的步長(zhǎng)stride， 目的是為了讓上層特征在不增加計(jì)算量的前提下獲得更大的視野，同時(shí)池化層的步長(zhǎng) stride還有增強(qiáng)空間不變性的特征，即允許同樣的輸入出現(xiàn)在不同的圖像位置上，而輸出 結(jié)果響應(yīng)相同。全卷積神經(jīng)網(wǎng)絡(luò)的卷積層主要用于信息歸納和融合。最大池化層（Max pooling)主要進(jìn)行高層信息的歸納。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以進(jìn)行微調(diào)來適應(yīng)不同的性能和效率 的權(quán)衡。
[0090] -個(gè)具體的示例得到的卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，如下：
[0091] 1.輸入層
[0092] 2.〈 = 1卷積層 1_1(3X3X64)
[0093] 3 .〈 = 2非線性響應(yīng)ReLU層
[0094] 4.〈 = 3卷積層1_2(3\3父64)
[0095] 5 .〈 = 4非線性響應(yīng)ReLU層
[0096] 6 .〈 = 5池化層（3X3/2)
[0097] 7.〈 = 6卷積層 2_1 (3X3X128)
[0098] 8 .〈 = 7非線性響應(yīng)ReLU層
[0099] 9.〈 = 8卷積層2_2(3\3父128)
[0100] 10 .〈 = 9非線性響應(yīng)ReLU層
[0101] 11.〈 = 1〇 池化層(3X3/2)
[0102] 12.〈 = 11卷積層3_1(3\3父256)
[0103] 13 .〈 = 12非線性響應(yīng)ReLU層
[0104] 14.〈 = 13卷積層3_2(3\3父256)
[0105] 15 .〈 = 14非線性響應(yīng)ReLU層
[0106] 16.〈 = 15卷積層3_3(3\3父256)
[0107] 17 .〈 = 16非線性響應(yīng)ReLU層
[0108] 18.〈 = 17 池化層（3X3/2)
[0109] 19 .〈 = 18 卷積層 4_1 (3X3X512)
[0110] 20 .〈 = 19非線性響應(yīng)ReLU層
[0111] 21.〈 = 20卷積層4_2(3\3父512)
[0112] 22.〈 = 21非線性響應(yīng)ReLU層
[0113] 23.〈 = 22卷積層4_3(3\3父512)
[0114] 24.〈 = 23非線性響應(yīng)ReLU層
[0115] 25.〈 = 24 池化層（3X3/2)
[0116] 26.〈 = 25卷積層5_1(3\3父512)
[0117] 27 .〈 = 26非線性響應(yīng)ReLU層
[0118] 28.〈 = 27卷積層5_2(3\3父512)
[0119] 29.〈 = 28非線性響應(yīng)1^1^層
[0120] 30.〈 = 29卷積層5_3(3\3父512)
[0121] 31.〈 = 30非線性響應(yīng)1^1^層
[0122] ......
[0123] 其中符號(hào).〈=前面的數(shù)字為當(dāng)前層數(shù)，后面的數(shù)字為輸入層數(shù)，例如，2.〈=1表明 當(dāng)前層為第二層，輸入為第一層。卷積層后面括號(hào)內(nèi)為卷積層參數(shù)，例如，3X3X64,表明卷 積核大小3 X 3，通道數(shù)為64。池化層后面括號(hào)內(nèi)為池化層參數(shù)，例如，3 X 3/2表明池化核大 小3X3,間隔為2。
[0124] 上述卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果為后續(xù)圖像分類處理和圖像分割處理的共享數(shù)據(jù)。利 用這些卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果可以很大程度上降低后續(xù)處理的復(fù)雜度。
[0125] 步驟S202,利用卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，選取局部候選區(qū)域產(chǎn)生層，通過滑動(dòng)框在 局部候選區(qū)域產(chǎn)生層對(duì)應(yīng)的特征圖上按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū) 域。
[0126] 本發(fā)明實(shí)施例將一個(gè)物體拆成多個(gè)局部候選區(qū)域來理解和學(xué)習(xí)。圖3示出了本發(fā) 明實(shí)施例中多尺度局部候選區(qū)域生成方案示意圖，如圖3所示，本實(shí)施例選擇4個(gè)不同的預(yù) 設(shè)尺度，分別為48 X 48、96 X 96、192 X 192和384 X 384。此處僅為舉例，本發(fā)明不限于所舉例 的選取方式。通過選取多個(gè)不同的預(yù)設(shè)尺度，能讓局部候選區(qū)域的產(chǎn)生更完備。
[0127] 基于以上的卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，選取32.〈 = 31為局部候選區(qū)域產(chǎn)生層。通過 滑動(dòng)框在局部候選區(qū)域產(chǎn)生層對(duì)應(yīng)的特征圖（feature map)上分別以多個(gè)不同的預(yù)設(shè)尺度 選取局部候選區(qū)域。
[0128] 對(duì)于每個(gè)局部候選區(qū)域?,，表示為(^(：，11，《)，其中（^(3)是區(qū)域的左上角的坐標(biāo)， h和w分別是區(qū)域的高度值和寬度值?；瑒?dòng)框以預(yù)設(shè)步長(zhǎng)滑動(dòng)，例如，以步長(zhǎng)16滑動(dòng)。在特征 圖上，每個(gè)區(qū)域Pi對(duì)應(yīng)于經(jīng)下采樣的特征網(wǎng)格^，仏則表示為
[0129] 為了從單尺度的輸入圖像中產(chǎn)生出多尺度的局部候選區(qū)域，本方法利用共享的卷 積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，從所選取的卷積層(局部候選區(qū)域產(chǎn)生層)對(duì)應(yīng)的特征圖上分別以多 個(gè)不同的預(yù)設(shè)尺度選取局部候選區(qū)域，并沒有增加計(jì)算成本。而且，本方法通過多個(gè)預(yù)設(shè)尺 度的選擇，能夠盡可能多的覆蓋不同大小的物體;每個(gè)局部候選區(qū)域可以覆蓋物體的一部 分，不必完全包含物體，所以每個(gè)局部候選區(qū)域?qū)W到的信息更豐富。
[0130] 進(jìn)一步的，由于以不同的預(yù)設(shè)尺寸選取局部候選區(qū)域，因此局部候選區(qū)域的大小 不同。為了便于后續(xù)圖像分類和分割處理，本實(shí)施例通過進(jìn)行去卷積層和/或池化層處理， 將不同尺寸的局部候選區(qū)域統(tǒng)一為固定尺寸。在上述例子中，空間尺寸包括3 X3、6X 6、12 X 12和24 X 24,利用去卷積層或池化層技術(shù)，將其統(tǒng)一為12 X 12。對(duì)于尺寸3 X 3和6 X 6 的區(qū)域，利用去卷積層技術(shù)進(jìn)行上采樣處理統(tǒng)一為12X12。對(duì)于尺寸24X24的區(qū)域，利用（2 X 2/2)的最大池化技術(shù)將區(qū)域尺寸統(tǒng)一為12 X 12。
[0131]步驟S203,對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到局部候選區(qū)域的二 進(jìn)制分割掩膜。
[0132]該圖像分割步驟以Gi為輸入，同時(shí)利用上述卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，對(duì)每個(gè)局部 候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)每個(gè)局部候選區(qū)域的二進(jìn)制掩膜姐。
[0133] 若局部候選區(qū)域?1的中心位于某個(gè)已標(biāo)定物體0n的內(nèi)部，則本實(shí)施例將約束該局 部候選區(qū)域Pi對(duì)應(yīng)于此已標(biāo)定物體〇 n。由此確定該局部候選區(qū)域Pi的二進(jìn)制掩膜I應(yīng)屬于 此已標(biāo)定物體〇n的一部分。
[0134] 在上述示例中，預(yù)測(cè)二進(jìn)制掩膜過程如下：
[0135] 33 ·〈 = 32 卷積層 seg_6_l (1 X 1 X 2304)
[0136] 34.〈 = 33非線性響應(yīng)1^1^層
[0137] 35.〈 = 34 卷積層 seg_6_2(lX 1X2304)
[0138] 36 ·〈 = 35重構(gòu)層，將輸入變形成48 X 48
[0139] 37 · < = 36softmax 損失層
[0140] 步驟S204,對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到局部候選區(qū)域所屬 的物體類別。
[0141] 該圖像分類步驟也以Gi為輸入，同時(shí)利用上述卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，對(duì)每個(gè)局 部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)每個(gè)局部候選區(qū)域所屬的物體類別h。
[0142] 本實(shí)施例中，如果局部候選區(qū)域h滿足如下條件，則認(rèn)為該局部候選區(qū)域h屬于已 標(biāo)定物體On:
[0143] (1)局部候選區(qū)域中心位于已標(biāo)定物體0n內(nèi)部；
[0144] (2)已標(biāo)定物體0"在局部候選區(qū)域Pi*的面積占已標(biāo)定物體0n面積的比例大于第 一閾值，比如大于50%;
[0145] (3)已標(biāo)定物體0n在局部候選區(qū)域?1中的面積占局部候選區(qū)域? 1面積的比例大于 第二閾值，比如大于20%。
[0146] 在上述示例中，預(yù)測(cè)類別過程如下：
[0147] 38.〈 = 32 池化層（3X3/2)
[0148] 39 ·〈 = 38 卷積層 cls_6_l (1 X 1 X 4096)
[0149] 40.〈 = 39非線性響應(yīng)1^1^層
[0150] 41 .〈 = 40 卷積層 cls_6_2(lX 1X4096)
[0151] 42.〈 = 41非線性響應(yīng)1^1^層
[0152] 43 ·〈 = 42 卷積層 cls_7_l (1 X 1 X 21)
[0153] 44. < = 43softmax 損失層
[0154] 上述步驟S203和步驟S204可以同時(shí)執(zhí)行，也可以先后執(zhí)行，本發(fā)明對(duì)這兩個(gè)步驟 的執(zhí)行順序不做限定。
[0155] 步驟S205,建立訓(xùn)練損失函數(shù)，對(duì)圖像分類和圖像分割的損失進(jìn)行訓(xùn)練。
[0156] 本實(shí)施例針對(duì)上述圖像分類和圖像分割的任務(wù)，設(shè)計(jì)了用以判別圖像分類和圖像 分割是否準(zhǔn)確相結(jié)合的訓(xùn)練損失函數(shù)，如下：
[0158]其中，w為網(wǎng)絡(luò)參數(shù);fcXPO為局部候選區(qū)域?1的分類損失，對(duì)應(yīng)上述示例中的第44 層;fJPi)為局部候選區(qū)域?:的分割掩膜的損失，對(duì)應(yīng)上述示例中的第37層;λ為調(diào)節(jié)fJPi) 和fs(Pi)的權(quán)重，可設(shè)為1。
[0159]本發(fā)明的訓(xùn)練損失函數(shù)并不限定于以上具體的形式。采用這種形式的訓(xùn)練損失函 數(shù)，能夠?qū)Ρ景l(fā)明所設(shè)計(jì)的如圖3所示的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行有效的訓(xùn)練。
[0160] 步驟S206,根據(jù)各局部候選區(qū)域所屬的物體類別和各局部候選區(qū)域的二進(jìn)制分割 掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。
[0161] 發(fā)明人通過研究發(fā)現(xiàn)，如果某幾個(gè)局部候選區(qū)域都大面積的與某個(gè)物體重疊，其 對(duì)應(yīng)的二進(jìn)制分割掩膜之間的重疊面積也會(huì)很大。圖4示出了本發(fā)明提供的局部候選區(qū)域 的重疊情況的示意圖。如圖4所示，定義反映兩個(gè)局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面 積的參數(shù)為I〇U。利用滑動(dòng)框選取了若干局部候選區(qū)域，通過計(jì)算IoU以及局部候選區(qū)域所 屬的物體類別來判斷哪些局部候選區(qū)域應(yīng)被賦值為同一物體，從而對(duì)所有局部候選區(qū)域進(jìn) 行融合處理。
[0162] 進(jìn)一步的，對(duì)所有局部候選區(qū)域進(jìn)行融合處理包括:確定兩個(gè)相鄰的局部候選區(qū) 域的二進(jìn)制分割掩膜的重疊面積；響應(yīng)于重疊面積大于預(yù)設(shè)閾值、兩個(gè)相鄰的局部候選區(qū) 域?qū)儆谕晃矬w類別、且兩個(gè)相鄰的局部候選區(qū)域都未被賦值為一物體，則生成新的物體 將這兩個(gè)相鄰的局部候選區(qū)域賦值為該物體。
[0163] 進(jìn)一步的，對(duì)所有局部候選區(qū)域進(jìn)行融合處理包括:確定兩個(gè)相鄰的局部候選區(qū) 域的二進(jìn)制分割掩膜的重疊面積；響應(yīng)于重疊面積大于預(yù)設(shè)閾值、兩個(gè)相鄰的局部候選區(qū) 域?qū)儆谕晃矬w類別、且兩個(gè)相鄰的局部候選區(qū)域中的一個(gè)被賦值為一物體，則合并這兩 個(gè)相鄰的局部候選區(qū)域，將另一個(gè)局部候選區(qū)域賦值為該物體。
[0164] 進(jìn)一步的，對(duì)所有局部候選區(qū)域進(jìn)行融合處理包括:確定兩個(gè)相鄰的局部候選區(qū) 域的二進(jìn)制分割掩膜的重疊面積；響應(yīng)于重疊面積大于預(yù)設(shè)閾值、兩個(gè)相鄰的局部候選區(qū) 域?qū)儆谕晃矬w類別、且兩個(gè)相鄰的局部候選區(qū)域被賦值為兩個(gè)物體，則合并這兩個(gè)物體。
[0165] 具體地，圖5示出了本發(fā)明提供的對(duì)所有局部候選區(qū)域進(jìn)行融合處理的流程圖。如 圖5所示，融合處理包括如下步驟：
[0166] 步驟S2061，計(jì)算兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積。
[0167] 其中，相鄰的局部候選區(qū)域包括行維度的相鄰局部候選區(qū)域和列維度的相鄰局部 候選區(qū)域。
[0168] 步驟S2062,判斷重疊面積是否大于預(yù)設(shè)閾值;若是，執(zhí)行步驟S2063;否則，執(zhí)行步 驟S2061;
[0169] 步驟S2063,判斷這兩個(gè)相鄰的局部候選區(qū)域是否屬于同一物體類別；若是，則執(zhí) 行步驟S2064;否則，執(zhí)行步驟S2061;
[0170] 步驟S2064,判斷這兩個(gè)相鄰的局部候選區(qū)域是否都未被賦值為一物體;若是，則 執(zhí)行步驟S2065;否則，執(zhí)行步驟S2066;
[0171] 步驟S2065,生成新的物體，將這兩個(gè)相鄰的局部候選區(qū)域賦值為該物體，執(zhí)行步 驟S2061;
[0172] 步驟S2066,若這兩個(gè)相鄰的局部候選區(qū)域中的一個(gè)被賦值為一物體，則合并這兩 個(gè)相鄰的局部候選區(qū)域，將另一個(gè)局部候選區(qū)域賦值為該物體;若這兩個(gè)相鄰的局部候選 區(qū)域被賦值為兩個(gè)物體，則合并這兩個(gè)物體，執(zhí)行步驟S2061。
[0173] 循環(huán)執(zhí)行以上步驟S2061至步驟S2066,直至所有的局部候選區(qū)域被賦值為對(duì)應(yīng)的 物體，最終得到所有的物體列表，進(jìn)而得到物體分割圖像。
[0174]本實(shí)施例提供的基于多層次局部區(qū)域融合的物體分割方法，使用了多尺度局部候 選區(qū)域生成方法，利用了圖像的多尺度特征，具有更好的容錯(cuò)能力;本方法能夠在檢測(cè)物體 的同時(shí)，對(duì)物體個(gè)體進(jìn)行分割，并確定其精確邊界。本方法通過對(duì)局部候選區(qū)域進(jìn)行分割， 在得到局部候選區(qū)域的分割結(jié)果后，使用有效的局部區(qū)域融合方式，能夠得到更好的優(yōu)化 結(jié)果。本方法通過深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行物體個(gè)體分割，能夠提升整體速度。
[0175] 本方法生成的是物體的局部候選區(qū)域，一個(gè)物體可能被多個(gè)局部候選區(qū)域覆蓋， 這樣可以更好的覆蓋較大或較小的物體，使結(jié)果更具魯棒性。同時(shí)，通過多個(gè)局部候選區(qū)域 綜合物體邊界，能夠根據(jù)不同結(jié)果的綜合，使結(jié)果結(jié)合了不同分類器的結(jié)果，也能進(jìn)一步提 升結(jié)果的精度?，F(xiàn)有技術(shù)利用外置的物體候選區(qū)域提取模塊，優(yōu)化目標(biāo)與之后最終的物體 分割的目標(biāo)是割裂的，沒有一起進(jìn)行優(yōu)化，使結(jié)果不夠好。本方法聯(lián)合優(yōu)化了局部候選區(qū) 域，能夠讓最終的結(jié)果指導(dǎo)目前的局部候選區(qū)域選擇模塊，能讓結(jié)果更精確。本方法使得可 以用統(tǒng)一的深度學(xué)習(xí)來完成端到端完整的物體個(gè)體分割訓(xùn)練和測(cè)試。
[0176] 本方法通過多個(gè)預(yù)設(shè)尺度的選擇，能夠盡可能多的覆蓋不同大小的物體;每個(gè)局 部候選區(qū)域可以覆蓋物體的一部分，不必完全包含物體，所以每個(gè)局部候選區(qū)域?qū)W到的信 息更豐富。通過選取多個(gè)不同的預(yù)設(shè)尺度，能讓局部候選區(qū)域的產(chǎn)生更完備。
[0177] 圖6示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割裝置的實(shí)施例一的 功能結(jié)構(gòu)框圖。如圖6所示，該裝置包括:局部候選區(qū)域生成模塊60,圖像分割模塊61，圖像 分類模塊62，圖像融合模塊63。
[0178] 局部候選區(qū)域生成模塊60用于對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分 別選取多個(gè)局部候選區(qū)域。
[0179] 圖像分割模塊61用于對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到局部候選 區(qū)域的二進(jìn)制分割掩膜。
[0180]圖像分類模塊62用于對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部 候選區(qū)域所屬的物體類別。
[0181]圖像融合模塊63用于根據(jù)各局部候選區(qū)域所屬的物體類別和各局部候選區(qū)域的 二進(jìn)制分割掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。
[0182] 本實(shí)施例提供的基于多層次局部區(qū)域融合的物體分割裝置，使用了多尺度局部候 選區(qū)域生成方案，利用了圖像的多尺度特征，具有更好的容錯(cuò)能力;本裝置能夠在檢測(cè)物體 的同時(shí)，對(duì)物體個(gè)體進(jìn)行分割，并確定其精確邊界。本裝置通過對(duì)局部候選區(qū)域進(jìn)行分割， 在得到局部候選區(qū)域的分割結(jié)果后，使用有效的局部區(qū)域融合方式，能夠得到更好的優(yōu)化 結(jié)果。
[0183] 圖7示出了本發(fā)明提供的基于多層次局部區(qū)域融合的物體分割裝置的實(shí)施例二的 功能結(jié)構(gòu)框圖。如圖7所示，該裝置除了包括圖6所示的功能模塊以外，還包括:卷積神經(jīng)網(wǎng) 絡(luò)運(yùn)算模塊64和訓(xùn)練損失模塊65。
[0184] 卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊64用于對(duì)待處理的圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的卷積層和/或 池化層處理，得到卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果。
[0185] 訓(xùn)練損失模塊65用于建立訓(xùn)練損失函數(shù)，對(duì)圖像分類和圖像分割的損失進(jìn)行訓(xùn) 練。
[0186] 局部候選區(qū)域生成模塊60進(jìn)一步用于：利用卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果，選取局部候 選區(qū)域產(chǎn)生層，通過滑動(dòng)框在局部候選區(qū)域產(chǎn)生層對(duì)應(yīng)的特征圖上按照多個(gè)不同的預(yù)設(shè)尺 度分別選取多個(gè)局部候選區(qū)域。局部候選區(qū)域生成模塊60還用于:通過進(jìn)行去卷積層和/或 池化層處理，將不同尺寸的局部候選區(qū)域統(tǒng)一為固定尺寸。
[0187] 圖像分類模塊62進(jìn)一步用于:若局部候選區(qū)域的中心位于已標(biāo)定物體內(nèi)部，所述 已標(biāo)定物體在局部候選區(qū)域中的面積占已標(biāo)定物體面積的比例大于第一閾值，且所述已標(biāo) 定物體在局部候選區(qū)域中的面積占局部候選區(qū)域面積的比例大于第二閾值，則判定所述局 部候選區(qū)域所屬的物體類別為所述已標(biāo)定物體的類別。
[0188] 圖像融合模塊63進(jìn)一步用于:根據(jù)局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積以 及局部候選區(qū)域所屬的物體類別，對(duì)所有局部候選區(qū)域進(jìn)行融合處理。
[0189] 圖像融合模塊63進(jìn)一步用于:確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的 重疊面積;響應(yīng)于重疊面積大于預(yù)設(shè)閾值、兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w類別、且 兩個(gè)相鄰的局部候選區(qū)域都未被賦值為一物體，則生成新的物體將這兩個(gè)相鄰的局部候選 區(qū)域賦值為該物體。
[0190]圖像融合模塊63進(jìn)一步用于:確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的 重疊面積;響應(yīng)于重疊面積大于預(yù)設(shè)閾值、兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w類別、且 兩個(gè)相鄰的局部候選區(qū)域中的一個(gè)被賦值為一物體，則合并這兩個(gè)相鄰的局部候選區(qū)域， 將另一個(gè)局部候選區(qū)域賦值為該物體。
[0191]圖像融合模塊63進(jìn)一步用于:確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的 重疊面積;響應(yīng)于重疊面積大于預(yù)設(shè)閾值、兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w類別、且 兩個(gè)相鄰的局部候選區(qū)域被賦值為兩個(gè)物體，則合并這兩個(gè)物體。
[0192] 在一個(gè)具體的實(shí)施方式中，圖像融合模塊63進(jìn)一步用于:計(jì)算兩個(gè)相鄰的局部候 選區(qū)域的二進(jìn)制分割掩膜的重疊面積;判斷所述重疊面積是否大于預(yù)設(shè)閾值;若判斷出所 述重疊面積大于預(yù)設(shè)閾值，則判斷這兩個(gè)相鄰的局部候選區(qū)域是否屬于同一物體類別;若 判斷出這兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w類別，則進(jìn)一步判斷這兩個(gè)相鄰的局部候 選區(qū)域是否都未被賦值為一物體;若這兩個(gè)相鄰的局部候選區(qū)域都未被賦值為一物體，則 生成新的物體，將這兩個(gè)相鄰的局部候選區(qū)域賦值為該物體;若這兩個(gè)相鄰的局部候選區(qū) 域中的一個(gè)被賦值為一物體，則合并這兩個(gè)相鄰的局部候選區(qū)域，將另一個(gè)局部候選區(qū)域 賦值為該物體;若這兩個(gè)相鄰的局部候選區(qū)域被賦值為兩個(gè)物體，則合并這兩個(gè)物體。
[0193] 本實(shí)施例提供的基于多層次局部區(qū)域融合的物體分割裝置，使用了多尺度局部候 選區(qū)域生成方案，利用了圖像的多尺度特征，具有更好的容錯(cuò)能力;本裝置能夠在檢測(cè)物體 的同時(shí)，對(duì)物體個(gè)體進(jìn)行分割，并確定其精確邊界。本裝置通過對(duì)局部候選區(qū)域進(jìn)行分割， 在得到局部候選區(qū)域的分割結(jié)果后，使用有效的局部區(qū)域融合方式，能夠得到更好的優(yōu)化 結(jié)果。本裝置通過深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行物體個(gè)體分割，能夠提升整體速度。
[0194] 本裝置生成的是物體的局部候選區(qū)域，一個(gè)物體可能被多個(gè)局部候選區(qū)域覆蓋， 這樣可以更好的覆蓋較大或較小的物體，使結(jié)果更具魯棒性。同時(shí)，通過多個(gè)局部候選區(qū)域 綜合物體邊界，能夠根據(jù)不同結(jié)果的綜合，使結(jié)果結(jié)合了不同分類器的結(jié)果，也能進(jìn)一步提 升結(jié)果的精度?，F(xiàn)有技術(shù)利用外置的物體候選區(qū)域提取模塊，優(yōu)化目標(biāo)與之后最終的物體 分割的目標(biāo)是割裂的，沒有一起進(jìn)行優(yōu)化，使結(jié)果不夠好。本裝置聯(lián)合優(yōu)化了局部候選區(qū) 域，能夠讓最終的結(jié)果指導(dǎo)目前的局部候選區(qū)域選擇模塊，能讓結(jié)果更精確。本裝置使得可 以用統(tǒng)一的深度學(xué)習(xí)來完成端到端完整的物體個(gè)體分割訓(xùn)練和測(cè)試。
[0195] 本裝置通過多個(gè)預(yù)設(shè)尺度的選擇，能夠盡可能多的覆蓋不同大小的物體;每個(gè)局 部候選區(qū)域可以覆蓋物體的一部分，不必完全包含物體，所以每個(gè)局部候選區(qū)域?qū)W到的信 息更豐富。通過選取多個(gè)不同的預(yù)設(shè)尺度，能讓局部候選區(qū)域的產(chǎn)生更完備。
[0196] 在此提供的方法和顯示不與任何特定計(jì)算機(jī)、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。 各種通用系統(tǒng)也可以與基于在此的示教一起使用。根據(jù)上面的描述，構(gòu)造這類系統(tǒng)所要求 的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對(duì)任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種 編程語言實(shí)現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對(duì)特定語言所做的描述是為了披露本發(fā) 明的最佳實(shí)施方式。
[0197] 在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施 例可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu) 和技術(shù)，以便不模糊對(duì)本說明書的理解。
[0198] 類似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本公開并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè)，在 上面對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施 例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖：即所要求保 護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面 的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個(gè)實(shí)施例的所有特征。因此， 遵循【具體實(shí)施方式】的權(quán)利要求書由此明確地并入該【具體實(shí)施方式】，其中每個(gè)權(quán)利要求本身 都作為本發(fā)明的單獨(dú)實(shí)施例。
[0199] 本領(lǐng)域那些技術(shù)人員可以理解，可以對(duì)實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地 改變并且把它們?cè)O(shè)置在與該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中?？梢园褜?shí)施例中的模塊或單 元或組件組合成一個(gè)模塊或單元或組件，以及此外可以把它們分成多個(gè)子模塊或子單元或 子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何 組合對(duì)本說明書(包括伴隨的權(quán)利要求、摘要和附圖）中公開的所有特征以及如此公開的任 何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán) 利要求、摘要和附圖）中公開的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來代 替。
[0200] 此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例 中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的 范圍之內(nèi)并且形成不同的實(shí)施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實(shí)施例的任 意之一都可以以任意的組合方式來使用。
[0201] 本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行 的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用 微處理器或者數(shù)字信號(hào)處理器(DSP)來實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的獲取應(yīng)用信息的設(shè)備中的 一些或者全部部件的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法 的一部分或者全部的設(shè)備或者裝置程序(例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品）。這樣的實(shí) 現(xiàn)本發(fā)明的程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個(gè)或者多個(gè)信號(hào)的形式。 這樣的信號(hào)可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號(hào)上提供，或者以任何其他形式 提供。
[0202] 例如，圖8示出了可以實(shí)現(xiàn)根據(jù)本發(fā)明的基于多層次局部區(qū)域融合的物體分割方 法的計(jì)算設(shè)備。該計(jì)算設(shè)備傳統(tǒng)上包括處理器810和以存儲(chǔ)設(shè)備820形式的計(jì)算機(jī)程序產(chǎn)品 或者計(jì)算機(jī)可讀介質(zhì)，另外還包括通信接口和通信總線。存儲(chǔ)設(shè)備820可以是諸如閃存、 EEPROM(電可擦除可編程只讀存儲(chǔ)器）、EPROM、硬盤或者ROM之類的電子存儲(chǔ)器。處理器、通 信接口和存儲(chǔ)器通過通信總線完成相互間的通信。存儲(chǔ)設(shè)備820具有存儲(chǔ)用于執(zhí)行上述方 法中的任何方法步驟的程序代碼831的存儲(chǔ)空間830,用于存放至少一指令，該指令使處理 器執(zhí)行本發(fā)明實(shí)施例的基于多層次局部區(qū)域融合的物體分割方法中的各種步驟。例如，存 儲(chǔ)程序代碼的存儲(chǔ)空間830可以包括分別用于實(shí)現(xiàn)上面的方法中的各種步驟的各個(gè)程序代 碼831。這些程序代碼可以從一個(gè)或者多個(gè)計(jì)算機(jī)程序產(chǎn)品中讀出或者寫入到這一個(gè)或者 多個(gè)計(jì)算機(jī)程序產(chǎn)品中。這些計(jì)算機(jī)程序產(chǎn)品包括諸如硬盤、緊致盤(CD)、存儲(chǔ)卡或者軟盤 之類的程序代碼載體。這樣的計(jì)算機(jī)程序產(chǎn)品通常為例如圖9所示的便攜式或者固定存儲(chǔ) 單元。該存儲(chǔ)單元可以具有與圖8的計(jì)算設(shè)備中的存儲(chǔ)設(shè)備820類似布置的存儲(chǔ)段、存儲(chǔ)空 間等。程序代碼可以例如以適當(dāng)形式進(jìn)行壓縮。通常，存儲(chǔ)單元包括用于執(zhí)行根據(jù)本發(fā)明的 方法步驟的計(jì)算機(jī)可讀代碼831'，即可以由諸如810之類的處理器讀取的代碼，當(dāng)這些代碼 由計(jì)算設(shè)備運(yùn)行時(shí)，導(dǎo)致該計(jì)算設(shè)備執(zhí)行上面所描述的方法中的各個(gè)步驟。
[0203] 應(yīng)該注意的是上述實(shí)施例對(duì)本發(fā)明進(jìn)行說明而不是對(duì)本發(fā)明進(jìn)行限制，并且本領(lǐng) 域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計(jì)出替換實(shí)施例。在權(quán)利要求中， 不應(yīng)將位于括號(hào)之間的任何參考符號(hào)構(gòu)造成對(duì)權(quán)利要求的限制。單詞"包含"不排除存在未 列在權(quán)利要求中的元件或步驟。位于元件之前的單詞"一"或"一個(gè)"不排除存在多個(gè)這樣的 元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)來實(shí) 現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個(gè)可以是通過同一個(gè)硬件項(xiàng) 來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序?？蓪⑦@些單詞解釋為名 稱。
【主權(quán)項(xiàng)】
1. 一種基于多層次局部區(qū)域融合的物體分割方法，其特征在于，包括： 對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域； 對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到所述局部候選區(qū)域的二進(jìn)制分割掩 膜； 對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部候選區(qū)域所屬的物體類 別； 根據(jù)各所述局部候選區(qū)域所屬的物體類別和各所述局部候選區(qū)域的二進(jìn)制分割掩膜， 對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。2. 根據(jù)權(quán)利要求1所述的基于多層次局部區(qū)域融合的物體分割方法，其特征在于，在所 述對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域之前，所述 方法進(jìn)一步包括:對(duì)所述待處理的圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的卷積層和/或池化層處理，得到 卷積神經(jīng)網(wǎng)絡(luò)中間結(jié)果； 所述按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域進(jìn)一步包括:利用所述卷積 神經(jīng)網(wǎng)絡(luò)中間結(jié)果，選取局部候選區(qū)域產(chǎn)生層，通過滑動(dòng)框在局部候選區(qū)域產(chǎn)生層對(duì)應(yīng)的 特征圖上按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域。3. 根據(jù)權(quán)利要求2所述的基于多層次局部區(qū)域融合的物體分割方法，其特征在于，在選 取多個(gè)局部候選區(qū)域之后，所述方法還包括： 通過進(jìn)行去卷積層和/或池化層處理，將不同尺寸的局部候選區(qū)域統(tǒng)一為固定尺寸。4. 根據(jù)權(quán)利要求1-3任一項(xiàng)所述的基于多層次局部區(qū)域融合的物體分割方法，其特征 在于，所述對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部候選區(qū)域所屬的物 體類別進(jìn)一步包括： 若局部候選區(qū)域的中心位于已標(biāo)定物體內(nèi)部，所述已標(biāo)定物體在局部候選區(qū)域中的面 積占已標(biāo)定物體面積的比例大于第一閾值，且所述已標(biāo)定物體在局部候選區(qū)域中的面積占 局部候選區(qū)域面積的比例大于第二閾值，則判定所述局部候選區(qū)域所屬的物體類別為所述 已標(biāo)定物體的類別。5. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的基于多層次局部區(qū)域融合的物體分割方法，其特征 在于，在所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理之前，所述方法包括： 建立訓(xùn)練損失函數(shù)，對(duì)圖像分類和圖像分割的損失進(jìn)行訓(xùn)練。6. 根據(jù)權(quán)利要求1-5任一項(xiàng)所述的基于多層次局部區(qū)域融合的物體分割方法，其特征 在于，所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理進(jìn)一步包括： 根據(jù)局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積以及局部候選區(qū)域所屬的物體類別， 對(duì)所有局部候選區(qū)域進(jìn)行融合處理。7. 根據(jù)權(quán)利要求6所述的基于多層次局部區(qū)域融合的物體分割方法，其特征在于，所述 對(duì)所有局部候選區(qū)域進(jìn)行融合處理進(jìn)一步包括： 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積； 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w類 另IJ、且所述兩個(gè)相鄰的局部候選區(qū)域都未被賦值為一物體，生成新的物體將這兩個(gè)相鄰的 局部候選區(qū)域賦值為該物體。8. 根據(jù)權(quán)利要求6或7所述的基于多層次局部區(qū)域融合的物體分割方法，其特征在于， 所述對(duì)所有局部候選區(qū)域進(jìn)行融合處理進(jìn)一步包括： 確定兩個(gè)相鄰的局部候選區(qū)域的二進(jìn)制分割掩膜的重疊面積； 響應(yīng)于所述重疊面積大于預(yù)設(shè)閾值、所述兩個(gè)相鄰的局部候選區(qū)域?qū)儆谕晃矬w類 另IJ、且所述兩個(gè)相鄰的局部候選區(qū)域中的一個(gè)被賦值為一物體，合并這兩個(gè)相鄰的局部候 選區(qū)域，將另一個(gè)局部候選區(qū)域賦值為該物體。9. 一種基于多層次局部區(qū)域融合的物體分割裝置，其特征在于，包括： 局部候選區(qū)域生成模塊，用于對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選 取多個(gè)局部候選區(qū)域； 圖像分割模塊，用于對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到所述局部候選 區(qū)域的二進(jìn)制分割掩膜； 圖像分類模塊，用于對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部候選 區(qū)域所屬的物體類別； 圖像融合模塊，用于根據(jù)各所述局部候選區(qū)域所屬的物體類別和各所述局部候選區(qū)域 的二進(jìn)制分割掩膜，對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。10. -種計(jì)算設(shè)備，其特征在于，包括:處理器、通信接口、存儲(chǔ)器以及通信總線;所述處 理器、所述通信接口和所述存儲(chǔ)器通過所述通信總線完成相互間的通信； 所述存儲(chǔ)器用于存放至少一指令;所述指令使所述處理器執(zhí)行以下操作： 對(duì)于一待處理的圖像，按照多個(gè)不同的預(yù)設(shè)尺度分別選取多個(gè)局部候選區(qū)域； 對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分割處理，預(yù)測(cè)得到所述局部候選區(qū)域的二進(jìn)制分割掩 膜； 對(duì)每個(gè)局部候選區(qū)域進(jìn)行圖像分類處理，預(yù)測(cè)得到所述局部候選區(qū)域所屬的物體類 別； 根據(jù)各所述局部候選區(qū)域所屬的物體類別和各所述局部候選區(qū)域的二進(jìn)制分割掩膜， 對(duì)所有局部候選區(qū)域進(jìn)行融合處理，得到物體分割圖像。
【文檔編號(hào)】G06T7/00GK106097353SQ201610425391
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月15日
【發(fā)明人】石建萍
【申請(qǐng)人】北京市商湯科技開發(fā)有限公司