圖像處理設備、圖像處理方法以及電子裝置的制造方法
【技術(shù)領域】
[0001] 本發(fā)明涉及圖像處理領域，尤其涉及一種用于對圖像進行分割的圖像處理設備、 圖像處理方法和電子裝置。
【背景技術(shù)】
[0002] 圖像分割是指將一幅數(shù)字化的圖像分割為不同的幾塊區(qū)域。在圖像處理領域，尤 其是圖像語義識別，圖像搜索等等場景下，通常利用圖像分割提取處理目標，然后對所提取 的處理目標進行包括語義識別、圖像搜索與匹配等進一步處理。然而如何進一步提高圖像 分割的處理效率、尤其是交互式圖像分割的處理效率是本領域亟需解決的一個技術(shù)問題。

【發(fā)明內(nèi)容】

[0003] 在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。應當理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概 念，以此作為稍后論述的更詳細描述的前序。
[0004] 鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的目的之一是提供一種圖像處理設備、圖像處 理方法以及電子裝置，以至少克服現(xiàn)有的問題。
[0005] 根據(jù)本公開的一個方面，提供一種用于對預定圖像進行分割的圖像處理設備，包 括：相似度確定裝置，用于獲取所述預定圖像的超像素，并確定所述預定圖像中各個像素與 所獲取的每個超像素之間的相似度；以及分類裝置，用于在所述預定圖像中獲取至少兩個 標記像素組，其中每個標記像素組對應于一個用戶輸入，并根據(jù)所述預定圖像中各個像素 與所述超像素之間的相似度，將所述預定圖像中的未標記像素劃分到與所述至少兩個標記 像素組對應的至少兩個像素類別中，以對所述預定圖像進行分割。
[0006] 根據(jù)本公開的另一方面，提供一種用于對預定圖像進行分割的圖像處理方法，包 括：獲取所述預定圖像的超像素，并確定所述預定圖像中各個像素與所獲取的每個超像素 之間的相似度；以及在所述預定圖像中獲取至少兩個標記像素組，其中每個標記像素組對 應于一個用戶輸入，并根據(jù)所述預定圖像中各個像素與所述超像素之間的相似度，將所述 預定圖像中的未標記像素劃分到與所述至少兩個標記像素組對應的至少兩個像素類別中， 以對所述預定圖像進行分割。
[0007] 根據(jù)本公開的另一個方面，還提供了一種電子裝置，該電子裝置包括如上所述的 圖像處理設備。
[0008] 依據(jù)本公開的其它方面，還提供了一種使得計算機用作如上所述的圖像處理設備 的程序。
[0009] 依據(jù)本公開的又一方面，還提供了相應的計算機可讀存儲介質(zhì)，該計算機可讀存 儲介質(zhì)上存儲有能夠由計算設備執(zhí)行的計算機程序，該計算機程序在執(zhí)行時能夠使計算設 備執(zhí)行上述圖像處理方法。
[0010] 上述根據(jù)本公開實施例的圖像處理設備和方法以及電子裝置，至少能夠獲得以下 益處之一：能夠提高圖像分割處理的運行速度，從而提高運行效率；能夠使得隨機游走很 快達到收斂狀態(tài)，從而減少隨機游走算法的運行時間，使得實時的交互式分割成為可能。
[0011] 通過以下結(jié)合附圖對本公開的最佳實施例的詳細說明，本公開的這些以及其他優(yōu) 點將更加明顯。
【附圖說明】
[0012] 本公開可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的 詳細說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進一步舉例說明本 公開的優(yōu)選實施例和解釋本公開的原理和優(yōu)點。其中：
[0013] 圖1是示意性地示出根據(jù)本公開實施例的圖像處理設備的一種示例結(jié)構(gòu)的框圖。
[0014] 圖2是示出包括多個超像素的圖像的示例的示意圖。
[0015] 圖3是示意性示出通過用戶輸入獲取標記像素組的示例的示意圖。
[0016] 圖4是示意性地示出圖1中的分類裝置的一種示例結(jié)構(gòu)的框圖。
[0017] 圖5是示意性地示出二部圖構(gòu)建單元構(gòu)建的二部圖的示例的示意圖。
[0018] 圖6是示意性地示出圖1中的分類裝置的另一種示例結(jié)構(gòu)的框圖。
[0019] 圖7是示意性地示出圖6中的超像素概率確定單元的一種示例結(jié)構(gòu)的框圖。
[0020] 圖8是示意性地示出圖6中的分類單元的一種示例結(jié)構(gòu)的框圖。
[0021] 圖9是示意性地示出根據(jù)本公開實施例的圖像處理設備的另一種示例結(jié)構(gòu)的框 圖。
[0022] 圖10是示意性示出根據(jù)本公開實施例的圖像處理方法的流程圖。
[0023] 圖11是示出了可用來實現(xiàn)根據(jù)本公開實施例的圖像處理設備和圖像處理方法的 一種可能的硬件配置的結(jié)構(gòu)簡圖。
【具體實施方式】
[0024] 在下文中將結(jié)合附圖對本發(fā)明的示范性實施例進行描述。為了清楚和簡明起見， 在說明書中并未描述實際實施方式的所有特征。然而，應該了解，在開發(fā)任何這種實際實施 例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標，例如，符 合與系統(tǒng)及業(yè)務相關(guān)的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有 所改變。此外，還應該了解，雖然開發(fā)工作有可能是非常復雜和費時的，但對得益于本公開 內(nèi)容的本領域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務。
[0025] 在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其他細節(jié)。
[0026] 根據(jù)本公開的圖像處理設備、圖像處理方法和電子裝置可以用于對預定圖像進行 交互式圖像分割。交互式圖像分割是指用戶在對預定圖像進行分割之前，指定預定圖像中 感興趣的區(qū)域，并將圖像中的其他部分分類到與用戶感興趣的區(qū)域?qū)念悇e中。
[0027] 目前的交互式圖像分割通常是基于圖像中每個像素與通過用戶輸入獲取的特定 像素之間的相似度進行的。然而由于基于像素進行的相似度計算量龐大，使得圖像分割處 理的運行速度較慢，無法滿足實時交互的需求。
[0028] 根據(jù)本公開，提出一種基于超像素的進行圖像分割的圖像處理設備、圖像處理方 法和電子裝置。
[0029] 圖1是示意性地示出根據(jù)本公開實施例的圖像處理設備的一種示例結(jié)構(gòu)的框圖。
[0030] 根據(jù)本公開的圖像處理設備1可以用于對預定圖像進行交互式圖像分割。
[0031] 如圖1所示，圖像處理設備1包括：相似度確定裝置10,用于獲取所述預定圖像的 超像素（superpixel)，并確定所述預定圖像中各個像素與所獲取的每個超像素之間的相似 度；以及分類裝置20,用于在所述預定圖像中獲取至少兩個標記像素組，其中每個標記像 素組對應于一個用戶輸入，并根據(jù)所述預定圖像中各個像素與所述超像素之間的相似度， 將所述預定圖像中的未標記像素劃分到與所述至少兩個標記像素組對應的至少兩個像素 類別中，以對所述預定圖像進行分割。
[0032] 根據(jù)本公開，預定圖像例如可是用戶使用諸如手機的數(shù)碼裝置拍攝的圖像，也可 以是從諸如服務器、互聯(lián)網(wǎng)等數(shù)據(jù)源收集的圖像。
[0033] 根據(jù)本公開的是實施例，相似度確定裝置10可以通過例如對預定圖像進行過分 割（over-segmentation)來獲得超像素。通常通過過分割將預定圖像分割為包括多個超像 素，并且一個超像素可以多個像素的集合。
[0034] 圖2是示出了包括多個超像素的圖像的示意圖。圖2中的每個最小單元格表示一 個像素，如圖2所示，每個超像素SP1、SP2、SP3、SP4、SP5、SP6、SP7、SP8都是多個像素的集 合，每個超像素中包含的像素數(shù)根據(jù)過分割的結(jié)果可以相同也可以不同。
[0035] 相似度確定裝置10例如可以使用基于熵率的方法或者SLIC(單的線性迭代聚類） 算法對圖像進行過分割。SLIC算法例如使用Lab顏色空間和像素點的坐標作為像素的特征 向量，并通過計算各個像素特征向量之間的距離來評估相鄰像素之間的相似度，以及使用K 均值算法對圖像的像素點進行聚類從而得到各個超像素。本領域技術(shù)人員可以理解，獲取 超像素的方法不限于上述示例的方法，可以采用本領域公知的任意方法來獲取預定圖像中 的超像素。根據(jù)本公開，優(yōu)選采用滿足通過過分割得到的超像素的邊界貼合圖像中實際物 體邊界的過分割方法。通過對圖像進行過分割獲取超像素的更具體的處理是本領域公知 的，在此不再贅述。
[0036] 相似度確定裝置10在獲取了預定圖像的超像素之后，可以確定預定圖像中各個 像素與每個超像素之間的相似度。例如，相似度確定裝置10可以使用Lab顏色空間參數(shù)和 像素點的坐標作為該像素的特征向量，并且類似地，將每個超像素中包含的所有像素點的 Lab顏色空間和像素點的坐標的、例如平均值（或者）作為該超像素的Lab顏色空間參數(shù)和 坐標，并使用超像素的Lab顏色空間參數(shù)和像素點的坐標作為該超像素的特征向量，計算 預定圖像中各個像素點與每個像素之間的歐幾里德距離作為各個像素點與超像素之間的 相似度。
[0037] 由于預定圖像中各個像素與包含該像素的超像素屬于同一個類別的概率較高，而 與未包含該像素的超像素隸屬于同類的概率很低，所以為了加速運算，可以不計算各個像 素與不包含該像素的超像素之間的相似度，而直接將它們之間的相似度設為〇。
[0038] 根據(jù)本公開的優(yōu)選實施例，相似度確定裝置10可以針對預定圖像中的每個像素， 僅計算該像素與包括該像素的超像素之間的相似度，而將該像素與其它超像素之間的相似 度設置為例如0,以降低相似度確定裝置10的處理的計算量。
[0039] 根據(jù)本公開的