本原理涉及一種用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的方法和裝置。特別地，本原理涉及一種用于使用快速標(biāo)簽傳播方案從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的方法和裝置。
背景技術(shù)：
：超像素算法代表用于廣泛的計(jì)算機(jī)視覺應(yīng)用(分割、圖像解析、分類等)的非常有用的和越來越流行的預(yù)處理步驟。將相似的像素分組成所謂的超像素導(dǎo)致圖像基元的較大減少，即允許對(duì)圖像進(jìn)行完整描述的特征的較大減少，其為后續(xù)處理步驟帶來增加的計(jì)算效率或者考慮到更復(fù)雜的算法，這在像素級(jí)上會(huì)是計(jì)算上不可行的，并且為基于區(qū)域的特征創(chuàng)建空間支持。超像素算法將像素分組成超像素，“它們是局部的、連貫的，并且以感興趣的規(guī)模保留大部分分割所需的結(jié)構(gòu)”[1]。超像素應(yīng)該“在大小和形狀上大致均勻”[1]。用于視頻內(nèi)容的許多近來的超像素算法依賴于密集光流向量來將分割結(jié)果從一幀傳播到下一幀。對(duì)光流質(zhì)量對(duì)于過分割質(zhì)量的影響的評(píng)估表明，對(duì)于具有大的物體位移和相機(jī)運(yùn)動(dòng)的視頻來說，其為不可或缺的。然而，歸因于高計(jì)算成本，高質(zhì)量的、密集光流的計(jì)算不適用于實(shí)時(shí)應(yīng)用。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是提出一種用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的改進(jìn)的解決方案。根據(jù)本原理的一個(gè)方面，一種用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的方法包括：-確定當(dāng)前圖像中的特征；-追蹤所確定的特征回到先前圖像中；以及-基于所追蹤的特征，將關(guān)聯(lián)到先前圖像的超像素標(biāo)簽圖變換成當(dāng)前圖像的初始超像素標(biāo)簽圖。因此，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，具有其中存儲(chǔ)的用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的指令，當(dāng)所述指令由計(jì)算機(jī)執(zhí)行時(shí)，使得計(jì)算機(jī)：-確定當(dāng)前圖像中的特征；-追蹤所確定的特征回到先前圖像中；以及-基于所追蹤的特征，將關(guān)聯(lián)到先前圖像的超像素標(biāo)簽圖變換成當(dāng)前圖像的初始超像素標(biāo)簽圖。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)是非臨時(shí)性的易失性或非易失性存儲(chǔ)介質(zhì)，諸如例如硬盤、光盤或磁盤或磁帶、固態(tài)存儲(chǔ)設(shè)備等。因此存儲(chǔ)介質(zhì)有形地體現(xiàn)可由計(jì)算機(jī)或處理設(shè)備執(zhí)行的指令的程序，以執(zhí)行如在此描述的程序步驟。此外，在一個(gè)實(shí)施例中，一種用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的裝置包括：-特征檢測(cè)器，其被配置為確定當(dāng)前圖像中的特征；-特征追蹤器，其被配置為追蹤所確定的特征回到先前圖像中；以及-變換器，其被配置為基于所追蹤的特征，將關(guān)聯(lián)到先前圖像的超像素標(biāo)簽圖變換成當(dāng)前圖像的初始超像素標(biāo)簽圖。在另一實(shí)施例中，一種用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的裝置包括處理設(shè)備和存儲(chǔ)設(shè)備，所述存儲(chǔ)設(shè)備具有其中存儲(chǔ)的指令，當(dāng)所述指令由處理設(shè)備執(zhí)行時(shí)，使得所述裝置：-確定當(dāng)前圖像中的特征；-追蹤所確定的特征回到先前圖像中；以及-基于所追蹤的特征，將關(guān)聯(lián)到先前圖像的超像素標(biāo)簽圖變換成當(dāng)前圖像的初始超像素標(biāo)簽圖。為了對(duì)超像素標(biāo)簽圖進(jìn)行變換，對(duì)于當(dāng)前圖像和先前圖像從所確定的特征生成由三角形組成的網(wǎng)格。然后將當(dāng)前圖像的網(wǎng)格向后變形到先前圖像的網(wǎng)格上。為此目的，針對(duì)當(dāng)前圖像中的每個(gè)三角形，確定用于將該三角形變換成先前圖像中的對(duì)應(yīng)三角形的仿射變換的變換矩陣。使用所確定的變換矩陣，將當(dāng)前圖像中的每個(gè)像素的坐標(biāo)變換成先前圖像中的經(jīng)變換的坐標(biāo)。然后，在每個(gè)像素位置處，利用在對(duì)應(yīng)的經(jīng)變換的像素位置處關(guān)聯(lián)到先前圖像的標(biāo)簽圖的標(biāo)簽，對(duì)當(dāng)前圖像的超像素標(biāo)簽圖進(jìn)行初始化。所提出的解決方案使用在稀疏特征追蹤和基于網(wǎng)格的圖像變形的基礎(chǔ)上的快速標(biāo)簽傳播方案。歸因于處理成本的大幅降低，該方法顯著加快了傳播處理。同時(shí)，最終的超像素分割質(zhì)量與使用高質(zhì)量的、密集光流的方法相當(dāng)。在一個(gè)實(shí)施例中，將經(jīng)變換的坐標(biāo)剪裁到最近的有效像素位置。以這種方式，確保對(duì)于當(dāng)前圖像的超像素標(biāo)簽圖中的每個(gè)像素位置，從關(guān)聯(lián)到先前圖像的標(biāo)簽圖中分配的標(biāo)簽是明確的。在一個(gè)實(shí)施例中，在當(dāng)前圖像和先前圖像的每個(gè)角落處和每個(gè)邊界的中心處添加特征。這確保每個(gè)像素被三角形覆蓋。在一個(gè)實(shí)施例中，將與初始超像素標(biāo)簽圖中的主要大量超像素分離的像素分配給相鄰超像素。這保證了超像素的空間一致性。所描述的方法不僅適用于時(shí)間圖像序列。它同樣可以用于多視圖圖像的各個(gè)圖像并且甚至用于多視圖圖像的序列。附圖說明圖1a)-b)示出了兩個(gè)原始剪裁幀k和k+1；圖2a)-b)示出了在幀k+1中找到并且追蹤回到幀k中的稀疏特征；圖3a)-b)描繪了從特征點(diǎn)的三角測(cè)量中獲得并且通過所追蹤的特征的移動(dòng)而形變的網(wǎng)格；圖4a)-b)圖示了通過根據(jù)用于幀k+1的初始化的網(wǎng)格的形變的仿射變換進(jìn)行的幀k的超像素標(biāo)簽圖的變形；圖5圖示了從幀k到幀k+1的被三角形覆蓋的標(biāo)簽信息的變形；圖6示出了作為每幀分割質(zhì)量的度量的2d邊界回憶；圖7描繪了關(guān)于超體素的數(shù)量繪制的3d欠分割誤差；圖8示出了關(guān)于每幀超像素的數(shù)量的3d欠分割誤差；圖9描繪了關(guān)于每幀超像素的數(shù)量的平均時(shí)間長度；圖10示意性地圖示了用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的方法的實(shí)施例；圖11示意性地描繪了根據(jù)本原理的用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的裝置的一個(gè)實(shí)施例；以及圖12示意性地圖示了根據(jù)本原理的用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的裝置的另一實(shí)施例。具體實(shí)施方式為了更好地理解，現(xiàn)在將參照附圖在下面的描述中更詳細(xì)地解釋一些實(shí)施例的原理。應(yīng)當(dāng)理解，所提出的解決方案不限于這些示例性實(shí)施例，并且在不脫離如所附權(quán)利要求中限定的本原理的范圍的情況下，也可以方便地組合和/或修改特定特征。針對(duì)兩個(gè)采樣視頻幀k(圖1a)中示出)和k+1(圖1b)中示出)，用于快速標(biāo)簽傳播的當(dāng)前方法在圖1至圖4中可視化。在圖1中，原始幀被剪裁。在時(shí)間圖像序列的情況下，幀k和k+1是時(shí)間上連續(xù)的幀，盡管不一定是緊接連續(xù)的幀。在多視圖圖像的情況下，幀k和k+1是空間上相鄰的幀，盡管不一定是直接相鄰的幀。例如，在[3]和[4]中，代替如所進(jìn)行的計(jì)算密集光流，在當(dāng)前幀k與下一幀k+1之間僅追蹤一組稀疏特征，下一幀k+1的超像素標(biāo)簽圖需要被初始化。使用例如哈里斯角檢測(cè)器來針對(duì)幀k+1計(jì)算特征。在一個(gè)實(shí)施例中，使用[5]中描述的方法來選擇所謂的“良好”特征。使用例如kanade-lucas-tomasi(klt)特征追蹤器，這些特征被追蹤回到幀k。圖2示出了在幀k+1中找到的稀疏特征，在圖2b)中描繪，并被追蹤回到幀k，在圖2a)中描繪。如在[2]中提出的那樣，聚類過濾器消除可能的異常值。例如，使用delaunay三角測(cè)量，從幀k+1的特征生成網(wǎng)格，如圖3b)中所示。隨后，使用由klt特征追蹤器提供的信息，將網(wǎng)格(向后)變形到幀k的超像素標(biāo)簽圖上，如圖3a)中所示。在每個(gè)三角形中假設(shè)分段平面的情況下，使用仿射變換(具有變換矩陣)將每個(gè)三角形內(nèi)的標(biāo)簽從幀k(向前)變形到幀k+1上，如圖5中可見。使用三角形的三個(gè)追蹤特征點(diǎn)來確定幀k+1與k之間的每個(gè)三角形i的均勻坐標(biāo)中的變換矩陣ti，k+1：矩陣元素t1,i至t4,i確定旋轉(zhuǎn)、剪切和縮放，而元素t5,i至t6,i確定平移。使用該三角形的變換矩陣，可以將幀k+1中每個(gè)像素的均勻坐標(biāo)變換成幀k的坐標(biāo)將坐標(biāo)剪裁到最近的有效像素位置。這些用于查找?guī)琸的超像素標(biāo)簽圖中的標(biāo)簽，其在圖4a)中示出。針對(duì)幀k+1的生成的標(biāo)簽圖在圖4b)中示出。為了確保每個(gè)像素被三角形覆蓋，幀的四角處的特征和每個(gè)幀邊界的中間處的特征被插入和追蹤。有時(shí)在變形之后，由于變換，一些像素與主要大量的超像素分離。由于必須確保超像素的空間一致性，所以這些小部分被識(shí)別并分配給直接相鄰的超像素。由于在使用密集光流的情況下該步驟也是必需的，所以它不會(huì)產(chǎn)生額外的計(jì)算開銷。為了分析所提出的方法的性能，已經(jīng)執(zhí)行了一些基準(zhǔn)測(cè)量。結(jié)果呈現(xiàn)在圖6至圖9中。圖6示出了作為每幀分割質(zhì)量的度量的2d邊界回憶。圖7描繪了關(guān)于超體素的數(shù)量繪制的3d欠分割誤差。圖8示出了關(guān)于每幀超像素的數(shù)量的3d欠分割誤差。最后，圖9描繪了關(guān)于每幀超像素的數(shù)量的平均時(shí)間長度。為了比較而包括以下方法：·streamgbh(基于圖形的流式分層視頻分割)，作為超體素算法的類別的代表[6]；·四個(gè)版本的tsp(時(shí)間超像素)：原始版本[3]，利用horn&schunck[8]作為密集光流(w/hs)，無光流(w/o光流)，以及利用在此提出的方法(w/網(wǎng)格)；·四個(gè)版本的tcs(時(shí)間一致超像素)：原始版本[4]，利用horn&schunck作為密集光流(w/hs)，無光流(w/o光流)，以及利用在此提出的方法(w/網(wǎng)格)；·onlinevideoseeds，作為最先進(jìn)的方法，沒有利用光流信息[7]。從圖可以看出，所提出的基于網(wǎng)格的傳播方法產(chǎn)生相當(dāng)?shù)姆指钫`差，而平均時(shí)間長度僅略微降低。雖然2d邊界回憶對(duì)于方法tspw/網(wǎng)格而言保持不變，但是對(duì)于方法tcsw/網(wǎng)格而言它甚至是改進(jìn)的。為了在計(jì)算成本方面評(píng)估運(yùn)行時(shí)間性能改進(jìn)，測(cè)量了基于密集光流的標(biāo)簽傳播和基于網(wǎng)格的傳播的平均運(yùn)行時(shí)間。因此，在原始版本的tsp和tcs以及horn&schunck實(shí)現(xiàn)方式中使用的標(biāo)簽傳播方法被用作參考。在具有32gb的ram的因特爾i7-3770k@3.50ghz上完成了性能基準(zhǔn)。結(jié)果總結(jié)在表1中。從表1可以看出，所提出的方法執(zhí)行超像素標(biāo)簽傳播任務(wù)比原始提出的方法快100倍以上，同時(shí)創(chuàng)建幾乎相同的分割質(zhì)量，如圖6至圖9中可見。標(biāo)簽傳播方法平均時(shí)間/幀tsp和tcs中使用的方法814.9毫秒horn&schunck114.3毫秒所提出的方法6.1毫秒表1-將超像素標(biāo)簽圖傳播到新的幀上所需的平均運(yùn)行時(shí)間圖10示意性地圖示了用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的方法的一個(gè)實(shí)施例。在第一步驟中，確定10當(dāng)前圖像中的特征。然后追蹤11所確定的特征回到先前圖像中?；谒粉櫟奶卣鳎瑢⑴c先前圖像相關(guān)聯(lián)的超像素標(biāo)簽圖變換12成當(dāng)前圖像的初始超像素標(biāo)簽圖。在圖11中示意性地描繪根據(jù)本原理的用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的裝置20的一個(gè)實(shí)施例。裝置20具有輸入端21，用于例如從網(wǎng)絡(luò)或外部存儲(chǔ)系統(tǒng)接收?qǐng)D像序列。替選地，從本地存儲(chǔ)單元22取回圖像序列。特征檢測(cè)器23確定10當(dāng)前圖像中的特征。然后，特征追蹤器24追蹤11所確定的特征回到先前圖像中?；谒粉櫟奶卣鳎儞Q器25將與先前圖像相關(guān)聯(lián)的超像素標(biāo)簽圖變換12成當(dāng)前圖像的初始超像素標(biāo)簽圖。所得到的初始超像素標(biāo)簽圖優(yōu)選地經(jīng)由輸出端26成為可用。其也可以存儲(chǔ)在本地存儲(chǔ)單元22上。輸出端26還可以與輸入端21組合成單個(gè)雙向接口。不同的單元23、24、25中的每一個(gè)可以被實(shí)現(xiàn)為不同的處理器。當(dāng)然，不同的單元23、24、25同樣可以完全或部分地組合成單個(gè)單元或者實(shí)現(xiàn)為在處理器上運(yùn)行的軟件。在圖12中示意性地示出根據(jù)本原理的用于從圖像序列生成當(dāng)前圖像的初始超像素標(biāo)簽圖的裝置30的另一個(gè)實(shí)施例。裝置30包括處理設(shè)備31和存儲(chǔ)設(shè)備32，存儲(chǔ)設(shè)備32存儲(chǔ)指令，當(dāng)指令被執(zhí)行時(shí)，使裝置執(zhí)行根據(jù)所描述的方法之一的步驟。例如，處理設(shè)備31可以是適應(yīng)于執(zhí)行根據(jù)所描述的方法之一的步驟的處理器。在實(shí)施例中，所述適應(yīng)包括：處理器被配置例如編程為以執(zhí)行根據(jù)所描述的方法之一的步驟。在此使用的處理器可以包括一個(gè)或多個(gè)處理單元，諸如微處理器、數(shù)字信號(hào)處理器或其組合。本地存儲(chǔ)單元22和存儲(chǔ)設(shè)備32可以包括易失性和/或非易失性存儲(chǔ)器區(qū)域，以及諸如硬盤驅(qū)動(dòng)器和dvd驅(qū)動(dòng)器的存儲(chǔ)設(shè)備。存儲(chǔ)器的一部分是可由處理設(shè)備31讀取的非臨時(shí)性程序存儲(chǔ)設(shè)備，其有形地體現(xiàn)可由處理設(shè)備31執(zhí)行的指令的程序，以執(zhí)行根據(jù)本原理在此描述的程序步驟。參考文獻(xiàn)[1]ren等人:“l(fā)earningaclassificationmodelforsegmentation”,ieeeinternationalconferenceoncomputervision(iccv)(2003),第10–17頁。[2]munderloh等人:“mesh-basedglobalmotioncompensationforrobustmosaickinganddetectionofmovingobjectsinaerialsurveillance”,ieeecomputersocietyconferenceoncomputervisionandpatternrecognition(cvpr)(2011),1stworkshopofaerialvideoprocessing(wavp),第1–6頁。[3]chang等人:“avideorepresentationusingtemporalsuperpixels”,ieeeconferenceoncomputervisionandpatternrecognition(cvpr)(2013),第2051–2058頁。[4]reso等人:“superpixelsforvideocontentusingacontour-basedemoptimization”,asianconferenceoncomputervision(accv)(2014),第1–16頁。[5]shi等人:“goodfeaturestotrack”,ieeeconferenceoncomputervisionandpatternrecognition(cvpr)(1994),第593-600頁。[6]xu等人:“streaminghierarchicalvideosegmentation”,europeanconferenceoncomputervision(eccv)(2012),第1-14頁。[7]vandenbergh等人:“onlinevideoseedsfortemporalwindowobjectness”,ieeeinternationalconferenceoncomputervision(iccv)(2013),第377–384頁。[8]horn等人:“determiningopticalflow”,artificialintelligence,vol.17(1981),第185–203頁。當(dāng)前第1頁12