生成超像素的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于生成超像素（superpixel)的方法及裝置，更具體地涉及一 種用于生成在空間上和時(shí)間上穩(wěn)定的超像素的方法及裝置。
【背景技術(shù)】
[0002] 如今有創(chuàng)建并向消費(fèi)者傳遞更豐富的媒體體驗(yàn)的趨勢(shì)。為了超出基于采樣（視 頻）或者基于模型（CGI)的方法的能力，對(duì)于數(shù)字媒體需要新穎的表示。一種這樣的媒體 表示是SCENE媒體表示（http://3d_scene. eu)。因此，需要針對(duì)生成這樣的媒體表示開發(fā) 工具，提供對(duì)與CGI無縫結(jié)合的3D視頻的捕獲。
[0003] SCENE媒體表示將允許通過增強(qiáng)多維媒體制作的全產(chǎn)業(yè)鏈以線性或交互形式操縱 并將SCENE媒體傳遞給2D或3D平臺(tái)。特別關(guān)注時(shí)空一致的場(chǎng)景表示。該方案還評(píng)估對(duì) SCENE表示架構(gòu)（SRA)進(jìn)行標(biāo)準(zhǔn)化的可能性。
[0004] 用于建立SCENE媒體表示的基礎(chǔ)工具是對(duì)視頻的過分割部署。例如，參見 R.Achanta 等人的《SLIC Superpixels Compared to State-〇f-the~Art Superpixel Methods)) (IEEE Transactions on Pattern Analysis and Machine Intelligence,第 43 卷（2012)，第2274-2282頁）。所生成的片段（也被稱為超像素或者補(bǔ)片）有助于生成表 示更高抽象層的元數(shù)據(jù)，其超出純粹的對(duì)象檢測(cè)。隨后應(yīng)用于所生成的超像素的處理步驟 允許描述視頻場(chǎng)景中的對(duì)象，并且因此鏈接到基于模型的CGI表示。
[0005] 所需的過分割的新的方面是時(shí)空一致分割。已知的關(guān)于時(shí)空一致過分割的 方法基于圖形切割方法，其具有開銷大且耗時(shí)的缺點(diǎn)。例如，參見Z. Tian等人的《3D Spatio-temporal Graph Cuts for Video Objects Segmentation》 （Proceedings of the International Conference on Image Processing(ICIP) (2011)，第 2393-2396 頁）。關(guān)于 過分割算法的更新的研究指出由R. Achanta等人描述的SLIC (Simple Linear Iterative Clustering，簡(jiǎn)單線性迭代聚類）算法作為開始的最適當(dāng)?shù)暮蜻x。其將可靠的分割結(jié)果的 優(yōu)點(diǎn)與其可以實(shí)時(shí)應(yīng)用的能力結(jié)合起來。因?yàn)镾LIC方法最初是針對(duì)單個(gè)圖像處理開發(fā) 的，所以需要進(jìn)一步的適配工作來處理電影中的圖像序列，其中，時(shí)空一致的超像素表示是 必需的。
[0006] -種已知的解決方案是通過SLIC方法使用幀間運(yùn)動(dòng)信息來提供時(shí)空一致的超像 素。代替將SLIC算法的種子點(diǎn)永久性地定位于整個(gè)圖像序列上的相同位置處，運(yùn)動(dòng)信息的 應(yīng)用允許沿著逐幀估計(jì)的運(yùn)動(dòng)軌跡定位的種子點(diǎn)。這在歐洲專利申請(qǐng)EP 13171832. 2中進(jìn) 行了描述。應(yīng)用該播種（seeding)策略生成跟隨光流的超像素，并且因此允許對(duì)場(chǎng)景中的 可能包含一個(gè)或多個(gè)超像素的移動(dòng)對(duì)象進(jìn)行跟蹤。優(yōu)點(diǎn)是電影中的對(duì)象恒定地分配給唯一 的超像素，從而使跟蹤非常簡(jiǎn)單。

【發(fā)明內(nèi)容】

[0007] 因此，本發(fā)明的目的是提出一種用于生成在空間上和時(shí)間上穩(wěn)定的超像素的方 法。
[0008] 根據(jù)本發(fā)明，一種用于生成圖像序列的超像素的方法包含：
[0009] -將圖像序列的圖像分割成初始超像素集合；
[0010] -確定所述圖像序列中的靜態(tài)和非靜態(tài)區(qū)域；
[0011]-生成所述圖像序列的非靜態(tài)區(qū)域的更新的超像素；以及
[0012]-維持屬于所述圖像序列的靜態(tài)區(qū)域的初始超像素集合的那些超像素。
[0013] 相應(yīng)地，一種被配置為生成圖像序列的超像素的裝置，該裝置包含：
[0014] -運(yùn)動(dòng)分析器，被配置為確定圖像序列中的靜態(tài)和非靜態(tài)區(qū)域；以及
[0015] -分割器，被配置為將圖像序列的圖像分割成初始超像素集合，生成圖像序列的非 靜態(tài)區(qū)域的更新的超像素，并且維持屬于圖像序列的靜態(tài)區(qū)域的初始超像素集合的那些超 像素。
[0016] 類似地，一種計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)在其中存儲(chǔ)使得能夠生成圖像序列的超像素 的指令，這些指令在被計(jì)算機(jī)執(zhí)行時(shí)使計(jì)算機(jī)：
[0017] -將圖像序列的圖像分割成初始超像素集合；
[0018] -確定所述圖像序列中的靜態(tài)和非靜態(tài)區(qū)域；
[0019] -生成所述圖像序列的非靜態(tài)區(qū)域的更新的超像素；以及
[0020] -維持屬于所述圖像序列的靜態(tài)區(qū)域的初始超像素集合的那些超像素。
[0021] 提出在被檢測(cè)為靜態(tài)的圖像區(qū)域內(nèi)凍結(jié)分割算法。與先前一樣地分割非靜態(tài)區(qū) 域以跟蹤屬于移動(dòng)對(duì)象的超像素。這導(dǎo)致屬于靜態(tài)場(chǎng)景區(qū)域的超像素位置和形狀的凍結(jié)。 更具體地，對(duì)于靜態(tài)圖像區(qū)域，防止種子點(diǎn)位置的改變。由此，使得屬于靜態(tài)場(chǎng)景區(qū)域的非 移動(dòng)超像素片段穩(wěn)定，并且對(duì)于如VFX (視覺效果）這樣的應(yīng)用，通過結(jié)合使用攝相機(jī)生成 的電影成分生成的CGI改進(jìn)了對(duì)抽象層的利用。
[0022] 通過上述已知的解決方案，由于運(yùn)動(dòng)估計(jì)中的噪聲誤差，SLIC種子點(diǎn)位置永久性 地改變，這造成在靜態(tài)圖像區(qū)域的范圍內(nèi)的超像素的偽運(yùn)動(dòng)。這破壞了抽象層的模型，該模 型假設(shè)對(duì)場(chǎng)景中的對(duì)象分配超像素。因此，如果對(duì)象不移動(dòng)，則所分配的超像素也一定不移 動(dòng)。另外，永久性的種子點(diǎn)變化的另一個(gè)不想要的效果是超像素的形狀的穩(wěn)定修改。這有 時(shí)導(dǎo)致形狀擺動(dòng)，使得無法進(jìn)行對(duì)象識(shí)別并且造成超像素和場(chǎng)景對(duì)象的分離。超像素的偽 運(yùn)動(dòng)和形狀擺動(dòng)破壞了抽象層的底層模型。
[0023] 所提出的解決方案移除了或者至少減輕了上述效果。因此，一般地，其改善了表示 數(shù)字媒體的新的SCENE媒體表示的抽象層的過分割結(jié)果。對(duì)場(chǎng)景對(duì)象的超像素分配變得更 加可靠，并且允許精確地區(qū)分場(chǎng)景中的移動(dòng)的和靜態(tài)的對(duì)象。利用更加準(zhǔn)確的超像素分割 對(duì)于對(duì)象跟蹤和VFX應(yīng)用生成了更高的質(zhì)量。
[0024] 為了更好地理解，現(xiàn)在將參照附圖在下面的說明中更詳細(xì)地解釋本發(fā)明。要理解 的是，本發(fā)明并不限于該示例性的實(shí)施例，還可以方便地結(jié)合和