專利名稱：自動(dòng)視頻圖像分割的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及數(shù)字圖像處理，具體地，涉及視頻序列中圖 像的自動(dòng)分割。
背景技術(shù)：
數(shù)字圖像可包括光柵圖形、矢量圖形或其組合。光柵圖形數(shù)據(jù) (在此也稱為位圖)可作為稱作像素的個(gè)體圖像元素的網(wǎng)格來存儲(chǔ) 和操縱。位圖可以通過其像素的寬度和高度來表征，也可以通過每 個(gè)像素的位數(shù)來表征。通常，RGB(紅、綠、藍(lán))顏色空間中定義 的彩色位圖可包括用于紅、綠和藍(lán)通道中每個(gè)通道的每個(gè)像素的1 到8位。Alpha通道可用來存儲(chǔ)諸如每個(gè)像素的透明度值之類的附加 數(shù)據(jù)。矢量圖形數(shù)據(jù)可以作為 一 個(gè)或多個(gè)利用幾何基元構(gòu)建的幾何 對(duì)象來存儲(chǔ)和操縱。幾何基元(例如，點(diǎn)、線、多邊形、貝賽爾曲 線和文本字符)可根據(jù)數(shù)學(xué)公式來表示數(shù)字圖像的部分。
數(shù)字圖像處理是這樣的過程，其利用例如計(jì)算機(jī)系統(tǒng)的計(jì)算裝 置來分析和/或修改數(shù)字圖像。使用專用的軟件程序，可按照各種方 式來操縱和變換數(shù)字圖像。
有許多數(shù)字視頻應(yīng)用需要將每個(gè)視頻圖像或幀分割成例如前景 圖像或感興趣對(duì)象/區(qū)域以及背景。這類分割的現(xiàn)有技術(shù)方法包括利用各種圖像編輯工具來手工分割每個(gè)幀圖像。然而，這種手工分割 是耗時(shí)、繁瑣且易出錯(cuò)的。
發(fā)明內(nèi)容
提出了用于執(zhí)行自動(dòng)分割視頻序列圖像的系統(tǒng)、方法和計(jì)算機(jī) 可讀存儲(chǔ)介質(zhì)的各種實(shí)施方式。
首先，視頻序列的當(dāng)前圖像(例如，第一圖像)的分割形狀預(yù) 測(cè)和分割顏色模型可根據(jù)所述視頻序列的至少 一 個(gè)先前圖像的已有 分割信息來確定。例如，在一種實(shí)施方式中，用戶可手工將當(dāng)前圖 像分割成前景和背景，存儲(chǔ)該當(dāng)前圖像的分割信息，該分割信息包 括將背景從圖像的前景(例如前景對(duì)象)中劃分出來的分割輪廓。
正如所期望的，可通過多種技術(shù)中的任意技術(shù)來執(zhí)行形狀預(yù)測(cè) 和顏色^f莫型的確定。例如，對(duì)于形狀預(yù)測(cè)而言，在一種實(shí)施方式中，
可采用縮放不變特征變換(SIFT)技術(shù)來根據(jù)所述序列的至少一個(gè) 先前圖像(也即，根據(jù)預(yù)先存在的分割輪廓)生成當(dāng)前圖像的分割 輪廓的估計(jì)或粗略版本。對(duì)于視頻中的連續(xù)幀來說，SIFT關(guān)鍵點(diǎn)是 用于視頻中連續(xù)幀的可靠特征。通過將先前圖像/幀的SIFT關(guān)鍵點(diǎn)與 當(dāng)前圖像/幀中的對(duì)應(yīng)關(guān)4建點(diǎn)進(jìn)行匹配，可以確定對(duì)當(dāng)前(或新的) 幀中輪廓的良好初始猜測(cè)。因而， 一旦根據(jù)這兩個(gè)幀中的匹配關(guān)4建 點(diǎn)確定了仿射變換，便可以對(duì)所述初始輪廓進(jìn)行變換，以生成對(duì)后 續(xù)幀輪廓的粗略估計(jì)或預(yù)測(cè)形狀。在一些實(shí)施方式中，可以沿著輪 廓構(gòu)建多個(gè)局部分類器，并使用其來執(zhí)行關(guān)于該輪廓的操作。例如， 在一些實(shí)施方式中，可采用滑動(dòng)窗口方法，其中，中心點(diǎn)位于輪廓 上的每個(gè)分類器定義圍繞相應(yīng)輪廓點(diǎn)(分類器的中心)的局部區(qū)域 并對(duì)該局部區(qū)域進(jìn)行操作，整合來自先前幀的顏色和形狀信息(例 如顏色模型和形狀預(yù)測(cè))，并由此確定預(yù)測(cè)輪廓。因而，形狀對(duì)齊 過程可用來將分類器窗口與幀i+l中的前景對(duì)象進(jìn)行粗略對(duì)齊。
更具體地，在一些實(shí)施方式中，根據(jù)形狀輪廓的相應(yīng)部分生成 局部分割形狀預(yù)測(cè)可以包括通過應(yīng)用于相應(yīng)區(qū)域中多個(gè)關(guān)鍵點(diǎn)上的縮放不變特征變換(SIFT)來生成初始局部分割形狀預(yù)測(cè)；以及 通過使用應(yīng)用于沿形狀輪廓相應(yīng)部分的點(diǎn)上的光流(optical flow ), 來細(xì)化初始局部分割形狀預(yù)測(cè)的估計(jì)，從而生成局部分割形狀預(yù)測(cè)。 在一種實(shí)施方式中，通過使用應(yīng)用于沿形狀輪廓相應(yīng)部分的點(diǎn)上的 光流來細(xì)化初始局部分割形狀預(yù)測(cè)的估計(jì)從而生成局部分割形狀預(yù) 測(cè)，可以包括根據(jù)相應(yīng)區(qū)域中前景像素的光流來確定局部平均流 向量；以及將局部平均流向量應(yīng)用于沿形狀4侖廓相應(yīng)部分的點(diǎn)，來 生成局部分割形狀預(yù)測(cè)。至少可以根據(jù)局部分類器中包括的至少一 個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息，來生成局部分割顏色模型。因 而，使用局部分類器來表征以及操作圖像的局部區(qū)域，可顯著增強(qiáng) 分割的精度和結(jié)果，對(duì)于具有復(fù)雜前景對(duì)象和/或背景的圖像而言尤 其如此。
盡管對(duì)輪廓上的每個(gè)點(diǎn)(或者這些點(diǎn)的某些指定子集，諸如沿 輪廓的等間隔采樣點(diǎn))進(jìn)行變換將會(huì)生成將輪廓與后續(xù)幀圖像近似 對(duì)齊的粗略輪廓估計(jì)，該變換通常捕捉兩幀之間對(duì)象的主要?jiǎng)傮w運(yùn) 動(dòng)，并因而通常可能忽略特定于所述對(duì)象的部分的局部運(yùn)動(dòng)的運(yùn)動(dòng) 效果。為了確定對(duì)更好的輪廓預(yù)測(cè)，可計(jì)算變換幀與下一幀之間的 輪廓像素的光流。然而，由于邊界上光流的不可靠性，例如出現(xiàn)遮 蔽(occlusion),直接將流向量添加到輪廓點(diǎn)(即，在像素級(jí))可能 生成不穩(wěn)定的結(jié)果。因而，在一種實(shí)施方式中，可采用輪廓內(nèi)部的 局部平均流，而不是(使用每個(gè)分類器的中心點(diǎn))根據(jù)輪廓點(diǎn)本身 來計(jì)算光流。通過將局部平均光流并如所述過程中，可生成更精確
且魯棒的估計(jì)輪廓。
因而，從這兩個(gè)步驟中(變換/對(duì)齊加平均光流)，可以生成輪 廓預(yù)測(cè)，或者更準(zhǔn)確地說，多個(gè)預(yù)測(cè)或估計(jì)輪廓部分或分段，每個(gè) 部分或分段由相應(yīng)的分類器覆蓋并與之關(guān)聯(lián)。接著，該預(yù)測(cè)或估計(jì) 的輪廓可以用作先驗(yàn)形狀(形狀預(yù)測(cè))，并可指定局部分類器的位 置。
一種計(jì)算傳播的分類器中像素的前景概率的方法是通過高斯混合模型(GMM)。在這種方法中，對(duì)除了圍繞輪廓的窄帶之外的、 第二分類器的局部區(qū)域或窗口中的所有像素進(jìn)行采樣，所述窄帶在
一些實(shí)施方式中可由(1《卜A)來定義，其中A是第一分類器中不確 定帶的寬度，《是分類器中像素X離輪廓的最大距離。換句話說，
由于所述估計(jì)或預(yù)測(cè)的輪廓幾乎一定會(huì)出錯(cuò)，因此比較難以將所述
估計(jì)輪廓附近的像素分類為前景或背景像素，并且因此在FG側(cè)上的 估計(jì)輪廓附近的像素實(shí)際上可能是在實(shí)際的(未知的)邊界的BG 側(cè)上，反之亦然。
在一些實(shí)施方式中，生成局部分割顏色模型可以包括根據(jù)用 于所述至少一個(gè)先前圖像的局部分類器中所包括的所述至少一個(gè)先 前圖像的相應(yīng)區(qū)域的顏色信息，來生成局部分割簡(jiǎn)單顏色模型；以 及根據(jù)用于所述至少一個(gè)先前圖像的局部分類器中所包括的所述至 少一個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息、并根據(jù)用于所述當(dāng)前圖像 的局部分類器中所包括的所述當(dāng)前圖像的相應(yīng)區(qū)域的顏色信息，來 生成局部分割混合顏色模型?？梢源_定所述局部分割混合顏色模型 與局部分割簡(jiǎn)單顏色模型的辨識(shí)度。接著，至少根據(jù)局部分類器中 所包括的所述至少一個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息來生成局部 分割顏色模型，可以包括如果所述局部分割簡(jiǎn)單顏色模型具有比 所述局部分割混合顏色模型更大的辨識(shí)度，則選擇所述局部分割簡(jiǎn) 單顏色模型作為局部分割顏色模型；如果所述局部分割混合顏色模 型具有比所述局部分割簡(jiǎn)單顏色模型更大的辨識(shí)度，則選擇所述局 部分割混合顏色模型作為所述局部分割顏色模型。
如上所討論的，除了顏色模型之外，先驗(yàn)形狀(即預(yù)測(cè)形狀) 亦可用來生成分類器區(qū)域的概率或特征圖。更具體地，來自預(yù)測(cè)形 狀的貢獻(xiàn)(作為加權(quán)和的一部分)可基于所述顏色模型的辨識(shí)度， 其中，如果所述顏色模型在前景顏色與背景顏色之間進(jìn)行了清晰的 區(qū)分，則依賴所述顏色模型來對(duì)所述區(qū)域的像素進(jìn)行分類；以及如
果所述顏色模型沒有給出清晰的區(qū)分，則依賴所述先驗(yàn)形狀來對(duì)像 素進(jìn)行分類，其中中間狀況由應(yīng)用到每個(gè)的權(quán)重解決，例如，其中權(quán)重的和取為某正則化值，例如l。換句話說，在一些實(shí)施方式中， 所述權(quán)重是顏色與形狀貢獻(xiàn)的線性和的系數(shù)。然而注意，在其它實(shí) 施方式中，所述形狀與顏色貢獻(xiàn)可由非線性組合來確定。
一旦確定了幀i+l的顏色圖(如上所討論的)，其可用來對(duì)幀i 的像素進(jìn)行(重)分類(由于該圖像已進(jìn)行分割，其實(shí)際分類是已 知的)，以及通過確定由顏色模型導(dǎo)致的錯(cuò)誤來確定所述顏色模型 的置信度或可靠性。通過使用上述技術(shù)的實(shí)施方式，每個(gè)分類器可 以確定圖像的相應(yīng)部分逼近估計(jì)輪廓的概率或特征圖。
在一種實(shí)施方式中，所有局部窗口中的(也即，來自所有局部 分類器的)概率(即概率或特征圖)可被組合，以形成合成的特征 圖。例如，對(duì)于多個(gè)分類器中的每個(gè)局部分類器，可根據(jù)局部分類 器的局部分割形狀和局部分割顏色模型的加權(quán)組合來生成局部特征 圖估計(jì)，其中局部特征圖估計(jì)將相應(yīng)區(qū)域中的像素分類為背景或前
景像素。接著，可通過組合局部特征圖估計(jì)來生成當(dāng)前圖像的特征 圖估計(jì)。可以使用多個(gè)局部分類器中的每個(gè)分類器的顏色模型及形 狀預(yù)測(cè)來確定圖像(例如，幀i+l )的組合概率或特征圖。換句話說， 可將多個(gè)局部特征圖(例如前景遮罩)結(jié)合到一起，從而形成全局 或組合的特征圖或遮罩。
可根據(jù)分割形狀預(yù)測(cè)和分割顏色模型的加權(quán)組合來自動(dòng)生成當(dāng) 前圖像的分割。在一種實(shí)施方式中，組合特征(概率)圖可用來分 割圖像(為前景及背景部分)。例如，在一種實(shí)施方式中，使用諸 如圖切割(Graph Cut)之類的圖像處理算法，組合特征圖(即所生 成的當(dāng)前圖像的特征圖估計(jì))可用來分割圖像，其中概率值可設(shè)置 為數(shù)據(jù)成本，此后，可執(zhí)行GAC (測(cè)地線主動(dòng)輪廓)算法來對(duì)邊界 進(jìn)一步^L則化，這例如通過Level Set方法來實(shí)現(xiàn)。然而注意，才艮據(jù) 需要，可采用任意其它算法和/或工具。在備選實(shí)施方式中，局部特 征圖都可用來對(duì)每個(gè)分類器窗口進(jìn)行局部分割，此后，可將這些局 部分割(分割的圖像部分)結(jié)合到一起來形成分割的圖像，而不是 生成組合特征圖并繼而根據(jù)該組合特征圖來分割圖像。對(duì)當(dāng)前圖像的分割可存儲(chǔ)到例如計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器介質(zhì)中，
和/或例如通過諸如SAN的網(wǎng)絡(luò)耦合到計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器介質(zhì)中。 所述方法接著可對(duì)視頻序列的后續(xù)圖像或幀重復(fù)上述方法步驟，下 面進(jìn)行更詳細(xì)地描述。換句話說，可對(duì)視頻序列中的一個(gè)或多個(gè)連 續(xù)圖像重復(fù)步驟確定視頻序列的當(dāng)前圖像的分割形狀預(yù)測(cè)及分割 顏色模型；自動(dòng)生成當(dāng)前圖像的分割；以及存儲(chǔ)當(dāng)前圖像的分割。
因而，在此7>開的系統(tǒng)和方法的各種實(shí)施方式可用來在數(shù)字 一見 頻圖像序列中自動(dòng)執(zhí)行圖像分割。
圖1是配置用于實(shí)現(xiàn)本發(fā)明實(shí)施方式的示例性系統(tǒng)的框圖； 圖2示了根據(jù)一種實(shí)施方式的示例性視頻圖像處理模塊； 圖3示了根據(jù)一種實(shí)施方式的具有分割/遮罩的示例性視頻序
列；
圖4是根據(jù)一種實(shí)施方式的、用于自動(dòng)圖像分割的示例性單幀 傳播方法的高層示意圖5示了根據(jù)一種實(shí)施方式的圖4的單幀傳播方法的迭代方面；
圖6是根據(jù)一種實(shí)施方式的、用于自動(dòng)圖像分割的示例性多幀 傳播方法的高層示意圖7是描述了根據(jù)一種實(shí)施方式的、用于對(duì)視頻序列中的圖像 執(zhí)行自動(dòng)分割的方法流程圖8和圖9描述了根據(jù)一種實(shí)施方式的、連續(xù)視頻幀中的關(guān)鍵 點(diǎn)的縮放不變特征變換(SIFT);
圖10示出了根據(jù)一種實(shí)施方式的視頻幀中輪廓點(diǎn)的光流；
圖11示出了根據(jù)一種實(shí)施方式的、在連續(xù)視頻幀中分割輪廓的 預(yù)測(cè)；
圖12示出了根據(jù)一種實(shí)施方式的連續(xù)視頻幀中的局部分類器； 圖13示出了根據(jù)一種實(shí)施方式的具有自適應(yīng)權(quán)重的局部顏色與 形狀整合；
16200910205771. 3
圖14示出了根據(jù)一種實(shí)施方式的候選局部顏色模型；
圖15示出了根據(jù)一種實(shí)施方式的、圖14的兩個(gè)候選顏色模型
的使用及結(jié)果；
圖16示出了根據(jù)一種實(shí)施方式的形狀預(yù)測(cè)置信度；
圖17示出了根據(jù)一種實(shí)施方式的、基于顏色模型辨識(shí)度的形狀
預(yù)測(cè)約束；
圖18示出了根據(jù)一種實(shí)施方式的顏色與形狀整合； 圖19示出了根據(jù)一種實(shí)施方式的、關(guān)于特征圖估計(jì)與分割的輪 廓迭代；
圖20示出了根據(jù)一種實(shí)施方式的、利用初始幀的顏色模型進(jìn)行 分割的多幀傳播；
圖21示出了根據(jù)一種實(shí)施方式的、使用關(guān)于窗口/分類器位置的 反饋修正方法來進(jìn)行分割的多幀傳播；
圖22示出了根據(jù)一種實(shí)施方式的、在視頻序列中修正或重置分 割的多幀傳播的用戶交互；以及
圖23和圖24示出了通過應(yīng)用圖7方法的實(shí)施方式而生成的示 例性;f見頻序列。
雖然本發(fā)明允許進(jìn)行各種修改和備選形式，但是在附圖中通過 實(shí)施例的方式示出了特定的實(shí)施方式，并在這里進(jìn)行了詳細(xì)的描述。 然而應(yīng)該理解，附圖及詳細(xì)說明并非要將本發(fā)明限制于所公開的特 定形式，恰恰相反，本發(fā)明覆蓋所有落在由所附的權(quán)利要求限定的 本發(fā)明的精神和范圍內(nèi)的修改、等價(jià)物和替換。
具體實(shí)施例方式
在此描述的系統(tǒng)及方法的實(shí)施方式可用來在數(shù)字視頻序列中自 動(dòng)執(zhí)行對(duì)例如感興趣區(qū)域或?qū)ο?例如前景對(duì)象)的視頻圖像分割。 更具體地，在此公開的系統(tǒng)和方法的實(shí)施方式可用來分析連續(xù)的數(shù) 字視頻圖像或幀，以及用來根據(jù)序列中初始幀或關(guān)鍵幀的初始預(yù)先 存在的分割或遮罩，將幀的初始圖像分割傳播到一個(gè)或多個(gè)后續(xù)幀中，從而例如自動(dòng)生成用于視頻序列中對(duì)應(yīng)視頻幀的前景遮罩序列。
應(yīng)用這些遮罩的示例包括但不限于數(shù)字電影中的特效，例如移除 或替換背景，應(yīng)用效果到不同的圖像層中等等；以及例如用于科學(xué) 或安全應(yīng)用的圖像分解及分析，例如監(jiān)測(cè)、監(jiān)控、人臉識(shí)別等。
在下列詳細(xì)描述中，將闡述眾多特定細(xì)節(jié)以便全面理解請(qǐng)求保 護(hù)的主題。然而，本領(lǐng)域技術(shù)人員要理解，可以在不包括這些特定 細(xì)節(jié)的情況下實(shí)施請(qǐng)求保護(hù)的主題。在其它情況下，沒有對(duì)本領(lǐng)域 普通技術(shù)人員所了解的方法、裝置或系統(tǒng)進(jìn)行詳細(xì)描述，以避免混 淆請(qǐng)求保護(hù)的主題。部分詳細(xì)描述是按照對(duì)數(shù)據(jù)位或二進(jìn)制數(shù)字信 號(hào)進(jìn)行操作的算法或符號(hào)表示的方式給出的，所述數(shù)據(jù)位或二進(jìn)制 數(shù)字信號(hào)存儲(chǔ)在諸如計(jì)算機(jī)存儲(chǔ)器之類的計(jì)算系統(tǒng)存儲(chǔ)器中。這些 算法描述或表示是數(shù)據(jù)處理領(lǐng)域的普通技術(shù)人員用來將其工作的實(shí) 質(zhì)內(nèi)容傳遞給本領(lǐng)域其它技術(shù)人員的技術(shù)的示例。這里的算法通常 被認(rèn)為是有條理的操作序列，或者導(dǎo)致期望結(jié)果的類似處理。在這 種上下文中，操作或處理涉及物理量的物理操作。典型地，雖然不 是必需的，但是這些物理量可采用能夠進(jìn)行存儲(chǔ)、傳輸、組合、比 較或以其他方式操作的電或磁信號(hào)的形式。主要出于通用的理由， 間或已證明是方便的，其指代諸如位、數(shù)據(jù)、值、元件、符號(hào)、字 符、術(shù)語、數(shù)目、數(shù)字等等。然而應(yīng)該理解，所有這些及類似術(shù)語 與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)，僅僅是方便的標(biāo)簽。除非具體另外指出， 否則明顯如下面討論的，應(yīng)該認(rèn)識(shí)到在整個(gè)說明書討論中，采用諸 如"處理"、"計(jì)算"、"運(yùn)算"、"確定，，等之類的術(shù)語指示諸如計(jì)算機(jī)或 類似電子計(jì)算設(shè)備之類的計(jì)算平臺(tái)的動(dòng)作或處理，所述動(dòng)作或處理 操作或轉(zhuǎn)換在所述計(jì)算平臺(tái)的存儲(chǔ)器、寄存器或其它信息存儲(chǔ)設(shè)備、 傳輸設(shè)備、或顯示設(shè)備之內(nèi)表示為物理電子量或磁量的數(shù)據(jù)。
圖1是描述了計(jì)算機(jī)系統(tǒng)100的組成元件的方框圖，該計(jì)算機(jī) 系統(tǒng)100配置用于實(shí)施本文所描述的系統(tǒng)和方法的實(shí)施方式。計(jì)算 機(jī)系統(tǒng)100可包括一個(gè)或多個(gè)處理器110,且其采用諸如SPARC 架 構(gòu)、Intel公司或AMD的x86兼容架構(gòu)、或者可處理數(shù)據(jù)的其它架構(gòu)或芯片組之類的任意期望架構(gòu)或芯片組設(shè)施。任意期望的諸如各
種版本的Unix、 Linux、微軟公司的Windows⑧、蘋果公司的MacOS 的操作系統(tǒng)，或能在硬件平臺(tái)上運(yùn)行軟件的任意其它操作系統(tǒng)之類 的操作系統(tǒng)可運(yùn)行在計(jì)算機(jī)系統(tǒng)100上。處理器110可通過至少一 個(gè)通信總線耦合到一個(gè)或多個(gè)諸如存儲(chǔ)器120之類的所描述的其它 組件上。
在一種實(shí)施方式中，專用顯卡或其它圖形組件156可耦合到處 理器IIO。圖形組件156可包括圖形處理單元(GPU) 170,其在一 些實(shí)施方式中可用于執(zhí)行至少一部分下面描述的技術(shù)。此外，計(jì)算 機(jī)系統(tǒng)100可包括一個(gè)或多個(gè)成像設(shè)備152。所述一個(gè)或多個(gè)成像設(shè) 備152可包括諸如監(jiān)視器或打印機(jī)之類的各類基于光柵的成像設(shè)備。 在一種實(shí)施方式中， 一個(gè)或多個(gè)顯示設(shè)備152可耦合到圖形組件156 上，以便顯示由圖形組件156提供的數(shù)據(jù)。
在一種實(shí)施方式中，在任何時(shí)刻，處理器110可執(zhí)行以實(shí)施在 此描述的技術(shù)方面的程序指令140可部分或全部地駐留在計(jì)算機(jī)系 統(tǒng)100的存儲(chǔ)器120中。存儲(chǔ)器120可采用諸如任意不同類型的ROM 或RAM(例如，DRAM、 SDRAM、 RDRAM、 SRAM等)或其組合 之類的任意適宜介質(zhì)來實(shí)施。所述程序指令亦可存儲(chǔ)在處理器110 可訪問的存儲(chǔ)設(shè)備160上。在不同實(shí)施方式中，多種存儲(chǔ)設(shè)備160 中的任意存儲(chǔ)設(shè)備可用來存儲(chǔ)程序指令140，包括任意期望類型的持 久和/或易失性存儲(chǔ)設(shè)備，諸如單盤、盤陣列、光學(xué)器件(例如， CD-ROM、 CD-RW驅(qū)動(dòng)器、DVD-ROM、 DVD-RW驅(qū)動(dòng)器)、閃存 設(shè)備、各種類型的RAM、全息存儲(chǔ)設(shè)備等。存儲(chǔ)設(shè)備160可通過一 個(gè)或多個(gè)存儲(chǔ)設(shè)備或I/0接口耦合到處理器110。在一些實(shí)施方式中， 可通過任意適宜的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)提供程序指令140給計(jì)算機(jī) 系統(tǒng)100，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括上面描述的存儲(chǔ)器120和存儲(chǔ)設(shè) 備160。
計(jì)算機(jī)系統(tǒng)100亦可包括一個(gè)或多個(gè)附加的1/0接口 ，諸如用于 一個(gè)或多個(gè)用戶輸入i殳備150的4I:口 。此外，計(jì)算^L系統(tǒng)100可包括一個(gè)或多個(gè)提供對(duì)網(wǎng)絡(luò)的訪問的網(wǎng)絡(luò)接口 154。應(yīng)該注意，計(jì)算才幾 系統(tǒng)100的一個(gè)或多個(gè)組件可位于遠(yuǎn)程且可通過網(wǎng)絡(luò)訪問。在多種 實(shí)施方式中，程序指令可采用任意期望的編程語言、腳本語言或者 編程語言和/或腳本語言的組合來實(shí)施，例如C、 C++、 C#、 JavaTM、 Perl等。計(jì)算機(jī)系統(tǒng)100亦可包括多個(gè)未在圖1中示出的元件，如 省略號(hào)所示。
圖2描述了一種示例性圖像分析模塊，其可實(shí)施用于自動(dòng)傳播 視頻圖像分割的方法的實(shí)施方式，如下面參照?qǐng)D6所述。在一種實(shí) 施方式中，模塊200可提供用戶接口 202,其包括一個(gè)或多個(gè)用戶接 口元件，通過這些用戶接口元件，用戶可啟動(dòng)、交互、指導(dǎo)和/或控 制模塊200所執(zhí)行的方法。模塊200可獲得一組數(shù)字視頻圖像210, 以及可選地獲取用戶輸入212;分析初始分割的圖l象或幀以及一個(gè)或 多個(gè)后續(xù)幀；并且將初始圖像分割傳播到后續(xù)一個(gè)或多個(gè)幀中。分 割信息204 (例如指定或促進(jìn)分割的信息)可用于執(zhí)行圖像分析或處 理。
圖像分析模塊200可實(shí)施為單機(jī)應(yīng)用或者在單機(jī)應(yīng)用中實(shí)施， 或者實(shí)施為視頻處理和/或演示應(yīng)用的模塊或插件?？梢詫?shí)施模塊 200的實(shí)施方式的示例應(yīng)用類型可以包括但不限于視頻編輯、處理 和/或演示應(yīng)用，以及安全或國防應(yīng)用、教育、科學(xué)、醫(yī)療、出版、 數(shù)字全息照相、數(shù)字電影、游戲、動(dòng)畫、市場(chǎng)中的應(yīng)用、和/或可執(zhí) 行數(shù)字視頻圖像編輯或演示的其它應(yīng)用，例如其中操作涉及不同層
于:Adobe Photoshop⑧和Adobe Illustrator -除了生成輸出圖像 220之外，模塊200可以用來顯示、處理、修改輸出圖像和/或?qū)⑤?出圖像存儲(chǔ)到例如存儲(chǔ)設(shè)備或存儲(chǔ)介質(zhì)之類的存儲(chǔ)器介質(zhì)中。
概述
在此公開的一種實(shí)施方式提供了 一種魯棒的用于視頻對(duì)象分割 的交互式系統(tǒng)和方法。基于視頻序列中的先前(或任何其它)幀的預(yù)先存在的分割信息(該信,t、例如由用戶例如通過手工分割先前幀 提供)，所述分割可傳播到視頻序列中的將來幀或者說后續(xù)幀。如 下文更為詳細(xì)說明的，在一些實(shí)施方式中，可采用滑動(dòng)窗口方法， 其中每個(gè)窗口包括局部分類器或者與之關(guān)聯(lián)，該局部分類器整合來 自所述先前幀的稱為"先驗(yàn)，，的顏色以及形狀信息，例如顏色模型 和形狀預(yù)測(cè)，從而將該分類器所覆蓋的像素分類為前景像素或背景 像素。這兩個(gè)先驗(yàn)可結(jié)合自適應(yīng)的權(quán)重，所述權(quán)重與所述顏色模型 的辨識(shí)度相關(guān)。接著，可以結(jié)合來自個(gè)體局部分類器的分類結(jié)果， 從而形成精確的特征圖，以及根據(jù)所述特征圖執(zhí)行的圖像二值分割。 可以迭代該過程，直到分割輪廓收斂。注意，在一些實(shí)施方式中， 當(dāng)每個(gè)窗口收斂時(shí)，可以終止每個(gè)窗口的迭代。
圖3描述了一種示例性視頻序列，具體地，幀1到5，其中，已 經(jīng)對(duì)該序列的第一圖像(幀l)進(jìn)行了例如人工分割，如與第一圖像 相關(guān)聯(lián)的二值遮罩所示；其中所述遮罩的白色區(qū)域?qū)?yīng)于前景，黑 色區(qū)域?qū)?yīng)于背景。在幀2到5之下示出了對(duì)應(yīng)的視頻圖像，其中 已將相應(yīng)的遮罩應(yīng)用于每個(gè)圖像，以移除所有背景圖像信息，僅留 下每個(gè)圖像的前景對(duì)象。在這里描述的實(shí)施方式中，作為此類遮罩 基礎(chǔ)的每個(gè)圖像的分割(分割成前景部分及背景部分)可根據(jù)先前 分割信息(例如，來自對(duì)幀l的分割)而自動(dòng)確定。
在稱為單幀傳播模型實(shí)施方式的一組實(shí)施方式中，每個(gè)幀的分 割輪廓(即，背景與前景之間的邊界)可根據(jù)先前幀的分割輪廓來 確定。圖4是根據(jù)一種實(shí)施方式的示例性單幀傳播技術(shù)的高層示意 圖，其描述了本發(fā)明的關(guān)鍵概念?？梢钥吹?，在這種方法中，可以 使用由用戶提供的第一幀(幀i)分割(例如圖像的分割輪廓)來通 過多個(gè)局部分類器確定當(dāng)前圖像(幀i+l )的分割形狀預(yù)測(cè)(圖4中 稱為形狀"先驗(yàn)")，在圖4中，其由沿著幀i和i+l的分割輪廓的虛 線框或窗口表示。這些分類器或窗口可用來表征局部區(qū)域中的(特 別地，沿著輪廓的)圖像顏色及形狀屬性，這些屬性繼而可用來生 成多個(gè)局部特征圖，這些局部特征圖一起組成了圖像的特征圖，亦
21稱作(關(guān)于前景及背景像素分類的)概率圖，根據(jù)概率圖，可以確 定當(dāng)前圖像或幀的輪廓(分割)，這將在下文進(jìn)行更詳細(xì)地描述。
在一種實(shí)施方式中，該單幀方法可包括迭代成分，如圖5所示，
其中，從表示為Ci的幀i的輪廓可生成形狀預(yù)測(cè)，并且該形狀預(yù)測(cè) 用來創(chuàng)建特征圖估計(jì)，其繼而被用來計(jì)算當(dāng)前幀i+l的分割(輪廓)。 注意，在圖5的實(shí)施方式中，可以對(duì)特征圖估計(jì)和分割(輪廓的計(jì) 算)進(jìn)行迭代，以細(xì)化所計(jì)算的輪廓。例如，從一個(gè)迭代中計(jì)算得 出的輪廓可用來生成細(xì)化的特征圖估計(jì)，其繼而可以用來確定細(xì)化 的分割或輪廓?？芍貜?fù)該迭代，直到滿足某種收斂條件，例如直到 連續(xù)計(jì)算的輪廓之間的差小于某指定閾值。
以略微不同的方式來描述，可以認(rèn)為單幀傳播模型是系統(tǒng)的基 本構(gòu)建塊，其將幀i中的對(duì)象輪廓Ci傳遞或變換為幀i+l中的對(duì)象 輪廓Ciw。該基本思想是執(zhí)行粗略形狀預(yù)測(cè)以生成預(yù)測(cè)的輪廓，并 接著細(xì)化預(yù)測(cè)形狀周圍的輪廓。該過程可包括若千獨(dú)立步驟。例如， 在一種實(shí)施方式中，初始輪廓Ci可由SIFT關(guān)4建點(diǎn)匹配和光流進(jìn)行 變換?？裳剌喞獦?gòu)造或構(gòu)建一組局部分類器，以分離前景像素/背景 像素，其中分類器對(duì)顏色與形狀信息(例如，該分類器的局部區(qū)域
的顏色與形狀信息)進(jìn)行整合，以表征或者指定該區(qū)域中的輪廓。 接著，可結(jié)合所述局部分類器結(jié)果，以生成幀i+l中對(duì)象的精確特征 圖，其后可以進(jìn)行二值分割。該估計(jì)-分割步驟可重復(fù)若干次，直到 Ci+1收斂。
在稱為多幀傳播模型實(shí)施方式的另 一 組實(shí)施方式中，可以使用 來自一個(gè)幀(例如，如幀l之類的初始幀)的分割信息來確定多個(gè) 后續(xù)幀的分割。例如，可以使用各種技術(shù)在窗口/分類器傳播通過連 續(xù)幀時(shí)魯棒地對(duì)其進(jìn)行追蹤。這樣的多幀傳播模型的示例性實(shí)施方 式在圖6中示出，其中如圖所示，可以使用幀1 (或i)的分割(由 附圖中幀1的遮罩表示)來按照類似于上文關(guān)于圖4描述的單幀方 法將分割輪廓從幀1傳播到后續(xù)幀2 (或i+l )中，這可能包括迭代 過程，如幀2和3之上的"迭代"所指示，該迭代過程在如上參照?qǐng)D5描述。如圖6所示，在該實(shí)施方式中， 一旦確定了幀2 (i+l )的分 割，該分割信息可用來確定例如幀3(i+2)等后續(xù)幀的分割(輪廓)。 然而注意，在一些實(shí)施方式中，連同來自先前幀的分割信息，亦可 使用來自初始幀的信息，例如顏色圖或其它分割相關(guān)信息，如下列 進(jìn)4亍的更詳細(xì)i也4苗述。
圖7 -用于在視頻序列中執(zhí)行自動(dòng)圖像分割的方法的流程圖
圖7是示出了用于在數(shù)字視頻序列中自動(dòng)確定分割的方法的流 程圖。除其他設(shè)備之外，圖7所示的方法可與圖1所示的計(jì)算機(jī)系 統(tǒng)的實(shí)施方式配合使用。在各種實(shí)施方式中，所示出的一些方法步 驟可并行執(zhí)行、按照與所示不同的順序執(zhí)行、或者可以省略。附加 的方法步驟亦可根據(jù)需要執(zhí)行。可自動(dòng)執(zhí)行任意所述方法步驟(即， 無用戶干預(yù))。如圖所示，該方法可如下進(jìn)行操作。
首先，在702，可根據(jù)所述視頻序列的至少一個(gè)先前圖像的已有 分割信息，來確定視頻序列的當(dāng)前圖像(即，第一圖像)的分割形 狀預(yù)測(cè)和分割顏色模型。例如，在一種實(shí)施方式中，用戶可手工將 當(dāng)前圖像分割成前景和背景，存儲(chǔ)該當(dāng)前圖像的分割信息，該分割 信息包括將圖像中的背景從前景(例如，前景對(duì)象中)分離出來的 分割輪廓。
根據(jù)需要，可通過多種技術(shù)中的任意技術(shù)來確定形狀預(yù)測(cè)和顏 色模型。例如，對(duì)于形狀預(yù)測(cè)而言，在一種實(shí)施方式中，可以使用 縮放不變特征變換(SIFT)技術(shù)，基于該序列的至少一個(gè)先前圖像 (也即，基于預(yù)先存在的分割輪廓)來生成當(dāng)前圖像的分割輪廓的 估計(jì)或粗略版本。SIFT關(guān)鍵點(diǎn)是用于視頻中連續(xù)幀的可靠特征。通 過將所述先前圖像/幀的SIFT關(guān)鍵點(diǎn)與當(dāng)前圖像/幀中的對(duì)應(yīng)關(guān)鍵點(diǎn) 相匹配，可以確定對(duì)當(dāng)前(或新)幀中輪廓的良好初始猜測(cè)。因而， 更具體地，該方法可在當(dāng)前幀中搜索針對(duì)先前幀的前景對(duì)象內(nèi)的每 個(gè)(SIFT)關(guān)鍵點(diǎn)的最佳匹配。根據(jù)點(diǎn)的對(duì)應(yīng)關(guān)系，可確定仿射變 換(即，指定平移、旋轉(zhuǎn)、錯(cuò)切以及可能的縮放)，其將{、}在最小二乘估計(jì)意義上變換到{力} (j=l，2"..n)。
圖8示出了連續(xù)視頻幀中匹配關(guān)鍵點(diǎn)(即特征點(diǎn))的示例。如 圖所示，幀i中的每個(gè)關(guān)鍵點(diǎn)x對(duì)應(yīng)于幀i+l中的關(guān)鍵點(diǎn)。當(dāng)確定這 些關(guān)鍵點(diǎn)時(shí)，在一些實(shí)施方式中，為了效率和魯棒性，可將搜索范 圍限制為包圍所述輪廓的區(qū)域，例如略大于所述輪廓的包圍盒的矩 形，如圍繞輪廓Ci所限界的對(duì)象的虛線盒所示。此外，在一些實(shí)施 方式中，在擬合這些點(diǎn)時(shí)可忽略孤立點(diǎn)。
圖9描述了這些關(guān)鍵點(diǎn)及其在圖3介紹的所述示例性視頻序列 的兩個(gè)連續(xù)幀中的匹配或?qū)?yīng)性(亦在圖4和6中使用)。注意， 由于兩個(gè)連續(xù)幀之間的圖像變化很小，檢測(cè)及關(guān)聯(lián)所述關(guān)鍵點(diǎn)一般 是簡(jiǎn)單且相當(dāng)可靠的。因而，根據(jù)這些點(diǎn)確定的仿射變換可以提供 生成初始輪廓的粗略估計(jì)的簡(jiǎn)易手段，例如通過經(jīng)由所述變換將所 述輪廓傳播到下一幀。
因而， 一旦已根據(jù)所述兩個(gè)幀中的所述匹配關(guān)鍵點(diǎn)確定了所述 仿射變換，便可以對(duì)初始輪廓進(jìn)行變換，以生成后續(xù)幀輪廓的粗略 估計(jì)或預(yù)測(cè)形狀。如上所述，在一些實(shí)施方式中，可沿所述輪廓構(gòu) 造多個(gè)局部分類器，并使用這些局部分類器來執(zhí)行關(guān)于輪廓的操作。 例如，在一些實(shí)施方式中，可采用滑動(dòng)窗口方法，其中，中心點(diǎn)位 于所述輪廓上的每個(gè)分類器定義圍繞相應(yīng)輪廓點(diǎn)(分類器中心)的 局部區(qū)域并對(duì)該區(qū)域進(jìn)行操作，其整合來自先前幀的顏色及形狀信 息(例如顏色模型和形狀預(yù)測(cè))，并由此確定預(yù)測(cè)輪廓。在一種實(shí) 施方式中，可如下定義分類器，使得輪廓中的每個(gè)點(diǎn)由至少兩個(gè)分 類器覆蓋(例如包含)，其中在圖4中，分類器被表示為沿著幀i 和i+l的分割輪廓的小矩形。因而，優(yōu)選地，每個(gè)分類器盒或窗口與 至少兩個(gè)其它分類器交疊。換句話說，所述多個(gè)局部分類器中的每
個(gè)局部分類器的相應(yīng)區(qū)域和所述多個(gè)局部分類器的至少兩個(gè)其它局 部分類器的相應(yīng)區(qū)域交疊。
由此，所述形狀對(duì)齊過程可進(jìn)行操作，以粗略地將所述分類器 窗口和幀i+i中的前景對(duì)象對(duì)齊。注意，在現(xiàn)有技術(shù)中的方法，顏色模型通常是針對(duì)整個(gè)前景對(duì) 象和背景而構(gòu)造的，其可以與所述前景和背景的指定局部區(qū)域有限 相關(guān)。如上所述，在一些實(shí)施方式中，確定分割形狀預(yù)測(cè)和分割顏
色模型可包括為至少一個(gè)先前圖像構(gòu)造多個(gè)局部分類器，其中每 個(gè)局部分類器包括所述至少一個(gè)先前圖像的相應(yīng)區(qū)域，所述相應(yīng)區(qū) 域包含所述至少一個(gè)先前圖像的形狀輪廓的相應(yīng)部分，并且其中， 所述多個(gè)局部分類器覆蓋所述至少一個(gè)先前圖像的形狀輪廓。接著， 對(duì)于多個(gè)分類器的每個(gè)局部分類器，可根據(jù)局部分類器中所包含的 至少一個(gè)先前圖像的形狀輪廓的相應(yīng)部分，來生成當(dāng)前圖像的局部 分割形狀預(yù)測(cè)。
更具體地，在一些實(shí)施方式中，根據(jù)所述形狀輪廓的相應(yīng)部分 生成局部分割形狀預(yù)測(cè)可以包括使用應(yīng)用于相應(yīng)區(qū)域中多個(gè)關(guān)鍵 點(diǎn)的縮放不變特征變換(SIFT),來生成初始局部分割形狀預(yù)測(cè)； 以及通過使用應(yīng)用于沿著形狀輪廓相應(yīng)部分的點(diǎn)上的光流，來細(xì)化 初始局部分割形狀預(yù)測(cè)，從而生成局部分割形狀預(yù)測(cè)。在一種實(shí)施 方式中，使用應(yīng)用于沿著形狀4侖廓相應(yīng)部分的點(diǎn)上的光流來細(xì)化初 始局部分割形狀預(yù)測(cè)從而生成局部分割形狀預(yù)測(cè)可以包括根據(jù)相 應(yīng)區(qū)域中的前景像素的光流來確定局部平均流向量，以及將局部平 均流向量應(yīng)用于沿所述形狀輪廓的相應(yīng)區(qū)域的點(diǎn)，從而生成局部分 割形狀預(yù)測(cè)。
最后，至少可以根據(jù)局部分類器中所包括的至少一個(gè)先前圖像 的相應(yīng)區(qū)域的顏色信息，來生成局部分割顏色模型。因而，使用局 部分類器來表征和操作圖像的局部區(qū)域，可以顯著增強(qiáng)分割的精度 和結(jié)果，對(duì)于具有復(fù)雜前景對(duì)象和/或背景的圖像而言尤其如此。
盡管對(duì)輪廓上的每個(gè)點(diǎn)(或者這些點(diǎn)的某種指定子集，諸如沿 所述輪廓的等間距采樣點(diǎn))進(jìn)行所述變換將會(huì)生成將輪廓與后續(xù)幀 的圖像對(duì)齊的粗略輪廓估計(jì)，但該變換通常捕獲對(duì)象在兩幀之間的 主要?jiǎng)傮w運(yùn)動(dòng)，并因而通常可省略特定于對(duì)象的部分的局部運(yùn)動(dòng)的 運(yùn)動(dòng)效果。為了更好地預(yù)測(cè)所述輪廓，可以計(jì)算已變換幀與下一幀之間的輪廓像素的光流。然而，由于邊界上光流的不可靠性，例如 其中出現(xiàn)遮蔽，直接將所述流向量添加到所述輪廓點(diǎn)(即，在像素 級(jí))可能生成不穩(wěn)定的結(jié)果。因而，在一種實(shí)施方式中，可使用所 述輪廓內(nèi)的局部平均流，而不是根據(jù)輪廓點(diǎn)本身(使用每個(gè)分類器 的中心點(diǎn))來計(jì)算光流。例如，現(xiàn)在轉(zhuǎn)到圖10,設(shè)X是已變換輪廓
(:*上的點(diǎn)。Q是C'的內(nèi)部區(qū)域，Nx是以x為中心的局部分類器或窗
口。現(xiàn)在，通過區(qū)域nn^中的平均流向量^移動(dòng)點(diǎn)x,即？="、
換句話說，應(yīng)用于x的流向量是既在內(nèi)部區(qū)域Q中、又在分類器窗口
中(即，這兩個(gè)點(diǎn)集的交集中)的所有點(diǎn)的平均流向量。該區(qū)域或 局部平均光流比根據(jù)單個(gè)點(diǎn)生成的光流更魯棒，這主要是由于對(duì)象 的運(yùn)動(dòng)通常是局部平滑的這一事實(shí)。通過將局部平均光流結(jié)合到該 過程中，可生成更精確和魯棒的估計(jì)輪廓。
因而，從這兩個(gè)步驟(變換/對(duì)齊加平均光流)，可生成輪廓的 預(yù)測(cè)，或者更準(zhǔn)確地說，生成多個(gè)預(yù)測(cè)的或估計(jì)的輪廓部分或分段， 其中的每一個(gè)由相應(yīng)的分類器覆蓋并與之相關(guān)聯(lián)。該預(yù)測(cè)的或估計(jì)
的輪廓繼而可用作形狀先驗(yàn)(形狀預(yù)測(cè))，并可指定局部分類器的 位置。圖11示出了具有用戶提供的分割的第一幀(標(biāo)記為幀1), 所述分割由所述前景對(duì)象周圍的白色輪廓線表示，以及具有對(duì)齊和
光流后的輪廓的第二幀(標(biāo)記為幀2)。注意，與圖4的幀i+l相對(duì) 應(yīng)的幀2中的輪廓非常類似于(幀1的)初始輪廓，但仍舊不是完 美的，而是估計(jì)或預(yù)測(cè)。然而，分類器可以使用該輪廓(具體地， 構(gòu)成所述輪廓的輪廓分段)來確定更好的輪廓，現(xiàn)在將進(jìn)行描述。
構(gòu)造局部分類器
如上所述，在一些實(shí)施方式中，局部分類器可包括沿著輪廓的 一組滑動(dòng)窗口。在一種示例性實(shí)施方式中，分類器盒或窗口的典型
尺寸可從Mx50變化到70x70像素，當(dāng)然，根據(jù)需要可采用任意其它尺
寸。在一種實(shí)施方式中，這些窗口的中心可以是沿著輪廓Ci的等間 距采樣點(diǎn)，如圖12所示(注意為了說明，僅示出了一些沒有交疊的窗口)。亦如上所示，可設(shè)置窗口的數(shù)量，使得所述輪廓附近的每 個(gè)點(diǎn)由至少兩個(gè)窗口覆蓋。如上所述，這些交疊窗口的中心可以進(jìn) 行變換，并與輪廓一起(光學(xué)上平均的)流入下一幀。換句話說， 每個(gè)分類器及其相應(yīng)的輪廓分段或部分可以通過形狀對(duì)齊和局部平 均光流而>^人幀1傳纟番到幀2,因而生成兩組——對(duì)應(yīng)的滑動(dòng)窗口或分
類器，表示為{『;}， {『; +'}， A-7，2,…;v。為了方便，在下文描述中，這 兩組分類器對(duì)可表示為第一和第二分類器。換句話說，通過將平均 流向量應(yīng)用于至少一個(gè)先前圖像的多個(gè)局部分類器，可生成當(dāng)前圖 像的多個(gè)局部分類器，其對(duì)應(yīng)于所述至少一個(gè)先前圖像的多個(gè)局部 分類器，其中當(dāng)前圖像的每個(gè)局部分類器包括當(dāng)前圖像的相應(yīng)區(qū)域， 該區(qū)域包含當(dāng)前圖像的形狀輪廓的相應(yīng)部分，并且其中當(dāng)前圖像的
多個(gè)局部分類器覆蓋當(dāng)前圖像的形狀輪廓。
對(duì)于圖12，給出『/ (第一分類器)中的標(biāo)記像素，將《+'(第二
分類器)中的像素可以根據(jù)他們?cè)陬伾托螤钌系膹?qiáng)時(shí)間相關(guān)性而 被分類為前景像素或背景像素。換句話說，對(duì)于每個(gè)分類器來說，
給出幀i和幀i+l的形狀和顏色之間的強(qiáng)相關(guān)，幀i的像素的分類(分 類為前景或背景)可用來對(duì)幀i+l的像素進(jìn)行分類。
圖13示出了根據(jù)一種實(shí)施方式的結(jié)合了自適應(yīng)權(quán)重的顏色及形 狀。在這種示例性實(shí)施方式中，特定局部分類器的顏色模型和預(yù)測(cè) 形狀(形狀先驗(yàn))根據(jù)屬于其相應(yīng)背景或前景特征的置信度級(jí)別來 進(jìn)行組合，從而生成分類器的局部區(qū)域的結(jié)果特征圖。例如，如圖 13指示，根據(jù)分類器顏色模型的辨識(shí)度的測(cè)量(表示為。)，可以 對(duì)表示為Pc的顏色模型的貢獻(xiàn)(根據(jù)所述顏色模型的前景概率)和 表示為Ps的形狀先驗(yàn)的貢獻(xiàn)(根據(jù)所述形狀先驗(yàn)的前景概率)進(jìn)行 加權(quán)和相加，從而生成表示分類器的像素的前景和背景似然性的整 合概率(特征)圖。換句話說，根據(jù)顏色模型的辨識(shí)度，顏色和形 狀線索可與自適應(yīng)的權(quán)重相結(jié)合。因而，該過程中體現(xiàn)的實(shí)踐原則 可以聲明為當(dāng)顏色是可分離的時(shí)候，信任顏色；否則信任形狀。 換句話說，如果分類器的顏色模型明確區(qū)分了前景顏色和背景顏色，則依賴于所述顏色模型來分類所述區(qū)域的像素；而如果所述顏色模
型不能明確區(qū)分，則更為依賴形狀先驗(yàn)來分類所述像素。在一些實(shí) 施方式中，可認(rèn)為該方法是一類模糊邏輯像素分類方案，其中適當(dāng) 地使用顏色模型和預(yù)測(cè)形狀來將像素分類為前景或背景像素。下面 給出關(guān)于該過程的更多細(xì)節(jié)。
確定顏色模型
計(jì)算傳播分類器w+/中像素的前景概率的 一種方法是通過高斯
混合模型(GMM)。在該方法中，除了輪廓周圍的窄帶之外，對(duì)第 二分類器的局部區(qū)域或窗口中的所有像素進(jìn)行采樣，在一些實(shí)施方 式中，所述窄帶可由(|《<」|)定義，其中A是第一分類器中不確定 帶的寬度，而《是分類器中像素x距離輪廓的最大距離。換句話說， 由于所估計(jì)或預(yù)測(cè)的輪廓幾乎 一定出錯(cuò)，因此較難將所估計(jì)的輪廓 附近的像素分類為前景或背景像素，并且因此FG側(cè)估計(jì)輪廓附近的 像素實(shí)際上可能在實(shí)際(未知)邊界的BG側(cè),反之亦然。
圖14示出了相關(guān)的分類器(例如，第一和第二分類器《和《+')
的區(qū)域，其中每個(gè)區(qū)域劃分成相應(yīng)前景及背景子區(qū)域。更具體地， 如圖所示，第一分類器劃分成前景Fl和背景Bl,第二分類器劃分 成前景F2和背景B2。來自第一分類器的采樣像素可表示成^,A)。 在一些實(shí)施方式中，為了創(chuàng)建更豐富的顏色模型，亦可對(duì)第二分類 器中的顏色進(jìn)行采樣。注意，由于預(yù)測(cè)輪廓并不總是精確的，因此 第二分類器中的不確定帶比第一分類器中的不確定帶要寬，因而表 示為^,丸}的采樣像素距輪廓更遠(yuǎn)，其中他們的FG/BG狀態(tài)要更可 靠。更具體地，
巧.二 "|《> }/■ }，
以及
A = {塒《< , 其中《是距輪廓的有符號(hào)距離變換，前景為正側(cè)。注意，在此提到 的采樣像素和不確定帶的特定準(zhǔn)則僅是示例性的，根據(jù)需要可采用
28其它值、恒量和關(guān)系式。
在存在極大幀間運(yùn)動(dòng)的情況下，《+'中的假設(shè)采樣可能是不精確
的。例如，分界為化,^}的像素可能在區(qū)域的前景側(cè)和背景側(cè)二者上， 也即，分割像素的輪廓預(yù)測(cè)可能是不準(zhǔn)確的，以至于實(shí)際的輪廓甚 至不在該區(qū)域內(nèi)，這種情況下，不應(yīng)使用{,2,^}像素。因而，可以設(shè) 置或指定標(biāo)準(zhǔn)，以決定在顏色模型的確定中是否要包括^A)?？蓸?gòu)
建兩個(gè)候選顏色模型 簡(jiǎn)單模型
混合模型化,5/;巧，52}。
假設(shè)前景未發(fā)生很大變化(前景偏差)，則可以期待添加^,&} 將降低《"中的誤分類(例如，將背景像素劃分為前景，或相反)。 這可以簡(jiǎn)單地通過針對(duì)每個(gè)模型對(duì)概率大于0.5.的像素?cái)?shù)目進(jìn)行計(jì) 數(shù)來驗(yàn)證，并且采用得到較小數(shù)目的模型。
在一種實(shí)施方式中，可以使用6-分量(例如，3個(gè)用于前景顏色、
3個(gè)用于背景顏色)來訓(xùn)練GMM。最終的前景概率可通過對(duì)數(shù)標(biāo)尺
進(jìn)行正則化，即
尸,_,k《'。
圖15示出了由于使用兩種候選顏色模型而導(dǎo)致的示例性差異，
其中兩種候選顏色模型例如基于來自兩個(gè)分類器像素^,A;巧,A)的 混合顏色模型，以及僅基于來自第一分類器像素^力,)的簡(jiǎn)單顏色模
型。在上面一行，使用了圖14的分類器區(qū)域，可以看到，由混合模
型生成的概率圖比由簡(jiǎn)單模型生成的概率圖清楚得多，即前景和背 景被更清楚地分開，并且也更接近地對(duì)應(yīng)于第二圖像。因而，在這 種情況下，應(yīng)該使用混合顏色模型。在下面一行，第二幀沒有前景 部分，但預(yù)測(cè)的輪廓仍指示了前景部分。注意，使用混合顏色模型 的概率圖并不對(duì)應(yīng)于第二圖像(因?yàn)榍熬白兓艽?，而使用簡(jiǎn)單 顏色模型的概率圖正確地反映了沒有前景像素的情況，因而在這種 情況下，應(yīng)采用簡(jiǎn)單顏色模型。
綜上，在一些實(shí)施方式中，生成局部分割顏色模型可以包括根據(jù)至少一個(gè)先前圖像的局部分類器中所包括的至少一個(gè)先前圖像
的相應(yīng)區(qū)域的顏色信息，來生成局部分割簡(jiǎn)單顏色模型；以及根據(jù)至少一個(gè)先前圖像的局部分類器中所包括的至少一個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息以及當(dāng)前圖像的局部分類器中所包括的當(dāng)前圖像的相應(yīng)區(qū)域的顏色信息，來生成局部分割混合顏色模型?？梢源_定局部分割混合顏色模型與局部分割簡(jiǎn)單顏色模型的辨識(shí)度。繼而，至少根據(jù)局部分類器中包括的至少一個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息來生成局部分割顏色模型可以包括如果局部分割簡(jiǎn)單顏色模型具有比局部分割混合顏色模型更大的辨識(shí)度，則選擇局部分割簡(jiǎn)單顏色模型作為局部分割顏色模型；如果局部分割混合顏色模型具有比局部分割簡(jiǎn)單顏色模型更大的辨識(shí)度，則選擇局部分割混合顏色模型作為局部分割顏色模型。
形狀先驗(yàn)
如上所述，除了顏色模型之外，形狀先驗(yàn)(即預(yù)測(cè)形狀)亦可用來生成分類器區(qū)域的概率或特征圖。更具體地，來自預(yù)測(cè)形狀的貢獻(xiàn)(作為加權(quán)和的一部分)可以基于顏色模型的辨識(shí)度，其中如果顏色模型清楚區(qū)分了前景顏色和背景顏色，則依賴顏色模型來對(duì)該區(qū)域的像素進(jìn)行分類，以及如果顏色模型未清楚區(qū)分，則依賴形狀先驗(yàn)來對(duì)像素進(jìn)行分類，其中中間狀況由應(yīng)用到每個(gè)的權(quán)重解決，例如，其中權(quán)重的和取為某正則化值，例如l。換句話說，在一些實(shí)施方式中，權(quán)重是顏色及形狀貢獻(xiàn)的線性和中的因數(shù)。然而注意，在其它實(shí)施方式中，可通過非線性組合來確定形狀及顏色貢獻(xiàn)。
圖16示出了根據(jù)一種實(shí)施方式的形狀預(yù)測(cè)置信度。更具體地，圖16示出了例如在顏色貢獻(xiàn)與形狀貢獻(xiàn)的加權(quán)線性和中，基于上述預(yù)測(cè)輪廓的像素分類的置信度與預(yù)測(cè)形狀概率圖對(duì)整合概率圖的貢獻(xiàn)之間的示例性關(guān)系。如圖16所示，在這種實(shí)施方式中，對(duì)于每個(gè)像素，取決于由d軸表示的與估計(jì)輪廓的像素的距離，由Ps軸表示的應(yīng)用于形狀貢獻(xiàn)的權(quán)重從O變到1,即從無貢獻(xiàn)變到唯一的貢獻(xiàn)。
30狀的貢獻(xiàn)可以是互補(bǔ)的，從而使得一個(gè)增加，另一個(gè)就降低。注意，根據(jù)圖16的圖，d值為0意味著像素位于(至少近似地)輪廓上，因此，根據(jù)預(yù)測(cè)的形狀來
判斷像素位于(實(shí)際)輪廓的哪一側(cè)(FG或BG)具有最大的不確定性，因此，應(yīng)用于形狀預(yù)測(cè)的權(quán)重為0。此外，對(duì)于位置距離0充分遠(yuǎn)(沿任一方向)的像素，即深入?yún)^(qū)域的FG或BG部分的像素，可以通過預(yù)測(cè)形狀(權(quán)重給為l)對(duì)其進(jìn)行可靠的分類。在數(shù)學(xué)上表示成
假設(shè)Mk是由Ci+1包圍的二值(前景)遮罩，即
其中a是控制形狀的模糊寬度的參數(shù)，即關(guān)于預(yù)測(cè)形狀(即，估計(jì)輪廓)的不確定帶，其中如上所述，"表示顏色模型的辨識(shí)度。換句話說，^的值取決于顏色模型中前景和背景的分離度或辨識(shí)度，并且該值被用來模糊預(yù)測(cè)形狀的輪廓，從而使得顏色模型越可靠，預(yù)測(cè)形狀關(guān)于輪廓就越不清楚。因而，考慮距離估計(jì)輪廓愈遠(yuǎn)的像素，愈發(fā)依賴于預(yù)測(cè)形狀來將像素分類為FG或BG像素，相反，對(duì)于距離估計(jì)輪廓愈近的像素，愈依賴于顏色圖，其中變換的寬度和比率由"指定，如圖16所示。當(dāng)然，應(yīng)注意根據(jù)需要，其它實(shí)施方式可按不同方式來整合顏色貢獻(xiàn)與形狀貢獻(xiàn)。
顏色與形狀的整合
圖17示出了根據(jù)一種實(shí)施方式的、基于顏色模型的辨識(shí)度的形狀預(yù)測(cè)約束。如上文關(guān)于圖16所述，模糊寬度。與顏色模型的辨識(shí)度有關(guān)。當(dāng)前景和背景顏色分離時(shí)，a大且形狀約束寬松，即預(yù)測(cè)形狀概率圖中的模糊帶較寬；當(dāng)FG和BG顏色是混合的時(shí)侯，"變小
形狀置信度項(xiàng)(權(quán)重)Ps可定義為:且形狀約束嚴(yán)格，預(yù)測(cè)形狀概率圖中的模糊帶較窄。
在一種實(shí)施方式中，可以使用分類誤差作為顏色辨識(shí)度的測(cè)量。例如，設(shè)Z^是來自顏色模型的《的預(yù)測(cè)標(biāo)簽(F-^:0)。分類誤差e
是誤分類的和，通過距輪廓的距離來加權(quán)
如圖17所示，"是e的遞減函數(shù)
24
，其中fl=_JISL
換句話說，一旦確定了幀i+1的顏色圖(如上所述)，其可用來
對(duì)幀i(其實(shí)際分類已知，因?yàn)樵搱D像已進(jìn)行分割)的像素進(jìn)行(重)分類，并且通過確定由于顏色模型而導(dǎo)致的誤差，來確定顏色模型的置信度或可靠性，即確定"。換句話說， 一旦計(jì)算出誤差e，可從
其計(jì)算出CT。注意經(jīng)由上述表達(dá)式，可以對(duì)"值施加限制，具體地 ,
在一種示例性實(shí)施中，；=0.仏crm(U =2，并且r-2。 /是吣
的大小，如上面所提到的，最終概率是顏色先驗(yàn)與形狀先驗(yàn)的加權(quán)
線性組合
(x) = S "肌W + 〃 -《"爬W 。
因而，如圖n所示，顏色模型的最小辨識(shí)度、 可與關(guān)于顏色模型的最大誤差相關(guān)，并且可定義形狀預(yù)測(cè)占主導(dǎo)貢獻(xiàn)的點(diǎn)。
圖18示出了根據(jù)一種實(shí)施方式的顏色與形狀整合。更具體地，圖18示出了示例性的顏色概率圖與形狀概率圖(即特征圖)，Pc和Ps,以及用于分類器(區(qū)域)的對(duì)應(yīng)整合概率圖Pint。注意，整合概率或特征圖是比顏色或形狀圖中的任何一 個(gè)更精確及恰當(dāng)?shù)妮喞烙?jì)。因而，通過使用上面技術(shù)的實(shí)施方式，每個(gè)分類器可確定用于接近估計(jì)輪廓的圖像相應(yīng)部分的概率或特征圖。
組合特征圖
32在一種實(shí)施方式中，可以組合所有局部窗口中的(即，來自所有局部分類器的)概率(即概率或者特征圖)，以形成組合特征圖。例如，對(duì)于所述多個(gè)分類器中的每個(gè)局部分類器來說，可根據(jù)局部分類器的局部分割形狀和局部分割顏色模型的加權(quán)組合來生成局部特征圖估計(jì)，其中局部特征圖估計(jì)將相應(yīng)區(qū)域中的像素分類為背景或前景像素。接著，可通過組合局部特征圖估計(jì)來生成當(dāng)前圖像的特征圖估計(jì)。
如果像素被多個(gè)窗口覆蓋，則其相應(yīng)的概率(分類)可以根據(jù)不同窗口中的(即，來自不同分類器的)值的加權(quán)線性組合來確定,
例如<formula>formula see original document page 33</formula>其中Q是^T的中心，A:對(duì)覆蓋x的所有窗口求和，s是小的常量。換句話說，對(duì)于像素或點(diǎn)；c，應(yīng)用于如下相應(yīng)概率值的權(quán)重可以基于x距每個(gè)分類器窗口的中心點(diǎn)的距離，其中所述相應(yīng)概率值來自于線性和中的分類器的每個(gè)重疊概率或特征圖。當(dāng)然，這種上述組合方案僅僅是示例性的，并不意味著將用來組合局部特征圖的技術(shù)限制于任意特定方法。
因而，可以使用多個(gè)局部分類器中每一個(gè)的顏色模型和形狀預(yù)測(cè)二者來確定圖像的組合概率或特征圖(例如，幀i+l的)。換句話
說，可以將多個(gè)局部特征圖(例如前景遮罩)縫合到一起，以形成全局或組合的特征圖或遮罩。
在704，可根據(jù)分割形狀預(yù)測(cè)和分割顏色模型的加權(quán)組合，自動(dòng)生成當(dāng)前圖像的分割，如下所述。
分割
在一種實(shí)施方式中，可以使用組合特征(概率)圖來分割圖像(分割為前景及背景部分)。例如，在一種實(shí)施方式中，可以使用組合特征圖(也即，所生成的針對(duì)當(dāng)前圖像的特征圖估計(jì))、利用諸如圖切割之類的圖像處理算法來分割圖像，其中概率值可設(shè)置為
數(shù)據(jù)成本，之后，可執(zhí)行GAC (測(cè)地線主動(dòng)輪廓)算法來進(jìn)一步規(guī) 則化邊界，例如通過Level Set方法來實(shí)施。然而注意，可以根據(jù)需 要采用任意其它算法和/或工具。
在備選實(shí)施方式中，可以使用每個(gè)局部特征圖來對(duì)每個(gè)分類器 窗口執(zhí)行局部分割，之后將這些局部分割(分割圖像部分)縫合到 一起從而形成分割圖像，而不是生成組合特征圖并繼而根據(jù)組合特 征圖來分割圖像。
迭代細(xì)化
在一些實(shí)施方式中，上述技術(shù)部分可按迭代方式重復(fù)，從而進(jìn) 一步細(xì)化分割。例如，將分割邊界用作初始輪廓，可以重復(fù)上述特 征圖估計(jì)和分割過程，以生成更精確的結(jié)果。在一種實(shí)施方式中， 在迭代期間，可固定窗口或分類器區(qū)域，也即，可以僅更新輪廓內(nèi) 部(分類器區(qū)域的局部前景部分)。對(duì)每個(gè)迭代，可選擇不同的顏 色樣本，且可以將當(dāng)前輪廓用作形狀先驗(yàn)或預(yù)測(cè)形狀。繼而可以對(duì) 局部結(jié)果進(jìn)行組合以便進(jìn)行分割。當(dāng)局部分類器的輪廓不再發(fā)生大 的變化時(shí)，例如在某一指定闞值內(nèi)，例如最多幾個(gè)(10到20個(gè))像 素，則迭代可以終止。圖19描述了根據(jù)一種實(shí)施方式的關(guān)于特征圖 估計(jì)和分割的輪廓迭代。可以看到，在特征圖估計(jì)和分割之后，通 過分類區(qū)域的中心點(diǎn)的初始(估計(jì))輪廓可移動(dòng)到中心的右邊。接 著，該輪廓可用于下一迭代，即進(jìn)行下一特征圖估計(jì)和分割。換句 話說，自動(dòng)生成當(dāng)前圖像的分割生成了當(dāng)前圖像的形狀輪廓，且該 方法可包括迭代地執(zhí)行上述確定分割形狀預(yù)測(cè)和分割顏色模型，以 及自動(dòng)地生成當(dāng)前圖像的分割，直到當(dāng)前圖像的形狀輪廓收斂，其 中每個(gè)迭代的當(dāng)前圖像的分割被用作下一迭代的分割信息。
通常，不同分類器(窗口 )以不同的速度收斂。因而，在每個(gè) 迭代的結(jié)尾，可以標(biāo)記已收斂的分類器，在將來的迭代中可僅更新 未標(biāo)記的分類器。如上所注，可執(zhí)行迭代，直到所有分類器收斂，或者直到確定不會(huì)出現(xiàn)收斂，在這種情況下，用戶例如可以通過手 工分割圖像進(jìn)行干預(yù)，下面將進(jìn)行更詳細(xì)地討論。
在706,可以存儲(chǔ)當(dāng)前圖像的分割，例如存儲(chǔ)在計(jì)算機(jī)系統(tǒng)100 的存儲(chǔ)器介質(zhì)中，和/或例如通過例如SAN的網(wǎng)絡(luò)耦合到計(jì)算機(jī)系統(tǒng) 的存儲(chǔ)器介質(zhì)上。該方法繼而可對(duì)視頻序列的后續(xù)圖像或幀重復(fù)上 述方法步驟，下面將進(jìn)行更詳細(xì)地描述。換句話說，可對(duì)視頻序列 中的 一個(gè)或多個(gè)鄰近圖像重復(fù)確定視頻序列的當(dāng)前圖像的分割形 狀預(yù)測(cè)和分割顏色模型，自動(dòng)生成當(dāng)前圖像的分割，以及存儲(chǔ)當(dāng)前 圖像的分割。
在一種實(shí)施方式中，存儲(chǔ)當(dāng)前圖像的分割可以包括存儲(chǔ)描述 或指明圖像分割的信息，以便例如隨后用于處理圖像，例如為了特 定效果等。在其它實(shí)施方式中，可以存儲(chǔ)分割圖像本身。
多幀傳播
由于誤差會(huì)逐幀累積，上述單幀傳播技術(shù)的簡(jiǎn)單串聯(lián)可能導(dǎo)致 嚴(yán)重的不精確性。下面描述兩種能有效地控制或改善誤差擴(kuò)散的方 法。第一種方法是始終依賴于第一幀中的顏色樣本。因而，盡管單 幀傳播方法形成了在此公開的自動(dòng)分割技術(shù)的基礎(chǔ)，但是在一些實(shí) 施方式中，可擴(kuò)展及修改該方法以形成多幀傳播過程，其中初始幀 的顏色信息用來自動(dòng)對(duì)多個(gè)后續(xù)幀執(zhí)行分割。
圖20描述了根據(jù)一種實(shí)施方式的使用初始幀顏色模型的分割的 多幀傳播。如圖20所示，第一幀Cl用來生成后續(xù)輪廓或分割序列， 具體地用于后續(xù)幀C2-Cn?？梢钥吹?，初始幀(Cl)的顏色模型被 用于每個(gè)后續(xù)幀，而每個(gè)幀的形狀信息(例如每一幀的形狀預(yù)測(cè))
用于下一幀。換句話說，每個(gè)幀的自動(dòng)分割采用了來自初始幀(在"混 合模型"情況下，可能是當(dāng)前幀)的顏色模型，但采用了前一幀的預(yù) 測(cè)形狀。換句話說，為了確定幀Ci+1的分割，根據(jù)Cl(可能是Ci+l ) 來確定顏色模型，而不是根據(jù)Ci和Ci+1構(gòu)造顏色模型。該方案將 每一 幀的分割誤差保持在恒定水平，這不同于誤差隨傳播擴(kuò)散或增大的簡(jiǎn)單串聯(lián)方法。注意，對(duì)每個(gè)后續(xù)幀來說，自動(dòng)分割是一迭代 過程，類似于上述迭代細(xì)化。
以略有不同的方式來表述，在一些實(shí)施方式中，對(duì)于上述迭代 執(zhí)行(確定分割形狀預(yù)測(cè)和分割顏色模型，以及自動(dòng)生成當(dāng)前圖像 的分割)中的每個(gè)迭代，當(dāng)形狀輪廓收斂之后，可以將局部分類器
重定位到所述形狀輪廓上。這種重定位可以包括確定從局部分類 器中心到形狀輪廓的法向距離；以及至少部分基于所述法向距離來 將局部分類器移動(dòng)到形狀輪廓上。確定法向距離以及移動(dòng)局部分類 器可以使誤差的傳播和擴(kuò)散得以改善。在一種實(shí)施方式中，可以使 用法向距離的局部平均值來重定位每個(gè)窗口 。
在抑制誤差的第二種方法中，可以向分類器窗口位置增加反饋 修正，這可以使分類器魯棒地追蹤輪廓或邊界。圖21示出了根據(jù)一 種實(shí)施方式的使用關(guān)于窗口 /分類器位置的反饋修正方法的分割的多 幀傳播。更具體地，圖21示出了這一過程的示例性實(shí)施方式，其中 可以看到，在(a)中指示初始窗口位置，其中輪廓通過了多個(gè)分類 器窗口的中心點(diǎn)。這可以表示通過形狀預(yù)測(cè)由分類器的粗略對(duì)齊(以 及各個(gè)相應(yīng)的輪廓分段)生成的狀況。在(b)中，當(dāng)?shù)募?xì)化過 程收斂之后，形成新的邊界或輪廓。接著，對(duì)于每個(gè)窗口中心，可 確定其在新的輪廓或邊界上最近點(diǎn)的位移。換句話說， 一旦確定了 新輪廓，可確定從每個(gè)分類器中心點(diǎn)到新輪廓的法向位移(向量)。 接著，如(c)所示，可以根據(jù)該位移來移動(dòng)分類器窗口中心。例如， 在一種實(shí)施方式中，可以根據(jù)繞區(qū)域的平均位移來移動(dòng)分類器窗口 中心，例如，可以基于相鄰或鄰近分類器(例如，與當(dāng)前分類器交 疊的那些分類器)的位移向量的平均來移動(dòng)分類器窗口 ，例如根據(jù) 需要，可以對(duì)窗口i-2、 i-l, i， i+l和i+2的向量求平均，以移動(dòng)窗 口 i，或者可以對(duì)當(dāng)前窗口的某個(gè)距離之內(nèi)的分類器的向量求平均等 等。在備選實(shí)施方式中，分類器窗口中心可根據(jù)其相應(yīng)的位移簡(jiǎn)單 地移動(dòng)到輪廓上。最后，如圖21的(d)所示，通過上文描述的形 狀預(yù)測(cè)，邊界或輪廓以及分類器窗口中心可以移動(dòng)或傳播到下一幀。由此， 一旦移動(dòng)了輪廓或邊界，窗口中心可隨后移動(dòng)到(或靠近) 輪廓。
由此，可以采用上述一種或兩種抑制誤差的方法來限制或改進(jìn) 自動(dòng)分割過程中誤差的傳播及擴(kuò)散，然而應(yīng)當(dāng)注意到，可以根據(jù)需 要使用任意其它誤差管理技術(shù)。
用戶交互
參照?qǐng)D2及其它如上所述，在一些實(shí)施方式中，可以提供圖形 用戶界面(GUI)以允許用戶修改分割結(jié)果，例如由此，用戶可以與 自動(dòng)分割過程交互并對(duì)其進(jìn)行干預(yù)。例如，在自動(dòng)確定的輪廓/分割 不能收斂的狀況下，或者在確定輪廓不精確的情況下，用戶例如可 以按照前向漸進(jìn)方式來編輯分割結(jié)果。
給定分割良好的幀，該方法可自動(dòng)地將分割傳播到下面的N 個(gè)幀，且用戶可向前播放視頻從而檢測(cè)結(jié)果，直到找到錯(cuò)誤?，F(xiàn)在 示出兩種用戶修正模式。
局部修正
對(duì)于小錯(cuò)誤，用戶可僅修正一小部分輪廓。換句話說，可以僅 僅手工更新數(shù)量有限的窗口 。修正接著可傳播到下面的幀中。
重置開始幀
在需要進(jìn)行較大修正的情況下(例如在數(shù)量和/或種類上)， 例如在輪廓飄離邊界、前景對(duì)象移出/移入場(chǎng)景、前景遮蔽等情況下， 用戶可以手工修正當(dāng)前幀，并且可以將當(dāng)前幀設(shè)為進(jìn)行自動(dòng)分割過 程的第一幀或初始幀，并且方法從該幀繼續(xù)，向前傳播，直到出現(xiàn) 另一個(gè)錯(cuò)誤。當(dāng)?shù)竭_(dá)最后一幀時(shí)，整個(gè)視頻序列得以分割。圖22示 出了根據(jù)一種實(shí)施方式的用戶交互以修正或重置視頻序列中的多幀 分割傳播，其中上面的幀序列(1到5)根據(jù)初始幀1自動(dòng)分割，但 是在幀3中檢測(cè)到了錯(cuò)誤并且由用戶進(jìn)行了修正。接著，如圖22所
37示，重置經(jīng)修正的幀3，或?qū)⑵渲付橄嗬^幀(4到7)的連續(xù)(重
新計(jì)算的)分割的初始幀。
更詳細(xì)地i兌，在一些實(shí)施方式中，對(duì)視頻序列中的一個(gè)或多個(gè)
鄰近圖像而言，執(zhí)行上述確定視頻序列的當(dāng)前圖像的分割形狀預(yù)測(cè)
和分割顏色模型、自動(dòng)生成當(dāng)前圖像的分割以及存儲(chǔ)當(dāng)前圖像的分
割可以包括對(duì)視頻序列中的第一組多個(gè)鄰近圖像，包括對(duì)于所述
第一組多個(gè)鄰近圖像中的最終(即最后)圖像，執(zhí)行確定視頻序列
的當(dāng)前圖像的分割形狀預(yù)測(cè)和分割顏色模型、自動(dòng)生成當(dāng)前圖像的
分割以及存儲(chǔ)當(dāng)前圖像的分割；繼而響應(yīng)于輸入，編輯所述最終圖
像的分割，從而生成已編輯分割信息；繼而對(duì)于視頻序列中的第二
組多個(gè)鄰近圖像，包括對(duì)于所述第二組多個(gè)鄰近圖像的第一圖像，
執(zhí)行確定視頻序列的當(dāng)前圖像的分割形狀預(yù)測(cè)和分割顏色模型、自
動(dòng)生成當(dāng)前圖像的分割以及存儲(chǔ)當(dāng)前圖像的分割，其中所述第一圖
像與所述視頻序列中的所述第 一組多個(gè)鄰近圖像中的最終圖像鄰
近。由此，用于確定第二組多個(gè)鄰近圖像中的第一圖像的分割形狀
預(yù)溯'J和分割顏色模型的已有分割信息可以包括所述已編輯分割信 白
應(yīng)該注意，盡管上述技術(shù)被描述為在視頻序列中分割的前向傳 播，但是在一些實(shí)施方式中，該技術(shù)亦可或者替代地沿反向傳播。 換句話說，對(duì)于視頻序列的特定方向而言，在此描述的技術(shù)是不可 知的或者是通用的。
在一些實(shí)施方式中，可以使用這方面來改進(jìn)分割過程。例如， 在一種實(shí)施方式中，上述方法的實(shí)施方式可從任一端在視頻序列(可 以是較大視頻序列中的較小的子序列)上執(zhí)行，例如并發(fā)地和/或順序 地，例如直到每個(gè)圖像的輪廓收斂。例如，在一種實(shí)施方式中，用 戶可以手工分割限定序列的兩個(gè)關(guān)鍵幀，接著從兩端向內(nèi)傳播，可 以在中間停止(至少暫時(shí)地)，從而使該圖像的竟?fàn)庉喞嘁恢拢?接著可選地繼續(xù)到相反端，(通過相反傳播)對(duì)先前計(jì)算的分割進(jìn) 行細(xì)化。亦可預(yù)期這種雙向技術(shù)的其它變體。
38因而，上述技術(shù)的各種實(shí)施方式可用來自動(dòng)傳播視頻序列中的 前景/背景圖像分割。
示例性結(jié)果
圖23和圖24示出了應(yīng)用上述技術(shù)的實(shí)施方式得到的示例性視 頻序列，其中視頻序列的初始圖像在左邊(從上到下)垂直示出， 在圖的中間示出了對(duì)應(yīng)的分割遮罩或特征圖，而在右邊垂直示出了 具有合成在藍(lán)色背景上的已分割前景的對(duì)應(yīng)圖像?？梢钥吹剑趦?個(gè)序列中，由用戶提供了第一 (上方的)分割遮罩。注意，在圖23 的序列中，示出了每隔10個(gè)幀，如通過標(biāo)記每個(gè)初始幀圖^f象的幀編 號(hào)所指示的。
因而，在此公開的系統(tǒng)和方法的各種實(shí)施方式可用來在數(shù)字視 頻圖像序列中自動(dòng)執(zhí)行圖像分割。
雖然已詳細(xì)描述了上述實(shí)施方式，但是只要充分理解了上述公 開，則許多變體和修改對(duì)本領(lǐng)域技術(shù)人員來說是顯而易見的。所附 權(quán)利要求將解釋成包括所有這些變體和修改。
權(quán)利要求
1.一種系統(tǒng)，包括裝置，用于根據(jù)視頻序列的至少一個(gè)先前圖像的已有分割信息來確定所述視頻序列的當(dāng)前圖像的分割形狀預(yù)測(cè)和分割顏色模型；裝置，用于根據(jù)所述分割形狀預(yù)測(cè)和所述分割顏色模型的加權(quán)組合來自動(dòng)生成所述當(dāng)前圖像的分割；以及裝置，用于存儲(chǔ)所述當(dāng)前圖像的分割。
2. 如權(quán)利要求l的系統(tǒng)，其中所述確定分割形狀預(yù)測(cè)和分割顏 色模型包括構(gòu)造用于所述至少一個(gè)先前圖像的多個(gè)局部分類器，其中每個(gè)局 部分類器包括所述至少一個(gè)先前圖像的相應(yīng)區(qū)域，所述相應(yīng)區(qū)域包 括所述至少一個(gè)先前圖像的形狀輪廓的相應(yīng)部分，并且其中所述多 個(gè)局部分類器覆蓋所述至少一個(gè)先前圖像的所述形狀輪廓；以及對(duì)于所述多個(gè)分類器中的每個(gè)局部分類器根據(jù)所述局部分類器中包括的所述至少一個(gè)先前圖像的所 述形狀輪廓的相應(yīng)部分，生成所述當(dāng)前圖像的局部分割形狀預(yù)測(cè)； 以及至少根據(jù)所述局部分類器中包括的所述至少一個(gè)先前圖像 的相應(yīng)區(qū)域的顏色信息，生成局部分割顏色模型。
3. 如權(quán)利要求2的系統(tǒng)，其中所述自動(dòng)生成當(dāng)前圖像的分割包括對(duì)于所述多個(gè)分類器的每個(gè)局部分類器根據(jù)局部分類器的所述局部分割形狀和所述局部分割顏色 模型的加權(quán)組合來生成局部特征圖估計(jì)，其中所述局部特征圖估計(jì) 將相應(yīng)區(qū)域中的像素分類為背景像素或前景像素；通過組合所述局部特征圖估計(jì)，來生成所述當(dāng)前圖像的特征 圖估計(jì)；以及根據(jù)生成的特征圖，生成所述當(dāng)前圖像的分割。
4. 如權(quán)利要求3的系統(tǒng)，其中所述根據(jù)形狀輪廓的相應(yīng)部分生成局部分割形狀預(yù)測(cè)包括通過應(yīng)用于所述相應(yīng)區(qū)域中多個(gè)關(guān)鍵點(diǎn)的縮放不變特征變換(SIFT),生成初始局部分割形狀預(yù)測(cè)；以及通過使用應(yīng)用于沿所述形狀輪廓的相應(yīng)部分的點(diǎn)的光流，來細(xì)化所述初始局部分割形狀預(yù)觀'j的估計(jì)，從而生成所述局部分割形狀預(yù)測(cè)。
5. 如權(quán)利要求4的系統(tǒng)，其中所述通過使用應(yīng)用于沿所述形狀輪廓的相應(yīng)部分的點(diǎn)的光流來細(xì)化所述初始局部分割形狀預(yù)測(cè)的估計(jì)從而生成所述局部分割形狀預(yù)測(cè)包括根據(jù)相應(yīng)區(qū)域中前景像素的光流來確定局部平均流向量；將所述局部平均流向量應(yīng)用于沿所述形狀輪廓的所述相應(yīng)部分的所述點(diǎn)，從而生成所述局部分割形狀預(yù)測(cè)。
6. 如權(quán)利要求5的系統(tǒng)，進(jìn)一步包括裝置，用于通過將所述平均流向量應(yīng)用于所述至少一個(gè)先前圖像的所述多個(gè)局部分類器，構(gòu)造與所述至少一個(gè)先前圖像的所述多個(gè)局部分類器相對(duì)應(yīng)的、所述當(dāng)前圖像的多個(gè)局部分類器，其中所述當(dāng)前圖像的每個(gè)局部分類器包括所述當(dāng)前圖像的相應(yīng)區(qū)域，所述相應(yīng)區(qū)域包括所述當(dāng)前圖像的形狀輪廓的相應(yīng)部分，并且其中所述當(dāng)前圖像的所述多個(gè)局部分類器覆蓋所述當(dāng)前圖像的所述形狀輪廓。
7. 如權(quán)利要求6的系統(tǒng)，其中所述生成局部分割顏色模型包括根據(jù)所述至少一個(gè)先前圖像的所述局部分類器中包括的所述至少 一 個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息，生成局部分割簡(jiǎn)單顏色模型；根據(jù)所述至少一個(gè)先前圖像的所述局部分類器中包括的至少一個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息以及所述當(dāng)前圖像的所述局部分類器中包括的所述當(dāng)前圖像的相應(yīng)區(qū)域的顏色信息，生成局部分割混合顏色模型；確定所述局部分割混合顏色模型和所述局部分割簡(jiǎn)單顏色模型的辨識(shí)度；其中根據(jù)所迷局部分類器中包括的所述至少一個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息來生成局部分割顏色模型包括如果所述局部分割簡(jiǎn)單顏色模型具有大于所述局部分割混合顏色模型的辨識(shí)度，則選擇所述局部分割簡(jiǎn)單顏色模型作為所述局部分割顏色模型；以及如果所迷局部分割混合顏色模型具有大于所述局部分割簡(jiǎn)單顏色模型的辨識(shí)度，則選擇所述局部分割混合顏色模型作為所述局部分割顏色模型。
8. 如權(quán)利要求7的系統(tǒng)，其中所述根據(jù)所述局部分類器的局部分割形狀和局部分割顏色模型的加權(quán)組合來生成局部特征圖估計(jì)包括對(duì)于相應(yīng)區(qū)域中的至少一個(gè)像素子集中的每個(gè)像素根據(jù)所述像素距所述形狀輪廓的部分的距離以及所述局部分割顏色模型的所述辨識(shí)度，來確定形狀置信度測(cè)量；根據(jù)所述局部分割顏色模型對(duì)所述至少一個(gè)先前圖像的相應(yīng)區(qū)域中的前景像素和背景像素進(jìn)行分類的能力，來確定顏色置信度測(cè)量；使用通過所述形狀置信度測(cè)量加權(quán)的所述局部分割形狀以及通過所述顏色置信度測(cè)量加權(quán)的所述局部分割顏色模型，將所述像素分類為背景或前景。
9. 如權(quán)利要求2的系統(tǒng)，其中所述自動(dòng)生成當(dāng)前圖像的分割產(chǎn)生所述當(dāng)前圖像的形狀輪廓，其中所述系統(tǒng)進(jìn)一步包括裝置，用于迭代地執(zhí)行所述確定分割形狀預(yù)測(cè)和分割顏色模型以及所述自動(dòng)生成當(dāng)前圖像的分割，直到所述當(dāng)前圖像的所述形狀輪廓收斂，其中每個(gè)迭代的當(dāng)前圖像的分割被用作下一迭代的分割信息。
10. 如權(quán)利要求9的系統(tǒng)，進(jìn)一步包括裝置，用于當(dāng)所述形狀輪廓收斂時(shí)，將所述局部分類器重定位到所述迭代執(zhí)行的每個(gè)迭代的所述形狀輪廓上，其中所述重定位包括 確定從所述局部分類器的中心到所述形狀輪廓的法向距離；以及至少部分地根據(jù)所述法向距離來將所述局部分類器移動(dòng)到 所述形狀輪廓上；其中所述確定法向距離和所述移動(dòng)局部分類器使誤差的傳播和 擴(kuò)散得以改善。
11. 如權(quán)利要求2的系統(tǒng)，其中所述多個(gè)局部分類器的每個(gè)局部 分類器的相應(yīng)區(qū)域與所述多個(gè)局部分類器的至少其它兩個(gè)局部分類 器的相應(yīng)區(qū)域交疊。
12. 如權(quán)利要求1的系統(tǒng)，進(jìn)一步包括裝置，用于對(duì)視頻序列中一個(gè)或多個(gè)鄰近圖像執(zhí)行所述確定視頻 序列的當(dāng)前圖像的分割形狀預(yù)測(cè)和分割顏色模型、所述自動(dòng)生成當(dāng) 前圖像的分割、以及所述存儲(chǔ)當(dāng)前圖像的分割。
13. 如權(quán)利要求12的系統(tǒng)，其中對(duì)于視頻序列中的一個(gè)或多個(gè) 鄰近圖像，所述確定分割顏色模型包括選擇所述至少一個(gè)先前圖 像的所述分割顏色模型，其中使用所述至少 一個(gè)先前圖像的所述分 割顏色模型使誤差的傳播和擴(kuò)散得以改善。
14. 如權(quán)利要求12的系統(tǒng)，其中所述執(zhí)行包括 對(duì)于視頻序列中的第一組多個(gè)鄰近圖像，包括對(duì)于所述第一組多個(gè)鄰近圖像中的最終圖像，執(zhí)行所述確定視頻序列的當(dāng)前圖像的分 割形狀預(yù)測(cè)和分割顏色模型、所述自動(dòng)生成當(dāng)前圖像的分割、以及 所述存儲(chǔ)當(dāng)前圖像的分割；響應(yīng)于輸入，編輯所述最終圖像的分割，從而生成已編輯分割信 息；以及對(duì)于所述視頻序列中的第二組多個(gè)鄰近圖像，包括對(duì)于所述第二 組多個(gè)鄰近圖像中的第 一 圖像，執(zhí)行所述確定視頻序列的當(dāng)前圖像 的分割形狀預(yù)測(cè)和分割顏色模型、所述自動(dòng)生成當(dāng)前圖像的分割、 以及所述存儲(chǔ)當(dāng)前圖像的分割，其中所述第 一 圖像與所述視頻序列中的所述第 一 組多個(gè)鄰近圖像中的所述最終圖像鄰近，其中用于所 述確定所述第二組多個(gè)鄰近圖像中的所述第 一 圖像的分割形狀預(yù)測(cè) 和分割顏色模型的所述已有分割信息包括所述已編輯分割信息。
15. 如權(quán)利要求1的系統(tǒng)，其中所述已有分割信息指示所述視頻序列的至少一個(gè)先前圖像的分割輪廓，其中所述分割輪廓將所述至 少 一 個(gè)先前圖像的背景從前景中劃分出來。
16. —種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括根據(jù)視頻序列的至少 一個(gè)先前圖像的已有分割信息，來確定所述 視頻序列的當(dāng)前圖像的分割形狀預(yù)測(cè)和分割顏色模型；根據(jù)所述分割形狀預(yù)測(cè)和所述分割顏色模型的加權(quán)組合來自動(dòng) 生成所述當(dāng)前圖像的分割；以及存儲(chǔ)所述當(dāng)前圖像的分割。
17. 如權(quán)利要求16的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述確定分割形 狀預(yù)測(cè)和分割顏色模型包括構(gòu)造所述至少一個(gè)先前圖像的多個(gè)局部分類器，其中每個(gè)局部分 類器包括所述至少一個(gè)先前圖像的相應(yīng)區(qū)域，所述相應(yīng)區(qū)域包括所 述至少一個(gè)先前圖像的形狀輪廓的相應(yīng)部分，并且其中所述多個(gè)局 部分類器覆蓋所述至少一個(gè)先前圖像的所述形狀輪廓；以及對(duì)于所 述多個(gè)分類器中的每個(gè)局部分類器根據(jù)所述局部分類器中包括的所述至少一個(gè)先前圖像的所 述形狀輪廓的相應(yīng)部分，生成所述當(dāng)前圖像的局部分割形狀預(yù)測(cè)； 以及至少根據(jù)所述局部分類器中包括的所述至少一個(gè)先前圖像 的相應(yīng)區(qū)域的顏色信息，生成局部分割顏色模型。
18. 如權(quán)利要求17的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述自動(dòng)生成當(dāng) 前圖像的分割包括對(duì)于所述多個(gè)分類器的每個(gè)局部分類器根據(jù)局部分類器的所述局部分割形狀和所述局部分割顏色 模型的加權(quán)組合，生成局部特征圖估計(jì)，其中所述局部特征圖估計(jì)將相應(yīng)區(qū)域中的像素分類為背景像素或前景像素；通過組合所述局部特征圖估計(jì)來生成所述當(dāng)前圖像的特征 圖估計(jì)；以及根據(jù)生成的特征圖，生成所述當(dāng)前圖像的分割。
19. 如權(quán)利要求18的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述根據(jù)形狀輪 廓的相應(yīng)部分生成局部分割形狀預(yù)測(cè)包括通過應(yīng)用于所述相應(yīng)區(qū)域中多個(gè)關(guān)鍵點(diǎn)的縮放不變特征變換 (SIFT),生成初始局部分割形狀預(yù)測(cè)；以及通過使用應(yīng)用于沿所述形狀專侖廓的相應(yīng)部分的點(diǎn)的光流，來細(xì)化 所述初始局部分割形狀預(yù)測(cè)的估計(jì)，從而生成所述局部分割形狀預(yù) 測(cè)。
20. 如權(quán)利要求19的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述通過使用應(yīng) 用于沿所述形狀4侖廓的相應(yīng)部分的點(diǎn)的光流來細(xì)化所述初始局部分 割形狀預(yù)測(cè)的估計(jì)從而生成所述局部分割形狀預(yù)測(cè)包括根據(jù)相應(yīng)區(qū)域中的前景像素的光流來確定局部平均流向量； 將所述局部平均流向量應(yīng)用于沿所述形狀輪廓的所述相應(yīng)部分 的所述點(diǎn)，從而生成所述局部分割形狀預(yù)測(cè)。
21. 如權(quán)利要求20的計(jì)算機(jī)實(shí)現(xiàn)的方法，進(jìn)一步包括 通過將所述平均流向量應(yīng)用于所述至少一個(gè)先前圖像的所述多個(gè)局部分類器，構(gòu)造與所述至少一個(gè)先前圖像的所述多個(gè)局部分類 器相對(duì)應(yīng)的、所述當(dāng)前圖像的多個(gè)局部分類器，其中所述當(dāng)前圖像 的每個(gè)局部分類器包括所述當(dāng)前圖像的相應(yīng)區(qū)域，所述相應(yīng)區(qū)域包 括所述當(dāng)前圖像的形狀輪廓的相應(yīng)部分，并且其中所述當(dāng)前圖像的 所述多個(gè)局部分類器覆蓋所述當(dāng)前圖像的所述形狀輪廓。
22. 如權(quán)利要求21的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述生成局部分 割顏色模型包括根據(jù)所述至少一個(gè)先前圖像的所述局部分類器中包括的所述至 少 一 個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息，生成局部分割簡(jiǎn)單顏色模 型；根據(jù)所述至少一個(gè)先前圖像的所述局部分類器中包括的至少一 個(gè)先前圖像的相應(yīng)區(qū)域的顏色信息以及所述當(dāng)前圖像的所述局部分 類器中包括的所述當(dāng)前圖像的相應(yīng)區(qū)域的顏色信息，生成局部分割混合顏色模型；確定所述局部分割混合顏色模型和所述局部分割簡(jiǎn)單顏色模型 的辨識(shí)度；其中至少根據(jù)所述局部分類器中包括的所述至少一個(gè)先前圖像 的相應(yīng)區(qū)域的顏色信息來生成局部分割顏色模型包括如果所述局部分割簡(jiǎn)單顏色模型具有大于局部分割混合顏 色模型的辨識(shí)度，則選擇所述局部分割簡(jiǎn)單顏色模型作為所述局部 分割顏色模型；以及如果所述局部分割混合顏色模型具有大于所述局部分割簡(jiǎn) 單顏色模型的辨識(shí)度，則選擇所述局部分割混合顏色模型作為所述 局部分割顏色模型。
23. 如權(quán)利要求22的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述根據(jù)所述局 部分類器的局部分割形狀和局部分割顏色模型的加權(quán)組合來生成局 部特征圖估計(jì)包括對(duì)于相應(yīng)區(qū)域中的至少 一個(gè)像素子集中的每個(gè)像素根據(jù)所述像素距所述形狀輪廓的部分的距離以及所述局部分割顏色模型的所述辨識(shí)度，來確定形狀置信度測(cè)量；根據(jù)所述局部分割顏色模型對(duì)所述至少一個(gè)先前圖像的相應(yīng)區(qū)域中的前景像素和背景像素進(jìn)行分類的能力，來確定顏色置信度測(cè)量；使用通過所述形狀置信度測(cè)量加權(quán)的所述局部分割形狀以及通 過所述顏色置信度測(cè)量加權(quán)的所述局部分割顏色模型，將所述像素 分類為背景或前景。
24. 如權(quán)利要求17的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述自動(dòng)生成當(dāng) 前圖像的分割產(chǎn)生所述當(dāng)前圖像的形狀輪廓，其中所述方法進(jìn)一步 包括迭代地執(zhí)行所述確定分割形狀預(yù)測(cè)和分割顏色模型以及所述自 動(dòng)生成當(dāng)前圖像的分割，直到所述當(dāng)前圖像的形狀輪廓收斂，其中 每個(gè)迭代的當(dāng)前圖像的分割被用作下 一迭代的分割信息。
25. 如權(quán)利要求24的計(jì)算機(jī)實(shí)現(xiàn)的方法，進(jìn)一步包括 對(duì)所述迭代執(zhí)行的每個(gè)迭代，當(dāng)所述形狀輪廓收斂時(shí)，將所述局部分類器重定位到所述形狀輪廓上，包括確定從所述局部分類器的中心到所述形狀輪廓的法向距離；以及至少部分地根據(jù)所述法向距離來將所述局部分類器移動(dòng)到 所述形狀輪廓上；其中所述確定法向距離和所述移動(dòng)局部分類器使誤差的傳播和 擴(kuò)散得以改善。
26. 如權(quán)利要求17的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述多個(gè)局部分 類器的每個(gè)局部分類器的相應(yīng)區(qū)域與所述多個(gè)局部分類器的至少其它兩個(gè)局部分類器的相應(yīng)區(qū)域交疊。
27. 如權(quán)利要求16的計(jì)算機(jī)實(shí)現(xiàn)的方法，進(jìn)一步包括 對(duì)視頻序列中一個(gè)或多個(gè)鄰近圖像執(zhí)行所述確定視頻序列的當(dāng)前圖像的分割形狀預(yù)測(cè)和分割顏色模型、所述自動(dòng)生成當(dāng)前圖像的 分割、以及所述存儲(chǔ)當(dāng)前圖像的分割。
28. 如權(quán)利要求27的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中對(duì)于視頻序列中 的一個(gè)或多個(gè)鄰近圖像，所述確定分割顏色模型包括選擇所述至少 一個(gè)先前圖像的所述分割顏色模型，其中使用所述至少一個(gè)先前圖 像的所述分割顏色模型使誤差的傳播和擴(kuò)散得以改善。
29. 如權(quán)利要求27的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述執(zhí)行包括 對(duì)于視頻序列中的第一組多個(gè)鄰近圖像，包括對(duì)于所述第一組多個(gè)鄰近圖像中的最終圖像，執(zhí)行所述確定視頻序列的當(dāng)前圖像的分 割形狀預(yù)測(cè)和分割顏色模型、所述自動(dòng)生成當(dāng)前圖像的分割、以及 所述存儲(chǔ)當(dāng)前圖像的分割；響應(yīng)于輸入，編輯最終圖像的分割，從而生成已編輯分割信息；以及對(duì)于視頻序列中的第二組多個(gè)鄰近圖像，包括對(duì)于所述第二組多 個(gè)鄰近圖像中的第 一 圖像，執(zhí)行所述確定視頻序列的當(dāng)前圖像的分 割形狀預(yù)測(cè)和分割顏色模型、所述自動(dòng)生成當(dāng)前圖像的分割、以及 所述存儲(chǔ)當(dāng)前圖像的分割，其中所述第 一 圖像與所述視頻序列中的 所述第 一組多個(gè)鄰近圖像中的所述最終圖像鄰近，其中用于所述確 定所述第二組多個(gè)鄰近圖像中的所述第 一 圖像的分割形狀預(yù)測(cè)和分 割顏色模型的所述已有分割信息包括所述已經(jīng)編輯分割信息。
30.如權(quán)利要求16的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述已有分割信 息指示所述視頻序列的至少 一個(gè)先前圖像的分割輪廓，其中所述分 割輪廓將所述至少一個(gè)先前圖像的背景從前景中劃分出來。
全文摘要
本發(fā)明涉及自動(dòng)視頻圖像分割。具體地，公開了用于自動(dòng)分割視頻序列的方法、系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。根據(jù)視頻序列的至少一個(gè)先前圖像的已有分割信息，確定視頻序列的當(dāng)前圖像的分割形狀預(yù)測(cè)和分割顏色模型。根據(jù)所述分割形狀預(yù)測(cè)和分割顏色模型的加權(quán)組合，自動(dòng)生成當(dāng)前圖像的分割。將當(dāng)前圖像的分割存儲(chǔ)在存儲(chǔ)介質(zhì)中。
文檔編號(hào)G06T7/00GK101676953SQ20091020577
公開日2010年3月24日 申請(qǐng)日期2009年8月24日 優(yōu)先權(quán)日2008年8月22日
發(fā)明者玨 王, 雪 白 申請(qǐng)人:奧多比公司