對(duì)視頻序列的圖像的色彩進(jìn)行采樣的方法以及應(yīng)用于色彩聚類(lèi)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對(duì)視頻序列的圖像的色彩進(jìn)行聚類(lèi)，并且特別涉及對(duì)色彩的特定的在 先米樣。
【背景技術(shù)】
[0002] 對(duì)色彩進(jìn)行聚類(lèi)需要高計(jì)算資源。為了降低對(duì)計(jì)算資源的需求，一般在聚類(lèi)之前 對(duì)色彩進(jìn)行采樣。這種采樣的目的是減少必須被考慮用于進(jìn)行聚類(lèi)的每個(gè)圖像中的像素 的數(shù)量。例如，可以按照100的因數(shù)對(duì)圖像的像素進(jìn)行采樣。這意味著只有被采樣的像素 才被用于對(duì)色彩進(jìn)行聚類(lèi)：例如，考慮每個(gè)圖像的像素的1/100。優(yōu)選在不進(jìn)行任何濾波 處理的情況下執(zhí)行采樣，以便不引入偽色彩，并且事實(shí)上，考慮未采樣色彩用于隨后的色彩 聚類(lèi)。為此，應(yīng)當(dāng)謹(jǐn)慎地確定二次采樣率，以在計(jì)算復(fù)雜度和精確度之間達(dá)到公平的平衡。 作為這樣的采樣的示例，如果將視頻內(nèi)容的圖像格式化為1920x1080的HDTV(亦即，每個(gè) 具有大約兩百萬(wàn)個(gè)像素），則可以按照因數(shù)100對(duì)每個(gè)圖像進(jìn)行采樣，以取得100個(gè)格式為 192x108 (亦即，每個(gè)具有大約20, 000像素）的子圖像。對(duì)于10行中的每行，在10個(gè)像素 中取一個(gè)像素。
[0003] 對(duì)于被采樣或未采樣色彩的聚類(lèi)本身，關(guān)鍵要素是基于相似性將這些色彩組織 成有意義的集群。在標(biāo)題為"Data clustering:A review"（在1999年9月公開(kāi)于ACM Computing Surveys，31 (3)，頁(yè)264 - 323)的文章中，提議了寬泛的范圍的集群形成技術(shù)。根 據(jù)該回顧，存在兩種類(lèi)型的聚類(lèi)算法，亦即，分層算法和分區(qū)算法。分區(qū)聚類(lèi)算法在涉及大 數(shù)據(jù)集的應(yīng)用中具有勝過(guò)分層方法的優(yōu)點(diǎn)。分區(qū)技術(shù)通常通過(guò)優(yōu)化準(zhǔn)則函數(shù)來(lái)生成集群。 在分區(qū)聚類(lèi)技術(shù)中最直觀并被頻繁使用的準(zhǔn)則函數(shù)是均方誤差準(zhǔn)則。K-means是利用均方 誤差準(zhǔn)則的最簡(jiǎn)單且最常用的算法。其以隨機(jī)初始分區(qū)開(kāi)始，并且基于模式和集群中心之 間的相似性保持向集群重新分配模式，直至滿足收斂準(zhǔn)則為止。k-means算法很流行，因?yàn)?其容易實(shí)現(xiàn)，并且它的時(shí)間復(fù)雜度是〇 (η)，其中η是模式的數(shù)量。
[0004] 在標(biāo)題為"Fast Video Object Segmentation Using Affine Motion And Gradient-Based Color Clustering" （公開(kāi)于 1998 年的 IEEE Second Workshop on Multimedia Signal Processing(Cat.No.98EX175)的頁(yè) 486-91)的文章中，作者 Ju Guo Jongwon Kim Kuo等公開(kāi)一種基于非參數(shù)梯度的迭代色彩聚類(lèi)算法（被稱(chēng)為均值移位算 法），該算法根據(jù)色彩相似性提供穩(wěn)健的初始主色彩。根據(jù)這種使用從先前的幀獲得的主色 彩信息作為接下來(lái)的幀的初始種子的色彩聚類(lèi)方法，可以將計(jì)算時(shí)間的量減少50%。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是進(jìn)一步減少視頻序列的色彩聚類(lèi)所需的計(jì)算時(shí)間。
[0006] 為此目的，本發(fā)明的主題是一種建立視頻序列中的前面的圖像的后面的圖像的像 素掩模的方法，該方法包含以下步驟：
[0007] -建立與從所述前面的圖像向所述后面的圖像的運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量的圖；
[0008] -通過(guò)將所述運(yùn)動(dòng)矢量的圖應(yīng)用于所述前面的圖像，產(chǎn)生關(guān)于所述后面的圖像的 對(duì)所述前面的圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償圖像；以及
[0009] -根據(jù)所述補(bǔ)償圖像和所述前面的圖像之間的逐像素的差異，建立所述后面的圖 像的像素掩模。
[0010] 作為變型，本發(fā)明的主題還是一種建立視頻序列中的前面的圖像的后面的圖像的 像素掩模的方法，該方法包含以下步驟：
[0011] -建立與從所述前面的圖像向所述后面的圖像的運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量的圖；以 及
[0012] -基于與所述前面的圖像的每個(gè)像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量和與位于所述像素的鄰域 中的相鄰像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量之間的差異，建立所述后面的圖像的像素掩模。
[0013] 優(yōu)選地，以上方法還包含以下步驟：對(duì)于每個(gè)像素，比較所述差異與預(yù)定閾值，并 且一旦所述差異低于所述預(yù)定閾值，就對(duì)所述像素掩模的對(duì)應(yīng)像素分配"零"值，或者一旦 所述差異等于或高于所述預(yù)定閾值，就對(duì)所述像素掩模的對(duì)應(yīng)像素分配"一"值。
[0014] 本發(fā)明的主題還是一種將視頻序列的圖像的色彩采樣為對(duì)應(yīng)的掩蔽圖像的色彩 的方法，該方法包含連續(xù)地針對(duì)該序列的前面的圖像的后面的每個(gè)圖像的以下步驟：
[0015] -根據(jù)如上所述的方法建立所述后面的圖像的像素掩模；以及
[0016] -將所述像素掩模應(yīng)用于對(duì)應(yīng)的后面的圖像，以便獲得對(duì)所述后面的圖像的像素 進(jìn)行采樣的對(duì)應(yīng)的掩蔽圖像。
[0017] 更確切地，在建立起像素掩模時(shí)并且如果將其應(yīng)用于后面的圖像，則形成與該后 面的圖像中的像素的選擇相對(duì)應(yīng)的掩蔽圖像。
[0018] 本發(fā)明的主題還是一種將視頻序列的圖像的色彩采樣為對(duì)應(yīng)的掩蔽圖像的色彩 的方法，該方法包含連續(xù)地針對(duì)該序列的前面的圖像的后面的每個(gè)圖像的以下步驟：
[0019] -建立所述后面的圖像的像素掩模，使得在將所述像素掩模應(yīng)用于所述后面的圖 像時(shí)，形成與所述后面的圖像中的像素的選擇相對(duì)應(yīng)的掩蔽圖像；
[0020] -將所述像素掩模應(yīng)用于對(duì)應(yīng)的后面的圖像，以便獲得對(duì)所述后面的圖像的像素 進(jìn)行采樣的對(duì)應(yīng)的掩蔽圖像，
[0021] 其中，給定的后面的圖像的像素掩模的所述建立基于與從所述前面的圖像向所述 后面的圖像的運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量的圖。
[0022] 優(yōu)選地，視頻序列的圖像是連續(xù)圖像。
[0023] 根據(jù)第一變型，對(duì)于具有其前面的圖像的所述視頻序列的每個(gè)后面的圖像，根據(jù) 以下步驟執(zhí)行像素掩模的建立：
[0024] -通過(guò)將所述運(yùn)動(dòng)矢量的圖應(yīng)用于所述前面的圖像，產(chǎn)生關(guān)于所述后面的圖像的 對(duì)所述前面的圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償圖像；
[0025] -逐像素地計(jì)算所述補(bǔ)償圖像和所述前面的圖像之間的差異，以便取得差分圖像； 以及
[0026] -比較所述差分圖像的每個(gè)像素與預(yù)定閾值，并且一旦所述差分圖像的所述像素 低于預(yù)定閾值，就將對(duì)像素掩模的對(duì)應(yīng)像素分配"零"值，或者一旦所述差分圖像的所述像 素等于或高于所述預(yù)定閾值，就對(duì)像素掩模的對(duì)應(yīng)像素分配"一"值。
[0027] 根據(jù)第二變型，對(duì)于具有其前面的圖像的所述視頻序列的每個(gè)后面的圖像，根據(jù) 以下步驟執(zhí)行像素掩模的建立：
[0028] -對(duì)于所述前面的圖像的每個(gè)像素，比較所述運(yùn)動(dòng)矢量的圖中與所述像素相對(duì)應(yīng) 的運(yùn)動(dòng)矢量和與位于所述像素的鄰域中的相鄰像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量，并且一旦與所述像 素相對(duì)應(yīng)的運(yùn)動(dòng)矢量和與相鄰像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量之間的差異低于預(yù)定閾值，就對(duì)像素 掩模的對(duì)應(yīng)像素分配"零"值，或者一旦所述差異等于或高于所述預(yù)定閾值，就對(duì)像素掩模 的對(duì)應(yīng)像素分配"一"值。
[0029] 本發(fā)明的目的還是一種對(duì)視頻序列的圖像的色彩進(jìn)行聚類(lèi)的方法，其中，在聚類(lèi) 之前，除了沒(méi)有前面的圖像的所述視頻序列的圖像之外，亦即除了所述視頻序列的第一圖 像之外，根據(jù)如上所述的采樣方法對(duì)要聚類(lèi)的色彩進(jìn)行采樣。
[0030] 優(yōu)選地，對(duì)色彩進(jìn)行聚類(lèi)的方法包含：對(duì)視頻序列的第一圖像的色彩進(jìn)行聚類(lèi)，以 便產(chǎn)生色彩集群的集合并且使所述色彩分布在所產(chǎn)生的集合的色彩集群中的第一步驟；以 及，每次獲得掩蔽圖像時(shí)，對(duì)已經(jīng)與所述掩蔽圖像的色彩一起被聚類(lèi)的色彩進(jìn)行聚類(lèi)，以便 更新色彩集