一種基于色彩三要素的視頻摳像方法
【專利摘要】本發(fā)明涉及一種基于色彩三要素的視頻摳像方法，包括：采集視頻序列；色彩空間轉(zhuǎn)換；獲取背景信息；區(qū)分不透明區(qū)域、全透明或半透明區(qū)域、前景中反射了背景色的區(qū)域；計(jì)算背景色；計(jì)算不透明度；計(jì)算前景色；判斷是否需要溢色處理；溢色處理；結(jié)束。本發(fā)明通過對不透明區(qū)域、全透明或半透明區(qū)域、前景中反射了背景色的區(qū)域的分別處理，可以摳出效果更好的圖像。與現(xiàn)有技術(shù)相比，本發(fā)明對摳像中的各個(gè)像素點(diǎn)不是簡單的留下或舍棄，而是根據(jù)該像素點(diǎn)的亮度、色調(diào)和飽和度的強(qiáng)度決定取舍，提高了對半透明前景物體摳像的處理效果，同時(shí)還通過溢色處理提高了視覺效果，能夠有效的恢復(fù)半透明的玻璃煙霧毛發(fā)和陰影等對象的顏色和透明度。
【專利說明】一種基于色彩三要素的視頻摳像方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及本發(fā)明涉及一種基于色彩三要素的視頻摳像方法，是一種計(jì)算機(jī)圖像處理方法，是一種數(shù)字視頻圖像處理的方法。
【背景技術(shù)】
[0002]今比較流行的摳像系統(tǒng)有Red Giant公司的Primatte Keyer和Ultimatte公司的Advantage edge。After Effect、Digital Fusion、Shake等眾多主流軟件都支持PrimatteKeyer0 Ultimatte采用的是Vlahos的摳圖方案，
Primatte Keyer在三維的RGB色彩空間中工作。通過用戶選擇背景像素點(diǎn)將顏色空間分成四個(gè)獨(dú)立的類別。這四個(gè)類別由三維空間中定義的三個(gè)128面多面體確定。第一類為中心最小多面體定義的區(qū)域，它包含了 100%為背景顏色的所有像素，也就是說小多面體任何顏色將完全被背景圖像的像素取代，不需要溢色處理；第二類為小多面體何中間多面體之間的區(qū)域，這個(gè)區(qū)域內(nèi)像素為前景和背景之間的半透明過渡區(qū)，需要溢色處理；第三類為中間多面體和大多面體之間的區(qū)域。這些都是100%前景像素，需要溢色處理；第四類為大多面體以外的整個(gè)區(qū)域，為100%前景圖像的像素，并且不需要溢色處理。從整個(gè)算法可以看出來用戶需要精細(xì)地設(shè)置很多參數(shù)來定確定三個(gè)多面體和溢色處理才能達(dá)到滿意的效果，摳圖工作繁瑣。
[0003]Vlahos的摳圖方案，假設(shè)紅藍(lán)綠分量滿足一定的比例關(guān)系，在此基礎(chǔ)上經(jīng)過反復(fù)試驗(yàn)給出了一系列確定alpha值的經(jīng)驗(yàn)公式，該方法雖然簡單易于實(shí)現(xiàn)，然而實(shí)驗(yàn)中發(fā)現(xiàn)它不能很好的恢復(fù)半透區(qū)域的顏色，而且不具有普遍性不能處理背景色為黃青品紅的情況。

【發(fā)明內(nèi)容】

[0004]為解決現(xiàn)有技術(shù)的問題，本發(fā)明提出一種基于色彩三要素的視頻摳像方法，所述的方法根據(jù)像素點(diǎn)的透明狀況對像素點(diǎn)進(jìn)行處理，使摳出的圖像更接近自然，并可以摳出半透明的圖像。
[0005]本發(fā)明的目的是這樣實(shí)現(xiàn)的:一種基于色彩三要素的視頻摳像方法，所述方法的步驟如下:
采集視頻序列的步驟:用于在高飽和度及高亮度顏色背景下采集視頻序列，所述視頻圖像序列中的每一個(gè)像素的色彩空間為YUV空間或RGB空間，從所述視頻序列中選擇任意一幀圖像作為當(dāng)前幀開始進(jìn)行摳像；
色彩空間轉(zhuǎn)換的步驟:將當(dāng)前幀圖像進(jìn)行色彩空間轉(zhuǎn)換，轉(zhuǎn)換到色調(diào)、飽和度、亮度空
間；
獲取背景信息的步驟:用于直接輸入來設(shè)置摳像所需的背景參數(shù)，或者用畫筆工具在圖像中的全透明區(qū)域進(jìn)行勾勒獲取背景像素點(diǎn)集，根據(jù)背景像素點(diǎn)集計(jì)算參數(shù)；
區(qū)分整幅圖像中的不同區(qū)域的步驟:用于依據(jù)“獲取背景信息的步驟”中確定的背景信息將整幅圖像區(qū)分為不透明區(qū)域、全透明或半透明區(qū)域、前景中反射了背景色的區(qū)域； 計(jì)算背景色的步驟:用于根據(jù)背景信息和當(dāng)前色確定整幅圖像中每個(gè)像素對應(yīng)的背景
色；
計(jì)算不透明度的步驟:用于通過計(jì)算每個(gè)像素的當(dāng)前色和其對應(yīng)的背景色之間的相似度得到該像素對應(yīng)的前景色的不透明度；
計(jì)算前景色的步驟:用于根據(jù)每個(gè)像素的當(dāng)前色和其對應(yīng)的背景色、前景色的透明度計(jì)算出每個(gè)像素對應(yīng)的前景色；
判斷是否需要溢色處理的步驟:用于對摳像后的圖像進(jìn)行是否需要進(jìn)行溢色處理進(jìn)行判斷，“是”則進(jìn)入溢色處理的步驟，如果“否”則進(jìn)入結(jié)束的步驟；
溢色處理的步驟:用于對摳像后視覺上認(rèn)為沒有摳干凈的顏色進(jìn)行處理；
結(jié)束的步驟:用于保存完成摳像的圖像。
[0006]進(jìn)一步的，所述的背景可選用人眼可視范圍內(nèi)的任一高飽和度及高亮度顏色，包括但不局限于藍(lán)色、品紅色、紅色、黃色、綠色、青色這6種顏色。
[0007]進(jìn)一步的，所述的根據(jù)背景像素點(diǎn)集計(jì)算參數(shù)包括如下子步驟:
計(jì)算背景像素點(diǎn)集的色調(diào)平均值，與待選的背景顏色的色調(diào)比較，差距最小的背景顏色種類確定為此次摳像類型，與之相應(yīng)的背景色色調(diào)上、下邊界，背景色的溢色上、下邊界隨之確定；
將色調(diào)不在背景色色調(diào)上、下邊界之間的點(diǎn)去掉；
根據(jù)剩余像素點(diǎn)確定背景信息中的其他參數(shù)。
[0008]進(jìn)一步的，所述的其他參數(shù)包括背景色色調(diào)上、下界，背景色飽和度上、下界，背景色亮度上、下界。
[0009]進(jìn)一步的，所述的區(qū)分不同區(qū)域的方法為:
確定不透明區(qū)域:將所有像素點(diǎn)的當(dāng)前色色調(diào)不在背景色色調(diào)上、下邊界之內(nèi)的像素集合作為不透明區(qū)域；
確定前景反射了背景色的區(qū)域:將所有像素點(diǎn)的當(dāng)前色的色調(diào)在背景色色調(diào)上、下邊界之內(nèi)，飽和度不大于背景色飽和度下界或亮度不大于背景色亮度下界的像素集合作為前景反射了背景色的區(qū)域；
確定全透明或半透明區(qū)域:將所有像素點(diǎn)的當(dāng)前色的色調(diào)在背景色色調(diào)上、下邊界之內(nèi)，且飽和度和亮度大于背景色飽和度和亮度的下界的像素集合作為全透明或半透明區(qū)域。
[0010]進(jìn)一步的，所述的溢色處理的方式包括:
令反射了背景色的前景色的飽和度為零；
對前景色的色調(diào)在背景色色調(diào)上、下邊界附近的前景，將前景色的色調(diào)往背景色的溢色上、下邊界外偏移。
[0011]本發(fā)明產(chǎn)生的有益效果是:本發(fā)明通過對不透明區(qū)域、全透明或半透明區(qū)域，以及前景反射了背景色的分別處理，可以摳出半透明的圖像。與現(xiàn)有技術(shù)相比，本發(fā)明對摳像中的各個(gè)像素點(diǎn)不是簡單的留下或舍棄，而是根據(jù)該像素點(diǎn)的亮度、色調(diào)和飽和度的強(qiáng)度決定取舍，提高了對半透明前景物體摳像的處理效果，同時(shí)還通過溢色處理提高了視覺效果，能夠有效的恢復(fù)半透明的玻璃煙霧毛發(fā)和陰影等對象的顏色和透明度?！緦＠綀D】

【附圖說明】
[0012]下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步說明。
[0013]圖1是發(fā)明實(shí)施例一所述方法的流程圖。
【具體實(shí)施方式】
[0014]實(shí)施例一:
本實(shí)施例是一種基于色彩三要素的視頻摳像方法，摳像的流程如圖1所示。
[0015]引入下述定義和符號:
令C= [R,G,B,a]表示RGB空間中的顏色，其對應(yīng)的HSI空間中的顏色為C= [HtS1I,a], a表示的是該顏色的不透明程度，0<α<1 ,當(dāng)α = O時(shí)，稱為全透明，當(dāng)α = 1時(shí)，稱為不透明，當(dāng)0<α<1時(shí)，稱為半透明。與a相對的是透明度，用表示，
CC = 1.0 — S1 0
[0016]選擇當(dāng)前幀圖像中某一像素點(diǎn)，稱此像素點(diǎn)為當(dāng)前像素點(diǎn)，
其他定義如下:
當(dāng)前色Cf/:表示當(dāng)前像素點(diǎn)的顏色，在RGB空間下表示為C) =[^,^,^,^ = 1.0],在HSI空間下表不為:C，廣I廣~—1.0].背景色CV:表示與當(dāng)前色對應(yīng)的背景屏幕的顏色，在RGB空間下表示為Q = [Rk,Ok,Bk,ak = 1·.0],在 HSI 空間下表示為:Ck ={nk,Sk,lk,ak =1.0]；
前景色Q:表示與當(dāng)前色對應(yīng)的前景物體的顏色，在RGB空間下表示為Q =[足,σ,為,?],在HSi空間下表示為；
合成背景圖像顏色Q:表示合成時(shí)與當(dāng)前色對應(yīng)的背景圖像的顏色，在RGB空間下表示為=1.0]在HSI空間下表示為:Q =[H,為=1.0];合成圖像顏色Cw:表示與當(dāng)前色對應(yīng)的合成圖像的顏色，在RGB空間下表示為Q =[尾,% = 1.0]0.=[為》Os.-?.cI =1.0]在 HSI 空間下表不為:Cm =[HM,Has =1.0]；
則摳像問題通?？擅枋鰹?
給定當(dāng)前像素點(diǎn)的C^Ck，根據(jù)Cf = 5 + (1-?)^ = + 求出用于圖
像合成Cfw = Q+ (1-中,遍歷當(dāng)前幀畫面的所有像素點(diǎn)，即摳出了整幀畫面。
[0017]摳像類型(MaiHngType).本實(shí)施例根據(jù)背景屏幕的顏色將摳像問題分為六種:背景為藍(lán)色的摳像類型 = As，背景為品紅色的摳像類型巧_.= ，背景為紅色的摳像類型
#Μ-->_κ = ，背景為黃色的樞像類型= ，背景為綠色的樞像類型=/?.,背景為青色的摳像類型= H最，這六種摳像的處理流程和基本原理是完全類似的，究竟實(shí)施哪一種摳像由用戶提供的背景信息決定。
[0018]背景色的色調(diào)上、下邊界(HH):
藍(lán)色背景色的色調(diào)上、下邊界分別為= Η3Λ和HMlUn— = ；品紅背景
色的色調(diào)上、下邊界為=Ifc和*%?^_ = Ifi ;紅色背景色的色調(diào)上、下邊界
為HMi^^ = Hm= H^iL ；黃色背景色的色調(diào)上、下邊界為= Η^&
和ΗΜ^η— 二 HtL ;綠色背景色的色調(diào)上、下邊界為HMMng^r = 和*%_二二 Η? ；
青色背景色的色調(diào)上、下邊界為只獅艱_ = Hm和HMMn— = Hm。[001 9] 背景色色調(diào)的&色上、下邊界(.^取a_T > ^ELxer ):
藍(lán)色背景色色調(diào)的溢色上下邊界分別為胃=和= Hm-;品紅背景色
色調(diào)的溢色上下邊界為只擲咖=Hm和只麥獅設(shè)=Hm ;紅色背景色色調(diào)的溢色上下邊界
為H= A緣和H;黃色背景色色調(diào)的溢色上下邊界為H= A裔和
、動沒=;綠色背景色色調(diào)的溢色上下邊界為和= Hu.;青色
背景色色調(diào)的溢色上下邊界為*^__r ~ ^aa和H- H.—。樞像類型一旦確定,背景色色調(diào)的溢色上、下邊界也是確定的。
[0020]背景色色調(diào)的上、下界d 'Hms)'
H<H <H < H

Λ M&Tiglnws^ il#2一
背景色飽和度的上、下界(Sme、):
這Ms〈這i— — I' O, O i SMn < ￡施'
背景色亮度的上、下界(^ ):
7她(iMe — 1.0’ O —I!—
摳像類型(MatMngType ),背景色色調(diào)的上、下邊界(H麵、H廳)，背景色色調(diào)的溢色上、下邊界()，背景色色調(diào)的上、下界(U她),
背景色飽和度的上、下界(S—'S-)，背景色亮度的上、下界()這11個(gè)參數(shù)合到一起組成了摳像時(shí)要獲取的背景信息。摳像類型一旦確定，背景色色調(diào)的上、下邊界(^MMn^mer )，F(xiàn)f 用.色色調(diào)的溢色上、下邊界(^^?ΕΙ(φο.、^^xMdMe-)也疋確定的，背景色色調(diào)的上、下界(K-、Hms )，背景色飽和度的上、下界(H )，背景色亮度的上、下界(U、Im,)這6個(gè)參數(shù)可以動態(tài)調(diào)整，來應(yīng)對不均勻的背景以及背景顏色的光反射到前景物體上等情況。
[0021]應(yīng)當(dāng)說明的是:雖然本實(shí)施例將色調(diào)、飽和度和亮度縮寫為Y、S和J，但并沒有把問題局限于HSI顏色模型。事實(shí)上本實(shí)施例提供的方案適合現(xiàn)存的以及將來可能出現(xiàn)的所有將顏色的色調(diào)、飽和度和亮度信息獨(dú)立出來的顏色模型。所有(H,足J)三元組構(gòu)成的集合是三維歐幾里德空間的一個(gè)子集，設(shè):
【權(quán)利要求】
1.一種基于色彩三要素的視頻摳像方法，其特征在于所述的方法步驟如下: 采集視頻序列的步驟:用于在高飽和度及高亮度顏色背景下采集視頻序列，所述視頻圖像序列中的每一個(gè)像素的色彩空間為YUV空間或RGB空間，從所述視頻序列中選擇任意一幀圖像作為當(dāng)前幀開始進(jìn)行摳像； 色彩空間轉(zhuǎn)換的步驟:將當(dāng)前幀圖像進(jìn)行色彩空間轉(zhuǎn)換，轉(zhuǎn)換到色調(diào)、飽和度、亮度空間； 獲取背景信息的步驟:用于直接輸入來設(shè)置摳像所需的背景參數(shù)，或者用畫筆工具在圖像中的全透明區(qū)域進(jìn)行勾勒獲取背景像素點(diǎn)集，根據(jù)背景像素點(diǎn)集計(jì)算參數(shù)； 區(qū)分整幅圖像中的不同區(qū)域的步驟:用于依據(jù)“獲取背景信息的步驟”中確定的背景信息將整幅圖像區(qū)分為不透明區(qū)域、全透明或半透明區(qū)域、前景中反射了背景色的區(qū)域；計(jì)算背景色的步驟:用于根據(jù)背景信息和當(dāng)前色確定整幅圖像中每個(gè)像素對應(yīng)的背景色； 計(jì)算不透明度的步驟:用于通過計(jì)算每個(gè)像素的當(dāng)前色和其對應(yīng)的背景色之間的相似度得到該像素對應(yīng)的前景色的不透明度； 計(jì)算前景色的步驟:用于根據(jù)每個(gè)像素的當(dāng)前色和其對應(yīng)的背景色、前景色的透明度計(jì)算出每個(gè)像素對應(yīng)的前景色； 判斷是否需要溢色處理的步驟:用于對摳像后的圖像進(jìn)行是否需要進(jìn)行溢色處理進(jìn)行判斷，“是”則進(jìn)入溢色處理的步驟，如果“否”則進(jìn)入結(jié)束的步驟； 溢色處理的步驟:用于對摳像后視覺上認(rèn)為沒有摳干凈的顏色進(jìn)行處理； 結(jié)束的步驟:用于保存完成摳像的圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的背景可選用人眼可視范圍內(nèi)的任一高飽和度及高亮度顏色，包括但不局限于藍(lán)色、品紅色、紅色、黃色、綠色、青色這6種顏色。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的根據(jù)背景像素點(diǎn)集計(jì)算參數(shù)包括如下子步驟: 計(jì)算背景像素點(diǎn)集的色調(diào)平均值，與待選的背景顏色的色調(diào)比較，差距最小的背景顏色種類確定為此次摳像類型，與之相應(yīng)的背景色色調(diào)上、下邊界，背景色的溢色上、下邊界隨之確定； 將色調(diào)不在背景色色調(diào)上、下邊界之間的點(diǎn)去掉； 根據(jù)剩余像素點(diǎn)確定背景信息中的其他參數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述的其他參數(shù)包括背景色色調(diào)上、下界，背景色飽和度上、下界，背景色亮度上、下界。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述的區(qū)分不同區(qū)域的方法為: 確定不透明區(qū)域:將所有像素點(diǎn)的當(dāng)前色色調(diào)不在背景色色調(diào)上、下邊界之內(nèi)的像素集合作為不透明區(qū)域。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述的區(qū)分不同區(qū)域的方法為: 確定前景反射了背景色的區(qū)域:將所有像素點(diǎn)的當(dāng)前色的色調(diào)在背景色色調(diào)上、下邊界之內(nèi)，飽和度不大于背景色飽和度下界或亮度不大于背景色亮度下界的像素集合作為前景反射了背景色的區(qū)域。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述的區(qū)分不同區(qū)域的方法為: 確定全透明或半透明區(qū)域:將所有像素點(diǎn)的當(dāng)前色的色調(diào)在背景色色調(diào)上、下邊界之內(nèi)，且飽和度和亮度大于背景色飽和度和亮度的下界的像素集合作為全透明或半透明區(qū)域。
8.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述的區(qū)分不同區(qū)域的方法為:確定不透明區(qū)域:將所有像素點(diǎn)的當(dāng)前色色調(diào)不在背景色色調(diào)上、下邊界之內(nèi)的像素集合作為不透明區(qū)域； 確定前景反射了背景色的區(qū)域:將所有像素點(diǎn)的當(dāng)前色的色調(diào)在背景色色調(diào)上、下邊界之內(nèi)，飽和度不大于背景色飽和度下界或亮度不大于背景色亮度下界的像素集合作為前景反射了背景色的區(qū)域； 確定全透明或半透明區(qū)域:將所有像素點(diǎn)的當(dāng)前色的色調(diào)在背景色色調(diào)上、下邊界之內(nèi)，且飽和度和亮度大于背景色飽和度和亮度的下界的像素集合作為全透明或半透明區(qū)域。
9.根據(jù)權(quán)利要求1至8任一權(quán)利要求所述的方法，其特征在于，所述的溢色處理的方式包括: 令反射了背景色的前景色的飽和度為零； 對前景色的色調(diào)在背景色色調(diào)上、下邊界附近的前景，將前景色的色調(diào)往背景色的溢色上、下邊界外偏移。
【文檔編號】H04N5/272GK103581571SQ201310590332
【公開日】2014年2月12日 申請日期:2013年11月22日 優(yōu)先權(quán)日:2013年11月22日
【發(fā)明者】姚威, 趙玉華 申請人:北京中科大洋科技發(fā)展股份有限公司