專利名稱：一種基于Gabor特征空間的視頻染色方法
一種基于Gabor特征空間的視頻染色方法技術(shù)領(lǐng)域
本發(fā)明屬于計算機(jī)算法、計算機(jī)圖形技術(shù)、圖象處理技術(shù)和紋理生成技術(shù)領(lǐng)域，具 體涉及一種基于GabOT特征空間的視頻染色方法，可以用于電影動畫及多媒體編輯等應(yīng)用 領(lǐng)域。
背景技術(shù)：
圖像染色技術(shù)是一種將單色灰度圖像轉(zhuǎn)換成彩色圖像的處理技術(shù)。由于在染 色過程中圖像的顏色信息由一維灰度信息增加為三維RGB彩色信息，這種信息的重建 通常都需要將用戶對于灰度圖像的解釋和假設(shè)作為約束條件，通過優(yōu)化的方法進(jìn)行顏 色的恢復(fù)[A. Levin, D. Lischinski, and Y. Weiss. Colorization using optimization. ACM Trans. Graph.，vol. 23，no. 3，pp. 689-694，2004·]。有些染色方法以人工智能中的 樣本學(xué)習(xí)為基礎(chǔ)，通過對一系列彩色圖像樣本的學(xué)習(xí)，建立彩色與像素灰度值的映射關(guān) 系，以對灰度圖象進(jìn)行染色處理[T. Welsh，M.Ashikhmin，and K. Mueller. Transferring color to greyscale images. Proceedings of SIGGRAPH2002. 2002，pp. 277-280 ；Y. -W. Tai，J. Jia, and C. -K. Tang. Local color transfer via probabilistic segmentation by expectation-maximization. Proceedings of CVPR 2005，2005，pp. 747—754 ;Q.Luan， F. Wen, D. Cohen-Or, L Liang, Y. -Q. Xu, and H. -Y. Shum. Natural image colorization.1n Rendering Techniques 2007. Eurographics, 2007. ] 0 最近 Irony 等人提出的一種染色 方法[R.1rony, D. Cohen-Or, and D. Lischinsk1. Colorization by example. Proceedings of Rendering Techniques，2005，pp. 201-210.]，可以僅針對一張彩色樣本圖像進(jìn)行學(xué) 習(xí)就可有效地將顏色傳播到指定的灰度圖像上。隨后，該方法被擴(kuò)展來處理多幅灰度 圖像[X. Liu, L Wan，Y. Qu, Τ. -T. Wong, S. Lin, C. -S. Leung, and P. A. Heng，“ Intrinsic colorization，，，ACM Transactions on Graphics (SIGGRAPH Asia 2008issue)，Vol. 27， No. 5,2008, pp. 152. ] o還有一些染色技術(shù)以用戶交互為輔助手段[Y. _C. Huang，Y.-S. Tung, J. -C. Chen, S. -W. Wang, and J.-L.Wu，“An adaptive edge detection based colorization algorithm and its applications，，，Proceedings of ACM Multimedia， 2005, pp. 351-354 ；L.Yatziv and G. Sapiro. Fast image and video colorization using chrominance blending.1EEE Transactions on Image Processing，vol. 15，no. 5， pp. 1120-1129,2006 ；V.Konushin and V. Vezhnevets，“Interactive image colorization and recoloring based on coupled map lattices，，，Proceedings of Graphicon，vol. 4， 2006，pp. 231-234.]，通過用戶交互給灰度圖像的特定區(qū)域直接著色，然后再將顏色擴(kuò)散 傳播到整個圖像空間。Yatziv和Sapiro采用一種像素間顏色加權(quán)平均的方法進(jìn)行顏色 擴(kuò)散，其顏色加權(quán)的權(quán)值與像素間測地距離成正比。另外，貝葉斯紋理分類的方法也被 引入到航天航空灰度圖像的染色中[U. Lipowezky. Grayscale aerial and space image colorization using texture classification. Pattern Recognition Letters，vol.27, no. 4，pp. 275-286，2006.]。通過使用原型匹配，它能克服[T. Welsh, M. Ashikhmin，andK. Mueller. Transferring color to greyscale images. Proceedings of SIGGRAPH，2002， pp. 277-280.]所提出染色方法的缺點。
在現(xiàn)有的染色方法中，光流算法[B.K. P. Horn and B. G. Schunck. Determining optical flow. Art if.1ntel1.，vol. 17，no. 1-3，pp. 185-203，1981 ；B. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision.1nternational Joint Conference on Artificial Intelligence， vol.3，1981 ；D. Heeger. Optical flow using spatiotemporal filters.1nternational Journal of Computer Vision，vol.1，no. 4，pp. 279-302，1988 ；R. MARCH. Computation of stereo disparity using regularization. Pattern recognition letters，vol.8, no. 3, pp. 181-187,1988 ；M.Black and P. Anandan. The Robust Estimation of Multiple Motions !Parametric and Piecewise-Smooth Flow Fields. COMPUTER VISION AND IMAGE UNDERSTANDING，vol.63，pp. 75-104，1996 ；L.Alvarez, R. Deriche, J. S ' anchez，and J. Weickert. Dense Disparity Map Estimation Respecting Image Discontinuities A PDE and Scale-Space Based Approach. Journal of Visual Communication and Image Representation，vol. 13，no. 1-2，pp. 3-21, 2002 ；T.Brox，A.Bruhn, N. Papenberg，and J. Weickert. High Accuracy Optical Flow Estimation Based on a Theory forWarping. LECTURE NOTES IN COMPUTER SCIENCE，pp. 25-36，2004.]是對視頻圖像間視差進(jìn)行計算的方法，適用于一般視頻序列的物體運(yùn)動估計。但是，視頻中場景結(jié)構(gòu)的遮擋關(guān)系和物體的不規(guī)則運(yùn)動，使得光流的精確計算很困難。最近提出的VideoSnap技術(shù)[X. Bai， J.Wang,D. Simons,and G. Sapiro，“Video SnapCut robust video obj ect cutout using localized classifiers，，，in ACM SIGGRAPH 2009papers. ACM，2009，p. 70.]結(jié)合了圖像分類和高質(zhì)量摳圖技術(shù)，可得到高質(zhì)量的光流結(jié)果。而SIFT流[C.Liu，J. YuemA.Toiralba， J. Sivic, and W.Freeman，“SIFT flow dense correspondence across different scenes，”in Proc. ECCV2008，2008，pp. 28-42.]釆用了更強(qiáng)大的像素運(yùn)動跟蹤算子，能夠提供更好的視頻像素運(yùn)動估計。
紋理特征提取可用于圖像的分類、分塊、合成以及形狀提取等多種應(yīng)用領(lǐng)域，通常紋理特征的提取可以通過統(tǒng)計模型來表達(dá)[M. Galun，E. Sha·ron, R. Basri, and A. Brandt. Texture segmentation by multiscale aggregation of filter responses and shape elements, in Computer Vision,2003. Proceedings. Ninth IEEE International Conference on，2003，pp. 716-723.]。紋理特性一般包括大小，方向，亮度，紋元密度等，這些基本特性在很多前人的方法中都有研究[B. Julesz. Textons, the elements of texture perception，and their interactions. Nature, vol.290, no.5802，pp. 91—97， 1981]。而對于紋理的分析最近也有了顯著的提高，特別是利用統(tǒng)計方法來表達(dá)紋理特征的一些方法，比如Gabor濾波器、濾波組、隨機(jī)過程模型以及小波等[T. Weldon,W. Higgins， and D. Dunn, Efficient Gabor filter design for texture segmentation. Pattern Recognition，vol.29，no. 12，pp. 2005-2015，1996.E. Bruno and D. Pellerin, “Robust motion estimation using spatial gabor-like filters,Signal Process. , vol. 82, no. 2，pp. 297-309,2002.]。這些紋理特征的統(tǒng)計函數(shù)可被利用來進(jìn)行紋理分類和圖像分割等。對于圖像/視頻染色技術(shù)而言，紋理特征的分析有助于將顏色從關(guān)鍵幀向其余幀進(jìn)行傳播，傳播的精度與誤差都可以通過圖像幀之間的紋理度量來計算。
現(xiàn)有的染色方法中[A.Levin,D. Lischinski,and Y. Weiss,“Colorization using optimization,” ACM Trans.Graph., vol. 23, no.3, pp. 689-694,2004.Q. Luan, F. Wen, D. Cohen-Or, L. Liang, Y. -Q. Xu, and H.-Y. Shum, “Natural image colorization,，，in Rendering Techniques 2007. Eurographics, 2007.],顏色之間的傳播(中貞間傳播通過 光流)通常是在圖像空間中按四/八連通的方式進(jìn)行(一個像素有四/八-連通空間 的鄰居)。這種固定顏色的傳播模式通常需要比較多的用戶交互工作，特別是對于自然 紋理分布比較密集的視頻。由于這些視頻中類似的色彩在分布上不一定連續(xù)，使用以前 的染色方法(比如優(yōu)化的方式[A. Levin, D. Lischinski, and Y. Weiss, “Colorization using optimization,，，ACM Trans. Graph.，vol. 23, no. 3, pp. 689-694, 2004.],混合方式 [L. Yatziv and G. Sapiro, “Fast image and video colorization using chrominance blending,，，IEEE Transactions on Image Processing, vol. 15, no. 5, pp. 1120-1129, 2006.])，就需要用戶指定每個區(qū)域的每一個細(xì)節(jié)的顏色，這對于視頻染色來說，交互工作 量非常大。
在視頻染色中，為了得到更逼真的染色效果，通常還需要對染色進(jìn)行色彩的修 補(bǔ)，特別是針對一些細(xì)節(jié)比較復(fù)雜的視頻和圖像數(shù)據(jù)。為此，色彩傳播計算要考慮幀間染 色傳播的時間相關(guān)性，具體地，就是要測量顏色傳播的誤差。這方面一般是采用運(yùn)動估計 的方法，但通常所采用的圖像特征算子難以保證有效計算。比如SIFT (Scale-1nvariant feature transform),雖然具有健壯性的特點,但與視頻染色的特點不相符合,難以用于顏 色的傳播與跟蹤。而對于 SIFT 流[C. Liu, J. Yuen, A. Torralba, J. Sivic, and ff. Freeman, “SIFT flow dense correspondence across different scenes,，，in Proc. ECCV2008, 2008，pp. 28-42.]來說，其紋理特征檢測更注重于紋理區(qū)域的特征點對比，因此，在應(yīng)用于 具有自然場景的視頻數(shù)據(jù)時，其紋理特征檢測容易產(chǎn)生誤差，影響自然景觀的染色效果，因 為很多自然場景中的紋理通常表現(xiàn)為一些平滑過渡的視覺與色彩效果。發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的問題，提供一種基于Gabor特征空間的視頻 染色方法。
本發(fā)明的基于Gabor特征空間的視頻染色方法，其步驟包括
I)利用視頻的紋理特征構(gòu)建旋轉(zhuǎn)不變的Gabor濾波器和Gabor特征空間；
2)基于能量最小化生成視頻的Gabor流并選擇關(guān)鍵巾貞；
3)對關(guān)鍵幀進(jìn)行染色；
4)基于Gabor流的計算結(jié)果將關(guān)鍵幀的顏色在視頻幀間傳播；
5)用戶通過交互方式對存在高誤差的染色區(qū)域進(jìn)行修補(bǔ)。
步驟I)所述的Gabor濾波器由4個尺度、6個方向的濾波器組構(gòu)成，其方向的調(diào)整 根據(jù)像素所在局部區(qū)域的紋理方向判定算子得到，并可進(jìn)行降維來壓縮處理。
步驟I)所述的Gabor特征空間主要用于對像素的紋理特征相似性進(jìn)行度量計算。
步驟2)所述的選擇關(guān)鍵幀的方法為基于視頻的Gabor流計算幀間顏色傳播誤 差，將誤差累積值超過預(yù)設(shè)閾值的幀選取為所述關(guān)鍵幀；所述幀間顏色傳播采用多分辨率金字塔的方法計算，并通過圖形硬件GPU進(jìn)行加速計算。
步驟3)所述的對關(guān)鍵幀進(jìn)行染色的方法為通過用戶交互操作得到所述關(guān)鍵幀中部分像素的顏色，然后利用能量最優(yōu)化原理將這些顏色在關(guān)鍵幀的Gabor特征空間中傳播；所述對關(guān)鍵幀進(jìn)行染色的方法可用于普通圖像的染色。
步驟4)所述的幀間傳播通過相鄰幀間的像素與像素的并行顏色傳播實現(xiàn)，并可以用圖形硬件GPU加速。
所述GPU采用CUDA并行處理架構(gòu)，具備可編程功能。
步驟5)中用戶修補(bǔ)后的顏色可在局部圖像空間進(jìn)行再傳播，以實時得到修正后的染色效果。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下
1、本發(fā)明構(gòu)造了具有旋轉(zhuǎn)不變性的視頻/圖像特征空間，用以度量視頻/圖像中像素所在區(qū)域的紋理相似性，由此可對色彩在Gabor特征空間中的傳播和優(yōu)化進(jìn)行有效處理。
2、本發(fā)明的染色方法簡單易用，且支持用戶交互，可通過多遍疊加優(yōu)化的計算，實現(xiàn)視頻顏色的修補(bǔ)與漸進(jìn)染色的優(yōu)化處理，并得到實時顯示。
3、在視頻染色中，整個顏色的修補(bǔ)過程可以完全在圖形硬件GPU平臺上完成，相比于其它染色方法，運(yùn)行速度能得到極大提高。


圖1為采用本發(fā)明的視頻染色方法對河流視頻進(jìn)行染色的效果圖。
圖2為本發(fā)明實施例中的視頻染色方法的流程示意圖。
圖3為本發(fā)明的旋轉(zhuǎn)不變Gabor濾波器與傳統(tǒng)的二維Gabor濾波器的紋理特征鑒別能力比較示意圖。
圖4為采用本發(fā)明方法針對帆船視頻進(jìn)行Gabor流計算，以及根據(jù)Gabor流進(jìn)行的顏色傳播示意圖。
圖5為采用本發(fā)明方法以登山視頻為例根據(jù)幀間累計誤差選擇視頻關(guān)鍵幀的流程圖。
圖6為利用光流方法和本發(fā)明方法對水母視頻色彩傳播誤差進(jìn)行度量的比較示意圖。
圖7為利用光流方法和本發(fā)明方法對攀巖視頻色彩傳播誤差進(jìn)行度量的比較示意圖。
圖8為利用光流方法和本發(fā)明方法對海岸視頻色彩傳播誤差進(jìn)行度量的比較示意圖。
圖9為利用本發(fā)明方法對攀巖視頻進(jìn)行染色的效果圖。
圖10為利用本發(fā)明方法對滑雪視頻進(jìn)行染色的效果圖。
具體實施方式
以下通過實施例并結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)的描述，但不構(gòu)成對本發(fā)明的限制。
視頻染色的實質(zhì)任務(wù)就是將顏色從用戶指定的少量像素向其余顏色未知的灰度 像素進(jìn)行傳播，并傳播到未知灰度的視頻圖像上。而染色的根本任務(wù)是由用戶指定少數(shù)像 素的顏色，然后將顏色分配到(顏色不詳)圖像/視頻的像素中。為此，本發(fā)明基于以下的 觀察結(jié)果提出了本發(fā)明，即視頻中紋理特征或者灰度值相似的像素(紋理，灰度值)一般 有類似的可移植顏色。在此，關(guān)鍵問題是如何量化地度量紋理特征的相似性關(guān)系，并獲得灰 度視頻中的像素相似性。
對此，本發(fā)明構(gòu)建了基于Gabor濾波特征值的像素特征空間，就可以根據(jù)像素的 相似性對顏色進(jìn)行有效的顏色傳播。對于像素顏色在不同幀中的匹配關(guān)系，一種簡單的解 決方案是計算視頻的光流，然后根據(jù)光流沿視頻的時間軸對顏色進(jìn)行傳播。然而這種方法 中，光流計算的誤差常會導(dǎo)致用戶輸入的顏色在染色中發(fā)生混淆。同時，該方法需要通過求 解一個大型的線性系統(tǒng)，計算開銷很大。為此，本發(fā)明建立一種Gabor流，以專門測量顏色 在視頻序列中的傳播誤差，可避免對視頻數(shù)據(jù)進(jìn)行整體優(yōu)化所帶來的大量計算。經(jīng)試驗表 明Gabor流可以很好地表達(dá)視頻中大量像素的運(yùn)動關(guān)系，因此可有效處理色彩傳播的幀間 誤差問題，得到高質(zhì)量的視頻染色效果，如圖1所示的河流視頻中利用Gabor流技術(shù)得到的 染色效果，其中(a)為原始視頻中的一幅圖像，用戶對該圖像的一些像素賦予了顏色，(b) 為根據(jù)用戶賦予的顏色對該原始圖像染色后的效果圖，(c)為是根據(jù)Gabor流顏色在視頻 幀間傳播后的效果圖。
本發(fā)明的視頻染色方法可參見圖2，其步驟包括
a)從原始視頻中提取局部紋理特征；
b)構(gòu)建旋轉(zhuǎn)不變的Gabor特征空間利用視頻的局部紋理特征調(diào)整Gabor濾波器 方向，構(gòu)造具備旋轉(zhuǎn)不變特性的Gabor濾波器,并生成視頻Gabor特征空間,用于染色中的 像素顏色傳播與匹配；
c)計算Gabor流基于能量最小化生成關(guān)于視頻的Gabor流；
d)選擇關(guān)鍵幀利用視頻的Gabor流計算幀間顏色傳播的誤差，誤差累積值超過 了預(yù)設(shè)閾值的幀，選取為視頻染色的關(guān)鍵幀；
e)關(guān)鍵幀染色通過用戶交互操作得到關(guān)鍵幀中部分像素的顏色，然后利用能量 最優(yōu)化原理將這些顏色在關(guān)鍵幀的Gabor特征空間中傳播，直至達(dá)到平衡狀態(tài)；能量最優(yōu) 化原理即能量最小化計算，在求解能量最小化的過程中，其相應(yīng)的方程組求得穩(wěn)定解時即 達(dá)到平衡狀態(tài)。
f)將顏色進(jìn)行幀間傳播按照Gabor流的計算結(jié)果，將關(guān)鍵幀的顏色在視頻幀間 傳播；
g)染色的交互修補(bǔ)對于染色效果存在高誤差的地方，用戶可以通過交互操作對 顏色進(jìn)行修改，并在局部圖像空間進(jìn)行修改顏色的再傳播，以實時得到修正后的染色效果。
下面對上述視頻染色方法做具體的說明。
1.旋轉(zhuǎn)不變Gabor特征空間及Gabor流計算
本發(fā)明的目標(biāo)是建立一個函數(shù)空間，以便有效衡量像素間的紋理相似性。 [B.S. Manjunath and W.-Y. Ma,“Texture features for browsing and retrieval of image data,，’IEEE Trans. Pattern Anal. Mach.1ntell. , vol. 18,no. 8,pp. 837-842,1996.] 提出了用Gabor小波來分析紋理的特征。首先，2維的Gabor小波及其傅里葉空間中的數(shù)學(xué)表達(dá)式為
權(quán)利要求
1.一種基于Gabor特征空間的視頻染色方法，其步驟包括1)利用視頻的紋理特征構(gòu)建旋轉(zhuǎn)不變的Gabor濾波器和Gabor特征空間；2)基于能量最小化生成視頻的Gabor流并選擇關(guān)鍵幀；3)對關(guān)鍵巾貞進(jìn)行染色；4)基于Gabor流的計算結(jié)果將關(guān)鍵幀的顏色在視頻幀間傳播；5)用戶通過交互方式對存在高誤差的染色區(qū)域進(jìn)行修補(bǔ)。
2.如權(quán)利要求1所述的視頻染色方法，其特征在于，所述Gabor濾波器由4個尺度、6 個方向的濾波器組構(gòu)成，其方向的調(diào)整根據(jù)像素所在局部區(qū)域的紋理方向判定算子得到， 并可進(jìn)行降維來壓縮處理。
3.如權(quán)利要求1所述的視頻染色方法，其特征在于，所述Gabor特征空間主要用于對像素的紋理特征相似性進(jìn)行度量計算。
4.如權(quán)利要求1所述的視頻染色方法，其特征在于，基于視頻的Gabor流計算幀間顏色傳播誤差，將誤差累積值超過預(yù)設(shè)閾值的幀選取為所述關(guān)鍵幀。
5.如權(quán)利要求4所述的視頻染色方法，其特征在于，所述幀間顏色傳播采用多分辨率金字塔的方法計算，并通過圖形硬件GPU進(jìn)行加速計算。
6.如權(quán)利要求1所述的視頻染色方法，其特征在于，通過用戶交互操作得到所述關(guān)鍵幀中部分像素的顏色，然后利用能量最優(yōu)化原理將這些顏色在關(guān)鍵幀的Gabor特征空間中傳播。
7.如權(quán)利要求6所述的視頻染色方法，其特征在于，所述對關(guān)鍵幀進(jìn)行染色的方法可用于普通圖像的染色。
8.如權(quán)利要求1所述的視頻染色方法，其特征在于，所述幀間傳播通過相鄰幀間的像素與像素的并行顏色傳播實現(xiàn)，并可以用圖形硬件GPU加速。
9.如權(quán)利要求5或8任一項所述的視頻染色方法，其特征在于，所述GPU采用CUDA并行處理架構(gòu)，具備可編程功能。
10.如權(quán)利要求1所述的視頻染色方法，其特征在于，步驟5)中用戶修補(bǔ)后的顏色可在局部圖像空間進(jìn)行再傳播，以實時得到修正后的染色效果。
全文摘要
本發(fā)明公開了一種基于Gabor特征空間的視頻染色方法。該方法首先利用視頻的紋理特征構(gòu)建旋轉(zhuǎn)不變的Gabor濾波器和Gabor特征空間，然后生成視頻的Gabor流并選取關(guān)鍵幀。染色時先對關(guān)鍵幀進(jìn)行染色，再根據(jù)Gabor流的計算結(jié)果將關(guān)鍵幀的顏色在視頻幀間傳播。對于染色效果存在高誤差的地方，用戶可以通過交互操作對顏色進(jìn)行修改。本發(fā)明的染色方法簡單易用，適用于具有區(qū)域性紋理的各類視頻數(shù)據(jù)，并可以在圖形硬件GPU平臺上完成，運(yùn)行速度快。
文檔編號G06T13/00GK103065347SQ201110326260
公開日2013年4月24日 申請日期2011年10月24日 優(yōu)先權(quán)日2011年10月24日
發(fā)明者盛斌, 孫漢秋, 王文成, 李平 申請人:中國科學(xué)院軟件研究所, 香港中文大學(xué)