一種基于四面體網格的視頻矢量化方法
【技術領域】
[0001] 本發(fā)明屬于計算機圖形學、多媒體信息技術、視頻處理等領域，涉及一種基于四面 體網格的視頻矢量化方法。
【背景技術】
[0002] 基于矢量的圖形內容越來越多的呈現(xiàn)于智能手機、電腦與網絡上。而在人們隨時 隨地獲取信息的推動下，各種各樣的電子設備層出不窮，例如手機、平板電腦、筆記本電腦 等。這些設備的顯示分辨率大小不一，傳統(tǒng)視頻有著既定的分辨率，在這些設備上顯示往往 需要進行有損的縮放操作。而矢量圖形則有著分辨率無關的特性，無論如何縮放都是無損 的，很好的解決了這樣的問題。
[0003] 另一方面，隨著科學技術的高速發(fā)展以及信息量的急速膨脹，個人電子設備的存 儲越發(fā)不能滿足人們的需求，人們需要通過不斷從網絡上獲取信息的方式來滿足自身的需 求，而矢量圖形所具有的數(shù)據(jù)緊湊性能夠很好的滿足高效網絡通信這一需求。
[0004] 網絡素材的廣泛需求推動著網絡素材的制作，傳統(tǒng)的美工制作過程會消耗大量的 人力成本與時間成本，而矢量圖形的可編輯性更高，可以節(jié)省許多人力成本。
[0005] 在矢量圖形的眾多優(yōu)點基礎下，其發(fā)展趨勢不言而喻，網絡上已經有大量的由手 工創(chuàng)作的矢量圖形，同時圖像矢量化方法也得到了一定的發(fā)展，出現(xiàn)了基于三角形網格的 圖像矢量化方法、基于梯度網格的圖像矢量化方法、基于擴散曲線的圖像矢量化方法等一 系列方法。
[0006] 然而對于傳統(tǒng)的視頻來說，單純依靠手工設計將它們轉化為矢量圖形并不現(xiàn)實， 并且視頻對時空一致性的需求使得圖像矢量化的方法并不能很好的應用于視頻。因此需要 一種能夠自動將視頻轉化為矢量圖形的方法，專利200810102127. 9,彩色光柵圖像或視頻 的矢量化方法可以對卡通視頻進行矢量化，也是一種視頻矢量化的方法，但是不能應用于 一般的自然視頻。

【發(fā)明內容】

[0007] 發(fā)明目的：本發(fā)明所要解決的技術問題是針對現(xiàn)有技術的不足，提供一種視頻矢 量化方法，從而能夠將傳統(tǒng)的點陣視頻轉化為矢量視頻。
[0008] 技術方案：本發(fā)明公開了一種基于四面體網格的視頻矢量化方法，其核心在于計 算出原始輸入視頻的四面體網格模型并進行簡化與優(yōu)化，包括以下步驟：
[0009] 步驟1，視頻過分割：使用視頻過分割方法將原始輸入視頻過分割成為超像素，并 為每一個超像素標記標號，并將此標號賦予所有屬于該超像素的像素；
[0010] 步驟2,建立初始四面體網格：將視頻的每一個像素作為頂點，建立一個初始四面 體網格，將每個像素的對應顏色以及標號賦予其對應的頂點；
[0011] 步驟3,分割初始四面體網格：對初始四面體網格中四面體進行分割，使得每一個 四面體的四個頂點都具有同樣的標號；
[0012] 步驟4,簡化初始四面體網格：使用基于邊坍縮的四面體簡化方法，對初始四面體 網格進行簡化細分，得到細分后的控制網格；
[0013] 步驟5,對控制網格進行顏色優(yōu)化：對原始輸入視頻進行采樣，用采樣得到的結果 對控制網格進行顏色優(yōu)化；
[0014] 步驟6,渲染控制網格：把顏色優(yōu)化后的控制網格細分至1至3次以適合目標分辨 率，然后進行渲染。
[0015] 其中，步驟1包括以下步驟：
[0016] 步驟1-1，使用視頻過分割方法，將原始輸入視頻分割為若干塊（任意自然數(shù)）超 像素，原始輸入視頻的每個超像素都得到一個唯一的標號，將此標號賦予所有屬于該超像 素的像素，分割后的超像素包含的每一個像素都擁有原始輸入視頻的紅、綠、藍顏色屬性 (r，g，b)以及新的標號屬性L。
[0017] 步驟2包括以下步驟：
[0018] 步驟2-1，根據(jù)原始輸入視頻每一個像素建立一個頂點，頂點屬性包括像素的位置 信息（x，y，z)，顏色屬性（r，g，b)以及標號屬性L;
[0019] 步驟2-2,對于每8個直接相鄰的頂點，使用Delaunay(德勞內）四面體化方法（參 考文章DeWall:AfastdivideandconquerDelaunaytriangulationalgorithminEd) 在8個頂點組成的正方體之間建立6個四面體，得到一個初始四面體網格。
[0020] 步驟3包括以下步驟：
[0021] 步驟3-1，檢查初始四面體網格中的所有邊，如果一條邊的兩個頂點標號不同，則 在該邊中心新增一個頂點，該頂點的標號為該邊兩個頂點標號的并集；
[0022] 步驟3-2，檢查初始四面體網格中的所有三角形，如果一個三角形的三個頂點標 號均不相同，則在三角形中心新增一個頂點，該頂點的標號為該三角形三個頂點標號的并 集；
[0023] 步驟3-3,檢查初始四面體網格中的所有四面體，如果一個四面體的四個頂點標號 均不相同，則在該四面體的體中心新增一個頂點，該頂點標號為該四面體四個頂點標號的 并集；
[0024] 步驟3-4，使用LatticeCleaving(晶格切割）算法（參考文章Lattice Cleaving:ConformingTetrahedralMeshesofMultimaterialDomainswithBounded Quality)，根據(jù)新增的頂點對四面體網格進行切割產生四面體內部網格邊界，得到一個新 的四面體網格。
[0025] 步驟4包括以下步驟：
[0026] 步驟4-1，對于四面體網格中的每一個四面體T，計算其超平面方程系數(shù)向量h，具 體過程如下：
[0027] 對于四面體網格中的每一個頂點點V，其坐標表示為四維向量[x，y，z，c]T，其中X、 y、z為該頂點v在原始輸入視頻中的坐標，c為其顏色值。令四面體的四個頂點分別為四維 向里Vi、V。、V3、V4，四會隹向里V^2V2Vi'VigV3Vi、Vi4V^ ?nCiTOSS(V12，V13，V14) '
[0028] 其中Cross(v12,v13,v14)表示四維向量v12、v13、v14的叉積，其結果n是一個垂直于 V12、V13、V14的四維向量，令n1、n2、n3、n4表示n的四個元素，即n=[n1，n2,n3,nJ。
[0029] 令d=-Dot(n,Vi)，其中Dot(n,v)表示n與乂丨的點積。
[0030] 則四面體T的超平面方程系數(shù)向量h= [ni，n2,n3,n4,d]，即四面體T所在超平面 n1x+n2y+n3z+n4c+d=0〇
[0031] 步驟4-2,對于四面體網格中的每一個頂點v，將其表示為齊次坐標形式v= [X，y,z,c, 1]T，計算其Q矩陣及其二次誤差A(v):
[0032] Q=heH(v)hh，
[0033] A(v) =EhGH(v) (hTv)2=vtQv,
[0034] 其中H(v)為頂點v所連接的所有四面體的集合；
[0035] 步驟4-3，計算四面體網格中每一條邊eij的坍縮最優(yōu)位置v#與坍縮代價 Cost(\)，坍縮最優(yōu)位置/通過求解以下優(yōu)化方程得出：
[0037] 其中％與Q」分別為邊eu兩個頂點v占v」的Q矩陣，令：
[0039] 其中qn~q55均為Qu的元素，令：
[0042] 則坍縮最優(yōu)位置/=A^
[0043] i丹縮代價Cost(ey計算如下：
[0044] Cost(eiJ) =v*T (Qj+Qj)v*；
[0045] 步驟4-4,為保持因步驟3-4中對四面體進行切割而產生的內部網格邊界，將一端 在內部網格邊界另一端不在內部網格邊界上的邊排除在外，對剩余所有的邊依照其坍縮代 價Cost進行排序，對坍縮代價Cost最小的邊進行坍縮操作，將坍縮成的頂點設置到其最 優(yōu)位置上/，合并的兩個頂點的拓撲連接，重復進行本步驟，直至剩余頂點數(shù)達到預先 設定數(shù)量（任意自然數(shù)）或者沒有符合條件的邊可供坍縮為止，從而得到坍縮后的控制網 格；
[0046] 步驟4-5,對i丹縮后的控制網格進行細分（參考文章Anewsolidsubdivision schemebasedonboxsplines)，然后通過求解以下優(yōu)化方程，對控制網格進行優(yōu)化：
[0047]minvE(v) =EF (v) + 入EL (v)，
[0050] 其中EF(v)與分別為誤差能量項與拉普拉斯能量項，參數(shù)A(任意實數(shù)）用 以調節(jié)它們之間的權重，在EF (v)的定義中，vk為控制網格細分后的頂點，4為vk在初始網 格上的投影，4在初始網格上，vk在細分后的控制網格上4是vk的優(yōu)化目標。這里是使用 控制網格的細分網格把控制網格優(yōu)化得更相似于初始網格，被優(yōu)化的是控制網格。Ns為控 制網格細分后的頂點數(shù)目，k取值1~Ns，ak表示控制網格中的頂點與細分網格中的頂點 的線性組合關系，在Ejv)的定義中，Vi為控制網格的頂點，巧為Vi的拉普拉斯坐標，N。為 控制網格的頂點數(shù)目，
表示求解使得E(v)最小的V，該優(yōu)化問題可以通過最小二 乘法求解。。
[0051] 步驟5包括：使用細分后的控制網格對原始輸入視頻進行采樣，求解以下優(yōu)化方 程以優(yōu)化控制網格的頂點顏色：
[0052] 其中，
：表示求解使得E(c)最小的顏色值c，ck為控制網格細分后的頂點 顏色，|| * ||i:表示2范數(shù)的平方，即歐氏距離的平方，為Ck在原始輸入視頻上采樣的顏 色，該優(yōu)化問題可以通過最小二乘法求解。
[0053] 步驟6包括：將顏色優(yōu)化后的控制