專利名稱：基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于語義的細縫裁剪和非均勻映射 相結(jié)合的圖像自適應(yīng)的方法的研究及實現(xiàn)。
背景技術(shù)：
隨著移動設(shè)備的普及，電視、筆記本電腦、PDA、手機等適用于不同網(wǎng)絡(luò)的終端設(shè)備 不斷換代更新，不同類型不同尺寸的顯示終端不斷涌現(xiàn)以適應(yīng)各種不用的用戶需求。為了 保證持不同設(shè)備的用戶都能夠舒適地觀看同樣的圖像內(nèi)容，這就要求圖像內(nèi)容能夠自適應(yīng) 于不同尺寸、不同比例的用戶終端，研究保持圖像主要內(nèi)容的自適應(yīng)技術(shù)具有重要的應(yīng)用
眉、ο目前主要的圖像大小自適應(yīng)方法有線性變形(Scaling)方法，裁切(Cropping)方 法，非均勻映射(Non-homogeneous Warping)方法，基于細縫裁切的方法、基于前景對象的
方法等。線性變形方法是最簡單的圖像大小自適應(yīng)方法，該方法沒有考慮圖片內(nèi)容，一旦 由不同比例縮放，往往會造成圖片的變形，或者關(guān)鍵對象由于擠壓或拉長帶來的比例失真寸。裁切方法是將圖像的重要區(qū)域標(biāo)定后再進行等比例縮放。這一方法通常和圖像感 興趣區(qū)檢測相結(jié)合，先確定出哪些區(qū)域?qū)儆谥匾獏^(qū)域，然后裁切并移除不重要的內(nèi)容，使感 興趣區(qū)域的比例變大。其中重要內(nèi)容區(qū)域的檢測十分重要，臉部的檢測等常作為檢測的重 點。另外，該方法只能保留局部內(nèi)容，當(dāng)重要區(qū)域位于圖像兩端時，其必然要保留一邊而舍 棄另一邊，導(dǎo)致重要信息丟失。二維的非均勻映射方法首先由用戶設(shè)定一些需要保持形狀的感興趣區(qū)域，在進行 圖像縮放時，感興趣區(qū)基本上采取相似變換，而其它區(qū)域則采取非線性變換，當(dāng)然感興趣區(qū) 形狀保持的代價是其它背景區(qū)域更大的變形。基于細縫裁減方法是自動尋找圖像中的水平或垂直方向單調(diào)、連通的最低能量 線，通過去除/增加最低能量線來壓縮/放大圖像，這一方法的特點是能夠最大限度的保持 圖像中的重要區(qū)域，去除最低能量區(qū)域。在此基礎(chǔ)上，2008年Rubinstein等人提出了改進 方案，將能量計算由原來的后向能量改為前向能量，這一改進較好的保持了圖像中的邊緣 和細節(jié)?；趯ο蟮?Object-Based)圖像或視頻的編輯方法，分離出圖像中的前景和背 景分別進行縮放后再合成新的圖像。這類方法的瓶頸在于普適的對象分割技術(shù)和魯棒性的 前景背景分類技術(shù)還不成熟，這也導(dǎo)致該類方法推廣應(yīng)用存在局限性。目前各種方法有各自的優(yōu)缺點和局限性，我們發(fā)明一種圖像大小自適應(yīng)方法，它 融合了細縫裁切方法和非均勻映射方法的優(yōu)點，首先采取細縫裁減方法，同時監(jiān)測重要信 息變形的度量值，當(dāng)變形超過設(shè)定指標(biāo)時，終止細縫裁減方法，切換為非均勻映射方法，不僅能夠?qū)崿F(xiàn)圖像大小的自適應(yīng)，同時能夠更多的保持圖像的語義內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明的目的在于，通過提供一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖 像自適應(yīng)方法，適用于不同尺寸用戶終端的圖像自適應(yīng)技術(shù)，使圖像能夠自適應(yīng)地在不同 終端上顯示圖像內(nèi)容，盡可能多的保持原始圖像中語義內(nèi)容，保持關(guān)鍵對象無畸變，保持圖 像中的重要結(jié)構(gòu)即空間位置關(guān)系相對不變，以保證最佳主觀觀賞質(zhì)量。本發(fā)明是采用以下技術(shù)手段實現(xiàn)的本發(fā)明提供了一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法。 該方法包括A、讀入視頻序列圖像，接下來分別對每一幀M*N大小的圖像做細縫裁切和非均勻映。B、針對圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底 層特征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)。進一步地，所述步驟B具體包括Bi、對輸入的當(dāng)前圖像幀劃分語義區(qū)域并標(biāo)定重要區(qū)和非重要區(qū)的語義邊緣。語 義區(qū)域包括場地區(qū)域、運動員區(qū)域、記分牌區(qū)域、關(guān)鍵對象區(qū)域、觀眾區(qū)域、廣告牌區(qū)域等常 用體育視頻語義區(qū)域。然后根據(jù)語義重要性自動確定各個不同的語義區(qū)及邊緣區(qū)內(nèi)的權(quán) 值，得到當(dāng)前幀的語義權(quán)值函數(shù)。語義邊緣用來檢測重要信息變形以判定何時結(jié)束細縫裁 切方法。B2、計算當(dāng)前圖像幀中每一個像素點的灰度值，得到圖像幀的灰度函數(shù)。計算源圖 像每一個像素點灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)。B3、計算源圖像每一個像素點的能量值，能量值采用梯度能量來計算，得到幀圖像 的能量函數(shù)。根據(jù)梯度能量值計算前向能量值。計算當(dāng)前圖像幀中每一個像素點前向能量 值和語義權(quán)值的乘積，得到當(dāng)前圖像幀的加權(quán)能量函數(shù)。進一步地，所述步驟Bl具體包括31、請用戶給各語義區(qū)域重要性打分(1-10)，統(tǒng)計共m處語義區(qū)域重要性的分布
Psi (Im), i = 1, 2, . . . m,并計算其均值{Ave_Imsl, Ave_ImS2,......Ave_ImSm}禾口方差{vmsl,
vmS2,......vmSm}。確定語義區(qū)域 Si 的有效范圍[Ave_ImSi_3vmSi, Ave_ImSi+3vmSi]。32、根據(jù)語義重要性自動確定語義加權(quán)值。設(shè)底層能量函數(shù)計算公式Φ (ρ)，隨機 選取一些訓(xùn)練視頻幀，統(tǒng)計語義區(qū)域Si的能量分布值pSi (Eng)語義區(qū)域Si的重要性權(quán)值通過如下公式計算
至此，我們得到圖像中的相應(yīng)像素點的語義重要性權(quán)值w(i, j) = Iffeightsi, (i，j) e Si}。C、逐步去除或者增加當(dāng)前圖像幀中的細縫即低能量線來實現(xiàn)圖像大小的自適應(yīng)。 根據(jù)重要區(qū)和非重要區(qū)的語義邊緣隨時監(jiān)測重要信息變形，當(dāng)這一度量達到某個閾值時即 停止細縫算法。
5
進一步地，所述步驟C具體包括Cl、設(shè)定輸出目標(biāo)圖像的長寬大小。C2、初始化圖像寬度和高度，迭代次數(shù)k = 0。然后進行第k次迭代，計算圖像的行 代價函數(shù)和列代價函數(shù)。將所有行/列的代價函數(shù)進行對比，得到最小代價函數(shù)，設(shè)第1行 為CostK1。代價函數(shù)CostK1對應(yīng)的路徑path(xy，y)即為低能量線，去除圖像I (x，y)和語 義加權(quán)圖w(i，j)中低能量線對應(yīng)位置的像素點。C3、進一步根據(jù)低能量線path (xy，y)修正重要邊緣描述子。對重要邊緣Edgejmt 的第k個點(Sk，yk)，如果y = yk且Xk = Xy則刪除該點，邊緣長度減1 ;如果y = yk且Xk > xyJJ xk = xk-l °C4、計算重要信息變形的度量值。如果重要信息變形的度量值超過設(shè)定閾值指標(biāo)， 則終止細縫裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Cl中進行第k+1 次迭代計算。進一步地，所述步驟C4具體包括重要信息變形采取重要區(qū)域邊緣即場地邊緣變形來度量。設(shè)場地邊緣描述子為Edge_imt = {(x1 Y1), (x2, y2),......，(χη, yn)}, t = 1,2. .. T隨著圖像放大或縮小，邊緣Edgejmt的方向應(yīng)該保持不變，而是平行移動。換句 話講，在邊緣對應(yīng)的直線方程Lt :Atx+Bty+Ct = 0中，At和Bt保持不變，Ct隨著圖像的縮放 而變化。用當(dāng)前圖像中邊緣Edgejmt上的所有象素點采用最小均方誤差方法計算Ct即可 確定直線方程。進一步，計算邊緣Edgejmt所有點與擬合直線Lt的垂直距離(即點與擬合 直線的偏移量)
(6)尋找最大偏移量作為重要信息變形指標(biāo)
(7)變形度量準(zhǔn)則采用閾值法，通過綜合各種類型的直線變形訓(xùn)練得到閾值。如果重 要信息的度量值變形大于設(shè)定閾值，停止細縫裁減。D、當(dāng)重要信息變形的度量值大于設(shè)定閾值時細縫裁減停止，接下來采用非均勻映 射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為Cl中設(shè)定的目標(biāo)。非均勻映射過程分 為兩個層次，先處理不包含記分牌的圖像區(qū)域即自然圖像，然后處理記分牌區(qū)域即記分牌 圖像。細縫裁減方法的隨機變形對以文字為主的記分牌區(qū)域有很大影響，記分牌區(qū)域直接 從原始圖像的記分牌圖像進行映射。自然圖像則從細縫裁減后的圖像進行映射。 進一步地，所述步驟D具體包括D1、根據(jù)A步驟中得到的語義重要性統(tǒng)計值將自然圖像分為重要區(qū)域和不重要區(qū) 域，設(shè)定閾值將各語義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域。D2、通過邊緣檢測來得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分 牌圖像的非重要區(qū)域。D3、對包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進行非均勻映 射。先處理自然圖像，得到記分牌區(qū)域的目標(biāo)大小。以此為目標(biāo)，采用相同的方法對原始記分牌圖像進行非均勻映射，實現(xiàn)記分牌圖像自適應(yīng)。最后將其疊加到自然圖像的自適應(yīng)結(jié) 果中，得到最終的自適應(yīng)圖像。進一步地，所述步驟D3具體包括D31、圖像共包含d個重要區(qū)域F = F1 U F2 U，...UFd。將圖像分為K個矩形柵格 區(qū)域，自然圖像對應(yīng)的柵格較大，記分牌圖像對應(yīng)的柵格較小。D32、設(shè)原始柵格頂點經(jīng)過非均勻映射后為V' =Iv' 1； ν' 2, ...ν' Ν}，重要區(qū) 域比例因子為SFlm，不重要區(qū)域比例因子為SFNIm。結(jié)合兩個比例因子和重要區(qū)域F，得到相 應(yīng)頂點的重要性權(quán)值SI (Vi)。D33、計算V' =Iv' 1； ν' 2，···ν' Ν}，使其在重要性權(quán)值SI (Vi)的作用下盡可 能接近原始圖像中的柵格頂點V = Iv1, V2, . . . νΝ}。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下明顯的優(yōu)勢和有益效果。本發(fā)明一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，將目前 比較好的兩種方法——細縫裁減方法和非均勻映射方法有機結(jié)合，充分發(fā)揮各自的優(yōu)點， 實現(xiàn)綜合最優(yōu)的圖像視頻自適應(yīng)結(jié)果；并且引入了語義加權(quán)的能量函數(shù)計算，實現(xiàn)基于語 義內(nèi)容的圖像大小自適應(yīng)。使圖像能夠自適應(yīng)地在不同終端上顯示圖像內(nèi)容，盡可能多的 保持了原始圖像中語義內(nèi)容，保持關(guān)鍵對象無畸變，保持圖像中的重要結(jié)構(gòu)即空間位置關(guān) 系相對不變，保證了最佳的主觀觀賞質(zhì)量。


圖1為實施例中基于語義的細縫與非均勻映射方法結(jié)合方法的流程圖；圖2為實施例中方法的詳細流程圖；圖3為實施例中前向能量三種可能的路徑和相應(yīng)能量值變化；圖4為實施例中細縫方法操作步驟；圖5為實施例中輸入圖像幀。
具體實施例方式下面將結(jié)合附圖及實施例對本發(fā)明的技術(shù)方案進行更詳細的說明。技術(shù)方案的整體流程如說明書附圖1所示，本實施例是針對體育視頻中的籃球視 頻進行的，源籃球圖像幀大小為288*352像素的BMP位圖。結(jié)合體育視頻中間層語義分析 結(jié)果，針對圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底層特 征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)。接下來利用前向能量的細縫裁減方法 去除圖像中的不重要信息，同時用重要語義邊緣的變化度量重要信息變形，當(dāng)變形超過設(shè) 定指標(biāo)時終止細縫裁減方法，采用非均勻映射方法得到目標(biāo)大小的圖像。技術(shù)方案的詳細 流程圖如說明書附圖2所示。A、讀入籃球視頻序列圖像，其高為288像素，寬為352像素。B、語義加權(quán)能量函數(shù)計算。首先闡述一下語義的概念。人們提出了體育視頻的三層語義結(jié)構(gòu)底層特征、中間 層特征和高層語義。此底層特征就是直接由圖像像素值提取的顏色、形狀、紋理等特征及其 組合。高層語義即人們理解的圖像內(nèi)容，目前還沒有達到自動提取的程度。中間層特征可以歸結(jié)為簡單的語義特征，他們基于底層特征、結(jié)合領(lǐng)域知識而得到，一般可以自動提取。本實施例中采用的是中間層語義。體育視頻中比賽場地一般都包含較少細節(jié)信 息，用傳統(tǒng)的能量函數(shù)往往會產(chǎn)生與人們的理解不完全一致的結(jié)果。我們提出了一種語義 加權(quán)能量函數(shù)計算方法，結(jié)合中間層語義特征對傳統(tǒng)的能量函數(shù)進行修正，以得到的能量 函數(shù)能夠更好的表示圖像語義。所述步驟B具體包括Bi、對輸入的當(dāng)前圖像幀劃分語義區(qū)域并標(biāo)定重要區(qū)和非重要區(qū)的語義邊緣。本 實施例中語義區(qū)域包括場地區(qū)域、運動員區(qū)域、記分牌區(qū)域、觀眾區(qū)和廣告牌區(qū)域，見說明 書附圖5 (黑色三角和白色三角為兩隊球員，黑色圓點為籃球，白色菱形為裁判人員)。然后 根據(jù)語義重要性自動確定各個不同的語義區(qū)及邊緣區(qū)內(nèi)的權(quán)值，場地區(qū)域權(quán)值為5、運動員 區(qū)域權(quán)值為6、記分牌區(qū)域為7、觀眾區(qū)和廣告牌區(qū)域為1，得到當(dāng)前幀的語義權(quán)值函數(shù)。B2、根據(jù)當(dāng)前圖像幀中每一個像素點的R、G、B分量值計算灰度值，根據(jù)灰度計算 公式為gray = 0. 299*R+0. 587*G+0. 114*B，可以得到圖像幀的灰度函數(shù)。計算源圖像每一 個像素點灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)。B3、計算源圖像每一個像素點的能量值，我們希望能量值能夠表征圖像中 像素點的重要程度，本實施方式采用梯度值這種簡單有效的方式來計算能量值并再 進一步用語義權(quán)值對其修正。圖像中像素的灰度值為I(i，j)，該點的梯度能量即 <i,j) =I il(i,j) I +1 il(i,j I。梯度值越大，能量值越大。為了更好的表征像素點的重要程度，我們提出采用語義加權(quán)的能量函數(shù)改進算 法，在圖像大小縮放的過程中更加有助于保護圖像當(dāng)中的重要語義區(qū)域及邊緣。計算當(dāng)前 圖像幀中每一個像素點能量值和語義權(quán)值的乘積，得到當(dāng)前圖像幀的加權(quán)能量函數(shù)。語義 加權(quán)能量值=梯度能量值*語義權(quán)值進一步地，所述步驟Bl具體包括31、人們對于不同語義區(qū)域重要性理解有一定的共性，但也存在差別。忽略較小差 別，提取共性，并將其與圖像內(nèi)容重要性關(guān)聯(lián)起來以得到與人類理解相符合的結(jié)果?；诖?我們發(fā)放調(diào)查問卷請用戶給各語義區(qū)域重要性打分(1-10)，統(tǒng)計共m處語義區(qū)域重要性的
分布 pSi(Im)，i = 1，2，...m，并計算其均值{Ave_Imsl, Ave_ImS2,......Ave_ImsJ 和方差
{vmsl, vmS2,......vmsJ。確定語義區(qū)域 Si 的有效范圍[Ave_ImSi-3vmSi, Ave_ImSi+3vmSi]。32、根據(jù)語義重要性自動確定語義加權(quán)值。設(shè)底層能量函數(shù)計算公式Φ (ρ)，隨機 選取一些訓(xùn)練視頻幀，統(tǒng)計語義區(qū)域Si的能量分布值pSi (Eng)語義區(qū)域Si的重要性權(quán)值通過公式(1)計算 至此，得到圖像中的相應(yīng)像素點的語義重要性權(quán)值w(i, j) = Iffeightsi, (i，j) e Si}。C、采用細縫增刪方法逐步去除或者增加當(dāng)前圖像幀中的細縫即低能量線來實現(xiàn) 圖像大小的自適應(yīng)。隨時監(jiān)測重要信息變形的度量值，當(dāng)這一度量達到某個閾值時即停止 細縫算法，方法如說明書附圖4所示，具體說明見下面步驟。
進一步地，所述步驟C具體包括Cl、設(shè)定輸出目標(biāo)圖像的長寬大小。通過目標(biāo)圖像和源圖像長寬的比對，我們可 以得到我們將在水平方向和垂直方向改變多少尺寸。本實施例設(shè)定輸出目標(biāo)圖像大小為 176*144，即長度和寬度各減少一半。C2、細縫方法的思想是從圖像中尋找一條能量最小的垂直或水平縫隙，將找到的 縫隙上所有的像素點刪除或復(fù)制以實現(xiàn)圖像尺寸減小或增大。其中垂直或水平縫隙是指圖像中一條自頂向下或自左向右的曲線，圖像中的每一 行或列有且僅有一個像素點在這條曲線上，且曲線上任何相鄰兩行的像素點是鄰接的?？p 隙的能量被定義為縫隙上所有像素點的能量之和。如何尋找這條細縫是很重要的一個步驟。以尋找垂直方向細縫為例，基于內(nèi)容的 一般方法采用的是，尋找一條自頂向下的曲線即細縫，它的能量為所有它上面能量的和，刪
除或者復(fù)制它。我們計算圖像中所有像素點的能量的平均值為‘萬ζΙ μ〗，·/)，當(dāng)我
my.n
們?nèi)我庖瞥鱿袼氐臅r候，這個圖像中的能量平均值;^應(yīng)該保持不變。當(dāng)移出地能量線上 的像素的時候，基于內(nèi)容的一般方法會使能量平均值增加?；趦?nèi)容的一般方法對大部分 圖像是可用的，但是忽略了能量的增加。我們注意到這樣的變化，當(dāng)細縫移出了，原來不相 鄰的像素變成了鄰居，新的鄰居產(chǎn)生了新的邊緣。于是本實施例采用了如下方法，即前向能
量方法。尋找細縫，當(dāng)它移出后圖像增加的能量最小。這樣的細縫的能量不一定是最小的， 但是當(dāng)它刪除或者復(fù)制后引起最小的假象，更好的保護圖像的語義內(nèi)容。新的邊緣的能量為新鄰居的能量差。考慮到細縫的連續(xù)性，以及算垂直細縫為例 列出了所有的三種情況，如說明說附圖3所示移出像素Piij有三種路徑可以實現(xiàn)，從PiH1P^j或者PH, j+1到Pi,」即從左上方、 正上方、右上方到Pi,」三種路徑。當(dāng)移出兩個像素點后，產(chǎn)生新的邊緣，邊緣值分別為CLeft (i，j) = I(i, j+1) -I (i，j-1) I +1) I (i-1，j) -I (i，j-1)Cup (i，j) = I I (i，j+1) "I (i，j-1)CEight (i，j) = I (i，j+1) -I (i，j-1) I +11 (i-1，j) -I (i，j+1)當(dāng)然，會將上述的語義權(quán)值與其加權(quán)，來更好的保護圖像的語義內(nèi)容，即將像素的 每一點的語義權(quán)值w(i，j)與該點的邊緣值點積，如下CLeft (i，j) = w(i, j+1) I (i，j+1) -w (i，j-1) I (i，j-1) | +1 w (i-1，j) I (i-1，j) ι (i， j-l)I(i，j-1)Cup(i，j) = w(i, j+1) I (i，j+1)-w(i，j-1) I (i，j-1)CEight (i，j) = |w(i, j+1) I (i，j+1) -w (i，j-1) I (i，j-1) | +1 w (i-1，j) I (i-1，j) ι (i， j+l)I(i，j+1)需要說明的是，要特別考慮一些特殊的點，當(dāng)計算水平的縫隙時，圖像的起始點、 第一行、第一列以及最后一行；當(dāng)計算垂直的縫隙的時候，圖像的起始點、第一行、第一列以 及最后一列。例如在計算垂直縫隙的時候，圖像的第一行，用相鄰的點的權(quán)值和灰度值代替 不存在的鄰居點的權(quán)值和灰度值。即 CLeft (i，j) = w(i, j+1) I (i，j+1) -w (i，j) I (i，j) I +1 w (i-1，j) I (i-1，j) ι (i，j)I(i，j)Cup (i，j) = w(i, j+1) I (i，j+1) -w(i，j) I (i，j)CEight(i, j) = w(i, j+l)I(i, j+l)-w(i, j)I(i，j) +|w(i-l, j)I(i_l，j)_w(i， j+l)I(i，j+1)三條路徑中的Qeft (i，j)，Cup (i，j)，CEight(i, j)，接下來就要尋找一條水平或者垂 直的細縫，這條細縫上的能量值為自頂向下或者自左向右的Qrft(i，j)，CUp(i，j), CEight(i, j)的疊加的最小值記為M(i，j)。即采用動態(tài)規(guī)劃的方法求解前向能量最小細縫，具體做法 為初始化圖像寬度和高度，迭代次數(shù)k = 0。然后進行第k次迭代，計算圖像的行代 價函數(shù)和列代價函數(shù)，以列為例，代價函數(shù)的計算通過以下公式循環(huán)迭代得到 求解后我們得到最小的列代價函數(shù)，我們記住它的列號。同理計算水平方向的細 縫的代價函數(shù)，記住它得行號。將所有行/列的代價函數(shù)進行對比，得到最小代價函數(shù)，設(shè) 第1行為Costlil，設(shè)第1行為CostK1。代價函數(shù)CostK1對應(yīng)的路徑path(xy，y)即為低能量 線，去除圖像I(x，y)和語義加權(quán)圖w(i，j)中低能量線對應(yīng)位置的像素點。C3、進一步根據(jù)低能量線path (xy，y)修正重要邊緣描述子。對重要邊緣Edgejmt 的第k個點(Xk，yk)，如果y = yk且Xk = Xy則刪除該點，邊緣長度減1 ;如果y = yk且Xk > xyJJ xk = xk-l °C4、計算重要信息變形的度量值。如果重要信息變形的度量值超過設(shè)定閾值指標(biāo)， 則終止細縫裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Cl中進行第k+1 次迭代計算。進一步地，所述步驟C4具體包括重要信息變形采取重要區(qū)域邊緣即場地邊緣變形來度量。設(shè)場地邊緣描述子為Edge_imt = {(x1 J1), (x2, y2),......, (χη, yn)}, t = 1,2. ·· T根據(jù)本實施例中采用的圖像的特點，我們采用兩條場地邊緣Edgejm1和Edge_ im2，他們的坐標(biāo)點分別為:A(119,102)，B(351，131) ；C(0,169)，A(119，102)。根據(jù)坐標(biāo)點A，B, C我們計算得到直線AB即L1 =A1WByC1 = 0，直線AC即L2 A2x+B2y+C2 = 0。隨著圖像放大或縮小，兩條邊緣的方向保持不變，而是平行移動。換句話講，在邊 緣對應(yīng)的直線方程 L1 -Λ,χ+^y+C, = 0，L2 :A2x+B2y+C2 = 0 中，A1, A2 和 B1, B2 保持不變，C1,， C2隨著圖像的縮放而變化。用當(dāng)前圖像中邊緣Edgejmt上的所有象素點采用最小均方誤差方法計算Ct確定 直線方程。進一步，計算邊緣Edgejmt所有點與擬合直線Lt的垂直距離(即點與擬合直線的 偏移量)
Γ η , \A^m+Btym+c\ 尋找最大偏移量作為重要信息變形指標(biāo)^ = maxWl \t = \,..T,m = \,..n}變形度量準(zhǔn)則采用閾值法，通過綜合各種類型的直線變形訓(xùn)練得到閾值。本實施 例中的閾值通過實驗設(shè)定為1.5。如果重要信息變形的度量值大于設(shè)定閾值，停止細縫裁 減。D、當(dāng)重要信息變形的度量值大于設(shè)定閾值時細縫裁減停止，接下來采用非均勻映 射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為Cl中設(shè)定的目標(biāo)。將非均勻映射過程 分為兩個層次，首先處理不包含記分牌的圖像區(qū)域即自然圖像，然后處理記分牌區(qū)域即記 分牌圖像。細縫裁減方法的隨機變形對以文字為主的記分牌區(qū)域有很大影響，記分牌區(qū)域 直接從原始圖像的記分牌圖像進行映射。自然圖像則從細縫裁減后的圖像進行映射。進一步地，所述步驟D具體包括D1、根據(jù)A步驟中得到的語義重要性統(tǒng)計值將自然圖像分為重要區(qū)域和不重要區(qū) 域，設(shè)定閾值將各語義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域。D2、通過邊緣檢測來得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分 牌圖像的非重要區(qū)域。D3、對包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進行非均勻映 射。先處理自然圖像，得到記分牌區(qū)域的目標(biāo)大小。以此為目標(biāo)，采用相同的方法對原始記 分牌圖像進行非均勻映射，實現(xiàn)記分牌圖像自適應(yīng)。最后將其疊加到自然圖像的自適應(yīng)結(jié) 果中，得到最終的自適應(yīng)圖像。進一步地，所述步驟D3具體包括D31、圖像共包含d個重要區(qū)域F = F1UF2U，... U Fd。將圖像分為K個矩形柵 格區(qū)域，自然圖像對應(yīng)的柵格較大，記分牌圖像對應(yīng)的柵格較小。D32、設(shè)原始柵格頂點經(jīng)過非均勻映射后為V' ={ν' ι;ν' 2.v' N}，重要區(qū)域比 例因子為SFlm，不重要區(qū)域比例因子為SFNIm。重要區(qū)域的比例因子分為行重要比例因子和 列重要比例因子；行重要比例因子為目標(biāo)圖像寬度除以每行的重要區(qū)域象素數(shù)，列重要比 例因子為目標(biāo)圖像高度除以每列的重要區(qū)域象素數(shù)。綜合行與列重要比例因子綜合求最大 得到重要區(qū)域比例因子為SFlm，同理得到不重要區(qū)域比例因子。結(jié)合兩個比例因子和重要 區(qū)域F，得到相應(yīng)頂點的重要性權(quán)值SI (Vi)。D33、計算V' =Iv' 1； ν' 2,...v' N}，使其在重要性權(quán)值SI (Vi)的作用下盡可 能接近原始圖像中的柵格頂點V = Iv1, V2, . . . vN}。
權(quán)利要求
一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，包括以下步驟A、讀入視頻序列圖像，對當(dāng)前圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底層特征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)；B、采用細縫裁剪方法逐步去除或者增加當(dāng)前語義加權(quán)的圖像幀中的細縫即低能量線來實現(xiàn)圖像大小的自適應(yīng)；隨時監(jiān)測重要信息變形，當(dāng)這一度量達到某個閾值時即停止細縫算法；C、當(dāng)重要信息變形大于設(shè)定閾值時細縫裁減停止，采用非均勻映射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為設(shè)定的目標(biāo)；非均勻映射過程分為兩個層次，首先處理不包含記分牌的圖像區(qū)域即自然圖像，從細縫裁減后的圖像進行映射；然后處理記分牌區(qū)域即記分牌圖像，直接從原始圖像的記分牌圖像進行映射。
2.根據(jù)權(quán)利要求1所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟A具體包括Al、對輸入的當(dāng)前圖像幀劃分語義區(qū)域并標(biāo)定重要區(qū)和非重要區(qū)的語義邊緣；語義區(qū) 域包括場地區(qū)域、運動員區(qū)域、記分牌區(qū)域、關(guān)鍵對象區(qū)域、觀眾區(qū)域、廣告牌區(qū)域等常用體 育視頻語義區(qū)域；根據(jù)語義重要性自動確定各個不同的語義區(qū)及邊緣區(qū)內(nèi)的權(quán)值，得到當(dāng) 前幀的語義權(quán)值函數(shù)；A2、計算當(dāng)前圖像幀中每一個像素點的灰度值，得到圖像幀的灰度函數(shù)；計算源圖像每 一個像素點灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)；A3、計算源圖像每一個像素點的能量值，能量值采用梯度能量來計算，得到幀圖像的能 量函數(shù)；根據(jù)梯度能量值計算前向能量值；計算當(dāng)前圖像幀中每一個像素點前向能量值和 語義權(quán)值的乘積，得到當(dāng)前圖像幀的加權(quán)能量函數(shù)。
3.根據(jù)權(quán)利要求2所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟Al具體包括31、請用戶給各語義區(qū)域重要性打分，統(tǒng)計共m處語義區(qū)域重要性的分布，并計算其均 值和方差，根據(jù)均值和方差確定語義區(qū)域Si的有效范圍；32、根據(jù)語義重要性自動確定語義加權(quán)值；設(shè)底層能量函數(shù)計算公式Φ(ρ)，隨機選取 一些訓(xùn)練視頻幀，統(tǒng)計語義區(qū)域Si的能量分布值pSi (Eng)，語義區(qū)域Si的重要性權(quán)值通過公式計算，i4ve_ImSl-+3v7Ma OOWeightsi = J \pSi (Im)jPs, (Eng)(lm/ Eng)d]mdEngAve_]mSi Svmsj 0求出圖像中的相應(yīng)像素點的語義重要性權(quán)值為W(i，j)。
4.根據(jù)權(quán)利要求1所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟B具體包括Bi、設(shè)定輸出目標(biāo)圖像的長寬大??；B2、計算圖像的行代價函數(shù)和列代價函數(shù)；將所有行/列的代價函數(shù)進行對比，得到最 小代價函數(shù)，其對應(yīng)的路徑即為低能量線，去除圖像和語義加權(quán)圖w(i，j)中低能量線對應(yīng) 位置的像素點；B3、根據(jù)低能量線path(Xy，y)修正重要邊緣描述子；對重要邊緣Edgejmt的第k個點(xk, yk)，如果y = yk且xk = xy則刪除該點，邊緣長度減1 ；如果y = yk且xk > xy，則xk = Xk-I ；B4、計算重要信息變形的度量值；如果重要信息度量值超過設(shè)定閾值指標(biāo)，則終止細縫 裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Bl中進行第k+Ι次迭代計算。
5.根據(jù)權(quán)利要求4所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟B4具體包括重要信息變形的度量值采取重要區(qū)域邊緣即場地邊緣變形來度量；設(shè)場地邊緣描述子為Edge_imt = {(X1, Y1), (x2, y2),......, (χη, yn)}, t = 1, 2. . . T隨著圖像放大或縮小，邊緣Edgejmt的方向保持不變，而是平行移動；在邊緣對應(yīng)的直 線方程It :Atx+Bty+Ct = 0中，At和Bt保持不變，Ct隨著圖像的縮放而變化；用當(dāng)前圖像中 邊緣Edgejmt上的所有象素點采用最小均方誤差方法計算Ct確定直線方程；進一步，計算 邊緣Edgejmt所有點與擬合直線Lt的垂直距離(即點與擬合直線的偏移量)d, JA^Btym+Ct\尋找最大偏移量作為重要信息變形指標(biāo)χ = md^{d'm \ t = \,..T,m-\,..n}變形度量準(zhǔn)則采用閾值法，通過綜合各種類型的直線變形訓(xùn)練得到閾值；如果重要信 息變形大于設(shè)定閾值，停止細縫裁減。
6.根據(jù)權(quán)利要求1所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟C具體包括Cl、根據(jù)A步驟中得到的語義重要性統(tǒng)計值將自然圖像分為重要區(qū)域和不重要區(qū)域， 設(shè)定閾值將各語義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域；C2、通過邊緣檢測來得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分牌圖 像的非重要區(qū)域；C3、對包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進行非均勻映射；先 處理自然圖像，得到記分牌區(qū)域的目標(biāo)大??；以此為目標(biāo)，采用相同的方法對原始記分牌圖 像進行非均勻映射，實現(xiàn)記分牌圖像自適應(yīng)；最后將其疊加到自然圖像的自適應(yīng)結(jié)果中，得 到最終的自適應(yīng)圖像。
全文摘要
一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，該方法包括結(jié)合體育視頻中間層語義分析結(jié)果，針對圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底層特征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)；利用前向能量的細縫裁減方法去除圖像中的不重要信息，同時用重要語義邊緣的變化度量重要信息變形，當(dāng)變形超過設(shè)定指標(biāo)時終止細縫裁減方法，采用非均勻映射方法得到目標(biāo)大小的圖像。方法框架如摘要附圖所示。本發(fā)明將目前比較好的兩種方法——細縫裁減方法和非均勻映射方法有機結(jié)合，充分發(fā)揮各自的優(yōu)點，實現(xiàn)綜合最優(yōu)的圖像視頻自適應(yīng)結(jié)果；并且引入了語義加權(quán)的能量函數(shù)計算，實現(xiàn)基于語義內(nèi)容的圖像大小自適應(yīng)。
文檔編號G06T7/00GK101923703SQ201010264739
公開日2010年12月22日 申請日期2010年8月27日 優(yōu)先權(quán)日2010年8月27日
發(fā)明者劉書琴, 宮玉, 毋立芳, 王紅, 鄧亞麗 申請人:北京工業(yè)大學(xué)