專利名稱：一種基于自適應(yīng)邊緣匹配及局部流處理算法的視頻一致性監(jiān)測技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于自適應(yīng)邊緣匹配及局部流處理算法的視頻一致性監(jiān)測技 術(shù)，是一種數(shù)字圖像處理的技術(shù)，是一種數(shù)字圖像識別及匹配的技術(shù)。
背景技術(shù)：
在電視臺播出系統(tǒng)中，為了提高系統(tǒng)的可靠性和穩(wěn)健性，關(guān)鍵性設(shè)備常常做主 備方案即為關(guān)鍵設(shè)備提供一個備用設(shè)備。主設(shè)備和備用設(shè)備都為控制系統(tǒng)所控制。例 如，一旦主播設(shè)備發(fā)生意外，控制系統(tǒng)會自動切換到備播設(shè)備并將備播信號切出，保持 了播出信號的連續(xù)性和穩(wěn)定性。
該系統(tǒng)可高效處理人為因素、意外斷電等其它不可預(yù)知的情況發(fā)生導(dǎo)致的播出事 故。但在實際播出過程中，也可能存在播出通道原因?qū)е碌牟コ鲂盘柍霈F(xiàn)亂序、丟幀、 黑場、綠場、靜幀、甚至兩路信號完全不一致等錯誤，對于此類的播出事故，需要人為 手動的進(jìn)行主備播切換，以保證系統(tǒng)的可靠性和穩(wěn)定性。人為手動的主備播切換雖然可 以解決這些問題，但是需要工作人員長時間持續(xù)監(jiān)視，效率低下，容易產(chǎn)生工作疲勞。另外，在傳輸信道中信號也可能被某些非法信號所篡改，從而導(dǎo)致最終用戶接 收到了非法信號。例如，非法邪教組織可能通過破壞電視信號傳輸網(wǎng)絡(luò)或發(fā)射非法衛(wèi)星 信號等形式播出非法言論。對于這類事故，現(xiàn)在沒有高效的技術(shù)手段進(jìn)行檢測，也只能 靠人力監(jiān)測或排查來完成，效率低、實時響應(yīng)性差且容易產(chǎn)生工作疲勞。實際上，上述兩種情況都可通過一種視頻一致性監(jiān)測技術(shù)來高效、精確、實時 的解決。對于第一種情況，在切換臺之前，可先將主備路信號送入一個視頻一致性監(jiān) 測模塊，以完成對兩路信號視頻內(nèi)容的分析、匹配，如果兩路信號內(nèi)容一致則不進(jìn)行切 換，如果兩路信號內(nèi)容不一致則自動進(jìn)行主備路切換并報警。對于第二種情況，可采用 機頂盒來接收播出信號，并將其和源信號一并送入一個視頻一致性監(jiān)測模塊，如果兩路 信號內(nèi)容僅存在時延，說明信號播出正常，如果兩路信號內(nèi)容不一致性，說明傳輸信道 存在問題，應(yīng)馬上報警并處理。因此，在實際應(yīng)用中，開發(fā)設(shè)計一種高效、精確、自適 應(yīng)、實時的視頻一致性監(jiān)測技術(shù)就成為了解決上述問題的一個核心問題。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的是提出一種基于自適應(yīng)邊緣匹配及局部流 處理算法的視頻一致性監(jiān)測技術(shù)。本發(fā)明采用幾何變換計算信噪比的方法解決了自適應(yīng) 閾值的估算問題。同時采用邊緣檢測、多閾值邊緣匹配的方法解決了對源視頻和目標(biāo)視 頻的精確匹配，在此基礎(chǔ)上采用局部流處理算法和偏移量遞歸復(fù)用相結(jié)合的方法高效、 快速的解決了后續(xù)視頻幀的一致性匹配。本發(fā)明的目的是這樣實現(xiàn)的一種基于自適應(yīng)邊緣匹配及局部流處理算法的視 頻一致性監(jiān)測技術(shù)，首先對參考幀序列和檢測幀序列的緩沖環(huán)初始化，其中，所述參考幀序列是源信號幀序列，所述檢測幀序列是播出幀序列；所述技術(shù)包括如下步驟
確定關(guān)鍵幀對接收的參考幀序列和檢測幀序列進(jìn)行時間戳對齊、確定檢測步長， 在確定的步長中將檢測幀序列的第一幀確定為關(guān)鍵幀；
確定初步匹配的相似度閾值；所述相似度閾值等于信噪比值閾值； 進(jìn)行初次匹配在參考幀序列中初步篩選出和關(guān)鍵幀相匹配的初次匹配幀，并計 算其和關(guān)鍵幀的信噪比值、獲取兩個幀的偏移量，如果該值大于相似度閾值則進(jìn)入下一 步，否則將偏移量設(shè)置為無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的 確定；
獲得連續(xù)、單像素的圖像邊緣，并將其作為圖像的特征邊緣； 對獲得的特征邊緣進(jìn)行多閾值匹配，如果匹配則進(jìn)入下一步，否則將偏移量設(shè)置為 無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的檢測；
對關(guān)鍵幀的后續(xù)幀進(jìn)行快速檢測，如果后續(xù)幀全部匹配，設(shè)置視頻一致性標(biāo)志得到 最終的一致性監(jiān)測結(jié)果，開始等待下一個關(guān)鍵幀的檢測；如果后續(xù)幀不匹配，則將偏移 量設(shè)置為無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的檢測。所述監(jiān)測技術(shù)進(jìn)一步包括有偏移量遞歸復(fù)用的步驟對下一個關(guān)鍵幀的檢測， 如果上次檢測偏移量有效，則由偏移量直接得到初次匹配幀并進(jìn)入獲取圖像邊緣的步 驟，否則進(jìn)入確定相似度閾值的步驟。所述獲得連續(xù)、單像素的圖像邊緣是用小波模極大值算法對初步匹配幀和關(guān)鍵 幀進(jìn)行邊緣檢測獲得。所述對關(guān)鍵幀的后續(xù)幀進(jìn)行快速檢測是判斷關(guān)鍵幀的后續(xù)幀序列是否與匹配幀 的后續(xù)幀序列一致。所述相似度閾值是由幾何變換自適應(yīng)計算確定。本發(fā)明產(chǎn)生的有益效果是檢測高效、準(zhǔn)確、實時；其監(jiān)測范圍包括輕微馬 賽克、嚴(yán)重馬賽克、3秒其它畫面、亮度過高、綠底、靜幀、延時30幀、延時20幀、延 時10幀、錯亂幀序、丟幀、加幀、彩條、黑場、錯播、停播、臺標(biāo)、時鐘等。即使在圖 像質(zhì)量比較差的環(huán)境下，也可獲得較為理想的監(jiān)測效果。本發(fā)明首先利用幾何變換計算 得到自適應(yīng)閾值，并通過該閾值進(jìn)行初次篩選，而后利用小波模極大值邊緣檢測算法及 多閾值邊緣匹配算法進(jìn)行二次精確匹配，最后采用局部流處理算法對關(guān)鍵幀的后續(xù)幀進(jìn) 行快速一致性檢測，以判斷其后續(xù)幀是否與匹配幀的后續(xù)幀一致，從而得到最終的一致 性監(jiān)測結(jié)果。在上述流程的基礎(chǔ)上，本發(fā)明采用了偏移量遞歸復(fù)用算法，既提升了檢測 效率又可獲得非常穩(wěn)定的監(jiān)測偏移量輸出。測試表明，使用基于本發(fā)明設(shè)計開發(fā)的視頻 一致性監(jiān)測模塊，在磁帶信號、同一信號源經(jīng)由不同鏈路、同一信號源經(jīng)由不同解碼器 等不同的測試場景下都能實時的獲得比較理想的監(jiān)測效果，說明了本發(fā)明有效性和實用 性。利用該技術(shù)不僅可以降低勞動強度、節(jié)省勞動成本，還可以大大提升工作效率，高 效實時的完成對不同場景下多路信號的一致性監(jiān)測，極大的提升了系統(tǒng)的可靠性和穩(wěn)健 性。


下面結(jié)合附圖和實施例對本發(fā)明做進(jìn)一步解釋。
圖1是本發(fā)明實施例一所述技術(shù)的過程框圖； 圖2是本發(fā)明實施例一所述小波變換突變檢測示意圖3是本發(fā)明實施例一所述小波變換模極大值邊緣檢測提取的特征邊緣示意圖。
具體實施方式

實施例一
本實施例中為了實現(xiàn)對兩路信號的實時監(jiān)控，特別設(shè)計了分段匹配的架構(gòu)來滿足要 求。具體可以這樣描述監(jiān)測模塊中有兩個緩沖環(huán)——參考緩沖環(huán)和待檢測緩沖環(huán)，分 別用來存儲主播信號的連續(xù)幀和備播信號的連續(xù)幀，等到滿足條件時才開始對緩沖環(huán)中 檢測步長段內(nèi)的視頻幀序列進(jìn)行段內(nèi)一致性檢測，否則繼續(xù)存儲視頻幀而不進(jìn)行檢測，
直到滿足條件。待檢測緩沖段內(nèi)的首幀稱為關(guān)鍵幀記為Λ·，
首先對是關(guān)鍵幀進(jìn)行檢測及匹配，而后對段內(nèi)的后續(xù)幀進(jìn)行快速檢測，從而最終實現(xiàn)段 內(nèi)兩路信號的一致性監(jiān)測。下面對本實施例中涉及到的相關(guān)技術(shù)點介紹如下
小波模極大值邊緣檢測，即小波變換的模極大值多尺度邊緣檢測。一般地，平滑函
數(shù)的能量集中在低頻段，所以平滑函數(shù)可看成低通濾波器的系統(tǒng)響應(yīng)函數(shù)。從而， /(χ)與錢勾的卷積衰減了/(χ)的高頻信息，而不改變低頻部分，從而平 滑了/(I)。
定義妒/0^> = /車供(0 W7ZM =(2)
這Qrf
貝丨J W1jTCs，X) — fm(s ——S 一，
dbcdx:
3 2 d7& 7 d7 爐 Χβ^ —義*(忍 2 X-^ 二 ^ 2 C/"*^sX(3)
OOC敘
小波變換和:均分別與函數(shù)/00被代(ι)平滑后的一階和二階導(dǎo)數(shù)
成正比。而函數(shù)/(JC)的一階導(dǎo)數(shù)的極值點對應(yīng)于二階導(dǎo)數(shù)的零點，同時也是函數(shù)/(χ) 本身的拐點，且一階導(dǎo)數(shù)的絕對值的極大值對應(yīng)于函數(shù)的突變，而極小值則與緩變點相 對應(yīng)。對于固定尺度《s,的局部極大值點對應(yīng)于/(Jt)的突變點，W7Ji^的
零交叉點對應(yīng)于的拐點，如圖2所示為小波變換突變檢測示意圖。因此，如果
選擇小波函數(shù)為平滑函數(shù)的一階導(dǎo)數(shù)，則由小波變換的絕對值的極大值點(模
極大值點)可以檢測到信號的突變點。小波變換的模極大值點對應(yīng)于圖像的突變點。邊 緣點是圖像的一類突變點，因而，可以通過檢測小波變換的模極大值點來確定圖像的邊 緣。由于小波變換位于各個尺度上，每個尺度上的小波變換都提供了一定的邊緣信息， 故稱之為即多尺度邊緣。下面簡要介紹一種多尺度邊緣檢測算法
6(1)求出每一個尺度I=I^PijiJ)上可能的邊緣巧={巧敘《# .
(2)對巧進(jìn)行鏈接處理，得到尺度f上的邊緣&=C^( M ，并令 J=J
(3)針對尺度乂的每一個邊緣點(緣》0，把4在以點(HjBI)為中心的3X3區(qū)域里 所有可能的邊緣點均標(biāo)成尺度上的候選邊緣點。(4)對尺度上的所有候選邊緣點進(jìn)行鏈接處理，得到尺度:Jj^上的邊緣~， 并令/"-1..
(5)重復(fù)步驟(3)與(4)，直到J = I .邊緣乓就是綜合得到的圖像邊緣。圖3是本實施例中采用小波變換模極大值邊緣檢測提取的邊緣示意圖，其中黑 色的像素點表示為邊緣特征點，白色為平坦區(qū)域不作為邊緣特征點。本實施例所述技術(shù)的過程如圖1所示，其步驟如下
初始化及預(yù)處理的步驟用于完成參考幀序列(相當(dāng)于源信號幀序列)和檢測幀序 列(相當(dāng)于播出幀序列)的緩沖初始化，并自動進(jìn)行時間戳對齊，關(guān)鍵檢測幀(以下稱 為關(guān)鍵幀)位置、檢測步長的計算；
計算相似度閾值的步驟用于由幾何變換自適應(yīng)計算相似度閾值，并將該閾值作為 初次匹配的相似度閾值，這里的相似度閾值實際上是峰值信噪比閾值；
初次匹配的步驟用于在參考幀序列中初步篩選出和關(guān)鍵幀相匹配的匹配幀，并 計算其和關(guān)鍵幀的信噪比，獲取兩個幀的偏移量，如果該值大于相似度閾值則進(jìn)入下一 步，否則將偏移量設(shè)置為無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的 檢測，進(jìn)入偏移量遞歸復(fù)用的步驟；
邊緣檢測的步驟用于由小波模極大值算法對初步匹配幀和關(guān)鍵幀進(jìn)行邊緣檢測， 獲得連續(xù)、單像素的圖像邊緣，并將其作為圖像的特征邊緣(特征點)，以進(jìn)行更高 效、更準(zhǔn)確的邊緣一致性判別；
二次精確匹配的步驟用于由多閾值邊緣匹配算法，對提取的特征邊緣進(jìn)行多閾值 匹配，以精確判別關(guān)鍵幀和匹配幀是否真正匹配，如果匹配則進(jìn)入下一步，否則將偏移 量設(shè)置為無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的檢測，并進(jìn)入偏 移量遞歸復(fù)用的步驟；
局部流處理的步驟用于完成對關(guān)鍵幀的后續(xù)幀進(jìn)行快速檢測，其作用是矯正并判 斷關(guān)鍵幀的后續(xù)幀序列是否與匹配幀的后續(xù)幀序列一致，如果后續(xù)幀全部匹配，則計算 偏移量并設(shè)置視頻一致性標(biāo)志得到最終的一致性監(jiān)測結(jié)果，并開始等待下一個關(guān)鍵幀的 檢測，進(jìn)入偏移量遞歸復(fù)用的步驟，否則將偏移量設(shè)置為無效并設(shè)置視頻不一致標(biāo)志， 而后并開始等待對下一個關(guān)鍵幀的檢測，并進(jìn)入偏移量遞歸復(fù)用的步驟；
偏移量遞歸復(fù)用的步驟用于對下一個關(guān)鍵幀的檢測，如果上次檢測偏移量有效， 則由偏移量直接得到匹配幀并進(jìn)入邊緣檢測的步驟，否則進(jìn)入計算相似度閾值的步驟； 實施例二
本實施例是實施例一的改進(jìn)，是實施例一關(guān)于計算相似度閾值的步驟的細(xì)化。本實施例所述的計算方法是采用幾何變換的方法。圖像的幾何變換，即圖像的旋轉(zhuǎn)和縮放， 也是一種對圖像進(jìn)行重采樣的過程，在這個過程中不可避免的要造成圖像質(zhì)量的損失， 而峰值信噪比(PSNR)可以作為這種損失的一個度量，信噪比越大說明損失越少，信噪
比越小說明損失越大。自適應(yīng)閾值是采用這樣的策略計算得到的先對關(guān)鍵幀Λ進(jìn)行 縮小，接著進(jìn)行等倍數(shù)的放大得到了一個二次降質(zhì)的圖像^，然后計算Λ和Λ的信
噪比，將此信噪比作為Λ的相似度閾值。由于對不同的關(guān)鍵幀都進(jìn)行了這樣的操作，可
到不同的相似度閾值，從而也就實現(xiàn)了閾值的自適應(yīng)計算，大大提升了檢測的魯棒性， 無需設(shè)定固定的閾值，也提高了模塊的應(yīng)用性。實施例三
本實施例是實施例一的改進(jìn)，是實施例一關(guān)于初次匹配的步驟和二次精確匹配的步 驟的細(xì)化。實際上，通過初次匹配和二次精確匹配也就是使用相似度閾值和邊緣匹配相 結(jié)合的雙層匹配的方法來完成匹配。通過初次匹配的篩選，可高效快速的得到一個候選 匹配關(guān)鍵幀，而后僅對這個候選匹配幀進(jìn)行運算量非常復(fù)雜的邊緣檢測及匹配處理，在 保持匹配精度的基礎(chǔ)上，大大提升了匹配效率。實施例四
本實施例是實施例一所述的二次精確匹配的步驟中所采用的匹配算法是多閾值特征 邊緣匹配的方法。實際上，邊緣匹配過程中涉及到參考幀特征點數(shù)JVr、關(guān)鍵幀特征點數(shù)&、兩
者相匹配特征點數(shù) 三個相關(guān)性參數(shù)。只有當(dāng)這些相關(guān)數(shù)滿足特定的關(guān)系式時，才能 判定兩者相匹配。這些關(guān)系式包括
權(quán)利要求
1.一種基于自適應(yīng)邊緣匹配及局部流處理算法的視頻一致性監(jiān)測技術(shù)，首先對參考 幀序列和檢測幀序列的緩沖環(huán)初始化，所述參考幀序列是源信號幀序列，所述檢測幀序 列是播出幀序列；其特征在于，所述監(jiān)測技術(shù)包括如下步驟確定關(guān)鍵幀對接收的參考幀序列和檢測幀序列進(jìn)行時間戳對齊、確定檢測步長， 在確定的步長中將檢測幀序列的第一幀確定為關(guān)鍵幀；確定初步匹配的相似度閾值；所述相似度閾值等于信噪比值閾值；進(jìn)行初次匹配在參考幀序列中初步篩選出和關(guān)鍵幀相匹配的初次匹配幀，并計 算其和關(guān)鍵幀的信噪比值、獲取兩個幀的偏移量，如果該值大于相似度閾值則進(jìn)入下一 步，否則將偏移量設(shè)置為無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的 確定；獲得連續(xù)、單像素的圖像邊緣，并將其作為圖像的特征邊緣；對獲得的特征邊緣進(jìn)行多閾值匹配，如果匹配則進(jìn)入下一步，否則將偏移量設(shè)置為 無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的檢測；對關(guān)鍵幀的后續(xù)幀進(jìn)行快速檢測，如果后續(xù)幀全部匹配，設(shè)置視頻一致性標(biāo)志得到 最終的一致性監(jiān)測結(jié)果，開始等待下一個關(guān)鍵幀的檢測；如果后續(xù)幀不匹配，則將偏移 量設(shè)置為無效并設(shè)置視頻不一致標(biāo)志，而后開始等待對下一個關(guān)鍵幀的檢測。
2.權(quán)利要求1所述的基于自適應(yīng)邊緣匹配及局部流程算法的視頻一致性監(jiān)測技術(shù)， 其特征在于，所述監(jiān)測技術(shù)進(jìn)一步包括有偏移量遞歸復(fù)用的步驟對下一個關(guān)鍵幀的檢 測，如果上次檢測偏移量有效，則由偏移量直接得到初次匹配幀并進(jìn)入獲取圖像邊緣的 步驟，否則進(jìn)入確定相似度閾值的步驟。
3.權(quán)利要求1所述的基于自適應(yīng)邊緣匹配及局部流程算法的視頻一致性監(jiān)測技術(shù)，其 特征在于，所述獲得連續(xù)、單像素的圖像邊緣是用小波模極大值算法對初步匹配幀和關(guān) 鍵幀進(jìn)行邊緣檢測獲得。
4.權(quán)利要求1所述的基于自適應(yīng)邊緣匹配及局部流程算法的視頻一致性監(jiān)測技術(shù)，其 特征在于，所述對關(guān)鍵幀的后續(xù)幀進(jìn)行快速檢測是判斷關(guān)鍵幀的后續(xù)幀序列是否與匹配 幀的后續(xù)幀序列一致。
5.權(quán)利要求1所述的基于自適應(yīng)邊緣匹配及局部流程算法的視頻一致性監(jiān)測技術(shù)，其 特征在于，所述相似度閾值是由幾何變換自適應(yīng)計算確定。
6.權(quán)利要求1所述的基于自適應(yīng)邊緣匹配及局部流程算法的視頻一致性監(jiān)測技術(shù)，其 特征在于，所述對獲得的特征邊緣進(jìn)行多閾值匹配的關(guān)系式包括K1 < mm(JVr, Nk) ZmssiNrs Ν。<Κ K,<NJNr<K4K5<Nm/Nk<K6其中&為參考幀特征邊緣數(shù)、為關(guān)鍵幀特征邊緣數(shù)、I為兩者相匹配特征邊緣TOinOVr,的兩者特征邊緣數(shù)的比值，其取值范圍為
；I1稱為最小特征比閾值，表示兩者特征邊緣數(shù)的比值至少要大于該值，否則兩者不 匹配，其取值范圍為
；I2稱為最大特征比閾值，表示兩者特征邊緣數(shù)的比值不能大于該值，其取值設(shè)定為1 ；Nm /Nr表示兩者相匹配特征邊緣數(shù)與參考幀特征邊緣數(shù)的比值，其取值范圍為
Ij稱為參考幀最小特征比閾值，表示匹配特征邊緣數(shù)與參考幀特征邊緣數(shù)的比值至 少要大于該值，否則兩者不匹配，其取值范圍為
;^4稱為參考幀最大特征比閾值，表示匹配特征邊緣數(shù)與參考幀特征邊緣數(shù)的比值不 能大于該值，其取值設(shè)定為1;JVbi/^jt表示兩者相匹配特征邊緣數(shù)與檢測幀特征邊緣數(shù)的比值，其取值范圍為
&稱為檢測幀最小特征比閾值，表示匹配特征邊緣數(shù)與檢測幀特征邊緣數(shù)的比值至 少要大于該值，否則兩者不匹配，其取值范圍為
;^K6稱為檢測幀最大特征比閾值，表示匹配特征邊緣數(shù)與檢測幀特征邊緣數(shù)的比值不 能大于該值，其取值設(shè)定為1。
全文摘要
本發(fā)明涉及一種基于自適應(yīng)邊緣匹配及局部流處理算法的視頻一致性監(jiān)測技術(shù)，是一種數(shù)字圖像識別及匹配技術(shù)。所述技術(shù)包括如下步驟初始化及預(yù)處理的步驟；計算相似度閾值的步驟；初次匹配的步驟；邊緣檢測的步驟；二次精確匹配的步驟；局部流處理的步驟；偏移量遞歸復(fù)用的步驟。本發(fā)明采用幾何變換自適應(yīng)的得到相似度閾值，并以此為閾值完成初次匹配，而后采用邊緣檢測及多閾值邊緣匹配的方法實現(xiàn)了二次精確匹配，在此基礎(chǔ)上采用局部流處理算法和偏移量遞歸復(fù)用技術(shù)高效、快速的解決了后續(xù)視頻幀的一致性匹配問題。
文檔編號H04N17/00GK102014296SQ20101058223
公開日2011年4月13日 申請日期2010年12月10日 優(yōu)先權(quán)日2010年12月10日
發(fā)明者商同, 姚威, 尚秀勇, 曾國卿, 李智鵬, 王光友, 王雨, 鄧偉, 鄭凱, 韓東東 申請人:北京中科大洋科技發(fā)展股份有限公司