基于編碼信息的視頻感興趣區(qū)域提取方法
【專利摘要】本發(fā)明公開了一種基于視覺感知特征和編碼信息的視頻感興趣區(qū)域提取方法，涉及視頻編碼領(lǐng)域。本發(fā)明包括以下步驟：首先從原始視頻流中提取當(dāng)前編碼宏塊的亮度信息；然后，利用當(dāng)前編碼宏塊的幀間預(yù)測(cè)模式類型，標(biāo)識(shí)空域視覺特征顯著度區(qū)域；再以前一幀編碼宏塊分別在水平和垂直方向上的平均運(yùn)動(dòng)矢量為動(dòng)態(tài)雙閾值，根據(jù)當(dāng)前編碼宏塊的水平及垂直方向的運(yùn)動(dòng)矢量與動(dòng)態(tài)雙閾值的比較結(jié)果，標(biāo)識(shí)時(shí)域視覺特征顯著度區(qū)域；最后結(jié)合空域和時(shí)域視覺特征顯著度區(qū)域的標(biāo)識(shí)結(jié)果，定義視頻感興趣優(yōu)先級(jí)，實(shí)現(xiàn)視頻感興趣的自動(dòng)提取。本發(fā)明方法可為基于ROI（Region?of?Interest,ROI）的視頻編碼技術(shù)提供重要編碼依據(jù)。
【專利說(shuō)明】基于編碼信息的視頻感興趣區(qū)域提取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬視頻信息處理領(lǐng)域。利用視頻編碼技術(shù)和人眼視覺感知原理實(shí)現(xiàn)一種視頻感興趣區(qū)域快速提取方法。該方法能夠?qū)斎氲囊曨l流進(jìn)行自動(dòng)分析，利用編碼信息標(biāo)注并輸出視頻感興趣區(qū)域。
【背景技術(shù)】
[0002]最新的視頻編碼標(biāo)準(zhǔn)H.264/AVC采用了多種先進(jìn)的編碼技術(shù)，在提高編碼性能的同時(shí)，其編碼復(fù)雜度也急劇增加，限制了其在多媒體信息處理與實(shí)時(shí)通信業(yè)務(wù)中的廣泛應(yīng)用。人們對(duì)如何提高H.264/AVC編碼速度進(jìn)行了深入研究，并提出了大量快速編碼優(yōu)化算法，但多數(shù)算法并不區(qū)分視頻圖像中各個(gè)區(qū)域在視覺意義上的重要程度，對(duì)所有編碼內(nèi)容采用相同的編碼方案，忽略了人類視覺系統(tǒng)HVS (Human Visual System，HVS)對(duì)視頻場(chǎng)景感知的差異性。
[0003]視覺神經(jīng)科學(xué)研究已證明，HVS對(duì)視頻場(chǎng)景的感知具有選擇性，對(duì)不同區(qū)域具有不同的視覺重要性。因此，利用已有編碼信息進(jìn)行視覺感知特征分析，再依據(jù)視覺感知特征將計(jì)算資源優(yōu)先分配給感興趣區(qū)域，對(duì)提高視頻編碼算法實(shí)時(shí)性、降低計(jì)算復(fù)雜度，具有重要的理論意義和應(yīng)用價(jià)值。而快速、有效的視覺特征分析，特別是視覺感興趣區(qū)域的有效檢測(cè)是優(yōu)化編碼資源、編寫高效視頻編碼方案的重要基礎(chǔ)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明不同于現(xiàn)有的光流法、幀差法、運(yùn)動(dòng)能量檢測(cè)法、背景差法等視頻運(yùn)動(dòng)對(duì)象提取方法，是以視頻碼流中的預(yù)測(cè)模式、運(yùn)動(dòng)矢量等編碼信息為基礎(chǔ)，根據(jù)編碼信息與視覺感興趣區(qū)域的關(guān)聯(lián)性，識(shí)別視`頻編碼內(nèi)容中的空域視覺特征顯著度區(qū)域和時(shí)域特征視覺顯著度區(qū)域，從而實(shí)現(xiàn)視頻感興趣區(qū)域的自動(dòng)標(biāo)識(shí)和獲取。
[0005]根據(jù)HVS特征，人眼對(duì)亮度信息較之色度信息更加敏感，本發(fā)明方法針對(duì)視頻序列中的亮度分量的編碼信息，進(jìn)行視頻感興趣區(qū)域的自動(dòng)標(biāo)識(shí)和獲取。
[0006]本發(fā)明方法具體包括下述步驟:
[0007]步驟一:輸入YUV格式、GOP (Group of Picture, GOP)結(jié)構(gòu)為IPPP的視頻序列，讀取編碼宏塊的亮度分量Y，進(jìn)行編碼參數(shù)配置和初始化參數(shù)；
[0008]步驟二:對(duì)視頻序列的首幀，即I幀進(jìn)行幀內(nèi)預(yù)測(cè)編碼；
[0009]在視頻編碼標(biāo)準(zhǔn)中，I幀做為隨機(jī)訪問(wèn)的參考點(diǎn)，含有大量信息，由于其不能利用相鄰幀之間的時(shí)間相關(guān)性進(jìn)行編碼，因而采用幀內(nèi)預(yù)測(cè)編碼方法，利用當(dāng)前幀中己編碼重建宏塊的編碼信息對(duì)當(dāng)前宏塊進(jìn)行預(yù)測(cè)，以消除空間冗余。對(duì)視頻序列首幀，即I幀進(jìn)行幀內(nèi)預(yù)測(cè)編碼是視頻編碼中慣用的一種常規(guī)編碼方式。
[0010]步驟三:對(duì)當(dāng)前P幀進(jìn)行幀間預(yù)測(cè)編碼，利用相鄰幀視頻內(nèi)容的相關(guān)性消除時(shí)間冗余。記錄當(dāng)前幀內(nèi)所有編碼宏塊的幀間預(yù)測(cè)模式類型，記為Modepn ；
[0011]其中，P=I, 2，3，…，L-1，代表第P個(gè)進(jìn)行幀間編碼的視頻幀，L為整個(gè)視頻序列進(jìn)行編碼的總幀數(shù)；n表示在當(dāng)前編碼幀中的第η個(gè)編碼宏塊的序號(hào)。
[0012]步驟四:標(biāo)識(shí)當(dāng)前P幀的空域視覺特征顯著度區(qū)域，具體為:若當(dāng)前編碼宏塊的幀間預(yù)測(cè)模式Modepn屬于亞分割模式集合或者幀內(nèi)預(yù)測(cè)模式集合，即Modepn e {8 X 8, 8 X 4, 4X 8, 4X 4} or {Intral6 X 16, Intra4X 4},則將該宏塊標(biāo)記為Syp (χ, y, ModepJ=I,屬于空域視覺特征顯著度區(qū)域,否則標(biāo)記SYp(x, y, Modepn) =0 ;其中，Y表示編碼宏塊的亮度分量，(x，y)表示該編碼宏塊的位置坐標(biāo)，P和Modepn的定義同上，遍歷當(dāng)前P幀中的所有編碼宏塊；
[0013]圖1給出了 H.264標(biāo)準(zhǔn)幀間預(yù)測(cè)模式選擇流程示意圖。
[0014]經(jīng)過(guò)實(shí)驗(yàn)，發(fā)現(xiàn)在H.264/AVC標(biāo)準(zhǔn)編碼中，預(yù)測(cè)編碼結(jié)果與人眼感興趣區(qū)域之間具有較強(qiáng)相關(guān)性:對(duì)于人眼關(guān)注度較高的運(yùn)動(dòng)區(qū)域或者紋理豐富區(qū)域，Modepn大多選擇亞分割模式集合{8X8，8X4，4X8，4X4};在鏡頭切換，視頻內(nèi)容發(fā)生突變，或者出現(xiàn)運(yùn)動(dòng)幅度較大的運(yùn)動(dòng)對(duì)象時(shí)，人眼關(guān)注度最高，此時(shí)Modepn才會(huì)選擇幀內(nèi)預(yù)測(cè)模式集合{Intral6X 16, Intra4X4};對(duì)于人眼關(guān)注度較低的背景平滑區(qū)域，Modepn大多選擇宏塊分割模式集合{Skip, 16X16，16X8, 8X16} ο圖2以Claire序列為例，給出了 Claire序列第50幀幀間預(yù)測(cè)模式分布圖，從圖中可以發(fā)現(xiàn)在人眼關(guān)注度較高的區(qū)域中，編碼宏塊大都選擇了幀間亞分割預(yù)測(cè)模式集合。
[0015]步驟五:記錄第P幀中每一個(gè)編碼宏塊在水平方向上的運(yùn)動(dòng)矢量Vxpn和在垂直方向上的運(yùn)動(dòng)矢量Vypn;并計(jì)算前一個(gè)編碼幀中所有編碼宏塊在水平方向上的平均運(yùn)動(dòng)矢量
Vxil U，以及垂直方向上的平均運(yùn)動(dòng)矢量Frb-UA ；
[0016]其中
【權(quán)利要求】
1.基于編碼信息的視頻感興趣區(qū)域提取方法，其特征在于包括下述步驟: 步驟一:輸入YUV格式、GOP (Group of Picture, GOP)結(jié)構(gòu)為IPPP的視頻序列，讀取編碼宏塊的亮度分量Y，進(jìn)行編碼參數(shù)配置； 步驟二:對(duì)視頻序列的首幀，即I幀進(jìn)行幀內(nèi)預(yù)測(cè)編碼； 步驟三:對(duì)當(dāng)前P幀進(jìn)行幀間預(yù)測(cè)編碼，記錄當(dāng)前P幀中的所有編碼宏塊的幀間預(yù)測(cè)模式類型,記為Modepn ；p=l, 2，3，…，L-1，代表第p個(gè)進(jìn)行幀間編碼的視頻幀，L為整個(gè)視頻序列進(jìn)行編碼的總幀數(shù)；n表示在當(dāng)前編碼幀中的第η個(gè)編碼宏塊的序號(hào)； 步驟四:標(biāo)識(shí)當(dāng)前P幀的空域視覺特征顯著度區(qū)域，具體為:若當(dāng)前編碼宏塊的幀間預(yù)測(cè)模式Modepn屬于亞分割模式集合或者幀內(nèi)預(yù)測(cè)模式集合，即Modepn e {8 X 8, 8 X 4, 4X 8, 4X 4} or {Intral6 X 16, Intra4X 4},則將該宏塊標(biāo)記為Syp (X，y, Modepn) =1,屬于空域視覺特征顯著度區(qū)域,否則標(biāo)記SYp (x, y, Modepn) =0 ；Y表示編碼宏塊的亮度分量，(x, Y)表示該編碼宏塊的位置坐標(biāo)，遍歷當(dāng)前P幀中的所有編碼宏塊；步驟五:記錄第P幀中每一個(gè)編碼宏塊在水平方向上的運(yùn)動(dòng)矢量Vxpn和在垂直方向上的運(yùn)動(dòng)矢量Vypn;并計(jì)算前一個(gè)編碼幀中所有編碼宏塊在水平方向上的平均運(yùn)動(dòng)矢量
【文檔編號(hào)】H04N19/186GK103618900SQ201310591430
【公開日】2014年3月5日 申請(qǐng)日期:2013年11月21日 優(yōu)先權(quán)日:2013年11月21日
【發(fā)明者】劉鵬宇, 賈克斌 申請(qǐng)人:北京工業(yè)大學(xué)