專利名稱：一種3d視頻圖像編碼中的快速運(yùn)動(dòng)搜索方案的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編碼領(lǐng)域，具體來說，涉及一種3D視頻圖像編碼中的快速運(yùn)動(dòng)搜索方案，主要應(yīng)用于3D視頻圖像監(jiān)測、傳輸、顯示中需要對視頻圖像進(jìn)行編碼的場合。
背景技術(shù)：
近年來，隨著信息和通信技術(shù)的發(fā)展，3D視頻在許多通信場合中得到了廣泛的應(yīng)用，例如電話會(huì)議、網(wǎng)絡(luò)視頻、視頻點(diǎn)播等。3D視頻的基礎(chǔ)和核心是運(yùn)動(dòng)圖像編碼，即將原始的圖像信號(例如RGB等)按照一定的視頻編碼標(biāo)準(zhǔn)編碼為一定格式的碼流，該碼流復(fù)原后相對于原始圖像信號必須有一定的復(fù)原度。由于大多數(shù)3D視頻通信具有較高的實(shí)時(shí)性要求，3D視頻的廣泛應(yīng)用對視頻編碼的快速性提出了更高的要求。目前的主流視頻編碼標(biāo)準(zhǔn)多采用幀內(nèi)、幀間多模式混合編碼方式，需要對每種模式進(jìn)行運(yùn)動(dòng)搜索，運(yùn)動(dòng)搜索過程即視頻圖像的宏塊在參考幀內(nèi)進(jìn)行塊匹配的過程。隨著視頻編碼器的編碼圖像尺寸和目標(biāo)分辨率逐漸擴(kuò)大，搜索適宜的運(yùn)動(dòng)向量成為視頻編碼中最占計(jì)算量(最多可占50%以上)的過程，這給實(shí)時(shí)編碼帶來了很大困難。因此，研究如何減少運(yùn)動(dòng)搜索是十分必要的。針對這一問題，已有論文和專利中提出了一些快速運(yùn)動(dòng)搜索方案，典型的有三步法、新三步法、非對稱六邊形搜索法(H. 264標(biāo)準(zhǔn)中建議搜索方案)等。為了減少計(jì)算量，大多數(shù)快速運(yùn)動(dòng)搜索都加入了提前終止條件。這些快速運(yùn)動(dòng)搜索方法相對于傳統(tǒng)的全搜索方法需要的計(jì)算量有了很大降低。但是，實(shí)際應(yīng)用表明，這些算法對于大尺寸視頻圖像和大運(yùn)動(dòng)向量的搜索速度和效果都不很理想。由上面的介紹和分析可以看出，如何利用視頻圖像中的運(yùn)動(dòng)特性，設(shè)計(jì)實(shí)用的快速運(yùn)動(dòng)搜索方案，確定各宏塊需要分配多少的搜索資源，以及搜索到何等程度可以結(jié)束搜索，避免全搜索的巨大計(jì)算量，同時(shí)改善現(xiàn)有方案的搜索效果，這些是3D視頻編碼需要解決的關(guān)鍵技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明提供一種3D視頻圖像編碼中的快速運(yùn)動(dòng)搜索方案，主要應(yīng)用于3D數(shù)字視頻圖像監(jiān)測、傳輸、顯示中需要對視頻圖像進(jìn)行編碼的場合，其包括以下步驟步驟1 設(shè)置閾值SAD_TA，SAD_TI，MV_T,每個(gè)視頻宏塊對應(yīng)一個(gè)EFF_IDEX，表示其有效性；步驟2 若視頻宏塊采用幀間預(yù)測編碼，則通過比較幀間SAD數(shù)值和閾值SAD_TI 以及比較運(yùn)動(dòng)矢量數(shù)值與閾值MV_T的大小關(guān)系確定該宏塊的EFF_IDEX值；步驟3 若視頻宏塊采用幀內(nèi)預(yù)測編碼，則通過比較幀內(nèi)SAD數(shù)值和閾值SAD_TA 的大小關(guān)系確定該宏塊的EFF_IDEX的值；步驟4 根據(jù)待檢測宏塊在前一幀中同一位置對應(yīng)宏塊的EFF_IDEX及周圍已完成運(yùn)動(dòng)搜索宏塊的EFF_IDEX來設(shè)置當(dāng)前宏塊的搜索級別；
步驟5 根據(jù)步驟4中確定的搜索級別選擇相應(yīng)的搜索模式；步驟6 根據(jù)步驟4中確定的搜索級別選擇相應(yīng)的系數(shù)，并根據(jù)SAD_TI和此系數(shù)計(jì)算提前終止搜索閾值ES_T;步驟7 對該宏塊進(jìn)行運(yùn)動(dòng)搜索，若搜索得到的T0T_SAD_I結(jié)果小于步驟6計(jì)算的 ES_T或者達(dá)到步驟4中設(shè)置的搜索級別，則退出搜索，記錄運(yùn)動(dòng)搜索得到的T0T_SAD_I數(shù)值。效果說明本發(fā)明提出了一種3D視頻圖像編碼中的快速運(yùn)動(dòng)搜索方案，該方案分別設(shè)置幀內(nèi)預(yù)測方式和幀間預(yù)測方式閾值，判定視頻圖像的每個(gè)宏塊是否為有效宏塊，并提供了一種根據(jù)已編碼宏塊的有效性來確定當(dāng)前宏塊的搜索級別的方法。本發(fā)明提供了一種根據(jù)宏塊不同的搜索級別確定運(yùn)動(dòng)搜索范圍的方法，提供了一種根據(jù)宏塊不同的搜索級別設(shè)計(jì)提前終止搜索閾值，并判斷是否可以提前終止運(yùn)動(dòng)搜索的方法。本發(fā)明可實(shí)現(xiàn)對3D視頻圖像快速編碼，編碼后的3D視頻圖像具有良好的視覺效果，相對于傳統(tǒng)的編碼方案的搜索計(jì)算量有了很大降低，并具有易于軟件和硬件實(shí)現(xiàn)的優(yōu)點(diǎn)。此外，本發(fā)明對于目前的各種視頻編碼制式有良好的兼容性。


圖1:3D視頻圖像編碼的一般流程圖2幀間預(yù)測運(yùn)動(dòng)搜索示意圖3判斷宏塊的有效性流程圖4依據(jù)宏塊有效性進(jìn)行快速搜索流程圖5搜索級別1的搜索范圍示意圖6搜索級別2的搜索范圍示意圖7搜索級別3的搜索范圍示意圖8各搜索級別求取提前終止搜索閾值的系
具體實(shí)施例方式為使本發(fā)明的目的、具體方案和優(yōu)點(diǎn)更加清晰，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。圖1是3D視頻圖像編碼的一般流程圖。從該流程圖中可以看出，3D視頻圖像編碼按照如下步驟進(jìn)行從視頻序列中輸入待編碼的當(dāng)前幀，將其劃分為若干個(gè)大小為LXL的宏塊 (Macro block, MB)，每個(gè)宏塊為運(yùn)動(dòng)搜索的基本單位。幀間預(yù)測運(yùn)動(dòng)搜索如圖2所示。假設(shè)宏塊左上角的坐標(biāo)為(X，y)，宏塊中每一點(diǎn)的像素為f(x，y)。宏塊像素范圍自(x，y)到(x+L，y+L)。假定搜索窗的大小為MXN，對于參考幀中左上角坐標(biāo)位于(x-M/2，y-N/2)到(x+M/2，y+N/2)之間的宏塊，設(shè)其坐標(biāo)為(x’， y’)，則其運(yùn)動(dòng)矢量為(χ’ -χ, f -y)。設(shè)該運(yùn)動(dòng)矢量編碼為m比特，其預(yù)測誤差SAD為
SAD=^Z_'+i，y'+jK(x+i,y+j)l⑴
i=0 j=0定義T0T_SAD_I = SAD+λ Xm(2)其中參數(shù)λ用于兼顧預(yù)測誤差和編碼比特?cái)?shù)。T0T_SAD_I表示幀間預(yù)測編碼的總代價(jià)，在幀間預(yù)測時(shí)，根據(jù)T0T_SAD_I值決定最后選用的預(yù)測運(yùn)動(dòng)向量。同樣地，編碼器進(jìn)行幀內(nèi)預(yù)測(是否進(jìn)行幀內(nèi)預(yù)測根據(jù)具體標(biāo)準(zhǔn)而定)，計(jì)算幀內(nèi)預(yù)測的T0T_SAD_A，表示幀內(nèi)預(yù)測編碼的總代價(jià)，其具體過程與幀間預(yù)測類似，在此不再進(jìn)行詳述。之后，選擇T0T_SAD_A和T0T_SAD_I中值小的方式作為編碼方式。通常情況下，幀間預(yù)測編碼的效率比幀內(nèi)預(yù)測編碼的效率要高。但是，對于運(yùn)動(dòng)十分劇烈的物體采用幀內(nèi)預(yù)測編碼會(huì)優(yōu)于幀間預(yù)測編碼。接下來，運(yùn)動(dòng)預(yù)測的結(jié)果送入后續(xù)編碼流程(例如排序、量化、熵編碼等)，其具體過程本領(lǐng)域內(nèi)熟知人員都應(yīng)了解，在此不再贅述。從上面的分析可以看出，運(yùn)動(dòng)搜索占視頻編碼計(jì)算量的很大部分。因此，如何利用視頻圖像中的運(yùn)動(dòng)特性，設(shè)計(jì)實(shí)用的快速運(yùn)動(dòng)搜索方案，避免全搜索的巨大計(jì)算量是十分必要的。本發(fā)明針對上述問題，提供了一種3D視頻圖像編碼中的快速運(yùn)動(dòng)搜索方案，對應(yīng)于圖1中的虛線框部分。該方案首先確定每個(gè)宏塊是否為有效宏塊，并根據(jù)已編碼宏塊的有效性來確定當(dāng)前視頻宏塊的搜索級別，根據(jù)不同級別自適應(yīng)調(diào)整運(yùn)動(dòng)搜索范圍。此外， 對于不同的搜索級別，設(shè)計(jì)了不同的提前終止搜索閾值，并設(shè)置準(zhǔn)則判斷是否可以提前終止。本方案包括7個(gè)步驟，步驟1到步驟3用于判定宏塊的EFF_IDEX值，流程如圖3 所示。步驟4到步驟7根據(jù)已編碼宏塊的EFF_IDEX來確定當(dāng)前視頻宏塊的搜索級別，根據(jù)不同級別自適應(yīng)調(diào)整運(yùn)動(dòng)搜索范圍并計(jì)算提前終止搜索閾值，并設(shè)置準(zhǔn)則判斷是否可以提前終止搜索，流程如圖4所示。 下面按各步驟對本方案的具體實(shí)施作進(jìn)一步說明。步驟1 設(shè)置閾值SAD_TA，SAD_TI，MV_T,每個(gè)視頻宏塊對應(yīng)一個(gè)EFF_IDEX，表示其有效性SAD_TA是幀內(nèi)SAD閾值，SAD_TI是幀間SAD閾值，MV_T是運(yùn)動(dòng)矢量閾值。每個(gè)宏塊對應(yīng)一個(gè)EFF_IDEX，表示其有效性。假定EFF_IDEX = 0表示該宏塊為無效宏塊，EFF_ IDEX = 1表示該宏塊為有效宏塊。步驟2 若視頻宏塊采用幀間預(yù)測編碼，則通過比較幀間SAD數(shù)值和閾值SAD_TI 以及比較運(yùn)動(dòng)矢量數(shù)值與閾值MV_T的大小關(guān)系確定該宏塊的EFF_IDEX值幀間SAD數(shù)值按照(1)式計(jì)算得出，運(yùn)動(dòng)矢量的數(shù)值計(jì)算如下MV = IMVI x+1MV | y(3)其中，ImvIx^p |Mv|y分別為運(yùn)動(dòng)矢量在x和y方向的數(shù)值。EFF_IDEX的值按下面(4)式確定
權(quán)利要求
1.一種3D視頻圖像編碼中的快速運(yùn)動(dòng)搜索方案，其特征在于，包括以下步驟步驟1 設(shè)置閾值SAD_TA，SAD_TI，MV_T,每個(gè)視頻宏塊對應(yīng)一個(gè)EFF_IDEX，表示其有效性；步驟2 若視頻宏塊采用幀間預(yù)測編碼，則通過比較幀間SAD數(shù)值和閾值SAD_TI以及比較運(yùn)動(dòng)矢量數(shù)值與閾值MV_T的大小關(guān)系確定該宏塊的EFF_IDEX值；步驟3 若視頻宏塊采用幀內(nèi)預(yù)測編碼，則通過比較幀內(nèi)SAD數(shù)值和閾值SAD_TA的大小關(guān)系確定該宏塊的EFF_IDEX值；步驟4 根據(jù)待檢測宏塊在前一幀中同一位置對應(yīng)宏塊的EFF_IDEX及周圍已完成運(yùn)動(dòng)搜索宏塊的EFF_IDEX來設(shè)置當(dāng)前宏塊的搜索級別；步驟5 根據(jù)步驟4中確定的搜索級別選擇相應(yīng)的搜索模式； 步驟6 根據(jù)步驟4中確定的搜索級別選擇相應(yīng)的系數(shù)，并根據(jù)SAD_TI和此系數(shù)計(jì)算提前終止搜索閾值ES_T;步驟7 對該宏塊進(jìn)行運(yùn)動(dòng)搜索，若搜索得到的T0T_SAD_I結(jié)果小于步驟6計(jì)算的ES_ T或者達(dá)到步驟4中設(shè)置的搜索級別，則退出搜索，記錄運(yùn)動(dòng)搜索得到的T0T_SAD_I數(shù)值。
2.如權(quán)利1所述的方法，其特征在于，步驟1中設(shè)置幀內(nèi)絕對誤差和(sumof absolutedifference, SAD)閾值 SAD_TA，幀間 SAD 閾值 SAD_TI，運(yùn)動(dòng)矢量閾值 MV_T。每個(gè)宏塊對應(yīng)一個(gè)EFF_IDEX，表示其有效性。本發(fā)明中假定EFF_IDEX = O表示該宏塊為無效宏塊，EFF_IDEX = 1表示該宏塊為有效宏塊。
3.如權(quán)利1所述的方法，其特征在于，若視頻宏塊采用幀間預(yù)測編碼，則進(jìn)行幀間SAD 數(shù)值和閾值SAD_TI的比較以及運(yùn)動(dòng)矢量(Motion Vector, MV)數(shù)值與閾值MV_T的比較以確定EFF_IDEX的值(步驟2)，具體關(guān)系如下式
4.如權(quán)利1所述的方法，其特征在于，若視頻宏塊采用幀內(nèi)預(yù)測編碼，則進(jìn)行幀內(nèi)SAD 數(shù)值和閾值SAD_TA的比較以確定EFF_IDEX的值(步驟3)，具體關(guān)系如下式
5.如權(quán)利1所述的方法，其特征在于，在進(jìn)行步驟4時(shí)，每個(gè)待編碼宏塊的搜索級別為 1-3級中的某一級。搜索級別按照如下關(guān)系設(shè)置若前一幀中同一位置的對應(yīng)宏塊的EFF_IDEX值等于1，則此宏塊的搜索級別設(shè)置為3級；若前一幀中同一位置的對應(yīng)宏塊的EFF_IDEX值等于0，該宏塊周圍已完成搜索的宏塊(按照編碼順序，是該宏塊的左上、上、右上和左這四個(gè)宏塊)中至少有兩個(gè)宏塊的EFF_ IDEX值等于1，則此宏塊的搜索級別設(shè)置為2級；若前一幀中同一位置的對應(yīng)宏塊的EFF_IDEX值等于0，該宏塊周圍已完成搜索的宏塊中EFF_IDEX值等于1的宏塊個(gè)數(shù)少于2個(gè)，則此宏塊的搜索級別設(shè)置為1級。
6.如權(quán)利1所述的方法，其特征在于，在進(jìn)行步驟5時(shí)，根據(jù)步驟4中設(shè)置的宏塊搜索級別，選擇圖5-圖7中相對應(yīng)的搜索區(qū)域。圖5為級別1的搜索區(qū)域，圖6為級別2的搜索區(qū)域，圖7為級別3的搜索區(qū)域。
7.如權(quán)利1所述的方法，其特征在于，在進(jìn)行步驟6時(shí)，根據(jù)步驟4中設(shè)置的宏塊搜索級別，選擇相應(yīng)的系數(shù)w，計(jì)算提前終止搜索閾值ES_T，具體公式如下ES_T = wXSAD_TI不同搜索級別對應(yīng)的系數(shù)w的值參見表1。
8.如權(quán)利1所述的方法，其特征在于，在進(jìn)行步驟7時(shí)，宏塊的運(yùn)動(dòng)搜索區(qū)域是根據(jù)步驟4確定的。從圖5-圖7可以看出，級別1到級別3的搜索區(qū)域范圍是逐步擴(kuò)大的，因此本發(fā)明的運(yùn)動(dòng)搜索也是逐步進(jìn)行的，即從級別1開始搜索，若搜索到某個(gè)級別滿足T0T_SAD_I的計(jì)算結(jié)果小于步驟6計(jì)算出的閾值ES_T (稱為提前終止搜索條件)，則停止搜索，記錄T0T_SAD_ I數(shù)值，否則繼續(xù)搜索到該宏塊的搜索級別為止。例如，若當(dāng)前宏塊的搜索級別為2，則首先進(jìn)行級別1的搜索，若滿足提前終止搜索條件，則結(jié)束搜索，記錄T0T_SAD_I數(shù)值。若不滿足提前終止搜索條件，則繼續(xù)進(jìn)行級別2的搜索。同理，若當(dāng)前宏塊的搜索級別為3，則依次進(jìn)行前兩個(gè)級別的搜索，若都不滿足提前終止搜索條件，則繼續(xù)級別3的搜索。反之，若前兩個(gè)級別中的某個(gè)級別滿足提前終止搜索條件，則就搜索到該級別為止，記錄T0T_SAD_I數(shù)值。
全文摘要
提出了一種3D視頻圖像編碼中的快速運(yùn)動(dòng)搜索方案。該方案分別設(shè)置幀內(nèi)預(yù)測方式和幀間預(yù)測方式閾值，判定視頻圖像的宏塊是否為有效宏塊，并根據(jù)已編碼宏塊的有效性確定當(dāng)前視頻宏塊的搜索級別，根據(jù)不同搜索級別自適應(yīng)調(diào)整運(yùn)動(dòng)搜索區(qū)域。此外，對于不同的搜索級別，設(shè)計(jì)了不同的提前終止搜索閾值，并設(shè)置準(zhǔn)則判斷是否提前終止搜索。本方案編碼后的3D視頻圖像具有良好的視覺效果，相對于傳統(tǒng)的3D視頻圖像編碼方案的運(yùn)動(dòng)搜索計(jì)算量有了很大降低，并且具有易于實(shí)現(xiàn)的優(yōu)點(diǎn)，對于各種視頻編碼制式有較好的兼容性。
文檔編號H04N7/26GK102238378SQ20101016351
公開日2011年11月9日 申請日期2010年5月6日 優(yōu)先權(quán)日2010年5月6日
發(fā)明者陳利明 申請人:北京科迪訊通科技有限公司