專利名稱：基于率失真優(yōu)化的運動預(yù)測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于率失真優(yōu)化的運動預(yù)測方法。
背景技術(shù)：
目前，由聯(lián)合視頻組(JVT，Joint Video Team)制定的、代表最先進視頻圖像壓縮技術(shù)的H.264標準，由于其采用了基于率失真優(yōu)化的運動預(yù)測和模式選擇，以及多參考幀等先進的視頻編解碼技術(shù)，因此H.264標準與已有視頻編解碼標準相比具有更出色的率失真優(yōu)化性能。
其中在H.264標準中，基于率失真優(yōu)化的運動預(yù)測過程包括整像素運動搜索子過程和分數(shù)像素精化子過程；而對于整像素運動搜索子過程是指為每一種可用模式在所有可用參考幀內(nèi)搜索最優(yōu)的運動矢量，即搜索最優(yōu)的運動矢量參考幀組合(v，Δ)*，使得拉格朗日函數(shù)取得最小值；其中拉格朗日函數(shù)如下J(v，Δ)＝DDFD(v，Δ)+λMOTION·RMOTION(v，Δ)上述函數(shù)中，J表示拉格朗日函數(shù)代價值；(v，Δ)表示(運動矢量，參考幀)組合；DDFD表示幀間運動預(yù)測誤差(DFD，displaced frame difference)，其中使用當前圖像宏塊與參考圖像相應(yīng)部分差值的絕對值和(SAD，sum of absolutedifference)來作為DDFD的測度；RMOTION表示編碼運動信息(編碼運動信息包括運動矢量和參考幀信息)所需的比特數(shù)，其中編碼運動信息所需的比特數(shù)通過查詢統(tǒng)一變字長編碼表(UVLC，Universal Variable Length Codes)得到；λMOTION表示拉格朗日乘子，在H.264標準中規(guī)定λMOTION=0.85×2QP/3,]]>其中該式中Qp為預(yù)測量化系數(shù)。
上述整像素運動搜索子過程后，進一步在得到的運動矢量附近進行分數(shù)像素精化子過程的處理，其中對于視頻圖像中的亮度信號最終可以獲得1/4像素精度的運動矢量。
然而，上述基于率失真優(yōu)化的運動預(yù)測方法只能夠在無誤碼傳輸環(huán)境下良好的工作，因為壓縮后的視頻編碼數(shù)據(jù)對誤碼傳輸非常敏感，在有誤碼的情況下，幀間運動預(yù)測可能會引起嚴重的誤碼擴散問題，尤其是在由于傳輸信道質(zhì)量問題所引起的數(shù)據(jù)包丟失情況下，且由于解碼端受到傳輸時延的限制，使傳統(tǒng)的抗誤碼方法無法得到有效應(yīng)用，因此解碼端的圖像恢復(fù)將受到誤碼擴散的嚴重影響。
針對上述的誤碼擴散問題，H.264標準自身具有一定的抗誤碼能力，例如，H.264標準可以支持用于抗誤碼及抗丟包的宏塊級的幀內(nèi)刷新，其幀內(nèi)刷新技術(shù)旨在通過幀內(nèi)編碼來防止幀間運動預(yù)測所引起的誤碼傳輸。然而H.264標準目前所使用的幀間運動預(yù)測方法并不考慮參考圖像區(qū)域的可靠性，即不判決參考圖像區(qū)域的正確性，這樣出錯概率很大的幀間編碼像素點所形成的圖像區(qū)域就有可能作為參考圖像區(qū)域，因此在這種幀間運動預(yù)測方式下來使用幀內(nèi)刷新技術(shù)仍然無法完全防止誤碼擴散現(xiàn)象的發(fā)生。
請同時參閱圖1A，圖1B和圖1C，對于H.264標準所采用的幀內(nèi)刷新技術(shù)，圖像編碼數(shù)據(jù)由于傳輸信道質(zhì)量問題而引起數(shù)據(jù)包丟失后，在解碼端恢復(fù)圖像會有圖1A、圖1B和圖1C的顯示效果。其中圖1A、圖1B和圖1C中灰色帶部分是數(shù)據(jù)包丟失后所引起的圖像恢復(fù)錯誤情況，圖1A、圖1B和圖1C分別對應(yīng)解碼端的第n幀，第n+1幀和第n+2幀。從圖1B中可明顯看出，經(jīng)過第n+1幀的幀內(nèi)刷新處理，圖1A中第n幀的誤碼情況明顯得到了一定的改善；然而由于H.264運動預(yù)測過程并未考慮參考幀的正確性，這樣圖1C中第n+2幀參考了第n+1幀之前以及第n+1幀的錯誤圖像區(qū)域，因此經(jīng)第n+1幀的幀內(nèi)刷新后的宏塊在圖1C中的第n+2幀又重新出現(xiàn)誤碼條帶，由此可見H.264標準的幀內(nèi)刷新技術(shù)并未能完全防止誤碼擴散現(xiàn)象的發(fā)生。
目前，國際上已經(jīng)提出了一些運動預(yù)測方法，可以在誤碼或傳輸信道數(shù)據(jù)包丟失的情況下，使運動矢量盡可能參考較可靠的參考圖像部分，從而達到防止誤碼擴散現(xiàn)象發(fā)生的目的。其中主要包括以下兩種第一種是針對多參考幀視頻編碼方案的基于率失真優(yōu)化的運動補償預(yù)測方法；該方法使用簡單的錯誤跟蹤(Error Tracking)技術(shù)在編碼端估算信道傳輸丟包情況下解碼端的預(yù)測誤差，從而使拉格朗日率失真優(yōu)化獲得在信道傳輸丟包環(huán)境下更為優(yōu)化的運動矢量，該方法的具體技術(shù)方案如下在傳輸信道丟包率一定的情況下，搜索最優(yōu)的運動矢量參考幀組合(v，Δ)*，使得拉格朗日函數(shù)取得最小值；拉格朗日函數(shù)如下J(v，Δ)＝DD(v，Δ)+λMOTION·RMOTION(v，Δ)其中J表示拉格朗日函數(shù)代價值；(v，Δ)表示(運動矢量，參考幀)組合；DD表示解碼端的運動預(yù)測誤差，設(shè)DDFD(v，Δ)為幀間運動預(yù)測誤差(即編碼端的運動預(yù)測誤差)，使用差值信號的平方和(SSD，sum of squareddifference)作為測度，則DDFD(v，Δ)在解碼端對應(yīng)于完全無錯解碼情況下的運動預(yù)測誤差；則經(jīng)過信道傳輸丟包后，解碼端的運動預(yù)測誤差DD可利用DDFD(v，Δ)以及有誤碼情況下編、解碼端運動預(yù)測誤差的差值D′ERR(v，Δ)來進行近似，即D′ERR(v，Δ)＝DD-DDFD(v，Δ)，則DD＝DDFD(v，Δ)+D′ERR(v，Δ)；RMOTION表示編碼運動信息所需的比特數(shù)，其中編碼運動信息所需的比特數(shù)通過查詢統(tǒng)一變字長編碼表(UVLC，Universal Variable Length Codes)而得到；λMOTION表示拉格朗日乘子，在H.264標準中規(guī)定λMOTION=0.85×2QP/3,]]>其中該式中QP為預(yù)測量化系數(shù)。
如果設(shè)DERR(v，Δ)對應(yīng)于上述錯誤跟蹤得到的編解碼端預(yù)測誤差的差值，因此D′ERR(v，Δ)可以通過對DERR(v，Δ)加權(quán)得到；即
D′ERR(v，Δ)≈kDERR(v，Δ)其中k表示加權(quán)系數(shù)；則這種方法實際的運動預(yù)測過程為搜索最優(yōu)的運動矢量參考幀組合(v，Δ)*，使得拉格朗日函數(shù)取得最小值；這時拉格朗日函數(shù)具體表示方式如下J(v，Δ)＝DDFD(v，Δ)+kDERR(v，Δ)+λMOTION·RMOTION(v，Δ)由于這種針對多參考幀視頻編碼方案的基于率失真優(yōu)化的運動補償預(yù)測方法僅使用了簡單的錯誤跟蹤(ET)技術(shù)，且僅考慮了以下兩種錯誤情況(1)如果參考圖像區(qū)域部分傳輸出錯，采用正確的圖像區(qū)域進行誤碼掩蓋；(2)參考圖像區(qū)域部分正確接收，但是該參考圖像區(qū)域部分卻參考了經(jīng)過誤碼掩蓋的圖像區(qū)域。
基于上述情況，這種針對多參考幀視頻編碼方案的基于率失真優(yōu)化的運動補償預(yù)測方法還存在如下的不足A、僅使用編解碼端運動預(yù)測誤差以及編碼運動信息的比特數(shù)進行率失真優(yōu)化，并沒有考慮解碼端圖像恢復(fù)的真正運動預(yù)測誤差和編碼運動信息補償所需的所有比特數(shù)，因此由于誤碼或傳輸信道丟包現(xiàn)象對于運動預(yù)測誤差的影響并不能很好反映其對解碼端解碼重建圖像失真的影響，因此該方法提出的運動預(yù)測方法并不能獲得最優(yōu)的端到端率失真優(yōu)化性能。
B、在估算解碼端運動預(yù)測誤差DD的過程中，使用了一個加權(quán)因子k，加權(quán)因子k的取值是通過實驗得到的，而并沒有指出獲得加權(quán)因子k的具體方法?？梢娂訖?quán)因子k的選擇是一個不確定的過程，因此這種方法不適于實際應(yīng)用。
第二種是針對H.264標準中的多參考幀模式與幀內(nèi)刷新抗誤碼技術(shù)相結(jié)合時可能出現(xiàn)的誤碼擴散問題，而提出的一種限制參考幀的運動預(yù)測方法；該方法在模式選擇過程中監(jiān)測每一種模式最終選擇的運動矢量，若其選擇的運動矢量所參考的圖像區(qū)域在后續(xù)參考幀中進行了幀內(nèi)刷新處理，則可以認為此參考圖像區(qū)域不可靠，從而限制不使用該選擇的運動矢量參考幀組合。該方法的具體技術(shù)方案如下所示
第一步，對于每一當前宏塊的所有可用模式分別在各個參考幀內(nèi)進行運動預(yù)測搜索，并使用拉格朗日函數(shù)來優(yōu)化搜索得到的對應(yīng)于每一種模式的運動矢量。
第二步，對上述得到的各模式的運動矢量進行監(jiān)測，如果某種模式的最優(yōu)運動矢量參考的圖像區(qū)域部分在參考幀序列中的后續(xù)幀中進行了幀內(nèi)刷新處理，則排除參考這一模式及參考幀組合。
第三步，通過率失真優(yōu)化的模式選擇過程在經(jīng)過上述限制處理后的幀間模式以及幀內(nèi)模式集合中選擇最優(yōu)的模式進行編碼處理。
上述在限制參考幀的運動預(yù)測方法中，其運動預(yù)測搜索過程與無誤碼情況下的運動預(yù)測搜索過程是相同的，僅僅是在運動矢量確定之后對參考幀進行了一定的限制。由此這種方法可能存在會丟棄對于編碼非常有用的較可靠參考幀的問題，而且該方法沒有基于拉格朗日函數(shù)率失真優(yōu)化控制，因此也不能獲得較好的率失真優(yōu)化性能。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提出一種基于率失真優(yōu)化的運動預(yù)測方法，以抑制視頻傳輸所引起的誤碼擴散，進而獲得較好的率失真優(yōu)化性能。
為解決上述問題，本發(fā)明這里提出了一種基于率失真優(yōu)化的運動預(yù)測方法，包括步驟(A)編碼端估算經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值；(B)編碼端估算運動搜索過程中編碼運動信息和幀間運動預(yù)測誤差所需要的比特數(shù)；(C)編碼端基于步驟(A)所得的失真值和步驟(B)所得的比特數(shù)來進行率失真優(yōu)化運動預(yù)測處理。
所述步驟(A)的失真值包括解碼端正確接收的、且參考圖像完全正確的重建圖像相對于原始圖像的第一失真值；及解碼端正確接收的、但參考圖像出現(xiàn)錯誤的重建圖像相對于原始圖像的第二失真值。
所述第一失真值用編碼端重建圖像與原始圖像之間的差值絕對值和或差值平方和進行表示，如下Dn,B(s)(v,Δ)=αΣ(i,j)∈BqΔi+vx,j+vy.]]>其中Dn，B(s)為第一失真值；v為運動矢量；Δ為參考圖像塊中的參考幀；B為參考圖像塊；(i，j)為參考圖像塊中的坐標點；vx、vy分別是運動矢量v的水平、垂直分量；q為求取參考圖像正確概率的函數(shù)；α為平均每像素編碼失真的近似值。
所述參考圖像出現(xiàn)錯誤的情況包括參考圖像中的相關(guān)數(shù)據(jù)幀在信道傳輸過程中丟失；和參考圖像自身所參考的參考圖像中的相關(guān)數(shù)據(jù)幀在信道傳輸過程中丟失。
其中步驟(B)中所述運動搜索過程為整象素運動搜索過程；或分像素運動搜索過程；或整象素運動搜索過程結(jié)合分象素運動搜索過程。
所述步驟(B)中編碼運動信息所需要的比特數(shù)根據(jù)編碼運動信息查詢統(tǒng)一變字長編碼表得到。
所述步驟(B)中幀間運動預(yù)測誤差所需要的比特數(shù)根據(jù)幀間運動預(yù)測誤差的差值絕對值和或差值平方和進行估計。
所述步驟(C)進一步包括步驟(C1)計算用差值絕對值和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；或計算用差值平方和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；
(C2)利用信道傳輸丟包環(huán)境下的拉格朗日乘子對步驟(A)所得的失真值和步驟(B)所得的比特數(shù)計算拉格朗日函數(shù)最小值。
其中步驟(C1)中所述用差值絕對值和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子通過下面公式求得λ′=(1-p)*pc*λm]]>其中λ′為用差值絕對值和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；P為信道傳輸丟包率；Pc為參考圖像部分正確的平均概率；λm為模式選擇所用的拉格朗日乘子。
其中步驟(C1)中所述用差值平方和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子通過下面公式求得λ′＝(1-p)*Pc*λm其中λ′為用差值平方和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；P為信道傳輸丟包率；Pc為參考圖像部分正確的平均概率；λm為模式選擇所用的拉格朗日乘子。
所述參考圖像部分正確的平均概率Pc通過下面公式求得pc=Σ(i,j)∈BqΔi+vx,j+vy/NB]]>其中B代表參考圖像塊；NB為參考圖像塊的大?。?i，j)為參考圖像塊中的坐標點；Δ為參考圖像塊中的參考幀；vx、vy分別是運動矢量v的水平、垂直分量；q為求取參考圖像正確概率的函數(shù)。
所述編碼運動信息包括運動矢量信息和參考幀信息。
本發(fā)明能夠達到的有益效果如下由于本發(fā)明基于率失真優(yōu)化的運動預(yù)測方法在傳輸信道存在丟包的情況下，由編碼端估計經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的總失真值，并估計運動搜索過程中編碼運動信息和幀間運動預(yù)測誤差所需要的總比特數(shù)，然后使用估計得到的總失真值和總比特數(shù)來進行基于率失真優(yōu)化的運動預(yù)測處理，旨在根據(jù)率失真優(yōu)化原則來權(quán)衡編碼效率和參考圖像的可靠性，在一定信道傳輸丟包情況下搜索到最優(yōu)的運動矢量，從而實現(xiàn)了對視頻傳輸所引起的誤碼擴散進行抑制的目的，有效地提高了丟包情況下解碼端重建圖像的主客觀質(zhì)量，因此獲得了較好的率失真優(yōu)化性能。


圖1A、圖1B和圖1C是采用H.264標準中的幀內(nèi)刷新技術(shù)后的解碼端圖像恢復(fù)情況示意圖；圖2是本發(fā)明基于率失真優(yōu)化的運動預(yù)測方法的實現(xiàn)原理流程圖。
具體實施例方式
本發(fā)明基于率失真優(yōu)化的運動預(yù)測方法設(shè)計宗旨是根據(jù)視頻通信系統(tǒng)的傳輸信道狀況，在編碼端估算經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值，及估算編碼端在運動搜索過程中編碼運動信息和幀間運動預(yù)測誤差所需要的比特數(shù)，然后基于率失真優(yōu)化原則對估算得到的失真值和所需的比特數(shù)進行運動預(yù)測處理。
下面結(jié)合附圖對本發(fā)明基于率失真優(yōu)化的運動預(yù)測方法的具體實施進行詳細闡述。請參閱圖2，該圖是本發(fā)明基于率失真優(yōu)化的運動預(yù)測方法的實現(xiàn)原理流程圖；其實現(xiàn)過程包括如下步驟步驟S10，編碼端估算經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值；步驟S20，編碼端分別估算運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)；其中編碼端可以分別估算整象素運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)，也可以分別估算分象素運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)；或者分別估算整象素運動搜索過程結(jié)合分像素運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)。
步驟S30，編碼端基于步驟S10所得的失真值和步驟S20所得的比特數(shù)來進行基于率失真優(yōu)化的運動預(yù)測處理。
其中上述步驟S30中編碼端基于率失真優(yōu)化原則的運動預(yù)測處理過程包括如下步驟首先計算信道傳輸丟包環(huán)境下的拉格朗日乘子；編碼端再利用信道傳輸丟包環(huán)境下的拉格朗日乘子對估算得到的失真值和所需要的比特數(shù)計算拉格朗日函數(shù)最小值。
例如，編碼端對于參考圖像的第n幀的B塊(假設(shè)其中該參考圖像塊B的大小NB)在運動搜索過程中，尋找最優(yōu)的運動矢量參考幀組合(v，REF)n，B*，以使得下列拉格朗日函數(shù)具有最小值(v,Δ)n,B*=argmin(v,Δ)∈V(Dn,B(v,Δ)+λ′·Rn,B(v,Δ))]]>上式中，V為全部搜索范圍；Dn，B(v，Δ)即為編碼端估算的經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值；Rn，B(v，Δ)即為編碼端估算的運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)之和；λ′即為信道傳輸丟包環(huán)境下使用的拉格朗日乘子；(v，Δ)n，B*為(運動矢量v，參考幀Δ)組合。
下面結(jié)合上例介紹編碼端估算經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值的過程其中經(jīng)過信道傳輸后解碼端重建圖像相對于編碼端發(fā)送的原始圖像的失真值可看作由三部分組成；第一部分為解碼端正確接收的、且參考圖像完全正確的重建圖像相對于原始圖像的第一失真值Dn，B(s)，這部分失真是指對應(yīng)于解碼端完全正確接收當前圖像部分數(shù)據(jù)，并接收的圖像部分的參考圖像部分完全正確無誤碼的情況，即第一失真值Dn，B(s)和編碼端的重建圖像相對于原始圖像的失真值相等，即只是編碼過程產(chǎn)生的運動失真，而沒有因為信道傳輸過程引起的失真存在。第一失真值Dn，B(s)使用編碼端重建圖像與原始圖像之間的差值絕對值和或差值平方和來進行表示，如下Dn,B(s)(v,Δ)=αΣ(i,j)∈BqΔi+vx,j+vy.]]>上式中Dn，B(s)為第一失真值；B為參考圖像塊；v為運動矢量；Δ為參考圖像塊B中的參考幀；(i，j)為參考圖像塊B中的坐標點；vx、vy分別是運動矢量v的水平、垂直分量；q為求取參考圖像正確概率的函數(shù)；α為平均每像素編碼失真的近似值。
第二部分為解碼端正確接收的、但參考圖像出現(xiàn)錯誤的重建圖像相對于原始圖像的第二失真值Dn，B(ep)，這部分失真主要為信道傳輸丟包引起的，對應(yīng)于解碼端正確接收當前圖像部分數(shù)據(jù)，但是接收的圖像部分的參考圖像部分由于信道傳輸丟包而引起出現(xiàn)錯誤的情況。但是精確的錯誤跟蹤將會大大增加系統(tǒng)的運算量，并且由于某些情況如沿錯誤跟蹤某條“支路”連續(xù)出現(xiàn)包丟失的情況出現(xiàn)的概率是非常小的，因此本發(fā)明這里采用簡單的錯誤跟蹤技術(shù)，即將這部分失真Dn，B(ep)近似考慮為參考圖像中的相關(guān)數(shù)據(jù)幀在信道傳輸過程中丟失以及參考圖像自身所參考的參考圖像中的相關(guān)數(shù)據(jù)幀在信道傳輸過程中丟失，即參考圖像本身數(shù)據(jù)被接收端正確接收，但參考圖像的參考圖像出現(xiàn)數(shù)據(jù)幀丟失。
第三部分為誤碼掩蓋失真Dn，B(ec)，因為誤碼掩蓋失真在編碼過程中不受運動搜索過程的影響，因此本發(fā)明對這部分失真Dn，B(ec)在最終的率失真優(yōu)化過程中將不予考慮。
如果考慮誤碼掩蓋失真Dn，B(ec)，則編碼端估算的經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值Dn，B(v，Δ)就為上述三種失真和，具體如下Dn,B(v,Δ)=(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+p·Dn,B(ec)(v,Δ)]]>
上式中，p為信道傳輸丟包率；而如果不考慮誤碼掩蓋失真Dn，B(ec)，則編碼端估算的經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值Dn，B(v，Δ)就為(Dn，B(s)(v，Δ)和Dn，B(ep)(v，Δ)之和，具體如下Dn,B(v,Δ)=(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ)).]]>下面再結(jié)合上例介紹編碼端估算在運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)之和Rn，B(v，Δ)的過程其中Rn，B(v，Δ)主要包括兩部分1)用于編碼運動信息(編碼運動信息包括運動矢量信息和參考幀信息)的比特數(shù)Rn，B(M)，其中Rn，B(M)值可以通過根據(jù)編碼運動信息查詢統(tǒng)一變字長編碼表UVLC得到，其過程和現(xiàn)有技術(shù)中無誤碼情況下的運動搜索過程中編碼運動信息所需比特數(shù)的求解過程類似。
2)用于幀間運動預(yù)測誤差的比特數(shù)Rn，B(DFD)，其中Rn，B(DFD)根據(jù)幀間運動預(yù)測誤差的差值絕對值和(SAD)進行估算，即Rn,B(DFD)(v,Δ)=γSADn,B(v,Δ),]]>式中γ為編碼速率與SAD的比值的近似值。
編碼端在每一宏塊編碼結(jié)束后使用實際比特數(shù)Rr(即該宏塊的編碼速率)和SADr(即該宏塊幀間運動預(yù)測誤差的絕對值和)的比值對參數(shù)γ進行更新，即γ＝Rr/SADr。
Rn，B(DFD)也可以根據(jù)幀間運動預(yù)測誤差的差值平方和(SSD)進行估算，并對參數(shù)γ進行更新。
綜上，編碼端估算在運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)之和Rn，B(v，Δ)就為Rn，B(M)和Rn，B(DFD)之和，具體表示如下Rn,B(v,Δ)=Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ).]]>下面再結(jié)合上例介紹信道傳輸丟包環(huán)境下的拉格朗日乘子λ′的求取過程如果設(shè)qk(i，j)為參考圖像中第k幀內(nèi)(i，j)點的正確概率，則當(i，j)點為幀內(nèi)編碼時qk(i，j)＝1；而當(i，j)點為幀間編碼時，若該點的參考點為第m幀的(x，y)點，則qk(i，j)＝(1-p)qm(x，y)，其中p為信道傳輸丟包率。
基于上述原理，本發(fā)明提出上述第一失真值Dn，B(s)用差值絕對值和表示的情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子λ′利用下列公式求得λ′=(1-p)*Pc*λm]]>上式中λ′為用差值絕對值和表示Dn，B(s)的情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；P為信道傳輸丟包率；Pc為參考圖像部分正確的平均概率；λm為模式選擇所用的拉格朗日乘子。
同時提出上述第一失真值Dn，B(s)用差值平方和表示的情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子λ′利用下列公式求得λ′＝(1-p)*Pc*λm其中上式中λ′為用差值平方和表示Dn，B(s)的情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；而P、Pc、λm參數(shù)的含義同上。
其中上述參考圖像部分正確的平均概率Pc通過如下公式求得pc=Σ(i,j)∈BqΔi+vx,j+vy/NB]]>上式中B代表參考圖像塊；NB為參考圖像塊B的大?。?i，j)為參考圖像塊B中的坐標點；Δ為參考圖像塊B中的參考幀；vx、vy分別是運動矢量v的水平、垂直分量；q為求取參考圖像正確概率的函數(shù)。
綜上所述，將求得的信道傳輸丟包環(huán)境下的拉格朗日乘子λ′、編碼端估算的經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值Dn，B(v，Δ)和編碼端估算的運動搜索過程中編碼運動信息所需要的比特數(shù)和幀間運動預(yù)測誤差所需要的比特數(shù)之和Rn，B(v，Δ)帶入拉格朗日函數(shù)，則由求解拉格朗日函數(shù)最小值而求得的最優(yōu)運動矢量確定為(v,Δ)n,B*=argmin(v,REF)∈V(Dn,B(v,Δ)+λ′·Rn,B(v,Δ))]]>=argmin(v,REF)∈V{(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+(1-p)*Pc*λm(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>=argmin(v,REF)∈V{(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+Pc*λm/(1-p)(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>其中上式為第一失真值Dn，B(s)用差值絕對值和進行表示的情況下，所要求解的拉格朗日函數(shù)，式中各參數(shù)的意義請參照上述相應(yīng)解釋。
而如果第一失真值Dn，B(s)用差值平方和進行表示的情況下，所要求解的拉格朗日函數(shù)如下(v,Δ)n,B*=argmin(v,REF)∈V(Dn,B(v,Δ)+λ′·Rn,B(v,Δ))]]>=argmin(v,REF)∈V{(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+(1-p)*Pc*λm(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>=argmin(v,REF)∈V{(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+Pc*λm(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>式中各參數(shù)的意義請參照上述相應(yīng)解釋。
本發(fā)明基于率失真優(yōu)化的運動預(yù)測方法與H.264標準完全兼容，并已結(jié)合測試模型JM7.6實現(xiàn)了本發(fā)明所述的技術(shù)方案，且實施結(jié)果已經(jīng)明顯對誤碼擴散現(xiàn)象進行了抑制，并明顯提高了解碼端恢復(fù)重建圖像的質(zhì)量。
本發(fā)明基于率失真優(yōu)化的運動預(yù)測方法也能夠增強H.264視頻編碼過程自身的抗誤碼能力，有效提高信道傳輸丟包情況下解碼端恢復(fù)重建視頻圖像的主客觀質(zhì)量。如下例使用5個參考幀對一個測試序列foreman.qcf進行視頻編碼，其中為每一參考幀的幀內(nèi)刷新宏塊個數(shù)。其中上述背景技術(shù)中的現(xiàn)有技術(shù)方法1為使用限制參考幀的技術(shù)方案(具體參見背景技術(shù)的相關(guān)描述)；現(xiàn)有技術(shù)方法2為不使用限制參考幀策略，但進行運動預(yù)測補償?shù)募夹g(shù)方案(具體參見背景技術(shù)的相關(guān)描述)。為使現(xiàn)有技術(shù)方法1、現(xiàn)有技術(shù)方法2和本發(fā)明方法的運行結(jié)果具有可比性，這里對現(xiàn)有技術(shù)方法1和現(xiàn)有技術(shù)方法2進行編碼速率控制，使得其編碼速率和使用本發(fā)明方法的編碼速率基本相同。這里令每一個宏塊組(GOB，Group of Block)為一個獨立的傳輸數(shù)據(jù)包，傳輸信道丟包率為10％，并且傳輸信道采用獨立丟包的實驗條件，且假設(shè)現(xiàn)有技術(shù)方法1、現(xiàn)有技術(shù)方法2和本發(fā)明方法丟包模式相同。可得到如下的實驗結(jié)果

其中上表中PSNR為峰值信噪比(PSNR，Peak Signal to Noise Ratio)；從上表中對現(xiàn)有技術(shù)方法1、現(xiàn)有技術(shù)方法2和本發(fā)明方法的運行結(jié)果進行比較的情況來看，本發(fā)明方法相對于現(xiàn)有技術(shù)方法1和現(xiàn)有技術(shù)方法2，在編碼速率幾乎相等的基礎(chǔ)上，本發(fā)明方法相對于現(xiàn)有技術(shù)方法1和現(xiàn)有技術(shù)方法2在解碼端具有較高的平均峰值信噪比PSNR，即解碼端恢復(fù)重建圖像失真程度相對于現(xiàn)有技術(shù)有了明顯的改進，從而本發(fā)明方法抑制了由于傳輸信道質(zhì)量而引起的丟包現(xiàn)象所帶來的誤碼擴散，獲得了較好的率失真優(yōu)化性能，進而達到了本發(fā)明的目的。
以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。
權(quán)利要求
1.一種基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，包括步驟(A)編碼端估算經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值；(B)編碼端估算運動搜索過程中編碼運動信息和幀間運動預(yù)測誤差所需要的比特數(shù)；(C)編碼端基于步驟(A)所得的失真值和步驟(B)所得的比特數(shù)來進行率失真優(yōu)化運動預(yù)測處理。
2.根據(jù)權(quán)利要求1所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述步驟(A)的失真值包括解碼端正確接收的、且參考圖像完全正確的重建圖像相對于原始圖像的第一失真值；及解碼端正確接收的、但參考圖像出現(xiàn)錯誤的重建圖像相對于原始圖像的第二失真值。
3.根據(jù)權(quán)利要求2所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述第一失真值用編碼端重建圖像與原始圖像之間的差值絕對值和或差值平方和進行表示，如下Dn,B(s)(v,Δ)=αΣ(i,j)∈BqΔi+vx,j+vy.]]>其中Dn，B(s)為第一失真值；v為運動矢量；Δ為參考圖像塊中的參考幀；B為參考圖像塊；(i，j)為參考圖像塊中的坐標點；vx、vy分別是運動矢量v的水平、垂直分量；q為求取參考圖像正確概率的函數(shù)；α為平均每像素編碼失真的近似值。
4.根據(jù)權(quán)利要求2所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述參考圖像出現(xiàn)錯誤的情況包括參考圖像中的相關(guān)數(shù)據(jù)幀在信道傳輸過程中丟失；和參考圖像自身所參考的參考圖像中的相關(guān)數(shù)據(jù)幀在信道傳輸過程中丟失。
5.根據(jù)權(quán)利要求1所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，步驟(B)中所述運動搜索過程為整象素運動搜索過程；或分像素運動搜索過程；或整象素運動搜索過程結(jié)合分象素運動搜索過程。
6.根據(jù)權(quán)利要求1所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述步驟(B)中編碼運動信息所需要的比特數(shù)根據(jù)編碼運動信息查詢統(tǒng)一變字長編碼表得到。
7.根據(jù)權(quán)利要求1所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述步驟(B)中幀間運動預(yù)測誤差所需要的比特數(shù)根據(jù)幀間運動預(yù)測誤差的差值絕對值和或差值平方和進行估計。
8.根據(jù)權(quán)利要求3所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述步驟(C)進一步包括步驟(C1)計算用差值絕對值和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；或計算用差值平方和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；(C2)利用信道傳輸丟包環(huán)境下的拉格朗日乘子對步驟(A)所得的失真值和步驟(B)所得的比特數(shù)計算拉格朗日函數(shù)最小值。
9.根據(jù)權(quán)利要求8所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，步驟(C1)中所述用差值絕對值和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子通過下面公式求得λ′=(1-p)*Pc*λm]]>其中λ′為用差值絕對值和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；P為信道傳輸丟包率；Pc為參考圖像部分正確的平均概率；λm為模式選擇所用的拉格朗日乘子。
10.根據(jù)權(quán)利要求8所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，步驟(C1)中所述用差值平方和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子通過下面公式求得λ′＝(1-p)*Pc*λm其中λ′為用差值平方和表示第一失真值情況下，信道傳輸丟包環(huán)境下的拉格朗日乘子；P為信道傳輸丟包率；Pc為參考圖像部分正確的平均概率；λm為模式選擇所用的拉格朗日乘子。
11.根據(jù)權(quán)利要求9或10所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述參考圖像部分正確的平均概率Pc通過下面公式求得pc=Σ(i,j)∈BqΔi+vx,j+vy/NB]]>其中B代表參考圖像塊；NB為參考圖像塊的大??；(i，j)為參考圖像塊中的坐標點；Δ為參考圖像塊中的參考幀；vx、vy分別是運動矢量v的水平、垂直分量；q為求取參考圖像正確概率的函數(shù)。
12.根據(jù)權(quán)利要求1或6所述的基于率失真優(yōu)化的運動預(yù)測方法，其特征在于，所述編碼運動信息包括運動矢量信息和參考幀信息。
全文摘要
本發(fā)明公開了一種基于率失真優(yōu)化的運動預(yù)測方法，包括編碼端估算經(jīng)過信道傳輸后解碼端重建圖像相對于原始圖像的失真值；編碼端估算運動搜索過程中編碼運動信息和幀間運動預(yù)測誤差所需要的比特數(shù)；編碼端基于上述所得的失真值和所得的比特數(shù)來進行率失真優(yōu)化運動預(yù)測處理。本發(fā)明可以抑制視頻傳輸所引起的誤碼擴散，進而獲得較好的率失真優(yōu)化性能。
文檔編號H04N7/32GK1735212SQ20041007038
公開日2006年2月15日 申請日期2004年8月2日 優(yōu)先權(quán)日2004年8月2日
發(fā)明者王靜, 萬帥, 常義林, 羅忠 申請人:華為技術(shù)有限公司