專利名稱：空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種編碼方法，具體是一種立體視頻編碼的優(yōu)化方法。
背景技術(shù)：
隨著三維技術(shù)的日趨成熟，由多視點(diǎn)攝像系統(tǒng)采集的立體視頻信號的應(yīng)用正在迅速發(fā)展，視頻顯示技術(shù)在未來的發(fā)展方向必定由單純的平面顯示向立體顯示轉(zhuǎn)變。和普通的單通道視頻相比，立體視頻增加了景物的深度信息，增強(qiáng)視覺的現(xiàn)實(shí)感和逼真感。立體視頻信號將是未來多媒體通信的重要內(nèi)容，將被廣泛應(yīng)用于數(shù)字電視、遠(yuǎn)程教育、遠(yuǎn)程工業(yè)控制、三維視頻會議系統(tǒng)和虛擬現(xiàn)實(shí)系統(tǒng)等多個方面，但是與普通的單通道視頻相比，立體視頻傳輸和存儲的數(shù)據(jù)量至少增加一倍以上；而在空間遙操作環(huán)境下，由于通訊帶寬有限， 為了對立體視頻數(shù)據(jù)進(jìn)行有效的存儲和傳輸，必須充分利用空間、時間和兩個通道之間的信息冗余，采用運(yùn)動補(bǔ)償預(yù)測技術(shù)和視差補(bǔ)償預(yù)測技術(shù)來對立體圖像視頻數(shù)據(jù)進(jìn)行有效壓縮。
立體視頻是由相距65mm左右的兩個平行光軸攝像機(jī)同時對一個場景進(jìn)行拍攝得到，因此圖像對之間有很強(qiáng)的雙目視相關(guān)性。
立體視頻總體框架如圖I所示，采集部分采用多通道數(shù)據(jù)采集技術(shù)，利用兩個攝像頭，對現(xiàn)場的立體景象進(jìn)行實(shí)時數(shù)據(jù)采集，并且同步傳輸給視頻數(shù)據(jù)編碼器，編碼器對采集的視頻數(shù)據(jù)進(jìn)行實(shí)時壓縮，并且進(jìn)行存儲或者傳輸，視頻數(shù)據(jù)解碼器根據(jù)接收到的碼流進(jìn)行解碼處理，解碼后的圖像分為左右兩路后再進(jìn)行立體顯示。
該系統(tǒng)攝取的視頻包括左右兩個通道，兩個通道的圖像對之間有很強(qiáng)的雙目相關(guān)性，H. 264是一種高效的單通道視頻編碼標(biāo)準(zhǔn)，但是對于立體視頻編碼而言，并不是對左右通道分別采用高效的單通道視頻編碼，就可以達(dá)到很好的壓縮效果。這是由于立體視頻編碼中除了要考慮每個通道幀內(nèi)圖像的空間冗余度和幀間圖像之間的時間冗余度外，還要考慮左右通道圖像之間的空間冗余度。發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種具有良好壓縮效果的的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法。
本發(fā)明采用以下技術(shù)方案解決上述技術(shù)問題的在兩路視頻信號中，將左路視頻作為參考圖像，使用經(jīng)典的基于運(yùn)動補(bǔ)償預(yù)測的視頻編碼方法進(jìn)行編碼，去除圖像之間的空間相關(guān)性和時間相關(guān)性，將右路視頻作為目標(biāo)圖像，采用視差估計(jì)/補(bǔ)償技術(shù)消除圖像對之間的冗余。這里的視差是指立體圖像對之間的幾何差異。
具體的，本發(fā)明是基于H. 264編碼技術(shù)，提出下面的立體視頻編碼方案考慮左右通道相關(guān)性和右通道視差預(yù)測的殘差，左通道采用H. 264編碼，右通道采用基于左通道的 DCP (視差補(bǔ)償預(yù)測)編碼，右通道視差預(yù)測的殘差也采用H. 264方式進(jìn)行編碼，在進(jìn)行H.264編碼過程中，結(jié)合實(shí)際需要，并對該編碼進(jìn)行了部分優(yōu)化。4
本發(fā)明進(jìn)一步具體為在左通道采用的H. 264編碼中，對幀內(nèi)預(yù)測算法和運(yùn)動估計(jì)算法做了優(yōu)化；
對幀內(nèi)預(yù)測算法優(yōu)化的方法為利用周圍宏塊的已知信息，對當(dāng)前編碼宏塊的可能預(yù)測模式按照概率進(jìn)行排序，然后依次計(jì)算各個模式的SATD值，如果SATD值低于設(shè)置的閾值，那么停止計(jì)算剩余模式的SATD值，色差分量和亮度分量均采用此算法；
對運(yùn)動估計(jì)算法優(yōu)化的方法為使用三步搜索法進(jìn)行運(yùn)動估計(jì)，三步搜索法的實(shí)現(xiàn)步驟如下
①以“I”點(diǎn)為中心，步長為4，搜索其±4范圍內(nèi)9個標(biāo)記為“I”的點(diǎn)，依據(jù)評測準(zhǔn)則函數(shù)，從這9個像素中找到具有最小MSE或最小均方絕對差的點(diǎn)，作為該步驟的最佳匹配像素點(diǎn)；
②圍繞在步驟①中被選擇作為最佳匹配的像素點(diǎn)，選擇步長為2，搜索其±2 范圍內(nèi)所選擇的8個標(biāo)記為“2”的點(diǎn)，與步驟①相類同，依據(jù)準(zhǔn)則函數(shù)找到一個最佳匹配像素點(diǎn)；
③選擇步長為1，在步驟②的最佳匹配點(diǎn)±1范圍內(nèi)搜索，得到的最佳匹配像素點(diǎn)將作為三步搜索的最終結(jié)果。
優(yōu)化的，在運(yùn)動估計(jì)算法的運(yùn)動搜索過程中，使用的率失真方程如下
J(m\ AmottJ = SA/|.v,c(m))+AiiwiJR{m-p)
在幀間和幀內(nèi)編碼模式選擇時，使用下面的率失真方程式 /(.V，c·, palleni ( )1\ ) = SSlc, pallen)
+ U W。山I
其中，J(m| Amotion)是于選擇運(yùn)動矢量的衡量標(biāo)準(zhǔn)，使得該值最小的運(yùn)動矢量被選擇，J (s，c, pattern | QP, λ mode)用于模式選擇的衡量標(biāo)準(zhǔn)，使得該值最小的編碼模式被選擇， SAD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值之和，SSD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值平方之和，Xmotion和λπ_是拉格朗日參數(shù)。
本發(fā)明的優(yōu)化方法還可以對右路視頻的壓縮編碼通進(jìn)行優(yōu)化，或者在對左路視頻的壓縮編碼進(jìn)行優(yōu)化的基礎(chǔ)上同時對右路視頻的壓縮編碼進(jìn)行優(yōu)化，對右路視頻的壓縮編碼的步驟為對右路視頻進(jìn)行視差估計(jì)，編碼單位可以選擇是16x16的宏塊，首先當(dāng)前編碼的右路圖像中的宏塊在時間同步的左路圖像中搜索最匹配的圖像塊，得到相應(yīng)的視差矢量，對視差矢量進(jìn)行無失真編碼，同時，當(dāng)前的編碼塊和搜索得到的最匹配塊進(jìn)行相減，得到視差估計(jì)殘差，然后再對其進(jìn)行變換編碼，視察估計(jì)的快速算法包括以下一個或三個
首先，根據(jù)視差的偏振約束特性，搜索時只沿偏振線進(jìn)行，在平行相機(jī)系統(tǒng)中只需沿水平方向進(jìn)行搜索；其次根據(jù)方向性約束，搜索時優(yōu)先向一個方向搜索，考慮到左通道圖像作為基本層編碼，右通道圖像作為增強(qiáng)層編碼，視差估計(jì)時優(yōu)先向右進(jìn)行搜索；利用時域相關(guān)性或空域相關(guān)性，在進(jìn)行視差估計(jì)時，用前一幀圖像的對應(yīng)視差矢量作為搜索起始點(diǎn)。
本發(fā)明的優(yōu)點(diǎn)在于結(jié)合最新的H. 264高效編碼壓縮技術(shù)特點(diǎn)，根據(jù)壓縮率和實(shí)時性要求，對H. 264編碼算法進(jìn)行了優(yōu)化處理，保證壓縮率的基礎(chǔ)上減少了運(yùn)算量，主要對幀內(nèi)預(yù)測算法和運(yùn)動估計(jì)算法進(jìn)行了優(yōu)化，試驗(yàn)結(jié)果表明，優(yōu)化后的效果明顯，系統(tǒng)的實(shí)時性得到改善。


圖I是立體視頻總體框架圖。
圖2是H. 264算法流程圖。
具體實(shí)施方式
I、左路視頻的壓縮編碼
首先對立體視頻中的左路視頻使用最新的國際視頻標(biāo)準(zhǔn)H. 264進(jìn)行壓縮。
H. 264是由ITU-T視頻專家小組VCEG和IS0/IEC運(yùn)動圖像專家組聯(lián)合推出的最新視頻編碼標(biāo)準(zhǔn)，和以前的編碼標(biāo)準(zhǔn)相比，H. 264的編碼性能取得了前所未有的提高，采用了一些新的算法，如預(yù)測方法，整數(shù)變換，4x4塊的運(yùn)動估計(jì)/運(yùn)動補(bǔ)償，環(huán)路濾波，新的熵編碼方法，率失真優(yōu)化技術(shù)RDO (rate distortion optimization)等,但H. 264在性能提高的同時，編碼器的復(fù)雜度也大幅度增加，很難滿足空間遙操作中實(shí)時性要求，根據(jù)壓縮率和實(shí)時性的要求，本文只使用了 H. 264標(biāo)準(zhǔn)的基本檔次(baseline prof ile)部分，并對H. 264 的編碼進(jìn)行了優(yōu)化處理。H. 264算法流程圖如圖2所示。
I. I算法的優(yōu)化處理
算法優(yōu)化是在保證壓縮率的基礎(chǔ)上減少運(yùn)算量，在圖2中，我們主要對幀內(nèi)預(yù)測算法和運(yùn)動估計(jì)算法做了優(yōu)化。視頻數(shù)據(jù)中主要存在兩種形式的冗余，即幀內(nèi)的空間冗余和幀間的時間冗余，幀內(nèi)預(yù)測主要消除幀內(nèi)像素之間的空間冗余，用編碼塊周圍的重建像素值來預(yù)測當(dāng)前編碼塊，由于有多種編碼模式可選，在編碼的過程中，需要進(jìn)行窮盡搜索， 計(jì)算復(fù)雜度比較大。而運(yùn)動估計(jì)模塊，消除的是幀間的時間冗余，用當(dāng)前編碼幀中的宏塊在前一幀中搜索最優(yōu)匹配塊，然后對匹配殘差和運(yùn)動矢量進(jìn)行編碼，這里搜索過程的復(fù)雜度同樣也很高。
I. I. I快速幀內(nèi)預(yù)測編碼
在幀內(nèi)預(yù)測中，為了確定一個宏塊的幀內(nèi)預(yù)測模式，需要計(jì)算所有可能模式的 SATD值(Sum of Absolute Transform Difference,殘差變換絕對值和)，然后選擇具有最小SATD的模式作為最終的預(yù)測模式。在H. 264中，是基于16x16的幀內(nèi)預(yù)測模式，色差分量的預(yù)測模式和亮度分量類似。為了減少幀內(nèi)預(yù)測中計(jì)算SATD值的次數(shù)，我們利用周圍宏塊的已知信息，對當(dāng)前編碼宏塊的可能預(yù)測模式按照概率進(jìn)行排序，然后依次計(jì)算各個模式的SATD值，如果SATD值低于我們設(shè)置的閾值，那么停止計(jì)算剩余模式的SATD值，色差分量和亮度分量均采用此算法，從而有效的降低計(jì)算復(fù)雜度。
I. I. 2快速幀間預(yù)測編碼
為了消除圖像幀間的冗余，H. 264中采用了基于塊匹配的運(yùn)動估計(jì)算法，其基本思想是將圖像劃分成許多互不重疊的子塊，并且認(rèn)為塊內(nèi)所有像素的位移量都相同。全搜索算法是塊匹配算法中研究和應(yīng)用最廣泛的一種技術(shù)，但是由于計(jì)算量相當(dāng)大。為了減少計(jì)算量，在本項(xiàng)目中我們使用三步搜索算法進(jìn)行運(yùn)動估計(jì)，三步搜索算法的實(shí)現(xiàn)示意圖如圖3 所示。
三步搜索算法的實(shí)現(xiàn)步驟如下
①以“I”點(diǎn)為中心，步長為4，搜索其±4范圍內(nèi)9個標(biāo)記為“I”的點(diǎn)，依據(jù)評測準(zhǔn)則函數(shù)，從這9個像素中找到具有最小MSE或最小均方絕對差的點(diǎn)，作為該步驟的最佳匹配像素點(diǎn)。
②圍繞在步驟①中被選擇作為最佳匹配的像素點(diǎn)，選擇步長為2，搜索其±2 范圍內(nèi)所選擇的8個標(biāo)記為“2”的點(diǎn)，與步驟①相類同，依據(jù)準(zhǔn)則函數(shù)找到一個最佳匹配像素點(diǎn)。
③選擇步長為1，在步驟②的最佳匹配點(diǎn)±1范圍內(nèi)搜索，得到的最佳匹配像素點(diǎn)將作為三步搜索的最終結(jié)果。
1.1.3率失真優(yōu)化算法
率失真優(yōu)化算法是指在有限帶寬的條件下，如何獲得最優(yōu)的圖像質(zhì)量，本方案使用一個簡單的方程表達(dá)式將碼率和失真聯(lián)系起來，從而在碼率和失真度之間取得一個的平衡點(diǎn)，從而保證在給定的碼率條件下取得最優(yōu)的圖像質(zhì)量。
在運(yùn)動搜索的過程中，使用的率失真方程如下
./(ot| AmoljJ = SAlMm))+ .mo Κφι-ρ)
在幀間和幀內(nèi)編碼模式選擇時，使用下面的率失真方程式 /(\ C, pa"en\ ( )l\ Ain^,) = SSIJs, c\ patieri)
+ /U,*/《wock,K」/)
其中，J(m| Amotion)是用于選擇運(yùn)動矢量的衡量標(biāo)準(zhǔn)，使得該值最小的運(yùn)動矢量被選擇。J (s，c，pattern I QP，Amode)是用于模式選擇的衡量標(biāo)準(zhǔn)，使得該值最小的編碼模式被選擇。
SAD (Sum of Absolute Difference,絕對差值和)是衡量失真度的尺度，由源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值之和。SSD (Sum of Squared Difference，差值平方和)也是用來衡量失真的另一尺度，由源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值平方之和。
Amotion是拉格朗日參數(shù)，它的大小決定碼率和失真對于運(yùn)動矢量選擇的影響， λ motion大則碼率對模式選擇的影響更大，λ motion小則模式選擇對失真更為敏感。
Amode是拉格朗日參數(shù)，它的大小決定碼率和失真對模式選擇的影響大小，大則碼率對模式選擇的影響大，λπ_小則模式選擇對失真更為敏感。
使用上述的方法能夠獲得在指定帶寬條件下的最優(yōu)圖像質(zhì)量。
2右路視頻的壓縮編碼
對右路視頻進(jìn)行視差估計(jì)，編碼單位也是16x16的宏塊。首先當(dāng)前編碼的右路圖像中的宏塊在時間同步的左路圖像中搜索最匹配的圖像塊，得到相應(yīng)的視差矢量，對視差矢量進(jìn)行無失真編碼，同時，當(dāng)前的編碼塊和搜索得到的最匹配塊進(jìn)行相減，得到視差估計(jì)殘差，然后再對其進(jìn)行變換編碼。
塊匹配法是常用的視差估計(jì)方法，其基本思想是將圖像分割成固定尺寸的塊，塊內(nèi)部像素的視差值假定是相同的，在參考圖像中按照一定的匹配準(zhǔn)則尋找最佳匹配塊。但是視差矢量的分布受到一定的約束，一幀圖像內(nèi)前后圖像塊的視差矢量之間，相鄰幀圖像對應(yīng)塊的視差矢量之間都存在相關(guān)性，我們將使用這些特性來進(jìn)行快速的視差估計(jì)。
2. I偏振約束
對于一個給定的景物點(diǎn)，其在左右圖像平面上的圖像點(diǎn)總是出現(xiàn)在對應(yīng)的左右偏振線上，因此在進(jìn)行視差搜索時只需要沿著偏振線搜索即可。在平行相機(jī)系統(tǒng)中，偏振線和圖像的水平掃描線是平行的，所以搜索只要沿著右圖像所在的水平線即可。
2. 2方向性約束
在平行相機(jī)系統(tǒng)中，視差矢量只有水平分量，對于同一個景物，其透視投影左圖像相對于右圖像局部地向右移動，在搜索右圖像在左圖像中的匹配塊時，可以優(yōu)先向右搜索。
2. 3視差矢量的空域相關(guān)性和時間相關(guān)性
視差是深度的函數(shù)，深度相同的像素點(diǎn)具有相同的視差。深度就是物體表面到相機(jī)光心的距離，雖然實(shí)際景物表面一般是不連續(xù)的，但在局部區(qū)域內(nèi)有可能看作是連續(xù)變化的，因?yàn)榭臻g景物總是由若干物體構(gòu)成，有些物體表面可近似看作是光滑的或局部光滑的。對于光滑表面，其視差值變化應(yīng)該是連續(xù)的，而連續(xù)變化視差場中的視差矢量有很強(qiáng)的相關(guān)性，即同一幀內(nèi)視差矢量之間存在相關(guān)性。
對于相鄰兩幀圖像，僅有少數(shù)像素發(fā)生了運(yùn)動，多數(shù)像素的位置并沒有變化。對于位置不變的像素來說，其視差基本不變。所以在進(jìn)行視差估計(jì)時，可以用前一幀圖像的對應(yīng)視差矢量作為搜索起始點(diǎn)進(jìn)行小范圍內(nèi)的搜索，從而快速找到實(shí)際視差矢量。
2. 4視差估計(jì)的快速算法
基于上述視差分布約束和相關(guān)性分析，視差估計(jì)快速算法描述如下首先，根據(jù)視差的偏振約束特性，搜索時只沿偏振線進(jìn)行，在平行相機(jī)系統(tǒng)中，偏振線和掃描線是平行的，左右像素的匹配點(diǎn)位于同一水平線上，因此，只需沿水平方向進(jìn)行搜索即可。其次根據(jù)方向性約束，搜索時優(yōu)先向一個方向搜索.考慮到左通道圖像作為基本層編碼，右通道圖像作為增強(qiáng)層編碼，視差估計(jì)是搜索右通道圖像中的圖像塊在左通道圖像中的匹配塊，由方向性約束分析可知，視差估計(jì)時可優(yōu)先向右進(jìn)行搜索。此外，利用時域相關(guān)性或空域相關(guān)性能確定視差估計(jì)的起始值。對于空域相關(guān)性，由于不同區(qū)域其相關(guān)性不同，平坦區(qū)域相關(guān)性要強(qiáng)一些，非平坦區(qū)域相對弱一些，所以在搜索時，平坦區(qū)域的搜索范圍可以取得小一些， 而非平坦區(qū)域的搜索范圍可以大一些。
在試驗(yàn)中，使用Miss的CIF立體圖像對進(jìn)行仿真試驗(yàn)，均以左圖像為參考圖像，右圖像為目標(biāo)圖像，分別采用基于H. 264和本發(fā)明的基于H. 264改進(jìn)算法進(jìn)行重建右圖像的質(zhì)量和壓縮比，并對上對上述兩種算法進(jìn)行比較。
從試驗(yàn)結(jié)果圖可以得出以下結(jié)論在壓縮參數(shù)相同的情況下，通過改進(jìn)后的算法重建的圖像明顯好于原算法，塊效應(yīng)得到明顯的改善。
同時我們以峰值信噪比(PSNR)表示圖像的客觀質(zhì)量上進(jìn)行比較。比較結(jié)果如表一所示
表一實(shí)驗(yàn)數(shù)據(jù)對比
權(quán)利要求
1.一種空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于該方法是基于H. 264 編碼技術(shù)，采用下面的立體視頻編碼方案考慮左右通道相關(guān)性和右通道視差預(yù)測的殘差， 左通道采用H. 264編碼，右通道采用基于左通道的視差補(bǔ)償預(yù)測編碼，右通道視差預(yù)測的殘差也采用H. 264方式進(jìn)行編碼。
2.如權(quán)利要求I所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在左通道采用的H. 264編碼中，對幀內(nèi)預(yù)測算法做了優(yōu)化，對幀內(nèi)預(yù)測算法優(yōu)化的方法為利用周圍宏塊的已知信息，對當(dāng)前編碼宏塊的可能預(yù)測模式按照概率進(jìn)行排序，然后依次計(jì)算各個模式的SATD值，如果SATD值低于設(shè)置的閾值，那么停止計(jì)算剩余模式的SATD值，色差分量和亮度分量均采用此算法。
3.如權(quán)利要求2所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在左通道采用的H. 264編碼中，對運(yùn)動估計(jì)算法做了優(yōu)化，對運(yùn)動估計(jì)算法優(yōu)化的方法為使用三步搜索法進(jìn)行運(yùn)動估計(jì)，三步搜索法的實(shí)現(xiàn)步驟如下①以“I”點(diǎn)為中心，步長為4，搜索其±4范圍內(nèi)9個標(biāo)記為“I”的點(diǎn)，依據(jù)評測準(zhǔn)則函數(shù)，從這9個像素中找到具有最小MSE或最小均方絕對差的點(diǎn)，作為該步驟的最佳匹配像素點(diǎn)；②圍繞在步驟①中被選擇作為最佳匹配的像素點(diǎn)，選擇步長為2，搜索其±2范圍內(nèi)所選擇的8個標(biāo)記為“2”的點(diǎn)，與步驟①相類同，依據(jù)準(zhǔn)則函數(shù)找到一個最佳匹配像素占.③選擇步長為1，在步驟②的最佳匹配點(diǎn)±1范圍內(nèi)搜索，得到的最佳匹配像素點(diǎn)將作為三步搜索的最終結(jié)果。
4.如權(quán)利要求3所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在運(yùn)動估計(jì)算法的運(yùn)動搜索過程中，使用的率失真方程如下I = SA Φ0)+KlnllJ I^m-P)其中，J(m| Amotion)是于選擇運(yùn)動矢量的衡量標(biāo)準(zhǔn)，最小的運(yùn)動矢量被選擇，SAD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值之和，λ motion是拉格朗日參數(shù)。
5.如權(quán)利要求4所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于在幀間和幀內(nèi)編碼模式選擇時，使用下面的率失真方程式 /(‘V，c\ paltcn\ 0I\ ) = SSl 叉s, c\ patterf)+ 人,x"(Wock,K」/)其中，J(s，C，pattern|QP，Amode)用于模式選擇的衡量標(biāo)準(zhǔn)，最小的編碼模式被選擇， SSD是源視頻數(shù)據(jù)和目標(biāo)視頻數(shù)據(jù)之間差值的絕對值平方之和，λπ_是拉格朗日參數(shù)。
6.如權(quán)利要求I至5任一項(xiàng)所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于對右路視頻的壓縮編碼的步驟為對右路視頻進(jìn)行視差估計(jì)，首先當(dāng)前編碼的右路圖像中的宏塊在時間同步的左路圖像中搜索最匹配的圖像塊，得到相應(yīng)的視差矢量，對視差矢量進(jìn)行無失真編碼，同時，當(dāng)前的編碼塊和搜索得到的最匹配塊進(jìn)行相減，得到視差估計(jì)殘差，然后再對其進(jìn)行變換編碼。
7.如權(quán)利要求6所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于所述對右路視頻進(jìn)行視差估計(jì)的快速算法包括根據(jù)視差的偏振約束特性，搜索時只沿偏振線進(jìn)行。
8.如權(quán)利要求7所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于所述對右路視頻進(jìn)行視差估計(jì)的快速算法還包括根據(jù)方向性約束，搜索時優(yōu)先向一個方向搜索，考慮到左通道圖像作為基本層編碼，右通道圖像作為增強(qiáng)層編碼，視差估計(jì)時優(yōu)先向右進(jìn)行搜索。
9.如權(quán)利要求8所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于所述對右路視頻進(jìn)行視差估計(jì)的快速算法還包括利用時域相關(guān)性或空域相關(guān)性，在進(jìn)行視差估計(jì)時，用前一幀圖像的對應(yīng)視差矢量作為搜索起始點(diǎn)。
10.如權(quán)利要求6所述的空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，其特征在于對右路視頻進(jìn)行視差估計(jì)的編碼單位是16x16的宏塊。
全文摘要
本發(fā)明提出了一種空間遙操作環(huán)境下立體視頻編碼優(yōu)化方法，該方法是基于H.264編碼技術(shù)，采用下面的立體視頻編碼方案考慮左右通道相關(guān)性和右通道視差預(yù)測的殘差，左通道采用H.264編碼，右通道采用基于左通道的視差補(bǔ)償預(yù)測編碼，右通道視差預(yù)測的殘差也采用H.264方式進(jìn)行編碼。在進(jìn)行H.264編碼過程中，結(jié)合實(shí)際需要，并對該編碼進(jìn)行了部分優(yōu)化。本發(fā)明的優(yōu)點(diǎn)在于結(jié)合最新的H.264高效編碼壓縮技術(shù)特點(diǎn)，根據(jù)壓縮率和實(shí)時性要求，對H.264編碼算法進(jìn)行了優(yōu)化處理，保證壓縮率的基礎(chǔ)上減少了運(yùn)算量，試驗(yàn)結(jié)果表明，優(yōu)化后的效果明顯，系統(tǒng)的實(shí)時性得到改善。
文檔編號H04N7/26GK102917233SQ20121045729
公開日2013年2月6日 申請日期2012年11月14日 優(yōu)先權(quán)日2012年11月14日
發(fā)明者沈威, 董戴 申請人:中航華東光電有限公司