專利名稱：一種立體視頻非對稱編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻信號的編碼壓縮方法，尤其是涉及一種立體視頻非對稱編碼方法。
背景技術(shù)：
與二維(邪，Two Dimensional)視頻顯示相比，立體/三維(3D，Three Dimensional)視頻顯示與人的視覺更加匹配，它使人們在屏幕上觀看圖像時富有立體感和 沉浸感。近年來，美、歐、日、韓等政府和企業(yè)紛紛投入巨資進行立體電視/三維電視(3DTV， ThreeDimensional Television)的研究和開發(fā)，包括美國國家自然科學(xué)基金會、美國海軍 研究能源部、美國先進的可視技術(shù)中心、歐盟第六框架協(xié)議的3DTV計劃、歐盟ATTEST計劃、 歐洲信息技術(shù)計劃、德聯(lián)邦政府教育研究科學(xué)技術(shù)部以及英國工程與自然科學(xué)研究委員會 等，日本和韓國各自正在發(fā)展集獲取、編碼、傳輸以及立體顯示于一體的3DTV系統(tǒng)或具有 立體視覺感的3D遠(yuǎn)程通信。國際標(biāo)準(zhǔn)組織IS0/IEC MPEG與ITU-T VCEG也開展了立體視 頻壓縮應(yīng)用標(biāo)準(zhǔn)制定的相關(guān)工作。立體視頻攝取系統(tǒng)常用的攝取方法是從左右兩個視角對同一場景進行拍攝，立體 視頻攝取系統(tǒng)攝取得到的立體視頻包括左右兩個視點視頻，左視點視頻中某一時刻的圖像 與右視點視頻中同一時刻的圖像即兩個視點視頻的圖像對之間存在很強的數(shù)據(jù)相關(guān)性。針 對立體視頻編碼，國際標(biāo)準(zhǔn)組織MPEG-3DAV提出了四種立體視頻編碼方法第一種，左右視 點均采用獨立的MPEG-4編碼；第二種，考慮左右視點相關(guān)性而不考慮右視點視差預(yù)測的殘 差；第三種，考慮左右視點相關(guān)性和右視點視差預(yù)測的殘差；第四種，利用MPEG-4時域分級 編碼應(yīng)用于立體視頻編碼過程中的相關(guān)信號處理技術(shù)包括快速視差與運動估計、視差場與 運動場的關(guān)聯(lián)性等等，這四種立體視頻編碼方法在近幾年都取得了一定的進展?，F(xiàn)有的立體視頻編碼的研究更多地考慮了視點間的冗余信息，但對于立體視頻的 視覺冗余信息卻缺乏足夠的重視。心理學(xué)研究結(jié)果表明，立體視覺中存在掩蔽效益，即構(gòu)成 立體視頻的兩個視點視頻，質(zhì)量好的視點視頻的質(zhì)量對立體視頻的整體質(zhì)量貢獻較大?？?慮到移動3DTV無線網(wǎng)絡(luò)帶寬的限制，利用人類立體視覺系統(tǒng)的這一特性，對立體視頻采用 非對稱編碼方法，即對左視點視頻進行正常編碼，對右視點視頻進行下采樣或多分辨率濾 波，這種非對稱編碼方法通過降低右視點視頻的質(zhì)量來達到進一步節(jié)省碼流的效果。但是 采用這種非對稱編碼方法，為了在編碼端進行視點間預(yù)測，需要對下采樣的右視點視頻重 新進行上采樣，因此，編碼復(fù)雜度會有所增加，并且碼流節(jié)省被限制在一定的范圍之內(nèi)，導(dǎo) 致該非對稱編碼方法仍不能很好地應(yīng)用于移動3DTV。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種能夠充分地消除立體視頻的視覺冗余信 息，有效地提高立體視頻的編碼效率，并能夠降低編碼復(fù)雜度的立體視頻非對稱編碼方法。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種立體視頻非對稱編碼方法，包括以下步驟①將外部立體視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的立體視 頻定義為原始立體視頻，在空域上該原始立體視頻包括左視點原始視頻和右視點原始視 頻，左視點原始視頻主要由若干個幀組的左視點圖像組成，右視點原始視頻主要由若干個 幀組的右視點圖像組成，其中，YUV顏色空間的三個分量的第1個分量為亮度分量并記為Y、 第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V ；
②從原始立體視頻中選取一幅左視點圖像的峰值信噪比與右視點圖像的峰值信 噪比差值最小的立體圖像，將該立體圖像作為測試圖像；然后令測試圖像中的左視點圖像 的質(zhì)量不變，且測試圖像中的右視點圖像的質(zhì)量變化，通過主觀實驗測定人眼可感知立體 視覺變化時測試圖像中的左視點圖像的最小可辨變化值；③首先任取一個編碼量化參數(shù)作為左視點圖像的基本編碼量化參數(shù)，根據(jù)左視點 圖像的基本編碼量化參數(shù)和最小可辨變化值，獲取一個值大于等于左視點圖像的基本編碼 量化參數(shù)的最佳的編碼量化參數(shù)作為右視點圖像的基本編碼量化參數(shù)；然后根據(jù)設(shè)定的編 碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)，在時域上以幀組為編碼單元對左視點 原始視頻的各個幀組中的各個左視點圖像的亮度分量Y、第一色度分量U和第二色度分量V 分別進行編碼，得到左視點碼流，采用右視點圖像的基本編碼量化參數(shù)，在時域上以幀組為 編碼單元對右視點原始視頻的各個幀組中的各個右視點圖像的亮度分量Y進行編碼，得到 右視點碼流；④采用塊匹配法計算右視點原始視頻中每一時刻的右視點圖像和左視點原始視 頻中對應(yīng)時刻的左視點圖像之間的視差圖像，然后對每一時刻的視差圖像進行無失真熵編 碼得到每一時刻的視差場碼流；⑤根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)逐幀輸出左視點碼流、右視點碼流及視差場碼流得到 最終的編碼碼流，然后服務(wù)端通過網(wǎng)絡(luò)將最終的編碼碼流傳輸給用戶端；⑥用戶端分別對服務(wù)端發(fā)送來的左視點碼流、右視點碼流和視差場碼流進行解 碼，得到左視點的視頻數(shù)據(jù)、右視點的視頻數(shù)據(jù)和視差場信息；然后利用解碼得到的左視點 的視頻數(shù)據(jù)、右視點的視頻數(shù)據(jù)和視差場信息，通過色度重構(gòu)操作重構(gòu)獲取解碼得到的右 視點的視頻數(shù)據(jù)中各個時刻的右視點圖像的第一色度分量U和第二色度分量V。所述的步驟③的具體過程為③-1、任取一個編碼量化參數(shù)作為左視點圖像的基本編碼量化參數(shù)，并記為QPl ；③_2、根據(jù)左視點圖像的基本編碼量化參數(shù)QP1，獲取多個值大于等于QPl且各不 相同的編碼量化參數(shù)，并將這些編碼量化參數(shù)作為右視點圖像的候選的編碼量化參數(shù)，記 為 QP2'，QP2' = QPl+Δ QP, Δ QP e
；③-3、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)QPl對左 視點原始視頻的第1個幀組中的各個左視點圖像的亮度分量Y進行編碼，獲取左視點原始 視頻的第1個幀組中的所有左視點圖像的亮度分量Y的峰值信噪比的平均值，記為PSNRl ；③_4、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，分別采用各個候選的編碼量化參數(shù)對右視點原 始視頻的第1個幀組中的各個右視點圖像的亮度分量Y進行編碼，分別獲取右視點原始視 頻的第1個幀組中的所有右視點圖像的亮度分量Y的峰值信噪比的平均值，記為PSNR2 ；③-5、分別計算PSNRl與各個PSNR2的差值，記為SUBPSNR，然后找出與最小可辨變化值的差值最小的SUBPSNR，再將找出的SUBPSNR對應(yīng)的候選的編碼量化參數(shù)QP2'確定 為右視點圖像的基本編碼量化參數(shù)，并記為QP2 ；③-6、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)QPl對左 視點原始視頻的各個幀組中的各個左視點圖像的亮度分量Y、第一色度分量U和第二色度 分量V分別進行編碼，得到左視點碼流，采用右視點圖像的基本編碼量化參數(shù)QP2僅對右視 點原始視頻的各個幀組中的各個右視點圖像的亮度分量Y進行編碼，得到右視點碼流。
所述的步驟③-1中左視點圖像的基本編碼量化參數(shù)QPl的值為[22，50]區(qū)間內(nèi) 的一個正整數(shù)。所述的步驟④中對每一時刻的視差圖像進行無失真熵編碼過程中，采用CABAC無 失真編碼技術(shù)進行編碼壓縮。所述的步驟⑥中通過色度重構(gòu)操作重構(gòu)獲取解碼得到的右視點的視頻數(shù)據(jù)中各 個時刻的右視點圖像的第一色度分量U和第二色度分量V的具體過程為⑥-1、定義解碼得到的右視點的視頻數(shù)據(jù)中當(dāng)前正在處理的右視點圖像為當(dāng)前右 視點圖像；⑥_2、根據(jù)當(dāng)前右視點圖像到與當(dāng)前右視點圖像同一時刻的左視點圖像的視差矢 量，判斷當(dāng)前右視點圖像中的像素s與同一時刻的左視點圖像中與像素s相對應(yīng)的像素r 的亮度分量是否相同，如果像素s與像素r的亮度分量相同，則確定像素s的第一色度分量 U(s)和第二色度分量V(S)分別與像素r的第一色度分量U(r)和第二色度分量V(r)相同， 否則，假定像素s的第一色度分量U(S)和第二色度分量V(S)與亮度分量Y(S)分別存在線 性關(guān)系，U(S) =aY(s)+b,V(s) =cY(s)+d，通過計算當(dāng)前右視點圖像中的像素s的第一色
度分量的最小成本J (U)和第二色度分量的最小成本J (V)得到像素s的第一色度分量U (s)
/ \2 / \2 和第二色度分量 V(S)J(U) = Z u^- Σ'J(V) = Yd V(S)- Σ wMr)，
s VsreN(s)Jsre^(s)》
其中，U(r)為像素r的第一色度分量，V(r)為像素r的第二色度分量，a、b和c、d分 別為像素s的第一色度分量U(S)和第二色度分量V(S)的線性系數(shù)，Wot為加權(quán)參數(shù)， Wsroce-(r(s)-y(r))2/2￡7', Y(r)為像素r的亮度分量，N(s)為以像素s為中心的鄰域窗口，ο s為 像素s的亮度分量Y(S)在鄰域窗口 N(S)的標(biāo)準(zhǔn)差；⑥_3、將解碼得到的右視點的視頻數(shù)據(jù)中下一個待處理的右視點圖像作為當(dāng)前右 視點圖像，返回執(zhí)行步驟⑥_2重構(gòu)當(dāng)前右視點圖像的第一色度分量和第二色度分量，直至 解碼得到的右視點的視頻數(shù)據(jù)中的所有右視點圖像的第一色度分量和第二色度分量重構(gòu) 完畢。所述的設(shè)定的編碼預(yù)測結(jié)構(gòu)采用公知的HBP編碼預(yù)測結(jié)構(gòu)。所述的步驟②的具體過程為②-1、首先從原始立體視頻中選取一幅左視點圖像的峰值信噪比與該左視點圖像 對應(yīng)的右視點圖像的峰值信噪比的差值最小的立體圖像，將該立體圖像作為測試圖像，然 后利用H. 264視頻編碼標(biāo)準(zhǔn)，從高、中、低質(zhì)量段任取一個編碼量化參數(shù)對測試圖像的左視 點圖像以幀內(nèi)編碼方式進行編碼，記對測試圖像的左視點圖像進行編碼所采用的編碼量化 參數(shù)為QPy將編碼得到的左視點圖像定義為A質(zhì)量點的左視點圖像，記為LA，再采用N個不同的編碼量化參數(shù)分別對測試圖像的右視點圖像以幀內(nèi)編碼方式進行編碼，獲得所需的 N幅質(zhì)量各不相同的右視點圖像，其中，對測試圖像的右視點圖像進行編碼所采用的N個不
同的編碼量化參數(shù)分別為QPl-I、QPl、QPl+1> QPL+2、......，如果(51-(QPl-I)+1) > 15，則
N= 15，否則，N = 51-(QPl-I)+1 ； ②-2、從采用編碼量化參數(shù)QP^l、QPpQPjl進行編碼得到的3幅質(zhì)量各不相同的 右視點圖像中選取一幅采用客觀質(zhì)量評價標(biāo)準(zhǔn)評價時質(zhì)量與A質(zhì)量點的左視點圖像La的 質(zhì)量最為接近的右視點圖像，并將該選定的右視點圖像定義為A質(zhì)量點的右視點圖像，記 為Ra，將A質(zhì)量點的右視點圖像Ra編碼采用的編碼量化參數(shù)記為QPka,將A質(zhì)量點的左視點 圖像La和A質(zhì)量點的右視點圖像Ra所構(gòu)成的最優(yōu)立體圖像記為Saa ；記N幅質(zhì)量各不相同 的右視點圖像中編碼量化參數(shù)大于QPka的右視點圖像的數(shù)量為M幅，將A質(zhì)量點的左視點 圖像La與M幅采用大于QPea的編碼量化參數(shù)編碼得到的右視點圖像一一構(gòu)成M幅立體圖 像，記為SM，1彡m彡M，Sm為由A質(zhì)量點的左視點圖像La和采用編碼量化參數(shù)QPKA+m編碼 得到的右視點圖像所構(gòu)成的立體圖像；②-3、組織參與進行圖像主觀質(zhì)量評價的觀察者若干名，先將m = 1時的立體圖 像Sm作為當(dāng)前待評價立體圖像，然后將內(nèi)容相同但質(zhì)量不同的最優(yōu)立體圖像Saa和當(dāng)前待 評價立體圖像Sm同時播放在屏幕上，要求每位觀察者對這2幅立體圖像的質(zhì)量進行獨立評 價，看觀察者是否能辨別出這2幅立體圖像的質(zhì)量差異，并記錄下每位觀察者對這2幅立體 圖像的質(zhì)量的評價結(jié)果，再將m加1后的立體圖像Sm作為當(dāng)前待評價立體圖像，重復(fù)上述評 價過程，直至m > M時結(jié)束評價過程；根據(jù)所有觀察者的評價結(jié)果選擇B、C、D、E另外4個 質(zhì)量點的右視點圖像，選擇方法如下如果立體圖像Sm與最優(yōu)立體圖像Saa對比后大多數(shù)觀 察者都不能分辨出該Sm與Saa的質(zhì)量差異，則將該Sm對應(yīng)的右視點圖像定義為B質(zhì)量點的 右視點圖像，記為Rb，并將該立體圖像Sm記為Sab，將B質(zhì)量點的右視點圖像Rb編碼采用的 編碼量化參數(shù)記為QPkb ；如果立體圖像Sm與立體圖像Saa對比后大多數(shù)觀察者都可以分辨 出該Sm與Saa的質(zhì)量差異，則將該Sm對應(yīng)的右視點圖像定義為E質(zhì)量點的右視點圖像，記為 Re,并將該立體圖像Sm記為Sae，將E質(zhì)量點的右視點圖像Re編碼采用的編碼量化參數(shù)記為 QPee ；再在B質(zhì)量點的右視點圖像Rb與E質(zhì)量點的右視點圖像Re之間等量化步長選取C質(zhì) 量點的右視點圖像和D質(zhì)量點的右視點圖像，將C質(zhì)量點的右視點圖像記為Rc，將C質(zhì)量點 的右視點圖像Rc編碼采用的編碼量化參數(shù)記為QPKC，將D質(zhì)量點的右視點圖像記為RD，將D 質(zhì)量點的右視點圖像Rd編碼采用的編碼量化參數(shù)記為QPed, (QPrb-QPRC) ^ (QPRC-QPRD) ^ (QP K0-QPee)，將A質(zhì)量點的左視點圖像La和C質(zhì)量點的右視點圖像Rc所構(gòu)成的立體圖像記為 Sac，將A質(zhì)量點的左視點圖像La和D質(zhì)量點的右視點圖像Rd所構(gòu)成的立體圖像記為Sad ；②-4、將經(jīng)上述步驟獲得的5幅質(zhì)量逐次遞減的立體圖像SAA、SmSpSad和Sae兩 兩組合，共組成十組不同的立體圖像對比組合，分別為Saa Sab^Saa Sac^Saa Sad、Sm SaeAab Sac, Sab Sai^Sab Sae、Sac Sad、Sac Sae和Sad Sae ；隨機播放這十組立體圖像對比組合，要求每位觀察者 分別對所有立體圖像對比組合中的2幅立體圖像兩兩對比進行獨立的主觀質(zhì)量評價，指出 其認(rèn)為立體圖像對比組合中的2幅立體圖像質(zhì)量相對較好的立體圖像，并記錄評價數(shù)據(jù)；②-5、對于十組立體圖像對比組合中的其中一組立體圖像對比組合，令Qi和Qj分 別表示該立體圖像對比組合中的2幅立體圖像分別對應(yīng)的2幅不同的右視點圖像的質(zhì)量 點，Qi e {A，B, C，D，E}，Qj e {A，B, C，D，E}，且Qi興Qj ；然后根據(jù)記錄的評價數(shù)據(jù)統(tǒng)計出參與圖像主觀質(zhì)量評價的觀察者認(rèn)為Qi質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量高于 Qj質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量的概率，記為P…表示比例為Pu的觀察者認(rèn) 為Qi質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量高于Qj質(zhì)量點的右視點圖像對應(yīng)的立體 圖像的質(zhì)量；再根據(jù)十組立體圖像對比組合各自的概率Pij,構(gòu)造十組立體圖像對比組合的 偏好概率矩陣；②-6、根據(jù)偏好概率矩陣構(gòu)造適用于建立廣義線性模型框架下的Thurstone模型 所需的回歸矩陣，其中，回歸矩陣的總行數(shù)為10行，每一行對應(yīng)一組立體圖像對比組合，每 行包括7項數(shù)據(jù)，分別記為N、As、Bs、Cs、Ds、Es、p，其中，N為參與對該組立體圖像對比組合進 行主觀質(zhì)量評價的觀察者人數(shù)，As、Bs、Cs、Ds、Es分別對應(yīng)于由A質(zhì)量點的左視點圖像La和 A、B、C、D、E 5個質(zhì)量點的右視點圖像分別構(gòu)成的立體圖像SM、Sab, Sac, Sad和Sae，對于回歸 矩陣中的其中一行，如果AS、BS、CS、DS、ES 5項中的3項值為0，1項值為1，另1項值為-1，則 表示該行數(shù)據(jù)反映的是非零的2項所對應(yīng)的2幅立體圖像的主觀評價結(jié)果，ρ為偏好概率， 表示參與評價的N名觀察者中有比例為ρ的觀察者認(rèn)為AS、BS、CS、DS、ES 5項中值為1的項 所對應(yīng)的立體圖像的質(zhì)量要優(yōu)于值為-1的項所對應(yīng)的立體圖像；②-7、根據(jù)回歸矩陣建立廣義線性模型框架下的Thurstone模型，Thurstone模型 的形式為(ρ) = aXAs+bXBs+cXCs+dXDs+eXEs，其中，a、b、c、d和e分別為對應(yīng)于立 體圖像SAA, SAB, SAC, Sad和Sae的Z分?jǐn)?shù)，且e = 0，Φ(ρ)為二項分布的概率函數(shù)的反函數(shù)； 然后將回歸矩陣數(shù)據(jù)代入Thurstone模型進行回歸分析得到a、b、c、d的估計值，分別記為
aes\ bes\ Cest 和 cfst，并令 e 的估計值 eest = e = O ；②-8、逐一計算Z分?jǐn)?shù)對a禾口 b、a禾口 c、a禾口 d及a禾口 e的置信區(qū)間，Z分?jǐn)?shù)對a 和b的置信區(qū)間為aest-best-B0UND < a-b < aest-best+B0UND, Z分?jǐn)?shù)對a和c的置信區(qū)間為 aest-cest-B0UND < a-c < aest-cest+BOUND, Z 分?jǐn)?shù)對 a 和 d 的置信區(qū)間為 aest-dest_B0UND < a_d < aest-dest+BOUND, Z 分?jǐn)?shù)對 a 和 e 的置信區(qū)間為 aest-eest_B0UND < a_e < aest_eest+B0UND， BOUND = (;ird2im(l- ))1/2(Z COVxrdim 為卡方分布，其自由度 dim = 4，α 表示分位 數(shù)，χ表示相應(yīng)的檢驗向量，xT為1的轉(zhuǎn)置矩陣，COV為隨機向量(a，b，c，d)的協(xié)方差矩陣；②-9、按英文字母順序排列b、c、d和e，依次判斷Z分?jǐn)?shù)對a和b、a和c、a和d 及a和e的每一對中所對應(yīng)的2幅立體圖像的質(zhì)量是否是可分辨的，具體過程如下定義當(dāng) 前正在處理的Z分?jǐn)?shù)對為a和q，q e {b,c,d,e},判斷數(shù)值O是否在區(qū)間(aest-qest-B0UND， aest-qest+B0UND)內(nèi)，如果是，則認(rèn)為a和q是不具有顯著性差異的，表示a對應(yīng)的最優(yōu)立體 圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖像Saq之 間的圖像質(zhì)量差異是不可分辨的，否則，認(rèn)為a和q是具有顯著性差異的，表示a對應(yīng)的最 優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖 像Saq之間的圖像質(zhì)量差異是可分辨的，其中，Q e {B, C，D，E}；②-10、如果a對應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì) 量點的右視點圖像構(gòu)成的立體圖像Saq之間的圖像質(zhì)量差異是可分辨的，而a對應(yīng)的最優(yōu)立 體圖像Saa與由A質(zhì)量點的左視點圖像和以英文字母順序排在q對應(yīng)的質(zhì)量點之前的各個 質(zhì)量點所對應(yīng)的右視點圖像構(gòu)成的立體圖像之間的圖像質(zhì)量差異均是不可分辨的，則定義 a對應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu) 成的立體圖像Saq的峰值信噪比差值為測試圖像的左視點圖像采用的編碼量化參數(shù)Qh編碼時的最小可辨變化值，其中，q e {b，c, d，e}。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于1)本發(fā)明方法利用人類立體視覺感知中的掩蔽效應(yīng)，通過廣義線性模型框架下的 Thurstone模型對觀察者主觀評價數(shù)據(jù)進行回歸分析，以在左視點圖像質(zhì)量固定不變的情 況下，測定人眼可感知立體圖像質(zhì)量變化時右視點圖像質(zhì)量的臨界值，從而確定非對稱立 體視頻編碼時右視點圖像質(zhì)量相對左視點圖像質(zhì)量可下降的最大變化范圍，能充分消除視 頻的視覺冗余信息。 2)本發(fā)明方法利用通過主觀實驗測定的立體視覺的最小可辨變化值對立體視頻 圖像進行編碼，根據(jù)左視點圖像的基本編碼量化參數(shù)和最小可辨變化值，對右視點圖像的 亮度分量Y進行編碼，使得通過降低右視點圖像質(zhì)量來提高編碼效率、降低編碼復(fù)雜度，并 通過色度重構(gòu)操作重構(gòu)獲取右視點圖像的第一色度分量U和第二色度分量V，從而保證了 立體圖像的整體質(zhì)量。


圖1為本發(fā)明方法的基本流程框圖；圖2a為“Door Flowers"立體測試集的第1個左視點視頻中的一幅左視點圖像；圖2b為“Door Flowers”立體測試集的第1個右視點視頻中與圖2a對應(yīng)的一幅 右視點圖像；圖3a為“Alt Moabit"立體測試集的第1個左視點視頻中的一幅左視點圖像；圖3b為“Alt Moabit"立體測試集的第1個右視點視頻中與圖3a對應(yīng)的一幅右 視點圖像；圖4a為“Panbomime”立體測試集的第1個左視點視頻中的一幅左視點圖像；圖4b為“Panbomime”立體測試集的第1個右視點視頻中與圖4a對應(yīng)的一幅右視 點圖像；圖5a為“Champagne”立體測試集的第1個左視點視頻中的一幅左視點圖像；圖5b為“Champagne”立體測試集的第1個右視點視頻中與圖5a對應(yīng)的一幅右視 點圖像；圖6為經(jīng)本發(fā)明主觀感知實驗得到的左視點圖像的質(zhì)量與JND值的關(guān)系示意圖；圖7為本發(fā)明采用的HBP編碼預(yù)測結(jié)構(gòu)的框架示意圖；圖8a為“Door Flowers"立體測試集的真實的色度保留的右視點解碼圖像；圖8b為“Door Flowers”立體測試集的色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度 重構(gòu)后得到的重構(gòu)圖像；圖8c為圖8a與圖8b的第一色度分量U的殘差圖像；圖8d為圖8a與圖8b的第二色度分量V的殘差圖像；圖9a為“Alt Moabit”立體測試集的真實的色度保留的右視點解碼圖像；圖9b為“Alt Moabit”立體測試集的色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度重 構(gòu)后得到的重構(gòu)圖像；圖9c為圖9a與圖9b的第一色度分量U的殘差圖像；圖9d為圖9a與圖9b的第二色度分量V的殘差圖像；
圖IOa為“Panbomime”立體測試集的真實的色度保留的右視點解碼圖像；圖IOb為“Panbomime”立體測試集的色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度重構(gòu)后得到的重構(gòu)圖像；圖IOc為圖IOa與圖IOb的第一色度分量U的殘差圖像；圖IOd為圖IOa與圖IOb的第二色度分量V的殘差圖像；圖Ila為“Champagne”立體測試集的真實的色度保留的右視點解碼圖像；圖lib為“Champagne”立體測試集的色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度重 構(gòu)后得到的重構(gòu)圖像；圖Ilc為圖Ila與圖lib的第一色度分量U的殘差圖像；圖Ild為圖Ila與圖lib的第二色度分量V的殘差圖像；圖12a為圖8a的局部細(xì)節(jié)放大圖；圖12b為圖8b的局部細(xì)節(jié)放大圖；圖13a為圖9a的局部細(xì)節(jié)放大圖；圖13b為圖9b的局部細(xì)節(jié)放大圖；圖14a為圖IOa的局部細(xì)節(jié)放大圖；圖14b為圖IOb的局部細(xì)節(jié)放大圖；圖15a為圖Ila的局部細(xì)節(jié)放大圖；圖15b為圖lib的局部細(xì)節(jié)放大圖；圖16a為“Door Flowers”立體測試集的采用本發(fā)明方法的第一色度分量U和第 二色度分量V的峰值信噪比比較結(jié)果；圖16b為“Alt Moabit”立體測試集的采用本發(fā)明方法的第一色度分量U和第二 色度分量V的峰值信噪比比較結(jié)果；圖16c為“Panbomime”立體測試集的采用本發(fā)明方法的第一色度分量U和第二色 度分量V的峰值信噪比比較結(jié)果；圖16d為“Champagne”立體測試集的采用本發(fā)明方法的第一色度分量U和第二色 度分量V的峰值信噪比比較結(jié)果。
具體實施例方式以下結(jié)合附圖實施例對本發(fā)明作進一步詳細(xì)描述。本發(fā)明的立體視頻非對稱編碼方法的基本流程框圖如圖1所示，其具體包括以下 步驟①將外部立體視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的立體視 頻定義為原始立體視頻，在空域上該原始立體視頻包括左視點原始視頻和右視點原始視 頻，左視點原始視頻主要由若干個幀組的左視點圖像組成，右視點原始視頻主要由若干個 幀組的右視點圖像組成，其中，YUV顏色空間的三個分量的第1個分量為亮度分量并記為Y、 第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V。在此，截取德國HHI研究所提供的多視點視頻序列“Door Flowers”、"Alt Moabit",日本Nagoya大學(xué)提供的多視點視頻序列“Panbomime”、“Champagne”的兩個視點 視頻作為原始立體視頻，原始立體視頻中各幅立體圖像的分辨率都為1024X768，幀率為30幀每秒，即30fps，是ISO/MPEG所推薦的標(biāo)準(zhǔn)測試序列，是在立體視頻研究領(lǐng)域廣泛采用 的實驗測試序列，圖2a和圖2b分別給出了序列“Door Flowers”的左視點原始視頻中的一 幀圖像和右視點原始視頻中對應(yīng)的一幀圖像；圖3a和圖3b分別給出了序列“AltMoabit” 的左視點原始視頻中的一幀圖像和右視點原始視頻中對應(yīng)的一幀圖像；圖4a和圖4b分別 給出了序列“Panbomime”的左視點原始視頻中的一幀圖像和右視點原始視頻中對應(yīng)的一幀 圖像；圖5a和圖5b給出了序列“Champagne”的左視點原始視頻中的一幀圖像和右視點原 始視頻中對應(yīng)的一幀圖像。②通過主觀實驗測定人眼可感知立體視覺變化時測試圖像中的右視點圖像 的質(zhì)量的臨界值，該臨界值可用測試圖像中的左視點圖像的最小可辨變化(JND，Just NoticeableDifference)值來表示，為了考查非對稱編碼在不同的主觀感知質(zhì)量下對最小 可辨變化值的影響，從原始立體視頻中選取一幅左視點圖像的峰值信噪比(Peak Signal to NoiseRatio, PSNR)與右視點圖像的峰值信噪比差值最小的立體圖像，將該立體圖像作 為測試圖像；然后令測試圖像中的左視點圖像的質(zhì)量不變，且測試圖像中的右視點圖像的 質(zhì)量在一定范圍內(nèi)變化，定義最小可辨變化值為相應(yīng)的變化步長的峰值信噪比的差值。最 小可辨變化值的選取標(biāo)準(zhǔn)為立體圖像質(zhì)量差異的變化下界為大多數(shù)人不能分辨出差異， 變化上界為大多數(shù)人可以分辨出差異。在此，通過主觀實驗測定人眼可感知立體視覺變化時測試圖像中的左視點圖像的 最小可辨變化值的具體過程為②-1、首先從原始立體視頻中選取一幅左視點圖像的峰值信噪比與該左視點圖像 對應(yīng)的右視點圖像的峰值信噪比的差值最小的立體圖像，將該立體圖像作為測試圖像，然 后利用H. 264視頻編碼標(biāo)準(zhǔn)，從高、中、低質(zhì)量段任取一個編碼量化參數(shù)對測試圖像的左視 點圖像以幀內(nèi)編碼方式進行編碼，記對測試圖像的左視點圖像進行編碼所采用的編碼量化 參數(shù)為QPy將編碼得到的左視點圖像定義為A質(zhì)量點的左視點圖像，記為LA，再采用N個 不同的編碼量化參數(shù)分別對測試圖像的右視點圖像以幀內(nèi)編碼方式進行編碼，獲得所需的 N幅質(zhì)量各不相同的右視點圖像，其中，對測試圖像的右視點圖像進行編碼所采用的N個不
同的編碼量化參數(shù)分別為QPl-I、QPl、QPl+1> QPL+2、......，如果(51-(QPl-I)+1) > 15，則
N = 15，否則，N = 51-(QPl-I)+I0在此，測試圖像的左視點圖像進行編碼所采用的編碼量化參數(shù)可在[22，50]區(qū)間 內(nèi)任取一個正整數(shù)，實際實驗中可在高、中、低質(zhì)量段分別任取一個編碼量化參數(shù)進行多次 不同的主觀實驗，以測定人眼可感知立體視覺變化時右視點圖像的質(zhì)量的臨界值。②-2、從采用編碼量化參數(shù)QP^l、QPpQPjl進行編碼得到的3幅質(zhì)量各不相同的 右視點圖像中選取一幅采用客觀質(zhì)量評價標(biāo)準(zhǔn)評價時質(zhì)量與A質(zhì)量點的左視點圖像La的 質(zhì)量最為接近的右視點圖像，并將該選定的右視點圖像定義為A質(zhì)量點的右視點圖像，記 為Ra，將A質(zhì)量點的右視點圖像Ra編碼采用的編碼量化參數(shù)記為QPka,將A質(zhì)量點的左視點 圖像La和A質(zhì)量點的右視點圖像Ra所構(gòu)成的最優(yōu)立體圖像記為Saa ；記N幅質(zhì)量各不相同 的右視點圖像中編碼量化參數(shù)大于QPka的右視點圖像的數(shù)量為M幅，將A質(zhì)量點的左視點 圖像La與M幅采用大于QPea的編碼量化參數(shù)編碼得到的右視點圖像一一構(gòu)成M幅立體圖 像，記為Sm，l彡m彡M，Sm為由A質(zhì)量點的左視點圖像La和采用編碼量化參數(shù)QPKA+m編碼 得到的右視點圖像所構(gòu)成的立體圖像。
在此，選取一幅采用客觀質(zhì)量評價標(biāo)準(zhǔn)評價時質(zhì)量與A質(zhì)量點的左視點圖像La的 質(zhì)量最為接近的右視點圖像的選擇準(zhǔn)則為A質(zhì)量點的左視點圖像La的峰值信噪比與采用 不同的編碼量化參數(shù)進行編碼所獲得的質(zhì)量各不相同的右視點圖像的峰值信噪比 (PSNR) 數(shù)值最為接近即差值最小的右視點圖像。②-3、組織參與進行圖像主觀質(zhì)量評價的觀察者若干名，先將m = 1時的立體圖 像Sm作為當(dāng)前待評價立體圖像，然后將內(nèi)容相同但質(zhì)量不同的最優(yōu)立體圖像Saa和當(dāng)前待 評價立體圖像Sm同時播放在屏幕上，要求每位觀察者對這2幅立體圖像的質(zhì)量進行獨立評 價，看觀察者是否能辨別出這2幅立體圖像的質(zhì)量差異，并記錄下每位觀察者對這2幅立體 圖像的質(zhì)量的評價結(jié)果，再將m加1后的立體圖像Sm作為當(dāng)前待評價立體圖像，重復(fù)上述評 價過程，直至m > M時結(jié)束評價過程；然后根據(jù)所有觀察者的評價結(jié)果選擇B、C、D、E另外 4個質(zhì)量點的右視點圖像，選擇方法如下若在某立體圖像Sm與最優(yōu)立體圖像Saa對比顯示 時大多數(shù)觀察者都不能分辨出該Sm與Saa的質(zhì)量差異，則將該Sm對應(yīng)的右視點圖像定義為 B質(zhì)量點的右視點圖像，記為Rb，并將該立體圖像Sm記為Sab，將B質(zhì)量點的右視點圖像編碼 采用的編碼量化參數(shù)記為QPkb ；而若在某立體圖像Sm與最優(yōu)立體圖像Saa對比顯示時大多 數(shù)觀察者都可以分辨出該Sm與Saa的質(zhì)量差異，則將該Sm對應(yīng)的右視點圖像定義為E質(zhì)量 點的右視點圖像，記為Re，并將該立體圖像Sm記為Sae，將E質(zhì)量點的右視點圖像編碼采用的 編碼量化參數(shù)記為QPke ；再在B與E質(zhì)量點的2幅右視點圖像之間等量化步長選取C質(zhì)量 點和D質(zhì)量點的右視點圖像Rc和Rd，即若記C質(zhì)量點和D質(zhì)量點的右視點圖像編碼采用的 編碼量化參數(shù)為QPkc和QPkd，則有(QPeb-QPkc) (QPec-QPed) ^ (QPkd-QPke)，將A質(zhì)量點的左 視點圖像La和C質(zhì)量點的右視點圖像Rc所構(gòu)成的立體圖像記為Sac，將A質(zhì)量點的左視點 圖像La和D質(zhì)量點的右視點圖像Rd所構(gòu)成的立體圖像記為S’在此，在某立體圖像Sm與最優(yōu)立體圖像Saa對比顯示時大多數(shù)觀察者都不能分辨 出該Sm與Saa的質(zhì)量差異是指75%以上的觀察者都不能分辨其質(zhì)量差異，所謂大多數(shù)觀察 者都可以分辨出該Sm與Saa的質(zhì)量差異是指75%以上的觀察者都能夠分辨其質(zhì)量差異。②-4、將經(jīng)上述步驟獲得的5幅質(zhì)量逐次遞減的立體圖像SAA、SmSpSad和Sae兩 兩組合，共組成十組不同的立體圖像對比組合，分別為Saa SAB^SAA SAC^SAA SAD、SM SAEAAB SAC, SAB SAI^SAB SAE、SAC SAI^SAC Sae和Sad Sae，在立體圖像對比組合中的兩幅立體圖像的左視點圖 像質(zhì)量相同，但右視點圖像的質(zhì)量不相同；隨機播放這十組立體圖像對比組合，播放時，同 一立體圖像對比組合中的兩幅立體圖像同時播放在屏幕上供觀察者進行對比，以確認(rèn)兩幅 立體圖像的質(zhì)量孰優(yōu)孰劣亦或是質(zhì)量相同，每一名觀察者分別對所有立體圖像對比組合中 的兩幅立體圖像兩兩對比進行獨立的主觀質(zhì)量評價，被告知從立體圖像對比組合中的2幅 立體圖像中選出質(zhì)量相對較好的那一幅立體圖像，即從2幅立體圖像中直接確定一幅質(zhì)量 好的立體圖像，并記錄下評價數(shù)據(jù)。本實施例中，觀察者每次比較時，立體圖像播放40秒， 評價打分時間10秒。。②-5、對于十組立體圖像對比組合中的其中一組立體圖像對比組合，令Qi和Qj分 別表示該立體圖像對比組合中的2幅立體圖像分別對應(yīng)的2幅不同的右視點圖像的質(zhì)量 點，Qi e {A，B, C，D，E}，Qj e {A，B, C，D，E}，且Qi興Qj ；然后根據(jù)記錄的評價數(shù)據(jù)統(tǒng)計出 參與圖像主觀質(zhì)量評價的觀察者認(rèn)為Qi質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量高于 Qj質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量的概率，記為P…表示比例為Pu的觀察者認(rèn)為Qi質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量高于Qj質(zhì)量點的右視點圖像對應(yīng)的立體 圖像的質(zhì)量；再根據(jù)十組立體圖像對比組合各自的概率Pij,構(gòu)造十組立體圖像對比組合的 偏好概率矩陣。②-6、為在廣義線性模型框架下建立Thurstone模型，衡量編碼量化參數(shù)對立體 圖像的人眼最小可辨變化的影響，首先需要確定合適的回歸矩陣，回歸矩陣可由偏好概率 矩陣來構(gòu)造。構(gòu)造得到的回歸矩陣的總行數(shù)為十行，每一行對應(yīng)一組立體圖像對比組合，回 歸矩陣的每一行包括7項數(shù)據(jù)，分別記為N、As、Bs、Cs、Ds、Es、p，其中，N為參與對該組立體 圖像對比組合進行主觀質(zhì)量評價的觀察者人數(shù)；As、Bs、Cs、Ds、Es分別對應(yīng)于由A質(zhì)量點的 左視點圖像La和A、B、C、D、E 5個質(zhì)量點的右視點圖像分別構(gòu)成的立體圖像S^SmSpSad 和Sae，對于回歸矩陣中的某一行，如果As、Bs、Cs、Ds、Es 5項中的3項值為0，1項值為1，另 1項值為-1，則表示該行數(shù)據(jù)反映的是非零的2項所對應(yīng)的2幅立體圖像的主觀評價結(jié)果； P為偏好概率，表示參與評價的N名觀察者中有比例為P的觀察者認(rèn)為AS、BS、CS、DS、ES 5項 中值為1的項所對應(yīng)的立體圖像的質(zhì)量要優(yōu)于值為-1的項所對應(yīng)的立體圖像；回歸矩陣的 十行，對應(yīng)于立體圖像SAA、Sab, Sac, Sad和Sae十種不同的兩兩組合，即ASBS、AsCs, AsDs, AsEs, BsCs, BSDS、BsEs, CsDs, CsEs, DsEs 十種組合方式。②_7、在確定了合適的回歸矩陣后，可根據(jù)回歸矩陣建立廣義線性模型框架下的 Thurstone 模型，Thurstone 模型的形式為:Φ-1(ρ) = aXAs+bXBs+cXCs+dXDs+eXEs，其 中，a、b、c、d和e分別為對應(yīng)于立體圖像Saa、Sab, Sac, Sad和Sae的Z分?jǐn)?shù)，需要注意的是，為 了衡量采用不同編碼量化參數(shù)得到的質(zhì)量不同的立體圖像SaPSabAaPSad和Sae之間的Z分 數(shù)的差異，Sae的Z分?jǐn)?shù)在此處設(shè)為0，即e = 0，Φ"1 (ρ)為二項分布的概率函數(shù)的反函數(shù)； 然后將回歸矩陣的數(shù)據(jù)代入Thurstone模型進行回歸分析得到a、b、c、d的估計值，分別記 為 aest、bes\ Cest 和(fst，并令 e 的估計值 eest = e = O。②_8、為了比較采用不同的編碼量化參數(shù)編碼得到的立體圖像之間的質(zhì)量差異是 否為概率事件，需計算a、b、c、d和e各個Z分?jǐn)?shù)之間的置信區(qū)間。在此，采用改進的SchefTe 模型，做Z分?jǐn)?shù)對差值的零假設(shè)(null hypothesis)檢驗，以對比和檢驗所獲得的Z分?jǐn)?shù)是 否有顯著性的差異。具體方法如下逐一計算Z分?jǐn)?shù)對a和b、a和c、a和d及a和e的置 信區(qū)間，Z分?jǐn)?shù)對a和b的置信區(qū)間為aest-best-B0UND < a~b < aest-best+B0UND, Z分?jǐn)?shù)對a 和c的置信區(qū)間為aest-cest-B0UND < a-c < aest-cest+B0UND, Z分?jǐn)?shù)對a和d的置信區(qū)間為 aest-dest-B0UND < a-d < aest_dest+BOUND，Z 分?jǐn)?shù)對 a 和 e 的置信區(qū)間為 aest-eest_B0UND < a_e < aest-eest+B0UND, BOUND = (jL(lCOVxf2，;^m為卡方分布，其自由度 dim =4, α表示分位數(shù)，χ表示相應(yīng)的檢驗向量，Xt為χ的轉(zhuǎn)置矩陣，COV為隨機向量(a，b，c, d)的協(xié)方差矩陣。在本實施例中，計算了 5幅立體圖像SM、SAB、SAC、SAD和Sae的所有十種不同的立體 圖像對比組合的置信區(qū)間以判斷所有立體圖像對比組合中的兩個不同質(zhì)量點的右視點圖 像對應(yīng)的立體圖像質(zhì)量差異是否可分辨。事實上對于非對稱立體視頻編碼來說，希望測定 的是當(dāng)左視點圖像質(zhì)量固定不變時，人眼可感知立體圖像質(zhì)量變化時右視點圖像質(zhì)量的臨 界值，以確定非對稱立體視頻編碼時右視點圖像質(zhì)量相對于左視點圖像質(zhì)量可下降的最大 變化范圍，因此，具體實施人眼最小可辨變化測定時，可只簡單地如本步驟所述逐一計算a 和b、a和c、a和d及a和e分?jǐn)?shù)對的置信區(qū)間，以判斷立體圖像Saa分別與立體圖像SAB、SAC、Sad和Sae之間的圖像質(zhì)量差異是否可分辨即可。這里，分位數(shù)α為0.05。對于a和b 分?jǐn)?shù)對，為比較它們的差異，相應(yīng)的檢驗向量為X= (l，-l，0，0)T，a和b分?jǐn)?shù)對的置信區(qū)間 給出了 a-b的差值的上下界。對于3和c分?jǐn)?shù)對，相應(yīng)的檢驗向量為χ= (1，0，-1，0)、對 于a和d分?jǐn)?shù)對，相應(yīng)的檢驗向量為χ = (1,0,0, -1)τ;對于分?jǐn)?shù)對，相應(yīng)的檢驗向 量為 χ = (1，0，0，0)τ。②-9、對于某一 Z分?jǐn)?shù)對，如果數(shù)值0不在其置信區(qū)間內(nèi)，則認(rèn)為該Z分?jǐn)?shù)對是具 有顯著性差異 的，也即該Z分?jǐn)?shù)對所對應(yīng)的2幅立體圖像的質(zhì)量差異是可分辨的；反之則表 明該Z分?jǐn)?shù)對所對應(yīng)的2幅立體圖像的質(zhì)量差異是不可分辨的，也就是說觀察者認(rèn)為這2 幅立體圖像的圖像質(zhì)量是相同的。因此，可以按英文字母順序排列b、c、d和e，依次判斷Z 分?jǐn)?shù)對a和b、a和c、a和d及a和e的每一對中所對應(yīng)的2幅立體圖像的質(zhì)量是否是可分 辨的，方法如下定義當(dāng)前正在處理的Z分?jǐn)?shù)對為a和q，q e {b，c，d，e}，判斷數(shù)值0是否 在區(qū)間(aest-qest-B0UND，aest-qest+B0UND)內(nèi)，如果是，則認(rèn)為a和q是不具有顯著性差異的， 表示a所對應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點 圖像構(gòu)成的立體圖像Saq(Q e {B, C，D，E})之間的圖像質(zhì)量差異是不可分辨的，否則，則認(rèn) 為a和q是具有顯著性差異的，表示a所對應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖 像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖像Saq之間的圖像質(zhì)量差異是可分辨的。②-10、若a所對應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q(q為b、c、 d、e中的某一個)對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖像Saq之間的圖像質(zhì)量差異是可 分辨的，而a所對應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和以英文字母順序排在 q對應(yīng)的質(zhì)量點之前的各個質(zhì)量點所對應(yīng)的右視點圖像構(gòu)成的立體圖像之間的圖像質(zhì)量差 異均是不可分辨的，則定義a所對應(yīng)的立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的 質(zhì)量點的右視點圖像構(gòu)成的立體圖像Saq的信噪比差值為測試圖像的左視點圖像采用編碼 量化參數(shù)Qh編碼時的最小可辨變化值。對“Door Flowers”和“Alt Moabit”測試序列進行主觀實驗，得到的左視點圖像 的質(zhì)量與最小可辨變化值的關(guān)系如圖6所示，隨著立體圖像的左視點圖像的質(zhì)量的下降 (PSNR值減小)，JND值也會下降，即左視點圖像和右視點圖像的PSNR的差值變小，并且對 于低質(zhì)量段(PSNR < 35dB)，JND值的變化也都在2dB以上，因此，在本實施例中，可取所有 測試序列的JND值都為2dB。③首先任取一個編碼量化參數(shù)作為左視點圖像的基本編碼量化參數(shù)，根據(jù)左視點 圖像的基本編碼量化參數(shù)和最小可辨變化值，獲取一個值大于等于左視點圖像的基本編碼 量化參數(shù)的最佳的編碼量化參數(shù)作為右視點圖像的基本編碼量化參數(shù)；然后根據(jù)設(shè)定的編 碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)，在時域上以幀組為編碼單元對左視點 原始視頻的各個幀組中的各個左視點圖像的亮度分量Y、第一色度分量U和第二色度分量V 分別進行編碼，得到左視點碼流，采用右視點圖像的基本編碼量化參數(shù)，在時域上以幀組為 編碼單元對右視點原始視頻的各個幀組中的各個右視點圖像的亮度分量Y進行編碼，得到 右視點碼流。在此，編碼量化參數(shù)值的大小決定了信息壓縮的比率，編碼量化參數(shù)值越大壓 縮率就越大，圖像質(zhì)量也就越低，并且右視點圖像的PSNR值小于左視點圖像的PSNR值，相 應(yīng)的右視點圖像的編碼量化參數(shù)值就大于左視點圖像的編碼量化參數(shù)，在此，左視點圖像 的基本編碼量化參數(shù)的取值范圍可為[22，50]區(qū)間內(nèi)的一個正整數(shù)，而右視點圖像的基本編碼量化參數(shù)大于等于左視點圖像的基本編碼量化參數(shù)。在本實施例中，步驟③的具體過程為
③-1、任取一個編碼量化參數(shù)作為左視點圖像的基本編碼量化參數(shù)，并記為QP1。③-2、根據(jù)左視點圖像的基本編碼量化參數(shù)QP1，獲取多個值大于等于QPl且各不 相同的編碼量化參數(shù)，并將這些編碼量化參數(shù)作為右視點圖像的候選的編碼量化參數(shù)，記 為 QP2'，QP2' = QPl+Δ QP, Δ QP e
o③_3、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)QPl對左 視點原始視頻的第1個幀組中的各個左視點圖像的亮度分量Y進行編碼，獲取左視點原始 視頻的第1個幀組中的所有左視點圖像的亮度分量Y的峰值信噪比的平均值，記為PSNR1。③_4、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，分別采用各個候選的編碼量化參數(shù)對右視點原 始視頻的第1個幀組中的各個右視點圖像的亮度分量Y進行編碼，分別獲取右視點原始視 頻的第1個幀組中的所有右視點圖像的亮度分量Y的峰值信噪比的平均值，記為PSNR2。③-5、分別計算PSNRl與各個PSNR2的差值，記為SUBPSNR，然后找出與最小可辨 變化值的差值最小的SUBPSNR，再將找出的SUBPSNR對應(yīng)的候選的編碼量化參數(shù)QP2'確定 為右視點圖像的基本編碼量化參數(shù)，并記為QP2。③-6、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)QPl對左 視點原始視頻的各個幀組中的各個左視點圖像的亮度分量Y、第一色度分量U和第二色度 分量V分別進行編碼，得到左視點碼流，采用右視點圖像的基本編碼量化參數(shù)QP2僅對右視 點原始視頻的各個幀組中的各個右視點圖像的亮度分量Y進行編碼，得到右視點碼流。④采用經(jīng)典的塊匹配法計算右視點原始視頻中每一時刻的右視點圖像和左視 點原始視頻中對應(yīng)時刻的左視點圖像之間的視差圖像，其基本思想是將圖像分成小塊， 對右視點原始視頻中的右視點圖像的每一塊，在左視點原始視頻圖像中尋找相關(guān)性最 大的塊，兩個塊之間的空間位移量就是視差。然后對每一時刻的視差圖像采用現(xiàn)有的 基于上下文的自適應(yīng)二進制算術(shù)熵編碼技術(shù)(CABAC，Context-based Adaptive Binary ArithmeticCoding)進行無損編碼得到每一時刻的視差場碼流。⑤根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)逐幀輸出左視點碼流、右視點碼流及視差場碼流得到 最終的編碼碼流，然后服務(wù)端通過網(wǎng)絡(luò)將最終的編碼碼流傳輸給用戶端。⑥用戶端分別對服務(wù)端發(fā)送來的左視點碼流、右視點碼流和視差場碼流進行解 碼，得到左視點的視頻數(shù)據(jù)、右視點的視頻數(shù)據(jù)和視差場信息；然后利用解碼得到的左視點 的視頻數(shù)據(jù)、右視點的視頻數(shù)據(jù)和視差場信息，通過色度重構(gòu)操作重構(gòu)獲取解碼得到的右 視點的視頻數(shù)據(jù)中各個時刻的右視點圖像的第一色度分量U和第二色度分量V。在此具體實施例中，通過色度重構(gòu)操作重構(gòu)獲取解碼得到的右視點的視頻數(shù)據(jù)中 各個時刻的右視點圖像的第一色度分量U和第二色度分量V的具體過程為⑥-1、定義解碼得到的右視點的視頻數(shù)據(jù)中當(dāng)前正在處理的右視點圖像為當(dāng)前右 視點圖像。⑥_2、根據(jù)當(dāng)前右視點圖像到與當(dāng)前右視點圖像同一時刻的左視點圖像的視差矢 量，判斷當(dāng)前右視點圖像中的像素s與同一時刻的左視點圖像中與像素s相對應(yīng)的像素r 的亮度分量是否相同，如果像素s與像素r的亮度分量相同，則確定像素s的第一色度分量 U(s)和第二色度分量V(S)分別與像素r的第一色度分量U(r)和第二色度分量V(r)相同，否則，假定像素S的第一色度分量U(S)和第二色度分量V(S)與亮度分量Y(S)分別存在線 性關(guān)系，U(S) =aY(s)+b,V(s) =cY(s)+d，通過計算當(dāng)前右視點圖像中的像素s的第一色 度分量的最小成本J (U)和第二色度分量的最小成本J(V)得到像素s的第一色度分量U (s)
CN2 γ
和第二色度分量 V (S)，J(U) = X C/(s) - X wsrC/(r) ,J(V) = X F(S) - Σ 廠(r),
s VvreN(s)Js VvreN(s)>
其中，U(r)為像素r的第一色度分量，V(r)為像素r的第二色度分量，a、b和c、d分 別為像素s的第一色度分量U(S)和第二色度分量V(S)的線性系數(shù)，Wot為加權(quán)參數(shù)，
WsrCce-Cw-^2y2ff',γ (r)為像素r的亮度分量，N(s)為以像素8為中心的鄰域窗口，。3為 像素s的亮度分量Y(S)在鄰域窗口 N(S)的標(biāo)準(zhǔn)差。⑥_3、將解碼得到的右視點的視頻數(shù)據(jù)中下一個待處理的右視點圖像作為當(dāng)前右 視點圖像，返回執(zhí)行步驟⑥_2重構(gòu)當(dāng)前右視點圖像的第一色度分量和第二色度分量，直至 解碼得到的右視點的視頻數(shù)據(jù)中的所有右視點圖像的第一色度分量和第二色度分量重構(gòu) 完畢。在此具體實施例中，設(shè)定的編碼預(yù)測結(jié)構(gòu)采用公知的HBP編碼預(yù)測結(jié)構(gòu)，如圖7所 示，HBP編碼預(yù)測結(jié)構(gòu)在時間參考和視點間參考做了比較好的均衡，使其不論是對時間相關(guān) 性強的序列還是對空間相關(guān)性強的序列都表現(xiàn)了較高的編碼性能。以下就利用本發(fā)明方法及傳統(tǒng)的編碼方法分別對“Door Flowers”、"Alt M0abit”、“Panb0mime”、“Champagne”立體測試集進行非對稱立體視頻編碼的編碼性能進行 比較。使用本發(fā)明的編碼方法，可以為不同終端要求及不同帶寬要求提供不同碼率的 碼流。表1給出了本發(fā)明方法與傳統(tǒng)編碼方法的編碼性能比較，從表1中可以看出，對 “DoorFlowers”立體測試序列，為了提供高質(zhì)量的立體視頻，采用傳統(tǒng)的編碼方法需要 3137. 509kbps帶寬，而本發(fā)明方法僅需要2014. 138kbps帶寬就可以滿足高質(zhì)量的立體視 頻系統(tǒng)以及自動立體顯示設(shè)備的要求。對于“Door Flowers”、“Alt Moabit”、“Panbomime” 和“Champagne”采用本發(fā)明方法處理后，最低的碼率節(jié)省也能達到15%左右，最高的碼率 節(jié)省能達到35%左右，足以說明本發(fā)明方法是有效可行的。表1本發(fā)明方法與傳統(tǒng)編碼方法的編碼性能比較

將采用本發(fā)明的色度重構(gòu)操作得到的重構(gòu)圖像，與真實的色度保留的解碼圖像進 行比較。圖8a和圖8b分別給出了 ‘‘Door Flowers”測試集的真實的色度保留的右視點解 碼圖像和色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度重構(gòu)后得到的重構(gòu)圖像，圖8c給出了 圖8a和圖8b的第一色度分量U的殘差圖像，圖8d給出了圖8a和圖8b的第二色度分量V 的殘差圖像；圖9a和圖9b分別給出了‘‘Alt Moabit”測試集的真實的色度保留的右視點解 碼圖像和色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度重構(gòu)后得到的重構(gòu)圖像，圖9c給出了 圖9a和圖9b的第一色度分量U的殘差圖像，圖9d給出了圖9a和圖9b的第二色度分量V 的殘差圖像；圖IOa和圖IOb分別給出了 ‘‘Panbomime”測試集的真實的色度保留的右視點 解碼圖像和色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度重構(gòu)后得到的重構(gòu)圖像，圖IOc給出 了圖IOa和圖IOb的第一色度分量U的殘差圖像，圖IOd給出了圖IOa和圖IOb的第二色 度分量V的殘差圖像；圖Ila和圖lib分別給出了 ‘‘Champagne”測試集的真實的色度保留 的右視點解碼圖像和色度丟失的右視點解碼圖像經(jīng)本發(fā)明色度重構(gòu)后得到的重構(gòu)圖像，圖 Ilc給出了圖Ila和圖lib的第一色度分量U的殘差圖像，圖Ild給出了圖Ila和圖lib的 第二色度分量V的殘差圖像。圖12a和圖12b分別為圖8a和圖8b的局部細(xì)節(jié)放大圖，圖 13a和圖13b分別為圖9a和圖9b的局部細(xì)節(jié)放大圖，圖14a和圖14b分別為圖IOa和圖 IOb的局部細(xì)節(jié)放大圖，圖15a和圖15b分別為圖Ila和圖lib的局部細(xì)節(jié)放大圖。從圖 8a至圖15b中可以看出，采用本發(fā)明的色度重構(gòu)操作得到的重構(gòu)圖像的顏色外表與真實的 色度保留的解碼圖像非常接近。以峰值信噪比來表示圖像的差異，計算經(jīng)本發(fā)明得到的重構(gòu)圖像與真實的色度保 留的解碼圖像的第一色度分量U、第二色度分量V的峰值信噪比，圖16a、圖16b、圖16c和圖 16d 分別為"Door Flowers”、‘‘Alt Moabit，，、‘‘Panbomime” 禾口 "Champagne” 的比較結(jié)果，從計算結(jié)果可看出峰值信噪比都在32dB以上，足以說明采用本發(fā)明方法得到的重構(gòu)圖像基本保留了圖像真實的顏色信息。
權(quán)利要求
一種立體視頻非對稱編碼方法，其特征在于包括以下步驟①將外部立體視頻捕獲工具捕獲得到的未經(jīng)處理的且顏色空間為YUV的立體視頻定義為原始立體視頻，在空域上該原始立體視頻包括左視點原始視頻和右視點原始視頻，左視點原始視頻主要由若干個幀組的左視點圖像組成，右視點原始視頻主要由若干個幀組的右視點圖像組成，其中，YUV顏色空間的三個分量的第1個分量為亮度分量并記為Y、第2個分量為第一色度分量并記為U及第3個分量為第二色度分量并記為V；②從原始立體視頻中選取一幅左視點圖像的峰值信噪比與右視點圖像的峰值信噪比差值最小的立體圖像，將該立體圖像作為測試圖像；然后令測試圖像中的左視點圖像的質(zhì)量不變，且測試圖像中的右視點圖像的質(zhì)量變化，通過主觀實驗測定人眼可感知立體視覺變化時測試圖像中的左視點圖像的最小可辨變化值；③首先任取一個編碼量化參數(shù)作為左視點圖像的基本編碼量化參數(shù)，根據(jù)左視點圖像的基本編碼量化參數(shù)和最小可辨變化值，獲取一個值大于等于左視點圖像的基本編碼量化參數(shù)的最佳的編碼量化參數(shù)作為右視點圖像的基本編碼量化參數(shù)；然后根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)，在時域上以幀組為編碼單元對左視點原始視頻的各個幀組中的各個左視點圖像的亮度分量Y、第一色度分量U和第二色度分量V分別進行編碼，得到左視點碼流，采用右視點圖像的基本編碼量化參數(shù)，在時域上以幀組為編碼單元對右視點原始視頻的各個幀組中的各個右視點圖像的亮度分量Y進行編碼，得到右視點碼流；④采用塊匹配法計算右視點原始視頻中每一時刻的右視點圖像和左視點原始視頻中對應(yīng)時刻的左視點圖像之間的視差圖像，然后對每一時刻的視差圖像進行無失真熵編碼得到每一時刻的視差場碼流；⑤根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)逐幀輸出左視點碼流、右視點碼流及視差場碼流得到最終的編碼碼流，然后服務(wù)端通過網(wǎng)絡(luò)將最終的編碼碼流傳輸給用戶端；⑥用戶端分別對服務(wù)端發(fā)送來的左視點碼流、右視點碼流和視差場碼流進行解碼，得到左視點的視頻數(shù)據(jù)、右視點的視頻數(shù)據(jù)和視差場信息；然后利用解碼得到的左視點的視頻數(shù)據(jù)、右視點的視頻數(shù)據(jù)和視差場信息，通過色度重構(gòu)操作重構(gòu)獲取解碼得到的右視點的視頻數(shù)據(jù)中各個時刻的右視點圖像的第一色度分量U和第二色度分量V。
2.根據(jù)權(quán)利要求1所述的一種立體視頻非對稱編碼方法，其特征在于所述的步驟③的 具體過程為③-1、任取一個編碼量化參數(shù)作為左視點圖像的基本編碼量化參數(shù)，并記為QPl ；③_2、根據(jù)左視點圖像的基本編碼量化參數(shù)QP1，獲取多個值大于等于QPl且各不相 同的編碼量化參數(shù)，并將這些編碼量化參數(shù)作為右視點圖像的候選的編碼量化參數(shù)，記為 QP2'，QP2' = QPl+Δ QP, Δ QP e
；③-3、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)QPl對左視點 原始視頻的第1個幀組中的各個左視點圖像的亮度分量Y進行編碼，獲取左視點原始視頻 的第1個幀組中的所有左視點圖像的亮度分量Y的峰值信噪比的平均值，記為PSNRl ；③_4、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，分別采用各個候選的編碼量化參數(shù)對右視點原始視 頻的第1個幀組中的各個右視點圖像的亮度分量Y進行編碼，分別獲取右視點原始視頻的 第1個幀組中的所有右視點圖像的亮度分量Y的峰值信噪比的平均值，記為PSNR2 ；③-5、分別計算PSNRl與各個PSNR2的差值，記為SUBPSNR，然后找出與最小可辨變化 值的差值最小的SUBPSNR，再將找出的SUBPSNR對應(yīng)的候選的編碼量化參數(shù)QP2 ‘確定為右 視點圖像的基本編碼量化參數(shù)，并記為QP2 ；③_6、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，采用左視點圖像的基本編碼量化參數(shù)QPl對左視點 原始視頻的各個幀組中的各個左視點圖像的亮度分量Y、第一色度分量U和第二色度分量 V分別進行編碼，得到左視點碼流，采用右視點圖像的基本編碼量化參數(shù)QP2僅對右視點原 始視頻的各個幀組中的各個右視點圖像的亮度分量Y進行編碼，得到右視點碼流。
3.根據(jù)權(quán)利要求2所述的一種立體視頻非對稱編碼方法，其特征在于所述的步驟③-1 中左視點圖像的基本編碼量化參數(shù)QPl的值為[22，50]區(qū)間內(nèi)的一個正整數(shù)。
4.根據(jù)權(quán)利要求1至3中任一項所述的一種立體視頻非對稱編碼方法，其特征在于所 述的步驟④中對每一時刻的視差圖像進行無失真熵編碼過程中，采用CABAC無失真編碼技 術(shù)進行編碼壓縮。
5.根據(jù)權(quán)利要求4所述的一種立體視頻非對稱編碼方法，其特征在于所述的步驟⑥中通過色度重構(gòu)操作重構(gòu)獲取解碼得到的右視點的視頻數(shù)據(jù)中各個時刻的右視點圖像的第 一色度分量U和第二色度分量V的具體過程為⑥-1、定義解碼得到的右視點的視頻數(shù)據(jù)中當(dāng)前正在處理的右視點圖像為當(dāng)前右視點 圖像；⑥-2、根據(jù)當(dāng)前右視點圖像到與當(dāng)前右視點圖像同一時刻的左視點圖像的視差矢量， 判斷當(dāng)前右視點圖像中的像素s與同一時刻的左視點圖像中與像素s相對應(yīng)的像素r的亮 度分量是否相同，如果像素s與像素r的亮度分量相同，則確定像素s的第一色度分量U (s) 和第二色度分量V(S)分別與像素r的第一色度分量U(r)和第二色度分量V(r)相同，否則， 假定像素s的第一色度分量U (s)和第二色度分量V(S)與亮度分量Y(S)分別存在線性關(guān) 系，U(S) =aY(s)+b,V(s) = cY(s)+d，通過計算當(dāng)前右視點圖像中的像素s的第一色度分 量的最小成本J(U)和第二色度分量的最小成本J(V)得到像素s的第一色度分量U(S)和第二色度分量v(s)，·=·⑷i^H2 V)=zhS)- Σ ▽(<，其中，s V^reN(s)JU (r)為像素r的第一色度分量，V (r)為像素r的第二色度分量，a、b和c、d分別為像素s的第一色度分量U (s)和第二色度分量V (s)的線性系數(shù)，Wsr為加權(quán)參數(shù)，\ ^ e-(7(s)-7(r))2/2<T·，Y(r)為像素r的亮度分量，N(S)為以像素s為中心的鄰域窗口，Qs為像素s的亮度分量 Y(S)在鄰域窗口 N(S)的標(biāo)準(zhǔn)差；⑥-3、將解碼得到的右視點的視頻數(shù)據(jù)中下一個待處理的右視點圖像作為當(dāng)前右視點 圖像，返回執(zhí)行步驟⑥_2重構(gòu)當(dāng)前右視點圖像的第一色度分量和第二色度分量，直至解碼 得到的右視點的視頻數(shù)據(jù)中的所有右視點圖像的第一色度分量和第二色度分量重構(gòu)完畢。
6.根據(jù)權(quán)利要求5所述的一種立體視頻非對稱編碼方法，其特征在于所述的設(shè)定的編 碼預(yù)測結(jié)構(gòu)采用公知的HBP編碼預(yù)測結(jié)構(gòu)。
7.根據(jù)權(quán)利要求6所述的一種立體視頻非對稱編碼方法，其特征在于所述的步驟②的 具體過程為②-1、首先從原始立體視頻中選取一幅左視點圖像的峰值信噪比與該左視點圖像對應(yīng) 的右視點圖像的峰值信噪比的差值最小的立體圖像，將該立體圖像作為測試圖像，然后利 用H. 264視頻編碼標(biāo)準(zhǔn)，從高、中、低質(zhì)量段任取一個編碼量化參數(shù)對測試圖像的左視點圖 像以幀內(nèi)編碼方式進行編碼，記對測試圖像的左視點圖像進行編碼所采用的編碼量化參數(shù) 為QPy將編碼得到的左視點圖像定義為A質(zhì)量點的左視點圖像，記為LA，再采用N個不同的 編碼量化參數(shù)分別對測試圖像的右視點圖像以幀內(nèi)編碼方式進行編碼，獲得所需的N幅質(zhì) 量各不相同的右視點圖像，其中，對測試圖像的右視點圖像進行編碼所采用的N個不同的編碼量化參數(shù)分別為 QPl-U QPl、QPl+1> QPl+2、......，如果(51-(QPl-I)+1) > 15，則 N =15，否則，N = 51-(QPl-I)+1 ； ②-2、從采用編碼量化參數(shù)QP^l、QPp( \+l進行編碼得到的3幅質(zhì)量各不相同的右視 點圖像中選取一幅采用客觀質(zhì)量評價標(biāo)準(zhǔn)評價時質(zhì)量與A質(zhì)量點的左視點圖像La的質(zhì)量 最為接近的右視點圖像，并將該選定的右視點圖像定義為A質(zhì)量點的右視點圖像，記為Ra， 將A質(zhì)量點的右視點圖像Ra編碼采用的編碼量化參數(shù)記為QPka,將A質(zhì)量點的左視點圖像 質(zhì)量點的右視點圖像Ra所構(gòu)成的最優(yōu)立體圖像記為Saa ；記N幅質(zhì)量各不相同的右視 點圖像中編碼量化參數(shù)大于QPea的右視點圖像的數(shù)量為M幅，將A質(zhì)量點的左視點圖像La 與M幅采用大于QPea的編碼量化參數(shù)編碼得到的右視點圖像一一構(gòu)成M幅立體圖像，記為 Sm，1彡m彡M，Sm為由A質(zhì)量點的左視點圖像La和采用編碼量化參數(shù)QPea+!!!編碼得到的右 視點圖像所構(gòu)成的立體圖像；②-3、組織參與進行圖像主觀質(zhì)量評價的觀察者若干名，先將m= 1時的立體圖像Sm 作為當(dāng)前待評價立體圖像，然后將內(nèi)容相同但質(zhì)量不同的最優(yōu)立體圖像Saa和當(dāng)前待評價 立體圖像Sm同時播放在屏幕上，要求每位觀察者對這2幅立體圖像的質(zhì)量進行獨立評價， 看觀察者是否能辨別出這2幅立體圖像的質(zhì)量差異，并記錄下每位觀察者對這2幅立體圖 像的質(zhì)量的評價結(jié)果，再將m加1后的立體圖像Sm作為當(dāng)前待評價立體圖像，重復(fù)上述評 價過程，直至m > M時結(jié)束評價過程；根據(jù)所有觀察者的評價結(jié)果選擇B、C、D、E另外4個 質(zhì)量點的右視點圖像，選擇方法如下如果立體圖像Sm與最優(yōu)立體圖像Saa對比后大多數(shù)觀 察者都不能分辨出該Sm與Saa的質(zhì)量差異，則將該Sm對應(yīng)的右視點圖像定義為B質(zhì)量點的 右視點圖像，記為Rb，并將該立體圖像Sm記為Sab，將B質(zhì)量點的右視點圖像Rb編碼采用的 編碼量化參數(shù)記為QPkb ；如果立體圖像Sm與立體圖像Saa對比后大多數(shù)觀察者都可以分辨 出該Sm與Saa的質(zhì)量差異，則將該Sm對應(yīng)的右視點圖像定義為E質(zhì)量點的右視點圖像，記為 Re,并將該立體圖像Sm記為Sae，將E質(zhì)量點的右視點圖像Re編碼采用的編碼量化參數(shù)記為 QPee ；再在B質(zhì)量點的右視點圖像Rb與E質(zhì)量點的右視點圖像Re之間等量化步長選取C質(zhì) 量點的右視點圖像和D質(zhì)量點的右視點圖像，將C質(zhì)量點的右視點圖像記為Rc，將C質(zhì)量點 的右視點圖像Rc編碼采用的編碼量化參數(shù)記為QPKC，將D質(zhì)量點的右視點圖像記為RD，將D 質(zhì)量點的右視點圖像Rd編碼采用的編碼量化參數(shù)記為QPed, (QPrb-QPrc) ^ (QPrc-QPrd) ^ (QP k0-QPee)，將A質(zhì)量點的左視點圖像La和C質(zhì)量點的右視點圖像Rc所構(gòu)成的立體圖像記為 Sac，將A質(zhì)量點的左視點圖像La和D質(zhì)量點的右視點圖像Rd所構(gòu)成的立體圖像記為Sad ；②_4、將經(jīng)上述步驟獲得的5幅質(zhì)量逐次遞減的立體圖像SaaAa^SaPSad和Sae兩兩組 合，共組成十組不同的立體圖像對比組合，分別為Saa Sab, SaaSac, SaaSad, SaaSae, SabSac, SabSad, SabSae, SacSad, SacSae和SadSae ；隨機播放這十組立體圖像對比組合，要求每位觀察者分別對所有立體圖像對比組合中的2幅立體圖像兩兩對比進行獨立的主觀質(zhì)量評價，指出其認(rèn)為立 體圖像對比組合中的2幅立體圖像質(zhì)量相對較好的立體圖像，并記錄評價數(shù)據(jù)；②_5、對于十組立體圖像對比組合中的其中一組立體圖像對比組合，令Qi和Qj分別 表示該立體圖像對比組合中的2幅立體圖像分別對應(yīng)的2幅不同的右視點圖像的質(zhì)量點， Qi e {A，B, C，D，E}，Qj e {A，B, C，D，E}，且Qi興Qj ；然后根據(jù)記錄的評價數(shù)據(jù)統(tǒng)計出參與 圖像主觀質(zhì)量評價的觀察者認(rèn)為Qi質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量高于Qj質(zhì) 量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量的概率，記為P…表示比例為Pu的觀察者認(rèn)為Qi 質(zhì)量點的右視點圖像對應(yīng)的立體圖像的質(zhì)量高于Qj質(zhì)量點的右視點圖像對應(yīng)的立體圖像 的質(zhì)量；再根據(jù)十組立體圖像對比組合各自的概率Pij,構(gòu)造十組立體圖像對比組合的偏好 概率矩陣； ②_6、根據(jù)偏好概率矩陣構(gòu)造適用于建立廣義線性模型框架下的Thurstone模型所需 的回歸矩陣，其中，回歸矩陣的總行數(shù)為10行，每一行對應(yīng)一組立體圖像對比組合，每行包 括7項數(shù)據(jù)，分別記為N、As、Bs、Cs、Ds、Es、p，其中，N為參與對該組立體圖像對比組合進行 主觀質(zhì)量評價的觀察者人數(shù)，As、Bs、Cs、Ds、Es分別對應(yīng)于由A質(zhì)量點的左視點圖像La和A、 B、C、D、E5個質(zhì)量點的右視點圖像分別構(gòu)成的立體圖像SpS^SpS^和Sae，對于回歸矩陣 中的其中一行，如果AS、BS、CS、DS、ES5項中的3項值為0，1項值為1，另1項值為_1，則表示 該行數(shù)據(jù)反映的是非零的2項所對應(yīng)的2幅立體圖像的主觀評價結(jié)果，ρ為偏好概率，表示 參與評價的N名觀察者中有比例為ρ的觀察者認(rèn)為K、Bs, Cs、Ds、Es5項中值為1的項所對 應(yīng)的立體圖像的質(zhì)量要優(yōu)于值為-1的項所對應(yīng)的立體圖像；②_7、根據(jù)回歸矩陣建立廣義線性模型框架下的Thurstone模型，Thurstone模型的形 式為(ρ) = aXAs+bXBs+cXCs+dXDs+eXEs，其中，a、b、c、d和e分別為對應(yīng)于立體圖 像SAA, Sab, SAC,Sad和Sae的Z分?jǐn)?shù)，且e = 0，Φ(ρ)為二項分布的概率函數(shù)的反函數(shù)；然后 將回歸矩陣數(shù)據(jù)代入Thurstone模型進行回歸分析得到a、b、c、d的估計值，分別記為aest、 bes\ Cest 和 cfst，并令 e 的估計值 eest = e = 0 ；②_8、逐一計算Z分?jǐn)?shù)對a和b、a和c、a和d及a和e的置信區(qū)間，Z分?jǐn)?shù)對a和 b的置信區(qū)間為aest-best_BOUND < a-b < aest-best+BOUND, Z分?jǐn)?shù)對a和c的置信區(qū)間為 aest-cest-BOUND < a-c < aest-cest+BOUND, Z 分?jǐn)?shù)對 a 和 d 的置信區(qū)間為 aest-dest_B0UND < a_d < aest-dest+BOUND, Z 分?jǐn)?shù)對 a 和 e 的置信區(qū)間為 aest-eest_B0UND < a_e < aest_eest+B0UND， BOUND = (Zd2im(l- r))1/2(ZCOVx)1/2，;d^卡方分布，其自由度 dim = 4，α 表示分位 數(shù)，χ表示相應(yīng)的檢驗向量，xT為χ的轉(zhuǎn)置矩陣，COV為隨機向量(a，b，c，d)的協(xié)方差矩陣； ②_9、按英文字母順序排列b、c、d和e，依次判斷Z分?jǐn)?shù)對a和b、a和c、a和d及a 和e的每一對中所對應(yīng)的2幅立體圖像的質(zhì)量是否是可分辨的，具體過程如下定義當(dāng)前 正在處理的Z分?jǐn)?shù)對為a禾Π q，q e {b，c, d，e}，判斷數(shù)值0是否在區(qū)間(aest-qest-B0UND， aest-qest+B0UND)內(nèi)，如果是，則認(rèn)為a和q是不具有顯著性差異的，表示a對應(yīng)的最優(yōu)立體 圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖像Saq之 間的圖像質(zhì)量差異是不可分辨的，否則，認(rèn)為a和q是具有顯著性差異的，表示a對應(yīng)的最 優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖 像Saq之間的圖像質(zhì)量差異是可分辨的，其中，Q e {B, C，D，E}；②-10、如果a對應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖像Saq之間的圖像質(zhì)量差異是可分辨的，而a對應(yīng)的最優(yōu)立體圖 像Saa與由A質(zhì)量點的左視點圖像和以英文字母順序排在q對應(yīng)的質(zhì)量點之前的各個質(zhì)量 點所對應(yīng)的右視點圖像構(gòu)成的立體圖像之間的圖像質(zhì)量差異均是不可分辨的，則定義a對 應(yīng)的最優(yōu)立體圖像Saa與由A質(zhì)量點的左視點圖像和q對應(yīng)的質(zhì)量點的右視點圖像構(gòu)成的立體圖像Saq的峰值信噪比差值為測試圖像的左視點圖像采用的編碼量化參數(shù)Qh編碼時 的最小可辨變化值，其中，q e {b，c, d，e}。
全文摘要
本發(fā)明公開了一種立體視頻非對稱編碼方法，通過主觀實驗測定人眼可感知立體視覺變化時測試圖像中的左視點圖像的最小可辨變化值，然后根據(jù)左視點圖像的基本編碼量化參數(shù)和最小可辨變化值，獲取一個最佳的編碼量化對右視點圖像的亮度分量進行編碼，在用戶端利用解碼得到的左視點的視頻數(shù)據(jù)、右視點的視頻數(shù)據(jù)和視差場信息，通過色度重構(gòu)操作重構(gòu)獲取右視點圖像的色度分量，本發(fā)明方法在保證立體圖像的整體質(zhì)量的前提下，大大提高了立體視頻的編碼效率，降低了編碼復(fù)雜度。
文檔編號H04N11/04GK101841726SQ201010184200
公開日2010年9月22日 申請日期2010年5月24日 優(yōu)先權(quán)日2010年5月24日
發(fā)明者蔣剛毅, 邵楓, 郁梅 申請人:寧波大學(xué)