專利名稱：：一種交互式多視點視頻編碼方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種視頻的處理方法，尤其是涉及一種交互式多視點視頻編碼方法。技術(shù)背景交互式多視點視頻系統(tǒng)能夠給用戶提供多個視角的視頻內(nèi)容，用戶可以根據(jù)個人的喜好選擇視角，并在觀看過程中隨意改變欣賞視角。因此，對于交互式多視點視頻系統(tǒng)來說，其基本目標(biāo)是有效地實現(xiàn)用戶端與服務(wù)端的視點交互。通常，交互式多視點視頻系統(tǒng)如圖l所示，由以下幾個部分組成視頻捕獲、預(yù)處理、多視點視頻編碼器、多視點視頻解碼器、視點繪制和顯示部分。視頻捕獲通常由具有"+l個相機(或攝像機)的多視點相機系統(tǒng)實現(xiàn)，圖2給出了多視點相機系統(tǒng)成像示意圖，W+l個相機(或攝像機)被平行地放置。由于在多視點視頻捕獲過程中各相機的場景光照、相機標(biāo)定、CCD噪聲、快門速度和曝光等要素不一致，會導(dǎo)致采集的各視點間可能存在亮度或色度差異。因此，為了得到更好的編碼性能和虛擬視點繪制效果，需要在進行多視點視頻編碼前加入顏色校正作為預(yù)處理過程。此外，一般情況下服務(wù)端無法提供給用戶足夠多視角的視頻內(nèi)容，因此用戶端就需要利用解碼視點信息繪制出虛擬視點視頻內(nèi)容，以滿足用戶多變的要求。面向用戶端的交互式多視點視頻系統(tǒng)的目的是為了滿足用戶最大限度的自主性，因此，實現(xiàn)用戶端與服務(wù)端之間的高效交互操作以滿足用戶的選擇需求是面向用戶端的交互式多視點視頻系統(tǒng)最基本也是最主要的任務(wù)，而降低多視點視頻的網(wǎng)絡(luò)傳輸是實現(xiàn)用戶端與服務(wù)端高效交互的一個重要因素。針對交互式多視點視頻系統(tǒng)中的多視點視頻編碼，目前除了通過改變預(yù)測結(jié)構(gòu)來提高編碼效率降低多視點視頻的網(wǎng)絡(luò)傳輸外，也推薦采用亮度補償方法。亮度補償方法通過對編碼宏塊加權(quán)預(yù)測來補償視差估計和補償預(yù)測殘差，從而提高編碼壓縮效率，但是采用這種方法，編碼壓縮效率的提高被限制在一定的范圍內(nèi)，仍不能較好地實現(xiàn)用戶端與服務(wù)端的高效交互。
發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問題是提供一種能夠有效地提高多視點視頻的編碼效率，較好地實現(xiàn)用戶端與服務(wù)端的高效交互的交互式多視點視頻編碼方法。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種交互式多視點視頻編碼方法，包括以下步驟(1)、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，對由具有"+l個相機的多視點相機系統(tǒng)在同一時刻拍攝得到的顏色空間為YUV的多視點視頻，在時域上以具有1個I幀和多個P幀的幀組為編碼單元進行編碼處理，得到包含有運動矢量的編碼碼流；(2)、將多視點視頻的"+l個視點中任意相鄰的兩個視點作為兩兩關(guān)聯(lián)視點，將兩兩關(guān)聯(lián)視點中的前一個視點圖像記為參考圖像，將兩兩關(guān)聯(lián)視點中的后一個視點圖像記為源圖像，對參考圖像和源圖像進行視差估計得到兩兩關(guān)聯(lián)視點間的視差矢量，并對兩兩關(guān)聯(lián)視點間的視差矢量進行壓縮得到視差矢量碼流；(3)、服務(wù)端根據(jù)用戶端的任意視點選擇，將用戶端任意所選視點相應(yīng)的兩兩關(guān)聯(lián)視點中各視點的編碼碼流及兩兩關(guān)聯(lián)視點間的視差矢量碼流通過網(wǎng)絡(luò)傳輸給用戶端；(4)、用戶端接收到服務(wù)端發(fā)送來的編碼碼流和視差矢量碼流后，對編碼碼流和視差矢量碼流進行解碼得到兩兩關(guān)聯(lián)視點中各視點的包含有運動矢量的視頻數(shù)據(jù)和兩兩關(guān)聯(lián)視點間的視差矢量；所述的YUV顏色空間的三個分量的第1個分量為亮度分量記為r、第2個分量為第一色度分量記為C/和第3個分量為第二色度分量記為F，所述的步驟(1)中對多視點視頻進行編碼處理過程中，對I幀的第1個分量7、第2個分量f/、第3個分量F進行編碼處理，對所有P幀僅對第1個分量y進行編碼處理；并在所述的步驟(4)處理完畢后，利用解碼得到的兩兩關(guān)聯(lián)視點中各視點的視頻數(shù)據(jù)和兩兩關(guān)聯(lián)視點間的視差矢量，對兩兩關(guān)聯(lián)視點中各視點進行包括顏色化操作、顏色傳遞操作及顏色校正處理的后處理，通過顏色化操作重構(gòu)出所有P幀的第一色度分量和第二色度分量，然后通過顏色傳遞操作對重構(gòu)后的圖像進行顏色全局優(yōu)化，再對顏色傳遞操作后的圖像進行顏色校正處理實現(xiàn)各視點間顏色的一致性。所述的后處理包括以下具體步驟①利用相鄰幀的運動矢量對兩兩關(guān)聯(lián)視點中各視點的所有P幀進行顏色化操作，重構(gòu)得到所有P幀的第2個分量f/和第3個分量F;②定義兩兩關(guān)聯(lián)視點中每個視點的一幀組中的I幀為參考幀，利用參考幀對該幀組中重構(gòu)后的所有P幀進行顏色傳遞操作；定義當(dāng)前正在處理的P幀為當(dāng)前幀，根據(jù)參考幀各個分量的均值///和標(biāo)準(zhǔn)差^"及當(dāng)前幀各個分量的均值/^和標(biāo)準(zhǔn)差^:，通過/>，力=4"(/^1,力—<)+^對當(dāng)前幀的第1分量y、第2個分量(/和第3個分量r進行顏色傳遞操作得到顏色傳遞后的校正圖像，其中，/f(;c,力為當(dāng)前幀的第/個分量的顏色值，/,(x,力為顏色傳遞后的校正圖像的第i個分量的顏色值，/=1,2,3;將下一個P幀作為當(dāng)前幀，并以前一個P幀的顏色化傳遞操作方法對該當(dāng)前幀進行相同的顏色傳遞操作，直至該幀組中的所有P幀處理完畢；③將經(jīng)過步驟②處理后的兩兩關(guān)聯(lián)視點中各視點的視頻數(shù)據(jù)從YUV顏色空間轉(zhuǎn)換-及-—1.00.01.402_陽yG=1.0—0.34414-0.71414，其中，i為RGB顏色空間的51.01.7720.0到RGB顏色空間，三個顏色分量的第1個顏色分量，G為第2個顏色分量，S為第3個顏色分量；④根據(jù)兩兩關(guān)聯(lián)視點間的視差矢量，通過(,/J=argmin藝(A/:(;c+《,少+《))2對兩兩關(guān)聯(lián)視點中的源，艮乂=1圖像和參考圖像的第M/個顏色分量的均方誤差進行最小化處理，計算得到兩兩關(guān)聯(lián)視點中的源圖像的第w個顏色分量的乘性誤差和加性誤差A(yù)，其中，Q為兩兩關(guān)聯(lián)視點間的視差矢量(《,A)的集合，"(x，力為源圖像第7個顏色分量的顏色值，/f(x，力為參考圖像第w個顏色分量的顏色值，_/,w=l，2,3;(D根據(jù)源圖像的第w個顏色分量的乘性誤差和加性誤差A(yù)，通過《(x,力t"^"(x,力+A對源圖像中每個像素的各個顏色分量進行顏色校正操作得到顏色校正后的校正圖像，其中，"(x,力為源圖像第7個顏色分量的顏色值，《(x,力為顏色校正后的校正圖像第w個顏色分量的顏色值，w=1,2,3。所述的步驟①中的顏色化操作的具體過程為①-l、定義兩兩關(guān)聯(lián)視點中每個視點的一幀組中的I幀為初始參考幀，定義該幀組中的第一個P幀為當(dāng)前P幀，令初始參考幀中包含有對當(dāng)前P幀進行顏色化操作所需的所有顏色信息；①-2、根據(jù)當(dāng)前P幀到初始參考幀的運動矢量，判斷當(dāng)前P幀中的像素s與初始參考幀中與像素s相對應(yīng)的像素r的亮度分量是否相同，如果像素s與像素r的亮度分量相同，則確定像素s的第一色度分量和第二色度分量分別與像素r的第一色度分量和第二色度分量相同，否則，假定像素s的第一色度分量t/(s)和第二色度分量K(s)與亮度分量y(s)分別存在線性關(guān)系，t/(s)="y(s)+6，F(xiàn)(s)=c:r(s)+t/，通過計算當(dāng)前P幀中的像素s的第一色度分量的最小成本J(f/)和第二色度分量的最小成本J(F)得到像素s的第一色度分量f/(s)和第二色f、2f、2度分量r(s)，J(f/"S"(s)-SWsr"(r)，=r(s)—Zwj(r)，其中，sVreW(s)乂sVreW(s)乂t/(r)為像素r的第一色度分量，K(r)為像素r的第二色度分量，a、&和c、rf分別為像素s的第一色度分量f/(s)和第二色度分量7(s)的線性系數(shù)，v^為加權(quán)參數(shù)，Ww0Ce-(m-，、'2，y(r)為像素r的亮度分量，W(s)為以像素s為中心的鄰域窗口，CTs為像素s的亮度分量r(s)在鄰域窗口iV(s)的標(biāo)準(zhǔn)差；①-3、對于該幀組中的下一個P幀，定義該P幀為當(dāng)前P幀，定義前一個P幀為初始參考幀，利用步驟①-2相同的方法重構(gòu)當(dāng)前P幀的第一色度分量和第二色度分量，直至該幀組中的所有P幀重構(gòu)完畢。所述的步驟(2)中對參考圖像和源圖像進行視差估計的方法為al.將參考圖像記為R，將源圖像記為S;a2.將源圖像S劃分成具有相同尺寸大小的第一宏塊，定義當(dāng)前正在處理的第一宏塊為當(dāng)前第一宏塊，取當(dāng)前第一宏塊中任意一個像素點作為參考像素點，在參考圖像R中以與參考像素點對應(yīng)的像素點為中心點確定宏塊搜索范圍;a3.利用參考圖像R和源圖像S的亮度分量，通過計算均值移除絕對差MRSAD(e,/)=""+f—'"+ff'|(S(p,-^)-+e，q+/)-|在宏塊搜索范圍中搜索得到當(dāng)前第一宏塊匹配的最佳匹配宏塊，其中，M為當(dāng)前第一宏塊的水平大小，W為當(dāng)前第一宏塊的垂直大小，Mx7V為當(dāng)前第一宏塊的尺寸大小，(m，w)為當(dāng)前第一宏塊的起始坐標(biāo)位置，S(/^)為源圖像S中坐標(biāo)為(p,《)的像素點的亮度分量，/(/7，《)為參考圖像R中坐標(biāo)為(p，《)的像素點的亮度分量，/4為當(dāng)前第一宏塊的均值，^為最佳匹配宏塊的均值，e為最佳匹配宏塊到當(dāng)前第一宏塊的水平方向偏移量，/為最佳匹配宏塊到當(dāng)前第一宏塊的垂直方向偏移量；a4.以相同的搜索方法利用該最佳匹配宏塊在源圖像S中進行反向搜索得到最佳匹配宏塊匹配的最佳第一宏塊；a5.將當(dāng)前第一宏塊到最佳匹配宏塊的偏移量和最佳匹配宏塊到最佳第一宏塊的偏移量分別作為源圖像S到參考圖像R的視差矢量和參考圖像R到源圖像S的視差矢量；a6.判斷兩者的視差矢量偏移是否小于2個像素，如果是，則確定當(dāng)前第一宏塊與最佳匹配宏塊為匹配宏塊對，并得到兩兩關(guān)聯(lián)視點間的視差矢量；否則，確定當(dāng)前第一宏塊與最佳匹配宏塊為非匹配宏塊對，再將當(dāng)前第一宏塊劃分成具有相同尺寸大小的第二宏塊，定義當(dāng)前正在處理的第二宏塊為當(dāng)前第二宏塊，采用與當(dāng)前第一宏塊相同的匹配方法進行雙向匹配操作，獲取匹配宏塊對，如果為非匹配宏塊對，則繼續(xù)將當(dāng)前第二宏塊劃分成具有相同尺寸大小的第三宏塊，定義當(dāng)前正在處理的第三宏塊為當(dāng)前第三宏塊，采用與當(dāng)前第一宏塊相同的匹配方法進行雙向匹配操作，獲取匹配宏塊對。所述的第一宏塊的尺寸大小為16x16，所述的第二宏塊的尺寸大小為8x8,所述的第三宏塊的尺寸大小為4x4。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于1)本發(fā)明方法通過在編碼過程中拋棄所有P幀的色度分量，提高了多視點視頻的編碼壓縮效率和編碼速度，降低了服務(wù)端向用戶端傳輸編碼碼流的傳輸量，從而較好地實現(xiàn)了用戶端與服務(wù)端的高效交互；2)本發(fā)明利用相鄰幀的運動矢量信息對所有P幀進行顏色化操作，能較為精確地重構(gòu)出P幀的色度分量信息；3)本發(fā)明利用顏色傳遞操作對顏色化操作后得到的重構(gòu)圖像進行顏色全局優(yōu)化，有效避免了經(jīng)顏色化操作后得到的重構(gòu)圖像在某些局部區(qū)域可能會出現(xiàn)錯誤的顏色信息的現(xiàn)象；4)本發(fā)明在用戶端利用視差矢量信息來計算乘性誤差和加性誤差，從而利用乘性誤差和加性誤差實現(xiàn)對解碼并重構(gòu)后得到的圖像進行顏色校正，既保證了視點間的顏色一致性，又實現(xiàn)了交互式多視點視頻應(yīng)用。圖1為交互式多視點視頻系統(tǒng)示意圖；圖2為多視點相機系統(tǒng)成像示意圖；圖3為本發(fā)明方法的流程示意圖；圖4為本發(fā)明采用的Simulcast編碼預(yù)測結(jié)構(gòu)的框架示意圖；圖5a為"flamencol"多視點測試集的第1個視點的I幀解碼圖像；圖5b為"flamencol"多視點測試集的第1個視點的P幀色度分量丟失的解碼圖像;圖5c為圖5b的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像；圖5d為"flamencol"多視點測試集的第1個視點的P幀真實的色度分量保留的解碼圖像；圖6a為"flamencol"多視點測試集的第2個視點的I幀解碼圖像；圖6b為"flamencol"多視點測試集的第2個視點的P幀色度分量丟失的解碼圖像；圖6c為圖6b的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像；圖6d為"flamencol"多視點測試集的第2個視點的P幀真實的色度分量保留的解碼圖像；圖7a為"objects2"多視點測試集的第1個視點的I幀解碼圖像；圖7b為"objects2"多視點測試集的第1個視點的P幀色度分量丟失的解碼圖像；圖7c為圖7b的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像；圖7d為"objects2"多視點測試集的第1個視點的P幀真實的色度分量保留的解碼圖像；圖8a為"objects2"多視點測試集的第2個視點的I幀解碼圖像；圖8b為"objects2"多視點測試集的第2個視點的P幀色度分量丟失的解碼圖像；圖8c為圖8b的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像；圖8d為"objects2"多視點測試集的第2個視點的P幀真實的色度分量保留的解碼圖像；圖9a為圖6a的重構(gòu)圖像經(jīng)本發(fā)明的顏色校正處理后得到的校正圖像；圖9b為圖6c的解碼圖像經(jīng)本發(fā)明的顏色校正處理后得到的校正圖像；圖10a為圖8a的重構(gòu)圖像經(jīng)本發(fā)明的顏色校正處理后得到的校正圖像；圖10b為圖8c的解碼圖像進本發(fā)明的顏色校正處理后得到的校正圖像。具體實施方式以下結(jié)合附圖實施例對本發(fā)明作進一步詳細描述。如圖3所示，一種交互式多視點視頻編碼方法，具體步驟如下(1)、首先根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，對由具有W+1個相機的多視點相機系統(tǒng)在同一時刻拍攝得到的多視點視頻，在時域上以具有1個I幀和多個P幀的幀組為編碼單元進行編碼處理，得到包含有運動矢量的編碼碼流。拍攝得到的多視點視頻的數(shù)據(jù)格式為YUV(4:2:0)，即多視點視頻數(shù)據(jù)的顏色空間為YUV，YUV顏色空間的三個分量的第1個分量為亮度分量記為F、第2個分量為第一色度分量記為f/和第3個分量為第二色度分量記為F。在對多視點視頻進行編碼處理過程中，本發(fā)明對I幀的第l個分量y、第2個分量f/、第3個分量F進行編碼處理，對所有P幀僅對第1個分量r進行編碼處理，也就是說，只保留一幀組內(nèi)I幀的色度分量，而拋棄其它剩余幀的色度分量，對這些拋棄的色度分量不進行編碼，對所有幀的亮度分量都進行編碼。在此具體實施例中，設(shè)定的編碼預(yù)測結(jié)構(gòu)采用公知的Simulcast編碼預(yù)測結(jié)構(gòu)，如圖4所示，Simulcast編碼預(yù)測結(jié)構(gòu)只在時間上進行預(yù)測，預(yù)測結(jié)構(gòu)為I-P-P-P，即第一幀采用I幀編碼，其它P幀都由前一幀時間預(yù)測得到，對多視點視頻中的每個視點都采用相同的預(yù)測結(jié)構(gòu)。(2)、將多視點視頻的《+1個視點中任意相鄰的兩個視點作為兩兩關(guān)聯(lián)視點，將兩兩關(guān)聯(lián)視點中的前一個視點圖像記為參考圖像，將兩兩關(guān)聯(lián)視點中的后一個視點圖像記為源圖像，對參考圖像和源圖像進行視差估計得到兩兩關(guān)聯(lián)視點間的視差矢量，w+l個視點可以形成w個兩兩關(guān)聯(lián)視點間的視差矢量，并采用現(xiàn)有的CABAC(Context-basedAdaptiveBinaryArithmeticCoding,上下文自適應(yīng)二進制算術(shù)編碼)無損壓縮方法對兩兩關(guān)聯(lián)視點間的視差矢量進行壓縮得到視差矢量碼流。在此具體實施例中，對參考圖像和源圖像進行視差估計的方法為al.將參考圖像記為R，將源圖像記為S;a2.將源圖像S劃分成具有相同尺寸大小的第一宏塊，定義當(dāng)前正在處理的第一宏塊為當(dāng)前第一宏塊，取當(dāng)前第一宏塊中任意一個像素點作為參考像素點，在參考圖像R中以與參考像素點對應(yīng)的像素點為中心點確定宏塊搜索范圍；a3.利用參考圖像R和源圖像S的亮度分量，通過計算均值移除絕對差MRSAD(e,/)=1"+￡'l(S(/，《)-A)-+e,《+/)-仄)|在宏塊搜索范圍中搜索得到當(dāng)前第一宏塊匹配的最佳匹配宏塊，其中，M為當(dāng)前第一宏塊的水平大小，iV為當(dāng)前第一宏塊的垂直大小，MxiV為當(dāng)前第一宏塊的尺寸大小，(zn,w)為當(dāng)前第一宏塊的起始坐標(biāo)位置，S^，W為源圖像S中坐標(biāo)為(p,g)的像素點的亮度分量，i(p，g)為參考圖像R中坐標(biāo)為(P4)的像素點的亮度分量，^為當(dāng)前第一宏塊的均值，^為最佳匹配宏塊的均值，e為最佳匹配宏塊到當(dāng)前第一宏塊的水平方向偏移量，/為最佳匹配宏塊到當(dāng)前第一宏塊的垂直方向偏移量；a4.以相同的搜索方法利用該最佳匹配宏塊在源圖像S中進行反向搜索得到最佳匹配宏塊匹配的最佳第一宏塊；a5.將當(dāng)前第一宏塊到最佳匹配宏塊的偏移量和最佳匹配宏塊到最佳第一宏塊的偏移量分別作為源圖像S到參考圖像R的視差矢量和參考圖像R到源圖像S的視差矢量；a6.判斷兩者的視差矢量偏移是否小于2個像素，如果是，則確定當(dāng)前第一宏塊與最佳匹配宏塊為匹配宏塊對，并得到兩兩關(guān)聯(lián)視點間的視差矢量；否則，確定當(dāng)前第一宏塊與最佳匹配宏塊為非匹配宏塊對，再將當(dāng)前第一宏塊劃分成具有相同尺寸大小的第二宏塊，定義當(dāng)前正在處理的第二宏塊為當(dāng)前第二宏塊，采用與當(dāng)前第一宏塊相同的匹配方法進行雙向匹配操作，獲取匹配宏塊對，如果為非匹配宏塊對，則繼續(xù)將當(dāng)前第二宏塊劃分成具有相同尺寸大小的第三宏塊，定義當(dāng)前正在處理的第三宏塊為當(dāng)前第三宏塊，采用與當(dāng)前第一宏塊相同的匹配方法進行雙向匹配操作，獲取匹配宏塊對。本實施例中，第一宏塊的尺寸大小為16x16，第二宏塊的尺寸大小為8x8，第三宏塊的尺寸大小為4x4。在此各個宏塊的尺寸大小最大可以為32x32，最小可以為2x2，但在這兩種情況下在宏塊搜索范圍內(nèi)可能匹配不到最佳匹配宏塊。在本實施例中，宏塊搜索范圍以中心點為中心，水平范圍為[-16,16]，垂直范圍為[-4，4]。(3)、服務(wù)端根據(jù)用戶端的交互的任意視點選擇，將用戶端任意所選視點相應(yīng)的兩兩關(guān)聯(lián)視點中各視點的編碼碼流及兩兩關(guān)聯(lián)視點間的視差矢量碼流通過網(wǎng)絡(luò)傳輸給用戶端。(4)、用戶端接收到服務(wù)端發(fā)送來的編碼碼流和視差矢量碼流后，對編碼碼流和視差矢量碼流進行解碼得到兩兩關(guān)聯(lián)視點中各視點的包含有運動矢量的視頻數(shù)據(jù)和兩兩關(guān)聯(lián)視點間的視差矢量。利用解碼得到的兩兩關(guān)聯(lián)視點中各視點的視頻數(shù)據(jù)和兩兩關(guān)聯(lián)視點間的視差矢量，對兩兩關(guān)聯(lián)視點中各視點進行包括顏色化操作、顏色傳遞操作及顏色校正處理的后處理，通過顏色化操作重構(gòu)出所有P幀的第一色度分量和第二色度分量，然后通過顏色傳遞操作對重構(gòu)后的圖像進行顏色全局優(yōu)化，再對顏色傳遞操作后的圖像進行顏色校正處理實現(xiàn)各視點間顏色的一致性。上述后處理的具體步驟如下①利用相鄰幀的運動矢量對兩兩關(guān)聯(lián)視點中各視點的所有p幀進行顏色化操作，重構(gòu)得到所有P幀的第2個分量(/和第3個分量F。顏色化操作是計算機視覺中通常采用的一項技術(shù)，通常通過人工指定某些顏色線索來實現(xiàn)對灰度圖像的顏色化。在此具體實施例中，顏色化操作的具體過程為①-l、定義兩兩關(guān)聯(lián)視點中每個視點的一幀組中的I幀為初始參考幀，定義該幀組中的第一個P幀為當(dāng)前P幀，令初始參考幀中包含有對當(dāng)前P幀進行顏色化操作所需的所有顏色信息；①-2、根據(jù)當(dāng)前P幀到初始參考幀的運動矢量，判斷當(dāng)前P幀中的像素s與初始參考幀中與像素s相對應(yīng)的像素r的亮度分量是否相同，如果像素s與像素r的亮度分量相同，則確定像素s的第一色度分量和第二色度分量分別與像素r的第一色度分量和第二色度分量相同，否則，假定像素s的第一色度分量t/(s)和第二色度分量r(s)與亮度分量y(s)分別存在線性關(guān)系，f/(s)=fly(s)+6，F(xiàn)(s)=c;K(s)+d，通過計算當(dāng)前P幀中的像素s的第一色度分量的最小成本J(C/)和第二色度分量的最小成本J(D得到像素s的第一色度分量C/(s)和第二色f、2^、2度分量r(s)，/(t/)=Zf/(s)—ZWsr"(r)，J(。-ZF(s)—SwJ(r)，其中，sVre/V(s)乂s、reW(s)乂C/(r)為像素r的第一色度分量，F(xiàn)(r)為像素r的第二色度分量，a、6和c、J分別為像素s的第一色度分量f/(s)和第二色度分量F(s)的線性系數(shù)，、&為加權(quán)參數(shù)，M^oce-(，-yw)2/2ff，2，r(r)為像素r的亮度分量，iV(s)為以像素s為中心的鄰域窗口，(Ts為像素s的亮度分量y(s)在鄰域窗口W(s)的標(biāo)準(zhǔn)差；①-3、對于該幀組中的下一個P幀，定義該P幀為當(dāng)前P幀，定義前一個P幀為初始參考幀，利用步驟①-2相同的方法重構(gòu)當(dāng)前P幀的第一色度分量和第二色度分量，直至該幀組中的所有P幀重構(gòu)完畢。②由于顏色化操作通常不能達到全局的最優(yōu)，在某些局部區(qū)域會出現(xiàn)錯誤的顏色信息，因此需要再進行一次全局的顏色傳遞。顏色傳遞過程為定義兩兩關(guān)聯(lián)視點中每個視點的一幀組中的I幀為參考幀，利用參考幀對該幀組中重構(gòu)后的所有P幀進行顏色傳遞操作;定義當(dāng)前正在處理的P幀為當(dāng)前幀，根據(jù)參考幀各個分量的均值/zf和標(biāo)準(zhǔn)差^f及當(dāng)前幀各個分量的均值A(chǔ)^和標(biāo)準(zhǔn)差"f，通過<formula>formulaseeoriginaldocumentpage0</formula>對當(dāng)前幀的第1分量r、第2個分量t/和第3個分量F進行顏色傳遞操作得到顏色傳遞后的校正圖像，其中，/f(x,力為當(dāng)前幀的第/個分量的顏色值，/,(;c,力為顏色傳遞后的校正圖像的第/個分量的顏色值，f=1,2,3;將下一個P幀作為當(dāng)前幀，并以前一個P幀的顏色化傳遞操作方法對該當(dāng)前幀進行相同的顏色傳遞操作，直至該幀組中的所有P幀處理完畢；③將經(jīng)過步驟②處理后的兩兩關(guān)聯(lián)視點中各視點的視頻數(shù)據(jù)從YUV顏色空間轉(zhuǎn)換到RGB顏色空間，從YUV顏色空間到RGB顏色空間和轉(zhuǎn)換可表示為<formula>formulaseeoriginaldocumentpage0</formula>l個顏色分量，G為第2個顏色分量，萬為第3個顏色分量。④根據(jù)兩兩關(guān)聯(lián)視點間的視差矢量，通過(,^)=argmin藝((/^+i>w,(xj))—/^Oc+《,_y+《))2對兩兩關(guān)聯(lián)視點中的源'艮d"d,n戶i圖像和參考圖像的第w個顏色分量的均方誤差進行最小化處理，計算得到兩兩關(guān)聯(lián)視點中的源圖像的第w個顏色分量的3個乘性誤差c^和l個加性誤差艮，其中，Q為兩兩關(guān)聯(lián)視點間的視差矢量(《,《)的集合，"(x,力為源圖像第y'個顏色分量的顏色值，"(;c,力為參考圖像第w個顏色分量的顏色值，_/,vv=l,2，3。根據(jù)相機成像的原理，相機采集的顏色值是場景中對象的光學(xué)特性、場景光照和相機傳感器三個因素共同作用的結(jié)果，多視點成像與單視點成像的區(qū)別在于多視點成像隨著視點數(shù)目的增加，對三個因素的一致性控制也就越困難，因此視點間的顏色不一致是亟需解決的問題。本發(fā)明利用乘性誤差和加性誤差來描述視點圖像間顏色的差異，乘性誤差主要由視覺系統(tǒng)的光譜特性引起的，而加性誤差由顏色值的漂移引起的。⑤根據(jù)源圖像的第w個顏色分量的乘性誤差c^和加性誤差A(yù)，通過《(^，力=^]"^"(^,力+/1對源圖像中每個像素的各個顏色分量進行顏色校正操作得到顏色校正后的校正圖像，其中，"(x，力為源圖像第y個顏色分量的顏色值，《(x,力為顏色校正后的校正圖像第w個顏色分量的顏色值，/,w=l,2，3。以下就本發(fā)明進行多視點視頻編碼的編碼性能及重構(gòu)圖像的主客觀性能進行比較。對由KDDI公司提供的"flamencol"，"objects2"兩組多視點視頻測試集采用本發(fā)明的多視點視頻編碼方法，"flamencol"和"glof2"多視點測試集的視頻圖像的圖像尺寸均為320x240，多視點視頻的數(shù)據(jù)格式為YUV(4:2:0)。圖5a、圖5b分別給出了"flamencol"多視點測試集的第1個視點的I幀解碼圖像和P幀色度分量丟失的解碼圖像，圖6a、圖6b分別給出了"flamencol"多視點測試集的第2個視點的I幀解碼圖像和P幀色度分量丟失的解碼圖像，圖7a、圖7b分別給出了"objects2"多視點測試集的第1個視點的I幀解碼圖像和P幀色度分量丟失的解碼圖像，圖8a、圖8b分別給出了"objects2"多視點測試集的第2個視點的I幀解碼圖像和P幀色度分量丟失的解碼圖像。從圖5a和圖5b，圖6a和圖6b，圖7a和圖7b，及圖8a和圖8b中可以看出，圖5b，圖6b，圖7b和圖8b所示的解碼圖像的色度分量信息丟失，對其進行色度重構(gòu)就顯得十分必要。將采用本發(fā)明的顏色化操作和顏色傳遞后得到的重構(gòu)圖像，與真實的色度保留的解碼圖像進行比較。圖5c、圖5d分別給出了"flamencol"多視點測試集的第1個視點的P幀色度分量丟失的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像及真實的色度保留的解碼圖像，圖6c、圖6d分別給出了"flamencol"多視點測試集的第2個視點的P幀色度分量丟失的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像及真實的色度保留的解碼圖像，圖7c、圖7d分別給出了"objects2"多視點測試集的第1個視點的P幀色度分量丟失的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像及真實的色度保留的解碼圖像，圖8c、圖8d分別給出了"objects2"多視點測試集的第2個視點的P幀色度分量丟失的解碼圖像經(jīng)本發(fā)明顏色化操作和顏色傳遞后得到的重構(gòu)圖像及真實的色度保留的解碼圖像，從圖中可以看出，采用本發(fā)明的顏色化操作和顏色傳遞后得到的重構(gòu)圖像的顏色外表與真實的色度保留的解碼圖像非常接近。以均方根誤差(RMSE，RootMeanSquaredErrors)來表示圖像的差異，計算經(jīng)本發(fā)明得到的重構(gòu)圖像與真實的色度保留的解碼圖像的均方根誤差，圖5c和圖5d，圖6c和圖6d,圖7c和圖7d，及圖8c和圖8d的均方根誤差分別為13.83，14.28，10.77和11.18，從計算結(jié)果可看出誤差并不是很大，說明采用本發(fā)明得到的重構(gòu)圖像基本保留了圖像真實的顏色信息。將重構(gòu)圖像采用本發(fā)明的顏色校正方法得到的校正圖像。圖9a、圖9b分別給出了圖6a、圖6c的"flamencol"多視點測試集的連續(xù)兩幀的校正圖像，圖10a、圖10b分別給出了圖8a、圖8c的"objects2"多視點測試集的連續(xù)兩幀的校正圖像，從圖9a、圖9b、圖10a及圖10b中可以看出，采用本發(fā)明的顏色校正方法，校正圖像的顏色外表與參考圖像非常接近，并且連續(xù)兩幀的校正圖像在視覺上沒有明顯的不一致，所以本發(fā)明方法中采用的顏色校正方法是有效的。將采用本發(fā)明方法的編碼性能，與采用色度保留編碼方法的編碼性能進行比較，比較結(jié)果如表l所示。兩種方法均采用H264JM8.6平臺，量化步長QP=32，幀組的尺寸為15，也即時域上需要編碼的幀數(shù)為15，每個視點總的編碼幀數(shù)為600幀，編碼4個視點。對"flamencol"和"objects2"采用本發(fā)明方法處理后，平均的碼率節(jié)省能分別達到30.16%和23.83%，如表1所示，大大提高多視點視頻的編碼性能，說明本發(fā)明方法是有效可行的。表1本發(fā)明方法與色度保留編碼方法的編碼性能比較<table>tableseeoriginaldocumentpage14</column></row><table>權(quán)利要求1、一種交互式多視點視頻編碼方法，包括以下步驟(1)、根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，對由具有n+1個相機的多視點相機系統(tǒng)在同一時刻拍攝得到的顏色空間為YUV的多視點視頻，在時域上以具有1個I幀和多個P幀的幀組為編碼單元進行編碼處理，得到包含有運動矢量的編碼碼流；(2)、將多視點視頻的n+1個視點中任意相鄰的兩個視點作為兩兩關(guān)聯(lián)視點，將兩兩關(guān)聯(lián)視點中的前一個視點圖像記為參考圖像，將兩兩關(guān)聯(lián)視點中的后一個視點圖像記為源圖像，對參考圖像和源圖像進行視差估計得到兩兩關(guān)聯(lián)視點間的視差矢量，并對兩兩關(guān)聯(lián)視點間的視差矢量進行壓縮得到視差矢量碼流；(3)、服務(wù)端根據(jù)用戶端的任意視點選擇，將用戶端任意所選視點相應(yīng)的兩兩關(guān)聯(lián)視點中各視點的編碼碼流及兩兩關(guān)聯(lián)視點間的視差矢量碼流通過網(wǎng)絡(luò)傳輸給用戶端；(4)、用戶端接收到服務(wù)端發(fā)送來的編碼碼流和視差矢量碼流后，對編碼碼流和視差矢量碼流進行解碼得到兩兩關(guān)聯(lián)視點中各視點的包含有運動矢量的視頻數(shù)據(jù)和兩兩關(guān)聯(lián)視點間的視差矢量；所述的YUV顏色空間的三個分量的第1個分量為亮度分量記為Y、第2個分量為第一色度分量記為U和第3個分量為第二色度分量記為V，其特征在于所述的步驟(1)中對多視點視頻進行編碼處理過程中，對I幀的第1個分量Y、第2個分量U、第3個分量V進行編碼處理，對所有P幀僅對第1個分量Y進行編碼處理；并在所述的步驟(4)處理完畢后，利用解碼得到的兩兩關(guān)聯(lián)視點中各視點的視頻數(shù)據(jù)和兩兩關(guān)聯(lián)視點間的視差矢量，對兩兩關(guān)聯(lián)視點中各視點進行包括顏色化操作、顏色傳遞操作及顏色校正處理的后處理，通過顏色化操作重構(gòu)出所有P幀的第一色度分量和第二色度分量，然后通過顏色傳遞操作對重構(gòu)后的圖像進行顏色全局優(yōu)化，再對顏色傳遞操作后的圖像進行顏色校正處理實現(xiàn)各視點間顏色的一致性。2、根據(jù)權(quán)利要求l所述的一種交互式多視點視頻編碼方法，其特征在于所述的后處理包括以下具體步驟①利用相鄰幀的運動矢量對兩兩關(guān)聯(lián)視點中各視點的所有P幀進行顏色化操作，重構(gòu)得到所有P幀的第2個分量f/和第3個分量F;②定義兩兩關(guān)聯(lián)視點中每個視點的一幀組中的I幀為參考幀，利用參考幀對該幀組中重構(gòu)后的所有P幀進行顏色傳遞操作；定義當(dāng)前正在處理的P幀為當(dāng)前幀，根據(jù)參考幀各個分量的均值/if和標(biāo)準(zhǔn)差^^及當(dāng)前幀各個分量的均值/^和標(biāo)準(zhǔn)差^<formula>formulaseeoriginaldocumentpage2</formula>對當(dāng)前幀的第1分量L第2個分量"和第3個分量K進行顏色傳遞操作得到顏色傳遞后的校正圖像，其中，/f(;c,力為當(dāng)前幀的第/個分量的顏色值，/f(x，力為顏色傳遞后的校正圖像的第；個分量的顏色值，/=1,2，3;將下一個P幀作為當(dāng)前幀，并以前一個P幀的顏色化傳遞操作方法對該當(dāng)前幀進行相同的顏色傳遞操作，直至該幀組中的所有P幀處理完畢；③將經(jīng)過步驟②處理后的兩兩關(guān)聯(lián)視點中各視點的視頻數(shù)據(jù)從YUV顏色空間轉(zhuǎn)換其中，i為RGB顏色空間的三個顏色分量的第1個顏色分量，G為第2個顏色分量，5為第3個顏色分量；④根據(jù)兩兩關(guān)聯(lián)視點間的視差矢量，通過(,A)=argminZ肌+土"w/，(x,力)《))2對兩兩關(guān)聯(lián)視點中的源_及——1.00.01.402到RGB顏色空間，G=1.0—0.34414-0.7141451.01.7720.0—r圖像和參考圖像的第W個顏色分量的均方誤差進行最小化處理，計算得到兩兩關(guān)聯(lián)視點中的源圖像的第W個顏色分量的乘性誤差C^和加性誤差A(yù)，其中，Q為兩兩關(guān)聯(lián)視點間的視差矢量(《，《)的集合，"(x,力為源圖像第/個顏色分量的顏色值，"(;c，力為參考圖像第w個顏色分量的顏色值，/，vv=l，2，3;(D根據(jù)源圖像的第w個顏色分量的乘性誤差c^和加性誤差A(yù)，通過《"力-t"(x,力+A對源圖像中每個像素的各個顏色分量進行顏色校正操作得到顏色校正后的校正圖像，其中，"(x，力為源圖像第/個顏色分量的顏色值，《0c,力為顏色校正后的校正圖像第w個顏色分量的顏色值，,w=1，2，3。3、根據(jù)權(quán)利要求2所述的一種交互式多視點視頻編碼方法，其特征在于所述的步驟①中的顏色化操作的具體過程為①-l、定義兩兩關(guān)聯(lián)視點中每個視點的一幀組中的I幀為初始參考幀，定義該幀組中的第一個P幀為當(dāng)前P幀，令初始參考幀中包含有對當(dāng)前P幀進行顏色化操作所需的所有顏色信息；①-2、根據(jù)當(dāng)前P幀到初始參考幀的運動矢量，判斷當(dāng)前P幀中的像素s與初始參考幀中與像素s相對應(yīng)的像素r的亮度分量是否相同，如果像素s與像素r的亮度分量相同，則確定像素s的第一色度分量和第二色度分量分別與像素r的第一色度分量和第二色度分量相同，否則，假定像素s的第一色度分量f/(s)和第二色度分量F(s)與亮度分量y(s)分別存在線性關(guān)系，C/(s)=ay(s)+6，r(s)=cr(s)+c，通過計算當(dāng)前P幀中的像素s的第一色度分量的最小成本J(f/)和第二色度分量的最小成本J(F)得到像素s的第一色度分量C/(s)和第二色、2「、2度分量r(s)，"(s)—2"(r)，=Z^(s)—J]wsrr(r)其中，f/(r)為像素r的第一色度分量，F(xiàn)(r)為像素r的第二色度分jeW(s)a、6禾nc、d分別為像素s的第一色度分量C/(s)和第二色度分量F(s)的線性系數(shù)，v^為加權(quán)參數(shù)，oce-(y(s)-w)2/^，y(r)為像素r的亮度分量，W(s)為以像素s為中心的鄰域窗口，CTs為像素s的亮度分量r(s)在鄰域窗口iV(s)的標(biāo)準(zhǔn)差；①-3、對于該幀組中的下一個P幀，定義該P幀為當(dāng)前P幀，定義前一個P幀為初始參考幀，利用步驟①-2相同的方法重構(gòu)當(dāng)前P幀的第一色度分量和第二色度分量，直至該幀組中的所有P幀重構(gòu)完畢。4、根據(jù)權(quán)利要求1所述的一種交互式多視點視頻編碼方法，其特征在于所述的步驟(2)中對參考圖像和源圖像進行視差估計的方法為al.將參考圖像記為R，將源圖像記為S;a2.將源圖像S劃分成具有相同尺寸大小的第一宏塊，定義當(dāng)前正在處理的第一宏塊為當(dāng)前第一宏塊，取當(dāng)前第一宏塊中任意一個像素點作為參考像素點，在參考圖像R中以與參考像素點對應(yīng)的像素點為中心點確定宏塊搜索范圍；a3.利用參考圖像R和源圖像S的亮度分量，通過計算均值移除絕對差<formula>formulaseeoriginaldocumentpage4</formula>|在宏塊搜索范圍中搜索得到當(dāng)前第一宏塊匹配的最佳匹配宏塊，其中，M為當(dāng)前第一宏塊的水平大小，JV為當(dāng)前第一宏塊的垂直大小，MxW為當(dāng)前第一宏塊的尺寸大小，(m")為當(dāng)前第一宏塊的起始坐標(biāo)位置，S(p，《)為源圖像S中坐標(biāo)為(p,《)的像素點的亮度分量，/(p，^為參考圖像R中坐標(biāo)為(p,《)的像素點的亮度分量，A為當(dāng)前第一宏塊的均值，從為最佳匹配宏塊的均值，e為最佳匹配宏塊到當(dāng)前第一宏塊的水平方向偏移量，/為最佳匹配宏塊到當(dāng)前第一宏塊的垂直方向偏移量；a4.以相同的搜索方法利用該最佳匹配宏塊在源圖像S中進行反向搜索得到最佳匹配宏塊匹配的最佳第一宏塊；a5.將當(dāng)前第一宏塊到最佳匹配宏塊的偏移量和最佳匹配宏塊到最佳第一宏塊的偏移量分別作為源圖像S到參考圖像R的視差矢量和參考圖像R到源圖像S的視差矢量；a6.判斷兩者的視差矢量偏移是否小于2個像素，如果是，則確定當(dāng)前第一宏塊與最佳匹配宏塊為匹配宏塊對，并得到兩兩關(guān)聯(lián)視點間的視差矢量；否則，確定當(dāng)前第一宏塊與最佳匹配宏塊為非匹配宏塊對，再將當(dāng)前第一宏塊劃分成具有相同尺寸大小的第二宏塊，定義當(dāng)前正在處理的第二宏塊為當(dāng)前第二宏塊，采用與當(dāng)前第一宏塊相同的匹配方法進行雙向匹配操作，獲取匹配宏塊對，如果為非匹配宏塊對，則繼續(xù)將當(dāng)前第二宏塊劃分成具有相同尺寸大小的第三宏塊，定義當(dāng)前正在處理的第三宏塊為當(dāng)前第三宏塊，采用與當(dāng)前第一宏塊相同的匹配方法進行雙向匹配操作，獲取匹配宏塊對。5、根據(jù)權(quán)利要求4所述的一種交互式多視點視頻編碼方法，其特征在于所述的第一宏塊的尺寸大小為16x16，所述的第二宏塊的尺寸大小為8x8，所述的第三宏塊的尺寸大小為4x4。全文摘要本發(fā)明公開了一種交互式多視點視頻編碼方法，通過在編碼過程中拋棄所有P幀的色度分量，提高多視點視頻的編碼壓縮效率和編碼速度，降低服務(wù)端向用戶端傳輸編碼碼流的傳輸量；利用相鄰幀的運動矢量信息對所有P幀進行顏色化操作，較為精確地重構(gòu)出P幀的色度分量信息；在用戶端利用視差矢量信息來計算乘性誤差和加性誤差，從而利用乘性誤差和加性誤差實現(xiàn)對解碼并重構(gòu)后得到的圖像進行顏色校正，既保證了視點間的顏色一致性，又實現(xiàn)了交互式多視點視頻應(yīng)用。文檔編號H04N7/26GK101404765SQ20081012195公開日2009年4月8日申請日期2008年10月24日優(yōu)先權(quán)日2008年10月24日發(fā)明者蔣剛毅,楓邵,梅郁申請人:寧波大學(xué)