專利名稱：一種多視點(diǎn)圖像的預(yù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多視點(diǎn)圖像的處理方法，尤其是涉及一種多視點(diǎn)圖像的預(yù)處理方法。

背景技術(shù)：
在真實(shí)世界中，觀察者所看到的視覺(jué)內(nèi)容取決于觀察者相對(duì)于被觀察對(duì)象的位置，觀察者可以自由地選擇各個(gè)不同的角度去觀察和分析事物。在傳統(tǒng)的視頻系統(tǒng)中，真實(shí)的場(chǎng)景相對(duì)于一個(gè)視點(diǎn)的畫(huà)面是由攝像師或?qū)а葸x擇決定的，用戶只能被動(dòng)地觀看攝像機(jī)在單一視點(diǎn)上所攝制的視頻圖像序列，而不能自由選擇其它視點(diǎn)來(lái)觀察真實(shí)場(chǎng)景。這些單方向上的視頻序列只能反映真實(shí)世界場(chǎng)景的一個(gè)側(cè)面。自由視點(diǎn)視頻系統(tǒng)可以使用戶自由地選擇視點(diǎn)去觀看真實(shí)世界場(chǎng)景中的一定范圍內(nèi)的任意側(cè)面，被國(guó)際標(biāo)準(zhǔn)組織MPEG(Moving Picture Experts Group運(yùn)動(dòng)圖像專家組)稱為下一代視頻系統(tǒng)的發(fā)展方向。
多視點(diǎn)視頻圖像技術(shù)是自由視點(diǎn)視頻技術(shù)中的一個(gè)核心環(huán)節(jié)，它能提供所拍攝場(chǎng)景的不同角度的視頻圖像信息。圖1為多視點(diǎn)平行相機(jī)系統(tǒng)成像示意圖，其中n+1個(gè)相機(jī)(或攝像機(jī))被平行地放置以拍攝多視點(diǎn)視頻圖像。利用多視點(diǎn)視頻信號(hào)中多個(gè)視點(diǎn)的信息可以合成用戶所選擇的任意視點(diǎn)的圖像信息，達(dá)到自由切換任意視點(diǎn)圖像的目的。但是由于在采集過(guò)程中各相機(jī)的基線不在同一水平軸，場(chǎng)景光照、相機(jī)CCD噪聲、快門(mén)速度和曝光等要素不一致，會(huì)導(dǎo)致不同相機(jī)采集的圖像的顏色值差別很大，并且在垂直方向會(huì)發(fā)生幾何位置的偏移，給后續(xù)的視頻編碼、虛擬視點(diǎn)繪制和多視點(diǎn)視頻三維顯示帶來(lái)了極大的困難。
針對(duì)上述存在的問(wèn)題，目前提出了一種典型的多視點(diǎn)圖像處理的方法，如圖2所示，對(duì)多個(gè)相機(jī)采集得到的多視點(diǎn)圖像，先進(jìn)行預(yù)處理操作，包括顏色校正和幾何標(biāo)定，然后對(duì)預(yù)處理后的圖像再進(jìn)行編碼，最后在解碼的視點(diǎn)間繪制虛擬視點(diǎn)圖像。
區(qū)域匹配或直方圖匹配是通常采用的顏色校正手段，區(qū)域匹配通過(guò)將目標(biāo)圖像和源圖像進(jìn)行聚類分割，在最相似的區(qū)域間建立顏色映射關(guān)系，并以此映射關(guān)系對(duì)源圖像進(jìn)行校正；直方圖匹配通過(guò)計(jì)算目標(biāo)圖像和源圖像的累計(jì)直方圖，只要滿足源圖像和目標(biāo)圖像具有相同的直方圖分布，就可以將目標(biāo)圖像的直方圖映射到源圖像。但如果多視點(diǎn)圖像發(fā)生旋轉(zhuǎn)、尺度縮放、視角變換、光照變換等變化，或由于遮擋、噪聲等因素的影響，區(qū)域匹配和直方圖匹配就不能保持良好的可匹配性，映射精度低。
幾何標(biāo)定通常需要獲取相機(jī)的內(nèi)部參數(shù)和外部參數(shù)來(lái)實(shí)現(xiàn)坐標(biāo)系的變換，從而達(dá)到幾何位置一致的目的，但采用這種幾何標(biāo)定的方法計(jì)算復(fù)雜度比較高。


發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能夠有效地保證各視點(diǎn)圖像的顏色和幾何位置一致，同時(shí)提高多視點(diǎn)圖像的編碼性能的多視點(diǎn)圖像顏色校正和幾何標(biāo)定方法。
本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為一種多視點(diǎn)圖像的預(yù)處理方法，它包括以下步驟 (1)將同一時(shí)刻由多視點(diǎn)相機(jī)系統(tǒng)拍攝的多視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像定義為目標(biāo)圖像，記為T(mén)，而將其它視點(diǎn)圖像定義為源圖像，記為S，從目標(biāo)圖像中提取的目標(biāo)圖像關(guān)鍵點(diǎn)集合記為{(T)P}，從源圖像中提取的源圖像關(guān)鍵點(diǎn)集合記為{(S)P}，定義目標(biāo)圖像的平面坐標(biāo)系為x′y′唑標(biāo)系，定義源圖像的平面坐標(biāo)系為xy坐標(biāo)系； (2)通過(guò)尺度不變特征變換算法在尺度空間對(duì)目標(biāo)圖像和源圖像進(jìn)行極值檢測(cè)，提取目標(biāo)圖像關(guān)鍵點(diǎn)集合{(T)P}和源圖像關(guān)鍵點(diǎn)集合{(S)P}中各關(guān)鍵點(diǎn)的尺度不變特征變換特征向量； (3)根據(jù)尺度不變特征變換特征向量，通過(guò)特征匹配算法得到源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在目標(biāo)圖像上的最佳候選匹配關(guān)健點(diǎn)(T)P(x1′，y1′)，并在源圖像上獲取目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)的最佳候選匹配關(guān)鍵點(diǎn)(S)P(x2，y2)，然后通過(guò)雙向校驗(yàn)確定關(guān)鍵點(diǎn)對(duì)((T)P(x1′，y1′)，(S)P(x1，y1))為匹配的關(guān)鍵點(diǎn)對(duì)； (4)將目標(biāo)圖像和源圖像數(shù)據(jù)從RGB顏色空間轉(zhuǎn)化為CIEXYZ顏色空間，再?gòu)腃IEXYZ顏色空間轉(zhuǎn)化為CIELAB顏色空間，CIELAB顏色空間的三個(gè)分量的第1個(gè)分量為亮度分量記為L(zhǎng)、第2個(gè)分量為第一顏色分量記為a和第3個(gè)分量為第二顏色分量記為b； (5)對(duì)目標(biāo)圖像和源圖像所有匹配的關(guān)鍵點(diǎn)對(duì)構(gòu)成的關(guān)鍵點(diǎn)對(duì)集合{(T)P(x1′，y1′)，(S)P(x1，y1))}，通過(guò)對(duì)L、a和b各個(gè)分量的絕對(duì)差之和進(jìn)行最小化處理，計(jì)算得到L、a和b各個(gè)分量的乘性誤差ai和加性誤差ei，其中，Ω為關(guān)鍵點(diǎn)對(duì)集合，(S)Ii(x1，y1)為源圖像第i個(gè)分量的顏色值，(T)Ii(x1′，y1′)為目標(biāo)圖像第i個(gè)分量的顏色值，i＝1，2，3； (6)以L、a和b各個(gè)分量的乘性誤差ai和加性誤差ei對(duì)源圖像的每個(gè)像素點(diǎn)的L、α和b各個(gè)分量進(jìn)行顏色校正，(C)Ii(x1，y1)＝ai·(S)Ii(x1，y1)+ei，其中，(C)Ii(x1，y1)為顏色校正后的校正圖像第i個(gè)分量的顏色值，i＝1，2，3，并將校正圖像轉(zhuǎn)化到RGB顏色空間； (7)建立從校正圖像的像素點(diǎn)到目標(biāo)圖像的像素點(diǎn)的仿射變換為在關(guān)鍵點(diǎn)對(duì)集合{((T)P(x1′，y1′)，(S)P(x1，y1))}中選擇三對(duì)歐氏距離最小的關(guān)鍵點(diǎn)對(duì)的位置作為初始值，計(jì)算得到旋轉(zhuǎn)矩陣A和平移向量B； (8)以旋轉(zhuǎn)矩陣A和平移向量B對(duì)校正圖像的像素點(diǎn)(x1，y1)通過(guò)y3＝a21x1+a22y1+b2在y方向上進(jìn)行幾何標(biāo)定，得到幾何標(biāo)定后圖像的像素點(diǎn)(x1，y3)。
所述的尺度不變特征變換特征向量的提取，包括對(duì)目標(biāo)圖像和源圖像特征向量的提取，源圖像特征向量的提取包括以下步驟 a.通過(guò)尺度不變特征變換在尺度空間對(duì)源圖像的像素點(diǎn)，通過(guò)雙高斯差算子D(x1，y1，σ)＝(G(x1，y1，kσ)-G(x1，y1，σ))*I(x，y)，計(jì)算得到源圖像的像素點(diǎn)在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值，再根據(jù)響應(yīng)值得到特征尺度軌跡曲線，在特征尺度軌跡曲線上檢測(cè)到所有的局部極值點(diǎn)，然后根據(jù)局部極值點(diǎn)確定源圖像初步關(guān)鍵點(diǎn)的位置及所處位置的尺度大小，其中，σ為尺度空間因子，二維高斯函數(shù)k為乘積因子，x1＝(x1，y1，σ)T為極值點(diǎn)位置記為
b.通過(guò)擬合三維二次函數(shù)，確定源圖像最終關(guān)鍵點(diǎn)的位置及所處位置的尺度大小，并且判斷該關(guān)鍵點(diǎn)的主曲率是否小于設(shè)定的主曲率閾值，如果是，則確定該關(guān)鍵點(diǎn)為不穩(wěn)定的邊緣響應(yīng)點(diǎn)，并去除該不穩(wěn)定的邊緣響應(yīng)點(diǎn)；否則，將該關(guān)鍵點(diǎn)的極值點(diǎn)位置

代入尺度空間函數(shù)得到尺度空間函數(shù)值

判斷

是否小于設(shè)定的尺度空間閾值，如果是，則確定該關(guān)鍵點(diǎn)為低對(duì)比度關(guān)鍵點(diǎn)，并去除該低對(duì)比度關(guān)鍵點(diǎn)； c.根據(jù)源圖像關(guān)鍵點(diǎn)的尺度空間L(x1，y1，σ)＝G(x1，y1，σ)*I(x1，y1)，通過(guò)源圖像關(guān)鍵點(diǎn)鄰域像素的方向分布特征確定去除不穩(wěn)定的邊緣響應(yīng)點(diǎn)和低對(duì)比度關(guān)鍵點(diǎn)后的每個(gè)關(guān)鍵點(diǎn)的方向參數(shù)，源圖像方向參數(shù)包括梯度的大小m(x1，y1)和方向θ(x1，y1)，θ(x1，y1)＝tan-1((L(x1，y1+1)-L(x1，y1-1))/(L(x1+1，y1)-L(x1-1，y1)))。
對(duì)目標(biāo)圖像特征向量的提取，在x′y′平面坐標(biāo)系采用與源圖像特征向量的提取相同的操作。
所述的特征匹配算法為在目標(biāo)圖像和源圖像匹配的關(guān)鍵點(diǎn)對(duì)集合{((T)P(x1′，y1′)，(S)P(x1，y1))}中，對(duì)于源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)，首先在最大水平和垂直視差搜索范圍內(nèi)，搜索目標(biāo)圖像上的最相似關(guān)鍵點(diǎn)(T)P(x1′，y1′)和次相似關(guān)鍵點(diǎn)(T)P(x2′，y2′)，然后計(jì)算以源圖像和目標(biāo)圖像關(guān)鍵點(diǎn)為中心的N×N窗口內(nèi)的歐氏距離，若歐氏距離滿足其中，μ1為源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在N×N窗口內(nèi)的均值，μ1′為目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)在N×N窗口內(nèi)的均值，μ2′為目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x2′，y2′)在N×N窗口內(nèi)的均值，N為窗口的大小，τ為設(shè)定的閾值，則認(rèn)為最相似關(guān)鍵點(diǎn)(T)P(x1′，y1′)為源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在目標(biāo)圖像上的最佳候選匹配；對(duì)于目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)通過(guò)計(jì)算歐氏距離得到在源圖像上的最佳候選匹配(S)P(x2，y2)；將從源圖像到目標(biāo)圖像的視差記為dsou→tar，dsou→tar＝(x1′-x1，y1′-y1)，從目標(biāo)圖像到源圖像的視差記為dtar→sou，dtar→sou＝(x2-x1′，y2-y1′)，對(duì)dsou→tar和dtar→sou進(jìn)行雙向校驗(yàn)，若|dsou→tar+dtar→sou|＜2，則確定關(guān)鍵點(diǎn)對(duì)((T)P(x1′，y1′)，(S)P(x1，y1))為匹配的關(guān)鍵點(diǎn)對(duì)。
與現(xiàn)有技術(shù)相比，本發(fā)明所提供的一種多視點(diǎn)圖像顏色校正和幾何標(biāo)定方法的優(yōu)點(diǎn)在于 1)基于尺度不變特征變換算法，通過(guò)提取對(duì)旋轉(zhuǎn)、尺度縮放、視角變換、光照變換等因素保持不變性的尺度不變特征變換特征向量，可實(shí)現(xiàn)差異較大的兩幅多視點(diǎn)圖像之間特征的匹配，與現(xiàn)有的以區(qū)域或直方圖來(lái)描述圖像特征的操作相比，大大提高了顏色校正的魯棒性； 2)根據(jù)尺度不變特征變換特征向量，通過(guò)特征匹配算法確定目標(biāo)圖像與源圖像所有匹配的關(guān)鍵點(diǎn)對(duì)，大大提高了映射的精度； 3)利用乘性誤差ai和加性誤差ei對(duì)源圖像的每個(gè)像素點(diǎn)的L、a和b各個(gè)分量進(jìn)行顏色校正，更加符合相機(jī)的成像原理，提高了多視點(diǎn)圖像顏色校正的精度； 4)本發(fā)明定義的仿射變換，對(duì)于剛性運(yùn)動(dòng)的相機(jī)來(lái)說(shuō)，不需要預(yù)先獲取相機(jī)的內(nèi)部參數(shù)和外部參數(shù)，這樣大大降低了多視點(diǎn)圖像幾何標(biāo)定的計(jì)算復(fù)雜度； 5)對(duì)多視點(diǎn)圖像進(jìn)行顏色校正和幾何標(biāo)定預(yù)處理后，提高了對(duì)多視點(diǎn)圖像進(jìn)行編碼的編碼性能，并降低了運(yùn)動(dòng)估計(jì)和補(bǔ)償過(guò)程中的預(yù)測(cè)誤差。



圖1為多視點(diǎn)平行相機(jī)系統(tǒng)成像示意圖； 圖2為多視點(diǎn)圖像處理流程示意圖； 圖3為多視點(diǎn)圖像的編碼結(jié)構(gòu)示意圖； 圖4為本發(fā)明多視點(diǎn)圖像的預(yù)處理方法的流程圖； 圖5a為“flamenco1”多視點(diǎn)測(cè)試集的目標(biāo)圖像； 圖5b為“flamenco1”多視點(diǎn)測(cè)試集的源圖像； 圖5c為“golf2”多視點(diǎn)測(cè)試集的目標(biāo)圖像； 圖5d為“golf2”多視點(diǎn)測(cè)試集的源圖像； 圖6a為“flamenco1”多視點(diǎn)測(cè)試集的目標(biāo)圖像初始的特征向量示意圖； 圖6b為“flamenco1”多視點(diǎn)測(cè)試集的源圖像初始的特征向量示意圖； 圖6c為“golf2”多視點(diǎn)測(cè)試集的目標(biāo)圖像初始的特征向量示意圖； 圖6d為“golf2”多視點(diǎn)測(cè)試集的源圖像初始的特征向量示意圖； 圖7a為“flamenco1”多視點(diǎn)測(cè)試集的目標(biāo)圖像經(jīng)特征匹配后的關(guān)鍵點(diǎn)示意圖； 圖7b為“flamenco1”多視點(diǎn)測(cè)試集的源圖像經(jīng)特征匹配后的關(guān)鍵點(diǎn)示意圖； 圖7c為“golf2”多視點(diǎn)測(cè)試集的目標(biāo)圖像經(jīng)特征匹配后的關(guān)鍵點(diǎn)示意圖； 圖7d為“golf2”多視點(diǎn)測(cè)試集的源圖像經(jīng)特征匹配后的關(guān)鍵點(diǎn)示意圖； 圖8a為“flamenco1”多視點(diǎn)測(cè)試集的比較示意圖，左圖為目標(biāo)圖像，右圖為校正圖像； 圖8b為“golf2”多視點(diǎn)測(cè)試集的比較示意圖，左圖為目標(biāo)圖像，右圖為校正圖像； 圖9a為“flamenco1”多視點(diǎn)測(cè)試集顏色校正前后的源圖像與目標(biāo)圖像的色差比較結(jié)果示意圖； 圖9b為“golf2”多視點(diǎn)測(cè)試集顏色校正前后的源圖像與目標(biāo)圖像的色差比較結(jié)果示意圖； 圖10a為“flamenco1”多視點(diǎn)測(cè)試集的比較示意圖，左圖為目標(biāo)圖像，右圖為經(jīng)幾何標(biāo)定后的圖像； 圖10b為“golf2”多視點(diǎn)測(cè)試集的比較示意圖，左圖為目標(biāo)圖像，右圖為經(jīng)幾何標(biāo)定后的圖像； 圖11a為“flamenco1”多視點(diǎn)測(cè)試集的源圖像與經(jīng)顏色校正和幾何標(biāo)定預(yù)處理后源圖像Y分量編碼率失真性能曲線比較示意圖； 圖11b為“flamenco1”多視點(diǎn)測(cè)試集的源圖像與經(jīng)顏色校正和幾何標(biāo)定預(yù)處理后源圖像U分量編碼率失真性能曲線比較示意圖； 圖11c為“flamenco1”多視點(diǎn)測(cè)試集的源圖像與經(jīng)顏色校正和幾何標(biāo)定預(yù)處理后源圖像V分量編碼率失真性能曲線比較示意圖； 圖12a為“golf2”多視點(diǎn)測(cè)試集的源圖像與經(jīng)顏色校正和幾何標(biāo)定預(yù)處理后源圖像Y分量編碼率失真性能曲線比較示意圖； 圖12b為“golf2”多視點(diǎn)測(cè)試集的源圖像與經(jīng)顏色校正和幾何標(biāo)定預(yù)處理后源圖像U分量編碼率失真性能曲線比較示意圖； 圖12c為“golf2”多視點(diǎn)測(cè)試集的源圖像與經(jīng)顏色校正和幾何標(biāo)定預(yù)處理后源圖像V分量編碼率失真性能曲線比較示意圖。

具體實(shí)施例方式 以下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
下面首先描述本發(fā)明所采用的尺度不變特征變換的概念和通過(guò)特征匹配求取最佳候選匹配關(guān)鍵點(diǎn)的問(wèn)題。
尺度不變特征變換SIFT(Scale Invariant Feature Transform)算法首先在尺度空間進(jìn)行極值檢測(cè)，然后提取對(duì)旋轉(zhuǎn)、尺度縮放、視角變換、光照變換等因素保持不變性的SIFT特征向量，SIFT特征向量主要包括關(guān)鍵點(diǎn)的位置、關(guān)鍵點(diǎn)所處位置的尺度大小和關(guān)鍵點(diǎn)的方向參數(shù)。
一副多視點(diǎn)圖像的SIFT特征向量的提取包括對(duì)目標(biāo)圖像和源圖像特征向量的提取，源圖像特征向量的提取包括以下步驟 a.通過(guò)尺度不變特征變換在尺度空間對(duì)源圖像的像素點(diǎn)，通過(guò)雙高斯差算子D(x1，y1，σ)＝(G(x1，y1，kσ)-G(x1，y1，σ))*I(x，y)，計(jì)算得到源圖像的像素點(diǎn)在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值，再根據(jù)響應(yīng)值得到特征尺度軌跡曲線，在特征尺度軌跡曲線上檢測(cè)到所有的局部極值點(diǎn)，然后根據(jù)局部極值點(diǎn)確定源圖像初步關(guān)鍵點(diǎn)的位置及所處位置的尺度大小，其中，σ為尺度空間因子，二維高斯函數(shù)k為乘積因子，x1＝(x1，y1，σ)T為極值點(diǎn)位置記為
b.通過(guò)擬合三維二次函數(shù)，確定源圖像最終關(guān)鍵點(diǎn)的位置及所處位置的尺度大小，并且判斷該關(guān)鍵點(diǎn)的主曲率是否小于設(shè)定的主曲率閾值，如果是，則確定該關(guān)鍵點(diǎn)為不穩(wěn)定的邊緣響應(yīng)點(diǎn)，并去除該不穩(wěn)定的邊緣響應(yīng)點(diǎn)；否則，將該關(guān)鍵點(diǎn)的極值點(diǎn)位置

代入尺度空間函數(shù)得到尺度空間函數(shù)值

判斷

是否小于設(shè)定的尺度空間閾值，如果是，則確定該關(guān)鍵點(diǎn)為低對(duì)比度關(guān)鍵點(diǎn)，并去除該低對(duì)比度關(guān)鍵點(diǎn)； c.根據(jù)源圖像關(guān)鍵點(diǎn)的尺度空間L(x1，y1，σ)＝G(x1，y1，σ)＝G(x1，y1，σ)*I(x1，y1)，通過(guò)源圖像關(guān)鍵點(diǎn)鄰域像素的方向分布特征確定去除不穩(wěn)定的邊緣響應(yīng)點(diǎn)和低對(duì)比度關(guān)鍵點(diǎn)后的每個(gè)關(guān)鍵點(diǎn)的方向參數(shù)，源圖像方向參數(shù)包括梯度的大小m(x1，y1)和方向θ(x1，y1)，θ(x1，y1)＝tan-1((L(x1，y1+1)-L(x1，y1-1))/(L(x1+1，y1)-L(x1-1，y1)))。
對(duì)目標(biāo)圖像特征向量的提取，在x′y′平面坐標(biāo)系采用與源圖像特征向量的提取相同的操作。
在本實(shí)施例中設(shè)定的主曲率閾值取10，設(shè)定的尺度空間閾值取0.03。
然而，提取的目標(biāo)圖像和源圖像的SIFT特征向量之間并不存在必然的聯(lián)系，為了獲得源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在目標(biāo)圖像上的最佳候選匹配，首先在從源圖像到目標(biāo)圖像最大水平和垂直視差搜索范圍內(nèi)，搜索目標(biāo)圖像上的最相似關(guān)鍵點(diǎn)(T)P(x1′，y1′)和次相似關(guān)鍵點(diǎn)(T)P(x2′，y2′)，然后計(jì)算以源圖像和目標(biāo)圖像關(guān)鍵點(diǎn)為中心的N×N窗口內(nèi)的歐氏距離，如果與目標(biāo)圖像的最相似關(guān)鍵點(diǎn)最相似關(guān)鍵點(diǎn)(T)P(x1′，y1)和次相似關(guān)鍵點(diǎn)(T)P(x2′，y2′)的歐氏距離滿足其中，μ1為源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在N×N窗口內(nèi)的均值，μ1′為目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)在N×N窗口內(nèi)的均值，μ2′為目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x2′，y2′)在N×N窗口內(nèi)的均值，N為窗口的大小，τ為設(shè)定的閾值，則認(rèn)為最相似關(guān)鍵點(diǎn)(T)P(x1′，y1′)為源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在目標(biāo)圖像上的最佳候選匹配關(guān)鍵點(diǎn)，從源圖像到目標(biāo)圖像的視差dsou→tar＝(x1′-x1，y1′-y1)；對(duì)于目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)，在從目標(biāo)圖像到源圖像最大水平和垂直視差搜索范圍內(nèi)，通過(guò)計(jì)算歐氏距離同樣可以在源圖像上得到最佳候選匹配關(guān)鍵點(diǎn)(S)P(x2，y2)，從目標(biāo)圖像到源圖像的視差dtar→sou＝(x2-x1′，y2-y1′)。對(duì)視差dsou→tar和dtar→sou進(jìn)行雙向校驗(yàn)，如果|dsou→tar+dtar→sou|＜2，則確定(S)P(x1，y1)與(T)P(x1′，y1′)是一對(duì)匹配的關(guān)鍵點(diǎn)對(duì)。在本實(shí)施例中，窗口大小N與目標(biāo)圖像和源圖像匹配的關(guān)鍵點(diǎn)對(duì)的質(zhì)量有關(guān)，過(guò)大或過(guò)小都不能獲得較精確的匹配，經(jīng)實(shí)驗(yàn)表明當(dāng)以當(dāng)前關(guān)鍵點(diǎn)為中心，兩邊各為3個(gè)像素點(diǎn)，即N＝7時(shí)效果最好；閾值τ從理論上來(lái)說(shuō)介于
之間，τ大小與目標(biāo)圖像和源圖像匹配的關(guān)鍵點(diǎn)對(duì)的質(zhì)量和數(shù)量有關(guān)，當(dāng)τ＝1時(shí)，所有的關(guān)鍵點(diǎn)都是匹配的，其匹配的質(zhì)量降低，當(dāng)τ＝0時(shí)，所有的關(guān)鍵點(diǎn)都是不匹配的，因此選取τ時(shí)應(yīng)綜合考慮，經(jīng)實(shí)驗(yàn)表明τ＝0.8時(shí)是效果最好。
在上述尺度不變特征變換算法和通過(guò)特征匹配求取最佳候選匹配關(guān)鍵點(diǎn)的基礎(chǔ)上，結(jié)合圖4本發(fā)明的多視點(diǎn)圖像的預(yù)處理方法步驟如下 首先將不同相機(jī)同一時(shí)刻由多視點(diǎn)相機(jī)系統(tǒng)拍攝的多視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像作為目標(biāo)圖像，其它視點(diǎn)圖像作為源圖像，從目標(biāo)圖像提取的目標(biāo)圖像關(guān)鍵點(diǎn)集合記為{(T)P}，從源圖像提取的源圖像關(guān)鍵點(diǎn)集合記為{(S)P}，定義目標(biāo)圖像的平面坐標(biāo)系為x′y′坐標(biāo)系，定義源圖像的平面坐標(biāo)系為xy坐標(biāo)系。
通過(guò)SIFT在尺度空間對(duì)目標(biāo)圖像和源圖像進(jìn)行極值檢測(cè)，提取出目標(biāo)圖像關(guān)鍵點(diǎn)集合{(T)P}＝{(T)P(1)，(T)P(2)，…，(T)P(M)}和源圖像關(guān)鍵點(diǎn)集合{(S)P}＝{(S)P(1)，(S)P(2)，…，(S)P(N)}中各關(guān)鍵點(diǎn)的SIFT特征向量，包括關(guān)鍵點(diǎn)的位置、關(guān)鍵點(diǎn)所處位置的尺度大小及關(guān)鍵點(diǎn)的方向參數(shù)，其中，M和N分別為目標(biāo)圖像和源圖像的關(guān)鍵點(diǎn)數(shù)目。
根據(jù)上述提取的SIFT特征向量，在目標(biāo)圖像關(guān)鍵點(diǎn)集合{(T)P}和源圖像關(guān)鍵點(diǎn)集合{(S)P}之間進(jìn)行特征匹配，將所有匹配的關(guān)鍵點(diǎn)對(duì)構(gòu)成的關(guān)鍵點(diǎn)對(duì)集合表示為{((T)P(x1′，y1′)，(S)P(x1，y1))}。
將目標(biāo)圖像和源圖像的數(shù)據(jù)從RGB顏色空間轉(zhuǎn)換到CIELAB顏色空間，CIELAB顏色空間的三個(gè)分量的第1個(gè)分量為亮度分量記為L(zhǎng)、第2個(gè)分量為第一顏色分量記為a和第3個(gè)分量為第二顏色分量記為b。CIELAB顏色空間是在CIEXYZ顏色空間的基礎(chǔ)上得到的，從RGB顏色空間到CIELAB顏色空間的變換，首先需要從RGB顏色空間變換到CIEXYZ顏色空間，然后再?gòu)腃IEXYZ顏色空間變換到CIELAB顏色空間。CIEXYZ以標(biāo)準(zhǔn)白光D65作為光源，從RGB顏色空間到CIEXYZ的變換表示為其中[R，G，B]范圍在
。CIEXYZ顏色空間到CIELAB顏色空間的變換表示為L(zhǎng)＝116f(Y/Yn)-16，a＝500[f(X/Xn)-f(Y/Yn)]，b＝200[f(Y/Yn)-f(Z/Zn)]，其中，

Xn，Yn，Zn為三刺激值，Xn＝95.047，Yn＝100.000，Zn＝108.883。L的動(dòng)態(tài)范圍為
，a的動(dòng)態(tài)范圍為[-120，120]，b的動(dòng)態(tài)范圍為[-120，120]。
定義乘性誤差ai和加性誤差ei來(lái)描述圖像間顏色的差異，乘性誤差主要由視覺(jué)系統(tǒng)的光譜特性引起的，而加性誤差由顏色值的漂移引起的。對(duì)目標(biāo)圖像和源圖像匹配的關(guān)鍵點(diǎn)對(duì)集合{((T)P(x1′，y1′)，(S)P(x1，y1))}，通過(guò)對(duì)L、a和b各個(gè)分量的絕對(duì)差之和進(jìn)行最小化處理，計(jì)算得到L、a和b各個(gè)分量的乘性誤差ai和加性誤差ei，這里Ω為目標(biāo)圖像和源圖像匹配的關(guān)鍵點(diǎn)對(duì)集合，(S)Ii(x1，y1)為源圖像第i個(gè)分量的顏色值，(T)Ii(x1′，y1′)為目標(biāo)圖像第i個(gè)分量的顏色值，i＝1，2，3； 在得到L、a和b各個(gè)分量的乘性誤差ai和加性誤差ei后，對(duì)源圖像的每個(gè)像素點(diǎn)的L、a和b各個(gè)分量分別進(jìn)行顏色校正操作，(C)Ii(x1，y1)＝ai·(S)Ii(x1，y1)+ei，其中，(C)Ii(x1，y1)為顏色校正后的校正圖像第i個(gè)分量的顏色值，(S)Ii(x1，y1)為源圖像第i個(gè)分量的顏色值，i＝1，2，3，然后將CIELAB顏色空間的校正圖像轉(zhuǎn)化到RGB顏色空間。從CIELAB顏色空間到RGB顏色空間的轉(zhuǎn)換，首先需要從CIELAB顏色空間變換到CIEXYZ顏色空間，然后再?gòu)腃IEXYZ顏色空間變換到RGB顏色空間。從CIELAB顏色空間到CIEXYZ的變換表示為首先定義fy＝(L+16)/116，fx＝fy+a/500，fz＝fy-b/200，如果fy＞δ，否則Y＝(fy-16/116)·3δ2·Yn；如果fx＞δ，否則X＝(fx-16/116)·3δ2·Xn；如果fz＞δ，否則Z＝(fz-16/116)·3δ2·Zn，其中δ＝6/29，Xn，Yn，Zn為三刺激值，Xn＝95.047，Yn＝100.000，Zn＝108.883。從CIEXYZ顏色空間到RGB顏色空間的變換表示為 在校正圖像轉(zhuǎn)化到RGB顏色空間后，建立從校正圖像的像素點(diǎn)到目標(biāo)圖像的像素點(diǎn)的仿射變換為在關(guān)鍵點(diǎn)對(duì)集合{((T)P(x1′，y1′)，(S)P(x1，y1))}中選擇三對(duì)歐氏距離最小的關(guān)鍵點(diǎn)對(duì)的位置作為初始值，計(jì)算得到旋轉(zhuǎn)矩陣A和平移向量B。
最后以旋轉(zhuǎn)矩陣A和平移向量B對(duì)校正圖像的像素點(diǎn)(x1，y1)通過(guò)y3＝a21x1+a22y1+b2在y方向上進(jìn)行幾何標(biāo)定，得到幾何標(biāo)定后圖像的像素點(diǎn)(x1，y3)。
多視點(diǎn)圖像經(jīng)過(guò)上述顏色校正和幾何標(biāo)定預(yù)處理操作后，再對(duì)多視點(diǎn)圖像進(jìn)行編碼，降低了視差估計(jì)和補(bǔ)償?shù)念A(yù)測(cè)誤差，提高了編碼性能。
以下就本發(fā)明進(jìn)行多視點(diǎn)圖像顏色校正和幾何標(biāo)定預(yù)處理的主觀和客觀性能及編碼性能進(jìn)行比較。
對(duì)由KDDI公司提供的“flamenco1”，“glof2”兩組多視點(diǎn)視頻測(cè)試集采用本發(fā)明的多視點(diǎn)圖像預(yù)處理方法。圖5a、圖5b分別為“flamenco1”多視點(diǎn)測(cè)試集的目標(biāo)圖像和源圖像，圖5c、圖5d分別為“glof2”多視點(diǎn)測(cè)試集的目標(biāo)圖像和源圖像，目標(biāo)圖像和源圖像尺寸均為320×240。從圖中可以看出，目標(biāo)圖像與源圖像的顏色外表明顯不一致，并且在垂直方向上有微小的位置偏移，對(duì)其進(jìn)行顏色校正和幾何標(biāo)定就顯得十分必要。對(duì)“flamenco1”和“glof2”的目標(biāo)圖像和源圖像，采用SIFT算法提取“flamenco1”和“glof2”的目標(biāo)圖像初始的特征向量和源圖像初始的特征向量如圖6a、圖6b、圖6c和圖6d所示，視點(diǎn)間由于遮擋、暴露的影響，在有些特征向量之間并不存在匹配關(guān)系；采用本發(fā)明的特征匹配算法后提取“flamenco1”和“glof2”的目標(biāo)圖像和源圖像的關(guān)鍵點(diǎn)如圖7a、圖7b、圖7c和圖7d所示，目標(biāo)圖像關(guān)鍵點(diǎn)和源圖像關(guān)鍵點(diǎn)的匹配關(guān)系十分明確，基本消除了誤匹配的關(guān)鍵點(diǎn)，圖7a、圖7b、圖7c和圖7d中塊的尺寸表示關(guān)鍵點(diǎn)所處位置的尺度大小。
采用本發(fā)明對(duì)“flamenco1”和“glof2”的源圖像進(jìn)行顏色校正后的校距圖像如圖8a的右圖和圖8b的右圖所示，從圖像的主觀效果可以看出，與“flamenco1”的目標(biāo)圖像圖8a的左圖和“glof2”的目標(biāo)圖像圖8b的左圖相比，采用本方法顏色校正后的圖像其顏色外表與目標(biāo)圖像非常接近，特別是“flamenco1”的地板、“glof2”的草地，效果十分明顯。
“flamenco1”和“glof2”采用本發(fā)明方法校正后的源圖像與目標(biāo)圖像的色差，與未經(jīng)過(guò)校正的源圖像與目標(biāo)圖像的色差進(jìn)行比較，其比較結(jié)果示意圖分別如圖9a和圖9b所示，以CIEDE2000色差來(lái)表示顏色的差異，分別計(jì)算每一對(duì)匹配的關(guān)鍵點(diǎn)對(duì)的色差，從圖9a和圖9b中可以看出，采用本發(fā)明的顏色校正方法，關(guān)鍵點(diǎn)對(duì)的色差有了明顯的下降，說(shuō)明采用本發(fā)明校正后校正圖像與目標(biāo)圖像的相似性更強(qiáng)。
采用本發(fā)明幾何標(biāo)定后的圖像如圖10a的右圖和10b的右圖所示，對(duì)“flamenco1”，“glof2”的校正圖像進(jìn)行幾何標(biāo)定，與圖10a左圖和10b左圖所示的目標(biāo)圖像的基線(EpipolarLine)是完全水平的，說(shuō)明本發(fā)明的幾何標(biāo)定方法是有效的。
對(duì)顏色校正和幾何標(biāo)定預(yù)處理操作后的圖像進(jìn)行編碼，所采用的編碼結(jié)構(gòu)如圖3所示，所采用的編碼結(jié)構(gòu)只在視點(diǎn)間進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)構(gòu)為I-P-P-P，即第一個(gè)視點(diǎn)采用I幀編碼，其他視點(diǎn)都由前一個(gè)視點(diǎn)預(yù)測(cè)得到，對(duì)每個(gè)時(shí)刻都采用相同的預(yù)測(cè)結(jié)構(gòu)。對(duì)經(jīng)過(guò)預(yù)處理后的源圖像與未經(jīng)預(yù)處理的源圖像的編碼性能進(jìn)行比較，圖11a、11b和11c分別給出了“flamenco1”多視點(diǎn)測(cè)試集的Y分量、U分量及V分量編碼率失真性能曲線的比較結(jié)果，圖12a、12b和12c分別給出了“glof2”多視點(diǎn)測(cè)試集的Y分量、U分量及V分量編碼率失真性能曲線的比較結(jié)果，編碼的數(shù)據(jù)格式為YUV(4:2:0)。對(duì)于“flamenco1”多視點(diǎn)測(cè)試集，預(yù)處理后圖像的率失真性能，Y分量在相同碼率下提高了0.3dB，U分量在相同碼率下提高了0.3dB，V分量相差不是很大，在高碼率端有0.1～0.3dB的下降；對(duì)于“glof2”多視點(diǎn)測(cè)試集，Y分量在相同碼率下有0～0.1dB下降，而U分量在相同碼率下提高了0.6～0.7dB，V分量在相同碼率下提高了0.4～0.5dB。從總體的編碼結(jié)果可以看出，采用本發(fā)明的顏色校正和幾何標(biāo)定預(yù)處理后，能大大提高多視點(diǎn)圖像的編碼性能，說(shuō)明本發(fā)明的顏色校正和幾何標(biāo)定預(yù)處理是有效的。
權(quán)利要求
1.一種多視點(diǎn)圖像的預(yù)處理方法，其特征在于它包括以下步驟
(1)將同一時(shí)刻由多視點(diǎn)相機(jī)系統(tǒng)拍攝的多視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像定義為目標(biāo)圖像，記為T(mén)，而將其它視點(diǎn)圖像定義為源圖像，記為S，從目標(biāo)圖像中提取的目標(biāo)圖像關(guān)鍵點(diǎn)集合記為{(T)P}，從源圖像中提取的源圖像關(guān)鍵點(diǎn)集合記為{(S)P}，定義目標(biāo)圖像的平面坐標(biāo)系為x′y′坐標(biāo)系，定義源圖像的平面坐標(biāo)系為xy坐標(biāo)系；
(2)通過(guò)尺度不變特征變換算法在尺度空間對(duì)目標(biāo)圖像和源圖像進(jìn)行極值檢測(cè)，提取目標(biāo)圖像關(guān)鍵點(diǎn)集合{(T)P}和源圖像關(guān)鍵點(diǎn)集合{(S)P}中各關(guān)鍵點(diǎn)的尺度不變特征變換特征向量；
(3)根據(jù)尺度不變特征變換特征向量，通過(guò)特征匹配算法得到源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在目標(biāo)圖像上的最佳候選匹配關(guān)健點(diǎn)(T)Px1′，y1′)，并在源圖像上獲取目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)的最佳候選匹配關(guān)鍵點(diǎn)(S)P(x2，y2)，然后通過(guò)雙向校驗(yàn)確定關(guān)鍵點(diǎn)對(duì)((T)P(x1′，y1′)，(S)P(x1，y1))為匹配的關(guān)鍵點(diǎn)對(duì)；
(4)將目標(biāo)圖像和源圖像數(shù)據(jù)從RGB顏色空間轉(zhuǎn)化為CIEXYZ顏色空間，再?gòu)腃IEXYZ顏色空間轉(zhuǎn)化為CIELAB顏色空間，CIELAB顏色空間的三個(gè)分量的第1個(gè)分量為亮度分量記為L(zhǎng)、第2個(gè)分量為第一顏色分量記為a和第3個(gè)分量為第二顏色分量記為b；
(5)對(duì)目標(biāo)圖像和源圖像所有匹配的關(guān)鍵點(diǎn)對(duì)構(gòu)成的關(guān)鍵點(diǎn)對(duì)集合{((T)P(x1′，y1′)，(S)P(x1，y1))}，通過(guò)對(duì)L、a和b各個(gè)分量的絕對(duì)差之和進(jìn)行最小化處理，計(jì)算得到L、a和b各個(gè)分量的乘性誤差ai和加性誤差ei，其中，Ω為關(guān)鍵點(diǎn)對(duì)集合，(S)Ii(x1，y1)為源圖像第i個(gè)分量的顏色值，(T)Ii(x1′,y1′)為目標(biāo)圖像第i個(gè)分量的顏色值，i＝1，2，3；
(6)以L、a和b各個(gè)分量的乘性誤差ai和加性誤差ei對(duì)源圖像的每個(gè)像素點(diǎn)的L、a和b各個(gè)分量進(jìn)行顏色校正，(C)Ii(x1，y1)＝ai·(S)Ii(x1，y1)+ei，其中，(C)Ii(x1，y1)為顏色校正后的校正圖像第i個(gè)分量的顏色值，i＝1，2，3，并將校正圖像轉(zhuǎn)化到RGB顏色空間；
(7)建立從校正圖像的像素點(diǎn)到目標(biāo)圖像的像素點(diǎn)的仿射變換為在關(guān)鍵點(diǎn)對(duì)集合{((T)P(x1′，y1′)，(S)P(x1，y1)}中選擇三對(duì)歐氏距離最小的關(guān)鍵點(diǎn)對(duì)的位置作為初始值，計(jì)算得到旋轉(zhuǎn)矩陣A和平移向量B；
(8)以旋轉(zhuǎn)矩陣A和平移向量B對(duì)校正圖像的像素點(diǎn)(x1，y1)通過(guò)y3＝a21x1+a22y1+b2在y方向上進(jìn)行幾何標(biāo)定，得到幾何標(biāo)定后圖像的像素點(diǎn)(x1，y3)。
2.如權(quán)利要求1所述的尺度不變特征變換特征向量的提取，包括對(duì)目標(biāo)圖像和源圖像特征向量的提取，源圖像特征向量的提取包括以下步驟
a.通過(guò)尺度不變特征變換在尺度空間對(duì)源圖像的像素點(diǎn)，通過(guò)雙高斯差算子D(x1，y1，σ)＝(G(x1，y1，kσ)-G(x1，y1，σ))*I(x，y)，計(jì)算得到源圖像的像素點(diǎn)在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值，再根據(jù)響應(yīng)值得到特征尺度軌跡曲線，在特征尺度軌跡曲線上檢測(cè)到所有的局部極值點(diǎn)，然后根據(jù)局部極值點(diǎn)確定源圖像初步關(guān)鍵點(diǎn)的位置及所處位置的尺度大小，其中，σ為尺度空間因子，二維高斯函數(shù)k為乘積因子，x1＝(x1，y1，σ)T為極值點(diǎn)位置記為
b.通過(guò)擬合三維二次函數(shù)，確定源圖像最終關(guān)鍵點(diǎn)的位置及所處位置的尺度大小，并且判斷該關(guān)鍵點(diǎn)的主曲率是否小于設(shè)定的主曲率閾值，如果是，則確定該關(guān)鍵點(diǎn)為不穩(wěn)定的邊緣響應(yīng)點(diǎn)，并去除該不穩(wěn)定的邊緣響應(yīng)點(diǎn)；否則，將該關(guān)鍵點(diǎn)的極值點(diǎn)位置
代入尺度空間函數(shù)得到尺度空間函數(shù)值
判斷
是否小于設(shè)定的尺度空間閾值，如果是，則確定該關(guān)鍵點(diǎn)為低對(duì)比度關(guān)鍵點(diǎn)，并去除該低對(duì)比度關(guān)鍵點(diǎn)；
c.根據(jù)源圖像關(guān)鍵點(diǎn)的尺度空間L(x1，y1，σ)＝G(x1，y1，σ)*I(x1，y1)，通過(guò)源圖像關(guān)鍵點(diǎn)鄰域像素的方向分布特征確定去除不穩(wěn)定的邊緣響應(yīng)點(diǎn)和低對(duì)比度關(guān)鍵點(diǎn)后的每個(gè)關(guān)鍵點(diǎn)的方向參數(shù)，源圖像方向參數(shù)包括梯度的大小m(x1，y1)和方向θ(x1，y1)，θ(x1，y1)＝tan-1((L(x1，y1+1)-L(x1，y1-1))/(L(x1+1，y1)-L(x1-1，y1)))。
對(duì)目標(biāo)圖像特征向量的提取，在x′y′平面坐標(biāo)系采用與源圖像特征向量的提取相同的操作。
3.如權(quán)利要求1所述的一種多視點(diǎn)圖像的預(yù)處理方法，其特征在于所述的特征匹配算法為在目標(biāo)圖像和源圖像匹配的關(guān)鍵點(diǎn)對(duì)集合{((T)P(x1′，y1′)，(S)P(x1，y1))}中，對(duì)于源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)，首先在最大水平和垂直視差搜索范圍內(nèi)，搜索目標(biāo)圖像上的最相似關(guān)鍵點(diǎn)(T)P(x1′，y1′)和次相似關(guān)鍵點(diǎn)(T)P(x2′，y2′)，然后計(jì)算以源圖像和目標(biāo)圖像關(guān)鍵點(diǎn)為中心的N×N窗口內(nèi)的歐氏距離，若歐氏距離滿足
其中，μ1為源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在N×N窗口內(nèi)的均值，μ1′為目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)在N×N窗口內(nèi)的均值，μ2′為目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x2′，y2′)在N×N窗口內(nèi)的均值，N為窗口的大小，τ為設(shè)定的閾值，則認(rèn)為最相似關(guān)鍵點(diǎn)(T)P(x1′，y1′)為源圖像關(guān)鍵點(diǎn)(S)P(x1，y1)在目標(biāo)圖像上的最佳候選匹配；對(duì)于目標(biāo)圖像關(guān)鍵點(diǎn)(T)P(x1′，y1′)通過(guò)計(jì)算歐氏距離得到在源圖像上的最佳候選匹配(S)P(x2，y2)；將從源圖像到目標(biāo)圖像的視差記為dsou→tar，dsou→tar＝(x1′-x1，y1′-y1)，從目標(biāo)圖像到源圖像的視差記為dtar→sou，dtar→sou＝(x2-x1′，y2-y1′)，對(duì)dsou→tar和dtar→sou進(jìn)行雙向校驗(yàn)，若|dsou→tar+dtar→sou|＜2，則確定關(guān)鍵點(diǎn)對(duì)((T)P(x1′，y1′)，(S)P(x1，y1))為匹配的關(guān)鍵點(diǎn)對(duì)。
全文摘要
本發(fā)明公開(kāi)了一種多視點(diǎn)圖像的預(yù)處理方法，通過(guò)尺度不變特征變換算法在尺度空間對(duì)目標(biāo)圖像和源圖像進(jìn)行極值檢測(cè)，提取目標(biāo)圖像和源圖像關(guān)鍵點(diǎn)的尺度不變特征變換特征向量，利用特征匹配算法獲得源圖像和目標(biāo)圖像精確匹配的關(guān)鍵點(diǎn)對(duì)集合，并通過(guò)計(jì)算關(guān)鍵點(diǎn)對(duì)的乘性誤差和加性誤差對(duì)源圖像進(jìn)行顏色校正，通過(guò)在關(guān)鍵點(diǎn)對(duì)之間建立仿射變換關(guān)系，對(duì)顏色校正后的校正圖像進(jìn)行幾何標(biāo)定，優(yōu)點(diǎn)在于本發(fā)明在保證多視點(diǎn)圖像顏色校正和幾何標(biāo)定精確性的前提下，大大提高了顏色校正的魯棒性和映射的精度，降低了幾何標(biāo)定的計(jì)算復(fù)雜度，提高了多視點(diǎn)圖像的編碼性能。
文檔編號(hào)H04N9/64GK101179745SQ200710164498
公開(kāi)日2008年5月14日 申請(qǐng)日期2007年12月5日 優(yōu)先權(quán)日2007年12月5日
發(fā)明者楓 邵, 梅 郁, 蔣剛毅 申請(qǐng)人:寧波大學(xué)