專利名稱：基于視點圖像映射的立體視頻流編碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬視頻編碼技術(shù)領(lǐng)域，涉及立體視頻流的編碼方法，尤其涉及一種基于視點圖像映射(亦稱立體視頻匹配)的立體視頻編碼方法。

背景技術(shù)：
自從Lukacs提出視差補償?shù)母拍?，使用視差信息建立了立體視頻對之間相似區(qū)域的相互關(guān)系，基于視差估計與補償?shù)牧Ⅲw視頻編碼方法隨之發(fā)展起來，并成為立體視頻編碼的一種經(jīng)典技術(shù)。以塊為單位進行視差估計與補償?shù)牧Ⅲw視頻編碼方法已經(jīng)在MPEG-2標準的多視點檔次中被采用。在這種方法中，編碼器首先用單通道視頻編碼算法壓縮左通道視頻。對于右通道視頻，每一幀左通道視頻序列對應(yīng)的幀基于估計的視差場進行預(yù)測，并且對視差場和預(yù)測殘差圖像進行編碼。視差估計和補償過程都采用基于塊的方法；也就是說，對于右視圖中的每個圖像塊，它們在左視圖中尋找一個最相似的塊。一個較好的方法是根據(jù)哪一個給出較小的預(yù)測誤差，在相同時間的不同視圖之間的視差補償預(yù)測與相同視圖的不同幀之間的運動補償預(yù)測之間進行切換。它可用MPEG-2標準的時間可分級性模式實現(xiàn)，用MPEG-2的時間可分級性，把序列分成兩個亞采樣幀的集。基本層(比如，由偶幀組成)用單向運動補償預(yù)測進行編碼，其中參考幀是來自前面編碼的偶幀。由剩余的奇幀組成的增強層用雙向運動補償預(yù)測進行編碼，一個參考幀來自前面編碼的奇幀，而另一個來自基本層中一個靠近的偶幀。左視圖被編碼為基本層，而右視圖被編碼為增強層。對于左視圖，圖像用I、B或P模式進行編碼。對于B和P圖像，用于預(yù)測的參考幀只來自于左視圖。對于右視圖，圖像用P或B模式進行編碼，在P模式中，圖像用左視圖中對應(yīng)的幀作為參考幀進行預(yù)測編碼。在B幀模式中，一個參考幀來自右視圖中前面的一幀，而另一參考幀是左視圖中對應(yīng)的幀。后一種情況所用的運動矢量實際上是視差矢量，并且預(yù)測過程是視差補償預(yù)測。這種方法的優(yōu)點是可以使用許多單通道視頻編碼中傳統(tǒng)運動補償預(yù)測的方法和技術(shù)，但其編碼的效率不高。
結(jié)合運動補償?shù)阮A(yù)測方法的聯(lián)合預(yù)測算法，進一步提高了基于視差估計與補償?shù)牧Ⅲw視頻編碼方法的性能。視差估計和運動估計相似，兩者都是尋找兩幅圖像之間的相關(guān)性，所不同的是，運動估計是針對時間上相鄰的兩幅圖像進行的，由于時間上相鄰的兩幅圖像之間的相關(guān)性很強，在運動估計中通常只有少量的像素點發(fā)生移動，因此運動補償后的殘差值都較小，甚至接近零值。然而，在視差估計中，左右視頻通道的兩幅對應(yīng)圖像在時間上是同步的，它們由兩個攝像頭在同一時間不同視場拍攝得到，因此視差估計后的殘差值都較大，從而使壓縮性能下降。


發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種克服了基于視差估計與補償?shù)牧Ⅲw視頻編碼方法編碼的效率低，以及聯(lián)合預(yù)測算法的視差估計后的殘差值較大、壓縮性能下降等弊端的基于視點圖像映射(亦稱立體視頻匹配)的立體視頻流編碼方法。
本發(fā)明是在常規(guī)立體視頻流編碼方法的基礎(chǔ)上，在對立體視頻流的雙目視點圖像進行編碼之前增加一個映射過程，利用雙目立體視頻流的特點，將第一視點圖像像素信息映射到第二視點，得到映射圖像，然后對映射圖像和第二視點圖像用常規(guī)的立體視頻編流碼方法進行編碼。
本發(fā)明的基于視點圖像映射的立體視頻流編碼方法由下列步驟組成 1.將立體視頻流第一視點圖像像素信息映射到第二視點，得到映射圖像； 2.對映射圖像和第二視點圖像進行立體視頻流編碼。
以上所述的將立體視頻流第一視點圖像像素信息映射到第二視點，得到映射圖像由下列步驟實現(xiàn) a.設(shè)p1(u1，v1)為雙目立體視頻流第一視點圖像中的點的圖像坐標，p2(u2，v2)為p1映射到第二視點圖像中的點的圖像坐標，P(Xw，Yw，Zw)為二者對應(yīng)的空間點(世界坐標系中的同一點)，根據(jù)針孔成像模型，世界坐標系中的點P與其分別在雙目視點圖像中的投影點p1和p2用齊次坐標表示的關(guān)系式為 和 式(1)和(2)中，s1和s2分別為立體視頻流兩個圖像坐標和攝像機坐標系相互轉(zhuǎn)化時的比例因子，M1和M2分別為兩個視圖的投影矩陣，投影矩陣可以由攝像機的內(nèi)部參數(shù)和外部參數(shù)確定。
b.將3×4的投影矩陣M1和M2矩陣中左面的3×3部分分別記作M11和M21，右邊的3×1部分分別記作m1和m2。若將記作則式(1)和(2)可分別寫為 和 將式(3)和(4)中的消去得 即 c.根據(jù)雙目立體視頻流的特點，設(shè)s1＝s2＝s，由此，式(6)可以簡化為 式(7)中，兩邊是三維向量，即包含了三個等式，消去其中的s后，就可以求出u2和v2。
本發(fā)明由于首先利用立體視頻的特點將立體視頻流第一視點的圖像映射到第二視點，形成映射圖像，然后將其同第二視點的圖像一起進行立體視頻流編碼，從而可以更充分地利用雙目視點圖像數(shù)據(jù)之間通過三維空間互映射形成的對應(yīng)關(guān)系，提高立體視頻流的編碼性能。

具體實施例方式 本發(fā)明的核心內(nèi)容是將雙目立體視頻流第一視點圖像映射到第二視點，得到映射圖像，然后同第二視點的圖像一起進行立體視頻流編碼。
具體方法為首先將雙目立體視頻流第一視點圖像像素信息映射到第二視點，得到映射圖像，然后將該映射圖像同第二視點的圖像一起進行立體視頻流編碼。
所述立體視頻流第一視點圖像像素信息映射到第二視點，得到映射圖像步驟(單元)的具體方法為 設(shè)p1(u1，v1)為雙目立體視頻流第一視圖中的點的圖像坐標，p2(u2，v2)為p1映射到第二視圖中的點的圖像坐標，P(Xw，Yw，Zw)為二者對應(yīng)的空間點(世界坐標系中的同一點)，根據(jù)針孔成像模型，并利用雙目立體視頻流的特點，可以粗略地確定世界坐標系中的點P在雙目視點圖像中的投影點p1和p2的關(guān)系，即通過第一視點圖像像素信息映射到第二視點，得到映射圖像。
具體實施步驟為 1)設(shè)p1(u1，v1)為雙目立體視頻流第一視圖中的點的圖像坐標，p2(u2，v2)為p1映射到第二視圖中的點的圖像坐標，P(Xw，Yw，Zw)為二者對應(yīng)的空間點(世界坐標系中的同一點)，根據(jù)針孔成像模型，世界坐標系中的點P與其分別在雙目視點圖像中的投影點p1和p2用齊次坐標表示的關(guān)系為 和 其中，s1和s2分別為立體視頻流兩個圖像坐標和攝像機坐標系相互轉(zhuǎn)化時的比例因子，M1和M2分別為兩個視點圖像的投影矩陣。投影矩陣可以由攝像機的內(nèi)部參數(shù)和外部參數(shù)確定。
2)將3×4的投影矩陣M1和M2矩陣中左面的3×3部分分別記作M11和M21，右邊的3×1部分分別記作m1和m2。如果將記作則式(1)和(2)可分別寫為 和 將式(3)和(4)中的消去得 即 3)根據(jù)雙目立體視頻流的特點，可以設(shè)s1＝s2＝s，由此，式(6)可以簡化為 式(7)中，兩邊是三維向量，即包含了三個等式，消去其中的s后，就可以求出u2和v2。
權(quán)利要求
1.一種基于視點圖像映射的立體視頻流編碼方法，其特征在于它由下列步驟組成
a.將立體視頻流第一視點圖像像素信息映射到第二視點，得到映射圖像；
b.對映射圖像和第二視點圖像進行立體視頻流編碼。
2.根據(jù)權(quán)利要求1所述的立體視頻流編碼方法，其特征在于所述的將立體視頻流第一視點圖像像素信息映射到第二視點，得到映射圖像由下列步驟實現(xiàn)
a.設(shè)p1(u1，v1)為雙目立體視頻流第一視點圖像中的點的圖像坐標，p2(u2，v2)為p1映射到第二視點圖像中的點的圖像坐標，P(Xw，Yw，Zw)為二者對應(yīng)的空間點(世界坐標系中的同一點)，根據(jù)針孔成像模型，世界坐標系中的點P與其分別在雙目視點圖像中的投影點p1和p2用齊次坐標表示的關(guān)系式為
和
式(1)和(2)中，s1和s2分別為立體視頻流兩個圖像坐標和攝像機坐標系相互轉(zhuǎn)化時的比例因子，M1和M2分別為兩個視圖的投影矩陣，投影矩陣可以由攝像機的內(nèi)部參數(shù)和外部參數(shù)確定。
b.將3×4的投影矩陣M1和M2矩陣中左面的3×3部分分別記作M11和M21，右邊的3×1部分分別記作m1和m2。若將記作則式(1)和(2)可分別寫為
將式(3)和(4)中的消去得
即
c.根據(jù)雙目立體視頻流的特點，設(shè)s1＝s2＝s，由此，式(6)可以簡化為
式(7)中，兩邊是三維向量，即包含了三個等式，消去其中的s后，就可以求出u2和v2。
全文摘要
基于視點圖像映射的立體視頻流編碼方法屬視頻編碼技術(shù)領(lǐng)域，本發(fā)明首先將立體視頻流第一視點圖像像素信息映射到第二視點，從而得到映射圖像，然后對映射圖像和第二視點圖像進行立體視頻流編碼。本發(fā)明克服了基于視差估計與補償?shù)牧Ⅲw視頻編碼方法編碼的效率低，以及聯(lián)合預(yù)測算法的視差估計后的殘差值較大、壓縮性能下降等弊端，可更充分地利用雙目視點圖像數(shù)據(jù)之間通過三維空間互映射形成的對應(yīng)關(guān)系，提高立體視頻流的編碼性能。
文檔編號H04N7/26GK101198061SQ20081005022
公開日2008年6月11日 申請日期2008年1月8日 優(yōu)先權(quán)日2008年1月8日
發(fā)明者巖 趙, 陳賀新 申請人:吉林大學(xué)