專利名稱：雙目立體視頻的幾何校正方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像視頻處理技術(shù)領(lǐng)域，特別涉及一種雙目立體視頻的幾何校正方法及系統(tǒng)。
背景技術(shù)：
雙目立體圖像對是由兩臺位于同一高度的平行相機針對同一場景拍攝所得到的圖像。三維空間中的一點在兩個像平面上所呈的像稱為對應(yīng)點，它們滿足極線約束。對于理想的立體圖像對，對應(yīng)點之間只有水平視差，而沒有垂直視差，將這樣的兩個圖像分別提供給觀看者的左右眼觀看，則大腦將根據(jù)水平視差提取出場景的深度信息，從而產(chǎn)生立體感。在實際的拍攝中，由于相機的擺放存在匯聚、旋轉(zhuǎn)、高度不同等問題，無法得到理想的立體圖像對，此時就需要幾何校正技術(shù)來將實際獲得的圖像對變換為理想的圖像對。圖像或視頻幀的幾何校正方法主要分為兩大類，一種是基于相機標定的方法，另一種是非相機標定的方法?；谙鄼C標定的校正是一種理想情形，在知道相機內(nèi)外參數(shù)的前提下，虛擬出兩個內(nèi)參相同的虛擬相機，并滿足光心高度相同和像平面平行的條件，根據(jù)透視投影變換將原始圖像投射到新的像平面上，從而實現(xiàn)校正的目的。由于相機在移動時， 原相機的外參數(shù)會發(fā)生變化，因此這種方法在應(yīng)用時具有一定的局限性。非相機標定的方法則具有更大的適應(yīng)性。這種方法在輸入的左右視圖中找到一系列特征點進行匹配，并根據(jù)對極幾何的原理計算一對投影變換對原圖像進行校正，從而使兩幅圖的對極線滿足水平且平行的掃描線特征。目前已有的算法或者依賴于基本矩陣，或者依賴于匹配點坐標，對變換矩陣的參數(shù)進行優(yōu)化，并盡量減小圖像的畸變。然而，現(xiàn)有的方法普遍存在以下不足首先，在校正的過程中僅僅依賴于基本矩陣或匹配點，而忽略了場景本身的信息，導(dǎo)致校正后的立體圖像對有可能滿足掃描線特征，但卻不符合觀看要求。其次，校正后的圖像一般都會產(chǎn)生黑邊，通常通過剪裁與線性放大來消除。其不足之處不僅增加了處理工序，更在線性放大過程中改變了圖像對的視差。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為達到上述目的，本發(fā)明提出一種雙目立體視頻的幾何校正方法，包括以下步驟 A 獲取立體視頻幀對的場景方向信息；B 根據(jù)所述場景方向信息對所述立體視頻幀對進行極線校正，獲得第一校正視頻幀對；以及C 對所述第一校正視頻幀對進行非線性變換， 獲得最終的校正視頻幀對。根據(jù)本發(fā)明實施例的雙目立體視頻的幾何校正方法，通過引入場景方向信息進行極線校正，使得校正后的圖像更符合場景特征和觀看要求，并且通過非線性變換校正彌補了極線校正后單純利用剪裁與線性縮放消除黑邊的不足，具有更強的實用性。在本發(fā)明的一個實施例中，所述步驟A進一步包括通過人機交互的方法標注所述立體視頻幀對的場景方向信息。
在本發(fā)明的一個實施例中，所述步驟B進一步包括B1 提取所述立體視頻幀對的左右視頻幀的特征點并進行匹配，獲得匹配點；B2 根據(jù)所述匹配點計算基本矩陣和對極點；以及B3 根據(jù)所述對極點和所述場景方向信息計算極線變換矩陣，并根據(jù)所述極線變換矩陣對所述立體視頻幀對進行極線校正。根據(jù)本發(fā)明的一個實施例，所述步驟B3進一步包括B31 根據(jù)所述立體視頻幀對的圖像信息獲取平移變換矩陣；B32 根據(jù)所述對極點獲得拉伸變換矩陣；B33 根據(jù)所述場景方向信息獲取旋轉(zhuǎn)變換矩陣；B34 根據(jù)所述旋轉(zhuǎn)變換矩陣、所述拉伸變換矩陣、所述平移變換矩陣和所述立體視頻幀對的像素點信息，獲取仿射變換矩陣；以及B35 根據(jù)所述平移變換矩陣，所述拉伸變換矩陣、所述旋轉(zhuǎn)變換矩陣和所述仿射變換矩陣，獲取所述立體視頻幀對的極線變換矩陣。在本發(fā)明的一個實施例中，所述步驟C進一步包括根據(jù)所述極線變換矩陣確定所述非線性變換的約束條件；確定所述非線性變換的邊界條件；確定所述非線性變換的權(quán)重條件；根據(jù)所述約束條件和所述權(quán)重條件建立能量函數(shù)式，并根據(jù)所述能量函數(shù)式和所述邊界條件獲取非線性變換矩陣；以及根據(jù)所述非線性變換矩陣對所述第一校正視頻幀對進行非線性變換。根據(jù)本發(fā)明的一個實施例，所述約束條件為
權(quán)利要求
1.一種雙目立體視頻的幾何校正方法，其特征在于，包括以下步驟 A 獲取立體視頻幀對的場景方向信息；B:根據(jù)所述場景方向信息對所述立體視頻幀對進行極線校正，獲得第一校正視頻幀對；以及C 對所述第一校正視頻幀對進行非線性變換，獲得最終的校正視頻幀對。
2.根據(jù)權(quán)利要求1所述的雙目立體視頻的幾何校正方法，其特征在于，所述步驟A進一步包括通過人機交互的方法標注所述立體視頻幀對的場景方向信息。
3.根據(jù)權(quán)利要求1所述的雙目立體視頻的幾何校正方法，其特征在于，所述步驟B進一步包括Bl 提取所述立體視頻幀對的左右視頻幀的特征點并進行匹配，獲得匹配點； B2 根據(jù)所述匹配點計算基本矩陣，并根據(jù)所述基本矩陣計算對極點；以及 B3 根據(jù)所述對極點和所述場景方向信息計算極線變換矩陣，并根據(jù)所述極線變換矩陣對所述立體視頻幀對進行極線校正。
4.根據(jù)權(quán)利要求3所述的雙目立體視頻的幾何校正方法，其特征在于，所述步驟B3進一步包括B31 根據(jù)所述立體視頻幀對的圖像信息獲取平移變換矩陣；B32 根據(jù)所述對極點獲得拉伸變換矩陣；B33 根據(jù)所述場景方向信息獲取旋轉(zhuǎn)變換矩陣；B34:根據(jù)所述旋轉(zhuǎn)變換矩陣、所述拉伸變換矩陣、所述平移變換矩陣和所述立體視頻幀對的像素點信息，獲取仿射變換矩陣；以及B35 根據(jù)所述平移變換矩陣，所述拉伸變換矩陣、所述旋轉(zhuǎn)變換矩陣和所述仿射變換矩陣，獲取所述立體視頻幀對的極線變換矩陣。
5.根據(jù)權(quán)利要求1所述的雙目立體視頻的幾何校正方法，其特征在于，所述步驟C進一步包括根據(jù)所述極線變換矩陣確定所述非線性變換的約束條件； 確定所述非線性變換的邊界條件； 確定所述非線性變換的權(quán)重條件；根據(jù)所述約束條件和所述權(quán)重條件建立能量函數(shù)式，并根據(jù)所述能量函數(shù)式和所述邊界條件獲取非線性變換矩陣；以及根據(jù)所述非線性變換矩陣對所述第一校正視頻幀對進行非線性變換。
6.根據(jù)權(quán)利要求5所述的雙目立體視頻的幾何校正方法，其特征在于，所述約束條件為^(Pi-Po) = H(P1-P0) d^/dt = 0,其中，H為所述極線變換矩陣，應(yīng)為所述非線性變換矩陣，P0^P1為所述立體視頻幀對上相鄰的像素點。
7.根據(jù)權(quán)利要求5所述的雙目立體視頻的幾何校正方法，其特征在于，所述邊界條件為(分(Py))y=0 (A(Px))x =0，其中，Py為原視頻幀中對應(yīng)最大內(nèi)切矩形上下邊的像素點，PxS原視頻幀中對應(yīng)最大內(nèi)切矩形左右邊的像素點；(.)y表示變換后的y坐標值，(.)χ表示變換后的χ坐標值，所述最大內(nèi)切矩形為進行所述極線校正后得到的左右視頻幀的重合相交部分的最大內(nèi)切矩形。
8.根據(jù)權(quán)利要求5所述的雙目立體視頻的幾何校正方法，其特征在于，所述權(quán)重條件為S=X iSE+ λ 2SM+ (1- λ「λ 2) Sf其中，&為邊緣權(quán)重，、為運動權(quán)重，$為人臉權(quán)重，λ” λ 2為相應(yīng)的比例系數(shù)，入工、 A2 e (0，1)，且滿足0< λ ^A2 < I0
9.根據(jù)權(quán)利要求5-8中任一項所述的雙目立體視頻的幾何校正方法，其特征在于，所述能量函數(shù)式為Pi=l2Et =Σ d{HP,)!dt ，P i=l2其中，Eh為基于極線校正約束的能量函數(shù)，Et為基于時序約束的能量函數(shù)，ω (ρ)為像素P的權(quán)重，Hpi為相對位置向量pi非線性變換后的值，Hp,i為相對位置向量ρ 極線變換后的值，11112為向量的二范數(shù)。
10.根據(jù)權(quán)利要求9所述的雙目立體視頻的幾何校正方法，其特征在于，所述根據(jù)所述能量函數(shù)式和所述邊界條件獲取非線性變換矩陣，進一步包括根據(jù)所述能量函數(shù)式和所述邊界條件，通過以下的公式獲取所述非線性變換矩陣， H = arg min ( AhEh + AtEt)以及ΛtiΛt 八其中，λΗ、Xt為相應(yīng)的比例系數(shù)，λ Η、λ t e (0，1)，且滿足= 1。
全文摘要
本發(fā)明提出一種雙目立體視頻的幾何校正方法，包括以下步驟獲取立體視頻幀對的場景方向信息；根據(jù)所述場景方向信息對所述立體視頻幀對進行極線校正，獲得第一校正視頻幀對；以及對所述第一校正視頻幀對進行非線性變換，獲得最終的校正視頻幀對。本發(fā)明通過引入場景方向信息進行極線校正，使得校正后的圖像更符合場景特征和觀看要求，并且通過非線性變換校正彌補了極線校正后單純利用剪裁與線性縮放消除黑邊的不足，具有更強的實用性。
文檔編號H04N13/00GK102413342SQ20111026122
公開日2012年4月11日 申請日期2011年9月5日 優(yōu)先權(quán)日2011年9月5日
發(fā)明者戴瓊海, 趙昱, 邵航 申請人:清華大學(xué)