1.一種立體視頻幀率提升中運動矢量檢測與校正方法,其特征是,包括以下步驟:
步驟(1):利用基于空間相關性的運動矢量檢測方法對插入幀的運動矢量場進行處理,檢測出插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量;
步驟(2):利用融合空間、顏色和深度信息的方法對插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量進行校正。
2.如權利要求1所述的一種立體視頻幀率提升中運動矢量檢測與校正方法,其特征是,
所述步驟(1)包括:
步驟(1-1):基于方向相關性的運動矢量檢測:利用被檢測運動矢量和被檢測運動矢量的8鄰域運動矢量在方向上的關系計算運動矢量的可靠性,確定被檢測運動矢量是否為錯誤運動矢量;若是錯誤運動矢量,就將錯誤運動矢量保存;若不是錯誤運動矢量則進入步驟(1-2);
步驟(1-2):基于幅度相關性的運動矢量檢測:利用被檢測運動矢量和被檢測運動矢量8鄰域運動矢量在幅度上的關系進行進一步檢測,并確定被檢測運動矢量是否為不可靠運動矢量,若是不可靠運動矢量,就將不可靠運動矢量保存,若不是不可靠運動矢量,則將運動矢量保存到真實運動矢量場中。
3.如權利要求2所述的一種立體視頻幀率提升中運動矢量檢測與校正方法,其特征是,所述步驟(1-1)的步驟為:
v表示被檢測運動矢量,vi表示被檢測運動矢量的8鄰域運動矢量,其中i=1,…,8;則v與vi之間的方向相似度用公式(1)表示:
其中,‖·‖表示矢量的歐氏距離,即矢量的幅度;γi反映了被檢測運動矢量v和被檢測運動矢量的8鄰域運動矢量vi之間方向上的關系;
假設γi中正數的數量為np,假設γi中非正數的數量為nn,如果np<nn,則v被標記為錯誤運動矢量;如果np≥nn,則v進入步驟(1-2)基于幅度相關性的運動矢量檢測。
4.如權利要求2所述的一種立體視頻幀率提升中運動矢量檢測與校正方法,其特征是,所述步驟(1-2)的步驟為:
首先,從被檢測運動矢量的8鄰域運動矢量vi中選取所有滿足γi>0的運動矢量,組成集合V={‖v‖,‖vi‖|γi>0},若‖v‖是集合V中的最大值或者最小值,則標記v為不可靠運動矢量;如果‖v‖不是集合V中的最大值或者最小值,則標記v為真實運動矢量;所述不可靠運動矢量包括被步驟(1-1)漏檢的錯誤運動矢量或被步驟(1-2)誤檢的真實運動矢量。
5.如權利要求1所述的一種立體視頻幀率提升中運動矢量檢測與校正方法,其特征是,
所述步驟(2)包括:
步驟(2-1):對錯誤運動矢量構建錯誤運動矢量校正候選集;對不可靠運動矢量構建不可靠運動矢量校正候選集;
步驟(2-2):利用錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中候選運動矢量的空間關系,以及所述候選運動矢量對應的圖像塊的顏色和深度信息,構建能量函數;
步驟(2-3):利用能量函數最小化,從錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中選取最優(yōu)候選運動矢量,用最優(yōu)候選運動矢量替代錯誤運動矢量或者不可靠運動矢量,將最優(yōu)優(yōu)選運動矢量保存到真實運動矢量場中,完成校正處理。
6.如權利要求1所述的一種立體視頻幀率提升中運動矢量檢測與校正方法,其特征是,所述步驟(2)的步驟為:
將步驟(1)檢測得到的錯誤運動矢量表示為vk1,則vk1的8鄰域中所有真實運動矢量組成vk1的錯誤運動矢量校正候選集Ω1;
將步驟(1)檢測得到的不可靠運動矢量表示為vk2,不可靠運動矢量校正候選集為Ω2,則Ω2除了包含vk2的8鄰域中所有真實運動矢量外,還包含vk2本身;
對于錯誤運動矢量,利用空間、顏色和深度信息構建能量函數,如公式(2),并利用能量函數最小化從錯誤運動矢量校正候選集中選取最優(yōu)候選運動矢量,如公式(3):
E(vj1)=Espatial1(vj1)+λcEcolor1(vj1)+λdEdepth1(vj1) (2)
其中vj1為錯誤運動矢量校正候選集Ω1中的一個候選運動矢量,為錯誤運動矢量校正后的運動矢量;公式(2)中,Espatial1表示錯誤運動矢量能量函數中的空間分量;Ecolor1表示錯誤運動矢量能量函數中的顏色分量;Edepth1表示錯誤運動矢量能量函數中的深度分量;λc1表示錯誤運動矢量顏色分量的加權系數;λd1表示錯誤運動矢量深度分量的加權系數;
Espatial1、Ecolor1和Edepth1分別用下面公式計算:
其中,公式(4)中vl1表示錯誤運動矢量校正候選集Ω1中除vj1以外的候選運動矢量,即R1=Ω1-vj1,K1表示R1中運動矢量的個數;
公式(5)中表示當以vj1為當前圖像塊的運動矢量時,當前圖像塊在上一幀中對應的圖像塊;
表示當以vj1為當前圖像塊的運動矢量時,當前圖像塊在下一幀中對應的圖像塊,N1表示圖像塊中像素的個數;p1表示當前圖像塊的位置,即當前圖像塊最左上角像素點的坐標;t1表示時間參數;
公式(6)中表示對應的深度圖像塊;表示對應的深度圖像塊;
對于不可靠運動矢量,利用空間、顏色和深度信息構建能量函數,如公式(7),并利用能量函數最小化從不可靠運動矢量校正候選集中選取最優(yōu)候選運動矢量,如公式(8):
E(vj2)=Espatial2(vj2)+λc2Ecolor2(vj2)+λd2Edepth2(vj2) (7)
其中vj2為不可靠運動矢量校正候選集Ω2中的一個候選運動矢量,為不可靠運動矢量校正后的運動矢量;公式(7)中,Espatial2表示不可靠運動矢量能量函數中的空間分量;Ecolor2表示不可靠運動矢量能量函數中的顏色分量;Edepth2表示不可靠運動矢量能量函數中的深度分量;λc2表示不可靠運動矢量顏色分量的加權系數;λd2表示不可靠運動矢量深度分量的加權系數;Espatial2、Ecolor2和Edepth2分別用下面公式計算:
其中,公式(9)中vl2表示不可靠運動矢量校正候選集Ω2中除vj2以外的候選運動矢量,即R2=Ω2-vj2,K2表示R2中運動矢量的個數;
公式(10)中表示當以vj2為當前圖像塊的運動矢量時,當前圖像塊在上一幀中對應的圖像塊;表示當以vj2為當前圖像塊的運動矢量時,當前圖像塊在下一幀中對應的圖像塊,N2表示圖像塊中像素的個數;p2表示當前圖像塊的位置,即當前圖像塊最左上角像素點的坐標;t2表示時間參數;
公式(11)中表示對應的深度圖像塊;表示對應的深度圖像塊。
7.一種立體視頻幀率提升中運動矢量檢測與校正系統(tǒng),其特征是,包括:
檢測模塊:利用基于空間相關性的運動矢量檢測方法對插入幀的運動矢量場進行處理,檢測出插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量;
校正模塊:利用融合空間、顏色和深度信息的方法對插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量進行校正。
8.如權利要求7所述的系統(tǒng),其特征是,所述檢測模塊包括:
基于方向相關性的運動矢量檢測單元:利用被檢測運動矢量和被檢測運動矢量的8鄰域運動矢量在方向上的關系計算運動矢量的可靠性,確定被檢測運動矢量是否為錯誤運動矢量;若是錯誤運動矢量,就將錯誤運動矢量保存;若不是錯誤運動矢量則進入基于幅度相關性的運動矢量檢測單元;
基于幅度相關性的運動矢量檢測單元:利用被檢測運動矢量和被檢測運動矢量8鄰域運動矢量在幅度上的關系進行進一步檢測,并確定被檢測運動矢量是否為不可靠運動矢量,若是不可靠運動矢量,就將不可靠運動矢量保存,若不是不可靠運動矢量,則將運動矢量保存到真實運動矢量場中。
9.如權利要求7所述的系統(tǒng),其特征是,所述校正模塊包括:
運動矢量校正候選集構建單元:對錯誤運動矢量構建錯誤運動矢量校正候選集;對不可靠運動矢量構建不可靠運動矢量校正候選集;
能量函數構建單元:利用錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中候選運動矢量的空間關系,以及所述候選運動矢量對應的圖像塊的顏色和深度信息,構建能量函數;
校正處理單元:利用能量函數最小化,從錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中選取最優(yōu)候選運動矢量,用最優(yōu)候選運動矢量替代錯誤運動矢量或者不可靠運動矢量,將最優(yōu)優(yōu)選運動矢量保存到真實運動矢量場中,完成校正處理。