本發(fā)明涉及視頻處理技術領域，尤其涉及一種立體視頻幀率提升中運動矢量檢測與校正方法及系統(tǒng)。

背景技術：

立體視頻能夠為用戶提供全新的視覺感受，因而引起科研界和產業(yè)界的廣泛關注。立體視頻系統(tǒng)通常需要向用戶同時提供多個視點的彩色和深度視頻，所以相對于傳統(tǒng)視頻，數(shù)據(jù)傳輸量劇增。即便使用高效的編碼技術，在實際系統(tǒng)中，如無線傳輸系統(tǒng)，信道帶寬仍然嚴重不足，而這限制了立體視頻的幀率。由于顯示設備的物理特性和人體視覺系統(tǒng)的生理特性，當視頻幀率較低時，會產生運動模糊或者偽影現(xiàn)象，嚴重影響了立體視頻的視覺質量。

幀率提升是一種常見的視頻增強技術，通過對低幀率視頻處理，在兩個視頻幀之間插入一幀或者多幀，實現(xiàn)視頻播放幀率的提高。幀率提升方法有多種，其中最常用的是基于運動補償?shù)膸侍嵘椒ǎ谶\動補償?shù)膸侍嵘椒ㄓ挚梢苑譃閱蜗蜻\動補償幀率提升(如圖1(a)所示)和雙向運動補償幀率提升(如圖1(b)所示)。

單向運動補償幀率提升在插入幀中會出現(xiàn)空洞或者重疊現(xiàn)象，而雙向運動補償幀率提升不會出現(xiàn)這種現(xiàn)象。因此，雙向運動補償幀率提升方法在工程中被廣泛應用。

在雙向運動補償幀率提升方法中，首先通過雙向運動估計獲取插入幀每個圖像塊的運動矢量，但是實際中并不能保證每一個運動矢量能夠表示相應圖像塊的真實運動，因此在運動補償前首先要對運動矢量進行處理，檢測出非真實運動矢量并進行校正。

技術實現(xiàn)要素：

本發(fā)明的目的就是為了解決上述問題，提供一種立體視頻幀率提升中運動矢量檢測與校正方法及系統(tǒng)，首先，利用空間相關性進行運動矢量的檢測，其中包括兩步：基于方向相關性的錯誤運動矢量檢測和基于幅度相關性的不可靠運動矢量檢測；其次，完成對插入幀整個運動矢量場的檢測后，采用融合空間、顏色和深度信息的方法對錯誤運動矢量和不可靠運動矢量進行校正。

為了實現(xiàn)上述目的，本發(fā)明采用如下技術方案：

一種立體視頻幀率提升中運動矢量檢測與校正方法，包括以下步驟：

步驟(1)：利用基于空間相關性的運動矢量檢測方法對插入幀的運動矢量場進行處理，檢測出插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量；

步驟(2)：利用融合空間、顏色和深度信息的方法對插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量進行校正。

所述步驟(1)包括：

步驟(1-1)：基于方向相關性的運動矢量檢測：利用被檢測運動矢量和被檢測運動矢量的8鄰域運動矢量在方向上的關系計算運動矢量的可靠性，確定被檢測運動矢量是否為錯誤運動矢量；若是錯誤運動矢量，就將錯誤運動矢量保存；若不是錯誤運動矢量則進入步驟(1-2)；

步驟(1-2)：基于幅度相關性的運動矢量檢測：利用被檢測運動矢量和被檢測運動矢量8鄰域運動矢量在幅度上的關系進行進一步檢測，并確定被檢測運動矢量是否為不可靠運動矢量，若是不可靠運動矢量，就將不可靠運動矢量保存，若不是不可靠運動矢量，則將運動矢量保存到真實運動矢量場中。

所述步驟(1-1)的步驟為：

v表示被檢測運動矢量，v_i表示被檢測運動矢量的8鄰域運動矢量，其中i＝1,…,8；則v與v_i之間的方向相似度用公式(1)表示：

${\mathrm{\γ}}_i=\frac{v^T{v}_i}{\left|\right|v^T\left|\right|\left|\right|v_i\left|\right|},---\left(1\right)$

其中，‖·‖表示矢量的歐氏距離，即矢量的幅度。γ_i反映了被檢測運動矢量v和被檢測運動矢量的8鄰域運動矢量v_i之間方向上的關系。

假設γ_i中正數(shù)的數(shù)量為n_p，假設γ_i中非正數(shù)的數(shù)量為n_n，如果n_p<n_n，則v被標記為錯誤運動矢量；如果n_p≥n_n，則v進入步驟(1-2)基于幅度相關性的運動矢量檢測。

所述步驟(1-2)的步驟為：

首先，從被檢測運動矢量的8鄰域運動矢量v_i中選取所有滿足γ_i>0的運動矢量，組成集合V＝{‖v‖,‖v_i‖|γ_i>0}，若‖v‖是集合V中的最大值或者最小值，則標記v為不可靠運動矢量；如果‖v‖不是集合V中的最大值或者最小值，則標記v為真實運動矢量。所述不可靠運動矢量包括被步驟(1-1)漏檢的錯誤運動矢量或被步驟(1-2)誤檢的真實運動矢量。

所述步驟(2)包括：

步驟(2-1)：對錯誤運動矢量構建錯誤運動矢量校正候選集；對不可靠運動矢量構建不可靠運動矢量校正候選集；

步驟(2-2)：利用錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中候選運動矢量的空間關系，以及所述候選運動矢量對應的圖像塊的顏色和深度信息，構建能量函數(shù)；

步驟(2-3)：利用能量函數(shù)最小化，從錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中選取最優(yōu)候選運動矢量，用最優(yōu)候選運動矢量替代錯誤運動矢量或者不可靠運動矢量，將最優(yōu)優(yōu)選運動矢量保存到真實運動矢量場中，完成校正處理。

所述步驟(2)的步驟為：

將步驟(1)檢測得到的錯誤運動矢量表示為v_k1，則v_k1的8鄰域中所有真實運動矢量組成v_k1的錯誤運動矢量校正候選集Ω₁；

將步驟(1)檢測得到的不可靠運動矢量表示為v_k2，不可靠運動矢量校正候選集為Ω₂，則Ω₂除了包含v_k2的8鄰域中所有真實運動矢量外，還包含v_k2本身；

對于錯誤運動矢量，利用空間、顏色和深度信息構建能量函數(shù)，如公式(2)，并利用能量函數(shù)最小化從錯誤運動矢量校正候選集中選取最優(yōu)候選運動矢量，如公式(3)：

E(v_j1)＝E_spatial1(v_j1)+λ_cE_color1(v_j1)+λ_dE_depth1(v_j1) (2)

${\hat{v}}_1=\underset{v_j\&Element;{\mathrm{\&Omega;}}_1}{\mathrm{argmin}}\left\{E\left(v_{j1}\right)\right\}---\left(3\right)$

其中v_j1為錯誤運動矢量校正候選集Ω₁中的一個候選運動矢量，為錯誤運動矢量校正后的運動矢量。公式(2)中，E_spatial1表示錯誤運動矢量能量函數(shù)中的空間分量；E_color1表示錯誤運動矢量能量函數(shù)中的顏色分量；E_depth1表示錯誤運動矢量能量函數(shù)中的深度分量。λ_c1表示錯誤運動矢量顏色分量的加權系數(shù)；λ_d1表示錯誤運動矢量深度分量的加權系數(shù)。

E_spatial1、E_color1和E_depth1分別用下面公式計算：

$E_{spatial1}\left(v_{j1}\right)=\frac{1}{K_1}{\mathrm{\&Sigma;}}_{v_{l1}\&Element;R_1}\left|\right|v_{j1}-v_{l1}\left|\right|---\left(4\right)$

$E_{color1}\left(v_{j1}\right)=\frac{1}{N_1}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(B_{t_1-1}^{p_1+\frac{v_{j1}}{2}}-B_{t_1+1}^{p_1-\frac{v_{j1}}{2}})---\left(5\right)$

$E_{depth1}\left(v_{j1}\right)=\frac{1}{N_1}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(D_{t_1-1}^{p_1+\frac{v_{j1}}{2}}-D_{t_1+1}^{p_1-\frac{v_{j1}}{2}})---\left(6\right)$

其中，公式(4)中v_l1表示錯誤運動矢量校正候選集Ω₁中除v_j1以外的候選運動矢量，即R₁＝Ω₁-v_j1，K₁表示R₁中運動矢量的個數(shù)；

公式(5)中表示當以v_j1為當前圖像塊的運動矢量時，當前圖像塊在上一幀中對應的圖像塊；

表示當以v_j1為當前圖像塊的運動矢量時，當前圖像塊在下一幀中對應的圖像塊，N₁表示圖像塊中像素的個數(shù)；p₁表示當前圖像塊的位置，即當前圖像塊最左上角像素點的坐標；t₁表示時間參數(shù)；例如，表示時間為t₁的視頻幀中最左上角像素坐標為p₁的圖像塊。

公式(6)中表示對應的深度圖像塊；表示對應的深度圖像塊。

對于不可靠運動矢量，利用空間、顏色和深度信息構建能量函數(shù)，如公式(7)，并利用能量函數(shù)最小化從不可靠運動矢量校正候選集中選取最優(yōu)候選運動矢量，如公式(8)：

E(v_j2)＝E_spatial2(v_j2)+λ_c2E_color2(v_j2)+λ_d2E_depth2(v_j2)(7)

${\hat{v}}_2=\underset{v_{j2}\&Element;{\mathrm{\&Omega;}}_2}{\arg \min }\left\{E\left(v_{j2}\right)\right\}---\left(8\right)$

其中v_j2為不可靠運動矢量校正候選集Ω₂中的一個候選運動矢量，為不可靠運動矢量校正后的運動矢量。公式(7)中，E_spatial2表示不可靠運動矢量能量函數(shù)中的空間分量；E_color2表示不可靠運動矢量能量函數(shù)中的顏色分量；E_depth2表示不可靠運動矢量能量函數(shù)中的深度分量。λ_c2表示不可靠運動矢量顏色分量的加權系數(shù)；λ_d2表示不可靠運動矢量深度分量的加權系數(shù)。E_spatial2、E_color2和E_depth2分別用下面公式計算：

$E_{spatial2}\left(v_{j2}\right)=\frac{1}{K_2}{\mathrm{\&Sigma;}}_{v_{l2}\&Element;R_2}\left|\right|v_{j2}-v_{l2}\left|\right|---\left(9\right)$

$E_{color2}\left(v_{j2}\right)=\frac{1}{N_2}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(B_{t_2-1}^{p_2+\frac{v_{j2}}{2}}-B_{t_2+1}^{p_2-\frac{v_{j2}}{2}})---\left(10\right)$

$E_{depth2}\left(v_{j2}\right)=\frac{1}{N_2}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(D_{t_2-1}^{p_2+\frac{v_{j2}}{2}}-D_{t_2+1}^{p_1-\frac{v_{j2}}{2}})---\left(11\right)$

其中，公式(9)中v_l2表示不可靠運動矢量校正候選集Ω₂中除v_j2以外的候選運動矢量，即R₂＝Ω₂-v_j2，K₂表示R₂中運動矢量的個數(shù)；

公式(10)中表示當以v_j2為當前圖像塊的運動矢量時，當前圖像塊在上一幀中對應的圖像塊；表示當以v_j2為當前圖像塊的運動矢量時，當前圖像塊在下一幀中對應的圖像塊，N₂表示圖像塊中像素的個數(shù)；p₂表示當前圖像塊的位置，即當前圖像塊最左上角像素點的坐標；t₂表示時間參數(shù)；例如，表示時間為t₂的視頻幀中最左上角像素坐標為p₂的圖像塊。

公式(11)中表示對應的深度圖像塊；表示對應的深度圖像塊。

一種立體視頻幀率提升中運動矢量檢測與校正系統(tǒng)，包括：

檢測模塊：利用基于空間相關性的運動矢量檢測方法對插入幀的運動矢量場進行處理，檢測出插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量；

校正模塊：利用融合空間、顏色和深度信息的方法對插入幀的運動矢量場中的錯誤運動矢量和不可靠運動矢量進行校正。

所述檢測模塊包括：

基于方向相關性的運動矢量檢測單元：利用被檢測運動矢量和被檢測運動矢量的8鄰域運動矢量在方向上的關系計算運動矢量的可靠性，確定被檢測運動矢量是否為錯誤運動矢量；若是錯誤運動矢量，就將錯誤運動矢量保存；若不是錯誤運動矢量則進入基于幅度相關性的運動矢量檢測單元；

基于幅度相關性的運動矢量檢測單元：利用被檢測運動矢量和被檢測運動矢量8鄰域運動矢量在幅度上的關系進行進一步檢測，并確定被檢測運動矢量是否為不可靠運動矢量，若是不可靠運動矢量，就將不可靠運動矢量保存，若不是不可靠運動矢量，則將運動矢量保存到真實運動矢量場中。

所述校正模塊包括：

運動矢量校正候選集構建單元：對錯誤運動矢量構建錯誤運動矢量校正候選集；對不可靠運動矢量構建不可靠運動矢量校正候選集；

能量函數(shù)構建單元：利用錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中候選運動矢量的空間關系，以及所述候選運動矢量對應的圖像塊的顏色和深度信息，構建能量函數(shù)；

校正處理單元：利用能量函數(shù)最小化，從錯誤運動矢量校正候選集和不可靠運動矢量校正候選集中選取最優(yōu)候選運動矢量，用最優(yōu)候選運動矢量替代錯誤運動矢量或者不可靠運動矢量，將最優(yōu)優(yōu)選運動矢量保存到真實運動矢量場中，完成校正處理。

本發(fā)明的有益效果為：

首先，本發(fā)明通過兩步完成運動矢量的檢測，利用運動矢量方向相關性檢測出錯誤運動矢量，對其余的運動矢量采用幅度相關性進行近一步檢測，檢測出不可靠運動矢量，從而提高了檢測效果，降低了錯誤運動矢量的漏檢率；

其次，在對運動矢量進行校正時，本發(fā)明融合空間、顏色和深度信息構建能量函數(shù)，并分別針對錯誤運動矢量和不可靠運動矢量構建不同的運動矢量校正候選集，利用能量函數(shù)最小化從運動矢量校正候選集中選取最優(yōu)候選運動矢量，替代當前錯誤運動矢量或者不可靠運動矢量，而非采用其他運動矢量對錯誤運動矢量進行補償，因而校正后的運動矢量更能反映該圖像塊的真實運動。

附圖說明

圖1(a)為單向運動補償幀率提升方式；

圖1(b)為雙向運動補償幀率提升方式；

圖2為本發(fā)明的流程圖；

圖3(a)為常見錯誤運動矢量類別；

圖3(b)為常見錯誤運動矢量類別；

圖3(c)為常見錯誤運動矢量類別。

具體實施方式

下面結合附圖與實施例對本發(fā)明作進一步說明。

與現(xiàn)有的方法不同，本發(fā)明提出的方法分別利用運動矢量方向相關性和幅度相關性進行錯誤運動矢量和不可靠運動矢量的檢測，提高了運動矢量檢測效果；其次，區(qū)別于現(xiàn)有的錯誤運動矢量校正方法，本發(fā)明針對錯誤運動矢量和不可靠運動矢量分別構建運動矢量校正候選集，并提出融合空間、顏色和深度三種信息的能量函數(shù)，通過能量函數(shù)最小化從運動矢量校正候選集中選取最優(yōu)候選運動矢量，對錯誤運動矢量或不可靠運動矢量進行校正，使用本方法校正后的運動矢量更能反映該圖像塊的真實運動。

本發(fā)明提出一種立體視頻幀率提升中運動矢量檢測與校正方法。首先，利用相鄰運動矢量方向相關性進行初步檢測，判斷被檢測運動矢量是否為錯誤運動矢量，若初步檢測結果不是錯誤運動矢量，則基于幅度相關性進行近一步檢測，判斷其是否為不可靠運動矢量；其次，完成對插入幀整個運動矢量場的檢測后，采用融合空間、顏色和深度信息的運動矢量校正方法對錯誤運動矢量和不可靠運動矢量進行校正處理。本發(fā)明的流程圖如圖2所示，具體實施方式如下：

(1)基于空間相關性的運動矢量檢測。

通常而言，在運動矢量場中可以通過被檢測運動矢量和其相鄰運動矢量之間空間相關性來測量被檢測運動矢量的可靠性，而運動矢量空間相關性反映在兩個方面：方向相關性和幅度相關性。因此，錯誤運動矢量與其相鄰的真實運動矢量在方向或者幅度上必然存在區(qū)別。如圖3(a)-圖3(c)所示，圖中v表示被檢測運動矢量，v_i(其中i＝1,…,8)表示被檢測運動矢量的8鄰域運動矢量。若被檢測運動矢量為錯誤運動矢量，則其可以分為兩類：第一類如圖3(a)所示，v的方向與其鄰域內所有或者大部分運動矢量的方向不同；第二類如圖3(b)和圖3(c)所示，v的幅度與其鄰域內所有或者大部分運動矢量的幅度差異較大?；诖耍景l(fā)明提出了一種基于空間相關性的兩步運動矢量檢測方法。

第一步：基于方向相關性的運動矢量檢測。如前所述，v表示被檢測運動矢量，v_i(其中i＝1,…,8)表示被檢測運動矢量的8鄰域運動矢量。則v與v_i(其中i＝1,…,8)之間的方向相似度可以用公式(1)表示：

${\mathrm{\&gamma;}}_i=\frac{v^T{v}_i}{\left|\right|v^T\left|\right|\left|\right|v_i\left|\right|},i=1,...,8---\left(1\right)$

其中‖·‖表示矢量的歐氏距離，即矢量的幅度。很明顯，γ_i反映了被檢測運動矢量v和其鄰域運動矢量v_i(其中i＝1,…,8)之間方向上的關系。假設γ_i(其中i＝1,…,8)中正數(shù)和非正數(shù)的數(shù)量分別為n_p和n_n，如果n_p<n_n，則v被標記為錯誤運動矢量；如果n_p≥n_n，則v需要經(jīng)過第二步基于幅度相關性的運動矢量檢測。

第二步：基于幅度相關性的運動矢量檢測。若被檢測運動矢量v經(jīng)過第一步檢測不是錯誤運動矢量，則需要通過幅度相關性來進行進一步判斷。首先，從v的鄰域運動矢量v_i(其中i＝1,…,8)中選取所有滿足γ_i>0(γ_i通過公式(1)計算得到)的運動矢量，組成集合V＝{‖v‖,‖v_i‖|γ_i>0}，若‖v‖是集合V中的最大值或者最小值，則標記v為不可靠運動矢量；如果‖v‖不是集合V中的最大值或者最小值，則標記v為真實運動矢量。需要注意的是此處定義的不可靠運動矢量可能為錯誤運動矢量，即步驟(1-1)漏檢的錯誤運動矢量，也可能為真實運動矢量。

經(jīng)過以上兩步運動矢量檢測方法可以將運動矢量場中的所有錯誤運動矢量和不可靠運動矢量標記出來，然后利用下面的方法進行校正處理。

(2)融合空間、顏色和深度信息的運動矢量校正。

通過上述步驟將運動矢量場中的運動矢量分為錯誤運動矢量、不可靠運動矢量和真實運動矢量三類，本發(fā)明對錯誤運動矢量和不可靠運動矢量進行校正。

將步驟(1)檢測得到的錯誤運動矢量表示為v_k1，則v_k1的8鄰域中所有真實運動矢量組成v_k1的錯誤運動矢量校正候選集Ω₁；

將步驟(1)得到的不可靠運動矢量表示為v_k2，其不可靠運動矢量校正候選集為Ω₂，則Ω₂除了包含v_k2的8鄰域中所有真實運動矢量外，還包含v_k2本身。

對于錯誤運動矢量，利用空間、顏色和深度信息構建能量函數(shù)，如公式(2)，并利用能量函數(shù)最小化從錯誤運動矢量校正候選集中選取最優(yōu)候選運動矢量，如公式(3)：

E(v_j1)＝E_spatial1(v_j1)+λ_cE_color1(v_j1)+λ_dE_depth1(v_j1) (2)

${\hat{v}}_1=\underset{v_j\&Element;{\mathrm{\&Omega;}}_1}{\mathrm{argmin}}\left\{E\left(v_{j1}\right)\right\}---\left(3\right)$

其中v_j1為錯誤運動矢量校正候選集Ω₁中的一個候選運動矢量，為錯誤運動矢量校正后的運動矢量。公式(2)中，E_spatial1表示錯誤運動矢量能量函數(shù)中的空間分量；E_color1表示錯誤運動矢量能量函數(shù)中的顏色分量；E_depth1表示錯誤運動矢量能量函數(shù)中的深度分量。λ_c1表示錯誤運動矢量顏色分量的加權系數(shù)；λ_d1表示錯誤運動矢量深度分量的加權系數(shù)。實驗中我們取λ_c1＝1，λ_d1＝0.5。

E_spatial1、E_color1和E_depth1分別用下面公式計算：

$E_{spatial1}\left(v_{j1}\right)=\frac{1}{K_1}{\mathrm{\&Sigma;}}_{v_{l1}\&Element;R_1}\left|\right|v_{j1}-v_{l1}\left|\right|---\left(4\right)$

$E_{color1}\left(v_{j1}\right)=\frac{1}{N_1}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(B_{t_1-1}^{p_1+\frac{v_{j1}}{2}}-B_{t_1+1}^{p_1-\frac{v_{j1}}{2}})---\left(5\right)$

$E_{depth1}\left(v_{j1}\right)=\frac{1}{N_1}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(D_{t_1-1}^{p_1+\frac{v_{j1}}{2}}-D_{t_1+1}^{p_1-\frac{v_{j1}}{2}})---\left(6\right)$

其中，公式(4)中v_l1表示錯誤運動矢量校正候選集Ω₁中除v_j1以外的候選運動矢量，即R₁＝Ω₁-v_j1，K₁表示R₁中運動矢量的個數(shù)；

公式(5)中表示當以v_j1為當前圖像塊的運動矢量時，當前圖像塊在上一幀中對應的圖像塊；

表示當以v_j1為當前圖像塊的運動矢量時，當前圖像塊在下一幀中對應的圖像塊，N₁表示圖像塊中像素的個數(shù)；p₁表示當前圖像塊的位置，即當前圖像塊最左上角像素點的坐標；t₁表示時間參數(shù)；例如，表示時間為t₁的視頻幀中最左上角像素坐標為p₁的圖像塊。

公式(6)中表示對應的深度圖像塊；表示對應的深度圖像塊。

對于不可靠運動矢量，利用空間、顏色和深度信息構建能量函數(shù)，如公式(7)，并利用能量函數(shù)最小化從不可靠運動矢量校正候選集中選取最優(yōu)候選運動矢量，如公式(8)：

E(v_j2)＝E_spatial2(v_j2)+λ_c2E_color2(v_j2)+λ_d2E_depth2(v_j2)(7)

${\hat{v}}_2=\underset{v_{j2}\&Element;{\mathrm{\&Omega;}}_2}{\arg \min }\left\{E\left(v_{j2}\right)\right\}---\left(8\right)$

其中v_j2為不可靠運動矢量校正候選集Ω₂中的一個候選運動矢量，為不可靠運動矢量校正后的運動矢量。公式(7)中，E_spatial2表示不可靠運動矢量能量函數(shù)中的空間分量；E_color2表示不可靠運動矢量能量函數(shù)中的顏色分量；E_depth2表示不可靠運動矢量能量函數(shù)中的深度分量。λ_c2表示不可靠運動矢量顏色分量的加權系數(shù)；λ_d2表示不可靠運動矢量深度分量的加權系數(shù)。實驗中我們取λ_c2＝1，λ_d2＝0.5。

E_spatial2、E_color2和E_depth2分別用下面公式計算：

$E_{spatial2}\left(v_{j2}\right)=\frac{1}{K_2}{\mathrm{\&Sigma;}}_{v_{l2}\&Element;R_2}\left|\right|v_{j2}-v_{l2}\left|\right|---\left(9\right)$

$E_{color2}\left(v_{j2}\right)=\frac{1}{N_2}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(B_{t_2-1}^{p_2+\frac{v_{j2}}{2}}-B_{t_2+1}^{p_2-\frac{v_{j2}}{2}})---\left(10\right)$

$E_{depth2}\left(v_{j2}\right)=\frac{1}{N_2}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(D_{t_2-1}^{p_2+\frac{v_{j2}}{2}}-D_{t_2+1}^{p_1-\frac{v_{j2}}{2}})---\left(11\right)$

其中，公式(9)中v_l2表示不可靠運動矢量校正候選集Ω₂中除v_j2以外的候選運動矢量，即R₂＝Ω₂-v_j2，K₂表示R₂中運動矢量的個數(shù)；

公式(10)中表示當以v_j2為當前圖像塊的運動矢量時，當前圖像塊在上一幀中對應的圖像塊；表示當以v_j2為當前圖像塊的運動矢量時，當前圖像塊在下一幀中對應的圖像塊，N₂表示圖像塊中像素的個數(shù)；p₂表示當前圖像塊的位置，即當前圖像塊最左上角像素點的坐標；t₂表示時間參數(shù)；例如，表示時間為t₂的視頻幀中最左上角像素坐標為p₂的圖像塊。

公式(11)中表示對應的深度圖像塊；表示對應的深度圖像塊。

通過上述步驟，我們用最優(yōu)候選運動矢量替換插入幀運動矢量場中所有錯誤運動矢量和不可靠運動矢量，得到插入幀的真實運動矢量場，然后利用真實運動矢量場進行幀率提升，提高了插入幀的視覺質量。

上述雖然結合附圖對本發(fā)明的具體實施方式進行了描述，但并非對本發(fā)明保護范圍的限制，所屬領域技術人員應該明白，在本發(fā)明的技術方案的基礎上，本領域技術人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內。