本發(fā)明設(shè)計(jì)了一種檢測三維視頻顯著性的視覺注意力檢測方法。屬于多媒體技術(shù)領(lǐng)域，具體屬于數(shù)字圖像和數(shù)字視頻處理技術(shù)領(lǐng)域。

背景技術(shù)：

在視覺感知中視覺注意力是很重要的機(jī)理，它能夠迅速的在自然圖像中檢測出顯著信息。當(dāng)我們觀察自然圖像時(shí)，選擇性注意力會讓我們專注于一些具體的顯著信息，并且因?yàn)闃O限處理資源而忽略其他并不重要的信息?；旧弦曈X注意力方法可分為兩種：自底向上和自頂向下。自底向上處理是數(shù)據(jù)驅(qū)動和任務(wù)獨(dú)立下的自動顯著區(qū)域檢測，而自頂向下方法是涉及某些具體任務(wù)的認(rèn)知過程。

通常來說，從視覺注意力模型中提取的顯著區(qū)域可以廣泛的應(yīng)用于二維多媒體中，例如視覺質(zhì)量評價(jià)，編碼，分割等。目前存在著許多對于二維圖片/視頻的視覺注意力計(jì)算模型。Itti等做出了早期的圖片視覺注意力模型，通過亮度、顏色和方向的特征對比度。后來Le Meur等人提出了基于人眼視覺體統(tǒng)特征的顯著性檢測模型，包括對比敏感度函數(shù)，視覺掩蔽和中央交互。

在過去幾年，出現(xiàn)了一大批關(guān)于三維多媒體技術(shù)的應(yīng)用，包括三維視覺質(zhì)量評價(jià)，三維視頻編碼，三維內(nèi)容生成等。對于三維多媒體應(yīng)用，三維視覺感知的模型整合可以用來改進(jìn)三維多媒體處理的算法。立體視覺注意力，一個(gè)重要的視覺感知過程，在各種立體多媒體應(yīng)用中的立體視覺內(nèi)容中提取顯著區(qū)域。

近年來，Chamaret等人在三維渲染方面提出了一個(gè)顯著性檢測算法。在他的研究中，差異圖被用來給二維顯著性圖賦權(quán)值從而計(jì)算最終的三維圖片的顯著圖。Lang等人提出了一個(gè)對于立體圖片的人眼追蹤數(shù)據(jù)庫，以及研究了深度信息對于立體視覺注意模型的影響。Wang等人通過深度顯著性和二維顯著性的結(jié)合設(shè)計(jì)了一個(gè)立體視覺注意力檢測模型。一個(gè)人眼追蹤數(shù)據(jù)庫也被建立來證明立體視覺注意力檢測模型的效果性能。

上述介紹到的大多數(shù)立體視覺注意力模型目前都只是針對立體圖像，但視覺注意力模型在三維立體視頻的研究上任然存在著局限性。所以需要在此領(lǐng)域提出新的方法，來檢測三維視頻的顯著性。

技術(shù)實(shí)現(xiàn)要素：

為了克服目前對于三維立體視頻的視覺注意力模型研究的局限性，我們就三維立體視頻的視覺注意力模型提出了一種新的方法。低層級特征包含顏色，亮度，紋理和深度，都被提取來計(jì)算空間顯著性預(yù)測的特征對比度。另外，平面運(yùn)動和深度運(yùn)動都用來計(jì)算運(yùn)動顯著性。最終三維立體視頻的顯著性圖由時(shí)間顯著性圖和空間顯著性圖結(jié)合而成。

本發(fā)明各個(gè)部分的具體操作如下：

一種對于三維視頻的視覺注意力檢測方法，其特征在于包括以下步驟：

步驟1：提取三維視頻幀中低層級視覺特征來計(jì)算特征對比度，利用歐幾里得距離的高斯模型求得三維視頻幀的空間顯著性圖；

步驟2：采用運(yùn)動信息來獲取時(shí)間顯著性，對于三維視頻中的運(yùn)動信息，用平面運(yùn)動和深度運(yùn)動共同計(jì)算時(shí)間顯著性圖。

步驟3：基于格式塔心理學(xué)原理的相近性法則，得出對空間顯著性圖加權(quán)值。

步驟4：基于格式塔心理學(xué)原理的共同命運(yùn)法則，得出對時(shí)間顯著性圖加權(quán)值。

步驟5：根據(jù)時(shí)間顯著性加權(quán)值和空間顯著性加權(quán)值，融合得到三維視頻的圖像顯著區(qū)域。

而且，步驟1所述的三維視頻幀中的低層級特征計(jì)算方法如下：將視頻幀分為8*8的圖像塊，令r，g，b代表圖像的紅色、綠色和藍(lán)色通道，定義圖像塊新的特征，新的紅色特征R＝r-(g+b)，新的綠色特征G＝g-(r+b)/2，新的藍(lán)色特征B＝b-(r+g)/2，新的黃色特征根據(jù)以上定義，我們可以計(jì)算圖像塊的如下特征：

(1)亮度分量I：

I＝(r+g+b)/3 (1)

(2)第一個(gè)顏色分量C_b：

C_b＝B-Y (2)

(3)第一個(gè)顏色分量C_r：

C_r＝R-G (3)

(4)根據(jù)公式(1)-(3)計(jì)算得到三個(gè)圖像塊特征分量，然后分別計(jì)算其 DCT(Discrete Cosine Transform，離散余弦變換)系數(shù)。利用圖像塊三個(gè)特征的DC系數(shù)(直流系數(shù))，來分別表示圖像塊的三個(gè)特征，假設(shè)由亮度分量(公式(1))通過DCT計(jì)算得到的DC_I，第一個(gè)顏色分量(公式(2))通過DCT計(jì)算得到的DC系數(shù)為DC_b，第二個(gè)顏色分量(公式(3))通過DCT計(jì)算得到的DC系數(shù)為DC_r。因此，圖像的亮度特征：

D₁＝DC_I (4)

兩個(gè)顏色特征分別為：

D₂＝DC_b (5)

D₃＝DC_r (6)

由于顏色分量主要包括圖像的色彩信息，因此，我們用亮度分量通過DCT得到的AC系數(shù)(交流系數(shù))來表示圖像塊的紋理特征，對于一個(gè)8*8的圖像塊，一共有63個(gè)AC系數(shù)。因此圖像塊的紋理特征D₄可以表示如下：

D₄＝{t₁,t₂,…,t₆₃} (7)

(5)三維視頻幀的深度信息F可以根據(jù)以下公式計(jì)算：

$F=v/(1+\frac{E*h}{P*\mathrm{\ω}})---\left(8\right)$

式中v代表視覺觀察距離，v＝75cm，E為雙眼間的距離，E＝4.5cm，ω和h是播放屏幕的寬度和水平分辨率，分別為30cm和80像素/英寸，P為三維視頻幀左視圖和右視圖像素間的視差大小。由公式(8)，我們可以計(jì)算圖像塊的深度信息D₅，通過DCT計(jì)算得到深度信息的DC系數(shù)DC_F，我們把圖像塊深度信息的DC系數(shù)表示為圖像塊的深度特征D₅＝DC_F。

而且，步驟1所述利用低層級特征對比度以及歐幾里得距離的高斯模型來計(jì)算空間顯著性圖的具體方法包括以下步驟：

(1)針對所有特征D₁，D₂，D₃，D₄，D₅，計(jì)算塊之間的特征對比度W：

圖像塊i和j之間的亮度特征對比度為：

$W_{ij}^1=\frac{\left|D_{1_i}-D_{1_j}\right|}{D_{1_i}+D_{1_j}}---\left(9\right)$

圖像塊i和j之間的顏色C_b特征對比度為：

$W_{ij}^2=\frac{\left|D_{2_i}-D_{2_j}\right|}{D_{2_i}+D_{2_j}}---\left(10\right)$

圖像塊i和j之間的顏色C_r特征對比度為：

$W_{ij}^3=\frac{\left|D_{3_i}-D_{3_j}\right|}{D_{3_i}+D_{3_j}}---\left(11\right)$

圖像塊i和j之間的深度特征對比度為：

$W_{ij}^5=\frac{\left|D_{5_i}-D_{5_j}\right|}{D_{5_i}+D_{5_j}}---\left(12\right)$

其中，i和j代表第i個(gè)圖像塊和第j個(gè)圖像塊，分母為歸一化操作，由公式(9)-(12)可以求得圖像不同特征的特征對比度W¹，W²，W³，W⁵。

圖像塊i和j之間的紋理特征T對比度為：

$W_{ij}^4=\frac{\sqrt{{\Σ}_t{(D_{4i}^t-D_{4j}^t)}^2}}{{\Σ}_t(D_{4i}^t+D_{4j}^t)}---\left(13\right)$

由公式(13)可以求得圖像的紋理特征對比度W⁴，和是由公式(7)得到的紋理特征，t∈{1,2,…,63}，i和j代表第i個(gè)圖像塊和第j個(gè)圖像塊，分母為歸一化操作。

(2)利用歐幾里得距離的高斯模型加權(quán)特征對比度，求得各個(gè)特征圖第i塊的顯著性值。

亮度特征顯著性圖：

$S_i^1={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^1---\left(14\right)$

Cb特征顯著性圖：

$S_i^2={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^2---\left(15\right)$

Cr特征顯著性圖：

$S_i^3={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^3---\left(16\right)$

紋理特征顯著性圖：

$S_i^4={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^4---\left(17\right)$

深度特征顯著性圖：

$S_i^5={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^5---\left(18\right)$

以上式中d_ij表示塊i和塊j之間的歐幾里得距離，σ是高斯模型的參數(shù)，它用來決定局部和全局對比度的程度，σ＝5。

(3)由公式(14)-(18)計(jì)算得到5個(gè)特征的顯著圖S¹，S²，S³，S⁴，S⁵，將5 個(gè)特征的顯著圖融合成空間顯著性圖：

$S^s=\frac{1}{5}(S^1+S^2+S^3+S^4+S^5)---\left(19\right)$

而且，步驟2所述提取三維視頻幀中的運(yùn)動信息，包含平面運(yùn)動和深度運(yùn)動，求出時(shí)間顯著性圖的具體方法包含以下步驟：

(1)通過光流法的出平面x方向和y方向的運(yùn)動特征，M_x和M_y，那么平面方向的運(yùn)動特征M_p可表示如下：

$M_p=\sqrt{{M_x}^2+{M_y}^2}---\left(20\right)$

(2)計(jì)算深度方向上的運(yùn)動特征M_d：

M_d(m_t,n_t,t)＝F(i_t+M_x(m_t,n_t,t),j_t+M_y(m_t,n_t,t),t+1)-F(m_t,n_t,t)

(21)

式中F為公式(8)中的深度信息圖，m和n表示圖片中像素點(diǎn)的坐標(biāo)，t表示三維視頻中的第t幀。

(3)針對時(shí)域特征M_d和M_p，計(jì)算塊之間的特征對比度Q：

深度方向運(yùn)動特征對比度：

$Q_{ij}^d=\frac{\left|M_{d_i}-M_{d_j}\right|}{\left|M_{d_i}\right|+\left|M_{d_j}\right|}---\left(22\right)$

平面方向運(yùn)動特征對比度：

$Q_{ij}^p=\frac{\left|M_{p_i}-M_{p_j}\right|}{\left|M_{p_i}\right|+\left|M_{p_i}\right|}---\left(23\right)$

i和j代表第i個(gè)圖像塊和第j個(gè)圖像塊，分母為歸一化操作。

(4)利用歐幾里得距離的高斯模型加權(quán)運(yùn)動特征對比度，求得運(yùn)動特征圖q中第i塊的顯著性值：

深度方向運(yùn)動特征的顯著性圖：

$v_i^d={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{Q}_{ij}^d---\left(24\right)$

平面方向運(yùn)動特征的顯著性圖：

$v_i^p={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{Q}_{ij}^p---\left(25\right)$

表示塊i和j之間深度方向的運(yùn)動特征對比度，表示塊i和j之間的平面上 的運(yùn)動特征對比度，d_ij表示塊i和塊j之間的歐幾里得距離，σ是高斯模型的參數(shù)，它用來決定局部和全局對比度的程度，σ＝5。

(5)將時(shí)間域下的2個(gè)特征圖的顯著性值融合成時(shí)間顯著性圖：

$S^t=\frac{1}{2}(v^d+v^p)---\left(26\right)$

而且，步驟3所述基于格式塔心理學(xué)原理的相近性法則和連續(xù)性法則，得出對空間顯著性圖加權(quán)值的具體方法包含以下步驟：

(1)根據(jù)標(biāo)準(zhǔn)圖確立顯著性圖的中心點(diǎn)坐標(biāo)：

$x_c=\frac{1}{M}{\Σ}_{(m,n)\∈R_S}{\mathrm{mS}}_{m,n}---\left(27\right)$

$y_c=\frac{1}{M}{\Σ}_{(m,n)\∈R_S}{\mathrm{nS}}_{m,n}---\left(28\right)$

式中R_s為標(biāo)準(zhǔn)顯著性圖中所有的像素點(diǎn)，M為它們的總個(gè)數(shù)，S_m,n為像素點(diǎn)(m,n)的顯著性值。

(2)經(jīng)實(shí)驗(yàn)擬合出離中心點(diǎn)距離和成為顯著性點(diǎn)可能性大小的函數(shù)關(guān)系：

$p\left(s\right|h)=0.9646\×e^{{(-(\frac{h}{9330}\left)\right)}^{2.8844}}---\left(29\right)$

p(s|h)表示當(dāng)前像素點(diǎn)為顯著性點(diǎn)可能性的大小，h表示視頻幀中各像素點(diǎn)離中心點(diǎn)的距離，s表示當(dāng)前像素點(diǎn)為顯著性點(diǎn)。

(3)計(jì)算空域下可能性熵值的大?。?/p>

U^(s)＝H_b(p(s|h)) (30)

其中H_b(p)為二值熵函數(shù)，計(jì)算如下：-plog₂p-(1-p)log₂(1-p)

而且，步驟4所述基于格式塔心理學(xué)原理的共同命運(yùn)法則，得出對時(shí)間顯著性圖加權(quán)值的具體方法包含以下步驟：

(1)根據(jù)運(yùn)動特征M_x和M_y，M_x和M_y分別為平面x方向和y方向的運(yùn)動大小，那么平面運(yùn)動的方向可計(jì)算為：

${\mathrm{\θ}}_{(m,n)}={\tan }^{-1}\frac{{\mathrm{My}}_{(m,n)}}{{\mathrm{Mx}}_{(m,n)}}---\left(31\right)$

式中(m,n)為運(yùn)動特征圖像素點(diǎn)的坐標(biāo)，M_y和M_x通過光流法計(jì)算得出。

(2)求出運(yùn)動方向差異值：

${\mathrm{\θ}}^{\′}={\mathrm{\θ}}_{(m,n)}-{\mathrm{\θ}}_{(x_c,y_c)}---\left(32\right)$

θ′為運(yùn)動方向與中心點(diǎn)坐標(biāo)下的運(yùn)動方向的差異，θ由公式(31)得出，(m,n)為每個(gè)像素點(diǎn)的坐標(biāo)，(x_c,y_c)由公式(27)(28)得到，為顯著中心點(diǎn)的坐標(biāo)。

(3)經(jīng)實(shí)驗(yàn)擬合出像素點(diǎn)方向差異和成為顯著性點(diǎn)可能性大小的函數(shù)關(guān)系：

$U^{\mathrm{\θ}}=\exp \left(\frac{-{\mathrm{\θ}}^{\′}}{14.58}\right)---\left(33\right)$

式中θ′為每個(gè)像素點(diǎn)與中心點(diǎn)的方向差異，由公式(32)得出。

(4)根據(jù)運(yùn)動特征M_x，M_y和M_d，求出平面方向x，y和深度方向與中心點(diǎn)差異C：

平面方向的大小差異：

$C^p=M_{p_{(m,n)}}-M_{p_{(x_c,y_c)}}---\left(34\right)$

式中M_p為公式(20)得出，(m,n)為像素點(diǎn)坐標(biāo)，(x_c,y_c)為顯著中心點(diǎn)坐標(biāo)

深度方向的大小差異：

$C^d=M_{d_{(m,n)}}-M_{d_{(x_c,y_c)}}---\left(35\right)$

式中M_d為公式(21)得出，(m,n)為像素點(diǎn)坐標(biāo)，(x_c,y_c)為顯著中心點(diǎn)坐標(biāo)。

(5)經(jīng)實(shí)驗(yàn)擬合出像素點(diǎn)運(yùn)動大小差異和成為顯著性點(diǎn)可能性大小的函數(shù)關(guān)系：

$U^r=\exp \left(\frac{-C^r}{23.64}\right)---\left(36\right)$

r∈{p,d}，C由公式(34)(35)得出。

(6)計(jì)算時(shí)域下可能性熵值的大小：

$U^t=\frac{1}{3}(U^{\mathrm{\θ}}+U^p+U^d)---\left(37\right)$

式中U^t為時(shí)域下的權(quán)值，U^θ為公式(33)所得，U^p和U^d為公式(36)所得。

而且，其特征在于：步驟5所述根據(jù)時(shí)間顯著性加權(quán)值和空間顯著性加權(quán)值，融合得到三維視頻的圖像顯著區(qū)域的具體方法為：

$S=\frac{U^s{S}^s+U^t{S}^t}{U^s+U^t}---\left(38\right)$

U^s為空域下的權(quán)值，U^t為時(shí)域下的權(quán)值，S^s為空間顯著性圖，S^t為時(shí)域顯著性圖。

本發(fā)明的優(yōu)點(diǎn)和技術(shù)效果：

本發(fā)明算法合理高效，提出了一種新穎的方法結(jié)合三維視頻下的時(shí)間顯著性圖和空間顯著性圖。在空間顯著性檢測中，提取低層級特征結(jié)合歐幾里得距離的高斯模型求得空間顯著性圖；在時(shí)間顯著性檢測中，利用光流法檢測出平面運(yùn)動信息和深度運(yùn)動信息，在結(jié)合歐幾里得距離的高斯模型得出時(shí)間顯著性圖。最后利用格式塔心理學(xué)中的相近性原則和共同命運(yùn)原則，求得運(yùn)動方向，大小差異，分別得出空域和時(shí)域下的權(quán)值，且融合得出最終的三維視頻顯著性區(qū)域。本發(fā)明魯棒性高，評價(jià)指標(biāo)皆高于目前最好的算法，可擴(kuò)展性強(qiáng)。

附圖說明

圖1為本發(fā)明流程圖。

圖2為對于不同顯著性檢測算法的比較。第一列至最后一列分別為：三維視頻幀的原始圖像，Itti-二維顯著性圖像，F(xiàn)ang-三維顯著性圖像，本發(fā)明的實(shí)驗(yàn)圖像，參考圖像。從這些比較中，我們可以發(fā)現(xiàn)Itti-二維的顯著性檢測模型只能檢測到圖片的輪廓信息。Fang-三維的顯著性檢測模型丟失了一下顯著性區(qū)域，我們提出的顯著性檢測方法和現(xiàn)存的參考圖像最相近。

圖3為其他顯著性檢測方法與本文方法的比較，我們通過了三個(gè)指標(biāo)來進(jìn)行評價(jià)：AUC(Area Under Curve)曲線下面積，目前最為流行的評價(jià)方法；CC(correlation coefficient)線性相關(guān)系數(shù)，可比較算法得出的顯著性圖與標(biāo)準(zhǔn)圖之間的相關(guān)性；NSS(Normalized scanpath saliency)。這三者的值都介于0到1之間，且值越大證明提出的方法效果越好。

具體實(shí)施方式

下面結(jié)合附圖，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

本發(fā)明的過程如圖1所示，具體過程如下。

步驟1：提取三維視頻幀中低層級視覺特征來計(jì)算特征對比度，利用歐幾里得距離的高斯模型求得三維視頻幀的空間顯著性圖；

首先將視頻幀分為8*8的圖像塊，令r，g，b代表圖像的紅色、綠色和藍(lán)色通道，定義圖像塊新的特征，新的紅色特征R＝r-(g+b)，新的綠色特征 G＝g-(r+b)/2，新的藍(lán)色特征B＝b-(r+g)/2，新的黃色特征根據(jù)以上定義，我們可以計(jì)算圖像塊的如下特征：

(1)亮度分量I：

I＝(r+g+b)/3 (1)

(2)第一個(gè)顏色分量C_b：

C_b＝B-Y (2)

(3)第一個(gè)顏色分量C_r：

C_r＝R-G (3)

(4)根據(jù)公式(1)-(3)計(jì)算得到三個(gè)圖像塊特征分量，然后分別計(jì)算其DCT(Discrete Cosine Transform，離散余弦變換)系數(shù)。利用圖像塊三個(gè)特征的DC系數(shù)(直流系數(shù))，來分別表示圖像塊的三個(gè)特征，假設(shè)由亮度分量(公式(1))通過DCT計(jì)算得到的DC_I，第一個(gè)顏色分量(公式(2))通過DCT計(jì)算得到的DC系數(shù)為DC_b，第二個(gè)顏色分量(公式(3))通過DCT計(jì)算得到的DC系數(shù)為DC_r。因此，圖像的亮度特征：

D₁＝DC_I (4)

兩個(gè)顏色特征分別為：

D₂＝DC_b (5)

D₃＝DC_r (6)

由于顏色分量主要包括圖像的色彩信息，因此，我們用亮度分量通過DCT得到的AC系數(shù)(交流系數(shù))來表示圖像塊的紋理特征，對于一個(gè)8*8的圖像塊，一共有63個(gè)AC系數(shù)。因此圖像塊的紋理特征D₄可以表示如下：

D₄＝{t₁,t₂,…,t₆₃} (7)

(5)三維視頻幀的深度信息F可以根據(jù)以下公式計(jì)算：

$F=v/(1+\frac{E*h}{P*\mathrm{\ω}})---\left(8\right)$

式中v代表視覺觀察距離，v＝75cm，E為雙眼間的距離，E＝4.5cm，ω和h是播放屏幕的寬度和水平分辨率，分別為30cm和80像素/英寸，P為三維視頻幀左視圖和右視圖像素間的視差大小。由公式(8)，我們可以計(jì)算圖像塊的深度信息D₅，通過DCT計(jì)算得到深度信息的DC系數(shù)DC_F，我們把圖像塊深度信息的DC 系數(shù)表示為圖像塊的深度特征D₅＝DC_F。

然后針對所有特征D₁，D₂，D₃，D₄，D₅，計(jì)算塊之間的特征對比度W：

圖像塊i和j之間的亮度特征對比度為：

$W_{ij}^1=\frac{\left|D_{1_i}-D_{1_j}\right|}{D_{1_i}+D_{1_j}}---\left(9\right)$

圖像塊i和j之間的顏色C_b特征對比度為：

$W_{ij}^2=\frac{\left|D_{2_i}-D_{2_j}\right|}{D_{2_i}+D_{2_j}}---\left(10\right)$

圖像塊i和j之間的顏色C_r特征對比度為：

$W_{ij}^3=\frac{\left|D_{3_i}-D_{3_j}\right|}{D_{3_i}+D_{3_j}}---\left(11\right)$

圖像塊i和j之間的深度特征對比度為：

$W_{ij}^5=\frac{\left|D_{5_i}-D_{5_j}\right|}{D_{5_i}+D_{5_j}}---\left(12\right)$

其中，i和j代表第i個(gè)圖像塊和第j個(gè)圖像塊，分母為歸一化操作，由公式(9)-(12)可以求得圖像不同特征的特征對比度W¹，W²，W³，W⁵。

圖像塊i和j之間的紋理特征T對比度為：

$W_{ij}^4=\frac{\sqrt{{\Σ}_t{(D_{4i}^t-D_{4j}^t)}^2}}{{\Σ}_t(D_{4i}^t+D_{4j}^t)}---\left(13\right)$

由公式(13)可以求得圖像的紋理特征對比度W⁴，和是由公式(7)得到的紋理特征，t∈{1,2,…,63}，i和j代表第i個(gè)圖像塊和第j個(gè)圖像塊，分母為歸一化操作。

再利用歐幾里得距離的高斯模型加權(quán)特征對比度，求得各個(gè)特征圖第i塊的顯著性值。

亮度特征顯著性圖：

$S_i^1={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^1---\left(14\right)$

Cb特征顯著性圖：

$S_i^2={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^2---\left(15\right)$

Cr特征顯著性圖：

$S_i^3={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^3---\left(16\right)$

紋理特征顯著性圖：

$S_i^4={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^4---\left(17\right)$

深度特征顯著性圖：

$S_i^5={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{W}_{ij}^5---\left(18\right)$

以上式中d_ij表示塊i和塊j之間的歐幾里得距離，σ是高斯模型的參數(shù)，它用來決定局部和全局對比度的程度，σ＝5。

最后，由公式(14)-(18)計(jì)算得到5個(gè)特征的顯著圖S¹，S²，S³，S⁴，S⁵，將5個(gè)特征的顯著圖融合成空間顯著性圖：

$S^s=\frac{1}{5}(S^1+S^2+S^3+S^4+S^5)---\left(19\right)$

步驟2：采用運(yùn)動信息來獲取時(shí)間顯著性，對于三維視頻中的運(yùn)動信息，用水平運(yùn)動和深度運(yùn)動共同計(jì)算時(shí)間顯著性圖。

在本步驟中，計(jì)算運(yùn)動信息的過程如下：

(1)通過光流法的出平面x方向和y方向的運(yùn)動特征，M_x和M_y，那么平面方向的運(yùn)動特征M_p可表示如下：

$M_p=\sqrt{{M_x}^2+{M_y}^2}---\left(20\right)$

(2)計(jì)算深度方向上的運(yùn)動特征M_d：

M_d(m_t,n_t,t)＝F(i_t+M_x(m_t,n_t,t),j_t+M_y(m_t,n_t,t),t+1)-F(m_t,n_t,t)

(21)

式中F為公式(8)中的深度信息圖，m和n表示圖片中像素點(diǎn)的坐標(biāo)，t表示三維視頻中的第t幀。

然后針對時(shí)域特征M_d和M_p，計(jì)算塊之間的特征對比度Q：

深度方向運(yùn)動特征對比度：

$Q_{ij}^d=\frac{\left|M_{d_i}-M_{d_j}\right|}{\left|M_{d_i}\right|+\left|M_{d_j}\right|}---\left(22\right)$

平面方向運(yùn)動特征對比度：

$Q_{ij}^p=\frac{\left|M_{p_i}-M_{p_j}\right|}{\left|M_{p_i}\right|+\left|M_{p_i}\right|}---\left(23\right)$

i和j代表第i個(gè)圖像塊和第j個(gè)圖像塊，分母為歸一化操作。

再利用歐幾里得距離的高斯模型加權(quán)運(yùn)動特征對比度，求得運(yùn)動特征圖q中第i塊的顯著性值：

深度方向運(yùn)動特征的顯著性圖：

$v_i^d={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{Q}_{ij}^d---\left(24\right)$

平面方向運(yùn)動特征的顯著性圖：

$v_i^p={\Σ}_{j\≠i}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{d_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{Q}_{ij}^p---\left(25\right)$

表示塊i和j之間深度方向的運(yùn)動特征對比度，表示塊i和j之間的平面上的運(yùn)動特征對比度，d_ij表示塊i和塊j之間的歐幾里得距離，σ是高斯模型的參數(shù)，它用來決定局部和全局對比度的程度，σ＝5。

最后將時(shí)間域下的2個(gè)特征圖的顯著性值融合成時(shí)間顯著性圖：

$S^t=\frac{1}{2}(v^d+v^p)---\left(26\right)$

步驟3：基于格式塔心理學(xué)原理的相近性法則，得出對空間顯著性圖加權(quán)值。

首先根據(jù)標(biāo)準(zhǔn)圖確立顯著性圖的中心點(diǎn)坐標(biāo)：

$x_c=\frac{1}{M}{\Σ}_{(m,n)\∈R_S}{\mathrm{mS}}_{m,n}---\left(27\right)$

$y_c=\frac{1}{M}{\Σ}_{(m,n)\∈R_S}{\mathrm{nS}}_{m,n}---\left(28\right)$

式中R_s為標(biāo)準(zhǔn)顯著性圖中所有的像素點(diǎn)，M為它們的總個(gè)數(shù)，S_m,n為像素點(diǎn)(m,n)的顯著性值。

經(jīng)實(shí)驗(yàn)擬合出離中心點(diǎn)距離和成為顯著性點(diǎn)可能性大小的函數(shù)關(guān)系：

$p\left(s\right|h)=0.9646\×e^{{(-(\frac{h}{9330}\left)\right)}^{2.8844}}---\left(29\right)$

p(s|h)表示當(dāng)前像素點(diǎn)為顯著性點(diǎn)可能性的大小，h表示視頻幀中各像素點(diǎn)離中心點(diǎn)的距離，s表示當(dāng)前像素點(diǎn)為顯著性點(diǎn)。

然后計(jì)算空域下可能性熵值的大?。?/p>

U^(s)＝H_b(p(s|h)) (30)

其中H_b(p)為二值熵函數(shù)，計(jì)算如下：-plog₂p-(1-p)log₂(1-p)

步驟4：基于格式塔心理學(xué)原理的共同命運(yùn)法則，得出對時(shí)間顯著性圖加權(quán) 值。

首先根據(jù)運(yùn)動特征M_x和M_y，M_x和M_y分別為平面x方向和y方向的運(yùn)動大小，那么平面運(yùn)動的方向可計(jì)算為：

${\mathrm{\θ}}_{(m,n)}={\tan }^{-1}\frac{{\mathrm{My}}_{(m,n)}}{{\mathrm{Mx}}_{(m,n)}}---\left(31\right)$

式中(m,n)為運(yùn)動特征圖像素點(diǎn)的坐標(biāo)，M_y和M_x通過光流法計(jì)算得出。

求出運(yùn)動方向差異值：

${\mathrm{\θ}}^{\′}={\mathrm{\θ}}_{(m,n)}-{\mathrm{\θ}}_{(x_c,y_c)}---\left(32\right)$

θ^′為運(yùn)動方向與中心點(diǎn)坐標(biāo)下的運(yùn)動方向的差異，θ由公式(31)得出，(m,n)為每個(gè)像素點(diǎn)的坐標(biāo)，(x_c,y_c)由公式(27)(28)得到，為顯著中心點(diǎn)的坐標(biāo)。

并且經(jīng)實(shí)驗(yàn)擬合出像素點(diǎn)方向差異和成為顯著性點(diǎn)可能性大小的函數(shù)關(guān)系：

$U^{\mathrm{\θ}}=\exp \left(\frac{-{\mathrm{\θ}}^{\′}}{14.58}\right)---\left(33\right)$

式中θ′為每個(gè)像素點(diǎn)與中心點(diǎn)的方向差異，由公式(32)得出。

然后根據(jù)運(yùn)動特征M_x，M_y和M_d，求出平面方向x，y和深度方向與中心點(diǎn)差異C：

平面方向的大小差異：

$C^p=M_{p_{(m,n)}}-M_{p_{(x_c,y_c)}}---\left(34\right)$

式中M_p為公式(20)得出，(m,n)為像素點(diǎn)坐標(biāo)，(x_c,y_c)為顯著中心點(diǎn)坐標(biāo)

深度方向的大小差異：

$C^d=M_{d_{(m,n)}}-M_{d_{(x_c,y_c)}}---\left(35\right)$

式中M_d為公式(21)得出，(m,n)為像素點(diǎn)坐標(biāo)，(x_c,y_c)為顯著中心點(diǎn)坐標(biāo)。

且經(jīng)實(shí)驗(yàn)擬合出像素點(diǎn)運(yùn)動大小差異和成為顯著性點(diǎn)可能性大小的函數(shù)關(guān)系：

$U^r=\exp \left(\frac{-C^r}{23.64}\right)---\left(36\right)$

r∈{p,d}，C由公式(34)(35)得出。

最后計(jì)算時(shí)域下可能性熵值的大?。?/p>

$U^t=\frac{1}{3}(U^{\mathrm{\θ}}+U^p+U^d)---\left(37\right)$

式中U^t為時(shí)域下的權(quán)值，U^θ為公式(33)所得，U^p和U^d為公式(36)所得。

步驟5：根據(jù)時(shí)間顯著性加權(quán)值和空間顯著性加權(quán)值，融合得到三維視頻的圖像顯著區(qū)域，具體方法為：

$S=\frac{U^s{S}^s+U^t{S}^t}{U^s+U^t}---\left(38\right)$

U^s為空域下的權(quán)值，U^t為時(shí)域下的權(quán)值，S^s為空間顯著性圖，S^t為時(shí)域顯著性圖。

實(shí)驗(yàn)證明我們提出的三維視頻顯著性檢測方法明顯優(yōu)于目前的其他方法。主要通過圖2和三種方法來進(jìn)行評估，ROC受試者工作特征曲線，線性相關(guān)系數(shù)和NSS。ROC曲線廣泛的應(yīng)用于視覺注意力模型性能的檢測中，通過定義閾值，視覺注意力模型的顯著性圖可以被分為顯著點(diǎn)和非顯著點(diǎn)。TPR真正類表示視覺注意力模型中目標(biāo)點(diǎn)在為顯著點(diǎn)的百分比，而FPR假正類表示視覺注意力模型中背景點(diǎn)被檢測為顯著點(diǎn)的百分比。AUC是ROC曲線下的面積，能更好的性能進(jìn)行評估，視覺注意力模型越好，那么它的AUC的值越大；相關(guān)系數(shù)用來衡量顯著性圖和位圖之間的線性相關(guān)程度，相關(guān)系數(shù)會介于0到1之間，相關(guān)系數(shù)越大，則視覺注意力模型的性能則越好。同樣對于NSS的值，也是值越大，視覺注意力模型的性能更好。

上述內(nèi)容為本發(fā)明的詳細(xì)說明，任何依照本發(fā)明的權(quán)利要求范圍所做的同等變化與修改，皆為本發(fā)明的權(quán)利要求范圍所涵蓋。