專利名稱：基于人類視覺注意系統(tǒng)的圖像感興趣區(qū)域自動提取方法
技術領域：
本發(fā)明涉及提取圖像感興趣區(qū)域的方法，特別涉及通過模擬人類視覺注意系 統(tǒng)提取圖像感興趣區(qū)域的方法，用于圖像分析和圖像壓縮技術領域。
背景技術：
隨著計算機網絡通信技術的快速發(fā)展，互聯(lián)網提供信息服務，尤其是圖像信 息，正在迅速發(fā)展。
圖像信息的數據量龐大，如何有效地處理圖像信息成為圖像信息服務的研究 熱點。對于人類視覺系統(tǒng)，圖像所提供的信息并非處處同等重要。圖像的某些區(qū) 域提供了人們理解圖像所需的主要內容，稱之為感興趣區(qū)域；而另外一些區(qū)域僅 提供一些次要的背景內容。尋找出圖像感興趣區(qū)域，對圖像分析、圖像壓縮等都 有重要的意義。
W. 0sberger 禾B A. J. Maeder在文章，，Automatic identification of perceptually important regions in the image" ， in Proc. Int， 1 Conf. Pattern Recognition, 1998， pp. 17-20中，提出一種基于人類視覺注意系統(tǒng)提 取感興趣區(qū)域的方法。該方法以圖像的分割為基礎來分析圖像特征因素，然后確 定感興趣區(qū)域。因此該方法的成敗取決于分割算法。Itti Laurent等人在文 章"A model of saliency-based visual attention for rapid scene analysis": IEEE Trans. Pattern Analysis and Machine Intelligence,vol.20， no.11， pp 1254-1259， 1998中，提出一種通過分析每個像素點的顏色、方向和亮度這三個 特征因素提取感興趣區(qū)域的方法。該方法易于分析和實現(xiàn)，且能準確的定位出感 興趣區(qū)域的大致位置。由于該方法中采用高斯金字塔模型來分析圖像的特征，這 是一種下采樣的算法，因此操作中無法避免的會失去圖像的一些具體信息，如邊 緣信息等。C. M. Priviter和L. W. Stark在文章"Algorithms for defining visual region-of-interesting: Comparison with eye fixations" ， IEEE Trans. Pattern Anal. Machine Intell. vol. 22' no.9， pp. 970-982， 2000
4中，提出了基于圖像單個特征，運用分割算法直接從圖像中提取感興趣區(qū)域。這 種方法操作簡單，易于實現(xiàn)。對于簡單的圖像，能有效提取出其感興趣區(qū)域；但 對于具有復雜背景的圖像，該方法效果比較差。SooYeong Kwak等在文 章，，Automatic salient-object extraction using the contrast map and salient point" ， in Advances in Multimedia Information Processing - PCM 2004. vol. 3332 of LNCS， pp. 138-145， Springer Berlin.以及K. B. Chul 等在文章"Automatic object-of-interest segmentation from nature images ，， ， in PR0C. Int' 1 Conf Pattern Recognition, 2006, pp.45-48中，提出的應用關注窗口檢測顯著目標的方法。這些方法 由于都是采用Itti的模型來建立顯著圖，因此在操作過程中也會丟失 邊緣等細節(jié)信息，而且當圖像中同時出現(xiàn)多個目標時，應用關注窗口 法檢測多個顯著目標會失效。
發(fā)明內容
本發(fā)明的目的在于克服上述已有技術中存在的缺陷和不足，提 供一種操作簡單的基于人類視覺注意系統(tǒng)的圖像感興趣區(qū)域自動提 取方法，以有效提取具有復雜背景的圖像的感興趣區(qū)域，以及圖像中 出現(xiàn)的多個目標物體。
為實現(xiàn)上述目的，本發(fā)明模擬人類視覺注意系統(tǒng)，分析圖像中 影響人類視覺系統(tǒng)的低級因素和高級因素，本發(fā)明主要分析影響視覺 系統(tǒng)的局部亮度對比度、全局亮度對比度和邊緣這三個低級因素建立 的對比度圖，以及位置這個高級因素建立的權重圖，結合對比度圖和
權重圖建立顯著圖，實現(xiàn)步驟如下
(1) 分別計算輸入圖像每個像素點的局部亮度對比度、全局亮 度對比度和邊緣這三個低級特征因素；
(2) 應用全局非線性歸一化合并算法融合輸入圖像的局部亮度 對比度、全局亮度對比度和邊緣這三個低級特征因素，生成對比度(3) 根據輸入圖像每個像素點在圖像中的位置計算該像素點在 圖像中的權重，得到輸入圖像對應的權重(4) 由所述的對比度圖和權重圖，生成輸入圖像的顯著5(5)根據顯著圖的指示確定輸入圖像的感興趣區(qū)域。 所述的計算局部亮度對比度，是計算出每個像素點與其周邊局 部范圍內的亮度差，計算步驟如下
(2a)采用高斯函數對輸入圖像做平滑處理
/0,) = /(8)(70,) I為輸入圖像的原圖，G(力為高斯函數，/(a,)為平滑處理
其中，
后的圖像；
(2b)
值
用高斯差函數計算像素與其周邊小領域內的絕對亮度差
<formula>formula see original document page 6</formula>其中O",的值決定中心像素點與周邊小領域內像素點的關聯(lián)度， 這里設巧=1， /Oc,y,q)為經過第一方差。高斯函數平滑處理后圖像的 像素點，/";;,2)為經過第二方差(72高斯函數平滑處理后圖像的像素 點，DoG(x,;;,q,c72)為局部亮度對比度值；
(2c)取兩個不同的0"2值，分別得到兩幅亮度差值圖Z)oGl和
Z)oG2，通過全局非線性歸一化融合方法對這兩幅圖像進行合并，得 到局部亮度對比度圖。
所述的根據輸入圖像每個像素點在圖像中的位置計算該像素點 在圖像中的權重，利用如下公式進行計算
<formula>formula see original document page 6</formula>
其中'center，為圖像中心丄x丄區(qū)域，r為點(x,力到輸入圖像中
<formula>formula see original document page 6</formula>
心區(qū)域的距離，R是輸入圖像邊緣到其中心的距離。 本發(fā)明具有如下優(yōu)點-
1)本發(fā)明由于采用模擬人類視覺系統(tǒng)的方法，根據圖像中影響人類視覺體系關注的多個因素分析輸入圖像，提取人眼感興趣區(qū)域， 所以能準確提取輸入圖像感興趣區(qū)域。
2) 本發(fā)明基于輸入圖像的每個像素點做運算，所以設計過程簡 單，易于實現(xiàn)。
3) 本發(fā)明由于分析輸入圖像每個像素點的局部亮度對比度、全
局亮度對比度和邊緣這三個特征，所以能提取出物體的邊緣信息。
4) 本發(fā)明由于采用根據顯著圖的指示尋找感興趣區(qū)域，因而能 同時提取多個感興趣區(qū)域。
具體實施例方式
參照圖l，本發(fā)明的具體實現(xiàn)步驟如下
步驟l,分別計算輸入圖像每個像素點的局部亮度對比度、全局 亮度對比度和邊緣這三個低級特征因素。
(la)計算局部亮度對比度 高斯差(Differential of Gaussian)函數能有效地表示中心像素點 與其周圍領域像素間的差別，所以采用高斯差函數來計算局部區(qū)域內 的亮度對比度。
參照圖2，本發(fā)明中局部亮度對比度的計算如下 首先，采用高斯函數對輸入圖像做平滑處理-
/(cr,W②G(cr,)
其中，I為輸入圖像的原圖，G(cr)為高斯函數，/(a,)為平滑處理
后的圖像，②為巻積符號；
其次，采用高斯差函數計算像素與其周邊小領域內的絕對亮度差 值，當A值從小變大時，圖像被平滑處理的越模糊，同時每個中心像
素點也包含了更多的周圍像素點的信息，當取不同的巧值時，高斯差 函數為
"oG(x, >>; ， cr2) = |/(x, _y; cr,) - /(x， <r2 )| ( A)
其中/(x,少，q)為經過第一方差cr,所對應的高斯巻積核Gl平滑處理后圖像的像素點，/(x,乂^)為經過第二方差^高斯函數平滑處理后圖 像的像素點，這里我們設O",l，且^-0"2,/)^(;^,0"1,(72)為高斯差函數 在(X,力處的值;
然后，利用高斯差函數檢測圖像中目標物體時，其效果與q的 取值以及目標物體的尺寸大小相關，對于尺寸小的目標物體，取其相 應小的 值，局部對比度檢測效果較好；而對于尺寸大的目標物體，
取其大的0"2值，局部對比度檢測效果較好；在沒有任何關于圖像中
目標物體先驗知識的情況下，取其最小的C7;值及其最大的0^值得到 兩個高斯巻積核G21和G22，根據式(A)得到兩幅亮度差值圖DoGl和
最后，用非線性歸 一 化合并法融合這兩幅亮度差值圖"oGl和 Z oG2，得到局部對比度。
(lb)計算全局亮度對比度
當一幅圖中某個區(qū)域的亮度在整幅圖中凸出時，勢必吸引觀察者 的注意力，全局亮度對比度表示每個像素點與全圖在亮度上的對比， 計算公式如下
<formula>formula see original document page 8</formula>
其中^(x,力是以點(x,力為中心的7x7領域的平均灰度值，k是
全圖的平均灰度值。
(lc)計算邊緣區(qū)域
邊緣區(qū)域是圖像中人類視覺系統(tǒng)非常敏感的區(qū)域，通常采用 canny算子提取圖像的邊緣特征，閾值設為0.5。
步驟2，建立輸入圖像的對比度圖。
建立輸入圖像的對比度圖是通過全局非線性歸一化合并算法進 行，該算法能全局提升那些僅有少數峰值的特征圖，全局壓制那些在 整幅圖像中有很多地方都存在相似大小峰值的特征圖，其具體步驟如下
(2a)將由步驟(la)、 (lb)和(lc)計算得到的局部亮度對比 度圖、全局亮度對比度圖和邊緣圖歸一化到同一個動態(tài)范圍(0-1); (2b)分別尋找這三幅圖的全局最大值M，并計算所有局部最大
值的平均值^;
(2c)分別對這三幅圖全局相應放大(M-M)M咅，得到三幅歸一 化后的(2d)將歸一化后的三幅圖相加得到亮度對比度圖。 步驟3，建立輸入圖像的權重圖。
人類視覺系統(tǒng)更加關注輸入圖像的中心區(qū)域，所以輸入圖像的中 區(qū)域像素點權值大，而其邊緣區(qū)域的像素點權值小，具體計算公式
心 如
下
<formula>formula see original document page 9</formula>
其中'
域的距 步驟4
根據上 像對應
2center'為圖像中心丄x丄區(qū)域，r為點(x,力到輸入圖像中
4 4
離，R是邊緣到輸入圖像中心的距離。
建立輸入圖像的顯著圖。 述步驟2和步驟3所得輸入圖像的對比度圖和權重圖，建 立圖像對應的顯著圖為
<formula>formula see original document page 9</formula>
其中，CM為輸入圖像的對比度圖，『w為輸入圖像的權重圖。
該顯著圖中每個點的亮度值代表其對應圖像像素點的敏感度，顯 著圖中某點的亮度值越大，表示該點在原圖中的顯著性越高，吸引視 覺系統(tǒng)更多的注意力。
步驟5，提取輸入圖像的感興趣區(qū)域。 (5a)根據顯著圖亮度高的地方吸引視覺系統(tǒng)更多的關注的特點，設定閾值提取出顯著圖中亮度值高的區(qū)域-
L 0 e/se (B)
其中，i (9/為輸入圖像二值化后的圖，1代表有效區(qū)域，0代表 無效區(qū)域；T為分割閾值，這里我們設T值為SM圖中最大值的一半。 (5b)根據式(B)得到一幅二值圖，對該二值圖作形態(tài)學處理， 以去除一些因噪聲而造成的干擾小區(qū)域，經過處理后的二值圖中其值 為1的區(qū)域即為感興趣區(qū)域。
權利要求
1. 一種基于人類視覺注意系統(tǒng)的圖像感興趣區(qū)域自動提取方法，包括如下步驟(1)分別計算輸入圖像每個像素點的局部亮度對比度、全局亮度對比度和邊緣這三個低級特征因素；(2)應用全局非線性歸一化合并算法融合輸入圖像的局部亮度對比度、全局亮度對比度和邊緣這三個低級特征因素，生成對比度圖；(3)根據輸入圖像每個像素點在圖像中的位置計算該像素點在圖像中的權重，得到輸入圖像對應的權重圖；(4)由所述的對比度圖和權重圖，生成輸入圖像的顯著圖；(5)根據顯著圖的指示確定輸入圖像的感興趣區(qū)域。
2. 如權利要求1所述的方法，其步驟(1)所述的計算局部亮 度對比度，是計算出每個像素點與其周邊局部范圍內的亮度差，計算 步驟如下(2a)采用高斯函數對輸入圖像做平滑處理其中，/為輸入圖像的原圖，GO,)為高斯函數，/(巧)為平滑處理 后的圖像；(2b)用高斯差函數計算像素與其周邊小領域內的絕對亮度差值DoG(x, y, 。, cr2) = _y, CTj) - /(x, _y, cr2 )| 其中A的值決定中心像素點與周邊小領域內像素點的關聯(lián)度， 這里設q =1，/(X,乂q)為經過第一方差q高斯函數平滑處理后圖像的像素點，/Oc,乂q)為經過第二方差^高斯函數平滑處理后圖像的像素點， Z3oG(;c,乂(T,0"2)為局部亮度對比度值；(2c)取兩個不同的0"2值，分別得到兩幅亮度差值圖Z)oGl和Z)oG2，通過全局非線性歸一化融合方法對這兩幅圖像進行合并，得 到局部亮度對比度圖。
3.如權利要求1所述方法，其中步驟(3)所述的根據輸入圖像 每個像素點在圖像中的位置計算該像素點在圖像中的權重，利用如下 公式進行計算-<formula>formula see original document page 3</formula>其中(center'為圖像中心丄x丄區(qū)域，r為點(x，力到輸入圖像中 心區(qū)域的距離，R是輸入圖像邊緣到其中心的距離。
全文摘要
本發(fā)明公開了一種基于人類視覺注意系統(tǒng)的圖像感興趣區(qū)域自動提取的方法，主要解決現(xiàn)有的提取感興趣區(qū)域方法不能提取多個感興趣區(qū)域和邊緣信息的問題。其步驟是先計算輸入圖像的局部亮度對比度、全局亮度對比度和邊緣；再通過全局非線性歸一化合并算法融合這三個特征對應的特征圖生成對比度圖；然后計算輸入圖像的位置特征建立權重圖；由對比度圖和權重圖來建立輸入圖像對應的顯著圖；最后根據顯著圖來分割出輸入圖像的感興趣區(qū)域。本發(fā)明可有效提取輸入圖像中多個感興趣區(qū)域，用于圖像分析和圖像壓縮技術領域。
文檔編號G06T7/00GK101533512SQ20091002219
公開日2009年9月16日 申請日期2009年4月24日 優(yōu)先權日2009年4月24日
發(fā)明者焱 劉, 吳金建, 石光明, 飛 齊 申請人:西安電子科技大學