本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種基于改進(jìn)SURF特征匹配的低照度成像方法。

背景技術(shù)：

多媒體、視頻監(jiān)控等技術(shù)發(fā)展迅猛，已成為人們交流以及記錄的常用工具。但在夜晚、陰天、會(huì)議室等低照度環(huán)境下進(jìn)行拍攝時(shí)，所得到的圖片對(duì)比度低、信噪比小、視覺(jué)效果差，圖像中的細(xì)節(jié)信息無(wú)法清晰體現(xiàn)出來(lái)，這使成像系統(tǒng)無(wú)法正常工作。因此，研究如何對(duì)低照度條件下的圖像進(jìn)行快速有效處理，如何提高圖片的亮度，降低光照條件對(duì)成像系統(tǒng)的影響具有重要的研究意義。

現(xiàn)有的低照度條件下成像方法，大多僅通過(guò)對(duì)低照度下獲取的單幅圖像進(jìn)行先去噪再增強(qiáng)的處理，采用該方法在一定程度上無(wú)法準(zhǔn)確體現(xiàn)出圖像細(xì)節(jié)，同時(shí)對(duì)于單幅低照度下獲取的圖像的增強(qiáng)算法而言，由于低照度下圖像信噪比已接近探測(cè)極限，同時(shí)輸出圖像不僅附加了嚴(yán)重的量子噪聲而且圖像的對(duì)比度已接近視覺(jué)的靈敏限。而利用幀累積的方法，通過(guò)增加積分時(shí)間，提高低照度下獲取的圖像的信噪比，但在幀累積的過(guò)程中，需要對(duì)多幀圖像進(jìn)行每幀圖像的特征點(diǎn)檢測(cè)、匹配和校準(zhǔn)，這過(guò)程需要消耗大量的時(shí)間，所以對(duì)算法實(shí)時(shí)性方面的改善很重要。近年來(lái)，基于SURF算法的圖像特征配對(duì)方法在圖像處理等關(guān)鍵技術(shù)中得到了廣泛的應(yīng)用?；谔卣鞯钠ヅ涫紫葘ふ覂煞鶊D像中的關(guān)鍵特征(如關(guān)鍵點(diǎn)、線)，然后對(duì)這些關(guān)鍵特征做篩選、映射，得到準(zhǔn)確的匹配。SIFT(scale invariant feature transform)算法是一種魯棒性好、具有尺度不變性的特征點(diǎn)檢測(cè)方法，但算法復(fù)雜度高，實(shí)時(shí)性較差；SURF(speeded up robust features)算法是繼SIFT算法后的有一個(gè)穩(wěn)定快速的特征提取算法，它除了具有SIFT算法的穩(wěn)定性外，最突出的優(yōu)點(diǎn)是算法速度快，實(shí)時(shí)性較強(qiáng)。SURF特征也是一種尺度、旋轉(zhuǎn)不變的特征描述方法。它對(duì)圖像的卷積做相似處理，在特征點(diǎn)定位環(huán)節(jié)引入的積分圖的概念，使求解Hessian矩陣的計(jì)算量大大降低，運(yùn)算時(shí)間相比SIFT大大減少。

針對(duì)這些特點(diǎn)，本發(fā)明提出一種基于改進(jìn)SURF特征匹配的低照度快速成像方法，在幀累積的低照度成像算法基礎(chǔ)上，通過(guò)采用改進(jìn)FAST(Features from Accelerated Segment Test)特征點(diǎn)檢測(cè)方法來(lái)代替多尺度空間中基于近似Hessian矩陣的特征點(diǎn)檢測(cè)，該方法較快檢測(cè)待測(cè)物體的體征點(diǎn)和數(shù)據(jù)庫(kù)圖像特征點(diǎn)并提取SURF特征向量，而且能夠準(zhǔn)確地完成圖像的匹配，可以大大減少匹配計(jì)算量，并對(duì)處理后圖像調(diào)整了對(duì)比度，提高了亮度，應(yīng)用在對(duì)圖像處理實(shí)時(shí)性要求較高和可實(shí)施性較強(qiáng)的成像系統(tǒng)中具有明顯的優(yōu)勢(shì)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題在于為了提高低照度下獲取的圖像的效率和可辨識(shí)度，使其滿足實(shí)時(shí)性需求，在低照度條件下提出一種改進(jìn)SURF算法和提高圖像對(duì)比度的快速成像方法。

本發(fā)明的具體技術(shù)方案如下：

一種基于改進(jìn)的SURF低照度快速成像方法，包括以下步驟：

步驟一，對(duì)原始圖像進(jìn)行前ISP(Image Signal Processing)處理并輸出；

步驟二，對(duì)進(jìn)行前ISP處理后輸出的低照度下獲取的多幀圖像進(jìn)行Surf特征點(diǎn)匹配獲得校準(zhǔn)圖像；

步驟三，對(duì)步驟二的所述校準(zhǔn)圖像采用加權(quán)累積方式進(jìn)行累加，每幅圖像權(quán)重相等；

步驟四，對(duì)步驟三得到的圖像進(jìn)行對(duì)比度調(diào)整；

步驟五，輸出最終處理完畢的圖像。

作為本發(fā)明的進(jìn)一步改進(jìn)，步驟一的前ISP處理中包括對(duì)原始圖像進(jìn)行白平衡處理，去馬賽克，色彩校正，轉(zhuǎn)RGB格式彩圖，最后經(jīng)過(guò)轉(zhuǎn)RGB格式彩圖后輸出適合SURF特征點(diǎn)匹配的圖像；

作為本發(fā)明的進(jìn)一步改進(jìn)，步驟二中的所述Surf特征點(diǎn)匹配的方法具體如下：

(一)改進(jìn)的FAST檢測(cè)特征點(diǎn)，將當(dāng)前像素點(diǎn)與其領(lǐng)域進(jìn)行比較判別，采用r＝3的圖像模板，即比較O點(diǎn)附近半徑為3的圓環(huán)上的16個(gè)鄰域點(diǎn)；再根據(jù)(1)式進(jìn)行計(jì)算，如果存在n個(gè)點(diǎn)與O點(diǎn)的灰度差值超過(guò)閾值t，則判定O點(diǎn)為特征點(diǎn)；

當(dāng)O為待檢測(cè)特征點(diǎn)中心像素點(diǎn)時(shí)，它的圓環(huán)上的點(diǎn)檢測(cè)結(jié)果有3種情況，即相似點(diǎn)s、較暗點(diǎn)d以及較亮點(diǎn)b；(1)式中：T₀為圓環(huán)上對(duì)應(yīng)的每種點(diǎn)的個(gè)數(shù)，H_i為圓環(huán)上第i個(gè)點(diǎn)對(duì)應(yīng)的灰度值，H₀為待檢測(cè)點(diǎn)對(duì)應(yīng)的灰度值；

設(shè)f₁和f₂分別為圖像中亮點(diǎn)和暗點(diǎn)在整幅圖像中的比重；

式(2)中：為加入約束后圓環(huán)上對(duì)應(yīng)的每種點(diǎn)的個(gè)數(shù)，權(quán)重α取值為0.5，β取值為3；而b_n、d_n和s_n分別為加入約束后得到的亮點(diǎn)、暗點(diǎn)和相似點(diǎn)個(gè)數(shù)；

定義一個(gè)函數(shù)W來(lái)進(jìn)行非特征點(diǎn)的剔除；

在(3)式中，S_b＝{N|H_i≥H₀+t}，S_d＝{N|H_i≤H₀+t}，S_b為較亮點(diǎn)區(qū)域，S_d為較暗點(diǎn)區(qū)域；

(二)確定特征點(diǎn)主方向；

首先，需要對(duì)每個(gè)特征點(diǎn)分配一個(gè)主方向，保證其特征向量具有旋轉(zhuǎn)不變性，以每個(gè)特征點(diǎn)為中心，并以6s為半徑的圓形區(qū)域內(nèi)，對(duì)圖像進(jìn)行以4s×4s模板大小的Haar小波梯度運(yùn)算，s為特征點(diǎn)的當(dāng)前尺度；對(duì)Haar小波的相應(yīng)值使用σ＝2s的高斯加權(quán)函數(shù)進(jìn)行加權(quán)運(yùn)算，以每個(gè)特征點(diǎn)為中心、角度為π/3的扇形滑動(dòng)窗口，獲取特征點(diǎn)的主方向；對(duì)扇形滑動(dòng)窗口以內(nèi)的圖像進(jìn)行Haar小波的變換后，Haar小波的相應(yīng)值在dx方向和dy方向進(jìn)行累加，最終得到一個(gè)向量，特征點(diǎn)的主方向?yàn)樽畲蟮腍aar小波相應(yīng)累加值對(duì)應(yīng)的方向，也就是最長(zhǎng)向量所對(duì)應(yīng)的方向；

(三)特征點(diǎn)描述；

以特征點(diǎn)為中心，將坐標(biāo)軸旋轉(zhuǎn)到主方向，按主方向選取20σ×20σ的正方形區(qū)域，將該正方形區(qū)域劃分為4×4個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)計(jì)算Haar小波在x，y方向的響應(yīng)d_x、d_y分別求和并生成了一個(gè)∑d_x，∑|d_x|，∑d_y，∑|d_y|的四維向量，這樣每個(gè)特征點(diǎn)就有64維的描述向量，再進(jìn)行歸一化，形成最終的特征點(diǎn)描述子；

(四)特征點(diǎn)匹配；

采用基于最小歐氏距離來(lái)度量特征點(diǎn)間的相似性為：

其中A_ik表示待匹配的第一幅圖像的第i個(gè)特征點(diǎn)描述向量的第k維的值，B_ik表示待匹配的第二幅圖像的第i個(gè)特征點(diǎn)描述向量的第k維的值，n₁表示特征點(diǎn)描述子是一個(gè)n₁維的描述向量；

假設(shè)T_U，T_V分別為待匹配兩幅圖像的特征點(diǎn)集合，對(duì)于T_U中的任意一個(gè)特征點(diǎn)T_Ui，若T_V中存在歐氏距離最小的兩個(gè)特征點(diǎn)T_Vj、且的取值范圍一般為0.5～0.7,則認(rèn)為是T_U的匹配對(duì)，最后采用窮舉搜索算法找出所有的匹配對(duì)。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟三中，一幅有噪聲的圖像g(x,y,t)可認(rèn)為是由原始圖像f(x,y,t)和噪聲n(x,y,t)疊加而成，即：

g(x,y,t)＝f(x,y,t)+n(x,y,t)

其中，x，y是像素點(diǎn)坐標(biāo)，t是時(shí)間變量，多幀累加就是將不同時(shí)刻兩幀圖像或多幀圖像對(duì)應(yīng)像素點(diǎn)相加后求取它們的圖像，m幀圖像進(jìn)行累加，即得到圖像a(x,y,t)。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟四中，調(diào)整圖像的對(duì)比度具體包括：根據(jù)指定的一個(gè)對(duì)比度，分別與原始R、G、B色彩分量進(jìn)行一定比例的縮放，從而拉開(kāi)原色色彩亮度級(jí)別的分布，達(dá)到對(duì)比度增強(qiáng)的作用。

本發(fā)明方法有益的效果是：

1、可以大大地減少成像時(shí)間，處理的夜拍低照度圖像成像效果好。

2、通過(guò)改進(jìn)SURF算法檢測(cè)圖像樣本和圖像樣本數(shù)據(jù)庫(kù)的特征點(diǎn)并提取SURF特征向量，提高了提取特征點(diǎn)的速度，從而提高了低照度下成像的效率，調(diào)整了圖像的對(duì)比度，提高了圖像亮度。

3、本發(fā)明中方法計(jì)算量不大，實(shí)際上可嵌入FPGA中實(shí)現(xiàn)，開(kāi)發(fā)具有低照度成像功能的相機(jī)或攝像機(jī)。

附圖說(shuō)明

圖1是特征點(diǎn)探測(cè)的模板圖；

圖2是發(fā)明方法的流程圖；

圖3-圖4是實(shí)施例所述低照度下成像的對(duì)比圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。

一種基于改進(jìn)的SURF低照度快速成像方法，具體包括以下步驟：

第一步：對(duì)進(jìn)行前ISP(Image Signal Processing)處理后輸出的低照度下獲取的多幀圖像進(jìn)行Surf特征點(diǎn)匹配獲得校準(zhǔn)圖像。

前ISP處理中包括對(duì)原始圖像進(jìn)行白平衡處理，去馬賽克，色彩校正，轉(zhuǎn)RGB格式彩圖，最后經(jīng)過(guò)轉(zhuǎn)RGB格式彩圖后輸出適合SURF特征點(diǎn)匹配的圖像。

SURF是在SIFT算法基礎(chǔ)上提出的一種特征檢測(cè)描述算子，具有尺度不變、旋轉(zhuǎn)不變性、對(duì)光照變化、噪聲、局部遮擋保持一定的穩(wěn)健性等特點(diǎn)，且計(jì)算速度比SIFT快幾倍。改進(jìn)的SURF特征點(diǎn)匹配方法分為4步：

(1)改進(jìn)的FAST檢測(cè)特征點(diǎn)。原理是當(dāng)前像素點(diǎn)與其鄰域點(diǎn)進(jìn)行比較判別。首先，本發(fā)明采用了r＝3的圖像模板(圖1)，即比較O點(diǎn)附近半徑為3的圓環(huán)上的16個(gè)鄰域點(diǎn)；再根據(jù)(1)式進(jìn)行計(jì)算，如果存在n個(gè)點(diǎn)與O點(diǎn)的灰度差值超過(guò)閾值t，則判定O點(diǎn)為特征點(diǎn)。

當(dāng)O為待檢測(cè)特征點(diǎn)中心像素點(diǎn)時(shí)，它的圓環(huán)上的點(diǎn)檢測(cè)結(jié)果有3種情況，即相似點(diǎn)s、較暗點(diǎn)d以及較亮點(diǎn)b。(1)式中：T₀為圓環(huán)上對(duì)應(yīng)的每種點(diǎn)的個(gè)數(shù)，H_i為圓環(huán)上第i個(gè)點(diǎn)對(duì)應(yīng)的灰度值，H₀為待檢測(cè)點(diǎn)對(duì)應(yīng)的灰度值。

本發(fā)明設(shè)f₁和f₂分別為圖像中亮點(diǎn)和暗點(diǎn)在整幅圖像中的比重，

式中：為加入約束后圓環(huán)上對(duì)應(yīng)的每種點(diǎn)的個(gè)數(shù)，權(quán)重α取值為0.5，β取值為3；而b_n、d_n和s_n分別為加入約束后得到的亮點(diǎn)、暗點(diǎn)和相似點(diǎn)個(gè)數(shù)。在提取特征點(diǎn)時(shí)可能會(huì)檢測(cè)到多個(gè)相鄰的特征點(diǎn)，需計(jì)算其局部極值性來(lái)去除這些不是局部極值的點(diǎn)，為此定義一個(gè)函數(shù)W來(lái)進(jìn)行非特征點(diǎn)的剔除。

在(3)式中，S_b＝{N|H_i≥H₀+t}，S_d＝{N|H_i≤H₀+t}，S_b為較亮點(diǎn)區(qū)域，S_d為較暗點(diǎn)區(qū)域；

其中，傳統(tǒng)FAST特征點(diǎn)數(shù)量極大，并極易在局部區(qū)域出現(xiàn)聚集現(xiàn)象，在一定程度上造成了圖像局部細(xì)節(jié)信息的冗余，同時(shí)過(guò)多的特征點(diǎn)也會(huì)增加特征匹配耗時(shí)。本發(fā)明對(duì)此采用最小距離約束策略。

設(shè)2個(gè)特征點(diǎn)之間的最小約束距離為Dm，具體的取舍方法是：選取一個(gè)特征點(diǎn)，然后遍歷所有特征點(diǎn)并進(jìn)行距離計(jì)算。若2個(gè)特征點(diǎn)之間距離大于Dm，則保留。否則，判斷為冗余點(diǎn)并予以剔除。通過(guò)上述方法，本發(fā)明能夠迅速地完成圖像特征點(diǎn)的檢測(cè)，并剔除冗余點(diǎn)和噪聲點(diǎn)。使圖像特征點(diǎn)的數(shù)量適中且較為均勻地分布在目標(biāo)區(qū)域。

(2)確定特征點(diǎn)主方向。

首先，需要對(duì)每個(gè)特征點(diǎn)分配一個(gè)主方向，保證其特征向量具有旋轉(zhuǎn)不變性。以每個(gè)特征點(diǎn)為中心，并以6s(s為特征點(diǎn)的當(dāng)前尺度)為半徑的圓形區(qū)域內(nèi)，對(duì)圖像進(jìn)行以4s×4s模板大小的Haar小波梯度運(yùn)算。對(duì)Haar小波的相應(yīng)值使用σ＝2s的高斯加權(quán)函數(shù)進(jìn)行加權(quán)運(yùn)算。以每個(gè)特征點(diǎn)為中心、角度為π/3的扇形滑動(dòng)窗口，獲取特征點(diǎn)的主方向。對(duì)扇形滑動(dòng)窗口以內(nèi)的圖像進(jìn)行Haar小波的變換后，Haar小波的相應(yīng)值在dx方向和dy方向進(jìn)行累加，最終得到一個(gè)向量。特征點(diǎn)的主方向?yàn)樽畲蟮腍aar小波相應(yīng)累加值對(duì)應(yīng)的方向，也就是最長(zhǎng)向量所對(duì)應(yīng)的方向。

(3)特征點(diǎn)描述。

以特征點(diǎn)為中心，將坐標(biāo)軸旋轉(zhuǎn)到主方向，按主方向選取20σ×20σ的正方形區(qū)域，將該正方形區(qū)域劃分為4×4個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)計(jì)算Harr小波在x,y方向的響應(yīng)d_x、d_y分別求和并生成了一個(gè)Σd_x，Σ|d_x|，∑d_y，∑|d_y|的四維向量，這樣每個(gè)特征點(diǎn)就有64維的描述向量，再進(jìn)行歸一化，形成最終的特征點(diǎn)描述子；

(4)特征點(diǎn)匹配。

采用基于最小歐氏距離來(lái)度量特征點(diǎn)間的相似性為：

其中A_ik表示待匹配的第一幅圖像的第i個(gè)特征點(diǎn)描述向量的第k維的值，B_ik表示待匹配的第二幅圖像的第i個(gè)特征點(diǎn)描述向量的第k維的值，n₁表示特征點(diǎn)描述子是一個(gè)n₁維的描述向量；假設(shè)T_U，T_V分別為待匹配兩幅圖像的特征點(diǎn)集合，對(duì)于T_U中的任意一個(gè)特征點(diǎn)T_Ui，若T_V中存在歐氏距離最小的兩個(gè)特征點(diǎn)T_Vj、且的取值范圍一般為0.5～0.7),則認(rèn)為是T_U的匹配對(duì)，最后采用窮舉搜索算法找出所有的匹配對(duì)。

第三步：對(duì)多幀連拍圖(即第一步獲得的校準(zhǔn)圖像)進(jìn)行累加。由于簡(jiǎn)單的疊加會(huì)導(dǎo)致圖像產(chǎn)生過(guò)曝現(xiàn)象，因而采用加權(quán)累積方式，每幅圖像權(quán)重相等。

一幅有噪聲的圖像g(x,y,t)可認(rèn)為是由原始圖像f(x,y,t)和噪聲n(x,y,t)疊加而成，即：

g(x,y,t)＝f(x,y,t)+n(x,y,t) (5)

其中，x，y是像素點(diǎn)坐標(biāo)，t是時(shí)間變量，多幀累加就是將不同時(shí)刻兩幀圖像或多幀圖像對(duì)應(yīng)像素點(diǎn)相加后求取它們的圖像。m幀圖像進(jìn)行累加，得到圖像a(x,y,t)，

基于上述原理，求得幀累積圖像a(x,y,t)。

第四步：對(duì)待處理圖像幀累積圖像a(x,y,t)進(jìn)行對(duì)比度調(diào)整。

在成像過(guò)程中由于光照不足，使得整幅圖像變暗，或者成像時(shí)光照過(guò)強(qiáng)，使得整幅圖像偏亮，這些情況就稱為低對(duì)比度，即顏色聚集在一起，沒(méi)有分散開(kāi)。對(duì)比度調(diào)整就是使圖像的顏色更符合需要，以實(shí)現(xiàn)一些效果。通常采用對(duì)比度增強(qiáng)，把感興趣的顏色范圍拉開(kāi)，使得該范圍內(nèi)的像素，亮的越亮，暗的越暗，從而達(dá)到對(duì)比度增強(qiáng)的目的。

實(shí)現(xiàn)原理：根據(jù)指定的一個(gè)對(duì)比度，分別與原始R、G、B色彩分量進(jìn)行一定比例的縮放，從而拉開(kāi)原色色彩亮度級(jí)別的分布，達(dá)到對(duì)比度增強(qiáng)的作用。主要為了提高圖像的亮度。

第五步：輸出最終處理完畢的圖像。

如圖1～4所示，本發(fā)明所示夜拍低照度成像速度快，能夠較快地進(jìn)行改進(jìn)的FAST特征點(diǎn)檢測(cè)并提取SURF向量，并能準(zhǔn)確地完成圖像匹配，圖像效果好，提高了圖像亮度，較好的達(dá)到了所預(yù)期的目標(biāo)。

本發(fā)明中提出的方法實(shí)際上可嵌入FPGA實(shí)現(xiàn)，開(kāi)發(fā)具有低照度成像功能的相機(jī)或攝像機(jī)。以上實(shí)施例僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護(hù)范圍并不局限于上述實(shí)施例所述的實(shí)現(xiàn)系統(tǒng)和具體實(shí)施步驟。因此，僅對(duì)上述實(shí)施例中具體的公式及算法進(jìn)行簡(jiǎn)單替換，但其實(shí)質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應(yīng)屬于本發(fā)明的保護(hù)范圍。