專利名稱：一種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法。
背景技術(shù)：
由于長期暴露在惡劣的環(huán)境下，灰塵覆蓋不均等原因造成鏡頭污染，而導(dǎo)致成像質(zhì)量下降，使圖像含有污點(diǎn)。這些污點(diǎn)主要是由于光線在沿直線傳播的過程中，遇到鏡頭上積聚各類污染物(如指紋的污染物，灰塵，污垢)的阻擋而形成的。而機(jī)器視覺系統(tǒng)有時(shí)候不得不使用在工作過程中帶上灰塵的相機(jī)，這樣產(chǎn)生的污點(diǎn)圖像對后續(xù)的圖像分析與理解帶來極大的干擾。目前也有ー些方法研究去除圖像上污點(diǎn)的方法，例如中值濾波器，雖然對于一般的脈沖雜質(zhì)能夠處理的很好，但是由于大部分的粉塵所造成的雜點(diǎn)都比較大，所以利用傳統(tǒng)的去雜質(zhì)的方法將會失敗。另外，也有人提出利用Adobe Photoshop的修復(fù)筆刷工具或Ulead PhotoImpact的修容工具來將小污點(diǎn)去掉，其用法是先在沒有小污點(diǎn)的景象區(qū)域中選定要填補(bǔ)小污點(diǎn)的材質(zhì)，接著在利用滑鼠在小污點(diǎn)的位置上拖拽，這樣就能把剛剛所選定區(qū)域上的材質(zhì)填補(bǔ)進(jìn)去而將小污點(diǎn)移除。但是缺點(diǎn)為必須人為手動選取要拿掉的小污點(diǎn)并找材質(zhì)來填補(bǔ)，所以耗時(shí)耗力。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法。該方法能夠自動偵測污點(diǎn)的位置，同時(shí)利用圖像修補(bǔ)技術(shù)將圖像中令人困擾的污點(diǎn)去除，并且維持圖像中的材質(zhì)與線性結(jié)構(gòu)的完整。本發(fā)明采用的技術(shù)方案為一種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法，其特征在于實(shí)現(xiàn)步驟如下(I)將鏡頭污染的相機(jī)，使其光圈開到最小，并對著一張白紙或任何全白的物體拍攝;(2)將(I)中相機(jī)拍攝的圖像結(jié)合Sobel算子以及形態(tài)學(xué)的擴(kuò)張運(yùn)算有效地偵測污點(diǎn)的位置，作為之后進(jìn)行圖像修補(bǔ)所使用的遮罩。只要是同一臺照相機(jī)所拍攝的圖像，都套用同樣的遮罩，將圖像中的污點(diǎn)的位置標(biāo)記出來；(3)對于同一相機(jī)拍攝的含有污點(diǎn)的圖像，根據(jù)(2)中的遮罩，標(biāo)記出污點(diǎn)的位置，找出要填補(bǔ)區(qū)域；(4)沿著污點(diǎn)區(qū)域的輪廓的每個像素，以其為中心定義ー個patch塊，計(jì)算每個patch的優(yōu)先權(quán)大??；(5)選擇具有最大優(yōu)先權(quán)的patch作為待匹配塊，在原圖中完好信息區(qū)域中捜索找到待匹配塊的最佳匹配塊進(jìn)行替換貼補(bǔ)；(6)更新貼補(bǔ)后的圖像信息，如果圖像的污點(diǎn)區(qū)域修補(bǔ)完畢則輸出去除污點(diǎn)后的圖像，否則重復(fù)步驟(4)- (6)。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在干首先，本發(fā)明利用了發(fā)明內(nèi)容中步驟(1)，
(2)所述的方法，對相機(jī)中的污點(diǎn)的位置進(jìn)行標(biāo)記，該方法能夠有效地自動偵測出污點(diǎn)的位置，而不需要人工手動標(biāo)記污點(diǎn)的位置；其次，本發(fā)明的發(fā)明內(nèi)容步驟(5)中最佳匹配塊的搜索采用局部捜索算法，與全局捜索相比該算法能夠減少捜索空間，提高效率的同時(shí)可以達(dá)到滿意的修補(bǔ)效果；再次，本發(fā)明的發(fā)明內(nèi)容步驟(6)中被修補(bǔ)區(qū)域的置信度的更新規(guī)則考慮到隨著填充過程的進(jìn)行，來自源區(qū)域樣本的直接拷貝和捜索相似塊距離的非零，不可避免地會產(chǎn)生ー些累積誤差，因此將相似度也作為置信度的衡量標(biāo)準(zhǔn)，該方法能夠使有較大誤差的樣本塊就有較小的置信度，避免了誤差的累積，從而可以有效避免冗余像素的產(chǎn)生。


圖I是本發(fā)明的方法流程圖；圖2是對著白紙拍攝的圖像；圖3是將Sobel算子作用于圖2的結(jié)果；圖4是擴(kuò)張運(yùn)算的結(jié)果，該圖像將污點(diǎn)的位置標(biāo)記出來，作為后續(xù)去污的遮罩；圖5是拍攝的污點(diǎn)圖像；圖6將圖5中的污點(diǎn)位置標(biāo)記出來；圖7是去除圖像污點(diǎn)的結(jié)果；
具體實(shí)施例方式步驟I將鏡頭污染的相機(jī)，使其光圈開到最小，并對著一張白紙或任何全白的物體拍攝。步驟2將步驟I中拍攝的圖像結(jié)合Sobel算子以及形態(tài)學(xué)的擴(kuò)張運(yùn)算有效地偵測出污點(diǎn)的位置，作為之后進(jìn)行圖像修補(bǔ)所使用的遮罩。只要是同一臺照相機(jī)所拍攝的圖像，都套用同樣的遮罩，將圖像中的污點(diǎn)的位置標(biāo)記出來。步驟2. I利用Sobel算子以克服圖像中有亮度變化的方法來自動偵測污點(diǎn)的邊緣。由于污點(diǎn)在圖像中其亮度相對較小，因此可以利用ー階微分，也就是梯度運(yùn)算將污點(diǎn)的邊緣偵測出來。原理就是利用梯度運(yùn)算能夠增強(qiáng)微小且不連續(xù)點(diǎn)的能力以及能夠除去緩慢變化的背景，而Sobel算子是實(shí)際計(jì)算梯度時(shí)最常用的算子，其利用給予中心點(diǎn)較大的加權(quán)值來達(dá)到平滑的特性。Sobel算子該算子包含兩組3x3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值。步驟2. 2在污點(diǎn)邊緣偵測出來之后，需要移除整個污點(diǎn)，因此利用形態(tài)學(xué)圖像處理上的擴(kuò)張運(yùn)算來將污點(diǎn)鋪滿以利于后面的去除污點(diǎn)的處理。具體原理如下(a)用3X3的大小結(jié)構(gòu)元素，掃描圖像的每ー個像素；(b)用結(jié)構(gòu)元素與其覆蓋的ニ值圖像做“與”操作；(c)如果都為0，結(jié)果圖像的該像素為0，否則為I ;結(jié)果使ニ值圖像擴(kuò)大ー圈；擴(kuò)張運(yùn)算的公式如下
d十5 = 丨笑Φ}其中，A為輸入的ニ值圖像，B為結(jié)構(gòu)元素，B(X)為B的核。用B(X)對A進(jìn)行擴(kuò)張的結(jié)果就是把結(jié)構(gòu)元素B平移后使B與A的交集中非空的點(diǎn)構(gòu)成的集合。擴(kuò)張運(yùn)算的計(jì)算是逐點(diǎn)進(jìn)行，計(jì)算時(shí)涉及到它周圍點(diǎn)的值及結(jié)構(gòu)元素值，實(shí)際上是局部范圍內(nèi)點(diǎn)與結(jié)構(gòu)元素中對應(yīng)點(diǎn)值之和，選取 其中最大值，所以擴(kuò)張運(yùn)算之后，邊緣得到了延伸。步驟3對于同一相機(jī)拍攝的含有污點(diǎn)的圖像，根據(jù)步驟2中的遮罩，標(biāo)記出污點(diǎn)的位置，找出要填補(bǔ)區(qū)域。這里只需要利用步驟2中的方法做一次污點(diǎn)偵測的操作，將圖像中污點(diǎn)的位置偵測出來以作為遮罩，那么只有是同一臺鏡頭污染的相機(jī)所拍攝的圖像，就可以套用同樣的遮罩將其污點(diǎn)標(biāo)記出來，而不需要每張圖像都要再做一次污點(diǎn)偵測的操作。步驟4沿著污點(diǎn)區(qū)域的輪廓的每個像素，以其為中心定義ー個patch塊，計(jì)算每個patch的優(yōu)先權(quán)大小。步驟3中已經(jīng)將圖像中污點(diǎn)的部分標(biāo)記出來，而它就是將要修補(bǔ)的目標(biāo)區(qū)域Ω，并把目標(biāo)區(qū)域Ω的輪廓定義出來，我們把它定義為δ Ω，之后步驟如下步驟4. I初始化。在初始化的時(shí)候，會先給予每個像素ー個置信度值(ConfidenceValue),以C(p)表示，其規(guī)則是假如P點(diǎn)是在目標(biāo)區(qū)域里，則C (p) =0，否則C(p) = I。步驟4. 2對于每個位在δ Ω上的點(diǎn)ρ，定義ー個以ρ點(diǎn)為中心的9X9大小的Patch,以符號Ψρ表示。之后計(jì)算每個位在輪廓上的Patch優(yōu)先權(quán)P (ρ)，優(yōu)先權(quán)的值綜合反映了待修補(bǔ)塊的置信度和結(jié)構(gòu)的強(qiáng)弱，由此來決定圖像修補(bǔ)的順序。優(yōu)先權(quán)P(P)的計(jì)算公式為P(p) = C(p) XD(p)置信度C (ρ)衡量P處信息的可靠程度，計(jì)算公式如下
權(quán)利要求
1.一種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法，其特征在于實(shí)現(xiàn)步驟如下 (1)將鏡頭污染的相機(jī)，使其光圈開到最小，并對著一張白紙或任何全白的物體拍攝； (2)將(I)中相機(jī)拍攝的圖像結(jié)合Sobel算子以及形態(tài)學(xué)的擴(kuò)張運(yùn)算有效地偵測污點(diǎn)的位置，作為之后進(jìn)行圖像修補(bǔ)所使用的遮罩，只要是同一臺照相機(jī)所拍攝的圖像，都套用同樣的遮罩，將圖像中的污點(diǎn)的位置標(biāo)記出來； (3)對于同一相機(jī)拍攝的含有污點(diǎn)的圖像，根據(jù)(2沖的遮罩，標(biāo)記出污點(diǎn)的位置，找出要填補(bǔ)區(qū)域； (4)沿著污點(diǎn)區(qū)域的輪廓的每個像素，以其為中心定義ー個patch塊，計(jì)算每個patch的優(yōu)先權(quán)大小； (5)選擇具有最大優(yōu)先權(quán)的patch作為待匹配塊，在原圖中完好信息區(qū)域中搜索找到待匹配塊的最佳匹配塊進(jìn)行替換貼補(bǔ)； (6)更新貼補(bǔ)后的圖像信息，如果圖像的污點(diǎn)區(qū)域修補(bǔ)完畢則輸出去除污點(diǎn)后的圖像，否則重復(fù)步驟(4)- (6)。
2.根據(jù)權(quán)利要求I所述的ー種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法，其特征在于所述步驟(2)中對于相機(jī)拍攝的白紙圖像結(jié)合Sobel算子以及形態(tài)學(xué)的擴(kuò)張運(yùn)算有效地偵測污點(diǎn)位置的過程如下 首先，利用Sobel算子以克服圖像中有亮度變化的方法來自動偵測污點(diǎn)的邊緣。由于污點(diǎn)在圖像中其亮度相對較小，因此可以利用ー階微分，也就是梯度運(yùn)算將污點(diǎn)的邊緣偵測出來；原理就是利用梯度運(yùn)算能夠增強(qiáng)微小且不連續(xù)點(diǎn)的能力以及能夠除去緩慢變化的背景，而Sobel算子是實(shí)際計(jì)算梯度時(shí)最常用的算子，其利用給予中心點(diǎn)較大的加權(quán)值來達(dá)到平滑的特性；Sobel算子包含兩組3x3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，分別得出橫向及縱向的亮度差分近似值； 在污點(diǎn)邊緣偵測出來之后，需要移除整個污點(diǎn)，因此利用形態(tài)學(xué)圖像處理上的擴(kuò)張運(yùn)算來將污點(diǎn)鋪滿以利于后面的去除污點(diǎn)的處理，具體如下 (a)用3X3的大小結(jié)構(gòu)元素，掃描圖像的每ー個像素； (b)用結(jié)構(gòu)元素與其覆蓋的ニ值圖像做“與”操作； (c)如果都為0，結(jié)果圖像的該像素為0，否則為I; 結(jié)果使ニ值圖像擴(kuò)大ー圈；擴(kuò)張運(yùn)算的公式如下 ^05 = {χ|5(χ)Π^^Φ} 其中，A為輸入的ニ值圖像，B為結(jié)構(gòu)元素，B(X)為B的核。用B(X)對A進(jìn)行擴(kuò)張的結(jié)果就是把結(jié)構(gòu)元素B平移后使B與A的交集中非空的點(diǎn)構(gòu)成的集合； 擴(kuò)張運(yùn)算的計(jì)算是逐點(diǎn)進(jìn)行，計(jì)算時(shí)涉及到它周圍點(diǎn)的值及結(jié)構(gòu)元素值，實(shí)際上是局部范圍內(nèi)點(diǎn)與結(jié)構(gòu)元素中對應(yīng)點(diǎn)值之和，選取其中最大值，所以擴(kuò)張運(yùn)算之后，邊緣得到了延伸。
3.根據(jù)權(quán)利要求I所述的ー種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法，其特征在于所述步驟(3)中對于同一相機(jī)拍攝的含有污點(diǎn)的圖像，根據(jù)步驟(2)中的遮罩，標(biāo)記出污點(diǎn)的位置，找出要填補(bǔ)區(qū)域，這里只需要利用步驟(2)中的方法做一次污點(diǎn)偵測的操作，將圖像中污點(diǎn)的位置偵測出來以作為遮罩，那么只要是同一臺鏡頭污染的相機(jī)所拍攝的圖像，就套用同樣的遮罩將其污點(diǎn)標(biāo)記出來，而不需要每張圖像都要再做一次污點(diǎn)偵測的操作。
4.根據(jù)權(quán)利要求I所述的ー種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法，其特征在于所述步驟(4)中沿著污點(diǎn)區(qū)域的輪廓的每個像素，以其為中心定義ー個patch塊，計(jì)算每個patch的優(yōu)先權(quán)大小；步驟3已經(jīng)將圖像中污點(diǎn)的部分標(biāo)記出來，而它就是將要修補(bǔ)的目標(biāo)區(qū)域Ω，并把目標(biāo)區(qū)域Ω的輪廓定義出來，我們把它定義為δ Ω，之后步驟如下 (4.1)初始化。在初始化的時(shí)候，會先給予姆個像素ー個置信度值(ConfidenceValue)，以C(p)表示，其規(guī)則是假如P點(diǎn)是在目標(biāo)區(qū)域里，則C(p) = 0，否則C(p) = I ； (4. 2)對于每個位在δ Ω上的點(diǎn)ρ，定義ー個以P點(diǎn)為中心的9X9大小的Patch，以符號Ψρ表示，之后計(jì)算每個位在輪廓上的Patch的優(yōu)先權(quán)P(p)，優(yōu)先權(quán)的值綜合反映了待修補(bǔ)塊的置信度和結(jié)構(gòu)的強(qiáng)弱，由此來決定圖像修補(bǔ)的順序；優(yōu)先權(quán)P(P)的計(jì)算公式為
5.根據(jù)權(quán)利要求I所述的ー種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法，其特征在于所述步驟(5)選擇具有最大優(yōu)先權(quán)的patch作為待匹配塊，在原圖中完好信息區(qū)域中搜索找到待匹配塊的最佳匹配塊進(jìn)行替換貼補(bǔ)，具體過程如下 選擇ー個有最高優(yōu)先權(quán)的Patch來被填補(bǔ)，以符號デ 表不,然后米用局部窗ロ空間搜索匹配塊，這里局部窗ロ的尺寸設(shè)置如下WindowLength=StepLengthXPatchSize 其中，PatchSize為填充塊的尺寸大小，StepLength為步長,搜索空間以當(dāng)前具有最大優(yōu)先權(quán)的點(diǎn)為中心，分別向上、下、左、右延伸WindowLength這樣長的一段距離，因此實(shí)際捜索空間為Ioacalspace=(2XffindowLength+1)X (2XWindowLength+1) 這一局部窗ロ搜索空間與全局搜索相比，窗ロ尺寸從NXM減少到nXm，N、M分別為圖像的行和列，n、m分別為局部窗ロ的行和列，這樣減少了搜索時(shí)間，提高了圖像修補(bǔ)的效率； 確定了匹配塊的搜索空間同時(shí)需要確定塊的匹配準(zhǔn)則，這里根據(jù)兩個patch塊的顏色和梯度差異共同來計(jì)算目標(biāo)塊和樣本塊K。之間的相似度，相似度函數(shù)的定義為
6.根據(jù)權(quán)利要求5所述的ー種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法，其特征在干所述步驟(6)更新貼補(bǔ)后的圖像信息，這里更新被修補(bǔ)區(qū)域的置信度，其更新公式如下C(ρ) = Cipye cod2，Mp e {ψ- Π Ω) 式中，ω是ー個可調(diào)參數(shù)；d是相似度函數(shù)所求得的值；^是具有最高優(yōu)先權(quán)的Patch Wp的中心點(diǎn)像素；C(i)是計(jì)算出的 的置信度值；顯然，由這個方程可知相似度函數(shù)值越大，像素點(diǎn)誤差越大，置信度值越低。
全文摘要
本發(fā)明提出了一種基于圖像修補(bǔ)技術(shù)的快速去除圖像污點(diǎn)的方法。首先，用鏡頭污染的相機(jī)拍攝一張白紙圖像，并結(jié)合Sobel算子以及擴(kuò)張運(yùn)算偵測出污點(diǎn)的位置，作為遮罩。對于同一臺相機(jī)拍攝的圖像，套用上述遮罩標(biāo)記出圖像中污點(diǎn)區(qū)域。然后，對于污點(diǎn)區(qū)域輪廓上的每個像素，定義一個patch塊并計(jì)算每個patch塊的優(yōu)先權(quán)。選出具有最大優(yōu)先權(quán)的patch塊，搜索找到最佳匹配塊進(jìn)行替換貼補(bǔ)。接著，更新貼補(bǔ)后的圖像信息，并進(jìn)行再次修補(bǔ)直至圖像的污點(diǎn)區(qū)域修補(bǔ)完畢。本發(fā)明提供的去除圖像污點(diǎn)的方法，能夠自動的，快速的針對有污點(diǎn)的圖像進(jìn)行修補(bǔ)，且很好地保持了圖像的線性結(jié)構(gòu)。
文檔編號G06T5/50GK102693534SQ20121016699
公開日2012年9月26日 申請日期2012年5月25日 優(yōu)先權(quán)日2012年5月25日
發(fā)明者王俊秀, 百曉, 郭周曉, 魏韡 申請人:北京航空航天大學(xué)