本發(fā)明涉及一種影像修補系統(tǒng)及其方法，特別是一種能夠消除影像中的噪點，以提升行車安全的影像修補系統(tǒng)及其方法。

背景技術(shù)：

現(xiàn)有的機動車輛，如汽車或機車，其廣泛地應(yīng)用于人們的日常生活中。機動車輛的駕駛?cè)艘匀庋叟袛嘬嚽?車旁的其他物體，但肉眼會有誤判，或者反應(yīng)不及的問題。

現(xiàn)有的安全警示系統(tǒng)能夠克服上述的誤判或反應(yīng)不及的問題。舉例而言，現(xiàn)有的安全警示系統(tǒng)裝設(shè)于車輛的前擋風(fēng)玻璃之后，以拍攝車輛前方的影像，并辨識該影像中的障礙物或危險物，藉以提醒駕駛?cè)吮３职踩嚯x，或避免危險的駕駛行為。

然于惡劣天氣，如雨天，現(xiàn)有的安全警示系統(tǒng)的辨識率可能會大幅下降，因為影像中的噪點，如往復(fù)擺動的雨刷、雨滴或泥水，其可能遮蔽現(xiàn)有的安全警示系統(tǒng)的辨識標(biāo)的。該辨識標(biāo)的為行人、車輛或交通號志。因前述的遮蔽有可能使得現(xiàn)有的安全警示系統(tǒng)產(chǎn)生誤判，駕駛者于此行車情境下行駛，其充滿著危險性。

常見的技術(shù)使用單一攝影機將前方影像中雨刷的周期性噪點利用不同時段的無雨刷影像予以修補，以產(chǎn)生一雨刷透明化的影像。

雖上述的方法使用多個時段的影像進行修補，但可能會產(chǎn)生所欲修補的影像具有行人，而所抽取修補參考影像未具有行人，故修補后的影像反而顯示為無行人的影像。

另一技術(shù)使用多通道全景攝影機系統(tǒng)，其所擷取的影像以圖形處理器(Graphics Processing Unit，GPU)高速平行處理，以實現(xiàn)即時高清影像的拼接、校正、調(diào)光、壓碼及傳輸功能，但此另一技術(shù)亦無影像重疊區(qū)域的噪點修補的功能。

又一技術(shù)提出不同焦距攝影機的影像中選取清晰影像，以計算物件距離，提升測距效果，然該又一技術(shù)無法處理輸入影像含有噪點的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的上述問題，提供一種影像修補系統(tǒng)及其方法，能夠消除影像中的噪點，以提升行車安全。

為了實現(xiàn)上述目的，本發(fā)明提供了一種影像修補系統(tǒng)，其包含有：

一攝影模塊，其擷取多個影像；以及

一修補模塊，其耦接該攝影模塊，以接收來自該攝影模塊的多個影像，并對該多個影像進行一噪點檢測，該多個影像分割為含有噪點像素影像與未含有噪點像素影像，確認該噪點像素影像的各噪點像素的位置，找出該含有噪點像素影像與對應(yīng)該噪點像素的未受噪點影響且具最小視差的像素對應(yīng)關(guān)系的偏移地圖或幾何關(guān)系，利用該偏移地圖或幾何關(guān)系，以抽取未受噪點影響的對應(yīng)像素，并修補并取代該多個影像中的噪點像素，而產(chǎn)生至少一不含噪點的合成影像。

為了更好地實現(xiàn)上述目的，本發(fā)明還提供了一種影像修補方法，其步驟包含有：

噪點分割，擷取多個影像，并將該多個影像分割為含有噪點像素影像與未含有噪點像素影像；以及

針對含噪點像素影像進行修補，找出該含有噪點像素影像與對應(yīng)噪點像素的未受噪點影響且具最小視差的像素對應(yīng)關(guān)系的偏移地圖或幾何關(guān)系，利用該偏移地圖或幾何關(guān)系，以抽取未受噪點影響的對應(yīng)像素，并修補并取代該多個影像中的噪點像素，而產(chǎn)生至少一不含噪點的合成影像。

本發(fā)明的技術(shù)效果在于：

本發(fā)明可去除影像中的噪點(如雨滴)，即便在雨天的情況中，各類安全警示系統(tǒng)的辨識率仍可維持，因而得以提升駕駛者的安全性。本發(fā)明可使得多個影像雖有視角差異但其影像的時間為相同，因此影像修補時能使用同一時間點的多個影像，所以修補后的真實性可以得到保證，也因此能夠保證影像安全警示系統(tǒng)的真實性。本發(fā)明亦可通過接收實體雨刷信號或是雨滴信號，以決定本實施例的多個影像交互修補方法是否需開始執(zhí)行，如此的話，可降低系統(tǒng)運算負荷，并降低誤判率。于有噪點干擾時，本發(fā)明以影像分割技術(shù)及影像修補技術(shù)，檢測并修補噪點像素群，即修補被噪點所遮擋住的影像，使得障礙物辨識不受如雨滴等噪點的影響，因而得以提升障礙物的辨識率。

以下結(jié)合附圖和具體實施例對本發(fā)明進行詳細描述，但不作為對本發(fā)明的限定。

附圖說明

圖1為裝設(shè)有本發(fā)明的一種影像修補系統(tǒng)的機動車輛的示意圖；

圖2為本發(fā)明的一種影像修補系統(tǒng)位于一視窗的示意圖；

圖3為本發(fā)明的一種影像修補系統(tǒng)的示意圖；

圖4為一修補模塊的示意圖；

圖5為本發(fā)明的一種影像修補方法的流程示意圖；

圖6為本發(fā)明的影像分割的第一實施例的臟污噪點影像分割方法的流程示意圖；

圖7為本發(fā)明的影像分割的第二實施例的雨滴噪點影像分割方法的流程示意圖；

圖8為本發(fā)明的影像分割的第三實施例的雨刷噪點影像分割方法的流程示意圖；

圖9為本發(fā)明的一使用偏移地圖與修補影像的方法的流程示意圖；

圖10為本發(fā)明的一雨刷修補的示意圖；

圖11為本發(fā)明的一臟污修補的示意圖；

圖12為本發(fā)明的一雨滴修補的示意圖；

圖13為一貝茲曲線的取樣點的示意圖；

圖14為又一貝茲曲線的取樣點的示意圖；

圖15為一貝茲曲線的取樣的示意圖；

圖16為一貝茲曲線的垂直坐標(biāo)與強度的示意圖。

其中，附圖標(biāo)記

1 機動車輛

10 視窗

100 設(shè)置面

11 攝影模塊

110 攝影單元

12 修補模塊

120 接收單元

121 演算單元

122 儲存單元

123 雨滴感測器

S1～S11 步驟

SA～SQ 步驟

13A 修補影像對影像

13A1 噪點

13A2 修補后影像

14A 臟污影像

14A1 噪點

14A2 修補后影像

15A 雨滴影像

15A1 噪點

15A2 修補后影像

具體實施方式

下面結(jié)合附圖對本發(fā)明的結(jié)構(gòu)原理和工作原理作具體的描述：

請配合參考圖1至圖3所示，本發(fā)明為一種影像修補系統(tǒng)，其應(yīng)用于一機動車輛1，機動車輛1具有至少一視窗10，視窗10具有一設(shè)置面100，設(shè)置面100位于機動車輛1的內(nèi)部。該影像修補系統(tǒng)包含有一攝影模塊11與一修補模塊12。如圖1所示，于本實施例中的該視窗10為機動車輛1的擋風(fēng)玻璃，然本發(fā)明除了可裝置于如圖1的位置外，亦可裝設(shè)于機動車輛1的前端、后端、左側(cè)或右側(cè)，或者各側(cè)的視窗，于本實施例中僅為了便于論述，而非將本發(fā)明限制于本實施例中，特此說明。

請再配合參考圖2所示，攝影模塊11設(shè)于設(shè)置面100。攝影模塊11具有至少二攝影單元110。至少二攝影單元110以一陣列方式排列。

攝影單元110能夠為一影像感測器、一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導(dǎo)體的光學(xué)感測元件的其中之一或至少任意兩個的組合。此處所述與后所提及的攝影單元110能夠被視為至少一攝影機。攝影模塊11用以擷取不同來源的多個影像。

請配合參考圖3與圖4所示，修補模塊12信號連接攝影模塊11。修補模塊12具有一接收單元120、一演算單元121與一儲存單元122。

修補模塊12能夠為可程序化集成電路微控制器或元件可編程邏輯閘陣列(Field Programmable Gate Array，F(xiàn)PGA)。修補模塊12接收來自攝影模塊11的多個影像，對該多個影像中每張影像均單獨進行一噪點檢測，以得到多個影像中哪幾張影像含噪點，且得知各張含噪點影像中的噪點像素位置。

對于每張含噪點影像中的噪點像素位置，在其它影像中利用近似最鄰近疊代法找出代表對應(yīng)關(guān)系的偏移地圖，其中偏移地圖分別對應(yīng)：噪點像素位置與未受噪點影響且具最小視差的像素位置。

最后利用此偏移地圖抽取未受噪點影響的對應(yīng)像素以修補受噪點干擾的像素，產(chǎn)生至少一合成影像。

若更進一步說明，修補模塊12為下述的影像修補方法、安全警示系統(tǒng)或下述的演算單元121能夠使用于任何具有運算功能的裝置中。

接收單元120信號連接攝影單元110，以接收攝影單元110于多個時段所擷取的影像。

演算單元121能夠為車道偏離警示系統(tǒng)(Lane Departure Warning System，LDWS)、前方防碰撞警示系統(tǒng)(Forward Collision Warning System，F(xiàn)CWS)、交通標(biāo)志辨識系統(tǒng)(Traffic Sign Recognition System，TSRS)。

儲存單元122信號連接演算單元121。儲存單元122能夠儲存演算單元121的合成影像，或者攝影單元120所擷取的影像，亦或為一警示系統(tǒng)結(jié)果影像。

于一實施例中，修補模塊12能夠進一步具有至少一雨滴感測器123，雨滴感測器123信號連接演算單元121。雨滴感測器123可為一光學(xué)反射型感測器(Reflective Sensor)、一音頻型感測器(Audio Sensor)或一傳導(dǎo)型感測器(conductive sensor)的其中之一或其任意組合。雨滴感測器123感測雨刷的動作或雨滴，以啟動本發(fā)明。并且雨滴感測器123能夠感測外界是否正在下雨。

請配合參考圖5所示，本發(fā)明一種影像修補方法，其步驟包含有：

若本發(fā)明具有如圖4的雨滴感測器123，于進行下述的S1步驟前，雨滴感測器123感測是否有雨滴滴落于視窗10，若有，則雨滴感測器123將一啟動信號給予修補模塊12，以進行下述的S1步驟。而當(dāng)雨滴感測器123感測雨滴時，雨滴感測器123并啟動雨刷。

另外，若無裝設(shè)如圖4的雨滴感測器123，則當(dāng)雨刷啟動時，當(dāng)修補模塊12收到一啟動信號，亦可進行下述的S1步驟。

S1，噪點分割(Interference Segmentation)。其具有至少三個實施方式，以下將一一說明。

攝影模塊11透過視窗10擷取機動車輛1前方的多個時間點的影像，并將該影像傳送至接收單元120，接收單元120再將該些影像傳送至演算單元121，以使演算單元121對該些影像進行一影像分割，以及確認該影像中噪點像的位置。如下所述，噪點像素能夠分為雨刷像素、雨滴像素或臟污素的其中之一或至少任意兩個的組合。請配合參考圖6所示，其為影像分割的第一實施例的臟污噪點影像分割方法，其步驟為：

SA，抽取綠色影像。以一顏色濾波器(Bayer Filter)將所擷取的多個時間的影像中綠色影像抽取出來。因影像為三原色，紅色、綠色、藍色(Red，Green，Blue，RGB)，所構(gòu)成的。若演算單元121直接對三原色影像進行演算，對演算單元121的負荷恐會增加，因此為了降低運算負荷，所以僅對單色進行演算，上述的實施例僅以綠色影像進行論述，而非將本案限制于綠色影像，特先說明。于此步驟中抽取單色影像，該單色影像可為綠色影像、紅色影像或藍色影像，為了便于論述，以下以綠色影像為代表。顏色濾波器于此處將抽取所選定的單色，并濾除非選定的單色。

SB，綠色影像平滑化，亦可稱為單色影像平滑化。將綠色影像以一中值濾波器(Median Filter)平滑化。中值濾波器能為一9x9中值濾波器。因影像的邊緣會因演算法的緣故，而使放大的影像或經(jīng)處理的影像的邊緣產(chǎn)生鋸齒或模糊化(blurry effect)的像素，所以需要通過影像平滑化，以平滑前述的鋸齒或模糊化的像素。

中值濾波器于圖像處理中，用于去除圖像或其它信號中的噪點。中值濾波器可以將強的突峰信號分量組成的高頻率噪點去除，而仍然能保持影像中的邊緣的銳度。

于圖像處理中中值濾波為一常見步驟。中值濾波對于斑點噪音(Speckle Noise)與椒鹽噪音(Salt and Pepper Noise)尤其有用。保持邊緣的特性使它在不希望出現(xiàn)邊緣模糊的場合也很有用。

中值濾波在不改變影像像素值結(jié)構(gòu)的情況下，將影像作平滑處理。

SC，形成貝茲曲線(B-Spline)圖。將以平滑化的綠色影像形成為一貝茲曲線圖。

在數(shù)學(xué)的數(shù)值分析領(lǐng)域中，貝茲曲線是電腦圖形學(xué)中相當(dāng)重要的參數(shù)曲線。更高維度的廣泛化貝茲曲線就稱作貝茲曲面。

若更進一步說明，于影像中取樣控制點，先以垂直控制點產(chǎn)生垂直貝茲曲線(vertical B-Spline)，再以這些信息來產(chǎn)生水平貝茲曲線(horizontal B-Spline)，之后即可得到B-Spline surface。

上述的B-Spline以二次方貝茲曲線公式產(chǎn)生，使用3個控制點可產(chǎn)生一段貝茲曲線，其公式如下。

for t∈[0,1],i＝1,2,….,m－2,

其中，p_i-1、p_i與p_i+1為控制點設(shè)置，S_i為第i點貝茲曲線段。t為時間，m為自然數(shù)。

舉例而言，如圖13至圖16所示。如圖13所示取樣控制點，于圖中的多個點為控制點，于圖中的每行(column)選出6像素(M＝6)，而圖中具有6行(N＝6)。如圖14所示，針對各矩形區(qū)域與在其中的控制點產(chǎn)生各自垂直貝茲曲線。如圖15所示，產(chǎn)生水平貝茲曲線如此一來影像中每一pixel的強度均可由各貝茲曲線取得，進而得到一貝茲曲線面(B-Spline surface)，該水平貝茲曲線為如圖15所示的實心矩形。如圖16所示，貝茲曲線為每像素中各自顏色強度值所連成的曲線。以上為貝茲曲線的簡易說明，本實施例僅用于舉例，而非將本發(fā)明予以限制。

SD，影像相減。將平滑化的綠色影像與貝茲曲線圖相減，以取得至少一初步影像臟污噪點所占像素圖。

SE，直方均化。使用直方均化(Histogram Equalization)將初步影像臟污噪點所占像素圖的對比予以增強。于增強后的初步影像臟污噪點所占像素圖中的亮像素群，即具有最高像素質(zhì)的像素群，視為臟污噪點的可能成分之一。

SF，修補像素群。將增強后的初步影像臟污噪點所占像素圖，以侵蝕或膨脹演算方式進行修正。若初步影像臟污噪點所占像素圖中的亮像像素較為完整，則將亮像素群的外型修正的更為完整。假若亮像素群較為破碎，則將破碎的亮像素群消除。

SG，以區(qū)域閥值區(qū)分臟污區(qū)域。將已修正的初步影像臟污噪點所占像素圖進行二值化，對所有的亮像素群二值化為1，其為可能的臟污像素群。對不含臟污噪點的像素群二值化為0，藉此區(qū)分影像中臟污區(qū)域，以分割影像。

請配合參考圖7所示，其為影像分割的第二實施例，其為雨滴噪點影像分割方法，其步驟為：

SH，判定所擷取的影像為白天或夜晚。若為夜晚，則執(zhí)行SI步驟。若為白日，則執(zhí)行SJ步驟。

SI，濾除干擾光源。若所擷取的影像為夜晚，以一濾波器濾除干擾光源，待濾除干擾光源后，則執(zhí)行SJ步驟。該濾波器為一高通濾波器。該干擾光源為車燈、路燈、廣告燈或來自建筑物的燈源。

SJ，尋找邊緣。將上述的SH或SJ的影像，以一索貝爾濾波器(Sobel Filter)凸顯可能為雨滴噪點的邊緣。

SK，以區(qū)域閥值區(qū)分臟污區(qū)域。將SK的結(jié)果進行二值化。對所有可能的雨滴像素群二值化為1。對被視為不含雨滴像素群二值化為0。藉此區(qū)分影像中的雨滴區(qū)域，以分割影像。

SL，進行膨脹。以膨脹將雨滴像素群的雨滴中心像素由黑變白，而完整雨滴像素群。

請配合參考圖8所示，其為影像分割的第三實施例，其為雨刷噪點影像分割方法，其步驟為：

SM，將暗像素群視為雨刷物件之一。以一自然數(shù)平均(K-means)演算法將當(dāng)前影像的所有像素，舉例而言，像素以三原色(RGB)信號來表示，分成K群，K為自然數(shù)，并將暗像素群，亦即具有最低RGB信號的像素群，視為雨刷物件的可能成分之一。因雨刷物件通常是黑色且為影像中最暗的一群像素，所以暗像素群視為可能的雨刷成分之一。

若更進一步說明，上述的自然數(shù)平均演算法亦稱為K-means(K平均演算法)，其是一種聚類(Cluster)的方式聚類基本上就是依照著物以類聚的方式在進行，(或許也可能想成相似的東西有著相似的特征，給予一組數(shù)據(jù)，將其分為K類，K為一設(shè)定值。

所以K平均演算法源于信號處理中的一種向量量化方法，現(xiàn)在則更多地作為一種聚類分析方法流行于數(shù)據(jù)探勘領(lǐng)域。K平均聚類的目的是：把n個點，可以是樣本的一次觀察或一個例項，劃分到K個聚類中，使得每個點都屬于離他最近的均值，此即聚類中心，對應(yīng)的聚類，以其作為聚類的標(biāo)準。其公式如下：

已知觀測集(x₁,x₂,…,x_n)，其中每個觀測都是一個d維實向量，K平均聚類要把這n個觀測劃分到K個集合中(K≤n),使得組內(nèi)平方和最小。μ_i是S_i中所有點的均值。

其中，每個x_p都只被分配到一個確定的聚類S^t中，其可能被分配到2個或者更多的聚類。

計算得到上步得到聚類中每一聚類觀測值的圖心，作為新的均值點。如上述的公式。

SN，修正暗像素群的外型。將SM步驟的結(jié)果以侵蝕、膨脹等演算法消除當(dāng)前影像較為破碎的暗像素群，并將較完整暗像素群的外型修正的更加完整。因雨刷的形狀是完整的，而其他暗色障礙物，舉例而言，如陰影，則有可能是破碎的形狀。所以于此步驟中，將破碎的暗色像素群去除，并將可能是雨刷物件的較完整暗像素群修正其外型。

SO，以區(qū)域閥值區(qū)分臟污區(qū)域。將SN步驟的結(jié)果進行二值化。對所有可能的雨刷像素群二值化為1，對被視為不含雨刷物件的像素群則二值化為0。進行縮減取樣(Downsampling)至像素總量為P，P為正整數(shù)，以計算出被二值化為1的像素總個數(shù)q，q為正整數(shù)。q/P為二值化雨刷影像的平均值。將p個矩陣像素皆減去此平均值，p為正整數(shù)，并將所得到矩陣向量化(Vectorizing)，使其成為行向量(Column Vector)并進行縮減取樣而得到向量I。

縮減取樣(Downsampling)將原影像的像素予以縮減，舉例而言，若原影像為750像素，進行縮減曲像系可能變?yōu)?50像素。

區(qū)域閥值為一數(shù)值，其用一區(qū)分某些特性參數(shù)是否符合需求，所以區(qū)域閥值會因應(yīng)不同環(huán)境與情況，有不同的適合值。舉例而言，灰階值范圍為0～255(黑～白)，如設(shè)定一固定灰階值70為區(qū)域閥值，以此區(qū)域閥值對一張灰階影像進行二值化代表：對此張影像的每個像素的灰階值進行判斷，大于70則設(shè)定為1；小于70則設(shè)定為0，最后得到二值化影像，像素值只有1或0，顏色只有白或黑。

SP，取得一內(nèi)積值。將向量I與特征雨刷矩陣(Eigen Wipers Matrix)U依下列公式(1)得到其內(nèi)積值。

I^tU (1)

于本實施例中，特征雨刷矩陣U的求法為利用主成分分析(Principal Component Analysis,PCA)演算法。先搜集的N筆訓(xùn)練影像，N為正整數(shù)，該訓(xùn)練影像包含有雨刷影像，并先標(biāo)記出各筆影像中的雨刷位置。故每一筆N筆訓(xùn)練影像中，多個雨刷像素的多個坐標(biāo)點為已知。

于另一實施例，假使裝設(shè)具本實施例的前視安全警示系統(tǒng)的車輛所使用的雨刷以及其攝影機所安裝的角度，使得雨刷在影像中出現(xiàn)的大小、位置、外型與預(yù)設(shè)訓(xùn)練影像不同，該預(yù)設(shè)訓(xùn)練影像包含有雨刷影像。則可設(shè)計自動人機訓(xùn)練模式，其實施方式可為，在攝影機面前放置純白背景物件，舉例而言，如純白海報，使得攝影機所擷取的影像為全白的影像，在開啟雨刷的情形下，進行SM與SN步驟即可準確地，不受任何噪點干擾地自動擷取或?qū)W習(xí)雨刷影像，以供后續(xù)使用。

將上述的多個雨刷影像進行SO步驟的處理，并將處理結(jié)果排列成觀測矩陣(observation matrix)，其維度為PxN。使用奇異值分解(Singular Value Decomposition)來解下列公式(2)

O＝UDV^t (2)

其中，U為特征雨刷矩陣，其維度也為PxN；D為對角矩陣，維度為NxN，其記錄著每個特征雨刷的重要性或顯著性；V記錄著特征雨刷空間中，此N筆訓(xùn)練影像所投影出的系數(shù)，其維度為NxN。

SQ，找出具有最大內(nèi)積值的訓(xùn)練數(shù)據(jù)與雨刷影像。于SP步驟中得到N筆訓(xùn)練影像的內(nèi)積值后，找出具有最大內(nèi)積值的訓(xùn)練數(shù)據(jù)及其對應(yīng)的原始雨刷影像。因N筆訓(xùn)練數(shù)據(jù)為預(yù)先找出的，故其雨刷位置皆為已知。

S2，判斷當(dāng)前各影像內(nèi)是否含有噪點像素。于一實施例中，若當(dāng)前某一影像中的噪點像素數(shù)量大于預(yù)設(shè)閥值(threshold)，則進入S3步驟。若所有當(dāng)前影像的各個噪點像素數(shù)量均小于閥值，則判斷當(dāng)前影像不含噪點。因通過閥值的當(dāng)前影像所含噪點會對安全警示系統(tǒng)造成較大的影響而需要進行修補處理。

于另一實施例中，若當(dāng)前影像P(t)對應(yīng)的I通過I^tU所計算出來的N筆內(nèi)積值中的最大值大于預(yù)設(shè)閥值(threshold)，則判斷當(dāng)前影像P(t)中含有雨刷物件并進入S3步驟。若當(dāng)前影像P(t)對應(yīng)的I通過I^tU所計算出來的N筆內(nèi)積值中的最大值小于閥值，則判斷當(dāng)前影像P(t)不含雨刷物件。因P(t)中的暗像素群不符合N筆訓(xùn)練數(shù)據(jù)的雨刷形狀的話，則依I^tU所計算出的N筆內(nèi)積值皆較小。

S3，判斷每張含噪點的當(dāng)前影像均有受修補處理。若否，則進入S4步驟。若是，則不進行修補處理。

S4，針對含噪點影像進行修補。求出當(dāng)前影像與參考影像間的像素對應(yīng)關(guān)系并進行影像修補，至此多個影像交互修補方法的流程已完成。前述的對應(yīng)關(guān)系能夠被視為一幾何關(guān)系，其為二影像(P1,P2)間像素的對應(yīng)關(guān)系，舉例而言，可為一轉(zhuǎn)換矩陣或偏移地圖，故P1(x,y)＝P2(X,Y)，P為像素(Pixel)。(x,y)或(X,Y)為坐標(biāo)位置。

于修補時，當(dāng)前一含噪點影像中構(gòu)成噪點的多個像素不能直接以參考影像中相同位置的多個像素來修補。因多個攝影機架構(gòu)中，每一影像均存在微小視差。

于上述的多個實施例中，使用偏移地圖(Offset map)或任一種足以描述兩影像間的修補像素對應(yīng)關(guān)系的轉(zhuǎn)換方程式，來模型化不同的兩影像(亦即當(dāng)前一含噪點影像與參考影像)之間的像素對應(yīng)關(guān)系。也就是說，對于影像任意像素位置而言，偏移地圖可描述此一像素位置的像素值能使用參考影像的某位置的像素值修補，而達到較自然的結(jié)果。

請配合參考圖9所示，其為一使用偏移地圖與修補影像的方法。其步驟包含有：

S5，選擇修補影像對。選擇已知的攝影機相對關(guān)系來選用無噪點且最小視差影像與含噪點影像配對，該配對為修補影像對。此處所述的攝影機為上述的攝影單元110。

S6，隨機產(chǎn)生一偏移地圖。以一獨立均勻取樣(Independent Uniform Samples)方法或任一種能夠于參考影像隨機取樣像素點的隨機方法，來產(chǎn)生一修補影像對的初始隨機偏移地圖。若更進一步論述，在參考圖影像范圍(size)中，使用獨立均勻取樣隨機生成偏移地圖中每一像素(pixel)的偏移量

S7，判斷n次疊代。判斷修補影像對進行一次疊代，若否，則至S8步驟，該疊代次數(shù)為累進制直至n次，n為一常數(shù)。判斷來自S8步驟的修補影像對是否進行n次疊代，若是則至S11步驟，若否則至S8步驟。

疊代是重復(fù)反饋過程的活動，其目的通常是為了接近并到達所需的目標(biāo)或結(jié)果。每一次對過程的重復(fù)被稱為一次“疊代”，而每一次疊代得到的結(jié)果會被用來作為下一次疊代的初始值。

S8，判斷當(dāng)次疊代中，在修補影像對里未更新補丁。若是，來自S7步驟的修補影像對已進行當(dāng)次疊代，并更新補丁，則回到S7步驟。假若來自S7步驟的修補影像對無當(dāng)次疊代，未進行更新補丁，則至S9步驟。

S9，針對當(dāng)前補丁，由鄰近補丁與當(dāng)前補丁的偏移量，覆寫當(dāng)前補丁的偏移量。更新每個補丁，并定義含噪點影像中當(dāng)前補丁偏移量為f(x,y)且D(v)為當(dāng)前補丁(x,y)與參考影像中補丁(x,y)+v之間的距離，則在鄰近補丁中找尋最小偏移量來覆寫當(dāng)前補丁偏移量，如下公式(3)。

f(x,y)＝{D(f(x,y)),D(f(x-1,y)),D(f(x,y-1)) (3)

S10，針對當(dāng)前補丁，于預(yù)設(shè)半徑(隨次衰減)內(nèi)，隨機找尋更好偏移量，直到半徑衰減至1像素。在當(dāng)前補丁周圍(x,y)，以一遞減半徑區(qū)域隨機搜索來更新當(dāng)前補丁偏移量f(x,y)，如公式(4)所表示，其中R_i是在[-1,1]×[-1,1]區(qū)間的隨機值，w是最大搜索半徑，α是一遞減比值，i則為搜索次數(shù)其由0持續(xù)地增直到搜索半徑wαⁱ低于1像素。再回到S8步驟。

u_i＝f(x,y)+wαⁱR_i (4)

S11，以一新偏移地圖修補含噪點影像。以偏移地圖所含的2張影像對應(yīng)關(guān)系，將含噪點影像中噪點像素群以參考影像做修補。舉例說明，若含噪點影像中N_t為一噪點位置，則利用偏移地圖查找參考影像中對應(yīng)位置DN_t的像素值來修補噪點。

請配合參考圖10所示，其為本發(fā)明的一雨刷修補的示意圖。一修補影像對影像13A被雨刷物件遮住，但影像對中雨刷物件遮蔽區(qū)域并不相同。如上所述的本發(fā)明的多個且重疊區(qū)域的影像修補系統(tǒng)及其方法可檢測噪點13A1并將參考影像拿來修補另一影像中被雨刷影像所遮住的像素群，以得到修補后影像13A2，故修補后影像13A2不再有雨刷影像，且影像不會被雨刷影像遮住。

請配合參考圖11所示，其為本發(fā)明的一臟污修補的示意圖。臟污影像14A于一影像中呈現(xiàn)有至少一臟污，如上所述的本發(fā)明的多個且重疊區(qū)域的影像修補系統(tǒng)及其方法可檢測噪點14A1并將參考影像拿來修補另一影像中被臟污所遮住的像素群，以得到修補后影像14A2，故修補后影像14A2不再有臟污影像，且影像不會被臟污影像遮住。

請配合參考圖12所示，雨滴影像15A于一影像中呈現(xiàn)有至少一雨滴，如上所述的本發(fā)明的多個且重疊區(qū)域的影像修補系統(tǒng)及其方法可檢測噪點15A1并將參考影像拿來修補另一影像中被雨滴所遮住的像素群，以得到修補后影像15A2，故修補后影像15A2不再有雨滴影像，且影像不會被雨滴影像遮住。

綜合上述，在即時運算應(yīng)用中，用以修補的參考影像可為足以修補當(dāng)前影像的任一先前擷取影像；在非即時運算當(dāng)中，用以修補的參考影像可為足以修補當(dāng)前影像的任一先前擷取影像或任一稍后擷取影像。

另外，本發(fā)明的多個且重疊區(qū)域的影像修補系統(tǒng)能夠使用于任何具有運算功能的裝置中，舉例而言，如臺式電腦、平板電腦、智能手機或筆記本電腦。

另外，本發(fā)明可去除影像中的噪點(如雨滴)，即便在雨天的情況中，各類安全警示系統(tǒng)的辨識率仍可維持，因而得以提升駕駛者的安全性。

再一，本發(fā)明可使得多個影像雖有視角差異但其影像的時間為相同，因此影像修補時能使用同一時間點的多個影像，所以修補后的真實性可以得到保證，也因此能夠保證影像安全警示系統(tǒng)的真實性。

再二，本發(fā)明亦可通過接收實體雨刷信號或是雨滴信號，以決定本實施例的多個影像交互修補方法是否需開始執(zhí)行，如此的話，可降低系統(tǒng)運算負荷，并降低誤判率。

再三，于有噪點干擾時，本發(fā)明以影像分割技術(shù)及影像修補技術(shù)，檢測并修補噪點像素群，即修補被噪點所遮擋住的影像，使得障礙物辨識不受如雨滴等噪點的影響，因而得以提升障礙物的辨識率。

當(dāng)然，本發(fā)明還可有其它多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍。