本發(fā)明涉及圖像處理領域,更具體地涉及一種用于對圖像進行拼接的方法和裝置。
背景技術:
圖像拼接適用于大幅面的圖像處理。對兩張圖像進行拼接是在要拼接的兩張圖像存在重合的相同區(qū)域的前提下完成的。在圖像拼接應用中,特征點匹配是一個重要的步驟。通過surf,sift,fast等方法在兩張圖像中提取特征點從而粗對齊了兩張圖像后,局部特征點還是由于局部變形而沒有匹配上。
需要一種能夠找到均勻分布在重疊的圖像區(qū)域中的、更加魯棒并且準確的匹配特征點的方法和裝置。
技術實現(xiàn)要素:
在下文中給出關于本發(fā)明的簡要概述,以便提供關于本發(fā)明的某些方面的基本理解。應當理解,這個概述并不是關于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關鍵或重要部分,也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念,以此作為稍后論述的更詳細描述的前序。
本發(fā)明的一個主要目的在于,提供了一種對圖像進行拼接的方法,包括:基于第一重疊圖像中的像素的梯度信息確定所述第一重疊圖像中的稠密區(qū)域;將所述稠密區(qū)域劃分為多個塊,并在所述第二重疊圖像中確定與所述多個塊分別對應的對應塊;基于所述多個塊的每個塊中的每個像素的梯度值來確定候選樣本塊;針對每一個候選樣本塊,找到該候選樣本塊和所述第二重疊圖像中的與其對應的對應塊中的匹配特征點對;針對每一個候選樣本塊,基于所述匹配特征點對之間的連線的傾斜角度來確定該候選 樣本塊的所有匹配特征點中的穩(wěn)定匹配特征點對;基于每個候選樣本塊中匹配特征點對的數(shù)目和所述傾斜角度來計算每個候選樣本塊的所述穩(wěn)定匹配特征點對的置信度;選取預定比例置信度高的匹配特征點對來校正其余置信度低的匹配特征點對;以及基于所獲得的匹配特征點對進行圖像拼接。
根據(jù)本發(fā)明的一個方面,提供一種對圖像進行拼接的裝置,包括:稠密區(qū)域確定單元,被配置為基于第一重疊圖像中的像素的梯度信息確定所述第一重疊圖像中的稠密區(qū)域;塊確定單元,被配置為將所述稠密區(qū)域劃分為多個塊,并在所述第二重疊圖像中確定與所述多個塊分別對應的對應塊;候選樣本塊確定單元,被配置為基于所述多個塊的每個塊中的每個像素的梯度值來確定候選樣本塊;匹配特征點對確定單元,被配置為針對每一個候選樣本塊,找到該候選樣本塊和所述第二重疊圖像中的與其對應的對應塊中的匹配特征點對;穩(wěn)定匹配特征點對確定單元,被配置為針對每一個候選樣本塊,基于所述匹配特征點對之間的連線的傾斜角度來確定該候選樣本塊的所有匹配特征點對中的穩(wěn)定匹配特征點對;置信度計算單元,被配置為基于每個塊中匹配特征點對的數(shù)目和所述傾斜角度來計算每個候選樣本塊中的穩(wěn)定匹配特征點對的置信度;校正單元,被配置為選取預定比例置信度高的匹配特征點對來校正其余置信度低的匹配特征點對;以及拼接單元,被配置為基于所獲得的匹配特征點對進行圖像拼接。
另外,本發(fā)明的實施例還提供了用于實現(xiàn)上述方法的計算機程序。
此外,本發(fā)明的實施例還提供了至少計算機可讀介質(zhì)形式的計算機程序產(chǎn)品,其上記錄有用于實現(xiàn)上述方法的計算機程序代碼。
通過以下結合附圖對本發(fā)明的最佳實施例的詳細說明,本發(fā)明的這些以及其他優(yōu)點將更加明顯。
附圖說明
參照下面結合附圖對本發(fā)明實施例的說明,會更加容易地理解本發(fā)明的以上和其它目的、特點和優(yōu)點。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中,相同的或類似的技術特征或部件將采用相同或類似的附圖標記來表示。
圖1a和1b示出兩張待拼接的圖像,圖1c是將兩張圖像粗對齊后得 到的圖像片段;
圖2示出了根據(jù)本發(fā)明的一個實施例的用于對圖像進行拼接的方法200的示例性過程的流程圖;
圖3是示出圖2中的步驟s202的一種示例性過程的流程圖;
圖4示出了對第一重疊圖像進行二值化處理后所得到的最優(yōu)二值化圖;
圖5對圖像中的稠密區(qū)域進行劃分的示意圖;
圖6是示出圖2中的步驟s206的一種示例性過程的流程圖;
圖7是示出圖2中的步驟s210的一種示例性過程的流程圖;
圖8是示出根據(jù)本發(fā)明的一個實施例的對圖像進行拼接的裝置800的示例性配置的框圖;
圖9是示出圖8中的稠密區(qū)域確定單元802的一種示例性配置的框圖;
圖10是示出圖8中的候選樣本塊確定單元806的一種示例性配置的框圖;
圖11是示出圖8中的穩(wěn)定匹配特征點對確定單元810的一種示例性配置的框圖;以及
圖12是示出可以用于實施本發(fā)明的對圖像進行拼接的方法和裝置的計算設備的示例性結構圖。
具體實施方式
在下文中將結合附圖對本發(fā)明的示范性實施例進行描述。為了清楚和簡明起見,在說明書中并未描述實際實施方式的所有特征。然而,應該了解,在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定,以便實現(xiàn)開發(fā)人員的具體目標,例如,符合與系統(tǒng)及業(yè)務相關的那些限制條件,并且這些限制條件可能會隨著實施方式的不同而有所改變。此外,還應該了解,雖然開發(fā)工作有可能是非常復雜和費時的,但對得益于本公開內(nèi)容的本領域技術人員來說,這種開發(fā)工作僅僅是例行的任務。
在此,還需要說明的一點是,為了避免因不必要的細節(jié)而模糊了本發(fā)明,在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關的設備結構和/或 處理步驟,而省略了與本發(fā)明關系不大的其他細節(jié)。
本發(fā)明提出了一種更加準確和魯棒地匹配兩張圖像中的局部特征點的方法。
在本發(fā)明的方法中,首先在重疊的區(qū)域中提取稠密區(qū)域以用于特征點的提取。然后,將稠密區(qū)域劃分為多個小塊以得到足夠提取候選匹配特征點的區(qū)域。接著,需要找到劃分的區(qū)域中的匹配點及其對應的置信度,獲得最魯棒的匹配點。最后,在這些劃分的塊中選擇置信度高的匹配點,可以使用線性擬合方法來校正置信度較低的匹配點,從而可以基于匹配點來對圖像進行拼接。
下面結合附圖詳細說明根據(jù)本發(fā)明的實施例的對圖像進行拼接的方法和裝置。下文中的描述按如下順序進行:
1.對圖像進行拼接的方法
2.對圖像進行拼接的裝置
3.用以實施本申請的方法和裝置的計算設備
[1.對圖像進行拼接的方法]
根據(jù)本發(fā)明的方法所要處理的對象是兩張圖像的重疊區(qū)域粗對齊后得到的圖像片段,并且圖像片段在原圖像上的位置是已知的。
如圖1a和1b所示是兩張待拼接的圖像,圖1c是將兩張待拼接的圖像上下粗略對齊后得到的圖像片段。本領域技術人員可以理解,兩張圖像可以上下對齊也可以左右對齊,下面的說明中以將兩張圖像上下對齊為例來說明根據(jù)本發(fā)明的方法。
圖2示出了根據(jù)本發(fā)明的一個實施例的用于對圖像進行拼接的方法200的示例性過程的流程圖。
這里,將圖1a和圖1b中的圖像分別稱為第一圖像和第二圖像,將圖1c中的圖像片段的上部稱為第一圖像的第一重疊圖像,將其下部稱為第二圖像的第二重疊圖像。
首先,在步驟s202中,基于第一重疊圖像中的像素的梯度信息確定第一重疊圖像中的稠密區(qū)域。
稠密的區(qū)域即包含更多的字符或圖形,在第一重疊圖像中找到最稠密 的區(qū)域使得可以更魯棒地提取特征點。
圖3是示出圖2中的步驟s202中基于第一重疊圖像中的像素的梯度信息確定第一重疊圖像中的稠密區(qū)域的一種示例性過程的流程圖。
如圖3所示,首先,在步驟s2022中,用大津方法和梯度方法分別對第一重疊圖像進行二值化得到兩個二值化圖像。
接著,在步驟s2024中,對所得到的兩個二值化圖像進行或運算得到更好的優(yōu)化二值化圖像。
然后,在步驟s2026中,對優(yōu)化二值化圖像的每一行迭代計算像素的梯度改變次數(shù)。例如,當像素的梯度從白到黑或從黑到白,則將像素的梯度改變次數(shù)加1。
最后,在步驟s2028中,選定梯度變化最大的區(qū)域,即梯度改變次數(shù)最大的區(qū)域作為稠密區(qū)域。
如圖4所示,是對第一重疊圖像進行二值化處理后所得到的最優(yōu)二值化圖,其中的實線框中的區(qū)域是所選定的梯度變化最大的稠密區(qū)域。
接下來,在步驟s204中,將所確定的稠密區(qū)域平均劃分為多個塊,可以在下面的第二重疊圖像中找到對應的塊。圖5的上部示出了第一重疊圖像上的稠密區(qū)域被平均劃分的多個小塊。為了更準確地找到第二重疊圖像中的匹配點,優(yōu)選地,可以將下面的第二重疊圖像中的對應塊選取得比上面的塊更大。
接下來,在步驟s206中,基于多個塊的每個塊中的每個像素的梯度值來確定候選樣本塊。
該步驟是判斷該塊中的特征是否足夠豐富,特征足夠豐富的塊中才能有準確的匹配點。
圖6是示出圖2中的步驟s206中基于多個塊的每個塊中的每個像素的梯度值來確定候選樣本塊的一種示例性過程的流程圖。
如圖6所示,首先,在步驟s2062中,計算每個像素的梯度值。
在一個示例中,可以先計算像素點的水平梯度值和垂直梯度值,分別表示為dx和dy,則該像素點的梯度值可以表示為
接著,在步驟s2064中,將其梯度值大于預定閾值t的像素作為候選 梯度點來統(tǒng)計每個塊中的候選梯度點的數(shù)目。
在步驟s2066中,如果一個塊中的候選梯度點的數(shù)目大于預定閾值n且候選梯度點平均分布在該塊中,則確定該塊為候選樣本塊。
在步驟s206中確定候選樣本塊之后,在步驟s208中,針對每一個候選樣本塊,找到候選樣本塊和第二重疊圖像中的與其對應的對應塊中的匹配特征點對。
在一個示例中,可以通surf算子來提取特征點,特征描述子也可以使用surf描述子。
其中,在找到候選樣本塊和第二重疊圖像中的與其對應的對應塊中的匹配特征點對的過程中,可以過濾掉錯誤的匹配特征點對,例如,可以使用ransac方法來過濾錯誤的匹配特征點對。從而可以得到一個候選樣本塊的正確的匹配特征點對的總數(shù)為n(i)。
接下來,在步驟s210中,針對每一個候選樣本塊,基于匹配特征點對之間的連線的傾斜角度來確定該候選樣本塊中的穩(wěn)定匹配特征點對。穩(wěn)定匹配特征點對是該候選樣本塊中最魯棒、最準確的匹配特征點。
圖7是示出圖2中的步驟s210中基于匹配特征點對之間的連線的傾斜角度來確定該候選樣本塊中的穩(wěn)定匹配特征點對的一種示例性過程的流程圖。
如圖7所示,首先,在步驟s2102中,計算一個候選樣本塊和對應的塊中的所有匹配特征點對之間的連線的傾斜角度。
接著,在步驟s2104中,針對該候選樣本塊計算所有傾斜角度的平均值m(i)和傾斜角度的方差v(i)。
在步驟s106中,將其傾斜角度最接近平均值m(i)的匹配特征點對確定為該候選樣本塊的穩(wěn)定匹配特征點對。
接下來,在步驟s212中,基于每個塊中匹配特征點對的數(shù)目和傾斜角度來確定每個候選樣本塊的所有匹配特征點對中穩(wěn)定匹配特征點對的置信度。
所有的候選樣本塊都有一個穩(wěn)定匹配特征點對,每個穩(wěn)定匹配特征點對都有一個置信度。在一個示例中,可以將置信度c(i)表示為:
c(i)=μ*(n(i)/navg)+(1-μ)*(vavg/v(i)),其中,n(i)為該候選樣本 塊中匹配特征點對的總數(shù),navg為所有塊中的匹配特征點對數(shù)目的平均值,v(i)為該候選樣本塊中的傾斜角度的方差,vavg為所有塊中的傾斜角度的方差的平均值,μ在(0~1)之間。
總的來說,每個塊中匹配特征點對的數(shù)目越多,則該塊中的匹配特征點對的置信度越高,并且傾斜角度的方差越小,則該候選樣本塊中的穩(wěn)定匹配特征點對的置信度越高。
接下來,在步驟s214中,選取預定比例置信度高的匹配特征點對來校正其余置信度低的匹配特征點對。
在一個示例中,可以通過線性擬合來校正置信度低的匹配特征點。
最后,在步驟s216中,可以基于所獲得的匹配特征點對進行圖像拼接。
[2.對圖像進行拼接的裝置]
圖8是示出根據(jù)本發(fā)明的一個實施例的對圖像進行拼接的裝置800的示例性配置的框圖。
如圖8所示,對圖像進行拼接的裝置800包括稠密區(qū)域確定單元802、塊確定單元804、候選樣本塊確定單元806、匹配特征點對確定單元808、穩(wěn)定匹配特征點對確定單元810、置信度計算單元812、校正單元814和圖像拼接單元816。
其中,稠密區(qū)域確定單元802被配置為基于第一重疊圖像中的像素的梯度信息確定第一重疊圖像中的稠密區(qū)域。
塊確定單元804被配置為將稠密區(qū)域劃分為多個塊,并在第二重疊圖像中確定與多個塊分別對應的對應塊。
候選樣本塊確定單元806被配置為基于多個塊的每個塊中的每個像素的梯度值來確定候選樣本塊。
匹配特征點對確定單元808被配置為針對每一個候選樣本塊,找到該候選樣本塊和第二重疊圖像中的與其對應的對應塊中的匹配特征點對。
穩(wěn)定匹配特征點對確定單元810被配置為針對每一個候選樣本塊,基于匹配特征點對之間的連線的傾斜角度來確定該候選樣本塊的所有匹配 特征點對中的穩(wěn)定匹配特征點對。
置信度計算單元812被配置為基于每個塊中匹配特征點對的數(shù)目和傾斜角度來計算每個候選樣本塊中的穩(wěn)定匹配特征點對的置信度。
校正單元814被配置為選取預定比例置信度高的匹配特征點對來校正其余置信度低的匹配特征點對。
圖像拼接單元816被配置為基于所獲得的匹配特征點對進行圖像拼接。
圖9是示出圖8中的稠密區(qū)域確定單元802的一種示例性配置的框圖。稠密區(qū)域確定單元802包括:二值化子單元8022、優(yōu)化子單元8024、梯度改變次數(shù)計算子單元8026和稠密區(qū)域選定子單元8028。
二值化子單元8022被配置為用大津方法和梯度方法分別對第一重疊圖像進行二值化得到兩個二值化圖像。
優(yōu)化子單元8024被配置為對所得到的兩個二值化圖像進行或運算得到優(yōu)化二值化圖像。
梯度改變次數(shù)計算子單元8026被配置為對優(yōu)化二值化圖像的每一行迭代計算像素的梯度改變次數(shù)。
稠密區(qū)域選定子單元8028被配置為選定梯度改變次數(shù)最大的區(qū)域作為稠密區(qū)域。
其中,梯度改變次數(shù)計算單元進一步被配置為:對于一行中的像素,當像素的梯度從白到黑或從黑到白,則將像素的梯度改變次數(shù)加1。
其中,塊確定單元804進一步被配置為:將第二重疊圖像中的對應塊選取得比第一重疊圖像中的塊大。
圖10是示出圖8中的候選樣本塊確定單元806的一種示例性配置的框圖。候選樣本塊確定單元806包括:梯度值計算子單元8062、候選梯度點統(tǒng)計子單元8064和候選樣本塊確定子單元8066。
梯度值計算子單元8062被配置為計算每個像素的梯度值。
候選梯度點統(tǒng)計子單元8064被配置為將其梯度值大于第一預定閾值的像素作為候選梯度點來統(tǒng)計每個塊中的候選梯度點的數(shù)目。
候選樣本塊確定子單元8066被配置為如果一個塊中的候選梯度點的 數(shù)目大于第二預定閾值且候選梯度點平均分布在該塊中,則確定該塊為候選樣本塊。
其中,匹配特征點對確定單元808進一步被配置為:過濾掉錯誤的匹配點。
圖11是示出圖8中的穩(wěn)定匹配特征點對確定單元810的一種示例性配置的框圖。穩(wěn)定匹配特征點對確定單元810包括:傾斜角度計算子單元8102、平均值和方差計算子單元8104和穩(wěn)定匹配特征點對確定子單元8106。
傾斜角度計算子單元8102被配置為針對該候選樣本塊,計算所有匹配特征點對之間的連線的傾斜角度。
平均值和方差計算子單元8104被配置為計算所計算的所有傾斜角度的平均值和傾斜角度的方差。
穩(wěn)定匹配特征點對確定子單元8106被配置為將其傾斜角度最接近平均值的匹配特征點對確定為該候選樣本塊的穩(wěn)定匹配特征點對。
其中,置信度計算單元812進一步被配置為:每個候選樣本塊中匹配點的數(shù)目越多,則該候選樣本塊中的匹配特征點的置信度越高,并且傾斜角度的方差越小,則該匹配特征點的置信度越高。
校正單元814進一步被配置為:通過線性擬合用置信度高的匹配特征點來校正其余匹配特征點。
關于對圖像進行拼接的裝置800的各個部分的操作和功能的細節(jié)可以參照結合圖1-7描述的本發(fā)明的對圖像進行拼接的方法的實施例,這里不再詳細描述。
在此需要說明的是,圖8-11所示的裝置及其組成單元的結構僅僅是示例性的,本領域技術人員可以根據(jù)需要對圖8-11所示的結構框圖進行修改。
本發(fā)明提出一種對圖像進行拼接的方法和裝置。和傳統(tǒng)方法相比,本方法具有如下優(yōu)勢:
1、在稠密區(qū)域中提取特征點塊,而避開了特征點少的空白區(qū)域或特征少的區(qū)域,使得選取的特征點塊更加魯棒;
2、利用置信度能夠選擇出最魯棒和準確的匹配特征點,來約束校正置信度較低的匹配點,從而拼接的圖像中的匹配點更加準確。
[3.用以實施本申請的方法和裝置的計算設備]
以上結合具體實施例描述了本發(fā)明的基本原理,但是,需要指出的是,對本領域的普通技術人員而言,能夠理解本發(fā)明的方法和裝置的全部或者任何步驟或者部件,可以在任何計算裝置(包括處理器、存儲介質(zhì)等)或者計算裝置的網(wǎng)絡中,以硬件、固件、軟件或者它們的組合加以實現(xiàn),這是本領域普通技術人員在閱讀了本發(fā)明的說明的情況下運用他們的基本編程技能就能實現(xiàn)的。
因此,本發(fā)明的目的還可以通過在任何計算裝置上運行一個程序或者一組程序來實現(xiàn)。所述計算裝置可以是公知的通用裝置。因此,本發(fā)明的目的也可以僅僅通過提供包含實現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來實現(xiàn)。也就是說,這樣的程序產(chǎn)品也構成本發(fā)明,并且存儲有這樣的程序產(chǎn)品的存儲介質(zhì)也構成本發(fā)明。顯然,所述存儲介質(zhì)可以是任何公知的存儲介質(zhì)或者將來所開發(fā)出來的任何存儲介質(zhì)。
在通過軟件和/或固件實現(xiàn)本發(fā)明的實施例的情況下,從存儲介質(zhì)或網(wǎng)絡向具有專用硬件結構的計算機,例如圖12所示的通用計算機1200安裝構成該軟件的程序,該計算機在安裝有各種程序時,能夠執(zhí)行各種功能等等。
在圖12中,中央處理單元(cpu)1201根據(jù)只讀存儲器(rom)1202中存儲的程序或從存儲部分1208加載到隨機存取存儲器(ram)1203的程序執(zhí)行各種處理。在ram1203中,也根據(jù)需要存儲當cpu1201執(zhí)行各種處理等等時所需的數(shù)據(jù)。cpu1201、rom1202和ram1203經(jīng)由總線1204彼此鏈路。輸入/輸出接口1205也鏈路到總線1204。
下述部件鏈路到輸入/輸出接口1205:輸入部分1206(包括鍵盤、鼠標等等)、輸出部分1207(包括顯示器,比如陰極射線管(crt)、液晶顯示器(lcd)等,和揚聲器等)、存儲部分1208(包括硬盤等)、通信部分1209(包括網(wǎng)絡接口卡比如lan卡、調(diào)制解調(diào)器等)。通信部分1209經(jīng)由網(wǎng)絡比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要,驅(qū)動器1210也可鏈路到輸入/輸出接口1205??刹鹦督橘|(zhì)1211比如磁盤、光盤、磁光盤、半導體存儲器 等等根據(jù)需要被安裝在驅(qū)動器1210上,使得從中讀出的計算機程序根據(jù)需要被安裝到存儲部分1208中。
在通過軟件實現(xiàn)上述系列處理的情況下,從網(wǎng)絡比如因特網(wǎng)或存儲介質(zhì)比如可拆卸介質(zhì)1211安裝構成軟件的程序。
本領域的技術人員應當理解,這種存儲介質(zhì)不局限于圖12所示的其中存儲有程序、與設備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1211。可拆卸介質(zhì)1211的例子包含磁盤(包含軟盤(注冊商標))、光盤(包含光盤只讀存儲器(cd-rom)和數(shù)字通用盤(dvd))、磁光盤(包含迷你盤(md)(注冊商標))和半導體存儲器?;蛘撸鎯橘|(zhì)可以是rom1202、存儲部分1208中包含的硬盤等等,其中存有程序,并且與包含它們的設備一起被分發(fā)給用戶。
本發(fā)明還提出一種存儲有機器可讀取的指令代碼的程序產(chǎn)品。指令代碼由機器讀取并執(zhí)行時,可執(zhí)行上述根據(jù)本發(fā)明實施例的方法。
相應地,用于承載上述存儲有機器可讀取的指令代碼的程序產(chǎn)品的存儲介質(zhì)也包括在本發(fā)明的公開中。存儲介質(zhì)包括但不限于軟盤、光盤、磁光盤、存儲卡、存儲棒等。
本領域的普通技術人員應理解,在此所例舉的是示例性的,本發(fā)明并不局限于此。
在本說明書中,“第一”、“第二”以及“第n個”等表述是為了將所描述的特征在文字上區(qū)分開,以清楚地描述本發(fā)明。因此,不應將其視為具有任何限定性的含義。
作為一個示例,上述方法的各個步驟以及上述設備的各個組成模塊和/或單元可以實施為軟件、固件、硬件或其組合,并作為相應設備中的一部分。上述裝置中各個組成模塊、單元通過軟件、固件、硬件或其組合的方式進行配置時可使用的具體手段或方式為本領域技術人員所熟知,在此不再贅述。
作為一個示例,在通過軟件或固件實現(xiàn)的情況下,可以從存儲介質(zhì)或網(wǎng)絡向具有專用硬件結構的計算機(例如圖12所示的通用計算機1200)安裝構成該軟件的程序,該計算機在安裝有各種程序時,能夠執(zhí)行各種功能等。
在上面對本發(fā)明具體實施例的描述中,針對一種實施方式描述和/或示 出的特征可以以相同或類似的方式在一個或更多個其他實施方式中使用,與其他實施方式中的特征相組合,或替代其他實施方式中的特征。
應該強調(diào),術語“包括/包含”在本文使用時指特征、要素、步驟或組件的存在,但并不排除一個或更多個其他特征、要素、步驟或組件的存在或附加。
此外,本發(fā)明的方法不限于按照說明書中描述的時間順序來執(zhí)行,也可以按照其他的時間順序地、并行地或獨立地執(zhí)行。因此,本說明書中描述的方法的執(zhí)行順序不對本發(fā)明的技術范圍構成限制。
本發(fā)明及其優(yōu)點,但是應當理解在不超出由所附的權利要求所限定的本發(fā)明的精神和范圍的情況下可以進行各種改變、替代和變換。而且,本發(fā)明的范圍不僅限于說明書所描述的過程、設備、手段、方法和步驟的具體實施例。本領域內(nèi)的普通技術人員從本發(fā)明的公開內(nèi)容將容易理解,根據(jù)本發(fā)明可以使用執(zhí)行與在此的相應實施例基本相同的功能或者獲得與其基本相同的結果的、現(xiàn)有和將來要被開發(fā)的過程、設備、手段、方法或者步驟。因此,所附的權利要求旨在在它們的范圍內(nèi)包括這樣的過程、設備、手段、方法或者步驟。
基于以上的說明,可知公開至少公開了以下技術方案:
1、一種對圖像進行拼接的方法,包括:
基于第一重疊圖像中的像素的梯度信息確定所述第一重疊圖像中的稠密區(qū)域;
將所述稠密區(qū)域劃分為多個塊,并在所述第二重疊圖像中確定與所述多個塊分別對應的對應塊;
基于所述多個塊的每個塊中的每個像素的梯度值來確定候選樣本塊;
針對每一個候選樣本塊,找到該候選樣本塊和所述第二重疊圖像中的與其對應的對應塊中的匹配特征點對;
針對每一個候選樣本塊,基于所述匹配特征點對之間的連線的傾斜角度來確定該候選樣本塊的所有匹配特征點中的穩(wěn)定匹配特征點對;
基于每個塊中匹配特征點對的數(shù)目和所述傾斜角度來計算每個候選樣本塊的所述穩(wěn)定匹配特征點對的置信度;
選取預定比例置信度高的匹配特征點對來校正其余置信度低的匹配 特征點對;以及
基于所獲得的匹配特征點對進行圖像拼接。
2、根據(jù)附記1所述的方法,其中,基于所述第一重疊圖像中的像素的梯度信息確定稠密區(qū)域包括:
用大津方法和梯度方法分別對所述第一重疊圖像進行二值化得到兩個二值化圖像;
對所得到的兩個二值化圖像進行或運算得到優(yōu)化二值化圖像;
對所述優(yōu)化二值化圖像的每一行迭代計算像素的梯度改變次數(shù);以及
選定梯度改變次數(shù)最大的區(qū)域作為所述稠密區(qū)域。
3、根據(jù)附記2所述的方法,其中,對所述優(yōu)化二值化圖像的每一行迭代計算像素的梯度改變次數(shù)包括:
對于一行中的像素,當像素的梯度從白到黑或從黑到白,則將像素的梯度改變次數(shù)加1。
4、根據(jù)附記1所述的方法,其中,所述第二重疊圖像中的所述對應塊被選取得比所述第一重疊圖像中的塊大。
5、根據(jù)附記1所述的方法,其中,基于所述多個塊的每個塊中的每個像素的梯度值確定候選樣本塊包括:
計算每個像素的梯度值;
將其梯度值大于第一預定閾值的像素作為候選梯度點來統(tǒng)計每個塊中的候選梯度點的數(shù)目;以及
如果一個塊中的候選梯度點的數(shù)目大于第二預定閾值且所述候選梯度點平均分布在該塊中,則確定該塊為候選樣本塊。
6、根據(jù)附記1所述的方法,其中,針對每一個候選樣本塊找到候選 樣本塊和第二重疊圖像中的與其對應的對應塊中的匹配特征點對還包括:
過濾掉錯誤的匹配點。
7、根據(jù)附記1所述的方法,其中,針對每一個候選樣本塊,基于匹配特征點對之間的連線的傾斜角度來確定該候選樣本塊的穩(wěn)定匹配特征點包括:
針對該候選樣本塊,計算所有匹配特征點對之間的連線的傾斜角度;
計算所計算的所有傾斜角度的平均值和傾斜角度的方差;以及
將其傾斜角度最接近所述平均值的匹配特征點對確定為該候選樣本塊的穩(wěn)定匹配特征點對。
8、根據(jù)附記7所述的方法,其中,每個候選樣本塊中匹配點的數(shù)目越多,則該候選樣本塊中的匹配特征點的置信度越高,并且所述傾斜角度的方差越小,則該匹配特征點的置信度越高。
9、根據(jù)附記1所述的方法,選取預定比例置信度高的匹配特征點來校正其余匹配特征點得到匹配線包括:
通過線性擬合用置信度高的匹配特征點來校正其余匹配特征點。
10、一種對圖像進行拼接的裝置,包括:
稠密區(qū)域確定單元,被配置為基于第一重疊圖像中的像素的梯度信息確定所述第一重疊圖像中的稠密區(qū)域;
塊確定單元,被配置為將所述稠密區(qū)域劃分為多個塊,并在所述第二重疊圖像中確定與所述多個塊分別對應的對應塊;
候選樣本塊確定單元,被配置為基于所述多個塊的每個塊中的每個像素的梯度值來確定候選樣本塊;
匹配特征點對確定單元,被配置為針對每一個候選樣本塊,找到該候選樣本塊和所述第二重疊圖像中的與其對應的對應塊中的匹配特征點對;
穩(wěn)定匹配特征點對確定單元,被配置為針對每一個候選樣本塊,基于所述匹配特征點對之間的連線的傾斜角度來確定該候選樣本塊的所有匹配特征點對中的穩(wěn)定匹配特征點對;
置信度計算單元,被配置為基于每個塊中匹配特征點對的數(shù)目和所述傾斜角度來計算每個候選樣本塊中的穩(wěn)定匹配特征點對的置信度;
校正單元,被配置為選取預定比例置信度高的匹配特征點對來校正其余置信度低的匹配特征點對;以及
圖像拼接單元,被配置為基于所獲得的匹配特征點對進行圖像拼接。
11、根據(jù)附記10所述的裝置,其中,所述稠密區(qū)域確定單元包括:
二值化子單元,被配置為用大津方法和梯度方法分別對所述第一重疊圖像進行二值化得到兩個二值化圖像;
優(yōu)化子單元,被配置為對所得到的兩個二值化圖像進行或運算得到優(yōu)化二值化圖像;
梯度改變次數(shù)計算子單元,被配置為對所述優(yōu)化二值化圖像的每一行迭代計算像素的梯度改變次數(shù);以及
稠密區(qū)域選定子單元,被配置為選定梯度改變次數(shù)最大的區(qū)域作為所述稠密區(qū)域。
12、根據(jù)附記11所述的裝置,其中,所述梯度改變次數(shù)計算單元進一步被配置為:
對于一行中的像素,當像素的梯度從白到黑或從黑到白,則將像素的梯度改變次數(shù)加1。
13、根據(jù)附記10所述的裝置,其中,所述塊確定單元進一步被配置為:將所述第二重疊圖像中的所述對應塊選取得比所述第一重疊圖像中的塊大。
14、根據(jù)附記10所述的裝置,其中,所述候選樣本塊確定單元包括:
梯度值計算子單元,被配置為計算每個像素的梯度值;
候選梯度點統(tǒng)計子單元,被配置為將其梯度值大于第一預定閾值的像素作為候選梯度點來統(tǒng)計每個塊中的候選梯度點的數(shù)目;以及
候選樣本塊確定子單元,被配置為如果一個塊中的候選梯度點的數(shù)目大于第二預定閾值且所述候選梯度點平均分布在該塊中,則確定該塊為候選樣本塊。
15、根據(jù)附記10所述的裝置,其中,所述匹配特征點對確定單元進一步被配置為:
過濾掉錯誤的匹配點。
16、根據(jù)附記10所述的裝置,其中,所述穩(wěn)定匹配特征點對確定單元包括:
傾斜角度計算子單元,被配置為針對該候選樣本塊,計算所有匹配特征點對之間的連線的傾斜角度;
平均值和方差計算子單元,被配置為計算所計算的所有傾斜角度的平均值和傾斜角度的方差;以及
穩(wěn)定匹配特征點對確定子單元,被配置為將其傾斜角度最接近所述平均值的匹配特征點對確定為該候選樣本塊的穩(wěn)定匹配特征點對。
17、根據(jù)附記16所述的裝置,其中,所述置信度計算單元進一步被配置為:每個候選樣本塊中匹配點的數(shù)目越多,則該候選樣本塊中的匹配特征點的置信度越高,并且所述傾斜角度的方差越小,則該匹配特征點的置信度越高。
18、根據(jù)附記10所述的裝置,所述校正單元進一步被配置為:
通過線性擬合用置信度高的匹配特征點來校正其余匹配特征點。