專利名稱：表示圖像塊的方法和系統(tǒng)的制作方法
表示圖像塊的方法和系統(tǒng)
背景技術(shù)：
本發(fā)明一般涉及數(shù)字圖像處理領(lǐng)域。更具體地，本發(fā)明涉及用于表示圖像內(nèi)容，使圖像可以與包含相同內(nèi)容的另一圖像匹配的方法和系統(tǒng)。圖像匹配是計算機視覺、物體識別、運動跟蹤、3D建模等等中使用的一種基本技術(shù)。執(zhí)行圖像匹配以檢查兩個圖像是否具有相同的內(nèi)容。需要比較的兩個圖像可以是不完全一樣的。例如，一個圖像可以是旋轉(zhuǎn)的，或者與另一圖像相比是從不同觀察點拍攝的，或者它可以是另一圖像的縮放形式。而且，兩個圖像可以是在不同的照明條件下拍攝的。盡管這兩個圖像有這些不同，但它們包含相同的內(nèi)容、背景或物體。因此，使用圖像匹配技術(shù)來有效地匹配圖像。典型的圖像匹配算法利用了以下事實的優(yōu)點一個物體或背景的圖像包含許多特征點。特征點是圖像中對圖像旋轉(zhuǎn)、尺度、觀察點或照明條件的變化健壯的特定點。這意味著這些特征點通常出現(xiàn)在兩幅圖像中，即使這兩幅圖像在之前描述的方面有所不同。這些特征點也已知為“興趣點”。因此，圖像匹配算法的第一階段是找出圖像中的這些特征點。 典型地，圖像金字塔被構(gòu)造以確定圖像的特征點。圖像金字塔是圖像的尺度空間表示，即， 它包含各種金字塔圖像，每幅金字塔圖像是在特定尺度下的圖像表示。尺度空間表示使圖像匹配算法能夠匹配總尺度不同的圖像。在確定圖像金字塔中所有金字塔圖像的特征點之后，典型的圖像匹配算法確定每個特征點的方位。特征點的方位是基于該特征點的局部圖像梯度確定的。使用方位來獲得對旋轉(zhuǎn)的不變性。在確定特征點和它們的方位之后，在特征點周圍以方位向量形成塊的參考系的一個軸的形式提取塊。計算該塊上的局部圖像梯度，并將其轉(zhuǎn)換成特征向量表示。特征向量表示考慮局部失真和照明的明顯變化，即特征向量對于失真和照明條件的變化是不變的。所有金字塔圖像上的特征點、它們的方位和它們的特征向量形成一個完整的圖像表示?？梢员容^圖像之間的這些表示以找到匹配圖像。存在與現(xiàn)有的圖像表示方法相關(guān)的各種局限性。首先，圖像可能包含大量的特征點。這些特征點中有一些在圖像表示中不如另一些明顯，不必要地加大了圖像匹配算法的復(fù)雜性。第二，存在用來確定特征點的方位的不同方法，這些方法產(chǎn)生不同效果。因此，不能依靠任何一種方法來確定方位。而且，如果產(chǎn)生特征點的兩個或多個方位，它們加大了圖像匹配算法的復(fù)雜性。第三，用來提取特征點周圍的塊的采樣算法對于實際尺度是不敏感的。因此，這些方法沒有考慮即使圖像大小保持不變，塊的大小也會隨著尺度增大而增大這一事實。第四，因為塊可能延伸超出圖像邊界，所以圖像邊界周圍的塊是不被提取的。由于邊界塊通常對整個圖像匹配算法做出顯著貢獻，尤其是在圖像大小降低時，所以這是不期望的。最后，特征點的特征向量中出現(xiàn)的一些分量由于通過塊的邊緣而可能很大。這樣的特征向量對于照明變化是不健壯的?，F(xiàn)有的方法通過標(biāo)準(zhǔn)化特征向量來提高健壯性，但不能在數(shù)字上保證。存在對于改進的能克服上文提到的各種局限性的圖像表示方法的需要。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供用于改進的圖像表示的方法、系統(tǒng)和計算機程序產(chǎn)品， 以便可以有效地匹配兩個或更多個圖像。本發(fā)明的另一個目的是提供用一個方位智能地替代特征點的一類方位的方法、系統(tǒng)和計算機程序產(chǎn)品。本發(fā)明的又一個目的是提供用于使用金字塔圖像的尺度來更健壯地提取特征點周圍的塊的方法、系統(tǒng)和計算機程序產(chǎn)品。本發(fā)明的又一個目的是提供用于在表示圖像時提取和使用圖像的邊界塊的方法、 系統(tǒng)和計算機程序產(chǎn)品。本發(fā)明的又一個目的是提供用于以健壯的不包含比特定閾值大的分量的特征向量形式表示圖像的方法、系統(tǒng)和計算機程序產(chǎn)品。本發(fā)明的各種實施例提供用于表示圖像的方法、系統(tǒng)和計算機程序產(chǎn)品。形成圖像的高斯金字塔，其由不同的金字塔圖像組成。金字塔圖像是原始圖像在具體尺度參數(shù)的變形形式。之后，識別金字塔圖像的特征點。從所有識別的特征點中選擇特定數(shù)目的特征點。特征點的方位是通過組合由一組方位計算算法獲得的方位來確定的。之后，在特征點周圍提取塊。通過用額外像素填充金字塔圖像來提取在金字塔圖像的邊界上出現(xiàn)的特征點周圍的塊。而且，用來提取塊的采樣是基于特征點的方位和金字塔圖像的預(yù)定義采樣因子的。之后，針對每個提取的塊，定義特征向量。特征向量以特征向量中沒有分量大于特定閾值的方式被標(biāo)準(zhǔn)化。


結(jié)合附圖，下文將描述本發(fā)明的各種實施例，附圖的提供是說明而不是限制本發(fā)明，其中相同的符號指示相同的元件，其中圖1圖解說明可以實施本發(fā)明的各種實施例的圖像環(huán)境；圖2是圖解說明根據(jù)本發(fā)明的各種實施例的用于表示圖像的方法的流程圖；圖3和圖4表示圖解說明根據(jù)本發(fā)明的一個實施例的用于表示圖像的詳細(xì)方法的流程圖；和圖5是圖解說明根據(jù)本發(fā)明的各種實施例的用來表示圖像的各種系統(tǒng)組件的框圖。本領(lǐng)域技術(shù)人員將會認(rèn)識到附圖中的元件是為簡潔和清楚的目的來圖解說明的， 以幫助促進對本發(fā)明的實施例的理解。
具體實施例方式本發(fā)明的各種實施例涉及用于表示圖像的方法、系統(tǒng)和計算機程序產(chǎn)品。所述方法使用圖像中出現(xiàn)的特征點來描述圖像。因此，所述方法中的第一步是確定圖像中的特征點。之后，通過組合由一組方位計算算法獲得的方位來確定特征點的方位。之后，提取特征點周圍的塊，并針對所提取的塊，定義特征向量。特征向量以特征向量中沒有分量大于特定閾值的方式被標(biāo)準(zhǔn)化。圖1圖解說明環(huán)境100，本發(fā)明的各種實施例可以在此實現(xiàn)。本發(fā)明可以用在計算機視覺、物體識別、運動跟蹤和3D建模領(lǐng)域中。圖像可以是不同格式的，諸如JPEG、GIF、 BMP等等。而且，這些圖像的質(zhì)量和分辨率可以因應(yīng)用不同而不同。而且，圖像不需要是完全相同的，只需要是彼此的變換形式。因此，在圖像匹配算法中，圖像是以具體格式表示的， 以便圖像之間可以匹配。環(huán)境100包括查詢圖像102和圖像l(Ma-n的數(shù)據(jù)庫。搜索數(shù)據(jù)庫以找到匹配查詢圖像102的圖像(或若干圖像)。匹配圖像不需要與查詢圖像102完全相同，但應(yīng)包含與查詢圖像102相同的內(nèi)容。例如，查詢圖像102可以是定標(biāo)(scaled)、旋轉(zhuǎn)或縮放形式，或者匹配圖像的其它任何可能的變換。本發(fā)明的圖像匹配算法在圖像l(Ma-n中找到查詢圖像102的匹配，其與上述的方法不同。圖像匹配算法通過在特征點、方位和特征向量方面表示圖像來操作。在已經(jīng)創(chuàng)建查詢圖像和數(shù)據(jù)庫圖像的表示之后，使用圖像的特征點、方位和特征向量來確定圖像之間的匹配。本發(fā)明描述用于表示圖像使其可以與其它圖像匹配的方法和系統(tǒng)。圖2是圖解說明根據(jù)本發(fā)明的一個實施例的用于表示圖像的方法的流程圖。圖2 簡單概括了應(yīng)該優(yōu)選對圖像執(zhí)行以表示圖像的主要步驟。稍后結(jié)合圖3和圖4詳細(xì)描述圖 2的每個步驟。在表示圖像之前，圖像被表示為圖像金字塔，其包含幾個金字塔圖像。金字塔圖像是原始圖像的平滑下采樣形式。通過從原始圖像中提取隔一行和隔一列來進行下采樣。而且，通過用高斯函數(shù)對圖像進行卷積來執(zhí)行圖像的平滑或模糊化。稍后將詳細(xì)描述通過平滑和下采樣形成圖像金字塔的過程。在步驟202，識別金字塔圖像中的特征點。識別的特征點對于像圖像的縮放、定標(biāo)和旋轉(zhuǎn)一樣的圖像的某些變換是不變的。通過在金字塔圖像中尋找不同點的哈里斯角點檢測來識別特征點。哈里斯角點檢測中的局部最大值被識別為特征點。在識別特征點之后， 在步驟204，確定它們的方位。通過使用一組方位計算算法來確定方位。方位計算算法使用圖像的梯度來獲得特征點的方位。例如，一種算法可以在方位的直方圖中尋找主要峰值，而另一種算法可以大大地平滑圖像。之后，在步驟206，在特征點周圍提取包圍這些特征點的圖像的塊。塊的提取基于特征點的方位和金字塔圖像的預(yù)定義采樣因子。而且，在金字塔圖像的邊界上出現(xiàn)的特征點的塊是通過用額外像素填充金字塔圖像來提取的。之后，在步驟208，定義邊界塊和非邊界塊的特征向量。邊界圖像塊包含金字塔圖像的填充中的額外像素。在步驟210，基于金字塔圖像的特征點、特征點的方位和特征向量表示圖像。在給圖像應(yīng)用圖像匹配算法之前，以圖像金字塔的形式表示圖像。圖像金字塔包含幾個金字塔圖像。金字塔圖像是原始圖像的平滑、下采樣形式。圖像的平滑是通過用高斯函數(shù)對圖像進行卷積來實現(xiàn)的。因此，圖像金字塔也被稱作高斯金字塔。高斯函數(shù)的特征是由ο表示的預(yù)定義尺度參數(shù)，它是高斯函數(shù)的標(biāo)準(zhǔn)差。因此，所有的金字塔圖像是通過預(yù)定義尺度參數(shù)ο標(biāo)定的，σ的值對于每個金字塔圖像是變化的。在本發(fā)明的一個實施例中，高斯金字塔由幾組(octave)圖像組成。每組由相同大小但不同尺度的圖像組成。例如，一組可由4個圖像組成，σ的值均勻分布在4個圖像中。 在上面示例中的每個圖像的σ的值可以是1、燼、(^)2、(仍)3和2。σ的這些值僅用于說明目的，也可以使用其它的ο值來形成組。而且，一組的最后一個圖像被下采樣以獲得下組的第一個圖像。例如，上面示例的最后一個圖像(ο = 以2的因子下采樣，以獲得下一
6組的第一個圖像。在這種情況下，提取圖像的每隔一行和每隔一列，來形成下采樣的圖像。 圖像被進一步下采樣，以創(chuàng)建組，直到圖像的大小降低到低于最小大小，諸如塊的大小。以此方式，創(chuàng)建具有幾組圖像的整個高斯金字塔。在本發(fā)明的另一實施例中，在構(gòu)建圖像的高斯金字塔之前，使用上采樣算法來增大圖像的大小。如果圖像的初始大小小于上采樣閾值，則圖像被上采樣。例如，上采樣閾值的值可以被預(yù)先確定為120，00(K400X300)。注意，在其它實施例中，根據(jù)圖像匹配算法的不同應(yīng)用，可以選擇上采樣閾值的任意其它值。而且，通過在原始圖像的每個相鄰行和列之間插入一行和一列像素來對圖像進行上采樣。插入的行和列的值是通過對原始圖像中出現(xiàn)的值應(yīng)用雙線性插值來確定的。由于上采樣不會在圖像中創(chuàng)建任何新的信息，所以上采樣過程執(zhí)行一次且不會重復(fù)。在本發(fā)明的另一實施例中，當(dāng)原始圖像的大小比下采樣閾值大時，在構(gòu)建圖像的高斯金字塔之前，圖像被重復(fù)平滑和下采樣。例如，下采樣閾值可以被預(yù)先確定為 1，300，000。注意，在其它實施例中，根據(jù)圖像匹配算法的不同應(yīng)用，可以選擇下采樣閾值的其它任何值。圖像是通過用高斯函數(shù)對圖像進行卷積來平滑的，其尺度參數(shù)σ是0.8。而且，圖像是通過選擇圖像中的每隔一行和一列來用2的因子下采樣的，以獲得下采樣圖像。在以圖像金字塔的形式表示圖像之后，以特征點、特征點方位和特征向量的形式表示圖像。圖3和圖4表示圖解說明用于表示圖像的詳細(xì)方法的流程圖。在高斯金字塔的金字塔圖像上，分別執(zhí)行圖3和圖4的步驟302-320。然而，為簡潔起見，在表示圖3和圖4 的步驟時，一直使用的是術(shù)語“圖像”，而不是術(shù)語“金字塔圖像”。在表示圖像的總過程中的第一步是識別圖像中的特征點，如圖2的步驟202所示。 特征點是用來表示圖像的一組“興趣點”。進一步詳細(xì)描述識別特征點的過程。為了識別圖像中的特征點，計算圖像中特征點的“興趣度”。圖像中特征點的“興趣度”是根據(jù)圖像中特征點的哈里斯角點檢測定義的。這些特征點可以出現(xiàn)在圖像的主要區(qū)域或者在圖像的邊緣上。在步驟302，計算哈里斯角點檢測。它基于圖像的自相關(guān)函數(shù)。 為了獲得哈里斯角點檢測，圖像梯度是分別由χ方向圖像的導(dǎo)數(shù)Ix和y方向圖像的導(dǎo)數(shù)Iy 計算的。這些導(dǎo)數(shù)是通過用諸如[-1 0 1]的核在χ方向和在y方向?qū)D像進行卷積獲得的。圖像的導(dǎo)數(shù)用來表示在圖像的任何點(x，y)的亮度位移的近似量。特征點是基于圖像中特征的亮度位移被識別的。點(X，y)的亮度位移用E(X，y)表示，通過關(guān)系式表示為
權(quán)利要求
1.一種表示圖像的方法，所述圖像被表示為高斯金字塔，所述高斯金字塔包括多個金字塔圖像，其中所述金字塔圖像包括多個像素，所述方法包括a.在所述金字塔圖像的多個像素中識別多個特征點，所述多個特征點中的特征點對于所述圖像的變換是不變化的；b.基于一組方位計算算法，確定所述金字塔圖像中特征點的一個或多個方位；c.基于所述金字塔圖像的一個或多個方位以及預(yù)定義的采樣因子，從所述金字塔圖像中提取包圍所述多個特征點的多個塊；d.定義針對所述塊的特征向量；和e.基于所述金字塔圖像的所述多個特征點和特征向量表示所述圖像。
2.如權(quán)利要求1所述的方法，其中針對在所述金字塔圖像的邊界上存在的特征點的塊是通過用額外像素填充所述金字塔圖像來提取的。
3.如權(quán)利要求1所述的方法，其中所述金字塔圖像是由對所述圖像進行下采樣并用高斯函數(shù)模糊化所述圖像形成的，所述高斯函數(shù)以預(yù)定義的尺度參數(shù)為特征。
4.如權(quán)利要求1所述的方法，其中在所述金字塔圖像的多個像素中識別多個特征點包括a.計算所述多個像素中的像素的哈里斯角點檢測；和b.識別所述哈里斯角點檢測具有局部最大值的一組點，識別的一組點中的點是特征點ο
5.如權(quán)利要求4所述的方法，進一步包括基于所述多個特征點的哈里斯角點檢測和所述金字塔圖像的預(yù)定義的尺度參數(shù)的組合，選擇特定數(shù)目的特征點。
6.如權(quán)利要求4所述的方法，進一步包括通過將橢圓拋物面擬合為預(yù)定義的區(qū)域來估計所述特征點的位置，所述預(yù)定義的區(qū)域包圍所述特征點。
7.如權(quán)利要求1所述的方法，其中確定所述金字塔圖像中特征點的一個或多個方位包括a.通過使用所述一組方位計算算法，計算針對所述特征點的一組方位；和b.用所述一組方位的平均值代替方位之間的預(yù)定義角距離之內(nèi)的一類方位。
8.如權(quán)利要求1所述的方法，其中從所述金字塔圖像中提取所述特征點周圍的塊包括在多個確定位置對所述金字塔圖像的梯度進行采樣，所述多個確定位置是基于所述金字塔圖像的一個或多個方位和預(yù)定義的采樣因子確定的。
9.如權(quán)利要求1所述的方法，其中定義針對所述塊的特征向量包括a.將所述塊劃分成多個小塊；和b.計算與所述多個小塊中的小塊對應(yīng)的特征向量的分量。
10.如權(quán)利要求9所述的方法，其中與小塊對應(yīng)的特征向量的分量包括a.第一分量，所述第一分量是所述小塊中出現(xiàn)的所述金字塔圖像的所有正的χ導(dǎo)數(shù)的和；b.第二分量，所述第二分量是所述小塊中出現(xiàn)的金字塔圖像的所有負(fù)的χ導(dǎo)數(shù)的和的負(fù)數(shù)；c.第三分量，所述第三分量是所述小塊中出現(xiàn)的所述金字塔圖像的所有正的y導(dǎo)數(shù)的禾口 ；禾口d.第四分量，所述第四分量是所述小塊中出現(xiàn)的所述金字塔圖像的所有負(fù)的y導(dǎo)數(shù)的和的負(fù)數(shù)。
11.如權(quán)利要求1所述的方法，進一步包括標(biāo)準(zhǔn)化所述塊的特征向量。
12.如權(quán)利要求11所述的方法，其中標(biāo)準(zhǔn)化特征向量包括a.確定具有小于預(yù)定義閾值的值的初始特征向量的分量；和b.將具有小于所述預(yù)定義閾值的值的分量標(biāo)準(zhǔn)化為計算長度。
13.如權(quán)利要求12所述的方法，其中計算長度是基于所述預(yù)定義閾值和具有大于所述預(yù)定義閾值的值的分量的數(shù)目計算的。
14.如權(quán)利要求13所述的方法，其中降低所述初始特征向量的分量以及將具有小于所述預(yù)定義閾值的值的分量標(biāo)準(zhǔn)化的步驟是重復(fù)進行的，直到?jīng)]有分量具有大于所述預(yù)定義閾值的值為止。
全文摘要
本發(fā)明提供用于表示圖像的方法、系統(tǒng)和計算機程序產(chǎn)品。需要被表示的圖像是以高斯金字塔的形式表示的，所述高斯金字塔是圖像的尺度-空間表示，并包括幾個金字塔圖像。識別金字塔圖像中的特征點，并選擇預(yù)定數(shù)目的特征點。通過使用一組方位計算算法來獲得所選擇的特征點的方位?；谔卣鼽c的方位和金字塔圖像的采樣因子，提取金字塔圖像中特征點周圍的塊。通過用額外像素填充金字塔圖像來提取金字塔圖像中的邊界塊。定義所提取的塊的特征向量。這些特征向量被標(biāo)準(zhǔn)化，以便特征向量中的分量小于閾值。
文檔編號G06K9/48GK102282572SQ201080004881
公開日2011年12月14日 申請日期2010年1月13日 優(yōu)先權(quán)日2009年1月14日
發(fā)明者D·塔圭, M·A·魯宗, R·曼馬塔 申請人:A9.Com有限公司