專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領域：
本技術(shù)涉及圖像處 理裝置、圖像處理方法和程序。更具體地說，本技術(shù)涉及以空間上均勻的方式去除從圖像檢測到的一些特征點。
背景技術(shù)：
傳統(tǒng)上，在諸如當從圖像搜索對象時，當從圖像序列中檢測運動對象時，或者當執(zhí)行多幅圖像的對準時之類的各種情況下，需要在多幅圖像之間匹配相同對象。作為匹配相同對象的方法，采用稱為塊匹配的方法或者基于特征點的方法。在塊匹配中，給定圖像被分割為塊區(qū)域，并且計算SAD (絕對差和)或者NCC (歸一化互相關(guān))。然后，根據(jù)計算出的SAD或者NCC，從另一圖像搜索具有與每個塊的高相似性的區(qū)域。該方法涉及相當高的計算成本，因為它需要在搜索范圍內(nèi)逐步移動塊中心坐標的同時計算塊區(qū)域之間的類似性(similarity)。此外，由于即使在難以匹配的區(qū)域內(nèi)也需要搜索相應位置，所以處理效率低。在基于特征點的方法中，首先檢測容易匹配的位置，諸如對象的角或者圖像中的畫面作為特征點。檢測特征點的方法有許多種。代表性方法包括Harris角檢測器(參見C. Harris, M. J. Stephens, uK combined corner and edge detector，，，In Alvey VisionConference, pp. 147-152,1988)、FAST (參見 Edward Rosten, Tom Drummond, “Machinelearningfor high-speed corner detection，，，European Conference on ComputerVision(ICCV), Vol. I, pp. 430-443,2006)以及 DoG(高斯差)最大值(參見 David G,Lowe,“Distinctive Image Features from Scale-Invariant Keypoints，，，InternationalJournal of Computer Vision (IJCV)，Vol. 60，No. 2，pp.91-110，2004)。當如上所述檢測的特征點在兩幅圖像之間匹配時，可以執(zhí)行圖像的對準。例如，利用魯棒估計方法，根據(jù)特征點坐標和對應關(guān)系確定描述兩幅圖像的坐標系之間關(guān)系的諸如仿射轉(zhuǎn)換矩陣或者投影變換矩陣(單應性(homography))之類的最優(yōu)圖像變換矩陣。利用這種圖像變換矩陣允許圖像的對準。同時，當從含有細小畫面的圖像(例如，含有許多樹或者草的圖像)檢測特征點時，可能存在檢測到大量特征點的情況。在此，如果檢測到大量特征點，則搜索每個特征點的匹配點或者計算圖像變換矩陣所需的時間變長。因此，如果采用調(diào)節(jié)被看作特征點的閾值的第一方法，則可以控制特征點的數(shù)量。然而，當通過調(diào)節(jié)閾值控制特征點的數(shù)量時，可能存在特征點以空間上不均勻的方式分布的情況。同時，在稱為“非最大值抑制”的第二方法中，對每個特征點確定作為特征點的可靠性(分數(shù))。并且僅保留具有比相鄰特征點更高的分數(shù)的特征點，從而減少特征點的數(shù)量。在第二方法中，保留分數(shù)高的所有特征點。因此，特征點的數(shù)量取決于畫面的設計，因此，不可能控制特征點的數(shù)量，以使得保留要求數(shù)量的特征點。此外，不可能以空間上均勻的方式去除特征點。因此，提出了改善第一方法和第二方法的稱為“ANMS(自適應非最大值抑制)”的方法(參見M. Brown, R. Szeliski, S. Winder,“Multi-Image Matching Using Multi-Scale Oriented Patches”， Computer Vision andPattern Recognition (CVPR), Vol. I，pp.510-517，2005)。

發(fā)明內(nèi)容
順便提到，當采用ANMS時，可以以空間上均勻的方式去除特征點，同時利用參數(shù)控制剩余特征點的數(shù)量的上限。在該方法中，對于每個特征點，需要首先計算每個特征點與在具有比每個特征點的更高的分數(shù)的特征點當中其坐標接近的特征點之間的距離(下面稱為半徑)。此外，還需要將所有特征點的坐標和半徑存儲在存儲器中。首先，將半徑的大小設定為“0”，然后，計算此時特征點的數(shù)量，并且如果特征點的計數(shù)高于設定的上限，則半徑的大小稍許增加。重復這種處理，并且當剩余特征點的數(shù)量在設定的上限范圍內(nèi)時該去除處理終止。因此，需要高速CPU和大容量存儲器。鑒于上述問題，希望提供能夠以簡單配置以空間上均勻的方式高速去除一些特征 點的圖像處理裝置、圖像處理方法和程序。根據(jù)本技術(shù)的第一方面，提供了一種圖像處理裝置，包括特征點檢測單元，配置為從圖像檢測特征點；可靠性計算單元，配置為計算所檢測的每個特征點的可靠性；以及去除處理單元，配置為根據(jù)可靠性去除所檢測到的一些特征點，使得通過將圖像分割為多個區(qū)域獲得的每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。在該技術(shù)中，特征點檢測單元從圖像檢測特征點。此外，可靠性計算單元計算所檢測的每個特征點的可靠性。此外，在去除處理單元中，將圖像分割為多個區(qū)域，并且以可靠性升高的順序去除所檢測的特征點，使得剩余特征點的數(shù)量在對每個分割區(qū)域設定的特征點的限制數(shù)量內(nèi)。在此，當從圖像中檢測到角為特征點時，則角的強度用作可靠性。此外，當根據(jù)通過以步進方式以預定平滑度平滑圖像產(chǎn)生的比例圖像之間的差提取特征點時，該差值用作可靠性。此外，通過將對二維圖像附加新的一維而獲得的三維區(qū)域分割為多個區(qū)域，使得從每個分割區(qū)域去除特征點。根據(jù)本技術(shù)的第二方面，提供了一種圖像處理方法，包括從圖像檢測特征點；計算所檢測的每個特征點的可靠性；以及根據(jù)可靠性去除所檢測的一些特征點，使得通過將圖像分割為多個區(qū)域獲得的每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。根據(jù)本技術(shù)的第三方面，提供了一種用于使得計算機執(zhí)行如下過程的程序從圖像檢測特征點；計算所檢測的每個特征點的可靠性；以及根據(jù)可靠性去除所檢測的一些特征點，使得通過將圖像分割為多個區(qū)域獲得的每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。注意到，本技術(shù)的程序是利用以計算機可讀格式提供的存儲介質(zhì)、通信介質(zhì)，例如，諸如光盤、磁盤或者半導體存儲器之類的存儲介質(zhì)，或者諸如網(wǎng)絡之類的通信介質(zhì)，能夠提供到可以執(zhí)行各種程序代碼的計算機的程序。當以計算機可讀格式提供這種程序時，在計算機上實現(xiàn)根據(jù)該程序的處理。根據(jù)上面描述的本技術(shù)，從圖像檢測特征點。此外，計算所檢測的每個特征點的可靠性。另外，將圖像分割為多個區(qū)域，并根據(jù)可靠性去除所檢測的一些特征點，使得每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。因此，可以以簡單配置以空間上均勻的方式高速去除特征點。


圖I是示出成像裝置的示意性配置的示意圖；圖2是舉例示出其中在圖像處理單元中執(zhí)行對象匹配處理的部分的配置的示意圖；圖3是示出以塊為單位分割的圖像的示意圖；圖4是示出去除一些特征點的處理的示意圖；以及圖5是示出DoG圖像的示意圖。
具體實施方式
下面將參考附圖詳細描述本技術(shù)的優(yōu)選實施例。請注意，在該說明書和附圖中，利用相同的附圖標記表示功能和結(jié)構(gòu)基本相同的結(jié)構(gòu)元件，并且省略這些結(jié)構(gòu)元件的重復解釋。請注意，以下面的順序進行描述。I.成像裝置的示意性配置2.圖像處理單元中執(zhí)行對象匹配處理的部分的配置3.去除處理〈I.成像裝置的配置>圖I是示出采用根據(jù)本技術(shù)實施例的圖像處理裝置的成像裝置的示意性配置的示意圖。成像裝置10包括鏡頭單元11、成像單元12、圖像處理單元20、顯示單元31、存儲單元32、記錄裝置單元33、操作單元34、傳感器單元35和控制單元40。此外,每個單元經(jīng)由總線45連接。鏡頭單元11包括聚焦透鏡、變焦透鏡、光圈機構(gòu)等。鏡頭單元11根據(jù)來自控制單元40的指令驅(qū)動鏡頭，并且在成像單元12的圖像面上形成被攝體的光學圖像。此外，鏡頭單元11調(diào)節(jié)光圈機構(gòu)，使得圖像傳感器12的圖像面上形成的光學圖像具有要求的亮度。成像單元12包括諸如CXD (電荷耦合器件)圖像傳感器或者CMOS (互補金屬氧化物半導體)圖像傳感器之類的圖像傳感器、驅(qū)動圖像傳感器的驅(qū)動電路等。圖像傳感器12執(zhí)行光電轉(zhuǎn)換，以將圖像傳感器的圖像面上形成的光學圖像轉(zhuǎn)換為電信號。此外，成像單元12從電信號去除噪聲并執(zhí)行模數(shù)轉(zhuǎn)換，并且還產(chǎn)生圖像信號并將其輸出到圖像處理單元20或者經(jīng)由圖像處理單元20輸出到存儲單元32。圖像處理單元20根據(jù)來自控制單元40的控制信號對圖像信號執(zhí)行各種相機信號處理或者對圖像信號執(zhí)行編碼處理、解碼處理等。此外，圖像處理單元20根據(jù)來自控制單元40的控制信號執(zhí)行對象匹配處理，或者利用匹配處理的結(jié)果執(zhí)行圖像處理。注意到，下面描述對象匹配處理和利用匹配處理的結(jié)果的圖像處理。顯示單元31包括液晶顯示元件等，并且根據(jù)圖像處理單元20處理的圖像信號或者存儲在存儲單元32內(nèi)的圖像信號來顯示圖像。存儲單元32包括諸如DRAM(動態(tài)隨機存取存儲器)之類的半導體存儲器，并且臨時存儲要由圖像處理單元20處理的圖像數(shù)據(jù)、由圖像處理單元20處理的圖像數(shù)據(jù)、控制單元40中的控制程序和各種數(shù)據(jù)、等等。
對于記錄裝置單元33，采用諸如半導體存儲器類閃速存儲器、磁盤、光盤或者磁光盤之類的記錄介質(zhì)。例如，記錄裝置單元33將成像單元12在成像處理期間產(chǎn)生的、圖像處理單元20以預定編碼方法編碼的、并存儲在存儲單元32內(nèi)的圖像信號記錄在記錄介質(zhì)上。此外，記錄裝置單元33將記錄在記錄介質(zhì)上的圖像信號讀入存儲單元32中。操作單元34包括諸如硬鍵之類的輸入裝置，比如快門按鈕、操作盤或者觸摸板。操作單元34根據(jù)用戶輸入操作產(chǎn)生操作信號，并且將該信號輸出到控制單元40。傳感器單元35包括陀螺儀傳感器、加速度傳感器、地磁傳感器、定位傳感器等，并且檢測各種信息。這種信息作為元數(shù)據(jù)附加到捕獲的圖像數(shù)據(jù)，并且還用于各種圖像處理或者控制處理。控制單元40根據(jù)從操作單元34提供的操作信號控制每個單元的操作，并且控制每個單元，使得成像裝置10的操作成為基于用戶操作的操作?！?.圖像處理單元中執(zhí)行對象匹配處理的部分的配置〉圖2舉例示出其中在圖像處理單元20中執(zhí)行對象匹配處理的部分的配置。圖像處理單元20包括特征點檢測處理單元21和去除一些特征點的去除處理單元22。此外，圖像處理單元20還包括特征量生成處理單元23，產(chǎn)生要用于在兩幅圖像之間匹配相同對象的處理的特征量；匹配點搜索處理單元24，用于根據(jù)特征量匹配相同對象；以及變換矩陣計算處理單元25。特征點處理單元21包括特征點檢測單元211，從捕獲圖像檢測特征點；以及可靠性計算單元212,計算檢測到的每個特征點的可靠性。特征點檢測單元211利用例如Harris角檢測器、FAST、DoGmaxima等檢測特征點。作為選擇地，特征點檢測單元211可以利用Hessian濾波器等檢測特征點?？煽啃杂嬎銌卧?12計算特征點檢測單元211檢測到的每個特征點的可靠性(分數(shù))，作為特征點。特征點處理單元21將檢測到的每個特征點的坐標和可靠性輸出到去除處理單元22。去除處理單元22執(zhí)行去除由特征點處理單元211檢測到的一些特征點的處理。當檢測到的特征點的數(shù)量大時，此后執(zhí)行的匹配點搜索處理所需的處理時間變長。此外，相鄰特征點或者太多的特征點常常導致圖像之間的失配。因此，去除處理單元22利用每個特征點的可靠性(分數(shù))去除一些特征點，使得剩余特征點以空間上均勻的方式散布。具體地說，圖像分割為多個區(qū)域，并且利用每個特征點的可靠性去除一些特征點，使得每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。請注意，下面描述去除處理。特征量生成處理單元23產(chǎn)生描述以特征點為中心的局部區(qū)域的特征量。特征量生成處理單元23對去除處理之后剩余的每個特征點執(zhí)行特征量生成處理，并且對于每個特征點產(chǎn)生與包括特征點為中心的局部區(qū)域?qū)奶卣髁?。對于產(chǎn)生特征量，可以采用諸如SIFT或者SURF的各種方法。此外，在特征量生成處理中，選擇位于給定坐標的兩個像素，并且計算在兩個像素的像素值之間的差值。然后，將計算結(jié)果與閾值進行比較，并且根據(jù)比較結(jié)果產(chǎn)生二值化信息，使得其用作特征量的分量。匹配點搜索處理單元24搜索作為圖像之間的類似性的特征量，并且確定其特征量最類似的特征點為相同對象的匹配點。特征量的分量是二值化數(shù)據(jù)。因此，對特征量的每個分量進行“異或”運算。如果分量相等，則“異或”運算的結(jié)果是“0”，而如果分量不等，則是“I”。因此，匹配點搜索處理單元24確定每個分量的“異或”運算的結(jié)果的總值最小的、特征點是具有最高類似性的特征點。變換矩陣計算處理單元25利用魯棒估計方法根據(jù)特征點的坐標和由匹配點搜索處理單元24獲得的匹配點的坐標來確定描述兩幅圖像的坐標系之間的關(guān)系的最優(yōu)仿射轉(zhuǎn)換矩陣或者投影變換矩陣(單應性)。注意到，這種矩陣將被稱為圖像變換矩陣。即，如果采用圖像變換矩陣，則可以將一幅圖像的坐標系變換為另一幅圖像的坐標系。因此，例如，利用多幅捕獲圖像，通過精確地拼接圖像來產(chǎn)生全景圖像，以使得對象圖像沒有丟失部分或者重疊部分。此外，當產(chǎn)生多幅捕獲圖像時，例如，甚至當成像裝置傾斜時，仍可以精確地拼接圖像。<3.去除處理〉接著，將描述去除處理。去除處理單元22將圖像分割為塊。圖3舉例示出由垂直方向“H”和水平方向“W”表示塊大小的情況。注意到，當圖像被分割為預定尺寸的多個塊時，如果在圖像的端部產(chǎn)生具有小于預定尺寸的尺寸的塊，則是可以接受的。
·
圖4是示出去除處理的示意圖。如圖4中的⑷和⑶所示,例如,假定由特征點檢測處理在單個分割塊中檢測到7個特征點。去除處理單元22根據(jù)每個特征點的可靠性
(分數(shù))對檢測到的特征點分級。請注意，在圖4的(B)中，以諸如“al、a2、a3.....a7”的
降低的可靠性的順序來定義特征點。作為每個特征點的可靠性，如果例如在特征點檢測處理中通過執(zhí)行Harris角檢測而檢測到特征點，則通過角檢測所計算的指示角的似然性的函數(shù)值(角強度)用作可靠性，并且具有高函數(shù)值的特征點確定為具有高可靠性的特征點。即，假定圖像中給定位置(x,y)的像素值是I (x，y)，則確定由公式⑴表示的矩陣M的特性值。[公式I]
(S) (D (^) ⑴M =…⑴
.(S) (蕓)—當矩陣M中的兩個特性值a和@都很大時，就意味著在該位置存在角。因此，表示角的似然性的函數(shù)值，即，公式(2)表示的特征點檢測函數(shù)R的函數(shù)值用作可靠性。注意在公式⑵中，Det(M)是由公式(3)表示的值，而Tr(M)是由公式⑷表示的值。此外，公式(4)中的符號k是常數(shù)。[公式2]R = Det (M) -kTr (M)2... (2)Det(M) = a …⑶kTr (M) = a +|3 ... (4)同時，當通過DoG(高斯差)最大值檢測到特征點時，DoG可以用作可靠性，并且具有高DoG值的特征點可以確定為具有高可靠性的特征點。在此，假定在位置(x，y)的像素值是I (x，y)，則可以根據(jù)公式(5)產(chǎn)生平滑圖像L(x，y，O)。注意在公式(5)中，“G(x，y，0)”是由公式(6)表示的高斯函數(shù)。[公式3]L(x, y, o ) = G(x, y, o )*1 (x, y)…(5)
權(quán)利要求
1.一種圖像處理裝置，包括 特征點檢測單元，配置為從圖像中檢測特征點； 可靠性計算單元，配置為計算所檢測到的每個特征點的可靠性；以及去除處理單元，配置為根據(jù)可靠性去除所檢測到的一些特征點，使得通過將圖像分割為多個區(qū)域獲得的每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述去除處理單元以升高的可靠性的次序來順序地去除特征點。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述去除處理單元設置每個區(qū)域內(nèi)的特征點的限制數(shù)量。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述特征點檢測單元從圖像中檢測角作為特征點，以及 所述可靠性計算單元將角的強度設置為可靠性。
5.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述特征點檢測單元根據(jù)比例圖像提取特征點，所述比例圖像已經(jīng)通過以步進方式以預定平滑度平滑所述圖像來產(chǎn)生，以及 所述可靠性計算單元將所述比例圖像之間的差值用作可靠性。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述去除處理單元將三維區(qū)域分割為多個區(qū)域，并且從每個分割區(qū)域中去除特征點，所述三維區(qū)域通過對二維圖像附加新的一維獲得。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述去除處理單元通過將比例包括到所述二維圖像中來設置三維區(qū)域。
8.—種圖像處理方法，包括 從圖像中檢測特征點； 計算所檢測到的每個特征點的可靠性；以及 根據(jù)可靠性去除所檢測到的一些特征點，使得通過將圖像分割為多個區(qū)域獲得的每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。
9.一種用于使得計算機執(zhí)行如下過程的程序 從圖像中檢測特征點； 計算所檢測到的每個特征點的可靠性；以及 根據(jù)可靠性去除所檢測到的一些特征點，使得通過將圖像分割為多個區(qū)域獲得的每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。
全文摘要
提供了圖像處理裝置、圖像處理方法和程序。該圖像處理裝置包括特征點檢測單元，配置為從圖像中檢測特征點；可靠性計算單元，配置為計算檢測到的每個特征點的可靠性；以及去除處理單元，配置為根據(jù)可靠性去除所檢測的一些特征點，使得通過將圖像分割為多個區(qū)域獲得的每個分割區(qū)域內(nèi)的剩余特征點的數(shù)量在特征點的限制數(shù)量內(nèi)。
文檔編號G06T7/00GK102760291SQ20121011985
公開日2012年10月31日 申請日期2012年4月23日 優(yōu)先權(quán)日2011年4月28日
發(fā)明者小坂井良太, 木村篤史, 稻葉靖二郎 申請人:索尼公司