圖像處理裝置、圖像處理方法和程序的制作方法
圖像處理裝置、圖像處理方法和程序的制作方法
【專利摘要】本發(fā)明提供了圖像處理裝置、圖像處理方法和程序。所述圖像處理裝置包括：特征點提取單元，其從輸入圖像提取特征點；特征量計算單元，其計算所述特征點的特征量；圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及標記圖像生成單元，其基于所述處理的結(jié)果而生成新標記圖像。本發(fā)明的所述圖像處理方法和所述程序是與本發(fā)明的上述圖像處理裝置對應(yīng)的方法和程序。本發(fā)明能高精度地計算保存了原始圖像、文本等的標記的位置或姿勢。
【專利說明】圖像處理裝置、圖像處理方法和程序
[0001]相關(guān)申請的交叉參考
[0002]本申請要求2012年12月20日提交的日本優(yōu)先權(quán)專利申請案JP2012-278676的優(yōu)先權(quán)權(quán)益，因此將該日本優(yōu)先權(quán)申請案的全部內(nèi)容以引用的方式并入本文。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及圖像處理裝置、圖像處理方法和程序，并且特別地，涉及能夠高精度地計算出保存了原始狀態(tài)的標記的位置或姿勢(posture)的圖像處理裝置、圖像處理方法和程序。
【背景技術(shù)】
[0004]目前已知曉這樣的技術(shù):其用于分析通過拍攝已知的2維平面(下文中，稱作“標記”)而獲得的攝取圖像，評估該圖像上的所述標記的位置或姿勢，然后計算出所述標記相對于照相機的相對位置或姿勢。
[0005]作為使用上述技術(shù)的應(yīng)用程序，假設(shè)了這樣的應(yīng)用程序:它從攝取圖像評估預(yù)先在認證系統(tǒng)中登記的標記圖像，然后通過圖像合成來用另外的圖像(重疊圖像)替代上述標記圖像。
[0006]具體地，如圖1所示，該技術(shù)的示例是這樣的技術(shù):使用照相機來拍攝攝取圖像，所述攝取圖像包括了其上記載有“ABC”公司名稱的fillip (小物品);估計包括于所述攝取圖像中的標記的位置或方向；用諸如曲線圖(graph)等重疊圖像來替代標記圖像，且將該重疊圖像輸出至顯示屏。
[0007]為了用另外的圖像替代標記圖像，必須精確地檢測標記的位置或方向。當照相機移動或旋轉(zhuǎn)時或者當標記移動或旋轉(zhuǎn)時，必須追蹤照相機或標記的運動，改變替代的圖像的位置或方向，然后合成重疊圖像。
[0008]當假設(shè)要根據(jù)標記的位置或姿勢來合成視頻或計算機圖形(computer graphics ；CG)時，必須維持幾何一致性。為此，高精度地計算所述標記的位置或姿勢就是重要的技術(shù)。
[0009]一般來說，通過安裝不同于照相機的傳感器(該傳感器檢測標記的位置或方向以拍取照片)，能實現(xiàn)上述先決條件。然而，很難以低成本提供這樣的系統(tǒng)。為此，已經(jīng)提出了一種通過在利用照相機拍攝的攝取圖像上執(zhí)行圖像識別處理來估計標記的位置或姿勢的方法。
[0010]作為高精度地計算該標記的位置或姿勢的方法，目前存在有生成標記圖像的方法，所述標記圖像根據(jù)標記識別方法很容易被估計。
[0011]例如，已經(jīng)公開了這樣的技術(shù):其預(yù)先提取背景圖像的圖像特征，創(chuàng)建不同于該圖像特征的區(qū)別特征，然后生成具有該區(qū)別特征的標記圖像(例如參照日本專利N0.4868186)。根據(jù)該技術(shù)，很容易將背景的圖像特征區(qū)別于標記圖像的圖像特征，且因此容易估計出標記的位置或姿勢。
[0012]日本專利N0.4868186中公開的技術(shù)是用于估計標記的位置的技術(shù)。然而，當應(yīng)用該技術(shù)時，能估計所述標記的姿勢。特別地，可以在標記圖像上設(shè)置多個特征點，且可以生成標記圖像以使得各點的圖像特征是區(qū)別的。
[0013]然而，在這種情況下，由于從一開始就生成標記圖像，所以用戶所期望的圖像、字符等可能未被包括于該標記圖像中。為此，存在著以高精度計算出包括所期望的圖像或字符的標記的位置或姿勢的需求。
【發(fā)明內(nèi)容】
[0014]期想的是，提供一種高精度地計算保存了原始狀態(tài)的標記的位置或姿勢的技術(shù)。
[0015]本發(fā)明的實施例提供了一種圖像處理裝置，其包括:特征點提取單元，所述特征點提取單元從輸入圖像提取特征點；特征量計算單元，所述特征量計算單元計算所述特征點的特征量；圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及標記圖像生成單元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
[0016]所述圖像處理單元可以處理所述標記圖像以使得關(guān)注特征點的特征量的值不近似于在所述關(guān)注特征點附近的特征點的特征量的值，所述關(guān)注特征點是受到關(guān)注的特征點。
[0017]所述圖像處理裝置還可以包括特征點生成單元，所述特征點生成單元生成要被添加到經(jīng)過處理的所述標記圖像上的特征點，并且將所生成的特征點添加到經(jīng)過處理的所述標記圖像上。
[0018]當所述標記圖像上的所述特征點的分布中有偏離(bias)時,所述特征點生成單元可以添加所生成的特征點以使得消除所述特征點的分布中的所述偏離。
[0019]當所述標記圖像上的所述特征點的數(shù)量小于預(yù)定閾值時，所述特征點生成單元可以添加所生成的特征點以使得所述特征點的數(shù)量增加。
[0020]所述圖像處理單元可以處理所述標記圖像以使得評估函數(shù)(evaluationfunction)最小化，所述評估函數(shù)具有用于評估所述輸入圖像的保存性的項和用于評估所述特征點的特征量的稀疏狀況(loose condition)的項。
[0021]所述特征量計算單元可以考慮到與所述標記圖像有關(guān)的信息的魯棒性(robustness)或者可以不考慮與所述標記圖像有關(guān)的信息的魯棒性，來計算所述特征量。
[0022]所述圖像處理裝置還可以包括:識別單元，所述識別單元識別包括于所述輸入圖像中的且用于圖像合成的新標記圖像；以及圖像合成單元，所述圖像合成單元將預(yù)定的重疊圖像合成在所識別的標記圖像上。
[0023]所述圖像處理單元可以校正與所述無區(qū)別特征點對應(yīng)的像素的亮度值。
[0024]本發(fā)明的實施例的圖像處理裝置可以是獨立的裝置，或者可以是包括于一個裝置中的內(nèi)部塊。
[0025]本發(fā)明的實施例的圖像處理方法或程序是與本發(fā)明的實施例的上述圖像處理裝置對應(yīng)的圖像處理方法或程序。
[0026]所述圖像處理方法可以包括通過所述圖像處理裝置執(zhí)行的如下步驟:從輸入圖像提取特征點；計算所述特征點的特征量；當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及基于所述處理的結(jié)果而生成新標記圖像。
[0027]所述程序可用于使計算機發(fā)揮如下單元的功能:特征點提取單元，所述特征點提取單元從輸入圖像提取特征點；特征量計算單元，所述特征量計算單元計算所述特征點的特征量；圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及標記圖像生成單元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
[0028]在本發(fā)明的實施例的圖像處理裝置、圖像處理方法和程序中，從輸入圖像提取特征點；計算所述特征點的特征量；當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及基于所述處理的結(jié)果而生成新標記圖像。
[0029]根據(jù)本發(fā)明的實施例，能高精度地計算保存了原始狀態(tài)的所述標記的位置或姿勢。
【專利附圖】
【附圖說明】
[0030]圖1是圖示了圖像合成的圖；
[0031]圖2是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖；
[0032]圖3是用于說明第一標記生成處理的流程圖；
[0033]圖4是圖示了輸入圖像的圖；
[0034]圖5是圖示了特征點的提取和處理的圖；
[0035]圖6是圖示了特征點的添加以消除偏離的圖；
[0036]圖7是圖示了特征點的添加以增加特征點的數(shù)量的圖；
[0037]圖8是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖；
[0038]圖9是用于說明第二標記生成處理的流程圖；
[0039]圖10是用于說明特征量計算處理的細節(jié)的流程圖；
[0040]圖11是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖；
[0041]圖12是用于說明合成圖像生成處理的流程圖；
[0042]圖13是圖示了生成合成圖像的具體方法的圖；以及
[0043]圖14是圖示了計算機的構(gòu)造的示例的圖。
【具體實施方式】
[0044]下文中，將參照附圖詳細地說明本發(fā)明的優(yōu)選實施例。應(yīng)注意的是，在本說明書和附圖中，用相同的附圖標記表示具有實質(zhì)上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略了這些結(jié)構(gòu)元件的重復(fù)說明。
[0045]下文中，將參照【專利附圖】
【附圖說明】本技術(shù)的實施例。
[0046]第一實施例
[0047]圖像處理裝置的構(gòu)造的示例
[0048]圖2是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖。[0049]如圖2所示，圖像處理裝置I包括圖像輸入單元11、特征點提取單元12、特征量計算單元13、圖像處理單元14、特征點數(shù)量和分布判定單元15、特征點生成單元16、標記圖像生成單元17和標記圖像輸出單元18。
[0050]圖像輸入單元11獲取從外部裝置輸入的輸入圖像，然后將輸入圖像輸入至特征點提取單元12。例如，將輸入圖像輸入至照相機、記錄介質(zhì)、或者經(jīng)由網(wǎng)絡(luò)而被連接的服務(wù)器等。[0051]特征點提取單元12提取包括于從圖像輸入單元11提供過來的輸入圖像中的特征點，然后將特征點提供給特征量計算單元13。
[0052]這里,使用例如Harris角點檢測器(Harris Corner Detector)來提取特征點。然而，已經(jīng)提出了各種方法作為特征點提取方法，因此，能使用任意方法。[0053]特征量計算單元13計算包括于從特征點提取單元12提供過來的輸入圖像中的各特征點的特征量，然后將各特征點的特征量提供給圖像處理單元14。
[0054]這里,例如,使用隨機蕨(Random Ferns)算法來計算特征點。隨機蕨算法的細節(jié)記錄在下面的文獻I中。
[0055]文獻1:“Fast KeyPoint Recognition Using Random Ferns^by MustafaOzuysalj Michael Calonderj Vincent Lepetitj and Pascal Fuaj in IEEE Transactions onPattern Analysis and Machine Intelligence, Jan.15,2009.[0056]基于從特征量計算單元13提供過來的各特征點的特征量，當從包括于輸入圖像中的標記圖像提取的特征點無區(qū)別時，圖像處理單元14處理標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量。特別地，對標記圖像進行處理以使得在各特征點附近不存在具有相似特征量的特征點。
[0057]將經(jīng)過處理的標記圖像提供給特征點數(shù)量和分布判定單元15。
[0058]特征點數(shù)量和分布判定單元15判定是否進一步將特征點添加到從圖像處理單元14提供過來的經(jīng)過處理的標記圖像中，然后將判定結(jié)果提供給特征點生成單元16。在該判定處理中，例如，判定在標記圖像上的特征點的分布中是否有偏離，或者判定標記圖像上的特征點的數(shù)量是否在預(yù)定閾值以上。
[0059]當根據(jù)從特征點數(shù)量和分布判定單元15提供的判定結(jié)果，在標記圖像上的特征點的分布中有偏離時，特征點生成單元16生成特征點，并將這些特征點添加到經(jīng)過處理的標記圖像中，從而消除特征點的分布中的偏離。
[0060]當根據(jù)從特征點數(shù)量和分布判定單元15提供的判定結(jié)果，在標記圖像上的特征點的數(shù)量小于預(yù)定閾值時，特征點生成單元16生成特征點，并將這些特征點添加到經(jīng)過處理的標記圖像中，從而增加特征點的數(shù)量。
[0061]通過添加這些特征點，進一步處理了標記圖像。將經(jīng)過處理的標記圖像提供給標記圖像生成單元17。然而，當特征點數(shù)量和分布判定單元15判定不添加特征點時，特征點生成單元16將沒有添加特征點因而無變化的經(jīng)過處理的標記圖像提供給標記圖像生成單元17。
[0062]基于從特征點生成單元16提供過來的經(jīng)過處理的標記圖像，標記圖像生成單元17生成新標記圖像，然后將新標記圖像提供給標記圖像輸出單元18。
[0063]標記圖像輸出單元18將從標記圖像生成單元17提供過來的新標記圖像輸出至外部裝置。
[0064]圖像處理裝置I具有上述構(gòu)造。
[0065]第一標記生成處理
[0066]接下來，將參照圖3的流程圖說明由圖2中的圖像處理裝置I執(zhí)行的第一標記生成處理。
[0067]在步驟SI中，特征點提取單元12使用Harris角點檢測器在由圖像輸入單元11獲得的輸入圖像上執(zhí)行特征點提取處理，以從輸入圖像提取特征點。通過特征點提取處理，計算出角點(corner point)的2維坐標,這些角點是輸入圖像中的邊緣的交叉點。
[0068]在步驟S2中，特征量計算單元13使用隨機蕨算法在由特征點提取單元12提取的各特征點上執(zhí)行特征量計算處理，以計算出特征量。
[0069]在隨機蕨算法中，通過生成多個圖像(其中，幾何變換或噪聲被添加到輸入圖像)和通過執(zhí)行圖像分析處理來計算特征量，可以獲得這樣的特征量:所述特征量能經(jīng)受針對于標記的方向或針對于噪聲的魯棒性識別(robust recognition)。另一方面，已知隨著魯棒性增強，錯誤識別的概率增大。為此，有效的是，根據(jù)場景適當?shù)厥褂迷诟鲬?yīng)用程序中的魯棒性的存在或不存在，或者同時使用考慮了魯棒性的特征量和不考慮魯棒性的特征量，而不是僅考慮魯棒性。
[0070]于是，在第一實施例中，將說明這樣的情況:其中，不考慮針對于標記的方向或噪聲的魯棒性。在稍后所述的第二實施例中，將說明這樣的情況:其中，考慮針對于標記的方向或噪聲的魯棒性。
[0071]在第一實施例中的不考慮魯棒性的隨機蕨算法中，能夠通過用二進制(0，I)描述在關(guān)注像素(關(guān)注像素是組成輸入圖像的像素之中受到關(guān)注的像素)的周邊中隨機選擇的兩點之間的大小關(guān)系且通過多次執(zhí)行該操作，來獲得位串(bit string)作為特征量。即，對于給定的特征點Pi，能獲得對應(yīng)特征量fi。這里，特征點Pi是表示圖像上的坐標值的矢量。特征量fi是二進制值的矢量，這些二進制值中，獲得上述各操作的結(jié)果作為元素。例如，特征量fi具有值“^=[011010…1Τ”。這里，T表示矢量的轉(zhuǎn)置(transposition)。此外，i表示特征量的索引。當假設(shè)η是包括于圖像中的特征量的數(shù)量時，i=0，l，…，和n-1。
[0072]當在步驟S2的處理中計算出輸入圖像上的各特征點的特征量時，該過程進入步驟S3。
[0073]在步驟S3中，圖像處理單元14執(zhí)行第一圖像處理。
[0074]在第一圖像處理中，對標記圖像進行處理以使得具有相似特征量的特征點存在于從包括于輸入圖像中的標記圖像提取的各特征點附近。于是，對標記圖像上的特征點之中的無區(qū)別特征點進行處理，并且將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量。
[0075]即，在第一圖像處理中，為了消除其中特征量間的在特征空間上的距離近的組合，對標記圖像進行處理已使得關(guān)注特征點的特征量的值不接近于在關(guān)注特征點附近的特征點的特征量的值。
[0076]這是由用于識別標記的位置或姿勢的處理(下文中，稱作“標記識別處理”)引起的。即，在稍后所述的標記識別處理(圖12的步驟S202)中，在輸入圖像上執(zhí)行特征點提取處理以使包括于輸入圖像中的標記圖像的一部分的特征點與包括于預(yù)先準備的參考圖像中的標記圖像的一部分的特征點匹配。由于在某些情況下在匹配點的匹配關(guān)系中會包括錯誤的偏差值(異常值)，所以通過應(yīng)用幾何約束來去除偏差值。通過基于其中去除了偏差值的匹配關(guān)系來執(zhí)行從參考圖像空間至輸入圖像空間的變換，估計出標記的位置或姿勢。
[0077]然而，有一些偏差值可能在幾何約束中沒有被去除。即，當特征點的坐標與接近于適當匹配點的特征點的坐標匹配時，在幾何約束中不出現(xiàn)矛盾，且因此有一些偏差值可能沒有被去除。當匹配點被用來估計標記的位置或姿勢時，精度會劣化。于是，用于提高對標記的位置或姿勢的估計精度的一個對策是不要產(chǎn)生在幾何約束中可能不會被去除的異常值(outlier)。
[0078]于是，在本發(fā)明的實施例中，在關(guān)注特征點的特征量的值不接近于在關(guān)注特征點附近的特征點的特征量的值的同時，不考慮與除了附近特征點之外的特征點的關(guān)系。這是因為，如上所述，在除了附近特征點之外的特征點中，當執(zhí)行標記識別處理時，偏差值通過幾何約束可能沒有被去除。當考慮除了附近特征點之外的特征點時，必須使用更復(fù)雜的特征量作為特征量以使得不接近于特征點的特征量的值。然而，由于使用更復(fù)雜的特征量，所以會增加標記識別處理時的計算量。因此，通過僅僅將在關(guān)注特征點附近的特征點設(shè)定為比較對象，不會增加在標記識別處理時的計算量。
[0079]接下來，將說明步驟S3的具體處理的內(nèi)容。
[0080]這里，將引入特征量之間的相似性。特征量fi和fj如下面方程式(I)中所定義。
[0081]D (f ^ f j) = IIWo (I)
[0082]這里，在方程式(I)中，Il Il C1表示LO范數(shù)(norm)，并且矢量元素中的不為O的元素的數(shù)量是給定的。此外，~假設(shè)利用各矢量元素來獲得邏輯積(AND)。
[0083]這里，當處理標記圖像時，從在一定程度上保存原始輸入圖像這一事實的觀點來看，用于處理標記圖像的處理可以被理解為使下面的方程式(2)的評估函數(shù)J最小化的問題。
[0084]
【權(quán)利要求】
1.一種圖像處理裝置，其包括: 特征點提取單元，所述特征點提取單元從輸入圖像提取特征點； 特征量計算單元，所述特征量計算單元計算所述特征點的特征量； 圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及 標記圖像生成單元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理單元處理所述標記圖像以使得關(guān)注特征點的特征量的值不近似于在所述關(guān)注特征點附近的特征點的特征量的值，所述關(guān)注特征點是受到關(guān)注的特征點。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其還包括特征點生成單元， 所述特征點生成單元生成要被添加到經(jīng)過處理的所述標記圖像上的特征點，并且將所生成的特征點添加到經(jīng)過處理的所述標記圖像上。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當所述標記圖像上的所述特征點的分布中有偏離時，所述特征點生成單元添加所生成的特征點以使得消除所述特征點的分布中的所述偏離。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當所述標記圖像上的所述特征點的數(shù)量小于預(yù)定閾值時，所述特征點生成單元添加所生成的特征點以使得所述特征點的數(shù)量增加。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述圖像處理單元處理所述標記圖像以使得評估函數(shù)最小化，所述評估函數(shù)具有用于評估所述輸入圖像的保存性的項和用于評估所述特征點的特征量的稀疏狀況的項。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述特征量計算單元考慮到與所述標記圖像有關(guān)的信息的魯棒性或者不考慮與所述標記圖像有關(guān)的信息的魯棒性，來計算所述特征量。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其還包括: 識別單元，所述識別單元識別包括于所述輸入圖像中的且用于圖像合成的新標記圖像；以及 圖像合成單元，所述圖像合成單元將預(yù)定的重疊圖像合成在所識別的標記圖像上。
9.根據(jù)權(quán)利要求1至8中任一項所述的圖像處理裝置，其中，所述圖像處理單元校正與所述無區(qū)別特征點對應(yīng)的像素的亮度值。
10.一種在圖像處理裝置中執(zhí)行的圖像處理方法，其包括通過所述圖像處理裝置執(zhí)行的如下步驟: 從輸入圖像提取特征點； 計算所述特征點的特征量； 當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及 基于所述處理的結(jié)果而生成新標記圖像。
11.一種程序，其用于使計 算機作為如下單元發(fā)揮功能:特征點提取單元，所述特征點提取單元從輸入圖像提取特征點； 特征量計算單元，所述特征量計算單元計算所述特征點的特征量； 圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及 標記圖像生成單 元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
【文檔編號】G06K9/46GK103886620SQ201310684082
【公開日】2014年6月25日 申請日期:2013年12月13日 優(yōu)先權(quán)日:2012年12月20日
【發(fā)明者】濱田健宏, 永野秀敏, 服部博憲 申請人:索尼公司
【專利摘要】本發(fā)明提供了圖像處理裝置、圖像處理方法和程序。所述圖像處理裝置包括：特征點提取單元，其從輸入圖像提取特征點；特征量計算單元，其計算所述特征點的特征量；圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及標記圖像生成單元，其基于所述處理的結(jié)果而生成新標記圖像。本發(fā)明的所述圖像處理方法和所述程序是與本發(fā)明的上述圖像處理裝置對應(yīng)的方法和程序。本發(fā)明能高精度地計算保存了原始圖像、文本等的標記的位置或姿勢。
【專利說明】圖像處理裝置、圖像處理方法和程序
[0001]相關(guān)申請的交叉參考
[0002]本申請要求2012年12月20日提交的日本優(yōu)先權(quán)專利申請案JP2012-278676的優(yōu)先權(quán)權(quán)益，因此將該日本優(yōu)先權(quán)申請案的全部內(nèi)容以引用的方式并入本文。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及圖像處理裝置、圖像處理方法和程序，并且特別地，涉及能夠高精度地計算出保存了原始狀態(tài)的標記的位置或姿勢(posture)的圖像處理裝置、圖像處理方法和程序。
【背景技術(shù)】
[0004]目前已知曉這樣的技術(shù):其用于分析通過拍攝已知的2維平面(下文中，稱作“標記”)而獲得的攝取圖像，評估該圖像上的所述標記的位置或姿勢，然后計算出所述標記相對于照相機的相對位置或姿勢。
[0005]作為使用上述技術(shù)的應(yīng)用程序，假設(shè)了這樣的應(yīng)用程序:它從攝取圖像評估預(yù)先在認證系統(tǒng)中登記的標記圖像，然后通過圖像合成來用另外的圖像(重疊圖像)替代上述標記圖像。
[0006]具體地，如圖1所示，該技術(shù)的示例是這樣的技術(shù):使用照相機來拍攝攝取圖像，所述攝取圖像包括了其上記載有“ABC”公司名稱的fillip (小物品);估計包括于所述攝取圖像中的標記的位置或方向；用諸如曲線圖(graph)等重疊圖像來替代標記圖像，且將該重疊圖像輸出至顯示屏。
[0007]為了用另外的圖像替代標記圖像，必須精確地檢測標記的位置或方向。當照相機移動或旋轉(zhuǎn)時或者當標記移動或旋轉(zhuǎn)時，必須追蹤照相機或標記的運動，改變替代的圖像的位置或方向，然后合成重疊圖像。
[0008]當假設(shè)要根據(jù)標記的位置或姿勢來合成視頻或計算機圖形(computer graphics ；CG)時，必須維持幾何一致性。為此，高精度地計算所述標記的位置或姿勢就是重要的技術(shù)。
[0009]一般來說，通過安裝不同于照相機的傳感器(該傳感器檢測標記的位置或方向以拍取照片)，能實現(xiàn)上述先決條件。然而，很難以低成本提供這樣的系統(tǒng)。為此，已經(jīng)提出了一種通過在利用照相機拍攝的攝取圖像上執(zhí)行圖像識別處理來估計標記的位置或姿勢的方法。
[0010]作為高精度地計算該標記的位置或姿勢的方法，目前存在有生成標記圖像的方法，所述標記圖像根據(jù)標記識別方法很容易被估計。
[0011]例如，已經(jīng)公開了這樣的技術(shù):其預(yù)先提取背景圖像的圖像特征，創(chuàng)建不同于該圖像特征的區(qū)別特征，然后生成具有該區(qū)別特征的標記圖像(例如參照日本專利N0.4868186)。根據(jù)該技術(shù)，很容易將背景的圖像特征區(qū)別于標記圖像的圖像特征，且因此容易估計出標記的位置或姿勢。
[0012]日本專利N0.4868186中公開的技術(shù)是用于估計標記的位置的技術(shù)。然而，當應(yīng)用該技術(shù)時，能估計所述標記的姿勢。特別地，可以在標記圖像上設(shè)置多個特征點，且可以生成標記圖像以使得各點的圖像特征是區(qū)別的。
[0013]然而，在這種情況下，由于從一開始就生成標記圖像，所以用戶所期望的圖像、字符等可能未被包括于該標記圖像中。為此，存在著以高精度計算出包括所期望的圖像或字符的標記的位置或姿勢的需求。
【發(fā)明內(nèi)容】
[0014]期想的是，提供一種高精度地計算保存了原始狀態(tài)的標記的位置或姿勢的技術(shù)。
[0015]本發(fā)明的實施例提供了一種圖像處理裝置，其包括:特征點提取單元，所述特征點提取單元從輸入圖像提取特征點；特征量計算單元，所述特征量計算單元計算所述特征點的特征量；圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及標記圖像生成單元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
[0016]所述圖像處理單元可以處理所述標記圖像以使得關(guān)注特征點的特征量的值不近似于在所述關(guān)注特征點附近的特征點的特征量的值，所述關(guān)注特征點是受到關(guān)注的特征點。
[0017]所述圖像處理裝置還可以包括特征點生成單元，所述特征點生成單元生成要被添加到經(jīng)過處理的所述標記圖像上的特征點，并且將所生成的特征點添加到經(jīng)過處理的所述標記圖像上。
[0018]當所述標記圖像上的所述特征點的分布中有偏離(bias)時,所述特征點生成單元可以添加所生成的特征點以使得消除所述特征點的分布中的所述偏離。
[0019]當所述標記圖像上的所述特征點的數(shù)量小于預(yù)定閾值時，所述特征點生成單元可以添加所生成的特征點以使得所述特征點的數(shù)量增加。
[0020]所述圖像處理單元可以處理所述標記圖像以使得評估函數(shù)(evaluationfunction)最小化，所述評估函數(shù)具有用于評估所述輸入圖像的保存性的項和用于評估所述特征點的特征量的稀疏狀況(loose condition)的項。
[0021]所述特征量計算單元可以考慮到與所述標記圖像有關(guān)的信息的魯棒性(robustness)或者可以不考慮與所述標記圖像有關(guān)的信息的魯棒性，來計算所述特征量。
[0022]所述圖像處理裝置還可以包括:識別單元，所述識別單元識別包括于所述輸入圖像中的且用于圖像合成的新標記圖像；以及圖像合成單元，所述圖像合成單元將預(yù)定的重疊圖像合成在所識別的標記圖像上。
[0023]所述圖像處理單元可以校正與所述無區(qū)別特征點對應(yīng)的像素的亮度值。
[0024]本發(fā)明的實施例的圖像處理裝置可以是獨立的裝置，或者可以是包括于一個裝置中的內(nèi)部塊。
[0025]本發(fā)明的實施例的圖像處理方法或程序是與本發(fā)明的實施例的上述圖像處理裝置對應(yīng)的圖像處理方法或程序。
[0026]所述圖像處理方法可以包括通過所述圖像處理裝置執(zhí)行的如下步驟:從輸入圖像提取特征點；計算所述特征點的特征量；當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及基于所述處理的結(jié)果而生成新標記圖像。
[0027]所述程序可用于使計算機發(fā)揮如下單元的功能:特征點提取單元，所述特征點提取單元從輸入圖像提取特征點；特征量計算單元，所述特征量計算單元計算所述特征點的特征量；圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及標記圖像生成單元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
[0028]在本發(fā)明的實施例的圖像處理裝置、圖像處理方法和程序中，從輸入圖像提取特征點；計算所述特征點的特征量；當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及基于所述處理的結(jié)果而生成新標記圖像。
[0029]根據(jù)本發(fā)明的實施例，能高精度地計算保存了原始狀態(tài)的所述標記的位置或姿勢。
【專利附圖】
【附圖說明】
[0030]圖1是圖示了圖像合成的圖；
[0031]圖2是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖；
[0032]圖3是用于說明第一標記生成處理的流程圖；
[0033]圖4是圖示了輸入圖像的圖；
[0034]圖5是圖示了特征點的提取和處理的圖；
[0035]圖6是圖示了特征點的添加以消除偏離的圖；
[0036]圖7是圖示了特征點的添加以增加特征點的數(shù)量的圖；
[0037]圖8是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖；
[0038]圖9是用于說明第二標記生成處理的流程圖；
[0039]圖10是用于說明特征量計算處理的細節(jié)的流程圖；
[0040]圖11是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖；
[0041]圖12是用于說明合成圖像生成處理的流程圖；
[0042]圖13是圖示了生成合成圖像的具體方法的圖；以及
[0043]圖14是圖示了計算機的構(gòu)造的示例的圖。
【具體實施方式】
[0044]下文中，將參照附圖詳細地說明本發(fā)明的優(yōu)選實施例。應(yīng)注意的是，在本說明書和附圖中，用相同的附圖標記表示具有實質(zhì)上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略了這些結(jié)構(gòu)元件的重復(fù)說明。
[0045]下文中，將參照【專利附圖】
【附圖說明】本技術(shù)的實施例。
[0046]第一實施例
[0047]圖像處理裝置的構(gòu)造的示例
[0048]圖2是圖示了應(yīng)用了本技術(shù)的圖像處理裝置的構(gòu)造的一個實施例的圖。[0049]如圖2所示，圖像處理裝置I包括圖像輸入單元11、特征點提取單元12、特征量計算單元13、圖像處理單元14、特征點數(shù)量和分布判定單元15、特征點生成單元16、標記圖像生成單元17和標記圖像輸出單元18。
[0050]圖像輸入單元11獲取從外部裝置輸入的輸入圖像，然后將輸入圖像輸入至特征點提取單元12。例如，將輸入圖像輸入至照相機、記錄介質(zhì)、或者經(jīng)由網(wǎng)絡(luò)而被連接的服務(wù)器等。[0051]特征點提取單元12提取包括于從圖像輸入單元11提供過來的輸入圖像中的特征點，然后將特征點提供給特征量計算單元13。
[0052]這里,使用例如Harris角點檢測器(Harris Corner Detector)來提取特征點。然而，已經(jīng)提出了各種方法作為特征點提取方法，因此，能使用任意方法。[0053]特征量計算單元13計算包括于從特征點提取單元12提供過來的輸入圖像中的各特征點的特征量，然后將各特征點的特征量提供給圖像處理單元14。
[0054]這里,例如,使用隨機蕨(Random Ferns)算法來計算特征點。隨機蕨算法的細節(jié)記錄在下面的文獻I中。
[0055]文獻1:“Fast KeyPoint Recognition Using Random Ferns^by MustafaOzuysalj Michael Calonderj Vincent Lepetitj and Pascal Fuaj in IEEE Transactions onPattern Analysis and Machine Intelligence, Jan.15,2009.[0056]基于從特征量計算單元13提供過來的各特征點的特征量，當從包括于輸入圖像中的標記圖像提取的特征點無區(qū)別時，圖像處理單元14處理標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量。特別地，對標記圖像進行處理以使得在各特征點附近不存在具有相似特征量的特征點。
[0057]將經(jīng)過處理的標記圖像提供給特征點數(shù)量和分布判定單元15。
[0058]特征點數(shù)量和分布判定單元15判定是否進一步將特征點添加到從圖像處理單元14提供過來的經(jīng)過處理的標記圖像中，然后將判定結(jié)果提供給特征點生成單元16。在該判定處理中，例如，判定在標記圖像上的特征點的分布中是否有偏離，或者判定標記圖像上的特征點的數(shù)量是否在預(yù)定閾值以上。
[0059]當根據(jù)從特征點數(shù)量和分布判定單元15提供的判定結(jié)果，在標記圖像上的特征點的分布中有偏離時，特征點生成單元16生成特征點，并將這些特征點添加到經(jīng)過處理的標記圖像中，從而消除特征點的分布中的偏離。
[0060]當根據(jù)從特征點數(shù)量和分布判定單元15提供的判定結(jié)果，在標記圖像上的特征點的數(shù)量小于預(yù)定閾值時，特征點生成單元16生成特征點，并將這些特征點添加到經(jīng)過處理的標記圖像中，從而增加特征點的數(shù)量。
[0061]通過添加這些特征點，進一步處理了標記圖像。將經(jīng)過處理的標記圖像提供給標記圖像生成單元17。然而，當特征點數(shù)量和分布判定單元15判定不添加特征點時，特征點生成單元16將沒有添加特征點因而無變化的經(jīng)過處理的標記圖像提供給標記圖像生成單元17。
[0062]基于從特征點生成單元16提供過來的經(jīng)過處理的標記圖像，標記圖像生成單元17生成新標記圖像，然后將新標記圖像提供給標記圖像輸出單元18。
[0063]標記圖像輸出單元18將從標記圖像生成單元17提供過來的新標記圖像輸出至外部裝置。
[0064]圖像處理裝置I具有上述構(gòu)造。
[0065]第一標記生成處理
[0066]接下來，將參照圖3的流程圖說明由圖2中的圖像處理裝置I執(zhí)行的第一標記生成處理。
[0067]在步驟SI中，特征點提取單元12使用Harris角點檢測器在由圖像輸入單元11獲得的輸入圖像上執(zhí)行特征點提取處理，以從輸入圖像提取特征點。通過特征點提取處理，計算出角點(corner point)的2維坐標,這些角點是輸入圖像中的邊緣的交叉點。
[0068]在步驟S2中，特征量計算單元13使用隨機蕨算法在由特征點提取單元12提取的各特征點上執(zhí)行特征量計算處理，以計算出特征量。
[0069]在隨機蕨算法中，通過生成多個圖像(其中，幾何變換或噪聲被添加到輸入圖像)和通過執(zhí)行圖像分析處理來計算特征量，可以獲得這樣的特征量:所述特征量能經(jīng)受針對于標記的方向或針對于噪聲的魯棒性識別(robust recognition)。另一方面，已知隨著魯棒性增強，錯誤識別的概率增大。為此，有效的是，根據(jù)場景適當?shù)厥褂迷诟鲬?yīng)用程序中的魯棒性的存在或不存在，或者同時使用考慮了魯棒性的特征量和不考慮魯棒性的特征量，而不是僅考慮魯棒性。
[0070]于是，在第一實施例中，將說明這樣的情況:其中，不考慮針對于標記的方向或噪聲的魯棒性。在稍后所述的第二實施例中，將說明這樣的情況:其中，考慮針對于標記的方向或噪聲的魯棒性。
[0071]在第一實施例中的不考慮魯棒性的隨機蕨算法中，能夠通過用二進制(0，I)描述在關(guān)注像素(關(guān)注像素是組成輸入圖像的像素之中受到關(guān)注的像素)的周邊中隨機選擇的兩點之間的大小關(guān)系且通過多次執(zhí)行該操作，來獲得位串(bit string)作為特征量。即，對于給定的特征點Pi，能獲得對應(yīng)特征量fi。這里，特征點Pi是表示圖像上的坐標值的矢量。特征量fi是二進制值的矢量，這些二進制值中，獲得上述各操作的結(jié)果作為元素。例如，特征量fi具有值“^=[011010…1Τ”。這里，T表示矢量的轉(zhuǎn)置(transposition)。此外，i表示特征量的索引。當假設(shè)η是包括于圖像中的特征量的數(shù)量時，i=0，l，…，和n-1。
[0072]當在步驟S2的處理中計算出輸入圖像上的各特征點的特征量時，該過程進入步驟S3。
[0073]在步驟S3中，圖像處理單元14執(zhí)行第一圖像處理。
[0074]在第一圖像處理中，對標記圖像進行處理以使得具有相似特征量的特征點存在于從包括于輸入圖像中的標記圖像提取的各特征點附近。于是，對標記圖像上的特征點之中的無區(qū)別特征點進行處理，并且將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量。
[0075]即，在第一圖像處理中，為了消除其中特征量間的在特征空間上的距離近的組合，對標記圖像進行處理已使得關(guān)注特征點的特征量的值不接近于在關(guān)注特征點附近的特征點的特征量的值。
[0076]這是由用于識別標記的位置或姿勢的處理(下文中，稱作“標記識別處理”)引起的。即，在稍后所述的標記識別處理(圖12的步驟S202)中，在輸入圖像上執(zhí)行特征點提取處理以使包括于輸入圖像中的標記圖像的一部分的特征點與包括于預(yù)先準備的參考圖像中的標記圖像的一部分的特征點匹配。由于在某些情況下在匹配點的匹配關(guān)系中會包括錯誤的偏差值(異常值)，所以通過應(yīng)用幾何約束來去除偏差值。通過基于其中去除了偏差值的匹配關(guān)系來執(zhí)行從參考圖像空間至輸入圖像空間的變換，估計出標記的位置或姿勢。
[0077]然而，有一些偏差值可能在幾何約束中沒有被去除。即，當特征點的坐標與接近于適當匹配點的特征點的坐標匹配時，在幾何約束中不出現(xiàn)矛盾，且因此有一些偏差值可能沒有被去除。當匹配點被用來估計標記的位置或姿勢時，精度會劣化。于是，用于提高對標記的位置或姿勢的估計精度的一個對策是不要產(chǎn)生在幾何約束中可能不會被去除的異常值(outlier)。
[0078]于是，在本發(fā)明的實施例中，在關(guān)注特征點的特征量的值不接近于在關(guān)注特征點附近的特征點的特征量的值的同時，不考慮與除了附近特征點之外的特征點的關(guān)系。這是因為，如上所述，在除了附近特征點之外的特征點中，當執(zhí)行標記識別處理時，偏差值通過幾何約束可能沒有被去除。當考慮除了附近特征點之外的特征點時，必須使用更復(fù)雜的特征量作為特征量以使得不接近于特征點的特征量的值。然而，由于使用更復(fù)雜的特征量，所以會增加標記識別處理時的計算量。因此，通過僅僅將在關(guān)注特征點附近的特征點設(shè)定為比較對象，不會增加在標記識別處理時的計算量。
[0079]接下來，將說明步驟S3的具體處理的內(nèi)容。
[0080]這里，將引入特征量之間的相似性。特征量fi和fj如下面方程式(I)中所定義。
[0081]D (f ^ f j) = IIWo (I)
[0082]這里，在方程式(I)中，Il Il C1表示LO范數(shù)(norm)，并且矢量元素中的不為O的元素的數(shù)量是給定的。此外，~假設(shè)利用各矢量元素來獲得邏輯積(AND)。
[0083]這里，當處理標記圖像時，從在一定程度上保存原始輸入圖像這一事實的觀點來看，用于處理標記圖像的處理可以被理解為使下面的方程式(2)的評估函數(shù)J最小化的問題。
[0084]
【權(quán)利要求】
1.一種圖像處理裝置，其包括: 特征點提取單元，所述特征點提取單元從輸入圖像提取特征點； 特征量計算單元，所述特征量計算單元計算所述特征點的特征量； 圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及 標記圖像生成單元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理單元處理所述標記圖像以使得關(guān)注特征點的特征量的值不近似于在所述關(guān)注特征點附近的特征點的特征量的值，所述關(guān)注特征點是受到關(guān)注的特征點。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其還包括特征點生成單元， 所述特征點生成單元生成要被添加到經(jīng)過處理的所述標記圖像上的特征點，并且將所生成的特征點添加到經(jīng)過處理的所述標記圖像上。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當所述標記圖像上的所述特征點的分布中有偏離時，所述特征點生成單元添加所生成的特征點以使得消除所述特征點的分布中的所述偏離。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當所述標記圖像上的所述特征點的數(shù)量小于預(yù)定閾值時，所述特征點生成單元添加所生成的特征點以使得所述特征點的數(shù)量增加。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述圖像處理單元處理所述標記圖像以使得評估函數(shù)最小化，所述評估函數(shù)具有用于評估所述輸入圖像的保存性的項和用于評估所述特征點的特征量的稀疏狀況的項。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述特征量計算單元考慮到與所述標記圖像有關(guān)的信息的魯棒性或者不考慮與所述標記圖像有關(guān)的信息的魯棒性，來計算所述特征量。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其還包括: 識別單元，所述識別單元識別包括于所述輸入圖像中的且用于圖像合成的新標記圖像；以及 圖像合成單元，所述圖像合成單元將預(yù)定的重疊圖像合成在所識別的標記圖像上。
9.根據(jù)權(quán)利要求1至8中任一項所述的圖像處理裝置，其中，所述圖像處理單元校正與所述無區(qū)別特征點對應(yīng)的像素的亮度值。
10.一種在圖像處理裝置中執(zhí)行的圖像處理方法，其包括通過所述圖像處理裝置執(zhí)行的如下步驟: 從輸入圖像提取特征點； 計算所述特征點的特征量； 當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及 基于所述處理的結(jié)果而生成新標記圖像。
11.一種程序，其用于使計 算機作為如下單元發(fā)揮功能:特征點提取單元，所述特征點提取單元從輸入圖像提取特征點； 特征量計算單元，所述特征量計算單元計算所述特征點的特征量； 圖像處理單元，當從包括于所述輸入圖像中的標記圖像提取的所述特征點無區(qū)別時，所述圖像處理單元處理所述標記圖像以將無區(qū)別特征點的特征量變換成區(qū)別特征點的特征量；以及 標記圖像生成單 元，所述標記圖像生成單元基于所述處理的結(jié)果而生成新標記圖像。
【文檔編號】G06K9/46GK103886620SQ201310684082
【公開日】2014年6月25日 申請日期:2013年12月13日 優(yōu)先權(quán)日:2012年12月20日
【發(fā)明者】濱田健宏, 永野秀敏, 服部博憲 申請人:索尼公司
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點贊！
1