專(zhuān)利名稱(chēng)：信息處理設(shè)備、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、信息處理方法和程序。
背景技術(shù)：
這樣的一種在三維空間中通過(guò)使用來(lái)自于照相機(jī)的輸入圖像(跟蹤圖像)來(lái)跟蹤對(duì)象的技術(shù)已被廣泛使用。在此技術(shù)中，通過(guò)使用學(xué)習(xí)圖像來(lái)學(xué)習(xí)跟蹤對(duì)象的特征(學(xué)習(xí)階段)，并且基于所學(xué)習(xí)的跟蹤對(duì)象的特征來(lái)跟蹤包括在跟蹤圖像中的跟蹤對(duì)象(跟蹤階段)。這里，在學(xué)習(xí)階段和跟蹤階段，跟蹤對(duì)象的形狀特征、跟蹤對(duì)象的顏色特征、以及形狀特征和顏色特征的組合用作跟蹤對(duì)象的特征(例如，參考Ying-Ii Tian等人的"Robust Lip Tracking by Combining Shape, Color and Motion",[在線(xiàn)]，Carnegie Mellon School of ComputerScience, 2000 [2010 年2 月 1 日搜索]因特網(wǎng) <URL :http://www. cs. emu. edu/ face/Papers/accv2000camera. pdf>)。

發(fā)明內(nèi)容
在現(xiàn)有技術(shù)中，當(dāng)使用跟蹤對(duì)象的形狀特征和顏色特征的組合時(shí)，形狀特征和顏色特征被分開(kāi)使用。也就是說(shuō)，分開(kāi)計(jì)算形狀特征和顏色特征，并且通過(guò)適當(dāng)?shù)募訖?quán)系數(shù)分開(kāi)地對(duì)它們加權(quán)并組合。例如，在Ying-Ii Tian等人的〃 Robust Lip Tracking by CombiningShape, Color and Motion",[在線(xiàn)]，Carnegie Mellon School ofComputer Science, 2000 [2010 年2 月 1 日搜索]因特網(wǎng) <URL :http://www. cs. emu. edu/ face/ Papers/accv2000camera. pdf>，首先計(jì)算對(duì)象的顏色特征，并且基于顏色特征的計(jì)算結(jié)果來(lái)計(jì)算對(duì)象的形狀特征的位置，以便指定對(duì)象的狀態(tài)。因而，沒(méi)有充分考慮跟蹤對(duì)象的形狀特征和顏色特征之間的相關(guān)性，并且沒(méi)有充分考慮可以表示為跟蹤對(duì)象的形狀特征和顏色特征的組合的特征。此外，跟蹤結(jié)果隨加權(quán)系數(shù)的設(shè)置而改變。因此，會(huì)降低跟蹤的穩(wěn)定性(魯棒特性)。期望提供可以提高跟蹤的穩(wěn)定性的信息處理設(shè)備、信息處理方法和程序。根據(jù)本發(fā)明的實(shí)施例，提供一種信息處理設(shè)備，包括學(xué)習(xí)圖像輸入單元，被配置為與拍攝條件一起輸入在不同的拍攝條件下捕獲了跟蹤對(duì)象的學(xué)習(xí)圖像；特征響應(yīng)計(jì)算單元，被配置為在根據(jù)拍攝條件改變參數(shù)的同時(shí)，計(jì)算一個(gè)或更多個(gè)綜合特征對(duì)于所述學(xué)習(xí)圖像的響應(yīng)，所述綜合特征是通過(guò)至少部分重疊所述跟蹤對(duì)象的形狀特征和顏色特征而獲得的，所述參數(shù)限定所述一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像上的位置、大小和角度中的至少一個(gè)；特征學(xué)習(xí)單元，被配置為基于所述響應(yīng)的計(jì)算結(jié)果識(shí)別該一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像中的空間分布，并且評(píng)價(jià)所述拍攝條件和所述參數(shù)之間的關(guān)系，以及評(píng)價(jià)所述綜合特征之間的空間關(guān)系，以便學(xué)習(xí)所述跟蹤對(duì)象的特征；和特征存儲(chǔ)單元，被配置為存儲(chǔ)所述特征的學(xué)習(xí)結(jié)果。根據(jù)這樣的配置，跟蹤對(duì)象的特征被作為通過(guò)至少部分重疊跟蹤對(duì)象的形狀特征和顏色特征獲得的一個(gè)或更多個(gè)綜合特征而加以學(xué)習(xí)。因此，充分學(xué)習(xí)被表示為跟蹤對(duì)象的形狀特征和顏色特征的組合的特征，并且不必將形狀特征和顏色特征分開(kāi)以適當(dāng)?shù)募訖?quán)系數(shù)進(jìn)行加權(quán)并組合。因此，可以在跟蹤階段使用該特征的學(xué)習(xí)結(jié)果來(lái)穩(wěn)定地跟蹤跟蹤對(duì)象。該信息處理設(shè)備還可以包括跟蹤圖像輸入單元，被配置為對(duì)于每個(gè)幀輸入包括所述跟蹤對(duì)象的跟蹤圖像；特征分?jǐn)?shù)計(jì)算單元，被配置為對(duì)于該跟蹤圖像，通過(guò)使用所述一個(gè)或更多個(gè)綜合特征的學(xué)習(xí)結(jié)果，在改變參數(shù)的同時(shí)計(jì)算該一個(gè)或更多個(gè)綜合特征的分?jǐn)?shù)， 所述參數(shù)限定所述一個(gè)或更多個(gè)綜合特征在所述跟蹤圖像上的位置、大小和角度中的至少一個(gè)，所述綜合特征是通過(guò)至少部分重疊該跟蹤對(duì)象的形狀特征和顏色特征而獲得的；存在概率計(jì)算單元，被配置為計(jì)算跟蹤對(duì)象存在于所述跟蹤圖像的預(yù)定區(qū)域中的概率；以及對(duì)象跟蹤單元，被配置為基于分?jǐn)?shù)的計(jì)算結(jié)果和存在概率的計(jì)算結(jié)果指定跟蹤對(duì)象在所述跟蹤圖像中的位置并且跟蹤包括在所述跟蹤圖像中的跟蹤對(duì)象。因此，基于作為通過(guò)至少部分重疊跟蹤對(duì)象的形狀特征和顏色特征獲得的一個(gè)或更多個(gè)綜合特征而學(xué)習(xí)的特征的學(xué)習(xí)結(jié)果來(lái)跟蹤跟蹤對(duì)象。因而，基于跟蹤對(duì)象的被表示為形狀特征和顏色特征的組合的特征來(lái)跟蹤跟蹤對(duì)象，以使得不必將形狀特征和顏色特征分開(kāi)以適當(dāng)?shù)募訖?quán)系數(shù)進(jìn)行加權(quán)并組合。因此，可以穩(wěn)定地跟蹤跟蹤對(duì)象。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供一種信息處理方法，包括以下步驟與拍攝條件一起輸入在不同的拍攝條件下捕獲了跟蹤對(duì)象的學(xué)習(xí)圖像；在根據(jù)該拍攝條件改變參數(shù)的同時(shí)，計(jì)算一個(gè)或更多個(gè)綜合特征對(duì)于所述學(xué)習(xí)圖像的響應(yīng)，所述綜合特征是通過(guò)至少部分重疊所述跟蹤對(duì)象的形狀特征和顏色特征而獲得的，所述參數(shù)限定所述一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像上的位置、大小和角度中的至少一個(gè)；基于該響應(yīng)的計(jì)算結(jié)果識(shí)別所述一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像中的空間分布，并且評(píng)價(jià)所述拍攝條件和所述參數(shù)之間的關(guān)系，以及評(píng)價(jià)所述綜合特征之間的空間關(guān)系，以便學(xué)習(xí)所述跟蹤對(duì)象的特征； 以及存儲(chǔ)該特征的學(xué)習(xí)結(jié)果。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供一種使得計(jì)算機(jī)執(zhí)行上述信息處理方法的程序。這里，程序可以通過(guò)使用可以由計(jì)算機(jī)讀出的存儲(chǔ)介質(zhì)提供或者可以通過(guò)通信裝置提{共。根據(jù)本發(fā)明的實(shí)施例，可以提供能夠提高跟蹤的穩(wěn)定性的信息處理設(shè)備、信息處理方法和程序。


圖1是顯示根據(jù)本發(fā)明的實(shí)施例的信息處理設(shè)備的主要功能配置的框圖。圖2是顯示信息處理設(shè)備的學(xué)習(xí)階段的操作程序的流程圖；圖3是顯示信息處理設(shè)備的跟蹤階段的操作程序的流程圖；圖4示出了綜合特征濾波器的示例；圖5示出了由綜合特征濾波器表達(dá)跟蹤對(duì)象的特征的示例；圖6A示出了跟蹤對(duì)象的跟蹤結(jié)果的示例(1/2)；和圖6B示出了跟蹤對(duì)象的跟蹤結(jié)果的示例(2/2)。
具體實(shí)施方式
下面將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。在此說(shuō)明書(shū)和附圖中，給定基本上具有相等的功能和配置的組成元件相同的參考字符以便省略重復(fù)的說(shuō)明。[1.信息處理設(shè)備1的配置]首先參考圖1描述信息處理設(shè)備1的配置。圖1示出了信息處理設(shè)備1的主要功能配置。如圖1所示，信息處理設(shè)備1包括學(xué)習(xí)圖像輸入單元11、特征響應(yīng)計(jì)算單元12、特征學(xué)習(xí)單元13、特征存儲(chǔ)單元14、跟蹤圖像輸入單元21、特征分?jǐn)?shù)計(jì)算單元22、存在概率計(jì)算單元23和對(duì)象跟蹤單元對(duì)。學(xué)習(xí)圖像輸入單元11由一個(gè)或多個(gè)照相機(jī)組成。學(xué)習(xí)圖像輸入單元11接收標(biāo)記的學(xué)習(xí)圖像Is并且將學(xué)習(xí)圖像Is提供給特征響應(yīng)計(jì)算單元12。學(xué)習(xí)圖像Is是在由標(biāo)簽顯示的不同的拍攝條件(來(lái)自于學(xué)習(xí)圖像輸入單元11的每一個(gè)照相機(jī)的拍攝距離、拍攝角度等等)下捕獲的跟蹤對(duì)象0的圖像。輸入學(xué)習(xí)圖像Is以作為用于識(shí)別位于三維空間中的跟蹤對(duì)象0的位置和形狀的立體圖像。特征響應(yīng)計(jì)算單元12計(jì)算對(duì)于所提供的學(xué)習(xí)圖像Is的響應(yīng)(適合性)，作為跟蹤對(duì)象0的特征。特征學(xué)習(xí)單元13基于該響應(yīng)的計(jì)算結(jié)果學(xué)習(xí)包括在學(xué)習(xí)圖像Is中的跟蹤對(duì)象0的特征。這里，將跟蹤對(duì)象0的特征作為綜合了形狀特征和顏色特征的綜合特征來(lái)處理。形狀特征被表示為在學(xué)習(xí)圖像Is的亮度區(qū)域中的邊緣、梯度、矩形濾波等等。顏色特征被表示為在學(xué)習(xí)圖像Is的顏色區(qū)域中的局部區(qū)域中的平方差的和(SSD)、直方圖等寸。綜合特征被表示為形狀特征和顏色特征的組合。表達(dá)綜合特征以使得至少部分地重疊一個(gè)或多個(gè)形狀特征和一個(gè)或多個(gè)顏色特征。這里，在形狀特征和顏色特征彼此重疊的部分中反映形狀特征和顏色特征之間的相關(guān)性，并且由形狀特征和顏色特征的組合組成的特征表示在該部分中。特征存儲(chǔ)單元14存儲(chǔ)跟蹤對(duì)象0的特征信息和特征的學(xué)習(xí)結(jié)果。跟蹤對(duì)象0的特征信息包括跟蹤對(duì)象0的形狀特征和顏色特征以及由形狀特征和顏色特征的組合組成的綜合特征。特征的學(xué)習(xí)結(jié)果包括在學(xué)習(xí)階段中作為跟蹤對(duì)象0的特征而累積的信息。跟蹤圖像輸入單元21由一個(gè)或多個(gè)照相機(jī)組成。跟蹤圖像輸入單元21接收每個(gè)幀的跟蹤圖像It并且將跟蹤圖像It提供給特征分?jǐn)?shù)計(jì)算單元22。跟蹤圖像It是包括相對(duì)于跟蹤圖像輸入單元21移動(dòng)的跟蹤對(duì)象0的圖像。跟蹤圖像It被作為用于識(shí)別位于三維空間中的跟蹤對(duì)象0的位置和形狀的立體圖像而輸入。特征分?jǐn)?shù)計(jì)算單元22基于特征的學(xué)習(xí)結(jié)果計(jì)算所提供的跟蹤圖像的特征的分?jǐn)?shù) (適合性)。特征分?jǐn)?shù)計(jì)算單元22計(jì)算包括在跟蹤圖像It中的跟蹤對(duì)象0的特征。這里， 將跟蹤對(duì)象0的特征處理為通過(guò)綜合形狀特征和顏色特征而獲得的綜合特征。存在概率計(jì)算單元23計(jì)算跟蹤對(duì)象0存在于跟蹤圖像It中的預(yù)定區(qū)域中的概率。對(duì)象跟蹤單元M基于分?jǐn)?shù)的計(jì)算結(jié)果和存在概率的計(jì)算結(jié)果指定包括在跟蹤圖像It 中的跟蹤對(duì)象0的位置，以便跟蹤跟蹤對(duì)象0并輸出跟蹤結(jié)果。這里，基于特征的計(jì)算結(jié)果利用粒子濾波器跟蹤跟蹤對(duì)象0。這里，如上所述的功能配置的至少一部分可以由在信息處理設(shè)備1中操作的軟件(程序)實(shí)現(xiàn)或可以由硬件實(shí)現(xiàn)。在該配置由軟件實(shí)現(xiàn)的情況下，程序可以預(yù)先存儲(chǔ)在信息處理設(shè)備1中或可以從外部提供。[2.信息處理設(shè)備1的操作]接著參考圖2到圖6B描述信息處理設(shè)備1的操作。圖2和圖3分別示出了在信息處理設(shè)備1的學(xué)習(xí)階段的操作程序和跟蹤階段的操作程序。信息處理設(shè)備1在學(xué)習(xí)階段和跟蹤階段執(zhí)行不同的操作。在學(xué)習(xí)階段，通過(guò)使用學(xué)習(xí)圖像Is學(xué)習(xí)跟蹤對(duì)象0的特征。在跟蹤階段，基于該特征的學(xué)習(xí)結(jié)果跟蹤包括在跟蹤圖像It中的跟蹤對(duì)象0。在下面的描述中，描述脫機(jī)執(zhí)行學(xué)習(xí)階段的情況。但是，可以聯(lián)機(jī) (即，在跟蹤階段期間)執(zhí)行學(xué)習(xí)階段。如圖2所示，在學(xué)習(xí)階段，首先產(chǎn)生表達(dá)跟蹤對(duì)象0的特征的一個(gè)或多個(gè)綜合特征濾波器F(步驟Sll)。所產(chǎn)生的綜合特征濾波器F存儲(chǔ)為跟蹤對(duì)象0的特征信息。圖4示出了綜合特征濾波器F的示例。如圖4所示，通過(guò)組合一個(gè)或多個(gè)形狀特征濾波器Fs和一個(gè)或多個(gè)顏色特征濾波器Fc產(chǎn)生綜合特征濾波器F。在圖4所示的示例中，通過(guò)組合形狀特征濾波器Fsa和Fsb以及顏色特征濾波器Fca產(chǎn)生綜合特征濾波器F。 通過(guò)至少部分重疊形狀特征濾波器Fs和顏色特征濾波器Fc產(chǎn)生綜合特征濾波器F。在圖 4所示的示例中，通過(guò)對(duì)形狀特征和顏色特征進(jìn)行綜合而獲得的綜合特征顯示在區(qū)域P(由斜線(xiàn)表示的區(qū)域)中，在該區(qū)域上，濾波器Fsa和濾波器Fca彼此重疊并且濾波器Fsb和濾波器Fca彼此重疊。濾波器Fs和Fc的每一個(gè)的形狀不局限于矩形形狀。此外，形狀特征濾波器Fs和顏色特征濾波器Fc可以被組合為一個(gè)濾波器對(duì)一個(gè)濾波器、一個(gè)濾波器對(duì)多個(gè)濾波器、多個(gè)濾波器對(duì)一個(gè)濾波器、或多個(gè)濾波器對(duì)多個(gè)濾波器。此外，在綜合特征濾波器F中，可以組合彼此具有不同的大小的濾波器Fs和Fc或者可以彼此不同的角度組合濾波器Fs和Fe。圖5示出了由綜合特征濾波器F表達(dá)跟蹤對(duì)象0的特征的示例。在圖5的示例中，作為跟蹤對(duì)象0的示例的手的特征由顯示手掌中的一部分的第一綜合特征濾波器F1、 顯示拇指的一部分的第二綜合特征濾波器F2、以及顯示中指的一部分的第三綜合特征濾波器F3表達(dá)。第一綜合特征濾波器Fl由兩個(gè)形狀特征濾波器Fsll和Fsl2以及一個(gè)顏色特征濾波器Fcl組成。第二綜合特征濾波器F2由形狀特征濾波器Fs2和顏色特征濾波器Fc2 組成，并且第三綜合特征濾波器F3由形狀特征濾波器Fs3和顏色特征濾波器Fc3組成。第二，學(xué)習(xí)圖像Is與顯示拍攝條件的標(biāo)簽一起被輸入(Si》，在所述學(xué)習(xí)圖像Is 中，所述跟蹤對(duì)象0是在不同的拍攝條件下捕獲的。學(xué)習(xí)圖像Is包括在由標(biāo)簽顯示的拍攝條件下捕獲的跟蹤對(duì)象0的特征。把包括在學(xué)習(xí)圖像Is中的信息從三維空間坐標(biāo)投射到二維空間坐標(biāo)。第三，計(jì)算投射的學(xué)習(xí)圖像對(duì)于一個(gè)或多個(gè)綜合特征濾波器F(—組綜合特征濾波器F)的響應(yīng)(適合性)(S13)。在綜合特征濾波器F方面，通過(guò)計(jì)算構(gòu)成綜合特征濾波器 F的形狀特征濾波器Fs和學(xué)習(xí)圖像Is之間的響應(yīng)以及構(gòu)成綜合特征濾波器F的顏色特征濾波器Fc和學(xué)習(xí)圖像Is之間的響應(yīng)，來(lái)計(jì)算整個(gè)綜合特征濾波器F和學(xué)習(xí)圖像Is之間的響應(yīng)。在根據(jù)由標(biāo)簽顯示的拍攝條件改變諸如在學(xué)習(xí)圖像Is中的位置、大小或角度之類(lèi)的參數(shù)的同時(shí)，計(jì)算一個(gè)或多個(gè)綜合特征濾波器F對(duì)于學(xué)習(xí)圖像Is的響應(yīng)。這里，通過(guò)使用學(xué)習(xí)圖像Is的亮度區(qū)域中的邊緣、梯度、矩形濾波器等等計(jì)算形
7狀特征的響應(yīng)。此外，可以通過(guò)使用方向梯度的直方圖(HOG)的特征和支持向量機(jī)(SVM) 來(lái)計(jì)算形狀特征的響應(yīng)。通過(guò)使用學(xué)習(xí)圖像Is的顏色區(qū)域中的局部區(qū)域中的SSD、直方圖等等來(lái)計(jì)算顏色特征的響應(yīng)。第四，基于響應(yīng)的計(jì)算結(jié)果學(xué)習(xí)跟蹤對(duì)象0的特征(S14)。基于對(duì)該學(xué)習(xí)圖像Is 的響應(yīng)的計(jì)算結(jié)果執(zhí)行包括在學(xué)習(xí)圖像Is中的跟蹤對(duì)象0的特征和綜合特征濾波器F之間的匹配，由此可以識(shí)別綜合特征在該學(xué)習(xí)圖像Is上的空間分布。通過(guò)評(píng)價(jià)由標(biāo)簽顯示的拍攝條件和綜合特征的參數(shù)(諸如在學(xué)習(xí)圖像上的位置、大小或角度)之間的關(guān)系以及綜合特征之間的空間關(guān)系，學(xué)習(xí)跟蹤對(duì)象0的特征。第五，存儲(chǔ)特征的學(xué)習(xí)結(jié)果(S15)。當(dāng)評(píng)價(jià)在其它學(xué)習(xí)圖像Is中的綜合特征等等之間的空間關(guān)系時(shí)，再次參考特征的學(xué)習(xí)結(jié)果。也就是說(shuō)，考慮之前學(xué)習(xí)結(jié)果使得能夠高效地學(xué)習(xí)該特征。在學(xué)習(xí)階段，通過(guò)重復(fù)步驟S12到S15的處理來(lái)將跟蹤對(duì)象0的特征作為綜合特征來(lái)學(xué)習(xí)，直到最后一個(gè)學(xué)習(xí)圖像Is的處理完成為止(S16)。因此，累積如何表達(dá)在不同的拍攝條件下捕獲的跟蹤對(duì)象0的特征的信息作為該特征的學(xué)習(xí)結(jié)果。這里，將跟蹤對(duì)象0的特征作為綜合了形狀特征和顏色特征的綜合特征來(lái)學(xué)習(xí)。 因此，充分學(xué)習(xí)被表示為跟蹤對(duì)象0的形狀特征和顏色特征的組合的特征，以使得不必將這些特征分開(kāi)加權(quán)適當(dāng)?shù)募訖?quán)系數(shù)并組合。因此，在跟蹤階段，可以通過(guò)使用特征的學(xué)習(xí)結(jié)果來(lái)穩(wěn)定地跟蹤跟蹤對(duì)象0。另一方面，如圖3所示，在跟蹤階段首先讀出特征的學(xué)習(xí)結(jié)果(S21)。也就是說(shuō)，讀出用于指定在不同的拍攝條件下在跟蹤圖像It中捕獲的跟蹤對(duì)象0的特征的信息。第二，對(duì)于每個(gè)幀輸入包括跟蹤對(duì)象0的跟蹤圖像It (S22)。跟蹤圖像It包括相對(duì)于跟蹤圖像輸入單元21移動(dòng)的跟蹤對(duì)象0的圖像。把包括在跟蹤圖像It中的信息從三維空間坐標(biāo)投射到二維空間坐標(biāo)。第三，計(jì)算一個(gè)或多個(gè)綜合特征濾波器F ( —組綜合特征濾波器F)在輸入的跟蹤圖像It中的分?jǐn)?shù)(適合性)(S23)。在綜合特征濾波器F方面，可以通過(guò)計(jì)算構(gòu)成綜合特征濾波器F的形狀特征濾波器Fs和顏色特征濾波器Fc的分?jǐn)?shù)來(lái)計(jì)算綜合特征濾波器F的整體的分?jǐn)?shù)。在改變諸如在跟蹤圖像It上的位置、大小或角度之類(lèi)的參數(shù)的同時(shí)，計(jì)算一個(gè)或多個(gè)綜合特征濾波器F的分?jǐn)?shù)。這里，通過(guò)使用跟蹤圖像It的亮度區(qū)域中的邊緣、梯度、矩形濾波器等等來(lái)計(jì)算形狀特征濾波器Fs的分?jǐn)?shù)，并且通過(guò)使用跟蹤圖像It的顏色區(qū)域中的局部區(qū)域中的SSD、 直方圖等等來(lái)計(jì)算顏色特征濾波器Fc的分?jǐn)?shù)。第四，計(jì)算跟蹤對(duì)象0存在于跟蹤圖像It中的預(yù)定區(qū)域中的概率(SM)。利用粒子濾波器計(jì)算跟蹤對(duì)象0的存在概率。粒子濾波器是這樣一種技術(shù)，該技術(shù)中將跟蹤對(duì)象 0表示為離散的概率密度乘以多個(gè)具有狀態(tài)數(shù)量和似然性的假定組并且利用狀態(tài)轉(zhuǎn)變模型傳輸離散的概率密度以便跟蹤對(duì)象。在粒子濾波器的應(yīng)用中，通過(guò)使用評(píng)價(jià)模型等等預(yù)先對(duì)跟蹤對(duì)象0的操作建模以便形成多個(gè)假定組。第五，基于分?jǐn)?shù)和存在概率的計(jì)算結(jié)果指定跟蹤對(duì)象0的位置(S2Q。將跟蹤對(duì)象 0的位置指定為綜合特征濾波器F的分?jǐn)?shù)超過(guò)預(yù)定閾值的區(qū)域當(dāng)中的跟蹤對(duì)象0的存在概率最高的區(qū)域。指定的位置用于計(jì)算跟蹤對(duì)象0存在于下一幀的跟蹤圖像It中的預(yù)定區(qū)域中的概率。第六，把指定的跟蹤對(duì)象0的位置作為跟蹤結(jié)果輸出(S26)。圖6A和圖6B示出了跟蹤對(duì)象0的跟蹤結(jié)果的示例。在圖6A和圖6B所示的示例中，在跟蹤圖像Itl到It4(跟蹤圖像Itl到It4不是連續(xù)幀)中跟蹤作為跟蹤對(duì)象0的示例的手。跟蹤對(duì)象0的特征由圖5所示的第一到第三綜合特征濾波器Fl到F3表達(dá)。跟蹤對(duì)象0相對(duì)于跟蹤圖像輸入單元21進(jìn)行三維移動(dòng)。在跟蹤圖像It上，基于特征的學(xué)習(xí)結(jié)果計(jì)算第一到第三綜合特征濾波器Fl到F3的分?jǐn)?shù)。此外，利用粒子濾波器計(jì)算跟蹤對(duì)象0的存在概率。因此，指定包括在跟蹤圖像It中的跟蹤對(duì)象0的位置，由此可以跟蹤該跟蹤對(duì)象0。在圖6A和圖6B中，由跟蹤窗口 W指定跟蹤對(duì)象0的位置。在跟蹤階段，通過(guò)重復(fù)步驟S22到S26的處理來(lái)跟蹤相對(duì)于跟蹤圖像輸入單元21 移動(dòng)的跟蹤對(duì)象0，直到最后一個(gè)幀的跟蹤圖像It的處理完成為止(S27)。在跟蹤階段，基于作為綜合了形狀特征和顏色特征的綜合特征而被學(xué)習(xí)的特征的學(xué)習(xí)結(jié)果來(lái)跟蹤該跟蹤對(duì)象0。因而，基于跟蹤對(duì)象0的特征(被表示為形狀特征和顏色特征的組合)來(lái)跟蹤跟蹤對(duì)象0，以使得不必將這些特征分開(kāi)加權(quán)適當(dāng)?shù)募訖?quán)系數(shù)并組合。 因此，可以在跟蹤階段穩(wěn)定地跟蹤跟蹤對(duì)象0。上面參考附圖詳細(xì)描述了本發(fā)明的優(yōu)選實(shí)施例，但是本發(fā)明的實(shí)施例不局限于上述示例。對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，在根據(jù)本發(fā)明的實(shí)施例的技術(shù)概念的范圍內(nèi)可以發(fā)生各種修改和替換，并且應(yīng)當(dāng)理解，這些修改和替換在本發(fā)明的技術(shù)范圍內(nèi)。例如，在上述實(shí)施例中，學(xué)習(xí)階段和跟蹤階段由單個(gè)信息處理設(shè)備1執(zhí)行，但是可以由分開(kāi)的信息處理設(shè)備執(zhí)行。此外，在上述實(shí)施例中，通過(guò)組合形狀特征和顏色特征獲得綜合特征。但是，形狀特征可以由方向梯度(HOG)的直方圖的特征或比例不變的特征變換(SIFT)的特征代替，并且顏色特征可以由iTexton特征代替。本申請(qǐng)包含與2010年3月4日在日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP 2010-047780中公開(kāi)的主題有關(guān)的主題，其全部?jī)?nèi)容通過(guò)引用被合并于此。本領(lǐng)域技術(shù)人員應(yīng)該理解，可以在所附的權(quán)利要求書(shū)或它們的等價(jià)物的范圍內(nèi)根據(jù)設(shè)計(jì)要求及其它因素而進(jìn)行各種修改、組合、子組合和替換。
權(quán)利要求
1.一種信息處理設(shè)備，包括學(xué)習(xí)圖像輸入單元，被配置為與拍攝條件一起輸入在不同的拍攝條件下捕獲了跟蹤對(duì)象的學(xué)習(xí)圖像；特征響應(yīng)計(jì)算單元，被配置為在根據(jù)拍攝條件改變參數(shù)的同時(shí)，計(jì)算一個(gè)或更多個(gè)綜合特征對(duì)于所述學(xué)習(xí)圖像的響應(yīng)，所述綜合特征是通過(guò)至少部分重疊所述跟蹤對(duì)象的形狀特征和顏色特征而獲得的，所述參數(shù)限定所述綜合特征在所述學(xué)習(xí)圖像上的位置、大小和角度中的至少一個(gè)；特征學(xué)習(xí)單元，被配置為基于所述響應(yīng)的計(jì)算結(jié)果識(shí)別該一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像中的空間分布，并且評(píng)價(jià)所述拍攝條件和所述參數(shù)之間的關(guān)系，以及評(píng)價(jià)所述綜合特征之間的空間關(guān)系，以便學(xué)習(xí)所述跟蹤對(duì)象的特征；和特征存儲(chǔ)單元，被配置為存儲(chǔ)所述特征的學(xué)習(xí)結(jié)果。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括跟蹤圖像輸入單元，被配置為對(duì)于每個(gè)幀輸入包括所述跟蹤對(duì)象的跟蹤圖像；特征分?jǐn)?shù)計(jì)算單元，被配置為對(duì)于該跟蹤圖像，通過(guò)使用所述一個(gè)或更多個(gè)綜合特征的學(xué)習(xí)結(jié)果，在改變參數(shù)的同時(shí)計(jì)算該一個(gè)或更多個(gè)綜合特征的分?jǐn)?shù)，所述參數(shù)限定所述一個(gè)或更多個(gè)綜合特征在所述跟蹤圖像上的位置、大小和角度中的至少一個(gè)，所述綜合特征是通過(guò)至少部分重疊該跟蹤對(duì)象的形狀特征和顏色特征而獲得的；存在概率計(jì)算單元，被配置為計(jì)算跟蹤對(duì)象存在于所述跟蹤圖像的預(yù)定區(qū)域中的概率；以及對(duì)象跟蹤單元，被配置為基于分?jǐn)?shù)的計(jì)算結(jié)果和存在概率的計(jì)算結(jié)果指定跟蹤對(duì)象在所述跟蹤圖像中的位置并且跟蹤包括在所述跟蹤圖像中的跟蹤對(duì)象。
3.一種信息處理方法，包括以下步驟與拍攝條件一起輸入在不同的拍攝條件下捕獲了跟蹤對(duì)象的學(xué)習(xí)圖像；在根據(jù)該拍攝條件改變參數(shù)的同時(shí)，計(jì)算一個(gè)或更多個(gè)綜合特征對(duì)于所述學(xué)習(xí)圖像的響應(yīng)，所述綜合特征是通過(guò)至少部分重疊所述跟蹤對(duì)象的形狀特征和顏色特征而獲得的， 所述參數(shù)限定所述一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像上的位置、大小和角度中的至少一個(gè)；基于該響應(yīng)的計(jì)算結(jié)果識(shí)別所述一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像中的空間分布，并且評(píng)價(jià)所述拍攝條件和所述參數(shù)之間的關(guān)系，以及評(píng)價(jià)所述綜合特征之間的空間關(guān)系，以便學(xué)習(xí)所述跟蹤對(duì)象的特征；以及存儲(chǔ)該特征的學(xué)習(xí)結(jié)果。
4.一種使得計(jì)算機(jī)執(zhí)行信息處理方法的程序，所述方法包括以下步驟與拍攝條件一起輸入在不同的拍攝條件下捕獲跟蹤對(duì)象的學(xué)習(xí)圖像；在根據(jù)所述拍攝條件改變參數(shù)的同時(shí)，計(jì)算一個(gè)或更多個(gè)綜合特征對(duì)于所述學(xué)習(xí)圖像的響應(yīng)，所述綜合特征是通過(guò)至少部分重疊所述跟蹤對(duì)象的形狀特征和顏色特征而獲得的，所述參數(shù)限定所述一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像上的位置、大小和角度中的至少一個(gè)；基于所述響應(yīng)的計(jì)算結(jié)果識(shí)別所述一個(gè)或更多個(gè)綜合特征在所述學(xué)習(xí)圖像中的空間分布，并且評(píng)價(jià)所述拍攝條件和所述參數(shù)之間的關(guān)系，以及評(píng)價(jià)所述綜合特征之間的空間關(guān)系，以便學(xué)習(xí)所述跟蹤對(duì)象的特征；以及存儲(chǔ)該特征的學(xué)習(xí)結(jié)果。
全文摘要
本發(fā)明涉及信息處理設(shè)備、信息處理方法和程序。一種信息處理設(shè)備，包括學(xué)習(xí)圖像輸入單元，被配置為與不同的拍攝條件一起輸入在不同的拍攝條件下捕獲跟蹤對(duì)象的學(xué)習(xí)圖像；特征響應(yīng)計(jì)算單元，被配置為在根據(jù)該拍攝條件改變參數(shù)的同時(shí)計(jì)算一個(gè)或多個(gè)綜合特征對(duì)于學(xué)習(xí)圖像的響應(yīng)；特征學(xué)習(xí)單元，被配置為基于該響應(yīng)的計(jì)算結(jié)果識(shí)別該一個(gè)或多個(gè)綜合特征在該學(xué)習(xí)圖像中的空間分布，并評(píng)價(jià)該拍攝條件和參數(shù)之間的關(guān)系以及評(píng)價(jià)綜合特征之間的空間關(guān)系，以便學(xué)習(xí)跟蹤對(duì)象的特征；和特征存儲(chǔ)單元，被配置為存儲(chǔ)該特征的學(xué)習(xí)結(jié)果。
文檔編號(hào)G06T7/20GK102194237SQ20111004429
公開(kāi)日2011年9月21日 申請(qǐng)日期2011年2月24日 優(yōu)先權(quán)日2010年3月4日
發(fā)明者周寧, 山岡啟介, 橫野順, 長(zhǎng)谷川雄一 申請(qǐng)人:索尼公司