專利名稱：用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)、估計(jì)方法和估計(jì)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于估計(jì)對(duì)象的位置或姿態(tài)的估計(jì)系統(tǒng)、估計(jì)方法和估計(jì)程序，更具體地，涉及一種用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)、估計(jì)方法和估計(jì)程序，可以快速且精確地估計(jì)包含在攝像機(jī)所捕獲的或者從存儲(chǔ)介質(zhì)中讀取的圖像(即使在照明條件變化時(shí))中的對(duì)象的位置和姿態(tài)之一或兩者。
背景技術(shù)：
能夠估計(jì)對(duì)象的位置和姿態(tài)的設(shè)備的示例是一種用于識(shí)別對(duì)象的位置和姿態(tài)的位置/姿態(tài)識(shí)別系統(tǒng)。圖14是示出了傳統(tǒng)的位置/姿態(tài)識(shí)別設(shè)備的布置的方框圖。該位置/姿態(tài)識(shí)別設(shè)備包括姿態(tài)候選組確定裝置910、比較圖像產(chǎn)生裝置920、姿態(tài)選擇裝置930以及最后確定裝置940。
將說(shuō)明圖14所示的位置/姿態(tài)識(shí)別設(shè)備的操作。將包含作為位置/姿態(tài)估計(jì)目標(biāo)的對(duì)象(下文中稱為目標(biāo)對(duì)象)的圖像的輸入圖像數(shù)據(jù)91輸入到位置/姿態(tài)識(shí)別設(shè)備。還將包含已知誤差的粗略對(duì)象位置/姿態(tài)參數(shù)作為位置/姿態(tài)初始值92輸入到位置/姿態(tài)識(shí)別設(shè)備。姿態(tài)候選組確定裝置910通過按照預(yù)定變化改變包含在位置/姿態(tài)初始值92中的六個(gè)位置/姿態(tài)參數(shù)(X、Y和Z軸方向中的3D參數(shù)以及關(guān)于X、Y和Z軸的角度參數(shù))，來(lái)確定多個(gè)位置/姿態(tài)估計(jì)值。
根據(jù)預(yù)先存儲(chǔ)在位置/姿態(tài)識(shí)別設(shè)備的存儲(chǔ)單元(未示出)中的目標(biāo)對(duì)象的3D形狀模型數(shù)據(jù)和用于產(chǎn)生照明變化空間的基底紋理組，比較圖像產(chǎn)生裝置920產(chǎn)生表示當(dāng)目標(biāo)對(duì)象具有與每一個(gè)位置/姿態(tài)估計(jì)值組相對(duì)應(yīng)的位置/姿態(tài)時(shí)由照明條件中的改變而引起的圖像變化的照明變化空間數(shù)據(jù)。比較圖像產(chǎn)生裝置920根據(jù)照明變化空間數(shù)據(jù)，產(chǎn)生在與輸入圖像數(shù)據(jù)91相同的照明條件下的比較圖像組。
姿態(tài)選擇裝置930將比較圖像組與輸入圖像數(shù)據(jù)91相比較并且輸出與具有最高相似度的比較圖像相對(duì)應(yīng)的位置/姿態(tài)估計(jì)值，作為最佳位置/姿態(tài)估計(jì)值93。如果仍然存在提高比較圖像相似度的余地，最后確定裝置940利用位置/姿態(tài)初始值92(或者當(dāng)前位置/姿態(tài)估計(jì)值)代替最佳位置/姿態(tài)估計(jì)值93并且將該值輸出到姿態(tài)候選組確定裝置910。位置/姿態(tài)識(shí)別設(shè)備重復(fù)地執(zhí)行上述處理，直到不能夠再提高比較圖像的相似度為止，從而最終獲得目標(biāo)對(duì)象的最佳位置/姿態(tài)(例如日本專利公開No.2003-58896(參考文獻(xiàn)1))。

發(fā)明內(nèi)容
本發(fā)明要解決的問題當(dāng)使用傳統(tǒng)的位置/姿態(tài)識(shí)別設(shè)備時(shí)，最終可以獲得目標(biāo)對(duì)象的最佳位置或姿態(tài)。然而，在每一次處理時(shí)根據(jù)最佳位置/姿態(tài)估計(jì)值93產(chǎn)生新的位置/姿態(tài)估計(jì)值組的過程中，姿態(tài)候選組確定裝置910沒有了解要獲得大致精確的位置/姿態(tài)的位置/姿態(tài)參數(shù)改變量。而是，姿態(tài)候選組確定裝置910通過簡(jiǎn)單地使參數(shù)增加/減少預(yù)定變化，來(lái)產(chǎn)生多個(gè)位置/姿態(tài)估計(jì)值。位置/姿態(tài)識(shí)別設(shè)備必須針對(duì)所有位置/姿態(tài)估計(jì)值執(zhí)行具有較大復(fù)雜度的比較圖像產(chǎn)生處理。因此，直到獲得最終最佳位置/姿態(tài)估計(jì)值為止的處理時(shí)間較長(zhǎng)。
做出本發(fā)明，以解決該問題，并且本發(fā)明的目的是在比以前更短的時(shí)間內(nèi)估計(jì)包含在圖像中的對(duì)象的位置或姿態(tài)。
解決問題的手段根據(jù)本發(fā)明，提供一種用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于包括圖像輸入裝置，用于輸入包含要估計(jì)狀態(tài)的對(duì)象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個(gè)；3D形狀數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)對(duì)象的3D形狀數(shù)據(jù)；比較圖像產(chǎn)生裝置，用于通過使用存儲(chǔ)在3D形狀數(shù)據(jù)存儲(chǔ)裝置中的3D形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對(duì)象的圖像，作為比較圖像；圖像位置關(guān)系檢測(cè)裝置，用于針對(duì)圖像中具有預(yù)定尺寸的每一個(gè)子區(qū)域，檢測(cè)輸入圖像和比較圖像產(chǎn)生裝置所產(chǎn)生的比較圖像之間的位置關(guān)系；校正量計(jì)算裝置，用于通過使用圖像位置關(guān)系檢測(cè)裝置所檢測(cè)的位置關(guān)系，來(lái)計(jì)算比較圖像中對(duì)象狀態(tài)的校正量；以及狀態(tài)校正裝置，用于通過使用校正量計(jì)算裝置所獲得的校正量，來(lái)校正由比較圖像產(chǎn)生裝置在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)，從而計(jì)算新的對(duì)象狀態(tài)。
根據(jù)本發(fā)明，提供一種估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于包括步驟輸入包含要估計(jì)狀態(tài)的對(duì)象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個(gè)；通過使用對(duì)象的3D形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對(duì)象的圖像，作為比較圖像；針對(duì)圖像中具有預(yù)定尺寸的每一個(gè)子區(qū)域，檢測(cè)比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測(cè)到的位置關(guān)系，來(lái)計(jì)算比較圖像中對(duì)象狀態(tài)的校正量；以及通過使用計(jì)算的校正量，來(lái)校正在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)，從而計(jì)算新的對(duì)象狀態(tài)。
根據(jù)本發(fā)明，提供一種用于估計(jì)對(duì)象位置的估計(jì)程序，其特征在于使計(jì)算機(jī)執(zhí)行以下步驟輸入包含要估計(jì)狀態(tài)的對(duì)象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個(gè)；通過使用對(duì)象的3D形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對(duì)象的圖像，作為比較圖像；針對(duì)圖像中具有預(yù)定尺寸的每一個(gè)子區(qū)域，檢測(cè)比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測(cè)到的位置關(guān)系，來(lái)計(jì)算比較圖像中對(duì)象狀態(tài)的校正量；以及通過使用計(jì)算的校正量，來(lái)校正在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)，從而計(jì)算新的對(duì)象狀態(tài)。
本發(fā)明的效果根據(jù)本發(fā)明，根據(jù)圖像位移分布和3D形狀數(shù)據(jù)，計(jì)算位置或姿態(tài)差值。計(jì)算位置/姿態(tài)估計(jì)值，使得包含誤差的初始預(yù)測(cè)值以最小距離值會(huì)聚于(converge)實(shí)際位置/姿態(tài)。因此，可以減少比較圖像產(chǎn)生的次數(shù)，并且可以減少計(jì)算目標(biāo)對(duì)象的位置/姿態(tài)估計(jì)值中的復(fù)雜度。因此，可以在比以前更短的時(shí)間內(nèi)估計(jì)包含在圖像中的對(duì)象的位置和姿態(tài)。


圖1是示出了將根據(jù)本發(fā)明用來(lái)估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)作為對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所應(yīng)用的環(huán)境的示例的解釋性視圖；圖2是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的布置示例的方框圖；
圖3是示出了3D模型存儲(chǔ)裝置的布置示例的方框圖；圖4是示出了最后確定裝置的布置示例的方框圖；圖5是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的示例的流程圖；圖6是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的另一種布置示例的方框圖；圖7是示出了最后確定裝置的布置示例的方框圖；圖8是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的另一個(gè)示例的流程圖；圖9是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的另一種布置示例的方框圖；圖10是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的另一個(gè)示例的流程圖；圖11是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的另一種布置示例的方框圖；圖12是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的另一個(gè)示例的流程圖；圖13是示出了檢測(cè)比較圖像和輸入圖像之間的圖像位移分布的處理的示例的解釋性視圖；以及圖14是示出了傳統(tǒng)的位置/姿態(tài)識(shí)別設(shè)備的布置的方框圖。
具體實(shí)施例方式
第一實(shí)施例下面參考附圖來(lái)說(shuō)明本發(fā)明的第一實(shí)施例。圖1是示出了將根據(jù)本發(fā)明用來(lái)估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)作為對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所應(yīng)用的環(huán)境的示例的解釋性視圖。如圖1所示，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)包括計(jì)算機(jī)100(中央處理單元、處理器或者數(shù)據(jù)處理單元)，根據(jù)程序來(lái)執(zhí)行每一個(gè)處理；3D形狀測(cè)量設(shè)備200，測(cè)量目標(biāo)對(duì)象的3D形狀和表面反射比；以及攝像機(jī)300，捕獲(sense)包括目標(biāo)對(duì)象的對(duì)象。
圖2是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的布置示例的方框圖。如圖2所示，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)包括比較圖像產(chǎn)生裝置110、圖像位移分布檢測(cè)裝置120、姿態(tài)差計(jì)算裝置130、最后確定裝置140、3D形狀測(cè)量裝置150、照明基底計(jì)算裝置(illumination basecalculation means)160、3D模型存儲(chǔ)裝置170以及圖像輸入裝置180。圖1所示的計(jì)算機(jī)100包括圖2所示組件中的比較圖像產(chǎn)生裝置110、圖像位移分布檢測(cè)裝置120、姿態(tài)差計(jì)算裝置130、最后確定裝置140、照明基底計(jì)算裝置160以及3D模型存儲(chǔ)裝置170。
由3D形狀測(cè)量設(shè)備200來(lái)實(shí)現(xiàn)3D形狀測(cè)量裝置150。3D形狀測(cè)量裝置150測(cè)量要測(cè)量位置/姿態(tài)(位置和姿態(tài)中至少一個(gè))的目標(biāo)對(duì)象的3D形狀和表面反射比，并且產(chǎn)生目標(biāo)對(duì)象的3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)。由例如計(jì)算機(jī)100的控制單元(未示出)來(lái)實(shí)現(xiàn)照明基底計(jì)算裝置160。根據(jù)目標(biāo)對(duì)象的3D形狀數(shù)據(jù)和表面反射比，照明基底計(jì)算裝置160計(jì)算照明基底數(shù)據(jù)，用于表示基于目標(biāo)對(duì)象每部分的照明條件的亮度改變。
由設(shè)置在計(jì)算機(jī)100中的存儲(chǔ)設(shè)備(未示出)來(lái)實(shí)現(xiàn)3D存儲(chǔ)裝置170。3D模型存儲(chǔ)裝置170存儲(chǔ)由3D形狀測(cè)量裝置150所產(chǎn)生的目標(biāo)對(duì)象3D形狀數(shù)據(jù)以及由照明基底計(jì)算裝置160所計(jì)算的照明基底數(shù)據(jù)。因此，3D模型存儲(chǔ)裝置170包括3D形狀數(shù)據(jù)存儲(chǔ)單元170a和照明基底數(shù)據(jù)存儲(chǔ)單元(照明基底圖像組存儲(chǔ)單元)170b，如圖3所示。
由攝像機(jī)300來(lái)實(shí)現(xiàn)圖像輸入裝置180。圖像輸入裝置180捕獲包括要估計(jì)位置/姿態(tài)的目標(biāo)對(duì)象的對(duì)象，并且產(chǎn)生輸入圖像數(shù)據(jù)11。圖像輸入裝置180將產(chǎn)生的輸入圖像數(shù)據(jù)11輸入到計(jì)算機(jī)100。圖像輸入裝置180還接收位置/姿態(tài)初始值12的輸入，即輸入圖像中目標(biāo)對(duì)象的位置/姿態(tài)的預(yù)測(cè)值的輸入。圖像輸入裝置180接收例如在觀察輸入圖像的同時(shí)輸入的目標(biāo)對(duì)象的位置/姿態(tài)的近似值，作為位置/姿態(tài)初始值12。圖像輸入裝置180將輸入位置/姿態(tài)初始值12輸出到計(jì)算機(jī)100。
在該實(shí)施例中，目標(biāo)位置/姿態(tài)估計(jì)系統(tǒng)通過校正位置/姿態(tài)初始值12的誤差來(lái)估計(jì)目標(biāo)對(duì)象的精確位置/姿態(tài)。即，位置/姿態(tài)初始值12被用作目標(biāo)對(duì)象的位置/姿態(tài)估計(jì)值的初始值。目標(biāo)位置/姿態(tài)估計(jì)系統(tǒng)在估計(jì)處理的每一個(gè)步驟處獲得當(dāng)前位置/姿態(tài)估計(jì)值(在處理的開始處的位置/姿態(tài)初始值12)和目標(biāo)對(duì)象的實(shí)際位置/姿態(tài)之間的差(誤差)，并且依次地重復(fù)位置/姿態(tài)估計(jì)值的校正，從而最終獲得最佳位置/姿態(tài)估計(jì)值。
由例如計(jì)算機(jī)10的控制單元來(lái)實(shí)現(xiàn)比較圖像產(chǎn)生裝置110。比較圖像產(chǎn)生裝置110根據(jù)存儲(chǔ)在3D模型存儲(chǔ)裝置170中的目標(biāo)對(duì)象3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)，來(lái)產(chǎn)生在與輸入圖像相同或類似的照明條件下的目標(biāo)對(duì)象圖像，作為比較圖像。在這種情況下，比較圖像產(chǎn)生裝置110產(chǎn)生通過假定目標(biāo)圖像處于位置/姿態(tài)估計(jì)值給出的位置/姿態(tài)中而獲得的圖像，作為比較圖像。使用位置/姿態(tài)初始值12或最后確定裝置140(稍后進(jìn)行說(shuō)明)所計(jì)算的位置/姿態(tài)估計(jì)值，作為位置/姿態(tài)估計(jì)值。
按照例如下面公知的方法來(lái)執(zhí)行產(chǎn)生在與輸入圖像相同或類似的照明條件下的比較圖像的處理。例如，表示目標(biāo)對(duì)象的表面上的每一個(gè)位置處的亮度的紋理根據(jù)照明條件而變化。預(yù)先登記由照明變化而產(chǎn)生的各種紋理空間和目標(biāo)對(duì)象的3D形狀數(shù)據(jù)。根據(jù)登記的紋理空間和3D形狀數(shù)據(jù)，可以將每一個(gè)紋理空間轉(zhuǎn)換為當(dāng)目標(biāo)對(duì)象處于必須的位置/姿態(tài)中時(shí)由照明條件中的變化而產(chǎn)生的照明變化空間。比較圖像產(chǎn)生裝置110可以通過使用該轉(zhuǎn)換方法，產(chǎn)生在與輸入圖像相同或類似的照明條件下的比較圖像。
在例如日本專利公開No.2002-157595(下文中稱為參考文獻(xiàn)2)中描述了產(chǎn)生在相同或類似照明條件下的比較圖像的方法(在再現(xiàn)相同或類似照明條件的同時(shí)產(chǎn)生圖像的方法)。
由例如計(jì)算機(jī)100的控制單元來(lái)實(shí)現(xiàn)圖像位移分布檢測(cè)裝置120。圖像位移分布檢測(cè)裝置120將比較圖像產(chǎn)生裝置110所產(chǎn)生的比較圖像分割成每一個(gè)與具有預(yù)定尺寸的部分(子區(qū)域)相對(duì)應(yīng)的局部圖像。圖像位移分布檢測(cè)裝置120將每一個(gè)局部圖像的亮度值與輸入圖像的亮度值相比較，并且檢測(cè)使疊加圖像之間的相似度最大的圖像運(yùn)動(dòng)方向。即，圖像位移分布檢測(cè)裝置120檢測(cè)比較圖像的每一個(gè)子區(qū)域關(guān)于輸入圖像的圖像位移分布(在每一個(gè)子區(qū)域中比較圖像和輸入圖像之間的位置關(guān)系)。
圖像位移分布檢測(cè)裝置120通過使用例如通常稱為光流(opticalflow)的圖像位移檢測(cè)技術(shù)，來(lái)檢測(cè)圖像位移分布。更具體地，圖像位移分布檢測(cè)裝置120通過檢測(cè)表示圖像中對(duì)象的部分的運(yùn)動(dòng)的運(yùn)動(dòng)矢量的分布，來(lái)檢測(cè)比較圖像和輸入圖像之間的圖像位移分布。例如在International Journal of Computer Vision，Netherlands，Kluwer Academaic Publishers，1994，121，43-77頁(yè)的J.L.Barton、D.J.Fleet以及S.S.Beauchemin的“Performance of Optical FlowTechniques”中描述了一種通過光流檢測(cè)圖像位移的技術(shù)。
由例如計(jì)算機(jī)100的控制單元來(lái)實(shí)現(xiàn)姿態(tài)差計(jì)算裝置130。根據(jù)由圖像位移分布檢測(cè)裝置120所計(jì)算的每一個(gè)子區(qū)域的圖像位移分布以及目標(biāo)對(duì)象的3D形狀數(shù)據(jù)的每一個(gè)部分的3D坐標(biāo)數(shù)據(jù)(與每一個(gè)子區(qū)域相對(duì)應(yīng)的3D坐標(biāo)數(shù)據(jù))，姿態(tài)差計(jì)算裝置130計(jì)算當(dāng)實(shí)際移動(dòng)目標(biāo)對(duì)象時(shí)使每一個(gè)部分與位移分布最接近的3D運(yùn)動(dòng)(移動(dòng)量或旋轉(zhuǎn)量)。姿態(tài)差計(jì)算裝置130計(jì)算3D運(yùn)動(dòng)計(jì)算結(jié)果，作為位置/姿態(tài)差值(校正量)。
最后確定裝置140包括位置/姿態(tài)確定單元141、估計(jì)值存儲(chǔ)單元142以及估計(jì)值管理單元143，如圖4所示。由例如計(jì)算機(jī)100的控制單元和存儲(chǔ)單元來(lái)實(shí)現(xiàn)最后確定裝置140。
位置/姿態(tài)確定單元141確定當(dāng)比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像時(shí)所假定的目標(biāo)對(duì)象的位置/姿態(tài)是否適當(dāng)。根據(jù)預(yù)定閾值和由姿態(tài)差計(jì)算裝置130所計(jì)算的位置/姿態(tài)差值之間的量值關(guān)系，來(lái)確定位置/姿態(tài)是否適當(dāng)。如果位置/姿態(tài)差值小于閾值，確定當(dāng)前的位置/姿態(tài)是適當(dāng)?shù)摹Ｈ绻恢?姿態(tài)差值不小于(等于或大于)閾值，確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?。位?姿態(tài)確定單元141將確定結(jié)果輸出到估計(jì)值管理單元143。
估計(jì)值存儲(chǔ)單元142存儲(chǔ)當(dāng)前位置/姿態(tài)估計(jì)值。更具體地，估計(jì)值存儲(chǔ)單元142存儲(chǔ)位置/姿態(tài)初始值12，作為位置/姿態(tài)估計(jì)值的初始值，并且還存儲(chǔ)由估計(jì)值管理單元143所計(jì)算的新的位置/姿態(tài)估計(jì)值，如稍后將進(jìn)行說(shuō)明的。
估計(jì)值管理單元143根據(jù)從位置/姿態(tài)確定單元141輸入的確定結(jié)果，來(lái)執(zhí)行下面的處理。如果位置/姿態(tài)確定單元141確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?，?dāng)前位置/姿態(tài)估計(jì)值是最精確的估計(jì)值(與目標(biāo)對(duì)象的實(shí)際位置/姿態(tài)最接近的值)。估計(jì)值管理單元143從估計(jì)值存儲(chǔ)單元142中讀取當(dāng)前位置/姿態(tài)估計(jì)值，并輸出該估計(jì)值，作為最佳位置/姿態(tài)估計(jì)值13，且結(jié)束該處理。如果位置/姿態(tài)確定單元141確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?，估?jì)值管理單元143從估計(jì)值存儲(chǔ)單元142中讀取當(dāng)前位置/姿態(tài)估計(jì)值，并且將位置/姿態(tài)差值與估計(jì)值的每一個(gè)參數(shù)相加，從而計(jì)算出對(duì)當(dāng)前位置/姿態(tài)估計(jì)值校正后的新的位置/姿態(tài)估計(jì)值。該處理與在產(chǎn)生比較圖像中所假定的目標(biāo)對(duì)象位置/姿態(tài)的校正相對(duì)應(yīng)。估計(jì)值管理單元143還將存儲(chǔ)在估計(jì)值存儲(chǔ)單元142中的內(nèi)容更新為新的位置/姿態(tài)估計(jì)值，并且將該估計(jì)值輸出到比較圖像產(chǎn)生裝置110。當(dāng)新的位置/姿態(tài)估計(jì)值被輸入到比較圖像產(chǎn)生裝置110時(shí)，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)重復(fù)自比較圖像產(chǎn)生裝置110的比較圖像產(chǎn)生處理開始的連續(xù)處理操作。
由圖像位移分布檢測(cè)裝置120來(lái)實(shí)現(xiàn)圖像位置關(guān)系檢測(cè)裝置。由姿態(tài)差計(jì)算裝置130來(lái)實(shí)現(xiàn)校正量計(jì)算裝置。由估計(jì)值管理單元143來(lái)實(shí)現(xiàn)狀態(tài)校正裝置。由位置/姿態(tài)確定單元141來(lái)實(shí)現(xiàn)狀態(tài)確定裝置。
在該實(shí)施例中，設(shè)置在計(jì)算機(jī)100中的存儲(chǔ)設(shè)備存儲(chǔ)用于執(zhí)行目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的程序。例如，設(shè)置在計(jì)算機(jī)100中的存儲(chǔ)設(shè)備存儲(chǔ)對(duì)象狀態(tài)估計(jì)程序，用于使計(jì)算機(jī)執(zhí)行以下處理通過使用存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)象3D形狀數(shù)據(jù)，產(chǎn)生對(duì)象被設(shè)置為預(yù)定狀態(tài)(位置和姿態(tài)中的至少一個(gè))的圖像，作為比較圖像；針對(duì)每一個(gè)子區(qū)域，檢測(cè)輸入圖像和產(chǎn)生的比較圖像之間的位置關(guān)系；通過使用針對(duì)每一個(gè)子區(qū)域檢測(cè)到的位置關(guān)系，計(jì)算比較圖像中對(duì)象狀態(tài)的校正量；以及，通過使用計(jì)算的校正量來(lái)校正比較圖像產(chǎn)生時(shí)設(shè)置的對(duì)象狀態(tài)，計(jì)算新的對(duì)象狀態(tài)。可以將該估計(jì)程序記錄在光盤、磁盤或其他記錄介質(zhì)上并提供該估計(jì)程序。
接下來(lái)說(shuō)明操作。圖5是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的示例的流程圖。對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的用戶(下文中簡(jiǎn)稱為用戶)操作3D形狀測(cè)量設(shè)備200(3D形狀測(cè)量裝置150)，以預(yù)先輸入要估計(jì)位置/姿態(tài)的目標(biāo)對(duì)象的3D形狀和表面反射比的測(cè)量指令。根據(jù)用戶操作，3D形狀測(cè)量裝置150測(cè)量目標(biāo)對(duì)象的3D形狀和表面反射比，并且產(chǎn)生3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)。
如果通過僅從一個(gè)方向測(cè)量目標(biāo)對(duì)象來(lái)測(cè)量3D形狀和表面反射比，產(chǎn)生了不可見的區(qū)域。因此，不可以測(cè)量整個(gè)對(duì)象的形狀和表面反射比。在這種情況下，甚至通過從其他方向測(cè)量目標(biāo)對(duì)象并且整合測(cè)量值，來(lái)產(chǎn)生整個(gè)對(duì)象的3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)。
根據(jù)由3D形狀測(cè)量裝置150所產(chǎn)生的3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)，照明基底計(jì)算裝置160計(jì)算表示在各種照明條件下目標(biāo)對(duì)象圖像的亮度值中變化的照明基底圖像組。照明基底計(jì)算裝置160將計(jì)算的照明基底圖像組存儲(chǔ)在3D模型存儲(chǔ)裝置170中，作為照明基底數(shù)據(jù)。照明基底計(jì)算裝置160還將來(lái)自3D形狀測(cè)量裝置150的3D形狀數(shù)據(jù)與照明基底數(shù)據(jù)一起存儲(chǔ)在3D模型存儲(chǔ)裝置170中(步驟S10)。
用戶通過操作攝像機(jī)300(圖像輸入裝置180)來(lái)捕獲目標(biāo)對(duì)象。圖像輸入裝置180根據(jù)用戶操作來(lái)捕獲包括要估計(jì)位置/姿態(tài)的目標(biāo)對(duì)象的對(duì)象，并且產(chǎn)生輸入圖像數(shù)據(jù)11(步驟S11)。圖像輸入裝置180將產(chǎn)生的輸入圖像數(shù)據(jù)11輸出到計(jì)算機(jī)100。
用戶在觀察輸入圖像的同時(shí)輸入并指定表示輸入圖像中目標(biāo)對(duì)象的粗略位置/姿態(tài)的值。圖像輸入裝置180將用戶所輸入和指定的粗略位置/姿態(tài)的值輸出到計(jì)算機(jī)100，作為位置/姿態(tài)初始值12(步驟S12)。位置/姿態(tài)初始值12被輸入到比較圖像產(chǎn)生裝置110并且被存儲(chǔ)在最后確定裝置140的估計(jì)值存儲(chǔ)單元142中。
代替使用戶在觀察輸入圖像的同時(shí)手動(dòng)地輸入并指定位置/姿態(tài)初始值12，可以將從另一個(gè)估計(jì)設(shè)備/系統(tǒng)輸出的估計(jì)值輸入到對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)。例如，如果存在能夠估計(jì)目標(biāo)對(duì)象的位置/姿態(tài)而不需要輸入初始值的估計(jì)設(shè)備/系統(tǒng)(例如，使用傳感器來(lái)檢測(cè)對(duì)象的粗略旋轉(zhuǎn)角的設(shè)備)，可以將從該估計(jì)設(shè)備/系統(tǒng)輸出的估計(jì)值輸入到對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)。在這種情況下，可以估計(jì)目標(biāo)對(duì)象的精確位置/姿態(tài)，而不需要手動(dòng)地輸入初始值。
比較圖像產(chǎn)生裝置110提取預(yù)先存儲(chǔ)在3D模型存儲(chǔ)裝置170中的目標(biāo)對(duì)象3D形狀數(shù)據(jù)以及照明基底數(shù)據(jù)。比較圖像產(chǎn)生裝置110還從圖像輸入裝置180接收輸入圖像數(shù)據(jù)11。假定目標(biāo)對(duì)象處于按照位置/姿態(tài)初始值12給出的位置/姿態(tài)中，根據(jù)3D形狀數(shù)據(jù)、照明基底數(shù)據(jù)以及輸入圖像數(shù)據(jù)11，比較圖像產(chǎn)生裝置110產(chǎn)生在與輸入圖像相同或類似的照明條件下的目標(biāo)對(duì)象圖像，作為比較圖像(步驟S 13)。
圖像位移分布檢測(cè)裝置120將比較圖像產(chǎn)生裝置110所產(chǎn)生的比較圖像分割為每一個(gè)與具有預(yù)定尺寸的部分相對(duì)應(yīng)的局部圖像。圖像位移分布檢測(cè)裝置120通過將每一個(gè)局部圖像疊加在輸入圖像上來(lái)比較亮度值，并且檢測(cè)使屏幕上圖像之間的相似度最大的圖像運(yùn)動(dòng)方向，作為圖像位移分布(步驟S14)。圖像位移分布檢測(cè)裝置120可以通過將輸入圖像分割為局部圖像并且將每一個(gè)局部圖像疊加在比較圖像上來(lái)比較亮度值，以檢測(cè)圖像位移分布。
根據(jù)由圖像位移分布檢測(cè)裝置120所檢測(cè)的圖像位移分布和包含在目標(biāo)對(duì)象的3D形狀數(shù)據(jù)中的每一個(gè)部分的3D坐標(biāo)數(shù)據(jù)(與每一個(gè)子區(qū)域相對(duì)應(yīng)的數(shù)據(jù))，姿態(tài)差計(jì)算裝置130計(jì)算當(dāng)實(shí)際移動(dòng)目標(biāo)對(duì)象時(shí)每一個(gè)部分與位移分布最接近的目標(biāo)對(duì)象的3D運(yùn)動(dòng)。姿態(tài)差計(jì)算裝置130計(jì)算3D運(yùn)動(dòng)計(jì)算結(jié)果，作為位置/姿態(tài)差值(步驟S15)。
在最后確定裝置140中，位置/姿態(tài)確定單元141確定當(dāng)比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像時(shí)所設(shè)置的目標(biāo)對(duì)象的位置/姿態(tài)是否適當(dāng)(步驟S16)。更具體地，當(dāng)由姿態(tài)差計(jì)算裝置130所計(jì)算的位置/姿態(tài)差值小于預(yù)定閾值時(shí)，確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?在步驟S16中為“是”)。在這種情況下，估計(jì)值管理單元143從估計(jì)值存儲(chǔ)單元142中讀取當(dāng)前位置/姿態(tài)估計(jì)值并且輸出該估計(jì)值，作為最佳位置/姿態(tài)估計(jì)值13(步驟S17)。結(jié)束處理。
當(dāng)位置/姿態(tài)差值不小于預(yù)定閾值時(shí)，位置/姿態(tài)確定單元141確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?步驟S16)。在這種情況下，估計(jì)值管理單元143從估計(jì)值存儲(chǔ)單元142中讀取當(dāng)前位置/姿態(tài)估計(jì)值并且將位置/姿態(tài)差值與估計(jì)值的每一個(gè)參數(shù)相加，從而計(jì)算出新的位置/姿態(tài)估計(jì)值。估計(jì)值管理單元143還將存儲(chǔ)在估計(jì)值存儲(chǔ)單元412中的內(nèi)容更新為新的位置/姿態(tài)估計(jì)值并且將估計(jì)值輸出到比較圖像產(chǎn)生裝置110(步驟S18)。
計(jì)算機(jī)100重復(fù)地執(zhí)行步驟S13、S14、S15、S16以及S18中的處理，直到在步驟S16中確定位置/姿態(tài)差值小于預(yù)定閾值為止。
如上所述，根據(jù)本實(shí)施例，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)包括圖像位移分布檢測(cè)裝置120和姿態(tài)差計(jì)算裝置130。比較圖像和輸入圖像被分割為每一個(gè)具有預(yù)定尺寸的局部圖像子區(qū)域。針對(duì)每一個(gè)局部圖像，將比較圖像的亮度值和輸入圖像的亮度值相比較，以檢測(cè)2D位置移位。對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)進(jìn)行操作，從而根據(jù)位置移位分布和預(yù)先登記的目標(biāo)對(duì)象3D形狀模型，計(jì)算目標(biāo)對(duì)象的位置/姿態(tài)的3D位置/姿態(tài)差值，并且通過將位置/姿態(tài)差值與當(dāng)前位置/姿態(tài)估計(jì)值相加，來(lái)更新位置/姿態(tài)估計(jì)值。
利用上述布置，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)更新位置/姿態(tài)估計(jì)值，使得估計(jì)值從包含誤差的初始值以最小距離會(huì)聚于實(shí)際位置/姿態(tài)。在該實(shí)施例中，不必要產(chǎn)生多個(gè)位置/姿態(tài)估計(jì)值、根據(jù)所有的估計(jì)值來(lái)產(chǎn)生比較圖像以及將它們與輸入圖像相比較。與傳統(tǒng)的位置/姿態(tài)識(shí)別設(shè)備相比，可以減少比較圖像產(chǎn)生的次數(shù)和計(jì)算目標(biāo)對(duì)象的位置/姿態(tài)估計(jì)值中的復(fù)雜度。因此，可以快速地估計(jì)包含在圖像中的對(duì)象的位置或姿態(tài)。
下面說(shuō)明預(yù)先輸入的初始位置/姿態(tài)估計(jì)值從目標(biāo)對(duì)象的實(shí)際位置/姿態(tài)在X、Y和Z軸方向中平移1mm、2mm和3mm并且關(guān)于X、Y和Z軸旋轉(zhuǎn)6°、4°和2°的示例。在傳統(tǒng)的位置/姿態(tài)識(shí)別設(shè)備中，最佳方向和從初始值改變的參數(shù)量是未知的。傳統(tǒng)位置/姿態(tài)識(shí)別設(shè)備在例如在平移方向中以1mm的步長(zhǎng)以及在旋轉(zhuǎn)方向中以2°的步長(zhǎng)改變參數(shù)的同時(shí)，搜索估計(jì)值。
在這種情況下，位置/姿態(tài)識(shí)別設(shè)備必須執(zhí)行搜索處理最少總共12次(平移方向中1+2+3＝6次以及旋轉(zhuǎn)方向中3+2+1＝6次)。更具體地，位置/姿態(tài)識(shí)別設(shè)備需要執(zhí)行再現(xiàn)圖像(比較圖像)產(chǎn)生處理和輸入圖像和再現(xiàn)圖像之間的相似度計(jì)算處理的每一個(gè)，至少12次。在實(shí)際處理中，為了確定在一個(gè)位置處估計(jì)值和實(shí)際位置/姿態(tài)之間的誤差是否是最小的，必須從圖像再現(xiàn)誤差的最小點(diǎn)繼續(xù)再搜索位置/姿態(tài)一個(gè)步長(zhǎng)。因此，位置/姿態(tài)識(shí)別設(shè)備必須執(zhí)行搜索處理最少12+6＝18次。
根據(jù)該實(shí)施例，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)根據(jù)登記的3D形狀模型和照明基底數(shù)據(jù)，通過使用作為初始值輸入的位置/姿態(tài)參數(shù)，產(chǎn)生在與輸入圖像相同或類似的照明條件下的比較圖像。對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)還將圖像上包含目標(biāo)對(duì)象的區(qū)域分割為具有預(yù)定尺寸的塊，并且檢測(cè)比較圖像的塊和輸入實(shí)際圖像之間的2D位移方向(當(dāng)在圖像上在垂直和水平方向中移動(dòng)并且比較每一個(gè)部分時(shí)(即圖像位移分布)使比較圖像和輸入圖像之間的亮度值差最小化的運(yùn)動(dòng)量)。對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)在一個(gè)方向更新位置/姿態(tài)估計(jì)值，以最佳地校正檢測(cè)的圖像位移分布，使得可以同時(shí)更新位置/姿態(tài)的六個(gè)參數(shù)。因此，通過較少次數(shù)的搜索，可以獲得精確的位置/姿態(tài)估計(jì)值，并且與傳統(tǒng)的位置/姿態(tài)識(shí)別設(shè)備相比，可以減少估計(jì)值計(jì)算的復(fù)雜度。
第二實(shí)施例接下來(lái)參考附圖來(lái)說(shuō)明本發(fā)明的第二實(shí)施例。圖6是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的另一種布置示例的方框圖。如圖6所示，在對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)中，第一實(shí)施例的最后確定裝置140由最后確定裝置140a代替，并且添加更新比較圖像產(chǎn)生裝置110a。其他組成單元與第一實(shí)施例相同。
由例如計(jì)算機(jī)100的控制單元來(lái)實(shí)現(xiàn)更新比較圖像產(chǎn)生裝置110a。當(dāng)姿態(tài)差計(jì)算裝置130計(jì)算位置/姿態(tài)差值時(shí)，更新比較圖像產(chǎn)生裝置110a從最后確定裝置140a中讀取當(dāng)前位置/姿態(tài)估計(jì)值并且將位置/姿態(tài)差值與估計(jì)值相加，從而計(jì)算出新的位置/姿態(tài)估計(jì)值。該處理與第一實(shí)施例中估計(jì)值管理單元143所執(zhí)行的處理相同。假定目標(biāo)對(duì)象處于新的位置/姿態(tài)估計(jì)值的位置/姿態(tài)中，根據(jù)目標(biāo)對(duì)象的3D形狀數(shù)據(jù)以及照明基底數(shù)據(jù)，更新比較圖像產(chǎn)生裝置110a產(chǎn)生在與輸入圖像相同或類似的照明條件下的圖像，作為更新比較圖像。將新的位置/姿態(tài)估計(jì)值和更新比較圖像輸出到最后確定裝置140a。
如圖7所示，最后確定裝置140a包括位置/姿態(tài)確定單元141a、估計(jì)值存儲(chǔ)單元142a、第一相似度計(jì)算單元145、第二相似度計(jì)算單元146以及比較圖像存儲(chǔ)單元147，并且由例如計(jì)算機(jī)的控制單元和存儲(chǔ)單元來(lái)實(shí)現(xiàn)。
第一相似度計(jì)算單元145計(jì)算輸入圖像和由更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像之間的第一相似度(下文中稱為更新之后的相似度)。第二相似度計(jì)算單元146計(jì)算輸入圖像和存儲(chǔ)在比較圖像存儲(chǔ)單元147中的當(dāng)前比較圖像之間的相似度(下文中稱為更新之前的相似度)，如稍后將進(jìn)行說(shuō)明的。
位置/姿態(tài)確定單元141a將更新之后的相似度與更新之前的相似度相比較，從而確定當(dāng)比較圖像產(chǎn)生裝置110和更新比較圖像產(chǎn)生裝置110a產(chǎn)生比較圖像和更新比較圖像是假定的目標(biāo)對(duì)象的位置/姿態(tài)是否適當(dāng)。更具體地，如果更新之后的相似度高于更新之前的相似度，確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?。如果更新之后的相似度不高?等于或低于)更新之前的相似度，確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?。將確定結(jié)果輸出到估計(jì)值存儲(chǔ)單元142a和比較圖像存儲(chǔ)單元147。
比較圖像存儲(chǔ)單元147存儲(chǔ)當(dāng)前的比較圖像。比較圖像存儲(chǔ)單元147首先存儲(chǔ)由比較圖像產(chǎn)生裝置110所產(chǎn)生的比較圖像，并隨后存儲(chǔ)由更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像。如果位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?，比較圖像存儲(chǔ)單元147將存儲(chǔ)的內(nèi)容更新為新的更新比較圖像，并且將新的更新比較圖像輸出到圖像位移分布檢測(cè)裝置120。
估計(jì)值存儲(chǔ)單元142a存儲(chǔ)當(dāng)前位置/姿態(tài)估計(jì)值。更具體地，估計(jì)值存儲(chǔ)單元142a存儲(chǔ)位置/姿態(tài)初始值12，作為位置/姿態(tài)估計(jì)值的初始值，并隨后存儲(chǔ)由更新比較圖像產(chǎn)生裝置110a所計(jì)算的新的位置/姿態(tài)估計(jì)值。如果位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?，估?jì)值存儲(chǔ)單元142a將存儲(chǔ)的內(nèi)容更新為新的位置/姿態(tài)估計(jì)值。如果位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?，確定值存儲(chǔ)單元142a輸出當(dāng)前位置/姿態(tài)估計(jì)值，作為最佳位置/姿態(tài)估計(jì)值13，并且結(jié)束處理。
圖8是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的另一個(gè)示例的流程圖。圖8中步驟S10至S15中的處理與第一實(shí)施例相同。在該實(shí)施例中，除了第一實(shí)施例的處理之外，還執(zhí)行步驟S20至S22中的處理。步驟S23中的狀態(tài)確定處理的內(nèi)容與第一實(shí)施例不同，如圖8所示。
當(dāng)在步驟S15中計(jì)算位置/姿態(tài)差值時(shí)，更新比較圖像產(chǎn)生裝置110a將位置/姿態(tài)差值與當(dāng)前位置/姿態(tài)估計(jì)值相加，從而計(jì)算出新的位置/姿態(tài)估計(jì)值。假定目標(biāo)對(duì)象處于新的位置/姿態(tài)估計(jì)值的位置/姿態(tài)中，根據(jù)目標(biāo)對(duì)象的3D形狀數(shù)據(jù)、照明基底數(shù)據(jù)以及輸入圖像數(shù)據(jù)11，更新比較圖像產(chǎn)生裝置110a產(chǎn)生在與輸入圖像相同或類似照明條件下的圖像，作為更新比較圖像(步驟S20)。由最后確定裝置140a通過將更新之前和之后的圖像的相似度相比較，來(lái)確定是否采用新的位置/姿態(tài)估計(jì)值和更新的比較圖像作為要在隨后的處理中使用的數(shù)據(jù)，如后面所述。
在最后確定裝置140a中，第一相似度計(jì)算單元145計(jì)算輸入圖像和由更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像之間的相似度，即更新之后的相似度(步驟S21)。第二相似度計(jì)算單元146來(lái)計(jì)算輸入圖像和基于當(dāng)前位置/姿態(tài)估計(jì)值的當(dāng)前比較圖像之間的相似度，即更新之前的相似度(步驟S22)。
位置/姿態(tài)確定單元141a將更新之后的相似度與更新之前的相似度相比較。如果更新之后的相似度高于更新之前的相似度，位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?在步驟S23中為“否”)。由更新比較圖像產(chǎn)生裝置110a所計(jì)算的新的位置/姿態(tài)估計(jì)值代替當(dāng)前的位置/姿態(tài)估計(jì)值，并且被確定為要在隨后的處理中使用的位置/姿態(tài)估計(jì)值(步驟S18)。在這種情況下，更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像代替當(dāng)前的比較圖像，并且被確定為要在隨后的處理中使用的比較圖像。計(jì)算機(jī)100重復(fù)地執(zhí)行步驟S14、S15、S20、S21、S22、S23以及S18中的處理，直到更新之后的相似度等于或低于更新之前的相似度。
如果更新之后的相似度不高于更新之前的相似度，位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?步驟S23中為“是”)。作為最終的最佳位置/姿態(tài)估計(jì)值13輸出當(dāng)前位置/姿態(tài)估計(jì)值(更新之前的位置/姿態(tài)估計(jì)值)(步驟S17)，并且結(jié)束處理。
如上所述，根據(jù)該實(shí)施例，與第一實(shí)施例相比，盡管處理步驟的數(shù)目增加，即使當(dāng)位置/姿態(tài)差值較小時(shí)，可以進(jìn)行估計(jì)處理，使比較圖像更接近于輸入圖像。因此，與第一實(shí)施例相比，可以進(jìn)一步縮小位置/姿態(tài)估計(jì)值，并且可以增加最終位置/姿態(tài)估計(jì)值的精確度。
第三實(shí)施例下面參考附圖來(lái)說(shuō)明本發(fā)明的第三實(shí)施例。圖9是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的另一種布置示例的方框圖。如圖9所示，在對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)中，代替第一實(shí)施例的組件的圖像輸入裝置180，使用圖像輸入裝置180a，并且代替最后確定裝置140，使用姿態(tài)更新裝置140b。
在該實(shí)施例中，包含要估計(jì)位置/姿態(tài)估計(jì)值的目標(biāo)對(duì)象的圖像不是靜態(tài)圖像而是運(yùn)動(dòng)圖像。對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)隨著目標(biāo)對(duì)象運(yùn)動(dòng)連續(xù)地輸出所需的位置/姿態(tài)估計(jì)值。在該實(shí)施例中，由例如攝像機(jī)的運(yùn)動(dòng)圖像傳感裝置來(lái)實(shí)現(xiàn)圖像輸入裝置180a。由例如計(jì)算機(jī)100的控制單元和存儲(chǔ)單元來(lái)實(shí)現(xiàn)姿態(tài)更新裝置140b。在該實(shí)施例中，將說(shuō)明目標(biāo)對(duì)象是人臉的示例。其他組成單元與第一實(shí)施例相同。
圖10是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的另一個(gè)示例的流程圖。在該實(shí)施例中，除了第一實(shí)施例的處理之外，還執(zhí)行在每一次處理處接收包含在運(yùn)動(dòng)圖像中的靜態(tài)圖像(幀圖像)之一(最新的幀圖像)的步驟S30的處理。代替步驟S16中的狀態(tài)確定處理，執(zhí)行步驟S31中的姿態(tài)更新處理。
與在第一實(shí)施例相同，當(dāng)產(chǎn)生照明基底數(shù)據(jù)時(shí)，照明基底計(jì)算裝置160將3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)存儲(chǔ)在3D模型存儲(chǔ)裝置170中(步驟S10)。用戶在觀察運(yùn)動(dòng)圖像的同時(shí)輸入并指定包含在運(yùn)動(dòng)圖像中的第一幀圖像中的人臉的粗略位置/姿態(tài)。圖像輸入裝置180a將由用戶輸入并指定的粗略位置/姿態(tài)輸出到計(jì)算機(jī)100，作為位置/姿態(tài)初始值12(步驟S12)。
比較圖像產(chǎn)生裝置110從圖像輸入裝置180a接收此時(shí)的幀圖像，作為輸入圖像數(shù)據(jù)11a(步驟S30)。與第一實(shí)施例相同，比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像(步驟S13)。圖像位移分布檢測(cè)裝置120檢測(cè)圖像位移分布(步驟S14)。姿態(tài)差計(jì)算裝置130計(jì)算姿態(tài)差值(步驟S15)。步驟S13至S15中的處理內(nèi)容與第一實(shí)施例相同。
姿態(tài)更新裝置140b通過將姿態(tài)差計(jì)算裝置130所計(jì)算的位置/姿態(tài)差值與當(dāng)前位置/姿態(tài)估計(jì)值相加，來(lái)更新位置/姿態(tài)估計(jì)值(步驟S131)。在這種情況下，位置更新裝置140b輸出更新的位置/姿態(tài)估計(jì)值，作為每一次更新中此時(shí)的最佳位置/姿態(tài)估計(jì)值13。計(jì)算機(jī)100重復(fù)地執(zhí)行步驟S30、S13、S14、S15以及S31中的處理，直到運(yùn)動(dòng)圖像結(jié)束。
如上所述，根據(jù)該實(shí)施例，可以實(shí)時(shí)地估計(jì)隨著時(shí)間流逝而改變的運(yùn)動(dòng)目標(biāo)對(duì)象的位置/姿態(tài)。通過將根據(jù)當(dāng)前/姿態(tài)估計(jì)值而產(chǎn)生的比較圖像與包含在當(dāng)前運(yùn)動(dòng)圖像中的幀圖像進(jìn)行比較，一直更新位置/姿態(tài)。因此，可以在較長(zhǎng)時(shí)間內(nèi)執(zhí)行精確的位置/姿態(tài)估計(jì)處理，而不積累誤差。
第四實(shí)施例下面參考附圖來(lái)說(shuō)明本發(fā)明的第四實(shí)施例。圖11是示出了對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)的另一種布置示例的方框圖。如圖11所示，除了第一實(shí)施例的組件之外，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)包括特征提取裝置190。其他的組成單元與第一實(shí)施例相同。
由例如計(jì)算機(jī)100的控制單元來(lái)實(shí)現(xiàn)特征提取裝置190。由特征提取裝置190來(lái)實(shí)現(xiàn)特征量提取裝置。
圖12是示出了由對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)所執(zhí)行的目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理的另一個(gè)示例的流程圖。在該實(shí)施例中，代替直接將比較圖像的圖像亮度值與輸入圖像的圖像亮度值相比較來(lái)檢測(cè)圖像位置，通過使用濾波器來(lái)提取適用于位置移位檢測(cè)的圖像特征量，來(lái)檢測(cè)圖像位移分布。在該實(shí)施例中，說(shuō)明將邊緣特征量用作圖像特征量的情況?？梢詫⒊诉吘壧卣髁恐獾娜我馄渌卣髁?，例如Gabor特征量，用作圖像特征量。
圖12中步驟S10至S13中的處理與第一實(shí)施例相同。當(dāng)比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像時(shí)，特征提取裝置109針對(duì)比較圖像和輸入圖像的每一個(gè)，通過使用邊緣檢測(cè)濾波器，來(lái)產(chǎn)生邊緣圖像，作為圖像特征量(步驟S40)。
特征提取裝置190包括針對(duì)圖像的垂直方向的邊緣檢測(cè)濾波器和針對(duì)圖像的水平方向的邊緣檢測(cè)濾波器。在步驟S40中，特征提取裝置190通過分別使用垂直和水平邊緣檢測(cè)濾波器，產(chǎn)生比較圖像的垂直邊緣圖像(下文中稱為垂直邊緣)以及水平邊緣圖像(下文中稱為水平邊緣)和輸入圖像的垂直和水平邊緣。即，特征提取裝置190在步驟S40中產(chǎn)生四個(gè)邊緣圖像。
圖像位移分布檢測(cè)裝置120通過將比較圖像的垂直和水平邊緣分割為具有預(yù)定尺寸的部分，來(lái)產(chǎn)生局部邊緣圖像。圖像位移分布檢測(cè)裝置120通過疊加，來(lái)將每一個(gè)局部邊緣圖像與輸入圖像的垂直和水平邊緣相比較。圖像位移分布檢測(cè)裝置120檢查增加屏幕上相似度的運(yùn)動(dòng)方向并且輸出增加相似度的方向，作為圖像位移分布(步驟S41)。
在步驟S41中，因?yàn)橥ㄟ^比較垂直邊緣圖像可以清楚地檢測(cè)水平圖像移位，圖像位移分布檢測(cè)裝置120通過將比較圖像與輸入圖像的垂直邊緣相比較，檢測(cè)水平圖像位移。因?yàn)橥ㄟ^比較水平邊緣圖像可以清楚地檢測(cè)垂直圖像移位，圖像位移分布檢測(cè)裝置120通過將比較圖像與輸入圖像的水平邊緣相比較，檢測(cè)垂直圖像位移。當(dāng)最佳圖像特征量被用于檢測(cè)每一個(gè)方向中的位置移位時(shí)，可以增加圖像位移分布檢測(cè)精確度。
步驟S15至S18中的處理與第一實(shí)施例相同。
如上所述，根據(jù)該實(shí)施例，代替直接將比較圖像的圖像亮度值與輸入圖像的圖像亮度值相比較，通過使用能夠比亮度值進(jìn)行更敏感的位置移位檢測(cè)的圖像特征量圖像位移，檢測(cè)圖像移位，作為每一個(gè)部分的圖像位置移位。因此，與使用亮度值相比較，可以精確地檢測(cè)圖像位移。因此，可以增加計(jì)算的位置/姿態(tài)差值的精確度，并且可以增加最終獲得的位置/姿態(tài)估計(jì)值的精確度。
第五實(shí)施例作為第五實(shí)施例來(lái)說(shuō)明第一實(shí)施例的詳細(xì)示例。在該實(shí)施例中，對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)包括3D形狀測(cè)量設(shè)備200，用于測(cè)量要預(yù)先登記的目標(biāo)對(duì)象的3D形狀；攝像機(jī)300，捕獲包括要估計(jì)位置/姿態(tài)的目標(biāo)對(duì)象的對(duì)象；以及個(gè)人計(jì)算機(jī)(計(jì)算機(jī)100)，用作數(shù)據(jù)處理設(shè)備/數(shù)據(jù)存儲(chǔ)設(shè)備。在該實(shí)施例中，說(shuō)明要估計(jì)位置/姿態(tài)的目標(biāo)對(duì)象是人臉的示例。
(3D形狀數(shù)據(jù)登記處理)
首先說(shuō)明系統(tǒng)準(zhǔn)備階段的處理(即步驟S10的3D數(shù)據(jù)登記處理)。在圖5所示的3D形狀數(shù)據(jù)登記處理中，要估計(jì)位置/姿態(tài)的目標(biāo)對(duì)象(在該實(shí)施例中為特定人臉)的3D形狀和表示基于目標(biāo)對(duì)象表面上的任意照明條件的亮度值改變的照明基底數(shù)據(jù)被存儲(chǔ)在設(shè)置在計(jì)算機(jī)100中的存儲(chǔ)設(shè)備中，如上所述。
用戶通過操作3D形狀測(cè)量設(shè)備200來(lái)命令測(cè)量臉部的3D形狀和表面反射比。用于數(shù)據(jù)處理的計(jì)算機(jī)100從3D形狀測(cè)量設(shè)備200接收3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)(或者與表面反射比相對(duì)應(yīng)的圖像數(shù)據(jù))。
根據(jù)3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)(或者圖像數(shù)據(jù))，計(jì)算機(jī)100計(jì)算表示臉部表面亮度中的照明變化的照明基底組。計(jì)算機(jī)100將計(jì)算的照明基底組存儲(chǔ)在例如存儲(chǔ)設(shè)備中，作為照明基底數(shù)據(jù)。在這種情況下，計(jì)算機(jī)100通過使用下面的技術(shù)，來(lái)產(chǎn)生照明基底組。照明基底組產(chǎn)生技術(shù)不局限于該實(shí)施例的技術(shù)。根據(jù)比較圖像產(chǎn)生算法(稍后進(jìn)行說(shuō)明)，可以使用各種照明基底組產(chǎn)生技術(shù)。
在該實(shí)施例中，將說(shuō)明一種在步驟S10的3D形狀數(shù)據(jù)登記處理中以及在步驟S13的比較圖像產(chǎn)生處理中校正照明條件的變化的方法。如果照明條件中的改變較小或?yàn)榱?，可以省略校正處理。在這種情況下，計(jì)算機(jī)100可以直接將目標(biāo)對(duì)象的表面上的每一個(gè)點(diǎn)的亮度值存儲(chǔ)在例如存儲(chǔ)設(shè)備中，不需要計(jì)算照明基底組。
以下針對(duì)3D形狀數(shù)據(jù)的表面，定義用于計(jì)算照明基底紋理的紋理坐標(biāo)系統(tǒng)。在該示例中，3D形狀數(shù)據(jù)包含對(duì)象表面上每一點(diǎn)的坐標(biāo)數(shù)據(jù)，作為原點(diǎn)設(shè)置在目標(biāo)對(duì)象的重心處的3D坐標(biāo)(x，y，z)。即，3D形狀數(shù)據(jù)是一組對(duì)象表面上的點(diǎn)的坐標(biāo)數(shù)據(jù)。在這種情況下，定義包圍對(duì)象的、中心位于對(duì)象重心處的球體。點(diǎn)P至球體表面的投影點(diǎn)被設(shè)置為Q。點(diǎn)Q的緯度和經(jīng)度(s，t)被定義為對(duì)象表面上每一個(gè)點(diǎn)P的紋理坐標(biāo)。通過根據(jù)對(duì)象形狀使用任意其他坐標(biāo)，可以計(jì)算系統(tǒng)照明基底組。
計(jì)算機(jī)100計(jì)算對(duì)象表面上每一個(gè)點(diǎn)在不同照明條件i下的亮度Ii(s，t)。在設(shè)置照明條件中，例如，假定一點(diǎn)光源被放置在無(wú)窮遠(yuǎn)處。在從-90°至+90°的每10°間隔上改變緯度和精度，以獲得19×19＝361個(gè)方向矢量Li。根據(jù)方向矢量Li，針對(duì)光輻射設(shè)置照明條件。可以任意設(shè)置輻射方向和輻射方向數(shù)目。假設(shè)N(s，t)是標(biāo)準(zhǔn)矢量(normal vector)，并且r(s，t)是表面反射比數(shù)據(jù)。對(duì)象表面的每一個(gè)點(diǎn)的亮度Ii(s，t)由下式給出Ii(s,t)=r(s,t)Σi(S(s,t,Li→)maxLi→·Ni→(s,t),0)]]>…[方程1]其中，S(s，t，L)表示投影(陰影)。當(dāng)對(duì)象表面呈現(xiàn)在每一個(gè)點(diǎn)(s，t)和在方向矢量Li的無(wú)窮遠(yuǎn)處的光源之間時(shí)，值S(s，t，L)是0(因?yàn)殛幱埃粤炼戎禐?)，并且當(dāng)沒有對(duì)象表面呈現(xiàn)時(shí)，值S(s，t，L)是1?？梢酝ㄟ^計(jì)算機(jī)圖形領(lǐng)域中的公知技術(shù)，例如光線跟蹤，來(lái)實(shí)現(xiàn)陰影確定方法。
接下來(lái)，計(jì)算機(jī)100計(jì)算能夠再現(xiàn)在任意照明條件下對(duì)象表面的亮度值的基底紋理組。計(jì)算機(jī)100通過針對(duì)所有點(diǎn)按照順序排列在方向Li(Li是矢量)中的點(diǎn)光源下針對(duì)對(duì)象表面的點(diǎn)(s，t)使用方程1計(jì)算出的亮度值，產(chǎn)生矢量。通過按照順序排列亮度值而獲得的矢量被設(shè)置為樣本紋理Ii(Ii是矢量)。通過方程3可以計(jì)算樣本紋理組{Ii}(i＝1，2，…，361)的協(xié)方差矩陣V。方程3中的S表示由方程2給出的樣本紋理組{Ii}(i＝1，2，…，361)。
S=[Ii→Ii→···I361→]]]>…[方程2]V=1361SST]]>…[方程3]計(jì)算機(jī)100按照特征值的降序計(jì)算協(xié)方差矩陣V的特征值(σj)以及特征矢量(Gj)。在這種情況下，計(jì)算機(jī)100產(chǎn)生特征矢量組{Gj}(j＝1，2，…，10)，作為照明基底組，并且將其存儲(chǔ)在例如存儲(chǔ)設(shè)備中。10個(gè)值的計(jì)算僅是一個(gè)示例。計(jì)算的特征值和特征矢量的數(shù)目可以大于或小于10。
例如，在參考文獻(xiàn)2中描述了上述照明基底組計(jì)算方法。
接下來(lái)依次說(shuō)明使對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)根據(jù)圖像來(lái)估計(jì)對(duì)象的位置/姿態(tài)的處理。
(圖像輸入處理)用戶通過操作例如攝像機(jī)300的圖像捕獲設(shè)備，來(lái)捕獲要估計(jì)位置/姿態(tài)的目標(biāo)對(duì)象。計(jì)算機(jī)100從攝像機(jī)300中捕獲輸入圖像數(shù)據(jù)。代替捕獲由攝像機(jī)300捕獲的圖像，計(jì)算機(jī)100可以從存儲(chǔ)介質(zhì)中讀取圖像數(shù)據(jù)或者通過通信網(wǎng)絡(luò)從另一個(gè)計(jì)算機(jī)接收?qǐng)D像數(shù)據(jù)。
在該實(shí)施例中，假定目標(biāo)對(duì)象幾乎面對(duì)著攝像機(jī)300的前端并且在垂直和水平方向中具有大約10°的姿態(tài)變化。目標(biāo)對(duì)象處于與攝像機(jī)300間隔大約50cm的點(diǎn)處。目標(biāo)對(duì)象(在該示例中是人臉)幾乎處于攝像機(jī)300的中心處并且具有大約10cm的姿態(tài)變化。在該實(shí)施例中，總是將在目標(biāo)對(duì)象與攝像機(jī)300間隔50cm的同時(shí)在目標(biāo)對(duì)象面對(duì)攝像機(jī)300的前端并且處于其屏幕中心處時(shí)獲得的值用作位置/姿態(tài)初始值。
(比較圖像產(chǎn)生處理)計(jì)算機(jī)100讀取預(yù)先存儲(chǔ)在例如存儲(chǔ)設(shè)備中的3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)。假定目標(biāo)對(duì)象處于當(dāng)前位置/姿態(tài)初始值的位置/姿態(tài)中，計(jì)算機(jī)100產(chǎn)生在與輸入圖像相同的照明條件下的目標(biāo)對(duì)象圖像，作為比較圖像。在這種情況下，計(jì)算機(jī)100通過使用下面的技術(shù)，產(chǎn)生比較圖像。比較圖像產(chǎn)生技術(shù)不局限于該實(shí)施例的技術(shù)。根據(jù)用于計(jì)算照明基底數(shù)據(jù)的方法，可以使用各種比較圖像產(chǎn)生技術(shù)。
假設(shè)[XYZ1]是對(duì)象表面上的點(diǎn)的3D數(shù)據(jù)的坐標(biāo)，[UV]是與該點(diǎn)相對(duì)應(yīng)的比較圖像上的坐標(biāo)，[uvw]是齊次坐標(biāo)，K是表示攝像機(jī)300的內(nèi)部參數(shù)(象素尺寸和圖像中心)的3×3矩陣，T是表示對(duì)象位置的平移的矢量，以及R是表示對(duì)象的姿態(tài)變化的旋轉(zhuǎn)矩陣。通過使用方程5來(lái)計(jì)算齊次坐標(biāo)[uvw]。通過使用方程4來(lái)計(jì)算坐標(biāo)[UV]。方程4中的矩陣M表示對(duì)象的旋轉(zhuǎn)和平移的動(dòng)量，并且通過使用方程6來(lái)計(jì)算。
UV=uvvw]]>…[方程4]uvw=KMXYZ1]]>…[方程5]M=RT→0001]]>…[方程6]
計(jì)算機(jī)100通過使用方程4、5和6計(jì)算關(guān)于圖像的3D形狀數(shù)據(jù)的每一個(gè)點(diǎn)的坐標(biāo)[UV]，來(lái)確定圖像中除背景之外的與目標(biāo)對(duì)象的一部分相對(duì)應(yīng)的象素。計(jì)算機(jī)100確定包含在3D形狀數(shù)據(jù)中的點(diǎn)中哪一個(gè)點(diǎn)與每一個(gè)象素相對(duì)應(yīng)。
假定圖像中與目標(biāo)對(duì)象相對(duì)應(yīng)的象素?cái)?shù)目是a。將通過垂直地排列a象素的亮度值而獲得的矢量設(shè)置為比較圖像矢量Ic。將通過垂直地排列輸入圖像中相同象素位置處的a象素的亮度值而獲得的矢量設(shè)置為輸入圖像矢量Iq。當(dāng)表示與比較圖像矢量的第b個(gè)元素相對(duì)應(yīng)的3D形狀數(shù)據(jù)的點(diǎn)的號(hào)碼的函數(shù)是c(b)(b＝1，2，…，a)，可以將投影矩陣Γ定義為其中第(b，c(b))個(gè)元素是1以及其他元素為0的矩陣。在這種情況下，通過使用方程7，根據(jù)照明基底組{Gi}，計(jì)算與當(dāng)前位置/姿態(tài)估計(jì)值相對(duì)應(yīng)的圖像照明基底組{Bi}(i＝1，2，…，10)。
Bi→=ΓGi→]]>…[方程7]通過使用方程8和9，計(jì)算比較圖像Ic(Ic是矢量)，作為圖像照明基底組{Bi}的線性組合中最近似于輸入圖像Iq(Iq是矢量)的圖像。
Ie→=Σi=110λiBi→]]>…[方程8]λi=arg(|Ic→-Ig→|2→min)]]>…[方程9]例如，在參考文獻(xiàn)2中描述了上述比較圖像產(chǎn)生方法。
針對(duì)不與對(duì)象表面相對(duì)應(yīng)的、產(chǎn)生的比較圖像的象素，不能夠確定亮度值。計(jì)算機(jī)100從處理目標(biāo)中排除這種象素并且執(zhí)行下面的處理。
在該實(shí)施例中，已經(jīng)說(shuō)明了校正照明條件中的變化的方法。如果照明條件中的改變較小或?yàn)榱悖梢允÷栽撎幚?。在這種情況下，計(jì)算機(jī)100可以通過使用函數(shù)c(b)來(lái)重新排列預(yù)先存儲(chǔ)的對(duì)象表面上的亮度值，計(jì)算比較圖像矢量Ic，而不需要計(jì)算圖像照明基底組Bi(i＝1，2，…，10)。
(圖像位移分布檢測(cè)處理)接下來(lái)，計(jì)算機(jī)100通過使用下面的方法，針對(duì)每一個(gè)局部圖像檢測(cè)比較圖像和輸入圖像之間的圖像位移分布。圖像位移分布檢測(cè)方法不局限于該實(shí)施例的方法?？梢詰?yīng)用作為使用光流的圖像位移檢測(cè)方法而提出的各種技術(shù)。
圖13是示出了檢測(cè)比較圖像和輸入圖像之間圖像位移分布的處理的示例的解釋性視圖。如圖13所示，計(jì)算機(jī)100通過將比較圖像分割為具有預(yù)定尺寸的部分，來(lái)產(chǎn)生局部圖像，從而產(chǎn)生局部比較圖像組。假定輸入圖像的尺寸是100×100象素，并且作為局部比較圖像的局部圖像的塊尺寸是10×10象素。用于提取局部比較圖像的塊之間的間隔是20象素。在這種情況下，計(jì)算機(jī)100從比較圖像提取如圖13所示的方形區(qū)域，作為局部比較圖像組。
提取的局部比較圖像的十四個(gè)塊包括對(duì)象表面。計(jì)算機(jī)100提取14個(gè)局部比較圖像，如圖13所示。提取中的塊尺寸、塊間隔和圖像分辨率不局限于該實(shí)施例的塊尺寸、塊間隔和圖像分辨率。例如，可以基于系統(tǒng)的處理能力或者所需的位置/姿態(tài)估計(jì)精確度而改變它們。計(jì)算機(jī)100可以通過使用分割輸入圖像而不是比較圖像而獲得的局部圖像組，來(lái)檢測(cè)圖像位移分布。
計(jì)算機(jī)100將每一個(gè)提取的局部比較圖像疊加在輸入圖像的相應(yīng)位置，并且將局部比較圖像與相同尺寸的提取的局部輸入圖像相比較，檢測(cè)圖像上使相似度最大化的運(yùn)動(dòng)方向，并且作為圖像位移分布輸出該方向以使相似度最大化。在這種情況下，計(jì)算機(jī)100通過僅使用比較圖像中包括對(duì)象表面并且具有計(jì)算亮度值的象素，而不使用沒有包含對(duì)象表面的背景圖像，來(lái)計(jì)算相似度。
在該實(shí)施例中，將說(shuō)明亮度值的絕對(duì)平均誤差(通過將亮度值差的絕對(duì)值的總和除以象素?cái)?shù)目而獲得的值)的倒數(shù)被用作相似度指標(biāo)的示例?？梢允褂脤⑼ㄟ^邊緣檢測(cè)或其他特征量轉(zhuǎn)換而獲得的數(shù)值作為相似度指標(biāo)的任意其他圖像比較方法。
在該實(shí)施例中，為了快速地檢測(cè)圖像位移，計(jì)算機(jī)100通過在u和v方向的正和負(fù)方向中移動(dòng)圖像一個(gè)相鄰象素，來(lái)計(jì)算相似度。計(jì)算機(jī)100可以使用任意其他圖像位移檢測(cè)方法而不使用在本實(shí)施例中所示的圖像位移檢測(cè)方法，來(lái)計(jì)算相似度。例如，計(jì)算機(jī)100可以通過在u和v方向中移動(dòng)圖像兩個(gè)或更多象素，來(lái)計(jì)算相似度?？蛇x地，計(jì)算機(jī)100可以通過在除了u和v方向之外的斜方向中移動(dòng)圖像，例如在總共八個(gè)方向中移動(dòng)圖像，來(lái)計(jì)算相似度。
在該實(shí)施例中，計(jì)算機(jī)100按照下面的方法確定表示局部比較圖像j的圖像位移的2D矢量Dj。
(1)計(jì)算機(jī)100通過在u方向的正和負(fù)方向中移動(dòng)圖像一個(gè)象素，來(lái)計(jì)算相似度。如果確定通過在正方向中移動(dòng)使相似度最大化，計(jì)算機(jī)100將矢量的第一元素的值設(shè)置為1。如果確定通過在負(fù)方向中移動(dòng)使相似度最大化，計(jì)算機(jī)100將矢量的第一元素的值設(shè)置為-1。如果確定不在任何方向移動(dòng)使相似度最大化，計(jì)算機(jī)100將矢量的第一元素的值設(shè)置為0。
(2)計(jì)算機(jī)100通過在v方向的正和負(fù)方向中移動(dòng)圖像來(lái)計(jì)算相似度。如果確定通過在正方向中移動(dòng)使相似度最大化，計(jì)算機(jī)100將矢量的第二元素的值設(shè)置為1。如果確定通過在負(fù)方向中移動(dòng)使相似度最大化，計(jì)算機(jī)100將矢量的第二元素的值設(shè)置為-1。如果確定不在任何方向移動(dòng)使相似度最大化，計(jì)算機(jī)100將矢量的第二元素的值設(shè)置為0。
當(dāng)根據(jù)上述過程計(jì)算了2D矢量時(shí)，計(jì)算機(jī)100計(jì)算包含表示14塊的每一個(gè)局部比較圖像的圖像位移的2D矢量的圖像位移分布矢量組{Dj}，作為圖像位移分布，如圖13所示。參考圖13，每一個(gè)箭頭指示表示每一個(gè)局部比較圖像的圖像位移的2D矢量Dj。對(duì)于不包含箭頭而包含句點(diǎn)符號(hào)的象素，表示圖像位移的矢量是零矢量。
通常，當(dāng)輸入圖像的照明條件隨時(shí)間流逝而改變時(shí)，比較圖像的亮度值與輸入圖像的亮度值不同。因此，不能夠精確地計(jì)算圖像位移分布矢量組{Dj}。根據(jù)本發(fā)明，在比較圖像產(chǎn)生處理中，通過使用照明基底矢量組，產(chǎn)生在與輸入圖像相同或類似照明條件下的比較圖像。因此，即使當(dāng)捕獲輸入圖像時(shí)的照明條件發(fā)生變化時(shí)，在圖像位移分布檢測(cè)處理中可以精確地檢測(cè)圖像位移分布矢量組{Dj}。
(姿態(tài)差計(jì)算處理)接下來(lái)，根據(jù)產(chǎn)生的圖像位移分布和與每一個(gè)子區(qū)域相對(duì)應(yīng)的目標(biāo)對(duì)象的3D形狀數(shù)據(jù)的每一個(gè)部分的3D坐標(biāo)數(shù)據(jù)，計(jì)算機(jī)100計(jì)算當(dāng)在屏幕上實(shí)際移動(dòng)目標(biāo)對(duì)象時(shí)目標(biāo)對(duì)象的每一個(gè)部分最接近位移分布的3D運(yùn)動(dòng)。計(jì)算機(jī)100計(jì)算3D運(yùn)動(dòng)的計(jì)算結(jié)果，作為位置/姿態(tài)差值。
在計(jì)算3D運(yùn)動(dòng)中，計(jì)算機(jī)100假定比較圖像和輸入圖像的每一個(gè)作為運(yùn)動(dòng)圖像的幀圖像，并且將它們當(dāng)作比較圖像的幀圖像和輸入圖像的幀圖像依次連續(xù)的運(yùn)動(dòng)圖像。通過將圖像位移分布當(dāng)作幀圖像的偽光流，來(lái)計(jì)算3D運(yùn)動(dòng)。計(jì)算機(jī)100根據(jù)下面的使用例如Lie代數(shù)的方法，通過使用根據(jù)光流的對(duì)象運(yùn)動(dòng)估計(jì)技術(shù)，來(lái)計(jì)算3D運(yùn)動(dòng)。
方程5的矩陣M形成SE(3)組，作為L(zhǎng)ie代數(shù)組。可以將SE(3)分解為總共六個(gè)運(yùn)動(dòng)，即三個(gè)旋轉(zhuǎn)和三個(gè)平移。如果目標(biāo)對(duì)象的位置/姿態(tài)的移動(dòng)較小，矩陣M接近于單位矩陣I。當(dāng)完成接近于M＝I的微分時(shí)，獲得方程10的六個(gè)矩陣。方程10的每一個(gè)矩陣是SE(3)的Lie代數(shù)，并且用作表示接近于M＝I的矩陣M的增量的線性矢量空間的基底。
M1=0001000000000000,M2=0000000100000000,M3=0000000000010000,]]>M4=000000100-1000000,M5=00-10000010000000,M6=0100-100000000000]]>…[方程10]如果運(yùn)動(dòng)較小，矩陣M近似于由下式給出的{Mi}的線性和M=exp(Σi=16αiMi)≈I+Σi=16αiMi]]>…[方程11]計(jì)算機(jī)100可以根據(jù)在圖像位移分布檢測(cè)處理中所計(jì)算的圖像位移分布，通過計(jì)算系數(shù)αi，來(lái)計(jì)算表示動(dòng)量(即位置/姿態(tài)的移動(dòng)量(移動(dòng)方向))的矩陣M。
按照下式計(jì)算在每一個(gè)運(yùn)動(dòng)模式的方向中改變位置/姿態(tài)中、對(duì)象表面上的每一個(gè)點(diǎn)的圖像坐標(biāo)的偏微分u′v′w′=PMiXYZ1]]>…[方程12]按照下式計(jì)算對(duì)象表面上的點(diǎn)的象素坐標(biāo)[UV]的偏微分Oi→=U′V′=u′w-uw′w2v′w-vw′w2]]>…[方程13]在方程13中，Oi(Oi是矢量)表示象素坐標(biāo)[UV]的偏微分量。假設(shè)d(d是矢量)是當(dāng)改變位置/姿態(tài)時(shí)的對(duì)象表面的圖像上的動(dòng)量。如方程14所示，計(jì)算d，作為每一個(gè)運(yùn)動(dòng)模式i中動(dòng)量的線性和。
d→=Σi=16αi(Oi→)]]>…[方程14]計(jì)算機(jī)100可以通過更新目標(biāo)對(duì)象的位置/姿態(tài)估計(jì)值，有效地使位置/姿態(tài)估計(jì)值接近于輸入圖像中目標(biāo)對(duì)象的精確位置/姿態(tài)值，使得按照方程14所計(jì)算的每一個(gè)點(diǎn)的動(dòng)量d最接近于圖像位移分布。為了實(shí)現(xiàn)該結(jié)果，計(jì)算機(jī)100通過使用最小平方方法，計(jì)算用于使表示關(guān)于由圖像位移分布檢測(cè)處理所檢測(cè)的局部比較圖像Dj的圖像位移的位置/姿態(tài)誤差的誤差e最小化的系數(shù)αi，如下所示e=Σj||Dj→-Σi=16αj(Oi→)||2]]>…[方程15]為了獲得系數(shù)αi，必須確定在方程12中使用的局部比較圖像j的3D坐標(biāo)[XYZ]。在該實(shí)施例中，將說(shuō)明使用包含在每一個(gè)局部比較圖像j中的對(duì)象表面上的點(diǎn)的3D坐標(biāo)的重心(平均值)的示例。根據(jù)3D形狀數(shù)據(jù)和作為投影矩陣Γ計(jì)算的比較圖像的象素之間的對(duì)應(yīng)，可以容易地獲得3D坐標(biāo)。可以將除了重心之外的任意其他坐標(biāo)值，例如與最接近于每一個(gè)局部比較圖像的中央部分的象素相對(duì)應(yīng)的對(duì)象表面上的點(diǎn)的3D坐標(biāo)，用作3D坐標(biāo)。
計(jì)算機(jī)100根據(jù)使用方程15而計(jì)算出的系數(shù)αi以及使用下式所計(jì)算的預(yù)定增益常數(shù)g，來(lái)計(jì)算位置/姿態(tài)差ΔM。
ΔM=I+g(Σi=16αjOi→)]]>…[方程16]在該實(shí)施例中，增益常數(shù)g是固定值g＝1。當(dāng)增加增益常數(shù)g的值時(shí)，可以快速地會(huì)聚估計(jì)值的搜索。當(dāng)隨著位置/姿態(tài)誤差變小控制增益常數(shù)g的值變得更小時(shí)，可以增加目標(biāo)對(duì)象/姿態(tài)估計(jì)精確度。
例如，在IEICE Transactions on Information and System，Vol.E84-D，No.12，pp.1733-1738，2001年12月的Tom Drummond、Roberto Ciplla的“Real Time Feature-Based Facial Tracking UsingLie Algebras”中描述了上述對(duì)象運(yùn)動(dòng)估計(jì)技術(shù)。
(最后確定處理)接下來(lái)，計(jì)算機(jī)100確定是否更新位置/姿態(tài)估計(jì)值并且重復(fù)地執(zhí)行位置/姿態(tài)估計(jì)處理，或者因?yàn)樽銐蚓_，輸出當(dāng)前位置/姿態(tài)估計(jì)值作為最佳位置/姿態(tài)估計(jì)值。在該實(shí)施例中，將說(shuō)明預(yù)先確定目標(biāo)對(duì)象的估計(jì)位置/姿態(tài)的容限的閾值的示例，并且根據(jù)閾值來(lái)完成確定?？梢詫⒊耸褂迷搶?shí)施例閾值的方法之外的任意其他方法，用作最后確定方法。
預(yù)先確定平移和旋轉(zhuǎn)方向中容限的閾值，并且存儲(chǔ)在例如設(shè)置在計(jì)算機(jī)100中的存儲(chǔ)設(shè)備中，作為位置/姿態(tài)估計(jì)誤差。在該實(shí)施例中，平移方向中的容限是5mm。對(duì)于旋轉(zhuǎn)方向，關(guān)于X和Y軸的容限是1.5°，并且關(guān)于Z軸的容限是1°。容限值不局限于該實(shí)施例的值。
計(jì)算機(jī)100根據(jù)包含在位置/姿態(tài)差ΔM中的平移矢量和旋轉(zhuǎn)矩陣R，計(jì)算關(guān)于各個(gè)軸的平移量和旋轉(zhuǎn)角。計(jì)算機(jī)100確定計(jì)算的平移量和旋轉(zhuǎn)角是否小于預(yù)定閾值。如果確定小于預(yù)定閾值，計(jì)算機(jī)100確定當(dāng)前位置/姿態(tài)估計(jì)值是足夠精確的估計(jì)值(即最佳估計(jì)值)，作為最佳位置/姿態(tài)估計(jì)值輸出當(dāng)前位置/姿態(tài)估計(jì)值，并且結(jié)束處理。
如果確定平移量和旋轉(zhuǎn)角中至少一個(gè)不小于閾值，計(jì)算機(jī)100更新位置/姿態(tài)估計(jì)值并且重復(fù)地執(zhí)行估計(jì)處理。計(jì)算機(jī)100根據(jù)當(dāng)前位置/姿態(tài)估計(jì)值[R|T]，通過使用以下方程，來(lái)計(jì)算更新之后的位置/姿態(tài)估計(jì)值[R*|T*]。
＝Euclideanise([R|T]·ΔM)…[方程17]其中，Euclideanise表示將矩陣校正為旋轉(zhuǎn)矩陣的操作。例如，Euclideanise(E)表示將矩陣E校正為旋轉(zhuǎn)矩陣的操作，并且通過根據(jù)奇異值分解E＝UWVT來(lái)計(jì)算矩陣E′＝UVT而實(shí)現(xiàn)。
根據(jù)表示通過使用方程17而計(jì)算出的更新之后位置/姿態(tài)的旋轉(zhuǎn)矩陣和平移矢量，計(jì)算機(jī)100估計(jì)當(dāng)前位置/姿態(tài)估計(jì)值并且重復(fù)地執(zhí)行比較圖像產(chǎn)生處理之后的處理。
在該實(shí)施例中，通過執(zhí)行最后確定，重復(fù)地更新位置/姿態(tài)。然而，可以僅更新位置/姿態(tài)估計(jì)值一次，并且可以結(jié)束處理，而不執(zhí)行最后確定處理。在這種情況下，可以更快速地完成目標(biāo)對(duì)象位置/姿態(tài)估計(jì)處理。
在該實(shí)施例中，描述了用于估計(jì)目標(biāo)對(duì)象的位置和姿態(tài)的對(duì)象位置/姿態(tài)估計(jì)系統(tǒng)。還可以將計(jì)算機(jī)應(yīng)用于僅估計(jì)目標(biāo)對(duì)象的位置的對(duì)象位置估計(jì)系統(tǒng)或者僅估計(jì)目標(biāo)對(duì)象的姿態(tài)的對(duì)象姿態(tài)估計(jì)系統(tǒng)。
工業(yè)實(shí)用性可以將根據(jù)本發(fā)明的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)應(yīng)用于測(cè)量圖像中可見的對(duì)象的位置/姿態(tài)的測(cè)量設(shè)備。還可以將估計(jì)系統(tǒng)應(yīng)用于通過使用圖像來(lái)識(shí)別或核對(duì)改變了位置/姿態(tài)的對(duì)象的識(shí)別設(shè)備。還可以將估計(jì)系統(tǒng)應(yīng)用于通過使用運(yùn)動(dòng)圖像來(lái)追蹤在視頻圖像中運(yùn)動(dòng)的對(duì)象的追蹤設(shè)備。還可以將估計(jì)系統(tǒng)應(yīng)用于通過使用計(jì)算機(jī)來(lái)實(shí)現(xiàn)測(cè)量設(shè)備、識(shí)別設(shè)備或者追蹤設(shè)備的程序。
權(quán)利要求
1.一種用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于包括圖像輸入裝置，用于輸入包含要估計(jì)狀態(tài)的對(duì)象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個(gè)；三維形狀數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)對(duì)象的三維形狀數(shù)據(jù)；比較圖像產(chǎn)生裝置，用于通過使用存儲(chǔ)在所述三維形狀數(shù)據(jù)存儲(chǔ)裝置中的三維形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對(duì)象的圖像，作為比較圖像；圖像位置關(guān)系檢測(cè)裝置，用于針對(duì)圖像中具有預(yù)定尺寸的每一個(gè)子區(qū)域，檢測(cè)輸入圖像和所述比較圖像產(chǎn)生裝置所產(chǎn)生的比較圖像之間的位置關(guān)系；校正量計(jì)算裝置，用于通過使用所述圖像位置關(guān)系檢測(cè)裝置所檢測(cè)的位置關(guān)系，來(lái)計(jì)算比較圖像中對(duì)象狀態(tài)的校正量；以及狀態(tài)校正裝置，用于通過使用所述校正量計(jì)算裝置所獲得的校正量，來(lái)校正由所述比較圖像產(chǎn)生裝置在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)，從而計(jì)算新的對(duì)象狀態(tài)。
2.根據(jù)權(quán)利要求1所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于還包括狀態(tài)確定裝置，用于根據(jù)所述校正量計(jì)算裝置所獲得的校正量，來(lái)確定所述比較圖像產(chǎn)生裝置所設(shè)置的對(duì)象狀態(tài)是否是適當(dāng)?shù)?，其中，?dāng)確定對(duì)象狀態(tài)適當(dāng)時(shí)，輸出所述比較圖像產(chǎn)生裝置所設(shè)置的對(duì)象狀態(tài)，作為估計(jì)值，以及當(dāng)確定對(duì)象狀態(tài)不適當(dāng)時(shí)，通過將所述狀態(tài)校正裝置所計(jì)算的新的對(duì)象狀態(tài)設(shè)置為預(yù)定狀態(tài)，再次執(zhí)行估計(jì)處理，所述估計(jì)處理包括所述比較圖像產(chǎn)生裝置的比較圖像產(chǎn)生處理、所述圖像位置關(guān)系檢測(cè)裝置的位置關(guān)系檢測(cè)處理以及所述校正量計(jì)算裝置的校正量計(jì)算處理。
3.根據(jù)權(quán)利要求2所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于當(dāng)所述校正量計(jì)算裝置所獲得的校正量小于預(yù)定量時(shí)，所述狀態(tài)確定裝置確定對(duì)象狀態(tài)是適當(dāng)?shù)模⑶耶?dāng)校正量不小于預(yù)定量時(shí)，確定對(duì)象狀態(tài)是不適當(dāng)?shù)摹?br> 4.根據(jù)權(quán)利要求2所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于還包括第一相似度計(jì)算裝置，用于在再次執(zhí)行估計(jì)處理之后計(jì)算比較圖像和輸入圖像之間的第一相似度；以及第二相似度計(jì)算裝置，用于在再次執(zhí)行估計(jì)處理之前計(jì)算比較圖像和輸入圖像之間的第二相似度；其中，所述狀態(tài)確定裝置將第一相似度與第二相似度進(jìn)行比較，當(dāng)?shù)谝幌嗨贫雀哂诘诙嗨贫葧r(shí)確定對(duì)象狀態(tài)是不適當(dāng)?shù)?，并且?dāng)?shù)谝幌嗨贫炔桓哂诘诙嗨贫葧r(shí)確定對(duì)象狀態(tài)是適當(dāng)?shù)摹?br> 5.根據(jù)權(quán)利要求1所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其中所述圖像輸入裝置包括用于輸入包含對(duì)象的運(yùn)動(dòng)圖像的裝置，以及所述圖像位置關(guān)系檢測(cè)裝置使用運(yùn)動(dòng)圖像的最新的幀圖像作為輸入圖像。
6.根據(jù)權(quán)利要求1所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于所述比較圖像產(chǎn)生裝置包括用于再現(xiàn)基于照明條件而改變的對(duì)象表面的亮度值的裝置；以及用于通過使用再現(xiàn)亮度值產(chǎn)生在接近于輸入圖像的照明條件下的比較圖像的裝置。
7.根據(jù)權(quán)利要求6所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于還包括照明基底圖像組存儲(chǔ)裝置，用于存儲(chǔ)表示基于照明條件的對(duì)象表面的亮度變化的照明基底圖像組，其中，所述比較圖像產(chǎn)生裝置通過使用存儲(chǔ)在所述照明基底圖像組存儲(chǔ)裝置中的照明基底圖像組，再現(xiàn)對(duì)象表面的亮度值。
8.根據(jù)權(quán)利要求7所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于還包括三維形狀測(cè)量裝置，用于測(cè)量對(duì)象的三維形狀數(shù)據(jù)和對(duì)象表面的反射比數(shù)據(jù)；以及照明基底計(jì)算裝置，用于通過使用所述三維形狀測(cè)量裝置所測(cè)量的三維形狀數(shù)據(jù)和對(duì)象表面的反射比數(shù)據(jù)，來(lái)計(jì)算表示基于照明條件的對(duì)象表面的亮度中的變化的照明基底圖像。
9.根據(jù)權(quán)利要求8所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于所述照明基底計(jì)算裝置計(jì)算表示在多個(gè)照明條件下的三維形狀數(shù)據(jù)的每一個(gè)點(diǎn)的亮度值的矢量組，通過矢量組的主分量分析，獲得按照特征值降序的基底矢量組，并且輸出基底矢量組，作為照明基底圖像組，以及所述比較圖像產(chǎn)生裝置通過使用對(duì)象的三維形狀數(shù)據(jù)，獲得對(duì)象的三維形狀數(shù)據(jù)的每一個(gè)點(diǎn)和對(duì)象處于當(dāng)前估計(jì)值中的圖像的象素之間的對(duì)應(yīng)，通過使用該對(duì)應(yīng)，產(chǎn)生照明基底圖像組投影到對(duì)象處于估計(jì)值中的圖像的圖像照明基底組，并且通過圖像照明基底組的線性結(jié)合，產(chǎn)生與輸入圖像最接近的圖像，作為比較圖像。
10.根據(jù)權(quán)利要求1所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于所述校正量計(jì)算裝置通過使用對(duì)象的三維形狀數(shù)據(jù)和針對(duì)每一個(gè)子區(qū)域表示比較圖像和輸入圖像之間位置關(guān)系的圖像位移分布，計(jì)算使與比較圖像中每一個(gè)子區(qū)域相對(duì)應(yīng)的對(duì)象部分的運(yùn)動(dòng)量與圖像位移分布相接近的對(duì)象的三維運(yùn)動(dòng)，作為校正量。
11.根據(jù)權(quán)利要求1所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于還包括特征提取裝置，用于根據(jù)輸入圖像和所述比較圖像產(chǎn)生裝置所產(chǎn)生的比較圖像的亮度值，提取輸入圖像和比較圖像的每一個(gè)的圖像特征量，其中，所述圖像位置關(guān)系檢測(cè)裝置根據(jù)所述特征提取裝置所提取的圖像特征量，針對(duì)每一個(gè)子區(qū)域，檢測(cè)輸入圖像和比較圖像之間的位置關(guān)系。
12.一種估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于包括步驟輸入包含要估計(jì)狀態(tài)的對(duì)象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個(gè)；通過使用對(duì)象的三維形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對(duì)象的圖像，作為比較圖像；針對(duì)圖像中具有預(yù)定尺寸的每一個(gè)子區(qū)域，檢測(cè)比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測(cè)到的位置關(guān)系，來(lái)計(jì)算比較圖像中對(duì)象狀態(tài)的校正量；以及通過使用計(jì)算的校正量，來(lái)校正在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)，從而計(jì)算新的對(duì)象狀態(tài)。
13.根據(jù)權(quán)利要求12所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于還包括步驟根據(jù)計(jì)算的校正量，確定在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)是否是適當(dāng)?shù)模灰约爱?dāng)確定對(duì)象狀態(tài)適當(dāng)時(shí)，輸出設(shè)置在比較圖像產(chǎn)生中的對(duì)象狀態(tài)，作為估計(jì)值，其中，當(dāng)確定對(duì)象狀態(tài)不適當(dāng)時(shí)，通過將計(jì)算的新的對(duì)象狀態(tài)設(shè)置為預(yù)定狀態(tài)，再次執(zhí)行估計(jì)處理，所述估計(jì)處理包括產(chǎn)生比較圖像的步驟、檢測(cè)位置關(guān)系的步驟以及計(jì)算校正量的步驟。
14.根據(jù)權(quán)利要求13所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于在確定步驟中，當(dāng)校正量小于預(yù)定量時(shí)，確定對(duì)象狀態(tài)是適當(dāng)?shù)?，并且?dāng)校正量不小于預(yù)定量時(shí)，確定對(duì)象狀態(tài)是不適當(dāng)?shù)摹?br> 15.根據(jù)權(quán)利要求13所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)，其特征在于還包括步驟在再次執(zhí)行估計(jì)處理之后計(jì)算比較圖像和輸入圖像之間的第一相似度；以及在再次執(zhí)行估計(jì)處理之前計(jì)算比較圖像和輸入圖像之間的第二相似度；其中，在確定步驟中，將第一相似度與第二相似度進(jìn)行比較，當(dāng)?shù)谝幌嗨贫雀哂诘诙嗨贫葧r(shí)確定對(duì)象狀態(tài)是不適當(dāng)?shù)?，并且?dāng)?shù)谝幌嗨贫炔桓哂诘诙嗨贫葧r(shí)對(duì)象狀態(tài)是適當(dāng)?shù)摹?br> 16.根據(jù)權(quán)利要求12所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其中在輸入圖像的步驟中，輸入包含對(duì)象的運(yùn)動(dòng)圖像，以及在檢測(cè)位置關(guān)系的步驟中，使用運(yùn)動(dòng)圖像的最新的幀圖像作為輸入圖像。
17.根據(jù)權(quán)利要求12所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于產(chǎn)生比較圖像的步驟包括步驟再現(xiàn)基于照明條件而改變的對(duì)象表面的亮度值；以及通過使用再現(xiàn)亮度值，產(chǎn)生在接近于輸入圖像的照明條件下的比較圖像。
18.根據(jù)權(quán)利要求17所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于在產(chǎn)生比較圖像的步驟中，通過使用表示基于照明條件的對(duì)象表面的亮度變化的照明基底圖像組，再現(xiàn)對(duì)象表面的亮度值。
19.根據(jù)權(quán)利要求18所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于還包括步驟測(cè)量對(duì)象的三維形狀數(shù)據(jù)和對(duì)象表面的反射比數(shù)據(jù)；以及通過使用所述三維形狀測(cè)量裝置所測(cè)量的三維形狀數(shù)據(jù)和對(duì)象表面的反射比數(shù)據(jù)，來(lái)計(jì)算表示基于照明條件的對(duì)象表面的亮度中的變化的照明基底圖像。
20.根據(jù)權(quán)利要求19所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于在計(jì)算照明基底圖像的步驟中，計(jì)算表示在多個(gè)照明條件下的三維形狀數(shù)據(jù)的每一個(gè)點(diǎn)的亮度值的矢量組，通過矢量組的主分量分析，獲得按照特征值降序的基底矢量組，并且輸出基底矢量組，作為照明基底圖像組，以及在產(chǎn)生比較圖像的步驟中，通過使用對(duì)象的三維形狀數(shù)據(jù)，獲得對(duì)象的三維形狀數(shù)據(jù)的每一個(gè)點(diǎn)和對(duì)象處于當(dāng)前估計(jì)值中的圖像的象素之間的對(duì)應(yīng)，通過使用該對(duì)應(yīng)，產(chǎn)生照明基底圖像組投影到對(duì)象處于估計(jì)值中的圖像的圖像照明基底組，并且通過圖像照明基底組的線性結(jié)合，產(chǎn)生與輸入圖像最接近的圖像，作為比較圖像。
21.根據(jù)權(quán)利要求12所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于在計(jì)算校正量的步驟中，通過使用對(duì)象的三維形狀數(shù)據(jù)和針對(duì)每一個(gè)子區(qū)域表示比較圖像和輸入圖像之間位置關(guān)系的圖像位移分布，計(jì)算使與比較圖像中每一個(gè)子區(qū)域相對(duì)應(yīng)的對(duì)象部分的運(yùn)動(dòng)量與圖像位移分布相接近的對(duì)象的三維運(yùn)動(dòng)，作為校正量。
22.根據(jù)權(quán)利要求12所述的估計(jì)對(duì)象狀態(tài)的估計(jì)方法，其特征在于還包括步驟根據(jù)輸入圖像和比較圖像的亮度值，提取輸入圖像和比較圖像的每一個(gè)的圖像特征量，其中，在檢測(cè)位置關(guān)系的步驟中，根據(jù)圖像特征量，針對(duì)每一個(gè)子區(qū)域，檢測(cè)輸入圖像和比較圖像之間的位置關(guān)系。
23.一種用于估計(jì)對(duì)象位置的估計(jì)程序，所述程序使計(jì)算機(jī)執(zhí)行以下步驟輸入包含要估計(jì)狀態(tài)的對(duì)象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個(gè)；通過使用對(duì)象的三維形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對(duì)象的圖像，作為比較圖像；針對(duì)圖像中具有預(yù)定尺寸的每一個(gè)子區(qū)域，檢測(cè)比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測(cè)到的位置關(guān)系，來(lái)計(jì)算比較圖像中對(duì)象狀態(tài)的校正量；以及通過使用計(jì)算的校正量，來(lái)校正在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)，從而計(jì)算新的對(duì)象狀態(tài)。
24.根據(jù)權(quán)利要求23所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)還執(zhí)行步驟根據(jù)計(jì)算的校正量，確定在比較圖像產(chǎn)生過程中設(shè)置的對(duì)象狀態(tài)是否是適當(dāng)?shù)模划?dāng)確定對(duì)象狀態(tài)適當(dāng)時(shí)，輸出設(shè)置在比較圖像產(chǎn)生中的對(duì)象狀態(tài)，作為估計(jì)值；以及當(dāng)確定對(duì)象狀態(tài)不適當(dāng)時(shí)，通過將計(jì)算的新的對(duì)象狀態(tài)設(shè)置為預(yù)定狀態(tài)，再次執(zhí)行估計(jì)處理，所述估計(jì)處理包括產(chǎn)生比較圖像的步驟、檢測(cè)位置關(guān)系的步驟以及計(jì)算校正量的步驟。
25.根據(jù)權(quán)利要求24所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)執(zhí)行以下步驟，作為確定步驟當(dāng)校正量小于預(yù)定量時(shí)，確定對(duì)象狀態(tài)是適當(dāng)?shù)?，并且?dāng)校正量不小于預(yù)定量時(shí)，確定對(duì)象狀態(tài)是不適當(dāng)?shù)摹?br> 26.根據(jù)權(quán)利要求24所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)還執(zhí)行在再次執(zhí)行估計(jì)處理之后計(jì)算比較圖像和輸入圖像之間的第一相似度的步驟；在再次執(zhí)行估計(jì)處理之前計(jì)算比較圖像和輸入圖像之間的第二相似度的步驟；以及確定步驟，將第一相似度與第二相似度進(jìn)行比較，當(dāng)?shù)谝幌嗨贫雀哂诘诙嗨贫葧r(shí)確定對(duì)象狀態(tài)是不適當(dāng)?shù)?，并且?dāng)?shù)谝幌嗨贫炔桓哂诘诙嗨贫葧r(shí)對(duì)象狀態(tài)是適當(dāng)?shù)摹?br> 27.根據(jù)權(quán)利要求23所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)執(zhí)行輸入圖像的步驟，輸入包含對(duì)象的運(yùn)動(dòng)圖像，以及檢測(cè)位置關(guān)系的步驟，使用運(yùn)動(dòng)圖像的最新的幀圖像作為輸入圖像。
28.根據(jù)權(quán)利要求23所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，在產(chǎn)生比較圖像的步驟中，所述程序使計(jì)算機(jī)執(zhí)行步驟再現(xiàn)基于照明條件而改變的對(duì)象表面的亮度值；以及通過使用再現(xiàn)亮度值，產(chǎn)生在接近于輸入圖像的照明條件下的比較圖像。
29.根據(jù)權(quán)利要求28所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)執(zhí)行以下步驟，作為產(chǎn)生比較圖像的步驟通過使用表示基于照明條件的對(duì)象表面的亮度變化的照明基底圖像組，再現(xiàn)對(duì)象表面的亮度值。
30.根據(jù)權(quán)利要求29所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)還執(zhí)行步驟測(cè)量對(duì)象的三維形狀數(shù)據(jù)和對(duì)象表面的反射比數(shù)據(jù)；以及通過使用所述三維形狀測(cè)量裝置所測(cè)量的三維形狀數(shù)據(jù)和對(duì)象表面的反射比數(shù)據(jù)，來(lái)計(jì)算表示基于照明條件的對(duì)象表面的亮度中的變化的照明基底圖像。
31.根據(jù)權(quán)利要求30所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)執(zhí)行計(jì)算照明基底圖像的步驟，計(jì)算表示在多個(gè)照明條件下的三維形狀數(shù)據(jù)的每一個(gè)點(diǎn)的亮度值的矢量組，通過矢量組的主分量分析，獲得按照特征值降序的基底矢量組，并且輸出基底矢量組，作為照明基底圖像組，以及產(chǎn)生比較圖像的步驟，通過使用對(duì)象的三維形狀數(shù)據(jù)，獲得對(duì)象的三維形狀數(shù)據(jù)的每一個(gè)點(diǎn)和對(duì)象處于當(dāng)前估計(jì)值中的圖像的象素之間的對(duì)應(yīng)，通過使用該對(duì)應(yīng)，產(chǎn)生照明基底圖像組投影到對(duì)象處于估計(jì)值中的圖像的圖像照明基底組，并且通過圖像照明基底組的線性結(jié)合，產(chǎn)生與輸入圖像最接近的圖像，作為比較圖像。
32.根據(jù)權(quán)利要求23所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)執(zhí)行以下步驟，作為計(jì)算校正量的步驟通過使用對(duì)象的三維形狀數(shù)據(jù)和針對(duì)每一個(gè)子區(qū)域表示比較圖像和輸入圖像之間位置關(guān)系的圖像位移分布，計(jì)算使與比較圖像中每一個(gè)子區(qū)域相對(duì)應(yīng)的對(duì)象部分的運(yùn)動(dòng)量與圖像位移分布相接近的對(duì)象的三維運(yùn)動(dòng)，作為校正量。
33.根據(jù)權(quán)利要求23所述的用于估計(jì)對(duì)象狀態(tài)的估計(jì)程序，所述程序使計(jì)算機(jī)還執(zhí)行根據(jù)輸入圖像和比較圖像的亮度值，提取輸入圖像和比較圖像的每一個(gè)的圖像特征量的步驟；以及檢測(cè)位置關(guān)系的步驟，根據(jù)圖像特征量，針對(duì)每一個(gè)子區(qū)域，檢測(cè)輸入圖像和比較圖像之間的位置關(guān)系。
全文摘要
公開了一種用于估計(jì)對(duì)象狀態(tài)的估計(jì)系統(tǒng)、估計(jì)方法和估計(jì)程序。一種3D模型存儲(chǔ)裝置(170)預(yù)先存儲(chǔ)目標(biāo)對(duì)象的3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)。比較圖像產(chǎn)生裝置(110)根據(jù)3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)，產(chǎn)生具有在與輸入圖像相同照明條件下按照當(dāng)前估計(jì)值的位置/姿態(tài)布置的目標(biāo)對(duì)象的再現(xiàn)圖像，作為比較圖像。圖像位移分布檢測(cè)裝置(120)將比較圖像分割為局部圖像(子區(qū)域)并且針對(duì)每一個(gè)子區(qū)域檢測(cè)比較圖像和輸入圖像之間的圖像位移分布。姿態(tài)差計(jì)算裝置(130)根據(jù)圖像位移分布和3D形狀數(shù)據(jù)，計(jì)算位置/姿態(tài)差值。當(dāng)確定位置/姿態(tài)差值小于預(yù)定閾值時(shí)，最后確定裝置(140)輸出當(dāng)前的位置/姿態(tài)估計(jì)值，作為最佳位置/姿態(tài)估計(jì)值(13)。因此，可以高速地估計(jì)包含在圖像值的對(duì)象的位置或姿態(tài)。
文檔編號(hào)G06T7/20GK1864176SQ200480028679
公開日2006年11月15日 申請(qǐng)日期2004年10月28日 優(yōu)先權(quán)日2003年10月30日
發(fā)明者石山壘 申請(qǐng)人:日本電氣株式會(huì)社