本發(fā)明涉及一種依據(jù)拍攝圖像來(lái)生成用于估計(jì)攝像裝置的位置和姿勢(shì)的圖像數(shù)據(jù)庫(kù)的信息處理裝置及信息處理裝置的控制方法。

背景技術(shù)：

近些年，活躍著如下混合現(xiàn)實(shí)(在下文中被稱為“mr”)技術(shù)的研究，其中，現(xiàn)實(shí)空間和虛擬空間被毫無(wú)違和感地融合并呈現(xiàn)。然而，在mr技術(shù)當(dāng)中，將虛擬空間覆蓋在現(xiàn)實(shí)空間上并呈現(xiàn)的增強(qiáng)現(xiàn)實(shí)(在下文中被稱為“ar”)技術(shù)備受關(guān)注。mr技術(shù)和ar技術(shù)中的一個(gè)重要問(wèn)題在于如何實(shí)時(shí)地在現(xiàn)實(shí)空間與虛擬空間之間精確地進(jìn)行對(duì)準(zhǔn)，并且已經(jīng)在該問(wèn)題上投入了大量的努力。mr和ar中的對(duì)準(zhǔn)問(wèn)題是以視頻透視方法獲得攝像裝置在場(chǎng)景內(nèi)(具體而言，在場(chǎng)景內(nèi)定義的基準(zhǔn)坐標(biāo)系中)的位置和姿勢(shì)的問(wèn)題。

作為實(shí)現(xiàn)視頻透視方法中的對(duì)準(zhǔn)的方法的代表性示例，存在如下的方法：在場(chǎng)景中布置形狀信息的已知的人造指示符，由攝像裝置對(duì)該指示符進(jìn)行拍攝并識(shí)別，從而獲得攝像裝置在基準(zhǔn)坐標(biāo)系中的位置和姿勢(shì)。根據(jù)攝像裝置拍攝的圖像內(nèi)的指示符的投影位置(圖像坐標(biāo))與作為已知信息的指示符在基準(zhǔn)坐標(biāo)系中的三維坐標(biāo)之間的對(duì)應(yīng)關(guān)系，來(lái)獲得攝像裝置在基準(zhǔn)坐標(biāo)系中的位置和姿勢(shì)。

此外，作為實(shí)現(xiàn)視頻透視方法中的對(duì)準(zhǔn)的方法，使用場(chǎng)景內(nèi)原始存在的特性(在下文中被稱為“自然特征”)而不使用人造指示符的對(duì)準(zhǔn)正被積極地研究。在t.drummondandr.cipolla:“real-timevisualtrackingofcomplexstructures”,ieeetrans.onpatternanalysisandmachineintelligence,vol.24,no.7,pp.932-946,2002.(在下文中被稱為“d1”)以及a.i.comport,e.marchand,andf.chaumette:“areal-timetrackerformarkerlessaugmentedreality”,proc.thesecondint'lsymp.onmixedandaugmentedreality(ismar03),pp.36-45,2003.(在下文中被稱為“d2”)中公開(kāi)了如下方法：基于圖像內(nèi)的邊緣與觀察對(duì)象的三維模型之間的對(duì)應(yīng)關(guān)系來(lái)獲得攝像裝置的位置和姿勢(shì)。當(dāng)在與三維模型相對(duì)應(yīng)的邊緣(對(duì)應(yīng)點(diǎn))的檢測(cè)中出現(xiàn)錯(cuò)誤檢測(cè)時(shí)，攝像裝置的位置和姿勢(shì)的精確度降低，并且mr和ar的對(duì)準(zhǔn)的精確度降低。因此，使用作為一種魯棒估計(jì)方法的m估計(jì)器，并且通過(guò)對(duì)d1和d2中的加權(quán)誤差進(jìn)行最小化來(lái)消除錯(cuò)誤檢測(cè)的影響。

同時(shí)，在g.simon,a.w.fitzgibbon,anda.zisserman:“markerlesstrackingusingplanarstructuresinthescene”,proc.int'lsymp.onaugmentedreality2000(isar2000),pp.120-128,2000.(在下文中被稱為“d3”)以及i.gordonandd.g.lowe:“scenemodelling,recognitionandtrackingwithinvariantfeatures”,proc.thethirdint'lsymp.onmixedandaugmentedreality(ismar04),pp.110-119,2004.(在下文中被稱為“d4”)中公開(kāi)了如下方法：使用由harris算子、moravec算子等檢測(cè)到的點(diǎn)特征而不是圖像上的邊緣，以獲得攝像裝置的位置和姿勢(shì)。與使用邊緣的情況類似，即使在使用點(diǎn)特征的情況下，也會(huì)出現(xiàn)錯(cuò)誤檢測(cè)的問(wèn)題。因此，通過(guò)d3和d4中的ransac(randomsampleconcensus，隨機(jī)采樣一致)算法來(lái)消除錯(cuò)誤檢測(cè)到的點(diǎn)特征。在使用ransac的錯(cuò)誤檢測(cè)消除中，通過(guò)使用隨機(jī)選擇的對(duì)應(yīng)點(diǎn)來(lái)估計(jì)攝像裝置的位置和姿勢(shì)，并且將未包括在與估計(jì)值匹配的對(duì)應(yīng)點(diǎn)的數(shù)量為最大的情況下的對(duì)應(yīng)點(diǎn)的集合中的對(duì)應(yīng)點(diǎn)，作為錯(cuò)誤檢測(cè)排除。

在d1至d4中引用的照相機(jī)位置和姿勢(shì)估計(jì)方法是，利用以在照相機(jī)圖像中未拍攝運(yùn)動(dòng)物體的環(huán)境(在下文中被稱為“靜態(tài)環(huán)境”)為前提的方法。在d1至d3中，由于通過(guò)幀之間的對(duì)應(yīng)點(diǎn)跟蹤來(lái)進(jìn)行照相機(jī)位置和姿勢(shì)估計(jì)，因此在被跟蹤的點(diǎn)在實(shí)際環(huán)境內(nèi)移動(dòng)的情況下，估計(jì)精確度降低。此外，估計(jì)精確度隨著能夠被跟蹤的點(diǎn)的數(shù)量減少、以及隨著跟蹤的錯(cuò)誤對(duì)應(yīng)的增加而降低，其中，能夠被跟蹤的點(diǎn)的數(shù)量減少是由于被跟蹤的點(diǎn)逐漸被位置和姿勢(shì)隨時(shí)間改變而改變的物體(在下文中被稱為“運(yùn)動(dòng)物體”)遮蔽而導(dǎo)致的。

此外，在d4中，從整個(gè)拍攝的圖像組中選擇的部分圖像組被登記在圖像數(shù)據(jù)庫(kù)中，并且通過(guò)從圖像數(shù)據(jù)庫(kù)進(jìn)行選擇并且使用相對(duì)于當(dāng)前圖像的相對(duì)位置和姿勢(shì)的估計(jì)誤差最小的圖像，來(lái)進(jìn)行對(duì)照相機(jī)位置和姿勢(shì)的估計(jì)。這里，考慮在人群或車輛通過(guò)、水流動(dòng)等的環(huán)境中構(gòu)建的數(shù)據(jù)庫(kù)的情況。在這樣的情況下，由于拍攝有運(yùn)動(dòng)物體的圖像被登記到數(shù)據(jù)庫(kù)中，因此無(wú)法在圖像數(shù)據(jù)庫(kù)中登記的圖像與當(dāng)前幀之間，正確地關(guān)聯(lián)環(huán)境中的物體。由于這個(gè)原因，難以在圖像中拍攝運(yùn)動(dòng)物體的動(dòng)態(tài)環(huán)境中，進(jìn)行參照?qǐng)D像數(shù)據(jù)庫(kù)的照相機(jī)位置和姿勢(shì)估計(jì)。

同時(shí)，傳統(tǒng)上，正在發(fā)展通過(guò)使用圖像處理技術(shù)和安裝到照相機(jī)的加速度傳感器等來(lái)估計(jì)圖像中拍攝的運(yùn)動(dòng)物體的區(qū)域的技術(shù)。然而，傳統(tǒng)上，無(wú)法使用圖像中拍攝的運(yùn)動(dòng)物體的區(qū)域來(lái)確定是否將照相機(jī)圖像登記到數(shù)據(jù)庫(kù)中。此外，在存在用于測(cè)量運(yùn)動(dòng)物體的位置和姿勢(shì)的功能的情況下，通過(guò)使用該測(cè)量功能的測(cè)量結(jié)果能夠估計(jì)圖像中的運(yùn)動(dòng)物體的區(qū)域。然而，傳統(tǒng)上，出現(xiàn)運(yùn)動(dòng)物體的區(qū)域的信息尚未被用來(lái)確定是否將照相機(jī)圖像登記到數(shù)據(jù)庫(kù)中。

技術(shù)實(shí)現(xiàn)要素：

通過(guò)本發(fā)明的實(shí)施例，提供了如下信息處理裝置及其控制方法，該信息處理裝置通過(guò)防止在估計(jì)攝像裝置的位置和姿勢(shì)時(shí)參照不適當(dāng)?shù)膱D像，來(lái)提高攝像裝置的位置和姿勢(shì)的估計(jì)的穩(wěn)定性。

根據(jù)本發(fā)明的一方面，提供一種信息處理裝置，其包括：獲取單元，被構(gòu)造為獲取由攝像裝置拍攝的圖像；檢測(cè)單元，被構(gòu)造為與由所述獲取單元獲取的圖像相關(guān)地檢測(cè)影響位置和姿勢(shì)估計(jì)的因素的發(fā)生；確定單元，被構(gòu)造為基于由所述檢測(cè)單元檢測(cè)到的因素，來(lái)確定是否對(duì)圖像進(jìn)行登記；以及構(gòu)建單元，被構(gòu)造為使用由所述確定單元確定要登記的圖像組，依據(jù)由所述獲取單元獲取的圖像來(lái)構(gòu)建用于估計(jì)所述攝像裝置的位置和姿勢(shì)的圖像數(shù)據(jù)庫(kù)。

根據(jù)本發(fā)明的另一方面，提供一種信息處理裝置，其包括：獲取單元，被構(gòu)造為獲取由攝像裝置拍攝的照相機(jī)圖像；檢測(cè)單元，被構(gòu)造為在照相機(jī)圖像中檢測(cè)對(duì)位置和姿勢(shì)估計(jì)產(chǎn)生不利影響的區(qū)域；構(gòu)建單元，被構(gòu)造為使用由所述獲取單元獲取的照相機(jī)圖像組，來(lái)依據(jù)照相機(jī)圖像構(gòu)建用于估計(jì)所述攝像裝置的位置和姿勢(shì)的圖像數(shù)據(jù)庫(kù)，其中所述構(gòu)建單元使用在所述圖像數(shù)據(jù)庫(kù)中登記的照相機(jī)圖像組中的、除了由所述檢測(cè)單元檢測(cè)到的區(qū)域的部分，來(lái)重建實(shí)際環(huán)境的三維結(jié)構(gòu)，并且將照相機(jī)圖像組中的各個(gè)照相機(jī)圖像與基于所述三維結(jié)構(gòu)的三維信息相關(guān)聯(lián)地存儲(chǔ)。

根據(jù)本發(fā)明的另一方面，提供一種信息處理裝置的控制方法，該控制方法包括：獲取由攝像裝置拍攝的圖像；與獲取的圖像相關(guān)地檢測(cè)影響位置和姿勢(shì)估計(jì)的因素的發(fā)生；基于檢測(cè)到的因素來(lái)確定是否對(duì)圖像進(jìn)行登記；以及使用確定要登記的圖像組，依據(jù)獲取的圖像來(lái)構(gòu)建用于估計(jì)所述攝像裝置的位置和姿勢(shì)的圖像數(shù)據(jù)庫(kù)。

根據(jù)本發(fā)明的另一方面，提供一種信息處理裝置的控制方法，該控制方法包括：獲取由攝像裝置拍攝的照相機(jī)圖像；在照相機(jī)圖像中檢測(cè)對(duì)位置和姿勢(shì)估計(jì)產(chǎn)生不利影響的區(qū)域；使用獲取的照相機(jī)圖像組，來(lái)依據(jù)照相機(jī)圖像構(gòu)建用于估計(jì)所述攝像裝置的位置和姿勢(shì)的圖像數(shù)據(jù)庫(kù)，其中，在所述圖像數(shù)據(jù)庫(kù)的構(gòu)建中，使用在所述圖像數(shù)據(jù)庫(kù)中登記的照相機(jī)圖像組中的、除了對(duì)位置和姿勢(shì)估計(jì)產(chǎn)生不利影響的區(qū)域的部分，來(lái)重建實(shí)際環(huán)境的三維結(jié)構(gòu)，并且將照相機(jī)圖像組中的各個(gè)照相機(jī)圖像與基于所述三維結(jié)構(gòu)的三維信息相關(guān)聯(lián)地存儲(chǔ)。

通過(guò)下面對(duì)示例性實(shí)施例的描述(參照附圖)，本發(fā)明的其他特征將變得清楚。

附圖說(shuō)明

圖1是例示根據(jù)第一實(shí)施例的信息處理裝置100的構(gòu)造的示例的框圖。

圖2a至圖2b是描述根據(jù)第一實(shí)施例的登記確定的圖。

圖3是例示根據(jù)第一實(shí)施例的位置和姿勢(shì)測(cè)量方法的處理過(guò)程的流程圖。

圖4是例示根據(jù)第二實(shí)施例的位置和姿勢(shì)測(cè)量方法的處理過(guò)程的流程圖。

圖5a至圖5d是描述根據(jù)第二實(shí)施例的登記確定的圖。

圖6a至圖6b是描述根據(jù)變型例的登記確定的圖。

圖7a至圖7b是描述根據(jù)變型例的登記確定的圖。

圖8是例示信息處理裝置100的硬件構(gòu)造的示例的框圖。

具體實(shí)施方式

下面參照附圖詳細(xì)給出關(guān)于本發(fā)明的優(yōu)選實(shí)施例的一些描述。

<第一實(shí)施例>

圖1是例示根據(jù)第一實(shí)施例的信息處理裝置100的構(gòu)造的示例的框圖。信息處理裝置100具有圖像獲取單元101、檢測(cè)單元102、圖像登記單元103、圖像數(shù)據(jù)庫(kù)104、重建單元105、位置和姿勢(shì)估計(jì)單元106以及mr圖像生成單元107。觀察者保持?jǐn)z像單元180并且實(shí)際環(huán)境出現(xiàn)在由攝像單元180獲取的圖像(照相機(jī)圖像)上。

第一實(shí)施例的信息處理裝置100使用由攝像單元180(照相機(jī))拍攝的圖像(照相機(jī)圖像)，以生成用于估計(jì)攝像單元180的位置和姿勢(shì)的圖像數(shù)據(jù)庫(kù)104。首先，在圖像數(shù)據(jù)庫(kù)104的生成中，檢測(cè)單元102對(duì)由圖像獲取單元101獲取的圖像(照相機(jī)圖像)，檢測(cè)影響位置和姿勢(shì)估計(jì)的因素的出現(xiàn)。本實(shí)施例的檢測(cè)單元102檢測(cè)在獲取的圖像中存在的預(yù)定的運(yùn)動(dòng)物體的區(qū)域(例如人的手部區(qū)域)，作為上述因素。圖像登記單元103基于檢測(cè)單元102的因素檢測(cè)結(jié)果，來(lái)確定是否在圖像數(shù)據(jù)庫(kù)104中登記輸入的照相機(jī)圖像。由此，避免對(duì)不適于位置和姿勢(shì)估計(jì)的照相機(jī)圖像進(jìn)行登記，并且利用適于位置和姿勢(shì)估計(jì)的照相機(jī)圖像生成圖像數(shù)據(jù)庫(kù)104。此外，在mr圖像的生成中，位置和姿勢(shì)估計(jì)單元106通過(guò)參照?qǐng)D像數(shù)據(jù)庫(kù)104，根據(jù)依次輸入的照相機(jī)圖像，來(lái)估計(jì)攝像單元180相對(duì)于實(shí)際環(huán)境的位置和姿勢(shì)。mr圖像生成單元107基于照相機(jī)圖像和由位置和姿勢(shì)估計(jì)單元106估計(jì)的攝像單元180的位置和姿勢(shì)，來(lái)生成mr圖像。

注意，在第一實(shí)施例中，假設(shè)使用如下對(duì)準(zhǔn)方法，該對(duì)準(zhǔn)方法使用通過(guò)立體圖像處理估計(jì)的亮度梯度的三維分布的投影。此外，在第一實(shí)施例中，檢測(cè)人的手部作為上面描述的預(yù)定的運(yùn)動(dòng)物體。具體地，檢測(cè)單元102在從觀察者保持的攝像單元180獲取的照相機(jī)圖像中檢測(cè)被拍攝為運(yùn)動(dòng)物體的(觀察者的)手部。注意，盡管在第一實(shí)施例中將觀察者的手部用作運(yùn)動(dòng)物體，但是不限于此。例如，也可以檢測(cè)人的腿部或腳部、電子設(shè)備線纜、周邊出現(xiàn)的其他人等作為預(yù)定的運(yùn)動(dòng)物體。作為選擇，除了或代替檢測(cè)事先決定的物體作為運(yùn)動(dòng)物體，也可以從依次輸入的照相機(jī)圖像中檢測(cè)實(shí)際運(yùn)動(dòng)的物體作為運(yùn)動(dòng)物體，并可以使用該物體作為運(yùn)動(dòng)物體。

通過(guò)例如視頻采集板、ieee1394接口板、usb端口等來(lái)實(shí)現(xiàn)圖像獲取單元101，并且圖像獲取單元101從攝像單元180來(lái)獲取照相機(jī)圖像。在圖像獲取單元101中，第一圖像獲取單元101a獲取用于初始化圖像數(shù)據(jù)庫(kù)104的照相機(jī)圖像，第二圖像獲取單元101b從攝像單元180獲取用于mr應(yīng)用的照相機(jī)圖像。注意，用于初始化的照相機(jī)圖像是拍攝圖像的攝像單元180的位置和姿勢(shì)為已知的拍攝圖像，并且可以從攝像單元180獲取拍攝圖像，或者可以從存儲(chǔ)這種拍攝圖像的存儲(chǔ)裝置(未示出)獲取拍攝圖像。此外，盡管從功能構(gòu)造的角度將第一圖像獲取單元101a和第二圖像獲取單元101b分開(kāi)例示為兩個(gè)塊，但是并非必須使用分開(kāi)的硬件來(lái)實(shí)現(xiàn)這些功能。

檢測(cè)單元102從圖像獲取單元101獲取的照相機(jī)圖像中檢測(cè)運(yùn)動(dòng)物體，并且將檢測(cè)結(jié)果提供給圖像登記單元103。第一檢測(cè)單元102a在第一圖像獲取單元101a獲取的照相機(jī)圖像中檢測(cè)運(yùn)動(dòng)物體的區(qū)域(在下文中被稱為“運(yùn)動(dòng)物體區(qū)域”)，并且第二檢測(cè)單元102b在第二圖像獲取單元101b獲取的照相機(jī)圖像中檢測(cè)運(yùn)動(dòng)物體區(qū)域。此外，盡管從功能構(gòu)造的角度將第一檢測(cè)單元102a和第二檢測(cè)單元102b分開(kāi)例示為兩個(gè)塊，但是并非必須使用分開(kāi)的硬件來(lái)實(shí)現(xiàn)這些功能。

圖像登記單元103包括圖像選擇單元121和登記確定單元122。圖像選擇單元121基于第一檢測(cè)單元102a的運(yùn)動(dòng)物體區(qū)域檢測(cè)結(jié)果，來(lái)從第一圖像獲取單元101a獲取的照相機(jī)圖像中選擇(選擇確定)用于初始化的照相機(jī)圖像。被選擇的用于初始化的照相機(jī)圖像被登記到圖像數(shù)據(jù)庫(kù)104中。登記確定單元122基于第二檢測(cè)單元102b的運(yùn)動(dòng)物體區(qū)域檢測(cè)結(jié)果，來(lái)確定(登記確定)是否在執(zhí)行mr應(yīng)用的同時(shí)將從圖像獲取單元101連續(xù)輸入的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中。將確定登記的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中。此外，從功能構(gòu)造的角度將圖像選擇單元121和登記確定單元122分開(kāi)例示為兩個(gè)塊，但是并非必須使用分開(kāi)的硬件來(lái)實(shí)現(xiàn)這些功能。攝像單元180連接到第一圖像獲取單元101a和第二圖像獲取單元101b。顯示單元190連接到mr圖像生成單元107。

給出關(guān)于上述構(gòu)造的更詳細(xì)的描述。觀察者保持?jǐn)z像單元180，從攝像單元180獲取的照相機(jī)圖像中拍攝有實(shí)際環(huán)境，并且在某些情況下拍攝觀察者的手部。由第一圖像獲取單元101a和第二圖像獲取單元101b獲取的照相機(jī)圖像被分別輸入到第一檢測(cè)單元102a和第二檢測(cè)單元102b。第一檢測(cè)單元102a和第二檢測(cè)單元102b從輸入的照相機(jī)圖像中檢測(cè)運(yùn)動(dòng)物體區(qū)域。

第一檢測(cè)單元102a和第二檢測(cè)單元102b檢測(cè)照相機(jī)圖像中拍攝的、能夠移動(dòng)的特定物體的區(qū)域，作為運(yùn)動(dòng)物體區(qū)域。在本實(shí)施例中，檢測(cè)“手部”作為特定物體。假設(shè)觀察者的手部在實(shí)際環(huán)境的物體的前面。注意，在本實(shí)施例中，假設(shè)基于預(yù)先在存儲(chǔ)單元(未示出)中設(shè)置的手部顏色的定義來(lái)檢測(cè)手部區(qū)域。例如，能夠預(yù)先拍攝觀察者的手部，設(shè)置代表手部顏色的顏色區(qū)域，然后通過(guò)對(duì)照相機(jī)圖像中的像素進(jìn)行閾值處理來(lái)估計(jì)手部區(qū)域。當(dāng)然，獲取手部區(qū)域的方法不限于此，并且可以使用任何公知方法，例如通過(guò)基于附裝到手腕或手指的位置傳感器的信息的橢圓擬合來(lái)進(jìn)行估計(jì)。

圖像選擇單元121基于第一檢測(cè)單元102a從由第一圖像獲取單元101a獲取的初始照相機(jī)圖像組中檢測(cè)到的運(yùn)動(dòng)物體區(qū)域，來(lái)選擇(選擇確定)用于初始化的照相機(jī)圖像以登記到圖像數(shù)據(jù)庫(kù)104中。注意，在本實(shí)施例中，運(yùn)動(dòng)物體區(qū)域是拍攝的(觀察者的)手部的區(qū)域。被選擇的用于初始化的照相機(jī)圖像可以是一個(gè)圖像或者可以是多個(gè)圖像。在本實(shí)施例中，假設(shè)選擇一個(gè)用于初始化的照相機(jī)圖像(在第二實(shí)施例中描述選擇多個(gè)用于初始化的照相機(jī)圖像的示例)。登記確定單元122基于第二檢測(cè)單元102b在登記用于初始化的照相機(jī)圖像之后檢測(cè)到的運(yùn)動(dòng)物體區(qū)域，來(lái)確定(登記確定)是否將第二圖像獲取單元101b依次獲取的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中。

注意，在本實(shí)施例中，從照相機(jī)圖像中檢測(cè)到的運(yùn)動(dòng)物體區(qū)域的大小被視為用于圖像選擇單元121的選擇確定和登記確定單元122的登記確定的確定條件。此外，照相機(jī)圖像中的亮度梯度也被用作選擇確定和登記確定的確定條件。因此，本實(shí)施例的第一檢測(cè)單元102a和第二檢測(cè)單元102b也從照相機(jī)圖像中檢測(cè)亮度梯度。

重建單元105整合圖像數(shù)據(jù)庫(kù)104中保持的照相機(jī)圖像組，估計(jì)實(shí)際環(huán)境的三維結(jié)構(gòu)并通過(guò)重建生成三維結(jié)構(gòu)數(shù)據(jù)。三維結(jié)構(gòu)數(shù)據(jù)是保持點(diǎn)的坐標(biāo)位置和點(diǎn)的顏色的點(diǎn)組的數(shù)據(jù)。這里，點(diǎn)的坐標(biāo)位置是實(shí)際環(huán)境中的特定位置和姿勢(shì)被定義為坐標(biāo)系的基準(zhǔn)的三維坐標(biāo)值。例如，通過(guò)對(duì)圖像數(shù)據(jù)庫(kù)104中保持的照相機(jī)圖像進(jìn)行整合和處理以構(gòu)建單個(gè)三維模型的方法(諸如sfm(structurefrommotion運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)))，來(lái)實(shí)現(xiàn)對(duì)三維結(jié)構(gòu)的估計(jì)。與由重建單元105生成的三維信息(三維結(jié)構(gòu)數(shù)據(jù))相關(guān)聯(lián)的照相機(jī)圖像組，被作為登記圖像組存儲(chǔ)在圖像數(shù)據(jù)庫(kù)104中。以這種方式，攝像單元180的位置和姿勢(shì)信息(也被稱為“攝像位置和姿勢(shì)”)與圖像數(shù)據(jù)庫(kù)104中的登記圖像組的各個(gè)照相機(jī)圖像相關(guān)聯(lián)。

位置和姿勢(shì)估計(jì)單元106將由第二圖像獲取單元101b獲取的照相機(jī)圖像與在圖像數(shù)據(jù)庫(kù)104中存儲(chǔ)的登記圖像組進(jìn)行比較，并且估計(jì)攝像單元180的攝像位置和姿勢(shì)。通過(guò)基于具有最高相似度的圖像的位置/姿勢(shì)信息在圖像之間進(jìn)行匹配，來(lái)進(jìn)行攝像位置和姿勢(shì)的估計(jì)。

mr圖像生成單元107通過(guò)基于由位置和姿勢(shì)估計(jì)單元106獲取的攝像單元180的攝像位置和姿勢(shì)的估計(jì)值，在由第二圖像獲取單元101b依次獲取的照相機(jī)圖像上繪制虛擬物體數(shù)據(jù)，來(lái)生成mr圖像。生成的mr圖像被發(fā)送到顯示單元190并被顯示。顯示單元190由頭戴式顯示器、平視顯示器和移動(dòng)顯示器等構(gòu)成，并向觀察者呈現(xiàn)mr生成單元107生成的mr圖像。

接下來(lái)，描述第一實(shí)施例中的mr圖像生成處理。圖2a和2b是用于描述圖像登記單元103進(jìn)行的初始圖像的選擇和和照相機(jī)圖像的登記的圖。圖3是例示第一實(shí)施例中的mr圖像生成處理過(guò)程的流程圖。步驟s300至步驟s303是主要由圖像選擇單元121進(jìn)行的初始化操作。步驟s304至步驟s309是在mr應(yīng)用的操作期間執(zhí)行的用于照相機(jī)圖像的登記(更新圖像數(shù)據(jù)庫(kù)104)和mr圖像的生成的處理。對(duì)從攝像單元180依次輸入的照相機(jī)圖像(視頻)反復(fù)執(zhí)行步驟s304至步驟s309的處理。在下文中，使用圖1、圖2a和圖2b以及圖3給出關(guān)于第一實(shí)施例中的mr圖像生成的處理過(guò)程的描述。

在步驟s300中，第一圖像獲取單元101a獲取用于初始化的照相機(jī)圖像組。接下來(lái)，在步驟s301中，第一檢測(cè)單元102a對(duì)在步驟s300中獲取的照相機(jī)圖像組中的各個(gè)照相機(jī)圖像進(jìn)行運(yùn)動(dòng)物體區(qū)域和亮度梯度的檢測(cè)。因?yàn)榈谝粚?shí)施例中的運(yùn)動(dòng)物體是觀察者的手部，所以第一檢測(cè)單元102a從用于初始化的照相機(jī)圖像組中的各個(gè)圖像中檢測(cè)觀察者的手部區(qū)域作為運(yùn)動(dòng)物體區(qū)域。在步驟s302中，圖像選擇單元121基于在步驟s301中檢測(cè)到的運(yùn)動(dòng)物體區(qū)域和亮度梯度，從在步驟s300中獲取的用于初始化的照相機(jī)圖像組中選擇單個(gè)圖像登記到圖像數(shù)據(jù)庫(kù)104中，作為用于初始化的照相機(jī)圖像。在本實(shí)施例中，圖像選擇單元121選擇在圖像中不存在(觀察者的)手部區(qū)域并且亮度梯度數(shù)量大于或等于固定數(shù)量的一個(gè)圖像。

圖2a是本實(shí)施例中的、選擇在初始化時(shí)要被登記到數(shù)據(jù)庫(kù)中的單個(gè)圖像的情形的示例。未將照相機(jī)圖像200和照相機(jī)圖像201選為單個(gè)圖像是因?yàn)榇_定在這兩個(gè)照相機(jī)圖像中拍攝有手部(存在運(yùn)動(dòng)物體區(qū)域)。照相機(jī)圖像202未被選擇為單個(gè)圖像是由于即使在該圖像中未檢測(cè)到手部區(qū)域，檢測(cè)到的亮度梯度的數(shù)量也較小。照相機(jī)圖像203被選為單個(gè)圖像是因?yàn)槠渲胁淮嬖谟^察者的手部區(qū)域并且其中包括的亮度梯度的數(shù)量大于或等于固定數(shù)量。以這種方式，當(dāng)對(duì)單個(gè)圖像的選擇結(jié)束時(shí)，處理前進(jìn)到步驟s303。在步驟s303中，圖像登記單元103通過(guò)使用在步驟s302中選擇的單個(gè)圖像來(lái)生成圖像數(shù)據(jù)庫(kù)104。更具體地，圖像登記單元103將單個(gè)圖像登記到圖像數(shù)據(jù)庫(kù)中，并將登記的單個(gè)圖像的攝像位置和姿勢(shì)登記為基準(zhǔn)位置和姿勢(shì)。

如上所述，當(dāng)步驟s300至步驟s303的初始化處理結(jié)束時(shí)，處理前進(jìn)到步驟s304。在步驟s304至步驟s309中，通過(guò)使用從攝像單元180中依次獲取的照相機(jī)圖像(在本實(shí)施例中為運(yùn)動(dòng)圖像的各個(gè)幀)來(lái)更新圖像數(shù)據(jù)庫(kù)104，獲取關(guān)于獲取的各個(gè)照相機(jī)圖像的攝像單元180的位置和姿勢(shì)，并且生成mr圖像。

首先，在步驟s304中，第二圖像獲取單元101b從攝像單元180獲取照相機(jī)圖像。接下來(lái)，在步驟s305中，第二檢測(cè)單元102b對(duì)在步驟s304中獲取的各個(gè)照相機(jī)圖像進(jìn)行運(yùn)動(dòng)物體區(qū)域(在本實(shí)施例中為手部區(qū)域)檢測(cè)和亮度梯度檢測(cè)。此外，在步驟s306中，登記確定單元122確定是否將在步驟s304中獲取的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中。在確定登記圖像的情況下處理前進(jìn)到步驟s307，并且在確定不登記圖像的情況下，處理前進(jìn)到步驟s308。

在步驟s305中未檢測(cè)到手部區(qū)域并且其中包括的亮度梯度的數(shù)量大于或等于固定數(shù)量的情況下，在步驟s306的登記確定中，確定將照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中。當(dāng)然，用于登記確定的條件不限于此。例如，可以采用如下的構(gòu)造：使得將在照相機(jī)圖像中估計(jì)的手部區(qū)域的大小相對(duì)于整個(gè)圖像的百分比小于固定值、并且其中包括的亮度梯度的數(shù)量大于或等于固定數(shù)量的圖像，登記到圖像數(shù)據(jù)庫(kù)104中。注意，在登記包括手部區(qū)域的照相機(jī)圖像的情況下，添加表示照相機(jī)圖像的各個(gè)像素是否在手部區(qū)域中的信息。此外，可以采用如下的構(gòu)造：使得將各個(gè)像素在手部區(qū)域中的概率的信息添加到照相機(jī)圖像中。

此外，在登記與初始化時(shí)登記的圖像(步驟s302中選擇的圖像)具有高相似度的圖像時(shí)，數(shù)據(jù)庫(kù)的圖像數(shù)量很大。因此，可以采用如下構(gòu)造：使得不登記具有非常高的相似度的圖像(超過(guò)預(yù)定閾值的相似度的圖像)。

圖2b是用于描述本實(shí)施例中的關(guān)于是否將照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中的登記確定的示例的圖。不登記照相機(jī)圖像210是因?yàn)闄z測(cè)到的手部區(qū)域大。登記照相機(jī)圖像211時(shí)因?yàn)槭植繀^(qū)域小并且亮度梯度的數(shù)量大于或等于固定數(shù)量。不登記照相機(jī)圖像212是因?yàn)楸M管手部區(qū)域小，但是亮度梯度的數(shù)量小于固定數(shù)量。不登記照相機(jī)圖像213是因?yàn)榕c初始化時(shí)登記的照相機(jī)圖像203(圖2a)的相似度大于或等于閾值。登記照相機(jī)圖像214是因?yàn)椴淮嬖谑植繀^(qū)域并且亮度梯度的數(shù)量大于或等于固定數(shù)量。以這種方式，用于圖像選擇單元121的選擇確定的確定條件和用于登記確定單元122的登記確定的確定條件彼此不同，并且對(duì)適合作為用于初始化的照相機(jī)圖像和適合更新照相機(jī)數(shù)據(jù)庫(kù)的圖像進(jìn)行選擇和登記。

在步驟s307中，圖像登記單元103將在步驟s304中獲取的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中，并且通過(guò)使用重建單元105來(lái)更新圖像數(shù)據(jù)庫(kù)104。在圖像數(shù)據(jù)庫(kù)104的更新中，首先，重建單元105使通過(guò)初始化處理登記的圖像(在步驟s303中登記的圖像)的攝像位置和姿勢(shì)作為基準(zhǔn)，并對(duì)圖像數(shù)據(jù)庫(kù)104中的其他登記圖像的攝像位置和姿勢(shì)進(jìn)行估計(jì)。接下來(lái)，對(duì)其他登記圖像進(jìn)行各個(gè)圖像的攝像位置和姿勢(shì)的登記。例如在估計(jì)其他登記圖像的攝像位置和姿勢(shì)的方法中，通過(guò)sfm方法對(duì)數(shù)據(jù)庫(kù)內(nèi)的圖像組中的圖像進(jìn)行攝像位置和姿勢(shì)優(yōu)化計(jì)算，并且估計(jì)其他登記圖像的攝像位置和姿勢(shì)。

接下來(lái)，在步驟s308中，位置和姿勢(shì)估計(jì)單元106通過(guò)在步驟s304中獲取的照相機(jī)圖像估計(jì)照相機(jī)位置和姿勢(shì)。例如，估計(jì)照相機(jī)位置和姿勢(shì)的方法如下。首先，位置和姿勢(shì)估計(jì)單元106從圖像數(shù)據(jù)庫(kù)104的登記圖像組中選擇與當(dāng)前幀的照相機(jī)圖像具有最高相似度的一個(gè)圖像。接下來(lái)，位置和姿勢(shì)估計(jì)單元106在當(dāng)前幀的照相機(jī)圖像和從圖像數(shù)據(jù)庫(kù)104中選擇的登記圖像(與當(dāng)前幀具有最高相似度的登記圖像)這兩個(gè)圖像之間進(jìn)行圖像特征的關(guān)聯(lián)，并且估計(jì)這兩個(gè)圖像之間的相對(duì)位置和姿勢(shì)改變量。此外，位置和姿勢(shì)估計(jì)單元106基于估計(jì)的相對(duì)位置和姿勢(shì)的改變量、以及針對(duì)選擇的圖像登記的攝像位置和姿勢(shì)，來(lái)估計(jì)攝像單元180的位置和姿勢(shì)(照相機(jī)位置和姿勢(shì))。

然而，當(dāng)從運(yùn)動(dòng)物體區(qū)域提取出的圖像特征在當(dāng)前幀與選擇的圖像之間的圖像特征的關(guān)聯(lián)中被關(guān)聯(lián)時(shí)，估計(jì)誤差變大。由于這個(gè)原因，使用除運(yùn)動(dòng)物體區(qū)域以外的區(qū)域進(jìn)行圖像特征的關(guān)聯(lián)。在本實(shí)施例中，因?yàn)檫\(yùn)動(dòng)物體是觀察者的手部，所以通過(guò)在除手部區(qū)域以外的圖像區(qū)域中提取的圖像特征之間的關(guān)聯(lián)性，來(lái)估計(jì)當(dāng)前幀與選擇的圖像之間的相對(duì)位置和姿勢(shì)的改變量。注意，在添加各個(gè)像素在手部區(qū)域中的概率信息的情況下，將概率信息引入相似度計(jì)算，并且通過(guò)使用概率的加權(quán)計(jì)算來(lái)進(jìn)行圖像特征的關(guān)聯(lián)性估計(jì)。以這種方式，設(shè)置表示登記到數(shù)據(jù)庫(kù)中的圖像的各像素是運(yùn)動(dòng)物體的概率的值，并且通過(guò)使用這種方式能夠提高對(duì)準(zhǔn)的穩(wěn)定性。

在步驟s309中，mr圖像生成單元107基于在步驟s308中獲取的照相機(jī)位置和姿勢(shì)的估計(jì)值，通過(guò)組合虛擬物體與照相機(jī)圖像(當(dāng)前幀)來(lái)生成mr圖像。

如上所述，在第一實(shí)施例中，檢測(cè)在圖像上存在運(yùn)動(dòng)物體的區(qū)域并且基于運(yùn)動(dòng)物體區(qū)域覆蓋的圖像的百分比來(lái)對(duì)是否登記圖像進(jìn)行確定。由此，即使運(yùn)動(dòng)物體存在于由攝像單元180獲取的照相機(jī)圖像中，也能夠生成高精確度的圖像數(shù)據(jù)庫(kù)并對(duì)照相機(jī)位置和姿勢(shì)進(jìn)行高精確度的和穩(wěn)定的估計(jì)。具體地，通過(guò)第一實(shí)施例，能夠生成高精確度的圖像數(shù)據(jù)庫(kù)，并且通過(guò)基于圖像處理結(jié)果進(jìn)行關(guān)于是否登記圖像的確定，能夠?qū)φ障鄼C(jī)位置和姿勢(shì)進(jìn)行高精確度的和穩(wěn)定的估計(jì)。

注意，在上面描述的實(shí)施例中，盡管使用了運(yùn)動(dòng)物體區(qū)域和亮度梯度，但是代替亮度梯度或除了亮度梯度以外還能夠使用照相機(jī)圖像中包括的大量特征。例如，檢測(cè)單元102還可以從照相機(jī)圖像中進(jìn)行特征點(diǎn)檢測(cè)，而且圖像登記單元103可以使用檢測(cè)到的特征點(diǎn)的數(shù)量大于或等于閾值的事實(shí)，作為選擇確定或登記確定的確定條件之一。注意，在特征點(diǎn)的檢測(cè)中，盡管使用諸如harris算子的圖像濾波器，但特征點(diǎn)的檢測(cè)方法不限于此。例如，可以是任何公知的方法，例如基于顏色信息檢測(cè)在環(huán)境中人工定位的標(biāo)記(例如彩色球等)的方法。此外，對(duì)登記到圖像數(shù)據(jù)庫(kù)104中的照相機(jī)圖像與確定對(duì)象的照相機(jī)圖像之間的特征點(diǎn)進(jìn)行關(guān)聯(lián)，并且可以將獲取到大于或等于固定數(shù)量的成對(duì)的對(duì)應(yīng)點(diǎn)，作為用于登記確定的條件。

第二實(shí)施例

在第二實(shí)施例中，給出關(guān)于以下情況的描述：采用使用事先已知形狀的物體(已知形狀物體)作為用于初始化的物體的圖像數(shù)據(jù)庫(kù)的初始化，并且采用使用通過(guò)立體圖像處理估計(jì)的亮度梯度的三維分布的投影的對(duì)準(zhǔn)方法。在第二實(shí)施例中，類似于第一實(shí)施例，在從觀察者保持的攝像單元180獲取的照相機(jī)圖像中拍攝有觀察者的手部的情況下，給出關(guān)于用于獲得照相機(jī)在實(shí)際環(huán)境中的位置和姿勢(shì)的位置和姿勢(shì)測(cè)量方法的描述。

由于本實(shí)施例的信息處理裝置100的構(gòu)造與第一實(shí)施例(圖1)中的構(gòu)造類似，因此再次使用圖1的框圖來(lái)對(duì)其進(jìn)行描述。在下文中，主要給出關(guān)于第二實(shí)施例與第一實(shí)施例不同部分的描述。

觀察者保持?jǐn)z像單元180并且第一圖像獲取單元101a從攝像單元180獲取用于初始化的照相機(jī)圖像組。照相機(jī)圖像組中包括拍攝有觀察者的手部作為運(yùn)動(dòng)物體的圖像和拍攝有已知形狀物體的圖像。在信息處理裝置100中，第一檢測(cè)單元102a在第一圖像獲取單元101a獲取的用于初始化的照相機(jī)圖像組中的各照相機(jī)圖像中，檢測(cè)運(yùn)動(dòng)物體區(qū)域(手部區(qū)域)和已知形狀物體區(qū)域。獲取手部區(qū)域的方法與第一實(shí)施例中的方法相同。此外，在本實(shí)施例中，已知形狀物體是二維平面標(biāo)記，并且基于在存儲(chǔ)單元(未示出)中預(yù)先設(shè)置的形狀的定義來(lái)檢測(cè)該已知形狀物體。例如，通過(guò)使用傳統(tǒng)的標(biāo)記檢測(cè)方法(例如，katohirokazu:“artoolkit:libraryforvision-basedaugmentedreality”,technologyresearchreportoftheinstituteofelectronics,informationandcommunicationengineers,japan,instituteofelectronics,informationandcommunicationengineers,february14,2002,issue101,number652,p.79-86(在下文中被稱為“d5”)中引用的方法)，檢測(cè)單元102能夠從用于初始化的照相機(jī)圖像組中的各個(gè)照相機(jī)圖像中估計(jì)已知形狀物體的區(qū)域。

圖像選擇單元121基于第一檢測(cè)單元102a的檢測(cè)結(jié)果來(lái)選擇用于初始化的照相機(jī)圖像以登記到圖像數(shù)據(jù)庫(kù)104中。具體地，圖像選擇單元121基于運(yùn)動(dòng)物體區(qū)域(拍攝有手部的區(qū)域)和已知形狀物體的區(qū)域的分布，從多個(gè)照相機(jī)圖像中選擇一個(gè)或多個(gè)照相機(jī)圖像以登記到圖像數(shù)據(jù)庫(kù)104中。注意，在本實(shí)施例中，假設(shè)觀察者的手部是實(shí)際環(huán)境中的物體并且位于已知形狀物體前面。

在mr應(yīng)用中，第二檢測(cè)單元102b從第二圖像獲取單元101b獲取的照相機(jī)圖像中，檢測(cè)照相機(jī)圖像內(nèi)的運(yùn)動(dòng)物體區(qū)域和亮度梯度。登記確定單元122基于第二檢測(cè)單元102b對(duì)運(yùn)動(dòng)物體區(qū)域和亮度梯度的檢測(cè)結(jié)果，對(duì)是否將照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中進(jìn)行確定(登記確定)。如上所述，在圖像選擇單元121中，基于運(yùn)動(dòng)物體區(qū)域(拍攝有手部的區(qū)域)和已知形狀物體區(qū)域的分布，來(lái)確定是否選擇照相機(jī)圖像作為圖像數(shù)據(jù)庫(kù)104的初始圖像。例如，在圖像選擇單元121中，在選擇確定的確定條件中包括如下條件：運(yùn)動(dòng)物體區(qū)域的大小小于或等于預(yù)定值并且已知形狀物體的區(qū)域大于或等于預(yù)定值。同時(shí)，在登記確定單元122中，盡管在登記確定的確定條件中包括運(yùn)動(dòng)物體區(qū)域，但是確定條件中不包括已知形狀物體的區(qū)域的大小。

接下來(lái)，描述根據(jù)第二實(shí)施例的mr圖像生成處理過(guò)程。圖4是例示根據(jù)第二實(shí)施例的mr圖像生成處理過(guò)程的流程圖。步驟s400至步驟s403是主要由圖像選擇單元121進(jìn)行的初始化操作。步驟s404至步驟s409是在mr應(yīng)用的操作期間執(zhí)行的用于照相機(jī)圖像的登記(更新圖像數(shù)據(jù)庫(kù)104)和mr圖像的生成的處理。對(duì)從攝像單元180依次輸入的照相機(jī)圖像(視頻)反復(fù)地執(zhí)行步驟s404至步驟s409的處理。此外，圖5a至圖5d是用于描述根據(jù)第二實(shí)施例的圖像選擇單元121的選擇確定和登記確定單元122的登記確定的圖。

在步驟s400中，第一圖像獲取單元101a獲取用于初始化的照相機(jī)圖像組。接下來(lái)，在步驟s401中，第一檢測(cè)單元102a在照相機(jī)圖像中進(jìn)行已知形狀物體區(qū)域和運(yùn)動(dòng)物體區(qū)域的檢測(cè)。因?yàn)楸緦?shí)施例中的運(yùn)動(dòng)物體是觀察者的手部，所以第一檢測(cè)單元102a在由第一圖像獲取單元101a獲取的、用于初始化的照相機(jī)圖像組中的各個(gè)圖像中，檢測(cè)觀察者的手部區(qū)域。

在步驟s402中，圖像選擇單元121從用于初始化的照相機(jī)圖像組中選擇登記到圖像數(shù)據(jù)庫(kù)104中的、用于初始化的照相機(jī)圖像。這里，基于已知形狀物體區(qū)域和運(yùn)動(dòng)物體區(qū)域的檢測(cè)結(jié)果來(lái)設(shè)置選擇確定的基準(zhǔn)。例如，使運(yùn)動(dòng)物體區(qū)域小于或等于固定大小、以及已知形狀物體區(qū)域與運(yùn)動(dòng)物體區(qū)域的重疊面積小于或等于固定值，作為選擇確定的條件。注意，在s402中，選擇一個(gè)或多個(gè)照相機(jī)圖像作為用于初始化的照相機(jī)圖像。

圖5a、圖5b和圖5c是用于描述第二實(shí)施例中的對(duì)用于初始化的照相機(jī)圖像的選擇進(jìn)行確定的圖。圖5a中例示的照相機(jī)圖像500、501、502和503是由第一圖像獲取單元101a獲取的用于初始化的圖像組。圖5b是從圖5a中例示的照相機(jī)圖像500、501、502和503中檢測(cè)運(yùn)動(dòng)物體區(qū)域(手部區(qū)域)和已知形狀物體區(qū)域的結(jié)果。在圖中的示例中，在照相機(jī)圖像501、502和503中檢測(cè)到手部區(qū)域551和已知形狀物體區(qū)域552。圖5c是進(jìn)行關(guān)于圖5a中例示的照相機(jī)圖像500、501、502和503的選擇確定的結(jié)果。在本示例中，未將照相機(jī)圖像500選擇為用于初始化的照相機(jī)圖像是因?yàn)槲礄z測(cè)到已知形狀物體。未將照相機(jī)圖像501選擇為用于初始化的照相機(jī)圖像是因?yàn)樵谝阎螤钗矬w區(qū)域與手部區(qū)域之間的重疊面積大于或等于固定值。照相機(jī)圖像502和照相機(jī)圖像503被選擇為用于初始化的照相機(jī)圖像。當(dāng)對(duì)要登記到圖像數(shù)據(jù)庫(kù)104中的、用于初始化的照相機(jī)圖像的選擇結(jié)束時(shí)，處理前進(jìn)到步驟s403。

在步驟s403中，圖像登記單元103通過(guò)使用圖像選擇單元121在步驟s402中選擇的用于初始化的照相機(jī)圖像來(lái)生成圖像數(shù)據(jù)庫(kù)104。具體地，圖像登記單元103將在步驟s402中選擇的用于初始化的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104，并將登記的用于初始化的照相機(jī)圖像的攝像位置和姿勢(shì)，登記為基準(zhǔn)位置和姿勢(shì)。這里，在存在一個(gè)登記的用于初始化的照相機(jī)圖像的情況下，將圖像的攝像位置和姿勢(shì)登記為基準(zhǔn)位置和姿勢(shì)。此外，在存在兩個(gè)或更多個(gè)登記的用于初始化的照相機(jī)圖像的情況下，從這些圖像中選擇一個(gè)圖像并將其登記為基準(zhǔn)位置和姿勢(shì)。作為從多個(gè)登記的用于初始化的照相機(jī)圖像中選擇一個(gè)照相機(jī)圖像的方法，例如有如下方法：選擇已知形狀物體表現(xiàn)為最大的圖像。當(dāng)然，可以使用在步驟s402中未使用的諸如亮度梯度等的條件。當(dāng)生成圖像數(shù)據(jù)庫(kù)104時(shí)，處理前進(jìn)到步驟s404。

在步驟s404中，第二圖像獲取單元101b從攝像單元180獲取照相機(jī)圖像。接下來(lái)，在步驟s405中，第二檢測(cè)單元102b從第二圖像獲取單元101b獲取的照相機(jī)圖像中檢測(cè)運(yùn)動(dòng)物體區(qū)域(在本實(shí)施例中為手部區(qū)域)。此外，在步驟s406中，登記確定單元122確定是否將從步驟s404中獲取的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中。例如，基于第二檢測(cè)單元102b的運(yùn)動(dòng)物體區(qū)域和亮度梯度檢測(cè)結(jié)果，來(lái)進(jìn)行登記確定。例如，可以給出運(yùn)動(dòng)物體區(qū)域小于或等于固定量并且亮度梯度的數(shù)量大于或等于固定值，作為登記確定的確定條件。圖5d是例示第二實(shí)施例中的登記確定的示例的圖。在本示例中，因?yàn)檫\(yùn)動(dòng)物體區(qū)域大于固定量，所以不登記照相機(jī)圖像510。因?yàn)檫\(yùn)動(dòng)物體區(qū)域小于或等于固定量并且亮度梯度的數(shù)量大于或等于固定值，所以登記照相機(jī)圖像511。因?yàn)檫\(yùn)動(dòng)物體區(qū)域小于或等于固定量并且亮度梯度的數(shù)量小于固定值，所以不登記照相機(jī)圖像512。因?yàn)檫\(yùn)動(dòng)物體區(qū)域小于或等于固定量并且亮度梯度的數(shù)量大于或等于固定值，所以登記照相機(jī)圖像513。在本示例的情況下，登記確定的確定條件中不包括是否存在已知形狀物體。

如上所述，在第二實(shí)施例中，通過(guò)檢測(cè)用于初始化的已知形狀物體和在圖像上存在運(yùn)動(dòng)物體的區(qū)域，并基于這些檢測(cè)結(jié)果進(jìn)行圖像登記確定，能夠生成高精確度的圖像數(shù)據(jù)庫(kù)。此外，由此能夠進(jìn)行高精確度的和穩(wěn)定的照相機(jī)位置和姿勢(shì)估計(jì)。

如上所述，通過(guò)第一實(shí)施例和第二實(shí)施例，通過(guò)計(jì)算運(yùn)動(dòng)物體區(qū)域在照相機(jī)圖像中的百分比并進(jìn)行照相機(jī)圖像登記確定，防止了運(yùn)動(dòng)物體大的拍攝的照相機(jī)圖像的數(shù)據(jù)庫(kù)登記，并且，提高了照相機(jī)位置和姿勢(shì)估計(jì)的穩(wěn)定性。此外，能夠提高照相機(jī)圖像之間的相對(duì)位置和姿勢(shì)的計(jì)算的精確度并縮短計(jì)算時(shí)間。此外，在測(cè)量運(yùn)動(dòng)物體的位置和姿勢(shì)的構(gòu)造(附裝到手腕或手指的位置傳感器)的情況下，能夠通過(guò)使用從該構(gòu)造獲取的信息防止將運(yùn)動(dòng)物體大的拍攝的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中。結(jié)果，能夠提高照相機(jī)位置和姿勢(shì)的估計(jì)的穩(wěn)定性。

<第一變型例>

在第一實(shí)施例和第二實(shí)施例中，圖像登記單元103中的選擇確定和登記確定的確定條件考慮了運(yùn)動(dòng)物體區(qū)域(拍攝有運(yùn)動(dòng)物體的區(qū)域)。然而，考慮到對(duì)圖像數(shù)據(jù)庫(kù)104的構(gòu)建有不利影響的因素，確定條件不限于此，并且存在其他有用的標(biāo)準(zhǔn)。

例如，可以采用如下構(gòu)造：使得如圖6a和圖6b中所例示，基于對(duì)圖像模糊量估計(jì)的結(jié)果(模糊量估計(jì))來(lái)進(jìn)行圖像登記確定。通過(guò)該構(gòu)造，即使在例如初始化時(shí)和在操作mr應(yīng)用時(shí)在照相機(jī)圖像中發(fā)生模糊的情況下，也能夠適當(dāng)?shù)貥?gòu)建圖像數(shù)據(jù)庫(kù)并使照相機(jī)位置和姿勢(shì)估計(jì)穩(wěn)定/提高精確度。在這種情況下，例如可以包括作為模糊量估計(jì)的結(jié)果而獲取的模糊量的大小小于或等于閾值，作為選擇確定和登記確定的一個(gè)條件。注意，可以使用已知方法用于模糊量估計(jì)，例如在hashimotoshoichi,saitohideo:restorationofshiftvariantblurredimageestimatingtheparameterdistributionofpsf"instituteofelectronics,informationandcommunicationengineersacademicjournaldvol.j77-d2no.4pp.719-728,1994，(在下文中稱為“d6”)中引用的方法。此外，例如可以采用在檢測(cè)單元102中進(jìn)行模糊量的估計(jì)的構(gòu)造。

注意，作為通過(guò)照相機(jī)圖像的圖像處理而檢測(cè)到的模糊的類型，存在由于照相機(jī)的移動(dòng)而產(chǎn)生的運(yùn)動(dòng)模糊、通過(guò)照相機(jī)的焦點(diǎn)移位而產(chǎn)生的離焦模糊等。此外，可以想象照相機(jī)的物理移動(dòng)速度與模糊量成比例，并且能夠使用基于加速度傳感器或角速度傳感器的信號(hào)的模糊量估計(jì)。

圖6a是用于描述在照相機(jī)選擇單元121中進(jìn)行的對(duì)用于初始化的照相機(jī)圖像的選擇確定的圖。此外，圖6b是用于描述在登記確定單元122中進(jìn)行的照相機(jī)圖像的登記確定的圖。在圖6a中，照相機(jī)圖像600、601和602未被選擇為用于初始化的照相機(jī)圖像是因?yàn)楣烙?jì)的模糊量大于或等于固定值或運(yùn)動(dòng)物體區(qū)域大于或等于固定量。照相機(jī)圖像603被選擇為用于初始化的照相機(jī)圖像并被登記到圖像數(shù)據(jù)庫(kù)104中是因?yàn)楣烙?jì)的模糊量小于固定值并且未檢測(cè)到運(yùn)動(dòng)物體區(qū)域。圖6b是在運(yùn)動(dòng)物體區(qū)域(手部區(qū)域)小于或等于固定量、模糊量小于固定值、以及亮度梯度的數(shù)量大于或等于固定值被作為標(biāo)準(zhǔn)的情況下的登記確定的示例。只有滿足全部這些條件的照相機(jī)圖像611才被登記到圖像數(shù)據(jù)庫(kù)104中，并且照相機(jī)圖像610、612、613和614未被登記。

此外，當(dāng)不能正確地拍攝實(shí)際環(huán)境時(shí)(例如在由于下雨等原因使鏡頭附著有液體的情況下)，當(dāng)將這樣的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104中時(shí)，在位置和姿勢(shì)估計(jì)中產(chǎn)生負(fù)面效果。通過(guò)在考慮液體附著在鏡頭上的情況下進(jìn)行選擇確定和登記確定(如圖7a和7b中例示)，即使在初始化時(shí)和操作app期間液體附著在鏡頭上，也能夠提高照相機(jī)位置和姿勢(shì)估計(jì)的穩(wěn)定性和精確度。在這種情況下，例如估計(jì)液體附著到鏡頭的區(qū)域的分布，并且將作為估計(jì)結(jié)果的、有液體附著的區(qū)域的大小小于或等于閾值作為選擇確定或登記確定的確定條件之一。例如可以使用已知的技術(shù)，例如在miyaharatakayuki,tamatsuyukimasa,kurihatahiroyuki,takahashitomokazu,mekadayoshito,ideichiro,murasehiroshi:"rainfallrecognitionforvariousconditionsusinganin-vehiclecameraimagefordriverassistance",densotechnicalreview,vol.12,no.1,pp.50-57,2007(在下文中被稱為“d7”)中引用的方法，來(lái)估計(jì)有液體附著在鏡頭上的區(qū)域的分布。注意，通過(guò)檢測(cè)單元102來(lái)對(duì)液體附著在鏡頭上的區(qū)域的分布進(jìn)行估計(jì)。

圖7a例示了在圖像選擇單元121中進(jìn)行的選擇確定的狀態(tài)，圖7b例示了在登記確定單元122中進(jìn)行的登記確定的狀態(tài)。在圖7a中，照相機(jī)圖像700、701和702沒(méi)有被選為用于初始化的照相機(jī)圖像并且沒(méi)有被登記到圖像數(shù)據(jù)庫(kù)104中是因?yàn)橛幸后w附著的估計(jì)區(qū)域大于或等于固定值。同時(shí)，照相機(jī)圖像703被登記到圖像數(shù)據(jù)庫(kù)104中是因?yàn)橛幸后w附著的區(qū)域小于固定值。此外，在圖7b中，照相機(jī)圖像710、712、713和714未被登記到圖像數(shù)據(jù)庫(kù)104中是因?yàn)橛幸后w附著的估計(jì)區(qū)域大于或等于固定值。同時(shí)，照相機(jī)圖像711被登記到圖像數(shù)據(jù)庫(kù)104中是因?yàn)橛幸后w附著的區(qū)域小于固定值。

此外，當(dāng)照相機(jī)位置和姿勢(shì)不同時(shí)，存在如下情況：即使拍攝相同的物體，鏡面反射物體也對(duì)圖像數(shù)據(jù)庫(kù)104的構(gòu)建產(chǎn)生不利影響，這是因?yàn)榇嬖谕庥^不匹配的特性。因此，通過(guò)進(jìn)行考慮照相機(jī)圖像內(nèi)的鏡面反射物體區(qū)域的選擇確定或登記確定，即使在存在鏡子或玻璃表面的環(huán)境中，也能夠提高照相機(jī)位置和姿勢(shì)估計(jì)的穩(wěn)定性和精確度。在這種情況下，例如將鏡面反射物體的區(qū)域大小小于或等于閾值作為選擇確定和登記確定的確定條件之一，來(lái)進(jìn)行照相機(jī)圖像的登記。例如，在顯示四邊形的情況下，通過(guò)附加預(yù)先確定的顏色的帶子來(lái)包圍外周，并從照相機(jī)圖像檢測(cè)矩形，來(lái)實(shí)現(xiàn)對(duì)鏡面反射物體的區(qū)域的檢測(cè)。能夠使用諸如矩形檢測(cè)法的已知技術(shù)，作為用于從照相機(jī)圖像檢測(cè)矩形的方法。

如上所述，通過(guò)第一變型例，即使在發(fā)生圖像模糊的環(huán)境中也能提高照相機(jī)位置和姿勢(shì)估計(jì)的穩(wěn)定性。此外，即使在有液體附著在照相機(jī)鏡頭的環(huán)境中，也能夠提高照相機(jī)位置和姿勢(shì)估計(jì)的穩(wěn)定性。此外，即使在存在鏡面反射物體的環(huán)境中，也能夠提高照相機(jī)位置和姿勢(shì)估計(jì)的穩(wěn)定性。注意，不言而喻，可以適當(dāng)?shù)慕M合上述模糊量或有液體附著在鏡頭上的區(qū)域作為選擇確定或登記確定的標(biāo)準(zhǔn)。

<第二變型例>

盡管在第一實(shí)施例和第二實(shí)施例中，當(dāng)向圖像數(shù)據(jù)庫(kù)104登記照相機(jī)圖像時(shí)，通過(guò)提供某種確定標(biāo)準(zhǔn)來(lái)進(jìn)行對(duì)是否登記各個(gè)圖像的確定(選擇確定和登記確定)，但是不限于此。例如，可以采用如下的構(gòu)造：使得在圖像數(shù)據(jù)庫(kù)104中登記每個(gè)照相機(jī)圖像，并確定在位置和姿勢(shì)估計(jì)處理中是否使用登記的照相機(jī)圖像的各個(gè)像素。例如，在第一實(shí)施例中將包括運(yùn)動(dòng)物體區(qū)域的照相機(jī)圖像登記到圖像數(shù)據(jù)庫(kù)104的情況下，將被確定為運(yùn)動(dòng)物體區(qū)域的像素排除在數(shù)據(jù)庫(kù)更新處理(圖3的步驟s307)和照相機(jī)位置和姿勢(shì)估計(jì)處理(步驟s308)的計(jì)算目標(biāo)之外。由此，能夠縮短初始化處理的時(shí)間，而且還能夠優(yōu)化數(shù)據(jù)庫(kù)更新操作。

如上所述，通過(guò)第二變型例，能夠加快當(dāng)進(jìn)行照相機(jī)位置和姿勢(shì)估計(jì)時(shí)的初始化處理，并且還能夠縮短用于獲取登記在數(shù)據(jù)庫(kù)中的圖像的時(shí)間。

<第三實(shí)施例>

可以通過(guò)硬件或軟件來(lái)實(shí)現(xiàn)構(gòu)成第一實(shí)施例和第二實(shí)施例中的信息處理裝置100(圖1)的各個(gè)單元的某些功能或全部功能。例如，通過(guò)使計(jì)算機(jī)執(zhí)行作為硬件實(shí)現(xiàn)的預(yù)定軟件，計(jì)算機(jī)實(shí)現(xiàn)上述實(shí)施例中描述的信息處理裝置100的各個(gè)部分并進(jìn)行上述的操作。圖8是例示信息處理裝置100的硬件構(gòu)造的示例的框圖。

cpu801使用在ram802或rom803中存儲(chǔ)的程序或數(shù)據(jù)來(lái)對(duì)整個(gè)計(jì)算機(jī)進(jìn)行控制，并執(zhí)行被描述為信息處理裝置100在上述各實(shí)施例中進(jìn)行的各個(gè)處理。ram802具有用于臨時(shí)存儲(chǔ)從外部存儲(chǔ)裝置807或存儲(chǔ)介質(zhì)驅(qū)動(dòng)器808加載的程序和數(shù)據(jù)的區(qū)域。此外，ram802具有用于臨時(shí)存儲(chǔ)從外部裝置經(jīng)由i/f(接口)809接收到的數(shù)據(jù)的區(qū)域。外部裝置例如是攝像單元180。

此外，ram802還具有當(dāng)cpu801執(zhí)行各個(gè)處理時(shí)使用的工作區(qū)域。具體地，ram802能夠適當(dāng)?shù)靥峁└鞣N區(qū)域。計(jì)算機(jī)的設(shè)置數(shù)據(jù)、引導(dǎo)程序等被存儲(chǔ)在rom803中。鍵盤(pán)804和鼠標(biāo)805是操作輸入裝置的示例并根據(jù)用戶對(duì)cpu801的操作來(lái)輸入各種指令。顯示裝置806由顯示器構(gòu)成，并能夠以圖像、字符等來(lái)顯示cpu801的處理結(jié)果。顯示裝置806可以用作顯示單元190。

外部存儲(chǔ)裝置807是以硬盤(pán)驅(qū)動(dòng)器設(shè)備為代表的大容量信息存儲(chǔ)設(shè)備。os(操作系統(tǒng))、數(shù)據(jù)以及用于使cpu801執(zhí)行以上被描述為信息處理裝置進(jìn)行的各個(gè)處理的程序，被存儲(chǔ)在外部存儲(chǔ)裝置807中。在相應(yīng)的程序中，包括分別對(duì)應(yīng)于信息處理裝置的構(gòu)造的程序。此外，在該數(shù)據(jù)中，包括在前面描述中被描述為已知信息的數(shù)據(jù)。保存到外部存儲(chǔ)裝置807中的程序和數(shù)據(jù)根據(jù)cpu801的控制被適當(dāng)?shù)丶虞d到ram802中。cpu801通過(guò)使用加載的程序和數(shù)據(jù)以執(zhí)行處理，來(lái)執(zhí)行以上被描述為信息處理裝置進(jìn)行的各個(gè)處理。

存儲(chǔ)介質(zhì)驅(qū)動(dòng)器808讀取在諸如cd-rom或dvd-rom等的存儲(chǔ)介質(zhì)中存儲(chǔ)的數(shù)據(jù)和程序，并將數(shù)據(jù)和程序?qū)懭胂鄳?yīng)的存儲(chǔ)介質(zhì)中。注意，可以將被描述為存儲(chǔ)在外部存儲(chǔ)裝置807中的程序和數(shù)據(jù)的一些或全部存儲(chǔ)在存儲(chǔ)介質(zhì)中。存儲(chǔ)介質(zhì)驅(qū)動(dòng)器808從存儲(chǔ)介質(zhì)中讀取的程序和數(shù)據(jù)被輸出到外部存儲(chǔ)裝置807或ram802中。

i/f809由用于連接到攝像單元180的模擬視頻端口或數(shù)字輸入/輸出端口(例如ieee1394)、用于將組合圖像輸出到顯示裝置806的dvi端口等構(gòu)成。經(jīng)由i/f809接收到的數(shù)據(jù)被輸入到ram802或外部存儲(chǔ)裝置807中。注意，圖1中例示的圖像獲取單元101的一些功能通過(guò)i/f809實(shí)現(xiàn)。附圖標(biāo)記810是連接上述各個(gè)部件的總線。

如上所述，通過(guò)上述實(shí)施例，防止在攝像裝置的位置和姿勢(shì)估計(jì)中參照不適合的圖像，并且提高了攝像裝置的位置和姿勢(shì)估計(jì)的穩(wěn)定性。

還可以通過(guò)讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(也可更完整地稱為“非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”)上的計(jì)算機(jī)可執(zhí)行指令(例如，一個(gè)或更多個(gè)程序)以執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能、并且/或者包括用于執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能的一個(gè)或更多個(gè)電路(例如，專用集成電路(asic))的系統(tǒng)或裝置的計(jì)算機(jī)，來(lái)實(shí)現(xiàn)本發(fā)明的實(shí)施例，并且，可以利用通過(guò)由系統(tǒng)或裝置的計(jì)算機(jī)例如讀出并執(zhí)行來(lái)自存儲(chǔ)介質(zhì)的計(jì)算機(jī)可執(zhí)行指令以執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能、并且/或者控制一個(gè)或更多個(gè)電路以執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能的方法，來(lái)實(shí)現(xiàn)本發(fā)明的實(shí)施例。計(jì)算機(jī)可以包括一個(gè)或更多個(gè)處理器(例如，中央處理單元(cpu)、微處理單元(mpu))，并且可以包括分開(kāi)的計(jì)算機(jī)或分開(kāi)的處理器的網(wǎng)絡(luò)，以讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行指令。計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)被提供給計(jì)算機(jī)。存儲(chǔ)介質(zhì)可以包括例如硬盤(pán)、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、分布式計(jì)算系統(tǒng)的存儲(chǔ)器、光盤(pán)(諸如壓縮光盤(pán)(cd)、數(shù)字通用光盤(pán)(dvd)或藍(lán)光光盤(pán)(bd)^tm)、閃存裝置以及存儲(chǔ)卡等中的一個(gè)或更多個(gè)。

本發(fā)明的實(shí)施例還可以通過(guò)如下的方法來(lái)實(shí)現(xiàn)，即，通過(guò)網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

雖然已經(jīng)參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)該理解，本發(fā)明不限于所公開(kāi)的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)及功能。