具有至少一個(gè)攝像機(jī)的可穿戴信息系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明涉及一種具有至少一個(gè)攝像機(jī)的可穿戴信息系統(tǒng)，該信息系統(tǒng)可操作的具有低功率模式和高功率模式。該信息系統(tǒng)被配置為使高功率模式通過(guò)至少一個(gè)攝像機(jī)的至少一個(gè)視野中的至少一個(gè)對(duì)象的檢測(cè)激活。
【專(zhuān)利說(shuō)明】具有至少一個(gè)攝像機(jī)的可穿戴信息系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是關(guān)于一種能夠在減少電池耗費(fèi)的條件下向用戶(hù)提供多媒體信息的方法及其系統(tǒng)。
【背景技術(shù)】
[0002]標(biāo)準(zhǔn)的方法，局限性和現(xiàn)有的解決方案:
[0003]近年來(lái)智能手機(jī)，語(yǔ)音導(dǎo)覽和類(lèi)似的信息系統(tǒng)已流行起來(lái)。增強(qiáng)現(xiàn)實(shí)技術(shù)，作為一個(gè)新型的用戶(hù)界面范例，已有很大的進(jìn)步，特別是基于被用做對(duì)象識(shí)別和位姿估計(jì)的計(jì)算機(jī)視覺(jué)算法。人們已經(jīng)了解裝備有攝像機(jī)的頭戴式顯示器有一段時(shí)間了(例如，美國(guó)專(zhuān)利7，245，273 權(quán)利要求 22)。
[0004]對(duì)于能隨時(shí)觀察用戶(hù)周?chē)垣@得感興趣對(duì)象的普適信息系統(tǒng)的真正成功而言，一個(gè)主要障礙在于運(yùn)行在應(yīng)用處理器或GPU上的圖像處理算法的高功耗。本專(zhuān)利描述了一種創(chuàng)新系統(tǒng)和方法，能夠極大地減少這個(gè)問(wèn)題。
[0005]我們能找到的與本發(fā)明最接近的現(xiàn)有技術(shù)是美國(guó)專(zhuān)利號(hào)為7302089的專(zhuān)利。該專(zhuān)利描述了將移動(dòng)設(shè)備運(yùn)行在低功率模式(待機(jī))和高功率模式(活躍)的想法。在低功率模式下，攝像機(jī)可獲取一個(gè)低分辨率圖像并針對(duì)一個(gè)已知像元與它匹配(例如，手機(jī)用戶(hù)的面部或一幅圖像)。如果在該低分辨率圖像中發(fā)現(xiàn)已知像元，手機(jī)可被喚醒并采用更高分辨率的圖像來(lái)驗(yàn)證結(jié)果，并且基本將手機(jī)解鎖以便接電話(huà)或類(lèi)似的事情。該專(zhuān)利的目的是基于圖像實(shí)現(xiàn)節(jié)能解鎖。一個(gè)情景可能是放置在周?chē)氖謾C(jī)一旦接到電話(huà)，就試圖檢查是否用戶(hù)在視野內(nèi)以便解鎖手機(jī)屏幕。
[0006]本發(fā)明的不同之處，首先在于目的和可能的應(yīng)用，因?yàn)槲覀儾皇且怄i設(shè)備，而是設(shè)法在節(jié)能的方式下為用戶(hù)提供關(guān)于在用戶(hù)周?chē)膶?duì)象的信息。本發(fā)明特別適合用于頭戴式顯示器和指向用戶(hù)前方的空間的攝像機(jī)(如圖12所示)。一個(gè)可能的情景是用戶(hù)步行通過(guò)一個(gè)展出200幅圖像的博物館，其中20幅是導(dǎo)覽器的部分內(nèi)容。用戶(hù)開(kāi)啟導(dǎo)覽器，例如作為他的信息系統(tǒng)上的一個(gè)應(yīng)用，并開(kāi)始步行通過(guò)博物館。一定時(shí)間后，該系統(tǒng)移至低功率模式。用戶(hù)現(xiàn)在可以享受數(shù)小時(shí)步行通過(guò)博物館，而不用擔(dān)心自己信息系統(tǒng)的電池。根據(jù)本發(fā)明，信息系統(tǒng)能夠?yàn)楦信d趣的對(duì)象掃描用戶(hù)的環(huán)境(例如展覽中感興趣的作品)，這可以在幾乎不耗能的情況下做到。只要感興趣的作品進(jìn)入視野，系統(tǒng)可以“醒來(lái)”并移至高功率模式，例如為了下載感興趣的內(nèi)容并使用增強(qiáng)現(xiàn)實(shí)技術(shù)顯示它或?yàn)榱藛?dòng)音頻剪輯，解釋作品。
[0007]本發(fā)明的另一個(gè)優(yōu)點(diǎn)是為諸如室內(nèi)導(dǎo)航的應(yīng)用改進(jìn)反應(yīng)時(shí)間。低功率模式允許當(dāng)它識(shí)別出新的數(shù)據(jù)需要下載時(shí)或當(dāng)一個(gè)新的導(dǎo)航模型或新的計(jì)算機(jī)視覺(jué)模型需要被存儲(chǔ)在存儲(chǔ)器中時(shí)喚醒系統(tǒng)。一切就緒后，系統(tǒng)可再次移至低功率模式。一旦一個(gè)路標(biāo)進(jìn)入視野，系統(tǒng)可迅速上電并迅速地為用戶(hù)提供相關(guān)信息。用戶(hù)還可以自行激活系統(tǒng)(例如，當(dāng)他迷路時(shí))，系統(tǒng)可以立即提供導(dǎo)航信息。
[0008]不同于現(xiàn)有技術(shù)，本方法可以在低功耗下提供更復(fù)雜的檢測(cè)算法，相比如US7302089。因?yàn)樗ぷ髟诟呒?jí)的特征描述，并工作在不同的圖像分辨率，它可以處理許多更大的對(duì)象數(shù)據(jù)庫(kù)并能更可靠檢測(cè)這些對(duì)象。該對(duì)象也可以是任意的3D形狀。
[0009]在對(duì)攝像機(jī)拍攝的圖像進(jìn)行處理的許多任務(wù)，比如在增強(qiáng)現(xiàn)實(shí)應(yīng)用和計(jì)算機(jī)視覺(jué)中，要求在同一個(gè)對(duì)象或場(chǎng)景的多個(gè)圖像中發(fā)現(xiàn)對(duì)應(yīng)于同一物理3D表面的點(diǎn)或特征。例如，在增強(qiáng)現(xiàn)實(shí)技術(shù)中，存在的主要問(wèn)題是確定攝像機(jī)相對(duì)于世界的位置和指向(攝像機(jī)位姿)。
[0010]光學(xué)跟蹤的初始化的標(biāo)準(zhǔn)方法(即當(dāng)來(lái)自前一幀的信息不可用的時(shí)候)可被分為三個(gè)主要組成模塊:特征檢測(cè)，特征描述和特征匹配(見(jiàn)圖1)。如技術(shù)人員應(yīng)當(dāng)理解的，如果來(lái)自前一幀的信息不可用，這并不意味著來(lái)自諸如GPS或指南針的非光學(xué)傳感器的信息不被容許。特征檢測(cè)也被稱(chēng)為特征提取。
[0011]首先，為識(shí)別特征，使用具有高度重復(fù)性的方法在一幅圖像中執(zhí)行特征檢測(cè)。換而言之，該方法將在一幅圖像中選擇與相同物理3D表面一致的部分作為不同觀察點(diǎn)，不同的旋轉(zhuǎn)和/或照明設(shè)置的特征(例如，局部特征描述符如SIFT參考文獻(xiàn)[I]，形狀描述符參考文獻(xiàn)[18]或技術(shù)人員已知的其他方法)的可能性高。通常在尺度空間內(nèi)提取特征，即以不同的尺度。因此，除其二維位置之外每個(gè)特征有一個(gè)可復(fù)驗(yàn)的尺度。此外，從在圍繞該特征的區(qū)域中的各像素點(diǎn)的強(qiáng)度計(jì)算可復(fù)驗(yàn)的指向(旋轉(zhuǎn))，例如作為強(qiáng)度梯度的主導(dǎo)方向。
[0012]其次，為使特征能夠比較和匹配而確定特征描述符。常見(jiàn)的方法使用經(jīng)過(guò)計(jì)算的特征的尺度和指向來(lái)轉(zhuǎn)換特征描述符的坐標(biāo)，其為旋轉(zhuǎn)和尺度提供不變性。例如，描述符可以是η維實(shí)數(shù)的矢量，其是通過(guò)連接各局部圖像強(qiáng)度的函數(shù)直方圖來(lái)構(gòu)建，如梯度漸變(如在參考文獻(xiàn)[I] (Lowe, David G.“Distinctive Image Features from Scale-1nvariantKeypoints.，，International Journal of Computer Vision60.2 (2004): 91-110))。作為一種選擇，描述符可能是一個(gè)n維的二元向量(如在參考文獻(xiàn)[22](Leutenegger, Stefan, Margarita Chli, and Roland Y.Siegwart.〃BRISK:Binary robustinvariant scalable keypoints."Computer Vision (ICCV), 2011IEEE InternationalConference on.1EEE, 2011) X
[0013]最后，一個(gè)重要的任務(wù)是特征匹配。給定一個(gè)自當(dāng)前強(qiáng)度圖像中檢測(cè)和描述的當(dāng)前特征，目的是在一組被稱(chēng)為參考特征的給定特征中，找到一個(gè)與相同物理3D或2D表面一致的特征。特征匹配最簡(jiǎn)單的方法是通過(guò)窮舉搜索找到當(dāng)前特征的描述符的最近鄰，并選擇相應(yīng)的參考特征作為匹配。更先進(jìn)的方法是在描述符域中采用空間數(shù)據(jù)結(jié)構(gòu)來(lái)加速匹配。不幸的是，沒(méi)有已知的方法能在高維空間中實(shí)現(xiàn)比窮舉搜索快得多的最近鄰搜索。這就是為什么常見(jiàn)的方法使用近似最近鄰搜索來(lái)代替，如通過(guò)空間劃分?jǐn)?shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)，如KD-樹(shù)在參考文獻(xiàn)[I] (Lowe, David G.“Distinctive Image Features from Scale-1nvariantKeypoints.，，International Journal of Computer Vision60.2(2004):91_110)o
[0014]圖1 (結(jié)合圖2)顯示了以一組參考特征匹配一組當(dāng)前特征的標(biāo)準(zhǔn)方法的流程圖。在步驟Sll中，由一個(gè)拾取裝置提供當(dāng)前圖像Cl。然后下一步驟S12在當(dāng)前圖像Cl中檢測(cè)和描述特征(可選:根據(jù)估計(jì)模型-特征-位置選擇性提取)，其中在攝像圖像Cl中每個(gè)所產(chǎn)生的當(dāng)前特征c具有一個(gè)特征描述符d (c)和一個(gè)2D位置。能夠用來(lái)進(jìn)行特征檢測(cè)和描述的可行方法在下面參照典型實(shí)施例更詳細(xì)地解釋。在步驟S13中提供一組參考特征r，每個(gè)參考特征具有一個(gè)描述符d (r)和在全局坐標(biāo)系中任選的一個(gè)(部分)位置和/或指向。參考特征可以是提取自參考圖像或3D模型或關(guān)于對(duì)象的其他信息。請(qǐng)注意，在全局坐標(biāo)系中位置和/或指向在可視化搜索和分類(lèi)任務(wù)的情況中是可選擇的。在步驟S14中，匹配來(lái)自步驟S12的當(dāng)前特征c和來(lái)自步驟S13的參考特征r。例如，對(duì)于每個(gè)當(dāng)前特征，搜索具有與當(dāng)前特征的描述符關(guān)于一定距離度量最接近的描述符的參考特征。根據(jù)步驟S15，應(yīng)用程序(application)使用該特征匹配,如為了在一個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用(application)中非常準(zhǔn)確地判斷拾取裝置的位置和指向，將空間校準(zhǔn)的虛擬3D對(duì)象集成入攝像圖像中。
[0015]已有的解決方案
[0016]參考文獻(xiàn)[3](Bleser, Gabriele, and Didier Strieker.“Advanced trackingthrough efficient image processing and visual -1nertial sensor fusion.”Computers&Graphics33.1 (2009): 59-72)的視覺(jué)慣性跟蹤方法應(yīng)用慣性傳感器測(cè)量攝像機(jī)自之前幀到當(dāng)前幀的相對(duì)運(yùn)動(dòng)。這方面的知識(shí)是用于預(yù)測(cè)位置以及為逐幀跟蹤特征而在圖像空間中定義2D搜索空間。由于該技術(shù)僅使用相對(duì)攝像機(jī)轉(zhuǎn)換的測(cè)量，它不適合攝像機(jī)位姿跟蹤的初始化或視覺(jué)搜索任務(wù)。
[0017]因此，在執(zhí)行視覺(jué)計(jì)算任務(wù)時(shí)，提供一致的信息系統(tǒng)和操作方法是有益的，這能在減少處理和功耗要求下實(shí)現(xiàn)更高的性能和更高的算法靈活性，從而能夠減少電池消耗。
[0018]發(fā)明目的
[0019]本發(fā)明涉及一種根據(jù)權(quán)利要求1的信息系統(tǒng)和一種操作信息系統(tǒng)的方法。

【發(fā)明內(nèi)容】

[0020]根據(jù)本發(fā)明的一個(gè)方面，一種圖像特征匹配參考特征的方法包括以下步驟:提供一個(gè)由拾取裝置拾取的當(dāng)前圖像，提供參考特征，其中每個(gè)參考特征包括至少一個(gè)參考特征描述符，在當(dāng)前圖像中確定當(dāng)前特征并與每個(gè)當(dāng)前特征的至少一個(gè)相應(yīng)當(dāng)前特征描述符相關(guān)聯(lián)，并通過(guò)在每個(gè)相應(yīng)當(dāng)前特征描述符和每個(gè)相應(yīng)參考特征描述符之間確定相應(yīng)相似性度量將當(dāng)前特征與至少一些參考特征匹配，在集成電路上由電路邏輯或可配置邏輯執(zhí)行相似性度量的確定，電路邏輯或可配置邏輯為確定相似性度量處理邏輯函數(shù)。
[0021]根據(jù)本發(fā)明，提出一種新的方法，關(guān)于如何通過(guò)執(zhí)行硬件中專(zhuān)用部件使視覺(jué)計(jì)算任務(wù)優(yōu)化并且在實(shí)時(shí)運(yùn)行中更加魯棒。
[0022]本發(fā)明的進(jìn)一步效果是基于先驗(yàn)數(shù)據(jù)(參考特征)改善光學(xué)跟蹤系統(tǒng)的初始化，以便在減少處理和功耗要求下實(shí)現(xiàn)較高性能。
[0023]根據(jù)本發(fā)明的另一方面，提供了一種用于將圖像特征與參考特征匹配的集成電路，它包括一個(gè)用于接收通過(guò)拾取裝置拾取的當(dāng)前圖像中獲得的相應(yīng)當(dāng)前特征的多個(gè)當(dāng)前特征描述符的接口，一個(gè)用于接收相應(yīng)參考特征的多個(gè)參考特征描述符的接口，和一個(gè)用于在每個(gè)相應(yīng)當(dāng)前特征描述符和每個(gè)相應(yīng)參考特征描述符之間確定相應(yīng)相似性度量的邏輯電路，用于匹配當(dāng)前特征與參考特征，其中邏輯電路包括為確定相似性度量處理邏輯函數(shù)的電路邏輯或可配置邏輯。
[0024]在一個(gè)優(yōu)選的實(shí)施例中，本方法在專(zhuān)門(mén)的硬件模塊上實(shí)現(xiàn)，并且僅由通用處理器部分地執(zhí)行。當(dāng)然硬件模塊可以是作為通用處理器的同一集成電路(也被稱(chēng)為硅片或芯片)的部分。
[0025]在一個(gè)優(yōu)選的實(shí)施例中，專(zhuān)門(mén)的硬件模塊是一個(gè)不可編程單元，其中，可編程指的是執(zhí)行通用指令的動(dòng)態(tài)序列。
[0026]在一個(gè)優(yōu)選的實(shí)施例中，當(dāng)前的圖像可以是強(qiáng)度圖像或深度圖像。
[0027]當(dāng)我們?cè)谶@公開(kāi)內(nèi)容中通篇論及強(qiáng)度圖像時(shí)，我們指的圖像表示自環(huán)境反射的不同數(shù)量的光，大多取決于環(huán)境的材質(zhì)和光線(xiàn)的情況。強(qiáng)度圖像可以將強(qiáng)度按照不同的位分辨率(例如8位或高動(dòng)態(tài)范圍)編入個(gè)(如灰度級(jí))或多于一個(gè)的通道(如RGB-紅-綠-藍(lán))。
[0028]在下面的段落將描述幾種可應(yīng)用于基于本發(fā)明的匹配過(guò)程的方法，可在一幅圖像中提供深度圖像或包括諸如像素或特征的元素深度的稀疏深度信息。
[0029]根據(jù)一個(gè)在強(qiáng)度圖像中確定至少一個(gè)元素的深度的實(shí)施例，具有已知相對(duì)位置和/或指向的至少兩個(gè)拾取裝置各拾取一個(gè)相應(yīng)強(qiáng)度圖像，其中在圖像中尋找對(duì)應(yīng)關(guān)系，并且拾取裝置的相對(duì)位置和/或指向用于計(jì)算強(qiáng)度圖像中至少一個(gè)元素深度，元素深度是至少一個(gè)對(duì)應(yīng)關(guān)系的部分。在這種情況下，匹配過(guò)程將由兩個(gè)通用步驟實(shí)施。首先匹配當(dāng)前幀I和當(dāng)前幀2的特征，以便從拾取裝置I和2之間的給定位姿計(jì)算它們的深度信息。其后的步驟中，當(dāng)前特征隨后與參考特征相匹配，在匹配過(guò)程中利用深度信息或推導(dǎo)的位置信息。
[0030]根據(jù)另一在強(qiáng)度圖像中確定至少一個(gè)元素的深度的實(shí)施例，至少一個(gè)拾取裝置從不同位置拾取在不同時(shí)間點(diǎn)的強(qiáng)度圖像，其中對(duì)應(yīng)關(guān)系在不同圖像中被找到，并且恢復(fù)不同圖像之間的拾取裝置的相對(duì)位置和/或指向以及對(duì)應(yīng)關(guān)系的結(jié)構(gòu)并將其用于計(jì)算強(qiáng)度圖像中至少一個(gè)元素深度，元素深度是至少一個(gè)對(duì)應(yīng)關(guān)系的部分。如上面的情況，匹配可以通過(guò)幾個(gè)過(guò)程再次進(jìn)行，最近的圖像特征相互匹配，然后針對(duì)一個(gè)匹配過(guò)程中的附加信息與較早的參考特征合并。
[0031]根據(jù)另一在強(qiáng)度圖像中確定至少一個(gè)元素的深度的實(shí)施例，提供至少一個(gè)強(qiáng)度圖像數(shù)據(jù)庫(kù)，其中已知對(duì)每個(gè)強(qiáng)度圖像的全局深度，或至少一幅圖像區(qū)域的深度，或一個(gè)或更多像素的深度，并將拾取裝置拾取的強(qiáng)度圖像(當(dāng)前強(qiáng)度圖像)與這個(gè)數(shù)據(jù)庫(kù)相匹配。匹配的結(jié)果用于計(jì)算在當(dāng)前強(qiáng)度圖像中的至少一個(gè)元素的深度。
[0032]根據(jù)另一在強(qiáng)度圖像中確定至少一個(gè)元素的深度的實(shí)施例，提供一個(gè)環(huán)境模型，以及當(dāng)相對(duì)于環(huán)境模型(也許是個(gè)初始估計(jì))獲取強(qiáng)度圖像時(shí)關(guān)于拾取裝置的位置和/或指向信息，其中環(huán)境模型和關(guān)于拾取裝置的位置和/或指向的信息相結(jié)合，并用于計(jì)算強(qiáng)度圖像中至少一個(gè)元素的深度或位置估計(jì)。
[0033]根據(jù)另一在強(qiáng)度圖像中確定至少一個(gè)元素的深度的實(shí)施例，提供至少一個(gè)用于檢索深度信息或范圍數(shù)據(jù)的傳感器，以及至少一個(gè)傳感器相對(duì)于拾取裝置的至少一個(gè)相對(duì)位置和/或指向，其中深度信息或范圍數(shù)據(jù)用于計(jì)算強(qiáng)度圖像中至少一個(gè)元素的深度。優(yōu)選地，傳感器和拾取裝置兩者的位姿(位置和指向)和固有參數(shù)是已知的。
[0034]根據(jù)一個(gè)實(shí)施例，從至少一個(gè)已經(jīng)由不同于拾取裝置的第二拾取裝置記錄的參考圖像中提取參考特征。根據(jù)一個(gè)實(shí)施例，至少一個(gè)參考圖像的拾取時(shí)間是至少比當(dāng)前圖像的拾取時(shí)間早一天。
[0035]根據(jù)本發(fā)明的相似性度量，例如可使用距離度量。根據(jù)一個(gè)實(shí)施例，本發(fā)明的方法可以包括通過(guò)將距離度量與至少一個(gè)相應(yīng)閾值比較來(lái)確定至少一個(gè)相應(yīng)校驗(yàn)參數(shù)，其中校驗(yàn)參數(shù)用作確定是否執(zhí)行匹配的條件，或用于影響距離度量。如果執(zhí)行匹配，在匹配過(guò)程中使用相應(yīng)已確定的相似性度量。
[0036]根據(jù)本發(fā)明的一個(gè)實(shí)施例，在集成電路上以流水線(xiàn)的方式并行執(zhí)行用于確定相應(yīng)距離度量或其部分，以及相應(yīng)校驗(yàn)參數(shù)(將在下文更詳細(xì)地解釋)的計(jì)算。例如，集成電路的時(shí)鐘信號(hào)的每個(gè)時(shí)鐘周期計(jì)算相應(yīng)距離度量和/或校驗(yàn)參數(shù)。
[0037]在本發(fā)明的一方面，確定相應(yīng)相似性度量之后，該方法進(jìn)一步包括存儲(chǔ)自相似性度量確定之時(shí)最相似和次最相似的相似性度量，以及與最相似的相似性度量關(guān)聯(lián)的相應(yīng)當(dāng)前特征描述符的指針。
[0038]根據(jù)一個(gè)實(shí)施例，最相似的相似性度量與次最相似的相似性度量的導(dǎo)數(shù)相比較，其中如果該比較滿(mǎn)足預(yù)定條件，就在為進(jìn)一步處理提供最相似和次最相似的相似性度量，指針，以及關(guān)聯(lián)的參考特征描述符。
[0039]該方法可以進(jìn)一步包括從已計(jì)算的距離度量來(lái)確定最小距離度量，以及存儲(chǔ)相應(yīng)當(dāng)前特征描述符的指針，由此確定最小距離度量。
[0040]根據(jù)一方面，該方法可進(jìn)一步包括在集成電路的存儲(chǔ)器(例如SRAM)上存儲(chǔ)當(dāng)前特征描述符，其從存儲(chǔ)器中檢索無(wú)需等待狀態(tài)。
[0041]根據(jù)一個(gè)實(shí)施例,該方法進(jìn)一步包括與每個(gè)當(dāng)前特征至少一個(gè)當(dāng)前特征描述符向量關(guān)聯(lián)的步驟，其中每個(gè)參考特征包括至少一個(gè)參考特征描述符向量，并在參考特征的每個(gè)參考特征描述符向量和當(dāng)前特征的每個(gè)當(dāng)前特征描述符向量之間計(jì)算相應(yīng)相似度度量。
[0042]在一個(gè)可能的實(shí)現(xiàn)中，當(dāng)前圖像的至少一個(gè)像素設(shè)置為當(dāng)前圖像的相應(yīng)當(dāng)前特征，即圖像的每一個(gè)像素可以代表一個(gè)特征。
[0043]根據(jù)本發(fā)明的一個(gè)實(shí)施例，該方法在圖像的不同分辨率下運(yùn)行。
[0044]根據(jù)本發(fā)明的一個(gè)實(shí)施例，第一特征提取處理可用于提取的第一組當(dāng)前特征和為第一組當(dāng)前特征而設(shè)的第一組當(dāng)前特征描述符，且第二特征提取處理可用于提取第二組當(dāng)前特征和為第二組當(dāng)前特征而設(shè)的第二組當(dāng)前特征，其中第一特征提取處理和第二特征提取處理，或第一特征描述符創(chuàng)建過(guò)程和第二特征描述符創(chuàng)建過(guò)程彼此不同，并且第一和第二組當(dāng)前特征描述符的特征匹配過(guò)程由電路邏輯或可配置邏輯執(zhí)行。第一和第二組的匹配過(guò)程理想情況下由電路邏輯彼此獨(dú)立地執(zhí)行。圖3顯示了整個(gè)過(guò)程，在此1..η表示不同的特征提取方法，1..m表示不同的特征描述符處理過(guò)程和不同的所得到的描述符集匹配，并發(fā)生對(duì)象檢測(cè)。所有這些，可在低功率子系統(tǒng)中根據(jù)本發(fā)明發(fā)生在低功率模式下和理想情況下。
[0045]如果檢測(cè)到一個(gè)相關(guān)對(duì)象，高功率應(yīng)用程序可被自動(dòng)啟動(dòng)，并為用戶(hù)提供相關(guān)信息。理想情況下，這可是音頻導(dǎo)覽或增強(qiáng)現(xiàn)實(shí)接口，如參考文獻(xiàn)[6] (Miyashita, T., etal.〃An augmented reality museum guide."Proceedings of the7th IEEE/ACMInternational Symposium on Mixed and Augmented Reality.1EEE ComputerSociety, 2008)中描述。
[0046]再一方面，該方法可包括在特征匹配之后進(jìn)行幾何驗(yàn)證以去除錯(cuò)誤的特征匹配或去除分類(lèi)情況中的誤報(bào)。因此在參考數(shù)據(jù)庫(kù)中，存儲(chǔ)許多特征。每個(gè)特征都對(duì)應(yīng)一類(lèi)或先驗(yàn)對(duì)象。根據(jù)當(dāng)前圖像特征和一個(gè)先驗(yàn)對(duì)象的特征之間的匹配的數(shù)量和匹配的距離度量中的至少一個(gè)，對(duì)象可假設(shè)被匹配或一個(gè)以上對(duì)象被假設(shè)為候選對(duì)象。在這兩種情況下，可開(kāi)啟高功率模式?？蛇x地，本例中低功耗子系統(tǒng)能夠?qū)◣缀悟?yàn)證，只有對(duì)象幾何驗(yàn)證成功后，高功率模式才可開(kāi)啟。
[0047]根據(jù)本發(fā)明的一個(gè)實(shí)施例，該方法可進(jìn)一步包括提供一組參考特征的步驟，其中每個(gè)參考特征包括至少一個(gè)第一參數(shù)，第一參數(shù)至少部分地表示相對(duì)于全局坐標(biāo)系的參考特征的位置和/或指向，其中全局坐標(biāo)系為地理坐標(biāo)系或?qū)ο笞鴺?biāo)系，或第一參數(shù)至少部分地表示相對(duì)于高度的參考特征的位置；與相應(yīng)當(dāng)前特征至少一個(gè)第二參數(shù)關(guān)聯(lián)的步驟，第二參數(shù)至少部分地表示相對(duì)于全局坐標(biāo)系的當(dāng)前特征的位置和/或指向，或至少部分地表示相對(duì)于高度的當(dāng)前特征的位置；和通過(guò)在至少一個(gè)第一參數(shù)和至少一個(gè)第二參數(shù)之間確定相似性度量，匹配當(dāng)前特征與一組參考特征中至少一個(gè)參考特征的步驟。
[0048]例如，該方法可包括當(dāng)匹配相應(yīng)當(dāng)前特征時(shí)，用一組參考特征內(nèi)數(shù)量減少的參考特征定義搜索空間的步驟，其中搜索空間是基于至少一個(gè)第二參數(shù)確定。
[0049]根據(jù)一個(gè)實(shí)施例，該方法可以包括綜合考慮特征提取過(guò)程中的指標(biāo)的步驟，例如從特征提取器中產(chǎn)生符號(hào)。例如，SURF特征的符號(hào)相當(dāng)于特征提取過(guò)程高斯函數(shù)的拉普拉斯算子的符號(hào)。
[0050]根據(jù)本發(fā)明的一個(gè)實(shí)施例，在構(gòu)造特征描述符的方法中，自圖像提取特征點(diǎn)來(lái)在2維描述(參數(shù)a0，al)中獲取特征點(diǎn)。以及使用由跟蹤系統(tǒng)提供的關(guān)于拾取裝置的空間信息(參數(shù)b0，bl，b2)為所提取的特征點(diǎn)計(jì)算特征指向。例如，跟蹤系統(tǒng)給出拾取裝置相對(duì)于地理坐標(biāo)系的指向作為Euler角，且特征描述符應(yīng)與萬(wàn)有引力校準(zhǔn)。一個(gè)非常簡(jiǎn)單的獲取所有特征的指向的方法是首先用Euler角將萬(wàn)有引力轉(zhuǎn)換至屬于拾取裝置的坐標(biāo)系，然后將它投射在圖像平面上。從而，圖像中萬(wàn)有引力的方向被計(jì)算并用于圖像中所有特征。這種技術(shù)假定的正交投影通常不是這樣。雖然結(jié)合攝像機(jī)的固有參數(shù)放松這一假設(shè)，但所有基于2D圖像的技術(shù)假設(shè)在圖像中所有可視的物體位于一個(gè)平面，因此是近似值。根據(jù)本發(fā)明的一個(gè)實(shí)施例，基于臨近像素的像素強(qiáng)度計(jì)算以及相對(duì)于通用坐標(biāo)系存儲(chǔ)至少一個(gè)特征的一個(gè)或多個(gè)方向。在匹配階段，僅相對(duì)于通用坐標(biāo)系具有相似方向的特征進(jìn)行匹配，以減少所需要的比較次數(shù)，并減少錯(cuò)誤匹配率。
[0051]根據(jù)本發(fā)明的一方面，至少一個(gè)當(dāng)前特征描述符或參考特征描述符是一個(gè)對(duì)象的較高級(jí)描述，使其尺度和/或旋轉(zhuǎn)和/或光線(xiàn)不變。
[0052]根據(jù)本發(fā)明的實(shí)施例，該方法還可包括從強(qiáng)度圖像中檢測(cè)和描述特征的方法，其中由拾取裝置和對(duì)象之間的距離產(chǎn)生的尺度是不變的，但對(duì)各種應(yīng)用中對(duì)象的實(shí)際(物理)尺度敏感。因此建議在強(qiáng)度圖像中使用元素的深度(例如，一個(gè)像素)為特征檢測(cè)和/或描述在強(qiáng)度圖像中特定元素(象素)。由此，特征可在實(shí)際(物理)尺度被檢測(cè)和描述，提供一種相對(duì)于強(qiáng)度圖像上標(biāo)準(zhǔn)尺度不變特征描述符的顯著改進(jìn)，沒(méi)有對(duì)攝像機(jī)移動(dòng)引入任何約束。在一個(gè)實(shí)施例中，該方法可包括提供由攝像機(jī)拾取的強(qiáng)度圖像的步驟，提供一種用于確定強(qiáng)度圖像中至少一個(gè)元素的深度的方法，在特征檢測(cè)過(guò)程中檢測(cè)強(qiáng)度圖像中至少一個(gè)元素的深度，其中通過(guò)在一個(gè)尺度上處理強(qiáng)度圖像的圖像強(qiáng)度信息執(zhí)行特征檢測(cè)，該尺度取決于強(qiáng)度圖像中的至少一個(gè)元素的深度，以及提供至少一個(gè)已檢測(cè)特征的特征描述符。
[0053]在全局坐標(biāo)系中的拾取裝置的位置測(cè)量值可由GPS傳感器/接收器，IR或RFID三角測(cè)量，或通過(guò)使用寬帶或無(wú)線(xiàn)基礎(chǔ)設(shè)施的定位法提供。在全局坐標(biāo)系中的拾取裝置的取向測(cè)量值可由慣性傳感器，加速計(jì)，陀螺儀，羅盤(pán)，或機(jī)械的，電磁的，聲學(xué)的或光學(xué)的跟蹤系統(tǒng)中的至少一個(gè)提供。在本發(fā)明的上下文中，慣性傳感器可諸如連續(xù)地提供包括對(duì)象或設(shè)備相對(duì)于環(huán)境的位置和/或指向的傳感器信息，通過(guò)使用以下的任意組合:磁力計(jì)(例如指南針)，運(yùn)動(dòng)傳感器/旋轉(zhuǎn)傳感器(加速計(jì)/陀螺儀)，重力傳感器和提供此信息的其他傳 感器。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0054]本發(fā)明的實(shí)施例將參照如下附圖進(jìn)一步描述，在此:
[0055]圖1顯示了一個(gè)將一組當(dāng)前特征與一組參考特征匹配的標(biāo)準(zhǔn)方法的流程圖，
[0056]圖2是用于說(shuō)明與圖1相關(guān)的特征的檢測(cè)，描述和匹配的描述，
[0057]圖3描述了一個(gè)特征匹配的過(guò)程的實(shí)施例和一個(gè)可能的應(yīng)用，其中特定算法組成模塊在低功耗下實(shí)施其他部分在高功耗下實(shí)施，
[0058]圖4顯示了應(yīng)用本發(fā)明實(shí)施例的方法的示例性場(chǎng)景，
[0059]圖5顯示了根據(jù)本發(fā)明實(shí)施例在集成電路上匹配過(guò)程中相似性度量的確定的一種可能的實(shí)現(xiàn)，
[0060]圖6描述了根據(jù)本發(fā)明的一個(gè)實(shí)施例在集成電路上匹配過(guò)程中相似性度量的確定的另一種可能的實(shí)現(xiàn)，
[0061]圖7顯示了如參考圖5和6描述的過(guò)程的一般工作流程的流程圖，
[0062]圖8描述了根據(jù)一些過(guò)程步驟準(zhǔn)備低功率模式，切換到低功率模式和切換到高功率模式的過(guò)程的實(shí)施例，
[0063]圖9顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施例的在光學(xué)位姿判斷中使用的利用物理度量特征描述符的深度提取機(jī)制的可能組合的流程圖，
[0064]圖10描述了根據(jù)本發(fā)明另一個(gè)實(shí)施例的方法的流程圖，在此其先于匹配過(guò)程檢驗(yàn)特征是否在理論上成立。
[0065]圖11顯示了低功耗子系統(tǒng)可能的體系結(jié)構(gòu)，
[0066]圖12顯示了系統(tǒng)的一個(gè)可能的實(shí)施例，
[0067]圖13顯示了一個(gè)處理系統(tǒng)整體的一個(gè)實(shí)施例的概述，
[0068]圖14顯示了系統(tǒng)的另一可能的實(shí)施例。
【具體實(shí)施方式】
[0069]初始化過(guò)程在開(kāi)始已經(jīng)簡(jiǎn)要介紹過(guò)，并示于圖1。在應(yīng)用處理單元運(yùn)行此過(guò)程中，通常要求超過(guò)IGHz的時(shí)鐘率。因此，今天，由于電池快速耗盡，移動(dòng)設(shè)備上的對(duì)象檢測(cè)應(yīng)用程序只可能短時(shí)間使用。
[0070]根據(jù)優(yōu)選實(shí)施例，有可能分類(lèi)對(duì)象(視覺(jué)搜索過(guò)程)，這是當(dāng)前圖像與預(yù)先生成的類(lèi)別描述匹配的過(guò)程，或有可能匹配獨(dú)立特征(特征匹配過(guò)程)，那么理想情況下獨(dú)立特征可由應(yīng)用處理單元使用來(lái)運(yùn)行位姿優(yōu)化過(guò)程。請(qǐng)記住，視覺(jué)搜索可以匹配每幅圖像的多個(gè)特征為基礎(chǔ)。同時(shí)，整幅圖像可能是一個(gè)特征。這兩種方法都被本發(fā)明支持。
[0071]根據(jù)本發(fā)明，視覺(jué)搜索過(guò)程和特征匹配過(guò)程都能以存在于數(shù)據(jù)庫(kù)以及存在于當(dāng)前圖像中的不同特征和特征描述符工作。在這種情況下，不同特征使用不同特征提取和/或特征描述方法提取，并由硬件單元在兩個(gè)獨(dú)立執(zhí)行上匹配(如圖3所示)。例如，首先提取和匹配SIFT特征，然后提取和匹配SURF特征。
[0072]圖3描述了一個(gè)類(lèi)似于上述關(guān)于圖1的特征匹配過(guò)程以及用于位姿估計(jì)的匹配的一種應(yīng)用，渲染3D對(duì)象或播放音頻文件。渲染可發(fā)生在圖形處理器單元(GPU)。[0073]本發(fā)明的一個(gè)優(yōu)點(diǎn)是省去了處理步驟的可能性，這在以前是必要的，或在一個(gè)完全不同的有利配置中運(yùn)行它們的可能性。例如，特征提取過(guò)程中可被忽略不計(jì)或不作考慮，創(chuàng)造了非常大量的描述符。相反，每個(gè)象素或非常大量隨機(jī)地選擇的像素可被選作描述中心。在這種情況下，依據(jù)本發(fā)明每個(gè)像素或每個(gè)被選像素被看做是一個(gè)特征。代替選擇隨機(jī)像素，網(wǎng)格可以被用于提取描述符中心，例如，一行中每第10個(gè)像素，其中分析每個(gè)第10象素行。大量增加特征來(lái)匹配(約每幅圖像10.000特征)導(dǎo)致在幾千圖像的測(cè)試數(shù)據(jù)庫(kù)中成功初始化增加至76%。
[0074]有利的是，它可在特征對(duì)是否在理論上成立的過(guò)程期間被檢測(cè)。這可以通過(guò)檢查當(dāng)前特征的估計(jì)位置相對(duì)于參考特征的記錄位置實(shí)現(xiàn)。根據(jù)本發(fā)明的這一方面，建議縮小搜索空間或通過(guò)考慮其在世界坐標(biāo)(或全局坐標(biāo))中的位置的(局部)信息影響為匹配由拾取裝置拾取的當(dāng)前圖像的圖像特征的距離測(cè)度。全局坐標(biāo)系統(tǒng)可以是地理坐標(biāo)系統(tǒng)或?qū)ο蟮淖鴺?biāo)系統(tǒng)(例如，建筑物或產(chǎn)品包裝或汽車(chē))，它有一個(gè)固定的高度或關(guān)于地球引力的固定的取向。作為可確定的特征的位置的自由度嚴(yán)重依賴(lài)于關(guān)于拾取裝置的位置和指向的可利用信息，本發(fā)明的各方面的不同示例性實(shí)施方式相對(duì)于圖4和圖10在下面解釋更多的細(xì)節(jié)。
[0075]本發(fā)明的另一方面考慮特征提取過(guò)程的指標(biāo)，如從SURF特征提取器(高斯的正或負(fù)拉普拉斯算子)產(chǎn)生的符號(hào)。
[0076]本發(fā)明的另一方面，不僅考慮到了兩個(gè)特征描述符之間的最小距離，還考慮最小距離和次最佳距離之間的距離。具體地，如果乘以一個(gè)小于0.9的標(biāo)量因子后的次最佳距離大于最佳匹配的距離，兩個(gè)描述符被認(rèn)為是一個(gè)匹配。這樣就避免了誤報(bào)(錯(cuò)誤地匹配特征)的發(fā)生，這將導(dǎo)致在位姿估計(jì)中錯(cuò)誤分類(lèi)或問(wèn)題。
[0077]在本發(fā)明的另一個(gè)方面，當(dāng)前圖像的所有當(dāng)前特征彼此相匹配，去除彼此非常相似(該距離度量低于一定閾值)的特征。過(guò)濾后的一組當(dāng)前特征隨后與參考特征匹配。
[0078]本發(fā)明非常適用于對(duì)象分類(lèi)。本發(fā)明也非常適用于攝像機(jī)位姿初始化，在此缺失或不完整的關(guān)于攝像機(jī)的對(duì)象位姿的先驗(yàn)信息是可用的。
[0079]特征檢測(cè):
[0080]特征是在圖像中的顯著元素，它可以是一個(gè)點(diǎn)，一條線(xiàn)，一條曲線(xiàn)，一個(gè)連接區(qū)域或任何其它像素集。同樣，一個(gè)像素，一幅圖像的所有像素，或每一組已選像素可依據(jù)本發(fā)明被定義為一個(gè)特征。
[0081]特征檢測(cè)算法是通常的顯著性檢測(cè)器。例如，他們發(fā)現(xiàn)線(xiàn)，邊，或微分算子的局部極值。特征檢測(cè)器可以被視為一個(gè)函數(shù)映射的區(qū)域像素響應(yīng)。在文獻(xiàn)中，這個(gè)區(qū)域被稱(chēng)為采樣窗口或特征檢測(cè)器的測(cè)量孔徑。響應(yīng)是決定哪些元素是特征哪些不是的最終閾值。為了在一定尺度下提取特征，要么采樣窗口可被相應(yīng)地度量，要么圖像在計(jì)算特征檢測(cè)器的響應(yīng)之前被度量。特征的尺寸隨后被定義為用于檢測(cè)它的采樣窗口的尺寸。
[0082]對(duì)于關(guān)鍵點(diǎn)檢測(cè)方法的常見(jiàn)例子包括高斯的拉普拉斯(LoG)，高斯差函數(shù)(DoG)，Hessian行列式(DoH),最大穩(wěn)定的極值區(qū)域(MSER), Harris特征,或基于學(xué)習(xí)的轉(zhuǎn)角檢測(cè)器如FAST。
[0083]3D特征也代表了用于本發(fā)明的一個(gè)可能的數(shù)據(jù)源。3D特征可通過(guò)許多方法從深度圖像或3D模型中提取，例如識(shí)別局部極值。[0084]在本發(fā)明的一方面，整個(gè)圖像也可被看作一個(gè)特征。
[0085]在本發(fā)明的另一方面，3D數(shù)據(jù)和強(qiáng)度數(shù)據(jù)的組合可被用作輸入數(shù)據(jù)，例如在參考文獻(xiàn)[19] (Wu, Changchang et al.“3D model matching with Viewpoint-1nvariantPatches(VIP).，’IEEE Conference on Computer Vision and PatternRecognition(2008)0(2008):1-8)中所述。
[0086]特征/圖像描述
[0087]已提取的視覺(jué)特征(特征點(diǎn)，邊緣，轉(zhuǎn)角，局部極值等)必須是可重復(fù)的，這意味著盡管視點(diǎn)(方向，尺度等)，光線(xiàn)條件和/或圖像噪聲不同，它們的提取應(yīng)該是可能的。
[0088]匹配的過(guò)程包括發(fā)現(xiàn)至少一個(gè)自?xún)蓚€(gè)或更多圖像提取的相應(yīng)視覺(jué)特征。它常常需要?jiǎng)?chuàng)建描述符，它們?cè)试S相對(duì)于一些相似點(diǎn)或距離度量，不同圖像中相同的自然特征以類(lèi)似的方式描述。一些特征點(diǎn)描述符的概述和比較在參考文獻(xiàn)[21] (Mikolajczyk, K.and Schmid, C.,,A Performance Evaluation of Local Descriptors.，，2005IEEE Trans.Pattern Anal.Mach.1ntell.27，10 (2005): 1615-1630)中給出。一旦為每個(gè)已提取的特征創(chuàng)建了一個(gè)或多個(gè)描述符，它們根據(jù)相似度或距離度量進(jìn)行匹配:對(duì)在查詢(xún)圖像中的每個(gè)特征，匹配使用最接近的描述符或基于參考文獻(xiàn)[I] (Lowe, David G.“Distinctive ImageFeatures from Scale-1nvariant Keypoints.”International Journal of ComputerVision60.2(2004):91-110)的比率檢驗(yàn)法分配。
[0089]參考文獻(xiàn)[I8](Bosch, A, Andrew Zisserman, and X Munoz.“Representing shapewith a spatial pyramid kernel.，，Image Processing5 (2007): 401 - 408)描述了一種代表局部圖像形狀及其空間布局的描述符，連同一個(gè)空間金字塔內(nèi)核。
[0090]參考文獻(xiàn)[20](Uchiyama, Hideaki, and Marchand, Eric.“TowardAugmenting Everything: Detecting and Tracking Geometrical Features onPlanar Objects.，，2011 International Symposium on Mixed and AugmentedReality (2011):17-25)描述了一種基于特征的空間關(guān)系的描述符，這也是一種可能性。該方法是在一個(gè)集合Pn中選擇一個(gè)點(diǎn)X的η個(gè)最近鄰。從Pm中選擇m〈n個(gè)點(diǎn)。計(jì)算所有可能的基于m個(gè)點(diǎn)中的f個(gè)點(diǎn)(對(duì)于相交比率f=5，以及對(duì)于仿射不變量f=4)的不變量。在固定順序中不變量的序列是點(diǎn)X的一個(gè)描述符。該仿射不變量是兩個(gè)三角形之間的面積之比:A(a，c，d)/A(a，b，c)。透視不變量是三角形面積的相交比:(A (a, b, c) *A (a, d, e)) / (A (a, b, d) *A (a, c, e))。在參考文獻(xiàn)[20] (Uchiyama, Hideaki, andMarchand, Eric.“Toward Augmenting Everything!Detecting and Tracking GeometricalFeatures on Planar Objects.，，2011 International Symposium on Mixed and AugmentedReality (2011):17-25)中，一個(gè)散列過(guò)程用于匹配特征，其可不作考慮，使用我們的引擎。
[0091]參考文獻(xiàn)[15](Taati, Babak: ^Generation and Optimization of Local ShapeDescriptors for Point Matching in3_D Surfaces.^Thesis(Ph.D, Electrical&ComputerEngineering) -Queen’s University, Kingston, Ontario, Canada, August2009)給出了很好的綜述關(guān)于3D和基于用于匹配的描述符的深度圖像。
[0092] 本發(fā)明總體來(lái)說(shuō)，描述符可有利地為一個(gè)向量，其源于一個(gè)2D圖像或2D圖像的一部分或3D數(shù)據(jù)，其創(chuàng)建不只是將像素轉(zhuǎn)換到不同顏色空間或標(biāo)準(zhǔn)化其值。在本發(fā)明的另一方面，描述符源自直方圖，統(tǒng)計(jì)或關(guān)于像素，形狀或深度值的相關(guān)關(guān)系。匹配過(guò)程:[0093]該匹配過(guò)程是本發(fā)明的解決方案中一個(gè)關(guān)鍵組成部分。一個(gè)可能的布局基于圖5所示的實(shí)施例。一個(gè)可能的流程圖由圖7所示。根據(jù)一個(gè)實(shí)施例，它結(jié)合了下列計(jì)算:
[0094]根據(jù)本發(fā)明作為相似性度量，例如，可使用距離度量。根據(jù)我們的發(fā)明，D(c，r)描述了在兩個(gè)描述符之間的有利距離度量。具體地說(shuō)，它描述了當(dāng)前特征c的當(dāng)前特征描述符d(c)和參考特征r的參考特征描述符d(r)之間的距離度量。例如，如上文相對(duì)于圖1所描述的，當(dāng)前特征c和參考特征r以及它們的特征描述符d(c)和d(r)被確定并分別提供。
[0095]通常，相應(yīng)距離度量D (c，r)可在包括相應(yīng)當(dāng)前特征描述符d (C)的相應(yīng)當(dāng)前特征c的一個(gè)或多個(gè)屬性和包括相應(yīng)參考特征描述符d(r)的相應(yīng)參考特征r的一個(gè)或多個(gè)屬性之間確定。
[0096]本發(fā)明的方法可包括在每個(gè)相應(yīng)當(dāng)前特征描述符d(c)和每個(gè)相應(yīng)參考特征描述符d(r)之間確定相應(yīng)第一距離度量d，用于相似性度量D (c，r)的確定。
[0097]根據(jù)一個(gè)實(shí)施例，本發(fā)明的方法可包括在當(dāng)前圖像中相應(yīng)當(dāng)前特征描述符d(c)的位置信息X(c)和/或y(c)和通用坐標(biāo)系中相應(yīng)參考特征描述符d(r)的相應(yīng)位置信息x(r),y(r)之間確定相應(yīng)第二距離度量(此處x和/或y)，用于相似性度量D (c，r)的確定。例如，這可被計(jì)算為由d(c)描述的相應(yīng)當(dāng)前特征的3D位置信息X(C)和由d(r)描述的相應(yīng)參考特征的3D位置信息X(r)之間的Euclidian距離。
[0098]根據(jù)進(jìn)一步的實(shí)施例，本發(fā)明的方法可包括確定相應(yīng)第三距離度量z來(lái)表示當(dāng)前圖像中相應(yīng)當(dāng)前特征描述符d(C)的位置信息Z (C)和通用坐標(biāo)系中相應(yīng)參考特征描述符d(r)的位置信息z(r)之間的角度，用于相似性度量D(c，r)的確定。例如，這可被計(jì)算為由攝像機(jī)中心定義的第一向量z (c)及其相應(yīng)當(dāng)前特征的3D位置信息和由攝像機(jī)中心定義的第二向量z (r)及其相應(yīng)參考向量的3D位置信息之間的標(biāo)量積。
[0099]在另一實(shí)施例中，z可表示關(guān)于全局坐標(biāo)系的攝像機(jī)指向和特征的獨(dú)立方向?qū)傩灾g的角度，例如源于一個(gè)已知表面的曲面法線(xiàn)，在其上定位特征。
[0100]根據(jù)進(jìn)一步的實(shí)施例，本發(fā)明的方法可包括在當(dāng)前圖像中相應(yīng)當(dāng)前特征描述符d(c)的標(biāo)量屬性u(píng)(c)和/或V(C)與相應(yīng)參考特征描述符d(r)的相應(yīng)標(biāo)量屬性u(píng)(r)，V(r)之間確定相應(yīng)第四距離度量(此處，u和/或V)，用于相似性度量D(c，r)的確定。例如，這可從SURF (高斯正或負(fù)拉普拉斯算子)的符號(hào)計(jì)算。
[0101]根據(jù)進(jìn)一步的實(shí)施例，本發(fā)明的方法可包括通過(guò)至少一個(gè)相應(yīng)第一，第二，第三和第四距離度量與至少另一個(gè)相應(yīng)第一，第二，第三和第四距離度量組合確定相應(yīng)組合距離度量D (c，r)，用于相應(yīng)相似性度量的確定。
[0102]例如，D(c，r)可以是Au, Δ ν, Δ χ, Δ y, Δ ζ,和 / 或 Ad 的組合。
[0103]P(c,r)描述了本發(fā)明的匹配過(guò)程中另一個(gè)適用的可選部分。它可用于檢查兩個(gè)描述符是否應(yīng)完全匹配。通常，這是有助于避免錯(cuò)誤匹配。P檢查，是否滿(mǎn)足特定條件，取決于給定的閾值。
[0104]根據(jù)一個(gè)實(shí)施例，本發(fā)明的方法可包括確定檢查參數(shù)P，其為確定是否特征對(duì)c，r與當(dāng)前特征之一和參考特征之一有資格為有效匹配而計(jì)算。
[0105]根據(jù)一個(gè)實(shí)施例，本發(fā)明的方法可包括通過(guò)將至少一個(gè)相應(yīng)第二距離度量Λχ和/或Λ y，第三距離度量Λ ζ和第四距離度量Au，Λ ν與至少一個(gè)相應(yīng)閾值相比較來(lái)確定至少一個(gè)相應(yīng)檢查參數(shù)P (C，r)，其中該檢查參數(shù)P (C，r)用于確定是否具有當(dāng)前特征之一和參考特征之一的特征對(duì)c，r有資格為有效匹配。
[0106]例如,該方法可以進(jìn)一步包括加權(quán)相應(yīng)當(dāng)前特征c和參考特征r的至少一個(gè)屬性，或在一個(gè)或多個(gè)屬性之間的至少一個(gè)距離度量。進(jìn)一步，該方法可包括當(dāng)確定組合距離度量D (c，r)時(shí)，加權(quán)至少一個(gè)第一，第二，第三和/或第四距離度量。
[0107]具體地，每個(gè)上述組件可給予權(quán)重(如，wu, wv, Wx等)，這取決于為系統(tǒng)提供的可用信息。這里所使用的信息可以是來(lái)自特征提取過(guò)程或來(lái)自在全局坐標(biāo)系或攝像機(jī)坐標(biāo)系(例如用于利用對(duì)極幾何約束的立體匹配)中當(dāng)前特征的位置估計(jì)。如果這種信息不可用，在公式D(c，r)中的相應(yīng)權(quán)重可被設(shè)置為零或一個(gè)值，例如取決于信息的不確定性。如果信息不完整或沒(méi)有給出有關(guān)Διι, Δ ν, Δχ, Ay, Δ ζ信息或沒(méi)有可用信息，閾值可被設(shè)置為一個(gè)很高的值或進(jìn)行縮放，這取決于不確定信息。
[0108]根據(jù)一個(gè)實(shí)施例,距離度量D (c, r)的部分如上所述,如Au, Δ ν, Δ χ, Δ y, Δζ和Δ d可如下確定:
[0109]Δ u= (u (c) -u (r)) 2
[0110]Δ ν= I ν (c) -ν (r):?
【權(quán)利要求】
1.具有至少一個(gè)攝像機(jī)的可穿戴信息系統(tǒng)，所述信息系統(tǒng)可操作的具有低功率模式和高功率模式，其中所述信息系統(tǒng)被配置為使高功率模式通過(guò)至少一個(gè)攝像機(jī)的至少一個(gè)視野中的至少一個(gè)對(duì)象的檢測(cè)激活。
2.如權(quán)利要求1所述的信息系統(tǒng)，所述系統(tǒng)包括一頭戴式顯示器和至少一個(gè)附著于所述顯示器為接收所述頭戴式顯示器的取景方向上的信息而配置的攝像機(jī)。
3.如權(quán)利要求1所述的信息系統(tǒng)，其中所述攝像機(jī)能夠記錄強(qiáng)度信息，色彩信息，深度信息中的至少一種。
4.如權(quán)利要求1所述的信息系統(tǒng)，其中在低功率模式下至少一個(gè)應(yīng)用處理單元的時(shí)鐘速率低于高功率模式。
5.如權(quán)利要求1所述的信息系統(tǒng)，其中低功率模式下至少一個(gè)外圍子模塊能被斷接電源。
6.如權(quán)利要求1所述的信息系統(tǒng)，其中所述系統(tǒng)包括至少一個(gè)應(yīng)用處理單元和附加處理單元(具體 地，低功率子系統(tǒng))，在至少一個(gè)攝像機(jī)的至少一個(gè)視野中的對(duì)象的檢測(cè)由所述附加處理單元實(shí)施。
7.如權(quán)利要求6所述的信息系統(tǒng)，其中所述附加處理單元包含至少之一的:CPU，用于匹配特征的電路邏輯，至少一個(gè)用于從圖像中提取特征的電路邏輯，至少一個(gè)用于描述從圖像中提取的特征的電路邏輯，至少一個(gè)用于生成攝像圖像的不同分辨率圖像的縮放單元，用于存儲(chǔ)在圖像中找到的當(dāng)前特征的存儲(chǔ)器以及用于存儲(chǔ)參考特征的數(shù)據(jù)庫(kù)的存儲(chǔ)器。
8.如權(quán)利要求1所述的信息系統(tǒng)，其中所述對(duì)象并不是人。
9.如權(quán)利要求1所述的信息系統(tǒng)，其中所述對(duì)象的檢測(cè)包括來(lái)自攝像圖像的特征的提取，建立所述特征的較高級(jí)描述以及將所述特征與事先存儲(chǔ)的來(lái)自先驗(yàn)對(duì)象的特征的較高級(jí)描述相匹配。
10.如權(quán)利要求8或9所述的信息系統(tǒng)，其中所述特征為點(diǎn)特征。
11.如權(quán)利要求8或9所述的信息系統(tǒng)，其中所述描述符為旋轉(zhuǎn)不變量。
12.如權(quán)利要求8或9所述的信息系統(tǒng)，其中所述描述符為尺度不變量，特別通過(guò)在原始攝像圖像的不同尺度版本上執(zhí)行特征提取和/或特征描述，或通過(guò)運(yùn)行特征提取和/或描述算法在不同尺度下提取信息。
13.如權(quán)利要求1所述的信息系統(tǒng)，其中所述系統(tǒng)被配置為使圖像僅被存儲(chǔ)和和/或檢測(cè)僅被試驗(yàn)，如果另一傳感器已觸發(fā)這樣的事件，特別是如果加速計(jì)或指南針或陀螺儀之一記錄所述可穿戴信息系統(tǒng)的微小運(yùn)動(dòng)和或記錄該裝置還在移動(dòng)。
14.如權(quán)利要求1所述的信息系統(tǒng)，其中所述系統(tǒng)能被用戶(hù)置于低功率模式。
15.如權(quán)利要求14所述的信息系統(tǒng)，其中低功率模式通過(guò)手勢(shì)識(shí)別激活。
16.如權(quán)利要求15所述的信息系統(tǒng)，其中手勢(shì)識(shí)別是經(jīng)由手或手臂的運(yùn)動(dòng)，該運(yùn)動(dòng)為“擦”過(guò)被檢測(cè)對(duì)象。
17.如權(quán)利要求14所述的信息系統(tǒng)，其中如果之前，所述信息系統(tǒng)由用戶(hù)置于低功率模式下，而之前特殊對(duì)象已被檢測(cè)，所述系統(tǒng)將不會(huì)被置于高功率模式。
18.如權(quán)利要求14所述的信息系統(tǒng)，其中所述低功率模式由用戶(hù)使用語(yǔ)音命令激活。
19.如權(quán)利要求1所述的信息系統(tǒng)，其中在所述高功率模式，所述系統(tǒng)顯示關(guān)于被檢測(cè)對(duì)象的增強(qiáng)現(xiàn)實(shí)信息。
20.如權(quán)利要求1所述的信息系統(tǒng)，其中當(dāng)在攝像圖像中不再檢測(cè)被檢測(cè)對(duì)象和/或多媒體內(nèi)容已被充分顯示時(shí)，所述低功率模式自動(dòng)激活。
21.如權(quán)利要求1所述的信息系統(tǒng)，其中根據(jù)傳感器測(cè)量值或用戶(hù)互動(dòng)，從遠(yuǎn)程服務(wù)器下載新的參考特征。
【文檔編號(hào)】G06T7/00GK104007817SQ201410060643
【公開(kāi)日】2014年8月27日 申請(qǐng)日期:2014年2月21日 優(yōu)先權(quán)日:2013年2月21日
【發(fā)明者】彼得·米爾, 托馬斯·斯維林 申請(qǐng)人:Metaio有限公司