以參考特征匹配圖像特征的方法
【專利摘要】一種以參考特征匹配圖像特征的方法，該方法包括下列步驟：提供通過(guò)一拾取裝置拾取的一當(dāng)前圖像，提供一組參考特征，其中每個(gè)該等參考特征包括至少一第一參數(shù)，所述第一參數(shù)是至少部分地指示有關(guān)一廣域坐標(biāo)系統(tǒng)的參考特征的一位置和/或方位，其中所述廣域坐標(biāo)系統(tǒng)是一地面坐標(biāo)系統(tǒng)或一對(duì)象坐標(biāo)系統(tǒng)，或所述第一參數(shù)是至少部分地指示有關(guān)一高度的參考特征的一位置，在一特征檢測(cè)過(guò)程中檢測(cè)所述當(dāng)前圖像中的至少一特征，關(guān)聯(lián)所述檢測(cè)特征于至少一第二參數(shù)，所述第二參數(shù)是至少部分地指示有關(guān)所述廣域坐標(biāo)系統(tǒng)的檢測(cè)特征的一位置和/或方位，或所述第二參數(shù)是至少部分地指示有關(guān)一高度的檢測(cè)特征的一位置，以及通過(guò)決定在所述至少一第一參數(shù)以及所述至少一第二參數(shù)之間的一相似度測(cè)量，而匹配所述檢測(cè)特征與所述一組參考特征的參考特征的至少之一。
【專利說(shuō)明】以參考特征匹配圖像特征的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是針對(duì)一種以參考特征匹配圖像特征的方法，包括下列步驟:提供通過(guò)一拾取裝置拾取的一當(dāng)前圖像，提供參考特征，檢測(cè)在一特征檢測(cè)過(guò)程中的當(dāng)前圖像中的至少一特征，以及將所述檢測(cè)特征與所述參考特征的至少之一匹配。
【背景技術(shù)】
[0002]在利用攝影機(jī)取得的圖像的處理中的許多任務(wù)，例如，在增強(qiáng)實(shí)境應(yīng)用以及計(jì)算機(jī)視覺(jué)中，需要找出對(duì)應(yīng)于相同實(shí)體3D表面的相同對(duì)象或景象的多個(gè)圖像中的點(diǎn)或特征。一常見(jiàn)方法，例如，在參考文獻(xiàn)[I]中所揭示的SIFT中，首先以具有高重復(fù)性的方法檢測(cè)圖像中的特征。這意味著，對(duì)應(yīng)至相同實(shí)體3D表面的圖像中的部分被選擇作為對(duì)于不同視角、不同旋轉(zhuǎn)以及照明設(shè)置的特征的可能性是高的。特征通常在尺度空間(即，在不同的尺度上)中被提取。因此，每個(gè)特征具有除了其的二維位置外的可重復(fù)尺度。此外，可重復(fù)方位(旋轉(zhuǎn))自在特征附近的區(qū)域(例如，強(qiáng)度梯度的主要方向)中的像素強(qiáng)度被計(jì)算出。
[0003]最后，為啟用特征的比較以及匹配，一特征描述符是需要的。通常的方法使用計(jì)算的特征的尺度以及方位以轉(zhuǎn)換特征描述符的坐標(biāo)，其提供對(duì)于旋轉(zhuǎn)以及尺度的不變性。描述符是，例如，一個(gè)η-維的實(shí)數(shù)向量，其通常利用連接局部圖像強(qiáng)度函數(shù)的直方圖被構(gòu)建，例如，在參考文獻(xiàn)[I]中的梯度。
[0004]給予一當(dāng)前特征，自一當(dāng)前強(qiáng)度圖像被檢測(cè)以及被描述，一重要工作是在將被稱為參考特征的一組被提供的特征中，找出對(duì)應(yīng)至相同的實(shí)體表面的一特征。一自然方法是通過(guò)徹底地搜尋找出當(dāng)前特征的描述符的最接近鄰近者以及選擇對(duì)應(yīng)的參考特征作為匹配。更先進(jìn)的方法采用描述符領(lǐng)域中的空間數(shù)據(jù)結(jié)構(gòu)以加速匹配。遺憾地是，沒(méi)有已知的現(xiàn)有方法可啟用高維度空間中最接近鄰近者的搜尋，其是顯著地更快于徹底的搜尋。這是為什么通常的方法反而使用近似最接近鄰近者的搜尋，例如，通過(guò)空間分割數(shù)據(jù)結(jié)構(gòu)被啟用，例如,參考文獻(xiàn)[I]中的kd-樹(shù)。
[0005]標(biāo)準(zhǔn)方法的限制:
[0006]隨著參考特征的數(shù)目增加，匹配一單一當(dāng)前特征的時(shí)間上升，使得在一些點(diǎn)的實(shí)時(shí)處理成為不可能。同時(shí)，特征描述符的特殊性隨參考特征的總數(shù)目而減少。雖然第一個(gè)問(wèn)題可隨著最佳化數(shù)據(jù)結(jié)構(gòu)啟用快速近似最接近鄰近者的搜尋至一定的程度而被解決，但若不包含任何進(jìn)一步的信息則第二問(wèn)題不能被解決。
[0007]已經(jīng)提出的解決辦法:
[0008]Reitmayr以及Drummond的參考文獻(xiàn)[5]說(shuō)明依賴視覺(jué)跟蹤的一戶外增強(qiáng)實(shí)境系統(tǒng)。為初始化視覺(jué)跟蹤，即去找出有關(guān)于世界的攝影機(jī)位置以及方位而不必具有自在先幀的任何知識(shí)，他們使用GPS以得到裝置的粗略位置。給予的這個(gè)位置，他們?cè)噲D通過(guò)在粗略的GPS測(cè)量附近的一些位置樣本的受限的攝影機(jī)位置初始化視覺(jué)跟蹤，直至初始化成功。
[0009]Schall等人的參考文獻(xiàn)[7]在Kalman濾波器中將一差動(dòng)GPS/MU硬件模塊與氣壓高度測(cè)量組合，以改進(jìn)使用者的3D位置評(píng)估的精確度。這濾波的慣性跟蹤再次與允許自然特征的線上學(xué)習(xí)的無(wú)漂移視覺(jué)全景跟蹤器被組合。該方法不使用任何(離線學(xué)習(xí))參考特征。
[0010]不同的方法存在，其是根據(jù)作用如參考特征的一組地理參考局部圖像特征。這些方法的假設(shè)是，如果拾取裝置的位置是大約地已知，例如，通過(guò)GPS，則僅那些安置于拾取裝置附近的參考特征可能是可見(jiàn)的。這類型方法的一些范例將在下面被說(shuō)明。
[0011]Kumar等人的參考文獻(xiàn)[2]使用GPS定位以縮小至拾取裝置附近的搜尋區(qū)域，并且使用一組預(yù)先建立的詞匯樹(shù)以找出這搜尋區(qū)域中的最佳匹配圖像。
[0012]同樣地，陳(Chen)等人的參考文獻(xiàn)[4]使用通過(guò)GPS的關(guān)于裝置位置的在先信息以改進(jìn)特征匹配。他們討論為每個(gè)空間區(qū)域使用一小的詞匯樹(shù)，如參考文獻(xiàn)[2]，并且將這結(jié)果與使用一廣域詞匯樹(shù)以及包含GPS位置作為特征匹配評(píng)分過(guò)程中的在先信息的方法進(jìn)行比較。他們達(dá)成結(jié)論，第二方法將提供較佳的結(jié)果。
[0013]在參考文獻(xiàn)[8]中，Arth等人使用潛在可視集合(PVS)并且因而不僅考慮特征的空間附近，而且也考慮視程限制。即使他們不在他們的室內(nèi)試驗(yàn)中使用GPS，他們亦說(shuō)明GPS可如何被在戶外應(yīng)用中使用以決定拾取裝置的粗略位置，其接著可被使用來(lái)取回這位置的參考特征的潛在可視集合。
[0014]Bleser以及Stricker的參考文獻(xiàn)[3]提出一視覺(jué)慣性跟蹤方法，其應(yīng)用慣性傳感器來(lái)測(cè)量攝影機(jī)自在先幀至當(dāng)前幀的相對(duì)移動(dòng)。這知識(shí)被使用來(lái)預(yù)測(cè)位置并且因此定義圖像空間中逐幀被跟蹤的特征的2D搜尋空間。由于他們僅使用相對(duì)攝影機(jī)轉(zhuǎn)換的測(cè)量，他們的技術(shù)不適合于攝影機(jī)位姿跟蹤的初始化。
[0015]雖然參考文獻(xiàn)[7]不使用環(huán)境的任何參考特征或任何模型,被說(shuō)明在參考文獻(xiàn)
[5]中的方法卻使用，但是不限制根據(jù)測(cè)量的GPS位置的參考特征的搜尋空間。然而，參考文獻(xiàn)[2]、[4]以及[8]是如此。根據(jù)拾取裝置的位置，他們決定哪個(gè)參考特征可能是可見(jiàn)的以及哪個(gè)最有可能是不可見(jiàn)。這決定被采用于每圖像位準(zhǔn)上，表示參考特征的相同子集被考慮為對(duì)于當(dāng)前攝影機(jī)圖像中的所有當(dāng)前特征的一可能的匹配。
[0016]現(xiàn)代手持裝置提供比裝置位置更多的傳感器數(shù)據(jù)。例如，數(shù)位羅盤測(cè)量有關(guān)北方的裝置方位并且慣性傳感器提供有關(guān)重力的裝置方位。攝影機(jī)圖像中的特征的2D位置，以及其的深度，如果可行的話，也包含一些應(yīng)用中的有用信息。
[0017]如上面的設(shè)定，已知的現(xiàn)有技術(shù)方法減少在拾取位置附近對(duì)特征的搜尋空間，并且因而避免與遠(yuǎn)處特征匹配。但是，尤其是在城市環(huán)境中，時(shí)常是相似外觀特征的情況，其易于導(dǎo)致錯(cuò)配，其被彼此接近安置并且在相同時(shí)間可能兩者皆是可見(jiàn)的。范例包含通?？雌饋?lái)都非常相似的建筑物外觀窗戶。其明顯地很可能具有在相同時(shí)間在攝影機(jī)圖像中可見(jiàn)到許多看起來(lái)相似的窗戶。這使得任何廣域方法，即減少一每圖像位準(zhǔn)上的搜尋空間，如上面的設(shè)定，不適用于防止錯(cuò)配。

【發(fā)明內(nèi)容】

[0018]本發(fā)明的一目的是提供一種以參考特征匹配圖像特征的方法，該方法可改善實(shí)時(shí)的處理而保持特征描述符的特殊性，即使是具有一增加的參考特征總數(shù)目。
[0019]依據(jù)本發(fā)明一論點(diǎn)，其提供一種以參考特征匹配圖像特征的方法，該方法包括下列步驟:提供通過(guò)一拾取裝置拾取的一當(dāng)前圖像，提供一組參考特征，其中每個(gè)該等參考特征包括至少一第一參數(shù)，所述第一參數(shù)是至少部分地指示關(guān)于一廣域坐標(biāo)系統(tǒng)的參考特征的一位置和/或方位，其中所述廣域坐標(biāo)系統(tǒng)是一地面坐標(biāo)系統(tǒng)或一對(duì)象坐標(biāo)系統(tǒng)，或所述第一參數(shù)是至少部分地指示有關(guān)一高度的參考特征的一位置，在一特征檢測(cè)過(guò)程中檢測(cè)所述當(dāng)前圖像中的至少一特征，關(guān)聯(lián)所述檢測(cè)特征于至少一第二參數(shù)，所述第二參數(shù)是至少部分地指示有關(guān)所述廣域坐標(biāo)系統(tǒng)的檢測(cè)特征的一位置和/或方位，或所述第二參數(shù)是至少部分地指示有關(guān)一高度的檢測(cè)特征的一位置，以及通過(guò)決定在所述至少一第一參數(shù)以及所述至少一第二參數(shù)之間的一相似度測(cè)量，匹配所述檢測(cè)特征與所述一組參考特征的參考特征的至少之一。尤其是，所述廣域坐標(biāo)系統(tǒng)可以是一地面坐標(biāo)系統(tǒng)或一對(duì)象坐標(biāo)系統(tǒng)，例如，一建筑物或一產(chǎn)品。
[0020]依據(jù)一實(shí)施例，該方法包括當(dāng)匹配所述檢測(cè)特征時(shí)通過(guò)在所述一組參考特征內(nèi)之一減低參考特征的數(shù)量而定義一搜尋空間的步驟，其中所述搜尋空間根據(jù)所述至少一第二參數(shù)被決定。
[0021]因此，依據(jù)本發(fā)明的論點(diǎn)，其通過(guò)考慮廣域坐標(biāo)系統(tǒng)(世界坐標(biāo))坐標(biāo)中他們的位置的至少部分的知識(shí)，提出減少用于匹配局部圖像特征的搜尋空間。在當(dāng)前圖像中給予的一當(dāng)前特征，該方法是在具有(部分地已知的)世界坐標(biāo)的一組參考特征中尋找一對(duì)應(yīng)特征。尤其是，依據(jù)關(guān)于在當(dāng)前圖像被取得時(shí)拾取裝置的位置和/或方位的可用的信息，以及當(dāng)前圖像的特定像素的可能可用的深度，世界坐標(biāo)中一當(dāng)前特征的(部分)位置可被確定。這接著被用以通過(guò)僅考慮那些參考特征減少搜尋空間，作為可能的匹配被安置接近至世界坐標(biāo)中的當(dāng)前特征的(部分)位置。產(chǎn)生的匹配可，例如，被用以初始化在一增強(qiáng)現(xiàn)實(shí)應(yīng)用中的視覺(jué)攝影機(jī)跟蹤方法。
[0022]如上面的設(shè)定，依據(jù)參考文獻(xiàn)[2]、[4]以及[8]的方法根據(jù)拾取裝置的位置決定哪些參考特征可能是可見(jiàn)的以及哪些最可能是不可見(jiàn)的。這個(gè)決定被采用于一每圖像位準(zhǔn)上，表示參考特征的相同子集被考慮作為對(duì)于一當(dāng)前攝影機(jī)圖像中的所有當(dāng)前特征的可能匹配。依據(jù)本發(fā)明的方法不同于這些方法，因其將一攝影機(jī)圖像的檢測(cè)特征關(guān)聯(lián)于有關(guān)廣域坐標(biāo)系統(tǒng)的檢測(cè)特征的一至少部分的位置和/或方位信息，并且在每特征位準(zhǔn)上采用這一決定。可能匹配參考特征組根據(jù)其(部分地)已知的廣域位置對(duì)于當(dāng)前攝影機(jī)圖像中的每個(gè)檢測(cè)特征被決定。
[0023]依據(jù)一實(shí)施例，所述廣域坐標(biāo)系統(tǒng)提供有關(guān)一特征的地理參考位置和/或方位的信息。例如，至少一第一以及第二參數(shù)中的至少之一是至少部分地指示一經(jīng)度以及緯度。
[0024]依據(jù)一實(shí)施例，至少一第一以及第二參數(shù)中的至少之一是至少部分地指示有關(guān)相對(duì)于該拾取裝置的一相對(duì)高度、或一絕對(duì)高度的一位置。
[0025]依據(jù)一實(shí)施例，所述檢測(cè)特征的位置和/或方位通過(guò)一方程式被描述，該方程式描述一幾何形狀，例如，一點(diǎn)、一射線、一直線、一圓、一圓錐形、或一圓柱形。例如，匹配所述檢測(cè)特征與所述一組參考特征的步驟僅考慮該組參考特征中具有至所述幾何形狀的距離是在一閾值之下的一位置的那些參考特征為可能的匹配。
[0026]依據(jù)一實(shí)施例，至少一第一以及第二參數(shù)的至少之一是在一特征描述符領(lǐng)域中和/或在一空間領(lǐng)域中的一空間數(shù)據(jù)結(jié)構(gòu)的部分，例如，其中所述空間數(shù)據(jù)結(jié)構(gòu)包含一限定容積，例如，軸對(duì)齊方塊、定位方塊、球形、任意容積，或一網(wǎng)格，或任何類型的樹(shù)型，例如，四分樹(shù)型(Quadtree)、八叉樹(shù)型(Octree)、二元空間分割樹(shù)型(BSP-tree)、k維空間樹(shù)型(kd-tree)、多維空間索引樹(shù)型(R-tree)。
[0027]最好是，當(dāng)拾取所述當(dāng)前圖像時(shí)，所述至少一第二參數(shù)使用有關(guān)所述廣域坐標(biāo)系統(tǒng)的拾取裝置的至少部分的位置和/或方位被決定。
[0028]依據(jù)本發(fā)明一實(shí)施例，至少一第一參數(shù)可以是至少部分地指示有關(guān)廣域坐標(biāo)系統(tǒng)的參考特征的僅僅一位置和/或至少部分地指示一位置以及方位。同樣地，依據(jù)本發(fā)明一實(shí)施例，所述至少一個(gè)第二參數(shù)是至少部分地指示有關(guān)廣域坐標(biāo)系統(tǒng)的檢測(cè)特征的一位置或至少部分地指示一位置以及方位。在這些實(shí)施例中，檢測(cè)特征的方位可能不被所述方法所考慮。
[0029]如果檢測(cè)特征一元素的深度信息是可用的，則至少一第二參數(shù)可使用所述當(dāng)前圖像中的至少一元素的一深度作為所述檢測(cè)特征的一部分而被決定。
[0030]依據(jù)一實(shí)施例，該至少一第二參數(shù)使用關(guān)聯(lián)于所述拾取裝置的一坐標(biāo)系統(tǒng)中的一重力向量的一測(cè)量值以及所述當(dāng)前圖像中的至少一元素的一深度作為該檢測(cè)特征的一部分而被決定。例如，檢測(cè)特征的位置是至少部分地以通過(guò)具有一法線是或?qū)?yīng)至所述重力向量的一平面被描述，而該平面指示高度。
[0031]依據(jù)一實(shí)施例，至少一第二參數(shù)通過(guò)進(jìn)一步使用所述拾取裝置的一組固有參數(shù)、以及所述當(dāng)前圖像中的所述檢測(cè)特征的一位置而被決定。
[0032]利用組合朝向所述拾取裝置的所述檢測(cè)特征的一決定的距離以及該拾取裝置的方位，而計(jì)算有關(guān)所述廣域坐標(biāo)系統(tǒng)或該拾取裝置的一坐標(biāo)系統(tǒng)的該檢測(cè)特征的一 3維位置。
[0033]依據(jù)一實(shí)施例，所述一組參考特征被取得自至少一參考圖像，該至少一參考圖像通過(guò)不同于所述拾取裝置的一第二拾取裝置被記錄。例如，該至少一參考圖像的拾取時(shí)間是至少比所述當(dāng)前圖像的拾取時(shí)間早一天。
[0034]依據(jù)一實(shí)施例，所述方法進(jìn)一步包括提供所述拾取裝置的至少一部分的位置、方位和/或高度的步驟，其中關(guān)聯(lián)于所述檢測(cè)特征的至少一第二參數(shù)的一不確定性信息被導(dǎo)出。
[0035]依據(jù)一實(shí)施例，所述不確定性信息被用以影響所述匹配過(guò)程。例如，該不確定性信息通過(guò)依據(jù)所述不確定性而改變關(guān)于位置和/或方位的個(gè)別的自由度的至少之一的各自權(quán)重(例如，笛卡兒(Cartesian)坐標(biāo)中的x，y, z),以影響所述匹配過(guò)程。
[0036]依據(jù)另一實(shí)施例，至少一個(gè)不確定性信息可影響作為將被匹配的匹配候選者的參考特征的選擇。例如，至少一個(gè)方法進(jìn)一步包括提供作為匹配候選者的參考特征的選擇為根據(jù)被影響的一權(quán)重，其中一較高的不確定性減少所述權(quán)重并且一較低的不確定性增加所述權(quán)重。
[0037]例如，所述不確定性信息根據(jù)用來(lái)提供所述拾取裝置的位置、方位和/或高度的傳感器類型被決定。
[0038]依據(jù)一實(shí)施例，所述方法進(jìn)一步包含為在所述當(dāng)前圖像中的一對(duì)象的檢測(cè)、分類或局部化，或?yàn)樵谒鰪V域坐標(biāo)系統(tǒng)中的所述拾取裝置的局部化，或?yàn)樵谒鍪叭⊙b置的初始位姿評(píng)估，或?yàn)樵谒鍪叭⊙b置的初始化位姿跟蹤使用一匹配結(jié)果的步驟。
[0039]在一可能的實(shí)施例中，該方法被使用在一增強(qiáng)現(xiàn)實(shí)應(yīng)用中。
[0040]本發(fā)明也是關(guān)于一計(jì)算機(jī)程序產(chǎn)品，其適用于被載入一數(shù)字計(jì)算機(jī)的內(nèi)部存儲(chǔ)器并且包括軟件代碼段，當(dāng)所述產(chǎn)品在所述計(jì)算機(jī)上運(yùn)行時(shí)，利用所述軟件代碼段依據(jù)本發(fā)明的方法被執(zhí)行。
【專利附圖】

【附圖說(shuō)明】
[0041]本發(fā)明進(jìn)一步的論點(diǎn)以及實(shí)施例將通過(guò)參考下面的圖形而更詳細(xì)地被說(shuō)明，其中:
[0042]圖1A是展示匹配一組當(dāng)前特征與一組參考特征的標(biāo)準(zhǔn)方法的流程圖；
[0043]圖1B是用來(lái)闡述特征的檢測(cè)、描述以及匹配的說(shuō)明；
[0044]圖1C展示由兩組玩偶以及拾取其圖像的一拾取裝置所構(gòu)成而用于闡述特征深度的范例景象；
[0045]圖2解釋進(jìn)行特征匹配的現(xiàn)有技術(shù)，其流程圖中包含一裝置位置粗略的先驗(yàn)知識(shí)，例如通過(guò)GPS提供；
[0046]圖3展示依據(jù)本發(fā)明一實(shí)施例的方法流程圖；
[0047]圖4是展示本發(fā)明一實(shí)施例與目前方法的比較的闡述；
[0048]圖5展示一范例景象，在其中依據(jù)本發(fā)明一實(shí)施例的方法被應(yīng)用；
[0049]圖6顯示通過(guò)一拾取裝置所取得的一范例景象的圖像；
[0050]圖7顯示以拾取裝置所取得的另一范例景象的圖像；
[0051]圖8展示依據(jù)本發(fā)明一實(shí)施例的一方法的可能應(yīng)用；
[0052]圖9闡述有關(guān)FAST轉(zhuǎn)角檢測(cè)器以及SIFT特征描述符的特征尺度或尺寸，作為檢測(cè)點(diǎn)特征的方法的常見(jiàn)范例；
[0053]圖1Oa展示依據(jù)本發(fā)明一實(shí)施例的方法的流程圖；
[0054]圖1Ob展示依據(jù)本發(fā)明另一實(shí)施例的方法的流程圖；
[0055]圖1Oc展示依據(jù)本發(fā)明另一實(shí)施例的方法的流程圖；
[0056]圖11闡述一范例景象，其將依據(jù)本發(fā)明的實(shí)施例的技術(shù)與標(biāo)準(zhǔn)方法進(jìn)行比較，其展示一拾取裝置拾取由兩組玩偶所構(gòu)成的景象的設(shè)置?！揪唧w實(shí)施方式】
[0057]技術(shù)人員應(yīng)明白，本發(fā)明論點(diǎn)的下面說(shuō)明僅關(guān)于用來(lái)說(shuō)明以及闡述本發(fā)明原理及論點(diǎn)的實(shí)施例，而非限定如申請(qǐng)專利范圍中所定義的本發(fā)明范疇。
[0058]在下面，名詞例如“廣域坐標(biāo)系統(tǒng)”、“世界坐標(biāo)系統(tǒng)”、“廣域坐標(biāo)”以及“世界坐標(biāo)”可替換地被使用，并且被用于指示如上所述的一廣域坐標(biāo)系統(tǒng)及其坐標(biāo)。
[0059]假定提供一組地理參考局部圖像特征，其中每個(gè)特征具有除了一特征描述符外的描述其在廣域坐標(biāo)系統(tǒng)中的(部分)位置和/或方位的相關(guān)性質(zhì)。我們將參看此組特征作為參考特征。參考圖像的取得、來(lái)自參考圖像的參考特征的檢測(cè)與描述以及他們(部分)位置和/或方位的決定可通過(guò)任何方法被執(zhí)行并且為了簡(jiǎn)潔理由，將不進(jìn)一步被說(shuō)明。進(jìn)一步地，存在的方法可至少部分地決定有關(guān)高度的參考特征的位置，例如，當(dāng)拾取一參考圖像時(shí)通過(guò)使用一氣壓計(jì)作為傳感器裝置。熟悉本領(lǐng)域技術(shù)人員應(yīng)非常明白可提供此類參考特征的此類方法。
[0060]從這個(gè)意義上講，一特征是一圖像中的一突顯元素，其可以是一點(diǎn)、一線、一曲線、一連接區(qū)域或任何其他像素組。一特征描述符涉及提供一區(qū)別性描述的方法，例如，依據(jù)一個(gè)或復(fù)數(shù)個(gè)圖像中的其局部鄰近者的一特征的實(shí)數(shù)向量形式。[0061]關(guān)聯(lián)于特征的一廣域坐標(biāo)系統(tǒng)中的一(部分)位置和/或方位和/或高度(如下面更詳細(xì)地說(shuō)明)的任何參數(shù)可被儲(chǔ)存作為分別的特征描述符的一部分，或除了分別的特征描述符之外者可被儲(chǔ)存。如適當(dāng)?shù)脑?，可選擇其方式以關(guān)聯(lián)這信息與一分別的特征。
[0062]使用一拾取裝置，例如一攝影機(jī)，一當(dāng)前圖像被拾取并且在該當(dāng)前圖像中的至少一當(dāng)前特征被檢測(cè)并且被描述。對(duì)于每個(gè)當(dāng)前特征，其目標(biāo)是找出一組參考特征中對(duì)應(yīng)至相同實(shí)體表面的一特征。
[0063]圖1A展示匹配一組當(dāng)前特征與和圖1B有關(guān)的一組參考特征的標(biāo)準(zhǔn)方法的流程圖。在步驟Sll中，利用一拾取裝置取得的當(dāng)前圖像Cl被提供。下一步驟S12接著檢測(cè)并且描述當(dāng)前圖像Cl中的特征(選擇性:依據(jù)所評(píng)估的模型-特征-位置的已選擇性的提取)，其中每個(gè)產(chǎn)生的當(dāng)前特征CF具有一特征描述符D(CF)以及在攝影機(jī)圖像Cl中的2D位置。可被使用在特征檢測(cè)以及描述的可能方法，將參考實(shí)施范例而更詳細(xì)地在下面被說(shuō)明。
[0064]一組參考特征RF,各具有廣域坐標(biāo)系統(tǒng)的一描述符D(RF)以及一(部分)位置和/或方位被提供于步驟S13中。在步驟S14中，來(lái)自步驟S12的當(dāng)前特征CF以及來(lái)自步驟S13的參考特征RF被匹配。例如，對(duì)于每個(gè)當(dāng)前特征，參考特征被搜尋，其具有與有關(guān)一確定距離度量的當(dāng)前特征的描述符最接近的描述符。
[0065]依據(jù)步驟S15，一應(yīng)用使用該等特征匹配，例如，為了在一增強(qiáng)現(xiàn)實(shí)應(yīng)用中非常準(zhǔn)確地評(píng)估拾取設(shè)備的位置和方向，將所記錄的虛擬3D對(duì)象空間集成入攝影機(jī)圖像中。
[0066]如下面將更詳細(xì)地描述，當(dāng)匹配特征時(shí)，在一圖像中一元素，例如，像素，的一深度可被用作為進(jìn)一步的信息。通常，一圖像中的一元素(例如，像素)的深度可定義成在這元素(像素)中被成像的實(shí)體表面與拾取位置，尤其是拾取裝置的光學(xué)中心之間的距離。
[0067]就此而言，圖1C展示由兩組玩偶SI與S2(各組包括一高的以及一小的玩偶)以及一拾取裝置⑶所構(gòu)成的范例景象。該組Si的實(shí)體點(diǎn)PPl通過(guò)拾取裝置被成像于像素IPl中。這像素的深度是D1，那是在拾取裝置的光學(xué)中心0C，其定義攝影機(jī)坐標(biāo)系統(tǒng)的原點(diǎn)，和實(shí)體點(diǎn)PPl之間的距離。相似地，該組S2的一個(gè)第二實(shí)體點(diǎn)PP2被成像于IP2中并且具有深度D2。注意到，攝影機(jī)固有參數(shù)(尤其是焦距)的評(píng)估，允許計(jì)算出給定其在圖像平面IPl上的深度Dl和其像素位置的點(diǎn)PPl的笛卡兒坐標(biāo)中的3D位置。
[0068]有許多方法可能提供一圖像中的一元素(例如，像素)的深度，其可能被用于依據(jù)本發(fā)明將在下面的段落中被說(shuō)明的匹配過(guò)程中。
[0069]來(lái)自被校準(zhǔn)攝影機(jī)的深度:
[0070]依據(jù)一實(shí)施例以確定一強(qiáng)度圖像中的至少一元素的深度，具有已知相對(duì)位置和/或方位的至少兩個(gè)拾取裝置，其各拾取一分別的強(qiáng)度圖像，其中對(duì)應(yīng)關(guān)系被發(fā)現(xiàn)于該等圖像中并且該等拾取裝置的相對(duì)位置和/或方位被用以計(jì)算強(qiáng)度圖像中的至少一元素的深度，其是該等對(duì)應(yīng)關(guān)系的至少之一的部分。
[0071]尤其是，提供深度數(shù)據(jù)的一可能性是如下所述:至少兩個(gè)攝影機(jī)，記錄具有已知的相對(duì)位姿以及理想的已知固有參數(shù)的強(qiáng)度，可在大約相同時(shí)間或當(dāng)不移動(dòng)時(shí)在不同時(shí)間拾取圖像。對(duì)應(yīng)關(guān)系可被發(fā)現(xiàn)在兩圖像中，并且攝影機(jī)的相對(duì)位姿以及固有參數(shù)可被使用以計(jì)算任一圖像坐標(biāo)系統(tǒng)中的對(duì)應(yīng)性深度。在試圖找出對(duì)應(yīng)關(guān)系之前重新得到相對(duì)位姿以及固有參數(shù)是有利的，因?yàn)樗麄兛杀皇褂靡酝ㄟ^(guò)引介另外的限制(例如，同軸幾何)而簡(jiǎn)化對(duì)應(yīng)關(guān)系的創(chuàng)建。
[0072]例如，根據(jù)點(diǎn)特征的對(duì)應(yīng)關(guān)系的尋找可如下所述被實(shí)施:為自一個(gè)圖像至另一圖像匹配一 2D特征，關(guān)于指定尺寸的2D特征的斑塊在其他圖像中被搜尋。例如，差異值平方和(SSD)或標(biāo)準(zhǔn)化相關(guān)性(NCC)可分別地被使用作為距離或相似度量。為減低搜尋對(duì)應(yīng)的斑塊所需要的比較數(shù)量，其僅沿著另一圖像中的特征點(diǎn)的同軸線被搜尋。為簡(jiǎn)化進(jìn)行一ID-搜尋的沿著同軸線的搜尋，圖像首先被矯正。具有最高相似性的兩個(gè)斑塊被設(shè)定成為相關(guān)。如果具有最高相似性的那個(gè)是顯著地比第二最高相似性的更相似，則前面的那個(gè)將被考慮作為匹配對(duì)應(yīng)關(guān)系。
[0073]當(dāng)然，熟悉本技術(shù)人員明白，許多可能性存在以得到對(duì)應(yīng)關(guān)系。其也可能得到對(duì)應(yīng)關(guān)系而不必考慮同軸線。當(dāng)然，過(guò)程也可以迭代的形式被實(shí)施，其使用初始深度評(píng)估與我們所提的實(shí)際尺度特征描述符工作并且再計(jì)算具有較高精確度的特征的對(duì)應(yīng)關(guān)系以及位置。
[0074]來(lái)自至少一移動(dòng)的攝影機(jī)的深度:
[0075]依據(jù)另一實(shí)施例來(lái)決定一強(qiáng)度圖像中的至少一元素的深度，至少一拾取裝置自不同裝置在不同時(shí)間點(diǎn)從不同的位置拾取強(qiáng)度圖像，其中對(duì)應(yīng)關(guān)系被發(fā)現(xiàn)于不同的圖像中并且在不同圖像間的拾取裝置的相對(duì)位置和/或方位以及對(duì)應(yīng)關(guān)系的結(jié)構(gòu)被重新獲得，并且被用來(lái)計(jì)算強(qiáng)度圖像中至少一元素的深度，其是該等對(duì)應(yīng)關(guān)系的至少之一的部分。
[0076]例如，至少一個(gè)攝影機(jī)在不同的時(shí)間點(diǎn)自不同的位置拾取圖像。理想地，一些其他傳感器測(cè)量值是可用的(例如，GPS位置)。該等圖像以及另外信息，如果可用的話，接著被分析。不同圖像中的對(duì)應(yīng)關(guān)系被發(fā)現(xiàn)，例如，通過(guò)逐圖像跟蹤特征或通過(guò)檢測(cè)局部特征并且使用尺度不變描述符以匹配它們。接著，一所謂的自移動(dòng)產(chǎn)生的結(jié)構(gòu)(SfM)的方法被使用以重新獲得在不同的圖像以及對(duì)應(yīng)關(guān)系的結(jié)構(gòu)之間的相對(duì)位姿。熟悉本領(lǐng)域技術(shù)人員應(yīng)明白，亦有許多不同方法。理想地，另外的傳感器數(shù)據(jù)，像GPS位置或攝影機(jī)的已知的移動(dòng)(例如，通過(guò)在車子中測(cè)量該車子的移動(dòng))可被使用來(lái)提供實(shí)體尺度的對(duì)應(yīng)關(guān)系的結(jié)構(gòu)。另外地，如果在任何圖像中，具有已知尺寸的一已知對(duì)象，可被取回(例如，一現(xiàn)鈔或標(biāo)志)，實(shí)體尺度也可被取回。在實(shí)體尺度不能被取回的情況中，一尺度被假設(shè)，并且我們的方法仍然可被使用，但是僅將用于進(jìn)行這確切情節(jié)中的進(jìn)一步的匹配。例如，為了跟蹤攝影機(jī)移動(dòng)以便對(duì)視頻游戲疊加游戲角色，移動(dòng)的確切尺寸可能不是問(wèn)題，但是實(shí)際的相對(duì)移動(dòng)是重要的。通過(guò)真實(shí)尺度特征描述符的增強(qiáng)的匹配在此會(huì)是有用的。
[0077]再者，這過(guò)程可以迭代的方式被實(shí)施，其使用初始尺度評(píng)估以改善對(duì)應(yīng)關(guān)系，導(dǎo)致位姿評(píng)估以及結(jié)構(gòu)中的較高的精確度。
[0078]來(lái)自圖像匹配的深度:
[0079]依據(jù)另一實(shí)施例以決定一強(qiáng)度圖像中的至少一元素的深度，其提供強(qiáng)度圖像的至少一數(shù)據(jù)庫(kù)，其中對(duì)于每個(gè)該等強(qiáng)度圖像的一總體深度，或?qū)τ谥辽僖粓D像區(qū)域的深度，或?qū)τ谝粋€(gè)或多個(gè)像素的深度是已知的，并且利用拾取裝置拾取的強(qiáng)度圖像(當(dāng)前強(qiáng)度圖像)對(duì)照于這數(shù)據(jù)庫(kù)而被匹配。匹配結(jié)果被使用以計(jì)算當(dāng)前強(qiáng)度圖像中的至少一元素的深度。
[0080]例如，取回相關(guān)于一圖像的深度的方法是如下所述:我們假設(shè)圖像的一數(shù)據(jù)庫(kù)存在并且對(duì)于每個(gè)圖像的總體深度(例如，10米)或?qū)τ诜謩e的圖像區(qū)域的深度或?qū)τ诿總€(gè)像素的深度的任一者是已知的。所采取的當(dāng)前圖像對(duì)照于這數(shù)據(jù)庫(kù)被匹配。為了加速過(guò)程和/或?yàn)樵黾郁敯粜裕豢蛇x的步驟可被使用以產(chǎn)生用于圖像匹配的最佳化數(shù)據(jù)結(jié)構(gòu)。這可，例如，自特征描述符建立一詞匯樹(shù)或一 KD-樹(shù)。
[0081]該方法可使用來(lái)自數(shù)據(jù)庫(kù)圖像的詳細(xì)的深度信息(如果存在的話)以及我們提議的真實(shí)尺度特征描述符或使用其他方法試圖記錄兩圖像。如果這是不可能或沒(méi)有詳細(xì)的深度信息被提供，則所給予的那個(gè)深度或平均深度被返回。
[0082]來(lái)自3D模型信息以及傳感器信息的深度:
[0083]依據(jù)另一實(shí)施例以決定一強(qiáng)度圖像中至少一元素的深度，當(dāng)拾取有關(guān)一環(huán)境模型的強(qiáng)度圖像(其可以是一初始評(píng)估)時(shí)，則其提供一環(huán)境模型以及有關(guān)拾取裝置的位置和/或方位的信息，其中該環(huán)境模型以及有關(guān)拾取裝置的位置和/或方位的信息被組合并且被使用以計(jì)算強(qiáng)度圖像中至少一個(gè)元素的深度。例如，假設(shè)一環(huán)境模型可被提供，其可以，例如，是一所構(gòu)建的3D模型或環(huán)境的掃描。當(dāng)有關(guān)環(huán)境模型的圖像被取得時(shí)，如果有關(guān)拾取裝置的位置和/或方位的任何信息是已知的，則兩者可被組合。例如，通過(guò)用假設(shè)的攝影機(jī)位姿以及攝影機(jī)固有參數(shù)而渲染的(rendering) 3D模型，每個(gè)像素的深度可通過(guò)環(huán)境模型自由環(huán)境模型提供的深度緩沖區(qū)被獲得，以及在渲染期間被使用的深度緩沖區(qū)而被得到。雖然一初始位姿評(píng)估對(duì)這個(gè)方法是必須的，使用假設(shè)的深度以及具有紋理的環(huán)境模型的本發(fā)明，該位姿接著可在其他應(yīng)用之間被改善并且變得更精確。當(dāng)然這過(guò)程也可反復(fù)地被使用。
[0084]來(lái)自專用傳感器的深度:
[0085]依據(jù)另一實(shí)施例以決定一強(qiáng)度圖像中至少一元素的深度，其提供至少一傳感器以取得深度信息或范圍數(shù)據(jù)以及有關(guān)該拾取裝置的至少一傳感器的至少一個(gè)相對(duì)位置和/或方位，其中該深度信息或范圍數(shù)據(jù)被使用以計(jì)算強(qiáng)度圖像中至少一元素的深度。優(yōu)選地，位姿(位置與方位)以及傳感器以及拾取裝置二者的固有參數(shù)是已知的。
[0086]尤其是，取得深度信息的方法是使用特別傳感器，其專用于取得深度信息或范圍數(shù)據(jù)。例如，其可是飛行時(shí)間機(jī)構(gòu)，類似于激光掃描儀或飛行時(shí)間攝影機(jī)。另一范例是傳感器，其投射一已知的光樣型(pattern of light)進(jìn)入環(huán)境中并且在通過(guò)具有一傳感器的環(huán)境被反射之后取得該樣型。通過(guò)匹配投射的信息與所接收的樣型以及通過(guò)知曉投射器朝向取得傳感器的位姿和通過(guò)知曉投射器與傳感器兩者的固有參數(shù)，深度可被計(jì)算。
[0087]允許深度數(shù)據(jù)的取得的另一傳感器是參考文獻(xiàn)[6]的全光攝影機(jī)。
[0088]為了使用具有強(qiáng)度圖像的深度傳感器的信息，位姿以及固有參數(shù)兩者皆是已知的。深度信息接著可被轉(zhuǎn)換成為攝影機(jī)坐標(biāo)系統(tǒng)并且被使用。
[0089]圖2說(shuō)明對(duì)于特征匹配的現(xiàn)有技術(shù)的方法，例如，如在參考文獻(xiàn)[4]中說(shuō)明的基于GPS的方法，該方法流程圖中包含一粗略的在先拾取裝置位置，例如，利用GPS被提供。在步驟S21中，當(dāng)前圖像被提供，并且這圖像中的特征被檢測(cè)和描述于步驟S22中。產(chǎn)生的一組當(dāng)前特征對(duì)各個(gè)特征具有一描述符以及圖像坐標(biāo)中的2D位置。步驟S23提供廣域坐標(biāo)系統(tǒng)中的拾取裝置的一(部分)位置和/或方位。與一組參考特征一起被提供于步驟S24中，(部分地)具有已知的廣域坐標(biāo)系統(tǒng)中的坐標(biāo)，拾取裝置的(部分)裝置和/或方位以及當(dāng)前特征被使用于步驟S25中的匹配步驟中。在此處，拾取裝置位置和/或方位的(部分的)知識(shí)被使用來(lái)減少可能是可見(jiàn)參考特征的搜尋空間。對(duì)于每個(gè)當(dāng)前特征，具有最相似的描述符的參考特征被發(fā)現(xiàn)于具有相似于拾取裝置的位置和/或方位的該組參考特征中。最后，在步驟S26中，一應(yīng)用使用當(dāng)前以及參考特征匹配。如在圖1A的步驟S15中，這應(yīng)用可以是，但不限于，一增強(qiáng)現(xiàn)實(shí)應(yīng)用。
[0090]依據(jù)本發(fā)明的論點(diǎn)，提議通過(guò)考慮世界坐標(biāo)(或廣域坐標(biāo))中它們的位置的(部分)知識(shí)，以減少用于匹配利用一拾取裝置所取得的當(dāng)前圖像的圖像特征的搜尋空間。一廣域坐標(biāo)系統(tǒng)可以是一地面坐標(biāo)系統(tǒng)或一對(duì)象坐標(biāo)系統(tǒng)(例如，建筑物或一產(chǎn)品封裝箱或一車子)，其具有關(guān)于地球的重力的固定高度或固定方位。
[0091]為減少搜尋空間，依據(jù)本發(fā)明的方法優(yōu)選使用所有可用的信息以至少部分地描述廣域坐標(biāo)系統(tǒng)中的當(dāng)前特征的位置和/或方位(亦即，不屬于拾取裝置)。由于可被決定的特征位置的自由度，是嚴(yán)重取決于拾取裝置的位置以及方位上的可用信息，本發(fā)明論點(diǎn)的不同實(shí)施范例將在下面更詳細(xì)地被說(shuō)明。
[0092]圖3描述依據(jù)本發(fā)明一實(shí)施例的方法流程圖。在步驟S31中，利用拾取裝置所取得的一當(dāng)前圖像被提供。一廣域坐標(biāo)系統(tǒng)中的這個(gè)拾取裝置的(部分)位置和/或方位被提供在步驟S32中。接著，步驟S33檢測(cè)以及描述來(lái)自被提供的當(dāng)前圖像的特征并且計(jì)算每個(gè)當(dāng)前特征在廣域坐標(biāo)系統(tǒng)中的(部分)位置和/或方位。各具有一描述符以及廣域坐標(biāo)系統(tǒng)中的一(部分)位置和/或方位的一組參考特征被提供于步驟S34中，其中在步驟S35中，該等參考特征與當(dāng)前特征一起作為至匹配的輸入。所提議的匹配方法(步驟S35)接著通過(guò)在該組參考特征中尋找具有最接近的描述符的參考特征而對(duì)于每個(gè)當(dāng)前特征找出匹配的參考特征，該組參考特征具有接近廣域坐標(biāo)系統(tǒng)中的當(dāng)前特征的(部分地)已知位置和/或方位的廣域坐標(biāo)系統(tǒng)中的一(部分)位置和/或方位。最后，特征匹配被使用于步驟S36中的一應(yīng)用中，其對(duì)應(yīng)至如上所述的步驟S15以及S26。
[0093]—當(dāng)前特征的位置可利用一方程式E被描述,方程式E描述一點(diǎn)、一射線、一直線、一圓、一圓錐體、或一圓柱體或任何其他的幾何形狀。該匹配步驟接著僅考慮具有通過(guò)E被定義的至該幾何形狀的距離是在一閾值ε (epsilon) 一下的一位置的那些參考特征作為可能的匹配。因此，ε是，例如，取決于被使用以計(jì)算當(dāng)前特征的部分位置的傳感器測(cè)量值所決定的精確度。取決于部分空間信息的分別來(lái)源的不確定性，在一參考特征以及一當(dāng)前特征的位置之間的距離測(cè)量不必定地需要是歐幾里德(Euclidean)距離，但是可具有對(duì)于不同自由度的不同權(quán)重。其也可以是取決于在一參考特征以及拾取裝置之間的距離。
[0094]不確定性傳輸?shù)脑敿?xì)說(shuō)明可被發(fā)現(xiàn)于參考文獻(xiàn)[9]中。
[0095]本構(gòu)想的論點(diǎn)具有對(duì)于同軸幾何概念的一些相似性。如果在二攝影機(jī)之間的轉(zhuǎn)換是已知的，找到對(duì)應(yīng)的特征的問(wèn)題被簡(jiǎn)化，至于第一圖像中的每個(gè)特征，如果其是完全可見(jiàn)于該圖像中，則第二圖像中的一直線(“同軸線”)可被確定而包含對(duì)應(yīng)的特征。然而，本方法的一論點(diǎn)中，不同于其更通用且該方法在3D中的使用限制，反之同軸幾何限制是在2D圖像空間中。另一重要差別是受限制的匹配過(guò)程的參考坐標(biāo)系統(tǒng)。例如，在同軸幾何中，一切事務(wù)被結(jié)合至圖像空間，而本方法是根據(jù)在廣域坐標(biāo)系統(tǒng)，使得它們無(wú)關(guān)于對(duì)應(yīng)的攝影機(jī)位姿。
[0096]實(shí)施范例:
[0097]這部分不僅根據(jù)可用的信息而討論本發(fā)明論點(diǎn)的不同實(shí)施例，同時(shí)也提到特征檢測(cè)、特征說(shuō)明以及一在所給定的空間限制下匹配兩個(gè)特征集的方法的實(shí)施范例。
[0098]可被用于本發(fā)明的在一個(gè)圖像中檢測(cè)特征的方法包括但是不限于高斯之拉普拉斯(LoG)的局部極值、高斯差分(DoG)或赫斯亞行列式(DoH)、最大穩(wěn)定極值區(qū)域(MSER)、赫利斯(Harris)特征、或基于學(xué)習(xí)的轉(zhuǎn)角檢測(cè)器，例如，F(xiàn)AST。檢測(cè)邊緣(邊緣元素)的方法也適用于在此方法中。所使用的特征檢測(cè)方法是不受限定于可運(yùn)行在2D強(qiáng)度灰階圖像上的方法，但是也可被執(zhí)行在包含RGB、HSV以及Lab的任何其他色彩空間中的圖像上，或唯一地包含深度信息或提供深度以及強(qiáng)度兩個(gè)信息的范圍圖像。
[0099]描述特征的方法可在上述的任何形式的圖像上工作并且可包含SIFT (尺度-不變特征轉(zhuǎn)換)、SURF (加速魯棒特征)、GL0H(梯度位置以及方位統(tǒng)計(jì)圖)、HOG (定位梯度統(tǒng)計(jì)圖)、2.0T-SIFT，或任何其他方法以比較包含類似于隨機(jī)蕨的基于分類的方法的局部特征。
[0100]我們方法中的匹配程序的最自然方法是，在考慮其可能的匹配之前對(duì)于當(dāng)前以及參考特征的每個(gè)組合進(jìn)行徹底的搜尋并且檢查它們空間距離并且計(jì)算在二描述符之間的距離。更詳盡的構(gòu)想的實(shí)施例將使用描述符領(lǐng)域和/或空間領(lǐng)域中的空間數(shù)據(jù)結(jié)構(gòu)以加速匹配。適當(dāng)?shù)臄?shù)據(jù)結(jié)構(gòu)包含，但不限于容積(軸對(duì)齊方塊、定位方塊、球形、任意容積)，網(wǎng)格(一致的或不是一致的)，或任何類型的樹(shù)型(例如，四分樹(shù)型、八叉樹(shù)型、二元空間分割樹(shù)型、k維空間樹(shù)型、多維空間索引樹(shù)型)。匹配過(guò)程中的參考以及當(dāng)前特征的角色是可交換的，即要么對(duì)每個(gè)當(dāng)前特征搜尋一匹配參考特征要么反之亦然。其也不必定需要在任何一特征組之一中找出對(duì)于每個(gè)單一特征的匹配，但是匹配過(guò)程目標(biāo)在找出一參考特征以及一當(dāng)前特征之間的至少一匹配。
[0101]所述所發(fā)現(xiàn)的特征匹配接著可被使用于包括對(duì)象檢測(cè)、對(duì)象分類、對(duì)象局部化以及廣域坐標(biāo)系統(tǒng)中的攝影機(jī)局部化的應(yīng)用。后者，同時(shí)也被稱為“自我局部化”，例如，可通過(guò)魯棒位姿評(píng)估方法，例如，RANSAC、PROSAC或M-評(píng)估器被執(zhí)行。注意到，此等方法需要固有攝影機(jī)參數(shù)的評(píng)估，尤其是，焦距。根據(jù)拾取裝置位置和/或方位上的可用信息以及像素的深度，形成本發(fā)明構(gòu)想的不同的可能實(shí)施例。它們不同于空間限制以減少對(duì)于參考特征的位置和/或方位的搜尋空間，該參考特征是一給定當(dāng)前特征的潛在的匹配。我們所考慮尤其重要的范例將在下面詳細(xì)地被說(shuō)明。
[0102]該等方法假設(shè)攝影機(jī)的固有參數(shù)的評(píng)估將是可用的。這評(píng)估，例如，可產(chǎn)生自一校正程序或一合理的猜測(cè)，例如，根據(jù)攝影機(jī)分辨率。根據(jù)拾取裝置的位置的指示的那些方法是可由兩個(gè)不同的實(shí)施例被知曉。裝置的經(jīng)度以及緯度根據(jù)測(cè)量值，例如，GPS而被提供。依據(jù)被使用的硬件，其可能是無(wú)高度測(cè)量值可用或它們可能是非常不精確的。如果拾取裝置的絕對(duì)高度的測(cè)量值是可用的并且可被考慮為充分地精確，則其被使用。否則使用一假設(shè)，例如，使用者被安置在街道位準(zhǔn)上并且握有拾取裝置在他或她手中在街道位準(zhǔn)上面大約1.5至2米的高度。裝置高度可無(wú)關(guān)于經(jīng)度以及緯度地被測(cè)量，例如，通過(guò)一氣壓計(jì)。
[0103]在下面，我們將假設(shè)一特征是一點(diǎn)(亦即，一特征點(diǎn)，關(guān)鍵點(diǎn)或相交點(diǎn))。但是本發(fā)明可以任何其他類型特征的相似方式被實(shí)施，例如，通過(guò)將一特征的重心視為其的位置。其他特征可以是邊緣、小邊或區(qū)域。
[0104]在下面，本發(fā)明一實(shí)施例使用來(lái)自裝置位置以及3D裝置方位的射線或點(diǎn)作為實(shí)施范例被說(shuō)明。
[0105]如果在世界坐標(biāo)中的拾取裝置位置(例如，通過(guò)GPS以及任意的一氣壓計(jì))以及3D方位(例如，通過(guò)慣性傳感器以及數(shù)位羅盤的組合測(cè)量)是已知的，依據(jù)本發(fā)明論點(diǎn)的方法與攝影機(jī)的固有參數(shù)以及當(dāng)前圖像中的當(dāng)前特征的位置一起使用這信息以定義這個(gè)特征被安置的世界坐標(biāo)中的一射線。如果另外地，特征的深度的評(píng)估是可用的，則該方法可計(jì)算世界坐標(biāo)中的當(dāng)前特征的絕對(duì)3D位置。
[0106]在匹配階段中，最合適的參考特征被認(rèn)為比一閾值(epsilon)更接近于當(dāng)前特征被安置的點(diǎn)或射線。再次，在一參考特征以及一點(diǎn)或射線之間的距離度量可以被定義為包含位置和/或方位的分別的自由度的一個(gè)或多個(gè)不確定性的方式。用于這組態(tài)的世界坐標(biāo)領(lǐng)域中的一適當(dāng)?shù)目臻g數(shù)據(jù)結(jié)構(gòu)將是一均勻的網(wǎng)格。3DDDA算法，例如，將被應(yīng)用以決定一射線穿透的有關(guān)的單元格。對(duì)一網(wǎng)格中的每個(gè)單元格，描述符領(lǐng)域中的任何空間數(shù)據(jù)結(jié)構(gòu)可被應(yīng)用來(lái)儲(chǔ)存包含在單元格中的參考特征，例如，KD-樹(shù)型。
[0107]圖4是展示本發(fā)明一實(shí)施例與一現(xiàn)有技術(shù)方法的比較的說(shuō)明。尤其是，圖4在一非常粗略位準(zhǔn)上比較本發(fā)明論點(diǎn)與當(dāng)前技術(shù)。城市區(qū)域的頂視圖被展示，其中一使用者在一測(cè)量位置握有一拾取裝置CD(在左方描述中為CDl以及在右方描述中為CD2)，在測(cè)量位置中拾取裝置拾取一環(huán)境圖像。在被拾取的圖像中，一特征F被檢測(cè)(在左方描述中為Fl以及在右方描述中為F2)。現(xiàn)有技術(shù)(左方描述)根據(jù)已知的拾取裝置CD的位置定義用于對(duì)應(yīng)至當(dāng)前特征F的參考特征的一搜尋空間SS1。依據(jù)本發(fā)明論點(diǎn)的方法(右方描述)計(jì)算特征F的(部分)位置并且根據(jù)F的(部分地已知)位置定義用于對(duì)應(yīng)至F的參考特征的不同的搜尋空間SS2。如在圖4中所見(jiàn)，搜尋空間SS2是顯著地小于依據(jù)在先技術(shù)方法的搜尋空間SS1。因此，依據(jù)本發(fā)明的方法除了導(dǎo)致較少錯(cuò)配的技術(shù)狀況之外還允許進(jìn)一步地減少搜尋空間。
[0108]在下面，本發(fā)明另一實(shí)施例使用來(lái)自2D重力方向的ID特征高度以及ID特征深度作為實(shí)施范例被說(shuō)明。這實(shí)施例或相關(guān)于這實(shí)施例被說(shuō)明的本發(fā)明論點(diǎn)可能被使用而不必或結(jié)合任何上述實(shí)施例或本發(fā)明論點(diǎn)。
[0109]提供關(guān)聯(lián)于拾取裝置的坐標(biāo)系統(tǒng)中的重力向量的測(cè)量值，例如，通過(guò)慣性傳感器，以及當(dāng)前攝影機(jī)圖像中的當(dāng)前特征深度，例如，通過(guò)立體深度(depth-from-stereo)方法，依據(jù)本發(fā)明論點(diǎn)的方法計(jì)算這個(gè)特征的相對(duì)或絕對(duì)高度。
[0110]圖像中一特征的2D位置與固有攝影機(jī)參數(shù)一起導(dǎo)致定義關(guān)聯(lián)于拾取裝置的一坐標(biāo)系統(tǒng)中的3D射線。此外，因特征深度可能是已知的，攝影機(jī)對(duì)齊的坐標(biāo)系統(tǒng)中的特征的3D位置可被計(jì)算。自拾取裝置光學(xué)中心至3D特征位置的向量接著被投射至導(dǎo)致特征高度的標(biāo)準(zhǔn)化重力向量上。
[0111]上述方法導(dǎo)致有關(guān)拾取裝置的一相對(duì)高度測(cè)量。為了計(jì)算特征的絕對(duì)高度，裝置的絕對(duì)高度需要被添加。這可以被測(cè)量，例如，通過(guò)GPS或氣壓計(jì)，或可以是根據(jù)如上面說(shuō)明的一假設(shè)。
[0112]圖5闡述如上所述的本發(fā)明論點(diǎn)的一可能實(shí)施例。尤其是，圖5展示一拾取裝置CD，其提供裝置坐標(biāo)(亦即，拾取裝置坐標(biāo)系統(tǒng)的坐標(biāo))中一重力向量G以及特征Fl的深度D的測(cè)量值。給予二片段信息，有關(guān)拾取裝置CD的特征Fl的相對(duì)高度RA可被計(jì)算。尤其是，圖像中的特征Fl的2D位置能夠與固有攝影機(jī)參數(shù)一起定義關(guān)聯(lián)于拾取裝置的坐標(biāo)系統(tǒng)中的3D射線。當(dāng)特征Fl的深度D是已知時(shí)，攝影機(jī)對(duì)齊坐標(biāo)系統(tǒng)中的特征的3D位置可被計(jì)算。自拾取裝置CD光學(xué)中心至特征Fl的3D特征位置的向量接著被投射至導(dǎo)致特征Fl的相對(duì)高度RA的標(biāo)準(zhǔn)化重力向量上。增加拾取裝置CD的(絕對(duì))高度CDA導(dǎo)致特征Fl的絕對(duì)高度AA。類似的計(jì)算可供用于特征F2以計(jì)算其之高度。[0113]供用于對(duì)應(yīng)至當(dāng)前特征Fl的參考特征的搜尋空間接著被定義在其之高度AA附近。注意到，以此方式，參考特征F2不被考慮作為可能匹配，雖然其看來(lái)非常相似于FlJM其不是落進(jìn)搜尋空間之中。因此，依據(jù)這論點(diǎn)的本發(fā)明減低錯(cuò)配的可能性。
[0114]依據(jù)一實(shí)施例，在匹配階段中，當(dāng)前特征的位置通過(guò)具有重力向量是法線的一平面被說(shuō)明。將是用于當(dāng)前特征的一候選匹配者的參考特征的空間限制即它們至該平面的距離是在一特定閾值之下。因該平面描述一高度，該限制也可被視為迫使一參考以及一當(dāng)前特征的高度絕對(duì)差是在閾值之下。
[0115]用于這實(shí)施例中的廣域坐標(biāo)系統(tǒng)領(lǐng)域的一適當(dāng)數(shù)據(jù)結(jié)構(gòu)將是具有沿著重力軸的大多數(shù)次分割之一非均勻網(wǎng)格。再者，任何數(shù)據(jù)結(jié)構(gòu)可被使用以依據(jù)它們的描述符而分類單元格中的所有特征。
[0116]進(jìn)一步的可能實(shí)施例:
[0117]在下面，我們將扼要地說(shuō)明本發(fā)明論點(diǎn)的多種可能實(shí)施例。依據(jù)一實(shí)施例，名詞“2D位置”涉及拾取裝置的經(jīng)度以及緯度，而“3D位置”另外地包含高度。名詞“1D旋轉(zhuǎn)”涉及對(duì)于重力的方位，例如，通過(guò)羅盤所得到者，“2D旋轉(zhuǎn)”是相對(duì)于重力的旋轉(zhuǎn)(例如，通過(guò)慣性傳感器所測(cè)量者)以及“3D旋轉(zhuǎn)”涉及兩信息的結(jié)合。
[0118]本發(fā)明一可能實(shí)施例將使用拾取裝置的2D位置以及3D旋轉(zhuǎn)與當(dāng)前特征的位置以及深度一起定義世界坐標(biāo)中的一垂直線，一對(duì)應(yīng)的參考特征需要近似地被安置在其上。
[0119]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的2D位置以及3D旋轉(zhuǎn)與當(dāng)前特征的位置一起定義世界坐標(biāo)中的一個(gè)半平面，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0120]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的3D位置以及ID旋轉(zhuǎn)與一當(dāng)前特征的位置以及深度一起定義世界坐標(biāo)中的一半圓，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0121]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的3D位置以及ID旋轉(zhuǎn)與一當(dāng)前特征的位置一起定義世界坐標(biāo)中的一個(gè)半平面，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0122]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的2D位置以及ID旋轉(zhuǎn)與一當(dāng)前特征的位置一起定義世界坐標(biāo)中的一個(gè)半平面，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0123]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的3D位置以及2D旋轉(zhuǎn)與一當(dāng)前特征的位置以及深度一起定義世界坐標(biāo)中的一圓，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0124]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的3D位置以及2D旋轉(zhuǎn)與一當(dāng)前特征的位置一起定義世界坐標(biāo)中的一圓錐體，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0125]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的2D位置以及2D旋轉(zhuǎn)與一當(dāng)前特征的位置以及深度一起定義世界坐標(biāo)中的一圓柱體，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0126]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的ID位置以及2D旋轉(zhuǎn)與一當(dāng)前特征的位置以及深度一起定義世界坐標(biāo)中的一平面，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0127]本發(fā)明的另一可能實(shí)施例將使用拾取裝置的3D位置與一當(dāng)前特征的位置以及深度一起定義世界坐標(biāo)中的一球體，一對(duì)應(yīng)的參考特征需要相關(guān)地被安置在其上。
[0128]一可能實(shí)施例可依據(jù)下面的公式計(jì)算在一參考特征(利用指標(biāo)I被指示)對(duì)照于來(lái)自一當(dāng)前圖像之一提取特征(利用指標(biāo)2被指示)之間的匹配可能性MP_A:
[0129]MP_A = l/sqrt[(xl_x2)~2*weightx+(yl_y2)~2*weighty+(zl_z2)~2*weightz]
[0130]其中“權(quán)重(weight) ”取決于特征位置評(píng)估被傳送的不確定性，根據(jù)該裝置的當(dāng)前位姿評(píng)估被傳送。例如，如果距離是已知的以及高度與高度角度，但是非x，y坐標(biāo)(標(biāo)示圖像中的2D位置)，則權(quán)重x(weightx)以及權(quán)重y (weighty)是O,而權(quán)重z (weightz)是非零。權(quán)重X、權(quán)重y、權(quán)重z標(biāo)示用于分別的X，y, z坐標(biāo)的分別的權(quán)重。
[0131]換言之，MP_A根據(jù)在可能通過(guò)數(shù)據(jù)庫(kù)或參考模型被提供的參考特征以及已被提取但是尚未被匹配的當(dāng)前特征之間的空間中的笛卡兒距離被決定。隨著在該等特征之間的距離增加，匹配可能性將減少。這提供非?？煽康慕Y(jié)果，但是其高度地依賴于非常好的位姿評(píng)估的初始化。
[0132]另一實(shí)施例可計(jì)算在參考特征I的特征描述符向量Vl以及提取特征2的特征描述符v2之間的匹配可能性MP_B，如自當(dāng)前技術(shù)方法所已知者:[0133]MP_B = I/sqrt [ (vl-v2) '2] ?
[0134]換言之，MP_B考慮在被提供的信息之間的圖像中的相似性(例如，強(qiáng)度差量)。
[0135]有利地，一可能實(shí)施例可組合如上所述的兩個(gè)匹配可能性計(jì)算。例如，MP_A可被計(jì)算以決定一限定的當(dāng)前匹配的預(yù)選擇，并且接著MP_B可關(guān)于其中MP_A超出一確定閾值的參考特征以及當(dāng)前特征被計(jì)算?；蛘?，1?_8可能首先被計(jì)算以決定一限定的當(dāng)前匹配的預(yù)選擇并且接著MP_B可關(guān)于參考特征以及當(dāng)前特征的被計(jì)算。
[0136]在一可能實(shí)施例中，其可能根據(jù)位姿評(píng)估的不確定性被決定，何者匹配機(jī)率的位姿評(píng)估不確定性將被計(jì)算、被組合和/或在其中匹配機(jī)率將被計(jì)算的順序。例如，如果攝影機(jī)位姿的不確定性是低的，MP_A可能是較佳的或優(yōu)先于MP_B，表示MP_A或MP_A以及MP_B組合的任一者(其中MP_A被使用于預(yù)選擇)可被使用。
[0137]依據(jù)一實(shí)施例，不確定性信息通過(guò)根據(jù)不確定性(例如，笛卡兒坐標(biāo)中的X，y, z)而改變關(guān)于位置和/或方位的分別自由度的至少之一的一分別的權(quán)重以影響匹配過(guò)程。例如，當(dāng)匹配候選者將被匹配時(shí)，不確定性信息影響參考特征的選擇。例如，當(dāng)具有一權(quán)重時(shí)，作為匹配候選者的參考特征的選擇根據(jù)該權(quán)重被影響，一較高的不確定性可能減少該權(quán)重并且一較低的不確定性可能增加該權(quán)重。
[0138]例如，用來(lái)提供拾取裝置的位置、方位和/或高度的不確定性信息根據(jù)傳感器型式被決定。
[0139]假設(shè)我們被提供于廣域坐標(biāo)系統(tǒng)中的拾取裝置的(部分)位姿上的一粗略預(yù)知以及相同廣域坐標(biāo)系統(tǒng)中的環(huán)境的一參考模型(例如，剖析參考特征集合或一三角形網(wǎng)格)。我們提出將參考模型(的部分)轉(zhuǎn)換成為關(guān)聯(lián)于拾取裝置的坐標(biāo)系統(tǒng)，并且將其投射至攝影機(jī)圖像平面上。特征檢測(cè)方法接著使用這投射的信息于其僅檢測(cè)它們鄰近中具有參考模型被投射的部分的圖像中的那些位置的特征。
[0140]圖6顯示通過(guò)一拾取裝置取得的范例景象的圖像。該圖像的景象包含風(fēng)景(山、岸邊、海)以及一些人工對(duì)象(屋子)。使用拾取裝置的粗略位姿，例如自GPS、一數(shù)位羅盤、以及一加速器，鄰近中可用的參考模型RM通過(guò)那位姿被渲染。這模型不包含山或海上的任何信息，但是專有地代表景象中的人工結(jié)構(gòu)。根據(jù)被投射的參考模型應(yīng)，涵蓋投射的參考模型以及其局部鄰近者的一適應(yīng)式區(qū)域AR被形成。依據(jù)本發(fā)明的方法接著僅檢測(cè)在這區(qū)域AR內(nèi)部的特征，因在圖像的其他區(qū)域中被檢測(cè)的特征很可能在參考模型中不具有任何對(duì)應(yīng)關(guān)系。
[0141]圖7闡述另一實(shí)施例，其展示通過(guò)拾取裝置所取得的另一范例景象的圖像。假設(shè)僅有關(guān)拾取裝置的重力的粗略方位是已知的，例如，通過(guò)一加速器被提供，一更通常的參考模型被使用，例如，地平線。通過(guò)在已知的方位考慮之下投射地平線H進(jìn)入圖像中并且通過(guò)僅檢測(cè)在這投射線鄰近之一適合區(qū)域AR中的特征，檢測(cè)在地面及天空的特征被避免。這提供匹配中的有利條件，因戶外情節(jié)中的地面上的特征通常是非常重復(fù)的并且天空的特征是明顯地?zé)o用的，因天空隨時(shí)時(shí)間激烈地改變景象。
[0142]依據(jù)本發(fā)明一實(shí)施例，所述方法可被使用于客戶服務(wù)器架構(gòu)中，于其中一個(gè)或多個(gè)客戶，例如，在移動(dòng)式裝置上執(zhí)行，通過(guò)網(wǎng)絡(luò)，例如，無(wú)線LAN、GSM或任何其他寬帶網(wǎng)絡(luò)(WAN)，與一服務(wù)器通訊。
[0143]圖8闡述在客戶C以及服務(wù)器S之間的通訊范例的流程圖。在步驟S81中，在客戶C決定其的粗略(部分的)位姿(位置以及方位)之后，這信息被使用作為至服務(wù)器S的一詢問(wèn)。在步驟S82中，服務(wù)器S接著依據(jù)該詢問(wèn)于其的數(shù)據(jù)庫(kù)SDB中產(chǎn)生參考模型的一子集。該子集，例如，可對(duì)應(yīng)至整個(gè)參考模型的部分，其被安置鄰近客戶(部分)的位置。在步驟S83中，該子集被傳送以響應(yīng)該客戶C，接著客戶C通過(guò)所取回的子集而更新其之局部數(shù)據(jù)庫(kù)CDB。在步驟S84中，在拾取一新的幀(圖像)之后，當(dāng)前特征被檢測(cè)、被描述并且被匹配于施加空間限制的局部數(shù)據(jù)庫(kù)CDB中的局部參考模型，如上面的說(shuō)明(步驟S85)。在步驟S86中，該等匹配接著被使用以決定拾取裝置的狀態(tài)。在拾取一新的幀(圖像)之后(步驟S87)，取決于位姿評(píng)估是否成功，客戶C繼續(xù)進(jìn)行(步驟S88)。如果成功，該方法相對(duì)至在先幀而評(píng)估拾取裝置位姿(亦即，幀-至-幀跟蹤)，否則客戶C依據(jù)一些推理(步驟S89)而產(chǎn)生新的當(dāng)前特征以嘗試初始化跟蹤(步驟S85)，或傳送一新的詢問(wèn)至服務(wù)器S (步驟S81)。選擇地，在步驟S810中，導(dǎo)致一成功位姿評(píng)估的匹配可被使用以更新服務(wù)器數(shù)據(jù)庫(kù)SDB。
[0144]特征檢測(cè)以及特征描述:
[0145]任何二維計(jì)算機(jī)視覺(jué)方法的一強(qiáng)的限制是其操作在一投射空間中。這使得其不可能從產(chǎn)生自一對(duì)象的實(shí)際實(shí)體尺度的尺度而辨認(rèn)產(chǎn)生自一對(duì)象至攝影機(jī)的距離的尺度。對(duì)于產(chǎn)生自攝影機(jī)至一對(duì)象的距離的尺度的不變性清楚地在許多應(yīng)用中是所需求的，并且是對(duì)于尺度不變性的原始動(dòng)機(jī)。但是，在不同實(shí)體尺度的相似特征的存在情況中，尺度的不變性使得它們難以辨認(rèn)。例如，如在參考文獻(xiàn)[I]中被說(shuō)明的一描述符將不可能在一真正建筑物以及其之一小型模型之間辨認(rèn)。除此之外，通過(guò)自圖像強(qiáng)度計(jì)算一可重復(fù)特征尺度而提供尺度不變性的方法是高度地依賴這被計(jì)算的尺度的精確度以及重復(fù)性。
[0146]依據(jù)本發(fā)明實(shí)施例，該方法因此也包含檢測(cè)以及描述來(lái)自一強(qiáng)度圖像的特征的方法，其對(duì)于產(chǎn)生自在拾取裝置以及對(duì)象之間距離的尺度是不變的，但其卻是易敏感于多種應(yīng)用對(duì)象的真正實(shí)體的尺度。就此而言，此方法的各種實(shí)施例是可設(shè)置如下所述:
[0147]在一實(shí)施例中，該方法可包括下列步驟:提供利用攝影機(jī)拾取的一強(qiáng)度圖像，提供一方法以供決定強(qiáng)度圖像中的至少一元素的深度，在一特征檢測(cè)過(guò)程中檢測(cè)強(qiáng)度圖像中至少一特征，其中該特征檢測(cè)通過(guò)處理在取決于強(qiáng)度圖像中至少一元素的深度的一尺度的強(qiáng)度圖像的圖像強(qiáng)度信息而被執(zhí)行，并且提供至少一檢測(cè)特征的一特征描述符。[0148]依據(jù)一實(shí)施例，特征描述符包括依據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一第一參數(shù)，以及包含描述符坐標(biāo)，該等描述符坐標(biāo)依據(jù)作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度被測(cè)量，或特征描述符根據(jù)通過(guò)在檢測(cè)特征附近的一支撐域中的強(qiáng)度圖像提供的信息而描述檢測(cè)特征，其中該支撐域依據(jù)作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度被測(cè)量。
[0149]依據(jù)本發(fā)明另一實(shí)施例，該方法可包含檢測(cè)以及描述來(lái)自一強(qiáng)度圖像的特征的方法，該方法包括下列步驟:提供通過(guò)一攝影機(jī)拾取的一強(qiáng)度圖像，提供一方法以供決定強(qiáng)度圖像中的至少一元素的深度，根據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息而檢測(cè)強(qiáng)度圖像中至少一特征，提供至少一檢測(cè)特征的一特征描述符，其中該特征描述符根據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息而包含至少一第一參數(shù)，以及包含描述符坐標(biāo)，該等描述符坐標(biāo)依據(jù)作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度被測(cè)量，或其中該特征描述符根據(jù)通過(guò)在檢測(cè)特征附近的一支撐域中的強(qiáng)度圖像提供的信息而描述檢測(cè)特征，其中該支撐域依據(jù)作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度被測(cè)量。
[0150]依據(jù)本發(fā)明另一實(shí)施例，該方法可包含檢測(cè)以及描述來(lái)自一強(qiáng)度圖像的特征的方法，該方法包括下列步驟:提供通過(guò)一攝影機(jī)拾取的一強(qiáng)度圖像，提供一方法以供決定強(qiáng)度圖像中的至少一元素的深度，根據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息而檢測(cè)強(qiáng)度圖像中的至少一特征，以及提供具有一特定尺度的一指標(biāo)的至少一檢測(cè)特征的一特征描述符，該特征描述符包含根據(jù)通過(guò)強(qiáng)度圖像提供的信息的至少一第一參數(shù)，以及至少一第二參數(shù)，其是指示作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的尺度及深度的組合。當(dāng)參考描述符坐標(biāo)時(shí)，我們參看強(qiáng)度數(shù)值的坐標(biāo)，自其中描述符關(guān)于一定義的特征中心而被建立。圖3有助于了解所述概念。
[0151]因此建議采用強(qiáng)度圖像中一元素(例如，一像素)的深度以供用于在強(qiáng)度圖像中的特定元素(像素)的特征檢測(cè)和/或描述。因此，特征可以真實(shí)(實(shí)體)尺度被檢測(cè)并且被描述，比較至強(qiáng)度圖像上的標(biāo)準(zhǔn)尺度不變的特征描述符則提供被改進(jìn)的獨(dú)特性，而不弓I介任何限制在攝影機(jī)移動(dòng)上。
[0152]依據(jù)一實(shí)施例，在建議的方法中，其在特征檢測(cè)過(guò)程中決定強(qiáng)度圖像中的至少一元素是否屬于一檢測(cè)特征或不取決于強(qiáng)度圖像中的強(qiáng)度值。
[0153]尤其是，依據(jù)本發(fā)明一實(shí)施例，該建議的方法僅根據(jù)強(qiáng)度圖像而檢測(cè)以及描述特征。尤其是，一特征的深度被使用以通過(guò)關(guān)于一真正(實(shí)體)尺度而改進(jìn)過(guò)程，但是對(duì)照于當(dāng)前技術(shù)，在特征附近的任何其他局部幾何的知識(shí)不被使用。
[0154]依據(jù)這些實(shí)施例的方法，在一論點(diǎn)中僅使用一個(gè)純量數(shù)值，其是距離的一指示，以改進(jìn)唯一來(lái)自2D強(qiáng)度圖像中被檢測(cè)并且被描述的特征的檢測(cè)和/或描述。
[0155]不同的方法存在以提供關(guān)聯(lián)強(qiáng)度圖像中特定像素的深度信息。范例包含立體視覺(jué)、飛行時(shí)間攝影機(jī)以及使用結(jié)構(gòu)光的方法。在下面，我們假設(shè)我們被提供一強(qiáng)度圖像以及一方法以供決定強(qiáng)度圖像中至少一元素的深度。這方法可以，例如，是一相關(guān)深度映射中的一查詢操作(可能是使用內(nèi)插和/或外插)或其可能是來(lái)自包含自不同視角的對(duì)應(yīng)的實(shí)體元素的給予的第二強(qiáng)度圖像的立體深度的計(jì)算。
[0156]1、依據(jù)本發(fā)明一實(shí)施例在真實(shí)尺度的特征檢測(cè):
[0157]通常，依據(jù)這論點(diǎn)的一方法包括下列步驟:提供通過(guò)一拾取裝置拾取的一強(qiáng)度圖像，提供一方法以供決定強(qiáng)度圖像中的至少一元素的深度，在一特征檢測(cè)過(guò)程中檢測(cè)強(qiáng)度圖像中至少一特征，其中該特征檢測(cè)通過(guò)處理在依據(jù)強(qiáng)度圖像中至少一元素的深度的一尺度的該強(qiáng)度圖像的圖像強(qiáng)度信息而被執(zhí)行，并且提供至少一檢測(cè)特征的一特征描述符。
[0158]依據(jù)一實(shí)施例，特征描述符包括依據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一第一參數(shù)，以及作為尺度指示的至少一第二參數(shù)。
[0159]依據(jù)一實(shí)施例，特征描述符包含依據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一第一參數(shù)，以及包含描述符坐標(biāo)，該等描述符坐標(biāo)依據(jù)作為檢測(cè)特征的部分的強(qiáng)度圖像中的至少一元素的深度被測(cè)量，或特征描述符根據(jù)通過(guò)在檢測(cè)特征附近的一支撐域中的強(qiáng)度圖像中提供的信息而描述檢測(cè)特征，其中該支撐域依據(jù)作為檢測(cè)特征的一部分的強(qiáng)度圖像中的至少一元素的深度被測(cè)量。
[0160]一特征是一圖像中的一顯著的元素，其可以是一點(diǎn)(在文獻(xiàn)中時(shí)常被稱為關(guān)鍵點(diǎn)或相關(guān)點(diǎn))、一線、一曲線、一區(qū)域、或圖像的任何其他子集。特征檢測(cè)算法通常是顯著性檢測(cè)器。例如，它們找出線、邊緣、或一微分運(yùn)算器的相對(duì)極值。一特征檢測(cè)器可被視為映射像素的一區(qū)域至一響應(yīng)的一函數(shù)。在文獻(xiàn)中，這區(qū)域被稱為特征檢測(cè)器的采樣窗口、支撐域或測(cè)量孔徑。該響應(yīng)是決定哪些元素是特征以及哪些不是的最終閾值。為了在一定尺度提取特征，采樣窗口或支撐域的任何一個(gè)可因此被測(cè)量，或圖像可在計(jì)算特征檢測(cè)器的響應(yīng)之前通過(guò)反向尺度系數(shù)被縮放。一特征的尺度(或尺寸)接著被定義作為被使用以檢測(cè)它的采樣窗口或支撐域的尺寸。
[0161]在這種情況中，圖9展示快速(FAST)轉(zhuǎn)角檢測(cè)器的一尺寸(在左邊的展示)，如用于檢測(cè)點(diǎn)特征的方法的通常范例。在這范例中，一特征F的尺度(或尺寸)被定義為如展示的“尺度I”或“尺度2”，其等對(duì)應(yīng)至被使用以檢測(cè)它的采樣窗口或支撐域(此處通過(guò)圓形組像素被定義)的尺寸。在圖9左邊上，提供決定一像素是否為一特征(采樣窗口或支撐域)的圖像區(qū)域(在此處通過(guò)圓形組像素被限定)以兩個(gè)不同尺度，尺度I以及尺度2被展示而標(biāo)明兩個(gè)不同尺寸的支撐域。
[0162]例如，在本發(fā)明一論點(diǎn)中，該方法包括下列步驟:定義一支撐域作為涵蓋強(qiáng)度圖像的一部分的區(qū)域，根據(jù)在該特征附近的支撐域中的信息而檢測(cè)強(qiáng)度圖像中的至少一特征，其中支撐域的一尺寸對(duì)應(yīng)于具有至少一特征被檢測(cè)的尺度而被決定。
[0163]依據(jù)一實(shí)施例，至少一特征被檢測(cè)的尺度依據(jù)于支撐域的深度取樣。例如，支撐域以反比于強(qiáng)度圖像中的至少一元素的深度被測(cè)量以供特征檢測(cè)過(guò)程決定其是否為檢測(cè)特征的一部分。
[0164]用于特征檢測(cè)方法的常見(jiàn)范例包含高斯之拉普拉斯(LoG)、高斯差分(DoG)、赫斯亞行列式(DoH)、最大穩(wěn)定極值區(qū)域(MSER)、赫利斯(Harris)特征、或?qū)W習(xí)為基礎(chǔ)轉(zhuǎn)角檢測(cè)器，例如，F(xiàn)AST。對(duì)于檢測(cè)邊緣特征,廣泛已知的算法,例如,肯尼(Canny)、莎貝爾(Sobel)或普利衛(wèi)特(Prewitt)可被應(yīng)用。
[0165]例如，特征檢測(cè)在反比例依據(jù)于強(qiáng)度圖像中至少一元素的深度的至少一尺度被運(yùn)行以供特征檢測(cè)過(guò)程決定其是否為檢測(cè)特征的一部分。
[0166]依據(jù)一實(shí)施例，在至少一特征被檢測(cè)的至少一尺度對(duì)應(yīng)至該特征的一實(shí)體尺寸。
[0167]在本發(fā)明的一可能實(shí)施例中，提議決定一元素是否為一特征或不取決于強(qiáng)度圖像中的數(shù)值以及元素深度。更明確地說(shuō)，對(duì)于各檢測(cè)元素，特征檢測(cè)以反比例依據(jù)于推定的元素深度的一個(gè)或多個(gè)尺度被實(shí)行。
[0168] 在本發(fā)明一實(shí)施例中，特征檢測(cè)僅使用一個(gè)真實(shí)尺度(例如，毫米)以檢測(cè)特征。在另一實(shí)施例中，多于一個(gè)的真實(shí)尺度(例如，毫米)，其依據(jù)被使用的深度以檢測(cè)特征(例如，30毫米以及60毫米以供用于更遠(yuǎn)于50公分以及較接近于100公分的特征)。因此，雖然圖像尺度(像素)被改變至真實(shí)尺度，例如，通過(guò)使其反比例于深度，于量度距離的實(shí)體或真實(shí)尺度可不同地以及獨(dú)立地被測(cè)量。
[0169]因此，在特征被檢測(cè)的尺度對(duì)應(yīng)至一真實(shí)(實(shí)體)的尺寸而替代攝影機(jī)像素單位的尺度。拾取裝置焦距的評(píng)估是以絕對(duì)真實(shí)尺度檢測(cè)特征所需求的。
[0170]圖1Oa展示根據(jù)本發(fā)明這論點(diǎn)的方法的實(shí)施范例流程圖。步驟S51通過(guò)一拾取裝置，例如，一攝影機(jī)，拾取一強(qiáng)度圖像，或裝載一強(qiáng)度圖像，并且提供一方法以決定強(qiáng)度圖像中的至少一元素，例如，一特定像素，的深度，(關(guān)于此一方法的可能實(shí)施例，進(jìn)一步的詳細(xì)說(shuō)明在上面被提供)。步驟S52，其定義提取特征的尺度，是取決于深度取樣。對(duì)于各支撐域，其可以是如一像素一般地小，檢測(cè)強(qiáng)度圖像中的特征的尺度依據(jù)于對(duì)該區(qū)域的一深度取樣。在本發(fā)明一實(shí)施例中的支撐域是由多于8個(gè)像素所構(gòu)成。如上面的說(shuō)明，自深度決定尺度的一可能方式是一反比關(guān)系，其導(dǎo)致真實(shí)(實(shí)體)尺度。隨后，步驟S53產(chǎn)生用于不同尺度的所提供的強(qiáng)度圖像表示。在步驟S54中，特征以所需的尺度被檢測(cè)。尤其是，在特征檢測(cè)過(guò)程中，用于不同尺度的強(qiáng)度圖像的分別表示被產(chǎn)生并且強(qiáng)度圖像中的特征以分別的尺度被檢測(cè)。對(duì)于特征描述，至少一方位被指定于步驟S55中，例如，在鄰近像素的主要梯度方向或使用一方位傳感器測(cè)量，例如，通過(guò)重力被對(duì)準(zhǔn)。最終，在步驟S56中，考慮它們的尺度以及方位，特征被描述，并且在步驟S57使用如在標(biāo)準(zhǔn)方法中的所述特征。
[0171]尤其注意到，步驟S53以及S54是范例。允許以不同尺度檢測(cè)特征的任何方法可被應(yīng)用于此，包含以縮放它們的采樣孔徑(或支撐域)以取代工作在強(qiáng)度圖像的尺度版本上那些方法。
[0172]本發(fā)明一實(shí)施例使用點(diǎn)特征(亦即，關(guān)鍵點(diǎn)或相關(guān)點(diǎn))。特征檢測(cè)在此情況中通過(guò)一方法被執(zhí)行而依據(jù)在該點(diǎn)附近的采樣窗口中的圖像強(qiáng)度決定對(duì)于一圖像(亦即，一像素)中的一單一點(diǎn)是否為一特征。
[0173]例如，F(xiàn)AST轉(zhuǎn)角檢測(cè)器，其時(shí)常被使用作為特征檢測(cè)器，將如下所述地被使用在本發(fā)明一實(shí)施例中。給予一像素，檢測(cè)器依據(jù)其的強(qiáng)度以及在具有半徑3.5像素的圓附近上的像素強(qiáng)度決定其是否為一特征(轉(zhuǎn)角)。所提議的方法將首先自一深度提供方法以決定像素深度。給予這深度(深度--)、一所需的真實(shí)尺度(半徑--)以及拾取裝置的焦距(焦距(像素單位)，對(duì)應(yīng)至所需的真實(shí)尺度的像素中的直徑或半徑(半徑可如下所示被計(jì)算:
[0174]半徑憾=焦距憾*半徑_/深度真正
[0175]如上面的說(shuō)明，對(duì)應(yīng)至表面上一些真實(shí)尺度的圖像中的尺度反比例于深度地變化。這是自深度決定尺度的一可能方式。
[0176]為了以對(duì)應(yīng)至用于FAST轉(zhuǎn)角檢測(cè)器的半徑(半徑的真實(shí)尺度檢測(cè)一特征，原始檢測(cè)器的任何的修改將被使用而以一半徑的像素的半徑以取代原定3.5像素而操作，或在具有半徑的半徑的候選像素附近的一斑塊通過(guò)半徑/3.5的系數(shù)被尺度調(diào)整，并且檢測(cè)通過(guò)標(biāo)準(zhǔn)檢測(cè)器被執(zhí)行在被尺度調(diào)整的圖像斑塊上。[0177]取代提供用于各深度的一分別尺度，其可以是計(jì)算地有利于指定一深度范圍至一尺度。例如，5-10米的范圍被指定100毫米的尺度并且范圍在10米之上者被指定至300毫米。
[0178]本發(fā)明另一可能實(shí)施例可使用其他深度指示值，如上所述的取代深度。一實(shí)施例使用以攝影機(jī)為中心的笛卡兒坐標(biāo)系統(tǒng)的Z-值，其中Z-軸是與攝影機(jī)的光軸在同一直線。
[0179]一般，其也是清楚的，深度或距離，不必定是精確地自攝影機(jī)的中心被測(cè)量。
[0180]選擇地，圖像或部分圖像，在特征被提取或描述符被建立之前，可能依據(jù)另外的固有參數(shù)而不失真。
[0181]本發(fā)明不需要正交計(jì)算(其需要密集的深度數(shù)據(jù))的昂貴步驟、圖像的投射返回為3D、以及三角測(cè)量。替代一圖像網(wǎng)格，本發(fā)明的方法使用一簡(jiǎn)單2D強(qiáng)度圖像用以產(chǎn)生尺度空間。其不根據(jù)正切平面執(zhí)行任何鄰近地區(qū)的正交化并且根本也不考慮特征描述中的法線。尤其是，依據(jù)本發(fā)明，在特征檢測(cè)過(guò)程期間沒(méi)有依據(jù)深度數(shù)據(jù)的3D網(wǎng)格被產(chǎn)生。
[0182]2、依據(jù)本發(fā)明進(jìn)一步實(shí)施例的真實(shí)尺度的特征描述:
[0183]通常，依據(jù)這論點(diǎn)的方法包括下列步驟:提供通過(guò)一攝影機(jī)拾取的一強(qiáng)度圖像，提供一方法以供決定強(qiáng)度圖像中至少一元素的深度，依據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息檢測(cè)強(qiáng)度影響中的至少一特征，以及提供至少一檢測(cè)特征的一特征描述符。
[0184]在第一可能性中，特征描述符包括依據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一第一參數(shù)，以及包含描述符坐標(biāo)，該等描述符坐標(biāo)依據(jù)作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度被測(cè)量。
[0185]另外地，在一第二可能性中，特征描述符描述依據(jù)通過(guò)在檢測(cè)特征附近的一支撐域中的強(qiáng)度圖像提供的圖像強(qiáng)度信息的檢測(cè)特征，其中支撐域依據(jù)作為檢測(cè)特征的一部分的強(qiáng)度圖像中的至少一元素的深度被測(cè)量。
[0186]一特征描述符根據(jù)在特征附近的圖像的一支撐域中的可用信息描述一特征。特征描述符的尺度是支撐域的尺寸。為清楚起見(jiàn)以及作為一范例，圖9展示在所展示的右邊上，以兩個(gè)不同尺度的SIFT描述符的支撐域(此處通過(guò)具有展示如直線的一相對(duì)梯度的一框形或矩形被定義)，標(biāo)明不同尺寸的支撐域的尺度3以及尺度4，在此處是框形或矩形。
[0187]一描述符的尺度通常被選擇而線性地依據(jù)描述的特征尺度。在本發(fā)明一較佳實(shí)施例中，被使用在建立特征描述符的支援像素是由在一像素附近的幾何圖形(例如，在一圓的邊緣上，或在一橢圓內(nèi)部的所有像素)所指定的像素所構(gòu)成，其被辨識(shí)作為一特征，其中幾何圖形僅依據(jù)深度變化。變化可以是重新評(píng)估幾何圖形或以不同的深度改變幾何圖形形狀。不同的深度可以是區(qū)間，例如，0-0.5米以及0.5米-5米及在5米以上。注意到，有關(guān)支撐域，我們指示具有非零供獻(xiàn)權(quán)重的支撐域的部分。
[0188]例如，強(qiáng)度圖像中的支援點(diǎn)被使用于提供特征描述符，其包括通過(guò)已在特征檢測(cè)過(guò)程中被辨識(shí)作為檢測(cè)特征的一部分的該等點(diǎn)之一者附近的一幾何圖形所指定的點(diǎn)，其中幾何圖形依據(jù)該等點(diǎn)之一者的深度而變化，尤其是，其中該變化可在不同的深度重新調(diào)整該幾何圖形大小或改變?cè)搸缀螆D形形狀。
[0189]依據(jù)一實(shí)施例，在不同的真實(shí)尺度的支撐域被使用，其中這些支撐域的一支撐域在較小的決定深度被決定為較小并且在較大的決定深度被決定為較大。
[0190]一特征描述符可以是一實(shí)數(shù)向量，例如，SIFT或SURF，但是也可以是分類為基礎(chǔ)的方法，例如，隨機(jī)FERNS。此外，統(tǒng)計(jì)式描述符，如同一外形的曲率或(實(shí)體)長(zhǎng)度，可被使用。在本質(zhì)上，能夠匹配特征的任何方法在這揭示說(shuō)法中被考慮為一特征描述符。
[0191]依據(jù)一實(shí)施例，其提議依據(jù)通過(guò)上述方法提供的強(qiáng)度圖像中的數(shù)值以及特征深度，而描述一特征。這提議的更多特定實(shí)施例將在下面被說(shuō)明。
[0192]依據(jù)一實(shí)施例，特征描述符的支撐域成反比于作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度被尺度調(diào)整。
[0193]依據(jù)另一實(shí)施例，特征描述符的描述符坐標(biāo)反比例于作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度被尺度調(diào)整。
[0194]尤其是，其提議反比例于特征深度而尺度調(diào)整特征描述符的坐標(biāo)或支撐域。這導(dǎo)致特征描述符的尺度對(duì)應(yīng)至一真實(shí)尺度并且不僅改進(jìn)特征描述符尺度的重復(fù)性但同時(shí)也能夠辨認(rèn)在不同的實(shí)體尺度的相似特征。
[0195]如果真實(shí)尺度將對(duì)應(yīng) 至可在不同的裝置各處被使用的一絕對(duì)尺度，拾取裝置的焦距評(píng)估是所需的。在一定距離(深度--)對(duì)應(yīng)至一絕對(duì)真實(shí)尺度(S^1)的像素(S像素)中的尺度接著被計(jì)算如:
[0196]S像素=焦距像素*S真正/深度真正。
[0197]圖1Ob展示依據(jù)本發(fā)明這論點(diǎn)的一實(shí)施例方法的流程圖。在步驟S61中，在通過(guò)一拾取裝置拾取一強(qiáng)度圖像或裝載一強(qiáng)度圖像并且提供給予一要求像素的深度的方法之后，在步驟S63中，特征以在步驟S62中被定義的尺度被檢測(cè)。這些尺度對(duì)于真實(shí)(實(shí)體)尺度不具有一已知的關(guān)系，但是在圖像坐標(biāo)中被定義。在步驟S65中，為了描述一特征，我們并入通過(guò)深度提供方法被提供的特征深度。深度被使用以量度描述符坐標(biāo)以對(duì)應(yīng)至一真實(shí)尺度，如上面的說(shuō)明。在步驟S66中，在方位指定之后，特征使用對(duì)應(yīng)至一真實(shí)尺度的描述符尺度在步驟S67中被描述。最終，在步驟S68中，被描述的特征被使用于應(yīng)用中。在本發(fā)明的可能實(shí)施例中，特征被提取以便提供深度(例如，使用一立體攝影機(jī))。因此，特征可即時(shí)地被傳送至步驟S65并且步驟S62，S63以及S64 (亦即，對(duì)應(yīng)至圖1Oa中的步驟S53以及S54的特征提取FE)不必須得被進(jìn)行(再)。
[0198]在這部分中被提議的方法的一實(shí)施例使用點(diǎn)特征(亦即，關(guān)鍵點(diǎn)或相關(guān)點(diǎn))以及供用于此等特征的特征描述符。給予一圖像中的一 2D點(diǎn)，一尺度以及選擇地一方位，其計(jì)算一描述符，例如，其可根據(jù)在一特征附近的支撐域中的強(qiáng)度值通過(guò)一實(shí)數(shù)向量被表示。此等方法的通俗范例包含SIFT以及SURF。
[0199]為了支援處理具有強(qiáng)深度變化的景象，我們提議定義復(fù)數(shù)個(gè)對(duì)應(yīng)至真實(shí)尺度的所需的特征描述符尺度。因此本發(fā)明之一可能實(shí)施例使用不同的真實(shí)尺度支撐域，其中支撐域在較小的深度是較小并且在較高的深度數(shù)值是較大。例如，當(dāng)成像一處遠(yuǎn)的山時(shí)，因它將涵蓋小于一像素，50毫米*50毫米的一支撐域是無(wú)意義的。另一方面，10000毫米*10000毫的一支撐域，對(duì)于此一景象可能是有意義的，而其是清楚地不能在一室內(nèi)桌面環(huán)境中實(shí)行。
[0200]依據(jù)如上所述在部分I中和/或在這部分2中的一實(shí)施例，尺度被定義作為一廣域設(shè)置并且特征描述符不包含指示尺度和/或支撐域的至少一第二參數(shù)。
[0201]3、依據(jù)本發(fā)明進(jìn)一步實(shí)施例的尺度不變真正尺度察覺(jué)特征描述:
[0202]依據(jù)本發(fā)明這論點(diǎn)，其提議根據(jù)強(qiáng)度圖像定義特征描述符的尺度，如在標(biāo)準(zhǔn)方法中所處理的一般。根據(jù)這論點(diǎn)的方法包括下列步驟:提供通過(guò)一攝影機(jī)拾取的一強(qiáng)度圖像，提供一方法以供決定強(qiáng)度圖像中至少一元素的深度，根據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息檢測(cè)強(qiáng)度圖像中至少一特征，以及通過(guò)一特定尺度的指標(biāo)提供至少一檢測(cè)特征的一特征描述符。特征描述符包含根據(jù)通過(guò)強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一第一參數(shù)以及至少一第二參數(shù)，該第二參數(shù)指示尺度以及作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度的組合。
[0203]例如，第二參數(shù)是指示尺度以及作為檢測(cè)特征的一部分的強(qiáng)度圖像中至少一元素的深度的一乘積。
[0204]依據(jù)一實(shí)施例，該第二參數(shù)，其選擇地包含有關(guān)拾取裝置的焦距的信息，被使用作為一連續(xù)特征匹配過(guò)程中的一選擇步驟的基礎(chǔ)，在其中僅另一強(qiáng)度圖像的那些特征被考慮作為具有包含相似至少第二參數(shù)的至少一參數(shù)的一特征描述符的檢測(cè)特征的可能匹配。
[0205]最好是，第二參數(shù)是對(duì)于檢測(cè)特征至拾取裝置的距離是不變的。
[0206]依據(jù)一實(shí)施例，特征描述符除了在特征附近的支撐域中的強(qiáng)度圖像的一描述之外還包含一純量值，例如，s*d。因而s指示特征描述符尺度并且d是指示特征深度。雖然這數(shù)值是一特征對(duì)于拾取裝置的距離是理想地不變的，它提供一特征的明顯的描述。如果一特征的深度d(或距離)加倍，則強(qiáng)度圖像中這特征的尺寸，以及因此其之尺度s將減少一半。熟悉本領(lǐng)域技術(shù)人員應(yīng)明白，焦距不是要緊的，只要它是常數(shù)。但是在一般情況中，要緊的是，任何攝影機(jī)可被使用。因此，該常數(shù)將是以(s*d)/f作為替代，其中f是焦距。這是重要的，以便確保數(shù)據(jù)在不同焦距攝影機(jī)之間可操作。尺度以及深度(以及選擇地焦距)的乘積，例如，可被使用以通過(guò)僅考慮具有一相似s*d數(shù)值的那些特征作為可能匹配而加速特征匹配。
[0207]圖1Oc展示依據(jù)本發(fā)明這論點(diǎn)的一實(shí)施例方法的流程圖。在步驟S71中，在通過(guò)拾取裝置拾取一強(qiáng)度圖像或裝載一強(qiáng)度圖像以及提供一方法以得到強(qiáng)度圖像中特定點(diǎn)的深度取樣之后，強(qiáng)度圖像的一尺度空間以在步驟S72中被定義的尺度在步驟S73中被產(chǎn)生。在步驟S74中，特征自尺度空間圖像被提取。對(duì)于每個(gè)特征，一方位在步驟S75中被指定并且在步驟S76中一描述被計(jì)算。注意，該方法到目前為止無(wú)不同于一常規(guī)尺度不變的方法，例如，SIFT。在下面步驟S77中，依據(jù)本發(fā)明通過(guò)在步驟S71中所提供的方法被提供的特征深度被并入。在此情況中，深度形成描述符的一部分并且與特征尺度以及選擇地焦距相乘，如上面的說(shuō)明。最終，上述特征被使用在步驟S78的應(yīng)用中。在本發(fā)明可能的實(shí)施例中，特征被提取以便提供深度(例如，使用立體攝影機(jī))。因此，特征可即時(shí)地被傳送至步驟S75并且步驟S72、S73以及S74(亦即，特征提取FE)不必須得被進(jìn)行(再)。
[0208]范例結(jié)果的描述:圖11比較依據(jù)本發(fā)明上述論點(diǎn)(如參考在第1-3點(diǎn)中)與標(biāo)準(zhǔn)方法的在一拾取裝置⑶拾取由兩組玩偶SI以及S2所構(gòu)成的景象的結(jié)構(gòu)中的技術(shù)。各組包含兩組不同尺度的相似玩偶(亦即，一高玩偶以及一較小玩偶)。兩組玩偶SI以及S2被安置在離拾取裝置⑶不同的距離。圖11左方展示通過(guò)⑶被拾取的圖像。涵蓋的方形指示對(duì)于被安置在每個(gè)玩偶右眼的特征的標(biāo)準(zhǔn)尺度不變特征描述符的支撐域。在該插圖RH、R12、R13以及R14展示被分別特征的支撐域所涵蓋著的圖像部分。如同所見(jiàn)，由于尺度的不變性，它們都是相同的。雖然這啟用在不同距離，例如，Rll以及R13的一對(duì)象的匹配特征，它不在不同的實(shí)體尺度，例如，Rll以及R12，提供在相似對(duì)象之間的識(shí)別力。
[0209]相對(duì)的，12展示通過(guò)在各玩偶右眼的四個(gè)特征的支撐域的相同拾取圖像，其依據(jù)本發(fā)明提議的方法被尺度調(diào)整。雖然支撐域以及因此描述符對(duì)于自攝影機(jī)至對(duì)象的距離，例如，R21以及R23或R22以及R24，是不變的，但其對(duì)于不同尺度的相似對(duì)象是不同的。例如，支撐域R21以及R22在它們圖像內(nèi)容中是明顯地不同，其導(dǎo)致不同的特征描述符。
[0210]依據(jù)本發(fā)明一實(shí)施例，用以提供參考和/或當(dāng)前深度取樣，供決定強(qiáng)度圖像中至少一元素的深度的方法是依據(jù)于拾取裝置的一光學(xué)焦點(diǎn)。
[0211]依據(jù)本發(fā)明另一實(shí)施例，在用以決定強(qiáng)度圖像中至少一元素的深度的方法中，強(qiáng)度圖像中的元素的深度取樣通過(guò)提取強(qiáng)度圖像以及至少一進(jìn)一步的強(qiáng)度圖像的特征并且使用拾取強(qiáng)度圖像以及至少一進(jìn)一步的強(qiáng)度圖像的立體攝影機(jī)組對(duì)的同軸幾何匹配它們而被產(chǎn)生。在其中特征被提取以便提供深度(例如，使用一立體攝影機(jī))的情況中，提取的特征可即時(shí)地被使用于特征描述。例如，在第一步驟中，兩組強(qiáng)度圖像Il以及12通過(guò)攝影機(jī)被拾取或被裝載，其接著可選擇地被接受預(yù)處理。在一尺度空間或一組離散尺度已被定義之后，在Il和/或12的尺度空間中的特征被檢測(cè)并且對(duì)應(yīng)關(guān)系被決定，例如，使用單眼攝影機(jī)結(jié)構(gòu)的立體攝影機(jī)組對(duì)的同軸幾何或尺度不變的特征描述符。通過(guò)Fi標(biāo)出兩個(gè)對(duì)應(yīng)特征并且X，y標(biāo)出分別特征Fi的一 2維位置，一檢測(cè)特征對(duì)應(yīng)關(guān)系C (Fl (x, y)、F2 (x, y))被考慮以描述將3D空間的相同點(diǎn)進(jìn)入Il以及12中的投射，并且因此，深度，亦即，這點(diǎn)在3D空間中的位置，例如，可通過(guò)三角測(cè)量被計(jì)算。在最終使用上述特征在一應(yīng)用中之前，提取的特征或關(guān)鍵點(diǎn)K被描述。該描述包含描述符V，其自強(qiáng)度數(shù)據(jù)被產(chǎn)生。此外，取決于應(yīng)用，儲(chǔ)存它們的位置在圖像(x，y)或它們的3D位置(可自深度被計(jì)算)中可能是有意義的。選擇地，尺度S、方位ο以及被決定的深度d也可相關(guān)于關(guān)鍵點(diǎn)被儲(chǔ)存。為了使用本發(fā)明這實(shí)施例，其是不必須儲(chǔ)存該尺度作為描述符的部分。例如，尺度也可廣域地對(duì)于某些深度被定義為10毫米或1000毫米或使用來(lái)自深度d的一般公式根據(jù)，其應(yīng)用至該應(yīng)用中的所有特征。如有關(guān)圖1Ob以及圖1Oc所述，依據(jù)如上面部分2 (例如，自圖1Ob中的S65開(kāi)始)或部分3 (例如，自圖1Oc中的S75開(kāi)始)中所述的本發(fā)明一實(shí)施例的任一方法可被使用。在依據(jù)部分3 —實(shí)施例的情況中，K將也進(jìn)一步地包括自組合s以及d(以及選擇地?cái)z影機(jī)的焦距)所導(dǎo)出的數(shù)值。
[0212]依據(jù)本發(fā)明進(jìn)一步的實(shí)施例，強(qiáng)度圖像中至少一元素的深度使用視覺(jué)搜尋算法以初始地比較不同距離而被評(píng)估。
[0213]依據(jù)本發(fā)明一實(shí)施例，該方法可進(jìn)一步包括下列步驟:提供廣域坐標(biāo)系統(tǒng)中的拾取裝置的位置以及方位的測(cè)量，自該測(cè)量決定拾取裝置的位姿，提供環(huán)境的3D模型，其中該位姿被組合在3D模型中使用以計(jì)算強(qiáng)度圖像中一特征的至少一元素的深度，例如，通過(guò)自拾取裝置中心投射一虛擬射線通過(guò)該特征進(jìn)入3D模型中。
[0214]廣域坐標(biāo)系統(tǒng)中拾取裝置的位置的測(cè)量可通過(guò)一 GPS傳感器/接收器，IR或RFID三角測(cè)量，或通過(guò)局部化方法使用多頻率或無(wú)線基礎(chǔ)建設(shè)被提供。廣域坐標(biāo)系統(tǒng)中拾取裝置的方位的測(cè)量可通過(guò)一慣性傳感器、一加速器、一回轉(zhuǎn)儀、一羅盤或一機(jī)械、電磁、聲音、或光學(xué)跟蹤系統(tǒng)的至少之一被提供。在本發(fā)明這種情況中，一慣性傳感器通過(guò)使用下列的任何組合:磁力計(jì)(例如，羅盤)、移動(dòng)傳感器/轉(zhuǎn)動(dòng)傳感器(加速器/回轉(zhuǎn)儀)、重力傳感器以及提供此信息的其他傳感器，而例如，可連續(xù)地提供包含關(guān)于環(huán)境的一對(duì)象或裝置的位置和/或方位的傳感器信息。
[0215]具有真實(shí)尺度特征描述符的深度提供方法的可能組合可被使用在光學(xué)位姿評(píng)估以及跟蹤中，例如，以便產(chǎn)生戶外AR體驗(yàn)。例如，深度使用粗略傳感器數(shù)據(jù)以及一環(huán)境模型被提取。一強(qiáng)度圖像Il通過(guò)拾取裝置被拾取或被裝載。此外，當(dāng)拾取Il的同時(shí)，拾取裝置的一初始位姿自粗略傳感器測(cè)量值(例如，GPS位置以及方位傳感器信息)被評(píng)估。最后，包含3D數(shù)據(jù)以及圖像數(shù)據(jù)(相似于Google街道圖)的一先進(jìn)環(huán)境模型被提供。如果用于跟蹤的一參考模型(例如，已經(jīng)包含特征3D坐標(biāo)以及特征描述符)不預(yù)先被產(chǎn)生，則需圖像數(shù)據(jù)。環(huán)境模型使用假設(shè)的攝影機(jī)位姿被裝載，亦即，環(huán)境模型自強(qiáng)度圖像Il的攝影機(jī)視角被渲染。深度信息自環(huán)境模型被取回并且被使用于接著的步驟中用以計(jì)算檢測(cè)特征的真實(shí)尺度描述符。換言之，使用對(duì)齊于圖像Il的深度信息，真實(shí)尺度特征在一固定尺度(例如I米)被提取。因?yàn)榄h(huán)境模型組合3D數(shù)據(jù)以及圖像數(shù)據(jù)，具有I米尺度的實(shí)體尺度特征的一參考3D模型可被產(chǎn)生(這當(dāng)然可預(yù)先被完成)。該結(jié)果接著可被使用以在Il以及3D實(shí)體尺度特征中產(chǎn)生特征的對(duì)應(yīng)關(guān)系。使用一最佳化算法，在環(huán)境模型的坐標(biāo)系統(tǒng)中的Il的改善位姿可被計(jì)算。該改善位姿接著可被使用于一應(yīng)用，例如，一增強(qiáng)現(xiàn)實(shí)的旅游數(shù)據(jù)的視覺(jué)化，或選擇地被使用以使?fàn)顟B(tài)評(píng)估改善并且通過(guò)過(guò)程而重復(fù)，直至在定義的品質(zhì)閾值之下的位姿中的改變已經(jīng)達(dá)成為止。
[0216]參考文獻(xiàn):
[0217][I]David G.Lowe.Distinctive Image Features from Scale-1nvariantKeypoints.1nt.J.Comput.Vision60，2(November2004)，91-110，2004
[0218][2]A.Kumar, J.-P.Tardifj R.Anatij and K.Daniilidis.Experiments onvisual loop closing using vocabulary trees.1n Computer Vision and PatternRecognition (CVPR) Workshops, June2008.Anchorage, AK.[0219][3]Gabriele Bleser and Didier Strieker.Advanced tracking throughefficient image processing and visual-1nertial sensor fusion.Computer&Graphics，Vol.33，Pages59_72，Elsevier, New York, 2/2009.[0220][4] D.Chen, G.Baatzj K.Koeserj S.Tsai，R.Vedanthamj T.Pylvanainenj K.Roimelaj X.Chen, J.Bach, M.Pollefeysj B.Girodj and R.Grzeszczuk.City-scale landmarkidentification on mobile devices.1EEE International Conference on ComputerVision and Pattern Recognition (CVPR), June2011.[0221][5]Gerhard Reitmayr and Tom W.Drummond.1nitialisation for VisualTracking in Urban Environments.1n Proceedings of the20076th IEEE and ACMInternational Symposium on Mixed and Augmented Reality(ISMAR ? 7).1EEE ComputerSociety, Washington, DC, USA，1-9，2007.[0222][6]D.V.Johnston, Learning Depth in Lightfield Images, CS229MachineLearning Autumn2005，Stanford University,2005，http://www.Stanford, edu/class/cs229/proj2005/Johnston-LeamingDeptMnLightfieldlmages.pdf
[0223][7] Gerhard Schallj Daniel Wagner, Gerhard Reitmayr，EliseTaichmannj Manfred Wie-ser, Dieter Schmalstiegj and Bernhard Hofmann-We11enhof.Global pose estimation using mult1-sensor fusion for outdoor AugmentedReality. 1n Proceedings of the20098th IEEE International Symposium on Mixed andAugmented Reality, 2009[0224][8]Clemens Arth，Daniel Wagner, Manfred Klopschitzj Arnold Irscharaj andDieter Schmalstieg.Wide area localization on mobile phones.1n Proceedings ofthe20098th IEEE International Symposium on Mixed and Augmented Reality(ISMARO19).IEEE Computer Society, Washington, DC, USA，73-82，2009.[0225][9]US7768534B2.
【權(quán)利要求】
1.一種以參考特征匹配圖像特征的方法，包括下列步驟: 提供通過(guò)一拾取裝置拾取的一當(dāng)前圖像， 提供一組參考特征，其中每個(gè)所述參考特征包括至少一第一參數(shù)，所述第一參數(shù)是至少部分地指示有關(guān)一廣域坐標(biāo)系統(tǒng)的參考特征的一位置和/或方位，其中所述廣域坐標(biāo)系統(tǒng)是一地面坐標(biāo)系統(tǒng)或一對(duì)象坐標(biāo)系統(tǒng)，或所述第一參數(shù)是至少部分地指示有關(guān)一高度的參考特征的一位置， 在一特征檢測(cè)過(guò)程中檢測(cè)所述當(dāng)前圖像中的至少一特征， 關(guān)聯(lián)所述檢測(cè)特征于至少一第二參數(shù)，所述第二參數(shù)是至少部分地指示有關(guān)所述廣域坐標(biāo)系統(tǒng)的檢測(cè)特征的一位置和/或方位，或所述第二參數(shù)是至少部分地指示有關(guān)一高度的檢測(cè)特征的一位置， 通過(guò)決定在所述至少一第一參數(shù)以及所述至少一第二參數(shù)之間的一相似度測(cè)量，匹配所述檢測(cè)特征與所述一組參考特征的參考特征的至少之一。
2.依據(jù)權(quán)利要求1的方法，包括當(dāng)匹配所述檢測(cè)特征時(shí)通過(guò)在所述一組參考特征內(nèi)的一減低數(shù)量的參考特征而定義一搜尋空間的步驟，其中所述搜尋空間根據(jù)所述至少一第二參數(shù)被決定。
3.依據(jù)權(quán)利要求1或2的方法，其中所述廣域坐標(biāo)系統(tǒng)提供有關(guān)一特征的地理參考位置和/或方位的信息。
4.依據(jù)權(quán)利要求1至3之一的方法，其中所述至少一第一以及第二參數(shù)中至少之一是至少部分地指示一經(jīng)度以及緯度。
5.依據(jù)權(quán)利要求1至4之一的方法，其中所述至少一第一以及第二參數(shù)中至少之一是至少部分地指示有關(guān)相對(duì)于所述拾取裝置的一相對(duì)高度、或一絕對(duì)高度的一位置。
6.依據(jù)權(quán)利要求1至5之一的方法，其中所述檢測(cè)特征的位置和/或方位通過(guò)一方程式被描述，所述方程式描述一幾何形狀，例如，一點(diǎn)、一射線、一直線、一圓、一圓錐體、或一圓柱體。
7.依據(jù)權(quán)利要求6的方法，其中匹配所述檢測(cè)特征與所述一組參考特征的步驟僅考慮該組參考特征中具有至所述幾何形狀的距離是在一閾值之下的一位置的那些參考特征為可能的匹配。
8.依據(jù)權(quán)利要求1至7之一的方法，其中所述至少一第一以及第二參數(shù)中至少之一是在一特征描述符領(lǐng)域中和/或在一空間領(lǐng)域中的一空間數(shù)據(jù)結(jié)構(gòu)的部份，例如，其中所述空間數(shù)據(jù)結(jié)構(gòu)包含一限定容積，例如，軸對(duì)齊方塊、定位方塊、球形、任意容積，或一網(wǎng)格，或任何類型的樹(shù)型，例如，四分樹(shù)型(Quadtree)、八叉樹(shù)型(Octree)、二元空間分割樹(shù)型(BSP-tree)、k維空間樹(shù)型(kd-tree)、多維空間索引樹(shù)型(R-tree)。
9.依據(jù)權(quán)利要求1至8之一的方法，其中當(dāng)拾取所述當(dāng)前圖像時(shí)，所述至少一第二參數(shù)使用有關(guān)所述廣域坐標(biāo)系統(tǒng)的拾取裝置的一至少部分的位置和/或方位被決定。
10.依據(jù)權(quán)利要求1至9之一的方法，其中所述至少一第二參數(shù)使用所述當(dāng)前圖像中的至少一元素的一深度作為所述檢測(cè)特征的一部分而被決定。
11.依據(jù)權(quán)利要求1至10之一的方法，其中所述至少一第二參數(shù)使用相關(guān)于所述拾取裝置的一坐標(biāo)系統(tǒng)中的一重力向量的一測(cè)量值以及所述當(dāng)前圖像中的至少一元素的一深度作為所述檢測(cè)特征的一部分而被決定。
12.依據(jù)權(quán)利要求11的方法，其中所述檢測(cè)特征的位置是至少部分地通過(guò)具有一法線是或?qū)?yīng)至所述重力向量的一平面被描述，而所述平面指示高度。
13.依據(jù)權(quán)利要求9至12之一的方法，其中所述至少一第二參數(shù)通過(guò)進(jìn)一步使用所述拾取裝置的一組固有參數(shù)、以及所述當(dāng)前圖像中的所述檢測(cè)特征的一位置而被決定。
14.依據(jù)權(quán)利要求1至13之一的方法，進(jìn)一步包括通過(guò)組合朝向所述拾取裝置的所述檢測(cè)特征的一決定的距離以及所述拾取裝置的方位，而計(jì)算有關(guān)所述廣域坐標(biāo)系統(tǒng)或所述拾取裝置的一坐標(biāo)系統(tǒng)的所述檢測(cè)特征的一 3維位置。
15.依據(jù)權(quán)利要求1至14之一的方法，其中所述一組參考特征取自至少一參考圖像，所述至少一參考圖像通過(guò)不同于所述拾取裝置的一第二拾取裝置被記錄。
16.如權(quán)利要求15的方法，其中所述至少一參考圖像的拾取時(shí)間是至少比所述當(dāng)前圖像的拾取時(shí)間早一天。
17.依據(jù)權(quán)利要求1至16之一的方法，進(jìn)一步包括提供所述拾取裝置的至少一部分的位置、方位和/或高度的步驟，其中以此為基礎(chǔ)關(guān)聯(lián)于所述檢測(cè)特征的至少一第二參數(shù)的一不確定性信息被導(dǎo)出。
18.依據(jù)權(quán)利要求17的方法，其中所述不確定性信息用以影響所述匹配過(guò)程。
19.依據(jù)權(quán)利要求18的方法，其中所述不確定性信息通過(guò)依據(jù)所述不確定性而改變關(guān)于位置和/或方位的分 別的自由度的至少之一的一相應(yīng)權(quán)重，以影響所述匹配過(guò)程。
20.依據(jù)權(quán)利要求18或19的方法，其中所述不確定性信息影響作為將被匹配的匹配候選者的參考特征的選擇。
21.依據(jù)權(quán)利要求20的方法，進(jìn)一步提供作為匹配候選者的參考特征的選擇為根據(jù)被影響的一權(quán)重，其中一較高的不確定性減少所述權(quán)重并且一較低的不確定性增加所述權(quán)重。
22.依據(jù)權(quán)利要求17至21之一的方法，其中所述不確定性信息根據(jù)用以提供所述拾取裝置的位置、方位和/或高度的一傳感器類型被決定。
23.依據(jù)權(quán)利要求1至22之一的方法，進(jìn)一步包含使用一匹配結(jié)果的步驟，其使用所述匹配結(jié)果在所述當(dāng)前圖像中一對(duì)象的檢測(cè)、分類或局部化，或在所述廣域坐標(biāo)系統(tǒng)中的所述拾取裝置的局部化，或在所述拾取裝置的初始位姿評(píng)估，或在所述拾取裝置的初始化位姿跟蹤。
24.依據(jù)權(quán)利要求1至23之一的方法，其中所述方法用于一增強(qiáng)現(xiàn)實(shí)應(yīng)用中。
25.一種計(jì)算機(jī)程序產(chǎn)品，其適用于被載入一數(shù)字計(jì)算機(jī)的內(nèi)部存儲(chǔ)器并且包括軟件代碼段，當(dāng)所述產(chǎn)品在所述計(jì)算機(jī)上運(yùn)行時(shí)利用所述軟件代碼段，依據(jù)權(quán)利要求1至24的任一項(xiàng)的方法被執(zhí)行。
【文檔編號(hào)】G06K9/46GK103959308SQ201180073205
【公開(kāi)日】2014年7月30日 申請(qǐng)日期:2011年8月31日 優(yōu)先權(quán)日:2011年8月31日
【發(fā)明者】D·庫(kù)爾茨, 彼得·梅爾 申請(qǐng)人:Metaio有限公司