第一個(gè)子集至第M個(gè)子集中各場(chǎng)景點(diǎn)與所述 待查詢圖像的局部特征的匹配關(guān)系，并確定查找的匹配關(guān)系不滿足結(jié)束條件，則查看第一 個(gè)子集至第M個(gè)子集中所有場(chǎng)景點(diǎn)的數(shù)量大于預(yù)設(shè)閾值，則結(jié)束。
[0062] 也就是說(shuō)，在已經(jīng)查找M個(gè)子集之后的匹配關(guān)系仍不滿足所述結(jié)束條件時(shí)，確定M 個(gè)子集中所有場(chǎng)景點(diǎn)的數(shù)量是否大于預(yù)設(shè)閾值，若大于，則結(jié)束，否則，重復(fù)上述步驟l〇3b 的流程。M為大于1的自然數(shù)。
[0063] 104、根據(jù)查找到的所述匹配關(guān)系估計(jì)待查詢圖像所屬相機(jī)的位置和方向。也就是 說(shuō)，根據(jù)查找到的匹配關(guān)系估計(jì)拍攝待查詢圖像相機(jī)的位置和方向。
[0064] 舉例來(lái)說(shuō)，可使用已有的位置估計(jì)算法（Perspective-n-Point，簡(jiǎn)稱PnP)進(jìn)行估 計(jì)。
[0065] 例如，攝像機(jī)成像過(guò)程可以簡(jiǎn)化為針孔成像模型X = PX = K[R, _C]X，其中，X為一 個(gè)在三維空間中的場(chǎng)景點(diǎn)的坐標(biāo)，X為該場(chǎng)景點(diǎn)在攝像機(jī)拍攝的圖像中的二維坐標(biāo)，P為投 影矩陣，K為攝像機(jī)內(nèi)部參數(shù)矩陣，R為攝像機(jī)旋轉(zhuǎn)矩陣，C為攝像機(jī)位置。
[0066] 根據(jù)上一步驟場(chǎng)景點(diǎn)和待查詢圖像局部特征描述子之間的匹配關(guān)系，可以將相應(yīng) 的X和X代入針孔成像模型線性求解投影矩陣P，并將投影矩陣P進(jìn)一步分解獲得攝像機(jī)位 置C。
[0067] 應(yīng)說(shuō)明的是，投影矩陣P具有12個(gè)自由度，而1對(duì)空間位置圖像位置對(duì)應(yīng)關(guān)系（X， X)僅能提供2個(gè)自由度，故，上述獲取攝像機(jī)位置C至少需要6對(duì)場(chǎng)景點(diǎn)和查詢圖像局部特 征描述子之間的匹配關(guān)系。
[0068] 可理解的是，在實(shí)際處理中還需要考慮噪聲的影響，已知的場(chǎng)景點(diǎn)和待查詢圖像 局部特征描述子之間的對(duì)應(yīng)關(guān)系中可能存在錯(cuò)誤的匹配關(guān)系。因此在實(shí)際應(yīng)用中還可應(yīng)用 RANSAC算法來(lái)去除查找到的匹配關(guān)系中的誤匹配關(guān)系，在正確的匹配關(guān)系中進(jìn)行位置估 計(jì)。
[0069] 本實(shí)施例中的視覺(jué)定位方法，將預(yù)先建立好的場(chǎng)景點(diǎn)云劃分為若干個(gè)不相交的子 集；獲取查詢圖像的局部特征描述子；確定各個(gè)子集的優(yōu)先級(jí)順序；按照優(yōu)先級(jí)順序?qū)ふ?查詢圖像的局部特征描述子和各個(gè)子集中的點(diǎn)的匹配關(guān)系，直至滿足結(jié)束條件；根據(jù)尋找 到的匹配關(guān)系估計(jì)查詢圖像的相機(jī)的位置和方向。上述定位方法提高了視覺(jué)定位的效率。
[0070] 為更好理解上述實(shí)施例，上述步驟101可具體說(shuō)明如下：
[0071] 場(chǎng)景點(diǎn)云的形式化表不如下：場(chǎng)景點(diǎn)云里面包含M個(gè)場(chǎng)景點(diǎn)；場(chǎng)景點(diǎn)i (I < i < M) 在三維空間的坐標(biāo)為Xi;場(chǎng)景點(diǎn)i對(duì)應(yīng)著n i個(gè)局部特征描述子，這些局部特征描述子分別 表示為(Iij (0彡j彡Iii)。
[0072] 若需要將場(chǎng)景點(diǎn)云劃分為K個(gè)不相交的子集Ci(l彡i彡K)，滿足C1IIC 1=G (i 乒 j，1 彡 i，j 彡 K)，C1 U C 2 U …U C κ= {1，2,…，Μ} ο
[0073] 為了更清楚的說(shuō)明場(chǎng)景點(diǎn)云的劃分算法，對(duì)具體實(shí)現(xiàn)中使用的K-Means聚類算法 進(jìn)行下述說(shuō)明：
[0074] 輸入：(Xi I 1彡i彡Μ}，t，k。其中，Xi表示場(chǎng)景點(diǎn)i的三維坐標(biāo)，t表示最終劃分 出來(lái)的每個(gè)子集的基數(shù)的上界，k表示在劃分過(guò)程中調(diào)用K-Means聚類算法時(shí)聚類個(gè)數(shù)的 上界。
[0075] 輸出：K，C1, C2，…，CK。K為劃分出的子集的個(gè)數(shù)，C1, C2，…，Ck即為劃分出的K個(gè) 不相交的子集。
[0076] 偽代碼（符號(hào)//后面的內(nèi)容表示注釋）：
[0077]
【主權(quán)項(xiàng)】
1. 一種基于場(chǎng)景三維點(diǎn)云的視覺(jué)定位方法，其特征在于，包括： 將預(yù)先建立的場(chǎng)景點(diǎn)云劃分為多個(gè)不相交的子集； 根據(jù)待查詢圖像的全局特征描述子、每個(gè)子集的全局特征描述子，將所有子集進(jìn)行優(yōu) 先級(jí)排序，獲得優(yōu)先級(jí)排序后的子集隊(duì)列； 選擇所述子集隊(duì)列中的第一個(gè)子集，查找該第一個(gè)子集中的各場(chǎng)景點(diǎn)與所述待查詢圖 像的局部特征描述子的匹配關(guān)系，并確定查找到的匹配關(guān)系是否滿足預(yù)設(shè)的結(jié)束條件，如 果滿足，則結(jié)束； 否則，選擇所述子集隊(duì)列中的第二個(gè)子集，查找所述第一個(gè)子集和第二個(gè)子集中各場(chǎng) 景點(diǎn)與所述待查詢圖像的局部特征描述子的匹配關(guān)系，并確定查找到的匹配關(guān)系是否滿足 結(jié)束條件，如果滿足，則結(jié)束； 否則，重復(fù)選擇所述子集隊(duì)列中的第N個(gè)子集，并查找從第一個(gè)子集至第N個(gè)子集中各 場(chǎng)景點(diǎn)與所述待查詢圖像的局部特征描述子的匹配關(guān)系，直至所述匹配關(guān)系滿足預(yù)設(shè)結(jié)束 條件，N為大于2的自然數(shù)； 根據(jù)查找到的所述匹配關(guān)系估計(jì)拍攝待查詢圖像相機(jī)的位置和方向。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)查找到的所述匹配關(guān)系估計(jì)待 查詢圖像所屬相機(jī)的位置和方向之前，所述方法還包括： 在已經(jīng)查找M個(gè)子集之后的匹配關(guān)系仍不滿足所述結(jié)束條件時(shí)，確定M個(gè)子集中所有 場(chǎng)景點(diǎn)的數(shù)量是否大于預(yù)設(shè)閾值，若大于，則結(jié)束，M為大于1的自然數(shù)。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)待查詢圖像的全局特征描述子、每 個(gè)子集的全局特征描述子，將所有子集進(jìn)行優(yōu)先級(jí)排序，獲得優(yōu)先級(jí)排序后的子集隊(duì)列，包 括： 獲取所述待查詢圖像的全局特征描述子，以及獲取每個(gè)子集的全局特征描述子； 確定每個(gè)子集的全局特征描述子與所述待查詢圖像的全局特征描述子的度量距離； 根據(jù)度量距離的大小，將所有子集進(jìn)行排序，獲得所述子集隊(duì)列，排在所述子集隊(duì)列中 第一位的子集優(yōu)先級(jí)最高，對(duì)應(yīng)的度量距離最小。
4. 根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述將預(yù)先建立的場(chǎng)景點(diǎn)云劃分 為多個(gè)不相交的子集，包括： 采用劃分算法將所述場(chǎng)景點(diǎn)云劃分為多個(gè)不相交的子集。
5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，獲取每個(gè)子集的全局特征描述子，包括： 獲取一子集中所有場(chǎng)景點(diǎn)的局部特征描述子； 根據(jù)所有場(chǎng)景點(diǎn)的局部特征描述子生成所有場(chǎng)景點(diǎn)所屬子集的全局特征描述子； 或者， 獲取一子集中所有場(chǎng)景點(diǎn)的局部特征描述子； 獲取每一場(chǎng)景點(diǎn)對(duì)應(yīng)的所有局部特征描述子的平均值； 根據(jù)所有場(chǎng)景點(diǎn)的局部特征描述子的平均值生成所有場(chǎng)景點(diǎn)所屬子集的全局特征描 述子。
6. -種基于場(chǎng)景三維點(diǎn)云的視覺(jué)定位裝置，其特征在于，包括： 子集劃分單元，用于將預(yù)先建立的場(chǎng)景點(diǎn)云劃分為多個(gè)不相交的子集； 子集隊(duì)列獲取單元，用于根據(jù)待查詢圖像的全局特征描述子、每個(gè)子集的全局特征描 述子，將所有子集進(jìn)行優(yōu)先級(jí)排序，獲得優(yōu)先級(jí)排序后的子集隊(duì)列； 匹配關(guān)系查找單元，用于選擇所述子集隊(duì)列中的第一個(gè)子集，查找該第一個(gè)子集中的 各場(chǎng)景點(diǎn)與所述待查詢圖像的局部特征描述子的匹配關(guān)系，并確定查找到的匹配關(guān)系是否 滿足結(jié)束條件，如果滿足，則結(jié)束；否則，選擇所述子集隊(duì)列中的第二個(gè)子集，查找所述第一 個(gè)子集和第二個(gè)子集中各場(chǎng)景點(diǎn)與所述待查詢圖像的局部特征描述子的匹配關(guān)系，并確定 查找到的匹配關(guān)系是否滿足結(jié)束條件，如果滿足，則結(jié)束；否則，重復(fù)選擇所述子集隊(duì)列中 的第N個(gè)子集，并查找從第一個(gè)子集至第N個(gè)子集中各場(chǎng)景點(diǎn)與所述待查詢圖像的局部特 征描述子的匹配關(guān)系，直至所述匹配關(guān)系滿足預(yù)設(shè)結(jié)束條件，N為大于2的自然數(shù)； 估計(jì)單元，用于根據(jù)查找到的所述匹配關(guān)系估計(jì)拍攝待查詢圖像相機(jī)的位置和方向。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述匹配關(guān)系查找單元，還用于 在已經(jīng)查找M個(gè)子集之后的匹配關(guān)系仍不滿足所述結(jié)束條件時(shí)，確定M個(gè)子集中所有 場(chǎng)景點(diǎn)的數(shù)量是否大于預(yù)設(shè)閾值，若大于，則結(jié)束，將在M個(gè)子集中查找到的匹配關(guān)系作為 最后的匹配關(guān)系，M為大于1的自然數(shù)。
8. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述子集隊(duì)列獲取單元，具體用于 獲取所述待查詢圖像的全局特征描述，以及獲取每個(gè)子集的全局特征描述子； 確定每個(gè)子集的全局特征描述子與所述待查詢圖像的全局特征描述子的度量距離； 根據(jù)度量距離的大小，將所有子集進(jìn)行排序，獲得所述子集隊(duì)列，排在所述子集隊(duì)列中 第一位的子集優(yōu)先級(jí)最高，對(duì)應(yīng)的度量距離最小。
9. 根據(jù)權(quán)利要求6至8任一所述的裝置，其特征在于，所述子集劃分單元，具體用于 采用劃分算法將所述場(chǎng)景點(diǎn)云劃分為多個(gè)不相交的子集。
10. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述子集隊(duì)列獲取單元，還用于 獲取一子集中所有場(chǎng)景點(diǎn)的局部特征描述子； 根據(jù)所有場(chǎng)景點(diǎn)的局部特征描述子生成所有場(chǎng)景點(diǎn)所屬子集的全局特征描述子； 或者， 獲取一子集中所有場(chǎng)景點(diǎn)的局部特征描述子； 獲取每一場(chǎng)景點(diǎn)對(duì)應(yīng)的所有局部特征描述子的平均值 根據(jù)所有場(chǎng)景點(diǎn)的局部特征描述子的平均值生成所有場(chǎng)景點(diǎn)所屬子集的全局特征描 述子。
【專利摘要】本發(fā)明公開(kāi)了一種基于場(chǎng)景三維點(diǎn)云的視覺(jué)定位方法及裝置，方法包括：將場(chǎng)景點(diǎn)云劃分為多個(gè)不相交的子集；根據(jù)待查詢圖像的全局特征描述子、每個(gè)子集的全局特征描述子，將所有子集進(jìn)行優(yōu)先級(jí)排序，獲得子集隊(duì)列；選擇子集隊(duì)列中的第一個(gè)子集，查找第一個(gè)子集中的各場(chǎng)景點(diǎn)與待查詢圖像的局部特征的匹配關(guān)系，并確定查找到的匹配關(guān)系是否滿足結(jié)束條件，如果滿足，則結(jié)束；否則選擇子集隊(duì)列中的第二個(gè)子集，查找第一個(gè)子集和第二個(gè)子集中各場(chǎng)景點(diǎn)與待查詢圖像的局部特征的匹配關(guān)系，并確定查找到的匹配關(guān)系是否滿足結(jié)束條件，如果滿足，則結(jié)束；根據(jù)查找到的匹配關(guān)系估計(jì)拍攝待查詢圖像相機(jī)的位置和方向。上述方法能夠提高查找匹配關(guān)系的效率。
【IPC分類】G06T7-00
【公開(kāi)號(hào)】CN104700402
【申請(qǐng)?zhí)枴緾N201510065371
【發(fā)明人】段凌宇, 王瀟放, 陳杰, 黃鐵軍, 高文
【申請(qǐng)人】北京大學(xué)
【公開(kāi)日】2015年6月10日
【申請(qǐng)日】2015年2月6日