一種基于混合攝像機的室內(nèi)場景定位方法
【專利摘要】本發(fā)明公開了一種基于混合攝像機的室內(nèi)場景定位方法，包括：(1)混合相機拍攝室內(nèi)場景的深度圖和彩色圖；(2)追蹤相機位置；(3)利用標準貪婪森林算法對拍攝的室內(nèi)場景的深度圖和彩色圖進行訓(xùn)練，構(gòu)建回歸森林；(4)進行室內(nèi)場景定位時，只需利用混合攝像機拍攝的當前幀的深度圖和彩色圖以及訓(xùn)練好的回歸森林便可計算出當前攝像機對應(yīng)的世界坐標，完成定位。本發(fā)明采用混合攝像機拍攝，采用回歸森林算法來訓(xùn)練一個已知場景中的每個像素點，不需要使用稀疏特征點或者稠密特征點來進行場景定位；節(jié)省了特征點檢測、描述、匹配的時間，使攝像機定位與狀態(tài)無關(guān)；進而不必承受攝像機追蹤的累積誤差，有效提高場景定位的精度和效率。
【專利說明】一種基于混合攝像機的室內(nèi)場景定位方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于室內(nèi)場景定位【技術(shù)領(lǐng)域】，具體涉及一種基于混合攝像機的室內(nèi)場景定 位方法。

【背景技術(shù)】
[0002] 隨著數(shù)字圖像數(shù)據(jù)的快速增長，讓計算機自動理解圖像成為越來越迫切的需求， 作為圖像理解的重要研宄內(nèi)容，場景定位得到了廣泛關(guān)注，是當前計算機視覺領(lǐng)域的研宄 熱點。目前主流的場景定位方法大多是基于彩色圖像的。
[0003] 基于彩色圖像的場景定位方法大體可以分為兩類：第一類是基于稀疏特征點匹配 的場景定位方法。該類算法采用的策略是在相機正常追蹤時，從場景圖像中提取一定數(shù)量 的關(guān)鍵點，對這些關(guān)鍵點進行特征描述，然后將這些關(guān)鍵點的特征算子連同它們對應(yīng)的三 維坐標存儲到特征點數(shù)據(jù)庫中。當需要進行場景定位時，就從相機捕獲的當前圖像中提取 特征點，和已有特征點數(shù)據(jù)庫中的數(shù)據(jù)進行比較匹配，通過匹配上的那些特征點的三維信 息計算出當前的相機姿態(tài)，完成場景定位。該類算法的優(yōu)點在于只要能夠匹配上足夠數(shù)目 的特征點，就可利用三點法計算出相機的姿態(tài)。由于該類方法對場景進行的是稀疏表達，加 上有些場景的紋理信息過于單一以及相機移動過程中存在運動模糊等問題，進行場景定位 卻無法匹配上足夠數(shù)量特征點的情況時有發(fā)生，嚴重影響了場景定位的精度。而且特征點 的檢測、描述、匹配等算法都要消耗大量的運算資源，為了不影響場景定位的速度，此類算 法大部分都限制了特征點數(shù)據(jù)庫的規(guī)模，進而影響了場景定位的范圍。
[0004] 另一類是基于全局圖像匹配的場景定位方法。和基于稀疏特征點匹配的場景定位 算法不同，此類算法無需顯式地進行特征點檢測，而是使用整幅圖像信息進行匹配比較。具 體的做法是在在相機正常追蹤時將一部分圖像確定為關(guān)鍵幀，對這些關(guān)鍵幀進行編碼并將 每個關(guān)鍵幀對應(yīng)的相機姿態(tài)一同存儲到關(guān)鍵幀數(shù)據(jù)庫中。當需要進行場景定位時，就對相 機捕獲的當前幀進行編碼并和關(guān)鍵幀數(shù)據(jù)庫中的數(shù)據(jù)進行比較，對匹配上的最相近的幾個 關(guān)鍵幀對應(yīng)的相機姿態(tài)進行加權(quán)處理，就可還原出當前的相機姿態(tài)。該類算法的優(yōu)點在于 省去了特征點檢測、描述、匹配的步驟，節(jié)約了大量的運算資源。不足之處在于每個關(guān)鍵幀 在編碼時通常都會采用下采樣和亮度信息歸一化等操作，隨著關(guān)鍵幀數(shù)量的增加，關(guān)鍵幀 之間的相似計算會變得越來越困難。而且對基于全局圖像匹配的這類場景識別算法而言， 識別結(jié)果只能依賴于數(shù)據(jù)庫中存儲的有限個相機姿態(tài)，嚴重制約了該類方法的可擴展性。


【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)所存在的上述技術(shù)問題，本發(fā)明提供了一種基于混合攝像機的室內(nèi) 場景定位方法，節(jié)省了特征點檢測、描述、匹配的時間，使攝像機定位與狀態(tài)無關(guān)，有效提高 場景定位的精度和效率。
[0006] 一種基于混合攝像機的室內(nèi)場景定位方法，包括如下步驟：
[0007] (1)利用RGB-D(紅綠藍三原色加距離深度）混合攝像機拍攝室內(nèi)場景，獲得一路 RGB圖像序列和一路深度圖像序列；
[0008] (2)提取深度圖像序列每一幀圖像中每個像素點的深度信息，實時產(chǎn)生室內(nèi)場景 的三維點云圖并實時計算出混合攝像機參數(shù)；
[0009] (3)提取RGB圖像序列每一幀圖像中每個像素點的RGB信息并結(jié)合對應(yīng)的深度信 息，計算出每個像素點的特征值；進而根據(jù)實時的混合攝像機參數(shù)計算出RGB圖像序列每 一幀圖像中每個像素點的世界坐標；
[0010] ⑷根據(jù)各像素點的特征值和世界坐標，利用標準貪婪森林訓(xùn)練算法構(gòu)建隨機回 歸森林模型；
[0011] (5)針對當前利用RGB-D混合攝像機在室內(nèi)拍攝得到一幀包含RGB和深度信息的 場景圖像，并計算出該場景圖像中每個像素點的特征值輸入至所述的隨機回歸森林模型中 得到對應(yīng)的世界坐標；
[0012] (6)對場景圖像中的像素點進行分組，利用每組像素點的世界坐標以及攝像機坐 標計算出一個當前攝像機的世界坐標；遍歷各組得到多個當前攝像機的世界坐標，并從中 選出最優(yōu)的一個作為當前視點的位置信息。
[0013] 所述的步驟（2)中根據(jù)以下算式實時計算混合攝像機參數(shù)：
[0014]

【權(quán)利要求】
1. 一種基于混合攝像機的室內(nèi)場景定位方法，包括如下步驟： (1) 利用RGB-D混合攝像機拍攝室內(nèi)場景，獲得一路RGB圖像序列和一路深度圖像序 列； (2) 提取深度圖像序列每一幀圖像中每個像素點的深度信息，實時產(chǎn)生室內(nèi)場景的三 維點云圖并實時計算出混合攝像機參數(shù)； (3) 提取RGB圖像序列每一幀圖像中每個像素點的RGB信息并結(jié)合對應(yīng)的深度信息，計 算出每個像素點的特征值；進而根據(jù)實時的混合攝像機參數(shù)計算出RGB圖像序列每一幀圖 像中每個像素點的世界坐標； (4) 根據(jù)各像素點的特征值和世界坐標，利用標準貪婪森林訓(xùn)練算法構(gòu)建隨機回歸森 林模型； (5) 針對當前利用RGB-D混合攝像機在室內(nèi)拍攝得到一幀包含RGB和深度信息的場景 圖像，計算出該場景圖像中每個像素點的特征值輸入至所述的隨機回歸森林模型中得到對 應(yīng)的世界坐標； (6) 對場景圖像中的像素點進行分組，利用每組像素點的世界坐標以及攝像機坐標計 算出一個當前攝像機的世界坐標；遍歷各組得到多個當前攝像機的世界坐標，并從中選出 最優(yōu)的一個作為當前視點的位置信息。
2. 根據(jù)權(quán)利要求1所述的室內(nèi)場景定位方法，其特征在于：所述的步驟（2)中根據(jù)以 下算式實時計算混合攝像機參數(shù)：
其中：Μ_為當前的混合攝像機參數(shù)，M為混合攝像機姿態(tài)的變換矩陣且M= [R|t]，其 由混合攝像機的旋轉(zhuǎn)矩陣R和平移向量t組成；士和d i分別為前一幀三維點云圖和當前幀 三維點云圖中第i個點的坐標，Iii為坐標Cli處的切平面法向量，ω 當前幀三維點云圖中 第i個點所對應(yīng)的權(quán)重系數(shù)，T為深度圖像的像素總數(shù)。
3. 根據(jù)權(quán)利要求1所述的室內(nèi)場景定位方法，其特征在于：所述的步驟（3)中根據(jù)以 下算式計算每個像素點的特征值：
其中：f (P)為任一幀RGB圖像中第P個像素點的特征值，I I為向上取整函數(shù)，D (P)為 任一幀RGB圖像中第p個像素點對應(yīng)的深度值，δ種δ 2均為二維偏移量，c種c 2均表示 RGB任一分量，/(/：
C1)表不任一幀RGB圖像中第
個像素點在C1分量 上的顏色值，.
表不任一幀RGB圖像中第，-
H象素點在C2分量 上的顏色值。
4. 根據(jù)權(quán)利要求1所述的室內(nèi)場景定位方法，其特征在于：所述的步驟⑷中，以特征 值作為自變量，世界坐標作為因變量，利用標準貪婪森林訓(xùn)練算法構(gòu)建隨機回歸森林模型。
5. 根據(jù)權(quán)利要求1所述的室內(nèi)場景定位方法，其特征在于：所述的步驟￠)中像素點 的攝像機坐標即利用混合攝像機的內(nèi)參數(shù)結(jié)合像素點的深度值計算求得。
6. 根據(jù)權(quán)利要求1所述的室內(nèi)場景定位方法，其特征在于：所述的步驟￠)中，利用每 組像素點的世界坐標以及攝像機坐標通過奇異值分解算法計算出一個當前攝像機的世界 坐標。
7. 根據(jù)權(quán)利要求1所述的室內(nèi)場景定位方法，其特征在于：所述的步驟（6)中，遍歷得 到多個當前攝像機的世界坐標后，利用RANSAC算法從中選出最優(yōu)的一個作為當前視點的 位置信息。
【文檔編號】G06T7/00GK104517289SQ201410766903
【公開日】2015年4月15日 申請日期:2014年12月12日 優(yōu)先權(quán)日:2014年12月12日
【發(fā)明者】李陽, 王梁昊, 李東曉, 張明 申請人:浙江大學(xué)