一種融合傳感器信息的室外場景識別方法
【專利摘要】本發(fā)明提供了一種融合傳感器信息的室外場景識別方法，利用該方法可以快速對室外場景進行識別，且識別正確率高。具體過程為：步驟1：移動終端采集當前場景的待識別圖像，獲取移動終端采集圖像時的重力信息；步驟2：將待識別圖像和重力信息打包成一個壓縮文件并發(fā)送給服務(wù)器；步驟3：服務(wù)器根據(jù)壓縮文件中的重力信息計算待識別圖像的重力方向θg；步驟4：檢測待識別圖像中的直線；步驟5：剔除水平和豎直兩類直線中的錯誤直線；步驟6：計算水平消隱點和豎直消隱點；步驟7：對待識別圖像進行透視失真校正；步驟8：進行圖像匹配，尋找最相近的樣本圖像，并將該樣本圖像對應(yīng)的場景信息返回給移動終端，實現(xiàn)場景識別。
【專利說明】一種融合傳感器信息的室外場景識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于移動增強現(xiàn)實【技術(shù)領(lǐng)域】，具體涉及一種融合傳感器信息的室外場景識別方法。
【背景技術(shù)】
[0002]增強現(xiàn)實(AR)也被稱為混合現(xiàn)實，是一種將虛擬物體呈現(xiàn)在真實世界的技術(shù)，包括基于位置和圖像識別兩大類，通過圖像識別實現(xiàn)信息的疊加和位置定位推送相關(guān)信息。圖像識別是基于內(nèi)容的信息檢索研究的熱門話題，在遙感圖像處理、醫(yī)學(xué)圖像處理和計算機視覺等領(lǐng)域有著廣泛的應(yīng)用。
[0003]隨著移動終端設(shè)備(像PDA、智能手機等)的功能也越來越豐富，并且擁有了嵌入式操作系統(tǒng)、加速度傳感器、陀螺儀、GPS定位、視頻攝像頭等功能，同時也具備了較強的計算和處理能力。這些功能的集成為移動增強現(xiàn)實技術(shù)發(fā)展奠定了基礎(chǔ)。LBS (基于位置的服務(wù))在移動增強現(xiàn)實領(lǐng)域等許多領(lǐng)域均有應(yīng)用，能否準確地獲得用戶的地理位置信息對LBS至關(guān)重要。目前，獲得地理位置信息的方法主要有GPS衛(wèi)星定位、Wifi定位、視覺識別等，但GPS衛(wèi)星定位技術(shù)尚無法實現(xiàn)全天候、高精度的定位功能，Wifi定位受制于Wifi熱點的分布，無法實現(xiàn)廣泛覆蓋，而視覺識別技術(shù)則沒有這些限制因素，因此只有將GPS定位、Wifi定位等傳統(tǒng)方法與新興的視覺識別技術(shù)結(jié)合起來才能實現(xiàn)全天候精確定位。近幾年，針對戶外建筑物的視覺識別技術(shù)越來越受到學(xué)術(shù)界的重視，國內(nèi)外許多大學(xué)與公司都在對戶外建筑物識別技術(shù)進行深入研究。
[0004]谷歌于2009年提出地標(landmark)識別技術(shù)，在互聯(lián)網(wǎng)上收集大量帶有GPS信息的著名建筑物的照片，當用戶的檢索圖像被發(fā)送至服務(wù)器后，系統(tǒng)使用LoG檢測特征點與SIFT特征描述符，進行主成分分析(PCA)以提高檢索速度，能在很短時間內(nèi)檢索出與用戶提交的照片最相符的建筑物目標。
[0005]室外圖像往往含有大量前景干擾物，這些干擾物形態(tài)各異，如人、車、樹木、架空電線、馬路護欄、過街天橋、電線桿等，都會對直線檢測造成不同程度的影響。例如，樹木若在圖像中占據(jù)較大面積，就會在邊緣二值圖像(Edge Map)中形成大面積的邊緣點，嚴重影響直線檢測的結(jié)果；又如架空電線是很明顯的直線邊緣，對現(xiàn)有的任何一種直線檢測方法而言，都無法避免檢測到如此明顯的直線狀干擾物。另外由于檢索圖片是由用戶使用手機拍攝的，待校正的目標建筑物在圖像中可能只占據(jù)很小的面積，而且圖像由手機上傳至服務(wù)器前，要被客戶端程序進行數(shù)據(jù)壓縮，因此分辨率、顏色對比度等方面條件均較差，這些因素都加劇了校正的難度。而現(xiàn)有的許多利用消隱點進行透視失真校正的方法大都針對文檔等人工圖像，這類圖像成分單一，畫面較清晰，少有前景干擾，因此很容易得到消隱點的坐標，但由于室外圖像場景復(fù)雜、干擾物較多的情況，顯然不能簡單地利用已有方法直接進行處理。

【發(fā)明內(nèi)容】
[0006]有鑒于此，本發(fā)明提供了一種融合傳感器信息的室外場景識別方法，利用該方法可以快速對室外場景進行識別，且識別正確率高。
[0007]實現(xiàn)本發(fā)明的技術(shù)方案如下:
[0008]一種融合傳感器信息的室外場景識別方法，適用于該方法的樣本圖像庫中的每一樣本圖像皆為場景的正面圖像；該方法具體過程為:
[0009]步驟1:移動終端采集當前場景的待識別圖像，再調(diào)用移動終端重力傳感器接口，獲取移動終端采集圖像時的重力信息；
[0010]步驟2:將待識別圖像和重力信息打包成一個壓縮文件并發(fā)送給服務(wù)器；
[0011]步驟3:服務(wù)器根據(jù)壓縮文件中的重力信息計算待識別圖像的重力方向Θ g ；
[0012]步驟4:利用Canny邊緣檢測算法對待識別圖像進行邊緣二值化處理，得到邊緣二值圖像，再利用Hough變換的方法檢測邊緣二值圖像中的直線；
[0013]步驟5:通過K-means聚類將直線分為水平與豎直兩類，并根據(jù)所述重力方向Θ g剔除水平和豎直兩類直線中的錯誤直線；
[0014]步驟6:根據(jù)剔除后得到的水平類直線計算水平消隱點，根據(jù)剔除后得到的豎直類直線計算豎直消隱點；
[0015]步驟7:利用水平消隱點計算水平方向的單應(yīng)矩陣，利用垂直消隱點計算垂直方向的單應(yīng)矩陣，基于兩單應(yīng)矩陣對待識別圖像進行透視失真校正；
[0016]步驟8:利用校正后的圖像與樣本圖像庫中的樣本圖像進行匹配，尋找最相近的樣本圖像，并將該樣本圖像對應(yīng)的場景信息返回給移動終端，實現(xiàn)場景識別。
[0017]進一步地，本發(fā)明步驟2在打包成一個壓縮文件前，對所述待識別圖像進行降采樣處理。
[0018]進一步地，本發(fā)明利用Hough變換的方法檢測邊緣二值圖像中的直線為:利用Hough變換的方法分別檢測邊緣二值圖像中重力方向附近的直線和與重力方向相垂直的方向附近的直線。
[0019]進一步地，本發(fā)明步驟5中剔除錯誤直線的方法為:在豎直類直線中，剔除角度在[θ g_ θ error, θ g+ 0 error]之外的直線，再利用RANSAC剔除錯誤直線。
[0020]進一步地，本發(fā)明在執(zhí)行步驟8之前，對校正后的圖像進行如下處理:遍歷校正后圖像上的每一像素點，利用兩單應(yīng)矩陣的逆矩陣需找其在待識別圖像中對應(yīng)的灰度值，并將尋找到的灰度值拷貝至校正后圖像相應(yīng)的像素點上。
[0021]進一步地，本發(fā)明所述樣本圖像庫中的每一樣本圖像還包括GPS信息，所述GPS信息為樣本圖像上顯示的場景的GPS信息；步驟I在采集待識別圖像時，獲取當前場景的GPS信息，并在步驟2中將所述GPS信息一起發(fā)送給服務(wù)器；在步驟8進行樣本圖像匹配時，在樣本圖像庫中尋找與待識別圖像對應(yīng)的GPS信息最近的GPS信息對應(yīng)的樣本圖像，并將尋找到的圖像定義為查詢圖像，然后將查詢圖像與待識別圖像進行匹配。
[0022]進一步地，本發(fā)明所述樣本圖像庫的生成方法為:
[0023]SOl，獲取帶GPS信息的各場景正面樣本圖像；
[0024]S02，提取每幅正面樣本圖像的局部特征，并將局部特征轉(zhuǎn)換為描述符特征向量；
[0025]S03，利用所述描述符特征向量訓(xùn)練分層的單詞樹，再將描述符特征向量經(jīng)過單詞樹量化成統(tǒng)計向量，再將所述統(tǒng)計向量存儲到倒排文件系統(tǒng)中。[0026]有益效果:
[0027]第一，本發(fā)明使用智能設(shè)備的攝像頭對當前場景進行圖像采集，并利用傳感器信息對圖像校正，還原正面圖像，最后用計算機視覺技術(shù)(即圖像匹配)，對被采集室外場景進行識別，提供被識別場景的各種信息，從而在移動終端上實現(xiàn)了在線場景識別。
[0028]第二，本發(fā)明先將待識別圖像進行透視失真校正，即借助移動終端的重力感應(yīng)功能，檢測待識別圖像中場景(即建筑物)的消隱點，在根據(jù)消隱點的坐標對檢索圖片進行透視失真校正，恢復(fù)建筑物的仿射結(jié)構(gòu)，使其與樣本圖像更加接近，提高識別正確率；同時本發(fā)明針對戶外復(fù)雜環(huán)境的干擾情況，剔除檢測到的錯誤的直線，使算法的魯棒性極大增強。
[0029]第三，本發(fā)明在獲取當前場景的待識別圖像時進一步獲取GPS信息，根據(jù)GPS信息，縮小查詢圖像的匹配范圍，只與位置較近的樣本圖像進行匹配，減少識別時間。
[0030]第四，本發(fā)明可以擴展智能終端的交互式應(yīng)用，滿足了旅游、導(dǎo)航、交通、酒店服務(wù)等在智能終端上的擴展應(yīng)用，使網(wǎng)絡(luò)運營商和內(nèi)容提供商能夠利用其豐富的服務(wù)器資源和優(yōu)越的服務(wù)器性能發(fā)展其業(yè)務(wù)。
【專利附圖】

【附圖說明】
[0031]圖1融合傳感器信息的室外海量物體識別原理圖。
[0032]圖2錯誤直線剔除圖。
[0033]圖3室外場景圖像校正圖。
[0034]圖4為本發(fā)明融合傳感器信息的室外場景訓(xùn)練樣本倒排文件結(jié)構(gòu)圖。
【具體實施方式】
[0035]下面將結(jié)合附圖對本發(fā)明進行詳細說明。
[0036]如圖1所示，本發(fā)明融合傳感器信息的室外場景識別方法，適用于該方法的樣本圖像庫中的每一樣本圖像皆為場景的正面圖像；該方法具體過程為:
[0037]步驟1:用戶打開移動終端的拍攝設(shè)備，采集當前場景的待識別圖像，再調(diào)用移動終端的GPS傳感器接口和重力傳感器接口，獲取當前場景的GPS信息和移動終端采集圖像時的重力信息。
[0038]步驟2:待識別圖像和重力信息打包成一個壓縮文件并發(fā)送給服務(wù)器。
[0039]為了降低運算量，在打包成壓縮文件前，終端對采集到的待識別圖像進行降采樣處理，以降低圖像分辨率，并將降采用處理后的圖像壓縮為JPEG格式；同時本步驟中可通過無線網(wǎng)絡(luò)的形式發(fā)送給遠端的圖像識別服務(wù)器。
[0040]步驟3:服務(wù)器接收壓縮文件，提取重力信息，并根據(jù)所述重力信息計算圖像的重力方向Θ g。
[0041]針對每一帶有重力感應(yīng)的移動終端，其對應(yīng)的重力方向計算方法都是確定的，下面以某一款手機為例對重力方向的獲取方法進行說明:
[0042]例如:圖像中點P = [U，V, 1]τ處的重力方向向量為d = p' -p
[0043]其中d = [du, dv, 0]τ為點ρ處的重力方向，P'由下式計算得出:
[0044]ρ' = [wu'，wv' , w]T = p+Kg
[0045]其中g(shù) = [gx, gy, gz]T即為手機中重力加速度感應(yīng)器獲得的三個坐標軸方向的加速度矢量即重力信息，K為手機上相機的內(nèi)參矩陣。
[0046]由d可計算出圖像中重力方向的角度為
[0047]Θ g = arctan (dv/du)
[0048]步驟4:服務(wù)器提取待識別圖像，利用Canny邊緣檢測算法對待識別圖像進行邊緣二值化處理，得到邊緣二值圖像，再使用Hough變換的方法檢測邊緣二值圖像中的直線。
[0049]Canny邊緣檢測算法是一種常用的邊緣檢測算法，考慮到原圖像的分辨率未知，本發(fā)明使用自適應(yīng)閾值的Canny邊緣檢測算法，該方法會根據(jù)圖像分辨率大小自動設(shè)置門限值，輸出邊緣二值圖像(Edge Map)。
[0050]在Hough變換方法中，用極坐標(P，Θ )描述邊緣二值圖像中的直線；
【權(quán)利要求】
1.一種融合傳感器信息的室外場景識別方法，適用于該方法的樣本圖像庫中的每一樣本圖像皆為場景的正面圖像；其特征在于，該方法具體過程為: 步驟1:移動終端采集當前場景的待識別圖像，再調(diào)用移動終端重力傳感器接口，獲取移動終端采集圖像時的重力信息； 步驟2:將待識別圖像和重力信息打包成一個壓縮文件并發(fā)送給服務(wù)器； 步驟3:服務(wù)器根據(jù)壓縮文件中的重力信息計算待識別圖像的重力方向Θ g ； 步驟4:利用Canny邊緣檢測算法對待識別圖像進行邊緣二值化處理，得到邊緣二值圖像，再利用Hough變換的方法檢測邊緣二值圖像中的直線； 步驟5:通過K-means聚類將直線分為水平與豎直兩類，并根據(jù)所述重力方向Θ g剔除水平和豎直兩類直線中的錯誤直線； 步驟6:根據(jù)剔除后得到的水平類直線計算水平消隱點，根據(jù)剔除后得到的豎直類直線計算豎直消隱點； 步驟7:利用水平消隱點計算水平方向的單應(yīng)矩陣，利用垂直消隱點計算垂直方向的單應(yīng)矩陣，基于兩單應(yīng)矩陣對待識別圖像進行透視失真校正； 步驟8:利用校正后的圖像與樣本圖像庫中的樣本圖像進行匹配，尋找最相近的樣本圖像，并將該樣本圖像對應(yīng)的場景信息返回給移動終端，實現(xiàn)場景識別。
2.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，所述步驟2在打包成一個壓縮文件前，對所述待識別圖像進行降采樣處理。
3.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，所述利用Hough變換的方法檢測邊緣二值圖像中的直線為:利用Hough變換的方法分別檢測邊緣二值圖像中重力方向附近的直線和與重力方向相垂直的方向附近的直線。
4.根據(jù)權(quán)利要求3所述融合傳感器信息的室外場景識別方法，其特征在于，所述步驟5中剔除錯誤直線的方法為:在豎直類直線中，剔除角度在的-4,.,.0 J之外的直線，再利用RANSAC剔除錯誤直線。
5.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，在執(zhí)行步驟8之前，對校正后的圖像進行如下處理:遍歷校正后圖像上的每一像素點，利用兩單應(yīng)矩陣的逆矩陣需找其在待識別圖像中對應(yīng)的灰度值，并將尋找到的灰度值拷貝至校正后圖像相應(yīng)的像素點上。
6.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，所述樣本圖像庫中的每一樣本圖像還包括GPS信息，所述GPS信息為樣本圖像上顯示的場景的GPS信息；步驟I在采集待識別圖像時，獲取當前場景的GPS信息，并在步驟2中將所述GPS信息一起發(fā)送給服務(wù)器；在步驟8進行樣本圖像匹配時，在樣本圖像庫中尋找與待識別圖像對應(yīng)的GPS信息最近的GPS信息對應(yīng)的樣本圖像，并將尋找到的圖像定義為查詢圖像，然后將查詢圖像與待識別圖像進行匹配。
7.根據(jù)權(quán)利要求1-6中的任一個所述融合傳感器信息的室外場景識別方法，其特征在于，所述樣本圖像庫的生成方法為: SOl，獲取帶GPS信息的各場景正面樣本圖像； S02，提取每幅正面樣本圖像的局部特征，并將局部特征轉(zhuǎn)換為描述符特征向量；S03，利用所述描述符特征向量訓(xùn)練分層的單詞樹，再將描述符特征向量經(jīng)過單詞樹量化成統(tǒng)計向量，再將所述`統(tǒng)計向量存儲到倒排文件系統(tǒng)中。
【文檔編號】G06T7/00GK103514446SQ201310483335
【公開日】2014年1月15日 申請日期:2013年10月16日 優(yōu)先權(quán)日:2013年10月16日
【發(fā)明者】桂振文, 劉越, 王涌天 申請人:北京理工大學(xué)