專利名稱：基于增強現實的地理信息指引方法與系統(tǒng)的制作方法
技術領域：
本發(fā)明屬于信息處理技術領域，涉及地理信息指引方法與系統(tǒng)，可用于需要地理 信息指引的場所。
背景技術：
增強現實(AR，Augmented Reality)是利用虛擬物體對真實場景進行現實增強的 技術，它是基于攝像頭等采集器件采集到的真實物理環(huán)境，通過將文本、二維圖像和三維模 型等虛擬生成的信息標注在顯示屏所顯示的真實物理環(huán)境中的物體上，從而實現對用戶身 處的現實物理環(huán)境的注釋和說明。增強現實技術給用戶一種虛擬對象與現實環(huán)境兩相融合 的體驗，它能有效地幫助用戶認知周圍環(huán)境，增添周圍環(huán)境的信息。地理信息系統(tǒng)GIS，是利用電子計算機及其外部設備，采集、存儲、分析和描述整個 或部分地球表面與空間信息系統(tǒng)。簡單地講，它是在一定的地域內，將地理空間信息和一些 與該地域地理信息相關的屬性信息結合起來，達到對地理和屬性信息的綜合管理。如果利 用GIS提供的數據的地理屬性，就可以將這些數據分層、分類疊加在電子地圖上，并且在地 圖對象與數據庫屬性數據建立連接關系，通過GIS就可以輕松實現地圖與數據庫的雙向查 詢。傳統(tǒng)的地理信息系統(tǒng)雖然結合數據庫可以給用戶提供方便快捷的查詢手段，但其 表現形式還主要限于在地圖上標注，存在有如下缺點1、平面的地圖顯示不夠直觀，只適用于經?？吹貓D的人群。2、通過平面地圖查找必須首先識別地理方向，但是對于很多人來說，在陌生的地 方不借助其他工具或外界因素，準確的辨別方向并不是容易的事情。3、對于商場、政府辦公樓、學校教學樓等大型建筑物的細節(jié)地理信息指引缺乏表 現手段。

發(fā)明內容
本發(fā)明的目的在于針對現有技術的不足，提出一種基于增強現實的地理信息指引 方法與系統(tǒng)，以使用戶通過實時視頻不需辨別方向就可直觀有效地認知周圍環(huán)境，并且可 以提供大型建筑物的細節(jié)地理信息。為實現上述目的，本發(fā)明提供的基于增強現實的地理信息指引系統(tǒng)，包括相機平臺，用于安放相機、提供角度信息和視頻信息；角度采集與平臺控制單元，用于采集角度、傳送平臺控制指令和從視頻信息中分 離幀同步信號；計算機，用于發(fā)送平臺控制指令和處理視頻數據；所述相機平臺，將采集的實時視頻信息傳送至計算機和角度采集與平臺控制單 元；所述角度采集與平臺控制單元，從視頻信息中分離幀同步信號，將采集到的角度
5信息通過串口發(fā)送至計算機，并把接收到的平臺控制指令傳送給相機平臺；所述計算機，將平臺控制指令傳送至角度采集與平臺控制單元，以控制相機平臺 的轉動方向和轉動角度。為實現上述目的，本發(fā)明提供的基于增強現實的地理信息指引方法，包括如下步 驟(1)求出所有目標空間點的初始投影坐標(la)選定旋轉角度0度和俯仰角度0度為相機初始位置；旋轉角度從0度開始， 每隔30度進行一組圖像采集，每組三次，分別在俯仰角度為60度、0度、和-60度時采集圖 像，獲取每幀圖像對應的旋轉角度信息和俯仰角度信息；通過采集36幀圖像，覆蓋旋轉角 度0到360度，俯仰角度正負90度之間的空間范圍；(lb)對于要找的目標空間點A，在36幀中任選一幀含有目標空間點A的圖像，在 選定的幀圖像上找到目標空間點，并獲得目標空間點在此幀中的投影坐標X'，設此幀對應 的旋轉角度為0，俯仰角度為n，通過下式求出從初始位置到旋轉角度為e，俯仰角度為 n的旋轉矩陣R
<formula>formula see original document page 6</formula>
(lc)根據R得出從初始角度到當前角度兩幀圖像之間的單應性矩陣H :H = KRIT1式中，K為相機的內參數，該參數包括相機的焦距、主點在像平面上的位置和歪斜 因子；(Id)根據單應性矩陣H和目標空間點在此幀中的投影坐標X'，計算出目標空間 點A的初始投影坐標X X = H_1X'；(le)重復步驟(lb)至步驟(Id)，求出所有目標空間點的初始投影坐標；(2)建立目標空間點的初始投影坐標與要疊加到該目標空間點的虛擬地理信息之 間的對應關系；(3)從角度采集與平臺控制單元獲得到當前角度信息，并根據當前角度信息和目 標空間點初始投影坐標，計算目標空間點的當前投影坐標；(4)獲得當前視頻幀的高和寬，根據目標空間點當前投影坐標判斷它是否在當前 視頻顯示范圍內，若不在則放棄此點，若在則進行步驟(5)；(5)對處在當前視頻顯示范圍內的目標空間點進行虛擬地理信息的疊加，得到含 有虛擬地理信息的視頻幀；(6)將含有虛擬地理信息的視頻幀輸出給顯示屏顯示。本發(fā)明與現有技術相比，具有如下優(yōu)點1)本發(fā)明由于采用事先采集的36幀圖像覆蓋以相機光心為中心，旋轉角度0到 360度，俯仰角度正負90度之間的空間范圍，使此范圍內的目標均可疊加虛擬地理信息，從 而將地理信息的指引擴展到整個立體空間而不僅僅限于平面；2)本發(fā)明基于相機角度和目標點初始投影坐標計算當前投影坐標，并在相應位置疊加虛擬地理信息實現增強現實，因而不需要借助具有特殊性質的標志物就能實現增強現 實；3)本發(fā)明將虛擬地理信息與視頻中的真實場景相融合，使用戶看到的視頻畫面仿 佛在真實的地面上標注出道路信息，在真實的建筑上標注出建筑信息，這些虛擬地理信息 使得目標更加形象和直觀，使用戶不需辨別方向就可有效地認知周圍環(huán)境；4)本發(fā)明可按照用戶的需要，顯示所有地理信息或僅顯示用戶感興趣某一類地理 fn息；5)本發(fā)明還可以方便的添加虛擬廣告。


圖1是本發(fā)明的系統(tǒng)組成方框圖；圖2是本發(fā)明的方法流程圖；圖3是本發(fā)明以空間點為目標的虛擬信息疊加原理圖；圖4是本發(fā)明以空間平面為目標的虛擬信息疊加原理圖；圖5是以空間點為目標疊加虛擬信息前后的對比視頻截圖；圖6是以空間平面為目標疊加虛擬信息前后的對比視頻截圖。
具體實施例方式參照圖1，本發(fā)明的系統(tǒng)主要由相機平臺、角度采集與平臺控制單元和計算機組 成。其中相機平臺，由相機、云臺和兩個絕對光電碼盤組成，相機安放在位置固定的云臺 上，光心位置固定，可進行0度到360度旋轉運動和正負90度的俯仰運動，相機將采集的實 時視頻數據傳送至計算機和角度采集與平臺控制單元，兩個絕對光電碼盤，分別提供相機 的旋轉角度和俯仰角度。角度采集與平臺控制單元，由單片機、串口和同步信號分離芯片組成，同步信號分 離芯片從視頻信息中分離出幀同步信號，并將其傳給單片機，單片機以幀同步信號作為角 度采集的觸發(fā)信號，從而確保視頻的每一幀和角度信息一一對應，單片機將采集到的角度 信息通過串口發(fā)送到計算機。計算機，通過給單片機發(fā)送平臺控制指令控制相機平臺的轉動方向和轉動角度， 并負責處理視頻數據，即根據視頻信息和其對應的角度信息對視頻進行相應的虛擬地理信 息疊加處理，并將處理完成的視頻輸出給顯示屏顯示。參照圖2，本發(fā)明的方法包括以下步驟步驟1，確定目標空間點的初始投影坐標。la)為了計算目標空間點的初始投影坐標，選定旋轉角度0度和俯仰角度0度為 相機初始位置；旋轉角度從0度開始，每隔30度進行一組圖像采集，每組三次，分別在俯仰 角度為60度、0度、和-60度時采集圖像，獲取每幀圖像對應的旋轉角度信息和俯仰角度信 息；通過采集36幀圖像，覆蓋旋轉角度0到360度，俯仰角度正負90度之間的空間范圍；lb)對于要找的目標空間點A，在36幀中任選一幀含有目標空間點A的圖像，在選 定的幀圖像上找到目標空間點，并獲得目標空間點在此幀中的投影坐標X'，設此幀對應的旋轉角度為e，俯仰角度為n，通過下式，求出從初始位置到旋轉角度為e，俯仰角度為n 的旋轉矩陣R <formula>formula see original document page 8</formula>lc)根據R得出從初始角度到當前角度兩幀圖像之間的單應性矩陣H :H = KRIT1式中，K為相機的內參數，包括相機的焦距、主點在像平面上的位置和歪斜因子；Id)根據單應性矩陣H和目標空間點在此幀中的投影坐標X'，計算出目標空間點 A的初始投影坐標X X = H_1X'；le)重復步驟lb)至步驟Id)，求出所有目標空間點的初始投影坐標。步驟2，建立目標空間點的初始投影坐標與要疊加到該目標空間點的虛擬地理fi 息之間的對應關系。步驟3，確定目標空間點的當前投影坐標。3a)把相機當前的旋轉角度0 2、俯仰角度、代入下式，求出從初始位置到旋轉角 度為9 2，俯仰角度為n2的旋轉矩陣R2 <formula>formula see original document page 8</formula>3b)將旋轉矩陣R2代入下式，求出從初始角度到當前角度兩幀圖像之間的單應性 矩陣H2 H2 = K^r1式中，K為相機的內參數，包括相機的焦距、主點在像平面上的位置和歪斜因子；3c)根據單應性矩陣吐和目標空間點的初始投影坐標X，求出當前投影坐標X2 X2 = H2X。步驟4，根據目標空間點當前投影坐標判斷它是否在當前視頻顯示范圍內，具體包 括以下步驟4a)獲得當前視頻幀的高H和寬W ；4b)設目標空間點當前投影坐標的橫縱坐標分別為x，y，若x彡W且y彡H則判定 目標空間點在當前視頻顯示范圍內，否則判定為不在當前視頻顯示范圍內。 步驟5，虛擬地理信息的疊加。若判斷當前投影坐標在視頻的顯示范圍內，則在當前投影坐標處對目標進行虛擬 地理信息的疊加，虛擬地理信息以圖片的形式疊加在實時視頻上，疊加方式分為以空間點 為目標的疊加方式和以空間平面為目標的疊加方式。圖3示出了以空間點為目標的疊加方式其中A幀是初始位置時的視頻幀，B幀是 當前角度的視頻幀，小矩形A B C D代表要疊加的虛擬圖片，該虛擬圖片的疊加起點為目標 點A，A點在初始位置時的坐標為X，在當前角度下B幀中的坐標為X'，以此X'點為偏移 量用虛擬圖片的像素逐個代替視頻中相應位置的像素，從而完成疊加，圖5a是未疊加虛擬圖片信息時的視頻截圖，圖5b和圖5c是疊加虛擬圖片信息后的效果圖，從圖5可見，隨著 相機的轉動，目標在視頻中位置發(fā)生變化，所疊加的虛擬圖片位置隨著目標位置的變化發(fā) 生相同的變化，虛擬地理信息清晰準確的標注在建筑物上，效果如同在真實的建筑物上標 出建筑物名字一樣。圖4示出了以空間平面為目標的疊加方式其中A幀是初始位置時的視頻幀，B幀 是當前角度的視頻幀，虛擬圖片要疊加到空間點A、B、C和D所在的面區(qū)域，相同的空間點在 B幀中的投影點為A'、B'、C'和D'，在A幀中以A點為起點，用虛擬圖片的像素逐個代 替視頻中相應位置的像素完成虛擬圖片的疊加。在B幀中沿包含A'、B'、C'和D'的最小矩形框進行搜索，對搜索范圍內的每 一個像素點求取其在初始幀中對應的點，如B幀中點F'，其初始幀對應點為F，對于在搜索 框內但不在四邊形A' B' C' D'范圍內的點F'，其初始像平面對應點為F必然不在A B C D的范圍內，所以放棄此點；對于在四邊形A' B' C' D'范圍內的點G'，其初始像平面 對應點G必然在A B C D范圍內，將B幀中G'點的像素用初始像平面中虛擬圖片對應點G 點的像素代替。同理，四邊形A' B' C' D'范圍內的每一個像素點都能在四邊形A B C D 中找到相應的點，從而完成所有像素的替換。圖6a是未疊加虛擬圖片信息時的視頻截圖，圖6b和圖6c是疊加虛擬圖片信息后 的效果圖。從圖6可見，在路面和建筑物墻面上疊加虛擬圖片，隨著相機角度的變化，路面 和建筑物墻面的形狀在視頻中是會變化的，而所疊加虛擬圖片的形狀做出了相同的變化， 效果如同在真實的路面和墻面上貼著地理指引信息一樣，這樣可以增強真實感和立體感。步驟6，將處理完成的視頻結果輸出給顯示屏顯示。
權利要求
一種基于增強現實的地理信息指引系統(tǒng)，包括相機平臺，用于安放相機、提供角度信息和視頻信息；角度采集與平臺控制單元，用于采集角度、傳送平臺控制指令和從視頻信息中分離幀同步信號；計算機，用于發(fā)送平臺控制指令和處理視頻數據；所述相機平臺，將采集的實時視頻信息傳送至計算機和角度采集與平臺控制單元；所述角度采集與平臺控制單元，從視頻信息中分離幀同步信號，將采集到的角度信息通過串口發(fā)送至計算機，并把接收到的平臺控制指令傳送給相機平臺；所述計算機，將平臺控制指令傳送至角度采集與平臺控制單元，以控制相機平臺的轉動方向和轉動角度。
2.根據權利要求1所述的基于增強現實的地理信息指引系統(tǒng)，其特征是所述相機平 臺，由相機、云臺和兩個絕對光電碼盤組成；該云臺用來安放相機并且進行0度到360度的 旋轉運動和正負90度之間的俯仰運動；兩個絕對光電碼盤分別用來提供旋轉角度信息和 提供俯仰角度信息。
3.根據權利要求1所述的基于增強現實的地理信息指引系統(tǒng)，其特征是所述角度采 集與平臺控制單元，由單片機、串口和同步信號分離芯片組成；該同步信號分離芯片從視頻 信息中分離出幀同步信號，并將其傳給單片機；該單片機以幀同步信號作為角度采集的觸 發(fā)信號并將采集到的角度信息通過串口發(fā)送到計算機。
4.一種基于增強現實的地理信息指引方法，包括如下步驟(1)求出所有目標空間點的初始投影坐標la)選定旋轉角度0度和俯仰角度0度為相機初始位置；旋轉角度從0度開始，每隔 30度進行一組圖像采集，每組三次，分別在俯仰角度為60度、0度、和-60度時采集圖像，獲 取每幀圖像對應的旋轉角度信息和俯仰角度信息；通過采集36幀圖像，覆蓋旋轉角度0到 360度，俯仰角度正負90度之間的空間范圍；lb)對于要找的目標空間點A，在36幀中任選一幀含有目標空間點A的圖像，在選定的 幀圖像上找到目標空間點，并獲得目標空間點在此幀中的投影坐標X'，設此幀對應的旋轉 角度為e，俯仰角度為n，通過下式求出從初始位置到旋轉角度為e，俯仰角度為n的旋 轉矩陣R <formula>formula see original document page 2</formula>lc)根據R得出從初始角度到當前角度兩幀圖像之間的單應性矩陣H H = KRK_1式中，K為相機的內參數，該參數包括相機的焦距、主點在像平面上的位置和歪斜因子；Id)根據單應性矩陣H和目標空間點在此幀中的投影坐標X'，計算出目標空間點A的 初始投影坐標X X = H_1X'；le)重復步驟lb)至步驟Id)，求出所有目標空間點的初始投影坐標；(2)建立目標空間點的初始投影坐標與要疊加到該目標空間點的虛擬地理信息之間的 對應關系；(3)從角度采集與平臺控制單元獲得到當前角度信息，并根據當前角度信息和目標空 間點初始投影坐標，計算目標空間點的當前投影坐標；(4)獲得當前視頻幀的高和寬，根據目標空間點當前投影坐標判斷它是否在當前視頻 顯示范圍內，若不在則放棄此點，若在則進行步驟(5)；(5)對處在當前視頻顯示范圍內的目標空間點進行虛擬地理信息的疊加，得到含有虛 擬地理信息的視頻幀；(6)將含有虛擬地理信息的視頻幀輸出給顯示屏顯示。
5.根據權利要求4所述的基于增強現實的地理信息指引方法，其中步驟(3)所述的根 據當前角度信息和目標空間點初始投影坐標計算當前投影坐標，按如下步驟進行5a)把相機當前的旋轉角度e2、俯仰角度n2代入下式，求出從初始位置到旋轉角度為 0 2，俯仰角度為n2的旋轉矩陣R2 <formula>formula see original document page 3</formula>5b)將旋轉矩陣R2代入下式，求出從初始角度到當前角度兩幀圖像之間的單應性矩陣 H2 = K^r1式中，K為相機的內參數，包括相機的焦距、主點在像平面上的位置和歪斜因子；5c)根據單應性矩陣吐和目標空間點的初始投影坐標X，求出當前投影坐標X2 <formula>formula see original document page 3</formula>
6.根據權利要求4所述的基于增強現實的地理信息指引方法，其中步驟(4)所述的根 據目標空間點當前投影坐標判斷它是否在當前視頻顯示范圍內，是先獲得當前視頻幀的高 H和寬W ；再設目標空間點當前投影坐標的橫縱坐標分別為x，y，若x < W且y < H則判定 目標空間點在當前視頻顯示范圍內，否則判定為不在當前視頻顯示范圍內。
7.根據權利要求4所述的基于增強現實的地理信息指引方法，其中步驟(5)所述的對 處在當前視頻顯示范圍內的目標空間點進行虛擬地理信息的疊加，包括以空間點為目標 的疊加方式和以空間平面為目標的疊加方式。
8.根據權利要求7所述的基于增強現實的地理信息指引方法，其中所述的以空間點為 目標的疊加方式，包括以下步驟8a)獲得此點的當前投影坐標；8b)以此坐標為偏移量，用虛擬圖片的像素逐個代替當前視頻幀中相應位置的像素，從 而完成疊加。
9.根據權利要求7所述的基于增強現實的地理信息指引方法，其中所述的以空間平面 為目標的疊加方式，包括以下步驟9a)設此平面區(qū)域為四邊形，四邊形的四個頂點在初始像平面上的投影點為A、B、C和 D，在當前像平面上的投影點為A'、B'、C'和D'；在當前視頻幀中沿包含A'、B'、C'和D'的最小矩形框進行搜索，對搜索范圍內的每一個像素點求取其在初始像平面上的初 始投影坐標；9b)判斷其初始投影坐標是否在初始像平面A、B、C和D四點所組成的四邊形區(qū)域內，若 在則用此初始投影坐標處虛擬圖片的像素代替當前視頻幀中現有像素，反之則放棄此點， 從而完成疊加。
10.根據權利要求4所述的基于增強現實的地理信息指引方法，其中步驟(2)所述的虛 擬地理信息，包括道路信息和建筑信息，該建筑信息包括酒店信息、餐飲信息、商店信息、學 校信息和盥洗室信息。
全文摘要
本發(fā)明公開了一種基于增強現實的地理信息指引方法與系統(tǒng)，主要解決現有地圖形式的地理信息指引方法直觀性不強，需要識別地理方向的問題。其指引方法是首先，從不同角度采集若干幅圖像，經過視覺幾何計算，確定目標空間點在規(guī)定的初始像平面上的投影坐標；其次，根據目標空間點在初始像平面上的投影坐標和相機的實時角度信息，經過視覺幾何計算，準確確定目標空間點在實時視頻中的坐標；然后，在實時視頻中目標空間點所在位置疊加虛擬地理信息，通過視頻處理將虛擬地理信息與視頻中的真實場景融合，使得目標更加形象和直觀，也更易于人們識別。本發(fā)明具有所提供的地理信息指引直觀有效的優(yōu)點，適用于各種需要地理信息指引的場所。
文檔編號G09B29/10GK101833896SQ201010154999
公開日2010年9月15日 申請日期2010年4月23日 優(yōu)先權日2010年4月23日
發(fā)明者吳成柯, 姜光, 姜長龍, 婁中余, 崔兆鵬, 王劍鋼, 王瑞巖 申請人:西安電子科技大學