一種增強現(xiàn)實中實景與現(xiàn)實信息疊加的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機技術(shù)領(lǐng)域，尤其涉及一種增強現(xiàn)實中實景與現(xiàn)實信息疊加的方法。
【背景技術(shù)】
[0002]在?目息時代，人們需要隨時獲得對自己有用的?目息，而這些?目息往往是以虛擬的形式存在于網(wǎng)絡(luò)或者其他存儲設(shè)備中，而現(xiàn)有的方法是需要用戶通過PC或者移動終端在一個脫離現(xiàn)實的虛擬顯示器中獲得。例如人們通過谷歌或者百度來查詢自己所需要的信息，通過高德地圖獲得自己的地理位置或者進行導(dǎo)航，通過臉書獲得陌生人的基本情報，通過相關(guān)氣象軟件來獲得天氣咨詢，等等。但這種獲得信息的方式，一是不方便，人們需要刻意地停下腳步來查詢；二是不真實，獲得的信息并沒有與現(xiàn)實的情形結(jié)合起來，不能給用戶帶來直觀的感受，人們看到的只是冰冷的數(shù)據(jù)與文字，而沒有直觀的感受，例如現(xiàn)有導(dǎo)航給用戶帶來的感受就十分不好，因為并沒有與現(xiàn)實結(jié)合，導(dǎo)致實際使用時，往往會走上錯誤的道路。
[0003]為了增強虛擬現(xiàn)實中實景與顯示信息的交互，使得人們能夠更加直觀、更加方便、更加具體的獲得現(xiàn)實中所需要的信息，我們要解決的首要問題便是如何改善兩者的疊加方法，將用戶所需要的信息在實景中友好地展示。
[0004]廣為人知的一款產(chǎn)品便是谷歌公司研發(fā)的谷歌眼鏡，它借鑒了一位印度科學(xué)家無私奉獻的個人研究。
[0005]Google Project Glass主要結(jié)構(gòu)包括，在眼鏡前方懸置的一臺攝像頭和一個位于鏡框右側(cè)的寬條狀的電腦處理器裝置，配備的攝像頭像素為500萬，可拍攝720p視頻。鏡片上配備了一個頭戴式微型顯示屏，它可以將數(shù)據(jù)投射到用戶右眼上方的小屏幕上。顯示效果如同2.4米外的25英寸高清屏幕。
[0006]這款眼鏡將集智能手機、GPS、相機于一身，在用戶眼前展現(xiàn)實時信息，只要眨眨眼就能拍照上傳、收發(fā)短信、查詢天氣路況等操作。用戶無需動手便可上網(wǎng)沖浪或者處理文字信息和電子郵件，同時，戴上這款“拓展現(xiàn)實”眼鏡，用戶可以用自己的聲音控制拍照、視頻通話和辨明方向。該眼鏡現(xiàn)實信息與實景疊加效果不友好，谷歌眼睛是在眼睛所見位置將實體信息展示出，這樣會導(dǎo)致有多個實體的時候信息會混亂，也會出現(xiàn)顯示的信息不知道對應(yīng)于實景中哪個實體的情況。其實用性差，谷歌眼鏡采取語音控制，如果用戶有口音的話，并不能順利的識別用戶的每一條指令，導(dǎo)致使用極其不方便。同時它還支持眨眼等體感操作，但這樣對于眼睛比較小的用戶來說十分不和諧。
[0007]BaiduEye是一款集成了視、聽、說能力的設(shè)備，無需眼鏡屏幕，佩戴者只需要用手指在空中對著某個物品畫個圈，或者拿起這個物品，或者視線關(guān)注某個物品并停留，BaiduEye即可通過這些手勢、頭部動勢獲得指令，鎖定該物品并進行識別和分析處理。BaiduEye通過對佩戴者第一視角的視覺信息進行基于深度學(xué)習(xí)的圖像分析，并結(jié)合百度強大的大數(shù)據(jù)分析能力和自然人機交互技術(shù)，為用戶提供所見實物背后的信息，并連接相關(guān)服務(wù)。采用語音輸出，雖然在一定程度上達到了增強現(xiàn)實的作用，但是由于其沒有顯示設(shè)備，不具備直觀的感受體驗。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供一種增強現(xiàn)實中實景與現(xiàn)實信息疊加的方法，在現(xiàn)實場景中，捕捉和識別實體，并友好地顯示實體的相關(guān)信息，達到增強現(xiàn)實的目的。
[0009]為了解決上述問題，本發(fā)明提出了一種增強現(xiàn)實中實景與現(xiàn)實信息疊加的方法，包括如下步驟:
[0010]終端設(shè)備將獲取到實景、選中的實體發(fā)送到服務(wù)器，并根據(jù)服務(wù)器返回的信息抽像出實體，顯示實體相關(guān)信息；
[0011]服務(wù)器負責(zé)從實景中獲取實體列表，根據(jù)實體獲取相關(guān)實體信息。
[0012]所述方法包括:
[0013]終端設(shè)備將實景及相應(yīng)的GPS位置信息和紅外信息發(fā)送到服務(wù)器；
[0014]服務(wù)器根據(jù)實景及其相關(guān)信息獲取實體列表，返回給終端設(shè)備；
[0015]終端設(shè)備根據(jù)實體列表選擇實體，并將選中的實體發(fā)送給服務(wù)器；
[0016]服務(wù)器獲取實體的相關(guān)信息，返回給終端設(shè)備；
[0017]終端設(shè)備抽象出實體，展示實體相關(guān)信息；
[0018]終端設(shè)備對實體信息進行篩選，將篩選條件發(fā)送給服務(wù)器；
[0019]服務(wù)器根據(jù)篩選條件重新獲取實體信息，并返回給終端設(shè)備；
[0020]終端設(shè)備展示實體相關(guān)信息。
[0021]所述方法包括:
[0022]終端設(shè)備將實景及相應(yīng)的GPS位置信息和紅外信息發(fā)送到服務(wù)器；
[0023]服務(wù)器將實景傳給光照模型；
[0024]光照模型根據(jù)實景建模，獲得實體模型參數(shù)；
[0025]光照模型將實體模型參數(shù)返回給服務(wù)器；
[0026]服務(wù)器將實景及相應(yīng)的GPS位置信息和紅外信息給輔助信息處理模型；
[0027]輔助信息處理模型識別或提取出輔助參數(shù)；
[0028]輔助信息處理模型將輔助參數(shù)返回給服務(wù)器；
[0029]服務(wù)器將實體的所有參數(shù)傳送給實體庫；
[0030]實體庫根據(jù)實體參數(shù)獲取最可能的實體列表；
[0031]實體庫將實體列表返回給服務(wù)器；
[0032]服務(wù)器將實體列表返回給終端設(shè)備；
[0033]終端設(shè)備在所拍攝的2D圖像上進行信息顯示，通過設(shè)置字體大小的方式，實現(xiàn)遠近的區(qū)分。
[0034]所述方法包括:
[0035]終端設(shè)備將選中的實體發(fā)送給服務(wù)器；
[0036]服務(wù)器將選中的實體發(fā)送給實體庫；
[0037]實體庫根據(jù)大眾的行為對實體信息進行初步排序；
[0038]實體庫根據(jù)用戶個人行為對實體信息進一步排序；
[0039]實體庫將排序好的實體信息返回給服務(wù)器；
[0040]服務(wù)器將實體信息返回給終端設(shè)備；
[0041]在終端設(shè)備中顯示該實體的3D模型，并在該3D模型的不同部位顯示該部位的詳細信息。
[0042]在本發(fā)明實施例所提供的方法，結(jié)合了多種實體識別的方法，使實體識別更加準確；采用實體抽象和用戶行為習(xí)慣分析等技術(shù)，提供了更加友好的信息展示方式。在實景中展示用戶想獲取的實體相關(guān)信息。將實體抽象出，并且融入用戶行為習(xí)慣，能更好地展示用戶想獲取的信息，改善用戶體驗。
【附圖說明】
[0043]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。
[0044]圖1是本發(fā)明實施例中的增強現(xiàn)實中實景與現(xiàn)實信息疊加的系統(tǒng)結(jié)構(gòu)示意圖；
[0045]圖2是本發(fā)明實施例中的手持設(shè)備與服務(wù)器交互的流程圖；
[0046]圖3是本發(fā)明實施例中的從手持設(shè)備發(fā)送實景到服務(wù)器返回實體列表的流程圖；
[0047]圖4是本發(fā)明實施例中的從手持設(shè)備發(fā)送選中實體后到服務(wù)器返回該實體具體信息的流程圖。
【具體實施方式】
[0048]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0049]在現(xiàn)實場景中，捕捉和識別實體，并友好地顯示實體的相關(guān)信息，達到增強現(xiàn)實的目的。