增強(qiáng)現(xiàn)實實現(xiàn)方法、裝置和終端設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息處理技術(shù)領(lǐng)域，尤其涉及一種增強(qiáng)現(xiàn)實實現(xiàn)方法、裝置和終端設(shè)備。
【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(AR, Augmented Reality)是利用虛擬拍攝對象對真實場景進(jìn)行現(xiàn)實增強(qiáng)的技術(shù)。增強(qiáng)現(xiàn)實保留用戶實際所處的環(huán)境作為用戶的主要感知和交互環(huán)境，通過將文本、二維圖形、三維模型等虛擬生成的信息標(biāo)注在顯示屏上所顯示的用戶實際所處環(huán)境中的物體上，從而實現(xiàn)對用戶所處的環(huán)境的注釋、說明，或者增強(qiáng)現(xiàn)實環(huán)境的效果。如圖1所示，用戶開啟移動終端攝像頭并將該攝像頭對準(zhǔn)現(xiàn)實環(huán)境，此時，用戶移動終端屏幕會顯示當(dāng)前現(xiàn)實場景中的存在物(如建筑物、街道等)，移動終端將拍攝的圖像序列發(fā)送至網(wǎng)絡(luò)側(cè)服務(wù)器，網(wǎng)絡(luò)側(cè)服務(wù)器根據(jù)獲取的圖像進(jìn)行匹配，若匹配到這些存在物的增強(qiáng)性、說明性或描述性信息，比如建筑物的名稱、建筑物中的商家信息等等，將其返回給移動終端，這樣，移動終端屏幕上不僅顯示有當(dāng)前現(xiàn)實場景中的存在物，還會顯示這些存在物的說明性、描述性或增強(qiáng)性的信息，這使得用戶能夠方便、快捷地知道現(xiàn)實場景存在物更多更豐富的信息，為用戶帶來新的增強(qiáng)現(xiàn)實的應(yīng)用體驗。
[0003]從上述過程可知，對用戶所處環(huán)境的準(zhǔn)確定位是AR應(yīng)用的關(guān)鍵技術(shù)之一，只有準(zhǔn)確定位用戶所處環(huán)境，才能在網(wǎng)絡(luò)側(cè)服務(wù)器匹配到準(zhǔn)確的AR信息。但是現(xiàn)有的移動定位技術(shù)，包括從定位方法進(jìn)行分類的GPS定位技術(shù)、Wifi定位技術(shù)和基站定位技術(shù)以及從地圖類型進(jìn)行分類的柵格地圖定位技術(shù)、三維地圖定位技術(shù)和街景地圖定位技術(shù)等，均無法滿足AR中精準(zhǔn)定位的需求。
[0004]為了提高定位技術(shù)的準(zhǔn)確性，現(xiàn)有技術(shù)提出了以下解決方案:
[0005]一、基于圖像識別的技術(shù)
[0006]通過圖像識別方將用戶所拍攝到的場景圖像與地圖數(shù)據(jù)庫中預(yù)存的場景圖像進(jìn)行匹配，來讀取地圖數(shù)據(jù)庫中預(yù)存的準(zhǔn)確位置信息，同時在拍攝的場景圖像上實時展示AR信息。但是該方法中，在展示AR信息時，只能針對識別出的圖像進(jìn)行展示，對于未識別的圖像則無法查找對應(yīng)的AR信息并展示。
[0007]二、通過移動設(shè)備自帶的傳感器如陀螺儀和加速度傳感器確定方向，使用傳統(tǒng)定位方法確定用戶所處的位置，并載入對應(yīng)的正確方位街景圖像進(jìn)行展示，展示的街景圖像上有AR信息。但是這種方法中，由于看到的是固定的街景圖像，因此不具有實時性。
[0008]三、通過移動設(shè)備自帶的傳感器如陀螺儀和加速度傳感器確定方向，用傳統(tǒng)定位方法確定用戶所處的位置，直接在拍攝的圖像上展示AR信息。這種方法中，由于傳感器存在誤差積累，所以對于拍攝一段時間或者有劇烈運動時確定出的用戶所處的位置并不準(zhǔn)確，導(dǎo)致展示出的AR信息也不準(zhǔn)確。同時，這種方法適合較遠(yuǎn)處的物體，進(jìn)出物體位置變化會更大，且放置的AR信息浮在物體上，使得AR信息展示不夠真實。
[0009]綜上，如何在用戶拍攝的圖像上實時并真實準(zhǔn)確的展示對應(yīng)的AR信息成為增強(qiáng)現(xiàn)實實現(xiàn)過程中亟待解決的技術(shù)問題之一。

【發(fā)明內(nèi)容】

[0010]本發(fā)明實施例提供一種增強(qiáng)現(xiàn)實實現(xiàn)方法、裝置和終端設(shè)備，用以在用戶拍攝的圖像上實時展示對應(yīng)的AR信息，并提高AR信息展示的準(zhǔn)確性和真實性。
[0011]本發(fā)明實施例提供一種增強(qiáng)現(xiàn)實信息展示方法，包括:
[0012]獲取拍攝對象的圖像序列；
[0013]從所述圖像序列中選擇至少一幀關(guān)鍵幀圖像，其中，關(guān)鍵幀圖像為能夠恢復(fù)出所述拍攝對象的局部三維點云數(shù)據(jù)的圖像，相鄰的關(guān)鍵幀圖像滿足預(yù)設(shè)的圖像間隔距離；并
[0014]確定拍攝時間最晚的關(guān)鍵巾貞圖像為當(dāng)如關(guān)鍵巾貞圖像；
[0015]根據(jù)所述當(dāng)前關(guān)鍵幀圖像或者選擇出的至少一幀關(guān)鍵幀圖像確定所述拍攝對象的完整三維點云數(shù)據(jù)；
[0016]獲得待展示的增強(qiáng)現(xiàn)實AR信息；
[0017]根據(jù)所述完整三維點云數(shù)據(jù)和所述當(dāng)前關(guān)鍵幀圖像，確定所述AR信息在當(dāng)前幀圖像上的展示方位；
[0018]根據(jù)所述展示方位，在所述當(dāng)前幀圖像上展示所述AR信息。
[0019]本發(fā)明實施例提供一種增強(qiáng)現(xiàn)實信息展示裝置，包括:
[0020]獲取單元，用于獲取拍攝對象的圖像序列；
[0021]選擇單元，用于從所述圖像序列中選擇至少一幀關(guān)鍵幀圖像，其中，關(guān)鍵幀圖像為能夠恢復(fù)出所述拍攝對象的局部三維點云數(shù)據(jù)的圖像，相鄰的關(guān)鍵幀圖像滿足預(yù)設(shè)的圖像間隔距離；
[0022]第一確定單兀，用于確定拍攝時間最晚的關(guān)鍵巾貞圖像為當(dāng)如關(guān)鍵巾貞圖像；
[0023]第二確定單元，用于根據(jù)所述第一確定單元確定出的當(dāng)前關(guān)鍵幀圖像或者所述選擇單元選擇出的至少一幀關(guān)鍵幀圖像確定所述拍攝對象的完整三維點云數(shù)據(jù)；
[0024]獲得單元，用于獲得待展示的增強(qiáng)現(xiàn)實AR信息；
[0025]展示單元，用于根據(jù)所述完整三維點云數(shù)據(jù)和所述關(guān)鍵幀圖像，確定所述AR信息在當(dāng)前幀圖像上的展示方位；根據(jù)所述展示方位，在所述當(dāng)前幀圖像上展示所述AR信息。
[0026]本發(fā)明實施例提供一種終端設(shè)備，包括上述的增強(qiáng)現(xiàn)實實現(xiàn)裝置。
[0027]本發(fā)明實施例提供的增強(qiáng)現(xiàn)實實現(xiàn)方法、裝置和終端設(shè)備，在對拍攝對象進(jìn)行拍攝的過程中，實時獲取拍攝對象的圖像序列并進(jìn)行分析，以獲得關(guān)鍵幀圖像和該拍攝對象對應(yīng)的完整三維點云數(shù)據(jù)，并根據(jù)拍攝對象的完整三維點云數(shù)據(jù)和關(guān)鍵幀圖像確定出AR信息在當(dāng)前幀上的展示方位并進(jìn)行展示，由于根據(jù)AR信息在當(dāng)前幀圖像上的展示方位展示AR信息，因此，使得展示AR信息的位置更加準(zhǔn)確且能夠隨著當(dāng)前關(guān)鍵幀的變化，從不同的角度展示AR信息，使得展示的AR信息更加真實。
[0028]本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。
【附圖說明】
[0029]此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0030]圖1為現(xiàn)有技術(shù)中，增強(qiáng)現(xiàn)實應(yīng)用示意圖；
[0031]圖2為本發(fā)明實施例中，增強(qiáng)現(xiàn)實實現(xiàn)方法的實施流程示意圖；
[0032]圖3為本發(fā)明實施例中，確定第一幀關(guān)鍵幀圖像的流程示意圖；
[0033]圖4為本發(fā)明實施例中，獲得拍攝對象對應(yīng)的完整三維點云數(shù)據(jù)，并在當(dāng)前幀上展示完整三維點云數(shù)據(jù)中包含的AR信息的流程示意圖；
[0034]圖5為本發(fā)明實施例中，增強(qiáng)現(xiàn)實實現(xiàn)裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0035]為了在用戶拍攝的圖像上實時展示AR信息，并提高AR信息展示的準(zhǔn)確性和真實性，本發(fā)明實施例提供了一種增強(qiáng)現(xiàn)實實現(xiàn)方法、裝置和終端設(shè)備。
[0036]以下結(jié)合說明書附圖對本發(fā)明的優(yōu)選實施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明，并且在不沖突的情況下，本發(fā)明中的實施例及實施例中的特征可以相互組合。
[0037]實施例一
[0038]如圖2所示，為終端側(cè)設(shè)備實施增強(qiáng)現(xiàn)實實現(xiàn)方法的實施流程示意圖，可以包括以下步驟:
[0039]S21、獲取拍攝對象的圖像序列。
[0040]具體實施時，用戶可以通過手機(jī)等終端設(shè)備自帶的攝像頭拍攝周圍環(huán)境，獲得被拍攝對象的圖像序列。本發(fā)明實施例中，用戶可以通過移動，可以獲取代表拍攝對象不同區(qū)域的圖像序列。
[0041]S22、從獲取的圖像序列中選擇至少一幀關(guān)鍵幀圖像。
[0042]其中，關(guān)鍵幀圖像為能夠恢復(fù)出所述拍攝對象的局部三維點云數(shù)據(jù)的圖像，且確定出的、相鄰的關(guān)鍵幀圖像之間滿足預(yù)設(shè)的圖像間隔距離。
[0043]較佳的，如圖3所示，可以按照圖3所示的流程確定第一幀關(guān)鍵幀圖像:
[0044]S31、從獲取的圖像序列中選擇間隔預(yù)設(shè)距離的兩幀圖像；
[0045]例如，可以選擇獲取的第一幀圖像和與其間隔20幀的圖像。
[0046]S32、分別提取每一幀圖像的特征點；
[0047]具體實施時，可以采用特征點提取算法如尺度不變特征變換(SIFT，ScaleInvariant Feature Transform)算法、(SURF, Speeded-Up Robust Features)算法和方向性 FAST 和旋轉(zhuǎn) BRIEF (ORB，Oriented FAST and Rotated BRIEF)等。
[0048]S33、匹配兩幀圖像的特征點，得到特征點對集合；
[0049]具體實施時，可以采用與特征點提取算法對應(yīng)的匹配算法，如N0RM_L2和N0RM_HAMMING等，得到對應(yīng)的特征點對集合。
[0050]具體實施時，獲取的圖像為二維圖像，因此提取的特征點對也是二維的，另一方面，通過兩個二維數(shù)據(jù)可以恢復(fù)出一個三維數(shù)據(jù)，假設(shè)一個特征點對為(Al，BI)，其對應(yīng)的二維數(shù)據(jù)為((Xl，yi)，