本發(fā)明涉及計算機領(lǐng)域，具體而言，涉及一種圖像定位方法及裝置。

背景技術(shù)：

相關(guān)技術(shù)中，隨著新一代寬帶無線移動通信網(wǎng)的飛速發(fā)展和智能移動終端性能的迅速提高，視頻通訊、在線檢索與瀏覽、互動游戲、即時通信等豐富的數(shù)據(jù)業(yè)務(wù)研發(fā)和應(yīng)用已成為移動通信領(lǐng)域重要的研究熱點和發(fā)展趨勢之一。在國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006-2020年)中，將開發(fā)支持多媒體、安全、泛在的多種新業(yè)務(wù)與應(yīng)用的智能終端作為重點領(lǐng)域和優(yōu)先發(fā)展主題。在2010國家科技重大專項“新一代寬帶無線移動通信網(wǎng)”中，也將研發(fā)具有高附加值的新型移動終端視頻通信作為核心內(nèi)容之一。

增強現(xiàn)實技術(shù)，即根據(jù)計算機視覺技術(shù)，將計算機系統(tǒng)生成的虛擬物體疊加到真實場景中，使虛擬物體與真實場景完美融合，并且可以通過人機交互技術(shù)與虛擬物體進行互動。隨著智能手機等移動終端設(shè)備的發(fā)展和普及，移動增強現(xiàn)實技術(shù)近年來受到了國內(nèi)外許多專家和學(xué)者的關(guān)注和研究。隨著目前移動終端運算能力的提高和硬件性能的提升，移動增強現(xiàn)實希望將傳統(tǒng)增強現(xiàn)實應(yīng)用移植到移動終端設(shè)備上，從而擴展增強現(xiàn)實技術(shù)的應(yīng)用范圍。目前，智能手機等移動終端設(shè)備已經(jīng)比較普及，所以移動增強現(xiàn)實技術(shù)也成為增強現(xiàn)實技術(shù)的發(fā)展趨勢之一。

注冊定位技術(shù)的好壞直接決定增強現(xiàn)實系統(tǒng)的成功與否，而基于自然特征的高速、精確、魯棒的注冊定位技術(shù)是整個系統(tǒng)核心和關(guān)鍵。作為整個注冊定位處理的前提和基礎(chǔ)，特征檢測算法、特征跟蹤算法、特征匹配算法的優(yōu)劣將直接影響整個系統(tǒng)的處理速度和穩(wěn)定性。目前智能手機的計算能力比普通pc臺式機慢10倍左右，因此應(yīng)用于主流計算機平臺的注冊定位技術(shù)并不能完全適用于移動終端。因此，在手機硬件資源有限的條件下解決基于移動終端的注冊定位，是實現(xiàn)基于移動終端的增強現(xiàn)實系統(tǒng)的關(guān)鍵，也具有重要的研究意義。

針對相關(guān)技術(shù)中，移動終端資源有限，不能有效進行注冊定位處理技術(shù)的問題，目前還沒有有效的解決方案。

技術(shù)實現(xiàn)要素：

本發(fā)明提供了一種圖像定位方法及裝置，以至少解決相關(guān)技術(shù)中移動終端資源有限，不能有效進行注冊定位處理技術(shù)的問題。

根據(jù)本發(fā)明的一個方面，提供了一種圖像定位方法，包括：

提取實時視頻流中的指定圖像作為參考圖像；

將所述實時視頻流和所述參考圖像中預(yù)先選定的參考點進行特征匹配，得到匹配特征點；以及對所述參考點進行特征跟蹤，得到跟蹤特征點；

在所述匹配特征點與所述跟蹤特征點之間符合預(yù)設(shè)條件時，輸出所述實時視頻流的圖像幀。

進一步地，所述預(yù)設(shè)條件包括：第一圖像面積與第二圖像面積的差值在預(yù)設(shè)范圍內(nèi)，其中，所述第一圖像面積為所述匹配特征點圍成的區(qū)域面積，所述第二圖像面積為所述跟蹤特征點圍成的區(qū)域面積。

進一步地，所述方法還包括：在所述第一圖像面積與所述第二圖像面積的差值不在預(yù)設(shè)范圍內(nèi)的情況下，依據(jù)所述匹配特征點校正所述跟蹤特征點。

進一步地，將所述實時視頻流和所述參考圖像的參考點進行特征匹配輸出匹配特征點包括：在同時滿足以下條件時，得到所述匹配特征點：

確定所述特征匹配過程中的匹配特征點的數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由所述匹配特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定所述匹配特征點的連線圖像是預(yù)設(shè)圖像，其中，所述預(yù)設(shè)圖像為所述參考點的連線圖像；

確定所述匹配特征點數(shù)與所述參考點數(shù)的比率不小于預(yù)設(shè)值。

進一步地，對所述參考圖像的參考點進行特征跟蹤輸出跟蹤特征點包括：在同時滿足以下條件時，得到所述跟蹤特征點：

確定所述特征跟蹤過程中的跟蹤特征點數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由所述跟蹤特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定所述跟蹤特征點的連線圖像是預(yù)設(shè)圖像，其中，所述預(yù)設(shè)圖像為所述參考點的連線圖像。

根據(jù)本發(fā)明的另一方面，提供了一種圖像定位裝置，包括：

提取模塊，用于提取實時視頻流中的指定圖像作為參考圖像；

匹配跟蹤模塊，用于將所述實時視頻流和所述參考圖像中預(yù)先選定的參考點進行特征匹配，得到匹配特征點；以及對所述參考點進行特征跟蹤，得到跟蹤特征點；

輸出模塊，用于在所述匹配特征點與所述跟蹤特征點之間符合預(yù)設(shè)條件時，輸出所述實時視頻流的圖像幀。

進一步地，所述預(yù)設(shè)條件包括：第一圖像面積與第二圖像面積的差值在預(yù)設(shè)范圍內(nèi)，其中，所述第一圖像面積為所述匹配特征點圍成的區(qū)域面積，所述第二圖像面積為所述跟蹤特征點圍成的區(qū)域面積。

進一步地，所述裝置還包括：在所述第一圖像面積與所述第二圖像面積的差值不在預(yù)設(shè)范圍內(nèi)的情況下，依據(jù)所述匹配特征點校正所述跟蹤特征點。

進一步地，將所述實時視頻流和所述參考圖像的參考點進行特征匹配輸出匹配特征點包括：在同時滿足以下條件時，得到所述匹配特征點：

確定所述特征匹配過程中的匹配特征點的數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由所述匹配特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定所述匹配特征點的連線圖像是預(yù)設(shè)圖像，其中，所述預(yù)設(shè)圖像為所述參考點的連線圖像；

確定所述匹配特征點數(shù)與所述參考點數(shù)的比率不小于預(yù)設(shè)值。

進一步地，對所述參考圖像的參考點進行特征跟蹤輸出跟蹤特征點包括：在同時滿足以下條件時，得到所述跟蹤特征點：

確定所述特征跟蹤過程中的跟蹤特征點數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由所述跟蹤特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定所述跟蹤特征點的連線圖像是預(yù)設(shè)圖像，其中，所述預(yù)設(shè)圖像為所述參考點的連線圖像。

通過本發(fā)明，提取實時視頻流中的指定圖像作為參考圖像，將該實時視頻流和該參考圖像中預(yù)先選定的參考點進行特征匹配，得到匹配特征點；以及對該參考點進行特征跟蹤，得到跟蹤特征點，在該匹配特征點與該跟蹤特征點之間符合預(yù)設(shè)條件時，輸出該實時視頻流的圖像幀，解決了移動終端資源有限，不能有效進行注冊定位處理技術(shù)的問題，及時準確地實現(xiàn)了圖像定位。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明實施例的一種圖像定位方法的流程圖；

圖2是根據(jù)本發(fā)明實施例的圖像定位裝置的結(jié)構(gòu)框圖；

圖3是根據(jù)本發(fā)明優(yōu)選實施例的圖像匹配跟蹤系統(tǒng)模塊結(jié)構(gòu)框圖；

圖4是根據(jù)本發(fā)明優(yōu)選實施例的圖像跟蹤方法的流程圖。

具體實施方式

下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。

需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。

在本實施例中提供了一種圖像定位方法，圖1是根據(jù)本發(fā)明實施例的一種圖像定位方法的流程圖，如圖1所示，該流程包括如下步驟：

步驟s102，提取實時視頻流中的指定圖像作為參考圖像；

步驟s104，將該實時視頻流和該參考圖像中預(yù)先選定的參考點進行特征匹配，得到匹配特征點；以及對該參考點進行特征跟蹤，得到跟蹤特征點；

步驟s106，在該匹配特征點與該跟蹤特征點之間符合預(yù)設(shè)條件時，輸出該實時視頻流的圖像幀。

通過上述步驟，提取實時視頻流中的指定圖像作為參考圖像；將該實時視頻流和該參考圖像中預(yù)先選定的參考點進行特征匹配，得到匹配特征點；以及對該參考點進行特征跟蹤，得到跟蹤特征點；在該匹配特征點與該跟蹤特征點之間符合預(yù)設(shè)條件時，輸出該實時視頻流的圖像幀。本實施例中的參考點可以是圖像中選取一個四邊形，以四邊形的四個頂點為參考點，匹配特征點和跟蹤特征點之間符合的預(yù)設(shè)條件是點之間的關(guān)系，可以是點圍成的圖像之間的面積比大于閾值，點之間連線長度差值大于閾值。需要說明的是，在匹配特征點與跟蹤特特征點符合預(yù)設(shè)條件之后，優(yōu)選地輸出跟蹤處理結(jié)果，也可以輸出匹配處理結(jié)果，或者，將跟蹤處理結(jié)果與匹配處理結(jié)果進行校驗校正后輸出統(tǒng)一結(jié)果。采用上述技術(shù)方案，解決了移動終端資源有限，不能有效進行注冊定位處理技術(shù)的問題，及時準確地實現(xiàn)了圖像定位。

在本實施例中，該預(yù)設(shè)條件包括：

第一圖像面積與第二圖像面積的差值在預(yù)設(shè)范圍內(nèi)，其中，該第一圖像面積為該匹配特征點圍成的區(qū)域面積，該第二圖像面積為該跟蹤特征點圍成的區(qū)域面積，也可以是第一圖像面積與第二圖像面積比大于閾值。

在本實施例中，在該第一圖像面積與該第二圖像面積的差值不在預(yù)設(shè)范圍內(nèi)的情況下，依據(jù)該匹配特征點校正該跟蹤特征點。第一圖像面積與第二圖像面積的差值不在預(yù)設(shè)范圍內(nèi)，說明兩種方法對同一視頻流的處理結(jié)果不一樣，在相關(guān)技術(shù)中，匹配的處理結(jié)果的更加準確，因此，在出現(xiàn)偏差時，采用匹配處理結(jié)果對跟蹤處理結(jié)果進行校正，以期得到更好的技術(shù)方案。

在本實施例中，將該實時視頻流和該參考圖像的參考點進行特征匹配輸出匹配特征點包括：在同時滿足以下條件時，得到該匹配特征點：

確定該特征匹配過程中的匹配特征點的數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由該匹配特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定該匹配特征點的連線圖像是預(yù)設(shè)圖像，其中，該預(yù)設(shè)圖像為該參考點的連線圖像；

確定該匹配特征點數(shù)與該參考點數(shù)的比率不小于預(yù)設(shè)值。

在驗證匹配特征點與跟蹤特征點符合預(yù)設(shè)條件之前，應(yīng)用上述技術(shù)方案對匹配特征點進行獨立驗證，在同時滿足上述四個條件時確定匹配特征點的正確性。

在本實施例中，對該參考圖像的參考點進行特征跟蹤輸出跟蹤特征點包括：

在同時滿足以下條件時，得到該跟蹤特征點：

確定該特征跟蹤過程中的跟蹤特征點數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由該跟蹤特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定該跟蹤特征點的連線圖像是預(yù)設(shè)圖像，其中，該預(yù)設(shè)圖像為該參考點的連線圖像。

在驗證匹配特征點與跟蹤特征點符合預(yù)設(shè)條件之前，應(yīng)用上述技術(shù)方案對跟蹤特征點進行獨立驗證，在同時滿足上述四個條件時確定跟蹤特征點的正確性。

在本實施例中還提供了一種圖像定位裝置，該裝置用于實現(xiàn)上述實施例及優(yōu)選實施方式，已經(jīng)進行過說明的不再贅述。如以下所使用的，術(shù)語“模塊”可以實現(xiàn)預(yù)定功能的軟件和/或硬件的組合。盡管以下實施例所描述的裝置較佳地以軟件來實現(xiàn)，但是硬件，或者軟件和硬件的組合的實現(xiàn)也是可能并被構(gòu)想的。

圖2是根據(jù)本發(fā)明實施例的圖像定位裝置的結(jié)構(gòu)框圖，如圖2所示，該裝置包括：

提取模塊22，用于提取實時視頻流中的指定圖像作為參考圖像；

匹配跟蹤模塊24，與提取模塊22連接，用于將該實時視頻流和該參考圖像中預(yù)先選定的參考點進行特征匹配，得到匹配特征點；以及對該參考點進行特征跟蹤，得到跟蹤特征點；

輸出模塊26，與匹配跟蹤模塊24連接，用于在該匹配特征點與該跟蹤特征點之間符合預(yù)設(shè)條件時，輸出該實時視頻流的圖像幀。

在本實施例中，該預(yù)設(shè)條件包括：

第一圖像面積與第二圖像面積的差值在預(yù)設(shè)范圍內(nèi)，其中，該第一圖像面積為該匹配特征點圍成的區(qū)域面積，該第二圖像面積為該跟蹤特征點圍成的區(qū)域面積。

在本實施例中，該裝置還包括：

在該第一圖像面積與該第二圖像面積的差值不在預(yù)設(shè)范圍內(nèi)的情況下，依據(jù)該匹配特征點校正該跟蹤特征點。

在本實施例中，將該實時視頻流和該參考圖像的參考點進行特征匹配輸出匹配特征點包括：

在同時滿足以下條件時，得到該匹配特征點：

確定該特征匹配過程中的匹配特征點的數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由該匹配特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定該匹配特征點的連線圖像是預(yù)設(shè)圖像，其中，該預(yù)設(shè)圖像為該參考點的連線圖像；

確定該匹配特征點數(shù)與該參考點數(shù)的比率不小于預(yù)設(shè)值。

在本實施例中，對該參考圖像的參考點進行特征跟蹤輸出跟蹤特征點包括：

在同時滿足以下條件時，得到該跟蹤特征點：

確定該特征跟蹤過程中的跟蹤特征點數(shù)目不低于預(yù)設(shè)值數(shù)目；

確定由該跟蹤特征點計算出的單應(yīng)性矩陣是預(yù)設(shè)的單應(yīng)性矩陣；

確定該跟蹤特征點的連線圖像是預(yù)設(shè)圖像，其中，該預(yù)設(shè)圖像為該參考點的連線圖像。

需要說明的是，上述各個模塊是可以通過軟件或硬件來實現(xiàn)的，對于后者，可以通過以下方式實現(xiàn)，但不限于此：上述各個模塊均位于同一處理器中；或者，上述各個模塊分別位于不同的處理器中。

下面結(jié)合本發(fā)明優(yōu)選實施例進行詳細說明。

本發(fā)明優(yōu)選實施例的目的在于針對相關(guān)技術(shù)的缺陷，以及移動終端平臺受限特點，提出一種基于模塊交互的移動增強現(xiàn)實注冊定位方法，可以在目前主流移動平臺上實現(xiàn)實時、穩(wěn)定、魯棒的注冊定位，以擴大增強現(xiàn)實應(yīng)用范圍，提高用戶體驗效果。

為實現(xiàn)上述目的，本發(fā)明優(yōu)選實施例的方法包括如下步驟1，2，3，4，5所示：

步驟1，調(diào)用智能手機攝像頭，采集場景實時視頻流，取得參考模板圖像，并對視頻流進行預(yù)處理。

步驟2，分別開啟跟蹤模塊線程(相當(dāng)于上述實施例的匹配跟蹤模塊24的部分功能)和匹配模塊線程(相當(dāng)于上述實施例的匹配跟蹤模塊24的部分功能)，將步驟1得到的視頻流分別傳入兩個模塊。

步驟3，匹配模塊用于對參考模板圖像與實時視頻流進行特征匹配，跟蹤模塊用于對參考模板圖像特征點(相當(dāng)于上述實施例的參考點)進行特征跟蹤。

步驟4，相關(guān)技術(shù)中圖像跟蹤的優(yōu)點在于其實時性能好，但其穩(wěn)定性、魯棒性較差。與圖像跟蹤正好相反，圖像匹配的穩(wěn)定性和魯棒性能好，但其實時性能相對于跟蹤算法較差。融合模塊(相當(dāng)于上述實施例的輸出模塊26的部分功能)結(jié)合了圖像匹配和圖像跟蹤的優(yōu)點，用于對匹配模塊和跟蹤模塊進行交互校驗。同時對于跟蹤失敗時，利用匹配模塊對跟蹤模塊進行起始和校正。

步驟5，輸出跟蹤模塊視頻流(相當(dāng)于上述實施例的輸出模塊26的部分功能)，并使用位姿估計模塊計算出的攝像機位姿將3d模型疊加在視頻流中。

圖3是根據(jù)本發(fā)明優(yōu)選實施例的圖像匹配跟蹤系統(tǒng)模塊結(jié)構(gòu)框圖，如圖3所示，該結(jié)構(gòu)框圖包括：圖像采集模塊，圖像跟蹤模塊，圖像匹配模塊，融合模塊，位資估計模塊，虛實融合與增強顯示模塊。

圖4是根據(jù)本發(fā)明優(yōu)選實施例的圖像跟蹤方法的流程圖，如圖4所示，該方法包括以下步驟：

步驟1，視頻流采集與參考模板圖像選?。?/p>

(1.1)調(diào)用安卓android開發(fā)包的開源計算機視覺庫(opensourcecomputervisionlibrary，簡稱為opencv)圖形處理庫打開攝像頭，采集視頻流。

(1.2)選擇視頻流的任意場景作為系統(tǒng)的參考模板圖像。

步驟2，匹配模塊對視頻流進行處理：

(2.1)對視頻流圖像和參考模板進行尺度變換，用線性插值的方法以g為縮放因子將匹配圖像縮放為3層金子塔，縮放因子g＝0.5。

(2.2)選用特征檢測算法對每一級金子塔圖像進行特征檢測，本發(fā)明優(yōu)選實施例中采用了加速段試驗的特點(featuresfromacceleratedsegmenttest，簡稱為fast)特征檢測算法。

(2.3)選用一種快速的二進制描述子對特征點進行特征描述，本發(fā)明優(yōu)選實施例中采用了定向簡介(orientedbrief，簡稱為orb)特征描述。

(2.4)采用近似最近鄰的快速庫(fastlibraryforapproximatenearstneighbors，簡稱為flann)算法進行快速特征匹配，同時利用隨機抽樣一致性(randomsample consensus，簡稱為ransac)算法濾除誤匹配點。

(2.5)利用匹配點對計算攝像機單應(yīng)性矩陣h(攝像機外參矩陣)，利用h計算參考模板四個頂點(參考點)的透視變換輸出，同時滿足下面四個條件時，判定匹配模塊的輸出是正確的。四個條件如下(1)、(2)、(3)、(4)所示：

(1)對匹配特征點數(shù)目設(shè)定最小閾值。當(dāng)匹配特征點數(shù)目小于設(shè)定閾值時，認為匹配失敗，停止匹配模塊輸出。本發(fā)明優(yōu)選實施例中匹配模塊設(shè)定的最小閾值為5-15。

(2)本發(fā)明優(yōu)選實施例使用了單應(yīng)性矩陣優(yōu)劣判斷。單應(yīng)性矩陣優(yōu)劣判斷的主要功能是對以匹配特征點計算出的單應(yīng)性矩陣進行進一步篩選，判斷是否是正確情況下的單應(yīng)性矩陣。優(yōu)劣判斷的主要算法步驟如下步驟a，b，c，d所示：

步驟a，第一次判斷選取單應(yīng)性矩陣h左上角2x2的子矩陣并計算子矩陣的行列式是否大于0。這個2x2矩陣稱作r矩陣，包含了估計出的變換的旋轉(zhuǎn)部分。正確的旋轉(zhuǎn)矩陣行列式值應(yīng)該為1，在一些情況下r可能包含尺度部分，因此r的行列式值可能有其他值，但是正確的旋轉(zhuǎn)和尺度值都是大于0的。

步驟b，第二次判斷獲取單應(yīng)性矩陣h中r矩陣(0，0)位置的元素以及(1，0)位置的元素，計算上述兩個元素的平方和并進行開方，開方結(jié)果的正常范圍應(yīng)該在(0.1-4)之間，其中0.1和4是根據(jù)經(jīng)驗設(shè)置的閾值。

步驟c，第三次判斷獲取單應(yīng)性矩陣h中r矩陣(0，1)位置的元素以及(1，1)位置的元素，計算上述兩個元素的平方和并進行開方，開方結(jié)果的正常范圍應(yīng)該在(0.1-4)之間，其中0.1和4是根據(jù)經(jīng)驗設(shè)置的閾值。

步驟d，第四次判斷獲取單應(yīng)性矩陣h(2，0)以及(2，1)位置的元素，計算它們的平方和并進行開方。上述兩個元素的位置表示投影變換，開方結(jié)果的正常值應(yīng)該大于0.002，其中0.002是根據(jù)經(jīng)驗設(shè)定的閾值。

(3)對匹配模塊對應(yīng)于參考點透視變換后的得到的匹配特征點進行判斷。如果圍成的圖形是凸四邊形，認為輸出正確，否則停止當(dāng)前圖像幀的結(jié)果輸出。本發(fā)明優(yōu)選實施例選用了模板圖像上四個頂點位置的參考點，這四個參考點分別在屏幕上的坐標是(w/4，h/4)，(3w/4，h/4)，(3w/4，3h/4)，(w/4，3h/4)。根據(jù)匹配模塊處理結(jié)果計算出的單應(yīng)性矩陣，計算參考點透視變換后的四個點，這四個點構(gòu)成的四邊形應(yīng)該是凸四邊形。

(4)計算匹配得到的特征點數(shù)與參考模板特征點的比率，若小于一定閾值，認為匹配失敗。具體方法為：設(shè)定一個圖像掩膜，并將該掩膜作為單應(yīng)性計算的一個輸出參數(shù)。在計算得到單應(yīng)性矩陣h后，統(tǒng)計掩膜內(nèi)特征點個數(shù)c1。同時，將參考模板(參考模板)上的特征點個數(shù)記為c2，計算c1/c2。本發(fā)明優(yōu)選實施例設(shè)定的閾值q取值范圍為0.2-0.4，即c1/c2<q時，認為匹配失敗，停止此圖像幀的匹配輸出，否則認為 匹配成功。

應(yīng)當(dāng)指出，上文提到的四種求精方式是并行的。即只有這些方式同時成立時，匹配模塊輸出結(jié)果才認為是正確可信的。

步驟3，跟蹤模塊對視頻流進行處理：

(3.1)在c代碼端對參考模板圖像進行尺度變換，用雙線性插值的方法以g為縮放因子將匹配圖像縮放為3層金子塔，縮放因子g＝0.5。

(3.2)選用fast-9特征檢測算法對每一級金子塔圖像進行特征檢測。

(3.3)選用金字塔lk光流跟蹤算法對每層圖像檢測到的特征點進行跟蹤。

(3.4)使用匹配模塊傳入的初始單應(yīng)矩陣以及視頻流圖像幀每一幀與前一幀之間的特征匹配計算跟蹤模塊單應(yīng)性矩陣，并采用ransac算法和下面的3個條件對跟蹤結(jié)果進行確認，在同時滿足下面的3個條件時，確定跟蹤處理結(jié)果正確，3個條件如下(1)、(2)、(3)所示：

(1)對跟蹤特征點數(shù)目設(shè)定最小閾值。當(dāng)跟蹤特征點數(shù)目小于設(shè)定閾值時，認為跟蹤失敗，停止跟蹤模塊輸出。本發(fā)明優(yōu)選實施例中跟蹤模塊設(shè)定的最小閾值為10-20。

(2)本發(fā)明優(yōu)選實施例使用了單應(yīng)性矩陣優(yōu)劣判斷。單應(yīng)性矩陣優(yōu)劣判斷的主要功能是對以跟蹤特征點計算出的單應(yīng)性矩陣進行進一步篩選，判斷是否是正確情況下的單應(yīng)性矩陣。優(yōu)劣判斷的主要算法步驟如下步驟a，b，c，d所示：

步驟a，第一次判斷選取單應(yīng)性矩陣h左上角2x2的子矩陣并計算子矩陣的行列式是否大于0。這個2x2矩陣稱作r矩陣，包含了估計出的變換的旋轉(zhuǎn)部分。正確的旋轉(zhuǎn)矩陣行列式值應(yīng)該為1，在一些情況下r可能包含尺度部分，因此r的行列式值可能有其他值，但是正確的旋轉(zhuǎn)和尺度值都是大于0的。

步驟b，第二次判斷獲取單應(yīng)性矩陣h中r矩陣(0，0)位置的元素以及(1，0)位置的元素，計算上述兩個元素的平方和并進行開方，開方結(jié)果的正常范圍應(yīng)該在(0.1-4)之間，其中0.1和4是根據(jù)經(jīng)驗設(shè)置的閾值。

步驟c，第三次判斷獲取單應(yīng)性矩陣h中r矩陣(0，1)位置的元素以及(1，1)位置的元素，計算上述兩個元素的平方和并進行開方，開方結(jié)果的正常范圍應(yīng)該在(0.1-4)之間，其中0.1和4是根據(jù)經(jīng)驗設(shè)置的閾值。

步驟d，第四次判斷獲取單應(yīng)性矩陣h(2，0)以及(2，1)位置的元素，計算它們的平方和并進行開方。上述兩個元素的位置表示投影變換，開方結(jié)果的正常值應(yīng)該大于0.002，其中0.002是根據(jù)經(jīng)驗設(shè)定的閾值。

(3)對跟蹤模塊對應(yīng)于參考點透視變換后的得到的跟蹤特征點進行判斷。如果圍 成的圖形是凸四邊形，認為輸出正確，否則停止當(dāng)前圖像幀的結(jié)果輸出。本發(fā)明優(yōu)選實施例選用了模板圖像上四個頂點位置的參考點，這四個參考點分別在屏幕上的坐標是(w/4，h/4)，(3w/4，h/4)，(3w/4，3h/4)，(w/4，3h/4)。根據(jù)跟蹤模塊處理結(jié)果計算出的單應(yīng)性矩陣，計算參考點透視變換后的四個點，這四個點構(gòu)成的四邊形應(yīng)該是凸四邊形。

應(yīng)當(dāng)指出，上文提到的三種求精方式是并行的。即只有這些方式同時成立時，跟蹤模塊輸出結(jié)果才認為是正確可信的。

步驟4，融合模塊對跟蹤模塊和匹配模塊進行交互校驗：

(4.1)在本發(fā)明優(yōu)選實施例的圖像匹配跟蹤系統(tǒng)初次運行時融合的步驟，匹配模塊利用參考模板圖像和實時視頻流進行圖像特征匹配并有正確輸出時，跟蹤模塊取得匹配模塊初始單應(yīng)性矩陣并檢測參考模板特征點開始光流跟蹤。為了匹配模塊和跟蹤模塊圖像幀的一致性，特征跟蹤從此時匹配模塊的同一幀開始。

(4.2)在本發(fā)明優(yōu)選實施例的圖像匹配跟蹤系統(tǒng)運行中的融合的步驟。匹配模塊每當(dāng)處理完一幀圖像并且有正確的輸出，就計算參考模板的參考點透視變換后輸出的四個點圍成的四邊形面積，記為s1。同時計算此時跟蹤模塊輸出的四個點圍成的四邊形面積，記為s2。計算兩個模塊的面積重疊比s2/s1。當(dāng)s2/s1大于設(shè)定的閾值ε時，認為跟蹤模塊運行狀況是正常的，即特征點跟蹤是正常的，此時不需要任何操作。當(dāng)s2/s1小于設(shè)定的閾值ε時，認為此時跟蹤丟失或者失敗，跟蹤模塊需要被校正。需要注意的是，由于匹配和跟蹤處理速度不同，正常運行情況下的四邊形重疊面積可能達不到很高的數(shù)值，因此閾值不能選取的太高，本發(fā)明優(yōu)選實施例中設(shè)定為0.6-0.8。

步驟5，估計攝像機姿態(tài)，3d模型導(dǎo)入，實現(xiàn)虛實融合與增強顯示：

(5.1)在java代碼端打開攝像頭，對觸摸屏響應(yīng)，觸摸屏幕完成屏幕區(qū)域內(nèi)參考模板選取，操作按鈕進行實現(xiàn)，并聲明與本地c代碼端的接口；

(5.2)在c代碼端使用c/c++代碼實現(xiàn)上述步驟2到步驟4，完成相機姿態(tài)的實時更新，并將姿態(tài)信息與其它中間數(shù)據(jù)信息通過接口返回給java代碼端；

(5.3)根據(jù)位姿估計模塊提供的攝像機姿態(tài)，在計算機程序語言java代碼端使用開放圖形庫子集(openglforembeddedsystems，簡稱為opengles)2.0對3d模型進行渲染，并根據(jù)實現(xiàn)的觸摸屏響應(yīng)功能，手指在屏幕上滑動時，實現(xiàn)3d(threedimensional)模型的各個方向移動、旋轉(zhuǎn)、尺寸改變，通過按鈕控制模型的更換。

本發(fā)明優(yōu)選實施例的圖像跟蹤方法，步驟綜合考慮圖像匹配和圖像跟蹤的特點，提出了一種基于模塊交互的移動增強現(xiàn)實注冊定位方法，主要采用圖像匹配與圖像跟蹤并行運行并不斷交互校驗的方式，結(jié)合了圖像匹配與圖像跟蹤的優(yōu)點。利用該方法實現(xiàn)了基于移動終端的注冊定位及增強現(xiàn)實系統(tǒng)，其優(yōu)點主要表現(xiàn)在以下兩個方面：

(1)本發(fā)明優(yōu)選實施例通過采用匹配模塊與跟蹤模塊并行運行并實時運行交互的方式，與單純使用圖像匹配方法或者特征跟蹤方法相比，提高了注冊定位的實時性和穩(wěn)定性，滿足了移動增強現(xiàn)實注冊定位的要求。

(2)本發(fā)明優(yōu)選實施例可以在移動終端平臺上在正常、尺度放大縮小、旋轉(zhuǎn)，部分遮擋等環(huán)境下實現(xiàn)實時、穩(wěn)定、魯棒的注冊跟蹤，并且在參考模板圖像丟失時有效地進行跟蹤恢復(fù)。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到根據(jù)上述實施例的方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)(如rom/ram、磁碟、光盤)中，包括若干指令用以使得一臺終端設(shè)備(可以是手機，計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。

本發(fā)明的實施例還提供了一種存儲介質(zhì)?？蛇x地，在本實施例中，上述存儲介質(zhì)可以被設(shè)置為存儲用于執(zhí)行以下步驟的程序代碼：

s1，提取實時視頻流中的指定圖像作為參考圖像；

s2，將該實時視頻流和該參考圖像中預(yù)先選定的參考點進行特征匹配，得到匹配特征點；以及對該參考點進行特征跟蹤，得到跟蹤特征點；

s3，在該匹配特征點與該跟蹤特征點之間符合預(yù)設(shè)條件時，輸出該實時視頻流的圖像幀。

可選地，存儲介質(zhì)還被設(shè)置為存儲用于執(zhí)行上述實施例的方法步驟的程序代碼：

可選地，在本實施例中，上述存儲介質(zhì)可以包括但不限于：u盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

可選地，在本實施例中，處理器根據(jù)存儲介質(zhì)中已存儲的程序代碼執(zhí)行上述實施例的方法步驟。

可選地，本實施例中的具體示例可以參考上述實施例及可選實施方式中所描述的示例，本實施例在此不再贅述。

顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個集成電路模塊，或者將它們中的多 個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。