本發(fā)明涉及ar領域，特別是涉及一種應用于ar場景下的武器瞄準系統(tǒng)的圖層融合方法。

背景技術：

隨著ar技術的發(fā)展，市場上已有許多用于游戲互動和模擬訓練的系統(tǒng)，但是此類系統(tǒng)中的武器瞄準系統(tǒng)在使用眼鏡與瞄準器相結合時，現(xiàn)有技術中的圖層融合方法存在許多缺陷，使得體驗達不到令人滿意的效果；此外，在軍事應用領域中，傳統(tǒng)的武器瞄準系統(tǒng)缺少先進的機器視覺輔助，無法做到每時每刻地進行實時瞄準，而通過ar輔助瞄準，可以解決這一問題，使得武器與人結合得更加緊密，達到快速響應，由此能更好地發(fā)揮出武器的作用。

技術實現(xiàn)要素：

有鑒于此，本發(fā)明的目的是提供一種應用于ar場景下的武器瞄準系統(tǒng)的圖層融合方法，在現(xiàn)實場景下生成虛擬3d目標，能夠使眼鏡使用者在游戲互動的應用領域完成模擬訓練，在軍事實戰(zhàn)的應用領域實現(xiàn)人槍分離的實時瞄準以及具有機器視覺輔助的射擊能力。

本發(fā)明采用以下方案實現(xiàn)：一種應用于ar場景下的武器瞄準系統(tǒng)的圖層融合方法，包括以下步驟：

步驟s1：提供一武器瞄準系統(tǒng)，該系統(tǒng)包括一眼鏡和一瞄準器；所述眼鏡與瞄準器通過有線或無線的方式進行通訊連接，相互傳輸數據；

步驟s2：將該武器瞄準系統(tǒng)中瞄準器采集到的圖像進行處理，并傳輸至眼鏡上進行顯示；

步驟s3：該武器瞄準系統(tǒng)中將眼鏡與瞄準器的圖層融合，使用者通過眼鏡實景部分與虛景部分，看到的實景部分是人眼實際看到的景象，虛景部分是圖像處理模塊生成的疊加圖層。

進一步地，該武器瞄準系統(tǒng)中將眼鏡與瞄準器的圖層融合分別兩種方式：方式一為直接將瞄準器中的瞄準鏡的圖像混合到眼鏡的圖像上，方式二為通過一綜合傳感器信息判斷出當前瞄準器視角是否與眼鏡視角相交，如果相交，則啟動圖層融合；如果不相交，則不啟動圖層融合。

進一步地，所述瞄準器中的瞄準鏡的放大系數大于等于1。

進一步地，當采用方式二進行圖層融合時，當瞄準器視角與眼鏡視角相交時，啟動圖像識別，匹配瞄準器圖像中的物體與眼鏡圖像中的物體的位置關系，分為以下兩種情況：

當瞄準鏡放大系數大于1時，需要先對圖像進行縮放處理，由于圖像放大后，瞄準鏡中只剩下物體的局部信息，通過此信息直接與眼鏡圖像進行匹配相對困難，與瞄準鏡上光學攝像頭拍攝的圖像先進行匹配，然后再將結果送到眼鏡側進行圖像比較；

當瞄準鏡放大系數為1時，由于視角透視的差異，瞄準鏡的成像與眼鏡的成像存在一定差異，則采用圖像模糊匹配算法，視覺識別技術以及slam技術進行輔助匹配；

當匹配結束后，只將瞄準器上的瞄準點信息繪制到眼鏡圖層上。

進一步地，采用所述slam技術進行輔助匹配時，在匹配結束后，使用者在所述眼鏡圖層上看到一條三維的虛化的瞄準鏡的中軸線。

特別地，通過slam技術，可實時進行3d（三維）空間的地圖重建和目標跟蹤，因此可做到精確的視角匹配，同時還能對瞄準鏡的定位（位置和姿態(tài)）進行實時的校準補償。對于通過slam技術實現(xiàn)匹配的，匹配結束后，會在眼鏡圖層上看到一條三維的虛化的瞄準鏡的中軸線。

相較于現(xiàn)有技術，本發(fā)明具有以下有益效果：本發(fā)明中提供的系統(tǒng)與方法主要應用于軍事實戰(zhàn)，模擬訓練，游戲娛樂等用途。對于軍事實戰(zhàn)，該方法能夠應用于目視相對安全的環(huán)境，此時瞄準器上的傳輸來的信息對眼鏡是一種補充，主要是輔助眼鏡使用者實時了解當前瞄準器的工作狀態(tài)（如瞄準的位置，目標距離等），對于眼鏡使用者的好處是：1.不必端起槍就能完成瞄準，在戰(zhàn)斗過程中有利于節(jié)省體力，且保持視野開闊；2.由于免除了端槍和瞄準這兩個“多余”動作，縮短了射擊判斷決策的時間，在戰(zhàn)斗中能提高射擊速度，比敵方能更快地發(fā)起攻擊，有利于提高作戰(zhàn)能力以及戰(zhàn)場生存能力；3.能夠保持對目標的實時瞄準和提供機器視覺輔助，有利于保持較高的射擊精度，以及對戰(zhàn)場信息的快速把握。對于模擬訓練，游戲娛樂，該方法能在現(xiàn)實場景下生成虛擬3d目標，與眼鏡使用者完成游戲互動或模擬訓練，在這種場景下，眼鏡使用者會有較好的沉浸感。

附圖說明

圖1是本發(fā)明實施例中采用方式一進行圖層融合時的示意圖。

圖2是本發(fā)明實施例中采用方式二進行圖層融合時的示意圖。

具體實施方式

下面結合附圖及實施例對本發(fā)明做進一步說明。

本實施例提供一種應用于ar場景下的武器瞄準系統(tǒng)的圖層融合方法，包括以下步驟：

步驟s1：提供一武器瞄準系統(tǒng)，該系統(tǒng)包括一眼鏡和一瞄準器；所述眼鏡與瞄準器通過有線或無線的方式進行通訊連接，相互傳輸數據；

步驟s2：將該武器瞄準系統(tǒng)中瞄準器采集到的圖像進行處理，并傳輸至眼鏡上進行顯示；

步驟s3：該武器瞄準系統(tǒng)中將眼鏡與瞄準器的圖層融合，使用者通過眼鏡實景部分與虛景部分，看到的實景部分是人眼實際看到的景象，虛景部分是圖像處理模塊生成的疊加圖層。

在本實施例中，該武器瞄準系統(tǒng)中將眼鏡與瞄準器的圖層融合分別兩種方式：方式一為直接將瞄準器中的瞄準鏡的圖像混合到眼鏡的圖像上，如圖1所示，方式二為通過一綜合傳感器信息判斷出當前瞄準器視角是否與眼鏡視角相交，如果相交，則啟動圖層融合；如果不相交（例如槍口朝向其它方位），則不啟動圖層融合，以降低計算功耗，如圖2所示。

在本實施例中，采用方式一的優(yōu)點為：直接融合，無需校準，圖像時延低；缺點為：兩個圖層顯示，不夠直觀；采用方式二的優(yōu)點為：眼鏡上的圖像比較清爽，當移動槍口時，只有紅色的瞄準點在跟隨移動，缺點為需要校準，計算量可能較大，可能會引入一定時延。

在本實施例中，所述瞄準器中的瞄準鏡的放大系數大于等于1。

在本實施例中，當采用方式二進行圖層融合時，當瞄準器視角與眼鏡視角相交時，啟動圖像識別，匹配瞄準器圖像中的物體與眼鏡圖像中的物體的位置關系，分為以下兩種情況：

當瞄準鏡放大系數大于1時，需要先對圖像進行縮放處理，由于圖像放大后，瞄準鏡中只剩下物體的局部信息，通過此信息直接與眼鏡圖像進行匹配相對困難，與瞄準鏡上光學攝像頭拍攝的圖像先進行匹配，然后再將結果送到眼鏡側進行圖像比較；

當瞄準鏡放大系數為1時，由于視角透視的差異，瞄準鏡的成像與眼鏡的成像存在一定差異，則采用圖像模糊匹配算法，視覺識別技術以及slam技術進行輔助匹配；

當匹配結束后，只將瞄準器上的瞄準點信息繪制到眼鏡圖層上。

在本實施例中，采用所述slam技術進行輔助匹配時，在匹配結束后，使用者在所述眼鏡圖層上看到一條三維的虛化的瞄準鏡的中軸線。

在本實施例中，采用圖像模糊匹配算法，這種方法計算量小，以損失一定精度為代價；通過視覺識別技術，能夠識別出目標是同一物體，然后進行相關合并。

在本實施例中，通過slam技術，可實時進行3d空間的地圖重建和目標跟蹤，因此可做到精確的視角匹配，同時還能對瞄準鏡的定位（位置和姿態(tài)）進行實時的校準補償；更進一步，如果此項技術做得好，甚至不需要進行圖像匹配，而是通過解算瞄準鏡的定位信息，就能夠得到瞄準器在眼鏡視角圖像上的投影。對于通過slam技術實現(xiàn)匹配的，匹配結束后，會在眼鏡圖層上看到一條三維的虛化的瞄準鏡的中軸線。

以上所述僅為本發(fā)明的較佳實施例，凡依本發(fā)明申請專利范圍所做的均等變化與修飾，皆應屬本發(fā)明的涵蓋范圍。