本發(fā)明涉及一種基于武器瞄準(zhǔn)系統(tǒng)的聯(lián)合組網(wǎng)使用方法。

背景技術(shù)：

傳統(tǒng)的武器瞄準(zhǔn)系統(tǒng)，均需通過人眼靠近武器瞄準(zhǔn)器，進(jìn)而通過武器瞄準(zhǔn)器瞄準(zhǔn)物體，來達(dá)到最終的射擊，由此，人在每次武器射擊時(shí)均需進(jìn)行瞄準(zhǔn)操作、抬槍操作，長時(shí)間的使用武器，易于對(duì)于人的體力及精神造成較大的損耗，為此，本申請(qǐng)?zhí)岢隽艘环N能夠?qū)崿F(xiàn)人、槍分離的瞄準(zhǔn)系統(tǒng)，通過將武器瞄準(zhǔn)器上顯示的圖像實(shí)時(shí)傳輸給使用者佩戴的眼鏡，如此即可讓使用者不必進(jìn)行抬槍操作，就可進(jìn)行瞄準(zhǔn)、射擊過程，并且該武器瞄準(zhǔn)系統(tǒng)可進(jìn)一步應(yīng)用于無人飛機(jī)等需要實(shí)現(xiàn)人、槍空間分離的各種場合。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于武器瞄準(zhǔn)系統(tǒng)的聯(lián)合組網(wǎng)使用方法，能夠克服傳統(tǒng)槍械瞄準(zhǔn)系統(tǒng)，需要人眼靠近武器瞄準(zhǔn)器的弊端，而實(shí)現(xiàn)了人眼與瞄準(zhǔn)器在空間上的分離，具有極大的推廣價(jià)值；且由于采用組網(wǎng)方式，實(shí)現(xiàn)了各武器瞄準(zhǔn)系統(tǒng)的全方面控制，具有較大的戰(zhàn)略意義。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于武器瞄準(zhǔn)系統(tǒng)的聯(lián)合組網(wǎng)使用方法，包括第一至第n武器瞄準(zhǔn)系統(tǒng)、武器作戰(zhàn)中心，具體實(shí)現(xiàn)方法如下：

s01：武器作戰(zhàn)中心與第一至第n武器瞄準(zhǔn)系統(tǒng)進(jìn)行通信，并對(duì)第一至第n武器瞄準(zhǔn)系統(tǒng)進(jìn)行編號(hào)；

s02：第一至第n武器瞄準(zhǔn)系統(tǒng)將獲取的圖像信息及傳感信息傳輸給武器作戰(zhàn)中心；

s03：武器作戰(zhàn)中心根據(jù)第一至第n武器瞄準(zhǔn)系統(tǒng)傳輸?shù)膱D像信息及傳感信息，實(shí)現(xiàn)各武器瞄準(zhǔn)系統(tǒng)信息的共享協(xié)作及第一至第n武器瞄準(zhǔn)系統(tǒng)的控制。

在本發(fā)明一實(shí)施例中，所述第一至第n武器瞄準(zhǔn)系統(tǒng)之間還能夠進(jìn)行相互通信，以實(shí)現(xiàn)圖像信息的共享。

在本發(fā)明一實(shí)施例中，所述武器瞄準(zhǔn)系統(tǒng)均包括設(shè)置于眼鏡上的眼鏡子系統(tǒng)以及設(shè)置于瞄準(zhǔn)器上的瞄準(zhǔn)子系統(tǒng)；

所述眼鏡子系統(tǒng)包括：

傳感模塊，用于感應(yīng)瞄準(zhǔn)子系統(tǒng)的發(fā)射模塊發(fā)射出的不可見光，并發(fā)送相應(yīng)信息至眼鏡子系統(tǒng)的第一圖像模塊；

語音模塊，用于實(shí)現(xiàn)語音交互功能；

第一電源模塊，用于提供眼鏡子系統(tǒng)整體運(yùn)行的電能；

第一圖像模塊，根據(jù)傳感模塊發(fā)送信息，產(chǎn)生相應(yīng)圖像信息，通過設(shè)置于眼鏡上的微型投影儀投射圖像信息至眼鏡上；

第一光學(xué)模塊，設(shè)置于眼鏡上鏡片位置處的光波導(dǎo)鏡片，便于微型投影儀投射圖像信息至該光波導(dǎo)鏡片上；

第一通訊模塊，用于實(shí)現(xiàn)眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的通信；

第一視覺模塊，用于實(shí)現(xiàn)包括手勢、物體識(shí)別與跟蹤以及傳感信息的處理，該第一視覺模塊還具有slam計(jì)算能力；

中心通訊模塊，用于實(shí)現(xiàn)與武器作戰(zhàn)中心的通信、以及與其他武器瞄準(zhǔn)系統(tǒng)的通信；

所述瞄準(zhǔn)子系統(tǒng)包括：

第二電源模塊，用于提供瞄準(zhǔn)子系統(tǒng)整體運(yùn)行的電能；

第二光學(xué)模塊，包括設(shè)置于瞄準(zhǔn)器目鏡上的光學(xué)瞄準(zhǔn)系統(tǒng)；

第二通訊模塊，用于實(shí)現(xiàn)瞄準(zhǔn)子系統(tǒng)與眼鏡子系統(tǒng)之間的通信；

第二圖像模塊，用于實(shí)現(xiàn)對(duì)所述第二光學(xué)模塊獲取的圖像信息進(jìn)行編碼處理；

第二視覺模塊，用于實(shí)現(xiàn)包括物體識(shí)別、跟蹤；

第二傳感模塊，用于獲取瞄準(zhǔn)器觀察圖像信息及傳感信息；

控制模塊，用于實(shí)現(xiàn)與武器火控系統(tǒng)的連動(dòng)。

在本發(fā)明一實(shí)施例中，該武器瞄準(zhǔn)系統(tǒng)的實(shí)現(xiàn)過程如下，

s41：眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)；

s42：瞄準(zhǔn)器的第二光學(xué)模塊獲取瞄準(zhǔn)器上設(shè)置的瞄準(zhǔn)鏡目鏡觀察到的圖像信息，瞄準(zhǔn)器的第二傳感模塊獲取瞄準(zhǔn)器觀察圖像信息及傳感信息，通過第二通訊模塊傳輸給眼鏡子系統(tǒng)的第一通訊模塊；

s43：第一通訊模塊將圖像信息及傳感信息傳輸給第一視覺模塊，而后經(jīng)由第一視覺模塊進(jìn)行處理后傳輸給第一圖像模塊產(chǎn)生相應(yīng)的圖像信息，通過設(shè)置于眼鏡上的微型投影儀投射圖像信息至眼鏡上的光波導(dǎo)鏡片。

在本發(fā)明一實(shí)施例中，所述步驟s41中，眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)方法包括如下三種：

（1）使用者帶上眼鏡，通過手勢、語音或眼鏡上的觸控開關(guān)開啟校準(zhǔn)功能，而后將瞄準(zhǔn)器的第二光學(xué)模塊的瞄準(zhǔn)鏡目鏡靠近眼鏡上的傳感模塊，觀察光波導(dǎo)鏡片上顯示的投射圖像，當(dāng)投射圖像的中心與通過瞄準(zhǔn)鏡獲取的圖像的中心完全重合時(shí)，即完成眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)；

（2）首先在a位置，使用者帶上眼鏡，通過手勢、語音或眼鏡上的觸控開關(guān)開啟校準(zhǔn)功能，而后通過瞄準(zhǔn)器上射出激光，激光射到瞄準(zhǔn)目標(biāo)上，使用者調(diào)整眼鏡，使得眼鏡上的光波導(dǎo)鏡片顯示的投射圖像中心與激光圓心重合，然后使用者從a位置移動(dòng)到b位置，再重復(fù)一次上述的操作，通過兩次移動(dòng)構(gòu)成的兩個(gè)空間三角形，聯(lián)立方程，即可計(jì)算得出眼鏡與瞄準(zhǔn)器的空間相對(duì)位置關(guān)系，即完成眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)；

（3）所述眼鏡還具有slam計(jì)算能力，通過眼鏡完成空間感知定位，對(duì)周圍環(huán)境完成三維地圖的重建，同時(shí)眼鏡還能夠解析瞄準(zhǔn)器發(fā)送來的圖像，進(jìn)而從圖像推算得到瞄準(zhǔn)器的視角，進(jìn)而根據(jù)深度信息推算出瞄準(zhǔn)器的位置；并在后續(xù)的移動(dòng)過程中，眼鏡對(duì)瞄準(zhǔn)器的定位信息保持實(shí)時(shí)跟蹤，通過多次迭代計(jì)算，即可完成眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)。

在本發(fā)明一實(shí)施例中，所述步驟s41至s43中，還需對(duì)瞄準(zhǔn)器傳回的圖像進(jìn)行圖層融合處理，包括如下五種方式：

（1）不進(jìn)行處理；

（2）所述眼鏡還具有slam計(jì)算能力，通過眼鏡完成空間感知定位，對(duì)周圍環(huán)境完成三維地圖的重建，同時(shí)眼鏡還能夠解析瞄準(zhǔn)器發(fā)送來的圖像，進(jìn)而從圖像推算得到瞄準(zhǔn)器的視角，由此，判斷當(dāng)前瞄準(zhǔn)器視角是否與眼鏡視角相交，若不相交，則不進(jìn)行處理；若相交，則匹配瞄準(zhǔn)器圖像中的物體與眼鏡實(shí)際觀察到圖像中的物體的位置關(guān)系：

若瞄準(zhǔn)器放大系數(shù)大于1時(shí)，需要先對(duì)圖像進(jìn)行scaling處理，此時(shí)由于圖像放大后，瞄準(zhǔn)鏡中僅剩下物體的局部信息，通過此信息直接與眼鏡圖像進(jìn)行匹配相對(duì)困難，可以與瞄準(zhǔn)鏡上第二傳感模塊拍攝的圖像先進(jìn)行匹配，然后再將結(jié)果送到眼鏡側(cè)進(jìn)行圖像比較；

若瞄準(zhǔn)鏡放大系數(shù)為1時(shí)，由于視角透視的差異，瞄準(zhǔn)鏡的成像與眼鏡的成像存在差異，此時(shí)通過以下算法進(jìn)行輔助匹配：

a）圖像模糊匹配算法；

b）通過視覺識(shí)別，能夠識(shí)別出目標(biāo)是同一物體，然后進(jìn)行相關(guān)合并；

c）通過slam技術(shù)，實(shí)時(shí)進(jìn)行3d空間的地圖重建和目標(biāo)跟蹤；

（3）關(guān)閉眼鏡直接觀察圖像的功能，直接將瞄準(zhǔn)器第二光學(xué)模塊獲取的圖像與瞄準(zhǔn)器的第二傳感模塊觀察的圖像混合；

（4）關(guān)閉眼鏡直接觀察圖像的功能，匹配瞄準(zhǔn)器圖像中的物體與瞄準(zhǔn)器的第二傳感模塊觀察的圖像中的物體的位置關(guān)系：若瞄準(zhǔn)器放大系數(shù)大于1時(shí)，需要先對(duì)圖像進(jìn)行scaling處理，此時(shí)由于圖像放大后，瞄準(zhǔn)鏡中僅剩下物體的局部信息，將此信息與瞄準(zhǔn)鏡上第二傳感模塊觀察的圖像進(jìn)行匹配，匹配過程通過以下算法實(shí)現(xiàn)：

a）圖像模糊匹配算法；

b）通過視覺識(shí)別，能夠識(shí)別出目標(biāo)是同一物體，然后進(jìn)行相關(guān)合并；

（5）直接將眼鏡觀察圖像與眼鏡傳感模塊感應(yīng)的圖像信息、瞄準(zhǔn)器傳輸圖像信息進(jìn)行融合。

在本發(fā)明一實(shí)施例中，所述步驟s41之前還需進(jìn)行眼鏡的第一通訊模塊與瞄準(zhǔn)器的第二通訊模塊的配對(duì)，配對(duì)方式如下，

若第一通訊模塊與第二通訊模塊通過無線方式連接，由于在同一無線信道上可能共存多個(gè)眼鏡與瞄準(zhǔn)器，為了避免多個(gè)設(shè)備之間產(chǎn)生互相干擾，需要為眼鏡和瞄準(zhǔn)器進(jìn)行一一配對(duì)的id編號(hào)，具體配對(duì)過程如下：

a）在眼鏡ax和瞄準(zhǔn)器bx上分別觸發(fā)配對(duì)過程；

b）進(jìn)入配對(duì)狀態(tài)后，眼鏡使用id編號(hào)default_a，瞄準(zhǔn)器使用id編號(hào)default_b，眼鏡ax和瞄準(zhǔn)器bx以此默認(rèn)id建立起無線連接；

c）瞄準(zhǔn)器bx先向眼鏡ax發(fā)送配對(duì)請(qǐng)求，該配對(duì)請(qǐng)求中攜帶瞄準(zhǔn)器bx的新id，為了避免數(shù)據(jù)傳輸可能錯(cuò)誤，瞄準(zhǔn)器bx會(huì)重傳這個(gè)配對(duì)請(qǐng)求，直到眼鏡ax收到為止；

d）眼鏡ax收到配對(duì)請(qǐng)求后，向瞄準(zhǔn)器bx回復(fù)配對(duì)應(yīng)答，該配對(duì)應(yīng)答中攜帶眼鏡ax的新id，瞄準(zhǔn)器bx的新id，以及新的secretcode；

e）瞄準(zhǔn)器bx收到配對(duì)應(yīng)答后，向眼鏡ax發(fā)送配對(duì)確認(rèn)。

1．根據(jù)權(quán)利要求7所述的基于武器瞄準(zhǔn)系統(tǒng)的聯(lián)合組網(wǎng)使用方法，其特征在于：所述第一通訊模塊與瞄準(zhǔn)器的第二通訊模塊的配對(duì)過程需采用多級(jí)密鑰機(jī)制實(shí)現(xiàn)：

a）在配對(duì)過程中，由眼鏡負(fù)責(zé)生成新的secretcode，并通過配對(duì)過程將secretcode發(fā)送給瞄準(zhǔn)器；眼鏡和瞄準(zhǔn)器分別存儲(chǔ)新的secretcode，所述secretcode為是眼鏡和瞄準(zhǔn)器之間的第一級(jí)密鑰；

b）sessionkey是眼鏡和瞄準(zhǔn)器之間的第二級(jí)密鑰；sessionkey在眼鏡和瞄準(zhǔn)器之間每次建立會(huì)話連接時(shí)生成，通過握手過程來完成協(xié)商；在一次會(huì)話過程中，sessionkey將保持不變；在建立新的會(huì)話時(shí)，老的sessionkey將失效；通過sessionkey加密的密文，能夠通過secretcode，解密得到sessionkey明文；

c）完成握手過程后，眼鏡和瞄準(zhǔn)器之間在此次會(huì)話隨后的通信過程中，所有的數(shù)據(jù)將使用sessionkey為密鑰進(jìn)行加密和解密。

在本發(fā)明一實(shí)施例中，述第一通訊模塊與瞄準(zhǔn)器的第二通訊模塊的配對(duì)過程還需采用可防止重放攻擊的加密技術(shù)。

相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明能夠克服傳統(tǒng)槍械瞄準(zhǔn)系統(tǒng)，需要人眼靠近武器瞄準(zhǔn)器的弊端，而實(shí)現(xiàn)了人眼與瞄準(zhǔn)器在空間上的分離，具有極大的推廣價(jià)值；且由于采用組網(wǎng)方式，實(shí)現(xiàn)了各武器瞄準(zhǔn)系統(tǒng)的全方面控制，具有較大的戰(zhàn)略意義。

附圖說明

圖1為本發(fā)明武器瞄準(zhǔn)系統(tǒng)組網(wǎng)框圖。

圖2為本發(fā)明的一種武器瞄準(zhǔn)系統(tǒng)原理框圖。

圖3為本發(fā)明眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)校準(zhǔn)方式示意圖一。

圖4為本發(fā)明眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)校準(zhǔn)方式示意圖二。

圖5為本發(fā)明圖層融合處理方式示意圖一。

圖6為本發(fā)明圖層融合處理方式示意圖二。

圖7為本發(fā)明圖層融合處理方式示意圖三。

圖8為本發(fā)明圖層融合處理方式示意圖四。

圖9為本發(fā)明圖層融合處理方式示意圖五。

圖10為本發(fā)明第一通訊模塊與第二通訊模塊配對(duì)過程示意圖。

圖11為本發(fā)明通信過程采用的加密通訊機(jī)制示意圖。

圖12為本發(fā)明通信過程采用的加密通訊機(jī)制的握手過程示意圖。

具體實(shí)施方式

下面結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案進(jìn)行具體說明。

如圖1所示，本發(fā)明一種基于武器瞄準(zhǔn)系統(tǒng)的聯(lián)合組網(wǎng)使用方法，包括第一至第n武器瞄準(zhǔn)系統(tǒng)、武器作戰(zhàn)中心，具體實(shí)現(xiàn)方法如下：

s01：武器作戰(zhàn)中心與第一至第n武器瞄準(zhǔn)系統(tǒng)進(jìn)行通信，并對(duì)第一至第n武器瞄準(zhǔn)系統(tǒng)進(jìn)行編號(hào)；

s02：第一至第n武器瞄準(zhǔn)系統(tǒng)將獲取的圖像信息及傳感信息傳輸給武器作戰(zhàn)中心；

s03：武器作戰(zhàn)中心根據(jù)第一至第n武器瞄準(zhǔn)系統(tǒng)傳輸?shù)膱D像信息及傳感信息，實(shí)現(xiàn)各武器瞄準(zhǔn)系統(tǒng)信息的共享協(xié)作及第一至第n武器瞄準(zhǔn)系統(tǒng)的控制。

所述第一至第n武器瞄準(zhǔn)系統(tǒng)之間還能夠進(jìn)行相互通信，以實(shí)現(xiàn)圖像信息的共享。

如圖2所示，所述武器瞄準(zhǔn)系統(tǒng)均包括設(shè)置于眼鏡上的眼鏡子系統(tǒng)以及設(shè)置于瞄準(zhǔn)器上的瞄準(zhǔn)子系統(tǒng)；

所述眼鏡子系統(tǒng)包括：

傳感模塊，用于感應(yīng)瞄準(zhǔn)子系統(tǒng)的發(fā)射模塊發(fā)射出的不可見光，并發(fā)送相應(yīng)信息至眼鏡子系統(tǒng)的第一圖像模塊；傳感模塊包括光學(xué)攝像頭、多路深度攝像頭；

語音模塊，用于實(shí)現(xiàn)語音交互功能；語音模塊包括骨傳導(dǎo)耳機(jī)、mic；

第一電源模塊，用于提供眼鏡子系統(tǒng)整體運(yùn)行的電能；

第一圖像模塊，根據(jù)傳感模塊發(fā)送信息，產(chǎn)生相應(yīng)圖像信息，通過設(shè)置于眼鏡上的微型投影儀投射圖像信息至眼鏡上；

第一光學(xué)模塊，設(shè)置于眼鏡上鏡片位置處的光波導(dǎo)鏡片以及l(fā)cos微投影組件，便于微型投影儀投射圖像信息至該光波導(dǎo)鏡片上；

第一通訊模塊，用于實(shí)現(xiàn)眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的通信；

第一視覺模塊，用于實(shí)現(xiàn)包括手勢、物體識(shí)別與跟蹤以及傳感信息的處理，該第一視覺模塊還具有slam計(jì)算能力；第一視覺模塊還具有slam計(jì)算功能，3d地圖重建功能；

中心通訊模塊（即圖1中的通訊模塊b），用于實(shí)現(xiàn)與武器作戰(zhàn)中心的通信、以及與其他武器瞄準(zhǔn)系統(tǒng)的通信；

所述瞄準(zhǔn)子系統(tǒng)包括：

第二電源模塊，用于提供瞄準(zhǔn)子系統(tǒng)整體運(yùn)行的電能；

第二光學(xué)模塊，包括設(shè)置于瞄準(zhǔn)器目鏡上的光學(xué)瞄準(zhǔn)系統(tǒng)；

第二通訊模塊，用于實(shí)現(xiàn)瞄準(zhǔn)子系統(tǒng)與眼鏡子系統(tǒng)之間的通信；

第二圖像模塊，用于實(shí)現(xiàn)對(duì)所述第二光學(xué)模塊獲取的圖像信息進(jìn)行編碼處理；

第二視覺模塊，用于實(shí)現(xiàn)包括物體識(shí)別、跟蹤；

第二傳感模塊，用于獲取瞄準(zhǔn)器觀察圖像信息及傳感信息；第二傳感模塊包括光學(xué)攝像頭、深度攝像頭；

控制模塊，用于實(shí)現(xiàn)與武器火控系統(tǒng)的連動(dòng)。

上述武器瞄準(zhǔn)系統(tǒng)的實(shí)現(xiàn)過程如下，

s41：眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)；

s42：瞄準(zhǔn)器的第二光學(xué)模塊獲取瞄準(zhǔn)器上設(shè)置的瞄準(zhǔn)鏡目鏡觀察到的圖像信息，瞄準(zhǔn)器的第二傳感模塊獲取瞄準(zhǔn)器觀察圖像信息及傳感信息，通過第二通訊模塊傳輸給眼鏡子系統(tǒng)的第一通訊模塊；

s43：第一通訊模塊將圖像信息及傳感信息傳輸給第一視覺模塊，而后經(jīng)由第一視覺模塊進(jìn)行處理后傳輸給第一圖像模塊產(chǎn)生相應(yīng)的圖像信息，通過設(shè)置于眼鏡上的微型投影儀投射圖像信息至眼鏡上的光波導(dǎo)鏡片。

如圖3-4所示，所述步驟s41中，眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)方法包括如下三種：

（1）使用者帶上眼鏡，通過手勢、語音或眼鏡上的觸控開關(guān)開啟校準(zhǔn)功能，而后將瞄準(zhǔn)器的第二光學(xué)模塊的瞄準(zhǔn)鏡目鏡靠近眼鏡上的傳感模塊，觀察光波導(dǎo)鏡片上顯示的投射圖像，當(dāng)投射圖像的中心與通過瞄準(zhǔn)鏡獲取的圖像的中心完全重合時(shí)，即完成眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)；

（2）首先在a位置，使用者帶上眼鏡，通過手勢、語音或眼鏡上的觸控開關(guān)開啟校準(zhǔn)功能，而后通過瞄準(zhǔn)器上射出激光，激光射到瞄準(zhǔn)目標(biāo)上，使用者調(diào)整眼鏡，使得眼鏡上的光波導(dǎo)鏡片顯示的投射圖像中心與激光圓心重合，然后使用者從a位置移動(dòng)到b位置，再重復(fù)一次上述的操作，通過兩次移動(dòng)構(gòu)成的兩個(gè)空間三角形，聯(lián)立方程，即可計(jì)算得出眼鏡與瞄準(zhǔn)器的空間相對(duì)位置關(guān)系，即完成眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)；

（3）所述眼鏡還具有slam計(jì)算能力，通過眼鏡完成空間感知定位，對(duì)周圍環(huán)境完成三維地圖的重建，同時(shí)眼鏡還能夠解析瞄準(zhǔn)器發(fā)送來的圖像，進(jìn)而從圖像推算得到瞄準(zhǔn)器的視角，進(jìn)而根據(jù)深度信息推算出瞄準(zhǔn)器的位置；并在后續(xù)的移動(dòng)過程中，眼鏡對(duì)瞄準(zhǔn)器的定位信息保持實(shí)時(shí)跟蹤，通過多次迭代計(jì)算，即可完成眼鏡子系統(tǒng)與瞄準(zhǔn)子系統(tǒng)之間的校準(zhǔn)。

如圖5-8所示，所述步驟s41至s43中，還需對(duì)瞄準(zhǔn)器傳回的圖像進(jìn)行圖層融合處理，包括如下五種方式：

（1）如圖5所示，不進(jìn)行處理，即直接將瞄準(zhǔn)鏡的圖像混合到眼鏡的圖像上；

（2）如圖6所示，所述眼鏡還具有slam計(jì)算能力，通過眼鏡完成空間感知定位，對(duì)周圍環(huán)境完成三維地圖的重建，同時(shí)眼鏡還能夠解析瞄準(zhǔn)器發(fā)送來的圖像，進(jìn)而從圖像推算得到瞄準(zhǔn)器的視角，由此，判斷當(dāng)前瞄準(zhǔn)器視角是否與眼鏡視角相交，若不相交，則不進(jìn)行處理；若相交，則匹配瞄準(zhǔn)器圖像中的物體與眼鏡實(shí)際觀察到圖像中的物體的位置關(guān)系：

若瞄準(zhǔn)器放大系數(shù)大于1時(shí)，需要先對(duì)圖像進(jìn)行scaling（縮放）處理，此時(shí)由于圖像放大后，瞄準(zhǔn)鏡中僅剩下物體的局部信息，通過此信息直接與眼鏡圖像進(jìn)行匹配相對(duì)困難，可以與瞄準(zhǔn)鏡上第二傳感模塊拍攝的圖像先進(jìn)行匹配，然后再將結(jié)果送到眼鏡側(cè)進(jìn)行圖像比較；

若瞄準(zhǔn)鏡放大系數(shù)為1時(shí)，由于視角透視的差異，瞄準(zhǔn)鏡的成像與眼鏡的成像存在差異，此時(shí)通過以下算法進(jìn)行輔助匹配：

a）圖像模糊匹配算法；

b）通過視覺識(shí)別，能夠識(shí)別出目標(biāo)是同一物體，然后進(jìn)行相關(guān)合并；

c）通過slam技術(shù)，實(shí)時(shí)進(jìn)行3d空間的地圖重建和目標(biāo)跟蹤；

（3）如圖7所示，關(guān)閉眼鏡直接觀察圖像的功能，直接將瞄準(zhǔn)器第二光學(xué)模塊獲取的圖像與瞄準(zhǔn)器的第二傳感模塊觀察的圖像混合；

（4）如圖8所示，關(guān)閉眼鏡直接觀察圖像的功能，匹配瞄準(zhǔn)器圖像中的物體與瞄準(zhǔn)器的第二傳感模塊觀察的圖像中的物體的位置關(guān)系：若瞄準(zhǔn)器放大系數(shù)大于1時(shí)，需要先對(duì)圖像進(jìn)行scaling處理，此時(shí)由于圖像放大后，瞄準(zhǔn)鏡中僅剩下物體的局部信息，將此信息與瞄準(zhǔn)鏡上第二傳感模塊觀察的圖像進(jìn)行匹配，匹配過程通過以下算法實(shí)現(xiàn)：

a）圖像模糊匹配算法；

b）通過視覺識(shí)別，能夠識(shí)別出目標(biāo)是同一物體，然后進(jìn)行相關(guān)合并；

（5）如圖9所示，直接將眼鏡觀察圖像與眼鏡傳感模塊感應(yīng)的圖像信息、瞄準(zhǔn)器傳輸圖像信息進(jìn)行融合。

如圖10所示，所述步驟s41之前還需進(jìn)行眼鏡的第一通訊模塊與瞄準(zhǔn)器的第二通訊模塊的配對(duì)，配對(duì)方式如下，

若第一通訊模塊與第二通訊模塊通過無線方式連接，由于在同一無線信道上可能共存多個(gè)眼鏡與瞄準(zhǔn)器，為了避免多個(gè)設(shè)備之間產(chǎn)生互相干擾，需要為眼鏡和瞄準(zhǔn)器進(jìn)行一一配對(duì)的id編號(hào)，具體配對(duì)過程如下：

a）在眼鏡ax和瞄準(zhǔn)器bx上分別觸發(fā)配對(duì)過程；

b）進(jìn)入配對(duì)狀態(tài)后，眼鏡使用id編號(hào)default_a，瞄準(zhǔn)器使用id編號(hào)default_b，眼鏡ax和瞄準(zhǔn)器bx以此默認(rèn)id建立起無線連接；

c）瞄準(zhǔn)器bx先向眼鏡ax發(fā)送配對(duì)請(qǐng)求，該配對(duì)請(qǐng)求中攜帶瞄準(zhǔn)器bx的新id，為了避免數(shù)據(jù)傳輸可能錯(cuò)誤，瞄準(zhǔn)器bx會(huì)重傳這個(gè)配對(duì)請(qǐng)求，直到眼鏡ax收到為止；

d）眼鏡ax收到配對(duì)請(qǐng)求后，向瞄準(zhǔn)器bx回復(fù)配對(duì)應(yīng)答，該配對(duì)應(yīng)答中攜帶眼鏡ax的新id，瞄準(zhǔn)器bx的新id，以及新的secretcode；

e）瞄準(zhǔn)器bx收到配對(duì)應(yīng)答后，向眼鏡ax發(fā)送配對(duì)確認(rèn)。

上述配對(duì)過程的具體工作原理為：

1、眼鏡與瞄準(zhǔn)器之間通過無線方式連接時(shí)，在同一無線信道上可能共存多個(gè)眼鏡與瞄準(zhǔn)器，為了避免多個(gè)設(shè)備之間產(chǎn)生互相干擾，需要為眼鏡和瞄準(zhǔn)器進(jìn)行id編號(hào)，例如眼鏡a1的id編號(hào)為a1_0、眼鏡a2的id編號(hào)為a2_0……眼鏡an的id編號(hào)為an_0，瞄準(zhǔn)器b1的id編號(hào)為b1_0、瞄準(zhǔn)器b2的id編號(hào)為b2_0……瞄準(zhǔn)器bn的id編號(hào)為bn_0

2、通常眼鏡與瞄準(zhǔn)器需要配對(duì)使用，例如a1與b1進(jìn)行配對(duì)，a2與b2進(jìn)行配對(duì)。當(dāng)某一設(shè)備出現(xiàn)異常時(shí)，可以實(shí)現(xiàn)與其它設(shè)備的快速配對(duì)，例如a1出現(xiàn)問題時(shí)，可將b1與a2進(jìn)行配對(duì)使用，當(dāng)a2與b1完成配對(duì)后，a2與b2之間的配對(duì)關(guān)系將會(huì)立即失效。同樣，a1與b1之間的配對(duì)關(guān)系也會(huì)失效，即使a1設(shè)備恢復(fù)正常后，a1與b1之間也不再存在配對(duì)關(guān)系。

3、配對(duì)支持防回滾設(shè)計(jì)。例如先將a1與b1配對(duì)，配對(duì)后id編號(hào)分別為a1_0和b1_0；再將a1與b2進(jìn)行配對(duì)，配對(duì)后id編號(hào)就變?yōu)閍1_1和b2_0；如果之后再將a1與b1配對(duì)，則配對(duì)后id編號(hào)就變成a1_2和b1_1。也就是說，配對(duì)后id編號(hào)會(huì)在較大范圍內(nèi)按一定順序遞增，這種防回滾設(shè)計(jì)的目的是為了避免設(shè)備與曾經(jīng)配對(duì)過的設(shè)備出現(xiàn)誤連接。

如圖11-12所示，所述第一通訊模塊與瞄準(zhǔn)器的第二通訊模塊的配對(duì)過程需采用多級(jí)密鑰機(jī)制實(shí)現(xiàn)：

a）在配對(duì)過程中，由眼鏡負(fù)責(zé)生成新的secretcode，并通過配對(duì)過程將secretcode發(fā)送給瞄準(zhǔn)器；眼鏡和瞄準(zhǔn)器分別存儲(chǔ)新的secretcode，所述secretcode為是眼鏡和瞄準(zhǔn)器之間的第一級(jí)密鑰；

b）sessionkey是眼鏡和瞄準(zhǔn)器之間的第二級(jí)密鑰；sessionkey在眼鏡和瞄準(zhǔn)器之間每次建立會(huì)話連接時(shí)生成，通過握手過程來完成協(xié)商；在一次會(huì)話過程中，sessionkey將保持不變；在建立新的會(huì)話時(shí)，老的sessionkey將失效；通過sessionkey加密的密文，能夠通過secretcode，解密得到sessionkey明文；

c）完成握手過程后，眼鏡和瞄準(zhǔn)器之間在此次會(huì)話隨后的通信過程中，所有的數(shù)據(jù)將使用sessionkey為密鑰進(jìn)行加密和解密。

多級(jí)密鑰機(jī)制的優(yōu)點(diǎn)：

1、secretcode作為核心密鑰，可以保障sessionkey的安全；sessionkey可以作為次級(jí)密鑰，可以保障數(shù)據(jù)的安全。通過層級(jí)保障了密鑰的安全性。

2、每次會(huì)話都創(chuàng)建新的sessionkey，能夠大大加強(qiáng)安全性，可防止被監(jiān)聽和破解

3、數(shù)據(jù)加密使用sessionkey和counter，能夠防止回滾和重放攻擊

所述第一通訊模塊與瞄準(zhǔn)器的第二通訊模塊的配對(duì)過程還需采用可防止重放攻擊的加密技術(shù)。

例如aes-ctr加密，又稱為計(jì)算器模式（counter）。在ctr模式中，有一個(gè)自增算子，這個(gè)算子用密鑰加密之后的輸出和明文異或的結(jié)果得到密文，相當(dāng)于一次一密。這種加密方式簡單快速，安全可靠，而且可以并行加密。

由于counter在一次會(huì)話中不會(huì)發(fā)生回滾，因此這種加密方法可以防止重放攻擊。

在一次會(huì)話（session）期間，數(shù)據(jù)使用sessionkey加密，k=sessionkey，counter使用內(nèi)部32位的累加計(jì)數(shù)器，眼鏡和瞄準(zhǔn)器需要對(duì)該計(jì)數(shù)器的值保持同步，計(jì)數(shù)器的值每隔10ms加一。

數(shù)據(jù)發(fā)送端使用k和counter進(jìn)行aes-ctr加密，數(shù)據(jù)接收端使用k和counter進(jìn)行aes-ctr解密。

以上是本發(fā)明的較佳實(shí)施例，凡依本發(fā)明技術(shù)方案所作的改變，所產(chǎn)生的功能作用未超出本發(fā)明技術(shù)方案的范圍時(shí)，均屬于本發(fā)明的保護(hù)范圍。