本發(fā)明涉及圖像識(shí)別和無(wú)人機(jī)領(lǐng)域，特別涉及一種基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)及方法。

背景技術(shù)：

在過(guò)去的數(shù)年中，各種看似科幻的概念(如智慧城市，全息投影等)只存在于電影、游戲場(chǎng)景中。隨著各種計(jì)算設(shè)備的運(yùn)算性能的提升、功耗的降低、新型計(jì)算架構(gòu)的發(fā)明，以及計(jì)算機(jī)軟件方面的不斷創(chuàng)新、改進(jìn)，數(shù)學(xué)方面計(jì)算技巧的發(fā)現(xiàn)等，使得數(shù)年前只存在于科幻場(chǎng)景以及人們想想中的各種場(chǎng)景以及技術(shù)逐漸有了成為現(xiàn)實(shí)的可能性。

智慧城市，就是運(yùn)用信息和通信技術(shù)手段感測(cè)、分析、整合城市運(yùn)行核心系統(tǒng)的各項(xiàng)關(guān)鍵信息，從而對(duì)包括民生、環(huán)保、公共安全、城市服務(wù)、工商業(yè)活動(dòng)在內(nèi)的各種需求做出智能響應(yīng)。智慧城市的建設(shè)在國(guó)內(nèi)外許多地區(qū)已經(jīng)展開(kāi)，并取得了一定成果，國(guó)內(nèi)的如智慧上海、智慧雙流；國(guó)外如新加坡的“智慧國(guó)計(jì)劃”、韓國(guó)的“U-City計(jì)劃”等等。而目前智慧城市中通信服務(wù)能力欠缺、無(wú)法與物聯(lián)網(wǎng)結(jié)合。

全息投影技術(shù)(front-projected holographic display)也稱虛擬成像技術(shù)，是利用干涉和衍射原理記錄并再現(xiàn)物體真實(shí)的三維圖像的技術(shù)。全息投影技術(shù)不僅可以產(chǎn)生立體的空中幻像，還可以使幻像與表演者產(chǎn)生互動(dòng)。

中國(guó)發(fā)明專利201410187080.6，基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，采用載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無(wú)人機(jī)、車輛等所采集的衛(wèi)星影像、低空航拍影像、車載激光掃描、車載視頻攝像、地面定點(diǎn)拍照/攝像數(shù)據(jù)，并通過(guò)以上多種方式快速完整地獲取大尺度場(chǎng)景的二維紋理圖像和三維點(diǎn)云數(shù)據(jù)。需要基于北斗衛(wèi)星定位，以及車載激光掃描、車載視頻攝像，裝置靈活性較差，需要依賴GIS信息，不適合智慧城市的不同領(lǐng)域的部署。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題是，如何通過(guò)無(wú)人飛行器在短時(shí)間內(nèi)采集/跟蹤的設(shè)定目標(biāo)，實(shí)現(xiàn)場(chǎng)景重建和預(yù)警的應(yīng)用部署系統(tǒng)。

解決上述技術(shù)問(wèn)題，本發(fā)明提供了基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)，包括：無(wú)人飛行器和后臺(tái)控制平臺(tái)，

所述無(wú)人飛行器包括第一通信組件與所述后臺(tái)控制平臺(tái)中的第三通信組件建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息完成作業(yè)目標(biāo)；

所述無(wú)人飛行器/后臺(tái)控制平臺(tái)上采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。

本發(fā)明中還公開(kāi)了一種基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)，包括：無(wú)人飛行器、后臺(tái)控制平臺(tái)以及飛行器遠(yuǎn)端中控裝置，

所述無(wú)人飛行器包括第一通信組件與所述后臺(tái)控制平臺(tái)中的第三通信組件建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息對(duì)場(chǎng)景進(jìn)行三維重建，并在三維場(chǎng)景中識(shí)別出目標(biāo)物體、定位所述目標(biāo)物體及追蹤所述目標(biāo)物體；

所述飛行器遠(yuǎn)端中控裝置包括第二通信組件與所述無(wú)人飛行器中的第一通信組件連接，用以向所述無(wú)人飛行器發(fā)出控制信號(hào)，所述控制信號(hào)中至少包括所述無(wú)人飛行器的任務(wù)目標(biāo)和采集反饋信息；

所述無(wú)人飛行器、后臺(tái)控制平臺(tái)或者飛行器遠(yuǎn)端中控裝置上采用神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。

更進(jìn)一步，所述無(wú)人飛行器還包括：一機(jī)載高性能計(jì)算模塊，所述機(jī)載高性能計(jì)算模塊用以在所述無(wú)人飛行器作業(yè)過(guò)程中進(jìn)行實(shí)時(shí)運(yùn)算，所述實(shí)時(shí)運(yùn)算至少搭載基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。

更進(jìn)一步，所述無(wú)人飛行器將采集的目標(biāo)物體的圖像信息，通過(guò)所述第一通信組件發(fā)送至第二通信組件，并由所述飛行器遠(yuǎn)端中控裝置緩存，當(dāng)采集作業(yè)完成后通過(guò)第二通信組件交由后臺(tái)控制平臺(tái)中配備的高性能集群計(jì)算模塊進(jìn)行處理，所述處理過(guò)程至少包括采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。

更進(jìn)一步，所述無(wú)人飛行器將采集的目標(biāo)物體的圖像信息，通過(guò)所述第一通信組件發(fā)送至第二通信組件，并由所述飛行器遠(yuǎn)端中控裝置中的高性能集群/單個(gè)計(jì)算模塊進(jìn)行處理，述處理過(guò)程至少包括采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。

更進(jìn)一步，所述無(wú)人飛行器為：?jiǎn)螜C(jī)無(wú)人飛行器或由多個(gè)無(wú)人飛行器機(jī)組成的飛行器機(jī)群，根據(jù)不同的作業(yè)目標(biāo)，通過(guò)所述飛行器遠(yuǎn)端中控裝置控制所述飛行器機(jī)群和/或單機(jī)無(wú)人飛行器，

所述飛行器遠(yuǎn)端中控裝置還包括：一監(jiān)控及控制交互接口，用以通過(guò)人工在遠(yuǎn)端根據(jù)所述飛行器實(shí)時(shí)返回的狀態(tài)信息和/或信息處理結(jié)果，手動(dòng)控制所述飛行器機(jī)群和/或單機(jī)無(wú)人飛行器。

更進(jìn)一步，所述無(wú)人飛行器還包括：圖像傳感器、聲音傳感器、紅外傳感器、距離傳感器、機(jī)載信息處理模塊以及監(jiān)控狀態(tài)傳感器，

所述機(jī)載信息處理模塊與所述圖像傳感器連接，用以接收所述無(wú)人飛行器采集的圖像信息；

所述機(jī)載信息處理模塊與所述聲音傳感器連接，用以接收所述無(wú)人飛行器采集的聲音信號(hào)；

所述機(jī)載信息處理模塊分別與所述紅外傳感器和所述距離傳感器連接，用以接收所述無(wú)人飛行器通過(guò)紅外檢測(cè)得到的測(cè)量距離值；

所述機(jī)載信息處理模塊與所述監(jiān)控狀態(tài)傳感器連接，用以接收所述無(wú)人飛行器的飛行狀態(tài)數(shù)據(jù)傳遞至所述機(jī)載信息處理模塊。

更進(jìn)一步，所述后臺(tái)控制平臺(tái)還包括：第一處理模塊、第一存儲(chǔ)模塊以及信息報(bào)告/控制接口，

所述第一處理模塊，用以根據(jù)識(shí)別的的圖像處理作業(yè)目標(biāo)；

所述第一存儲(chǔ)模塊，用以根據(jù)具體作業(yè)目標(biāo)選擇是否配置及裝載容量，并儲(chǔ)存上述作業(yè)目標(biāo)的計(jì)算結(jié)果；

以及，一高性能集群計(jì)算模塊，用以對(duì)圖像信息進(jìn)行實(shí)時(shí)計(jì)算和識(shí)別，

所述作業(yè)目標(biāo)為：場(chǎng)景監(jiān)控、場(chǎng)景預(yù)警報(bào)警、場(chǎng)景三維重建、場(chǎng)景識(shí)別、目標(biāo)物體識(shí)別、目標(biāo)物體追蹤中的一種或者多種。

更進(jìn)一步，所述飛行器遠(yuǎn)端中控裝置還包括：第二處理模塊、第二存儲(chǔ)模塊，

所述第二處理模塊，用以根據(jù)作業(yè)目標(biāo)產(chǎn)生一用以控制所述無(wú)人飛行器的信息調(diào)度數(shù)據(jù)，

所述第二存儲(chǔ)模塊，用以根據(jù)具體作業(yè)目標(biāo)選擇是否配置及裝載容量，并儲(chǔ)存上述作業(yè)目標(biāo)的計(jì)算結(jié)果；

以及，一高性能集群/單個(gè)計(jì)算模塊，用以對(duì)圖像信息進(jìn)行實(shí)時(shí)計(jì)算和識(shí)別。

基于上述，本發(fā)明還提供了如所述的圖像自動(dòng)識(shí)別系統(tǒng)上實(shí)現(xiàn)的一種基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別方法，根據(jù)實(shí)際場(chǎng)景選擇進(jìn)行部署：

將所述無(wú)人飛行器部署為：包括第一通信組件與所述后臺(tái)控制平臺(tái)中的第三通信組件建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息對(duì)場(chǎng)景進(jìn)行三維重建，并在三維場(chǎng)景中識(shí)別出目標(biāo)物體、定位所述目標(biāo)物體及追蹤所述目標(biāo)物體；

或者，通過(guò)將所述飛行器遠(yuǎn)端中控裝置部署為：包括第二通信組件與所述無(wú)人飛行器中的第二通信組件連接，用以向所述無(wú)人飛行器發(fā)出控制信號(hào)，所述控制信號(hào)中至少包括所述無(wú)人飛行器的任務(wù)目標(biāo)和采集反饋信息；無(wú)人飛行器的自動(dòng)控制；

以及，在所述無(wú)人飛行器、后臺(tái)控制平臺(tái)或者飛行器遠(yuǎn)端中控裝置上采用神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。

本發(fā)明的有益效果：

1)本發(fā)明中的基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)由于包括了：無(wú)人飛行器、后臺(tái)控制平臺(tái)和/或飛行器遠(yuǎn)端中控裝置，可以運(yùn)用到比如：設(shè)備檢修、路況監(jiān)控、大范圍定位目標(biāo)等領(lǐng)域中，從而減少成本和/或提高效率。通過(guò)所述無(wú)人飛行器采集實(shí)時(shí)場(chǎng)景中的圖像，通過(guò)飛行器遠(yuǎn)端中控裝置，對(duì)所述無(wú)人飛行器進(jìn)行自動(dòng)/人工遠(yuǎn)程控制，通過(guò)后臺(tái)控制平臺(tái)處理大規(guī)模數(shù)據(jù)，計(jì)算識(shí)別出圖像內(nèi)容，并完成多種作業(yè)目標(biāo)：場(chǎng)景監(jiān)控、場(chǎng)景預(yù)警報(bào)警、場(chǎng)景三維重建、場(chǎng)景識(shí)別、目標(biāo)物體識(shí)別或者目標(biāo)物體追蹤等等。

此外，借助無(wú)人飛行器，還將能夠快速上升到數(shù)十米的高空、離岸數(shù)公里的海面及其他極端地理位置采集信息，而傳統(tǒng)人力達(dá)到這一目的很多情況下會(huì)花費(fèi)相對(duì)于采用無(wú)人飛行器數(shù)倍的時(shí)間，甚至是幾乎難以完成的。將計(jì)算機(jī)自動(dòng)識(shí)別、檢測(cè)的數(shù)據(jù)，用于無(wú)人飛行器自動(dòng)/半自動(dòng)控制，以達(dá)到無(wú)人飛行器全自動(dòng)目標(biāo)追蹤、實(shí)現(xiàn)不依賴于輔助數(shù)據(jù)(如GIS信息等)全自動(dòng)場(chǎng)景掃描及三維重建。

2)本申請(qǐng)中由無(wú)人飛行器、后臺(tái)控制平臺(tái)以及飛行器遠(yuǎn)端中控裝置組成的圖像自動(dòng)識(shí)別系統(tǒng)，能夠可以根據(jù)系統(tǒng)的實(shí)際應(yīng)用場(chǎng)景靈活添加或去除，從而使得部署工作更加靈活。

3)本申請(qǐng)中的高性能計(jì)算模塊，能夠滿足不同場(chǎng)景下的實(shí)時(shí)性數(shù)據(jù)要求，比如在所述無(wú)人飛行器中的機(jī)載高性能計(jì)算模塊/在后臺(tái)控制平臺(tái)中配備的高性能集群計(jì)算模塊/在飛行器遠(yuǎn)端中控裝置中的高性能集群/單個(gè)計(jì)算模塊，從而滿足針對(duì)超大規(guī)模數(shù)據(jù)的非實(shí)時(shí)性需求、高性能實(shí)時(shí)運(yùn)算、實(shí)時(shí)性高性運(yùn)算等不同配置需求。

4)針對(duì)中小型環(huán)境，可以考慮將遠(yuǎn)端控制中心與系統(tǒng)核心平臺(tái)合并的方案，以簡(jiǎn)化系統(tǒng)復(fù)雜度、優(yōu)化工作流。

附圖說(shuō)明

圖1是本發(fā)明一實(shí)施例中的圖像自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖；

圖2是本發(fā)明另一實(shí)施例中的圖像自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖；

圖3是圖2中的無(wú)人飛行器的示意圖；

圖4是圖2中的飛行器遠(yuǎn)端中控裝置的示意圖；

圖5是圖2中的后臺(tái)控制平臺(tái)的示意圖；

圖6(a)-圖6(b)是單機(jī)和集群的比較示意圖；

圖7是本發(fā)明中的拓?fù)涫疽鈭D；

圖8是本發(fā)明一優(yōu)選實(shí)施例中的圖像自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖。

具體實(shí)施方式

現(xiàn)在將參考一些示例實(shí)施例描述本公開(kāi)的原理?？梢岳斫?，這些實(shí)施例僅出于說(shuō)明并且?guī)椭绢I(lǐng)域的技術(shù)人員理解和實(shí)施例本公開(kāi)的目的而描述，而非建議對(duì)本公開(kāi)的范圍的任何限制。在此描述的本公開(kāi)的內(nèi)容可以以下文描述的方式之外的各種方式實(shí)施。

如本文中所述，術(shù)語(yǔ)“包括”及其各種變體可以被理解為開(kāi)放式術(shù)語(yǔ)，其意味著“包括但不限于”。術(shù)語(yǔ)“基于”可以被理解為“至少部分地基于”。術(shù)語(yǔ)“一個(gè)實(shí)施例”可以被理解為“至少一個(gè)實(shí)施例”。術(shù)語(yǔ)“另一實(shí)施例”可以被理解為“至少一個(gè)其它實(shí)施例”。

在本申請(qǐng)中的通信組件可以采用COFDM(信道編碼的正交頻分復(fù)用)全數(shù)字調(diào)制解調(diào)技術(shù)及MPEG2/MPEG4/H.264數(shù)字壓縮編碼技術(shù)，上述技術(shù)具備非視距、繞射和良好穿透能力COFDM調(diào)制技術(shù)具備多徑分集能力，抗多徑干擾能力強(qiáng)，適應(yīng)在城區(qū)、山地、建筑物內(nèi)外等不能通視及有阻擋的環(huán)境中應(yīng)用。

以下實(shí)施例中以電力巡線為列，對(duì)本申請(qǐng)的內(nèi)容進(jìn)行說(shuō)明，可以理解本申請(qǐng)中的基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)的技術(shù)方案。

隨著無(wú)人機(jī)航拍技術(shù)的發(fā)展，遙感技術(shù)的不斷成熟，可以利用無(wú)人機(jī)獲取極為清晰的數(shù)據(jù)，并且根據(jù)數(shù)據(jù)進(jìn)行分析電路情況，這與人工巡檢相比，完全是從手動(dòng)流轉(zhuǎn)向了技術(shù)流的節(jié)奏。而隨之而來(lái)的是時(shí)間的節(jié)約，人們不用浪費(fèi)大量的時(shí)間在巡線的途中，節(jié)約下來(lái)的時(shí)間就完全可以用到真正的線路維護(hù)上去，線路安全也將得到提高。借助無(wú)人飛行器，還將能夠快速上升到數(shù)十米的高空、離岸數(shù)公里的海面及其他極端地理位置采集信息，將計(jì)算機(jī)自動(dòng)識(shí)別、檢測(cè)的數(shù)據(jù)，用于無(wú)人飛行器自動(dòng)/半自動(dòng)控制，以達(dá)到無(wú)人飛行器全自動(dòng)目標(biāo)追蹤、實(shí)現(xiàn)不依賴于輔助數(shù)據(jù)(如GIS信息等)全自動(dòng)場(chǎng)景掃描及三維重建。

圖1是本發(fā)明一實(shí)施例中的圖像自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖；一種基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)，包括：無(wú)人飛行器1和后臺(tái)控制平臺(tái)3，所述無(wú)人飛行器1包括第一通信組件17與所述后臺(tái)控制平臺(tái)3中的第三通信組件33建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息完成作業(yè)目標(biāo)；所述無(wú)人飛行器/后臺(tái)控制平臺(tái)上采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。該系統(tǒng)配置簡(jiǎn)單、為實(shí)時(shí)性計(jì)算提供了保障，優(yōu)化工作流。

圖2是本發(fā)明另一實(shí)施例中的圖像自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖；一種基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)，包括：無(wú)人飛行器1、后臺(tái)控制平臺(tái)3以及飛行器遠(yuǎn)端中控裝置2，所述無(wú)人飛行器1包括第一通信組件17與所述后臺(tái)控制平臺(tái)中的第三通信組件33建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息對(duì)場(chǎng)景進(jìn)行三維重建，并在三維場(chǎng)景中識(shí)別出目標(biāo)物體、定位所述目標(biāo)物體及追蹤所述目標(biāo)物體；所述飛行器遠(yuǎn)端中控裝置包括第二通信組件23與所述無(wú)人飛行器1中的第一通信組件連接，用以向所述無(wú)人飛行器發(fā)出控制信號(hào)，所述控制信號(hào)中至少包括所述無(wú)人飛行器的任務(wù)目標(biāo)和采集反饋信息；無(wú)人飛行器的自動(dòng)控制；所述無(wú)人飛行器、后臺(tái)控制平臺(tái)或者飛行器遠(yuǎn)端中控裝置上采用神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。

通過(guò)飛行器遠(yuǎn)端中控裝置2對(duì)無(wú)人飛行器1上的信息處理和自動(dòng)化控制，控制方式取決于預(yù)設(shè)或來(lái)自遠(yuǎn)端平臺(tái)的控制信號(hào)，具體控制操作包括但不限于起飛、降落、轉(zhuǎn)向、拍照等操作，取決于飛行器狀態(tài)模塊反饋的信息、任務(wù)目標(biāo)及部分傳感器信息處理結(jié)果。無(wú)人飛行器1直接接受遠(yuǎn)端飛行器遠(yuǎn)端中控裝置2的自動(dòng)化控制，飛行器狀態(tài)傳感器信息不通過(guò)機(jī)載信息處理系統(tǒng)，而直接通過(guò)無(wú)人飛行器1中的通訊組件傳輸?shù)斤w行器遠(yuǎn)端中控裝置2，適用于無(wú)人飛行器機(jī)群作業(yè)以及不會(huì)因作業(yè)目標(biāo)而改變作業(yè)路徑的情形。

本系統(tǒng)能偶針對(duì)超大規(guī)模數(shù)據(jù)的非實(shí)時(shí)性需求，可以將采用飛行器數(shù)據(jù)采集，遠(yuǎn)端平臺(tái)暫存數(shù)據(jù)，數(shù)據(jù)作業(yè)采集作業(yè)完成后，交由數(shù)據(jù)處理核心平臺(tái)配備的完整的高性能運(yùn)算機(jī)群進(jìn)行數(shù)據(jù)的處理工作。作為本實(shí)施例中的優(yōu)選，所述無(wú)人飛行器1還包括：一機(jī)載高性能計(jì)算模塊，所述機(jī)載高性能計(jì)算模塊用以在所述無(wú)人飛行器作業(yè)過(guò)程中進(jìn)行實(shí)時(shí)運(yùn)算，所述實(shí)時(shí)運(yùn)算至少搭載基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。比如，飛行器作業(yè)過(guò)程中，需要進(jìn)行少量高性能實(shí)時(shí)運(yùn)算：此時(shí)將在無(wú)人機(jī)上添加機(jī)載高性能計(jì)算模塊或者由后臺(tái)計(jì)算部分實(shí)時(shí)處理。作為本實(shí)施例中的優(yōu)選，所述無(wú)人飛行器將采集的目標(biāo)物體的圖像信息，通過(guò)所述第一通信組件發(fā)送至第二通信組件，并由所述飛行器遠(yuǎn)端中控裝置中的高性能集群/單個(gè)計(jì)算模塊進(jìn)行處理，述處理過(guò)程至少包括采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。比如，飛行器作業(yè)過(guò)程中，需要進(jìn)行高性能運(yùn)算，若實(shí)時(shí)性要求不強(qiáng)，則采用在遠(yuǎn)端平臺(tái)中使用高性能集群/單個(gè)計(jì)算模塊，根據(jù)實(shí)際需求，一定程度上可自由選取高性能運(yùn)算單例或機(jī)群以滿足運(yùn)算需求。又比如，若需要進(jìn)行高性能運(yùn)算且對(duì)實(shí)時(shí)性由一定要求，可以采取機(jī)載高性能模塊，極端情況下可采用機(jī)載精簡(jiǎn)的高性能機(jī)群以達(dá)到一定的實(shí)時(shí)性要求，另外在遠(yuǎn)端平臺(tái)使用高性能集群/單個(gè)計(jì)算模塊。作為本實(shí)施例中的優(yōu)選，所述無(wú)人飛行器將采集的目標(biāo)物體的圖像信息，通過(guò)所述第一通信組件發(fā)送至第二通信組件，并由所述飛行器遠(yuǎn)端中控裝置緩存，當(dāng)采集作業(yè)完成后通過(guò)第二通信組件交由后臺(tái)控制平臺(tái)中配備的高性能集群計(jì)算模塊進(jìn)行處理，所述處理過(guò)程至少包括采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。針對(duì)超大規(guī)模數(shù)據(jù)的非實(shí)時(shí)性需求，將采用飛行器數(shù)據(jù)采集，遠(yuǎn)端平臺(tái)暫存數(shù)據(jù)，數(shù)據(jù)作業(yè)采集作業(yè)完成后，交由數(shù)據(jù)處理核心平臺(tái)配備的高性能集群計(jì)算模塊進(jìn)行數(shù)據(jù)的處理工作。

上述的基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法，可以采用《基于人工神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別和分類》，成都理工大學(xué)，20100501中提到的部分方法。但是為了實(shí)現(xiàn)高性能計(jì)算模塊的實(shí)時(shí)性和高性能，在本實(shí)施例中優(yōu)選采用下述的基于神經(jīng)網(wǎng)絡(luò)的電力巡線圖像自動(dòng)識(shí)別方法，包括如下步驟：

步驟S1獲取電力巡線時(shí)采集的輸入圖像，將所述輸入圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)；本領(lǐng)域技術(shù)人員能夠明了，所述卷積神經(jīng)網(wǎng)絡(luò)，包括但不限于：由一些濾波器組和一些非線性響應(yīng)函數(shù)構(gòu)成網(wǎng)絡(luò)中的層；網(wǎng)絡(luò)中的每個(gè)層又用于篩選和匹配一個(gè)層次的特征。

在所述步驟S1中包括如下的預(yù)處理步驟：將圖像的像素信息直接轉(zhuǎn)換為數(shù)值數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)。

步驟S1-1在所述卷積神經(jīng)網(wǎng)絡(luò)中的通過(guò)卷積濾波器對(duì)特征圖像FeatureMAP進(jìn)行卷積，得到特征分量；所述步驟S1-1中的特征分量為一組線性相關(guān)或線性無(wú)關(guān)二維向量組，通過(guò)在所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)并更新。

步驟S1-2根據(jù)非線性響應(yīng)函數(shù)進(jìn)行采樣，得到特征響應(yīng)；所述步驟S1-2中的特征響應(yīng)進(jìn)一步包括：將所述特征向量經(jīng)過(guò)激活函數(shù)后得到的向量組。所述激活函數(shù)包括：S函數(shù)、指數(shù)函數(shù)、冪函數(shù)。

步驟S1-3對(duì)步驟步驟S1-1～步驟S1-2進(jìn)行遞歸，提取得到預(yù)期被圈選物體的高層特征，及對(duì)應(yīng)特征的加權(quán)值；

步驟S1-4根據(jù)得到的高層特征，對(duì)所有高層特征加權(quán)求和，得到特征向量組；

在上述卷積網(wǎng)絡(luò)運(yùn)行過(guò)程中，每個(gè)卷積層與輸入圖像卷積后，提取出各個(gè)特征的分量；提取后再用非線性響應(yīng)函數(shù)處理，得到這一層的特征響應(yīng)。將該特征響應(yīng)以同樣的方式輸入下一層，遞歸地提取特征。卷積神經(jīng)網(wǎng)絡(luò)能夠提取圖像中很高層次的特征，比如人，車。這些特征按不同濾波器的輸出組合到一個(gè)特征向量的不同維度上，形成特征向量圖。由于物體的平移操作很大程度上并不影響物體的性質(zhì)判別和除平移因素外的圈畫過(guò)程，因此卷積操作很好的適應(yīng)了這一特點(diǎn)，并大量的削減了訓(xùn)練所需的計(jì)算量。

步驟S2利用1-4得到的特征向量組，將輸入圖像依次應(yīng)用該特征向量組中的特征向量，得到目標(biāo)類型和目標(biāo)位置的選框的數(shù)字描述；在所述步驟2)中還包括：根據(jù)上一步得到的特征向量組，將目標(biāo)輸入圖片按照同樣的方式輸入所述神經(jīng)網(wǎng)絡(luò)，并計(jì)算出該圖像的特征向量組，對(duì)訓(xùn)練得到的特征向量組與所述目標(biāo)輸入圖片經(jīng)過(guò)計(jì)算后得到的特征向量組進(jìn)行比對(duì)。

目標(biāo)類型和目標(biāo)位置，用以確定電力巡線中的實(shí)現(xiàn)感興趣目標(biāo)的檢測(cè)定位。

步驟S3通過(guò)對(duì)目標(biāo)輸入圖片進(jìn)行卷積操作得到目標(biāo)物體、目標(biāo)位置的選框，并得到置信度最高的預(yù)期被圈選的物體和位置。

從特征向量圖的每個(gè)點(diǎn)數(shù)據(jù)中，用一個(gè)訓(xùn)練好的全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)類型和位置的判別提取。由于實(shí)際圖像中的興趣物體個(gè)數(shù)是不定的，而且很大一塊區(qū)域(對(duì)應(yīng)著很多特征向量)是沒(méi)有興趣物體的，這些區(qū)域所對(duì)應(yīng)的特征向量會(huì)被標(biāo)為“背景”標(biāo)簽。全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)相似，會(huì)根據(jù)其訓(xùn)練時(shí)得到的經(jīng)驗(yàn)，提取出特征向量中的有用信息，并構(gòu)造選框和最可能的興趣物體類型。

圖3是圖2中的無(wú)人飛行器的示意圖；所述無(wú)人飛行器1還包括：圖像傳感器11、聲音傳感器12、紅外傳感器13、距離傳感器14、機(jī)載信息處理模塊16以及監(jiān)控狀態(tài)傳感器18，所述機(jī)載信息處理模塊16與所述圖像傳感器11連接，用以接收所述無(wú)人飛行器采集的圖像信息；所述機(jī)載信息處理模塊16與所述聲音傳感器12連接，用以接收所述無(wú)人飛行器采集的聲音信號(hào)；所述機(jī)載信息處理模塊16分別與所述紅外傳感器13和所述距離傳感器14連接，用以接收所述無(wú)人飛行器通過(guò)紅外檢測(cè)得到的測(cè)量距離值；所述機(jī)載信息處理模塊16與所述監(jiān)控狀態(tài)傳感器18連接，用以接收所述無(wú)人飛行器的飛行狀態(tài)數(shù)據(jù)傳遞至所述機(jī)載信息處理模塊。圖像傳感器11可采用COMS/CCD鏡頭。聲音傳感器12可以記錄跟蹤目標(biāo)的聲音或者環(huán)境聲音。紅外傳感器13與距離傳感器14配合，主要進(jìn)行障礙物距離測(cè)算和飛行路徑控制。監(jiān)控狀態(tài)傳感器18可以是陀螺儀等監(jiān)控狀態(tài)用以監(jiān)控飛行器狀態(tài)的傳感器。所述機(jī)載信息處理模塊16可以理解，為本申請(qǐng)中的機(jī)載信息處理模塊16是指無(wú)人機(jī)系統(tǒng)MUC，多軸飛行器由遙控，飛控，動(dòng)力系統(tǒng)、航拍等不同模塊構(gòu)成。借助無(wú)人飛行器，還將能夠快速上升到數(shù)十米的高空、離岸數(shù)公里的海面及其他極端地理位置采集信息，而傳統(tǒng)人力達(dá)到這一目的很多情況下會(huì)花費(fèi)相對(duì)于采用無(wú)人飛行器數(shù)倍的時(shí)間，甚至是幾乎難以完成的。將計(jì)算機(jī)自動(dòng)識(shí)別、檢測(cè)的數(shù)據(jù)，用于無(wú)人飛行器自動(dòng)/半自動(dòng)控制，以達(dá)到無(wú)人飛行器全自動(dòng)目標(biāo)追蹤、實(shí)現(xiàn)借助或不借助GIS于輔助數(shù)據(jù)(如GIS信息等)全自動(dòng)場(chǎng)景掃描及三維重建。

如圖4所示是圖2中的飛行器遠(yuǎn)端中控裝置的示意圖；所述飛行器遠(yuǎn)端中控裝置還包括：第二處理模塊、第二存儲(chǔ)模塊，所述第二處理模塊，用以根據(jù)作業(yè)目標(biāo)產(chǎn)生一用以控制所述無(wú)人飛行器的信息調(diào)度數(shù)據(jù)，所述第二存儲(chǔ)模塊，用以根據(jù)具體作業(yè)目標(biāo)選擇是否配置及裝載容量，并儲(chǔ)存上述作業(yè)目標(biāo)的計(jì)算結(jié)果；以及，一高性能集群/單個(gè)計(jì)算模塊，用以對(duì)圖像信息進(jìn)行實(shí)時(shí)計(jì)算和識(shí)別。其中第二處理模塊即信息及調(diào)度處理模塊22，第二存儲(chǔ)模塊即儲(chǔ)存系統(tǒng)24,儲(chǔ)存系統(tǒng)24可根據(jù)不同場(chǎng)景進(jìn)行靈活配置。

如圖5所示是圖2中的后臺(tái)控制平臺(tái)的示意圖；所述后臺(tái)控制平臺(tái)還包括：第一處理模塊、第一存儲(chǔ)模塊以及信息報(bào)告/控制接口，所述第一處理模塊，用以根據(jù)識(shí)別的的圖像處理作業(yè)目標(biāo)；所述第一存儲(chǔ)模塊，用以根據(jù)具體作業(yè)目標(biāo)選擇是否配置及裝載容量，并儲(chǔ)存上述作業(yè)目標(biāo)的計(jì)算結(jié)果；以及，一高性能集群計(jì)算模塊，用以對(duì)圖像信息進(jìn)行實(shí)時(shí)計(jì)算和識(shí)別，所述作業(yè)目標(biāo)為：場(chǎng)景監(jiān)控、場(chǎng)景預(yù)警報(bào)警、場(chǎng)景三維重建、場(chǎng)景識(shí)別、目標(biāo)物體識(shí)別、目標(biāo)物體追蹤中的一種或者多種。所述第一處理模塊即是圖5中的處理模塊32，第一存儲(chǔ)模塊即是圖5中的儲(chǔ)存系統(tǒng)31，信息報(bào)告/控制接口即是信息報(bào)告即控制平臺(tái)34。通過(guò)所述信息報(bào)告即控制平臺(tái)34，可以提供信息報(bào)告/控制接口，比如上傳、同步文件、參數(shù)等。

在一些實(shí)施例中，如圖6(a)-圖6(b)所示是單機(jī)和集群的比較示意圖；所述無(wú)人飛行器為：?jiǎn)螜C(jī)無(wú)人飛行器或由多個(gè)無(wú)人飛行器機(jī)組成的飛行器機(jī)群，根據(jù)不同的作業(yè)目標(biāo)，通過(guò)所述飛行器遠(yuǎn)端中控裝置控制所述飛行器機(jī)群和/或單機(jī)無(wú)人飛行器，此外，所述飛行器遠(yuǎn)端中控裝置還包括：一監(jiān)控及控制交互接口，用以通過(guò)人工在遠(yuǎn)端根據(jù)所述飛行器實(shí)時(shí)返回的狀態(tài)信息和/或信息處理結(jié)果，手動(dòng)控制所述飛行器機(jī)群和/或單機(jī)無(wú)人飛行器。

圖7是本發(fā)明中的拓?fù)涫疽鈭D；一種基于神經(jīng)網(wǎng)絡(luò)方法的圖像自動(dòng)識(shí)別系統(tǒng)，包括：無(wú)人飛行器、后臺(tái)控制平臺(tái)以及飛行器遠(yuǎn)端中控裝置，所述無(wú)人飛行器包括第一通信組件與所述后臺(tái)控制平臺(tái)中的第三通信組件建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息對(duì)場(chǎng)景進(jìn)行三維重建，并在三維場(chǎng)景中識(shí)別出目標(biāo)物體、定位所述目標(biāo)物體及追蹤所述目標(biāo)物體；所述飛行器遠(yuǎn)端中控裝置包括第二通信組件與所述無(wú)人飛行器中的第一通信組件連接，用以向所述無(wú)人飛行器發(fā)出控制信號(hào)，所述控制信號(hào)中至少包括所述無(wú)人飛行器的任務(wù)目標(biāo)和采集反饋信息；無(wú)人飛行器的自動(dòng)控制；所述無(wú)人飛行器、后臺(tái)控制平臺(tái)或者飛行器遠(yuǎn)端中控裝置上采用神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。作為本實(shí)施例中的優(yōu)選，所述無(wú)人飛行器為：?jiǎn)螜C(jī)無(wú)人飛行器或由多個(gè)無(wú)人飛行器機(jī)組成的飛行器機(jī)群，根據(jù)不同的作業(yè)目標(biāo)，通過(guò)所述飛行器遠(yuǎn)端中控裝置控制所述飛行器機(jī)群和/或單機(jī)無(wú)人飛行器，可以根據(jù)場(chǎng)景大小，靈活進(jìn)行配置。

圖8是本發(fā)明一優(yōu)選實(shí)施例中的圖像自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖；根據(jù)實(shí)際場(chǎng)景選擇進(jìn)行部署：將所述無(wú)人飛行器部署為：包括第一通信組件與所述后臺(tái)控制平臺(tái)中的第三通信組件建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息對(duì)場(chǎng)景進(jìn)行三維重建，并在三維場(chǎng)景中識(shí)別出目標(biāo)物體、定位所述目標(biāo)物體及追蹤所述目標(biāo)物體；或者，通過(guò)將所述飛行器遠(yuǎn)端中控裝置部署為：包括第二通信組件與所述無(wú)人飛行器中的第二通信組件連接，用以向所述無(wú)人飛行器發(fā)出控制信號(hào)，所述控制信號(hào)中至少包括所述無(wú)人飛行器的任務(wù)目標(biāo)和采集反饋信息；無(wú)人飛行器的自動(dòng)控制；以及，在所述無(wú)人飛行器、后臺(tái)控制平臺(tái)或者飛行器遠(yuǎn)端中控裝置上采用神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。本實(shí)施例中的圖像自動(dòng)識(shí)別系統(tǒng)，主要包括：無(wú)人飛行器1、后臺(tái)控制平臺(tái)3以及飛行器遠(yuǎn)端中控裝置2，所述無(wú)人飛行器包括第一通信組件與所述后臺(tái)控制平臺(tái)中的第三通信組件建立連接，用以處理從所述無(wú)人飛行器從不同場(chǎng)景中采集、識(shí)別得到目標(biāo)物體的圖像信息，并根據(jù)目標(biāo)圖像信息對(duì)場(chǎng)景進(jìn)行三維重建，并在三維場(chǎng)景中識(shí)別出目標(biāo)物體、定位所述目標(biāo)物體及追蹤所述目標(biāo)物體；所述飛行器遠(yuǎn)端中控裝置包括第二通信組件與所述無(wú)人飛行器中的第一通信組件連接，用以向所述無(wú)人飛行器發(fā)出控制信號(hào)，所述控制信號(hào)中至少包括所述無(wú)人飛行器的任務(wù)目標(biāo)和采集反饋信息；所述無(wú)人飛行器、后臺(tái)控制平臺(tái)或者飛行器遠(yuǎn)端中控裝置上采用神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別方法識(shí)別出所述目標(biāo)物體。本申請(qǐng)中由無(wú)人飛行器、后臺(tái)控制平臺(tái)以及飛行器遠(yuǎn)端中控裝置組成的圖像自動(dòng)識(shí)別系統(tǒng)，能夠可以根據(jù)系統(tǒng)的實(shí)際應(yīng)用場(chǎng)景靈活添加或去除，從而使得部署工作更加靈活。

在本實(shí)施例中，所述無(wú)人飛行器還包括：一機(jī)載高性能計(jì)算模塊，所述機(jī)載高性能計(jì)算模塊用以在所述無(wú)人飛行器作業(yè)過(guò)程中進(jìn)行實(shí)時(shí)運(yùn)算，所述實(shí)時(shí)運(yùn)算至少搭載基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。在本實(shí)施例中，所述無(wú)人飛行器將采集的目標(biāo)物體的圖像信息，通過(guò)所述第一通信組件發(fā)送至第二通信組件，并由所述飛行器遠(yuǎn)端中控裝置緩存，當(dāng)采集作業(yè)完成后通過(guò)第二通信組件交由后臺(tái)控制平臺(tái)中配備的高性能集群計(jì)算模塊進(jìn)行處理，所述處理過(guò)程至少包括采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。在本實(shí)施例中，所述無(wú)人飛行器將采集的目標(biāo)物體的圖像信息，通過(guò)所述第一通信組件發(fā)送至第二通信組件，并由所述飛行器遠(yuǎn)端中控裝置中的高性能集群/單個(gè)計(jì)算模塊進(jìn)行處理，述處理過(guò)程至少包括采用基于神經(jīng)網(wǎng)絡(luò)的圖像自動(dòng)識(shí)別算法。在本實(shí)施例中，所述無(wú)人飛行器為：?jiǎn)螜C(jī)無(wú)人飛行器或由多個(gè)無(wú)人飛行器機(jī)組成的飛行器機(jī)群，根據(jù)不同的作業(yè)目標(biāo)，通過(guò)所述飛行器遠(yuǎn)端中控裝置控制所述飛行器機(jī)群和/或單機(jī)無(wú)人飛行器，所述飛行器遠(yuǎn)端中控裝置還包括：一監(jiān)控及控制交互接口，用以通過(guò)人工在遠(yuǎn)端根據(jù)所述飛行器實(shí)時(shí)返回的狀態(tài)信息和/或信息處理結(jié)果，手動(dòng)控制所述飛行器機(jī)群和/或單機(jī)無(wú)人飛行器。本申請(qǐng)中的高性能計(jì)算模塊，能夠滿足不同場(chǎng)景下的實(shí)時(shí)性數(shù)據(jù)要求，比如在所述無(wú)人飛行器中的機(jī)載高性能計(jì)算模塊/在后臺(tái)控制平臺(tái)中配備的高性能集群計(jì)算模塊/在飛行器遠(yuǎn)端中控裝置中的高性能集群/單個(gè)計(jì)算模塊，從而滿足針對(duì)超大規(guī)模數(shù)據(jù)的非實(shí)時(shí)性需求、高性能實(shí)時(shí)運(yùn)算、實(shí)時(shí)性高性運(yùn)算等不同配置需求。

作為本實(shí)施例中的優(yōu)選，所述無(wú)人飛行器還包括：圖像傳感器、聲音傳感器、紅外傳感器、距離傳感器、機(jī)載信息處理模塊以及監(jiān)控狀態(tài)傳感器，所述機(jī)載信息處理模塊與所述圖像傳感器連接，用以接收所述無(wú)人飛行器采集的圖像信息；所述機(jī)載信息處理模塊與所述聲音傳感器連接，用以接收所述無(wú)人飛行器采集的聲音信號(hào)；所述機(jī)載信息處理模塊分別與所述紅外傳感器和所述距離傳感器連接，用以接收所述無(wú)人飛行器通過(guò)紅外檢測(cè)得到的測(cè)量距離值；所述機(jī)載信息處理模塊與所述監(jiān)控狀態(tài)傳感器連接，用以接收所述無(wú)人飛行器的飛行狀態(tài)數(shù)據(jù)傳遞至所述機(jī)載信息處理模塊。

作為本實(shí)施例中的優(yōu)選，可以部署一個(gè)飛行器遠(yuǎn)端中控裝置2，用以連接1個(gè)無(wú)人飛行器1或者由多個(gè)無(wú)人飛行器1組成的飛行器集群。

作為本實(shí)施例中的優(yōu)選，可以部署一個(gè)后臺(tái)控制平臺(tái)3與多個(gè)飛行器遠(yuǎn)端中控裝置2連接，或者直接通過(guò)非即時(shí)方式與無(wú)人飛行器1進(jìn)行數(shù)據(jù)交換。

雖然本公開(kāi)以具體結(jié)構(gòu)特征和/或方法動(dòng)作來(lái)描述，但是可以理解在所附權(quán)利要求書中限定的本公開(kāi)并不必然限于上述具體特征或動(dòng)作。而是，上述具體特征和動(dòng)作僅公開(kāi)為實(shí)施權(quán)利要求的示例形式。