本發(fā)明涉及影像智能分析方法,具體涉及基于地理位置信息的影像智能分析方法。
背景技術(shù):
設(shè)備的識(shí)別,是指對(duì)于畫面中的主體進(jìn)行分類判定。其分類方式既可以是粗粒度的類別,也可以細(xì)粒度的類別。設(shè)備的檢測(cè),是指在畫面中自動(dòng)找出要巡視的設(shè)備或線路對(duì)象,并標(biāo)出它們的輪廓。
現(xiàn)有圖像識(shí)別技術(shù)已經(jīng)比較成熟,但識(shí)別精度和效率有待提高,本發(fā)明在原有圖像識(shí)別的技術(shù)上,加入了地理位置信息來(lái)提升影像識(shí)別效率。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明旨在提供基于地理位置信息的影像智能分析方法,以解決現(xiàn)有技術(shù)方案中的影像識(shí)別效率低的問(wèn)題。
為了實(shí)現(xiàn)所述目的,本發(fā)明基于地理位置信息的影像智能分析方法,用于識(shí)別設(shè)備類型,包括如下步驟:
建立設(shè)備數(shù)據(jù)庫(kù),所述設(shè)備數(shù)據(jù)庫(kù)中包括設(shè)備類型和設(shè)備位置信息;
獲取攝像機(jī)的拍攝方向、攝像機(jī)的位置信息和攝像機(jī)拍攝的待分析影像;
根據(jù)攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像的成像區(qū)域;
從設(shè)備數(shù)據(jù)庫(kù)中獲取位于成像區(qū)域內(nèi)且距離攝像機(jī)最近的設(shè)備;并將該設(shè)備作為待比對(duì)設(shè)備;
根據(jù)待比對(duì)設(shè)備的設(shè)備類型、待比對(duì)設(shè)備的設(shè)備位置信息、攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像中待比對(duì)設(shè)備的感興趣區(qū)域;
根據(jù)待分析影像的感興趣區(qū)域和待比對(duì)設(shè)備的設(shè)備類型獲取待分析影像中設(shè)備的類型。
優(yōu)選的,根據(jù)攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像的成像區(qū)域包括:以扇形區(qū)域作為成像區(qū)域,其中,所述扇形以攝像機(jī)作為圓心,以預(yù)設(shè)值作為半徑,以攝像機(jī)的水平視角角度作為圓心角,以攝像機(jī)的拍攝方向作為其圓心角角平分線的方向。
優(yōu)選的,所述預(yù)設(shè)值為0.5km。
優(yōu)選的,所述從設(shè)備數(shù)據(jù)庫(kù)中獲取位于成像區(qū)域內(nèi)且距離攝像機(jī)最近的設(shè)備包括:獲取設(shè)備數(shù)據(jù)庫(kù)中各設(shè)備的位置信息,根據(jù)設(shè)備的位置信息計(jì)算設(shè)備與攝像機(jī)的距離,并將與攝像機(jī)距離小于預(yù)設(shè)值的設(shè)備作為第一預(yù)選設(shè)備;判斷每個(gè)第一預(yù)選設(shè)備是否在成像區(qū)域中,將在成像區(qū)域中的第一預(yù)選設(shè)備作為第二預(yù)選設(shè)備;計(jì)算各個(gè)第二預(yù)選設(shè)備與攝像機(jī)之間的距離,獲取與攝像機(jī)距離最短的第二預(yù)選設(shè)備作為對(duì)比設(shè)備。
優(yōu)選的,所述設(shè)備數(shù)據(jù)庫(kù)中包含各個(gè)設(shè)備的占地位置區(qū)域,所述判斷每個(gè)第一預(yù)選設(shè)備是否在成像區(qū)域中包括:獲取每個(gè)第一預(yù)選設(shè)備的占地位置區(qū)域,判斷第一預(yù)選設(shè)備的占地位置區(qū)域是否均在成像區(qū)域內(nèi),如果第一預(yù)選設(shè)備的地位置區(qū)域在成像區(qū)域內(nèi),則該第一預(yù)選設(shè)備在成像區(qū)域中。
優(yōu)選的,所述根據(jù)待比對(duì)設(shè)備的類型、待比對(duì)設(shè)備的位置信息、攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像中待比對(duì)設(shè)備的感興趣區(qū)域包括:根據(jù)待比對(duì)設(shè)備的類型獲取待比對(duì)設(shè)備的最高高度和最大寬度,根據(jù)待比對(duì)設(shè)備的位置信息和攝像機(jī)的位置信息計(jì)算待比對(duì)設(shè)備與攝像機(jī)之間的距離,根據(jù)待比對(duì)設(shè)備的最高高度和最大寬度、待比對(duì)設(shè)備與攝像機(jī)之間的距離以及攝像機(jī)自身的像素獲取比對(duì)設(shè)備在待分析影像的占用區(qū)域大小,根據(jù)攝像機(jī)拍攝方向、待比對(duì)設(shè)備的位置信息和待比對(duì)設(shè)備與攝像機(jī)之間的距離獲得待比對(duì)設(shè)備的底部中心在待分析影像中的預(yù)測(cè)位置,根據(jù)待比對(duì)設(shè)備的底部中心在待分析影像中的預(yù)測(cè)位置和比對(duì)設(shè)備在待分析影像的占用區(qū)域大小獲得待分析影像中待比對(duì)設(shè)備的感興趣區(qū)域。
優(yōu)選的,所述根據(jù)待分析影像的感興趣區(qū)域和待比對(duì)設(shè)備的設(shè)備類型獲取待分析影像中設(shè)備的類型包括:根據(jù)待分析影像感興趣區(qū)域的影像信息識(shí)別感興趣區(qū)域中是否存在與待比對(duì)設(shè)備類型相同的設(shè)備;如果影像信息識(shí)別感興趣區(qū)域中存在與待比對(duì)設(shè)備類型相同的設(shè)備,則待分析影像中設(shè)備的類型為待比對(duì)設(shè)備類型。
優(yōu)選的,如果待分析影像中設(shè)備的類型為待比對(duì)設(shè)備類型,則在感興趣區(qū)域內(nèi)或感興趣區(qū)域周側(cè)標(biāo)識(shí)設(shè)備類型。
優(yōu)選的,所述根據(jù)待分析影像感興趣區(qū)域的影像信息識(shí)別感興趣區(qū)域中是否存在與待比對(duì)設(shè)備類型相同的設(shè)備包括:建立設(shè)備類型庫(kù),設(shè)備類型庫(kù)中保存多種不同方向、不同角度和不同時(shí)間段拍攝的待比對(duì)設(shè)備影像;將待分析影像感興趣區(qū)域的影像信息與設(shè)備類型庫(kù)中待比對(duì)設(shè)備類型的所有待比對(duì)設(shè)備影像一一比對(duì),如果存在待比對(duì)設(shè)備影像與待比對(duì)設(shè)備類型相似度超過(guò)80%,則感興趣區(qū)域中存在與待比對(duì)設(shè)備類型相同的設(shè)備。
優(yōu)選的,方法還包括讀取每個(gè)類型設(shè)備的設(shè)備圖片庫(kù),為每個(gè)類型設(shè)備建立一個(gè)卷積神經(jīng)網(wǎng)路模型,其中,所述卷積神經(jīng)網(wǎng)路模型通過(guò)如下步驟建立:根據(jù)hog特征提取算法提取hog特征,構(gòu)建卷積神經(jīng)網(wǎng)路并利用hog特征對(duì)卷積神經(jīng)網(wǎng)路進(jìn)行訓(xùn)練,得到訓(xùn)練好的卷積神經(jīng)網(wǎng)路模型;所述根據(jù)待分析影像感興趣區(qū)域的影像信息識(shí)別感興趣區(qū)域中是否存在與待比對(duì)設(shè)備類型相同的設(shè)備包括:獲取待分析影像感興趣區(qū)域的hog特征;獲取待比對(duì)設(shè)備類型的卷積神經(jīng)網(wǎng)路模型,根據(jù)hog特征和卷積神經(jīng)網(wǎng)路模型得出待分析影像感興趣區(qū)域是否存在與待比對(duì)設(shè)備類型相同的設(shè)備。
通過(guò)實(shí)施本發(fā)明可以取得以下有益技術(shù)效果:本發(fā)明通過(guò)攝像機(jī)拍攝方向、攝像機(jī)的位置信息、以及設(shè)備數(shù)據(jù)庫(kù)中設(shè)備的位置信息和類型預(yù)判出待分析影像中設(shè)備的感興趣區(qū)域和設(shè)備的類型,進(jìn)而在圖像識(shí)別時(shí),只需識(shí)別待分析影像的感興趣區(qū)域中是否存在預(yù)判類型的設(shè)備,相對(duì)于現(xiàn)有技術(shù)中對(duì)需要識(shí)別整個(gè)待分析影像中是否存在各個(gè)類型的設(shè)備,本發(fā)明的計(jì)算量要遠(yuǎn)遠(yuǎn)小于現(xiàn)有技術(shù),使得識(shí)別速度要比現(xiàn)有技術(shù)中的更快,準(zhǔn)確率要比現(xiàn)有技術(shù)中的也更高。
附圖說(shuō)明
圖1為本發(fā)明的流程圖;
圖2為本發(fā)明中成像區(qū)域示意圖;
圖3為本發(fā)明中成像區(qū)域與設(shè)備的關(guān)系圖;
圖4為本發(fā)明中識(shí)別酒杯型鐵塔時(shí)獲取感興趣區(qū)域的示意圖;
圖5為采用本發(fā)明識(shí)別酒杯型鐵塔的示意圖。
具體實(shí)施方式
為了便于本領(lǐng)域技術(shù)人員的理解,下面結(jié)合具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說(shuō)明:
實(shí)施例一:
如圖1所示,基于地理位置信息的影像智能分析方法,用于識(shí)別設(shè)備類型,包括:
步驟s1:建立設(shè)備數(shù)據(jù)庫(kù),設(shè)備數(shù)據(jù)庫(kù)中包括設(shè)備類型和設(shè)備位置信息;
步驟s2:獲取攝像機(jī)的拍攝方向、攝像機(jī)的位置信息和攝像機(jī)拍攝的待分析影像;
步驟s3:根據(jù)攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像的成像區(qū)域;其中,待分析影像的成像區(qū)域指的是能被當(dāng)前攝像機(jī)拍攝到的理論區(qū)域;
步驟s4:從設(shè)備數(shù)據(jù)庫(kù)中獲取位于成像區(qū)域內(nèi)且距離攝像機(jī)最近的設(shè)備;并將該設(shè)備作為待比對(duì)設(shè)備;
步驟s5:根據(jù)待比對(duì)設(shè)備的設(shè)備類型、待比對(duì)設(shè)備的設(shè)備位置信息、攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像中待比對(duì)設(shè)備的感興趣區(qū)域;
步驟s6:根據(jù)待分析影像的感興趣區(qū)域和待比對(duì)設(shè)備的設(shè)備類型獲取待分析影像中設(shè)備的類型。
本發(fā)明通過(guò)攝像機(jī)拍攝方向、攝像機(jī)的位置信息、以及設(shè)備數(shù)據(jù)庫(kù)中設(shè)備的位置信息和類型預(yù)判出待分析影像中設(shè)備的感興趣區(qū)域和設(shè)備的類型,進(jìn)而在圖像識(shí)別時(shí),只需識(shí)別待分析影像的感興趣區(qū)域中是否存在預(yù)判類型的設(shè)備,相對(duì)于現(xiàn)有技術(shù)中對(duì)需要識(shí)別整個(gè)待分析影像中是否存在各個(gè)類型的設(shè)備,本發(fā)明的計(jì)算量要遠(yuǎn)遠(yuǎn)小于現(xiàn)有技術(shù),使得識(shí)別速度要比現(xiàn)有技術(shù)中的更快,準(zhǔn)確率要比現(xiàn)有技術(shù)中的也更高。
為了便于計(jì)算,攝像機(jī)水平拍攝,拍攝方向?yàn)閿z像機(jī)在水平面上的方向,成像區(qū)域只考慮水平方向上的成像區(qū)域。
如圖2所示,根據(jù)攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像的成像區(qū)域包括:以扇形區(qū)域1作為成像區(qū)域,其中,扇形以攝像機(jī)2作為圓心,以預(yù)設(shè)值作為半徑,以攝像機(jī)的水平視角角度θ作為圓心角,以攝像機(jī)的拍攝方向a作為其圓心角角平分線的方向。預(yù)設(shè)值可以根據(jù)攝像機(jī)的類型設(shè)置,本實(shí)施例中可以設(shè)置為0.5km。成像區(qū)域?yàn)閿z像機(jī)能拍攝到的區(qū)域;
從設(shè)備數(shù)據(jù)庫(kù)中獲取位于成像區(qū)域內(nèi)且距離攝像機(jī)最近的設(shè)備包括:獲取設(shè)備數(shù)據(jù)庫(kù)中各設(shè)備的位置信息,根據(jù)設(shè)備的位置信息計(jì)算設(shè)備與攝像機(jī)的距離,并將與攝像機(jī)距離小于預(yù)設(shè)值的設(shè)備作為第一預(yù)選設(shè)備;判斷每個(gè)第一預(yù)選設(shè)備是否在成像區(qū)域中,將在成像區(qū)域中的第一預(yù)選設(shè)備作為第二預(yù)選設(shè)備;計(jì)算各個(gè)第二預(yù)選設(shè)備與攝像機(jī)之間的距離,獲取與攝像機(jī)距離最短的第二預(yù)選設(shè)備作為對(duì)比設(shè)備。先計(jì)算與攝像機(jī)距離小于預(yù)設(shè)值的所有設(shè)備,再計(jì)算與攝像機(jī)距離小于預(yù)設(shè)值的所有設(shè)備中位于攝像機(jī)可拍攝范圍內(nèi)的所有設(shè)備,最后再獲得其中最接近攝像機(jī)的設(shè)備,進(jìn)而獲得位于成像區(qū)域內(nèi)且距離攝像機(jī)最近的設(shè)備,通過(guò)這種獲取方法,相對(duì)于常規(guī)方法計(jì)算所花費(fèi)的時(shí)間更短。同樣的,預(yù)設(shè)值可以根據(jù)攝像機(jī)的類型設(shè)置,本實(shí)施例中可以設(shè)置為0.5km。如圖3所示,如果扇形區(qū)域1中包含了第一設(shè)備01、第二設(shè)備02、第三設(shè)備03、第四設(shè)備04,那么最接近攝像頭的第三設(shè)備03即位于成像區(qū)域內(nèi)且距離攝像機(jī)最近的設(shè)備。而第四設(shè)備04由于一部分不在成像區(qū)域內(nèi),所以類似第四設(shè)備04這一類部分不在成像區(qū)域的設(shè)備不屬于成像區(qū)域內(nèi)的設(shè)備。
設(shè)備數(shù)據(jù)庫(kù)中包含各個(gè)設(shè)備的占地位置區(qū)域,判斷每個(gè)第一預(yù)選設(shè)備是否在成像區(qū)域中包括:獲取每個(gè)第一預(yù)選設(shè)備的占地位置區(qū)域,判斷第一預(yù)選設(shè)備的占地位置區(qū)域是否均在成像區(qū)域內(nèi),如果第一預(yù)選設(shè)備的地位置區(qū)域在成像區(qū)域內(nèi),則該第一預(yù)選設(shè)備在成像區(qū)域中。在這里,占地位置區(qū)域指的是設(shè)備在地面上的正投影的輪廓范圍。如果第一預(yù)選設(shè)備在地面上的正投影都在成像區(qū)域內(nèi),那么第一預(yù)選設(shè)備的地位置區(qū)域在成像區(qū)域內(nèi)。如圖3所示,圖中第一設(shè)備01對(duì)應(yīng)圓圈的整個(gè)區(qū)域?yàn)榈谝辉O(shè)備01的占地位置區(qū)域,不同設(shè)備占地位置區(qū)域的輪廓不同,其不一定是圓形,也可能是其他形狀。
根據(jù)待比對(duì)設(shè)備的類型、待比對(duì)設(shè)備的位置信息、攝像機(jī)的拍攝方向和攝像機(jī)的位置信息獲取待分析影像中待比對(duì)設(shè)備的感興趣區(qū)域包括:根據(jù)待比對(duì)設(shè)備的類型獲取待比對(duì)設(shè)備的最高高度和最大寬度,根據(jù)待比對(duì)設(shè)備的位置信息和攝像機(jī)的位置信息計(jì)算待比對(duì)設(shè)備與攝像機(jī)之間的距離,根據(jù)待比對(duì)設(shè)備的最高高度和最大寬度、待比對(duì)設(shè)備與攝像機(jī)之間的距離以及攝像機(jī)自身的像素獲取比對(duì)設(shè)備在待分析影像的占用區(qū)域大小,根據(jù)攝像機(jī)拍攝方向、待比對(duì)設(shè)備的位置信息和待比對(duì)設(shè)備與攝像機(jī)之間的距離獲得待比對(duì)設(shè)備的底部中心在待分析影像中的預(yù)測(cè)位置,根據(jù)待比對(duì)設(shè)備的底部中心在待分析影像中的預(yù)測(cè)位置和比對(duì)設(shè)備在待分析影像的占用區(qū)域大小獲得待分析影像中待比對(duì)設(shè)備的感興趣區(qū)域。最高高度指的是設(shè)備最高處與最底處之間的距離,最大寬度指的是:設(shè)備水平面上的投影,其投影邊界上的所有點(diǎn)中,存在兩個(gè)點(diǎn)之間的距離是最大的,而這個(gè)最大距離即為最大寬度。該獲取方法可以將待分析影像中待比對(duì)設(shè)備的感興趣區(qū)域,也就是待比對(duì)設(shè)備在顯示待分析影像中的感興趣區(qū)域內(nèi)。如圖4所示,圖中為識(shí)別鐵塔時(shí),獲取的感興趣區(qū)域,其中虛線框s內(nèi)的區(qū)域即為感興趣區(qū)域。
根據(jù)待分析影像的感興趣區(qū)域和待比對(duì)設(shè)備的設(shè)備類型獲取待分析影像中設(shè)備的類型包括:根據(jù)待分析影像感興趣區(qū)域的影像信息識(shí)別感興趣區(qū)域中是否存在與待比對(duì)設(shè)備類型相同的設(shè)備;如果影像信息識(shí)別感興趣區(qū)域中存在與待比對(duì)設(shè)備類型相同的設(shè)備,則待分析影像中設(shè)備的類型為待比對(duì)設(shè)備類型。
為了進(jìn)行對(duì)已識(shí)別的設(shè)備進(jìn)行標(biāo)識(shí),如果待分析影像中設(shè)備的類型為待比對(duì)設(shè)備類型,則在感興趣區(qū)域內(nèi)或感興趣區(qū)域周側(cè)標(biāo)識(shí)設(shè)備類型。在感興趣區(qū)域內(nèi)或感興趣區(qū)域周側(cè)標(biāo)識(shí)設(shè)備類型可以在感興趣區(qū)域的邊界畫框,并在框內(nèi)或周側(cè)顯示設(shè)備類型。
根據(jù)待分析影像感興趣區(qū)域的影像信息識(shí)別感興趣區(qū)域中是否存在與待比對(duì)設(shè)備類型相同的設(shè)備包括:建立設(shè)備類型庫(kù),設(shè)備類型庫(kù)中保存多種不同方向、不同角度和不同時(shí)間段拍攝的待比對(duì)設(shè)備影像;將待分析影像感興趣區(qū)域的影像信息與設(shè)備類型庫(kù)中待比對(duì)設(shè)備類型的所有待比對(duì)設(shè)備影像一一比對(duì),如果存在待比對(duì)設(shè)備影像與待比對(duì)設(shè)備類型相似度超過(guò)80%,則感興趣區(qū)域中存在與待比對(duì)設(shè)備類型相同的設(shè)備。這種一種通過(guò)圖像識(shí)別的一種常用方法,本發(fā)明不再進(jìn)行詳細(xì)描述。
如圖5所示,為通過(guò)本發(fā)明的方法對(duì)鐵塔的識(shí)別結(jié)果,攝像機(jī)拍攝鐵塔影像時(shí),快速識(shí)別影像中的鐵塔,并進(jìn)行標(biāo)識(shí),圖中即將識(shí)別出了設(shè)備為酒杯型鐵塔。可以知道的,采用發(fā)明的方法用于識(shí)別其他設(shè)備的效果與識(shí)別鐵塔相同。
實(shí)施例二:
與實(shí)施例一的區(qū)別在于:還包括讀取每個(gè)類型設(shè)備的設(shè)備圖片庫(kù),為每個(gè)類型設(shè)備建立一個(gè)卷積神經(jīng)網(wǎng)路模型,其中,所述卷積神經(jīng)網(wǎng)路模型通過(guò)如下步驟建立:根據(jù)hog特征提取算法提取hog特征,構(gòu)建卷積神經(jīng)網(wǎng)路并利用hog特征對(duì)卷積神經(jīng)網(wǎng)路進(jìn)行訓(xùn)練,得到訓(xùn)練好的卷積神經(jīng)網(wǎng)路模型;所述根據(jù)待分析影像感興趣區(qū)域的影像信息識(shí)別感興趣區(qū)域中是否存在與待比對(duì)設(shè)備類型相同的設(shè)備包括:獲取待分析影像感興趣區(qū)域的hog特征;獲取待比對(duì)設(shè)備類型的卷積神經(jīng)網(wǎng)路模型,根據(jù)hog特征和卷積神經(jīng)網(wǎng)路模型得出待分析影像感興趣區(qū)域是否存在與待比對(duì)設(shè)備類型相同的設(shè)備。hog特征即方向梯度直方圖;根據(jù)hog特征提取算法提取hog特征,構(gòu)建卷積神經(jīng)網(wǎng)路并利用hog特征對(duì)卷積神經(jīng)網(wǎng)路進(jìn)行訓(xùn)練,得到訓(xùn)練好的卷積神經(jīng)網(wǎng)路模型,作為現(xiàn)有技術(shù)可以參考公開號(hào)為cn105631415a的專利,本發(fā)明不再進(jìn)行詳細(xì)描述。本方法基于方向梯度直方圖和卷積神經(jīng)網(wǎng)絡(luò)識(shí)別能有效挖掘數(shù)據(jù)局部特征,為每個(gè)類型的設(shè)備建立卷積神經(jīng)網(wǎng)路模型,通過(guò)地理位置實(shí)現(xiàn)預(yù)測(cè)設(shè)備類型,再通過(guò)待分析影像感興趣區(qū)域的hog特征和卷積神經(jīng)網(wǎng)路模型判斷待分析影像感興趣區(qū)域中的設(shè)備是否是該預(yù)測(cè)設(shè)備類型,進(jìn)而使得卷積神經(jīng)網(wǎng)絡(luò)模型的輸出項(xiàng)只需兩個(gè),即是該設(shè)備類型或不是該設(shè)備類型,使得卷積神經(jīng)網(wǎng)絡(luò)模型更為簡(jiǎn)化,進(jìn)而提高識(shí)別效率。
以上所述僅為本發(fā)明的具體實(shí)施例,但本發(fā)明的技術(shù)特征并不局限于此,任何本領(lǐng)域的技術(shù)人員在本發(fā)明的領(lǐng)域內(nèi),所作的變化或修飾皆涵蓋在本發(fā)明的專利范圍之中。