亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種目標(biāo)跟蹤方法及裝置與流程

文檔序號(hào):12787329閱讀:299來(lái)源:國(guó)知局
一種目標(biāo)跟蹤方法及裝置與流程

本發(fā)明涉及計(jì)算機(jī)軟件應(yīng)用領(lǐng)域,特別涉及一種目標(biāo)跟蹤方法及裝置。



背景技術(shù):

近年來(lái),隨著互聯(lián)網(wǎng)技術(shù)、通信技術(shù)、遙感技術(shù)的發(fā)展以及人們生活質(zhì)量水平的提升,人們對(duì)電子設(shè)備提出了更高的要求,以電子玩具為例,人們希望電子玩具能夠更加的智能,不再是通過(guò)遙控手柄等遙控器來(lái)改變電子玩具的運(yùn)動(dòng)軌跡,而希望電子玩具能夠具有一定的感知能力,通過(guò)對(duì)環(huán)境的感知實(shí)現(xiàn)運(yùn)動(dòng)軌跡的改變,或者實(shí)現(xiàn)與用戶(hù)進(jìn)行互動(dòng),如電子玩具通過(guò)對(duì)環(huán)境的感知能夠?qū)τ脩?hù)進(jìn)行跟蹤。

目前,大多的電子設(shè)備是通過(guò)搭載聲音傳感器來(lái)實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤,通過(guò)聲音傳感器能夠?qū)λ幁h(huán)境中的聲源進(jìn)行測(cè)量,并通過(guò)預(yù)先設(shè)置的參數(shù)判斷該環(huán)境中是否存儲(chǔ)目標(biāo),例如,用戶(hù)在行走過(guò)程中發(fā)出的腳步聲可以被電子設(shè)備上搭載的聲音傳感器測(cè)量到,聲音傳感器將測(cè)量到得腳步聲發(fā)送給處理模塊進(jìn)行分析,判斷腳步聲的變化趨勢(shì),進(jìn)而計(jì)算出用戶(hù)是逐漸靠近電子設(shè)備還是逐漸遠(yuǎn)離電子設(shè)備,當(dāng)靠近或遠(yuǎn)離一定程度之后,電子設(shè)備可以改變相應(yīng)的運(yùn)動(dòng)軌跡來(lái)實(shí)現(xiàn)對(duì)用戶(hù)的跟蹤。

俗話(huà)說(shuō)“耳聽(tīng)為虛,眼見(jiàn)為實(shí)”是有一定根據(jù)的,就用戶(hù)在行走過(guò)程中發(fā)出的腳步聲而言,腳步聲大小與用戶(hù)所穿得鞋履以及用戶(hù)的行走習(xí)慣有直接的關(guān)系,例如,穿高跟鞋行走要比穿平底鞋行走時(shí)發(fā)出的腳步聲大,行走習(xí)慣拖地的要不走路正常時(shí)發(fā)出的腳步聲大,并且不同路段腳步聲也可能存儲(chǔ)在較大的差異,而采用上述方式對(duì)用戶(hù)進(jìn)行跟蹤是依賴(lài)腳步聲大小的,因此,上述對(duì)用戶(hù)進(jìn)行跟蹤存在較大的誤差,跟蹤的準(zhǔn)確度低下。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明實(shí)施例的目的在于提供一種目標(biāo)跟蹤方法及裝置,能夠減少對(duì)目標(biāo)進(jìn)行跟蹤的誤差,提高跟蹤的準(zhǔn)確度。

為達(dá)到上述目的,本發(fā)明實(shí)施例公開(kāi)了一種目標(biāo)跟蹤方法,應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng);該方法包括:

獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

根據(jù)所述攝像頭的視場(chǎng)角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

在獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

根據(jù)所述攝像頭的視場(chǎng)角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

可選的,所述計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例的步驟,包括:

利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Faster-RCNN,對(duì)該第三圖像進(jìn)行目標(biāo)檢測(cè),得到所述目標(biāo);

計(jì)算所述目標(biāo)的第三高度;

計(jì)算所述第三高度占該第三圖像的高度的第三比例。

可選的,所述計(jì)算所述目標(biāo)的第三高度的步驟,包括:

用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

可選的,在所述計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟之前,所述方法還包括:

利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對(duì)所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

如果是,執(zhí)行所述計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟。

可選的,所述方法還包括:

當(dāng)所述矩形框在該第三圖像中所處的位置不處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)時(shí),觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

可選的,計(jì)算所述目標(biāo)的實(shí)際高度所利用的公式為:

上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場(chǎng)角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為正,所述電子設(shè)備向后移動(dòng)時(shí)x值為負(fù)。

可選的,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的距離所利用的公式為:

其中,所述Lx為拍攝所述第三圖像時(shí)對(duì)應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場(chǎng)角。

為達(dá)到上述目的,本發(fā)明實(shí)施例還公開(kāi)了一種目標(biāo)跟蹤裝置,應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng);所述裝置包括:

第一獲得模塊,用于獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

第一計(jì)算模塊,用于計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

第一觸發(fā)模塊,用于觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

第二獲得模塊,用于獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

第二計(jì)算模塊,用于根據(jù)所述攝像頭的視場(chǎng)角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

第三獲得模塊,用于在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

第三計(jì)算模塊,用于在所述第三獲得模塊獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

第四計(jì)算模塊,用于根據(jù)所述攝像頭的視場(chǎng)角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

第五計(jì)算模塊,用于計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

跟蹤模塊,用于觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

可選的,所述第三計(jì)算模塊,包括:

目標(biāo)檢測(cè)子模塊,用于利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Faster-RCNN,對(duì)該第三圖像進(jìn)行目標(biāo)檢測(cè),得到所述目標(biāo);

第一計(jì)算子模塊,用于計(jì)算所述目標(biāo)的第三高度;

第二計(jì)算子模塊,用于計(jì)算所述第三高度占該第三圖像的高度的第三比例。

可選的,所述第一計(jì)算子模塊,具體用于:

用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

可選的,所述裝置還包括:

特征提取模塊,用于在執(zhí)行所述第二計(jì)算子模塊之前,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對(duì)所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

判斷模塊,用于判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

第二觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為是的情況下,觸發(fā)所述第二計(jì)算子模塊。

可選的,所述裝置還包括:

第三觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為否的情況下,觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

可選的,所述第二計(jì)算模塊,具體用于:

根據(jù)所述攝像頭的視場(chǎng)角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,完成初始化配置按照如下公式計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置:

上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場(chǎng)角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為負(fù),所述電子設(shè)備向后移動(dòng)時(shí)x值為正。

可選的,所述第四計(jì)算模塊,具體用于:

根據(jù)所述攝像頭的視場(chǎng)角、所述目標(biāo)的實(shí)際高度以及所述第三比例,按照如下公式計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離:

其中,所述Lx為拍攝所述第三圖像時(shí)對(duì)應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場(chǎng)角。

綜上可見(jiàn),在本發(fā)明實(shí)施例提供的方案中,通過(guò)裝載與電子設(shè)備上的攝像頭能夠在第一位置拍攝到第一圖像,并對(duì)第一圖像進(jìn)行目標(biāo)檢測(cè),得到第一比例,同時(shí)觸發(fā)驅(qū)動(dòng)裝置使電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后到達(dá)第二位置,在第二位置時(shí),攝像頭拍攝獲得第二圖像,同樣對(duì)第二圖像進(jìn)行目標(biāo)檢測(cè),得到第二比例,并根據(jù)攝像頭的視場(chǎng)角、第一比例、預(yù)設(shè)距離以及第二比例,計(jì)算該目標(biāo)的實(shí)際高度,完成初始化配置;之后持續(xù)獲得第三圖像,針對(duì)任意的第三圖像進(jìn)行目標(biāo)檢測(cè),得到第三比例,根據(jù)該第三比例、攝像頭的視場(chǎng)角以及上述計(jì)算出的目標(biāo)的實(shí)際高度,計(jì)算拍攝第三圖像時(shí)該電子設(shè)備對(duì)應(yīng)位置到目標(biāo)的當(dāng)前距離,并將當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離作差得到差值,根據(jù)差值移動(dòng)電子設(shè)備,達(dá)到實(shí)時(shí)跟蹤目標(biāo)的目的,減少了對(duì)目標(biāo)進(jìn)行跟蹤的誤差,提高了跟蹤的準(zhǔn)確度。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤方法的流程示意圖;

圖2為本發(fā)明實(shí)施例提供的一種初始化配置的過(guò)程示意圖;

圖3為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。

下面通過(guò)具體實(shí)施例,對(duì)本發(fā)明進(jìn)行詳細(xì)的說(shuō)明。

圖1為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤方法的流程示意圖,該方法應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng),該方法包括步驟:

S101:獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

為了直觀地對(duì)本發(fā)明實(shí)施例所提供的電子設(shè)備進(jìn)行說(shuō)明,首先對(duì)電子設(shè)備的基本結(jié)構(gòu)進(jìn)行介紹,本發(fā)明實(shí)施例中提及的電子設(shè)備需要裝載攝像頭,因?yàn)樵撾娮釉O(shè)備用于跟蹤目標(biāo),因此還需要具備運(yùn)動(dòng)的能力,所以該電子設(shè)備還需搭載能夠使驅(qū)動(dòng)電子設(shè)備運(yùn)動(dòng)的驅(qū)動(dòng)裝置,當(dāng)然電子設(shè)備需要有電源系統(tǒng)來(lái)為各部件提供電源,同時(shí)該電子設(shè)備具有圖像處理的能力。

該電子設(shè)備上裝載的攝像頭可以選用常見(jiàn)的攝像頭,例如,羅技(Logitech)HD720P免驅(qū)動(dòng)高清攝像頭、XM雄邁720P百萬(wàn)高清行車(chē)監(jiān)控?cái)z像頭、螢石(EZVIZ)C6H云臺(tái)全景無(wú)線(xiàn)網(wǎng)絡(luò)攝像頭等等,本發(fā)明實(shí)施例并不對(duì)攝像頭的具體形式做進(jìn)一步限定。對(duì)于攝像頭裝載的方式,一般為了能夠拍攝得到較好的圖像,攝像頭可以水平地安裝在電子設(shè)備上。對(duì)于驅(qū)動(dòng)裝置而言,驅(qū)動(dòng)裝置可以采用常見(jiàn)的直流電機(jī),例如,在電子設(shè)備的底部安裝四個(gè)輪子,四個(gè)輪子可以按正方形(前、后、左、右)進(jìn)行布局,每個(gè)輪子均由一個(gè)直流電機(jī)控制,每個(gè)輪子能夠單獨(dú)的受控,因此,通過(guò)上述的四個(gè)直流電機(jī)能夠?qū)崿F(xiàn)任意方向的運(yùn)動(dòng)。

通過(guò)控制電子設(shè)備底部安裝的四個(gè)直流電機(jī),能夠?qū)z像頭轉(zhuǎn)動(dòng)至能夠拍攝到目標(biāo)的位置,本發(fā)明實(shí)施例所提供的方案中,目標(biāo)可以為行人、小動(dòng)物以及物體其他移動(dòng)的物體,本發(fā)明實(shí)施例不對(duì)目標(biāo)的具體形式做明確的限定,為了直觀統(tǒng)一地對(duì)本發(fā)明實(shí)施例進(jìn)行說(shuō)明,以下實(shí)施例均以目標(biāo)是行人為例進(jìn)行說(shuō)明。

不難理解的,通過(guò)控制上述的直流電機(jī)能夠使得攝像頭的視野中出現(xiàn)行人,這里所說(shuō)的攝像頭的視野是指攝像頭能夠拍攝到的范圍,假設(shè)當(dāng)前狀態(tài)下,行人恰巧出于攝像頭的正前方,且攝像頭能夠拍攝到該行人,那么稱(chēng)上述攝像頭所處的位置為第一位置,攝像頭在上述的第一位置拍攝到圖像為第一圖像;攝像頭可以理解為是圖像采集裝置,通過(guò)攝像頭能夠獲得第一圖像??梢岳斫獾氖?,攝像頭檢測(cè)到行人出現(xiàn),然后拍攝圖像,可以通過(guò)現(xiàn)有技術(shù)來(lái)實(shí)現(xiàn)。

S102:計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

由上可知的是,攝像頭在上述第一位置拍攝的第一圖像中有行人(目標(biāo)),行人在上述的第一圖像中會(huì)有一定的高度,本發(fā)明實(shí)施例中稱(chēng)該高度為第一高度,通過(guò)對(duì)第一圖像進(jìn)行分析檢測(cè),能夠檢測(cè)出第一圖像中的行人,那么該行人在第一圖像中的第一高度也可以被計(jì)算出來(lái)。

就目前的圖像處理技術(shù)而言,對(duì)圖像進(jìn)行目標(biāo)檢測(cè)的方式有多種,例如,利用方向梯度直方圖(Histogram of Oriented Gradient,簡(jiǎn)稱(chēng)HOG)對(duì)上述第一圖像中的行人的特征進(jìn)行提取,HOG特征是一種在計(jì)算機(jī)視覺(jué)和圖像處理中用來(lái)進(jìn)行目標(biāo)檢測(cè)的特征描述,它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征。同時(shí),HOG特征可以結(jié)合支持向量機(jī)(Support Vector Machine,簡(jiǎn)稱(chēng)SVM)分類(lèi)器,能夠方便準(zhǔn)確的對(duì)第一圖像中的行人進(jìn)行檢測(cè)。此外,較為準(zhǔn)確智能的目標(biāo)檢測(cè)的方法是,利用深度學(xué)習(xí)的方式來(lái)對(duì)圖像進(jìn)行分析。例如,可以利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Faster-RCNN,對(duì)上述第一圖像進(jìn)行目標(biāo)檢測(cè)。

本領(lǐng)域技人員能夠理解的是,F(xiàn)aster-RCNN由兩部分組成,分別是全卷積神經(jīng)網(wǎng)絡(luò)(Region Proposal Network,簡(jiǎn)稱(chēng)RPN)和快速卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Fast-RCNN。

RPN的輸入可以是任意大小的圖片,RPN對(duì)輸入的圖像進(jìn)行特征提取,特征提取可以采用VGG Net進(jìn)行卷積、池化操作,得到關(guān)于輸入圖像的特征圖譜,再按照預(yù)設(shè)大小的卷積核將特征圖譜分割成多個(gè)矩形窗口,把每個(gè)矩形窗口的中心點(diǎn)當(dāng)成一個(gè)基準(zhǔn)點(diǎn),圍繞這個(gè)基準(zhǔn)點(diǎn)選取9個(gè)不同尺寸的預(yù)選框,對(duì)于每一個(gè)預(yù)選框,均在后面連,接一個(gè)二分類(lèi)器softmax然后再接上一個(gè)邊界框(bounding box)的回歸器,回歸器的輸出為4個(gè)坐標(biāo)點(diǎn),這4個(gè)坐標(biāo)點(diǎn)能夠確定對(duì)應(yīng)的預(yù)選框的區(qū)域,這9個(gè)不同尺寸的預(yù)選框構(gòu)成一個(gè)目標(biāo)可能存在的預(yù)選區(qū)域集。

Fast-RCNN將上述RPN輸入的圖像,以及通過(guò)RPN得到的目標(biāo)可能存在的預(yù)選區(qū)域集作為輸入,首先對(duì)該圖像進(jìn)行處理得到一個(gè)卷積特征圖,然后為預(yù)選區(qū)域集中每個(gè)區(qū)域的ROI(Region Of Interest)池化層從卷積特征圖中提取一個(gè)固定長(zhǎng)度的特征向量,每個(gè)特征向量被送入全連接層,最終得到兩個(gè)輸出,一個(gè)用于確定圖像中目標(biāo)的類(lèi)別,另一個(gè)用于確定目標(biāo)所處區(qū)域。

通過(guò)目標(biāo)所處的區(qū)域,能夠確定出目標(biāo)在圖像中的第一高度,獲得該第一高度僅為了計(jì)算該高度占第一圖形的高度的比例,稱(chēng)該比例為第一比例。對(duì)于同一個(gè)攝像頭來(lái)說(shuō),其視場(chǎng)角(Field Of View,簡(jiǎn)稱(chēng)FOV)為一個(gè)定值,因此同一個(gè)攝像頭所拍攝的圖像具有相同的大小,F(xiàn)OV是指攝像頭所能覆蓋的范圍(物體超過(guò)這個(gè)角就不會(huì)出現(xiàn)在拍攝的圖像中),攝像頭能拍攝多大范圍的景物,通常用角度來(lái)表示,這個(gè)角度就叫攝像頭的FOV,F(xiàn)OV是攝像頭的硬件參數(shù)。例如,羅技(Logitech)HD720P免驅(qū)動(dòng)高清攝像頭的視場(chǎng)角FOV=60°,對(duì)于該攝像頭來(lái)說(shuō),其拍攝到的圖像大小為640*360,所以第一圖像的大小也為640*360,因此,如果第一圖像中行人的高度可知的話(huà),那么該行人占第一圖像的高度的第一比也可以計(jì)算出來(lái),第一比例可用P1表示,假設(shè)上述計(jì)算出P1=0.6。

需要說(shuō)明的是,上述利用Faster-RCNN對(duì)第一圖像進(jìn)行目標(biāo)檢測(cè)僅為本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式,上述過(guò)程旨在計(jì)算第一圖像中的目標(biāo)占第一圖像的高度的第一比例,凡能夠達(dá)到上述目的的圖像處理方法均適用,因此,本發(fā)明實(shí)施例并不對(duì)計(jì)算目標(biāo)高度占第一圖像的高度的第一比例的具體實(shí)現(xiàn)方式做進(jìn)一步限定。

S103:觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

在上述計(jì)算出第一圖像中的行人的高度占第一圖像的高度的第一比例之后,觸發(fā)上述所說(shuō)的驅(qū)動(dòng)裝置,驅(qū)動(dòng)裝置能夠使電子設(shè)備向前或者是向后移動(dòng)一段距離,稱(chēng)該段舉例為預(yù)設(shè)距離,到達(dá)第二位置,該處所說(shuō)的向前指的是靠近目標(biāo)的方向,向后指的是遠(yuǎn)離目標(biāo)的方向。

示例性的,在計(jì)算出電子設(shè)備在第一位置時(shí),攝像頭所拍攝的第一圖像中行人占第一圖像的高度的第一比例P1=0.6之后,觸發(fā)安裝在電子設(shè)備底部的驅(qū)動(dòng)裝置(四個(gè)輪子),使電子設(shè)備向后移動(dòng)一段距離x,如x=0.5m(米),如果電子設(shè)備在第一位置時(shí),攝像頭處于行人的正前方,那么可以直接觸發(fā)四個(gè)輪子中的左、右輪子,同步向后轉(zhuǎn)動(dòng),使電子設(shè)備向后移動(dòng)離0.5m。當(dāng)然,也可以同步向前轉(zhuǎn)動(dòng),使電子設(shè)備前移動(dòng)0.5m。

為了避免電子設(shè)備在移動(dòng)到達(dá)第二位置時(shí)目標(biāo)超出攝像頭的拍攝范圍,在觸發(fā)驅(qū)動(dòng)裝置時(shí)可以根據(jù)上述計(jì)算的第一比例P1的大小來(lái)確定是將電子設(shè)備向前移動(dòng),還是向后移動(dòng)。例如,當(dāng)?shù)谝槐壤齈1大于0.5時(shí),選擇將電子設(shè)備向后移動(dòng);當(dāng)?shù)谝槐壤齈2小于等于0.5時(shí),選擇將電子設(shè)備向前移動(dòng),這里將第一比例P1與0.5作比較,選擇向前還是向后移動(dòng)電子設(shè)備僅為本發(fā)明實(shí)施例的一種具體實(shí)現(xiàn)方式,對(duì)于比較數(shù)值并不做明確限定,除上述列舉的數(shù)值0.5外,該數(shù)值還可以為0.4、0.6等等。

S104:獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

由上可知的是,通過(guò)上述觸發(fā)驅(qū)動(dòng)裝置后能夠?qū)⒃撾娮釉O(shè)備移動(dòng)得到第二位置,假設(shè)上述驅(qū)動(dòng)裝置將該電子設(shè)備向后移動(dòng)0.5m后到達(dá)第二位置,在該第二位置時(shí),攝像頭拍攝到第二圖像。

不難理解的是,第一圖像和第二圖像除內(nèi)容不同外,二者在形式上是對(duì)等的,因此,針對(duì)第二圖像來(lái)說(shuō),計(jì)算第二圖像中目標(biāo)的第二高度占第二圖像的高度的第二比例(用P2表示)的過(guò)程,類(lèi)似于計(jì)算第一圖像中目標(biāo)的第一高度占第一圖像的高度的第一比例P1,因此,該計(jì)算過(guò)程此時(shí)將不再贅述。

S105:根據(jù)所述攝像頭的視場(chǎng)角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

本領(lǐng)域技術(shù)人員能夠理解的是,攝像頭的視場(chǎng)角FOV是攝像頭的硬件參數(shù),不會(huì)隨著攝像頭所處位置的變化而改變。例如,上述采用的羅技(Logitech)HD720P免驅(qū)動(dòng)高清攝像頭的視場(chǎng)角FOV=60°,通過(guò)分別對(duì)上述電子設(shè)備位于第一位置和第二位置時(shí),攝像頭拍攝的第一圖像和第二圖像進(jìn)行圖像處理,能夠得到對(duì)應(yīng)的第一比例P1以及第二比例P2,那么,根據(jù)上述的視場(chǎng)角FOV、第一比例P1、第二比例P2和電子設(shè)備向前或向后移動(dòng)的距離x,計(jì)算目標(biāo)的實(shí)際高度。

在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,計(jì)算所述目標(biāo)的實(shí)際高度所利用的公式可以為:

上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場(chǎng)角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為負(fù),所述電子設(shè)備向后移動(dòng)時(shí)x值為正。

下面對(duì)該公式的推導(dǎo)過(guò)程進(jìn)行詳細(xì)的說(shuō)明,如圖2所述,為本發(fā)明實(shí)施例提供的一種初始化配置的過(guò)程示意圖,如圖2所示,電子設(shè)備在第一位置時(shí),與行人的距離為L(zhǎng),在第一位置時(shí),攝像頭拍攝的第一圖像中的行人占第一圖像的高度的第一比例P1=h/H1,假設(shè)電子設(shè)備在計(jì)算出P1之后觸發(fā)驅(qū)動(dòng)裝置使其向后移動(dòng)的距離x到達(dá)第二位置,由于電子設(shè)備是向后移動(dòng)的,因此x的值為正,因此,電子設(shè)備在第二位置時(shí)與行人的距離為L(zhǎng)+x,在第二位置時(shí),攝像頭拍攝的第二圖像中的行人占第二圖像的高度的第二比例P2=h/H2。由于攝像頭是水平安裝的,因此,基于攝像頭視場(chǎng)角角平分線(xiàn),攝像頭拍攝的圖像的上下部分距離相同,故存在以下關(guān)系式:

由上可推導(dǎo)出,進(jìn)而可推導(dǎo)出又由于P1=h/H1,因此,能夠推導(dǎo)出行人的實(shí)際高度

示例性的,假設(shè)P1=0.6、P2=0.5,攝像頭的FOV=60°,電子設(shè)備在計(jì)算出P1之后觸發(fā)驅(qū)動(dòng)裝置使其向后移動(dòng)的距離x=0.5m,那么,通過(guò)上述計(jì)算h的公式不難得到,行人的實(shí)際高度

上述全部過(guò)程為電子設(shè)備的初始化配置過(guò)程,計(jì)算出行人的示例高度之后即完成了上述初始化配置的過(guò)程。

需要說(shuō)明的是,上述過(guò)程中設(shè)置的電子設(shè)備向前或向后移動(dòng)的距離x=0.5位一種具體的實(shí)現(xiàn)方式,本發(fā)明實(shí)施例不對(duì)該距離做明確限定。

S106:在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

可以理解的是,在上述完成對(duì)電子設(shè)備的初始化配置之后,攝像頭開(kāi)始實(shí)時(shí)的拍攝圖像,可以理解為攝像頭開(kāi)始錄像,當(dāng)然,前述攝像頭在拍攝得到第一圖像和第二圖像對(duì)應(yīng)的攝像頭的狀態(tài)這里不做規(guī)定,可以是錄像,也可以是單點(diǎn)拍攝,只要能夠獲得處于上述第一位置和第二位置對(duì)應(yīng)的第一圖像和第二圖像即可。

通過(guò)攝像頭錄像過(guò)程,能夠持續(xù)的獲得攝像頭拍攝的當(dāng)前圖像,稱(chēng)當(dāng)前圖像為第三圖像。

S107:在獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

由于攝像頭拍攝的第三圖像在形式上是對(duì)等的,因此,針對(duì)每一第三圖像,可以計(jì)算出該第三圖像中行人的高度占該第三圖像的高度的第三比例(用P3表示)。

通過(guò)對(duì)第三圖像進(jìn)行目標(biāo)檢測(cè),能夠檢測(cè)出第三圖像中的行人,那么該行人在第一圖像中的第一高度也可以被計(jì)算出來(lái)。

目前對(duì)圖像進(jìn)行目標(biāo)檢測(cè)的方式有多種,例如,利用方向梯度直方圖(Histogram of Oriented Gradient,簡(jiǎn)稱(chēng)HOG)對(duì)上述第一圖像中的行人的特征進(jìn)行提取,HOG特征是一種在計(jì)算機(jī)視覺(jué)和圖像處理中用來(lái)進(jìn)行目標(biāo)檢測(cè)的特征描述,它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征。同時(shí),HOG特征可以結(jié)合支持向量機(jī)(Support Vector Machine,簡(jiǎn)稱(chēng)SVM)分類(lèi)器,能夠方便準(zhǔn)確的對(duì)第一圖像中的行人進(jìn)行檢測(cè)。此外,較為準(zhǔn)確智能的目標(biāo)檢測(cè)的方法是,利用深度學(xué)習(xí)的方式來(lái)對(duì)圖像進(jìn)行分析。例如,可以利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Faster-RCNN,對(duì)上述的第一圖像進(jìn)行目標(biāo)檢測(cè)。

為了清楚地對(duì)本發(fā)明實(shí)施例的整體方案進(jìn)行說(shuō)明,該部分內(nèi)容將在后面的具體實(shí)施例中進(jìn)行詳細(xì)介紹。

S108:根據(jù)所述攝像頭的視場(chǎng)角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

由上述可知的是,第三比例P3=h/H3,h通過(guò)前述的公式能夠計(jì)算得到,而P3能夠通過(guò)第三圖像中行人的高度與第三圖像的高度得到,假設(shè)此時(shí)得到的第三比例P3=0.45,上述計(jì)算得到的行人的實(shí)際高度h=1.731m,那么可以計(jì)算出此時(shí)對(duì)應(yīng)的H3=1.731/0.45=3.85m,而此時(shí)根據(jù)攝像頭的視場(chǎng)角Fov以及該H3便能計(jì)算出當(dāng)前電子設(shè)備所處位置到行人的距離Lx,tan(Fov/2)=H3/2*Lx。因此,根據(jù)上述的攝像頭的視場(chǎng)角Fov、行人的實(shí)際高度以及第三比例能夠計(jì)算出拍攝該第三圖像時(shí),電子設(shè)備所處位置到行人的距離Lx。

在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的距離所利用的公式可以為:

其中,所述Lx為拍攝所述第三圖像時(shí)對(duì)應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場(chǎng)角。

示例性的,上述計(jì)算出行人的實(shí)際高度h=1.731m,第三比例P3=0.45,攝像頭的視場(chǎng)角Fov=60°,那么代入上述公式,能夠計(jì)算出拍攝該第三圖像時(shí)對(duì)應(yīng)位置到行人的當(dāng)前距離Lx=1.731/2*0.45*0.577=3.33m。

S109:計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

為了使電子設(shè)能夠穩(wěn)定的跟蹤目標(biāo)(行人),即電子設(shè)備與行人之間需要保持一個(gè)穩(wěn)定的距離,該距離稱(chēng)之為目標(biāo)跟蹤距離,通常根據(jù)用戶(hù)的習(xí)慣不同,這一數(shù)值可能有所不同,比如有的用戶(hù)希望電子設(shè)備能夠距離自己近點(diǎn),而有些用戶(hù)則希望該電子設(shè)備能夠里自己遠(yuǎn)一點(diǎn),因此,這一跟蹤距離時(shí)一個(gè)經(jīng)驗(yàn)值,并且具有很強(qiáng)的主觀性,例如,用戶(hù)預(yù)設(shè)的目標(biāo)跟蹤距離為3m,也就是說(shuō)電子設(shè)備在跟蹤過(guò)程中需要始終與用戶(hù)(也就是行人)保持3m的距離,如果存在一定的偏差需要及時(shí)的進(jìn)行調(diào)整,進(jìn)而能夠達(dá)到動(dòng)態(tài)的穩(wěn)定的跟蹤。

綜上可見(jiàn),在本發(fā)明實(shí)施例提供的方案中,可計(jì)算上述的Lx與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值,然后根據(jù)該差值來(lái)對(duì)觸發(fā)上述的驅(qū)動(dòng)裝置來(lái)改變電子設(shè)備的運(yùn)動(dòng)軌跡。

示例性的,若上述計(jì)算出的當(dāng)前距離Lx=0.33m,而用戶(hù)預(yù)設(shè)的目標(biāo)跟蹤距離為3m,那么此時(shí)可計(jì)算出差值為+0.33m,這里值得強(qiáng)調(diào)的是,“+”表示當(dāng)前距離大于預(yù)設(shè)的目標(biāo)跟蹤距離,“-”則表示當(dāng)前距離Lx小于預(yù)設(shè)的目標(biāo)跟蹤距離。

S110:觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

通過(guò)上述步驟能夠計(jì)算出當(dāng)前位置Lx與預(yù)設(shè)目標(biāo)距離之間的差值,根據(jù)該差值觸發(fā)上述的驅(qū)動(dòng)裝置,使電子設(shè)備向前或向后移動(dòng)相應(yīng)的距離,例如,在上述計(jì)算出的差值為+0.33的情況下,也就是說(shuō)此時(shí)的電子設(shè)備在預(yù)設(shè)的目標(biāo)跟蹤距離之外0.33m,因此,需要觸發(fā)驅(qū)動(dòng)裝置將電子設(shè)備向前移動(dòng)0.33m才能達(dá)到預(yù)設(shè)的目標(biāo)跟蹤距離。

綜上可見(jiàn),圖1實(shí)施例提供的方案中,通過(guò)裝載與電子設(shè)備上的攝像頭能夠在第一位置拍攝到第一圖像,并對(duì)第一圖像進(jìn)行目標(biāo)檢測(cè),得到第一圖像中目標(biāo)的高度占該第一圖像的高度的第一比例,同時(shí)觸發(fā)電子設(shè)備的驅(qū)動(dòng)裝置,使電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后到達(dá)第二位置,在第二位置時(shí),攝像頭拍攝獲得第二圖像,同樣對(duì)第二圖像進(jìn)行目標(biāo)檢測(cè),得到第二圖像中目標(biāo)的高度占該第二圖像的高度的第二比例,并根據(jù)攝像頭的視場(chǎng)角、第一比例以及第二比例,計(jì)算該目標(biāo)的實(shí)際高度,完成初始化配置;之后能夠持續(xù)的獲取第三圖像,針對(duì)任意的第三圖像進(jìn)行目標(biāo)檢測(cè),能夠得到第三圖像中目標(biāo)的高度占第三圖像的高度的第三比例,根據(jù)該第三比例以及攝像頭的視場(chǎng)角以及上述計(jì)算出的目標(biāo)的實(shí)際高度,能夠計(jì)算出拍攝第三圖像時(shí)該電子設(shè)備對(duì)應(yīng)位置到目標(biāo)的當(dāng)前距離。

可見(jiàn),應(yīng)用圖1提供實(shí)施例,通過(guò)裝載的攝像頭能夠真實(shí)地獲得目標(biāo)所處場(chǎng)景的圖像,并對(duì)獲得的圖像進(jìn)行目標(biāo)檢測(cè),能夠準(zhǔn)確的計(jì)算出目標(biāo)的高度占該圖像的高度的比例,根據(jù)該比例以及目標(biāo)的實(shí)際高度,計(jì)算拍攝該圖像時(shí)該電子設(shè)備對(duì)應(yīng)位置到目標(biāo)的當(dāng)前距離,并將當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離作差得到差值,根據(jù)差值移動(dòng)電子設(shè)備,達(dá)到實(shí)時(shí)跟蹤目標(biāo)的目的,減少了對(duì)目標(biāo)進(jìn)行跟蹤的誤差,提高了跟蹤的準(zhǔn)確度。

針對(duì)上述的步驟S107,在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,所述計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例,可以包括:

步驟a:利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Faster-RCNN,對(duì)該第三圖像進(jìn)行目標(biāo)檢測(cè),得到所述目標(biāo);

由上可知的是,F(xiàn)aster-RCNN由兩部分組成,分別是全卷積神經(jīng)網(wǎng)絡(luò)(Region Proposal Network,簡(jiǎn)稱(chēng)RPN)和快速卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Fast-RCNN。

RPN的輸入可以是任意大小的圖片,RPN對(duì)輸入的圖像進(jìn)行特征提取,特征提取可以采用VGG Net進(jìn)行卷積、池化操作,得到關(guān)于輸入圖像的特征圖譜,再按照預(yù)設(shè)大小的卷積核將特征圖譜分割成多個(gè)矩形窗口,把每個(gè)矩形窗口的中心點(diǎn)當(dāng)成一個(gè)基準(zhǔn)點(diǎn),圍繞這個(gè)基準(zhǔn)點(diǎn)選取9個(gè)不同尺寸的預(yù)選框,對(duì)于每一個(gè)預(yù)選框,均在后面連,接一個(gè)二分類(lèi)器softmax然后再接上一個(gè)邊界框(bounding box)的回歸器,回歸器的輸出為4個(gè)坐標(biāo)點(diǎn),這4個(gè)坐標(biāo)點(diǎn)能夠確定對(duì)應(yīng)的預(yù)選框的區(qū)域,這9個(gè)不同尺寸的預(yù)選框構(gòu)成一個(gè)目標(biāo)可能存在的預(yù)選區(qū)域集。

Fast-RCNN將上述RPN輸入的圖像,以及通過(guò)RPN得到的目標(biāo)可能存在的預(yù)選區(qū)域集作為輸入,首先對(duì)該圖像進(jìn)行處理得到一個(gè)卷積特征圖,然后為預(yù)選區(qū)域集中每個(gè)區(qū)域的ROI(Region Of Interest)池化層從卷積特征圖中提取一個(gè)固定長(zhǎng)度的特征向量,每個(gè)特征向量被送入全連接層,最終得到兩個(gè)輸出,一個(gè)用于確定圖像中目標(biāo)的類(lèi)別,另一個(gè)用于確定目標(biāo)所處區(qū)域。

步驟b:計(jì)算所述目標(biāo)的第三高度;

進(jìn)一步的,所述計(jì)算所述目標(biāo)的第三高度的步驟,可以包括:

用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

在上述確定出目標(biāo)所處區(qū)域之后,可以用矩形框?qū)δ繕?biāo)所處的區(qū)域進(jìn)行標(biāo)記,最常見(jiàn)的標(biāo)記方法是將目標(biāo)所在的像素點(diǎn)中橫坐標(biāo)的最小值以及縱坐標(biāo)的最大值,分別作為矩形框左上頂點(diǎn)的橫坐標(biāo)以及縱坐標(biāo),將目標(biāo)所在的像素點(diǎn)中橫坐標(biāo)的最大值以及縱坐標(biāo)的最小值,分別作為矩形框右下頂點(diǎn)的橫坐標(biāo)以及縱坐標(biāo),確定出矩形框的左上頂點(diǎn)和右下頂點(diǎn)便能夠確定該矩形框大小。該矩形框的高度即為行人的高度,稱(chēng)該高度為第三高度,本發(fā)明實(shí)施例中“第一高度”、“第二高度”以及“第三高度”中的“第一”、“第二”以及“第三”僅為區(qū)分不同圖像中的目標(biāo)對(duì)應(yīng)的高度,“第一高度”、“第二高度”以及“第三高度”之間并沒(méi)有實(shí)際的先后順序之分。

步驟c:計(jì)算所述第三高度占該第三圖像的高度的第三比例。

上述計(jì)算出第三高度之后,第三高度占第三圖像的高度的第三比例P3,由于第三比例P3等于行人的實(shí)際高度h與攝像頭拍攝第三圖像時(shí)對(duì)應(yīng)的視場(chǎng)高度H3的比值,即P3=h/H3。

基于上述提供的實(shí)施例,本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,在步驟c之前,該方法還可以包括:

步驟A:利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對(duì)所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

由于攝像頭拍攝到的圖像中各特征之間的位置關(guān)系與實(shí)際場(chǎng)景中的位置關(guān)系一致,由經(jīng)驗(yàn)可知,采用攝像頭在拍攝目標(biāo)時(shí),當(dāng)攝像頭的中心正對(duì)目標(biāo)時(shí),目標(biāo)在攝像頭的鏡頭中通常是處于中間位置的,如果圖像中的目標(biāo)處于圖像中的左側(cè)或右側(cè)的話(huà),那也就意味著此時(shí)的攝像頭并不是正對(duì)目標(biāo)的,即與目標(biāo)存在這一定的夾角,如果此時(shí)直接對(duì)目標(biāo)進(jìn)行跟蹤的話(huà),極有可能在驅(qū)動(dòng)設(shè)備驅(qū)動(dòng)電子設(shè)備向前移動(dòng)一段距離后,目標(biāo)將超出攝像頭的拍攝范圍,導(dǎo)致目標(biāo)被跟丟。

考慮到上述因素,為了進(jìn)一步的防止電子設(shè)備向前移動(dòng)一段距離之后,目標(biāo)超出攝像頭的拍攝范圍,在本發(fā)明實(shí)施例提供的技術(shù)方案中,在上述計(jì)算第三高度占該第三圖像的高度的第三比例的步驟之前,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對(duì)所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置。

利用解析網(wǎng)絡(luò)ParseNet對(duì)Faster-RCNN輸出的特征圖譜進(jìn)行提取全局特征,具體方法是使用max pooling操作提取新的特征,即全局特征(Global feature),這個(gè)全局特征和Faster-RCNN卷積層的特征一同進(jìn)行歸一化操作并級(jí)聯(lián)起來(lái),拼接成一個(gè)新的包含全局信息和局部細(xì)節(jié)的聯(lián)合特征(Combined feature),這個(gè)新的特征送入Faster-RCNN后面的ROI池化層作進(jìn)一步檢測(cè)。通過(guò)利用ParseNet對(duì)前述的特征圖譜進(jìn)行全局特征提取,能夠確定出目標(biāo)在整個(gè)圖像中所處的位置,即用于標(biāo)記目標(biāo)的矩形框在整個(gè)圖像中所處的位置。

步驟B:判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

步驟C:在步驟B判斷結(jié)果為是的情況下,執(zhí)行步驟c。

由經(jīng)驗(yàn)可知,采用攝像頭在拍攝目標(biāo)時(shí),當(dāng)攝像頭的中心正對(duì)目標(biāo)時(shí),目標(biāo)在攝像頭的鏡頭中通常是處于中間位置的,也就是上述的矩形框處于整個(gè)圖像的中間位置。為了使目標(biāo)盡可能處于攝像頭的正前方,防止電子設(shè)備在跟蹤過(guò)程中跑偏,可以預(yù)先設(shè)置目標(biāo)跟蹤區(qū)域,即預(yù)設(shè)目標(biāo)跟蹤區(qū)域,然后判斷上述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);如果判斷是處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi),那么認(rèn)為此時(shí)的行人處于攝像頭的正前方,繼續(xù)執(zhí)行所述計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟,進(jìn)而觸發(fā)上述的驅(qū)動(dòng)裝置,向前或向后移動(dòng)電子設(shè)備,達(dá)到穩(wěn)定的跟蹤。

示例性的,可以以第三圖像的中軸線(xiàn)為中心線(xiàn),而用于標(biāo)記目標(biāo)的矩形框也有一個(gè)中軸線(xiàn),該中軸線(xiàn)到中心線(xiàn)的距離稱(chēng)為偏心距,當(dāng)該偏心距不超過(guò)第三圖像的寬度的10%時(shí),認(rèn)為該行人處于攝像頭的正前方;當(dāng)然,該處僅為本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式,并且對(duì)于該具體實(shí)現(xiàn)方式中的10%為經(jīng)驗(yàn)值,可根據(jù)實(shí)際的跟蹤精度以及響應(yīng)要求調(diào)整該值的大小,本發(fā)明實(shí)施例并不對(duì)其做明確限定。

綜上可見(jiàn),應(yīng)用本發(fā)明實(shí)施例提供的方案,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對(duì)矩形框進(jìn)行全局特征提取,得到矩形框在該第三圖像中所處的位置,并通過(guò)判斷該位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域之內(nèi),如果是,執(zhí)行計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟,能夠有效的防止目標(biāo)跟丟的現(xiàn)象,有效的提高了目標(biāo)跟蹤的準(zhǔn)確性。

在本發(fā)明實(shí)施例提供的另一具體實(shí)現(xiàn)方式中,在上述步驟B判斷結(jié)果為否的情況下,該方法還包括:

步驟D:觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

由上可知的是,當(dāng)矩形框在該第三圖像中所處的位置不處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)時(shí),說(shuō)明此時(shí)攝像頭并不是正對(duì)著目標(biāo),也就是說(shuō)攝像頭與目標(biāo)之間存在這夾角,考慮到該現(xiàn)象,為了進(jìn)一步的提高目標(biāo)跟蹤的準(zhǔn)確度,防止目標(biāo)被跟丟的現(xiàn)象,在上述步驟B判斷結(jié)果為否的情況下,即矩形框在該第三圖像中所處的位置不處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)的情況下,可以觸發(fā)驅(qū)動(dòng)裝置,使該電子設(shè)備在原地旋轉(zhuǎn),在旋轉(zhuǎn)過(guò)程中,攝像頭會(huì)持續(xù)的拍攝當(dāng)前的圖像,當(dāng)矩形框處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域時(shí),驅(qū)動(dòng)裝置停止轉(zhuǎn)動(dòng)。

可見(jiàn),應(yīng)用本發(fā)明實(shí)施例提供的方案,能夠?qū)z像頭時(shí)刻的調(diào)整到正對(duì)目標(biāo)的位置,同時(shí)能夠有效的解決目標(biāo)跟丟的現(xiàn)象,在目標(biāo)跟丟的情況下,觸發(fā)驅(qū)動(dòng)裝置,驅(qū)動(dòng)電子設(shè)備原地轉(zhuǎn)動(dòng),360°搜索目標(biāo),大大提高了目標(biāo)跟蹤的穩(wěn)定性。

圖3為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖,該裝置應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng);該裝置包括:第一獲得模塊201、第一計(jì)算模塊202、第一觸發(fā)模塊203、第二獲得模塊204、第二計(jì)算模塊205、第三獲得模塊206、第三計(jì)算模塊207、第四計(jì)算模塊208、第五計(jì)算模塊209和跟蹤模塊210,具體的:

第一獲得模塊201,用于獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

第一計(jì)算模塊202,用于計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

第一觸發(fā)模塊203,用于觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

第二獲得模塊204,用于獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

第二計(jì)算模塊205,用于根據(jù)所述攝像頭的視場(chǎng)角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

進(jìn)一步的,所述第二計(jì)算模塊205,具體用于:

根據(jù)所述攝像頭的視場(chǎng)角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,完成初始化配置可以按照如下公式計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置:

上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場(chǎng)角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為負(fù),所述電子設(shè)備向后移動(dòng)時(shí)x值為正。

第三獲得模塊206,用于在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

第三計(jì)算模塊207,用于在所述第三獲得模塊獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

第四計(jì)算模塊208,用于根據(jù)所述攝像頭的視場(chǎng)角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

進(jìn)一步的,所述第四計(jì)算模塊208,具體用于:

根據(jù)所述攝像頭的視場(chǎng)角、所述目標(biāo)的實(shí)際高度以及所述第三比例,按照如下公式計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離:

其中,所述Lx為拍攝所述第三圖像時(shí)對(duì)應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場(chǎng)角。

第五計(jì)算模塊209,用于計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

跟蹤模塊210,用于觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

應(yīng)用圖3提供實(shí)施例,通過(guò)裝載的攝像頭能夠真是的獲得目標(biāo)所處場(chǎng)景的圖像,并對(duì)獲得的圖像進(jìn)行目標(biāo)檢測(cè),能夠準(zhǔn)確的計(jì)算出目標(biāo)的高度占該圖像的高度的比例,根據(jù)該比例以及目標(biāo)的實(shí)際高度,計(jì)算拍攝該圖像時(shí)該電子設(shè)備對(duì)應(yīng)位置到目標(biāo)的當(dāng)前距離,并將當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離作差得到差值,根據(jù)差值移動(dòng)電子設(shè)備,達(dá)到實(shí)時(shí)跟蹤目標(biāo)的目的,減少了對(duì)目標(biāo)進(jìn)行跟蹤的誤差,提高了跟蹤的準(zhǔn)確度。

可選的,上述的第三計(jì)算模塊207,可以包括:目標(biāo)檢測(cè)子模塊、第一計(jì)算子模塊和第二計(jì)算子模塊,具體的:

目標(biāo)檢測(cè)子模塊,用于利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法Faster-RCNN,對(duì)該第三圖像進(jìn)行目標(biāo)檢測(cè),得到所述目標(biāo);

第一計(jì)算子模塊,用于計(jì)算所述目標(biāo)的第三高度;

進(jìn)一步的,所述第一計(jì)算子模塊,具體用于:

用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

第二計(jì)算子模塊,用于計(jì)算所述第三高度占該第三圖像的高度的第三比例。

在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,在圖3提供實(shí)施例的基礎(chǔ)上,裝置還包括:特征提取模塊、判斷模塊和第二觸發(fā)模塊,具體的:

特征提取模塊,用于在執(zhí)行所述第二計(jì)算子模塊之前,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對(duì)所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

判斷模塊,用于判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

第二觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為是的情況下,觸發(fā)所述第二計(jì)算子模塊。

應(yīng)用本發(fā)明實(shí)施例提供的方案,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對(duì)矩形框進(jìn)行全局特征提取,得到矩形框在該第三圖像中所處的位置,并通過(guò)判斷該位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域之內(nèi),如果是,執(zhí)行計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟,能夠有效的防止目標(biāo)跟丟的現(xiàn)象,有效的提高了目標(biāo)跟蹤的準(zhǔn)確性。

基于上述提供的具體實(shí)施例,本發(fā)明實(shí)施例提供了另一種具體實(shí)現(xiàn)方式,在上述的判斷模塊判定結(jié)果為否的情況下,該裝置還包括:第三觸發(fā)模塊,具體的:

第三觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為否的情況下,觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

應(yīng)用本發(fā)明實(shí)施例提供的方案,能夠?qū)z像頭時(shí)刻的調(diào)整到正對(duì)目標(biāo)的位置,同時(shí)能夠有效的解決目標(biāo)跟丟的現(xiàn)象,在目標(biāo)跟丟的情況下,觸發(fā)驅(qū)動(dòng)裝置,驅(qū)動(dòng)電子設(shè)備原地轉(zhuǎn)動(dòng),360°搜索目標(biāo),大大提高了目標(biāo)跟蹤的穩(wěn)定性。

需要說(shuō)明的是,在本文中,諸如第一和第二等之類(lèi)的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái),而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒(méi)有明確列出的其他要素,或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下,由語(yǔ)句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。

本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用相關(guān)的方式描述,各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可,每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處。尤其,對(duì)于裝置實(shí)施例而言,由于其基本相似于方法實(shí)施例,所以描述的比較簡(jiǎn)單,相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述方法實(shí)施方式中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成,所述的程序可以存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,這里所稱(chēng)得的存儲(chǔ)介質(zhì),如:ROM/RAM、磁碟、光盤(pán)等。

以上所述僅為本發(fā)明的較佳實(shí)施例而已,并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等,均包含在本發(fā)明的保護(hù)范圍內(nèi)。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1