本發(fā)明涉及信息技術(shù)領(lǐng)域,具體涉及一種基于三維重建下的動(dòng)態(tài)物體識(shí)別的方法及系統(tǒng)。
背景技術(shù):
三維重建一直是計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)重要的研究方向,它在虛擬現(xiàn)實(shí)、物體識(shí)別和可視化等方面有著廣泛的應(yīng)用。如何在計(jì)算機(jī)中對(duì)場(chǎng)景進(jìn)行快速、有效的重建,向來(lái)都是計(jì)算機(jī)視覺(jué)研究領(lǐng)域的熱點(diǎn)和難點(diǎn)。
三維重建是在一個(gè)靜態(tài)場(chǎng)景下的一系列的圖像來(lái)估計(jì)場(chǎng)景的三維結(jié)構(gòu)。同時(shí)估計(jì)多視圖幾何可能不一樣復(fù)雜的對(duì)象識(shí)別,它需要許多任務(wù);一些例子包括獲得致密重建、創(chuàng)建詳細(xì)的3d模型或犯罪現(xiàn)場(chǎng)、測(cè)量距離的圖像、機(jī)器人技術(shù)、建立一個(gè)內(nèi)部三維模型從圖像導(dǎo)航、渲染視頻特效等。此外,通過(guò)多視圖系統(tǒng)獲得的信息可以用作更高水平的輸入、識(shí)別或其他系統(tǒng)。
現(xiàn)有視頻對(duì)動(dòng)態(tài)物體的識(shí)別具有多種跟蹤實(shí)現(xiàn),但如何實(shí)現(xiàn)跟蹤下的三維重建,實(shí)現(xiàn)快速插入,得到最終模型仍是本領(lǐng)域技術(shù)人員極為關(guān)注的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供了一種基于三維重建下的動(dòng)態(tài)物體識(shí)別的方法及系統(tǒng),該方法可以有效的實(shí)現(xiàn)動(dòng)態(tài)物體的識(shí)別,再獲得動(dòng)態(tài)物體的三維重建模型,其整個(gè)過(guò)程簡(jiǎn)單,識(shí)別率較高。
本發(fā)明提供了一種基于三維重建下的動(dòng)態(tài)物體識(shí)別的方法,包括如下步驟:
基于攝像機(jī)獲取動(dòng)態(tài)物體的視頻圖像;
同步獲取帶有場(chǎng)景深度信息的原始視頻圖像,并采用灰度幅值與梯度之和進(jìn)行邊緣檢測(cè)判斷,識(shí)別動(dòng)態(tài)物體輪廓;
使用klt跟蹤器對(duì)動(dòng)態(tài)物體輪廓進(jìn)行跟蹤搜索,并一次性實(shí)現(xiàn)單像素動(dòng)態(tài)物體的自適應(yīng)跟蹤和快速提??;
選取視頻圖像中的關(guān)鍵幀,標(biāo)定單像素動(dòng)態(tài)物體所代表的實(shí)際距離,并轉(zhuǎn)化為真實(shí)坐標(biāo)距離;
對(duì)選取的關(guān)鍵幀進(jìn)行重建,對(duì)動(dòng)態(tài)物體進(jìn)行三次樣條函數(shù)插值,獲取動(dòng)態(tài)物體的三維重建模型;
構(gòu)建原始視頻圖像和動(dòng)態(tài)物體的視頻圖像間的極幾何約束關(guān)系,運(yùn)用多視角重建理論在原始視頻圖像所對(duì)應(yīng)的三維模型中插入動(dòng)態(tài)物體的三維重建模型。
所述基于攝像機(jī)獲取動(dòng)態(tài)物體的視頻圖像包括:
采用matlab攝像機(jī)標(biāo)定工具箱及攝像機(jī)的內(nèi)外參數(shù)對(duì)攝像機(jī)拍攝的圖片用立體圖像對(duì)校正指令進(jìn)行校正,并得到校正后內(nèi)外參數(shù),然后進(jìn)行線性高通濾波。
所述選取視頻圖像中的關(guān)鍵幀包括:
先設(shè)置一個(gè)參考閾值,在對(duì)整個(gè)視頻的特征點(diǎn)跟蹤軌跡中,使用klt跟蹤器統(tǒng)計(jì)視頻幀中的特征點(diǎn)能維持到最后一幀的數(shù)量,如果滿足所述數(shù)量則該幀作為關(guān)鍵幀保留。
所述使用klt跟蹤器對(duì)動(dòng)態(tài)物體輪廓進(jìn)行跟蹤搜索包括:
選取跟蹤時(shí)間最長(zhǎng)所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn);計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像,并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像;建立觀測(cè)矩陣w,并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。
所述采用灰度幅值與梯度之和進(jìn)行邊緣檢測(cè)判斷,識(shí)別動(dòng)態(tài)物體輪廓包括:
對(duì)動(dòng)態(tài)物體輪廓進(jìn)行小波去燥平滑處理。
相應(yīng)的,本發(fā)明還提供了一種基于三維重建下的動(dòng)態(tài)物體識(shí)別的系統(tǒng),其特征在于,該系統(tǒng)包括:
采集模塊,用于基于攝像機(jī)獲取動(dòng)態(tài)物體的視頻圖像;
識(shí)別模塊,用于同步獲取帶有場(chǎng)景深度信息的原始視頻圖像,并采用灰度幅值與梯度之和進(jìn)行邊緣檢測(cè)判斷,識(shí)別動(dòng)態(tài)物體輪廓;
跟蹤模塊,用于使用klt跟蹤器對(duì)動(dòng)態(tài)物體輪廓進(jìn)行跟蹤搜索,并一次性實(shí)現(xiàn)單像素動(dòng)態(tài)物體的自適應(yīng)跟蹤和快速提取;
幀提取模塊,用于選取視頻圖像中的關(guān)鍵幀,標(biāo)定單像素動(dòng)態(tài)物體所代表的實(shí)際距離,并轉(zhuǎn)化為真實(shí)坐標(biāo)距離;
三維重建模塊,用于對(duì)選取的關(guān)鍵幀進(jìn)行重建,對(duì)動(dòng)態(tài)物體進(jìn)行三次樣條函數(shù)插值,獲取動(dòng)態(tài)物體的三維重建模型;
三維系統(tǒng)模塊,用于構(gòu)建原始視頻圖像和動(dòng)態(tài)物體的視頻圖像間的極幾何約束關(guān)系,運(yùn)用多視角重建理論在原始視頻圖像所對(duì)應(yīng)的三維模型中插入動(dòng)態(tài)物體的三維重建模型。
所述采集模塊還用于采用matlab攝像機(jī)標(biāo)定工具箱及攝像機(jī)的內(nèi)外參數(shù)對(duì)攝像機(jī)拍攝的圖片用立體圖像對(duì)校正指令進(jìn)行校正,并得到校正后內(nèi)外參數(shù),然后進(jìn)行線性高通濾波。
所述幀提取模塊先設(shè)置一個(gè)參考閾值,在對(duì)整個(gè)視頻的特征點(diǎn)跟蹤軌跡中,使用klt跟蹤器統(tǒng)計(jì)視頻幀中的特征點(diǎn)能維持到最后一幀的數(shù)量,如果滿足所述數(shù)量則該幀作為關(guān)鍵幀保留。
所述跟蹤模塊選取跟蹤時(shí)間最長(zhǎng)所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn);計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像,并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像;建立觀測(cè)矩陣w,并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。
所述識(shí)別模塊還用于對(duì)動(dòng)態(tài)物體輪廓進(jìn)行小波去燥平滑處理。
在本發(fā)明中,采用攝像頭即可實(shí)現(xiàn)對(duì)動(dòng)態(tài)物體的識(shí)別過(guò)程,并獲得三維重建模型,其構(gòu)建的三維重建模型可以較好的實(shí)現(xiàn)插入原有模型庫(kù)中。采用klt跟蹤算法、優(yōu)化了特征點(diǎn)模型,提高了跟蹤效率,從而達(dá)到最佳效果。針對(duì)原有視頻圖像與采集的動(dòng)態(tài)物體視頻圖像之間的約束關(guān)系,采用先提取視頻中的關(guān)鍵幀作為子集,保證最終系統(tǒng)重建的穩(wěn)定性。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其它的附圖。
圖1是本發(fā)明實(shí)施例中的基于三維重建下的動(dòng)態(tài)物體識(shí)別的方法流程圖;
圖2是本發(fā)明實(shí)施例中的基于三維重建下的動(dòng)態(tài)物體識(shí)別的系統(tǒng)結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
相應(yīng)的,圖1示出了本發(fā)明實(shí)施例中的基于三維重建下的動(dòng)態(tài)物體識(shí)別的方法流程圖,具體包括如下步驟:
s101、基于攝像機(jī)獲取動(dòng)態(tài)物體的視頻圖像;
基于攝像機(jī)實(shí)時(shí)采集動(dòng)態(tài)物體的視頻圖像,獲取視頻圖像的來(lái)源,這些動(dòng)態(tài)物體可以是生物,也可以是動(dòng)態(tài)的機(jī)器設(shè)備等等。相對(duì)于原有的靜止?fàn)顟B(tài)下,其為一個(gè)動(dòng)態(tài)行為特征。
具體實(shí)施過(guò)程中,采用matlab攝像機(jī)標(biāo)定工具箱及攝像機(jī)的內(nèi)外參數(shù)對(duì)攝像機(jī)拍攝的圖片用立體圖像對(duì)校正指令進(jìn)行校正,并得到校正后內(nèi)外參數(shù),然后進(jìn)行線性高通濾波。
s102、同步獲取帶有場(chǎng)景深度信息的原始視頻圖像,并采用灰度幅值與梯度之和進(jìn)行邊緣檢測(cè)判斷,識(shí)別動(dòng)態(tài)物體輪廓;
在采集過(guò)程中,同步原始視頻圖像,可以快速基于相關(guān)判斷規(guī)則,識(shí)別出動(dòng)態(tài)物體輪廓,實(shí)現(xiàn)后續(xù)快速跟蹤和提取。
s103、使用klt跟蹤器對(duì)動(dòng)態(tài)物體輪廓進(jìn)行跟蹤搜索,并一次性實(shí)現(xiàn)單像素動(dòng)態(tài)物體的自適應(yīng)跟蹤和快速提??;
選取跟蹤時(shí)間最長(zhǎng)所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn);計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像,并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像;建立觀測(cè)矩陣w,并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。
s104、選取視頻圖像中的關(guān)鍵幀,標(biāo)定單像素動(dòng)態(tài)物體所代表的實(shí)際距離,并轉(zhuǎn)化為真實(shí)坐標(biāo)距離;
具體實(shí)施過(guò)程中,先設(shè)置一個(gè)參考閾值,在對(duì)整個(gè)視頻的特征點(diǎn)跟蹤軌跡中,使用klt跟蹤器統(tǒng)計(jì)視頻幀中的特征點(diǎn)能維持到最后一幀的數(shù)量,如果滿足所述數(shù)量則該幀作為關(guān)鍵幀保留。該參考閾值范圍在100到400之間,提取關(guān)鍵幀有兩個(gè)標(biāo)準(zhǔn),以測(cè)試框架參考系與一個(gè)參考閾值進(jìn)行比較來(lái)計(jì)算跟蹤點(diǎn)的數(shù)量,跟蹤如果低于這個(gè)參考閾值,則為一個(gè)關(guān)鍵幀。也可以使用分布處理的方法,將視頻圖像分成大小相同的若干個(gè)圖像塊進(jìn)行處理,比如視頻圖像分割為3*3塊,每個(gè)小塊中的值會(huì)被記錄下來(lái)。這些值值包含超過(guò)6個(gè)軌跡點(diǎn)的值,當(dāng)一個(gè)關(guān)鍵幀被識(shí)別,值將會(huì)被覆蓋保存。
通過(guò)關(guān)鍵幀的選擇以及標(biāo)定實(shí)際距離,可以針對(duì)動(dòng)態(tài)物體在三維重建模型中的位置定位,獲取相關(guān)三維模型中的位置參數(shù)等等。
s105、對(duì)選取的關(guān)鍵幀進(jìn)行重建,對(duì)動(dòng)態(tài)物體進(jìn)行三次樣條函數(shù)插值,獲取動(dòng)態(tài)物體的三維重建模型;
具體實(shí)施過(guò)程中,還涉及到對(duì)動(dòng)態(tài)物體輪廓進(jìn)行小波去燥平滑處理。
s106、構(gòu)建原始視頻圖像和動(dòng)態(tài)物體的視頻圖像間的極幾何約束關(guān)系,運(yùn)用多視角重建理論在原始視頻圖像所對(duì)應(yīng)的三維模型中插入動(dòng)態(tài)物體的三維重建模型。
通過(guò)原始視頻圖像與動(dòng)態(tài)物體的視頻圖像間的約束關(guān)系,可以實(shí)現(xiàn)整個(gè)三維模型中的插入過(guò)程,及時(shí)構(gòu)建了三維形體模型間的插入匹配,從而實(shí)現(xiàn)了三維重建下的動(dòng)態(tài)物體識(shí)別過(guò)程。
由此可見(jiàn),采用攝像頭即可實(shí)現(xiàn)對(duì)動(dòng)態(tài)物體的識(shí)別過(guò)程,并獲得三維重建模型,其構(gòu)建的三維重建模型可以較好的實(shí)現(xiàn)插入原有模型庫(kù)中。采用klt跟蹤算法、優(yōu)化了特征點(diǎn)模型,提高了跟蹤效率,從而達(dá)到最佳效果。針對(duì)原有視頻圖像與采集的動(dòng)態(tài)物體視頻圖像之間的約束關(guān)系,采用先提取視頻中的關(guān)鍵幀作為子集,保證最終系統(tǒng)重建的穩(wěn)定性。
相應(yīng)的,圖2示出了本發(fā)明實(shí)施例中的基于三維重建下的動(dòng)態(tài)物體識(shí)別的系統(tǒng)結(jié)構(gòu)示意圖,包括:
采集模塊,用于基于攝像機(jī)獲取動(dòng)態(tài)物體的視頻圖像;
識(shí)別模塊,用于同步獲取帶有場(chǎng)景深度信息的原始視頻圖像,并采用灰度幅值與梯度之和進(jìn)行邊緣檢測(cè)判斷,識(shí)別動(dòng)態(tài)物體輪廓;
跟蹤模塊,用于使用klt跟蹤器對(duì)動(dòng)態(tài)物體輪廓進(jìn)行跟蹤搜索,并一次性實(shí)現(xiàn)單像素動(dòng)態(tài)物體的自適應(yīng)跟蹤和快速提??;
幀提取模塊,用于選取視頻圖像中的關(guān)鍵幀,標(biāo)定單像素動(dòng)態(tài)物體所代表的實(shí)際距離,并轉(zhuǎn)化為真實(shí)坐標(biāo)距離;
三維重建模塊,用于對(duì)選取的關(guān)鍵幀進(jìn)行重建,對(duì)動(dòng)態(tài)物體進(jìn)行三次樣條函數(shù)插值,獲取動(dòng)態(tài)物體的三維重建模型;
三維系統(tǒng)模塊,用于構(gòu)建原始視頻圖像和動(dòng)態(tài)物體的視頻圖像間的極幾何約束關(guān)系,運(yùn)用多視角重建理論在原始視頻圖像所對(duì)應(yīng)的三維模型中插入動(dòng)態(tài)物體的三維重建模型。
所述采集模塊還用于采用matlab攝像機(jī)標(biāo)定工具箱及攝像機(jī)的內(nèi)外參數(shù)對(duì)攝像機(jī)拍攝的圖片用立體圖像對(duì)校正指令進(jìn)行校正,并得到校正后內(nèi)外參數(shù),然后進(jìn)行線性高通濾波。
所述幀提取模塊先設(shè)置一個(gè)參考閾值,在對(duì)整個(gè)視頻的特征點(diǎn)跟蹤軌跡中,使用klt跟蹤器統(tǒng)計(jì)視頻幀中的特征點(diǎn)能維持到最后一幀的數(shù)量,如果滿足所述數(shù)量則該幀作為關(guān)鍵幀保留。
所述跟蹤模塊選取跟蹤時(shí)間最長(zhǎng)所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn);計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像,并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像;建立觀測(cè)矩陣w,并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。
所述識(shí)別模塊還用于對(duì)動(dòng)態(tài)物體輪廓進(jìn)行小波去燥平滑處理。
綜上,采用攝像頭即可實(shí)現(xiàn)對(duì)動(dòng)態(tài)物體的識(shí)別過(guò)程,并獲得三維重建模型,其構(gòu)建的三維重建模型可以較好的實(shí)現(xiàn)插入原有模型庫(kù)中。采用klt跟蹤算法、優(yōu)化了特征點(diǎn)模型,提高了跟蹤效率,從而達(dá)到最佳效果。針對(duì)原有視頻圖像與采集的動(dòng)態(tài)物體視頻圖像之間的約束關(guān)系,采用先提取視頻中的關(guān)鍵幀作為子集,保證最終系統(tǒng)重建的穩(wěn)定性。
本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成,該程序可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,存儲(chǔ)介質(zhì)可以包括:只讀存儲(chǔ)器(rom,readonlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、磁盤(pán)或光盤(pán)等。
以上對(duì)本發(fā)明實(shí)施例所提供的基于三維重建下的動(dòng)態(tài)物體識(shí)別的方法及系統(tǒng)進(jìn)行了詳細(xì)介紹,本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述,以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想;同時(shí),對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上所述,本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。