專利名稱：基于雙目視覺節(jié)點(diǎn)的動(dòng)態(tài)三維多媒體傳感網(wǎng)絡(luò)自定位方法
技術(shù)領(lǐng)域：
本發(fā)明屬于多媒體傳感網(wǎng)絡(luò)領(lǐng)域，具體涉及一種基于雙目視覺節(jié)點(diǎn)的動(dòng)態(tài)三維多媒體傳感網(wǎng)絡(luò)分布式自定位方法。
背景技術(shù)：
由于視覺傳感器可獲取豐富且有價(jià)值的環(huán)境上下文信息，多媒體傳感網(wǎng)絡(luò)受到越來越廣泛的關(guān)注。與此同時(shí)，近年來國內(nèi)外在嵌入式系統(tǒng)及分布式視覺算法上取得的顯著進(jìn)展也為其應(yīng)用和實(shí)現(xiàn)鋪平道路。不同于傳統(tǒng)傳感器網(wǎng)絡(luò)中傳感器節(jié)點(diǎn)采用的全向感知模型，多媒體傳感網(wǎng)絡(luò)中的視覺節(jié)點(diǎn)存在視角受限且易被遮擋等問題，面臨著有向感知和視距覆蓋的新挑戰(zhàn)。因此視覺節(jié)點(diǎn)定位是實(shí)現(xiàn)多媒體傳感網(wǎng)絡(luò)部署和分析的前提和關(guān)鍵。目前已提出了許多多媒體傳感網(wǎng)絡(luò)自定位方法。但這些方法通常都是基于單目視覺節(jié)點(diǎn)，0. Faugeras等人研究表明兩個(gè)已標(biāo)定像機(jī)只能實(shí)現(xiàn)尺度上的相對(duì)位姿估計(jì)[1]， 為獲取節(jié)點(diǎn)位姿的唯一解，一種方法是需假定場(chǎng)景為近似平坦的表面，通過計(jì)算單應(yīng)性矩陣實(shí)現(xiàn)位姿估計(jì)。另一種則是采用類似Bundle Adjustment方法將多個(gè)甚至全部節(jié)點(diǎn)共同參與定位估計(jì)，即要求每個(gè)節(jié)點(diǎn)都要通過“洪泛”將其特征集合傳遞給整個(gè)網(wǎng)絡(luò)。如W. Mantzel等人提出的分布交替式三角定位技術(shù)(DALT) [2]，Z. Cheng等人提出的基于視覺 SfM方法的視覺圖模型[3]等。然而這種需要大量“洪泛”過程的方法，在網(wǎng)絡(luò)規(guī)模較大或是動(dòng)態(tài)網(wǎng)絡(luò)下難以有效實(shí)現(xiàn)。為避免單目視覺固有的歧義性問題，國內(nèi)外學(xué)者提出了基于立體視覺節(jié)點(diǎn)的多媒體傳感網(wǎng)絡(luò)。S. Hengstler等人設(shè)計(jì)并實(shí)現(xiàn)了 MeshEye立體視覺節(jié)點(diǎn)的原型系統(tǒng)W]。S. Kumar等人提出一種雙PTZ像機(jī)的視覺節(jié)點(diǎn)，通過SIFT特征匹配并估計(jì)單應(yīng)性矩陣實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)定位[5]。A. Mavrinac等人采用雙目視覺節(jié)點(diǎn)經(jīng)ZNCC算法匹配Harris或FAST特征，實(shí)現(xiàn)多媒體傳感網(wǎng)絡(luò)的自標(biāo)定W]。參考文獻(xiàn)Q. Luong, 0. Faugeras. Camera Calibration, Scene Motion and Structure Recovery From Point Correspondences and Fundamental Matrices. International Journal of Computer Vision. 22(3): 261-289， 1997.W. Mantzel, H. Choi, R. Baraniuk. Distributed Camera Network Localization. Thirty-eighth Asilomar Conference on Signals, Systems & Computers. Pacific Grove, CA. 2:1381-1386，2004.Z. Cheng, D. Devarajan, R. Radke. Determining Vision Graphs for Distributed Camera Networks Using Feature Digests. EURASIP Journal on Applied Signal Processing. (1): 220-220. 2007.S. Hengstler, D. Prashanth, S. Fonget, et al. MeshEye: A Hybrid-Resolution Smart Camera Mote for Applications in Distributed Intelligent Surveillance. Information Processing in Sensor Networks (IPSN—SP0TS)· 2007.[5]S.Kumar, C. Micheloni, C. Piciarelli. Stereo Localization Using Dual PTZ Cameras. International Conference on Computer Analysis of Images and Patterns. 2009.A. Mavrinac, X. Chen, K. Tepe. An Automatic Calibration Method for Stereo-based 3D Distributed Smart Camera Networks. Computer Vision and Image Understanding. 114(8): 952-962. 2010.D. Lowe. Distinctive Image Features from Scale Invariant Keypoints. International Journal of Computer Vision. 60: 91-110. 2004.Y. Ke, R. Sukthankar. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. Computer Vision and Pattern Recognition, 2004B. Horn. Closed-form Solution of Absolute Orientation Using Unit Quaternions. Journal of the Optical Society of America. 4(4): 629-642. 1987。

發(fā)明內(nèi)容
本發(fā)明針對(duì)視覺節(jié)點(diǎn)可在任意三維空間中隨機(jī)部署，且可任意旋轉(zhuǎn)確保目標(biāo)連續(xù)跟蹤的更一般情況，提供一種無任何假定約束的動(dòng)態(tài)三維多媒體傳感網(wǎng)絡(luò)的分布式自定位方法。本發(fā)明中各節(jié)點(diǎn)獨(dú)立提取基于SIFT特征描述符[7，8]的三維點(diǎn)云；并根據(jù)兩兩節(jié)點(diǎn)間匹配信息，采用基于單位四元數(shù)的運(yùn)動(dòng)估計(jì)方法[9]獲得相對(duì)位姿；最后分布式定位策略實(shí)現(xiàn)所有節(jié)點(diǎn)的自定位。其最主要優(yōu)勢(shì)在于在三維網(wǎng)絡(luò)部署下，僅在兩節(jié)點(diǎn)間即可完成其相對(duì)位姿估計(jì)，進(jìn)而可有效避免不必要的“洪泛”風(fēng)險(xiǎn)和能量損失。本發(fā)明方法的具體步驟如下
步驟(1)網(wǎng)絡(luò)中各視覺節(jié)點(diǎn)獨(dú)立地提取該節(jié)點(diǎn)視野范圍內(nèi)的視覺特征。所述的視覺特征提取具體方法為
每個(gè)視覺節(jié)點(diǎn)采用一個(gè)已標(biāo)定的雙目立體像機(jī)，包含了左、右兩個(gè)像機(jī)，可實(shí)時(shí)獲取左、右立體圖像；然后采用Y. Ke等人提出的PCA-SIFT[9]方法，分別提取左、右圖像的SIFT 特征描述符，每個(gè)特征描述符為36維矢量，每一維矢量用8位來表示；所述的雙目立體像機(jī)標(biāo)定方法為成熟技術(shù)。采用KD-Tree方法實(shí)現(xiàn)左、右圖像間的SIFT特征匹配，并記錄每對(duì)SIFT特征匹配的匹配代價(jià)。所述的SIFT特征匹配方法為成熟技術(shù)。采用外極線約束濾除誤匹配點(diǎn)；對(duì)于已標(biāo)定的雙目立體像機(jī)，外極線約束要求正確匹配點(diǎn)對(duì)在左、右圖像中的垂直坐標(biāo)差小于1。以左圖像為視覺特征提取的基準(zhǔn)圖像，將左圖像劃分為20X20個(gè)大小相等的區(qū)域，在每個(gè)區(qū)域中只選取一個(gè)具有最大匹配代價(jià)的SIFT特征作為該區(qū)域的視覺特征， 即從左圖像中最多可提取出400個(gè)視覺特征，并將這些視覺特征作為節(jié)點(diǎn)當(dāng)前幀的視覺特征；因此每一個(gè)視覺節(jié)點(diǎn)從每一幀立體圖像對(duì)中提取視覺特征的描述符最大數(shù)據(jù)量為 400X36X8/1024=112. 5kb。步驟O)網(wǎng)絡(luò)中各視覺節(jié)點(diǎn)獨(dú)立計(jì)算步驟(1)中所提取視覺特征的三維坐標(biāo)。所述的視覺特征三維坐標(biāo)計(jì)算具體方法為步驟(1)中所提取視覺特征在左、右圖像中的垂直坐標(biāo)差小于1，而水平坐標(biāo)差稱為視差d,根據(jù)雙目立體視覺三維重建公式，可得視覺特征i在左像機(jī)坐標(biāo)系下的三維坐標(biāo) XiJiX):
權(quán)利要求
1.基于雙目視覺節(jié)點(diǎn)的動(dòng)態(tài)三維多媒體傳感網(wǎng)絡(luò)自定位方法，其特征在于該方法包括如下步驟步驟(1)網(wǎng)絡(luò)中各視覺節(jié)點(diǎn)獨(dú)立地提取該節(jié)點(diǎn)視野范圍內(nèi)的視覺特征； 所述的視覺特征提取具體方法為每個(gè)視覺節(jié)點(diǎn)采用一個(gè)已標(biāo)定的雙目立體像機(jī)，包含了左、右兩個(gè)像機(jī)，可實(shí)時(shí)獲取左、右立體圖像；然后采用PCA-SIFT方法，分別提取左、右圖像的SIFT特征描述符，每個(gè)特征描述符為36維矢量，每一維矢量用8位來表示；采用KD-Tree方法實(shí)現(xiàn)左、右圖像間的SIFT特征匹配，并記錄每對(duì)SIFT特征匹配的匹配代價(jià)；采用外極線約束濾除誤匹配點(diǎn)；對(duì)于已標(biāo)定的雙目立體像機(jī)，外極線約束要求正確匹配點(diǎn)對(duì)在左、右圖像中的垂直坐標(biāo)差小于1 ；以左圖像為視覺特征提取的基準(zhǔn)圖像，將左圖像劃分為20X20個(gè)大小相等的區(qū)域， 在每個(gè)區(qū)域中只選取一個(gè)具有最大匹配代價(jià)的SIFT特征作為該區(qū)域的視覺特征，即從左圖像中最多可提取出400個(gè)視覺特征，并將這些視覺特征作為節(jié)點(diǎn)當(dāng)前幀的視覺特征；因此每一個(gè)視覺節(jié)點(diǎn)從每一幀立體圖像對(duì)中提取視覺特征的描述符最大數(shù)據(jù)量為 400X36X8/1024=112. 5kb ；步驟O)網(wǎng)絡(luò)中各視覺節(jié)點(diǎn)獨(dú)立計(jì)算步驟(1)中所提取視覺特征的三維坐標(biāo)； 所述的視覺特征三維坐標(biāo)計(jì)算方法具體為步驟(1)中所提取視覺特征在左、右圖像中的垂直坐標(biāo)差小于1，而水平坐標(biāo)差稱為視差d,根據(jù)雙目立體視覺三維重建公式，可得視覺特征i在左像機(jī)坐標(biāo)系下的三維坐標(biāo) [XiJirZi):Z1 =b Iui-U0 J/rfj ■ (1)Z1 =tf /d^其中力，/，(u0, 分別為雙目立體像機(jī)標(biāo)定中獲得的基線、焦距和左圖像光心坐標(biāo)； (.U1, V1)為視覺特征i在左圖像中的坐標(biāo)，Cli為視覺特征i的視差； 步驟(3)網(wǎng)絡(luò)中各視覺節(jié)點(diǎn)的網(wǎng)絡(luò)定位數(shù)據(jù)包生成，具體為 將步驟(1)和步驟( 中提取的視覺特征描述符及其三維坐標(biāo)打包作為視覺節(jié)點(diǎn)的網(wǎng)絡(luò)定位數(shù)據(jù)包，并根據(jù)各視覺節(jié)點(diǎn)內(nèi)的鄰域關(guān)系表傳遞給鄰域節(jié)點(diǎn)；初始時(shí)各視覺節(jié)點(diǎn)內(nèi)的鄰域關(guān)系表為空，即各視覺節(jié)點(diǎn)間鄰域關(guān)系未知，此時(shí)各視覺節(jié)點(diǎn)將其網(wǎng)絡(luò)定位數(shù)據(jù)包通過“洪泛”傳遞給網(wǎng)絡(luò)中所有視覺節(jié)點(diǎn)；各視覺節(jié)點(diǎn)在接收到其他視覺節(jié)點(diǎn)的網(wǎng)絡(luò)定位數(shù)據(jù)包后，更新其內(nèi)部鄰域關(guān)系表；隨著各視覺節(jié)點(diǎn)內(nèi)的鄰域關(guān)系表逐步完善，即可通過鄰域關(guān)系表估計(jì)出可能相鄰的節(jié)點(diǎn)或仍未知關(guān)系的節(jié)點(diǎn)，則網(wǎng)絡(luò)定位數(shù)據(jù)包將會(huì)有目的性地傳遞給這些相鄰或仍未知關(guān)系的節(jié)點(diǎn)；最終待各節(jié)點(diǎn)內(nèi)的鄰域關(guān)系表完善后，每次網(wǎng)絡(luò)定位數(shù)據(jù)包發(fā)送都將具有明確的目的節(jié)點(diǎn)，從而有效避免不必要的“洪泛”風(fēng)險(xiǎn)和能量損失；步驟網(wǎng)絡(luò)中兩個(gè)視覺節(jié)點(diǎn)間視覺特征匹配，具體為當(dāng)一個(gè)視覺節(jié)點(diǎn)接收到其他視覺節(jié)點(diǎn)的網(wǎng)絡(luò)定位數(shù)據(jù)包后，首先進(jìn)行兩視覺節(jié)點(diǎn)間的視覺特征匹配；采用與步驟(1)中相同的SIFT特征匹配方法；由于步驟(1)中視覺特征提取都是基于左圖像的，因此類似于實(shí)現(xiàn)兩視覺節(jié)點(diǎn)左圖像間的SIFT特征匹配；步驟( 根據(jù)步驟中得到的兩個(gè)視覺節(jié)點(diǎn)間視覺特征匹配關(guān)系，估計(jì)兩個(gè)視覺節(jié)點(diǎn)間的相對(duì)位姿，即獲取兩個(gè)視覺節(jié)點(diǎn)間的旋轉(zhuǎn)矩陣和平移矩陣； 所述的兩個(gè)視覺節(jié)點(diǎn)間相對(duì)位姿估計(jì)具體方法為令兩個(gè)視覺節(jié)點(diǎn) 和《的視覺特征匹配點(diǎn)對(duì)的三維坐標(biāo)分別表示為 ，根據(jù)視覺成像關(guān)系，有
全文摘要
本發(fā)明涉及一種基于雙目視覺節(jié)點(diǎn)的動(dòng)態(tài)三維多媒體傳感網(wǎng)絡(luò)自定位方法。目前的方法通常都是基于單目視覺節(jié)點(diǎn)。本發(fā)明方法各節(jié)點(diǎn)獨(dú)立提取基于SIFT特征描述符的三維點(diǎn)云；并根據(jù)兩兩節(jié)點(diǎn)間匹配信息，采用基于單位四元數(shù)的運(yùn)動(dòng)估計(jì)方法獲得相對(duì)位姿；最后分布式定位策略實(shí)現(xiàn)所有節(jié)點(diǎn)的自定位。其最主要優(yōu)勢(shì)在于在三維網(wǎng)絡(luò)部署下，僅在兩節(jié)點(diǎn)間即可完成其相對(duì)位姿估計(jì)，進(jìn)而可有效避免不必要的“洪泛”風(fēng)險(xiǎn)和能量損失。該優(yōu)勢(shì)在大規(guī)模動(dòng)態(tài)多媒體傳感網(wǎng)絡(luò)中尤為重要。
文檔編號(hào)H04N13/00GK102510512SQ20111036439
公開日2012年6月20日 申請(qǐng)日期2011年11月17日 優(yōu)先權(quán)日2011年11月17日
發(fā)明者任浩然, 周文暉, 孫志海, 張樺, 戴國駿, 江進(jìn), 韋學(xué)輝 申請(qǐng)人:杭州電子科技大學(xué)