專利名稱：非視覺幾何的攝像機(jī)陣列視頻定位方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻定位技術(shù)，特別是一種使用攝像機(jī)陣列快速確定和跟蹤目標(biāo)
位置的方法，可用于多種需要快速三維測(cè)量定位的場(chǎng)合，還可以用于警戒性探測(cè)，檢測(cè)是否 有目標(biāo)接近攝像機(jī)陣列。
背景技術(shù)：
視頻定位是一種非接觸式目標(biāo)定位方法，相對(duì)于傳統(tǒng)的電磁式和超聲式定位設(shè) 備，視頻定位設(shè)備構(gòu)造簡(jiǎn)單、不易受外界干擾，在虛擬現(xiàn)實(shí)系統(tǒng)、自動(dòng)化生產(chǎn)線和機(jī)器人導(dǎo) 航等領(lǐng)域具有廣泛的應(yīng)用。視頻定位目前主要采用的有基于單攝像機(jī)，基于雙攝像機(jī)和基 于多攝像機(jī)系統(tǒng)的三維信息獲取方法和裝置?，F(xiàn)有方法都基于傳統(tǒng)的視覺幾何計(jì)算，離不 開立體匹配技術(shù)，立體匹配技術(shù)在理論上是完美的，但在實(shí)際應(yīng)用中因?yàn)闊o法快速準(zhǔn)確的 找到匹配點(diǎn)，使以上三維信息獲取方法的魯棒性不高，而且運(yùn)算量大。 基于陣列攝像機(jī)的深度圖實(shí)時(shí)獲取方法(申請(qǐng)?zhí)?00910098790. 0)由一個(gè)3D攝
像機(jī)提供的低分辨率深度圖來得到若干個(gè)可見光攝像機(jī)視點(diǎn)上的高分辨率深度圖。雖然也 采用陣列攝像機(jī)，但是只獲取深度信息，無法得到完整的三維信息，完成目標(biāo)的定位功能。
基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)(申請(qǐng)?zhí)?00810062878. 2)由多個(gè)高分辨 率攝像機(jī)和一個(gè)較低空間分辨率T0F攝像機(jī)組成陣列，首先利用T0F攝像機(jī)獲取空間分辨 率較低的場(chǎng)景三維信息初始值，通過攝像機(jī)標(biāo)定建立T0F攝像機(jī)與各臺(tái)高分辨率攝像機(jī)位 置關(guān)系的嚴(yán)格對(duì)應(yīng)性，將深度信息映射優(yōu)化，最終通過配準(zhǔn)獲得三維信息。該系統(tǒng)需要對(duì) T0F攝像機(jī)和各臺(tái)高分辨率攝像機(jī)在所覆蓋的共同空間上達(dá)到嚴(yán)格的對(duì)應(yīng)關(guān)系，一旦配準(zhǔn) 信息稍有誤差，所計(jì)算出的三維信息將出現(xiàn)較大的誤差。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有目標(biāo)定位技術(shù)的不足，提供一種利用攝像機(jī)陣列對(duì)目標(biāo) 進(jìn)行視頻定位的方法和系統(tǒng)，它利用攝像機(jī)陣列對(duì)視區(qū)空間的分割特性定位，無需視覺幾 何計(jì)算，具有計(jì)算簡(jiǎn)便、實(shí)時(shí)性高、定位范圍大、目標(biāo)接近陣列時(shí)特別靈敏等特點(diǎn)。特別適用 于需要在較大范圍內(nèi)對(duì)目標(biāo)進(jìn)行快速粗略定位的場(chǎng)合。如虛擬現(xiàn)實(shí)系統(tǒng)中對(duì)體驗(yàn)者的頭、 手、手指等進(jìn)行快速定位，提高交互體驗(yàn)的真實(shí)性。本發(fā)明具有目標(biāo)越接近陣列，定位方法 的目標(biāo)檢測(cè)越靈敏的特點(diǎn)。因此還可以用于警戒性探測(cè)，檢測(cè)是否有目標(biāo)接近攝像機(jī)陣列， 并獲知接近程度。 本發(fā)明為實(shí)現(xiàn)上述目的，采用如下技術(shù)方案 本發(fā)明非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于所述方法如下
1)以固定間距將nXm臺(tái)攝像機(jī)安裝在平面板上構(gòu)成攝像機(jī)陣列，其中n為每行的 攝像機(jī)數(shù)，m為每列的攝像機(jī)數(shù)，每個(gè)攝像機(jī)的焦距和視場(chǎng)角相同，將整個(gè)視場(chǎng)分割成形狀 和坐標(biāo)平面內(nèi)投影面積相同的菱形視場(chǎng)區(qū)域； 2)視頻采集卡采集攝像機(jī)陣列輸出的模擬視頻信號(hào)后轉(zhuǎn)換為數(shù)字視頻信號(hào)，計(jì)算機(jī)對(duì)數(shù)字視頻信號(hào)進(jìn)行分析后，判斷目標(biāo)是否在圖像中，判斷方法包括以下兩種
方法A (1)每個(gè)攝像機(jī)的圖像都計(jì)算指定的同一種圖像整體性特征t ; (2)對(duì)所有單元的圖像整體性特征ti求平均值T，檢查ti和T之間的廣義距離， 是否有l(wèi)t「Tl > S，如果是，則認(rèn)為目標(biāo)出現(xiàn)在相應(yīng)的攝像機(jī)圖像中，其中i為攝像機(jī)的序 號(hào)，取值從l到nXm;
方法B 利用遍歷圖像像素點(diǎn)的方法提取目標(biāo)特征，如果在視頻信號(hào)中提取到目標(biāo)特征， 則認(rèn)為目標(biāo)出現(xiàn)在相應(yīng)的攝像機(jī)圖像中； 3)利用各個(gè)目標(biāo)的判斷信息，通過拍攝到目標(biāo)的這些攝像機(jī)的序號(hào)就可以確定目 標(biāo)在視場(chǎng)的哪一個(gè)菱形區(qū)域，設(shè)定目標(biāo)位置的估計(jì)值為菱形的中心，即可對(duì)目標(biāo)進(jìn)行快速 定位。 本發(fā)明有益的效果是無需任何的接收裝置，對(duì)定位目標(biāo)無須任何改裝，如果用來 定位頭、手、手指等沒有任何的束縛感。無需復(fù)雜的視覺幾何和特征匹配計(jì)算，只需判斷每 路視頻信號(hào)中目標(biāo)是否存在，就可確定目標(biāo)的三維位置信息。計(jì)算簡(jiǎn)便、實(shí)時(shí)性高。視場(chǎng)不 受約束，可以通過增加攝像機(jī)的數(shù)量來擴(kuò)大用于目標(biāo)定位的區(qū)域。根據(jù)具體應(yīng)用的要求，還 可以靈活地改變目標(biāo)定位的精度。如需提高定位精度，只需改變攝像機(jī)的焦距或攝像機(jī)安 裝的間距，減小菱形視場(chǎng)區(qū)域的大小。目標(biāo)越接近陣列，則按方法A檢測(cè)目標(biāo)時(shí)，拍攝到目 標(biāo)的攝像機(jī)的圖像整體性特征ti與整個(gè)陣列的平均值T之間的差異越大，按方法B檢測(cè)目 標(biāo)時(shí)， 一般目標(biāo)的特征面積增大，因此，無論按哪種方法檢測(cè)目標(biāo)，本發(fā)明的檢測(cè)靈敏度均 隨目標(biāo)接近陣列而增強(qiáng)。


圖1為非視覺幾何的攝像機(jī)陣列視頻定位系統(tǒng)的系統(tǒng)構(gòu)成圖。圖1標(biāo)號(hào)名稱l-待定位的目標(biāo)；2-目標(biāo)在XY平面內(nèi)的投影；3-目標(biāo)在YZ平面內(nèi)的投影；4-攝像機(jī)；5-攝像機(jī)的視場(chǎng)邊界線；6-攝像機(jī)陣列輸出的模擬視頻信號(hào)；7-數(shù)字視頻信號(hào)；圖2為非視覺幾何的攝像機(jī)陣列視頻定位系統(tǒng)的二維工作原理圖。圖3為基于整體特征差異的攝像機(jī)陣列視頻定位的實(shí)施流程框圖。圖4為基于目標(biāo)特征提取的攝像機(jī)陣列視頻定位的實(shí)施流程框圖。
具體實(shí)施例方式
下面結(jié)合附圖對(duì)發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明 本發(fā)明以固定間距安裝在平面板上的攝像機(jī)陣列，每個(gè)攝像機(jī)的焦距和視場(chǎng)角相 同，可以將整個(gè)視場(chǎng)分割成形狀和坐標(biāo)平面內(nèi)投影面積相同的菱形視場(chǎng)區(qū)域。每個(gè)攝像機(jī)的模擬視頻信號(hào)通過插在計(jì)算機(jī)擴(kuò)展插槽上的視頻采集卡變換為數(shù)字視頻信號(hào)。計(jì)算機(jī)對(duì) 每路的數(shù)字視頻信息進(jìn)行分析，判斷目標(biāo)是否出現(xiàn)在各路視頻圖像中。然后通過拍攝到目 標(biāo)的這些攝像機(jī)的序號(hào)就可以計(jì)算出目標(biāo)出現(xiàn)在哪個(gè)菱形視場(chǎng)區(qū)域，從而對(duì)目標(biāo)進(jìn)行快速 定位。 如圖1在ZX平面內(nèi)布置nXm臺(tái)攝像機(jī)，利用單攝像機(jī)的重合視區(qū)或獨(dú)有視區(qū)的 空間分布特點(diǎn)，可以設(shè)計(jì)空間區(qū)域的分割。當(dāng)目標(biāo)所在位置不同時(shí)，目標(biāo)將會(huì)出現(xiàn)在不同的 空間區(qū)域中，被攝像機(jī)陣列中不同的攝像機(jī)所捕捉。通過得到拍攝到目標(biāo)的這些攝像機(jī)的 位置序號(hào)，就能估算出目標(biāo)的位置。 如圖2所示以在X、Y平面內(nèi)定位為例敘述本發(fā)明的定位原理。A-F處于整個(gè)視場(chǎng) 區(qū)域的第一層，G-K處于整個(gè)視場(chǎng)區(qū)域的第二層，L-0處于整個(gè)視場(chǎng)區(qū)域的第二層，P-R處于 整個(gè)視場(chǎng)區(qū)域的第四層，S-T處于整個(gè)視場(chǎng)的第五層，U處于整個(gè)視場(chǎng)區(qū)域的第六層。以此 可類推至整個(gè)攝像機(jī)陣列的更高層次。其對(duì)空間的分割能力是攝像機(jī)個(gè)數(shù)n的函數(shù)，所分
割的空間數(shù)等于1>-。攝像機(jī)較多時(shí)可獲得很高的空間區(qū)分度，利用這種空間分割特點(diǎn)，可
直接根據(jù)拍攝到目標(biāo)的攝像機(jī)個(gè)數(shù)和攝像機(jī)序號(hào)估算目標(biāo)的空間位置。由于所有攝像機(jī)的 焦距和視場(chǎng)角相同，所以形成的菱形視場(chǎng)區(qū)域A、B、C...形狀面積相同。設(shè)菱形高度為h， 菱形寬度為d(即攝像機(jī)排列間隔為d，第一個(gè)攝像機(jī)距坐標(biāo)系原點(diǎn)的水平距離也為d)，目 標(biāo)位置的估計(jì)值為菱形的中心。 攝像機(jī)陣列輸出的模擬視頻信號(hào)由視頻采集卡進(jìn)行處理，轉(zhuǎn)化為數(shù)字信號(hào)。 一塊
采集卡可以最多支持16路視頻信號(hào)的采集，每臺(tái)計(jì)算機(jī)最多可以支持4塊采集卡。如果攝
像機(jī)陣列中的攝像機(jī)個(gè)數(shù)需要更多時(shí)，可以通過多臺(tái)計(jì)算機(jī)集群的方式來實(shí)現(xiàn)。 計(jì)算機(jī)負(fù)責(zé)判斷哪些攝像機(jī)拍攝到了目標(biāo)，這需要檢測(cè)目標(biāo)與背景有明顯的差
異，判斷方法可以分為兩種 (1)利用圖像整體特征的差異來判斷(如圖3): 將攝像機(jī)陣列中的第i個(gè)攝像機(jī)拍攝到的圖像轉(zhuǎn)換到HSV顏色空間，提取色調(diào)H 和飽和度S分量，算出H-S 二維直方圖& ;然后將所有攝像機(jī)圖像的H-S 二維直方圖相加并 求取平均值，得到陣列平均H-S 二維直方圖HavCT ;最后對(duì)每個(gè)攝像機(jī)圖像的H-S 二維直方圖 &與陣列平均H-S 二維直方圖HavCT用如下公式求取Bhattacharyya距離(巴氏距離) ds/ 加饑力OTj戸, ^"ve ") 二 其中Hi(k)和H,(k)分別代表相應(yīng)直方圖的第k列。Bhattacharyya距離在0到 l之間，值越小匹配度越好。通過對(duì)具體目標(biāo)的試驗(yàn)可以確定一個(gè)閾值S ， Bhattacharyya 距離大于S則表示當(dāng)前這個(gè)攝像機(jī)中的圖像整體特征與陣列平均圖像特征差異過大，攝 像機(jī)拍攝到了目標(biāo)。 (2)利用目標(biāo)特征的提取來判斷(如圖4): 如果能獲得目標(biāo)的準(zhǔn)確特征信息如目標(biāo)的顏色特征等，就可以直接在圖像中判斷
是否存在目標(biāo)。以判斷顏色特征為例，將待判斷的攝像機(jī)圖像轉(zhuǎn)換到HSV顏色空間，從圖像
左上角開始遍歷每個(gè)像素的色調(diào)H和飽和度S值，如果該像素的H和S值在目標(biāo)的顏色范
圍內(nèi)，再對(duì)相鄰的上下左右四個(gè)像素進(jìn)行顏色特征判斷，如此循環(huán)遞歸，直到找到周邊所有相連的在目標(biāo)顏色范圍內(nèi)的像素，然后計(jì)算這些像素的個(gè)數(shù)，如果大于預(yù)先設(shè)定的一個(gè)閾 值l，則表示這個(gè)攝像機(jī)的圖像中存在目標(biāo)。 獲知攝像機(jī)陣列中哪些攝像機(jī)拍攝到目標(biāo)后，就可以估算實(shí)際的目標(biāo)三維位置。 在X軸方向m行攝像機(jī)中找出拍到目標(biāo)最多的一行攝像機(jī)，在這一行攝像機(jī)中序號(hào)為第a 至b臺(tái)攝像機(jī)中拍攝到了目標(biāo)，拍攝到目標(biāo)的攝像機(jī)臺(tái)數(shù)c = b-a+l，b > a，則通過以下公 式獲得目標(biāo)位置
L_v = / /2 + (c — l)x/z
其中x和y分別為目標(biāo)在XY平面內(nèi)求得的X軸和Y軸坐標(biāo)。 在Z軸方向n列攝像機(jī)中找出拍到目標(biāo)最多的一列攝像機(jī)，在這一列攝像機(jī)中序 號(hào)為第e至f臺(tái)攝像機(jī)中拍攝到了目標(biāo)，拍攝到目標(biāo)的攝像機(jī)臺(tái)數(shù)g = f-e+l，f > e，則通 過以下公式獲得目標(biāo)位置 其中z和y分別為目標(biāo)在ZY平面內(nèi)求得的Z軸和Y軸坐標(biāo)。 Z方向也可以采用另一種攝像機(jī)間隔，從而使X和Z方向的定位精度不同。在Z、
Y平面應(yīng)用上述算法求得的y坐標(biāo)可以和在Z、Y平面內(nèi)求得的y坐標(biāo)平均后作為最終坐標(biāo)值。
權(quán)利要求
一種非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于所述方法如下1)以固定間距將n×m臺(tái)攝像機(jī)安裝在平面板上構(gòu)成攝像機(jī)陣列，其中n為每行的攝像機(jī)數(shù)，m為每列的攝像機(jī)數(shù)，每個(gè)攝像機(jī)的焦距和視場(chǎng)角相同，將整個(gè)視場(chǎng)分割成形狀和坐標(biāo)平面內(nèi)投影面積相同的菱形視場(chǎng)區(qū)域；2)視頻采集卡采集攝像機(jī)陣列輸出的模擬視頻信號(hào)后轉(zhuǎn)換為數(shù)字視頻信號(hào)，計(jì)算機(jī)對(duì)數(shù)字視頻信號(hào)進(jìn)行分析后，判斷目標(biāo)是否在圖像中，判斷方法包括以下兩種方法A(1)每個(gè)攝像機(jī)的圖像都計(jì)算指定的同一種圖像整體性特征t；(2)對(duì)所有單元的圖像整體性特征ti求平均值T，檢查ti和T之間的廣義距離，是否有|ti-T|≥δ，如果是，則認(rèn)為目標(biāo)出現(xiàn)在相應(yīng)的攝像機(jī)圖像中，其中i為攝像機(jī)的序號(hào)，取值從1到n×m；方法B利用遍歷圖像像素點(diǎn)的方法提取目標(biāo)特征，如果在視頻信號(hào)中提取到目標(biāo)特征，則認(rèn)為目標(biāo)出現(xiàn)在相應(yīng)的攝像機(jī)圖像中；3)利用各個(gè)目標(biāo)的判斷信息，通過拍攝到目標(biāo)的這些攝像機(jī)的序號(hào)就可以確定目標(biāo)在視場(chǎng)的哪一個(gè)菱形區(qū)域，設(shè)定目標(biāo)位置的估計(jì)值為菱形的中心，即可對(duì)目標(biāo)進(jìn)行快速定位。
2. 根據(jù)權(quán)利要求1所述的非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于所述圖 像整體性特征t為使用HSV色彩空間下的H-S 二維直方圖。
3. 根據(jù)權(quán)利要求2所述的非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于使用 HSV色彩空間下的H-S 二維直方圖為圖像整體性特征的判斷方法如下將攝像機(jī)陣列中的第i個(gè)攝像機(jī)拍攝到的圖像轉(zhuǎn)換到HSV顏色空間，提取色調(diào)H和飽 和度S分量，算出H-S 二維直方圖& ;然后將所有攝像機(jī)圖像的H-S 二維直方圖相加并求取 平均值，得到陣列平均H-S 二維直方圖HavCT ;最后對(duì)每個(gè)攝像機(jī)圖像的H-S 二維直方圖&與 陣列平均H-S 二維直方圖HavCT用如下公式求取Bhattacharyya距離(巴氏距離)其中Hi(k)和H,(k)分別代表相應(yīng)直方圖的第k列。Bhattacharyya距離大于設(shè)定的 閾值S則表示當(dāng)前這個(gè)攝像機(jī)中的圖像整體特征與陣列平均圖像特征差異過大，攝像機(jī) 拍攝到了目標(biāo)。
4. 根據(jù)權(quán)利要求1所述的非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于所述目 標(biāo)特征為顏色特征。
5. 根據(jù)權(quán)利要求4所述的非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于使用顏 色特征為目標(biāo)特征的提取來判斷的方法如下將待判斷的攝像機(jī)圖像轉(zhuǎn)換到HSV顏色空間，從圖像左上角開始遍歷每個(gè)像素的色調(diào) H和飽和度S值，如果該像素的色調(diào)H和飽和度S值在目標(biāo)的顏色范圍內(nèi)，再對(duì)相鄰的上下 左右四個(gè)像素進(jìn)行顏色特征判斷，如此循環(huán)遞歸，直到找到周邊所有相連的在目標(biāo)顏色范 圍內(nèi)的像素，然后計(jì)算這些像素的個(gè)數(shù)，如果大于預(yù)先設(shè)定的一個(gè)閾值l ，則表示這AJ 機(jī)的圖像中存在目標(biāo)。
6.根據(jù)權(quán)利要求1所述的非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于步驟3)所述的定位方法如下在X軸方向m行攝像機(jī)中找出拍到目標(biāo)最多的一行攝像機(jī)，在這一行攝像機(jī)中序號(hào)為 第a至b臺(tái)攝像機(jī)中拍攝到了目標(biāo)，拍攝到目標(biāo)的攝像機(jī)臺(tái)數(shù)<formula>formula see original document page 3</formula>則通過以 下公式獲得目標(biāo)位置其中d和h分別為菱形視場(chǎng)區(qū)域的寬和高，x和y分別為目標(biāo)在XY平面內(nèi)求得的X軸 和Y軸坐標(biāo)。在Z軸方向n列攝像機(jī)中找出拍到目標(biāo)最多的一列攝像機(jī)，在這一列攝像機(jī)中序號(hào)為 第e至f臺(tái)攝像機(jī)中拍攝到了目標(biāo)，拍攝到目標(biāo)的攝像機(jī)臺(tái)數(shù)<formula>formula see original document page 3</formula>則通過以 下公式獲得目標(biāo)位置<formula>formula see original document page 3</formula>其中z和y分別為目標(biāo)在ZY平面內(nèi)求得的Z軸和Y軸坐標(biāo)。
7. 根據(jù)權(quán)利要求6所述的非視覺幾何的攝像機(jī)陣列視頻定位方法，其特征在于在XY平 面求得的y坐標(biāo)可以和在ZY平面內(nèi)求得的y坐標(biāo)平均后作為最終坐標(biāo)值。
8. —種非視覺幾何的攝像機(jī)陣列視頻定位系統(tǒng)，其特征在于包括nXm臺(tái)攝像機(jī)安裝 在平面板上構(gòu)成的攝像機(jī)陣列、視頻采集卡以及計(jì)算機(jī)，nXm臺(tái)攝像機(jī)分別通過視頻采集 卡與計(jì)算機(jī)通信，其中n為每行的攝像機(jī)數(shù)，m為每列的攝像機(jī)數(shù)，每個(gè)攝像機(jī)的焦距和視 場(chǎng)角相同。<formula>formula see original document page 3</formula>
全文摘要
本發(fā)明公布了一種非視覺幾何的攝像機(jī)陣列視頻定位方法及系統(tǒng)，本發(fā)明以固定間距安裝在平面板上的攝像機(jī)陣列，每個(gè)攝像機(jī)的焦距和視場(chǎng)角相同，可以將整個(gè)視場(chǎng)分割成形狀和坐標(biāo)平面內(nèi)投影面積相同的菱形視場(chǎng)區(qū)域。每個(gè)攝像機(jī)的模擬視頻信號(hào)通過插在計(jì)算機(jī)擴(kuò)展插槽上的視頻采集卡變換為數(shù)字視頻信號(hào)。計(jì)算機(jī)對(duì)每路的數(shù)字視頻信息進(jìn)行分析，判斷目標(biāo)是否出現(xiàn)在各路視頻圖像中。然后通過拍攝到目標(biāo)的這些攝像機(jī)的序號(hào)就可以計(jì)算出目標(biāo)出現(xiàn)在哪個(gè)菱形視場(chǎng)區(qū)域，從而對(duì)目標(biāo)進(jìn)行快速定位。
文檔編號(hào)G01C11/36GK101782386SQ20101010235
公開日2010年7月21日 申請(qǐng)日期2010年1月28日 優(yōu)先權(quán)日2010年1月28日
發(fā)明者吳東蘇, 孫瑾, 顧宏斌 申請(qǐng)人:南京航空航天大學(xué)