專利名稱：基于全方位視覺傳感器的立體化智能攝像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種智能攝像設(shè)備，尤其是全方位視覺傳感器、高速 球攝像機(jī)、計算機(jī)視覺、動態(tài)圖像理解、機(jī)電一體化設(shè)計等技術(shù)在立 體化智能攝像設(shè)備方面的應(yīng)用。
背景技術(shù)：
高速球攝像機(jī)以具有快速旋轉(zhuǎn)、預(yù)置位、巡視軌跡、坐標(biāo)功能、 自動歸位功能、長焦限速功能、夜視功能、外形美觀和環(huán)境融合好等 顯著特點，正成為平安城市監(jiān)控工程的新寵，鑒于智能高速球攝像機(jī) 具有其他攝像機(jī)無法比擬的優(yōu)勢，在智能大廈監(jiān)控、銀行保安、遠(yuǎn)程 教育、商場、機(jī)場、車站、道路、廣場、小區(qū)、校園、地鐵等室內(nèi)外 監(jiān)控領(lǐng)域中得到了廣泛的應(yīng)用。
目前一些智能高速球攝像機(jī)已經(jīng)能實現(xiàn)自動跟蹤單個對象，但是
在多目標(biāo)對象情況下卻無法實現(xiàn)多目標(biāo)自動跟蹤；另外即使在手動操 控或定點巡邏時，依然存有時間上的監(jiān)控死角問題；尤其在控制高速 球攝影機(jī)轉(zhuǎn)動時，因為只能控制向上/向下/向左/向右等運動，往往無 法很快的將高速球攝影機(jī)轉(zhuǎn)動到希望的位置，或者說不知道要控制髙 速球攝影機(jī)轉(zhuǎn)動到什么地方，造成監(jiān)控效率的降低；另外在實際應(yīng)用 中，攝像機(jī)即使抓拍到了監(jiān)控對象，在事后確認(rèn)過程中由于監(jiān)控對象 在整個視頻圖像上所占的比例過小，而造成了無法確認(rèn)該監(jiān)控對象是 誰等問題。從全局監(jiān)控和局部監(jiān)控的觀點來說，上述的幾個問題關(guān)鍵 點是由于讓高速球攝像機(jī)擔(dān)任了全局監(jiān)控角色所引起的，而高速球攝像機(jī)最勝任的角色應(yīng)該是某個空間位置的局部監(jiān)控。

發(fā)明內(nèi)容
為了克服已有智能攝像設(shè)備存在的多目標(biāo)自動跟蹤困難、存在著 監(jiān)控死角、高速球攝影機(jī)轉(zhuǎn)動的盲目性的不足，本發(fā)明提供一種實現(xiàn) 多目標(biāo)自動跟蹤、全方位視覺大視場內(nèi)自由攝取目標(biāo)、實現(xiàn)實時動態(tài)、 智能的過程監(jiān)控的基于全方位視覺傳感器的立體化智能攝像設(shè)備。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
一種基于全方位視覺傳感器的立體化智能攝像設(shè)備，包括固定支 架、安裝在固定支架上的高速球攝像機(jī)以及用于控制高速球攝像機(jī)進(jìn) 行抓拍的視頻數(shù)據(jù)微處理器，所述的立體化智能攝像設(shè)備還包括用于 獲取監(jiān)控領(lǐng)域內(nèi)全方位視頻數(shù)據(jù)的全方位視覺傳感器，所述全方位視 覺傳感器包括用以反射監(jiān)控領(lǐng)域中物體的折反射鏡面、用以防止光折 射和光飽和的黑色圓錐體、透明外罩和攝像單元，所述的折反射鏡面 位于透明外罩的上方，折反射鏡面朝下，黑色圓錐體固定在折反射鏡 面的底部中央，所述攝像單元位于所述折反射鏡面的焦點位置，所述 透明外罩安裝在固定支架上，所述折反射鏡面、黑色圓錐體、透明外 罩和攝像單元在同一中心軸線上；所述的視頻數(shù)據(jù)微處理器包括 ODVS的標(biāo)定模塊，用于建立監(jiān)控空間的圖像與所獲得的視頻圖像的 對應(yīng)關(guān)系；
ODVS與高速球攝像機(jī)之間的視頻數(shù)據(jù)融合模塊，用于控制高速球攝 像機(jī)的轉(zhuǎn)動與調(diào)焦，使得高速球攝像機(jī)能對準(zhǔn)所跟蹤目標(biāo)對象進(jìn)行特 寫抓拍或者攝像；
虛擬線定制模塊，用于定制在監(jiān)控領(lǐng)域內(nèi)的敏感區(qū)域檢測線，虛擬線定制在監(jiān)控領(lǐng)域的出入口處；
目標(biāo)對象ID號和文件夾的自動生成模塊，用于對剛進(jìn)入敏感區(qū)域檢 測線的目標(biāo)對象進(jìn)行命名，當(dāng)目標(biāo)對象進(jìn)入監(jiān)控范圍的敏感區(qū)域內(nèi)時， 系統(tǒng)自動會產(chǎn)生一個目標(biāo)對象ID號并同時生成一個以該目標(biāo)對象ID 號命名的文件夾，用于存放該目標(biāo)對象的特寫圖像或者視頻圖像； 多對象目標(biāo)跟蹤模塊，用于跟蹤監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)對象，包括
自適應(yīng)背景消減單元，用于在底層特征層將監(jiān)控領(lǐng)域背景中把前 景對象目標(biāo)部分的像素點提取出來，混合高斯分布模型來表征圖像幀
中每一個像素點的特征；設(shè)用來描述每個點顏色分布的高斯分布共有
K個，分別標(biāo)記為
<formula>formula see original document page 8</formula> (12)
式(12)中的下標(biāo)t表示時間，各高斯分布分別具有不同的權(quán)值 和優(yōu)先級，再將K個背景模型按照優(yōu)先級從高到低的次序排序，取定 適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值，在檢測前景點時,按照優(yōu)先級次序?qū)與 各高斯分布模型逐一匹配，若匹配，則判定該點可能為前景點，否則 為前景點；若某個高斯分布與K匹配，則對該高斯分布的權(quán)值和高斯 參數(shù)按一定的更新率進(jìn)行更新；
陰影抑制單元，用于通過形態(tài)學(xué)運算實現(xiàn)，利用腐蝕和膨脹算子 分別去除孤立的噪聲前景點和填補(bǔ)目標(biāo)區(qū)域的小孔，先對消除了背景 模型后的前景點集F分別進(jìn)行膨脹和腐蝕處理，得到擴(kuò)張集Fe和收 縮集Fc，通過處理所得到的擴(kuò)張集Fe和收縮集Fc是對初始前景點集 F進(jìn)行填補(bǔ)小孔和去除孤立噪聲點的結(jié)果；因此有以下關(guān)系Fc<F<Fe 成立，接著以收縮集Fc作為起始點，在擴(kuò)張集Fe上檢測連通區(qū)域，然后將檢測結(jié)果記為(Rei,i^,2,3,…,n)，最后將檢測所得的連通區(qū)域重 新投影到初始前景點集F上，得到最后的連通檢測結(jié)果(Ri二Rein F，i=l,2,3/..，n};
連通區(qū)域標(biāo)識單元，用于采用八連通區(qū)域提取算法提取前景目標(biāo)
跟蹤處理單元；用于基于目標(biāo)顏色特征跟蹤算法，利用目標(biāo)對象 的顏色特征在視頻圖像中找到運動目標(biāo)對象所在的位置和大小，在下 一幀視頻圖像中，用運動目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，在 連通區(qū)域標(biāo)識單元處理后所得到的目標(biāo)對象的方位以及大小，然后將 處理結(jié)果提交給目標(biāo)顏色特征跟蹤算法，以實現(xiàn)多目標(biāo)對象的自動跟 蹤；
監(jiān)控視頻數(shù)據(jù)傳輸模塊，用于將動態(tài)感知到的包含有跟蹤目標(biāo)對象視 頻數(shù)據(jù)傳輸給監(jiān)控中心。
作為優(yōu)選的一種方案所述折反射鏡為雙曲面鏡，所述攝像單元 位于所述雙曲面鏡的虛焦點位置，所述固定支架上的外螺紋與連接5 的內(nèi)螺紋連接，將高速球攝像機(jī)與連接件的內(nèi)螺紋連接。
作為優(yōu)選的另一種方案所述折反射鏡為雙曲面鏡，所述攝像單 元位于所述雙曲面鏡的實焦點位置，雙曲面鏡的中間留有一個小孔， 在雙曲面鏡的前面配置有一個圓弧副鏡，圓弧副鏡的中心與雙曲面鏡 的虛焦點重合，圓弧副鏡的中部留有一個小孔，在該小孔中嵌入一個 廣角鏡頭。
進(jìn)一步，所述的透明外罩呈碗狀，即由半圓球和圓錐構(gòu)成，半圓 球的球心與雙曲面鏡的焦點重合，在半圓球部分的半徑處與圓錐部分進(jìn)行過渡。
再進(jìn)一步，所述視頻數(shù)據(jù)融合模塊的標(biāo)定方法為以全景圖像中 心為圓心，根據(jù)需要將全景圖像分成圓環(huán)，然后將每個圓環(huán)劃分等份， 一幅全景圖像就被規(guī)則地分成了數(shù)個區(qū)域，每個區(qū)域有它特定的角度、
方向和大??；根據(jù)ODVS距地面的高度、高速球攝像機(jī)空間位置和攝
像頭焦距等參數(shù)，依次確定高速球攝像機(jī)要檢測的區(qū)域所需要水平、 垂直旋轉(zhuǎn)的角度以及焦距。
更進(jìn)一步，在所述的目標(biāo)對象ID號和文件夾的自動生成模塊中，
圖像文件的命名方式根據(jù)抓拍的次數(shù)來確定，視頻圖像文件也是根據(jù)
攝像裝置以及攝像先后順序來命名；由于全方位視覺傳感器一直在拍 攝，因此它的視頻文件命名為ODVS.avi;高速球攝像機(jī)第一次拍攝的 攝像就取名為l.avi。
所述全方位視覺傳感器的攝像單元和高速球攝像機(jī)分別用螺釘固 定在固定板上，固定板的上部鋪設(shè)與全方位視覺傳感器攝像單元、高 速球攝像機(jī)連接的視頻線、控制線和電源線，固定板的下部露出全方
位視覺傳感器攝像裝置和高速球攝像機(jī)的獲取視頻圖像部分。
本發(fā)明的技術(shù)構(gòu)思為近年發(fā)展起來的全方位視覺傳感器 0DVS(0mniDirectional Vision Sensors)為實時獲取場景的全景圖像 提供了一種新的解決方案。0DVS的特點是視野廣(360度)，能把一個 半球視野中的信息壓縮成一幅圖像， 一幅圖像的信息量更大；獲取一 個場景圖像時，0DVS由于安放位置自由，可與高速球攝像機(jī)設(shè)計成 一體化；監(jiān)視環(huán)境時ODVS不用瞄準(zhǔn)目標(biāo)；檢測和跟蹤監(jiān)視范圍內(nèi)的 運動目標(biāo)時算法更加簡單；可以獲得大范圍場景的實時圖像。這種 0DVS攝像機(jī)主要由一個CCD(或者CMOS)攝像機(jī)和正對著攝像單元的一個反光鏡組成。反光鏡面將水平方向一周的圖像反射給CCD(或者
CMOS)攝像機(jī)成像，這樣，就可以在一幅圖像中獲取水平方向360°的
環(huán)境信息。這種全方位攝像機(jī)有著非常突出的優(yōu)點，特別在對全景實
時處理要求下，是一種快速、可靠的視覺信息采集途徑。但是0DVS 也存在著不能對監(jiān)控對象目標(biāo)進(jìn)行特寫抓拍，無法得到跟蹤對象目標(biāo) 詳細(xì)信息，0DVS最勝任的角色應(yīng)該是大范圍空間的全局視頻監(jiān)控。
自動跟蹤和智能識別是智能化監(jiān)控的一個重要特征。而智能識別 是建立在實現(xiàn)了大范圍的、全局的視頻圖像獲取以及多目標(biāo)自動跟蹤 基礎(chǔ)上的，另外還需要對監(jiān)控領(lǐng)域內(nèi)所關(guān)心的對象、事件、對象的行 為進(jìn)行有效分析，從而使得讓高速球攝像機(jī)知道要轉(zhuǎn)動需要到什么地 方去并對其進(jìn)行局部的特寫攝像，使得全局的監(jiān)控與局部的監(jiān)控實現(xiàn) 完美的結(jié)合。
另外，通過0DVS的特殊設(shè)計能使得監(jiān)控對象的空間位置與該對 象在成像平面上的位置是可方便計算的，實現(xiàn)監(jiān)控對象目標(biāo)的定位的 算法十分簡單，加上目前高速球攝像機(jī)都具備了坐標(biāo)功能，容易實現(xiàn) 0DVS與高速球攝像機(jī)在空間位置上的信息融合。讓0DVS實現(xiàn)全局的 實時監(jiān)控，而讓高速球攝像機(jī)實現(xiàn)所關(guān)心的對象或者事件出現(xiàn)地方的 局部監(jiān)控，各行其責(zé)，各自發(fā)揮自己的特長，協(xié)同完成智能監(jiān)控。
本發(fā)明的有益效果主要表現(xiàn)在1)能同時連續(xù)監(jiān)控360度全景空 間內(nèi)的所有監(jiān)控對象活動、行為以及事件，使得視頻海量數(shù)據(jù)得到快 速加工處理，運用動態(tài)感知錄像功能可減少保存視頻圖像數(shù)據(jù)存儲空 間以及視頻圖像傳輸量；2)能縮短跟蹤對象目標(biāo)確認(rèn)時間；3)所監(jiān) 控的事件發(fā)生的當(dāng)時在發(fā)生事件的視頻圖像上做上檢索標(biāo)記，能節(jié)省 瀏覽已發(fā)生事件的時間；4)基于目標(biāo)對象行動、行為以及事件而不是環(huán)境變化的智能跟蹤，提高了高速球使用壽命；5)聚焦到某一對象目 標(biāo)時，仍能保持對全景的不間斷的監(jiān)控，實現(xiàn)了全局監(jiān)控與局部監(jiān)控
的完美統(tǒng)一；6)能自動實現(xiàn)多目標(biāo)的實時跟蹤，通過控制策略通過對 高速球的轉(zhuǎn)動位置控制實現(xiàn)對多個對象目標(biāo)的抓拍，實現(xiàn)了立體化智 能監(jiān)控；7)能實現(xiàn)使被識別者在無意識狀態(tài)下的人臉識別等更高級的 識別應(yīng)用做好了基礎(chǔ)；8)該新型立體化智能攝像設(shè)備采用一體化設(shè)計 方案，同時采用了戶外與室內(nèi)兩種類型，能滿足各種監(jiān)控場合的實際 需求，安裝維護(hù)方便。這種新型立體化智能監(jiān)控手段的推出與應(yīng)用將 大大提高人們對事物的動態(tài)感知，辨別與監(jiān)控能力，為各個領(lǐng)域尤其 是軍事、國防等領(lǐng)域降低風(fēng)險，提高安全性作出卓越貢獻(xiàn)。


圖1為一種0DVS的結(jié)構(gòu)圖2為一種0DVS與高速球一體化設(shè)計的新型立體式攝像裝置結(jié)構(gòu) 圖(室外模式)；
圖3為一種高速球攝像機(jī)的結(jié)構(gòu)圖4為一種無死角的0DVS的結(jié)構(gòu)圖5為采用消除了死角的0DVS所拍攝的圖像；
圖6為攝像頭鏡頭與廣角鏡頭進(jìn)行組合的光學(xué)原理圖7為一種0DVS與高速球一體化設(shè)計的新型立體式攝像裝置結(jié)構(gòu) 圖(室內(nèi)模式)；
圖8為0DVS的成像原理說明示意圖9為0DVS與高速球攝像機(jī)之間的視場空間映射關(guān)系示意圖； 圖10為多對象目標(biāo)跟蹤的處理流程圖。
具體實施方式
下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。
參照圖1 圖10， 一種基于全方位視覺傳感器的立體化智能攝像
設(shè)備，通過采用一個0DVS來獲取現(xiàn)場360。監(jiān)控場景的視頻圖像，微
處理器將采集到的全景視頻圖像進(jìn)行動態(tài)圖像理解等處理，得到監(jiān)控
領(lǐng)域內(nèi)所關(guān)心的對象或者事件的空間位置信息，然后根據(jù)ODVS與高
速球攝像機(jī)之間的視場空間映射關(guān)系，指示高速球攝像機(jī)快速的轉(zhuǎn)動
到希望的定點位置進(jìn)行局部監(jiān)控，同時能獲得全局的監(jiān)控視頻信息和
監(jiān)控對象、事件的詳細(xì)局部視頻信息，解決了目前視頻監(jiān)控中的多目
標(biāo)自動跟蹤困難、存在著監(jiān)控死角、高速球攝影機(jī)轉(zhuǎn)動的盲目性等問
題，實現(xiàn)了 360°全方位監(jiān)控與局部調(diào)節(jié)跟蹤的完美結(jié)合，裝置可在
360°全方位大視場內(nèi)自由攝取目標(biāo)；同時自動跟蹤鎖定目標(biāo)，實現(xiàn)全
自動的、全方位的、同步的、實時動態(tài)的、智能的過程監(jiān)控，監(jiān)控過
程完全無需人為操作。
首先是ODVS攝像裝置的光學(xué)部分的制造技術(shù)方案，ODVS包括
直垂向下的折反射鏡、透明外罩、攝像單元、固定支架、上固定蓋，
所述的折反射鏡為雙曲面鏡，所述的攝像單元包括聚光透鏡和攝像單
元，所述的攝像單元位于所述雙曲面鏡的虛焦點位置；所述雙曲面鏡
構(gòu)成的光學(xué)系統(tǒng)由下面5個等式表示；
((f—(Z2/62) = -l(z>0) (1)
c = V"2 +62 (2) - = tan-'(J7Z) (3) cjt = tan-j[(62 +c2)sin,-2&c]/(&2 +c2)cos;k (4)上式中，X,Y,Z表示空間坐標(biāo)，C表示雙曲面鏡的焦點，2c表示
兩個焦點之間的距離，a， b分別是雙曲面鏡的實軸和虛軸的長度，(3 表示入射光線在XY平面上的夾角一方位角，(x表示入射光線在XZ 平面上的夾角一俯角，f表示成像平面到雙曲面鏡的需焦點的距離。
為了使得透明外罩不會產(chǎn)生內(nèi)壁的反射干擾光，如圖1所示。具 體做法是將透明外罩設(shè)計成碗狀，即半圓球和圓錐構(gòu)成，半圓球的球 心與雙曲面鏡的焦點重合，這樣能避免在透明外罩發(fā)生反射干擾光， 在半圓球部分的半徑處與圓錐部分進(jìn)行過渡，圓錐部分的傾斜角度為 2 3° ，主要是考慮在模具生產(chǎn)時的脫模斜度，ODVS的結(jié)構(gòu)如圖1 所示；
ODVS攝像裝置的裝配技術(shù)方案ODVS的裝配關(guān)系如圖2所示， 首先將攝像單元2通過螺釘固定在固定支架4內(nèi)，然后將固定支架4 套入透明外罩6的圓孔內(nèi)，由于在固定支架4的外徑上開有外螺紋， 因此通過密封用螺帽10將固定支架與透明外罩6進(jìn)行螺紋連接;接著 是將折反射鏡11與上蓋8通過螺釘進(jìn)行連接，然后將固定好折反射鏡 11的上蓋8與上述固定好攝像單元后的透明外罩6通過螺釘9進(jìn)行連 接，形成一個ODVS攝像裝置；
一種戶外使用的ODVS與高速球一體化設(shè)計的新型立體式攝像裝 置的連接方案如圖2所示，連接件5開有與ODVS攝像裝置的固定 支架4上的外螺紋和高速球1的外螺紋相配合的內(nèi)螺紋，將ODVS攝 像裝置的固定支架4上的外螺紋與連接件5的內(nèi)螺紋進(jìn)行連接，將高 速球1與連接件5的內(nèi)螺紋進(jìn)行連接，使得ODVS與高速球形成一體； 連接件5的中部開有一個圓孔，用于與立桿7的連接；連接件5和立 桿7的內(nèi)部是中空的，用于穿引與ODVS攝像裝置、高速球連接的視頻線、控制線和電源線；該一體化設(shè)計方案主要用于在戶外模式的立 體智能化監(jiān)控；
360°全方位進(jìn)行攝像的原理空間上的一個點A(X,Y,Z)17經(jīng)折 反射鏡面ll反射到透鏡上對應(yīng)有一個投影點P(x， y)19，通過透鏡的 光線投射到CCD(CMOS)攝像單元進(jìn)行成像，微處理器24通過視頻接 口23讀入該環(huán)狀圖像，讀取的環(huán)狀圖像如圖9所示；
所述的微處理器還包括ODVS的標(biāo)定模塊，用于建立監(jiān)控空間 的圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；ODVS與高速球攝像機(jī)1之 間的視頻數(shù)據(jù)融合模塊，用于控制高速球攝像機(jī)1的轉(zhuǎn)動與調(diào)焦，使 得高速球攝像機(jī)1能對準(zhǔn)所跟蹤目標(biāo)對象進(jìn)行特寫抓拍或者攝像；虛 擬線定制模塊，用于定制在監(jiān)控領(lǐng)域內(nèi)的敏感區(qū)域檢測線， 一般虛擬 線定制在監(jiān)控領(lǐng)域的出入口處；目標(biāo)對象ID號和存放跟蹤目標(biāo)對象 的圖像或者視頻圖像的文件夾的自動生成模塊，用于對剛進(jìn)入敏感區(qū) 域檢測線的目標(biāo)對象進(jìn)行命名，當(dāng)目標(biāo)對象進(jìn)入監(jiān)控范圍的敏感區(qū)域 內(nèi)時，系統(tǒng)自動會產(chǎn)生一個目標(biāo)對象ID號并同時生成一個以該目標(biāo) 對象ID號命名的文件夾，用于存放該目標(biāo)對象的特寫圖像或者視頻 圖像；多對象目標(biāo)跟蹤模塊，用于跟蹤進(jìn)入監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)目標(biāo) 對象；監(jiān)控視頻數(shù)據(jù)傳輸模塊，用于將動態(tài)感知到的包含有跟蹤目標(biāo) 對象視頻數(shù)據(jù)傳輸給監(jiān)控中心；
所述的ODVS與高速球攝像機(jī)1之間的視頻數(shù)據(jù)融合模塊，用于 建立ODVS攝像裝置和高速球攝像機(jī)1之間的空間映射關(guān)系，用于當(dāng) ODVS檢測到對象目標(biāo)時，使得高速球攝像機(jī)1能根據(jù)自己與ODVS 的對應(yīng)關(guān)系標(biāo)定表進(jìn)行快速定位。標(biāo)定方法為以全景圖像中心為圓 心，根據(jù)需要將全景圖像分成一些圓環(huán)，如圖9所示，然后將每個圓環(huán)劃分幾等份，可根據(jù)實際需要劃分。這樣， 一幅全景圖像就被規(guī)則 地分成了數(shù)個區(qū)域，每個區(qū)域有它特定的角度、方向和大小。然后， 根據(jù)ODVS距地面的髙度、高速球攝像機(jī)空間位置和攝像頭焦距等參 數(shù)，依次確定高速球攝像機(jī)要檢測的區(qū)域所需要水平、垂直旋轉(zhuǎn)的角
度以及焦距。如果ODVS檢測到有對象目標(biāo)存在，系統(tǒng)就可以根據(jù)該
對象目標(biāo)所在區(qū)域和標(biāo)定表自動調(diào)節(jié)各個快速球型攝像機(jī)，對該對象
目標(biāo)進(jìn)行特寫抓拍或者攝像；目前市場上銷售的高速球攝像機(jī)可以帶 80~256個預(yù)置點，為了達(dá)到快速地將高速球攝像機(jī)轉(zhuǎn)動到ODVS所檢 測到的對象目標(biāo)并迅速對焦，實現(xiàn)ODVS與高速球攝像機(jī)的空間位置 信息融合，在本專利中將ODVS的視場分為128個區(qū)域，如附圖9所 示，每個區(qū)域?qū)?yīng)著高速球攝像機(jī)的一個預(yù)置點，因此只要在ODVS 所拍攝的視頻圖像上劃分好128個區(qū)域，然后對每個區(qū)域的中心作為 高速球攝像機(jī)的預(yù)置點；在ODVS檢測到跟蹤目標(biāo)對象在某個檢測區(qū) 域出現(xiàn)時，微處理器24得到該信息后控制高速球攝像機(jī)1到與該區(qū)域 所對應(yīng)的預(yù)置點，對所跟蹤的目標(biāo)對象進(jìn)行特寫抓拍或者錄像，實現(xiàn) ODVS的動態(tài)感知錄像功能；
所述的目標(biāo)對象ID號，用于產(chǎn)生一個能標(biāo)識跟蹤的目標(biāo)對象、 存儲對該目標(biāo)對象的進(jìn)入監(jiān)控領(lǐng)域的時間數(shù)據(jù)進(jìn)行記錄的主鍵，目標(biāo) 對象ID號的命名規(guī)則是YYYYMMDDHHMMSS* 以14位符號命 名，YYYY-表示公歷的年；MM-表示月；DD-表示日；HH-表示小時； MM-表示分；SS-表示秒；均由計算機(jī)的系統(tǒng)時間自動產(chǎn)生；
所述的目標(biāo)對象ID號和存放跟蹤目標(biāo)對象的圖像或者視頻圖像 的文件夾的自動生成模塊，用于保存跟蹤的目標(biāo)對象的特寫圖像和視 頻圖像，當(dāng)目標(biāo)對象進(jìn)入監(jiān)控范圍(最外的虛擬線)時，系統(tǒng)自動產(chǎn)生一個目標(biāo)對象ID號，同時在某個存放圖像的文件夾內(nèi)創(chuàng)建一個與 目標(biāo)對象ID號同名的文件夾，用來存放該目標(biāo)對象的特寫圖像以及 視頻圖像，圖像文件的命名方式是根據(jù)抓拍的次數(shù)來確定的，如果第 一次抓拍的圖像就命名為l.jpg，視頻圖像文件的也是根據(jù)攝像裝置以
及攝像先后順序來命名，由于ODVS—直在拍攝，因此它的視頻文件 就只有一個，本發(fā)明中就命名為ODVS.avi;如果高速球攝像機(jī)第一次 拍攝的攝像就取名為l.avi;上述的處理主要是有多目標(biāo)跟蹤問題，高 速球攝像機(jī)要分別對各個目標(biāo)進(jìn)行抓拍，當(dāng)監(jiān)控范圍內(nèi)僅存在一個跟 蹤目標(biāo)對象時，高速球攝像機(jī)就始終跟蹤該對象進(jìn)行攝像；
所述的多對象目標(biāo)跟蹤模塊，用于跟蹤進(jìn)入監(jiān)控領(lǐng)域內(nèi)的多目標(biāo) 對象目標(biāo)；為計算活動目標(biāo)對象的運動方向、各種事件的檢測以及對 象目標(biāo)特征的定位抓拍提供技術(shù)基礎(chǔ)；在實現(xiàn)多對象目標(biāo)跟蹤時，首 先要在底層特征層將監(jiān)控領(lǐng)域背景中把前景對象目標(biāo)部分的像素點提 取出來。提取對象目標(biāo)部分的像素點的方法主要由自適應(yīng)背景消減、 陰影抑制和連通區(qū)域標(biāo)識三個部分組成，其順序圖如附圖IO所示；
所述的自適應(yīng)背景消減，用于實時分割對象目標(biāo)，我們采用的是 基于混合高斯分布模型的自適應(yīng)背景消除算法，它的基本思想是使 用混合高斯分布模型來表征圖像幀中每一個像素點的特征；當(dāng)獲得新 的圖像幀時,更新混合高斯分布模型；在每一個時間段上選擇混合高斯 分布模型的子集來表征當(dāng)前的背景；如果當(dāng)前圖像的像素點與混合高 斯分布模型相匹配,則判定該點為背景點,否則判定該點為前景點。
針對圖像的YCrCb顏色空間中的亮度值Y分量進(jìn)行檢測。自適 應(yīng)混合高斯模型對每個圖像點采用了多個高斯模型的混合表示，設(shè)用 來描述每個點顏色分布的高斯分布共有K個，分別標(biāo)記為),"l，2，3'.a (12)
式(12)中的下標(biāo)t表示時間。各高斯分布分別具有不同的權(quán)值 和優(yōu)先級，再將K個背景模型按照優(yōu)先級從高到低的次序排序，取定
適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值。在檢測前景點時,按照優(yōu)先級次序?qū)ⅰ杜c 各高斯分布模型逐一匹配。若匹配，則判定該點可能為前景點,否則為
前景點。若某個高斯分布與K匹配，則對該高斯分布的權(quán)值和高斯參 數(shù)按一定的更新率進(jìn)行更新。
所述的連通區(qū)域標(biāo)識，用于提取前景目標(biāo)對象，連通區(qū)域標(biāo)識的 方法很多，本發(fā)明中采用的是八連通區(qū)域提取算法。另外連通區(qū)域標(biāo) 識受初始數(shù)據(jù)中的噪聲影響很大， 一般需要先進(jìn)行去噪處理，去噪處 理可以通過形態(tài)學(xué)運算實現(xiàn)，本發(fā)明中利用腐蝕和膨脹算子分別去除 孤立的噪聲前景點和填補(bǔ)目標(biāo)區(qū)域的小孔，具體做法是先對消除了
背景模型后的前景點集F分別進(jìn)行膨脹和腐蝕處理，得到擴(kuò)張集Fe 和收縮集Fc,通過處理所得到的擴(kuò)張集Fe和收縮集Fc可以認(rèn)為是對 初始前景點集F進(jìn)行填補(bǔ)小孔和去除孤立噪聲點的結(jié)果。因此有以下 關(guān)系F(^F〈Fe成立，接著以收縮集Fc作為起始點，在擴(kuò)張集Fe上檢 測連通區(qū)域，然后將檢測結(jié)果記為(Rei，^l，2，3,…,n)，最后將檢測所得 的連通區(qū)域重新投影到初始前景點集F上，得到最后的連通檢測結(jié)果 {R—RdnF一l,2，3,…,n〉,通過這種目標(biāo)分割算法既能保持目標(biāo)的完整 性同時也避免了噪聲前景點的影響，還保留了目標(biāo)的邊緣細(xì)節(jié)部分。
經(jīng)過以上三個步驟就可以從靜態(tài)的監(jiān)控領(lǐng)域背景中將動態(tài)的前景 目標(biāo)對象提取出來，并且可以得到基于目標(biāo)對象的一些初始信息，如 目標(biāo)對象的大小和空間位置等等。在監(jiān)控領(lǐng)域背景中提取出前景目標(biāo) 對象后，接著的處理是對監(jiān)控領(lǐng)域內(nèi)的目標(biāo)對象進(jìn)行跟蹤處理；本發(fā)明中采用基于目標(biāo)顏色特征跟蹤算法，該算法是對MEANSHIFT算法 的進(jìn)一步改進(jìn)，在該算法中利用目標(biāo)對象的顏色特征在視頻圖像中找 到運動目標(biāo)對象所在的位置和大小，在下一幀視頻圖像中，用運動目 標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，重復(fù)這個過程就可以實現(xiàn)對目 標(biāo)的連續(xù)跟蹤。在每次搜尋前將搜尋窗口的初始值設(shè)置為運動目標(biāo)當(dāng) 前的位置和大小，由于搜尋窗口就在運動目標(biāo)可能出現(xiàn)的區(qū)域附近進(jìn) 行搜尋，這樣就可以節(jié)省大量的搜尋時間，使該算法具有了良好的實 時性。同時該算法是通過顏色匹配找到運動目標(biāo)，在目標(biāo)對象運動的 過程中，顏色信息變化不大，所以該算法具有良好的魯棒性。在連通 區(qū)域標(biāo)識處理后所得到的目標(biāo)對象的方位以及大小，然后將處理結(jié)果 提交給目標(biāo)顏色特征跟蹤算法，以實現(xiàn)多目標(biāo)對象的自動跟蹤；
所述的監(jiān)控視頻數(shù)據(jù)傳輸模塊，用于將動態(tài)感知到的包含有跟蹤 目標(biāo)對象視頻數(shù)據(jù)傳輸給監(jiān)控中心；本發(fā)明中監(jiān)控視頻數(shù)據(jù)傳輸根據(jù) 事件發(fā)生中和事件發(fā)生后兩種進(jìn)行傳輸，事件發(fā)生中的視頻圖像的傳 輸與目前所采用的技術(shù)類同，將0DVS和高速球攝像機(jī)所拍攝到的視頻 圖像進(jìn)行壓縮經(jīng)網(wǎng)絡(luò)傳輸給監(jiān)控中心，監(jiān)控中心根據(jù)傳輸過來的視頻 圖像進(jìn)行解壓縮，然后顯示在控制屏上；事件發(fā)生后的視頻圖像的傳 輸，將存放跟蹤目標(biāo)對象的圖像或者視頻圖像的文件夾中的0DVS視頻 文件、高速球攝像機(jī)的視頻文件或者是抓拍的圖像文件經(jīng)壓縮后打包 經(jīng)網(wǎng)絡(luò)傳輸給監(jiān)控中心，監(jiān)控中心根據(jù)傳輸過來的打包文件分別對文 件夾中的視頻文件進(jìn)行解壓縮，然后顯示在控制屏上。
實施例2
參照圖1~圖10，本實施例的實現(xiàn)原理與實施例1相同，與實施 例1戶外模式的立體智能化視頻監(jiān)控裝置不同的是在室內(nèi)模式的立體智能化視頻監(jiān)控中，需要從美觀角度來考慮，希望所有的引線隱蔽 且沒有立桿；需要從人的心理方面考慮，不會給人已一種被監(jiān)視的感 覺；因此需要對ODVS攝像裝置進(jìn)行適合室內(nèi)模式的設(shè)計； 一種無死 角的ODVS的結(jié)構(gòu)圖如圖4所示，本實施例中將攝像單元2配置在雙 曲面鏡11的后面，安置在雙曲面鏡11的實焦點處，雙曲面鏡的中間 留有一個小孔，攝像單元2能通過該小孔拍攝到雙曲面鏡11的前面的 視頻信息；在雙曲面鏡11的前面配置有一個圓弧副鏡12，圓弧副鏡 12的中心與雙曲面鏡11的虛焦點重合，圓弧副鏡12的中部留有一個 小孔，在該小孔中嵌入一個廣角鏡頭13;全方位視頻信息在雙曲面鏡 11折反射后經(jīng)圓弧副鏡12進(jìn)行二次折反射，然后通過雙曲面鏡的小 孔在攝像單元2中成像；另外在雙曲面鏡11正前方的物體通過廣角鏡 頭13在廣角鏡頭13與攝像單元2的鏡頭之間成像，稱為第一成像點， 該成像點通過雙曲面鏡的小孔在攝像單元的鏡頭的焦點處成像；經(jīng)過上述設(shè)計的ODVS所拍攝出來的圖像效果圖如圖5所示，圖 5中部圓部分是由廣角鏡頭所拍攝的圖像，外部圓環(huán)部分是由雙曲面 鏡經(jīng)圓弧副鏡進(jìn)行二次折反射所得到的視頻圖像，這樣設(shè)計ODVS消 除了原有ODVS的死角部分，并且通過攝像頭鏡頭與廣角鏡頭的組合 方式加上雙曲面鏡以及圓弧副鏡的設(shè)計，能將廣角鏡頭的視覺范圍覆 蓋原來的ODVS的死角部分；所述的雙曲面鏡、雙曲面鏡上的小孔、攝像單元、透明外罩、圓 弧副鏡、廣角鏡頭在同一中心軸線上；攝像單元的鏡頭安置在雙曲面 鏡的實焦點的位置上；通過廣角鏡頭來擴(kuò)展視野范圍的原理為本發(fā)明中將廣角鏡頭配 置在圓弧副鏡的中部，設(shè)計廣角鏡頭以及確定廣角鏡頭的位置是本發(fā)明的一個任務(wù)。圖6是攝像單元鏡頭與廣角鏡頭的位置關(guān)系圖。將廣 角鏡頭配置在圓弧副鏡的中部，廣角鏡頭與攝像單元鏡頭之間成像， 稱為第一成像點，該成像點通過攝像單元鏡頭在焦點處成像。這里將 攝像單元鏡頭的焦點距離作為fl、廣角鏡頭的焦點距離作為f2、攝像 單元與攝像單元的鏡頭的焦點距離作為Sl、從攝像單元的鏡頭到第一
成像點的焦點距離作為S2、從廣角鏡頭到第一成像點的距離作為S3、 從廣角鏡頭到實物點的距離作為S4，根據(jù)鏡頭的成像公式可以得到以
下關(guān)系式
<formula>formula see original document page 21</formula>
使公式(8)成立的話，也就是將圖4中的從雙曲面鏡的實焦點上 的攝像單元鏡頭距離為d的地方配置廣角鏡頭的話，就可以得到圖5 中圖像中部所顯示的廣角成像圖。
對于圖4中將攝像機(jī)鏡頭與廣角鏡頭作為一個組合鏡頭來考慮的 話，其焦距f可以由下式來表示
另外，將合成鏡頭的直徑作為D，其放大倍數(shù)可以由下式來表示: D (10)
<formula>formula see original document page 21</formula>為了將合成鏡頭的視場與雙曲面鏡的死角部分相吻合，在設(shè)計合成鏡頭時需要滿足以下公式D 6 (11) =—=——無死角的ODVS攝像裝置的裝配技術(shù)方案ODVS的裝配關(guān)系如 圖4所示，首先將折反射鏡11嵌入到上蓋8內(nèi)，然后將攝像單元2 通過螺釘固定在上蓋8上；接著將廣角鏡頭13嵌入到圓弧副鏡(二次 反射鏡面)12孔內(nèi)，接著是將組裝好的圓弧副鏡嵌入到透明外罩6的 孔內(nèi)；最后將固定好折反射鏡11和攝像單元2的上蓋8與上述固定好 的廣角鏡頭13和圓弧副鏡12的透明外罩6通過螺釘9進(jìn)行連接，形 成一個無死角的ODVS攝像裝置；一種室內(nèi)使用的ODVS與高速球一體化設(shè)計的新型立體式攝像裝 置的連接方案如圖7所示，將固定板14設(shè)計成與室內(nèi)裝飾板同樣尺 寸大小，將無死角的ODVS攝像裝置和高速球攝像機(jī)1分別用螺釘固 定在固定板14上，固定板14的上部用于鋪設(shè)與ODVS攝像裝置、高 速球攝像機(jī)連接的視頻線、控制線和電源線，固定板14的下部只暴露 出ODVS攝像裝置和高速球攝像機(jī)1的獲取視頻圖像部分。
權(quán)利要求
1、一種基于全方位視覺傳感器的立體化智能攝像設(shè)備，包括固定支架、安裝在固定支架上的高速球攝像機(jī)以及用于控制高速球攝像機(jī)進(jìn)行抓拍的視頻數(shù)據(jù)微處理器，其特征在于所述的立體化智能攝像設(shè)備還包括用于獲取監(jiān)控領(lǐng)域內(nèi)全方位視頻數(shù)據(jù)的全方位視覺傳感器，所述全方位視覺傳感器包括用以反射監(jiān)控領(lǐng)域中物體的折反射鏡面、用以防止光折射和光飽和的黑色圓錐體、透明外罩和攝像單元，所述的折反射鏡面位于透明外罩的上方，折反射鏡面朝下，黑色圓錐體固定在折反射鏡面的底部中央，所述攝像單元位于所述折反射鏡面的焦點位置，所述透明外罩安裝在固定支架上，所述折反射鏡面、黑色圓錐體、透明外罩和攝像單元在同一中心軸線上；所述的視頻數(shù)據(jù)微處理器包括ODVS的標(biāo)定模塊，用于建立監(jiān)控空間的圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；ODVS與高速球攝像機(jī)之間的視頻數(shù)據(jù)融合模塊，用于控制高速球攝像機(jī)的轉(zhuǎn)動與調(diào)焦，使得高速球攝像機(jī)能對準(zhǔn)所跟蹤目標(biāo)對象進(jìn)行特寫抓拍或者攝像；虛擬線定制模塊，用于定制在監(jiān)控領(lǐng)域內(nèi)的敏感區(qū)域檢測線，虛擬線定制在監(jiān)控領(lǐng)域的出入口處；目標(biāo)對象ID號和文件夾的自動生成模塊，用于對剛進(jìn)入敏感區(qū)域檢測線的目標(biāo)對象進(jìn)行命名，當(dāng)目標(biāo)對象進(jìn)入監(jiān)控范圍的敏感區(qū)域內(nèi)時，系統(tǒng)自動會產(chǎn)生一個目標(biāo)對象ID號并同時生成一個以該目標(biāo)對象ID號命名的文件夾，用于存放該目標(biāo)對象的特寫圖像或者視頻圖像；多對象目標(biāo)跟蹤模塊，用于跟蹤監(jiān)控領(lǐng)域內(nèi)的多目標(biāo)對象，包括自適應(yīng)背景消減單元，用于在底層特征層將監(jiān)控領(lǐng)域背景中把前景對象目標(biāo)部分的像素點提取出來，混合高斯分布模型來表征圖像幀中每一個像素點的特征；設(shè)用來描述每個點顏色分布的高斯分布共有K個，分別標(biāo)記為η(Yt，μt，i，∑t，i)，i＝1，2，3…，k(12)式(12)中的下標(biāo)t表示時間，各高斯分布分別具有不同的權(quán)值和優(yōu)先級，再將K個背景模型按照優(yōu)先級從高到低的次序排序，取定適當(dāng)?shù)谋尘澳Ｐ蜋?quán)值和閾值，在檢測前景點時，按照優(yōu)先級次序?qū)t與各高斯分布模型逐一匹配，若匹配，則判定該點可能為前景點，否則為前景點；若某個高斯分布與Yt匹配，則對該高斯分布的權(quán)值和高斯參數(shù)按一定的更新率進(jìn)行更新；陰影抑制單元，用于通過形態(tài)學(xué)運算實現(xiàn)，利用腐蝕和膨脹算子分別去除孤立的噪聲前景點和填補(bǔ)目標(biāo)區(qū)域的小孔，先對消除了背景模型后的前景點集F分別進(jìn)行膨脹和腐蝕處理，得到擴(kuò)張集Fe和收縮集Fc，通過處理所得到的擴(kuò)張集Fe和收縮集Fc是對初始前景點集F進(jìn)行填補(bǔ)小孔和去除孤立噪聲點的結(jié)果；因此有以下關(guān)系Fc＜F＜Fe成立，接著以收縮集Fc作為起始點，在擴(kuò)張集Fe上檢測連通區(qū)域，然后將檢測結(jié)果記為{Rei，i＝1，2，3，…，n}，最后將檢測所得的連通區(qū)域重新投影到初始前景點集F上，得到最后的連通檢測結(jié)果{Ri＝Rei∩F，i＝1，2，3，…，n}；連通區(qū)域標(biāo)識單元，用于采用八連通區(qū)域提取算法提取前景目標(biāo)對象；跟蹤處理單元；用于基于目標(biāo)顏色特征跟蹤算法，利用目標(biāo)對象的顏色特征在視頻圖像中找到運動目標(biāo)對象所在的位置和大小，在下一幀視頻圖像中，用運動目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，在連通區(qū)域標(biāo)識單元處理后所得到的目標(biāo)對象的方位以及大小，然后將處理結(jié)果提交給目標(biāo)顏色特征跟蹤算法，以實現(xiàn)多目標(biāo)對象的自動跟蹤；監(jiān)控視頻數(shù)據(jù)傳輸模塊，用于將動態(tài)感知到的包含有跟蹤目標(biāo)對象視頻數(shù)據(jù)傳輸給監(jiān)控中心。
2、 如權(quán)利要求1所述的基于全方位視覺傳感器的立體化智能攝像設(shè) 備，其特征在于所述折反射鏡為雙曲面鏡，所述攝像單元位于所述 雙曲面鏡的虛焦點位置，所述固定支架上的外螺紋與連接5的內(nèi)螺紋 連接，將高速球攝像機(jī)與連接件的內(nèi)螺紋連接。
3、 如權(quán)利要求1所述的基于全方位視覺傳感器的立體化智能攝像設(shè)備，其特征在于所述折反射鏡為雙曲面鏡，所述攝像單元位于所述 雙曲面鏡的實焦點位置，雙曲面鏡的中間留有一個小孔，在雙曲面鏡 的前面配置有一個圓弧副鏡，圓弧副鏡的中心與雙曲面鏡的虛焦點重 合，圓弧副鏡的中部留有一個小孔，在該小孔中嵌入一個廣角鏡頭。
4、 如權(quán)利要求l一3之一所述的基于全方位視覺傳感器的立體化智能攝像設(shè)備，其特征在于所述的透明外罩呈碗狀，即由半圓球和圓錐 構(gòu)成，半圓球的球心與雙曲面鏡的焦點重合，在半圓球部分的半徑處 與圓錐部分進(jìn)行過渡。
5、 如權(quán)利要求4所述的基于全方位視覺傳感器的立體化智能攝像設(shè)備，其特征在于所述視頻數(shù)據(jù)融合模塊的標(biāo)定方法為以全景圖像中心為圓心，根據(jù)需要將全景圖像分成圓環(huán)，然后將每個圓環(huán)劃分等 份， 一幅全景圖像就被規(guī)則地分成了數(shù)個區(qū)域，每個區(qū)域有它特定的角度、方向和大??；根據(jù)ODVS距地面的高度、高速球攝像機(jī)空間位 置和攝像頭焦距等參數(shù)，依次確定高速球攝像機(jī)要檢測的區(qū)域所需要 水平、垂直旋轉(zhuǎn)的角度以及焦距。
6、 如權(quán)利要求5所述的基于全方位視覺傳感器的立體化智能攝像設(shè) 備，其特征在于在所述的目標(biāo)對象ID號和文件夾的自動生成模塊 中，用于保存跟蹤的目標(biāo)對象的特寫圖像和視頻圖像，當(dāng)目標(biāo)對象進(jìn) 入監(jiān)控范圍(最外的虛擬線)時，系統(tǒng)自動產(chǎn)生一個目標(biāo)對象ID號， 同時在某個存放圖像的文件夾內(nèi)創(chuàng)建一個與目標(biāo)對象ID號同名的文 件夾，特寫圖像文件的命名方式根據(jù)抓拍的次數(shù)來確定，全方位視覺 傳感器一直在拍攝，將其視頻文件命名為ODVS.avi;高速球攝像機(jī)第 一次拍攝的攝像就取名為l.avi。
7、 如權(quán)利要求3所述的基于全方位視覺傳感器的立體化智能攝像設(shè) 備，其特征在于所述全方位視覺傳感器的攝像單元和高速球攝像機(jī) 分別用螺釘固定在固定板上，固定板的上部鋪設(shè)與全方位視覺傳感器 攝像單元、高速球攝像機(jī)連接的視頻線、控制線和電源線，固定板的 下部露出全方位視覺傳感器攝像裝置和高速球攝像機(jī)的獲取視頻圖像 部分。
全文摘要
一種基于全方位視覺傳感器的立體化智能攝像設(shè)備，包括固定支架、安裝在固定支架上的高速球攝像機(jī)以及用于控制高速球攝像機(jī)進(jìn)行抓拍的視頻數(shù)據(jù)微處理器，所述的立體化智能攝像設(shè)備還包括用于獲取監(jiān)控領(lǐng)域內(nèi)全方位視頻數(shù)據(jù)的全方位視覺傳感器ODVS，微處理器將采集到的全景視頻圖像進(jìn)行動態(tài)圖像理解等處理，得到監(jiān)控領(lǐng)域內(nèi)所關(guān)心的對象或者事件的空間位置信息，然后根據(jù)ODVS與高速球攝像機(jī)之間的視場空間映射關(guān)系，指示高速球攝像機(jī)快速的轉(zhuǎn)動到希望的定點位置進(jìn)行局部監(jiān)控。本發(fā)明提供一種實現(xiàn)多目標(biāo)自動跟蹤、全方位視覺大視場內(nèi)自動攝取監(jiān)控對象目標(biāo)、實現(xiàn)實時動態(tài)、智能的過程監(jiān)控的基于全方位視覺傳感器的立體化智能攝像設(shè)備。
文檔編號G03B17/12GK101291427SQ20071016444
公開日2008年10月22日 申請日期2007年11月30日 優(yōu)先權(quán)日2007年11月30日
發(fā)明者湯一平 申請人:湯一平