專利名稱：多圖像傳感器的監(jiān)控設備的校準裝置的制作方法
技術領域：
本實用新型涉及現(xiàn)場監(jiān)控等系統(tǒng)中多圖像傳感器的監(jiān)控設備的校準裝置。
背景技術：
在各種現(xiàn)場監(jiān)控領域，當環(huán)境比較大需要多個監(jiān)控攝像頭進行監(jiān)控，目前的設備是將各個單獨的攝像頭的信號采集，并分別進行處理和存儲。為了能夠使監(jiān)控的圖像沒有死角，因此多個攝像頭之間可能存在兩兩重疊的區(qū)域，這樣會導致存在冗余圖像，從而導致傳輸帶寬或者存儲空間或者顯示空間的浪費。這種情況在以下領域是經常遇到的。比如機動車輛行駛、船舶進港、移動機械通過狹窄區(qū)域、吊塔等裝載機械的貨物抓取和移動、放置等，此類不同物體之間存在位移的時候，特別是當移動物體的許可移動路徑比較狹小的情況下，需要操作人員非常仔細考慮移動時的周邊環(huán)境，以防止出現(xiàn)碰觸、碰撞和摩擦，因此會采取多個攝像頭進行拍照，并顯示在多個屏幕上。一個常見的例子是，駕駛汽車時，特別是在駕駛大型車輛的情況下，由于車體的遮蔽及后視鏡和觀后鏡的觀察角度的不足而形成一定的觀察盲區(qū)。由于此類盲區(qū)的存在，對駕駛員的車體空間感提出較高要求，尤其是當駕駛車輛通過狹窄區(qū)域以及停車、倒車時，駕駛人員很容易因為視覺盲區(qū)的問題和在行進時由于觀察不全面造成剮蹭、碰撞而產生危險。在汽車領域該問題的解決方案是采用倒車攝像頭，此方法是通過安裝在車尾一個或者多個廣角攝像頭對后視圖像的攝取和顯示。隨著圖像處理技術的發(fā)展，目前所出現(xiàn)了一種全景的倒車圖像系統(tǒng)，該系統(tǒng)通過把多個攝像頭的圖像經過畸變校準以后進行拼接，顯示給駕駛員，以便于駕駛人員對周邊的環(huán)境進行測評。此方法十分有效的解決了汽車周邊的視野的問題，如中國專禾 U :200710106237. 8,200810236552. 7，200810163310. X， 200380101461. 8。但是上述專利也存在一些待提高的地方比如200710106237.8由于僅采用3 路圖像采集而對體積過大的車輛或者掛車進行圖像合成時，將會導致對圖像傳感器的光學組件的視野和分辨率提過更高要求，同時該專利沒有談到圖像的畸變矯正，當采用廣角攝像頭時，不進行矯正的畸變圖像將使觀察者觀察得到的空間關系變差；上述專利如 200380101461. 8等未提及對攝像機進行參數(shù)標定，這樣在圖像不存在所謂的尺度信息，使操作員無法進行距離估算，而這些信息的獲得都需要對圖像傳感器的參數(shù)進行標定。因此在多圖像傳感器的監(jiān)控領域，需要測算各個攝像圖像傳感器的參數(shù)，而且由于各個傳感器的存在安裝誤差和各個傳感器的制造誤差，需要在安裝后進行姿態(tài)和位置測笪弁。
發(fā)明內容本實用新型的目的是對上述現(xiàn)有技術的缺陷進行改進，提供一種圖像監(jiān)控設備的校準裝置，對各個圖像傳感器設備進行統(tǒng)一標定。本實用新型的目的是通過以下技術方案實現(xiàn)的，多圖像傳感器的監(jiān)控設備的校準裝置，包括如下單元校準區(qū)域，位于被監(jiān)控物體的四周，其中，所述被監(jiān)控物體是指需要被校準的多圖像傳感器的監(jiān)控設備進行周圍環(huán)境監(jiān)控的物體；圖像傳感器單元，用于獲取所述校準區(qū)域的圖像信息，且任意相鄰兩個所述圖像傳感器存在互相重疊的視野區(qū)域；圖像采集單元，與所述圖像傳感器單元連接，對所述圖像傳感器單元獲取的圖像進行采集和暫存；標定單元，與所述圖像采集單元連接，利用所述圖像采集單元所采集的所述圖像傳感器單元獲取的圖像，對所述圖像傳感器單元的姿態(tài)參數(shù)和位置參數(shù)以及所述圖像傳感器的光學參數(shù)和畸變參數(shù)進行標定；輸出單元，與所述標定單元連接，輸出所述圖像傳感器單元的姿態(tài)參數(shù)和位置參數(shù)以及所述圖像傳感器的光學參數(shù)和畸變參數(shù)。上述多圖像傳感器的監(jiān)控設備的校準裝置，其中，所述校準區(qū)域由參考線和/或參考點劃分成多個標定區(qū)域，每個所述標定區(qū)域內設有一標定模塊。上述多圖像傳感器的監(jiān)控設備的校準裝置，其中，所述圖像傳感器為彩色圖像傳感器、黑白圖像傳感器、紅外圖像傳感器或者是它們的組合使用。本實用新型提供的多圖像傳感器的監(jiān)控設備的校準裝置，該系統(tǒng)可以有效的求出各個傳感器的位置和姿態(tài)和參數(shù)參數(shù)和光學畸變參數(shù)。

圖1為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統(tǒng)的組成結構圖。圖2為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統(tǒng)使用的一種標定區(qū)域示意圖。圖3A為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統(tǒng)使用的另一種標定模板示意圖。圖;3B為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統(tǒng)使用的又一種標定模板示意圖。圖3C為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統(tǒng)使用的再一種標定模板示意圖。圖3D為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統(tǒng)使用的再一種標定模板示意圖。圖4A為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統(tǒng)使用的平面標定區(qū)域示意圖。圖中Al、A2、A3、A4為計算圖像傳感器的姿態(tài)和位置參數(shù)用的標定模板，P點為兩條基準?？繀⒖季€的交點。
具體實施方式
以下通過圖1 圖4，詳細介紹本實用新型的具體實施例，以便進一步了解本實用新型的內容。以校準安裝在汽車上的多圖像傳感器的監(jiān)控設備為例，說明本實用新型多圖像傳感器的監(jiān)控設備的校準裝置[0022]如圖1所示，本實用新型多圖像傳感器的監(jiān)控設備的校準裝置包括校準區(qū)域5、圖像傳感器單元1、圖像采集單元2、標定單元3和輸出單元4。所述校準區(qū)域位于汽車的四周，所述校準區(qū)域由參考線和/或參考點劃分成多個標定區(qū)域，每個所述標定區(qū)域內設有一標定模塊。圖像傳感器單元1包含若干圖像傳感器11，由該圖像傳感器單元1獲得有效的周邊環(huán)境的圖像信息，若干圖像傳感器11安裝在車體上，且環(huán)繞車體一周，一般系統(tǒng)包含大于等于一個圖像傳感器器11，較小的車體可以采用4路或者6路圖像傳感器11方案，更大的車體將需要更多數(shù)目的圖像傳感器11。各個相鄰的圖像傳感器11存在互相重疊的視野區(qū)域，并且不存在視野盲區(qū)。在圖像傳感器11安裝時，可考慮視野中包含部分車體，即拍攝車體的部分，以確保在拼接時能夠顯示車體與障礙物的位置關系。所述圖像傳感器為彩色圖像傳感器、黑白圖像傳感器、紅外圖像傳感器或者是它們的組合使用，比如黑白圖像傳感器和彩色圖像傳感器相結合、或黑白圖像傳感器與紅外圖像傳感器相結合、或者彩色圖像傳感器與紅外圖像傳感器相結合、黑白圖像傳感器和彩色圖像傳感器以及紅外圖像傳感器相結合的組合。圖像采集單元2，主要完成各個圖像傳感器11的圖像的采集和暫存。標定單元3，對各個圖像傳感器11單元的姿態(tài)參數(shù)、位置參數(shù)以及圖像傳感器的光學參數(shù)和畸變參數(shù)進行標定。對各個圖像傳感器的光學參數(shù)和畸變參數(shù)進行標定可以在各個圖像傳感器生產過程中進行，也可以在本系統(tǒng)安裝時進行；所述標定單元采用非線性模型或者線性模型的相機標定方法，通過標定模板對所述圖像傳感器單元中的各圖像傳感器的光學參數(shù)和畸變參數(shù)進行標定，并在由標定模板所構成的標定區(qū)域內對所述圖像傳感器單元中的各圖像傳感器的姿態(tài)參數(shù)和位置參數(shù)進行標定。所述非線性模型或者線性模型的相機標定方法包括基于徑向約束的非線性相機標定方法(RAC)，參考文獻為《A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses)), Roger Y. Tsai, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4,August 1987,pages 323-344。張正友的基于2D靶標的攝像機標定算法，參考文獻《Z. a^ng. A flexible new technique for camera calibration)). IEEE Transactions on Pattern Analysis and Machine Intelligence，22(11) : 1330-1334，2000.折反式相機和魚眼相機的標定方法，參考文獻為dcaramuzza，D. (2008). 《Omnidirectional Vision :from Calibration to Robot Motion Estimation》ETH Zurich Thesis no. 17635.對各個圖像傳感器的光學參數(shù)和畸變參數(shù)進行標定的方法為每個圖像傳感器在不同方位和姿態(tài)對所述的標定模板進行拍照，以得到不同姿態(tài)的標定模板照片，所述標定單元通過這些標定模板照片計算得到每一個圖像傳感器鏡頭光學參數(shù)和畸變參數(shù)，完成標定過程，如果在生產過程中已經獲得每個圖像傳感器的光學參數(shù)和畸變參數(shù)，則本步驟不是必須。[0035]所述標定模板照片為至少四張以上。用標定模板所構成的標定區(qū)域內對所述圖像傳感器單元中的各圖像傳感器的姿態(tài)參數(shù)和位置參數(shù)進行標定是在所述的標定區(qū)域中設置一基準停靠位置，將被監(jiān)控物體停靠在所述基準?？课恢蒙希缓蟊３直槐O(jiān)控物體位置的不變，對各個圖像傳感器進行圖像采集，然后計算每個圖像傳感器相對于各標定模板的姿態(tài)旋轉量和位移量(由于每個標定模板在整個標定區(qū)域的位置和姿態(tài)都是已知的，因此可以計算出)，再計算出每個圖像傳感器的在全局的位置和姿態(tài)數(shù)據(jù)，以獲得每一個圖像傳感器的姿態(tài)參數(shù)和位移參數(shù)。
所述基準?？课恢糜扇舾苫鶞释？繀⒖季€限定而形成，所述基準?？繀⒖季€的形狀和坐標是依據(jù)被監(jiān)控物體的某些外形特征預先設定的，并與監(jiān)控物體的某些外形特征相吻合，以保證被監(jiān)控設備易于準確?？?。如果在標定區(qū)域沒有設置基準線，所述標定模板所構成的標定區(qū)域內對所述圖像傳感器單元中的各圖像傳感器的姿態(tài)參數(shù)和位置參數(shù)進行標定是將被監(jiān)控設備放置在相鄰兩個圖像傳感器的重疊區(qū)域中，使相鄰兩個圖像傳感器能同時拍攝到該重疊區(qū)域內的標定模板的圖樣，通過各個標定模板預先設定的姿態(tài)和位置，對相鄰兩個圖像傳感器進行兩兩定位，最后依次計算出各個圖像傳感器的姿態(tài)參數(shù)和位移參數(shù)。所述各個標定模板預先設定的姿態(tài)包括水平放置姿態(tài)、垂直放置姿態(tài)、傾斜放置姿態(tài)中的一種或任意兩種以上的組合。水平放置姿態(tài)是指著各個標定模板均為位于同一個水平面上；垂直方式姿態(tài)指各個標定模板位于均垂直于某個平面；傾斜放置姿態(tài)指各個模板與某個平面成一定角度。所述標定區(qū)域為由若干個標定模板放置的同一區(qū)域。所述標定模板為放置在標定區(qū)域內的標定模板或單獨的標定模板。所述標定模板由具有特殊畫面結構的平面圖樣或者三維圖樣或線狀圖樣構成。所述標定模板的結構和尺寸是預先設定好的。所述標定模板為具有包含若干個帶有直線或曲線特征或者角點特征的方形模板， 如棋盤格或網格或若干分立的方形圖樣組成；或者為若干多邊形組成的模板，如三角形等多邊型；或者為圓型模板，即模板中存在若干圓型圖樣的標定模板；或者由直線構成模板。在系統(tǒng)初次安裝時或者專門進行校準時，需要對圖像傳感器11的姿態(tài)和位置參數(shù)進行標定，本實例示例了一個平面的“校準區(qū)域”，車輛?？俊盎鶞释？课恢谩?，通過采用圖 3A 圖3D中的標定模板(也即，圖4A中的標定模板A1、A2、A3、A4)對各個圖像傳感器11 的姿態(tài)和位置參數(shù)標定，通過此時的各個圖像傳感器11的姿態(tài)和位置參數(shù)和標定模板Al、 A2、A3、A4數(shù)據(jù)，即可獲得相對于整個校準區(qū)域各個圖像傳感器的位置和姿態(tài)信息，即得到圖像傳感器11的原始位置信息。圖4A示意了一種平面校準區(qū)域，其特征為各個標定模板Al、A2、A3、A4放置在一個水平區(qū)域內，標定時圖像傳感器11對處于水平面的標定模板Al、A2、A3、A4進行圖像采集。事實上根據(jù)系統(tǒng)的需要，標定模板Al、A2、A3、A4可以采取豎直、水平或者以特定的姿態(tài)放置的組合。圖2為本實用新型所使用的一個平面校準區(qū)域的使用示意圖，圖2中A、B、C、D為標定模板，而標注為lla、llb、llc、lld的柱狀體為圖像傳感器，圖像傳感器Ila拍攝標定模板A的圖像，圖2中圖像傳感器lib拍攝標定模板B的圖像，圖2中圖像傳感器Ilc拍攝標定模板C的圖像，圖2中圖像傳感器Ild拍攝標定模板D的圖像。在整個校準區(qū)域中標定模板A、B、C、D的位置和大小和姿態(tài)都是事先設定好的。圖2僅僅是個示意圖，在實際系統(tǒng)中可能存在多個攝像機以及多個標定模板。標定單元2包括但不局限于采用“張正友的基于2D靶標的攝像機標定算法”，或者“折反式相機和魚眼相機的標定方法”對各個圖像傳感器的圖像傳感器的鏡頭光學參數(shù)和圖像傳感器畸變參數(shù) ，以及以測算每個圖像傳感器的姿態(tài)參數(shù)和位置參數(shù)，其中姿態(tài)包括但不限于每個圖像模板的傾角，以及旋轉的角度等，位置參數(shù)包括但不限于距離某一參考點的三維位移。輸出單元，將各個圖像傳感器單元的光學參數(shù)和畸變參數(shù)輸出，輸出的參數(shù)可以用于各個攝像頭的圖像拼接和融合，或者攝像頭圖像的畸變校正。一個典型的利用該輸出參數(shù)的方法為，在全景汽車監(jiān)控系統(tǒng)中，將各個圖像傳感器的圖像利用這些輸出參數(shù)進行圖像校準融合以獲得全景圖像。另外一個使用例子是，在多攝像頭監(jiān)控領域，利用這些輸出參數(shù)進行圖像校準融合以獲得全景圖像后，進行存儲，以節(jié)約存儲空間。本實用新型提供的多圖像傳感器的圖像監(jiān)控設備的校準方法，能夠使多個傳感器在校準環(huán)境下進行統(tǒng)一校準，能夠輸出在該標準校準環(huán)境下的各個圖像傳感器的外部參數(shù)和光學參數(shù)和畸變參數(shù)，即完成標定過程。以上顯示和描述了本實用新型的基本原理、主要特征和本實用新型的優(yōu)點。本行業(yè)的技術人員應該了解，本實用新型不受上述實施例的限制，上述實施例和說明書中描述的只是說明本實用新型的原理，在不脫離本實用新型精神和范圍的前提下本實用新型還會有各種變化和改進，這些變化和改進都落入要求保護的本實用新型范圍內。
權利要求1.多圖像傳感器的監(jiān)控設備的校準裝置，其特征在于，包括如下單元校準區(qū)域，位于被校準的監(jiān)控物體的四周，其中，所述被監(jiān)控物體是指需要被校準的多圖像傳感器監(jiān)控設備進行周圍環(huán)境監(jiān)控的物體；圖像傳感器單元，用于獲取所述校準區(qū)域的圖像信息；圖像采集單元，與所述圖像傳感器單元連接，對所述圖像傳感器單元獲取的圖像進行采集和暫存；標定單元，與所述圖像采集單元連接，利用所述圖像采集單元所采集的所述圖像傳感器單元獲取的圖像，對所述圖像傳感器單元的姿態(tài)參數(shù)和位置參數(shù)以及所述圖像傳感器的光學參數(shù)和畸變參數(shù)進行標定；輸出單元，與所述標定單元連接，輸出所述圖像傳感器單元的姿態(tài)參數(shù)和位置參數(shù)以及所述圖像傳感器的光學參數(shù)和畸變參數(shù)。
2.如權利要求1所述的多圖像傳感器的監(jiān)控設備的校準裝置，其特征在于，所述校準區(qū)域由參考線和/或參考點劃分成多個標定區(qū)域，每個所述標定區(qū)域內設有一標定模塊。
專利摘要本實用新型公開了多圖像傳感器的監(jiān)控設備的校準裝置，該校準裝置包括校準區(qū)域，位于被校準的監(jiān)控物體的四周；圖像傳感器單元，安裝于所述被監(jiān)控物體上，用于獲取所述校準區(qū)域的圖像信息，且任意相鄰兩個所述圖像傳感器存在互相重疊的視野區(qū)域；圖像采集單元，與所述圖像傳感器單元連接，對所述圖像傳感器單元獲取的圖像進行采集和暫存；標定單元，與所述圖像采集單元連接，利用所述圖像采集單元所采集的所述圖像傳感器單元獲取的圖像，對所述圖像傳感器單元的姿態(tài)參數(shù)和位置參數(shù)以及所述圖像傳感器的光學參數(shù)和畸變參數(shù)進行標定；輸出單元，與所述標定單元連接，輸出所述圖像傳感器單元的姿態(tài)參數(shù)和位置參數(shù)以及所述圖像傳感器的光學參數(shù)和畸變參數(shù)。
文檔編號H04N7/18GK202111802SQ20112004606
公開日2012年1月11日 申請日期2010年2月12日 優(yōu)先權日2010年2月12日
發(fā)明者王炳立 申請人:王炳立