專利名稱：嵌入式標定立體視覺系統(tǒng)的制作方法
技術領域：
本發(fā)明為一種立體視覺系統(tǒng)，屬于機器人視覺領域。
背景技術：
立體視覺系統(tǒng)的主要任務是通過獲取場景的二維圖像信息來計算場景的三維空間幾何信息。其中，攝像機標定是一個非常重要的步驟。傳統(tǒng)的攝像機標定技術是在攝像機前面一定距離的位置上放置一個標定物，該標定物上具有若干個已知精確三維空間位置的特征點。獲取標定物圖像，提取特征點在圖像中的位置。根據(jù)特征點的三維空間位置和二維圖像位置計算攝像機的內部參數(shù)和外部參數(shù)。Faugeras等人(1986)和Tsai (1986)報告的攝像機標定方法都屬于這類方法。這些方法精度高，但是標定過程中需要人去放置標定物，標定結束后再移走標定物。這種方法增加了人的工作強度，為此，Thacker等人(1991) 利用工業(yè)機器人實現(xiàn)攝像機再標定技術；Zhang(1997)將標定物固定于車輛上實現(xiàn)在線立體攝像機標定，并應用于星球探測機器人上。這些標定方法的共同問題如下(1)標定攝像機時需要放置標定物，標定結束后再將標定物移走，增加了標定的工作量；(2)標定過程需要停止工作，無法實現(xiàn)在線自動標定；(3)立體攝像機的任何參數(shù)變化，比如焦距或基線發(fā)生變化，需要再進行上述的標定過程。為了解決上述問題，Yasuhiro Katayama(2005)報告了用透明標定物進行立體攝像機標定的方法。利用濾光材料在兩塊平行的、透明的標定板上做有規(guī)律排列的標記，通過不同波段的光照，采集標定物或者場景的圖像。該方法無需人為的放置或移走標定物，也可以實現(xiàn)自動和在線的標定，但該方法僅僅將標定物變成透明物，仍然將其放置在攝像機前一定距離位置上，不僅占用場景空間，而且標定精度、標定距離和系統(tǒng)尺寸之間的矛盾非常突出，系統(tǒng)結構也不緊湊。

發(fā)明內容
本發(fā)明的目的是提供一種立體視覺系統(tǒng)，通過標定物對立體視覺系統(tǒng)進行強標定，但無需擺放和去除標定物等操作過程，也不占用場景空間，實現(xiàn)立體視覺系統(tǒng)的在線和自動高精度魯棒標定。本發(fā)明的另一個目的是提供一種立體視覺系統(tǒng)，該系統(tǒng)獲取的每一場景立體圖像對中都嵌入了標定物圖像，提取圖像中標定物上的標定點，就可以估計系統(tǒng)參數(shù)，進而計算場景深度信息，是一種在變焦過程中仍能完成場景深度恢復的立體視覺系統(tǒng)。本發(fā)明的基本思想是采用單向透鏡(half-mirror)將來自標定物的光線反射到立體攝像機，而場景光線則透過單向透鏡進入到立體攝像機。也就是說，將標定物放在攝像機同一側，而不是放在立體攝像機前面。通過單向透鏡，立體攝像機既能看到場景，也能看到標定物。這樣，立體攝像機獲得圖像包含了場景圖像和標定物圖像，形成了嵌入式標定立體圖像對。從嵌入式標定立體圖像對中提取標定點，就可以進行立體視覺系統(tǒng)的標定，基于系統(tǒng)的標定參數(shù)就可以計算場景深度信息。本發(fā)明在焦距、基線等各個系統(tǒng)參數(shù)動態(tài)變化下，仍然可以恢復變化過程中的三維場景深度信息。為了延長標定物到立體攝像機之間的距離，同時又無需增加系統(tǒng)的體積，本發(fā)明采用多個反射鏡來延長光路，實現(xiàn)一定距離以外目標深度的精確恢復。標定物的尺寸是根據(jù)應用確定的。為了使整個系統(tǒng)尺寸較小，同時也為了攜帶方便，一般將標定物做得較小，但會影響系統(tǒng)標定精度；即使標定物做得較大，當標定物離攝像機較遠時，或把標定物放在大視場角攝像機前面時，標定物圖像也顯得較小，只占整個場景圖像的很小部分，會影響系統(tǒng)的標定精度。解決這一問題的傳統(tǒng)方法是把標定物放在場景的多個位置上，獲取各個位置上標定物的圖像，然后使用所有不同位置上的標定物圖像對攝像機進行標定。本發(fā)明的方法是使用多面鏡，將一個標定物反射成多個鏡像，等同于把標定物放置在場景的多個位置上。本發(fā)明提供了一種嵌入式標定立體視覺系統(tǒng)，包括立體攝像機、單向透鏡、多面鏡、反射鏡組、標定物、光源和實時計算裝置，開啟光源，標定物被照亮，其光線經過反射鏡組到達多面鏡，形成多個標定物的鏡像并射向單向透鏡，單向透鏡將標定物的多個鏡像反射，進入到攝像機；場景光線也透過單向透鏡進入到攝像機中，從而使攝像機同時獲取標定物和場景的圖像；實時計算裝置讀取攝像機獲取的嵌入式標定立體圖像對，并實時計算場景稠密深度圖。本發(fā)明的特征在于1.標定物嵌入在立體視覺系統(tǒng)內，標定物和立體視覺系統(tǒng)不是兩個分離的部件， 而是一個完整一體的系統(tǒng)；2.構成立體攝像機的兩個攝像機可以是變焦鏡頭，在線自動恢復不同焦距下的場景深度信息；3.使用多面鏡將一個標定物反射成多個標定物，起到了加大標定物尺寸的作用；4.將多個反射鏡放置在標定物和攝像機之間，起到了延長光路的作用，保證系統(tǒng)的小巧緊湊。5.用嵌入式芯片完成標定和深度恢復的實時計算；6.使用單向透鏡將場景和標定物同時匯聚到攝像機，形成嵌入式標定圖像。本發(fā)明具有以下優(yōu)點(1)無需放置和移除標定物等煩瑣的操作；(2)標定物集成到系統(tǒng)內部，形成完全獨立的系統(tǒng)，任何人無需培訓就可以使用這樣的系統(tǒng)；(3)系統(tǒng)標定完全由系統(tǒng)自動在線完成，可以用于正在運行的各種車輛智能導航、 避障、場景感知等；(4)能夠實現(xiàn)變焦立體視覺恢復，可以用于各種智能機器人多功能立體視覺系統(tǒng) (變焦、變匯聚角度、變基線等)；(5)使用多面鏡形成多個標定物鏡像，位于圖像的大部分區(qū)域，大大提高系統(tǒng)的標定精度；(6)使用嵌入式芯片實時標定系統(tǒng)并計算稠密深度圖，不僅提高系統(tǒng)的計算性能，而且可以使得系統(tǒng)更加小巧、緊湊。


圖1為本發(fā)明的組成圖；圖2為多面鏡成像的光路圖，圖中以三面鏡子為例；圖3左圖為常用的棋盤格標定板，右圖為本發(fā)明所使用的標定物示意圖，每個平面都是棋盤格；圖4為實時計算裝置計算場景稠密深度圖的流程圖。
具體實施例方式
下面結合附圖，具體說明本發(fā)明的優(yōu)選實施方式。本實施例由立體攝像機1、單向透鏡2、多面鏡3、反射鏡組4、標定物5、光源6和實時計算裝置7組成，如圖1所示。開啟光源6，標定物5被照亮，其光線經過反射鏡組4到達多面鏡3，形成多個標定物5的鏡像并射向單向透鏡2，單向透鏡2將標定物5的多個鏡像反射，進入到立體攝像機1 ；場景光線也透過單向透鏡2進入到立體攝像機1中，從而使立體攝像機1同時獲取了標定物和場景的圖像。立體攝像機1是指2個或2個以上鏡頭構成的攝像機或者是2個或2個以上攝像機構成的系統(tǒng)。本實施例中，立體攝像機1由2個普通攝像機構成，配備有電動可變焦距和光圈鏡頭，用于不同亮度場景和不同距離目標的清晰成像。單向透鏡2是一種單向透視玻璃，單向透視玻璃是指玻璃的一面允許光線透過， 而玻璃的另一面類似鏡子，只反射光線。這樣，單向透鏡2將來自標定物5和場景的光線同時匯集到攝像機1中，形成嵌入式標定圖像。多面鏡3是由多個平面鏡按照一定交角拼接起來。圖2所示的是3個鏡構成的多面鏡，產生3個標定物鏡像。顯然，三個鏡像比一個鏡像占據(jù)更大的場景圖像范圍。反射鏡組4包含多個反射鏡，放置在標定物5和攝像機1之間，起到了延長光路的作用，保證了系統(tǒng)體積的小巧緊湊。標定物5采用最簡單的平面棋盤格進行標定，為了自動在線標定系統(tǒng)，本發(fā)明采用三塊互不重疊并具有不同姿態(tài)角的棋盤格作為標定物，如圖3所示。實時計算裝置7讀取立體攝像機1獲取的嵌入式標定立體圖像對，并實時計算場景稠密深度圖。圖4所示的是本實施例中采用的實時計算場景稠密深度的流程圖，包括四個模塊標定特征點提取、攝像機參數(shù)估計、嵌入式標定圖像預處理、稠密深度圖計算。標定特征點提取本發(fā)明標定物5的標定特征點是棋盤黑白相間角點。訓練只有標定物5的圖形，得到標定物的初始位置和部分標定特征點初始坐標；然后利用初始值計算單應矩陣，并通過射影變換映射出所有標定特征點；再以每個特征點為中心的小窗口里檢測出新角點，并更新單應矩陣；如此迭代，最后得到標定特征點的準確像素坐標。攝像機參數(shù)估計輸入標定特征點的準確像素坐標，根據(jù)成像模型估計攝像機1 參數(shù)
權利要求
1.一種嵌入式標定立體視覺系統(tǒng)，其特征在于，包括立體攝像機(1)、單向透鏡(2)、多面鏡(3)、反射鏡組(4)、標定物(5)、光源(6)和實時計算裝置(7)，開啟光源(6)，標定物 (5)被照亮，其光線經過反射鏡組(4)到達多面鏡(3)，形成多個標定物的鏡像并射向單向透鏡(2)，單向透鏡(2)將標定物(5)的多個鏡像反射，進入到攝像機(1)；場景光線也透過單向透鏡⑵進入到攝像機⑴中，從而使攝像機⑴同時獲取標定物和場景的圖像；實時計算裝置(7)讀取攝像機獲取的嵌入式標定立體圖像對，并實時計算場景稠密深度圖。
2.如權利要求1所述的一種嵌入式標定立體視覺系統(tǒng)，其特征在于所述立體攝像機(1)是指2個或2個以上鏡頭構成的攝像機或者是2個或2個以上攝像機構成的系統(tǒng)，配備有電動可變焦距和光圈鏡頭。
3.如權利要求1或2所述的一種嵌入式標定立體視覺系統(tǒng)，其特征在于，所述單向透鏡(2)是一種單向透視玻璃，單向透視玻璃是指玻璃的一面允許光線透過，而玻璃的另一面類似鏡子，只反射光線。
4.如權利要求1或2所述的一種嵌入式標定立體視覺系統(tǒng)，其特征在于，所述多面鏡(3)由多個平面鏡按照一定交角拼接起來。
5.如權利要求1或2所述的一種嵌入式標定立體視覺系統(tǒng)，其特征在于，所述反射鏡組(4)包含多個反射鏡。
6.如權利要求1或2所述的一種嵌入式標定立體視覺系統(tǒng)，其特征在于，所述標定物(5)采用三塊互不重疊并具有不同姿態(tài)角的棋盤格。
7.如權利要求1或2所述的一種嵌入式標定立體視覺系統(tǒng)，其特征在于，所述實時計算裝置(7)包括四個模塊標定特征點提取、攝像機參數(shù)估計、嵌入式標定圖像預處理和稠密深度圖計算。
全文摘要
本發(fā)明涉及一種嵌入式標定立體視覺系統(tǒng)，包括立體攝像機(1)、單向透鏡(2)、多面鏡(3)、反射鏡組(4)、標定物(5)、光源(6)和實時計算裝置(7)，開啟光源(6)，標定物(5)被照亮，其光線經過反射鏡組(4)到達多面鏡(3)，形成多個標定物的鏡像并射向單向透鏡(2)，單向透鏡(2)將標定物(5)的多個鏡像反射，進入到攝像機(1)；場景光線也透過單向透鏡(2)進入到攝像機(1)中，從而使攝像機(1)同時獲取標定物和場景的圖像；實時計算裝置(7)讀取攝像機獲取的嵌入式標定立體圖像對，并實時計算場景稠密深度圖。本發(fā)明在攝像機焦距、基線和會聚角等參數(shù)動態(tài)變化下，仍然可以恢復場景深度信息。
文檔編號G03B35/08GK102368137SQ201110325949
公開日2012年3月7日 申請日期2011年10月24日 優(yōu)先權日2011年10月24日
發(fā)明者王煜城, 賈云得, 欽夏孟 申請人:北京理工大學