專利名稱：多目相機的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及機器人周邊設(shè)備領(lǐng)域，特別涉及一種多目相機。
背景技術(shù)：
多目相機是指具有多個成像單元的相機。目前，很多多目相機都是采用多頭獨立的方式， 即為了達到實時的測量，采用多個成像單元獨立工作，分別同時拍攝，然后分別通過數(shù)據(jù)接 口傳送到PC,通過PC完成各個圖像的拼接、合成等處理。如圖1所示，該多目相機系統(tǒng)有 4個互相獨立的成像單元，分別同時拍攝。然后將拍攝獲得的圖像數(shù)據(jù)分別通過4個數(shù)據(jù)接 口 ，這里是Cameralink接口 ，傳送到PC去進行處理。在PC中，相應地，要安裝4個Cameralink 采集卡，來接收多目相機系統(tǒng)傳送來的圖像數(shù)據(jù)。
在對現(xiàn)有技術(shù)進行分析后，發(fā)明人發(fā)現(xiàn)這種辦法最大的缺點是，由于各個成像單元同 步性不好引起立體測量精確度不夠，同時由于每個成像單元都需要使用一個與之相配的數(shù)據(jù) 接口，在PC中還要相應地安裝同樣數(shù)目的Cameralink采集卡，給整個多目相機系統(tǒng)增加了 很多成本。

實用新型內(nèi)容
為了提高測量精度，降低系統(tǒng)成本，本實用新型實施例提供了一種多目相機。所述技術(shù)
方案如下
一種多目相機，包括主成像單元、至少一個從成像單元、控制單元，
其中控制單元分別與主成像單元和從成像單元互相連接，負責設(shè)置主從成像單元的參數(shù)， 把主從成像單元的圖像拼接成一幅大主成像單元發(fā)出的同步信號經(jīng)過控制單元相應的延遲后發(fā)送到從成像單元。
具體地，所述控制單元包括
主成像單元連接器、主成像單元數(shù)據(jù)解碼芯片、LVDS編碼芯片，
各從成像單元連接器、各從成像單元數(shù)據(jù)解碼芯片、各從成像單元LVDS編碼芯片，
以及可編程邏輯陣列；其中，
所述主成像單元連接器與所述主成像單元相連，并分別依次通過所述主成像單元數(shù)據(jù)解 碼芯片、LVDS編碼芯片與所述可編程邏輯陣列相連，行、場、曝光控制信號通過所述主成 像單元連接器直接發(fā)送到所述可編程邏輯陣列；
所述從成像單元連接器與所述從成像單元連接器相連，并分別依次通過所述從成像單元 數(shù)據(jù)解碼芯片、所述從成像單元LVDS編碼芯片與所述可編程邏輯陣列相連，所述可編程邏 輯陣列把行、場、曝光控制信號直接發(fā)送到所述從成像單元連接器；
所述主成像單元連接器以及所述從成像單元連接器還分別通過參數(shù)設(shè)置信號與所述可編 程邏輯陣列直接互連。 ；
進一步講，所述多目相機還包括與所述可編程邏輯陣列相連的PC數(shù)據(jù)接口 。
所述.PC數(shù)據(jù)接口是網(wǎng)絡(luò)信號轉(zhuǎn)換器以及與之相連的網(wǎng)口。
所述網(wǎng)口是千兆網(wǎng)口。
通過在本實用新型實施例多目相機系統(tǒng)中設(shè)置控制單元，可以實現(xiàn)各個成像單元的控制 和同步，提高測量精度，降低系統(tǒng)成本。


圖1是現(xiàn)有技術(shù)的多目相機系統(tǒng)的示意圖； 圖2是本實用新型實施例多目相機系統(tǒng)的示意圖； 圖3是本實用新型實施例主相機的系統(tǒng)示意圖； 圖4是本實用新型實施例從相機的系統(tǒng)示意圖； 圖5是本實用新型實施例控制單元的框圖6是本實用新型實施例主相機圖像傳感器輸出的同步信號的時序圖； 圖7是本實用新型實施例從相機圖像傳感器接收外同步信號的時序圖； 圖8是本實用新型實施例控制單元的FPGA采用4倍速傳輸?shù)臅r序。
具體實施方式
為使本實用新型的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本實用新型實施 方式作進一步地詳細描述。 '
圖2示出了本實用新型實施例多目相機的系統(tǒng)結(jié)構(gòu)，包括主成像單元1、至少一個從 成像單元2、控制單元3，其中控制單元3分別與主成像單元1和從成像單元2相連。
在本實施例中，從成像單元2有三個。這里的主成像單元l以及三個從成像單元2可以 是數(shù)字相機，它們的內(nèi)部結(jié)構(gòu)都是相同的。唯一不同的是它們的"地位"不同，它們其中有 一個是"主"，其余的是"從"。所謂的"主-從"就是從相機需要跟主相機的步調(diào)保持一致。 主相機發(fā)出同步的信號給其它的三個從相機，包括行同步，幀同步和曝光同步三個信號。主 相機發(fā)出的這三個信號首先回饋給控制單元，控制單元經(jīng)過一定的延遲，相移等操作，再發(fā) 給從相機。經(jīng)過這種的同步方式后，可以保證從相機的步調(diào)與主相機一致，進而保證了4個 相機的同步。還有就是它們擁有不同的編號，因為當需要給各個相機設(shè)置不同的參數(shù)的時候， 需要按照編號來區(qū)分它們。
各個相機是從不同的角度對同一個物體進行拍攝的，在同步的情況下，可以保證PC得 到的圖像是在同一時刻對同一個物體在不同的角度拍攝的。多目相機很重要的一個方面是要 實現(xiàn)立體成像。所謂立體成像，就是從不同的角度同時拍攝同一個物體，這個物體可能是靜 止的，也可能是運動的；如果是靜止的物體，那么各個拍攝點的同步要就就比較低，相反， 如果是運動的物體的話，對同步的要求就很高了。
主從相機在硬件構(gòu)成上是一樣的，如圖3和圖4所示，它們只有連到整個系統(tǒng)當中后， 才會有主從之分。這么做的好處是便于使用，四個相機可以隨意互換，而不影響使用。下面 詳細介紹主從相機的硬件結(jié)構(gòu)。
圖像傳感器4:是成像系統(tǒng)的重要組成部分。圖像傳感器4與連接器8之間通過參數(shù)控 制信號直接相連。在本實施例中，圖像傳感器4的所有參數(shù)控制都是通過三態(tài)形式的I2C信 號來設(shè)置的。在給圖像傳感器提供了電源以^1時鐘信號后，圖像傳感器就會輸出圖像數(shù)據(jù)以 及相關(guān)的同步控制信號。
數(shù)據(jù)編碼芯片7:它用來把圖像傳感器輸出的數(shù)據(jù)和行、場有效信號編碼成差分形式的 編碼信號。本實施例采用Cameralink編碼芯片，它輸出5路信號X0±~X3± ,XCLK士 ，這樣
第一可以加強抗干擾的性能，第二還可以減少傳輸過程的信號的數(shù)量。
LVDS解碼芯片6:這個芯片是用來把低電壓差分(LVDS)形式的信號轉(zhuǎn)換成低電壓TTL (LVTTL)形式的單端信號的。為了數(shù)據(jù)傳輸過程中具有抗干擾性能，高頻的時鐘信號采用
了 LVDS的差分形式，而圖像傳感器實際使用的時候一般都需要單端的LVTTL形式，本實施
例里使用了 DS90LV048這個芯片來完成這個工作。
邏輯控制芯片5:這M—片復雜可編程邏輯器件(CPLD， Complex Programmable Logic
Device)芯片，用來對數(shù)據(jù)信號、行場信號、行瘍反饋信號做邏輯處理，本實施例使用EPM3032。 連接器8:用來連接主、從成像單元與控制單元。本實施例使用MDR-26，這是一個26
針的插座，相機的所有的輸入、輸出信號都是通過這個插座的。
雖然主從相機的硬件結(jié)構(gòu)完全一致，可是在接到系統(tǒng)中之后，它們的部分信號流向是不 一樣的。P行控制信號、場控制信號和曝光控制信號為例，在主相機中這三個信號是從圖像 傳感器輸出的，而在從相機中，這三個信號是輸入圖像傳感器的。這也是此設(shè)計的巧妙之處， 充分復用了有限的連線資源。
圖5示出了本實用新型實施例控制單元的框圖?？刂茊卧?br> 主相機連接器8、主相機解碼器9、信號轉(zhuǎn)換器IO， 各從相機連接器8、各從相機解碼器9、各從相機信號轉(zhuǎn)換器IO， 可編程邏輯陣列l(wèi)h其中，
主相機連接器8與所述主相機相連，并分別依次通過主相機解碼器9、信號轉(zhuǎn)換器10與
所述可編程邏輯陣列11相連，行、場、曝光k制信號通過所述主成像單元連接器發(fā)送到可編
程邏輯陣列l(wèi)l;
從相機連接器8與所述從相機相連，并分別依次通過從相機解碼器9、從相機信號轉(zhuǎn)換 器10與可編程邏輯陣列11相連，可編程邏輯陣列l(wèi)l把行、場、曝光控制信號發(fā)送到從成像 單元連接器8;
主成像單元連接器8以及從成像單元連接器8還分別通過參數(shù)設(shè)置信號與可編程邏輯陣 列11互連。
進一步講，多目相機還包括與所述可編程邏輯陣列11相連的PC數(shù)據(jù)接口 12。 下面詳細介紹控制單元的硬件結(jié)構(gòu)。
連接器8:用來連接主從相機。其中，連接器-A連接的是主相機；連接器-B,C,D連接的 是從相機。該連接器8上面的信號與主從相機中描述的一樣。本實施例使用的是26孔連接器 MDR-26。.
數(shù)據(jù)解碼芯片8:它的作用與相機中的數(shù)據(jù)編碼芯片7的作用是相反的，它把數(shù)據(jù)編碼
芯片7編碼后的差分信號解碼成單端的圖像數(shù)據(jù)。本實施例使用DS90CR288。
LVDS編碼芯片10:它把單端形式的LVTTL轉(zhuǎn)換成LVDS的差分形式。本實施例使用的 是DS90LV047。
可編程邏輯陣列(FPGA， Field—Programmable Gate Array) 11: FPGA是整個控制單元 的核心，所有的參數(shù)控制、同步以及圖像的合并等等都是通過它來完成的。
PC數(shù)據(jù)接口 12:它是多目相機系統(tǒng)與PC之間的數(shù)據(jù)接口。 PC數(shù)據(jù)接口優(yōu)選的實施方 式是網(wǎng)絡(luò)信號轉(zhuǎn)換器以及與之相連的網(wǎng)口。網(wǎng)絡(luò)信號轉(zhuǎn)換器的作用是把圖像數(shù)據(jù)轉(zhuǎn)換成網(wǎng)絡(luò) 信號傳送出去。本實施例中，網(wǎng)絡(luò)信號轉(zhuǎn)換器采用iPortPT1000-VB，網(wǎng)口是千兆網(wǎng)口。 iPortPT1000-VB傳輸圖像數(shù)據(jù)的時候采用的是UDP協(xié)議，該協(xié)議可以有效的利用帶寬，增加有效 載荷，使帶寬利用率達到最大。有效圖像的傳輸速率可以達到960Mbps。因為主從相機獲得 的圖像數(shù)據(jù)量非常大，這樣做的好處是能夠提高傳輸速度，更好地適應多目相機的應用。
在本實施例中，控制單元3的主要作用是負責各個相機的控制和同步，同時還把來自主 相機、從相機等4個相機的數(shù)據(jù)合并成一幅圖像，通過PC數(shù)據(jù)接口 12傳輸給PC。
控制單元3負責設(shè)置4個相機的各種參數(shù)，包括曝光時間，增益等等?？刂茊卧?在接 收到PC送來的控制命令之后，同時或者分時地設(shè)置各個相機。由于各個相機是從不同的角 度來對同一個物體成像的，實際所處的環(huán)境可能會有很大的差別，所以各個相機的參數(shù)設(shè)置 會有所不同。所以，控制單元會根據(jù)實際情況，決定是同時設(shè)置各個相機還是分時的設(shè)置。 所謂的同時設(shè)置，就是各個相機在同一時刻接收主控單元的參數(shù)設(shè)置動作；分時設(shè)置，就是 有先后次序的設(shè)置各個相機，參數(shù)可能會有所不同。
為了做到各個相機的同步，控制單元3在以下三方面起到了非常重要的作用-
1. B分鐘信號的同步各個相機使用的時鐘信號都是由控制單元發(fā)出的，也就是說各個相 機使用的時鐘信號是同步的，有固定的相位關(guān)系的。這樣做，可以在"微觀"上保證各個相 機的同步。
2. 觸發(fā)信號的同步相機工作在觸發(fā)方式的時候，外部輸入的用戶觸發(fā)信號經(jīng)過控制單 元3去抖動處理后，同時發(fā)給各個相機，保證各個相機從同一時刻開始曝光、成像。這可以 視作"宏觀"上的同步。
3. 相機分為主從模式。主相機中的圖像傳感器4會輸出三個同步信號幀控制信號
(FCTRL， Frame Control)、行控制信號(LCTRL， Line Control)和曝光控制信號(ECTRL， Explosure Control)三個信號，這三個信號直接發(fā)送到控制單元3，通過控制單元3依次用來 同步從相機圖像傳感器4的幀、行和曝光，如圖6所示。圖7所示的是本實用新型實施例從 相機圖像傳感器4接收外同步信號的時序圖。從圖7可知，從相機的圖像傳感器4接收到控 制單元3發(fā)過來的同步信號之后，產(chǎn)生出自己的行場有效信號的時序。從曝光控制信號的上 升沿到幀控制信號的上升沿之間是從相機的圖像傳感器4的曝光時間。曝光控制信號是由控 制單元3產(chǎn)生的，而從相機接受到的行控制信號，幀控制信號也是經(jīng)過控制單元3處理后的 信號。
控制單元3在接收到各個相機的圖像數(shù)據(jù)之后，會把它們拼接成一幅大圖，通過千兆網(wǎng) 傳輸給PC。拼接的方式可以多種多樣，只彎保證保證控制單元的拼接方式和PC的解拼方式
一致即可。常用的拼接方法是，從左至右把四個圖排開，這個最終的大圖在水平方向上的分
辨率是單獨一個圖的4倍。PC在接收到拼接好的圖像之后，把它分解成4個獨立的圖像用于
處理。
本實施例中，F(xiàn)PGA11在合并圖像的時候采用了提高點頻和同時傳輸兩個像素的辦法來 實現(xiàn)4倍速的傳輸。假設(shè)圖像傳感器4輸出數(shù)據(jù)的點頻是X，那么FPGA11在輸出合并圖像 的時鐘頻率就是2X。圖像傳感器4在輸出數(shù)據(jù)的時候，是一個像素、 一個像素的按照順序輸 出的，也就是一個時鐘周期只輸出一個像素；FPGA11在合并之后是同時傳輸兩個像素。通 過這兩個辦法，就可以實現(xiàn)把4組圖像合并成一個圖像，時間與輸入圖像的時間一樣。圖8 所示的是FPGA11采用4倍速傳輸?shù)臅r序。
本實用新型實施例的成像單元也可以是工業(yè)用攝像頭。PC數(shù)據(jù)接口也可以是Camemlink 接口，這時PC端需要配套使用Cameralink采集卡。
通過在本實用新型實施例多目相機系統(tǒng)中設(shè)置控制單元，可以實現(xiàn)各個成像單元的控制 和同步，提高測量精度，降低系統(tǒng)成本。同時還能把來自主成像單元、從成像單元的數(shù)據(jù)合 并成一幅圖像。
以上所述僅為本實用新型的較佳實施例，并不用以限制本實用新型，凡在本實用新型的 精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本實用新型的保護范圍 之內(nèi)。
權(quán)利要求1.一種多目相機，其特征在于，包括主成像單元、至少一個從成像單元、控制單元，其中控制單元分別與主成像單元和從成像單元互相連接，負責設(shè)置主從成像單元的參數(shù)，把主從成像單元的圖像拼接成一幅大圖；主成像單元發(fā)出的同步信號經(jīng)過控制單元相應的延遲后發(fā)送到從成像單元。
2. 根據(jù)權(quán)利要求1所述的多目相機，其特征在于，所述控制單元包括 主成像單元連接器、主成像單元數(shù)據(jù)解碼芯片、LVDS編碼芯片， 各從成像單元連接器、各從成像單元數(shù)據(jù)解碼芯片、各從成像單元LVDS編碼芯片，以及可編程邏輯陣列；其中，所述主成像單元連接器與所述主成像單元相連，并分別依次通過所述主成像單元數(shù)據(jù)解 碼芯片、LVDS編碼芯片與所述可編程邏輯陣列相連，行、場、曝光控制信號通過所述主成 像單元連接器直接發(fā)送到所述可編程邏輯陣列；所述從成像單元連接器與所述從成像單元連接器相連，并分別依次通過所述從成像單元 數(shù)據(jù)解碼芯片、所述從成像單元LVDS編碼,芯片與所述可編程邏輯陣列相連，所述可編程邏 輯陣列把行、場、曝光控制信號直接發(fā)送到所述從成像單元連接器； '所述主成像單元連接器以及所述從成像單元連接器還分別通過參數(shù)設(shè)置信號與所述可編 程邏輯陣列直接互連。
3. 根據(jù)權(quán)利要求1或2所述的多目相機，其特征在于，所述多目相機還包括與所述可編 程邏輯陣列相連的PC數(shù)據(jù)接口 。
4. 根據(jù)權(quán)利要求3所述的多目相機，其特征在于，所述PC數(shù)據(jù)接口是網(wǎng)絡(luò)信號轉(zhuǎn)換器以及與之相連的網(wǎng)口。
5. 根據(jù)權(quán)利要求4所述的多目相機，其特征在于，所述網(wǎng)口是千兆網(wǎng)口。
專利摘要本實用新型公開了一種多目相機，屬于機器人周邊設(shè)備領(lǐng)域。該多目相機包括主成像單元、至少一個從成像單元、控制單元，其中控制單元分別與主成像單元和從成像單元互相連接，負責設(shè)置主從成像單元的參數(shù)，把主從成像單元的圖像拼接成一幅大圖；主成像單元發(fā)出的同步信號經(jīng)過控制單元相應的延遲后發(fā)送到從成像單元。通過在本實用新型實施例多目相機系統(tǒng)中設(shè)置控制單元，可以實現(xiàn)各個成像單元的控制和同步，提高測量精度，降低系統(tǒng)成本。
文檔編號H04N5/232GK201199315SQ20082008077
公開日2009年2月25日 申請日期2008年5月21日 優(yōu)先權(quán)日2008年5月21日
發(fā)明者葉建軍, 旭 張, 歐陽駿, 林 汪, 沈華東, 田臣禮, 高曉平 申請人:北京微視新紀元科技有限公司