專利名稱：基于全彩色全景l(fā)ed光源的主動三維立體全景視覺傳感器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及LED光源、光學技術(shù)以及計算機視覺技術(shù)在立體視覺測量方面的 應用，尤其是一種主動三維立體全景視覺傳感器。
背景技術(shù)：
.
基于計算機視覺的雙目立體視覺三維測量與立體重構(gòu)技術(shù)，是一門新興的、 極具發(fā)展?jié)摿蛯嵱脙r值的應用技術(shù)，可被廣泛應用于工業(yè)檢測、地理勘測、 醫(yī)學整容、骨科矯形、文物復制、刑偵取證、保安識別、機器人視覺、模具快 速成型、禮品、虛擬現(xiàn)實、動畫電影、游戲等許多應用領(lǐng)域。
立體視覺的基本原理是從兩個視點觀察同一景物，以獲取在不同視角下的 感知圖像，通過三角測量原理計算圖像像素間的位置偏差、即視差，來獲取景 物的三維信息，這一過程與人類視覺的立體感知過程是類似的。
立體視覺測量中的關(guān)鍵是要實現(xiàn)同一被測物體在不同角度觀測的立體匹'配'， 所謂的立體匹配是指根據(jù)對所選特征的計算，建立特征之間的對應關(guān)系，將同一 個空間物理點在不同圖像中的映像點對應起來。立體匹配是立體視覺中最重要 也是最困難的問題。當空間三維場景被投影為二維圖像時，同一景物在不同視 點下的圖像會有很大不同，而且場景中的諸多因素，如光照條件，景物幾何形 狀和物理特性、噪聲干擾和畸變以及攝像機特性等，都被綜合成單一的圖像中 的灰度值。因此，要準確地對包含了如此之多不利因素的圖像進行無歧義的匹 配，顯然是十分困難的，至今這個問題還沒有得到很好的解決。立體匹配的有 效性有賴于三個問題的解決，即:選擇正確的匹配特征，尋找特征間的本質(zhì)屬性 及建立能正確匹配所選擇特征的穩(wěn)定算法。
立體視覺測量是模仿人類利用雙目線索感知距離的方法，實現(xiàn)對三維信息的 感知，在實現(xiàn)上采用三角測量的方法，運用兩個攝像機對同一物點從不同位置成 像，并進而從視差中計算出距離。但是目前立體視覺的技術(shù)還無法達到全方位的 實時感知，在攝像機標定、特征提取和立體圖像匹配方面還沒有得到很好的解決。
目前雙目立體視覺測量系統(tǒng)的一個局限性是焦距固定，由于一個固定的焦距 只能在一定景深范圍內(nèi)清晰拍攝圖像，因而限制了測試區(qū)域；標定技術(shù)還沒有很好解決，立體視覺測量系統(tǒng)在各種運動中變化參數(shù)是不可避免的，比如運輸過 程中的震動、工作沖擊等的影響，而實際中又不可能總是放幾張棋盤在"眼前" 進行標定，因而限制了許多應用；雙目立體視覺測量系統(tǒng)還沒有實現(xiàn)小型化、微 型化，使得在機器人、航模等領(lǐng)域的應用受到限制；計算量大，難以進行實時 處理，因而限制了實時目標辨識等應用；雙目視覺的對應點匹配歧異性大，造 成了匹配的誤差，影響了匹配精度。
近年發(fā)展起來的全方位視覺傳感器ODVS(OmniDirectionalVisionSensors)為實 時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360 度)，能把一個半球視野中的信息壓縮成一幅圖像， 一幅圖像的信息量更大；獲取 一個場景圖像時，ODVS在場景中的安放位置更加自由；監(jiān)視環(huán)境時ODVS不用 瞄準目標；檢測和跟蹤監(jiān)視范圍內(nèi)的運動物體時算法更加簡單；可以獲得場景的 實時圖像。同時也為構(gòu)建雙目全方位視覺傳感器的立體視覺測量系統(tǒng)提供了一個 基本要素。
中國發(fā)明專利申請?zhí)枮?00510045648.1公開了一種全向立體視覺成像方法及 裝置，該專利中將一透視相機鏡頭的光軸和兩反射鏡面的共同對稱軸重合放置， 竿l:司，的一點分別經(jīng)兩反射鏡面反射后分別在所述透視相機的像平面成像于不同 的兩點，相當于兩個相機成像；裝置包括兩個反射鏡面、相機，所述相機鏡頭的 光軸和兩反射鏡面的共同對稱軸重合。這種方案的存在的問題是1)由于一幅圖 像包括了的特征點"兩幅"全向圖像，允許的圖像視差減小了一半，因此視覺系統(tǒng) 的測量范圍至少也減少了一半；2)上下兩個反射鏡面會出現(xiàn)遮擋，影響立體視覺 范圍；3)由于同一物體的特征點在上下兩個反射鏡面上經(jīng)折反射后的成像點在一 幅圖像上離中心點的位置不同，上反射鏡面的成像分辨率要比下反射鏡面的成像 分辨率高兩倍以上；4)由于透視相機鏡頭存在的對焦問題，只能滿足兩個反射鏡 面中的某一個反射鏡面為最佳焦距，因而必然會影響成像質(zhì)量；5)兩個反射鏡面 的焦點距離就是該系統(tǒng)的基線距，因而造成基線距過短，影響測量精度。
中國發(fā)明專利申請?zhí)枮?00810062128.5公開了一種基于雙目全方位視覺傳感 器的立體視覺測量裝置，該專利中組成立體視覺測量裝置的兩個ODVS采用了平 均角分辨率設(shè)計，采集圖像的兩個攝像機的參數(shù)完全一致，具有極好的對稱性， 能實現(xiàn)快速的點與點的匹配，從而達到立體視覺測量的目的。但是從完成點對點 匹配到立體測量仍需要較大的計算資源，要實現(xiàn)實時在線的立體測量以及三維立 體重構(gòu)仍然存在著一些"病態(tài)"計算問題。
上述所介紹的三維立體視覺測量技術(shù)中最大難題是被動式的立體攝像測量中普遍存在的計算機資源消耗大、實時性能差、實用性不強、魯棒性不高。通常解 決該問題的一種有效的方法是采用結(jié)構(gòu)光主動視覺技術(shù)，如點結(jié)構(gòu)光、線結(jié)構(gòu)光 掃描法以及編碼結(jié)構(gòu)光法等。然而這些方法必須使用精密標定裝置事先標定有關(guān) 參數(shù)，而且它們只能適用于特定的場合，要做到在線實時標定或不標定重構(gòu)三維 場景，難度很大，有時甚至不可能。同時針對全方位視覺需要有一種全景的彩色 光編碼技術(shù)來支持。
LED光源的出現(xiàn)為實現(xiàn)全景的彩色光編碼技術(shù)提供了技術(shù)基礎(chǔ)，使用超高亮 度功率型紅、綠、藍三基色LED，可制成結(jié)構(gòu)緊湊發(fā)光效率比傳統(tǒng)白熾燈光源高 的多的數(shù)字式調(diào)色調(diào)光光源，配合計算機控制技術(shù)，可得到極其豐富多彩的發(fā)光 效果。
LED，發(fā)光二極管又叫光發(fā)射二極管，英文名為Light Emitting Diode，是一 種可將電能變?yōu)楣饽艿囊环N半導體器件，屬于固態(tài)光源。LED光源具有以下幾個 優(yōu)點(1)光色純LED是分立的光譜，譜線狹窄，色彩豐富，鮮艷，可以有多 樣化的色調(diào)選擇和配光；(2)光束集中LED發(fā)光大部分集中會聚于中心，發(fā)散 角小，發(fā)射光角在1(T ~100° ，發(fā)光均勻性好，可以減少眩光，減化全景的彩色 光編碼器的結(jié)構(gòu)；(3)小型化LED是用環(huán)氧樹脂封裝固態(tài)光源，其結(jié)構(gòu)既不像 白熾燈有玻璃泡、燈絲等易損壞部件，也不像熒光燈有體積大的燈管和附件，它 是一種全固體結(jié)構(gòu)，因此能經(jīng)得起震動、沖擊而不至損壞，而且體積也相對減小， 重量也輕，應用靈活，可在狹小空間投光，利于集成在全方位視覺傳感器內(nèi)；每 個單元LED小片是3-5mm的正方形，所以可以制備成符合全景彩色結(jié)構(gòu)光器形 狀的器件；(4)響應速度快LED燈響應時間短，可瞬間啟動，反復開關(guān)，可靈 活控制，加上時序控制電路可實現(xiàn)多種動、閃、跳的燈光變幻。LED發(fā)光的響應 時間為納秒級，熒光燈一般為毫秒級(5)效能高消耗能量比同光效的白熾燈 減少80%，可以省去散熱部分的設(shè)計；(6)顏色豐富改變電流可以變色，發(fā)光 二極管方便地通過化學修飾方法，調(diào)整材料的能帶結(jié)構(gòu)和帶隙，實現(xiàn)紅黃綠蘭橙 多色發(fā)光；通過設(shè)計可以覆蓋整個可見光和紅外光；(7)超長壽命LED元件的 壽命非常長，理論上可達到50000小時之久，是投影燈泡的十倍，如果每天使用 5小時計算，LED光源可以使用IO年以上，而且頻繁的開關(guān)，也不會影響到使用 壽命；(8)亮度衰減小LED的發(fā)光指向性非常強，亮度衰減比傳統(tǒng)光源低很多， 在使用2000小時之后，其衰退率不超過5%。因此，利用LED器件的這些優(yōu)點來 實現(xiàn)一種全景的彩色光編碼器，為主動三維立體全景視覺傳感器提供一種主動全 景結(jié)構(gòu)光源。

發(fā)明內(nèi)容
為了克服已有的立體視覺測量裝置的計算機資源消耗大、實時性能差、實用 性不強、魯棒性不高等不足，本發(fā)明提供一種能夠減少計算機資源消耗、快速完 成測量、實時性好、實用性強、魯棒性高的主動三維立體全景視覺傳感器。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
一種基于全彩色全景LED光源的主動三維立體全景視覺傳感器，包括全方位 視覺傳感器、全景彩色結(jié)構(gòu)光發(fā)生器以及用于對全方位圖像進行三維立體攝像測 量的微處理器，所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器配置在同一 根軸心線上；
所述全方位視覺傳感器包括第一雙曲面鏡、第一上蓋、第一透明半圓形外罩、 第一下固定座、第一攝像單元固定座、攝像單元、第一連接單元和上罩；所述的 第一雙曲面鏡固定在所述的第一上蓋上，所述的第一連接單元將所述的第一下固 定座和第一透明半圓形外罩連接成一體，所述的第一透明半圓形外罩與所述的第 一上蓋以及所述的上罩固定在一起，所述的攝像單元固定在所述的第一攝像單元 固定座上，所述的第一攝像單元固定座固定在所述的第一下固定座上，所述全方 位視覺傳感器中的攝像單元的輸出與所述微處理器連接；
所述全景彩色結(jié)構(gòu)光發(fā)生器包括第二雙曲面鏡、第二上蓋、第二透明半圓形 外罩、第二下固定座、第二連接單元和LED光源；所述的第二雙曲面鏡固定在所 述的第二上蓋上，所述的第二連接單元將所述的第二下固定座和第二透明半圓形 外罩連接成一體，所述的第二透明半圓形外罩與所述的第二上蓋通過螺釘固定在 一起，所述的LED光源固定在所述的第二連接單元上； 所述第二雙曲面鏡和第一雙曲面鏡具有相同的成像參數(shù)；
所述微處理器包括
LED光源控制單元、視頻圖像讀取單元、空間信息計算單元、三維圖像重構(gòu) 單元和存儲設(shè)備；
LED光源控制單元，用于控制全景彩色光編碼發(fā)生器發(fā)出全彩色全景結(jié)構(gòu)光， 在LED光源控制單元使LED光源的供電電源處于ON狀態(tài)時，在全方位視覺傳 感器的成像單元中直接獲得空間某物點的深度和方位角度信息；在LED光源控制單元使LED光源的供電電源處于OFF狀態(tài)時，在全方位視覺傳感器的成像單元 中直接獲得空間某物點的實際色彩信息；實際LED光源的供電電源開關(guān)控制采用 電子開關(guān)來實現(xiàn)；
視頻圖像讀取模塊，用于讀取全方位視覺傳感器的視頻圖像，并保存在所述 的存儲設(shè)備中，其輸出與所述的空間信息計算模塊連接；在LED光源的供電電源 處于ON狀態(tài)時所讀取的全景視頻圖像中的各像素色彩帶有某物點的深度和方位 角度信息；在LED光源的供電電源處于OFF狀態(tài)時所讀取的全景視頻圖像中的 各像素色彩帶有某物點的實際色彩信息；
空間信息計算模塊，用于計算空間上的物點到立體視覺測量裝置中心點的距 離及入射角，分別計算空間物點與全方位視覺傳感器的實焦點Om的距離Rl、空 間物點與全景彩色結(jié)構(gòu)光調(diào)制單元的實焦點Op的距離R2、空間物點與中央眼的 距離R以及空間物點的入射角0 ;其輸出與三維圖像重構(gòu)模塊連接；
三維圖像重構(gòu)模塊，用于將在全方位視覺傳感器中所獲取的全景圖像進行柱 狀展開運算，展開圖中橫坐標表示方位角，縱坐標表示入射角；在展開全方位圖 像時需要將該中心部分的圖像單獨分離出求，然后對全方位圖像進行展開，展開 算法中水平方向的計算步長為，A々=2""，式中l(wèi)為水平展開幅度；垂直方向的 計算步長為Am = ("。_max -a?！猰m)/w ;式中，cv,為全景原圖最大有效半徑Rmax 對應的場景光線入射角，a?！猰m為全景原圖最小有效半徑Rmin對應的場景光線入 射角；
與用極坐標表示的全景原圖中的原像點A (O,P)對應的球面展開方式中的A 點坐標分別為-
(8)
,式中A"為水平方向的計算步長，"為方位角，A^為垂直方向的計算步長，
"。全景原圖有效半徑R對應的場景光線入射角，a?！猑為全景原圖最小有效半 徑Rmin對應的場景光線入射角；
在對全景圖像進行柱狀展開時，針對LED光源的供電電源處于ON/OFF兩種 狀態(tài)會產(chǎn)生兩種不同的柱狀展開圖；當LED光源的供電電源處于ON的狀態(tài)時， 在柱狀展開圖上帶有全景彩色結(jié)構(gòu)光所照射全景視頻圖像；當LED光源的供電電 源處于OFF的狀態(tài)時，在柱狀展開圖上自然光所投射的全景視頻圖像。
11作為優(yōu)選的一種方案所述的LED光源是由多組不同中心波長的LED所組 成，每個LED的發(fā)散角選擇在10。，所述的LED光源的基板是一個圓形平板， 每個LED均固定在該圓形平板上；不同中心波長的LED是以中心波長小到大從 所述的圓形平板的內(nèi)徑到外徑進行排列，同一中心波長的LED配置在所述的圓形 平板的同一直徑上；每個LED都正對著所述的第二雙曲面鏡。
進一步，對全彩色全景LED光源采用分時控制技術(shù)，通過電子開關(guān)來控制全 景彩色結(jié)構(gòu)光發(fā)生器的發(fā)光或者不發(fā)光，在LED光源控制單元使LED光源的供 電電源處于ON狀態(tài)時，在全方位視覺傳感器的成像單元中直接獲得空間某物點 的深度和方位角度信息；在LED光源控制單元使LED光源的供電電源處于OFF 狀態(tài)時，在全方位視覺傳感器的成像單元中直接獲得空間某物點的實際色彩信息。
更進一步，所述的第一雙曲面鏡和第二雙曲面鏡構(gòu)成的光學系統(tǒng)由下面5個 等式表示；
<formula>formula see original document page 12</formula> (1)
<formula>formula see original document page 12</formula> (2)
<formula>formula see original document page 12</formula>
(4)
(5)
<formula>formula see original document page 12</formula>
式中X、 Y、 Z表示空間坐標，c表示雙曲面鏡的焦點，2c表示兩個焦點之間的距 離，a，b分別是雙曲面鏡的實軸和虛軸的長度，e表示入射光線在XY投影平面上 與X軸的夾角，即方位角，a表示入射光線在XZ投影平面上與X軸的夾角，這 里將a稱為入射角，a大于或等于O時稱為俯角，將a小于0時稱為仰角，f 表示成像平面到雙曲面鏡的虛焦點的距離，Y表示折反射光線與Z軸的夾角；x，y 表示在成像平面上的一個點。
作為優(yōu)選的再一種方案所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生 器之間采用背靠背型連接，所述全方位視覺傳感器的第一上蓋與所述全景彩色結(jié) 構(gòu)光發(fā)生器的第二上蓋連接；將兩個具有同一參數(shù)的雙曲面鏡面的凹面對著凹面。
或者是所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采用面對面連接，將所述全景彩色結(jié)構(gòu)光發(fā)生器的第二連接單元和所述全方位視覺傳感器 的第一連接單元通過螺釘進行連接。
又或者是所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采用面 對背連接方式，將所述全景彩色結(jié)構(gòu)光發(fā)生器的第二上蓋與所述全方位視覺傳感 器的第一連接單元連接；將兩個具有同一參數(shù)的雙曲面鏡面的凸面對著凹面，其 中凸面是全方位視覺傳感器的第一雙曲面鏡，凹面是全景彩色結(jié)構(gòu)光發(fā)生器的第 二雙曲面鏡。
再或者是所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采用背 對面連接方式，將所述全方位視覺傳感器的第一上蓋與所述全景彩色結(jié)構(gòu)光發(fā)生 器的第二連接單元連接；將兩個具有同一參數(shù)的雙曲面鏡面的凹面對著凸面，其 中凹面是全方位視覺傳感器的第一雙曲面鏡，凸面是全景彩色結(jié)構(gòu)光發(fā)生器的第 二雙曲面鏡。
進一步，所述的空間信息計算模塊包括折射角(Xp計算單元、入射角a。計算單 元和距離計算單元；其中，
折射角ap計算單元，用于利用全景彩色結(jié)構(gòu)光發(fā)生器的折射角(Xp與LED器 件所發(fā)射出的光波長之間具有一定的函數(shù)關(guān)系來計算的，當LED光源的供電電源 處于ON狀態(tài)時，成像平面上的像素的色彩分量與折射角ap存在一一對應關(guān)系， 利用該關(guān)系來得到折射角(xp;
入射角a。計算模塊，用于利用全方位視覺傳感器的入射角a。與折反射角Y。 之間存在著公式(9)所示的函數(shù)關(guān)系，
。 = tan—1[(62 +c2)sin;k。 -26c〗/(62 +c2)cos;k。 (9)
折反射角Y。與成像平面上的一個點(x,y)存在著公式(10)所示的函數(shù)關(guān)系， ptan-V/V^+j;2)] (10)
通過公式(9)和(10)可得到成像平面上的一個點(x,y)與入射角a。之間的 函數(shù)關(guān)系；
距離計算單元，用于利用公式(11) ~ (14)分別計算空間物點與全方位視覺 傳感器的實焦點Om的距離Rl、空間物點與全景采^色結(jié)構(gòu)光發(fā)送單元的實焦點Op 的距離R2、空間物點與中央眼的距離R以及 間物點的入射角^，<formula>formula see original document page 14</formula>
式中B為基線距，a。為入射角，ap為折射角，Rl為物點A與全方位視覺傳 感器的實焦點Om的距離，R2為物點A與全景彩色結(jié)構(gòu)光發(fā)生器的實焦點Op的 距離，R為物點A與中央眼的距離，^為空間物點相對于中央眼的入射角。
再進一步，在所述的空間信息計算模塊中，設(shè)置一張光編碼表來實現(xiàn)某一光
波長A與某一折射角(Xp之間存在的映射關(guān)系， 一張入射角計算表來實現(xiàn)某一個點
的坐標數(shù)據(jù)與該點所對應的入射角a。之間存在的映射關(guān)系，折射角ap、入射角a。
計算采用查表方式實現(xiàn)；首先按全方位視覺傳感器的成像平面的點坐標順序讀取'
某一個點的波長入值，以點坐標值檢索入射角計算表得到該點所對應的入射角a。，
接著以該點的光波長A值檢索光編碼表得到該光波長入所對應的折射角ap;最后
利用公式(11)或者公式(12)或者公式(13)計算得到空間上某一點的距離信息。
本發(fā)明的技術(shù)構(gòu)思為要實現(xiàn)上述發(fā)明內(nèi)容，必須要解決兩個核心問題(1) 實現(xiàn)一種全景的彩色光編碼器，能為主動三維立體全景視覺傳感器提供一種主動 全景結(jié)構(gòu)光源；(2)實現(xiàn)一種能獲得與實際物體一一對應的景物深度和色彩對應 圖的全景視覺傳感器。 .
實現(xiàn)一種全景的彩色光編碼器主要是要通過一種能產(chǎn)生全景的彩色光編碼技 術(shù)來實現(xiàn)的，使得在一個二維的全景視頻圖像的每一個像素點本身都帶有景物的 深度信息，通過該技術(shù)能提高圖像空間的信號源質(zhì)量從而解決立體視覺測量中的 快速匹配問題；要實現(xiàn)主動三維立體全景視覺傳感，需要開發(fā)出一種能獲得與實 際物體一一對應的景物深度和色彩對應圖的全景視覺傳感器，通過集成全景彩色 結(jié)構(gòu)光發(fā)生器和全方位視覺傳感器來構(gòu)建一種主動立體全景視覺傳感器，實現(xiàn)在 全景視覺傳感器的成像平面上的任何像素單元都具有景物深度、方位和色彩信息，最終實現(xiàn)用一幅全景圖像來直接感知、表達與重構(gòu)三維全景場景。
全方位視覺傳感器的工作原理是進入雙曲面鏡的中心的光，根據(jù)雙曲面的 鏡面特性向著其虛焦點折射。實物圖像經(jīng)雙曲面鏡反射到聚光透鏡中成像，在該 成像平面上的一個點P (x,y)對應著實物在空間上的一個點的坐標A(X,Y,Z);
圖7中的2-l—雙曲線面鏡，12 —入射光線，13 —雙曲面鏡的實焦點Om (O,O,c)， 14一雙曲面鏡的虛焦點，即攝像單元6的中心Oc(0,0,-c)， 15 —反射光線， 16—成像平面，17—實物圖像的空間坐標A(X,Y，Z)， 18—入射到雙曲面鏡面上的 圖像的空間坐標，19一反射在成像平面上的點P(x,y)。
圖7中所示的雙曲面鏡構(gòu)成的光學系統(tǒng)可以由下面5個等式表示；<formula>formula see original document page 15</formula>,.式中X、 Y、 Z表示空間坐標，c表示雙曲面鏡的焦點,2c表示兩個焦點之間 的距離，a,b分別是雙曲面鏡的實軸和虛軸的長度，卩表示入射光線在XY投影平 面上與X軸的夾角，即方位角，a表示入射光線在XZ投影平面上與X軸的夾角， 這里將a稱為入射角，a大于或等于0時稱為俯角，將a小于0時稱為仰角，f 表示成像平面到雙曲面鏡的虛焦點的距離，Y表示折反射光線與Z軸的夾角；x,y 表示在成像平面上的一個點；
為了獲得比較大的立體視覺范圍，在所述的雙曲面鏡面2設(shè)計時需要盡可能 加大雙曲面鏡面的仰角，采用減小雙曲面鏡的實軸a和虛軸b的比來加大雙曲面 鏡面的仰角，設(shè)計時需根據(jù)立體視覺的范圍、雙曲面鏡的直徑大小來選擇一個適 當?shù)膶嵼Sa和虛軸b的比，最大仰角極限是雙曲線的漸進線與X軸的夾角；
全景彩色結(jié)構(gòu)光發(fā)生器的工作原理是LED光源9的基板是一個圓形平板， 每個LED均固定在該圓形平板上，如附圖5所示；不同中心波長的LED是以中 心波長小到大從所述的圓形平板的內(nèi)徑到外徑進行排列，同一中心波長的LED配 置在所述的圓形平板的同一直徑上，每個LED的發(fā)散角選擇在10°左右，每個 LED都正對著所述第二雙曲面鏡面2-2;在LED光源的供電電源處于ON狀態(tài)時， 每個LED都發(fā)射出各自中心波長的光，這些特定波長的光經(jīng)過第二雙曲面鏡面2-2折反射，由于雙曲面鏡面具有單視點的功能，所有折反射光的光線均經(jīng)過雙曲 面鏡面的實焦點Om向外折反射，這樣就在整個半球面上產(chǎn)生了一圈圈的彩色結(jié) 構(gòu)光，且每種波長的光都對應著第二雙曲面鏡面2-2上的某個折射角otp;
基于全彩色全景LED光源的主動三維立體全景視覺傳感器的工作原理是從 安置在全景彩色結(jié)構(gòu)光發(fā)生器的第二雙曲面鏡面2-2正對面處的LED光源9，在 LED光源的供電電源處于ON狀態(tài)時，LED光源9發(fā)射出從園中心到園外徑的一 圈圈的峰值波長依次增長的彩色光，這些一圈圈彩色光投射到全景彩色結(jié)構(gòu)光發(fā) 生器的第二雙曲面鏡面2-2上后，以第二雙曲面鏡面2-2的實焦點為中心向外四 周折射，在水平方向360。形成了呈雙曲線函數(shù)關(guān)系變化的一圈圈的峰值波長的折 反射光，空間上的一個點A(X,Y,Z)接受到一定波長的光，該光點繼續(xù)向全方位視 覺傳感器的雙曲面鏡2-l反射，光線朝向全方位視覺傳感器的雙曲面鏡2-l的實 焦點，根據(jù)雙曲面的鏡面特性向著全方位視覺傳感器的虛焦點14折反射，圖7 所示；反映實物圖像的各具有一定波長的光點經(jīng)全方位視覺傳感器的雙曲面鏡2-1 反射到聚光透鏡中成像，在該成像平面上的一個點P (x,y)對應著實物在空間上的 一個點的坐標A(X，Y,Z)，光路圖如圖6中的粗實線所示；實際上通過兩個同一的 雙曲面鏡面以及LED光源9的共同復稷g得在原有立體攝像測量中的特征選取、 圖像匹配步驟進行簡化，通過兩個同一參數(shù)的雙曲面鏡面以及LED光源9的共 同作用確定了空間上的一個點A(X,Y,Z)在成像平面上點P (x,y)的入射角和方位 角，即稱為確定空間上的點A(X,Y,Z)的約束條件；這是因為由于全景彩色結(jié)構(gòu)光 發(fā)生器與全方位視覺傳感器具有兩個相同參數(shù)的雙曲面鏡，且兩個相同參數(shù)的雙 曲面鏡在同一個軸心線上，因此確定點A(X,Y,Z)的方位角是非常容易的，關(guān)于發(fā) 射角可以通過LED光源9所確定的光線波長來確定，關(guān)于入射角可以通過成像平 面上點P(x,y)來確定，這樣就確定了點A(X,Y,Z)與觀察點的空間位置關(guān)系；
本發(fā)明中釆用"中央眼"視覺方式來描述空間上某一物點A的信息(R, ^e,r，g,b,t)，所謂的中央眼是立體視覺基線距的中點，是通過全方位視覺傳感器 和全景彩色結(jié)構(gòu)光發(fā)送器的視點之間的連線中心點來算得到，這里將中央眼的坐 標作為高斯球面坐標的原點0，如圖8所示；空間上某一物點A的信息(R, ^e,r,g,b, t)中的R用公式(13)的計算結(jié)果設(shè)置，^用公式(14)的計算結(jié)果 設(shè)置，6用公式(3)的計算結(jié)果設(shè)置，r,g,b分別用當LED光源的供電電源處于 OFF狀態(tài)時全方位視覺傳感器的成像平面上該像素點的實際色彩分量值設(shè)置，t 用微處理器的時鐘進行設(shè)置；這樣空間上的任何點的信息都能用(R, ,r,g,b,t) 7個分量值進行表達，如附圖9所示。本發(fā)明的有益效果主要表現(xiàn)在
1) 、獲取實時的全景立體視頻圖像，跟蹤的監(jiān)控物體不會出現(xiàn)丟失，采用大 仰角的雙曲面鏡的全景立體視頻設(shè)計，解決了大空間內(nèi)的快速移動目標對象的實 時跟蹤提供了完整的理論體系和模型；
2) 、提供了一種全新的立體視覺獲取方法，通過主動的全景彩色結(jié)構(gòu)光發(fā)生、 基于雙曲面鏡的彩色光發(fā)射的技術(shù)和基于雙曲面鏡折反射的全方位成像技術(shù)，實 現(xiàn)了快速的全景立體攝像測量；
3) 、不再需要繁瑣的攝像機標定工作、特征提取、立體圖像匹配等步驟，為 快速全景立體攝像測量提供了一種新的手段；
4) 、通過全景彩色結(jié)構(gòu)光發(fā)生器所生成的全景立體圖像本身具有立體感和距 離感；
5) 、充分利用了LED光色純和光束集中的優(yōu)點，構(gòu)成全景彩色結(jié)構(gòu)光發(fā)生器 的每個LED都具有分立的光譜，譜線狹窄，色彩豐富，鮮艷，LED發(fā)光大部分 集中會聚于中心，發(fā)散角小，為準確立體攝像測量提供了一種高分辨率的、高清 晰的彩色投影裝置；
6) 、充分利用了 LED的響應速度快和效能高的特點，通過對LED供電電源 的控制，在一個成像芯片不但能獲得全景范圍內(nèi)空間物點的深度距離信息，而且 也能獲得空間物點的色彩信息，同時發(fā)光效率高不需要任何散熱裝置；
7) 、作為主動光源，LED具有小型化、輕量化、超長壽命和亮度衰減小等優(yōu) 點，在便攜、可靠、使用壽命、維護成本等性能指標上具有明顯的優(yōu)勢；
8) 、采用同一極球面坐標處理手段，可利用數(shù)字幾何的計算方法能容易實現(xiàn) 三維圖像重構(gòu)和三維物體測量。可廣泛的應用于各種工業(yè)檢測、地理勘測、醫(yī)學 整容、骨科矯形、文物復制、刑偵取證、保安識別、機器人視覺、模具快速成型、 禮品、虛擬現(xiàn)實、人體測量、動畫電影、游戲等許多應用領(lǐng)域。


圖1為一種全方位視覺傳感器的結(jié)構(gòu)圖2為一種全景彩色結(jié)構(gòu)光發(fā)生器的結(jié)構(gòu)圖3為一種面對面型的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器的原理圖4為一種面對面型的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器的立體測量范圍示意17圖5為全景彩色結(jié)構(gòu)光發(fā)生器的發(fā)光原理示意圖6為背靠背型的基于全彩色全景LED光源的主動三維立體全景視覺傳感器 的處理結(jié)構(gòu)框圖7為全方位視覺傳感器的成像原理圖8為高斯球面坐標與三維直角坐標之間的關(guān)系示意圖9為雙目視覺中的中央眼的概念圖10為面對背型主動三維立體全景視覺傳感器的雙曲面鏡的配置圖； 圖11為面對面型主動三維立體全景視覺傳感器的雙曲面鏡的配置圖； 圖12為背靠背型主動三維立體全景視覺傳感器的雙曲面鏡的配置圖； 圖13為背對面型主動三維立體全景視覺傳感器的雙曲面鏡的配置圖； 圖14為一種面對面型的基于全彩色全景LED光源的主動三維立體全景視覺 傳感器的立體攝像測量的原理圖15為全方位視覺傳感器和全景彩色結(jié)構(gòu)光發(fā)生器具有相同極平面的示意圖。
具體實施例方式
下面結(jié)合附圖對本發(fā)明作進一步描述。 實施例1
參照圖1 5，圖7 9、圖ll、圖14 15， 一種基于全彩色全景LED光源的 主動三維立體全景視覺傳感器，包括全方位視覺傳感器、全景彩色結(jié)構(gòu)光發(fā)生器 以及用于對全方位圖像進行三維立體攝像測量的微處理器，所述全方位視覺傳感 器與所述全景彩色結(jié)構(gòu)光發(fā)生器配置在同一根軸心線上；所述全方位視覺傳感器
包括第一雙曲面鏡面2-l、第一上蓋1-1、第一透明半圓形外罩3-l、第一下固定 座4-l、攝像單元固定座5-l、攝像單元6、第一連接單元7-l、上罩8，如附圖l 所示；所述的第一雙曲面鏡面2-1固定在所述的第一上蓋1-1上，所述的第一連 接單元7-1將所述的第一下固定座4-1和第一透明半圓形外罩3-1連接成一體，所 述的第一透明半圓形外罩3-1與所述的第一上蓋1-1以及所述的上罩8通過螺釘 固定在一起，所述的攝像單元6用螺釘固定在所述的攝像單元固定座5-1上，所 述的攝像單元固定座5-1用螺釘固定在所述的第一下固定座4-1上，所述全方位 視覺傳感器中的所述的攝像單元6的輸出與所述微處理器連接；所述全景彩色結(jié) 構(gòu)光發(fā)生器包括第二雙曲面鏡面2-2、第二上蓋1-2、第二透明半圓形外罩3-2、 第二下固定座4-2、第二連接單元7-2、 LED光源9，如附圖2所示；所述的第二雙曲面鏡面2-2固定在所述的第二上蓋1-2上,所述的第二連接單元7-2將所述的 第二下固定座4-2和第二透明半圓形外罩3-2連接成一體，所述的第二透明半圓 形外罩3-2與所述的第二上蓋1-2通過螺釘固定在一起，所述的LED光源9固定 在所述的第二連接單元7-2上；所述第二雙曲面鏡面2-2和第一雙曲面鏡面2-1 具有相同的成像參數(shù)；所述全景彩色結(jié)構(gòu)光發(fā)生器和所述全方位視覺傳感器通過 螺釘進行連接，如附圖3所示；
所述的LED光源9是由幾組不同中心波長的LED所組成，每個LED的發(fā)散 角選擇在10°左右，LED光源9的基板是一個圓形平板，每個LED均固定在該 圓形平板上，如附圖5所示；不同中心波長的LED是以中心波長小到大從所述的 圓形平板的內(nèi)徑到外徑進行排列，同一中心波長的LED配置在所述的圓形平板的 同一直徑上；每個LED都正對著所述第二雙曲面鏡面2-2，這樣每個LED所發(fā)出 的特定波長的光經(jīng)過第二雙曲面鏡面2-2折反射，由于雙曲面鏡面具有單視點的 功能，所有折反射光的光線均經(jīng)過雙曲面鏡面的實焦點Om向外折反射，這樣就 在整個半球面上產(chǎn)生了一圈圈的彩色結(jié)構(gòu)光，這就是全景彩色結(jié)構(gòu)光發(fā)生器的發(fā)
光原理；所形成的彩色結(jié)構(gòu)光與所述全景彩色結(jié)構(gòu)光發(fā)生器的折射角ap之間具 有一定的函數(shù)關(guān)系，因此只要得到某一個光的波長就可以估算出全景彩色結(jié)構(gòu)光 發(fā)生器的折射角ap;附圖5中是經(jīng)第二雙曲面鏡面2-2折反射后在整個半球面 上產(chǎn)生的一圈圈的彩色結(jié)構(gòu)光示意圖，從第二雙曲面鏡面2-2的實焦點Om來講， 所產(chǎn)生的一圈圈的彩色結(jié)構(gòu)光是以較短的波長到較長的波長從折射角ap的俯角 到折射角a p的仰角連續(xù)變化的；
所述的雙曲面鏡面，雙曲面鏡構(gòu)成的光學系統(tǒng)由下面5個等式表示；
((x2 + ;r2)/a2)-((z-c)2/62) = -1 當zx)時 (i)
or = tan-1 [(62 + c2) sin ;k - 26c] / (62 + c2) cos ;r (4)
(5)
y = tan-'[/7V( +/)]
式中X、 Y、 Z表示空間坐標，c表示雙曲面鏡的焦點，2c表示兩個焦點之間的距 離，a,b分別是雙曲面鏡的實軸和虛軸的長度，(3表示入射光線在XY投影平面上 與X軸的夾角，即方位角，a表示入射光線在XZ投影平面上與X軸的夾角，這
19里將a稱為入射角，a大于或等于O時稱為俯角，將a小于O時稱為仰角，f表示 成像平面到雙曲面鏡的虛焦點的距離，Y表示折反射光線與Z軸的夾角；x,y表示 在成像平面上的一個點。
進一步，所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采用面對 面型連接，如附圖3、附圖4和附圖11所示，所述全景彩色結(jié)構(gòu)光發(fā)生器的第二 連接單元7-2和所述全方位視覺傳感器的第一連接單元7-1通過螺釘進行連接；
根據(jù)全景彩色結(jié)構(gòu)光發(fā)生器的發(fā)光原理，這時某一波長光的波長與折射角 ap成一一對應關(guān)系，換句話說，該波長光的波長確定了從全景彩色結(jié)構(gòu)光發(fā)生 器的視點Op的極線方向，由于本發(fā)明中全方位視覺傳感器的鏡面與全景彩色結(jié) 構(gòu)光發(fā)生器的鏡面釆用相同的參數(shù)，并將兩個鏡面的軸線配置在同一軸心線上， 如附圖15所示，這種結(jié)構(gòu)方式能保證某一波長光的波長在全景彩色結(jié)構(gòu)光發(fā)生器 鏡面上的折射與在全方位視覺傳感器鏡面上的折反射必定在同一極平面上，即具 有相同的方位角，因此通過這種結(jié)構(gòu)簡化了雙目立體視覺中的極線匹配難題。
具有某一特定波長的點將在全方位視覺傳感器的成像平面上有一個對應點， 即P (x,y)，根據(jù)雙曲面鏡的折反射成像原理可通過公式(6)計算出該點的折反 射光線與Z軸的夾角yo;有了折反射角yo，就可以通過公式(7)計算得到具有 某一特定波長的點的入射角a0，
ta1T1[//V( +/)] (6)
(7)
a。 = tan-1[(62 +c2)sin;r0 -26c]/(62 +c2)cos;k0
某一波長光的波長的折射角ap與入射角ao均在同一極平面上，有了這兩 個數(shù)據(jù)就能方便地得到空間點與觀察點的位置深度和角度信息，即在全方位視覺 傳感器成像平面上的某一個像素點的位置代表入射角ao的信息，該像素點的色 彩代表折射角ap的信息。
為了獲得成像點的實際色彩信息，在設(shè)計的基于全彩色全景LED光源的主動 三維立體全景視覺傳感器中采用分時控制技術(shù)，即通過控制全景彩色結(jié)構(gòu)光發(fā)生 器的發(fā)光，即控制LED光源的供電，當給LED光源的供電時獲得空間某物點的 深度和方位角度信息；當讓LED光源的供電電源切斷時，由于LED光源的響應 速度快，這樣通過自然光來獲得物點的色彩信息；時間信息由微處理器的時鐘時 間來確定；因此，如圖9所示的任何空間物點A (R,0,e,r,g，b,t)的深度、角度、 色彩和時間等信息都可以在高斯球面坐標系中進行表達。實現(xiàn)了在主動立體全景視覺傳感器中所獲得的立體視頻信息具備與實際物體成一一對應的景物深度和色 彩對應圖。
所述的微處理器中包括LED光源控制單元、視頻圖像讀取模塊、空間信息 計算模塊、三維圖像重構(gòu)模塊和存儲設(shè)備；
所述的LED光源控制單元，用于控制全景彩色結(jié)構(gòu)光發(fā)生器發(fā)出全彩色全景 結(jié)構(gòu)光，在LED光源控制單元使LED光源的供電電源處于ON狀態(tài)時，在全方 位視覺傳感器的成像單元中直接獲得空間某物點的深度和方位角度信息；在LED 光源控制單元使LED光源的供電電源處于OFF狀態(tài)時，在全方位視覺傳感器的 成像單元中直接獲得空間某物點的實際色彩信息；實際LED光源的供電電源開關(guān) 控制采用電子開關(guān)來實現(xiàn)；
所述的視頻圖像讀取模塊，用于讀取全方位視覺傳感器的視頻圖像，并保存 在所述的存儲設(shè)備中，其輸出與所述的空間信息計算模塊連接；在LED光源的供 電電源處于ON狀態(tài)時所讀取的全景視頻圖像中的各像素色彩帶有某物點的深度 和方位角度信息；在LED光源的供電電源處于OFF狀態(tài)時所讀取的全景視頻圖 像中的各像素色彩帶有某物點的實際色彩信息；如附圖13所示；
所述的空間信息計算模塊，廟于訐算空間上的物點到立體視覺測量裝置中心 點的距離及入射角，分別計算空間物點與全方位視覺傳感器的實焦點Om的距離 Rl、空間物點與全景彩色結(jié)構(gòu)光發(fā)生器的實焦點Op的距離R2、空間物點與中央 眼的距離R以及空間物點的入射角0;其輸出與三維圖像重構(gòu)模塊連接；
所述的三維圖像重構(gòu)模塊，用于將在全方位視覺傳感器中所獲取的全景圖像 進行柱狀展開運算，展開圖中橫坐標表示方位角，縱坐標表示入射角；在展開全 方位圖像時需要將該中心部分的圖像單獨分離出來，然后對全方位圖像進行展開， 展開算法中水平方向的計算步長為，A":2"",式中l(wèi)為水平展開幅度；垂直方 向的計算步長為Am^(a。，x-"?！猰in)/m;式中，"?！獮槿霸瓐D最大有效半徑 Rmax對應的場景光線入射角，a。_min為全景原圖最小有效半徑Rmin對應的場景 光線入射角；
與用極坐標表示的全景原圖中的原像點A (0,(3)對應的球面展開方式中的A 點坐標分別為
(8)
<formula>formula see original document page 21</formula>
式中A"為水平方向的計算步長，"為方位角，A^為垂直方向的計算步長，a。全景原圖有效半徑R對應的場景光線入射角，a。i,n為全景原圖最小有效半 徑Rmin對應的場景光線入射角；
在對全景圖像進行柱狀展開時，針對LED光源的供電電源處于ON/OFF兩種 狀態(tài)會產(chǎn)生兩種不同的柱狀展開圖；當LED光源的供電電源處于ON的狀態(tài)時， 在柱狀展開圖上帶有全景彩色結(jié)構(gòu)光所照射全景視頻圖像；當LED光源的供電電 源處于OFF的狀態(tài)時，在柱狀展開圖上自然光所投射的全景視頻圖像；
作為優(yōu)選的再一種方案所述的空間信息計算單元包括折射角a p計算單元、 入射角ao計算單元和距離計算單元；
折射角otp計算單元，用于利用全景彩色結(jié)構(gòu)光發(fā)生器的折射角ap與LED器 件所發(fā)射出的光波長之間具有一定的函數(shù)關(guān)系來計算的，當LED光源的供電電源 處于ON狀態(tài)時，成像平面上的像素的色彩分量與折射角(Xp存在一一對應關(guān)系， 利用該關(guān)系來得到折射角(xp;
入射角a。計算單元，用于利用全方位視覺傳感器的入射角a。與折反射角Y。 之間存在著公式(9)所示的函數(shù)關(guān)系，
a。 = tan—'[(62 +c2)sin;k。 — 26c]/(62 +c2)cos;k。 (9)
折反射角Y。與成像平面上的一個點(x,y)存在著公式(10)所示的函數(shù)關(guān)系， Ftan-'[/7V(x2+力] (10)
通過公式(9)和(10)可得到成像平面上的一個點(x,y)與入射角a。之間的 函數(shù)關(guān)系；
距離計算單元，用于利用公式(11) (14)分別計算空間物點與全方位視覺 傳感器的實焦點Om的距離Rl、空間物點與全景彩色結(jié)構(gòu)光發(fā)送單元的實焦點Op 的距離R2、空間物點與中央眼的距離R以及空間物點的入射角0 ，
— 。) b . (11) sin(a。 + )
- cos(a ) ,"、
i 2 = (9。j =- pS (12)
p sin(a。
i = 04 = ^i 2' +(5/2)' — 2i 2CB/2)cos("p +90) (13)
,cos(a )， cos(a )
=B [- " ]2+0.25 +- p sin(a。)
1 sin(a。+ap) sin(a。+a》 p
" .i"萬 /vi (l4) ^ = arcsin[——cos(a。)]
22式中B為基線距，a。為入射角，(Xp為折射角，Rl為物點A與全方位視覺傳 感器的實焦點Om的距離，R2為物點A與全景彩色結(jié)構(gòu)光發(fā)生器的實焦點Op的 距離，R為物點A與中央眼的距離，^為空間物點相對于中央眼的入射角。
再進一步，在所述的空間信息計算模塊中，設(shè)置一張光編碼表來實現(xiàn)某一光 波長X與某一折射角ap之間存在的映射關(guān)系， 一張入射角計算表來實現(xiàn)某一個點 的坐標數(shù)據(jù)與該點所對應的入射角a。之間存在的映射關(guān)系，折射角ap、入射角a。 計算采用査表方式實現(xiàn)；首先在LED光源的供電電源處于ON狀態(tài)時按全方位視 覺傳感器的成像平面的點坐標順序讀取某一個像素點的波長X值，以點坐標值檢 索入射角計算表得到該點所對應的入射角a。，接著以該點的光波長X值檢索光編 碼表得到該光波長X所對應的折射角ap;最后利用公式(11)或者公式(12)或 者公式(13)計算得到空間上某一點的距離信息；附圖14 (a)是當LED光源的 供電電源處于ON狀態(tài)時全方位視覺傳感器的成像平面上某個像素點P(i,j)所具有 的信息示意圖，其中i,j的位置可以用于確定入射角a。.， P(i,j)的色彩可以用于確定 折射角ap;附圖14 (b)是當LED光源的供電電源處于OFF狀態(tài)時全方位視覺 傳感器的成像平面上某個像素點P(i,j)所具有的信息示意圖，其中i,j的位置可以用 于確定入射角a。.， P(i,j)的色彩確定空間物點的實際色彩；
全方位視覺傳感器的工作原理是進入雙曲面鏡的中心的光，根據(jù)雙曲面的 鏡面特性向著其虛焦點折射。實物圖像經(jīng)雙曲面鏡反射到聚光透鏡中成像，在該 成像平面上的一個點P(x,y)對應著實物在空間上的一個點的坐標A(X，Y,Z);
圖7中的2-l—雙曲線面鏡，12 —入射光線，13—雙曲面鏡的實焦點0m (O,O，c)， 14一雙曲面鏡的虛焦點，即攝像單元6的中心Oc(0，0,-c)， 15 —反射光線， 16—成像平面，17—實物圖像的空間坐標A(X,Y,Z)， 18—入射到雙曲面鏡面上的 圖像的空間坐標，19一反射在成像平面上的點P(x,y)。
圖7中'所示的雙曲面鏡構(gòu)成的光學系統(tǒng)可以由下面5個等g表示；
((X2+y2)/a2)-((Z-c)2/62) = -l 當ZX)時 (1)
c = ;2 + 62 (2)
^tan，/X) (3)
a = tan_1 [(62 + c2) sin ;k - 26c] / (62 + c2) cos y (4) "tan—'[//V(x2+/)] (5)式中X、 Y、 Z表示空間坐標，c表示雙曲面鏡的焦點，2c表示兩個焦點之間 的距離，a,b分別是雙曲面鏡的實軸和虛軸的長度，(3表示入射光線在XY投影平 面上與X軸的夾角，即方位角，a表示入射光線在XZ投影平面上與X軸的夾角， 這里將a稱為入射角，a大于或等于0時稱為俯角，將a小于0時稱為仰角，f 表示成像平面到雙曲面鏡的虛焦點的距離，y表示折反射光線與Z軸的夾角；x,y 表示在成像平面上的一個點；
為了獲得比較大的立體視覺范圍，在所述的雙曲面鏡面2設(shè)計時需要盡可能 加大雙曲面鏡面的仰角，采用減小雙曲面鏡的實軸a和虛軸b的比來加大雙曲面 鏡面的仰角，設(shè)計時需根據(jù)立體視覺的范圍、雙曲面鏡的直徑大小來選擇一個適 當?shù)膶嵼Sa和虛軸b的比，最大仰角極限是雙曲線的漸進線與X軸的夾角；
全景彩色結(jié)構(gòu)光發(fā)生器的工作原理是LED光源9的基板是一個圓形平板， 每個LED均固定在該圓形平板上，如附圖5所示；不同中心波長的LED是以中 心波長小到大從所述的圓形平板的內(nèi)徑到外徑進行排列，同一中心波長的LED配 置在所述的圓形平板的同一直徑上，在附圖5中在不同的直徑上共排列了 12中不 同中心波長的LED，其中心波長是以425nm到623nm均勻分布在不同的直徑上， 每個LED的發(fā)散角選擇在1(T左右，每個LED都正對著所述第二雙曲面鏡面2-2; 在LED光源的供電電源處于ON狀態(tài)時，每個LED都發(fā)射出各自中心波長的光， 這些特定波長的光經(jīng)過第二雙曲面鏡面2-2折反射，由于雙曲面鏡面具有單視點 的功能，所有折反射光的光線均經(jīng)過雙曲面鏡面的實焦點Om向外折反射，這樣 就在整個半球面上產(chǎn)生了一圈圈的彩色結(jié)構(gòu)光，根據(jù)雙曲面鏡的特點該彩色結(jié)構(gòu) 光在半球范圍內(nèi)形成了以中心波長是以425nm到623nm從最小俯角到最大仰角的 排列，如附圖5所示，這樣每種波長的光都對應著第二雙曲面鏡面2-2上的某個
折射角Ctp;
基于全彩色全景LED光源的主動三維立體全景視覺傳感器的工作原理是從
安置在全景彩色結(jié)構(gòu)光發(fā)生器的第二雙曲面鏡面2-2正對面處的LED光源9，在 LED光源的供電電源處于ON狀態(tài)時，LED光源9發(fā)射出從園中心到園外徑的一 圈圈的峰值波長依次增長的彩色光，這些一圈圈彩色光投射到全景彩色結(jié)構(gòu)光發(fā) 生器的第二雙曲面鏡面2-2上后，以第二雙曲面鏡面2-2的實焦點為中心向外四 周折射，在水平方向360。形成了呈雙曲線函數(shù)關(guān)系變化的一圈圈的峰值波長的折 反射光，空間上的一個點A(X,Y,Z)接受到一定波長的光，該光點繼續(xù)向全方位視 覺傳感器的雙曲面鏡2-l反射，光線朝向全方位視覺傳感器的雙曲面鏡2-1的實 焦點，根據(jù)雙曲面的鏡面特性向著全方位視覺傳感器的虛焦點14折反射，圖7
24所示；反映實物圖像的各具有一定波長的光點經(jīng)全方位視覺傳感器的雙曲面鏡2-1 反射到聚光透鏡中成像，在該成像平面上的一個點P (x,y)對應著實物在空間上的 一個點的坐標A(X,Y,Z)，光路圖如圖6中的粗實線所示；實際上通過兩個同一的 雙曲面鏡面以及LED光源9的共同作用使得在原有立體攝像測量中的特征選取、 圖像匹配步驟進行簡化，通過兩個同一參數(shù)的雙曲面鏡面以及LED光源9的共 同作用確定了空間上的一個點A(X,Y,Z)在成像平面上點P (x,y)的入射角和方位 角，即稱為確定空間上的點A(X,Y,Z)的約束條件；這是因為由于全景彩色結(jié)構(gòu)光 發(fā)生器與全方位視覺傳感器具有兩個相同參數(shù)的雙曲面鏡，且兩個相同參數(shù)的雙 曲面鏡在同一個軸心線上，因此確定點A(X,Y,Z)的方位角是非常容易的，關(guān)于發(fā) 射角可以通過LED光源9所確定的光線波長來確定，關(guān)于入射角可以通過成像平 面上點P(x,y)來確定，這樣就確定了點A(X,Y，Z)與觀察點的空間位置關(guān)系；
本發(fā)明中采用"中央眼"視覺方式來描述空間上某一物點A的信息(R, 0,e,r，g,b，t)，所謂的中央眼是立體視覺基線距的中點，是通過全方位視覺傳感器 和全景彩色結(jié)構(gòu)光發(fā)送器的視點之間的連線中心點來算得到，這里將中央眼的坐 標作為高斯球面坐標的原點O，如圖8所示；空間上某一物點A的信息(R, ^e,r,g,b,t)中的R用公式(13)的計算結(jié)果設(shè)置， 一用公式(14)的計算結(jié)果 設(shè)置，0用公式G)的計算結(jié)果設(shè)置，r,g,b分別用當LED光源的供電電源處于 OFF狀態(tài)時全方位視覺傳感器的成像平面上該像素點的實際色彩分量值設(shè)置，t 用微處理器的時鐘進行設(shè)置；這樣空間上的任何點的信息都能用(R, 0, P ,r,g,b, t) 7個分量值進行表達，如附圖9所示。
實施例2
參照圖6、圖12、圖13~14，本實施例在全景彩色結(jié)構(gòu)光發(fā)生器與全方位視 覺傳感器的連接方式上釆用背靠背型連接，如附圖附圖6、附圖12所示，所述全 方位視覺傳感器的第一上蓋1-1與所述全景彩色結(jié)構(gòu)光發(fā)生器的第二上蓋1-2連 接；這種連接方式將兩個具有同一參數(shù)的雙曲面鏡面的凹面對著凹面，且要保證 兩個第一雙曲面鏡面2-l、 2-2的軸心線重合，如圖6所示；從圖6中可知，背靠 背型的基于全彩色全景LED光源的主動三維立體全景視覺傳感器的基線距B最 短，立體視覺測量范圍最小，但是其結(jié)構(gòu)最緊湊。
本實施例的其他結(jié)構(gòu)與工作過程與實施例1相同。
實施例3
參照圖10、圖14~圖15，本實施例在全景彩色結(jié)構(gòu)光發(fā)生器與全方位視覺傳 感器的連接方式上采用面對背連接方式，如附圖IO所示，將全景彩色結(jié)構(gòu)光發(fā)生器的第二上蓋1-2與所述全方位視覺傳感器的第一連接單元7-1連接；這種連接 方式將兩個具有同一參數(shù)的雙曲面鏡面的凸面對著凹面，其中凸面是全方位視覺 傳感器的第一雙曲面鏡面2-1，凹面是全景彩色結(jié)構(gòu)光發(fā)生器的第二雙曲面鏡面 2-2，同時要保證兩個第一雙曲面鏡面2-l、 2-2的軸心線重合；這種面對背型的基 于全彩色全景LED光源的主動三維立體全景視覺傳感器的基線距B和立體測量范 圍處于圖11和圖12所示的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器的中間狀態(tài)。
本實施例的其他結(jié)構(gòu)與工作過程與實施例1相同。
實施例4
參照圖13~15，本實施例在全景彩色結(jié)構(gòu)光發(fā)生器與全方位視覺傳感器的連 接方式上采用背對面連接方式，如附圖13所示，將全方位視覺傳感器的第一上蓋 1-1與所述全景彩色結(jié)構(gòu)光發(fā)生器的第二連接單元7-2連接；這種連接方式將兩個 具有同一參數(shù)的雙曲面鏡面的凹面對著凸面，其中凹面是全方位視覺傳感器的第 一雙曲面鏡面2-l，凸面是全景彩色結(jié)構(gòu)光發(fā)生器的第二雙曲面鏡面2-2，同時要 保證兩個第一雙曲面鏡面2-l、 2-2的軸心線重合；這種背對面型的基于全彩色全 景LED光源的主動三維立體全景視覺傳感器的基線距B和立體測量范圍處于圖 11和圖12所示的基于全彩色全景LED光源的主動三維立體全景視覺傳感器的中 間狀態(tài)。，
本實施例的其他結(jié)構(gòu)與工作過程與實施例1相同。 實施例5
參照圖1 圖15，本實施例的LED光源的光譜范圍的選擇方面，在一些特殊 場合，如需要全景彩色結(jié)構(gòu)光發(fā)生器發(fā)出的是紅外光譜，因此將LED器件的光譜 范圍選擇在700nm 2000nm。
本實施例的其他結(jié)構(gòu)和工作過程與實施例l相同。.
權(quán)利要求
1、一種基于全彩色全景LED光源的主動三維立體全景視覺傳感器，其特征在于所述主動三維立體全景視覺傳感器包括全方位視覺傳感器、全景彩色結(jié)構(gòu)光發(fā)生器以及用于對全方位圖像進行三維立體攝像測量的微處理器，所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器配置在同一根軸心線上；所述全方位視覺傳感器包括第一雙曲面鏡、第一上蓋、第一透明半圓形外罩、第一下固定座、第一攝像單元固定座、攝像單元、第一連接單元和上罩；所述的第一雙曲面鏡固定在所述的第一上蓋上，所述的第一連接單元將所述的第一下固定座和第一透明半圓形外罩連接成一體，所述的第一透明半圓形外罩與所述的第一上蓋以及所述的上罩固定在一起，所述的攝像單元固定在所述的第一攝像單元固定座上，所述的第一攝像單元固定座固定在所述的第一下固定座上，所述全方位視覺傳感器中的攝像單元的輸出與所述微處理器連接；所述全景彩色結(jié)構(gòu)光發(fā)生器包括第二雙曲面鏡、第二上蓋、第二透明半圓形外罩、第二下固定座、第二連接單元和LED光源；所述的第二雙曲面鏡固定在所述的第二上蓋上，所述的第二連接單元將所述的第二下固定座和第二透明半圓形外罩連接成一體，所述的第二透明半圓形外罩與所述的第二上蓋通過螺釘固定在一起，所述的LED光源固定在所述的第二連接單元上；所述第二雙曲面鏡和第一雙曲面鏡具有相同的成像參數(shù)；所述微處理器包括LED光源控制單元、視頻圖像讀取單元、空間信息計算單元、三維圖像重構(gòu)單元和存儲設(shè)備；LED光源控制單元，用于控制全景彩色光編碼發(fā)生器發(fā)出全彩色全景結(jié)構(gòu)光，在LED光源控制單元使LED光源的供電電源處于ON狀態(tài)時，在全方位視覺傳感器的成像單元中直接獲得空間某物點的深度和方位角度信息；在LED光源控制單元使LED光源的供電電源處于OFF狀態(tài)時，在全方位視覺傳感器的成像單元中直接獲得空間某物點的實際色彩信息；實際LED光源的供電電源開關(guān)控制采用電子開關(guān)來實現(xiàn)；視頻圖像讀取模塊，用于讀取全方位視覺傳感器的視頻圖像，并保存在所述的存儲設(shè)備中，其輸出與所述的空間信息計算模塊連接；在LED光源的供電電源處于ON狀態(tài)時所讀取的全景視頻圖像中的各像素色彩帶有某物點的深度和方位角度信息；在LED光源的供電電源處于OFF狀態(tài)時所讀取的全景視頻圖像中的各像素色彩帶有某物點的實際色彩信息；空間信息計算模塊，用于計算空間上的物點到立體視覺測量裝置中心點的距離及入射角，分別計算空間物點與全方位視覺傳感器的實焦點Om的距離R1、空間物點與全景彩色結(jié)構(gòu)光調(diào)制單元的實焦點Op的距離R2、空間物點與中央眼的距離R以及空間物點的入射角φ；其輸出與三維圖像重構(gòu)模塊連接；三維圖像重構(gòu)模塊，用于將在全方位視覺傳感器中所獲取的全景圖像進行柱狀展開運算，展開圖中橫坐標表示方位角，縱坐標表示入射角；在展開全方位圖像時需要將該中心部分的圖像單獨分離出來，然后對全方位圖像進行展開，展開算法中水平方向的計算步長為，Δβ＝2π/l，式中1為水平展開幅度；垂直方向的計算步長為Δm＝(αo-max-αo-min)/m；式中，αo-max為全景原圖最大有效半徑Rmax對應的場景光線入射角，αo-min為全景原圖最小有效半徑Rmin對應的場景光線入射角；與用極坐標表示的全景原圖中的原像點A(Φ，β)對應的球面展開方式中的A點坐標分別為x＝β/Δβ，y＝(αo-αo-min)/Δm(8)式中Δβ為水平方向的計算步長，β為方位角，Δm為垂直方向的計算步長，αo全景原圖有效半徑R對應的場景光線入射角，αo-min為全景原圖最小有效半徑Rmin對應的場景光線入射角；在對全景圖像進行柱狀展開時，針對LED光源的供電電源處于ON/OFF兩種狀態(tài)會產(chǎn)生兩種不同的柱狀展開圖；當LED光源的供電電源處于ON的狀態(tài)時，在柱狀展開圖上帶有全景彩色結(jié)構(gòu)光所照射全景視頻圖像；當LED光源的供電電源處于OFF的狀態(tài)時，在柱狀展開圖上自然光所投射的全景視頻圖像。
2、如權(quán)利要求1所述的基于全彩色全景LED光源的主動三維立體全景視覺傳感器， 其特征在于所述的LED光源是由多組不同中心波長的LED所組成，每個LED 的發(fā)散角選擇在IO。，所述的LED光源的基板是一個圓形平板，每個LED均固定在該圓形平板上；不同中心波長的LED是以中心波長小到大從所述的圓形平板 的內(nèi)徑到外徑進行排列，同一中心波長的LED配置在所述的圓形平板的同一直徑 上；每個LED都正對著所述的第二雙曲面鏡。
3、 如權(quán)利要求1或2所述的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器，其特征在于對全彩色全景LED光源采用分時控制技術(shù)，通過電子開關(guān)來 控制全景彩色結(jié)構(gòu)光發(fā)生器的發(fā)光或者不發(fā)光，在LED光源控制單元使LED光 源的供電電源處于ON狀態(tài)時，在全方位視覺傳感器的成像單元中直接獲得空間 某物點的深度和方位角度信息；在LED光源控制單元使LED光源的供電電源處 于OFF狀態(tài)時，在全方位視覺傳感器的成像單元中直接獲得空間某物點的實際色 彩信息。
4、 如權(quán)利要求1或2所述的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器，其特征在于所述的第一雙曲面鏡和第二雙曲面鏡構(gòu)成的光學系統(tǒng)由下面 5個等式表示；<pr2 + ;r2)/a2)-((z—c)2/62) = —i 當z〉o時 (i)c = + 62 (2)/ = tan-乂"X) (3) a = tan-1 [(62 + c2) sin y _ 26c] / (62 + c2) cos ;k(4)(5)式中X、 Y、 Z表示空間坐標，c表示雙曲面鏡的焦點，2c表示兩個焦點之間的距 離，a，b分別是雙曲面鏡的實軸和虛軸的長度，e表示入射光線在XY投影平面上 與X軸的夾角，即方位角，a表示入射光線在XZ投影平面上與X軸的夾角，這 里將a'稱為入射角，a大于或等于O時稱為俯角，將a'小于O時稱為仰角，f 表示成像平面到雙曲面鏡的虛焦點的距離，Y表示折反射光線與Z軸的夾角；x,y 表示在成像平面上的一個點。
5、如權(quán)利要求1或2所述的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器，其特征在于所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采 用背靠背型連接，所述全方位視覺傳感器的第一上蓋與所述全景彩色結(jié)構(gòu)光發(fā)生器的第二上蓋連接；將兩個具有同一參數(shù)的雙曲面鏡面的凹面對著凹面。
6、 如權(quán)利要求1或2所述的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器，其特征在于所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采 用面對面連接，將所述全景彩色結(jié)構(gòu)光發(fā)生器的第二連接單元和所述全方位視覺 傳感器的第一連接單元通過螺釘進行連接。
7、 如權(quán)利要求1或2所述的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器，其特征在于所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采用面對背連接方式，將所述全景彩色結(jié)構(gòu)光發(fā)生器的第二上蓋與所述全方位視覺傳感器的第一連接單元連接；將兩個具有同一參數(shù)的雙曲面鏡面的凸面對著凹面， 其中凸面是全方位視覺傳感器的第一雙曲面鏡，凹面是全景彩色結(jié)構(gòu)光發(fā)生器的 第二雙曲面鏡。
8、 如權(quán)利要求1或2所述的基于全彩色全景LED光源的主動三維立體全景視覺傳 感器，其特征在于所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器之間采 用背對面連接方式，將所述全方位視覺傳感器的第一上蓋與所述全景彩色結(jié)構(gòu)光 發(fā)生器的第二連接單元連接；將兩個具有同一參數(shù)的雙曲面鏡面的凹面對著凸面， 其中凹面是全方位視覺傳感器的第一雙曲面鏡，凸面是全景彩色結(jié)構(gòu)光發(fā)生器的 第二雙曲面鏡。
9、 如權(quán)利要求1所述的基于全彩色全景LED光源的主動三維立體全景視覺傳感器， 其特征在于所述的空間信息計算模塊包括折射角(Xp計算單元、入射角ct。計算單 元和距離計算單元；其中，折射角otp計算單元，用于利用全景彩色結(jié)構(gòu)光發(fā)生器的折射角ap與LED器 件所發(fā)射出的光波長之間具有一定的函數(shù)關(guān)系來計算的，當LED光源的供電電源 處于ON狀態(tài)時，成像平面上的像素的色彩分量與折射角ap存在一一對應關(guān)系， 利用該關(guān)系來得到折射角ap;入射角a。計算模塊，用于利用全方位視覺傳感器的入射角ot。與折反射角y。 之間存在著公式(9)所示的函數(shù)關(guān)系，o;。 = tarT1[(62 +c2)sin;k。 —26c]/ (62 +c2)cos;k。 (9)折反射角Y。與成像平面上的一個點(x，y)存在著公式(10)所示的函數(shù)關(guān)系， y = tan-'[//vV+y)] (10)通過公式(9)和(10)可得到成像平面上的一個點(x,y)與入射角a。之間的 函數(shù)關(guān)系；距離計算單元，用于利用公式(11) ~ (14)分別計算空間物點與全方位視覺 傳感器的實焦點Om的距離Rl、空間物點與全景彩色結(jié)構(gòu)光發(fā)送單元的實焦點Op 的距離R2、空間物點與中央眼的距離R以及空間物點的入射角^，<formula>formula see original document page 6</formula>式中B為基線距，cc。為入射角，(Xp為折射角，Rl為物點A與全方位視覺傳 感器的實焦點Om的距離，R2為物點A與全景彩色結(jié)構(gòu)光發(fā)生器的實焦點Op的 距離，R為物點A與中央眼的距離，^為空間物點相對于中央眼的入射角。
10、如權(quán)利要求9所述的基于全彩色全景LED光源的主動三維立體全景視覺傳感 器，其特征在于在所述的空間信息計算模塊中，設(shè)置一張光編碼表來實現(xiàn)某一 光波長入與某一折射角(Xp之間存在的映射關(guān)系， 一張入射角計算表來實現(xiàn)某一個 點的坐標數(shù)據(jù)與該點所對應的入射角a。之間存在的映射關(guān)系，折射角otp、入射角 a。計算采用査表方式實現(xiàn)； ' 首先按全方位視覺傳感器的成像平面的點坐標順序讀取某一個點的波長A值，以 點坐標值檢索入射角計算表得到該點所對應的入射角ct。，接著以該點的光波長入 值檢索光編碼表得到該光波長X所對應的折射角ap;最后利用公式(11)或者公 式(12)或者公式(13)計算得到空間上某一點的距離信息。
全文摘要
一種基于全彩色全景LED光源的主動三維立體全景視覺傳感器，包括全方位視覺傳感器、全景彩色結(jié)構(gòu)光發(fā)生器以及用于對全方位圖像進行三維立體攝像測量的微處理器，所述全方位視覺傳感器與所述全景彩色結(jié)構(gòu)光發(fā)生器配置在同一根軸心線上；所述全方位視覺傳感器包括攝像單元和雙曲面折反射單元；所述全景彩色結(jié)構(gòu)光發(fā)生器包括LED彩色結(jié)構(gòu)光發(fā)生單元和雙曲面折射單元，所述的雙曲面折反射鏡面和所述的雙曲面折射鏡面具有相同成像參數(shù)；所述微處理器包括LED光源控制單元、視頻圖像讀取模塊、空間信息計算模塊和三維圖像重構(gòu)模塊。本發(fā)明能夠減少計算、快速完成測量、實時性好、實用性強。
文檔編號G01B11/00GK101619962SQ20091010132
公開日2010年1月6日 申請日期2009年7月30日 優(yōu)先權(quán)日2009年7月30日
發(fā)明者立 俞, 湯一平, 湯曉燕 申請人:浙江工業(yè)大學