專利名稱：以物為中心的單目全景立體視覺傳感器的制作方法
以物為中心的單目全景立體視覺傳感器技術(shù)領(lǐng)域
本發(fā)明屬于光學(xué)技術(shù)、計(jì)算機(jī)視覺技術(shù)在立體視覺測(cè)量方面的應(yīng)用。
背景技術(shù)：
基于計(jì)算機(jī)視覺的雙目立體視覺三維測(cè)量與立體重構(gòu)技術(shù)，是一門新興的、極具發(fā)展?jié)摿蛯?shí)用價(jià)值的應(yīng)用技術(shù)，可被廣泛應(yīng)用于工業(yè)檢測(cè)、地理勘測(cè)、醫(yī)學(xué)整容、骨科矯形、文物復(fù)制、刑偵取證、保安識(shí)別、機(jī)器人視覺、模具快速成型、禮品、虛擬現(xiàn)實(shí)、動(dòng)畫電影、 游戲等許多應(yīng)用領(lǐng)域。
立體視覺的基本原理是從兩個(gè)視點(diǎn)觀察同一景物，以獲取在不同視角下的感知圖像，通過三角測(cè)量原理計(jì)算圖像像素間的位置偏差、即視差，來獲取景物的三維信息，這一過程與人類視覺的立體感知過程是類似的。
目前要實(shí)現(xiàn)一個(gè)完整的立體視覺系統(tǒng)通常需要圖像獲取、攝像機(jī)標(biāo)定、特征提取、 立體匹配、深度確定及內(nèi)插等6個(gè)大部分內(nèi)容支持。利用低層圖像處理技術(shù)對(duì)雙目圖像進(jìn)行分析，選擇圖像對(duì)中的目標(biāo)特征并求解特征間的對(duì)應(yīng)關(guān)系，通過圖像匹配技術(shù)得到目標(biāo)視差，從而轉(zhuǎn)化為主體所需的深度信息。圖像獲取-攝像機(jī)標(biāo)定-圖像分割-特征提取-立體圖像匹配-距離確定已成為立體視覺系統(tǒng)處理的主線。
立體視覺的圖像獲取是由不同位置的多臺(tái)(包括兩臺(tái))或者一臺(tái)攝像機(jī)經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，獲取立體圖像對(duì)。假定攝像機(jī)Cl與C2的角距和內(nèi)部參數(shù)都相等， 兩攝像機(jī)的光軸互相平行，二維成像平面XlOlYl和X202Y2重合，Pl與P2分別是空間點(diǎn)P 在Cl與C2上的成像點(diǎn)。但一般情況下，針孔模型兩個(gè)攝像機(jī)的內(nèi)部參數(shù)不可能完成相同， 攝像機(jī)安裝時(shí)無法看到光軸和成像平面，故實(shí)際中難以應(yīng)用。
對(duì)立體視覺而言，攝像機(jī)是利用計(jì)算機(jī)技術(shù)對(duì)物理世界進(jìn)行重建前的基本測(cè)量工具，對(duì)它們的標(biāo)定是實(shí)現(xiàn)立體視覺基本而又關(guān)鍵的一步。通常先采用單攝像機(jī)的標(biāo)定方法， 分別得到兩個(gè)攝像機(jī)的內(nèi)、外參數(shù)；再通過同一世界坐標(biāo)中的一組定標(biāo)點(diǎn)來建立兩個(gè)攝像機(jī)之間的位置關(guān)系。在雙攝像機(jī)標(biāo)定中，需要精確的外部參數(shù)。由于結(jié)構(gòu)配置很難準(zhǔn)確，兩個(gè)攝像機(jī)的距離和視角受到限制，一般都需要至少6個(gè)以上的已知世界坐標(biāo)點(diǎn)，才能得到比較滿意的參數(shù)矩陣，所以實(shí)際測(cè)量過程不但復(fù)雜，而且效果并不一定理想，大大地限制了其應(yīng)用范圍。此外雙攝像機(jī)標(biāo)定還需考慮鏡頭的非線性校正、測(cè)量范圍和精度的問題。
立體像對(duì)中需要匹配的特征點(diǎn)應(yīng)滿足以下要求與傳感器類型及抽取特征所用技術(shù)等相適應(yīng)；具有足夠的魯棒性和一致性。在進(jìn)行特征點(diǎn)像的坐標(biāo)提取前，由于存在一系列的噪聲源，需要對(duì)獲取的圖像進(jìn)行預(yù)處理。通過預(yù)處理可顯著改進(jìn)圖像質(zhì)量。
立體匹配是雙目立體視覺中最關(guān)系、困難的一步。與普通的圖像配準(zhǔn)不同，立體像對(duì)之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的；根據(jù)匹配基元的不同，立體匹配可分為區(qū)域匹配、特征匹配和相位匹配三大類。無論是哪一種匹配算法都需要耗費(fèi)很多的計(jì)算資源。
三維重構(gòu)是在得到空間任一點(diǎn)在兩個(gè)圖像中的對(duì)應(yīng)坐標(biāo)和兩攝像機(jī)參數(shù)矩陣的條件下進(jìn)行空間點(diǎn)的重建。通過建立以該點(diǎn)的世界坐標(biāo)為未知數(shù)的4個(gè)線性方程，用最小6二乘法求解得該點(diǎn)的世界坐標(biāo)。實(shí)際重建通常采用外極線結(jié)束法?？臻g點(diǎn)、兩攝像機(jī)的光心這三點(diǎn)組成的平面分別與兩個(gè)成像平面的交線稱為該空間點(diǎn)在這兩個(gè)成像平面中的極線。 一旦兩攝像機(jī)的內(nèi)外參數(shù)確定，就可通過兩個(gè)成像平面上的極線的約束關(guān)系建立對(duì)應(yīng)點(diǎn)之間的關(guān)系，并由此聯(lián)立方程，求得圖像點(diǎn)的世界坐標(biāo)值。對(duì)圖像的全像素的三維重建目前僅能針對(duì)某一具體目標(biāo)，計(jì)算量大且效果不明顯。
全景視覺從觀察者和觀察物兩個(gè)不同觀察角度來分，可以分為以觀察者為中心的全景視覺和以觀察物為中心的全景視覺這兩者技術(shù)，以觀察者為中心的全景視覺技術(shù)是以觀察者為中心獲取周邊360°環(huán)境的全景圖像，即在觀察者位置不變化情況下周視360° 全方位的周邊環(huán)境的圖像獲取技術(shù)；以觀察物為中心的全景視覺是回繞著觀察對(duì)象獲取觀察對(duì)象的外觀全景圖像，即在觀察物位置不變化的情況下環(huán)視觀察物360°全方位的圖像獲取技術(shù)；目前已有很多專利披露了以觀察者為中心的單目全景視覺技術(shù)，但是在以觀察物為中心的單目全景視覺技術(shù)方面的相關(guān)專利和論文則十分鮮見；基本上是采用多臺(tái)攝像機(jī)從不同視角同時(shí)拍攝觀察對(duì)象或者是一臺(tái)攝像機(jī)從不同視角分別拍攝觀察對(duì)象；從不同視角下進(jìn)行拍攝觀察對(duì)象進(jìn)行三維測(cè)量與立體重構(gòu)存在著很多問題，首先是在攝像機(jī)的內(nèi)外參數(shù)和顏色系統(tǒng)方面很難保持一致性；其次是在特征提取和立體圖像匹配上要花費(fèi)很多計(jì)算資源，實(shí)時(shí)性欠缺；最后是立體視覺系統(tǒng)的軟件復(fù)雜度很高，對(duì)維護(hù)和使用要求非常高，不利于產(chǎn)業(yè)推廣和實(shí)際應(yīng)用。
一種理想的全景立體視覺系統(tǒng)希望拍攝硬件裝置簡(jiǎn)單可靠，進(jìn)行圖像分割、特征提取、立體圖像匹配和三維重構(gòu)等處理的軟件算法實(shí)現(xiàn)極其簡(jiǎn)單、實(shí)時(shí)性好、計(jì)算量小；系統(tǒng)能一次成像就快速的實(shí)現(xiàn)三維重構(gòu)。發(fā)明內(nèi)容
為了克服已有的三維重構(gòu)技術(shù)存在的實(shí)用性差、計(jì)算復(fù)雜度高、硬件成本高、維護(hù)和使用困難等不足，本發(fā)明提供一種實(shí)用性好、計(jì)算資源消耗低、硬件簡(jiǎn)單可靠、實(shí)時(shí)處理能力強(qiáng)、便于維護(hù)和使用的以物為中心的單目全景立體視覺傳感器。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
一種以物為中心的單目全景立體視覺傳感器，包括用于拍攝被重構(gòu)物體的視覺檢測(cè)箱，用于對(duì)被重構(gòu)物體進(jìn)行圖像處理、三維重構(gòu)和重構(gòu)結(jié)果輸出的微處理器；所述的微處理器包括
圖像讀取模塊，用于從所述的攝像機(jī)讀取包含有從攝像機(jī)直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像；傳感器標(biāo)定模塊，用于對(duì)攝像機(jī)的標(biāo)定、鏡頭的畸變矯正以及透視投影變換，將標(biāo)定攝像機(jī)的內(nèi)部參數(shù)以及透視投影變換的參數(shù)存儲(chǔ)到知識(shí)庫中；圖像處理模塊，用于從一幅圖像中分割出直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像，這里采用了全局Ostu算法來進(jìn)行圖像分割，然后根據(jù)知識(shí)庫中保存的傳感器的標(biāo)定結(jié)果對(duì)從橢球鏡面反射的被重構(gòu)物體圖像進(jìn)行透視投影轉(zhuǎn)換處理，得到水平投影面的俯視圖以及主視圖、左視圖、右視圖和后視圖四種基本視圖；三維重構(gòu)模塊，用于依據(jù)基本視圖之間的“長對(duì)正、高平齊、寬相等”的對(duì)應(yīng)關(guān)系重構(gòu)出被重構(gòu)物體的真實(shí)外形，得到被重構(gòu)物體外形表面任何點(diǎn)的坐標(biāo)值；結(jié)果輸出模塊，用于根據(jù)三維重構(gòu)模塊中所得到的重構(gòu)數(shù)據(jù)將三維重構(gòu)后的被重構(gòu)物體用三維的方式輸出。
進(jìn)一步，所述的視覺檢測(cè)箱包括用于從不同視角反射被重構(gòu)物體外形的橢球鏡面，用于固定攝像機(jī)和LED光源以及與所述的橢球鏡面構(gòu)成封閉的檢測(cè)空間的上蓋，用于支撐被重構(gòu)物體的支撐桿，用于拍攝被重構(gòu)物體外形的攝像機(jī)和用于為視覺檢測(cè)箱提供照明的LED光源；所述的上蓋的上部中心處嵌入有所述的攝像機(jī)，所述的上蓋的上部中心附近處嵌入有所述的LED光源，所述的LED光源傾斜2。角度對(duì)準(zhǔn)所述的橢球鏡面的焦點(diǎn)F1, 所述的上蓋與所述的橢球鏡面結(jié)合處有一個(gè)子口以保證這兩者之間的尺寸配合，同時(shí)也保證了所述的攝像機(jī)的針孔處于橢球鏡面的另一個(gè)共軛焦點(diǎn)F2，所述的支撐桿支撐著被重構(gòu)物體使得被重構(gòu)物體的中心基本上處于所述的橢球鏡面的焦點(diǎn)F1 ；
所述的橢球鏡面，其內(nèi)部的形狀為橢球，用塑料模具壓制而成，對(duì)其內(nèi)表面進(jìn)行鍍膜加工；所述的橢球鏡面的沿橢球的長軸方向上開有一個(gè)孔，孔的直徑大小略大于重構(gòu)物體外形的最大外徑尺寸Dmax，與孔相配合的有所述的支撐桿，所述的支撐桿能在孔中沿橢球的長軸方向上進(jìn)行上下移動(dòng)；橢球的短軸b的長度滿足以下關(guān)系；
下關(guān)系
b 彡 4Dmax (2)式中，b為橢球鏡面的短軸，Dmax為被重構(gòu)的物體的最大外徑尺寸；·所述的攝像機(jī)的鏡頭選擇采用微焦距，使得被重構(gòu)的物體成像最清晰同時(shí)滿足以Dm= (2. 5 2. 8)Dd (3)式中，Dm為在成像平面上通過橢球鏡面折反射成像的圖像部分的直徑，Dd為在成像平面上所述的攝像機(jī)直接獲取的圖像部分的直徑，如附圖4所示；
根據(jù)上述公式(3)基本上確定了橢球鏡面的焦距C，利用公式(4)可以求得橢球鏡面的長軸和尚心率；2a 二 c + bc η(φ-\-σ)
(4)a (sin # +sin σ)
式中，c為橢球鏡面的焦距,a為橢球鏡面的長軸,b為橢球鏡面的短軸，Φ為被重構(gòu)的物體上某一點(diǎn)的光的投射角，σ為被重構(gòu)的物體上某一點(diǎn)的光經(jīng)橢球鏡面的反射角；
所述的橢球鏡面的深度值h略小于橢球鏡面的長軸，即滿足h < a的關(guān)系；所述的橢球鏡面與所述的上蓋結(jié)合處開有雌子口。
再進(jìn)一步，所述的上蓋的外形為中空?qǐng)A柱形，中空的孔徑與所述的橢球鏡面的孔徑一致，外徑與所述的橢球鏡面的外徑一致，所述的上蓋與所述的橢球鏡面的結(jié)合處開有雄子口 ；所述的上蓋的高度取決于當(dāng)所述的上蓋與所述的橢球鏡面合在一起時(shí)所述的攝像機(jī)的鏡頭處于共軛焦點(diǎn)F2處，該共軛焦點(diǎn)F2就是以物為中心的單目全景立體視覺傳感器的單視點(diǎn)，焦點(diǎn)F1就是被重構(gòu)物體的中心點(diǎn)，也是坐標(biāo)系的原點(diǎn)。
更進(jìn)一步，所述的傳感器標(biāo)定模塊中，傳感器的內(nèi)部參數(shù)的標(biāo)定包括攝像機(jī)鏡頭投影模型參數(shù)、鏡頭半徑方向和切線方向畸變參數(shù)、攝像機(jī)的焦點(diǎn)距離和圖像主點(diǎn)位置參數(shù)；通過攝像機(jī)的標(biāo)定方法和相應(yīng)的算法計(jì)算出所有標(biāo)定變量(ζ，kl, k2, k3, k4, k5, fu, fv, uO, vO),其中ζ是關(guān)聯(lián)于單位投影平面的位置， kl, k2, k3, k4, k5是鏡頭畸變參數(shù)，fu, fv, uO, vO是鏡頭焦距和圖像主點(diǎn)位置；關(guān)于攝像機(jī)的標(biāo)定算法請(qǐng)參見機(jī)器視覺或者計(jì)算機(jī)視覺相關(guān)書籍中的攝像機(jī)標(biāo)定章節(jié)；標(biāo)定物采用類似于魔方的正六方體，標(biāo)定時(shí)將標(biāo)定物安置在橢球鏡面的焦點(diǎn)處。
所述的圖像處理模塊中，在從圖像獲取模塊中得到的圖像中包含了被重構(gòu)物體以及支撐桿，本發(fā)明中對(duì)支撐桿的顏色進(jìn)行了特別規(guī)定，使得被重構(gòu)物體能非常容易地從背景中完整的分割出來，這里首先對(duì)原始圖像采用了全局Ostu算法來進(jìn)行圖像分割，得到只包含直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像；接著，將直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像進(jìn)行分割，分別得到兩張直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像；然后根據(jù)知識(shí)庫中保存的傳感器的標(biāo)定結(jié)果對(duì)從橢球鏡面反射的被重構(gòu)物體圖像進(jìn)行透視投影圖像轉(zhuǎn)換處理，得到主視圖、左視圖、右視圖和后視圖四種基本視圖，根據(jù)知識(shí)庫中保存的傳感器的標(biāo)定結(jié)果對(duì)直接拍攝的被重構(gòu)物體圖像進(jìn)行變化處理，得到水平投影面的俯視所述的透視投影圖像轉(zhuǎn)換處理，主要是為了對(duì)從橢球鏡面反射的被重構(gòu)物體圖像通過透視投影圖像轉(zhuǎn)換處理得到主視圖、左視圖、右視圖和后視圖四種基本視圖以及向視透視投影圖像轉(zhuǎn)換處理算法原理如下從焦點(diǎn)F1到透視投影坐標(biāo)原點(diǎn)G引一條距離為D的直線F1-G,與這條F1-G相垂直的平面作為透視投影平面，因此透視投影平面是與 F1-G連接線相垂直的平面，將G點(diǎn)作為原點(diǎn)的平面坐標(biāo)系i，j，其中i軸是與XY平面平行的橫軸，J軸是與i軸和F1-G軸直角相交的縱軸，將從透視投影平面到單目全景立體視覺傳感器的焦點(diǎn)F1的距離作為D，定義透視投影平面的橫幅為W，縱幅為H，為了與俯視圖的圖像尺寸保持一致，透視投影平面的橫幅W和縱幅H的確定要根據(jù)實(shí)體攝像機(jī)的標(biāo)定結(jié)果， 即每像素代表真實(shí)物理空間上多少毫米值，即mm/pixcl，使得透視展開得到的各基本視圖與直接拍攝的被重構(gòu)物體圖像進(jìn)行變化處理后俯視圖具有相同的比例關(guān)系；由于i軸是與 XY平面平行，又是與Z軸垂直的，因此所得到的透視投影平面是以G點(diǎn)為坐標(biāo)中心與XY平面上旋轉(zhuǎn)一個(gè)角度，該角度就是F1-G連接線與Z軸的夾角，也就是投射角Φ，對(duì)于主視圖、 左視圖、右視圖和后視圖四種基本視圖的i軸的投射角Φ=0 ;四種基本視圖的j軸的方位角β均相間隔90° ;實(shí)際上主視圖、左視圖、右視圖和后視圖的坐標(biāo)原點(diǎn)均是捕球鏡面過焦點(diǎn)中心軸線在相隔90°切面的橢圓焦點(diǎn)直角三角形的點(diǎn)；
將F1-G作為變換中心軸，點(diǎn)G點(diǎn)作為變換中心點(diǎn)，用β (投射光線在XY平面上的投影線與X軸的夾角一方位角)、Φ以及距離D來表示變換中心軸，β方位角在0° 360° 范圍內(nèi)，β方位角用式(6)來表不
β = tan-1 (Y/X) = tan-1 (y/x) (6)
一般來說，距離D越長景物越小，距離D越短景物越大；為了與俯視圖的圖像尺寸保持一致，距離D的確定要根據(jù)實(shí)體攝像機(jī)的標(biāo)定結(jié)果，使得基本視圖之間保持“長對(duì)正、 高平齊、寬相等”的對(duì)應(yīng)關(guān)系；
通過透視投影平面的坐標(biāo)點(diǎn)P (i，j)求空間三坐標(biāo)中的P (x，y, ζ)，這樣就能得到投影平面與空間三坐標(biāo)的轉(zhuǎn)換關(guān)系，轉(zhuǎn)換關(guān)系式用公式(7)來表示
X = R*cos β _i*sin β (7)
Y=R*sinβ +i*cosβ
Z = D*cos Φ _j*sin Φ
R=D*sinΦ+j*cosΦ
式中D為透視投影平面到單目全景立體視覺傳感器的焦點(diǎn)F1的距離，β角是投射光線的方位角，Φ角度是投射光線的投射角，i軸是與XY平面平行的橫軸，j軸是與i軸和F1-G軸直角相交的縱軸。
所述的透視投影圖像轉(zhuǎn)換處理過程為首先根據(jù)傳感器的標(biāo)定結(jié)果得到的俯視圖的尺寸，然后以俯視圖的尺寸為基準(zhǔn)確定透視投影平面到單目全景立體視覺傳感器的焦點(diǎn) F1距離D ;通過這樣的距離D進(jìn)行透視展開所得到的主視圖、左視圖、右視圖和后視圖與直接拍攝的被重構(gòu)物體圖像經(jīng)圖像變換后得到的俯視圖的尺寸具有較好的一致性；這個(gè)距離 D作為展開重要參數(shù)保存在所述的知識(shí)庫中。
所述的三維重構(gòu)模塊，用于依據(jù)基本視圖之間的“長對(duì)正、高平齊、寬相等”的對(duì)應(yīng)關(guān)系重構(gòu)出被重構(gòu)物體的真實(shí)外形，得到被重構(gòu)物體外形表面任何點(diǎn)的坐標(biāo)值；在成像平面上，被重構(gòu)的物體上某一點(diǎn)Pv的光經(jīng)橢球鏡面的反射角σ與成像平面上的半徑值rl成函數(shù)關(guān)系，通過對(duì)攝像機(jī)的標(biāo)定可以建立反射角σ與成像平面上的半徑值rl的對(duì)應(yīng)關(guān)系， 即通過成像 平面上的半徑值rl可以計(jì)算得到反射角σ，然后利用公式(4)計(jì)算得到被重構(gòu)的物體上某一點(diǎn)的光的投射角Φ ;關(guān)于被重構(gòu)的物體上某一點(diǎn)的光的方位角β從成像平面上直接獲得；
在實(shí)體攝像機(jī)直接獲取的圖像部分，相當(dāng)于被重構(gòu)的物體的頂視圖，反映了被重構(gòu)的物體上某一點(diǎn)在XY平面上的投影，只要對(duì)攝像機(jī)進(jìn)行標(biāo)定，就能直接得到被重構(gòu)的物體上某一點(diǎn)的XY坐標(biāo)值，然后根據(jù)被重構(gòu)的物體上某一點(diǎn)的光的投射角Φ用公式(5)計(jì)算被重構(gòu)的物體上某一點(diǎn)在Z軸上的投影值，
Zp 二 +Yp xtan參(5)
式中，Zp為被重構(gòu)的物體上某一點(diǎn)在Z軸上的投影值，Xp為被重構(gòu)的物體上某一點(diǎn)在X軸上的投影值，Yp為被重構(gòu)的物體上某一點(diǎn)在Y軸上的投影值，Φ為被重構(gòu)的物體上某一點(diǎn)的光的投射角。
所述的結(jié)果輸出模塊中，根據(jù)三維重構(gòu)模塊中所得到的重構(gòu)數(shù)據(jù)將三維重構(gòu)后的被重構(gòu)物體用三維的方式在顯示器上表達(dá)出來，使用者根據(jù)自己的需要通過人機(jī)交互模塊選擇一種被重構(gòu)物體三維的表達(dá)方式；被重構(gòu)物體三維的表達(dá)方式有1)以主視圖、俯視圖和左視圖為主的表達(dá)方式，用戶在人機(jī)界面上通過拖動(dòng)的方式選擇在被重構(gòu)物體的某一個(gè)方位角β I作為透視展開主視圖的j軸，透視展開左視圖的j軸的方位角0 2=0^90°， 透視展開主視圖和透視展開左視圖的i軸對(duì)應(yīng)著被重構(gòu)物體的投射角Φ=0處；如果用戶還需要右視圖、后視圖和向視圖的輸出，通過人機(jī)界面上的選擇按鍵，在顯示器或者其他輸出設(shè)備上輸出相應(yīng)視圖，當(dāng)選擇向視圖輸出時(shí)，用戶需要確定方位角和投射角，通過公式(7) 計(jì)算得到向視圖；2)直接的三維輸出，通過三維重構(gòu)模塊得到了被重構(gòu)物體外形的點(diǎn)云數(shù)據(jù)，獲取的3D點(diǎn)云數(shù)據(jù)以STL、PLY、VRML和ASC等格式存儲(chǔ)，各種常見的CAD/CAM軟件都可以處理和顯示這些數(shù)據(jù)；3)不斷的變換視角的輸出，通過用循環(huán)程序不斷地改變公式(7) 中的方位角β，達(dá)到被重構(gòu)物體沿著中心線旋轉(zhuǎn)輸出。
所述的人機(jī)交互模塊，用于將傳感器的標(biāo)定結(jié)果輸入到攝像機(jī)的內(nèi)外參數(shù)表中， 用于選擇所述的結(jié)果輸出模塊的輸出方式，用于設(shè)定所述的圖像處理模塊中各種閾值，用于調(diào)整所述的透視投影圖像轉(zhuǎn)換處理中的各種參數(shù)。
本發(fā)明的以物為中心的單目全景立體視覺傳感器與多攝像機(jī)環(huán)繞被重構(gòu)的物體進(jìn)行拍攝、圖像分割、特征提取、立體圖像匹配和三維重構(gòu)技術(shù)方案相比較，本發(fā)明具有性價(jià)比高，并且所有“攝像機(jī)”具有嚴(yán)格一致的內(nèi)部參數(shù)和顏色系統(tǒng)，具有固定的單視點(diǎn)，因此更有利于特征匹配，實(shí)現(xiàn)快速、高精度三維重構(gòu)。


圖1為一種以物為中心的單目全景立體視覺傳感器的成像原理圖2為使用單目全景立體視覺傳感器對(duì)腳進(jìn)行三維重構(gòu)的示意圖，其中，I為橢圓型折反射鏡面，2為成像平面；
圖3為單目全景立體視覺傳感器的透視投影展開說明圖4為單目全景立體視覺傳感器的成像平面圖，其中，3為實(shí)體攝像機(jī)直接成像部分，4為橢球鏡面折反射成像部分；
圖5為單目全景立體視覺傳感器及三維重構(gòu)方法的軟件結(jié)構(gòu)框圖6為一種以物為中心的單目全景立體視覺傳感器的視覺檢測(cè)箱結(jié)構(gòu)，其中，5為上蓋，6為LED, 2為成像平面,7為保證配合的子口，8為攝像機(jī),9為被重構(gòu)物體,10為橢球折反射鏡面，11為支撐桿。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
實(shí)施例I
參照?qǐng)D1 圖6，一種以物為中心的單目全景立體視覺傳感器，包括用于拍攝被重構(gòu)物體的視覺檢測(cè)箱，用于對(duì)被重構(gòu)物體進(jìn)行圖像處理、三維重構(gòu)和重構(gòu)結(jié)果輸出的微處理器；
所述的視覺檢測(cè)箱包括用于從不同視角反射被重構(gòu)物體外形的橢球鏡面，用于固定攝像機(jī)和LED光源以及與所述的橢球鏡面構(gòu)成封閉的檢測(cè)空間的上蓋，用于支撐被重構(gòu)物體的支撐桿，用于拍攝被重構(gòu)物體外形的攝像機(jī)，用于為視覺檢測(cè)箱提供照明的LED 光源；所述的上蓋的上部中心處嵌入有所述的攝像機(jī)，所述的上蓋的上部中心附近處嵌入有所述的LED光源，所述的LED光源傾斜2。角度對(duì)準(zhǔn)所述的橢球鏡面的焦點(diǎn)F1，所述的上蓋與所述的橢球鏡面結(jié)合處有一個(gè)子口以保證這兩者之間的尺寸配合，同時(shí)也保證了所述的攝像機(jī)的針孔處于橢球鏡面的另一個(gè)共軛焦點(diǎn)F2，所述的支撐桿支撐著被重構(gòu)物體使得被重構(gòu)物體的中心基本上處于所述的橢球鏡面的焦點(diǎn)F1附近；
所述的橢球鏡面的形狀如附圖1中的斜線部分所示，其內(nèi)部的形狀為橢球，用塑料模具壓制而成，然后對(duì)其內(nèi)表面進(jìn)行鍍膜加工；所述的橢球鏡面的沿橢球的長軸方向上開有一個(gè)孔，孔的直徑大小略大于重構(gòu)物體外形的最大外徑尺寸Dmax，與孔相配合的有所述的支撐桿，所述的支撐桿能在孔中沿橢球的長軸方向上進(jìn)行上下移動(dòng)；橢球的短軸b的長度滿足以下關(guān)系；
b 彡 4Dmax (2)
式中，b為橢球鏡面的短軸，Dmax為被重構(gòu)的物體的最大外徑尺寸；
所述的攝像機(jī)的鏡頭選擇采用微焦距成像，使得被重構(gòu)的物體成像最清晰同時(shí)滿足以下關(guān)系；
Dm= (2. 5^2. 8) Dd (3)
式中，Dm為在成像平面上通過橢球鏡面折反射成像的圖像部分的直徑，Dd為在成像平面上所述的攝像機(jī)直接獲取的圖像部分的直徑，如附圖4所示；
根據(jù)上述公式(3)基本上確定了橢球鏡面的焦距C，利用公式(4)可以求得橢球鏡面的長軸和尚心率；
權(quán)利要求
1.一種以物為中心的單目全景立體視覺傳感器，其特征在于包括用于拍攝被重構(gòu)物體的視覺檢測(cè)箱，用于對(duì)被重構(gòu)物體進(jìn)行圖像處理、三維重構(gòu)和重構(gòu)結(jié)果輸出的微處理器；所述的微處理器包括 圖像讀取模塊，用于從所述的攝像機(jī)讀取包含有從攝像機(jī)直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像；傳感器標(biāo)定模塊，用于對(duì)攝像機(jī)的標(biāo)定、鏡頭的畸變矯正以及透視投影變換，將標(biāo)定攝像機(jī)的內(nèi)部參數(shù)以及透視投影變換的參數(shù)存儲(chǔ)到知識(shí)庫中；圖像處理模塊，用于從一幅圖像中分割出直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像，這里采用了全局OstU算法來進(jìn)行圖像分割，然后根據(jù)知識(shí)庫中保存的傳感器的標(biāo)定結(jié)果對(duì)從橢球鏡面反射的被重構(gòu)物體圖像進(jìn)行透視投影轉(zhuǎn)換處理，得到水平投影面的俯視圖以及主視圖、左視圖、右視圖和后視圖四種基本視圖；三維重構(gòu)模塊，用于依據(jù)基本視圖之間的“長對(duì)正、高平齊、寬相等”的對(duì)應(yīng)關(guān)系重構(gòu)出被重構(gòu)物體的真實(shí)外形，得到被重構(gòu)物體外形表面任何點(diǎn)的坐標(biāo)值；結(jié)果輸出模塊，用于根據(jù)三維重構(gòu)模塊中所得到的重構(gòu)數(shù)據(jù)將三維重構(gòu)后的被重構(gòu)物體用三維的方式輸出。
2.如權(quán)利要求1所述的以物為中心的單目全景立體視覺傳感器，其特征在于所述的視覺檢測(cè)箱包括用于從不同視角反射被重構(gòu)物體外形的橢球鏡面，用于固定攝像機(jī)和LED光源以及與所述的橢球鏡面構(gòu)成封閉的檢測(cè)空間的上蓋，用于支撐被重構(gòu)物體的支撐桿，用于拍攝被重構(gòu)物體外形的攝像機(jī)和用于為視覺檢測(cè)箱提供照明的LED光源；所述的上蓋的上部中心處嵌入有所述的攝像機(jī)，所述的上蓋的上部中心附近處嵌入有所述的LED光源，所述的LED光源傾斜2。角度對(duì)準(zhǔn)所述的橢球鏡面的焦點(diǎn)F1，所述的上蓋與所述的橢球鏡面結(jié)合處有一個(gè)子口以保證這兩者之間的尺寸配合，同時(shí)也保證了所述的攝像機(jī)的針孔處于橢球鏡面的另一個(gè)共軛焦點(diǎn)F2，所述的支撐桿支撐著被重構(gòu)物體使得被重構(gòu)物體的中心基本上處于所述的橢球鏡面的焦點(diǎn)F1 ； 所述的橢球鏡面，其內(nèi)部的形狀為橢球，用塑料模具壓制而成，對(duì)其內(nèi)表面進(jìn)行鍍膜加工；所述的橢球鏡面的沿橢球的長軸方向上開有一個(gè)孔，孔的直徑大小略大于重構(gòu)物體外形的最大外徑尺寸Dmax，與孔相配合的有所述的支撐桿，所述的支撐桿能在孔中沿橢球的長軸方向上進(jìn)行上下移動(dòng)；橢球的短軸b的長度滿足以下關(guān)系； b 彡 4Dmax (2) 式中，b為橢球鏡面的短軸，Dmax為被重構(gòu)的物體的最大外徑尺寸； 所述的攝像機(jī)的鏡頭選擇采用微焦距，使得被重構(gòu)的物體成像最清晰同時(shí)滿足以下關(guān)系;
3.如權(quán)利要求I或2所述的以物為中心的單目全景立體視覺傳感器，其特征在于所述的上蓋的外形為中空?qǐng)A柱形，中空的孔徑與所述的橢球鏡面的孔徑一致，外徑與所述的橢球鏡面的外徑一致，所述的上蓋與所述的橢球鏡面的結(jié)合處開有雄子口 ；所述的上蓋的高度取決于當(dāng)所述的上蓋與所述的橢球鏡面合在一起時(shí)所述的攝像機(jī)的鏡頭處于共軛焦點(diǎn)F2處，該共軛焦點(diǎn)F2就是以物為中心的單目全景立體視覺傳感器的單視點(diǎn)，焦點(diǎn)F1就是被重構(gòu)物體的中心點(diǎn)，也是坐標(biāo)系的原點(diǎn)。
4.如權(quán)利要求I或2所述的以物為中心的單目全景立體視覺傳感器，其特征在于所述的傳感器標(biāo)定模塊中，傳感器的內(nèi)部參數(shù)的標(biāo)定包括攝像機(jī)鏡頭投影模型參數(shù)、鏡頭半徑方向和切線方向畸變參數(shù)、攝像機(jī)的焦點(diǎn)距離和圖像主點(diǎn)位置參數(shù)；通過攝像機(jī)的標(biāo)定方法和相應(yīng)的算法計(jì)算出所有標(biāo)定變量U，kl，k2, k3, k4, k5, fu, fv, uO, vO)，其中ζ是關(guān)聯(lián)于單位投影平面的位置，kl, k2, k3, k4, k5是鏡頭畸變參數(shù)，fu, fv, uO, vO是鏡頭焦距和圖像主點(diǎn)位置；關(guān)于攝像機(jī)的標(biāo)定算法請(qǐng)參見機(jī)器視覺或者計(jì)算機(jī)視覺相關(guān)書籍中的攝像機(jī)標(biāo)定章節(jié)；標(biāo)定物采用類似于魔方的正六方體，標(biāo)定時(shí)將標(biāo)定物安置在橢球鏡面的焦點(diǎn)處。
5.如權(quán)利要求I或2所述的以物為中心的單目全景立體視覺傳感器，其特征在于所述的圖像處理模塊中，在從圖像獲取模塊中得到的圖像中包含了被重構(gòu)物體以及支撐桿，本發(fā)明中對(duì)支撐桿的顏色進(jìn)行了特別規(guī)定，使得被重構(gòu)物體能非常容易地從背景中完整的分割出來，這里首先對(duì)原始圖像采用了全局Ostu算法來進(jìn)行圖像分割，得到只包含直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像；接著，將直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像進(jìn)行分割，分別得到兩張直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像；然后根據(jù)知識(shí)庫中保存的傳感器的標(biāo)定結(jié)果對(duì)從橢球鏡面反射的被重構(gòu)物體圖像進(jìn)行透視投影圖像轉(zhuǎn)換處理，得到主視圖、左視圖、右視圖和后視圖四種基本視圖，根據(jù)知識(shí)庫中保存的傳感器的標(biāo)定結(jié)果對(duì)直接拍攝的被重構(gòu)物體圖像進(jìn)行變化處理，得到水平投影面的俯視圖； 所述的透視投影圖像轉(zhuǎn)換處理，主要是為了對(duì)從橢球鏡面反射的被重構(gòu)物體圖像通過透視投影圖像轉(zhuǎn)換處理得到主視圖、左視圖、右視圖和后視圖四種基本視圖以及向視圖； 透視投影圖像轉(zhuǎn)換處理算法原理如下從焦點(diǎn)F1到透視投影坐標(biāo)原點(diǎn)G引一條距離為D的直線F1-G,與這條F1-G相垂直的平面作為透視投影平面，因此透視投影平面是與F1-G連接線相垂直的平面，將G點(diǎn)作為原點(diǎn)的平面坐標(biāo)系i，j，其中i軸是與XY平面平行的橫軸，J軸是與i軸和F1-G軸直角相交的縱軸，將從透視投影平面到單目全景立體視覺傳感器的焦點(diǎn)F1的距離作為D，定義透視投影平面的橫幅為W，縱幅為H，為了與俯視圖的圖像尺寸保持一致，透視投影平面的橫幅W和縱幅H的確定要根據(jù)實(shí)體攝像機(jī)的標(biāo)定結(jié)果，即每像素代表真實(shí)物理空間上多少毫米值，即mm/pixcl，使得透視展開得到的各基本視圖與直接拍攝的被重構(gòu)物體圖像進(jìn)行變化處理后俯視圖具有相同的比例關(guān)系；由于i軸是與XY平面平行，又是與Z軸垂直的，因此所得到的透視投影平面是以G點(diǎn)為坐標(biāo)中心與XY平面上旋轉(zhuǎn)一個(gè)角度，該角度就是F1-G連接線與Z軸的夾角，也就是投射角Φ，對(duì)于主視圖、左視圖、右視圖和后視圖四種基本視圖的i軸的投射角Φ=0 ;四種基本視圖的j軸的方位角β均相間隔90° ;實(shí)際上主視圖、左視圖、右視圖和后視圖的坐標(biāo)原點(diǎn)均是橢球鏡面過焦點(diǎn)中心軸線在相隔90°切面的橢圓焦點(diǎn)直角三角形的點(diǎn)； 將F1-G作為變換中心軸，點(diǎn)G點(diǎn)作為變換中心點(diǎn)，用β (投射光線在XY平面上的投影線與X軸的夾角一方位角)、Φ以及距離D來表示變換中心軸，β方位角在0° 360°范圍內(nèi)，β方位角用式(6)來表示
6.如權(quán)利要求或所述的以物為中心的單目全景立體視覺傳感器，其特征在于所述的透視投影圖像轉(zhuǎn)換處理過程為首先根據(jù)傳感器的標(biāo)定結(jié)果得到的俯視圖的尺寸，然后以俯視圖的尺寸為基準(zhǔn)確定透視投影平面到單目全景立體視覺傳感器的焦點(diǎn)F1的距離D ;通過這樣的距離D進(jìn)行透視展開所得到的主視圖、左視圖、右視圖和后視圖與直接拍攝的被重構(gòu)物體圖像經(jīng)圖像變換后得到的俯視圖的尺寸具有較好的一致性；這個(gè)距離D作為展開重要參數(shù)保存在所述的知識(shí)庫中。
7.如權(quán)利要求1或2所述的以物為中心的單目全景立體視覺傳感器及三維重構(gòu)方法，其特征在于所述的三維重構(gòu)模塊，用于依據(jù)基本視圖之間的“長對(duì)正、高平齊、寬相等”的對(duì)應(yīng)關(guān)系重構(gòu)出被重構(gòu)物體的真實(shí)外形，得到被重構(gòu)物體外形表面任何點(diǎn)的坐標(biāo)值；在成像平面上，被重構(gòu)的物體上某一點(diǎn)Pv的光經(jīng)橢球鏡面的反射角σ與成像平面上的半徑值rl成函數(shù)關(guān)系，通過對(duì)攝像機(jī)的標(biāo)定可以建立反射角σ與成像平面上的半徑值rl的對(duì)應(yīng)關(guān)系，即通過成像平面上的半徑值rl可以計(jì)算得到反射角σ，然后利用公式(4)計(jì)算得到被重構(gòu)的物體上某一點(diǎn)的光的投射角Φ ;關(guān)于被重構(gòu)的物體上某一點(diǎn)的光的方位角β從成像平面上直接獲得； 在實(shí)體攝像機(jī)直接獲取的圖像部分，相當(dāng)于被重構(gòu)的物體的頂視圖，反映了被重構(gòu)的物體上某一點(diǎn)在XY平面上的投影，只要對(duì)攝像機(jī)進(jìn)行標(biāo)定，就能直接得到被重構(gòu)的物體上某一點(diǎn)的XY坐標(biāo)值，然后根據(jù)被重構(gòu)的物體上某一點(diǎn)的光的投射角Φ用公式(5)計(jì)算被重構(gòu)的物體上某一點(diǎn)在Z軸上的投影值，
8.如權(quán)利要求I或2所述的以物為中心的單目全景立體視覺傳感器，其特征在于所述的結(jié)果輸出模塊中，根據(jù)三維重構(gòu)模塊中所得到的重構(gòu)數(shù)據(jù)將三維重構(gòu)后的被重構(gòu)物體用三維的方式在顯示器上表達(dá)出來，使用者根據(jù)自己的需要通過人機(jī)交互模塊選擇一種被重構(gòu)物體三維的表達(dá)方式；被重構(gòu)物體三維的表達(dá)方式有1)以主視圖、俯視圖和左視圖為主的表達(dá)方式，用戶在人機(jī)界面上通過拖動(dòng)的方式選擇在被重構(gòu)物體的某一個(gè)方位角^^作為透視展開主視圖的j軸，透視展開左視圖的j軸的方位角，透視展開主視圖和透視展開左視圖的i軸對(duì)應(yīng)著被重構(gòu)物體的投射角Φ=0處；如果用戶還需要右視圖、后視圖和向視圖的輸出，通過人機(jī)界面上的選擇按鍵，在顯示器或者其他輸出設(shè)備上輸出相應(yīng)視圖，當(dāng)選擇向視圖輸出時(shí)，用戶需要確定方位角和投射角，通過公式(7)計(jì)算得到向視圖；2)直接的三維輸出，通過三維重構(gòu)模塊得到了被重構(gòu)物體外形的點(diǎn)云數(shù)據(jù)，獲取的3D點(diǎn)云數(shù)據(jù)以STL、PLY、VRML和ASC等格式存儲(chǔ)，各種常見的CAD/CAM軟件都可以處理和顯示這些數(shù)據(jù)；3)不斷的變換視角的輸出，通過用循環(huán)程序不斷地改變公式(7)中的方位角β，達(dá)到被重構(gòu)物體沿著中心線旋轉(zhuǎn)輸出。
9.如權(quán)利要求I或2所述的以物為中心的單目全景立體視覺傳感器，其特征在于所述的人機(jī)交互模塊，用于將傳感器的標(biāo)定結(jié)果輸入到攝像機(jī)的內(nèi)外參數(shù)表中，用于選擇所述的結(jié)果輸出模塊的輸出方式，用于設(shè)定所述的圖像處理模塊中各種閾值，用于調(diào)整所述的透視投影圖像轉(zhuǎn)換處理中的各種參數(shù)。
全文摘要
一種以物為中心的單目全景立體視覺傳感器，包括用于拍攝被重構(gòu)物體的視覺檢測(cè)箱，用于對(duì)被重構(gòu)物體進(jìn)行圖像處理、三維重構(gòu)和重構(gòu)結(jié)果輸出的微處理器；微處理器包括圖像讀取模塊，傳感器標(biāo)定模塊，圖像處理模塊，用于從一幅圖像中分割出直接拍攝的被重構(gòu)物體圖像和從橢球鏡面反射的被重構(gòu)物體圖像，對(duì)從橢球鏡面反射的被重構(gòu)物體圖像進(jìn)行透視投影轉(zhuǎn)換處理，得到水平投影面的俯視圖以及主視圖、左視圖、右視圖和后視圖四種基本視圖；三維重構(gòu)模塊，用于依據(jù)基本視圖之間的“長對(duì)正、高平齊、寬相等”的對(duì)應(yīng)關(guān)系重構(gòu)出被重構(gòu)物體的真實(shí)外形；結(jié)果輸出模塊。本發(fā)明實(shí)用性好、計(jì)算資源消耗低、硬件簡(jiǎn)單可靠、實(shí)時(shí)處理能力強(qiáng)、便于維護(hù)和使用。
文檔編號(hào)G01B11/24GK102980513SQ20121043226
公開日2013年3月20日 申請(qǐng)日期2012年11月2日 優(yōu)先權(quán)日2012年11月2日
發(fā)明者湯一平, 夏少杰, 馮亦軍, 陳新峰, 朱治亮, 姜榮劍, 周靜愷, 林璐璐, 劉康, 徐海濤, 俞立 申請(qǐng)人:浙江工業(yè)大學(xué)