一種視覺里程計的制作方法
【專利摘要】一種視覺里程計，包括圓盤底座、相機、USB多路接口、處理器、慣性測量器，所述處理器和所述慣性測量器集成在所述圓盤底座的中心，所述慣性測量器與所述處理器相連接，所述USB接口有多個，所述USB接口一端與所述處理器相連接，另一端與所述相機連接，所述相機的數(shù)量為四個，所述相機的中心位于所述圓盤底座的圓周上，所述相鄰相機之間的夾角為90°，相機與系統(tǒng)中心有一定的距離。本實用新型提供的視覺里程計，綜合了全向單目視覺里程計以及立體視覺里程計的優(yōu)勢，既具有視野范圍大，能夠使特征點長時間保留在視野當(dāng)中，避免了特征點不足而引起的里程計失效，又可以獲得視覺里程計運動軌跡的絕對尺度。
【專利說明】
一種視覺里程計
技術(shù)領(lǐng)域
[0001 ] 本實用新型涉及計量領(lǐng)域，特別是涉及一種視覺里程計。
【背景技術(shù)】
[0002] 視覺里程計的原理是對單個或多個相機所拍攝的圖像進行處理，從而計算出拍攝 圖像的過程中攝像機的運動狀態(tài)。視覺里程計作為當(dāng)前計算機視覺技術(shù)的研究熱點，在室 內(nèi)移動測量以及機器人行業(yè)中有很高的應(yīng)用價值。
[0003] -般的視覺里程計根據(jù)所使用的視覺系統(tǒng)的不同，可以分為單目視覺里程計和立 體視覺里程計。
[0004] 單目視覺里程計:單目視覺里程計的缺點是所計算的運動信息缺少絕對尺度（即 運動軌跡不具備實際比例尺），因此需要額外的約束或者假設(shè)條件(如控制點等）。由于不具 備絕對尺度，在不具備控制信息的陌生環(huán)境中，單目視覺里程計并不能還原出真實的運動 距離以及軌跡，這使得單目視覺里程計的應(yīng)用環(huán)境收到限制。
[0005] 立體視覺里程計:通過固定基線以及三角測量原理，立體視覺里程計可以得到所 拍攝圖像的深度信息，通過深度信息，立體視覺里程計可以得到運動的絕對尺度。然而立體 視覺里程計不具備的單目視覺里程計的寬廣視野，三維點建立的范圍較小，當(dāng)視野內(nèi)物體 不具備明顯特征點時，視覺里程計容易失效。 【實用新型內(nèi)容】
[0006] 本實用新型的目的是提供一種視覺里程計，既具有視野范圍大，能夠使特征點長 時間保留在視野當(dāng)中，避免了特征點不足而引起的里程計失效，又可以獲得視覺里程計運 動軌跡的絕對尺度。
[0007] 為實現(xiàn)上述目的，本實用新型提供了如下方案：
[0008] -種視覺里程計，包括圓盤底座、相機、USB接口、處理器、慣性測量器，所述處理器 和所述慣性測量器集成在所述圓盤底座的中心，所述慣性測量器與所述處理器相連接，所 述USB接口有多個，所述USB接口一端與所述處理器相連接，另一端與所述相機連接，所述相 機的數(shù)量為四個，所述相機的中心位于所述圓盤底座的圓周上，所述相鄰相機之間的夾角 為90°，所述相機的傳感器距離所述圓盤底座中心大于等于10cm。
[0009] 可選的，所述相機的鏡頭采用魚眼鏡頭，所述魚眼鏡頭的有效視角大于等于110°。 [0010]可選的，所述里程計還包括WIFI模塊，所述WIFI模塊集成在所述處理器上，所述處 理器計算所述里程計的運動軌跡，并將運算結(jié)果通過所述WIFI模塊或所述USB接口傳輸至 移動設(shè)備。
[0011] 可選的，所述DSP處理器上搭載有圖像處理器。
[0012] 可選的，所述移動設(shè)備與計算機通信連接，所述移動設(shè)備將所述運算結(jié)果傳輸至 所述計算機中，在所述計算機中實現(xiàn)全景的拼接顯示以及所述里程計的運動軌跡的計算。
[0013] 可選的，所述處理器計算所述里程計的運動軌跡所采用的公式為
其中U1為空間直線以及系統(tǒng)中心所在平面的法線向量， V1為空間直線的方向向量，U2為下一時刻所述空間直線以及系統(tǒng)中心所在平面的法線向量， v2為下一時刻所述空間直線的方向向量，所述系統(tǒng)中心為系統(tǒng)坐標系的原點，所述系統(tǒng)坐 標系為以所述四個相機的幾何中心為原點建立的坐標系，R為所述相機在系統(tǒng)坐標系中的 旋轉(zhuǎn)矩陣，t為所述相機在系統(tǒng)坐標系中的偏移向量，R由所述慣性測量器提供。
[0014] 根據(jù)本實用新型提供的具體實施例，本實用新型公開了以下技術(shù)效果:本實用新 型提供的視覺里程計，綜合了全向單目視覺里程計以及立體視覺里程計的優(yōu)勢，既具有視 野范圍大，能夠使特征點長時間保留在視野當(dāng)中，避免了特征點不足而引起的里程計失效， 又可以獲得視覺里程計運動軌跡的絕對尺度。
【附圖說明】
[0015] 為了更清楚地說明本實用新型實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例 中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本實用新型的 一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù) 這些附圖獲得其他的附圖。
[0016] 圖1為本實用新型實施例視覺里程計的結(jié)構(gòu)示意圖的俯視圖；
[0017] 圖2為本實用新型實施例視覺里程計的結(jié)構(gòu)示意圖的側(cè)視圖。
[0018] 1、圓盤底座2、相機3、USB多路接口 4、集成結(jié)構(gòu)
【具體實施方式】
[0019] 下面將結(jié)合本實用新型實施例中的附圖，對本實用新型實施例中的技術(shù)方案進行 清楚、完整地描述，顯然，所描述的實施例僅僅是本實用新型一部分實施例，而不是全部的 實施例。基于本實用新型中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下 所獲得的所有其他實施例，都屬于本實用新型保護的范圍。
[0020] 本實用新型的目的是提供一種視覺里程計，該視覺里程計既具有廣泛的視野，能 夠使特征點長時間保留在視野當(dāng)中，又可以獲得視覺里程計運動軌跡的絕對尺度。
[0021] 為使本實用新型的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具 體實施方式對本實用新型作進一步詳細的說明。
[0022] 圖1為本實用新型實施例視覺里程計的結(jié)構(gòu)示意圖的俯視圖，如圖1所示，塑料圓 盤底座1中心有一個USB多路接口 3，連接著四個USB3.0相機2，每個相機2的中心均位于圓盤 底座1的圓周上，而且相鄰相機之間的夾角為90°，相機2使用魚眼鏡頭，有效視場角2 110°， 集成結(jié)構(gòu)4位于盤底座的中心，由處理器DSP、WIFI模塊、慣性測量器頂U構(gòu)成，四臺相機的圖 像可以通過USB接口實時傳輸給處理器DSP，處理器DSP實時處理所傳入的四臺相機的圖像， 并結(jié)合慣性測量器IMU提供的翻滾角以及俯仰角計算出視覺里程計的方向角以及中心位 置。
[0023] 圖2為本實用新型實施例視覺里程計的結(jié)構(gòu)示意圖的側(cè)視圖，如圖2所示，圓盤底 座1的直徑長度D越大，精度越高，測量范圍越遠。
[0024] 本實用新型中圖像特征點提取、全景拼接、系統(tǒng)中心位置解算等過程皆在處理器 DSP中進行運算，并通過USB線或DSP上集成的WIFI模塊將結(jié)果實時傳輸?shù)狡渌O(shè)備上，不需 要額外耗費其余外接設(shè)備的運算能力。為保證DSP能夠同時處理四臺相機所傳回的視頻， DSP上搭載有強大的圖像處理器GPU。本實用新型提供的視覺里程計相機將采集的圖像通過 USB接口實時的傳輸給處理器DSP，處理器DSP對提取圖像中的特征點，并結(jié)合慣性測量器 MU提供的翻滾角以及俯仰角計算出視覺里程計的方向角以及中心位置，并通過USB接口或 是WIFI模塊將計算結(jié)果傳輸?shù)狡渌苿釉O(shè)備上，其他移動設(shè)備再與計算機進行通信連接并 將計算結(jié)果傳輸?shù)接嬎銠C上，計算機再根據(jù)接收到的數(shù)據(jù)將圖像拼接并顯示，同時顯示出 視覺里程計的運動軌跡的絕對位置。
[0025] 本實用新型提供的視覺里程計定位方法包括以下兩步：
[0026] 1、約束方程的求取
[0027] 為了描述視覺里程計的相機系統(tǒng)，使用普呂克矢量來分別描述由每一條由不同攝 影中心所發(fā)出的光線。給定兩個在三維齊次坐標系中的點A=[a x ay az aw]T和B=[bx by bz bw]T，兩點所在空間直線可以用普呂克矢量來表示，它是一個六維向量L= [u，v]T= [L1 L2 L3 L4 L5 L6]T，其中u為空間直線以及系統(tǒng)中心所在平面的法線向量，V為空間直線的方向向 量：
[0028] (:1>
[0029] 空間直線L可以在多個坐標系之間轉(zhuǎn)換，如從攝影測量坐標系{W}轉(zhuǎn)換到系統(tǒng)坐標 系{S}，轉(zhuǎn)換公式如下：
[0030] Ls = TwLw (2)
[0031] 其中，轉(zhuǎn)換矩陣T如下：
[0032]
(3)
[0033]公式(3)中的R和t分別為相機系統(tǒng)在攝影測量坐標系中的旋轉(zhuǎn)矩陣及偏移向量， 同時也是我們在相對定向中所要解求的未知數(shù)。
[0034]在多鏡頭全景相機系統(tǒng)中，從像點坐標到世界坐標系{W}需要經(jīng)過兩次轉(zhuǎn)換:首先 以多鏡頭全景相機系統(tǒng)內(nèi)每個相機中心為坐標原點分別建立各自的相機坐標系{Ci }，將像點 轉(zhuǎn)換為三維向
則像點與相機中心所構(gòu)成的空間線艮
然后以系統(tǒng)中心為原點建立系統(tǒng)坐標系{S}，=
,其中 Ri為每個相機在系統(tǒng)中的旋轉(zhuǎn)矩陣，ti為每個相機相對于系統(tǒng)中心的偏移向量。最后再使用 公式(2)將空間直線從系統(tǒng)坐標系轉(zhuǎn)化到攝影測量坐標系當(dāng)中。
[0035]給定兩條不同時刻系統(tǒng)坐標系下的空間直線1^1 = [111^1]7與1^=[112^2]7，當(dāng)且 僅當(dāng)兩者符合以下公式時兩直線共面：
[0036] u2Tvl+v2Tul = 0 (4)
[0037] 若將LI轉(zhuǎn)換到L2坐標系中使其統(tǒng)一，令Lf =T*L2,代入公式(4)中，能夠得到通用 核線約束方程。
[0038]
Κ5)
[0039] 2、解算全景相機位置
[0040] 當(dāng)相機的方向角已知（由IMU提供）時，即公式（5)中0 己知時， 只有向量t的三個元素為未知數(shù)，由此建立線性方程Atl+Bt2+Ct3=W，其中：
[0041]
(:6)
[0042] 當(dāng)有3對空間直線時，可以得到線性方程組：
[0043] Mt=W (7)
[0044] 其中A為3行9列的矩陣，當(dāng)A的秩為3時，方程組可以通過最小二乘解法得到唯一解 t = inv(MTM)*(MTW)。解算算得到的t需要經(jīng)過RANSAC算法(RANdom SAmple Consensus)，利 用多余觀測值進行優(yōu)化。當(dāng)R與具備絕對尺度的t已知后，便可以還原出全景相機的運動軌 跡。
[0045] 本實用新型提供的視覺里程計，綜合了全向單目視覺里程計以及立體視覺里程計 的優(yōu)勢，既具有視野范圍大，能夠使特征點長時間保留在視野當(dāng)中，避免了特征點不足而引 起的里程計失效，又可以獲得視覺里程計運動軌跡的絕對尺度。此外，本實用新型中圖像特 征點提取、全景拼接、系統(tǒng)中心位置解算等過程皆在處理器DSP中進行運算，不需要額外耗 費其余外接設(shè)備的運算能力。
[0046] 本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他 實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的系統(tǒng) 而言，由于其與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說 明即可。
[0047] 本文中應(yīng)用了具體個例對本實用新型的原理及實施方式進行了闡述，以上實施例 的說明只是用于幫助理解本實用新型的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù) 人員，依據(jù)本實用新型的思想，在【具體實施方式】及應(yīng)用范圍上均會有改變之處。綜上所述， 本說明書內(nèi)容不應(yīng)理解為對本實用新型的限制。
【主權(quán)項】
1. 一種視覺里程計，其特征在于，包括圓盤底座、相機、USB接口、處理器、慣性測量器， 所述處理器和所述慣性測量器集成在所述圓盤底座的中心，所述慣性測量器與所述處理器 相連接，所述USB接口有多個，所述USB接口 一端與所述處理器相連接，另一端與所述相機連 接，所述相機的數(shù)量為四個，所述相機的中心位于所述圓盤底座的圓周上，所述相鄰相機之 間的夾角為90°。2. 根據(jù)權(quán)利要求1所述的視覺里程計，其特征在于，所述相機的鏡頭采用魚眼鏡頭，所 述魚眼鏡頭的有效視角大于等于11〇°，所述相機的傳感器中心距離所述圓盤底座中心大于 等于10cm。3. 根據(jù)權(quán)利要求1所述的視覺里程計，其特征在于，所述里程計還包括WIFI模塊，所述 WIFI模塊集成在所述處理器上，所述處理器計算所述里程計的運動軌跡，并將運算結(jié)果通 過所述WIFI模塊或所述USB接口傳輸至移動設(shè)備。4. 根據(jù)權(quán)利要求3所述的視覺里程計，其特征在于，所述處理器上搭載有圖像處理器。5. 根據(jù)權(quán)利要求3所述的視覺里程計，其特征在于，所述移動設(shè)備與計算機通信連接， 所述移動設(shè)備將所述運算結(jié)果傳輸至所述計算機中，在所述計算機中實現(xiàn)全景的拼接顯示 以及所述里程計的運動軌跡的計算。
【文檔編號】G01C22/00GK205537683SQ201620269242
【公開日】2016年8月31日
【申請日】2016年4月1日
【發(fā)明人】鐘若飛, 黃小川, 宮輝力
【申請人】首都師范大學(xué), 南京泰司空間信息科技有限公司