專利名稱：倒車影像3d 場景重構(gòu)方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種G06計算；推算；計數(shù)G06T—般的圖像數(shù)據(jù)處理或產(chǎn)生G06T15/003D [三維]圖像的加工。
背景技術(shù)：
近年來，隨著汽車保有量的增長，交通事故的數(shù)量也逐年遞增。統(tǒng)計數(shù)據(jù)表明，在中國由于車輛后方盲區(qū)所導(dǎo)致的交通事故所占比例已達(dá)30%，在美國這一比例也高達(dá)20%。針對這一問題，近些年誕生了很多種倒車輔助裝置用以幫助駕駛員判斷車輛后方的環(huán)境，防止與車輛后方的人員、物體發(fā)生刮蹭、碰撞。目前，倒車輔助裝置主要分為兩種技術(shù)路線。一種是基于超聲波測距技術(shù)的倒車?yán)走_(dá)裝置；另一種是基于圖像傳感器技術(shù)的倒車影像裝置。倒車?yán)走_(dá)裝置一般在汽車尾部后保險杠上安裝若干對超聲波發(fā)射器和接收探頭，當(dāng)?shù)管嚂r，超聲波發(fā)射器發(fā)射的超聲波遇到障礙物時產(chǎn)生回波，再由響應(yīng)的接受探頭對回波進(jìn)行捕獲，經(jīng)控制器處理，計算出障礙物與車尾的距離。當(dāng)測量到的障礙物與車尾距離過近時，倒車?yán)走_(dá)系統(tǒng)向駕駛員發(fā)出報警信息。一般單個超聲波探頭覆蓋范圍約為45度，誤差在5厘米左右。受空間和成本約束，目前的倒車?yán)走_(dá)系統(tǒng)通常采用2至4對探頭的安裝方案。安裝倒車?yán)走_(dá)裝置后，駕駛員能夠?qū)囕v后方盲區(qū)內(nèi)的障礙物進(jìn)行粗略的方位和距離上的判斷。受探頭測量精度和覆蓋范圍的限制，倒車?yán)走_(dá)裝置存在較大的檢測盲區(qū)，對于高度較低和距離車輛尾部較近的障礙物，如石塊、溝壑、兒童等，倒車?yán)走_(dá)可能無法發(fā)現(xiàn)和報警。駕駛員過度依賴于倒車?yán)走_(dá)裝置，經(jīng)常導(dǎo)致事故的發(fā)生。倒車影像裝置是通過攝像頭拍攝車輛后方的環(huán)境，并實時顯示在車載顯示單元上。部分倒車影像產(chǎn)品會在顯示單元上顯示出預(yù)計的倒車路徑，以幫助駕駛員觀察在倒車路徑上是否存在障礙物。單個攝像頭構(gòu)成的倒車影像裝置雖然覆蓋面廣、效果直觀，但也存在較大的局限性，一方面受鏡頭視角、光學(xué)畸變、透視效應(yīng)等影像，倒車影像顯示與真實場景相比存在一定失真，可能導(dǎo)致駕駛員誤判斷；另一方面，倒車影像顯示的僅僅是2D的平面圖像，駕駛員難以從中獲得真實的距離感，對于障礙物的高度也難以做出準(zhǔn)確的判斷。

發(fā)明內(nèi)容
本發(fā)明針對以上問題的提出，而研制的一種倒車影像3D場景重構(gòu)方法，具有如下步驟:S100.采集車輛后部的連續(xù)多幀圖像，提取每一幀圖像的特征點；S200.對相鄰兩幀圖像中的特征點進(jìn)行跟蹤匹配；S300.對匹配成功的特征點，使用外極幾何原理推算所述兩特征點的對應(yīng)點在空間中的坐標(biāo)；得到兩視圖無絕對尺度的3D重構(gòu)影像；S400.重復(fù)步驟S100-S300完成對所述連續(xù)多幀圖像的無絕對尺度的3D重構(gòu)，從而形成車輛后方一定空間內(nèi)場景結(jié)構(gòu)的3D重構(gòu)。
還具有步驟S500.采用慣性測量單元(MU)和數(shù)字羅盤輸出的加速度、角速度、方向信息，進(jìn)行真實環(huán)境尺度的估算。并應(yīng)用擴(kuò)展卡爾曼濾波(EKF)對多傳感器數(shù)據(jù)進(jìn)行融合。狀態(tài)向量Xk由攝像頭的位置坐標(biāo)P%k、速度v%k、加速度\。，,、角速度coec;，k、比例因子sk、攝像頭方向qe，k、加速度傳感器偏移ba，k和陀螺儀偏移bw，k組成:
權(quán)利要求
1.一種倒車影像3D場景重構(gòu)方法，具有如下步驟: S100.使用車輛后部攝像頭采集車輛后部的連續(xù)多幀圖像，提取每一幀圖像的特征占.S200.對相鄰兩幀圖像中的特征點進(jìn)行跟蹤匹配； S300.對匹配成功的一對特征點，使用外極幾何原理推算所述兩特征點的對應(yīng)點在空間中的坐標(biāo)；遍歷所述兩幀圖像中所有匹配成功的特征點，得到每對特征點對應(yīng)的空間點的坐標(biāo)，得到兩視圖無絕對尺度的3D重構(gòu)影像； S400.重復(fù)步驟S100-S300完成對所述連續(xù)多幀圖像的無絕對尺度的3D重構(gòu)，形成車輛后方一定空間內(nèi)場景結(jié)構(gòu)的3D重構(gòu)。
2.根據(jù)權(quán)利要求1所述的一種倒車影像3D場景重構(gòu)方法，其特征還在于具有步驟 S500.使用慣性測量單元和數(shù)字羅盤獲取所述攝像頭在每一個時刻的位置、速度、加速度、角速度和方向信息，使用擴(kuò)展卡爾曼濾波算法對所述的加速度、角速度和方向信息進(jìn)行融合，計算真實世界和視覺世界比例因子Sk ； 將所述步驟S300和S400中所述的重構(gòu)成功的特征點除以所述比例因子Sk，得到帶有真實空間比例的3D重構(gòu)影像。
3.根據(jù)權(quán)利要求2所述的一種倒車影像3D場景重構(gòu)方法，其特征還在于:所述步驟S500具體包括: 設(shè)定狀態(tài)向量Xk由攝像頭的位置坐標(biāo)P%k、速度V%k、加速度a%k、角速度比例因子％、攝像頭方向qe，k、加速度傳感器偏移ba，k和陀螺儀偏移bw，k組成: Xk{Pec，k，Ve c，k，^ec, k 。ec，k，Qe，k，^a, k ^ ω , k-^ 所述攝像頭方向qe, k由四元組{qe(l，k, qex，k, qey，k, qez，J組成； 攝像頭的運(yùn)動狀態(tài)估算是根據(jù)帶輸入噪音的加速度、角速度和實際測量結(jié)果zk。其過程可表示為: Xk — f (Xk-1，Uk-1，nk-1) zk = hxk+mk 假設(shè)攝像頭的運(yùn)動是一個隨機(jī)過程，則其中Uk-1為控制器向量輸入為O，隨機(jī)噪音nk和mk符合:P (η) N (O, Q)、P (m) N (O, R) 假設(shè)攝像頭在從k-Ι到k的變換過程中，具有勻加速度和勻角速度，且經(jīng)歷時間為T，則動態(tài)模型可以表示為:rprp2 Pec,k = P A I ^ Vec,k-l +a / I 2h-l Vec，k Vec，k-1+Taec，k—I aec,k=aec,k-l+nl-l = hi + <-1 S,A =Se,k~l+nL ￡人々=Qxp(0Jck_；r)@qeJc_l
4.根據(jù)權(quán)利要求1所述的一種倒車影像3D場景重構(gòu)方法，其特征還在于:所述步驟SlOO中，使用Harris角點檢測器提取每一巾貞圖像的特征點。
5.根據(jù)權(quán)利要求1所述的一種倒車影像3D場景重構(gòu)方法，其特征還在于:所述步驟S200采用的特征點匹配算法為Kanade-Lucas-Tomasi算法。
6.根據(jù)上述任意權(quán)利要求所述的一種倒車影像3D場景重構(gòu)方法，其特征還在于所述步驟S300具體包括: 定義M為空間內(nèi)一點，其坐標(biāo)為M= [X y z 1]T，R和R’為連續(xù)兩幀圖像的拍攝平面；M點在兩幅圖像平面上的投影點分別為m= [u V 1]τ和m’ = [u’ V’ 1]τ； 根據(jù)外極幾何原理空間中M點坐標(biāo)與兩平面內(nèi)m和m’點坐標(biāo)存在關(guān)系: m = PM m，= P，M 其中，P和P’為兩平面的投影矩陣，其定義為:P = A[R T] A稱為攝像頭的內(nèi)參數(shù)矩陣，代表攝像頭自身的性質(zhì)，R和T是攝像頭的旋轉(zhuǎn)矩陣和平移矢量，代表攝像頭拍攝時所在的位置；A的定義為:
7.—種倒車影像3D場景重構(gòu)系統(tǒng)，具有: 安裝在車輛尾部，獲取車輛后方視頻圖像的圖像采集單元、 獲取車輛在多方向上的行駛方向、速度、加速度和角速度的慣性測量單元、 接收所述攝像頭和慣性測量單元傳輸?shù)能囄矆D像、行駛方向、速度、加速度和角速度信息，生成并推測車輛行駛軌跡信息；提取車尾視頻圖像中的特征點并且根據(jù)車輛的行駛方向、速度、加速度和角速度信息生成車尾環(huán)境的3D重構(gòu)圖像的主控單元； 接收并顯示所述主控單元的生成的3D重構(gòu)影像的顯示單元。
8.根據(jù)權(quán)利要求7所述的一種倒車影像3D場景重構(gòu)系統(tǒng)，其特征還在于:所述慣性測量單元至少具有一個三軸加速度傳感器和一個三軸陀螺儀。
9.根據(jù)權(quán)利要求7或8所述的一種倒車影像3D場景重構(gòu)系統(tǒng)，其特征在于還具有:報警單元:所述 主控單元根據(jù)生成的車輛行駛軌跡和3D重構(gòu)信息，設(shè)定車輛與車尾物體距離閾值，當(dāng)超過距離閾值時，向該報警單元和所述顯示單元發(fā)出報警信息；報警單元發(fā)出警生口 ο
全文摘要
本發(fā)明涉及一種倒車影像3D場景重構(gòu)方法和系統(tǒng)。本發(fā)明公開了如下步驟S100.采集車輛后部的連續(xù)多幀圖像，提取每一幀圖像的特征點；S200.對相鄰兩幀圖像中的特征點進(jìn)行跟蹤匹配；S300.對匹配成功的特征點，使用外極幾何原理推算所述兩特征點的對應(yīng)點在空間中的坐標(biāo)；得到兩視圖無絕對尺度的3D重構(gòu)影像；S400.重復(fù)步驟S100-S300完成對所述連續(xù)多幀圖像的無絕對尺度的3D重構(gòu)。能夠彌補(bǔ)傳統(tǒng)超聲倒車系統(tǒng)在遇到小障礙物時，會產(chǎn)生盲區(qū)的問題以及傳統(tǒng)視頻2D倒車影像系統(tǒng)的距離感差問題，且對于出現(xiàn)在車輛后方的運(yùn)動物體能夠?qū)崟r地提取提供重點報警，從而提供給用戶更清晰、準(zhǔn)確的視覺反饋，增加倒車時的安全性。而且整個系統(tǒng)都可基于現(xiàn)有的硬件設(shè)備，技術(shù)成熟，成本低廉，十分便于大范圍推廣和使用。
文檔編號G06T15/00GK103150748SQ20131008671
公開日2013年6月12日 申請日期2013年3月18日 優(yōu)先權(quán)日2013年3月18日
發(fā)明者劉淼, 趙亮, 金星, 談金東, 秦英安 申請人:大連慈航電子有限公司