專利名稱：一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法
一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于倒車影像技術(shù)領(lǐng)域，特別涉及一種后視倒車輔助系統(tǒng)以及在車輛進行倒車時后方視野中障礙物自動識別、測距并融合顯示的方法。
背景技術(shù)：
隨著汽車電子市場的快速繁榮發(fā)展，傳統(tǒng)的倒車?yán)走_輔助系統(tǒng)已經(jīng)被可視化倒車輔助系統(tǒng)所替代，當(dāng)前市場上比較流行的后視攝像的倒車輔助系統(tǒng)，是在汽車尾部固定安裝一個攝像頭，當(dāng)駕駛者開始倒車時，攝像頭實時的拍攝后視視場景象并傳輸?shù)狡囍锌嘏_的顯示器上，使得駕駛者能夠直觀的了解到車后的情況，更加安全方便的倒車。但是只在車尾安裝一個攝像頭只能覆蓋汽車后方有限的區(qū)域，而車后方兩側(cè)的視覺盲區(qū)無疑存在倒車不安全隱患。經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，中國實用新型專利201020002707. 3提出了一種倒車用的雙攝像機，該裝置在殼體內(nèi)外分別安裝了第一攝像機和第二攝像機，通過兩個角度進行攝錄。利用該實用新型的駕駛者當(dāng)?shù)管嚂r可以觀察到全方位的影像。中國發(fā)明專利號200910153173.6的專利，該專利的名稱為基于DSP的全景視覺泊車輔助裝置及生成全景視覺圖像的方法。該裝置通過在車的四周各安裝廣角攝像機，使得所有攝像機能夠覆蓋汽車周圍的區(qū)域，并且對于任意相鄰的兩個攝像機，他們相互之間有一定的公共視場；然后對標(biāo)定模板進行一系列計算，獲得表示汽車四周攝像機之間的參數(shù)，根據(jù)這些參數(shù)，產(chǎn)生虛擬的全景鳥瞰圖，從而最大限度擴大了駕駛員的視野范圍。通過上述裝置和方法確實可以拓寬駕駛者的視場，然而，一方面通過廣角鏡頭獲取的障礙物會有一定失真，另一方面由于攝像頭拍攝的圖像已經(jīng)將現(xiàn)實物體從三維世界變換到二維，那么圖片中事物的深度信息已經(jīng)丟失，也就是說駕駛者不能確定這些事物距離它有多遠，只是知道車后存在障礙物，給駕駛者造成了一定的心理負(fù)擔(dān)，駕駛者不得不為距離它很遠對倒車無影響的事物擔(dān)憂。由于距離是倒車時駕駛者極為關(guān)注的信息，中國實用新型專利號為200820042567. 5的專利一種倒車可視測距系統(tǒng)，包括倒車?yán)走_系統(tǒng)，攝像裝置，OSD顯示控制器和顯示器，通過倒車?yán)走_系統(tǒng)獲取距離信息。該專利在工作狀態(tài)下不僅能夠顯示車后的圖像，而且還能夠顯示障礙物的距離以及與距離相應(yīng)的彩色標(biāo)識。

發(fā)明內(nèi)容本發(fā)明的目的是提供一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法，用于解決目前后視倒車視場較小存在盲區(qū)的安全隱患，以及后視圖像中含有較多與本車相距很遠的事物給駕駛者倒車時進行決策造成干擾的問題。為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案—種后視倒車輔助系統(tǒng)，包括視頻采集器、圖像同步處理器、DSP處理器、邏輯控制器、存儲模塊、輸出幀緩存、視頻解碼器和視頻顯示器；視頻采集器、圖像同步處理器、DSP處理器、輸出幀緩存、視頻解碼器和視頻顯示器依次連接，邏輯控制器連接圖像同步處理、器、DSP處理器、輸出幀緩存和視頻解碼器；其中視頻采集器包括兩個針孔攝像頭，平行固定安裝在車后外表面兩側(cè)，且兩個攝像頭成像有部分重合；所述存儲模塊包括閃存和內(nèi)存，所述閃存和內(nèi)存分別與DSP處理器相連。本發(fā)明進一步的改進在于邏輯控制器連接有音頻報警器。本發(fā)明進一步的改進在于視頻采集器的兩個針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲存到內(nèi)存中，DSP處理器對兩個攝像頭采集的兩幀圖像分割、測距后并進行融合處理，將處理結(jié)果對應(yīng)的像素點發(fā)送到輸出幀緩存后，兩個攝像頭開始采集新的一幀圖像，如此循環(huán)；由邏輯控制器產(chǎn)生輸出幀緩存的時序信號將輸出緩存中所存儲的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時，DSP處理器將獲得的各個障礙目標(biāo)的距離與系統(tǒng)設(shè)定的安全距離閾值對比，若小于該閾值，則邏輯控制器驅(qū)動音頻報警器報警。一種形成后視障礙圖像的方法，包括以下步驟

車后兩側(cè)外表面平行固定安裝的兩個針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲存到內(nèi)存中，DSP處理器對兩個攝像頭采集的兩幀圖像依次進行分割、測距和融合處理，將處理結(jié)果對應(yīng)的像素點發(fā)送到輸出幀緩存；邏輯控制器產(chǎn)生輸出幀緩存的時序信號將輸出緩存中所存儲的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時，DSP處理器將獲得的各個障礙目標(biāo)的距離與系統(tǒng)設(shè)定的閾值I；對比，若小于該閾值，則邏輯控制器驅(qū)動音頻報警器報警。本發(fā)明進一步的改進在于DSP處理器對兩個攝像頭各采集的一幀圖像分割的方法依次包括預(yù)處理、自適應(yīng)FCM分割和分割后處理；預(yù)處理包括背景建模和前景提??；背景建模時，首先進行模型的初始化，對每個像素點設(shè)置下列參數(shù)，聚類中心C，亮度畸變半徑Λ工和顏色畸變半徑Λ P子類權(quán)重ω，最大子類數(shù)M ;接下來，取視頻圖像序列第一幀作為初始背景模型，并將該幀中每個像素位置的顏色特征向量V作為其第一個聚類中心C1，同時設(shè)置該類的權(quán)重Co1=I ；隨后，對采集到的連續(xù)兩幀圖像ft，ft+1進行幀間差分，即ft_ft+1，得到其中的不變區(qū)域vt+1，也就是不包含運動目標(biāo)的背景部分；對上述不變區(qū)域中的每個像素，計算當(dāng)前像素特征向量和已存在聚類中心的畸變差異D，并選取其中的最小值Dmin以及所對應(yīng)的子類編號K ;如果Dmin滿足⑴和⑵組成的聚類準(zhǔn)則，brightness (Ii, Ik) = Δ I ^ Δ 1 (I)colordist (Xi, ck) = Δ C ^ Δ c (2)表明當(dāng)前像素屬于子類k，那么按照下式對子類的參數(shù)進行更新ckj t+1 (x, y) = (l-ay) + a lVt+1 (x, y) (3)cok t+1=(l-a D ωΜ+α I(4)式中ck,t+1(x, y)——像素(x，y)處第k個子類更新后的聚類中心；cM(x, y)—像素(x，y)處第k個子類更新前的聚類中心；a I-學(xué)習(xí)速率；ω k, t+1——第k個子類更新后的權(quán)重；
ω k, t——第k個子類更新前的權(quán)重；如果Dmin不滿足式⑴和⑵組成的聚類準(zhǔn)則，表明當(dāng)前像素不屬于任何一個已存在的子類，則比較max (k)和M的大小，最后，對每個像素位置，根據(jù)權(quán)重ω對已存在的子類由大到小進行排序，并按照下式選擇符合條件的前N個子類作為背景模型的合理描述
權(quán)利要求
1.一種后視倒車輔助系統(tǒng)，其特征在于，包括視頻采集器、圖像同步處理器、DSP處理器、邏輯控制器、存儲模塊、輸出幀緩存、視頻解碼器和視頻顯示器；視頻采集器、圖像同步處理器、DSP處理器、輸出幀緩存、視頻解碼器和視頻顯示器依次連接，邏輯控制器連接圖像同步處理器、DSP處理器、輸出幀緩存和視頻解碼器；其中視頻采集器包括兩個針孔攝像頭，平行固定安裝在車后外表面兩側(cè)，且兩個攝像頭成像有部分重合；所述存儲模塊包括閃存和內(nèi)存，所述閃存和內(nèi)存分別與DSP處理器相連。
2.根據(jù)權(quán)利要求I所述的一種后視倒車輔助系統(tǒng)，其特征在于，邏輯控制器連接有音頻報警器。
3.根據(jù)權(quán)利要求2所述的一種后視倒車輔助系統(tǒng)，其特征在于，視頻采集器的兩個針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲存到內(nèi)存中，DSP處理器對兩個攝像頭采集的兩幀圖像分割、測距后并進行融合處理，將處理結(jié)果對應(yīng)的像素點發(fā)送到輸出幀緩存后，兩個攝像頭開始采集新的一幀圖像，如此循環(huán)；由邏輯控制器產(chǎn)生輸出幀緩存的時序信號將輸出緩存中所存儲的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時，DSP處理器將獲得的各個障礙目標(biāo)的距離與系統(tǒng)設(shè)定的安全距離閾值對比，若小于該閾值，則邏輯控制器驅(qū)動音頻報警器報警。
4.一種形成后視障礙圖像的方法，其特征在于，包括以下步驟 車后兩側(cè)外表面平行固定安裝的兩個針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲存到內(nèi)存中，DSP處理器對兩個攝像頭采集的兩幀圖像依次進行分割、測距和融合處理，將處理結(jié)果對應(yīng)的像素點發(fā)送到輸出幀緩存；邏輯控制器產(chǎn)生輸出幀緩存的時序信號將輸出緩存中所存儲的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時，DSP處理器將獲得的各個障礙目標(biāo)的距離與系統(tǒng)設(shè)定的閾值I；對比，若小于該閾值，則邏輯控制器驅(qū)動音頻報警器報警。
5.根據(jù)權(quán)利要求4所述的一種形成后視障礙圖像的方法，其特征在于，DSP處理器對兩個攝像頭各采集的一幀圖像分割的方法依次包括預(yù)處理、自適應(yīng)FCM分割和分割后處理； 預(yù)處理包括背景建模和前景提??；背景建模時，首先進行模型的初始化，對每個像素點設(shè)置下列參數(shù)，聚類中心C，亮度畸變半徑\和顏色畸變半徑Λ y子類權(quán)重ω，最大子類數(shù)M ;接下來，取視頻圖像序列第一幀作為初始背景模型，并將該幀中每個像素位置的顏色特征向量V作為其第一個聚類中心C1，同時設(shè)置該類的權(quán)重ω1=1 ； 隨后，對采集到的連續(xù)兩幀圖像ft，ft+1進行幀間差分，即ft_ft+1，得到其中的不變區(qū)域vt+1，也就是不包含運動目標(biāo)的背景部分；對上述不變區(qū)域中的每個像素，計算當(dāng)前像素特征向量和已存在聚類中心的畸變差異D，并選取其中的最小值Dmin以及所對應(yīng)的子類編號K； 如果Dmin滿足⑴和⑵組成的聚類準(zhǔn)則， brightness (Iij Ik) = Δ I ^ A1 (I) colordist (xi ck) = Δ C ^ Ac (2) 表明當(dāng)前像素屬于子類k，那么按照下式對子類的參數(shù)進行更新 Ckjt+i (x, y) = (l-ay) + a (x, y) (3) Wk,t+l=(l-a l) Wk,t+a I(4) 式中Ck,t+1(x, y)——像素(x，y)處第k個子類更新后的聚類中心； Ckjt(x, y)-像素(X，y)處第k個子類更新前的聚類中心； α !-學(xué)習(xí)速率； ω k, t+1——第k個子類更新后的權(quán)重； ω k, t—第k個子類更新前的權(quán)重； 如果Dmin不滿足式(I)和(2)組成的聚類準(zhǔn)則，表明當(dāng)前像素不屬于任何一個已存在的子類，則比較max(k)和M的大小，最后，對每個像素位置，根據(jù)權(quán)重ω對已存在的子類由大到小進行排序，并按照下式選擇符合條件的前N個子類作為背景模型的合理描述
6.根據(jù)權(quán)利要求5所述的一種形成后視障礙圖像的方法，其特征在于，測距的方法為首先利用SIFT特征匹配算法確定兩幀圖像的重疊部分；然后運用經(jīng)典的張正友標(biāo)定法標(biāo)定兩個攝像頭，獲得內(nèi)外部參數(shù)；在重疊部分的目標(biāo)利用雙目視覺進行三維重建，獲取其深度信息，不在重疊部分內(nèi)的目標(biāo)，聯(lián)系實際成像的特點選取測距點，通過反轉(zhuǎn)透視模型，利用單目視覺得到其距離。
7.根據(jù)權(quán)利要求6所述的一種形成后視障礙圖像的方法，其特征在于，測距后的融合的方法為首先根據(jù)車速確定安全閾值，然后根據(jù)定義的幾種主要操作完成圖像的融合，并做垂直鏡像變化； 車速表示為v=(tz，tx, (Oy)，％表示向后的平移速度，tx表示水平方向的平移速度，COy表示旋轉(zhuǎn)的角速度；兩幀圖像Ψ和Ψ '分別采集于t時刻和t+ Δ t時刻；由測距過程測得Ψ中一點P在t時刻攝像機坐標(biāo)系中的坐標(biāo)為(X，y, ζ)，運用SIFT匹配的方法找到P點在Ψ'中的對應(yīng)點P ,Pi在t+At時刻的攝像機坐標(biāo)系中的坐標(biāo)為(X' ,j' ,ζ');根據(jù)空間坐標(biāo)變換關(guān)系可知
全文摘要
本發(fā)明公開了一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法，是一種在車輛后方兩側(cè)外表面固定且平行安裝兩個攝像頭的基礎(chǔ)上，對車輛倒車時后視場景中障礙物自動識別、測距，并最終融合顯示的方法；該方法依次包括分割、測距以及融合三大部分；所述分割部分包括預(yù)處理、自適應(yīng)FCM分割以及分割后處理；測距部分包括SIFT特征匹配、攝像頭標(biāo)定以及距離測量；融合部分主要是根據(jù)已經(jīng)測得的距離信息，結(jié)合實際交通場景情況，建立相關(guān)規(guī)則并融合顯示。本發(fā)明方法消除了車后的視覺盲區(qū)，將后視圖像中障礙物自動分割出來并獲得該障礙到本車的距離，融合顯示倒車時最急需關(guān)注的距離很近的障礙物，消除了其他距離較遠的事物的干擾，使得倒車更加便捷。
文檔編號B60R1/00GK102774325SQ201210268938
公開日2012年11月14日 申請日期2012年7月31日 優(yōu)先權(quán)日2012年7月31日
發(fā)明者華莉琴, 唐家興, 王拓, 胥博, 陳雅迪 申請人:西安交通大學(xué)