專利名稱：一種基于ar增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法
技術(shù)領(lǐng)域：
本發(fā)明涉及無線導(dǎo)航領(lǐng)域，特別涉及一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，通過車載前置攝像頭為用戶提示車道線、障礙物以及與目標(biāo)障礙物的距離并在實(shí)時圖像上進(jìn)行導(dǎo)航信息的疊加，在為用戶導(dǎo)航的基礎(chǔ)上又為用戶提供一個安全的行駛路徑。
背景技術(shù)：
目前，許多汽車前部都設(shè)有攝像頭，攝像頭對車前景進(jìn)行圖像采集顯示在車內(nèi)屏幕上，但并不能對圖像進(jìn)行識別，只是提供給駕駛員一個實(shí)時的圖像信息，而GPS導(dǎo)航儀又只能根據(jù)虛擬的地圖通過衛(wèi)星定位，在虛擬地圖上給出汽車在虛擬地圖上的位置，而且雖然目前許多高檔車都設(shè)有接近傳感器為司機(jī)在停車時提供一個安全提醒，但如何在動態(tài)的行進(jìn)中對路中的標(biāo)志線和前方汽車距離進(jìn)行判定引導(dǎo)駕駛員安全駕駛，目前還沒有一個切實(shí)的方案，因此如何利用車載攝像頭以及GPS導(dǎo)航系統(tǒng)，將實(shí)時的街景與導(dǎo)航信息結(jié)合實(shí)現(xiàn)一種實(shí)時的全方位導(dǎo)航，為車主提供更好的服務(wù)是我們追尋的目標(biāo)。

發(fā)明內(nèi)容
本發(fā)明的目的是針對上述問題提出的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，通過車載前置攝像頭對目標(biāo)進(jìn)行檢測、識別與跟蹤，為用戶提示車道線、障礙物以及與目標(biāo)障礙物的距離并在實(shí)時圖像上進(jìn)行導(dǎo)航信息的疊加，為用戶提供豐富的視覺服務(wù)和交互環(huán)境，為用戶車行駛指明一個安全的行駛路線。為了實(shí)現(xiàn)上述目的，本發(fā)明一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，包括在車頭設(shè)置的攝像頭和與之連接的車載機(jī)，其中，所述車載機(jī)中包括衛(wèi)星導(dǎo)航系統(tǒng)和建有對物體特征進(jìn)行識別特征數(shù)據(jù)庫，還包括物體與本車之間相互關(guān)系的報警閾值表，所述方法執(zhí)行的步驟包括:
a.采集車前實(shí)時圖像，對實(shí)時圖像中的物體進(jìn)行提取特征物處理，通過與識別特征數(shù)據(jù)庫比較，確定物體的種類；
b.對確定物體賦予識別特征，把附有識別特征的物體圖像與實(shí)時圖像進(jìn)行疊加形成第一顯示圖像；
c.從衛(wèi)星導(dǎo)航地圖中提取實(shí)時導(dǎo)航地圖信息；
d.將實(shí)時導(dǎo)航地圖信息與第一顯示圖像進(jìn)行疊加形成一個帶有導(dǎo)航信息第二圖像，并將第二圖像顯示在車載機(jī)屏幕上；
e.當(dāng)圖像中附有識別特征的某一物體觸動報警閥值，通過警示圖像或聲音，提示駕駛?cè)藛T行駛在一個最佳的安全路線上。進(jìn)一步的優(yōu)化是:所述步驟a進(jìn)一步包括，采集車前實(shí)時圖像，用CVBS信號輸出圖像到數(shù)字圖像處理模塊；數(shù)字圖像處理模塊把CVBS信號處理成數(shù)字信號，并以720*576圖像的中心點(diǎn)為中心截取一個400*480的圖像傳送給CPU處理；CPU把圖像處理模塊傳送的圖像分為兩路，一路作為用于顯示的實(shí)時圖像，另一路用于提取特征物處理。進(jìn)一步的優(yōu)化是:根據(jù)權(quán)利要求1所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，所述步驟b進(jìn)一步包括，所述確定物體為多個時，優(yōu)先保留汽車正前方的一個確定物體。進(jìn)一步的優(yōu)化是:所述提取特征物處理的步驟是:對實(shí)時圖像進(jìn)行提取灰階圖像處理，對提取的灰階圖像進(jìn)行提取特征物，通過圖像識別算法對取特征物進(jìn)行圖像的分類運(yùn)算得出分類結(jié)果，把分類結(jié)果與識別特征數(shù)據(jù)庫比較，確定物體的種類。進(jìn)一步的優(yōu)化是:所述灰階圖像處理過程是:攝像頭采集的CVBS模擬信號傳送到數(shù)字圖像處理模塊，數(shù)字圖像處理模塊把CVBS信號轉(zhuǎn)換成R、G、B的數(shù)字信號，通過公式gray=0.30*R+0.59*G+0.11*B計算出每一個像素的灰階。進(jìn)一步的優(yōu)化是:步驟d中所述第二圖像的形成過程是:先在實(shí)時導(dǎo)航地圖中規(guī)劃出導(dǎo)航路徑，并把導(dǎo)航路徑提取出來放到CPU中的Iayerl圖層，此導(dǎo)航路徑帶有經(jīng)緯度信息；提取導(dǎo)航路徑兩側(cè)的標(biāo)志性POI點(diǎn)放到CPU中的layer2圖層，POI點(diǎn)帶有經(jīng)緯度信息；將第一顯示圖像放到CPU中的layer3圖層，通過CPU中的GPU圖像處理算法，把Iayerl與Iayerf進(jìn)行疊加計算后放到layer4圖層；疊加后攝像頭采集的信息在導(dǎo)航路徑上帶有了經(jīng)緯度位置信息，根據(jù)經(jīng)緯度信息，把layer2層中的POI點(diǎn)疊加到layer4層中；CPU把layer4圖層中的最終疊加的結(jié)果送車載機(jī)屏幕上顯示。進(jìn)一步的優(yōu)化是:所述物體包括路交通道路中的線路標(biāo)志、路牌信號標(biāo)志、汽車、建筑物與人。本發(fā)明對現(xiàn)有技術(shù)的貢獻(xiàn)是:實(shí)現(xiàn)了地圖導(dǎo)航軟件與AR現(xiàn)實(shí)增強(qiáng)技術(shù)結(jié)合的全新的導(dǎo)航方法，真正實(shí)現(xiàn)“所見即所得”便捷找到目的地，而此發(fā)明的實(shí)景導(dǎo)航可以使目的地與實(shí)景相結(jié)合，在實(shí)景上標(biāo)識出目的地，更方便用戶?？?br> 以實(shí)時的進(jìn)行前車距離顯示、車道線偏離提示輔助安全駕駛。下面結(jié)合實(shí)施例和附圖對本發(fā)明做一詳細(xì)描述。


圖1為本發(fā)明方法處理關(guān)系框 圖2為本發(fā)明方法圖層處理關(guān)系框 圖3為現(xiàn)實(shí)的實(shí)時圖像示意圖。
具體實(shí)施例方式一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法實(shí)施例，增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡稱AR),也叫混合現(xiàn)實(shí),是指透過影像處理技術(shù)將虛擬3D和現(xiàn)實(shí)影像融合，使真實(shí)的環(huán)境和虛擬世界實(shí)時地疊加到了同一個畫面或空間同時存在。參見圖1、圖2和圖3，所述方法的系統(tǒng)包括在車頭設(shè)置的攝像頭和與之連接的車載機(jī)，其中，所述車載機(jī)中包括衛(wèi)星導(dǎo)航系統(tǒng)和建有對物體特征進(jìn)行識別特征數(shù)據(jù)庫，還包括物體與本車之間相互關(guān)系的報警閾值表，所述方法執(zhí)行的步驟包括:
a.采集車前實(shí)時圖像，對實(shí)時圖像中的物體進(jìn)行提取特征物處理，通過與識別特征數(shù)據(jù)庫比較，確定物體的種類； b.對確定物體賦予識別特征，把附有識別特征的物體圖像與實(shí)時圖像進(jìn)行疊加形成第一顯示圖像；
C.從衛(wèi)星導(dǎo)航地圖中提取實(shí)時導(dǎo)航地圖信息；
d.將實(shí)時導(dǎo)航地圖信息與第一顯示圖像進(jìn)行疊加形成一個帶有導(dǎo)航信息第二圖像，并將第二圖像顯示在車載機(jī)屏幕上；
e.當(dāng)圖像中附有識別特征的某一物體觸動報警閥值，通過警示圖像或聲音，提示駕駛?cè)藛T行駛在一個最佳的安全路線上。實(shí)施例中，進(jìn)一步的優(yōu)化是:所述步驟a進(jìn)一步包括，采集車前實(shí)時圖像，用CVBS信號輸出圖像到數(shù)字圖像處理模塊；數(shù)字圖像處理模塊把CVBS信號處理成數(shù)字信號，并以720*576圖像的中心點(diǎn)為中心截取一個400*480的圖像傳送給CPU處理；CPU把圖像處理模塊傳送的圖像分為兩路，一路作為用于顯示的實(shí)時圖像，另一路用于提取特征物處理。實(shí)施例中，進(jìn)一步的優(yōu)化是:根據(jù)權(quán)利要求1所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，所述步驟b進(jìn)一步包括，所述確定物體為多個時，優(yōu)先保留汽車正前方的一個確定物體。實(shí)施例中，進(jìn)一步的優(yōu)化是:所述提取特征物處理的步驟是:對實(shí)時圖像進(jìn)行提取灰階圖像處理，對提取的灰階圖像進(jìn)行提取特征物，通過圖像識別算法對取特征物進(jìn)行圖像的分類運(yùn)算得出分類結(jié)果，把分類結(jié)果與識別特征數(shù)據(jù)庫比較，確定物體的種類。實(shí)施例中，進(jìn)一步的優(yōu)化是:所述灰階圖像處理過程是:攝像頭采集的CVBS模擬信號傳送到數(shù)字圖像處理模塊，數(shù)字圖像處理模塊把CVBS信號轉(zhuǎn)換成R、G、B的數(shù)字信號，通過公式gray=0.30*R+0.59*G+0.11*B計算出每一個像素的灰階。實(shí)施例中，進(jìn)一步的優(yōu)化是:步驟d中所述第二圖像的形成過程是:先在實(shí)時導(dǎo)航地圖中規(guī)劃出導(dǎo)航路徑，并把導(dǎo)航路徑提取出來放到CPU中的Iayerl圖層，此導(dǎo)航路徑帶有經(jīng)緯度信息；提取導(dǎo)航路徑兩側(cè)的標(biāo)志性POI點(diǎn)(興趣點(diǎn))放到CPU中的layer2圖層，POI點(diǎn)帶有經(jīng)緯度信息；將第一顯示圖像放到CPU中的layer3圖層，通過CPU中的GPU圖像處理算法，把Iayerl與layer3進(jìn)行疊加計算后放到layer4圖層；疊加后攝像頭采集的信息在導(dǎo)航路徑上帶有了經(jīng)緯度位置信息，根據(jù)經(jīng)緯度置信信息，把layer2層中的POI點(diǎn)疊加到layer4層中；CPU把layer4圖層中的最終疊加的結(jié)果送車載機(jī)屏幕上顯示。實(shí)施例中，進(jìn)一步的優(yōu)化是:所述物體包括路交通道路中的線路標(biāo)志、路牌信號標(biāo)志、汽車、建筑物與人。實(shí)施例中，從攝像頭輸入的為CVBS信號為PAL制式信號，標(biāo)準(zhǔn)的分辨率為720*576，顯示IXD分辨率為800*480，一半用于顯示導(dǎo)航地圖，一半用于顯示實(shí)景圖像，因此只能由400*480的分辨率來顯示攝像頭采集到的信號，如果直接把攝像頭輸入信號在400*480分辨率下顯示會出現(xiàn)圖像變形的現(xiàn)象，因此我們以720*576圖像的中心點(diǎn)為中心截取一個400*480的圖像輸出到顯示IXD能滿足圖像實(shí)景顯示要求。實(shí)施例中，圖像識別的過程可以分為幾個步驟:
1、在數(shù)據(jù)庫中建立原型匹配模型(識別特征)，即抽取某些圖形的相似性，把一個圖像的幾個特征參數(shù)采集下來建立模型，比如前方車輛，我們采集車輛后車牌信息，包括長、寬、顏色、數(shù)字等，前方車輛是否左右對稱信息，車輪信息，車輪是否左右對稱、車輪的寬度、顏色，車輪之間的軸距等信息范圍，并建立一個汽車的數(shù)學(xué)模型，特征為左右對稱、有一個長、寬、高固定的車牌區(qū)域、車輪左右對稱、兩個輪子之間的距離范圍，其他需要識別的如車道線、紅綠燈、人等按相同的方法提取幾個特征參數(shù)建立數(shù)學(xué)模型。對各種需要識別的物體進(jìn)行建模，如汽車、紅綠燈、車道線、交通特征、人和動物，建模必須覆蓋盡可能多的類別、個體。2、對圖像的分類處理，從CVBS采集到的圖像信息很多，需要從圖像中分離出我們需要識別的物體，如車、紅綠燈、車道線、人。這個過程運(yùn)算量非常大，首先我們需要把分辨率為400*480的圖像進(jìn)行分區(qū)，分為3個面積相等的區(qū)域，每個區(qū)域我們先判斷這個區(qū)域內(nèi)是否需要進(jìn)行圖像識別，主要方法是灰階圖像的判斷，如某區(qū)域內(nèi)像素沒有灰階變化，或變化非常小，那我們可以判定此區(qū)域不需要進(jìn)行進(jìn)一步圖像識別，可能攝像頭拍的是天空或者路面。經(jīng)過篩選后，可能有2個區(qū)域需要進(jìn)行圖像識別，首先根據(jù)灰階變化提取該區(qū)域內(nèi)圖像的輪廓線，根據(jù)輪廓線與數(shù)學(xué)模型進(jìn)行對比運(yùn)算確認(rèn)，這個過程中會用到圖像識別的很多方法，如二值法、紋理特征分析法、圖像濾波算法、圖像增強(qiáng)算法等。舉個列子，如前面有一輛車，通過攝像頭采集到了車輛的信息，圖像識別軟件如何判斷攝像頭拍的是車呢？首先我們對圖像灰階處理后，通過灰階的變化標(biāo)識需要識別的物體的輪廓，然后通過二值法使圖像變得簡單，然后物體通過判斷數(shù)學(xué)模型中的特征參數(shù)是否符合模型中的標(biāo)準(zhǔn)來定位是那種物體。上述實(shí)施例，通過攝像頭的圖像采集，并通過圖像識別算法進(jìn)行前車的識別、車道線的識別、交通標(biāo)志的識別、人或動物的識別，從而在車載屏幕上顯示與前車的距離，當(dāng)距離過近超過安全距離時發(fā)出聲光報警；當(dāng)汽車偏離車道時進(jìn)行報警；通過交通標(biāo)志的識別判斷紅綠燈、限行及禁行標(biāo)志的識別，從而提醒駕駛員安全駕駛；人或動物的識別，通過對移動的人或動物機(jī)型建模，并識別人或動物的運(yùn)動方向和運(yùn)動軌跡，為駕駛員提供避讓或并線的信息。圖像采集后，通過與地圖POI及導(dǎo)航路徑的結(jié)合，在實(shí)時圖像上進(jìn)行導(dǎo)航路徑的疊加，可以更清晰、直觀的表現(xiàn)出轉(zhuǎn)彎等信息。把地圖信息中的POI點(diǎn)、道路信息等直接標(biāo)注在實(shí)時采集的圖像上，并與實(shí)際的建筑或道路信息相對應(yīng)以便駕駛員更為方便的找到需要的目的地。
權(quán)利要求
1.一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，包括在車頭設(shè)置的攝像頭和與之連接的車載機(jī)，其特征在于，所述車載機(jī)中包括衛(wèi)星導(dǎo)航系統(tǒng)和建有對物體特征進(jìn)行比對的識別特征數(shù)據(jù)庫，還包括物體與本車之間相互關(guān)系的報警閾值表，所述方法執(zhí)行的步驟包括: a.采集車前實(shí)時圖像，對實(shí)時圖像中的物體進(jìn)行提取特征物處理，通過與識別特征數(shù)據(jù)庫比較，確定物體的種類； b.對確定物體賦予識別特征，把附有識別特征的物體圖像與實(shí)時圖像進(jìn)行疊加形成第一顯示圖像； c.從衛(wèi)星導(dǎo)航地圖中提取實(shí)時導(dǎo)航地圖信息； d.將實(shí)時導(dǎo)航地圖信息與第一顯示圖像進(jìn)行疊加形成一個帶有導(dǎo)航信息第二圖像，并將第二圖像顯示在車載機(jī)屏幕上； e.當(dāng)圖像中附有識別特征的某一物體觸動報警閥值，通過警示圖像或聲音，提示駕駛?cè)藛T行駛在一個最佳的安全路線上。
2.根據(jù)權(quán)利要求1所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，所述步驟a進(jìn)一步包括，采集車前實(shí)時圖像，用CVBS信號輸出圖像到數(shù)字圖像處理模塊；數(shù)字圖像處理模塊把CVBS信號處理成數(shù)字信號，并以720*576圖像的中心點(diǎn)為中心截取一個400*480的圖像傳送給CPU處理；CPU把圖像處理模塊傳送的圖像分為兩路，一路作為用于顯示的實(shí)時圖像，另一路用于提取特征物處理。
3.根據(jù)權(quán)利要求1所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，根據(jù)權(quán)利要求1所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，所述步驟b進(jìn)一步包括，所述確定物體為多個時，優(yōu)先保留汽車正前方的一個確定物體。`
4.根據(jù)權(quán)利要求1或2所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，所述提取特征物處理的步驟是:對實(shí)時圖像進(jìn)行提取灰階圖像處理，對提取的灰階圖像進(jìn)行提取特征物，通過圖像識別算法對取特征物進(jìn)行圖像的分類運(yùn)算得出分類結(jié)果，把分類結(jié)果與識別特征數(shù)據(jù)庫比較，確定物體的種類。
5.根據(jù)權(quán)利要求4所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，所述灰階圖像處理過程是:攝像頭采集的CVBS模擬信號傳送到數(shù)字圖像處理模塊，數(shù)字圖像處理模塊把CVBS信號轉(zhuǎn)換成R、G、B的數(shù)字信號，通過公式gray=0.30*R+0.59*G+0.11*B計算出每一個像素的灰階。
6.根據(jù)權(quán)利要求1所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，步驟d中所述第二圖像的形成過程是:先在實(shí)時導(dǎo)航地圖中規(guī)劃出導(dǎo)航路徑，并把導(dǎo)航路徑提取出來放到CPU中的Iayerl圖層，此導(dǎo)航路徑帶有經(jīng)緯度信息；提取導(dǎo)航路徑兩側(cè)的標(biāo)志性POI點(diǎn)放到CPU中的layer2圖層，POI點(diǎn)帶有經(jīng)緯度信息；將第一顯示圖像放到CPU中的layer3圖層,通過CPU中的GPU圖像處理算法,把Iayerl與layer3進(jìn)行疊加計算后放到layer4圖層；疊加后攝像頭采集的信息在導(dǎo)航路徑上帶有了經(jīng)緯度位置信息，根據(jù)經(jīng)緯度信息，把layer2層中的POI點(diǎn)疊加到layer4層中；CPU把layer4圖層中的最終疊加的結(jié)果送車載機(jī)屏幕上顯示。
7.根據(jù)權(quán)利要求1所述的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，其特征在于，所述物體包括路交通道路`中的線路標(biāo)志、路牌信號標(biāo)志、汽車、建筑物與人。
全文摘要
本發(fā)明涉及一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)的車載實(shí)景安全導(dǎo)航方法，包括采集車前實(shí)時圖像，對實(shí)時圖像進(jìn)行提取特征物處理，把附有識別特征的物體圖像與實(shí)時圖像進(jìn)行疊加；從衛(wèi)星導(dǎo)航地圖中提取實(shí)時導(dǎo)航地圖信息進(jìn)行疊加形成一個帶有導(dǎo)航信息第二圖像；當(dāng)圖像中附有識別特征的某一物體觸動報警閥值，通過警示圖像或聲音，提示駕駛?cè)藛T行駛在一個最佳的安全路線上。本發(fā)明對現(xiàn)有技術(shù)的貢獻(xiàn)是實(shí)現(xiàn)了地圖導(dǎo)航軟件與AR現(xiàn)實(shí)增強(qiáng)技術(shù)結(jié)合的全新的導(dǎo)航方法，真正實(shí)現(xiàn)“所見即所得”便捷找到目的地，而此發(fā)明的實(shí)景導(dǎo)航可以使目的地與實(shí)景相結(jié)合，在實(shí)景上標(biāo)識出目的地，更方便用戶?？梢詫?shí)時的進(jìn)行前車距離顯示、車道線偏離提示輔助安全駕駛。
文檔編號B60R1/00GK103105174SQ20131003403
公開日2013年5月15日 申請日期2013年1月29日 優(yōu)先權(quán)日2013年1月29日
發(fā)明者呂童群 申請人:四川長虹佳華信息產(chǎn)品有限責(zé)任公司