車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法
【專利摘要】本發(fā)明公開(kāi)了一種車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，包括步驟：s1、擺放標(biāo)定模板，調(diào)整目標(biāo)車與標(biāo)定模版的相對(duì)位置；s2、獲取并輸入現(xiàn)場(chǎng)標(biāo)定模板擺放參數(shù)；s3、通過(guò)分析目標(biāo)車上的廣角攝像頭抓取到的圖像，算出標(biāo)定模板在圖像中的位置；s4、識(shí)別出標(biāo)定模板中預(yù)先選定的特征點(diǎn)；s5、確定圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系；s6、根據(jù)步驟s5中圖像中像素點(diǎn)對(duì)應(yīng)世界坐標(biāo)的關(guān)系，推算出攝像頭參數(shù)及全景拼接參數(shù)，進(jìn)行車載全景系統(tǒng)的圖像校正及拼接。本發(fā)明免除了使用者在標(biāo)定是繁雜的人工操作且可以適應(yīng)陰影、強(qiáng)光等多種不同的環(huán)境，具有較高的魯棒性。
【專利說(shuō)明】車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及汽車電子領(lǐng)域，特別涉及一種車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法。
【背景技術(shù)】
[0002]隨著汽車電子的蓬勃發(fā)展，車載全景系統(tǒng)技術(shù)也在逐漸成熟。車載全景系統(tǒng)技術(shù)由于成本和使用便捷度的限制，在選擇圖像采集設(shè)備的時(shí)候大多選擇超廣角的魚(yú)眼鏡頭，然后對(duì)攝像頭的一般參數(shù)、魚(yú)眼鏡頭的畸變參數(shù)及攝像頭安裝參數(shù)進(jìn)行標(biāo)定。
[0003]現(xiàn)階段常見(jiàn)的手動(dòng)標(biāo)定方法，基于復(fù)雜的模板，利用人機(jī)交互設(shè)備、使用觸摸屏輔助在顯示的圖像中指定圖像中坐標(biāo)點(diǎn)和現(xiàn)實(shí)世界坐標(biāo)點(diǎn)之間的對(duì)應(yīng)關(guān)系，操作復(fù)雜，費(fèi)時(shí)費(fèi)力，且適應(yīng)的天氣情況比較少，不能在強(qiáng)光或者陰影下進(jìn)行自動(dòng)標(biāo)定。相對(duì)于常見(jiàn)的手動(dòng)標(biāo)定方法，現(xiàn)有的自動(dòng)標(biāo)定算法沒(méi)有完全利用模板的有效信息，導(dǎo)致標(biāo)定魯棒性較低且要求有較好的標(biāo)定環(huán)境條件。

【發(fā)明內(nèi)容】

[0004]針對(duì)上述現(xiàn)有技術(shù)，本發(fā)明要解決的技術(shù)問(wèn)題是提供一種車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法。
[0005]為了解決上述問(wèn)題，本發(fā)明的技術(shù)方案是:
車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，所述車載全景系統(tǒng)包括分別安裝于汽車的車頭、車尾、左側(cè)和右側(cè)的廣角攝像頭，包括步驟:
S1、擺放標(biāo)定模板，調(diào)整目標(biāo)車與標(biāo)定模版的相對(duì)位置；s2、獲取并輸入現(xiàn)場(chǎng)標(biāo)定模板擺放參數(shù)；S3、通過(guò)分析目標(biāo)車上的廣角攝像頭抓取到的圖像，算出標(biāo)定模板在圖像中的位置；s4、識(shí)別出標(biāo)定模板中預(yù)先選定的特征點(diǎn)；s5、確定圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系；s6、根據(jù)步驟s5中圖像中像素點(diǎn)對(duì)應(yīng)世界坐標(biāo)的關(guān)系，推算出攝像頭參數(shù)及全景拼接參數(shù)，進(jìn)行車載全景系統(tǒng)的圖像校正及拼接。
[0006]優(yōu)選的，在進(jìn)行步驟s4的識(shí)別后，還判斷特征點(diǎn)是否識(shí)別成功，若識(shí)別成功則進(jìn)行步驟s5，若識(shí)別失敗或者特征點(diǎn)位置不準(zhǔn)確，則進(jìn)行手動(dòng)修正特征點(diǎn)參數(shù)，指示出現(xiàn)實(shí)世界中的特征點(diǎn)在圖像中的位置。
[0007]優(yōu)選的，步驟Si所述標(biāo)定模板包括分別位于汽車前方、后方、左方和右方并圍成矩形的四個(gè)條形模板，以及分別位于四個(gè)條形模板所圍成矩形的四個(gè)頂點(diǎn)外側(cè)的四個(gè)正方形模板。
[0008]優(yōu)選的，步驟s2中所述模板參數(shù)包括相鄰兩條形模板的長(zhǎng)度，模板參數(shù)通過(guò)人機(jī)交互設(shè)備進(jìn)行輸入，并保存起來(lái)。
[0009]優(yōu)選的，步驟S3利用標(biāo)定模板的顏色信息，將整個(gè)圖像的每個(gè)像素點(diǎn)都進(jìn)行歸一化RGB處理，進(jìn)而算出標(biāo)定模板在圖像中的位置。
[0010]或者，步驟S3利用標(biāo)定模板的顏色信息，把原圖像轉(zhuǎn)換到HIS或HSV空間中，進(jìn)而算出標(biāo)定模板在圖像中的位置。[0011]優(yōu)選的，步驟s4所要識(shí)別出的特征點(diǎn)包括正方形模板的四個(gè)頂點(diǎn)，和條形模板外邊緣上最左點(diǎn)、最右點(diǎn)及中央點(diǎn)。
[0012]具體的，步驟s4中識(shí)別正方形模板的頂點(diǎn)的方法為:選擇完成預(yù)處理的圖片，在已經(jīng)識(shí)別到的符合模板特征的區(qū)域，外擴(kuò)15-50個(gè)像素范圍內(nèi)，求每個(gè)象素點(diǎn)橫縱兩個(gè)方向的梯度值，計(jì)算兩個(gè)梯度值的平方和，并依據(jù)此平方和進(jìn)行排序，得到平方和最高的四個(gè)像素點(diǎn)，即為需要尋找的正方形模板的四個(gè)頂點(diǎn)。
[0013]或者步驟s4中識(shí)別正方形模板的頂點(diǎn)的方法為:選擇完成預(yù)處理的圖片，在已經(jīng)識(shí)別到的符合模板特征的區(qū)域，外擴(kuò)15-50個(gè)像素范圍內(nèi)，計(jì)算每個(gè)象素點(diǎn)橫縱兩個(gè)方向的梯度值，并將滿足閾值的像素點(diǎn)作為正方形模板的邊的點(diǎn)集；將邊的樣本點(diǎn)根據(jù)位置和梯度方向分開(kāi)成四類，即得到正方形邊緣的四條邊各自的點(diǎn)集，對(duì)各個(gè)邊的樣本點(diǎn)進(jìn)行最小二乘擬合，獲得其模型，并依據(jù)模型求各個(gè)邊的交點(diǎn)，并依此找出對(duì)應(yīng)的四個(gè)頂點(diǎn)。
[0014]本發(fā)明還可以通過(guò)獲得目標(biāo)車體的參數(shù)從而得到模板在現(xiàn)實(shí)世界中的位置，其他步驟和上述步驟類似。
[0015]本發(fā)明提供了一種車載全景系統(tǒng)自動(dòng)標(biāo)定方法，處理器利用標(biāo)定模板的顏色信息，將整個(gè)圖像的每個(gè)像素點(diǎn)都進(jìn)行歸一化RGB處理，或者把原圖像轉(zhuǎn)換到HIS或HSV空間中，進(jìn)而算出標(biāo)定模板在圖像中的位置，對(duì)完成預(yù)處理的圖片，在已經(jīng)識(shí)別到的符合模板特征的區(qū)域，外擴(kuò)15-50個(gè)像素范圍內(nèi)，識(shí)別標(biāo)定模板的特征點(diǎn)，確定圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系，推算出攝像頭參數(shù)及全景拼接參數(shù)，進(jìn)行車載全景系統(tǒng)的圖像校正及拼接，免除了使用者在標(biāo)定是繁雜的人工操作且可以適應(yīng)陰影、強(qiáng)光等多種不同的環(huán)境，具有較高的魯棒性。
【專利附圖】

【附圖說(shuō)明】
[0016]圖1是完成本發(fā)明自動(dòng)標(biāo)定的模板及擺放方法的示意圖；
圖2是本發(fā)明所述的車載全景系統(tǒng)自動(dòng)標(biāo)定方法的流程圖；
圖3是本發(fā)明所述的另一種車載全景系統(tǒng)自動(dòng)標(biāo)定方法的流程圖。
【具體實(shí)施方式】
[0017]為了讓本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步闡述。
[0018]如圖1所示，是一種完成本發(fā)明所揭示的車載全景系統(tǒng)自動(dòng)標(biāo)定的模板，及擺放方法，模板包括分別位于汽車前方、后方、左方和右方并圍成矩形的四個(gè)條形模板F4、F2、F3、F1，和分別是位于汽車左前方、右前方、左后方和右后方四個(gè)正方形模板E4、El、E3、E2。四塊正方形模板為邊長(zhǎng)為2M的紅色模板，而Fl和F3為兩條長(zhǎng)度為5M，寬度為0.1M的藍(lán)色條形模板，F(xiàn)2和F4為兩條長(zhǎng)度為2M,寬度為0.1M的藍(lán)色條形模板。所述車載全景系統(tǒng)包括分別安裝于汽車的車頭、車尾、左側(cè)和右側(cè)的廣角攝像頭，L1、L2、L3和L4分別是四個(gè)廣角攝像頭的視域邊界。
[0019]如圖2所示,車載全景系統(tǒng)自動(dòng)標(biāo)定方法包括步驟:
S1、調(diào)整目標(biāo)車和模板的相對(duì)位置，可以將目標(biāo)車開(kāi)到模板擺放中目標(biāo)位置，也可以在一個(gè)寬闊場(chǎng)地中停穩(wěn)車輛之后，將標(biāo)定模板擺放在車體四周，最后達(dá)到如圖1所示的車和模板相對(duì)位置。
[0020]s2、獲得標(biāo)定現(xiàn)場(chǎng)模板擺放參數(shù)，可以通過(guò)人機(jī)交互設(shè)備進(jìn)行輸入，在本示例使用的模板中，需要的參數(shù)為F4和Fl兩條形模板的長(zhǎng)度。同時(shí)，現(xiàn)場(chǎng)模板擺放參數(shù)還會(huì)被保存在存儲(chǔ)設(shè)備中，作為默認(rèn)值，如此，利用同一批模板進(jìn)行標(biāo)定時(shí)，就可以直接使用默認(rèn)值，而無(wú)需再輸入模板參數(shù)。
[0021]S3、通過(guò)分析圖像，獲得模板在圖中的位置。在這一步中，可以首先利用模板的顏色信息進(jìn)行轉(zhuǎn)換。轉(zhuǎn)換方法可以為:將整個(gè)圖像中的每個(gè)象素點(diǎn)都進(jìn)行歸一化RGB處理?；蛘撸言瓐D像轉(zhuǎn)換到HIS或HSV空間中。由于僅運(yùn)用色調(diào)信息來(lái)進(jìn)行模板顏色的識(shí)別容易引入較大的誤差，如若在RGB空間中為(51，50，50 )的像素點(diǎn)，在H分量上進(jìn)行分析時(shí)，是標(biāo)準(zhǔn)的紅色，但是實(shí)際上卻由于飽和度太低的原因偏灰色，所以要將Hue (色調(diào))信息和Saturation (飽和度信息)相結(jié)合。在本例中，由于有一部分采用紅色模板，其Hue信息接近O或者360，所以，將圖像處理到HSV空間后還要進(jìn)行如下變換:紅色強(qiáng)度=(色調(diào)信息-180) *飽和度信息。對(duì)于藍(lán)色信息處理方法和對(duì)紅色處理方法類似。
[0022]s4、在完成以上圖像預(yù)處理之后，可以更為便捷和準(zhǔn)確的識(shí)別到帶有顏色的模板在圖像中的位置，在確定模板位置之后，識(shí)別模板預(yù)先選定的特征。
[0023]具體的，由于采用的為四個(gè)正方形模板和四個(gè)條形模板，需要進(jìn)行識(shí)別的選定特征為正方形的四個(gè)頂點(diǎn)以及條形模板上邊緣上距離盡可能遠(yuǎn)的三個(gè)點(diǎn)。
[0024]在識(shí)別正方形的頂點(diǎn)時(shí)可以用任選以下兩種方法的一種。
[0025]方法一:選擇完成預(yù)處理的圖片，在已經(jīng)識(shí)別到的最符合模板特征的區(qū)域，外擴(kuò)20個(gè)像素范圍內(nèi)，求每個(gè)象素點(diǎn)橫縱兩個(gè)方向的梯度值，計(jì)算兩個(gè)梯度值的平方和，并依據(jù)此平方和進(jìn)行排序，得到平方和最高的四個(gè)像素點(diǎn)，即為需要尋找的正方形模板的四個(gè)頂
占.方法二:選擇完成預(yù)處理的圖片，在已經(jīng)識(shí)別到的最符合模板特征得區(qū)域，外擴(kuò)20個(gè)像素范圍內(nèi)，計(jì)算每個(gè)象素點(diǎn)橫縱兩個(gè)方向的梯度值，并認(rèn)為滿足閾值的像素點(diǎn)為正方形模板的邊的點(diǎn)集。將邊的樣本點(diǎn)根據(jù)位置和梯度方向分開(kāi)成四類，即得到正方形邊緣的四條邊各自的點(diǎn)集，對(duì)各個(gè)邊的樣本點(diǎn)進(jìn)行最小二乘擬合，獲得其模型，并依據(jù)模型求各個(gè)邊的交點(diǎn)，并依此找出對(duì)應(yīng)的四個(gè)頂點(diǎn)。
[0026]確定條形模板上邊緣的三個(gè)點(diǎn)的方法和確定正方形頂點(diǎn)方法類似，由于條形模板是向攝像頭兩側(cè)延伸，所以要在模板所在區(qū)域依據(jù)梯度確定上邊緣之后，根據(jù)模板在圖像中的長(zhǎng)度得到條形模板在圖像上的最左、最右點(diǎn)及中央點(diǎn)。在上邊緣上，此三個(gè)點(diǎn)確定的橫坐標(biāo)處，確定需要在條帶上尋找的三個(gè)點(diǎn)。
[0027]s4_l、判斷特征點(diǎn)是否識(shí)別成功。由于自動(dòng)尋找特征，可能由于環(huán)境特殊或模板未擺放到位導(dǎo)致自動(dòng)識(shí)別失敗或識(shí)別出來(lái)的特征點(diǎn)位置偏離理想位置很多，所以要先讓程序確認(rèn)目標(biāo)點(diǎn)像素點(diǎn)合理，然后反饋給使用者，讓使用者確認(rèn)找到的目標(biāo)點(diǎn)是正確的。
[0028]在步驟s4_l中，若特征點(diǎn)識(shí)別成功,則進(jìn)入步驟s5,若沒(méi)有成功或者通過(guò)自動(dòng)標(biāo)定獲得的特征位置不準(zhǔn)確，則進(jìn)行步驟S4_2。
[0029]s4_2、通過(guò)按鍵或者觸摸屏等方法指示出現(xiàn)實(shí)世界中的特征點(diǎn)在圖像中的位置，即手動(dòng)修正特征點(diǎn)的參數(shù)。
[0030]s5、完成步驟s4之后，確定圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系。[0031]s6、根據(jù)s5中圖像中像素點(diǎn)對(duì)應(yīng)世界坐標(biāo)的關(guān)系，推算出包括攝像頭內(nèi)部參數(shù)及攝像頭安裝參數(shù)，進(jìn)行車載全景系統(tǒng)的圖像校正及拼接。
[0032]如圖3所示，此圖提供了另一種車載全景成像系統(tǒng)的自動(dòng)標(biāo)定算法。
[0033]在圖3中所示的自動(dòng)標(biāo)定算法和圖2中所示的自動(dòng)標(biāo)定算法根本區(qū)別在于圖2中所示的標(biāo)定算法是通過(guò)獲得目標(biāo)車體的參數(shù)從而得到模板在現(xiàn)實(shí)世界中的位置，其他步驟和圖2所示流程類似。
[0034]以上所述為本發(fā)明的較佳實(shí)施方式，并非對(duì)本發(fā)明作任何形式上的限制。需要說(shuō)明的是，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
【權(quán)利要求】
1.車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，所述車載全景系統(tǒng)包括分別安裝于汽車的車頭、車尾、左側(cè)和右側(cè)的廣角攝像頭，其特征在于，包括步驟: S1、擺放標(biāo)定模板，調(diào)整目標(biāo)車與標(biāo)定模版的相對(duì)位置； s2、獲取并輸入現(xiàn)場(chǎng)標(biāo)定模板擺放參數(shù)； S3、通過(guò)分析目標(biāo)車上的廣角攝像頭抓取到的圖像，算出標(biāo)定模板在圖像中的位置； s4、識(shí)別出標(biāo)定模板中預(yù)先選定的特征點(diǎn)； s5、確定圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系； s6、根據(jù)步驟s5中圖像中像素點(diǎn)對(duì)應(yīng)世界坐標(biāo)的關(guān)系，推算出攝像頭參數(shù)及全景拼接參數(shù)，進(jìn)行車載全景系統(tǒng)的圖像校正及拼接。
2.根據(jù)權(quán)利要求1所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，在進(jìn)行步驟s4的識(shí)別后，還判斷特征點(diǎn)是否識(shí)別成功，若識(shí)別成功則進(jìn)行步驟s5，若識(shí)別失敗或者特征點(diǎn)位置不準(zhǔn)確，則進(jìn)行手動(dòng)修正特征點(diǎn)參數(shù)，指示出現(xiàn)實(shí)世界中的特征點(diǎn)在圖像中的位置。
3.根據(jù)權(quán)利要求1所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，步驟Si所述標(biāo)定模板包括分別位于汽車前方、后方、左方和右方并圍成矩形的四個(gè)條形模板，以及分別位于四個(gè)條形模板所圍成矩形的四個(gè)頂點(diǎn)外側(cè)的四個(gè)正方形模板。
4.根據(jù)權(quán)利要求3所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，步驟s2中所述模板參數(shù)包括相鄰兩條形模板的長(zhǎng)度，模板參數(shù)通過(guò)人機(jī)交互設(shè)備進(jìn)行輸入，并保存起來(lái)。
5.根據(jù)權(quán)利要求3所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，步驟s3利用標(biāo)定模板的顏色信息，將整個(gè)圖像的每個(gè)像素點(diǎn)都進(jìn)行歸一化RGB處理，進(jìn)而算出標(biāo)定模板在圖像中的位置。
6.根據(jù)權(quán)利要求3所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，步驟s3利用標(biāo)定模板的顏色信息，把原圖像轉(zhuǎn)換到HIS或HSV空間中，進(jìn)而算出標(biāo)定模板在圖像中的位置。
7.根據(jù)權(quán)利要求3所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，步驟s4所要識(shí)別出的特征點(diǎn)包括正方形模板的四個(gè)頂點(diǎn)，和條形模板外邊緣上最左點(diǎn)、最右點(diǎn)及中央點(diǎn)。
8.根據(jù)權(quán)利要求7所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，步驟s4中識(shí)別正方形模板的頂點(diǎn)的方法為:選擇完成預(yù)處理的圖片，在已經(jīng)識(shí)別到的符合模板特征的區(qū)域，外擴(kuò)15-50個(gè)像素范圍內(nèi)，求每個(gè)象素點(diǎn)橫縱兩個(gè)方向的梯度值，計(jì)算兩個(gè)梯度值的平方和，并依據(jù)此平方和進(jìn)行排序，得到平方和最高的四個(gè)像素點(diǎn)，即為需要尋找的正方形模板的四個(gè)頂點(diǎn)。
9.根據(jù)權(quán)利要求7所述的車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，步驟s4中識(shí)別正方形模板的頂點(diǎn)的方法為:選擇完成預(yù)處理的圖片，在已經(jīng)識(shí)別到的符合模板特征的區(qū)域，外擴(kuò)15-50個(gè)像素范圍內(nèi)，計(jì)算每個(gè)象素點(diǎn)橫縱兩個(gè)方向的梯度值，并將滿足閾值的像素點(diǎn)作為正方形模板的邊的點(diǎn)集；將邊的樣本點(diǎn)根據(jù)位置和梯度方向分開(kāi)成四類，即得到正方形邊緣的四條邊各自的點(diǎn)集，對(duì)各個(gè)邊的樣本點(diǎn)進(jìn)行最小二乘擬合，獲得其模型，并依據(jù)模型求各個(gè)邊的交點(diǎn)，并依此找出對(duì)應(yīng)的四個(gè)頂點(diǎn)。
10.車載全景成像系統(tǒng)的自動(dòng)標(biāo)定方法，其特征在于，包括步驟: Sl1、擺放標(biāo)定模板，調(diào)整目標(biāo)車與標(biāo)定模版的相對(duì)位置； s2/、獲取并輸入現(xiàn)場(chǎng)目標(biāo)車輛車體的參數(shù)； S3'、通過(guò)分析目標(biāo)車上的廣角攝像頭抓取到的圖像，算出標(biāo)定模板在圖像中的位置； s4'、識(shí)別出標(biāo)定模板中預(yù)先選定的特征點(diǎn)； S5'、確定圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系； s6'、根據(jù)步驟s5'中圖像中像素點(diǎn)對(duì)應(yīng)世界坐標(biāo)的關(guān)系，推算出攝像頭參數(shù)及全景拼接參數(shù)，進(jìn)行車載全`景系統(tǒng)的圖像校正及拼接。
【文檔編號(hào)】G06T3/40GK103871070SQ201410132770
【公開(kāi)日】2014年6月18日 申請(qǐng)日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】戈志偉, 劉建, 劉偉恒, 張荃, 陳杰, 鐘晨 申請(qǐng)人:深圳市德賽微電子技術(shù)有限公司