本發(fā)明涉及汽車電子技術(shù)領(lǐng)域，特別是涉及一種基于偏差轉(zhuǎn)移和拆分的汽車360°環(huán)視圖像拼接方法。

背景技術(shù)：

隨著汽車電子行業(yè)的快速發(fā)展，汽車360°環(huán)視全景系統(tǒng)快速發(fā)展，并且已經(jīng)逐步推廣開來。作為高級(jí)駕駛員輔助系統(tǒng)(ADAS)的重要組成部分，汽車360°環(huán)視全景系統(tǒng)有著無可替代的作用。該系統(tǒng)能將夠?qū)⑵囍苌硪欢ǚ秶鷥?nèi)的物體無死角的直觀呈現(xiàn)出來，在低速行駛、倒車、窄路會(huì)車等復(fù)雜車況下能夠有效解決駕駛員視野受阻的問題。

目前，市面上汽車配備的360°環(huán)視全景系統(tǒng)幾乎都是2D的俯視全景。2D俯視全景系統(tǒng)的形成流程為：

(1).四路車用魚眼鏡頭采集車身四周圖像；

(2).原始魚眼畸變圖像的矯正；

(3).矯正后圖像的俯視圖變換；

(4).四路俯視圖像的環(huán)視拼接和融合。

環(huán)視圖像拼接作為最終形成360°環(huán)視全景的重要環(huán)節(jié)，其與傳統(tǒng)的圖像拼接有所差別，其難點(diǎn)主要體現(xiàn)在：360°環(huán)視圖像拼接最終形成的是360°視角、封閉的環(huán)視圖像，而由于前置環(huán)節(jié)—魚眼圖像畸變矯正和俯視變換會(huì)引入累計(jì)偏差，最終會(huì)在環(huán)視圖像拼接時(shí)造成圖像拼接處的缺失、錯(cuò)位或失真等現(xiàn)象，嚴(yán)重影響全景系統(tǒng)的視覺效果。

現(xiàn)有的解決方法主要有：

(1).在圖像拼接處人為設(shè)置黑縫，該方法規(guī)避了拼接處的錯(cuò)位等問題，但環(huán)視系統(tǒng)會(huì)在拼接黑縫處呈現(xiàn)盲區(qū)；

(2).針對(duì)拼接時(shí)的最后一幅俯視圖像進(jìn)行大角度不規(guī)則扭曲以貼合其他三幅俯視圖像，該方法在拼接處避免了缺失、錯(cuò)位等現(xiàn)象的同時(shí)，卻帶來其中一幅圖像不規(guī)則扭曲的問題。

因此，針對(duì)上述技術(shù)問題，有必要提供一種基于偏差轉(zhuǎn)移和拆分的汽車360°環(huán)視圖像拼接方法。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供一種基于偏差轉(zhuǎn)移和拆分的汽車360°環(huán)視圖像拼接方法，該環(huán)視圖像拼接方法在滿足汽車360°環(huán)視系統(tǒng)性能的同時(shí)，能有效減弱環(huán)視圖像拼接處錯(cuò)位、失真等現(xiàn)象。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供的技術(shù)方案如下：

一種基于偏差轉(zhuǎn)移和拆分的汽車360°環(huán)視圖像拼接方法，所述方法包括：

S1、對(duì)四路俯視圖像進(jìn)行感興趣區(qū)域的提??；

S2、提取各俯視圖像間重疊區(qū)域的特征點(diǎn)，計(jì)算仿射變換矩陣；

S3、對(duì)相對(duì)的兩路俯視圖像進(jìn)行圖像分割，并獨(dú)立配準(zhǔn)；

S4、對(duì)配準(zhǔn)后兩路俯視圖像的兩部分圖像進(jìn)行偏角的調(diào)整；

S5、對(duì)兩路俯視圖像的兩部分圖像進(jìn)行對(duì)準(zhǔn)拼接和全幅圖像的融合。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S1具體包括：

利用圖像裁剪函數(shù)對(duì)四路俯視圖像進(jìn)行矩形感興趣區(qū)域的提取，并按序保存。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述四路俯視圖像包括前視圖、左視圖、右視圖和后視圖。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S2具體包括：

利用Harris角點(diǎn)檢測(cè)對(duì)各俯視圖像間重疊區(qū)域處標(biāo)定板的特征角點(diǎn)進(jìn)行提取，記錄角點(diǎn)坐標(biāo)；

利用RANSAC方法對(duì)各俯視圖像間的配對(duì)角點(diǎn)進(jìn)行提純；

利用配對(duì)角點(diǎn)分別計(jì)算各俯視圖像間的仿射變換矩陣。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S3～S5中的兩路俯視圖像為左視圖和右視圖。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S3具體包括：

分別將左視圖、右視圖分割為上下兩部分，利用仿射變換矩陣分別對(duì)左視圖、右視圖上部分圖像與前視圖進(jìn)行配準(zhǔn)，對(duì)左視圖、右視圖下部分圖像與后視圖像進(jìn)行配準(zhǔn)。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S4具體包括：

對(duì)配準(zhǔn)后形成的上下兩部分配準(zhǔn)圖像進(jìn)行水平方向傾角的計(jì)算，對(duì)該傾角逐行進(jìn)行圖像的水平調(diào)整。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S5具體包括：

對(duì)水平調(diào)整后的上下兩部分配準(zhǔn)圖像進(jìn)行對(duì)準(zhǔn)拼接形成完整的360°環(huán)視圖像，通過加權(quán)融合方法對(duì)圖像拼縫處進(jìn)行圖像融合，形成最終的360°環(huán)視全景圖。

本發(fā)明的有益效果是：

本發(fā)明通過將累積偏差由拼縫處轉(zhuǎn)移、拆分到相對(duì)的兩路俯視圖像中，以兩路俯視圖像的小變形代替拼縫處嚴(yán)重錯(cuò)位和失真的現(xiàn)象，在避免拼縫處失真、錯(cuò)位的同時(shí)，保證了全景系統(tǒng)不存在黑縫盲區(qū)，且改善了俯視圖像的大范圍扭曲現(xiàn)象，對(duì)于汽車360°環(huán)視全景具有重要的現(xiàn)實(shí)意義。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明基于偏差轉(zhuǎn)移和拆分的汽車360°環(huán)視圖像拼接方法的流程示意圖；

圖2為本發(fā)明一具體實(shí)施方式中特征角點(diǎn)提取和相應(yīng)變換矩陣的示意圖；

圖3為本發(fā)明一具體實(shí)施方式中圖像分割和配準(zhǔn)的示意圖；

圖4為本發(fā)明一具體實(shí)施方式中配準(zhǔn)后圖像偏角調(diào)整及對(duì)準(zhǔn)拼接的示意圖；

圖5a、5b分別為現(xiàn)有技術(shù)中拼接方法和本實(shí)施方式中環(huán)視拼接方法的效果圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。

參圖1所示，本發(fā)明的一種基于偏差轉(zhuǎn)移和拆分的汽車360°環(huán)視圖像拼接方法，該方法包括：

S1、對(duì)四路俯視圖像進(jìn)行感興趣區(qū)域的提??；

S2、提取各俯視圖像間重疊區(qū)域的特征點(diǎn)，計(jì)算仿射變換矩陣；

S3、對(duì)相對(duì)的兩路俯視圖像進(jìn)行圖像分割，并獨(dú)立配準(zhǔn)；

S4、對(duì)配準(zhǔn)后兩路俯視圖像的兩部分圖像進(jìn)行偏角的調(diào)整；

S5、對(duì)兩路俯視圖像的兩部分圖像進(jìn)行對(duì)準(zhǔn)拼接和全幅圖像的融合。

以下對(duì)本發(fā)明一具體實(shí)施方式中汽車360°環(huán)視圖像拼接方法的各步驟進(jìn)行詳細(xì)說明。

S1、對(duì)四路俯視圖像進(jìn)行感興趣區(qū)域的提取。

四路魚眼畸變圖像經(jīng)矯正和俯視變換后形成四路俯視圖像；以360°環(huán)視全景系統(tǒng)設(shè)計(jì)的視野覆蓋范圍為依據(jù)，在四路俯視圖像中利用圖像裁剪函數(shù)分別提取出感興趣區(qū)域，并記錄為前視圖、左視圖、右視圖和后視圖。

S2、提取各俯視圖像間重疊區(qū)域的特征點(diǎn)，計(jì)算仿射變換矩陣。

參圖2所示，利用Harris角點(diǎn)檢測(cè)分別提取前視圖和左視圖重疊區(qū)域處標(biāo)定格板的對(duì)應(yīng)特征角點(diǎn)，并分別記錄角點(diǎn)坐標(biāo)為pt1和pt2；利用RANSAC方法對(duì)特征角點(diǎn)對(duì)(pt1，pt2)進(jìn)行匹配提純；計(jì)算特征角點(diǎn)對(duì)(pt1，pt2)間的仿射變換矩陣H1為：

pt1＝H1×pt2。

同理，可計(jì)算出右視圖到前視圖的仿射變換矩陣H2、左視圖到后視圖的仿射變換矩陣H3、右視圖到后視圖的仿射變換矩陣H4。

S3、對(duì)相對(duì)的兩路俯視圖像進(jìn)行圖像分割，并獨(dú)立配準(zhǔn)。

本實(shí)施方式中的兩路俯視圖像以左視圖和右視圖為例進(jìn)行說明，參圖3所示，將左視圖、右視圖分別分割為上下兩部分圖像：左視圖上部分、左視圖下部分、右視圖上部分和右視圖下部分。不失一般性，本實(shí)施方式中可對(duì)左、右視圖等分分割。

然后將左視圖上部分圖像按仿射變換矩陣H1向前視圖配準(zhǔn)、右視圖上部分圖像按仿射變換變換矩陣H2向前視圖配準(zhǔn)、左視圖下部分圖像按仿射變換矩陣H3向后視圖配準(zhǔn)、右視圖下部分圖像按仿射變換矩陣H4向后視圖配準(zhǔn)；配準(zhǔn)后經(jīng)拼接裁剪在重疊區(qū)域形成拼縫。

S4、對(duì)配準(zhǔn)后兩路俯視圖像的兩部分圖像進(jìn)行偏角的調(diào)整。

參圖3、圖4所示，由于逐步累積的偏差，左視圖、右視圖會(huì)在分割處呈現(xiàn)水平方向的傾斜，若將上下部分圖像直接對(duì)準(zhǔn)拼接，將在左視圖、右視圖分割處呈現(xiàn)嚴(yán)重的錯(cuò)位、失真等現(xiàn)象。

本實(shí)施方式中分別計(jì)算左視圖、右視圖分割處的水平傾角θ；以配準(zhǔn)后左視圖、右視圖各部分圖像的中心軸為旋轉(zhuǎn)軸，對(duì)配準(zhǔn)后的左視圖、右視圖各部分圖像逐行進(jìn)行傾角的水平調(diào)整，調(diào)整角度按θ逐行遞減，最終在分割處形成水平線。

S5、對(duì)兩路俯視圖像的兩部分圖像進(jìn)行對(duì)準(zhǔn)拼接和全幅圖像的融合。

參圖4所示，對(duì)水平傾角調(diào)整后的上下兩部分圖像進(jìn)行對(duì)準(zhǔn)拼接形成完整的360°環(huán)視圖像；然后通過加權(quán)融合方法對(duì)相鄰俯視圖像重疊區(qū)域的拼縫和上下兩部分圖像的分割處進(jìn)行融合，最終形成360°環(huán)視全景圖。

綜上所示，本實(shí)施方式首先對(duì)左視圖和右視圖進(jìn)行分割得到左視圖上、下部分和右視圖上、下部分，通過左視圖上部分、右視圖上部分與前視圖的配準(zhǔn)，左視圖下部分、右視圖下部分與后視圖的配準(zhǔn)，將累積的偏差轉(zhuǎn)移并拆分到左視圖和右視圖的分割處，使得各俯視圖像重疊區(qū)域拼接處的失真、錯(cuò)位等現(xiàn)象盡可能減弱；然后對(duì)配準(zhǔn)后形成的上下兩部分配準(zhǔn)圖像進(jìn)行傾角的水平調(diào)整，能在一定程度上減弱累積偏差在左、右視圖分割處的錯(cuò)位、失真效應(yīng)，便于上下兩部分配準(zhǔn)圖像最終形成環(huán)視全景圖像。這種汽車360°環(huán)視圖像拼接方法在滿足環(huán)視全景系統(tǒng)性能的前提下，利用左、右視圖整體的的微弱變形代替原拼接方法在拼縫處的較大錯(cuò)位和失真，對(duì)360°環(huán)視全景系統(tǒng)的發(fā)展具有積極意義。

參圖5a、5b所示分別為現(xiàn)有技術(shù)中拼接方法和本實(shí)施方式中環(huán)視拼接方法的效果圖，對(duì)比現(xiàn)有方法，本發(fā)明能夠避免拼縫處失真、錯(cuò)位，同時(shí)拼接圖像不存在黑縫盲區(qū)和大范圍扭曲現(xiàn)象。

應(yīng)當(dāng)理解的是，上述實(shí)施方式中對(duì)左視圖和右視圖進(jìn)行圖像分割，并獨(dú)立配準(zhǔn)，在其他實(shí)施方式中也可以對(duì)前視圖和后視圖進(jìn)行圖像分割并獨(dú)立配準(zhǔn)，對(duì)應(yīng)地，對(duì)配準(zhǔn)后前視圖和后視圖的兩部分圖像進(jìn)行偏角的豎直調(diào)整，然后對(duì)前視圖和后視圖的兩部分圖像進(jìn)行對(duì)準(zhǔn)拼接和全幅圖像的融合，同樣可以實(shí)現(xiàn)360°環(huán)視圖像拼接，該方法與上述實(shí)施方式類似，此處不再詳細(xì)舉例進(jìn)行說明。

由上述技術(shù)方案可以看出，本發(fā)明通過將累積偏差由拼縫處轉(zhuǎn)移、拆分到相對(duì)的兩路俯視圖像中，以兩路俯視圖像的小變形代替拼縫處嚴(yán)重錯(cuò)位和失真的現(xiàn)象，在避免拼縫處失真、錯(cuò)位的同時(shí)，保證了全景系統(tǒng)不存在黑縫盲區(qū)，且改善了俯視圖像的大范圍扭曲現(xiàn)象，對(duì)于汽車360°環(huán)視全景具有重要的現(xiàn)實(shí)意義。

對(duì)于本領(lǐng)域技術(shù)人員而言，顯然本發(fā)明不限于上述示范性實(shí)施例的細(xì)節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。因此，無論從哪一點(diǎn)來看，均應(yīng)將實(shí)施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。

此外，應(yīng)當(dāng)理解，雖然本說明書按照實(shí)施方式加以描述，但并非每個(gè)實(shí)施方式僅包含一個(gè)獨(dú)立的技術(shù)方案，說明書的這種敘述方式僅僅是為清楚起見，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)將說明書作為一個(gè)整體，各實(shí)施例中的技術(shù)方案也可以經(jīng)適當(dāng)組合，形成本領(lǐng)域技術(shù)人員可以理解的其他實(shí)施方式。