本發(fā)明涉及全景圖像生成技術(shù)領(lǐng)域，特別是涉及全景泊車圖像畸變校正方法及裝置。

背景技術(shù)：

隨著圖像和計算機視覺技術(shù)的快速發(fā)展，越來越多的技術(shù)被應(yīng)用到汽車電子領(lǐng)域，傳統(tǒng)的基于圖像的倒車影像系統(tǒng)只在車尾安裝攝像頭，只能覆蓋車尾周圍有限的區(qū)域，而車輛周圍和車頭的盲區(qū)無疑增加了安全駕駛的隱患，在狹隘擁堵的市區(qū)和停車場容易出現(xiàn)碰撞和刮蹭事件。為擴大駕駛員視野，就必須能感知360°全方位的環(huán)境，這就需要多個視覺傳感器的相互協(xié)同配合作用然后通過視頻合成處理，形成全車周圍的一整套的視頻圖像，就是有這類需求，全景視覺泊車輔助系統(tǒng)應(yīng)運而生。

但是，由于全景泊車攝像頭為超廣角攝像頭(例如魚眼攝像頭)，相比普通相機圖像有較大畸變，畫面不夠直觀。

在現(xiàn)有技術(shù)中，一般有兩種處理消除畸變的方式：

1、通過選取攝像頭所攝取原始圖像的中央位置部分區(qū)域圖像，將其放大到要求尺寸輸出處理；然，此種圖像處理方式，圖像因放大拉伸，有一定的模糊問題，另外因只輸出部分原始圖像，原始畫面信息有一定丟棄損失。

2、通過將攝像頭所攝取的原始圖像進行區(qū)畸變處理成普通透視投影圖像，取一定視角圖像輸出；然，此方法有中間清楚而邊緣因拉伸過大的模糊問題，同時原始畫面視野范圍也有較大損失。

技術(shù)實現(xiàn)要素：

鑒于以上所述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供全景泊車圖像畸變校正方法及裝置，用于解決現(xiàn)有技術(shù)中全景圖像畸變的問題。

為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種全景泊車圖像畸變校正方法，包括：在物理坐標系下，以設(shè)于車身的廣角的圖像采集裝置為中心建立一個虛擬柱面，其中，所述虛擬柱面的中軸方向可變；利用標定數(shù)據(jù)，將圖像采集裝置所采集畫面反向投影至該虛擬柱面上以形成重投影圖像；將所述虛擬柱面上的重投影圖像裁切輸出。

于本發(fā)明的一實施例中，所述虛擬柱面豎直設(shè)置，以令所述重投影圖像為水平方向。

于本發(fā)明的一實施例中，所述圖像采集裝置為魚眼攝像頭。

于本發(fā)明的一實施例中，所述圖像采集裝置有四個，分別設(shè)于車身的前、后、左、及右位置。

于本發(fā)明的一實施例中，所述方法還包括：利用對應(yīng)設(shè)于車身的各圖像采集裝置得到的重投影圖像來生成車輛的全景圖像。

為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種全景泊車圖像畸變校正裝置，包括：模型建立模塊，用于在物理坐標系下，以設(shè)于車身的廣角的圖像采集裝置為中心建立一個虛擬柱面，其中，所述虛擬柱面的中軸方向可變；投影模塊，用于利用標定數(shù)據(jù)，將圖像采集裝置所采集畫面反向投影至該虛擬柱面上以形成重投影圖像；圖像輸出模塊，用于將所述虛擬柱面上的重投影圖像裁切輸出。

于本發(fā)明的一實施例中，所述虛擬柱面豎直設(shè)置，以令所述重投影圖像為水平方向。

于本發(fā)明的一實施例中，所述圖像采集裝置為魚眼攝像頭。

于本發(fā)明的一實施例中，所述圖像采集裝置有四個，分別設(shè)于車身的前、后、左、及右位置。

于本發(fā)明的一實施例中，所述全景泊車圖像畸變校正裝置還包括：全景圖像生成模塊，用于利用對應(yīng)設(shè)于車身的各圖像采集裝置得到的重投影圖像來生成車輛的全景圖像。

如上所述，本發(fā)明提供的全景泊車圖像畸變校正方法及裝置，通過在物理坐標系下，以設(shè)于車身的廣角的圖像采集裝置為中心建立一個虛擬柱面，其中，所述虛擬柱面的中軸方向可變；利用標定數(shù)據(jù)，將圖像采集裝置所采集畫面反向投影至該虛擬柱面上以形成重投影圖像；將所述虛擬柱面上的重投影圖像裁切輸出；不僅消除了畫面上的嚴重畸變，又保留了足夠的原始圖像信息，并且，輸出圖像為一個與攝像機安裝角度無關(guān)的更加靈活的可變視角，使得畫面更加直觀。

附圖說明

圖1顯示為本發(fā)明于一實施例中的全景泊車圖像畸變校正方法的流程示意圖。

圖2顯示為本發(fā)明于一實施例中的全景泊車圖像畸變校正裝置的模塊示意圖。

元件標號說明

201模型建立模塊

202投影模塊

203圖像輸出模塊

s101～s103方法步驟

具體實施方式

以下通過特定的具體實例說明本發(fā)明的實施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的具體實施方式加以實施或應(yīng)用，本說明書中的各項細節(jié)也可以基于不同觀點與應(yīng)用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。

需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復雜。

本發(fā)明的技術(shù)方案，應(yīng)用于全景泊車技術(shù)領(lǐng)域，用于消除由于使用廣角的圖像采集裝置產(chǎn)生的圖像畸變。

于本發(fā)明的一實施例中，所述圖像采集裝置為魚眼攝像頭；一般而言，所述圖像采集裝置可以有四個，分別設(shè)于車身的前、后、左、及右位置，前、后位置的圖像采集裝置可設(shè)于車身的中線位置，例如保險杠的中部位置，而所述左、右兩側(cè)的圖像采集裝置可設(shè)于左、右后視鏡的位置。

如圖1所示，本發(fā)明提供一種全景泊車圖像畸變校正方法實施例，其包括：

步驟s101：在物理坐標系下，以設(shè)于車身的廣角的圖像采集裝置為中心建立一個虛擬柱面，其中，所述虛擬柱面的中軸方向可變。

于本發(fā)明的一實施例中，所述虛擬柱面可例如為圓柱面；在真實世界的物理坐標系下，設(shè)所述圖像采集裝置位于該柱面的中心。

步驟s102：利用標定數(shù)據(jù)，將圖像采集裝置所采集畫面反向投影至該虛擬柱面上以形成重投影圖像。

于本發(fā)明的一實施例中，所述圖像采集裝置位于該柱面的中心，其采集所能攝取的外部圖像，進而將該圖像再投射至假設(shè)在其外部的虛擬柱面上，形成重投影，從而消除畸變。

具體的，在柱面透視投影模型中，空間中的直線投影不再是直線，而是柱面上的橢圓，通過在原始圖像上選取采樣點，對這些點映射為柱面上的點，而利用圖像采集裝置標定參數(shù)即可算得原始圖像上的一點的坐標與重投影圖像上的對應(yīng)點的物理坐標間的映射關(guān)系，因此，即可對應(yīng)每個原始圖像上的點得到重投影圖像上的每個點的物理坐標，從而得到重投影圖像。

步驟s103：將所述虛擬柱面上的重投影圖像裁切輸出。

需特別說明的是，當柱面設(shè)計為豎直方向時，輸出畫面為水平視角，若需要其他視角，可設(shè)計調(diào)整主面方向與需求視角垂直即可，如此，輸出圖像為一個與攝像機安裝角度無關(guān)的更加靈活的可變視角，使得畫面更加直觀。

進而，利用上述過程得到設(shè)于車身的各圖像采集裝置的重投影圖像，可通過拼接來生成車輛的全景圖像，圖像拼接(imagestitching)是一種利用實景圖像組成全景空間的技術(shù)，它將多幅圖像拼接成一幅大尺度圖像或360度全景圖，圖像拼接技術(shù)涉及到計算機視覺、計算機圖形學、數(shù)字圖像處理以及一些數(shù)學工具等技術(shù)。

圖像拼接的關(guān)鍵兩步是：配準(registration)和融合(blending)。配準的目的是根據(jù)幾何運動模型，將圖像注冊到同一個坐標系中；融合則是將配準后的圖像合成為一張大的拼接圖像。

在多幅圖像配準的過程中，采用的幾何運動模型主要有：平移模型、相似性模型、仿射模型和透視模型。圖像的平移模型是指圖像僅在兩維空間發(fā)生了方向和方向的位移，如果攝像機僅僅發(fā)生了平移運動，則可以采用平移模型。圖像的相似性模型是指攝像機本身除了平移運動外還可能發(fā)生旋轉(zhuǎn)運動，同時，在存在場景的縮放時，還可以利用縮放因子多縮放運動進行描述，因此，當圖像可能發(fā)生平移、旋轉(zhuǎn)、縮放運動時，可以采用相似性模型。圖像的仿射模型是一個6參數(shù)的變換模型，即具有平行線變換成平行線，有限點映射到有限點的一般特性，具體表現(xiàn)可以是各個方向尺度變換系數(shù)一致的均勻尺度變換或變換系數(shù)不一致的非均與尺度變換及剪切變換等，可以描述平移運動、旋轉(zhuǎn)運動以及小范圍的縮放和變形。圖像的透視模型是具有8個參數(shù)的變換模型，可以完美地表述各種表換，是一種最為精確變換模型。圖像融合技術(shù)一般可分為非多分辨率技術(shù)和多分辨率技術(shù)兩類。在非多分辨率技術(shù)中主要有平均值法、帽子函數(shù)法、加權(quán)平均法和中值濾波法等。多分辨率技術(shù)主要有高斯金字塔、拉普拉斯金字塔、對比度金字塔，梯度金字塔和小波等。

如圖2所示，本發(fā)明提供一種全景泊車圖像畸變校正裝置的實施例，其原理與上述方法實施例大致相同，因此相同的技術(shù)細節(jié)不作重復贅述；所述裝置包括：模型建立模塊201、投影模塊202、及圖像輸出模塊203。

所述模型建立模塊201，用于在物理坐標系下，以設(shè)于車身的廣角的圖像采集裝置為中心建立一個虛擬柱面，其中，所述虛擬柱面的中軸方向可變。于本發(fā)明的一實施例中，所述虛擬柱面可例如為圓柱面；在真實世界的物理坐標系下，設(shè)所述圖像采集裝置位于該柱面的中心。

所述投影模塊202，用于利用標定數(shù)據(jù)，將圖像采集裝置所采集畫面反向投影至該虛擬柱面上以形成重投影圖像，于本發(fā)明的一實施例中，所述圖像采集裝置位于該柱面的中心，其采集所能攝取的外部圖像，進而將該圖像再投射至假設(shè)在其外部的虛擬柱面上，形成重投影，從而消除畸變。具體的，在柱面透視投影模型中，空間中的直線投影不再是直線，而是柱面上的橢圓，通過在原始圖像上選取采樣點，對這些點映射為柱面上的點，而利用圖像采集裝置標定參數(shù)即可算得原始圖像上的一點的坐標與重投影圖像上的對應(yīng)點的物理坐標間的映射關(guān)系，因此，即可對應(yīng)每個原始圖像上的點得到重投影圖像上的每個點的物理坐標，從而得到重投影圖像。

所述圖像輸出模塊203，用于將所述虛擬柱面上的重投影圖像裁切輸出。

在后續(xù)步驟中，利用上述過程得到設(shè)于車身的各圖像采集裝置的重投影圖像，可通過拼接來生成車輛的全景圖像，圖像拼接(imagestitching)是一種利用實景圖像組成全景空間的技術(shù)，它將多幅圖像拼接成一幅大尺度圖像或360度全景圖，圖像拼接技術(shù)涉及到計算機視覺、計算機圖形學、數(shù)字圖像處理以及一些數(shù)學工具等技術(shù)。

圖像拼接的關(guān)鍵兩步是：配準(registration)和融合(blending)。配準的目的是根據(jù)幾何運動模型，將圖像注冊到同一個坐標系中；融合則是將配準后的圖像合成為一張大的拼接圖像。

在多幅圖像配準的過程中，采用的幾何運動模型主要有：平移模型、相似性模型、仿射模型和透視模型。圖像的平移模型是指圖像僅在兩維空間發(fā)生了方向和方向的位移，如果攝像機僅僅發(fā)生了平移運動，則可以采用平移模型。圖像的相似性模型是指攝像機本身除了平移運動外還可能發(fā)生旋轉(zhuǎn)運動，同時，在存在場景的縮放時，還可以利用縮放因子多縮放運動進行描述，因此，當圖像可能發(fā)生平移、旋轉(zhuǎn)、縮放運動時，可以采用相似性模型。圖像的仿射模型是一個6參數(shù)的變換模型，即具有平行線變換成平行線，有限點映射到有限點的一般特性，具體表現(xiàn)可以是各個方向尺度變換系數(shù)一致的均勻尺度變換或變換系數(shù)不一致的非均與尺度變換及剪切變換等，可以描述平移運動、旋轉(zhuǎn)運動以及小范圍的縮放和變形。圖像的透視模型是具有8個參數(shù)的變換模型，可以完美地表述各種表換，是一種最為精確變換模型。圖像融合技術(shù)一般可分為非多分辨率技術(shù)和多分辨率技術(shù)兩類。在非多分辨率技術(shù)中主要有平均值法、帽子函數(shù)法、加權(quán)平均法和中值濾波法等。多分辨率技術(shù)主要有高斯金字塔、拉普拉斯金字塔、對比度金字塔，梯度金字塔和小波等。

需特別說明的是，當柱面設(shè)計為豎直方向時，輸出畫面為水平視角，若需要其他視角，可設(shè)計調(diào)整主面方向與需求視角垂直即可，如此，輸出圖像為一個與攝像機安裝角度無關(guān)的更加靈活的可變視角，使得畫面更加直觀。

于本發(fā)明的一實施例中，所述虛擬柱面豎直設(shè)置，以令所述重投影圖像為水平方向。

于本發(fā)明的一實施例中，所述圖像采集裝置為魚眼攝像頭。

于本發(fā)明的一實施例中，所述圖像采集裝置有四個，分別設(shè)于車身的前、后、左、及右位置。

于本發(fā)明的一實施例中，所述全景泊車圖像畸變校正裝置還包括：全景圖像生成模塊，用于利用對應(yīng)設(shè)于車身的各圖像采集裝置得到的重投影圖像來生成車輛的全景圖像。

綜上所述，本發(fā)明提供的全景泊車圖像畸變校正方法及裝置，通過在物理坐標系下，以設(shè)于車身的廣角的圖像采集裝置為中心建立一個虛擬柱面，其中，所述虛擬柱面的中軸方向可變；利用標定數(shù)據(jù)，將圖像采集裝置所采集畫面反向投影至該虛擬柱面上以形成重投影圖像；將所述虛擬柱面上的重投影圖像裁切輸出；不僅消除了畫面上的嚴重畸變，又保留了足夠的原始圖像信息，并且，輸出圖像為一個與攝像機安裝角度無關(guān)的更加靈活的可變視角，使得畫面更加直觀。

本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點而具高度產(chǎn)業(yè)利用價值。

上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。