專利名稱：：車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及車載多目攝像機環(huán)視系統(tǒng)，尤其是一種車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法。
背景技術(shù)：
：當今社會，汽車已成為一種必不可少的交通工具。人們在享受汽車帶來的方便和快捷的同時，汽車交通事故，汽車尾氣排放帶來的環(huán)境污染以及交通阻塞帶來的問題，已成為日益嚴峻的全球性社會問題。因此，利用各種先進的汽車安全技術(shù)、設(shè)備和理念減少交通事故和提高汽車安全有很大的市場潛能。上一世紀90年代以后，隨著電子技術(shù)、控制技術(shù)、傳感器技術(shù)和新材料在汽車產(chǎn)品中的廣泛應(yīng)用，汽車安全技術(shù)得到了更加迅猛的發(fā)展?，F(xiàn)如今，汽車安全技術(shù)的研究已由單一安全技術(shù)的研發(fā)，向各種安全技術(shù)相融合協(xié)同的集成化、系統(tǒng)化和智能化方向發(fā)展。智能化的汽車安全系統(tǒng)以現(xiàn)代探測技術(shù)、光電傳感技術(shù)、計算機技術(shù)和自動控制技術(shù)為核心，具有特定的識別判斷能力，能在各種復雜情況下自動協(xié)助駕駛員或自行控制汽車，確保行車安全。車載環(huán)境感知系統(tǒng)利用各種傳感器對車輛自身、周圍環(huán)境及駕駛員狀態(tài)等信息進行探測，通過與預先設(shè)定的標準進行比較，判別車輛是否處于危險狀態(tài)及危險程度，必要時能夠通過聲、光等方式向駕駛員進行預警。目前車載環(huán)境感知系統(tǒng)使用的傳感器主要有1)單目或多目攝像機系統(tǒng)，通過對實時采集來的環(huán)境圖像進行處理得到相關(guān)距離，位置等信息；2)激光雷達或毫米波雷達，通過發(fā)出并接收紅外激光或者電波，根據(jù)多普勒效應(yīng)，計算周邊障礙物的距離和位置等信息；3)聲納，通過定向發(fā)出并接收超聲波，計算周邊障礙物的距離和位置等信息。比較起來，激光或毫米波雷達可測范圍廣，抗外界惡劣環(huán)境的能力強，但通常只有一層或數(shù)層掃描面，無法獲得整個場景的三維立體信息，而且價格昂貴。聲納只適用于近距測量(比如倒車用)，而且只有照射方向上的一點信息。車載攝像機系統(tǒng)通過視覺得到信息，是目前應(yīng)用最廣泛也是最有前景的傳感器之一。比如倒車攝像頭是應(yīng)用最普遍的一種車載視覺系統(tǒng)。它一般安裝在車輛后部，方向朝側(cè)下方。在駕駛員倒車時，系統(tǒng)自動接通車載顯示屏，為駕駛員提供后方廣域景象。為了讓駕駛員更準確的了解車輛周邊的障礙物等危險信息，系統(tǒng)通過視角的變換處理將原有的具有一定俯角的圖像變換為垂直朝下的虛擬攝像機圖像。倒車攝像機多用于比較復雜的倒車環(huán)境，但一臺攝像頭的視野有限，在車輛前方側(cè)方障礙物較多的情況下，通常采用多臺攝像機構(gòu)成車輛環(huán)視系統(tǒng)，為駕駛員提供車輛360度完整的環(huán)境感知信息。車輛環(huán)視系統(tǒng)主要是通過安裝在車輛前后左右的多臺攝像頭拍攝的圖像，經(jīng)過前述的視角變換處理得到多張?zhí)摂M以車輛為中心垂直向下的俯視圖，并通過合成算法拼接為一張完整俯視圖。本專利所述車載多目攝像機環(huán)視系統(tǒng)是指車載環(huán)境感知的多目立體攝像機系統(tǒng)。(1)與本發(fā)明相關(guān)的現(xiàn)有技術(shù)一視點變換現(xiàn)有技術(shù)一(國際公開專利W000-07373，日本專利JP3625059，JPT2002-067158，日本專利申請JPA特開P2002-166802A，P2008-48317A等)。車輛環(huán)視系統(tǒng)的基礎(chǔ)技術(shù)在于攝像頭的視角變換技術(shù)。如圖1所示，車載攝像頭位置處在以地面為中心的三維坐標系X-Y-γ的(0，0，H)點，光軸方向同Y軸夾角為τ(攝像頭的俯角)，攝像頭三維坐標系為X”-Y”-γ”。攝像頭內(nèi)的二維投影坐標系為α-β，焦距為f。根據(jù)投影變換的法則，所有位于地面(Z軸坐標為0)的點(x，y)投影到攝像頭平面的位置(α，β)可以通過以下公式推定。一般的視點變換通常把處于攝像頭的中心位置的地面參照點作為中心，高度為H’焦距為f’的光軸垂直向下的虛擬相機(參照圖4)。由于光軸垂直向下，可以通過平行投影的法則，推導出地面點(x，y)投影到攝像頭平面的位置(α’，β’)。所以綜合(1)(2)之后，我們就可以得到視點變換的公式為視點變換后的示意圖如圖4所示。專利文獻1日本專利JP3625059；專利文獻2日本專利JPT2002-067158。(2)與本發(fā)明相關(guān)的現(xiàn)有技術(shù)二環(huán)視圖像合成同上所述，安裝在車輛前后左右的攝像頭經(jīng)過視點變換之后，分別形成多張?zhí)摂M垂直拍攝的俯視圖像。在初始標定處理過程中，各臺相機相對于車輛坐標系的位置可以求出。根據(jù)攝像頭的相對位置數(shù)據(jù)，可以將這些俯視圖像進行合成處理，拼接成一幅車輛環(huán)視的全景圖。在各臺虛擬相機的高度及焦距相同的情況下，這些俯視圖像的尺寸比例相同，可以直接進行拼接處理。在拼接后的環(huán)繞俯視圖上加入自車的俯視示意圖，即可得到最后的結(jié)果圖。專利文獻3日本專利JPA2002-067158；專利文獻4日本專利JPA2008-34966。(3)與本發(fā)明相關(guān)的現(xiàn)有技術(shù)三對應(yīng)車輛姿態(tài)變化的解決辦法現(xiàn)有技術(shù)二中雖然可以生成多視點的車輛環(huán)繞俯視圖，但由于各臺相機的相對位置關(guān)系是在初期標定處理中計算出來的，尤其是車輛姿態(tài)(俯角和水平偏角)在車輛經(jīng)久變化，以及載人載物的重量分布出現(xiàn)變化時這些相對位置的信息會出現(xiàn)一定變化，這些變化會影響環(huán)視圖的拼接質(zhì)量?，F(xiàn)有技術(shù)三(日本專利JPA-2003274394，JPA-2008034966)提出通過安裝在后視攝像頭內(nèi)部的可視激光發(fā)生器，發(fā)出激光束照射路面，同時后視攝像頭根據(jù)激光點的路面位置來計算車輛的三維姿態(tài)變化，來調(diào)整拼圖的處理參數(shù)。JPA-2008034966進一步通過圖像處理的方式判斷激光點是否照射到平坦的路面上，保證測量參數(shù)的準確性。專利文獻5日本專利JPA-2003274394；專利文獻6日本專利JPA-2008034966。(4)現(xiàn)有技術(shù)的缺點現(xiàn)有技術(shù)一以及現(xiàn)有技術(shù)二可以通過多視點的視點變換圖像進行拼接，得到環(huán)繞俯視圖，但由于車輛姿態(tài)(車輛相對路面的俯角，水平偏角等)的實時變化，無法保證拼接的準確性。大部分現(xiàn)有技術(shù)往往采用固定姿態(tài)參數(shù)，即在各臺攝像頭大的初期標定處理之后，系統(tǒng)生成圖像視點變化用查找表(Look-uptableLUT)，將拼接后的環(huán)視圖的每一個像素對應(yīng)的各臺相機的原始圖上的位置記錄下來。在拼接處理中直接調(diào)用原始圖像數(shù)據(jù)進行合成，滿足高速處理的需求。但車輛姿態(tài)(俯角和水平偏角)在車輛經(jīng)久變化，以及載人載物的重量分布出現(xiàn)變化時這些相對位置的信息會出現(xiàn)一定變化，這些變化會影響環(huán)視圖的拼接質(zhì)量?，F(xiàn)有技術(shù)三雖然可以通過外設(shè)激光發(fā)生器實時判斷車輛姿態(tài)變化，但遇到路面積水，剎車燈點亮等情況下，無法正確判斷投射激光點的位置。同時后視攝像頭內(nèi)安裝激光發(fā)射器會導致系統(tǒng)成本增加，復雜性和出現(xiàn)故障可能性都會增大。
發(fā)明內(nèi)容本發(fā)明是為了解決車載環(huán)視系統(tǒng)中存在的車輛姿態(tài)變化導致俯視圖拼接準確性問題而提出的一種車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法，更準確的完成了環(huán)視系統(tǒng)的在線標定及拼接。按照本發(fā)明提供的技術(shù)方案，所述車載多目攝像機環(huán)視系統(tǒng)中查表進行環(huán)視拼接的方法如下對多目攝像頭得到的原始圖像通過查表進行視點變換及圖像拼接，得到車輛環(huán)視圖；所述視點變換及拼接時對于所述環(huán)視圖各個像素的輸出值通過查表確定，所述表包括所述環(huán)視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權(quán)參數(shù)，一組特定環(huán)視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應(yīng)唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權(quán)參數(shù)。所述車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法如下(1)對車載多目攝像頭得到的原始圖像的重疊區(qū)域，分別進行視點變換；(2)對所述各個攝像頭視點變換后的重疊區(qū)域進行特征量計算；(3)分別將所述重疊區(qū)域的兩組圖像的特征量進行相減，沿著攝像頭的射線方向的特征量不參與相減；若特征量相減后不為零，則斷定車輛姿態(tài)發(fā)生變化，按照車輛俯角和水平偏角可能的變化范圍，重新進行視點變換以及特征量計算，直到全部重疊區(qū)域的特征量相減的差的絕對值小于預先設(shè)定的閾值，從而得到車輛的俯角和水平偏角；(4)通過查表進行視點變換及圖像拼接，得到車輛環(huán)視圖；所述視點變換及拼接時對于所述環(huán)視圖各個像素的輸出值通過查表確定，所述表包括所述環(huán)視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權(quán)參數(shù)，一組特定環(huán)視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應(yīng)唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權(quán)參數(shù)。每一組攝像頭采集的新圖像到來之后都要進行步驟1-4，所述一組圖像是指多目攝像頭同時采集到的多幅圖像。所述特征量可以是邊緣、特征點、特征顏色中的一種或幾種的組合。本發(fā)明的優(yōu)點是本發(fā)明解決了車輛姿態(tài)變化時對環(huán)視圖的影響，可以高速準確的檢測到車輛的姿態(tài)變化，同時本發(fā)明不需要利用激光發(fā)生器等外部設(shè)備，直接利用原始圖像，降低成本。圖1是車載攝像頭的投影坐標系。圖2是視點變換示意圖。圖3是在線標定系統(tǒng)結(jié)構(gòu)圖。圖4是重疊區(qū)域示意圖。具體實施例方式本發(fā)明提出車載環(huán)視處理用在線標定系統(tǒng)的概念。如圖3所示，該系統(tǒng)由重疊區(qū)域決定部分，特征量計算部分，車輛姿態(tài)計算部分和結(jié)果輸出部分這四個部分構(gòu)成在線標定系統(tǒng)。重疊區(qū)域可以事先得到。除了重疊區(qū)域決定部分以外，其他三個部分都是在線處理，即每一組新圖像到來之后都要進行在線標定處理。一組圖像是指多目攝像頭同時采集到的多幅圖像，如同一時間，每個攝像頭得到的一幀圖像。一、重疊區(qū)域決定部分車載環(huán)視處理系統(tǒng)是由多臺廣角攝像頭構(gòu)成，每臺攝像頭覆蓋一定區(qū)間，圖像經(jīng)過視點變換生成俯視圖，并進行拼接得到車輛環(huán)視圖。如圖9所示，相鄰攝像頭通常都要有一部分區(qū)域相互重疊，根據(jù)鏡頭及攝像頭設(shè)置的高低，這些重疊區(qū)域大小略有變化。各臺攝像頭在初期標定處理中已經(jīng)確定了相對車輛坐標系的位置關(guān)系，并生成圖像視點變化用查找表(Look-uptableLUT)如下表所示，記錄著拼接后的環(huán)視圖的每一個像素對應(yīng)的相機編號，每臺攝像頭的原始圖上的位置，以及對應(yīng)的加權(quán)參數(shù)。從這個查找表中可以確定各個相機相互重疊的區(qū)域。這些區(qū)域在車輛姿態(tài)沒有特別大的變化時基本保持不變。重疊區(qū)域如圖4所示。表1.環(huán)視拼接用查找表二、特征量計算部分每一組新圖像采集進來之后，各臺攝像頭根據(jù)查詢表進行視點變換處理，并分別得到重疊區(qū)域的圖像。如圖4所示，重疊區(qū)域00是由前方攝像頭和左側(cè)攝像頭的重疊部分構(gòu)成，01是由前方同右側(cè)，02是后方同右側(cè)，03是后方與左側(cè)構(gòu)成。在這些重疊區(qū)域的圖像中進行特征量計算，特征量可以是邊緣，特征點或特征顏色等，計算處理可以是空間卷積，Harr-like特征提取等。三、車輛姿態(tài)計算部分我們用車輛俯角和水平偏角表示車輛姿態(tài)。如果車輛姿態(tài)保持初期標定時的姿態(tài)，那么每個重疊區(qū)域的兩組圖像的特征量計算結(jié)果就會完全相同，特征量進行相減后可以完全消除。對于高于路面的物體，由于視點變換時會產(chǎn)生變形(沿攝像頭的射線方向傾倒)，在重疊區(qū)域內(nèi)的兩組圖像中的特征量不會相同，我們可以事先把沿著攝像頭的射線方向的特征量不做考慮。如果重疊區(qū)域的兩組圖像進行相減后不能消除，可以斷定車輛姿態(tài)已經(jīng)發(fā)生變化。按照車輛俯角和水平偏角可能的變化范圍，利用窮舉法或其他高速參數(shù)確定法，重新進行視點變換以及特征量計算，達到全部重疊區(qū)域的特征量相減結(jié)果接近于零，從而得到車輛姿態(tài)。實際操作時是使相減結(jié)果的差的絕對值小于預先設(shè)定的閾值，這個閾值根據(jù)實際情況設(shè)為接近零的數(shù)值。為了提高計算速度，可以事先把各種姿態(tài)的攝像頭視點變換后的重疊部分制成查找表LUT。四、結(jié)果輸出部分得到上述車輛姿態(tài)以后，根據(jù)事先做好的查找表重新生成環(huán)視圖并輸出結(jié)果。這種查找表可以是以下包含車輛姿態(tài)的查找表。所述表包括環(huán)視圖輸出結(jié)果坐標，車輛姿態(tài)的俯角和水平偏角，對應(yīng)攝像機的編號，每臺攝像機的原始圖像的坐標以及對應(yīng)的加權(quán)參數(shù)。車輛姿態(tài)的俯角和水平偏角變化范圍和變化間隔取決于實際車輛動態(tài)性能以及查找表可使用存儲器空間大小。表2.含有車輛姿態(tài)的環(huán)視拼接用查找表以下為一個具體實施例。如圖4所示，車輛前后左右共有4臺相機進行環(huán)視處理。各臺相機3維空間位置角度以及相對于車輛坐標系的相對位置和偏角可以事先通過離線標定處理得到。離線標定處理的具體實施例可參考上述專利文獻1到6。根據(jù)公式(1)到公式(3)分別得到各臺相機視點變換后的虛擬垂直拍攝的俯視圖像像素位置(αi’，βi’)對應(yīng)的原始圖像像素位置(αi，βi)，這里i表示相機編號。根據(jù)離線標定得到的各臺相機相對于車輛坐標系的相對位置和偏角可以得到環(huán)視結(jié)果圖的像素位置(x_new，y_new)對應(yīng)于各臺相機視點變換后的虛擬垂直拍攝的俯視圖像像素位置(αi’，βi’)，從而得到原始圖像像素位置(αi，βi)。制作的查找表如表2所述包含車輛姿態(tài)數(shù)據(jù)以及對應(yīng)的各臺相機的原始圖像位置結(jié)果。在線標定處理時，例如通過窮舉法，在俯角和水平偏角的變化范圍內(nèi)對每一臺重疊區(qū)域按照查找表的結(jié)果分別生成重疊區(qū)域圖像，尋找可以達到全部重疊區(qū)域的特征量相減結(jié)果接近于零的車輛姿態(tài)數(shù)據(jù)。得到姿態(tài)數(shù)據(jù)之后，可以通過參照表直接計算環(huán)視圖的輸出結(jié)果。如表2例示，環(huán)視圖坐標(x_new，y_new)的(0，0)對應(yīng)俯角0.0，水平偏角0.0的1號相機原始坐標為(3.42，198.23)，加權(quán)參數(shù)為0.82；2號相機原始坐標為(98.34，1.23)，加權(quán)參數(shù)為0.18。結(jié)果的環(huán)視圖(0，0)的亮度值可以按以下方法進行計算。1、通過線性或非線性插值法計算1號相機(3.42，198.23)點的圖像輸出值I1。2、通過線性或非線性插值法計算2號相機(98.34，1.23)點的圖像輸出值I2。3、結(jié)果(0，0)的亮度值I為I1和I2的加權(quán)平均。I＝0.82xI1+0.18xI2.環(huán)視圖的全部像素按照以上辦法計算。綜上，本發(fā)明在車載環(huán)視系統(tǒng)中采用在線標定的方法達到對應(yīng)車輛姿態(tài)變化的目的。在線標定通過相鄰攝像頭的重疊區(qū)域，生成視點變換圖像并計算重疊區(qū)域的特征量。按照車輛俯角和水平偏角可能的變化范圍，利用窮舉法或其他高速參數(shù)確定法，重新進行視點變換以及特征量計算，達到全部重疊區(qū)域的特征量相減結(jié)果接近于零，從而得到車輛姿態(tài)。為了提高計算速度，可以事先把各種姿態(tài)的攝像頭視點變換以及拼接處理的結(jié)果制作一種查找表，這種查找表包含車輛姿態(tài)數(shù)據(jù)以及對應(yīng)的各臺相機的原始圖像位置結(jié)果，加權(quán)參數(shù)等，這樣可以在得到姿態(tài)數(shù)據(jù)之后同時進行視點變換和圖像拼接處理。權(quán)利要求1.一種車載多目攝像機環(huán)視系統(tǒng)中查表進行環(huán)視拼接的方法，其特征是對多目攝像頭得到的原始圖像通過查表進行視點變換及圖像拼接，得到車輛環(huán)視圖；所述視點變換及拼接時對于所述環(huán)視圖各個像素的輸出值通過查表確定，所述表包括所述環(huán)視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權(quán)參數(shù)，一組特定環(huán)視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應(yīng)唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權(quán)參數(shù)。2.一種車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法，其特征是(1)對車載多目攝像頭得到的原始圖像的重疊區(qū)域，分別進行視點變換；(2)對所述各個攝像頭視點變換后的重疊區(qū)域進行特征量計算；(3)分別將所述重疊區(qū)域的兩組圖像的特征量進行相減，沿著攝像頭的射線方向的特征量不參與相減；若特征量相減后不為零，則斷定車輛姿態(tài)發(fā)生變化，按照車輛俯角和水平偏角可能的變化范圍，重新進行視點變換以及特征量計算，直到全部重疊區(qū)域的特征量相減的差的絕對值小于預先設(shè)定的閾值，從而得到車輛的俯角和水平偏角；(4)通過查表進行視點變換及圖像拼接，得到車輛環(huán)視圖；所述視點變換及拼接時對于所述環(huán)視圖各個像素的輸出值通過查表確定，所述表包括所述環(huán)視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權(quán)參數(shù)，一組特定環(huán)視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應(yīng)唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權(quán)參數(shù)。3.如權(quán)利要求2所述的車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法，其特征是每一組攝像頭采集的新圖像到來之后都要進行步驟1-4，所述一組圖像是指多目攝像頭同時采集到的多幅圖像。4.如權(quán)利要求2所述的車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法，其特征是所述特征量可以是邊緣、特征點、特征顏色中的一種或幾種的組合。全文摘要本發(fā)明是為了解決車載環(huán)視系統(tǒng)中存在的車輛姿態(tài)變化導致俯視圖拼接準確性問題而提出的車載多目攝像機環(huán)視系統(tǒng)的在線標定處理方法。由重疊區(qū)域決定部分，特征量計算部分，車輛姿態(tài)計算部分和結(jié)果輸出部分這四個部分構(gòu)成在線標定系統(tǒng)。把各種姿態(tài)的攝像頭視點變換以及拼接處理的結(jié)果制作一種查找表，這種查找表包含車輛姿態(tài)數(shù)據(jù)以及對應(yīng)的各臺相機的原始圖像位置結(jié)果，加權(quán)參數(shù)等，這樣可以在得到車輛姿態(tài)數(shù)據(jù)之后同時進行視點變換和圖像拼接處理。文檔編號G06T7/00GK101763640SQ20091026477公開日2010年6月30日申請日期2009年12月31日優(yōu)先權(quán)日2009年12月31日發(fā)明者胡振程申請人:無錫易斯科電子技術(shù)有限公司