用于相機建模和虛擬視圖合成的成像表面建模的制作方法
【專利摘要】本發(fā)明涉及用于相機建模和虛擬視圖合成的成像表面建模。一種用于在顯示裝置上顯示捕獲的圖像的方法。實際圖像由基于視覺的成像裝置捕獲。虛擬圖像基于由處理器的映射從捕獲的實際圖像產(chǎn)生。映射使用具有非平面成像表面的虛擬相機模型。將形成在虛擬相機模型的非平面成像表面上的虛擬圖像投影在顯示裝置上。
【專利說明】用于相機建模和虛擬視圖合成的成像表面建模
[0001]相關(guān)申請的交叉引用
本申請要求了 2012年10月11日提交的、序號為61/712,433的美國臨時申請的優(yōu)先權(quán)，其內(nèi)容在此結(jié)合作為參考。
【技術(shù)領(lǐng)域】
[0002]實施例總體上涉及用于車輛內(nèi)視覺系統(tǒng)的圖像捕獲和處理。
【背景技術(shù)】
[0003]車輛系統(tǒng)通常使用用于后視景像檢測、側(cè)視景像檢測、以及前視景像檢測的車輛內(nèi)視覺系統(tǒng)。對于那些需要圖解道路覆蓋層或強調(diào)捕獲圖像的區(qū)域的應用，關(guān)鍵的是精確地校準相機相對于車輛與周圍目標的定位與定向。采用來自裝置的捕獲的輸入圖像并且重新建模圖像以示出或增強捕獲圖像的各個區(qū)域的相機建模必須在對圖像不畸變至對觀看重顯圖像的人而言變得不可使用或不準確的情況下對圖像內(nèi)的全部對像再次定位的模型。
[0004]車輛上當前的后方備份相機典型地是寬FOV相機，例如135° F0V。寬FOV相機典型地提供引起圍繞圖像邊緣的圖像畸變的弧形圖像。本領(lǐng)域中公知的各種方法以提供用于這些類型的相機的圖像的畸變修正包括使用基于針孔相機的模型和通過限定徑向參數(shù)對徑向畸變做修正。
[0005]為了對周圍的事物提供精確的描述，例如環(huán)境圖像或超寬圖像，可以使用超款視野的相機。這樣的相機典型地被認為是魚眼相機，因為它們的圖像顯著地成弧形。對于用于各種駕駛方案(例如備份應用)的圖像是實際的，圖像中的畸變必須修正并且圖像的焦點(可利用的停車點)需要提高的那些部分必須展示從而畸變不會降低圖像。傳統(tǒng)的虛擬相機建模使用展現(xiàn)相機內(nèi)的平面圖像傳感器的平面成像表面；然而，當投影到顯示裝置上時，這樣的系統(tǒng)僅可以進行有限的畸變修正特征。這樣的顯示剩下未修正的或必須應用復雜的程序以除去畸變。

【發(fā)明內(nèi)容】

[0006]在此描述的本發(fā)明的優(yōu)點是虛擬圖像可以利用相機視圖合成一個或多個相機使用各種成像效應而合成。成像效應包括產(chǎn)生除實際相機捕獲實際圖像的外的不同相機姿態(tài)觀看。例如，如果實際相機位于車輛直接垂直于地面看上方，具有其光軸從水平位置向下30度的備份相機可以建模并且合成，用于顯示由上而下的視圖。在此描述的技術(shù)使用用于對在虛擬相機模型中的捕獲圖像建模的非平面的成像表面，然而傳統(tǒng)的虛擬相機建模方法使用捕獲的平面的平面表面。
[0007]此外，可以使用各種任意形狀用于增強捕獲圖像的區(qū)域。例如，通過使用橢圓成像表面，在沒有切斷或畸變圖像的端部的情況下，圖像的中心部分可以增強(縮放)。各種非平面成像表面可以動態(tài)地插入在虛擬相機模型內(nèi)用于基于車輛的工作條件合成視圖。示例是來自轉(zhuǎn)向信號指示器的信號，其提供至處理器，其中使用增強車輛轉(zhuǎn)向的區(qū)域或方向的非平面表面。
[0008]一種用于在顯示裝置上顯示捕獲的圖像的方法。實際圖像由基于視覺的成像裝置捕獲?；谟商幚砥鞯挠成鋸牟东@的實際圖像產(chǎn)生虛擬圖像。映射使用具有非平面成像表面的虛擬相機模型。將形成在虛擬相機模型的非平面成像表面上的虛擬圖像投影在顯示裝置上。
[0009]本發(fā)明還提供了以下方案:
1.一種用于顯示在顯示裝置上的捕獲的圖像的方法，包括步驟:
由基于視覺的成像裝置捕獲實際圖像；
基于由處理器的映射從捕獲的實際圖像產(chǎn)生虛擬圖像，其中映射使用具有非平面成像表面的虛擬相機模型；
將形成在虛擬相機模型的非平面圖像表面上的虛擬圖像投影在顯示裝置上。
[0010]2.根據(jù)方案I所述的方法，其中產(chǎn)生虛擬圖像包括步驟:
由處理器提供預校準的實際相機模型，實際相機模型表示基于視覺的成像裝置捕獲景
象；
基于預校準實際相機模型在捕獲的圖像中確定每個像素的實際入射線角度；
識別非平面成像表面的任意形狀；
識別虛擬相機模型的姿態(tài)；
基于虛擬圖像模型和非平面成像表面在虛擬圖像中確定每個像素的虛擬入射線角
度；
將虛擬入射線映射至實際圖像捕獲裝置的相關(guān)的實際入射線，其中如果虛擬相機模型的姿態(tài)不同于實際圖像捕獲裝置的姿態(tài)，轉(zhuǎn)動補償作用到虛擬入射線角度上，用于將虛擬入射線與實際入射線相關(guān)聯(lián)；
作為實際入射線與虛擬入射線之間相關(guān)映射的函數(shù)，將對應于非平面虛擬成像表面上的坐標的虛擬圖像中的像素映射到實際捕獲圖像上相關(guān)的像素上。
[0011]3.根據(jù)方案2所述的方法，其中實際圖像上的各個實際圖像像素由坐標
和V—表示，用于識別實際入射線在哪里成像在實際圖像表面，其中實際入射線由角度
表示，其中盡-是實際入射線與實際圖像捕獲裝置的光軸之間的角度，以及I是實際圖像捕獲裝置X軸與實際入射線在實際圖像捕獲裝置x-y平面上的投影之間的角度。
[0012]4.根據(jù)方案3所述的方法，其中實際入射線角度基于預定和校準的實際相機模型確定。
[0013]5.根據(jù)方案4所述的方法，其中實際相機模型包括魚眼相機模型，其中魚眼相機模型表示用于在具有有效傳感器尺寸的平面成像平面上產(chǎn)生超寬角度視野景象的、具有實質(zhì)上的徑向畸變的魚眼鏡頭，其中來自實際圖像捕獲裝置的實際圖像傳感器上的實際入射線與實際圖像像素之間的關(guān)系表示如下:
【權(quán)利要求】
1.一種用于顯示在顯示裝置上的捕獲的圖像的方法，包括步驟: 由基于視覺的成像裝置捕獲實際圖像； 基于由處理器的映射從捕獲的實際圖像產(chǎn)生虛擬圖像，其中映射使用具有非平面成像表面的虛擬相機模型； 將形成在虛擬相機模型的非平面圖像表面上的虛擬圖像投影在顯示裝置上。
2.根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生虛擬圖像包括步驟: 由處理器提供預校準的實際相機模型，實際相機模型表示基于視覺的成像裝置捕獲景象； 基于預校準實際相機模型在捕獲的圖像中確定每個像素的實際入射線角度； 識別非平面成像表面的任意形狀； 識別虛擬相機模型的姿態(tài)； 基于虛擬圖像模型和非平面成像表面在虛擬圖像中確定每個像素的虛擬入射線角度； 將虛擬入射線映射至實際 圖像捕獲裝置的相關(guān)的實際入射線，其中如果虛擬相機模型的姿態(tài)不同于實際圖像捕獲裝置的姿態(tài)，轉(zhuǎn)動補償作用到虛擬入射線角度上，用于將虛擬入射線與實際入射線相關(guān)聯(lián)； 作為實際入射線與虛擬入射線之間相關(guān)映射的函數(shù)，將對應于非平面虛擬成像表面上的坐標的虛擬圖像中的像素映射到實際捕獲圖像上相關(guān)的像素上。
3.根據(jù)權(quán)利要求2所述的方法，其中實際圖像上的各個實際圖像像素由坐標 和&^!表示，用于識別實際入射線在哪里成像在實際圖像表面，其中實際入射線由角度表示，其中盡《I是實際入射線與實際圖像捕獲裝置的光軸之間的角度，以及科*|是實際圖像捕獲裝置X軸與實際入射線在實際圖像捕獲裝置x-y平面上的投影之間的角度。
4.根據(jù)權(quán)利要求3所述的方法，其中實際入射線角度基于預定和校準的實際相機模型確定。
5.根據(jù)權(quán)利要求4所述的方法，其中實際相機模型包括魚眼相機模型，其中魚眼相機模型表示用于在具有有效傳感器尺寸的平面成像平面上產(chǎn)生超寬角度視野景象的、具有實質(zhì)上的徑向畸變的魚眼鏡頭，其中來自實際圖像捕獲裝置的實際圖像傳感器上的實際入射線與實際圖像像素之間的關(guān)系表示如下:
6.根據(jù)權(quán)利要求5所述的方法，其中徑向畸變修正作用到魚眼相機模型上，其中徑向畸變通過基于視覺的成像裝置的透鏡的畸變效應確定，其中徑向畸變由畸變的徑向距離相對于無畸變的變量的函數(shù)表示，其中畸變畸變徑向距離使用具有畸變效應的透鏡在實際圖像捕獲裝置的圖像傳感器上從各自的圖像像素至圖像中心測量，其中未畸變的變量包括成像為畸變成像像素的事件主光線的入射線角度，其中具有視野大于135度的、用于基于視覺的成像裝置的徑向畸變由以下公式表示:
7.根據(jù)權(quán)利要求4所述的方法，其中當徑向畸變存在時徑向畸變修正作用到實際相機模型，其中徑向畸變由畸變徑向距離相對于無畸變變量的函數(shù)表示，其中無畸變變量包括基于針孔相機模型的圖像像素的無畸變徑向距離，并且其中用于具有視野小于135度的基于視覺的成像裝置的徑向畸變由以下公式表示:
8.根據(jù)權(quán)利要求4所述的方法，其中實際相機建模為具有非平面成像表面的針孔模型，其中針孔模型表示為沒有徑向畸變的透鏡，并且其中實際相機鏡頭的徑向畸變效果建模為非平面成像表面。
9.根據(jù)權(quán)利要求2所述的方法，其中如果虛擬相機模型的姿態(tài)不同于實際相機模型，則沒咖是虛擬入射線與由虛擬z軸表示的虛擬光軸之間的角度，并且φ核是虛擬相機X軸與虛擬相機模型χ-y平面上的虛擬入射線的投影之間的角度，其中虛擬入射線上的任意點由以下矩陣表示:
10.根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生虛擬圖像包括步驟: 構(gòu)造用于各自的相機模型的坐標系，其包括X-軸，1-軸，和Z-軸，Z-軸與向各自的相機模型外延伸的相機光軸對齊，X-軸和1-軸形成垂直于Z-軸的平面，X-軸和Z-軸在相機孔位置交叉； 限定相機姿態(tài)作為相機坐標的位置和相機Z-軸的方向； 產(chǎn)生表示基于視覺的成像裝置的實際相機模型，實際圖像是由基于視覺的成像裝置捕獲的景象； 產(chǎn)生包括模擬相機模型參數(shù)，模擬成像表面，以及模擬相機姿態(tài)的虛擬相機模型； 使用虛擬相機模型識別景象的合成圖像的虛擬圖像； 選擇非平面成像表面的形狀； 選擇虛擬相機模型的姿態(tài)； 基于虛擬相機模型使用非平面成像表面在虛擬圖像中確定每個像素的虛擬入射線角度；響應于虛擬入射線角度與實際入射線角度的比較，確定虛擬相機模型的姿態(tài)是否與實際相機模型的姿態(tài)相同； 響應于虛擬相機模型與實際相機模型的姿態(tài)的差別作用與虛擬入射角與實際入射角相關(guān)的轉(zhuǎn)動矩陣，轉(zhuǎn)動矩陣表示用于將虛擬相機姿態(tài)與實際相機姿態(tài)相關(guān)的轉(zhuǎn)換； 通過作用具有角度畸變參數(shù)的實際相機模型確定對應的像素位置，其中具有角度畸變的實際相機模型表示基于視覺的成像裝置捕獲景象的成像處理，并且其中具有角度畸變的實際相機模型的參數(shù)由相機修正處理確定； 在各自的虛擬圖像像素位置與各自的實際圖像像素位置之間產(chǎn)生作為各自的虛擬圖像像素坐標，虛擬入射線角度，實際入射線角度，以及實際圖像像素坐標的函數(shù)的映射；以及 從實際圖像合成景象的虛擬圖像，其中實際圖像的像素值使用作為用于虛擬圖像中對應像素的像素值。
【文檔編號】B60R1/00GK103778649SQ201310471723
【公開日】2014年5月7日 申請日期:2013年10月11日 優(yōu)先權(quán)日:2012年10月11日
【發(fā)明者】W.張, J.王, B.B.利特庫希, K.S.利貝克, R.M.弗拉克斯 申請人:通用汽車環(huán)球科技運作有限責任公司