動(dòng)態(tài)后視鏡顯示特征的制作方法
【專利摘要】本發(fā)明涉及動(dòng)態(tài)后視鏡顯示特征。公開了一種用于在顯示裝置上顯示捕獲的圖像的方法。景象由至少一個(gè)基于視覺的成像裝置捕獲。捕獲景象的虛像使用相機(jī)模型由處理器產(chǎn)生。視圖合成技術(shù)由處理器被用于捕獲圖像，用于產(chǎn)生去變形的虛像。動(dòng)態(tài)后視鏡顯示模式被啟動(dòng)，用于啟動(dòng)在后視鏡顯示裝置上的去變形的圖像的觀察模式。去變形的圖像在后視鏡顯示裝置上顯示在啟動(dòng)觀察模式中。
【專利說明】動(dòng)態(tài)后視鏡顯不特征
[0001]相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求了 2012年10月19日提交的、序號(hào)為61/715,946的美國臨時(shí)申請(qǐng)為優(yōu)先權(quán)，其內(nèi)容在此結(jié)合作為參考。
【技術(shù)領(lǐng)域】
[0002]實(shí)施例總體上涉及用于動(dòng)態(tài)后視鏡顯示特征的圖像捕獲和處理。
【背景技術(shù)】
[0003]車輛系統(tǒng)通常使用用于后視景象檢測、側(cè)視景象檢測、以及前視景象檢測的車輛內(nèi)視覺系統(tǒng)。對(duì)于那些需要圖解道路覆蓋層或強(qiáng)調(diào)捕獲圖像的區(qū)域的應(yīng)用，關(guān)鍵的是精確地校準(zhǔn)相機(jī)相對(duì)于車輛與周圍目標(biāo)的定位與定向。采用來自裝置的捕獲的輸入圖像并且重新建模圖像以示出或提高捕獲圖像的各個(gè)區(qū)域的相機(jī)建模必須在對(duì)圖像不畸變至對(duì)觀看重顯圖像的人而言變得不可使用或不準(zhǔn)確的情況下對(duì)圖像內(nèi)的全部對(duì)象再次定位。
[0004]當(dāng)視圖在顯示屏幕上再次產(chǎn)生時(shí)，圖像的重疊變成問題。從不同捕獲裝置捕獲的并且在顯示屏幕上集成的視圖典型地示出了每個(gè)捕獲圖像之間的不連貫部分，由此使得駕駛員很難迅速地確定什么存在于顯示屏幕上。

【發(fā)明內(nèi)容】

[0005]在此描述的本發(fā)明的優(yōu)點(diǎn)是圖像可以基于由一個(gè)或多個(gè)相機(jī)捕獲的圖像利用相機(jī)視圖合成使用多種成像效應(yīng)而合成。成像效應(yīng)包括由多個(gè)相機(jī)捕獲不同的圖像，其中每個(gè)相機(jī)捕獲圍繞車輛的不同視圖。不同的圖像可以縫合用于產(chǎn)生無縫的全景的圖像。對(duì)于鄰接的相鄰圖像視圖，為了寄存在捕獲圖像的重疊區(qū)域中的點(diǎn)偶，識(shí)別感興趣的共同點(diǎn)。
[0006]本發(fā)明的另一優(yōu)點(diǎn)是動(dòng)態(tài)可重構(gòu)的視鏡顯示系統(tǒng)可以循環(huán)并且顯示由多個(gè)圖像顯示裝置捕獲的各種圖像。在后視顯示裝置上顯示的圖像可以基于車輛工作自動(dòng)地選擇或可以由車輛的駕駛員選擇。
[0007]公開了一種用于在顯示裝置上顯示捕獲的或已處理圖像的方法。景象由至少一個(gè)基于視覺的成像裝置捕獲。捕獲景象的虛像使用相機(jī)模型由處理器產(chǎn)生。視圖合成技術(shù)由處理器被用于捕獲圖像，用于產(chǎn)生去變形(de-warped)的虛像。動(dòng)態(tài)后視鏡顯示模式被致動(dòng)，用于啟動(dòng)在后視鏡顯示裝置上的去變形的圖像的觀察模式。去變形的圖像在后視鏡顯示裝置上顯示在啟動(dòng)的觀察模式中。
[0008]本發(fā)明還提供了以下方案:
1.一種用于在顯示裝置上顯示的捕獲的圖像的方法，包括步驟:
由至少一個(gè)基于視覺的成像裝置捕獲景象；
使用相機(jī)模型由處理器產(chǎn)生捕獲景象的虛像；
由處理器作用視圖合成技術(shù)至捕獲的圖像，用于產(chǎn)生去變形的虛像；
啟動(dòng)動(dòng)態(tài)后視鏡顯示模式，用于啟動(dòng)在后視鏡顯示裝置上的去變形的圖像的觀察模式；以及
在后視鏡顯示裝置上在啟動(dòng)的觀察模式中顯示去變形的圖像。
[0009]2.根據(jù)方案I所述的方法，其中多個(gè)圖像是由包括車輛外部多個(gè)不同的觀察區(qū)域的多個(gè)圖像捕獲裝置捕獲的，多個(gè)圖像具有用于產(chǎn)生車輛外部景象的全景的重疊邊界，其中所述方法還包括步驟:
在相機(jī)建模之前，作用圖像縫合至由多個(gè)圖像捕獲裝置捕獲的多個(gè)圖像中的每一個(gè)上，圖像縫合是將多個(gè)圖像合并，用于在多個(gè)圖像的重疊區(qū)域之間產(chǎn)生無縫的過渡。
[0010]3.根據(jù)方案2所述的方法，其中圖像縫合包括各個(gè)圖像的重疊區(qū)域的夾住和切換，用于產(chǎn)生無縫的過渡。
[0011]4.根據(jù)方案2所述的方法，其中圖像縫合包括在兩個(gè)各自的圖像之間的重疊區(qū)域中識(shí)別對(duì)應(yīng)的點(diǎn)偶組并且為了縫合兩個(gè)各自的圖像記錄對(duì)應(yīng)的點(diǎn)偶。
[0012]5.根據(jù)方案2所述的方法，其中圖像縫合包括作用以發(fā)現(xiàn)兩個(gè)各自的圖像之間的重疊區(qū)域中的對(duì)應(yīng)性的立體視覺處理技術(shù)。
[0013]6.根據(jù)方案2所述的方法，其中多個(gè)圖像捕獲裝置包括每個(gè)捕獲不同的各自的視野景象的三個(gè)窄視野圖像捕獲裝置，其中每組相鄰的視野景象包括重疊景象內(nèi)容，并且其中圖像縫合被應(yīng)用到相鄰視野景象的每組的重疊景象內(nèi)容上。
[0014]7.根據(jù)方案6所述的方法，其中應(yīng)用到三個(gè)窄視野上的圖像縫合產(chǎn)生約180度的
全景景象。
[0015]8.根據(jù)方案6所述的方法，其中多個(gè)圖像捕獲裝置中的每個(gè)都是面向后圖像捕
o
[0016]9.根據(jù)方案6所述的方法，其中多個(gè)圖像捕獲裝置中的每個(gè)都是面向前圖像捕
o
[0017]10.根據(jù)方案6所述的方法，其中關(guān)于車輛工作條件的車輛信息被傳送到相機(jī)開關(guān)，用于基于車輛工作條件有選擇地啟動(dòng)或停止圖像捕獲裝置。
[0018]11.根據(jù)方案6所述的方法，其中圖像捕獲裝置是基于駕駛員有選擇地啟動(dòng)或停止各自的圖像捕獲裝置而啟動(dòng)和停止的。
[0019]12.根據(jù)方案2所述的方法，其中多個(gè)圖像捕獲裝置包括窄視野圖像捕獲裝置和寬視野圖像捕獲裝置，窄視野圖像捕獲裝置捕獲窄視野景象，寬視野圖像捕獲裝置捕獲基本上180度的寬視野景象，其中為了提高視野重疊，窄視野捕獲景象是寬視野捕獲景象的子集，其中在窄視野景象和相關(guān)的寬視野景象的重疊區(qū)域處對(duì)應(yīng)的點(diǎn)偶組被識(shí)別，用于記錄用于窄視野景象和寬視野景象的圖像縫合。
[0020]13.根據(jù)方案2所述的方法，其中多個(gè)圖像捕獲裝置包括布置在車輛的不同側(cè)面上的多個(gè)車輛面向周圍圖像捕獲裝置，其中多個(gè)面向周圍捕獲成像裝置包括用于捕獲車輛前方圖像的面向前相機(jī)，用于捕獲車輛后方圖像的面向后相機(jī)，用于捕獲車輛右側(cè)上的圖像的面向右側(cè)相機(jī)，以及用于捕獲車輛左側(cè)上的圖像的面向左側(cè)相機(jī)，其中各自的圖像顯示在后視鏡顯示裝置上。
[0021]14.根據(jù)方案13所述的方法，其中圖像捕獲裝置基于關(guān)于車輛工作條件的車輛信息至相機(jī)開關(guān)的通信有選擇地啟動(dòng)和停止。
[0022]15.根據(jù)方案14所述的方法，其中致動(dòng)表示由啟動(dòng)的圖像捕獲裝置捕獲的當(dāng)前視圖的可視圖標(biāo)。
[0023]16.根據(jù)方案13所述的方法，其中圖像捕獲裝置是基于駕駛員有選擇地啟動(dòng)或停止各自的圖像捕獲裝置而啟動(dòng)和停止的。
[0024]17.根據(jù)方案I所述的方法，其中啟動(dòng)觀察模式是從視鏡顯示模式，具有圖像覆蓋模式的視鏡顯示打開，以及沒有圖像覆蓋模式的視鏡顯示打開中選擇的，其中視鏡顯示模式不投影圖像在后視顯示視鏡上，其中具有圖像覆蓋模式的視鏡顯示打開投影產(chǎn)生的去變形圖像和復(fù)制車輛的內(nèi)部部件的圖像覆蓋，并且其中沒有圖像覆蓋模式的視鏡顯示僅顯示產(chǎn)生的去變形的圖像。
[0025]18.根據(jù)方案17所述的方法，其中選擇用于產(chǎn)生復(fù)制車輛內(nèi)部部件的圖像覆蓋的、具有圖像覆蓋模式的視鏡顯示打開包括在后視鏡顯示裝置中復(fù)制頭枕，后窗玻璃裝飾以及C柱的至少一個(gè)。
[0026]19.根據(jù)方案17所述的方法，其中后視鏡模式按鈕由駕駛員致動(dòng)，用于選擇用于顯示在后視鏡顯示裝置上的各自的捕獲圖像中的一個(gè)。
[0027]20.根據(jù)方案17所述的方法，其中后視鏡模式按鈕由僅在高速時(shí)的視鏡顯示模式，在低速或停車時(shí)的具有圖像覆蓋模式的視鏡顯示打開，在停車時(shí)的具有圖像覆蓋模式的視鏡顯示打開，速度調(diào)節(jié)橢圓縮放因子，轉(zhuǎn)向信號(hào)激活的各自的視圖顯示模式中的至少一個(gè)致動(dòng)。
[0028]21.根據(jù)方案17所述的方法，其中圖像捕獲裝置和觀察模式基于關(guān)于車輛工作條件的車輛信息至相機(jī)開關(guān)的通信有選擇地啟動(dòng)和停止。
[0029]22.根據(jù)方案21所述的方法，其中車輛信息是從多個(gè)裝置中的一個(gè)獲得，其包括方向盤角度傳感器，轉(zhuǎn)向信號(hào)，偏航傳感器，和速度傳感器。
[0030]23.根據(jù)方案21所述的方法，其中車輛信息用來改變相機(jī)模型的相機(jī)姿態(tài)相對(duì)于基于視覺的成像裝置的姿態(tài)。
【專利附圖】

【附圖說明】
[0031]圖1是包括環(huán)境視圖的基于視覺的成像系統(tǒng)的車輛的視圖。
[0032]圖2是示出了用于基于視覺的成像系統(tǒng)的覆蓋區(qū)域的俯視圖。
[0033]圖3是平面徑向畸變虛擬模型的視圖。
[0034]圖4是非平面的針孔照相機(jī)模型的視圖。
[0035]圖5是使用圓柱成像表面模型的方框流程圖。
[0036]圖6是使用橢圓成像表面模型的方框流程圖。
[0037]圖7是用于將點(diǎn)從實(shí)際圖像映射至虛擬圖像的視圖合成的流程圖。
[0038]圖8是徑向畸變修正模型的視圖。
[0039]圖9是嚴(yán)重徑向畸變模型的視圖。
[0040]圖10是基于虛擬圖像上的點(diǎn)用于確定虛擬入射線角度的用于作用視圖合成的方框圖。
[0041]圖11是投影到各自的圓柱的成像表面模型上的入射線的視圖。
[0042]圖12是作用虛擬平移/傾斜用于基于虛擬入射線角度用于確定光線入射線角度的方框圖。[0043]圖13是在虛擬入射線角度與真實(shí)入射線角度之間的平移/傾斜的轉(zhuǎn)動(dòng)表示。
[0044]圖14是用于在后視鏡顯示裝置上顯示來自一個(gè)或多個(gè)圖像捕獲裝置的捕獲圖像的方框圖。
[0045]圖15示出了使用單個(gè)相機(jī)的動(dòng)態(tài)后視鏡顯示成像系統(tǒng)的方框圖。
[0046]圖16示出了后視鏡的FOV與由寬角度FOV相機(jī)捕獲圖像的比較。
[0047]圖17是在后視鏡的圖像顯示器上輸出的景象的圖示。
[0048]圖18示出了使用多個(gè)面向后相機(jī)的動(dòng)態(tài)后視鏡顯示成像系統(tǒng)的方框圖。
[0049]圖19是由多個(gè)相機(jī)捕獲的區(qū)域覆蓋的自上而下視圖。
[0050]圖20是在后視鏡的圖像顯示器上輸出的景象的圖示，其中作用了圖像拼合。
[0051]圖21示出了使用兩個(gè)面向后相機(jī)的動(dòng)態(tài)后視鏡顯示成像系統(tǒng)的方框圖。
[0052]圖22是由兩個(gè)相機(jī)捕獲的區(qū)域覆蓋的自上而下視圖。
[0053]圖23是使用多個(gè)面向上相機(jī)的動(dòng)態(tài)前視鏡顯示成像系統(tǒng)的方框圖。
[0054]圖24示出了比較由駕駛員看到的FOV和由窄FOV相機(jī)捕獲的圖像的自上而下視圖。
[0055]圖25示出了具有FOV障礙的駕駛員的有限的F0V。
[0056]圖26示出了使用多個(gè)面向周圍相機(jī)的可重構(gòu)的動(dòng)態(tài)后視鏡顯示成像系統(tǒng)的方框圖。
[0057]圖27a_d示出了每個(gè)相應(yīng)的寬FOV相機(jī)的覆蓋區(qū)域的自上而下視圖。
[0058]圖28a_b示出了顯示在顯示裝置上的示例性圖標(biāo)。
【具體實(shí)施方式】
[0059]圖1示出的是，車輛10沿道路行駛?；谝曈X的成像系統(tǒng)12捕獲道路的圖像?；谝曈X的成像系統(tǒng)12根據(jù)基于一個(gè)或多個(gè)基于視覺的捕獲裝置捕獲圍繞車輛的圖像。在此描述的實(shí)施例中，基于視覺的成像系統(tǒng)將被描述為捕獲車輛后方的圖像；然而，也將理解為基于視覺的成像系統(tǒng)12可以延伸至捕獲車輛前方的圖像和車輛側(cè)面的圖像。
[0060]參照?qǐng)D1-2，基于視覺的成像系統(tǒng)12包括用于捕獲車輛15的前方視野(FOV)的前視相機(jī)14，用于捕獲車輛17的后方FOV的后視相機(jī)16，用于捕獲車輛19的左側(cè)FOV的左視相機(jī)18，和用于捕獲車輛21的右側(cè)FOV的右視相機(jī)20。相機(jī)14-20可以是適于在此描述的目的的任意相機(jī)，它們中的許多在汽車領(lǐng)域中是公知的，其能夠接收光，或其它輻射，并且使用例如電荷耦合器件(CCD)以像素格式將光能轉(zhuǎn)換為電信號(hào)。相機(jī)14-18圖以某些數(shù)據(jù)幀頻產(chǎn)生可以存儲(chǔ)用于后續(xù)處理的圖像數(shù)據(jù)的幀。相機(jī)14-20可以安裝在車輛10的一部分的內(nèi)部或在車輛10的一部分的任意適當(dāng)結(jié)構(gòu)上，例如，如本領(lǐng)域技術(shù)人員將會(huì)理解和認(rèn)識(shí)的，保險(xiǎn)杠，面板，格柵，側(cè)視鏡，門板等。在一個(gè)非限制的實(shí)施例中，側(cè)面相機(jī)18安裝在側(cè)視鏡下方并且朝向下。來自相機(jī)14-20的圖像數(shù)據(jù)被發(fā)送到處理器22，其處理圖像數(shù)據(jù)以產(chǎn)生可以顯示在觀察鏡顯示裝置24上的圖像。
[0061]本發(fā)明使用了在沒有使用徑向畸變修正的情況下、采用了簡單的兩步方法并且提供了快速的處理時(shí)間和增強(qiáng)的圖像質(zhì)量的用于窄FOV和超寬FOV相機(jī)兩者的圖像建模和去變形處理。畸變是偏離直線投影，在景象中的直線在圖像中保持直線的投影。徑向畸變是鏡片成直線的誤差。[0062]如上所述的兩步步驟包括(I)為了在非平面表面上投影捕獲的圖像作用相機(jī)模型至捕獲的圖像和(2)為了將投影到非平面表面上的虛擬圖像映射到實(shí)際顯示圖像上作用視圖合成。對(duì)于視圖合成，給出來自具有具體相機(jī)設(shè)置和方位的具體點(diǎn)的具體物的一個(gè)或多個(gè)圖像，目標(biāo)是建造作為來自具有相同或不同光軸的虛擬相機(jī)的合成圖像。
[0063]除用于超寬FOV相機(jī)的動(dòng)態(tài)視圖合成外，提出的方法提供了實(shí)際的環(huán)境視圖和具有提高的去變形操作的動(dòng)態(tài)后視鏡功能。在此使用的相機(jī)修正是指估計(jì)估計(jì)包括固有和外在參數(shù)的多個(gè)相機(jī)參數(shù)。固有參數(shù)包括焦距，圖像中心(或象主點(diǎn))，徑向畸變參數(shù)等并且外在參數(shù)包括相機(jī)位置，相機(jī)方向等。
[0064]相機(jī)模型在本領(lǐng)域公知為用于將自然空間中的目標(biāo)映射到相機(jī)的圖像傳感器平面以產(chǎn)生圖像。本領(lǐng)域公知的一個(gè)模型被認(rèn)為是對(duì)窄FOV相機(jī)的圖像建模有效的針孔相機(jī)模型。針孔相機(jī)模型被限定為:
【權(quán)利要求】
1.一種用于在顯示裝置上顯示的捕獲的圖像的方法，包括步驟: 由至少一個(gè)基于視覺的成像裝置捕獲景象； 使用相機(jī)模型由處理器產(chǎn)生捕獲景象的虛像； 由處理器作用視圖合成技術(shù)至捕獲的圖像，用于產(chǎn)生去變形的虛像； 啟動(dòng)動(dòng)態(tài)后視鏡顯示模式，用于啟動(dòng)在后視鏡顯示裝置上的去變形的圖像的觀察模式；以及 在后視鏡顯示裝置上在啟動(dòng)的觀察模式中顯示去變形的圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中多個(gè)圖像是由包括車輛外部多個(gè)不同的觀察區(qū)域的多個(gè)圖像捕獲裝置捕獲的，多個(gè)圖像具有用于產(chǎn)生車輛外部景象的全景的重疊邊界，其中所述方法還包括步驟: 在相機(jī)建模之前，作用圖像縫合至由多個(gè)圖像捕獲裝置捕獲的多個(gè)圖像中的每一個(gè)上，圖像縫合是將多個(gè)圖像合并，用于在多個(gè)圖像的重疊區(qū)域之間產(chǎn)生無縫的過渡。
3.根據(jù)權(quán)利要求2所述的方法，其中圖像縫合包括各個(gè)圖像的重疊區(qū)域的夾住和切換，用于產(chǎn)生無縫的過渡。
4.根據(jù)權(quán)利要求2所述的方法，其中圖像縫合包括在兩個(gè)各自的圖像之間的重疊區(qū)域中識(shí)別對(duì)應(yīng)的點(diǎn)偶組并且為了縫合兩個(gè)各自的圖像記錄對(duì)應(yīng)的點(diǎn)偶。
5.根據(jù)權(quán)利要求2所述的方法，其中圖像縫合包括作用以發(fā)現(xiàn)兩個(gè)各自的圖像之間的重疊區(qū)域中的對(duì)應(yīng)性的立體視覺處理技術(shù)。
6.根據(jù)權(quán)利要求2所述的方法，其中多個(gè)圖像捕獲裝置包括每個(gè)捕獲不同的各自的視野景象的三個(gè)窄視野圖像捕獲裝置，其中每組相鄰的視野景象包括重疊景象內(nèi)容，并且其中圖像縫合被應(yīng)用到相鄰視野景象的每組的重疊景象內(nèi)容上。
7.根據(jù)權(quán)利要求6所述的方法，其中應(yīng)用到三個(gè)窄視野上的圖像縫合產(chǎn)生約180度的全景景象。
8.根據(jù)權(quán)利要求2所述的方法，其中多個(gè)圖像捕獲裝置包括窄視野圖像捕獲裝置和寬視野圖像捕獲裝置，窄視野圖像捕獲裝置捕獲窄視野景象，寬視野圖像捕獲裝置捕獲基本上180度的寬視野景象，其中為了提高視野重疊，窄視野捕獲景象是寬視野捕獲景象的子集，其中在窄視野景象和相關(guān)的寬視野景象的重疊區(qū)域處對(duì)應(yīng)的點(diǎn)偶組被識(shí)別，用于記錄用于窄視野景象和寬視野景象的圖像縫合。
9.根據(jù)權(quán)利要求1所述的方法，其中啟動(dòng)觀察模式是從視鏡顯示模式，具有圖像覆蓋模式的視鏡顯示打開，以及沒有圖像覆蓋模式的視鏡顯示打開中選擇的，其中視鏡顯示模式不投影圖像在后視顯示視鏡上，其中具有圖像覆蓋模式的視鏡顯示打開投影產(chǎn)生的去變形圖像和復(fù)制車輛的內(nèi)部部件的圖像覆蓋，并且其中沒有圖像覆蓋模式的視鏡顯示僅顯示產(chǎn)生的去變形的圖像。
10.根據(jù)權(quán)利要求9所述的方法，其中選擇用于產(chǎn)生復(fù)制車輛內(nèi)部部件的圖像覆蓋的、具有圖像覆蓋模式的視鏡顯示打開包括在后視鏡顯示裝置中復(fù)制頭枕，后窗玻璃裝飾以及C柱的至少一個(gè)。
【文檔編號(hào)】B60R1/00GK103770706SQ201310489833
【公開日】2014年5月7日 申請(qǐng)日期:2013年10月18日 優(yōu)先權(quán)日:2012年10月19日
【發(fā)明者】W.張, J.王, K.S.利貝克, J.S.皮亞塞基, J.克勒姆, C.A.格林, R.M.弗拉克斯, T.S.赫斯特 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司