增強(qiáng)的前方路緣觀察系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種增強(qiáng)的前方路緣觀察系統(tǒng)。用于確定何時(shí)向車(chē)輛駕駛員顯示前方路緣視圖圖像以及顯示哪些類(lèi)型圖像的系統(tǒng)和方法。多種因素——例如車(chē)輛速度、GPS/位置數(shù)據(jù)、在前視圖圖像中路緣的存在以及車(chē)輛駕駛歷史——被估計(jì)作為用于路緣視圖顯示的潛在觸發(fā)器，該顯示意在用于駕駛員正將車(chē)輛開(kāi)進(jìn)前方以路緣或其他結(jié)構(gòu)為界的停車(chē)位內(nèi)的情形。當(dāng)觸發(fā)了前方路緣視圖顯示時(shí)，第二估計(jì)被執(zhí)行以確定要顯示什么圖像（一個(gè)或多個(gè)），其將提供相對(duì)于路緣的車(chē)輛位置的最佳視圖。所選擇的圖像被數(shù)字合成或增強(qiáng)，并且顯示在安裝于儀表板的或內(nèi)置的顯示設(shè)備上。
【專(zhuān)利說(shuō)明】增強(qiáng)的前方路緣觀察系統(tǒng)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2013年5月23日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)序列號(hào)61/826，898，名稱(chēng)為“增強(qiáng)的前方路緣觀察觀察系統(tǒng)”的 優(yōu)先權(quán)日:的利益。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明大致涉及車(chē)輛前方的路緣和其他結(jié)構(gòu)的增強(qiáng)圖像的顯示，并且更具體地，涉及這樣的系統(tǒng)和方法，其用于確定路緣或其他結(jié)構(gòu)何時(shí)出現(xiàn)在車(chē)輛前方附近、基于車(chē)輛情形確定是否在駕駛座顯示設(shè)備上顯示路緣或?qū)ο蟮膱D像、確定要顯示數(shù)個(gè)圖像類(lèi)型中的哪些以及構(gòu)建和顯示這些圖像。

【背景技術(shù)】
[0004]近些年來(lái)，車(chē)輛越來(lái)越普遍地配備前視照相機(jī)。來(lái)自前視照相機(jī)的圖像被用于各種應(yīng)用，包括車(chē)道偏離警告和碰撞警告。在這些應(yīng)用中，照相機(jī)圖像并不顯示給車(chē)輛駕駛員，而是相反地，圖像由車(chē)載計(jì)算機(jī)使用圖像處理技術(shù)進(jìn)行分析，從這些圖像中檢測(cè)出車(chē)道邊界和潛在障礙物，并在需要時(shí)向駕駛員發(fā)出警告。
[0005]盡管新技術(shù)的出現(xiàn)使得緊湊、可靠和便宜的數(shù)碼照相機(jī)變?yōu)楝F(xiàn)實(shí)，但是長(zhǎng)久以來(lái)的問(wèn)題繼續(xù)困擾駕駛員。該問(wèn)題是，在停車(chē)時(shí)，駕駛員無(wú)法精確判斷車(chē)輛前部相對(duì)于障礙物(例如路緣)的位置。當(dāng)駛?cè)胪＼?chē)空間時(shí)，由于車(chē)輛前部的阻擋，駕駛員固有地?zé)o法看到路緣，因此駕駛員不得不估計(jì)要向前開(kāi)多遠(yuǎn)一以期望不會(huì)碰到路緣。這種判斷能夠是困難的，因?yàn)槠湟蕾?lài)于過(guò)去的經(jīng)驗(yàn)，周邊視覺(jué)提示以及其他間接信息。如果駕駛員錯(cuò)誤地判斷前方間隙，車(chē)輛可能無(wú)法足夠遠(yuǎn)地駛?cè)胪＼?chē)空間，或者更糟的是，車(chē)輛前部可能碰到路緣，導(dǎo)致車(chē)輛損壞。
[0006]在停車(chē)操縱過(guò)程中，駕駛員通常專(zhuān)注于停車(chē)的許多個(gè)面，而可能沒(méi)有想到手動(dòng)打開(kāi)前方路緣觀察顯示器。然而，如果前方路緣觀察系統(tǒng)基于停車(chē)操縱的環(huán)境自動(dòng)顯示最合適的前方圖像，大多數(shù)駕駛員將發(fā)現(xiàn)該視覺(jué)信息是有幫助的——特別是如果該系統(tǒng)不僅選擇了對(duì)駕駛員提供最有幫助的一個(gè)或更多個(gè)圖像，而且還提供增強(qiáng)的圖像，該增強(qiáng)的圖像具有對(duì)固有地存在于廣角鏡頭圖像中的視覺(jué)失真的修正。
[0007]需要一種前視停車(chē)輔助系統(tǒng)，其利用車(chē)輛前方的路緣和其他結(jié)構(gòu)的可用圖像，并將能使駕駛員對(duì)車(chē)輛前部相對(duì)于路緣或其他前方對(duì)象精確定位的優(yōu)化圖像提供給駕駛員。


【發(fā)明內(nèi)容】

[0008]根據(jù)本發(fā)明的教導(dǎo)，一種系統(tǒng)和方法被公開(kāi)，用于確定何時(shí)為車(chē)輛駕駛員顯示前方路緣視圖圖像以及顯示何種類(lèi)型的圖像。各種因素——例如車(chē)輛速度、GPS/位置數(shù)據(jù)、前視圖圖像中路緣的存在以及車(chē)輛駕駛歷史一被估計(jì)為用于路緣視圖顯示的潛在觸發(fā)器，該顯示意在用于駕駛員正將車(chē)輛開(kāi)進(jìn)前方以路緣或其他結(jié)構(gòu)為界的停車(chē)位內(nèi)的情形。當(dāng)觸發(fā)了前方路緣視圖顯示時(shí)，第二估計(jì)被執(zhí)行以確定要顯示什么圖像(一個(gè)或多個(gè))，其將提供與路緣相關(guān)的車(chē)輛位置的最佳視圖。所選擇的圖像被數(shù)字合成或增強(qiáng)，并且顯示在安裝于儀表板的或內(nèi)置的顯示設(shè)備上。
[0009]方案1、一種用于提供車(chē)輛前方區(qū)域的增強(qiáng)圖像的系統(tǒng)，所述系統(tǒng)包括:
[0010]安裝在車(chē)輛的左前部處的第一照相機(jī)；
[0011]安裝在車(chē)輛的右前部處的第二照相機(jī)；
[0012]與所述第一和第二照相機(jī)通信的圖像采集模塊，所述圖像采集模塊接收來(lái)自所述照相機(jī)的原始圖像；
[0013]包括存儲(chǔ)器模塊的處理器，所述處理器配置為基于所檢測(cè)到的前方停車(chē)操縱確定是否激活前方路緣視圖顯示，所述處理器進(jìn)一步配置為確定在所述前方路緣視圖顯示中包括什么圖像，并且配置為提供包括由來(lái)自所述照相機(jī)的原始圖像合成的增強(qiáng)圖像的圖像；以及
[0014]車(chē)輛駕駛座區(qū)域中的顯示單元，用于顯示來(lái)自所述處理器的所述前方路緣視圖顯示，用于由車(chē)輛駕駛員觀看。
[0015]方案2、如方案I所述的系統(tǒng)，進(jìn)一步包括用戶輸入設(shè)備，用于允許車(chē)輛駕駛員發(fā)信號(hào)通知他或她想要激活前方路緣視圖顯示。
[0016]方案3、如方案2所述的系統(tǒng)，其中，所述用戶輸入設(shè)備是麥克風(fēng)，并且駕駛員發(fā)出語(yǔ)音指令來(lái)激活所述前方路緣視圖顯示。
[0017]方案4、如方案I所述的系統(tǒng)，其中，所述處理器包括用于檢測(cè)前方停車(chē)操縱的探索性模塊(heuristics module)，所述探索性模塊包括:車(chē)輛狀態(tài)感測(cè)模塊，用于評(píng)價(jià)車(chē)輛動(dòng)態(tài)條件；對(duì)象檢測(cè)模塊，用于檢測(cè)車(chē)輛前方的路緣或停車(chē)空間；以及地圖模塊，用于由全球定位系統(tǒng)數(shù)據(jù)和數(shù)字地圖數(shù)據(jù)確定車(chē)輛處于停車(chē)場(chǎng)中。
[0018]方案5、如方案4所述的系統(tǒng)，其中，所述探索性模塊配置為當(dāng)車(chē)輛速度低于預(yù)定閾值并且在車(chē)輛前方檢測(cè)到路緣或者停車(chē)空間時(shí)激活所述前方路緣視圖顯示。
[0019]方案6、如方案4所述的系統(tǒng)，其中，所述車(chē)輛狀態(tài)感測(cè)模塊檢測(cè)車(chē)輛速度、轉(zhuǎn)向角、偏航角速度、縱向加速度和側(cè)向加速度，并且所述車(chē)輛狀態(tài)感測(cè)模塊確定停車(chē)操作何時(shí)進(jìn)行或是可能的。
[0020]方案7、如方案4所述的系統(tǒng)，其中，所述對(duì)象檢測(cè)模塊利用圖像處理技術(shù)以識(shí)別車(chē)輛前方的一個(gè)或更多個(gè)停車(chē)空間或結(jié)構(gòu)，并且所述停車(chē)空間或結(jié)構(gòu)被包括在所述前方路緣視圖顯示中。
[0021]方案8、如方案7所述的系統(tǒng)，其中，所述對(duì)象檢測(cè)模塊還利用來(lái)自對(duì)象檢測(cè)傳感器的信號(hào)檢測(cè)車(chē)輛前方的路緣或結(jié)構(gòu)，其中，所述探索性模塊配置為當(dāng)車(chē)輛速度低于預(yù)定閾值并且在車(chē)輛前方檢測(cè)到路緣或結(jié)構(gòu)時(shí)激活所述前方路緣視圖顯示。
[0022]方案9、如方案8所述的系統(tǒng)，其中，所述對(duì)象檢測(cè)傳感器選自由超聲波傳感器、近程雷達(dá)傳感器和LIDAR傳感器構(gòu)成的組。
[0023]方案10、如方案I所述的系統(tǒng)，其中，所述處理器包括模式選擇模塊，所述模式選擇模塊配置為基于來(lái)自所述探索性模塊的數(shù)據(jù)選擇所述前方路緣視圖顯示中的最佳顯示模式，其中，所述最佳顯示模式包括車(chē)輛前方的一個(gè)或更多個(gè)視圖，所述視圖示出車(chē)輛正向著運(yùn)動(dòng)的停車(chē)空間或結(jié)構(gòu)。
[0024]方案11、如方案I所述的系統(tǒng)，其中，所述處理器包括學(xué)習(xí)模塊，所述學(xué)習(xí)模塊配置為基于駕駛員過(guò)去的行為確定何時(shí)激活所述前方路緣視圖顯示以及什么視圖被包括于所述前方路緣視圖顯示中，從而包括基于一般駕駛員群體的停車(chē)視圖顯示偏好的預(yù)編程學(xué)習(xí)，以及基于車(chē)輛駕駛員的停車(chē)視圖顯示偏好的適應(yīng)性學(xué)習(xí)。
[0025]方案12、如方案11所述的系統(tǒng)，其中，所述適應(yīng)性學(xué)習(xí)包括:利用駕駛歷史和全球定位系統(tǒng)數(shù)據(jù)識(shí)別過(guò)去激活所述前方路緣視圖顯示的位置。
[0026]方案13、如方案12所述的系統(tǒng)，其中，所述適應(yīng)性學(xué)習(xí)還包括:辨別車(chē)輛的經(jīng)常目的地，其中所述經(jīng)常目的地包括居住位置、工作位置和學(xué)校位置。
[0027]方案14、如方案I所述的系統(tǒng)，其中，所述前方路緣視圖顯示包括由來(lái)自所述第一和第二照相機(jī)的原始數(shù)據(jù)合成的俯瞰顯示。
[0028]方案15、一種用于提供車(chē)輛前方區(qū)域的增強(qiáng)圖像的系統(tǒng)，所述系統(tǒng)包括:
[0029]安裝在車(chē)輛的左前部處的第一照相機(jī)；
[0030]安裝在車(chē)輛的右前部處的第二照相機(jī)；
[0031]與所述第一和第二照相機(jī)通信的圖像采集模塊，所述圖像采集模塊接收來(lái)自所述照相機(jī)的原始圖像；
[0032]用戶輸入設(shè)備，用于允許車(chē)輛駕駛員發(fā)信號(hào)通知他或她想要激活前方路緣視圖顯示；
[0033]用于檢測(cè)前方停車(chē)操縱的探索性模塊，所述探索性模塊包括車(chē)輛狀態(tài)感測(cè)模塊，用于評(píng)價(jià)車(chē)輛速度和轉(zhuǎn)向角；圖像分析模塊，用于檢測(cè)車(chē)輛前方的路緣或停車(chē)空間；以及地圖模塊，用于由全球定位系統(tǒng)和數(shù)字地圖數(shù)據(jù)確定車(chē)輛處于停車(chē)場(chǎng)中；
[0034]與所述探索性模塊和所述用戶輸入設(shè)備通信的學(xué)習(xí)模塊，用于基于過(guò)去的車(chē)輛和駕駛員行為適應(yīng)性地學(xué)習(xí)何時(shí)激活所述前方路緣視圖顯示；
[0035]包括存儲(chǔ)模塊的處理器，所述處理器配置為基于來(lái)自所述用戶輸入設(shè)備、所述探索性模塊和所述學(xué)習(xí)模塊的信號(hào)確定是否激活前方路緣視圖顯示，所述處理器進(jìn)一步配置為確定什么圖像被包括在所述前方路緣視圖顯示中，并且配置為提供包括由來(lái)自所述照相機(jī)的原始圖像合成的增強(qiáng)圖像的圖像；以及
[0036]車(chē)輛駕駛座區(qū)域中的顯示單元，用于顯示來(lái)自所述處理器的前方路緣視圖顯示，用于由車(chē)輛駕駛員觀看。
[0037]方案16、如方案15所述的系統(tǒng)，其中，所述處理器配置為當(dāng)車(chē)輛速度低于預(yù)定閾值，在車(chē)輛前方檢測(cè)到路緣或停車(chē)空間并且車(chē)輛被確定位于停車(chē)場(chǎng)中時(shí)，激活所述前方路緣視圖顯示。
[0038]方案17、如方案15所述的系統(tǒng)，其中，所述處理器包括模式選擇模塊，所述模式選擇模塊配置為基于來(lái)自所述探索性模塊的數(shù)據(jù)選擇所述前方路緣視圖顯示中的最佳顯示模式，其中，所述最佳顯示模式包括車(chē)輛前方的一個(gè)或更多個(gè)視圖，所述視圖示出車(chē)輛正在向著運(yùn)動(dòng)的停車(chē)空間或結(jié)構(gòu)。
[0039]方案18、一種用于在車(chē)輛中提供增強(qiáng)的前方路緣觀察的方法，所述方法包括:
[0040]通過(guò)從車(chē)輛速度傳感器讀取車(chē)輛速度信號(hào)，確定車(chē)輛速度；
[0041]確定所述車(chē)輛速度是否低于速度閾值；
[0042]確定車(chē)輛駕駛員是否已經(jīng)選擇前方路緣觀察；
[0043]估計(jì)車(chē)輛操作環(huán)境，以確定是否有任何因素指示應(yīng)當(dāng)激活前方路緣觀察；
[0044]估計(jì)車(chē)輛和駕駛員的過(guò)去行為，以基于先前在類(lèi)似情形下是否激活前方路緣觀察，來(lái)確定在當(dāng)前情形下是否應(yīng)當(dāng)激活前方路緣觀察；
[0045]如果基于車(chē)輛速度、駕駛員選擇、車(chē)輛操作環(huán)境和過(guò)去行為被指示，則激活前方路緣觀察。
[0046]利用微處理器處理來(lái)自車(chē)輛上的安裝在前部的照相機(jī)的信號(hào)，以產(chǎn)生增強(qiáng)的前方路緣觀察圖像；以及
[0047]在顯示設(shè)備上顯示所述增強(qiáng)的前方路緣觀察圖像，用于由駕駛員觀看。
[0048]方案19、如方案18所述的方法，進(jìn)一步包括:基于全球定位系統(tǒng)數(shù)據(jù)和數(shù)字地圖數(shù)據(jù)確定車(chē)輛是否位于停車(chē)場(chǎng)中，并且如果車(chē)輛位于停車(chē)場(chǎng)中，僅激活前方路緣觀察。
[0049]方案20、如方案18所述的方法，其中，估計(jì)車(chē)輛操作環(huán)境包括:確定在車(chē)輛前方是否檢測(cè)到路緣或停車(chē)空間。
[0050]方案21、如方案18所述的方法，其中，確定車(chē)輛駕駛員是否已經(jīng)選擇前方路緣觀察包括:監(jiān)控來(lái)自麥克風(fēng)的信號(hào)以確定駕駛員是否已經(jīng)發(fā)出口頭指令來(lái)選擇前方路緣觀察。
[0051]方案22、如方案18所述的方法，其中，如果基于過(guò)去行為被指示則激活前方路緣觀察包括:估計(jì)基于一般駕駛員群體的停車(chē)視圖顯示偏好的預(yù)編程學(xué)習(xí)，以及估計(jì)基于車(chē)輛駕駛員的停車(chē)觀察顯示偏好的適應(yīng)性學(xué)習(xí)。
[0052]方案23、如方案22所述的方法，其中，所述預(yù)編程學(xué)習(xí)和所述適應(yīng)性學(xué)習(xí)指示在激活前方路緣觀察時(shí)顯示哪些視圖，其中這些視圖包括俯瞰和立體方位，并且這些視圖包括正前方、左前方和右前方方向。
[0053]方案24、如方案18所述的方法，其中，顯示所示增強(qiáng)的前方路緣觀察圖像包括:由來(lái)自所述安裝在前部的照相機(jī)的信號(hào)合成俯瞰顯示，并且進(jìn)一步包括:由來(lái)自安裝在前部的照相機(jī)的信號(hào)以及來(lái)自安裝在后部和安裝在側(cè)面的照相機(jī)的信號(hào)合成鳥(niǎo)瞰圖。
[0054]本發(fā)明的附加特征通過(guò)結(jié)合附圖將從以下說(shuō)明和所附權(quán)利要求變得明顯。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0055]圖1是包括能夠用于路緣觀察的前部照相機(jī)的車(chē)輛的俯視圖；
[0056]圖2是顯示圖1中車(chē)輛的側(cè)視圖，展示了照相機(jī)布置的更多細(xì)節(jié)；
[0057]圖3是用于自動(dòng)和增強(qiáng)的路緣觀察的系統(tǒng)的示意圖；
[0058]圖4是增強(qiáng)的路緣觀察系統(tǒng)的第一實(shí)施例的系統(tǒng)的方框圖；
[0059]圖5是增強(qiáng)的路緣觀察系統(tǒng)的第二實(shí)施例的系統(tǒng)的方框圖；
[0060]圖6是增強(qiáng)的路緣觀察系統(tǒng)的第三實(shí)施例的系統(tǒng)的方框圖；
[0061]圖7是圖6系統(tǒng)的方框圖，展示了學(xué)習(xí)模塊如何操作；
[0062]圖8是用于在車(chē)輛中提供增強(qiáng)的前方路緣觀察的方法的流程圖；
[0063]圖9是圖3中展示的顯示設(shè)備的圖示，展示了實(shí)例顯示模式，或顯示設(shè)備屏幕上的視圖布置；
[0064]圖10是保險(xiǎn)杠/橫梁區(qū)域中的車(chē)身部分如何能夠在虛擬俯瞰視圖中創(chuàng)建虛假突出物效果的圖示；
[0065]圖11是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，由于照相機(jī)/車(chē)輛幾何結(jié)構(gòu)和圖像去扭曲而使圖10中展示的突出物虛假地向前延伸，從而創(chuàng)建遮蔽區(qū)域；
[0066]圖12是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，通過(guò)圖像處理對(duì)遮蔽區(qū)域重新紋理化；
[0067]圖13是用于消除由車(chē)輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖中出現(xiàn)的虛假車(chē)身部分的方法的流程圖；
[0068]圖14是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，該視圖的某些部分展現(xiàn)了低分辨率和/或圖像噪聲；
[0069]圖15是用于消除由車(chē)輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖的邊緣區(qū)域中的低分辨率和圖像噪聲的方法的流程圖；
[0070]圖16A和16B是分別來(lái)自左前部照相機(jī)和右前部照相機(jī)的虛擬俯瞰視圖的圖示；
[0071]圖17是當(dāng)左和右照相機(jī)圖像合并時(shí)，虛擬俯瞰視圖的一些部分如何能夠出現(xiàn)“雙影”的圖示；
[0072]圖18是用于在由車(chē)輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖中消除地面之上障礙物的雙影效果的第一方法的流程圖；
[0073]圖19是用于在由車(chē)輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖中消除地面之上障礙物的雙影效果的第二方法的流程圖；
[0074]圖20是用于創(chuàng)建由車(chē)輛前部照相機(jī)圖像構(gòu)成的增強(qiáng)的虛擬俯瞰視圖的方法的流程圖；
[0075]圖21是包括來(lái)自廣角鏡頭的圖像中固有的失真的車(chē)輛前方立體圖的圖示，其使用傳統(tǒng)去扭曲技術(shù)已經(jīng)被處理；
[0076]圖22是可用于修正圖21中所示失真的照相機(jī)圖像表面模型的圖示；
[0077]圖23是車(chē)輛前方立體圖的圖示，其中通過(guò)應(yīng)用圖22中的新虛擬圖像表面模型及其他處理技術(shù)已經(jīng)修正了圖21中看到的失真；以及
[0078]圖24是用于使用圖22中的照相機(jī)圖像表面模型創(chuàng)建由車(chē)輛前部照相機(jī)圖像構(gòu)成的增強(qiáng)的立體圖的方法的流程圖。

【具體實(shí)施方式】
[0079]致力于用于提供增強(qiáng)的前方路緣視圖圖像的系統(tǒng)和方法的本發(fā)明的實(shí)施例的以下討論本質(zhì)上僅是示例性的，絕無(wú)意圖限制本發(fā)明或其應(yīng)用或使用。例如，以下描述的本發(fā)明特別應(yīng)用于車(chē)輛的前方路緣視圖成像。然而，本發(fā)明也可用于例如鏟車(chē)的其他機(jī)動(dòng)設(shè)備中，并且還可以用在后視或側(cè)視場(chǎng)合中。
[0080]圖1是包括能夠用于路緣觀察的前部照相機(jī)的車(chē)輛100的俯視圖。該車(chē)輛100包括定位于車(chē)輛100的格柵之后或前保險(xiǎn)杠中的一對(duì)照相機(jī)102、104。第一(或左)照相機(jī)102以水平或側(cè)向距離106與第二(或右)照相機(jī)104隔開(kāi)。距離106將取決于車(chē)輛100的品牌和型號(hào)變化，但在一些實(shí)施例中可以大約為一米。照相機(jī)102和104具有從車(chē)輛的向前方向偏移水平旋轉(zhuǎn)角度(pan angle) Θ的光學(xué)軸線108。所取的角度Θ可以取決于車(chē)輛100的品牌和型號(hào)變化，但在一些實(shí)施例中為大約10°。不論照相機(jī)102和104所選擇的取向如何，每一照相機(jī)都使用魚(yú)眼鏡頭抓取超寬視野(FOV)以提供在區(qū)域110處部分地重疊的大約180° F0V。照相機(jī)102的FOV由扇區(qū)112代表，并且照相機(jī)104的FOV由扇區(qū)114代表。由照相機(jī)102和104抓取的圖像可由視頻采集設(shè)備116接收，并且這些圖像在具有下文將要詳細(xì)討論的圖像處理硬件和/或軟件的處理器118中進(jìn)一步處理，以在顯示設(shè)備120上提供一個(gè)或更多個(gè)類(lèi)型的駕駛員輔助圖像。
[0081]該處理器118是計(jì)算設(shè)備，其包括通常用于車(chē)輛中的任意類(lèi)型的至少微處理器和存儲(chǔ)器模塊。該處理器118可以是還執(zhí)行其他計(jì)算功能的通用設(shè)備，或該處理器118可以是特別配置用于前方路緣視圖像處理的定制設(shè)計(jì)。在任何情況下，處理器118配置為執(zhí)行在本文討論的方法的步驟。即，用于增強(qiáng)的路緣觀察的方法意圖在例如處理器118的計(jì)算設(shè)備上執(zhí)行，而不是靠人腦或使用紙和筆執(zhí)行。
[0082]圖2顯示了車(chē)輛100的側(cè)視圖。右照相機(jī)104顯示為以距離130定位于道路/地面之上。該距離130將取決于車(chē)輛100的品牌和型號(hào)，但在一些實(shí)施例中大約為半米。知道該距離130有助于計(jì)算來(lái)自視野114的虛擬圖像以輔助車(chē)輛100的駕駛員。該照相機(jī)104(以及在車(chē)輛相對(duì)側(cè)上的照相機(jī)102)典型地對(duì)準(zhǔn)為使其以?xún)A角P略微向下成角，以提供所示的視野114。該角度P將根據(jù)車(chē)輛100的品牌和型號(hào)變化，但在一些實(shí)施例中可以為大約 10。。
[0083]如上面所討論的，圖1和2中的雙前部照相機(jī)布置在如今的車(chē)輛上常見(jiàn)，其圖像典型地用于碰撞躲避和車(chē)道偏離警告應(yīng)用中。也如上面所討論的，前方照相機(jī)圖像也能夠作為駕駛員輔助用作路緣觀察。然而，目前為止，仍然沒(méi)有用于在駕駛員期望的場(chǎng)合下提供增強(qiáng)的前方路緣觀察的自動(dòng)系統(tǒng)。
[0084]圖3是用于自動(dòng)和增強(qiáng)的路緣觀察的系統(tǒng)140的示意圖。該系統(tǒng)140包括關(guān)于圖1在上文中討論的元件，包括前部照相機(jī)102和104、視頻采集設(shè)備116、處理器118和顯示設(shè)備120。圖3提供展示基本元件的系統(tǒng)140的高級(jí)示圖。如能夠期望的，處理器118能夠包括許多不同功能和模塊，其將在接下來(lái)的附圖中進(jìn)行討論。
[0085]圖4是作為增強(qiáng)的路緣觀察系統(tǒng)的第一實(shí)施例的系統(tǒng)160的方框圖。該第一實(shí)施例是簡(jiǎn)單設(shè)計(jì)，其中用戶指令是用于啟動(dòng)前方路緣觀察的主要觸發(fā)器。如果駕駛員想觀察前方路緣的圖像，用戶輸入162提供來(lái)自車(chē)輛100的駕駛員的信號(hào)。用戶輸入162可以是實(shí)體按鍵、開(kāi)關(guān)、在例如顯示設(shè)備120的觸摸屏設(shè)備上的虛擬按鍵、檢測(cè)口頭指令的音頻麥克風(fēng)或者其他類(lèi)型的輸入。當(dāng)駕駛員激活用戶輸入162時(shí)，這被當(dāng)作觸發(fā)器以在顯示設(shè)備120上提供前方路緣圖像，但只有在車(chē)輛速度低于某一閾值時(shí)才這樣，這可以是管制要求。車(chē)輛速度信號(hào)由車(chē)輛狀態(tài)模塊164提供，其可包括來(lái)自各種車(chē)輛傳感器的數(shù)據(jù)，包括車(chē)輛速度、轉(zhuǎn)向角、偏航角速度、縱向和側(cè)向加速度等。
[0086]如果用戶輸入162已經(jīng)被激活并且車(chē)輛速度低于閾值，則觸發(fā)模塊166將前方路緣觀察圖像狀態(tài)設(shè)定為是。開(kāi)關(guān)168確定什么顯示在顯示設(shè)備120上。如果該前方路緣觀察圖像狀態(tài)等于是，則開(kāi)關(guān)168命令處理模塊170使用來(lái)自視頻采集設(shè)備116的圖像輸入計(jì)算增強(qiáng)的前方路緣觀察圖像。最終，模式選擇模塊172確定哪個(gè)視圖或哪些視圖應(yīng)顯示在顯示設(shè)備120上。在系統(tǒng)160的簡(jiǎn)單實(shí)施例中，模式選擇模塊172可選擇默認(rèn)圖像布置(例如包括，前視立體圖以及虛擬俯瞰路緣視圖——在下文詳細(xì)討論)。模式選擇模塊172也可支持用戶選擇觀察模式——例如，通過(guò)用戶輸入162的方式。
[0087]如果前方路緣觀察圖像狀態(tài)等于否，則該開(kāi)關(guān)168傳送控制到顯示控制模塊174，其在顯示設(shè)備120上顯示其他信息。例如，當(dāng)駕駛員不觀察前方路緣圖像時(shí)，該顯示設(shè)備120能夠充當(dāng)廣播或其他音頻/視頻接口，或?qū)Ш降貓D顯示器，或任意其他適當(dāng)?shù)墓δ堋?br> [0088]觸發(fā)模塊166、開(kāi)關(guān)168、處理模塊170以及模式選擇模塊172都能夠被認(rèn)為包含于前文討論的處理器118中。即，每一個(gè)執(zhí)行單獨(dú)功能的元件166-172不需要單獨(dú)的實(shí)體設(shè)備，而是能夠體現(xiàn)在全部包含于處理器118中的硬件或軟件中。
[0089]圖5是作為增強(qiáng)的路緣觀察系統(tǒng)的第二實(shí)施例的系統(tǒng)180的方框圖。該第二實(shí)施例包括用于啟動(dòng)前方路緣觀察的附加觸發(fā)信號(hào)源。如果車(chē)輛速度低于閾值，用戶輸入162仍然為車(chē)輛100的駕駛員提供直接手段以表明他/她想觀察前方路緣圖像。然而，除了用戶輸入162之外，探索性模塊182使用各種數(shù)據(jù)源估計(jì)車(chē)輛的操作環(huán)境，并且應(yīng)用規(guī)則以確定駕駛員何時(shí)可能希望觀察前方路緣。探索性模塊182包括前文討論過(guò)的車(chē)輛狀態(tài)模塊164，其不僅提供車(chē)輛速度信號(hào)以與速度閾值比較，而且還可以提供轉(zhuǎn)向角、偏航角速度、縱向和側(cè)向加速度以及其他數(shù)據(jù)。規(guī)則能夠被限定為例如在車(chē)輛速度低并且轉(zhuǎn)向角大時(shí)觸發(fā)前方路緣觀察，從而指示可能的停車(chē)場(chǎng)操縱。
[0090]探索性模塊182也包括對(duì)象檢測(cè)模塊184，其從視頻采集設(shè)備116接收照相機(jī)圖像。對(duì)象檢測(cè)模塊184分析前方照相機(jī)圖像以檢測(cè)停車(chē)場(chǎng)、路緣或車(chē)輛100前面的任意其他對(duì)象。如果檢測(cè)到停車(chē)場(chǎng)，并且如果例如速度的其他車(chē)輛參數(shù)都合適，則可推斷駕駛員正在操縱車(chē)輛100?？吭谒鶛z測(cè)到的停車(chē)場(chǎng)中。這將導(dǎo)致探索性模塊182發(fā)出觸發(fā)信號(hào)以激活前方路緣觀察。即使沒(méi)有檢測(cè)到停車(chē)場(chǎng)，車(chē)輛100前面的路緣的存在也可導(dǎo)致該探索性模塊182發(fā)出觸發(fā)信號(hào)以激活前方路緣觀察。該路緣可以是具有明確的左右端的單獨(dú)豎立單元，或者其能夠是連續(xù)升高的人行道，如許多商業(yè)建筑停車(chē)場(chǎng)里常見(jiàn)的那樣。同樣，在車(chē)輛100緊前方檢測(cè)到的任意其他對(duì)象——例如墻、一個(gè)或更多個(gè)柱、圍欄等——可以觸發(fā)來(lái)自該探索性模塊182的對(duì)象檢測(cè)模塊184的前方路緣觀察信號(hào)。
[0091]探索性模塊182也包括GPS/地圖模塊186，其使用來(lái)自車(chē)載全球定位系統(tǒng)(GPS)接收器的車(chē)輛位置數(shù)據(jù)以及來(lái)自數(shù)字地圖和/或?qū)Ш较到y(tǒng)的數(shù)據(jù)以確定車(chē)輛100何時(shí)可能處于停車(chē)情形下。例如，由GPS和數(shù)字地圖數(shù)據(jù)能夠容易地確定車(chē)輛100處于商場(chǎng)的停車(chē)場(chǎng)中，或者處于辦公樓的停車(chē)場(chǎng)中。該認(rèn)知可以用于使用對(duì)象檢測(cè)模塊184開(kāi)始搜索停車(chē)位或路緣，或者如果例如速度和轉(zhuǎn)向角的車(chē)輛參數(shù)(來(lái)自車(chē)輛狀態(tài)模塊164)符合一定標(biāo)準(zhǔn)，該認(rèn)知可以用于直接觸發(fā)前方路緣觀察。
[0092]探索性模塊182估計(jì)所有可得數(shù)據(jù)，如上文所討論的，并且基于一組預(yù)先設(shè)立的規(guī)則確定駕駛員是否可能期望前方路緣觀察。當(dāng)然，如果路緣觀察經(jīng)由用戶輸入162被選擇，則激活前方路緣觀察(只要車(chē)輛速度低于閾值)，不論探索性模塊182做出何種確定。同樣，如果駕駛員經(jīng)由用戶輸入162指示不需要路緣觀察，則停用前方路緣觀察，不論探索性模塊182做出何種確定。
[0093]用戶輸入162和探索性模塊182提供信號(hào)到觸發(fā)模塊166，該觸發(fā)模塊166依據(jù)這些信號(hào)將前方路緣觀察圖像狀態(tài)設(shè)定為是或否。如在第一實(shí)施例中那樣，開(kāi)關(guān)168確定顯示什么在顯示設(shè)備120上。如果前方路緣觀察圖像狀態(tài)等于是，則開(kāi)關(guān)168命令處理模塊170使用來(lái)自視頻采集設(shè)備116的圖像輸入計(jì)算增強(qiáng)的前方路緣觀察圖像。最終，模式選擇模塊172確定應(yīng)當(dāng)在顯示設(shè)備120上顯示哪個(gè)或哪些視圖。
[0094]在由系統(tǒng)180代表的第二實(shí)施例中，模式選擇模塊172能夠基于由來(lái)自探索性模塊182的數(shù)據(jù)定義的情景的環(huán)境下選擇優(yōu)選顯示模式。例如，如果車(chē)輛100正在向右轉(zhuǎn)，或者如果停車(chē)場(chǎng)被檢測(cè)到在車(chē)輛100的前面和右面，則前右立體圖可以被選擇為顯示模式，可能同時(shí)有虛擬俯瞰視圖。視圖的許多組合可以定義在顯示模式中。同樣，許多不同因素可以在用于選擇顯示模式的邏輯中加以考慮，目標(biāo)是顯示在當(dāng)前停車(chē)情景的環(huán)境下為駕駛員提供最大幫助的那個(gè)視圖或那些視圖。該模式選擇模塊172也可支持用戶選擇觀察模式一例如，通過(guò)用戶輸入162的方式。
[0095]如果前方路緣觀察圖像狀態(tài)等于否，則該開(kāi)關(guān)168傳送控制到顯示控制模塊174，其在顯示設(shè)備120上顯示其他信息，如前文所討論的。觸發(fā)模塊166、開(kāi)關(guān)168、處理模塊170和模式選擇模塊172均能夠被認(rèn)為包含于處理器118中，也如前文所討論的。此外，系統(tǒng)180的探索性模塊182也能夠包含于處理器118中。
[0096]圖6是作為增強(qiáng)的路緣觀察系統(tǒng)的第三實(shí)施例的系統(tǒng)200的方框圖。該系統(tǒng)200包括上文所討論的系統(tǒng)180 (第二實(shí)施例)的全部元件。然而，該第三實(shí)施例還包括用于啟動(dòng)前方路緣觀察的另一觸發(fā)信號(hào)源。行為/歷史學(xué)習(xí)模塊202使用機(jī)器學(xué)習(xí)技術(shù)以確定車(chē)輛100的駕駛員何時(shí)可能想觀察前方路緣圖像。該學(xué)習(xí)模塊202提供信號(hào)到觸發(fā)模塊166，其依據(jù)三個(gè)信號(hào)源將前方路緣觀察圖像狀態(tài)設(shè)定為是或否。學(xué)習(xí)模塊202也可以學(xué)習(xí)駕駛員偏好用于顯示模式——即，在什么樣的停車(chē)情形下顯示哪個(gè)視圖或哪些視圖——并且可以將該數(shù)據(jù)提供到模式選擇模塊172 (經(jīng)由圖6中所示的觸發(fā)模塊166或直接)。
[0097]圖7是系統(tǒng)200的方框圖，展示了學(xué)習(xí)模塊202如何工作。系統(tǒng)200的不與學(xué)習(xí)模塊200相互作用的元件——特別是在觸發(fā)模塊166之下的每一元件——出于簡(jiǎn)化而從圖7中省略。學(xué)習(xí)模塊202包括離線或預(yù)編程學(xué)習(xí)和適應(yīng)性學(xué)習(xí)。數(shù)據(jù)庫(kù)204包含代表一般駕駛員群體的數(shù)據(jù)。數(shù)據(jù)庫(kù)204被預(yù)編程并且在車(chē)輛100是新的時(shí)可用。數(shù)據(jù)庫(kù)204并不連續(xù)更新，但可以對(duì)于一般駕駛員群體以新數(shù)據(jù)周期性地更新(例如經(jīng)由信息技術(shù)服務(wù))。來(lái)自數(shù)據(jù)庫(kù)204的數(shù)據(jù)用于離線學(xué)習(xí)模塊206以作出是否期望前方路緣觀察的第一確定，并且這是經(jīng)由信號(hào)從離線學(xué)習(xí)模塊206通信到學(xué)習(xí)模塊202。
[0098]在車(chē)輛操作期間，數(shù)據(jù)庫(kù)208連續(xù)收集來(lái)自用戶輸入162、探索性模塊182和觸發(fā)模塊166的數(shù)據(jù)。來(lái)自數(shù)據(jù)庫(kù)208的數(shù)據(jù)用在適應(yīng)性學(xué)習(xí)模塊210中以作出是否期望前方路緣觀察的第二確定，并且這是經(jīng)由信號(hào)從適應(yīng)性學(xué)習(xí)模塊210通信到學(xué)習(xí)模塊202。適應(yīng)性學(xué)習(xí)模塊210對(duì)來(lái)自數(shù)據(jù)庫(kù)208的數(shù)據(jù)應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，以便基于前方路緣觀察是否在先前的類(lèi)似環(huán)境下被觸發(fā)而確定在當(dāng)前情形下是否應(yīng)當(dāng)觸發(fā)前方路緣觀察。例如，在數(shù)據(jù)中可能明顯的是，車(chē)輛100的駕駛員在某一車(chē)輛位置頻繁地激活前方路緣觀察，即使地圖數(shù)據(jù)并未將該位置識(shí)別為停車(chē)場(chǎng)。在此場(chǎng)合下，當(dāng)車(chē)輛100再次到達(dá)該位置時(shí)并且當(dāng)車(chē)輛速度低于閾值時(shí)，適應(yīng)性學(xué)習(xí)模塊210能夠觸發(fā)前方路緣觀察。該分析能夠進(jìn)一步被增強(qiáng)以包括辨識(shí)駕駛員可以典型地遵循以到達(dá)某一停車(chē)空間的轉(zhuǎn)向操縱的特定模式。
[0099]作為另一實(shí)例，適應(yīng)性學(xué)習(xí)模塊210可確定在接近路緣和人行道時(shí)車(chē)輛100的駕駛員典型地不需要前方路緣觀察(可能由于該車(chē)輛100具有高離地間隙)，但是在接近柱、墻和圍欄時(shí)駕駛員的確需要前方觀察。該模式能夠在來(lái)自對(duì)象檢測(cè)模塊184和用戶輸入162的數(shù)據(jù)中檢測(cè)到。所有這些類(lèi)型的確定能夠通過(guò)不僅估計(jì)來(lái)自探索性模塊182的三個(gè)部分的數(shù)據(jù)而且估計(jì)來(lái)自用戶輸入162和觸發(fā)模塊166的數(shù)據(jù)來(lái)作出。即，重要的是不僅考慮先前激活前方路緣觀察的環(huán)境，而且要考慮通過(guò)經(jīng)由用戶輸入162手動(dòng)激活或停用前方路緣觀察所表明的駕駛員的偏好。
[0100]適應(yīng)性學(xué)習(xí)模塊210還能夠通過(guò)關(guān)鍵飾物標(biāo)識(shí)或其他駕駛員辨識(shí)技術(shù)在車(chē)輛100的不同駕駛員之間辨別，并能夠相應(yīng)地適應(yīng)。例如，車(chē)輛100的兩個(gè)駕駛員對(duì)于前方路緣觀察可能具有非常不同的偏好，其中一個(gè)駕駛員可能從不需要使用它而另一個(gè)駕駛員可能頻繁使用它。另一方面，車(chē)輛100的兩個(gè)駕駛員可能具有相同的“家”位置，并且可確定兩個(gè)駕駛員均偏好在家位置激活路緣觀察。這些類(lèi)型的特定駕駛員和/或特定車(chē)輛的確定能夠通過(guò)適應(yīng)性學(xué)習(xí)模塊210容易地作出。隨著車(chē)輛100被駕駛，學(xué)習(xí)車(chē)輛100的駕駛員偏好的能力從離線學(xué)習(xí)模塊206和探索性模塊182辨別適應(yīng)性學(xué)習(xí)模塊210。
[0101]圖8是用于在車(chē)輛中提供增強(qiáng)的前方路緣觀察的方法的流程圖220。在框222處，從車(chē)輛速度傳感器讀取車(chē)輛速度信號(hào)。在判斷菱形塊224處，確定車(chē)輛速度是否低于速度閾值，該速度閾值可以由用于顯示前方路緣視圖圖像的政府規(guī)定來(lái)限定。如果車(chē)輛速度不低于閾值，則該方法循環(huán)回到框222，直至車(chē)輛速度低于閾值的時(shí)候。如果在判斷菱形塊224處車(chē)輛速度低于閾值，則在判斷菱形塊226處確定車(chē)輛駕駛員是否已經(jīng)經(jīng)由用戶輸入162選擇了前方路緣觀察。
[0102]如果駕駛員尚未選擇前方路緣觀察，則在框228處，車(chē)輛操作環(huán)境被估計(jì)以確定是否有任何因素指示應(yīng)激活前方路緣觀察。車(chē)輛操作環(huán)境估計(jì)由探索性模塊182執(zhí)行，并且包括多個(gè)因素，例如車(chē)輛速度和轉(zhuǎn)向角度，停車(chē)場(chǎng)的存在，車(chē)輛前方的路緣或其他障礙物，以及由GPS和數(shù)字地圖指示的車(chē)輛位置。在框230處，車(chē)輛的駕駛行為和歷史由學(xué)習(xí)模塊202估計(jì)，以基于在先前相似的環(huán)境中是否觸發(fā)前方路緣觀察來(lái)確定在當(dāng)前情形下是否應(yīng)當(dāng)觸發(fā)前方路緣觀察。在判斷菱形塊232處，來(lái)自框228和230的信號(hào)被估計(jì)，以確定是否存在指示應(yīng)當(dāng)激活前方路緣觀察的任何觸發(fā)器。如果不存在這樣的觸發(fā)器，則在終點(diǎn)234處，結(jié)束該處理并且在顯示設(shè)備120上顯示其他信息(例如廣播或?qū)Ш?。
[0103]如果駕駛員在判斷菱形塊226處已經(jīng)選擇了前方路緣觀察，或者在判斷菱形塊232存在指示應(yīng)當(dāng)激活前方路緣觀察的觸發(fā)器，則在框236處處理來(lái)自視頻采集設(shè)備116的視頻信號(hào)以產(chǎn)生增強(qiáng)的前方路緣觀察圖像。在框238處，基于過(guò)去駕駛員的偏好和/或當(dāng)前停車(chē)情形的環(huán)境，選擇用于前方路緣觀察的顯示模式，如上文所討論的。在框240處，根據(jù)所選擇的顯示模式，增強(qiáng)的前方路緣視圖圖像被顯示。
[0104]使用上文描述的技術(shù)，增強(qiáng)的前方路緣觀察系統(tǒng)能夠被交付，其為車(chē)輛駕駛員提供用于在車(chē)輛前方的路緣和其他障礙物附近操縱的有價(jià)值的視覺(jué)輔助。增強(qiáng)的前方路緣觀察系統(tǒng)利用現(xiàn)有的顯示設(shè)備和照相機(jī)，并且為駕駛員提供以其他方式本來(lái)不可用的視覺(jué)信息——因此使得由于與前方障礙物接觸而使車(chē)輛損壞的事故遠(yuǎn)遠(yuǎn)變少。
[0105]如能夠從上文討論理解到的，某些前方視圖的選擇和顯示對(duì)前方路緣觀察系統(tǒng)的有效性是必要的。視圖能夠包括本地照相機(jī)視圖(例如來(lái)自左或右照相機(jī)的前視立體圖)和“虛擬視圖”的兩個(gè)增強(qiáng)的版本，“虛擬視圖”是通過(guò)處理多個(gè)照相機(jī)圖像合成的視圖以產(chǎn)生沒(méi)有照相機(jī)直接記錄的立體圖。
[0106]圖9是顯示設(shè)備120的圖，展示了實(shí)例顯示模式或顯示設(shè)備120屏幕上的視圖布置。圖9中展示的實(shí)例包括至少三個(gè)圖像視圖，其中顯示設(shè)備120的右側(cè)包括視圖250，其是前視立體圖(增強(qiáng)的立體圖的創(chuàng)建在下文討論)。顯示設(shè)備120的左側(cè)包括車(chē)輛100周?chē)鷧^(qū)域的鳥(niǎo)瞰圖。視圖252是虛擬俯瞰前視圖(其是由來(lái)自照相機(jī)102和104的圖像合成的視圖)，并且視圖254是虛擬俯瞰后視圖(如果在停車(chē)過(guò)程中車(chē)輛被操縱向前和向后，則該視圖會(huì)有用)。出于參考，在視圖252和視圖254之間提供車(chē)輛100的示圖。側(cè)視圖256能夠由來(lái)自側(cè)視圖照相機(jī)的圖像(如果可用)構(gòu)造，或者能夠使用時(shí)間填充技術(shù)(下文討論)由前和后照相機(jī)圖像構(gòu)造。如能夠容易地設(shè)想到的，視圖的許多不同組合能夠定義為顯示模式，其如上文所詳細(xì)討論的那樣被選擇。
[0107]當(dāng)車(chē)輛100的前保險(xiǎn)杠在離路緣的大約兩英尺之內(nèi)時(shí)，許多駕駛員會(huì)發(fā)現(xiàn)俯瞰前視圖是最有幫助的。事實(shí)上，在向前停車(chē)操縱期間，許多駕駛員可能偏好增強(qiáng)的俯瞰前視圖占據(jù)顯示設(shè)備120的整個(gè)屏幕的顯示模式。用于處理數(shù)字圖像的技術(shù)在本領(lǐng)域是公知的一包括構(gòu)造虛擬圖像視圖，以及對(duì)來(lái)自廣角或?qū)︳~(yú)眼鏡頭的圖像去扭曲(dewarping)以消除失真。然而，創(chuàng)建來(lái)自廣角鏡頭的虛擬俯瞰視圖(其目的是更接近水平而不是豎直)產(chǎn)生了一系列挑戰(zhàn)，這些挑戰(zhàn)至今尚未解決。
[0108]三種類(lèi)型的問(wèn)題已經(jīng)被識(shí)別與由來(lái)自照相機(jī)102和104的圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)。這三類(lèi)問(wèn)題如下，其解決方案在下文詳細(xì)討論:
[0109]I)在去扭曲圖像中的本體部分假象(artifact)，
[0110]2)去扭曲圖像邊界周?chē)牡头直媛屎?或噪聲，
[0111]3)在高于地平面的表面和對(duì)象中的“雙影”效果。
[0112]圖10是保險(xiǎn)杠/橫梁區(qū)域中的車(chē)身部分在虛擬俯瞰視圖中如何能夠形成虛假突出物效果的圖示。在圖10中，能夠看到照相機(jī)104安裝為使得鏡頭幾乎與車(chē)輛100的保險(xiǎn)杠面齊平。然而，許多車(chē)輛包括來(lái)自較低的前保險(xiǎn)杠或橫梁的突出物。這些突出物，例如突出物260，向照相機(jī)104的鏡頭前方延伸，并且妨礙照相機(jī)104對(duì)地面的觀察。因而，在虛擬俯瞰視圖中，突出物260將比其在真實(shí)俯瞰視圖中似乎更加向前并且更大。突出物260的表面上的大小/位置與在俯瞰視圖中的真實(shí)大小/位置之間的差異由距離262表示。距離262是照相機(jī)、突出物260和地面以上距離130的幾何尺寸的函數(shù)，并且能夠予以補(bǔ)償。
[0113]圖11是虛擬俯瞰視圖的圖示，其中突出物260由于照相機(jī)/車(chē)輛幾何結(jié)構(gòu)和圖像去扭曲而虛假地向前延伸，從而形成遮蔽區(qū)域280。展示為正顯示在顯示設(shè)備120上的虛擬俯瞰視圖示出了水平停車(chē)場(chǎng)表面270、在表面270以上升起某一高度的水平人行道表面272以及作為路緣的豎直面274。停車(chē)場(chǎng)表面和升起的路緣/人行道的這種配置在許多商用和零售停車(chē)場(chǎng)中是常見(jiàn)的。接縫276代表在人行道表面272的混凝土部段中的接縫，其中接縫276在豎直面274上是豎直的，并且接縫276可以延伸某一距離進(jìn)入停車(chē)場(chǎng)表面270內(nèi)。
[0114]在顯示設(shè)備120上的虛擬俯瞰視圖中，底部邊緣代表車(chē)輛100的真實(shí)前部。因而，當(dāng)車(chē)輛100慢速向前行駛時(shí)，駕駛員能夠看到何時(shí)觸及障礙物。如上面所討論的，突出物260明顯向前延伸的外觀是虛假的，遮蔽區(qū)域280是圖像去扭曲的假象以及是照相機(jī)鏡頭和突出物260相對(duì)于彼此及相對(duì)于地面的實(shí)際幾何關(guān)系。已經(jīng)開(kāi)發(fā)出的技術(shù)允許修改遮蔽區(qū)域280，使得突出物260在合成的虛擬俯瞰視圖中出現(xiàn)在其真實(shí)位置，并且遮蔽區(qū)域280被合成地紋理化，以表現(xiàn)為周?chē)孛妗D12是虛擬俯瞰視圖的圖示，其中遮蔽區(qū)域280的大小已經(jīng)被顯著地減小，以反映突出物260的真實(shí)位置，并且最初包括在遮蔽區(qū)域280中的大部分區(qū)域通過(guò)圖像處理而被重新紋理化。
[0115]圖13是用于消除由車(chē)輛前方照相機(jī)圖像構(gòu)造的虛擬俯瞰視圖中的虛假車(chē)身部分外觀的方法的流程圖300。通過(guò)量化上文討論的并且示于圖10中的幾何關(guān)系，圖12中所示的增強(qiáng)的虛擬俯瞰視圖的創(chuàng)建開(kāi)始于框302處。對(duì)于任何特別車(chē)輛模型，這些三維關(guān)系都是已知的不變的車(chē)輛設(shè)計(jì)量。因此，準(zhǔn)確確定照相機(jī)圖像的哪些像素將被突出物260遮蔽就變成相當(dāng)簡(jiǎn)單的計(jì)算。也可能的是比較車(chē)輛100前面的真實(shí)俯瞰視圖與圖11中所示的虛擬俯瞰視圖，并且手動(dòng)識(shí)別被突出物260虛假地遮蔽的像素。
[0116]在框304處，執(zhí)行去扭曲計(jì)算，以便當(dāng)來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化(flatten)或者“去扭曲”以使得直線變直時(shí)解決圖像的失真。圖像去扭曲計(jì)算是本領(lǐng)域公知的。在框306處，提供被車(chē)身突出物260虛假覆蓋的一組像素。來(lái)自框306的像素(其是圖11的遮蔽區(qū)域280)將需要重新紋理化以表現(xiàn)為地表面。
[0117]在框308處，遮蔽區(qū)域280中相同的像素被分析用于重新紋理化。兩種技術(shù)能夠用于對(duì)遮蔽區(qū)域280中的像素填充和重新紋理化。在框310處，執(zhí)行空間填充。在框310處的空間填充包括識(shí)別遮蔽區(qū)域280附近的紋理(例如風(fēng)化混凝土的模糊灰色外觀)和結(jié)構(gòu)(例如接縫276)，并且基于周?chē)募y理和結(jié)構(gòu)在遮蔽區(qū)域280中填充。當(dāng)遮蔽區(qū)域280相當(dāng)小和/或停車(chē)場(chǎng)表面270的紋理相當(dāng)一致時(shí)，來(lái)自框310的空間填充技術(shù)能夠非常有效。
[0118]在框312處，執(zhí)行時(shí)間填充。框312處的時(shí)間填充涉及利用在那些像素剛好在遮蔽區(qū)域280之外時(shí)獲得的停車(chē)場(chǎng)表面270的實(shí)際圖像像素，并且基于車(chē)輛運(yùn)動(dòng)將像素置換到遮蔽區(qū)域280內(nèi)。用于時(shí)間填充的車(chē)輛運(yùn)動(dòng)能夠從光流或從車(chē)輛動(dòng)態(tài)傳感器確定，其中光流涉及在獲得后續(xù)圖像時(shí)跟隨特征點(diǎn)的運(yùn)動(dòng)。利用在停車(chē)操縱期間典型地慢且穩(wěn)的車(chē)輛運(yùn)動(dòng)，代表遮蔽區(qū)域280之內(nèi)的停車(chē)場(chǎng)表面270的實(shí)際部分的像素能夠從之前的圖像復(fù)制到虛擬俯瞰視圖的后續(xù)圖像內(nèi)。
[0119]在框314處，使用來(lái)自框310的空間填充技術(shù)和來(lái)自框312的時(shí)間填充技術(shù)的組合對(duì)遮蔽區(qū)域280填充并重新紋理化。在框316處，創(chuàng)建增強(qiáng)的虛擬俯瞰視圖，其中來(lái)自框306的本體覆蓋區(qū)域由來(lái)自框314的周?chē)尘凹y理填實(shí)，使得在視圖中僅保留突出物260的真實(shí)形狀。如能夠在圖12中看到的，通過(guò)利用填充的和重新紋理化的遮蔽區(qū)域280，減小了突出物260的外觀。
[0120]與由左前方和右前方照相機(jī)圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的第二類(lèi)問(wèn)題是去扭曲圖像邊界周?chē)牡头直媛屎?或噪聲。圖14是虛擬俯瞰視圖的圖示，其中該視圖的某些部分能夠展現(xiàn)低分辨率和/或圖像噪聲。像圖11和12 —樣，圖14的虛擬俯瞰視圖示出了水平停車(chē)場(chǎng)表面270、在表面270以上升高某一高度的水平人行道表面272、作為路緣的豎直面274以及在人行道表面272的混凝土部段中的接縫276。
[0121]如上面所討論的，有必要對(duì)來(lái)自廣角鏡頭的圖像“去扭曲”，以便去除失真，并創(chuàng)建現(xiàn)實(shí)樣子的俯瞰視圖。當(dāng)對(duì)圖像去扭曲時(shí)，分辨率在虛擬視圖的周邊或邊緣區(qū)域中固有地?fù)p失，因?yàn)檫@些區(qū)域中的每個(gè)像素被放大以占據(jù)圖像的更多部分。如圖14中所示的左和右周邊區(qū)域320以及上周邊區(qū)域322代表了虛擬俯瞰視圖的低分辨率區(qū)域。圖像中的圖像/視頻噪聲也是區(qū)域320和322中的問(wèn)題，因?yàn)槲⑷醯墓饣虬蛋吣軌虮环糯笠燥@得比其實(shí)際的更大。當(dāng)然，低分辨率區(qū)域的邊界并不如圖14所示的完全筆直一但是區(qū)域320和322是概念闡述性的。在圖像較低部分中不存在低分辨率區(qū)域，因?yàn)樵撨吘夒x照相機(jī)102和104最近，并且這部分圖像中的像素不需要在去扭曲處理時(shí)明顯放大。
[0122]圖15是用于消除由車(chē)輛前方照相機(jī)圖像構(gòu)造的虛擬俯瞰視圖的邊緣區(qū)域中的低分辨率和圖像噪聲的方法的流程圖340。在框342處，在虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以當(dāng)來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像平整化以使直線變直時(shí)解決圖像的失真。在框344處，提供虛假的低分辨率的一組像素。這些像素代表邊緣區(qū)域320和322，其中低分辨率和噪聲是由于去扭曲處理中像素放大而產(chǎn)生的。
[0123]兩種技術(shù)能夠用于對(duì)低分辨率區(qū)域320和322中的像素填充并重新紋理化。在框346處，執(zhí)行空間分辨率增強(qiáng)和去噪聲計(jì)算。在框346處的空間增強(qiáng)包括:識(shí)別低分辨率區(qū)域320和322中的顏色和強(qiáng)度通道兩者，并且在保留邊緣的平滑計(jì)算中利用本地的顏色和強(qiáng)度,這些邊緣例如為豎直面274的邊緣?？?46處的空間填充還包括:從例如區(qū)域324的鄰近的完整分辨率區(qū)域借紋理，該區(qū)域324能夠用于左側(cè)低分辨率區(qū)域320和上低分辨率區(qū)域322的左部。利用來(lái)自鄰近的完整分辨率區(qū)域324的表面紋理以及來(lái)自低分辨率區(qū)域320和322自身的顏色和強(qiáng)度式樣，框346處的空間分辨率增強(qiáng)和去噪聲計(jì)算能夠顯著修復(fù)在虛擬俯瞰視圖的邊緣周?chē)膱D像質(zhì)量。
[0124]在框348處，執(zhí)行時(shí)間分辨率增強(qiáng)和去噪聲計(jì)算?？?48處的時(shí)間增強(qiáng)涉及利用在那些像素剛好在低分辨率區(qū)域320和322之外時(shí)獲得的表面270、272和274的實(shí)際圖像像素，并且基于車(chē)輛運(yùn)動(dòng)將這些像素置換到低分辨率區(qū)域320和322中。如前面所討論的，用于時(shí)間增強(qiáng)的車(chē)輛運(yùn)動(dòng)能夠從光流或車(chē)輛動(dòng)態(tài)傳感器確定，其中光流涉及在獲得后續(xù)圖像時(shí)跟隨特征點(diǎn)的運(yùn)動(dòng)。特別地，車(chē)輛運(yùn)動(dòng)趨于對(duì)區(qū)域322的時(shí)間增強(qiáng)不利，因?yàn)槿绻?chē)輛100僅僅只向前運(yùn)動(dòng)，則在該區(qū)域中的像素在之前將不處于圖像的高分辨率區(qū)域中。然而，時(shí)間增強(qiáng)對(duì)于左和右低分辨率區(qū)域320可以是有幫助的，尤其是當(dāng)車(chē)輛100在停車(chē)操縱的同時(shí)轉(zhuǎn)向時(shí)。利用車(chē)輛運(yùn)動(dòng)，在框348處，在低分辨率區(qū)域320之內(nèi)的代表表面270-274的實(shí)際部分的像素能夠從之前的圖像復(fù)制到虛擬俯瞰視圖的隨后圖像中。
[0125]在框350處，利用來(lái)自框346的空間增強(qiáng)技術(shù)和來(lái)自框348的時(shí)間增強(qiáng)技術(shù)的結(jié)果的組合，來(lái)重新定義低分辨率區(qū)域320和322。在框352處，創(chuàng)建增強(qiáng)的虛擬俯瞰視圖，其中來(lái)自低分辨率區(qū)域320和322的原始像素由來(lái)自框350的重新定義的像素替代，并且與來(lái)自框342的去扭曲圖像的剩余部分組合。
[0126]與由左前方和右前方照相機(jī)圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的第三類(lèi)問(wèn)題是在地平面之上突出的對(duì)象中的“雙影”效果。圖16A和16B是分別來(lái)自左前部照相機(jī)102和右前部照相機(jī)104的虛擬俯瞰視圖的圖示，并且圖17是當(dāng)左和右照相機(jī)圖像合并時(shí)虛擬俯瞰視圖的一些部分如何能夠出現(xiàn)“雙影”的圖示。在圖16和17中，表面270、272和274展現(xiàn)為之前圖形中那樣，接縫276也一樣(存在兩個(gè)不同的接縫276——個(gè)在左邊，一個(gè)在右邊——如圖11、12和14中所示)。在圖16A和16B中，可以在人行道表面272中看到裂縫360。裂縫360出現(xiàn)在圖16A中朝向左照相機(jī)圖像的右側(cè)，并且裂縫360出現(xiàn)在圖16B中朝向右照相機(jī)圖像的左側(cè)。
[0127]在圖17中，裂縫360出現(xiàn)兩次，即使在人行道表面272中只有一條裂縫360。該“雙影”效果是由于左和右圖像的組合引起的，該組合基于假設(shè)圖像中每種事物都處于同一地平面處的計(jì)算。在地平面以上延伸的對(duì)象或障礙物(其處于圖像的較低邊緣處，即，離照相機(jī)102和104最近的圖像部分，并且已知在照相機(jī)下方距離130處)在去扭曲和組合的虛擬俯瞰視圖中能夠展示不在正確的位置上。然而，該雙影效果能夠在增強(qiáng)的虛擬俯瞰視圖中經(jīng)由以下討論的計(jì)算來(lái)修正。
[0128]圖18是用于消除由車(chē)輛前方照相機(jī)圖像構(gòu)造的虛擬俯瞰視圖中的地面以上障礙物的雙影效果的第一方法的流程圖380。在框382處，在由左前方和右前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時(shí)解決失真。在框384處，在構(gòu)建的虛擬俯瞰視圖中檢測(cè)路緣和升高的人行道。如之前所討論的，這些停車(chē)空間邊界能夠通過(guò)分析車(chē)輛運(yùn)動(dòng)期間的一系列圖像從而尋找直線以及路緣和升高的人行道的其它視覺(jué)指示物來(lái)檢測(cè)。
[0129]在框386處，利用立體視覺(jué)和/或從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)，在來(lái)自照相機(jī)102和104的圖像中檢測(cè)地面以上的障礙物。從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)是指從可以與本地運(yùn)動(dòng)信號(hào)聯(lián)接的二維圖像序列估計(jì)三維結(jié)構(gòu)的處理。立體視覺(jué)和SFM分析提供關(guān)于在車(chē)輛100前方路徑中的地面以上障礙物的大小、形狀和位置的信息。在框388處，車(chē)輛100車(chē)載的其它傳感器提供車(chē)輛100前方區(qū)域的對(duì)象檢測(cè)信號(hào)。其它車(chē)載傳感器可以包括——但不限于——例如超聲波、近程雷達(dá)和LIDAR。
[0130]在交叉點(diǎn)390處，按比例縮放并組合框384-388中識(shí)別的前方障礙物，以使得所有的數(shù)據(jù)被用于定義車(chē)輛100前方區(qū)域中的對(duì)象地圖。在框392處，在車(chē)輛100前方的三維對(duì)象的完整模型——包括路緣、升高的人行道、柱子等——由來(lái)自框384-388的數(shù)據(jù)組建。三維對(duì)象的模型包括對(duì)象的位置、大小和形狀。在出現(xiàn)路緣和升高的人行道的情況下，出于至少兩個(gè)原因，能夠確定這些對(duì)象的高度極為有價(jià)值。首先，如果路緣或升高的人行道的高度為在停車(chē)場(chǎng)表面以上六英寸，并且車(chē)輛100具有的前方氣壩與地面間隙僅為5英寸，則能夠給駕駛員警告，以指示車(chē)輛100應(yīng)當(dāng)在前方保險(xiǎn)杠觸及路緣或升高的人行道之前停下(與向前駕駛相反，直到前方輪胎碰到阻擋件)。第二，知道升高的人行道272在停車(chē)場(chǎng)表面270以上的高度允許作出計(jì)算，其消除了如圖17中看到的裂縫360的雙圖像。
[0131]在框394處，利用來(lái)自框392的對(duì)象3D模型和來(lái)自框382的原始去扭曲圖像數(shù)據(jù)渲染路緣或其他地面以上障礙物的圖像。知道了在車(chē)輛100前面的任何地面以上障礙物的位置、大小和形狀，左前方和右前方照相機(jī)圖像能夠可靠地組合，而不顯示障礙物的雙重復(fù)制物。例如，考慮柱子出現(xiàn)在車(chē)輛100前方的中央左側(cè)的情形。如果左前方和右前方照相機(jī)圖像簡(jiǎn)單地去扭曲并組合，則組合圖像中就會(huì)出現(xiàn)兩個(gè)這樣的柱子，每個(gè)具有不同的表面距離和位置。然而，利用來(lái)自3D對(duì)象模型的僅存在一個(gè)這樣的柱子的知識(shí)以及柱子實(shí)際位置的知識(shí)，左前方和右前方照相機(jī)圖像能夠被處理為使得柱子正確地僅出現(xiàn)一次。該同種圖像處理能夠用于正確地渲染任何地面以上特征，包括圖17的裂縫360，其將僅出現(xiàn)一次。
[0132]最后，在框396處，合成改善的虛擬俯瞰視圖，包括來(lái)自框394的地面以上障礙物渲染。改善的虛擬俯瞰視圖不包括像裂縫360那樣的地面以上物件的錯(cuò)誤雙圖像，并且改善的視圖還利用所有可用數(shù)據(jù)源基于作為模型的對(duì)象的實(shí)際大小、形狀和位置提升了 3D對(duì)象的視覺(jué)渲染(rendering)。
[0133]圖19是用于消除在由車(chē)輛前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖中的地面以上對(duì)象的雙影效果的第二方法的流程圖400。在框402處，在由自左前方和右前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時(shí)解決失真。在框404處，分析去扭曲圖像，以檢測(cè)在紋理或結(jié)構(gòu)中的任何雙圖像效果。例如，已知的圖像分析技術(shù)能夠容易地辨別在圖17中出現(xiàn)兩次的裂縫360實(shí)際上是同一對(duì)象。
[0134]如果在框404處發(fā)現(xiàn)了雙圖像效果，則在決定菱形塊406處，處理循環(huán)回到框408，在這里基于雙重圖像之間的側(cè)向距離估計(jì)雙成像結(jié)構(gòu)的地面以上高度。之后處理回到框402，在這里利用關(guān)于包含雙成像結(jié)構(gòu)的視野部分的地面以上高度的矯正假設(shè)，再次執(zhí)行去扭曲計(jì)算。關(guān)于地面以上高度的矯正假設(shè)將修改去扭曲計(jì)算，使得對(duì)象在該視野部分中側(cè)向移位。
[0135]然而，在框404處重新分析圖像，并且如果有必要，進(jìn)一步矯正高度假設(shè)。繼續(xù)這一過(guò)程直到雙圖像效果消除，并且在決定菱形塊406處，處理移動(dòng)到框410，在這里輸出最后改善的虛擬俯瞰視圖。
[0136]如圖16和17中所示的消除在地平面以上突出的對(duì)象中的“雙影”效果的其他更簡(jiǎn)單的方法也是可能的。在一個(gè)這種更簡(jiǎn)單的方法中，不再像上述討論的圖19中方法中那樣重復(fù)估計(jì)路緣的高度，而是能夠假設(shè)一組標(biāo)準(zhǔn)路緣高度(例如5、6、7和8英寸)，并且能夠?qū)@些高度的每個(gè)預(yù)先計(jì)算圖像轉(zhuǎn)換映射。然后，當(dāng)在合并圖像中檢測(cè)到雙成像效果時(shí)，圖像轉(zhuǎn)換計(jì)算能夠?qū)τ谒械臉?biāo)準(zhǔn)路緣高度快速地重新運(yùn)行，并且結(jié)果能夠被分析以確定哪個(gè)路緣高度轉(zhuǎn)換對(duì)消除雙成像效果是最好的。該方法避免了前文討論的重復(fù)計(jì)算，并且直接提供具有最小雙圖像效果的最終圖像，同時(shí)還提供了能在其他車(chē)輛系統(tǒng)中使用的路緣高度估計(jì)。
[0137]消除在地平面以上突出的對(duì)象中的“雙影”效果的另一方法是簡(jiǎn)單比較左圖和右圖，在圖像的重疊區(qū)域中找到共同特征點(diǎn)，并且使用圖像配準(zhǔn)以轉(zhuǎn)換圖像，使得當(dāng)圖像合并時(shí)，共同特征點(diǎn)在重疊區(qū)域中排列。該方法并不提供路緣高度的估計(jì)，但是可以最簡(jiǎn)單地以計(jì)算機(jī)執(zhí)行，并且還提供了具有最小雙圖像效果的最終圖像。
[0138]圖20是用于創(chuàng)建由車(chē)輛前方照相機(jī)圖像構(gòu)建的增強(qiáng)的虛擬俯瞰視圖的方法的流程圖420。在框422處，在有左前方和右前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時(shí)解決失真。在框424處，利用圖13中所示的流程圖300的方法，從去扭曲圖像移除虛假夸大的車(chē)身部分假象。在框426處，利用圖15中所示的流程圖340的方法，修正在去扭曲圖像邊緣周?chē)牡头直媛屎蛨D像/視頻噪聲。在框428處，利用圖18或圖19中所示的方法之一或隨后所述的更簡(jiǎn)單方法之一，修正在地平面以上的表面或?qū)ο笾械摹半p影”效果。由框424-428而得到的圖像增強(qiáng)的結(jié)果是在外觀上比普通去扭曲圖像明顯更真實(shí)的虛擬俯瞰視圖。
[0139]利用上述技術(shù)，能夠解決典型地與由多個(gè)照相機(jī)圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的三個(gè)問(wèn)題，從而得到非常真實(shí)的虛擬俯瞰前方路緣視圖。在原型系統(tǒng)測(cè)試中，增強(qiáng)的虛擬俯瞰視圖已經(jīng)表明極大地有助于駕駛員在路緣和其它前方障礙物附近進(jìn)行操縱。如果可用照相機(jī)圖像，則在前方視圖的環(huán)境下在上文討論的虛擬俯瞰視圖合成技術(shù)還可以用到車(chē)輛100的后方和側(cè)面的虛擬俯瞰視圖。這些技術(shù)還能夠與每個(gè)虛擬視圖多于兩個(gè)的照相機(jī)一起使用。例如如果可用多于兩個(gè)照相機(jī)來(lái)構(gòu)建虛擬俯瞰前視圖，則得到的視圖質(zhì)量將提高，因?yàn)楦鄨D像像素將被作為輸入，并且圖像去扭曲效果能夠被降低。
[0140]如上面所討論的，由于駕駛員典型地查看立體圖覺(jué)得舒服，因此前視立體圖可以選擇為顯示設(shè)備120上的最大視圖。用于處理數(shù)字圖像的技術(shù)是本領(lǐng)域中公知的——包括對(duì)來(lái)自廣角鏡頭的圖像去扭曲，以移除失真，該失真產(chǎn)生魚(yú)眼效果，其中圖像前方中央的對(duì)象虛假放大，并且向著圖像周邊的對(duì)象縮小且遠(yuǎn)離中央傾斜。然而，傳統(tǒng)的去扭曲技術(shù)和照相機(jī)模型能夠在被處理圖像中產(chǎn)生其他問(wèn)題。
[0141]圖21是車(chē)輛100前方立體視圖的圖示，其包括由傳統(tǒng)去扭曲技術(shù)產(chǎn)生的失真。圖21是本質(zhì)上與之前圖形所示的相同場(chǎng)景的立體圖——包括水平停車(chē)場(chǎng)表面270、在表面270以上升高某一高度的水平人行道表面272、作為路緣的豎直表面274以及在人行道表面272的混凝土部段中的接縫276。立體圖還包括地平線之上區(qū)域440，其包括背景對(duì)象442，例如樹(shù)和電線桿。
[0142]兩個(gè)主要類(lèi)型的問(wèn)題已經(jīng)被識(shí)別與利用傳統(tǒng)照相機(jī)模型處理時(shí)由來(lái)自照相機(jī)102和104的圖像合成的虛擬立體圖相關(guān)聯(lián)。這兩類(lèi)問(wèn)題如下，其解決方案在下文詳細(xì)討論:
[0143]I)由于針孔模型的直線投影，在去扭曲廣角圖像的周邊部分處的拉伸和低分辨率效果。
[0144]2)在視野重疊區(qū)域中的“雙影”效果以及在合并圖像的盲點(diǎn)中的丟失對(duì)象。
[0145]對(duì)于立體圖的第一個(gè)問(wèn)題——拉伸和低分辨率——在圖21中的兩個(gè)地方是明顯的，通過(guò)利用針孔照相機(jī)模型通過(guò)直線投影，這些立體圖已經(jīng)利用傳統(tǒng)去扭曲被處理。首先，在區(qū)域444中，由于拉伸降低了圖像分辨率。其次，作為接縫276的豎直部分的豎直接縫446呈現(xiàn)為傾斜的而非豎直的。另外，例如前文所討論的突出物260的車(chē)身部分的突出物由于該拉伸而能夠存在放大的外觀。這些問(wèn)題都能夠通過(guò)利用新的照相機(jī)圖像表面模型得以解決。
[0146]圖22是可用于修正圖21中看到的失真的照相機(jī)圖像表面模型的圖。傳統(tǒng)針孔照相機(jī)模型460被顯示，其中來(lái)自場(chǎng)景的光穿過(guò)針孔縫隙并且打到成像表面上。在傳統(tǒng)模型460中，成像表面是平坦平面。這種類(lèi)型的模型在圖21所示的去扭曲圖像的周邊區(qū)域中產(chǎn)生拉伸效果。為了修正該拉伸效果，成像表面462能夠被限定為處于水平的半圓柱形狀中。將成像表面462的模型應(yīng)用到圖21的虛擬立體圖像中能夠減少地平線以下區(qū)域中的拉伸效果。然而，在圖像的地平線以上區(qū)域中的圓柱形投影能夠使得背景對(duì)象422呈現(xiàn)為向圖像中央傾斜。為了避免引入這種不想要的失真效果，成像表面464能夠被限定，其中成像表面464對(duì)于圖像的地平線以下區(qū)域處于水平的四分之一圓柱的形狀中，并且對(duì)于圖像的地平線以上區(qū)域?yàn)槠教蛊矫嫘螤?。包括成像表?64的照相機(jī)模型已經(jīng)顯示為產(chǎn)生更優(yōu)的虛擬立體視圖圖像合成。
[0147]具有除了圖22所示的成像表面之外的成像表面的照相機(jī)模型也能夠被限定。例如，不同于在表面464中的四分之一圓柱和平坦平面，具有逐漸改變的曲率半徑的圖像表面能夠被限定。另外，從左到右的圖像表面曲率效果以及底部到頂部的曲率效果能夠被引入。利用例如這些組合的各種組合，復(fù)合圖像表面能夠被定義為產(chǎn)生真實(shí)并且視覺(jué)舒適的虛擬立體圖。
[0148]由左前方和右前方照相機(jī)圖像構(gòu)建的合并立體圖的第二個(gè)問(wèn)題是在視野重疊區(qū)域中的“雙影”效果,如在圖21中的樹(shù)448的雙外觀中看到的。所述的重疊區(qū)域顯示為接近于圖1的重疊區(qū)域110。盲點(diǎn)——或者未被左或右照相機(jī)圖像覆蓋的區(qū)域一一也能夠存在，從而在合并視圖中導(dǎo)致丟失的對(duì)象或紋理(texture)。以下討論的其他處理技術(shù)能夠應(yīng)用到虛擬立體圖中，以便修正來(lái)自照相機(jī)102和照相機(jī)104的圖像之間的重疊區(qū)域或盲點(diǎn)中的差別。
[0149]能夠應(yīng)用于左前方和右前方圖像之間的重疊區(qū)域的一種技術(shù)作為視頻變形(morphing)而公知。在視頻變形技術(shù)中，特征點(diǎn)在圖像的中央重疊區(qū)域中被檢測(cè)，并且關(guān)鍵點(diǎn)被配準(zhǔn)。左和右圖像隨后被變形，也就是被拉伸或轉(zhuǎn)換，以使得特征點(diǎn)在合并圖像中匹配。之前的圖像幀和車(chē)輛運(yùn)動(dòng)信息能夠用于增強(qiáng)重疊區(qū)域中的圖像合成，其中一些對(duì)象從圖像的非重疊區(qū)域移動(dòng)到重疊區(qū)域。利用圖像變形和之前的圖像幀，時(shí)間視頻變形能夠應(yīng)用于虛擬立體圖，其修正重疊區(qū)域中的雙成像和空白點(diǎn)兩者。
[0150]能夠應(yīng)用于左前方和右前方圖像之間的重疊區(qū)域的另一技術(shù)是基于3D場(chǎng)景估計(jì)的圖像渲染。該技術(shù)類(lèi)似于圖18的流程圖380中的上述方法。如上面所討論的，該技術(shù)涉及利用立體視覺(jué)、從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)以及來(lái)自車(chē)載傳感器的數(shù)據(jù)以構(gòu)建車(chē)輛100前方場(chǎng)景的3D模型。3D對(duì)象場(chǎng)景能夠關(guān)聯(lián)到圖像中的對(duì)象，并且立體視圖圖像能夠被重新渲染以消除任何對(duì)象的雙重外觀，例如樹(shù)448。
[0151]圖23是圖21中看到的失真已經(jīng)通過(guò)應(yīng)用圖22中的新虛擬圖像表面模型及上文討論過(guò)的其他技術(shù)修正后的車(chē)輛100前方立體圖的圖示。在圖23中能夠看到，由于在地平線以下區(qū)域中應(yīng)用了圓柱形照相機(jī)圖像模型，因此區(qū)域444中的拉伸效果被消除。因而，區(qū)域444中不存在分辨率丟失。在圖23中也能夠看到，同樣由于在地平線以下區(qū)域中應(yīng)用了圓柱形照相機(jī)圖像模型，豎直接縫446如其應(yīng)當(dāng)?shù)哪菢颖憩F(xiàn)為豎直的。最后，由于上文討論的重疊區(qū)域修正技術(shù)的應(yīng)用，樹(shù)448的雙圖像被消除。
[0152]圖24是用于利用圖22中的照相機(jī)圖像表面模型和其他修正技術(shù)創(chuàng)建由車(chē)輛前方照相機(jī)圖像構(gòu)建的增強(qiáng)的立體圖的方法的流程圖480。在框482處，在由左前方和右前方照相機(jī)圖像構(gòu)建的虛擬立體圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平面化以使直線變直時(shí)解決失真。在框484處，照相機(jī)模型圖像表面464應(yīng)用到去扭曲圖像，以修正圖像的地平線以下部分中的拉伸，同時(shí)保留圖像的地平線以上部分中的豎直對(duì)象的豎直外觀。在框486處，左和右照相機(jī)圖像重疊的區(qū)域被修正以消除對(duì)象的雙成像和空白點(diǎn)。在重疊區(qū)域中的修正能夠包括如上面所討論的視頻變形和3D場(chǎng)景估計(jì)技術(shù)兩者。在框488處，最終虛擬立體圖被提供，包括上文討論的修正，并如圖23所示。
[0153]利用上述技術(shù)，典型地與利用傳統(tǒng)照相機(jī)模型由廣角照相機(jī)圖像合成的虛擬立體圖相關(guān)聯(lián)的問(wèn)題能夠被解決，從而產(chǎn)生非常真實(shí)的虛擬前視立體圖。如果可用照相機(jī)圖像，在前視圖的環(huán)境下在上文討論的虛擬立體視圖合成技術(shù)還可以用于到車(chē)輛100的后方和側(cè)面的虛擬立體視圖。這些技術(shù)還能夠與每個(gè)虛擬視圖多于兩個(gè)的照相機(jī)一起使用。例如如果多于兩個(gè)的照相機(jī)可用以構(gòu)建虛擬立體前視圖，則得到的視圖質(zhì)量將提高，因?yàn)楦嗟膱D像像素將用作輸入，并且圖像去扭曲效果能夠降低。
[0154]增強(qiáng)的前方路緣觀察系統(tǒng)為駕駛員提供了以其他方式將無(wú)法獲取的視覺(jué)信息。前方路緣視圖為駕駛員提供了在接近路緣和其它前方障礙物時(shí)準(zhǔn)確?？克麄兊能?chē)輛必須的輔助，并且提供了知道他們將不會(huì)意外撞到障礙物并損壞車(chē)輛的平靜心情。這些前方路緣視圖的自動(dòng)生成和顯示為駕駛員傳遞價(jià)值，從而增加了車(chē)輛的客戶滿意度，并且潛在地避免了昂貴的修理費(fèi)用。
[0155]前文的討論公開(kāi)并描述了本發(fā)明的僅僅示例性的實(shí)施例。本領(lǐng)域技術(shù)人員容易從這種討論以及從附圖和權(quán)利要求中意識(shí)到，各種變化、修改和變型能夠在此作出，而并不脫離如所附權(quán)利要求所限定的本發(fā)明的精神和范圍。
【權(quán)利要求】
1.一種用于提供車(chē)輛前方區(qū)域的增強(qiáng)圖像的系統(tǒng)，所述系統(tǒng)包括: 安裝在車(chē)輛的左前部處的第一照相機(jī)； 安裝在車(chē)輛的右前部處的第二照相機(jī)； 與所述第一和第二照相機(jī)通信的圖像采集模塊，所述圖像采集模塊接收來(lái)自所述照相機(jī)的原始圖像； 包括存儲(chǔ)器模塊的處理器，所述處理器配置為基于所檢測(cè)到的前方停車(chē)操縱確定是否激活前方路緣視圖顯示，所述處理器進(jìn)一步配置為確定在所述前方路緣視圖顯示中包括什么圖像，并且配置為提供包括由來(lái)自所述照相機(jī)的原始圖像合成的增強(qiáng)圖像的圖像；以及 車(chē)輛駕駛座區(qū)域中的顯示單元，用于顯示來(lái)自所述處理器的所述前方路緣視圖顯示，用于由車(chē)輛駕駛員觀看。
2.如權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括用戶輸入設(shè)備，用于允許車(chē)輛駕駛員發(fā)信號(hào)通知他或她想要激活前方路緣視圖顯示。
3.如權(quán)利要求2所述的系統(tǒng)，其中，所述用戶輸入設(shè)備是麥克風(fēng)，并且駕駛員發(fā)出語(yǔ)音指令來(lái)激活所述前方路緣視圖顯示。
4.如權(quán)利要求1所述的系統(tǒng)，其中，所述處理器包括用于檢測(cè)前方停車(chē)操縱的探索性模塊，所述探索性模塊包括:車(chē)輛狀態(tài)感測(cè)模塊，用于評(píng)價(jià)車(chē)輛動(dòng)態(tài)條件；對(duì)象檢測(cè)模塊，用于檢測(cè)車(chē)輛前方的路緣或停車(chē)空間；以及地圖模塊，用于由全球定位系統(tǒng)數(shù)據(jù)和數(shù)字地圖數(shù)據(jù)確定車(chē)輛處于停車(chē)場(chǎng)中。
5.如權(quán)利要求4所述的系統(tǒng)，其中，所述探索性模塊配置為當(dāng)車(chē)輛速度低于預(yù)定閾值并且在車(chē)輛前方檢測(cè)到路緣或者停車(chē)空間時(shí)激活所述前方路緣視圖顯示。
6.如權(quán)利要求4所述的系統(tǒng)，其中，所述車(chē)輛狀態(tài)感測(cè)模塊檢測(cè)車(chē)輛速度、轉(zhuǎn)向角、偏航角速度、縱向加速度和側(cè)向加速度，并且所述車(chē)輛狀態(tài)感測(cè)模塊確定停車(chē)操作何時(shí)進(jìn)行或是可能的。
7.如權(quán)利要求4所述的系統(tǒng)，其中，所述對(duì)象檢測(cè)模塊利用圖像處理技術(shù)以識(shí)別車(chē)輛前方的一個(gè)或更多個(gè)停車(chē)空間或結(jié)構(gòu)，并且所述停車(chē)空間或結(jié)構(gòu)被包括在所述前方路緣視圖顯示中。
8.如權(quán)利要求7所述的系統(tǒng)，其中，所述對(duì)象檢測(cè)模塊還利用來(lái)自對(duì)象檢測(cè)傳感器的信號(hào)檢測(cè)車(chē)輛前方的路緣或結(jié)構(gòu)，其中，所述探索性模塊配置為當(dāng)車(chē)輛速度低于預(yù)定閾值并且在車(chē)輛前方檢測(cè)到路緣或結(jié)構(gòu)時(shí)激活所述前方路緣視圖顯示。
9.如權(quán)利要求8所述的系統(tǒng)，其中，所述對(duì)象檢測(cè)傳感器選自由超聲波傳感器、近程雷達(dá)傳感器和LIDAR傳感器構(gòu)成的組。
10.如權(quán)利要求1所述的系統(tǒng)，其中，所述處理器包括模式選擇模塊，所述模式選擇模塊配置為基于來(lái)自所述探索性模塊的數(shù)據(jù)選擇所述前方路緣視圖顯示中的最佳顯示模式，其中，所述最佳顯示模式包括車(chē)輛前方的一個(gè)或更多個(gè)視圖，所述視圖示出車(chē)輛正向著運(yùn)動(dòng)的停車(chē)空間或結(jié)構(gòu)。
【文檔編號(hào)】B60R1/00GK104210424SQ201410391689
【公開(kāi)日】2014年12月17日 申請(qǐng)日期:2014年5月23日 優(yōu)先權(quán)日:2013年5月23日
【發(fā)明者】W·張, J·王, K·S·利貝克, J·S·皮亞塞基, B·B·利特庫(kù)希, R·M·弗雷克斯 申請(qǐng)人:通用汽車(chē)環(huán)球科技運(yùn)作有限責(zé)任公司