具有自動(dòng)對(duì)準(zhǔn)的鳥(niǎo)瞰視野監(jiān)測(cè)系統(tǒng)的制作方法
【專利摘要】本申請(qǐng)公開(kāi)了一種具有自動(dòng)對(duì)準(zhǔn)的鳥(niǎo)瞰視野監(jiān)測(cè)系統(tǒng)。一種環(huán)繞視野監(jiān)測(cè)系統(tǒng)(10)，配置為合成車輛(12)周圍區(qū)域(16)的鳥(niǎo)瞰視野圖像(14)，該系統(tǒng)包括攝像頭(18)和控制器(30)。攝像頭(18)被配置為捕捉車輛(12)周圍視野(22)的當(dāng)前圖像(20)并輸出指示該當(dāng)前圖像(20)的信號(hào)(24)。當(dāng)前圖像(20)包括車輛(12)的特征(26)。控制器(30)被配置為接收該信號(hào)(24)、將當(dāng)前圖像(20)與來(lái)自系統(tǒng)(10)的初始化校準(zhǔn)的參考圖像(32)進(jìn)行比較。參考圖像(32)也包括該特征(26)?？刂破?30)進(jìn)一步配置為確定該當(dāng)前圖像(20)的修正表(34)來(lái)將當(dāng)前圖像中的該特征(26)與參考圖像(32)中的該特征(26)進(jìn)行對(duì)準(zhǔn)。
【專利說(shuō)明】具有自動(dòng)對(duì)準(zhǔn)的鳥(niǎo)瞰視野監(jiān)測(cè)系統(tǒng)發(fā)明領(lǐng)域
[0001]本申請(qǐng)公開(kāi)了一種具有自動(dòng)對(duì)準(zhǔn)的鳥(niǎo)瞰視野監(jiān)測(cè)系統(tǒng)。本公開(kāi)大體上涉及配置為合成車輛周圍區(qū)域的鳥(niǎo)瞰視野圖像的系統(tǒng)，且更特定地，涉及使多個(gè)攝像頭對(duì)準(zhǔn)的方式，該方式使用出現(xiàn)在來(lái)自攝像頭的圖像內(nèi)的車輛特征作為對(duì)準(zhǔn)引導(dǎo)來(lái)使得系統(tǒng)的攝像頭對(duì)準(zhǔn)。
【背景技術(shù)】
[0002]配置為合成車輛周圍區(qū)域的鳥(niǎo)瞰視野圖像的環(huán)繞視野監(jiān)測(cè)或鳥(niǎo)瞰視野圖像系統(tǒng)是已知的。這樣的系統(tǒng)一般具有多個(gè)攝像頭，且來(lái)自這些攝像頭的每一個(gè)攝像頭的圖像被組合或“縫合”在一起來(lái)形成或合成鳥(niǎo)瞰視野圖像。為了能形成鳥(niǎo)瞰視野圖像且在鳥(niǎo)瞰視野圖像中沒(méi)有令人不快的不連續(xù)，每一個(gè)攝像頭需要被物理地對(duì)準(zhǔn)，和/或來(lái)自每一個(gè)攝像頭的圖像需要被電子地對(duì)準(zhǔn)。對(duì)準(zhǔn)過(guò)程可包括安裝前攝像頭的工廠對(duì)準(zhǔn)，和/或包括當(dāng)系統(tǒng)被首次安裝在車輛上時(shí)該系統(tǒng)的初始化校準(zhǔn)。這個(gè)初始化校準(zhǔn)可采用已知視覺(jué)目標(biāo)的排布來(lái)幫助該初始化校準(zhǔn)。
[0003]在系統(tǒng)的壽命期間，例如由于對(duì)于攝像頭的無(wú)意中的損害，可需要替換一個(gè)或多個(gè)攝像頭。該替換可能引入攝像頭的不對(duì)準(zhǔn)，該不對(duì)準(zhǔn)導(dǎo)致鳥(niǎo)瞰視野圖像中不期望的不連續(xù)。進(jìn)一步，車輛振動(dòng)和/或暴露于溫度極端狀況可能引入攝像頭的不期望的不對(duì)準(zhǔn)。對(duì)于車輛擁有者而言，必須雇用有資格的技術(shù)人員來(lái)重新對(duì)準(zhǔn)攝像頭是不方便的且昂貴的，并且如果僅在溫度極端狀況下發(fā)生這樣的不對(duì)準(zhǔn)，則這種重新對(duì)準(zhǔn)對(duì)于修正問(wèn)題可能并非是有效的。需要的是讓系統(tǒng)周期性地自動(dòng)檢查來(lái)自攝像頭的圖像對(duì)準(zhǔn)的方式。

【發(fā)明內(nèi)容】

[0004]根據(jù)一個(gè)實(shí)施例，提供了配置為合成車輛周圍區(qū)域的鳥(niǎo)瞰視野圖像的環(huán)繞視野監(jiān)測(cè)系統(tǒng)。該系統(tǒng)包括攝像頭和控制器。攝像頭被配置為捕捉車輛周圍視野的當(dāng)前圖像并輸出指示該當(dāng)前圖像的信號(hào)。當(dāng)前圖像包括車輛的特征?？刂破鞅慌渲脼榻邮赵撔盘?hào)、將當(dāng)前圖像與來(lái)自系統(tǒng)的初始化校準(zhǔn)的參考圖像進(jìn)行比較。參考圖像也包括該特征?？刂破鬟M(jìn)一步配置為確定當(dāng)前圖像的修正表來(lái)將當(dāng)前圖像中的該特征與參考圖像中的該特征進(jìn)行對(duì)準(zhǔn)。
[0005]在閱讀優(yōu)選實(shí)施例的下列詳細(xì)描述后，進(jìn)一步的特征和優(yōu)勢(shì)將更清楚地呈現(xiàn)出，這些優(yōu)選實(shí)施例僅作為非限定性的例子且結(jié)合附圖而給出。
[0006]附圖簡(jiǎn)述
[0007]現(xiàn)在將參考附圖借助示例來(lái)描述本發(fā)明，在附圖中:
[0008]圖1是根據(jù)一個(gè)實(shí)施例的安裝在車輛上的環(huán)繞視野監(jiān)測(cè)系統(tǒng)的俯視圖；
[0009]圖2是根據(jù)一個(gè)實(shí)施例的圖1的系統(tǒng)的示意圖；
[0010]圖3是根據(jù)一個(gè)實(shí)施例，當(dāng)將系統(tǒng)的攝像頭對(duì)準(zhǔn)時(shí)，由圖1的系統(tǒng)提供的鳥(niǎo)瞰視野圖像；
[0011]圖4是根據(jù)一個(gè)實(shí)施例，當(dāng)沒(méi)有將系統(tǒng)的攝像頭對(duì)準(zhǔn)時(shí)，由圖1的系統(tǒng)提供的鳥(niǎo)瞰視野圖像；
[0012]圖5A是根據(jù)一個(gè)實(shí)施例的來(lái)自圖1的系統(tǒng)的攝像頭的當(dāng)前圖像；
[0013]圖5B是根據(jù)一個(gè)實(shí)施例的來(lái)自圖1的系統(tǒng)的攝像頭的參考圖像；
[0014]圖6A是根據(jù)一個(gè)實(shí)施例的圖5A的圖像中車輛特征的表示；
[0015]圖6B是根據(jù)一個(gè)實(shí)施例的圖5B的圖像中車輛特征的表示；以及
[0016]圖6C是根據(jù)一個(gè)實(shí)施例的圖6A和圖6B的覆蓋圖的表示。
[0017]詳細(xì)描述
[0018]圖1示出安裝在車輛12上的環(huán)繞視野監(jiān)測(cè)系統(tǒng)(以下稱為系統(tǒng)10)的非限制性示例。一般而言，系統(tǒng)10配置為合成車輛12周圍區(qū)域16的鳥(niǎo)瞰視野圖像14(圖3)。如在以下描述中將變得明顯地，此處描述的系統(tǒng)10從安裝為具有對(duì)于車輛12周圍的不同視野的多個(gè)攝像頭捕捉圖像，且將這些圖像電子地組合或“縫合在一起”以形成或合成鳥(niǎo)瞰視野圖像14。此處描述的系統(tǒng)10的優(yōu)勢(shì)在于使得多個(gè)圖像的對(duì)準(zhǔn)自動(dòng)化。對(duì)準(zhǔn)是必須的，使得鳥(niǎo)瞰視野圖像14不具有令人不快的不連續(xù)。有利地，如果一個(gè)或多個(gè)攝像頭變得不對(duì)準(zhǔn)，車輛12不需要送去技術(shù)人員那里進(jìn)行攝像頭對(duì)準(zhǔn)。
[0019]系統(tǒng)10包括攝像頭18。以示例的方式而非限制，攝像頭18可以是左視野攝像頭18L、右視野攝像頭18R、前視野攝像頭18F、和/或后視野攝像頭18B。此處描述的系統(tǒng)10的非限制性示例示出四個(gè)攝像頭，但是可構(gòu)想具有多于或少于四個(gè)攝像頭的系統(tǒng)。在這個(gè)實(shí)例中，示出四個(gè)攝像頭，因?yàn)檫@樣看起來(lái)在成本和性能之間具有良好平衡，其中如果使用多于四個(gè)攝像頭則成本可不期望地增加，且如果使用少于四個(gè)攝像頭，則性能(即，鳥(niǎo)瞰視野圖像14的質(zhì)量)可不期望地減少。如此處所使用地，攝像頭18可指所示攝像頭中的任何一個(gè)和/或全部。如在之后的描述中將變得明顯地，此處提供的非限制性示例的焦點(diǎn)一般涉及左視野攝像頭18L。然而，對(duì)于攝像頭18的引用并不被解釋為限制到左視野攝像頭18L。
[0020]攝像頭18配置為捕捉車輛12周圍的視野22的當(dāng)前圖像20 (圖5A)。由于此處描述的系統(tǒng)10的非限制性示例具有四個(gè)攝像頭，視野22可包括左視野22L、右視野22R、前視野22F、和后視野22B。作為攝像頭18，視野22可指所示視野中的任何一個(gè)和/或全部。如在之后的描述中將變得明顯地，此處提供的非限制性示例的焦點(diǎn)一般涉及左視野22L。然而，對(duì)于視野22的引用并不被解釋為限制到左視野22L。一般而言，左視野22L、右視野22R、前視野22F、和后視野22B覆蓋或構(gòu)成區(qū)域16。
[0021]圖2進(jìn)一步示出系統(tǒng)10的非限制性細(xì)節(jié)。攝像頭18 —般配置為輸出指示當(dāng)前圖像20(圖5A)的信號(hào)24。視野22可包括車輛12的一部分，因此當(dāng)前圖像20可包括車輛12的特征26 (圖5A)的圖像，諸如車輛12的車體邊界或邊緣。
[0022]繼續(xù)參看圖2，系統(tǒng)10可包括配置為接收信號(hào)24的控制器30?？刂破?0可包括諸如微處理器的處理器(未示出)或其它控制電路，例如模擬和/或數(shù)字控制電路，包括本領(lǐng)域內(nèi)技術(shù)人員熟知的用于處理數(shù)據(jù)的專用集成電路(ASIC)?？刂破?0可包括存儲(chǔ)器(未示出)，包括非易失性存儲(chǔ)器，例如電可擦除可編程只讀存儲(chǔ)器(EEPROM)，用以存儲(chǔ)一個(gè)或多個(gè)例程、閾值和捕捉的數(shù)據(jù)。可由處理器執(zhí)行一個(gè)或多個(gè)例程從而執(zhí)行步驟用于確定來(lái)自此處描述的各攝像頭的圖像是否被對(duì)準(zhǔn)。
[0023]特別地，控制器30配置為將當(dāng)前圖像20 (圖5A)與來(lái)自系統(tǒng)10的初始化校準(zhǔn)的參考圖像32進(jìn)行比較。如此處所使用地，術(shù)語(yǔ)“初始化校準(zhǔn)”被用于指在系統(tǒng)10被安裝到車輛后執(zhí)行的校準(zhǔn)過(guò)程，以使得特征236在參考圖像32中的位置可被存儲(chǔ)，如果有必要，將來(lái)被用于對(duì)準(zhǔn)攝像頭18。由此，系統(tǒng)10的初始化校準(zhǔn)有別于在系統(tǒng)10安裝到車輛上之前的系統(tǒng)10的工廠校準(zhǔn)，且有別于依賴于將幾何圖案或已知目標(biāo)放置在車輛12周圍以幫助攝像頭對(duì)準(zhǔn)的任何校準(zhǔn)過(guò)程。由于當(dāng)前圖像20和參考圖像32兩者均包括特征26，特征26在各圖像中的位置可被用于確定由信號(hào)24指示的當(dāng)前圖像20的修正表34(圖2)從而將當(dāng)前圖像20中的特征26與參考圖像32中的特征26對(duì)準(zhǔn)，修正表34 —般存儲(chǔ)在控制器30內(nèi)。
[0024]圖6A和6B示出分別與圖5A和5B中所示的圖像對(duì)應(yīng)的當(dāng)前圖像20和參考圖像32的經(jīng)圖像處理的版本的非限制性示例，其中車輛12的邊緣36被定義在每一個(gè)圖像中。圖像處理使用已知算法來(lái)確定車輛12的當(dāng)前邊緣36A在當(dāng)前圖像20中的位置，以及參考邊緣36B在參考圖像32中的位置。要注意，僅為了在當(dāng)前邊緣36A和參考邊緣36B兩者均被示出在組合圖像38 (圖6C)中時(shí)將當(dāng)前邊緣36A和參考邊緣36B區(qū)分開(kāi)的目的，用虛線表示當(dāng)前邊緣36A在圖6A中的圖示。
[0025]圖6C進(jìn)一步示出可存儲(chǔ)在修正表34內(nèi)并被施加至當(dāng)前圖像20從而將當(dāng)前圖像20與參考圖像32對(duì)準(zhǔn)的各種方向性調(diào)整或方向性修正。該修正表可包括，但不限于，用于做出左/右方向調(diào)整的水平旋轉(zhuǎn)(pan)角度40、用于做出上/下方向調(diào)整的偏轉(zhuǎn)(yaw)角度42、以及用于做出順時(shí)針/逆時(shí)針調(diào)整的滾轉(zhuǎn)(roll)角度44。當(dāng)這些調(diào)整應(yīng)用于指示當(dāng)前圖像20的信號(hào)24時(shí)，當(dāng)前邊緣36A可被移動(dòng)以覆蓋參考邊緣，以使得攝像頭18 (在該示例中是左視野攝像頭18L)與其他攝像頭(例如右視野攝像頭18R、前視野攝像頭18F、和后視野攝像頭18B)合適地對(duì)準(zhǔn)。
[0026]圖4示出其中攝像頭18 (如，左視野攝像頭18L)沒(méi)有被合適地對(duì)準(zhǔn)的失準(zhǔn)視圖48的非限制性示例。圖4對(duì)應(yīng)于如果圖5A中所示的當(dāng)前圖像20沒(méi)有被修正或?qū)?zhǔn)則將被提供的鳥(niǎo)瞰視野圖像。圖3示出在圖5A中所示的當(dāng)前圖像20被對(duì)準(zhǔn)以使得當(dāng)前圖像20中的邊緣36 ( S卩，當(dāng)前邊緣36A)被修正或與參考圖像32中的參考邊緣36B對(duì)準(zhǔn)后將會(huì)被提供的鳥(niǎo)瞰視野圖像的示例。
[0027]由于攝像頭18可能在任何時(shí)間因振動(dòng)或溫度極端狀況而變得失準(zhǔn)，如果控制器30配置為周期性地(例如每分鐘一次)對(duì)準(zhǔn)當(dāng)前圖像，則會(huì)是有利的。當(dāng)系統(tǒng)10在例如較冷溫度(如，〈(TC )下被合適地對(duì)準(zhǔn)但是在升高的溫度下(如<30°C )變得失準(zhǔn)時(shí)，周期性對(duì)準(zhǔn)會(huì)特別有用。
[0028]區(qū)域16可包括在車輛12下方的表面(如，地面)，其具有色彩和/或照明，這使得難以將地面與車輛12本體區(qū)分開(kāi)。由此，如果控制器30配置為僅在車輛12 (例如以大于每小時(shí)30公里(30kph)的速度)移動(dòng)時(shí)執(zhí)行初始化校準(zhǔn)和/或?qū)?zhǔn)過(guò)程，則會(huì)是有利的。期望的是，當(dāng)車輛12以足夠速度移動(dòng)時(shí)，作為車輛12底下的路面的視野22的部分將在外觀上發(fā)生變化。由此，如圖像處理領(lǐng)域的技術(shù)人員了解地，作為車輛12的視野22的未變化的部分將更容易與路面區(qū)分開(kāi)。
[0029]如果控制器30配置為僅在環(huán)境光亮度大于照明閾值時(shí)執(zhí)行初始化校準(zhǔn)和/或?qū)?zhǔn)過(guò)程，也會(huì)是有利的。以示例的方式，照明閾值可對(duì)應(yīng)于多云天的中午。如果使用這個(gè)照明閾值，則當(dāng)例如來(lái)自街燈的人工照明可使得控制器30難以確定邊緣36的位置時(shí)的晚上，將不執(zhí)行對(duì)準(zhǔn)。
[0030]因此，提供了配置為合成車輛12周圍區(qū)域的鳥(niǎo)瞰視野圖像14的環(huán)繞視野監(jiān)測(cè)系統(tǒng)(系統(tǒng)10)。系統(tǒng)10有利地利用所捕捉圖像中的車輛12的特征來(lái)調(diào)整系統(tǒng)攝像頭的對(duì)準(zhǔn)?；谔囟ㄌ卣髟诖蠹s在作出調(diào)整時(shí)的時(shí)間所捕捉的當(dāng)前圖像20中的位置與特定特征在大約在系統(tǒng)10初始地安裝到車輛12上時(shí)的時(shí)間所捕捉的參考圖像中的位置之間的比較，來(lái)做出該調(diào)整或?qū)?zhǔn)。由于可在背景中執(zhí)行這樣的對(duì)準(zhǔn)，這樣的對(duì)準(zhǔn)方案是有利的，以使得倘若發(fā)生失準(zhǔn)時(shí)，車輛擁有者不需要雇傭有經(jīng)驗(yàn)的技術(shù)人員來(lái)對(duì)準(zhǔn)系統(tǒng)。進(jìn)一步，該系統(tǒng)可補(bǔ)償由于溫度變化弓I起的對(duì)準(zhǔn)中的變化。
[0031]盡管已根據(jù)其優(yōu)選實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，然而本發(fā)明不旨在被如此限制，而是僅受隨附權(quán)利要求書(shū)中給出的范圍限制。
【主權(quán)項(xiàng)】
1.一種環(huán)繞視野監(jiān)測(cè)系統(tǒng)(10)，配置為合成車輛(12)周圍區(qū)域(16)的鳥(niǎo)瞰視野圖像(14)，所述系統(tǒng)(10)包括: 攝像頭(18)，所述攝像頭被配置為捕捉車輛(12)周圍視野(22)的當(dāng)前圖像(20)并輸出指示所述當(dāng)前圖像(20)的信號(hào)(24)，其中所述當(dāng)前圖像(20)包括所述車輛(12)的特征(26);和 控制器(30)，所述控制器配置為接收所述信號(hào)(24)、將所述當(dāng)前圖像(20)和來(lái)自所述系統(tǒng)(10)的初始化校準(zhǔn)的參考圖像(32)比較，其中所述參考圖像(32)包括所述特征(26)、并且確定所述當(dāng)前圖像(20)的修正表(34)從而將所述當(dāng)前圖像(20)中的所述特征(26)與所述參考圖像(32)中的所述特征(26)對(duì)準(zhǔn)。2.根據(jù)權(quán)利要求1所述的系統(tǒng)(10)，其特征在于，所述特征(26)是所述車輛(12)的邊緣(36) ο3.如權(quán)利要求1所述的系統(tǒng)(10)，其特征在于，所述修正表(34)包括水平旋轉(zhuǎn)角度(40)、偏轉(zhuǎn)角度(42)、以及滾轉(zhuǎn)角度(44)。4.如權(quán)利要求1所述的系統(tǒng)(10)，其特征在于，所述控制器(30)配置為周期性地對(duì)準(zhǔn)所述當(dāng)前圖像(20)。5.如權(quán)利要求1所述的系統(tǒng)(10)，其特征在于，所述控制器(30)配置為僅當(dāng)所述車輛(12)在移動(dòng)且環(huán)境光亮度大于照明閾值時(shí)執(zhí)行所述初始化校準(zhǔn)。
【文檔編號(hào)】B60R1/00GK105984387SQ201510064891
【公開(kāi)日】2016年10月5日
【申請(qǐng)日】2015年2月6日
【發(fā)明人】于萌萌, 馬光林, 蔣如意
【申請(qǐng)人】德?tīng)柛ｋ娮?蘇州)有限公司