實(shí)施例涉及增強(qiáng)現(xiàn)實(shí)側(cè)景顯示。

汽車(chē)和其他交通車(chē)輛包括內(nèi)部乘客艙，車(chē)輛駕駛員坐在該內(nèi)部乘客艙中，并在其中操作車(chē)輛控制裝置。車(chē)輛通常包括后視鏡和側(cè)視鏡，用于允許駕駛員監(jiān)測(cè)車(chē)輛的后方和側(cè)方發(fā)生的事件。鏡子是一種以如下方式反射光的物體：對(duì)于相應(yīng)波長(zhǎng)范圍內(nèi)的入射光而言，反射光保留了原始光的大部分詳細(xì)的物理特性，并且產(chǎn)生復(fù)制原始場(chǎng)景的反射。

后視鏡和側(cè)視鏡在正確設(shè)置時(shí)提供了車(chē)輛后方和側(cè)方的事件的協(xié)作觀(guān)察。然而，根據(jù)鏡子的設(shè)置方式，仍然可能存在駕駛員看不見(jiàn)的盲點(diǎn)。而且，除非道路有適當(dāng)?shù)恼彰?，否則側(cè)視鏡在夜間不能有效地用于查看事件。

此外，側(cè)視鏡由于風(fēng)阻而在車(chē)輛上產(chǎn)生阻力，并因此降低車(chē)輛的汽油里程數(shù)。側(cè)視鏡上的沉淀積層(諸如，雪)如果不被適當(dāng)?shù)厍宄脑?huà)，則鏡子的可見(jiàn)度會(huì)受到影響。

技術(shù)實(shí)現(xiàn)要素：

實(shí)施例的優(yōu)勢(shì)在于顯示增強(qiáng)現(xiàn)實(shí)圖像，其通過(guò)生成真實(shí)世界場(chǎng)景的虛擬圖像，將真實(shí)世界場(chǎng)景顯示在駕駛員側(cè)視鏡上。使用虛擬圖像在假想圖像平面上生成增強(qiáng)現(xiàn)實(shí)圖像，使得不再需要實(shí)體的側(cè)視鏡。增強(qiáng)現(xiàn)實(shí)圖像的使用消除了側(cè)視鏡部件，如果該側(cè)視鏡部件安裝在車(chē)輛的外部，則會(huì)引起風(fēng)阻和阻力，由此降低燃料經(jīng)濟(jì)性。此外，由于實(shí)體的側(cè)視鏡組件并非安裝在車(chē)輛的外部，因此沉淀物(諸如，雪)積聚在鏡子上，降低真實(shí)世界場(chǎng)景的可見(jiàn)度。另外，通過(guò)使用相機(jī)系統(tǒng)來(lái)捕捉真實(shí)世界場(chǎng)景并經(jīng)由增強(qiáng)現(xiàn)實(shí)圖像來(lái)將其顯示，視野得以擴(kuò)大，從而消除了盲點(diǎn)。

實(shí)施例設(shè)想了一種顯示由主圖像捕捉設(shè)備捕捉到的增強(qiáng)現(xiàn)實(shí)圖像的方法。通過(guò)主圖像捕捉設(shè)備捕捉車(chē)輛外部的圖像，該主圖像捕捉設(shè)備捕捉駕駛員側(cè)鄰近車(chē)道的圖像。通過(guò)處理器確定要顯示給駕駛員的主增強(qiáng)現(xiàn)實(shí)圖像的尺寸。在車(chē)輛外部的一深度處生成顯示在駕駛員側(cè)圖像平面上的主增強(qiáng)現(xiàn)實(shí)圖像，該駕駛員側(cè)圖像平面上的主增強(qiáng)現(xiàn)實(shí)圖像生成在距離駕駛員側(cè)車(chē)窗的相應(yīng)距離處。

附圖說(shuō)明

圖1示出了增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)的框圖。

圖2是使用常規(guī)側(cè)視鏡的車(chē)輛的平面圖。

圖3是使用相機(jī)系統(tǒng)和普通圖像顯示器或LCD顯示器的車(chē)輛的平面圖。

圖4示出了安裝在駕駛員側(cè)車(chē)窗上的波導(dǎo)HUD。

圖5是使用增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)的車(chē)輛的平面圖。

圖6是將圖像處理應(yīng)用于在波導(dǎo)HUD上生成增強(qiáng)現(xiàn)實(shí)圖像的流程圖。

具體實(shí)施方式

圖1示出了增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)10的框圖，該增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)10包括圖像捕捉設(shè)備12、處理器14、平視顯示器(HUD)16和頭部跟蹤器18。HUD 16可以是附接至側(cè)車(chē)窗的全息波導(dǎo)HUD或頭戴式增強(qiáng)現(xiàn)實(shí)顯示器，其可使用全息波導(dǎo)技術(shù)或其他HUD顯示技術(shù)。系統(tǒng)10基于圖像捕捉設(shè)備12捕捉到的圖像產(chǎn)生增強(qiáng)現(xiàn)實(shí)顯示。在此描述的車(chē)輛消除了安裝至車(chē)輛外部的實(shí)體側(cè)視鏡組件。應(yīng)理解的是，在此使用的術(shù)語(yǔ)“車(chē)輛”不限于汽車(chē)，其可包括，但不限于：火車(chē)、船或飛機(jī)。此外，附接至車(chē)窗的HUD或頭戴式增強(qiáng)現(xiàn)實(shí)顯示器可由車(chē)輛內(nèi)的任何乘員使用。在使用無(wú)需駕駛員的自動(dòng)或半自動(dòng)駕駛車(chē)輛的情況下，可進(jìn)一步應(yīng)用該系統(tǒng)。

圖像捕捉設(shè)備12可包括相機(jī)或相機(jī)系統(tǒng)，其捕捉車(chē)輛外部的圖像，更具體地，捕捉駕駛員可通過(guò)側(cè)視鏡組件觀(guān)看的圖像。圖像捕捉設(shè)備可包括，但不限于：三維(3D)相機(jī)或立體相機(jī)。優(yōu)選地，圖像捕捉設(shè)備捕捉3D圖像，或其能夠以3D的方式捕捉圖像或提供可被處理成3D圖像的圖像。

圖像捕捉設(shè)備12能夠安裝在車(chē)輛的某個(gè)位置上，使得相機(jī)方位與反射光線(xiàn)的方向?qū)?zhǔn)，其中該反射光線(xiàn)將從側(cè)視鏡反射出從而被駕駛員所看到?？蛇x地，圖像捕捉設(shè)備12可位于車(chē)輛的其他位置處，并且對(duì)捕捉到的圖像進(jìn)行圖像處理，以生成圖像捕捉設(shè)備12的虛擬方位，這將會(huì)產(chǎn)生圖像，該圖像顯示成就好像圖像捕捉設(shè)備12以會(huì)捕捉到類(lèi)似于顯示在實(shí)體側(cè)視鏡組件上的真實(shí)世界場(chǎng)景的真實(shí)世界場(chǎng)景的方向進(jìn)行安裝和對(duì)準(zhǔn)。

處理器14可為獨(dú)立處理器、共享處理器或作為成像系統(tǒng)的一部分的處理器。處理器14從圖像捕捉設(shè)備12接收捕捉到的圖像，并對(duì)捕捉到的圖像進(jìn)行圖像處理。處理器14執(zhí)行編輯功能，其包括但不限于圖像剪切，以修改駕駛員將看到的景象。如果駕駛員佩戴有增強(qiáng)現(xiàn)實(shí)眼鏡，則處理器還會(huì)基于駕駛員的頭部定向?qū)D像進(jìn)行定向。處理器還會(huì)調(diào)整圖像的亮度，并對(duì)圖象失真進(jìn)行補(bǔ)償。

波導(dǎo)平視顯示器(HUD)16安裝至車(chē)輛部件，諸如，駕駛員側(cè)燈(例如，駕駛員側(cè)車(chē)窗或駕駛員側(cè)的其他車(chē)窗和/或乘客側(cè)車(chē)窗)。駕駛員側(cè)燈在此將用于示例性的目的，但是，如果需要的話(huà)，可為車(chē)輛中的任何人將HUD安裝在任何車(chē)窗上。波導(dǎo)HUD 16使用全息衍射光柵，該全息衍射光柵試圖以相應(yīng)的衍射級(jí)次聚集輸入能量。衍射光柵的實(shí)例可包括布喇格(Bragg)衍射光柵。當(dāng)具有與原子間距相當(dāng)?shù)牟ㄩL(zhǎng)的光輻射以鏡面模式被晶體系統(tǒng)中的原子散射從而經(jīng)受相長(zhǎng)干涉時(shí)，布喇格衍射就會(huì)發(fā)生。光柵被調(diào)諧，從而以臨界角將光射入波導(dǎo)。隨著光散開(kāi)，該光穿過(guò)波導(dǎo)。當(dāng)散射波進(jìn)行相長(zhǎng)干涉時(shí)，散射波保持同相，原因在于各波的波程長(zhǎng)度都等于波長(zhǎng)的整數(shù)倍。光由將光(例如，圖像)轉(zhuǎn)入用戶(hù)眼中的第二全息衍射光柵進(jìn)行提取。可以使用可切換的布喇格衍射光柵，其包括槽式反射光柵，該槽式反射光柵從每個(gè)凹槽邊緣發(fā)出的小波形成相長(zhǎng)和相消干涉以及色散。可選地，多層結(jié)構(gòu)具有交替的折射率，從而引起從折射率不連續(xù)特征發(fā)出的小波的相長(zhǎng)和相消干涉以及色散。如果兩個(gè)交替層中的一個(gè)由具有介電的和折射率各向異性的液晶材料組成，則液晶取向可以通過(guò)施加電場(chǎng)(被稱(chēng)為可切換布喇格光柵)進(jìn)行改變或切換。

當(dāng)駕駛員查看集成在車(chē)窗上的波導(dǎo)HUD 16時(shí)，波導(dǎo)HUD 16基于捕捉的圖像在假想平面上生成增強(qiáng)現(xiàn)實(shí)圖像，該圖像看起來(lái)在車(chē)窗外部的相應(yīng)深度處(即，在側(cè)視鏡將位于的深度處或者在更深處)。

在一個(gè)可替代的方案中，波導(dǎo)HUD 16可包括頭戴式HUD，諸如增強(qiáng)現(xiàn)實(shí)眼鏡(例如，眼鏡)。3D圖像從處理器14傳輸?shù)?D增強(qiáng)現(xiàn)實(shí)眼鏡，使得增強(qiáng)現(xiàn)實(shí)圖像被投影在空間中，從而提供如下視角：圖像被投影在其上的圖像平面被顯示在駕駛員側(cè)車(chē)窗外部的位置，類(lèi)似于實(shí)際的側(cè)視鏡。

頭部跟蹤器18是用于跟蹤頭部定向或者跟蹤眼睛的設(shè)備。也就是說(shuō)，如果需要更少的細(xì)節(jié)，則增強(qiáng)現(xiàn)實(shí)系統(tǒng)10可以使用頭部跟蹤系統(tǒng)，其跟蹤頭部的定向以確定駕駛員正在觀(guān)看的方向?？蛇x地，增強(qiáng)現(xiàn)實(shí)系統(tǒng)10可以使用眼睛跟蹤系統(tǒng)，其中方向(例如，眼睛的注視)被跟蹤以確定乘員是否正在看向波導(dǎo)HUD 16的方向或其他地方。頭部跟蹤器18可以是安裝在車(chē)輛中的獨(dú)立設(shè)備，監(jiān)視頭部的位置或眼睛的注視，或者如果使用增強(qiáng)現(xiàn)實(shí)眼鏡，則頭部跟蹤器18也可以與波導(dǎo)HUD 16集成在一起。如果使用增強(qiáng)現(xiàn)實(shí)眼鏡，則眼睛跟蹤器可被集成為眼鏡的一部分，用于跟蹤眼睛的運(yùn)動(dòng)。

除了波導(dǎo)HUD 16之外，提供染料摻雜的聚合物分散液晶(PDLC)作為輸出的全息圖的背板以阻擋真實(shí)世界的干擾。PDLC阻擋來(lái)自其他真實(shí)世界干擾的光，從而沒(méi)有發(fā)射。PDLC是可調(diào)諧的，并且還可以結(jié)合為自動(dòng)可調(diào)諧傳輸。因此，PDLC用作背板，使得當(dāng)駕駛員觀(guān)看全息圖像時(shí)，來(lái)自外部的發(fā)射不會(huì)穿透全息圖像的相對(duì)側(cè)。

圖2示出了使用常規(guī)側(cè)視鏡的車(chē)輛的平面圖。如圖2所示，總體上由RV表示的區(qū)域表示后視鏡的視野?？傮w上由SV表示的區(qū)域表示側(cè)視鏡的視野?？傮w上由BS表示的區(qū)域(陰影區(qū)域)表示盲點(diǎn)。盲點(diǎn)通常位于總體上由FV表示的駕駛員的前向視覺(jué)的后方區(qū)域至其中反射由側(cè)視鏡19捕捉的位置之間。雖然可以借助于凸面鏡來(lái)減少盲點(diǎn)，但凸面鏡導(dǎo)致實(shí)際的真實(shí)世界場(chǎng)景的失真，從而導(dǎo)致物體在反射表面中比駕駛員通常看到的更靠近或更遠(yuǎn)。

圖3示出了使用相機(jī)系統(tǒng)和普通圖像顯示器或LCD顯示器的車(chē)輛的平面圖。單獨(dú)的相機(jī)20安裝在車(chē)輛的外部，并且由相機(jī)20捕捉的圖像被處理并提供給顯示設(shè)備22，諸如LCD監(jiān)視器或類(lèi)似物。使用照相機(jī)20的優(yōu)點(diǎn)是省略了側(cè)視鏡，這提供了消除由風(fēng)阻引起的車(chē)輛上的阻力的優(yōu)點(diǎn)，然而，單獨(dú)的照相機(jī)20和LCD 22的問(wèn)題在于系統(tǒng)是二維的(2D)，并且從駕駛員的眼睛到LCD 22的距離相對(duì)較短(例如，18英寸)，這由于反復(fù)適應(yīng)18英寸處的顯示器和無(wú)限遠(yuǎn)的真實(shí)世界而導(dǎo)致疲勞。當(dāng)將相機(jī)圖像呈現(xiàn)在2D顯示器上時(shí)，存在深度感知上的下降。此外，所顯示的圖像不在通常的鏡子的位置處。在駕駛員的視野中將會(huì)導(dǎo)致駕駛員注意力分散。

圖4示出了安裝在諸如駕駛員側(cè)車(chē)窗30的車(chē)輛部件上的波導(dǎo)HUD16。通過(guò)駕駛員側(cè)車(chē)窗30觀(guān)看的駕駛員看到由圖像捕捉設(shè)備捕捉的真實(shí)世界場(chǎng)景的3D圖像，該3D圖像被投影在車(chē)輛外部的假想平面上。這里和權(quán)利要求中使用的術(shù)語(yǔ)真實(shí)世界場(chǎng)景被定義為由車(chē)輛的駕駛員直接或者通過(guò)鏡面反射看到的車(chē)輛外部的區(qū)域。圖像捕捉設(shè)備12可以在與反射射線(xiàn)被側(cè)視鏡反射的方向相同的方向上被安裝并對(duì)準(zhǔn)，或者圖像捕捉設(shè)備12可以安裝在其他位置，并且圖像處理可以用于改變相機(jī)的方位。也就是說(shuō)，可以從任何角度捕捉場(chǎng)景，然而，圖像可以被處理成使得如果相機(jī)與在圖像中識(shí)別的虛擬方位對(duì)準(zhǔn)，則該虛擬方位被改變以反映場(chǎng)景的內(nèi)容。

另外，通過(guò)使用圖像捕捉設(shè)備，可以改變由圖像捕捉設(shè)備捕捉的視野(FOV)，以使FOV與常規(guī)的側(cè)視鏡顯示器相比更寬。FOV可以改變高達(dá)180°，并且圖像的各個(gè)部分可以被縮放(合成)，以增強(qiáng)駕駛員對(duì)圖像的相應(yīng)部分的聚焦。

波導(dǎo)HUD 16使用假想平面來(lái)顯示增強(qiáng)現(xiàn)實(shí)圖像。波導(dǎo)HUD 16可以被調(diào)諧以將假想平面設(shè)置在車(chē)窗外的任何距離處，直至無(wú)窮遠(yuǎn)。應(yīng)當(dāng)理解，一旦物體距離在3米和無(wú)窮遠(yuǎn)之間，在觀(guān)察物體的人對(duì)焦距的感知中存在相對(duì)較小的實(shí)質(zhì)區(qū)別。設(shè)置假想平面的深度是可調(diào)諧的。

圖5示出了使用增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)的車(chē)輛的平面圖。如圖5所示，增強(qiáng)現(xiàn)實(shí)系統(tǒng)使用兩個(gè)圖像捕捉設(shè)備12(例如，立體相機(jī))來(lái)捕捉駕駛員的鄰近車(chē)道的3-D真實(shí)世界場(chǎng)景。優(yōu)選地，圖像捕捉設(shè)備是立體視覺(jué)相機(jī)；然而，應(yīng)當(dāng)理解，可以使用其他類(lèi)型的3-D圖像捕捉設(shè)備。如圖5所示，鄰近道路的第一區(qū)域34由圖像捕捉設(shè)備中的一個(gè)捕捉，第二區(qū)域36由第二圖像捕捉設(shè)備捕捉。處理兩個(gè)捕捉的圖像以生成3-D圖像。處理器處理圖像并將處理后的圖像發(fā)送到集成在駕駛員側(cè)車(chē)窗30上的波導(dǎo)HUD 16。波導(dǎo)HUD 16在出現(xiàn)在車(chē)輛外部的虛擬平面38上生成增強(qiáng)現(xiàn)實(shí)圖像。結(jié)果，增強(qiáng)現(xiàn)實(shí)圖像消除了使用安裝在門(mén)上的實(shí)體部件(即側(cè)視鏡)的需求，這樣的實(shí)體部件導(dǎo)致車(chē)輛上的阻力并且降低燃料經(jīng)濟(jì)性。

圖6表示將圖像處理用于在安裝在側(cè)車(chē)窗上的波導(dǎo)HUD上產(chǎn)生物體的增強(qiáng)現(xiàn)實(shí)圖像的流程圖。在框40中，圖像捕捉設(shè)備捕捉圖像。圖像可以是來(lái)自可以捕捉圖像以生成3D圖像的3D相機(jī)或者一組立體相機(jī)的2D或3D圖像。

在框41中，如果使用增強(qiáng)現(xiàn)實(shí)眼鏡，則圖像被剪切以適應(yīng)增強(qiáng)現(xiàn)實(shí)眼鏡的視野。

在步驟42中，應(yīng)用圖像透視和穩(wěn)定。設(shè)備(包括但不限于陀螺儀和加速度計(jì))可以用于確定駕駛員頭部的定向。當(dāng)頭部旋轉(zhuǎn)時(shí)，陀螺儀和加速度計(jì)保持穩(wěn)定且對(duì)準(zhǔn)的圖像。跟蹤系統(tǒng)的實(shí)例可以包括頭部跟蹤器，其監(jiān)視頭部在頭部面對(duì)的方向上的運(yùn)動(dòng)。更復(fù)雜的設(shè)備和系統(tǒng)將包括注視跟蹤器，其跟蹤眼睛的運(yùn)動(dòng)以確定眼睛正在注視的方向。注視跟蹤器提供更多細(xì)節(jié)，使得駕駛員不必一定移動(dòng)他的頭部，而是可以旋轉(zhuǎn)他的眼睛而沒(méi)有頭部的移動(dòng)以將目光從行進(jìn)道路轉(zhuǎn)移。

在步驟43中，應(yīng)用視圖端口縮窄。要縮窄的視圖端口的尺寸由常規(guī)鏡子或更大鏡子的尺寸確定，并且還確定到側(cè)車(chē)窗外的假想平面的距離以用于相應(yīng)地確定圖像尺寸。

在步驟44中，調(diào)整增強(qiáng)現(xiàn)實(shí)圖像的亮度。亮度傳感器可以用于控制3D圖像亮度。應(yīng)當(dāng)理解，在夜間條件期間可以將亮度設(shè)置為高于真實(shí)世界場(chǎng)景的亮度，使得在圖像中捕捉的物體是可識(shí)別的。這優(yōu)于鏡子僅能捕捉從外部環(huán)境照射的光，并且因此受到外部條件的約束的常規(guī)的側(cè)視鏡。通過(guò)使用由圖像捕捉設(shè)備捕捉的圖像，可以執(zhí)行圖像處理以照亮場(chǎng)景，并且因此向駕駛員提供場(chǎng)景的更好的可見(jiàn)性。

在步驟45中，經(jīng)由HUD顯示虛擬圖像。虛擬圖像將根據(jù)通常由駕駛員通過(guò)駕駛員或乘客側(cè)燈觀(guān)看(或乘客通過(guò)另一側(cè)窗觀(guān)看)而看到的側(cè)視鏡的形狀和尺寸來(lái)確定尺寸，或者顯示器可大于常規(guī)的鏡子。此外，虛擬圖像可以顯示在比駕駛員使用常規(guī)鏡子觀(guān)察的距離更大的距離處。

盡管已經(jīng)詳細(xì)描述了本發(fā)明的某些實(shí)施例，但是本發(fā)明領(lǐng)域的技術(shù)人員應(yīng)當(dāng)知道由所附的權(quán)利要求限定的、用于實(shí)現(xiàn)本發(fā)明的各種可選的設(shè)計(jì)和實(shí)施例。