技術(shù)領(lǐng)域

本發(fā)明總體涉及一種用于提供視覺輔助以將拖曳聯(lián)結(jié)球和掛車牽引桿耦接器對準(zhǔn)的系統(tǒng)和方法，并且更具體地涉及一種用于提供視覺輔助以在拖車倒車至被拖車時(shí)將拖曳聯(lián)結(jié)球和掛車牽引桿耦接器對準(zhǔn)的系統(tǒng)和方法，該方法包括提供作為后視相機(jī)圖像中的圖形覆蓋的一部分的凸出對準(zhǔn)線，其中該系統(tǒng)采用包括縮放、平移、畫中畫(PIP)和虛擬俯視聯(lián)結(jié)圖中的一個(gè)或多個(gè)的人機(jī)界面(HMI)。

相關(guān)技術(shù)討論

某些車輛配備有拖曳聯(lián)結(jié)裝置，其允許掛車或其它被拖車與其耦接，從而使得拖車可拖曳掛車。通常，掛車聯(lián)結(jié)裝置安裝至拖車的靠近車輛的后保險(xiǎn)杠的后部支撐結(jié)構(gòu)，并且包括具有一定直徑的拖曳聯(lián)結(jié)球。被拖車通常包括從被拖車的前端延伸的掛車牽引桿。掛車牽引桿通常包括其中聯(lián)結(jié)球定位成將聯(lián)結(jié)裝置耦接至掛車牽引桿的耦接器。耦接器內(nèi)的固定機(jī)構(gòu)(諸如金屬擋板)在其插入耦接器中以將牽引桿牢固地固定至聯(lián)結(jié)裝置時(shí)選擇性地定位在該球周圍。

當(dāng)被拖車脫離拖車時(shí)，掛車牽引桿通常支撐在高度可調(diào)的機(jī)座上，以使得耦接器在地面上方定位成比聯(lián)結(jié)裝置的球更高。當(dāng)拖車的操作者將牽引桿附接至聯(lián)結(jié)裝置時(shí)，他將會(huì)使拖車倒車以將聯(lián)結(jié)球定位成剛好在耦接器下方。一旦處于該位置，牽引桿便通過使機(jī)座下降而下降至該球上。

通常，當(dāng)拖車倒車以將被拖車連接至拖車時(shí)，車輛操作者需要大量的經(jīng)驗(yàn)和技巧來將聯(lián)結(jié)球精確地定位在牽引桿耦接器下方。無論操作者的技巧和經(jīng)驗(yàn)如何，要將聯(lián)結(jié)球精確地定位在合適的位置處幾乎是不太可能的。因此，操作者通常必須使用掛車牽引桿來手動(dòng)地將被拖車沿向右或向左或向前或向后方向移動(dòng)，以提供精確對準(zhǔn)。因?yàn)楸煌宪嚳赡茌^大、沉重和笨重而難以移動(dòng)，所以這通常是一項(xiàng)艱難的任務(wù)。

現(xiàn)代車輛通常包括一個(gè)或多個(gè)相機(jī)，該相機(jī)提供視覺圖像以提供倒車輔助、當(dāng)車輛正在行駛時(shí)而出于碰撞避免目的提供道路圖像、提供結(jié)構(gòu)識別(諸如公路標(biāo)志)等。用于車輛倒車輔助的相機(jī)系統(tǒng)通常采用視覺覆蓋圖形，該視覺覆蓋圖形疊加或覆蓋在相機(jī)圖像上以提供車輛倒車轉(zhuǎn)向引導(dǎo)。對于其中圖形覆蓋在相機(jī)圖像上的這些應(yīng)用，精確地校準(zhǔn)相機(jī)相對于車輛的位置和定向是至關(guān)重要的。相機(jī)校準(zhǔn)通常涉及確定將相機(jī)圖像坐標(biāo)與車輛坐標(biāo)(且反之亦然)相關(guān)聯(lián)的一組參數(shù)。諸如相機(jī)焦距、光學(xué)中心等某些相機(jī)參數(shù)是穩(wěn)定的，而諸如相機(jī)定向和位置的其它參數(shù)則是不穩(wěn)定的。例如，相機(jī)的高度取決于車輛的負(fù)荷，該負(fù)荷將隨時(shí)間改變。這種改變可導(dǎo)致車輛軌跡在相機(jī)圖像上的覆蓋圖形變得不精確。

2014年9月3日提交的標(biāo)題為Smart Tow的第14/476,345號美國專利申請、2015年4月30日公布的轉(zhuǎn)讓給本申請的受讓人的第2015/0115571號美國專利申請公開案公開了一種用于通過疊加在倒車相機(jī)圖像上的圖形覆蓋來提供視覺輔助以在車輛倒車時(shí)輔助車輛操作者將拖曳聯(lián)結(jié)球?qū)?zhǔn)至掛車牽引桿的系統(tǒng)和方法。該方法包括提供相機(jī)建模以將車輛坐標(biāo)中的相機(jī)圖像與世界坐標(biāo)關(guān)聯(lián)，其中相機(jī)建模提供圖形覆蓋以包括相機(jī)圖像中的高度由掛車牽引桿的估計(jì)高度所確定的拖曳線。該方法還包括提供車輛動(dòng)態(tài)建模，以便在車輛圍繞旋轉(zhuǎn)中心移動(dòng)時(shí)識別其運(yùn)動(dòng)。該方法接著預(yù)測該車輛在轉(zhuǎn)向時(shí)的路徑，其中包括計(jì)算旋轉(zhuǎn)中心。

'345申請中的上述系統(tǒng)在將聯(lián)結(jié)球?qū)?zhǔn)至掛車牽引桿耦接器時(shí)能有效地向車輛操作者提供視覺輔助。然而，可結(jié)合此視覺輔助提供另外的元件，以改進(jìn)聯(lián)結(jié)球?qū)?zhǔn)輔助。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明公開并且描述了一種用于通過疊加在倒車相機(jī)圖像上的圖形覆蓋來提供視覺輔助以當(dāng)拖車倒車時(shí)輔助車輛操作者將聯(lián)結(jié)球與掛車牽引桿耦接器對準(zhǔn)的系統(tǒng)和方法，例如，該倒車相機(jī)圖像顯示在觸摸屏上。該方法包括提供相機(jī)建模以將相機(jī)坐標(biāo)中的相機(jī)圖像與世界坐標(biāo)關(guān)聯(lián)，其中相機(jī)建模提供圖形覆蓋以包括相機(jī)圖像中的高度由掛車牽引桿耦接器的估計(jì)高度所確定的對準(zhǔn)線。觸摸屏也起到人機(jī)界面(HMI)的作用，其通過提供圖像平移、圖像縮放、畫中畫(PIP)和虛擬俯視聯(lián)結(jié)圖中的一個(gè)或多個(gè)來改進(jìn)視覺輔助。

通過以下描述和所附權(quán)利要求并結(jié)合附圖，本發(fā)明的其他特征將變得顯而易見。

附圖說明

圖1是后視相機(jī)圖像的圖示，其示出了相對于掛車后退的車輛，該車輛包括拖曳聯(lián)結(jié)球，該掛車包括具有耦接器的掛車牽引桿，還示出了輔助聯(lián)結(jié)球?qū)?zhǔn)的HMI；

圖2是圖1中示出的相機(jī)圖像的圖示，其中車輛更靠近掛車；

圖3是圖2中示出的圖像的虛擬俯視聯(lián)結(jié)圖的示意圖；以及

圖4是示出了視覺拖曳輔助方法的操作的流程圖。

具體實(shí)施方式

下文中對本發(fā)明實(shí)施例的討論針對一種包括HMI組件的系統(tǒng)和方法，用于為駕駛拖車的駕駛員提供視覺輔助，以使用后視相機(jī)圖像上的圖形覆蓋將拖曳聯(lián)結(jié)球與掛車牽引桿對準(zhǔn)，而該討論在本質(zhì)上僅僅是示例性的，且決不以任何方式意圖限制本發(fā)明或其應(yīng)用或用途。例如，如所討論的，該系統(tǒng)和方法具有將車輛定位來使得拖曳聯(lián)結(jié)球與掛車牽引桿耦接器對準(zhǔn)的特定應(yīng)用。然而，如本領(lǐng)域技術(shù)人員將會(huì)理解的，該系統(tǒng)和方法可以具有用于其它移動(dòng)平臺(tái)的應(yīng)用，這些移動(dòng)平臺(tái)如火車、機(jī)器、拖拉機(jī)、船、娛樂車等等。

本發(fā)明提出一種用于通過使用后視相機(jī)圖像上疊加的圖形覆蓋來提供倒車視覺輔助以便在拖曳聯(lián)結(jié)球與掛車牽引桿耦接器對準(zhǔn)時(shí)對車輛操作者進(jìn)行輔助的系統(tǒng)和方法，其中，該方法使用包括圖像平移、圖像縮放、畫中畫和虛擬俯視聯(lián)結(jié)圖的HMI組件。

圖1是圖示8，其包括顯示后視相機(jī)圖像12的車輛觸摸屏10，后視相機(jī)圖像12來自于安裝在圖像12所示的車輛14后部的后視相機(jī)(見圖4)，其中車輛14包括拖曳聯(lián)結(jié)裝置16，其具有從其延伸的拖曳聯(lián)結(jié)球18。在一個(gè)實(shí)施例中，屏幕10是車輛14的中控臺(tái)控制區(qū)域的一部分。倒車輔助系統(tǒng)20通常示出在車輛14上并且包括如下所述的本發(fā)明所需的所有內(nèi)容：相機(jī)、相機(jī)圖像處理器、算法、GPS、地圖數(shù)據(jù)庫、無線通信、控制器、CAN總線等?？?2表示了車輛14上的顯示裝置，圖像12可以在該裝置上顯示，以允許車輛操作者觀看圖像12。圖像12示出了車輛14后面的掛車24，掛車24包括具有耦接器28的掛車牽引桿26，耦接器28定位在地面30上方一段距離處并高于拖曳聯(lián)結(jié)球18。圖2是觸摸屏10的另一視圖，其中后視圖像12示出了更靠近掛車24的車輛14。

如下面將詳細(xì)討論的，倒車輔助系統(tǒng)20通過圖像12上的圖形覆蓋32來提供視覺反饋和聯(lián)結(jié)對準(zhǔn)輔助，其中圖形覆蓋32包括疊加在圖像12中的地面30之上的側(cè)桿34和橫桿36。此外，圖形覆蓋32包括掛車聯(lián)結(jié)對準(zhǔn)線38，其在圖像12中覆蓋在地面30上方的一定距離處，該距離是基于掛車牽引桿26離地面30的高度的估計(jì)值。連接到掛車聯(lián)結(jié)對準(zhǔn)線38的豎桿40表明，掛車聯(lián)結(jié)對準(zhǔn)線38已升離地面30。應(yīng)當(dāng)注意的是，豎桿40、側(cè)桿34和橫桿36僅僅是為了方便，不需要為了如本文所述的系統(tǒng)功能而顯示在圖像12中。當(dāng)車輛操作者轉(zhuǎn)動(dòng)車輛方向盤時(shí)，覆蓋32相對于車輛14旋轉(zhuǎn)并移動(dòng)，以顯示任何一個(gè)時(shí)間點(diǎn)上車輛14的當(dāng)前倒車路徑。將圖形覆蓋32疊加到相機(jī)圖像12上所需的基本程序和過程對本領(lǐng)域技術(shù)人員來說是公知的。

在一個(gè)實(shí)施例中，倒車輔助系統(tǒng)20采用三步過程，其中，第一步包括相機(jī)建模，以將相機(jī)坐標(biāo)中提供的圖形覆蓋32建模到地面30上的車輛坐標(biāo)以及建模到掛車牽引桿26離地面30的高度的估計(jì)值，并令覆蓋32在圖像12中適當(dāng)居中，其中，相機(jī)可能沒有在車輛14的后部居中。相機(jī)模型還可以提供圖像去扭曲，令魚眼圖像的圖像平面扁平化。為此目的的相機(jī)建模是本領(lǐng)域技術(shù)人員所周知的，而且進(jìn)行此類建模的許多算法也是已知的。一個(gè)合適的例子可見于2013年3月15日提交的標(biāo)題為Wide FOV Camera Image Calibration and De-warping的第13/843,978號美國專利申請和2014年3月27日公布的轉(zhuǎn)讓給本申請的受讓人的第2014/0085409號美國專利申請公開案。這種類型的相機(jī)建模通常包括確定將相機(jī)圖像坐標(biāo)關(guān)聯(lián)到車輛坐標(biāo)(且反之亦然)的一組參數(shù)。諸如相機(jī)焦距、光學(xué)中心等某些相機(jī)參數(shù)是穩(wěn)定的，而諸如相機(jī)定向和位置的其它參數(shù)則是不穩(wěn)定的。例如，相機(jī)的高度取決于車輛的負(fù)荷，該負(fù)荷將隨時(shí)間改變。這種改變可導(dǎo)致車輛軌跡在相機(jī)圖像12上的圖形覆蓋32變得不精確。

該過程中的下一個(gè)步驟包括執(zhí)行車輛動(dòng)態(tài)建模以對車輛14的動(dòng)態(tài)或運(yùn)動(dòng)進(jìn)行建模，從而使得可預(yù)測當(dāng)車輛14在倒車時(shí)的車輛路徑并且可在車輛操作者在倒車操控期間將車輛14轉(zhuǎn)向時(shí)精確地調(diào)整覆蓋32。通過采用車輛動(dòng)態(tài)模型，算法可響應(yīng)于車輛操作者在倒車操控期間將車輛14轉(zhuǎn)向而計(jì)算車輛14如何轉(zhuǎn)彎。上文提及的'345申請?zhí)峁┝岁P(guān)于如何執(zhí)行動(dòng)態(tài)建模的詳細(xì)討論。一旦車輛14進(jìn)行了建模且關(guān)聯(lián)了坐標(biāo)系統(tǒng)，那么，該過程中的下一個(gè)步驟便是預(yù)測車輛14在朝向掛車24倒車時(shí)其在世界坐標(biāo)中的路徑。'345申請還提供了關(guān)于如何執(zhí)行此步驟的詳細(xì)討論。

為了進(jìn)一步增強(qiáng)如本文所述的視覺輔助，本發(fā)明提出了采用通過各種技術(shù)(諸如具有手指或觸控筆輸入的觸摸屏、物理按鈕或旋鈕、手勢識別等)來使用車輛操作者輸入的HMI組件，以允許車輛操作者改變后視圖像12，進(jìn)而改進(jìn)視覺倒車輔助。例如，包括位于車輛14的乘客車廂內(nèi)部的相機(jī)的駕駛員監(jiān)測系統(tǒng)(DMS)可以提供可用作界面的車輛操作者的手勢的圖像。如下文將討論的，HMI組件包括(例如)圖像平移、圖像縮放、PIP和俯視聯(lián)結(jié)圖，它們可用來增強(qiáng)圖像12中的關(guān)注區(qū)域，諸如將圖像移位和縮放以相對于聯(lián)結(jié)引導(dǎo)對準(zhǔn)線38放大掛車牽引桿/耦接器區(qū)域。如將討論的，HMI組件允許(例如)當(dāng)車輛14靠近掛車14時(shí)，車輛操作者或車輛14上的感測系統(tǒng)在常規(guī)的后視圖與合成的虛擬俯視聯(lián)結(jié)圖之間切換，其中系統(tǒng)20將自動(dòng)地切換至虛擬俯視聯(lián)結(jié)圖，這要么是手動(dòng)地通過用戶輸入，要么是自動(dòng)地通過傳感器檢測，諸如超聲傳感器、視覺傳感器等。

這些HMI組件在此非限制性示例中是作為屏幕10上的觸摸屏輸入提供。例如，屏幕10包括右平移箭頭40和左平移箭頭42以及上平移箭頭54和下平移箭頭56(為了清楚起見，僅在圖1中示出)，這些箭頭允許圖像12以虛擬方式通過合適的軟件算法在某個(gè)旋轉(zhuǎn)度范圍內(nèi)通過按下箭頭40、42、54和56而移位至右側(cè)和左側(cè)以及上方和下方。HMI組件還包括正縮放按鈕44和負(fù)縮放按鈕46，這些按鈕允許圖像12以虛擬方式通過合適的軟件算法放大和縮小，進(jìn)而放大圖像12中的特定區(qū)域。例如，當(dāng)掛車24遠(yuǎn)離車輛14時(shí)，耦接器28在圖像12中并非清楚可見，因此，可能需要放大該特征。平移和縮放特征可結(jié)合使用以隔離和放大圖像12中的任何區(qū)域。

HMI組件還包括聯(lián)結(jié)圖按鈕48，其使圖像12從常規(guī)視圖變?yōu)楦┮暵?lián)結(jié)圖。圖3是包括俯視聯(lián)結(jié)圖中如圖2中所示的圖像12的屏幕10的圖示，其中車輛14和掛車24是在相同位置處。這種虛擬俯視聯(lián)結(jié)圖是可行的，這是因?yàn)楹笠曄鄼C(jī)的定向通常下斜，其中需要進(jìn)行校準(zhǔn)來提供相對于車輛14定向的后視圖像。一旦聯(lián)結(jié)球18進(jìn)入由例如車輛14上的超聲傳感器50檢測到的聯(lián)結(jié)耦接器28的某個(gè)范圍內(nèi)，系統(tǒng)20便可自動(dòng)地提供俯視聯(lián)結(jié)圖。聯(lián)結(jié)圖按鈕48上的條52通過當(dāng)圖像12是在俯視聯(lián)結(jié)圖中時(shí)改變顏色來提供指示。

HMI組件還包括PIP按鈕60，該P(yáng)IP按鈕60在其被按下時(shí)使得在圖像12的拐角中提供小的PIP圖像62，這可為虛擬俯視聯(lián)結(jié)圖。切換按鈕64與PIP按鈕60相關(guān)聯(lián)，從而使得當(dāng)按下切換按鈕64時(shí)，主圖像12和PIP圖像62進(jìn)行切換。圖2將主圖像12示為正常視圖且將PIP圖像12示為俯視聯(lián)結(jié)圖，而圖3將主圖像12示為俯視聯(lián)結(jié)圖且將PIP圖像12示為正常視圖。PIP按鈕60可在其被按下時(shí)改變顏色，以向用戶提供PIP圖像62被提供的指示。HMI組件還包括聯(lián)結(jié)模式退出按鈕64，其可例如通過消除對準(zhǔn)線38來使系統(tǒng)20退出聯(lián)結(jié)模式輔助。

應(yīng)注意，在替代實(shí)施例中，所有平移、縮放、PIP和俯視聯(lián)結(jié)圖可能不一定被采用，其中可提供這些特征的任何組合。例如，一種替代方式可以采用正常視圖和具有預(yù)定義縮放和平移位置但不能提供平移、縮放和PIP的俯視聯(lián)結(jié)圖。

圖4是示出了用于提供如上所述的視覺倒車輔助的過程的流程圖70。在框72處獲得需要用來生成圖形覆蓋32的車輛信息，諸如車輛轉(zhuǎn)向角。在框74處為由后視相機(jī)76提供的相機(jī)圖像提供相機(jī)校準(zhǔn)。在框78處提供來自HMI組件的HMI用戶界面信號且在框80處提供相機(jī)視頻流。算法使用來自框72的車輛信息以及來自框74的相機(jī)校準(zhǔn)數(shù)據(jù)來在框82處生成如上所述的圖形覆蓋32。算法接著在判定菱形框84處確定是否已激活聯(lián)結(jié)輔助模式來提供視覺輔助，且如果沒有激活，那么該算法進(jìn)行至顯示模式框86以顯示無對準(zhǔn)線38的圖形覆蓋32。如果已在判定菱形框84處激活了聯(lián)結(jié)輔助模式，那么該算法在框88處使用來自框74的相機(jī)校準(zhǔn)信息以及來自框72的車輛信息來生成對準(zhǔn)線38。該算法還在判定菱形框90處確定車輛14是否處于聯(lián)結(jié)輔助模式中，如果不是，那么該算法使用相機(jī)數(shù)據(jù)來在框92處生成圖形覆蓋32。如果已在判定菱形框90處激活了聯(lián)結(jié)輔助模式，那么該算法在判定菱形框94處確定是否應(yīng)使用相機(jī)數(shù)據(jù)來提供俯視聯(lián)結(jié)圖和畫中畫，如果是，那么該算法在框96處使用來自框74的相機(jī)校準(zhǔn)信息來生成俯視聯(lián)結(jié)圖。如果在判定菱形框94處沒有請求俯視聯(lián)結(jié)圖或在框96處生成了俯視聯(lián)結(jié)圖或在框88處生成了對準(zhǔn)線，那么該算法在框98處使用來自框78的HMI用戶界面信息以及來自框88的對準(zhǔn)線來繪制對準(zhǔn)線38。該算法接著進(jìn)行至框100處的聯(lián)結(jié)顯示模式。

如本領(lǐng)域技術(shù)人員將充分理解的，本文討論的用來描述本發(fā)明的若干和不同步驟和過程可以指的是由計(jì)算機(jī)、處理器或使用電現(xiàn)象操控和/或變換數(shù)據(jù)的其他電子計(jì)算裝置執(zhí)行的操作。這些計(jì)算機(jī)和電子裝置可以采用包括非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的各種易失性和/或非易失性存儲(chǔ)器，該非暫時(shí)性計(jì)算機(jī)具有其上存儲(chǔ)的包括能夠由計(jì)算機(jī)或處理器執(zhí)行的各種代碼或可執(zhí)行指令的可執(zhí)行程序，其中存儲(chǔ)器和/或計(jì)算機(jī)可讀介質(zhì)可以包括所有形式和類型的存儲(chǔ)器以及其他計(jì)算機(jī)可讀介質(zhì)。

前述討論僅僅公開且描述了本發(fā)明的示例性實(shí)施例。本領(lǐng)域技術(shù)人員將容易從此討論和附圖以及權(quán)利要求書中認(rèn)識到，在不脫離如以下權(quán)利要求書中界定的本發(fā)明的精神和范圍的情況下可在其中進(jìn)行不同改變、修改和變型。