技術(shù)領(lǐng)域

本發(fā)明總體上涉及一種用于對準牽引聯(lián)接球和拖車掛鉤的系統(tǒng)和方法，更具體地說，涉及一種通過人機界面(HMI)輔助的可視伺服過程來對牽引車輛上的牽引聯(lián)接球與拖車上的拖車掛鉤進行自主對準的系統(tǒng)和方法。

相關(guān)技術(shù)討論

一些車輛配備有牽引聯(lián)接裝置，所述牽引聯(lián)接裝置允許拖車或其它拖曳車與車輛連接，使得牽引車輛能夠牽引拖車。通常，拖車聯(lián)接裝置安裝在臨近車輛的后保險杠的牽引車輛的后部支承結(jié)構(gòu)，包括具有特定直徑的牽引聯(lián)接球。拖曳車通常包括拖車掛鉤，所述拖車掛鉤從拖曳車的前端伸出。拖車掛鉤一般包括放置聯(lián)接球的杯子以將聯(lián)接裝置連接到拖車掛鉤上。杯內(nèi)的緊固機構(gòu)，例如金屬薄板，當其被插入杯內(nèi)以將掛鉤牢固地保持在聯(lián)接裝置上時，選擇性地置于聯(lián)接球周圍。

當拖曳車脫離牽引車輛時，拖車掛鉤通常支撐在高度可調(diào)的支撐架上，從而杯位于地面上比聯(lián)接裝置的球更高的位置上。當牽引車輛的操作員將掛鉤附接到聯(lián)接裝置時，他將牽引車輛倒退到聯(lián)接球剛好位于杯的下方的位置。一旦在這個位置，通過降低支撐架，掛鉤被下放到聯(lián)接球上。

一般，當?shù)雇藸恳囕v以將拖曳車連接到牽引車輛時，車輛操作員需要大量的經(jīng)驗和技能以將聯(lián)接球精準地置于掛鉤杯下。不考慮操作員的技能和經(jīng)驗，精準地將聯(lián)接球置于適當位置幾乎是不可能的。因此，操作員一般必須使用拖車掛鉤手動移動拖曳車向右、向左、向前或向后，以提供精準校準。由于拖曳車可能很大、很沉，移動起來十分笨重，所以這有時是難以處理的工作。

現(xiàn)代車輛通常包括一個或多個相機提供倒車輔助，提供車輛正在行駛時道路的圖像以避免碰撞，提供結(jié)構(gòu)識別，例如道路標志等。輔助車輛倒車的相機系統(tǒng)通常使用疊加或重疊在相機圖像上的可視覆蓋圖形以提供車輛倒車轉(zhuǎn)向?qū)Ш?。對于圖形在相機圖像上重疊的那些應(yīng)用，精準地校準相機相對于車輛的位置和方向是很關(guān)鍵的。相機校準一般包括確定一組參數(shù)，所述參數(shù)使相機圖像坐標與車輛坐標相關(guān)，反之亦然。一些相機參數(shù)，例如相機焦距、光心等是穩(wěn)定的，而同時其它參數(shù)，例如相機方向和位置是不穩(wěn)定的。例如，相機高度取決于車輛的荷載，其會時常變化。這種改變可能導(dǎo)致相機圖像上的車輛軌跡的重疊圖形不精準。

2014年9月3日提交的、標題為智能牽引的、轉(zhuǎn)讓給本申請的受讓人并在此被引入作為參考的美國專利申請序列號14/476，345，公開了一種通過疊加在倒車相機圖像上的圖形重疊提供可視輔助，以幫助車輛操作員在倒車時校準牽引聯(lián)接球和拖車掛鉤的系統(tǒng)和方法。所述方法包括提供相機模型，以將車輛坐標的相機圖像與世界坐標相關(guān)聯(lián)，其中所述相機模型提供圖形重疊以將具有高度的拖曳線包括在相機圖像中，所述拖曳線的高度由拖車掛鉤的估算高度確定。該方法也包括提供車輛動態(tài)模型，以當車輛圍繞旋轉(zhuǎn)中心移動時識別車輛運動。所述方法預(yù)測車輛轉(zhuǎn)向時的路徑，包括計算旋轉(zhuǎn)中心。

當車輛操作員對準牽引球和拖車掛鉤時，‘345號申請中的上述系統(tǒng)在提供可視輔助方面是有效的。然后，所述系統(tǒng)要求車輛操作員實際控制與可視輔助相關(guān)聯(lián)的車輛的制動、方向盤和節(jié)流器以提供牽引球和掛鉤之間的校準。因此，由于操作員技能水平問題，該系統(tǒng)仍有一些缺陷，其中牽引聯(lián)接球和拖車掛鉤的對準能力可通過全自動過程來改進。

技術(shù)實現(xiàn)要素：

本發(fā)明描述了用于通過人機界面(HMI)輔助的可視伺服過程來對牽引車輛上的牽引聯(lián)接球與拖車上的拖車掛鉤進行自主對準的系統(tǒng)和方法。所述方法包括車輛上的后視相機提供顯示出牽引球和掛鉤的后視圖像，其中在觸摸屏顯示器上顯示圖像。該方法包括：觸摸顯示器上的牽引球以登記所述圖像中的所述牽引球的位置；以及觸摸顯示器上的掛鉤以登記牽引球?qū)⑴c掛鉤適當對準的目標位置。所述方法提供了圍繞圖像中目標的模板圖案并且自主移動車輛，使得牽引球朝向目標移動。所述方法包括當所述車輛移動時預(yù)測目標的新位置且通過將先前的模板圖案與圍繞在預(yù)測目標周圍的圖像塊進行比較來識別當車輛移動時新圖像中的目標，當聯(lián)接球至目標的距離小于某一最小閾值時，該方法使車輛停止。

根據(jù)下面的描述和所附權(quán)利要求，結(jié)合附圖，本發(fā)明的另外的特征將變得明顯。

附圖說明

圖1是示出了定位相對于包括有牽引掛鉤的拖車的包括有牽引聯(lián)接裝置的車輛的相機圖像的圖示；

圖2是用于自主定位車輛以將牽引聯(lián)接球與牽引掛鉤對準的系統(tǒng)的示意性框圖；

圖3是示出了圖像坐標至世界坐標轉(zhuǎn)換的變量的轉(zhuǎn)向路徑移動的車輛的頂視圖的圖示；

圖4是示出了用于通過HMI輔助的可視伺服過程來自主定位牽引球的過程的流程圖；以及

圖5是用于在自主定位牽引球的過程中提供用于對掛鉤的位置進行估計的卡爾曼-布西濾波的系統(tǒng)的示意性框圖。

具體實施方式

本發(fā)明的實施例的以下討論的涉及用于自主定位車輛使得車輛上的牽引聯(lián)接球與拖車掛鉤對準的系統(tǒng)和方法在本質(zhì)上僅是示例性的，并且決不旨在限制本發(fā)明或者其應(yīng)用或用途。例如，如所討論的，所述系統(tǒng)和方法具有用于自主定位車輛使得牽引聯(lián)接球與拖車掛鉤對準的特定應(yīng)用。然而，本領(lǐng)域技術(shù)人員將理解，所述系統(tǒng)和方法可以具有用于其他移動平臺(例如，在火車、機器、拖拉機、船、休閑車等上)的應(yīng)用。

本發(fā)明提出了用于自主定位車輛使得通過HMI輔助的可視伺服過程來將車輛上的牽引聯(lián)接球與拖車掛鉤對準的系統(tǒng)和方法。下面將詳細討論，操作員將使車輛定位成接近拖車使得來自車輛后部處的相機的后視圖像顯示拖車和拖車掛鉤。然后操作員將通過示出圖像的觸摸屏來識別圖像中聯(lián)接球的位置、識別掛鉤上的目標，然后啟動指令，其中車輛將自主移動車輛使得聯(lián)接球與目標對準。

圖1是由安裝至車輛12后部的相機提供的后視相機圖像10的圖示，其中車輛12包括具有從其延伸的牽引聯(lián)接球16的牽引聯(lián)接件14。后備控制系統(tǒng)18通常示出為在車輛12上，并且包括對于如下面所討論的本發(fā)明的操作來說需要的所有的相機、相機圖像處理器、算法、自主車輛控制器等。框20是車輛12上的觸摸屏顯示器，圖像10可以在所述觸摸屏顯示器上顯示以允許車輛操作員看見圖像10并且提供如本文中所討論的觸摸屏輸入。圖像10示出了在車輛12后面的拖車22，拖車22包括具有位于在地面上方一定距離處并且高于牽引球16的掛鉤杯26的拖車掛鉤24。

一旦車輛操作員已將車輛12定位在拖車22前方且相機圖像10顯示拖車22，則車輛操作員將通過觸摸顯示屏20上的牽引球16的圖像來登記牽引球16以便登記圖像10中的牽引球16的位置。將登記圖像10中的聯(lián)接球16的位置的過程可能在先前已經(jīng)執(zhí)行，其中圖像10中的牽引球16的位置應(yīng)當總是在相同位置。接來下，操作員將通過觸摸顯示器20上的杯26來識別目標位置，其中本文的杯26被稱為目標。本領(lǐng)域技術(shù)人員將容易認識到，通過觸摸屏操作識別圖像中元件的位置的適合的算法和過程。然后車輛操作員將車輛12轉(zhuǎn)換成反向，或者提供一些其他合適的命令，該命令為系統(tǒng)18的指示以接管驅(qū)動車輛12以將牽引球16定位于目標位置處，而無需車輛操作員的任何其他干預(yù)。如將在下文詳細討論，當車輛12移動且圖像10中的目標的位置改變時，目標被跟蹤和鎖定以識別目標的新位置。每次提供新圖像時，計算聯(lián)接球16和目標之間的距離，且一旦聯(lián)接球16和目標之間的距離在某個最小閾值范圍內(nèi)，比如一英寸，則車輛12停止，且自主對準過程結(jié)束，其中然后車輛操作員必須降低掛鉤24使得聯(lián)接球16定位于杯26內(nèi)。在對準操縱期間，車輛操作員將監(jiān)控周圍對象，比如人或動物，如果碰撞路徑通過觸摸制動器或通過提供車輛轉(zhuǎn)向而存在，則其允許車輛操作員中止自主聯(lián)接對準操縱。

圖2是系統(tǒng)40的高級示意性框圖，該系統(tǒng)40在如上所述的后備和聯(lián)接對準操縱期間自主地定位車輛12。系統(tǒng)40包括后視相機42，該后視相機42以預(yù)定采樣速率將圖像提供到可視伺服控制器44，該可視伺服控制器44在操作期間使用反饋分析來控制車輛12的位置。此外，人機接口(HMI)輸入在框46處通過如上所述的觸摸屏顯示器20提供給控制器44。盡管將觸摸屏顯示器20的用途應(yīng)用于本文所討論的實施例中，但其他技術(shù)也可以用于識別圖像10中的聯(lián)接球16和目標的位置。一旦牽引球16和目標已經(jīng)識別并通過HMI輸入來登記，車輛操作員便初始化對準操作，控制器44將向發(fā)動機控制模塊(ECM)48提供節(jié)流和制動命令信號以便以所需速度朝拖車22移動車輛12，以及向具有轉(zhuǎn)矩疊加的電動助力轉(zhuǎn)向(EPS)控制模塊50提供轉(zhuǎn)向角命令信號以為操縱提供車輛轉(zhuǎn)向。當車輛12移動時，圖像10中的目標的位置也移動，其中控制器44重新計算來自與本文所討論一致的新圖像的目標的新位置。當車輛12繼續(xù)朝目標移動且圖像10中的目標的位置持續(xù)更新時，控制器44試圖最小化牽引球16和目標之間的距離使得當他們處于相同位置時該過程停止，其應(yīng)該將牽引球16直接定位在杯26之下。

當初始登記目標時，系統(tǒng)40識別圖像坐標(u，v)中的目標位置并提供由例如像素陣列或特征描述符限定的目標圖案或圍繞目標的模板T，如圖1中的模板30所示，該像素陣列或特征描述符為包括目標的圖像10的一些部分。一旦已經(jīng)識別目標位置且已經(jīng)接合系統(tǒng)40，則當車輛12移動以對準聯(lián)接球16和目標時目標被跟蹤并鎖定?；谲囕v12的速度和轉(zhuǎn)向角，算法預(yù)測在每個樣本點處的目標的圖像坐標中的新位置(u'，v')。當從相機42獲取新圖像時，算法使用如下公式(1)和(2)圍繞預(yù)定義窗口W內(nèi)的預(yù)測位置(u'，v')搜索新圖像，該預(yù)定義窗口W定義為圖像塊I(u，v)，并表示為圖1中的虛線框塊32：

min_u,v||T-I(u,v)||²，(1)

其中：

min(|u-u′|,|v-v′|)<W.(2)

當在窗口32中發(fā)現(xiàn)與模板30匹配的圖像時，算法將由T表示的當前模板30替換為新匹配模板，其中目標的新位置(u'，v')變?yōu)槟繕说漠斍拔恢?u，v)。當獲取新圖像時，算法重復(fù)該過程?？梢陨釛壟f模板T，或者可以應(yīng)用平均過程，其中當車輛12移動時保留一定數(shù)量的舊模板T。

如上所述，控制器44控制車輛12的轉(zhuǎn)向角，其轉(zhuǎn)換為路面車輪角度θ。在一個實施例中，該算法提供開環(huán)控制以計算轉(zhuǎn)向角來使得牽引球16的位置和目標之間的距離最小。為此，該算法需要將圖像10中的圖像坐標(u，v)轉(zhuǎn)換成世界坐標(x，y)。圖3是具有軸距b的車輛62的俯視圖60，其中車輛62相對于拐點66沿著彎道64轉(zhuǎn)向，并且圓68表示牽引球16的位置而加號70表示目標位置。聯(lián)接球16在世界坐標中的位置被識別為q＝(x_H，y_H)^T，而目標在世界坐標中的位置被識別為r＝(x，y)^T。算法將圖像10中的每個像素位置(u，v)映射到x-y世界坐標中的俯視圖上。具體地說，單應(yīng)矩陣H如下所述在與牽引球16相同的高度處將作為u＝(u，v，1)^T的像素映射到x-y平面上，其平行于地面。

p＝(p₁，p₂，p₃)^T， (3)

p＝Hu， (4)

x＝p₁/p₃， (5)

y＝p₂/p₃， (6)

其中，單應(yīng)矩陣H如下定義：

$H=Kc(Rot+\frac{{\mathrm{tn}}^T}{d})K^{-1},---\left(7\right)$

并且其中Kc是內(nèi)在矩陣，Rot是相機旋轉(zhuǎn)矩陣，t是相機中心，d是牽引球16的高度，以及：

n^TX＝d， (8)

是平面等式。一旦已經(jīng)校準好相機42，內(nèi)在矩陣Kc、相機旋轉(zhuǎn)矩陣Rot以及相機中心t就是已知的數(shù)值。

如果聯(lián)接球位置q和掛鉤位置r之間的距離在預(yù)定閾值內(nèi)，由于連接器16處于目標位置處因而該算法停止并保持車輛12。如果聯(lián)接球位置q和掛鉤位置r之間的距離并不在預(yù)定閾值內(nèi)，則算法計算期望的方向盤角度以將車輛12轉(zhuǎn)向至目標位置，例如：

$R=\frac{x^2+y^2}{2y},---\left(9\right)$

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{b}{R}\right).---\left(10\right)$

對于初始步驟，算法將車輛12保持在全制動，并且將方向盤移動至期望的方向盤角度，否則其在伺服方向盤角度的同時釋放制動并控制車速v。

圖4是示出用于使得車輛12自主地轉(zhuǎn)向以使得牽引球16與如上所述的目標對準的過程的流程圖80。該算法在框塊82處啟動，并且在判決菱形塊84處確定牽引球16是否被登記。如果在判決菱形塊84處牽引球16未被登記，則如上所述，該算法在框塊86處促使車輛操作員通過觸碰顯示器26來識別牽引球16在圖像10中的位置，然后該算法在框塊88處將牽引球16在圖像坐標中的位置進行登記并存儲。一旦該算法在框塊88處已登記牽引球16的位置或者在判決菱形塊84處已事先登記該牽引球16的位置，該算法就在判決菱形塊90處確定圖像10中的目標是否已被識別。如果這是用于使得牽引球16與目標對準的操作的開始，則目標將不會已在判決菱形塊90處被識別，且過程將移至框塊92，在此車輛操作員將如上所述識別目標在圖像10上的位置。該算法也在框塊92處定義圍繞目標的模板30。

如果在判決菱形塊90處該目標已被識別或者在框塊92處新的目標已被識別，算法就在判決菱形塊94處確定是否已從相機42獲得新的圖像。在對準操縱開始時，該新的圖像可以是在算法已經(jīng)將車輛12移向目標之前的原始圖像，或者可以是在車輛12處于聯(lián)動對準操縱時獲得的新的圖像。如果在判決菱形塊94已獲得了新的圖像，該算法就在框塊96處評估車輛12的速度、車輛12的轉(zhuǎn)向角、車輛12的橫擺率、聯(lián)接軌跡等等以使得車輛移向目標。該算法在框塊98處提供圖像校正，從而以本領(lǐng)域技術(shù)人員所良好理解的方式去除最新圖像中的失真。然后，該算法在框塊100處縮放或重新定位圖像塊32并且使用評估的車輛12的速度、車輛12的轉(zhuǎn)向角、車輛12的橫擺率、聯(lián)接軌跡等等來預(yù)測新圖像中的目標位置(u'，v')。然后，該算法在框塊102處執(zhí)行圖像塊32內(nèi)的圖案匹配操作以識別新窗口中的模板30。然后，該算法在判決菱形塊104處確定當前模板T和圖像塊32中的模板之間的匹配是否已被發(fā)現(xiàn)，并且如果未被發(fā)現(xiàn)的話，通過停止車輛12而在框塊106處中止該過程，并且返回至框塊92來使得車輛操作員再次輸入目標位置。如果在判決菱形塊104處已在縮放圖像塊32中發(fā)現(xiàn)了與當前模板T的匹配，則算法例如在框塊108處使用Kalman-Bucy濾波過程來評估在新圖像中的目標位置。

圖5是示出了使用卡爾曼-布西(Kalman-Bucy)濾波過程來確定新圖像中的目標位置的一種過程的實例的系統(tǒng)110的方框圖。系統(tǒng)110具有四種輸入，即線路112上的路面車輪角度θ、線路114上的車輛速度v、線路116上的圖像平面中的掛鉤定位p的位置的測量值(x₀，y₀)以及線路118上的卡爾曼濾波器增益K。目標的估計位置設(shè)置為線路120上的輸出。使用來自前述計算的路面車輪角度θ、車輛速度v和估計的目標位置在框122處將目標的位置的時間導(dǎo)數(shù)確定為：

$\stackrel{\&CenterDot;}{x}=-v+\mathrm{\&omega;}y,---\left(11\right)$

$\stackrel{\&CenterDot;}{y}=-\mathrm{\&omega;}x,---\left(12\right)$

其中：

$\mathrm{\&omega;}\frac{tan\mathrm{\&theta;}}{b}v.---\left(13\right)$

在框124處目標的位置的時間導(dǎo)數(shù)被積分以生成世界坐標(x，y)中的目標定位。在減法器126中，目標定位(x，y)從掛鉤定位p的位置的測量值(x₀，y₀)減去，以產(chǎn)生革新誤差e，在乘法器128中將該革新誤差e乘以卡爾曼增益K。然后在加法器130中增益調(diào)整后的誤差信號Ke加上目標定位(x，y)以提供線路120上的目標的估計位置

返回到流程圖80，一旦在如上所述的框108處獲得目標的位置，則在框塊132處算法計算從聯(lián)接球16到目標的距離，并在判斷方塊134處確定該距離是否小于一些預(yù)定值。如果在判斷方塊134處該距離小于閾值，則算法知道牽引球16與目標對齊，且在框塊136處制動器被應(yīng)用于停止車輛。如果在判斷方塊134處該距離小于閾值，則在框塊138處算法計算所需轉(zhuǎn)向角度以及車輛速度，并在框塊140處將這些信號提供給控制模塊48和50以移動車輛12以減小牽引球16和目標之間的距離。然后算法返回至判斷方塊94以確定新圖像是否已經(jīng)到達。

本領(lǐng)域技術(shù)人員將完全理解，已經(jīng)在本文討論以描述本發(fā)明的幾種以及各種步驟和過程可以參考通過計算機、處理器或者使用電現(xiàn)象處理和/或轉(zhuǎn)換數(shù)據(jù)的其他電子計算設(shè)備執(zhí)行的操作。這些計算機和電子設(shè)備可以采用各種易失性和/或非易失性存儲器，包括具有存儲在其上的可執(zhí)行程序的非易失性計算機可讀介質(zhì)，該可執(zhí)行程序包括能夠通過計算機或處理器執(zhí)行的各種代碼或可執(zhí)行指令，其中該存儲器和/或計算機可讀介質(zhì)可包括所有形式和類型的存儲器和其他計算機可讀介質(zhì)。

上文的討論僅僅公開和描述了本發(fā)明的示例性實施例。本領(lǐng)域技術(shù)人員將很容易認識到，根據(jù)這一討論并根據(jù)所附附圖和權(quán)利要求，在不背離以下權(quán)利要求限定的本發(fā)明的精神和范圍的前提下，可作出各種改變、修飾和變化。