專利名稱：駕駛操作輔助器及記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于輔助器汽車的駕駛操作的駕駛操作輔助器，以及用于存儲(chǔ)使計(jì)算機(jī)執(zhí)行駕駛操作輔助器的每一個(gè)裝置的所有或一些功能的程序。
背景技術(shù)：
一般傳統(tǒng)的駕駛操作輔助器由檢測(cè)方向盤的轉(zhuǎn)向角度的轉(zhuǎn)向傳感器來估計(jì)對(duì)應(yīng)于汽車的倒車的方向盤轉(zhuǎn)向角度的汽車移動(dòng)軌跡。當(dāng)汽車倒車時(shí)，顯示由攝像機(jī)拍攝到的后面或側(cè)后面視野的圖像，另外，當(dāng)操作方向盤時(shí)，對(duì)應(yīng)于方向盤的轉(zhuǎn)向角度估算到的汽車移動(dòng)軌跡疊加在后面或側(cè)后面視野的圖像上。根據(jù)這個(gè)輔助器，將如下所述執(zhí)行司機(jī)的駕駛操作。即，司機(jī)在固定汽車方向盤時(shí)，將汽車移動(dòng)到汽車可以適當(dāng)停車的位置。然后，在該位置處，司機(jī)找出能夠?qū)⑵囈苿?dòng)到停車的位置，而不進(jìn)行任何方向盤的操作，卻確定了由方向盤操作估計(jì)的汽車移動(dòng)軌跡。然后，通過保持轉(zhuǎn)向角度而使汽車倒車到停車位置，理論上完成了停車。
在第1-14700號(hào)日本專利公開公告中揭示了上述駕駛操作輔助器的傳統(tǒng)例子。
但是，為了通過使用上述輔助器停車，必須找到能夠使汽車移動(dòng)到停車位的位置，然后確定方向盤所固定的轉(zhuǎn)向角度。為了掌握這種操作，必須有技能。另外，當(dāng)要駕駛的汽車的尺寸改變時(shí)，感覺改變。由此，在技能中積累的駕駛技巧不太有用。
附帶地，為了停車，除非附近沒有障礙物的情況，否則，從停車操作一開始即保持方向盤的轉(zhuǎn)向角度恒定，非常難以完成停車操作。例如，為了執(zhí)行平排停車，司機(jī)首先通過使方向盤轉(zhuǎn)到適當(dāng)?shù)姆较?，倒車汽車，同時(shí)將汽車從停車操作開始的位置放置到停車的位置，然后通過在汽車恰當(dāng)?shù)氐管嚂r(shí)，反向地轉(zhuǎn)動(dòng)方向盤，將汽車移動(dòng)到目標(biāo)位置。即，在進(jìn)行平排停車作為一個(gè)例子的情況下，難以在保持方向盤的轉(zhuǎn)向角度恒定的情況下停車。
另外，對(duì)于傳統(tǒng)的輔助器，如果司機(jī)稍稍移動(dòng)汽車的方向盤，則顯示由一微小轉(zhuǎn)向角變化重新估計(jì)的汽車移動(dòng)路線。由此，可能使司機(jī)受擾亂。
即，對(duì)于傳統(tǒng)的駕駛操作輔助器，在確定通過合成停車位、空間周圍狀態(tài)、以及將汽車引導(dǎo)到該停車位的路線而得到的圖像時(shí)，司機(jī)無(wú)法一眼就直覺地發(fā)現(xiàn)汽車可以容易地移動(dòng)到停車位的地方。
本發(fā)明的揭示本發(fā)明用于解決傳統(tǒng)的駕駛操作輔助器的上述問題，并且其目的是提供一種駕駛操作輔助器，由這種輔助器，通過顯示當(dāng)司機(jī)執(zhí)行預(yù)定的一系列駕駛操作時(shí)，汽車的移動(dòng)以及周圍狀況，司機(jī)可以直接確定根據(jù)預(yù)定的一系列駕駛操作引起的汽車移動(dòng)與周圍狀況之間的關(guān)系，并且可以減輕司機(jī)的負(fù)擔(dān)。
另外，本發(fā)明的另一個(gè)目的是提供一種記錄媒體，用于存儲(chǔ)一程序，該程序用于使計(jì)算機(jī)執(zhí)行上述每一個(gè)駕駛操作輔助器裝置的所有或一些功能。
為了解決上述問題，本發(fā)明提供了一種駕駛操作輔助器，其特征是包含周圍狀況成像裝置，用于由攝像機(jī)使汽車周圍狀況成像，并產(chǎn)生周圍狀況的圖像和/或存儲(chǔ)所產(chǎn)生的周圍狀況圖像；合成圖像產(chǎn)生裝置，用于在周圍狀況圖像上疊加一假設(shè)移動(dòng)圖形(這是視頻數(shù)據(jù)，示出在執(zhí)行一系列預(yù)定駕駛操作的情況下，汽車的移動(dòng))，產(chǎn)生合成圖像；以及顯示裝置，用于顯示合成圖像。
本發(fā)明的第2個(gè)發(fā)明(對(duì)應(yīng)于權(quán)利要求26[原文如此，權(quán)利要求33])是記錄媒體，其特征在于存儲(chǔ)一程序，該程序用于使計(jì)算機(jī)執(zhí)行每一個(gè)上述駕駛操作輔助器的裝置的所有或一些功能。
附圖概述圖1是方框圖，示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的配置；圖2示出配備有本發(fā)明的第一實(shí)施例的駕駛操作輔助器的程序部分101的攝像機(jī)的汽車的頂示圖和正視圖；圖3是示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的虛擬攝像機(jī)的觀察區(qū)的正視圖；圖4是示出從本發(fā)明的第一實(shí)施例的駕駛操作輔助器的虛擬攝像機(jī)看到的周圍狀況的圖像的示圖；圖5(a)和5(b)是示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的假設(shè)移動(dòng)數(shù)據(jù)的示圖；圖6(a)和6(b)是示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的假設(shè)移動(dòng)數(shù)據(jù)的示圖；圖7是示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖8是示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖9是示出執(zhí)行平排停車至左側(cè)時(shí)汽車的移動(dòng)的示圖；圖10(a)到10(c)是示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖11示出存儲(chǔ)在本發(fā)明的第一實(shí)施例的駕駛操作輔助器的假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形的各種示圖；圖12是示出本發(fā)明的第一實(shí)施例的駕駛操作輔助器的合成圖像的修改的示圖；圖13是示出本發(fā)明的第二實(shí)施例的駕駛操作輔助器的配置的方框圖；圖14(a)到14(c)是示出本發(fā)明的第二實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖15是示出本發(fā)明的第三實(shí)施例的駕駛操作輔助器的配置的方框圖；圖16(a)到16(c)是示出本發(fā)明的第三實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖17是示出本發(fā)明的第四實(shí)施例的駕駛操作輔助器的配置的方框圖；圖18是示出本發(fā)明的第五實(shí)施例的駕駛操作輔助器的配置的方框圖圖19(a)到19(c)是本發(fā)明的第五實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖20是示出本發(fā)明的第六實(shí)施例的駕駛操作輔助器的配置的方框圖；圖21(a)到21(c)是示出本發(fā)明的第六實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖22是本發(fā)明的第六實(shí)施例的駕駛操作輔助器的修改的配置的方框圖；圖23是示出本發(fā)明的第七實(shí)施例的駕駛操作輔助器的配置的方框圖；圖24是示出存儲(chǔ)在本發(fā)明的第七實(shí)施例的駕駛操作輔助器的映象表2302中的映象表的概念圖；
圖25是示出本發(fā)明的第八實(shí)施例的駕駛操作輔助器的配置的方框圖；圖26(a)到26(b)是示出本發(fā)明的第八實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖27是示出本發(fā)明的第九實(shí)施例的駕駛操作輔助器的配置的方框圖；圖28(a)到28(c)是示出本發(fā)明的第九實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖29是示出本發(fā)明的第十實(shí)施例的駕駛操作輔助器的配置的方框圖；圖30(a)和30(b)是示出本發(fā)明的第十實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖31是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的配置的方框圖；圖32(a)和32(b)是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖33是示出本發(fā)明的第1十一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖34是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖35是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖36是用于解釋本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的接觸危險(xiǎn)估計(jì)功能的示圖；圖37是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖38是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的接觸危險(xiǎn)估計(jì)功能的示圖(原文為表達(dá)式)；圖39示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的假設(shè)移動(dòng)數(shù)據(jù)的例子；圖40是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖41是示出本發(fā)明的第十一實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖42是示出本發(fā)明的第十二實(shí)施例的駕駛操作輔助器的配置的方框圖；
圖43是示出本發(fā)明的第十二實(shí)施例的駕駛操作輔助器的示圖；圖44是示出第十二實(shí)施例的駕駛操作輔助器的配置的方框圖；圖45是示出本發(fā)明的第十二實(shí)施例的駕駛操作輔助器的合成圖像的示圖；圖46是示出本發(fā)明的第十二實(shí)施例的駕駛操作輔助器的合成圖像的示圖；符號(hào)說明101成像部分102疊加部分103攝像機(jī)參數(shù)表104空間重新配置裝置105空間數(shù)據(jù)緩沖器106視點(diǎn)轉(zhuǎn)換裝置107顯示裝置108假設(shè)移動(dòng)圖形存儲(chǔ)裝置1301、1501開始檢測(cè)裝置1302、1703積分裝置1303F、1503、1704空間轉(zhuǎn)換裝置1502圖像跟蹤裝置1701開始輸入裝置1702駕駛控制裝置1801軌跡校正裝置2001CG-圖像合成裝置2201攝像機(jī)2301映象裝置2302映射表2501最后位置輸入裝置2502開始位置確定裝置2503空間固定裝置實(shí)施本發(fā)明的最佳實(shí)施例下面，將參照附圖，描述本發(fā)明的實(shí)施例。
(第一實(shí)施例)首先，將參照附圖，描述本發(fā)明的第一實(shí)施例。
圖1是示出本實(shí)施例的駕駛操作輔助器的配置的方框圖。本實(shí)施例的駕駛操作輔助器主要用于進(jìn)入車庫(kù)或平排停車等的協(xié)助駕駛操作。
如圖1所示，本實(shí)施例的駕駛操作輔助器由以下這些部分構(gòu)成包含N個(gè)攝像機(jī)(攝像機(jī)1到攝像機(jī)N)的成像部分101、用于存儲(chǔ)攝像機(jī)參數(shù)(這是攝像機(jī)的特征)的攝像機(jī)參數(shù)表103、用于產(chǎn)生空間數(shù)據(jù)的空間配置裝置104，其空間數(shù)據(jù)使每一個(gè)構(gòu)成由攝像機(jī)攝出的圖像的象素根據(jù)攝像機(jī)參數(shù)與三維空間中的一端相關(guān)；用于通過對(duì)照空間數(shù)據(jù)，產(chǎn)生從預(yù)定的視點(diǎn)觀察的圖像作為周圍狀況的圖像的視點(diǎn)轉(zhuǎn)換裝置106，用于暫時(shí)存儲(chǔ)空間數(shù)據(jù)的空間數(shù)據(jù)緩沖器105，用于存儲(chǔ)包含假設(shè)移動(dòng)圖形的假設(shè)移動(dòng)數(shù)據(jù)的假設(shè)移動(dòng)圖形存儲(chǔ)裝置108，用于將假設(shè)移動(dòng)圖形疊加在周圍狀況圖像上，并產(chǎn)生合成圖像的疊加裝置102，以及用于顯示合成圖像的顯示裝置107。
包含成像部分101、攝像機(jī)參數(shù)表103、空間重新配置裝置104和視點(diǎn)轉(zhuǎn)換裝置106的裝配對(duì)應(yīng)于本發(fā)明的周圍狀況成像裝置，疊加裝置102對(duì)應(yīng)于本發(fā)明的合成圖像產(chǎn)生裝置。
首先，下面將描述成像部分101的詳細(xì)配置，以及一過程，其中根據(jù)由成像部分101攝成圖像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況的圖像。
圖2示出設(shè)置有成像部分101的攝像機(jī)的汽車的項(xiàng)示圖和正視圖。在這個(gè)例子中，將六個(gè)攝像機(jī)201到206安排在汽車的頂部，N=6。這六個(gè)攝像機(jī)201到206如此設(shè)置，從而每一個(gè)攝像機(jī)的一部分與另一個(gè)攝像機(jī)的攝像范圍的一部分疊加，從而水平地不產(chǎn)生死角。
攝像機(jī)參數(shù)表103存儲(chǔ)上述每一個(gè)攝像機(jī)的攝像機(jī)參數(shù)(示出諸如設(shè)置位置、設(shè)置角度、透鏡應(yīng)變修正值、和攝像機(jī)的聚焦距離等攝像機(jī)特征的參數(shù))?？臻g重新配置裝置104產(chǎn)生空間數(shù)據(jù)，它根據(jù)攝像機(jī)參數(shù)，使構(gòu)成由每一個(gè)攝像機(jī)攝出的圖像的每一個(gè)象素與以汽車為基礎(chǔ)的三維空間中的一點(diǎn)相關(guān)?？臻g數(shù)據(jù)緩沖器105暫時(shí)存儲(chǔ)上述空間數(shù)據(jù)，并且視點(diǎn)轉(zhuǎn)換裝置106通過對(duì)照空間數(shù)據(jù)和由此合成象素，產(chǎn)生從隨意的視點(diǎn)(諸如圖3所示的虛擬攝像機(jī)301的視點(diǎn))看到的圖像，作為周圍狀況的圖像。
圖4示出從圖3所示的虛擬攝像機(jī)301的視點(diǎn)看到的周圍狀況的圖像。這個(gè)例子示出一種執(zhí)行平排停車的情況，其中在周圍狀況的圖像上顯示兩輛當(dāng)前正在停車的汽車，作為障礙物401和障礙物402。
然后，將描述一過程，其中疊加裝置102產(chǎn)生本發(fā)明的合成圖像，最后，顯示裝置107顯示合成圖像。
假設(shè)移動(dòng)圖形存儲(chǔ)裝置108存儲(chǔ)假設(shè)移動(dòng)圖形，它是視頻數(shù)據(jù)，示出應(yīng)用典型的汽車駕駛操作的汽車的移動(dòng)，還存儲(chǔ)了時(shí)序數(shù)據(jù)，它示出汽車移動(dòng)距離(由于輪胎的旋轉(zhuǎn)引起的移動(dòng)距離)與方向盤的轉(zhuǎn)向角度(方向盤的旋轉(zhuǎn)角度)之間的關(guān)系，作為本發(fā)明的假設(shè)移動(dòng)數(shù)據(jù)。
在存儲(chǔ)的假設(shè)移動(dòng)數(shù)據(jù)中，在圖5中示出執(zhí)行將汽車平行地停到左側(cè)的駕駛操作的假設(shè)移動(dòng)數(shù)據(jù)示出圖5中，而用于執(zhí)行將汽車停到車庫(kù)中，置于右側(cè)的駕駛操作的假設(shè)移動(dòng)數(shù)據(jù)示于圖6中。圖5(a)和圖6(a)分別示出假設(shè)移動(dòng)圖形，它是根據(jù)圖5(b)和圖6(b)的時(shí)序數(shù)據(jù)對(duì)應(yīng)于駕駛操作的視頻數(shù)據(jù)，并示出操作開始的位置501和601(對(duì)應(yīng)于本發(fā)明的假設(shè)移動(dòng)開始區(qū))、操作終止的位置502和602(對(duì)應(yīng)于本發(fā)明的假設(shè)移動(dòng)終止區(qū))，和輪胎的軌跡503和603(對(duì)應(yīng)于示出本發(fā)明的汽車輪胎軌跡的視頻數(shù)據(jù))。
首先，司機(jī)由圖形選擇裝置(這里未說明)選擇一個(gè)存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形。疊加裝置102將所選出的假設(shè)移動(dòng)圖形(例如圖5(a))疊加在由視點(diǎn)轉(zhuǎn)換裝置106(例如圖4)產(chǎn)生的周圍狀況的圖像上，以將它們合成，并產(chǎn)生本發(fā)明的合成圖像，而顯示裝置107顯示合成圖像。假設(shè)這樣的話，例如，通過將圖5(a)中的操作開始的位置501調(diào)節(jié)到汽車當(dāng)前的位置，操作終止的位置502成為當(dāng)從當(dāng)前位置開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的駕駛操作時(shí)的操作終止時(shí)的位置，即停車位置。
圖7示出通過合成圖5所示的假設(shè)移動(dòng)圖形得到的合成圖像，圖8示出通過合成圖6所示的假設(shè)移動(dòng)圖形得到的合成圖像。
即，在圖7(圖8)中，通過將汽車移動(dòng)到開始的位置701(801)(其中，障礙物401和402(803和804)不妨礙停車位置702(802)、輪胎的軌跡503(603)和開始的位置701(801))，司機(jī)可以平排停車至左側(cè)(停入車庫(kù)至右側(cè))，并根據(jù)時(shí)序數(shù)據(jù)從該位置開始一連串駕駛操作，以便將汽車停在停車位置702(802)。
下面，通過使用執(zhí)行平排停車至左側(cè)作為一個(gè)例子，并對(duì)照?qǐng)D9和圖10a到10c，描述將汽車移動(dòng)到開始的位置701(801)。
圖9是示出當(dāng)執(zhí)行平排停車至左側(cè)時(shí)，汽車的移動(dòng)。如圖9所示，為了將汽車停在目標(biāo)停車位置902，汽車的司機(jī)必須將位于當(dāng)前位置901處的汽車移動(dòng)到目標(biāo)開始的位置903，其方法是通過在調(diào)節(jié)假設(shè)移動(dòng)圖形的操作終止的位置502時(shí)，假設(shè)操作開始的位置501，以執(zhí)行平排停車至左側(cè)到達(dá)目標(biāo)停車位置902作為目標(biāo)開始位置903的目標(biāo)停車位置902。
圖5(a)中操作終止位置502和操作開始位置501之間的相對(duì)位置關(guān)系對(duì)應(yīng)于根據(jù)圖5(b)中的時(shí)序數(shù)據(jù)執(zhí)行的駕駛操作的情況。對(duì)于實(shí)際的駕駛操作，可以根據(jù)當(dāng)前操作的方向盤的精細(xì)調(diào)節(jié)進(jìn)行精細(xì)的調(diào)節(jié)。
當(dāng)不使用本實(shí)施例的駕駛操作輔助器時(shí)，司機(jī)必須將汽車移動(dòng)到目標(biāo)開始位置903，其方法是根據(jù)可以從汽車內(nèi)通過直接觀察或鏡子確定的場(chǎng)景，假設(shè)障礙物401和402以及目標(biāo)停車位置902。假設(shè)這樣的話，有一個(gè)問題，即，司機(jī)的用于根據(jù)從汽車內(nèi)通過直接觀察或鏡子確定的場(chǎng)景來確定障礙物401和402以及目標(biāo)停車位置902需要司機(jī)的熟練的操作。另外，甚至當(dāng)汽車的尺寸，或鏡子的位置變化時(shí)，有一個(gè)問題，即，司機(jī)無(wú)法容易地適用于變化。
但是，當(dāng)使用本實(shí)施例的駕駛操作輔助器時(shí)，將圖5(a)所示的假設(shè)移動(dòng)圖形疊加到從虛擬攝像機(jī)的視點(diǎn)看到的周圍狀況的圖像，就好象從如圖4所示的汽車上面的位置拍攝的圖像，由此，產(chǎn)生圖7所示的合成圖像，并且對(duì)司機(jī)顯示。
由此，在執(zhí)行將汽車移動(dòng)到如圖9所示的目標(biāo)開始位置903的駕駛操作的時(shí)間上，對(duì)應(yīng)于當(dāng)前位置與輪胎的軌跡，通過顯示將汽車的當(dāng)前位置901的調(diào)節(jié)到如圖5(a)所示的操作開始位置501，如圖10(a)到10(c)所示，當(dāng)假設(shè)當(dāng)前位置901為操作開始位置501時(shí)，顯示作為停車位置1001的操作結(jié)束位置502，作為停車位置1001。當(dāng)汽車位于停車位置1001和目標(biāo)停車位置902一致的當(dāng)前位置901時(shí)，完成了移動(dòng)到目標(biāo)開始位置903的操作。
即，如果當(dāng)顯示裝置107上顯示圖10(a)顯示的合成圖像時(shí)，從該位置上開始停車操作，則停車位置1001與障礙物402疊加。由此，可以一眼就確定停車操作必須從汽車進(jìn)一步向前移動(dòng)的位置(圖10(a)中向前)開始。
另外，如果從在顯示裝置107上顯示的圖10(b)中的合成圖像2的位置開始停車操作時(shí)，輪胎的軌跡與障礙物401疊加。由此，司機(jī)可以一眼就確定停車操作必須從汽車進(jìn)一步倒車的位置開始(圖10(a)中的朝下)。
另外，如果從在顯示裝置107上顯示圖10(c)中的合成圖像3的位置開始停車操作，則輪胎的軌跡不與障礙物401或402疊加，并且司機(jī)可以一眼就確定停車位置1001是適合于停車的位置。由此，可以確定停車操作可以從該位置開始。
由此，通過虛擬地合成示出了從汽車上面看的汽車、周圍的障礙物、停車終止位置和輪胎的軌跡之間位置上的關(guān)系的圖像，并向司機(jī)顯示合成圖像顯示給司機(jī)，司機(jī)可以一眼就直接確定它們之間的關(guān)系。結(jié)果，司機(jī)一眼就可以確定適合于停車操作開始的位置，容易地將汽車移動(dòng)到一個(gè)地方，并開始停車操作。由此，可以更加安全和精確地將汽車停到希望的位置。
假設(shè)移動(dòng)圖形操作開始和終止位置以及輪胎軌跡對(duì)于每一輛汽車是固有的。例如，它們?cè)谛〉钠嚭痛蟮钠囍邢嗖詈艽?。這可以通過將假設(shè)移動(dòng)圖形存儲(chǔ)在圖1所示的每一輛汽車的假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中而設(shè)定。由此，即使汽車轉(zhuǎn)換為另外一輛，司機(jī)仍然可以執(zhí)行駕駛操作，同時(shí)確定對(duì)應(yīng)于汽車的假設(shè)移動(dòng)圖形和周圍障礙物之間的關(guān)系。
另外，當(dāng)更換汽車時(shí)，認(rèn)為按照到汽車上的攝像機(jī)的位置和數(shù)量也改變了。但是，這也可以通過圖1中的攝像機(jī)參數(shù)表103存儲(chǔ)每一輛汽車的每一個(gè)攝像機(jī)的攝像機(jī)參數(shù)的事實(shí)來解決，并且向司機(jī)示出的圖像不直接受到影響。由此，即使更換汽車，由此攝像機(jī)的位置也改變，仍然可以執(zhí)行駕駛操作，同時(shí)，確定對(duì)應(yīng)于顯示在合成圖像(幾乎類似于更換汽車之前顯示的圖像)中的汽車的假設(shè)移動(dòng)圖形和周圍障礙物之間的關(guān)系，司機(jī)可以整形駕駛操作。
如上所述，根據(jù)該實(shí)施例，可在諸如停車等傳統(tǒng)上需要對(duì)司機(jī)的相當(dāng)技巧的駕駛操作中，一眼就直接確定駕駛汽車、障礙物和目的位置，執(zhí)行更為安全和精確的駕駛操作，并大大減輕了司機(jī)的操作負(fù)擔(dān)。
另外，當(dāng)確定對(duì)應(yīng)于汽車的假設(shè)移動(dòng)圖形和周圍障礙物之間的關(guān)系時(shí)，司機(jī)可以執(zhí)行駕駛操作，即使更換汽車而幾乎類似于更換汽車改變之前的狀態(tài)，由此可能大大減輕司機(jī)對(duì)于更換汽車的負(fù)擔(dān)。
圖11示出存儲(chǔ)在圖1中的假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形的變化。圖案是右和左平排停車假設(shè)移動(dòng)圖形1101和1102以及右和左入車庫(kù)假設(shè)移動(dòng)圖形1103和1104。如上所述，司機(jī)通過圖案選擇裝置(未示出)選擇這些圖案中任何一個(gè)。也可以確定作為合成圖像待顯示的區(qū)，正如由對(duì)應(yīng)于上述四幅假設(shè)移動(dòng)圖形的圖11中假設(shè)移動(dòng)圖形的外框所表示的。即，假設(shè)操作開始位置假設(shè)為當(dāng)前汽車位置和包括輪胎軌跡的矩形區(qū)；假設(shè)操作終止位置假設(shè)為合成圖像區(qū)。
盡管從裝在汽車上的攝像機(jī)通常不對(duì)汽車成象，但是在這種情況中允許維持汽車的CG數(shù)據(jù)和實(shí)際汽車數(shù)據(jù)，通過類似于對(duì)數(shù)據(jù)的跟蹤將它們彼此疊加，將這些數(shù)據(jù)顯示在合成圖像中。
對(duì)于這個(gè)實(shí)施例，本發(fā)明的假設(shè)移動(dòng)圖形是作為表明操作開始位置(本發(fā)明的假設(shè)運(yùn)動(dòng)開始區(qū))、操作終止位置(本發(fā)明的假設(shè)運(yùn)動(dòng)終止區(qū))和輪胎軌跡(表明本發(fā)明的輪胎軌跡的圖像數(shù)據(jù))的視頻數(shù)據(jù)描述的。然而，其它的圖案也是允許的，例如，可以是包括汽車移動(dòng)投影而不是或者與輪胎軌跡一起的軌跡(表明本發(fā)明的汽車移動(dòng)區(qū)的視頻數(shù)據(jù))。簡(jiǎn)而言之，當(dāng)以前將以前將假設(shè)預(yù)定序列的駕駛操作以前施加于汽車上時(shí)，本發(fā)明的假設(shè)移動(dòng)圖形僅需用作表明汽車移動(dòng)的視頻數(shù)據(jù)。
然而，如上所述，如果直接顯示輪胎軌跡和/或汽車移動(dòng)區(qū)，那么汽車與障礙物之間沒有接觸余量。因此，正如圖12所示，也允許顯示余量線1201，它是從輪胎軌跡或者汽車移動(dòng)區(qū)的外緣起以預(yù)定值(例如50cm)向外設(shè)定的。
此外，對(duì)于本實(shí)施例，描述了本發(fā)明的周圍狀態(tài)圖像是對(duì)由成象部分101成象的視頻數(shù)據(jù)進(jìn)行合成而實(shí)時(shí)地獲得的。然而，在經(jīng)常進(jìn)行相同駕駛操作和周圍狀態(tài)很少起伏的地方，其它的圖案也是允許的，例如，可以將按照已經(jīng)成象的視頻數(shù)據(jù)產(chǎn)生的數(shù)據(jù)存儲(chǔ)在空間數(shù)據(jù)緩沖器105中并使用該數(shù)據(jù)。
(第二實(shí)施例)然后，以下參考附圖描述本發(fā)明的第二實(shí)施例。
圖13是一方框圖，表明本發(fā)明第二實(shí)施例的駕駛操作輔助器的配置。該實(shí)施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進(jìn)入車庫(kù)和平排停車。因此，在這個(gè)實(shí)施例中，假設(shè)沒有作說明的元件與第一實(shí)施例的情況相同，提供與第一實(shí)施例情況相同符號(hào)的元件具有與第一實(shí)施例情況相同的功能，但另有說明除外。此外，假設(shè)通過應(yīng)用相同的改進(jìn)第一實(shí)施例所描述的每個(gè)改進(jìn)例可以應(yīng)用于本實(shí)施例，但另有說明者除外。
如圖13所示，本實(shí)施例的駕駛操作輔助器的配置與第一實(shí)施例的駕駛操作輔助器的配置的不同之處在于包括了開始檢測(cè)裝置1301、積分裝置1302和空間轉(zhuǎn)換裝置1303。
表明正向運(yùn)動(dòng)和向后移動(dòng)的拍檔信號(hào)和表明方向盤轉(zhuǎn)向角度的方向盤轉(zhuǎn)角信號(hào)輸入到開始檢測(cè)裝置1301，后者判定當(dāng)拍檔信號(hào)表明向后移動(dòng)狀態(tài)時(shí)以及根據(jù)方向盤轉(zhuǎn)角信號(hào)的方向盤轉(zhuǎn)向角度達(dá)到一定值或更高時(shí)開始對(duì)應(yīng)于存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形的駕駛操作(停車操作)，它對(duì)應(yīng)于本發(fā)明的操作開始檢測(cè)裝置。
積分裝置1302對(duì)方向盤旋轉(zhuǎn)角度和后輪的轉(zhuǎn)動(dòng)圈數(shù)相積分并計(jì)算開始駕駛操作(停車操作)后汽車到達(dá)當(dāng)前時(shí)間點(diǎn)的空間運(yùn)動(dòng)變化，它對(duì)應(yīng)于本發(fā)明的移動(dòng)位置計(jì)算裝置。
空間轉(zhuǎn)換裝置1303根據(jù)空間運(yùn)動(dòng)變化移動(dòng)假設(shè)移動(dòng)圖形，疊加裝置102和空間轉(zhuǎn)換裝置1303的組件對(duì)應(yīng)于本發(fā)明的合成圖像產(chǎn)生裝置。
在本實(shí)施例中，直到按照由圖像部分101成象的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀態(tài)圖像的過程與第一實(shí)施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作，此前的過程與第一實(shí)施例所描述的過程相同。
以下將利用向左側(cè)進(jìn)行平排停車的情況作為一個(gè)例子，描述在開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作后到疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像前的過程。
當(dāng)司機(jī)開始對(duì)應(yīng)于向左側(cè)平排停車的駕駛操作時(shí)，拍檔信號(hào)表明向后移動(dòng)狀態(tài)以及根據(jù)方向盤轉(zhuǎn)角信號(hào)的方向盤轉(zhuǎn)向角度達(dá)到某一特定值或更高。因此，開始檢測(cè)裝置1301判定開始了對(duì)應(yīng)于向左側(cè)平排停車的駕駛操作(停車操作)，向積分裝置1302傳遞駕駛操作(停車操作)的開始，而此后向積分裝置1302輸入方向盤旋轉(zhuǎn)角度信號(hào)和后輪轉(zhuǎn)數(shù)信號(hào)。
積分裝置1302在開始駕駛操作后對(duì)輸入的方向盤旋轉(zhuǎn)角度信號(hào)與后輪轉(zhuǎn)數(shù)信號(hào)積分，并計(jì)算當(dāng)前汽車位置1402與停車操作開始位置1401之間的位置關(guān)系，如圖14(a)所示。
按照算出的位置關(guān)系，空間轉(zhuǎn)換裝置1303移動(dòng)，對(duì)應(yīng)于向左側(cè)平排停車的假設(shè)移動(dòng)圖形，使得操作開始位置(圖5中501)與圖14(b)所示的停車操作開始位置1401向重合。換句話說，空間轉(zhuǎn)換裝置1303從空間上將假設(shè)移動(dòng)圖形1403固定在開始駕駛操作后開始停車操作時(shí)的位置上。
在開始駕駛操作后，疊加裝置102通過把圖案1403和位置1402疊加在周圍狀態(tài)圖像上，將從空間上固定在停車操作開始位置上的假設(shè)移動(dòng)圖形1403與當(dāng)前汽車位置1402相合成，產(chǎn)生本發(fā)明的合成圖像，如圖14(c)所示。顯示裝置107顯示該合成圖像。由于諸如障礙物401和402的周圍狀態(tài)圖像在空間上是自然固定的，周圍狀態(tài)圖像與假設(shè)移動(dòng)圖形1403之間的位置關(guān)系在合成圖像中是固定的。此外，由于合成圖像是從汽車上固定點(diǎn)觀看的，當(dāng)汽車移動(dòng)時(shí)，在屏幕上僅固定當(dāng)前汽車位置1402，當(dāng)周圍狀態(tài)圖像和假設(shè)移動(dòng)圖形1403在圖14(c)中相對(duì)移動(dòng)時(shí)對(duì)它們進(jìn)行顯示。
即，根據(jù)這一實(shí)施例，從虛擬攝像機(jī)的視點(diǎn)觀看的周圍狀態(tài)圖像按照實(shí)際汽車的運(yùn)動(dòng)而移動(dòng)，疊加并合成的假設(shè)移動(dòng)圖形1403也按照由積分裝置1302算出的汽車的運(yùn)動(dòng)而移動(dòng)。因此，周圍狀態(tài)圖像和假設(shè)移動(dòng)圖形1403表明一致的運(yùn)動(dòng)。由于司機(jī)僅沿著每個(gè)時(shí)間點(diǎn)所顯示的假設(shè)移動(dòng)圖形的輪胎軌跡操作方向盤，可實(shí)現(xiàn)更簡(jiǎn)單且更安全的汽車操作。
(第三實(shí)施例)然后，以下參考附圖描述本發(fā)明的第三實(shí)施例。
圖15是一方框圖，表明本發(fā)明第三實(shí)施例的駕駛操作輔助器的配置。該實(shí)施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進(jìn)入車庫(kù)和平排停車等。因此，在這個(gè)實(shí)施例中，假設(shè)沒有作說明的元件與第一實(shí)施例的情況相同，提供與第一實(shí)施例情況相同符號(hào)的元件具有與第一實(shí)施例情況相同的功能，但另有說明者除外。此外，通過應(yīng)用相同的改進(jìn)第一實(shí)施例所描述的每個(gè)改進(jìn)例可以應(yīng)用于本實(shí)施例，但另有說明除外。
如圖15所示，本實(shí)施例的駕駛操作輔助器的配置與第一實(shí)施例的駕駛操作輔助器的配置的不同之處在于包括了開始檢測(cè)裝置1501、圖像跟蹤裝置1502和空間轉(zhuǎn)換裝置1503。
開始檢測(cè)裝置1501具有第二實(shí)施例所描述的圖13中的開始檢測(cè)裝置1301相同的功能，所不同的是不將方向盤轉(zhuǎn)角信號(hào)或后輪轉(zhuǎn)數(shù)信號(hào)輸出到任何其它單元。
當(dāng)開始駕駛操作(停車操作)并相應(yīng)于本發(fā)明的位置信息存儲(chǔ)裝置時(shí)，圖像跟蹤裝置1502基于合成圖像上周圍狀態(tài)圖像的視頻數(shù)據(jù)的全部或一部分(例如障礙物)存儲(chǔ)假設(shè)移動(dòng)圖形的全部或一部分(例如操作終止位置)的位置信息。
空間轉(zhuǎn)換裝置1503根據(jù)位置信息移動(dòng)假設(shè)移動(dòng)圖形，由疊加裝置102和空間轉(zhuǎn)換裝置1503構(gòu)成的組件相應(yīng)于本發(fā)明的合成圖像產(chǎn)生裝置。
在本實(shí)施例中，本發(fā)明的周圍狀態(tài)圖像是按照由成象部分101成象的視頻數(shù)據(jù)產(chǎn)生的，此前的過程與第一實(shí)施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作，此前的過程與第一實(shí)施例所描述的過程相同。
以下將利用向左側(cè)進(jìn)行平排停車的情況作為一個(gè)例子，描述在開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作后到疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像前的過程。
當(dāng)司機(jī)開始對(duì)應(yīng)于向左側(cè)平排停車的駕駛操作時(shí)，拍檔信號(hào)表明向后移動(dòng)狀態(tài)以及根據(jù)方向盤轉(zhuǎn)角信號(hào)的方向盤轉(zhuǎn)向角度達(dá)到某一特定值或更高。因此，開始檢測(cè)裝置1301判定開始了對(duì)應(yīng)于向左側(cè)平排停車的駕駛操作(停車操作)，并向圖像跟蹤裝置1502傳遞駕駛操作(停車操作)的開始。
當(dāng)圖像跟蹤裝置1502接收表明開始了駕駛操作(停車操作)的信息時(shí)，通過空間數(shù)據(jù)緩沖器105獲得包括一部分障礙物402的終止位置周圍圖像1603(這是周圍狀態(tài)圖像的一部分視頻數(shù)據(jù))的視頻數(shù)據(jù)和合成圖案(圖16(a))上停車操作終止位置1602，并將該視頻數(shù)據(jù)存儲(chǔ)起來。在開始駕駛操作后，裝置1502在每個(gè)時(shí)間點(diǎn)上從周圍狀態(tài)圖像(通過空間數(shù)據(jù)緩沖器105獲得)尋找關(guān)于障礙物402的部分，將終止位置周圍圖像1603中關(guān)于障礙物402的部分調(diào)節(jié)為周圍狀態(tài)圖像中關(guān)于障礙物402的部分，由此確定停車操作終止位置1602與該時(shí)刻周圍狀態(tài)圖像之間的位置關(guān)系。即，圖像跟蹤裝置1502跟蹤每個(gè)時(shí)刻的停車操作終止位置1602與周圍狀態(tài)圖像之間的位置關(guān)系。
根據(jù)該位置關(guān)系，空間轉(zhuǎn)換裝置1503移動(dòng)對(duì)應(yīng)于向左側(cè)平排停車的假設(shè)移動(dòng)圖形，使得操作終止位置(圖5中502)與停車操作終止位置1602相一致。換句話說，在開始駕駛操作后，空間轉(zhuǎn)換裝置1503在空間上將假設(shè)移動(dòng)圖形固定在開始停車操作的位置上。
如圖16(c)所示，在開始駕駛操作后，疊加裝置102將空間上固定于開始停車操作的位置上的假設(shè)移動(dòng)圖形1605和當(dāng)前汽車位置1604疊加在周圍狀態(tài)圖像上并將它們合成以產(chǎn)生本發(fā)明的合成圖像。顯示裝置107顯示該合成圖像。由于障礙物401和402等的周圍狀態(tài)圖像在空間上是自然固定的，周圍狀態(tài)圖像與假設(shè)移動(dòng)圖形1403之間的位置關(guān)系在合成圖像中是固定的。
此外，在圖16(c)中，由于合成圖像是從固定在汽車上的視點(diǎn)觀看的，如果汽車移動(dòng)，在屏幕上僅固定當(dāng)前汽車位置，周圍狀態(tài)圖像和假設(shè)移動(dòng)圖形1605隨它們的相對(duì)移動(dòng)而顯示。即，對(duì)于本實(shí)施例的駕駛操作輔助器，如果一個(gè)過程是在與第二實(shí)施例駕駛操作輔助器情況相同的條件下進(jìn)行的，那么，圖16(c)所示的合成圖像變?yōu)榕c圖14(c)所示的合成圖像相同。
根據(jù)本實(shí)施例，由于從虛擬攝像機(jī)的視點(diǎn)觀看的周圍狀態(tài)圖像按照實(shí)際汽車的移動(dòng)而移動(dòng)，以及疊加和合成的假設(shè)移動(dòng)圖形1605也按照汽車的移動(dòng)而移動(dòng)，因此二者均表明一致的移動(dòng)。由于司機(jī)僅沿著每個(gè)時(shí)間點(diǎn)所顯示的假設(shè)移動(dòng)圖形的軌跡數(shù)據(jù)操作方向盤，可實(shí)現(xiàn)更簡(jiǎn)單且更安全的汽車操作。
(第四實(shí)施例)然后，以下參考附圖描述本發(fā)明的第四實(shí)施例。
圖17是一方框圖，表明本發(fā)明第四實(shí)施例的駕駛操作輔助器的配置。該實(shí)施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進(jìn)入車庫(kù)和平排停車等。因此，在這個(gè)實(shí)施例中，假設(shè)沒有作說明的元件與第一實(shí)施例的情況相同，提供與第一實(shí)施例情況相同符號(hào)的元件具有與第一實(shí)施例情況相同的功能，但另有說明者除外。此外，假設(shè)通過應(yīng)用相同的改進(jìn)第一實(shí)施例所描述的每個(gè)改進(jìn)例可以應(yīng)用于本實(shí)施例，但另有說明者除外。
如圖17所示，本實(shí)施例的駕駛操作輔助器的配置與第一實(shí)施例的駕駛操作輔助器的配置的不同之處在于包括了開始輸入裝置1701、駕駛控制裝置1702、積分裝置1703和空間轉(zhuǎn)換裝置1704。
開始輸入裝置1701用于讓司機(jī)輸入并指定開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作(停車操作)，它對(duì)應(yīng)于本發(fā)明的操作開始檢測(cè)裝置。
駕駛控制裝置1702根據(jù)輸入駕駛操作開始指令時(shí)對(duì)應(yīng)于假設(shè)移動(dòng)圖形的時(shí)序數(shù)據(jù)(例如圖5(b))，通過控制方向盤旋轉(zhuǎn)角度和后輪轉(zhuǎn)數(shù)，自動(dòng)地控制汽車的操作，它對(duì)應(yīng)于本發(fā)明的操作控制裝置。
積分裝置1703對(duì)方向盤旋轉(zhuǎn)角度與后輪轉(zhuǎn)數(shù)積分并計(jì)算開始駕駛操作(停車操作)后到當(dāng)前時(shí)間點(diǎn)的汽車的空間運(yùn)動(dòng)變化，它對(duì)應(yīng)于本發(fā)明的移動(dòng)位置計(jì)算裝置。即，積分裝置1703具有與第二實(shí)施例所描述的圖13中積分裝置1302相同的功能。
空間轉(zhuǎn)換裝置1704根據(jù)空間運(yùn)動(dòng)變化移動(dòng)假設(shè)移動(dòng)圖形，由疊加裝置102和控制轉(zhuǎn)換裝置1704配置的組件對(duì)應(yīng)于本發(fā)明的合成圖像產(chǎn)生裝置。即，空間轉(zhuǎn)換裝置1704具有與第二實(shí)施例所描述的圖13中空間轉(zhuǎn)換裝置1303相同的功能。
在本實(shí)施例中，本發(fā)明的周圍狀態(tài)圖像是按照由圖像部分101成象的視頻數(shù)據(jù)產(chǎn)生的，此前的過程與第一實(shí)施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作，此前的過程與第一實(shí)施例所描述的過程相同。
以下將利用向左側(cè)進(jìn)行平排停車的情況作為一個(gè)例子，描述在開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作后到疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像前的過程。
司機(jī)將汽車定位在適合于開始停車操作的位置上，同時(shí)觀看開始停車操作前顯示裝置107上所顯示的合成圖像，然后向開始輸入裝置1701輸入一個(gè)開始停車操作的指令。開始輸入裝置1701通過假設(shè)移動(dòng)圖形存儲(chǔ)裝置108傳遞駕駛操作開始指令輸入到駕駛控制裝置1702和積分裝置1703。
在接收停車操作開始指令時(shí)，駕駛控制裝置1702按照對(duì)應(yīng)于假設(shè)移動(dòng)圖形的時(shí)序數(shù)據(jù)(圖5(b))通過產(chǎn)生方向盤旋轉(zhuǎn)角度控制信號(hào)和后輪轉(zhuǎn)數(shù)控制信號(hào)，以及通過控制方向盤控制系統(tǒng)和后輪控制系統(tǒng)，自動(dòng)地控制汽車的駕駛。
在接收停車操作開始指令的情況中，積分裝置1703對(duì)方向盤旋轉(zhuǎn)角度信號(hào)與后輪轉(zhuǎn)數(shù)信號(hào)相積分，計(jì)算當(dāng)前汽車位置1402與停車操作開始位置1401之間的位置關(guān)系，如圖14(a)所示。
正如圖14(b)所示，空間轉(zhuǎn)換裝置1704移動(dòng)對(duì)應(yīng)于向左側(cè)平排停車的假設(shè)移動(dòng)圖形1403，使得操作開始位置(圖5中的501)與停車操作開始位置1401按照算出的位置關(guān)系彼此相一致。換句話說，在開始駕駛操作后，空間轉(zhuǎn)換裝置1704從空間上將假設(shè)移動(dòng)圖形1403固定于停車操作開始位置。
接下來的過程與第二實(shí)施例所描述的過程相同，其中疊加裝置102產(chǎn)生合成圖像，顯示裝置107顯示該合成圖像。當(dāng)汽車到達(dá)預(yù)定停車位置時(shí)，駕駛控制裝置1702按照時(shí)序數(shù)據(jù)而停車，由此完成停車操作。
根據(jù)本實(shí)施例，在指定開始駕駛操作后，除了第二實(shí)施例所描述的優(yōu)點(diǎn)外，還可以獲得自動(dòng)進(jìn)行方向盤操作等的優(yōu)點(diǎn)。由于司機(jī)僅需肯定方向盤操作是在每個(gè)時(shí)間點(diǎn)上按照所顯示假設(shè)移動(dòng)圖形的軌跡數(shù)據(jù)自動(dòng)地進(jìn)行的以及監(jiān)視出現(xiàn)新的障礙物，可實(shí)現(xiàn)更簡(jiǎn)單且更安全的汽車操作。
(第五實(shí)施例)
然后，以下參考附圖描述本發(fā)明的第五實(shí)施例。
圖18是一方框圖，表明本發(fā)明第五實(shí)施例的駕駛操作輔助器的配置。該實(shí)施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進(jìn)入車庫(kù)和平排停車。因此，在這個(gè)實(shí)施例中，假設(shè)沒有作說明的元件與第一實(shí)施例的情況相同，提供與第一實(shí)施例情況相同符號(hào)的元件具有與第一實(shí)施例情況相同的功能，但另有說明者除外。此外，假設(shè)通過應(yīng)用相同的改進(jìn)第一實(shí)施例所描述的每個(gè)改進(jìn)例可以應(yīng)用于本實(shí)施例，但另有說明者除外。
如圖18所示，本實(shí)施例的駕駛操作輔助器的配置與第一實(shí)施例的駕駛操作輔助器的配置的不同之處在于包括了軌跡校正裝置1801。
軌跡校正裝置1801按照由司機(jī)輸入的駕駛操作位置和操作終止位置對(duì)假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)進(jìn)行校正，它對(duì)應(yīng)于本發(fā)明的圖案校正裝置。
在本實(shí)施例中，本發(fā)明的周圍狀態(tài)圖像是按照由圖像部分101成象的視頻數(shù)據(jù)產(chǎn)生的，此前的過程與第一實(shí)施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形通過使該圖案的操作開始位置與當(dāng)前汽車位置相一致而顯示在合成圖像上，此前的過程與第一實(shí)施例所描述的過程相同。
以下將利用向左側(cè)執(zhí)行進(jìn)入車庫(kù)的情況作為一個(gè)例子，描述司機(jī)通過利用軌跡校正裝置1801校正假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)并在假設(shè)移動(dòng)圖形顯示在合成圖像上之后將假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)顯示在合成圖像上的過程。
正如圖19(a)所示，假設(shè)這樣一種情況，由于汽車移動(dòng)到當(dāng)前位置1901的結(jié)果，這里假設(shè)移動(dòng)圖形操作終止位置與目標(biāo)停車位置1902相一致，以便進(jìn)行進(jìn)入車庫(kù)操作，通過假設(shè)目標(biāo)停車位置1902為操作終止位置，以致于司機(jī)不與障礙物1904或1905相接觸，發(fā)現(xiàn)假設(shè)移動(dòng)圖形的輪胎軌跡1903與障礙物1905相干擾。
當(dāng)假設(shè)移動(dòng)圖形存儲(chǔ)裝置108存儲(chǔ)了向另一左側(cè)進(jìn)入車庫(kù)操作的假設(shè)移動(dòng)圖形時(shí)，可以研究通過由圖案選擇裝置(未示出)選擇存儲(chǔ)在裝置108中的假設(shè)移動(dòng)圖形是否平穩(wěn)地進(jìn)行進(jìn)入車庫(kù)操作。然而，當(dāng)裝置108并未存儲(chǔ)假設(shè)移動(dòng)圖形時(shí)或者當(dāng)另一個(gè)假設(shè)移動(dòng)圖形也與障礙物相干擾時(shí)，司機(jī)可校正該假設(shè)移動(dòng)圖形。
首先，司機(jī)通過輸入一數(shù)值，指示針或如圖19(b)所示的其它裝置，將表明汽車處于顯示裝置107上所顯示的合成圖像(圖19(a))當(dāng)前位置1901上的圖案移動(dòng)到新的操作開始位置1906。
當(dāng)確定新的操作開始位置1906時(shí)，軌跡校正裝置1801獲得汽車從新的操作開始位置1906移動(dòng)到目標(biāo)停車位置1902的新的輪胎軌跡1907(參考圖19(c))并產(chǎn)生新的假設(shè)移動(dòng)圖形和對(duì)應(yīng)于新的假設(shè)移動(dòng)圖形的時(shí)序數(shù)據(jù)。
疊加裝置102將新的假設(shè)移動(dòng)圖形的操作開始位置調(diào)節(jié)為汽車的當(dāng)前位置1901并產(chǎn)生合成圖像，如圖19(d)所示，顯示裝置107顯示該合成圖像。
因此，司機(jī)通過移動(dòng)汽車可使車停在目標(biāo)停車位置1902從而將新的假設(shè)移動(dòng)圖形的操作終止位置1908調(diào)節(jié)為目標(biāo)停車位置1902，然后按照新的假設(shè)。移動(dòng)圖形開始駕駛操作(停車操作)。
允許對(duì)原始假設(shè)移動(dòng)圖形進(jìn)行更新后將產(chǎn)生的新的假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中或者未對(duì)原始假設(shè)移動(dòng)圖形更新的話將新的假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)附加地存儲(chǔ)到假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中。此外，允許不把它們作為暫時(shí)假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)存儲(chǔ)在裝置108中。再有，允許司機(jī)每次選擇更新存儲(chǔ)、附加存儲(chǔ)或不存儲(chǔ)。
此外，對(duì)于本實(shí)施例，描述了更新存儲(chǔ)或附加存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形是按照司機(jī)輸入的駕駛開始和終止時(shí)汽車的位置自動(dòng)地獲得的。然而，也允許進(jìn)行實(shí)際駕駛操作，對(duì)于方向盤的轉(zhuǎn)向角度、輪的轉(zhuǎn)數(shù)等在該時(shí)間上對(duì)時(shí)序數(shù)據(jù)采樣，以及按照時(shí)序數(shù)據(jù)產(chǎn)生并存儲(chǔ)假設(shè)移動(dòng)圖形。
根據(jù)這個(gè)實(shí)施例，有可能實(shí)現(xiàn)比第一實(shí)施例的駕駛操作幫手更擴(kuò)展的駕駛操作幫手。
(第六實(shí)施例)然后，將參照附圖描述本發(fā)明的第六實(shí)施例。
圖20是方框圖，示出本發(fā)明的第六實(shí)施例駕駛操作輔助器的配置。本實(shí)施例的駕駛操作輔助器也主要用于輔助將汽車開入車庫(kù)、平排停車等等的駕駛操作。由此，在這個(gè)實(shí)施例中，假設(shè)未解釋的元件和第一實(shí)施例中的相同，設(shè)置有和第一實(shí)施例中相同的標(biāo)號(hào)的元件具有第一實(shí)施例中情況相同的功能，除非另外進(jìn)行解釋。另外，除非另外進(jìn)行說明，通過應(yīng)用修改，可以將每一個(gè)修改的例子應(yīng)用于本實(shí)施例中。
如圖20所示，本實(shí)施例的駕駛操作輔助器不同于第一實(shí)施例的駕駛操作輔助器的地方在于包含CG圖像合成裝置2001。
CG-圖像合成裝置2001存儲(chǔ)對(duì)應(yīng)于存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形的三維空間數(shù)據(jù)，并產(chǎn)生三維空間(或二維空間)圖像，該圖像調(diào)整到周圍狀況圖像的視點(diǎn)，它對(duì)應(yīng)于本發(fā)明的假設(shè)移動(dòng)圖形存儲(chǔ)裝置的一部分功能和本發(fā)明的合成圖像產(chǎn)生裝置的一部分功能。
假設(shè)，視點(diǎn)轉(zhuǎn)換裝置106可以自動(dòng)地或根據(jù)從司機(jī)的輸入改變視點(diǎn)的位置。
另外，如圖21(a)所示，假設(shè)移動(dòng)圖形存儲(chǔ)裝置108存儲(chǔ)多個(gè)虛擬極點(diǎn)2001[原文如此；2101]的位置(該位置設(shè)置在輪胎的軌跡503上)以及假設(shè)移動(dòng)圖形(操作開始的位置501、操作終止的位置502和輪胎的軌跡503)。CG-圖像合成裝置2001先前根據(jù)假設(shè)移動(dòng)圖形和虛擬極點(diǎn)2001[原文如此；2101]，產(chǎn)生和存儲(chǔ)對(duì)應(yīng)于假設(shè)移動(dòng)圖形的三維空間數(shù)據(jù)(對(duì)照?qǐng)D21(b))。
在這個(gè)實(shí)施例中，直到根據(jù)由成像部分101攝像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像為止的過程和第一實(shí)施例中的一樣。另外，直到在疊加裝置102產(chǎn)生本發(fā)明的合成圖像，以及顯示裝置107顯示合成圖像為止的過程中的對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作開始為止的過程和第一實(shí)施例中所述的相同。
下面，通過將汽車平行停到左邊的情況為例，描述直到開始對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作之后疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像的過程。
在開始實(shí)際駕駛操作之前，司機(jī)將視點(diǎn)轉(zhuǎn)換裝置106使用的周圍狀況圖像的視點(diǎn)改變至用于從有關(guān)的汽車上方的一個(gè)位置從有關(guān)的汽車背后觀察后面的視點(diǎn)?；虍?dāng)視點(diǎn)轉(zhuǎn)換裝置106檢測(cè)對(duì)應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作開始時(shí)，視點(diǎn)自動(dòng)改變到后一個(gè)視點(diǎn)。用于檢測(cè)實(shí)際駕駛操作開始的專用裝置包含例如和第二實(shí)施例中所述的開始檢測(cè)裝置130相同的裝置1。
由于視點(diǎn)改變，由視點(diǎn)轉(zhuǎn)換裝置106輸出的周圍狀況的圖像變成如圖21(c)所示的圖像。CG-圖像合成裝置2001根據(jù)操作開始的位置501，通過調(diào)節(jié)汽車的當(dāng)前位置，產(chǎn)生從和視點(diǎn)轉(zhuǎn)換裝置106使用的相同的視點(diǎn)看的CG圖像。假設(shè)這樣的話，CG圖像變成如圖21(d)所示的圖像。
疊加裝置102將CG圖像疊加到周圍狀況圖像上，并合成它們，以產(chǎn)生如圖21(e)所示的本發(fā)明的合成圖像。顯示裝置107顯示該合成圖像。由于合成圖像是從固定在汽車上的一個(gè)視點(diǎn)看的圖像，故當(dāng)汽車在如圖21(e)所示的情況下移動(dòng)時(shí)，整個(gè)圖像在相對(duì)的移動(dòng)中顯示出來。
在這種實(shí)施例中，由于司機(jī)能夠在看到顯示的圖像，并一眼確定虛擬極點(diǎn)或操作終止的位置與實(shí)際障礙物之間的關(guān)系時(shí)確定停車開始的位置，故司機(jī)可以執(zhí)行安全而可靠的駕駛操作。
在上述解釋中，CG-圖像合成裝置2001從和視點(diǎn)轉(zhuǎn)換裝置106所使用的相同的視點(diǎn)實(shí)時(shí)地產(chǎn)生CG圖像。但是，還允許使用預(yù)先產(chǎn)生CG圖像的配置(是從每一個(gè)假設(shè)移動(dòng)圖形的預(yù)定的視點(diǎn)位置看的CG圖像)并存儲(chǔ)這些CG圖像。
另外，在本實(shí)施例中，描述了類似于第一實(shí)施例的情況，產(chǎn)生從虛擬攝像機(jī)看到的周圍狀況圖像。但是，當(dāng)只要一個(gè)從汽車的背后看后面的圖像，不改變?nèi)魏蔚囊朁c(diǎn)時(shí)，還允許直接使用由設(shè)置到有關(guān)的視點(diǎn)位置上的攝像機(jī)拍攝的圖像作為周圍狀況圖像。圖22中的方框圖示出這種情況下的駕駛操作輔助器的配置。即，CG-圖像合成裝置2001通過從攝像機(jī)參數(shù)表103得到安裝在汽車上的攝像機(jī)2201的視點(diǎn)的數(shù)據(jù)而產(chǎn)生CG圖像。
(第七實(shí)施例)然后，將對(duì)照附圖，描述本發(fā)明的第七實(shí)施例。
圖23是方框圖，示出本發(fā)明的第七實(shí)施例的駕駛操作輔助器的配置。本實(shí)施例的駕駛操作輔助器還主要地用于進(jìn)入車庫(kù)、平排停車之類的輔助駕駛操作。因此，在本實(shí)施例中，假設(shè)未說明的元件是和第一實(shí)施例情況相同的元件，而除非另行說明，和第一實(shí)施例的情況有相同的符號(hào)的元件具有和第一實(shí)施例的情況相同的功能。另外，除非另行說明，假設(shè)通過應(yīng)用相同的修改，每一個(gè)為第一實(shí)施例描述的修改的例子都可以應(yīng)用于本實(shí)施例。
如圖23所示，本實(shí)施例的駕駛操作輔助器的配置與第一實(shí)施例的駕駛操作輔助器的配置不同之處在于，包含映象裝置2301和映象表2302。
映象裝置2301快速地執(zhí)行處理，以將從成像部分101的每一個(gè)攝像機(jī)輸入的圖像轉(zhuǎn)換為從任意視點(diǎn)看到的圖像。
映象表2302存儲(chǔ)映象裝置2301使用的數(shù)據(jù)，以執(zhí)行轉(zhuǎn)換。
圖24是概念圖，示出存儲(chǔ)在映象器2302中的映象表的例子。映象表由單元配置，它們等于由顯示裝置107顯示的屏幕(即由疊加裝置102產(chǎn)生的合成圖像)象素的數(shù)量。即，如此配置映象表，從而顯示屏幕上水平象素的數(shù)量等于表的縱列數(shù)量，顯示屏幕上豎直象素的數(shù)量等于等于表的行的數(shù)量。另外，每一個(gè)單元具有攝像機(jī)號(hào)碼以及由每一個(gè)攝像機(jī)拍攝的圖像的象素坐標(biāo)作為數(shù)據(jù)。
例如，圖24中左上角的單元(輸入數(shù)據(jù)(1，10，10)的單元)示出左上角，即，顯示屏幕上的(0，0)部分，并且映象裝置2301根據(jù)存儲(chǔ)在該單元中的數(shù)據(jù)內(nèi)容(1，10，10)，在顯示屏幕(0，0)″上顯示由第一號(hào)攝像機(jī)拍攝的圖像的象素(10，10)的數(shù)據(jù)。通過使用這種表，不必執(zhí)行計(jì)算以決定用來替換顯示器的屏幕上每一個(gè)要替換的象素的象素?cái)?shù)據(jù)是否要替換被替換的象素?cái)?shù)據(jù)。由此，可以達(dá)到加速處理。
當(dāng)視點(diǎn)轉(zhuǎn)換裝置106通過改變多個(gè)視點(diǎn)而使用它們時(shí)，必須將如圖24所示的表存儲(chǔ)在每一個(gè)視點(diǎn)的映象表2302中。
(第八實(shí)施例)然后，將參考


本發(fā)明的第八實(shí)施例。
圖25是方框圖，示出第八實(shí)施例的駕駛操作輔助器的配置。本實(shí)施例的駕駛操作輔助器，還主要用于把車開入車庫(kù)、平排停車及等等。因此，在本實(shí)施例中，假設(shè)未另行說明的元件是同第一實(shí)施例的情況相同的元件與第一實(shí)施例的情況具有相同符號(hào)的元件具有第一實(shí)施例的情況的元件相同的功能除非另行說明。此外，除非另行說明，假設(shè)可以把對(duì)于第一實(shí)施例所說明的每個(gè)修改例子應(yīng)用于本實(shí)施例，只要將相同的修改施加于本實(shí)施例。
如圖25所示，本實(shí)施例的駕駛操作輔助器的配置和第一實(shí)施例的駕駛操作輔助器的配置不同之處在于，包括最終位置輸入裝置2501、開始位置確定裝置2502和空間固定裝置2503。
最終位置輸入裝置2501通過指示針輸入駕駛操作的目標(biāo)終止位置。還允許通過輸入數(shù)字值或通過其它裝置輸入目標(biāo)終止位置。
根據(jù)相應(yīng)于所考慮的駕駛操作的假設(shè)移動(dòng)圖形，開始位置確定裝置2502得到相應(yīng)于通過最終位置輸入裝置2501輸入的目標(biāo)終止位置的駕駛操作的開始位置。
空間固定裝置2503使目標(biāo)終止位置和操作終止位置一致，此后，在空間上固定相應(yīng)于駕駛操作的假設(shè)移動(dòng)圖形，這具有圖13(在圖25中，沒有說明后輪旋轉(zhuǎn)信號(hào)輸入和方向盤轉(zhuǎn)向角信號(hào)輸入)中的積分裝置1302和空間轉(zhuǎn)換置1303的功能。
此外，允許裝置2503具有圖15中的圖像跟蹤裝置1502和空間轉(zhuǎn)換裝置1503的功能。然而，假使這樣的話，必須與圖15中的圖像跟蹤裝置1502的情況相似地接收來自空間緩沖器105〔原文如此；空間數(shù)據(jù)緩沖器105〕的空間數(shù)據(jù)輸入。由疊加裝置102和空間固定裝置2503配置的元件相應(yīng)于本發(fā)明的合成圖像產(chǎn)生裝置。
在本實(shí)施例中，有一個(gè)過程和為第一實(shí)施例所說明的過程是相同，這個(gè)過程是直到根據(jù)通過圖像部分101成像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像的過程。此外，一直到102生成本發(fā)明的合成圖像，和107顯示這個(gè)合成圖像為止的過程中，使其操作開始位置和汽車當(dāng)前位置一致地在合成圖像上顯示108中存儲(chǔ)的假設(shè)移動(dòng)圖像為止的過程與第一實(shí)施例中說明的過程相同。
將在下面通過用向左邊完成把車開入車庫(kù)的例子來說明一個(gè)過程，所述過程是通過使用最終位置輸入裝置2501和在合成圖像上顯示假設(shè)移動(dòng)圖形之后，在合成圖像上顯示假設(shè)移動(dòng)圖形(包括相應(yīng)于目標(biāo)終止位置的駕駛操作的開始位置)直到司機(jī)輸入駕駛操作的目標(biāo)終止位置的過程。
如圖26(a)所示，假設(shè)一種情況，在該情況中，作為司機(jī)在顯示裝置107上顯示本發(fā)明的合成圖像，以在障礙物401和402之間停一輛車而不碰到障礙物的結(jié)果，停車位置1001與障礙物402疊加，其中所述停車位置是假設(shè)移動(dòng)圖形(它使用車的當(dāng)前位置901作為操作開始位置)1403的操作終止位置。
司機(jī)通過使用顯示在顯示裝置107的屏幕上的指示針2601，將停車位置1001移動(dòng)到目標(biāo)位置2602。假使這樣的話，如圖26(b)所示，假設(shè)移動(dòng)圖形1403與停車位置1001一起移動(dòng)。因此，把假設(shè)移動(dòng)圖形1403的操作開始位置顯示為用于開始停車操作的開始位置2603。
如圖26(c)所示，即使在完成上述移動(dòng)操作之后，汽車的當(dāng)前位置901仍顯示在顯示裝置107的屏幕上。司機(jī)只要觀察屏幕而將汽車移動(dòng)到開始位置2603。假使這樣的話，因?yàn)榭臻g固定裝置2503把假設(shè)移動(dòng)圖形1403固定在一個(gè)空間，假設(shè)移動(dòng)圖形1403和障礙物401和402之間的相對(duì)位置關(guān)系不改變。
根據(jù)本實(shí)施例，因?yàn)槌说谝粚?shí)施例所述的優(yōu)點(diǎn)之外，還可以有效地得到駕駛操作開始位置，所以有可能減少操作開始所需要的時(shí)間。
此外，允許對(duì)本實(shí)施例的駕駛操作輔助器增加開始位置引導(dǎo)裝置，所述裝置當(dāng)確定開始位置2603時(shí)，計(jì)算與當(dāng)前位置901的相對(duì)位置關(guān)系，得到引導(dǎo)汽車從當(dāng)前位置901到開始位置2603所必需的方向盤旋轉(zhuǎn)角的時(shí)序數(shù)據(jù)和后輪轉(zhuǎn)數(shù)，根據(jù)時(shí)序數(shù)據(jù)產(chǎn)生方向盤旋轉(zhuǎn)角控制信號(hào)和后輪轉(zhuǎn)數(shù)控制信號(hào)，控制方向盤系統(tǒng)和后輪駕駛系統(tǒng)，從而自動(dòng)地控制汽車的駕駛，并自動(dòng)地引導(dǎo)汽車從當(dāng)前位置901到開始位置2603。從而，因?yàn)椴煌ㄟ^司機(jī)的操作而將汽車引導(dǎo)到開始位置，實(shí)現(xiàn)了更簡(jiǎn)單和更安全的汽車操作。
(第九實(shí)施例)然后，下面將參考

本發(fā)明的第九實(shí)施例。
圖27是方框圖，示出本發(fā)明的第九實(shí)施例的駕駛操作輔助器的配置。本實(shí)施例的駕駛操作輔助器與第二實(shí)施例的駕駛操作輔助器的不同之處僅在于將開始檢測(cè)裝置1301和積分裝置1302的輸出輸入到視點(diǎn)轉(zhuǎn)換裝置106，并且視點(diǎn)轉(zhuǎn)換裝置106根據(jù)輸出改變虛擬攝像機(jī)的視點(diǎn)。
因此，在本實(shí)施例中，假設(shè)未另行說明的元件同第二實(shí)施例的情況的元件相同，以及除非另行說明，與第二實(shí)施例的情況具有相同符號(hào)的元件具有和第二實(shí)施例的情況的元件相同的功能。此外，除非另行說明，假設(shè)可以把對(duì)于第二實(shí)施例所說明的每個(gè)修改例子應(yīng)用于本實(shí)施例，只要將相同的修改施加于本實(shí)施例。
在本實(shí)施例中，所述過程是直到根據(jù)圖像部分101成像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像的過程與第一實(shí)施例所說明的過程相同。此外，在直到疊加裝置102產(chǎn)生本發(fā)明的合成圖像和顯示裝置107顯示合成圖像時(shí)的過程中，開始相應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際操作的過程和第一實(shí)施例所說明的過程相同。
將在下面通過用向左邊完成平排停車情況的例子來說明直到在開始相應(yīng)于假設(shè)移動(dòng)圖形的實(shí)際駕駛操作之后，疊加裝置102產(chǎn)生本發(fā)明的合成圖像和顯示裝置107顯示合成圖像時(shí)的過程。
如參考圖10的第一實(shí)施例所述，在開始實(shí)際駕駛操作之前，將虛擬攝像機(jī)視點(diǎn)位置固定在一個(gè)剛好高于汽車的位置上，如圖28(a)所示，使當(dāng)前汽車位置901和使用位置901作為操作開始位置的假設(shè)移動(dòng)圖形1403固定在屏幕上，當(dāng)根據(jù)汽車的移動(dòng)在屏幕上相對(duì)地移動(dòng)時(shí)，顯示諸如障礙物401、402等等的周圍狀況圖像。
如圖28(b)所示，當(dāng)前汽車位置來到相應(yīng)于目標(biāo)停車位置902的位置時(shí)，司機(jī)開始相應(yīng)于向左邊平排停車的駕駛操作。當(dāng)開始駕駛操作時(shí)，一個(gè)排擋信號(hào)指示向后移動(dòng)狀態(tài)，并且根據(jù)方向盤轉(zhuǎn)向角信號(hào)的前輪操縱角到達(dá)某值或更大的值。因此，開始檢測(cè)裝置1301判斷開始了相應(yīng)于向左邊平排停車的駕駛操作(停車操作)，并將開始駕駛操作(停車操作)傳遞給積分裝置1302和視點(diǎn)轉(zhuǎn)換裝置106。
在開始駕駛操作之后，積分裝置1302對(duì)輸入方向盤旋轉(zhuǎn)角信號(hào)和后輪轉(zhuǎn)數(shù)信號(hào)進(jìn)行積分，以計(jì)算當(dāng)前汽車位置1402和停車操作開始位置1401之間的位置關(guān)系，如圖14(a)所示。
根據(jù)所計(jì)算的位置關(guān)系，空間轉(zhuǎn)換裝置1303移動(dòng)相應(yīng)于向左邊平排停車的假設(shè)移動(dòng)圖形1403，以致如圖14(b)所示，圖形1403的操作開始位置(在圖5中的501)與停車操作開始位置1401相一致。換言之，在開始駕駛操作之后，空間轉(zhuǎn)換裝置1303在空間上將假設(shè)移動(dòng)圖形1403固定到停車操作開始處的位置上。
當(dāng)視點(diǎn)轉(zhuǎn)換裝置106接收到開始駕駛操作(停車操作)時(shí)，它即將虛擬攝像機(jī)的視點(diǎn)位置固定到一個(gè)空間(地)。即，在開始駕駛操作之后，將周圍狀況圖像(障礙物401、402等等)固定在屏幕上。
開始駕駛操作后，疊加裝置102在周圍狀況圖像上疊加空間上固定到停車操作開始的位置上的假設(shè)移動(dòng)圖形1403和當(dāng)前汽車位置1402，并將它們合成以產(chǎn)生如圖28(c)所示的本發(fā)明的合成圖像。因?yàn)橥▽⑻摂M攝像機(jī)在停車操作開始處在停車操作開始處的視點(diǎn)位置空間上固定到周圍狀態(tài)而得到合成圖像的視點(diǎn)的視點(diǎn)。所以，通過由積分裝置1302計(jì)算的相反于視點(diǎn)地計(jì)算位置關(guān)系，疊加裝置102產(chǎn)生合成圖像。即，在該合成圖像(圖28(c))中，當(dāng)根據(jù)汽車的實(shí)際移動(dòng)在屏幕上相對(duì)地移動(dòng)時(shí)，將周圍狀況圖像(障礙物401、402等等)和假設(shè)移動(dòng)圖形1403固定在屏幕上并顯示當(dāng)前汽車位置1402。
根據(jù)本實(shí)施例，因?yàn)槭乖陂_始停車操作之后的視點(diǎn)固定在一個(gè)空間，所以司機(jī)一看就可以確認(rèn)一看就可以確認(rèn)汽車相對(duì)于停車空間的周圍狀況的移動(dòng)狀態(tài)。
當(dāng)駕駛操作開始后根據(jù)假設(shè)移動(dòng)圖形假設(shè)的移動(dòng)包括較寬的范圍或是較復(fù)雜并且產(chǎn)生大于圖像部分101的攝像機(jī)的視野的范圍時(shí)，還允許通過使用存儲(chǔ)在空間數(shù)據(jù)緩沖器105中的數(shù)據(jù)來顯示范圍。
(第十實(shí)施例)然后，下面將參考

本發(fā)明的第十實(shí)施例。
圖29是方框圖，示出本發(fā)明的第十實(shí)施例的駕駛操作輔助器的配置。本實(shí)施例的駕駛操作輔助器和第一實(shí)施例的駕駛操作輔助器僅不同于假設(shè)了兩種情況，其中如圖30(b)所示，作為存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的缺省駕駛圖形，當(dāng)將方向盤順時(shí)針轉(zhuǎn)到最大角度時(shí)使汽車向后退和反時(shí)針時(shí)使輪胎旋轉(zhuǎn)，如圖30(a)所示，同時(shí)通過疊加裝置102合成兩個(gè)限定區(qū)軌跡604，替代由兩種情況的假設(shè)移動(dòng)造成的輪胎軌跡603，并在顯示裝置107上顯示合成的結(jié)果。
因此，在本實(shí)施例中，假設(shè)未另行說明的元件是同第一實(shí)施例的情況相同的元件，除非另行說明，與第一實(shí)施例的情況具有相同符號(hào)的元件具有第一實(shí)施例的情況的元件相同的功能。此外，除非另行說明，假設(shè)只要將相同的修改施加于本實(shí)施例可以把對(duì)于第一實(shí)施例所說明的每個(gè)修改例子應(yīng)用于本實(shí)施例。
根據(jù)本實(shí)施例，如圖30(b)所示，假設(shè)兩種最簡(jiǎn)單的情況，其中當(dāng)方向盤轉(zhuǎn)到最大順時(shí)針和反時(shí)針角度時(shí)汽車后退，作為假設(shè)移動(dòng)存儲(chǔ)圖形108(原文如此；假設(shè)移動(dòng)圖形存儲(chǔ)裝置)的缺省值。因此，當(dāng)汽車可以根據(jù)假設(shè)移動(dòng)存儲(chǔ)圖形108〔原文如此；假設(shè)移動(dòng)圖形存儲(chǔ)裝置〕的缺省值停車時(shí)，可以獲得有利之處，即變得不需要改變和選擇多個(gè)假設(shè)移動(dòng)存儲(chǔ)圖形和可以減輕司機(jī)的操作負(fù)擔(dān)。
此外，通過由疊架手段102同時(shí)合成限定區(qū)軌跡(由于上述兩種情況的假設(shè)移動(dòng)而產(chǎn)生的限定區(qū)軌跡)604和通過在顯示裝置107上顯示合成結(jié)果，不必改變和選擇左和右兩個(gè)假設(shè)移動(dòng)存儲(chǔ)圖形，結(jié)果可以得到這種減輕司機(jī)操作負(fù)擔(dān)的效果。
此外，如圖30(a)所示，疊加裝置102合成替代輪胎軌跡603的限定區(qū)軌跡60，它是該軌跡在整個(gè)汽車可以通過的空間中，并將合成結(jié)果顯示在顯示裝置107上，從而可以獲得一個(gè)有利之處，即司機(jī)能容易地和更正確地確認(rèn)離輪胎之外的突出的一部分汽車(諸如汽車的右前部分)在向左后方轉(zhuǎn)向而停車時(shí)是否會(huì)接觸到障礙物。
(第十一實(shí)施例)然后，下面將參考

本發(fā)明的第十一實(shí)施例。
圖31是方框圖，示出本發(fā)明的第十一施例的駕駛操作輔助器的配置。本實(shí)施例的駕駛操作輔助器主要應(yīng)用于使車進(jìn)入車庫(kù)和平排停車。因此，在本實(shí)施例中，假設(shè)未另行說明的元件是同第一和第五實(shí)施例的情況相同的元件，并且除非另行說明，與第一和第五實(shí)施例的情況具有相同符號(hào)的元件具有第一和第五實(shí)施例的情況的元件相同的功能。此外，除非另行說明，假設(shè)只要將相同的修改施加于本實(shí)施例可以把對(duì)于第一和第五實(shí)施例所說明的每個(gè)修改例子應(yīng)用于本實(shí)施例。
本實(shí)施例的駕駛操作輔助器的配置和第一和第五實(shí)施例的駕駛操作輔助器的不同之處在于包括圖31所示的障礙物輸入裝置3101和假設(shè)圖形校正裝置3102，以及假設(shè)移動(dòng)圖形存儲(chǔ)裝置108包括用于當(dāng)汽車如圖32(a)所示地移動(dòng)時(shí)，改變汽車向后和向前移動(dòng)的移動(dòng)圖形。
假使這樣的話，將相應(yīng)于輪胎旋轉(zhuǎn)的方向盤角度存儲(chǔ)在圖31中的假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中，作為用于如圖32(b)所示的假設(shè)移動(dòng)圖形的時(shí)序數(shù)據(jù)。如圖32(b)所示，0到0.8的輪胎旋轉(zhuǎn)表示汽車在從倒車改變?yōu)橄蚯耙苿?dòng)處的倒車。假使這樣的話，汽車的位置出現(xiàn)在如圖32(a)所示的向后和向前移動(dòng)改變位置3201處。然后，汽車向前移動(dòng)到0.8到0.6的輪胎角。當(dāng)汽車到達(dá)如圖32(a)所示的向前和向后移動(dòng)改變位置3202處時(shí)，諸如在0.6到1.4的輪胎角，使向前移動(dòng)再次改變?yōu)榈管嚒?br> 因此，通過包括用于在移動(dòng)期間改變向后和向前移動(dòng)的移動(dòng)圖形，有可能控制汽車的位置和方向，即使如圖32(a)所示對(duì)于障礙物只有較小的空間余量。
在本實(shí)施例中，所述過程是直到根據(jù)通過圖像部分101成像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像為止的過程和第一實(shí)施例所說明的過程相同。在到疊加手段102產(chǎn)生合成圖像，和顯示手段107顯示合成圖像為止的過程中，通過將圖形的開始位置調(diào)節(jié)到汽車的當(dāng)前位置，在本發(fā)明的合成圖像上顯示存儲(chǔ)在假設(shè)移動(dòng)圖像存儲(chǔ)手段108中的假設(shè)移動(dòng)圖形的過程和第一實(shí)施例所示的一致。
將在下面通過用向右邊完成把車開入車庫(kù)的例子來說明一個(gè)過程，即在將假設(shè)移動(dòng)圖形顯示在合成圖像上和將校正假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)顯示在合成圖像上之后，直到司機(jī)使用軌跡校正裝置1801和障礙物輸入裝置3101，校正假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)的過程。
如圖33所示，假設(shè)一種情況，在該情況中，為了使用目標(biāo)停車位置1902作為操作終止位置來完成使汽車進(jìn)入車庫(kù)的操作，司機(jī)將汽車移動(dòng)到當(dāng)前位置1901，在該位置處，假設(shè)移動(dòng)圖形的操作終止位置與目標(biāo)停車位置1902相一致，以致汽車不碰到障礙物(a3204、b3205或c3206)，從而發(fā)現(xiàn)假設(shè)移動(dòng)圖形的限定區(qū)604可以和障礙物a、b或c接觸。
當(dāng)假設(shè)移動(dòng)圖形存儲(chǔ)裝置108存儲(chǔ)用于另一個(gè)向右邊的使車進(jìn)入車庫(kù)的操作時(shí)，允許通過圖形選擇裝置(未示出)選擇假設(shè)移動(dòng)圖形，并研究是否能順利地進(jìn)行停車操作。然而，當(dāng)裝置108不存儲(chǔ)假設(shè)移動(dòng)圖形或另一個(gè)假設(shè)移動(dòng)圖形也和障礙物等相接時(shí)，司機(jī)校正假設(shè)移動(dòng)圖形。
首先，司機(jī)假設(shè)一個(gè)圖形，該圖形表示汽車出現(xiàn)在示于圖31中的顯示裝置107上的合成圖像(圖33)的當(dāng)前位置3200處，作為停車操作開始位置1901，假設(shè)在圖像中的一個(gè)區(qū)，在該區(qū)出現(xiàn)障礙物a、b或c，通過使用在圖31中的障礙物輸入裝置3101作為障礙物指定矩形如圖34所示的a3207，或通過使用障礙物指定圓b3208，作為障礙物指定區(qū)3201(參考圖36)，并通過設(shè)置和輸入障礙物指定矩形或障礙物指定區(qū)。此外，當(dāng)必須校正目標(biāo)停車位置時(shí)，司機(jī)通過數(shù)字值輸入、指示針或其它裝置完成移動(dòng)輸入。
當(dāng)輸入障礙物區(qū)時(shí)，軌跡校正裝置1801在包括如圖35所示的障礙物指定區(qū)3210的具有60cm的圓形區(qū)中設(shè)置一個(gè)接觸危險(xiǎn)區(qū)3209。此外，對(duì)該區(qū)提供示于圖36的接觸危險(xiǎn)估算函數(shù)H3210。通過合成三個(gè)二次函數(shù)來配置該函數(shù)，當(dāng)離障礙物指定區(qū)3210接近10cm或小于10cm時(shí)，這些二次函數(shù)快速地增加，當(dāng)離開10cm或更多時(shí)，緩慢地減小，對(duì)于60cm或更大則變成0。
此外，如圖37所示，將估算點(diǎn)3211(xi、yi)(i=1-6)設(shè)置到示于圖37的圍繞某區(qū)的6個(gè)點(diǎn)，并計(jì)算示于圖32(b)的表中的有關(guān)N項(xiàng)(輪胎旋轉(zhuǎn)tm和輪胎角km)(m=1-N)的軌跡估算點(diǎn)3212(xi、yi)n(n=1-N)。
如圖38中的表達(dá)式所示，從在軌跡估算點(diǎn)3212的位置處的總接觸危險(xiǎn)估算函數(shù)H3210得到軌跡接觸危險(xiǎn)估算函數(shù)H”3213。
如圖37所示，軌跡接觸危險(xiǎn)估算函數(shù)H”3213成為在圖32(b)的表中的N項(xiàng)(輪胎旋轉(zhuǎn)tm和輪胎角km)的函數(shù)。因此，通過偏微分方法對(duì)圖(輪胎旋轉(zhuǎn)tm和輪胎角km)連續(xù)地校正，有可能得到使軌跡接觸危險(xiǎn)估算函數(shù)H”3212最小的值(輪胎旋轉(zhuǎn)tm和輪胎角km)。
從而，如圖39所示，有可能從最先示于圖32(b)中的(輪胎旋轉(zhuǎn)tm和輪胎角km)將假設(shè)移動(dòng)圖形校正到使軌跡接觸危險(xiǎn)估算函數(shù)H”3212值最小的(輪胎旋轉(zhuǎn)tm和輪胎角km)。
當(dāng)在障礙物指定區(qū)3210中即使發(fā)現(xiàn)10cm或更小的一個(gè)點(diǎn)，從使軌跡接觸危險(xiǎn)估算函數(shù)H”3212值最小的(輪胎旋轉(zhuǎn)tm和輪胎角km)中的軌跡估算點(diǎn)3212(xi、yi)n的有關(guān)每個(gè)點(diǎn)的接觸危險(xiǎn)估算函數(shù)H，向司機(jī)發(fā)出一個(gè)警告C已滿”(C areful”)。當(dāng)在障礙物指定區(qū)3210中即使發(fā)現(xiàn)0cm或更小的一個(gè)點(diǎn)，向司機(jī)發(fā)出一個(gè)警告不可能停車”。
因?yàn)樾Ｕ僭O(shè)移動(dòng)圖形是用于使軌跡接觸危險(xiǎn)估算函數(shù)H”3212最小的移動(dòng)圖形，所以假設(shè)移動(dòng)圖形產(chǎn)生離圖40中所示的障礙物具有較大余量的軌跡，從而可以更安全地停車。
如圖41所示，通過將校正假設(shè)移動(dòng)圖形3214的操作開始位置調(diào)節(jié)到當(dāng)前汽車位置3200，疊加裝置102產(chǎn)生合成圖像，并且顯示裝置107顯示合成圖像。
因此，當(dāng)司機(jī)根據(jù)新的校正假設(shè)移動(dòng)圖形3214開始汽車的駕駛操作(停車操作)時(shí)，根據(jù)對(duì)障礙物具有較大余量的移動(dòng)圖形，司機(jī)可以將車停在目標(biāo)停車位置1902處。
通過更新原始假設(shè)移動(dòng)圖形或在108中另外存儲(chǔ)新的假設(shè)移動(dòng)圖形，允許將所產(chǎn)生的新的假設(shè)移動(dòng)圖形和時(shí)序數(shù)據(jù)存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中而不改變?cè)技僭O(shè)移動(dòng)圖形。此外，允許臨時(shí)性地使用它們而不存儲(chǔ)它們。此外，允許司機(jī)每次選擇重新開始的存儲(chǔ)、另外的存儲(chǔ)或不存儲(chǔ)。
此外，通過假設(shè)說明上述本實(shí)施例，假設(shè)可以根據(jù)司機(jī)輸入的移動(dòng)的開始或終止處的汽車的位置，自動(dòng)地得到待重新存儲(chǔ)或另外存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的假設(shè)移動(dòng)圖形。然而，還允許完成實(shí)際的駕駛操作，從而對(duì)然后的方向盤的操縱角和輪的轉(zhuǎn)數(shù)的時(shí)序數(shù)據(jù)取樣，產(chǎn)生根據(jù)時(shí)序數(shù)據(jù)的假設(shè)移動(dòng)圖形，并存儲(chǔ)所述圖形。
(第十二實(shí)施例)下面將參考圖42到46說明本發(fā)明的第十二實(shí)施例。
在第十一實(shí)施例中，假設(shè)根據(jù)司機(jī)輸入的障礙物區(qū)來校正圖32(a)所示的假設(shè)移動(dòng)圖形。然而，還允許校正兩個(gè)假設(shè)移動(dòng)圖形或更多，并選擇較佳的一個(gè)。圖42不同于圖31，其中使用移動(dòng)圖形選擇軌跡校正裝置3301來替代軌跡校正裝置3101。
首先，說明第十二實(shí)施例的操作。如圖43所示，通過假設(shè)當(dāng)前汽車位置作為停車操作開始位置，在顯示單元所顯示的圖像上，司機(jī)指定和輸入目標(biāo)停車位置1902。根據(jù)目標(biāo)停車位置1902對(duì)出自多個(gè)存儲(chǔ)在假設(shè)移動(dòng)圖形存儲(chǔ)裝置108中的多個(gè)假設(shè)移動(dòng)圖形的停車操作開始位置的粗略的位置關(guān)系，如圖44所示，移動(dòng)圖形選擇軌跡校正裝置3301錄取兩個(gè)用于向右后方停車的假設(shè)移動(dòng)圖形。
此外，如圖45和46所示，當(dāng)司機(jī)在顯示單元上顯示的圖像上輸入障礙物區(qū)時(shí)，與第十一實(shí)施例情況相似地校正分別使軌跡接觸危險(xiǎn)估算函數(shù)H”3213最小的兩個(gè)假設(shè)移動(dòng)圖形。假使這樣的話，通過兩個(gè)最小的軌跡接觸危險(xiǎn)估算函數(shù)H”3213的相互比較，有可能選擇較安全的假設(shè)移動(dòng)圖形。此外，當(dāng)兩個(gè)軌跡接觸危險(xiǎn)估算函數(shù)H”3213具有相同值時(shí)，通過先前提升允許較簡(jiǎn)單駕駛操作的函數(shù)H”3213的優(yōu)先級(jí)，選擇較簡(jiǎn)單的假設(shè)移動(dòng)圖形。
因此，當(dāng)離障礙物的空間余量較小時(shí)，如圖45所示，自動(dòng)地選擇具有向后移動(dòng)(cutback)的更安全的移動(dòng)圖形。然而，當(dāng)離障礙物的空間余量較大時(shí)，如圖446〔原文如此；圖46)所示，自動(dòng)地選擇沒有向后移動(dòng)(cutback)的更簡(jiǎn)單的移動(dòng)圖形。
根據(jù)上述配置，司機(jī)可以僅通過輸入目標(biāo)停車位置和障礙物區(qū)自動(dòng)地選擇最佳假設(shè)移動(dòng)圖形，從而通過較安全和較簡(jiǎn)單的駕駛操作實(shí)現(xiàn)最佳停車。
根據(jù)本實(shí)施例，有可能實(shí)現(xiàn)比第一實(shí)施例的駕駛操作輔助器更可擴(kuò)展的駕駛操作輔助器。
通過假設(shè)說明上述第一到第十二實(shí)施例，假設(shè)通過使用多個(gè)裝在車上的攝像機(jī)，本發(fā)明的周圍狀況圖像裝置主要產(chǎn)生從虛擬攝像機(jī)的視點(diǎn)觀察的圖像。然而，還允許使用一個(gè)裝置到有屋頂停車場(chǎng)的天花板上的攝像機(jī)。簡(jiǎn)言之，有可能使用任何類型的裝置作為本發(fā)明的周圍狀況圖像裝置，只要通過用攝像機(jī)成像汽車的周圍狀況和/或存儲(chǔ)所產(chǎn)生的周圍狀況圖像使該裝置產(chǎn)生周圍狀況圖像。
此外，通過假設(shè)說明上述第一到第十二實(shí)施例，假設(shè)分別對(duì)各實(shí)施例的駕駛操作輔助器提供本發(fā)明的假設(shè)移動(dòng)圖形存儲(chǔ)裝置。然而，還允許使用任何類型的裝置作為本發(fā)明的假設(shè)移動(dòng)圖形存儲(chǔ)裝置，只要每次都能將假設(shè)移動(dòng)圖形輸入的各裝置。簡(jiǎn)言之，允許使用任何類型的駕駛操作輔助器作為本發(fā)明的駕駛操作輔助器，只要駕駛操作輔助器包括周圍狀況圖像裝置，用于以攝像機(jī)成像汽車的周圍狀況，從而產(chǎn)生周圍狀況圖像和/或存儲(chǔ)周圍狀況圖像；合成圖像產(chǎn)生裝置，在完成汽車的預(yù)定駕駛操作序列的情況下，用于在周圍狀況圖像上疊加表示汽車移動(dòng)的視頻數(shù)據(jù)的假設(shè)移動(dòng)圖形，并產(chǎn)生合成圖像；以及顯示裝置，用于顯示合成圖像。從而，因?yàn)橹辽僖粋€(gè)周圍狀況圖像和一個(gè)假設(shè)移動(dòng)圖形彼此疊加并顯示在合成屏幕上，司機(jī)只要一看就可以確認(rèn)周圍狀況圖像和假設(shè)移動(dòng)圖形之間的關(guān)系。
工業(yè)應(yīng)用性從上述說明可以明了，本發(fā)明提供駕駛操作輔助器，根據(jù)通過顯示汽車移動(dòng)的預(yù)定的駕駛操作序列和周圍狀況，當(dāng)司機(jī)完成和周圍狀況一起的預(yù)定的駕駛操作序列時(shí)，司機(jī)可以通過所述駕駛操作輔助器直接地確認(rèn)汽車移動(dòng)之間的關(guān)系，因而減輕了司機(jī)的負(fù)擔(dān)。
即，通過使用本發(fā)明的駕駛操作輔助器，看一眼顯示圖像，司機(jī)就可以確認(rèn)一個(gè)位置，用于開始諸如使車進(jìn)入車庫(kù)或平排停車之類的駕駛操作；一個(gè)地方，用于最后停放汽車；以及一個(gè)位置關(guān)系，諸如與其它汽車之類的障礙物的位置關(guān)系。因此，預(yù)期減輕了司機(jī)的操作負(fù)擔(dān)和提高了安全性。此外，通過引入自動(dòng)駕駛技術(shù)，有可能自動(dòng)地完成每個(gè)操作，包括當(dāng)觀察移動(dòng)軌跡數(shù)據(jù)時(shí)，僅由司機(jī)將汽車移動(dòng)到停車操作開始位置而使汽車進(jìn)入車庫(kù)。
此外，本發(fā)明提供用于存儲(chǔ)程序的記錄媒體，所述程序使計(jì)算機(jī)執(zhí)行本發(fā)明的駕駛操作輔助器的各個(gè)裝置的所有的或某些功能。
權(quán)利要求
1．一種駕駛操作輔助器，其特征在于包含周圍狀況成像裝置，用于使用攝像機(jī)對(duì)汽車的周圍狀況成像，并產(chǎn)生周圍狀況圖像和/或存儲(chǔ)產(chǎn)生的周圍狀況圖像；合成圖像產(chǎn)生裝置，用于通過在所述周圍狀況圖像上疊加一假設(shè)移動(dòng)圖形而產(chǎn)生合成圖像，所述假設(shè)移動(dòng)圖形是在對(duì)汽車執(zhí)行一系列預(yù)定的駕駛操作情況下示出汽車的移動(dòng)的視頻數(shù)據(jù)；和顯示裝置，用于顯示所述合成圖像。
2．如權(quán)利要求1所述的駕駛操作輔助器，其特征在于周圍狀況成像裝置具有一個(gè)或多個(gè)攝像機(jī)，以及攝像機(jī)參數(shù)表，用于存儲(chǔ)攝像機(jī)參數(shù)，所述攝像機(jī)參數(shù)是所述攝像機(jī)或所述每一個(gè)攝像機(jī)的特性，并從所述攝像機(jī)或所述每一個(gè)攝像機(jī)輸出的所述攝像機(jī)參數(shù)，產(chǎn)生周圍狀況圖像。
3．如權(quán)利要求2所述的駕駛操作輔助器，其特征在于周圍狀況成像裝置具有空間重新配置裝置，用于根據(jù)攝像機(jī)參數(shù)，使構(gòu)成由攝像機(jī)或每一個(gè)攝像機(jī)輸出的圖像的每一個(gè)象素與三維空間中的一點(diǎn)相關(guān)，而產(chǎn)生空間數(shù)據(jù)；視點(diǎn)轉(zhuǎn)換裝置，用于對(duì)照空間數(shù)據(jù)，產(chǎn)生從預(yù)定的視點(diǎn)觀察看見的圖像作為周圍狀況圖像，而合成圖像產(chǎn)生裝置通過對(duì)照所述空間數(shù)據(jù)產(chǎn)生合成圖像。
4．如權(quán)利要求3所述的駕駛操作輔助器，其特征在于包含一空間數(shù)據(jù)緩沖器，用于暫時(shí)存儲(chǔ)空間數(shù)據(jù)。
5．如權(quán)利要求3或4所述的駕駛操作輔助器，其特征在于預(yù)定的視點(diǎn)是固定到三維空間或汽車的點(diǎn)，并且視點(diǎn)轉(zhuǎn)換裝置自動(dòng)地或通過司機(jī)的輸入改變預(yù)定的視點(diǎn)。
6．如權(quán)利要求1到5任一條所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形包含視頻數(shù)據(jù)，所述視頻數(shù)據(jù)示出假設(shè)移動(dòng)開始區(qū)和假設(shè)移動(dòng)終止區(qū)之間的關(guān)系，所述假設(shè)移動(dòng)開始區(qū)是執(zhí)行上述預(yù)定的一系列駕駛操作時(shí)汽車的移動(dòng)開始時(shí)汽車所在區(qū)，所述假設(shè)移動(dòng)終止區(qū)是移動(dòng)終止時(shí)汽車所在的位置。
7．如權(quán)利要求6所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形包含示出汽車輪胎的軌跡的視頻數(shù)據(jù)和/或示出汽車的移動(dòng)區(qū)的視頻數(shù)據(jù)。
8．如權(quán)利要求6或7所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形包含示出設(shè)置在汽車移動(dòng)區(qū)的外部邊緣上的虛擬極的視頻數(shù)據(jù)。
9．如權(quán)利要求6到8的任一條所述的駕駛操作輔助器，其特征在于合成圖像產(chǎn)生裝置將用作示出汽車所在區(qū)的視頻數(shù)據(jù)的當(dāng)前位置數(shù)據(jù)疊加在周圍狀況圖像上，以產(chǎn)生合成圖像。
10．如權(quán)利要求9所述的駕駛操作輔助器，其特征在于合成圖像產(chǎn)生裝置將假設(shè)移動(dòng)開始區(qū)疊加在和當(dāng)前數(shù)據(jù)位置相同的位置上。
11．如權(quán)利要求6到10的任一條所述的駕駛操作輔助器，其特征在于當(dāng)開始對(duì)應(yīng)于上述預(yù)定的一系列駕駛操作的實(shí)際駕駛操作時(shí)，此后合成圖像產(chǎn)生裝置在開始所述實(shí)際駕駛操作時(shí)，固定假設(shè)移動(dòng)圖形和周圍狀況圖像之間的位置關(guān)系，并產(chǎn)生合成圖像。
12．如權(quán)利要求11所述的駕駛操作輔助器，其特征在于包含位置信息存儲(chǔ)裝置，它根據(jù)當(dāng)開始實(shí)際駕駛操作時(shí)合成圖像上的周圍狀況圖像的所有或一部分視頻數(shù)據(jù)來存儲(chǔ)假設(shè)移動(dòng)圖形的所有或一部分視頻數(shù)據(jù)，合成圖像產(chǎn)生裝置根據(jù)位置信息固定位置關(guān)系。
13．如權(quán)利要求11所述的駕駛操作輔助器，其特征在于包含移動(dòng)位置計(jì)算裝置，它從開始實(shí)際駕駛操作起，根據(jù)實(shí)際駕駛操作相關(guān)的信號(hào)計(jì)算汽車的移動(dòng)位置，并且合成圖像產(chǎn)生裝置根據(jù)所述移動(dòng)位置固定位置關(guān)系。
14．如權(quán)利要求6到13的任一條所述的駕駛操作輔助器，其特征在于包含最后位置輸入裝置，用于輸入最后的位置，所述最后的位置是汽車移動(dòng)終止時(shí)的位置，和開始位置確定裝置，用于得到開始的位置，所述開始的位置是根據(jù)假設(shè)移動(dòng)圖形對(duì)應(yīng)于輸入的最后的位置，在移動(dòng)開始時(shí)的位置；和合成圖像產(chǎn)生裝置，它將輸入的最后的位置和對(duì)應(yīng)于所述輸入的最后的位置的開始的位置疊加在周圍狀況圖像上，以產(chǎn)生合成圖像。
15．如權(quán)利要求14所述的駕駛操作輔助器，其特征在于包含開始位置引導(dǎo)裝置，它通過自動(dòng)地控制汽車的駕駛，將汽車引導(dǎo)到開始的位置。
16．如權(quán)利要求1到15任一條所述的駕駛操作輔助器，其特征在于包含假設(shè)移動(dòng)圖形存儲(chǔ)裝置，它保留與上述預(yù)定的一系列駕駛操作相關(guān)的數(shù)據(jù)，并保持至少包含假設(shè)移動(dòng)圖形的假設(shè)移動(dòng)數(shù)據(jù)。
17．如權(quán)利要求16所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形存儲(chǔ)裝置擁有多個(gè)假設(shè)移動(dòng)圖形，并且包含圖形選擇裝置，它通過來自司機(jī)的輸入或預(yù)定的駕駛操作，自動(dòng)地選擇假設(shè)移動(dòng)圖形。
18．如權(quán)利要求16或17所述的駕駛操作輔助器，其特征在于包含圖形校正裝置，它能夠更新和校正假設(shè)移動(dòng)圖形存儲(chǔ)裝置中擁有的假設(shè)移動(dòng)圖形的內(nèi)容。
19．如權(quán)利要求18所述的駕駛操作輔助器，其特征在于圖形校正裝置根據(jù)從司機(jī)輸入的校正的移動(dòng)的開始和終止時(shí)汽車的位置，更新和校正假設(shè)移動(dòng)圖形和/或假設(shè)移動(dòng)數(shù)據(jù)。
20．如權(quán)利要求18所述的駕駛操作輔助器，其特征在于圖形校正裝置根據(jù)實(shí)際駕駛操作更新和校正假設(shè)移動(dòng)圖形和/或假設(shè)移動(dòng)數(shù)據(jù)。
21．如權(quán)利要求16到20的任一條所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)數(shù)據(jù)包含示出移動(dòng)距離和汽車的方向盤的轉(zhuǎn)向角度之間的關(guān)系的時(shí)序數(shù)據(jù)。
22．如權(quán)利要求21所述的駕駛操作輔助器，其特征在于包含駕駛控制裝置，它在開始對(duì)應(yīng)于上述預(yù)定的一系列駕駛操作的實(shí)際駕駛操作時(shí)，根據(jù)時(shí)序數(shù)據(jù)，自動(dòng)地控制汽車的駕駛。
23．如權(quán)利要求11到13任一條所述的駕駛操作輔助器，其特征在于包含操作開始檢測(cè)裝置，它通過從司機(jī)的輸入或預(yù)定的駕駛操作，自動(dòng)檢測(cè)對(duì)應(yīng)于上述預(yù)定的一系列駕駛操作的實(shí)際駕駛操作的開始。
24．如權(quán)利要求5到23任一條所述的駕駛操作輔助器，其特征在于當(dāng)視點(diǎn)轉(zhuǎn)換裝置改變預(yù)定的視點(diǎn)時(shí)，視點(diǎn)轉(zhuǎn)換裝置在對(duì)應(yīng)于預(yù)定的一系列駕駛操作的實(shí)際駕駛操作開始之前，將預(yù)定的視點(diǎn)固定到汽車，并在對(duì)應(yīng)于預(yù)定的一系列駕駛操作的實(shí)際駕駛操作開始之后，將預(yù)定的視點(diǎn)改變?yōu)楣潭ǖ饺S空間中的一點(diǎn)。
25．如權(quán)利要求24所述的駕駛操作輔助器，其特征在于固定到三維空間的點(diǎn)是當(dāng)實(shí)際駕駛操作開始時(shí)，由假設(shè)移動(dòng)圖形顯示的汽車的移動(dòng)終止時(shí)的位置上方的點(diǎn)。
26．如權(quán)利要求1到5所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形包含示出當(dāng)執(zhí)行預(yù)定的一系列駕駛操作時(shí)，汽車經(jīng)過的空間上的限定區(qū)的視頻數(shù)據(jù)。
27．如權(quán)利要求6所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形包含示出當(dāng)汽車的輪胎順時(shí)針或反時(shí)針轉(zhuǎn)向角度最大時(shí)的軌跡示出的視頻數(shù)據(jù)和/或示出汽車的移動(dòng)區(qū)的視頻數(shù)據(jù)。
28．如權(quán)利要求16所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形存儲(chǔ)裝置擁有假設(shè)移動(dòng)圖形，并設(shè)置有合成圖像產(chǎn)生裝置，用于通過同時(shí)將兩個(gè)或更多的假設(shè)移動(dòng)圖形疊加在周圍狀況圖像時(shí)產(chǎn)生合成圖像，以及顯示裝置，用于顯示合成圖像。
29．如權(quán)利要求1到5的任一條所述的駕駛操作輔助器，其特征在于假設(shè)移動(dòng)圖形在預(yù)定的一系列駕駛操作中分別包含從倒車到向前移動(dòng)以及從向前移動(dòng)到倒車的變化。
30．如權(quán)利要求1到5的任一條所述的駕駛操作輔助器，其特征在于包含障礙物輸入裝置，它能夠?qū)D像中的障礙物區(qū)的位置輸入到顯示裝置中，用于顯示來自司機(jī)的圖像。
31．如權(quán)利要求17所述的駕駛操作輔助器，其特征在于圖形選擇裝置根據(jù)司機(jī)輸入的障礙物區(qū)位置，選擇一個(gè)假設(shè)移動(dòng)圖形；并且包含障礙物輸入裝置，它能夠?qū)D像中障礙物區(qū)的位置輸入到顯示裝置中，顯示來自司機(jī)的合成圖像。
32．如權(quán)利要求18所述的駕駛操作輔助器，其特征在于圖形校正裝置根據(jù)從司機(jī)輸入的障礙區(qū)的位置，更新和校正假設(shè)移動(dòng)圖形和/或假設(shè)移動(dòng)數(shù)據(jù)，并且包含障礙物輸入裝置，它能夠?qū)D像中的障礙物的位置輸入到顯示裝置，從司機(jī)顯示合成圖像。
33．一種記錄媒體，其特征在于存儲(chǔ)使計(jì)算機(jī)執(zhí)行如權(quán)利要求1到32任一條所述的每一個(gè)裝置的所有或一些功能的程序。
全文摘要
本發(fā)明提供了一種駕駛操作輔助器,其特征在于包含:周圍狀況成像裝置,用于通過攝像機(jī)對(duì)汽車的周圍狀況成像,并產(chǎn)生周圍狀況圖像;合成圖像產(chǎn)生裝置,用于通過在周圍狀況圖像上疊加假設(shè)移動(dòng)圖形產(chǎn)生合成圖像,所述假設(shè)移動(dòng)圖形是視頻數(shù)據(jù),示出在執(zhí)行預(yù)定的一系列汽車的駕駛操作情況下汽車的移動(dòng);和顯示裝置,用于顯示合成圖像;以及周圍狀況成像裝置具有一個(gè)或更多攝像機(jī);以及攝像機(jī)參數(shù)表,用于存儲(chǔ)攝像機(jī)參數(shù),該參數(shù)是攝像機(jī)或每一個(gè)攝像機(jī)的特性,并且根據(jù)來自攝像機(jī)或每一個(gè)攝像機(jī)輸出的攝像機(jī)參數(shù)產(chǎn)生周圍狀況圖像。
文檔編號(hào)G06T17/05GK1287532SQ99801786
公開日2001年3月14日 申請(qǐng)日期1999年10月6日 優(yōu)先權(quán)日1998年10月8日
發(fā)明者岡本修作, 石井浩史, 中川雅通, 登一生, 森村淳 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社