自行式工業(yè)機械的顯示裝置制造方法
【專利摘要】本發(fā)明的目的在于，無論顯示俯瞰圖像的方向為哪個方向，均能使操作員直觀且正確地認知俯瞰圖像的方向性。本發(fā)明具有：多臺相機(10)，其對自卸卡車(1)的周邊進行拍攝并將斜下方作為光軸；視點轉換部(22)，其生成俯瞰圖像(32)，該俯瞰圖像是對各相機(10)所拍攝的相機圖像分別以使上方成為視點的方式進行視點轉換后的圖像；圖像合成部(25)，其將使自卸卡車(1)標志化而成的標志圖像(31)配置于中央，并在其周圍合成俯瞰圖像(32)來生成合成俯瞰圖像；前方圖標重疊部(24)，其將表示標志圖像(31)的前方方向的前方圖標(33)重疊在標志圖像(31)上；和監(jiān)視器(15)，其配置在自卸卡車(1)的駕駛室(2)中，并以任意方向顯示重疊有前方圖標(33)的合成俯瞰圖像。
【專利說明】自行式工業(yè)機械的顯示裝置

【技術領域】
[0001]本發(fā)明涉及自行式工業(yè)機械的顯示裝置，在自卸卡車或液壓挖掘機等自行式工業(yè)機械進行行駛操作時對其進行支援。

【背景技術】
[0002]自行式工業(yè)機械利用于各種各樣的作業(yè)現(xiàn)場。自行式工業(yè)機械中的一種為自卸卡車。自卸卡車具有能夠在車身的車架上起伏的載貨臺(貨斗:vessei)，在該貨斗中裝載碎石物或砂土等搬運對象物。而且，自卸卡車將砂土等向規(guī)定的堆放地搬運并卸載。在將裝載于貨斗的砂土等卸載時，使自卸卡車后退至卸載位置而停止。在該狀態(tài)下使貨斗傾斜來卸載砂土等。然后，當卸載結束時將貨斗返回至原位置并使自卸卡車前進。
[0003]另一方面，自行式工業(yè)機械的一種為液壓挖掘機。液壓挖掘機具有下部行駛體和上部旋轉體，其中，該下部行駛體具有履帶式或輪式的行駛機構，該上部旋轉體能夠相對于下部行駛體旋轉。在上部旋轉體上設有駕駛室(操作室)，作為作業(yè)機構，在上部旋轉體上設有相對于上部旋轉體以能夠進行俯仰動作的方式連結的動臂、以能夠沿上下方向轉動的方式與動臂的前端連結的斗桿、和進行砂土的挖掘等作業(yè)的鏟斗。
[0004]對于搭乘在自卸卡車或液壓挖掘機等自行式工業(yè)機械的駕駛室中的操作員來說，雖然確保了前方的視場，但是會在后方和左右側方產(chǎn)生死角。因此，產(chǎn)生操作員難以用肉眼視覺辨認的方向。因此，通過在設于駕駛室中的監(jiān)視器上顯示將虛擬視點置于上方的俯瞰圖像，能夠輔助操作員認知自行式工業(yè)機械的周圍狀況。顯示俯瞰圖像的技術的一個例子在專利文獻I中有所公開。該專利文獻I的技術不是將自行式工業(yè)機械的周圍、而是將汽車的周圍作為俯瞰圖像而顯示的技術，生成將汽車的CG作為中心并在前后左右合成俯瞰圖像而顯示的畫面。
[0005]現(xiàn)有技術文獻
[0006]專利文獻
[0007]專利文獻1:日本特開2010-251939號公報


【發(fā)明內(nèi)容】

[0008]上述專利文獻I的俯瞰圖像將汽車的CG作為中心，并在前后左右合成俯瞰圖像。將其作為合成俯瞰圖像。該合成俯瞰圖像當然是以操作員容易視覺辨認的方式顯示于監(jiān)視器上。因此，以合成俯瞰圖像的中心的汽車的CG的前方朝向監(jiān)視器的上方的方式進行顯示。即，合成俯瞰圖像沿縱向顯示。由此，操作員能夠基于合成俯瞰圖像，直觀地認知該車輛的周邊狀況。
[0009]但是，顯示俯瞰圖像的方向未必總是固定的。有時也會根據(jù)操作員的習慣或/和顯示方式，而將合成俯瞰圖像沿橫向顯示。在該情況下，如果像專利文獻I那樣，使用能夠明確地認知車輛的前方方向的汽車的CG，則即使將合成俯瞰圖像沿橫向顯示，也能夠認知車輛的前方。
[0010]自行式工業(yè)機械的情況也是同樣地，以將自行式工業(yè)機械再現(xiàn)而成的標志圖像為中心，在前后左右合成俯瞰圖像而成為合成俯瞰圖像。此時，合成俯瞰圖像的中央的標志圖像明確地表示自行式工業(yè)機械的前方的情況自不必說，在不是這樣的情況下，當將合成俯瞰圖像沿橫向顯示時，難以看一眼就掌握自行式工業(yè)機械的前方。在該情況下，若操作員在基于合成俯瞰圖像而誤認自行式工業(yè)機械的方向性的狀態(tài)下進行行駛操作，則會向操作員所不希望的方向行駛。
[0011]因此，本發(fā)明的目的在于，即使顯示俯瞰圖像的方向為任意方向，也能夠使操作員直觀且正確地認知俯瞰圖像的方向性。
[0012]為了解決以上課題，本發(fā)明的自行式工業(yè)機械的顯示裝置具有:多臺相機(攝影機，camera)，其對自行式工業(yè)機械的周邊進行拍攝并將斜下方作為光軸；視點轉換部，其生成俯瞰圖像，該俯瞰圖像是對各相機所拍攝的相機圖像分別以使上方成為視點的方式進行視點轉換后的圖像；圖像合成部，其在將上述自行式工業(yè)機械標志化而成的標志圖像的周圍合成上述俯瞰圖像來生成合成俯瞰圖像；方向重疊部，其將表示上述標志圖像的前方方向的前方顯示部重疊在上述標志圖像上；以及顯示裝置，其配置在上述自行式工業(yè)機械的駕駛室中，并以任意方向顯示重疊有上述前方顯示部的上述合成俯瞰圖像。
[0013]根據(jù)本發(fā)明，將表示前方方向的前方顯示部重疊在標志圖像上。通過顯示前方顯示部，無論合成俯瞰圖像以哪個方向顯示，操作員均能夠直觀且正確地認知自行式工業(yè)機械的前方方向。
[0014]另外，也可以是，上述顯示裝置的畫面部為橫長的，且上述合成俯瞰圖像為縱長的，將上述合成俯瞰圖像顯示在上述畫面部中時，橫向地進行顯示。
[0015]在合成俯瞰圖像為縱長、畫面部為橫長時，如果以縱向顯示合成俯瞰圖像，則由于無法在畫面部的顯示區(qū)域上較大地顯示，所以無法實現(xiàn)畫面部的有效利用。因此，通過以橫向顯示合成俯瞰圖像，能夠?qū)崿F(xiàn)畫面部的有效利用，能夠較大地顯示合成俯瞰圖像。此時，由于顯示有前方顯示部，所以操作員能夠直觀且正確地認知自行式工業(yè)機械的前方方向。
[0016]另外，也可以是，能夠切換第一顯示模式和第二顯示模式，第一顯示模式中，使上述俯瞰圖像為橫向并顯示在上述畫面部上，第二顯示模式中，在將上述畫面部沿橫向分割時的一個區(qū)域上以縱向顯示上述合成俯瞰圖像，并在其他區(qū)域上顯示沒有進行視點轉換的所述相機圖像。
[0017]在第一顯示模式中，由于能夠較大地顯示合成俯瞰圖像，所以能夠以良好的視覺辨認性認知合成俯瞰圖像。另一方面，在第二顯示模式中，由于能夠顯示合成俯瞰圖像和相機圖像雙方，所以雖然合成俯瞰圖像的視覺辨認性降低，但是由于能夠直接視覺辨認相機圖像，所以能夠在行駛操作時得到足夠的信息。
[0018]另外，也可以是，基于來自對上述自行式工業(yè)機械的行駛進行操作的行駛操作部的信息，在通過上述行駛操作部行駛時將表示行駛方向的行駛方向顯示部重疊在上述標志圖像上，在通過上述行駛操作部停止行駛時不重疊上述行駛方向顯示部。
[0019]雖然能夠通過前方顯示部直觀且正確地認知自行式工業(yè)機械的前方方向，但通過顯示行駛方向顯示部，能夠直觀且正確地認知前方及行駛方向雙方。
[0020]另外，也可以是，上述方向重疊部將上述前方顯示部重疊在上述標志圖像中的駕駛室的位置上。
[0021]操作員搭乘在駕駛室中，并進行自行式工業(yè)機械的操作。因此，由于從駕駛室觀察到的前方成為自行式工業(yè)機械的前方，所以通過將前方顯示部重疊在駕駛室的位置上，能夠更直觀地認知自行式工業(yè)機械的前方方向。
[0022]另外，也可以是，上述方向重疊部將上述前方顯示部以與上述標志圖像的顏色不同的顏色進行重疊。
[0023]如果標志圖像與前方顯示部是相同顏色，則無法清楚地視覺辨認前方顯示部。因此，通過以不同顏色顯示兩者，能夠使操作員清楚地認知前方方向。
[0024]發(fā)明效果
[0025]本發(fā)明將表示前方方向的前方顯示部重疊在標志圖像上。通過顯示前方顯示部，無論合成俯瞰圖像以哪一方向顯示，操作員均能夠直觀且正確地認知自行式工業(yè)機械的前方方向。

【專利附圖】

【附圖說明】
[0026]圖1是自卸卡車的左視圖。
[0027]圖2是自卸卡車的俯視圖。
[0028]圖3是表示安裝在駕駛室中的監(jiān)視器的一個例子的圖。
[0029]圖4是表示安裝在駕駛室中的監(jiān)視器的其他例子的圖。
[0030]圖5是顯示控制器的框圖。
[0031]圖6是說明視點轉換處理的原理的圖。
[0032]圖7是表示顯示在畫面部上的合成俯瞰圖像的一個例子的圖。
[0033]圖8是表示第二顯示模式的畫面例的圖。
[0034]圖9是表示圖7的其他例子的圖。
[0035]圖10是表示使邊界線不同的情況下的圖。
[0036]圖11是表示顯示行駛方向圖標的例子的圖。
[0037]圖12是表示顯示行駛方向圖標的其他例子的圖。

【具體實施方式】
[0038]以下，參照附圖，對本發(fā)明的實施方式進行說明。作為自行式工業(yè)機械，存在搬運車輛和工程機械、道路施工機械等，作為搬運車輛主要存在自卸卡車，作為工程機械主要存在液壓挖掘機。在此，雖然作為自行式工業(yè)機械而適用了自卸卡車，但也可以適用自卸卡車以外的自行式工業(yè)機械。作為自卸卡車，存在剛性自卸(rigid dump)和鉸接自卸(articulate dump)，可以適用任一個。此外，以下，“左”是指從駕駛室觀察到的左側，“右”是指從駕駛室觀察到的右側。
[0039]圖1表示自卸卡車I的左視圖，圖2表示俯視圖。如這些圖所示，自卸卡車I構成為具有駕駛室2、車架3、貨斗4、前輪5、后輪6、驅(qū)動用液壓缸7。另外，在自卸卡車I的前后左右設有相機10 (前方相機10F、后方相機10B、右方相機10R、左方相機10L)，將各相機10所拍攝的影像作為相機圖像而輸出。
[0040]前方相機1F是以前方為視場的相機，后方相機1B是以后方為視場的相機，右方相機1R是以右側方為視場的相機，左方相機1L是以左側方為視場的相機。在圖2中，將前方相機1F的視場范圍作為前方視場范圍VF，將后方相機1B的視場范圍作為后方視場范圍VB，將右方相機1R的視場范圍作為右方視場范圍VR，將左方相機1L的視場范圍作為左方視場范圍VL，并以虛擬線表示。在圖中，雖然將各視場范圍作為矩形來例示，但視場范圍不限定于矩形。
[0041]雖然各相機10對自卸卡車I的周邊進行拍攝，但其拍攝方向為斜下方。S卩，光軸方向為斜下方。此外，配置于自卸卡車I上的相機10的臺數(shù)能夠設為任意數(shù)量。但是，希望具有對由操作員的肉眼產(chǎn)生視場死角的方向進行拍攝的后方相機10B、右方相機10R、和左方相機10L。另外，在鉸接自卸的情況下，也可以設置更多的相機。
[0042]駕駛室2是為了供操作員搭乘并操作自卸卡車I而設置的，大多配置于自卸卡車I的左側。另外，在駕駛室2中設有各種操作機構。車架3構成自卸卡車I的構架，在車架3的前方設有前輪5，在后方設有后輪6。貨斗4為載貨臺，裝載砂土或礦物等。在貨斗4上安裝有驅(qū)動用液壓缸7而能夠傾轉。由此，能夠?qū)⒀b載于貨斗4中的砂土等卸載。
[0043]圖3表不駕駛室2的一個例子。在駕駛室2中，設有操作行駛方向的方向盤11、顯示自卸卡車I的儀表類等的儀表板12和支柱13。而且，在支柱13上設有能夠旋轉的安裝部14，在安裝部14上安裝有監(jiān)視器15。作為安裝部14，能夠使用例如柔性接頭(flexiblejoint)或鉸鏈(hinge)機構等,從而能夠使監(jiān)視器15旋轉。
[0044]監(jiān)視器15是具有畫面部16和輸入部17而構成的顯示裝置。畫面部16是顯示規(guī)定信息的畫面，其橫縱比(aspect rat1)為橫大于縱(橫向的像素數(shù)比縱向的像素數(shù)多)。即，畫面部16為橫長。輸入部17是為了適當?shù)夭僮鳟嬅娌?6的顯示內(nèi)容而設置的。此外，監(jiān)視器15的位置只要是在駕駛室2的內(nèi)部即可，可以設于任意位置。另外，也可以省略輸入部17而將畫面部16作為觸摸傳感面板。
[0045]監(jiān)視器15由安裝部14安裝并能夠旋轉。圖4表示從圖3的狀態(tài)將監(jiān)視器15旋轉90度后的狀態(tài)。該情況下，對于畫面部16的橫縱比沒有變化，但操作員能夠視覺辨認出畫面部16變?yōu)榭v長。操作員根據(jù)自身的習慣使安裝部14旋轉，由此，能夠使監(jiān)視器15成為圖3那樣的狀態(tài)，也能夠使其成為圖4那樣的狀態(tài)。此外，也能夠使安裝部14無法旋轉，預先確定監(jiān)視器15的方向性而固定。
[0046]圖5表示與監(jiān)視器15連接的顯示控制器18及與顯示控制器18連接的車身控制器19。如該圖所示，顯示控制器18具有圖像修正部21、視點轉換部22、標志圖像保持部23、前方圖標重疊部24、圖像合成部25、顯示方式控制部26、和顯示圖像生成部27。顯示控制器18的各部分能夠通過軟件實現(xiàn)，也能夠通過CPU執(zhí)行各部分的功能。
[0047]圖像修正部21輸入前方相機10F、后方相機10B、右方相機10R、左方相機1L所拍攝的相機圖像(實時取景圖像)。然后，對于輸入的相機圖像，基于相機光學系統(tǒng)參數(shù)等，進行透鏡失真修正、像差修正、對比度修正、色調(diào)修正等各種圖像修正。由此，使輸入的圖像的畫質(zhì)提高。圖像修正部21輸入的修正后的相機圖像輸出至視點轉換部22。
[0048]視點轉換部22對從圖像修正部21輸入的相機圖像進行視點轉換處理，生成俯瞰圖像(虛擬視點圖像)。如上述那樣，各相機10將斜下方作為光軸方向，將其轉換為從上方的虛擬視點。如圖6所示，相機10 (前方相機10F、后方相機10B、右方相機10R、左方相機10L)的物鏡的光軸A相對于地表G具有規(guī)定角度Θ，由此,相機10的光軸朝向斜下方。在視點轉換部22中，以使光軸方向成為垂直方向的方式將虛擬相機1V虛擬地設定為高度H，并坐標轉換為該虛擬相機1V俯視地表G而得到的圖像數(shù)據(jù)。像這樣轉換為上方視點的圖像成為虛擬的俯視圖像(俯瞰圖像)。
[0049]因此，從前方相機1F的相機圖像生成前方俯瞰圖像，從后方相機1B的相機圖像生成后方俯瞰圖像，從右方相機1R的相機圖像生成右方俯瞰圖像，從左方相機1L的相機圖像生成左方俯瞰圖像。此外，如上述那樣，由于相機10的臺數(shù)能夠任意設定，所以生成的俯瞰圖像的個數(shù)也根據(jù)相機10的臺數(shù)發(fā)生變化。但是，如上述那樣，希望生成成為操作員死角的前方俯瞰圖像、左方俯瞰圖像、和右方俯瞰圖像這三個俯瞰圖像。
[0050]標志圖像保持部23保持標志圖像。標志圖像是將自卸卡車I作為標志(符號)而顯示在畫面部16上時的圖像。因此，標志圖像成為再現(xiàn)自卸卡車I的形狀的圖像。如果此時的再現(xiàn)性高，則操作員能夠正確地認知自卸卡車I的形狀。但是，也可以是不如實地再現(xiàn)自卸卡車I的形狀的圖像。只要能夠認知為自卸卡車1，則也可以將圖形等作為標志圖像。
[0051]前方圖標重疊部24為前方顯示重疊部,保持有表示標志圖像的前方、即自卸卡車I的前方方向的前方圖標。前方圖標為前方顯示部，進行將所保持的前方圖標重疊于標志圖像上的處理。由于標志圖像為再現(xiàn)自卸卡車I的形狀的圖像，所以將前方圖標重疊在標志圖像中的駕駛室的位置上。雖然在此將前方圖標重疊在駕駛室的位置上，但也可以將前方圖標重疊在標志圖像中的任意位置上。
[0052]圖像合成部25輸入視點轉換部22進行了視點轉換后的各俯瞰圖像，并輸入標志圖像保持部23所保持的標志圖像。然后，將標志圖像設為中央，在其周邊配置各俯瞰圖像而進行合成。然后，將標志圖像作為中心，在前側配置前方俯瞰圖像，在后側配置后方俯瞰圖像，在右側配置右方俯瞰圖像，在左側配置左方俯瞰圖像而進行合成。
[0053]顯示標志圖像的區(qū)域采用長方形的區(qū)域，從其四角形成有劃分各俯瞰圖像的顯示區(qū)域的四條邊界線。四條邊界線從標志區(qū)域的區(qū)域以放射狀形成。通過該邊界線及標志圖像的區(qū)域而劃分形成顯示各俯瞰圖像的區(qū)域。而且，圖像合成部25在劃分形成為四部分的區(qū)域中進行合成各俯瞰圖像的處理。經(jīng)由該處理生成的圖像為合成俯瞰圖像，成為將標志圖像作為中心、在前側配置前方俯瞰圖像、在后側配置后方俯瞰圖像、在右側配置右方俯瞰圖像、在左側配置左方俯瞰圖像而成的圖像。
[0054]顯示方式控制部26控制顯示于畫面部16上的圖像的方式。能夠在畫面部16上以任意方向顯示合成俯瞰圖像，另外也能夠?qū)嬅娌?6的區(qū)域分割成兩個區(qū)域，在一個區(qū)域上顯示合成俯瞰圖像，并在另一個區(qū)域上顯示相機圖像。因此，能夠使顯示方式變化，由顯示方式控制部26進行其控制。
[0055]顯示圖像生成部27輸入圖像合成部25所生成的合成俯瞰圖像和/或圖像修正部21進行修正處理后的相機圖像，生成顯示于畫面部16上的顯示圖像。此時，通過顯示方式控制部26，控制以何種顯示方式進行顯示。在本實施方式中，切換地顯示第一顯示模式和第二顯示模式。顯示圖像生成部27所生成的顯示圖像輸入至畫面部16，并顯示在畫面部16上。
[0056]如圖5所示，顯示控制器18與車身控制器19連接。在車身控制器19上連接有用于控制自卸卡車I的各種操作機構。其中之一為換擋桿28。換擋桿28是供操作員對自卸卡車I的行駛進行操作的行駛操作部，在前進位置、中立位置、后退位置這三個位置之間位移。在換擋桿28位于前進位置時，自卸卡車I前進，在位于后退位置時自卸卡車I后退。另夕卜，在位于中立位置時自卸卡車I停止。從換擋桿28向車身控制器19輸入換擋桿位于哪個位置(前進位置、中立位置、后退位置)的換擋桿位置信息。然后，換擋桿位置信息作為車身信息而輸出至顯示控制器18。
[0057]另外，從方向盤11向車身控制器19輸入轉向信息。通過方向盤11的操作使自卸卡車I向左右某一方向變化，此時，方向盤11的操作信息作為轉向信息輸入至車身控制器19。由此，車身控制器19能夠認知行駛方向的角度。
[0058]使用以上結構，顯示控制器18生成顯示于監(jiān)視器15的畫面部16上的顯示圖像。圖7表示以圖3的狀態(tài)設置監(jiān)視器15時的畫面例。在作為監(jiān)視器15而使用普通的液晶顯示器等的情況下，畫面部16的橫縱比為橫比縱大。即，在將橫向設為X方向、將縱向設為Y方向時，使用X:Y為4:3或16:9等橫縱比的畫面。即，在將監(jiān)視器15如圖3那樣設置的情況和如圖4那樣設置的情況下，在操作員看來，橫長和縱長發(fā)生變化，但畫面部16本身的橫縱比不產(chǎn)生變化。在此，對以圖3的狀態(tài)設置監(jiān)視器15的情況進行說明。
[0059]為了在監(jiān)視器15的畫面部16上顯示圖像，各相機10必須進行拍攝。為此，操作員使發(fā)動機啟動等，各相機10開始拍攝。如上述那樣，各相機10對斜下方進行拍攝，前方相機1F對前方的斜下方的影像進行拍攝，后方相機1B對后方的斜下方的影像進行拍攝，右方相機1R對右側方的斜下方的影像進行拍攝，左方相機1L對左側方的斜下方的影像進行拍攝。
[0060]然后，各相機10將拍攝到的影像作為相機圖像而輸出(傳輸)至顯示控制器18。各相機10以規(guī)定的拍攝周期進行拍攝，并按拍攝周期傳輸相機圖像。由此，能夠在畫面部16上顯示動態(tài)圖像。此外，也可以顯示靜態(tài)圖像。
[0061]如圖5所示，圖像修正部21對從各相機10輸出的相機圖像進行規(guī)定的修正處理。由此，相機圖像的畫質(zhì)提高。進行了修正處理的相機圖像在視點轉換部22中被視點轉換。根據(jù)前方相機1F所拍攝的相機圖像而生成前方俯瞰圖像32F，根據(jù)后方相機1B所拍攝的相機圖像而生成后方俯瞰圖像32Β，根據(jù)右方相機1R所拍攝的相機圖像而生成右方俯瞰圖像32R，根據(jù)左方相機1L所拍攝的相機圖像而生成左方俯瞰圖像32L(將前后左右的各俯瞰圖像總稱為俯瞰圖像32)。然后，所生成的各俯瞰圖像32輸出至圖像合成部25。
[0062]圖像合成部25從標志圖像保持部23獲取圖7所示那樣的標志圖像31。然后，將標志圖像31配置于畫面部16的中央?yún)^(qū)域。但是，自卸卡車I的形狀從上方觀察時呈大致長方形，從再現(xiàn)自卸卡車I的形狀的標志圖像31難以掌握前方。另外，自卸卡車I中，與左右方向的長度相比前后方向的長度較長。因此，再現(xiàn)自卸卡車I的形狀的標志圖像31也是與左右方向相比前后方向的長度較長。
[0063]如上述那樣，畫面部16的橫縱比是橫比縱大。因此，關于標志圖像31也使前后方向與X方向相應，使左右方向與Y方向相應。由此，畫面部16中的標志圖像31的橫縱比也是橫比縱大。即，根據(jù)畫面部16的橫縱比來確定標志圖像31的方向。因此，由于標志圖像31的前后方向成為X方向，所以標志圖像31的前方、即自卸卡車I的前方也成為X方向。
[0064]圖像合成部25從標志圖像保持部23獲取標志圖像31，并如以上那樣配置于畫面部16的中央。此時，在圖7的邊界線L3及L4所夾持的區(qū)域中合成前方俯瞰圖像32F，在邊界線LI及L3所夾持的區(qū)域中合成右方俯瞰圖像32R，在邊界線L2及L4所夾持的區(qū)域中合成左方俯瞰圖像32L，在邊界線LI及L2所夾持的區(qū)域中合成后方俯瞰圖像32Β。由此，生成圖7所示那樣的合成俯瞰圖像。該合成俯瞰圖像為所謂俯瞰圖像顯示。
[0065]合成俯瞰圖像也能夠使用畫面部16的全部區(qū)域來顯示。因此，能夠較大地顯示合成俯瞰圖像。這是由于，在畫面部16的橫縱比為X方向比Y方向大時，將標志圖像31的前后方向設為X方向，將左右方向設為Y方向。由此，由于能夠在畫面部16上較大地顯示合成俯瞰圖像，所以操作員能夠良好地視覺辨認自卸卡車I的周邊狀況。
[0066]另外，如上述那樣，將標志圖像31的前后方向設為X方向。因此，在操作員視覺辨認畫面部16時，標志圖像31的前方成為X方向、即橫向。作為操作員的感覺，當標志圖像31的前方朝向Y方向、即監(jiān)視器15的上方向時，容易認知標志圖像31的前方。然而，當標志圖像31的前方朝向X方向、即橫向時，難以識別標志圖像31的前方。由此，對于自卸卡車I的前方是哪個方向，有時操作員的思考會產(chǎn)生混亂，可能成為誤認自卸卡車I的前方的主要原因。
[0067]因此，前方圖標重疊部24將前方圖標33重疊在標志圖像31上。前方圖標33是表不標志圖像31的前方的標識,在圖7中使用三角形表不前方。S卩，三角形的頂點方向表示為前方。操作員通過視覺辨認前方圖標33，即使在標志圖像31的前方為X方向的情況下，也能夠看一眼就認知標志圖像31的前方。由此，操作員能夠正確且直觀地認知合成俯瞰圖像的方向性。
[0068]圖像合成部25將合成俯瞰圖像輸出至顯示圖像生成部27，該合成俯瞰圖像是由前方圖標重疊部24將前方圖標33與標志圖像31重疊而成的。顯示方式控制部26如圖7所示那樣，選擇在畫面部16的顯示區(qū)域上較大地顯示合成俯瞰圖像的第一顯示模式。顯示圖像生成部27認知由顯示方式控制部26控制第一顯示模式，并將合成俯瞰圖像作為顯示圖像而輸出至畫面部16。然后，畫面部16對顯示圖像(合成俯瞰圖像)進行顯示，由此能夠進行圖7那樣的俯瞰圖像的顯示。
[0069]通過進行該俯瞰圖像顯示，如圖7所示，能夠使操作員認知服務車作為障礙物SI正在接近的情況。通過視覺辨認顯示于畫面部16上的俯瞰圖像，操作員能夠清楚地認知自卸卡車I與障礙物SI之間的位置關系。如圖7那樣，由于障礙物SI正在接近，所以操作員能夠認知若自卸卡車I向左斜前方行駛，則障礙物SI和自卸卡車I會發(fā)生干涉。
[0070]此時，如果操作員在誤認標志圖像31的前方方向性的狀態(tài)下進行行駛操作，則有可能使自卸卡車I向障礙物SI的方向行駛。但是，由于在標志圖像31上重疊有前方圖標33，所以通過視覺辨認前方圖標33，能夠正確且直觀地認知自卸卡車I的前方是哪個方向，不必擔心使自卸卡車I朝向障礙物SI的方向行駛。
[0071]在以上的第一顯示模式中，能夠較大地有效利用畫面部16的顯示區(qū)域，能夠在全部區(qū)域或大致全部區(qū)域上顯示合成俯瞰圖像。由此，能夠較大地顯示合成俯瞰圖像，能夠使操作員詳細地認知自卸卡車I的周邊狀況。因此，雖然標志圖像31的前方是朝向X方向的，但通過將前方圖標33重疊，能夠使操作員正確且直觀地認知方向性。
[0072]接下來，對第二顯示模式進行說明。圖8表示第二顯示模式的一個例子。顯示方式控制部26選擇第二顯示模式。能夠適當?shù)卦O定選擇第一顯示模式和第二顯示模式中的哪一個。例如，可以是操作員使用輸入部17進行輸入操作，也可以按規(guī)定時間切換第一顯示模式和第二顯示模式。當然，也可以控制為顯示除第一顯示模式及第二顯示模式以外的任意顯示方式。
[0073]如圖8所示，在第二顯示模式中，將畫面部16的區(qū)域沿橫向(X方向)均等地分割，形成第一顯示區(qū)域16A和第二顯示區(qū)域16B。在第一顯示區(qū)域16A上顯示合成俯瞰圖像，在第二顯示區(qū)域16B上顯示相機圖像。顯示于第二顯示區(qū)域16B上的相機圖像是未通過視點轉換部22進行視點轉換處理的圖像，是相機10所拍攝的影像。雖然相機圖像可以是四臺相機10中的任一相機10的相機圖像，但希望為對操作員來說基本為死角的后方圖像、即后方相機1B所拍攝的相機圖像。此外，該相機圖像能夠使用通過圖像修正部21進行修正處理而使畫質(zhì)提聞的相機圖像。
[0074]顯示圖像生成部27從圖像修正部21獲取后方的相機圖像，并從圖像合成部25獲取合成俯瞰圖像。然后，在第一顯示區(qū)域16A上顯示合成俯瞰圖像，在第二顯示區(qū)域16B上顯示相機圖像。當然，也可以將合成俯瞰圖像顯示在第二顯示區(qū)域16B上，將相機圖像顯示在第一顯示區(qū)域16A上。
[0075]在此，雖然在第一顯示區(qū)域16A上顯示有合成俯瞰圖像，但該合成俯瞰圖像從圖7的狀態(tài)旋轉了 90度。即，標志圖像31的前后方向成為Y方向，左右方向成為X方向。畫面部16的橫縱比為橫比縱大，但對于將畫面部16分割而成的第一顯示區(qū)域16A，橫縱比為縱比橫大。因此，以使標志圖像31的前后方向成為Y方向、左右方向成為X方向的方式使合成俯瞰圖像旋轉。
[0076]而且，由于第一顯示區(qū)域16A成為圖7的畫面部16的全部區(qū)域大小的一半大小，所以進行合成俯瞰圖像的縮小處理，在第一顯示區(qū)域16A上顯示縮小后的合成俯瞰圖像。另外，在第二顯示區(qū)域16B上顯示有后方的相機圖像。由此，成為圖8那樣的顯示方式。
[0077]由于合成俯瞰圖像進行了縮小處理，所以如果與如圖7那樣在畫面部16的全部區(qū)域上顯示合成俯瞰圖像的情況相比較，則視覺辨認性降低。但是，自卸卡車I的后方對于操作員來說基本成為死角，而無法認知后方的狀況。此時，即使合成俯瞰圖像的視覺辨認性以某種程度降低，也能夠通過顯示后方的相機圖像而詳細地認知自卸卡車I的后方狀況。另夕卜，即使合成俯瞰圖像的視覺辨認性與第一顯示模式相比降低，由于顯示了合成俯瞰圖像，所以也能夠認知自卸卡車I的周邊狀況。像這樣，通過并排地顯示合成俯瞰圖像和后方的相機圖像，能夠認知自卸卡車I的周邊狀況，且能夠詳細地認知后方狀況。
[0078]另外，在第二顯示模式中，標志圖像31的前方朝向Y方向。這是對操作員來說自然的視覺方向，將自卸卡車I的前方方向性誤認的可能性小。因此，也考慮不將前方圖標33重疊在標志圖像31上。
[0079]但是，由于構成為能夠切換第一顯示模式與第二顯示模式，所以雖然在第二顯示模式中標志圖像31的前方為X方向，但在第一顯示模式中標志圖像31的前方成為Y方向。即，標志圖像31的前方方向根據(jù)顯示方式而切換。因此，在第二顯示模式中，即對操作員來說在自然的視覺方向上顯示有合成俯瞰圖像的情況下，也將前方圖標33重疊。由此，能夠更可靠地使操作員認知標志圖像31的前方。
[0080]此外，在圖8中，將畫面部16均等地分割成兩個區(qū)域并作為第一顯示區(qū)域16A和第二顯示區(qū)域16B，但區(qū)域的分割也可以是不均等的。另外，雖然示出了將畫面部16分割成兩個區(qū)域的例子，但也可以分割成三個以上。由此，能夠顯示大量的信息。但是，安裝在自卸卡車I的駕駛室2中的監(jiān)視器15為了不妨礙操作員的前方視野而使用了小型尺寸。因此，畫面部16的尺寸也不大，如果將畫面部16分割為多個區(qū)域，則顯示在各區(qū)域上的圖像變得非常小，視覺辨認性降低。因此，希望將畫面部16的區(qū)域分割成兩個左右，并希望該分割數(shù)最多到四個左右。
[0081]因此，在第一顯示模式中，由于能夠有效地利用畫面部16的大多區(qū)域來顯示俯瞰圖像，而較大地顯示合成俯瞰圖像，所以能夠使操作員詳細地認知自卸卡車I的周邊狀況。雖然標志圖像31的前方朝向X方向，但操作員能夠基于前方圖標33而正確且直觀地認知方向性。
[0082]而且，在第二顯示模式中，通過同時顯示合成俯瞰圖像和相機圖像，雖然合成俯瞰圖像的視覺辨認性與第一顯示模式相比降低，但通過顯示后方的相機圖像，能夠詳細地認知對操作員來說最為死角的后方的狀況。因此，通過構成為能夠切換第一顯示模式和第二顯示模式，能夠以發(fā)揮其各自優(yōu)點的顯示方式顯示在畫面部16上。
[0083]以上，希望前方圖標重疊部24將前方圖標33重疊在標志圖像31中的駕駛室2的位置上。由于操作員搭乘在駕駛室2中來進行自卸卡車I的操作，所以通過將前方圖標33重疊在駕駛室的位置上，對于操作員來說，能夠更直觀地認知自卸卡車I的前方方向。但是，雖然希望前方圖標33重疊在駕駛室2的位置上，但只要在標志圖像31中則也能夠重疊在任意位置上?？傊?，只要能夠使操作員直觀且正確地認知標志圖像31的前方，則能夠重疊在任意位置上。
[0084]在這一點，為了更明確地顯示標志圖像31的前方,如圖9所示,也能夠使前方圖標33的尺寸較大而進行顯示。但是，標志圖像31的外形再現(xiàn)了自卸卡車I的形狀，在俯瞰圖像顯示中基于標志圖像31來認知自卸卡車I與其周邊障礙物的位置關系。因此，希望即使前方圖標33的尺寸變大，與標志圖像31的外形相比也在內(nèi)側的范圍內(nèi)變大。
[0085]另外，標志圖像31是以規(guī)定的顏色預先制成的符號，當將標志圖像31與相同顏色的前方圖標33重疊時，操作員對前方圖標33的視覺辨認性降低。因此，將前方圖標33的顏色設定為與標志圖像31不同的顏色。由此，操作員能夠清楚地認知前方圖標33。
[0086]作為前方圖標33，使用三角形圖標，其頂點表示標志圖像31的前方，但也可以使用除三角形圖標以外的圖標。例如，也可以使用箭頭。另外，通過將方向盤的符號重疊在標志圖像31中的駕駛室2的位置上，操作員也能夠認知前方?？傊灰軌蛎鞔_地顯示前方，則可以不是圖標形式，能夠使用任意方法。
[0087]另外，在圖7所示的例子中，邊界線LI至L4從顯示標志圖像31的長方形區(qū)域的角部(四角)形成至畫面部16的角部(四角)，但如圖10所示，也可以形成至畫面部16的角部以外的位置。如該圖所示，邊界線LI及L2形成至從畫面部16的角落部離開的位置。在后方相機1B為高像素且為廣角的情況下，也可以優(yōu)先顯示后方相機1B所拍攝的后方俯瞰圖像32B。在該情況下，也可以與后方相機1B的視場角相應地如圖10那樣形成邊界線LI及L2。
[0088]接下來，對基于自卸卡車I的行駛操作的、圖像合成部25的處理進行說明。搭乘在駕駛室2中的操作員操作換擋桿28，而使自卸卡車I行駛。如上述那樣，換擋桿28有前進位置、中立位置、和后退位置，根據(jù)換擋桿28的位置，來確定是否使自卸卡車I行駛，以及使其行駛的情況下的行駛方向。換擋桿28進入哪個位置的信息(換擋桿位置信息)輸入至車身控制器19，車身控制器19作為車身信息而將換擋桿位置信息輸出至顯示控制器18。
[0089]圖像合成部25獲取換擋桿位置信息。由此，圖像合成部25認知自卸卡車I的行駛方向。因此，如圖11的(a)所示，圖像合成部25在合成俯瞰圖像內(nèi)，尤其在標志圖像31中，將作為行駛方向顯示部的行駛方向圖標34重疊在更接近于前方圖標33的位置上。
[0090]S卩，在操作員將換擋桿28操作至前進位置時，自卸卡車I前進。此時，圖像合成部25基于換擋桿位置信息，而顯示行駛方向圖標34。即，顯示表示與前方圖標33 —致的方向的行駛方向圖標34。由此，操作員能夠通過前方圖標33認知標志圖像31的前方，并且能夠認知通過自身所操作的換擋桿28使自卸卡車I前進的情況。
[0091]該圖的(b)表示將換擋桿28操作至中立位置的情況下的畫面例。當將換擋桿28操作至中立位置時，自卸卡車I不行駛(即，停止)。因此，圖像合成部25不將行駛方向圖標34重疊。由此，由于行駛方向圖標34不被顯示，所以也能夠從畫面部16認知自卸卡車I處于停止狀態(tài)的情況。
[0092]該圖的(c)表示操作員將換擋桿28操作至后退位置時的畫面例。在該情況下，自卸卡車I后退。圖像合成部25基于換擋桿位置信息，而顯示行駛方向圖標34。S卩，顯示表示與前方圖標33為相反方向的行駛方向圖標34。由此，操作員能夠通過前方圖標33認知標志圖像31的前方，并且能夠認知通過自身所操作的換擋桿28使自卸卡車I后退的情況。
[0093]另外，如圖5所示，從方向盤11向車身控制器19輸入轉向信息，轉向信息輸入至圖像合成部25。此時，基于換擋桿位置信息和轉向信息，認知在前進或后退時向左右哪個方向行駛。此時，如圖12所示，基于換擋桿位置信息和轉向信息，使行駛方向圖標34的方向變化。由此，能夠顯示與自卸卡車I實際行駛的方向相應的行駛方向圖標34。
[0094]以上說明了作為自行式工業(yè)機械而適用了自卸卡車I的情況，但也可以是除自卸卡車I以外的自行式作業(yè)機械。在無法基于標志圖像31而明確地認知前方方向的情況下，通過將前方圖標33重疊而進行顯示，能夠在俯瞰圖像顯示時直觀且正確地認知自行式工業(yè)機械的前方方向。
[0095]附圖標記說明
[0096]I 自卸卡車
[0097]2 駕駛室
[0098]10 相機
[0099]15監(jiān)視器
[0100]15 畫面部
[0101]16 畫面部
[0102]16A第一顯示區(qū)域
[0103]16B第二顯示區(qū)域
[0104]18顯示控制器
[0105]19車身控制器
[0106]21圖像修正部
[0107]22視點轉換部
[0108]23標志圖像保持部
[0109]24前方圖標重疊部
[0110]25圖像合成部
[0111]26顯示方式控制部
[0112]27顯示圖像生成部
[0113]28換擋桿
[0114]31標志圖像
[0115]32俯瞰圖像
[0116]33前方圖標
[0117]34行駛方向圖標。
【權利要求】
1.一種自行式工業(yè)機械的顯示裝置，其特征在于，具有: 多臺相機，其對自行式工業(yè)機械的周邊進行拍攝并將斜下方作為光軸； 視點轉換部，其生成俯瞰圖像，所述俯瞰圖像是對各相機所拍攝的相機圖像分別以使上方成為視點的方式進行視點轉換后的圖像； 圖像合成部，其在將所述自行式工業(yè)機械標志化而成的標志圖像的周圍合成所述俯瞰圖像來生成合成俯瞰圖像； 方向重疊部，其將表示所述標志圖像的前方方向的前方顯示部重疊在所述標志圖像上，以及 顯示裝置，其配置在所述自行式工業(yè)機械的駕駛室中，并以任意方向顯示重疊有所述前方顯示部的所述合成俯瞰圖像。
2.根據(jù)權利要求1所述的自行式工業(yè)機械的顯示裝置，其特征在于， 所述顯示裝置的畫面部為橫長的，且所述合成俯瞰圖像為縱長的，將所述合成俯瞰圖像顯示在所述畫面部上時，橫向地進行顯示。
3.根據(jù)權利要求2所述的自行式工業(yè)機械的顯示裝置，其特征在于， 能夠切換第一顯示模式和第二顯示模式，第一顯示模式中，使所述俯瞰圖像為橫向并顯示在所述畫面部上，第二顯示模式中，在將所述畫面部沿橫向分割時的一個區(qū)域上以縱向顯示所述合成俯瞰圖像，并在其他區(qū)域上顯示沒有進行視點轉換的所述相機圖像。
4.根據(jù)權利要求1?3中任一項所述的自行式工業(yè)機械的顯示裝置，其特征在于， 基于來自對所述自行式工業(yè)機械的行駛進行操作的行駛操作部的信息，在通過所述行駛操作部行駛時將表示行駛方向的行駛方向顯示部重疊在所述標志圖像上，在通過所述行駛操作部停止行駛時不重疊所述行駛方向顯示部。
5.根據(jù)權利要求1所述的自行式工業(yè)機械的顯示裝置，其特征在于， 所述方向重疊部將所述前方顯示部重疊在所述標志圖像中的駕駛室的位置上。
6.根據(jù)權利要求5所述的自行式工業(yè)機械的顯示裝置，其特征在于， 所述方向重疊部將所述前方顯示部以與所述標志圖像的顏色不同的顏色進行重疊。
【文檔編號】B60R1/00GK104334809SQ201380029809
【公開日】2015年2月4日 申請日期:2013年6月5日 優(yōu)先權日:2012年6月7日
【發(fā)明者】古渡陽一, 稻野邊慶仁, 石本英史, 永野好幸, 早坂正義, 伊藤英太郎, 石井隆昭, 筑地新建太 申請人:日立建機株式會社