作業(yè)機械的周圍監(jiān)視裝置制造方法
【專利摘要】一種車身高度會發(fā)生變化的作業(yè)機械所具有的周圍監(jiān)視裝置200，具有：拍攝其周圍的多個攝像機30；對各攝像機30所拍攝到的原圖像31進行上方視點轉(zhuǎn)換而生成上方視點圖像35的機構(gòu)；對所生成的各上方視點圖像35進行合成而生成俯瞰圖像300的機構(gòu)；顯示所生成的俯瞰圖像300的機構(gòu)；和檢測所述攝像機位置的機構(gòu)，所述俯瞰圖像生成機構(gòu)基于所檢測出的各攝像機的高度來調(diào)整各上方視點圖像35的顯示區(qū)域e而進行合成。由此，即使車身高度大幅變化也能夠始終生成并顯示準確的俯瞰圖像300。
【專利說明】作業(yè)機械的周圍監(jiān)視裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于通過安裝在液壓挖掘機或翻斗卡車等作業(yè)機械上的多個攝像機來生成以該作業(yè)機械為中心的俯瞰圖像而監(jiān)視其周圍狀況的裝置。
【背景技術(shù)】
[0002]作為工程/作業(yè)機械之一的液壓挖掘機，一般在上部旋轉(zhuǎn)體的前方左側(cè)設(shè)置駕駛席，所以該上部旋轉(zhuǎn)體的右方向和后方的視覺辨認性較差。因此，例如在以下的專利文獻I等中，在上部旋轉(zhuǎn)體的右側(cè)面和后部分別設(shè)置攝像機，并將這些攝像機所拍攝到的上部旋轉(zhuǎn)體的右方向和后方的圖像顯示在駕駛席的顯示器上，由此確保了它們的視覺辨認性。
[0003]另外，在該專利文獻I等中，公開有如下周圍監(jiān)視裝置:對設(shè)置在車身上的多個攝像機所拍攝到的車身周圍的圖像進行上方視點轉(zhuǎn)換處理，將這些圖像進行合成而生成在以與上述作業(yè)機械對應(yīng)的圖像為中心的周圍合成并將視點轉(zhuǎn)換為車身上方的俯瞰圖像，通過在駕駛席的顯示器上顯示該俯瞰圖像，能夠在感覺方面掌握車身與其周圍障礙物等的距離。
[0004]現(xiàn)有技術(shù)文獻
[0005]專利文獻
[0006]專利文獻1:日本特開2008-95307號公報
【發(fā)明內(nèi)容】

[0007]然而，液壓挖掘機等作業(yè)機械存在根據(jù)其作業(yè)狀況或行駛部分的變更而會使車身高度大幅變化的情況。例如，在具有用于穩(wěn)定車身的外伸叉架(outrigger)的情況下，當使外伸叉架工作時，一般車身整體增高數(shù)cm至十幾cm。另外，在改變挖掘機行駛部分或改變輪胎尺寸的情況下也是同樣的。另外，在翻斗卡車等作業(yè)機械的情況下，根據(jù)裝載物的重量，車身高度也會大幅變化。
[0008]若在像這樣車身高度經(jīng)常大幅變化的作業(yè)機械中適用專利文獻I那樣的周圍監(jiān)視裝置，則導(dǎo)致對車身周圍進行拍攝的攝像機的位置(高度)也發(fā)生變化，無法顯示準確的俯瞰圖像。
[0009]因此，本發(fā)明是為了解決這些技術(shù)課題而研究出的，其目的在于提供一種新型的作業(yè)機械的周圍監(jiān)視裝置，即使車身高度大幅變化也能夠始終生成并顯示準確的俯瞰圖像。
[0010]為了解決上述技術(shù)課題，第I方案為一種作業(yè)機械的周圍監(jiān)視裝置，裝備在車身高度會發(fā)生變化的作業(yè)機械中，其特征在于，具有:多個攝像機，其安裝在上述作業(yè)機械的車身上并拍攝其周圍；上方視點圖像生成機構(gòu)，其對該攝像機所拍攝到的原圖像進行上方視點轉(zhuǎn)換而生成上方視點圖像；俯瞰圖像生成機構(gòu)，其對該上方視點圖像生成機構(gòu)所生成的各上方視點圖像進行合成而生成包括與上述作業(yè)機械對應(yīng)的圖像的、周圍的俯瞰圖像；顯示機構(gòu)，其顯示該俯瞰圖像生成機構(gòu)所生成的俯瞰圖像；和攝像機位置檢測機構(gòu)，其檢測設(shè)置在上述車身上的多個攝像機位置，上述俯瞰圖像生成機構(gòu)基于上述攝像機位置檢測機構(gòu)所檢測出的上述各攝像機的高度而對上述上方視點圖像生成機構(gòu)所生成的各上方視點圖像的顯示區(qū)域進行合成。
[0011]根據(jù)這樣的結(jié)構(gòu)，在對多個攝像機所拍攝到的各圖像進行上方視點轉(zhuǎn)換處理之后進行合成來生成包括與作業(yè)機械對應(yīng)的圖像的周圍的俯瞰圖像時，基于各攝像機的高度對各上方視點圖像的顯示區(qū)域進行合成。由此，即使車身高度大幅變化也能夠始終生成并顯示準確的俯瞰圖像。此外，在本發(fā)明所說的攝像機的“高度”是指，例如以地表面為基準面，該地表面與攝像機之間的垂直距離。
[0012]第2方案為一種作業(yè)機械的周圍監(jiān)視裝置，在第I方案中，具有對上述車身所處的地面與上述攝像機之間的垂直距離進行計測的測距儀，上述攝像機位置檢測機構(gòu)基于上述測距儀所計測的上述地面與攝像機之間的垂直距離來檢測上述攝像機位置。
[0013]根據(jù)這樣的結(jié)構(gòu)，由于能夠計測車身所處的地面與攝像機之間的垂直距離，所以能夠容易且準確地計算出設(shè)在車身上的攝像機的位置。
[0014]第3方案為一種作業(yè)機械的周圍監(jiān)視裝置，在第I方案中，具有輸入車身信息的輸入部，上述攝像機位置檢測機構(gòu)基于從上述輸入部輸入的車身信息來檢測上述攝像機位置。
[0015]根據(jù)這樣的結(jié)構(gòu)，能夠基于輪胎尺寸等車身信息來求出車身高度，因此能夠容易且準確地計算出設(shè)在該車身上的攝像機的位置。
[0016]第4方案為一種作業(yè)機械的周圍監(jiān)視裝置，在第I方案中，具有對裝載于上述車身的裝載物的重量進行計測的重量儀，上述攝像機位置檢測機構(gòu)基于上述重量儀所計測的裝載物的重量來檢測上述攝像機位置。
[0017]根據(jù)這樣的結(jié)構(gòu)，由于能夠通過利用重量儀計測裝載物的重量來求出車身的下降情況，所以能夠容易計算出設(shè)在車身上的攝像機的位置。
[0018]發(fā)明效果
[0019]根據(jù)本發(fā)明，在對多個攝像機所拍攝到的各圖像進行上方視點轉(zhuǎn)換處理之后進行合成來生成包括與作業(yè)機械對應(yīng)的圖像的周圍的俯瞰圖像時，基于各攝像機的高度來調(diào)整各上方視點圖像的顯示區(qū)域而進行合成，因此，即使車身高度大幅變化也能夠始終生成并顯示準確的俯瞰圖像。
【專利附圖】

【附圖說明】
[0020]圖1是表示作為本發(fā)明的作業(yè)機械之一的液壓挖掘機100的一個實施方式的整體立體圖。
[0021]圖2是表示本發(fā)明的周圍監(jiān)視裝置200的一個實施方式的結(jié)構(gòu)圖。
[0022]圖3是表示搭載在車身上的各攝像機30的拍攝區(qū)域的例子的概念圖。
[0023]圖4是表示根據(jù)拍攝到的圖像生成上方視點圖像35而進行合成的例子的概念圖。
[0024]圖5是表示對拍攝到的原圖像31進行透鏡失真修正之后進行視點轉(zhuǎn)換的圖像處理流程的概念圖。
[0025]圖6是表示攝像機位置在規(guī)定位置的情況下生成的俯瞰圖像300的例子的概念圖。[0026]圖7 (a)是表示在攝像機位置比規(guī)定位置高的情況下生成的俯瞰圖像300的例子的概念圖，圖7 (b)是表示在攝像機位置比規(guī)定位置低的情況下生成的俯瞰圖像300的例子的概念圖。
[0027]圖8是表示基于本發(fā)明的周圍監(jiān)視裝置200進行的處理的流程的流程圖。
[0028]圖9是表示在作業(yè)機械為液壓挖掘機100的情況下攝像機位置發(fā)生變化的例子的說明圖。
[0029]圖10是表示在作業(yè)機械為具有外伸叉架40的液壓挖掘機100的情況下攝像機位置發(fā)生變化的例子的說明圖。
[0030]圖11是表示在作業(yè)機械為翻斗卡車400的情況下攝像機位置發(fā)生變化的例子的說明圖。
[0031]圖12是表示作業(yè)機械為具有四腳履帶的液壓挖掘機100的情況下攝像機位置發(fā)生變化的例子的說明圖。
【具體實施方式】
[0032]接下來，參照【專利附圖】

【附圖說明】本發(fā)明的實施方式。圖1是表示作為本發(fā)明的作業(yè)機械之一的液壓挖掘機100的一個實施方式的整體立體圖。如圖所示，該液壓挖掘機100主要由下部行駛體10和旋轉(zhuǎn)自如地設(shè)在該下部行駛體10上的上部旋轉(zhuǎn)體20構(gòu)成。下部行駛體10在未圖示的行駛體架上具有相互平行地設(shè)置的一對履帶11 (11)。在這些各履帶11 (11)上分別設(shè)有用于驅(qū)動各個履帶而使其行駛的液壓驅(qū)動式的行駛馬達12。
[0033]另一方面，上部旋轉(zhuǎn)體20主要由以下部分構(gòu)成:設(shè)置在未圖示的旋轉(zhuǎn)體架上的發(fā)動機和蓄電池；收容有燃料箱等各種設(shè)備類的發(fā)動機室21 ;設(shè)在該發(fā)動機室21的前方左側(cè)的駕駛室22 ;從該駕駛室22的右側(cè)向前方延伸的前作業(yè)機23 ;和為了謀求與該前作業(yè)機23的重量平衡而設(shè)在發(fā)動機室21后方的配重24。
[0034]駕駛室22在供操作員搭乘的艙室22a內(nèi)除設(shè)置有操作前作業(yè)機23的操作桿和儀表類等以外，還設(shè)置有后述的周圍監(jiān)視顯示器。前作業(yè)機23主要由以下部分構(gòu)成:從旋轉(zhuǎn)體架側(cè)向前方延伸的動臂23a ;擺動自如地設(shè)在該動臂23a的前端的斗桿23b ;和擺動自如地設(shè)在該斗桿23b的前端的鏟斗23c。這些動臂23a、斗桿23b、鏟斗23c通過分別利用液壓伸縮的動臂液壓缸23d、斗桿液壓缸23e、鏟斗液壓缸23f而分別動作。
[0035]另外，在該發(fā)動機室21的兩側(cè)、駕駛室22的上部、和配重24的上部，設(shè)置有用于連續(xù)地拍攝各個方向的四個攝像機30a、30b、30c、30d。攝像機30a以180°的視場角在傾斜俯視的方向上連續(xù)地拍攝上部旋轉(zhuǎn)體20的右側(cè)區(qū)域。攝像機30b以180°的視場角在傾斜俯視的方向上連續(xù)地拍攝上部旋轉(zhuǎn)體20的左側(cè)區(qū)域。攝像機30c以180°的視場角在傾斜俯視的方向上連續(xù)地拍攝上部旋轉(zhuǎn)體20的前方區(qū)域。攝像機30d以180°的視場角在傾斜俯視的方向上連續(xù)地拍攝上部旋轉(zhuǎn)體20的后方區(qū)域。
[0036]這些各攝像機30a、30b、30c、30d所拍攝到的各圖像(原圖像)如圖2所示地分別輸入到本發(fā)明的周圍監(jiān)視裝置200的顯示控制器210中。此外，該攝像機30a、30b、30c、30d由例如具有在耐久性和耐氣候性等優(yōu)異的CCD或CMOS等攝像元件和廣角透鏡的廣角攝像機等構(gòu)成。另外，在以下說明中，將設(shè)置(搭載)有這些各攝像機30a、30b、30c、30d的上部旋轉(zhuǎn)體20的各部分總稱為車身20。[0037]圖2是表示搭載在該液壓挖掘機100上的周圍監(jiān)視裝置200的一個實施方式的結(jié)構(gòu)圖。如圖所示，該周圍監(jiān)視裝置200主要由顯示控制器210和周圍監(jiān)視顯示器220構(gòu)成。顯示控制器210具有攝像機位置檢測部211、上方視點圖像生成部212和俯瞰圖像生成部213。該顯示控制器210由具有未圖示的CPU和RAM、R0M、輸入輸出接口等圖像處理LSI(硬件)構(gòu)成。該顯示控制器210的CPU通過預(yù)先存儲于ROM等中的各種數(shù)據(jù)和專用的圖像處理程序等來執(zhí)行上述各部分211至213的功能。
[0038]攝像機位置檢測部211檢測如上所述地搭載在車身20上的各攝像機30a、30b、30c、30d的高度、即車身20所處的地面與搭載在該車身20上的各攝像機30a、30b、30c、30d的垂直距離，并將檢測出的各攝像機30a、30b、30c、30d的高度輸出到俯瞰圖像生成部213。具體而言，攝像機位置檢測部211基于從圖2所示那樣的激光測距儀214輸入的計測值來檢測各攝像機30a、30b、30c、30d的高度。為了進行準確的計測，期望激光測距儀214設(shè)在各攝像機30a、30b、30c、30d的每個附近。但是，在由于設(shè)置位置而導(dǎo)致難以進行計測的情況下，也可以設(shè)置在容易進行計測的車身20的下表面等，并基于該計測值和激光測距儀214至各攝像機30a、30b、30c、30d的距離(位置關(guān)系)而計算出各攝像機30a、30b、30c、30d的高度。
[0039]上方視點圖像生成部212根據(jù)上述各攝像機30a、30b、30c、30d所拍攝到的多幅(四幅)原圖像以例如30幀/秒的單位生成上方視點圖像，并將生成的上方視點圖像(動態(tài)圖像)輸出到俯瞰圖像生成部213。具體而言，當從各攝像機30a、30b、30c、30d分別輸入原圖像的NTSC等合成信號后，該上方視點圖像生成部212對這些各合成信號進行A/D轉(zhuǎn)換，在解碼成RGB信號之后分別存儲到專用的幀存儲器中。然后，在進行透鏡失真修正處理之后通過基于投影變換矩陣的平面投影轉(zhuǎn)換處理或三維空間下的投影處理等公知的圖像轉(zhuǎn)換處理而將各原圖像轉(zhuǎn)換處理為將視點移動到其上方的上方視點圖像。
[0040]圖3及圖5是關(guān)于該上方視點圖像生成部212的上方視點圖像的轉(zhuǎn)換處理的說明圖。首先，圖3所示的車身20周圍的各矩形區(qū)域E1、E2、E3、E4分別表示通過該車身20的各攝像機30a、30b、30c、30d而能夠拍攝到的區(qū)域，各矩形區(qū)域E1、E2、E3、E4分別在其兩端部分被相鄰區(qū)域重復(fù)拍攝。
[0041]圖5 (a)是通過這些各攝像機30a、30b、30c、30d拍攝到的各矩形區(qū)域E1、E2、E3、E4的原圖像31。該原圖像31由于用廣角透鏡拍攝，所以通常如方格線32所示那樣以中央部放大而周邊部縮小的方式失真。圖5 (b)是基于上方視點圖像生成部212進行透鏡失真修正處理后的修正圖像33。修正處理后的圖像33如地面(路面)上的橫縱的虛擬坐標線34所示那樣，修正成基于各攝像機30a、30b、30c、30d的視點的按照透視法的形狀。此外，該透鏡失真修正處理通過例如使用了專用的像素轉(zhuǎn)換表的像素坐標轉(zhuǎn)換處理而進行，其中該專用的像素轉(zhuǎn)換表預(yù)先保存于存儲器中，且記載有構(gòu)成轉(zhuǎn)換前圖像的各像素的地址與轉(zhuǎn)換后各像素的地址之間的對應(yīng)關(guān)系。
[0042]圖5 (C)示出了在圖5 (b)中進行了透鏡失真修正處理的地面(路面)圖像33的視點轉(zhuǎn)換處理后的上方視點圖像35。在該視點轉(zhuǎn)換處理后的上方視點圖像35中，視點從車身側(cè)部轉(zhuǎn)換到車身上方，圖5 (b)的虛擬坐標線34轉(zhuǎn)換成虛擬正交坐標線36。此外，該視點轉(zhuǎn)換處理也通過使用了預(yù)先保存于存儲器中的專用的像素轉(zhuǎn)換表的像素坐標轉(zhuǎn)換而進行。[0043]俯瞰圖像生成部213從上方視點圖像35提取出實際顯示的圖像，進行合成而生成以與作業(yè)機械對應(yīng)的圖像為中心的周圍的俯瞰圖像(動態(tài)圖像)。圖5 (c)中，虛線所包圍的梯形區(qū)域e示出了為了消除各上方視點圖像35的重復(fù)部分來得到容易觀察的合成圖像，而通過該俯瞰圖像生成部213從各圖像提取并進行顯示的提取圖像e的例子。而且，如圖4所示，該俯瞰圖像生成部213將這四個各上方視點轉(zhuǎn)換圖像35的各提取圖像el?e4接合在以與液壓挖掘機100對應(yīng)的圖像G為中心的周圍，而生成一個連續(xù)的車身周圍整體的俯瞰圖像300，并將其圖像數(shù)據(jù)輸出到幀存儲器。
[0044]圖6示出了該俯瞰圖像生成部213所生成的俯瞰圖像300的一例。在附圖的中央部設(shè)有用于顯示預(yù)先生成的與液壓挖掘機100對應(yīng)的車身圖像G的矩形的顯示區(qū)域S。以該顯示區(qū)域S為中心在其前后左右分別形成獨立的梯形的顯示區(qū)域SI至S4，在這些各顯示區(qū)域SI至S4中顯示有從上述各上方視點圖像35提取出的梯形的提取圖像el至e4。
[0045]在顯示區(qū)域SI中，顯示有如圖4所示那樣來自從攝像機30a所拍攝到的上部旋轉(zhuǎn)體20的右側(cè)方的拍攝圖像得到的上方視點圖像35R的提取圖像el。在顯示區(qū)域S2中，顯示有來自從攝像機30b所拍攝到的上部旋轉(zhuǎn)體20的左側(cè)方的拍攝圖像得到的上方視點圖像35L的提取圖像e2。在顯示區(qū)域S3中，顯示有來自由攝像機30c所拍攝到的上部旋轉(zhuǎn)體20的前方的拍攝圖像構(gòu)成的上方視點圖像35F的提取圖像e3。在顯示區(qū)域S4中，顯示有來自由攝像機30d所拍攝到的上部旋轉(zhuǎn)體20的后方的拍攝圖像構(gòu)成的上方視點圖像35B的提取圖像e4。在圖6的俯瞰圖像300中，在液壓挖掘機100的右斜后方映照有車輛P1，另外在左斜后方映照有桿(pole)P2。可知該車輛Pl及桿P2分別位于距液壓挖掘機100的后端數(shù)m的距離處。
[0046]周圍監(jiān)視顯示器220輸入并顯示該俯瞰圖像生成部213所生成的車身周圍整體的俯瞰圖像300。具體而言，將輸入的俯瞰圖像300的數(shù)據(jù)存儲到輸出用幀存儲器中，在將該合成圖像的數(shù)據(jù)(RGB信號)編碼成合成信號后，進行D/A轉(zhuǎn)換而顯示到顯示部221上。此夕卜，在該周圍監(jiān)視顯示器220上除顯示部221以外還設(shè)有輸入部222，操作員通過操作該輸入部222，能夠任意進行電源的通斷、所顯示的合成圖像的放大、縮小、旋轉(zhuǎn)、顯示范圍的變更、向通常的攝像機拍攝圖像或雙畫面圖像的切換等各種操作。
[0047]接下來，主要參照圖8的流程圖來說明這樣構(gòu)成的本發(fā)明的周圍監(jiān)視裝置200的作用。首先，該周圍監(jiān)視裝置200的顯示控制器210在液壓挖掘機100的發(fā)動機啟動后與其連動，接通電源而進行初始的系統(tǒng)檢測，若沒有異常則轉(zhuǎn)移到最初的步驟S100。在步驟SlOO中，如上述那樣通過設(shè)置在車身20四周的四個攝像機30a、30b、30c、30d來拍攝車身周圍而獲取其圖像，并轉(zhuǎn)移到下一步驟S102。
[0048]在步驟S102中對拍攝到的四個原圖像31進行上方視點轉(zhuǎn)換處理而生成各自的上方視點圖像35，將它們接合而生成如圖6所示在中央具有車身圖像G的俯瞰圖像300，并轉(zhuǎn)移到下一步驟S104。在步驟S104中，該顯示控制器210的攝像機位置檢測部211檢測激光測距儀214所檢測出的各攝像機30a、30b、30c、30d的高度(距地面的垂直距離)，并轉(zhuǎn)移到下一步驟S106。
[0049]在步驟S106中，判斷所檢測出的各攝像機30a、30b、30c、30d的高度是否為預(yù)先設(shè)定的高度、是否在以該高度為中心的規(guī)定范圍內(nèi)(以該范圍為規(guī)定位置)，在判斷成是規(guī)定位置時(是)跳過直至步驟S110。在判斷成不是規(guī)定位置時(否)轉(zhuǎn)移到下一步驟S108。在步驟S108中，由于若各攝像機30a、30b、30c、30d的高度不位于規(guī)定位置，則在顯示的圖像中產(chǎn)生偏移，所以進行上方視點圖像的調(diào)整。
[0050]圖7 (a)示出了攝像機位置比規(guī)定位置高的情況下的俯瞰圖像300的例子，另外，圖7 (b)示出了攝像機位置比規(guī)定位置低的情況下的俯瞰圖像300的例子。如圖7 (a)所示，在攝像機位置比規(guī)定位置高的情況下，攝像機的拍攝區(qū)域比規(guī)定位置擴大，因此，在各上方視點提取圖像e的接線部分處使圖像重復(fù)地顯示。在圖7 (a)的例子中，在后方的提取圖像e4與左側(cè)的提取圖像e2的接線處，原本只應(yīng)顯示一根桿P2，但在此顯示有兩根桿P2。另一方面，如圖7 (b)所示，在攝像機位置比規(guī)定位置低的情況下，攝像機的拍攝區(qū)域比規(guī)定位置縮小，因此，在各上方視點提取圖像e的接線部分處圖像缺少一部分而顯示。在圖7 (b)的例子中，在后方的提取圖像e4與左側(cè)的提取圖像e2的接線處，原本應(yīng)顯示的桿P2沒有被顯示，導(dǎo)致桿P2難以被發(fā)現(xiàn)。
[0051]因此，在步驟S106中，若判斷成所檢測出的各攝像機30a、30b、30c、30d的高度不為規(guī)定位置，則根據(jù)其高度如圖5 (C)所示那樣改變虛線所包圍的提取圖像e的大小。即，在攝像機30的高度比規(guī)定位置低的情況下，選擇比攝像機30的高度為規(guī)定位置的情況下的提取區(qū)域e-n大的提取區(qū)域e-w。相反地，在攝像機的高度比規(guī)定位置高的情況下，選擇比提取區(qū)域e-n小的提取區(qū)域e-s。該提取區(qū)域的大小基于例如預(yù)先存儲于存儲器中的轉(zhuǎn)換表等，根據(jù)攝像機30的聞度而確定。
[0052]圖9至圖12示出了各種作業(yè)機械的高度變化的例子。圖9 (a)示出了履帶式液壓挖掘機100的下部行駛體10的履帶11為通常尺寸的情況，圖9 (b)示出了該履帶11與通常相比為小型尺寸的情況。該情況下，圖9 (b)的攝像機30d的聞度h2比圖9 (a)攝像機30d的高度hi低，因此，在圖5 (c)中選擇比攝像機30d的高度為規(guī)定位置的情況下的提取區(qū)域e-n大的提取區(qū)域e-w。與之相對，在如圖9 (C)所示為輪式下部行駛體10的情況下，該攝像機30d的高度h3比圖9 (a)的攝像機30d的高度hi高，因此，在圖5 (c)中選擇比攝像機30d的高度為規(guī)定位置的情況下的提取區(qū)域e-n小的提取區(qū)域e-s。
[0053]接下來，圖10示出了具有外伸叉架40的輪式液壓挖掘機100的情況，示出了作業(yè)時使外伸叉架40工作的情況(a)和不使其工作的情況(b)下的攝像機30d的位置(高度)。一般不使外伸叉架40工作的情況下的攝像機高度為h4，與之相對，使外伸叉架40工作的情況下的攝像機高度h5比h4高出數(shù)cm?十幾cm。因此，在使外伸叉架40工作的情況下，選擇比不使外伸叉架40工作的情況下的提取區(qū)域e-n小的提取區(qū)域e-s。
[0054]圖11示出了翻斗卡車400的情況。該圖(a)示出了沒有裝載裝載物的狀態(tài)，該圖
(b)示出了滿載有裝載物的狀態(tài)。該圖(a)的情況下的攝像機30d的高度為h6，與之相對，該圖(b)的情況下的攝像機高度為h7，由于裝載物的重量導(dǎo)致車身整體下降而攝像機30d的高度降低。因此，在裝載有裝載物的情況下，選擇比沒有裝載裝載物的情況下的提取區(qū)域e-n大的提取區(qū)域e-w。另外，該圖(c)示出了將輪胎50更換成比該圖(a)所示的小徑輪胎大的大徑輪胎的情況。該情況下，由于攝像機30d的高度比小徑輪胎的情況(a)高，所以選擇比小徑輪胎的情況(a)下的提取區(qū)域e-n小的提取區(qū)域e_s。
[0055]圖12示出了四腳履帶式液壓挖掘機100的情況。該四腳履帶式液壓挖掘機100作為下部行駛體10而具有四條獨立的履帶50，能夠為了應(yīng)對不良路面而自由改變各條履帶50的高度。因此，在這樣的四腳履帶式液壓挖掘機100的情況下，如該圖(a)所示在將支承各履帶70的支承腿80放平的狀態(tài)下、和如該圖(b)所示在將支承腿80立起的狀態(tài)下，各個攝像機高度h9、hlO也改變數(shù)十cm以上。因此，在該場合下也選擇根據(jù)各自高度計算出的最佳提取區(qū)域e。
[0056]在像這樣進行上方視點圖像35的提取區(qū)域e的調(diào)整后，轉(zhuǎn)移到下一步驟SllOjf調(diào)整后的上方視點圖像35的提取顯示區(qū)域e進行組合(合成)而生成俯瞰圖像300，并轉(zhuǎn)移到下一步驟S1 12。在步驟S1 12中，將生成的俯瞰圖像30顯示到顯示器221上并轉(zhuǎn)移到最后的步驟S114。在步驟S114中，判斷發(fā)動機是否停止，在判斷成發(fā)動機已停止時(是)，結(jié)束處理。在判斷成發(fā)動機未停止時(否)，返回到最初步驟并重復(fù)相同的處理。
[0057]像這樣，本發(fā)明的周圍監(jiān)視裝置200在對根據(jù)多個攝像機30a、30b、30c、30d所拍攝到的原圖像31生成的上方視點圖像35進行合成而生成俯瞰圖像300時，基于各攝像機30a、30b、30c、30d的高度來調(diào)整各上方視點圖像35的提取顯示區(qū)域e而進行合成，因此，SP使車身20的高度大幅變化而導(dǎo)致攝像機的高度發(fā)生變化，也能夠始終生成并顯示準確的俯瞰圖像300。
[0058]此外，在本實施方式中，作為檢測攝像機30的高度的機構(gòu)，說明了使用激光測距儀241的情況，但也可以基于變化的下部行駛體10的種類和輪胎尺寸等車身信息或裝載物的重量來進行檢測。即，如圖9 (a)及(b)所示，在上部旋轉(zhuǎn)體20共用且僅下部行駛體10不同的情況下，作為數(shù)據(jù)庫而預(yù)先在存儲器中保存該下部行駛體10的種類和其尺寸(高度)等，在初始設(shè)定時，僅通過輸入該下部行駛體10的種類就能夠求出準確的攝像機高度。另外，在如圖10所示使外伸叉架40工作的情況下，也可以根據(jù)外伸叉架40的液壓缸沖程來計算出攝像機高度。
[0059]另外，作為數(shù)據(jù)庫而預(yù)先在存儲器中保存如圖11所示能夠更換的輪胎的種類和尺寸(高度)等，在更換輪胎時僅通過輸入該輪胎的制造商或種類等就能夠求出準確的攝像機高度。此外，這些車身信息能夠使用例如周圍監(jiān)視顯示器220的輸入部222進行輸入。另外，如該圖所示，也可以在支承車身的懸架60等上設(shè)置載荷計來檢測其裝載重量，并根據(jù)檢測出的裝載重量與車身的下降量之間的關(guān)系來檢測攝像機高度。另外，若同時使用這些各種高度檢測機構(gòu)，則能夠進一步高精度地檢測攝像機高度。
[0060]而且，也可以為，操作員實際檢測攝像機30的高度，并從周圍監(jiān)視顯示器220的輸入部222直接輸入該值。另外，在本實施方式中，如圖6及圖7所示，示出了在俯瞰圖像300的中央顯示與液壓挖掘機100對應(yīng)的車身圖像G，在該車身圖像G的周圍(前后左右)分別形成獨立的梯形的顯示區(qū)域SI至S4，并在這些各顯示區(qū)域SI至S4中分別顯示提取圖像el至e4的例子，但與該液壓挖掘機100對應(yīng)的車身圖像G的位置不必限定于俯瞰圖像300的中央。即，例如也可以使與該液壓挖掘機100對應(yīng)的車身圖像G位于俯瞰圖像300的前方而增大后方和左右側(cè)面的顯示區(qū)域S1、S2、S4，或者使車身圖像G位于俯瞰圖像300的左上方而特別增大難以觀察的顯示區(qū)域S1、S4側(cè)。
[0061]附圖標記說明
[0062]100…液壓挖掘機(作業(yè)機械)
[0063]200…周圍監(jiān)視裝置
[0064]210…顯示控制器
[0065]211…攝像機位置檢測部(攝像機位置檢測機構(gòu))[0066]212…上方視點圖像生成部(上方視點圖像生成機構(gòu))
[0067]213…俯瞰圖像生成部(俯瞰圖像生成機構(gòu))
[0068]214…測距儀
[0069]220…周圍監(jiān)視顯示器(顯示機構(gòu))
[0070]300…俯瞰圖像
[0071]20…上部旋轉(zhuǎn)體(車身)
[0072]30、30a、30b、30c、30d …攝像機(拍攝機構(gòu))
[0073]31…原圖像
[0074]35…上部視點圖像
[0075]e、el~e4… 提取區(qū)域
【權(quán)利要求】
1.一種作業(yè)機械的周圍監(jiān)視裝置，裝備在車身高度會發(fā)生變化的作業(yè)機械中，其特征在于，具有: 多個攝像機，其安裝在所述作業(yè)機械的車身上并拍攝其周圍； 上方視點圖像生成機構(gòu)，其對該攝像機所拍攝到的原圖像進行上方視點轉(zhuǎn)換而生成上方視點圖像； 俯瞰圖像生成機構(gòu)，其對該上方視點圖像生成機構(gòu)所生成的各上方視點圖像進行合成而生成包括與所述作業(yè)機械對應(yīng)的圖像的、周圍的俯瞰圖像； 顯示機構(gòu)，其顯示該俯瞰圖像生成機構(gòu)所生成的俯瞰圖像；和 攝像機位置檢測機構(gòu)，其檢測設(shè)置在所述車身上的多個攝像機位置， 所述俯瞰圖像生成機構(gòu)基于所述攝像機位置檢測機構(gòu)所檢測出的各所述攝像機的高度而對所述上方視點圖像生成機構(gòu)所生成的各上方視點圖像的顯示區(qū)域進行合成。
2.如權(quán)利要求1所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于， 具有對所述車身所處的地面與所述攝像機之間的垂直距離進行計測的測距儀， 所述攝像機位置檢測機構(gòu)基于所述測距儀所計測的所述地面與攝像機之間的垂直距離來檢測所述攝像機位置。
3.如權(quán)利要求1所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于， 具有輸入車身信息的輸入部， 所述攝像機位置檢測機構(gòu)基于從所述輸入部輸入的車身信息來檢測所述攝像機位置。
4.如權(quán)利要求1所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于， 具有對裝載于所述車身的裝載物的重量進行計測的重量儀， 所述攝像機位置檢測機構(gòu)基于所述重量儀所計測的裝載物的重量來檢測所述攝像機位置。
【文檔編號】B60R1/00GK103890282SQ201280051173
【公開日】2014年6月25日 申請日期:2012年10月1日 優(yōu)先權(quán)日:2011年10月18日
【發(fā)明者】石本英史 申請人:日立建機株式會社