等，也在該參數(shù)存儲部24中進(jìn)行設(shè)定。因此，將由通過俯視圖像生成部23生成的平面視圖圖像？￥、8￥、1^、1^構(gòu)成的圖像數(shù)據(jù)從參數(shù)存儲部24進(jìn)行輸出，并顯示在監(jiān)視畫面20a的各預(yù)定位置。然后，能夠通過設(shè)定終端25對存儲在參數(shù)存儲部24中的各種參數(shù)進(jìn)行設(shè)定和變更。
[0052]如圖8所示那樣生成顯示在監(jiān)視畫面20a中的平面視圖圖像FV、BV、LV、RV。在該圖中，以右側(cè)的平面視圖圖像RV為例子進(jìn)行說明，但通過相同的方法生成所有的4個平面視圖圖像FV、BV、LV、RV。對于作為作業(yè)機械的液壓挖掘機1，旋轉(zhuǎn)體3能夠進(jìn)行360度旋轉(zhuǎn)。并且，通過各攝像頭攝影所得的經(jīng)過圖像各自具有大致180度的視野角度。
[0053]在圖8中，如用虛線所示那樣，將顯示在監(jiān)視畫面20a中的平面視圖圖像RV設(shè)定為90度的角度范圍。監(jiān)視畫面20a被用作監(jiān)視畫面，因此即使成為前端作業(yè)機5的最大到達(dá)范圍Mmax(在該圖中用虛線所示的圓的內(nèi)側(cè))，也必須將鏟斗12的前端顯示在圖像中。最大到達(dá)范圍Mmax是最大地伸出前端作業(yè)機5的狀態(tài)下的鏟斗12到達(dá)的位置，由于上部旋轉(zhuǎn)體3旋轉(zhuǎn)，所以旋轉(zhuǎn)時的移動軌跡范圍成為WA。
[0054]作為監(jiān)視圖像，優(yōu)選的是顯示比最大到達(dá)范圍Mmax廣的范圍的圖像。在液壓挖掘機I進(jìn)行作業(yè)時，前端作業(yè)機5并不突出到超過最大到達(dá)范圍Mmax的位置，但有時由操作員、翻斗車、服務(wù)車等車輛構(gòu)成的可動體會進(jìn)入到進(jìn)行作業(yè)的現(xiàn)場。這些可動體有可能以從最大到達(dá)范圍Mmax的外部進(jìn)入到內(nèi)部方式進(jìn)行移動。因此，即使在最大到達(dá)范圍Mmax的外側(cè)，只要可動物位于近的位置，則操作者需要預(yù)先識別它們。因此，設(shè)定到達(dá)范圍外監(jiān)視區(qū)域exBU，將該到達(dá)范圍外監(jiān)視區(qū)域exBU也包含在圖像中。
[0055]最大到達(dá)范圍Mmax雖然從周圍的安全監(jiān)視的點的觀點出發(fā)進(jìn)行了設(shè)定，但也可以用作提高前端作業(yè)機5的作業(yè)的作業(yè)性。即，使操作員識別在進(jìn)行前端作業(yè)機5的挖掘作業(yè)時，需要將鏟斗12伸展到哪個位置、為了準(zhǔn)確地進(jìn)行將挖掘物裝載到翻斗車的作業(yè)使旋轉(zhuǎn)體3旋轉(zhuǎn)何種程度、在該旋轉(zhuǎn)角度位置使鏟斗12位于哪個位置，監(jiān)視畫面20a的顯示發(fā)揮極其重要的作用。
[0056]包含平面映射變換處理的圖像處理是為了上述作業(yè)性生成所需要的圖像的處理。在圖8的平面視圖圖像RV中，至少在移動軌跡范圍WA內(nèi)，如均等的格子(H、V)所示那樣，在上方視點中進(jìn)行圖像處理使得投影到水平面上的投影線大致平行。因此，操作液壓挖掘機I的操作者能夠在監(jiān)視畫面20a上沒有不適感地靈活地操作鏟斗12的動作控制。
[0057]接著，根據(jù)圖9說明用于在監(jiān)視裝置20的監(jiān)視畫面20a中顯示液壓挖掘機I的監(jiān)視畫面的步驟。監(jiān)視裝置20被配置在駕駛室4內(nèi)乘坐在駕駛席上的操作者進(jìn)行操作時容易看到的位置。當(dāng)液壓挖掘機I啟動時，將俯視圖像顯示在監(jiān)視畫面20a中。在此，監(jiān)視畫面20a的圖像顯示可以在液壓挖掘機I啟動時自動地進(jìn)行設(shè)定，另外也可以通過開關(guān)操作開始顯示。
[0058]當(dāng)監(jiān)視裝置的作業(yè)開始時，開始設(shè)置有4臺攝像頭13F、13B、13L、13R的攝影(步驟S100)。將這些各攝像頭13F、13B、13L、13R的圖像輸入到構(gòu)成圖像處理裝置的顯示控制器21中，通過該顯示控制器21的上方視點圖像生成部22生成平面視圖圖像FV、BV、LV、RV (步驟S102)，根據(jù)來自參數(shù)存儲部23的輸出(步驟S104)，調(diào)整適合于顯示在監(jiān)視畫面20a中的范圍的切出圖像(步驟S108)。接著，通過俯視圖像生成部23根據(jù)平面視圖圖像FV、BV、LV、RV的切出圖像el、e2、e3、e4、插圖圖像G進(jìn)行俯視圖像的生成(步驟S110)。將這樣生成的俯視圖像以動畫狀態(tài)顯示在監(jiān)視器20a中，當(dāng)液壓挖掘機I旋轉(zhuǎn)，另外驅(qū)動前端作業(yè)機5時，將該狀況反映到監(jiān)視畫面20a中(步驟S112)。該顯示持續(xù)到液壓挖掘機I的發(fā)動機停止為止，當(dāng)發(fā)動機停止時，監(jiān)視畫面20a的顯示也停止(步驟S114)。此外，也可以根據(jù)操作者向監(jiān)視裝置20的開關(guān)操作，停止向該監(jiān)視畫面20a的圖像的顯示。
[0059]但是，在圖8中表示出固定液壓挖掘機I的行駛體2的位置，前端作業(yè)機5以最大到達(dá)狀態(tài)旋轉(zhuǎn)了旋轉(zhuǎn)體3時的移動軌跡范圍WA。為了進(jìn)行操作者的作業(yè)，優(yōu)選的是盡可能大地顯示平面視圖圖像FV、BV、LV、RV。但是，并不限定監(jiān)視畫面20a中的圖像顯示范圍。另外，必須360度地顯示上述移動軌跡范圍WA，但為了安全確認(rèn)，需要在某種程度的范圍內(nèi)還顯示出到達(dá)范圍外監(jiān)視區(qū)域exBU。
[0060]根據(jù)以上，如圖10所示，在最大到達(dá)范圍Mmax的內(nèi)部，顯示為作為平面投影區(qū)域的平面視圖圖像。由此，能夠靈活并且準(zhǔn)確地進(jìn)行操作前端作業(yè)機5而進(jìn)行的挖掘以及挖掘物向翻斗車的裝載等作業(yè)。并且，在到達(dá)范圍外監(jiān)視區(qū)域exBU的范圍內(nèi)，即使圖像稍微失真，也設(shè)為凹狀的曲面投影區(qū)域使得能夠廣范圍地顯示周圍的狀況。
[0061]由此，如圖11所示，在監(jiān)視畫面20a中，能夠?qū)η岸俗鳂I(yè)機5的最大到達(dá)范圍Mmax內(nèi)的移動軌跡范圍WA進(jìn)行周圍的安全確認(rèn)，且設(shè)定進(jìn)行準(zhǔn)確并且高效的作業(yè)的作業(yè)/監(jiān)視范圍，并在其外側(cè)顯示對到達(dá)范圍外監(jiān)視區(qū)域exBU的廣區(qū)域進(jìn)行壓縮并顯示的監(jiān)視范圍。
[0062]并且，將顯示在監(jiān)視畫面20a中的監(jiān)視圖像顯示成將平面視圖圖像FV、BV、LV、RV配置在插圖圖像G的周圍，但該插圖圖像G并不一定必須配置在監(jiān)視畫面20a的中心。根據(jù)作業(yè)，有時也希望廣闊地顯示前方的圖像，而將后方的圖像設(shè)為窄的顯示區(qū)域。在這樣的情況下，可以操作設(shè)定終端25來改變插圖圖像G的顯示位置。
[0063]符號說明
[0064]1:行駛體；3:旋轉(zhuǎn)體；4:駕駛室；5:前端作業(yè)機；10:動臂；11:斗桿；12:鏟斗；13B:后方攝像頭；13L:左方攝像頭；13R:右方攝像頭；13F:前方攝像頭；20:監(jiān)視裝置；20a:監(jiān)視畫面；21:顯示控制器；22:上方視點圖像生成部；23:俯視圖像生成部；24:參數(shù)存儲部；25:設(shè)定終端；FV、BV、LV、RV:平面視圖圖像；G:插圖圖像;Mmax:最大到達(dá)范圍；exBU:到達(dá)范圍外監(jiān)視區(qū)域；WA:移動軌跡范圍。
【主權(quán)項】
1.一種作業(yè)機械的周圍監(jiān)視裝置，其被設(shè)在作業(yè)機械上，且用于監(jiān)視上述作業(yè)機械的周圍，該作業(yè)機械在能夠旋轉(zhuǎn)地設(shè)在行駛體上的旋轉(zhuǎn)體上安裝有作業(yè)單元，并通過操作設(shè)在上述旋轉(zhuǎn)體上的操作單元來進(jìn)行作業(yè)，該作業(yè)機械的周圍監(jiān)視裝置的特征在于，具備: 多臺攝像頭，其被設(shè)在上述旋轉(zhuǎn)體上，并配置成相鄰的2臺攝像頭的視野范圍的一部分相互重疊； 視點變換單元，其將通過上述各攝像頭取得的攝像頭圖像變換為上方視點圖像； 顯示圖像生成單元，其將通過上述視點變換單元生成的多個上方視點圖像配置在以平面地顯示上述作業(yè)機械的插圖圖像的周圍并設(shè)為俯視圖像；以及 圖像顯示單元，其通過上述圖像生成單元，將上述俯視圖像中的至少通過上述作業(yè)機械的上述作業(yè)單元進(jìn)行的作業(yè)到達(dá)范圍內(nèi)作為平面視圖圖像顯示在上述插圖圖像的周圍。2.根據(jù)權(quán)利要求1所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于， 構(gòu)成上述俯視圖像的各上方視點圖像至少由在上述作業(yè)到達(dá)范圍內(nèi)被投影到假想水平面上且投影線大致平行的平面視圖圖像構(gòu)成。3.根據(jù)權(quán)利要求2所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于， 上述圖像顯示單元將上述平面視圖圖像的顯示區(qū)域設(shè)為上述作業(yè)單元的最大到達(dá)范圍，將該最大到達(dá)范圍的外側(cè)的圖像區(qū)域設(shè)為以上述各攝像頭的設(shè)置位置的上方為第二假想視點位置的球面化圖像。
【專利摘要】為了監(jiān)視在能夠旋轉(zhuǎn)地設(shè)在行駛體上的旋轉(zhuǎn)體上安裝有作業(yè)單元的作業(yè)機械的周圍，具備：多臺攝像頭，其被設(shè)在上述旋轉(zhuǎn)體上，并配置成相鄰的2臺攝像頭的視野范圍的一部分相互重疊；視點變換單元，其將通過上述各攝像頭取得的攝像頭圖像變換為上方視點圖像；顯示圖像生成單元，其將通過上述視點變換單元生成的多個上方視點圖像配置在以平面地顯示上述作業(yè)機械的插圖圖像的周圍并設(shè)為俯視圖像；以及圖像顯示單元，其通過上述圖像生成單元，將上述俯視圖像中的至少通過上述作業(yè)機械的上述作業(yè)單元進(jìn)行的作業(yè)到達(dá)范圍內(nèi)作為平面視圖圖像顯示在上述插圖圖像的周圍。
【IPC分類】H04N7/18
【公開號】CN105009572
【申請?zhí)枴緾N201380074230
【發(fā)明人】石本英史, 太田守飛, 古渡陽一, 稻野邊慶仁
【申請人】日立建機株式會社
【公開日】2015年10月28日
【申請日】2013年8月26日
【公告號】WO2015029110A1