作業(yè)機械的周圍監(jiān)視裝置的制造方法
【專利摘要】提供一種作業(yè)機械的周圍監(jiān)視裝置，即使在對作業(yè)機械的周圍進行拍攝所得的圖像內(nèi)存在復(fù)雜形狀的本車影，也能夠防止該本車影的存在影響對作業(yè)機械周圍存在的物體的檢測。具備：對作業(yè)機械周圍的圖像進行拍攝的單鏡頭攝像機(6)；基于該圖像的特征量抽出該圖像中的特征圖形的特征圖形抽出部(170)；基于所述圖像的特征量抽出在該圖像中能夠視為作業(yè)機械的影的區(qū)域的輪廓的影輪廓抽出部(40)；以及物體檢測部(180)，其基于從由特征圖形抽出部抽出的特征圖形排除位于由影輪廓抽出部抽出的輪廓上的影輪廓特征圖形而剩余的特征圖形，來檢測在作業(yè)機械周圍存在的障礙物。
【專利說明】
作業(yè)機械的周圍監(jiān)視裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及利用單鏡頭攝像機圖像對作業(yè)機械周圍存在的障礙物進行監(jiān)視的作業(yè)機械的周圍監(jiān)視裝置。
【背景技術(shù)】
[0002]作為本技術(shù)領(lǐng)域的【背景技術(shù)】，有日本特開2007— 272292號公報(專利文獻I)。在該文獻中記載了一種影邊界抽出方法，算出表示由攝像裝置拍攝所得的圖像中的屬于被攝物邊緣的邊緣像素、與該邊緣像素近旁存在的多個像素的像素值關(guān)系的圖形，并參照對所述圖像中的屬于影區(qū)域和非影區(qū)域的影邊界的影邊界像素、與該影邊界像素近旁存在的多個像素的像素值的關(guān)系預(yù)先進行了設(shè)定的影邊界圖形，對該影邊界圖形和所述算出圖形進行比對，將屬于與該影邊界圖形一致的所述算出圖形的所述邊緣像素判定為存在于所述影邊界的像素。
[0003]現(xiàn)有技術(shù)文獻
[0004]專利文獻
[0005]專利文獻1:日本特開2007 — 272292號公報
[0006]發(fā)明要解決的課題
[0007]成為本發(fā)明的適用對象的包含自卸車及液壓挖掘機等的作業(yè)機械的輪廓形狀與乘用車的輪廓形狀相比較為復(fù)雜，因此投影于地面的作業(yè)機械的影(以下有時稱為本車影)自然地成為復(fù)雜的形狀。另外，作業(yè)機械以在卸載中行駛為前提，因此其本車影與多在鋪裝路上投射本車影的乘用車的情況相比是更復(fù)雜的形狀。此外還可以指出，當作業(yè)機械卸載行駛時，本車影的形狀會與地表的凹凸對應(yīng)地動態(tài)變化，因此本車影的形狀會隨著時間變化。
[0008]為此，當如上述文獻的技術(shù)那樣采用預(yù)先準備有顯現(xiàn)于地面的多個影的邊界圖形(影邊界圖形)的方法時，則需要配合作業(yè)機械的輪廓、路面形狀來準備無數(shù)的影邊界圖形，并將其存儲于存儲器等存儲裝置。但是，事實上不可能生成符合所有路面形狀的影邊界圖形，即便假設(shè)能夠生成，也會由于需要準備能夠?qū)ζ潺嫶蟮臄?shù)據(jù)量進行存儲的存儲器等存儲裝置而就初始成本來看不現(xiàn)實。另外，可以預(yù)料的是無數(shù)的影邊界圖形與算出圖形的比對會需要龐大的處理，因此就處理內(nèi)容來看也不現(xiàn)實。
[0009]如上所述，在上述文獻的技術(shù)中難以識別攝影圖像中的作業(yè)機械的本車影。如果無法準確地識別本車影，例如將本車影誤識別為作業(yè)機械周圍存在的物體(障礙物)，則有可能發(fā)出不必要的警報而導致作業(yè)效率降低。
[0010]另外，在作業(yè)機械的周圍監(jiān)視裝置的開發(fā)中還需要考慮如下特殊情況。即，作業(yè)機械與一般的乘用車相比車型巨大且車高較高，因此具有周圍監(jiān)視用的攝像機(攝像裝置)的設(shè)置位置較高的傾向。另外，如要對該作業(yè)機械的周圍進行拍攝，則需要攝像機處于適當?shù)爻蛟撟鳂I(yè)機械的大致正下方的姿態(tài)(即，該攝像機的俯角增大)，因此當然也會依存于太陽的位置，但是在攝影圖像中很少顯著地表現(xiàn)本車影。因此，為了使周圍監(jiān)視裝置發(fā)揮功能，必須進行本車影中的物體檢測。另外，當本車影的輪廓上存在黑色物體時，有可能該物體被視為本車影的一部分而導致對該物體的檢測延遲。這種作業(yè)機械特有的本車影的問題在用于礦山的巨大的自卸車(礦山載重車)等尺度較大的作業(yè)機械中特別顯著。

【發(fā)明內(nèi)容】

[0011 ]本發(fā)明的目的是提供一種作業(yè)機械的周圍監(jiān)視裝置，即使在對作業(yè)機械的周圍進行拍攝所得圖像內(nèi)存在復(fù)雜形狀的本車影，也能夠防止該本車影的存在影響對作業(yè)機械周圍存在的物體的檢測。
[0012]解決課題的手段
[0013]為了解決上述技術(shù)問題，本發(fā)明具備:搭載于作業(yè)機械而對該作業(yè)機械周圍的圖像進行拍攝的單鏡頭攝像機;基于該圖像的特征量抽出該圖像中的特征圖形的特征圖形抽出部;基于所述圖像的特征量抽出在該圖像中能夠視為所述作業(yè)機械的影的區(qū)域的輪廓的影輪廓抽出部；以及物體檢測部，其基于從由所述特征圖形抽出部抽出的所述特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而剩余的特征圖形，來檢測所述作業(yè)機械周圍存在的障礙物。
[0014]發(fā)明的效果
[0015]根據(jù)本發(fā)明，即使在對作業(yè)機械的周圍進行拍攝所得的圖像內(nèi)存在隨時間變化的復(fù)雜形狀的本車影，也能夠適當?shù)貙⒁暈樵摫拒囉拜喞牟糠謴恼系K物檢測對象排除，從而防止本車影的誤識別并提高障礙物檢測精度。
【附圖說明】
[0016]圖1是本實施方式的自卸車的俯視圖。
[0017]圖2是圖1所示自卸車I的側(cè)視圖。
[0018]圖3是圖像處理裝置的整體結(jié)構(gòu)圖。
[0019]圖4是由圖像合成部執(zhí)行的處理步驟的一例。
[0020]圖5是將4臺攝像機的輸入圖像在圖像合成部中合成的圖像的一例。
[0021]圖6是在利用基準處理對象區(qū)域設(shè)定部進行區(qū)域特定前預(yù)先進行的處理對象區(qū)域的設(shè)定步驟。
[0022]圖7是影輪廓抽出部40的功能框圖。
[0023]圖8是由影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的流程圖。
[0024]圖9是圖8中的步驟42b的亮度分布圖。
[0025]圖10是表示由外廓圖像生成部生成的本車影外廓的圖。
[0026]圖11是從圖3抽出特征圖形抽出部及影輪廓特征圖形抽出部的周邊的圖。
[0027]圖12是角點抽出部及特征圖形抽出部的處理的說明圖。
[0028]圖13是角點抽出部及特征圖形抽出部的處理的說明圖。
[0029]圖14是由影輪廓特征圖形抽出部執(zhí)行的處理的流程圖。
[0030]圖15是表示由圖14的步驟53f抽出的特征圖形的一例的圖。
[0031]圖16是表示由圖14的步驟53f抽出的特征圖形的另一例的圖。
[0032 ]圖17是表示由圖14的步驟53f抽出的特征圖形的此外另一例的圖。
[0033]圖18是由影輪廓特征圖形遮蔽部60執(zhí)行的處理的流程圖。
[0034]圖19是表示影輪廓特征圖形遮蔽部在步驟60b中使圖15的角點51a及角點51b膨脹規(guī)定次數(shù)的圖像例的圖。
[0035]圖20是表示影輪廓特征圖形遮蔽部在步驟60b中使圖16的角點51e及角點51f及角點51 g及角點51h膨脹規(guī)定次數(shù)的圖像例的圖。
[0036]圖21是表示影輪廓特征圖形遮蔽部在步驟60b中使圖17的角點51e、角點51A、51B、51C、51D、51E、51F、51G、51H、51P膨脹規(guī)定次數(shù)的圖像例的圖。
[0037]圖22是表示將影輪廓特征圖形遮蔽部在由圖像合成部合成的場景中遮蔽的區(qū)域顯示于顯示裝置的畫面例的圖。
[0038]圖23是表示將被影輪廓特征圖形遮蔽部遮蔽的區(qū)域以俯瞰圖像顯示于顯示裝置的畫面的一例的圖。
[0039]圖24是表示將被影輪廓特征圖形遮蔽部遮蔽的區(qū)域以俯瞰圖像顯示于顯示裝置的畫面的一例的圖。
[°04°]圖25是表示顯示裝置的顯示畫面的一例的圖。
[0041]圖26是表示顯示裝置的顯示畫面的一例的圖。
[0042I圖27是表示顯示裝置的顯示畫面的一例的圖。
[0043I圖28是表示顯示裝置的顯示畫面的一例的圖。
[0044]圖29是表示顯示裝置的顯示畫面的一例的圖。
[0(Μ5]圖30是表示顯示裝置的顯示畫面的一例的圖。
[0046]圖31是表示本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的整體結(jié)構(gòu)的其它例子的圖。
[0047]圖32是由本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的其它流程圖。
[0048]圖33是作為本發(fā)明適用對象的作業(yè)機械之一的大型液壓挖掘機的側(cè)視圖。
【具體實施方式】
[0049]在對本發(fā)明的實施方式進行說明之前，首先對本發(fā)明實施方式的作業(yè)機械的周圍監(jiān)視裝置所含的主要特征進行說明。
[0050]后述的本實施方式的作業(yè)機械的周圍監(jiān)視裝置，其特征在于，具備:搭載于作業(yè)機械而對該作業(yè)機械周圍的圖像進行拍攝的單鏡頭攝像機(例如后述的攝像機6);基于該圖像的特征量抽出該圖像中的特征圖形(例如該圖像中的角部、邊緣)的特征圖形抽出部(例如后述的特征圖形抽出部170);基于所述圖像的特征量抽出在該圖像中能夠視為所述作業(yè)機械的影的區(qū)域的輪廓的影輪廓抽出部(例如后述的影輪廓抽出部40);以及物體檢測部(例如后述的物體檢測部180)，其基于從由所述特征圖形抽出部抽出的所述特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而剩余的特征圖形，來檢測所述作業(yè)機械周圍存在的障礙物。
[0051]在如上所述構(gòu)成的周圍監(jiān)視裝置中，與所述作業(yè)機械的影(本車影)的形狀的復(fù)雜度無關(guān)地按照采樣間隔抽出該影的輪廓(影輪廓)，將位于該影輪廓上的特征圖形從障礙物檢測對象排除，因此能夠防止該本車影被誤識別為障礙物。另外，該影輪廓上不存在的特征圖形依然是所述物體檢測部的障礙物檢測對象，因此例如在所述影輪廓上存在著汽車等障礙物，即使將該障礙物的特征圖形中存在于該影輪廓上的特征圖像除去，剩余的特征圖形(例如本車影內(nèi)部存在的特征圖形)依然作為障礙物檢測對象剩余，因此只要基于該剩余的特征圖形進行障礙物檢測即可立即檢測該障礙物。
[0052]此外，在上述的周圍監(jiān)視裝置中，當在作業(yè)機械的本車影的輪廓上跨該本車影的內(nèi)外存在黑色障礙物(例如黑色的乘用車)時，則雖然有時會將該黑色障礙物的輪廓視為影輪廓，但是此時也會由于該障礙物的特征圖形在該本車影的外部及內(nèi)部留存，而能夠基于該留存的特征圖形來檢測該障礙物。即，如果是上述的周圍監(jiān)視裝置的結(jié)構(gòu)，則無需準確地識別所述作業(yè)機械的影邊界，即使在誤識別影邊界的情況下也能夠迅速地檢測障礙物。
[0053]因此，根據(jù)本實施方式，即使在對作業(yè)機械的周圍進行拍攝所得的圖像內(nèi)存在隨時間變化的復(fù)雜形狀的本車影，也能夠適當?shù)貙⒁暈樵摫拒囉拜喞牟糠謴恼系K物檢測對象排除，從而防止本車影的誤識別并提高障礙物檢測精度。
[0054]然而，一般地，在礦山利用作業(yè)機械時，來自礦物的顏色(例如在鐵礦石采掘現(xiàn)場是鐵礦石特有的紅褐色)會顯現(xiàn)于地表。因此，作為從所述單鏡頭攝像機的攝影圖像中抽出本車影時的特征量，如果選擇圖像中的顏色，則導致本車影及影輪廓的抽出性能降低的可能性升高。另外，顏色也會因光的變化而變化，就此觀點來看選擇顏色作為特征量也不適當。對此，在本發(fā)明中，不會將圖像的顏色用作抽出本車影時的特征量，因此即使在礦山等地面顯現(xiàn)不規(guī)則的顏色變化的場所利用，也不會妨礙對作業(yè)機械周圍的障礙物的檢測。另夕卜，本發(fā)明還具有能夠從由單鏡頭攝像機拍攝的I張圖像(靜止畫面)中檢測作業(yè)機械周圍存在的物體的優(yōu)點。
[0055]此外，上述的“特征圖形”是指通過基于特征量抽出圖像的特征而檢出的該特征的形狀，例如相當于點(角部)、線/輪廓線(邊緣)、區(qū)域等。
[0056]下面，參照附圖對使用本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的例子進行說明。雖然這里是對作為作業(yè)機械適用自卸車的例子進行說明，但是作業(yè)機械不僅限于自卸車。即，本發(fā)明可適用于包含液壓挖掘機在內(nèi)的進行規(guī)定的作業(yè)(搬運、挖掘等)的任意的作業(yè)機械。
[0057]圖1示出了本實施方式的自卸車的俯視圖。該圖示的自卸車I具備:車體框架2;相對于車體框架2上可旋轉(zhuǎn)地安裝于其上的前輪3(3L及3R)和后輪4(4L及4R);在車體框架2的上方可起伏地安裝的車斗5;在底盤或車體框架2等上固定的單鏡頭攝像機6(6&，613，6(3，6d);在車體框架2的前方上部設(shè)置的駕駛室7;在車體框架2上的任意場所(例如駕駛室7的內(nèi)部)搭載的圖像處理裝置10;以及，在駕駛室7內(nèi)部設(shè)置的顯示裝置100。車體框架2形成自卸車I的本體，在車體框架2的前方設(shè)有前輪3、后方設(shè)有后輪4。此外，前輪3R是車輛右側(cè)的前輪，前輪3L是車輛左側(cè)的前輪。另外，后輪4R是車輛右側(cè)的2個后輪，后輪4L是車輛左側(cè)的2個后輪。車斗5是所謂的載臺，用于裝載砂土、礦物等。此外，圖示的前輪3及后輪4的配置及數(shù)量僅為一例。
[0058]攝像裝置即單鏡頭攝像機6可設(shè)于自卸車I的任意位置。在本實施方式中搭載有合計4臺的攝像機6a，6b，6c，6d，攝像機6a在自卸車I的前方上部以俯瞰斜下方的姿態(tài)設(shè)置而在其視野范圍11(圖1的虛線11的范圍)中包含車輛前方15a。與該攝像機6a同樣地，攝像機6b在車輛右側(cè)方上部設(shè)置而在視野范圍12中包含車輛右側(cè)方15b，攝像機6c在車輛后方上部設(shè)置而在視野范圍13中包含車輛后方15c，攝像機6d在車輛左側(cè)方上部設(shè)置而在視野范圍14中包含車輛左側(cè)方15d。
[0059]在圖1例中，太陽O位于自卸車I的左側(cè)后方上空，因此自卸車I的影(本車影)在前方90a和右側(cè)方90b發(fā)生。此外，雖然在圖1中示意地分割為自卸車I的前方和右側(cè)方表示的影90a，90b進行了顯示，然而實際上2個影90a，90b相連(后圖也同樣)。
[0060]圖2示出了圖1所示自卸車I的側(cè)視圖。
[0061]具有前方視野范圍11(圖2的虛線11的范圍)的攝像機6a從駕駛室7看是安裝于右斜前方的位置，具有右側(cè)方視野范圍12(圖2的虛線12的范圍)的攝像機6b從駕駛室7看是安裝于右斜后方的位置，具有后方視野范圍13(圖2的虛線13的范圍)的攝像機6c安裝于車體框架2的后方。右側(cè)方視野范圍12(在圖2中未示出)攝像機6d從駕駛室7看是安裝于左斜后方的位置，但是在圖2中未示出。攝像機6a、攝像機6b、攝像機6c及攝像機6d拍攝的影像被作為圖像數(shù)據(jù)向圖像處理裝置1輸出。
[0062]駕駛室7搭乘操作員而設(shè)有用于操作自卸車I的包含轉(zhuǎn)向手柄、加速踏板及制動踏板的各種操作裝置。作為其它的操作裝置，例如還有使自卸車I前進或后退的變速桿。在駕駛室7中設(shè)有圖像處理裝置10和顯示裝置100，由攝像機6a、攝像機6b、攝像機6c及攝像機6d拍攝、生成的圖像數(shù)據(jù)在圖像處理裝置10中進行規(guī)定的圖像處理。經(jīng)過圖像處理的圖像數(shù)據(jù)顯示于顯示裝置100?；镜厥窃陲@示裝置100上顯示攝像機6a、攝像機6b、攝像機6c及攝像機6d拍攝的影像。
[0063]這里，在圖2中，前方視野范圍11是自卸車I前方的斜下方區(qū)域。有時在前方視野范圍11中也包含作業(yè)員、其它作業(yè)機械、服務(wù)車等。右側(cè)方視野范圍12、后方視野范圍13、左側(cè)方視野范圍14也同樣。
[0064]圖3是本發(fā)明第I實施方式的圖像處理裝置10的整體結(jié)構(gòu)圖。該圖示的圖像處理裝置10具備:圖像輸入部20、圖像存儲部30、圖像合成部35、基準處理對象區(qū)域設(shè)定部80、特征圖形抽出部170、影輪廓抽出部40、影輪廓特征圖形抽出部50、影輪廓特征圖形遮蔽部60、物體檢測部180。
[0065 ]由4臺攝像機6a，6b，6 c，6d拍攝的攝像機圖像，分別以規(guī)定的采樣間隔輸入圖像輸入部20并存儲于圖像存儲部30。
[0066]圖像存儲部30對來自圖像輸入部20的輸入圖像以不同的間隔進行采樣并存儲，例如在停止時加長采樣間隔而在移動時則縮短采樣間隔并進行存儲，因此可以利用必要的最低限度的輸入圖像進行圖像處理，能夠縮短時間并使處理適當。
[0067]圖像合成部35將從4臺攝像機6a，6b，6c，6d輸出并存儲于圖像存儲部30的多個攝像機圖像合成為I個圖像。
[0068]圖4示出由本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的圖像合成部35執(zhí)行的處理步驟的一例。首先，圖像合成部35在步驟35a中判定是4臺攝像機6a，6b，6c，6d中的哪一臺攝像機的圖像。并且，在前方攝像機6a的情況下，進行在圖像處理畫面的左上配置的處理(步驟35b);在右側(cè)方攝像機6b的情況下，進行在圖像處理畫面的右上配置的處理(步驟35c);在后方攝像機6c的情況下，進行在圖像處理畫面的右下配置的處理(步驟35d);在左側(cè)方攝像機6d的情況下，進行在圖像處理畫面的左下配置的處理(步驟35e)。通過該步驟生成使4臺攝像機6a、6b、6c、6d的圖像成為I幀的合成圖像(步驟35f)。
[0069]圖5示出將本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的攝像機6a的輸入圖像20a、攝像機6b的輸入圖像20b、攝像機6 c的輸入圖像20 c、攝像機6d的輸入圖像20d在圖像合成部35中合成的圖像的一例。圖5中，在輸入圖像20a中產(chǎn)生本車影90a，在輸入圖像20b中產(chǎn)生本車影90b。另外，在輸入圖像20a中作為與本車影90a同樣暗區(qū)域存在有黑色車110及非本車影111(例如當黑色車鉆入作業(yè)機械下方時則該黑色車不會成為該作業(yè)機械的影(本車影))。
[0070]在本實施方式中，當存在與作業(yè)機械本體的一部分15a，15b接觸的暗區(qū)域，并且該暗區(qū)域的面積在規(guī)定值(該規(guī)定值是依存于作業(yè)機械的大小和太陽O的位置的值)以上時，則將該暗區(qū)域判定為本車影(本車影90a，90b)。另一方面，對于面積小于規(guī)定值的暗區(qū)域，即使與作業(yè)機本體的一部分15a，15b接觸也是非本車影111。
[0071]如上所述對本車影和非本車影進行區(qū)別的理由是:在由后述的影輪廓圖像生成部46生成影的輪廓圖像時，影輪廓特征圖形遮蔽部60將非本車影的輪廓圖像從處理對象區(qū)域排除并作為遮蔽區(qū)域，因此防止因遮蔽區(qū)域擴大而導致障礙物檢測性能降低。另外，雖然面積小于規(guī)定值的暗區(qū)域被判定為非本車影111，但是通常作業(yè)機械由于車體較大，因此本車影的面積也比檢測對象物體(例如服務(wù)車等)大，本車影的面積小于非本車影的情況很少。
[0072]此外，雖然作為使4臺攝像機6a、6b、6c、6d的圖像成為I張圖像的例子以圖5進行了說明，但是其僅為一例，該I張圖像中的各圖像的配置也可以是圖5所示以外的情形。另外，雖然在這里說明的例子中是利用4臺攝像機的圖像進行障礙物檢測，但是在障礙物檢測中利用的攝像機的臺數(shù)(即在障礙物檢測中利用的圖像的張數(shù))只要有若干即可。
[0073]返回圖3，基準處理對象區(qū)域設(shè)定部80是基于預(yù)定的處理對象區(qū)域來特定在由圖像合成部35合成的各圖像20a，20b，20c，20d上進行后續(xù)的各種處理(例如包含物體檢測部180的障礙物檢測)的區(qū)域的部分。
[0074]圖6示出在利用基準處理對象區(qū)域設(shè)定部80進行區(qū)域特定前預(yù)先進行的處理對象區(qū)域的設(shè)定步驟。這里說明對由攝像機6a拍攝的輸入圖像20a設(shè)定處理對象區(qū)域的情況。當操作員預(yù)先通過手動利用鼠標等對輸入圖像20a順次指示基準點而指定閉區(qū)域81a時，則可基于該閉區(qū)域81a生成處理對象區(qū)域82a。
[0075]此外，雖然在圖6中對通過手動設(shè)定基準處理對象區(qū)域設(shè)定部80的情況進行了說明，但是也可以利用輪廓信息等通過圖像處理自動地設(shè)定處理對象區(qū)域，或者利用其它工具(例如將從圖像自動地抽出的路面等設(shè)定為處理對象區(qū)域的工具等)進行設(shè)定，只要能夠生成處理對象區(qū)域82a則無需特別地限定方法。另外，處理對象區(qū)域的設(shè)定例如也可以是以包含整個地面的方式圍成的閉區(qū)域、或者圍繞部分地面的閉區(qū)域。此外，雖然這里僅對圖像20a設(shè)定了處理對象區(qū)域，但是當然也可以對其它的圖像20b，20c，20d進行設(shè)定。
[0076]影輪廓抽出部40是將在由基準處理對象區(qū)域設(shè)定部80決定設(shè)定的處理對象區(qū)域內(nèi)可視為自卸車I的影的區(qū)域的輪廓(影輪廓)基于該圖像的特征量抽出的部分。此外，這里所謂“可視為自卸車I的影的區(qū)域”不必與自卸車I的實際的影區(qū)域一致，也包含在圖像處理的關(guān)系上被識別為自卸車I的影的區(qū)域，例如當在自卸車I的影的輪廓上存在黑色車輛時，有時也將該黑色車輛的輪廓視為自卸車I的影。影輪廓抽出部40將由圖像合成部35合成的I個圖像作為I個幀進行影輪廓抽出。
[0077]這里在圖7中示出了本實施方式的影輪廓抽出部40具備的具體功能。如該圖所示，影輪廓抽出部40作為處理對象區(qū)域圖像生成部41、影有無判定部42、影區(qū)域抽出部43、影區(qū)域的外廓圖像生成部44、膨脹圖像生成部45、影輪廓圖像生成部46發(fā)揮功能。
[0078]首先，處理對象區(qū)域圖像生成部41a在圖像存儲部30所存儲的圖像中生成由基準處理對象區(qū)域設(shè)定部80作為處理對象區(qū)域設(shè)定的閉區(qū)域。由此以后的處理限定在該閉區(qū)域內(nèi)進行。
[0079]影有無判定部42判定處理對象區(qū)域內(nèi)的影的有無，當判定為有影時，則由影區(qū)域抽出部43將影的區(qū)域抽出。這里使用圖8對影有無判定部42進行詳述。
[0080]圖8是由本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的流程圖。首先，在步驟42a中，影有無判定部42通過對各圖像20a，20b，20c，20d的處理對象區(qū)域內(nèi)進行平滑化處理來降低噪聲，在步驟42b中，在各圖像20a，20b，20c，20d的處理對象區(qū)域內(nèi)生成亮度分布圖。接下來，在步驟42c中，影有無判定部42對在步驟42b中生成的亮度分布圖進行檢查，算出亮度分布在規(guī)定的閾值以上的部分的面積。在步驟42d中判定該算出面積是否小于規(guī)定值，當小于該規(guī)定值時(也包含面積為零時)，則在步驟42e中判定為有影候補。另一方面，當在步驟42d中判定為算出面積在規(guī)定值以上時，則在步驟42k中判定為無本車影而結(jié)束處理。
[0081 ]在步驟42f中，影區(qū)域抽出部43決定用于抽出影候補區(qū)域的2值化閾值而生成2值圖像，在步驟42g中對該2值圖像進行膨脹及收縮等整形處理。在步驟42h中，將該2值圖像中的暗部分的面積在規(guī)定值以上的區(qū)域作為影候補區(qū)域。最后，在步驟42i中，影區(qū)域抽出部43判定該影候補區(qū)域是否在本車區(qū)域附近，當在本車區(qū)域附近時則在步驟42j中判定為有本車影，將該影候補區(qū)域作為影區(qū)域抽出而結(jié)束處理。
[0082]另一方面，當在步驟42i中影候補區(qū)域為不在本車區(qū)域附近時，則在步驟42k中判定為無本車影而結(jié)束處理。
[0083]此外，當在步驟42i中所謂影候補區(qū)域位于本車區(qū)域附近是指，如圖5的說明所述，成為本車影的暗區(qū)域90a與作業(yè)機械本體的一部分15a接觸。
[0084]圖9是說明圖8中的步驟42b的亮度分布圖的說明圖。在圖9中，度數(shù)75表示存在亮度的像素數(shù)。在該圖例中，對各攝像機6a，6b，6c，6d的圖像20a，20b，20c，20d生成了亮度分布圖 70a，70b，70c，70d。
[0085]在步驟42c中，例如關(guān)于攝像機6a的輸入圖像20a的亮度分布圖70a，算出用于在基準處理對象區(qū)域內(nèi)中抽出影的規(guī)定的2值化閾值71以上的部分的面積，但是由于在該閾值以上的部分不存在面積，因此在步驟42e中判定為“有影候補”。當如上所述存在影候補時，則分散為明亮地面的亮度和暗影的亮度，因此獲得不使2值化閾值71突出的亮度分布圖70ao
[0086]另外，關(guān)于攝像機6b的輸入圖像20b的亮度分布圖70b也同樣地，由于在基準處理對象區(qū)域內(nèi)的2值化閾值71以上的部分不存在面積，因此判定為“有影候補”。
[0087]另一方面，攝像機6c的輸入圖像20c的亮度分布圖70c，由于在基準處理對象區(qū)域內(nèi)的2值化閾值71以上的部分72c存在面積，且該部分72c的面積在閾值以上，因此判定為“無本車影”。當如上所述不存在影候補時，則地面的亮度是大部分，由此獲得不使2值化閾值71突出的亮度分布圖70c。
[0088]另外，關(guān)于攝像機6d的輸入圖像20d的亮度分布圖70d也同樣地，由于基準處理對象區(qū)域內(nèi)的2值化閾值71以上的部分72d的面積為閾值以上而判定為“無本車影”。
[0089]圖10是表示由外廓圖像生成部44(參照圖7)生成的本車影90a及本車影90b的外廓的圖。如該圖所示，外廓圖像生成部44將由圖8的一系列的處理抽出的本車影90a的區(qū)域中的外郭線(輪廓線)作為本車影90a的外廓73a。同樣地，將本車影90b的區(qū)域中的外郭線(輪廓線)作為本車影90b的外廓73b。影區(qū)域的外廓圖像的膨脹圖像生成部45，對由外廓圖像生成部44生成的外廓圖像的外廓(影輪廓)進行膨脹處理。該膨脹圖像生成部45的膨脹處理，是對外廓圖像中的外廓賦予規(guī)定的寬度的處理，例如可以通過指定膨脹次數(shù)而間接地指定寬度。膨脹次數(shù)可以是必要的最低限度即I?3次左右。
[0090]影輪廓圖像生成部46將由膨脹圖像生成部45施加了膨脹處理的外廓圖像作為影的輪廓圖像。由此在圖像存儲部30的圖像中產(chǎn)生影時，則由影輪廓抽出部40將該影的輪廓抽出。
[0091]返回圖3，特征圖形抽出部170是基于圖像20&，2013，20(3，20(1中的特征量將該各圖像20a，20b，20c，20d中的特征圖形抽出的部分。在本實施方式中利用基準處理對象區(qū)域設(shè)定部80的功能僅抽出處理對象區(qū)域內(nèi)的特征圖形。
[0092]圖11示出了從圖3將特征圖形抽出部170及影輪廓特征圖形抽出部50的周邊抽出的圖，這里例舉作為由特征圖形抽出部170抽出的特征圖形利用角點的情況進行說明。在圖11中，特征圖形抽出部170作為角點抽出部51、角點群的特征圖形抽出部52發(fā)揮功能。此外，作為由特征圖形抽出部170抽出的特征圖形，是要是表示通過基于特征量抽出圖像的特征而檢出的該特征的形狀的特征圖形即可，例如可以取代角點或在其基礎(chǔ)上利用線/輪廓線(邊緣)或區(qū)域。
[0093]角點抽出部51利用哈里斯的角點檢測等抽出圖像中的角點。角點群的特征圖形抽出部52將由多個角點構(gòu)成的角點群的特征圖形抽出。圖12及圖13是角點抽出部51及特征圖形抽出部52的處理的說明圖。在圖12所示的本車影的外廓73a的例中，在外廓73a的角部上存在的角點51a及角點51b(角點群)被作為特征圖形抽出。另外，在圖13的車例中，由于角點在該車的輪廓上的角部存在，因此將多個角點51六，518，51(:，510，5^，51?，516，51!1，511，51J，51K，51L，51M，51N、51P抽出。即，這些角點群51A?51P被作為車的特征圖形生成。
[0094]影輪廓特征圖形抽出部50將疊加于影輪廓的特征圖形(例如角點)抽出。具體而言，影輪廓特征圖形抽出部50將由影輪廓抽出部40抽出的影輪廓圖像(使影的外廓膨脹而成的圖像)上疊加的特征圖形抽出而獲得影輪廓特征圖形。在本實施方式中作為特征圖形使用角點的理由之一是因為:影上存在的角點的個數(shù)具有與檢測對象物體上存在的角點的個數(shù)相比較少的傾向而影輪廓特征圖形容易抽出。
[0095]圖14是由影輪廓特征圖形抽出部50執(zhí)行的處理的流程圖。首先，在步驟53e中，影輪廓特征圖形抽出部50判定是否存在疊加于由影輪廓抽出部40生成的影輪廓圖像的特征圖形(角點(特征點))。當在步驟53e中判定為存在疊加于影輪廓的特征圖形時，則在步驟53f中將該疊加的特征圖形抽出并將其決定為影輪廓特征圖形(步驟53g)。
[0096]另一方面，當在步驟53e中不存在疊加于影輪廓的特征圖形時，則決定為不存在影輪廓特征圖形(步驟53h)。
[0097]圖15是表示由圖14的步驟53f抽出的特征圖形的一例的圖。該圖的影輪廓圖像53aa是對本車影90a進行膨脹處理而成的。由于角點51a及角點51b疊加于影輪廓圖像53aa，因此角點5 Ia及角點5 Ib在步驟53g中被決定為影輪廓特征圖形。
[0098]圖16是表示由圖14的步驟53f抽出的特征圖形的另一例的圖。該圖的影輪廓圖像53bb是使本車影90b膨脹而成的。由于角點51e、角點51f、角點51g及角點51h重疊于影輪廓圖像53bb，因此角點51 e、角點51 f、角點51 g及角點5 Ih被決定為影輪廓特征圖形。
[0099]圖17是表示由圖14的步驟53f抽出的特征圖形的此外另一例的圖。在該圖例中，對黑色車進入本車影90b的情況進行說明。在黑色車的情況下車也被視為影，對由影區(qū)域的外廓圖像生成部44(參照圖7)生成的影區(qū)域的外廓圖像S53a，膨脹圖像生成部45(參照圖7)生成進行設(shè)定次數(shù)的膨脹處理而成的圖像53dd。并且，作為疊加于圖像53dd的角點(特征圖形)，除了影的輪廓上的角點51e之外，還將車的輪廓上的角點51A、51B、51C、51D、51E、51F、51G、51H、51P抽出，這些角點被作為影輪廓特征圖形抽出。
[0100]影輪廓特征圖形遮蔽部60生成使疊加于影輪廓的特征圖形(影輪廓特征圖形)膨脹而成的區(qū)域，并將該區(qū)域(遮蔽區(qū)域)從處理對象區(qū)域排除。另外，由于將影輪廓特征圖形抽出并排除，因此不僅能夠降低影的誤報，而且能夠使圖像處理中的處理區(qū)域適當。在將影輪廓特征圖形遮蔽部60的遮蔽區(qū)域顯示于顯示裝置100時，則作業(yè)機械的駕駛者無論在作業(yè)機械的停止時及移動時，都能夠不受影的誤報影響地監(jiān)視作業(yè)機械的周圍。
[0101]圖18是由影輪廓特征圖形遮蔽部60執(zhí)行的處理的流程圖。首先，影輪廓特征圖形遮蔽部60在步驟60a中判定是否存在疊加于影輪廓上的特征圖形。
[0102]在步驟60a中判定為存在疊加于影輪廓上的特征圖形時，則在步驟60b中進行使抽出的特征圖形膨脹規(guī)定次數(shù)(數(shù)次左右)的處理。膨脹處理使特征圖形膨脹數(shù)次左右，但是如果使用哈里斯角點檢測則僅以I個像素抽出特征圖形，因此只要膨脹為直徑為5?10個像素左右的塊即可。
[0103]接下來，在步驟60c中將膨脹的區(qū)域決定為遮蔽區(qū)域，在步驟60d中將遮蔽區(qū)域作為遮蔽部，并進行從處理對象區(qū)域排除的處理。
[0104]另一方面，在步驟60a中判定為不存在疊加于影輪廓上的特征圖形時，則在步驟60e中判定為無遮蔽區(qū)域。
[0105]由此，將特征圖形抽出并僅將影輪廓的特征圖形區(qū)域部排除，因此能夠使圖像處理中的處理區(qū)域適當。
[0106]圖19是表示影輪廓特征圖形遮蔽部60使圖15的角點51a及角點51b在步驟60b中膨脹規(guī)定次數(shù)(數(shù)次左右)而成的圖像例的圖。在對影輪廓上的特征圖形即角點51a及角點51b朝8個方向或4個方向?qū)嵤┝藬?shù)次左右的膨脹處理之后，則會生成角點51a膨脹而成的點51aa，并生成角點51b膨脹而成的點51bb。該區(qū)域51aa及51bb在步驟60d中作為遮蔽部被從處理對象區(qū)域(由物體檢測部180進行障礙物檢測的區(qū)域)排除。根據(jù)如上所述構(gòu)成的周圍監(jiān)視裝置，能夠與本車影的形狀的復(fù)雜度無關(guān)地按照采樣間隔抽出該影的輪廓(影輪廓)，位于該影輪廓上的特征圖形(區(qū)域51aa及51bb)被影輪廓特征圖形遮蔽部60從障礙物檢測對象排除，因此能夠防止該本車影被誤識別為障礙物(影的誤報)。
[0107]圖20是表示影輪廓特征圖形遮蔽部60在步驟60b中使圖16的角點51e、角點51f、角點51g及角點51h膨脹規(guī)定次數(shù)(數(shù)次左右)而成的圖像例的圖。在對影輪廓上的特征圖形即角點51e朝8個方向或4個方向?qū)嵤?shù)次左右的膨脹處理之后，則會生成膨脹而成的點51ee。角點51€15188及51汕也同樣地進行膨脹處理，將該角點51的，51€15188，511111作為遮蔽部并從處理對象區(qū)域排除。
[0108]圖21是表示影輪廓特征圖形遮蔽部60在步驟60b中使圖17的角點5Ie、角點51A、51B、51C、51D、51E、51F、51G、51H、51P膨脹規(guī)定次數(shù)(數(shù)次左右)而成的圖像例的圖。在對影輪廓上的特征圖形即角點51a朝8個方向或4個方向?qū)嵤?shù)次左右的膨脹處理之后，則會生成膨脹而成的點51AA。角點51e、角點51B、51C、51D、51E、51F、51G、51H、51P也同樣地進行膨脹處理，將該角點 51ee、51AA、角點 51BB、51CC、51DD、51EE、51FF、51GG、51HH、51PP 作為遮蔽部并從處理對象區(qū)域排除。
[0109]由此，當如圖17所示在本車影中存在車時，則圖17的角點511、角點51J、角點51K、角點51L、角點51M、角點51N不被作為遮蔽部，因此不會從處理對象區(qū)域排除而留存。因此，物體檢測部180能夠使用角點511、角點51八角點511(、角點511^、角點511、角點5謂立即檢測本車影內(nèi)的障礙物(在圖17例中為車)。此外，圖示物體僅為例示，當然對于車以外的其它障礙物(例如人)也能夠同樣地進行檢測。
[0110]因此，根據(jù)本實施方式，即使對自卸車I自身周圍進行拍攝得到的圖像復(fù)雜或者在該圖像中存在顏色成分，也不必像現(xiàn)有技術(shù)那樣對預(yù)先存儲的影邊界圖形進行參照，也不必使用顏色成分，而能夠從由攝像機6拍攝的至少I張圖像中抽出拍攝于該圖像中的本車影，因此本車影的誤識別會降低而處理速度和作業(yè)效率會提高。
[0111]圖22是表示將在由圖像合成部35合成的場景中影輪廓特征圖形遮蔽部60遮蔽的區(qū)域顯示于顯示裝置100的畫面例的圖。在該圖中，由圖像合成部35對攝像機6a的輸入圖像20a、攝像機6b的輸入圖像20b、攝像機6c的輸入圖像20c、及攝像機6d的輸入圖像20d進行合成所得場景被顯示于顯示裝置100，在輸入圖像20a上作為被從處理對象排除的特征圖形顯示了角點51&&，511*，在輸入圖像2013上顯示了角點5166、51€廠5188、511111。當如上所述從處理對象區(qū)域排除的區(qū)域(影輪廓特征圖形)被顯示于顯示裝置100時，則將影輪廓特征圖形排除的處理對象區(qū)域(障礙物檢測對象區(qū)域)可一目了然，駕駛員可實時地確認處理對象區(qū)域。
[0112]另外，如圖23及圖24所示，在自卸車I的周圍以俯瞰顯示進行顯示時，則駕駛員能夠以來自駕駛室7的方向感覺和無不協(xié)調(diào)感的感覺把握前后左右的狀況，并能夠物瞬時地判斷從體檢測對象排除的區(qū)域(特征圖形)。這里，圖23及圖24是將自卸車I的前部顯示于上側(cè)的例子，駕駛室7顯示于自卸車I的左上位置。
[0113]圖23是表示將被影輪廓特征圖形遮蔽部60遮蔽的區(qū)域在顯示裝置100上以俯瞰圖像110顯示的畫面的一例的圖。在該圖例中，對顯示區(qū)域從自卸車I的周圍擴展到遠方的距離(約12m左右)在顯示裝置100上顯示。在該圖中，輸入圖像20a的俯瞰圖像20aa、輸入圖像20b的俯瞰圖像20bb、輸入圖像20c的俯瞰圖像20cc及輸入圖像20d的俯瞰圖像20dd是處理對象區(qū)域，顯示了被從俯瞰圖像20aa的處理對象排除的角點51aa、51bb，并且顯示了被從俯瞰圖像20仙的處理對象排除的角點5166、51€匕5188、511111。此外，在顯示裝置100的中央部上顯示的圖形示出了自卸車I，除了圖示圖形以外只要示出了自卸車I即可顯示其它圖形。
[0114]圖24是表示將被影輪廓特征圖形遮蔽部60遮蔽的區(qū)域在顯示裝置100上以俯瞰圖像110顯示的畫面的一例的圖。在該圖例中，將顯示區(qū)域限定于聰自卸車I周圍起比較近的距離(約5m左右)的范圍內(nèi)在顯示裝置100上進行顯示。在該圖中，黑色車進入到輸入圖像6bb的俯瞰圖像20bb內(nèi)的本車影90b中，顯示了從被從俯瞰圖像20bb的處理對象排除的角點51ee、51AA、51BB、51CC、51DD、51EE、51FF、51GG、51HH。由此，物體檢測部 180 基于黑色車的留存的特征圖形將該黑色車作為障礙物檢出，將表示障礙物接近自卸車I的警告顯示190在顯示畫面110上進行顯示。
[0115]圖示的警告顯示190是規(guī)定為與障礙物的特征圖形的外形大致接近的矩形，通過在顯示裝置100的畫面上顯示的警告顯示190，駕駛員容易認知障礙物的接近。警告顯示190的形狀也可以是矩形以外的圖形，也可以對圖形上色，或者使形狀、顏色隨著時間變化。此夕卜，雖然在本實施方式中，顯示裝置100發(fā)揮了報告物體檢測部180檢測到障礙物的報告裝置的作用，但是作為障礙物報告的方法，也可以利用發(fā)出聲音的音聲裝置或警告燈。
[0116]圖25是表示顯示裝置100的顯示畫面的一例的圖。該圖例是將由圖像合成部35合成的俯瞰圖像110、由后方攝像機6c拍攝的原始狀態(tài)的圖像(貫穿圖像)111并列顯示的例子，在俯瞰圖像110中將自卸車I的前部顯示于上側(cè)，并將駕駛室7顯示于自卸車I的左上。通過顯示后方攝像機6c的貫穿圖像211，駕駛員能夠基于慣看的攝像機圖像無不協(xié)調(diào)感地判別后方的障礙物(車輛105)。在圖示例中，是在俯瞰圖像110和貫穿圖像211雙方上顯示警告顯示190，駕駛員能夠容易地把握車輛105的接近。
[0117]圖26是表示顯示裝置100的顯示畫面的一例的圖。該圖例關(guān)于由圖像合成部35合成的俯瞰圖像112在顯示裝置100上顯示了從自卸車I周圍起比較近的距離(約5m左右)的范圍。表示自卸車I的圖形Ia追隨顯示范圍與圖25時相比較大地進行了顯示，自卸車Ia的前部顯示于圖像中的右側(cè)，駕駛室7顯示于顯示畫面的右上。將顯示范圍限定于自卸車I附近，較大地顯示了存在于自卸車I附近的障礙物(車輛105)，因此駕駛員能夠清楚滴判定表存在于自卸車I附近的最危險的障礙物。
[0118]圖27是表示顯示裝置100的顯示畫面的一例的圖。該圖例關(guān)于由圖像合成部35合成的俯瞰圖像113在顯示裝置100上顯示了從自卸車I周圍起中距離(約8m左右)的范圍。表示自卸車I的圖形Ib追隨顯示范圍與圖26時相比較小地進行了顯示。若將顯示范圍設(shè)定為中距離，則駕駛員能夠識別到存在于從自卸車I起中距離的位置的障礙物(車輛105)。
[0119]圖28是表示顯示裝置100的顯示畫面的一例的圖。在該圖例關(guān)于由圖像合成部35合成的俯瞰圖像114在顯示裝置100上顯示了從自卸車I周圍起遠距離(約12m左右)的范圍。表示自卸車I的圖形Ic追隨顯示范圍與圖27時相比較小地進行了顯示。若將顯示范圍設(shè)定為遠距離，則駕駛員能夠判別到存在于從自卸車I起遠距離的位置的障礙物(車輛105)。
[0120]圖29是表示顯示裝置100的顯示畫面的一例的圖。該圖例將右側(cè)方攝像機6b的貫穿圖像116和左側(cè)方攝像機6d的貫穿圖像115并列地進行了顯示。如上所述顯示左右的貫穿圖像116，115時，則容易判別存在于自卸車I左右的障礙物，因此容易發(fā)現(xiàn)自卸車I左右旋轉(zhuǎn)時等的障礙物。
[0121]圖30是表示顯示裝置100的顯示畫面的一例的圖。該圖例顯示了后方攝像機6c的貫穿圖像117。如上所述顯示后方的貫穿圖像117時，則容易發(fā)現(xiàn)存在于自卸車I后方的最難發(fā)現(xiàn)的障礙物。
[0122]圖31是本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的整體結(jié)構(gòu)的其它例子。對于和圖3相同的部分標記相同的符號而省略說明。在圖31中，作業(yè)機械形狀數(shù)據(jù)定義部201是基于作業(yè)機械的規(guī)格來定義該作業(yè)機械的形狀數(shù)據(jù)的部分。特征圖形存儲部200將由作業(yè)機械形狀數(shù)據(jù)定義部201定義的形狀數(shù)據(jù)(外觀形狀)基于該作業(yè)機械的規(guī)格抽出，并將該抽出的形狀數(shù)據(jù)作為標識該作業(yè)機械的外形的特征圖形存儲。這里的外觀形狀(形狀數(shù)據(jù))包含作業(yè)機械的全長、全寬、全高、外觀凹凸狀態(tài)等，只要是與本車影的形狀有關(guān)的信息則也可以是除此以外的其它信息。
[0123]影輪廓特征圖形抽出部50，參照由影輪廓抽出部40得到的影輪廓圖像、和存儲于特征圖形存儲部200的形狀數(shù)據(jù)，將疊加于影輪廓圖像的特征圖形決定為影輪廓特征圖形。此外，在影輪廓特征圖形抽出部50中，進行由特征圖形抽出部170抽出的角點群、和存儲于特征圖形存儲部200的形狀數(shù)據(jù)的圖形匹配，當兩者的匹配率在規(guī)定值以上而兩者類似時，則可以將該角點群作為影輪廓的特征圖形抽出。
[0124]另外，圖像存儲部30—旦在作業(yè)機械起動時從圖像輸入部20輸入圖像，則在此以后對基于作業(yè)機械運轉(zhuǎn)數(shù)據(jù)202得到作業(yè)機械的運轉(zhuǎn)狀況，當作業(yè)機械非停止狀態(tài)時(處于運轉(zhuǎn)中時)則從圖像輸入部20輸入圖像，當作業(yè)機械處于停止狀態(tài)時則中斷從圖像輸入部20輸入圖像。由此，能夠按照作業(yè)機械的運轉(zhuǎn)狀況以不同的采樣間隔從圖像輸入部20對圖像進行采樣。由此，只要給予必要的最低限度的輸入圖像進行圖像處理即可，縮短時間并使處理適當。
[0125]此外，在不進行基于圖像存儲部30的作業(yè)機械運轉(zhuǎn)數(shù)據(jù)202的上述處理時，則只要以恒定的采樣間隔對來自圖像輸入部20的圖像進行采樣即可。
[0126]圖32是由本發(fā)明的作業(yè)機械的周圍監(jiān)視裝置的影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的其它的流程圖。對于和圖8所示流程圖相同的處理標記相同符號而省略說明。在該圖的流程圖的步驟42bb中，對在步驟42a中進行了平滑化處理的圖像的基準處理對象區(qū)域內(nèi)進行抽出顏色成分的處理。然后，在步驟42cc中判定基準處理對象區(qū)域是否僅由存在顏色成分的區(qū)域構(gòu)成。
[0127]當在步驟42cc中判定為具有不存在顏色成分的區(qū)域時，則進入步驟42dd將該不存在顏色成分的區(qū)域抽出。然后，在步驟42ee中，決定用于將影候補區(qū)域抽出的2值化閾值而生成2值圖像，進行步驟42g以后的處理。
[0128]另一方面，當在步驟42cc中判定為僅存在顏色成分的區(qū)域時，則進行步驟42k的處理。能夠如上所述在影的判定中使用顏色成分時，則能夠使判定是否為影的精度提高。
[0129]但是，如上所述本發(fā)明的適用對象不限于自卸車，也可以適用于其它作業(yè)機械。圖33是本發(fā)明適用對象的作業(yè)機械之一，即所謂回轉(zhuǎn)型大型液壓挖掘機的側(cè)視圖。該液壓挖掘機具備:下部行駛體155;介由旋轉(zhuǎn)臺軸承157可旋轉(zhuǎn)地設(shè)于該下部行駛體155上部的上部旋轉(zhuǎn)體156;在該上部旋轉(zhuǎn)體156上可俯仰動作地連結(jié)的多關(guān)節(jié)型的前作業(yè)機158。多關(guān)節(jié)型的前作業(yè)機158上的前鏟斗152配置為在接地狀態(tài)下開口部可朝向前方側(cè)，前鏟斗開閉缸164則如圖示裝設(shè)于前鏟斗152。并且，旋臂動作缸161、鏟斗動作缸162、前臂動作缸163、及前鏟斗開閉缸164分別通過伸縮動作來實現(xiàn)旋臂上升/下降、前臂前擺/內(nèi)收、前鏟斗滿裝(crowd)/清空、前鏟斗鎖定/釋放。這樣構(gòu)成的液壓挖掘機只要搭載以多臺攝像機(例如圖中的攝像機6a，6c，6d)及圖像處理裝置10為代表的上述各結(jié)構(gòu)，即可與上述自卸車I同樣地構(gòu)成周圍監(jiān)視裝置。
[0130]另外，本發(fā)明不限于上述各實施方式，也包含在不脫離其要旨的范圍內(nèi)的各種變形例。例如本發(fā)明不限于具備在上述各實施方式中說明的全部結(jié)構(gòu)，也可以對其部分結(jié)構(gòu)進行刪除。另外，也可以講某個實施方式的部分結(jié)構(gòu)向另一實施方式的結(jié)構(gòu)追加或進行置換。
[0131]另外，上述圖像處理裝置的各結(jié)構(gòu)、該各結(jié)構(gòu)功能及執(zhí)行處理等，可以由硬件(例如以集成電路設(shè)計執(zhí)行各功能的邏輯等)實現(xiàn)其部分或全部。另外，上述圖像處理裝置的結(jié)構(gòu)可以是由運算處理裝置(例如CPU)讀出/執(zhí)行而實現(xiàn)該圖像處理裝置的結(jié)構(gòu)的各功能的程序(軟件)。該程序的信息例如可以在半導體存儲器(閃存、SSD等)、磁性存儲裝置(硬盤驅(qū)動器等)及存儲介質(zhì)(磁盤、光盤等)等中存儲。
[0132]符號說明
[0133]6a，6b，6c，6d...攝像機、30...圖像存儲部、35...圖像合成部、40...影輪廓抽出部、50…影輪廓特征圖形抽出部、60...影輪廓特征圖形遮蔽部、80...基準處理對象區(qū)域設(shè)定部、100…顯示裝置、170…特征圖形抽出部、180…物體檢測。
【主權(quán)項】
1.一種作業(yè)機械的周圍監(jiān)視裝置，其特征在于，具備: 搭載于作業(yè)機械而對該作業(yè)機械周圍的圖像進行拍攝的單鏡頭攝像機； 基于該圖像的特征量抽出該圖像中的特征圖形的特征圖形抽出部； 基于所述圖像的特征量抽出在該圖像中能夠視為所述作業(yè)機械的影的區(qū)域的輪廓的影輪廓抽出部；以及 物體檢測部，其基于從由所述特征圖形抽出部抽出的所述特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而剩余的特征圖形，來檢測所述作業(yè)機械周圍存在的障礙物。2.根據(jù)權(quán)利要求1所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于，還具備: 對利用所述物體檢測部檢測到障礙物的情況進行報告的報告部。3.根據(jù)權(quán)利要求2所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于，還具備: 利用所述圖像生成包含所述作業(yè)機械的俯瞰圖像的圖像合成部；以及 顯示該俯瞰圖像的顯示部。4.根據(jù)權(quán)利要求1至3中任一所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于， 還具備處理對象區(qū)域設(shè)定部，該處理對象區(qū)域設(shè)定部用于在所述圖像中設(shè)定利用所述物體檢測部進行障礙物檢測的處理對象區(qū)域， 所述影輪廓抽出部抽出在所述處理對象區(qū)域內(nèi)能夠視為所述作業(yè)機械的影的區(qū)域的輪廓， 所述物體檢測部，基于從由所述特征圖形抽出部抽出的所述特征圖形中的存在于所述處理對象區(qū)域內(nèi)的特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而得到的圖形，來檢測障礙物。5.根據(jù)權(quán)利要求1所述的作業(yè)機械的周圍監(jiān)視裝置，其特征在于， 所述特征圖形抽出部抽出角部和/或邊緣作為所述圖像中的所述特征圖形。
【文檔編號】H04N7/18GK106062823SQ201580011783
【公開日】2016年10月26日
【申請日】2015年3月4日 公開號201580011783.6, CN 106062823 A, CN 106062823A, CN 201580011783, CN-A-106062823, CN106062823 A, CN106062823A, CN201580011783, CN201580011783.6, PCT/2015/56432, PCT/JP/15/056432, PCT/JP/15/56432, PCT/JP/2015/056432, PCT/JP/2015/56432, PCT/JP15/056432, PCT/JP15/56432, PCT/JP15056432, PCT/JP1556432, PCT/JP2015/056432, PCT/JP2015/56432, PCT/JP2015056432, PCT/JP201556432
【發(fā)明人】小沼知惠子, 弓場龍, 福田善文, 川股幸博, 古渡陽一, 太田守飛
【申請人】日立建機株式會社