專利名稱：圖像處理裝置以及圖像處理方法
技術領域：
本發(fā)明涉及一種通過處理采用立體照相機采集的圖像而檢測出物體的圖像處理裝置以及圖像處理方法。
背景技術：
通常，通過圖像識別而檢測物體吋，難以檢測出諸如由水蒸氣或火災產生的煙氣等亮度變化小且質地輕薄的煙氣狀物體。因此，從以前開始提出了各種識別顯示在圖像中的煙氣狀物體的技木。例如，專利文獻1公開了以下技木。即，通過將彩色圖像分解為R、G、B分量而從色彩分量圖像獲得彩色相位圖像，獲取色彩分量圖像與彩色相位圖像的交集，由此識別白畑。 并且，專利文獻1的技術為了識別出具有與白煙相同程度的亮度的云等物體，通過提取本次的圖像與At時間之前的圖像之間的差分，由此提高檢測精度。然而，對于專利文獻1所公開的技術來說，不僅不能適用于單色圖像，而且存在受到環(huán)境影響的隱患。尤其，當將照相機搭載于車輛或在屋內移動的機器人等移動體上吋，由于照相機自身的移動，會受到背景的影響，因此難以以較高的精度檢測出煙氣。專利文獻1 日本特開2004-30225號公報

發(fā)明內容
技術問題本發(fā)明是鑒于上述問題而提出的，目的在于提供一種通過去除背景的影響而能夠高精度檢測出煙氣狀物體的圖像處理裝置。技術方案為了實現(xiàn)上述目的，根據本發(fā)明的圖像處理裝置，通過處理采用立體照相機采集的圖像而檢測物體。其特征在干，具有對象物區(qū)域限定部，利用對所述立體照相機的采集圖像進行處理而獲取的距離數據，將檢測物體的圖像區(qū)域限定為包圍位于同一距離的物體的對象物區(qū)域；特征量提取部，對所述對象物區(qū)域進行空域濾波處理，提取圖像特征量；煙氣判斷部，基于所述對象物區(qū)域的圖像特征量，判斷所述對象物區(qū)域內的物體是否是煙氣狀物體。本發(fā)明另一方面提供ー種圖像處理方法，通過處理采用立體照相機采集的圖像而檢測物體，其特征在干，包括以下步驟對象物區(qū)域限定步驟，利用對所述立體照相機的采集圖像進行處理而獲取的距離數據，將檢測物體的圖像區(qū)域限定為包圍位于同一距離的物體的對象物區(qū)域；特征量提取步驟，對所述對象物區(qū)域進行空域濾波處理，提取圖像特征量；煙氣判斷步驟，基于所述對象物區(qū)域的圖像特征量，判斷所述對象物區(qū)域內的物體是否是煙氣狀物體。有益效果根據本發(fā)明，利用由立體照相機采集的圖像，通過去除背景的影響，能夠高精度檢測出煙氣狀物體。


圖1為圖像處理裝置的基本構成圖。圖2為白煙檢測所涉及的功能模塊圖。圖3為對象物區(qū)域的說明圖。圖4為示出煙氣以外的物體的圖像與濾波圖像的說明圖。圖5為示出煙氣的圖像與濾波圖像的說明圖。圖6為示出煙氣以外的物體的圖像的邊緣強度直方圖和累積頻率的說明圖。圖7為示出煙氣圖像的邊緣強度直方圖和累積頻率的說明圖。主要符號說明1為圖像處理裝置，2為立體照相機，10為圖像處理控制器，20為識別處理控制器，20a為對象物區(qū)域限定部，20b為特征量提取部，20c為煙氣判斷部。
具體實施例方式
以下，參照

本發(fā)明的實施方式。圖1所示的圖像處理裝置1是搭載于例如車輛或在屋內移動的機器人等移動體上，通過三維圖像識別而識別物體的裝置，并且將識別結果發(fā)送到未圖示的控制裝置而實現(xiàn)各種控制。該圖像處理裝置1作為基本構成而具有由多個照相機構成的立體照相機 (stereo camera) 2、處理立體照相機2的采集圖像的圖像處理控制器10、基于來自圖像處理控制器10的信息而進行物體的識別處理的識別處理控制器20。在本實施方式中，立體照相機2通過將具有例如CXD或CMOS等固體成像元件的兩臺照相機ね、2b以水平方向配置而構成，并被調整為構成將其中一個照相機加作為基準照相機、另ー個照相機2b作為比較照相機的平行立體照相機。即，照相機2a、2b其光軸相互平行且以預定的基線長(光軸間隔)水平配置，并且調整為水平掃描方向與核線相一致。由立體照相機2采集的ー對立體圖像被輸入到圖像處理控制器10而處理，計算出三維的距離信息。圖像處理控制器10搜尋顯示在由基準照相機加采集的基準圖像和由比較照相機2b采集的比較圖像的同一物體的對應位置，并計算出兩個圖像之間的對應位置的偏移量，作為視差?；鶞蕡D像和比較圖像之間的對應位置例如通過利用公知的區(qū)域搜尋方法評價兩個圖像間的相關性而被確定。即，在基準圖像內的某一點的周圍設定小區(qū)域(塊(block)； 例如8X8像素)，同時在比較圖像內的某個點的周圍設定相同大小的小區(qū)域，在比較圖像上移動塊(block)的同時進行兩個塊之間的相關度計算，由此搜尋對應位置。作為該相關度計算中的評價函數，利用基準圖像的塊(block)與比較圖像的塊(block)之間的像素值 (通常為各像素的亮度值)的差分的絕對值的總和(SAD，Sum of Absolute Difference), 將SAD值最小的塊(block)之間的水平方向的像素偏移量作為塊(block)之間的視差。其中，圖像處理控制器10還具有控制各照相機h、2b的快門速度、校正兩個照相機之間的幾何學以及光學上的位置偏移或校正圖像之間的亮度平衡等功能。識別處理控制器20基于圖像內的位置信息和由圖像處理控制器10檢測出的視差信息，將圖像上的ニ維坐標系轉換成三維的實空間上的坐標系。進ー步地，從照相機的安裝位置以及角度等參數將位于比道路面或底盤面更高的位置的數據當做立體物的數據而提取，由此進行物體識別。對于由該識別處理控制器20進行的物體識別來說，不僅將固態(tài)或液態(tài)狀的物體作為對象，而且還將浮游于空間中的粒子群的集合體(煙氣狀物體)作為對象。為此，識別處理控制器20為了實現(xiàn)能夠識別煙氣狀物體的功能，如圖2所示，具有對象物區(qū)域限定部 20a、特征量提取部20b、煙氣判斷部20c。若概括說明的話，對象物區(qū)域限定部20a去除背景的影響而限定成為檢測對象的物體的區(qū)域。特征量提取部20b在對象物區(qū)域內提取用于識別煙氣狀物體的圖像特征量， 煙氣判斷部20c從提取的圖像特征量判斷對象物區(qū)域內的物體是否是煙氣狀物體還是除此以外的物體。若詳細說明的話，限定對象物區(qū)域吋，首先，作為前處理，對于位于比道路面或底盤面更高的位置的小區(qū)域數據，將三維距離落在預定的閾值內的同類小區(qū)域當做同一物體而進行分組化(分組處理)。當完成對于所有的小區(qū)域的分組處理時，將一個組視為ー個物體，將屬于該組的所有的小區(qū)域的距離的平均值作為物體的距離。進ー步地，將視為同一物體的組，用圖像坐標(水平以及垂直方向)的最大值和最小值圍起來，并限定為映出檢測對象物體的對象物區(qū)域。圖3示出將白畑作為檢測對象物的對象物區(qū)域的示例，在水平方向以及垂直方向的端部上以矩形包圍被分組化的圖像內的數據群(白畑，WS)，將被包圍的區(qū)域R限定為對象物區(qū)域。其中，在本實施方式中，對象物區(qū)域設定于基準圖像。如果對象物區(qū)域被限定，接著，提取對象物區(qū)域的圖像特征量，基于提取的圖像特征量，判斷映出在區(qū)域內的物體是否為煙氣或除此以外的物體。以下，將作為煙氣狀物體以白畑作為檢測對象的情況為例，進行說明。白畑具有以下所示的特征，通過考慮這些特征，可以判斷出對象物區(qū)域內的物體是否為白畑。這些特征可以通過在對象物區(qū)域內適用空域濾波而進行提取，利用提取的圖像特征量而判斷白畑?！ね高^率或者對比度(contrast)低·亮度值收斂于某個值·亮度分布的范圍狹小，亮度的分散變小·亮度的平均值從通常的不存在畑的狀態(tài)開始變化·區(qū)域內的邊緣(Edge)總和量低作為適用于對象物區(qū)域的空域濾波，使用索貝爾濾波(Sobel filter)或拉普拉斯濾波(Laplacian filter)等的提取邊緣的微分濾波以及提取最大值、最小值、平均值、分散、模式值等的統(tǒng)計濾波。使用這些空域濾波而提取的區(qū)域內的亮度模式值或邊緣強度的平均值等特征量通過在特征空間內進行分類(clustering)或者閾值判斷，能夠分類成白畑屬性和不是白煙的物體的屬性，可以高精度檢測出白畑。并且，作為物體檢測出的白煙由于是溫度高且向上升起的煙氣，因此具有較強的沿縱向延長的傾向性。所以，利用從將兩臺照相機ね、2b水平配置的立體照相機2的圖像獲取的距離數據，截取包圍白煙的區(qū)域(對象物區(qū)域)，并在區(qū)域內提取屬于白煙的特征量， 由此能夠去除背景的影響，可以高精度檢測出白畑。
5
白煙和不是白煙的物體，可以通過利用公知的支持向量機(SVM，Support Vector Machine)等學習機的特征空間的分割或者根據特征空間的閾值的分割，進行分類。前者存在根據識別處理控制器20的能力好壞而有可能導致處理時間増加的隱患，后者由于是較為簡單的處理，因此可以以高速進行處理。在此，說明根據對象物區(qū)域的邊緣強度的絕對值或平均值制作直方圖，并從直方圖根據閾值而分類白煙和不是白煙的物體的示例。在根據閾值判斷的分類中，首先，在對象物區(qū)域的各像素上應用例如基于3X3掩模(mask)的空域微分濾波，獲取如圖4、圖5所示的提取圖像的邊緣的濾波圖像。在圖4(a) 所示的白煙以外的物體A的圖像上應用空域微分濾波時，獲得如圖4(b)所示的濾波圖像 (邊緣圖像)A'，在圖5(a)所示的白煙B的圖像上應用空域微分濾波時，獲得如圖5(b)所示的濾波圖像B'。圖5(b)所示的白煙B的濾波圖像B'相比于圖4(b)所示的普通的物體A的濾波圖像A'邊緣較淡，因此在圖5(b)中，用虛線來表示邊緣較淡。若獲取濾波圖像，接著，制作圖像的邊緣強度(亮度梯度的大小)的絕對值或者平均值的直方圖。但是為了避免圖像干擾的影響，只將邊緣強度在規(guī)定值以上的像素為對象 (例如，邊緣強度く 3的視為干擾而除外)，制作直方圖。并且，將直方圖從上側累積的累積頻率成為整個的以上的邊緣強度設定為EN，當該邊緣強度EN在閾值S以下吋，將對象物區(qū)域的物體判斷為白畑。例如，如果從圖4(b)的白煙以外的物體A的濾波圖像制作邊緣強度的直方圖，則可獲得如圖6(a)所示的直方圖，如果從圖5(b)的白煙B的濾波圖像制作邊緣強度的直方圖，則獲取如圖7(a)所示的直方圖。進ー步地，對各直方圖，如果求出從上級別依次疊加頻數的累積頻率和邊緣強度的關系，則可獲得如圖6(b)、圖7(b)所示的關系。在圖6(b)、圖7(b)中可以得知，例如，如果求出累積頻率為整個的10%以上的邊緣強度，則圖6(b)所示的白煙以外的物體A的對應于10%以上的邊緣強度ElOA明顯大于圖7(b)所示的白煙B的對應于10%以上的邊緣強度E10B。因而，通過將閾值S設定成ElOA > S > ElOB的適當的值，能夠判斷是否是白畑。此時，邊緣強度的閾值可以不只是ー個值，還可以根據圖像的亮度而設定多個值， 并存儲在表格中。即，求出對象物區(qū)域內的所有的像素的亮度值的平均值，根據該平均亮度而將邊緣強度的閾值設定為多個，由此可以應對照明環(huán)境的變化。如此，在本實施方式中，通過利用立體照相機的圖像識別而檢測煙氣狀物體時，將位于同一距離內的物體作為對象而限定檢測區(qū)域，因此能夠提取去除背景信息的空間特征，能夠準確地判斷是否為煙氣狀物體。而且，由于不需要追蹤圖像的時間上的變化，因此即使照相機搭載于移動體上而移動，也能夠以良好的精度進行判斷。但是，也可以同時使用空域濾波和時域濾波，使判斷結果更加可靠。例如，如果是煙氣則判斷為1、如果不是煙氣則判斷為O時，還可以應用低通濾波，例如大于0. 5吋，判斷為煙氣。
權利要求
1.一種圖像處理裝置，通過處理采用立體照相機采集的圖像而檢測物體，其特征在于， 具有對象物區(qū)域限定部，利用對所述立體照相機的采集圖像進行處理而獲取的距離數據， 將檢測物體的圖像區(qū)域限定為包圍位于同一距離的物體的對象物區(qū)域；特征量提取部，對所述對象物區(qū)域進行空域濾波處理，提取圖像特征量；煙氣判斷部，基于所述對象物區(qū)域的圖像特征量，判斷所述對象物區(qū)域內的物體是否是煙氣狀物體。
2.如權利要求1所述的圖像處理裝置，其特征在于，所述特征量提取部至少將亮度的空域微分值作為所述圖像特征量而提取。
3.一種圖像處理方法，通過處理采用立體照相機采集的圖像而檢測物體，其特征在于， 包括以下步驟對象物區(qū)域限定步驟，利用對所述立體照相機的采集圖像進行處理而獲取的距離數據，將檢測物體的圖像區(qū)域限定為包圍位于同一距離的物體的對象物區(qū)域；特征量提取步驟，對所述對象物區(qū)域進行空域濾波處理，提取圖像特征量；煙氣判斷步驟，基于所述對象物區(qū)域的圖像特征量，判斷所述對象物區(qū)域內的物體是否是煙氣狀物體。
4.如權利要求3所述的圖像處理方法，其特征在于，所述特征量提取步驟中，至少將亮度的空域微分值作為所述圖像特征量而提取。
全文摘要
本發(fā)明涉及去除背景的影響而高精度檢測出煙氣狀物體的一種圖像處理裝置以及圖像處理方法。將處理立體照相機采集的圖像的圖像處理控制器和基于來自圖像處理控制器的信息而進行物體的識別處理的識別處理控制器作為基本構成的圖像處理裝置中，識別處理控制器為了實現(xiàn)能夠識別煙氣狀物體的功能，具有對象物區(qū)域限定部(20a)、特征量提取部(20b)、煙氣判斷部(20c)。對象物區(qū)域限定部(20a)去除背景的影響而限定成為檢測對象的物體的區(qū)域，特征量提取部(20b)在對象物區(qū)域內提取用于識別煙氣狀物體的圖像特征量，煙氣判斷部(20c)從提取的圖像特征量判斷對象物區(qū)域內的物體是否是煙氣狀物體還是除此以外的物體。
文檔編號G06K9/46GK102567713SQ201110396418
公開日2012年7月11日 申請日期2011年11月29日 優(yōu)先權日2010年11月30日
發(fā)明者森光登 申請人:富士重工業(yè)株式會社