專利名稱：圖像處理設(shè)備、圖像處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法以及程序。特別地，本發(fā)明涉及可以從輸入圖像中準(zhǔn)確地提取作為前景圖像的對象的圖像處理設(shè)備、圖像處理方法以及程序。
背景技術(shù)：
用以從由攝像裝置等拾取的輸入圖像提取作為前景圖像和對象的動物身體區(qū)域的技術(shù)得以廣泛傳播。在這些技術(shù)之中，廣泛使用背景差異圖像生成處理作為可以簡單迅速地提取動物身體區(qū)域的方法。在背景差異圖像生成處理中，預(yù)先拾取無運動參考背景圖像以及針對每個像素獲得在由攝像裝置拾取的圖像與參考背景圖像之間的差異，以便專門提取動物身體區(qū)域。日本待審查專利申請公開No. 63-187889公開了如下這種技術(shù)只提取存在于從攝像裝置的圖像拾取位置起的近側(cè)的人以及把通過計算機圖形(CG)等生成的圖像與背景區(qū)域合成，以使得當(dāng)在電視電話上顯示人時，例如可以在電視電話的顯示單元上專門顯示人而不示出作為人的背景的他或她的生活環(huán)境。更詳細(xì)地，差異計算單元1針對每個像素計算預(yù)先拾取的參考背景圖像Π的像素的像素值與然后拾取的圖像f2的像素的像素值之間的差異，如圖1中所示。隨后，當(dāng)差值小于預(yù)定閾值時，差異計算單元1把像素值設(shè)置為零，即，刪除背景以便生成專門留下動物身體區(qū)域的背景差異圖像f3。然而，如圖2的輸入圖像f5中所示，在改變照明條件(諸如照明色溫或亮度等)， 或者改變攝像裝置參數(shù)(諸如光圈、增益以及白平衡等)的情形中，也改變除了動物身體區(qū)域之外的區(qū)域。因此，如圖2中所示，參考背景圖像fl的像素的像素值與輸入圖像f5的像素的像素值之間的差值不小于預(yù)定閾值，因此未專門提取動物身體區(qū)域，相應(yīng)地，有時生成如同也留下背景圖像的圖像f7 —樣的狀態(tài)。針對這種問題，提出了一種相對于照明條件等的變化而言穩(wěn)定耐用的技術(shù)作為背景差異圖像生成處理技術(shù)。在該技術(shù)中，獲得目標(biāo)像素的亮度與周邊像素的亮度之間的增加/減小關(guān)系，通過使用關(guān)系的差值作為估算值來提取動物身體區(qū)域(參考Y. Sato、 S. Kaneko 以及 S. Igarashi"Robust Object Detection and Segmentation by Peripheral Increment Sign Correlation Image，，，Institute of Electronics, Information and Communication Engineers Transactions，第 J84-D—II卷，No. 12，第2585—2594頁，2001年 12月)。根據(jù)該技術(shù)，由于臨近像素之間亮度的關(guān)系即使通過照明變化的出現(xiàn)也幾乎不改變，所以可以提取穩(wěn)定耐用的背景差異圖像。作為用于處理逐步改變照明條件等的情形的技術(shù)，提出了采用高斯混合模型 (GMM)的背景差異圖像生成處理。美國專利申請公開No. 6044166公開了即使在逐步改變照明條件時也實現(xiàn)穩(wěn)定耐用的背景差異圖像的生成處理的技術(shù)。在此技術(shù)中，執(zhí)行在拾取的輸入圖像與參考背景圖像之間背景差異圖像的生成處理，把多個幀的彼此相對應(yīng)的像素值彼此相比較。在改變迅速的情形中，不更新參考背景圖像的像素值，在改變是逐步的情形中，以預(yù)定比率改變參考背景圖像的像素值以便接近拾取的輸入圖像的像素值。進(jìn)一步地，日本待審查專利申請公開No. 2009-265827公開了用于處理照明條件變化的這種技術(shù)。在該技術(shù)中，初步獲取由在不同照明條件等下獲得的多個背景圖像組成的背景圖像組，把輸入圖像劃分成進(jìn)行對象存在預(yù)測的預(yù)測區(qū)域以及作為除了預(yù)測區(qū)域之外的區(qū)域的非預(yù)測區(qū)域，從背景圖像組中選擇特性最接近非預(yù)測區(qū)域中的圖像特性的背景圖像。此外，作為用于自動確定迅速照明變化出現(xiàn)的情形的方法，公開了如下這種技術(shù) 當(dāng)作為背景差異圖像的前景的尺寸變得大于預(yù)定尺寸時，確定故障的出現(xiàn)(參考Toyama等人，“Wallflower !Principles and practice of background maintenance”，ICCV1999，禾斗孚島，希臘)。此技術(shù)基于如下這種前提當(dāng)迅速照明變化出現(xiàn)時，背景差異中出現(xiàn)故障，放大作為背景差異圖像的前景圖像。

發(fā)明內(nèi)容
@胃，$以±弓Iffi 的ilj^“Robust Object Detection and Segmentation by Peripheral Increment Sign Correlation Image”的技術(shù)中，在對象的紋理較小的情形中， 由于照明變化或像素噪聲導(dǎo)致破壞臨近像素之間的關(guān)系，從而，易于出現(xiàn)錯誤檢測。此夕卜，在以上引用的文獻(xiàn)“Wallflower Principles and practice of background maintenance"的技術(shù)中，假定當(dāng)前景的尺寸大于預(yù)定尺寸以及前景的尺寸達(dá)到例如整個屏幕的70%時，認(rèn)為故障出現(xiàn)。在此情形中，當(dāng)人占據(jù)屏幕的大面積時，例如，即使無故障出現(xiàn)也會錯誤地識別出故障出現(xiàn)。美國專利申請公開No. 6044166的技術(shù)能夠處理逐步改變，但是該技術(shù)在迅速照明變化出現(xiàn)時無效，這是因為假定在迅速改變出現(xiàn)的區(qū)域中存在動物身體。日本待審查專利申請公開No. 2009-265827的技術(shù)能夠通過基于作為前景的對象不存在的部分的信息估算可以是前景的背景來處理照明條件的迅速改變。然而，必須預(yù)先獲取在不同照明條件下獲得的多個背景圖像。期望即使在根據(jù)圖像拾取狀態(tài)而改變輸入圖像時也以高準(zhǔn)確性專門提取作為前景圖像的對象。根據(jù)本發(fā)明實施例的圖像處理設(shè)備包括參考背景存儲裝置，用于存儲參考背景圖像；估算裝置，用于從輸入圖像中檢測對象并估算檢測到的對象的概略形狀和概略位置； 背景差異圖像生成裝置，用于生成基于輸入圖像與參考背景圖像之間的差值獲得的背景差異圖像；故障判斷裝置，用于基于由背景差異圖像生成裝置生成的背景差異圖像與由估算裝置估算出的對象之間的比較來判斷在背景差異圖像中是否出現(xiàn)故障；故障類型識別裝置，用于識別故障的類型；以及背景圖像更新裝置，用于以與故障的類型相對應(yīng)的方式更新參考背景圖像。可以允許故障判斷裝置把對象與背景差異圖像相比較，以便基于背景差異圖像的區(qū)域與對象的區(qū)域的比率是否大于預(yù)定比率來判斷是否出現(xiàn)故障。圖像處理設(shè)備可以進(jìn)一步包括改變量計算裝置，用于計算參考背景圖像和輸入圖像中的除了由估算裝置估算出的對象的區(qū)域以外的區(qū)域中的彼此對應(yīng)的像素之間的改變量。在改變量大于預(yù)定值的情形中，可以允許故障類型識別裝置把故障類型識別為基于顏色改變的顏色故障，在改變量并未大于預(yù)定值的情形中，可以允許故障類型識別裝置把故障類型識別為基于所述輸入圖像的圖像拾取方向的偏移的偏移故障。圖像處理設(shè)備可以進(jìn)一步包括運動向量計算裝置，用于比較輸入圖像和參考背景圖像以便獲得輸入圖像的圖像拾取方向的偏移作為運動向量；運動補償裝置，用于基于運動向量針對參考背景圖像執(zhí)行運動補償以便生成運動補償背景圖像；計算裝置，用于計算輸入圖像中除了由估算裝置估算出的對象的區(qū)域以外的區(qū)域與參考背景圖像中的彼此對應(yīng)的像素之間像素值的關(guān)系式；以及轉(zhuǎn)換裝置，用于基于關(guān)系式對參考背景圖像的像素值進(jìn)行轉(zhuǎn)換以便生成像素值轉(zhuǎn)換背景圖像。當(dāng)由故障類型識別裝置識別出的故障類型是偏移故障時，可以允許背景圖像更新裝置用運動補償背景圖像替代參考背景圖像以便更新參考背景圖像，以及當(dāng)由故障類型識別裝置識別出的故障類型是顏色故障時，可以允許背景圖像更新裝置用像素值轉(zhuǎn)換背景圖像替代參考背景圖像以便更新參考背景圖像。當(dāng)故障判斷裝置判斷未出現(xiàn)故障時，可以允許背景圖像更新裝置保持參考背景圖像不變。可以允許運動向量計算裝置對參考背景圖像中除了對象的區(qū)域以外的區(qū)域與輸入圖像中除了所述對象的區(qū)域以外的區(qū)域進(jìn)行比較，以便獲得圖像的相應(yīng)像素之間差異絕對值的和最小的運動向量?？梢栽试S對象檢測裝置包括人檢測裝置，用于檢測作為對象的人；動物檢測裝置，用于檢測作為對象的動物；以及交通工具檢測裝置，用于檢測作為對象的交通工具。可以允許人檢測裝置包括面部檢測裝置，用于從輸入圖像中檢測人的面部圖像； 身體掩模估算裝置，用于根據(jù)人的身體的存在位置和尺寸來估算身體掩模，人的身體是基于由面部檢測裝置檢測到的面部圖像估算出的。根據(jù)本發(fā)明另一實施例，圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備包括參考背景存儲裝置，用于存儲參考背景圖像；估算裝置，用于從輸入圖像中檢測對象以及估算檢測到的對象的概略形狀和概略位置；背景差異圖像生成裝置，用于生成基于輸入圖像與參考背景圖像之間的差值獲得的背景差異圖像；故障判斷裝置，用于基于由背景差異圖像生成裝置生成的背景差異圖像與由估算裝置估算出的對象之間的比較來判斷在背景差異圖像中是否出現(xiàn)故障；故障類型識別裝置，用于識別故障的類型；以及背景圖像更新裝置， 用于以與故障的類型相對應(yīng)的方式更新參考背景圖像，該圖像處理方法包括以下步驟在參考背景存儲裝置中，存儲參考背景圖像；在估算裝置中，從輸入圖像中檢測對象并估算檢測到的對象的概略形狀和概略位置；在背景差異圖像生成裝置中，基于輸入圖像與參考背景圖像之間的差值來生成背景差異圖像；在故障判斷裝置中，基于通過生成背景差異圖像步驟的處理生成的背景差異圖像與通過估算步驟的處理估算出的對象之間的比較來判斷背景差異圖像中是否出現(xiàn)故障；在故障類型識別裝置中，識別故障的類型；以及在背景圖像更新裝置中，以與故障的類型相對應(yīng)的方式更新參考背景圖像。根據(jù)本發(fā)明又一實施例，一種允許控制圖像處理設(shè)備的計算機執(zhí)行處理的程序， 所述圖像處理設(shè)備包括參考背景存儲裝置，用于存儲參考背景圖像；估算裝置，用于從輸入圖像中檢測對象并估算檢測到的對象的概略形狀和概略位置；背景差異圖像生成裝置， 用于生成基于輸入圖像與參考背景圖像之間的差值獲得的背景差異圖像；故障判斷裝置，用于基于由背景差異圖像生成裝置生成的背景差異圖像與由估算裝置估算出的對象之間的比較來判斷在背景差異圖像中是否出現(xiàn)故障；故障類型識別裝置，用于識別故障的類型； 以及背景圖像更新裝置，用于以與故障的類型相對應(yīng)的方式更新參考背景圖像，所述處理包括以下步驟在參考背景存儲裝置中，存儲參考背景圖像；在估算裝置中，從輸入圖像中檢測對象并估算檢測到的對象的概略形狀和概略位置；在背景差異圖像生成裝置中，基于輸入圖像與參考背景圖像之間的差值來生成背景差異圖像；在故障判斷裝置中，基于通過生成背景差異圖像步驟的處理生成的背景差異圖像與通過估算步驟的處理估算出的對象之間的比較來判斷在背景差異圖像中是否出現(xiàn)故障；在故障類型識別裝置中，識別故障的類型；以及在背景圖像更新裝置中，以與故障的類型相對應(yīng)的方式更新參考背景圖像。根據(jù)本發(fā)明的實施例，存儲參考背景圖像，從輸入圖像中檢測對象，估算檢測到的對象的概略形狀和概略位置，生成基于輸入圖像與參考背景圖像之間的差值獲得的背景差異圖像，基于生成的背景差異圖像與估算出的對象之間的比較來判斷在背景差異圖像中是否出現(xiàn)故障，識別故障的類型，以及以與故障的類型相對應(yīng)的方式更新參考背景圖像。根據(jù)本發(fā)明實施例的圖像處理設(shè)備可以是獨立設(shè)備或者用于執(zhí)行圖像處理的部件。根據(jù)本發(fā)明的實施例，即使在由于圖像拾取狀態(tài)而改變輸入圖像的情況下也可以用高準(zhǔn)確性專門提取要作為前景圖像的對象。


圖1示例了用于通過背景差異圖像進(jìn)行對象提取的相關(guān)領(lǐng)域處理；
圖2示例了用于通過背景差異圖像進(jìn)行對象提取的相關(guān)領(lǐng)域處理；
圖3是示出了根據(jù)本發(fā)明實施例的圖像處理設(shè)備的配置示例的方框圖
圖4是用于示例參考背景圖像存儲處理的流程圖5是用于示例背景差異圖像提取處理的流程圖6是用于示例參考背景圖像更新處理的流程圖7是用于示例對象檢測處理的流程圖8示例了故障的類型；
圖9是用于示例故障類型識別處理的流程圖10示例了故障類型識別處理；
圖11是用于示例更新背景圖像生成處理的流程圖12是用于示例顏色轉(zhuǎn)換更新圖像生成處理的流程圖13示例了顏色轉(zhuǎn)換更新圖像生成處理；
圖14是用于示例運動補償更新圖像生成處理的流程圖15示例了運動補償更新圖像生成處理；以及
圖16示例了通用個人計算機的配置示例。
具體實施例方式[圖像處理設(shè)備的配置示例]圖3示例了根據(jù)本發(fā)明實施例的圖像處理設(shè)備的硬件的配置示例。圖3的圖像處理設(shè)備11從拾取的輸入圖像中指定作為前景的對象的形狀和位置并且專門提取對象的區(qū)域。圖像處理設(shè)備11包括圖像拾取單元21、背景差異圖像生成單元22、輸出單元23、 故障判斷單元M、對象檢測單元25、故障類型識別單元沈、參考背景更新單元27、參考背景圖像獲取單元觀、背景圖像存儲單元四以及工作模式切換單元30。圖像拾取單元21基本上在固定圖像拾取方向、聚焦位置等的狀態(tài)中拾取圖像，以及把拾取的圖像提供給背景差異圖像生成單元22、故障判斷單元M、對象檢測單元25、參考背景更新單元27以及參考背景圖像獲取單元觀。背景差異圖像生成單元22針對每個像素獲得在從圖像拾取單元21接收的拾取圖像的像素的像素值與背景圖像存儲單元四中存儲的背景圖像的像素的像素值之間的差異絕對值。隨后，背景差異圖像生成單元22生成背景差異圖像，其中把與像素間的差異絕對值高于預(yù)定值的像素相對應(yīng)的像素的像素值設(shè)置為拾取圖像的像素值，以及把與其它像素相對應(yīng)的像素的像素值設(shè)置為零或最大像素值，背景差異圖像生成單元22把背景差異圖像提供給輸出單元23和故障判斷單元M。即，當(dāng)假定背景圖像存儲單元四中存儲沒有對象的背景圖像時以及當(dāng)拾取圖像中存在對象時，通過該處理理想地獲得專門提取了對象區(qū)域像素值的圖像作為背景差異圖像。輸出單元23輸出從背景差異圖像生成單元22提供的背景差異圖像以及例如把背景差異圖像存儲在存儲介質(zhì)(未示出)或者在顯示單元(未示出)上顯示背景差異圖像。對象檢測單元25檢測拾取圖像中存在的對象并把對象的圖像(由構(gòu)建對象的像素組成的區(qū)域的信息)提供給故障判斷單元對、故障類型識別單元26以及參考背景更新單元27。更詳細(xì)地，對象檢測單元25包括分別檢測人的圖像、動物的圖像以及交通工具的圖像作為對象的人檢測單元41、動物檢測單元42以及交通工具檢測單元43。對象檢測單元 25檢測拾取的圖像中人、動物以及交通工具的圖像作為對象以及把對象區(qū)域的檢測圖像提供給故障判斷單元對、故障類型識別單元26以及參考背景更新單元27作為對象掩模。人檢測單元41包括面部檢測單元41a和身體估算單元41b。面部檢測單元41a檢測拾取圖像中存在的人的面部圖像。身體估算單元41b基于面部檢測單元41a檢測的面部圖像的尺寸和位置來估算身體存在的區(qū)域。隨后，人檢測單元41通過合并面部圖像的區(qū)域以及估算的身體區(qū)域來生成身體掩模作為檢測結(jié)果。動物檢測單元42包括動物特征量檢測單元4 和動物身體估算單元42b。動物特征量檢測單元4 提取例如動物的面部圖像、 四肢的圖像以及圖像的尺寸和位置作為特征量。動物身體估算單元42b基于四肢圖像的特征量以及動物面部圖像的位置來估算作為對象的動物的身體存在的區(qū)域以及區(qū)域的尺寸。 隨后，動物檢測單元42通過合并動物面部圖像的區(qū)域和估算的身體區(qū)域來生成動物身體掩模作為檢測結(jié)果。交通工具檢測單元43包括輪檢測單元43a和交通工具主體估算單元 43b。輪檢測單元43a從圖像中檢測與交通工具的輪對應(yīng)的區(qū)域的尺寸和位置的信息。交通工具主體估算單元4 基于輪區(qū)域的尺寸和位置的檢測信息來估算交通工具主體區(qū)域的尺寸和位置。交通工具檢測單元43通過合并交通工具主體的估算區(qū)域和輪的區(qū)域來生成交通工具主體掩模，作為檢測結(jié)果。圖3的對象檢測單元25檢測作為要檢測對象的示例的人、動物以及交通工具的圖像，但是可以把對象檢測單元25設(shè)置為檢測其它對象。
故障判斷單元M基于對象掩模和背景差異圖像的尺寸來判斷背景差異圖像的尺寸是否遠(yuǎn)大于對象掩模的尺寸，以及基于此結(jié)果，判斷背景差異圖像生成單元22的背景差異圖像生成處理中是否出現(xiàn)故障。隨后，故障判斷單元M把判斷結(jié)果提供給故障類型識別單元26。故障類型識別單元沈基于故障判斷單元M的故障判斷結(jié)果、背景圖像存儲單元 29中存儲的參考背景圖像、來自對象檢測單元25的對象掩模以及拾取圖像來識別故障的類型。識別結(jié)果包括未發(fā)生故障的結(jié)果。隨后，故障類型識別單元26把識別的故障類型的信息提供給參考背景更新單元27。更詳細(xì)地，故障類型識別單元沈包括故障類型決定單元61和顏色改變計算單元 62。顏色改變計算單元62計算拾取圖像中除了對象掩模的區(qū)域以外的區(qū)域的像素值的平均值并計算參考背景圖像中除了對象掩模的區(qū)域以外的區(qū)域的像素值的平均值或者計算色調(diào)改變以及把計算結(jié)果提供給故障類型決定單元61作為顏色特征量的差值。當(dāng)故障判斷單元M判斷結(jié)果示出故障的出現(xiàn)時，另外，當(dāng)顏色特征量的差值大于預(yù)定閾值時，故障類型決定單元61將故障類型判定為由拾取圖像內(nèi)照明的較大改變或者白平衡的改變引起的顏色故障。另一方面，當(dāng)故障判斷單元M的判斷結(jié)果示出故障的出現(xiàn)時，另外，當(dāng)顏色特征量的差值不大于預(yù)定閾值時，故障類型決定單元61將故障類型判定為由拾取了拾取圖像的圖像拾取單元21的圖像拾取范圍的偏移引起的偏移故障。進(jìn)一步地，當(dāng)故障判斷單元 24的判斷結(jié)果示出無故障出現(xiàn)時，故障類型決定單元61把示出無故障出現(xiàn)的信息判定為用于識別故障類型的信息。即，故障類型識別單元26基于故障判斷結(jié)果、對象掩模、參考背景圖像以及拾取的圖像來識別以下三個類型之一背景差異圖像生成處理中無故障出現(xiàn)的類型、由顏色故障引起的故障出現(xiàn)的類型以及由偏移故障引起的故障出現(xiàn)的類型。參考背景更新單元27根據(jù)對象掩模、背景圖像存儲單元四中存儲的參考背景圖像以及拾取圖像的信息基于從故障類型識別單元26接收的故障類型的信息來更新參考背景圖像，以及把更新的參考背景圖像存儲在背景圖像存儲單元四中。更詳細(xì)地，參考背景更新單元27包括全局運動估算單元81、運動補償轉(zhuǎn)換單元82、選擇單元83、特征量轉(zhuǎn)換等式計算單元84以及顏色轉(zhuǎn)換單元85。全局運動估算單元81基于除了對象掩模的區(qū)域以外的拾取圖像和參考背景圖像的信息來估算示出圖像拾取單元21的圖像拾取方向的偏移的大小和方向的全局運動作為運動向量，并把運動向量提供給運動補償轉(zhuǎn)換單元82。運動補償轉(zhuǎn)換單元82基于運動向量根據(jù)背景圖像存儲單元四中當(dāng)前存儲的參考背景圖像以及拾取圖像來生成作為參考背景圖像更新圖像的運動補償圖像并把運動補償圖像提供給選擇單元83。特征量轉(zhuǎn)換等式計算單元84通過最小二乘法獲得示出拾取圖像的除了對象掩模以外的像素與在背景圖像存儲單元四中當(dāng)前存儲的參考背景圖像的相應(yīng)像素之間顏色改變的轉(zhuǎn)換等式，并把獲得的轉(zhuǎn)換等式提供給顏色轉(zhuǎn)換單元85。顏色轉(zhuǎn)換單元85通過使用由特征量轉(zhuǎn)換等式計算單元84 獲得的轉(zhuǎn)換等式來轉(zhuǎn)換背景圖像存儲單元四中存儲的參考背景圖像的每個像素的像素值以便生成作為參考背景圖像更新圖像的顏色轉(zhuǎn)換圖像，并把顏色轉(zhuǎn)換圖像提供給選擇單元 83。選擇單元83基于從故障類型識別單元沈提供的故障類型來選擇從運動補償轉(zhuǎn)換單元 82提供的運動補償圖像、從顏色轉(zhuǎn)換單元85提供的顏色轉(zhuǎn)換圖像以及拾取圖像中的一個。 隨后，選擇單元83用選擇的圖像替換背景圖像存儲單元四中存儲的參考背景圖像以更新參考背景圖像。當(dāng)初始記錄參考背景圖像時，參考背景圖像獲取單元觀把從圖像拾取單元21提供的圖像視為參考背景圖像以及允許背景圖像存儲單元四存儲圖像。工作模式切換單元30控制圖像處理設(shè)備11的工作模式以及切換參考背景圖像存儲模式、背景差異圖像提取模式以及背景圖像更新模式三種工作模式。此處，在圖3中，從工作模式切換單元30只向圖像拾取單元21、輸出單元23以及參考背景圖像獲取單元觀繪制標(biāo)注工作模式切換單元30進(jìn)行的操作開/關(guān)控制的箭頭。然而，工作模式切換單元30 實際上控制從圖像拾取單元21至背景圖像存儲單元四的所有部件以在每個工作模式中開啟或關(guān)閉部件。相應(yīng)地，實際上應(yīng)當(dāng)向部件中的所有部件繪制箭頭，但是該圖示出了簡化的配置以避免示出太復(fù)雜的配置。[參考背景圖像存儲處理]接下來參照圖4的流程圖描述參考背景圖像存儲處理。在步驟Sll中，為了把圖像處理設(shè)備11轉(zhuǎn)為參考背景圖像存儲模式，工作模式切換單元30控制開啟該操作所需的圖像拾取單元21、參考背景圖像獲取單元觀以及背景圖像存儲單元四并關(guān)閉其余部件。此處，參考背景圖像存儲模式是基于在圖像處理設(shè)備11 的用戶操作未示出的操作單元時生成的操作信號而設(shè)置的工作模式。相應(yīng)地，在用戶把圖像拾取單元21設(shè)置為在如下這種狀態(tài)中的前提下設(shè)置此工作模式圖像拾取單元21可以拾取要作為參考背景圖像以及要在以下操作中從其中提取對象的圖像。在步驟S12中，圖像拾取單元21在固定的圖像拾取方向上拾取圖像以及把拾取的圖像提供給參考背景圖像獲取單元觀作為拾取的圖像。在步驟S13中，參考背景圖像獲取單元觀獲取從圖像拾取單元21提供的拾取圖像作為參考背景圖像以及把拾取的圖像存儲在背景圖像存儲單元四中。通過上述處理，作為以下處理中的參考的背景圖像被存儲在背景圖像存儲單元四中。[背景差異圖像提取處理]接下來參照圖5的流程圖描述背景差異圖像提取處理。此處，此處理在通過上述參考背景圖像存儲處理把參考背景圖像存儲在背景圖像存儲單元四中的前提下進(jìn)行的。在步驟S21中，為了把圖像處理設(shè)備11轉(zhuǎn)為背景差異圖像提取模式，工作模式切換單元30控制開啟該操作所需的圖像拾取單元21、背景差異圖像生成單元22、輸出單元23 以及背景圖像存儲單元四以及關(guān)閉其余部件。在步驟S22中，圖像拾取單元21在與拾取參考背景圖像的狀態(tài)相同的狀態(tài)中在固定的圖像拾取方向上拾取圖像，以及把拾取的圖像提供給背景差異圖像生成單元22。在步驟S23中，背景差異圖像生成單元22讀出背景圖像存儲單元四中存儲的參考背景圖像。在步驟SM中，背景差異圖像生成單元22針對每個像素計算參考背景圖像的像素的像素值與拾取圖像的相應(yīng)像素的像素值之間的差異以及把獲得的差值與預(yù)定閾值相比較。隨后，當(dāng)差值小于預(yù)定閾值時，背景差異圖像生成單元22把相應(yīng)像素的像素值設(shè)置為零或最高像素值，當(dāng)差值大于預(yù)定閾值時，背景差異圖像生成單元22把相應(yīng)像素的像素值設(shè)置為拾取圖像的像素的像素值，以生成背景差異圖像并把背景差異圖像提供給輸出單元23。在步驟S25中，輸出單元23在未示出的顯示單元上顯示背景差異圖像或者把背景差異圖像存儲在未示出的存儲介質(zhì)中。通過上述處理，在把圖1的參考背景圖像f2存儲在背景圖像存儲單元四中以及拾取到圖1的拾取圖像π的情形中，如背景差異圖像f3所示理想地生成通過專門提取作為對象的人來獲得的圖像。[參考背景圖像更新處理]接下來參照圖6的流程圖描述參考背景圖像更新處理。在步驟S41中，為了把圖像處理設(shè)備11轉(zhuǎn)為參考背景圖像更新模式，工作模式切換單元30控制關(guān)閉該操作不需要的輸出單元23和參考背景圖像獲取單元觀并開啟其余部件。在步驟S42中，圖像拾取單元21在與拾取參考背景圖像的狀態(tài)相同的狀態(tài)中在固定的圖像拾取方向上拾取圖像，以及把拾取的圖像提供給背景差異圖像生成單元22、故障判斷單元M、對象檢測單元25、故障類型識別單元沈以及參考背景更新單元27。在步驟S43中，背景差異圖像生成單元22讀取出背景圖像存儲單元四中存儲的參考背景圖像。在步驟S44中，背景差異圖像生成單元22針對每個像素計算參考背景圖像的像素的像素值與拾取圖像的相應(yīng)像素的像素值之間的差異以及把獲得的差值與預(yù)定閾值相比較。隨后，當(dāng)差值小于預(yù)定閾值時，背景差異圖像生成單元22把相應(yīng)像素的像素值設(shè)置為零或最高像素值，當(dāng)差值大于預(yù)定閾值時，背景差異圖像生成單元22把相應(yīng)像素的像素值設(shè)置為拾取圖像的像素的像素值，以生成背景差異圖像并把背景差異圖像提供給故障判斷單元對。在步驟S45中，對象檢測單元25執(zhí)行對象檢測處理以便檢測作為對象的人、動物以及交通工具的存在/不存在。當(dāng)對象檢測單元25檢測到人、動物以及交通工具的存在時，對象檢測單元25把作為檢測結(jié)果的對象掩模提供給故障判斷單元24、故障類型識別單元26以及參考背景更新單元27。[對象檢測處理]此處，參照圖7的流程圖描述對象檢測處理。在步驟S61中，對象檢測單元25針對拾取圖像執(zhí)行拉普拉斯濾波器處理或索貝爾濾波器處理以提取邊緣圖像。在步驟S62中，人檢測單元41控制面部檢測單元41a以從邊緣圖像中基于部分的形狀提取可以構(gòu)成面部圖像的部分。更詳細(xì)地，面部檢測單元41a從邊緣圖像中，基于構(gòu)成面部的部分(諸如眼睛、鼻子、嘴部以及耳朵等)的形狀檢測和提取部分的框架。在步驟S63中，人檢測單元41控制面部檢測單元41a以便允許面部檢測單元41a 判斷是否提取了構(gòu)成面部圖像的部分。當(dāng)在步驟S63中提取了部分時，人檢測單元41在步驟S64中控制面部檢測單元41a以便允許面部檢測單元41a基于提取部分的尺寸、排列以及位置來識別面部圖像的區(qū)域以及進(jìn)一步識別矩形面部圖像。即，在作為圖8中示出的圖像Fl的包括人的拾取圖像的情形中，例如，識別圖8的圖像F2中的面部圖像(面部掩模) KM。此處，下面把圖8中示出的矩形面部圖像稱作面部掩模KM。
在步驟S65中，人檢測單元41控制身體估算單元41b以便允許身體估算單元41b 基于識別出的矩形面部圖像的位置來估算人身體的區(qū)域。即，在圖8的圖像F2的情形中， 當(dāng)識別出面部掩模KM時，身體估算單元41b基于面部掩模KM的方向、尺寸以及位置來估算身體區(qū)域的位置、尺寸以及形狀。在步驟S66中，基于通過把由身體估算單元41b估算的身體區(qū)域和面部掩模KM的區(qū)域相加獲得的區(qū)域，人檢測單元41生成包括拾取到作為對象的人的區(qū)域的人身體掩模M 作為對象掩模。隨后，人檢測單元41把作為身體掩模M(表示檢測到作為對象的人)的對象掩模提供給故障判斷單元對、故障類型識別單元26以及參考背景更新單元27。此處，當(dāng)判斷出在步驟S63中未提取部分時，認(rèn)為拾取圖像中不存在人區(qū)域，從而跳過從步驟S64至S66的處理。在步驟S67中，動物檢測單元42控制動物特征量檢測單元42a以便從邊緣圖像中提取可以構(gòu)成動物的特征量。即，動物特征量是例如以下部分諸如構(gòu)成動物的面部圖像的眼睛、鼻子、嘴以及耳朵、四肢、尾巴等，基于這些部分等的形狀檢測可以構(gòu)成作為對象的動物的特征量。在步驟S68中，動物檢測單元42控制動物特征量檢測單元42a以便判斷是否提取了動物特征量。當(dāng)在步驟S68中提取了動物特征量時，在步驟S69中，動物檢測單元42控制動物身體估算單元42b以便允許動物身體估算單元42b基于檢測的動物特征量在拾取圖像中估算包括動物頭部的身體區(qū)域的位置、尺寸以及形狀。在步驟S70中，動物檢測單元42生成覆蓋由動物身體估算單元42b估算的身體區(qū)域的范圍內(nèi)的區(qū)域以及包括動物頭部的動物對象掩模。隨后，動物檢測單元42把表示檢測到作為對象的動物的對象掩模提供給故障判斷單元M、故障類型識別單元沈以及參考背景更新單元27。此處，當(dāng)判斷出在步驟S68中未提取動物特征量時，認(rèn)為拾取圖像中不存在動物區(qū)域，從而跳過步驟S69和S70的處理。在步驟S71中，交通工具檢測單元43控制輪檢測單元43a以便允許輪檢測單元 43a從邊緣圖像中檢測作為交通工具特征量的輪圖像。在步驟S72中，交通工具檢測單元43控制輪檢測單元43a以便判斷是否可以檢測到輪圖像。當(dāng)在步驟S72中判斷出可以檢測到輪時，交通工具檢測單元43在步驟S73中控制交通工具主體估算單元43b以便允許交通工具主體估算單元4 基于檢測到的輪圖像的尺寸和位置來估算交通工具機體區(qū)域的尺寸和位置。在步驟S74中，交通工具檢測單元43生成覆蓋由交通工具主體估算單元43b估算的交通工具主體區(qū)域的范圍內(nèi)的區(qū)域的交通工具對象掩模。隨后，交通工具檢測單元43 把表示檢測到作為對象的交通工具的對象掩模提供給故障判斷單元M、故障類型識別單元 26以及參考背景更新單元27。此處，當(dāng)在步驟S72中判斷出未檢測到輪時，認(rèn)為拾取圖像中不存在交通工具區(qū)域，從而跳過步驟S73和S74的處理。S卩，當(dāng)通過上述處理檢測到作為對象的人、動物以及交通工具中的所有或者人、動物以及交通工具中的任何一個時，與檢測到的對象相對應(yīng)的對象掩模被生成并提供給故障判斷單元M、故障類型識別單元沈以及參考背景更新單元27。此處，在此示例中，人、動物以及交通工具被檢測作為對象，但是可以檢測除了這些之外的對象。描述回到圖6的流程圖。當(dāng)在步驟S45中執(zhí)行對象檢測處理時，故障判斷單元M在步驟S46中，基于是否從對象檢測單元25提供對象掩模來判斷是否檢測到對象。當(dāng)在步驟S45中未檢測到對象時，結(jié)束參考背景圖像更新處理。即，在此情形中，由于未檢測到對象掩模以及難以判斷參考背景圖像的更新在以下處理中是否有必要，所以不更新參考背景圖像并結(jié)束處理。另一方面，當(dāng)在步驟S45中檢測到對象掩模時，認(rèn)為檢測到對象并且處理前往步驟S47。在步驟S47中，故障判斷單元M計算通過對象檢測處理檢測到的對象掩模的面積 Sb與背景差異圖像的、作為差異結(jié)果的像素值非零的區(qū)域的面積之間的面積比。即，故障判斷單元M計算對象掩模的面積Sb與背景差異圖像的、作為差異結(jié)果的像素值非零的區(qū)域 (即，實質(zhì)上從背景差異圖像中作為掩模獲得的區(qū)域)之間的面積比R( = S/Sb)。在步驟S48中，故障判斷單元M判斷面積比R是否大于預(yù)定閾值。即，當(dāng)對象是人以及圖8的圖像Fl是輸入圖像時，對象掩模M的尺寸覆蓋比人H(圖8)的區(qū)域略大的范圍，如圖8的圖像F2的對象掩模M所示。另一方面，當(dāng)在理想狀態(tài)中獲得背景差異圖像時， 掩模圖像如圖8的圖像F3中所示實質(zhì)上只覆蓋人H的區(qū)域。相應(yīng)地，由于圖像F3的人H 的面積S小于如圖8的圖像F2中所示通過對象檢測處理獲得的對象掩模M的面積Sb，所以面積比R的值應(yīng)當(dāng)小于大于1的預(yù)定閾值。然而，當(dāng)背景差異圖像中出現(xiàn)某類故障時，在正常狀況下應(yīng)當(dāng)只在人H的區(qū)域中獲得的區(qū)域呈現(xiàn)在應(yīng)當(dāng)是背景的圖像區(qū)域中。例如，如圖 8的圖像F4中所示，被示出為故障區(qū)域Zl和Z2的區(qū)域呈現(xiàn)出來并且獲得包括故障區(qū)域Zl 和Z2的整個區(qū)域作為從背景差異圖像獲得的掩模區(qū)域的面積。作為結(jié)果，作為背景差異圖像獲得的區(qū)域的面積Sb變得非常大，結(jié)果是，面積比R的值在故障出現(xiàn)時非常小。相應(yīng)地， 當(dāng)面積比R大于預(yù)定閾值時，可以判斷背景差異圖像生成處理中未出現(xiàn)故障。當(dāng)面積比R大于預(yù)定閾值時，故障判斷單元M在步驟S48中判斷未出現(xiàn)故障。隨后，處理前往步驟S55，故障判斷單元M通知故障類型識別單元沈未出現(xiàn)故障。在此情形中，因為由于出現(xiàn)故障而不必更新參考背景圖像，所以結(jié)束處理。當(dāng)面積比R在步驟S48中不大于預(yù)定閾值時，故障判斷單元M判斷故障出現(xiàn)，處理前往步驟S49。在步驟S49中，故障判斷單元M通知故障類型識別單元沈出現(xiàn)故障。在步驟S50中，故障類型識別單元沈判斷出現(xiàn)故障以及執(zhí)行故障類型識別處理以便識別故障的類型。因此，故障類型識別單元26識別出現(xiàn)的故障的類型。[故障類型識別處理]此處，參照圖9的流程圖描述故障類型識別處理。在步驟S91中，顏色改變計算單元62計算拾取圖像和參考背景圖像中除了對象掩模以外的區(qū)域中的顏色特征量的改變以便判斷故障是否基于顏色參數(shù)和照明條件(作為由圖像拾取單元21拾取圖像的圖像拾取環(huán)境)的改變的存在/不存在。更詳細(xì)地，顏色改變計算單元62針對拾取圖像和參考背景圖像中除了對象掩模以外的區(qū)域中的每個像素計算像素以及與該像素相鄰的像素的平均值。更詳細(xì)地，顏色改變計算單元62例如針對拾取圖像和參考背景圖像中的每個像素計算由像素、位于像素的豎直方向上的像素以及位于像素的水平方向上的像素組成的五個像素的平均值。進(jìn)一步地，顏色改變計算單元62計算與拾取圖像和參考背景圖像的每個像素相鄰的像素的平均值在整個圖像中的平均值作為圖像中每個圖像中的顏色特征量，并把平均值提供給故障類型決定單元61。在步驟S92中，故障類型決定單元61計算拾取圖像的顏色特征量與參考背景圖像的顏色特征量之間的差異絕對值并判斷差異絕對值是否大于預(yù)定閾值。即，認(rèn)為當(dāng)圖像拾取單元21拾取的環(huán)境中的顏色參數(shù)或照明條件改變時，顏色特征量改變。因此，認(rèn)為拾取圖像的顏色特征量與參考背景圖像的顏色特征量之間的差異絕對值比預(yù)定閾值改變得更大。相應(yīng)地，當(dāng)顏色特征量的差異絕對值在步驟S92中大于預(yù)定閾值時，故障類型決定單元 61在步驟S93中判斷故障類型是由背景差異圖像生成處理中顏色參數(shù)或照明條件的改變引起的故障，即，顏色故障。此處，在以上示例中通過使用每個像素的相鄰像素的平均值來獲得顏色特征量。然而，可以獲得每個像素的顏色相位以及可以通過使用拾取圖像和參考背景圖像的顏色相位的改變來判斷是否出現(xiàn)顏色故障。另一方面，當(dāng)拾取圖像與參考背景圖像的顏色特征量之間的差異絕對值在步驟 S92中不大于預(yù)定閾值時，處理前往步驟S94。在步驟S94中，故障類型決定單元61判斷故障類型是由圖像拾取單元21在背景差異圖像生成處理中的圖像拾取位置的偏移引起的故障，即，偏移故障。通過上述處理，故障類型決定單元61獲得顏色特征量的改變并且從而識別出故障是由圖像拾取單元21拾取的環(huán)境的照明條件的改變引起的顏色故障或者由圖像拾取單元21的圖像拾取方向的偏移引起的偏移故障。S卩，在圖像拾取方向偏移或者照明條件改變不出現(xiàn)(如圖8的圖像Fl相對于示出為圖10的圖像Fll的參考背景圖像所示)的情形中，當(dāng)拾取包括人H的圖像時，獲得圖10 的圖像F14中示出的對象掩模M。在此情形中，由于在除了對象掩模M以外的范圍中不出現(xiàn)相對于參考背景圖像的改變，所以例如圖8的圖像F4中所示的故障不出現(xiàn)。另一方面，如圖10的圖像F12中所示，當(dāng)在由圖像拾取單元21拾取的圖像的照明條件改變的狀態(tài)中拾取包括人H的圖像時，由于照明條件的改變而在除了對象掩模M以外的背景差異圖像中呈現(xiàn)并非對象的背景部分。因此，當(dāng)獲得背景差異圖像時，會出現(xiàn)圖8的圖像F4中示出的故障。進(jìn)一步地，如圖10的圖像F13中所示圖像拾取單元21的圖像拾取方向偏移，因此，背景以及作為對象的人偏移至左側(cè)成為人H'(參考圖像Fi;3)。在此情形中，除了對象掩模M以外的范圍中的圖像中包括人H'，進(jìn)一步地，如圖像F16中所示作為背景的山偏移。 作為結(jié)果，當(dāng)獲得背景差異圖像時，圖8的圖像F4中示出的故障會出現(xiàn)。在上述比較中在圖像F12和F15中改變照明條件，以使得在除了對象掩模M以外的區(qū)域中顏色特征量的差異絕對值相對于參考背景圖像Fll大大改變。另一方面，在如圖像F13和F16中所示圖像拾取單元21的圖像拾取方向僅位移的情形中，顏色特征量之間的差異絕對值不大大改變?？梢曰谶@種特性差異識別故障類型。此處，描述回到圖6的流程圖。當(dāng)在步驟S50中識別出故障類型時，在步驟S51中參考背景更新單元27執(zhí)行更新背景圖像生成處理，以便生與每個故障類型相對應(yīng)的以及用于參考背景圖像更新的更新背景圖像。[更新背景圖像生成處理]此處，參照圖11的流程圖描述更新背景圖像生成處理。
在步驟SlOl中，參考背景更新單元27執(zhí)行顏色轉(zhuǎn)換更新圖像生成處理以生成顏色轉(zhuǎn)換更新圖像。[顏色轉(zhuǎn)換更新圖像生成處理]此處，參照圖12的流程圖描述顏色轉(zhuǎn)換更新圖像生成處理。在步驟S121中，參考背景更新單元27控制特征量轉(zhuǎn)換等式計算單元84以便允許特征量轉(zhuǎn)換等式計算單元84通過使用背景圖像存儲單元四中存儲的參考背景圖像以及拾取的圖像中除了對象掩模以外的區(qū)域中的像素來計算特征量轉(zhuǎn)換等式，并把特征量轉(zhuǎn)換等式提供給顏色轉(zhuǎn)換單元85。此處，特征量轉(zhuǎn)換等式例如是下面的等式(1)。rdi = arsi+b... (1)此處，例如rdi表示圖13的上部中示出的拾取圖像F21中除了對象掩模M的區(qū)域以外的區(qū)域中像素的像素值，rsi表示圖13的下部中示出的參考背景圖像F22中除了對象掩模M的區(qū)域以外的區(qū)域中像素的像素值。進(jìn)一步地，a和b分別表示特征量轉(zhuǎn)換等式的系數(shù)(線性近似系數(shù))，i表示用于標(biāo)識拾取圖像F21和參考背景圖像F22的相應(yīng)像素的標(biāo)識符。即，表示成等式(1)的特征量轉(zhuǎn)換等式如圖13中所示用于把參考背景圖像中除了對象掩模M的區(qū)域以外的區(qū)域的每個像素的像素值rsi轉(zhuǎn)換成拾取圖像的每個像素的像素值rdi。相應(yīng)地，特征量轉(zhuǎn)換等式計算單元84可以通過計算系數(shù)a和b來獲得特征量轉(zhuǎn)換等式。更詳細(xì)地，為了獲得特征量轉(zhuǎn)換等式，獲得使通過把等式(1)變形獲得的下面式 ⑵最小化的系數(shù)a和b是足夠的。
權(quán)利要求
1.一種圖像處理設(shè)備，包括參考背景存儲裝置，用于存儲參考背景圖像；估算裝置，用于從輸入圖像中檢測對象并估算檢測到的對象的概略形狀和概略位置； 背景差異圖像生成裝置，用于生成基于所述輸入圖像與所述參考背景圖像之間的差值獲得的背景差異圖像；故障判斷裝置，用于基于由所述背景差異圖像生成裝置生成的所述背景差異圖像與由估算裝置估算出的所述對象之間的比較來判斷在所述背景差異圖像中是否出現(xiàn)故障； 故障類型識別裝置，用于識別所述故障的類型；以及背景圖像更新裝置，用于以與所述故障的類型相對應(yīng)的方式更新所述參考背景圖像。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述故障判斷裝置把所述對象與所述背景差異圖像進(jìn)行比較，以便基于所述背景差異圖像的區(qū)域與所述對象的區(qū)域的比率是否大于預(yù)定比率來判斷是否出現(xiàn)故障。
3.如權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括改變量計算裝置，用于計算所述參考背景圖像和所述輸入圖像中的除了由所述估算裝置估算出的所述對象的區(qū)域以外的區(qū)域的彼此對應(yīng)的像素之間的改變量；其中在所述改變量大于所述預(yù)定值的情形中，所述故障類型識別裝置把故障類型識別為基于顏色改變的顏色故障，在所述改變量并未大于所述預(yù)定值的情形中，所述故障類型識別裝置把故障類型識別為基于所述輸入圖像的圖像拾取方向的偏移的偏移故障。
4.如權(quán)利要求3所述的圖像處理設(shè)備，進(jìn)一步包括運動向量計算裝置，用于比較所述輸入圖像和所述參考背景圖像以便獲得所述輸入圖像的圖像拾取方向的偏移作為運動向量；運動補償裝置，用于基于所述運動向量針對所述參考背景圖像執(zhí)行運動補償以便生成運動補償背景圖像；計算裝置，用于計算所述輸入圖像中除了由所述估算裝置估算出的對象的區(qū)域以外的區(qū)域與所述參考背景圖像中的彼此對應(yīng)的像素之間像素值的關(guān)系式；以及轉(zhuǎn)換裝置，用于基于所述關(guān)系式對所述參考背景圖像的像素值進(jìn)行轉(zhuǎn)換以便生成像素值轉(zhuǎn)換背景圖像；其中當(dāng)由所述故障類型識別裝置識別出的故障類型是所述偏移故障時，所述背景圖像更新裝置用所述運動補償背景圖像替代所述參考背景圖像以便更新所述參考背景圖像，以及當(dāng)由所述故障類型識別裝置識別出的故障類型是所述顏色故障時，所述背景圖像更新裝置用所述像素值轉(zhuǎn)換背景圖像替代所述參考背景圖像以便更新所述參考背景圖像。
5.如權(quán)利要求4所述的圖像處理設(shè)備，其中，當(dāng)所述故障判斷裝置判斷未出現(xiàn)故障時， 所述背景圖像更新裝置保持所述參考背景圖像不變。
6.如權(quán)利要求4所述的圖像處理設(shè)備，其中，所述運動向量計算裝置對所述參考背景圖像中除了所述對象的區(qū)域以外的區(qū)域與所述輸入圖像中除了所述對象的區(qū)域以外的區(qū)域進(jìn)行比較，以便獲得使所述圖像的對應(yīng)像素之間差異絕對值的和最小的運動向量。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述對象檢測裝置包括人檢測裝置，用于檢測作為對象的人；動物檢測裝置，用于檢測作為對象的動物；以及交通工具檢測裝置， 用于檢測作為對象的交通工具。
8.如權(quán)利要求7所述的圖像處理設(shè)備，其中，所述人檢測裝置包括面部檢測裝置，用于從所述輸入圖像中檢測人的面部圖像；以及身體掩模估算裝置，用于根據(jù)人的身體的存在位置和尺寸來估算身體掩模，人的身體是基于由所述面部檢測裝置檢測到的面部圖像估算出的。
9.一種圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括 參考背景存儲裝置，用于存儲參考背景圖像；估算裝置，用于從輸入圖像中檢測對象并估算所檢測到的對象的概略形狀和概略位置；背景差異圖像生成裝置，用于生成基于所述輸入圖像與所述參考背景圖像之間的差值獲得的背景差異圖像；故障判斷裝置，用于基于由背景差異圖像生成裝置生成的所述背景差異圖像與由所述估算裝置估算出的對象之間的比較來判斷在所述背景差異圖像中是否出現(xiàn)故障； 故障類型識別裝置，用于識別所述故障的類型；以及背景圖像更新裝置，用于以與所述故障的類型相對應(yīng)的方式更新所述參考背景圖像， 所述圖像處理方法包括以下步驟在所述參考背景存儲裝置中，存儲所述參考背景圖像；在所述估算裝置中，從所述輸入圖像中檢測所述對象并估算所檢測到的對象的概略形狀和概略位置；在所述背景差異圖像生成裝置中，基于所述輸入圖像與所述參考背景圖像之間的差值來生成所述背景差異圖像；在所述故障判斷裝置中，基于通過所述生成背景差異圖像步驟的處理生成的所述背景差異圖像與通過所述估算步驟的處理估算出的所述對象之間的比較來判斷在所述背景差異圖像中是否出現(xiàn)故障；在所述故障類型識別裝置中，識別所述故障的類型；以及在所述背景圖像更新裝置中，以與所述故障的類型相對應(yīng)的方式更新所述參考背景圖像。
10.一種允許控制圖像處理設(shè)備的計算機執(zhí)行處理的程序，所述圖像處理設(shè)備包括 參考背景存儲裝置，用于存儲參考背景圖像；估算裝置，用于從輸入圖像中檢測對象并估算所檢測到的對象的概略形狀和概略位置；背景差異圖像生成裝置，用于生成基于所述輸入圖像與所述參考背景圖像之間的差值獲得的背景差異圖像；故障判斷裝置，用于基于由所述背景差異圖像生成裝置生成的所述背景差異圖像與由所述估算裝置估算出的對象之間的比較來判斷在所述背景差異圖像中是否出現(xiàn)故障； 故障類型識別裝置，用于識別所述故障的類型；以及背景圖像更新裝置，用于以與所述故障的類型相對應(yīng)的方式更新所述參考背景圖像， 所述處理包括如下步驟在所述參考背景存儲裝置中，存儲所述參考背景圖像；在所述估算裝置中，從所述輸入圖像中檢測對象并估算所檢測到的對象的概略形狀和概略位置；在所述背景差異圖像生成裝置中，基于所述輸入圖像與所述參考背景圖像之間的差值生成所述背景差異圖像；在所述故障判斷裝置中，基于通過所述生成背景差異圖像步驟的處理生成的所述背景差異圖像與通過所述估算步驟的處理估算出的所述對象之間的比較來判斷在所述背景差異圖像中是否出現(xiàn)故障；在所述故障類型識別裝置中，識別所述故障的類型；以及在所述背景圖像更新裝置中，以與所述故障的類型相對應(yīng)的方式更新所述參考背景圖像。
11. 一種圖像處理設(shè)備，包括參考背景存儲單元，被配置成存儲參考背景圖像；估算單元，被配置成從輸入圖像中檢測對象并估算所檢測到的對象的概略形狀和概略位置；背景差異圖像生成單元，被配置成生成基于所述輸入圖像與所述參考背景圖像之間的差值獲得的背景差異圖像；故障判斷單元，被配置成基于由所述背景差異圖像生成單元生成的所述背景差異圖像與由所述估算單元估算出的對象之間的比較來判斷在所述背景差異圖像中是否出現(xiàn)故障；故障類型識別單元，被配置成識別所述故障的類型；以及背景圖像更新單元，被配置成以與所述故障的類型相對應(yīng)的方式更新所述參考背景圖像。
全文摘要
一種圖像處理設(shè)備、圖像處理方法以及程序。該圖像處理設(shè)備包括參考背景存儲單元，存儲參考背景圖像；估算單元，從輸入圖像中檢測對象并估算檢測到的對象的概略形狀和概略位置；背景差異圖像生成單元，生成基于輸入圖像與參考背景圖像之間的差值獲得的背景差異圖像；故障判斷單元，基于由背景差異圖像生成單元生成的背景差異圖像與由估算單元估算出的對象之間的比較來判斷在背景差異圖像中是否出現(xiàn)故障；故障類型識別單元，識別故障的類型；以及背景圖像更新單元，以與故障的類型相對應(yīng)的方式更新參考背景圖像。
文檔編號G06T7/00GK102208107SQ20111007630
公開日2011年10月5日 申請日期2011年3月23日 優(yōu)先權(quán)日2010年3月30日
發(fā)明者小柳津秀紀(jì) 申請人:索尼公司