專利名稱：圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置及計算機程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從拍攝所得到的圖像中檢測特定拍攝對象的圖像處理方 法、適用該圖像處理方法的圖像處理系統(tǒng)，該圖像處理系統(tǒng)所使用的圖 像處理裝置以及用于實現(xiàn)該圖像處理裝置的計算機程序，特別涉及判斷 有無拍攝對象的圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置及計算機 程序。
背景技術(shù)：
作為支持汽車等車輛的駕駛的裝置，已經(jīng)提出了如下所述的圖像處 理裝置用配置在可拍攝駕駛員臉部的位置處的車載照相機來拍攝駕駛 員臉部，并從所得到的圖像中進行檢測駕駛員的臉部輪廓及眼睛和鼻孔 的位置的圖像處理(例如，參照專利文獻(xiàn)1)。通過采用這種裝置，構(gòu)成 了探測駕駛員的狀況、進行警告心不在焉地駕駛等的駕駛支持的系統(tǒng)。專利文獻(xiàn)1:日本特開2004—234367號公報但是，由于現(xiàn)有的圖像處理裝置以在拍攝所得到的圖像范圍內(nèi)存在 拍攝對象為前提來執(zhí)行檢測拍攝對象的處理，所以在拍攝所得到的圖像 的范圍內(nèi)不存在拍攝對象的情況下，也從拍攝對象不存在的背景圖像中 執(zhí)行檢測拍攝對象的處理。因此，存在發(fā)生來自背景圖像的錯誤識別、 不必要地重復(fù)檢測處理所產(chǎn)生的處理負(fù)荷增大等異常的可能性較高的問 題。發(fā)明內(nèi)容本發(fā)明就是鑒于此類問題而完成的，其目的是提供可通過向拍攝方 向照射光，且將照射光時所拍攝到的圖像與未照射光時所拍攝到的圖像 進行比較來判斷在圖像內(nèi)有無拍攝對象，從而在圖像處理時減小發(fā)生異 常的可能性的圖像處理方法、適用該圖像處理方法的圖像處理系統(tǒng)、該 圖像處理系統(tǒng)所使用的圖像處理裝置以及用于實現(xiàn)該圖像處理裝置的計 算機程序。第一發(fā)明的圖像處理方法使用從拍攝所得到的圖像中檢測特定拍攝 對象的圖像處理裝置，其特征在于，向拍攝方向照射光，將照射光時所 拍攝到的圖像與未照射光時所拍攝到的圖像進行比較，根據(jù)比較后的結(jié) 果來判斷圖像內(nèi)有無拍攝對象。在本發(fā)明中，在存在拍攝對象的情況下，由于因光的照射狀況而在 圖像中產(chǎn)生差異，所以可判斷有無拍攝對象。因此能夠防止以下情況發(fā) 生盡管在圖像內(nèi)不存在拍攝對象，卻執(zhí)行從不存在拍攝對象的背景圖 像中檢測拍攝對象的處理，產(chǎn)生來自背景圖像的錯誤識別、不必要地重 復(fù)檢測處理所產(chǎn)生的處理負(fù)荷增大等異常。第二發(fā)明的圖像處理系統(tǒng)具備攝像單元；向該攝像單元進行拍攝的 方向照射光的照射單元；以及從拍攝所得到的圖像中檢測特定拍攝對象 的圖像處理裝置，其特征在于，上述圖像處理裝置具備將照射光時所拍 攝到的圖像與未照射光時所拍攝到的圖像進行比較的比較單元；和根據(jù) 該比較單元比較后的結(jié)果來判斷圖像內(nèi)有無拍攝對象的判斷單元。在本發(fā)明中，在拍攝對象存在的情況下，由于因光的照射狀況而在 圖像中產(chǎn)生差異，所以可判斷有無拍攝對象。因此能夠防止以下情況發(fā) 生盡管在圖像內(nèi)不存在拍攝對象，卻執(zhí)行從不存在拍攝對象的背景圖 像中檢測拍攝對象的處理，產(chǎn)生來自背景圖像的錯誤識別、不必要地重 復(fù)檢測處理所產(chǎn)生的處理負(fù)荷增大等異常。在第二發(fā)明的基礎(chǔ)上，第三發(fā)明的圖像處理系統(tǒng)的特征在于，上述 圖像處理裝置還具備求出拍攝所得到的圖像的亮度的單元，上述比較單 元構(gòu)成為將各圖像的亮度進行比較，上述判斷單元構(gòu)成為在各圖像的亮 度的差小于基準(zhǔn)值的情況下判斷為沒有拍攝對象。在本發(fā)明中，在存在拍攝對象的情況下，因光的照射狀況而使圖像 的亮度較大地變化。因此，由于可判斷有無拍攝對象，所以可防止當(dāng)在 圖像內(nèi)不存在拍攝對象的情況下發(fā)生的異常。
在第三發(fā)明的基礎(chǔ)上，第四發(fā)明的圖像處理系統(tǒng)的特征在于，上述 亮度是構(gòu)成圖像的象素的平均亮度。在本發(fā)明中，通過基于平均亮度的比較來判斷有無拍攝對象，從而 可提高判斷精度。在第二至第四發(fā)明的任一項的基礎(chǔ)上，第五發(fā)明的圖像處理系統(tǒng)的 特征在于，該圖像處理系統(tǒng)還具備這樣的單元根據(jù)基于構(gòu)成圖像的象 素的平均亮度、上述照射單元的照射條件及上述攝像單元的拍攝條件而 導(dǎo)出的絕對亮度，來判斷圖像內(nèi)有無拍攝對象。在本發(fā)明中，由于通過根據(jù)絕對亮度來判斷有無拍攝對象，可抑制 太陽光等外部光線的影響，所以可提高判斷精度。在第二至第五發(fā)明的任一項的基礎(chǔ)上，第六發(fā)明的圖像處理系統(tǒng)的 特征在于，上述圖像處理裝置還具備判斷是否從拍攝所得到的圖像中檢 測特定拍攝對象的單元，上述比較單元和判斷單元構(gòu)成為避免在檢測到 特定拍攝對象的情況下執(zhí)行。在本發(fā)明中，通過避免不必要的比較及判斷處理，而可減輕處理負(fù)荷。在第二至第六發(fā)明的任一項的基礎(chǔ)上，第七發(fā)明的圖像處理系統(tǒng)的 特征在于，上述照射單元構(gòu)成為照射近紅外區(qū)域波長的光，上述攝像單 元具有使近紅外區(qū)域波長的光透射的濾光器。在本發(fā)明中，通過不使用可視光線而使用近紅外線，可主要將攝像 單元和拍攝對象之間的距離反映為圖像的亮度，可抑制座席的樣式等背 景圖像的濃淡所產(chǎn)生的亮度影響，所以可提高判斷精度。在第二至第七發(fā)明的任一項的基礎(chǔ)上，第八發(fā)明的圖像處理系統(tǒng)的 特征在于，該圖像處理系統(tǒng)具備攝像裝置，該攝像裝置具有上述攝像單 元及照射單元，且與上述圖像處理裝置相連接。在本發(fā)明中，通過使用組裝有照射單元的攝像裝置，就不需要進行 照射方向及拍攝方向的調(diào)整，而可提高設(shè)置時的便利性。第九發(fā)明的圖像處理裝置從拍攝所得到的圖像中檢測特定拍攝對 象，其特征在于，該圖像處理裝置具備向拍攝方向照射光的單元；將
照射光時拍攝到的圖像與未照射光時所拍攝到的圖像進行比較的單元； 以及根據(jù)比較后的結(jié)果來判斷圖像內(nèi)有無拍攝對象的單元。在本發(fā)明中，當(dāng)存在拍攝對象的情況下，由于因光的照射狀況而在 圖像中產(chǎn)生差異，所以可判斷有無拍攝對象。因此能夠防止以下情況發(fā) 生盡管在圖像內(nèi)不存在拍攝對象，卻執(zhí)行從不存在拍攝對象的背景圖 像中檢測拍攝對象的處理，產(chǎn)生來自背景圖像的錯誤識別、不必要地重 復(fù)檢測處理所產(chǎn)生的處理負(fù)荷增大等異常。第十發(fā)明的計算機程序利用與攝像單元及向該攝像單元進行拍攝的 方向照射光的照射單元相連接的計算機，從拍攝所得到的圖像中檢測特 定拍攝對象，其特征在于，該計算機程序執(zhí)行如下步驟利用計算機將照 射光時所拍攝到的圖像與未照射光時所拍攝到的圖像進行比較的步驟；以 及利用計算機根據(jù)比較后的結(jié)果來判斷圖像內(nèi)有無拍攝對象的步驟。在本發(fā)明中，通過用計算機來執(zhí)行，從而在計算機作為圖像處理裝 置來工作且存在拍攝對象的情況下，因光的照射狀況而在圖像上產(chǎn)生差 異。所以，可判斷有無拍攝對象。因此能夠防止以下情況發(fā)生盡管在 圖像內(nèi)不存在拍攝對象，卻執(zhí)行從不存在拍攝對象的背景圖像中檢測拍 攝對象的處理，產(chǎn)生來自背景圖像的錯誤識別、不必要地重復(fù)檢測處理 所產(chǎn)生的處理負(fù)荷增大等異常。根據(jù)本發(fā)明的圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置及計算 機程序，適用于使用以例如乘坐在車輛中的駕駛員的臉部為拍攝對象的 車載照相機的系統(tǒng)，在將對拍攝方向照射光時所拍攝到的圖像的平均亮 度及未照射光時所拍攝到的圖像的平均亮度進行比較，在其差為基準(zhǔn)值 以下的情況下，判斷為在通過拍攝所得到的圖像內(nèi)不存在拍攝對象。通過該結(jié)構(gòu)，在存在拍攝對象的情況下，因光的照射狀況而在圖像 的亮度上產(chǎn)生差異，所以可判斷有無拍攝對象。因此具有能夠防止以下 情況發(fā)生等的優(yōu)良效果盡管在圖像內(nèi)不存在拍攝對象，卻執(zhí)行從不存 在拍攝對象的背景圖像中檢測拍攝對象的處理，產(chǎn)生來自背景圖像的錯 誤識別、不必要地重復(fù)檢測處理所產(chǎn)生的處理負(fù)荷增大等異常。而且， 實現(xiàn)了系統(tǒng)整體的處理負(fù)荷的減輕及處理的穩(wěn)定化。因此，在適用于探測駕駛員的狀況、進行警告心不在焉地駕駛等的駕駛支持的系統(tǒng)的情況 下，通過高速且穩(wěn)定的處理，起到了如下的優(yōu)良效果可構(gòu)成即使在瞬 間的狀況下誤操作也少的可靠的駕駛支持系統(tǒng)等。此外，在本發(fā)明的圖像處理系統(tǒng)等中，通過根據(jù)絕對亮度來判斷有 無拍攝對象，可抑制照相機控制所致的光的影響。因此，起到了可提高 判斷精度等優(yōu)良效果。再有，在本發(fā)明的圖像處理系統(tǒng)中，通過向拍攝方向照射光，可主 要將攝像單元和拍攝對象之間的距離反映為圖像的亮度，可抑制座席的 樣式等背景圖像的濃淡所產(chǎn)生的亮度影響。因此，起到了可提高判斷精 度等優(yōu)良效果。


圖1是表示本發(fā)明的圖像處理系統(tǒng)所使用的攝像裝置的外觀的立體圖。圖2是表示本發(fā)明的圖像處理系統(tǒng)的結(jié)構(gòu)例的方框圖。 圖3是表示本發(fā)明的圖像處理系統(tǒng)所使用的圖像處理裝置的處理的 流程圖。圖4是表示本發(fā)明的圖像處理系統(tǒng)所使用的圖像處理裝置的處理的 流程圖。標(biāo)號說明 1攝像裝置 2圖像處理裝置 3計算機程序4記錄介質(zhì)具體實施方式
下面根據(jù)附圖來詳細(xì)說明本發(fā)明的實施方式。圖1是表示本發(fā)明的 圖像處理系統(tǒng)所使用的攝像裝置的外觀的立體圖。圖1中，標(biāo)記1是在 車輛上裝載的車載照相機等攝像裝置。圖1中例示的攝像裝置1在呈長
方體狀的框體10的一個面的中心處配置攝像部11，該攝像部11使用了CCD (Charge Coupled Device:電荷耦合器件)等拍攝元件，在該攝像部 11的周圍配置了使用LED (Light Emitting Diode:發(fā)光二極管)等發(fā)光 元件的多個照射部12。攝像部11及照射部12在攝像裝置1的框體10的 同一面上配置為拍攝方向與照射方向一致。照射部12構(gòu)成為使用GaAlAs(鎵鋁砷)等半導(dǎo)體芯片來發(fā)出870nm等近紅外區(qū)域波長的光。在攝像 部11的受光部上安裝了濾光器lla，該濾光器lla是異丁烯樹脂等材質(zhì) 制的，可選擇地使近紅外區(qū)域波長的光透射。通過使用非可視光的近紅 外線作為照射部12所照射的光，由于受到光的照射的駕駛員不會發(fā)現(xiàn)照 射，所以不會妨礙駕駛。此外，由于濾光器lla有選擇地使近紅外區(qū)域 波長的光透射并濾掉可視光，所以攝像部11可不受外部光線影響地進行 處理。而且，攝像裝置1配置在車輛內(nèi)的方向盤、儀表板等的駕駛員的 前方，并在可拍攝駕駛員的臉部作為拍攝對象的狀態(tài)下進行配置，且從 照射部12對拍攝對象照射近紅外線，用攝像部11拍攝。包括攝像部11 及照射部12向同一裝置組裝的各種條件等當(dāng)然也只是一個示例，可根據(jù) 系統(tǒng)結(jié)構(gòu)、目的等來適當(dāng)?shù)卦O(shè)定。例如，可將具備攝像部11的裝置和具 備照射部12的裝置分體化并配置在各不相同的位置上。圖2是表示本發(fā)明的圖像處理系統(tǒng)的結(jié)構(gòu)例的方框圖?？蓪z像裝 置1通過專用電纜等通信線或者有線方式或無線方式構(gòu)成的車內(nèi)LAN(Local Area Network:局域網(wǎng))等通信網(wǎng)連接到圖像處理裝置2上，圖 像處理裝置2使用了從通過該攝像裝置1的拍攝所得到的圖像中進行拍 攝對象的檢測等圖像處理的車載用計算機。攝像裝置l具備控制整個裝置的MPU (Micro Processor Unit:微 處理機單元)13;記錄根據(jù)MPU 13的控制來執(zhí)行的各種計算機程序及 數(shù)據(jù)的ROM (Read Only Memory:只讀存儲器)14;和對在ROM 14中 記錄的計算機程序執(zhí)行時暫時產(chǎn)生的各種數(shù)據(jù)進行存儲的RAM(Random Access Memory:隨機存取存儲器)15。再有，攝像裝置1具備上述攝像 部11及照射部12，且具備將通過攝像部11的拍攝所得的模擬圖像數(shù)據(jù) 轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)的A/D轉(zhuǎn)換器16;暫時存儲由A/D轉(zhuǎn)換器16轉(zhuǎn)換為數(shù)字
的圖像數(shù)據(jù)的幀存儲器17;和用于與圖像處理裝置2通信的通信接口 18。 在攝像裝置1中，通過攝像部11來拍攝用照射部12照射了近紅外線的拍攝對象，且根據(jù)拍攝而生成例如每秒30幀的圖像數(shù)據(jù)(圖像幀) 并輸出給A/D轉(zhuǎn)換器16。在A/D轉(zhuǎn)換器16中，轉(zhuǎn)換為構(gòu)成圖像數(shù)據(jù)的 256灰度(l字節(jié))等灰度表示的數(shù)字圖像數(shù)據(jù)。而且，轉(zhuǎn)換為數(shù)字圖像 數(shù)據(jù)后的圖像數(shù)據(jù)存儲在幀存儲器17中，存儲的圖像數(shù)據(jù)在預(yù)定的時間 輸出給圖像處理裝置2。此外，將表示拍攝時的攝像部11的快門速度、 增益值等拍攝條件的拍攝條件數(shù)據(jù)以及表示照射部12的照射時間等的照 射條件的照射條件數(shù)據(jù)也與圖像數(shù)據(jù)一同輸出給圖像處理裝置2。再有， 在攝像裝置1中，以預(yù)定的時間從圖像處理裝置12接收與攝像部11的 拍攝條件、照射部12的照射條件等各種電路的控制相關(guān)的各種數(shù)據(jù)，并 根據(jù)接收到的數(shù)據(jù)來控制攝像部11、照射部12等各種電路。圖像處理裝置2具備控制整個裝置的CPU (中央處理器)21; CD-ROM驅(qū)動器等輔助存儲部22，其從記錄本發(fā)明的計算機程序3及數(shù) 據(jù)等各種信息的CD—ROM等記錄介質(zhì)4讀取信息；記錄由輔助存儲部 22讀取到的各種信息的硬盤(以下稱為HD) 23;對執(zhí)行在HD 23中記 錄的計算機程序3時暫時產(chǎn)生的各種數(shù)據(jù)進行存儲的RAM24;由非易失 存儲器構(gòu)成的幀存儲器25;以及用于與攝像裝置1通信的通信接口 26。 而且，通過從HD 23讀取本發(fā)明的計算機程序3及數(shù)據(jù)等各種信息，記 錄在RAM24中，并由CPU21執(zhí)行計算機程序3所含的各種步驟，從而 車載用計算機作為本發(fā)明的圖像處理裝置2來工作。圖像處理裝置2利用通信接口 26來接收從攝像裝置l輸出的圖像數(shù) 據(jù)，并將接收到的圖像數(shù)據(jù)記錄在幀存儲器25中，讀取在幀存儲器25 中記錄的圖像數(shù)據(jù)，進行各種圖像處理，并且將根據(jù)圖像處理的結(jié)果來 控制攝像裝置1的各種數(shù)據(jù)從通信接口 26輸出給攝像裝置1。對接收到 的圖像數(shù)據(jù)執(zhí)行的各種圖像處理是這樣的從圖像數(shù)據(jù)中檢測作為檢測 對象(拍攝時的拍攝對象)的駕駛員的臉部輪廓、以及與確定眼睛和鼻 子的位置等的檢測對象有關(guān)的各種處理。作為具體的處理示例可舉出如 下的處理通過將在圖像的垂直方向上排列的亮度進行累積，并將累積
后的值與預(yù)定的閾值比較，對由亮度比背景亮度高的象素構(gòu)成的臉部輪 廓在水平方向范圍內(nèi)進行檢測。此外，在該處理中可舉出這樣的處理 將累積值的水平方向的變化微分且確定變化大的位置，且對亮度變化大 的背景和臉部輪廓之間的邊界進行檢測。另外，作為其它處理的示例， 可舉出通過圖模式配來檢測眼睛的位置的處理。詳細(xì)的處理內(nèi)容在例如本申請的申請人提出的日本特開2000—163564號公報、日本特開2004 一234494號公報、日本特開2004—234367號公報等文獻(xiàn)中有記載。再有， 這些圖像處理并不僅限于日本特開2000—163564號公報、日本特開2004 一234494號公報、日本特開2004—234367號公報等文獻(xiàn)中所記載的處理， 可根據(jù)其用途、硬件構(gòu)成、與其它應(yīng)用程序的協(xié)作等條件來適當(dāng)選擇。其次，對在本發(fā)明的圖像處理系統(tǒng)中使用的各種裝置的處理進行說 明。圖3及圖4是表示本發(fā)明的圖像處理系統(tǒng)所使用的圖像處理裝置2 的處理的流程圖。圖像處理裝置2通過執(zhí)行在RAM 24中存儲的計算機 程序3的CPU 21的控制，而將由攝像裝置1拍攝所得到并經(jīng)通信接口 26接收到的圖像數(shù)據(jù)從幀存儲器25提取(步驟S1)，對于提取到的圖像 數(shù)據(jù)進行與作為拍攝對象的駕駛員的臉部輪廓的檢測及眼睛和鼻孔的位 置的特定等拍攝對象相關(guān)的檢測處理(步驟S2)。步驟S1 S2的檢測處 理如上述那樣使用特開2000—163564號公報、特開2004—234494號公 報、特開2004—234367號公報等文獻(xiàn)中記載的各種處理來進行。再有， 此時的檢測處理的結(jié)果在HD 23或RAM 24中存儲。圖像處理裝置2，通過CPU 21的控制來判斷是否能夠用步驟Sl S2來檢測拍攝對象(步驟S3)，在判斷為可檢測的情況下(步驟S3:是)， 判斷為拍攝對象存在(步驟S4)，回到步驟S1并對下一圖像數(shù)據(jù)重復(fù)以 后的處理。步驟S3的檢測是拍攝對象是否存在的檢測，判斷基準(zhǔn)可適當(dāng) 設(shè)定。在例如步驟S1 S2的處理中，在檢測作為拍攝對象的駕駛員的臉 部輪廓、眼睛及鼻孔的情況下，可以是只有檢測到輪廓、兩眼睛及兩鼻 孔全部時才能判斷為能檢測拍攝對象，此外還可以是檢測到輪廓和至少 一個眼睛及至少一個鼻孔時判斷為能檢測拍攝對象。再有，步驟S3的判 斷中所使用的拍攝對象的檢測狀況，是讀取在HD 23或RAM 24中記錄
的步驟S1 S2的檢測處理的結(jié)果。在步驟S3中，在判斷為不能檢測拍攝對象的情況下(步驟S3:否)，通過CPU21的控制，判斷不能檢測拍攝對象的狀態(tài)是否在作為第一連續(xù) 基準(zhǔn)值預(yù)先設(shè)定的n幀(n為自然數(shù))以上連續(xù)(步驟S5)。再有，第一 連續(xù)基準(zhǔn)值記錄在HD 23或RAM 24中。在步驟S5中，在判斷為不能檢測拍攝對象狀態(tài)的幀僅在不足n幀(其 中n幀作為第一連續(xù)基準(zhǔn)值)時連續(xù)的情況下(步驟S5:否)，圖像處理 裝置2通過CPU21的控制，判斷不能檢測拍攝對象的狀態(tài)是否在比第一 連續(xù)基準(zhǔn)值小的作為第二連續(xù)基準(zhǔn)值預(yù)先設(shè)定的m幀(m為比n小的自 然數(shù))以上連續(xù)(步驟S6)。再有，第二連續(xù)基準(zhǔn)值記錄在HD 23或RAM 24中。在步驟S6中，在判斷為不能檢測拍攝對象狀態(tài)的幀僅在不足作為第 二連續(xù)基準(zhǔn)值的m幀時連續(xù)的情況下(步驟S6:否)，圖像處理裝置2 通過CPU 21的控制，前進到步驟S4且判斷為存在拍攝對象(步驟S4)。 這是因為在不能檢測拍攝對象的狀態(tài)的持續(xù)狀況短的情況下，如果判斷 為拍攝對象不存在，則錯誤識別的可能性高。在步驟S6中，在判斷為不能檢測拍攝對象狀態(tài)的幀在作為第二連續(xù) 基準(zhǔn)值的m幀以上連續(xù)的情況下(步驟S6:是)，圖像處理裝置2通過 CPU 21的控制，判斷該圖像數(shù)據(jù)的絕對亮度值是否小于預(yù)先設(shè)定的亮度 值基準(zhǔn)值(步驟S7)。再有，亮度值基準(zhǔn)值記錄在HD 23或RAM 24中。 絕對亮度值是基于平均亮度值算出的，例如將該平均亮度值乘以快門速 度、增益值及照射寬度而算出，其中該平均亮度值是象素的平均亮度值， 而該象素形成與圖像數(shù)據(jù)一同從攝像裝置1輸出的拍攝條件數(shù)據(jù)及照射 條件數(shù)據(jù)和用圖像處理裝置1算出的圖像數(shù)據(jù)所表示的圖像。具體而言， 使用以下例示的式(1)來算出。再有，拍攝條件及照射條件還可以不是 從攝像裝置1輸入的值，而是作為控制用的數(shù)據(jù)向攝像裝置1輸出的值。 在本發(fā)明的圖像處理系統(tǒng)所使用的攝像裝置1中，進行使作為拍攝對象 的臉部亮度為一定的增益值的調(diào)整。因此，不使用亮度值而使用絕對亮 度值來進行判斷。
絕對亮度值二平均亮度值X S/s X {1+g/6} X s/t (1) 其中，S:基準(zhǔn)快門速度常數(shù)[sec](例如l/250sec) s:快門速度[sec](例如1/2000sec)g:增益值(例如0 5，例示的式(1)是增益值的0 5的 六個變化相當(dāng)于快門速度1/2的變化的情況)t:照射寬度[sec](其中，在t〉s時，為t二s)在步驟S7中，在判斷為圖像數(shù)據(jù)的絕對亮度值為亮度值基準(zhǔn)值以上 的情況下(步驟S7:否)，圖像處理裝置2，通過CPU21的控制前進到 步驟S4，且判斷為存在拍攝對象(步驟S4)。在本發(fā)明的圖像處理系統(tǒng) 中，由于對拍攝對象照射光，所以在越接近攝像部ll的位置處存在的物 體，則絕對亮度值越大。因此，在絕對亮度值為亮度值基準(zhǔn)值以上的情 況下，判斷為在接近攝像部11的位置處存在拍攝對象。在步驟S5中，在判斷為不能檢測拍攝對象的狀態(tài)的幀在作為第一連 續(xù)基準(zhǔn)值的n幀以上連續(xù)的情況下(步驟S5:是)，或者在步驟S7中， 在判斷為圖像數(shù)據(jù)的絕對亮度值小于亮度值基準(zhǔn)值的情況下(步驟S7: 是)，圖像處理裝置2通過CPU21的控制，中斷攝像裝置l所具備的照 射部12進行的光的照射(步驟S8)，并得到通過在未照射光的狀態(tài)下拍 攝所得到的圖像數(shù)據(jù)(步驟S9)。照射部12在攝像部11進行拍攝的通常 狀態(tài)下對拍攝方向照射光。但是，在步驟S8中，通過進行中斷照射部12 的照射的控制的數(shù)據(jù)從圖像處理裝置2輸出給攝像裝置1，從而暫時中斷 照射部12所進行的照射。而且，圖像處理裝置2，通過CPU21的控制，將照射光時拍攝到的 圖像的平均亮度值及未照射光時拍攝到的圖像的平均亮度進行比較，并 判斷照射光時的平均亮度值與未照射光時的平均亮度值的差是否在預(yù)先 設(shè)定的亮度差基準(zhǔn)值以上(步驟S10 )。再有，亮度值基準(zhǔn)值記錄在HD 23 或RAM24中。在步驟SIO中，在判斷為照射光時的平均亮度值與未照射光時的平 均亮度值的差大于亮度差基準(zhǔn)值以上的情況下(步驟S10:是)，圖像處 理裝置2通過CPU 21的控制，前進到步驟S4，且判斷為存在拍攝對象 (步驟S4)。在步驟S10中，在判斷為照射光時的平均亮度值與未照射光時的平均亮度值的差小于亮度差基準(zhǔn)值的情況下(步驟S10:否)，圖像處理裝置2通過CPU 21的控制，判斷為不存在拍攝對象(步驟Sll)，返回步 驟S1，并對下一圖像數(shù)據(jù)重復(fù)以后的處理。而且，執(zhí)行判斷為不存在拍 攝對象的情況下的駕駛支持等各種處理。在步驟S8 S11所示的處理中，在照射光的情況下，雖然在接近攝 像部11的位置處存在拍攝對象時平均亮度值變大，而在拍攝對象不存在 時光的照射所產(chǎn)生的平均亮度值的變化小。因此，通過將照射光情況下 的平均亮度值和未照射光情況的平均亮度值進行比較，可判斷拍攝對象 是否存在(有無)。此外，在步驟S10的比較中使用的平均亮度值不使用 根據(jù)圖像數(shù)據(jù)整體的亮度的平均亮度值，而是優(yōu)選從圖像數(shù)據(jù)所示的整 體圖像中提取除周邊部圖像以外的中心部圖像，并使用與中心部圖像相 關(guān)的平均亮度值。這是因為當(dāng)存在拍攝對象的情況下，由于在圖像的中 心部存在拍攝對象的可能性高，所以圖像中心部的平均亮度值在拍攝對 象存在的情況和不存在的情況下的差大，從而判斷精度提高。再有，在 步驟S3中判斷為可檢測拍攝對象時等的存在拍攝對象的可能性高的情況 下，避免了步驟S8 S11所表示的平均亮度值的比較，不存在拍攝對象 的判斷等的處理。這是為了防止了通過中斷光的照射而在例如步驟2所 示的處理結(jié)果中產(chǎn)生誤差，以及防止了處理負(fù)荷增大。在上述實施例中，表示了以車輛的駕駛員作為拍攝對象的方式。但 是，本發(fā)明并不限于此，還可以是將人以外的生物或非生物作為拍攝對 象的方式?？烧归_為例如適用于以在固定位置處進行監(jiān)視任務(wù)的保安員 為拍攝對象，在判斷為保安員不在的情況下，進行警告處理的監(jiān)視系統(tǒng) 等各種方式。另外，在上述實施例中，表示了根據(jù)從攝像裝置接收的圖像來用圖像 處理裝置進行各種處理。但是，本發(fā)明并不限于此，也可以是用攝像裝置 來進行作為圖像處理裝置的處理記載的全部或一部分的處理的方式。
權(quán)利要求
1. 一種圖像處理方法，該圖像處理方法使用從拍攝所得到的圖像中 檢測特定拍攝對象的圖像處理裝置，其特征在于，向拍攝方向照射光，將照射光時所拍攝到的圖像與未照射光時所拍攝到的圖像進行比較，根據(jù)比較后的結(jié)果來判斷圖像內(nèi)有無拍攝對象。
2. —種圖像處理系統(tǒng)，該圖像處理系統(tǒng)具備攝像單元；向該攝像單 元進行拍攝的方向照射光的照射單元；以及從拍攝所得到的圖像中檢測 特定拍攝對象的圖像處理裝置，其特征在于，上述圖像處理裝置具備將照射光時所拍攝到的圖像與未照射光時所拍攝到的圖像進行比較 的比較單元；和根據(jù)該比較單元比較后的結(jié)果來判斷圖像內(nèi)有無拍攝對象的判斷單元。
3. 根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)，其特征在于， 上述圖像處理裝置還具備求出拍攝所得到的圖像的亮度的單元， 上述比較單元構(gòu)成為將各圖像的亮度進行比較， 上述判斷單元構(gòu)成為在各圖像的亮度的差小于基準(zhǔn)值的情況下判斷為沒有拍攝對象。
4. 根據(jù)權(quán)利要求3所述的圖像處理系統(tǒng)，其特征在于，上述亮度是構(gòu)成圖像的象素的平均亮度。
5. 根據(jù)權(quán)利要求2至4中任一項所述的圖像處理系統(tǒng)，其特征在于， 該圖像處理系統(tǒng)還具備這樣的單元根據(jù)基于構(gòu)成圖像的象素的平均亮度、上述照射單元的照射條件及上述攝像單元的拍攝條件而導(dǎo)出的 絕對亮度，來判斷圖像內(nèi)有無拍攝對象。
6. 根據(jù)權(quán)利要求2至5中任一項所述的圖像處理系統(tǒng)，其特征在于， 上述圖像處理裝置還具備判斷能否從拍攝所得到的圖像中檢測特定 拍攝對象的單元，上述比較單元和判斷單元構(gòu)成為避免在檢測到特定拍攝對象的情況 下執(zhí)行。
7. 根據(jù)權(quán)利要求2至6中任一項所述的圖像處理系統(tǒng)，其特征在于， 上述照射單元構(gòu)成為照射近紅外區(qū)域波長的光， 上述攝像單元具有使近紅外區(qū)域波長的光透射的濾光器。
8. 根據(jù)權(quán)利要求2至7中任一項所述的圖像處理系統(tǒng)，其特征在于， 該圖像處理系統(tǒng)具備攝像裝置，該攝像裝置具有上述攝像單元及照射單元，且與上述圖像處理裝置相連接。
9. 一種圖像處理裝置，該圖像處理裝置從拍攝所得到的圖像中檢測 特定拍攝對象，其特征在于，該圖像處理裝置具備向拍攝方向照射光的單元；將照射光時所拍攝到的圖像與未照射光時所拍攝到的圖像進行比較 的單元；以及根據(jù)比較后的結(jié)果來判斷圖像內(nèi)有無拍攝對象的單元。
10. —種計算機程序，該計算機程序利用與攝像單元及向該攝像單 元進行拍攝的方向照射光的照射單元相連接的計算機，從拍攝所得到的 圖像中檢測特定拍攝對象，其特征在于，該計算機程序執(zhí)行如下步驟-利用計算機將照射光時所拍攝到的圖像與未照射光時所拍攝到的圖 像進行比較的步驟；以及利用計算機根據(jù)比較后的結(jié)果來判斷圖像內(nèi)有無拍攝對象的步驟。
全文摘要
本發(fā)明提供使用以例如乘坐在車輛中的駕駛員的臉部為拍攝對象的車載照相機并判斷在拍攝所得到的圖像內(nèi)是否存在拍攝對象的圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置及計算機程序。將對拍攝方向照射特定波長的光時拍攝到的圖像的平均亮度與未照射光時拍攝到的平均亮度進行比較，在其差為基準(zhǔn)值以下的情況下，判斷為在通過拍攝所得到的圖像內(nèi)不存在拍攝對象。
文檔編號G06T1/00GK101124610SQ200580048480
公開日2008年2月13日 申請日期2005年2月18日 優(yōu)先權(quán)日2005年2月18日
發(fā)明者東野全壽, 伊藤壽雄, 尾身忠雄, 片桐卓, 田福明義, 馬場幸三 申請人:富士通株式會社