專利名稱：圖像處理方法、圖像處理系統(tǒng)、攝像裝置、圖像處理裝置及計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)拍攝對(duì)象進(jìn)行連續(xù)拍攝，對(duì)基于拍攝的圖像內(nèi)的拍攝 對(duì)象的范圍進(jìn)行檢測的圖像處理方法、應(yīng)用該圖像處理方法的圖像處理 系統(tǒng)、在該圖像處理系統(tǒng)中使用的攝像裝置和圖像處理裝置、及用于實(shí) 現(xiàn)該圖像處理裝置的計(jì)算機(jī)程序，特別涉及易于進(jìn)行范圍的檢測等處理 的圖像處理方法、圖像處理系統(tǒng)、攝像裝置、圖像處理裝置及計(jì)算機(jī)程 序。
背景技術(shù)：
作為汽車等車輛的駕駛輔助裝置，提出了如下的圖像處理裝置，其 使用配置在可拍攝到駕駛者臉部的位置上的車載攝像機(jī)來拍攝駕駛者臉 部，進(jìn)行根據(jù)所得到的圖像來檢測駕駛者的臉部輪廓、眼睛和鼻子的位 置、以及基于這些的臉部狀況的圖像處理(例如，參照專利文獻(xiàn)1)。并 且，使用這樣的裝置構(gòu)成檢測駕駛者狀況來進(jìn)行駕駛者注意力分散時(shí)的 警告等駕駛輔助的系統(tǒng)。
專利文獻(xiàn)1:日本特開2004—234367號(hào)公報(bào)
但是，例如當(dāng)駕駛者臉部遠(yuǎn)離了車載攝像機(jī)時(shí)，拍攝的圖像中的臉 部變小而導(dǎo)致無法充分進(jìn)行輪廓、眼睛和鼻子的位置的檢測等圖像處理。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而產(chǎn)生的，其目的在于提供圖像處理方法、 應(yīng)用該圖像處理方法的圖像處理系統(tǒng)、在該圖像處理系統(tǒng)中使用的攝像 裝置和圖像處理裝置、及用于實(shí)現(xiàn)該圖像處理裝置的計(jì)算機(jī)程序，從而 在對(duì)駕駛者臉部等拍攝對(duì)象進(jìn)行連續(xù)拍攝時(shí)，基于對(duì)第一圖像檢測出的
臉部輪廓等的范圍，對(duì)在第一圖像之后拍攝的第二圖像進(jìn)行放大等加工， 對(duì)加工后的第二圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測，從而易于進(jìn)行圖像 對(duì)象的范圍的檢測等圖像處理。
在第一發(fā)明的圖像處理方法中，對(duì)拍攝對(duì)象進(jìn)行連續(xù)拍攝，對(duì)基于 拍攝的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測，其特征在于，基于從第一圖 像檢測出的拍攝對(duì)象的范圍來加工第一圖像之后的第二圖像，對(duì)加工后 的第二圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測。
第二發(fā)明的圖像處理系統(tǒng)具有攝像單元，其對(duì)拍攝對(duì)象進(jìn)行連續(xù) 拍攝；以及圖像處理單元，其對(duì)基于該攝像單元的拍攝的圖像內(nèi)的拍攝 對(duì)象的范圍進(jìn)行檢測，該圖像處理系統(tǒng)的特征在于，該圖像處理系統(tǒng)具 有加工單元，其基于從第一圖像檢測出的拍攝對(duì)象的范圍來加工第一 圖像之后的第二圖像；以及對(duì)加工后的第二圖像內(nèi)的拍攝對(duì)象的范圍進(jìn) 行檢測的單元。
第三發(fā)明的圖像處理系統(tǒng)，根據(jù)第二發(fā)明，其特征在于，所述加工 單元構(gòu)成為對(duì)第二圖像進(jìn)行放大。
第四發(fā)明的圖像處理系統(tǒng)，根據(jù)第三發(fā)明，其特征在于，所述加工 單元構(gòu)成為基于范圍的大小來確定放大率。
第五發(fā)明的圖像處理系統(tǒng)，根據(jù)第三發(fā)明或第四發(fā)明，其特征在于， 該圖像處理系統(tǒng)還具有確定拍攝對(duì)象內(nèi)的加工的基準(zhǔn)點(diǎn)的單元，所述加 工單元構(gòu)成為以基準(zhǔn)點(diǎn)為中心進(jìn)行放大。
第六發(fā)明的圖像處理系統(tǒng)，根據(jù)第五發(fā)明，其特征在于，所述拍攝 對(duì)象是臉部，所述拍攝對(duì)象的范圍是臉部的規(guī)定方向的范圍，所述拍攝 對(duì)象內(nèi)的基準(zhǔn)點(diǎn)是基于眼睛和/或鼻子的位置而求出的點(diǎn)。
第七發(fā)明的攝像裝置具有對(duì)拍攝對(duì)象進(jìn)行連續(xù)拍攝的單元，且該攝 像裝置與對(duì)基于拍攝的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測的圖像處理裝 置連接，其特征在于，該攝像裝置具有從所述圖像處理裝置接收表示 從第一圖像檢測出的拍攝對(duì)象的范圍的范圍數(shù)據(jù)的輸入的單元；基于所 接收的范圍數(shù)據(jù)所示的范圍來加工第一圖像之后的第二圖像的單元；以 及將表示加工后的第二圖像的圖像數(shù)據(jù)輸出到所述圖像處理裝置的單
元。
第八發(fā)明的圖像處理裝置連續(xù)接收表示圖像的圖像數(shù)據(jù)的輸入，對(duì) 基于所接收的圖像數(shù)據(jù)的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測，其特征在 于，該圖像處理裝置具有根據(jù)從基于第一圖像數(shù)據(jù)的圖像檢測出的拍 攝對(duì)象的范圍來加工第一圖像數(shù)據(jù)之后的第二圖像數(shù)據(jù)的單元；以及對(duì) 基于加工后的第二圖像數(shù)據(jù)的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測的單 元。
第九發(fā)明的計(jì)算機(jī)程序使具有連續(xù)接收表示圖像的圖像數(shù)據(jù)的輸入 的單元的計(jì)算機(jī)，對(duì)基于所接收的圖像數(shù)據(jù)的圖像內(nèi)的拍攝對(duì)象的范圍 進(jìn)行檢測，其特征在于，該計(jì)算機(jī)程序使計(jì)算機(jī)執(zhí)行以下步驟根據(jù)從 基于第一圖像數(shù)據(jù)的圖像檢測出的拍攝對(duì)象的范圍來加工第一圖像數(shù)據(jù) 之后的第二圖像數(shù)據(jù)的步驟；以及對(duì)基于加工后的第二圖像數(shù)據(jù)的圖像 內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測的步驟。
第一發(fā)明、第二發(fā)明、第七發(fā)明、第八發(fā)明和第九發(fā)明應(yīng)用于使用 例如搭載于車輛上且以駕駛者臉部作為拍攝對(duì)象的車載攝像機(jī)的系統(tǒng) 中，基于對(duì)第一圖像進(jìn)行處理的結(jié)果來適當(dāng)加工第二圖像，從而可易于 對(duì)第二圖像進(jìn)行圖像對(duì)象的范圍檢測等圖像處理。特別，當(dāng)在第七發(fā)明
所示的攝像裝置中應(yīng)用時(shí)，作為預(yù)處理預(yù)先進(jìn)行加工以使拍攝對(duì)象以標(biāo) 準(zhǔn)狀態(tài)示于圖像內(nèi)，然后輸出到圖像處理裝置，從而可減輕圖像處理裝 置的處理負(fù)荷，而且可通用于多種圖像處理軟件，所以可削減記錄圖像 數(shù)據(jù)的存儲(chǔ)器。并且在第八發(fā)明和第九發(fā)明中，可使用現(xiàn)有的攝像裝置 來實(shí)現(xiàn)本發(fā)明的圖像處理。
在第三發(fā)明中，例如在拍攝對(duì)象即駕駛者的臉部較小時(shí)，也可通過 進(jìn)行放大，從而易于進(jìn)行圖像對(duì)象的范圍檢測等圖像處理。
在第四發(fā)明中，通過適當(dāng)確定放大率而可將拍攝對(duì)象的大小調(diào)節(jié)為 適于圖像處理的大小。
在第五發(fā)明中，即使在所拍攝的圖像中拍攝對(duì)象移動(dòng)的情況下，也 可調(diào)節(jié)到易于進(jìn)行圖像處理的位置。
在第六發(fā)明中，可適用于駕駛車輛的駕駛者的臉部輪廓、眼睛和鼻
子的位置、以及基于這些的臉部狀況的檢測。
本發(fā)明的圖像處理方法、圖像處理系統(tǒng)、攝像裝置、圖像處理裝置 及計(jì)算機(jī)程序，應(yīng)用于使用例如搭載于車輛上且以駕駛者臉部為拍攝對(duì) 象的車載攝像機(jī)的系統(tǒng)中，對(duì)拍攝對(duì)象進(jìn)行連續(xù)拍攝，根據(jù)從第一圖像 檢測出的拍攝對(duì)象的范圍、例如基于駕駛者的臉部輪廓的幅度、以及駕 駛者的眼睛和鼻子的位置而確定的臉部中心等的基準(zhǔn)點(diǎn)，來對(duì)基于第一 圖像之后的拍攝的第二圖像，進(jìn)行包含以基準(zhǔn)點(diǎn)為中心的拍攝對(duì)象的區(qū) 域的放大等加工，對(duì)加工后的第二圖像進(jìn)行拍攝對(duì)象的范圍檢測、基準(zhǔn) 點(diǎn)確定等圖像處理。
根據(jù)該結(jié)構(gòu)，得到如下的良好效果即使在圖像中的拍攝對(duì)象較小 的情況下，也能夠?qū)⑴臄z對(duì)象放大以及位置調(diào)節(jié)，所以易于進(jìn)行拍攝對(duì) 象的范圍檢測、基準(zhǔn)點(diǎn)的確定等圖像處理。
特別，在應(yīng)用于車載攝像機(jī)等攝像裝置時(shí)，作為預(yù)處理預(yù)先進(jìn)行加 工以使拍攝對(duì)象以標(biāo)準(zhǔn)狀態(tài)示于圖像內(nèi)，然后輸出到圖像處理裝置，從 而可減輕與攝像裝置連接的圖像處理裝置的處理負(fù)荷，而且可通用于多 種圖像處理軟件，因此得到可削減記錄圖像數(shù)據(jù)的存儲(chǔ)器的優(yōu)良效果。


圖1是表示本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)的結(jié)構(gòu)的框圖。
圖2是表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的圖像處
理裝置的圖像識(shí)別處理的流程圖。
圖3是概念地表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的
圖像處理裝置的處理的說明圖。
圖4是概念地表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的
圖像處理裝置的處理的說明圖。
圖5是表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的攝像裝
置的圖像加工用數(shù)據(jù)記錄處理的流程圖。
圖6是表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的攝像裝 置的圖像數(shù)據(jù)加工處理的流程圖。
圖7是概念地表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的 攝像裝置的處理的說明圖。
圖8是表示本發(fā)明第二實(shí)施方式的圖像處理系統(tǒng)的結(jié)構(gòu)的框圖。 圖9是表示在本發(fā)明第二實(shí)施方式的圖像處理系統(tǒng)中使用的攝像裝
置和圖像處理裝置的圖像數(shù)據(jù)取得處理的流程圖。
圖10是表示在本發(fā)明第二實(shí)施方式的圖像處理系統(tǒng)中使用的圖像
處理裝置的圖像處理的流程圖。
標(biāo)號(hào)說明
1:攝像裝置；2:圖像處理裝置；3:計(jì)算機(jī)程序；4:記錄介質(zhì)。
具體實(shí)施例方式
以下基于表示該實(shí)施方式的附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說明。 第一實(shí)施方式
圖1是表示本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)的結(jié)構(gòu)的框圖。在 圖1中，1表示搭載于車輛上的車載攝像機(jī)等攝像裝置，攝像裝置1經(jīng)由
專用電纜等通信線、或者以有線或無線方式構(gòu)成的車內(nèi)LAN (Local Area Network,局域網(wǎng))等通信網(wǎng)與進(jìn)行圖像處理的圖像處理裝置2連接。攝 像裝置1配置于車輛內(nèi)部駕駛者前方的方向盤、儀表板等上，調(diào)節(jié)為能 夠?qū)Ⅰ{駛者臉部作為拍攝對(duì)象進(jìn)行拍攝的狀態(tài)。
攝像裝置1具有:對(duì)裝置整體進(jìn)行控制的MPU(Micro Processor Unit, 微處理器單元)11;存儲(chǔ)基于MPUll的控制來執(zhí)行的各種計(jì)算機(jī)程序和 數(shù)據(jù)的ROM (Read Only Memory,只讀存儲(chǔ)器)12;對(duì)在執(zhí)行記錄于 ROM 12中的計(jì)算機(jī)程序時(shí)臨時(shí)產(chǎn)生的各種數(shù)據(jù)進(jìn)行存儲(chǔ)的RAM (Random Access Memory,隨機(jī)訪問存儲(chǔ)器)13;使用CCD (Charge Coupled Device,電荷耦合器件)等攝像元件構(gòu)成的攝像部14;將由攝像 部14拍攝所得的模擬圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)的A/D轉(zhuǎn)換器15;對(duì)由 A/D轉(zhuǎn)換器15轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)進(jìn)行后述的圖像處理的處理電 路16;對(duì)由處理電路16處理過的圖像數(shù)據(jù)進(jìn)行臨時(shí)存儲(chǔ)的幀存儲(chǔ)器17;
以及在與圖像處理裝置2之間的通信中使用的通信接口 18。
在攝像裝置1中，使用攝像部14進(jìn)行連續(xù)或者間歇的攝像處理，基 于攝像處理例如以每秒30幅生成圖像數(shù)據(jù)(圖像幀)后輸出到A/D轉(zhuǎn)換 器15，在A/D轉(zhuǎn)換器15中，將構(gòu)成圖像數(shù)據(jù)的各像素轉(zhuǎn)換為以256灰 度O位)等灰度表示的數(shù)字圖像數(shù)據(jù)。然后，將由處理電路16處理過 的圖像數(shù)據(jù)存儲(chǔ)于幀存儲(chǔ)器17中，以規(guī)定的定時(shí)將所存儲(chǔ)的圖像數(shù)據(jù)輸 出到圖像處理裝置2。另外，在攝像裝置l中，以規(guī)定的定時(shí)從圖像處理 裝置2接收在處理電路16的處理中所需的各種數(shù)據(jù)，將所接收的數(shù)據(jù)存 儲(chǔ)于處理電路16具有的閃存等存儲(chǔ)器中。另外，在存儲(chǔ)器中預(yù)先存儲(chǔ)有 在由處理電路16進(jìn)行的圖像處理中所需的基準(zhǔn)值等各種數(shù)據(jù)。
圖像處理裝置2具有對(duì)裝置整體進(jìn)行控制的CPU (Central Processing Unit,中央處理單元)21;存儲(chǔ)基于CPU 21的控制而執(zhí)行的 各種計(jì)算機(jī)程序和數(shù)據(jù)的硬盤(以下稱為HD) 22;對(duì)在執(zhí)行記錄于HD 22中的計(jì)算機(jī)程序時(shí)臨時(shí)產(chǎn)生的各種數(shù)據(jù)進(jìn)行存儲(chǔ)的RAM 23;例如由 非易失性存儲(chǔ)器構(gòu)成的幀存儲(chǔ)器24;在與攝像裝置1之間的通信中使用 的通信接口 25;以及對(duì)CD—ROM、存儲(chǔ)卡等記錄介質(zhì)進(jìn)行訪問的輔助 存儲(chǔ)部26。
在圖像處理裝置2中，由通信接口 25接收從攝像裝置1輸出的圖像 數(shù)據(jù)，執(zhí)行記錄于HD 22中的計(jì)算機(jī)程序，從而對(duì)所接收的圖像數(shù)據(jù)進(jìn) 行各種圖像處理，并且將基于圖像處理結(jié)果的各種數(shù)據(jù)從通信接口 25輸 出到攝像裝置1。所謂基于記錄于HD 22中的計(jì)算機(jī)程序的執(zhí)行的圖像 處理是指，根據(jù)圖像數(shù)據(jù)來檢測拍攝對(duì)象即駕駛者的臉部輪廓、確定眼 睛和鼻子的位置、以及基于這些結(jié)果來檢測臉部方向等各種處理。作為 具體的處理例子，可以舉出通過模式匹配(patternmatch)來檢測眼睛位 置的處理。作為其它處理的例子，可以舉出以下處理，即通過對(duì)在圖像 的垂直方向上排列的亮度進(jìn)行累積后將所累積的值與規(guī)定的閾值進(jìn)行比 較，從而檢測出由比背景亮度高的像素構(gòu)成的臉部輪廓的水平方向的范 圍。并且，進(jìn)一步可舉出以下處理，即在該處理中對(duì)累積值的水平方向 的變化進(jìn)行微分來確定變化大的位置，檢測出亮度顯著變化的背景與臉
部輪廓之間的邊界。例如在由本申請(qǐng)的申請(qǐng)人提出的日本特開2000 — 163564號(hào)公報(bào)、日本特開2004—234494號(hào)公報(bào)、日本特開2004—234367
號(hào)公報(bào)等文獻(xiàn)中，記載有詳細(xì)的處理內(nèi)容。另外，這些圖像處理也不一 定限于在日本特開2000—163564號(hào)公報(bào)、日本特開2004—234494號(hào)公 報(bào)以及日本特開2004—234367號(hào)公報(bào)中記載的處理，而可以根據(jù)其用途、 硬件結(jié)構(gòu)以及與其它應(yīng)用程序之間的配合等條件來適當(dāng)選取。
下面，對(duì)在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中執(zhí)行的各種處理 進(jìn)行說明。圖2是表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的 圖像處理裝置2的圖像識(shí)別處理的流程圖。圖像處理裝置2根據(jù)CPU21 的控制來進(jìn)行包含從圖像數(shù)據(jù)檢測出作為拍攝對(duì)象的駕駛者的臉部輪 廓、以及確定眼睛和鼻子位置的圖像處理即拍攝對(duì)象的識(shí)別處理(SIOI)， 基于拍攝對(duì)象識(shí)別處理的結(jié)果來輔助駕駛。另外，圖像處理裝置2根據(jù) CPU 21的控制，基于識(shí)別處理的結(jié)果來檢測拍攝對(duì)象的范圍(S102)， 并且確定拍攝對(duì)象內(nèi)的基準(zhǔn)點(diǎn)(S103)，將表示所檢測的范圍的范圍數(shù)據(jù) 和表示所確定的基準(zhǔn)點(diǎn)的基準(zhǔn)點(diǎn)數(shù)據(jù)從通信接口 25輸出到攝像裝置1 (S104)。例如使用在上述日本特開2000 — 163564號(hào)公報(bào)、日本特開2004 一234494號(hào)公報(bào)、日本特開2004—234367號(hào)公報(bào)等文獻(xiàn)中記載的各種處 理，進(jìn)行步驟SIOI中的拍攝對(duì)象的識(shí)別處理。另外，在步驟SIOI中進(jìn) 行的拍攝對(duì)象的識(shí)別處理中使用的圖像數(shù)據(jù)是指，通過后述的攝像裝置1 的處理對(duì)拍攝到的并進(jìn)行A/D轉(zhuǎn)換的圖像數(shù)據(jù)實(shí)施了伴隨坐標(biāo)系變換的 加工處理后的圖像數(shù)據(jù)，因此在基于識(shí)別處理的結(jié)果來進(jìn)行駕駛輔助處 理時(shí)，可進(jìn)行恢復(fù)到原有坐標(biāo)系的變換處理。其中，在步驟S104中輸出 的范圍數(shù)據(jù)和基準(zhǔn)點(diǎn)數(shù)據(jù)是否需要進(jìn)行恢復(fù)到原有坐標(biāo)系的變換是可以 任意設(shè)定的。在圖像處理裝置2中不進(jìn)行范圍數(shù)據(jù)和基準(zhǔn)點(diǎn)數(shù)據(jù)的變換 時(shí)，在攝像裝置1中進(jìn)行坐標(biāo)系的變換。
圖3是概念地表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的 圖像處理裝置2的處理的說明圖。圖3概念地表示了使用圖2說明的圖 像處理裝置2的圖像識(shí)別處理中的步驟S102的拍攝對(duì)象范圍檢測。在圖 3中由實(shí)線所示的長方形的框是基于圖像數(shù)據(jù)的整個(gè)圖像，其表示在圖像
內(nèi)作為拍攝對(duì)象的駕駛者臉部，兩箭頭所示范圍是拍攝對(duì)象的范圍。所
謂步驟S102中的檢測拍攝對(duì)象范圍的處理是指，基于在步驟S101中檢 測出的拍攝對(duì)象即駕駛者的臉部輪廓來檢測駕駛者臉部的左右方向(水 平方向)的寬度的處理。
圖4是概念地表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的 圖像處理裝置2的處理的說明圖。圖4概念地表示了使用圖2說明的圖 像處理裝置2的圖像識(shí)別處理中的步驟S103的拍攝對(duì)象的基準(zhǔn)點(diǎn)確定。 如圖4所示，所謂步驟S103中的拍攝對(duì)象內(nèi)的基準(zhǔn)點(diǎn)確定是指，基于在 步驟S101中檢測出的拍攝對(duì)象即駕駛者臉部內(nèi)確定的眼睛和鼻子的位 置，來將臉部中心確定為成為加工基準(zhǔn)的基準(zhǔn)點(diǎn)的處理，具體而言是以 下處理，即根據(jù)圖4中虛線X標(biāo)記所示的雙眼和鼻子的兩孔這四點(diǎn)坐標(biāo)， 來計(jì)算實(shí)線X標(biāo)記所示的重心的坐標(biāo)，之后將計(jì)算出的重心確定為臉部 中心即基準(zhǔn)點(diǎn)的處理。
圖5是表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的攝像裝 置1的圖像加工用數(shù)據(jù)記錄處理的流程圖。在攝像裝置1中，根據(jù)MPU 11的控制，由通信接口 18接收從圖像處理裝置2輸出的范圍數(shù)據(jù)和基準(zhǔn) 點(diǎn)數(shù)據(jù)的輸入(S201)，將接收的范圍數(shù)據(jù)與在處理電路16的存儲(chǔ)器中 預(yù)先作為基準(zhǔn)值記錄的范圍數(shù)據(jù)的最大值進(jìn)行比較(S202)。
在步驟S202中，當(dāng)判定為所接收的范圍數(shù)據(jù)比范圍數(shù)據(jù)的最大值大 時(shí)(S202:是)，在攝像裝置l中，根據(jù)MPU11的控制，進(jìn)行使在處理 電路16的存儲(chǔ)器中記錄的表示放大率的數(shù)值降低的放大率變更處理 (S203)。所謂表示放大率的數(shù)值是指，表示作為圖像數(shù)據(jù)的加工而放大 圖像數(shù)據(jù)時(shí)的倍率的數(shù)值，在處理電路16的存儲(chǔ)器中記錄的數(shù)值是在前 次對(duì)圖像數(shù)據(jù)進(jìn)行放大時(shí)使用的數(shù)值。S卩，通過步驟S203中的放大率變 更處理，判定是否以前次的放大率進(jìn)行放大。另外，在變更放大率時(shí)， 計(jì)算所接收的范圍數(shù)據(jù)和預(yù)先記錄的基準(zhǔn)值之比，基于計(jì)算出的比來計(jì) 算變更后的放大率。另外，也可以預(yù)先記錄分級(jí)為幾個(gè)等級(jí)的多個(gè)放大 率，在變更放大率時(shí)，通過使放大率的級(jí)改變規(guī)定等級(jí)來變更放大率。
在步驟S202中，當(dāng)判定為所接收的范圍數(shù)據(jù)為范圍數(shù)據(jù)的最大值以
下時(shí)(S202:否)，在攝像裝置l中，根據(jù)MPU11的控制，對(duì)所接收的 范圍數(shù)據(jù)和在處理電路16的存儲(chǔ)器中預(yù)先作為基準(zhǔn)值記錄的范圍數(shù)據(jù)的 最小值進(jìn)行比較(S204)。
在步驟S204中，當(dāng)判定為所接收的范圍數(shù)據(jù)比范圍數(shù)據(jù)的最小值小 吋(S204:是)，在攝像裝置l中，根據(jù)MPU11的控制，進(jìn)行使在處理 電路16的存儲(chǔ)器中記錄的表示放大率的數(shù)值提高的放大率變更處理 (S205)。艮卩，在步驟S202 S205的處理中，基于范圍數(shù)據(jù)所表示的范 圍大小來確定放大率。另外，也可以不將范圍數(shù)據(jù)與最大值和最小值進(jìn) 行比較，而在每次接收范圍數(shù)據(jù)時(shí)，基于所接收的范圍數(shù)據(jù)來變更放大 率。另外，在所接收的范圍數(shù)據(jù)沒有通過圖像處理裝置2迸行坐標(biāo)系^變 換的情況下，在步驟S202的比較前進(jìn)行變換處理。
在步驟S203或者步驟S205中實(shí)施放大率變更處理后，或者在步I聚 S204中，當(dāng)判定為所接收的范圍數(shù)據(jù)為范圍數(shù)據(jù)的最小值以上時(shí)(S204: 否)，在攝像裝置1中，根據(jù)MPU 11的控制，基于在步驟S201中接收 的基準(zhǔn)點(diǎn)數(shù)據(jù)來確定成為放大中心的坐標(biāo)(S206)，將所確定的成為放大 中心的坐標(biāo)記錄到處理電路16的存儲(chǔ)器中(S207)。在步驟S206中，將 基準(zhǔn)點(diǎn)數(shù)據(jù)確定為成為放大中心的坐標(biāo)。但是，在所接收的基準(zhǔn)點(diǎn)數(shù)據(jù) 沒有通過圖像處理裝置2進(jìn)行坐標(biāo)系變換的情況下，將基準(zhǔn)點(diǎn)數(shù)據(jù)的坐 標(biāo)系變換后的坐標(biāo)確定為成為放大中心的坐標(biāo)。并且，在確定成為放大 中心的坐標(biāo)時(shí)，基于在存儲(chǔ)器中記錄的放大率，來判定該坐標(biāo)是否處于 放大后的圖像的有效范圍內(nèi)。
圖6是表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的攝像裝 置1的圖像數(shù)據(jù)加工處理的流程圖。在攝像裝置1中，基于MPUll的控 制，由處理電路16接收攝像部14拍攝后通過A/D轉(zhuǎn)換器15轉(zhuǎn)換為數(shù)字 數(shù)據(jù)的圖像數(shù)據(jù)，在處理電路16中，讀取在存儲(chǔ)器中記錄的表示放大率 的數(shù)值以及成為放大中心的坐標(biāo)(S301)，按照所讀取的數(shù)值表示的放大 率，以讀取的坐標(biāo)為中心，進(jìn)行放大所接收的圖像數(shù)據(jù)的加工處理
(S302)。放大的圖像數(shù)據(jù)的范圍根據(jù)放大率和放大中心來確定。另外， 在放大圖像數(shù)據(jù)時(shí)，進(jìn)行構(gòu)成圖像數(shù)據(jù)的像素的插值處理。并且，伴隨圖像數(shù)據(jù)的放大來進(jìn)行坐標(biāo)系的變換。然后，在攝像裝置1中，根據(jù)MPU ll的控制，將放大的圖像數(shù)據(jù)存儲(chǔ)于幀存儲(chǔ)器17，以規(guī)定的定時(shí)將在幀 存儲(chǔ)器17中存儲(chǔ)的放大的圖像數(shù)據(jù)從通信接口 18輸出到圖像處理裝置2 (S303)。另外，在圖像處理裝置2中，在進(jìn)行與圖像數(shù)據(jù)的坐標(biāo)系變換 相關(guān)的處理時(shí)，坐標(biāo)系變換所需的數(shù)據(jù)也從攝像裝置1輸出到圖像處理 裝置2。
圖7是概念地表示在本發(fā)明第一實(shí)施方式的圖像處理系統(tǒng)中使用的 攝像裝置1的處理的說明圖。圖7概念地表示了使用圖6說明的攝像裝 置1的圖像數(shù)據(jù)加工處理中的步驟S302的加工處理。圖7 (a)的由實(shí)線 所示的框表示基于通過拍攝得到的加工處理前的圖像數(shù)據(jù)的圖像，對(duì)圖7 (a)內(nèi)的由單點(diǎn)劃線所示框內(nèi)的圖像進(jìn)行加工處理。另外，圖7 (b)的 由實(shí)線所示的框表示基于加工處理后的圖像數(shù)據(jù)的圖像。圖7所示的加 工處理為圖像的放大處理，以在圖7 (a)所示的圖像中示出的成為放大 中心的坐標(biāo)(x， y)為中心，基于從存儲(chǔ)器讀取的放大率，來放大圖7 (a)的圖像的局部。另外，所謂放大的局部圖像是指，根據(jù)放大率和放 大中心來確定的范圍內(nèi)的圖像。
另外，在圖像處理裝置2中，通過通信接口 25接收放大后的加工處 理后的圖像數(shù)據(jù)的輸入，對(duì)所接收的圖像數(shù)據(jù)進(jìn)行拍攝對(duì)象的識(shí)別、拍 攝對(duì)象的范圍檢測、基準(zhǔn)點(diǎn)的確定等使用圖2表示的圖像識(shí)別處理。這 樣在本發(fā)明的圖像處理系統(tǒng)中，基于從第一圖像檢測出的拍攝對(duì)象范圍 以及確定的基準(zhǔn)點(diǎn)，來對(duì)基于第一圖像之后的拍攝的第二圖像，進(jìn)行包 含以基準(zhǔn)點(diǎn)為中心的拍攝對(duì)象的區(qū)域的放大等加工，對(duì)加工后的第二圖 像進(jìn)行拍攝對(duì)象的范圍檢測、基準(zhǔn)點(diǎn)確定等圖像處理。
第二實(shí)施方式
第二實(shí)施方式是在第一實(shí)施方式中，由圖像處理裝置2來進(jìn)行圖像 數(shù)據(jù)的加工處理的方式。圖8是表示本發(fā)明第二實(shí)施方式的圖像處理系 統(tǒng)的結(jié)構(gòu)的框圖。另外，對(duì)于和第一實(shí)施方式相同的結(jié)構(gòu)要素附加與第 一實(shí)施方式相同的標(biāo)號(hào)而省略說明。在第二實(shí)施方式中，由于由圖像處 理裝置2進(jìn)行圖像數(shù)據(jù)的加工處理，因此攝像裝置1不具有處理電路16。
圖像處理裝置2通過輔助存儲(chǔ)部26從記錄有本發(fā)明的計(jì)算機(jī)程序3和數(shù) 據(jù)等各種信息的記錄介質(zhì)4中讀取各種信息，將所讀取的各種信息記錄 于HD 22，將記錄于HD 22中的各種信息存儲(chǔ)于RAM 23后根據(jù)CPU 21 的控制來執(zhí)行。另外，在執(zhí)行本發(fā)明的計(jì)算機(jī)程序3時(shí)，在HD22中i己 錄圖像處理所需的基準(zhǔn)值等數(shù)據(jù)。
圖9是表示在本發(fā)明第二實(shí)施方式的圖像處理系統(tǒng)中使用的攝像裝 置1和圖像處理裝置2的圖像數(shù)據(jù)取得處理的流程圖。攝像裝置1根據(jù) MPU 11的控制，將攝像裝置14拍攝后通過A/D轉(zhuǎn)換器15轉(zhuǎn)換為數(shù)字?jǐn)?shù) 據(jù)的圖像數(shù)據(jù)存儲(chǔ)于幀存儲(chǔ)器17，以規(guī)定的定時(shí)將存儲(chǔ)于幀存儲(chǔ)器17中 的圖像數(shù)據(jù)從通信接口 2輸出到圖像處理裝置2 (S401)。
圖像處理裝置2根據(jù)CPU 21的控制，通過通信接口 25接收從攝像 裝置1輸出的圖像數(shù)據(jù)(S402)，將所接收的圖像數(shù)據(jù)存儲(chǔ)于幀存儲(chǔ)器24 (S403)。
圖10是表示在本發(fā)明第二實(shí)施方式的圖像處理系統(tǒng)中使用的圖像 處理裝置2的圖像處理的流程圖。圖像處理裝置2根據(jù)CPU21的控制， 來讀取在HD 22或者RAM 23中記錄的表示放大率的數(shù)值和成為放大中 心的坐標(biāo)(S501)，按照所讀取的數(shù)值表示的放大率，以讀取的坐標(biāo)為中 心，進(jìn)行放大存儲(chǔ)于幀存儲(chǔ)器24中的圖像數(shù)據(jù)的加工處理(S502)。
然后，圖像處理裝置2根據(jù)CPU21的控制，根據(jù)放大后的圖像數(shù)據(jù) 來進(jìn)行包括檢測拍攝對(duì)象即駕駛者的臉部輪廓、以及確定眼睛和鼻子的 位置的圖像處理即拍攝對(duì)象的識(shí)別處理(S503)，基于拍攝對(duì)象識(shí)別處理 的結(jié)果來輔助駕駛。另外，圖像處理裝置2根據(jù)CPU21的控制，基于識(shí) 別處理的結(jié)果，來檢測拍攝對(duì)象的范圍(S504)，并且確定拍攝對(duì)象內(nèi)的 基準(zhǔn)點(diǎn)(S505)。
然后，圖像處理裝置2根據(jù)CPU21的控制，將在步驟S504中檢測 出的拍攝對(duì)象的范圍和預(yù)先在HD 22中作為基準(zhǔn)值記錄的拍攝對(duì)象范圍 的最大值進(jìn)行比較(S506)。
在步驟S506中，當(dāng)判定為所檢測出的拍攝對(duì)象范圍比所記錄的范圍 的最大值大時(shí)(S506:是)，在圖像處理裝置2中根據(jù)CPU21的控制，
進(jìn)行使在HD 22或RAM 23中記錄的表示放大率的數(shù)值降低的放大率變 更處理(S507)。
在步驟S506中，當(dāng)判定為所檢測出的拍攝對(duì)象范圍在所記錄的范圍 的最大值以下時(shí)(S506:否)，在圖像處理裝置2中根據(jù)CPU21的控制， 將在步驟S504中檢測出的拍攝對(duì)象范圍和預(yù)先在HD 22中作為基準(zhǔn)值記 錄的拍攝對(duì)象范圍的最小值進(jìn)行比較(S508)。
在步驟S508中，當(dāng)判定為所檢測出的拍攝對(duì)象范圍比所記錄的范圍 的最小值小時(shí)(S508:是)，在圖像處理裝置2中根據(jù)CPU21的控制， 進(jìn)行使在HD 22或RAM 23中記錄的表示放大率的數(shù)值提高的放大率變 更處理(S509)。
在步驟S507或步驟S509中實(shí)施放大率變更處理后，或者在步驟 S508中，當(dāng)判定為所檢測出的拍攝對(duì)象范圍是所記錄的范圍的最小值以 上時(shí)(S508:否)，在圖像處理裝置2中根據(jù)CPU21的控制，基于在步 驟S505中確定的基準(zhǔn)點(diǎn)來確定成為放大中心的坐標(biāo)(S510)，將所確定 的成為放大中心的坐標(biāo)記錄于HD22或RAM23 (S511)。在執(zhí)行了到步 驟S511為止的處理的時(shí)間點(diǎn)存儲(chǔ)于HD22或RAM23中的放大率和成為 放大中心的坐標(biāo)，在對(duì)下一圖像數(shù)據(jù)進(jìn)行放大的加工處理中使用。
如在第一和第二實(shí)施方式中具體說明的那樣，在本發(fā)明中，連續(xù)對(duì) 拍攝對(duì)象進(jìn)行拍攝，根據(jù)基于第一圖像確定的放大率和成為放大中心的 坐標(biāo)，對(duì)通過第一圖像之后的拍攝得到的第二圖像進(jìn)行加工，進(jìn)行基于 加工后的第二圖像的各種圖像處理，并進(jìn)一步重復(fù)對(duì)下一圖像的放大率 和成為放大中心的坐標(biāo)進(jìn)行確定的處理。
在前述第一和第二實(shí)施方式中，作為加工圖像的處理示出了進(jìn)行放 大的處理，但本發(fā)明不限于此，也可以使用縮小、灰度變換、微分處理 等各種處理。并且，作為放大處理，雖然示出了放大圖像數(shù)據(jù)的方式， 但是也可以是對(duì)拍攝的范圍進(jìn)行光學(xué)放大的方式。
在前述第一和第二實(shí)施方式中，雖然示出了以車輛駕駛者為拍攝對(duì) 象的方式，但本發(fā)明不限于此，也可以是以各種人物以及人物以外的生 物或非生物為拍攝對(duì)象的方式。
權(quán)利要求
1、一種圖像處理方法，該圖像處理方法對(duì)拍攝對(duì)象進(jìn)行連續(xù)拍攝，對(duì)基于拍攝的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測，其特征在于，在該圖像處理方法中，基于從第一圖像檢測出的拍攝對(duì)象的范圍來加工第一圖像之后的第二圖像，對(duì)加工后的第二圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測。
2、 一種圖像處理系統(tǒng)，該圖像處理系統(tǒng)具有攝像單元，其對(duì)拍攝 對(duì)象進(jìn)行連續(xù)拍攝；以及圖像處理單元，其對(duì)基于該攝像單元的拍攝的 圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測，該圖像處理系統(tǒng)的特征在于，該圖 像處理系統(tǒng)具有-加工單元，其基于從第一圖像檢測出的拍攝對(duì)象的范圍來加工第一 圖像之后的第二圖像；以及對(duì)加工后的第二圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測的單元。
3、 根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)，其特征在于，所述加工單 元構(gòu)成為對(duì)第二圖像進(jìn)行放大。
4、 根據(jù)權(quán)利要求3所述的圖像處理系統(tǒng)，其特征在于，所述加工單 元構(gòu)成為基于范圍的大小來確定放大率。
5、 根據(jù)權(quán)利要求3或4所述的圖像處理系統(tǒng)，其特征在于，該圖像 處理系統(tǒng)還具有確定拍攝對(duì)象內(nèi)的加工的基準(zhǔn)點(diǎn)的單元，所述加工單元構(gòu)成為以基準(zhǔn)點(diǎn)為中心進(jìn)行放大。
6、 根據(jù)權(quán)利要求5所述的圖像處理系統(tǒng)，其特征在于，所述拍攝對(duì) 象是臉部，所述拍攝對(duì)象的范圍是臉部的規(guī)定方向的范圍， 所述拍攝對(duì)象內(nèi)的基準(zhǔn)點(diǎn)是基于眼睛和/或鼻子的位置而求出的點(diǎn)。
7、 一種攝像裝置，該攝像裝置具有對(duì)拍攝對(duì)象進(jìn)行連續(xù)拍攝的單元， 且該攝像裝置與對(duì)基于拍攝的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測的圖像 處理裝置連接，其特征在于，該攝像裝置具有從所述圖像處理裝置接收表示從第一圖像檢測出的拍攝對(duì)象的范圍 的范圍數(shù)據(jù)的輸入的單元；基于所接收的范圍數(shù)據(jù)所示的范圍來加工第一圖像之后的第二圖像 的單元；以及將表示加工后的第二圖像的圖像數(shù)據(jù)輸出到所述圖像處理裝置的單元。
8、 一種圖像處理裝置，其連續(xù)接收表示圖像的圖像數(shù)據(jù)的輸入，對(duì) 基于所接收的圖像數(shù)據(jù)的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測，其特征在 于，該圖像處理裝置具有根據(jù)從基于第一圖像數(shù)據(jù)的圖像所檢測出的拍攝對(duì)象的范圍來加工 第一圖像數(shù)據(jù)之后的第二圖像數(shù)據(jù)的單元；以及對(duì)基于加工后的第二圖像數(shù)據(jù)的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測 的單元。
9、 一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序使具有連續(xù)接收表示圖像的圖像 數(shù)據(jù)的輸入的單元的計(jì)算機(jī)，對(duì)基于所接收的圖像數(shù)據(jù)的圖像內(nèi)的拍攝 對(duì)象的范圍進(jìn)行檢測，其特征在于，該計(jì)算機(jī)程序使計(jì)算機(jī)執(zhí)行以下步 驟根據(jù)從基于第一圖像數(shù)據(jù)的圖像所檢測出的拍攝對(duì)象的范圍來加工 第一圖像數(shù)據(jù)之后的第二圖像數(shù)據(jù)的步驟；以及對(duì)基于加工后的第二圖像數(shù)據(jù)的圖像內(nèi)的拍攝對(duì)象的范圍進(jìn)行檢測 的步驟。
全文摘要
本發(fā)明提供圖像處理方法、圖像處理系統(tǒng)、攝像裝置、圖像處理裝置及計(jì)算機(jī)程序，從而在使用例如搭載于車輛上的以駕駛者臉部為拍攝對(duì)象的車載攝像機(jī)的系統(tǒng)中，對(duì)拍攝對(duì)象進(jìn)行連續(xù)拍攝，基于根據(jù)從第一圖像檢測出的拍攝對(duì)象的范圍、例如駕駛者的臉部輪廓的寬度、以及駕駛者的眼睛和鼻子的位置來確定的臉部中心等基準(zhǔn)點(diǎn)，對(duì)基于第一圖像之后的拍攝的第二圖像，進(jìn)行包含以基準(zhǔn)點(diǎn)為中心的拍攝對(duì)象的區(qū)域的放大等加工，對(duì)加工后的第二圖像，進(jìn)行拍攝對(duì)象的范圍檢測、基準(zhǔn)點(diǎn)的確定等圖像處理。
文檔編號(hào)G06T1/00GK101107625SQ20058004718
公開日2008年1月16日 申請(qǐng)日期2005年2月17日 優(yōu)先權(quán)日2005年2月17日
發(fā)明者東野全壽, 伊藤壽雄, 片桐卓, 田福明義, 馬場幸三, 高島知信 申請(qǐng)人:富士通株式會(huì)社