專利名稱：圖像處理裝置、圖像處理方法和成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置、圖像處理方法、和成像裝置。
背景技術(shù)：
舉例來(lái)說(shuō)，當(dāng)觀看通過(guò)數(shù)碼相機(jī)等拍攝的多個(gè)照片圖像時(shí)，可以使用面部圖像檢測(cè)技術(shù)。這項(xiàng)技術(shù)用于通過(guò)從每張照片中提取面部信息，然后使用該面部信息作為該照片的索引來(lái)搜索照片。同樣，當(dāng)調(diào)節(jié)照片的圖像質(zhì)量時(shí)，也用到這項(xiàng)技術(shù)。調(diào)節(jié)圖像質(zhì)量，以使所提取的面部區(qū)域成為最好的一個(gè)。此外，從為調(diào)節(jié)相機(jī)而實(shí)時(shí)拍攝的圖像中檢測(cè)出面部區(qū)域，以最佳地曝光或聚焦面部區(qū)域。同樣，通過(guò)搖鏡頭/傾架(pan/tilter)來(lái)控制相機(jī)的拍攝方向，以使得面部位置處于中心。此外，面部圖像識(shí)別技術(shù)可以應(yīng)用于諸如個(gè)人身份識(shí)別等安全領(lǐng)域中。
例如，第2005-44330號(hào)日本未審查專利申請(qǐng)公開(kāi)中描述了一種用于識(shí)別面部圖像的方法，從而，確定在搜索窗(下文中，適當(dāng)稱作部分圖像)中的圖像是否是面部，其中，在部分圖像的像素值與學(xué)術(shù)字典之間進(jìn)行比較計(jì)算。
同樣，第2006-48328號(hào)日本未審查專利申請(qǐng)公開(kāi)中描述了一種能夠根據(jù)由于玻璃等反射光而產(chǎn)生的發(fā)光圖像來(lái)容易地檢測(cè)面部區(qū)域的面部檢測(cè)裝置。
如第2005-44330號(hào)和第2006-48328號(hào)日本未審查專利申請(qǐng)公開(kāi)所述，在適用于實(shí)時(shí)圖像或存儲(chǔ)的圖像數(shù)據(jù)的面部圖像檢測(cè)方法中，通過(guò)搜索窗掃描圖像來(lái)獲得對(duì)應(yīng)于每個(gè)搜索窗的部分圖像，并且檢測(cè)該部分圖像是否包括面部。例如，作為一種面部區(qū)域的檢測(cè)方法，在部分圖像和先前已通過(guò)學(xué)習(xí)得到的樣板之間進(jìn)行比較處理。除此之外，可以使用另一種面部區(qū)域檢測(cè)方法。例如，第2005-48328號(hào)日本未審查專利申請(qǐng)公開(kāi)中描述了以下的方法。一種方法是將部分圖像的像素向量化并投影到主分量空間(maincomponent space)上，計(jì)算向量到主分量空間的距離以及向量在主分量空間中的距離，然后確定在部分圖像中是否存在面部區(qū)域。另一種方法是從在背景圖像(不包括人輪廓的圖像)和包括人輪廓的圖像之間的不同信息中識(shí)別出面部區(qū)域和眼睛區(qū)域的位置。
圖6A和圖6B分別示出了用于取出部分圖像的一個(gè)掃描實(shí)例和另一個(gè)掃描實(shí)例。在圖6A和圖6B中示出的圖像是通過(guò)獲取相同但面部尺寸不同的拍攝對(duì)象得到的個(gè)別實(shí)例。為了取出部分圖像，例如，由四邊形(例如正方形)表示的搜索窗用于從圖像的左上角(upper left corner)向右下角進(jìn)行掃描。搜索窗的位置沿水平方向和垂直方向移動(dòng)m個(gè)像素距(pixel step)。優(yōu)選地，m個(gè)像素與搜索窗的尺寸成正比例，并且例如，將m個(gè)像素設(shè)置成大約一側(cè)長(zhǎng)度的十分之一。在圖6A中所示的相對(duì)大的面部和圖6B中的相對(duì)小的面部之間，搜索窗的適當(dāng)尺寸是不同的。在面部大的情況下，搜索窗的尺寸變大。

發(fā)明內(nèi)容
在一個(gè)圖像中可能存在各種尺寸的面部，因而，需要改變用于取出部分圖像的搜索窗的尺寸。對(duì)多個(gè)尺寸的搜索窗單獨(dú)地執(zhí)行面部檢測(cè)處理。如上所述，當(dāng)與搜索窗的尺寸近似成比例地改變移動(dòng)量時(shí)，如果搜索窗很小，則在掃描過(guò)程中生成的搜索窗的總數(shù)量變大，因而，用于確定面部區(qū)域的計(jì)算量增加。同樣，如果待處理的圖像尺寸(分辨率)變大，則計(jì)算量增加。處理量的增加導(dǎo)致CPU工作量的增加，因而，存在的問(wèn)題在于處理時(shí)間變長(zhǎng)。特別地，結(jié)合到移動(dòng)裝置(諸如數(shù)碼相機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理)中的微型計(jì)算機(jī)的處理能力達(dá)不到這么高，因而，很難在短時(shí)間內(nèi)，在不降低精度的情況下執(zhí)行面部檢測(cè)。
另一方面，在實(shí)際快照拍攝人輪廓的情況下，在作為拍攝對(duì)象的面部區(qū)域的位置中存在一定程度的傾斜或偏離。在拍攝對(duì)象的面部成為照片主題的情況下，面部區(qū)域通常位于所拍攝圖像的中心附近。然而，由于是對(duì)整個(gè)圖像執(zhí)行面部檢測(cè)處理，因而，存在的問(wèn)題在于檢測(cè)到了并不必需開(kāi)始就檢測(cè)的面部、已意外拍攝到的面部等等?？梢曰诿娌繀^(qū)域檢測(cè)結(jié)果來(lái)實(shí)現(xiàn)諸如對(duì)圖像文件的提取處理等的應(yīng)用。然而，如果如上所述檢測(cè)到了不想要的面部區(qū)域，則會(huì)引起諸如得到錯(cuò)誤的提取結(jié)果的麻煩。
因而，需要提供能夠縮短用于檢測(cè)面部區(qū)域的處理時(shí)間但不降低檢測(cè)精度的圖像處理裝置、圖像處理方法、和成像裝置。
根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理裝置，包括圖像獲取裝置，用于獲取圖像；搜索窗尺寸設(shè)置裝置，用于設(shè)置搜索窗的尺寸；搜索范圍設(shè)置裝置，用于對(duì)應(yīng)于搜索窗的設(shè)置尺寸，在圖像中設(shè)置搜索范圍；掃描裝置，用于在設(shè)置的搜索范圍中移動(dòng)具有設(shè)置尺寸的搜索窗；面部區(qū)域確定裝置，用于確定在每個(gè)掃描位置處的搜索窗中的圖像是否是面部區(qū)域；以及面部信息輸出裝置，用于輸出由面部區(qū)域確定裝置的確定結(jié)果獲得的面部區(qū)域信息。
根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理方法，其包括以下步驟用于獲取圖像的圖像獲取步驟；用于設(shè)置搜索窗的尺寸的搜索窗尺寸設(shè)置步驟；用于對(duì)應(yīng)于搜索窗的設(shè)置尺寸，在圖像中設(shè)置搜索范圍的搜索范圍設(shè)置步驟；用于在設(shè)置的搜索范圍中移動(dòng)具有設(shè)置尺寸的搜索窗的掃描步驟；用于確定在每個(gè)掃描位置處的搜索窗中的圖像是否是面部區(qū)域的面部區(qū)域確定步驟；以及用于輸出由面部區(qū)域確定步驟的確定結(jié)果獲得的面部區(qū)域的信息的面部信息輸出步驟。
根據(jù)本發(fā)明的實(shí)施例，提供了一種成像裝置，其包括相機(jī)部，用于獲取拍攝對(duì)象的圖像；相機(jī)信號(hào)處理部，用于對(duì)來(lái)自相機(jī)部的成像信號(hào)執(zhí)行信號(hào)處理；存儲(chǔ)部，用于存儲(chǔ)成像信號(hào)；以及控制部，用于控制成像裝置的操作，其中，控制部包括搜索窗尺寸設(shè)置部，用于設(shè)置搜索窗的尺寸；搜索范圍設(shè)置部，用于對(duì)應(yīng)于搜索窗的設(shè)置尺寸，在拍攝對(duì)象的圖像中設(shè)置搜索范圍；掃描部，用于在設(shè)置的搜索范圍中移動(dòng)具有設(shè)置尺寸的搜索窗；面部區(qū)域確定部，用于確定在每個(gè)掃描位置處的搜索窗中的圖像是否是面部區(qū)域；以及面部信息輸出部，用于輸出由面部區(qū)域確定部的確定結(jié)果獲得的面部區(qū)域的信息。
通過(guò)本發(fā)明，將面部區(qū)域的搜索范圍限制成比目標(biāo)圖像的整個(gè)范圍窄的范圍，因而，減少了面部區(qū)域檢測(cè)處理所必需的計(jì)算量，從而可以縮短處理時(shí)間。僅在搜索窗尺寸較小的情況下限制搜索范圍。因此，不會(huì)省略像將成為照片主題的大面部的檢測(cè)，因而，可以防止檢測(cè)精度的降低。


圖1是示出了根據(jù)本發(fā)明實(shí)施例的成像裝置的配置實(shí)例的框圖；圖2是根據(jù)本發(fā)明實(shí)施例的面部檢測(cè)裝置的功能框圖；圖3是用于說(shuō)明根據(jù)本發(fā)明實(shí)施例的包括面部的區(qū)域的示意圖；圖4是用于說(shuō)明根據(jù)本發(fā)明實(shí)施例的面部分布圖的示意圖；圖5是示出了根據(jù)本發(fā)明實(shí)施例的面部檢測(cè)處理的流程的流程圖；以及圖6是用于說(shuō)明在面部檢測(cè)處理中通過(guò)搜索窗進(jìn)行掃描的示意圖。
具體實(shí)施例方式
在下文中，將參考附圖給出對(duì)本發(fā)明實(shí)施例的描述。在本實(shí)施例中，本發(fā)明應(yīng)用于具有圖1所示配置的成像裝置。該成像裝置包括相機(jī)部1、相機(jī)DSP(數(shù)字信號(hào)處理器)2、SDRAM(同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)3、介質(zhì)接口(下文中，稱為介質(zhì)I/F)4、控制部5、操作部6、LCD(液晶顯示器)控制器7、LCD 8、和外部接口(下文中，稱為外部I/F)9。記錄介質(zhì)10可拆卸地連接至成像裝置。
例如，記錄介質(zhì)10是所謂的使用半導(dǎo)體存儲(chǔ)器的存儲(chǔ)卡。除了存儲(chǔ)卡之外，還可以使用硬盤(pán)、光學(xué)記錄介質(zhì)(諸如可記錄DVD(數(shù)字多功能光盤(pán))、可記錄CD(光盤(pán))等)、磁盤(pán)等等。
相機(jī)部1包括光學(xué)組塊11、CCD(電荷耦合器件)12、預(yù)處理電路13、光學(xué)組塊驅(qū)動(dòng)器14、CCD驅(qū)動(dòng)器15、和定時(shí)發(fā)生電路16。此處，光學(xué)組塊11包括透鏡、聚焦機(jī)構(gòu)、快門(mén)機(jī)構(gòu)、光圈(可變光闌)機(jī)構(gòu)等等。
控制部5是具有以下配置的微型機(jī)算機(jī)，其中，CPU(中心處理單元)51、RAM(隨機(jī)存取存儲(chǔ)器)52、快速ROM(只讀存儲(chǔ)器)53、定時(shí)器電路54通過(guò)系統(tǒng)總線55連接?？刂撇?控制本實(shí)施例的成像裝置的每個(gè)部件。RAM 52主要用作工作區(qū)域，諸如用于臨時(shí)存儲(chǔ)處理的中間結(jié)果。快速ROM 53存儲(chǔ)由CPU 51執(zhí)行的各種程序、進(jìn)行處理所必需的數(shù)據(jù)等。定時(shí)器電路54提供當(dāng)前日期、星期的當(dāng)前日、當(dāng)前時(shí)間、拍攝日期和時(shí)間等等。
拍攝時(shí)，光學(xué)組塊驅(qū)動(dòng)器14在控制部5的控制下形成用于操作光學(xué)組塊11的驅(qū)動(dòng)信號(hào)，將驅(qū)動(dòng)信號(hào)提供給光學(xué)組塊11，然后操作光學(xué)組塊11。在光學(xué)組塊11中，根據(jù)來(lái)自驅(qū)動(dòng)器14的驅(qū)動(dòng)信號(hào)來(lái)控制聚焦機(jī)構(gòu)、快門(mén)機(jī)構(gòu)、和光圈機(jī)構(gòu)，攝取拍攝對(duì)象的圖像，然后將該對(duì)象圖像提供給CCD 12。
CCD 12對(duì)來(lái)自光學(xué)組塊11的對(duì)象圖像進(jìn)行光電轉(zhuǎn)換，然后將其輸出。CCD 12根據(jù)來(lái)自CCD驅(qū)動(dòng)器15的驅(qū)動(dòng)信號(hào)而操作，以攝取對(duì)象的圖像。基于來(lái)自由控制部5控制的定時(shí)發(fā)生電路16的定時(shí)信號(hào)，將所攝取的對(duì)象圖像作為電信號(hào)提供給預(yù)處理電路13。
在這點(diǎn)上，如上所述，定時(shí)發(fā)生電路16在控制部5的控制下形成用于提供預(yù)定定時(shí)的定時(shí)信號(hào)。同樣，CCD驅(qū)動(dòng)器15基于來(lái)自定時(shí)發(fā)生電路16的定時(shí)信號(hào)來(lái)形成用于將驅(qū)動(dòng)信號(hào)提供給CCD12的定時(shí)信號(hào)。
預(yù)處理電路13對(duì)所提供的圖像信號(hào)執(zhí)行CDS(相關(guān)雙采樣)處理來(lái)改善信噪比(S/N ratio)，執(zhí)行AGC(自動(dòng)增益控制)處理來(lái)控制增益，并且執(zhí)行A/D(模擬/數(shù)字)轉(zhuǎn)換來(lái)將圖像數(shù)據(jù)形成為數(shù)字信號(hào)。
來(lái)自預(yù)處理電路13的數(shù)字圖像數(shù)據(jù)被提供給DSP 2。DSP 2對(duì)圖像數(shù)據(jù)執(zhí)行諸如AF(自動(dòng)聚焦)、AE(自動(dòng)曝光)、AWB(自動(dòng)白平衡)等相機(jī)信號(hào)處理。通過(guò)預(yù)定壓縮方法對(duì)已經(jīng)過(guò)相機(jī)信號(hào)處理的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮，然后將作為待記錄在記錄介質(zhì)10中的圖像文件提供給通過(guò)系統(tǒng)總線55和介質(zhì)I/F 4連接的記錄介質(zhì)10。
同樣，根據(jù)從用戶輸入的操作(已通過(guò)包括接觸面板、控制鍵等的操作部6接收)，通過(guò)介質(zhì)I/F 4從記錄介質(zhì)10中讀取記錄在記錄介質(zhì)10中的圖像數(shù)據(jù)的目標(biāo)圖像數(shù)據(jù)，然后將其提供給DSP2。
DSP 2對(duì)已從記錄介質(zhì)10中讀取并且通過(guò)介質(zhì)I/F 4提供的壓縮圖像數(shù)據(jù)執(zhí)行解壓縮處理(擴(kuò)展處理)，然后通過(guò)系統(tǒng)總線55將解壓縮的圖像數(shù)據(jù)提供給LCD控制器7。LCD控制器7根據(jù)圖像數(shù)據(jù)形成將要提供給LCD 8的顯示圖像信號(hào)，然后將該顯示圖像信號(hào)提供給LCD 8。因而，在LCD 8上顯示對(duì)應(yīng)于記錄在記錄介質(zhì)10中的圖像數(shù)據(jù)的圖像。
在這點(diǎn)上，圖像的顯示形式取決于記錄在ROM中的顯示處理程序。即，這種顯示處理程序是指定了如下所述的文件系統(tǒng)的結(jié)構(gòu)以及再生圖像的方式的程序。
此外，成像裝置設(shè)置有外部I/F 9。例如，外部個(gè)人計(jì)算機(jī)通過(guò)外部I/F 9連接至成像裝置。因而，成像裝置可以接收從個(gè)人計(jì)算機(jī)提供的圖像數(shù)據(jù)，然后將其記錄在連接至裝置本身的記錄介質(zhì)中。此外，成像裝置可以將記錄在連接至裝置的記錄介質(zhì)中的圖像數(shù)據(jù)提供給外部個(gè)人計(jì)算機(jī)。
此外，通過(guò)將通信模塊連接至外部I/F 9，例如，通過(guò)連接至諸如互聯(lián)網(wǎng)的網(wǎng)絡(luò)，成像裝置可以通過(guò)網(wǎng)絡(luò)獲得各種圖像數(shù)據(jù)和其他信息，并將圖像數(shù)據(jù)記錄在連接至裝置本身的記錄介質(zhì)中?？蛇x地，成像裝置可以通過(guò)網(wǎng)絡(luò)將記錄在連接至裝置本身的記錄介質(zhì)中的數(shù)據(jù)傳輸至傳輸目的地。
此外，成像裝置可以如上所述來(lái)讀取和再生信息(諸如，已通過(guò)外部個(gè)人計(jì)算機(jī)或網(wǎng)絡(luò)獲得并且已記錄在記錄介質(zhì)中的圖像數(shù)據(jù))，并且將其顯示在LCD 8上。
在這點(diǎn)上，可以將外部I/F 9設(shè)置成有線接口，諸如IEEE(電氣和電子工程師協(xié)會(huì))1394、USB(通用串行總線)等。此外，可以通過(guò)光或無(wú)線電波將外部I/F 9設(shè)置成無(wú)線接口。即，外部I/F 9可以是無(wú)線或有線接口中的任何一個(gè)。
如上所述，本實(shí)施例的成像裝置可以攝取拍攝對(duì)象的圖像，并且將所攝取的圖像記錄在連接至該裝置的記錄介質(zhì)中。此外，成像裝置可以讀取記錄在記錄介質(zhì)中的圖像數(shù)據(jù)、再生圖像數(shù)據(jù)、以及使用圖像數(shù)據(jù)。此外，成像裝置可以接收到通過(guò)外部個(gè)人計(jì)算機(jī)或網(wǎng)絡(luò)提供的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)記錄在連接至裝置本身的記錄介質(zhì)中，然后讀取和再生圖像數(shù)據(jù)。
控制部(微型計(jì)算機(jī))5執(zhí)行面部檢測(cè)處理。圖2是表示通過(guò)控制部5進(jìn)行的面部檢測(cè)處理的功能框圖。在這點(diǎn)上，可以將面部檢測(cè)裝置配置成獨(dú)立于成像裝置的用于觀察照片的圖像處理裝置。
在圖2中，參考數(shù)字101表示圖像數(shù)據(jù)讀取部。圖像數(shù)據(jù)讀取部101將讀取存儲(chǔ)在到存儲(chǔ)器(例如，工作RAM)中的存儲(chǔ)裝置102中的圖像數(shù)據(jù)的預(yù)定圖像文件。例如，存儲(chǔ)裝置102對(duì)應(yīng)于記錄介質(zhì)10。此外，如圖2中的虛線所示，本發(fā)明不僅可以應(yīng)用于所存儲(chǔ)的圖像文件，而且還可以應(yīng)用于諸如當(dāng)前從圖像攝取部109所攝取圖像的實(shí)時(shí)圖像數(shù)據(jù)的面部檢測(cè)。通過(guò)圖像數(shù)據(jù)讀取部101所讀取的圖像數(shù)據(jù)被傳送至圖像中搜索控制部(search-in-imagecontrol section)103。
圖像中搜索控制部103設(shè)置有來(lái)自搜索窗尺寸確定部104的搜索窗尺寸的詳細(xì)說(shuō)明，并且設(shè)置有來(lái)自搜索范圍確定部105的搜索范圍的詳細(xì)說(shuō)明。圖像中搜索控制部103基于詳細(xì)說(shuō)明，以與使用指定尺寸的搜索窗在指定搜索范圍內(nèi)進(jìn)行光柵掃描的相同方式來(lái)掃描圖像。即，從搜索范圍的左上角開(kāi)始沿水平方向使搜索窗移動(dòng)預(yù)定移動(dòng)量。當(dāng)搜索窗到達(dá)搜索范圍的右端時(shí)，搜索窗回到左端，并且搜索窗的位置向下變化，然后沿水平方向執(zhí)行掃描。重復(fù)該操作，并且掃描指定范圍。優(yōu)選地，使沿水平方向和垂直方向的每一步的移動(dòng)量(m個(gè)像素)與搜索窗的尺寸近似成比例。因而，例如，將移動(dòng)量設(shè)成搜索窗的一側(cè)長(zhǎng)度的十分之一。
面部區(qū)域確定部106確定在每個(gè)部分圖像中是否存在面部區(qū)域，每個(gè)部分圖像都是通過(guò)圖像中搜索控制部103對(duì)搜索范圍進(jìn)行搜索而獲得的每個(gè)搜索窗的圖像。面部區(qū)域的確定方法可以使用在背景技術(shù)中所述的已知方法。如果在一個(gè)圖像文件中存在多個(gè)面部區(qū)域，則在多個(gè)部分圖像中檢測(cè)到面部區(qū)域。在此情況下，所攝取的面部區(qū)域的數(shù)目信息被記錄在圖像文件的分類標(biāo)簽信息(下文中，適當(dāng)稱為元數(shù)據(jù))中。元數(shù)據(jù)是描述各個(gè)圖像文件的屬性的數(shù)據(jù)，并被存儲(chǔ)在與圖像文件相關(guān)的面部信息數(shù)據(jù)庫(kù)108中。在這點(diǎn)上，面部信息數(shù)據(jù)庫(kù)108僅存儲(chǔ)元數(shù)據(jù)，但是如果能夠使得存儲(chǔ)容量增加，則可以存儲(chǔ)面部區(qū)域的圖像或者其縮小圖像。此外，除了面部區(qū)域的數(shù)目之外，還可以通過(guò)面部區(qū)域確定提取出下列來(lái)作為元數(shù)據(jù)。
在每個(gè)面部區(qū)域中的面部區(qū)域的位置每個(gè)面部區(qū)域的尺寸在每個(gè)面部區(qū)域中的面部的朝向當(dāng)面部區(qū)域確定部106已確定出存在面部區(qū)域，則將元數(shù)據(jù)(例如，面部區(qū)域的數(shù)目的數(shù)據(jù))通過(guò)圖像中搜索控制部103傳遞至面部數(shù)據(jù)庫(kù)寫(xiě)入部107。面部數(shù)據(jù)庫(kù)寫(xiě)入部107將元數(shù)據(jù)寫(xiě)入面部信息數(shù)據(jù)庫(kù)108中。面部信息數(shù)據(jù)庫(kù)108是僅用于存儲(chǔ)面部信息的元數(shù)據(jù)的數(shù)據(jù)庫(kù)。對(duì)應(yīng)于對(duì)應(yīng)的圖像文件來(lái)保存元數(shù)據(jù)。面部信息數(shù)據(jù)庫(kù)108內(nèi)置在存儲(chǔ)裝置102或其他存儲(chǔ)器中。
圖2是對(duì)應(yīng)于到建立面部信息數(shù)據(jù)庫(kù)108為止的處理的功能框圖。此外，雖然在附圖中未示出，但是可以使用存儲(chǔ)在面部信息數(shù)據(jù)庫(kù)108中的面部信息來(lái)實(shí)現(xiàn)各種應(yīng)用。例如，可以搜索包括用戶指定數(shù)目的面部區(qū)域的圖像文件。此外，可以根據(jù)面部區(qū)域的數(shù)目對(duì)圖像文件進(jìn)行分類。此外，可以從正在攝取的實(shí)時(shí)圖像中檢測(cè)面部區(qū)域，然后執(zhí)行自動(dòng)聚焦操作，以便將相機(jī)聚焦在面部區(qū)域上，或者執(zhí)行自動(dòng)曝光處理，以在面部區(qū)域上實(shí)施適度曝光(correctexposure)。
到目前為止，已為可以采用的所有面部區(qū)域的每個(gè)尺寸設(shè)置了搜索窗，并且已通過(guò)每個(gè)搜索窗掃描將要處理的整個(gè)圖像。因而，存在的問(wèn)題在于用于面部區(qū)域的檢測(cè)的處理時(shí)間變長(zhǎng)。在本發(fā)明的實(shí)施例中，當(dāng)搜索面部區(qū)域時(shí)，通過(guò)將將要處理的圖像中的搜索范圍限制到包括已預(yù)先獲得的面部的區(qū)域來(lái)增加處理速度。包括面部的區(qū)域指的是極有可能包括拍攝對(duì)象的面部區(qū)域的區(qū)域。包括面部的最大區(qū)域等于目標(biāo)圖像的整個(gè)區(qū)域(全部范圍)。
對(duì)于設(shè)置包括面部的區(qū)域的方法來(lái)說(shuō)，存在兩種可能的方法，一種是根據(jù)硬件等的處理能力來(lái)固定設(shè)置的方法。另一種方法是對(duì)諸如實(shí)際拍攝的照片等的圖像數(shù)據(jù)執(zhí)行統(tǒng)計(jì)處理，以作估計(jì)。在進(jìn)行固定設(shè)置的方法中，設(shè)置包括面部的區(qū)域，以至于包括(例如)圖像的中心部分附近，以及具有大約整個(gè)圖像區(qū)域一半的區(qū)域。
在這點(diǎn)上，在以下描述中，設(shè)置了一種包括面部的區(qū)域。然而，可以設(shè)置兩種或多種包括面部的區(qū)域，這些區(qū)域具有彼此互不相同的尺寸。此外，可以根據(jù)拍攝時(shí)相機(jī)的方向(垂直/水平)來(lái)改變包括面部的區(qū)域。此外，可以根據(jù)拍攝模式(諸如人物拍攝模式，風(fēng)景拍攝模式等)來(lái)改變包括面部的區(qū)域。在人物拍攝模式的時(shí)候，強(qiáng)調(diào)的是中心部分附近。在風(fēng)景拍攝模式時(shí)，必需考慮到拍攝對(duì)象的面部極有可能包括在外圍部分中。在任一種方法中，需要使得圖像中心附近包括在包括面部的區(qū)域中。
下文將給出對(duì)通過(guò)作為實(shí)例的統(tǒng)計(jì)方法估計(jì)包括面部的區(qū)域的方法的描述。將包括面部的區(qū)域的估計(jì)處理作為圖2中所示的面部檢測(cè)裝置的初始設(shè)置來(lái)執(zhí)行、或者作為通過(guò)除了面部檢測(cè)裝置之外的裝置(例如，個(gè)人計(jì)算機(jī))進(jìn)行的其他處理來(lái)執(zhí)行。將已作為估計(jì)結(jié)果獲得的包括面部的區(qū)域作為通用數(shù)據(jù)應(yīng)用于面部檢測(cè)裝置。使用多個(gè)(例如幾百個(gè))圖像組來(lái)估計(jì)包括面部的區(qū)域。通過(guò)標(biāo)示在圖像組中的每個(gè)圖像中的包括面部的面部區(qū)域的中心位置，可以獲得在圖像組中的面部位置的分布圖。在這點(diǎn)上，對(duì)于檢測(cè)面部區(qū)域的方法來(lái)說(shuō)，使用與面部檢測(cè)裝置中的處理相同的方法、或者另一種方法。例如，用戶可以在觀看屏幕時(shí)通過(guò)操作輸入裝置(諸如鼠標(biāo)等)來(lái)標(biāo)示中心位置。
圖3中示出了在圖像組中的一個(gè)圖像實(shí)例(組照片)。檢測(cè)面部區(qū)域，然后標(biāo)示每個(gè)所檢測(cè)的面部區(qū)域的中心位置。圖4是從(例如)包括800個(gè)圖像的圖像組中得到的面部分布圖的實(shí)例。使用面部分布圖來(lái)估計(jì)包括面部的區(qū)域。估計(jì)方法的一個(gè)實(shí)例是將包括含有至少一塊圖的范圍的分布圖劃分成相等尺寸的單元(稱為塊)，以執(zhí)行包括在每個(gè)塊中的面部數(shù)目的閾值處理，并確定包括大于閾值的面部數(shù)目的塊是包括面部的區(qū)域。在圖3和圖4中，虛線所表示的矩形區(qū)域示出了所估計(jì)的包括面部的區(qū)域。
此外，還能夠使用另一種估計(jì)方法，其中，包括圖像中面部的部分設(shè)置有恒量權(quán)重(簡(jiǎn)單地，+1)，累積關(guān)于每個(gè)位置的權(quán)重，以獲得關(guān)于圖像中所有面部區(qū)域的直方圖，其中的頻率要經(jīng)過(guò)閾值處理，并且所獲得的區(qū)域要經(jīng)過(guò)矩形近似。此外，能夠使用一種方法，其中，當(dāng)在分布圖中的每個(gè)標(biāo)定點(diǎn)的某一直徑內(nèi)的附近存在另一個(gè)標(biāo)定點(diǎn)時(shí)，添加標(biāo)記(score)，標(biāo)記的分布要經(jīng)過(guò)閾值處理，并且所獲得的區(qū)域要經(jīng)過(guò)矩形近似。
包括已經(jīng)以此方式進(jìn)行估計(jì)的面部的區(qū)域的信息作為數(shù)據(jù)保存在圖2中所示的面部檢測(cè)裝置的搜索范圍確定部105中。非易失性存儲(chǔ)器用作用于保存數(shù)據(jù)的存儲(chǔ)器。如果搜索窗的尺寸小于預(yù)定閾值，則僅在包括面部的區(qū)域中執(zhí)行面部區(qū)域的檢測(cè)處理。
基于搜索窗的尺寸來(lái)改變包括面部的區(qū)域(即，待檢測(cè)的面部尺寸)的原因在于，需要盡可能地防止將要作為圖像主題的拍攝對(duì)象的面部區(qū)域的檢測(cè)的遺漏。例如，如果待檢測(cè)的面部尺寸(搜索窗的尺寸)較小，則將面部區(qū)域的搜索范圍限制在包括面部的區(qū)域。相反，如果將要檢測(cè)的面部尺寸(搜索窗的尺寸)較大，則不將面部區(qū)域的搜索范圍限制在包括面部的區(qū)域，而是將其設(shè)置成整個(gè)面部。
在照片情況下，帶有相對(duì)大面部的人的輪廓在多數(shù)情況下很可能是在照片中的重要拍攝對(duì)象。如果設(shè)置大搜索窗，則優(yōu)選地不將搜索范圍限制在包括面部的區(qū)域。相反，如果設(shè)置小搜索窗并且檢測(cè)小面部區(qū)域，則拍攝對(duì)象的重要性相對(duì)要小，因而，即使將搜索范圍限制到包括面部的區(qū)域，也不太可能檢測(cè)不到重要拍攝對(duì)象的面部。例如，在如圖3所示的組照片的情況下，每個(gè)人的面部區(qū)域的尺寸變小，并且在圖像的外圍部分中存在面部的概率變低。
此外，用于在面部檢測(cè)處理過(guò)程中處理一個(gè)圖片所需的計(jì)算量隨著搜索窗逐漸變小而增加。因而，與大搜索窗的情況相比，當(dāng)搜索窗很小時(shí)，通過(guò)限制搜索范圍而減少計(jì)算量的效果要相對(duì)更大?；谶@一觀點(diǎn)采取以下措施。如果搜索窗很大，則從整個(gè)圖像中檢測(cè)面部區(qū)域，而如果搜索窗很小，則僅在包括面部的區(qū)域中檢測(cè)面部區(qū)域，從而減少了進(jìn)行處理所需要的計(jì)算量，同時(shí)防止了重要面部區(qū)域的檢測(cè)的遺漏。因此，縮短了處理時(shí)間。
圖5是示出了通過(guò)圖2所示的功能框圖的配置執(zhí)行的面部區(qū)域檢測(cè)處理的過(guò)程的流程圖。在第一步驟S1中，以初值設(shè)置搜索窗(圖5中簡(jiǎn)稱為窗)的尺寸。例如，以初值設(shè)置所提供的多個(gè)尺寸中的最小尺寸。圖2中的搜索窗尺寸確定部104設(shè)置搜索窗的尺寸。
在比較步驟S2中，確定搜索窗的尺寸是小于還是等于預(yù)定尺寸。預(yù)定尺寸是閾值。如果比較步驟S2的確定結(jié)果是否定的(NO)，則處理進(jìn)行到步驟S4。在步驟S4中，確定搜索窗的第一位置。如果比較步驟S2的確定結(jié)果是肯定的(YES)，則將搜索范圍限制到包括面部的區(qū)域。通過(guò)搜索范圍確定部105處理比較步驟S2和S3。預(yù)先獲得包括面部的區(qū)域，并將其保存在搜索范圍確定部105中。
例如，如果不限制搜索范圍，則將步驟S4中的搜索窗的掃描開(kāi)始位置設(shè)在例如整個(gè)圖像的左上角。如果在步驟S3中限制了搜索范圍，則將搜索窗的掃描開(kāi)始位置設(shè)置在例如包括面部的區(qū)域的左上角?？梢詫呙栝_(kāi)始位置設(shè)成除此以外的任意位置。同樣，掃描模式并不限于如上所述的光柵掃描，并且可以從中心開(kāi)始向外圍等等進(jìn)行掃描。
在步驟S5中，得到搜索窗中的部分圖像的像素值。在彩色圖像的情況下，獲得作為像素值的亮度值。在確定步驟S6中，根據(jù)所獲得的部分圖像的像素值來(lái)確定該圖像是否是面部區(qū)域。面部區(qū)域確定部106執(zhí)行確定步驟S6中的處理。如果確定為面部區(qū)域，則在步驟S7中輸出面部區(qū)域的元數(shù)據(jù)。例如，元數(shù)據(jù)是面部區(qū)域的數(shù)目。在此情況下，在步驟S7中累加面部區(qū)域數(shù)目的計(jì)數(shù)。元數(shù)據(jù)被保存在圖像中搜索控制部103中。
在步驟S7中的處理之后或者如果確定步驟S6的確定結(jié)果是否定的，則在確定步驟S8中確定是否已檢查了整個(gè)圖像。如果在確定步驟S8中確定沒(méi)有檢查整個(gè)圖像，則處理進(jìn)行到步驟S9，并且將搜索窗移至下個(gè)位置。然后，處理返回到步驟S5(獲得搜索窗中的像素值)。
對(duì)新的搜索窗重復(fù)執(zhí)行步驟S5、步驟S6、步驟S7、和步驟S8中的處理。當(dāng)通過(guò)具有確定尺寸的搜索窗的面部區(qū)域檢測(cè)處理完成時(shí)，確定步驟S8的結(jié)果(關(guān)于是否已檢查了整個(gè)圖像的確定)變?yōu)榭隙?，并且處理進(jìn)行到確定步驟S10。在確定步驟S10中，確定是否為所有尺寸的搜索窗檢測(cè)面部區(qū)域。
如果確定還未完成所有尺寸的搜索窗，則在步驟S11中將搜索窗的尺寸改變成下個(gè)級(jí)別(例如，較大尺寸)。然后，處理返回到確定步驟S2(確定搜索窗相對(duì)于閾值的尺寸)。如果新設(shè)置的搜索窗的尺寸大于閾值，則不限制搜索范圍。如果搜索窗的尺寸小于或等于閾值，則搜索范圍限制到包括面部的區(qū)域。在此之后，在使用新設(shè)置的搜索窗的搜索范圍中執(zhí)行面部區(qū)域的檢測(cè)處理。
如果確定步驟S10的確定結(jié)果是肯定的，即，如果確定已經(jīng)為所有尺寸的搜索窗完成面部區(qū)域的檢測(cè)，則在步驟S12中輸出面部信息(元數(shù)據(jù))。在圖2中，面部信息從圖像中搜索控制部103傳送至面部數(shù)據(jù)庫(kù)寫(xiě)入部107。所傳送的元數(shù)據(jù)存儲(chǔ)在面部信息數(shù)據(jù)庫(kù)108中。
圖5中的流程圖中的確定步驟S2和根據(jù)確定結(jié)果選擇性地執(zhí)行的搜索范圍限制處理步驟S3是本發(fā)明實(shí)施例的特征處理。如果搜索窗小于或等于閾值，則將搜索范圍限制在包括面部的區(qū)域，因而，可以減少檢測(cè)面部區(qū)域的計(jì)算量，從而可以減少處理時(shí)間。在這點(diǎn)上，當(dāng)用戶設(shè)置面部尺寸(搜索窗的尺寸)時(shí)，除了動(dòng)態(tài)改變搜索窗之外，可以根據(jù)設(shè)置值來(lái)控制搜索范圍。
以上已給出了本發(fā)明實(shí)施例的具體描述。本發(fā)明并不限于上述實(shí)施例，并且可以基于本發(fā)明的技術(shù)構(gòu)想來(lái)進(jìn)行各種修改。例如，本發(fā)明適合應(yīng)用于移動(dòng)裝置。然而，本發(fā)明并不限于移動(dòng)裝置，而是可應(yīng)用于諸如用于觀察所攝取的圖像的觀察器的固定裝置。此外，通過(guò)將如圖5中所示的處理作為程序安裝到個(gè)人計(jì)算中，可以將本發(fā)明作為面部檢測(cè)裝置來(lái)實(shí)施。同樣，可以將用于描述處理內(nèi)容的程序記錄在能夠被計(jì)算機(jī)讀取的記錄介質(zhì)(諸如磁記錄設(shè)備、光盤(pán)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等)中。
權(quán)利要求
1.一種圖像處理裝置，包括圖像獲取裝置，用于獲取圖像；搜索窗尺寸設(shè)置裝置，用于設(shè)置搜索窗的尺寸；搜索范圍設(shè)置裝置，用于對(duì)應(yīng)于所述搜索窗的所述設(shè)置尺寸，在所述圖像中設(shè)置搜索范圍；掃描裝置，用于在所設(shè)置的搜索范圍中移動(dòng)具有所述設(shè)置尺寸的所述搜索窗；面部區(qū)域確定裝置，用于確定在每個(gè)掃描位置處的所述搜索窗中的所述圖像是否是面部區(qū)域；以及面部信息輸出裝置，用于輸出由所述面部區(qū)域確定裝置的確定結(jié)果獲得的所述面部區(qū)域的信息。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述搜索范圍設(shè)置裝置將所述搜索窗的所述設(shè)置尺寸與閾值進(jìn)行比較，如果所述尺寸不大于所述閾值，則所述搜索范圍設(shè)置裝置將所述搜索范圍限制到小于所述圖像的整個(gè)區(qū)域的范圍。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，如果所述尺寸大于所述閾值，則所述搜索范圍設(shè)置裝置將所述搜索范圍設(shè)置為所述圖像的所述整個(gè)區(qū)域。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，小于所述圖像的所述整個(gè)區(qū)域的所述范圍是包括所述圖像的中心部分的預(yù)定區(qū)域。
5.一種圖像處理方法，包括以下步驟圖像獲取步驟，用于獲取圖像；搜索窗尺寸設(shè)置步驟，用于設(shè)置搜索窗的尺寸；搜索范圍設(shè)置步驟，用于對(duì)應(yīng)于所述搜索窗的所述設(shè)置尺寸，在所述圖像中設(shè)置搜索范圍；掃描步驟，用于在所設(shè)置的搜索范圍中移動(dòng)具有所述設(shè)置尺寸的所述搜索窗；面部區(qū)域確定步驟，用于確定在每個(gè)掃描位置處的所述搜索窗中的所述圖像是否是面部區(qū)域；以及面部信息輸出步驟，用于輸出從所述面部區(qū)域確定步驟的確定結(jié)果獲得的所述面部區(qū)域的信息。
6.根據(jù)權(quán)利要求5所述的圖像處理方法，其中，所述搜索范圍設(shè)置步驟將所述搜索窗的所述設(shè)置尺寸與閾值進(jìn)行比較，如果所述尺寸不大于所述閾值，則所述搜索范圍設(shè)置步驟將所述搜索范圍限制成小于所述圖像的整個(gè)區(qū)域的范圍。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其中，如果所述尺寸大于所述閾值，則所述搜索范圍設(shè)置步驟將所述搜索范圍設(shè)置為所述圖像的所述整個(gè)區(qū)域。
8.根據(jù)權(quán)利要求6所述的圖像處理方法，其中，小于所述圖像的所述整個(gè)區(qū)域的所述范圍是包括所述圖像的中心部分的預(yù)定區(qū)域。
9.一種成像裝置，包括相機(jī)部，用于獲取拍攝對(duì)象的圖像；相機(jī)信號(hào)處理部，用于對(duì)來(lái)自所述相機(jī)部的成像信號(hào)執(zhí)行信號(hào)處理；存儲(chǔ)部，用于存儲(chǔ)所述成像信號(hào)；以及控制部，用于控制所述成像裝置的操作，其中，所述控制部包括搜索窗尺寸設(shè)置部，用于設(shè)置搜索窗的尺寸；搜索范圍設(shè)置部，用于對(duì)應(yīng)于所述搜索窗的所述設(shè)置尺寸，在所述拍攝對(duì)象的所述圖像中設(shè)置搜索范圍；掃描部，用于在所設(shè)置的搜索范圍中移動(dòng)具有所述設(shè)置尺寸的所述搜索窗；面部區(qū)域確定部，用于確定在每個(gè)掃描位置處的所述搜索窗中的所述圖像是否是面部區(qū)域；以及面部信息輸出部，用于輸出由所述面部區(qū)域確定部的確定結(jié)果獲得的所述面部區(qū)域的信息。
10.一種圖像處理裝置，包括圖像獲取部，用于獲取圖像；搜索窗尺寸設(shè)置部，用于設(shè)置搜索窗的尺寸；搜索范圍設(shè)置部，用于對(duì)應(yīng)于所述搜索窗的所述尺寸，在所述圖像中設(shè)置搜索范圍；掃描部，用于在所設(shè)置的搜索范圍中移動(dòng)具有所述設(shè)置尺寸的所述搜索窗；面部區(qū)域確定部，用于確定在每個(gè)掃描位置處的所述搜索窗中的所述圖像是否是面部區(qū)域；以及面部信息輸出部，用于輸出由所述面部區(qū)域確定部的確定結(jié)果獲得的所述面部區(qū)域的信息。
全文摘要
一種圖像處理裝置包括圖像獲取裝置，用于獲取圖像；搜索窗尺寸設(shè)置裝置，用于設(shè)置搜索窗的尺寸；搜索范圍設(shè)置裝置，用于對(duì)應(yīng)于搜索窗的設(shè)置尺寸來(lái)設(shè)置圖像中的搜索范圍；掃描裝置，用于在所設(shè)置的搜索范圍中移動(dòng)具有設(shè)置尺寸的搜索窗；面部區(qū)域確定裝置，用于確定在每個(gè)掃描位置處的搜索窗中的圖像是否是面部區(qū)域；以及面部信息輸出裝置，用于輸出由面部區(qū)域確定裝置的確定結(jié)果獲得的面部區(qū)域的信息。
文檔編號(hào)G06K9/00GK101047792SQ20071008954
公開(kāi)日2007年10月3日 申請(qǐng)日期2007年3月29日 優(yōu)先權(quán)日2006年3月29日
發(fā)明者福田岳士 申請(qǐng)人:索尼株式會(huì)社