專(zhuān)利名稱(chēng):圖像處理裝置和方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像處理裝置和方法,其通過(guò)從具有待識(shí)別目標(biāo)的圖像消除照明所引起的影響,并通過(guò)提取目標(biāo)固有的特征,來(lái)提高圖像處理精度。
背景技術(shù):
當(dāng)要從圖像識(shí)別目標(biāo)時(shí),有必要使會(huì)減小識(shí)別成功率的照明變化所引起的影響最小化。為此,在WANG(Haitao Wang,Stan Z.Li,Yangsheng Wang,Generalized Quotient Image,Proceedings IEEEConference on Computer Vision and Pattern Recognition,Vol.2,(2004)498-505)中,提出了一種方法,在該方法中,在面部識(shí)別中,稱(chēng)為“自商圖像(self Quotient Image)”的濾波處理被應(yīng)用到輸入圖像,使得對(duì)變化的照明有魯棒性的固有特征被提取,并且進(jìn)行目標(biāo)識(shí)別。
“自商圖像”是這樣的方法,在該方法中擴(kuò)展了RAHMAN的“中心/環(huán)境Retinex(Center/Surround Retinex)”方法(METHOD OFIMPROVING A DIGITAL IMAGE,美國(guó)專(zhuān)利5,991,456)。對(duì)于輸入圖像I(x,y)的中心/環(huán)境Retinex的輸出圖像R(x,y)由式(1)定義。
R(x,y)=I(x,y)G(x,y)*I(x,y)---(1)]]>其中,G(x,y)指高斯函數(shù),“*”指卷積。在RAHMAN的文獻(xiàn)中,高斯濾波器被應(yīng)用于輸入圖像以產(chǎn)生平滑圖像。在WANG的文獻(xiàn)中,加權(quán)高斯濾波器被應(yīng)用于輸入圖像以產(chǎn)生平滑圖像。
有一個(gè)好處就是對(duì)變化的照明有魯棒性的固有特征可以只從一個(gè)給定圖像計(jì)算出,并且這一方法在只可以獲得一個(gè)注冊(cè)圖像的情況下尤其有效。
在中心/環(huán)境Retinex中,如在RAHMAN的文獻(xiàn)中描述的,當(dāng)在輸入圖像的局部區(qū)域中,法線方向和照明條件都不變時(shí),可以獲得對(duì)漫反射的不變性。漫反射是由變化的照明引起的分量之一。
但是,在照明條件在局部區(qū)域中改變的情況下,主要是在形成陰影的情況下,不能獲得不變性,并且會(huì)導(dǎo)致錯(cuò)誤的識(shí)別或辨識(shí)。當(dāng)來(lái)自第一光源的光束被其它物體擋住時(shí),在目標(biāo)上就會(huì)形成陰影區(qū)。因?yàn)殛幱皡^(qū)是被第二光源(例如,環(huán)境光)而非第一光源照射,所以在陰影區(qū)中的照明條件與其它區(qū)域中的照明條件是不同的。
圖8示出了中心/環(huán)境Retinex被應(yīng)用于面部圖像的示例。
在圖像502中,由照明引起的影響被抑制。圖像502是從面部圖像501產(chǎn)生的,在面部圖像510中,在面部的右側(cè)區(qū)域和鼻子下方形成了陰影。但是,因?yàn)殛幱皡^(qū)的照明條件與其它區(qū)域中的照明條件不同,所以不可能完全除去由照明變化所引起的影響,如在面部圖像502中示意性地示出的。
為了防止邊緣周?chē)臅炄π?yīng),在自商圖像中,當(dāng)產(chǎn)生平滑圖像時(shí),使用加權(quán)高斯濾波器(具有各向異性波形的加權(quán)函數(shù)被應(yīng)用于具有各向同性波形的高斯函數(shù))。加權(quán)函數(shù)使用二值化將局部區(qū)域分成兩個(gè)子區(qū)域。
但是,在二值化中,有可能具有低反射系數(shù)的區(qū)域(例如,在面部識(shí)別的情況中的瞳孔或眉毛)也被錯(cuò)誤地檢測(cè)為陰影區(qū)。代表目標(biāo)特征的重要信息也將被除去。
此外,在如同在陰影區(qū)輪廓部分中形成的柔和陰影一樣像素值被逐漸改變的區(qū)域中,因?yàn)殡y以設(shè)置合適的閾值,所以在二值化技術(shù)中將會(huì)發(fā)生不規(guī)則的或不適當(dāng)?shù)淖R(shí)別。
此外,在例如發(fā)生鏡面反射并且反射分量改變的區(qū)域中,因?yàn)殡y以?xún)H僅從給出的一個(gè)輸入圖像提取漫反射分量的值,在該傳統(tǒng)方法中不能計(jì)算出不變性。
發(fā)明內(nèi)容
根據(jù)本發(fā)明的實(shí)施例,一種圖像處理裝置包括權(quán)重計(jì)算單元,被配置以計(jì)算加權(quán)平滑濾波器的權(quán)重;第一濾波器單元,被配置以通過(guò)將加權(quán)平滑濾波器應(yīng)用于輸入圖像來(lái)產(chǎn)生平滑圖像;以及第二濾波器單元,被配置以通過(guò)將輸入圖像的像素值除以平滑圖像的像素值來(lái)獲得特征圖像,其中,權(quán)重計(jì)算單元包括(1)漫反射圖像產(chǎn)生單元,被配置以通過(guò)使用具有漫反射分量作為主要分量的模型來(lái)產(chǎn)生漫反射圖像,該漫反射圖像近似輸入圖像,以及(2)差分圖像產(chǎn)生單元,被配置以產(chǎn)生漫反射圖像與輸入圖像之間的差分圖像,并且權(quán)重計(jì)算單元估計(jì)差分圖像中每個(gè)關(guān)注像素與其周?chē)袼氐南袼刂档牟钪担⒔o周?chē)袼胤峙潆S著差值的增加而減小的權(quán)重。
圖1是第一實(shí)施例的目標(biāo)識(shí)別裝置的結(jié)構(gòu)圖。
圖2是示出了第一實(shí)施例的目標(biāo)識(shí)別裝置的處理的流程圖。
圖3是第二實(shí)施例的目標(biāo)識(shí)別裝置的結(jié)構(gòu)圖。
圖4是第三實(shí)施例的目標(biāo)識(shí)別裝置的結(jié)構(gòu)圖。
圖5第四實(shí)施例的目標(biāo)識(shí)別裝置的結(jié)構(gòu)圖。
圖6是示出了其中根據(jù)在輸入圖像中隨機(jī)選擇的三個(gè)點(diǎn)并通過(guò)使用基底圖像來(lái)估計(jì)系數(shù)的示例的圖。
圖7是示出了其中通過(guò)使用多個(gè)基底圖像而將輸入圖像轉(zhuǎn)換成漫反射圖像,并且通過(guò)使用輸入圖像與漫反射圖像之間的差分圖像而將輸入圖像轉(zhuǎn)換成特征圖像的示例的圖。
圖8是示出了其中從面部圖像中提取對(duì)照明變化有魯棒性的特征圖像的示例的圖。
具體實(shí)施例方式
下面,將參照附圖描述本發(fā)明的實(shí)施例。
將使用面部圖像識(shí)別作為示例來(lái)描述本發(fā)明的實(shí)施例。每個(gè)實(shí)施例的概要如下。
在第一實(shí)施例中,將給出對(duì)目標(biāo)識(shí)別裝置100的描述,其中,即使在面部圖像中形成陰影區(qū)的情況下,對(duì)人的識(shí)別或辨識(shí)有效的固有特征也被提取以便于面部識(shí)別。
在第二實(shí)施例中,將給出對(duì)目標(biāo)識(shí)別裝置200的描述,其中,即使在面部圖像中形成陰影區(qū)和鏡面反射區(qū)的情況下,對(duì)辨識(shí)有效的固有特征也被提取以便于面部識(shí)別。
在第三實(shí)施例中,將給出對(duì)目標(biāo)識(shí)別裝置300的描述,其中,即使在圖像上的人的面部的面對(duì)或凝視方向不僅朝向前方而且還朝向各種方向的情況下,對(duì)照明變化有魯棒性的固有特征也被提取以便于面部識(shí)別。
在第四實(shí)施例中,將給出對(duì)目標(biāo)識(shí)別裝置400的描述,其中,噪聲被除去,對(duì)照明變化有魯棒性的固有特征被提取以便于面部識(shí)別。
(第一實(shí)施例)下面將參照?qǐng)D1、2、6和7描述第一實(shí)施例的目標(biāo)識(shí)別裝置100。
在該實(shí)施例中,通過(guò)使用面部模型計(jì)算將要分配給加權(quán)高斯濾波器的權(quán)重。
(1)目標(biāo)識(shí)別裝置100的結(jié)構(gòu)圖1示出了目標(biāo)識(shí)別裝置100的結(jié)構(gòu),圖2示出了目標(biāo)識(shí)別裝置100的處理的流程圖。
目標(biāo)識(shí)別裝置100包括圖像輸入單元101、目標(biāo)檢測(cè)單元102、漫反射圖像產(chǎn)生單元103、目標(biāo)模型存儲(chǔ)單元104、差分圖像產(chǎn)生單元105、權(quán)重計(jì)算單元106、加權(quán)高斯濾波器應(yīng)用單元107、濾波處理單元108以及辨識(shí)單元109。單元101到109的每個(gè)的功能可以通過(guò)存儲(chǔ)在計(jì)算機(jī)中的程序來(lái)實(shí)現(xiàn)。
(2)圖像輸入單元101如圖2中步驟1所示,圖像輸入單元101通過(guò)使用相機(jī)獲取作為待識(shí)別的目標(biāo)的人的圖像。取得一個(gè)圖像,或者時(shí)間上連續(xù)地取得多個(gè)圖像。將在如下假設(shè)上進(jìn)行描述被拍照目標(biāo)的面部方向朝向相對(duì)于相機(jī)的前方,并且光源是在無(wú)限遠(yuǎn)處的單光源。
(3)目標(biāo)檢測(cè)單元102如步驟2所示,目標(biāo)檢測(cè)單元102從由圖像輸入單元101輸出的圖像中裁剪出面部區(qū),并確定輸入圖像I。I(x,y)表示輸入圖像I上像素(x,y)的像素值。提取面部的特征點(diǎn),例如瞳孔和鼻孔,并且可以基于這些點(diǎn)的位置關(guān)系來(lái)確定輸入圖像。此外,面部區(qū)域的部分區(qū)域,例如眼睛或鼻子,可以被用作輸入圖像。通過(guò)將面部區(qū)域分成相等的部分而得到的圖像可以被用作輸入圖像。
(4)漫反射圖像產(chǎn)生單元103如步驟3所示,漫反射圖像產(chǎn)生單元103使用存儲(chǔ)在目標(biāo)模型存儲(chǔ)部分104中的漫反射圖像產(chǎn)生模型,并將從目標(biāo)檢測(cè)單元102輸出的輸入圖像I轉(zhuǎn)換成漫反射圖像。順便說(shuō)一下,雖然漫反射圖像是由在“I”上放置“~”的符號(hào)來(lái)表示的,但是因?yàn)樵摲?hào)在說(shuō)明書(shū)中不能被表示出來(lái),所以漫反射圖像將由“I~”表示,I~(x ,y)表示漫反射圖像I~上的像素(x,y)的像素值。
作為漫反射圖像產(chǎn)生模型,可以如在MUKAIGAWA(YasuhiroMukaigawa,Hajime Miyaki,Sadahiko Mihashi,Takeshi Shakunage,Photo-metric,Image-Based Rendering for Image Generation inArbitrary Illumination,IEEE International Conference on ComputerVision,vol.2,(2001)9652-659)中描述地那樣使用基底圖像。這基于式(2)的原理,在圖像I~由漫反射分量組成時(shí),在任意光源條件下的圖像I~的每個(gè)像素值I~(x,y)可以通過(guò)三個(gè)基底圖像Ii的像素值Ii(x,y)的線性組合來(lái)表示。
I(x,y)=max(c1I1(x,y)+c2I2(x,y)+c3I3(x,y),0) (2)其中,max(·,0)表示從負(fù)值到0的替換。假設(shè)基底圖像Ii中目標(biāo)的方向是不變的。
如圖6所示,通過(guò)估計(jì)對(duì)輸入圖像I的系數(shù)ci,輸入圖像被轉(zhuǎn)換成漫反射圖像。可以通過(guò)利用在由基底圖像Ii所張開(kāi)的子空間上的投影使用最小二乘法,或者通過(guò)使用如在MUKAIGAWA的文獻(xiàn)中所述的魯棒性的估計(jì),以在除去異常值(outlier)(陰影區(qū)或鏡面反射區(qū))的同時(shí)進(jìn)行處理,來(lái)估計(jì)系數(shù)。
作為基底圖像Ii,三個(gè)面部圖像被使用,這三個(gè)面部圖像是在改變光源方向使得不發(fā)生陰影和鏡面反射的情況下取得的。三個(gè)基底圖像I1、I2和I3彼此必須是線性獨(dú)立的。替換地,基底圖像還可以通過(guò)對(duì)四個(gè)或更多個(gè)圖像應(yīng)用奇異值分解來(lái)產(chǎn)生。
當(dāng)從與輸入圖像I相同的人準(zhǔn)備基底圖像Ii時(shí),式(2)的系數(shù)ci就可以在很小的誤差下被估計(jì)??梢詫?duì)于包括光源方向和照明強(qiáng)度的每個(gè)條件來(lái)估計(jì)系數(shù)ci。
還可以從另一個(gè)人的基底圖像來(lái)估計(jì)系數(shù)。這種情況是通過(guò)增加基底圖像的數(shù)量來(lái)處理的。輸入圖像I被分成多個(gè)區(qū),可以對(duì)每個(gè)區(qū)來(lái)估計(jì)系數(shù)。
作為另一種漫反射圖像產(chǎn)生模型,可以使用通過(guò)測(cè)距儀得到的面部的三維形狀和漫反射系數(shù)。
(5)差分圖像產(chǎn)生單元105如步驟4中所示,差分圖像產(chǎn)生單元105根據(jù)從漫反射圖像產(chǎn)生單元103輸出的漫反射圖像I~和輸入圖像I產(chǎn)生差分圖像I’,如圖7所示。使用漫反射圖像I~的每個(gè)像素值I~(x,y)和輸入圖像I的每個(gè)像素值來(lái)計(jì)算差分圖像I’的每個(gè)像素值I’(x,y)。
I′(x,y)=I(x,y)-I(x,y) (3)其中差分圖像I’的像素值I’(x,y)具有負(fù)值的區(qū)域?qū)?yīng)于輸入圖像I中的陰影區(qū),并且其中差分圖像I’的像素值I’(x,y)具有正值的區(qū)域?qū)?yīng)于輸入圖像I中的鏡面反射區(qū)。如前面所述的,差分圖像I’的像素值I’(x,y)指示輸入圖像I的照明條件和反射分量上的差別。
(6)權(quán)重計(jì)算單元106如在步驟5中指示的,權(quán)重計(jì)算單元106通過(guò)使用從差分圖像產(chǎn)生單元105輸出的差分圖像I’來(lái)計(jì)算將被分配給加權(quán)高斯濾波器的權(quán)重。
權(quán)重通過(guò)將與高斯濾波器的中心或原點(diǎn)坐標(biāo)相對(duì)應(yīng)的關(guān)注像素的照明條件和與高斯濾波器的周?chē)鴺?biāo)相對(duì)應(yīng)的像素的照明條件相比較來(lái)確定。
例如,當(dāng)與高斯濾波器中心相對(duì)應(yīng)的關(guān)注像素的坐標(biāo)是(x0,y0)時(shí),權(quán)重W(x,y)由式(4)確定。
W(x,y)=11+α|I′(x,y)-I′(x0,y0)|---(4)]]>其中,α表示任意系數(shù),|·|表示絕對(duì)值。
下面將描述式(4)的含義。當(dāng)與高斯濾波器的中心坐標(biāo)相對(duì)應(yīng)的關(guān)注像素(x0,y0)的像素值I’(x0,y0)和周?chē)袼?x,y)的像素值I’(x,y)之間的差值變得更大時(shí),周?chē)袼嘏c關(guān)注像素之間的照明條件或反射分量的差變得更大;從而,被分配給周?chē)袼氐臋?quán)重變得更小。
例如,在關(guān)注像素屬于漫反射區(qū),并且其周?chē)袼貙儆陉幱皡^(qū)的情況下,關(guān)注像素和周?chē)袼氐恼彰鳁l件彼此是非常不同的,因此,差值變大,而要被分配給周?chē)袼氐臋?quán)重變小。
另一方面,在關(guān)注像素屬于漫反射區(qū),并且其周?chē)袼匾矊儆诼瓷鋮^(qū)的情況下,照明條件是相同種類(lèi)的。這樣,差值變小,并且將被分配給周?chē)袼氐臋?quán)重變大。
(7)加權(quán)高斯濾波器應(yīng)用單元107如在步驟6中指示的,加權(quán)高斯濾波器應(yīng)用單元107使用由權(quán)重計(jì)算單元106輸出的權(quán)重W(x,y),將加權(quán)高斯濾波器應(yīng)用于從目標(biāo)檢測(cè)單元102輸出的輸入圖像I,并輸出平滑圖像S。S(x,y)指平滑圖像S上的像素(x,y)的像素值。
當(dāng)平均值為0、并且方差為σ2時(shí),高斯函數(shù)G(x,y)由式(5)定義。
G(x,y)=12πσ2exp(-(x2+y2)2σ2)---(5)]]>
加權(quán)高斯濾波器(W(x,y)G(x,y))通過(guò)式(6)被應(yīng)用于輸入圖像I。
S(x,y)=(W(x,y)G(x,y))*I(x,y))(6)=∫∫11+α|I′(u,v)-I′(x,y)|G(x-u,y-v)I(u,v)dudv---(7)]]>其中,“*”指卷積。
(8)濾波處理單元108如在步驟7中指出的,濾波處理單元108使用從加權(quán)高斯濾波器應(yīng)用單元107輸出的平滑圖像S,并將式(8)的處理應(yīng)用于從目標(biāo)檢測(cè)單元102輸出的輸入圖像I。
R^(x,y)=I(x,y)S(x,y)---(8)]]>順便提一下,雖然特征圖像由其中“^”被放在“R”上面的符號(hào)表示,但是因?yàn)樵摲?hào)在說(shuō)明書(shū)中不能被表示出來(lái),所以特征圖像將由“R^”表示。R^(x,y)表示特征圖像R^上的像素(x,y)的像素值。在濾波處理之后的圖像就成為特征圖像R^,并且通過(guò)光柵掃描該特征圖像,輸入向量被轉(zhuǎn)換。在式(8)中,當(dāng)S(x,y)接近0時(shí),特征圖像R^的像素值R^(x,y)具有極大的值并且變得不穩(wěn)定。這樣,特征圖像R^可以根據(jù)其中引入了用于抑制異常值的函數(shù)的式(9)獲得。
R^(x,y)=f(I(x,y)S(x,y))---(9)]]>作為f(·),邏輯斯蒂(logistic)函數(shù)或?qū)?shù)函數(shù)被使用。
(9)辨識(shí)單元109如在步驟8中指示的,辨識(shí)單元109通過(guò)估計(jì)從濾波處理器單元108輸出的輸入向量與預(yù)先注冊(cè)的詞典向量之間的距離,并通過(guò)使用例如最相鄰分類(lèi)法或辨識(shí)技術(shù),來(lái)辨識(shí)人。
還可以通過(guò)使用模式識(shí)別的子空間方法或者類(lèi)似方法來(lái)進(jìn)行辨識(shí)。
(10)第一實(shí)施例的有利效果在該實(shí)施例的目標(biāo)識(shí)別裝置100中,即使在面部圖像中產(chǎn)生陰影區(qū)的情況下,人的面部固有的并且未被照明變化影響的特征量也被提??;這樣,實(shí)現(xiàn)了高精確度的面部識(shí)別。
(第二實(shí)施例)下面將參照?qǐng)D3描述第二實(shí)施例的目標(biāo)識(shí)別裝置200。
(1)目標(biāo)識(shí)別裝置200的結(jié)構(gòu)圖3示出了目標(biāo)識(shí)別裝置200的結(jié)構(gòu)。
目標(biāo)識(shí)別裝置200包括圖像輸入單元201、目標(biāo)檢測(cè)單元202、漫反射圖像產(chǎn)生單元203、目標(biāo)模型存儲(chǔ)單元204、差分圖像產(chǎn)生單元205、反射分量判斷單元206、像素值替換單元207、差分圖像校正單元208、權(quán)重計(jì)算單元209、加權(quán)高斯濾波器應(yīng)用單元210、濾波處理單元211以及辨識(shí)單元212。
順便提一下,圖像輸入單元201執(zhí)行與圖像輸入單元101相同的處理;目標(biāo)檢測(cè)單元202執(zhí)行與目標(biāo)檢測(cè)單元102相同的處理;漫反射圖像產(chǎn)生單元203執(zhí)行與漫反射圖像產(chǎn)生單元103相同的處理;目標(biāo)模型存儲(chǔ)單元204執(zhí)行與目標(biāo)模型存儲(chǔ)單元104相同的處理;差分圖像產(chǎn)生單元205執(zhí)行與差分圖像產(chǎn)生單元105相同的處理。
此外,權(quán)重計(jì)算單元209進(jìn)行與圖1中的權(quán)重計(jì)算單元106相同的處理;加權(quán)高斯濾波器應(yīng)用單元210執(zhí)行與圖1中的加權(quán)高斯濾波器應(yīng)用單元107相同的處理;濾波處理單元211執(zhí)行與圖1中的濾波處理單元108相同的處理;辨識(shí)單元212執(zhí)行與圖1中的辨識(shí)單元109相同的處理。
(2)反射分量判斷單元206反射分量判斷單元206使用從差分圖像產(chǎn)生單元205輸出的差分圖像I’的像素值I’(x,y),判斷輸入圖像I每個(gè)像素(x,y)的反射分量。當(dāng)差分圖像I’的像素值I’(x,y)具有正值并且超過(guò)閾值時(shí),輸出的結(jié)果是像素是鏡面反射區(qū)。
(3)像素值替換單元207
像素值替換單元207將已經(jīng)在反射分量判斷單元206中被輸出作為鏡面反射區(qū)的輸入圖像I的像素值I(x,y)替換為從周?chē)袼夭逯档南袼刂?,或者將其替換為從漫反射圖像產(chǎn)生單元203輸出的漫反射圖像I~的像素值I~(x,y)。
為了防止在輸入圖像I中替換后的像素值變得與周?chē)袼氐南袼刂挡贿B續(xù),可以使用輸入圖像I和漫反射圖像I~的加權(quán)線性組合。
當(dāng)差分圖像I’上像素的像素值很小時(shí),大的權(quán)重被分配給輸入圖像I上的對(duì)應(yīng)的像素;并且當(dāng)差分圖像I’上的像素的像素值很大時(shí),大權(quán)重被分配給漫反射圖像I~上的對(duì)應(yīng)的像素。
(4)差分圖像校正單元208差分圖像校正單元208將已經(jīng)在反射分量判斷單元206中被輸出作為鏡面反射區(qū)的差分圖像I’的像素值替換為預(yù)定值(例如0)。
(5)第二實(shí)施例的有利效果在該實(shí)施例的目標(biāo)識(shí)別裝置200中,即使在面部圖像中產(chǎn)生陰影區(qū)和鏡面反射區(qū)的情況下,對(duì)識(shí)別有效的固有特征也被提??;這樣,實(shí)現(xiàn)了高精確度的面部識(shí)別。
(第三實(shí)施例)下面將參照?qǐng)D4描述第三實(shí)施例的目標(biāo)識(shí)別裝置300。
圖4示出了目標(biāo)識(shí)別裝置300的結(jié)構(gòu)。目標(biāo)識(shí)別裝置300包括圖像輸入單元301、目標(biāo)檢測(cè)單元302、目標(biāo)模型選擇單元303、目標(biāo)模型存儲(chǔ)單元304、漫反射圖像產(chǎn)生單元305、差分圖像產(chǎn)生單元306、權(quán)重計(jì)算單元307、加權(quán)高斯濾波器應(yīng)用單元308、濾波處理單元309以及辨識(shí)單元310。
圖像輸入單元301執(zhí)行與圖1中圖像輸入單元101相同的處理;目標(biāo)檢測(cè)單元302執(zhí)行與圖1中的目標(biāo)檢測(cè)單元102相同的處理。
目標(biāo)模型選擇單元303估計(jì)從目標(biāo)檢測(cè)單元302輸出的面部圖像的面部方向,并從存儲(chǔ)在目標(biāo)模型存儲(chǔ)單元304中的多個(gè)漫反射圖像產(chǎn)生模型中選擇合適的模型。存儲(chǔ)在目標(biāo)模型存儲(chǔ)單元304中的漫反射圖像產(chǎn)生模型是分別用于不同面部朝向和不同面部部分的模型。
漫反射圖像產(chǎn)生單元305使用由目標(biāo)模型選擇單元303選擇的漫反射圖像產(chǎn)生模型,并執(zhí)行與圖1中的漫反射圖像產(chǎn)生單元103相同的處理。
差分圖像產(chǎn)生單元306執(zhí)行與圖1中的差分圖像產(chǎn)生單元105相同的處理;權(quán)重計(jì)算單元307執(zhí)行與圖1中的權(quán)重計(jì)算單元106相同的處理;加權(quán)高斯濾波器應(yīng)用單元308執(zhí)行與圖1中的加權(quán)高斯濾波器應(yīng)用單元107相同的處理;濾波處理單元309執(zhí)行與濾波處理單元108相同的處理;并且辨識(shí)單元310執(zhí)行與圖1中的辨識(shí)單元109相同的處理。
在該實(shí)施例的目標(biāo)識(shí)別裝置300中,即使在面部圖像的面部朝向不僅僅朝向前方而且朝向各種方向的情況下,對(duì)變化的照明有魯棒性的固有特征也被提??;這樣,實(shí)現(xiàn)了高精確度的面部識(shí)別。
(第四實(shí)施例)下面將參照?qǐng)D5描述第四實(shí)施例的目標(biāo)識(shí)別裝置400。
(1)目標(biāo)識(shí)別裝置400的結(jié)構(gòu)圖5示出了目標(biāo)識(shí)別裝置400的結(jié)構(gòu)。
目標(biāo)識(shí)別裝置400包括圖像輸入單元401、目標(biāo)檢測(cè)單元402、漫反射圖像產(chǎn)生單元403、目標(biāo)模型存儲(chǔ)單元404、差分圖像產(chǎn)生單元405、權(quán)重計(jì)算單元406、微分處理單元407、加權(quán)高斯濾波器應(yīng)用單元408、濾波處理單元409和辨識(shí)單元410。
順便提一下,圖像輸入單元401執(zhí)行與圖1中圖像輸入單元101相同的處理;目標(biāo)檢測(cè)單元402執(zhí)行與圖1中的目標(biāo)檢測(cè)單元102相同的處理;漫反射圖像產(chǎn)生單元403執(zhí)行與圖1中的漫反射圖像產(chǎn)生單元103相同的處理;目標(biāo)模型存儲(chǔ)單元404執(zhí)行與圖1中的目標(biāo)模型存儲(chǔ)單元104相同的處理;差分圖像產(chǎn)生單元405執(zhí)行與圖1中的差分圖像產(chǎn)生單元105相同的處理;權(quán)重計(jì)算單元406執(zhí)行與圖1中的權(quán)重計(jì)算單元106相同的處理。此外,辨識(shí)單元410執(zhí)行與圖1中的辨識(shí)單元109相同的處理。
(2)微分處理單元407微分處理單元407取得輸入圖像的關(guān)注像素與其周?chē)袼刂g的差以除去噪聲。當(dāng)可以假設(shè)在關(guān)注像素附近產(chǎn)生均勻的噪聲時(shí),噪聲可以通過(guò)例如式(10)而被除去。
I^(x,y)=|I(x,y)-I(x,y+1)|---(10)]]>替代式(10),可以使用差分高斯濾波器、通過(guò)應(yīng)用離散傅立葉變換的帶通濾波器等。
當(dāng)假設(shè)在關(guān)注像素附近的像素處的鏡面反射分量的值也是均勻的時(shí),鏡面反射分量可以通過(guò)類(lèi)似方法除去;換句話(huà)說(shuō),當(dāng)假設(shè)局部區(qū)域內(nèi)的像素具有相同的鏡面反射分量值時(shí),像素區(qū)的法線方向在局部區(qū)域內(nèi)也是均勻的,并且視點(diǎn)是無(wú)限遠(yuǎn)的點(diǎn)。但是,這限于其中觀察值落在相機(jī)動(dòng)態(tài)范圍中的情況。
(3)加權(quán)高斯濾波器應(yīng)用單元408加權(quán)高斯濾波器應(yīng)用單元408使用從權(quán)重計(jì)算單元406輸出的權(quán)重,并將加權(quán)高斯濾波器應(yīng)用于從微分處理單元407輸出的微分輸入圖像。
加權(quán)高斯濾波器W(x,y)G(x,y)通過(guò)式(11)被應(yīng)用于差分圖像I~(x,y)。
S(x,y)=(W(x,y)G(x,y))*I^(x,y))---(11)]]>其中,|·|表示絕對(duì)值,*表示卷積。
(4)濾波處理單元409濾波處理單元409使用從加權(quán)高斯濾波器應(yīng)用單元408輸出的平滑圖像,并將式(12)的處理應(yīng)用于從微分處理單元407輸出的圖像。
R^(x,y)=I^(x,y)S(x,y)---(12)]]>為了除去特征圖像R^中的異常值,可以執(zhí)行使用像素值平均值和方差的閾值處理。通過(guò)光柵掃描特征圖像R^進(jìn)行到特征向量的轉(zhuǎn)換。
(5)第四實(shí)施例的有利效果在該實(shí)施例的目標(biāo)識(shí)別裝置400中,在照明條件很壞(如在黑暗環(huán)境中)的情況中產(chǎn)生的相機(jī)系統(tǒng)的噪聲被除去,對(duì)變化的照明有魯棒性的固有特征被提取,實(shí)現(xiàn)了高精確度的個(gè)人辨識(shí)。
(修改的實(shí)施例)本發(fā)明不限于上述實(shí)施例,而是可以在不脫離本發(fā)明要點(diǎn)的范圍內(nèi)有各種變化。
一般地,本發(fā)明可以被應(yīng)用于使用圖像的目標(biāo)識(shí)別。例如,本發(fā)明不僅可以應(yīng)用于人的面部,而且可以應(yīng)用于其圖像可以被捕獲的各種實(shí)際目標(biāo)。
濾波處理之后且從濾波處理單元108輸出的圖像可以被存儲(chǔ)在護(hù)照等中,并且可以用于人的識(shí)別。
此外,替代加權(quán)高斯濾波器,可以使用任何加權(quán)平滑濾波器。例如,線性濾波器或由COSn(n>2)定義的濾波器可以被用作平滑濾波器。
權(quán)利要求
1.一種圖像處理裝置,包括權(quán)重計(jì)算單元,被配置以計(jì)算加權(quán)平滑濾波器的權(quán)重;第一濾波器單元,被配置以通過(guò)將加權(quán)平滑濾波器應(yīng)用于輸入圖像來(lái)產(chǎn)生平滑圖像;以及第二濾波器單元,被配置以通過(guò)將輸入圖像每個(gè)像素的像素值除以平滑圖像的對(duì)應(yīng)的像素的像素值,來(lái)獲得特征圖像,其中,權(quán)重計(jì)算單元包括(1)漫反射圖像產(chǎn)生單元,被配置以通過(guò)使用具有漫反射分量作為主要分量的模型來(lái)產(chǎn)生漫反射圖像,該漫反射圖像近似輸入圖像,以及(2)差分圖像產(chǎn)生單元,被配置以產(chǎn)生漫反射圖像與輸入圖像之間的差分圖像,并且權(quán)重計(jì)算單元比較差分圖像中每個(gè)關(guān)注像素與其周?chē)袼氐南袼刂担瑏?lái)計(jì)算權(quán)重,其差值越大,周?chē)袼氐臋?quán)重越小。
2.根據(jù)權(quán)利要求1的圖像處理裝置,還包括反射分量判斷單元,被配置以通過(guò)使用差分圖像上與輸入圖像上的每個(gè)像素相對(duì)應(yīng)的像素的像素值來(lái)判斷輸入圖像上的每個(gè)像素是否屬于鏡面反射區(qū);像素值替換單元,被配置以通過(guò)使用漫反射圖像上與已經(jīng)被判斷屬于鏡面反射區(qū)的每個(gè)像素相對(duì)應(yīng)的像素的像素值來(lái)修改或替換已經(jīng)被判斷是鏡面反射區(qū)的每個(gè)像素的像素值,并獲得替換后的輸入圖像;以及差分圖像校正單元,被配置以校正差分圖像上所述對(duì)應(yīng)的像素的像素值,并獲得校正后的差分圖像,所述對(duì)應(yīng)的像素對(duì)應(yīng)于已經(jīng)被判斷為屬于鏡面反射區(qū)的每個(gè)像素,其中,權(quán)重計(jì)算單元使用校正后的差分圖像來(lái)計(jì)算權(quán)重,并且第一和第二濾波器單元使用替換后的輸入圖像來(lái)分別獲得平滑圖像和特征圖像。
3.根據(jù)權(quán)利要求1的圖像處理裝置,還包括目標(biāo)模型選擇單元,用于估計(jì)輸入圖像的目標(biāo)的方向,并根據(jù)所估計(jì)的方向選擇模型。
4.根據(jù)權(quán)利要求1的圖像處理裝置,還包括微分處理單元,用于通過(guò)將微分濾波器應(yīng)用于輸入圖像以獲得微分輸入圖像,其中,第一和第二濾波器單元使用微分輸入圖像來(lái)分別獲得平滑圖像和特征圖像。
5.根據(jù)權(quán)利要求1的圖像處理裝置,其中,權(quán)重計(jì)算單元獲得加權(quán)平滑濾波器上的關(guān)注像素與其周?chē)袼氐南袼刂抵g的另一個(gè)差值,來(lái)計(jì)算權(quán)重,所述另一個(gè)差值越大,周?chē)袼氐臋?quán)重越小。
6.根據(jù)權(quán)利要求2的圖像處理裝置,其中,像素值替換單元將已經(jīng)被判斷為屬于鏡面反射區(qū)的每個(gè)像素的像素值替換為漫反射圖像上對(duì)應(yīng)的像素的像素值;或者將其替換為從漫反射圖像上對(duì)應(yīng)的像素周?chē)南袼氐南袼刂低ㄟ^(guò)進(jìn)行插值而得到的值。
7.根據(jù)權(quán)利要求1的圖像處理裝置,其中,加權(quán)平滑濾波器是加權(quán)高斯濾波器。
8.根據(jù)權(quán)利要求1的圖像處理裝置,其中,從目標(biāo)出現(xiàn)在其上的特征圖像上辨識(shí)目標(biāo)。
9.根據(jù)權(quán)利要求1的圖像處理裝置,其中,權(quán)重計(jì)算單元使用包括差分圖像上的關(guān)注像素的區(qū)域中的多個(gè)像素作為周?chē)袼亍?br>
10.一種圖像處理方法,包括計(jì)算加權(quán)平滑濾波器的權(quán)重;通過(guò)將加權(quán)平滑濾波器應(yīng)用于輸入圖像來(lái)產(chǎn)生平滑圖像;以及通過(guò)將輸入圖像上每個(gè)像素的像素值除以平滑圖像上對(duì)應(yīng)的像素的像素值,來(lái)獲得特征圖像,其中,計(jì)算權(quán)重的步驟包括通過(guò)使用具有漫反射分量作為主要分量的模型來(lái)獲得近似輸入圖像的漫反射圖像,產(chǎn)生漫反射圖像與輸入圖像之間的差分圖像,以及比較差分圖像中每個(gè)關(guān)注像素與其周?chē)袼氐南袼刂?,?lái)計(jì)算權(quán)重,其差值越大,周?chē)袼氐臋?quán)重越小,以及給周?chē)袼胤峙潆S著差值的增加而減小的權(quán)重。
11.根據(jù)權(quán)利要求10的圖像處理方法,還包括通過(guò)使用差分圖像上與輸入圖像上每個(gè)像素相對(duì)應(yīng)的像素的像素值來(lái)判斷輸入圖像上每個(gè)像素是否屬于鏡面反射區(qū);通過(guò)使用漫反射圖像上與已被判斷為屬于鏡面反射區(qū)的每個(gè)像素對(duì)應(yīng)的像素的像素值,來(lái)改變或替換已被判斷為屬于鏡面反射區(qū)的每個(gè)像素的像素值,以獲得替換后的輸入圖像;校正差分圖像上所述對(duì)應(yīng)的像素的像素值,以獲得校正后的差分圖像,所述對(duì)應(yīng)的像素對(duì)應(yīng)于已經(jīng)被判斷為是鏡面反射區(qū)的每個(gè)像素;通過(guò)使用校正后的差分圖像來(lái)計(jì)算權(quán)重;通過(guò)使用替換后的輸入圖像來(lái)產(chǎn)生平滑圖像;以及通過(guò)將替換后的輸入圖像上每個(gè)像素的像素值除以平滑圖像上對(duì)應(yīng)的像素的像素值,來(lái)獲得特征圖像。
12.根據(jù)權(quán)利要求10的圖像處理方法,還包括估計(jì)輸入圖像上的目標(biāo)的方向;以及根據(jù)所估計(jì)的方向選擇模型。
13.根據(jù)權(quán)利要求10的圖像處理方法,還包括將微分濾波器應(yīng)用于輸入圖像以獲得微分輸入圖像;將加權(quán)平滑濾波器應(yīng)用于微分輸入圖像以獲得平滑圖像;以及將微分輸入圖像上每個(gè)像素的像素值除以平滑圖像上對(duì)應(yīng)的像素的像素值,以獲得特征圖像。
14.根據(jù)權(quán)利要求10的圖像處理方法,所述計(jì)算權(quán)重的步驟包括獲得加權(quán)平滑濾波器上的關(guān)注像素與其周?chē)袼氐南袼刂抵g的另一個(gè)差值,來(lái)計(jì)算權(quán)重,所述另一個(gè)差值越大,周?chē)袼氐臋?quán)重越小。
15.根據(jù)權(quán)利要求11的圖像處理方法,所述改變或替換包括將已經(jīng)被判斷為屬于鏡面反射區(qū)的每個(gè)像素的像素值替換為漫反射圖像上對(duì)應(yīng)的像素的像素值;或者將其替換為從漫反射圖像上對(duì)應(yīng)的像素周?chē)南袼氐南袼刂颠M(jìn)行插值獲得的值。
16.根據(jù)權(quán)利要求10的圖像處理方法,其中,所述加權(quán)平滑濾波器是加權(quán)高斯濾波器。
17.根據(jù)權(quán)利要求10的圖像處理方法,其中,從目標(biāo)出現(xiàn)在其上的特征圖像中辨識(shí)目標(biāo)。
18.根據(jù)權(quán)利要求10的圖像處理方法,其中,在所述權(quán)重的計(jì)算中使用包括差分圖像上的關(guān)注像素的區(qū)域中的多個(gè)像素作為周?chē)袼亍?br>
全文摘要
本發(fā)明涉及圖像處理裝置和方法。實(shí)施例中的目標(biāo)識(shí)別裝置包括圖像輸入單元、目標(biāo)檢測(cè)單元、漫反射圖像產(chǎn)生單元、目標(biāo)模型存儲(chǔ)單元、差分圖像產(chǎn)生單元、權(quán)重計(jì)算單元、加權(quán)高斯濾波器應(yīng)用單元、濾波處理單元以及辨識(shí)單元。要分配給加權(quán)高斯濾波器的權(quán)重是考慮了輸入圖像的像素的反射分量和照明條件的變化而確定的。
文檔編號(hào)G06T5/00GK1928889SQ20061015137
公開(kāi)日2007年3月14日 申請(qǐng)日期2006年9月7日 優(yōu)先權(quán)日2005年9月7日
發(fā)明者西山正志, 山口修 申請(qǐng)人:株式會(huì)社東芝