專利名稱:信息處理設備、方法和程序的制作方法
技術(shù)領域:
本發(fā)明涉及信息處理設備、信息處理方法和信息處理程序。更具體地說, 本發(fā)明涉及不論面部方向如何地允許從面部圖像精確地檢測面部的特征的信 息處理設備、信息處理方法和信息處理程序。
背景技術(shù):
現(xiàn)有技術(shù)中提出了將面部的特征檢測為特性點(characteristic point)的
多種方法。
例如,提出的方法包括其中檢測面部的四個或更多基準特性點(例如, 瞳孔、鼻孔和嘴部邊緣)的方法。將該檢測的結(jié)果應用于表示面部的三維形 狀以確定待檢測嘴部中點的范圍(參看JP-A-2007-241579 )。
提出的另 一方法如下。使用具有大公差的特性點^r測器試驗性地確定面 部的特性點。從特性點之間的位置關(guān)系確定特性點搜索范圍以使用具有較小 公差的另 一特性點檢測器確定最終特性點(參看JP-A-2008-3749 )。
發(fā)明內(nèi)容
根據(jù)在JP-A-2007-241579中公開的方法,當基準特性點的檢測失敗時, 可能不合適地確定嘴部中點檢測范圍,且可能不精確地檢測到嘴部中點。根 據(jù)在JP-A-2008-3749中公開的方法,當特性點的第一確定失敗時,可能未合 適地確定特性點搜索范圍,且可能不精確地檢測到特性點。
在該情況下,需要使得可以從面部圖像精確地檢測面部的特征而無論面 部方向^口<可。
根據(jù)本發(fā)明實施例的信息處理設備包括用于檢測面部圖像中面部方向的面部檢測裝置,用于根據(jù)面部方向,生成基于面部圖像中面部的預定特征的位置的統(tǒng)計分布的權(quán)重分布的權(quán)重分布生成裝置。
用于計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是面部的
預定特征的第 一評價值的第 一計算裝置,和用于基于第 一評價值和權(quán)重分布將該預定區(qū)域識別為面部的預定特征的面部特征識別裝置。
根據(jù)本發(fā)明的另 一實施例,信息處理設備可進一步包括用于通過基于權(quán)重分布對第一評價值進行加權(quán)而計算第二評價值的第二計算裝置,該面部特征識別裝置可基于第二評價值將該預定區(qū)域識別為面部的預定特征。
根據(jù)本發(fā)明的另 一 實施例,信息處理設備可進一步包括用于與面部方向相關(guān)聯(lián)地存儲已經(jīng)預先生成的權(quán)重分布的存儲裝置。該權(quán)重分布生成裝置可基于面部方向選擇在存儲裝置中存儲的權(quán)重分布。
根據(jù)本發(fā)明的另 一實施例,信息處理設備可進一步包括用于基于權(quán)重分布設置權(quán)重值等于或大于預定值的位置的范圍的范圍設置裝置。第一計算裝置可為該范圍內(nèi)的面部圖像的每個預定區(qū)域計算第一評價值。面部特征識別裝置可基于該范圍內(nèi)的第 一評價值將該預定區(qū)域識別為面部的預定特征。
根據(jù)本發(fā)明的另 一 實施例,信息處理設備可進一步包括用于與面部方向相關(guān)聯(lián)地存儲已經(jīng)預先設置的表示該范圍的范圍信息的存儲裝置。該范圍設置裝置可根據(jù)面部方向選擇在存儲裝置中存儲的范圍信息。
根據(jù)本發(fā)明的另一實施例,預定區(qū)域可以是以像素表示的區(qū)域。
根據(jù)本發(fā)明的另一實施例,權(quán)重分布可以是確定面部方向的面部角度的函數(shù)。
根據(jù)本發(fā)明的另一實施例,提供了一種信息處理方法,其包括步驟檢測面部圖像中面部方向;根據(jù)面部方向生成基于面部圖像中面部的預定特征的位置的統(tǒng)計分布的權(quán)重分布;計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是面部的預定特征的第一評價值;和基于第一評價值和權(quán)重分布將該預定區(qū)域識別為面部的預定特征。
根據(jù)本發(fā)明的另 一實施例,提供了 一種用于使得計算機執(zhí)行包括下面步驟的處理的程序檢測面部圖像中面部方向;根據(jù)面部方向生成基于面部圖像中面部的預定特征的位置的統(tǒng)計分布的權(quán)重分布;計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是面部的預定特征的第一評價值;和基于第一評卩介值和權(quán)重分布將該預定區(qū)域識別為面部的預定特征。根據(jù)本發(fā)明的實施例,檢測面部圖像中面部方向。生成基于面部圖像中 面部的預定特征的位置的統(tǒng)計分布的權(quán)重分布。為面部圖像的每個預定區(qū)域 計算評價該區(qū)域是否是面部的預定特征的第 一評價值?;诘?一評價值和權(quán)
重分布將預定區(qū)域識別為面部的預定特征。
根據(jù)本發(fā)明的實施例,能夠從面部的圖像更精確地斥全測面部的特征而無 i侖面部方向如^可。
置的框圖2是解釋確定面部方向的角度的圖示;
圖3是用于解釋由如圖1所示的面部部分檢測設備執(zhí)行的面部部分檢測 處理的流程圖4是用于解釋由面部檢測部件和面部圖像旋轉(zhuǎn)修正部件執(zhí)行的處理的
圖示;
圖5是用于解釋面部部分權(quán)重映像的圖示; 圖6是用于解釋面部部分權(quán)重映像的圖示; 圖7是用于解釋面部部分權(quán)重映像的示例的圖示; 圖8是用于解釋根據(jù)俯仰角和偏轉(zhuǎn)角的面部部分權(quán)重映像的圖示; 圖9是用于解釋面部部分權(quán)重映像的另一示例的圖示; 圖10是示出面部部分檢測設備的另 一示例性配置的框圖; 圖ll是示出由如圖10所示的面部部分檢測設備執(zhí)行的面部部分檢測處 理的流程圖12是示出面部部分檢測設備的再一示例性配置的框圖13是示出由如圖12所示的面部部分檢測設備4丸行的面部部分4企測處
理的流程圖14是用于解釋面部部分檢測范圍的圖示;
圖15是用于解釋面部部分檢測范圍的圖示;
圖16是示出面部部分檢測設備的又一示例性配置的框圖17是示出由如圖16所示的面部部分檢測設備執(zhí)行的面部部分檢測處
理的流程圖;圖18是示出面部部分檢測設備的又一示例性配置的框圖; 圖19是示出由如圖18所示的面部部分檢測設備執(zhí)行的基本部分檢測處 理的流程圖;以及
件配置的示例的框圖。
具體實施例方式
現(xiàn)在將參考附圖描述本發(fā)明的實施例??驁D。
如圖1所示的面部部分檢測設備11檢測在輸入圖像中包括的面部并從面 部的圖像檢測作為面部的預定特征(feature )的面部部分。雖然面部部分檢 測設備11主要檢測人類的面部,但該設備可類似地檢測人類以外的動物的面 部和以人類的形狀做出的玩偶的面部。雖然術(shù)語"面部部分"(或"面部的部 分")是指面部本身的特征,比如眼睛、鼻子或嘴部,但該術(shù)語可指面部的特 征的中心點、邊緣點或輪廓。
如圖1所示的面部部分檢測設備11包括圖像輸入部件(section) 41、面 部4企測部件42、面部圖〗象旋轉(zhuǎn)《奮正部^f牛43、面部部分4又重映j象生成部件44、 面部部分檢測部件-45、加權(quán)部件46和面部部分識別部件47。面部部分權(quán)重 映像生成部件44包括存儲組件(portion) 51和計算組件52。
圖像輸入部件41獲取由視頻照相機等成像的圖像或預先記錄在比如可 移去介質(zhì)(沒有示出)之類的記錄介質(zhì)中的圖像作為輸入圖像,并將該圖像 提供給面部^r測部件42。
面部檢測部件42從圖像輸入部件41提供的輸入圖像檢測面部和面部方 向。該部件42基于作為其中待檢測面部的區(qū)域的面部檢測區(qū)域的位置和尺寸 提取面部圖像,并將該面部圖像和表示面部方向的信息一起提供到面部圖像 旋轉(zhuǎn)》務正部件43和面部部分4又重映4象生成部件44。
特別地,面部檢測部件42基于預先學習的、以多種方向定向的面部的面 部圖像才企測面部和面部方向,如JP-A-2005-284487, JP-A-2007-249852和 Kotaro Sabe和Kenichi Hidai, "Learning of a Real-time Arbitrary Pasture Face Detector Using Pixel Difference Features", Lectures at the 10th Symposium onSensing via Image Information, pp. 547-552, 2004中提出的。
如圖2所示,面部方向由俯仰角(pitch angle )、偏轉(zhuǎn)角(yaw angle )和滾轉(zhuǎn)角(roll angle )表示。如圖2的左側(cè)所示,俯仰角是關(guān)于軸61的向上或向下的角,該軸61平行于連接人的眼睛的中心的線,并基本上延伸通過人的頭的中心。例如,當人面朝上時俯仰角具有正值,且當人面朝下時具有負值。如圖2的左側(cè)所示,偏轉(zhuǎn)角是關(guān)于軸62的角,該軸62垂直于軸61,且基本上垂直地延伸通過人的頭的中心。例如,當人面朝前、朝右和朝左時,偏轉(zhuǎn)角可被分別定義為具有0度的值、負值和正值的角。如圖2的右側(cè)所示,滾轉(zhuǎn)角是關(guān)于軸63的旋轉(zhuǎn)角,軸63垂直于軸61和62,且當軸61水平時該角是0度。
面部才企測部件42學習從具有預定尺寸的面部^r測區(qū)域提取的具有預定偏轉(zhuǎn)角和預定俯仰角的人的面部的面部圖像。該部件將從圖像輸入部件41提供的輸入圖像的區(qū)域與已學習的面部圖像比較,其中該輸入圖像的區(qū)域具有與面部圖像檢測區(qū)域相同尺寸的輸入圖像的區(qū)域相比較。由此,評價輸入圖1象以確定其是否表示面部。由此,;險測面部和面部方向。
將由面部檢測部件42學習的面部圖像中的面部方向分類為每個角度范圍。面部沖企測部件42將面部方向4全測為大致范圍內(nèi)(例如,從-45度到-15度的范圍、從-15度到+15度的范圍、或從+15度到+45度的范圍內(nèi))的偏轉(zhuǎn)角,面部的超前的姿態(tài)作為角度范圍的基準。將這種檢測的結(jié)果與在面部檢測區(qū)域周圍的區(qū)域中類似地獲得的多個檢測結(jié)果進行平均,由此可以獲得更精確的角度。本發(fā)明不限于上述方法,且面部檢測部件42可使用其它方法檢測面部和面部方向。
面部圖像旋轉(zhuǎn)修正部件43以滾轉(zhuǎn)角旋轉(zhuǎn)從面部檢測部件42提供的面部圖像(或修正面部圖像的旋轉(zhuǎn)),該滾轉(zhuǎn)角是表示面部方向的信息段之一,且該部件將生成的面部圖像提供給面部部分^r測部件45。
根據(jù)作為表示從面部檢測部件42提供的面部方向的信息段的俯仰角和偏轉(zhuǎn)角,面部部分權(quán)重映像(map)生成部件44生成面部部分權(quán)重映^象,用于給予在其中可能存在面部圖像的預定面部部分的位置中的像素較高的加權(quán),且部件44將該映像提供給加權(quán)部件46。后面將描述面部部分權(quán)重映像的細節(jié)。
在面部部分權(quán)重映像生成部件44的存儲組件51中,與從面部4全測部件42提供的面部圖像的每個尺寸相關(guān)聯(lián)地并與面部圖像的面部部分的每個類型 相關(guān)聯(lián)地存儲面部部分權(quán)重映像,這里面部部分類型是基于面部的超前的姿 態(tài)定義的(其中面部的滾轉(zhuǎn)角、俯仰角和偏轉(zhuǎn)角都是0度)。就是說,即使當 將面部部分權(quán)重映像與具有相同尺寸的面部圖像相關(guān)聯(lián)時,用于右眼的面部
部分權(quán)重映像也不同于用于左眼的面部部分權(quán)重映像。在存儲部件51中存儲
的面部部分權(quán)重映像將在下文中被稱為"基本面部部分權(quán)重映像"。
面部部分權(quán)重映像生成部件44的計算組件52基于存儲組件51中的基本 面部部分權(quán)重映像,通過根據(jù)從面部檢測部件42提供的俯仰角和偏轉(zhuǎn)角執(zhí)行 計算來獲得面部部分權(quán)重映像。
面部部分檢測部件45計算從面部圖像旋轉(zhuǎn)修正部件43提供的面部圖像 的每個像素的檢測分數(shù)(score),并將該分數(shù)提供給加權(quán)部件46,該檢測分 數(shù)用作用于評價像素是否表示面部部分的評價值。
特別地,例如,面部部分檢測部件45以與在面部檢測部件42中進行的
面部圖像的區(qū)域和已學習的面部部分的圖像,該區(qū)域具有與已學習的面部部 分的預定尺寸相同的尺寸。由此,該部件45計算具有預定尺寸的區(qū)域中的像 素的檢測分數(shù)。當具有預定尺寸的區(qū)域中的像素具有高檢測分數(shù)時,區(qū)域中 的圖像被認為是用于待檢測的面部部分的候選。
加才又部件46基于從面部部分斥又重映〗象生成部件44 ^是供的面部部分權(quán)重 映像,對從面部部分檢測部件45提供的每個像素的檢測分數(shù)進行加權(quán),并將 每個像素的已加權(quán)的檢測分數(shù)提供給面部部分識別部件47。
面部部分識別部件47從自加權(quán)部件46提供的面部圖像的所有像素的檢 測分數(shù)識別具有等于或大于預定閾值的檢測分數(shù)的像素作為形成想要的面部 部分的像素。
現(xiàn)在將參考圖3所示的流程圖描述面部部分檢測設備11執(zhí)行的面部部分 才全測處5里。
當面部部分檢測設備11的圖像輸入部件41獲得輸入圖像并將圖像提供 給面部檢測部件42和面部圖像旋轉(zhuǎn)修正部件43時,面部部分檢測處理開始。
在步驟Sll,面部檢測部件42從自圖像輸入部件41提供的輸入圖像檢 測面部和確定面部方向的滾轉(zhuǎn)角、俯仰角和偏轉(zhuǎn)角。面部4企測部件42基于面 部檢測區(qū)域的位置和尺寸提取面部圖像,并將面部圖像與滾轉(zhuǎn)角一起提供給面部圖像旋轉(zhuǎn)修正部件43。面部檢測部件42還將提取的面部圖像的尺寸與 俯仰角及偏轉(zhuǎn)角 一起提供給面部部分權(quán)重映像生成部件44。
在步驟S12,面部圖像選擇修正部件43以與從面部檢測部件42提供的 滾轉(zhuǎn)角相等的量旋轉(zhuǎn)面部圖像(或修正面部圖像的旋轉(zhuǎn)),并將生成的面部圖 像提供給面部部分4企測部件45。
例如,面部檢測部件42從示為圖4中的圖像A的輸入圖像檢測面部和 面部的滾轉(zhuǎn)角(=30度)、俯仰角(-O度)和偏轉(zhuǎn)角(=-20度),以提取面部 圖像71。
面部圖像旋轉(zhuǎn)修正部件43將由圖4中的圖B表示的面部圖像71的旋轉(zhuǎn) 修正30度,使得連接面部的眼睛的中心的假想線變?yōu)樗降?就是說,滾轉(zhuǎn) 角變?yōu)镺度),如圖4中的圖像C表示的。
因此,從輸入圖像獲得具有處于水平位置關(guān)系的眼睛(具有O度的滾轉(zhuǎn) 角)的面部圖像71。
在步驟S13,面部部分權(quán)重映像生成部件44根據(jù)從面部檢測部件42提 供的面部圖像71的尺寸、俯仰角和偏轉(zhuǎn)角生成面部部分權(quán)重映像,并提供該 映像到加纟又部件46。
現(xiàn)在將參考圖5到8描述由面部部分權(quán)重映像生成部件44生成的面部部 分權(quán)重映像。關(guān)于待檢測的面部部分是右眼的假定進行描述。
總的來說,當作為面部檢測的結(jié)果獲得的具有相同尺寸的多個面部圖像 彼此重疊時,由于其上執(zhí)行面部檢測的面部的位置、形狀和方位之間的差異, 以及由于右眼的位置的個人差異,右眼的位置隨著面部而變化。
換句話說,當在具有相同尺寸的重疊的面部圖像上繪出(plotted)右眼 的位置(右眼的中心的位置)時,在該區(qū)域中的斑點(plot)的密度越高,區(qū) 域可被以高似然性認為包括具有相同尺寸的面部圖像的右眼(右眼的中心), 基于這種分布小塊做出面部部分權(quán)重映像。
例如,基于通過重疊具有與面部圖像71相同尺寸的幾百個面部圖像繪出 的右眼位置(中心位置)的分布來獲得圖5所示的面部部分權(quán)重映像72。就 是說,獲得基于面部圖像的右眼的位置的統(tǒng)計分布的面部部分權(quán)重映像72。
在圖5所示的面部部分權(quán)重映像72中,以越高密度繪出區(qū)域,區(qū)域顯得 越暗。因此,右眼以高似然性存在于該區(qū)域中。因此,給予與暗區(qū)域相關(guān)聯(lián) 的面部圖像的像素以高權(quán)重。使用面部部分權(quán)重映像72給予的權(quán)重由預定范圍內(nèi)的值表示。例如,圖
5所示的面部部分權(quán)重映像72的權(quán)重具有在從0.0到1.0范圍內(nèi)的值,其中在具有小塊的—最大密度的位置中的權(quán)重具有1.0的值,且其中在具有0的小塊密度的位置中的權(quán)重具有0.0的值。
因為由繪出的位置表示的右眼的位置根據(jù)面部方向而改變,必須根據(jù)面部方向生成面部部分權(quán)重映^象72。
例如,如圖6中的圖像A表示的,當將僅基于前視面部的面部圖像生成的面部部分權(quán)重映像72應用于前視面部的面部圖像71時,給予的權(quán)重以面部的右眼為中心。
但是,當將用于圖6的圖像A的面部部分權(quán)重映像72應用于左視面部(俯仰角=0度,偏轉(zhuǎn)角=+20度)的面部圖像71時,將權(quán)重給予不同于右眼的位置,這里必須如圖6中的圖像B表示的那樣進行加權(quán)。由此,面部部分檢測的精確性P爭低。
在該情況下,面部部分權(quán)重映像生成部件44基于0度的俯仰角和+20度的偏轉(zhuǎn)角生成如圖6中的圖像C表示的面部部分權(quán)重映像72。
更具體地說,計算組件52基于根據(jù)在存儲組件51中存儲的面部圖像71的尺寸的基本面部部分權(quán)重映像(基本映像與圖6中的圖像A的面部部分權(quán)重映像72相同),將面部部分權(quán)重映像72定義為作為變量的俯仰角和偏轉(zhuǎn)角的函數(shù)。計算組件替換在面部部分權(quán)重映像72中的0度的俯仰角和+20度的偏轉(zhuǎn)角以獲得由圖6中的圖像C表示的另一面部部分權(quán)重映像72。
例如,計算組件52以復合分布來近似面部部分權(quán)重映4象72 (基本面部部分權(quán)重映像),該復合分布是通過合成如圖7所示的彼此正交的各個軸g和b的法線分布(normal distribution)獲得的。由比如表示軸^和b的交叉點的中心坐標(x, y)、軸g關(guān)于面部圖像71的水平方向定義的角度oc ,以及關(guān)
于軸g和b的法線分布的各個變量(Ja和C7b這樣的參數(shù)確定映像。另外,計算
值和偏轉(zhuǎn)角值而具有連續(xù)的權(quán)重值的面部部分權(quán)重映像72。
因此,即使在由圖B表示的左視面部的面部圖像71的情況下,以如圖6
中的圖像C表示的以右眼為中心的分布來給予權(quán)重。
如這樣所述的,面部部分權(quán)重映像生成部件44根據(jù)如圖8所示的預定俯
仰角和偏轉(zhuǎn)角生成面部部分權(quán)重映像72。
ii圖8示出每個根據(jù)預定角度范圍內(nèi)包括的俯仰角和偏轉(zhuǎn)角的面部部分權(quán)
重映像72。在圖8中,符號"["和"]"分別表示角度范圍的包含性的下限 和上限,且符號"("和")"分別表示角度范圍的非包含性的下限和上限。
例如,從大于等于-45度且小于-15度的俯仰角以及大于等于-45度且小 于-15度的偏轉(zhuǎn)角生成在圖8的左上部分所示的面部部分權(quán)重映像72-l。
從大于等于-45度且小于-15度的俯仰角以及大于等于-15度且小于等于 + 15度的偏轉(zhuǎn)角生成在圖8的中上部分所示的面部部分權(quán)重映像72-2。
從大于等于-45度且小于-15度的俯仰角以及大于+15度且小于等于+45 度的偏轉(zhuǎn)角生成在圖8的右上部分所示的面部部分權(quán)重映像72-3。
從大于等于-15度且小于等于+15度的俯仰角以及大于等于-45度且小于 -15度的偏轉(zhuǎn)角生成在圖8的左中部分所示的面部部分權(quán)重映像72-4。
從大于等于-15度且小于等于+15度的俯仰角以及大于等于-15度且小于 等于+15度的偏轉(zhuǎn)角生成在圖8的中間所示的面部部分權(quán)重映像72-5。該面 部部分權(quán)重映像72-5與在存儲組件51中存儲的基本面部部分權(quán)重映像相同。
從大于等于-15度且小于等于+15度的俯仰角以及大于+15度且小于等于 +45度的偏轉(zhuǎn)角生成在圖8的右中部分所示的面部部分權(quán)重映像72-6。
從大于+15度且小于等于+45度的俯仰角以及大于等于-45度且小于-15 度的偏轉(zhuǎn)角生成在圖8的左下部分中所示的面部部分權(quán)重映像72-7。
從大于+15度且小于等于+45度的俯仰角以及大于等于-15度且小于等于 + 15度的偏轉(zhuǎn)角生成在圖8的中下部分中所示的面部部分權(quán)重映像72-8。
從大于+15度且小于等于+45度的俯仰角以及大于+15度且小于等于+45 度的偏轉(zhuǎn)角生成在圖8的右下部分所示的面部部分權(quán)重映像72-9。
如這樣所述的,面部部分權(quán)重映^象生成部件44可以沖艮據(jù)俯仰角和偏轉(zhuǎn)角 生成面部部分權(quán)重映j象72。
再次參考圖3中的流程圖,在步驟S14,面部部分檢測部件45計算在從 面部圖像旋轉(zhuǎn)修正部件43提供的已修正旋轉(zhuǎn)的面部圖像的每個像素處的檢 測分數(shù),以4企測作為面部部分的右眼。該部件45將該分數(shù)纟是供給加權(quán)部件 46,且處理前進到步驟S15.
在步驟S15,加權(quán)部件46基于乂人面部部分權(quán)重映像生成部件44 ^是供的 面部部分權(quán)重映像72,對從面部部分4全測部件45纟是供的每個^(象素的4全測分 數(shù)進行加權(quán)。該部件46將每個像素的已加權(quán)的檢測分數(shù)提供給面部部分識別部件47,且處理前進到步驟S16。
更具體地說,加權(quán)部件46根據(jù)下面所示的表達式1將每個像素的檢測分數(shù)乘以在面部部分權(quán)重映像72中的用于該像素的權(quán)重值。
就是說,關(guān)于圖像的水平向右方向構(gòu)成"x方向";圖像的垂直向下方向構(gòu)成"y方向";且圖像在左上端構(gòu)成原點(x, y) = (0, 0)的假定來使面部圖像71規(guī)范化(normalize )。讓我們進一步假定在坐標(x, y)的像素的檢測分數(shù)由"ScorePD (x, y)"表示,且在與坐標(x, y)相關(guān)聯(lián)的面部部分權(quán)重映像72中的權(quán)重值由"Weight (x, y)"表示。那么,在給予權(quán)重之后,在坐標(x, y)處的像素具有如表達式1給出的檢測分數(shù)Scroe (x, y )。
Score (x, y) =ScorePD (x, y) x Weight (x, y) 表達式1
在步驟S16,加權(quán)部件46確定是否對于面部圖像71的所有像素執(zhí)行相乘。
當在步驟S16確定沒有對面部圖像71的所有像素執(zhí)行相乘時,重復在步驟S15和S16的處理直到已對面部圖像71的所有像素"^丸行相乘。
當在步驟S16確定已經(jīng)對面部圖像71的所有像素^l行相乘時,處理前進到步驟S17。
在步驟S17,面部部分識別部件47檢測從加權(quán)部件46提供的面部圖像71的所有像素的檢測分數(shù)以識別具有大于等于預定閾值的檢測分數(shù)的像素為形成面部部分的像素。
通過上述處理,面部部分檢測設備11能夠使用面部部分權(quán)重映像72從自輸入圖像提取的面部圖像71檢測作為面部部分的右眼。
因為使用了根據(jù)面部方向生成的面部部分權(quán)重映像72,以能夠根據(jù)面部方向?qū)γ娌康囊徊糠值臋z測范圍進行精確地加權(quán)。結(jié)果,能夠從面部圖像精確地檢測面部的特征,而不論面部方向如何。
參考圖8描述了基于在三個范圍內(nèi),即,大于等于-45度且小于-15度的范圍、大于等于-15度且小于等于+15度的范圍、和大于+15度且小于等于+45度的范圍內(nèi)的俯仰角和偏轉(zhuǎn)角生成面部部分權(quán)重映像72。但是,可從其它范圍的角度生成映像。
面部部分權(quán)重映像72中的權(quán)重值不限于如參考圖7所述的連續(xù)值的分布。作為選擇地,可與在面部圖像71中規(guī)范化的坐標值相關(guān)聯(lián)地離散地給出權(quán)重值,如圖9中的面部部分權(quán)重映像73所表示的?,F(xiàn)在將參考圖10描述面部部分檢測設備的另 一示例性配置。 由類似的附圖標記指示在圖l和圖IO之間彼此相對應的組件,且在合適 的地方將省略這種組件的描述。特別地,圖IO所示的面部部分檢測設備111
的配置基本上類似于圖1所示的面部部分檢測設備11的配置,除了圖10所 示的面部部分檢測設備111另外具有面部部分權(quán)重映像表141。
在面部部分權(quán)重映像表141中,與面部圖像71的尺寸、俯仰角和偏轉(zhuǎn)角 相關(guān)if關(guān)地存儲由面部部分權(quán)重映像生成部件44生成的面部部分權(quán)重映像72。
更具體地說,在面部部分權(quán)重映像表141中存儲的是與如圖8圖示的每 個尺寸的面部圖像的俯仰角和偏轉(zhuǎn)角的預定范圍相關(guān)聯(lián)的面部部分權(quán)重映像 72。
面部部分權(quán)重映像生成部件44基于從面部檢測部件42提供的面部圖像 的尺寸、俯仰角和偏轉(zhuǎn)角,從面部部分權(quán)重映像表141選擇面部部分權(quán)重映 像72。
特別地,面部部分權(quán)重映像生成部件44基于面部圖像71的尺寸、俯仰 角和偏轉(zhuǎn)角,從面部部分權(quán)重映像表141選4奪過去生成的面部部分權(quán)重映像 72。
在面部部分權(quán)重映像表141中存儲的面部部分權(quán)重映像72不限于那些由 面部部分權(quán)重映像生成部件44在過去生成的,從其它設備提供的映像可被存 儲在表中。
現(xiàn)在將參考圖11中的流程圖描述如圖10所示的面部部分檢測設備111 才丸行的面部部分^r測處理。
將不描述在圖11中的流程圖的步驟Slll和S112以及步驟S114到S117 執(zhí)行的處理,因為它們與圖3中的流程圖的步驟Sll和S12以及步驟S14到 S17的處理類似。
在步驟S113,面部部分權(quán)重映像生成部件.44基于面部圖像71的尺寸、 俯仰角和偏轉(zhuǎn)角,乂人面部部分權(quán)重映像表141選4奪面部部分權(quán)重映像72,這 里該面部圖像71是從面部檢測部件42提供的,且已經(jīng)修正了滾轉(zhuǎn)角,并且 該部件44將該映^象提供給加權(quán)部件46。
通過上述處理,面部部分4企測設備111可以使用在面部部分權(quán)重映像表 141中存儲的面部部分權(quán)重映像72,檢測作為從輸入圖像提取的面部圖像71 的面部部分的右眼。因為如這樣所述地使用預先生成和存儲的面部部分權(quán)重映像72,所以不
需要根據(jù)俯仰角和偏轉(zhuǎn)角新生成面部部分權(quán)重映像72。能夠根據(jù)面部方向?qū)γ娌坎糠值臋z測分數(shù)進行精確地加權(quán)。結(jié)果,能夠以小的計算量從面部圖像更精確地檢測面部的特征,而不論面部方向如何。
現(xiàn)在將參考圖12描述面部部分檢測設備的又一示例性配置。由類似的附圖標記指示在圖l和圖12之間;波此相對應的組件,且在合適的地方將省略這種組件的描述。圖12所示的面部部分檢測設備211的配置基本上類似于圖1所示的面部部分檢測設備11的配置,除了圖12所示的面部部分檢測設備211不具有圖1的面部部分檢測設備11具有的加權(quán)部件46且其具有面部部分檢測范圍設置部件241。
基于由面部部分一又重映像生成部件44生成的面部部分4又重映像72,面部部分檢測范圍設置部件241設置作為等于或大于預定值的權(quán)重的范圍的面部部分纟全測范圍。該部件241向面部部分4企測部件45 4是供指示面部部分4企測范圍的范圍信息。
面部部分檢測部件45在由來自面部部分檢測范圍設置部件241的范圍信息指示的面部部分檢測范圍內(nèi),從面部圖像旋轉(zhuǎn)修正部件43提供的面部圖像71的每個像素上計算檢測分數(shù)。該部件45將檢測分數(shù)提供給面部部分識別部件47。
面部部分識別部件47從自面部部分4企測部件45提供的面部部分4全測范圍內(nèi)所有像素的檢測分數(shù)識別具有等于或大于預定閾值的檢測分數(shù)的像素為形成面部部分的像素。
現(xiàn)在將參考圖13中的流程圖描述如圖12所示的面部部分檢測設備2U執(zhí)行的面部部分纟企測處理。
將不描述在圖13中的流程圖的步驟S211到S213的處理,因為它們類似于在圖3中的流程圖的步驟Sll到S13的處理。
在步驟S214,面部部分^:測范圍"i殳置部件241在/人面部部分權(quán)重映像生成部件44提供的面部部分權(quán)重映像72中設置面部部分檢測范圍,其是等于或大于預定值的權(quán)重值的范圍。
特別地,例如,面部部分檢測分數(shù)設置部件241將如參考圖7描述的面部部分權(quán)重映像72中的橢圓271的內(nèi)部設置為如圖14所示的面部部分檢測范圍,該橢圓表示關(guān)于軸^和b的權(quán)重值的法線分布的各自的范圍3da和3db,在該范圍中權(quán)重值等于或大于預定值。
為了以較小的計算量來計算檢測分數(shù),可作為選擇地將限制橢圓271的
矩形272的內(nèi)部設置為面部部分檢測范圍。
面部部分檢測范圍設置部件241將指示這樣設置的面部部分檢測范圍的 范圍信息提供給面部部分檢測部件45。
在步驟S215,面部部分檢測部件45在從面部圖像旋轉(zhuǎn)修正部件43提供 的面部圖像中由來自面部部分檢測范圍設置部件241的范圍信息指示的面部 部分檢測范圍內(nèi)計算的每個像素的檢測分數(shù)。該部件45將檢測分數(shù)提供給面 部部分識別部件47。
在步驟S216,面部部分識別部件47 乂人自面部部分檢測部件45提供的面 部部分檢測范圍內(nèi)的所有像素的檢測分數(shù)識別具有等于或大于預定閾值的檢 測分數(shù)的像素為形成面部部分的像素。
通過上述處理,面部部分一全測設備211可在基于面部部分權(quán)重映像72 設置的面部部分檢測范圍內(nèi)檢測作為從輸入圖像提取的面部圖像71的面部 部分的右眼。
因為根據(jù)如這樣描述的想要的面部方向,因此基于面部部分權(quán)重映像72 設置面部部分檢測范圍,不需要計算面部圖像71的所有像素的檢測分數(shù),結(jié) 果,能夠以更小的計算量從面部圖像更精確地檢測面部的特征,而不論面部 方向如何。
上面已經(jīng)描述如參考圖7所述的基于面部部分權(quán)重映像72設置面部部分 檢測范圍。作為選擇,如圖15所示,面部部分檢測范圍可以是在面部部分權(quán) 重映像73中指示具有預定值的權(quán)重的區(qū)域(具有等于或大于預定值的權(quán)重的 區(qū)域)的邊界273的內(nèi)部,該面部部分權(quán)重映像73示出了與在面部圖像71 中規(guī)范化的坐標值相關(guān)聯(lián)地離散地給出的權(quán)重值。為了允許進一步減少計算 量,面部部分檢測范圍可作為選擇地是限制邊界273的矩形邊界274的內(nèi)部。
可配置面部部分檢測設備211以允許以與在圖IO中所示的面部部分檢測 設備111采用的相同的方式,與俯仰角及偏轉(zhuǎn)角相關(guān)聯(lián)地存儲由面部部分檢 測范圍設置部件241設置的面部部分檢測范圍,以允許與俯仰角及偏轉(zhuǎn)角相 關(guān)聯(lián)地存儲/人面部部分權(quán)重映像表141生成的面部部分權(quán)重映^象72。
現(xiàn)在將參考圖16進行描述,圖16關(guān)于其中能夠存儲面部部分檢測范圍 的面部部分檢測設備。由相似的附圖標記指示在圖12和16之間彼此相對應的組件,且在合適的地方將省略這種組件的描述。圖16中所示的面部部分檢測設備311的配置基本上類似于面部部分檢測設備211的配置,除了圖16中所示的面部部分檢測設備311具有面部部分檢測范圍表341。
參考圖16,面部檢測部件42將面部圖像71和面部圖像71的滾轉(zhuǎn)角提供給面部圖像旋轉(zhuǎn)修正部件43,并將面部圖像71的尺寸、俯仰角和偏轉(zhuǎn)角的信息提供給面部部分權(quán)重映像生成部件44和面部部分檢測范圍設置部件241。
在面部部分^r測范圍表341中,與面部圖4象71的尺寸、俯仰角和偏轉(zhuǎn)角相關(guān)聯(lián)地存儲指示由面部部分檢測范圍設置部件241設置的面部部分檢測范圍的范圍信息。
更具體地說,與俯仰角和偏轉(zhuǎn)角的預定范圍相關(guān)聯(lián)地,對于面部圖像71的每個尺寸在面部部分檢測范圍表341中存儲范圍信息。
面部部分檢測范圍設置部件241從面部部分檢測范圍表341中選擇與從面部檢測部件42提供的面部圖像71的尺寸、俯仰角和偏轉(zhuǎn)角相關(guān)聯(lián)的范圍信息。
特別地,面部部分檢測范圍設置部件241從面部部分檢測范圍表341選擇示出基于面部圖像71的尺寸、俯仰角和偏轉(zhuǎn)角在過去設置的面部部分檢測范圍的范圍信息。
在面部部分檢測范圍表341中存儲的范圍信息不限于由面部部分檢測范圍設置部件241設置的信息段,且可以從其它設備提供信息。
現(xiàn)在將參考圖17所示的流程圖描述圖16中所示的面部部分檢測設備311執(zhí)行的面部部分檢測處理。
將不描述在圖17中的流程圖的步驟S311、 S312、 S314和S315的處理,因為它們類似于在圖13中的流程圖的步驟S211、S212、S214和S215的處理。
在步驟S313,面部部分檢測范圍設置部件241從面部部分檢測范圍表341選擇與從面部檢測部件42提供的面部圖像71的尺寸、俯仰角和偏轉(zhuǎn)角相關(guān)聯(lián)的范圍信息,并將該范圍信息提供給面部部分檢測部件45。
通過上述處理,面部部分4全測設備311能夠在由存儲在面部部分^r測范圍表341中的范圍信息指示的面部部分檢測范圍內(nèi)檢測作為從輸入圖像提取的面部圖像71的面部部分的右眼。因為如這樣所述地使用預先設置和存儲的范圍信息,因此不需要根據(jù)俯 仰角和偏轉(zhuǎn)角來新設置面部部分檢測范圍。另外,僅需要在面部部分檢測范 圍中計算檢測分數(shù)。結(jié)果,能夠以更小的計算量從面部圖像更精確地檢測面 部的特征,而不i侖面部方向如4可。
上述描述提出用于基于面部部分權(quán)重映像72對片企測分數(shù)進行加權(quán)的配 置和用于在基于面部部分權(quán)重映像72的面部部分檢測范圍內(nèi)計算檢測分數(shù) 的配置,可結(jié)合地使用這些配置。
現(xiàn)在將參考圖18進行描述,圖18關(guān)于其中基于面部部分權(quán)重映像72 對在面部部分檢測范圍內(nèi)計算的檢測分數(shù)進行加權(quán)的面部部分檢測設備的示 例性配置。
由相似的附圖標記指示在圖1和18之間彼此相對應的組件,且在合適的 地方將省略這種組件的描述。圖18中所示的面部部分檢測設備411的配置基 本上類似于圖1中所示的面部部分檢測設備11的配置,除了圖18中所示的 面部部分檢測設備411包括如圖12所示的面部部分沖全測范圍設置部件241。
現(xiàn)在將參考圖19中的流程圖描述圖18中所示的面部部分檢測設備411 -執(zhí)行的面部部分4全測處理。
將不描述在圖19中的流程圖的步驟S411和S412的處理,因為它們類 似于在圖3中的流程圖的步驟Sll和S12的處理。
在步驟S413,面部部分權(quán)重映像生成部件44根據(jù)從面部檢測部件42提 供的俯仰角和偏轉(zhuǎn)角的信息來生成面部部分權(quán)重映像72,并將該映像提供給 加^:又部件46和面部部分^r測范圍i殳置部件241。
在步驟S414,面部部分檢測范圍設置部件241設置面部部分檢測范圍, 該面部部分檢測范圍是其中在從面部部分權(quán)重映像生成部件44 ^是供的面部 部分權(quán)重映像72中,權(quán)重具有等于或大于預定值的范圍。該部件241將指示 面部部分檢測范圍的范圍信息提供給面部部分檢測部件45。
在步驟S415 ,面部部分4企測部件45在由來自面部部分4全測范圍設置部 件241的范圍信息指示的面部部分檢測范圍內(nèi),計算在從面部圖像旋轉(zhuǎn)修正 部件43提供的面部圖像71的每個像素的檢測分數(shù)。該部件45將檢測分數(shù)提 供給加權(quán)部件46。
在步驟S416,加權(quán)部件46基于從面部部分權(quán)重映像生成部件44提供的 面部部分4又重映^象72,在從面部部分4企測部件45 4是供的面部部分4企測范圍內(nèi)對每個像素的檢測分數(shù)進行加權(quán)。該部件46將每個像素的權(quán)重的檢測分數(shù)
^是供給面部部分識別部件47。
在步驟S417,加權(quán)部件46確定面部部分檢測范圍內(nèi)的所有像素是否已
經(jīng)乘以權(quán)重。
當在步驟S417確定已經(jīng)對于面部部分檢測范圍內(nèi)的所有像素執(zhí)行相乘時,重復在步驟S416和S417的處理直到對于在面部部分;f企測范圍中的所有像素執(zhí)行了相乘。
當在步驟S417確定已經(jīng)對于面部部分檢測范圍內(nèi)的所有像素執(zhí)行了相乘時,處理前進到步驟S418。
在步驟S418,面部部分識別部件47從由加權(quán)部件46提供的面部部分檢測范圍中的所有像素的檢測范圍當中,將具有等于或大于預定閾值的檢測分數(shù)的像素識別為形成面部部分的像素。
通過上述步驟,面部部分檢測設備411可以使用面部部分權(quán)重映像72在從輸入圖像提取的面部圖像71的面部部分檢測范圍內(nèi)檢測作為面部部分的右眼。
如這樣所述的,根據(jù)想要的面部方向基于面部部分權(quán)重映像72設置面部部分檢測范圍,且面部部分權(quán)重映像72用于在面部部分檢測范圍內(nèi)計算的檢測分數(shù)。因此,能夠關(guān)于在有限范圍內(nèi)的檢測分數(shù)精確地執(zhí)行加權(quán)。結(jié)果,能夠以更小的工作量從面部圖像更精確地檢測面部的特征,而不論想要的面部方向如4可。
對在面部部分檢測范圍內(nèi)計算的檢測分數(shù)進行加權(quán)的面部部分檢測設備不限于上述面部部分檢測設備411的配置。這種設備可具有包括如參考圖10所述的面部部分權(quán)重映像表141和如參考圖16所述的面部部分檢測范圍表341的配置。
在上述描述中,對于每個像素(或在以像素表示的每個區(qū)域)計算檢測分數(shù)。但是,本發(fā)明不限于在每個像素進行計算,且可對于每個預定區(qū)域,比如4x4像素的塊計算檢測分數(shù)。
根據(jù)本發(fā)明實施例由面部部分檢測設備檢測的對象不限于面部部分,且可以關(guān)于某種程度上相互綁定位置關(guān)系且被設置在具有確定的方位的物體上的任意項目執(zhí)行檢測,例如,這種物品包括車輛的前燈。
如上所述,根據(jù)本發(fā)明實施例的面部部分檢測設備從面部圖像檢測面部方向,生成基于面部圖像中面部的預定部分的位置的統(tǒng)計分布的面部部分權(quán) 重映像,在面部圖像的每個像素計算檢測分數(shù)以確定所述像素是否形成預定 面部部分,和基于一企測分數(shù)和面部部分權(quán)重映像72將預定像素識別為形成面 部部分。因此,能夠?qū)γ娌坎糠值臋z測分數(shù)進行精確地加權(quán)。結(jié)果,能夠從 面部圖像更精確地檢測面部的特征而不論的面部方向如何。
可以基于硬件執(zhí)行上述面部部分^r測處理的一系列步驟,也可以作為選 擇地可基于軟件地執(zhí)行這些步驟。當基于軟件地執(zhí)行該一系列步驟時,將形 成軟件的程序從程序記錄介質(zhì)安裝到專用硬件中集成到的計算機中,或安裝 到諸如通用計算機之類的當在其中安裝多種程序時能夠執(zhí)行多種功能的另一 類型的計算機中。
圖20是示出其上運行程序以執(zhí)行上述的一系列步驟的計算機的硬件配 置的示例的框圖。
在計算機中,CPU (中央處理單元)601、 ROM (只讀存儲器)602、和 RAM (隨機存取存儲器)603通過總線604互連。
輸入/輸出接口 605也連接到總線604。輸入/輸出接口 605與包括4建盤、 鼠標和麥克風的輸入單元606連接,與包括顯示器和揚聲器的輸出單元607 連接,與包括硬盤和非易失性存儲器的存儲單元608連接,與包括網(wǎng)絡接口 的通信單元609連接,并與用于諸如^茲盤、光盤、磁光盤或半導體存儲器這 樣的可移去介質(zhì)611的驅(qū)動610連接。
在具有上述配置的計算機中,例如,CPU601通過經(jīng)由輸入/輸出接口 605 和總線604將在存儲單元608中存儲的程序加載到RAM 603而執(zhí)行該程序, 以執(zhí)行上述的一系列步驟。
例如,通過將程序記錄在可移去介質(zhì)611中,而提供由計算機(CPU601 ) 執(zhí)行的程序,該可移去介質(zhì)611是封裝的介質(zhì),比如磁盤(其可以是軟盤)、 光盤(CD-ROM (致密盤-只讀存儲器)、DVD (數(shù)字多用途盤)等)、磁光盤 或半導體存儲器。作為選擇,可通過比如局域網(wǎng)、因特網(wǎng)、或數(shù)字衛(wèi)星廣播 的有線或無線傳輸介質(zhì)提供所述程序。
能夠通過在驅(qū)動610中安裝可移去介質(zhì)611,而經(jīng)由輸入/輸出接口 605 在存儲單元608中安裝所述程序。替代地,可通過經(jīng)由有線或無線傳輸介質(zhì) 在通信單元609處接收程序,而在存儲單元608中安裝所述程序。另外,可 替代地將程序預先安裝在ROM 602或存儲單元608中。由計算機執(zhí)行的程序可以是根據(jù)在本說明書中描述的次序按時間順序處理的??商娲乜梢圆⑿刑幚硭龀绦颍蛞岳?,當調(diào)用所述程序時需要的時序來處理所述程序。
本領域技術(shù)人員應該理解,根據(jù)設計需要和其它因素,可存在多種改變、組合、子組合和替代,只要上述改變、組合、子紐合和替代在所附權(quán)利要求或其等效物的范圍當中。
權(quán)利要求
1. 一種信息處理設備,包括面部檢測裝置,用于檢測面部圖像中面部方向;權(quán)重分布生成裝置,用于根據(jù)面部方向,生成基于面部圖像中面部的預定特征的位置的統(tǒng)計分布的權(quán)重分布;第一計算裝置,用于計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是面部的預定特征的第一評價值;和面部特征識別裝置,用于基于第一評價值和權(quán)重分布將該預定區(qū)域識別為面部的預定特征。
2. 根據(jù)權(quán)利要求1所述的信息處理設備,進一步包括第二計算裝置,用于通過基于權(quán)重分布對第一評價值進行加權(quán)而計算第二評價值,其中所述面部特征識別裝置基于第二評價值將預定區(qū)域識別為面部的預定特征。
3. 根據(jù)權(quán)利要求2所述的信息處理設備,進一步包括存儲裝置,用于與面部方向相關(guān)聯(lián)地存儲已經(jīng)預先生成的權(quán)重分布,其中所述權(quán)重分布生成裝置根據(jù)面部方向選擇在存儲裝置中存儲的權(quán)重分布。
4. 根據(jù)權(quán)利要求1所述的信息處理設備,進一步包括范圍設置裝置,用于基于權(quán)重分布設置權(quán)重值等于或大于預定值的位置的范圍,其中所述第一計算裝置為該范圍內(nèi)的面部圖像的每個預定區(qū)域計算第一評價值,且所述面部特征識別裝置基于該范圍內(nèi)的第 一評價值將該預定區(qū)域識別為面部的預定特征。
5. 根據(jù)權(quán)利要求4所述的信息處理設備,進一步包括存儲裝置,用于與面部方向相關(guān)聯(lián)地存儲已經(jīng)預先設置的表示該范圍的范圍信息,其中所述范圍設置裝置根據(jù)面部方向選擇在存儲裝置中存儲的范圍信息。
6. 根據(jù)權(quán)利要求1所述的信息處理設備,其中,所述預定區(qū)域是以像素 表示的區(qū)域。
7. 根據(jù)權(quán)利要求1所述的信息處理設備,其中,所述權(quán)重分布是確定面 部方向的面部的角度的函數(shù)。
8. —種信息處理方法,包括步驟 才企測面部圖像中面部方向;根據(jù)面部方向生成基于面部圖像中面部的預定特征的位置的統(tǒng)計分布的 權(quán)重分布;計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是面部的預定 特征的第一評價值;和基于第一評價值和權(quán)重分布將該預定區(qū)域識別為面部的預定特征。
9. 一種用于使得計算機執(zhí)行包括下面步驟的處理的程序 測面部圖像中面部方向;根據(jù)面部方向生成基于面部圖像中面部的預定特征的位置的統(tǒng)計分布的 才又重分布;計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是面部的預定 特征的第一評價值;和基于第一評價值和權(quán)重分布將該預定區(qū)域識別為面部的預定特征。
10. —種信息處理設備,包括面部檢測部件,配置以檢測面部圖像中面部方向;權(quán)重分布生成部件,配置以根據(jù)面部方向,生成基于面部圖像中預定面部部分的位置的統(tǒng)計分布的權(quán)重分布;第 一計算部件,配置以計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是預定面部部分的第一評價值;和面部部分識別部件,配置以基于第一評價值和權(quán)重分布將該預定區(qū)域識別為預定面部部分。
全文摘要
提供信息處理設備、信息處理方法和相應的程序。信息處理設備包括用于檢測面部圖像中面部方向的面部檢測裝置;用于根據(jù)面部方向生成基于面部圖像中面部的預定特征的位置的統(tǒng)計分布的權(quán)重分布的權(quán)重分布生成裝置;用于計算用于評價面部圖像的每個預定區(qū)域以確定該區(qū)域是否是面部的預定特征的第一評價值的第一計算裝置;和用于基于第一評價值和權(quán)重分布將預定區(qū)域識別為面部的預定特征的面部特征識別裝置。
文檔編號G06K9/00GK101533472SQ20091012853
公開日2009年9月16日 申請日期2009年3月16日 優(yōu)先權(quán)日2008年3月14日
發(fā)明者佐部浩太郎, 大橋武史, 日臺健一 申請人:索尼株式會社