專利名稱：特定部分姿勢推測裝置、特定部分姿勢推測方法及特定部分姿勢推測程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種姿勢推測裝置，無論是利用由便攜電話或電子手冊等識別能力低的硬件得到的圖像，還是利用安裝在這樣的裝置中的簡易的圖像處理電路，都可容易地在短時間內(nèi)推測姿勢。
背景技術(shù)：
例如，在監(jiān)視汽車等駕駛的情況下，或者在認證進入房間狀況或特定人物等情況下，包含姿勢在內(nèi)地抽取人臉的信息，在進行圖像處理后將其用于監(jiān)視或認證。在進行這樣的監(jiān)視或認證中，在執(zhí)行后面的圖像處理之前，首先必需檢測姿勢，或?qū)⒆藙輽z測當成重要的事情。
這樣的情況下，以往有在例如專利文獻(特開平7-200774號公報)所示的圖14中示出了其結(jié)構(gòu)的姿勢抽取用圖像處理裝置。在圖中，圖像處理裝置21包括如下結(jié)構(gòu)膚色抽取單元22，從輸入圖像中抽取膚色；二值化單元23，用于從其結(jié)果中抽取成為眼睛或嘴之候選的區(qū)域；和眼睛·嘴區(qū)域檢測追蹤單元24，根據(jù)二值化單元的結(jié)果來檢測眼睛及嘴的區(qū)域，并根據(jù)活動圖像來追蹤這些區(qū)域。
下面說明操作。
首先，為了從動態(tài)圖像中特定出臉部區(qū)域，使用3維彩色直方圖等，通過膚色抽取單元22檢測膚色像素，在二值化單元23上按膚色像素和除此之外的像素來進行二值化處理。接著，由眼睛·嘴區(qū)域檢測追蹤單元24抽取膚色區(qū)域內(nèi)的孔區(qū)域，設(shè)定為眼睛及嘴的候選區(qū)域?；趯缪劬ο鄬τ谀槄^(qū)域的位置、嘴相對于臉區(qū)域的位置的啟示，從抽取的候選區(qū)域中檢測眼睛及嘴位置。最后，根據(jù)檢測出的眼睛及嘴的位置抽取頭部的姿勢信息。
以往的姿勢抽取裝置如上所述被構(gòu)成，由于對拍攝了對象的圖像進行膚色抽取及區(qū)域檢測、追蹤后，最終進行姿勢檢測，因此存在如下課題即首先由攝像機拍攝的圖像在拍攝場所變化時，不一定包含照明，也未必得到優(yōu)質(zhì)的畫質(zhì)，從而難以良好地檢測膚色。并且，由于包含有區(qū)域檢測，因此處理量大，需要大規(guī)模的電路，所以存在利用安裝于便攜電話中的小規(guī)模硬件進行處理時花費時間的課題。
本發(fā)明是為解決上述課題而提出的，不受由攝像機等拍攝的輸入圖像的畫質(zhì)的影響，且即便利用計算能力低的小規(guī)模硬件，也可在短時間內(nèi)抽取姿勢。

發(fā)明內(nèi)容
關(guān)于本發(fā)明的特定部分姿勢推測裝置具備匹配圖像生成部，以基于規(guī)定座標范圍內(nèi)的圖像值的設(shè)定閾值來二值化抽取了特定部分的輸入圖像的各像素，進而指定大小在設(shè)定范圍內(nèi)的單元而得到二值圖像；和圖案匹配部，對照上述指定得到的二值圖像和規(guī)定的模板以檢測姿勢。
另外，其特征在于匹配圖像生成部將輸入的圖像變換成灰度圖像，以目標像素為座標中心，以規(guī)定范圍內(nèi)的像素的亮度平均值或中央值為閾值，對該灰度圖像的亮度進行二值化。
另外，其特征在于圖案匹配部利用多個特定輸入圖像預先生成匹配圖像，以該生成的二值圖像作為模板的要素。
另外，其特征在于圖案匹配部通過進行像素的邏輯與而得到與模板的各要素的對照。
另外，其特征在于圖案匹配部根據(jù)由匹配圖像生成部得到的二值圖像而求出具有特定值的像素，并根據(jù)這些像素在圖像中的分布狀態(tài)來推測作為檢測對象的特定部分的傾斜。
關(guān)于本發(fā)明的特定部分姿勢推測方法其特征在于，具備以基于規(guī)定座標范圍內(nèi)的圖像值的設(shè)定閾值來二值化抽取了特定部分的輸入圖像的各像素；從通過上述二值化而得到的二值圖像中刪除設(shè)定范圍外的部分后，并作為設(shè)定范圍內(nèi)的圖像單元賦予標注；和對照由在上述刪除之后賦予了標注的單元組構(gòu)成的二值圖像和規(guī)定模板中的圖像的亮度。
另外，其特征在于二值化是先將輸入圖像變換成灰度圖像，以目標像素為座標中心，選擇規(guī)定范圍內(nèi)的像素的亮度平均值和圖像中央值中的一個值作為二值化閾值，對該變換后的灰度圖像的亮度進行二值化的操作。
另外，其特征在于對照是通過對二值圖像和模板圖像的、與座標值相對應的各像素的亮度進行邏輯與而得到對照值的操作。
本發(fā)明的特定部分姿勢推測程序可由計算機讀取后執(zhí)行，其特征在于，該程序執(zhí)行以下功能以基于規(guī)定座標范圍內(nèi)的圖像值的設(shè)定閾值來二值化抽取了特定部分的輸入圖像的各像素；從通過上述二值化而得到的二值圖像中刪除設(shè)定范圍以外的部分后，作為設(shè)定范圍內(nèi)的圖像單元而賦予標注；對照由在上述刪除之后賦予了標注的單元組構(gòu)成的二值圖像和規(guī)定模板中的圖像的亮度。


圖1是表示本發(fā)明實施方式1中特定部分姿勢推測裝置的結(jié)構(gòu)圖。
圖2是表示實施方式1中特定部分姿勢推測裝置的動作的流程圖。
圖3是表示實施方式1中匹配圖像生成部執(zhí)行的二值化動作的流程圖。
圖4是表示實施方式1中二值圖像生成部的硬件內(nèi)部結(jié)構(gòu)圖。
圖5是說明實施方式1中得到設(shè)定閾值的范圍的圖。
圖6是說明實施方式1中設(shè)定閾值的得到方法的圖。
圖7是說明實施方式1中匹配圖像生成部執(zhí)行的二值化動作的圖。
圖8是實施方式1中匹配部執(zhí)行的匹配動作的流程圖。
圖9是說明實施方式1中圖案匹配部執(zhí)行的匹配動作的圖。
圖10是表示實施方式1中另一特定部分姿勢推測裝置的結(jié)構(gòu)圖。
圖11是說明實施方式1中另一圖案匹配部執(zhí)行的模板形成動作的圖。
圖12是表示實施方式2中特定部分姿勢推測裝置的結(jié)構(gòu)圖。
圖13是說明實施方式2中基于圖案匹配部執(zhí)行的像素分布的姿勢抽取圖。
圖14是表示用于現(xiàn)有圖像處理裝置執(zhí)行的姿勢抽取的結(jié)構(gòu)圖。
具體實施例方式
(實施方式1)圖1是表示本發(fā)明的本實施方式中的特定部分姿勢推測裝置的結(jié)構(gòu)圖。在圖中，特定部分姿勢推測裝置1包括視頻捕獲部2，用于捕獲由攝像機等拍攝的視頻信號；匹配圖像生成部3，對捕獲的視頻實施濾波處理，生成用于與后述的姿勢圖案進行對照的圖像；圖案匹配部4，對照由匹配圖像生成部3生成的圖像、和預先存儲的姿勢圖案，求出頭部等的部分姿勢。另外，內(nèi)部包括色度空間變換部5，用于將由視頻捕獲部2捕獲的彩色圖像變換成灰度圖像；二值圖像生成部6，用于將變換后的灰度圖像變換成二值圖像；單元候選抽取部7，通過從由二值圖像生成部6進行二值化所得到的圖像開始綜合相鄰像素來求出區(qū)域，僅抽取可成為眼睛或嘴的候選區(qū)域；匹配部8，用于對照由匹配圖像生成部3生成的匹配圖像和預先存儲的姿勢圖案圖像；和匹配圖案DB9，用于存儲匹配部8使用的圖案。
下面，用圖2-圖9說明本發(fā)明的特定部分姿勢推測裝置的動作。
圖2是用于說明該動作的流程圖。另外，圖3是用于說明二值圖像生成部6的動作的流程圖。另外，圖4中雖然其他要素都相同，但是是表示二值圖像生成部6的硬件內(nèi)部結(jié)構(gòu)的圖。并且，圖5和圖6是用于說明由匹配圖像生成部3執(zhí)行的處理的流程圖。圖7是用于說明由圖案匹配部4執(zhí)行的對照處理的圖。圖8是表示由圖案匹配部4執(zhí)行的對照處理的動作的流程圖。圖9是用于說明圖案匹配部4的動作的圖。
如圖4所示，二值圖像生成部6由處理器61、存儲器62、輸入輸出接口64、和執(zhí)行圖3所示動作的二值化程序63構(gòu)成。處理器61首先將對經(jīng)由輸入輸出接口64得到的捕獲圖像進行灰度化后得到的灰度圖像讀入存儲器62中。然后，對讀入的灰度圖像，根據(jù)二值化程序63中所寫的步驟，如后說明的那樣，在圖2的S1～3中，對應亮度進行二值化處理。
首先，由視頻捕獲部2捕獲視頻信號(步驟S1-1)，利用色度空間變換部5將捕獲的彩色圖像變換成灰度圖像(步驟S1-2)。
使用例如下面的(式1)來執(zhí)行從彩色圖像向灰度圖像的變換。
G(x，y)＝0.123*R(x，y)+0.7151*G(x，y)+0.0721*B(x，y)(式1)這里，G(x，y)是座標值(x，y)的亮度值，R、G、B(x，y)是座標值(x，y)下彩色圖像的像素值。從彩色圖像變換成灰度圖像時的系數(shù)值也可用除上述之外的值。
另外，對色度空間變換部5中的彩色/灰度變換，也可在使用下面的(式2)標準化RGB值以后，再使用上述的(式1)來進行變換。
r(x，y)＝R(x，y)/(R(x，y)+G(x，y)+B(x，y))g(x，y)＝G(x，y)/(R(x，y)+G(x，y)+B(x，y)) (式2)b(x，y)＝B(x，y)/(R(x，y)+G(x，y)+B(x，y))接著，在二值圖像生成部6中針對亮度對灰度圖像進行二值化(步驟S1-3)。這時，通過執(zhí)行圖3所示的處理，適應于輸入的圖像地生成二值圖像。成為此時的二值化標準的閾值是設(shè)定圖5所示的規(guī)定范圍的窗口座標31，針對該座標范圍內(nèi)的全部像素、圖5情況下為25個像素求出的亮度平均值或中央值。執(zhí)行圖6所示的處理，并且將成為目標的像素32的亮度與閾值進行比較。
這樣，通過掃描輸入圖像，對全部像素重復執(zhí)行從步驟S2-1至步驟S2-8的處理來進行圖像的二值化處理。
即，將由此進行判定的像素的像素亮度等級值比預先設(shè)定的閾值低的像素的像素值，設(shè)定為1(步驟S2-2、步驟S2-7)。如果目標像素的像素亮度等級值比閾值大時，設(shè)定以關(guān)注像素為中心的、大小為K×K(如上述圖5的情況設(shè)K＝5)的塊(步驟S2-3)。接著，求出設(shè)定的塊內(nèi)的亮度平均值(步驟S2-4)。然后，判定關(guān)注像素的像素值是否滿足下面(式3)的條件(步驟S2-5)。
像素的亮度等級＞平均值-C (式3)這里，C是預先設(shè)定的規(guī)定值。
如果滿足(式3)的條件，則設(shè)定像素值為0(步驟S2-6)。否則，將像素值設(shè)定為1(步驟S2-7)。
如上所述，由于對應于周圍像素的狀態(tài)來執(zhí)行二值化處理，所以即便對于例如因攝像機的畫質(zhì)惡化而造成對比度低的像素而言，也擠進了規(guī)定座標范圍，從而可適當?shù)馗鶕?jù)該范圍內(nèi)的例如平均值來執(zhí)行二值化處理。
在步驟S2-4中求出了平均值，但也可用下面(式4)的條件求出例如塊內(nèi)的重新排列像素值時的中央值。
像素值＞中央值-C (式4)另外，也可以在實施直方圖平均化法等對比度強調(diào)處理之后，利用固定閾值來執(zhí)行二值化。
若通過以上的處理，將視頻捕獲部2捕獲的彩色圖像變換成灰度圖像，則變成圖7中10那樣，若二值化該圖像，則變成圖7的11那樣。
接著，在單元候選抽取部7中，觀察二值圖像11是否上下左右傾斜地連接有4個或連接有8個相同二值圖像，綜合關(guān)連且有意義的相鄰像素來求出區(qū)域，并將其作為各個區(qū)域，如圖7的11-a、11-b等那樣進行標注(S1-4)。并且，在各個區(qū)域(11-a等)中僅抽取區(qū)域的外切矩形大小在預先設(shè)定的范圍內(nèi)的區(qū)域(步驟S1-5)。即對于圖7的區(qū)域11-a而言，是除去推測目標以外的大小的區(qū)域。
這里，在考慮利用便攜電話或電子記事薄中的TV電話功能的情況下，由于用戶將自己的臉放在畫面視角中且放大拍攝，所以可預先預測眼睛的大小或嘴的大小為何種程度。因此，上述的閾值處理是有效的。
這樣一來，在步驟S1-5中抽取的結(jié)果變成圖7的12那樣。
使用上述求出的匹配圖像13，由圖案匹配部4推測頭部姿勢(步驟S1-6)。
按照圖8中的、圖案匹配部4執(zhí)行的流程圖來說明動作。該圖案匹配部4的硬件結(jié)構(gòu)也與圖4的結(jié)構(gòu)相同，但具有替代二值化程序63來執(zhí)行圖8的動作的匹配程序。
這里，在匹配圖案DB9中存儲有圖9中14所示的模板。如前所述，在便攜電話或電子記事薄中利用TV電話功能等時拍攝人物的臉的情況中，由于可預先假定畫面視角，所以可預先預測對應臉朝向的眼睛及嘴區(qū)域的狀態(tài)。在匹配圖案DB9中，存儲有假定的頭部姿勢中眼睛及嘴區(qū)域的二值臉型(mask)圖像。
在S3-1中，經(jīng)由輸入輸出接口將二值化后的圖9的匹配圖像13的P讀入到存儲器中。另外，在S3-2中，從匹配圖案DB9的模板14中讀入作為標準的第1個臉型圖像T1。而且，在S3-3中，在所讀入的捕獲圖像P和臉型圖像T1的、y＝0～B、x＝0～A的區(qū)域中，按各座標值(x，y)對P(x，y)的二值化值和T1(x，y)的二值化值進行邏輯運算。然后，從座標(0，0)至(A，B)使其邏輯與相加。在S-4中，重復步驟S3-2、S3-3直到在模板14中沒有尚未試驗的臉型圖像為止。在S3-4中，若完成全部臉型圖像的邏輯與相加，則在S3-5中，選擇在步驟S3-4中表示最大相加值的臉型圖像，在本例中選擇圖像15。
即，通過計算匹配圖像13和模板的各臉型圖像的邏輯與，然后將作為該結(jié)果而得到的圖像的像素1(匹配的圖像)的數(shù)量計算相加，選擇數(shù)量最多的圖像，可得到對照結(jié)果15。這樣，通過進行二值化處理，圖案匹配的檢測即便不是模擬比較也可以非常簡單地執(zhí)行。
如上所述，雖然只推測存儲于匹配圖案DB中的圖案的數(shù)量的姿勢信息，但由于處理非常簡單，即便在計算能力低的硬件中也可充分實時處理。
在圖1的結(jié)構(gòu)中，在匹配圖案DB中存儲的是規(guī)定的圖案，但也可使用最先從攝像機取得的圖像，生成用戶個人的模板圖像。
圖10是根據(jù)視頻捕獲部2的輸出生成匹配圖案時的特定部分姿勢抽取結(jié)構(gòu)圖。在圖中，設(shè)置用于根據(jù)拍攝的圖像生成姿勢圖案的模板圖像的匹配圖案生成部16。
下面，用圖11說明動作。圖11是表示對由視頻捕獲部2以通常姿勢拍攝的圖像進行二值化之后，以該圖像為基準，生成模板圖像的結(jié)果圖。
這里，把視頻捕獲部2最先捕獲的圖像視為通常的姿勢(正面朝向照相機的姿勢)，或者，委托用戶以通常的姿勢拍攝，取得通常姿勢的圖像。
對由匹配圖像生成部3將如上述那樣取得之圖像進行二值化所得的圖像17，在匹配模板生成部16中使用仿射變換，生成例如左右歪頭的圖像、左右搖頭的圖像、上下點頭的圖像。
仿射變換可用下式中示出的矩陣來表現(xiàn)。
p11p12p13p14p21p22p23p240001]]>(式5)通過對應于各種姿勢準備(式5)中示出的仿射變換矩陣，以下面的(式6)來變換二值圖像17的像素值為1的座標，并使變換后的座標中除像素值1之外的都設(shè)為像素值0，可生成對應圖11的18中示出的各姿勢的圖像。
xy1=p11p12p13p14p21p22p23p240001XY01]]>(式6)另外，在(式6)中，設(shè)原來的座標為X，Y，變換后的座標為x，y。另外，設(shè)二值圖像17為平面。
如上所述，在生成匹配圖案18之后，可在執(zhí)行與圖1的結(jié)構(gòu)相同的處理后推測出姿勢。
另外，雖然費事，但也可請用戶采取例如圖11的18中示出的各種姿勢，并二值化該姿勢。若這樣，則可不用仿射變換而生成模板。
如上所述，通過構(gòu)成短時間或?qū)崟r頭部姿勢推測裝置，而生成適合用戶臉的特征的模板，所以具有可提高匹配精度的效果。
另外，即使在后面的實施方式中，也只是對將頭部或臉的作為特定部分來推測姿勢進行了說明，但作為特定部分不限于此，也可是手、腕、足或上半身等其他部分。
實施方式2在上述的實施方式1中，通過對照匹配圖案和匹配圖像來推測頭部姿勢，這里說明變更匹配單元以根據(jù)匹配圖像中像素值為1的像素的分布來推測頭部姿勢時的情況。
圖12是表示本實施方式中的特定部分姿勢推測裝置的結(jié)構(gòu)圖。在圖中，設(shè)置像素分布測量部19，該像素分布測量部求出匹配圖像的像素分布，根據(jù)其分布的狀態(tài)來推測頭部姿勢。
下面用圖13來說明動作。圖13表示依據(jù)像素分布來推測頭部姿勢用的示意圖。
匹配圖像中像素值為1的像素多分布于示意圖20的某個區(qū)域，計數(shù)進入各區(qū)域的像素數(shù)，將與該計數(shù)數(shù)值大的區(qū)域相對應的頭部姿勢當作推測結(jié)果。
這樣，如果使用像素分布，則可更簡化處理，因此，即便利用計算能力低的硬件，也具有可進一步縮短處理的效果。
在上述實施方式中，說明特定部分姿勢推測裝置由硬件構(gòu)成，但如圖4所示，在實際中可構(gòu)成為準備程序、由處理器執(zhí)行該程序的結(jié)構(gòu)。另外，也可構(gòu)成為由表示圖2、圖3、圖8的流程的步驟構(gòu)成的方法。
產(chǎn)業(yè)上的可利用性如上所述，根據(jù)本發(fā)明，由于具備基于規(guī)定范圍內(nèi)的平均圖像，二值化輸入圖像后特定單元的匹配圖像生成部；和對照該得到的二值圖像和規(guī)定的模板來檢測姿勢的圖案匹配部，所以具有可抑制規(guī)模、容易地推測部分姿勢的效果。
權(quán)利要求
1.一種特定部分姿勢推測裝置，其特征在于，具備匹配圖像生成部，以基于規(guī)定座標范圍內(nèi)的圖像值的設(shè)定閾值來二值化抽取了特定部分的輸入圖像的各像素，進而指定大小在設(shè)定范圍內(nèi)的單元而得到二值圖像；和圖案匹配部，對照上述指定得到的二值圖像和規(guī)定的模板以檢測姿勢。
2.根據(jù)權(quán)利要求1所述的特定部分姿勢推測裝置，其特征在于匹配圖像生成部將輸入的圖像變換成灰度圖像，以目標像素為座標中心，以規(guī)定范圍內(nèi)的像素的亮度平均值或中央值為閾值，對該灰度圖像的亮度進行二值化。
3.根據(jù)權(quán)利要求1所述的特定部分姿勢推測裝置，其特征在于圖案匹配部利用多個特定輸入圖像預先生成匹配圖像，以該生成的二值圖像作為模板的要素。
4.根據(jù)權(quán)利要求1所述的特定部分姿勢推測裝置，其特征在于圖案匹配部通過進行像素的邏輯與而得到與模板的各要素的對照。
5.根據(jù)權(quán)利要求1所述的特定部分姿勢推測裝置，其特征在于圖案匹配部根據(jù)由匹配圖像生成部得到的二值圖像而求出具有特定值的像素，并根據(jù)這些像素在圖像中的分布狀態(tài)來推測作為檢測對象的特定部分的傾斜。
6.一種特定部分姿勢推測方法，其特征在于以基于規(guī)定座標范圍內(nèi)的圖像值的設(shè)定閾值來二值化抽取了特定部分的輸入圖像的各像素；從通過上述二值化而得到的二值圖像中刪除設(shè)定范圍外的部分后，并作為設(shè)定范圍內(nèi)的圖像單元賦予標注；和對照由在上述刪除之后賦予了標注的單元組構(gòu)成的二值圖像和規(guī)定模板中的圖像的亮度。
7.根據(jù)權(quán)利要求6所述的特定部分姿勢推測方法，其特征在于二值化是先將輸入圖像變換成灰度圖像，以目標像素為座標中心，選擇規(guī)定范圍內(nèi)的像素的亮度平均值和圖像中央值中的一個值作為二值化閾值，對該變換后的灰度圖像的亮度進行二值化的操作。
8.根據(jù)權(quán)利要求6所述的特定部分姿勢推測方法，其特征在于對照是通過對二值圖像和模板圖像的、與座標值相對應的各像素的亮度進行邏輯與而得到對照值的操作。
9.一種計算機可讀取的特定部分姿勢推測程序，其特征在于，該程序執(zhí)行以下功能以基于規(guī)定座標范圍內(nèi)的圖像值的設(shè)定閾值來二值化抽取了特定部分的輸入圖像的各像素；從通過上述二值化而得到的二值圖像中刪除設(shè)定范圍以外的部分后，作為設(shè)定范圍內(nèi)的圖像單元而賦予標注；對照由在上述刪除之后賦予了標注的單元組構(gòu)成的二值圖像和規(guī)定模板中的圖像的亮度。
全文摘要
不影響輸入圖像的亮度，且即便利用計算能力低的小規(guī)模硬件，也能在短時間內(nèi)檢測姿勢。具備匹配圖像生成部3，以基于規(guī)定座標范圍內(nèi)的圖像值的設(shè)定閾值對抽取了特定部分的輸入圖像的各像素進行二值化，并進一步指定大小是設(shè)定范圍內(nèi)的單元而得到二值圖像；和圖案匹配部4，對照該指定得到的二值圖像和規(guī)定的模板，檢測姿勢。
文檔編號G06T7/00GK1860501SQ20048002818
公開日2006年11月8日 申請日期2004年3月24日 優(yōu)先權(quán)日2004年3月24日
發(fā)明者田中昭二 申請人:三菱電機株式會社