專利名稱：圖像處理設備、方法和程序的制作方法
技術領域：
本發(fā)明涉及圖像處理設備、方法和程序，更具體地說，涉及能夠迅速并且準確地識別手勢的圖像處理設備、方法和程序。
背景技術：
利用圖像把人物的手勢識別為手勢的技術已得到廣泛使用。在識別手勢的技術中，首先，使用只包括經(jīng)成像的雙手的圖像，或者通過指示圖像中的雙手的位置，提取只包括雙手的圖像。隨后利用肉色信息、運動檢測和模式匹配方法，從只包含所提取的雙手的圖像中識別手勢(參見未經(jīng)審查的日本專利申請公開No. 2007-333690，未經(jīng)審查的日本專利申請公開No. 2007-538318和未經(jīng)審查的日本專利申請公開No. 9-206471)。

發(fā)明內容
在未經(jīng)審查的日本專利申請公開No. 2007-333690，未經(jīng)審查的日本專利申請公開 No. 2007-538318和未經(jīng)審查的日本專利申請公開No. 9-206471中，不能從包括整個人體的圖像中識別出手勢，因為預先假定使用只包括雙手的圖像。從包括整個人體的圖像中檢測只包括雙手的區(qū)域需要一定時間。即使當根據(jù)關于雙手的粗略位置的信息，提取只包括雙手的區(qū)域時，提取的只包括雙手的區(qū)域的圖像也僅僅是粗略的。于是，需要在不一定能從只包括雙手的區(qū)域的圖像中識別出手勢的狀態(tài)下識別手勢。因此，識別結果的魯棒性(robustness)未必較高。理想的是提供一種能夠利用包括整個人體的圖像，迅速并且準確地識別手勢的技術。按照本發(fā)明的一個實施例，提供一種圖像處理設備，包括面部圖像檢測單元，其從輸入圖像中檢測面部圖像；姿勢估計單元，其根據(jù)用面部圖像檢測單元檢測的面部圖像的位置，估計輸入圖像中的人物的姿勢；手位置檢測單元，其根據(jù)姿勢估計單元估計的姿勢， 檢測人物的手的位置；手圖像提取單元，其根據(jù)手位置檢測單元檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像；手形指定單元，其根據(jù)手圖像提取單元提取的手圖像，指定人物的手的形狀；手形時間序列存儲單元，其通過與手的位置信息相對應，來把由手形指定單元指定的手的形狀保存為時間序列；和手勢識別單元，其根據(jù)通過與手的位置信息相對應而在手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息來識別手勢，所述手勢是利用人物的手的手姿勢。圖像處理設備還包括手勢存儲單元，其針對每種手勢，通過與手的位置信息相對應而把與手的形狀有關的信息保存為時間序列。手勢識別單元把通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息，和針對每種手勢通過與手的位置信息相對應而在所述手勢存儲單元中保存為時間序列的與手的形狀有關的信息進行比較，然后根據(jù)比較結果來識別手勢。
圖像處理設備還包括相似度計算單元，其計算通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息，和針對每種手勢通過與手的位置信息相對應而在所述手勢存儲單元中保存為時間序列的與手的形狀有關的信息之間的相似度。手勢識別單元可把具有最大相似度的手勢設定為識別結果。當最大相似度小于預定閾值時，作為識別結果，手勢識別單元可認為不存在手勢。圖像處理設備還可包括登記單元，當最大相似度小于預定閾值時，所述登記單元把通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息與預定手勢相對應，從而將所述與手的形狀有關的信息登記在所述手勢存儲單元中。按照本發(fā)明的另一個實施例，提供一種圖像處理設備的圖像處理方法，所述圖像處理設備包括面部圖像檢測單元，其從輸入圖像中檢測面部圖像，姿勢估計單元，其根據(jù)用面部圖像檢測單元檢測的面部圖像的位置，估計輸入圖像中的人物的姿勢，手位置檢測單元，其根據(jù)姿勢估計單元估計的姿勢，檢測人物的手的位置，手圖像提取單元，其根據(jù)手位置檢測單元檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像，手形指定單元， 其根據(jù)手圖像提取單元提取的手圖像，指定人物的手的形狀，手形時間序列存儲單元，其通過與手的位置信息相對應，來把由所述手形指定單元指定的手的形狀保存為時間序列，和手勢識別單元，其根據(jù)通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息來識別手勢，所述手勢是利用人物的手的手姿勢。所述信息處理方法包括用面部圖像檢測單元，從輸入圖像中檢測面部圖像；用姿勢估計單元，根據(jù)在面部圖像的檢測中檢測到的面部圖像的位置，估計輸入圖像中的人物的姿勢；用手位置檢測單元，根據(jù)在人物姿勢的估計中估計的姿勢，檢測人物的手的位置；用手圖像提取單元，根據(jù)在手的位置的檢測中檢測到的人物的手的位置信息，從輸入圖像中提取人物的手圖像；用手形指定單元，根據(jù)在手圖像的提取中提取的手圖像，指定人物的手的形狀； 用手形時間序列存儲單元，通過與手的位置信息相對應，來把在手形的指定中指定的手的形狀保存為時間序列；和用手勢識別單元，根據(jù)通過與手的位置信息相對應而在手形的保存中保存為時間序列的與手的形狀有關的信息，來識別手勢，所述手勢是利用人物的手的手姿勢。按照另一個實施例，提供一種程序，所述程序使控制圖像處理設備的計算機執(zhí)行一種圖像處理方法，所述圖像處理設備包括面部圖像檢測單元，其從輸入圖像中檢測面部圖像，姿勢估計單元，其根據(jù)用面部圖像檢測單元檢測的面部圖像的位置，估計輸入圖像中的人物的姿勢，手位置檢測單元，其根據(jù)姿勢估計單元估計的姿勢，檢測人物的手的位置， 手圖像提取單元，其根據(jù)手位置檢測單元檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像，手形指定單元，其根據(jù)手圖像提取單元提取的手圖像，指定人物的手的形狀，手形時間序列存儲單元，其通過與手的位置信息相對應，來把由所述手形指定單元指定的手的形狀保存為時間序列，和手勢識別單元，其根據(jù)通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息來識別手勢，所述手勢是利用人物的手的手姿勢，所述信息處理方法包括用面部圖像檢測單元，從輸入圖像中檢測面部圖像；用姿勢估計單元，根據(jù)在面部圖像的檢測中檢測到的面部圖像的位置，估計輸入圖像中的人物的姿勢；用手位置檢測單元，根據(jù)在人物姿勢的估計中估計的姿勢，檢測人物的手的位置；用手圖像提取單元，根據(jù)在手的位置的檢測中檢測到的人物的手的位置信息，從輸入圖像中提取人物的手圖像；用手形指定單元，根據(jù)在手圖像的提取中提取的手圖像，指定人物的手的形狀；用手形時間序列存儲單元，通過與手的位置信息相對應，來把在手形的指定中指定的手的形狀保存為時間序列；和用手勢識別單元，根據(jù)通過與手的位置信息相對應而在手形的保存中保存為時間序列的與手的形狀有關的信息，來識別手勢， 所述手勢是利用人物的手的手姿勢按照本發(fā)明的實施例，從輸入圖像中檢測面部圖像；根據(jù)檢測的面部圖像的位置， 估計輸入圖像中的人物的姿勢；根據(jù)估計的姿勢，檢測人物的手的位置；根據(jù)檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像；根據(jù)提取的手圖像，指定人物的手的形狀；通過與手的位置信息相對應，來把在手形的指定中指定的手的形狀保存為時間序列； 和根據(jù)通過與手的位置信息相對應而在手形的保存中保存為時間序列的與手的形狀有關的信息，來識別手勢，所述手勢是利用人物的手的手姿勢。按照本公開的實施例的圖像處理設備可以是獨立設備，或者進行圖像處理的部件。按照本發(fā)明的實施例，能夠迅速并且準確地識別手勢。


圖1是按照本發(fā)明的一個實施例的識別手勢的圖像處理設備的結構例子的方框圖；圖2是圖解說明圖1中的手形指定單元的結構的示圖；圖3是圖解說明手勢識別處理的流程圖；圖4是圖解說明手勢識別處理的示圖；圖5是圖解說明手勢識別處理的示圖；圖6是圖解說明手勢識別處理的示圖；圖7是圖解說明手形指定處理的流程圖；圖8是圖解說明手形指定處理的示圖；圖9是圖解說明通用個人計算機的結構例子的示圖。
具體實施例方式圖像處理設備的結構的例子圖1是圖解說明按照本發(fā)明的一個實施例的圖像處理設備的硬件結構的例子的示圖。圖1中的圖像處理設備11從運動圖像中識別作為輸入運動圖像中的被攝物體的人的手勢，并輸出識別結果。圖像處理設備11包括輸入圖像獲取單元21，面部圖像檢測單元22，姿勢估計單元 23，背景差分提取單元M，手位置檢測單元25，手圖像提取單元沈，手形指定單元27，和手形時間序列存儲單元觀。圖像處理設備11還包括手勢識別單元四，手勢存儲單元30，手勢識別結果輸出單元31和顯示單元32。輸入圖像獲取單元21順序獲得以運動圖像的形式順序輸入的圖像，作為以幀為單位的圖像，并提供給面部圖像檢測單元22，背景差分提取單元M和手圖像提取單元26。
面部圖像檢測單元22從以幀為單位供給的圖像中檢測面部圖像，并把檢測的面部圖像和檢測的面部圖像的位置信息提供給姿勢估計單元23。姿勢估計單元23根據(jù)從面部圖像檢測單元22供給的面部圖像和位置信息，依據(jù)面部圖像中的人臉的方向、大小和位置，估計檢測的面部圖像的人物的身體的姿勢。更具體地說，姿勢估計單元23根據(jù)面部圖像中的面部的方向或大小，指定人體的位置或大小，并指定根據(jù)人體和面部之間的位置關系估計的雙手的根部和雙腳的根部。此外，姿勢估計單元23根據(jù)源于雙手的根部和雙腳的根部的位置的圖像連續(xù)性，指定手臂和腳所存在的范圍，并根據(jù)和面部、人體、手臂和腳所存在的范圍有關的信息，估計面部圖像的人物的姿勢。背景差分提取單元24根據(jù)與姿勢估計單元23估計的人體的姿勢有關的信息，刪除作為差分信息的人體的面部圖像和除包括人體的前景圖像之外的背景圖像，從而僅提取作為前景圖像的人體的身體部位的圖像。隨后，背景差分提取單元24把人體的身體部位的圖像提供給手位置檢測單元25。手位置檢測單元25只對從背景差分提取單元24供給的人體的身體部位，檢測圖像中的雙手的范圍，并檢測雙手的范圍的位置作為手位置。手位置檢測單元25把檢測的范圍和手位置提供給手圖像提取單元26和手形時間序列存儲單元28。手圖像提取單元26根據(jù)從手位置檢測單元25供給的手位置的信息，從輸入圖像中提取雙手的范圍的圖像作為手圖像，并把手圖像提供給手形指定單元27。手形指定單元27根據(jù)手圖像，指定手形，并把指定的手形的信息保存在手形時間序列存儲單元28中。此時，手形時間序列存儲單元28通過對應于從手位置檢測單元25供給的手位置，保存指定的手形。將參考圖2詳細說明手形指定單元27的結構。手勢識別單元29讀取按預定幀數(shù)在手形時間序列存儲單元28中保存為時間序列的手形的信息。手勢識別單元29控制相似度計算單元29a計算預先登記在手勢存儲單元 30中的每一個手勢和保存為時間序列的手形之間的相似度。當手勢的最高相似度大于預定值時，手勢識別單元29判定保存在手形時間序列存儲單元28中的與成時間序列的有關的信息和與具有最高相似度的手勢對應的、與保存為時間序列的手形有關的信息相同，從而把對應的手勢設定為識別結果。隨后，手勢識別單元29把識別結果提供給手勢識別結果輸出單元31，并把識別結果顯示在用IXD (液晶顯示器)構成的顯示單元32上。另一方面，當最高相似度小于預定值時，手勢識別單元29把關于保存在手形時間序列存儲單元28中的成時間序列的手形的信息看作為未在手勢存儲單元30中登記的成時間序列的手形的信息。手勢識別單元29允許與未登記的成時間序列的手形有關的信息與新的手勢相對應，并通過在顯示單元32上顯示詢問來詢問是否把該信息登記在手勢存儲單元30中。當手勢識別單元29收到該新的登記時，手勢識別單元29控制登記單元29b把與未登記的成時間序列的手形有關的信息作為新的手勢登記在手勢存儲單元30中。根據(jù)本發(fā)明的一個優(yōu)選實施方式的圖像處理設備包括面部圖像檢測單元22，其從輸入圖像中檢測面部圖像；姿勢估計單元23，其根據(jù)由面部圖像檢測單元22檢測的面部圖像的位置，估計輸入圖像中的人物的姿勢；手位置檢測單元25，其根據(jù)姿勢估計單元23 估計的姿勢，檢測人物的手的位置；手圖像提取單元26，其根據(jù)手位置檢測單元25檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像；手形指定單元27，其根據(jù)手圖像提取單元26提取的手圖像，指定人物的手的形狀；手形時間序列存儲單元28，其通過與手的位置信息相對應，來把由所述手形指定單元指定的手的形狀保存為時間序列；以及手勢識別單元四，其根據(jù)通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息來識別手勢，所述手勢是利用人物的手的手姿勢。手形指定單元的結構的例子下面參考圖2，說明手形指定單元27的結構的例子。手形指定單元27包括手形識別單元41-1 41_n和最大值輸出單元42。手形識別單元41-1 41-n的每一個均能夠識別不同種類的手形，并把識別結果作為得分提供給最大值輸出單元42。即，例如，手形識別單元41-1 41-n能夠識別所謂的石頭-剪子-布游戲中的“石頭”、“剪子”和“布”的形狀，或者“和平手勢”的形狀，并把識別等級以得分的形式輸出給最大值輸出單元42。例如，當手形識別單元41識別“石頭”的形狀時，在手形更類似于“石頭”的形狀的情況下，得分變成較高的值。相反，在手形不太類似于“石頭”的形狀時，得分變成較低的值。下面，當不必相互區(qū)分手形識別單元41-1 41-n時，手形識別單元41-1 41-n被簡稱為手形識別單元41。在其它結構中同樣如此。最大值輸出單元42以得分的形式，從手形識別單元41-1 41-n獲得識別結果， 并輸出具有各個得分之中的最大值的手形作為識別結果。手勢識別處理下面參考圖3的流程圖，說明手形識別處理。在步驟S11，輸入圖像獲取單元21獲得作為運動圖像的一幀輸入圖像，并把該圖像提供給面部圖像檢測單元22，背景差分提取單元M和手圖像提取單元26。在步驟S12，面部圖像檢測單元22從供給的圖像中檢測面部圖像。更具體地說，例如，當被供給圖4中所示的圖像P時，面部圖像檢測單元22把矩形面部圖像F和依據(jù)與構成面部圖像的眼睛、嘴巴、鼻子部位對應的圖像的配置獲得的面部圖像F的位置，作為關于指示面部圖像F的位置的坐標的信息，提供給姿勢估計單元23。此外，關于面部圖像的位置的信息包括關于圖4中所示的面部圖像F的位置的信息，和關于面部圖像F的垂直方向的 fn息ο在步驟S13，姿勢估計單元23根據(jù)面部圖像，和關于面部圖像的位置的信息，估計從輸入圖像中檢測的面部圖像中的人物的姿勢。更具體地說，當獲得圖4中所示的面部圖像F，和面部圖像F的位置時，由于大體上指定了人體的位置和大小，因此姿勢估計單元23 根據(jù)例如，臂部的圖像的連續(xù)性，檢測從指定人體的肩根部附近伸出的手臂的范圍。隨后， 姿勢估計單元23通過逐漸跟蹤手臂的范圍，來指定整個手臂的范圍。按照相同的方法，如果需要，則姿勢估計單元23還檢測雙腳的范圍。例如，姿勢估計單元23通過合成各個范圍的檢測結果，根據(jù)圖4中所示的面部圖像F和圖5中所示的關于面部圖像F的位置的信息， 估計例如用在圖5的右側中所示的姿勢模型Bl指示的姿勢。隨后，姿勢估計單元23把估計的姿勢提供給背景差分提取單元24。在步驟S14，通過把圖像中除了其中存在人體的范圍之外的范圍作為背景圖像從姿勢估計單元23估計的關于人體姿勢的信息中刪除，背景差分提取單元M提取與包含有成為前景圖像的估計姿勢的人體的整個范圍有關的信息作為背景差分圖像。隨后，背景差分提取單元M把提取的信息提供給手位置檢測單元25。在步驟S15，手位置檢測單元25從由背景差分提取單元對供給的提取范圍的圖像中，指定其中檢測到雙手的范圍，檢測在指定范圍內的雙手的位置，并把雙手的位置提供給手圖像提取單元26。S卩，例如，當估計在圖5的右側所示的姿勢時，檢測出表示成圖6的左側的范圍H的范圍，作為手所存在的位置。 在步驟S16，手圖像提取單元26根據(jù)從手位置檢測單元25供給的與手的位置有關的信息，從由輸入圖像獲取單元21供給的圖像中提取手圖像，并把所述手圖像提供給手形指定單元27。S卩，例如，當把關于在圖6的左側所示的范圍H的信息作為檢測出的手的位置，提供給手圖像提取單元26時，如在圖6的右側所示，手圖像提取單元26提取該范圍中的手圖像Hl，并把手圖像Hl提供給手形指定單元27。在步驟S17，手形指定單元27根據(jù)從手圖像提取單元26供給的手圖像進行手形指定處理，從而指定手形。手形指定處理下面參考圖7的流程圖，說明手形指定處理。在步驟S41，最大值輸出單元42把識別手形識別單元41_n的計數(shù)器η初始化為
Io在步驟S42，最大值輸出單元42獲得由手形識別單元41_11識別的手形的得分。即， 當手形識別單元41-η識別所謂的石頭-布-剪子游戲中的“石頭”的手形時，手形識別單元41-η計算指示識別的手形與“石頭”相似到何種程度的得分，并把得分提供給最大值輸出單元42。這樣，最大值輸出單元42獲得并保存所述得分以及用于識別哪個手形識別單元 41-η計算該得分的信息，即，識別手形的得分對應于哪個手形的信息。在步驟S43，最大值輸出單元42判定計數(shù)器η是否變成最大值，即，是否獲得來自所有手形識別單元41-η的得分。當在步驟S43中計數(shù)器η不是最大值時，即存在未獲得得分的手形識別單元41-η時，處理進入步驟S44。在步驟S44，最大值輸出單元42把計數(shù)器η加1，處理返回步驟S42。S卩，重復步驟S42 步驟S44的處理，直到從所有手形識別單元41-η獲得得分為止。當在步驟S43中判定計數(shù)器η為最大值，即從手形識別單元41-1 41-η獲得了所有得分時，處理進入步驟 S45。在步驟S45，最大值輸出單元42把由提供手形識別單元41_1 41_η獲得的得分之中的最大得分的手形識別單元41-η所識別的手形，作為從手圖像中指定的手形輸出給手形時間序列存儲單元28。這里返回圖3的流程圖，繼續(xù)進行說明。在步驟S18，通過對應于從手位置檢測單元25供給的關于手位置的信息，手形時間序列存儲單元28保存從手形指定單元27供給的指定的手形。此時，當存儲容量已滿時， 手形時間序列存儲單元28刪除關于最早手形的信息，并保存關于新手形的信息。S卩，通過與關于手位置的信息相對應，手形時間序列存儲單元28保存關于彼此緊鄰的預定幀的手形的信息。在步驟Sl9，手勢識別單元29判定是否已經(jīng)保存了識別手勢所必需的幀數(shù)的信息 (該信息是和通過與成時間序列的手位置有關的信息相對應而指定的手形相關的信息)。 當在步驟S19手勢識別單元29判定未保存識別手勢所必需的幀數(shù)的與所指定的手形相關的信息時，處理返回步驟S11。即，重復從步驟Sll 步驟S19的處理，直到保存了為識別手勢所必需的幀數(shù)的與指定手形相關的信息為止。當在步驟S19中手勢識別單元四判定保存了為識別手勢所必需的幀數(shù)的與指定手形相關的信息時，處理進入步驟S20。在步驟S20，手勢識別單元四控制相似度計算單元29a計算與手勢存儲單元30中預先保存的手勢的成時間序列的手形相關的信息之中的、與未處理手勢的成時間序列的手形相關的信息，和保存在手形時間序列存儲單元觀中的與成時間序列的手形相關的信息之間的相似度。更具體地說，例如，相似度計算單元29a把手形和動作識別成形成為一體的模塊， 并計算被連續(xù)設定為手勢的多個模塊之中的連續(xù)相同的模塊的數(shù)目與模塊總數(shù)的比率，作為相似度。即，手勢可由第一模塊到第四模塊構成，如和圖8中所示的手勢A所示。S卩，從圖的左側開始，圖8中所示的手勢A由其中豎起拇指，并左右擺動的第一模塊，其中張開手，并在圖中向左擺動的第二模塊，其中張開手，并在圖中左右擺動的第三模塊，和其中張開手， 并在圖中左右輕微擺動的第四模塊構成。圖8中所示的手勢B由其中形成顯示手背的手形，并且手形的位置不變化的第一模塊(如在該圖的左側所示)，和其中形成顯示手掌的手形，并且手形的位置不變化的第二模塊(如在該圖的右側所示)構成。這種情況下，通過多次重復第一模塊和第二模塊，交替重復這兩種手形，從而構成沿著垂直方向移動手掌的手勢。圖8中所示的手勢C由模塊中的其中一個模塊構成，即，由從圖的左側開始，其中形成豎起拇指的手形，并且手形的位置不變化的模塊，其中形成豎起食指的手形，并且手形的位置不變化的模塊，其中形成和平手勢的手形，并且手形的位置不變化的模塊，其中形成石頭-布-剪子游戲中的布的手形，并且手形的位置不變化的模塊，或者其中形成石頭-布-剪子游戲中的石頭的手形，并且手形的位置不變化的模塊等構成。至于圖8中所示的手勢D，左側的手勢是由從圖的左側開始，其中形成石頭-布-剪子游戲中的石頭的手形，并且手形的位置不變化的第一模塊，和其中形成顯示在圖的右側的布的手形，所述布被示出，并且左右少量揮動的第二模塊構成的手勢。右側的手勢是由其中形成石頭-布-剪子游戲中的石頭的手形，并且手形的位置不變化的第一模塊， 和其中豎起食指的手形(如在圖中的右側所示)，并且手形的位置不變化的第二模塊構成的手勢。這樣，根據(jù)用單個或多個手形和手形的位置變化設定的模塊的順序，設定手勢。此時，根據(jù)手位置信息識別手指的動作。例如，當?shù)谝皇謩萦赡KA、B和C等3個成時間序列的模塊構成，第二手勢由成時間序列的模塊B、C、D和E構成時，相似度計算單元29a搜索順序連續(xù)相同的模塊的數(shù)目。 艮口，在第一手勢和第二手勢中，模塊B和C的附近是同樣構成的。從而，例如，相似度計算單元29a把第一手勢相對于第二手勢的相似度計算為2/4(=順序相同的模塊的數(shù)目/第二手勢的模塊的總數(shù))。此外，這里說明的相似度僅僅是一個例子?？梢远x其它相似度， 并計算所述其它計算度。例如，當使用HMM(隱式馬爾可夫模型)時，可利用序列估計來計算相似度(參見 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 21, No. 10 OCTOBER 1999，An HMM-Based Threshold Model Approach for Gesture Recognition, Hyeon-Kyu Lee 禾口 Jin H. Kim)。
在步驟S21，手勢識別單元29判定在保存在手勢存儲單元30中的與針對每個手勢的成時間序列的手形的有關信息中，是否存在未處理的信息。當手勢識別單元29判定存在未處理的信息時，處理返回步驟S20。即，計算預先保存在手勢存儲單元30中的與針對每個手勢的成時間序列的手形有關的信息，和保存在手形時間序列存儲單元28中的與成時間序列的手形時間序列手形有關的信息之間的相似度。當在步驟S21中，手勢識別單元29判定保存在手勢存儲單元30中的與針對每個手勢的成時間序列的手形有關的信息中，不存在未處理的信息時，處理進入步驟S22。在步驟S22，手勢識別單元29判定最大相似度是否大于預定閾值。S卩，當?shù)怯浽谑謩荽鎯卧?0中的與成時間序列的手形有關的信息和保存在手形時間序列存儲單元28中的與成時間序列的手形有關的信息之間的最大相似度小于預定閾值時，盡管存在該最大相似度，也不考慮對應的手勢。另一方面，當在步驟S22中，最大相似度大于預定閾值時，具有最大相似度的手勢被視為識別結果。然后，處理進入步驟S23。在步驟S23，手勢識別單元29認為具有最大相似度的與手勢的成時間序列的手形有關的信息與保存在手形時間序列存儲單元28中的與成時間序列的手形有關的信息相同。手勢識別單元29把具有最大相似度的手勢作為識別結果提供給手勢識別結果輸出單元31。手勢識別結果輸出單元31輸出供給的關于手勢的信息，作為識別結果，此時，手勢識別單元29控制顯示單元32顯示關于手勢的信息，作為識別結果。另一方面，在步驟S22，當最高的相似度小于預定閾值，從而不存在與保存在手形時間序列存儲單元28中的與成時間序列的手形有關的信息一致的手勢時，處理進入步驟 S24。在步驟S24，手勢識別單元29控制顯示單元32顯示不存對應手勢的事實。在步驟S25，手勢識別單元29控制顯示單元32顯示屏幕，在所述屏幕上，顯示詢問是否把保存在手形時間序列存儲單元28中的、對其而言不存在對應手勢的與手形有關的信息登記為新手勢的消息。在步驟S26，手勢識別單元29判定是否通過操作單元(未示出)的操作，發(fā)出了登記新手勢的指令。例如，當發(fā)出了登記新手勢的指令時，處理進入步驟S27。在步驟S27，手勢識別單元29控制登記單元29b把保存在手形時間序列存儲單元 28中的成時間序列的手形的信息，作為新手勢登記在手勢存儲單元30中。隨后結束處理。當在步驟S26中，未發(fā)出登記新手勢的指令時，跳過步驟S27的處理，然后結束手勢識別處理。這樣，根據(jù)與成時間序列的手形有關的信息識別手勢，從圖像指定面部圖像的位置，根據(jù)面部圖像估計人體的姿勢，根據(jù)估計的姿勢信息檢測手位置，根據(jù)檢測的手位置， 提取手圖像，根據(jù)手圖像指定手形，手勢被識別為與成時間序列的手形有關的信息。結果， 能夠指定手形，能夠根據(jù)圖像計算手位置，能夠提取手圖像，能夠根據(jù)手圖像指定手形。于是，由于能夠迅速并且高度精確地獲得手圖像，因此能夠根據(jù)獲得的手形，更準確地估計手勢。此外，如果需要的話，可以將未被識別為手勢的與成時間序列的手形有關的信息登記為新手勢的與成時間序列的手形有關的信息。于是，能夠準確地識別各種手勢。按照本發(fā)明的實施例，通過利用包括整個人體的圖像，能夠迅速并且準確地識別手勢。上述一系列處理可用硬件或軟件執(zhí)行。當用軟件執(zhí)行所述一系列處理時，軟件的程序從記錄介質安裝到嵌有專用硬件的計算機中，或者安裝到比如通過安裝各種程序，能夠實現(xiàn)各種功能的通用個人計算機之類的計算機中。圖9是圖解說明通用個人計算機的結構例子的示圖。個人計算機中具有CPU (中央處理器)1001。輸入/輸出接口 1005經(jīng)總線1004，連接到CPU1001。ROM(只讀存儲器)1002 和RAM(隨機存取存儲器)1003連接到總線1004。由用戶用于輸入操作命令的輸入裝置(例如鍵盤或鼠標構成的輸入單元1006、 向顯示裝置輸出處理操作屏幕或處理結果圖像的輸出單元1007)、由保存程序或各種數(shù)據(jù)的硬盤驅動器構成的存儲單元1008、和由LAN(局域網(wǎng))適配器構成并經(jīng)諸如因特網(wǎng)之類的網(wǎng)絡進行通信處理的通信單元1009連接到輸入/輸出接口 1005。能夠讀寫數(shù)據(jù)的驅動器1010連接到可拆卸介質1011，該可拆卸介質為例如磁盤(包括軟盤)，光盤(包括 ⑶-ROM (光盤-只讀存儲器)和DVD (數(shù)字通用光盤))，磁光盤(包括MD (小型光盤))，或者半導體存儲器。CPU 1001按照保存在ROM 1002中的程序，或者讀取自諸如磁盤、光盤或半導體存儲器之類的可拆卸介質1011，安裝在存儲單元1008中，并從存儲裝置1008加載到RAM 1003的程序，執(zhí)行各種處理。RAM 1003適當?shù)乇４鏋镃PU 1001執(zhí)行各種處理所必需的數(shù)據(jù)。在說明書中，描述保存在記錄介質中程序的步驟包括按照所述順序先后執(zhí)行的處理，當然包括不按時間先后順序執(zhí)行，而是并行或者單獨地執(zhí)行的處理。本發(fā)明包含與在2010年11月4日向日本專利局提交的日本優(yōu)先權專利申請JP 2010-247^4中公開的主題相關的主題，該專利申請的整個內容在此引為參考。本領域的技術人員應明白，根據(jù)設計要求和其它因素，可以產(chǎn)生各種修改、組合、 子組合和變更，只要它們在所附的權利要求書或其等同物的范圍之內。
權利要求
1.一種圖像處理設備，包括面部圖像檢測單元，其從輸入圖像中檢測面部圖像；姿勢估計單元，其根據(jù)由所述面部圖像檢測單元檢測的面部圖像的位置，估計輸入圖像中的人物的姿勢；手位置檢測單元，其根據(jù)所述姿勢估計單元估計的姿勢，檢測人物的手的位置； 手圖像提取單元，其根據(jù)所述手位置檢測單元檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像；手形指定單元，其根據(jù)所述手圖像提取單元提取的手圖像，指定人物的手的形狀； 手形時間序列存儲單元，其通過與手的位置信息相對應，來把由所述手形指定單元指定的手的形狀保存為時間序列；以及手勢識別單元，其根據(jù)通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息來識別手勢，所述手勢是利用人物的手的手姿勢。
2.根據(jù)權利要求1所述的圖像處理設備，還包括手勢存儲單元，其針對每種手勢，通過與手的位置信息相對應而把與手的形狀有關的信息保存為時間序列，其中所述手勢識別單元把通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息，和針對每種手勢通過與手的位置信息相對應而在所述手勢存儲單元中保存為時間序列的與手的形狀有關的信息進行比較，然后根據(jù)比較結果來識別手勢。
3.根據(jù)權利要求2所述的圖像處理設備，還包括相似度計算單元，其計算通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息，和針對每種手勢通過與手的位置信息相對應而在所述手勢存儲單元中保存為時間序列的與手的形狀有關的信息之間的相似度， 其中所述手勢識別單元把具有最大相似度的手勢設定為識別結果。
4.根據(jù)權利要求3所述的圖像處理設備，其中當最大相似度小于預定閾值時，所述手勢識別單元認為不存在作為識別結果的手勢。
5.根據(jù)權利要求3所述的圖像處理設備，還包括登記單元，當最大相似度小于預定閾值時，所述登記單元把通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息與預定手勢相對應，從而將所述與手的形狀有關的信息登記在所述手勢存儲單元中。
6.根據(jù)權利要求1所述的圖像處理設備，還包括背景差分提取單元，其從人物的估計姿勢的整個范圍中提取信息，并將所提取的信息作為背景差分信息提供給所述手位置檢測單元。
7.一種圖像處理設備的圖像處理方法，所述圖像處理設備包括面部圖像檢測單元，其從輸入圖像中檢測面部圖像；姿勢估計單元，其根據(jù)由所述面部圖像檢測單元檢測的面部圖像的位置，估計輸入圖像中的人物的姿勢；手位置檢測單元，其根據(jù)所述姿勢估計單元估計的姿勢，檢測人物的手的位置；手圖像提取單元，其根據(jù)所述手位置檢測單元檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像；手形指定單元，其根據(jù)所述手圖像提取單元提取的手圖像，指定人物的手的形狀；手形時間序列存儲單元，其通過與手的位置信息相對應，來把由所述手形指定單元指定的手的形狀保存為時間序列；以及手勢識別單元，其根據(jù)通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息來識別手勢，所述手勢是利用人物的手的手姿勢，所述信息處理方法包括利用所述面部圖像檢測單元從輸入圖像中檢測面部圖像；利用所述姿勢估計單元，根據(jù)在面部圖像的檢測中檢測到的面部圖像的位置，估計輸入圖像中的人物的姿勢；利用所述手位置檢測單元，根據(jù)在人物姿勢的估計中估計的姿勢，檢測人物的手的位置；利用所述手圖像提取單元，根據(jù)在手的位置的檢測中檢測到的人物的手的位置信息， 從輸入圖像中提取人物的手圖像；利用所述手形指定單元，根據(jù)在手圖像的提取中提取的手圖像，指定人物的手的形狀；利用所述手形時間序列存儲單元，通過與手的位置信息相對應，來把在手形的指定中指定的手的形狀保存為時間序列；以及利用所述手勢識別單元，根據(jù)通過與手的位置信息相對應而在手形的保存中保存為時間序列的與手的形狀有關的信息，來識別手勢，所述手勢是利用人物的手的手姿勢。
8. 一種程序，所述程序使控制圖像處理設備的計算機執(zhí)行下述步驟，所述圖像處理設備包括面部圖像檢測單元，其從輸入圖像中檢測面部圖像；姿勢估計單元，其根據(jù)由所述面部圖像檢測單元檢測的面部圖像的位置，估計輸入圖像中的人物的姿勢；手位置檢測單元， 其根據(jù)所述姿勢估計單元估計的姿勢，檢測人物的手的位置；手圖像提取單元，其根據(jù)所述手位置檢測單元檢測的人物的手的位置信息，從輸入圖像中提取人物的手圖像；手形指定單元，其根據(jù)所述手圖像提取單元提取的手圖像，指定人物的手的形狀；手形時間序列存儲單元，其通過與手的位置信息相對應。來把由所述手形指定單元指定的手的形狀保存為時間序列；以及手勢識別單元，其根據(jù)通過與手的位置信息相對應而在所述手形時間序列存儲單元中保存為時間序列的與手的形狀有關的信息來識別手勢，所述手勢是利用人物的手的手姿勢利用所述面部圖像檢測單元，從輸入圖像中檢測面部圖像，利用所述姿勢估計單元，根據(jù)在面部圖像的檢測中檢測到的面部圖像的位置，估計輸入圖像中的人物的姿勢，利用所述手位置檢測單元，根據(jù)在人物姿勢的估計中估計的姿勢，檢測人物的手的位置，利用所述手圖像提取單元，根據(jù)在手的位置的檢測中檢測到的人物的手的位置信息， 從輸入圖像中提取人物的手圖像，禾IJ用所述手形指定單元，根據(jù)在手圖像的提取中提取的手圖像，指定人物的手的形狀， 利用所述手形時間序列存儲單元，通過與手的位置信息相對應，來把在手形的指定中指定的手的形狀保存為時間序列，以及利用所述手勢識別單元，根據(jù)通過與手的位置信息相對應而在手形的保存中保存為時間序列的與手的形狀有關的信息，來識別手勢，所述手勢是利用人物的手的手姿勢。
全文摘要
一種圖像處理設備，包括從輸入圖像中檢測面部圖像的面部圖像檢測單元；根據(jù)面部圖像的位置，估計輸入圖像中的人物的姿勢的姿勢估計單元；根據(jù)所述姿勢，檢測人物的手的位置的手位置檢測單元；根據(jù)人物的手的位置信息，從輸入圖像中提取人物的手圖像的手圖像提取單元；根據(jù)所述手圖像，指定人物的手的形狀的手形指定單元；將手的形狀保存為時間序列的手形時間序列存儲單元；和根據(jù)與手的形狀有關的信息來識別手勢的手勢識別單元。
文檔編號G06K9/46GK102456135SQ20111033878
公開日2012年5月16日 申請日期2011年10月28日 優(yōu)先權日2010年11月4日
發(fā)明者木村淳 申請人:索尼公司