專利名稱：基于影像的動作手勢辨識方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明是有關于一種手部偵測系統(tǒng)，特別是有關于一種不需在使用者手部配置感應器的基于影像的動作手勢辨識方法及其系統(tǒng)。
背景技術：
對于快速發(fā)展的娛樂系統(tǒng)而言，尤其是游戲系統(tǒng)，如何讓使用者與計算機之間的互動接口更友善是一項日漸重要的課題。其中，透過計算機分析使用者的動作來執(zhí)行指令已成為未來最具可能性的互動方法。然而，傳統(tǒng)的解決方案往往需要在使用者手指上配置一感應器，此舉雖然可以增加手部偵測的準確性，但是亦增加使用者的負擔。另一較佳的方式為直接將使用者的手部視為一指令下達器具，以影像處理的方式分析使用者的手部移動方式來輸入指令，控制計算機的操作系統(tǒng)或是外圍裝置。但是，此種傳統(tǒng)的影像分析方法過于復雜且不夠穩(wěn)定。例如，已知一美國專利，其專利號6，002, 808，便揭露一種用以快速分析手勢以控制計算機的方法，其使用影像向量計算來決定使用者手部的位置，方位以及大小。接著，透過影像處理的方式來決定手勢，例如如果確認過的手部影像中有洞，表示使用者的拇指與食指相碰觸擺出一 OK的手勢。此外，此專利亦揭露可利用手勢來控制計算機顯示的屏幕顯示接口(OSD)。此公知技術的運算量過于龐大，且容易在使用者改變動作時產(chǎn)生誤判，穩(wěn)定度不佳。例如，另一已知美國專利，其專利號7，129，927，揭露一手勢辨識系統(tǒng)，其特征在于使用者手上配置多個標記物(marker)，借著此系統(tǒng)透過一感應器偵測此些標記物的位置。 其中，多個標記物中分成第一標記物組及一第二標記物組，第一標記物組是作為參考之用， 而感應器偵測第二標記物組相對于第一標記物組的移動以進一步辨識出使用者手勢。此公知技術要求使用者佩帶標記物，無法僅以徒手進行操作。因此，如何讓使用者可以徒手手勢或是移動軌跡與操作接口進行互動，是一項及待解決的問題。

發(fā)明內(nèi)容
有鑒于上述公知技藝的問題，本發(fā)明的其中一目的就是在提供一種基于影像的動作手勢辨識方法，以達到提高使用便利性及降低計算復雜度的目的。根據(jù)本發(fā)明的目的，提出一種基于影像的動作手勢辨識方法包含下列步驟。接收多張影像畫面；根據(jù)此多張影像畫面執(zhí)行一手勢偵測，以得到一第一手勢；判斷此第一手勢是否符合一預設開始手勢；如果此第一手勢符合此預設開始手勢，則根據(jù)此多張影像畫面中手部位置，執(zhí)行一移動追蹤以取得一移動手勢；于執(zhí)行此移動追蹤的過程中，根據(jù)此多張影像畫面執(zhí)行此手勢偵測，以得到一第二手勢；判斷此第二手勢是否符合一預設結(jié)束手勢；如果此第二手勢符合此預設結(jié)束手勢，停止此移動追蹤。其中，如果此第二手勢不符合此預設結(jié)束手勢，持續(xù)執(zhí)行此移動追蹤。
4
其中，執(zhí)行此手勢偵測的步驟更包含偵測此多張影像畫面的任一影像畫面是否存在有一手部影像；如果此手部影像存在，則根據(jù)此手部影像取得一手部輪廓影像；根據(jù)此手部輪廓影像判斷一手部方向及一手指數(shù)目；根據(jù)此手部方向及此手指數(shù)目辨識出此第一手勢或此第二手勢。其中，執(zhí)行此移動追蹤的步驟更包含取得在每一此多張影像畫面中包含有此手部影像的至少一影像區(qū)塊；估算此復數(shù)影像區(qū)塊之間的多個移動向量。其中，本發(fā)明的基于影像的動作手勢辨識方法更包含紀錄此多個移動向量以取得一移動軌跡；辨識此移動軌跡以取得此移動手勢。其中，判斷此手部方向的步驟更包含根據(jù)此手部輪廓影像所碰觸到的此影像畫面的一邊緣，來判斷此手部方向。其中，判斷此手指數(shù)目的步驟更包含執(zhí)行一手掌方位計算以取得此手部輪廓影像的一重心位置；根據(jù)此重心位置對此手部輪廓影像執(zhí)行一手掌切割，以取得一已切割手部影像；根據(jù)此已切割手部影像判斷手指數(shù)目。根據(jù)本發(fā)明的目的，再提出一種基于影像的動作手勢辨識系統(tǒng)，包含一儲存單元、 一影像擷取單元、一第一處理單元、一比對單元及一第二處理單元。儲存單元是儲存一預設開始手勢及一預設結(jié)束手勢。影像擷取單元是擷取多張影像畫面。第一處理單元是根據(jù)此多張影像畫面執(zhí)行一手勢偵測，以得到一第一手勢。比對單元是判斷此第一手勢是否符合此預設開始手勢。如果此比對單元判斷此第一手勢符合此預設開始手勢，則此第二處理單元根據(jù)此多張影像畫面中手部位置，執(zhí)行一移動追蹤以取得一移動手勢。于執(zhí)行此移動追蹤的過程中，此第一處理單元是根據(jù)此多張影像畫面執(zhí)行此手勢偵測，以得到一第二手勢， 若此比對單元判斷此第二手勢符合該預設結(jié)束手勢，則此第二處理單元停止此移動追蹤。其中，當此比對單元判斷此第二手勢不符合此預設結(jié)束手勢時，此第二處理單元繼續(xù)此移動追蹤。其中，此第一處理單元更包含一第一影像處理單元、一第二影像處理單元及一手勢辨識單元。第一影像處理單元是偵測此多張影像畫面的任一影像畫面內(nèi)的一手部影像。 第二影像處理單元是根據(jù)此手部影像取得一手部輪廓影像。手勢辨識單元是根據(jù)此手部輪廓影像判斷一手部方向及一手指數(shù)目，并根據(jù)此手部方向及此手指數(shù)目辨識出此第一手勢或此第二手勢。其中，此第二處理單元更包含一區(qū)塊偵測單元及一移動向量單元。區(qū)塊偵測單元是取得在每一此多張影像畫面中包含有此手部影像的至少一影像區(qū)塊。移動向量單元，是估算此復數(shù)影像區(qū)塊之間的多個移動向量。其中，此第二處理器更包含一軌跡辨識單元，此軌跡辨識單元是紀錄此多個移動向量以取得一移動軌跡，并辨識此移動軌跡以取得此移動手勢。其中，此手勢辨識單元是根據(jù)此手部輪廓影像所碰觸到的此影像畫面的一邊緣， 來判斷此手部方向。其中，此手勢辨識單元是執(zhí)行一手掌方位計算以取得此手部輪廓影像的一重心位置，根據(jù)此重心位置對此手部輪廓影像執(zhí)行一手掌切割，以取得一已切割手部影像，再根據(jù)此已切割手部影像判斷手指數(shù)目。


圖1為本發(fā)明的基于影像的動作手勢辨識系統(tǒng)的方塊圖；圖2為本發(fā)明的基于影像的動作手勢辨識系統(tǒng)的實施例方塊圖；圖3為本發(fā)明的手部輪廓影像的范例示意圖；圖4為本發(fā)明的手掌切割的范例示意圖；圖5為本發(fā)明的判斷手指數(shù)目的范例示意圖；圖6為本發(fā)明的用以辨識手勢的數(shù)據(jù)庫范例示意圖；圖7為本發(fā)明的基于影像的動作手勢辨識方法的流程圖；圖8為本發(fā)明的執(zhí)行手勢偵測的實施流程圖；以及圖9為本發(fā)明的執(zhí)行移動追蹤的實施流程圖。符號說明11 儲存單元111 預設開始手勢112:預設結(jié)束手勢12:影像擷取單元121 影像畫面13 第一處理單元131 手勢偵測132 第一手勢133:第二手勢14:比對單元15 第二處理單元151 移動追蹤152:移動手勢21:內(nèi)存22 攝影機23 第一處理單元231 第一影像處理單元232 第二影像處理單元233 手勢辨識單元236、31 手部影像237、43 手部輪廓影像238 手部方向239 手指數(shù)目25 第二處理單元251:區(qū)塊偵測單元252:移動向量單元253 軌跡辨識單元257 影像區(qū)塊258:移動向量259 移動軌跡32 手部輪廓線33 影像區(qū)域41:重心位置44:已切割手部影像45 尖端61 63 手勢71 77 步驟流程81 87 步驟流程91 94 步驟流程
具體實施例方式請參閱圖1，其為本發(fā)明的基于影像的動作手勢辨識系統(tǒng)的方塊圖。圖中，動作手 勢辨識系統(tǒng)包含一儲存單元11、一影像擷取單元12、一第一處理單元13、一比對單元14及 一第二處理單元15。儲存單元11，例如內(nèi)存或硬盤，儲存一預設開始手勢111及一預設結(jié) 束手勢112。影像擷取單元12擷取多張影像畫面121。影像擷取單元12較佳為一攝影機， 其可輸出連續(xù)影像畫面。第一處理單元13根據(jù)此多張影像畫面121執(zhí)行一手勢偵測131， 以得到一第一手勢132。比對單元14判斷此第一手勢132是否符合預設開始手勢111。
如果比對單元14判斷此第一手勢132符合此預設開始手勢111，則此第二處理單元15根據(jù)此多張影像畫面121中手部位置，執(zhí)行一移動追蹤151以取得一移動手勢152。 于執(zhí)行此移動追蹤151的過程中，此第一處理單元13根據(jù)此多張影像畫面121，仍繼續(xù)或周期性地執(zhí)行手勢偵測131，以得到一第二手勢133，若比對單元14判斷此第二手勢133符合預設結(jié)束手勢112，則此第二處理單元15停止執(zhí)行移動追蹤151。當比對單元14判斷第二手勢133不符合預設結(jié)束手勢112時，此第二處理單元15持續(xù)執(zhí)行移動追蹤151。藉此，系統(tǒng)可先對使用者提示預設開始手勢111及預設結(jié)束手勢112的樣態(tài)。當欲徒手輸入指令或數(shù)據(jù)，則使用者可先擺出預設開始手勢111表示要開始輸入指令，待系統(tǒng)辨識成功后，使用者改變手勢或移動手部來進行操作。在操作期間，系統(tǒng)仍持續(xù)進行手勢辨識，一方面確認欲輸入的指令，另一方面是確認使用者是否擺出預設結(jié)束手勢112以結(jié)束操作。其中，預設開始手勢111及預設結(jié)束手勢112可設計為特別且十分明確的手勢，以確保在使用者進行操作而改變手勢時系統(tǒng)不容易誤判；此外，由于開始與結(jié)束的明確區(qū)隔， 系統(tǒng)亦可簡化指令手勢的辨識流程，進一步使徒手操作更為流暢，提高系統(tǒng)實現(xiàn)實時操作的可能性。請參閱圖2，其為本發(fā)明的基于影像的動作手勢辨識系統(tǒng)的實施例方塊圖。圖中， 此實施例包含一內(nèi)存21、一攝影機22、一第一處理單元23、一比對單元14及一第二處理單元25。第一處理單元23更包含一第一影像處理單元231、一第二影像處理單元232及一手勢辨識單元233。第一影像處理單元231是偵測多張影像畫面121的任一影像畫面121內(nèi)的一手部影像236(如圖3所示的手部影像31)，接著第二影像處理單元232根據(jù)手部影像 236取得一手部輪廓影像237(如圖3所示的影像區(qū)域3 。例如，第二影像處理單元232 可先對手部影像236進行邊緣偵測處理，以取得手部輪廓線32，接著以手部輪廓線32與手部影像236邊緣所圍的影像區(qū)域33作為手部輪廓影像237。手勢辨識單元233根據(jù)手部輪廓影像237判斷一手部方向238及一手指數(shù)目239。 進行手部方向238的判斷時，例如，可根據(jù)手部輪廓影像237所碰觸到的影像畫面121的一邊緣，來判斷手部方向238，例如圖3所示的影像區(qū)域33是接觸影像畫面121的右邊緣，所以其手部方向定義為東方；若接觸為影像畫面121的下邊緣，則手部方向定義為南方；若接觸是為影像畫面121的上邊緣，則手部方向定義為北方；若接觸為影像畫面121的左邊緣， 則手部方向定義為西方。進行手指數(shù)目239的判斷時，此實施例的手勢辨識單元233可執(zhí)行一手掌方位計算以取得手部輪廓影像237的一重心位置。例如，可根據(jù)手掌的常見的二維形狀選擇一力矩函式I(x，7)，接著根據(jù)此1&，y)計算一階力矩以及二階力矩mQQ、MmMc^M11、M^1及禮2， 如以下列方程式所示
權利要求
1.一種基于影像的動作手勢辨識方法，其特征在于，包含 接收多張影像畫面；根據(jù)該多張影像畫面執(zhí)行一手勢偵測，以得到一第一手勢； 判斷該第一手勢是否符合一預設開始手勢；如果該第一手勢符合該預設開始手勢，則根據(jù)該多張影像畫面中手部位置，執(zhí)行一移動追蹤以取得一移動手勢；于執(zhí)行該移動追蹤的過程中，根據(jù)該多張影像畫面執(zhí)行該手勢偵測，以得到一第二手勢；判斷該第二手勢是否符合一預設結(jié)束手勢；以及如果該第二手勢符合該預設結(jié)束手勢，停止該移動追蹤。
2.根據(jù)權利要求1所述的基于影像的動作手勢辨識方法，其特征在于，更包含 如果該第二手勢不符合該預設結(jié)束手勢，持續(xù)執(zhí)行該移動追蹤。
3.根據(jù)權利要求1所述的基于影像的動作手勢辨識方法，其特征在于，執(zhí)行該手勢偵測的步驟更包含偵測該多張影像畫面的任一影像畫面是否存在有一手部影像； 如果該手部影像存在，則根據(jù)該手部影像取得一手部輪廓影像； 根據(jù)該手部輪廓影像判斷一手部方向及一手指數(shù)目；以及根據(jù)該手部方向及該手指數(shù)目辨識出該第一手勢或該第二手勢。
4.根據(jù)權利要求3所述的基于影像的動作手勢辨識方法，其特征在于，執(zhí)行該移動追蹤的步驟更包含取得在每一該多張影像畫面中包含有該手部影像的至少一影像區(qū)塊；以及估算該復數(shù)影像區(qū)塊之間的多個移動向量。
5.根據(jù)權利要求4所述的基于影像的動作手勢辨識方法，其特征在于，執(zhí)行該移動追蹤的步驟更包含紀錄該多個移動向量以取得一移動軌跡；以及辨識該移動軌跡以取得該移動手勢。
6.根據(jù)權利要求3所述的基于影像的動作手勢辨識方法，其特征在于，判斷該手部方向的步驟更包含根據(jù)該手部輪廓影像所碰觸到的該影像畫面的一邊緣，來判斷該手部方向。
7.根據(jù)權利要求3所述的基于影像的動作手勢辨識方法，其特征在于，判斷該手指數(shù)目的步驟更包含執(zhí)行一手掌方位計算以取得該手部輪廓影像的一重心位置；根據(jù)該重心位置對該手部輪廓影像執(zhí)行一手掌切割，以取得一已切割手部影像；以及根據(jù)該已切割手部影像判斷該手指數(shù)目。
8.一種基于影像的動作手勢辨識系統(tǒng)，其特征在于，包含 一儲存單元，儲存一預設開始手勢及一預設結(jié)束手勢；一影像擷取單元，擷取多張影像畫面；一第一處理單元，根據(jù)該多張影像畫面執(zhí)行一手勢偵測，以得到一第一手勢； 一比對單元，判斷該第一手勢是否符合該預設開始手勢；以及一第二處理單元，如果該比對單元判斷該第一手勢符合該預發(fā)開始手勢，則該第二處理單元根據(jù)該多張影像畫面中手部位置，執(zhí)行一移動追蹤以取得一移動手勢；其中，于執(zhí)行該移動追蹤的過程中，該第一處理單元是根據(jù)該多張影像畫面執(zhí)行該手勢偵測，以得到一第二手勢，若該比對單元判斷該第二手勢符合該預設結(jié)束手勢，則該第二處理單元停止該移動追蹤。
9.根據(jù)權利要求8所述的基于影像的動作手勢辨識系統(tǒng)，其特征在于，當該比對單元判斷該第二手勢不符合該預設結(jié)束手勢時，該第二處理單元繼續(xù)該移動追蹤。
10.根據(jù)權利要求8所述的基于影像的動作手勢辨識系統(tǒng)，其中該第一處理單元更包含一第一影像處理單元，偵測該多張影像畫面的任一影像畫面內(nèi)的一手部影像；一第二影像處理單元，根據(jù)該手部影像取得一手部輪廓影像；以及一手勢辨識單元，根據(jù)該手部輪廓影像判斷一手部方向及一手指數(shù)目，并根據(jù)該手部方向及該手指數(shù)目辨識出該第一手勢或該第二手勢。
11.根據(jù)權利要求10所述的基于影像的動作手勢辨識系統(tǒng)，其特征在于，該第二處理單元更包含一區(qū)塊偵測單元，取得在每一該多張影像畫面中包含有該手部影像的至少一影像區(qū)塊；以及一移動向量單元，估算該復數(shù)影像區(qū)塊之間的多個移動向量。
12.根據(jù)權利要求11所述的基于影像的動作手勢辨識系統(tǒng)，其中該第二處理器更包含一軌跡辨識單元，該軌跡辨識單元是紀錄該多個移動向量以取得一移動軌跡，并辨識該移動軌跡以取得該移動手勢。
13.根據(jù)權利要求10所述的基于影像的動作手勢辨識系統(tǒng)，其特征在于，該手勢辨識單元是根據(jù)該手部輪廓影像所碰觸到的該影像畫面的一邊緣，來判斷該手部方向。
14.根據(jù)權利要求10所述的基于影像的動作手勢辨識系統(tǒng)，其特征在于，該手勢辨識單元執(zhí)行一手掌方位計算以取得該手部輪廓影像的一重心位置，根據(jù)該重心位置對該手部輪廓影像執(zhí)行一手掌切割，以取得一已切割手部影像，再根據(jù)該已切割手部影像判斷該手指數(shù)目。
全文摘要
本發(fā)明公開一種基于影像的動作手勢辨識方法及系統(tǒng)。此方法包含下列步驟接收多張影像畫面；根據(jù)多張影像畫面執(zhí)行一手勢偵測，以得到一第一手勢，如果第一手勢符合預設開始手勢，則根據(jù)多張影像畫面中手部位置，執(zhí)行一移動追蹤以取得一移動手勢；于執(zhí)行移動追蹤的過程中，根據(jù)多張影像畫面執(zhí)行手勢偵測，以得到一第二手勢，若第二手勢符合預設結(jié)束手勢，停止移動追蹤。
文檔編號G06F3/01GK102236409SQ20101016976
公開日2011年11月9日 申請日期2010年4月30日 優(yōu)先權日2010年4月30日
發(fā)明者王靜煒, 羅仲成 申請人:宏碁股份有限公司