專(zhuān)利名稱(chēng)：提供手分割用于手勢(shì)分析的方法、裝置和計(jì)算機(jī)程序產(chǎn)品的制作方法
技術(shù)領(lǐng)域：
概括地說(shuō)，本發(fā)明的實(shí)施例涉及用戶(hù)接口技術(shù)，更具體地，涉及提供手分割用于視覺(jué)交互系統(tǒng)的手勢(shì)分析的方法、裝置和計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
現(xiàn)代的通信時(shí)代帶來(lái)了有線(xiàn)和無(wú)線(xiàn)網(wǎng)絡(luò)的極大擴(kuò)張。消費(fèi)者的需求推動(dòng)計(jì)算機(jī)網(wǎng)絡(luò)、電視網(wǎng)絡(luò)、和電話(huà)網(wǎng)絡(luò)正在經(jīng)歷前所未有的技術(shù)發(fā)展。無(wú)線(xiàn)和移動(dòng)組網(wǎng)技術(shù)解決了相關(guān)的消費(fèi)者需求，同時(shí)提供了信息傳送的更多靈活性和即時(shí)性。當(dāng)前和未來(lái)的組網(wǎng)技術(shù)不斷促進(jìn)對(duì)于用戶(hù)的信息傳送的簡(jiǎn)易和便利性。需要增加對(duì)于用戶(hù)的信息傳送的簡(jiǎn)易和便利性的一個(gè)領(lǐng)域涉及簡(jiǎn)化用于HCI (人-計(jì)算機(jī)交互)的人機(jī)接口。隨著在計(jì)算設(shè)備和手持或移動(dòng)設(shè)備的領(lǐng)域中近來(lái)的發(fā)展改善了這些設(shè)備的能力，許多人都想到了下一代HCI。此外，假設(shè)所述設(shè)備傾向于增加他們的容量以在請(qǐng)求時(shí)相對(duì)快速地創(chuàng)建內(nèi)容、存儲(chǔ)內(nèi)容和/或接收內(nèi)容，還假設(shè)例如移動(dòng)電話(huà)的移動(dòng)電子設(shè)備通常面對(duì)顯示器大小、文本輸入速度、和用戶(hù)接口(UI)的物理實(shí)現(xiàn)的限制，在HCI的環(huán)境中常常存在挑戰(zhàn)。此外，在為了有效的HCI而提供改變的環(huán)境中，HCI的改進(jìn)也可提高到計(jì)算設(shè)備的用戶(hù)接口的用戶(hù)娛樂(lè)性和開(kāi)放性可能。一種這樣的改進(jìn)涉及手勢(shì)識(shí)別。相比于在HCI中目前采用的其他交互機(jī)制(例如鍵板和鼠標(biāo))，可認(rèn)為手勢(shì)識(shí)別改進(jìn)了通信的自然性和方便性。由此，開(kāi)發(fā)了某些應(yīng)用，使得手勢(shì)識(shí)別作為命令控制器用在數(shù)字家庭電器中、用在文件 /web導(dǎo)航中，或用作通用遠(yuǎn)程控制器的替代。然而，手勢(shì)分析的目前機(jī)制通常很遲鈍，或難以采用。考慮到下一代HCI的通用性，手勢(shì)分析的改進(jìn)是期望的。

發(fā)明內(nèi)容
因此，提供一種方法、裝置、和計(jì)算機(jī)程序產(chǎn)品，能夠在例如視覺(jué)交互系統(tǒng)中使用手勢(shì)分析。在一些情況下，可基于在三維(3D)環(huán)境中檢測(cè)和分析皮膚區(qū)域或?qū)ο蟮纳疃葋?lái)實(shí)現(xiàn)手勢(shì)分析。然而，由于針對(duì)在某些情形做手勢(shì)可能就是分析手或就是主要分析手，本發(fā)明的一些實(shí)施例能夠進(jìn)行手分割，以從圖像的剩余部分分離手。通過(guò)提供精確的手分割，本發(fā)明實(shí)施例可簡(jiǎn)化手勢(shì)分類(lèi)并改進(jìn)識(shí)別性能。在示例性實(shí)施例中，提供一種方法，其提供手分割用于手勢(shì)分析。該方法可包括 至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域。所述強(qiáng)度圖像可包括描述手的數(shù)據(jù)。該方法還可包括確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)(例如估計(jì)中心)；確定與手的手掌區(qū)域相應(yīng)的形狀(例如圓形)；以及去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的目標(biāo)區(qū)域的部分。在另一示例性實(shí)施例中，提供一種計(jì)算機(jī)程序產(chǎn)品，其提供手分割用于手勢(shì)分析。 該計(jì)算機(jī)程序產(chǎn)品包括在其中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行程序代碼指令的至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可執(zhí)行程序代碼指令可包括至少部分地基于與強(qiáng)度圖像相應(yīng)的深
4度范圍數(shù)據(jù)確定目標(biāo)區(qū)域的程序代碼指令。所述強(qiáng)度圖像可包括描述手的數(shù)據(jù)。所述計(jì)算機(jī)可執(zhí)行程序代碼指令還可包括確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)(例如估計(jì)中心)的程序代碼指令；確定與手的手掌區(qū)域相應(yīng)的形狀(例如圓形)的程序代碼指令；以及去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的所述目標(biāo)區(qū)域的部分的程序代碼指令。在另一示例性實(shí)施例中，提供一種裝置，其提供手分割用于手勢(shì)分析。該裝置可包括處理器。該處理器可被配置為至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域。所述強(qiáng)度圖像可包括描述手的數(shù)據(jù)。該處理器還可被配置為確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)(例如估計(jì)中心)；確定與手的手掌區(qū)域相應(yīng)的形狀(例如圓形)；以及去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的所述目標(biāo)區(qū)域的部分。在另一示例性實(shí)施例中，提供一種裝置，其提供手分割用于手勢(shì)分析。該裝置可包括用于至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域的裝置。所述強(qiáng)度圖像可包括描述手的數(shù)據(jù)。該裝置還可包括用于確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn) (例如估計(jì)中心)的裝置；用于確定與手的手掌區(qū)域相應(yīng)的形狀(例如圓形)的裝置；以及用于去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的所述目標(biāo)區(qū)域的部分的裝置。本發(fā)明實(shí)施例可提供用于在例如移動(dòng)或固定環(huán)境中采用的方法、裝置和計(jì)算機(jī)程序產(chǎn)品。結(jié)果，例如，計(jì)算設(shè)備用戶(hù)可享受與他們各自計(jì)算設(shè)備交互的改進(jìn)的功能。


現(xiàn)在參照附圖，一般性描述本發(fā)明的一些實(shí)施例，該圖不必按規(guī)定比例繪制，其中圖1(包括圖IA至1F)示出根據(jù)本發(fā)明示例性實(shí)施例的基于圖像中的對(duì)象的深度范圍執(zhí)行的圖像分割的示例；圖2示出根據(jù)本發(fā)明示例性實(shí)施例的用于用戶(hù)接口(UI)控制器的手勢(shì)分析的手分割處理的一個(gè)示例；圖3(包括圖3A至3E)示出根據(jù)本發(fā)明示例性實(shí)施例的關(guān)于各個(gè)示例性圖像的手分割處理的示例；圖4示出根據(jù)本發(fā)明示例性實(shí)施例的提供手分割用于手勢(shì)分析的裝置的框圖；圖5(包括圖5A至5D)示出根據(jù)本發(fā)明示例性實(shí)施例的關(guān)于各個(gè)示例性圖像的去除前臂部分的處理的示例；圖6示出可從本發(fā)明的示例性實(shí)施例獲益的移動(dòng)終端的框圖；以及圖7是根據(jù)本發(fā)明示例性實(shí)施例的提供手分割用于手勢(shì)分析的方法的流程圖。
具體實(shí)施例方式現(xiàn)在參照附圖更加完整地描述本發(fā)明的實(shí)施例，其中示出一些但并非所有本發(fā)明實(shí)施例。當(dāng)然，本發(fā)明可通過(guò)許多不同形式實(shí)現(xiàn)，并且不應(yīng)該理解為對(duì)這里闡述的實(shí)施例的限制；相反，提供這些實(shí)施例，從而本發(fā)明將滿(mǎn)足適用的法律需求。其中類(lèi)似標(biāo)號(hào)指的是類(lèi)似元素。這里，可交替使用術(shù)語(yǔ)“數(shù)據(jù)”、“內(nèi)容”、“信息”和類(lèi)似術(shù)語(yǔ)，以表示根據(jù)本發(fā)明實(shí)施例能夠發(fā)送、接收、操作、和/或存儲(chǔ)的數(shù)據(jù)。此外，這里的術(shù)語(yǔ)“示例性”并非用于傳達(dá)任意定性評(píng)估，相反僅用于傳達(dá)實(shí)例的例示。因此，任意這些術(shù)語(yǔ)的使用不應(yīng)限制本發(fā)明的實(shí)施例的精神和范圍。本發(fā)明的一些實(shí)施例可提供一種機(jī)制，由此可體驗(yàn)到與手勢(shì)分析相關(guān)的改進(jìn)。因此，例如，基于用于手勢(shì)分析的3D成像的深度范圍進(jìn)行的粗略分割可得到連同手的前臂的分割。在一些情況下，包括前臂可增加手勢(shì)檢測(cè)的難度。例如，圖1示出基于圖像中對(duì)象的深度范圍而執(zhí)行的圖像分割的實(shí)例，以示出包含前臂可在手勢(shì)分析中引起的問(wèn)題。因此，圖 IA和ID示出原始強(qiáng)度圖像。如果使用3D相機(jī)獲得強(qiáng)度圖像，則可通過(guò)檢查在各個(gè)深度范圍的強(qiáng)度圖像來(lái)執(zhí)行圖像的分析，從而強(qiáng)化了在被分析的每個(gè)深度范圍的對(duì)象，并且邊緣化了其他對(duì)象。圖IB和IE分別示出圖IA和ID的深度范圍圖像，他們可在特定深度范圍分析。圖IC和IF分別示出在手的深度范圍分析的圖IA和ID的強(qiáng)度圖像。在這個(gè)實(shí)例中，手處于最小或最淺的深度范圍(例如最接近于相機(jī))。因此，最接近于相機(jī)的對(duì)象在強(qiáng)度圖像中是突出的。由于手的定位，在一些情況下，前臂或前臂的部分也可處于或接近與手相同的深度范圍。如圖IC和IF所示，因此，前臂與手一起包含在最終分割的結(jié)果中。這可稱(chēng)為手與臂共現(xiàn)。本發(fā)明的一些實(shí)施例提供一種機(jī)制，由此進(jìn)一步分割圖像以排除前臂部分，以便通過(guò)使得分析關(guān)注于手部本身而實(shí)現(xiàn)更加精確的手勢(shì)分析。本發(fā)明的一些實(shí)施例可提供一種機(jī)制，由此可體驗(yàn)到與手勢(shì)分析相關(guān)的改進(jìn)。因此，例如，一些實(shí)施例可提供實(shí)時(shí)手勢(shì)分析方案，其可適合于在手持或其他計(jì)算設(shè)備上的交互行為。因此，用戶(hù)能夠通過(guò)手勢(shì)控制設(shè)備(例如用戶(hù)的手持或計(jì)算設(shè)備，或者甚至遠(yuǎn)程設(shè)備)，而并非手動(dòng)操作設(shè)備。一些示例性實(shí)施例可通過(guò)結(jié)合各種組件(例如3D相機(jī)、深度分析器、動(dòng)作分析器、目標(biāo)跟蹤器和手勢(shì)識(shí)別器)的方案提供自動(dòng)手勢(shì)分析。根據(jù)本發(fā)明的一些實(shí)施例，目標(biāo)跟蹤可提供相對(duì)精確的目標(biāo)(例如手)的位置，其對(duì)于背景、照明、手的尺度變化和動(dòng)作等具有相對(duì)低的敏感度。圖2示出根據(jù)本發(fā)明示例性實(shí)施例的用于UI控制器的自適應(yīng)手勢(shì)分析處理的一個(gè)實(shí)例。具體地，以下在用于手勢(shì)的基于目標(biāo)檢測(cè)的手勢(shì)分析的環(huán)境中描述示例性實(shí)施例。 應(yīng)注意，圖2的處理僅是示例性的，因此其他實(shí)施例可包括例如額外或不同操作的包含、不同順序的相同或不同操作、和/或一些操作的刪除的修改。圖2是示出可與示例性實(shí)施例相關(guān)執(zhí)行的各個(gè)操作的流程圖，如圖2所示，在操作 10，可通過(guò)3D相機(jī)初始地捕獲圖像數(shù)據(jù)(例如視頻數(shù)據(jù))。3D相機(jī)可與根據(jù)示例性實(shí)施例執(zhí)行手勢(shì)識(shí)別的設(shè)備相關(guān)，因此3D可能是設(shè)備的一部分或與設(shè)備通信。在一些實(shí)施例中， 相機(jī)和在手勢(shì)分析中使用的其他組件之間的通信可以是實(shí)時(shí)的或至少具有相對(duì)低的延遲。 3D相機(jī)能夠同時(shí)提供3D深度數(shù)據(jù)和強(qiáng)度圖像。由此，例如，3D相機(jī)能夠提供可分成各種不同深度間隔的數(shù)據(jù)。深度間隔可以是等距離的，或者可以在其間具有變動(dòng)的距離。3D相機(jī)可被配置為從捕獲的圖像數(shù)據(jù)提取深度數(shù)據(jù)和強(qiáng)度數(shù)據(jù)。然后，將在操作10接收的圖像數(shù)據(jù)的幀分成不同深度范圍，以在操作12，提供變動(dòng)的深度范圍的強(qiáng)度圖像。圖像數(shù)據(jù)的分析可基于逐個(gè)幀進(jìn)行，從而可將先前(或隨后)幀的強(qiáng)度圖像與每個(gè)各自不同深度范圍的分割圖像相比。可在每個(gè)深度范圍分析動(dòng)作差。關(guān)于相鄰幀的動(dòng)作分析可在識(shí)別目標(biāo)區(qū)域 (例如支持手勢(shì)的附屬物，例如手)中有用，因?yàn)樵谠S多情形下，執(zhí)行手勢(shì)的目標(biāo)可期望在一個(gè)幀到下一個(gè)幀之間具有最大不同。因此，盡管無(wú)法必然地預(yù)測(cè)目標(biāo)的深度，但是可預(yù)測(cè)目標(biāo)所在的深度期望看到相比于其他深度更加明顯的動(dòng)作。
6
基于與各個(gè)深度范圍相關(guān)的動(dòng)作分析，可識(shí)別出候選深度范圍。由此，例如，顯示某個(gè)閾值以上的動(dòng)作的、或作為最大值的或?qū)τ谄渌疃确秶蛴糜诮o定深度范圍的幀至少更大的候選深度范圍可識(shí)別為候選深度范圍。在一些示例性實(shí)施例中，可與候選深度范圍的動(dòng)作分析一起考慮一個(gè)或多個(gè)其他暗示(例如位置、尺度和/或其他)?；诤蜻x深度范圍的動(dòng)作(并且在一些情況下還基于暗示)，在操作14，可通過(guò)識(shí)別和跟蹤目標(biāo)區(qū)域來(lái)做出關(guān)于手區(qū)域的粗略確定。在一些情況下，手可假設(shè)在相機(jī)的最近深度范圍。因此，例如， 并非關(guān)注動(dòng)作或其他暗示以確定手的深度，可利用具有最小深度的對(duì)象進(jìn)行粗略手區(qū)域確定。在粗略手區(qū)域確定之后，該過(guò)程可通過(guò)旨在從前臂分離手的操作繼續(xù)。由此，基于提供的手的視圖，手通常可包括與手掌相應(yīng)的圓形特征。本發(fā)明實(shí)施例可實(shí)現(xiàn)圓形特征確定，以增強(qiáng)粗略目標(biāo)區(qū)域檢測(cè)，從而更加精確地確定或識(shí)別圖像中的手。此外，與深度信息相關(guān)的像素分布分析可用于做出與手區(qū)域的中心(例如粗略手中心)相關(guān)的大致估計(jì)。因此，例如，在操作14中粗略確定手區(qū)域(這可導(dǎo)致手和前臂區(qū)域的分離)之后，本發(fā)明的實(shí)施例還可包括在操作16，基于深度信息的粗略手中心確定?？稍鰪?qiáng)粗略手中心確定操作，以利用幾何信息識(shí)別圖像的手部分。由此，識(shí)別圓形特征可在為此目的獲得幾何信息中有用。 因此，在操作18，本發(fā)明實(shí)施例可進(jìn)行圓形特征提取。基于提取的圓形特征和手中心確定， 在操作20，進(jìn)行手掌圓形確定。手掌圓形確定可進(jìn)一步(在潛在地多個(gè)圓形特征之間)分離與手掌相應(yīng)的圓形特征。一旦使用以上操作識(shí)別了手，在操作22考慮可以切除或去除前臂區(qū)域。前臂切除的一般性操作可包括確定切割方向和確定切割位置的子操作。在操作22之后保留的是可基于幀方式跟蹤以確定用手做出的手勢(shì)的手區(qū)域。由此，可繼續(xù)跟蹤手，并且從被跟蹤的目標(biāo)區(qū)域(例如手區(qū)域)提取的關(guān)于特征的動(dòng)作或改變可用于手勢(shì)分析。手位置和與其相關(guān)的改變的跟蹤可通過(guò)比較如操作M所示的相鄰幀中的圖像來(lái)實(shí)現(xiàn)。在示例性實(shí)施例中，手勢(shì)分析可通過(guò)將來(lái)自被跟蹤的目標(biāo)區(qū)域的特征與相應(yīng)于特定手勢(shì)的特征的存儲(chǔ)數(shù)據(jù)庫(kù)中的特征相比較來(lái)執(zhí)行。通過(guò)確定數(shù)據(jù)庫(kù)(例如匹配數(shù)據(jù)庫(kù))中的特征和從被跟蹤的目標(biāo)區(qū)域提取的特征之間的匹配(或在閾值量?jī)?nèi)的實(shí)質(zhì)相似)，可識(shí)別與關(guān)聯(lián)于來(lái)自數(shù)據(jù)庫(kù)的匹配特征的特定特征相應(yīng)的手勢(shì)。在操作沈，如果識(shí)別了特定手勢(shì)，可執(zhí)行相應(yīng)命令。由此，例如，數(shù)據(jù)庫(kù)可存儲(chǔ)將手勢(shì)與各個(gè)命令或UI功能關(guān)聯(lián)的信息。因此，例如，如果在播放音樂(lè)或視頻內(nèi)容時(shí)識(shí)別了緊握拳頭，并且緊握拳頭與停止命令關(guān)聯(lián)，則可停止正在呈現(xiàn)的音樂(lè)或視頻內(nèi)容。圖3示出根據(jù)示例性實(shí)施例的上述操作的實(shí)例。由此，例如，圖3A示出捕獲的一系列強(qiáng)度圖像。圖3B示出基于來(lái)自圖3A的每個(gè)相應(yīng)強(qiáng)度圖像的深度分析得到的粗略手檢測(cè)的結(jié)果。圖3C示出在與圖;3B中進(jìn)行的粗略手檢測(cè)相對(duì)的每個(gè)圖像中通過(guò)點(diǎn)指示的大致手中心估計(jì)。圖3D示出多個(gè)圓形形狀，其每個(gè)識(shí)別來(lái)自圖;3B的每個(gè)相應(yīng)強(qiáng)度圖像的相應(yīng)圓形特征。圖3E示出每個(gè)圖像中的圓形。該每個(gè)圖像中的圓形識(shí)別從圖3D中識(shí)別的圓形特征中確定的手掌圓形。以下為了提供實(shí)例的目的并非限制，更加詳細(xì)地描述與識(shí)別手掌圓形相關(guān)的示例性實(shí)施例的操作。圖4示出根據(jù)本發(fā)明示例性實(shí)施例的實(shí)現(xiàn)手分割用于手勢(shì)分析的裝置的示意性框圖?，F(xiàn)在將參照?qǐng)D4描述本發(fā)明的示例性實(shí)施例，其中顯示實(shí)現(xiàn)手分割用于手勢(shì)分析的裝置的某些部件。圖4的裝置可用在例如移動(dòng)終端(例如圖6的移動(dòng)終端110)或各種其他設(shè)備上，包括移動(dòng)和固定的(例如網(wǎng)絡(luò)設(shè)備、個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)等)?；蛘?，實(shí)施例可用在設(shè)備的組合上。因此，本發(fā)明的一些實(shí)施例可整體用在一個(gè)設(shè)備(例如移動(dòng)終端 110)，或通過(guò)客戶(hù)端/服務(wù)器關(guān)系的設(shè)備來(lái)使用。此外，應(yīng)注意，以下所述的設(shè)備和部件可能并非強(qiáng)制的，因此在某些實(shí)施例中可省略某些?，F(xiàn)在參照?qǐng)D4，提供實(shí)現(xiàn)手分割用于手勢(shì)分析的裝置。該裝置可包括處理器70、用戶(hù)接口 72、通信接口 74和存儲(chǔ)器設(shè)備76或與其通信。存儲(chǔ)器設(shè)備76可包括例如易失性和/或非易失性存儲(chǔ)器。存儲(chǔ)器設(shè)備76可被配置為存儲(chǔ)信息、數(shù)據(jù)、應(yīng)用、指令等，用于使得裝置執(zhí)行根據(jù)本發(fā)明各個(gè)實(shí)施例的各個(gè)功能。例如，存儲(chǔ)器設(shè)備76可被配置為緩沖輸入數(shù)據(jù)以用于處理器70處理。額外地或備選地，存儲(chǔ)器設(shè)備76可被配置為存儲(chǔ)指令以用于處理器70執(zhí)行。作為另一備選，存儲(chǔ)器設(shè)備76可以是存儲(chǔ)信息和/或媒體內(nèi)容的多個(gè)數(shù)據(jù)庫(kù)之一。處理器70可通過(guò)多種不同方式實(shí)現(xiàn)。例如，處理器70可實(shí)現(xiàn)為各種處理裝置，例如處理部件、協(xié)處理器、控制器或各種其他處理設(shè)備，包括集成電路(例如ASIC(專(zhuān)用集成電路)、FPGA (現(xiàn)場(chǎng)可編程門(mén)陣列)、硬件加速器等)。在示例性實(shí)施例中，處理器70可被配置為執(zhí)行存儲(chǔ)器設(shè)備76中存儲(chǔ)的指令或處理器70可訪問(wèn)的指令。由此，無(wú)論由硬件或軟件方法、或其組合來(lái)配置，處理器70可代表在由此配置時(shí)能夠執(zhí)行根據(jù)本發(fā)明實(shí)施例的操作的實(shí)體。同時(shí)，通信接口 74可以是以硬件、軟件、或硬件和軟件的組合實(shí)現(xiàn)的例如設(shè)備或電路的任意裝置，其被配置為從/向網(wǎng)絡(luò)和/或任意其他設(shè)備或與裝置通信的模塊接收和 /或發(fā)送數(shù)據(jù)。由此，通信接口 74可包括例如能夠與無(wú)線(xiàn)通信網(wǎng)絡(luò)通信的天線(xiàn)(或多個(gè)天線(xiàn))和支持硬件和/或軟件。在固定環(huán)境中，通信接口 74可備選地或還支持有線(xiàn)通信。由此，通信接口 74可包括用于支持經(jīng)由電纜、數(shù)字訂戶(hù)線(xiàn)路(DSL)、通用串行總線(xiàn)(USB)、以太網(wǎng)或其他機(jī)制通信的通信調(diào)制解調(diào)器和/或其他硬件/軟件。用戶(hù)接口 72可與處理器70通信，以接收在用戶(hù)接口 72處用戶(hù)輸入的指示和/或向用戶(hù)提供音頻、視覺(jué)、機(jī)械或其他輸出。由此，用戶(hù)接口 72可包括例如鍵盤(pán)、鼠標(biāo)、操縱桿、顯示器、觸摸屏、麥克風(fēng)、揚(yáng)聲器、或其他輸入/輸出機(jī)制。在該裝置實(shí)現(xiàn)為服務(wù)器或某些其他網(wǎng)絡(luò)設(shè)備的示例性實(shí)施例中，用戶(hù)接口 72可被限制，或被刪除。在示例性實(shí)施例中，處理器70可實(shí)現(xiàn)為，包括或控制深度分析器78、動(dòng)作分析器 80、目標(biāo)跟蹤器82、手勢(shì)識(shí)別器84和手分割器86中的任意一個(gè)或全部。然而，在一些實(shí)施例中，可包括更多甚至更少的組件。深度分析器78、動(dòng)作分析器80、目標(biāo)跟蹤器82、手勢(shì)識(shí)別器84和手分割器86均可是任意裝置，例如被配置為分別執(zhí)行如下所述的深度分析器78、 動(dòng)作分析器80、目標(biāo)跟蹤器82、手勢(shì)識(shí)別器84和手分割器86的相應(yīng)功能的以硬件、軟件或硬件和軟件的組合實(shí)現(xiàn)的設(shè)備或電路(例如在軟件控制下運(yùn)行的處理器70)。在示例性實(shí)施例中，深度分析器78、動(dòng)作分析器80、目標(biāo)跟蹤器82、手勢(shì)識(shí)別器84和/或手分割器86 均可與媒體捕獲模塊(例如圖6的相機(jī)模塊137)通信，以接收用于下述分析中的圖像數(shù)據(jù)。深度分析器78可被配置為將每個(gè)幀的輸入圖像數(shù)據(jù)分割成與各個(gè)不同深度范圍的每個(gè)相應(yīng)的數(shù)據(jù)。然后，深度分析器78可生成與各個(gè)不同深度范圍的每個(gè)相應(yīng)的強(qiáng)度圖像。深度分析器78可被配置為利用與各個(gè)深度范圍關(guān)聯(lián)的信息，以然后執(zhí)行整個(gè)手區(qū)域的粗略深度的確定或估計(jì)。由此，例如，在將圖像的深度范圍分成由近至遠(yuǎn)的許多范圍(均勻或不均勻分布)之后，可對(duì)于每個(gè)范圍內(nèi)的任意連接區(qū)域的像素?cái)?shù)目進(jìn)行計(jì)數(shù)。如果像素?cái)?shù)目超過(guò)預(yù)定閾值，可將相應(yīng)連接區(qū)域識(shí)別為候選手區(qū)域，并且可確定候選手深度范圍D。 然后，通過(guò)以下步驟細(xì)化精確手深度D'通過(guò)d = 計(jì)算平均手深度，這是其深度在范圍D內(nèi)的所有像素i的深度平均 以及通過(guò)D' = [d-Tpd+Tj得到精確手深度范圍D'。T也是試驗(yàn)值，例如，T1 = 10， T2 = 15。在確定手深度范圍之后，可形成二進(jìn)制圖像，其可包含手、臂、和其他區(qū)域。對(duì)于第一初始化階段，可執(zhí)行識(shí)別操作，以驗(yàn)證觸發(fā)手勢(shì)(例如，當(dāng)識(shí)別時(shí)啟動(dòng)跟蹤以用于未來(lái)手勢(shì)分析的手勢(shì))。否則，在正常操作期間，使用跟蹤策略來(lái)消除干擾區(qū)域， 例如臉、肢體等，以實(shí)現(xiàn)粗略手區(qū)域的識(shí)別(例如在以上操作14)。在一些實(shí)例中(例如圖 3中的最上面4個(gè)實(shí)例)，粗略手深度區(qū)域包括與前臂關(guān)聯(lián)的一些像素。由于這些像素可使得手勢(shì)識(shí)別復(fù)雜，可期望由手分割器86提供的健壯性手分割方案。手分割器86可以是任意部件，例如，被配置為實(shí)現(xiàn)大致手中心估計(jì)和使用圓形特征提取實(shí)現(xiàn)這里所述的手分割的手掌圓形確定的以硬件、軟件或硬件和軟件的組合實(shí)現(xiàn)的設(shè)備或電路。手分割器86還可被進(jìn)一步配置為實(shí)現(xiàn)去除粗略手(或目標(biāo))的不期望部位， 以隔離手本身。在示例性實(shí)施例中，手分割器86可被配置為基于由深度分析器78執(zhí)行的粗略手區(qū)域檢測(cè)的結(jié)果執(zhí)行大致手中心估計(jì)。由此，例如，手分割器86可確定在粗略區(qū)域中哪個(gè)部分屬于手?？膳c手的特征關(guān)聯(lián)的幾何信息(例如圓形特征)可用于協(xié)助手分割器86。由此，實(shí)驗(yàn)結(jié)果顯示出具有與手相對(duì)強(qiáng)關(guān)聯(lián)性，并且與前臂具有更弱關(guān)聯(lián)性的幾何特征可能為圓形。因此，通過(guò)識(shí)別圓形特征和分析這樣的特征，本發(fā)明實(shí)施例可將手勢(shì)分析限制為識(shí)別為與手相應(yīng)的區(qū)域，而不考慮前臂區(qū)域。手分割器86被配置為執(zhí)行手中心區(qū)域的估計(jì)(在許多實(shí)例中，可認(rèn)為其形狀為大致圓形)，作為為了識(shí)別手掌的位置的步驟。為了實(shí)現(xiàn)大致手中心估計(jì)，手分割器86被配置為假設(shè)手的深度小于前臂深度。因此，可使用與像素深度相關(guān)的統(tǒng)計(jì)信息來(lái)估計(jì)大致手位置。具體地，可認(rèn)為具有更小或更淺深度的像素(例如與更接近于3D相機(jī)的對(duì)象相應(yīng)的像素)與手相應(yīng)。由此，具有更小深度的像素的平均位置可認(rèn)為與大致手中心相應(yīng)
/ \ 1 ^ ji \ c^ W = TF Σ^λ-,,λ-〗其中dpi是像素Pi的深度，dT是與N個(gè)最近像素相應(yīng)的深度。
J * O^dp. γ
圖3C給出可通過(guò)以上操作16提供的大致手中心估計(jì)結(jié)果的實(shí)例。手分割器86還可被配置為從圖像提取圓形特征(例如與上述操作18相關(guān)所述)。 由此，例如，由于手掌期望具有與圓形特征之一相關(guān)的強(qiáng)似然度，所以圓形特征提取可在實(shí)現(xiàn)分割手用于手勢(shì)分析的最終目的中有用。為了從操作14中確定的粗略手區(qū)域提取圓形特征，本發(fā)明一個(gè)示例性實(shí)施例的手分割器86可利用尺度空間特征檢測(cè)。由此，圖像I的尺度空間表示可示為s(jf;f》=-械，并且fteip^r^1、,-是具有尺度t
的高斯內(nèi)核。X= (X，y)和ξ = (χ, y)是圖像中的像素的坐標(biāo)。圓形特征可檢測(cè)為根據(jù) + 的規(guī)范化拉普拉斯算子的平方的尺度空間中的本地最大值，其
中S是尺度空間表示。檢測(cè)的圓形特征的半徑r與檢測(cè)的圓形特征的尺度成比例。對(duì)于平面手形狀，尺度空間特征檢測(cè)可能有效于發(fā)現(xiàn)手掌區(qū)域。實(shí)踐中，在大范圍尺度內(nèi)執(zhí)行該檢測(cè)，以發(fā)現(xiàn)任意大小的手掌。因此，可能存在如圖3D所示的、粗略手區(qū)域中檢測(cè)的許多圓形特征。為了找到與手掌區(qū)域(例如手掌位置)相應(yīng)的提取的圓形特征之一，可通過(guò)手分割器86執(zhí)行若干操作。由此，例如，在提取的圓形特征簇(例如圓形簇ball)之間，可選擇對(duì)于給定尺度范圍中的檢測(cè)器具有強(qiáng)響應(yīng)的圓形特征。在某個(gè)尺度t，每個(gè)特征具有由檢測(cè)器在圖像中的其位置處給出的值，并且可通過(guò)bmax表示最大值。然后，可保留具有比α -bmax 更大的值的特征(例如在一些實(shí)例中，將α設(shè)置為0.1)?？稍诿總€(gè)尺度重復(fù)該處理，并且可將給定尺度范圍內(nèi)的這些“強(qiáng)特征”聚集成簇ball。手分割器86還可被配置為在簇ball 中選擇具有最大尺度tmax的圓形特征bmax。然后，手分割器86通過(guò)其中心P表示圓形特征 bmax的位置，如果P和C之間的距離小于閾值(例如將閾值設(shè)置為0. 5r，其中r是與bmax相應(yīng)的圓形的半徑)，b-可以是手掌的期望圓形特征。否則，從簇ball刪除bmax，并且重復(fù)上述圓形特征選擇。圖3E中給出手掌定位的結(jié)果的一些實(shí)例。如圖3E所示，可通過(guò)本發(fā)明實(shí)施例實(shí)現(xiàn)相對(duì)精確的手掌位置。在示例性實(shí)施例中，手分割器86還可被配置為考慮去除前臂部分(或不是基于手掌位置確定的手的部分的那個(gè)部分)。在一些情況下，手分割器86可通過(guò)切除這樣的部分來(lái)去除前臂部分。在示例性實(shí)施例中，手分割器86可被配置為確定切割方向和切割位置， 以輔助前臂部分的去除。在一些實(shí)例中，前臂部分可通過(guò)一系列操作切除，包括確定切割方向是水平還是垂直，以及確定要切除的圖像的部分?？赏ㄟ^(guò)初始確定粗略手區(qū)域的真正高寬比r = w/h來(lái)實(shí)現(xiàn)確定切割的方向。在這個(gè)環(huán)境下，w和h分別是包含或含有粗略手區(qū)域的邊界矩形或邊界框的寬度和高度。圖5 示出根據(jù)示例性實(shí)施例用于前臂部分去除的實(shí)例。由此，如圖5A所示，粗略手區(qū)域的若干實(shí)例提供有具有高度h和長(zhǎng)度w的邊界框。邊界框90是這樣的框的一個(gè)實(shí)例?；谶吔缈虻拈L(zhǎng)寬比，手分割器86可確定切割方向。例如，如果比小于閾值(例如r<T)，則可沿著水平方向?qū)崿F(xiàn)前臂切除。然而，如果r>T，可沿著垂直方向進(jìn)行前臂切除。T可以是基于實(shí)驗(yàn)值設(shè)置的預(yù)定閾值(例如T = 1. 2)。當(dāng)確定關(guān)于邊界框的高度和長(zhǎng)度之比提供了切割方向時(shí)，可考慮如圖5B所示的兩個(gè)候選切割線(xiàn)。兩個(gè)候選切割線(xiàn)在確定的切割方向(例如水平或垂直)彼此平行延伸，并且從操作20確定的手掌圓形的對(duì)側(cè)切線(xiàn)地延伸。然后，切割位置確定可選擇兩個(gè)候選切割線(xiàn)之一。為了選擇候選切割線(xiàn)，手分割器86可被配置為將在操作16大致近似計(jì)算的手中心并且如圖3C的點(diǎn)所示的C與手掌圓形的中心P(由圖5C中的每個(gè)手掌圓形的中心的點(diǎn)標(biāo)記為P指示)相比較。然后，手分割器86使用P和C之間的空間關(guān)系以及確定的切割方向來(lái)精確分割手。由此，如果r < T并且C大于P，則通過(guò)在手掌圓形底部水平進(jìn)行的切割去除前臂(例如見(jiàn)圖5D中的上部實(shí)例、下部實(shí)例、和從下數(shù)倒數(shù)第二個(gè)實(shí)例)。然而，如果 r < T并且C小于P，則通過(guò)在手掌圓形的頂部水平進(jìn)行的切割去除前臂。如果r > T并且 C在P左側(cè)，則通過(guò)在手掌圓形右端垂直進(jìn)行的切割去除前臂(例如見(jiàn)圖5D中的從上數(shù)第二個(gè)和中間實(shí)例)。然而，如果r彡T并且C在P右側(cè)，則通過(guò)在手掌圓形左端垂直進(jìn)行的切割去除前臂。盡管不必要，可在前臂切割之后在二進(jìn)制圖像中執(zhí)行形態(tài)學(xué)開(kāi)操作，以消除前臂的某些剩余部分。作為上述操作的結(jié)果，并且如圖5D所示，在手分割器86操作為去除前臂部分之后的粗略手區(qū)域的剩余部分是與手本身直接相關(guān)的主要部分。然后，可實(shí)現(xiàn)另外的手區(qū)域的分析和動(dòng)作跟蹤，以實(shí)現(xiàn)手勢(shì)分析和基于這樣分析期間識(shí)別的手勢(shì)的UI啟動(dòng)。因此，例如，本發(fā)明實(shí)施例還可包括動(dòng)作分析器80，其可被配置為分析與數(shù)據(jù)的相鄰幀相對(duì)的數(shù)據(jù)(例如分割的手?jǐn)?shù)據(jù))。因此，例如動(dòng)作分析器80可將第一幀的手分割強(qiáng)度圖像與第二幀(例如相鄰幀)的手分割強(qiáng)度圖像相比較，以檢測(cè)從一個(gè)幀到下一個(gè)幀的動(dòng)作(例如動(dòng)作變化)。使用獲得的動(dòng)作變化，目標(biāo)跟蹤器82可被配置為在包含目標(biāo)的各個(gè)圖像幀中自動(dòng)跟蹤目標(biāo)(例如用戶(hù)的手)?；诖_定手位置的上述機(jī)制，可在連續(xù)幀上實(shí)現(xiàn)手跟蹤，以實(shí)現(xiàn)手勢(shì)檢測(cè)。一些實(shí)施例還可采用手勢(shì)識(shí)別器84，其可被配置為執(zhí)行與目標(biāo)相關(guān)的特征以及與特定已知手勢(shì)相關(guān)的特征之間的手勢(shì)匹配。例如，可提供已知手勢(shì)和他們各自特征的數(shù)據(jù)庫(kù)，用于與當(dāng)前手勢(shì)的特征相比較。如果比較的手勢(shì)之間的相似性是足夠的，則手勢(shì)識(shí)別器 84可將當(dāng)前手勢(shì)與特定已知手勢(shì)關(guān)聯(lián)，從而辨識(shí)或識(shí)別當(dāng)前手勢(shì)。在示例性實(shí)施例中，可通過(guò)用戶(hù)(例如通過(guò)另一用戶(hù))在離線(xiàn)階段生成已知手勢(shì)的數(shù)據(jù)庫(kù)。因此，可收集對(duì)于每個(gè)手勢(shì)的多個(gè)采樣，以合成手勢(shì)的圖庫(kù)。在示例性實(shí)施例中，可初始執(zhí)行大小歸一化，并且根據(jù)上述方案將每個(gè)采樣轉(zhuǎn)換成特征向量，并且記錄為用于匹配目的的模板?？衫米R(shí)別的手勢(shì)觸發(fā)或引起執(zhí)行與識(shí)別的手勢(shì)關(guān)聯(lián)的特定命令。由此，例如，手勢(shì)識(shí)別器84可將識(shí)別的手勢(shì)的身份發(fā)送至處理器70，其可(例如直接或經(jīng)由用戶(hù)接口 72)執(zhí)行相應(yīng)UI命令。該命令可用于指揮UI系統(tǒng)執(zhí)行相應(yīng)操作。基于以上描述，本發(fā)明的一些實(shí)施例提供圖像的分割，以定位目標(biāo)(例如手)，以有效方式實(shí)現(xiàn)健壯性跟蹤。由此，可改進(jìn)相對(duì)精確的目標(biāo)跟蹤結(jié)果和手勢(shì)識(shí)別率。3D相機(jī)的使用可實(shí)時(shí)提供3D深度數(shù)據(jù)，其可由本發(fā)明實(shí)施例用來(lái)消除或?qū)嵸|(zhì)性降低背景和照明在手勢(shì)識(shí)別精度上的影響。在一些情況下，深度范圍的劃分還在提供粗略手區(qū)域方面有所幫助。在示例性實(shí)施例中，確定粗略手區(qū)域的中心，并且識(shí)別粗略手區(qū)域內(nèi)的圓形特征。然后，識(shí)別手掌圓形，并將其用于協(xié)助從圖像去除前臂部分(或其他不期望部分)，以分割手部分。根據(jù)示例性實(shí)施例，前臂部分去除包括基于粗略手區(qū)域(例如由邊界框定義)的維度比確定切割方向，以及基于手掌圓形特征以及手掌圓形的中心與粗略手區(qū)域的中心之間的關(guān)系選擇切割位置。之后，可采用更加精確的跟蹤，并且基于精確的手分割和跟蹤結(jié)果， 可因此改進(jìn)手勢(shì)識(shí)別精確度。因此，例如，可改進(jìn)跟蹤和識(shí)別性能，以及還可改進(jìn)交互適用性。因此，本發(fā)明實(shí)施例可提供將表示手和多個(gè)其他物理對(duì)象的數(shù)據(jù)轉(zhuǎn)換成單獨(dú)手 (或幾乎單獨(dú))的圖形表示，從而可跟蹤和分析手的圖形表示。之后，可基于識(shí)別的手勢(shì)實(shí)現(xiàn)用戶(hù)接口命令。
11
現(xiàn)在參照?qǐng)D6描述本發(fā)明的示例性實(shí)施例，其中顯示了用于實(shí)現(xiàn)自適應(yīng)手勢(shì)分析的裝置的某些部件。由此，圖6示出可從本發(fā)明的示例性實(shí)施例獲益的移動(dòng)終端110的框圖。然而，應(yīng)理解，所示和以下所述的移動(dòng)終端僅是可從本發(fā)明的示例性實(shí)施例獲益的一種移動(dòng)終端的示例，因此不應(yīng)限制本發(fā)明的實(shí)施例的范圍。若干類(lèi)型的移動(dòng)終端(例如，便攜式數(shù)字助理(PDA)、尋呼機(jī)、移動(dòng)電視、游戲設(shè)備、所有類(lèi)型的計(jì)算機(jī)(例如膝上型或移動(dòng)計(jì)算機(jī))、相機(jī)、音頻/視頻播放器、無(wú)線(xiàn)電、全球定位系統(tǒng)(GPQ設(shè)備、或上述的任意組合以及其他類(lèi)型的通信系統(tǒng))可容易地采用本發(fā)明的實(shí)施例。此外，盡管可通過(guò)移動(dòng)終端110或與其連接地執(zhí)行或使用本發(fā)明的方法的若干實(shí)施例，該方法可通過(guò)除了移動(dòng)終端(例如個(gè)人計(jì)算機(jī)(PC)、服務(wù)器等)之外的設(shè)備采用或與其連接使用。此外，主要結(jié)合移動(dòng)通信應(yīng)用描述本發(fā)明實(shí)施例的系統(tǒng)和方法。然而，應(yīng)理解，可結(jié)合移動(dòng)通信行業(yè)中和移動(dòng)通信行業(yè)外的各種其他應(yīng)用利用本發(fā)明實(shí)施例的系統(tǒng)和方法。移動(dòng)終端110可包括與發(fā)射器114和接收器116可操作通信的天線(xiàn)112(或多個(gè)天線(xiàn))。移動(dòng)終端110還可包括分別向發(fā)射器114和接收器116提供信號(hào)和從其接收信號(hào)的裝置，例如控制器120(處理器70)或其他處理部件。信號(hào)可包括根據(jù)適用蜂窩系統(tǒng)的空中接口標(biāo)準(zhǔn)的信令信息，和/或還可包括與語(yǔ)音相應(yīng)的數(shù)據(jù)、接收的數(shù)據(jù)和/或用戶(hù)生成的/發(fā)送的數(shù)據(jù)。由此，移動(dòng)終端110能夠通過(guò)一個(gè)或多個(gè)空中接口標(biāo)準(zhǔn)、通信協(xié)議、調(diào)制類(lèi)型、和訪問(wèn)類(lèi)型運(yùn)行。通過(guò)圖示，移動(dòng)終端110能夠根據(jù)多個(gè)第一、第二、第三和/或第四代通信協(xié)議等中的任一個(gè)運(yùn)行。例如，移動(dòng)終端110能夠根據(jù)第二代QG)無(wú)線(xiàn)通信協(xié)議 IS-136 (時(shí)分多址(TDMA))、GSM(全球移動(dòng)通信系統(tǒng))、和IS-95 (碼分多址(⑶MA))，或根據(jù)第三代(3G)無(wú)線(xiàn)通信協(xié)議，例如通用移動(dòng)電信系統(tǒng)(UMTS)、CDMA2000、寬帶CDMA (WCDMA) 和時(shí)分同步CDMA(TD-SCDMA)，根據(jù)3. 9代(3. 9G)無(wú)線(xiàn)通信協(xié)議，例如演進(jìn)通用陸地?zé)o線(xiàn)電接入網(wǎng)絡(luò)(E-UTRAN)，根據(jù)第四代GG)無(wú)線(xiàn)通信協(xié)議等運(yùn)行。作為備選(或額外地)，移動(dòng)終端110能夠根據(jù)非蜂窩通信機(jī)制運(yùn)行。例如，移動(dòng)終端110能夠在無(wú)線(xiàn)局域網(wǎng)(WLAN)或其他通信網(wǎng)絡(luò)中通信。可理解，例如控制器120的裝置除了別的之外，可包括實(shí)現(xiàn)移動(dòng)終端110的音頻/ 視頻和邏輯功能的電路。例如，控制器120可包括數(shù)字信號(hào)處理器設(shè)備、微處理器設(shè)備、和各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器、和/或其他支持電路。移動(dòng)終端110的控制和信號(hào)處理功能可根據(jù)他們各自的功能在這些設(shè)備之間分配?？刂破?20因此還可包括在調(diào)制和傳輸之前編碼和交織消息和數(shù)據(jù)的功能。此外，控制器120還可包括內(nèi)部語(yǔ)音編碼器，并且可包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。此外，控制器120可包括運(yùn)行可在存儲(chǔ)器中存儲(chǔ)的一個(gè)或多個(gè)軟件程序的功能。例如，控制器120能夠運(yùn)行連接性程序，例如傳統(tǒng)web瀏覽器。然后，連接性程序可允許移動(dòng)終端110根據(jù)例如無(wú)線(xiàn)應(yīng)用協(xié)議(WAP)、超文本傳輸協(xié)議(HTTP)等發(fā)送和接收web內(nèi)容，例如基于位置的內(nèi)容和/或其他web頁(yè)面內(nèi)容。移動(dòng)終端110還可包括用戶(hù)接口，包括輸出設(shè)備，例如耳機(jī)或揚(yáng)聲器124、麥克風(fēng) 126、顯示器128 ；和用戶(hù)輸入接口，其可操作地耦合至控制器120。允許移動(dòng)終端110接收數(shù)據(jù)的用戶(hù)輸入接口可包括允許移動(dòng)終端110接收數(shù)據(jù)的多個(gè)設(shè)備中的任一個(gè)，例如鍵板 130、觸摸顯示器(未示出)或其他輸入設(shè)備。在包括鍵板130的實(shí)施例中，鍵板130可包括數(shù)字(0-9)和相關(guān)的鍵(#，* )，以及用于操作移動(dòng)終端110的其他硬鍵和軟鍵?；蛘?，鍵板130可包括QWERTY鍵板設(shè)置。鍵板130還可包括具有相關(guān)功能的各種軟鍵。此外，或備選地，移動(dòng)終端110可包括例如操縱桿或其他用戶(hù)輸入接口的接口設(shè)備。移動(dòng)終端110 還包括電池134，例如振動(dòng)電池組，用于向用來(lái)操作移動(dòng)終端110的各種電路供電，以及可選地提供機(jī)械振動(dòng)作為可檢測(cè)的輸出。移動(dòng)終端110還可包括用戶(hù)身份模塊(UIM) 138。UIM 138典型地為嵌入有處理器的存儲(chǔ)器設(shè)備。UIM 138可包括例如訂戶(hù)身份模塊(SIM)、通用集成電路卡(UICC)、通用訂戶(hù)身份模塊(USIM)、可移除用戶(hù)身份模塊(R-UIM)等。UIM 138典型地存儲(chǔ)與移動(dòng)訂戶(hù)相關(guān)的信息單元。除了 UIM 138之外，移動(dòng)終端110可配備有存儲(chǔ)器。移動(dòng)終端10可包括易失性存儲(chǔ)器140和/或非易失性存儲(chǔ)器142。例如，易失性存儲(chǔ)器140可包括隨機(jī)存取存儲(chǔ)器(RAM)，包括動(dòng)態(tài)和/或靜態(tài)RAM、片上或片下高速緩存存儲(chǔ)器等?？汕度牒?或可移除的非易失性存儲(chǔ)器142可包括例如只讀存儲(chǔ)器、閃速存儲(chǔ)器、磁存儲(chǔ)設(shè)備(例如硬盤(pán)、軟盤(pán)驅(qū)動(dòng)器、磁帶等)、光盤(pán)驅(qū)動(dòng)器和/或媒體、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)等。類(lèi)似于易失性存儲(chǔ)器140，非易失性存儲(chǔ)器142可包括用于數(shù)據(jù)的臨時(shí)存儲(chǔ)的高速緩存區(qū)域。存儲(chǔ)器可存儲(chǔ)由移動(dòng)終端110使用的多條信息和數(shù)據(jù)的任一條，以實(shí)現(xiàn)移動(dòng)終端110的功能。在示例性實(shí)施例中，移動(dòng)終端110可包括與控制器120通信的媒體捕獲模塊，例如相機(jī)、視頻和/或音頻模塊。媒體捕獲模塊可以是捕獲圖像、視頻和/或音頻用于存儲(chǔ)、顯示或傳輸?shù)娜我庋b置。例如，在媒體捕獲模塊為相機(jī)模塊137的示例性實(shí)施例中，相機(jī)模塊 137可包括能夠從捕獲圖像形成數(shù)字圖像文件的數(shù)碼相機(jī)。由此，相機(jī)模塊137可包括所有硬件，例如鏡頭或其他光學(xué)設(shè)備，以及從捕獲圖像建立數(shù)碼圖像文件所必要的軟件。在示例性實(shí)施例中，相機(jī)137可以是能夠捕獲表示深度和強(qiáng)度的3D圖像信息的3D相機(jī)。本發(fā)明的實(shí)施例可提供一種機(jī)制，通過(guò)像素分布的分析在自然交互環(huán)境中進(jìn)行粗略手位置確定。圓形特征的提取可通過(guò)對(duì)于尺寸相對(duì)不敏感的方式實(shí)現(xiàn)手掌區(qū)域的定位。 手掌區(qū)域可基于根據(jù)大致確定的手中心限制選擇的圓形特征精確定位。粗略手區(qū)域的邊界的形狀的高寬比可用于確定應(yīng)在垂直還是水平方向切割前臂。此外，根據(jù)深度信息的像素分布可協(xié)助確定切割位置?；诰_的手分割結(jié)果，可大大提高以下手勢(shì)識(shí)別的性能。基于良好分割和識(shí)別性能，可大大改進(jìn)交互適用性。圖7是根據(jù)本發(fā)明一些示例性實(shí)施例的系統(tǒng)、方法和程序產(chǎn)品的流程圖?？衫斫猓?流程圖的每個(gè)方框或步驟、和流程圖中的方框的組合可通過(guò)各個(gè)裝置實(shí)現(xiàn)，例如，硬件、固件、和/或包括一個(gè)或多個(gè)計(jì)算機(jī)程序指令的軟件。例如，上述過(guò)程中的一個(gè)或多個(gè)可通過(guò)計(jì)算機(jī)程序指令實(shí)現(xiàn)。由此，實(shí)現(xiàn)上述過(guò)程的計(jì)算機(jī)程序指令可通過(guò)移動(dòng)終端的存儲(chǔ)器設(shè)備或采用本發(fā)明實(shí)施例的其他裝置存儲(chǔ)，以及通過(guò)移動(dòng)終端或其他裝置中的處理器執(zhí)行。 可理解，任意這樣的計(jì)算機(jī)程序指令可加載到計(jì)算機(jī)或其他可編程裝置(即硬件)上以生成機(jī)器，從而在計(jì)算機(jī)上(例如經(jīng)由處理器)或其他可編程裝置上執(zhí)行的指令建立了用于實(shí)現(xiàn)流程圖方框或步驟中指定的功能的裝置。這些計(jì)算機(jī)程序指令還可存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中，其可指揮計(jì)算機(jī)(例如處理器、或另外計(jì)算設(shè)備)或其他可編程裝置以特定方式運(yùn)行，從而計(jì)算機(jī)可讀存儲(chǔ)器中存儲(chǔ)的指令生成制品，包括指令裝置，其實(shí)現(xiàn)流程圖的方框或步驟中指定的功能。計(jì)算機(jī)程序指令也可加載到計(jì)算機(jī)或其他可編程裝置上，以使得在計(jì)算機(jī)或其他可編程裝置上執(zhí)行一系列操作步驟，以生成計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程裝置上執(zhí)行的指令提供了實(shí)現(xiàn)流程圖的方框或步驟中指定的功能的步驟。
因此，流程圖的方框、步驟、支持用于實(shí)現(xiàn)特定功能的裝置的組合、用于實(shí)現(xiàn)特定功能的步驟的組合、用于實(shí)現(xiàn)特定功能的程序代碼指令裝置。還可理解，流程圖的一個(gè)或多個(gè)方框、步驟、和流程圖中的方框或步驟的組合通過(guò)執(zhí)行特定功能或步驟的基于專(zhuān)用硬件的計(jì)算機(jī)系統(tǒng)或處理器、或?qū)Ｓ糜布陀?jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。由此，例如在圖7中示出一種提供手分割用于手勢(shì)分析的方法的實(shí)施例，其可包括在操作200，至少部分地基于與強(qiáng)度圖像(例如分成多個(gè)深度范圍)相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域。所述強(qiáng)度圖像可以代表描述手的數(shù)據(jù)。該方法還可包括在操作210，確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)(例如估計(jì)中心)；以及在操作220，確定與手的手掌區(qū)域相應(yīng)的形狀(例如圓形或其他幾何形狀)。該方法還可包括在操作230，去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的目標(biāo)區(qū)域的部分。在示例性實(shí)施例中，該方法還可包括其他可選操作，其中一些示例在圖7中以虛線(xiàn)示出。由此，示例性附加操作可包括操作對(duì)0，基于將與手相應(yīng)的所述目標(biāo)區(qū)域的部分中的識(shí)別特征與預(yù)定手勢(shì)相應(yīng)的存儲(chǔ)特征相比較，執(zhí)行與手相應(yīng)的目標(biāo)區(qū)域的部分的手勢(shì)識(shí)別。在一些實(shí)施例中，如下所述可修改或進(jìn)一步增強(qiáng)上述操作中的某一個(gè)?？衫斫猓韵旅總€(gè)修改或增強(qiáng)可包括在單獨(dú)的上述操作中或這里所述特征之間的任意其他的組合中。 由此，例如，確定與手的手掌區(qū)域相應(yīng)的圓形可包括根據(jù)從所述目標(biāo)區(qū)域提取的多個(gè)圓形特征確定圓形。在一些情況下，去除所述目標(biāo)區(qū)域的選擇的部分可包括基于所述目標(biāo)區(qū)域的特征確定去除選擇的部分的切割方向。由此，基于所述目標(biāo)區(qū)域的特征確定切割方向可包括基于限定所述目標(biāo)區(qū)域的邊界框的高度和寬度之間的比選擇水平或垂直切割方向。 在示例性實(shí)施例中，去除所述目標(biāo)區(qū)域的選擇的部分可包括基于所述目標(biāo)區(qū)域的特征以及手掌區(qū)域的中心與目標(biāo)區(qū)域的手部分的估計(jì)中心之間的關(guān)系確定用于去除選擇的部分的切割位置。在示例性實(shí)施例中，執(zhí)行以上圖7的方法的裝置可包括處理器(例如處理器 70)，被配置為執(zhí)行上述操作Q00-240)的一些或每個(gè)。例如，處理器可被配置為通過(guò)執(zhí)行硬件實(shí)現(xiàn)的邏輯功能、執(zhí)行存儲(chǔ)的指令、或執(zhí)行用于實(shí)現(xiàn)每個(gè)操作的算法來(lái)執(zhí)行操作 (200-240) 0或者，該裝置可包括用于執(zhí)行上述每個(gè)操作的裝置。由此，根據(jù)示例性實(shí)施例， 執(zhí)行操作200-M0的裝置的示例可包括例如處理器70、深度分析器78 (例如操作200)、手分割器86 (例如操作210-M0)、或處理器執(zhí)行的用于控制上述數(shù)據(jù)的處理的算法。這里闡述的本發(fā)明的許多修改和其他實(shí)施例將使得與本發(fā)明相關(guān)的本領(lǐng)域技術(shù)人員獲益于在以上說(shuō)明書(shū)和相關(guān)附圖中提供的教導(dǎo)。因此，可理解，本發(fā)明不限于公開(kāi)的特定實(shí)施例，并且修改和其他實(shí)施例旨在包含在所附權(quán)利要求的范圍內(nèi)。此外，盡管以上說(shuō)明書(shū)和相關(guān)附圖描述了在部件和/或功能的某個(gè)示例性組合的環(huán)境中的示例性實(shí)施例，但是應(yīng)理解，部件和/或功能的不同組合可通過(guò)備選實(shí)施例提供，而不脫離所附權(quán)利要求的范圍。由此，例如，正如在一些所附權(quán)利要求中闡述的那些，也可設(shè)想除了以上明確所述的那些部件和/或功能之外的他們的不同組合。盡管這里采用的特定術(shù)語(yǔ)，但是他們僅用作一般性和描述性含義，并非用于限制的目的。
權(quán)利要求
1.一種裝置，包括處理器，被配置為至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域，所述強(qiáng)度圖像包括描述手的數(shù)據(jù)；確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)；確定與手的手掌區(qū)域相應(yīng)的形狀；以及去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的所述目標(biāo)區(qū)域的部分。
2.如權(quán)利要求1所述的裝置，其中所述處理器被配置為通過(guò)根據(jù)從所述目標(biāo)區(qū)域提取的多個(gè)圓形特征確定圓形來(lái)確定與手的手掌區(qū)域相應(yīng)的形狀。
3.如權(quán)利要求1所述的裝置，其中所述處理器被配置為通過(guò)基于所述目標(biāo)區(qū)域的特征確定去除選擇的部分的切割方向來(lái)去除所述目標(biāo)區(qū)域的選擇的部分。
4.如權(quán)利要求3所述的裝置，其中所述處理器被配置為通過(guò)基于限定所述目標(biāo)區(qū)域的邊界框的高度和寬度之比選擇水平或垂直切割方向來(lái)基于所述目標(biāo)區(qū)域的特征確定所述切割方向。
5.如權(quán)利要求1所述的裝置，其中所述處理器被配置為通過(guò)基于所述目標(biāo)區(qū)域的特征以及所述手掌區(qū)域的中心與所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)之間的關(guān)系確定去除選擇的部分的切割位置來(lái)去除所述目標(biāo)區(qū)域的選擇的部分。
6.如權(quán)利要求1所述的裝置，其中所述處理器還被配置為基于將與手相應(yīng)所述目標(biāo)區(qū)域的部分中的識(shí)別特征與相應(yīng)于預(yù)定手勢(shì)的存儲(chǔ)特征相比較，執(zhí)行與手相應(yīng)的所述目標(biāo)區(qū)域的部分的手勢(shì)識(shí)別。
7.如權(quán)利要求6所述的裝置，其中所述處理器進(jìn)一步被配置為基于識(shí)別的手勢(shì)執(zhí)行用戶(hù)接口命令。
8.一種方法，包括至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域，所述強(qiáng)度圖像包括描述手的數(shù)據(jù)；確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)；確定與手的手掌區(qū)域相應(yīng)的形狀；以及去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的所述目標(biāo)區(qū)域的部分。
9.如權(quán)利要求8所述的方法，其中確定與手的手掌區(qū)域相應(yīng)的形狀包括根據(jù)從所述目標(biāo)區(qū)域提取的多個(gè)圓形特征確定圓形。
10.如權(quán)利要求8所述的方法，其中去除所述目標(biāo)區(qū)域的選擇的部分包括基于所述目標(biāo)區(qū)域的特征確定去除選擇的部分的切割方向。
11.如權(quán)利要求10所述的方法，其中基于所述目標(biāo)區(qū)域的特征確定切割方向包括基于限定所述目標(biāo)區(qū)域的邊界框的高度和寬度之比選擇水平或垂直切割方向。
12.如權(quán)利要求8所述的方法，其中去除所述目標(biāo)區(qū)域的選擇的部分包括基于所述目標(biāo)區(qū)域的特征以及手掌區(qū)域的中心與目標(biāo)區(qū)域的手部分的感興趣點(diǎn)之間的關(guān)系確定去除選擇的部分的切割位置。
13.如權(quán)利要求8所述的方法，還包括基于將與手相應(yīng)的所述目標(biāo)區(qū)域的部分中的識(shí)別特征與相應(yīng)于預(yù)定手勢(shì)的存儲(chǔ)特征相比較，執(zhí)行與手相應(yīng)的所述目標(biāo)區(qū)域的部分的手勢(shì)識(shí)別。
14.一種計(jì)算機(jī)程序產(chǎn)品，包括在其中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行程序代碼指令的至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行程序代碼指令包括至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域的程序代碼指令，所述強(qiáng)度圖像包括描述手的數(shù)據(jù)；確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)的程序代碼指令；確定與手的手掌區(qū)域相應(yīng)的形狀的程序代碼指令；以及去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的所述目標(biāo)區(qū)域的部分的程序代碼指令。
15.如權(quán)利要求14所述的計(jì)算機(jī)程序產(chǎn)品，其中確定與手的手掌區(qū)域相應(yīng)的形狀的程序代碼指令包括根據(jù)從所述目標(biāo)區(qū)域提取的多個(gè)圓形特征確定圓形的指令。
16.如權(quán)利要求14所述的計(jì)算機(jī)程序產(chǎn)品，其中去除所述目標(biāo)區(qū)域的選擇的部分的程序代碼指令包括基于所述目標(biāo)區(qū)域的特征確定去除選擇的部分的切割方向的指令。
17.如權(quán)利要求16所述的計(jì)算機(jī)程序產(chǎn)品，其中基于所述目標(biāo)區(qū)域的特征確定切割方向的程序代碼指令包括基于限定所述目標(biāo)區(qū)域的邊界框的高度和寬度之比選擇水平或垂直切割方向的指令。
18.如權(quán)利要求14所述的計(jì)算機(jī)程序產(chǎn)品，其中去除所述目標(biāo)區(qū)域的選擇的部分的程序代碼指令包括基于所述目標(biāo)區(qū)域的特征以及手掌區(qū)域的中心與所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)之間的關(guān)系確定去除選擇的部分的切割位置的指令。
19.如權(quán)利要求14所述的計(jì)算機(jī)程序產(chǎn)品，還包括基于將與手相應(yīng)所述目標(biāo)區(qū)域的部分中的識(shí)別特征與相應(yīng)于預(yù)定手勢(shì)的存儲(chǔ)特征相比較，執(zhí)行與手相應(yīng)的所述目標(biāo)區(qū)域的部分的手勢(shì)識(shí)別的程序代碼指令。
20.一種裝置，包括用于至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域的裝置，所述強(qiáng)度圖像包括描述手的數(shù)據(jù)；用于確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)的裝置；用于確定與手的手掌區(qū)域相應(yīng)的形狀的裝置；以及用于去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的目標(biāo)區(qū)域的部分的裝置。
全文摘要
一種提供手分割用于手勢(shì)分析的方法，可包括至少部分地基于與強(qiáng)度圖像相應(yīng)的深度范圍數(shù)據(jù)確定目標(biāo)區(qū)域。所述強(qiáng)度圖像可包括描述手的數(shù)據(jù)。該方法還可包括確定所述目標(biāo)區(qū)域的手部分的感興趣點(diǎn)；確定與手的手掌區(qū)域相應(yīng)的形狀；以及去除所述目標(biāo)區(qū)域的選擇的部分，以識(shí)別與手相應(yīng)的目標(biāo)區(qū)域的部分。還提供與該方法相應(yīng)的裝置和計(jì)算機(jī)程序產(chǎn)品。
文檔編號(hào)G06K9/00GK102272773SQ200980153242
公開(kāi)日2011年12月7日 申請(qǐng)日期2009年12月14日 優(yōu)先權(quán)日2008年12月30日
發(fā)明者方亦凱, 柴秀娟, 汪孔橋, 汪浩 申請(qǐng)人:諾基亞公司