專利名稱：：用戶控制姿勢檢測的制作方法
技術(shù)領(lǐng)域：
：本公開涉及用戶控制姿勢檢測。
背景技術(shù)：
：在日常生活中計算機普遍存在。用戶往往擁有許多不同的計算機或與許多不同的計算機進行交互，而不是只擁有“一臺計算機”。例如，一般而言，用戶可能在工作的地方擁有臺式計算機，在家里擁有膝上型計算機、智能電話、平板式計算機、視頻游戲控制臺和/或電子書，等等。此外，用戶往往與集成到其他設(shè)備中的其他計算機進行交互。例如，用戶的車可能具有用戶與之交互以獲取方向、收聽音樂等的計算機。已經(jīng)為所述不同類型的計算機開發(fā)了各種不同的用戶控制器。例如，鼠標和物理鍵盤往往是控制臺式計算機和與臺式計算機交互的最常見的方式。對于筆記本式計算機，鼠標不是非常方便，其通常使用觸控板式設(shè)備來代替鼠標。鼠標或觸控板都不適用于智能手機和平板式計算機，智能手機和筆記本計算機往往具有用戶可以接觸以控制設(shè)備的觸摸屏(例如，虛擬鍵盤)。這些控制技術(shù)中的每一種都具有以下缺點例如，通過接觸觸摸屏來控制設(shè)備常常弄污整個屏幕，和/或如果用戶佩戴手套則不能通過接觸觸摸屏來控制設(shè)備?？赡芨匾氖?，所述控制技術(shù)不能適用于所有的設(shè)備類型。因此用戶必須學(xué)習(xí)控制他/她的不同設(shè)備的不同技術(shù)。例如，假設(shè)在一天中用戶在他/她的每一個計算設(shè)備上收聽音樂并且希望關(guān)閉該音樂。當(dāng)在臺式計算機上收聽音樂時，用戶可使用鼠標來使音樂播放應(yīng)用從“播放”變?yōu)椤巴Ｖ埂?。用戶可能以類似的方式使用筆記本式計算機的觸控板。在車中，用戶可能使用特定的硬件開關(guān)來停止音樂。在平板式計算機或智能電話上，用戶可觸摸在觸摸屏上的“停止”圖標。這種連貫性的缺乏帶來了很多不便。此外，當(dāng)用戶嘗試控制用戶不熟悉的計算機時，會更加不方便。本構(gòu)思涉及可被應(yīng)用來控制計算機和可被容易地應(yīng)用到任何(或所有)計算機(諸如以上列出的計算機等)的技術(shù)。
發(fā)明內(nèi)容所描述的實施例涉及用戶控制姿勢。一個示例允許揚聲器和麥克風(fēng)執(zhí)行第一功能。所述示例同時利用揚聲器和麥克風(fēng)來執(zhí)行第二功能。第二功能包括使用麥克風(fēng)捕捉來自揚聲器的聲音信號并且檢測聲音信號中的多普勒頻移。將用戶在計算機附近做出的控制姿勢和多普勒頻移相關(guān)聯(lián)并且將用戶的控制姿勢映射到控制功能。附圖示出了在本申請中所表示的構(gòu)思的實施例。通過參考結(jié)合附圖的以下說明，可更容易地理解圖示的實施例的特征。在各個附圖中相同的附圖標記可在任何情況下用于指示相同的元件。此外，每一個附圖標記的最左端的數(shù)字表示第一次引入該附圖標記的附圖和相關(guān)描述。圖1-圖7示出了根據(jù)本構(gòu)思的一些實施例的基于多普勒的用戶控制姿勢檢測方案的示例。圖8示出了根據(jù)本構(gòu)思的一些實施例的可使用基于多普勒的用戶控制姿勢檢測技術(shù)的示例系統(tǒng)。圖9示出了根據(jù)本構(gòu)思的一些實施例的基于多普勒的用戶控制姿勢檢測方法或技術(shù)的示例的流程圖。具體實施例方式綜述本申請涉及利用用戶控制姿勢(以下，“用戶姿勢”)來控制計算機。更具體地，可通過計算機發(fā)射音頻信號和檢測所發(fā)射的信號，來檢測用戶姿勢?？苫诙嗥绽招?yīng)或多普勒頻移來分析在發(fā)射信號和檢測信號之間的任何差異以檢測用戶姿勢。從被分析的音頻信號數(shù)據(jù)中可以識別出各個用戶姿勢。各個用戶姿勢可被映射到計算機的特定控制功能?？梢詫崿F(xiàn)所述特定控制功能以控制計算機。使用情形示例為了進行說明，首先來看圖1，圖1示出了表示為平板式計算機的計算機102。計算機102包括揚聲器104、麥克風(fēng)106和顯示器108。在所述示例中，在顯示器108的一部分上顯示有內(nèi)容110(諸如文本)。圖1分成實例I到實例3，以幫助示出用戶可通過作出用戶姿勢來控制計算機的方式。在實例1-3中，計算機102可以通過揚聲器104生成音頻信號。麥克風(fēng)106可捕捉所述音頻信號。可將所捕捉的信號與發(fā)射信號相比較，以得出差異。這些差異可由于用戶姿勢對信號的影響(例如，其多普勒效應(yīng))而產(chǎn)生。不同的用戶姿勢產(chǎn)生不同的多普勒效應(yīng)，并且從而可區(qū)分和識別各個用戶姿勢。在圖示的示例中，用戶姿勢是用戶的右手112作出的手勢。(在一些實施例中，所述姿勢可以替代地由左手執(zhí)行，這里為了避免在圖頁上造成混亂而沒有示出)。在所述示例中，如實例I所示，用戶從手112大體上與顯示器108平行的位置開始。然后，如實例2中所示，用戶通過向下傾斜(箭頭114)手而作出用戶姿勢。用戶姿勢114作為接收信號與發(fā)射信號之間的差異通過計算機102來檢測。換一種說法，用戶姿勢可以導(dǎo)致被捕捉信號的頻率特征(frequencyprofile)相對于沒有用戶姿勢的情況下所期望的頻率特征而變化。用戶的手可引起所述差異或變化，進而在接收或捕捉到的信號上產(chǎn)生多普勒頻移。在所述示例中，計算機將所檢測到的姿勢映射到“向下滾動命令”。然后，計算機向下滾動內(nèi)容110(箭頭116)。實例3示出了在姿勢結(jié)束時用戶的手112，此時大體上垂直于顯示器108。此外，當(dāng)與實例I相比時，內(nèi)容110已經(jīng)向下滾動。此外還注意到，在實例1-3中用戶不需要實際接觸計算機來完成所述控制功能。如上所述，計算機102包括揚聲器104和麥克風(fēng)106。揚聲器和麥克風(fēng)可以是只用于用戶姿勢檢測功能的專用硬件設(shè)備。然而，并不需如此。事實上，大多數(shù)計算機已經(jīng)包括至少一個麥克風(fēng)和至少一個揚聲器。可以利用這些現(xiàn)有的硬件設(shè)備減少涉及增加另外的硬件設(shè)備的復(fù)雜性和成本。此外，現(xiàn)有的揚聲器和麥克風(fēng)可以實現(xiàn)本姿勢檢測功能，而不會中斷或削弱所述設(shè)備的現(xiàn)有用途。例如，假設(shè)在實例I中，用戶正在進行電話呼叫(僅音頻)或網(wǎng)絡(luò)聊天(音頻和視頻(為了簡明而未示出，計算機102可包括攝像頭))。因此，在電話呼叫期間，揚聲器104正在播放來自另外一方的音頻信號，而麥克風(fēng)106正在捕捉音頻信號(諸如用戶講話)。同時，揚聲器可以發(fā)送一個或更多個音頻信號以在姿勢檢測功能中使用。在一些實施例中，所述音頻信號可以是在用戶不能聽到的頻率上發(fā)射的穩(wěn)定的音調(diào)。例如，大多數(shù)的揚聲器可以發(fā)射高達22k-24k赫茲的信號，并且大多數(shù)的麥克風(fēng)可以捕捉這些信號。然而，人類通常不能聽到任何高于大約18k-20k赫茲的聲音。因此，揚聲器104和麥克風(fēng)106可以同時用于電話呼叫和用戶姿勢檢測，而用戶只會聽到正常的電話呼叫。當(dāng)用戶沒有作出姿勢時，發(fā)射的姿勢檢測信號和捕捉到的姿勢檢測信號通常相同。例如，穩(wěn)定的20k赫茲信號被發(fā)射和接收。當(dāng)用戶進行電話呼叫時,用戶可能正在觀看內(nèi)容110。用戶可能希望觀看內(nèi)容110上面的內(nèi)容并且能夠做出用戶姿勢114來使內(nèi)容向下滾動。該運動改變音頻信號，使得被捕捉的信號與發(fā)射的姿勢檢測信號稍有不同?？梢苑治鏊霾町愐源_定用戶的姿勢(例如，在不同姿勢之間進行區(qū)分)。一旦完成姿勢，則在發(fā)射的姿勢檢測信號和檢測到的姿勢檢測信號之間的差異減小。不管由揚聲器和麥克風(fēng)執(zhí)行的雙重功能如何，用戶的電話呼叫在正常模式下進行(例如，用戶甚至不需要知道到同時影響揚聲器104和麥克風(fēng)106的潛在姿勢檢測功能)。在其他的示例中，可利用用戶姿勢來影響第一功能和/或與第一功能協(xié)同操作。例如，可使用用戶姿勢來減弱電話呼叫或控制電話呼叫的音量等。此外，該用戶姿勢檢測實施例不依賴于用戶手部狀態(tài)。例如，用戶可以佩戴手套或用戶的手可以是臟的或油膩的。所述狀態(tài)可能妨礙觸摸屏檢測用戶觸摸的能力。然而，本實施例不需要用戶接觸并且可不受手套、污垢等的影響。此外，該用戶姿勢識別實施例可以容易地應(yīng)用到每一臺用戶計算機，使得用戶可以使用相同的用戶姿勢來控制他的/她的各種不同的計算機。例如，用戶可以使用圖示的姿勢，以與圖1中用戶控制平板式計算機102相同的方式來控制他的/她的臺式計算機、內(nèi)置式汽車計算機、智能手機和筆記本式計算機(等等)。圖2-圖7共同地示出了涉及計算機202的另一個基于多普勒的用戶姿勢檢測實施例。在該情形中，計算機202被表示為筆記本式計算機。計算機202包括兩個揚聲器204(1)和204(2)、兩個麥克風(fēng)206(I)和206(2)、顯示器208、以及表示為鍵盤/觸控板210的用戶輸入設(shè)備。在所述示例中，在所述計算機上運行音樂播放器應(yīng)用212。如圖2中214所示，音樂播放器處于“停止”狀態(tài)(例如，未播放)。假設(shè)在所述計算機上運行基于多普勒的用戶姿勢檢測特征。例如，基于多普勒的用戶姿勢檢測特征可以使揚聲器204(I)和204(2)中的一個或兩個發(fā)射一個或更多個信號，并且麥克風(fēng)206(I)和206(2)中的一個或兩個捕捉所述信號。如以上與圖1有關(guān)的說明，可以分析發(fā)射信號和捕捉到的信號之間的差異并且所述差異可以被識別為用于控制計算機的用戶姿勢。圖3示出了用戶分別使用他的/她的左手和右手302和304來使用鍵盤/觸控板210。在該實施例中，使用鍵盤/觸控板210阻止基于多普勒的用戶姿勢檢測特征以避免將打字運動認作是用戶姿勢。例如，基于多普勒的用戶姿勢檢測特征可停止使得信號從揚聲器發(fā)出，或當(dāng)用戶使用鍵盤/觸控板時，其可簡單地不分析捕捉到的信號。在其他示例中，基于多普勒的用戶姿勢檢測特征可與其他的輸入機制共同工作以提供在其他情形下用戶不可使用的控制功能，或使所述控制功能對用戶更友好。例如，在圖中未示出的示例中，在三維(3-D)應(yīng)用中，用戶可使用觸控板來選擇對象。接著用戶能夠使用觸控板來“拖拽”所選擇的對象。此外，通過執(zhí)行與圖1有關(guān)的、上面闡述和說明的邊到邊(side-to-side)的控制姿勢,用戶能夠“翻轉(zhuǎn)”或“旋轉(zhuǎn)”所選擇的對象。當(dāng)然這只是一個示例，而且用戶可以利用傳統(tǒng)輸入機制，結(jié)合基于多普勒的用戶姿勢檢測來設(shè)計許多其他“組合”控制選擇，從而根據(jù)需要控制計算機。繼續(xù)所說明的示例，圖4示出了用戶離開鍵盤/觸控板210的后續(xù)時間(例如，物理上不再進行鍵輸入或觸控板輸入)。如此，基于多普勒的用戶姿勢檢測特征再一次被激活。圖5示出了用戶如箭頭502所示向前(朝向顯示器208)移動他的/她的左手302，同時如箭頭504所示向后(離開顯示器208)移動他的/她的右手304。所述用戶運動影響被揚聲器204(I)和/或204(2)捕捉的聲音。所述效果可被基于多普勒的用戶姿勢檢測特征檢測并且識別為用戶姿勢。在所述示例中，用戶姿勢被映射至音樂播放器或音樂播放器應(yīng)用212的狀態(tài)改變。如此，基于多普勒的用戶姿勢檢測特征使音樂播放器從圖4的停止狀態(tài)214變?yōu)閳D5的“播放”狀態(tài)506。因此，如508處所示，揚聲器發(fā)出音樂聲音。圖6-圖7示出了即使用戶不在計算機的前方并且不在屏幕的視線內(nèi)，用戶也可以使用用戶姿勢來控制計算機202的方案。在圖6中，當(dāng)用戶接近計算機202時，如508處所示，計算機仍在輸出音樂聲音。通過重復(fù)關(guān)于圖4-圖5所討論的用戶姿勢(即在使一只手朝向計算機移動的同時，使另外一只手移離計算機)，用戶可以改變計算機的音樂播放狀態(tài)。在圖4-圖5中，用戶姿勢使計算機的音樂播放應(yīng)用從停止狀態(tài)切換到播放狀態(tài)。在圖6中，計算機仍處于播放狀態(tài)中，并且重復(fù)用戶姿勢將計算機切換回到停止狀態(tài)。這表現(xiàn)為圖7中計算機沒有發(fā)出音符。用戶姿勢可以被計算機識別并且用來控制計算機，而用戶不需要在計算機的前方或在計算機的諸如攝像設(shè)備等某些設(shè)備的視線內(nèi)。事實上，在一些實施例中，只要用戶在自計算機起放射狀地延伸的所定義的范圍內(nèi)，用戶就可以從任何方向或維度來控制計算機?？偨Y(jié)關(guān)于圖1-圖7的討論，基于多普勒的用戶姿勢檢測實施例檢測在計算機周圍的移動并且使用檢測到的移動的特性(諸如速度、方向和/或振幅)來識別一組豐富的用戶姿勢。例如，通過追蹤方向和速度，向上或向下移動手的用戶姿勢可以實時滾動網(wǎng)頁?；诙嗥绽盏挠脩糇藙輽z測實施例還可以檢測向相反方向移動的兩只手，以及其他可檢測的用戶姿勢?？稍诰哂宣溈孙L(fēng)和揚聲器的任何類型的計算機上實現(xiàn)所述構(gòu)思。麥克風(fēng)和揚聲器不需要專用于姿勢檢測，并且可以同時執(zhí)行其他功能。所闡述的實施例是魯棒的，并且在繁忙和喧鬧的環(huán)境以及安靜的環(huán)境中均可良好地執(zhí)行。所述構(gòu)思可以在多個不同類型的設(shè)備上實現(xiàn)，以使得用戶可以使用相同的用戶姿勢來控制任何設(shè)備。系統(tǒng)示例圖8示出了可以實現(xiàn)上面引入的基于多普勒的用戶姿勢檢測構(gòu)思的系統(tǒng)800的示例。系統(tǒng)800包括計算機802，在所述示例中所述計算機802被表示為智能手機。在所述示例中，計算機802包括揚聲器804、麥克風(fēng)806、基于多普勒的用戶姿勢識別組件808、操作系統(tǒng)810、處理器812和存儲器814。基于多普勒的用戶姿勢識別組件808可以是應(yīng)用程序、應(yīng)用部件或操作系統(tǒng)810的一部分。計算機802可以配置成通過網(wǎng)絡(luò)818與其他的計算機和/或計算資源(諸如位于云816中的計算資源)進行通信。在這里使用的術(shù)語“計算機”或“計算設(shè)備”可指具有一定處理能力和/或存儲能力的任何類型的設(shè)備。計算機的示例可以包括常規(guī)計算設(shè)備(諸如個人計算機、移動手機、智能手機、個人數(shù)字助理、照相機、攝像機)，或各種不斷發(fā)展的或還在開發(fā)的計算設(shè)備類型。計算機還可以是更大設(shè)備的組件。例如，在許多新興的車中包含儀表盤計算機。處理能力可以由一個或多個處理器(諸如處理器812等)來提供，所述處理器可以運行具有計算機可讀指令形式的數(shù)據(jù)以提供功能。諸如計算機可讀指令等數(shù)據(jù)可以存儲在存儲器(諸如存儲器814)上。存儲器可以位于所述計算設(shè)備的內(nèi)部和/或外部。例如，存儲卡820可被認為是由計算機以可拆卸的方式容納的存儲器。存儲器可以包括易失性或非易失性的存儲器、硬盤、閃存設(shè)備和/或光學(xué)存儲設(shè)備(例如，CD、DVD等)等中的任何一個或更多個。本文使用的術(shù)語“計算機可讀介質(zhì)”可以包括瞬時或非瞬時指令。相比之下，術(shù)語“計算機可讀存儲介質(zhì)”不包括瞬時實例。計算機可讀存儲介質(zhì)可以包括“計算機可讀存儲設(shè)備”。計算機可讀存儲設(shè)備的示例包括易失性存儲介質(zhì)(諸如RAM)和非易失性存儲介質(zhì)(諸如，硬盤、光盤和閃存)?；诙嗥绽盏挠脩糇藙葑R別組件808可以包括和/或訪問信號控制模塊822、信號分析模塊824、用戶交互模塊826和數(shù)據(jù)表(datatable)828。簡言之，信號控制模塊822可以控制由基于多普勒的用戶姿勢識別組件808發(fā)射何種信號來供使用。信號控制模塊822還可以控制信號捕捉。信號分析模塊824可以分析所發(fā)射的和捕捉到的信號，以識別引起多普勒頻移的用戶姿勢。用戶交互模塊826可以提供接口(諸如向用戶解釋如何正確地作出預(yù)安裝姿勢的GUI)和/或可以允許用戶定義各個姿勢并且允許用戶將所述姿勢映射到各個計算機控制命令。這些映射關(guān)系可以存儲在數(shù)據(jù)表828中。回顧上文，基于多普勒的用戶姿勢識別組件808可以使用公知的多普勒頻移現(xiàn)象來感知移動。該移動可被檢測為響應(yīng)于移動對象的聲波頻率偏移，即被稱為多普勒效應(yīng)的效應(yīng)。所述頻率偏移與對象移動的`速度和源頻率成比例。在本實施例中，初始源(揚聲器)和收聽器(麥克風(fēng))是靜止的，因此，在沒有任何移動的情況下，沒有頻率變化。然而當(dāng)用戶移動他的/她的手時，其反射聲波，引起頻率的偏移。所述頻率(fr)由麥克風(fēng)測量并且可通過以下可被信號分析模塊824使用的等式來描述。權(quán)利要求1.一種計算機(802)，包括揚聲器(804)和麥克風(fēng)(806);以及姿勢識別組件(808)，所述姿勢識別組件被配置為使揚聲器發(fā)射給定頻率的聲音，并且使麥克風(fēng)捕捉所述聲音，所述姿勢識別組件還被配置為評估在給定頻率周圍的被捕捉聲音，以檢測由用戶姿勢引起的多普勒效應(yīng)頻移，所述姿勢識別組件還被配置為將多普勒效應(yīng)頻移映射到個體控制功能，并且使所述計算機執(zhí)行所述控制功能，并且其中，所述姿勢識別組件還被配置為使所述揚聲器和所述麥克風(fēng)在發(fā)射和捕捉期間執(zhí)行其他的功能。2.如權(quán)利要求1所述的計算機，還包括用戶輸入設(shè)備，并且其中，所述姿勢識別組件還被配置成當(dāng)用戶使用所述用戶輸入設(shè)備時，不評估所述被捕捉聲音。3.如權(quán)利要求2所述的計算機，其中，所述用戶輸入設(shè)備包括物理鍵盤、虛擬鍵盤、鼠標、觸控板或觸摸屏。4.如權(quán)利要求1所述的計算機，其中，所述揚聲器包括單個揚聲器或多個揚聲器，并且所述麥克風(fēng)包括單個麥克風(fēng)或多個麥克風(fēng)。5.如權(quán)利要求1所述的計算機，其中，所述姿勢識別組件還被配置為允許用戶定義自計算機起的范圍，所述控制功能將在所述范圍內(nèi)執(zhí)行而在所述范圍外不執(zhí)行。6.如權(quán)利要求5所述的計算機，其中，所述姿勢識別組件還被配置為評估多普勒效應(yīng)頻移的振幅，以確定在所述范圍內(nèi)是否出現(xiàn)用戶運動。7.如權(quán)利要求5所述的計算機，其中，所述范圍自計算機起在三維空間中放射狀延伸。8.如權(quán)利要求1所述的計算機，其中，所述揚聲器的其他功能是播放音樂，并且其中，給定頻率的聲音包括音樂的一部分。9.如權(quán)利要求1所述的計算機，其中，所述姿勢識別組件被配置為測試頻率范圍和評估相應(yīng)的被捕捉聲音，以及當(dāng)與所述給定頻率相關(guān)的干擾比所述頻率范圍內(nèi)的其他頻率相對較小時，選擇所述給定頻率。10.如權(quán)利要求9所述的計算機，其中，所述干擾包括由所述揚聲器產(chǎn)生的其他聲音或背景噪聲。11.如權(quán)利要求9所述的計算機，其中，所述姿勢識別組件被配置為根據(jù)ー個或更多個參數(shù)來重新測試所述頻率范圍。12.如權(quán)利要求11所述的計算機，其中，所述ー個或更多個參數(shù)涉及預(yù)定義的時間段或涉及在超過預(yù)定義閾值的給定頻率處檢測到的干擾。13.一種計算機可讀存儲介質(zhì)(814)，其上存儲有指令，當(dāng)所述指令由計算設(shè)備運行時使所述計算設(shè)備執(zhí)行包括以下的動作從計算機發(fā)射(902)聲音信號；在所述計算機處捕捉(904)聲音；將所發(fā)射的聲音信號的頻率范圍與所捕捉的聲音的同一頻率范圍相比較(906)，以檢測由用戶控制姿勢所產(chǎn)生的多普勒頻移；將所述用戶控制姿勢映射(908)到控制功能；以及在所述計算設(shè)備上執(zhí)行(910)所述控制功能。14.如權(quán)利要求13所述的計算機可讀存儲介質(zhì)，其中，所述發(fā)射包括從單個揚聲器組同時發(fā)射在恒定頻率處的聲音信號和其他聲音信號。15.如權(quán)利要求13所述的計算機可讀存儲介質(zhì)，其中，多個麥克風(fēng)執(zhí)行所述捕捉，并且所述捕捉還包括比較所檢測的、所述多個麥克風(fēng)的多普勒頻移的差異，以進ー步識別關(guān)于所述用戶控制姿勢的信息。全文摘要本發(fā)明公開了用戶控制姿勢檢測。一個示例允許揚聲器和麥克風(fēng)執(zhí)行第一功能。所述示例同時利用揚聲器和麥克風(fēng)來執(zhí)行第二功能。第二功能包括使用麥克風(fēng)捕捉來自揚聲器的聲音信號并且檢測在聲音信號中的多普勒頻移。將在計算機附近執(zhí)行的用戶控制姿勢與多普勒頻移相關(guān)聯(lián)，并且將用戶控制姿勢映射到控制功能。文檔編號G06F3/02GK103049090SQ20121055531公開日2013年4月17日申請日期2012年12月19日優(yōu)先權(quán)日2011年12月20日發(fā)明者陳瑞龍,什韋塔克·帕特爾,丹尼爾·莫里斯,西德漢特·古普塔申請人:微軟公司