駕駛員手的位置以確定與駕駛員的操作關(guān)聯(lián)的設(shè)備。如果車輛的中央控制臺具有位于中央控制臺的中間處的用于操作娛樂系統(tǒng)的開關(guān)或旋鈕以及位于兩側(cè)的用于空調(diào)控制系統(tǒng)的開關(guān)，圍繞中央控制臺的中間的駕駛員手的位置表示駕駛員正在操作娛樂系統(tǒng)。如果相比于中央控制臺的中間部分，駕駛員的手更接近于中央控制臺的側(cè)部，則駕駛員更可能在操作空調(diào)控制系統(tǒng)。因此，命令處理系統(tǒng)200可在駕駛員發(fā)出言語命令的時候使用手的特定位置上的手勢信息以確定與言語命令相關(guān)聯(lián)的設(shè)備。
[0053]語音識別模塊256確定由駕駛員發(fā)出的言語命令。為了確定言語命令，語音識別模塊256從手勢識別模塊252接收關(guān)于駕駛員的手勢的手勢信息，如下面參照圖3詳細描述的。
[0054]命令格式模塊244將在語音識別模塊256處檢測的言語命令轉(zhuǎn)化成用于操作安裝在車輛100中的設(shè)備的設(shè)備命令。安裝在車輛100中的各個設(shè)備可要求以不同的格式來提供命令。因此，命令格式模塊244將命令轉(zhuǎn)化成各個設(shè)備可以處理的格式。此外，如果發(fā)出的言語命令不清楚、模棱兩可或不充分，命令格式模塊244可從駕駛員請求進一步的信息。這樣的對于進一步信息的請求可以通過揚聲器進行。命令格式244也可結(jié)合來自手勢識別模塊252的信息以生成設(shè)備命令，如下面參照圖4詳細描述的。
[0055]命令格式模塊244、手勢識別模塊252以及語音識別模塊256不需要儲存在相同的存儲器240中。例如，手勢識別模塊252可儲存在頭頂控制臺單元中的存儲器中，而語音識別模塊256和命令格式模塊244可儲存在中央控制臺單元中的存儲器中。另外，這些模塊中的一個或多個可以體現(xiàn)為專用硬件組件。
[0056]語音識別模塊的示例性架構(gòu)
[0057]圖3為根據(jù)一種實施例的示出語音識別模塊256的組件的框圖。語音識別模塊256除了其它組件之外可包括手勢識別接口 312、命令提取模塊316以及命令詞典320。語音識別模塊256還可包括其它模塊，例如包含由用戶先前發(fā)出的言語命令清單的歷史管理豐旲塊。
[0058]手勢識別接口 312使語音識別模塊256能夠與手勢識別模塊252通信。在一種實施例中，經(jīng)由手勢識別接口 312從手勢識別模塊252接收的手勢信息表示駕駛員的手或前臂的位置。
[0059]命令詞典320包括與車輛100的各種設(shè)備關(guān)聯(lián)的命令。命令詞典320包括從320A至320N的多個詞典，各個都與車輛100的設(shè)備或系統(tǒng)相關(guān)聯(lián)。例如，詞典320A儲存與導(dǎo)航系統(tǒng)的操作關(guān)聯(lián)的命令，詞典320B儲存與娛樂系統(tǒng)的操作關(guān)聯(lián)的命令，詞典320C儲存與空調(diào)控制系統(tǒng)關(guān)聯(lián)的命令。
[0060]命令提取模塊316根據(jù)手勢數(shù)據(jù)和儲存在所選擇的命令詞典320中的命令提取包含在音頻信號中的言語命令。在接收到手勢信息之后，命令提取模塊316根據(jù)如手勢信息所表示的用戶的手或前臂的位置選擇一個或多個詞典。如果手勢數(shù)據(jù)表示用戶的手或前臂處于某一姿勢，選擇與駕駛員的手或前臂附近的設(shè)備關(guān)聯(lián)的詞典用于命令提取。例如，如果用戶的手在自娛樂系統(tǒng)的某一距離內(nèi)，選擇與娛樂系統(tǒng)關(guān)聯(lián)的詞典(例如，詞典320B)用于命令提取。
[0061]相反地，如果在發(fā)出言語命令的時候駕駛員的手或前臂遠離這些設(shè)備并且上升超過某一水平(即，升起超過儀表板)，命令提取模塊316確定言語命令與導(dǎo)航系統(tǒng)關(guān)聯(lián)。因此，命令提取模塊316選擇并使用與導(dǎo)航操作相關(guān)聯(lián)的詞典(例如，詞典310A)以執(zhí)行語音識別。
[0062]在一種實施例中，由命令提取模塊316識別的言語命令與手勢信息結(jié)合以在命令格式模塊244處生成導(dǎo)航命令。手勢信息可表示例如駕駛員的手指的定向，如下面參照圖4詳細描述的。
[0063]命令提取模塊316可使用多于一個的詞典以提取言語命令。如果用戶的手圍繞中央控制臺定位，可以選擇與可在中央控制臺處操作的任何設(shè)備(例如，娛樂系統(tǒng)或空調(diào)控制系統(tǒng))相關(guān)聯(lián)的詞典。
[0064]在一種實施例中，命令提取模塊316根據(jù)用戶的手或前臂的位置向命令分配概率權(quán)重。命令提取模塊316使用統(tǒng)計模型根據(jù)以序列出現(xiàn)的音素計算說出的言語命令的概率。統(tǒng)計模型在駕駛員意圖的最可能的命令的確定中可包括考慮了手或前臂的位置的參數(shù)。
[0065]圖3的語音識別模塊256僅僅是說明性的?？梢詫φZ音識別模塊256做出各種改型。例如，命令詞典320可以將多個命令中的每個映射到一個或多個設(shè)備，而不是具有多個詞典。
[0066]使用手勢和言語命令的示例性檢測興趣點
[0067]通過使用手勢和語音命令的結(jié)合，用戶可以方便地識別興趣點或目的地。當(dāng)指向興趣點或目的地時，用戶可發(fā)出要求導(dǎo)航系統(tǒng)識別和/或設(shè)置興趣點的命令。命令格式模塊244可結(jié)合從言語識別的命令和從手勢信息提取的參數(shù)以生成導(dǎo)航命令。
[0068]圖4為根據(jù)一種實施例的說明用于興趣點的搜索區(qū)域的概念圖。在圖4中，駕駛員希望導(dǎo)航至建筑410或者想要識別建筑410的名字或地址。駕駛員在將手指指向建筑410的同時說明言語命令“識別那棟建筑”。由于各種誤差，手勢識別模塊252可檢測駕駛員將手指指向O-A方向(以虛線示出)。
[0069]作為回應(yīng)，語音識別模塊256從手勢識別模塊252接收表示用戶的手臂和前臂抬起的手勢信息。語音識別模塊256確定言語命令與導(dǎo)航系統(tǒng)關(guān)聯(lián)(因為手和前臂抬起)并使用與導(dǎo)航系統(tǒng)關(guān)聯(lián)的詞典以識別言語命令。語音識別模塊256向命令格式模塊244發(fā)送識別出的言語命令。
[0070]命令格式模塊244接收言語命令，分析言語命令并確定短語“那棟建筑”需要進一步說明。命令格式模塊244分析手勢信息并使用表示用戶手指的定向(由線O-A表示)的手勢信息中的參數(shù)以生成請求導(dǎo)航系統(tǒng)識別線O-A的方向中的任何興趣點的設(shè)備命令。例如，參數(shù)可以是相對于車輛100的前方方向的角度Θ。
[0071]導(dǎo)航系統(tǒng)接收設(shè)備命令，并建立由O-B-C-O表示的搜索錐。搜索錐具有表示搜索半徑(例如，10英里)的高度R并具有錐角2α。錐角2 α可以增加以擴展搜索或者以允許增加的容錯性。導(dǎo)航系統(tǒng)在由考慮了車輛運動的車輛速度和方向的搜索錐識別的搜索區(qū)域內(nèi)執(zhí)行搜索。在一種實施例中，向較接近車輛的興趣點賦予優(yōu)先級。在一種實施例中，導(dǎo)航系統(tǒng)向用戶呈現(xiàn)在搜索區(qū)域內(nèi)發(fā)現(xiàn)的興趣點清單。然后用戶可從搜索到的清單指出興趣點并要求進一步的動作(例如，導(dǎo)航至興趣點或者電話呼叫興趣點)。
[0072]根據(jù)手勢數(shù)據(jù)識別言語命令的示例性方法
[0073]圖5為根據(jù)一種實施例的說明基于駕駛員的動作或手勢識別言語命令的方法的流程圖。命令處理系統(tǒng)200使用深度相機222生成506深度影像。使用所生成的深度影像，命令處理系統(tǒng)200生成510用戶的手勢信息。手勢信息除其它之外可表示用戶的手或前臂相對于深度相機222的位置。
[0074]根據(jù)手勢信息，命令處理系統(tǒng)200選擇514用于識別言語命令的一個或多個詞典。各個詞典可包括用于車輛100中的某一系統(tǒng)或設(shè)備的命令。
[0075]命令處理系統(tǒng)200根據(jù)在傳聲器260處接收的聲音信號還生成表示駕駛員所說話語的數(shù)字音頻信號。
[0076]在選擇適用的一個或多個詞典后，命令處理系統(tǒng)200使用所選擇的一個或多個詞典對生成的音頻信號執(zhí)行518語音識別。在說出言語命令的時候，通過根據(jù)表示用戶的姿勢或手勢的手勢信息限定或修剪適用的言語命令，語音識別的準(zhǔn)確性可以得到提高。
[0077]在生成言語命令之后，命令處理系統(tǒng)200通過將言語命令轉(zhuǎn)化成設(shè)備命令生成522與言語命令對應(yīng)的設(shè)備命令。如需要