一種基于語(yǔ)音/手勢(shì)的多通道融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及提出了一種基于語(yǔ)音/手勢(shì)的多通道融合方法，這種融合方法可以提 高語(yǔ)音/手勢(shì)多通道融合人機(jī)交互的識(shí)別率，同時(shí)方便系統(tǒng)的擴(kuò)展。
【背景技術(shù)】
[0002] 多通道融合人機(jī)交互是將語(yǔ)音、手勢(shì)、聽(tīng)覺(jué)、觸覺(jué)等多個(gè)感知通道中的兩個(gè)或多個(gè) 以信息融合的方式進(jìn)行處理，使用戶可以本能的利用多個(gè)感知通道以自然、并行、協(xié)作的方 式進(jìn)行人機(jī)對(duì)話，使機(jī)器與人的交流盡量接近人與人之間的自然交互，最終達(dá)到"以人為中 心"交互方式目的。多通道融合算法是多通道融合人機(jī)交互的核心和關(guān)鍵。
[0003] 針對(duì)多通道人機(jī)交互融合算法，學(xué)術(shù)界提出的模型很多，但是還沒(méi)有一種方法可 以綜合考慮到多通道人機(jī)交互的各方各面。比如添加通道不會(huì)對(duì)原有算法產(chǎn)生影響，通道 對(duì)于時(shí)序性的考慮，算法的容錯(cuò)能力，算法的高效性等等，因此，多通道融合人機(jī)交互要想 得以廣泛應(yīng)用，必須提高多通道融合算法的性能。本發(fā)明正是基于這種需求提出的。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種基于語(yǔ)音/手勢(shì)的多通道融合方法，進(jìn)一步提高多通 道融合算法的性能。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：一種基于語(yǔ)音/手勢(shì)的多通道融合方 法，包括以下步驟：
[0006] A、構(gòu)造四個(gè)隊(duì)列，兩個(gè)是詞法層的工作事件隊(duì)列，另外兩個(gè)分別是臨時(shí)任務(wù)隊(duì)列 和執(zhí)行任務(wù)隊(duì)列；
[0007] B、在語(yǔ)音的工作事件隊(duì)列中按時(shí)間順序查找類型為"任務(wù)動(dòng)作"的事件，如果找 到，將其放到臨時(shí)工作隊(duì)列中；
[0008] C、將語(yǔ)音/手勢(shì)輸入通道識(shí)別的詞填充臨時(shí)任務(wù)隊(duì)列，若臨時(shí)任務(wù)隊(duì)列的查找任 務(wù)狀態(tài)為"完成"，將臨時(shí)任務(wù)隊(duì)列的"完成"任務(wù)整個(gè)放到執(zhí)行任務(wù)隊(duì)列中；
[0009] D、提取執(zhí)行任務(wù)隊(duì)列中的任務(wù)交由應(yīng)用程序執(zhí)行，程序執(zhí)行該任務(wù)并且返回執(zhí)行 結(jié)果，如果執(zhí)行正確則結(jié)束該任務(wù)，否則，讀取錯(cuò)誤原因，作相應(yīng)處理。
[0010] 步驟C包括以下步驟：
[0011] 步驟1:初始化由一個(gè)二維數(shù)組表示的相關(guān)系數(shù)矩陣，二維數(shù)組的各項(xiàng)值均為0;
[0012] 步驟2:事件輸入，查找產(chǎn)生任務(wù)槽的事件，每增加一個(gè)事件，數(shù)組中的行和列增加 一項(xiàng)；
[0013] 步驟3:計(jì)算當(dāng)前事件與工作事件現(xiàn)有事件的相關(guān)系數(shù)，填到相關(guān)系數(shù)矩陣的相應(yīng) 位置。相關(guān)函數(shù)的計(jì)算在具體實(shí)現(xiàn)中，主要是通過(guò)實(shí)驗(yàn)統(tǒng)計(jì)，估計(jì)出相關(guān)系數(shù)與考慮因素的 關(guān)系，模擬出近似的分布函數(shù)進(jìn)行計(jì)算。在本發(fā)明中，主要考慮時(shí)間接近程度與相關(guān)系數(shù)的 關(guān)系，用正態(tài)分布函數(shù)來(lái)表示。
[0014]
[0015] 在上式中，x表示時(shí)間發(fā)生的時(shí)間，f(x)表示相關(guān)系數(shù)，u = 630,〇 = 238。
[0016] 步驟4:若超過(guò)超時(shí)閾值，該事件還沒(méi)有被選中，程序就強(qiáng)制丟掉該事件，同時(shí)在相 關(guān)系數(shù)矩陣中刪除該項(xiàng)；
[0017] 步驟5:根據(jù)任務(wù)槽的語(yǔ)法約束，選取符合要求的而且相關(guān)系數(shù)最大的事件填充任 務(wù)槽。
[0018] 本發(fā)明在前人經(jīng)驗(yàn)的基礎(chǔ)上，綜合利用面向任務(wù)融合模型、分層融合模型以及概 率轉(zhuǎn)移融合模型3種現(xiàn)有多種多通道融合算法，形成新的融合算法，旨在這3種算法的基礎(chǔ) 上，取長(zhǎng)補(bǔ)短，進(jìn)一步提高多通道融合算法的性能。通過(guò)以上這三種模型的結(jié)合，本發(fā)明建 立了一個(gè)比較通用的多通道融合算法模型，又能提高多通道人機(jī)交互的正確率。
【附圖說(shuō)明】
[0019] 圖1為系統(tǒng)算法整體示意圖。
[0020] 圖2為填充算法流程示意圖。
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作詳細(xì)說(shuō)明。
[0022] 參照說(shuō)明書(shū)附圖對(duì)本發(fā)明的一種基于語(yǔ)音/手勢(shì)的多通道融合方法作以下詳細(xì)的 說(shuō)明。
[0023] 步驟A:構(gòu)造四個(gè)隊(duì)列，兩個(gè)是詞法層的工作事件隊(duì)列，一個(gè)和語(yǔ)音輸入有關(guān)，一個(gè) 和手勢(shì)輸入有關(guān)，即從語(yǔ)音輸入中提取可以識(shí)別的詞加入語(yǔ)音工作事件隊(duì)列，從手勢(shì)輸入 中提取可以識(shí)別的手勢(shì)指令加入手勢(shì)工作事件隊(duì)列，另外兩個(gè)分別是臨時(shí)任務(wù)隊(duì)列和執(zhí)行 任務(wù)隊(duì)列。
[0024] 步驟B:在語(yǔ)音的工作事件隊(duì)列中按時(shí)間順序查找類型為"任務(wù)動(dòng)作"的事件，如果 找到，將其放到臨時(shí)工作隊(duì)列中。
[0025] 步驟C:將語(yǔ)音工作事件隊(duì)列和手勢(shì)工作事件隊(duì)列提前關(guān)鍵詞填充臨時(shí)任務(wù)隊(duì)列， 若臨時(shí)任務(wù)隊(duì)列的查找任務(wù)狀態(tài)為"完成"，將任務(wù)放到執(zhí)行任務(wù)隊(duì)列中。
[0026] 步驟D:提取執(zhí)行任務(wù)隊(duì)列中的任務(wù)交由應(yīng)用程序執(zhí)行，程序執(zhí)行該任務(wù)并且返回 執(zhí)行結(jié)果，如果執(zhí)行正確則結(jié)束該任務(wù)，否則，讀取錯(cuò)誤原因，作相應(yīng)處理。
[0027]在步驟C的處理中，任務(wù)槽的填充是整個(gè)算法的核心，本發(fā)明將概率轉(zhuǎn)移模型運(yùn)用 到了其中，具體實(shí)施過(guò)程如下：
[0028] 步驟1:初始化由一個(gè)二維數(shù)組表示的相關(guān)系數(shù)矩陣，該二維數(shù)組實(shí)質(zhì)上為開(kāi)辟的 一片內(nèi)存區(qū)，二維數(shù)組的各項(xiàng)值均為0。
[0029] 步驟2:事件輸入，查找產(chǎn)生任務(wù)槽的事件，每增加一個(gè)事件，數(shù)組中的行和列分別 增加一項(xiàng)。
[0030] 步驟3:計(jì)算當(dāng)前事件與工作事件現(xiàn)有事件的相關(guān)系數(shù)，填到相關(guān)系數(shù)矩陣的相應(yīng) 位置。相關(guān)函數(shù)的計(jì)算在具體實(shí)現(xiàn)中，主要是通過(guò)實(shí)驗(yàn)統(tǒng)計(jì)，估計(jì)出相關(guān)系數(shù)與考慮因素的 關(guān)系，模擬出近似的分布函數(shù)進(jìn)行計(jì)算。在本發(fā)明中，主要考慮時(shí)間接近程度與相關(guān)系數(shù)的 關(guān)系，用正態(tài)分布函數(shù)來(lái)表示。
[0031]
[0032] 在上式中，X表示時(shí)間發(fā)生的時(shí)間，f(x)表示相關(guān)系數(shù)，u = 630,〇 = 238。
[0033] 步驟4:如果有的事件一直沒(méi)有被任務(wù)槽選用，其被選中去填沖任務(wù)槽的幾率已經(jīng) 很小，本發(fā)明設(shè)置了一個(gè)超時(shí)閾值，若超過(guò)該時(shí)間該事件還沒(méi)有被選中，程序就強(qiáng)制丟掉該 事件，同時(shí)在相關(guān)系數(shù)矩陣中刪除該項(xiàng)。
[0034] 步驟5:根據(jù)任務(wù)槽的語(yǔ)法約束，選取符合要求的而且相關(guān)系數(shù)最大的事件填充任 務(wù)槽。
[0035] 本發(fā)明的基于語(yǔ)音/手勢(shì)的多通道融合方法，改善了原有多通道融合算法在時(shí)間 相關(guān)性等方面的不足，提高了語(yǔ)音/手勢(shì)的多通道融合人機(jī)交互的效果。
[0036] 首先采用面向任務(wù)的融合模型，從整體上比較抽象的對(duì)人機(jī)交互進(jìn)行分析，把人 和計(jì)算機(jī)的交互過(guò)程通過(guò)"任務(wù)"聯(lián)系起來(lái)，所以在該模型中引入了"任務(wù)槽"的概念，為了 完成系統(tǒng)"任務(wù)"，不同的任務(wù)又具有不同的任務(wù)槽形式，這樣，整合的過(guò)程就變成了對(duì)任務(wù) 槽的填充過(guò)程。一旦任務(wù)槽填滿，就形成了系統(tǒng)可執(zhí)行的完整任務(wù)；
[0037] 分層融合模型對(duì)信息從各通道發(fā)出到最終被理解的過(guò)程分析，在該模型各個(gè)通道 的信息首先被抽象成相同格式，屏蔽了下層設(shè)備的不同，隨后就可進(jìn)行形式化的處理。分層 模型將通道信息從具體的設(shè)備信息到最終的要填充的語(yǔ)義抽象成物理層、詞法層、語(yǔ)法層 和語(yǔ)義層等四層，物理層信息來(lái)自交互設(shè)備輸入的原始信息，詞法層對(duì)來(lái)自設(shè)備層的原始 信息進(jìn)行統(tǒng)一化處理，把意義相同而形式不同的輸入統(tǒng)一為相同的信息表示，從而向語(yǔ)法 層提供與設(shè)備無(wú)關(guān)的信息，語(yǔ)法層主要將來(lái)自詞法層的交互原語(yǔ)，按照人機(jī)交互的語(yǔ)法規(guī) 范分解為符合任務(wù)槽各個(gè)表項(xiàng)的形式，在語(yǔ)義層，就是利用文中將要論述的任務(wù)制導(dǎo)機(jī)制， 進(jìn)行任務(wù)槽的填充和完善，形成計(jì)算機(jī)系統(tǒng)能夠執(zhí)行的任務(wù)形式。
[0038] 概率轉(zhuǎn)移融合模型采用了模糊數(shù)學(xué)的思想，將整合過(guò)程中的分類用模糊集合的形 式體現(xiàn)出來(lái)，在分層模型中詞法層中，需要把意義相同而形式不同的輸入統(tǒng)一為相同的信 息表式，從而向語(yǔ)法層提供"交互原語(yǔ)"，但"交互原語(yǔ)"之間的相關(guān)性相差很大，比如時(shí)間的 接近程度，是否同一通道，同一通道的時(shí)間先后順序等，這就需要概率轉(zhuǎn)移模型來(lái)提取出任 務(wù)槽所需的"交互原語(yǔ)"。
[0039]以上僅表達(dá)了本發(fā)明的實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解 為對(duì)發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā) 明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā) 明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種基于語(yǔ)音/手勢(shì)的多通道融合方法，其特征在于該方法包括以下步驟： A、 構(gòu)造四個(gè)隊(duì)列，兩個(gè)是詞法層的工作事件隊(duì)列，另外兩個(gè)分別是臨時(shí)任務(wù)隊(duì)列和執(zhí) 行任務(wù)隊(duì)列； B、 在語(yǔ)音的工作事件隊(duì)列中按時(shí)間順序查找類型為"任務(wù)動(dòng)作"的事件，如果找到，將 其放到臨時(shí)工作隊(duì)列中； C、 將語(yǔ)音/手勢(shì)輸入通道識(shí)別的詞填充臨時(shí)任務(wù)隊(duì)列，若臨時(shí)任務(wù)隊(duì)列的查找任務(wù)狀 態(tài)為"完成"，將臨時(shí)任務(wù)隊(duì)列的"完成"任務(wù)整個(gè)放到執(zhí)行任務(wù)隊(duì)列中； D、提取執(zhí)行任務(wù)隊(duì)列中的任務(wù)交由應(yīng)用程序執(zhí)行，程序執(zhí)行該任務(wù)并且返回執(zhí)行結(jié) 果，如果執(zhí)行正確則結(jié)束該任務(wù)，否則，讀取錯(cuò)誤原因，作相應(yīng)處理。2. 如權(quán)利要求1所述的基于語(yǔ)音/手勢(shì)的多通道融合方法，其特征在于步驟C包括以下 步驟： 步驟1:初始化由一個(gè)二維數(shù)組表示的相關(guān)系數(shù)矩陣，二維數(shù)組的各項(xiàng)值均為〇; 步驟2:事件輸入，查找產(chǎn)生任務(wù)槽的事件，每增加一個(gè)事件，數(shù)組中的行和列增加一 項(xiàng)； 步驟3:計(jì)算當(dāng)前事件與工作事件現(xiàn)有事件的相關(guān)系數(shù)，填到相關(guān)系數(shù)矩陣的相應(yīng)位 置； 步驟4:若超過(guò)超時(shí)閾值，該事件還沒(méi)有被選中，程序就強(qiáng)制丟掉該事件，同時(shí)在相關(guān)系 數(shù)矩陣中刪除該項(xiàng)； 步驟5:根據(jù)任務(wù)槽的語(yǔ)法約束，選取符合要求的而且相關(guān)系數(shù)最大的事件填充任務(wù) 槽。
【專利摘要】本發(fā)明提供一種基于語(yǔ)音/手勢(shì)的多通道融合方法，包括以下步驟：A、構(gòu)造四個(gè)隊(duì)列，兩個(gè)是詞法層的工作事件隊(duì)列，另外兩個(gè)分別是臨時(shí)任務(wù)隊(duì)列和執(zhí)行任務(wù)隊(duì)列；B、在語(yǔ)音的工作事件隊(duì)列中按時(shí)間順序查找類型為“任務(wù)動(dòng)作”的事件，如果找到，將其放到臨時(shí)工作隊(duì)列中；C、將語(yǔ)音/手勢(shì)輸入通道識(shí)別的詞填充臨時(shí)任務(wù)隊(duì)列，若臨時(shí)任務(wù)隊(duì)列的查找任務(wù)狀態(tài)為“完成”，將臨時(shí)任務(wù)隊(duì)列的“完成”任務(wù)整個(gè)放到執(zhí)行任務(wù)隊(duì)列中；？D、提取執(zhí)行任務(wù)隊(duì)列中的任務(wù)交由應(yīng)用程序執(zhí)行，程序執(zhí)行該任務(wù)并且返回執(zhí)行結(jié)果。本發(fā)明建立了一個(gè)比較通用的多通道融合算法模型，又能提高多通道人機(jī)交互的正確率，進(jìn)一步提高多通道融合算法的性能。
【IPC分類】G06F3/16, G06F3/01
【公開(kāi)號(hào)】CN105511612
【申請(qǐng)?zhí)枴緾N201510875983
【發(fā)明人】吳錦干, 羅怡
【申請(qǐng)人】上海航空電器有限公司
【公開(kāi)日】2016年4月20日
【申請(qǐng)日】2015年12月2日