用于處理多模輸入信號的方法和系統(tǒng)與流程

文檔序號：12270487閱讀：483來源：國知局

本發(fā)明涉及一種用于處理多模輸入信號的方法和系統(tǒng)。

背景技術：

多模人機接口(“MMI”)允許用戶經由預先給定的特定輸入信號以不同的方式向應用輸入指令，例如經由通過鍵盤、鼠標、觸摸墊等的、涉及接觸的輸入，借助語音輸入，經由身體、手或者手的各個手指的姿勢，或者經由采集的眼睛的運動(所謂的“眼跟蹤”)。

在此，可以按照模態(tài)將指令與預先給定的輸入信號相關聯(lián)。可以與例如讀取電子書的指令或者車輛輔助系統(tǒng)一起使用的文檔或者菜單中的指令“進一步翻閱”，例如對于語音輸入模態(tài)，可以與語音輸入信號“進一步”相關聯(lián)，另一方面對于姿勢輸入，可以將該指令與預先給定的方向上的劃動耦合。

借助這種多模人機接口，可以使用或者控制不同的計算機支持的系統(tǒng)，還例如汽車中的駕駛員輔助系統(tǒng)。

在此，可以一個接一個地輸入不同模態(tài)的輸入信號并且處理成總輸入信息。于是稱為交替多模態(tài)。將并行或者同時輸入的不同模態(tài)的輸入信號處理成總信息，也就是說，例如伴隨語音輸入的姿勢，更有趣并且技術要求更高。于是稱為協(xié)同多模態(tài)。

技術實現(xiàn)要素：

現(xiàn)在，本發(fā)明要解決的技術問題是，提出一種方法和系統(tǒng)，其使得也能夠可靠地并且以高魯棒性處理并行或者同時經由不同的模態(tài)輸入的輸入信號。

上述技術問題通過根據(jù)本發(fā)明的方法和合并單元來解決。

本發(fā)明的一個優(yōu)選構造包括系統(tǒng)的合并單元中的處理多模輸入信號的方法。

在此，合并單元從至少一個傳感器數(shù)據(jù)分析裝置接收指令消息，其中，該指令消息相應地描述在能夠與合并單元耦合的應用側可執(zhí)行的指令。隨后，合并單元針對指令消息中的至少兩個分別產生關于相應的指令消息的候選對象。該候選對象相應地描述在指令消息中描述的指令，并且包括候選對象的有效期規(guī)定。如果候選對象的有效期規(guī)定給出重疊的有效期，則合并單元將這些候選對象中的兩個合并，并且向應用轉發(fā)通過由該合并步驟產生的候選對象描述的這種指令。

結合本發(fā)明如下廣泛地解釋概念兩個候選對象的合并：該步驟不一定必須產生新的、由兩個合并的候選對象產生的候選對象。另外，這僅僅是一個可選項。根據(jù)第二可選項，由合并步驟可以不變地產生兩個候選對象。如果由各個候選對象描述的指令不產生競爭，則是這種情況。下面將詳細說明概念競爭的指令。最后，根據(jù)第三可選項，可能發(fā)生一個或者兩個候選對象在合并步驟中被消除。換句話說，可能不再由合并步驟產生候選對象。

候選對象的有效期規(guī)定一般給出有效期，在該有效期內，由候選對象描述的指令可能與由其它候選對象描述的其它指令存在競爭。在此，有效期規(guī)定可以給出一個或更多個時間點或者一個或更多個時間區(qū)間或者時間點與時間區(qū)間的組合。在本發(fā)明的范圍內，當由第一候選對象的有效期規(guī)定給出的第一有效期與由第二候選對象的有效期規(guī)定給出的第二有效期包括時間上的交叉時，第一有效期與第二有效期重疊。當?shù)谝挥行诎ǖ谝粫r間點，并且第二有效期包括與第一時間點相同的第二時間點時，存在時間上的交叉。當?shù)谝挥行诎ㄒ粋€時間點，并且第二有效期包括一個時間區(qū)間，該時間點位于該時間區(qū)間中時，也存在時間上的交叉。當?shù)谝挥行诎ǖ谝粫r間區(qū)間，并且第二有效期包括第二時間區(qū)間，并且第一時間區(qū)間與第二時間區(qū)間具有至少一個共同的時間點時，也存在時間上的交叉。一般來說，候選對象的有效期將包括至少一個時間區(qū)間。下面，出于可簡單地閱讀的原因，經常稱為候選對象的有效時間段。在本發(fā)明的范圍內，該有效時間段應當理解為由候選對象的有效時間規(guī)定給出的候選對象的有效時間。

本發(fā)明的另一個優(yōu)選構造涉及一種用于用來處理多模輸入信號的系統(tǒng)的合并單元。在此，合并單元被配置并且確定為接收來自至少一個傳感器數(shù)據(jù)分析裝置的指令消息，該指令消息相應地描述在與合并單元可耦合的應用側可執(zhí)行的指令。此外，合并單元被配置為針對指令消息中的至少兩個相應地產生上面給出的類型的候選對象，該候選對象描述相應的指令并且包括有效期規(guī)定。最后，合并單元被配置為如果候選對象的有效期規(guī)定給出重疊的有效期，則合并這些候選對象中的兩個，并且向應用轉發(fā)指令，該指令通過由合并步驟產生的候選對象描述。

對于接收到的指令消息產生候選對象，使得能夠將涉及并行或者同時采集的輸入信號的指令消息彼此進行比較。在此，可以識別并且在需要時消除產生競爭或者彼此矛盾的指令?？梢詫⒔浻刹煌哪B(tài)采集的彼此兼容的指令組合在一起并且作為共同的指令進一步進行處理?？偠灾?，引入候選對象的概念使得能夠以合適的方式將源自于同時或者并行采集的輸入信號的指令消息合并。如下面將詳細描述的那樣，以這種方式得到對輸入信號的魯棒的識別以及高識別率。

如所敘述的那樣，合并單元接收多個指令消息，特別是第一指令消息和第二指令消息。在此，第二指令消息與第一指令消息不同。用來接收第二指令消息的第二傳感器數(shù)據(jù)分析裝置一方面可以與用來接收第一指令消息的第一傳感器數(shù)據(jù)分析裝置一致，或者另一方面可以與其不同。

如前面一般已經對于一個指令消息、例如第一指令消息所描述的那樣，合并單元還對于第二指令消息產生第二候選對象，其中，第二候選對象描述第二指令并且包括第二候選對象的有效期規(guī)定。另外，第一候選對象和第二候選對象可以分別包括第一和第二候選對象的權重。

具體地，現(xiàn)在，如果第一候選對象的有效期規(guī)定給出第一有效期，該第一有效期與由第二候選對象的有效期規(guī)定給出的第二有效期重疊，并且如果第一指令與第二指令產生競爭，則合并單元可以與第一候選對象的權重和第二候選對象的權重有關地將第一候選對象與第二候選對象合并。

一般來說，在本發(fā)明的范圍內，當?shù)谝恢噶詈偷诙噶顚儆谙嗤闹噶铑悇e時，第一指令與第二指令產生競爭。相同指令類別的指令涉及關于被配置為執(zhí)行該指令類別的指令的應用的一個共同的技術方面。一種指令類別的指令例如可以是控制輸入元件、例如光標的運動的這些指令(“開”、“關”、“左”、“右”)。另一種指令類別例如可以包括用于在文檔、菜單等中進行導航的指令(“向前或者向后翻閱”)。第三種指令類別例如可以包括用于操作輸入元件的指令(“點擊”、“雙擊”、持續(xù)“點擊”(具有壓力和持續(xù)時間))。

如下面將要說明的，一方面產生競爭的指令可能彼此兼容。這涉及如下情況：指令基本上相同并且可以解釋為共同的指令。另一方面，產生競爭的指令可能彼此發(fā)生沖突。當指令不相同，使得它們彼此不兼容時，是這種情況。

根據(jù)第一變形方案，當?shù)谝恢噶钆c第二指令產生沖突時，可以在第一候選對象與第二候選對象的合并步驟中，消除第一候選對象或者第二候選對象或者兩個候選對象。如果剩余未消除的候選對象，則該未消除的候選對象由合并步驟以不改變的方式產生。

一般來說，在本發(fā)明的范圍內，當?shù)谝恢噶詈偷诙噶畋舜瞬患嫒莼蛘弑舜嗣軙r，第一指令與第二指令產生沖突。對于前面示例性地提及的包括文檔或者菜單中的導航的指令的指令類別，指令“向前翻閱”和“向后翻閱”彼此沖突，因為它們是矛盾的并且不兼容。同樣地，例如用于將光標“向右”移動的指令與用于將光標“向左”移動的指令沖突。

消除的候選對象對其它過程沒有影響，特別地，消除的候選對象對其它候選對象，不管是在描述的指令方面，還是在有效期規(guī)定或者權重方面都沒有影響。

通常，在沖突的情況下，在合并步驟中至少消除權重小于相應的其它候選對象的權重的候選對象。然而，例如也可以設置為，在兩個候選對象的權重不超過預先給定的值的情況下，消除這兩個候選對象。

根據(jù)第二變形方案，當?shù)谝恢噶詈偷诙噶畋舜思嫒輹r，在合并步驟中由第一候選對象和第二候選對象形成合并的候選對象。然后，用由合并步驟產生的該合并的候選對象代替相應地可以視為被消除的第一和第二候選對象。然而，與第一變形方案不同，第一和第二候選對象在合并的候選對象中繼續(xù)存在，因此對其它過程有影響。

一般來說，在本發(fā)明的范圍內，當?shù)谝恢噶钆c第二指令相同時，第一指令和第二指令彼此兼容。當?shù)谝恢噶钣梢粋€或更多個第一指令參數(shù)指定，并且第二指令由一個或更多個第二指令參數(shù)指定，并且對應的第一和第二指令參數(shù)相應地處于預先給定的兼容性容差區(qū)間內時，第一指令和第二指令也被視為是兼容的。如果作為指令參數(shù)指定相應的指令的X和Y坐標彼此足夠近，也就是說，處于所給出的兼容性容差區(qū)間內，例如兼容性容差區(qū)間可以在X和Y方向上分別包括值10，則用于在預先給定的X和Y坐標上操作輸入裝置的指令(例如“點擊(x＝1000,y＝500)”)，例如可以與對應的指令(例如“點擊(x＝992,y＝507)”)是兼容的。

于是由合并的候選對象描述的指令從第一指令或者從第二指令或者從第一指令和第二指令得到。特別地，當?shù)谝恢噶钆c第二指令一致時，由合并的候選對象描述的指令可以對應于第一指令。

在第一指令由一個或更多個第一指令參數(shù)指定，并且第二指令由一個或更多個第二指令參數(shù)指定，并且對應的第一和第二指令參數(shù)相應地處于預先給定的、通常小于所述兼容性容差區(qū)間的相似性容差區(qū)間(對于前面的示例，僅允許偏差5，而不是10)內的情況下，由合并的候選對象描述的指令可以對應于第一指令或者第二指令。

在第二指令實質上不對應于第一指令，也就是說，雖然相應的指令參數(shù)處于預先給定的兼容性容差區(qū)間內，但是不處于預先給定的相似性容差區(qū)間內的情況下，由合并的候選對象描述的指令可以由一個或更多個第三指令參數(shù)指定，第三指令參數(shù)相對于對應的第一和第二指令參數(shù)相應地處于對應的兼容性容差區(qū)間內。該第三指令參數(shù)例如可以相應地通過大約以對應的第一和第二指令參數(shù)之間的中間值形成的方式來形成(對于前面的示例為“點擊(x＝996,y＝503)”)。

合并的候選對象的有效期規(guī)定由第一候選對象的有效期規(guī)定或者由第二候選對象的有效期規(guī)定或者由第一候選對象的有效期規(guī)定和第二候選對象的有效期規(guī)定得出。如已經敘述的那樣，候選對象的有效期規(guī)定一般給出有效期，在該有效期內，由該候選對象描述的指令與其它指令可能產生競爭。因此，候選對象的有效期規(guī)定可以依據(jù)不同的參數(shù)，分別專門針對每個候選對象單獨確定。

優(yōu)選由有效期規(guī)定給出的候選對象的有效時間段依據(jù)所描述的指令并且依據(jù)指令消息產生，對于該指令消息產生候選對象。不同指令類別的指令通常需要不同的有效時間段。例如，用于移動輸入元件、例如光標的指令在非常短的時間區(qū)間內被傳輸至合并單元。因此，這些指令的對應的有效時間段，例如與用于在文檔中進行導航、例如用于在文檔中進行翻頁的指令相比非常短。換句話說，這意味著，候選對象的有效時間段可以依據(jù)與采集傳感器數(shù)據(jù)的第一傳感器裝置相關聯(lián)的模態(tài)產生，第一傳感器數(shù)據(jù)分析裝置基于傳感器數(shù)據(jù)產生第一指令消息。又換句話說，可以依據(jù)第一指令消息由語音輸入、姿勢輸入、對用戶瞳孔的采集、還是經由觸摸墊輸入而輸入，來改變對于該指令消息產生的對應的候選對象的有效時間段的確定。

在此，根據(jù)第一變形方案，合并的候選對象的有效時間段可以對應于第一候選對象的有效時間段。根據(jù)第二變形方案，合并的候選對象的有效時間段可以對應于第二候選對象的有效時間段。根據(jù)第三變形方案，合并的候選對象的有效時間段可以對應于第一候選對象的有效時間段與第二候選對象的有效時間段的交集所包括的有效時間段。最后，根據(jù)第四變形方案，合并的候選對象的有效時間段可以對應于第一候選對象的有效時間段與第二候選對象的有效時間段的合集所包括的有效時間段。

合并的候選對象的權重由第一候選對象的權重或者由第二候選對象的權重或者由第一候選對象的權重和第二候選對象的權重得出。候選對象的權重一般給出該候選對象與其它候選對象相比與何位值相關聯(lián)。較高的權重強調候選對象相對于具有對應地較低的權重的其它候選對象優(yōu)先。顯而易見，例如第一候選對象的權重可以依據(jù)描述第一候選對象的第一指令消息產生。以這種方式，指令相對于其它指令的優(yōu)先能夠以候選對象的權重來表示。如已經對于有效時間段所描述的，第一候選對象的權重還可以依據(jù)用來采集描述第一候選對象的第一指令消息的模態(tài)來產生。

合并的候選對象的權重通常大于第一候選對象的權重和第二候選對象的權重。為了確定合并的候選對象的權重，例如可以對對應的第一和第二候選對象的權重以合適的方式求和，或者以其它合適的方式在數(shù)學上合成。

根據(jù)前面已經簡短地說明的第三變形方案，在由第一候選對象描述的指令與由第二候選對象描述的指令不產生競爭的情況下，又由合并步驟不變地產生這兩個候選對象。這里也稱為合并的事實實質上與這使合并處理的具體實現(xiàn)簡化有關，因為在此當選擇要合并的候選對象對時，僅必須考慮各個候選對象的有效時間段。

合并單元從傳感器數(shù)據(jù)分析裝置接收的指令消息除了對指令的描述之外，還可以包括其它參數(shù)。

根據(jù)第一變形方案，指令消息可以包括傳感器裝置參數(shù)，傳感器裝置參數(shù)描述提供了傳感器數(shù)據(jù)的傳感器裝置，傳感器數(shù)據(jù)分析裝置基于該傳感器數(shù)據(jù)產生指令消息。換句話說，該參數(shù)例如可以說明，指令消息是基于由照相機裝置采集并且提供的圖像數(shù)據(jù)識別出的。

根據(jù)第二變形方案，指令消息可以包括應用參數(shù)。該應用參數(shù)指定被配置或者設置為執(zhí)行指令的一個或更多個應用。例如被配置為執(zhí)行用于在文檔或者菜單中向前或者向后翻閱的指令的應用，可以是汽車的車輛輔助系統(tǒng)的一部分。

根據(jù)第三變形方案，指令消息可以包括采集時間參數(shù)。該參數(shù)可以指定在傳感器裝置側采集傳感器數(shù)據(jù)的采集時間區(qū)間，對應的傳感器數(shù)據(jù)分析裝置基于該傳感器數(shù)據(jù)產生指令消息。

根據(jù)第四變形方案，指令消息可以包括識別時間參數(shù)，該參數(shù)指定識別時間點，在該識別時間點，傳感器數(shù)據(jù)分析裝置從在傳感器裝置側接收到的傳感器數(shù)據(jù)中識別出在指令消息中描述的指令。

顯而易見，候選對象的有效時間規(guī)定優(yōu)選依據(jù)采集時間參數(shù)或者識別時間參數(shù)或者依據(jù)這兩個參數(shù)來確定。

根據(jù)第五變形方案，指令消息可以包括置信參數(shù)。該置信參數(shù)指定，傳感器數(shù)據(jù)分析裝置有多可靠地從在傳感器裝置側接收到的傳感器數(shù)據(jù)中識別出在指令消息中描述的指令。由此，借助置信參數(shù)，可以將指令識別的可能的不可靠性相關地量化，并且一起包含在合并處理中。通常，該置信參數(shù)取0和1之間或者0和100之間的值，其中，該區(qū)間的上端值相應地表示指令識別的高可靠性。

顯而易見，候選對象的權重也可以依據(jù)指令消息的對應的置信參數(shù)來確定。通常，以預先給定的方式在候選對象的權重的確定中一起考慮置信參數(shù)。

此外，顯而易見，前面描述的變形方案可以以任意方式彼此組合。

如前面已經提到的，可以將采集傳感器數(shù)據(jù)的第一傳感器裝置與第一模態(tài)相關聯(lián)，第一傳感器數(shù)據(jù)分析裝置基于所采集的傳感器數(shù)據(jù)產生第一指令消息，第一模態(tài)與第二模態(tài)不同，第二模態(tài)與采集傳感器數(shù)據(jù)的第二傳感器裝置相關聯(lián)，第二傳感器數(shù)據(jù)分析裝置基于所采集的傳感器數(shù)據(jù)產生第二指令消息。用簡單的話說，這意味著，可以對基于不同的模態(tài)采集并且識別的指令消息進行處理。對應的模態(tài)例如是語音識別、姿勢識別、視線方向識別、經由鍵盤、鼠標或者觸摸墊的機械輸入等。

由此，結合當對應的有效時間段重疊時，將第一候選對象與第二候選對象合并的事實得出，當前描述的方法適合于并且被配置為用于支持協(xié)同的多模態(tài)，也就是說，支持并行或者同時輸入不同模態(tài)的輸入信號并且處理成總信息的情形。

通常，對于直至有效時間段到期未消除的每個候選對象，該方法包括另一個步驟。根據(jù)該步驟，向與合并單元耦合的應用轉發(fā)由該候選對象描述的指令，該應用適合于或者被專門用于執(zhí)行該指令。由此，直至有效時間段到期未消除的候選對象，相對于其它產生競爭或者甚至產生沖突的候選對象勝出。在此，其可以是最初對于接收到的指令消息產生的候選對象，或者是合并的候選對象，也就是說，在合并處理的范圍內新產生的候選對象。

根據(jù)前面描述的方法的一個優(yōu)選實施方式，第一候選對象或者一般每個在合并單元側產生的候選對象可以包括合并參數(shù)。該合并參數(shù)給出是否提供第一候選對象，以進行潛在的與另一個候選對象的合并，如果是，則給出何時提供第一候選對象，以進行潛在的與另一個候選對象的合并。

根據(jù)第一變形方案，合并參數(shù)可以給出，直接向適合于或者專門用于執(zhí)行第一指令的、與合并單元耦合的應用轉發(fā)由第一候選對象描述的第一指令。換句話說，在向可能的前面描述的合并處理饋送候選對象之前，轉發(fā)由該候選對象描述的指令。這對于對時間要求非常嚴格或者具有非常高的優(yōu)先級的指令是有用的。

合并參數(shù)還可以規(guī)定，在轉發(fā)由第一候選對象描述的第一指令之后提供第一候選對象用于潛在地與其它候選對象的合并，其它候選對象描述與第一指令沖突的其它指令。換句話說，這里不再提供候選對象與描述兼容的指令的候選對象的合并。此外，在這種情況下，合并參數(shù)優(yōu)選給出，如果直至有效時間段到期第一候選對象未消除，則不再轉發(fā)由第一候選對象描述的指令。

替換地，合并參數(shù)還可以進一步給出，在轉發(fā)由第一候選對象描述的第一指令，以進行潛在的與其它候選對象的合并之后，不提供第一候選對象。換句話說，由此將候選對象從合并處理中完全去除。

根據(jù)第二變形方案，合并參數(shù)可以給出，在第一候選對象的有效時間段到期之后，向與合并單元耦合的應用轉發(fā)由第一候選對象描述的第一指令，該應用適合于或者專門用于執(zhí)行第一指令。這在第一候選對象在有效時間段的到期被視為消除時也可以適用。根據(jù)該變形方案，為了進行潛在的與第一候選對象的合并，同樣僅提供指令與第一指令沖突的候選對象。

一般來說，傳感器裝置和傳感器數(shù)據(jù)分析裝置之間的用于傳輸由傳感器裝置采集的傳感器數(shù)據(jù)的通信，或者傳感器數(shù)據(jù)分析裝置和合并單元之間的用于傳輸指令消息的通信，或者合并單元和與合并單元耦合的應用之間的用于轉發(fā)指令的通信，可以以簡單的方式經由插座、優(yōu)選TCP插座進行。以這種方式，可以將附加的傳感器單元和/或應用容易地集成到系統(tǒng)中。同樣可以使用其它合適的通信方法和協(xié)議。

根據(jù)一個優(yōu)選變形方案，以JSON數(shù)據(jù)格式對指令消息進行編碼。這種標準化的數(shù)據(jù)格式提供容易理解、輕松可讀并且可以簡單地用已知工具處理的數(shù)據(jù)格式，其也使得能夠以簡單的方式接收變化的數(shù)量的參數(shù)。

前面描述的方法在接收第一指令信息之前包括如下步驟：由第一傳感器裝置以傳感器數(shù)據(jù)的形式采集由系統(tǒng)的用戶給出的輸入信號。向第一傳感器數(shù)據(jù)分析裝置轉發(fā)接收到的傳感器數(shù)據(jù)，第一傳感器數(shù)據(jù)分析裝置從這些傳感器數(shù)據(jù)中識別針對可與合并單元耦合的應用的指令。然后，傳感器數(shù)據(jù)分析裝置產生對應的指令消息，并且向合并單元轉發(fā)該指令消息。

通常，作為用戶輸入其它輸入信號的結果，還優(yōu)選在并行或者同時使用不同的模態(tài)的情況下，多次重復對應的步驟。

具有前面描述的類型的合并單元的用于處理多模輸入信號的系統(tǒng)的一個優(yōu)選實施方式，還包括多個傳感器裝置。這些傳感器裝置被配置為采集傳感器數(shù)據(jù)的形式的輸入信號。在此，這些傳感器裝置中的至少兩個與不同的模態(tài)相關聯(lián)。例如，一個傳感器裝置可以被構造為照相機，用于采集用戶的姿勢或者用于采集用戶的瞳孔運動。另一個傳感器裝置可以被構造用于記錄所說的語言。最后，一個傳感器裝置也可以被構造為觸摸敏感的輸入裝置，例如被構造為觸摸屏或者觸摸墊。

系統(tǒng)還包括至少一個傳感器數(shù)據(jù)分析裝置。其被配置用于接收來自一個或更多個傳感器裝置的傳感器數(shù)據(jù)，從傳感器數(shù)據(jù)中識別針對可與合并單元耦合的應用的指令，并且向合并單元轉發(fā)描述相應的指令的指令消息。

至少一個傳感器數(shù)據(jù)分析裝置例如可以被配置為從借助照相機采集的圖像數(shù)據(jù)中提取用戶的姿勢作為輸入信號，并且從中識別針對可與合并單元耦合的應用的對應的指令。此外，該傳感器數(shù)據(jù)分析裝置或者另一個傳感器數(shù)據(jù)分析裝置可以被配置為從借助照相機采集的圖像數(shù)據(jù)中提取用戶的視線走向作為輸入信號，并且從中識別針對可與合并單元耦合的應用的指令。所提及的類型的傳感器數(shù)據(jù)分析裝置還可以被配置為從記錄的語音數(shù)據(jù)中提取在用戶側輸入的語音命令作為輸入信號，并且從中識別針對可與合并單元耦合的應用的指令。最后，可以存在傳感器數(shù)據(jù)分析裝置，其被配置為從采集的觸摸數(shù)據(jù)中提取在用戶側輸入的與接觸有關的輸入姿勢，例如輕擊、拖動、按壓、滑動等，作為輸入信號，并且從中識別針對可與合并單元耦合的應用的指令。

系統(tǒng)還可以包括至少一個預處理器，其被配置用于對從至少一個傳感器數(shù)據(jù)分析裝置接收到的指令消息進行預處理，例如進行平滑，然后向合并單元轉發(fā)。

前面描述的系統(tǒng)可以被配置用于支持車輛輔助系統(tǒng)、例如汽車的導航系統(tǒng)的操作或者控制。

只要未在個別情況下另外描述，則可以將在本申請中提及的本發(fā)明的不同的實施方式有利地彼此組合。

附圖說明

下面，在實施例中根據(jù)所屬的附圖示例性地說明本發(fā)明。其中：

圖1示出了用于處理多模輸入信號的系統(tǒng)的一個優(yōu)選實施方式，以及

圖2示出了用于處理多模輸入信號的方法的一個優(yōu)選實施方式的步驟。

具體實施方式

圖1示出了用于處理多模輸入信號的系統(tǒng)40。多模輸入信號在此可以經由不同的傳感器裝置10,12,14,16采集，其形成系統(tǒng)的第一層。傳感器裝置10被配置用于采集語音數(shù)據(jù)。不同的照相機裝置12,14可以以圖像數(shù)據(jù)的形式一方面采集用戶的瞳孔大小和運動，另一方面采集用戶的姿勢，特別是手或者手指的姿勢。觸摸墊16可以采集與觸摸相關的輸入姿勢。

在第二層提供多個傳感器數(shù)據(jù)分析裝置18,20,22。在此，每個傳感器裝置10,12,14,16與一個傳感器數(shù)據(jù)分析裝置18,20,22相關聯(lián)，其被配置為對在傳感器裝置10,12,14,16側采集的傳感器數(shù)據(jù)進行分析。

傳感器數(shù)據(jù)分析裝置18例如包括用于分析語音數(shù)據(jù)的語音識別功能。傳感器數(shù)據(jù)分析裝置20被配置用于處理圖像數(shù)據(jù)，為此，其包括圖像識別應用程序，其被配置為處理不同類型的圖像數(shù)據(jù)的在其中可識別的輸入信號。傳感器數(shù)據(jù)分析裝置22被配置用于對經由觸摸敏感的傳感器裝置16給出的輸入信號進行分析。

在此，通常基于預先給定的要識別的模板或姿勢或者預先給定的要識別的詞匯表，進行對傳感器數(shù)據(jù)的分析。傳感器數(shù)據(jù)分析裝置18的語音識別裝置例如能夠識別預定數(shù)量的特定輸入命令，并且將這些輸入命令中的每一個與和命令相關聯(lián)的指令相關聯(lián)。以類似的方式，針對傳感器數(shù)據(jù)分析裝置20的圖像識別裝置例如預先給定特定的手或者手指的姿勢，將其直接與對應的指令相關聯(lián)。例如可以將語音命令“進一步”與用于在文檔或者菜單中進一步翻閱的指令相關聯(lián)。也可以將預先給定的手勢、例如從右向左快速滑動與同一指令相關聯(lián)。

傳感器數(shù)據(jù)分析裝置18,20,22被配置為以指令消息的形式，向連接在合并單元26或者合并單元26中的一個上游的預處理器24轉發(fā)識別出的指令。合并單元26和可選的預處理器24形成系統(tǒng)40的第三層。

預處理器24被配置為對指令消息進行預處理。傳感器數(shù)據(jù)分析裝置20通常以大約30Hz的高更新頻率，向預處理器24或者合并單元26發(fā)送例如與用戶的視線位置有關的、基于由傳感器裝置12識別出的用戶的瞳孔運動得出的指令消息。經由這些指令消息傳輸?shù)囊暰€位置經常不表示對視線走向的平滑或者連續(xù)的描述，而由于人眼的自然特性經常更像是不連續(xù)或者“斷斷續(xù)續(xù)”的。盡管如此，為了獲得例如經由該視線方向控制的光標的平滑并且連續(xù)的走向，可以在預處理器24內進行對應的平滑。然后，預處理器基于平滑后的視線坐標參數(shù)，向合并單元26轉發(fā)對應的指令消息。為此，可以在所提及的預處理器24中置入不同的圖像平滑算法，特別是使用合適的濾波器(低通濾波器)。在這些平滑算法側同樣可以使用其它輸入參數(shù)，例如，在連續(xù)的指令消息之間眼睛位置的改變有多強烈。如果識別出的改變非常大，則臨時放棄借助低通濾波器的濾波是有利的，因為否則產生的光標走向太過“拖延”，也就是說，具有可識別的、對于用戶產生干擾的延遲。

然后，在合并單元26中，將接收到的指令消息以下面參考圖2詳細描述的方式合并。合并單元26向與合并單元耦合的不同的應用28,30,32中的至少一個轉發(fā)通過合并處理的這些指令，也就是說，由合并步驟產生的這些指令。

系統(tǒng)的第四層中的應用28,30,32分別以特定方式對指令進行處理，例如用于控制與相應的應用耦合的圖形用戶接口(GUI)34,36。

預處理器24和合并單元26集成在多模服務器38中。這樣的多模服務器38例如可以存在于汽車中，并且用于對經由前面描述的一系列傳感器10,12,14,16采集的多模輸入信號進行處理，以便由此例如控制或者操作車輛輔助系統(tǒng)。

下面，參考圖2示例性地描述用于處理多模輸入信號的方法的一個優(yōu)選實施方式的步驟。

在步驟S1中，系統(tǒng)40的用戶例如通過說出輸入命令來輸入一個輸入信號，該輸入命令在步驟S2中由對應的傳感器裝置10采集，并且在步驟S3中在對應的傳感器數(shù)據(jù)分析裝置18側被識別。傳感器數(shù)據(jù)分析裝置18在步驟S4中產生描述對應的指令的指令消息，并且向合并單元26轉發(fā)該指令消息。

可以在時間上并行地或者至少交叉地，但是也可以在時間上有間隔而不交叉地，經由其它模態(tài)，例如經由輸入姿勢、經由視線方向或者經由在觸摸墊16上的輸入，進行用戶的其它輸入，如在圖2中對于步驟S1’至S4’以及S1”至S4”所示出的。

現(xiàn)在，為了進一步處理指令消息，在合并單元26中基本上可以劃分3個處理級。

在第一級中，在步驟S5中合并單元接收指令消息，并且在步驟S6中對于接收到的指令消息中的每一個產生候選對象。

在此，候選對象描述包含在指令消息中的對應的指令，并且包括給出候選對象的有效期的候選對象的有效期規(guī)定。該有效期也稱為有效時間段。優(yōu)選候選對象還包括候選對象的權重。

除了對指令的描述之外，如合并單元在步驟S5中接收到的指令消息還包括其它參數(shù)，例如傳感器裝置參數(shù)，其給出基于哪些傳感器數(shù)據(jù)(語音數(shù)據(jù)、圖像數(shù)據(jù)等)識別出了該指令消息。指令消息的應用參數(shù)給出在指令消息中描述的應用指的是應用28,30,32中的哪一個(對照圖1)。指令消息還可以包括采集時間參數(shù)。該參數(shù)描述在傳感器裝置側采集基于其產生指令消息的傳感器數(shù)據(jù)的時間區(qū)間。另一個與時間有關的參數(shù)是識別時間參數(shù)。該參數(shù)指定時間點，在該時間點，對應的傳感器數(shù)據(jù)分析裝置從對應的傳感器數(shù)據(jù)中識別出在指令消息中描述的指令?；谠撟詈筇峒暗呐c時間有關的參數(shù)，合并單元26可以確定候選對象的有效期。該有效期例如可以經由最小壽命(minTTL)、即第一時間區(qū)間和最大壽命(maxTTL)、即第二時間區(qū)間，相應地參考共同的起始時間點來確定。

除了所提及的參數(shù)之外，指令消息通常還包括置信參數(shù)。其指定，傳感器數(shù)據(jù)分析裝置有多可靠地從各個傳感器數(shù)據(jù)中識別出所描述的指令。合并單元26依據(jù)該置信參數(shù)確定候選對象的權重。例如，可以在第一步驟中對候選對象分配0和1之間的權重參數(shù)“weight”。然后，將該權重參數(shù)“weight”乘以置信參數(shù)“conf”。由此得出候選對象的權重“score”：score:＝conf*weight。

在第二處理級中，將產生的候選對象以下面描述的方式合并。在此，將兼容的、在時間上實際同時出現(xiàn)的指令組合，以防止意外的多次執(zhí)行。此外，合并處理使得能夠消除可能由于錯誤的采集或者識別而出現(xiàn)的、與其它指令沖突的指令。以這種方式能夠確保對輸入信號，特別是還對并行或者同時經由不同的模態(tài)輸入的輸入信號的魯棒的識別和處理。

在步驟S7中，從有效時間段尚未到期的候選對象的集合中選擇第一和第二候選對象。

在步驟S8中，檢查第一候選對象的有效時間段與第二候選對象的有效時間段是否重疊。如果不是這種情況，則在步驟S7中選擇新的候選對象。為了簡化在時間上重疊的候選對象的尋找，例如可以對候選對象在時間上與其各自的有效時間段有關地進行排序。

如果對應的有效時間段重疊，則在步驟S9中檢查在第一候選對象側描述的第一指令是否與在第二候選對象側描述的指令產生競爭。如果不是這種情況，則從合并步驟中不變地產生這兩個候選對象。該合并方法以步驟S7繼續(xù)進行。

相反，如果存在產生競爭的指令，則將其合并，如對于步驟S10所示出的。

在子步驟S10.1中，檢查第一指令是否與第二指令產生沖突。如果是這種情況，則在子步驟S10.2中消除兩個候選對象中具有較小的權重的候選對象。替換地可以設置為，如果其權重相應地不超過預先給定的最小權重，則消除兩個候選對象。也可以設置為，當與候選對象分別相關聯(lián)的權重之間的差值不超過預先給定的最小差值時，消除兩個候選對象。

如果未被消除的候選對象的有效時間段當時未到期，則該候選對象進一步參與以步驟S7繼續(xù)進行的合并處理。

在第一指令與第二指令兼容的情況下，在子步驟S10.3中形成合并的候選對象，來代替第一和第二候選對象。

特別是，當?shù)谝恢噶詈偷诙噶钕嗤瑫r，存在兼容的指令。在這種情況下，合并的應用描述對應的應用。合并的候選對象的有效時間段和權重分別依據(jù)第一和第二候選對象的有效時間段和權重形成。在此，合并的候選對象的有效時間段例如一方面可以對應于合并的兩個候選對象的有效時間段中的一個，或者可以由對應的有效時間段的合集或者交集形成。作為替換方式，合并的候選對象的有效時間段也可以從合并的候選對象的有效時間段中的至少一個中導出。合并的候選對象的權重通常大于第一和第二候選對象的權重。由此，合并的候選對象的優(yōu)先級被加強?，F(xiàn)在，再次向以步驟S7開始的合并處理饋送合并的候選對象。不進一步考慮合并的兩個候選對象。

只要存在具有活動的有效時間段的候選對象，則合并處理，也就是說，步驟S7至S10可以在合并單元26中繼續(xù)進行。

現(xiàn)在，在以步驟S11開始的第三處理級中，觀察有效時間段到期的、尚未被消除的候選對象，因此其不再參與步驟S7至S10的合并處理。在步驟S11中，從該集合中選擇候選對象。

在步驟S12中，向適合于或者被設置用于執(zhí)行指令的應用28,30,32轉發(fā)由該候選對象描述的指令。在此，特別是可以經由前面提及的候選對象的應用參數(shù)來控制轉發(fā)。

現(xiàn)在，應用對指令的處理本身是特定于應用的，并且不再是當前描述的方法的內容。

下面，以編號的項給出本發(fā)明的優(yōu)選實施方式：

1.一種用于處理多模輸入信號的系統(tǒng)的合并單元中的方法可以包括以下步驟：

-接收相應地描述指令的指令消息，所述指令能夠在能與所述合并單元耦合的應用側執(zhí)行；

-對于指令消息中的至少兩個：產生用于指令消息的候選對象，其中，所述候選對象描述所述指令并且包括所述候選對象的有效期規(guī)定，

-如果候選對象中的兩個的有效期規(guī)定給出重疊的有效期，則將這兩個候選對象合并；以及

-向所述應用轉發(fā)指令，該指令通過由合并步驟產生的候選對象描述。

2.在根據(jù)第1項所述的方法中，如果由相應的候選對象描述的指令不產生競爭，則可以由合并步驟不變地產生候選對象。

3.根據(jù)第1或第2項所述的方法可以包括以下步驟：

-從第一傳感器數(shù)據(jù)分析裝置接收第一指令消息，其中，第一指令消息描述第一指令，第一指令能夠在能與所述合并單元耦合的應用側執(zhí)行；

-合并單元產生關于第一指令消息的第一候選對象，其中，第一候選對象描述第一指令并且包括第一候選對象的有效期規(guī)定以及第一候選對象的權重；

-從第二傳感器數(shù)據(jù)分析裝置接收第二指令消息，其中，第二指令消息描述第二指令，第二指令能夠在能與所述合并單元耦合的應用側執(zhí)行；

-產生關于第二指令消息的第二候選對象，其中，第二候選對象描述第二指令并且包括第二候選對象的有效期規(guī)定以及第二候選對象的權重，以及

-如果第一候選對象的有效期規(guī)定給出第一有效時間，第一有效時間與由第二候選對象的有效期規(guī)定給出的第二有效時間重疊，并且如果第一指令與第二指令產生競爭，則與第一候選對象的權重和第二候選對象的權重有關地將第一候選對象與第二候選對象合并。

4.在根據(jù)第3項所述的方法中，在將第一候選對象與第二候選對象合并的步驟中，當?shù)谝恢噶钆c第二指令產生沖突時，可以將第一候選對象消除，或者將第二候選對象消除，或者將第一候選對象和第二候選對象都消除。

5.在根據(jù)第3項所述的方法中，在將第一候選對象與第二候選對象合并的步驟中，當?shù)谝恢噶钆c第二指令兼容時，可以形成合并的候選對象，其中，

由合并的候選對象描述的指令由第一指令或者由第二指令或者由第一指令和第二指令得出，以及其中，

合并的候選對象的有效期規(guī)定由第一候選對象的有效期規(guī)定或者由第二候選對象的有效期規(guī)定或者由第一候選對象的有效期規(guī)定和第二候選對象的有效期規(guī)定得出，以及其中，

合并的候選對象的權重由第一候選對象的權重或者由第二候選對象的權重或者由第一候選對象的權重和第二候選對象的權重得出。

6.在根據(jù)第5項所述的方法中，如果第一指令與第二指令一致，則由合并的候選對象描述的指令可以對應于第一指令。

7.在根據(jù)第5項所述的方法中，如果第一指令由一個或更多個第一指令參數(shù)指定，并且第二指令由一個或更多個第二指令參數(shù)指定，并且對應的第一和第二指令參數(shù)相應地處于預先給定的相似性容差區(qū)間內，則由合并的候選對象描述的指令可以對應于第一指令或者第二指令。

8.在根據(jù)第5項所述的方法中，當?shù)诙噶畈粚诘谝恢噶顣r，其中，第一指令由一個或更多個第一指令參數(shù)指定，并且第二指令由一個或更多個第二指令參數(shù)指定，并且對應的第一和第二指令參數(shù)相應地處于預先給定的兼容性容差區(qū)間內，由合并的候選對象描述的指令可以由一個或更多個第三指令參數(shù)指定，其相對于對應的第一和第二指令參數(shù)相應地位于對應的可比較性容差區(qū)間內。

9.在根據(jù)第5至第8項中至少一項所述的方法中，合并的候選對象的有效期規(guī)定可以對應于第一候選對象的有效期規(guī)定，或者對應于第二候選對象的有效期規(guī)定，或者給出包括第一候選對象的有效時間與第二候選對象的有效時間的交集的有效時間，或者給出由第一候選對象的有效時間與第二候選對象的有效時間的合集(Vereinigung)包含的有效時間。

10.在根據(jù)第5至第9項中至少一項所述的方法中，合并的候選對象的權重可以大于第一候選對象的權重和第二候選對象的權重。

11.在根據(jù)第1至第10項中至少一項所述的方法中，第一候選對象的有效期規(guī)定可以與第一指令消息有關地產生。

12.在根據(jù)第1至第11項中至少一項所述的方法中，第一候選對象的有效期規(guī)定可以與分配給第一傳感器裝置的模態(tài)有關地產生，傳感器裝置采集傳感器數(shù)據(jù)，第一傳感器數(shù)據(jù)分析裝置基于傳感器數(shù)據(jù)產生第一指令消息。

13.在根據(jù)第3至第12項中至少一項所述的方法中，第一候選對象的權重可以與第一指令消息有關地產生。

14.在根據(jù)第3至第13項中至少一項所述的方法中，第一候選對象的權重可以與分配給第一傳感器裝置的模態(tài)有關地產生，傳感器裝置采集傳感器數(shù)據(jù)，第一傳感器數(shù)據(jù)分析裝置基于傳感器數(shù)據(jù)產生第一指令消息。

15.在根據(jù)第1至第14項中至少一項所述的方法中，接收到的指令消息可以包括傳感器裝置參數(shù)，傳感器裝置參數(shù)描述提供了傳感器數(shù)據(jù)的傳感器裝置，傳感器數(shù)據(jù)分析裝置基于傳感器數(shù)據(jù)產生指令消息。

16.在根據(jù)第1至第15項中至少一項所述的方法中，接收到的指令消息可以包括應用參數(shù)，應用參數(shù)指定被配置或者設置為執(zhí)行指令的一個或更多個應用。

17.在根據(jù)第1至第16項中至少一項所述的方法中，接收到的指令消息可以包括采集時間參數(shù)，采集時間參數(shù)指定在傳感器裝置側采集傳感器數(shù)據(jù)的采集時間區(qū)間，傳感器數(shù)據(jù)分析裝置基于傳感器數(shù)據(jù)產生指令消息。

18.在根據(jù)第1至第17項中至少一項所述的方法中，接收到的指令消息可以包括識別時間參數(shù)，識別時間參數(shù)指定識別時間點，在該識別時間點，傳感器數(shù)據(jù)分析裝置從在傳感器裝置側接收到的傳感器數(shù)據(jù)中識別出在指令消息中描述的指令。

19.在根據(jù)第17或第18項所述的方法中，候選對象的有效期規(guī)定可以與采集時間參數(shù)有關地確定。

20.在根據(jù)第17至第19項所述的方法中，候選對象的有效期規(guī)定可以與識別時間參數(shù)有關地確定。

21.在根據(jù)第1至第20項中至少一項所述的方法中，接收到的指令消息可以包括置信參數(shù)，置信參數(shù)指定，傳感器數(shù)據(jù)分析裝置有多可靠地從在傳感器裝置側接收到的傳感器數(shù)據(jù)中識別出在指令消息中描述的指令。

22.在根據(jù)第21項所述的方法中，候選對象的權重可以與置信參數(shù)有關地確定。

23.在根據(jù)第1至第22項中至少一項所述的方法中，可以將采集傳感器數(shù)據(jù)的第一傳感器裝置與第一模態(tài)相關聯(lián)，第一傳感器數(shù)據(jù)分析裝置基于所采集的傳感器數(shù)據(jù)產生第一指令消息，第一模態(tài)與第二模態(tài)不同，第二模態(tài)與采集傳感器數(shù)據(jù)的第二傳感器裝置相關聯(lián)，第二傳感器數(shù)據(jù)分析裝置基于所采集的傳感器數(shù)據(jù)產生第二指令消息。

24.根據(jù)第1至第23項中至少一項所述的方法對于直至有效時間到期未被消除的每個候選對象可以包括如下的其它步驟：

-向與合并單元耦合的應用轉發(fā)由候選對象描述的指令，該應用適合于或者專門用于執(zhí)行該指令。

25.在根據(jù)第1至第24項中至少一項所述的方法中，候選對象還可以包括合并參數(shù)，合并參數(shù)給出是否提供候選對象，以進行潛在的與其它候選對象的合并，如果是，在什么時間點提供候選對象，以進行潛在的與其它候選對象的合并。

26.在根據(jù)第25項所述的方法中，合并參數(shù)可以給出，直接向適合于或者專門用于執(zhí)行指令的、與合并單元耦合的應用，轉發(fā)由候選對象描述的指令。

27.在根據(jù)第26項所述的方法中，合并參數(shù)還可以給出，在轉發(fā)由候選對象描述的指令之后，提供候選對象用于進行潛在的與其它這些候選對象的合并，所述其它候選對象描述與由候選對象描述的指令沖突的其它指令。

28.在根據(jù)第26項所述的方法中，合并參數(shù)還可以給出，在轉發(fā)由候選對象描述的指令之后，不提供候選對象用于進行潛在的與其它候選對象的合并。

29.在根據(jù)第25項所述的方法中，合并參數(shù)可以給出，在候選對象的有效時間到期之后，向與合并單元耦合的應用轉發(fā)由候選對象描述的指令，該應用適合于或者專門用于執(zhí)行指令，并且在第一候選對象的有效時間到期之前，提供第一候選對象，以進行潛在的與描述其它指令的其它候選對象的合并，該其它指令與由候選對象描述的指令沖突。

30.在根據(jù)第1至第29項中至少一項所述的方法中，傳感器裝置和傳感器數(shù)據(jù)分析裝置之間的用于傳輸由傳感器裝置采集的傳感器數(shù)據(jù)的通信，或者傳感器數(shù)據(jù)分析裝置和合并單元之間的用于傳輸指令消息的通信，或者合并單元和與合并單元耦合的應用之間的用于轉發(fā)指令的通信，可以經由插座進行。

31.在根據(jù)第1至第30項中至少一項所述的方法中，可以以JSON數(shù)據(jù)格式對指令消息進行編碼。

32.根據(jù)第1至第31項中至少一項所述的方法可以包括接收第一指令消息之前的如下其它步驟：

-第一傳感器裝置以傳感器數(shù)據(jù)的形式采集由用戶輸入的第一輸入信號；

-第一傳感器數(shù)據(jù)分析裝置接收來自第一傳感器裝置的傳感器數(shù)據(jù)，并且識別針對能與合并單元耦合的應用的指令；

-第一傳感器數(shù)據(jù)分析裝置產生第一指令消息；以及

-向合并單元轉發(fā)第一指令消息。

33.一種用于處理多模輸入信號的系統(tǒng)的合并單元可以被配置用于，

-至少一個傳感器數(shù)據(jù)分析裝置接收相應地描述指令的指令消息，所述指令能夠在能與所述合并單元耦合的應用側執(zhí)行；

-對于指令消息中的至少兩個，分別產生用于指令消息的候選對象，其中，所述候選對象分別描述所述指令并且分別包括所述候選對象的有效期規(guī)定，

-如果候選對象中的兩個的有效期規(guī)定給出重疊的有效期，則將這兩個候選對象合并；以及

-向所述應用轉發(fā)指令，該指令通過由合并步驟產生的候選對象描述。

34.根據(jù)第33項所述的合并單元可以被配置并且確定用于執(zhí)行根據(jù)第2至第32項中的至少一項所述的方法。