本發(fā)明涉及計(jì)算機(jī)，具體而言，涉及一種肢體偏癱語(yǔ)言障礙交互機(jī)器人。

背景技術(shù)：

1、目前，通常具有肢體偏癱有語(yǔ)言的用戶在進(jìn)行交流時(shí)，會(huì)出現(xiàn)說(shuō)不出完整一句話，或者一句話之間字的發(fā)音比較含糊，不夠準(zhǔn)確。或者因?yàn)闊o(wú)法說(shuō)出完整的一段話，話之間存在停頓，和進(jìn)行連續(xù)的重復(fù)的單詞。因此造成了語(yǔ)義識(shí)別困難的情況。難以肢體偏癱有語(yǔ)言的用戶的語(yǔ)音進(jìn)行準(zhǔn)確的識(shí)別。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供了一種肢體偏癱語(yǔ)言障礙交互機(jī)器人，用以解決現(xiàn)有技術(shù)中存在的上述問(wèn)題。

2、本發(fā)明實(shí)施例提供了一種肢體偏癱語(yǔ)言障礙交互機(jī)器人，包括處理器；

3、所述處理器用于執(zhí)行下述步驟：

4、獲得語(yǔ)音信號(hào)和語(yǔ)音傅里葉圖像；所述語(yǔ)言信號(hào)為聲音接收設(shè)備接收的具有語(yǔ)言障礙的語(yǔ)音；所述語(yǔ)音傅里葉圖像表示語(yǔ)音信號(hào)轉(zhuǎn)化為的傅里葉圖像；

5、基于所述語(yǔ)音傅里葉圖像，檢測(cè)語(yǔ)音信號(hào)中對(duì)應(yīng)的發(fā)音，找到相似的發(fā)音，得到多個(gè)發(fā)音集合和對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)；一個(gè)發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)一個(gè)發(fā)音集合；所述發(fā)音集合中為相似的發(fā)音；

6、基于所述語(yǔ)音傅里葉圖像、多個(gè)發(fā)音集合和對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)，預(yù)測(cè)缺失的字，得到預(yù)測(cè)字矩陣和檢測(cè)字矩陣；

7、通過(guò)重復(fù)單詞識(shí)別網(wǎng)絡(luò)，基于多個(gè)發(fā)音集合和檢測(cè)字矩陣，檢測(cè)語(yǔ)音信號(hào)中為重復(fù)的單詞或發(fā)音相同但含義不同的單詞，得到原始匹配字矩陣；所述原始匹配字矩陣表示構(gòu)成一個(gè)語(yǔ)音的多個(gè)字；

8、根據(jù)所述預(yù)測(cè)字矩陣和所述原始匹配字矩陣，判斷是否加入預(yù)測(cè)單詞，進(jìn)行預(yù)測(cè)語(yǔ)句含義，得到預(yù)測(cè)語(yǔ)句；

9、將所述預(yù)測(cè)語(yǔ)句轉(zhuǎn)化為播放語(yǔ)音信號(hào)，發(fā)送給聲音播放設(shè)備。

10、可選的，所述重復(fù)單詞識(shí)別網(wǎng)絡(luò)包括多層神經(jīng)元；

11、每層神經(jīng)元由1個(gè)閾值結(jié)構(gòu)進(jìn)行控制；n層神經(jīng)元對(duì)應(yīng)n個(gè)閾值結(jié)構(gòu)；

12、每層神經(jīng)元與其他的所有層神經(jīng)元分別進(jìn)行全連接。

13、可選的，所述通過(guò)重復(fù)單詞識(shí)別網(wǎng)絡(luò)，基于多個(gè)發(fā)音集合和檢測(cè)字矩陣，檢測(cè)語(yǔ)音信號(hào)中為重復(fù)的單詞或發(fā)音相同但含義不同的單詞，得到原始匹配字矩陣，包括：

14、將所述檢測(cè)字矩陣按列分割，得到多個(gè)字向量；一個(gè)字向量對(duì)應(yīng)一個(gè)發(fā)音時(shí)間點(diǎn)；所述字向量中的元素表示一個(gè)發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)的發(fā)音對(duì)應(yīng)的字；

15、根據(jù)所述多個(gè)發(fā)音集合，檢測(cè)相鄰的發(fā)音時(shí)間點(diǎn)的發(fā)音集合是否為同一發(fā)音集合；

16、若相鄰的發(fā)音時(shí)間點(diǎn)的發(fā)音集合為同一發(fā)音集合，將對(duì)應(yīng)的字向量對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)填入重復(fù)發(fā)音時(shí)間集合；

17、將多個(gè)字向量中重復(fù)發(fā)音時(shí)間集合中的發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)的字向量作為重復(fù)字向量，得到重復(fù)字向量集合；所述重復(fù)字向量集合中的元素按照發(fā)音時(shí)間點(diǎn)從早到晚進(jìn)行排列；

18、將多個(gè)字向量中除重復(fù)發(fā)音時(shí)間集合中的發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)的字向量作為未重復(fù)字向量，得到未重復(fù)字向量集合；所述未重復(fù)字向量集合中的元素按照發(fā)音時(shí)間點(diǎn)從早到晚進(jìn)行排列；

19、基于所述重復(fù)發(fā)音時(shí)間集合、重復(fù)字向量集合和未重復(fù)字向量集合，通過(guò)重復(fù)單詞識(shí)別網(wǎng)絡(luò)，得到原始匹配字矩陣。

20、可選的，所述基于所述重復(fù)發(fā)音時(shí)間集合、重復(fù)字向量集合和未重復(fù)字向量集合，通過(guò)重復(fù)單詞識(shí)別網(wǎng)絡(luò)，得到原始匹配字矩陣，包括：

21、將未重復(fù)字向量集合中的全部未重復(fù)字向量對(duì)應(yīng)的閾值結(jié)構(gòu)中的值設(shè)為1；所述閾值結(jié)構(gòu)中的值為1表示僅保留相鄰的字向量對(duì)應(yīng)層的神經(jīng)元進(jìn)行全連接的參數(shù)；

22、根據(jù)所述重復(fù)發(fā)音時(shí)間集合中的發(fā)音時(shí)間點(diǎn)的數(shù)量作為重復(fù)數(shù)量；

23、將0到所述重復(fù)數(shù)量加1之和之間的自然數(shù)從大到小依次排列，得到重復(fù)數(shù)值集合；

24、將所述重復(fù)字向量集合中的一個(gè)重復(fù)字向量作為下標(biāo)重復(fù)字向量；

25、將所述重復(fù)數(shù)值集合中與下標(biāo)重復(fù)字向量的下標(biāo)相等的值作為下標(biāo)重復(fù)數(shù)值；

26、將所述下標(biāo)重復(fù)數(shù)值放入下標(biāo)重復(fù)字向量對(duì)應(yīng)閾值結(jié)構(gòu)中；

27、將0到所述閾值結(jié)構(gòu)中的值加1之和之間的自然數(shù)從大到小依次排列，得到連接層數(shù)集合；所述連接層數(shù)集合中的元素表示下標(biāo)重復(fù)字向量進(jìn)行全連接的神經(jīng)元的層數(shù)與下標(biāo)重復(fù)字向量對(duì)應(yīng)的神經(jīng)元的層數(shù)之差；

28、將連接層數(shù)集合中的一個(gè)元素對(duì)應(yīng)的神經(jīng)元與下標(biāo)重復(fù)字向量對(duì)應(yīng)的神經(jīng)元全連接的參數(shù)進(jìn)行保留；

29、連接層數(shù)集合中的多個(gè)元素對(duì)應(yīng)獲得多個(gè)不同參數(shù)的重復(fù)單詞識(shí)別網(wǎng)絡(luò)；

30、基于所述多個(gè)不同參數(shù)的重復(fù)單詞識(shí)別網(wǎng)絡(luò)和多個(gè)字向量，得到原始匹配字矩陣。

31、可選的，所述基于所述多個(gè)不同參數(shù)的重復(fù)單詞識(shí)別網(wǎng)絡(luò)和多個(gè)字向量，得到原始匹配字矩陣，包括：

32、將所述多個(gè)字向量輸入重復(fù)單詞識(shí)別網(wǎng)絡(luò)，得到匹配判斷值；多個(gè)不同參數(shù)的重復(fù)單詞識(shí)別網(wǎng)絡(luò)對(duì)應(yīng)獲得多個(gè)匹配判斷值；

33、將多個(gè)匹配判斷值中大于其他匹配判斷值的值作為預(yù)測(cè)矩陣值；

34、將預(yù)測(cè)矩陣值中對(duì)應(yīng)的重復(fù)單詞識(shí)別網(wǎng)絡(luò)對(duì)應(yīng)的字向量，按照時(shí)間順序由早到晚順序進(jìn)行排列，得到原始匹配字矩陣。

35、可選的，所述基于所述語(yǔ)音傅里葉圖像、多個(gè)發(fā)音集合和對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)，預(yù)測(cè)缺失的字，得到預(yù)測(cè)字矩陣和檢測(cè)字矩陣，包括：

36、根據(jù)所述發(fā)音集合，找到每個(gè)發(fā)音對(duì)應(yīng)的字，得到字集合；多個(gè)發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)獲得多個(gè)字集合；

37、按照所述發(fā)音時(shí)間點(diǎn)由早到晚，將對(duì)應(yīng)的字集合進(jìn)行排列后依次填入二維矩陣，得到檢測(cè)字矩陣；所述檢測(cè)字矩陣的行表示對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)；所述檢測(cè)字矩陣的列表示一個(gè)發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)的字集合；

38、基于所述語(yǔ)音傅里葉圖像和檢測(cè)字矩陣，得到空白字矩陣和空白發(fā)音時(shí)間點(diǎn)；所述空白字矩陣中的空白發(fā)音對(duì)應(yīng)的列的元素為0；

39、將所述空白字矩陣中與空白發(fā)音時(shí)間點(diǎn)相鄰的發(fā)音時(shí)間點(diǎn)作為預(yù)測(cè)空白發(fā)音時(shí)間點(diǎn)；

40、將所述空白字矩陣中預(yù)測(cè)空白發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)的字進(jìn)行詞匹配，得到多個(gè)匹配詞；

41、根據(jù)所述匹配詞中字的位置，得到預(yù)測(cè)空白字和匹配時(shí)間點(diǎn)；所述預(yù)測(cè)空白字表示所述匹配詞中除預(yù)測(cè)空白發(fā)音時(shí)間點(diǎn)中的字的字；所述匹配時(shí)間點(diǎn)表示預(yù)測(cè)空白字對(duì)應(yīng)的空白發(fā)音時(shí)間點(diǎn)；一個(gè)空白發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)多個(gè)預(yù)測(cè)空白字；

42、在空白字矩陣中填入匹配時(shí)間點(diǎn)對(duì)應(yīng)的預(yù)測(cè)空白字，得到預(yù)測(cè)字矩陣。

43、可選的，所述基于所述語(yǔ)音傅里葉圖像和檢測(cè)字矩陣，得到空白字矩陣和空白發(fā)音時(shí)間點(diǎn)，包括：

44、將所述語(yǔ)音傅里葉圖像中未存在用戶語(yǔ)音的位置作為空白發(fā)音，得到空白發(fā)音時(shí)間點(diǎn)；

45、獲得空白向量；所述空白向量為與檢測(cè)字矩陣的列數(shù)相同，且元素的值全部為0的列向量；

46、根據(jù)所述空白發(fā)音時(shí)間點(diǎn)與檢測(cè)字矩陣對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)的時(shí)間順序，在檢測(cè)字矩陣中插入空白向量，得到空白字矩陣。

47、可選的，所述根據(jù)所述預(yù)測(cè)字矩陣和所述原始匹配字矩陣，判斷是否加入預(yù)測(cè)單詞，進(jìn)行預(yù)測(cè)語(yǔ)句含義，得到預(yù)測(cè)語(yǔ)句，包括：

48、將所述預(yù)測(cè)字矩陣中多列的字和原始匹配字矩陣中多列的字分別進(jìn)行匹配，得到多條匹配語(yǔ)句；

49、將所述匹配語(yǔ)句輸入時(shí)間卷積網(wǎng)絡(luò)，預(yù)測(cè)語(yǔ)句的通順性，得到預(yù)測(cè)語(yǔ)句值；

50、將所述預(yù)測(cè)語(yǔ)句值大于其他預(yù)測(cè)語(yǔ)句值的匹配語(yǔ)句作為預(yù)測(cè)語(yǔ)句。

51、可選的，所述基于所述語(yǔ)音傅里葉圖像，檢測(cè)語(yǔ)音信號(hào)中對(duì)應(yīng)的發(fā)音，找到相似的發(fā)音，得到多個(gè)發(fā)音集合和對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)，包括：

52、獲得多個(gè)已構(gòu)建發(fā)音集合；已構(gòu)建發(fā)音集合包含多個(gè)相近的發(fā)音；所述發(fā)音表示一個(gè)字對(duì)應(yīng)的發(fā)音；

53、獲得發(fā)音時(shí)間窗口；所述發(fā)音時(shí)間窗口表示一個(gè)發(fā)音對(duì)應(yīng)的長(zhǎng)度；

54、將所述語(yǔ)音傅里葉圖像中發(fā)音時(shí)間窗口對(duì)應(yīng)區(qū)域進(jìn)行檢測(cè)，得到檢測(cè)發(fā)音；

55、根據(jù)所述檢測(cè)發(fā)音找到對(duì)應(yīng)的已構(gòu)建發(fā)音集合作為發(fā)音集合；

56、多個(gè)發(fā)音時(shí)間窗口對(duì)應(yīng)獲得多個(gè)發(fā)音集合；

57、將發(fā)音時(shí)間窗口對(duì)應(yīng)的時(shí)間段的起始的時(shí)間點(diǎn)作為發(fā)音時(shí)間點(diǎn)。

58、可選的，所述聲音播放設(shè)備用于播放語(yǔ)音。

59、相較于現(xiàn)有技術(shù)，本發(fā)明實(shí)施例達(dá)到了以下有益效果：

60、本發(fā)明實(shí)施例還提供了一種肢體偏癱語(yǔ)言障礙交互機(jī)器人，包括處理器；所述處理器用于下述步驟：獲得語(yǔ)音信號(hào)和語(yǔ)音傅里葉圖像；所述語(yǔ)言信號(hào)為聲音接收設(shè)備接收的具有語(yǔ)言障礙的語(yǔ)音；所述語(yǔ)音傅里葉圖像表示語(yǔ)音信號(hào)轉(zhuǎn)化為的傅里葉圖像；基于所述語(yǔ)音傅里葉圖像，檢測(cè)語(yǔ)音信號(hào)中對(duì)應(yīng)的發(fā)音，找到相似的發(fā)音，得到多個(gè)發(fā)音集合和對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)；一個(gè)發(fā)音時(shí)間點(diǎn)對(duì)應(yīng)一個(gè)發(fā)音集合；所述發(fā)音集合中為相似的發(fā)音；基于所述語(yǔ)音傅里葉圖像、多個(gè)發(fā)音集合和對(duì)應(yīng)的發(fā)音時(shí)間點(diǎn)，預(yù)測(cè)缺失的字，得到預(yù)測(cè)字矩陣和檢測(cè)字矩陣；通過(guò)重復(fù)單詞識(shí)別網(wǎng)絡(luò)，基于多個(gè)發(fā)音集合和檢測(cè)字矩陣，檢測(cè)語(yǔ)音信號(hào)中為重復(fù)的單詞或發(fā)音相同但含義不同的單詞，得到原始匹配字矩陣；所述原始匹配字矩陣表示構(gòu)成一個(gè)語(yǔ)音的多個(gè)字；根據(jù)所述預(yù)測(cè)字矩陣和所述原始匹配字矩陣，判斷是否加入預(yù)測(cè)單詞，進(jìn)行預(yù)測(cè)語(yǔ)句含義，得到預(yù)測(cè)語(yǔ)句；將所述預(yù)測(cè)語(yǔ)句轉(zhuǎn)化為播放語(yǔ)音信號(hào)，發(fā)送給聲音播放設(shè)備。

61、本發(fā)明，進(jìn)行發(fā)音、找到對(duì)應(yīng)的單詞、和建立一個(gè)相鄰發(fā)音關(guān)系，找到相似的發(fā)音的單詞，從而預(yù)防用戶想說(shuō)一個(gè)字但是模糊發(fā)音的情況。將這些字做一個(gè)匹配，通過(guò)預(yù)測(cè)空白停頓的字，來(lái)達(dá)到防止用戶發(fā)音弱或因身體原因吞發(fā)音的情況，從而預(yù)測(cè)缺失一段話中的部分。并根據(jù)重復(fù)單詞識(shí)別網(wǎng)絡(luò)跳過(guò)重復(fù)說(shuō)話的字。重復(fù)單詞識(shí)別網(wǎng)絡(luò)采用修改閾值結(jié)構(gòu)中的參數(shù)，使得訓(xùn)練一個(gè)重復(fù)單詞識(shí)別網(wǎng)絡(luò)，通過(guò)保留不同網(wǎng)絡(luò)上的參數(shù)，從而達(dá)到相當(dāng)于設(shè)置不同結(jié)構(gòu)的網(wǎng)絡(luò)的目的。并且通過(guò)跳過(guò)重復(fù)的字的輸入神經(jīng)網(wǎng)絡(luò)的特征和預(yù)測(cè)了，來(lái)判斷語(yǔ)句更好的匹配方式。從而達(dá)到了更加準(zhǔn)確的預(yù)測(cè)具有肢體偏癱有語(yǔ)言的用戶的語(yǔ)音的技術(shù)效果。

62、圖1是本發(fā)明實(shí)施例提供的一種肢體偏癱語(yǔ)言障礙交互機(jī)器人的方法流程圖。

63、圖2是本發(fā)明實(shí)施例提供的一種肢體偏癱語(yǔ)言障礙交互機(jī)器人中的重復(fù)單詞識(shí)別網(wǎng)絡(luò)的部分結(jié)構(gòu)示意圖。