本公開(kāi)涉及一種用于根據(jù)用戶語(yǔ)音推薦表情的方法和系統(tǒng)。

背景技術(shù)：

隨著人工智能、自動(dòng)控制、通信和計(jì)算機(jī)技術(shù)的快速發(fā)展，語(yǔ)音文字轉(zhuǎn)換技術(shù)被越來(lái)越多地應(yīng)用于各種場(chǎng)合，例如，社交軟件，會(huì)議記錄等。

然而，現(xiàn)有的語(yǔ)音文字轉(zhuǎn)換技術(shù)往往僅單一性地將語(yǔ)音轉(zhuǎn)換為枯燥的文字，無(wú)法真實(shí)地反映說(shuō)話者的語(yǔ)氣和心情，導(dǎo)致文字信息的接收者無(wú)法真正體會(huì)說(shuō)話者的用意，使得用戶間的交流豐富性和生動(dòng)性較差。

技術(shù)實(shí)現(xiàn)要素：

本公開(kāi)的一個(gè)方面提供了一種語(yǔ)音文字轉(zhuǎn)換用于根據(jù)用戶語(yǔ)音推薦表情的方法，所述方法可以包括：接收用戶語(yǔ)音；通過(guò)對(duì)接收到的用戶語(yǔ)音執(zhí)行情感分析，確定用戶心情；獲取與所述用戶心情相匹配的表情信息；以及基于所述表情信息輸出提示信息。

可選地，所述獲取與所述用戶心情相匹配的表情信息可以包括：從預(yù)先存儲(chǔ)的內(nèi)容庫(kù)中查找與所述用戶心情相匹配的表情信息。

可選地，所述獲取與所述用戶心情相匹配的表情信息可以包括：拍攝用戶圖像；以及基于所述用戶圖像獲取表情信息。

可選地，所述基于所述用戶圖像獲取表情信息可以進(jìn)一步包括：根據(jù)所述用戶心情，對(duì)所述用戶圖像進(jìn)行圖像處理；以及選擇經(jīng)過(guò)圖像處理的用戶圖像作為表情信息。

可選地，在輸出提示信息之后，所述方法還可以包括：基于接收的輸入操作，發(fā)送表情信息。

本公開(kāi)的另一方面提供了一種用于根據(jù)用戶語(yǔ)音推薦表情的語(yǔ)音文字轉(zhuǎn)換系統(tǒng)，所述系統(tǒng)可以包括：輸入/輸出接口，用于接收/發(fā)送信息；存儲(chǔ)器，配置為存儲(chǔ)可執(zhí)行指令；處理器，與所述存儲(chǔ)器相連，并配置為執(zhí)行存儲(chǔ)器中存儲(chǔ)的可執(zhí)行指令，以執(zhí)行如下操作：在通過(guò)輸入/輸出接口接收到用戶語(yǔ)音時(shí)，通過(guò)對(duì)接收到的用戶語(yǔ)音執(zhí)行情感分析，確定用戶心情；獲取與所述用戶心情相匹配的表情信息；以及基于所述表情信息，通過(guò)輸入/輸出接口輸出提示信息。

可選地，所述存儲(chǔ)器可以進(jìn)一步配置為存儲(chǔ)內(nèi)容庫(kù)，且所述處理器進(jìn)一步配置為：從所述內(nèi)容庫(kù)中查找與所述用戶心情相匹配的表情信息。

可選地，所述系統(tǒng)還可以包括攝像機(jī)，配置為拍攝用戶圖像；且所述處理器進(jìn)一步配置為：控制所述攝像機(jī)拍攝用戶圖像；以及基于所述用戶圖像獲取表情信息。

可選地，所述處理器可以進(jìn)一步配置為：根據(jù)所述用戶心情，對(duì)所述用戶圖像進(jìn)行圖像處理；以及選擇經(jīng)過(guò)圖像處理的用戶圖像作為表情信息。

可選地，所述處理器可以進(jìn)一步配置為：在輸出提示信息之后，基于接收的輸入操作，通過(guò)輸入/輸出接口發(fā)送表情信息。

本公開(kāi)的另一方面提供了一種非易失性存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。

本公開(kāi)的另一方面提供了一種計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。

附圖說(shuō)明

為了更完整地理解本公開(kāi)及其優(yōu)勢(shì)，現(xiàn)在將參考結(jié)合附圖的以下描述，其中：

圖1示意性示出了根據(jù)本公開(kāi)的實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情的方法的流程圖；

圖2示出了根據(jù)本公開(kāi)示例實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情信息的方法的一種具體實(shí)現(xiàn)方式；

圖3示出了根據(jù)本公開(kāi)示例實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情信息的方法的另一種具體實(shí)現(xiàn)方式；

圖4示出了根據(jù)本公開(kāi)示例實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情信息的方法的又一種具體實(shí)現(xiàn)方式；以及

圖5示意性示出了根據(jù)本公開(kāi)的實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情的系統(tǒng)的示例硬件布置。

具體實(shí)施方式

根據(jù)結(jié)合附圖對(duì)本公開(kāi)示例性實(shí)施例的以下詳細(xì)描述，本公開(kāi)的其它方面、優(yōu)勢(shì)和突出特征對(duì)于本領(lǐng)域技術(shù)人員將變得顯而易見(jiàn)。

在本公開(kāi)中，術(shù)語(yǔ)“包括”和“含有”及其派生詞意為包括而非限制；術(shù)語(yǔ)“或”是包含性的，意為和/或。

在本說(shuō)明書(shū)中，下述用于描述本公開(kāi)原理的各種實(shí)施例只是說(shuō)明，不應(yīng)該以任何方式解釋為限制公開(kāi)的范圍。參照附圖的下述描述用于幫助全面理解由權(quán)利要求及其等同物限定的本公開(kāi)的示例性實(shí)施例。下述描述包括多種具體細(xì)節(jié)來(lái)幫助理解，但這些細(xì)節(jié)應(yīng)認(rèn)為僅僅是示例性的。因此，本領(lǐng)域普通技術(shù)人員應(yīng)認(rèn)識(shí)到，在不背離本公開(kāi)的范圍和精神的情況下，可以對(duì)本文中描述的實(shí)施例進(jìn)行多種改變和修改。此外，為了清楚和簡(jiǎn)潔起見(jiàn)，省略了公知功能和結(jié)構(gòu)的描述。此外，貫穿附圖，相同參考數(shù)字用于相似功能和操作。

本公開(kāi)的實(shí)施例提供了一種用于根據(jù)用戶語(yǔ)音推薦表情的方法和系統(tǒng)。該方法能夠根據(jù)用戶語(yǔ)音中所包括的語(yǔ)義、語(yǔ)氣等信息來(lái)確定用戶心情，并基于所確定的用戶心情推薦與之相匹配的表情，從而使用戶間的交流更加豐富和生動(dòng)。

圖1示意性示出了根據(jù)本公開(kāi)的實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情的方法100的流程圖。

如圖1所示，所述方法100可以包括：在步驟S110，接收用戶語(yǔ)音。例如，當(dāng)用戶發(fā)出諸如“我很喜歡你送我的禮物”的語(yǔ)音信息時(shí)，所述方法可以首先經(jīng)由諸如麥克風(fēng)的輸入單元接收用戶語(yǔ)音。

接著，在步驟S120，通過(guò)對(duì)接收到的用戶語(yǔ)音執(zhí)行情感分析，確定用戶心情。具體地，通過(guò)對(duì)接收到的用戶語(yǔ)音進(jìn)行語(yǔ)音識(shí)別、語(yǔ)義、語(yǔ)氣等方面的識(shí)別，來(lái)確定說(shuō)話者的心情是平靜、開(kāi)心、疑問(wèn)、難過(guò)還是氣憤等?？梢曰诰淞x分析、重音分析、句式分析以及停頓分析等技術(shù)，來(lái)確定用戶心情。例如，通過(guò)使用上述技術(shù)之一，可以確定發(fā)出“我很喜歡你送我的禮物”的語(yǔ)音信息的用戶的當(dāng)前心情對(duì)應(yīng)于開(kāi)心。

隨后，在步驟S130，獲取與所述用戶心情相匹配的表情信息。也就是說(shuō)，在上述情況下，響應(yīng)于確定用戶的當(dāng)前心情對(duì)應(yīng)于開(kāi)心，所述方法100獲取與開(kāi)心相匹配的表情信息。所述表情信息可以是符號(hào)、圖片、動(dòng)畫(huà)等形式的信息。

最終，在步驟S140，基于所述表情信息輸出提示信息。所述提示信息可以包括該表情信息的預(yù)覽圖和縮略圖以及關(guān)于該表情信息的文字信息等。例如，在處理器獲取與用戶心情相匹配的表情信息之后，可以經(jīng)由輸出單元輸出關(guān)于所述表情信息的提示信息。

圖2示出了根據(jù)本公開(kāi)示例實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情信息的方法的一種具體實(shí)現(xiàn)方式。

具體地，在該實(shí)現(xiàn)方式中，首先在步驟S210，接收用戶語(yǔ)音。其次，在步驟S220，通過(guò)對(duì)接收到的用戶語(yǔ)音執(zhí)行情感分析，確定用戶心情。然后，在步驟S230，從預(yù)先存儲(chǔ)的內(nèi)容庫(kù)中查找與所述用戶心情相匹配的表情信息。所述內(nèi)容庫(kù)可以預(yù)先存儲(chǔ)在存儲(chǔ)器或存儲(chǔ)單元中，使得處理器可以通過(guò)訪問(wèn)所述存儲(chǔ)器或存儲(chǔ)單元并從中查找與所確定的用戶心情相匹配的表情信息，例如，與“開(kāi)心”的用戶心情相匹配的表情信息。最后，在步驟240，響應(yīng)于查找到與所確定的用戶心情相匹配的表情信息，輸出關(guān)于所述表情信息的提示信息，例如，該表情信息的預(yù)覽圖，以供用戶確認(rèn)是否選用所述表情信息。

圖3示出了根據(jù)本公開(kāi)示例實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情信息的方法的另一種具體實(shí)現(xiàn)方式。

在圖3所示的實(shí)現(xiàn)方式中，當(dāng)根據(jù)用戶語(yǔ)音推薦表情信息時(shí)，所執(zhí)行的方法與圖2所示方法類(lèi)似，不同之處在于可以通過(guò)以下操作來(lái)獲取與所述用戶心情相匹配的表情信息：拍攝用戶圖像；以及基于所述用戶圖像獲取表情信息。也就是說(shuō)，執(zhí)行上述方法的系統(tǒng)可以通過(guò)附加地包括諸如內(nèi)部或外部攝像機(jī)的攝像單元，以拍攝用戶圖像。當(dāng)用戶發(fā)出所述用戶語(yǔ)音時(shí)，所述方法可以控制所述攝像機(jī)拍攝發(fā)出用戶語(yǔ)音的用戶的用戶圖像，并基于所述用戶圖像獲取表情信息。具體地，在基于所述用戶圖像獲取表情信息的過(guò)程中，可以根據(jù)所確定的用戶心情，對(duì)所述用戶圖像進(jìn)行圖像處理；以及選擇經(jīng)過(guò)圖像處理的用戶圖像作為表情信息。例如，可以根據(jù)所確定的用戶心情，對(duì)說(shuō)話者的用戶圖像進(jìn)行圖像處理，從而形成能夠表現(xiàn)說(shuō)話者心情的夸張化圖片作為表情信息。備選地，還可以將所獲取的表情信息存儲(chǔ)在內(nèi)容庫(kù)中，以便將來(lái)使用。

應(yīng)當(dāng)認(rèn)識(shí)到，除了上述兩種方式之外，還可以使用其他方式來(lái)獲取與所述用戶心情相匹配的表情信息。圖4示出了根據(jù)本公開(kāi)示例實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情信息的方法的又一種具體實(shí)現(xiàn)方式。具體地，可以通過(guò)將上述兩種方式相結(jié)合，來(lái)獲取與所述用戶心情相匹配的表情信息。作為一個(gè)示例，可以響應(yīng)于從內(nèi)容庫(kù)中查找不到與所確定的用戶心情相匹配的表情信息(S431-否)，執(zhí)行通過(guò)攝像機(jī)拍攝用戶圖像來(lái)獲取表情信息的方案(S432)。圖4中的其他步驟與圖2和3所述的步驟相同，因此將省略對(duì)其的贅述。此外，作為另一示例，可以同時(shí)執(zhí)行多種獲取表情信息的方案，并輸出用于提示存在多個(gè)表情信息并提醒用戶選擇所期望的表情信息的提示消息。

附加地，在一個(gè)實(shí)施例中，以上結(jié)合圖1-4描述的用于根據(jù)用戶語(yǔ)音推薦表情信息的方法還可以包括：基于接收的輸入操作，發(fā)送表情信息。也就是說(shuō)，當(dāng)接收到用戶對(duì)所述提示信息的肯定應(yīng)答信息時(shí)，發(fā)送表情信息。例如，在提示信息是針對(duì)表情信息的縮略圖的情況下，當(dāng)用戶查看所述縮略圖并點(diǎn)擊確認(rèn)發(fā)送的按鈕時(shí)，發(fā)送所述表情信息。

在另一實(shí)施例中，所述方法還可以附加地包括：將所述用戶語(yǔ)音轉(zhuǎn)換為文字信息；以及發(fā)送所述文字信息。具體地，可以通過(guò)使用語(yǔ)音文字轉(zhuǎn)換技術(shù)將接收到的用戶語(yǔ)音轉(zhuǎn)換為文字信息并發(fā)送。備選地，可以向轉(zhuǎn)換后的文字信息添加根據(jù)上述方法推薦的表情信息，并發(fā)送結(jié)合后的信息，以便更生動(dòng)地表現(xiàn)說(shuō)話者的心情。

圖5示意性示出了根據(jù)本公開(kāi)的實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情的系統(tǒng)500的示例硬件布置。

具體地，如圖5所示，系統(tǒng)500包括輸入接口502、輸出接口504、存儲(chǔ)器510和處理器520。

系統(tǒng)500可以包括用于從其他實(shí)體接收信號(hào)的輸入接口502、以及用于向其他實(shí)體提供信號(hào)的輸出接口504。輸入接口502和輸出接口504可以被布置為單一實(shí)體或者是分離的實(shí)體。所述輸入/輸出接口可以用于接收/發(fā)送信息。例如，在本公開(kāi)的示例實(shí)施例中，輸入接口502可以是用于接收用戶語(yǔ)音的音頻接口，且輸出接口504可以是用于輸出表情信息的顯示器接口。

存儲(chǔ)器510可以包括各種形式的存儲(chǔ)器，如非易失性或易失性存儲(chǔ)器。例如，存儲(chǔ)器可以是電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存、和/或硬盤(pán)驅(qū)動(dòng)器。存儲(chǔ)器510可以包括計(jì)算機(jī)程序511，該計(jì)算機(jī)程序511包括代碼/計(jì)算機(jī)可讀指令，其在由系統(tǒng)500中的處理器520執(zhí)行時(shí)使得系統(tǒng)500和/或包括系統(tǒng)500在內(nèi)的設(shè)備可以執(zhí)行例如本公開(kāi)所描述的用于根據(jù)用戶語(yǔ)音推薦表情的方法及其任何變形。此外，計(jì)算機(jī)程序511可被配置為具有例如計(jì)算機(jī)程序模塊511A～511D架構(gòu)的計(jì)算機(jī)程序代碼。例如，可以將計(jì)算機(jī)程序模塊511A配置為接收用戶語(yǔ)音；將計(jì)算機(jī)程序模塊511B配置為通過(guò)對(duì)接收到的用戶語(yǔ)音執(zhí)行情感分析，確定用戶心情；將計(jì)算機(jī)程序模塊511C配置為獲取與所述用戶心情相匹配的表情信息；并將計(jì)算機(jī)程序模塊511D配置為基于所述表情信息輸出提示信息。

處理器520可以是用于執(zhí)行本文描述的流程的不同動(dòng)作的單一處理單元或者是多個(gè)處理單元。處理器520通過(guò)加載存儲(chǔ)器510上的一個(gè)或更多個(gè)指令代碼，來(lái)在通過(guò)輸入接口502接收到用戶語(yǔ)音時(shí)，通過(guò)對(duì)接收到的用戶語(yǔ)音執(zhí)行情感分析，確定用戶心情；獲取與所述用戶心情相匹配的表情信息；以及基于所述表情信息，通過(guò)輸出接口504輸出提示信息。

處理器520可以是單個(gè)中央處理單元(CPU)，但也可以包括兩個(gè)或更多個(gè)處理單元。例如，處理器520可以包括通用微處理器、指令集處理器和/或相關(guān)芯片組和/或?qū)Ｓ梦⑻幚砥?例如，專(zhuān)用集成電路(ASIC))。處理器還可以包括用于緩存用途的板載存儲(chǔ)器。計(jì)算機(jī)程序可以由連接到處理器的計(jì)算機(jī)程序產(chǎn)品來(lái)承載。計(jì)算機(jī)程序產(chǎn)品可以包括其上存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)。例如，計(jì)算機(jī)程序產(chǎn)品可以是閃存、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、EEPROM，且上述計(jì)算機(jī)程序模塊在備選實(shí)施例中可以用UE內(nèi)的存儲(chǔ)器的形式被分布到不同計(jì)算機(jī)程序產(chǎn)品中。

盡管上面結(jié)合圖5所公開(kāi)的實(shí)施例中的代碼手段被實(shí)現(xiàn)為計(jì)算機(jī)程序模塊，其在處理器520中執(zhí)行時(shí)使得系統(tǒng)500執(zhí)行根據(jù)本公開(kāi)示例實(shí)施例的用于根據(jù)用戶語(yǔ)音推薦表情的方法，然而在備選實(shí)施例中，該代碼手段中的至少一項(xiàng)可以至少被部分地實(shí)現(xiàn)為硬件電路。

因此，以上提供了一種用于根據(jù)用戶語(yǔ)音推薦表情的方法和系統(tǒng)。該方法和系統(tǒng)能夠根據(jù)用戶語(yǔ)音中所包括的語(yǔ)義、語(yǔ)氣等信息來(lái)確定用戶心情，并基于所確定的用戶心情推薦與之相匹配的表情，從而使用戶間的交流更加豐富和生動(dòng)。

此外，應(yīng)注意，根據(jù)本公開(kāi)各實(shí)施例的上述方法、裝置、單元和/或模塊可以通過(guò)有計(jì)算能力的電子設(shè)備執(zhí)行包含計(jì)算機(jī)指令的軟件來(lái)實(shí)現(xiàn)。所述有計(jì)算能力的電子設(shè)備可以包含通用處理器、數(shù)字信號(hào)處理器、專(zhuān)用處理器、可重新配置處理器等能夠執(zhí)行計(jì)算機(jī)指令的裝置，但不限于此。上述各設(shè)備和/或模塊可以在一個(gè)電子設(shè)備中實(shí)現(xiàn)，也可以在不同電子設(shè)備中實(shí)現(xiàn)。這些軟件可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。

所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是能夠包含、存儲(chǔ)、傳送、傳播或傳輸指令的任意介質(zhì)。例如，可讀存儲(chǔ)介質(zhì)可以包括但不限于電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置、器件或傳播介質(zhì)?？勺x存儲(chǔ)介質(zhì)的具體示例包括：磁存儲(chǔ)裝置，如磁帶或硬盤(pán)(HDD)；光存儲(chǔ)裝置，如光盤(pán)(CD-ROM)；存儲(chǔ)器，如隨機(jī)存取存儲(chǔ)器(RAM)或閃存；和/或有線/無(wú)線通信鏈路。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括一個(gè)或多個(gè)計(jì)算機(jī)程序，該計(jì)算機(jī)程序可以包括代碼/計(jì)算機(jī)可執(zhí)行指令，其在由處理器執(zhí)行時(shí)使得處理器執(zhí)行例如上面所描述的方法流程及其任何變形。

計(jì)算機(jī)程序可被配置為具有例如包括計(jì)算機(jī)程序模塊的計(jì)算機(jī)程序代碼。例如，在示例實(shí)施例中，計(jì)算機(jī)程序中的代碼可以包括一個(gè)或多個(gè)程序模塊。應(yīng)當(dāng)注意，模塊的劃分方式和個(gè)數(shù)并不是固定的，本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際情況使用合適的程序模塊或程序模塊組合，當(dāng)這些程序模塊組合被處理器執(zhí)行時(shí)，使得處理器可以執(zhí)行上面所描述的方法流程及其任何變形。

盡管已經(jīng)參照本公開(kāi)的特定示例性實(shí)施例示出并描述了本公開(kāi)，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，在不背離所附權(quán)利要求及其等同物限定的本公開(kāi)的精神和范圍的情況下，可以對(duì)本公開(kāi)進(jìn)行形式和細(xì)節(jié)上的多種改變。因此，本公開(kāi)的范圍不應(yīng)該限于上述實(shí)施例，而是應(yīng)該不僅由所附權(quán)利要求來(lái)進(jìn)行確定，還由所附權(quán)利要求的等同物來(lái)進(jìn)行限定。