移動終端及其控制方法
【專利摘要】公開一種移動終端及其控制方法，通過其在通過句子單元輸出與自然語言相對應(yīng)的聲音的過程中輸出匹配自然語言的意義的反饋。本發(fā)明包括：顯示單元，該顯示單元被配置成通過句子單元顯示文本；音頻輸出模塊，該音頻輸出模塊被配置成輸出從將文本轉(zhuǎn)換成聲音而產(chǎn)生的合成聲音；以及控制器，該控制器被配置成生成合成聲音，提取文本的意義，并且控制匹配文本的意義的反饋以在經(jīng)由音頻輸出模塊輸出合成聲音時被輸出。
【專利說明】移動終端及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種移動終端，并且更具體地涉及移動終端及其控制方法。雖然本發(fā)明適合于廣泛的應(yīng)用，但是它特別適用于在通過句子單元輸出與自然語言相對應(yīng)的聲音的過程中輸出匹配自然語言的意義的反饋。
【背景技術(shù)】
[0002]通常，能夠?qū)⒔K端分類為移動/便攜終端和固定終端。根據(jù)用戶的直接攜帶性移動終端能夠再次被分類為手持終端和車載終端。
[0003]隨著終端功能的多樣化，將終端實現(xiàn)為多媒體播放器，該多媒體播放器具有復(fù)合功能，諸如例如照片或運動圖片的拍攝、音樂或移動圖片文件的回放、玩游戲、廣播接收等。
[0004]為了支持和增加終端功能，其能夠考慮終端的結(jié)構(gòu)部分和/或軟件部分的改進(jìn)。
[0005]最近，輸出與被顯示在移動終端的顯示單元上的文本信息相對應(yīng)的聲音的語音輸出功能被添加到移動終端以便于增強(qiáng)移動終端用戶的便利。由于語音輸出功能，移動終端的用戶能夠容易地識別被顯示在顯示單元上的內(nèi)容同時沒有觀看顯示單元。
[0006]然而，因為現(xiàn)有技術(shù)的語音輸出功能僅能夠以語音讀取被顯示在顯示單元上的文本，所以其在被用作適合于將直播的信息遞送給用戶的裝置中引起問題。

【發(fā)明內(nèi)容】

[0007]因此，本發(fā)明的實施例涉及移動終端及其控制方法，其實質(zhì)上消除了由于現(xiàn)有技術(shù)的限制和缺點而導(dǎo)致的一個或多個問題。
[0008]本發(fā)明的目的是為了提供一種移動終端及其控制方法，通過該移動終端及其控制方法能夠進(jìn)一步增強(qiáng)用戶的便利。
[0009]特別地，本發(fā)明的目的是為了提供一種移動終端及其控制方法，由此在輸出從經(jīng)由移動終端將被指定的文本轉(zhuǎn)換成聲音而產(chǎn)生的合成聲音的過程中能夠輸出匹配被指定的文本的意義的反饋。
[0010]在此的公開以及附圖中將闡述本發(fā)明的另外的優(yōu)點、目的和特征。本領(lǐng)域內(nèi)的技術(shù)人員也可以基于此的公開理解這樣的方面。
[0011]為了實現(xiàn)這些目的和其它的優(yōu)點并且根據(jù)本發(fā)明的用途，如在此具體化和廣泛地描述的，根據(jù)本發(fā)明的移動終端可以包括:顯示單元，該顯示單元被配置成通過句子單元顯示文本；音頻輸出模塊，該音頻輸出模塊被配置成輸出從將文本轉(zhuǎn)換成聲音而產(chǎn)生的合成聲音；以及控制器，該控制器被配置成生成合成聲音，提取文本的意義，并且控制匹配文本的意義的反饋以在經(jīng)由音頻輸出模塊輸出合成聲音時被輸出。
[0012]在本發(fā)明的另一方面中，根據(jù)本發(fā)明的控制移動終端的方法可以包括下述步驟，通過句子單元顯示文本；從將文本轉(zhuǎn)換成聲音產(chǎn)生合成聲音；提取文本的意義；確定匹配文本的意義的反饋；輸出合成聲音；以及輸出反饋同時輸出合成聲音。
[0013]優(yōu)選地，反饋可以包括用作合成聲音的背景聲音的背景聲音或者匹配文本的意義的圖像文件。
[0014]優(yōu)選地，可以以改變顯示單元的輸出顏色或者調(diào)節(jié)顯示單元的亮度的方式調(diào)節(jié)反饋。
[0015]從本發(fā)明可獲得的效果可以不受上述效果的限制。并且，在本發(fā)明所屬的【技術(shù)領(lǐng)域】中的普通技術(shù)人員可以從下面的描述清楚地理解其他未提及的效果。應(yīng)當(dāng)理解，本發(fā)明的上述一般描述和下面的詳細(xì)描述是示例性的和解釋性的，并且意欲提供所要求保護(hù)的發(fā)明的進(jìn)一步的解釋。
【專利附圖】

【附圖說明】
[0016]被包括以提供本發(fā)明的進(jìn)一步理解并且被并入且構(gòu)成本說明書的一部分的附圖圖示了本發(fā)明的(一個或多個)實施例并且連同說明書一起用作解釋本發(fā)明的原理。在結(jié)合附圖考慮下面優(yōu)選實施例的描述之后，本發(fā)明的以上和其它方面、特征以及優(yōu)點將會變得更加明顯。在附圖中:
[0017]圖1是根據(jù)本發(fā)明的一個實施例的移動終端的框圖；
[0018]圖2是根據(jù)本發(fā)明的一個實施例的移動終端的前透視圖；
[0019]圖3是根據(jù)本發(fā)明的一個實施例的移動終端的后透視圖；
[0020]圖4是根據(jù)本發(fā)明的一個實施例的用于移動終端的操作的流程圖；
[0021]圖5是用于描述用于輸出與反饋相對應(yīng)的圖像的過程的一個示例的圖；
[0022]圖6是用于描述用于輸出與反饋相對應(yīng)的圖像的過程的另一示例的圖；
[0023]圖7是用于描述核心詞的輸出時序點和反饋的輸出時序點的一個示例的圖；
[0024]圖8是用于描述核心詞的輸出時序點和反饋的輸出時序點的另一示例的圖；
[0025]圖9是用于描述合成詞的輸出時序點和反饋的輸出時序點的一個不例的圖；
[0026]圖10是用于描述合成詞的輸出時序點和反饋的輸出時序點的另一不例的圖；
[0027]圖11是用于描述用于在合成聲音的輸出之前和之后添加靜默時段的過程的一個示例的圖；
[0028]圖12是用于描述用于在輸出反饋的過程中輸出振動的過程的一個示例的圖；以及
[0029]圖13是用于描述用于與用戶共享用戶數(shù)據(jù)庫的過程的一個示例的圖。
【具體實施方式】
[0030]現(xiàn)在詳細(xì)地參考本發(fā)明的優(yōu)選實施例，在附圖中圖示其示例。只要有可能，貫穿附圖將使用相同的附圖標(biāo)記來指代相同或者相似的部件。在下面的描述中對于元件使用的后綴“模塊”和“單元”僅是考慮便于撰寫本公開而共同地給出或者使用的，而不具有相互區(qū)分的意義或者作用。
[0031]首先，在本公開中描述的移動終端能夠包括移動電話、智能電話、膝上型計算機(jī)、數(shù)字廣播終端、PDA (個人數(shù)字助理)、PMP (便攜式多媒體播放器)、導(dǎo)航系統(tǒng)等等。
[0032]除了僅可應(yīng)用于移動終端的情況之外，對本領(lǐng)域的技術(shù)人員來說顯然的是，根據(jù)在本公開中描述的實施例的配置可應(yīng)用于諸如數(shù)字TV、桌上型計算機(jī)等等的固定終端。
[0033]圖1是根據(jù)本發(fā)明的一個實施例的移動終端的框圖。[0034]參考圖1，根據(jù)本發(fā)明的一個實施例的移動終端100包括無線通信單元110、W/V(音頻/視頻)輸入單元120、用戶輸入單元130、感測單元140、輸出單元150、存儲器160、接口單元170、控制器180、電源單元190等等。圖1示出具有各種組件的移動終端100，但是應(yīng)理解，不必實現(xiàn)所有圖示的組件?？梢蕴娲貙崿F(xiàn)更多的或者更少的組件。
[0035]在下面的描述中，依次解釋移動終端100的以上元件。
[0036]首先，無線通信單元110通常包括允許在移動終端100和移動終端100所位于的無線通信系統(tǒng)或者網(wǎng)絡(luò)之間進(jìn)行無線通信的一個或者多個組件。例如，無線通信單元110能夠包括廣播接收模塊111、移動通信模塊112、無線互聯(lián)網(wǎng)模塊113、短程通信模塊114、位置定位模塊115等等。
[0037]廣播接收模塊111經(jīng)由廣播信道從外部廣播管理服務(wù)器接收廣播信號和/或廣播關(guān)聯(lián)信息。
[0038]廣播信道可以包括衛(wèi)星信道和陸地信道。
[0039]廣播管理服務(wù)器通常指的是生成并且發(fā)送廣播信號和/或廣播關(guān)聯(lián)信息的服務(wù)器，或者被提供有先前生成的廣播信號和/或廣播關(guān)聯(lián)信息并且然后將所提供的信號或者信息發(fā)送到終端的服務(wù)器。廣播信號可以被實現(xiàn)為TV廣播信號、無線電廣播信號以及數(shù)據(jù)廣播信號等。如果需要，廣播信號可以進(jìn)一步包括與TV或者無線電廣播信號相組合的廣播信號。
[0040]廣播關(guān)聯(lián)信息包括與廣播頻道、廣播節(jié)目、廣播服務(wù)提供商等等相關(guān)聯(lián)的信息。并且，可以經(jīng)由移動通信網(wǎng)絡(luò)提供廣播關(guān)聯(lián)信息。在這樣的情況下，能夠通過移動通信模塊112接收廣播關(guān)聯(lián)信息。
[0041]能夠以各種形式實現(xiàn)廣播關(guān)聯(lián)信息。例如，廣播關(guān)聯(lián)信息可以包括數(shù)字多媒體廣播(DMB)的電子節(jié)目指南(EPG)和手持?jǐn)?shù)字視頻廣播(DVB-H)的電子服務(wù)指南(ESG)。
[0042]廣播接收模塊111可以被配置為接收從各種類型的廣播系統(tǒng)發(fā)送的廣播信號。通過非限定的示例，此類廣播系統(tǒng)包括陸地數(shù)字多媒體廣播(DMB-T)、衛(wèi)星數(shù)字多媒體廣播(DMB-S)、手持?jǐn)?shù)字視頻廣播(DVB-Η)、被稱為媒體僅前向鏈路(MediaFLO?)的數(shù)據(jù)廣播系統(tǒng)以及陸地綜合業(yè)務(wù)數(shù)字廣播(ISDB-T)。可選的，廣播接收模塊111能夠被配置為適合于其它的廣播系統(tǒng)以及在上面解釋的數(shù)字廣播系統(tǒng)。
[0043]通過廣播接收模塊111接收到的廣播信號和/或廣播關(guān)聯(lián)信息可以被存儲在諸如存儲器160的適合的設(shè)備中。
[0044]移動通信模塊112將無線信號發(fā)送到一個或者多個網(wǎng)絡(luò)實體(例如，基站、外部終端、服務(wù)器等等)/從該一個或者多個網(wǎng)絡(luò)實體接收無線信號。此類無線信號可以表示音頻、視頻以及根據(jù)文本/多媒體消息收發(fā)的數(shù)據(jù)等。
[0045]無線互聯(lián)網(wǎng)模塊113支持用于移動終端100的互聯(lián)網(wǎng)訪問。此模塊可以被內(nèi)部地或者外部地耦合到移動終端100。在這樣的情況下，無線互聯(lián)網(wǎng)技術(shù)能夠包括WLAN (無線LAN) (W1-Fi)、Wibro (無線寬帶)、Wimax (全球微波接入互操作性)、HSDPA (高速下行鏈路分組接入)等等。
[0046]短程通信模塊114有助于相對短程的通信。用于實現(xiàn)此模塊的適當(dāng)?shù)募夹g(shù)包括射頻識別(RFID)、紅外數(shù)據(jù)協(xié)會(IrDA)、超寬帶(UWB)、以及通常被稱為藍(lán)牙和紫蜂(ZigBee)的網(wǎng)絡(luò)技術(shù)等等。[0047]位置定位模塊115識別或者以其它方式獲得移動終端100的位置。如果需要，可以通過全球定位系統(tǒng)(GPS)模塊實現(xiàn)此模塊。
[0048]參考圖1，音頻/視頻(A/V)輸入單元120被配置為將音頻或者視頻信號輸入提供到移動終端100。如所示，A/V輸入單元120包括相機(jī)121和麥克風(fēng)122。相機(jī)121在視頻呼叫模式或者拍攝模式下接收并且處理通過圖像傳感器獲得的靜止圖片或者視頻的圖像幀。并且，已處理的圖像幀能夠被顯示在顯示單元151上。
[0049]通過相機(jī)121處理的圖像幀能夠被存儲在存儲器160中或者能夠經(jīng)由無線通信單元Iio外部地發(fā)送?？蛇x地，根據(jù)使用環(huán)境可以將至少兩個相機(jī)121提供到移動終端100。
[0050]當(dāng)便攜式設(shè)備處于諸如電話呼叫模式、記錄模式以及語音識別的特定模式中時，麥克風(fēng)122接收外部音頻信號。此音頻信號被處理并且轉(zhuǎn)換為電音頻信號。在呼叫模式的情況下，被處理的音頻數(shù)據(jù)被變換為經(jīng)由移動通信模塊112可發(fā)送到移動通信基站的格式。麥克風(fēng)122通常包括各種噪聲消除算法以消除在接收外部音頻信號的過程中生成的噪聲。
[0051]用戶輸入單元130響應(yīng)于相關(guān)聯(lián)的一個或多個輸入設(shè)備的用戶操作而生成輸入數(shù)據(jù)。這樣的設(shè)備的示例包括鍵盤、薄膜開關(guān)、觸摸板(例如，靜壓/電容)、撥動輪(jogwheel)、撥動開關(guān)(jog switch)等等。
[0052]感測單元140提供感測信號，用于使用移動終端的各方面的狀態(tài)測量來控制移動終端100的操作。例如，感測單元140可以檢測移動終端100的打開/關(guān)閉狀態(tài)、移動終端100的組件(例如，顯示器和鍵盤)的相對定位、移動終端100或移動終端100的組件的位置改變、是否存在用戶與移動終端100的接觸、移動終端100的方位或加速/減速。作為示例，考慮被配置為滑蓋式移動終端的移動終端100。在該配置中，感測單元140可以感測移動終端的滑動部分是打開還是關(guān)閉。其它示例包括感測單元140感測由電源單元190提供的電力存在與否、接口單元170與外部設(shè)備之間的耦合或其它連接的存在與否。并且，感測單元140能夠包括接近傳感器141。
[0053]輸出單元150生成與視覺、聽覺、觸覺等等相關(guān)的輸出。并且，輸出單元150包括顯示單元151、音頻輸出模塊152、警報單元153、觸覺模塊154、投影儀模塊155等等。
[0054]將顯示單元151典型地實現(xiàn)為視覺地顯示(輸出)與移動終端100相關(guān)聯(lián)的信息。例如，如果移動終端在電話呼叫模式下操作，則顯示器通常將提供包括與撥打、進(jìn)行以及終止電話呼叫相關(guān)聯(lián)的信息的用戶界面(UI)或圖形用戶界面(GUI)。作為另一示例，如果移動終端100處于視頻呼叫模式或拍攝模式，則顯示單元151可以附加地或替代地顯示與這些模式相關(guān)聯(lián)的圖像、Π或⑶I。
[0055]可以使用已知的顯示器技術(shù)來實現(xiàn)顯示模塊151，這些技術(shù)例如包括液晶顯示器(IXD)、薄膜晶體管液晶顯示器(TFT-1XD)、有機(jī)發(fā)光二極管顯示器(0LED)、柔性顯示器和三維顯示器。移動終端100可以包括一個或多個這樣的顯示器。
[0056]能夠?qū)⑸鲜鲲@示器中的一些實現(xiàn)為透明或透光型，它們可被稱為透明顯示器。作為透明顯示器的代表性示例，存在TOLED (透明0LED)等等。也能夠?qū)@示單元151的后部配置實現(xiàn)為透光型。在該配置中，用戶能夠經(jīng)由被終端主體的顯示單元151占據(jù)的區(qū)域看見終端主體后部的對象。
[0057]根據(jù)移動終端100的所實現(xiàn)的配置，能夠向移動終端100提供至少兩個顯示單元151。例如，可以以相互隔開或置入一個主體的方式將多個顯示單元布置在移動終端100的單個面上。替代地，能夠?qū)⒍鄠€顯示單元布置在移動終端100的不同面上。
[0058]在顯示單元151和用于檢測觸摸動作的傳感器(在下文中稱為“觸摸傳感器”)配置交互層結(jié)構(gòu)(在下文中被稱為“觸摸屏”)的情況下，能夠?qū)@示單元151用作輸入設(shè)備以及輸出設(shè)備。在這樣的情況下，能夠?qū)⒂|摸傳感器配置為觸摸膜、觸摸片、觸摸板等等。
[0059]觸摸傳感器能夠被配置為將施加于顯示單元151的特定部分的壓力或者從顯示單元151的特定部分生成的電容變化轉(zhuǎn)換為電輸入信號。此外，能夠配置觸摸傳感器以檢測觸摸壓力以及觸摸位置或尺寸。
[0060]如果向觸摸傳感器進(jìn)行觸摸輸入，則與該觸摸相對應(yīng)的(一個或多個)信號被傳送到觸摸控制器。觸摸控制器處理(一個或多個)信號，并且然后將已處理的(一個或多個)信號傳送到控制器180。因此，控制器180能夠獲知顯示單元151的指定部分是否被觸摸。
[0061]參考圖1，接近傳感器(在附圖中未示出)能夠被提供到移動終端100被觸摸屏包圍的內(nèi)部區(qū)域或觸摸屏周圍。接近傳感器是在沒有機(jī)械接觸的情況下使用電磁場強(qiáng)度或紅外線來檢測是否存在靠近指定檢測表面的對象或者在接近傳感器周圍是否存在對象的傳感器。因此，接近傳感器與接觸型傳感器相比具有更長的耐用性，并且與接觸型傳感器相比還具有更廣的用途。
[0062]接近傳感器能夠包括透射性光電傳感器、直接反射式光電傳感器、鏡像反射式光電傳感器、射頻振蕩接近傳感器、靜電電容接近傳感器、磁性接近傳感器、紅外接近傳感器等等中的一個。在觸摸屏包括靜電電容接近傳感器的情況下，其被配置為使用電場根據(jù)指示器的接近的變化來檢測指示器的接近。在這樣的情況下，能夠?qū)⒂|摸屏(觸摸傳感器)歸類為接近傳感器。
[0063]在下面的描述中，為了清楚起見，指示器靠近而不接觸觸摸屏的情況下被識別為位于觸摸屏上的動作被稱為“接近觸摸”。并且，指示器實際上接觸觸摸屏的動作被稱為“接觸觸摸”。在觸摸屏上由指示器接近觸摸的位置的含義是指當(dāng)指示器執(zhí)行接近觸摸時，與觸摸屏垂直相對的指示器的位置。
[0064]接近傳感器檢測接近觸摸和接近觸摸模式(例如，接近觸摸距離、接近觸摸持續(xù)時間、接近觸摸位置、接近觸摸位移狀態(tài)等等)。并且，能夠?qū)⑴c所檢測到的接近觸摸動作和所檢測到的接近觸摸模式相對應(yīng)的信息輸出到觸摸屏。
[0065]音頻輸出模塊152在包括呼叫接收模式、呼叫撥打模式、記錄模式、語音識別模式、廣播接收模式等等的各種模式中起作用，以輸出從無線通信單元110接收到的音頻數(shù)據(jù)或存儲在存儲器160中的音頻數(shù)據(jù)。在操作期間，音頻輸出模塊152輸出與特定功能(例如，接收到呼叫、接收到消息等等)相關(guān)的音頻。通常使用一個或多個揚(yáng)聲器、蜂鳴器、其它音頻產(chǎn)生設(shè)備及其組合來實現(xiàn)音頻輸出模塊152。
[0066]警報單元153輸出信號，用于通告與移動終端100相關(guān)聯(lián)的特定事件的發(fā)生。典型事件包括接收到呼叫事件、接收到消息事件以及接收到觸摸輸入事件。警報單元153能夠通過振動以及視頻或音頻信號的方式來輸出用于通告事件發(fā)生的信號。能夠經(jīng)由顯示單元151或音頻輸出單元152來輸出視頻或音頻信號。因此,能夠?qū)@示單元151或音頻輸出模塊152能夠視作警報單元153的一部分。
[0067]觸覺模塊154生成用戶能感測到的各種觸覺效果。振動是由觸覺模塊154生成的觸覺效果的代表性效果。由觸覺模塊154生成的振動的強(qiáng)度和模式是可控的。例如，能夠以合成在一起的方式輸出不同的振動，或者能夠依次輸出不同的振動。
[0068]觸覺模塊154能夠生成除了振動之外的各種觸覺效果。例如,觸覺模塊154生成歸因于相對于接觸皮膚表面垂直移動的針布置的效果、歸因于空氣通過注入/抽吸孔的注入/抽吸力的效果、歸因于掠過皮膚表面的效果、歸因于與電極接觸的效果、歸因于靜電力的效果、歸因于使用吸熱設(shè)備或放熱設(shè)備表示熱/冷感覺的效果等等。
[0069]觸覺模塊154能夠被實現(xiàn)為使得用戶能夠通過手指、手臂等的肌肉感覺來感測觸覺效果，以及通過直接接觸來傳送觸覺效果。可選地，根據(jù)移動終端100的對應(yīng)配置類型，能夠向移動終端100提供至少兩個觸覺模塊154。
[0070]投影儀模塊155是用于使用移動終端100來執(zhí)行圖像投影儀功能的元件。并且，根據(jù)控制器180的控制信號，投影儀模塊155能夠在外部屏幕或者墻上顯示與在顯示單元151上顯示的圖像相同或者至少部分不同的圖像。
[0071]具體地，投影儀模塊155能夠包括光源(在附圖中未示出)，該光源生成用于外部地投射圖像的光(例如，激光)；圖像產(chǎn)生裝置(在附圖中未示出)，該圖像產(chǎn)生裝置用于使用從光源生成的光產(chǎn)生圖像以外部地輸出；以及透鏡(在附圖中未示出)，該透鏡用于放大以在預(yù)定的焦距上向外輸出圖像。并且，投影儀模塊155能夠進(jìn)一步包括用于通過機(jī)械地移動透鏡或者整個模塊來調(diào)整圖像投射的方向的設(shè)備(在附圖中未示出)。
[0072]投影儀模塊155能夠根據(jù)顯示裝置的設(shè)備類型被歸類為CRT (陰極射線管)模塊、IXD (液晶顯示器)模塊、DLP (數(shù)字光處理)模塊等。特別地，通過使得從光源生成的光能夠在DMD (數(shù)字微鏡器件)芯片上反射的機(jī)制來操作DLP模塊，并且能夠有利地減小投影儀模塊151的尺寸。
[0073]優(yōu)選地，能夠在移動終端100的橫向長度方向、前側(cè)或者背側(cè)方向上提供投影儀模塊155。并且，應(yīng)當(dāng)理解，根據(jù)投影儀模塊155的必要性，投影儀模塊155能夠被提供到移動終端100的任何位置。
[0074]存儲器單元160 —般用于存儲各種類型的數(shù)據(jù)，以支持移動終端100的處理、控制和存儲要求。這樣的數(shù)據(jù)的示例包括用于在移動終端100上操作的應(yīng)用的程序指令、接觸數(shù)據(jù)、電話簿數(shù)據(jù)、消息、音頻、靜止圖片、運動圖片等等。并且，能夠?qū)⒚總€數(shù)據(jù)的累積使用頻率(例如，每個電話簿、每個消息或每個多媒體的使用頻率)或最近使用歷史存儲在存儲器單元160中。此外，能夠?qū)⒃谟|摸輸入到觸摸屏的情況下輸出的各種模式的振動和/或聲音的數(shù)據(jù)存儲在存儲器單元160中。
[0075]可以使用任何類型或者合適的易失性和非易失性存儲器或者存儲設(shè)備的組合來實現(xiàn)存儲器160，存儲設(shè)備包括硬盤、隨機(jī)存取存儲器(RAM)、靜態(tài)隨機(jī)存取存儲器(SRAM)、電可擦除可編程只讀存儲器(EEPR0M)、可擦除可編程只讀存儲器(EPR0M)、可編程只讀存儲器(PR0M)、只讀存儲器(ROM)、磁性存儲器、閃存、磁盤或光盤、多媒體卡微型存儲器、卡式存儲器(例如，SD存儲器、XD存儲器等等)，或其它類似的存儲器或數(shù)據(jù)存儲設(shè)備。并且，能夠與用于在互聯(lián)網(wǎng)上執(zhí)行存儲器160的存儲功能的網(wǎng)絡(luò)存儲關(guān)聯(lián)地操作移動終端100。
[0076]接口單元170通常被實現(xiàn)為將移動終端100與外部設(shè)備耦合。接口單元170從外部設(shè)備接收數(shù)據(jù)，或者被供電并且然后向移動終端100中的各個元件傳送數(shù)據(jù)或電力，或者使得移動終端100內(nèi)的數(shù)據(jù)能夠傳送到外部設(shè)備。接口單元170可以使用有線/無線頭戴式受話器端口、外部充電器端口、有線/無線數(shù)據(jù)端口、存儲卡端口、用于耦合到具有標(biāo)識模塊的設(shè)備的端口、音頻輸入/輸出端口、視頻輸入/輸出端口、耳機(jī)端口等等來配置。
[0077]標(biāo)識模塊是用于存儲用于驗證移動終端100的使用權(quán)限的各種信息的芯片，并且可以包括用戶標(biāo)識模塊(ΠΜ)、訂戶標(biāo)識模塊(SM)、通用訂戶標(biāo)識模塊(USM)等等。具有標(biāo)識模塊的設(shè)備(下面稱為“標(biāo)識設(shè)備”)能夠被制造為智能卡。因此，標(biāo)識設(shè)備經(jīng)由對應(yīng)端口可連接到移動終端100。
[0078]當(dāng)將移動終端100連接到外部支架時，接口單元170變成用于從支架向移動終端100提供電力的通道，或者變成用于將由用戶從支架輸入的各種命令信號遞送到移動終端100的通道。從支架輸入的各種命令信號或電力的每個可以作為使得移動終端100識別已經(jīng)被正確裝入支架的信號操作。
[0079]控制器180通常控制移動終端100的整體操作。例如，控制器180執(zhí)行與語音呼口4、數(shù)據(jù)通信、視頻呼叫等等相關(guān)聯(lián)的控制和處理。控制器180可以包括提供多媒體回放的多媒體模塊181。多媒體模塊181可以被配置為控制器180的一部分，或?qū)崿F(xiàn)為單獨的組件。
[0080]此外，控制器180能夠執(zhí)行模式識別處理，用于將在觸摸屏上執(zhí)行的書寫輸入和繪圖輸入分別識別為字符或圖像。
[0081]電源單元190提供移動終端100的各種組件所需的電力。電力可以是內(nèi)部電力、外部電力或其組合。
[0082]例如可以使用計算機(jī)軟件、硬件或其一些組合在計算機(jī)可讀介質(zhì)中實現(xiàn)在此所描述的各種實施例。對于硬件實施方式，可以在一個或多個專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設(shè)計成執(zhí)行在此所描述的功能的其它電子單元，或它們的選擇性組合中實現(xiàn)在此所描述的實施例。也可以通過控制器180來實現(xiàn)這樣的實施例。
[0083]對于軟件實施方式，可以利用諸如進(jìn)程和函數(shù)的獨立的軟件模塊來實現(xiàn)在此所描述的實施例，其每一個執(zhí)行在此所描述的功能和操作中的一個或多個。能夠利用以任何合適的編程語言編寫的軟件應(yīng)用來實現(xiàn)軟件代碼，并且可以將該軟件代碼存儲在諸如存儲器160的存儲器中，并且通過諸如控制器180的控制器或處理器來執(zhí)行。
[0084]圖2是根據(jù)本發(fā)明的一個實施例的移動終端的正面透視圖。
[0085]在附圖中示出的移動終端100具有直板式終端主體。但是，也可以以各種不同的配置實現(xiàn)移動終端100。此類配置的示例包括:折疊式、滑蓋式、旋轉(zhuǎn)式、搖擺式以及其組合。為了清楚起見，進(jìn)一步的公開將主要涉及直板式移動終端100。然而，這樣的教導(dǎo)同樣適用于其它類型的移動終端。
[0086]參考圖2，移動終端100包括配置其外部的殼體(外殼、機(jī)殼、蓋等等)。在本實施例中，殼體能夠被劃分為前殼體101和后殼體102。各種電/電子部件被裝載在前殼體101與后殼體102之間提供的空間中?？蛇x地，至少一個中間殼體能夠進(jìn)一步被另外提供在前殼體101和后殼體102之間。
[0087]殼體101和102通過合成樹脂的注入成型來形成或者能夠由諸如不銹鋼(STS)Ji(Ti)等的金屬物質(zhì)來形成。[0088]顯示單元151、音頻輸出單元152、相機(jī)121、用戶輸入單元130/131以及132、麥克風(fēng)122、接口 180等等能夠被提供到終端主體，并且更加具體地，被提供到前殼體101。
[0089]顯示單元151占據(jù)前殼體101的正面的大部分。音頻輸出單元151和相機(jī)121被提供到與顯示單元151的兩個端部中的一個相鄰的區(qū)域，而用戶輸入單元131和麥克風(fēng)122被提供到與顯示單元151的另一個端部相鄰的另一區(qū)域。用戶輸入單元132和接口 170能夠被提供到前殼體101和后殼體102的橫向側(cè)。
[0090]輸入單元130被操縱以接收用于控制終端100的操作的命令。并且，輸入單元130能夠包括多個操縱單元131和132。操縱單元131和132能夠被稱為操縱部分并且可以采用使得用戶能夠通過體驗觸覺感覺來執(zhí)行操縱動作的觸覺方式的任何機(jī)構(gòu)。
[0091]通過第一操縱單元131或者第二操縱單元132輸入的內(nèi)容能夠被不同地設(shè)置。例如，諸如開始、結(jié)束、滾動等等的命令被輸入到第一操縱單元131。并且，用于從音頻輸出單元152輸出的聲音的音量調(diào)整的命令、用于切換到顯示單元151的觸摸識別模式等等的命令能夠被輸入到第二操縱單元132。
[0092]圖3是圖2中示出的移動終端的背側(cè)的透視圖。
[0093]參考圖3，相機(jī)121’可以被另外提供到終端主體的背側(cè)，并且更加具體地，被提供到后殼體102。相機(jī)121’具有與圖2中所示的前一個相機(jī)121的拍攝方向大體上相反的拍攝方向并且可以具有與前一個相機(jī)121的像素不同的像素。
[0094]優(yōu)選地，例如，前一個相機(jī)121具有足以捕獲并且發(fā)送用戶面部的圖片以用于視頻呼叫的低像素，而后一個相機(jī)121’可以具有用于在不發(fā)送所捕獲的物體的情況下捕獲普通物體以用于拍攝的高像素。并且，相機(jī)121和121’中的每一個可以被安裝在終端主體上以旋轉(zhuǎn)或者彈出。
[0095]閃光燈123和鏡子124可以被另外提供為與相機(jī)121’相鄰。在使用相機(jī)121’拍攝物體的情況下，閃光燈123朝著物體投射光。在用戶嘗試使用相機(jī)121’來對用戶拍照(自拍)的情況下，鏡子124使得用戶能夠看到通過鏡子124反射的用戶的面容。
[0096]另外的音頻輸出模塊152’可以被提供到終端主體的背側(cè)。附加的音頻輸出模塊152’能夠與圖2A中所示出的前一個音頻輸出模塊152—起實現(xiàn)立體聲功能，并且可以被用于實現(xiàn)在通過終端談話中的免提模式。
[0097]廣播信號接收天線124以及用于通信的天線等可以被另外提供到終端主體的橫向側(cè)。構(gòu)成圖1中示出的廣播接收模塊111的一部分的天線124可以可收縮地提供到終端主體。
[0098]用于向移動終端100供電的電源單元190可以被提供到終端主體。并且，電源單元190可以被配置為內(nèi)置在終端主體內(nèi)。替代地，電源單元190可以被配置為可拆卸地連接到終端主體。
[0099]用于檢測觸摸的觸摸板135可以被另外提供到后殼體102。像顯示單元151 —樣，觸摸板135可以被配置為透光型。在這樣的情況下，如果顯示單元151被配置為從其兩面輸出視覺信息，則其也能夠經(jīng)由觸摸板135來識別視覺信息。能夠通過觸摸板135整體控制從兩面輸出的信息。替代地，顯示器被進(jìn)一步提供到觸摸板135，使得觸摸屏也能夠被提供到后殼體102。
[0100]可以通過與前殼體101的顯示單元151互連來激活觸摸板135。觸摸板135能夠被平行地提供在顯示單元151的后面。觸摸板135能夠具有等于或者小于顯示單元151大小的大小。
[0101]為了以下描述清楚起見，假定根據(jù)本發(fā)明的移動終端100可以包括在圖1中示出的前述組件中的至少一個。特別地，根據(jù)本發(fā)明的移動終端100被假定為包括在圖1中示出的顯示單元151、音頻輸出模塊152、存儲器160以及控制器180。有時候，根據(jù)本發(fā)明的移動終端100可以進(jìn)一步包括在圖1中示出的組件當(dāng)中的無線通信單元和相機(jī)。
[0102]此外，本發(fā)明的控制器180可以包括TTS (文本到語音)模塊(在圖1中未示出)、自然語言處理模塊(在圖1中未示出)以及反饋評估模塊(在圖1中未示出)。
[0103]TTS模塊將被顯示在顯示單元151上的自然語言轉(zhuǎn)換成語音并且然后將該語音遞送給音頻輸出模塊152。特別地，TTS模塊將自然語言直接地轉(zhuǎn)換成聲音并且然后將該聲音遞送給音頻輸出模塊152。本發(fā)明的TTS模塊通過由句子單元自動地分析自然語言來創(chuàng)建合成聲音并且然后能夠?qū)⑺鶆?chuàng)建的合成聲音遞送給音頻輸出模塊152。當(dāng)自然語言被顯示在顯示單元151上時，其可以被顯示為文本串組合的文本。
[0104]自然語言處理模塊被配置成通過機(jī)械地分析語言現(xiàn)象將人類發(fā)出的語言現(xiàn)象轉(zhuǎn)換成計算機(jī)可理解的形式。自然語言處理模塊通過執(zhí)行詞法(morphological)分析、短語單元分析、解析等等來分析人類語言并且能夠輸出具有自然語言的意義的編譯器語言。本發(fā)明的自然語言處理模塊通過句子單元分析自然語言的意義并且然后能夠分析自然語言的意義。
[0105]關(guān)于自然語言處理單元，詞法分析可以意指輸出任何目標(biāo)詞的所有可能的分析結(jié)果。特別地，使用表解析，自然語言處理模塊能夠從大量的所有場合中選擇適當(dāng)?shù)慕Y(jié)果，其中能夠遞送詞。解析單元分析可以意指分析名詞短語、動詞短語、狀語短語等等。并且，從句單元分析可以意指通過短句分解諸如復(fù)合句子、復(fù)雜句子等等的句子。解析可以意指通過將句子分解成構(gòu)造相對應(yīng)的句子的成分并且然后分析其中層次關(guān)系確定句子的結(jié)構(gòu)。
[0106]反饋評估模塊被配置成，確定匹配從自然語言處理模塊輸出的自然語言的意義的反饋。反饋評估模塊可以包括背景聲音評估模塊、振動確定模塊、顯示確定模塊以及光源確定模塊中的至少一個。背景聲音評估模塊被配置成確定匹配自然語言的意義的音頻數(shù)據(jù)。并且，振動確定模塊被配置成響應(yīng)于自然語言的意義確定是否輸出振動。同樣地，顯示確定模塊被配置成確定是否響應(yīng)于自然語言的意義更改顯示單元151的輸出。并且，光源確定模塊可以被配置成確定是否響應(yīng)于自然語言的意義閃爍光源。
[0107]基于上述內(nèi)容，如下詳細(xì)地描述根據(jù)本發(fā)明的移動終端100。
[0108]圖4是用于根據(jù)本發(fā)明的實施例的移動終端的操作的流程圖。
[0109]參考圖4，控制器180能夠控制句子單元的自然語言以被顯示在顯示單元151上[S401]。當(dāng)人類想法或者感覺被表達(dá)為語言并且通常由主語和動詞構(gòu)成時句子是指示全部內(nèi)容的最小單位。但是，對于句子來說可能不必須被構(gòu)造有主語和動詞。例如，諸如“bowwow”、“ ding-dong”等等的具有被省略的主語和動詞的擬聲詞可以構(gòu)造句子。對于另一示例，不具有動詞的句子(例如，“真的？ ”)也能夠構(gòu)造句子。在步驟S401中，控制器180可以控制自然語言以將電子書、文檔文件、網(wǎng)頁、文本鍵入的圖像文件等等輸出到顯示單元151的方式輸出。在從圖像文件提取自然語言的情況下，控制器180能夠使用文本識別算法從圖像文件提取自然語言。[0110]一旦句子單元的自然語言被顯示在顯示單元151上，控制器180的TTS模塊能夠通過對句子單元的自然語言執(zhí)行TTS分析控制要從將自然語言轉(zhuǎn)換成聲音而生成的合成聲音[S402]。此外，控制器180的自然語言處理模塊能夠通過分析句子單元的分析語言提取自然語言的意義[S403]。
[0111]一旦自然語言的意義被分析，控制器180的反饋確定模塊能夠確定匹配自然語言的意義的反饋[S404]。特別地，反饋可以被表示為背景聲音的輸出、圖像的顯示、顯示單元151的輸出變化、振動的輸出以及光源的閃爍中的至少一個。在下面的描述中，詳細(xì)地解釋被輸出到顯示單元151的自然語言和用于響應(yīng)于自然語言的意義輸出反饋的過程的示例。
[0112][反饋的示例:背景聲音]
[0113]控制器180能夠?qū)⑵ヅ渥匀徽Z言意義的背景聲音確定為反饋。在這樣的情況下，背景聲音可以在經(jīng)由音頻輸出模塊152輸出合成聲音時在支持合成聲音中起作用。特別地，控制器180能夠從被保存在存儲器160中的背景聲音數(shù)據(jù)庫提取匹配自然語言意義的背景聲音。如下地詳細(xì)描述參考自然語言的詳細(xì)示例確定反饋的示例。
[0114]<自然語言示例1:本周末將會下雨。>
[0115]因為在示例I的意義中主語“雨”采取動詞“下”的行動，所以控制器180能夠從背景聲音數(shù)據(jù)庫中提取匹配示例I中的“下雨”的意義的背景聲音。特別地，控制器180從背景數(shù)據(jù)庫中提取與雨的聲音相對應(yīng)的背景聲音并且然后能夠?qū)⑵溆米鞣答仭?br> [0116]<自然語言示例2:預(yù)期強(qiáng)風(fēng)伴隨有大雨。>
[0117]在示例2中的意義中，主語“大雨”采取動詞“預(yù)期”的行動，并且賓語“強(qiáng)風(fēng)”采取動詞“伴隨”的行動?？梢赃@樣說，在示例2的意義中，意義“刮強(qiáng)風(fēng)”和意義“下大雨”被相互合成。因此，控制器180從背景聲音數(shù)據(jù)庫中提取表示匹配“刮強(qiáng)風(fēng)”的意義的風(fēng)聲的背景聲音和表示匹配“下大雨”的意義的雨聲的背景聲音，并且然后能夠?qū)⒈惶崛〉谋尘奥曇粲米鞣答仭?br> [0118]如參考自然語言示例I和2在上面的描述中所提及的，本發(fā)明的控制器180能夠控制匹配自然語言的意義的背景聲音以被確定為反饋。但是，在從背景聲音數(shù)據(jù)中不能夠提取匹配自然語言的意義的背景聲音的情況下，不能夠使用背景聲音作為反饋。
[0119]此外，如果句子的意義與否定或者不存在有關(guān)，則控制器180不能輸出反饋。參考下面的示例進(jìn)行描述。
[0120]〈自然語言示例3:有時本周可能不下雨?！?br> [0121]示例3的意義是要通告“下雨的可能性”的不存在(即，“不存在”)。特別地，示例3的意義可以被視為具有“將不會下雨”的否定意義。因此，在與參考自然語言示例I的前述描述相反，控制器180不能夠從背景聲音數(shù)據(jù)庫中提取與雨的聲音相對應(yīng)的背景聲音。特別地，在示例3中，控制器180能夠控制背景聲音不被輸出以與自然語言的意義一致。
[0122]像自然語言示例3 —樣，本發(fā)明的控制器180沒有確定每句子的關(guān)鍵詞的反饋，而是能夠控制要根據(jù)句子的整個意義確定的反饋。特別地，即使關(guān)鍵字“雨”被包含在自然語言示例3的句子中，對于“雨的聲音”來說無需強(qiáng)制被確定為反饋。
[0123][反饋的示例:振動]
[0124]控制器180能夠控制振動以根據(jù)自然語言的意義作為反饋被輸出。特別地，在自然語言的意義與搖動、振動、沖擊、破損、損壞等等有關(guān)的情況下，控制器180可以控制振動作為反饋被輸出。如下參考自然語言的詳細(xì)示例詳細(xì)描述用于作為反饋輸出振動的過程。
[0125]<自然語言示例4:公共汽車在鄉(xiāng)村的崎嶇不平的道路上行駛時嚴(yán)重地?fù)u動。>
[0126]示例4的意義指示主語“公共汽車”執(zhí)行動作“行駛”和動作“搖動”。控制器180可以控制振動以作為匹配示例4的意義中的意義“公共汽車搖動”的反饋被輸出。特別地，像示例4的意義一樣，為了給出仿佛公共汽車在崎嶇不平的道路上行駛的觸覺效果，控制器180可以控制振動以經(jīng)由移動終端100被輸出。
[0127]<自然語言示例5:他用拳頭猛擊前門>
[0128]示例5的意義指示主語“他”使用補(bǔ)語“拳頭”對賓語“前門”執(zhí)行“擊”的動作。像示例5 —樣，如果句子的意義包含將沖擊應(yīng)用于特定目標(biāo)的意義，則控制器180可以控制振動以作為反饋被輸出。在示例5中，為了給出仿佛拳頭擊中前門的效果，控制器180可以控制振動以經(jīng)由移動終端100被輸出。
[0129][反饋的示例:圖像]
[0130]控制器180可以根據(jù)自然語言的意義控制要作為反饋輸出的圖像。特別地，控制器180能夠從被保存在存儲器160中的圖像數(shù)據(jù)庫中提取匹配自然語言意義的圖像。如下參考自然語言的詳細(xì)示例描述作為反饋輸出圖像的情況。
[0131]<自然語言示例6:棒球飛過來打碎隔壁的窗戶。>
[0132]示例6的意義指示主語“棒球”對賓語“隔壁的窗戶”執(zhí)行“打碎”的動作。特別地，示例6的意義可以理解為包括諸如玻璃的目標(biāo)被打碎的意義。因此，控制器180從圖像數(shù)據(jù)庫中提取能夠匹配示例6中的意義“玻璃被打碎”的圖像，并且能夠?qū)⒈惶崛〉膱D像確定為反饋。例如，參考圖5，控制器180能夠控制表示匹配示例6的意義的“被打碎的玻璃”的圖像，以在顯示單元151上作為反饋被輸出。在圖5中示出的示例中，控制器180可以在經(jīng)由顯示單元151輸出自然語言時控制被確定為反饋的圖像以配置背景圖像。
[0133]〈自然語言示例7:在窗外飄落大的雪花。>
[0134]示例7的意義指示主語“雪花”執(zhí)行“飄落”的動作。特別地，示例7的意義可以被理解為包括“雪花飄落”的意義。因此，控制器180從圖像數(shù)據(jù)庫提取能夠匹配示例7中的意義“雪花飄落”的圖像，并且然后能夠?qū)⒈惶崛〉膱D像確定為反饋。例如，參考圖6，控制器180可以控制表示雪景的圖像，以作為反饋被輸出以匹配示例7的意義。
[0135]在反饋作為自然語言的背景被輸出的情況下，如在圖5或者圖6中所示，控制器180能夠控制自然語言的字母顏色以與背景圖像的顏色明顯對比。即，在自然語言被顯示的位置處自然語言的字母顏色與背景圖像的相類似的情況下，防止由于背景圖像降低自然語言的可見性的問題。特別地，在確定自然語言的顏色與作為反饋輸出的背景圖像的相類似的情況下，控制器180能夠在反饋被輸出到顯示單元151時控制要以從第一顏色變成第二顏色的方式顯示的自然語言的字母顏色。在自然語言被顯示的位置處第二顏色可以包括與第一顏色或者背景圖像的顏色互補(bǔ)的顏色，這可以不是強(qiáng)制的。如果自然語言的字母顏色從第一顏色變成第二顏色，則在圖像被顯示為反饋時能夠確保被顯示的自然語言的可見性。
[0136]此外，對于被用作反饋的圖像來說可能不必須包括靜止圖像。例如，控制器180能夠使用運動圖像或者視頻作為反饋。
[0137][反饋的示例:顯示單元151的亮度或者顏色的變化][0138]控制器180能夠根據(jù)自然語言的意義控制要作為反饋改變的顯示單元151的亮度或者顏色。特別地，例如，如果自然語言的意義與亮度的變化，諸如日/夜的變化、電器的開/關(guān)等等有關(guān)，則控制器180可以控制要通過改變顯示單元151的亮度輸出的匹配自然語言的意義的反饋。對于另一示例，如果自然語言的意義與特定顏色有關(guān)，則控制器180可以通過經(jīng)由顯示單元151輸出特定顏色來控制反饋將被輸出。如下參考自然語言的詳細(xì)示例詳細(xì)地描述用于通過顯示單元151的亮度或者顏色變化輸出反饋的過程。
[0139]<自然語言示例8:在深谷中黑暗已經(jīng)降落。>
[0140]示例8的意義指示賓語“黑暗”執(zhí)行“降落”的動作。特別地，示例8可以被理解為包括“變黑”的意義。因此，為了表示意義“變黑”，控制器180能夠控制顯示單元151的亮度級別以逐漸地降低。
[0141]<自然語言示例9:在又厚又黑的云升起之后太陽升起。>
[0142]示例9的意義包括賓語“太陽”執(zhí)行動作“升起”。特別地，示例9可以被理解為包括意義“太陽升起”。因此，為了表示意義“太陽升起”，控制器180能夠控制亮度級別以逐漸地上升。
[0143]<自然語言示例10:他把衣服染成黃色。>
[0144]示例10的意義包括主語“他”對補(bǔ)語“衣服”執(zhí)行動詞“染色”的動作。特別地，示例10可以被理解為包括“衣服變成黃色”的意義。因此，能夠以將顯示單元151的顏色逐漸地變成黃色的方式表示意義“變成黃色”。
[0145][反饋的示例:光源單元的閃爍]
[0146]如在前面的描述中所提及的，根據(jù)本發(fā)明的移動終端100可以通過調(diào)節(jié)顯示單元151的亮度來表示亮度的變化。可替選地，根據(jù)本發(fā)明的移動終端100可以通過光源單元的閃爍來表示亮度的變化。在這樣的情況下，光源單元可以包括被用于補(bǔ)充拍攝的光的相機(jī)閃光和被提供給鍵盤的背側(cè)的背光LED中的至少一個。如下參考自然語言的詳細(xì)示例詳細(xì)地描述用于經(jīng)由光源單元的閃爍輸出反饋的過程。
[0147]<自然語言示例11:黑云一聚集閃電就擊中閃光。>
[0148]示例11的自然語言包括主語“閃電”執(zhí)行動詞“擊中”的動作的意義。為了匹配示例11的意義“閃電擊中”，控制器180能夠控制反饋以光源單元閃爍的方式被輸出。
[0149]在上述示例中，反饋的示例包括背景聲音、振動、圖像、顯示單元151的亮度變化、顯示單元151的顏色變化以及光源單元的閃爍。對于反饋來說沒有強(qiáng)制被確定為在上面列舉的示例中的一個。例如，反饋可以被確定為在上面被列舉的示例中的至少兩個的組合。特別地，反饋可以包括背景聲音、振動、圖像、顯示單元151的亮度變化、顯示單元151的顏色變化以及光源單元的閃爍中的至少一個。
[0150]例如，從自然語言“雷電發(fā)出巨大的聲音”，控制器180可以控制反饋以包括與雷聲相對應(yīng)的背景聲音、表示雷擊的圖像、表示雷擊的顯示器的亮度或者顏色的瞬時變化、光源單元的閃爍等等的各種形式中的一個輸出。
[0151]現(xiàn)在參考圖4，控制器180控制從自然語言轉(zhuǎn)換的合成聲音以經(jīng)由音頻輸出單元152輸出[S405]，并且能夠控制反饋在輸出合成聲音時被輸出[S406]。通過控制匹配自然語言的意義的反饋以在輸出從自然語言轉(zhuǎn)換的合成聲音的過程中被輸出，控制器180能夠控制用戶以更加容易地理解自然語言的意義。[0152]在控制要經(jīng)由語音輸出模塊152輸出合成聲音的過程中輸出的反饋中，控制器180能夠基于與自然語言中的反饋相對應(yīng)的核心詞(例如，關(guān)鍵字)的存在或者不存在調(diào)節(jié)反饋的輸出時間或者合成聲音和反饋的播放時間。
[0153]如下參考詳細(xì)示例詳細(xì)地描述用于調(diào)節(jié)反饋的輸出時間的過程。
[0154][反饋輸出時間點示例1:輸出反饋以匹配核心詞的輸出]
[0155]在與反饋相對應(yīng)的核心詞存在的情況下，控制器180能夠控制要以合成聲音被輸出以匹配核心詞的輸出時間點的反饋。如下參考圖7進(jìn)行詳細(xì)的描述。
[0156]圖7和圖8是用于在輸出自然語言“明天，將會下雨”的合成聲音的過程中輸出反饋的示例的圖。在圖7中示出的示例中，合成聲音條被配置成指示合成聲音的輸出數(shù)量。配置合成聲音條的各個塊示出當(dāng)自然語言被轉(zhuǎn)換成聲音時各個字母的輸出時間的一個示例。反饋條指示反饋的輸出數(shù)量，并且可以被理解為具有根據(jù)反饋的類型的不同意義。例如，反饋的數(shù)量可以意指背景聲音的播放時間、圖像顯示的時間、對于顯示單元151的亮度逐漸地改變直到達(dá)到亮度目標(biāo)的時間、對于顯示單元151的輸出顏色逐漸地改變直到達(dá)到顏色目標(biāo)的時間、保持光源單元的照明所耗費的時間、以及對于光源單元閃爍與被確定的計數(shù)一樣多的次數(shù)所耗費的時間中的至少一個。
[0157]例如，在圖7中示出的示例中，如果反饋是表示“雨聲”的背景聲音，則匹配反饋的核心詞可以包括“雨”。因此，參考圖7，控制器180能夠控制要響應(yīng)于合成聲音中的詞“雨”的輸出起始點而輸出的反饋。
[0158]對于另一不例，參考圖8,控制器180能夠控制反饋在合成聲音中的詞“雨”的輸出中心點和反饋的中心點被設(shè)置為相互一致時被輸出。在這樣的情況下，在詞“雨”作為聲音輸出之前或者之后可以輸出反饋。
[0159]另一方面，不同于在圖7中示出的示例，控制器180可以控制要以詞“雨”的輸出的結(jié)束點和反饋的結(jié)束點被設(shè)置為相互一致的方式輸出的反饋[在附圖中未示出]。
[0160]如在上述示例的前面描述中所提及的，控制器180提取匹配反饋的核心詞，并且然后可以控制反饋的輸出時序點以被調(diào)節(jié)為與對應(yīng)于被提取的核心詞相對應(yīng)的語音的輸出時序點一致。如果與反饋相對應(yīng)的核心詞不存在，則能夠參考下面的描述中的輸出點示例2。
[0161][反饋輸出時序點示例2:輸出反饋以匹配整個合成聲音的輸出]
[0162]控制器180可以控制要被輸出的反饋以與整個合成聲音的輸出的輸出時序點一致。特別地，合成聲音的輸出一開始，控制器180就可以控制反饋將被輸出?？商孢x地，控制器180使合成聲音的輸出中心與反饋的輸出中心一致,并且然后可以控制反饋將被輸出。將會參考圖9和圖10進(jìn)行描述。為了下面的描述清楚起見，假定反饋包括表示在圖9或者圖10中示出的示例中的交通堵塞的背景聲音。
[0163]圖9和圖10是用于描述在輸出自然語言“返回漢城的交通堵塞將會開始”的合成聲音的過程中輸出反饋的示例的圖。例如，參考圖9，控制器180能夠控制反饋以被匹配合成聲音的輸出開始點的方式被輸出。
[0164]對于另一實例，參考圖10,控制器180控制合成聲音的總播放時間的中心點以與反饋的總播放時間的中心點一致，并且然后能夠控制反饋將被輸出。
[0165]另一方面，不同于圖9中示出的示例，控制器180可以控制要以合成聲音的輸出結(jié)束點和反饋的輸出結(jié)束點被設(shè)置為相互一致的方式輸出的反饋[在附圖中未示出]。
[0166]如在上面的示例的描述中所提及的，控制器180能夠控制反饋的輸出時序點以被匹配到合成聲音的輸出時序點的方式被調(diào)節(jié)。
[0167]響應(yīng)于用戶設(shè)置或者匹配反饋的核心詞的存在或者不存在可以確定反饋將會遵循反饋輸出時序點示例I還是反饋輸出時序點示例2。在反饋遵循輸出時序點示例I或者輸出時序點示例2的情況下，在合成詞被輸出之前或者之后可能需要輸出反饋。例如，如果反饋的總播放時間比合成聲音的長，則在合成聲音的輸出之前或者之后可能需要輸出反饋。在這樣的情形下，控制器180控制靜默時段以被給予在所創(chuàng)建的合成聲音的輸出開始之前的時段和在合成聲音的輸出完成之后的時段中的至少一個，從而控制在播放合成聲音的過程中要輸出的反饋。在靜默時段被添加到合成聲音的情況下，在合成聲音的靜默時段已經(jīng)結(jié)束之后自然語言可以作為聲音被輸出。但是，反饋可以保持被輸出，盡管靜默時段被輸出。用于在合成聲音的前面/后面添加靜默時段的過程可以參考圖11。
[0168]圖11是用于描述用于在合成聲音的輸出之前和之后添加靜默時段的過程的一個示例的圖。在圖11中示出的示例中，在合成聲音的總播放時間的中心點已經(jīng)被設(shè)置為與反饋的總播放時間的中心點一致之后，反饋被輸出。這樣做，如果反饋的總播放時間大于合成聲音的總播放時間，貝1J參考圖11，控制器180能夠控制要在所創(chuàng)建的合成聲音的輸出之前和之后添加的靜默時段。如果在所創(chuàng)建的合成聲音的前面和后面添加靜默時段，則添加了靜默時段的合成聲音的播放時間能夠被控制以等于或者大于反饋的播放時間。
[0169]與在圖11中示出的示例一樣，如果在所創(chuàng)建的合成聲音前面和后面添加靜默時段，則其能夠防止反饋在與反饋不具有關(guān)系的合成聲音被輸出時被輸出。例如，在移動終端100需要連續(xù)地輸出通過句子單元的第一自然語言的合成語言和通過句子單元的第二自然語言的合成語言的情況下，在輸出第二自然語言的合成語言時匹配第二自然語言的意義的第二反饋可能需要被輸出，替代匹配第一自然語言的意義的第一反饋。因此，為了防止匹配第二自然語言的合成語言或者第二自然語言的意義的第二反饋以與匹配第一自然語言的意義的第一反饋重疊的方式被輸出，并且防止匹配第二自然語言的意義的第二反饋以與匹配第一自然語言的合成語言或者第一自然語言的意義的第一反饋重疊的方式被輸出，控制器180能夠控制靜默時段以被給予第一自然語言的合成語言或者第二自然語言的合成語言。因此，雖然第一自然語言的合成語言被輸出，但是僅可以輸出第一反饋。雖然第二自然語言的合成語言被輸出，但是僅可以輸出第二反饋。
[0170]雖然圖11分別示出靜默時段被添加到所創(chuàng)建的合成時段的兩側(cè)，但是靜默時段僅可以被添加到所創(chuàng)建的合成聲音的一側(cè)。
[0171]在反饋包括背景聲音的情況下，控制器180控制合成聲音和背景聲音以合并到一個文件中并且然后輸出被合并的音頻文件，從而控制要在輸出合成聲音的過程中輸出的反饋。
[0172]現(xiàn)在參考圖4，控制器180能夠控制在輸出反饋時反饋所伴隨的振動被輸出[S407]。特別地，在反饋包括背景聲音的情況下，控制器180能夠取決于背景聲音的強(qiáng)度控制是否輸出振動。
[0173]如下參考圖12詳細(xì)描述用于除了反饋之外輸出振動的過程。首先，假定反饋包括圖12中的背景聲音。[0174]圖12是用于描述用于在輸出反饋的過程中輸出振動的過程的一個示例的圖。特別地，圖12示出在時域中劃分背景聲音的波形。參考圖12 (a)，控制器180能夠通過分析背景聲音的波形掃描其中背景聲音的振幅大于閾值的間隔。隨后，控制器180能夠?qū)τ陂撝禃r間具有比閾值大的振幅值的間隔設(shè)置為超過間隔1210?？刂破?80可以控制振動以在輸出反饋的超過間隔時被輸出。
[0175]在這樣的情況下，閾值可以包括背景聲音的平均振幅，本發(fā)明不受此限制。例如，控制器180能夠基于用戶設(shè)定值調(diào)節(jié)閾值。
[0176]在反饋的超過間隔被輸出時振動被輸出的情況下，控制器180可以控制響應(yīng)于超過間隔1210的最大振幅值與閾值的比率來確定的振動的強(qiáng)度水平。特別地，控制器180能夠控制基于公式I和公式2確定的振動的強(qiáng)度水平。
【權(quán)利要求】
1.一種移動終端，包括: 顯示單元，所述顯示單元被配置成通過句子單元顯示文本； 音頻輸出模塊，所述音頻輸出模塊被配置成輸出從將所述文本轉(zhuǎn)換成聲音而產(chǎn)生的合成聲音；以及 控制器，所述控制器被配置成生成所述合成聲音，提取所述文本的意義，并且控制匹配所述文本的意義的反饋在經(jīng)由所述音頻輸出模塊輸出合成聲音時被輸出。
2.根據(jù)權(quán)利要求1所述的移動終端，其中，如果與所述反饋相對應(yīng)的核心詞被包括在所述文本中，則所述控制器進(jìn)一步被配置成，當(dāng)所述合成聲音中的核心詞的輸出開始時，控制所述反饋將被輸出。
3.根據(jù)權(quán)利要求1所述的移動終端，其中，如果所述反饋的播放時間比所述合成聲音的播放時間長，則所述控制器控制靜默時段以被添加到在開始所述合成聲音的輸出之前的情況和在所述合成聲音的輸出的完成之后的情況中的至少一個。
4.根據(jù)權(quán)利要求3所述的移動終端，其中，添加了所述靜默時段的合成聲音的播放時間等于或者大于所述反饋的播放時間。
5.根據(jù)權(quán)利要求1所述的移動終端，其中，所述反饋包括用作所述合成聲音的背景聲音的背景聲音。
6.根據(jù)權(quán)利要求5所述的移動終端，其中，當(dāng)所述背景聲音被輸出時，所述控制器進(jìn)一步被配置成控制伴隨所述背景聲音的輸出的振動將被輸出。
7.根據(jù)權(quán)利要求6所述的移動終端，其中，所述控制器進(jìn)一步被配置成分析所述背景聲音的聲音波形，并且然`后將具有大于閾值的聲音波形的振幅的間隔設(shè)置為超過間隔，并且其中所述控制器進(jìn)一步被配置成控制所述振動以在經(jīng)由所述音頻輸出單元輸出所述超過間隔時被輸出。
8.根據(jù)權(quán)利要求7所述的移動終端，其中，所述閾值包括所述聲音波形的平均振幅。
9.根據(jù)權(quán)利要求7所述的移動終端，其中，所述控制器進(jìn)一步被配置成基于所述閾值和所述超過間隔中的最大振幅之間的比率控制所述振動的輸出強(qiáng)度將被調(diào)節(jié)。
10.根據(jù)權(quán)利要求8所述的移動終端，其中，所述振動的輸出強(qiáng)度取決于如下公式:
, ? , r 4/,r.Global MxixAmp \ aw...:-(氣)，如果卜—)； N^=Ini^tp X(..........))，(A—J疇 并且 ?1./ Global A faxAmp \
Step=-TZ- X Zwrt --..............=.......:—~.........? ?......-
NMax—、 ThreshxMd I (其中，Nlevel指示所述超過間隔中的振動強(qiáng)度水平，Int指示整數(shù)函數(shù)，Local_MaX Amp指示所述超過間隔中的最大振幅Jhreshold指示閾值，并且NMaxl6V6l指示可設(shè)置的最大振幅強(qiáng)度水平。
11.根據(jù)權(quán)利要求1所述的移動終端，其中，所述反饋包括顯示匹配所述文本的意義的圖像。
12.根據(jù)權(quán)利要求11所述的移動終端，其中，所述控制器進(jìn)一步被配置成控制圖像以在所述合成聲音被輸出時被顯示為所述顯示單元的背景屏幕。
13.根據(jù)權(quán)利要求1所述的移動終端，其中，所述控制器進(jìn)一步被配置成控制所述反饋以改變所述顯示單元的輸出顏色或者調(diào)節(jié)所述顯示單元的亮度的方式被輸出。
14.根據(jù)權(quán)利要求1所述的移動終端，其中，所述反饋包括光源的閃爍。
15.根據(jù)權(quán)利要求14所述的移動終端，其中，所述光源包括相機(jī)閃光，所述相機(jī)閃光被配置成補(bǔ)充拍攝中的光。
16.一種控制移動終端的方法，所述方法包括下述步驟: 通過句子單元顯示文本； 從將所述文本轉(zhuǎn)換成聲音產(chǎn)生合成聲音； 提取所述文本的意義； 確定匹配所述文本的意義的反饋； 輸出所述合成聲音；以及 輸出所述反饋同時輸出所述 合成聲音。
【文檔編號】H04M1/725GK103680492SQ201310453278
【公開日】2014年3月26日 申請日期:2013年9月24日 優(yōu)先權(quán)日:2012年9月24日
【發(fā)明者】金兌俊, 南允愛 申請人:Lg電子株式會社