本公開涉及一種考慮用戶方便增加其使用率的移動終端以及控制該移動終端的方法。

背景技術(shù)：

終端通常可根據(jù)其移動性而被分成移動/便攜式終端或固定終端。移動終端還可根據(jù)用戶是否能夠直接攜帶終端而被分成手持終端或車載終端。

移動終端已經(jīng)變得越來越多功能化。這些功能的示例包括數(shù)據(jù)和語音通信、經(jīng)由相機拍攝圖像和視頻、記錄音頻、經(jīng)由揚聲器系統(tǒng)播放音樂文件以及在顯示器上顯示圖像和視頻。一些移動終端包括支持玩游戲的附加功能，而其它終端被配置成多媒體播放器。最近，移動終端已經(jīng)被配置為接收允許觀看諸如視頻和電視節(jié)目的內(nèi)容的廣播和多播信號。

隨著這些功能變得更多樣化，移動終端可支持更復(fù)雜的功能，例如拍攝圖像或視頻、再現(xiàn)音樂或視頻文件、玩游戲、接收廣播信號等。通過全面地和集總地實現(xiàn)這些功能，移動終端可按照多媒體播放器或裝置的形式來具體實現(xiàn)。

人們正在努力以支持和增加移動終端的功能。這些努力包括軟件和硬件改進(jìn)以及結(jié)構(gòu)組件上的改變和改進(jìn)。

近年來，已在積極研究將光學(xué)字符讀取/識別(OCR)功能應(yīng)用于配備有相機的移動終端。OCR功能是一種使用光讀取字符(文本)的功能。應(yīng)用于移動終端的OCR功能是一種將光發(fā)射到被印刷或手寫在紙上的字母、符號和數(shù)字，將反射光轉(zhuǎn)換為電信號以及將電信號輸入到移動終端中的功能。

OCR功能可以指執(zhí)行圖像到文本的轉(zhuǎn)換的功能。即，該OCR功能包括將與包括在通過相機接收的圖像中的文本對應(yīng)的畫面信息(圖像)轉(zhuǎn)換為文本并且將從該轉(zhuǎn)換產(chǎn)生的文本輸入到移動終端中的功能。

另外，近年來，鑒于先進(jìn)的相機技術(shù)，已廣泛使用拍攝通過相機接收的圖像的拍 照功能。具體地，根據(jù)用戶請求，移動終端拍攝通過相機接收的圖像并將所拍攝的圖像輸入到移動終端中。

因此，存在對使用與相機有關(guān)的OCR功能和與相機有關(guān)的拍照功能以最佳方式按照文本的形式輸入用戶想要的信息所通過的用戶接口(UI)/用戶體驗(UX)的增長的需求。

技術(shù)實現(xiàn)要素：

因此，詳細(xì)描述的一方面在于提供一種能夠以最佳方式向移動終端輸入信息的移動終端。

詳細(xì)描述的另一目的在于提供一種提供用戶想要的信息可以以最佳方式被輸入到輸入字段中所通過的用戶界面的移動終端以及控制該移動終端的方法。

根據(jù)本發(fā)明的一方面，提供了一種移動終端，該移動終端包括：相機；觸摸屏；以及控制器，所述控制器向所述觸摸屏輸出包括與和所述相機有關(guān)的光學(xué)字符讀取(OCR)功能相結(jié)合的第一圖形對象以及與和所述相機有關(guān)的拍照功能相結(jié)合的所述第二圖形對象中的至少一個圖形對象的鍵區(qū)，其中，在所述鍵區(qū)上一同顯示所述第一圖形對象和所述第二圖形對象或者在所述鍵區(qū)上顯示所述第一圖形對象和所述第二圖形對象中的一個圖形對象，并且其中，在所述鍵區(qū)上顯示所述第一圖形對象和所述第二圖形對象中的一個圖形對象的情況下，基于向所述一個圖形對象施加預(yù)定類型的觸摸，所述控制器將一個圖形對象改變?yōu)榱硪粓D形對象。

在所述移動終端中，當(dāng)所述一個圖形對象是所述第一圖形對象時，所述另一圖形對象可以是所述第二圖形對象，以及當(dāng)所述一個圖形對象是所述第二圖形對象時，所述另一圖形對象可以是所述第一圖形對象。

在所述移動終端中，所述觸摸屏可以包括至少一個或更多個輸入字段，并且基于向所述至少一個或更多個輸入字段中的一個施加觸摸，所述控制器可以輸出包括所述第一圖形對象和所述第二圖形對象中的至少一個的所述鍵區(qū)。

在所述移動終端中，根據(jù)與施加所述觸摸的所述輸入字段相結(jié)合的能夠被輸入的信息類型而不同的所述圖形對象可以被輸出至所述鍵區(qū)。

在所述移動終端中，當(dāng)作為信息類型的的文本能夠被輸入至的所述輸入字段被觸摸時，所述第一圖形對象可以被顯示在所述鍵區(qū)上，并且當(dāng)作為信息類型的圖像能夠 被輸入至的所述輸入字段被觸摸時，所述第二圖形對象可以被顯示在所述鍵區(qū)上。

在所述移動終端中，當(dāng)所述第一圖形對象和所述第二圖形對象中的一個被選擇時，所述控制器可以向所述觸摸屏輸出通過所述相機接收的圖像。

在所述移動終端中，當(dāng)所述第一圖形對象被選擇時，所述控制器可以向所述觸摸屏的一個區(qū)域輸出圖像，并且當(dāng)所述第二圖形對象被選擇時，所述控制器可以向所述觸摸屏的所有區(qū)域輸出圖像。

在所述移動終端中，所述一個區(qū)域可以根據(jù)被施加至所述第一圖形對象的觸摸類型而不同。

在所述移動終端中，當(dāng)?shù)谝活愋偷挠|摸被施加至所述第一圖形對象時，所述控制器可以在已選擇的輸入字段上輸出圖像，并且當(dāng)與所述第一類型的觸摸不同的第二類型的觸摸被施加至所述第一圖形對象時，所述控制器可以向所述鍵區(qū)的至少一部分輸出圖像。

在所述移動終端中，在基于對所述第一圖形對象的選擇向所述觸摸屏輸出圖像的狀態(tài)下，當(dāng)拖動觸摸被施加至與包括在圖像中的文本對應(yīng)的畫面信息時，所述控制器可以選擇該拖動觸摸被施加至的畫面信息。

在所述移動終端中，基于用戶請求，所述控制器可以將所選擇的畫面信息轉(zhuǎn)換為文本，并且將從所述轉(zhuǎn)換產(chǎn)生的文本輸入到已選擇的輸入字段中。

在所述移動終端中，所述畫面信息可以基于在第一方向上施加的拖動觸摸而被選擇，并且當(dāng)在與所述第一方向垂直的第二方向上向所選擇的畫面信息施加所述拖動觸摸時，所述控制器可以取消對所選擇的畫面信息的至少一部分的選擇。

在所述移動終端中，基于用戶請求，所述控制器可以將與包括在圖像中的文本對應(yīng)的所有片段的畫面信息轉(zhuǎn)換為文本，可以基于在第一方向上施加的拖動觸摸來選擇所述畫面信息，并且當(dāng)在與第一方向相反的第三方向上向包括在圖像中的畫面信息施加拖動觸摸且隨后進(jìn)行用戶請求時，所述控制器可以將與包括在圖像中的文本對應(yīng)的畫面信息的除了在第三方向上施加拖動觸摸的部分之外的部分轉(zhuǎn)換為文本。

在所述移動終端中，在基于對所述第二圖形對象的選擇向所述觸摸屏輸出圖像的狀態(tài)下，基于向拍照按鈕施加觸摸，所述控制器可以拍攝圖像并且在已選擇的輸入字段上顯示所獲取的圖像。

在所述移動終端中，當(dāng)在一個方向上向圖像施加拖動觸摸并且隨后向拍照按鈕施 加觸摸時，所述控制器可以以與拖動觸摸被施加至的區(qū)域?qū)?yīng)的圖像未被輸出的這種方式來拍攝圖像。

根據(jù)下文給出的詳細(xì)描述，本發(fā)明的適用性的進(jìn)一步范圍將變得更加明顯。然而，應(yīng)當(dāng)理解的是，由于根據(jù)詳細(xì)描述，本發(fā)明的精神和范圍內(nèi)的各種改變和修改對于本領(lǐng)域技術(shù)人員而言將變得顯而易見，因此僅通過例示的方式給出了表示本發(fā)明的優(yōu)選實施方式的詳細(xì)描述和具體示例。

附圖說明

根據(jù)下文給出的詳細(xì)描述和附圖，本發(fā)明將被更加全面地理解，這些附圖僅是例示進(jìn)而不是對本發(fā)明的限制，并且，在附圖中：

圖1A是根據(jù)本公開的移動終端的框圖；

圖1B和圖1C是從不同方向看時移動終端的一個示例的概念圖；

圖2是用于描述根據(jù)本發(fā)明的典型控制方法的流程圖；

圖3A、圖3B的(a)、圖3B的(b)和圖3B的(c)是用于描述參照圖2描述的控制方法的概念圖；

圖4A的(a)、圖4A的(b)和圖4A的(c)以及圖4B的(a)、圖4B的(b)和圖4B的(c)是用于描述根據(jù)本發(fā)明的一種實施方式的使用OCR功能和拍照功能輸入信息的方法的概念圖；

圖5是用于描述根據(jù)本發(fā)明的一種實施方式的向鍵區(qū)輸出與OCR功能相結(jié)合的第一圖形對象和與拍照功能相結(jié)合的第二圖形對象的方法的流程圖；

圖6A的(a)和圖6A的(b)、圖6B的(a)、圖6B的(b)、圖6B的(c)、圖6C以及圖6D的(a)和6D的(b)是用于描述參照圖5描述的方法的概念圖；

圖7是用于描述根據(jù)本發(fā)明的一種實施方式的輸出通過相機接收的圖像的方法和使用所輸出的圖像輸入文本的方法的流程圖；

圖8A的(a)、圖8A的(b)、圖8A的(c)和圖8A的(d)以及圖8B的(a)、圖8B的(b)、圖8B的(c)和圖8B的(d)是用于描述參照圖7描述的方法的概念圖；

圖9是用于描述根據(jù)本發(fā)明的一種實施方式的轉(zhuǎn)換與包括在通過相機接收的圖像中的文本對應(yīng)的畫面信息的方法的流程圖；

圖10A的(a)、圖10A的(b)和圖10A的(c)、圖10B的(a)、圖10B的(b)和圖10B的(c)、圖11A的(a)、圖11A的(b)、圖11A的(c)和圖11A的(d)以及圖11B的(a)、圖11B(b)和圖11B(c)是用于描述參照圖9描述的方法的概念圖；

圖12A的(a)、圖12A的(b)和圖12A的(c)和圖12B的(a)、圖12B的(b)和圖12B的(c)是用于描述在選擇與拍照功能相結(jié)合的第二圖形對象的情況下在輸入字段中輸入拍攝的圖像的方法的概念圖；

圖13是用于描述根據(jù)本發(fā)明的一種實施方式的轉(zhuǎn)換或獲取與包括在通過相機接收的圖像中的文本對應(yīng)的一部分畫面信息的方法的流程圖；以及

圖14A的(a)、圖14A的(b)、圖14A的(c)和圖14A的(d)和圖14B的(a)、圖14B的(b)、圖14B的(c)和圖14B的(d)是用于描述參照圖13描述的方法的概念圖。

具體實施方式

現(xiàn)在將參照附圖，根據(jù)本文公開的示例性實施方式詳細(xì)給出描述。為了參照附圖簡要描述，可為相同或等同的組件提供相同的標(biāo)號，其描述將不再重復(fù)。通常，諸如“模塊”和“單元”的后綴可用于指代元件或組件。本文使用這種后綴僅是為了方便說明書的描述，后綴本身并非旨在給予任何特殊含義或功能。在本公開中，為了簡明起見，相關(guān)領(lǐng)域的普通技術(shù)人員熟知的內(nèi)容已被省略。使用附圖來幫助容易地理解各種技術(shù)特征，應(yīng)該理解，本文呈現(xiàn)的實施方式不受附圖的限制。因此，本公開應(yīng)該被解釋為擴展至附圖中具體示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。

本文呈現(xiàn)的移動終端可利用各種不同類型的終端來實現(xiàn)。這些終端的示例包括蜂窩電話、智能電話、用戶設(shè)備、膝上型計算機、數(shù)字廣播終端、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、導(dǎo)航儀、便攜式計算機(PC)、石板PC、平板PC、超級本、可穿戴裝置(例如，智能手表、智能眼鏡、頭戴式顯示器(HMD))等。

僅通過非限制性示例，參照特定類型的移動終端進(jìn)行進(jìn)一步的描述。然而，這些教導(dǎo)同樣適用于其它類型的終端，例如上述那些類型。另外，這些教導(dǎo)也可適用于諸如數(shù)字TV、臺式計算機等的固定終端。

現(xiàn)在參照圖1A至圖1C，其中圖1A是根據(jù)本公開的移動終端的框圖，圖1B和圖1C是從不同方向看時移動終端的一個示例的概念圖。

移動終端100被示出為具有諸如無線通信單元110、輸入單元120、感測單元140、輸出單元150、接口單元160、存儲器170、控制器180和電源單元190的組件。將理解，不要求實現(xiàn)所示的所有組件，可另選地實現(xiàn)更多或更少的組件。

現(xiàn)在參照圖1A，移動終端100被示出為具有利用多個通常實現(xiàn)的組件配置的無線通信單元110。例如，無線通信單元110通常包括允許移動終端100與無線通信系統(tǒng)或者移動終端所在的網(wǎng)絡(luò)之間的無線通信的一個或更多個組件。

無線通信單元110通常包括允許通信(例如，移動終端100與無線通信系統(tǒng)之間的無線通信、移動終端100與另一移動終端之間的通信、移動終端100與外部服務(wù)器之間的通信)的一個或更多個模塊。另外，無線通信單元110通常包括將移動終端100連接到一個或更多個網(wǎng)絡(luò)的一個或更多個模塊。為了方便這些通信，無線通信單元110包括廣播接收模塊111、移動通信模塊112、無線互聯(lián)網(wǎng)模塊113、短距離通信模塊114和位置信息模塊115中的一個或更多個。

輸入單元120包括用于獲得圖像或視頻的相機121、麥克風(fēng)122(是用于輸入音頻信號的一種音頻輸入裝置)以及用于使得用戶能夠輸入信息的用戶輸入單元123(例如，觸摸鍵、按鍵、機械鍵、軟鍵等)。數(shù)據(jù)(例如，音頻、視頻、圖像等)通過輸入單元120來獲得，并且可由控制器180根據(jù)裝置參數(shù)、用戶命令及其組合來分析和處理。

通常利用被配置為感測移動終端的內(nèi)部信息、移動終端的周圍環(huán)境、用戶信息等的一個或更多個傳感器來實現(xiàn)感測單元140。例如，在圖1A中，感測單元140被示出為具有接近傳感器141和照度傳感器142。

如果需要，感測單元140可另選地或另外地包括其它類型的傳感器或裝置，例如觸摸傳感器、加速度傳感器、磁傳感器、重力傳感器、陀螺儀傳感器、運動傳感器、RGB傳感器、紅外(IR)傳感器、手指掃描傳感器、超聲傳感器、光學(xué)傳感器(例如，相機121)、麥克風(fēng)122、電池電量計、環(huán)境傳感器(例如，氣壓計、濕度計、溫度計、輻射檢測傳感器、熱傳感器和氣體傳感器等)和化學(xué)傳感器(例如，電子鼻、保健傳感器、生物傳感器等)等。移動終端100可被配置為利用從感測單元140獲得的信息，具體地講，從感測單元140的一個或更多個傳感器獲得的信息及其組合。

輸出單元150通常被配置為輸出各種類型的信息，例如音頻、視頻、觸覺輸出等。輸出單元150被示出為具有顯示單元151、音頻輸出模塊152、觸覺模塊153和光學(xué)輸出模塊154。

為了方便觸摸屏，顯示單元151可具有與觸摸傳感器的中間層結(jié)構(gòu)或集成結(jié)構(gòu)。觸摸屏可在移動終端100與用戶之間提供輸出接口，并且用作在移動終端100與用戶之間提供輸入接口的用戶輸入單元123。

接口單元160用作與可連接到移動終端100的各種類型的外部裝置的接口。例如，接口單元160可包括任何有線或無線端口、外部電源端口、有線或無線數(shù)據(jù)端口、存儲卡端口、用于連接具有標(biāo)識模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等。在一些情況下，移動終端100可響應(yīng)于外部裝置連接到接口單元160而執(zhí)行與連接的外部裝置關(guān)聯(lián)的各種控制功能。

存儲器170通常被實現(xiàn)為存儲用于支持移動終端100的各種功能或特征的數(shù)據(jù)。例如，存儲器170可被配置為存儲在移動終端100中執(zhí)行的應(yīng)用程序、用于移動終端100的操作的數(shù)據(jù)或指令等。這些應(yīng)用程序中的一些應(yīng)用程序可經(jīng)由無線通信從外部服務(wù)器下載。其它應(yīng)用程序可在制造或出廠時安裝在移動終端100內(nèi)，針對移動終端100的基本功能(例如，接電話、打電話、接收消息、發(fā)送消息等)，通常是這種情況。常見的是，應(yīng)用程序被存儲在存儲器170中，被安裝在移動終端100中，并由控制器180執(zhí)行以執(zhí)行移動終端100的操作(或功能)。

除了與應(yīng)用程序關(guān)聯(lián)的操作以外，控制器180通常還用于控制移動終端100的總體操作。控制器180可通過處理經(jīng)由圖1A所描繪的各種組件輸入或輸出的信號、數(shù)據(jù)、信息等或者激活存儲在存儲器170中的應(yīng)用程序來提供或處理適合于用戶的信息或功能。作為一個示例，控制器180根據(jù)存儲在存儲器170中的應(yīng)用程序的執(zhí)行來控制圖1A至圖1C所示的一些或所有組件。

電源單元190可被配置為接收外部電力或提供內(nèi)部電力，以便供應(yīng)對包括在移動終端100中的元件和組件進(jìn)行操作所需的適當(dāng)電力。電源單元190可包括電池，所述電池可被配置為嵌入終端主體中，或者被配置為可從終端主體拆卸。

至少一些上述部件可以以協(xié)作的方式來操作，以實現(xiàn)對根據(jù)后續(xù)要說明的各種實施方式的玻璃型終端的操作或控制方法。對玻璃型終端的操作或控制方法可以在該玻璃型終端上通過驅(qū)動存儲在存儲器170中的至少一個應(yīng)用程序來實現(xiàn)。

能夠包括在上述組成元件當(dāng)中的至少一個的根據(jù)本發(fā)明的一種實施方式的移動終端輸出鍵區(qū)。

鍵區(qū)是一種能使文本、表情符號、圖像等被輸入到在觸摸屏151中包括的輸入字段(輸入?yún)^(qū)、輸入窗口等)中的手段，并且被理解為以軟件實現(xiàn)的鍵區(qū)、鍵盤等。鍵區(qū)被稱為鍵區(qū)畫面信息、鍵盤、鍵盤畫面信息等。

輸入字段是指用于從用戶輸入信息的被輸出到觸摸屏151的畫面信息的字段(或區(qū)域)。例如，輸入字段是指與由用戶向其輸入信息(數(shù)據(jù))(例如，圖像、文件、文本等)的記事簿有關(guān)的畫面信息的區(qū)域、與由用戶輸入信息的日程表有關(guān)的畫面信息的區(qū)域等。

作為一個示例，鍵區(qū)基于向輸入字段施加觸摸(基于對輸入字段進(jìn)行的選擇或基于對輸入字段執(zhí)行的激活)而被輸出至觸摸屏151。

另一方面，根據(jù)本發(fā)明的移動終端使用通過相機121接收的圖像來執(zhí)行OCR功能。該OCR功能是指將與包括在圖像中的文本對應(yīng)的畫面信息(圖像)轉(zhuǎn)換為文本的功能。

控制器180在被顯示在觸摸屏151上的輸入字段中顯示通過執(zhí)行OCR功能而產(chǎn)生的文本。例如，控制器180向被輸出至觸摸屏151的畫面信息的輸入字段輸入通過執(zhí)行OCR而產(chǎn)生的文本。作為另一示例，在文本通過執(zhí)行OCR功能而產(chǎn)生之后，當(dāng)將觸摸施加至由轉(zhuǎn)換產(chǎn)生的文本要被輸入至的輸出字段時，控制器180將由轉(zhuǎn)換產(chǎn)生的文本輸入到施加觸摸的輸入字段中。作為又一示例，在與包括在圖像中的文本對應(yīng)的至少一部分畫面信息通過OCR被選擇之后，當(dāng)從至少該部分開始的拖動觸摸從被輸出至觸摸屏151的輸入字段被釋放時，控制器180可以將與畫面信息對應(yīng)的文本輸入到該輸入字段中。

另一方面，根據(jù)本發(fā)明的移動終端使用通過相機121接收的圖像來執(zhí)行拍照功能。拍照功能是指拍攝通過相機121接收的圖像的功能。所拍攝的圖像被存儲在存儲器170中或者被顯示在已選擇的輸入字段上。

參照附圖，以下將詳細(xì)描述可以使用鍵區(qū)、輸入字段、OCR功能和拍照功能以最佳方式輸入信息的方法。

圖2是用于描述根據(jù)本發(fā)明的典型控制方法的流程圖。圖3A至圖3B的(c)是用于描述參照圖2描述的控制方法的概念圖。

首先，參照圖2，根據(jù)本發(fā)明，執(zhí)行接收鍵區(qū)輸出請求的步驟(S210)。具體地，控制器180以各種方式接收鍵區(qū)輸出請求。

例如，當(dāng)觸摸被施加至包括在觸摸屏151中的任一輸入字段時，控制器180將被施加至觸摸字段的觸摸確定為鍵區(qū)輸出請求?；谟|摸在輸入字段上的施加，控制器180在觸摸屏151的輸出區(qū)域的至少一部分上顯示鍵區(qū)200。

作為另一示例，在與鍵區(qū)輸出功能相結(jié)合的圖標(biāo)被顯示在觸摸屏151上的情況下，基于對該圖標(biāo)的選擇，控制器180在觸摸屏151的輸出區(qū)域的至少一部分上顯示鍵區(qū)200。

所輸出的鍵區(qū)200以各種方式從觸摸屏151中消失。例如，在鍵區(qū)200被輸出的狀態(tài)下，如果將觸摸施加至除了鍵區(qū)200被輸出至的區(qū)域之外的區(qū)域，則控制器180使該鍵區(qū)200消失。

作為另一示例，鍵區(qū)200包括與使鍵區(qū)200消失的功能相結(jié)合的按鈕(圖標(biāo)或按鍵)。在該情況下，基于對該按鈕的選擇，控制器180使所輸出的鍵區(qū)200從觸摸屏151中消失。

之后，根據(jù)本發(fā)明，基于鍵區(qū)輸出請求，執(zhí)行輸出包括與和相機121相關(guān)的OCR功能相結(jié)合的第一圖形對象以及與和相機121相關(guān)的拍照功能相結(jié)合的第二圖形對象的鍵區(qū)200的步驟(S220)。

具體地，基于鍵區(qū)輸出請求，控制器180向觸摸屏151輸出包括與和相機121相關(guān)的光學(xué)字符讀取(OCR)功能相結(jié)合的第一圖形對象300a以及與和相機121相關(guān)的拍照功能相結(jié)合第二圖形對象300b中的至少一個的鍵區(qū)200。

作為一個示例，圖3A例示了與消息相關(guān)的應(yīng)用的執(zhí)行畫面被輸出至觸摸屏151。該執(zhí)行畫面包括用于輸入信息(文本、圖像、運動圖像或表情符號imoticon)的輸入字段210。在這一點上，輸入字段210可以被理解為顯示由用戶輸入的信息的區(qū)域。

參照圖3A，基于向包括在觸摸屏151中的輸入字段210施加觸摸，控制器180向觸摸屏151的輸出區(qū)域的至少一部分輸出鍵區(qū)200。

此時，如圖3A所示，第一圖形對象300a和第二圖形對象300b一同被顯示在鍵區(qū)200上。

另一方面，如圖3B的(a)所示，第一圖形對象300a和第二圖形對象300b中的僅一個圖形對象(例如，第一圖形對象300a)可以被顯示在鍵區(qū)200上。

通過用戶的設(shè)置或控制器的控制來確定是第一圖形對象300a和第二圖形對象300b一同被顯示在鍵區(qū)200上還是第一圖形對象300a和第二圖形對象300b中的僅一個圖形對象被顯示在鍵區(qū)200上。

在這一點上，作為一個示例，基于可以輸入的與包括在觸摸屏151中的輸入字段相結(jié)合的信息的類型，控制器180確定是第一圖形對象300a和第二圖形對象300b一同被顯示在鍵區(qū)200上還是第一圖形對象300a和第二圖形對象300b中的僅一個圖形對象被顯示在鍵區(qū)200上。

例如，在可以被輸入到輸入字段中的信息的類型包括文本和圖像兩者的情況下，第一圖形對象300a和第二圖形對象300b全部被顯示在鍵區(qū)200上。

作為另一示例，在可以被輸入到輸入字段中的信息的類型是文本的情況下，控制器180僅向鍵區(qū)200輸出與OCR功能相結(jié)合的第一圖形對象300a。作為另一示例，在可以被輸入到輸入字段中的信息的類型是圖像的情況下，僅與拍照功能相結(jié)合的第二圖形對象300b被輸出至鍵區(qū)200。

另外，控制器180以各種方式輸出第一圖形對象300a和第二圖形對象300b。以下將參照圖5和圖6A的(a)至圖6D的(b)更詳細(xì)地描述與此有關(guān)的內(nèi)容。

返回參照圖3B的(a)至圖3B的(c)，在第一圖形對象300a和第二圖形對象300b中的一個圖形對象被顯示在鍵區(qū)200上的情況下，基于向該一個圖形對象施加預(yù)定類型的觸摸，控制器180將該一個圖形對象改變?yōu)榱硪粓D形對象。

在這一點上，預(yù)定類型的觸摸是與改變被顯示在鍵區(qū)200上的圖形對象的功能相結(jié)合的觸摸。作為該預(yù)定類型的觸摸，存在各種類型的觸摸。

例如，各種類型的觸摸包括短(或敲擊)觸摸、長觸摸、雙觸摸、多觸摸、拖動觸摸、輕拂觸摸、縮進(jìn)觸摸、放大觸摸、滑動觸摸、懸停觸摸等。

以下將更詳細(xì)地描述各種類型的觸摸。

短(或敲擊)觸摸是使得觸摸對象(例如，手指或觸控筆)與觸摸屏151接觸并且之后在給定時間內(nèi)將該觸摸對象與觸摸屏151分開的觸摸(該觸摸在被施加至觸摸屏151之后在給定時間內(nèi)被釋放)。例如，短(或敲擊)觸摸是觸摸對象被保持為在短時間內(nèi)與觸摸屏151接觸(類似于用鼠標(biāo)的單擊)的觸摸。

長觸摸是使得觸摸對象與觸摸屏151接觸并且之后在給定時間內(nèi)停留在那里的觸摸。例如，長觸摸是使用觸摸對象施加至觸摸屏151并且之后被保持達(dá)給定時間的 觸摸。更具體地，長觸摸是在觸摸屏151上的一個點處被保持達(dá)給定時間之后被釋放的觸摸。另外，長觸摸可以被理解為與觸摸對象被保持為在給定時間或更長時間內(nèi)與觸摸屏151接觸的觸摸并保持操作對應(yīng)的觸摸。

雙觸摸是指在給定時間內(nèi)向觸摸屏151連續(xù)施加至少兩次的短觸摸。

通過用戶的設(shè)置來確定在描述短觸摸、長觸摸和雙觸摸時使用的給定時間。

多觸摸是向觸摸屏151上的至少兩個接觸點大致同時施加的觸摸。

拖動觸摸是向觸摸屏151上的第一點施加并且沿一個方向向觸摸屏151上的與該第一點不同的第二點滑動且從該第二點被釋放的觸摸。

具體地，拖動觸摸是使得觸摸對象與觸摸屏151上的第一點接觸、沿著一個方向向觸摸屏151上的與該第一點不同的第二點拖動并且與該第二點分開的觸摸。

另外，拖動觸摸可以指被施加至觸摸屏151上的一個點并且隨后從該一個點持續(xù)被滑動的觸摸。

輕拂觸摸是指在給定時間內(nèi)施加的拖動觸摸。具體地，輕拂觸摸是使得與觸摸屏151上的一個點接觸的觸摸對象在給定時間內(nèi)與觸摸屏151分開的觸摸。換言之，輕拂觸摸被理解為以預(yù)定速度或更高速度施加的拖動觸摸。

滑動觸摸是按照直線施加的拖動觸摸。

縮進(jìn)觸摸(pinch-in touch)是分別被施加至觸摸屏151上的兩個不同點(兩個單獨定位的點)的第一和第二觸摸，并且第一和第二觸摸中的至少一個朝向另一個滑動。例如，縮進(jìn)觸摸是通過使得兩個手指分別與觸摸屏151上的兩個單獨定位的點接觸并且在該狀態(tài)下使這兩個手指之間的距離減小的操作實現(xiàn)的觸摸。

放大觸摸(pinch-out touch)是分別被施加至觸摸屏151上的兩個不同點(兩個單獨定位的點)的第一和第二觸摸，并且第一和第二觸摸中的至少一個離開另一個而滑動。例如，放大觸摸是與使得兩個手指分別與觸摸屏151上的兩個單獨定位的點接觸并且在該狀態(tài)下使這兩個手指之間的距離增大(兩個手指彼此離開地移動)的操作對應(yīng)的觸摸。

懸停觸摸是與觸摸對象在與觸摸屏151分開而不與觸摸屏151進(jìn)行接觸的狀態(tài)下在空間中移動的操作對應(yīng)的觸摸。懸停觸摸的一個示例是參照圖1A描述的接近觸摸。例如，懸停觸摸是與觸摸對象在被定位為與觸摸屏151分開的狀態(tài)下在給定時間或更長時間內(nèi)停留在空間中的某個點處的操作對應(yīng)的觸摸。

在本說明書中，例如，長觸摸被描述為與將顯示在鍵區(qū)200上的圖形對象改變?yōu)椴煌瑘D形對象的功能相結(jié)合的預(yù)定類型的觸摸，該預(yù)定類型的觸摸是長觸摸的示例。

如圖3B的(a)所示，在第一圖形對象300a和第二圖形對象300b中的僅一個圖形對象(例如，圖形對象300a)被顯示在鍵區(qū)200上的情況下，如圖3B的(b)所示，控制器180檢測預(yù)定類型的觸摸(長觸摸)被施加至該一個圖形對象300a。

基于預(yù)定類型觸摸(長觸摸)的施加，如圖3B的(c)所示，控制器180將該一個圖形對象300a改變?yōu)榱硪粓D形對象300b。

此時，當(dāng)該一個圖形對象是第一圖形對象300a時，另一圖形對象是第二圖形對象300b。當(dāng)該一個圖形對象是第二圖形對象300b時，另一圖形對象是第一圖形對象300a。作為一個示例，該操作被理解為切換操作。

采用該配置，根據(jù)本發(fā)明，鍵區(qū)200被設(shè)置為能使OCR功能或拍照功能以更加便捷的方式被選擇。

參照附圖，以下將更詳細(xì)地描述使用與OCR功能相結(jié)合的第一圖形對象300a和與拍照功能相結(jié)合的第二圖形對象300b來輸入各條信息的方法。

圖4A的(a)至圖4B的(c)是用于描述根據(jù)本發(fā)明的一種實施方式的使用OCR功能和拍照功能輸入信息的方法的概念圖。

當(dāng)選擇(觸摸)與OCR功能相結(jié)合的第一圖形對象300a和與拍照功能相結(jié)合的第二圖形對象300b中的一個時，控制器180輸出通過相機121接收的圖像320。

通過相機121接收的圖像320被稱為預(yù)覽圖像。該預(yù)覽圖像是指通過相機121接收的并且實時顯示的圖像。包括在預(yù)覽圖像中的畫面信息(圖像等)基于拍攝對象或移動終端100的運動而被改變。

另一方面，當(dāng)選擇與OCR功能相結(jié)合的第一圖形對象300a時，控制器180向觸摸屏151的一個區(qū)域輸出圖像320。當(dāng)選擇與拍照功能相結(jié)合的第二對象300b時，控制器180向觸摸屏151的所有輸出區(qū)域輸出圖像320。

觸摸屏151的輸出區(qū)域可以與畫面信息可以被輸出至所有區(qū)域?qū)?yīng)，并且可以指在所有區(qū)域當(dāng)中的除了狀態(tài)欄之外的區(qū)域。

如圖4A的(a)所示，當(dāng)選擇與和相機121相關(guān)的OCR功能相結(jié)合的第一圖形對象300a時，如圖4A的(b)所示，控制器180向觸摸屏151的一個區(qū)域輸出通過相機121接收的圖像320。該一個區(qū)域根據(jù)被施加至第一圖形對象300a的觸摸的類 型而不同。

以下將參照圖7和圖8A的(a)至圖8B的(d)更詳細(xì)地描述與此有關(guān)的內(nèi)容。

如圖4B的(a)所示，當(dāng)選擇與和相機121相關(guān)的拍照功能相結(jié)合的第二圖形對象300b時，如圖4B的(b)所示，控制器180向觸摸屏151的所有輸出區(qū)域輸出通過相機121接收的圖像320。

然而，并不對此施加限制。雖然選擇與OCR功能相結(jié)合的第一圖形對象300a，但是控制器180以將通過相機121接收的圖像320輸出至觸摸屏151的所有輸出區(qū)域的這種方式來控制觸摸屏151。

返回參照圖4A的(a)至圖4A的(c)，當(dāng)相機121面向印刷有文本的拍攝對象402時，如圖4A的(b)所示，通過相機121接收的圖像320包括與文本對應(yīng)的畫面信息(圖像)。

此時，如圖4A的(b)所示，當(dāng)將預(yù)定類型的觸摸(例如，拖動觸摸)施加至與包括在被輸出至觸摸屏151的圖像320中的文本對應(yīng)的畫面信息340時，如圖4A的(c)所示，控制器180將該拖動觸摸被施加至的畫面信息340轉(zhuǎn)換為文本410。

具體地，基于預(yù)定類型的觸摸(拖動觸摸)在圖像320上的施加，控制器180選擇包括在圖像320中的畫面信息。此時，所選擇的畫面信息是與由被施加的預(yù)定類型的觸摸(拖動觸摸)繪制的路徑對應(yīng)的畫面信息。

在與文本對應(yīng)的畫面信息被包括在所選擇的畫面信息中的情況下，基于對與OCR功能(即，將圖像轉(zhuǎn)換為文本的功能或執(zhí)行向文本的轉(zhuǎn)換的功能)相結(jié)合的按鈕330的選擇，控制器180將該畫面信息轉(zhuǎn)換為文本。

之后，控制器180將從該轉(zhuǎn)換產(chǎn)生的文本410輸入(顯示)到輸入字段400(例如，已選擇的輸入字段)中(上)。

另一方面，如圖4B的(b)所示，在選擇與拍照功能相結(jié)合的圖形對象300b的情況下，通過相機121接收的圖像320和執(zhí)行拍照操作的拍照按鈕360被顯示在觸摸屏151上。

當(dāng)選擇拍照按鈕360時，控制器180拍攝通過相機121接收的圖像320，并且如圖4B的(c)所示，在輸入字段400(例如，已選擇的輸入字段)上顯示拍攝的圖像420。

在圖4A的(a)至圖4A的(c)中，被輸入到輸入字段中的信息的類型為文本。 在圖4B的(a)至圖4B的(c)中，被輸入到輸入字段中的信息的類型為圖像。

采用該配置，根據(jù)本發(fā)明，在信息被輸入到輸入字段中的情況下，提供了以更加便捷的方式選擇文本或圖像并且該文本或圖像被輸入到(施加至)輸入字段中的方法和UI/UX。

參照附圖，以下將更詳細(xì)地描述將參照圖3描述的第一圖形對象300a和第二圖形對象300b中的一個圖形對象輸出至鍵區(qū)200的方法。

圖5是用于描述根據(jù)本發(fā)明的一種實施方式的向鍵區(qū)200輸出與OCR功能相結(jié)合的第一圖形對象300a和與拍照功能相結(jié)合的第二圖形對象300b的方法的流程圖。圖6A的(a)至圖6D的(b)是用于描述參照圖5描述的方法的概念圖。

參照圖5，根據(jù)本發(fā)明，執(zhí)行選擇輸入字段的步驟(S510)。

參照圖6A的(a)，觸摸屏151包括至少一個輸入字段500a或500b。

當(dāng)將觸摸施加至包括在觸摸屏151中的至少一個或更多個輸入字段中的至少一個輸入字段時，控制器180選擇觸摸被施加至的輸入字段。

此時，所選擇的輸入字段與預(yù)先選擇的輸入字段不同。例如，指示選擇了輸入字段的指示符被顯示在所選擇的輸入字段上。另外，光標(biāo)被顯示在所選擇的輸入字段上。另外，在選擇輸入字段之前顯示預(yù)定提醒信息的狀態(tài)下，當(dāng)觸摸被施加至輸入字段時，預(yù)定提醒信息不被顯示或以較暗(更輕淡)的方式在所選擇的輸入字段上被顯示。

基于向至少一個或更多個輸入字段中的一個施加觸摸，控制器180向觸摸屏151輸出包括與OCR功能相結(jié)合的第一圖形對象300a和與拍照功能相結(jié)合的第二圖形對象300b中的至少一個的鍵區(qū)200。

此時，根據(jù)可以輸入的與觸摸被施加至的輸入字段相結(jié)合的信息的類型而不同的圖形對象被輸出至鍵區(qū)。

為此，控制器180確定與所選擇的輸入字段相結(jié)合的屬性(例如，可以輸入的信息的類型)是文本還是圖像(S520)。

在該屬性(可以輸入的信息的類型)是文本的情況下，控制器180向觸摸屏151輸出包括與OCR功能相結(jié)合的第一圖形對象300a的鍵區(qū)200(S530)。

另一方面，在該屬性(可以輸入的信息的類型)是圖像的情況下，控制器180向觸摸屏151輸出包括與拍照功能相結(jié)合的圖形對象300b的鍵區(qū)200(S540)。

此時，該鍵區(qū)200僅包括第一圖形對象300a或僅包括第二圖形對象300b。

例如，如圖6A的(a)所示，觸摸屏151包括至少一個輸入字段500a或500b。此時，至少一個或更多個輸入字段中的一個是作為信息類型的文本可以被輸入至的輸入字段500a，并且另一個輸入字段是作為信息類型的圖像可以被輸入至的輸入字段500b。

如圖6A的(a)所示，當(dāng)對作為信息類型的文本可以被輸入至的輸入字段500a進(jìn)行觸摸時，如圖6A的(b)所示，控制器180向觸摸屏151輸出包括與OCR功能相結(jié)合的第一圖形對象300a的鍵區(qū)200。即，基于對作為信息類型的文本可以被輸入至的輸入字段500a的觸摸，鍵區(qū)200包括與OCR功能相結(jié)合的第一圖形對象300a。

如圖6B的(a)所示，當(dāng)對作為信息類型的圖像可以被輸入至的輸入字段500b進(jìn)行觸摸時，如圖6B的(b)所示，控制器180向觸摸屏151輸出包括與拍照功能相結(jié)合的第二圖形對象300b的鍵區(qū)200。即，基于對作為信息類型的圖像可以被輸入至的輸入字段500b的觸摸，鍵區(qū)200包括與拍照功能相結(jié)合的第二圖形對象300b。

在包括第二圖形對象300b的鍵區(qū)200被輸出的情況下，如圖6B的(b)所示，當(dāng)觸摸被施加至作為信息類型的文本可以被輸入至的輸入字段500a時，如圖6B的(c)所示，控制器180將在鍵區(qū)200上顯示的第二圖形對象300b改變?yōu)榈谝粓D形對象300a。

盡管未示出，但在顯示第一圖形對象300a的鍵區(qū)200被顯示在觸摸屏151上的狀態(tài)下，將觸摸施加至作為信息類型的文本可以被輸入至的輸入字段500b，控制器180將被顯示在鍵區(qū)200上的圖形對象300a改變?yōu)榈诙D形對象300b。

另一方面，本發(fā)明不限于上述實施方式。例如，控制器180可以在除了鍵區(qū)200之外的區(qū)域上顯示第一圖形對象300a和第二圖形對象300b中的至少一個。

例如，如圖6C所示，與OCR功能相結(jié)合的第一圖形對象300a被顯示在鍵區(qū)200上，與拍照功能相結(jié)合的第二圖形對象300b被顯示在作為信息類型的圖像可以被輸入至的輸入字段500c的附近。

盡管未示出，但將此反過來也是可行的。即，與拍照功能相結(jié)合的第二圖形對象300b可以被顯示在鍵區(qū)200上，并且第一圖形對象300a可以被顯示在作為信息類型的文本可以被輸入至的輸入字段的附近。

基于對輸入字段的選擇，第一圖形對象300a和第二圖形對象300b中的至少一個被顯示在輸入字段的附近。即，第一圖形對象300a和第二圖形對象300b中的至少一 個可以默認(rèn)地被顯示在輸入字段的附近，并且基于對輸入字段的選擇(觸摸)，該輸入字段可以被輸出至該輸入字段的附近。

例如，在第一圖形對象300a和第二圖形對象300b未被輸出的狀態(tài)下，如圖6D的(a)所示，當(dāng)選擇作為信息類型的文本可以被輸入至的輸入字段時，響應(yīng)于該選擇，控制器180向所選擇的輸入字段的附近輸出與OCR功能相結(jié)合的第一圖形對象300a。

例如，在第一圖形對象300a和第二圖形對象300b未被輸出的狀態(tài)下，如圖6D的(b)所示，當(dāng)選擇作為信息類型的圖像可以被輸入至的輸入字段時，響應(yīng)于該選擇，控制器180向所選擇的輸入字段的附近輸出與拍照功能相結(jié)合的第二圖形對象300b。

采用該配置，根據(jù)本發(fā)明，可以提供與OCR功能或拍照功能相結(jié)合的圖形對象根據(jù)用戶想要輸入文本或圖像的輸入字段以最佳方式被輸出的用戶界面。

將參照附圖更詳細(xì)地描述上述執(zhí)行OCR功能或拍照功能的方法。

圖7是用于描述根據(jù)本發(fā)明的一種實施方式的輸出通過相機121接收的圖像的方法和使用所輸出的圖像輸入文本的方法的流程圖。圖8A的(a)至圖8B的(d)是用于描述參照圖7描述的方法的概念圖。

參照圖7，如上所述，基于對顯示在觸摸屏151上的輸入字段的選擇，控制器180向觸摸屏151輸出包括與OCR功能相結(jié)合的第一圖形對象300a和與拍照功能相結(jié)合的第二圖形對象300b中的至少一個的鍵區(qū)200(S710)。

當(dāng)選擇第一圖形對象300a和第二圖形對象300b中的至少一個時，控制器180向觸摸屏151輸出通過相機121接收的圖像。

此時，當(dāng)選擇第一圖形對象300a時，控制器180向觸摸屏151的一個區(qū)域輸出圖像。當(dāng)選擇第二圖形對象300b時，控制器180向觸摸屏151的所有區(qū)域輸出圖像。

此時，控制器180根據(jù)被施加至第一圖形對象300a的觸摸類型向觸摸屏151的不同區(qū)域輸出圖像。即，該一個區(qū)域根據(jù)被施加至第一圖形對象300a的觸摸類型而不同。

為此，根據(jù)本發(fā)明，執(zhí)行確定是第一類型的觸摸還是第二類型的觸摸被施加到包括在鍵區(qū)200中的與OCR功能相結(jié)合的第一圖形對象300a的步驟(S720)。具體地，第一類型的觸摸和第二類型的觸摸是在以上描述的各種類型的觸摸當(dāng)中。第一類型的 觸摸和第二類型的觸摸彼此不同。

當(dāng)該確定的結(jié)果是被施加至第一圖形對象300a的觸摸類型是第一類型的觸摸時，控制器180向已在S710中選擇的輸入字段輸出通過相機121接收的圖像(預(yù)覽圖像)(S730)。

當(dāng)該確定的結(jié)果是被施加至第一圖形對象300a的觸摸類型是與第一類型不同的第二類型的觸摸時，控制器180向觸摸屏151的顯示鍵區(qū)200所在的區(qū)域的至少一部分輸出通過相機121接收的圖像(預(yù)覽圖像)(S740)。

隨后，根據(jù)本發(fā)明，執(zhí)行選擇與包括在圖像(預(yù)覽圖像)中的文本對應(yīng)的畫面信息的步驟(S750)。例如，在圖像被顯示在已選擇的輸入字段上的狀態(tài)下，當(dāng)在與文本對應(yīng)的畫面信息被顯示在圖像上的狀態(tài)下將觸摸施加至該圖像時，控制器180選擇被顯示在該圖像上的畫面信息。

作為另一示例，基于向圖像施加拖動觸摸，控制器180選擇與包括在該圖像中的文本對應(yīng)的畫面信息的至少一部分。

隨后，控制器180將所選擇的畫面信息轉(zhuǎn)換為文本(S760)?；谟脩粽埱?例如，對與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕的選擇)來執(zhí)行向文本的轉(zhuǎn)換，或者基于對與圖像中的文本對應(yīng)的畫面信息的選擇來執(zhí)行向文本的轉(zhuǎn)換。

隨后，控制器180向在S710中選擇的輸入字段輸入從該轉(zhuǎn)換產(chǎn)生的文本(S770)。

根據(jù)圖8A的(a)至圖8A的(d)和圖8B的(a)至圖8B的(d)，參照圖7描述的內(nèi)容可以被更加顯而易見地理解。

如圖8A的(a)所示，基于對輸入字段600的選擇，包括與OCR功能相結(jié)合的第一圖形對象300a的鍵區(qū)200被顯示在觸摸屏151上。當(dāng)將第一類型的觸摸(例如，短觸摸)施加至第一圖形對象300a時，如圖8A的(b)所示，控制器180向已選擇的輸入字段600輸出通過相機121接收的圖像(預(yù)覽圖像)。

與在拍攝對象620上印刷的文本對應(yīng)的畫面信息630a被顯示在該圖像上。

如圖8A的(c)所示，在與文本對應(yīng)的畫面信息(圖像)630a被包括在顯示在輸入字段600上的圖像中的狀態(tài)下，基于對該圖像的施加，控制器180選擇畫面信息630a。

隨后，控制器180將所選擇的畫面信息630a轉(zhuǎn)換為文本，并且將從該轉(zhuǎn)換產(chǎn)生的文本630a輸入到已選擇的輸入字段600中。

另一方面，如圖8B的(a)所示，當(dāng)與第一類型的觸摸不同的第二類型的觸摸(例如，長觸摸)被施加至包括在鍵區(qū)200中的第一圖形對象300a時，如圖8B的(b)所示，控制器180向鍵區(qū)200被輸出至的區(qū)域的至少一部分輸出通過相機121接收的圖像610。

此時，如圖8B的(b)所示，控制器180可以在鍵區(qū)200被輸出至的所有區(qū)域(鍵區(qū)區(qū)域)上顯示通過相機121接收的圖像(預(yù)覽圖像)610，并且如圖4A的(a)至圖4A的(c)所示，控制器180可以在鍵區(qū)200被輸出至的區(qū)域的一部分上顯示圖像320。

類似地，與在拍攝對象620上印刷的文本對應(yīng)的畫面信息630a被包括在圖像610中。

此時，如圖8B的(c)所示，當(dāng)將拖動觸摸施加至與包括在圖像610中的文本對應(yīng)的畫面信息630a的至少一部分時，控制器180選擇該拖動觸摸被施加至的畫面信息640。

在該情況下，改變圖形效果或者將指示符顯示在所選擇的畫面信息640(或由拖動觸摸繪制的路徑)上，以提醒用戶該畫面信息640被選擇。

隨后，基于用戶請求(例如，對與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕或完成按鈕的選擇)，控制器180將所選擇的畫面信息640轉(zhuǎn)換為文本。隨后，如圖8B的(d)所示，控制器180將從該轉(zhuǎn)換產(chǎn)生的文本640b輸入到已選擇的輸入字段600中。

采用該配置，根據(jù)本發(fā)明，提供了一種用戶界面，當(dāng)執(zhí)行OCR功能時，通過相機121接收的圖像通過該用戶界面以各種方式被顯示在觸摸屏上，并且與包括在該圖像中的文本對應(yīng)的至少一部分畫面信息被轉(zhuǎn)換為文本。

另一方面，根據(jù)本發(fā)明，提供了一種界面，通過該界面基于拖動觸摸，包括在圖像中的畫面信息的僅用戶想要的一部分被選擇并被轉(zhuǎn)換為文本。

圖9是用于描述根據(jù)本發(fā)明的一種實施方式的轉(zhuǎn)換與包括在通過相機121接收的圖像中的文本對應(yīng)的畫面信息的方法的流程圖。圖10A的(a)至圖10B的(c)和圖11A的(a)至圖11B的(c)是用于描述參照圖9描述的方法的概念圖。

基于對與OCR功能相結(jié)合的第一圖形對象300a的選擇，控制器180向觸摸屏151輸出通過相機121接收的圖像。

此時，在該圖像被輸出至觸摸屏151的狀態(tài)下，當(dāng)將拖動觸摸施加至與包括在圖像中的文本對應(yīng)的畫面信息時，控制器180選擇該拖動觸摸被施加至的畫面信息。

此時，基于在第一方向上施加的拖動觸摸，選擇畫面信息。

具體地，基于在第一方向上向通過相機121接收的圖像(預(yù)覽圖像)施加的拖動觸摸，控制器180選擇與包括在該圖像中的文本對應(yīng)的畫面信息的至少一部分(S910)。

另一方面，在選擇了畫面信息的至少一部分的狀態(tài)下，當(dāng)在與第一方向不同(垂直)的第二方向上向所選擇的畫面信息施加拖動觸摸時，控制器180取消對所選擇的畫面信息的至少一部分的選擇(S920)。

具體地，在基于在第一方向上施加的拖動觸摸而選擇包括在圖像中的畫面信息的至少一部分的狀態(tài)下，當(dāng)在與第一方向不同的第二方向上施加拖動觸摸時，控制器180取消對所選擇的畫面信息的與由在第二方向上施加的拖動觸摸繪制的路徑交疊的部分的選擇。

隨后，基于用戶請求(例如，對與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕或完成按鈕的選擇)，控制器180將所選擇的畫面信息轉(zhuǎn)換為文本，并且將從該轉(zhuǎn)換產(chǎn)生的文本輸入到輸入字段(例如，已選擇的輸入字段)中(S930)。

參照圖10A的(a)至圖10A的(c)，基于對與OCR功能相結(jié)合的圖形對象的選擇，通過相機121接收的圖像被顯示在觸摸屏151上。在該狀態(tài)下，如圖10A的(a)所示，當(dāng)在第一方向上向與包括在圖像(預(yù)覽圖像)中的文本對應(yīng)的畫面信息630a施加拖動觸摸T1(例如，向右施加的拖動觸摸)時，控制器180選擇該拖動觸摸T1被施加至的畫面信息640a。

此時，控制器180改變圖像中的所選擇的畫面信息的圖形效果或者以所選擇的畫面信息與其它畫面信息(圖像)在視覺上可區(qū)分的這種方式來顯示所選擇的畫面信息，以便提醒用戶該畫面信息640a被選擇。

在該畫面信息被選擇的狀態(tài)下，如圖10A的(b)所示，當(dāng)在與第一方向垂直的第二方向上(例如，在向下方向上)施加拖動觸摸T2時，控制器180取消對所選擇的畫面信息的至少一部分的選擇。

如圖10A的(b)所示，被取消選擇的至少一部分是所選擇的畫面信息640a和在第二方向上施加的拖動觸摸T2彼此交疊的部分。

因此，在第二方向上施加拖動觸摸T2，所選擇的第二方向640a被劃分為至少兩段或更多段的畫面信息642a、642b和642c。

隨后，基于用戶請求(對與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕或完成按鈕的選擇)，如圖10A的(c)所示，控制器180將所選擇的畫面信息片段642a、642b和642c轉(zhuǎn)換為文本并且將該轉(zhuǎn)換的結(jié)果輸入到輸入字段600a中。

另一方面，在與文本對應(yīng)的畫面信息被包括在通過相機121接收的圖像中的狀態(tài)下，當(dāng)選擇與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合按鈕(或完成按鈕)而無選擇畫面信息的至少一部分的單獨操作時，控制器180將包括在該圖像中的所有片段的畫面信息轉(zhuǎn)換為文本。

即，基于用戶請求，控制器180將與包括在圖像中的文本對應(yīng)的所有片段的畫面信息轉(zhuǎn)換為文本。

另一方面，當(dāng)在第一方向上向圖像施加拖動觸摸時，基于該拖動觸摸，控制器180選擇該畫面信息的至少一部分。

在與第一方向(例如，在向右方向上)相反的第三方向上(在向左方向上)向包括在圖像中的畫面信息施加拖動觸摸之后，當(dāng)進(jìn)行用戶請求(對與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕或完成按鈕的選擇)時，控制器180轉(zhuǎn)換與包括在圖像中的文本對應(yīng)的畫面信息的除了在第三方向上施加拖動觸摸的畫面信息之外的畫面信息。

例如，在根據(jù)對第一圖形對象300a的選擇將預(yù)覽圖像輸出至觸摸屏151的狀態(tài)下，如圖10B的(a)所示，當(dāng)選擇完成按鈕而不施加單獨觸摸時，控制器180將與處于預(yù)覽圖像中的文本對應(yīng)的所有片段的畫面信息轉(zhuǎn)換為文本。

另一方面，當(dāng)在與第一方向相反的第三方向上向圖像610施加拖動觸摸T3時，如圖10B的(b)所示，控制器180對與包括在該預(yù)覽圖像中的文本對應(yīng)的畫面信息的施加了拖動觸摸T3的觸摸信息執(zhí)行盲處理。

在該狀態(tài)下，當(dāng)接收到用戶請求(選擇與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕(完成按鈕))時，如圖10B的(c)所示，控制器180僅將除了施加拖動觸摸T3的畫面信息之外的畫面信息轉(zhuǎn)換為文本。從該轉(zhuǎn)換產(chǎn)生的文本被輸入到輸入字段中。

采用該配置，根據(jù)本發(fā)明，提供了一種最佳UI/UX，僅包括在通過相機121接收的圖像中的一部分可以通過該UI/UX被轉(zhuǎn)換為文本，或者除了該一部分之外的部分可以全部被轉(zhuǎn)換為文本。

以下將參照附圖更詳細(xì)地描述根據(jù)本發(fā)明的OCR功能(執(zhí)行向文本的轉(zhuǎn)換的方法)的另外的實施方式。

如圖11A的(a)所示，在觸摸屏151上顯示與將畫面信息輸入到預(yù)覽圖像中的功能相結(jié)合的按鈕1110。該按鈕1110被顯示在預(yù)覽圖像1100上。

如圖11A的(a)所示，在選擇該按鈕1110之后，如圖11A的(b)所示，當(dāng)將拖動觸摸施加至預(yù)覽圖像1100時，控制器180在該預(yù)覽圖像1100上顯示與由該拖動觸摸繪制的路徑對應(yīng)的畫面信息1130a。

另外，當(dāng)在第一方向上向與包括在預(yù)覽圖像1100中的文本對應(yīng)的畫面信息施加拖動觸摸時，控制器180選擇該拖動觸摸被施加至的畫面信息1120。

在選擇畫面信息1120或與由拖動觸摸繪制的路徑對應(yīng)的畫面信息1130a被顯示在預(yù)覽圖像1100上的狀態(tài)下，當(dāng)選擇與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合按鈕(或完成按鈕)時，控制器180將所選擇的畫面信息1120轉(zhuǎn)換為文本1122b或者將與由拖動觸摸繪制的路徑對應(yīng)的畫面信息1130a轉(zhuǎn)換為文本1130b。

隨后，從該轉(zhuǎn)換產(chǎn)生的文本1122b和1130b的項目被顯示在已選擇的輸入字段1150上。在這一點上，基于所選擇的畫面信息1120和與由拖動觸摸繪制的路徑對應(yīng)的畫面信息1130a的位置，控制器180將從該轉(zhuǎn)換產(chǎn)生的文本項目輸入到已選擇的輸入字段1150中。

采用該配置，根據(jù)本發(fā)明，提供了一種用戶界面，通過該用戶界面，不僅與包括在通過相機121接收的圖像中的文本對應(yīng)的畫面信息而且由用戶另外輸入的畫面信息均一次性被轉(zhuǎn)換為文本。

另一方面，如圖11B的(a)所示，在與包括在預(yù)覽圖像1100中的信息的與文本對應(yīng)的畫面信息1122a是畫面信息的狀態(tài)下，基于預(yù)定類型觸摸74的施加，控制器180選擇畫面信息1122a的至少一部分。

該預(yù)定類型觸摸74是被施加至所選擇的畫面信息1122a的觸摸。該預(yù)定類型觸摸74包括以使得形成環(huán)形曲線的這種方式施加的拖動觸摸、長觸摸、雙觸摸、拖動觸摸等。

按照至少一部分1142a與畫面信息的其它部分可區(qū)分的這種方式，將視覺效果施加至所選擇的畫面信息1122a的預(yù)定類型觸摸74被施加至的畫面信息的至少一部分1142a，或者指示符指示該至少一部分1142a。

另一方面，當(dāng)選擇該畫面信息的至少一部分1142a時，控制器180在觸摸屏151上顯示與要被施加至從該轉(zhuǎn)換產(chǎn)生的文本的圖形效果相結(jié)合的按鈕1140。作為一個示例，按鈕1140被顯示在預(yù)覽圖像1100上。

在選擇了該畫面信息的至少一部分1142a的狀態(tài)下，在至少一個按鈕1142(例如，與使字符變厚的加粗功能相結(jié)合的按鈕)被選擇之后，當(dāng)選擇了與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕(或完成按鈕)時，如圖11B的(c)所示，控制器180將所選擇的畫面信息1122a轉(zhuǎn)換為文本，并且將從該轉(zhuǎn)換產(chǎn)生的文本輸入(顯示)到輸入字段1150中(上)。

此時，在與至少一個按鈕1142相結(jié)合的圖形效果被施加至文本1142a的狀態(tài)下，與畫面信息的至少一部分1142a對應(yīng)的文本1124b被顯示在輸入子字段1150上。

如圖11B的(c)所示，在至少所選擇的一個按鈕1142是與使字符變厚的加粗功能相結(jié)合的按鈕的情況下，與畫面信息的至少一部分1142a對應(yīng)的文本以被加粗的狀態(tài)被輸入到輸入字段151中。

以上描述了選擇包括在預(yù)覽圖像中的畫面信息并且隨后選擇該畫面信息的至少一部分的示例，但是本發(fā)明不限于此。即，基于在第一方向上向被包括在預(yù)覽圖像中的畫面信息施加拖動觸摸，控制器180選擇該畫面信息，并且將與要被施加至從該轉(zhuǎn)換產(chǎn)生的文本的圖形效果相結(jié)合的按鈕1140輸出至觸摸屏151。在選擇了至少一個按鈕1140之后，當(dāng)與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕(完成按鈕)被選擇時，控制器180將所選擇的畫面信息轉(zhuǎn)換為文本，并且以將與所選擇的按鈕相結(jié)合的圖形效果施加至從該轉(zhuǎn)換產(chǎn)生的文本的狀態(tài)將從該轉(zhuǎn)換產(chǎn)生的文本輸入到輸入字段中。

采用該配置，根據(jù)本發(fā)明，提供了一種用戶界面，在預(yù)覽圖像被輸出的狀態(tài)下，通過該用戶界面預(yù)先選擇要被施加至從該轉(zhuǎn)換產(chǎn)生的文本的圖形效果。因此，省略了用于向從該轉(zhuǎn)換產(chǎn)生的文本施加圖形效果的繁瑣過程，從而顯著提高了用戶便利性。

以下將參照附圖更詳細(xì)地描述使用與拍照功能相結(jié)合的第二圖形對象300b在輸入字段中輸入圖像的方法。

圖12A的(a)至圖12B的(c)是用于描述在選擇與拍照功能相結(jié)合的第二圖形對象300b的情況下在輸入字段中輸入所拍攝的圖像的方法的概念圖。

如圖12A的(a)所示，與拍照功能相結(jié)合的第二圖形對象300b被顯示在觸摸屏151上。第二圖形對象300b被包括在鍵區(qū)200中或被顯示在輸入字段附近(或輸 入字段內(nèi))。

另外，第二圖形對象300b默認(rèn)地被顯示在輸入字段附近，或者基于對輸入字段的選擇(或觸摸)而被顯示。

當(dāng)選擇第二圖形對象300b時，如圖12A的(b)所示，控制器180向觸摸屏151輸出通過相機121接收的圖像。

基于對第二圖形對象300b的選擇，在將圖像1210輸出至觸摸屏151的狀態(tài)下，當(dāng)觸摸被施加至拍照按鈕360時，控制器180拍攝圖像1210并且在已選擇的輸入字段1200上顯示所拍攝的圖像1220。

另一方面，在一個方向上向圖像1210施加拖動觸摸之后，當(dāng)將觸摸施加至拍照按鈕360時，控制器180以不輸出與施加拖動觸摸的區(qū)域?qū)?yīng)的圖像的這種方式拍攝圖像。

例如，如圖12B的(a)所示，基于向與拍照功能相結(jié)合的第二圖形對象300b施加觸摸，在通過相機121接收的圖像1210被顯示在觸摸屏151上的狀態(tài)下，在一個方向上(例如，向向左方向)施加拖動觸摸T4。在該情況下，如圖12B的(b)所示，控制器180以不輸出與施加了拖動觸摸的區(qū)域?qū)?yīng)的圖像的這種方式來執(zhí)行盲處理。

在該狀態(tài)下，當(dāng)將觸摸施加至拍照按鈕360時，控制器180以不輸出與施加了拖動觸摸的區(qū)域?qū)?yīng)的圖像的這種方式拍攝圖像，并且如圖12B的(c)所示，將所拍攝的圖像(在不輸出與施加了拖動觸摸的區(qū)域?qū)?yīng)的圖像的狀態(tài)下拍攝的圖像)1240輸入到輸入字段中。圖12B的(c)例示了將所拍攝的圖像1240輸入到輸入字段中并且隨后通過對消息發(fā)送器的使用在與消息發(fā)送器相關(guān)的應(yīng)用的執(zhí)行畫面上發(fā)送所拍攝的圖像1240的一個示例。

采用該配置，根據(jù)本發(fā)明，提供了一種用戶界面，圖像以及文本通過該用戶界面可以以更方便的方式被輸入到輸入字段中，并且該圖像的至少一部分以不輸出該圖像的一部分的狀態(tài)剛好被輸入到輸入字段中。

另一方面，根據(jù)本發(fā)明，使用用戶語音來執(zhí)行OCR功能和拍照功能。

圖13是用于描述根據(jù)本發(fā)明的一種實施方式的轉(zhuǎn)換或拍攝與包括在通過相機121接收的圖像中的文本對應(yīng)的畫面信息的一部分的方法的流程圖。圖14A的(a)至圖14B的(d)是用于描述參照圖13描述的方法的概念圖。

參照圖13，基于對第一圖形對象300a和第二圖形對象300b中的一個的選擇，控制器180向觸摸屏151輸出通過相機121接收的圖像(S1310)。

在該圖像被輸出的狀態(tài)下，控制器180接收用戶語音(S1320)。具體地，基于該圖像的輸出或基于對顯示在觸摸屏151上的麥克風(fēng)驅(qū)動(激活)按鈕的選擇，控制器180驅(qū)動(激活)麥克風(fēng)122并通過該麥克風(fēng)122接收用戶語音。

當(dāng)接收到用戶語音時，控制器180選擇與包括在預(yù)覽圖像中的文本對應(yīng)的畫面信息中的與關(guān)于所接收的用戶語音的語音信息對應(yīng)的畫面信息(S1330)。

隨后，控制器180將所選擇的畫面信息轉(zhuǎn)換為文本或者僅拍攝包括所選擇的畫面信息的預(yù)覽圖像的一部分。

具體地，在基于對與OCR功能相結(jié)合的第一圖形對象300a的選擇而輸出預(yù)覽圖像的情況下，控制器180將所選擇的畫面信息轉(zhuǎn)換為文本，并且將從該轉(zhuǎn)換產(chǎn)生的文本輸入到已選擇的輸入字段中。

另外，在基于對與拍照功能相結(jié)合的第二圖形對象300b的選擇而輸出預(yù)覽圖像的情況下，控制器180僅拍攝包括所選擇的畫面信息的該預(yù)覽圖像的一部分，并且將所拍攝的一部分輸出到已選擇的輸入字段中。

根據(jù)圖14A的(a)至圖14B的(d)，上述內(nèi)容可以更顯而易見地被理解。

如圖14A的(a)所示，當(dāng)選擇與OCR功能相結(jié)合的第一圖形對象300a時，如圖14A的(b)所示，控制器180向觸摸屏151輸出通過相機121接收的圖像1410。該圖像1410被顯示在觸摸屏151的一個區(qū)域上。

與驅(qū)動麥克風(fēng)的功能相結(jié)合的按鈕1420被顯示在圖像1410上。當(dāng)選擇按鈕1420時，如圖14A的(b)所示，控制器180激活該麥克風(fēng)122。然而，基于對第一圖形對象300a的選擇，或者基于圖像1410在觸摸屏151上的顯示，麥克風(fēng)122可以被驅(qū)動(激活)。

在激活麥克風(fēng)122的情況下，如圖14A的(c)所示，當(dāng)接收到用戶語音1430時，控制器180選擇與包括在圖像1410中的文本對應(yīng)的畫面信息中的與用戶語音對應(yīng)的畫面信息1450a。

隨后，在選擇了畫面信息1450a的狀態(tài)下，當(dāng)與執(zhí)行向文本的轉(zhuǎn)換的功能相結(jié)合的按鈕(或完成按鈕)被選擇時，如圖14A的(d)所示，控制器180將所選擇的畫面信息1450a轉(zhuǎn)換為文本，并且將從該轉(zhuǎn)換產(chǎn)生的文本1450b輸入到已選擇的輸入字 段中。

此時，被輸入到輸入字段中的信息類型為文本。

另一方面，如圖14B的(a)所示，基于對與拍照功能相結(jié)合的第二圖形對象300b的選擇，通過相機121接收的圖像被顯示在觸摸屏151上。

類似地，與驅(qū)動麥克風(fēng)的功能相結(jié)合的按鈕1420被顯示在圖像1410上。當(dāng)選擇按鈕1420時，如圖14B的(b)所示，控制器180激活麥克風(fēng)122。然而，基于對第二圖形對象300b的選擇或者基于圖像1410在觸摸屏151上的顯示，麥克風(fēng)122可以被驅(qū)動(激活)。

在麥克風(fēng)122被激活的狀態(tài)下，如圖14B的(c)所示，當(dāng)接收到用戶語音1450時，控制器180選擇與包括在圖像1410中的文本對應(yīng)的畫面信息中的與用戶語音對應(yīng)的畫面信息1450a。

隨后，在選擇了畫面信息1450a的狀態(tài)下，當(dāng)拍照按鈕360被選擇(觸摸)時，如圖14B的(d)所示，控制器180僅拍攝包括所選擇的畫面信息的預(yù)覽圖像的一部分。

隨后，控制器180將所拍攝的圖像(與包括所選擇的畫面信息的一部分對應(yīng)的圖像)1450c輸入到已選擇的輸入字段中。

此時，被輸入到輸入字段中的信息類型為圖像。

如上所述，根據(jù)本發(fā)明，提供了一種界面，用戶想要的信息可以通過該界面以最佳方式被輸入。

此外，根據(jù)本發(fā)明，提供了一種UI/UX，與包括在通過相機121接收的圖像中的文本對應(yīng)的畫面信息的僅與用戶想要的畫面信息對應(yīng)的一部分通過該UI/UX被轉(zhuǎn)換為文本。

此外，根據(jù)本發(fā)明，與OCR功能相結(jié)合的圖形對象300a和與拍照功能相結(jié)合的圖形對象300b中的至少一個被輸出至鍵區(qū)200。因此，提供了一種界面，用戶想要輸入的信息通過該界面以更方便的方式被選擇。

以上描述中提到的本發(fā)明可利用存儲有指令的機器可讀介質(zhì)來實現(xiàn)，所述指令由處理器執(zhí)行以執(zhí)行本文所呈現(xiàn)的各種方法。可能的機器可讀介質(zhì)的示例包括HDD(硬盤驅(qū)動器)、SSD(固態(tài)盤)、SDD(硅磁盤驅(qū)動器)、ROM、RAM、CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲裝置、本文所呈現(xiàn)的其它類型的存儲介質(zhì)及其組合。如果期望， 機器可讀介質(zhì)可按照載波的形式實現(xiàn)(例如，經(jīng)由互聯(lián)網(wǎng)的傳輸)。處理器可包括移動終端的控制器180。

以上實施方式僅是示例性的，并且不被認(rèn)為限制本公開。本說明書旨在是說明性的，而不是限制權(quán)利要求的范圍。對于本領(lǐng)域技術(shù)人員而言，許多替代、修改和變型將是顯而易見的。在此描述的示例性實施方式的特征、結(jié)構(gòu)、方法和其它特性可以按照各種方式組合以獲得另外的和/或另選的示例性實施方式。

由于在不脫離本發(fā)明的特性的情況下，本發(fā)明的特征可以按照多種形式來具體實現(xiàn)，所以還應(yīng)該理解，除非另外指明，否則上述實施方式不受以上描述的任何細(xì)節(jié)限制，而是應(yīng)該在所附權(quán)利要求書中所限定的范圍內(nèi)廣義地理解，因此，落入權(quán)利要求的范圍及其等同范圍內(nèi)的所有改變和修改因此旨在被所附的權(quán)利要求書涵蓋。