專利名稱：一種信息處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息處理方法及裝置。
背景技術(shù)：
目前，不管是在無(wú)線終端還是臺(tái)式電腦或者別的電子設(shè)備上，如果用戶需要對(duì)當(dāng)前操作界面的內(nèi)容進(jìn)行搜索或者保存、分享等操作時(shí)，往往操作路徑比較多，更有甚者需要跳出當(dāng)前顯示界面才能進(jìn)行下一步操作，而且很多當(dāng)前顯示界面的內(nèi)容為不可編輯狀態(tài)，無(wú)法選取、復(fù)制，給用戶帶來(lái)很多的不便。比如用戶要對(duì)當(dāng)前顯示界面的一些內(nèi)容進(jìn)行搜索，目前一般搜索類產(chǎn)品主要分成四種置于首頁(yè)的谷歌/百度搜索框、應(yīng)用軟件(App)內(nèi)部的搜索接口、部分手機(jī)支持的實(shí) 體搜索按鈕、以及基于語(yǔ)音識(shí)別、自然語(yǔ)言處理、語(yǔ)義網(wǎng)技術(shù)的語(yǔ)音控制功能軟件(Siri)或Siri類似產(chǎn)品。其中，對(duì)于使用置于首頁(yè)的谷歌/百度搜索框而言，用戶在使用時(shí)往往操作路徑比較多，比如在看一個(gè)漫畫(huà)時(shí)想進(jìn)行搜索，用戶很多時(shí)候還得跳出正在使用的App來(lái)進(jìn)行搜索。而App內(nèi)部的搜索接口、部分手機(jī)支持的實(shí)體搜索按鈕，都是以App內(nèi)部的搜索(例如微博App內(nèi)搜索別人發(fā)的消息)為主，雖然減少了用戶對(duì)單純搜索類產(chǎn)品的依賴，但是并沒(méi)有減少用戶要進(jìn)行常規(guī)搜索的操作路徑。自然語(yǔ)言處理以及語(yǔ)義網(wǎng)技術(shù)的Siri及其類似搜索入口，雖然提供了簡(jiǎn)單而智能的搜索入口，但是用戶在很多場(chǎng)合下無(wú)法使用語(yǔ)音輸入。

發(fā)明內(nèi)容
本發(fā)明主要解決的技術(shù)問(wèn)題是提供一種信息處理方法、圖片搜索方法及裝置、月艮務(wù)器，能夠減少對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理的操作路徑。通過(guò)對(duì)圖片的搜索，可以返回用戶與圖片相關(guān)聯(lián)的信息，為用戶提供更多的資源和服務(wù)。為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是提供一種信息處理方法，包括通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像；識(shí)別出所述圖像中的內(nèi)容；對(duì)所述識(shí)別出的內(nèi)容進(jìn)行處理。其中，所述識(shí)別出圖像中的內(nèi)容的步驟包括利用模式識(shí)別方法劃分開(kāi)所述圖像中的圖片及圖片格式的文字；對(duì)所述圖片格式的文字進(jìn)行識(shí)別而得到可編輯的文字，或?qū)λ鰣D像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片。其中，所述對(duì)圖像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片的步驟包括對(duì)所述圖像中的圖片的大小和顏色深度進(jìn)行壓縮，獲取所述圖像中的圖片的特征值；將所述特征值發(fā)送至服務(wù)器，并接收所述服務(wù)器采用所述特征值進(jìn)行比對(duì)而得到的與所述圖像中的圖片相關(guān)的候選圖片。其中，所述將識(shí)別出的內(nèi)容輸出給第三方應(yīng)用的步驟包括將所述識(shí)別而得到的可編輯的文字和/或與圖片相關(guān)的候選圖片輸出給搜索應(yīng)用、翻譯應(yīng)用、收藏應(yīng)用、記錄應(yīng)用和分享應(yīng)用中的任意一種或兩種以上的應(yīng)用。
其中，所述對(duì)識(shí)別而得到與圖片相關(guān)的候選圖片進(jìn)行搜索的步驟包括獲取所述候選圖片的特征值、所述候選圖片相關(guān)的數(shù)據(jù)信息、所述候選圖片的領(lǐng)域信息中的至少一項(xiàng)信息；將所述獲取的至少一項(xiàng)信息發(fā)送至服務(wù)器；接收所述服務(wù)器進(jìn)行匹配獲取的與所述候選圖片對(duì)應(yīng)的至少一項(xiàng)關(guān)聯(lián)信息。其中，所述獲取候選圖片相關(guān)的數(shù)據(jù)信息的步驟包括獲取所述候選圖片的名稱、網(wǎng)頁(yè)地址、內(nèi)容、作者、與所述候選圖片相關(guān)的新聞、網(wǎng)絡(luò)服務(wù)中的至少一項(xiàng)信息。其中，在所述利用模式識(shí)別方法劃分開(kāi)圖像中的圖片及圖片格式的文字的步驟之后，在對(duì)所述圖片格式的文字或圖像中的圖片進(jìn)行識(shí)別的步驟之前包括通過(guò)在所述圖像中的圖片或所述圖片格式的文字上畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊和自定義選 取方式中的至少一種方式選取所述圖像中的圖片及圖片格式的文字以備進(jìn)行識(shí)別。其中，所述識(shí)別而得到可編輯的文字的步驟之后，對(duì)所述識(shí)別出的內(nèi)容進(jìn)行處理的步驟之前還包括通過(guò)語(yǔ)音輸入、輸入法輸入、手勢(shì)識(shí)別輸入、手寫(xiě)輸入、畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊的任意一種或兩種以上方式對(duì)所述可編輯的文字進(jìn)行修正。其中，所述通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像的步驟之前，還包括通過(guò)內(nèi)部感應(yīng)設(shè)備感應(yīng)啟動(dòng)、調(diào)用應(yīng)用小工具、點(diǎn)擊應(yīng)用圖標(biāo)、按壓應(yīng)用啟動(dòng)按鈕的任意一種方式激活信息處理應(yīng)用，以進(jìn)行包括所述截圖在內(nèi)的操作。為解決上述技術(shù)問(wèn)題，本發(fā)明采用的另一個(gè)技術(shù)方案是提供一種信息處理裝置，包括截圖模塊、識(shí)別模塊以及應(yīng)用模塊，其中所述截圖模塊用于通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像，并將獲取的所述圖像發(fā)送給所述識(shí)別模塊；所述識(shí)別模塊用于接收所述圖像并識(shí)別出圖像中的內(nèi)容，將所述識(shí)別出的圖像中的內(nèi)容發(fā)送給所述應(yīng)用模塊；所述應(yīng)用模塊用于接收經(jīng)識(shí)別模塊識(shí)別后的圖像中的內(nèi)容。其中，所述識(shí)別模塊具體用于利用模式識(shí)別方法劃分開(kāi)所述圖像中的圖片及圖片格式的文字，對(duì)所述圖片格式的文字進(jìn)行識(shí)別而得到可編輯的文字，或?qū)λ鰣D像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片，并將所述識(shí)別而得到的可編輯的文字和/或與所述圖像中的圖片相關(guān)的候選圖片發(fā)送給所述應(yīng)用模塊；所述應(yīng)用模塊具體用于接收所述識(shí)別而得到的可編輯的文字和/或與圖片相關(guān)的候選圖片，并進(jìn)行搜索、翻譯、收藏、記錄、分享的任意一種或兩種以上操作。其中，所述應(yīng)用模塊包括用于對(duì)所述與圖片相關(guān)的候選圖片進(jìn)行搜索的信息獲取單元、發(fā)送單元以及信息接收單元，其中所述信息獲取單元用于獲取需要搜索的所述候選圖片的特征值、所述候選圖片相關(guān)的數(shù)據(jù)信息、所述候選圖片的領(lǐng)域信息中的至少一項(xiàng)信息，并將獲取的所述至少一項(xiàng)信息輸出給所述發(fā)送單元；所述發(fā)送單元用于將所述信息獲取單元獲取的所述至少一項(xiàng)信息發(fā)送給服務(wù)器；所述信息接收單元用于接收所述服務(wù)器利用所述至少一項(xiàng)信息進(jìn)行匹配后獲取的與所述候選圖片對(duì)應(yīng)的至少一項(xiàng)關(guān)聯(lián)信息。其中，所述識(shí)別模塊具體用于利用模式識(shí)別方法劃分開(kāi)圖像中的圖片及圖片格式的文字，并通過(guò)在所述圖像中的圖片或所述圖片格式的文字上畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊和自定義選取方式中的至少一種方式選取所述圖像中的圖片及圖片格式的文字，對(duì)所述圖片格式的文字進(jìn)行識(shí)別而得到可編輯的文字，或?qū)λ鰣D像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片，并將所述識(shí)別而得到的可編輯的文字和/或與所述圖像中的圖片相關(guān)的候選圖片發(fā)送給所述應(yīng)用模塊。
其中，所述裝置還包括修正模塊，用于通過(guò)語(yǔ)音輸入、輸入法輸入、手勢(shì)識(shí)別輸入、手寫(xiě)輸入、畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊的任意一種或兩種以上方式對(duì)所述識(shí)別模塊識(shí)別而得到的可編輯的文字進(jìn)行修正，并將修正后的所述可編輯的文字發(fā)送給所述應(yīng)用模塊。其中，所述裝置還包括激活模塊，用于通過(guò)內(nèi)部感應(yīng)設(shè)備感應(yīng)啟動(dòng)、調(diào)用應(yīng)用的小工具、點(diǎn)擊應(yīng)用的圖標(biāo)、按壓應(yīng)用的啟動(dòng)按鈕的任意一種方式激活信息處理應(yīng)用，以進(jìn)行包括所述截圖在內(nèi)的操作。本發(fā)明的有益效果是區(qū)別于現(xiàn)有技術(shù)的情況，本發(fā)明提供一種信息處理方式，直接通過(guò)截圖方式獲取當(dāng)前顯示界面內(nèi)容的圖像，并對(duì)包括當(dāng)前顯示界面內(nèi)容的圖像進(jìn)行識(shí)另O，將識(shí)別得到的內(nèi)容發(fā)送給第三方應(yīng)用，不需要退出當(dāng)前界面或者對(duì)當(dāng)前界面做過(guò)多的操作即可實(shí)現(xiàn)對(duì)當(dāng)前界面內(nèi)容進(jìn)行處理，從而極大的減少用戶對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理的操作路徑，方便快捷。


圖I是本發(fā)明信息處理方法一實(shí)施方式的流程圖；圖2是本發(fā)明信息處理方法一實(shí)施方式中識(shí)別圖像中的內(nèi)容的流程圖；圖3是本發(fā)明信息處理方法一實(shí)施方式中對(duì)圖像中的圖片進(jìn)行識(shí)別的流程圖；圖4是本發(fā)明信息處理方法一實(shí)施方式中對(duì)經(jīng)識(shí)別而得到的與圖像中的圖片相關(guān)的候選圖片進(jìn)行搜索的流程圖；圖5是本發(fā)明信息處理裝置一實(shí)施方式的結(jié)構(gòu)示意圖；圖6是本發(fā)明信息處理裝置一實(shí)施方式的應(yīng)用模塊的結(jié)構(gòu)示意圖。
具體實(shí)施例方式參閱圖1，本發(fā)明信息處理方法一實(shí)施方式包括步驟SlOl :通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像；用戶需要對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行進(jìn)一步的處理的時(shí)候，通過(guò)截圖功能，對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行截圖。當(dāng)然，首先要激活用于對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理的信息處理應(yīng)用，可以通過(guò)內(nèi)部感應(yīng)設(shè)備感應(yīng)啟動(dòng)、調(diào)用應(yīng)用(App)的小工具(Widget)、通過(guò)點(diǎn)擊應(yīng)用的圖標(biāo)、按壓應(yīng)用的啟動(dòng)按鈕的任意一種方式激活相應(yīng)信息處理應(yīng)用。比如可以通過(guò)物體或手遮擋設(shè)備的攝像頭，通過(guò)設(shè)備內(nèi)部的光線感應(yīng)設(shè)備感應(yīng)外界光線而啟動(dòng)信息處理應(yīng)用；又比如如果是手機(jī)的話可以通過(guò)搖晃手機(jī)或者雙擊以啟動(dòng)相應(yīng)的Widget以激活信息處理應(yīng)用；或者通過(guò)點(diǎn)擊工具欄或消息欄中的應(yīng)用的圖標(biāo)激活信息處理應(yīng)用；又或者通過(guò)操作應(yīng)用的觸發(fā)入口比如按壓?jiǎn)?dòng)按鈕等啟動(dòng)信息處理應(yīng)用。步驟S102 :識(shí)別出圖像中的內(nèi)容；對(duì)通過(guò)截圖獲得的包括當(dāng)前顯示界面內(nèi)容的圖像進(jìn)行識(shí)別，包括對(duì)其中圖片格式的文字進(jìn)行識(shí)別和對(duì)圖像中的圖片進(jìn)行識(shí)別。其中，請(qǐng)一并參閱圖2，識(shí)別圖像中的內(nèi)容包括以下子步驟子步驟S201 :利用模式識(shí)別方法劃分開(kāi)圖像中的圖片及圖片格式的文字；利用模式識(shí)別(文字、圖像等)方法將所需識(shí)別的圖像中的圖片及圖片格式的文字都分別標(biāo)示出來(lái)，如對(duì)當(dāng)前顯示界面的一篇文章進(jìn)行截圖，該文章中有很多文字，附帶了幾張圖片，可以將圖片格式的文字和圖像中的每張圖片單獨(dú)標(biāo)示出來(lái)(如用紅色的框框住)。當(dāng)然，也可以根據(jù)用戶需要選取一部分來(lái)進(jìn)行標(biāo)示。比如畫(huà)一個(gè)虛擬框，只標(biāo)示虛擬框內(nèi)的部分圖片或文字等。標(biāo)示完成后，用戶這時(shí)可以選取相應(yīng)的標(biāo)示出來(lái)的文字和/或圖片進(jìn)行識(shí)別。用戶選取相應(yīng)的標(biāo)示出來(lái)的文字和/或圖片進(jìn)行識(shí)別的時(shí)候，可以有多種方式。比如但不限于通過(guò)在圖像中的圖片和/或圖片格式的文字上畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊和自定義選取方式中的至少一種方式選取。比如可以通過(guò)畫(huà)個(gè)框，或者將一個(gè)虛擬框框在所需識(shí)別的內(nèi)容(比如一串文字和/或圖片)上面，可以通過(guò)調(diào)整框的大小來(lái)精確選取需要識(shí)別的內(nèi)容；又比如如果是觸摸屏界面，可以通過(guò)用手指勾畫(huà)或涂抹的方式選取需要識(shí)別的內(nèi)容，也可以通過(guò)調(diào)整勾畫(huà)或涂抹的范圍來(lái)精確獲取需要識(shí)別的內(nèi)容。當(dāng)然也可以是利用畫(huà)框、勾畫(huà)以及涂抹相結(jié)合的方式選取。比如可以畫(huà)一個(gè)很大的框，通過(guò)涂抹、勾畫(huà)的方式選取需要識(shí)別的內(nèi)容，還可以通過(guò)自定義選取方式比如語(yǔ)音輸入、手寫(xiě)輸入的方式來(lái)找出需要識(shí)別的內(nèi)容等等。子步驟S202 :分別對(duì)圖片格式的文字以及圖像中的圖片進(jìn)行識(shí)別；這里可以對(duì)標(biāo)示出來(lái)的所有圖片格式的文字以及圖像中的圖片進(jìn)行識(shí)別，也可以根據(jù)用戶選擇只識(shí)別選取的一部分圖片格式的文字和/或圖像中的圖片。其中，對(duì)圖片格·式的文字進(jìn)行識(shí)別可以得到可編輯的文字，本發(fā)明實(shí)施方式采用光學(xué)字符識(shí)別方法對(duì)圖片格式的文字進(jìn)行識(shí)別。當(dāng)然，在實(shí)際應(yīng)用過(guò)程中還可以采用別的方法來(lái)對(duì)圖片格式的文字進(jìn)行識(shí)別得到可編輯的文字，本發(fā)明對(duì)此不作限定。對(duì)圖像中的圖片進(jìn)行識(shí)別可以得到與圖片相關(guān)的候選圖片。比如跟圖像中的圖片屬于同一領(lǐng)域的圖片，或者如果圖像中的圖片是關(guān)于某個(gè)明星或藝人的，可以得到同一個(gè)明星或藝人的相關(guān)圖片等等。其中，請(qǐng)參閱圖3，對(duì)圖像中的圖片進(jìn)行識(shí)別而得到與圖片相關(guān)的候選圖片包括以下子步驟子步驟S301 :對(duì)圖像中的圖片的大小和顏色深度進(jìn)行壓縮，獲取圖像中的圖片的特征值；可以但不限于通過(guò)基于梯度的直方圖特征提取算法、基于尺度空間理論特征提取算法以及濾波特征提取算法中的任何一種方式獲取圖像中圖片的特征值。比如，可以通過(guò)特征值提取得到圖本身的特征，比如圖左邊I厘米處有一個(gè)眼睛圖底上面2厘米處有一個(gè)嘴巴等等。在實(shí)際應(yīng)用過(guò)程中，由于是對(duì)當(dāng)前顯示界面顯示內(nèi)容進(jìn)行截圖而得到的圖像，因此圖像中圖片的周圍可能有關(guān)于圖片的一些相關(guān)描述等，如果有相關(guān)的描述，在這個(gè)過(guò)程中也可以提取出相關(guān)的描述一并發(fā)送給服務(wù)器，以便于找到與圖像中的圖片更加匹配的相關(guān)候選圖片。子步驟S302 :將特征值發(fā)送至服務(wù)器，并接收服務(wù)器采用特征值進(jìn)行比對(duì)而得到的與圖像中的圖片相關(guān)的候選圖片；將特征值發(fā)送給服務(wù)器后，服務(wù)器會(huì)在其內(nèi)的圖片數(shù)據(jù)庫(kù)中采用特征值比對(duì)，找到跟圖像中的圖片相關(guān)的候選圖片。比如如果圖像中的圖片是一個(gè)建筑物，可以找到跟這個(gè)建筑物相似的候選圖片返回給用戶等等。由于服務(wù)器圖片數(shù)據(jù)庫(kù)有大量的圖片，可能返回給用戶的也是大量相關(guān)的候選圖片，這時(shí)候可以根據(jù)圖片信息的可信度或用戶點(diǎn)擊率來(lái)對(duì)候選圖片進(jìn)行排序，以便于用戶能夠更快的找到需要的可靠的候選圖片。步驟S103 :將識(shí)別出的內(nèi)容輸出給第三方應(yīng)用；
可以將經(jīng)識(shí)別而得到的可編輯的文字和/或與圖像中圖片相關(guān)的候選圖片輸出給第三方應(yīng)用。在實(shí)際應(yīng)用過(guò)程中，還有可能出現(xiàn)識(shí)別出來(lái)的可編輯的文字不完整或不準(zhǔn)確，這時(shí)可以通過(guò)語(yǔ)音輸入、輸入法輸入、手勢(shì)識(shí)別輸入、手寫(xiě)輸入、畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊的任意一種方式來(lái)進(jìn)行修正，以獲取更加精確的文字輸出給第三方應(yīng)用。比如經(jīng)識(shí)別而得到的可編輯的文字為“一幅山水畫(huà)”，可以通過(guò)上述任一種輸入方式輸入“山水畫(huà)”或“山水”進(jìn)而輸出給第三方應(yīng)用，也可以直接在可編輯的文字“一幅山水畫(huà)”上面畫(huà)框、涂抹、勾畫(huà)或點(diǎn)擊來(lái)選擇“山水畫(huà)”或“山水”進(jìn)而輸出給第三方應(yīng)用。本發(fā)明的第三方應(yīng)用可以是搜索應(yīng)用、翻譯應(yīng)用、收藏應(yīng)用、記錄應(yīng)用和分享應(yīng)用中的任意一種或兩種以上的應(yīng)用。通過(guò)這些應(yīng)用可以對(duì)經(jīng)識(shí)別而得到的可編輯的文字、經(jīng)圖片識(shí)別而獲取的候選圖片的至少一種進(jìn)行搜索、翻譯、收藏、記錄以及分享等。但是實(shí)際應(yīng)用過(guò)程中還可以是除上述應(yīng)用之外的其他應(yīng)用利用經(jīng)識(shí)別而得到的可編輯的文字和/或經(jīng)圖片識(shí)別而獲取的候選圖片進(jìn)行操作。比如將識(shí)別而得到的可編輯的文字和/或候選圖片用于別的一些應(yīng)用的識(shí)別碼。又比如可以將經(jīng)圖片識(shí)別而獲取的候選圖片作為桌面壁紙、或?qū)⒔?jīng)文字識(shí)別得到的文字可以作為文檔保存起來(lái)等等。
其中，請(qǐng)參閱圖4，對(duì)經(jīng)識(shí)別而得到的與圖像中的圖片相關(guān)的候選圖片進(jìn)行搜索包括以下子步驟子步驟S401 :獲取候選圖片的特征值、相關(guān)的數(shù)據(jù)信息以及候選圖片的領(lǐng)域信息的至少一項(xiàng)信息；服務(wù)器在建立圖片數(shù)據(jù)庫(kù)時(shí)，是從網(wǎng)絡(luò)或者別的來(lái)源抓取大量圖片，并盡可能的獲取這些圖片的名稱、網(wǎng)頁(yè)地址、內(nèi)容、作者、領(lǐng)域信息與圖片相關(guān)的新聞、網(wǎng)絡(luò)服務(wù)等信息，并根據(jù)這些信息進(jìn)行保存和與相應(yīng)的圖片建立索引等。因此返回用戶的候選圖片中也可能包含這些信息，在需要對(duì)候選圖片進(jìn)行搜索的時(shí)候，獲取候選圖片的特征值，并盡可能的獲取候選圖片相關(guān)數(shù)據(jù)信息以及領(lǐng)域信息等，以便于服務(wù)器返回關(guān)聯(lián)度更高的相關(guān)信息和/或服務(wù)。比如，可以通過(guò)特征值提取得到圖本身的特征，比如圖左邊I厘米處有一個(gè)眼睛，圖底上面2厘米處有一個(gè)嘴巴，又比如通過(guò)信息獲取得到這幅畫(huà)是梵高的《滿天星斗的夜晚》等等。子步驟S402 :將獲取的至少一項(xiàng)信息發(fā)送至服務(wù)器；用戶端獲取候選圖片的特征值以及候選圖片相關(guān)數(shù)據(jù)信息以及領(lǐng)域信息后，將這些信息發(fā)送給服務(wù)器，服務(wù)器根據(jù)這些信息在其內(nèi)的圖片數(shù)據(jù)庫(kù)進(jìn)行匹配，從而得到與候選圖片相關(guān)的關(guān)聯(lián)信息返回給用戶端。子步驟S403 :接收服務(wù)器進(jìn)行匹配獲取的與候選圖片對(duì)應(yīng)的至少一項(xiàng)關(guān)聯(lián)信息；用戶端接收服務(wù)器根據(jù)接收的來(lái)自用戶端的信息，在數(shù)據(jù)庫(kù)中進(jìn)行信息匹配，而找到的跟需要搜索的候選圖片對(duì)應(yīng)的關(guān)聯(lián)信息。比如對(duì)梵高的名畫(huà)《滿天星斗的夜晚》進(jìn)行搜索，可以返回這幅畫(huà)拍賣價(jià)格，背后的故事，梵高的信息，作畫(huà)時(shí)間等；比如對(duì)某個(gè)明星的頭像進(jìn)行搜索，可以返回用戶這個(gè)明星相關(guān)的信息，比如他的籍貫、什么時(shí)候出道以及他的相關(guān)作品等等。甚至還可以結(jié)合圖片的領(lǐng)域信息得到圖片中的明星是影視界的，可以返回用戶跟這個(gè)明星相關(guān)的新聞搜索或微博發(fā)言等。在另一種情況，還可以利用圖片的領(lǐng)域信息、用戶當(dāng)前的位置信息和時(shí)間信息中的至少一項(xiàng)信息輸出與圖片對(duì)應(yīng)的關(guān)聯(lián)信息相應(yīng)的服務(wù)提示。比如如果用戶搜索的是用戶所處位置附近的一個(gè)餐廳的圖片，這時(shí)可以結(jié)合相關(guān)的應(yīng)用獲取用戶當(dāng)前的位置信息以及當(dāng)前時(shí)間信息，返回用戶預(yù)定座位的服務(wù)提示等；又或者用戶搜索的是用戶所在地的一個(gè)電影院的圖片，可以返回用戶當(dāng)前該電影院的影片播放預(yù)告以及相應(yīng)的票額情況等等。這時(shí)可以根據(jù)用戶對(duì)這些服務(wù)提示的選擇進(jìn)行相應(yīng)的操作。比如用戶可以選擇預(yù)定電影票，這時(shí)將進(jìn)入相應(yīng)的訂票界面；如果用戶不選擇相應(yīng)的服務(wù)，則保持在當(dāng)前界面不執(zhí)行動(dòng)作。另外，在實(shí)際應(yīng)用過(guò)程中，為了使搜索結(jié)果更加準(zhǔn)確，用戶可以對(duì)當(dāng)前界面中的圖片和文字一起截圖，將對(duì)截圖識(shí)別而得到的圖片格式的文字和候選圖片一起發(fā)送給搜索應(yīng)用進(jìn)行搜索，從而返回相關(guān)聯(lián)的信息和服務(wù)提示。比如如果當(dāng)前是“憤怒的小鳥(niǎo)”的游戲界面，界面上包括有小鳥(niǎo)的圖片，小鳥(niǎo)圖片下面包含有文字“憤怒的小鳥(niǎo)”。這時(shí)如果用戶通過(guò)截圖獲取包括小鳥(niǎo)的圖片和下面的文字的圖像，那么對(duì)小鳥(niǎo)的圖片進(jìn)行識(shí)別可能得到各種小鳥(niǎo)的候選圖片，如果只以小鳥(niǎo)的候選圖片作為需要搜索的圖片，返回結(jié)果可能有小鳥(niǎo)的圖片和各種鳥(niǎo)的介紹等。而如果以小鳥(niǎo)的候選圖片結(jié)合圖片格式的文字“憤怒的小鳥(niǎo)”一起作為需要搜索的圖片，這時(shí)服務(wù)器可以從圖片格式的文字提取到文字信息，結(jié)合文字信息和小鳥(niǎo)的候選圖片一起在服務(wù)器數(shù)據(jù)庫(kù)中進(jìn)行匹配，可以返回包括“憤怒的小鳥(niǎo)”游戲相 關(guān)的信息，比如游戲下載地址、在線游戲地址等等，這與用戶的需求更加貼近。值得一提的是，如果只將識(shí)別而得到的可編輯的文字發(fā)送給搜索應(yīng)用進(jìn)行搜索的時(shí)候也能利用相關(guān)的信息提供與所搜索的文字相關(guān)聯(lián)的相應(yīng)服務(wù)提示。比如識(shí)別得到的可編輯的文字是一個(gè)酒店的名稱，可以返回該酒店預(yù)定房間的服務(wù)提示。用戶如果選擇預(yù)定房間則進(jìn)入酒店預(yù)定房間的界面，如果不選擇預(yù)定房間則保持在當(dāng)前界面不執(zhí)行動(dòng)作。通過(guò)上述實(shí)施方式的描述，可以理解，本發(fā)明提供的信息處理方法，直接通過(guò)截圖方式獲取當(dāng)前顯示界面內(nèi)容的圖像，并對(duì)包括當(dāng)前顯示界面內(nèi)容進(jìn)行識(shí)別而得到可編輯的文字和/或與圖像中的圖片相關(guān)的候選圖片，以對(duì)當(dāng)前顯示界面的內(nèi)容進(jìn)行進(jìn)一步的處理，從而極大的減少用戶對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理的操作路徑，方便快捷。另外，可以對(duì)經(jīng)識(shí)別而得到的與圖像中的圖片相關(guān)的候選圖片進(jìn)行搜索，通過(guò)獲取需要搜索的候選圖片的相關(guān)信息并與服務(wù)器預(yù)先建立的數(shù)據(jù)庫(kù)中信息進(jìn)行比對(duì)，從而獲取跟圖片相關(guān)的信息返回給用戶，還可以結(jié)合用戶的實(shí)際情況為用戶提供更多的服務(wù)提示，節(jié)約用戶搜尋資源的時(shí)間，同時(shí)又能得到可靠全面的信息，提供一種更為強(qiáng)大的搜索方式。請(qǐng)參閱圖5，本發(fā)明信息處理裝置一實(shí)施方式包括截圖模塊11、識(shí)別模塊12以及應(yīng)用模塊13，其中截圖模塊11用于通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像，并將獲取的圖像發(fā)送給識(shí)別模塊12 ；用戶需要對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行進(jìn)一步的處理的時(shí)候，通過(guò)截圖模塊11，對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行截圖，獲取包括當(dāng)前顯示界面內(nèi)容的圖像并發(fā)送給識(shí)別模塊12進(jìn)行識(shí)別。識(shí)別模塊12用于接收?qǐng)D像并識(shí)別出圖像中的內(nèi)容，將識(shí)別出的圖像中的內(nèi)容發(fā)送給應(yīng)用模塊13 ；識(shí)別模塊12對(duì)圖像中的圖片進(jìn)行識(shí)別而得到與該圖片相關(guān)的候選圖片，對(duì)圖像中圖片格式的文字進(jìn)行識(shí)別而得到可編輯的文字。其中，本發(fā)明實(shí)施方式中采用光學(xué)字符識(shí)別方法對(duì)圖片格式的文字進(jìn)行識(shí)別。將識(shí)別而得到的可編輯的文字和/或與圖像中的圖片相關(guān)的候選圖片發(fā)送給應(yīng)用模塊13進(jìn)行進(jìn)一步的處理。應(yīng)用模塊13用于接收經(jīng)識(shí)別模塊12識(shí)別后的圖像中的內(nèi)容；應(yīng)用模塊13可以用于接收識(shí)別而得到的文字和/或候選圖片，并進(jìn)行搜索、翻譯、記錄、收藏和分享中的任意一種或兩種以上的操作。當(dāng)然，實(shí)際應(yīng)用過(guò)程中還可以是除本發(fā)明上述列舉的操作之外的其他操作。其中，請(qǐng)參閱圖6，本實(shí)施方式應(yīng)用模塊13還包括用于對(duì)識(shí)別而得到的候選圖片進(jìn)行搜索的信息獲取單元21、發(fā)送單元22以及信息接收單元23，其中信息獲取單元21用于獲取需要搜索的候選圖片的特征值、候選圖片相關(guān)的數(shù)據(jù)信息、候選圖片的領(lǐng)域信息中的至少一項(xiàng)信息，并將獲取的信息輸出給發(fā)送單元22 ；信息獲取單元21可以獲取需要搜索的候選圖片的特征值，候選圖片的名稱、網(wǎng)頁(yè) 地址、內(nèi)容、作者、領(lǐng)域信息與圖片相關(guān)的新聞、網(wǎng)絡(luò)服務(wù)等信息。發(fā)送單元22用于將信息獲取單元21獲取的信息發(fā)送給服務(wù)器；信息接收單元23用于接收服務(wù)器利用需要搜索的候選圖片的特征值、候選圖片相關(guān)的數(shù)據(jù)信息、候選圖片的領(lǐng)域信息中的至少一項(xiàng)信息進(jìn)行匹配后獲取的與候選圖片對(duì)應(yīng)的至少一項(xiàng)關(guān)聯(lián)信息；信息接收單元23接收服務(wù)器根據(jù)接收的來(lái)自用戶端的信息，在數(shù)據(jù)庫(kù)中進(jìn)行信息匹配，而找到的跟需要搜索的候選圖片對(duì)應(yīng)的關(guān)聯(lián)信息。優(yōu)選地,本發(fā)明信息處理裝置一實(shí)施方式還包括修正模塊修正模塊用于對(duì)識(shí)別模塊12識(shí)別而得到的可編輯的文字進(jìn)行修正；在實(shí)際應(yīng)用過(guò)程中，有可能出現(xiàn)識(shí)別出來(lái)的可編輯的文字不完整或不準(zhǔn)確，這時(shí)可以通過(guò)修正模塊采用語(yǔ)音輸入、輸入法輸入、手勢(shì)識(shí)別輸入、手寫(xiě)輸入、畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊的任意一種方式來(lái)進(jìn)行修正，并將修正后的可編輯的文字發(fā)送給應(yīng)用模塊13。優(yōu)選地，本發(fā)明信息處理裝置一實(shí)施方式還包括激活模塊，用于激活對(duì)當(dāng)前顯示界面的內(nèi)容進(jìn)行處理的信息處理應(yīng)用；在需要對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理的時(shí)候，需要通過(guò)激活模塊激活信息處理應(yīng)用，可以但不限于通過(guò)調(diào)用應(yīng)用的小工具、點(diǎn)擊應(yīng)用的圖標(biāo)、按壓應(yīng)用的啟動(dòng)按鈕的任意一種方式激活相應(yīng)信息處理應(yīng)用。通過(guò)上述實(shí)施方式的描述，區(qū)別于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)在于提供一種信息處理方式，直接通過(guò)截圖方式獲取當(dāng)前顯示界面內(nèi)容的圖像，并對(duì)包括當(dāng)前顯示界面內(nèi)容的圖像進(jìn)行識(shí)別以進(jìn)行處理，從而極大的減少用戶對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理的操作路徑，使對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理變得更加簡(jiǎn)單和可依賴，方便快捷。另外，區(qū)別于現(xiàn)有技術(shù)的情況，本發(fā)明的另一優(yōu)點(diǎn)在于還提供一種對(duì)經(jīng)圖片識(shí)別而獲取的候選圖片進(jìn)行搜索的方法，通過(guò)獲取經(jīng)圖片識(shí)別而獲取的候選圖片的特征值、相關(guān)的數(shù)據(jù)以及領(lǐng)域信息等，并與服務(wù)器預(yù)先建立的數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行比對(duì)，從而使搜索結(jié)果能夠返回跟經(jīng)圖片識(shí)別而獲取的候選圖片相關(guān)的信息，相對(duì)于現(xiàn)有圖片搜索只能返回跟圖片相關(guān)的圖片的情況，本發(fā)明的對(duì)經(jīng)圖片識(shí)別而獲取的候選圖片進(jìn)行搜索的方法能夠?yàn)橛脩籼峁└釉敿?xì)的信息和服務(wù)資源。在本發(fā)明所提供的幾個(gè)實(shí)施方式中，應(yīng)該理解到，所揭露的裝置和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施方式僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)模塊或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。所述作為分離部件說(shuō)明的功能模塊可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本發(fā)明方案的目的。另外，在本發(fā)明各個(gè)實(shí)施方式中的各功能模塊可以集成在一個(gè)處理單元中，也可以是各個(gè)功能模塊單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上功能模塊集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。 以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種信息處理方法，其特征在于，包括 通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像； 識(shí)別出所述圖像中的內(nèi)容； 將所述識(shí)別出的內(nèi)容輸出給第三方應(yīng)用。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像的步驟之前，還包括通過(guò)內(nèi)部感應(yīng)設(shè)備感應(yīng)啟動(dòng)、調(diào)用應(yīng)用小工具、點(diǎn)擊應(yīng)用圖標(biāo)、按壓應(yīng)用啟動(dòng)按鈕的任意一種方式激活信息處理應(yīng)用，以進(jìn)行包括所述截圖在內(nèi)的操作。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述識(shí)別出圖像中的內(nèi)容的步驟包括 利用模式識(shí)別方法劃分開(kāi)所述圖像中的圖片及圖片格式的文字； 對(duì)所述圖片格式的文字進(jìn)行識(shí)別而得到可編輯的文字，或?qū)λ鰣D像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)圖像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片的步驟包括 對(duì)所述圖像中的圖片的大小和顏色深度進(jìn)行壓縮，獲取所述圖像中的圖片的特征值； 將所述特征值發(fā)送至服務(wù)器，并接收所述服務(wù)器采用所述特征值進(jìn)行比對(duì)而得到的與所述圖像中的圖片相關(guān)的候選圖片。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將識(shí)別出的內(nèi)容輸出給第三方應(yīng)用的步驟包括將所述識(shí)別而得到的可編輯的文字、與圖片相關(guān)的候選圖片的至少一種輸出給搜索應(yīng)用、翻譯應(yīng)用、收藏應(yīng)用、記錄應(yīng)用和分享應(yīng)用中的任意一種或兩種以上的應(yīng)用。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將識(shí)別而得到與圖片相關(guān)的候選圖片輸出給搜索應(yīng)用的步驟之后，還包括 獲取所述候選圖片的特征值、所述候選圖片相關(guān)的數(shù)據(jù)信息、所述候選圖片的領(lǐng)域信息中的至少一項(xiàng)信息； 將所述獲取的至少一項(xiàng)信息發(fā)送至服務(wù)器； 接收所述服務(wù)器進(jìn)行匹配獲取的與所述候選圖片對(duì)應(yīng)的至少一項(xiàng)關(guān)聯(lián)信息。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述獲取候選圖片相關(guān)的數(shù)據(jù)信息的步驟包括獲取所述候選圖片的名稱、網(wǎng)頁(yè)地址、內(nèi)容、作者、與所述候選圖片相關(guān)的新聞、網(wǎng)絡(luò)服務(wù)中的至少一項(xiàng)信息。
8.根據(jù)權(quán)利要求3所述的方法，其特征在于， 在所述利用模式識(shí)別方法劃分開(kāi)圖像中的圖片及圖片格式的文字的步驟之后，在對(duì)所述圖片格式的文字或圖像中的圖片進(jìn)行識(shí)別的步驟之前包括 通過(guò)在所述圖像中的圖片或所述圖片格式的文字上畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊和自定義選取方式中的至少一種方式選取所述圖像中的圖片及圖片格式的文字以備進(jìn)行識(shí)別。
9.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述識(shí)別而得到可編輯的文字的步驟之后，對(duì)所述識(shí)別出的內(nèi)容進(jìn)行處理的步驟之前還包括通過(guò)語(yǔ)音輸入、輸入法輸入、手寫(xiě)輸入、手勢(shì)識(shí)別、畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊的任意一種或兩種以上方式對(duì)所述可編輯的文字進(jìn)行修正。
10.一種信息處理裝置，其特征在于，包括截圖模塊、識(shí)別模塊以及應(yīng)用模塊，其中所述截圖模塊用于通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像，并將獲取的所述圖像發(fā)送給所述識(shí)別模塊； 所述識(shí)別模塊用于接收所述圖像并識(shí)別出圖像中的內(nèi)容，將所述識(shí)別出的圖像中的內(nèi)容發(fā)送給所述應(yīng)用模塊； 所述應(yīng)用模塊用于接收經(jīng)識(shí)別模塊識(shí)別后的圖像中的內(nèi)容。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于， 所述裝置還包括激活模塊，用于通過(guò)內(nèi)部感應(yīng)設(shè)備感應(yīng)啟動(dòng)、調(diào)用應(yīng)用的小工具、點(diǎn)擊應(yīng)用的圖標(biāo)、按壓應(yīng)用的啟動(dòng)按鈕的任意一種方式激活信息處理應(yīng)用，以進(jìn)行包括所述截圖在內(nèi)的操作。
12.根據(jù)權(quán)利要求10所述的裝置，其特征在于， 所述識(shí)別模塊具體用于利用模式識(shí)別方法劃分開(kāi)所述圖像中的圖片及圖片格式的文字，對(duì)所述圖片格式的文字進(jìn)行識(shí)別而得到可編輯的文字，或?qū)λ鰣D像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片，并將所述識(shí)別而得到的可編輯的文字和/或與所述圖像中的圖片相關(guān)的候選圖片發(fā)送給所述應(yīng)用模塊； 所述應(yīng)用模塊具體用于接收所述識(shí)別而得到的可編輯的文字和/或與圖片相關(guān)的候選圖片，并進(jìn)行搜索、翻譯、收藏、記錄和分享中的任意一種或兩種以上的操作。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述應(yīng)用模塊包括用于對(duì)所述與圖片相關(guān)的候選圖片進(jìn)行搜索的信息獲取單元、發(fā)送單元以及信息接收單元，其中 所述信息獲取單元用于獲取需要搜索的所述候選圖片的特征值、所述候選圖片相關(guān)的數(shù)據(jù)信息、所述候選圖片的領(lǐng)域信息中的至少一項(xiàng)信息，并將獲取的所述至少一項(xiàng)信息輸出給所述發(fā)送單元； 所述發(fā)送單元用于將所述信息獲取單元獲取的所述至少一項(xiàng)信息發(fā)送給服務(wù)器； 所述信息接收單元用于接收所述服務(wù)器利用所述至少一項(xiàng)信息進(jìn)行匹配后獲取的與所述候選圖片對(duì)應(yīng)的至少一項(xiàng)關(guān)聯(lián)信息。
14.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述識(shí)別模塊具體用于利用模式識(shí)別方法劃分開(kāi)圖像中的圖片及圖片格式的文字，并通過(guò)在所述圖像中的圖片或所述圖片格式的文字上畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊和自定義選取方式中的至少一種方式選取所述圖像中的圖片及圖片格式的文字，對(duì)所述圖片格式的文字進(jìn)行識(shí)別而得到可編輯的文字，或?qū)λ鰣D像中的圖片進(jìn)行識(shí)別而得到與所述圖像中的圖片相關(guān)的候選圖片，并將所述識(shí)別而得到的可編輯的文字和/或與所述圖像中的圖片相關(guān)的候選圖片發(fā)送給所述應(yīng)用模塊。
15.根據(jù)權(quán)利要求12所述的裝置，其特征在于， 所述裝置還包括修正模塊，用于通過(guò)語(yǔ)音輸入、輸入法輸入、手寫(xiě)輸入、手勢(shì)識(shí)別、畫(huà)框、涂抹、勾畫(huà)、點(diǎn)擊的任意一種或兩種以上方式對(duì)所述識(shí)別模塊識(shí)別而得到的可編輯的文字進(jìn)行修正，并將修正后的所述可編輯的文字發(fā)送給所述應(yīng)用模塊。
全文摘要
本發(fā)明公開(kāi)了一種信息處理方法、圖片搜索方法及裝置、服務(wù)器。信息處理方法包括通過(guò)截圖獲取包括當(dāng)前顯示界面內(nèi)容的圖像；識(shí)別出所述圖像中的內(nèi)容；對(duì)所述識(shí)別出的內(nèi)容進(jìn)行處理。通過(guò)上述方式，本發(fā)明不需要退出當(dāng)前界面或?qū)Ξ?dāng)前界面做過(guò)多的操作即可實(shí)現(xiàn)對(duì)當(dāng)前界面的內(nèi)容進(jìn)行處理，從而極大的減少用戶對(duì)當(dāng)前顯示界面內(nèi)容進(jìn)行處理的操作路徑，方便快捷。
文檔編號(hào)G06T11/60GK102930263SQ201210364819
公開(kāi)日2013年2月13日 申請(qǐng)日期2012年9月27日 優(yōu)先權(quán)日2012年9月27日
發(fā)明者金遠(yuǎn) 申請(qǐng)人:百度國(guó)際科技(深圳)有限公司