本申請(qǐng)屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域,具體地說,涉及一種搜索處理方法、裝置及系統(tǒng)。
背景技術(shù):
在現(xiàn)有的互聯(lián)網(wǎng)搜索技術(shù)領(lǐng)域,如愛奇藝視頻網(wǎng)站、優(yōu)酷網(wǎng)、騰訊視頻均提供了根據(jù)文字進(jìn)行視頻搜索的視頻搜索引擎。具體方式通常是用戶輸入關(guān)鍵詞,搜索出與該關(guān)鍵詞相關(guān)的視頻等網(wǎng)站鏈接。如谷歌、百度、搜狗、奇虎等公司開發(fā)了圖片搜索引擎,通常是用戶上傳圖片,搜索引擎根據(jù)上傳圖片中的整體內(nèi)容,搜索出與上傳圖片中的整體內(nèi)容相同或相似的圖片搜索結(jié)果。
但是,當(dāng)用戶通過用戶設(shè)備觀看視頻時(shí),對(duì)視頻中感興趣的目標(biāo)(如商品、明星等)時(shí),需要用戶最小化視頻網(wǎng)頁,打開搜索引擎網(wǎng)頁,當(dāng)用戶知道視頻中感興趣的目標(biāo)時(shí),可以在搜索引擎網(wǎng)頁中輸入用戶感興趣的目標(biāo)名稱,搜索出與該目標(biāo)名稱相關(guān)的網(wǎng)站鏈接,由于需要用戶最小化視頻網(wǎng)頁,手動(dòng)打開搜索引擎網(wǎng)頁,用戶體驗(yàn)度不高;但是,當(dāng)用戶對(duì)視頻中感興趣的目標(biāo)不是很清楚的時(shí)候,用戶可以對(duì)暫停視頻中的圖片進(jìn)行截圖,并將該截圖上傳給搜索引擎,由于截圖上除了包括用戶感興趣的目標(biāo)之外,還包括其他內(nèi)容,這樣搜索得出的結(jié)果通常也包括用戶不感興趣的內(nèi)容。
因此,現(xiàn)有的搜索技術(shù)中存在搜索精確性不高,且用戶體驗(yàn)度差的問題。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本申請(qǐng)?zhí)峁┮环N搜索處理方法、裝置及系統(tǒng),可以解決現(xiàn)有的搜索技術(shù)中存在搜索精確性不高,且用戶體驗(yàn)度差的問題。
為了解決上述技術(shù)問題,本申請(qǐng)第一方面提供一種搜索處理方法,包括:
用戶端在檢測(cè)到用戶操作截圖插件觸發(fā)的截圖請(qǐng)求時(shí),暫停正在播放的視頻,根據(jù)用戶指令在所述暫停的視頻中截取目標(biāo)區(qū)域圖像;
在檢測(cè)到用戶操作搜索插件觸發(fā)的搜索請(qǐng)求時(shí),顯示搜索類型列表,所述搜索類型列表中包括一個(gè)或一個(gè)以上的搜索類型,根據(jù)用戶指令在所述搜索類型列表選擇搜索類型;
向服務(wù)器發(fā)送搜索請(qǐng)求消息,所述搜索請(qǐng)求消息中包括所述目標(biāo)區(qū)域圖像和所述搜索類型,以使所述服務(wù)器根據(jù)所述用戶端發(fā)送的所述目標(biāo)區(qū)域圖像和所述搜索類型進(jìn)行相應(yīng)的檢索,并將檢索結(jié)果發(fā)送給所述用戶端對(duì)應(yīng)的用戶設(shè)備進(jìn)行顯示。
本申請(qǐng)中可以通過對(duì)正在播放的視頻啟動(dòng)截圖插件,自動(dòng)暫停播放視頻,并對(duì)暫停視頻中的目標(biāo)進(jìn)行截圖,而且截圖時(shí)可以根據(jù)用戶操作選擇邊框調(diào)整目標(biāo)區(qū)域圖像的大小,進(jìn)一步地,在用戶選擇目標(biāo)區(qū)域圖像之后可以顯示搜索類型列表,使得用戶可以選擇搜索類型,這樣可以進(jìn)一步對(duì)目標(biāo)區(qū)域圖像中的搜索目標(biāo)進(jìn)行精確定位,從而搜索到用戶真正感興趣的目標(biāo)搜索結(jié)果;不僅提高了搜索的精確性,而且用戶體驗(yàn)度較高,因此可以解決現(xiàn)有的搜索技術(shù)中存在搜索精確性不高,且用戶體驗(yàn)度差的問題。
當(dāng)然,實(shí)施本申請(qǐng)的任一產(chǎn)品必不一定需要同時(shí)達(dá)到以上所述的所有技術(shù)效果。
附圖說明
此處所說明的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解,構(gòu)成本申請(qǐng)的一部分,本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng),并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
圖1是本申請(qǐng)實(shí)施例的一種搜索處理方法的流程示意圖;
圖2是本申請(qǐng)實(shí)施例的一種搜索處理方法的流程示意圖;
圖3為圖2實(shí)施例中步驟202的一種實(shí)現(xiàn)方式流程示意圖;
圖4為圖2實(shí)施例中步驟202的又一種實(shí)現(xiàn)方式流程示意圖;
圖5為圖2實(shí)施例中步驟202的又一種實(shí)現(xiàn)方式流程示意圖;
圖6為本實(shí)施例中應(yīng)用的一種文字識(shí)別示意圖;
圖7是本申請(qǐng)實(shí)施例的一種搜索處理方法的信令圖;
圖8是本申請(qǐng)實(shí)施例的一種搜索處理裝置的結(jié)構(gòu)示意圖;
圖9是本申請(qǐng)實(shí)施例的一種搜索處理裝置的結(jié)構(gòu)示意圖;
圖10是本申請(qǐng)實(shí)施例的一種搜索處理系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
以下將配合附圖及實(shí)施例來詳細(xì)說明本申請(qǐng)的實(shí)施方式,藉此對(duì)本申請(qǐng)如何應(yīng)用技術(shù)手段來解決技術(shù)問題并達(dá)成技術(shù)功效的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。
在一個(gè)典型的配置中,計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。
內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器,隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式,如只讀存儲(chǔ)器(ROM)或閃存(flash RAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。
計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括,但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、其他類型的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶,磁帶磁磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì),可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定,計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitory media),如調(diào)制的數(shù)據(jù)信號(hào)和載波。
如在說明書及權(quán)利要求當(dāng)中使用了某些詞匯來指稱特定組件。本領(lǐng)域技術(shù)人員應(yīng)可理解,硬件制造商可能會(huì)用不同名詞來稱呼同一個(gè)組件。本說明 書及權(quán)利要求并不以名稱的差異來作為區(qū)分組件的方式,而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)則。如在通篇說明書及權(quán)利要求當(dāng)中所提及的“包含”為一開放式用語,故應(yīng)解釋成“包含但不限定于”。“大致”是指在可接收的誤差范圍內(nèi),本領(lǐng)域技術(shù)人員能夠在一定誤差范圍內(nèi)解決所述技術(shù)問題,基本達(dá)到所述技術(shù)效果。此外,“耦接”一詞在此包含任何直接及間接的電性耦接手段。因此,若文中描述一第一裝置耦接于一第二裝置,則代表所述第一裝置可直接電性耦接于所述第二裝置,或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書后續(xù)描述為實(shí)施本申請(qǐng)的較佳實(shí)施方式,然所述描述乃以說明本申請(qǐng)的一般原則為目的,并非用以限定本申請(qǐng)的范圍。本申請(qǐng)的保護(hù)范圍當(dāng)視所附權(quán)利要求所界定者為準(zhǔn)。
還需要說明的是,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的商品或者系統(tǒng)不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種商品或者系統(tǒng)所固有的要素。在沒有更多限制的情況下,由語句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的商品或者系統(tǒng)中還存在另外的相同要素。
圖1是本申請(qǐng)實(shí)施例的一種搜索處理方法的流程示意圖,所述方法位于用戶端執(zhí)行,如圖1所示,包括:
步驟101、用戶端在檢測(cè)到用戶觸發(fā)的截圖請(qǐng)求時(shí),暫停正在播放的視頻,根據(jù)用戶指令在所述暫停的視頻中截取目標(biāo)區(qū)域圖像;
其中,本實(shí)施例中,所述用戶端包括但是不限于安裝在用戶設(shè)備中的瀏覽器、瀏覽器插件、視頻播放器或視頻播放器插件;
其中,在本實(shí)施例中,根據(jù)用戶指令在所述暫停的視頻中截取目標(biāo)區(qū)域圖像,包括:
在檢測(cè)到用戶通過滑動(dòng)光標(biāo)在所述暫停的視頻中選擇目標(biāo)時(shí),在所述目標(biāo)所在的圖像區(qū)域顯示預(yù)設(shè)形狀的選擇邊框,以使用戶通過滑動(dòng)光標(biāo)調(diào)整所述選擇邊框的大小,從而調(diào)整所述目標(biāo)區(qū)域圖像的區(qū)域范圍。
舉例來說,步驟101在具體實(shí)現(xiàn)時(shí),當(dāng)用戶通過視頻播放器正在觀看視頻時(shí),當(dāng)視頻中出現(xiàn)用戶感興趣的目標(biāo)(如商品、明星等)時(shí),用戶可以通過點(diǎn)擊嵌入在視頻瀏覽器中的插件觸發(fā)截圖請(qǐng)求,此時(shí),視頻瀏覽器插件將 該截圖請(qǐng)求發(fā)送給視頻瀏覽器,以使視頻瀏覽器暫時(shí)停止正在播放的視頻;用戶通過移動(dòng)鼠標(biāo)在暫停的視頻中選擇興趣目標(biāo)所處的矩形區(qū)域,所述矩形區(qū)域包括矩形邊框,進(jìn)一步地,在邊框的四角和四邊中點(diǎn)設(shè)置錨點(diǎn),用戶可以使用鼠標(biāo)拖動(dòng)錨點(diǎn)微調(diào)改變矩形區(qū)域包圍范圍。
步驟102、在檢測(cè)到用戶觸發(fā)的搜索請(qǐng)求時(shí),顯示搜索類型列表,根據(jù)用戶指令在所述搜索類型列表選擇搜索類型;
其中,本實(shí)施例中,所述搜索類型列表中包括一個(gè)或一個(gè)以上的搜索類型,所述搜索類型包括但不限于商品搜索、文字搜索或人臉?biāo)阉鳌?/p>
舉例來說,步驟102在具體實(shí)現(xiàn)時(shí),當(dāng)用戶選擇興趣目標(biāo)所處的矩形區(qū)域之后,彈出搜索類型列表,其中,搜索類型列表包括一個(gè)或一個(gè)以上的搜索類型(也可以稱為類目選擇選項(xiàng)),假設(shè)所述搜索類型中包括商品搜索、文字搜索或人臉?biāo)阉?,則用戶可以通過滑動(dòng)鼠標(biāo)選擇商品、文字或人臉三項(xiàng)搜索需求。
步驟103、向服務(wù)器發(fā)送搜索請(qǐng)求消息,所述搜索請(qǐng)求消息中包括所述目標(biāo)區(qū)域圖像和所述搜索類型,以使所述服務(wù)器根據(jù)所述用戶端發(fā)送的所述目標(biāo)區(qū)域圖像和所述搜索類型進(jìn)行相應(yīng)的檢索,并將檢索結(jié)果發(fā)送給所述用戶端對(duì)應(yīng)的用戶設(shè)備進(jìn)行顯示。
舉例來說,步驟103在具體實(shí)現(xiàn)時(shí),用戶端通過該用戶端所在的用戶設(shè)備的網(wǎng)絡(luò),向服務(wù)器(如搜索服務(wù)器)發(fā)送搜索請(qǐng)求消息,其中,所述搜索請(qǐng)求消息中包括上述用戶選擇的目標(biāo)區(qū)域圖像和搜索類型。
對(duì)應(yīng)地,服務(wù)器接收用戶端對(duì)應(yīng)的用戶設(shè)備發(fā)送的搜索請(qǐng)求消息,所述搜索請(qǐng)求消息中包括目標(biāo)區(qū)域圖像和搜索類型;根據(jù)所述搜索類型,確定與所述搜索類型對(duì)應(yīng)的搜索處理程序;根據(jù)所述目標(biāo)區(qū)域圖像,執(zhí)行所述搜索處理程序,獲取與所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果;將所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果發(fā)送給所述用戶設(shè)備進(jìn)行顯示。
本發(fā)明實(shí)施例通過用戶端在檢測(cè)到用戶通過操作正在播放的視頻觸發(fā)的截圖請(qǐng)求時(shí),暫停所述正在播放的視頻,根據(jù)用戶指令在所述暫停的視頻中截取目標(biāo)區(qū)域圖像;且在檢測(cè)到用戶通過操作所述目標(biāo)區(qū)域圖像觸發(fā)的搜索請(qǐng)求,顯示搜索類型列表,所述搜索類型列表中包括一個(gè)或一個(gè)以上的搜索類型,根據(jù)用戶指令在所述搜索類型列表選擇搜索類型;之后,向服務(wù)器發(fā) 送搜索請(qǐng)求消息,以使所述服務(wù)器根據(jù)所述搜索請(qǐng)求消息中包括所述目標(biāo)區(qū)域圖像和所述搜索類型進(jìn)行相應(yīng)的檢索,并將檢索結(jié)果發(fā)送給所述用戶端對(duì)應(yīng)的用戶設(shè)備進(jìn)行顯示。
由于本實(shí)施例中可以通過對(duì)正在播放的視頻啟動(dòng)截圖插件,自動(dòng)暫停播放視頻,并對(duì)暫停視頻中的目標(biāo)進(jìn)行截圖,而且截圖時(shí)可以根據(jù)用戶操作選擇邊框調(diào)整目標(biāo)區(qū)域圖像的大小,進(jìn)一步地,在用戶選擇目標(biāo)區(qū)域圖像之后可以顯示搜索類型列表,使得用戶可以選擇搜索類型,這樣可以進(jìn)一步對(duì)目標(biāo)區(qū)域圖像中的搜索目標(biāo)進(jìn)行精確定位,從而搜索到用戶真正感興趣的目標(biāo)搜索結(jié)果;不僅提高了搜索的精確性,而且用戶體驗(yàn)度較高,因此可以解決現(xiàn)有的搜索技術(shù)中存在搜索精確性不高,且用戶體驗(yàn)度差的問題。
圖2是本申請(qǐng)實(shí)施例的一種搜索處理方法的流程示意圖,所述方法位于服務(wù)器側(cè)執(zhí)行,如圖2所示,包括:
步驟201、服務(wù)器接收用戶端對(duì)應(yīng)的用戶設(shè)備發(fā)送的搜索請(qǐng)求消息,所述搜索請(qǐng)求消息中包括目標(biāo)區(qū)域圖像和搜索類型;
其中,搜索請(qǐng)求消息是用戶端在檢測(cè)到用戶通過操作正在播放的視頻觸發(fā)的截圖請(qǐng)求時(shí),暫停所述正在播放的視頻,根據(jù)用戶指令在所述暫停的視頻中截取目標(biāo)區(qū)域圖像;且在檢測(cè)到用戶通過操作所述目標(biāo)區(qū)域圖像觸發(fā)的搜索請(qǐng)求,顯示搜索類型列表,并根據(jù)用戶指令在所述搜索類型列表選擇搜索類型之后,向服務(wù)器發(fā)送的搜索請(qǐng)求消息,通常用戶端通過其對(duì)應(yīng)的用戶設(shè)備發(fā)送搜索請(qǐng)求消息,其中,本實(shí)施例中,所述搜索類型包括但不限于商品搜索、文字搜索或人臉?biāo)阉?,具體可以參考圖1所示實(shí)施例中的相關(guān)描述,不再贅述。
步驟202、根據(jù)所述搜索類型,確定與所述搜索類型對(duì)應(yīng)的搜索處理程序,執(zhí)行所述搜索處理程序,獲取與所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果;
步驟203、將所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果發(fā)送給所述用戶端所在的用戶設(shè)備進(jìn)行顯示。
在一種可選的實(shí)施方式中,圖3為圖2實(shí)施例中步驟202的一種實(shí)現(xiàn)方式流程示意圖,如圖3所示,若所述搜索類型包括商品搜索,則步驟202具體實(shí)現(xiàn)時(shí)包括:
步驟301、服務(wù)器獲取所述目標(biāo)區(qū)域圖像中商品的深度學(xué)習(xí)特征;
步驟302、將所述商品的深度學(xué)習(xí)特征進(jìn)行量化編碼,得到所述商品的二值哈希碼;
步驟303、根據(jù)所述商品的二值哈希碼,查詢商品圖片數(shù)據(jù)庫中保存的二值哈希碼,在所述商品圖片數(shù)據(jù)庫中獲取與所述商品的二值哈希碼匹配的二值哈希碼;
步驟304、根據(jù)所述匹配的二值哈希碼,在所述商品圖片數(shù)據(jù)庫中獲取與所述匹配的二值哈希碼對(duì)應(yīng)的商品標(biāo)識(shí);
步驟305、根據(jù)所述商品標(biāo)識(shí),獲取與所述商品標(biāo)識(shí)對(duì)應(yīng)的商品信息的存儲(chǔ)地址,根據(jù)所述存儲(chǔ)地址,獲取所述商品信息。
為此,本實(shí)施例中,所述方法還包括建立商品圖片數(shù)據(jù)庫,其中,商品圖片數(shù)據(jù)庫保存有每一商品圖片的商品信息的存儲(chǔ)地址與其對(duì)應(yīng)的商品標(biāo)識(shí)之間的映射關(guān)系,還保存有每一商品圖片的二值哈希碼與其對(duì)應(yīng)的商品標(biāo)識(shí)之間的映射關(guān)系,舉例來說,商品圖片數(shù)據(jù)庫的建立包括:
通過大數(shù)據(jù)挖掘獲取數(shù)量級(jí)的商品圖片以及對(duì)應(yīng)的商品信息;對(duì)每一商品圖片進(jìn)行分析處理,獲得每一商品的深度學(xué)習(xí)特征,根據(jù)每一商品的深度學(xué)習(xí)特征進(jìn)行量化編碼得到對(duì)應(yīng)的二值哈希碼;在所述商品圖片數(shù)據(jù)庫中,建立并保存每一商品圖片的商品信息的存儲(chǔ)地址與其對(duì)應(yīng)的商品標(biāo)識(shí)之間的映射關(guān)系;在所述商品圖片數(shù)據(jù)庫中,建立并保存每一商品圖片的二值哈希碼與其對(duì)應(yīng)的商品標(biāo)識(shí)之間的映射關(guān)系。
需要說明的是,本實(shí)施例中,在獲得每一商品的深度學(xué)習(xí)特征時(shí)例如可以采用GoogleNET網(wǎng)絡(luò)結(jié)構(gòu)的最后一個(gè)AVERAGE POOLING層,提取出1024維特征;量化編碼時(shí)例如使用笛卡爾kmeans方法,首先訓(xùn)練旋轉(zhuǎn)矩陣、均值矩陣、中心矩陣組,再對(duì)提取的1024維特征進(jìn)行量化,最終量化為二值哈希碼。
需要說明的是,本實(shí)施例中,匹配的二值哈希碼可以是多個(gè),例如蘋果iphone5s手機(jī)圖片,由于iphone5s手機(jī)的顏色不同,商品圖片數(shù)據(jù)庫中保存有多個(gè)蘋果iphone5s手機(jī)的二值哈希碼;當(dāng)用戶觀看iphone5s手機(jī)廣告視頻 時(shí),可以截取視頻中的iphone5s手機(jī)圖片,選擇商品搜索,將iphone5s手機(jī)圖片和商品搜索發(fā)送給服務(wù)器,服務(wù)器獲取iphone5s手機(jī)圖片的深度學(xué)習(xí)特征,進(jìn)行量化編碼后得到該iphone5s手機(jī)圖片的二值哈希碼;查詢商品圖片數(shù)據(jù)庫中,比較該iphone5s手機(jī)圖片的二值哈希碼與商品圖片數(shù)據(jù)庫中保存的蘋果iphone5s手機(jī)的二值哈希碼,可以將圖片數(shù)據(jù)庫中保存的多個(gè)蘋果iphone5s手機(jī)的二值哈希碼均確定為與iphone5s手機(jī)圖片的二值哈希碼匹配的二值哈希碼。
在一種可選的實(shí)施方式中,圖4為圖2實(shí)施例中步驟202的又一種實(shí)現(xiàn)方式流程示意圖,如圖4所示,若所述搜索類型包括文字搜索,則步驟202具體實(shí)現(xiàn)時(shí)包括:
步驟401、服務(wù)器對(duì)所述目標(biāo)區(qū)域圖像中文字圖片進(jìn)行文字識(shí)別,識(shí)別出所述文字圖片中的文字內(nèi)容;
步驟402、根據(jù)識(shí)別出的所述文字內(nèi)容,確定與所述文字內(nèi)容匹配的關(guān)鍵詞;
步驟403、根據(jù)所述關(guān)鍵詞,搜索得到與所述關(guān)鍵詞對(duì)應(yīng)的商品信息。
需要說明的是,本實(shí)施例中的文字識(shí)別是指通過對(duì)文字圖像進(jìn)行切分并逐字識(shí)別,從而將其轉(zhuǎn)化為計(jì)算機(jī)可識(shí)別的字符編碼。例如,首先對(duì)可能的切分點(diǎn)進(jìn)行分析,然后嘗試可能的切分區(qū)域合并技術(shù),結(jié)合文字識(shí)別引擎輸出的概率和文字之間組合的概率,選擇最合理的切分路徑。圖6為本實(shí)施例中應(yīng)用的一種文字識(shí)別示意圖,以圖6為例,基本思想是根據(jù)形狀特征找出所有的切分點(diǎn)(一部分是正確的字間切分點(diǎn),如圖中綠色圓點(diǎn)所示;而一部分是錯(cuò)誤的字內(nèi)切分點(diǎn),如圖中橙色圓點(diǎn)所示),接下來需要找一條切分路徑,排除錯(cuò)誤的切分點(diǎn)而保留正確的切分點(diǎn)。解決方案是用動(dòng)態(tài)規(guī)劃來尋找最優(yōu)路徑,尋優(yōu)準(zhǔn)則包含識(shí)別置信度、形狀特征、語言模型等信息。例如下圖,按藍(lán)色路徑得到的字符依次是貝,咅钅,戔冫,中钅,肖,量;而按照紅色路徑得到的字符依次是賠,錢,沖,銷,量,根據(jù)識(shí)別置信度可以判斷紅色路徑為最優(yōu)。
在一種可選的實(shí)施方式中,圖5為圖2實(shí)施例中步驟202的又一種實(shí)現(xiàn) 方式流程示意圖,如圖5所示,若所述搜索類型包括人臉?biāo)阉鳎瑒t步驟202具體實(shí)現(xiàn)時(shí)包括:
步驟501、服務(wù)器對(duì)所述目標(biāo)區(qū)域圖像中的人臉圖片進(jìn)行關(guān)鍵點(diǎn)定位和人臉配準(zhǔn),獲取所述人臉圖片的深度學(xué)習(xí)特征;
步驟502、根據(jù)所述人臉圖片的深度學(xué)習(xí)特征,與人臉圖片數(shù)據(jù)庫中保存的深度學(xué)習(xí)特征進(jìn)行匹配;
步驟503、根據(jù)匹配的深度學(xué)習(xí)特征,獲得與所述匹配的深度學(xué)習(xí)特征對(duì)應(yīng)的人物信息。
為此,本實(shí)施例中,所述方法還包括建立人臉圖片數(shù)據(jù)庫,其中,人臉圖片數(shù)據(jù)庫中保存有每一人臉圖片對(duì)應(yīng)的深度學(xué)習(xí)特征。
本發(fā)明實(shí)施例通過服務(wù)器在接收用戶端對(duì)應(yīng)的用戶設(shè)備發(fā)送的搜索請(qǐng)求消息時(shí),根據(jù)所述搜索請(qǐng)求消息中包括的搜索類型,確定與所述搜索類型對(duì)應(yīng)的搜索處理程序,執(zhí)行所述搜索處理程序,獲取與所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果;并將所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果發(fā)送給所述用戶設(shè)備進(jìn)行顯示。
由于在用戶端根據(jù)用戶選擇目標(biāo)區(qū)域圖像之后顯示的搜索類型列表,使得用戶根據(jù)選擇的搜索類型,進(jìn)一步對(duì)目標(biāo)區(qū)域圖像中的搜索目標(biāo)進(jìn)行精確定位,對(duì)應(yīng)地,在服務(wù)器側(cè),根據(jù)用戶選擇的搜索類型,確定與該搜索類型對(duì)應(yīng)的搜索處理程序,且服務(wù)器側(cè)對(duì)目標(biāo)區(qū)域圖像進(jìn)行深度學(xué)習(xí)獲得目標(biāo)區(qū)域圖像的深度學(xué)習(xí)特征,更加保證了搜索目標(biāo)的精確性。因此可以解決現(xiàn)有的搜索技術(shù)中存在搜索精確性不高的問題。
下面通過具體的實(shí)現(xiàn)方式對(duì)圖1或圖2所示實(shí)施例所述的方法進(jìn)行詳細(xì)的描述。
圖7是本申請(qǐng)實(shí)施例的一種搜索處理方法的信令圖,如圖7所示,包括:
步驟701、正在播放視頻的用戶端檢測(cè)到用戶操作截圖插件觸發(fā)的截圖請(qǐng)求。
例如,用戶通過電腦的視頻播放器或者通過網(wǎng)絡(luò)電視正在觀看視頻,當(dāng)視頻中明星拿著一個(gè)很酷的手機(jī)正在打電話,假設(shè)用戶對(duì)該很酷的手機(jī)很感興趣時(shí),用戶可以通過視頻播放器中的截圖插件或者網(wǎng)絡(luò)電視播放器中的截 圖插件觸發(fā)截圖請(qǐng)求。
步驟702、用戶端暫停正在播放的視頻,根據(jù)用戶指令選擇目標(biāo)區(qū)域圖像。
暫停播放的視頻之后,用戶例如可以通過移動(dòng)鼠標(biāo)選擇用戶感興趣的目標(biāo)區(qū)域,還可以通過選擇的矩形邊框調(diào)整選擇的目標(biāo)區(qū)域圖像的大小。假設(shè)用戶對(duì)該很酷的手機(jī)感興趣,則可以通過移動(dòng)鼠標(biāo)選擇手機(jī)圖片;假設(shè)該用戶對(duì)使用這個(gè)很酷手機(jī)的明星感興趣,但是又不知道該明星是誰,可以通過移動(dòng)鼠標(biāo)選擇人臉圖片;假設(shè)用戶對(duì)視頻中打電話的人所說的商品感興趣,但是由于視頻中沒有該商品圖片,只有在字幕欄中顯示有該商品的文字圖片,則可以通過移動(dòng)鼠標(biāo)選擇該商品的文字圖片。
步驟703、用戶端在用戶選擇的目標(biāo)區(qū)域圖像之后顯示搜索類型列表。
其中,搜索類型列表中包括多個(gè)搜索類型,例如商品搜索、文字搜索或人臉?biāo)阉鞯?,以使用戶可以在搜索類型列表中選擇搜索類型。
步驟704、根據(jù)用戶選擇的目標(biāo)區(qū)域圖像和搜索類型,向服務(wù)器發(fā)送搜索請(qǐng)求消息。
其中,搜索請(qǐng)求消息中包括用戶選擇的目標(biāo)區(qū)域圖像和搜索類型。
步驟705、服務(wù)器判斷搜索類型;
若搜索類型為商品搜索,則執(zhí)行步驟706,若搜索類型為文字搜索,則執(zhí)行步驟707,若搜索類型為人臉?biāo)阉?,則執(zhí)行步驟708。
步驟706,服務(wù)器根據(jù)商品搜索,執(zhí)行與所述商品搜索對(duì)應(yīng)的商品搜索程序,獲取與所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果。
其中,步驟706在具體實(shí)現(xiàn)時(shí)可以參考上述實(shí)施例中圖3所示的方法中的描述內(nèi)容,不再贅述。
例如,用戶選擇的是手機(jī)圖片和商品搜索的搜索,服務(wù)器對(duì)該手機(jī)圖片進(jìn)行深度學(xué)習(xí)獲得該手機(jī)圖片的深度學(xué)習(xí)特征,并對(duì)該深度學(xué)習(xí)特征進(jìn)行量化編碼得到該手機(jī)圖片的二值哈希碼,與商品圖片數(shù)據(jù)庫中保存的二值哈希望進(jìn)行匹配,假設(shè)匹配結(jié)果是蘋果iphone5s手機(jī)的二值哈希碼,則根據(jù)匹配的蘋果iphone5s手機(jī)的二值哈希碼,獲取蘋果iphone5s手機(jī)的商品標(biāo)識(shí),根據(jù)蘋果iphone5s手機(jī)的商品標(biāo)識(shí)獲取蘋果iphone5s手機(jī)的商品信息的存儲(chǔ)地址,根據(jù)獲取的存儲(chǔ)地址獲取該蘋果iphone5s手機(jī)的商品信息。
步驟707,服務(wù)器根據(jù)文字搜索,執(zhí)行與所述文字搜索對(duì)應(yīng)的文字搜索程序,獲取與所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果。
其中,步驟707在具體實(shí)現(xiàn)時(shí)可以參考上述實(shí)施例中圖4所示的方法中的描述內(nèi)容,不再贅述。
例如,用戶選擇的是文字圖片和文字搜索的搜索,首先對(duì)該文字圖片中的文字內(nèi)容進(jìn)行識(shí)別,假設(shè)識(shí)別出來的文字內(nèi)容是“阿里巴巴也生產(chǎn)手機(jī)了”,則根據(jù)文字內(nèi)容“阿里巴巴也生產(chǎn)手機(jī)了”確定搜索關(guān)鍵詞為“阿里巴巴手機(jī)”,根據(jù)關(guān)鍵詞“阿里巴巴手機(jī)”可以搜索得到阿里巴巴手機(jī)的商品信息。
步驟708、服務(wù)器根據(jù)人臉?biāo)阉鳎瑘?zhí)行與所述人臉?biāo)阉鲗?duì)應(yīng)的人臉?biāo)阉鞒绦?,獲取與所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果。
其中,步驟708在具體實(shí)現(xiàn)時(shí)可以參考上述實(shí)施例中圖5所示的方法中的描述內(nèi)容,不再贅述。
例如,用戶選擇的是人臉圖片和人臉?biāo)阉鞯乃阉?,服?wù)器對(duì)該人臉圖片進(jìn)行深度學(xué)習(xí)獲得該人臉圖片的深度學(xué)習(xí)特征,將該人臉圖片的深度學(xué)習(xí)特征與人臉圖片數(shù)據(jù)庫中保存的深度學(xué)習(xí)特征進(jìn)行匹配,假設(shè)人臉圖片數(shù)據(jù)庫中保存的喬布斯的人臉圖片的深度學(xué)習(xí)特征與用戶選擇的人臉圖片的深度學(xué)習(xí)特征相匹配,獲取的搜索結(jié)果可以是喬布斯的各種圖片。
可選地,步驟706、707和708之后,可以執(zhí)行步驟709。
步驟709、服務(wù)器將搜索結(jié)果發(fā)送給用戶端進(jìn)行顯示。
其中,圖7所示實(shí)施例的實(shí)現(xiàn)原理和技術(shù)效果與圖1或圖2所示實(shí)施例相同,不再贅述。
圖8是本申請(qǐng)實(shí)施例的一種搜索處理裝置的結(jié)構(gòu)示意圖;位于用戶端,如圖8所示,所述裝置包括:
暫停視頻模塊81,用于在檢測(cè)到用戶觸發(fā)的截圖請(qǐng)求時(shí),暫停正在播放的視頻;
截取圖像模塊82,用于根據(jù)用戶指令在所述暫停的視頻中截取目標(biāo)區(qū)域圖像;
顯示搜索類型模塊83,用于在檢測(cè)到用戶觸發(fā)的搜索請(qǐng)求時(shí),顯示搜索類型列表,所述搜索類型列表中包括一個(gè)或一個(gè)以上的搜索類型,根據(jù)用戶 指令在所述搜索類型列表選擇搜索類型;
發(fā)送模塊84,用于向服務(wù)器發(fā)送搜索請(qǐng)求消息,所述搜索請(qǐng)求消息中包括所述目標(biāo)區(qū)域圖像和所述搜索類型,以使所述服務(wù)器根據(jù)所述用戶端發(fā)送的所述目標(biāo)區(qū)域圖像和所述搜索類型進(jìn)行相應(yīng)的檢索,并將檢索結(jié)果發(fā)送給所述用戶端對(duì)應(yīng)的用戶設(shè)備進(jìn)行顯示。
舉例來說,本實(shí)施例所述用戶端包括安裝在用戶設(shè)備中的瀏覽器、瀏覽器插件、視頻播放器或視頻播放器插件。
舉例來說,本實(shí)施例所述搜索類型包括商品搜索、文字搜索或人臉?biāo)阉鳌?/p>
舉例來說,本實(shí)施例所述截取圖像模塊具體用于:
在檢測(cè)到用戶通過滑動(dòng)光標(biāo)在所述暫停的視頻中選擇目標(biāo)時(shí),在所述目標(biāo)所在的圖像區(qū)域顯示預(yù)設(shè)形狀的選擇邊框,以使用戶通過滑動(dòng)光標(biāo)調(diào)整所述選擇邊框的大小,從而調(diào)整所述目標(biāo)區(qū)域圖像的區(qū)域范圍。
圖8所示裝置可以執(zhí)行圖1所示實(shí)施例所述的方法,實(shí)現(xiàn)原理和技術(shù)效果不再贅述,可以參考圖1所示實(shí)施例中的相關(guān)描述。
圖9是本申請(qǐng)實(shí)施例的一種搜索處理裝置的結(jié)構(gòu)示意圖;位于服務(wù)器側(cè),如圖9所示,所述裝置包括:
接收模塊91,用于接收用戶端對(duì)應(yīng)的用戶設(shè)備發(fā)送的搜索請(qǐng)求消息,所述搜索請(qǐng)求消息中包括目標(biāo)區(qū)域圖像和搜索類型;
處理模塊92,用于根據(jù)所述搜索類型,確定與所述搜索類型對(duì)應(yīng)的搜索處理程序,執(zhí)行所述搜索處理程序,獲取與所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果;
發(fā)送模塊92,用于將所述目標(biāo)區(qū)域圖像對(duì)應(yīng)的搜索結(jié)果發(fā)送給所述用戶設(shè)備進(jìn)行顯示。
舉例來說,若所述搜索類型包括商品搜索,則所述處理模塊92具體用于:
獲取所述目標(biāo)區(qū)域圖像中商品的深度學(xué)習(xí)特征;
將所述商品的深度學(xué)習(xí)特征進(jìn)行量化編碼,得到所述商品的二值哈希碼;
根據(jù)所述商品的二值哈希碼,查詢商品圖片數(shù)據(jù)庫中保存的二值哈希碼, 在所述商品圖片數(shù)據(jù)庫中獲取與所述商品的二值哈希碼匹配的二值哈希碼;
根據(jù)所述匹配的二值哈希碼,在所述商品圖片數(shù)據(jù)庫中獲取與所述匹配的二值哈希碼對(duì)應(yīng)的商品標(biāo)識(shí);
根據(jù)所述商品標(biāo)識(shí),獲取與所述商品標(biāo)識(shí)對(duì)應(yīng)的商品信息的存儲(chǔ)地址;
根據(jù)所述存儲(chǔ)地址,獲取所述商品信息。
舉例來說,所述的裝置還包括數(shù)據(jù)庫建立模塊94,具體用于:
通過大數(shù)據(jù)挖掘獲取數(shù)量級(jí)的商品圖片以及對(duì)應(yīng)的商品信息;
對(duì)每一商品圖片進(jìn)行分析處理,獲得每一商品的深度學(xué)習(xí)特征,根據(jù)每一商品的深度學(xué)習(xí)特征進(jìn)行量化編碼得到對(duì)應(yīng)的二值哈希碼;
在所述商品圖片數(shù)據(jù)庫中,建立并保存每一商品圖片的商品信息的存儲(chǔ)地址與其對(duì)應(yīng)的商品標(biāo)識(shí)之間的映射關(guān)系;
在所述商品圖片數(shù)據(jù)庫中,建立并保存每一商品圖片的二值哈希碼與其對(duì)應(yīng)的商品標(biāo)識(shí)之間的映射關(guān)系。
舉例來說,若所述搜索類型包括文字搜索,則所述處理模塊92具體用于包括:
對(duì)所述目標(biāo)區(qū)域圖像中的文字圖片進(jìn)行文字識(shí)別,識(shí)別出所述文字圖片中的文字內(nèi)容;
根據(jù)識(shí)別出的所述文字內(nèi)容,確定與所述文字內(nèi)容匹配的關(guān)鍵詞;
根據(jù)所述關(guān)鍵詞,搜索得到與所述關(guān)鍵詞對(duì)應(yīng)商品信息。
舉例來說,若所述搜索類型包括人臉?biāo)阉鳎瑒t所述處理模塊92具體用于:
所述服務(wù)器對(duì)所述目標(biāo)區(qū)域圖像中的人臉圖片進(jìn)行關(guān)鍵點(diǎn)定位和人臉配準(zhǔn),獲取所述人臉圖片的深度學(xué)習(xí)特征;
根據(jù)所述人臉圖片的深度學(xué)習(xí)特征,與人臉圖片數(shù)據(jù)庫中保存的深度學(xué)習(xí)特征進(jìn)行匹配;
根據(jù)匹配的深度學(xué)習(xí)特征,獲得與所述匹配的深度學(xué)習(xí)特征對(duì)應(yīng)的人物信息。
圖9所示裝置可以執(zhí)行圖2所示實(shí)施例所述的方法,實(shí)現(xiàn)原理和技術(shù)效 果不再贅述,可以參考圖2所示實(shí)施例中的相關(guān)描述。
圖10是本申請(qǐng)實(shí)施例的一種搜索處理系統(tǒng)的結(jié)構(gòu)示意圖,如圖10所示,包括:用戶端10和服務(wù)器11;
其中,用戶端10包括上述圖8所示實(shí)施例所述的一種搜索處理裝置;
服務(wù)器11包括上述圖9所示實(shí)施例所述的一種搜索處理裝置;
圖10所示裝置可以執(zhí)行圖1、圖2、圖7所示實(shí)施例所述的方法,實(shí)現(xiàn)原理和技術(shù)效果不再贅述,可以參考上述實(shí)施例中的相關(guān)描述。
上述說明示出并描述了本發(fā)明的若干優(yōu)選實(shí)施例,但如前所述,應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式,不應(yīng)看作是對(duì)其他實(shí)施例的排除,而可用于各種其他組合、修改和環(huán)境,并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi),通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍,則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。