本發(fā)明涉及一種圖像識(shí)別的方法和使用此方法的裝置,更具體地,涉及一種圖像識(shí)別獲取參考信息的方法和裝置。
背景技術(shù):
智能可穿戴設(shè)備是將人“物聯(lián)網(wǎng)化”的重要一環(huán),也是大數(shù)據(jù)時(shí)代,除了手機(jī)外收集用戶各項(xiàng)數(shù)據(jù)的重要終端。智能設(shè)備發(fā)展速度日新月異,當(dāng)智能手機(jī)已經(jīng)基本普及之后,可穿戴智能設(shè)備則成為電子產(chǎn)品消費(fèi)中的一個(gè)新熱點(diǎn)。隨著智能家居等一系列借助網(wǎng)絡(luò)連接的智能生態(tài)系統(tǒng)逐漸成型,智能可穿戴設(shè)備作為離人最近的智能設(shè)備,在擔(dān)負(fù)起用戶數(shù)據(jù)收集的任務(wù)同時(shí),更多的將會(huì)扮演一個(gè)控制終端的角色。盡管如此,就目前來看智能可穿戴設(shè)備功能技術(shù)層面還處于較初級(jí)的階段,以智能手表為例,常見的智能手表除了傳統(tǒng)的通話定位等功能外沒有更多的新興技術(shù)融入。
智能可穿戴設(shè)備作為一種便攜的設(shè)備,當(dāng)用戶在一個(gè)場景中接觸到新鮮事物,需要對(duì)所述事物進(jìn)一步探索,擴(kuò)展或?qū)W習(xí),怎樣及時(shí)的通過可穿戴設(shè)備獲取該物品的信息以獲得更多資源,尤其是在所述可穿戴設(shè)備小型化需要低功耗的要求的前提下,如何實(shí)現(xiàn)上述需求是目前可穿戴領(lǐng)域的難題。
以智能可穿戴設(shè)備中最為常見也是發(fā)展最為迅速的智能手表為例,從用戶體驗(yàn)的角度,由于考慮到智能手表操作界面較小,手動(dòng)輸入指令不方便,尤其時(shí)當(dāng)用戶接觸到不認(rèn)識(shí)或不確定的事物需要參考時(shí),如何通過簡單的指令與智能手表實(shí)現(xiàn)人機(jī)交互,使用戶及時(shí)準(zhǔn)確的獲取參考信息,是所有此領(lǐng)域研發(fā)人員探索的方向。因此,有必要為相關(guān)技術(shù)難題的解決提供可供業(yè)內(nèi)延伸發(fā)展的基礎(chǔ)方案。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述問題,本發(fā)明提出了一種用于圖像識(shí)別獲取參考信息的方法和裝置,應(yīng)用本發(fā)明所述的方法和裝置,用戶僅需通過簡單的操作,可穿戴設(shè)備便可以及時(shí)準(zhǔn)確的為用戶提供需要的參考信息,供用戶學(xué)習(xí)和參考。
根據(jù)本發(fā)明的第一方面,本發(fā)明提供一種圖像識(shí)別獲取參考信息的方法,其特征在于,包括如下步驟:驅(qū)動(dòng)可穿戴設(shè)備的攝像設(shè)備獲取待識(shí)別圖像;提取圖像中包含的至少一個(gè)物品的特征;依據(jù)所述特征確定該物品所對(duì)應(yīng)的關(guān)鍵字;從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息;在所述可穿戴設(shè)備顯示所述參考信息。
優(yōu)選的,該方法提取的兩個(gè)或兩個(gè)以上的物品的特征,所述物品自一張所述待識(shí)別圖像中提取,或自多張所述的待識(shí)別圖像中分別獲取,依據(jù)所述各物品的各特征確定所對(duì)應(yīng)的多個(gè)關(guān)鍵字,從網(wǎng)絡(luò)資源中抓取與所有關(guān)鍵字相關(guān)的參考信息。
進(jìn)一步,所述多個(gè)關(guān)鍵字之間以預(yù)設(shè)的邏輯表達(dá)式予以關(guān)聯(lián),通過向搜索引擎提交該關(guān)聯(lián)了多個(gè)所述關(guān)鍵字的邏輯表達(dá)式,實(shí)現(xiàn)從網(wǎng)絡(luò)資源中抓取所述參考信息。
優(yōu)選的,所述預(yù)設(shè)的邏輯表達(dá)式根據(jù)所述關(guān)鍵字對(duì)應(yīng)的物品的類型設(shè)置,分為并列關(guān)系表達(dá)式和從屬關(guān)系表達(dá)式。
優(yōu)選的,所述提取圖像中包含的至少一個(gè)物品的特征的步驟中,選擇所述攝像設(shè)備拍攝圖像時(shí)焦點(diǎn)位置處的物品作為提取特征的對(duì)象。
優(yōu)選的,所述提取所述圖像的至少一個(gè)物品的特征的具體步驟為:提取所述圖像的顏色特征或紋理特征;通過分割算法分離出所述圖像中的物品;提取所述物品的輪廓特征或區(qū)域特征作為所述物品特征。
優(yōu)選的,所述依據(jù)所述特征確定該物品所對(duì)應(yīng)的關(guān)鍵字的步驟包括:將所述物品特征與數(shù)據(jù)庫中標(biāo)記有關(guān)鍵字的物品模型相匹配;提取匹配成功的物品模型對(duì)應(yīng)的關(guān)鍵字。
根據(jù)本發(fā)明的第二方面,本發(fā)明提供一種圖像識(shí)別獲取參考信息的裝置,其特征在于,包括:采集模塊,用于采集待識(shí)別圖像;特征提取模塊,用于提取圖像中包含的至少一物品的物品特征;關(guān)鍵字提取模塊,用于提取所述物品特征對(duì)應(yīng)的關(guān)鍵字;檢索模塊,用于在網(wǎng)絡(luò)資源檢索與所述關(guān)鍵字相關(guān)的參考信息;播放模塊,用于在可穿戴設(shè)備顯示所述參考信息。
優(yōu)選的,所述裝置包括:特征匹配模塊,用以將所述物品特征與數(shù)據(jù)庫中標(biāo)記有關(guān)鍵字的物品模型相匹配。
根據(jù)本發(fā)明的第三方面,本發(fā)明提供一種用于圖像識(shí)別獲取參考信息的智能手表,其特征在于,包括:攝像裝置,用于拍攝圖像;微控制單元,所述微控制單元將采集到的圖像進(jìn)行特征提取,連接服務(wù)器識(shí)別出圖像中包含的物品,提取所述物品的關(guān)鍵字,并從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息;輸出單元,用于顯示所述參考信息。
相對(duì)于現(xiàn)有技術(shù),基于本發(fā)明提供的一種圖像識(shí)別獲取參考信息的方法和裝置,當(dāng)用戶在一個(gè)場景中接觸到新鮮事物,需要對(duì)所述事物進(jìn)一步探索,擴(kuò)展或?qū)W習(xí)時(shí),用戶只需要驅(qū)動(dòng)可穿戴設(shè)備的攝像設(shè)備獲取待所述事物的圖像,可穿戴設(shè)備就可以提取所述圖像中包含的物品的關(guān)鍵字并通過搜索引擎獲取參考信息,供用戶學(xué)習(xí)和參考,整個(gè)流程操作簡單,獲取的參考信息及時(shí)準(zhǔn)確;通過可穿戴設(shè)備與服務(wù)器配合完成圖像識(shí)別獲取參考信息的工作,有利于將所述可穿戴設(shè)備小型化,同時(shí)實(shí)現(xiàn)低功耗的需求。
本發(fā)明的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡明易懂。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明一種實(shí)施例的圖像識(shí)別獲取參考信息的方法的流程圖;
圖2為本發(fā)明一種實(shí)施例的用于圖像識(shí)別獲取參考信息的裝置的構(gòu)成示意圖;
圖3為本發(fā)明另一種實(shí)施例的用于圖像識(shí)別獲取參考信息的裝置的構(gòu)成示意圖;
圖4為本發(fā)明一種實(shí)施例的用于圖像識(shí)別獲取參考信息的智能手表的構(gòu)成示意圖。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。
在本發(fā)明的說明書和權(quán)利要求書及上述附圖中的描述的一些流程中,包含了按照特定順序出現(xiàn)的多個(gè)操作,但是應(yīng)該清楚了解,這些操作可以不按照其在本文中出現(xiàn)的順序來執(zhí)行或并行執(zhí)行,操作的序號(hào)如S101、S102等,僅僅是用于區(qū)分開各個(gè)不同的操作,序號(hào)本身不代表任何的執(zhí)行順序。另外,這些流程可以包括更多或更少的操作,并且這些操作可以按順序執(zhí)行或并行執(zhí)行。
在介紹本發(fā)明具體實(shí)施方式前,有必要對(duì)本發(fā)明相關(guān)的服務(wù)器云計(jì)算,云存儲(chǔ)和搜索引擎做簡要說明。云計(jì)算(cloud computing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式,通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來的一個(gè)新的概念,是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí),云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備,云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng),所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。搜索引擎(Search Engine)是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息,在對(duì)信息進(jìn)行組織和處理后,為用戶提供檢索服務(wù),將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明提供一種圖像識(shí)別獲取參考信息的方法,如圖1所示,其特征在于包括以下步驟:
S101:驅(qū)動(dòng)可穿戴設(shè)備的攝像設(shè)備獲取待識(shí)別圖像。
用戶通過驅(qū)動(dòng)可穿戴設(shè)備的攝像設(shè)備,拍攝周邊物品,可以包括照片或者視頻,待識(shí)別圖像指所拍攝的照片或視頻中的一幀或多幀圖像。當(dāng)所述攝像設(shè)備拍攝的為視頻文件,在所述視頻文件預(yù)覽過程中,用戶發(fā)出暫停命令,所述可穿戴設(shè)備自動(dòng)捕獲暫停狀態(tài)下的一幀圖像,作為待識(shí)別圖像。例如用戶利用可穿戴設(shè)備拍攝了一張“埃菲爾鐵塔”的照片,需要加深對(duì)“埃菲爾鐵塔”的了解,此時(shí)“埃菲爾鐵塔”的照片即為待識(shí)別圖像。又例如用戶拍攝了一段包含“埃菲爾鐵塔”的視頻文件,用戶需要獲取相關(guān)“埃菲爾鐵塔”的信息,可以在預(yù)覽視頻文件出現(xiàn)“埃菲爾鐵塔”的畫面時(shí)按暫停鍵,所述包含“埃菲爾鐵塔”的一幀圖像即為待識(shí)別圖像,也可以選取整段視頻文件,則視頻文件的每一幀圖像都作為待識(shí)別圖像。
S102:提取圖像中包含的至少一個(gè)物品的特征。
對(duì)在所述S101步驟中獲取的圖像中的物品進(jìn)行特征提取,其中確定圖像中包含的物品的方式可以是,選擇所述攝像設(shè)備拍攝圖像時(shí)焦點(diǎn)位置處的物品作為提取特征的對(duì)象。焦點(diǎn)位置的物品的輪廓邊緣越清晰,它的亮度梯度就越大,或者說邊緣處景物和背景之間的對(duì)比度就越大。反之,失焦的圖像,輪廓邊緣模糊不清,亮度梯度或?qū)Ρ榷认陆?;失焦越遠(yuǎn),對(duì)比度越低。所以定位所述焦點(diǎn)物品容易實(shí)現(xiàn),同時(shí)所述焦點(diǎn)物品一般是用戶特別關(guān)注的物品,所以此處優(yōu)先選擇焦點(diǎn)處的物品作為提取特征的對(duì)象。提取的方式可以是提取所述圖像的顏色特征或紋理特征;通過分割算法分離出所述圖像中的物品;提取所述物品的輪廓特征或區(qū)域特征作為所述物品特征。以上述包含“埃菲爾鐵塔”的圖像為例,首先提取整張圖像的顏色特征,所述“埃菲爾鐵塔”的輪廓鮮明,通過算法確定“埃菲爾鐵塔”即為所述圖像中包含的一個(gè)物品,此時(shí)需要對(duì)“埃菲爾鐵塔”進(jìn)行特征提取,通過對(duì)“埃菲爾鐵塔”形狀特征,材質(zhì)特征,表面油漆顏色特征等特征的綜合提取,提取出一組特征數(shù)據(jù)。同時(shí)還可以提取所述圖像的時(shí)間地點(diǎn)坐標(biāo),例如上述包含“埃菲爾鐵塔”的照片,拍攝地點(diǎn)為法國巴黎戰(zhàn)神廣場,此時(shí)地點(diǎn)信息也可以包含到所述特征數(shù)據(jù)。
S103:依據(jù)所述特征確定該物品所對(duì)應(yīng)的關(guān)鍵字。
具體的,確定該物品所對(duì)應(yīng)的關(guān)鍵字可以包括兩步:第一步,將所述物品特征與數(shù)據(jù)庫中物品模型進(jìn)行匹配,即將S102中得到的物品特征與數(shù)據(jù)庫物品模型的特征進(jìn)行匹配,找到匹配成功的物品模型;第二步,提取匹配成功的物品模型對(duì)應(yīng)的關(guān)鍵字。例如上述“埃菲爾鐵塔”的物品模型標(biāo)記有“埃菲爾鐵塔”,“巴黎鐵塔”,“建筑”,“巴黎地標(biāo)”等關(guān)鍵字,通過S102中提取到的特征數(shù)據(jù)與數(shù)據(jù)庫中的物品模型特征進(jìn)行匹配,匹配成功的物品模型為“埃菲爾鐵塔”,從而確定該物品所對(duì)應(yīng)的關(guān)鍵字為“埃菲爾鐵塔”,“巴黎鐵塔”,“建筑”,“巴黎地標(biāo)”。
優(yōu)選的,所述數(shù)據(jù)庫存儲(chǔ)于云存儲(chǔ)器(所述數(shù)據(jù)庫的建立,可以采用人工標(biāo)識(shí)和導(dǎo)入,即通過利用網(wǎng)絡(luò)資源建立物品模型數(shù)據(jù)并進(jìn)一步標(biāo)記關(guān)鍵字和分類處理,再導(dǎo)入到數(shù)據(jù)庫),需要將提取的物品特征上傳服務(wù)器并通過服務(wù)器系統(tǒng)執(zhí)行可穿戴設(shè)備發(fā)出的匹配指令。此處匹配過程可以采用模糊匹配和精確匹配相結(jié)合的匹配方式,即先進(jìn)行模糊匹配找出與所述物品特征所匹配的一類物品,例如上述“埃菲爾鐵塔”首先查找到其屬于建筑,再進(jìn)行精確匹配確定所述物品特征對(duì)應(yīng)的一個(gè)物品即“埃菲爾鐵塔”,以便加快匹配速度。
S104:從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息;
通過搜索引擎從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息。所述參考信息可以是文本,音頻文件和視頻文件里的一種或多種。例如上述“埃菲爾鐵塔”的關(guān)鍵字通過搜索引擎可以搜索到對(duì)“埃菲爾鐵塔”的文字介紹,圖片展示,音頻或視頻介紹。
作為一種實(shí)施例,步驟S102中自一張或多張所述待識(shí)別圖像中提取了兩個(gè)或兩個(gè)以上的物品的特征,依據(jù)所述各物品的各特征確定所對(duì)應(yīng)的多個(gè)關(guān)鍵字,將所述多個(gè)關(guān)鍵字之間以預(yù)設(shè)的邏輯表達(dá)式予以關(guān)聯(lián),通過向搜索引擎提交該關(guān)聯(lián)了多個(gè)所述關(guān)鍵字的邏輯表達(dá)式,實(shí)現(xiàn)從網(wǎng)絡(luò)資源中抓取所述參考信息。優(yōu)選的,所述預(yù)設(shè)的邏輯表達(dá)式根據(jù)所述關(guān)鍵字對(duì)應(yīng)的物品的類型設(shè)置,分為并列關(guān)系表達(dá)式和從屬關(guān)系表達(dá)式。例如,確定的關(guān)鍵字除了上述“埃菲爾鐵塔”,還包括“電燈”,根據(jù)預(yù)設(shè)的邏輯表達(dá)式確定上述兩個(gè)物品為從屬關(guān)系,“電燈”從屬于“埃菲爾鐵塔”,則在網(wǎng)絡(luò)資源中抓取到關(guān)于“埃菲爾鐵塔燈光秀”的照片或視頻,或者對(duì)“埃菲爾鐵塔”上裝配的燈具的介紹信息。
S105:在所述可穿戴設(shè)備顯示所述參考信息。
可穿戴設(shè)備接收在S104步驟抓取到的參考信息并進(jìn)行顯示。例如上述搜索到對(duì)“埃菲爾鐵塔”的文字介紹,包括關(guān)于“埃菲爾鐵塔”的建筑背景,建筑歷程,歷史沿革,地理位置,開放時(shí)間,門票價(jià)格等信息在在可穿戴設(shè)備上顯示。
優(yōu)選的,當(dāng)自動(dòng)捕獲視頻文件暫停狀態(tài)下的一幀圖像作為待識(shí)別圖像,所述參考信息是文本信息時(shí)可以懸浮于所述暫停狀態(tài)下的一幀圖像上方顯示。
優(yōu)選的,在所述可穿戴設(shè)備顯示所述參考信息S105前,還可以按照預(yù)定格式對(duì)所述參考信息進(jìn)行整理,向預(yù)設(shè)服務(wù)器發(fā)送包含經(jīng)整理的參考信息的內(nèi)容展示請(qǐng)求,以在所述可穿戴設(shè)備顯示所述經(jīng)整理的參考信息。
優(yōu)選的,在依據(jù)所述特征確定該物品所對(duì)應(yīng)的關(guān)鍵字S103和從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息S104之間還包括關(guān)鍵字篩選(未圖示)的步驟。用戶根據(jù)自身的愛好或需要設(shè)置預(yù)設(shè)關(guān)鍵字,將提取的關(guān)鍵字與所述預(yù)設(shè)關(guān)鍵字進(jìn)行比對(duì),篩選與所述預(yù)設(shè)關(guān)鍵字相同或相近的關(guān)鍵字進(jìn)入下一步操作。例如,用戶的預(yù)設(shè)關(guān)鍵字包括建筑,上述“埃菲爾鐵塔”關(guān)鍵字里包括“建筑”同時(shí)“埃菲爾鐵塔”,“巴黎鐵塔”都屬于建筑,即屬于與所述預(yù)設(shè)關(guān)鍵字相同或相近,滿足篩選要求。
優(yōu)選的,可以根據(jù)用戶的設(shè)置當(dāng)且僅當(dāng)所述可穿戴設(shè)備指定的特定數(shù)據(jù)滿足預(yù)定條件時(shí),才從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息。例如,用戶設(shè)置在上午九點(diǎn)到十一點(diǎn)才進(jìn)行從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息,或設(shè)置所述可穿戴設(shè)備的電量在40%以上時(shí)才進(jìn)行從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息。
本發(fā)明實(shí)施例還提供了與上述方法相結(jié)合的裝置20、20’,如圖2和圖3所示,其特征在于,包括:采集模塊21,用于采集圖像;特征提取模塊22,用于提取圖像中至少一物品特征;特征匹配模塊23,用于將物品特征與存儲(chǔ)器內(nèi)的物品模型匹配;關(guān)鍵字提取模塊24,用于提取匹配成功的物品模型下的關(guān)鍵字;檢索模塊25,用于在網(wǎng)絡(luò)資源檢索與所述關(guān)鍵字相關(guān)的參考信息;播放模塊26,用于顯示所述參考信息。
請(qǐng)參照?qǐng)D2,所述裝置20包括可穿戴設(shè)備201和服務(wù)器202,所述可穿戴設(shè)備201設(shè)有采集模塊21,特征提取模塊22以及播放模塊26,所述服務(wù)器202設(shè)有特征匹配模塊23,關(guān)鍵字提取模塊24和檢索模塊25。所述可穿戴設(shè)備201通過所述采集模塊21和所述特征提取模塊22進(jìn)行采集圖像和圖像中物品的特征提取,并將提取的物品特征上傳至服務(wù)器202;所述服務(wù)器202在系統(tǒng)程序驅(qū)動(dòng)下,通過特征匹配模塊23和關(guān)鍵字提取模塊24在云儲(chǔ)存器中進(jìn)行特征匹配和關(guān)鍵字提取,并通過檢索模塊25在網(wǎng)絡(luò)資源中進(jìn)行參考信息的檢索,最終將檢索到的參考信息發(fā)送到所述可穿戴設(shè)備201;所述可穿戴設(shè)備201接收到所述參考信息通過播放模塊26進(jìn)行播放。
請(qǐng)參照?qǐng)D3,所述裝置20’包括可穿戴設(shè)備201’和服務(wù)器202’,所述可穿戴設(shè)備201’設(shè)有采集模塊21和播放模塊26,所述服務(wù)器202’設(shè)有特征提取模塊22,特征匹配模塊23,關(guān)鍵字提取模塊24和檢索模塊25。所述智能終端設(shè)備201’通過所述采集模塊21進(jìn)行采集圖像,并將采集的圖像上傳至服務(wù)器202’;所述服務(wù)器202’在系統(tǒng)程序驅(qū)動(dòng)下,通過特征提取模塊22提取圖像中包含的物品特征,通過匹配模塊23和關(guān)鍵字提取模塊24在云儲(chǔ)存器中進(jìn)行特征匹配和關(guān)鍵字提取,并通過檢索模塊25在網(wǎng)絡(luò)資源中進(jìn)行參考信息的檢索,最終將檢索到的參考信息發(fā)送到所述可穿戴設(shè)備201’;所述可穿戴設(shè)備201’接收到所述參考信息通過播放模塊26進(jìn)行播放。
優(yōu)選的,所述裝置20、20’還可以包括焦點(diǎn)識(shí)別模塊(未圖示),用以選擇所述攝像設(shè)備拍攝圖像時(shí)焦點(diǎn)位置處的物品作為提取特征的對(duì)象。且在同一張圖像中所述焦點(diǎn)可以為多個(gè)。
優(yōu)選的,所述裝置20、20’還可以包括篩選模塊(未圖示)和整理模塊(未圖示),所述篩選模塊用于將提取的關(guān)鍵字與用戶根據(jù)自身的愛好或需要設(shè)置的預(yù)設(shè)關(guān)鍵字進(jìn)行比對(duì),篩選與所述預(yù)設(shè)關(guān)鍵字相同或相近的關(guān)鍵字。所述處理模塊用以按照預(yù)定格式對(duì)所述參考信息進(jìn)行整理,向預(yù)設(shè)服務(wù)器發(fā)送包含經(jīng)整理的參考信息的內(nèi)容展示請(qǐng)求,以在所述可穿戴設(shè)備顯示所述經(jīng)整理的參考信息。
可以理解的,所述裝置20、20’可以不具有特征匹配模塊23,作為替換的使關(guān)鍵字提取模塊24集成特征匹配和關(guān)鍵字提取兩種功能,并不影響整個(gè)裝置的正常運(yùn)行。
為了便于說明,僅示出了與本發(fā)明實(shí)施例相關(guān)的部分,具體技術(shù)細(xì)節(jié)未揭示的,請(qǐng)參照本發(fā)明實(shí)施例方法部分。該可穿戴設(shè)備201、201’可以為包括智能手表,智能手環(huán),智能眼鏡等任意可穿戴設(shè)備,以可穿戴設(shè)備為智能手表30為例:
圖4示出的是與本發(fā)明實(shí)施例提供的可穿戴設(shè)備相關(guān)的智能手表30的部分結(jié)構(gòu)的框圖。下面結(jié)合圖4對(duì)智能手表30的各個(gè)構(gòu)成部件進(jìn)行具體的介紹:
本發(fā)明提供一種用于圖像識(shí)別匹配媒體文件的智能手表30,其特征在于,包括:微控制單元31、存儲(chǔ)器32、攝像裝置33、WiFi模塊34、通訊模塊35、輸入單元36、輸出單元37、定位模塊38、聲音傳感器39、人臉識(shí)別模塊40以及電源41。
微控制單元31(MCU)是智能手表30的控制中心,利用各種接口和線路連接整個(gè)智能手表30的各個(gè)部分,通過運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)器32內(nèi)的軟件程序和/或模塊,以及調(diào)用存儲(chǔ)在存儲(chǔ)器32內(nèi)的數(shù)據(jù),執(zhí)行智能手表30的各種功能和處理數(shù)據(jù),從而對(duì)智能手表30進(jìn)行整體監(jiān)控??蛇x的,微控制單元31可包括一個(gè)或多個(gè)處理單元;優(yōu)選的,微控制單元31可集成應(yīng)用處理器和調(diào)制解調(diào)處理器,其中,應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序等,調(diào)制解調(diào)處理器主要處理無線通信??梢岳斫獾氖?,上述調(diào)制解調(diào)處理器也可以不集成到微控制單元31中。
攝像裝置33,用于拍攝圖像。所述攝像裝置33指攝像頭和相關(guān)電路模塊,所述輸出單元37通過所述為控制單元31控制,實(shí)時(shí)顯示所述攝像頭采集到的照片或視頻的預(yù)覽圖像。
WiFi模塊34,智能手表30主要通過所述WiFi模塊34與服務(wù)器形成數(shù)據(jù)交換,同時(shí)為用戶提供了無線的寬帶互聯(lián)網(wǎng)訪問。雖然圖4針對(duì)無線傳輸功能的模塊只示出了WiFi模塊34,但是可以理解的是,此處其他具有連接無線網(wǎng)絡(luò)功能的模塊同樣適用。
通訊模塊35,所述通訊模塊35為GMS通訊模塊,除了常用的撥打電話和收發(fā)信息基本功能外,主要用來配合上述WiFi模塊34實(shí)現(xiàn)網(wǎng)絡(luò)連接,在沒有WiFi信號(hào)的情況下,連接GPRS網(wǎng)絡(luò),同樣可以實(shí)現(xiàn)智能手表30與服務(wù)器之間的數(shù)據(jù)交換。
輸入單元36可用于接收輸入的數(shù)字或字符信息,以及產(chǎn)生與智能手表30的用戶設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。具體地,輸入單元36可包括觸控面板361以及其他按鍵362。觸控面板361,也稱為觸摸屏,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板361上或在觸控面板361附近的操作),并根據(jù)預(yù)先設(shè)定的程式驅(qū)動(dòng)相應(yīng)的連接裝置。可選的,觸控面板361可包括觸摸檢測裝置和觸摸控制器兩個(gè)部分。其中,觸摸檢測裝置檢測用戶的觸摸方位,并檢測觸摸操作帶來的信號(hào),將信號(hào)傳送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸信息,并將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo),再送給微控制單元31,并能接收微控制單元31發(fā)來的命令并加以執(zhí)行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實(shí)現(xiàn)觸控面板361。除了觸控面板361,輸入單元36還可以包括按鍵362。具體地,按鍵362可以包括但不限于音量控制按鍵、開關(guān)按鍵、拍照按鍵等中的一種或多種。
輸出單元37包括音頻播放模塊371和視頻播放模塊372。所述音頻播放模塊371包括音頻電路3711、揚(yáng)聲器3712和傳聲器3713。音頻電路3711可將接收到的音頻數(shù)據(jù)轉(zhuǎn)換后的電信號(hào),傳輸?shù)綋P(yáng)聲器3712,由揚(yáng)聲器3712轉(zhuǎn)換為聲音信號(hào)輸出;另一方面,傳聲器3713將收集的聲音信號(hào)轉(zhuǎn)換為電信號(hào),由音頻電路3711接收后轉(zhuǎn)換為音頻數(shù)據(jù),再將音頻數(shù)據(jù)輸出微控制單元31進(jìn)一步處理。所述視頻播放模塊372包括顯示屏3721或投影模塊3722。可選的,所述顯示屏3721可以采用液晶顯示器(Liquid Crystal Display,LCD)、有機(jī)發(fā)光二極管(Organic Light-Emitting Diode,OLED)等形式,所述顯示屏3721可以用來顯示文字或顯示較小分辨率的圖像;當(dāng)所述視頻文件較大時(shí),所述投影模塊3722播放所述參考信息的視頻文件。進(jìn)一步的,觸控面板361可覆蓋顯示屏3721,當(dāng)觸控面板361檢測到在其上或附近的觸摸操作后,傳送給微控制單元31以確定觸摸事件的類型,隨后微控制單元31根據(jù)觸摸事件的類型在顯示屏3721上提供相應(yīng)的視覺輸出。雖然在圖4中,觸控面板361與顯示屏3721是作為兩個(gè)獨(dú)立的部件來實(shí)現(xiàn)智能手表30的輸入和輸入功能,但是在某些實(shí)施例中,可以將觸控面板361與顯示屏3721集成而實(shí)現(xiàn)智能手表30的輸入和輸出功能。
定位模塊38用于將所述智能手表30定位。所述定位模塊38優(yōu)選的是GPS模塊,所述GPS模塊是集成了RF射頻芯片、基帶芯片和核心CPU,并加上相關(guān)外圍電路而組成的一個(gè)集成電路。智能手表30通過GPS模塊可以對(duì)用戶所在位置進(jìn)行定位。作為定位模塊,雖然只介紹了GPS模塊,但由于考慮GPS信號(hào)在室內(nèi),隧道,建筑物遮擋等條件下信號(hào)較弱定位不準(zhǔn)確,可以將基站定位、WiFi定位和重力感應(yīng)定位等多種定位技術(shù)相互結(jié)合,以彌補(bǔ)GPS定位的不足。
所述聲音傳感器39與所述為控制單元31連接,當(dāng)所述參考信息包含音頻文件,所述微控制單元31通過分析所述聲音傳感器39檢測到周圍環(huán)境的數(shù)據(jù),控制所述輸出單元37播放或停止播放所述參考信息。
所述人臉識(shí)別模塊40與所述為控制單元31連接,所述人臉識(shí)別模塊40用以檢測用戶眼睛視線角度,當(dāng)所述參考信息包括文本或圖像,所述微控制單元31通過分析用戶的視角范圍,控制所述參考信息的顯示和停止顯示。
智能手表30還可包括其他類型傳感器,比如光傳感器、運(yùn)動(dòng)傳感器、重力傳感器等。具體地,光傳感器可包括環(huán)境光傳感器及接近傳感器,其中,環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來調(diào)節(jié)顯示屏3721的亮度。作為運(yùn)動(dòng)傳感器的一種,加速計(jì)傳感器可檢測各個(gè)方向上(一般為三軸)加速度的大小,靜止時(shí)可檢測出重力的大小及方向,可用于振動(dòng)識(shí)別相關(guān)功能(比如計(jì)步器、敲擊)等。
智能手表30還應(yīng)包括給各個(gè)部件供電的電源41(比如電池),優(yōu)選的,電源41可以通過電源管理系統(tǒng)與微控制單元31邏輯相連,從而通過電源管理系統(tǒng)實(shí)現(xiàn)管理充電、放電、以及功耗管理等功能。
盡管未示出,智能手表30還可以配置陀螺儀、氣壓計(jì)、濕度計(jì)、溫度計(jì)、紅外線傳感器等其他傳感器,在此不再贅述。
通常智能手表30由于電池40容量的限制,不可能完成大量的計(jì)算,也不可能去進(jìn)行這些大規(guī)模的搜索和比較。所以,更多的模型匹配運(yùn)算,和查找參考信息的工作,是由服務(wù)器完成的。智能手表30在這種情況底下,通常是采集照片提取物品特征后上傳所述物品特征,或者采集照片直接上傳采集圖像,以及接收服務(wù)器下行的最終匹配結(jié)果的參考信息,然后交由智能手表30進(jìn)行顯示。
具體的,通過所述微控制單元31控制智能手表30內(nèi)部模塊進(jìn)行直接操作,以及向服務(wù)器發(fā)送指令請(qǐng)求服務(wù)器配合操作。其中,所述智能手表30直接操作的步驟包括驅(qū)動(dòng)攝像設(shè)備33獲取待識(shí)別圖像S101,提取所述圖像的至少一個(gè)物品的特征S102,在所述輸出單元37顯示所述參考信息S105;服務(wù)器配合智能手表30完成的操作包括依據(jù)所述特征確定該物品所對(duì)應(yīng)的關(guān)鍵字S103,關(guān)鍵字篩選(未圖示)以及從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息S104?;蛘?,所述智能手表30直接操作的步驟包括驅(qū)動(dòng)攝像設(shè)備33獲取待識(shí)別圖像S101,在所述輸出單元37顯示所述參考信息S105;服務(wù)器配合智能手表30完成的操作包括提取所述圖像的至少一個(gè)物品的特征S102,依據(jù)所述特征確定該物品所對(duì)應(yīng)的關(guān)鍵字S103,關(guān)鍵字篩選(未圖示)以及從網(wǎng)絡(luò)資源中抓取與所述關(guān)鍵字相關(guān)的參考信息S104。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的模塊,設(shè)備和單元的具體工作過程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程,在此不再贅述。
本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成,該程序可以存儲(chǔ)于一可讀存儲(chǔ)介質(zhì)中,存儲(chǔ)介質(zhì)可以包括:只讀存儲(chǔ)器(ROM,Read Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM,Random Access Memory)或磁盤等。
以上對(duì)本發(fā)明所提供的一種用于圖像識(shí)別匹配媒體文件的智能手表進(jìn)行了詳細(xì)介紹,對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明實(shí)施例的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上所述,本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。