專(zhuān)利名稱(chēng)：一種圖像中對(duì)象的識(shí)別方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體內(nèi)容的檢索技術(shù)，尤其是一種圖像中對(duì)象的識(shí)別方法和裝置。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的迅速發(fā)展，基于文字信息的內(nèi)容搜索技術(shù)得到了迅速發(fā)展，并且成為一項(xiàng)重要的網(wǎng)絡(luò)應(yīng)用，例如Google、Bing和Yahoo Search等都提供相關(guān)服務(wù)。并且,最近幾年，由于移動(dòng)電話(huà)、照相機(jī)和攝像機(jī)的廣泛應(yīng)用，越來(lái)越多的多媒體內(nèi)容被產(chǎn)生出來(lái)，并存儲(chǔ)在個(gè)人計(jì)算機(jī)或網(wǎng)站上。對(duì)這些多媒體內(nèi)容進(jìn)行檢索進(jìn)而進(jìn)行相關(guān)利用成為一項(xiàng)重要課題。因而，多媒體內(nèi)容的檢索技術(shù) 受到了越來(lái)越多的關(guān)注。但是，現(xiàn)有的多媒體內(nèi)容搜索或檢索系統(tǒng)，例如 Google image、video searching、Flickr> Bing image 或 videosearching以及Youtube等都完全依賴(lài)于用戶(hù)輸入的文字查詢(xún)條件。用戶(hù)輸入檢索文字(例如關(guān)鍵字)，系統(tǒng)通過(guò)將所述檢索文字與多媒體內(nèi)容的標(biāo)題、注解或者周?chē)淖诌M(jìn)行文字匹配而進(jìn)行多媒體內(nèi)容的搜索。并且，有些現(xiàn)有技術(shù)用于從多媒體內(nèi)容中直接提取信息，例如從多媒體內(nèi)容中尋找對(duì)象、事件或者其他信息。這種信息還可以用于進(jìn)一步的多媒體搜索或者內(nèi)容索引等?；谀Ｐ偷膶?duì)象識(shí)別是最常用的在圖像中搜尋對(duì)象的方法。在這種方法中，構(gòu)建3D對(duì)象模型并將其投射至2D空間以形成圖像模型。隨后，利用特定對(duì)象的整體外觀(guān)作為模型與模型數(shù)據(jù)庫(kù)中的模型進(jìn)行外形匹配，進(jìn)而發(fā)現(xiàn)圖像中的特定對(duì)象。但是，為了準(zhǔn)確判斷圖像中存在的對(duì)象，上述的模型數(shù)據(jù)庫(kù)需要包括充足的對(duì)象模型或者對(duì)象零件模型，這種要求很難實(shí)現(xiàn)并且成本很高。另外，即使具有滿(mǎn)足要求的模型數(shù)據(jù)庫(kù)，由于上述的匹配過(guò)程需要對(duì)模型數(shù)據(jù)庫(kù)中的全部模型進(jìn)行操作，因此需要大量計(jì)算因此，需要一種效率更高的圖像中對(duì)象的識(shí)別技術(shù)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像中對(duì)象的識(shí)別方法，包括下述步驟:從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示；和利用所述概念表示對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別所述圖像中存在的相關(guān)對(duì)象。其中，所述圖像的上下文信息包括圖像的題目、注解和圖像周?chē)奈淖帧Ｆ渲?，所述概念表示是所述上下文信息的一組認(rèn)知近義詞。其中，通過(guò)對(duì)所述概念表示進(jìn)行語(yǔ)義擴(kuò)展和推導(dǎo)得出所述一組認(rèn)知近義詞。所述方法還可以包括，將所述匹配操作中得出的與圖像的概念表示相匹配的對(duì)象模型數(shù)據(jù)庫(kù)中的模型與所述圖像進(jìn)行低層次特征匹配以識(shí)別圖像中的對(duì)象。所述方法還可以包括，在提取所述圖像的上下文信息的名詞實(shí)體之前，對(duì)所述圖像進(jìn)行預(yù)處理。
其中，所述預(yù)處理包括噪聲抑制、邊界檢測(cè)和低層次特征提取。其中，采用自然語(yǔ)言處理從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示。根據(jù)本發(fā)明的另一方面，提供了一種圖像中對(duì)象的識(shí)別裝置，包括:從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示的裝置；和利用所述概念表示對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別所述圖像中存在的相關(guān)對(duì)象的裝置。


圖1是根據(jù)本發(fā)明實(shí)施方式的圖像中對(duì)象識(shí)別的方法的流程圖；和 圖2是根據(jù)本發(fā)明實(shí)施方式的圖像中對(duì)象識(shí)別的裝置的框圖。
具體實(shí)施例方式下面對(duì)參考附圖對(duì)本發(fā)明的圖像中對(duì)象的識(shí)別方法方法和裝置的優(yōu)選實(shí)施例進(jìn)行詳細(xì)的描述，需要注意的是，下面的描述僅是示意性的，其中所涉及的內(nèi)容并不構(gòu)成對(duì)發(fā)明所涉及內(nèi)容的限制，本領(lǐng)域技術(shù)人員在下面公開(kāi)內(nèi)容的基礎(chǔ)上還可以有許多不同的變化方式，這些都屬于本發(fā)明的保護(hù)范圍。下面以基于模型的圖像中對(duì)象識(shí)別為例對(duì)本發(fā)明的實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。在現(xiàn)有的基于模型的圖像中對(duì)象識(shí)別方法中，首先要建立一個(gè)對(duì)象模型數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)用于識(shí)別和定位圖像中的特定對(duì)象?？梢岳矛F(xiàn)有技術(shù)對(duì)象模型數(shù)據(jù)庫(kù)的建立，例如3D投射等。并且，通常是以離線(xiàn)方式建立所述對(duì)象模型數(shù)據(jù)庫(kù)。對(duì)象模型數(shù)據(jù)庫(kù)的作用是為圖像中的對(duì)象識(shí)別提供所需對(duì)象的形狀的全面信息。對(duì)象模型數(shù)據(jù)庫(kù)的建立可以通過(guò)各種現(xiàn)有技術(shù)來(lái)實(shí)現(xiàn)。并且，本發(fā)明的重點(diǎn)并不在于該數(shù)據(jù)庫(kù)的建立，因此在本發(fā)明中不再進(jìn)行進(jìn)一步的詳細(xì)描述。對(duì)圖像首先進(jìn)行預(yù)處理，例如噪聲抑制、邊界檢測(cè)和低層次特征提取等。然后，基于對(duì)象模型數(shù)據(jù)庫(kù)中的模型，對(duì)圖像進(jìn)行匹配操作，即可發(fā)現(xiàn)圖像中存在何種對(duì)象。但是，如上所述，該匹配操作需要大量計(jì)算。本發(fā)明的發(fā)明人發(fā)現(xiàn)，圖像的上下文信息(context information)可以被用于所述匹配操作以降低匹配操作的計(jì)算量。圖像的上下文信息例如包括圖像的題目、注解和圖像周?chē)奈淖?。上下文信息通常與圖像內(nèi)容具有很高的相關(guān)性。因此，利用圖像的上下文信息對(duì)模型數(shù)據(jù)庫(kù)中的模型進(jìn)行匹配，能夠降低匹配操作的計(jì)算量，提高圖像中對(duì)象識(shí)別的效率。圖1是根據(jù)本發(fā)明實(shí)施方式的圖像中對(duì)象的識(shí)別方法的流程圖。如圖1所示，根據(jù)本發(fā)明實(shí)施方式的圖像中對(duì)象識(shí)別方法包括下述步驟:
S101，從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的“概念表示”。如上所述，圖像的上下文信息可以包括圖像的題目、注解和圖像周?chē)奈淖值取D像的上下文信息一般都由圖像的創(chuàng)建者或者提供者提供，在圖像存儲(chǔ)之前以元數(shù)據(jù)的形式存儲(chǔ)。有關(guān)圖像的上下文信息的元數(shù)據(jù)是數(shù)據(jù)庫(kù)領(lǐng)域的現(xiàn)有技術(shù)，本發(fā)明并無(wú)意對(duì)元數(shù)據(jù)的創(chuàng)建和存儲(chǔ)提出任何改進(jìn)，只是利用圖像的此類(lèi)元數(shù)據(jù)進(jìn)行圖像中對(duì)象的識(shí)別，因此，對(duì)于圖像的上下文信息不再詳述。
現(xiàn)有技術(shù)中的自然語(yǔ)言處理(Natural Language Processing)技術(shù)可以用于步驟SlOl中所述的從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的“概念表示”。自然語(yǔ)言處理是用計(jì)算機(jī)來(lái)處理人類(lèi)的語(yǔ)言的技術(shù)，由于計(jì)算機(jī)技術(shù)的發(fā)展，人機(jī)交互的需要促進(jìn)了自然語(yǔ)言處理技術(shù)的快速發(fā)展。目前已經(jīng)存在一些商用的自然語(yǔ)言處理工具，例如:
(I)OpenNLP
OpenNLP是一個(gè)基于Java機(jī)器學(xué)習(xí) 工具包，用于處理自然語(yǔ)言文本。支持大多數(shù)常用的NLP任務(wù)，例如:標(biāo)識(shí)化、句子切分、部分詞性標(biāo)注、名稱(chēng)抽取、組塊、解析等。(2) FudanNLP
FudanNLP主要是為中文自然語(yǔ)言處理而開(kāi)發(fā)的工具包，也包含為實(shí)現(xiàn)這些任務(wù)的機(jī)器學(xué)習(xí)算法和數(shù)據(jù)集。其能夠進(jìn)行文本分類(lèi)、新聞聚類(lèi)、中文分詞、詞性標(biāo)注、實(shí)體名識(shí)別、關(guān)鍵詞抽取、依存句法分析、時(shí)間短語(yǔ)識(shí)別、結(jié)構(gòu)化學(xué)習(xí)、在線(xiàn)學(xué)習(xí)、層次分類(lèi)、聚類(lèi)和精確推理等等。上述自然語(yǔ)言處理工具可以用于從圖像的題目、注解和圖像周?chē)奈淖值壬舷挛男畔⒅刑崛〕隹赡軐?duì)象的“概念表示”。本領(lǐng)域普通技術(shù)人員可以理解，上面以說(shuō)明的目的介紹了幾種目前公知的自然語(yǔ)言處理工具，但本發(fā)明并不局限于上述處理工具，任何能夠?qū)崿F(xiàn)所述效果的自然語(yǔ)言處理工具都可以用于本發(fā)明。本領(lǐng)域普通技術(shù)人員可以理解，在步驟SlOl之前，還可以對(duì)圖像首先進(jìn)行噪聲抑制、邊界檢測(cè)和低層次特征提取等預(yù)處理。在接下來(lái)的步驟S102中，利用所述概念表示對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別所述圖像中存在的相關(guān)對(duì)象。在本步驟中，可以采用所述概念表示與對(duì)象模型數(shù)據(jù)庫(kù)中每個(gè)模型的注解進(jìn)行關(guān)鍵詞匹配以識(shí)別所述圖像中的相關(guān)對(duì)象。通常，對(duì)象模型數(shù)據(jù)庫(kù)中的每個(gè)模型都會(huì)被賦予一個(gè)簡(jiǎn)單名詞，例如家禽、家用電器等。但是，每個(gè)名詞可能包括多個(gè)子類(lèi)。例如，上述家禽可能包括雞、鴨、鵝，而家用電器可能包括電視機(jī)、洗衣機(jī)、電扇、電冰箱等。因此，僅利用從圖像中提取的概念表示與對(duì)象模型數(shù)據(jù)庫(kù)中的模型進(jìn)行匹配操作將導(dǎo)致很多誤判。為了降低誤判，可選擇地，在上述步驟SlOl中，可以對(duì)上述獲取的概念表示進(jìn)行語(yǔ)義擴(kuò)展和推導(dǎo)，得出所述上下文信息的一組認(rèn)知近義詞作為所述概念表示?？梢岳矛F(xiàn)有技術(shù)對(duì)上述獲取的概念表示進(jìn)行語(yǔ)義擴(kuò)展和推導(dǎo)，得出所述上下文信息的一組認(rèn)知近義詞。例如可以采用WordNet作為詞匯數(shù)據(jù)庫(kù)進(jìn)行語(yǔ)義擴(kuò)展和推導(dǎo)以得出所述一組認(rèn)知近義詞。在此種情況下，可以利用所述認(rèn)知近義詞對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別圖像中存在的相關(guān)對(duì)象?？梢圆捎盟稣J(rèn)知近義詞與模型數(shù)據(jù)庫(kù)中每個(gè)模型的注解進(jìn)行關(guān)鍵詞匹配來(lái)實(shí)現(xiàn)圖像中的對(duì)象識(shí)別?？蛇x擇地，在通過(guò)步驟SlOl和S102從對(duì)象模型數(shù)據(jù)庫(kù)中獲得匹配的模型后，可以將匹配的模型選出，與所述圖像進(jìn)行低層次特征匹配。如上所述，所述低層次特征通常為離線(xiàn)提取。在從圖像中識(shí)別出相關(guān)對(duì)象后，可以將關(guān)于對(duì)象的低層次特征和數(shù)據(jù)描述刪除。然后對(duì)其余的圖像低層次特征進(jìn)行例行對(duì)象識(shí)別以判斷是否還存在其他對(duì)象。 本發(fā)明的另一實(shí)施方式還提供了一種用于之行上述方法的裝置。圖2是根據(jù)本發(fā)明實(shí)施方式的圖像中對(duì)象識(shí)別的裝置的框圖。如圖2所示，圖像中對(duì)象的識(shí)別裝置200包括:裝置201，用于從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示的；和裝置202，用于利用所述概念表示對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別所述圖像中存在的相關(guān)對(duì)象的。綜上所述，根據(jù)本發(fā)明實(shí)施方式的圖像中對(duì)象的識(shí)別方法和裝置利用圖像的上下文信息與對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作，有效地降低了匹配操作的計(jì)算量，從而大大地提到了圖像中對(duì)象識(shí)別的效率。
權(quán)利要求
1.一種圖像中對(duì)象的識(shí)別方法，其特征在于，包括下述步驟: 從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示(SlOl);和 利用所述概念表示對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別所述圖像中存在的相關(guān)對(duì)象(S102)。
2.如權(quán)利要求1所述的圖像中對(duì)象的識(shí)別方法，其中，所述圖像的上下文信息包括圖像的題目、注解和圖像周?chē)奈淖帧?br> 3.如權(quán)利要求1或2所述的圖像中對(duì)象的識(shí)別方法，其中，所述概念表示是所述上下文信息的一組認(rèn)知近義詞。
4.如權(quán)利要求3所述的圖像中對(duì)象的識(shí)別方法，其中，通過(guò)對(duì)所述概念表示進(jìn)行語(yǔ)義擴(kuò)展和推導(dǎo)得出所述一組認(rèn)知近義詞。
5.如權(quán)利要求1所述的圖像中對(duì)象的識(shí)別方法，還包括，將所述匹配操作中得出的與圖像的概念表示相匹配的對(duì)象模型數(shù)據(jù)庫(kù)中的模型與所述圖像進(jìn)行低層次特征匹配以識(shí)別圖像中的對(duì)象。
6.如權(quán)利要求1所述的圖像中對(duì)象的識(shí)別方法，還包括，在提取所述圖像的上下文信息的名詞實(shí)體之前，對(duì)所述圖像進(jìn)行預(yù)處理。
7.如權(quán)利要求6所述的圖像中對(duì)象的識(shí)別方法，其中，所述預(yù)處理包括噪聲抑制、邊界檢測(cè)和低層次特征提取。
8.如權(quán)利要求1所述的圖像中對(duì)象的識(shí)別方法，其中，采用自然語(yǔ)言處理從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示。
9.一種圖像中對(duì)象的識(shí)別裝置(200)，其特征在于，包括: 從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示的裝置(201);和 利用所述概念表示對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別所述圖像中存在的相關(guān)對(duì)象的裝置(202)。
全文摘要
本發(fā)明提供了一種圖像中對(duì)象的識(shí)別方法和裝置，所述方法包括下述步驟從圖像的上下文信息中提取名詞實(shí)體以獲取圖像中可能對(duì)象的概念表示；和利用所述概念表示對(duì)所述對(duì)象模型數(shù)據(jù)庫(kù)進(jìn)行匹配操作以識(shí)別所述圖像中存在的相關(guān)對(duì)象。
文檔編號(hào)G06K9/54GK103106239SQ20121052694
公開(kāi)日2013年5月15日 申請(qǐng)日期2012年12月10日 優(yōu)先權(quán)日2012年12月10日
發(fā)明者宗競(jìng) 申請(qǐng)人:江蘇樂(lè)買(mǎi)到網(wǎng)絡(luò)科技有限公司