專(zhuān)利名稱(chēng)：一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖片分類(lèi)方法，具體涉及一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法。
背景技術(shù)：
圖片語(yǔ)義分類(lèi)即從一個(gè)圖片集中找出相同語(yǔ)義的圖片，傳統(tǒng)的方法有兩種第一種是通過(guò)對(duì)圖片添加元數(shù)據(jù)(例如字幕、關(guān)鍵詞或圖像的說(shuō)明等)，利用元數(shù)據(jù)中的注釋詞來(lái)完成圖片分類(lèi)；第二種是利用計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)以圖片內(nèi)容(圖片包含的語(yǔ)義)為基底來(lái)完成圖片的分類(lèi)。這兩種方法都存在一個(gè)問(wèn)題，即都需要為圖片添加注解或標(biāo)簽。第二種方法需要利用圖片的標(biāo)簽來(lái)訓(xùn)練相關(guān)的學(xué)習(xí)算法，人工對(duì)圖片進(jìn)行注解費(fèi)時(shí)、費(fèi)力而且代價(jià)昂貴，現(xiàn)有技術(shù)中利用計(jì)算機(jī)視覺(jué)進(jìn)行圖片注解的方法雖然可以提高注解效率，但是計(jì)算機(jī)算法的學(xué)習(xí)過(guò)程需要精確的圖片模板，并且圖片內(nèi)容的模糊、圖片與模板的巨大差異都會(huì)對(duì)計(jì)算機(jī)圖片分類(lèi)系統(tǒng)的運(yùn)行穩(wěn)定性產(chǎn)生影響。人類(lèi)視覺(jué)系統(tǒng)在圖片處理方面被認(rèn)為具有天然的魯棒性和良好的泛化處理能力，即使圖片被呈現(xiàn)的時(shí)間非常短，如幾十毫秒或者幾百毫秒，人類(lèi)的視覺(jué)系統(tǒng)也可以“捕捉”到大量有用的信息，從而識(shí)別圖片中的特定內(nèi)容(參考文獻(xiàn)ProceedingsoftheIEEE，Vol. 98，No. 3，March2010，462-463)，比如人們可以?huà)咭曇环鶊D片而立即得出其中有沒(méi)有人，更為重要的是，人可以在圖片內(nèi)容呈現(xiàn)出各種變化的情況下都做到很好識(shí)別。為了創(chuàng)造出與人類(lèi)視覺(jué)系統(tǒng)具有相同信息處理能力的計(jì)算機(jī)視覺(jué)系統(tǒng)，投入了大量的努力，但是鮮有成功，不具備普遍適用性。事件相關(guān)電位(EventRelated Potential, ERP)(參考文獻(xiàn)StevenJ. Luck,事件相關(guān)電位基礎(chǔ)，華東師范大學(xué)出版社，2009年)是一種與心理認(rèn)知和記憶相關(guān)的腦電電位，反應(yīng)了在人類(lèi)認(rèn)知過(guò)程中的大腦的狀態(tài)。事件相關(guān)電位的產(chǎn)生需要具備兩個(gè)條件第一，目標(biāo)事件的出現(xiàn)必須是一個(gè)小概率事件；第二，相對(duì)于所有事件的出現(xiàn)而言，目標(biāo)事件的出現(xiàn)應(yīng)該是隨機(jī)的。事件相關(guān)電位P300尤其是視覺(jué)誘發(fā)的P300已經(jīng)得到廣泛而深入的研究和應(yīng)用，當(dāng)一組事件(包含目標(biāo)事件和非目標(biāo)事件)連續(xù)出現(xiàn)時(shí)，目標(biāo)事件的出現(xiàn)可以誘發(fā)腦電信號(hào)產(chǎn)生P300，利用P300的成分可以推斷目標(biāo)事件的出現(xiàn)?，F(xiàn)有技術(shù)中，基于事件相關(guān)電位的腦機(jī)接口系統(tǒng)通常包括向用戶(hù)施加刺激的腦電信號(hào)誘發(fā)系統(tǒng)，采集用戶(hù)腦電信號(hào)的腦電信號(hào)采集系統(tǒng)以及對(duì)采集到的腦電信號(hào)進(jìn)行分析的腦電信號(hào)分析系統(tǒng)?；谀X機(jī)接口系統(tǒng)可以實(shí)現(xiàn)人腦與計(jì)算機(jī)的交互，因此，可以考慮直接利用人類(lèi)視覺(jué)系統(tǒng)進(jìn)行圖片的分類(lèi)以及搜索
發(fā)明內(nèi)容
本發(fā)明提供了一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，直接采集人對(duì)于不用語(yǔ)義圖片的腦電信號(hào)，依據(jù)腦電信號(hào)的不同對(duì)圖片迅速進(jìn)行分類(lèi)搜索，提高了圖片分類(lèi)搜索的效率。一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，包括以下步驟(I)向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片，使用戶(hù)對(duì)各類(lèi)語(yǔ)義相關(guān)的圖片產(chǎn)生相應(yīng)的原始腦電信號(hào)；(2)在呈現(xiàn)圖片的同時(shí)采集用戶(hù)對(duì)所呈現(xiàn)的圖片產(chǎn)生的原始腦電信號(hào)，并對(duì)原始腦電信號(hào)進(jìn)行放大以及數(shù)字化處理；(3)將步驟⑵中處理得到的腦電信號(hào)進(jìn)行ERP檢測(cè)分析，依據(jù)ERP檢測(cè)分析的結(jié)果，在步驟(I)中的呈現(xiàn)的語(yǔ)義相關(guān)的圖片中確定用戶(hù)需要搜索的圖片。本發(fā)明中用戶(hù)要搜索的圖片并非指某一張圖片，而是含有相同內(nèi)容的一類(lèi)圖片，也即相同語(yǔ)義的圖片，例如，用戶(hù)需要搜索老虎的圖片，則包含老虎的圖片都為搜索目標(biāo)。依據(jù)用戶(hù)的需要以及應(yīng)用環(huán)境的不同，可以對(duì)圖片出現(xiàn)的順序，圖片出現(xiàn)的次數(shù)以及圖片出現(xiàn)的圖片等參數(shù)進(jìn)行修改，以到達(dá)最佳的圖片搜索結(jié)果。作為優(yōu)選，所述步驟(I)中向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片之前，設(shè)置用于讓用戶(hù)集中注意力的倒計(jì)時(shí)時(shí)間。用戶(hù)集中注意力，有助于得到最佳的圖片語(yǔ)義分類(lèi)搜索結(jié)果。如果相同語(yǔ)義的圖片連續(xù)出現(xiàn)，則腦電信號(hào)中的ERP信息強(qiáng)度會(huì)有所降低，因此，為了保證腦電信號(hào)中的ERP信息強(qiáng)度滿(mǎn)足要求，優(yōu)選地，所述步驟(I)中向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片時(shí)，各類(lèi)語(yǔ)義相關(guān)的圖片隨機(jī)出現(xiàn)且相同語(yǔ)義的圖片非連續(xù)出現(xiàn)。作為優(yōu)選，所述步驟(I)中各類(lèi)語(yǔ)義相關(guān)的圖片的時(shí)間間隔為500ms，同種語(yǔ)義的圖片出現(xiàn)10次。同種語(yǔ)義的圖片出現(xiàn)10次，即可達(dá)到最佳的圖片語(yǔ)義分類(lèi)搜索結(jié)果。作為優(yōu)選，在步驟(3)中對(duì)腦電信號(hào)進(jìn)行ERP檢測(cè)分析之前，對(duì)腦電信號(hào)進(jìn)行預(yù)處理，所述預(yù)處理包括去除腦電信號(hào)中的基線(xiàn)漂移，使用眼電信號(hào)相關(guān)消減算法去除腦電信號(hào)中的眼電偽跡，使用帶通濾波器濾波。經(jīng)過(guò)預(yù)處理，增加腦電信號(hào)的信噪比，增強(qiáng)腦電信號(hào)中存在的ERP成分，本發(fā)明中主要指P300成分。作為優(yōu)選，所述步驟(3)中對(duì)腦電信號(hào)進(jìn)行ERP檢測(cè)分析的具體過(guò)程為根據(jù)不同語(yǔ)義的圖片出現(xiàn)的時(shí)間點(diǎn)，將腦電信號(hào)分為若干數(shù)據(jù)段，將相同語(yǔ)義的圖片對(duì)應(yīng)的數(shù)據(jù)段進(jìn)行疊加平均，得到每種語(yǔ)義的圖片誘發(fā)的平均ERP的特征向量，依據(jù)平均ERP的特征向量得到所對(duì)應(yīng)的圖片，該圖片即為圖片語(yǔ)義分類(lèi)搜索的結(jié)果。目標(biāo)語(yǔ)義的圖片出現(xiàn)時(shí)，會(huì)誘發(fā)用戶(hù)產(chǎn)生帶P300成分的腦電信號(hào)，在得到的平均ERP的特征向量中檢測(cè)P300成分，并依據(jù)P300的出現(xiàn)時(shí)間確定相應(yīng)時(shí)間段內(nèi)出現(xiàn)的圖片，該過(guò)程中使用逐步回歸判別分析方法(stepwisediscriminant analysis),對(duì)于給定的平均ERP的特征向量，通過(guò)逐步回歸判別分析方法找出其中對(duì)圖片分類(lèi)貢獻(xiàn)較大的特征分量，增加腦電信號(hào)的可分度，兼顧不同用戶(hù)的P300信號(hào)特點(diǎn)，得到較好的圖片語(yǔ)義分類(lèi)搜索結(jié)果。本發(fā)明雖然只是簡(jiǎn)單范式下的圖片語(yǔ)義分類(lèi)搜索方法，但是利用人的腦電信號(hào)來(lái)進(jìn)行圖片語(yǔ)義分類(lèi)搜索本身是一個(gè)很有意義的方向，尤其是未來(lái)實(shí)現(xiàn)單次檢測(cè)ERP(如本發(fā)明中的P300成分)后，可以實(shí)現(xiàn)更大圖片集的圖片語(yǔ)義分類(lèi)搜索，例如可以實(shí)現(xiàn)類(lèi)似google圖片搜索的功能，利用腦電信號(hào)從大量未知的圖片集合中找出想要的圖片。本發(fā)明的圖片語(yǔ)義分類(lèi)搜索方法在軍事中有潛在應(yīng)用價(jià)值。


圖1為實(shí)現(xiàn)本發(fā)明基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法的系統(tǒng)示意圖；圖2為本發(fā)明基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法中圖片刺激的時(shí)間分布示意圖；圖3為本發(fā)明基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法中處理原始腦電信號(hào)的流程圖；圖4為本發(fā)明基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法中ERP檢測(cè)分析的流程圖。
具體實(shí)施例方式下面結(jié)合附圖，對(duì)本發(fā)明一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法做詳細(xì)描述。如圖1所示，一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，包括以下步驟(I)向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片，使用戶(hù)對(duì)各類(lèi)語(yǔ)義相關(guān)的圖片產(chǎn)生相應(yīng)的原始腦電信號(hào)；(2)在呈現(xiàn)圖片的同時(shí)采集用戶(hù)對(duì)所呈現(xiàn)的圖片產(chǎn)生的原始腦電信號(hào)，并對(duì)原始腦電信號(hào)進(jìn)行放大以及數(shù)字化處理；(3)將步驟⑵中處理得到的腦電信號(hào)進(jìn)行ERP檢測(cè)分析，依據(jù)ERP檢測(cè)分析的結(jié)果，在步驟(I)中的呈現(xiàn)的語(yǔ)義相關(guān)的圖片中確定用戶(hù)需要搜索的圖片。本實(shí)施例中選擇了 8種動(dòng)物(青娃、魚(yú)、狗、虎、馬、貓、鳥(niǎo)和羊)的圖片，也即8種語(yǔ)義的圖片，每種動(dòng)物都有15張不同的圖片，皆來(lái)自于google圖片。為了提高圖片辨識(shí)的準(zhǔn)確性，將原始圖片進(jìn)行處理，剔除動(dòng)物以外的其他內(nèi)容，統(tǒng)一圖片大小。在每次圖片語(yǔ)義分類(lèi)搜索開(kāi)始前，設(shè)置5秒鐘倒計(jì)時(shí)，在顯示圖片的屏幕中央顯示倒計(jì)時(shí)的數(shù)字，給用戶(hù)以準(zhǔn)備的時(shí)間，使用戶(hù)集中注意力，調(diào)整好坐姿。本發(fā)明通過(guò)顯示裝置向用戶(hù)呈現(xiàn)圖片，最終的圖片語(yǔ)義分類(lèi)搜索結(jié)果也通過(guò)顯示裝置反饋給用戶(hù)。為了便于用戶(hù)在搜索過(guò)程中集中注意力，顯示圖片的屏幕背景呈淺灰色，且將圖片呈現(xiàn)在屏幕的中央，保證在圖片語(yǔ)義分類(lèi)搜索的過(guò)程中，用戶(hù)的眼睛和頭基本保持不動(dòng)，減少因用戶(hù)頭部轉(zhuǎn)動(dòng)造成的肌電對(duì)腦電信號(hào)的干擾。圖片呈現(xiàn)的時(shí)間以及圖片呈現(xiàn)的順序可以依據(jù)需要進(jìn)行設(shè)定，本實(shí)施例中每幅圖片顯示的時(shí)間為500ms，同一語(yǔ)義的圖片不會(huì)連續(xù)出現(xiàn)。每次搜索中，每種動(dòng)物圖片出現(xiàn)的次數(shù)可以進(jìn)行設(shè)定，且每種動(dòng)物的圖片出現(xiàn)的次數(shù)相等，通常情況下，設(shè)置每種動(dòng)物出現(xiàn)的次數(shù)為10次，即從每種動(dòng)物的15張圖片中挑選出10張，共計(jì)80張圖片，80張圖片分為10輪依次呈現(xiàn)，每一輪中每種動(dòng)物圖片出現(xiàn)一次，且相鄰輪中每種動(dòng)物的圖片不連續(xù)出現(xiàn)。每種動(dòng)物圖片出現(xiàn)的次數(shù)也即腦電信號(hào)分類(lèi)處理時(shí)，腦電信號(hào)的疊加次數(shù)，一般來(lái)說(shuō)，對(duì)于同一個(gè)用戶(hù)而言，疊加的次數(shù)越少，分類(lèi)處理的正確率越低，因此每種動(dòng)物圖片出現(xiàn)的次數(shù)的設(shè)置應(yīng)該根據(jù)用戶(hù)在訓(xùn)練階段的反饋來(lái)決定。當(dāng)訓(xùn)練階段的反饋達(dá)不到一定的正確率時(shí)，次數(shù)應(yīng)該調(diào)大；相反，如果訓(xùn)練階段的反饋達(dá)到一定的正確率，可以將次數(shù)值調(diào)小，在保證搜索效果的前提下減少訓(xùn)練所需的時(shí)間。依據(jù)經(jīng)驗(yàn)，每種動(dòng)物圖片出現(xiàn)的次數(shù)設(shè)置為10時(shí)，對(duì)于大多數(shù)的用戶(hù)都有較好的訓(xùn)練和搜索效果。利用電極帽采集用戶(hù)對(duì)不同圖片產(chǎn)生的原始腦電信號(hào)，電極帽將多個(gè)電極以一定的空間分布嵌在有彈性的帽子上，頭皮腦電通過(guò)與頭皮接觸的金屬或金屬化合物電極采集得到。電極與用戶(hù)頭皮之間存在接觸電阻，接觸電阻阻抗一般控制在20kQ以下以獲得噪聲和基線(xiàn)漂移較少的原始腦電信號(hào)。使用的電極通道是可選的，參考電極置于鼻尖處，此外，用外貼于眼球正上方和正下方的雙極眼電電極消除眨眼對(duì)原始腦電信號(hào)的影響。原始腦電信號(hào)的模數(shù)轉(zhuǎn)換采樣率一般設(shè)為1000Hz，并使用上限為200Hz的模擬濾波器低通濾波器濾除高頻干擾。將采集到的用戶(hù)原始腦電信號(hào)和每張圖片的信息(圖片出現(xiàn)的時(shí)間以及種類(lèi)等)，通過(guò)USB接口實(shí)時(shí)存入PC機(jī)中。如圖3所示，原始腦電信號(hào)經(jīng)過(guò)放大以及數(shù)字化處理后，進(jìn)一步進(jìn)行預(yù)處理，預(yù)處理包括利用一次或二次樣條插值方法減少取樣點(diǎn)以消除基線(xiàn)漂移，運(yùn)用眼電信號(hào)相關(guān)消減算法去除眼電干擾，采用O. 3-30HZ的帶通濾波器進(jìn)行濾波。依據(jù)每張圖片出現(xiàn)的時(shí)間點(diǎn)將經(jīng)過(guò)預(yù)處理的腦電信號(hào)劃分為若干數(shù)據(jù)段，劃分時(shí)選取圖片出現(xiàn)之前的200ms到出現(xiàn)之后800ms總計(jì)IOOOms時(shí)長(zhǎng)的數(shù)據(jù)段，并以張圖片出現(xiàn)之前的200ms信號(hào)為基線(xiàn)進(jìn)行基線(xiàn)校正，將相同語(yǔ)義的圖片對(duì)應(yīng)的數(shù)據(jù)段進(jìn)行疊加平均，得到每種語(yǔ)義的圖片誘發(fā)的ERP的平均值。如圖2所示，例如時(shí)間點(diǎn)3和時(shí)間點(diǎn)4之間的圖片為老虎的圖片，時(shí)間點(diǎn)78和時(shí)間點(diǎn)79之間的圖片也為老虎的圖片，則將得到的相應(yīng)時(shí)間段內(nèi)的ERP進(jìn)行疊加平均，得到老虎的圖片刺激誘發(fā)的ERP的平均值，本實(shí)施例中每種動(dòng)物的圖片出現(xiàn)10次，將相應(yīng)10個(gè)時(shí)間段內(nèi)的圖片刺激誘發(fā)的ERP進(jìn)行疊加平均，得到語(yǔ)義的圖片誘發(fā)的ERP的平均值。平均ERP的特征向量可以采用各種方法提取，例如，提取每種語(yǔ)義的圖片誘發(fā)的ERP的平均值中圖片刺激出現(xiàn)之后O 800ms的部分，在采樣頻率為1000Hz時(shí)，共有800個(gè)采樣點(diǎn)，采用降采樣因子為20的滑動(dòng)平均降采樣方法把采樣點(diǎn)降為40個(gè)，然后把多個(gè)通道的ERP的平均值中的40個(gè)采樣點(diǎn)首尾連接得到平均ERP的特征向量。如圖4所示，本實(shí)施例中通過(guò)現(xiàn)有技術(shù)中的逐步回歸分析的方法訓(xùn)練分類(lèi)器，計(jì)算出SWDA(Stepwise Linear Discriminant Analysis)的權(quán)值向量，在逐步回歸分析的過(guò)程中，對(duì)得到的平均ERP的特征向量的特征分量進(jìn)行篩選，從而降低需要對(duì)比的特征分量的個(gè)數(shù)，提高計(jì)算效率，同時(shí)使具有P300成分的數(shù)據(jù)段與不具有P300成分的數(shù)據(jù)段間的可分度達(dá)到局部最優(yōu)，有利于提高圖片分類(lèi)搜索的正確率。將每種語(yǔ)義的圖片對(duì)應(yīng)的平均ERP的特征向量輸入到已經(jīng)訓(xùn)練好的分類(lèi)器中，得到每個(gè)平均ERP的特征向量對(duì)應(yīng)的輸出值，然后找出最大的輸出值所對(duì)應(yīng)的時(shí)間段內(nèi)的出現(xiàn)的圖片，該圖片所對(duì)應(yīng)的動(dòng)物即為所要搜索的動(dòng)物。例如，平均ERP的特征向量的最大的輸出值對(duì)應(yīng)的是老虎圖片出現(xiàn)的時(shí)間段，則相應(yīng)需要搜索的圖片為老虎的圖片。訓(xùn)練分類(lèi)器時(shí)，每次圖片語(yǔ)義分類(lèi)搜索之前，用戶(hù)都被告知一個(gè)目標(biāo)語(yǔ)義(例如老虎的圖片)，在瀏覽圖片過(guò)程中，所有符合目標(biāo)語(yǔ)義的圖片(所有包含老虎的圖片)都是目標(biāo)事件，由于預(yù)先已對(duì)相應(yīng)圖片的語(yǔ)義進(jìn)行限定，因此在采集得到原始腦電信號(hào)后，會(huì)按照語(yǔ)義將腦電信號(hào)進(jìn)行分段和疊加，并計(jì)算逐步回歸分析分類(lèi)器的權(quán)值向量(用于使用階段的信號(hào)分類(lèi))；在使用階段，圖片的選取與訓(xùn)練階段一樣，不同的是，每輪的目標(biāo)語(yǔ)義是用戶(hù)自已決定的，在瀏覽完圖片之后，分類(lèi)器依據(jù)訓(xùn)練階段得到的權(quán)值向量對(duì)不同語(yǔ)義的信號(hào)進(jìn)行比較，得到用戶(hù)希望找尋的圖片語(yǔ)義，并顯示出所有該語(yǔ)義的圖片。在使用本發(fā)明對(duì)圖片進(jìn)行分類(lèi)搜索時(shí)，用戶(hù)在瀏覽圖片的過(guò)程中保持注意力集中是很重要的，關(guān)系到腦電信號(hào)的質(zhì)量，用戶(hù)可以通過(guò)對(duì)目標(biāo)語(yǔ)義圖片出現(xiàn)的次數(shù)進(jìn)行計(jì)數(shù)來(lái)保持注意力，此外，也可以通過(guò)在目標(biāo)圖片出現(xiàn)時(shí)點(diǎn)擊鼠標(biāo)來(lái)集中注意力，用戶(hù)點(diǎn)擊鼠標(biāo)的記錄可用于評(píng)估用戶(hù)注意力集中的程度以及圖片分類(lèi)搜索進(jìn)行的準(zhǔn)確性。用戶(hù)點(diǎn)擊鼠標(biāo)的記錄也可以運(yùn)用到ERP信號(hào)的分析過(guò)程中，例如，目標(biāo)圖片為老虎的圖片，在出現(xiàn)老虎的圖片時(shí)，用戶(hù)未點(diǎn)擊鼠標(biāo)，則對(duì)出現(xiàn)老虎圖片的腦電信號(hào)進(jìn)行ERP平均時(shí)，去除用戶(hù)未點(diǎn)擊鼠標(biāo)的圖片所對(duì)應(yīng)的數(shù)據(jù)段。在使用本發(fā)明進(jìn)行圖片語(yǔ)義分類(lèi)搜索時(shí)，用戶(hù)要經(jīng)常保持不眨眼睛，不動(dòng)作，因此搜索一定時(shí)間后會(huì)出現(xiàn)疲勞狀況，影響搜索結(jié)果的準(zhǔn)確性，尤其是用戶(hù)的眼睛更易于疲勞，因此在使用過(guò)程中，應(yīng)依據(jù)用戶(hù)自身的狀態(tài)進(jìn)行適當(dāng)?shù)男菹ⅰ?br> 權(quán)利要求
1.一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，其特征在于，包括以下步驟: (1)向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片，使用戶(hù)對(duì)各類(lèi)語(yǔ)義相關(guān)的圖片產(chǎn)生相應(yīng)的原始腦電信號(hào)； (2)在呈現(xiàn)圖片的同時(shí)采集用戶(hù)對(duì)所呈現(xiàn)的圖片產(chǎn)生的原始腦電信號(hào)，并對(duì)原始腦電信號(hào)進(jìn)行放大以及數(shù)字化處理； (3)將步驟(2)中處理得到的腦電信號(hào)進(jìn)行ERP檢測(cè)分析，依據(jù)ERP檢測(cè)分析的結(jié)果，在步驟(I)中的呈現(xiàn)的語(yǔ)義相關(guān)的圖片中確定用戶(hù)需要搜索的圖片。
2.如權(quán)利要求1所述的基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，其特征在于，所述步驟(I)中向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片之前，設(shè)置用于讓用戶(hù)集中注意力的倒計(jì)時(shí)時(shí)間。
3.如權(quán)利要求2所述的基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，其特征在于，所述步驟(I)中向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片時(shí)，各類(lèi)語(yǔ)義相關(guān)的圖片隨機(jī)出現(xiàn)且相同語(yǔ)義的圖片非連續(xù)出現(xiàn)。
4.如權(quán)利要求3所述的基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，其特征在于，所述步驟⑴中各類(lèi)語(yǔ)義相關(guān)的圖片的時(shí)間間隔為500ms，同種語(yǔ)義的圖片出現(xiàn)10次。
5.如權(quán)利要求4所述的基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，其特征在于，在步驟(3)中對(duì)腦電信號(hào)進(jìn)行ERP檢測(cè)分析之前，對(duì)腦電信號(hào)進(jìn)行預(yù)處理，所述預(yù)處理包括:去除腦電信號(hào)中的基線(xiàn)漂移，使用眼電信號(hào)相關(guān)消減算法去除腦電信號(hào)中的眼電偽跡，使用帶通濾波器濾波。
6.如權(quán)利要求5所述的基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，其特征在于，所述步驟(3)中對(duì)腦電信號(hào) 進(jìn)行ERP檢測(cè)分析的具體過(guò)程為:根據(jù)不同語(yǔ)義的圖片出現(xiàn)的時(shí)間點(diǎn)，將腦電信號(hào)分為若干數(shù)據(jù)段，將相同語(yǔ)義的圖片對(duì)應(yīng)的數(shù)據(jù)段進(jìn)行疊加平均，得到每種語(yǔ)義的圖片誘發(fā)的平均ERP的特征向量，依據(jù)平均ERP的特征向量得到所對(duì)應(yīng)的圖片，該圖片即為圖片語(yǔ)義分類(lèi)搜索的結(jié)果。
全文摘要
本發(fā)明公開(kāi)了一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，包括以下步驟(1)向用戶(hù)依次呈現(xiàn)各類(lèi)語(yǔ)義相關(guān)的圖片，使用戶(hù)對(duì)各類(lèi)語(yǔ)義相關(guān)的圖片產(chǎn)生相應(yīng)的原始腦電信號(hào)；(2)在呈現(xiàn)圖片的同時(shí)采集用戶(hù)對(duì)所呈現(xiàn)的圖片產(chǎn)生的原始腦電信號(hào)，并對(duì)原始腦電信號(hào)進(jìn)行放大以及數(shù)字化處理；(3)將步驟(2)中處理得到的腦電信號(hào)進(jìn)行ERP檢測(cè)分析，依據(jù)ERP檢測(cè)分析的結(jié)果，在步驟(1)中的呈現(xiàn)的語(yǔ)義相關(guān)的圖片中確定用戶(hù)需要搜索的圖片。本發(fā)明一種基于事件相關(guān)電位的圖片語(yǔ)義分類(lèi)搜索方法，直接采集人對(duì)于不用語(yǔ)義圖片的腦電信號(hào)，依據(jù)腦電信號(hào)的不同對(duì)圖片迅速進(jìn)行分類(lèi)搜索，提高了圖片分類(lèi)搜索的效率。
文檔編號(hào)G06F17/30GK103077206SQ20121058339
公開(kāi)日2013年5月1日 申請(qǐng)日期2012年12月27日 優(yōu)先權(quán)日2012年12月27日
發(fā)明者王怡雯, 肖思遠(yuǎn), 蔣磊, 蔡邦宇, 張嘉璐, 陳衛(wèi)東, 鄭筱祥 申請(qǐng)人:浙江大學(xué)