本發(fā)明涉及圖像識別領(lǐng)域,特別涉及一種信息處理方法及電子設(shè)備。
背景技術(shù):
目前,用戶在通過電子設(shè)備觀看圖像時,有時不了解圖像中的內(nèi)容,則用戶可能會輸入問題,電子設(shè)備對用戶的問題及用戶提問的圖像進行處理,輸出用戶想要的答案,目前電子設(shè)備在處理圖像及用戶的問題時,一般采用的是基于深度神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)識別的方法,但這種方法需要大量的訓(xùn)練數(shù)據(jù)作為識別基礎(chǔ),過程較為復(fù)雜,對設(shè)備的要求也較高。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供一種信息處理方法及電子設(shè)備,用于簡化對圖像的識別過程。
第一方面,提供一種信息處理方法,所述方法包括:
接收用于獲取目標圖像中信息的請求消息;
處理所述目標圖像,以確定用于描述所述目標圖像的至少一個描述信息;
匹配所述請求消息與所述至少一個描述信息;
依據(jù)匹配結(jié)果,輸出響應(yīng)所述請求消息的描述信息。
可選的,處理所述目標圖像,以確定用于描述所述目標圖像的至少一個描述信息,包括:
處理所述目標圖像,確定所述目標圖像包括的至少一個對象;
從所述目標圖像中確定所述至少一個對象的第一屬性信息和/或所述至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;
根據(jù)所述第一屬性信息和/或所述相對關(guān)系信息得到所述至少一個描述信息中的第一部分描述信息或全部描述信息。
可選的,若根據(jù)所述第一屬性信息和/或所述相對關(guān)系信息得到所述至少一個描述信息中的第一部分描述信息,在處理所述目標圖像,確定所述目標圖像包括的至少一個對象之后,包括:
讀取所述至少一個對象的第二屬性信息,所述第二屬性信息與所述第一屬性信息來源不同;
所述方法還包括:
根據(jù)所述第二屬性信息得到所述至少一個描述信息中的第二部分描述信息。
可選的,處理所述目標圖像,以確定用于描述所述目標圖像的至少一個描述信息,包括:
處理所述目標圖像,確定所述目標圖像包括的至少一個對象;
從所述目標圖像中確定所述至少一個對象的第一屬性信息和/或所述至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;及,讀取所述至少一個對象的第二屬性信息,所述第二屬性信息與所述第一屬性信息來源不同;
按照預(yù)設(shè)策略,根據(jù)所述第一屬性信息和/或所述相對關(guān)系信息,及所述第二屬性信息,獲取所述至少一個描述信息中的第三部分描述信息或全部描述信息。
可選的,匹配所述請求消息與所述至少一個描述信息,包括:
拆分所述請求消息,得到所述請求消息的第一部分和所述請求消息的第二部分,其中所述請求消息的第二部分用于指示所述請求消息所請求反饋的內(nèi)容;
將所述請求消息的第一部分與所述至少一個描述信息進行匹配;其中在匹配時,將所述請求消息的第一部分與所述至少一個描述信息中的每個描述信息的第一部分匹配。
可選的,拆分所述請求消息,得到所述請求消息的第一部分和所述請求消息的第二部分,包括:
對所述請求消息進行分析,得到所述請求消息對應(yīng)的至少一個三元組;其中每個三元組包括第一信息、第二信息和第三信息中的至少一項,所述第一信息包括所述請求消息中的至少一個主體信息,所述第二信息包括與所述至少一個主體信息中每個主體信息對應(yīng)的客體信息,所述第三信息包括所述至少一個主體信息中的每個主體信息和其對應(yīng)的每個客體信息之間的關(guān)系信息;
其中,若第一三元組包括所述第一信息、所述第二信息和所述第三信息中的任意一個信息,則所述第一三元組未包括的兩個信息為所述請求消息的第二部分,若第一三元組包括所述第一信息、所述第二信息和所述第三信息中的任意兩個信息,則所述第一三元組未包括的一個信息為所述請求消息的第二部分,若第一三元組包括所述第一信息、所述第二信息和所述第三信息,則所述第一信息、所述第二信息和所述第三信息中包括疑問代詞的信息為所述請求消息的第二部分。
可選的,依據(jù)匹配結(jié)果,輸出響應(yīng)所述請求消息的描述信息,包括:
依據(jù)匹配結(jié)果,輸出所述至少一個描述信息中包含所述請求消息的第一部分的描述信息,或,輸出子描述信息;所述子描述信息包括所述至少一個描述信息中的第一描述信息的部分內(nèi)容,所述第一描述信息包括所述請求消息的第一部分,所述子描述信息包括所述第一描述信息中去除所述請求消息的第一部分的內(nèi)容后剩余的內(nèi)容。
第二方面,提供一種電子設(shè)備,包括:
存儲器,用于存儲指令;
接收器,用于接收用于獲取目標圖像中信息的請求消息;
處理器,用于調(diào)用所述存儲器存儲的指令,處理所述目標圖像,以確定用于描述所述目標圖像的至少一個描述信息;及,匹配所述請求消息與所述至少一個描述信息;
第一輸出器,用于依據(jù)所述處理器得到的匹配結(jié)果,輸出響應(yīng)所述請求消息的描述信息。
可選的,所述電子設(shè)備還包括第二輸出器,用于輸出所述目標圖像;其中,所述第二輸出器和所述第一輸出器相同或不同。
可選的,所述處理器用于處理所述目標圖像,以確定用于描述所述目標圖像的至少一個描述信息,包括:
處理所述目標圖像,確定所述目標圖像包括的至少一個對象;
從所述目標圖像中確定所述至少一個對象的第一屬性信息和/或所述至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;
根據(jù)所述第一屬性信息和/或所述相對關(guān)系信息得到所述至少一個描述信息中的第一部分描述信息或全部描述信息。
可選的,
若所述處理器根據(jù)所述第一屬性信息和/或所述相對關(guān)系信息得到所述至少一個描述信息中的第一部分描述信息,在處理所述目標圖像,確定所述目標圖像包括的至少一個對象之后,所述處理器還用于讀取所述至少一個對象的第二屬性信息,所述第二屬性信息與所述第一屬性信息來源不同;
所述處理器還用于根據(jù)所述第二屬性信息得到所述至少一個描述信息中的第二部分描述信息。
可選的,所述處理器用于處理所述目標圖像,以確定用于描述所述目標圖像的至少一個描述信息,包括:
處理所述目標圖像,確定所述目標圖像包括的至少一個對象;
從所述目標圖像中確定所述至少一個對象的第一屬性信息和/或所述至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;及,讀取所述至少一個對象的第二屬性信息,所述第二屬性信息與所述第一屬性信息來源不同;
按照預(yù)設(shè)策略,根據(jù)所述第一屬性信息和/或所述相對關(guān)系信息,及所述第二屬性信息,獲取所述至少一個描述信息中的第三部分描述信息或全部描述信息。
可選的,所述處理器用于匹配所述請求消息與所述至少一個描述信息,包括:
拆分所述請求消息,得到所述請求消息的第一部分和所述請求消息的第二部分,其中所述請求消息的第二部分用于指示所述請求消息所請求反饋的內(nèi)容;
將所述請求消息的第一部分與所述至少一個描述信息進行匹配;其中在匹配時,將所述請求消息的第一部分與所述至少一個描述信息中的每個描述信息的第一部分匹配。
可選的,所述處理器用于拆分所述請求消息,得到所述請求消息的第一部分和所述請求消息的第二部分,包括:
對所述請求消息進行分析,得到所述請求消息對應(yīng)的至少一個三元組;其中每個三元組包括第一信息、第二信息和第三信息中的至少一項,所述第一信息包括所述請求消息中的至少一個主體信息,所述第二信息包括與所述至少一個主體信息中每個主體信息對應(yīng)的客體信息,所述第三信息包括所述至少一個主體信息中的每個主體信息和其對應(yīng)的每個客體信息之間的關(guān)系信息;
其中,若第一三元組包括所述第一信息、所述第二信息和所述第三信息中的任意一個信息,則所述第一三元組未包括的兩個信息為所述請求消息的第二部分,若第一三元組包括所述第一信息、所述第二信息和所述第三信息中的任意兩個信息,則所述第一三元組未包括的一個信息為所述請求消息的第二部分,若第一三元組包括所述第一信息、所述第二信息和所述第三信息,則所述第一信息、所述第二信息和所述第三信息中包括疑問代詞的信息為所述請求消息的第二部分。
可選的,所述第一輸出器用于依據(jù)匹配結(jié)果,輸出響應(yīng)所述請求消息的描述信息,包括:
依據(jù)匹配結(jié)果,輸出所述至少一個描述信息中包含所述請求消息的第一部分的描述信息,或,輸出子描述信息;所述子描述信息包括所述至少一個描述信息中的第一描述信息的部分內(nèi)容,所述第一描述信息包括所述請求消息的第一部分,所述子描述信息包括所述第一描述信息中去除所述請求消息的第一部分的內(nèi)容后剩余的內(nèi)容。
第三方面,提供一種電子設(shè)備,包括:
接收模塊,用于接收用于獲取目標圖像中信息的請求消息;
第一操作模塊,用于處理所述目標圖像,以確定用于描述所述目標圖像的至少一個描述信息;
第二操作模塊,用于匹配所述請求消息與所述至少一個描述信息;
輸出模塊,用于依據(jù)匹配結(jié)果,輸出響應(yīng)所述請求消息的描述信息。
本發(fā)明實施例提供的信息處理方法,無需使用大量的訓(xùn)練數(shù)據(jù)進行學(xué)習(xí),通過將請求消息和圖像的描述信息進行匹配即可輸出用戶想要的結(jié)果,簡化了圖像處理的過程,提高了用戶體驗,降低了對于電子設(shè)備的配置的要求,也可以在一定程度上降低電子設(shè)備的成本。
附圖說明
為了更清楚地說明本發(fā)明實施例的技術(shù)方案,下面將對本發(fā)明實施例中所需要使用的附圖作簡單地介紹,顯而易見地,下面所介紹的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例提供的信息處理方法的流程圖;
圖2為本發(fā)明實施例中目標圖像的一張示例圖;
圖3為本發(fā)明實施例提供的電子設(shè)備的一種結(jié)構(gòu)示意圖;
圖4為本發(fā)明實施例提供的電子設(shè)備的一種結(jié)構(gòu)示意圖。
具體實施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。在不沖突的情況下,本發(fā)明中的實施例及實施例中的特征可以相互任意組合。并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
本發(fā)明實施例中,電子設(shè)備可以包括服務(wù)器、或個人計算機(PC)、或平板電腦(PAD)等,本發(fā)明實施例對于電子設(shè)備的類型不作限制。
另外,本文中術(shù)語“和/或”,僅僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系,表示可以存在三種關(guān)系,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中字符“/”,在不做特別說明的情況下,一般表示前后關(guān)聯(lián)對象是一種“或”的關(guān)系。
為了更好地理解上述技術(shù)方案,下面將結(jié)合說明書附圖對本發(fā)明實施例提供的技術(shù)方案進行詳細的說明。
請參見圖1,本發(fā)明實施例提供一種信息處理方法,該方法可以用于電子設(shè)備,該方法的流程描述如下。
步驟101:接收用于獲取目標圖像中信息的請求消息;
步驟102:處理目標圖像,以確定用于描述目標圖像的至少一個描述信息;
步驟103:匹配請求消息與至少一個描述信息;
步驟104:依據(jù)匹配結(jié)果,輸出響應(yīng)請求消息的描述信息。
目標圖像可以是預(yù)先存儲在電子設(shè)備中的任意圖像,或者目標圖像也可以是電子設(shè)備從其他電子設(shè)備中獲得的圖像,如可以是用戶通過網(wǎng)絡(luò)上傳到該電子設(shè)備中的圖像。
電子設(shè)備可以通過用戶的操作確定目標圖像,如用戶可以從電子設(shè)備存儲的多張圖像中選擇一張,則電子設(shè)備可以確定該圖像為目標圖像。在確定目標圖像后,用戶可以針對該目標圖像輸入請求消息,則電子設(shè)備可以接收用戶輸入的針對該目標圖像的請求消息。其中,若一個請求消息包括與目標圖像相關(guān)的疑問句或不完整的句子,則可以認為該請求消息是針對該目標圖像的請求消息,例如針對目標圖像的請求消息可以用于對目標圖像進行提問。
本發(fā)明實施例中,該請求消息可以是文字消息,或者是語音消息,或者是圖像消息。請求消息可以包括完整的疑問句,還可以包括包含缺省信息的句子。請參見圖2,為一幅目標圖像,用戶針對該圖像輸入了請求消息,該請求消息的內(nèi)容可以為:“人馬?”,則該請求消息即為包含缺省信息的句子,該請求消息可以用于獲取目標圖像中人和馬之間的相對動作關(guān)系信息。
接收請求消息后,電子設(shè)備可以對目標圖像進行處理,以確定用于描述目標圖像的至少一個描述信息,該至少一個描述信息可以用來描述目標圖像包括的至少一個對象。
在一種實施方式中,電子設(shè)備處理目標圖像,以確定用于描述目標圖像的至少一個描述信息的方法可以為:處理目標圖像,以確定目標圖像包括的至少一個對象,從目標圖像中確定至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息,根據(jù)至少一個對象的第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的全部描述信息。
其中,確定目標圖像包括的至少一個對象,可以采用現(xiàn)有的圖像分類方法或物體檢測方法來實現(xiàn),通過圖像分類方法或物體檢測方法,還可以確定目標圖像中的每個對象大致屬于什么類別。圖像分類方法可以是通過圖像識別方法識別目標圖像所指示的至少一個對象的類別的方法。常見的圖像分類方法包括:基于形狀的圖像分類技術(shù)、基于紋理的圖像分類技術(shù)、基于空間關(guān)系的圖像分類技術(shù)、基于色彩特征的索引技術(shù)等等。物體檢測方法,例如最近出現(xiàn)的基于區(qū)域的快速物體檢測卷積網(wǎng)絡(luò)方法(Fast Region-based Convolutional Network method for object detection,F(xiàn)ast R-CNN)或基于區(qū)域的更快物體檢測卷積網(wǎng)絡(luò)方法(Faster Region-based Convolutional Network method for object detection,F(xiàn)aster R-CNN),是給定一幅圖像后對于圖像中每一個區(qū)域進行識別并給出類別標簽的方法,例如對圖2使用物體檢測方法,可以得到圖2所指示的至少一個對象包括人、馬、樹和灌木等。
對象的第一屬性信息可以包括對象的名稱、形狀、對象的各個組成部分的名稱、顏色、組成材料、數(shù)量等,可以認為,一個對象的第一屬性信息是可以從目標對象中直接獲取的信息。至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息可以包括對象之間的相對位置關(guān)系信息及對象之間的的動作關(guān)系信息(例如“小狗在吃肉”、“人在看書”)中的至少一種,當然還可能包括對象之間的其他相對關(guān)系信息。
從目標圖像中確定至少一個對象的第一屬性信息,可以利用屬性分類器(attribute classifier)實現(xiàn)。本方法首先針對每一個預(yù)設(shè)的屬性訓(xùn)練一個分類器,再對目標圖像提取多種特征,例如紋理特征、梯度直方圖特征、邊緣特征和顏色特征等(其中,屬性可以通過特征來表示,如某種紋理特征可以表明一個對象具有某種屬性),然后利用每一個屬性分類器選取對該屬性分類有效的視覺特征。
從目標圖像中確定至少一個對象中的每個對象和其它對象之間的相對位置關(guān)系信息,可以通過高斯混合模型(GMM)實現(xiàn)??梢酝ㄟ^GMM針對每一個相對位置關(guān)系的分布進行訓(xùn)練。首先對一張圖像中的兩個區(qū)域進行特征提取,每一個相對位置關(guān)系的特征使用f(γ1,γ2)進行特征編碼,γ1和γ2表示不同的區(qū)域。樣例特征如下:
公式(1)中,xi和yi是γi的坐標,wi和hi是γi的寬度和高度,areai是γi的面積,dx1是γ1的中心點相對于γ2的中心點在水平方向的距離,dy1是γ1的中心點相對于γ2的中心點在垂直方向的距離。
針對每一種相對位置關(guān)系,可以使用其對應(yīng)所有樣例的相對位置關(guān)系特征訓(xùn)練一個GMM,該GMM用于對該相對位置關(guān)系進行特征分布建模。在使用這種方法從目標圖像中確定至少一個對象中的每個對象和其它對象之間的相對位置關(guān)系信息的時候,先從目標圖像中提取相對位置關(guān)系特征,然后可以得到其在每一個GMM下的概率值(即符合當前分布的程度),然后對多個GMM預(yù)測結(jié)果進行歸一化,將得分最高并且超過事先設(shè)定的閾值的關(guān)系值作為最終識別出的相對位置關(guān)系。
例如,電子設(shè)備從圖2中能夠確定的至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息可以包括但不限于:場景——戶外,數(shù)量關(guān)系——馬,兩匹,人,兩個,人和馬相互之間的相對位置關(guān)系——人在馬上。
至少一個描述信息中的全部描述信息可以以三元組的形式存儲在電子設(shè)備中,其中每個三元組包括第一信息、第二信息和第三信息中的至少一項,第一信息包括所述描述信息中的至少一個主體信息,第二信息包括與至少一個主體信息中每個主體信息對應(yīng)的客體信息,第三信息包括至少一個主體信息中的每個主體信息和其對應(yīng)的每個客體信息之間的關(guān)系信息。例如,電子設(shè)備從目標圖像中得到的一個三元組形式的描述信息為:具有屬性(蘋果,紅色)。其中“蘋果”表示主體信息即第一信息,“具有屬性”指的是主體信息和對應(yīng)的客體信息之間的關(guān)系信息即第二信息,“紅色”表示客體信息,即第三信息。
當然,至少一個描述信息中的全部描述信息也可以不按照三元組的形式存儲,而是以陳述句的形式存儲在電子設(shè)備中。以具有屬性(蘋果,紅色)這個描述信息為例,該描述信息可以用陳述句的形式存儲為:蘋果是紅色的。
由于至少一個對象的第一屬性信息和至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息都是從目標圖像中直接可以獲取的信息,可以認為是視覺信息,因此以下將目標圖像包括的至少一個對象的第一屬性信息和至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息統(tǒng)稱為目標圖像的視覺知識。
在一種實施方式中,為了進一步地擴充目標圖像的描述信息,在確定目標圖像包括的至少一個對象之后,電子設(shè)備還可以讀取至少一個對象的第二屬性信息,至少一個對象的第二屬性信息可以來源于電子設(shè)備中存儲的常識知識庫。電子設(shè)備可以根據(jù)至少一個對象的第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的第一部分描述信息,及可以根據(jù)第二屬性信息得到目標圖像的第二部分描述信息。與第一部分描述信息一樣,第二部分描述信息可以按照三元組的形式存儲在電子設(shè)備中,也可以按照陳述句的形式存儲在電子設(shè)備中,其中,第二部分描述信息的存儲方式與第一部分描述信息的存儲方式可以相同,以便于統(tǒng)一管理,不多贅述。
常識知識庫中存儲的常識知識主要為文本信息,可以來源于網(wǎng)絡(luò),例如可以由電子設(shè)備通過維基百科、百度百科等網(wǎng)頁資源獲取。常識知識庫中存儲的常識知識一般不是電子設(shè)備能夠從目標圖像中直接獲得的。
在一種實施方式中,電子設(shè)備可以預(yù)先根據(jù)存儲在電子設(shè)備中的圖像建立常識知識庫,針對存儲在電子設(shè)備中的所有圖像的常識知識可以存儲在一個常識知識庫中,或者針對存儲在電子設(shè)備中的不同圖像的常識知識也可以分別存儲在不同的常識知識庫中,即,一個常識知識庫可以包括多張圖像的常識知識,或者也可以只包括一張圖像的常識知識。由于不用在獲取了目標圖像和請求信息之后再建立常識知識庫,在處理目標圖像時耗時會比較短。如果一個常識知識庫中包括了多張圖像的常識知識,則在處理目標圖像時,該常識知識庫中可能包括與目標圖像無關(guān)的常識知識,則電子設(shè)備在常識知識庫檢索與目標圖像包括的至少一個對象相關(guān)聯(lián)的常識知識即可。其中,與對象相關(guān)聯(lián)的常識知識可以理解為該對象的第二屬性信息。
以目標圖像是圖2為例,介紹事先建立常識知識庫的方案。電子設(shè)備在接收來自其它電子設(shè)備的目標圖像之前,可以預(yù)先根據(jù)存儲在電子設(shè)備中的多張圖像建立常識知識庫,該常識知識庫中的常識知識可以包括:馬吃草,馬有四條腿,馬會跑,人會溝通,狗會叫等。由于該常識知識庫中包括與多張圖像相關(guān)的常識信息,所以該常識知識庫中出現(xiàn)了與圖2中沒有的對象(“狗”)相關(guān)的常識信息。要讀取圖2包括的至少一個對象的第二屬性信息,電子設(shè)備在確定了至少一個對象之后,可以在常識知識庫中檢索與至少一個對象相關(guān)的條目,以獲取圖2包括的至少一個對象的第二屬性信息,例如電子設(shè)備獲取的第二屬性信息可以包括:馬吃草,馬有四條腿,馬會跑,人會溝通等等,因為圖2中沒有狗這個對象,因此電子設(shè)備可以不檢索常識知識庫中與狗相關(guān)的條目,即電子設(shè)備獲取的第二屬性信息中不包括與“狗”相關(guān)的信息。
作為事先建立常識知識庫的替換方案,在一種實施方式中,電子設(shè)備也可以在確定目標圖像包括的至少一個對象之后,根據(jù)目標圖像包括的至少一個對象在網(wǎng)絡(luò)上進行關(guān)聯(lián)搜索,以獲取該至少一個對象的第二屬性信息。當然,電子設(shè)備也可以在搜索到與該至少一個對象相關(guān)聯(lián)的常識知識之后,根據(jù)與該至少一個對象相關(guān)聯(lián)的常識知識建立常識知識庫,此時,該常識知識庫中可以只存儲該目標圖像的第二屬性信息,即電子設(shè)備可以對不同的目標對象建立不同的常識知識庫,這樣常識知識庫中存儲的內(nèi)容可以更有針對性,方便電子設(shè)備進行檢索,或者該常識知識庫也可以存儲多張圖像的第二屬性信息,即電子設(shè)備可以將多個目標圖像的常識知識存儲在一個常識知識庫中,可以較為節(jié)省存儲空間。。
為了讓電子設(shè)備能夠得到更為準確豐富的目標圖像的描述信息,在一種實施方式中,電子設(shè)備還可以按照預(yù)設(shè)策略,根據(jù)目標圖像包括的至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息,及至少一個對象的第二屬性信息,獲取目標圖像的第三部分描述信息或全部描述信息。
目標圖像包括的至少一個對象的第一屬性信息、第二屬性信息、及每個對象和其它對象的相對關(guān)系信息可以構(gòu)成目標圖像的知識圖譜。通過預(yù)設(shè)策略進行處理的目的首先是根據(jù)目標圖像的知識圖譜得出新的與目標圖像相關(guān)的描述信息,使電子設(shè)備獲得的與目標圖像相關(guān)的描述信息更加全面。其中,預(yù)設(shè)策略可以是推理方法,例如為利用基于表示學(xué)習(xí)的推理方法,或基于馬爾科夫隨機場的推理方法,或隨機游走的推理方法。
下面舉幾個對目標圖像的知識圖譜進行推理的例子(“->”表示“推理出出”):屬于(蘋果,水果),具有屬性(水果,可以吃)->具有屬性(蘋果,可以吃);材料(車,金屬),具有屬性(金屬,導(dǎo)電)->具有屬性(車,導(dǎo)電);在上面(人,自行車)->騎(人,自行車)。
對目標圖像的知識圖譜進行推理,不僅可以推理得到目標圖像的新的描述信息,還可以修正已得到的目標圖像的視覺知識的置信度。例如對目標圖像包括的一個對象蘋果1所在的區(qū)域使用顏色分類器可以得到:顏色(蘋果1,白色)的置信度為0.7,顏色(蘋果1,黃色)的置信度為0.3。但是從目標圖像的第二屬性信息獲知“顏色(蘋果,白)”的置信度為0,顏色(蘋果,黃色)為0.4,這會降低顏色(蘋果1,白色)的置信度,同時提高顏色(蘋果1,黃色)的置信度,這里修改置信度可以通過以下公式實現(xiàn):
Pn=(Pc+Pv)/2 (2)
在公式(2)中,Pn代表修改后的置信度,Pc代表常識知識庫中的置信度,Pv代表視覺知識中的置信度。
對目標圖像的知識圖譜進行推理,還能夠增強電子設(shè)備對于未知信息的適應(yīng)性。例如在常識知識庫中可以獲取常識知識“蘋果是紅色的”,但是在目標圖像中通過物體檢測方法得到“蘋果1”同時通過屬性識別方法得到“綠色”,我們使用推理方法修改“顏色(蘋果1,綠色)的置信度”,可以得到在目標圖像中“蘋果1是綠色的”。
推理得出的最終結(jié)果可以作為目標圖像的第三部分描述信息,與第一部分描述信息、第二部分描述信息一起作為目標圖像的描述信息。與第一部分描述信息一樣,第三部分描述信息也可以按照三元組的形式存儲在電子設(shè)備中,或者可以按照陳述句的形式存儲在電子設(shè)備中。其中,第三部分描述信息的存儲方式與第一部分描述信息及第二部分描述信息的存儲方式可以相同,以便于統(tǒng)一管理,不多贅述。
不同于傳統(tǒng)的圖像問答方法,本發(fā)明實施例不用向量表示目標圖像,而是利用知識圖譜來描述目標圖像。電子設(shè)備將與目標圖像的包括的至少一個對象相關(guān)聯(lián)的常識知識和目標圖像的視覺知識相結(jié)合構(gòu)建得到目標圖像的知識圖譜,再通過推理方式結(jié)合擴充知識圖譜,最終得到的目標圖像的描述信息較為豐富,對于目標圖像的描述效果較好,對于用戶來說更容易理解。
本發(fā)明實施例致力于通過語義概念對目標圖像進行理解,研究通過語義概念表達目標圖像內(nèi)容的方式。該方式基于推理融合常識知識和圖像視覺知識對視覺知識進行擴展,使得目標圖像的描述信息更為豐富。這種使用知識圖譜進行問答的方式,不僅可以實現(xiàn)對于圖像的直觀語義描述,也符合用戶對于圖像的理解方式。
本發(fā)明實施例中,在得到用于描述目標圖像的至少一個描述信息之后,可以將請求消息與至少一個描述信息進行匹配。在匹配之前,可以先拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,其中請求消息的第二部分用于指示請求消息所請求反饋的內(nèi)容。
在一種實施方式中,拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,可以通過以下方式實現(xiàn):對請求消息進行分析,得到請求消息對應(yīng)的至少一個三元組,其中每個三元組包括第一信息、第二信息和第三信息中的至少一項,第一信息包括請求消息中的至少一個主體信息,第二信息包括與至少一個主體信息中每個主體信息對應(yīng)的客體信息,第三信息包括至少一個主體信息中的每個主體信息和其對應(yīng)的每個客體信息之間的關(guān)系信息。請求消息中的疑問代詞所代表的信息可以在三元組中被表示為缺省信息,或被保留為疑問代詞。其中,如果請求消息只對應(yīng)一個三元組,將該三元組稱為第一三元組,如果請求消息對應(yīng)多個三元組,根據(jù)該多個三元組得到一個最終的三元組,該三元組即為第一三元組。其中,可以采用前述推理方法對多個三元組進行推理,以得到第一三元組。若第一三元組包括第一信息、第二信息和第三信息中的任意一個信息,則第一三元組未包括的兩個信息(即兩個缺省信息)為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息中的任意兩個信息,則第一三元組未包括的一個信息(即一個缺省信息)為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息,則第一信息、第二信息和第三信息中包括疑問代詞的信息為請求消息的第二部分。
下面以圖2是目標圖像為例介紹得到第一三元組的方式。例如,用戶輸入的請求消息可以包括完整的疑問句,該疑問句為:“騎在馬上的那個女孩,她叫什么名字?”電子設(shè)備分析該請求消息,得到該請求消息對應(yīng)的三個三元組,這三個三元組為:騎(女孩,馬),代稱(她,女孩),名字(她,什么)。電子設(shè)備根據(jù)這三個三元組進行推理,可以得到第一三元組,第一三元組例如為:名字(騎馬的女孩,什么)。其中,第一三元組中的第一信息為“騎馬的女孩”,第三信息為“名字”,第二信息為疑問代詞“什么”,則請求消息的第一部分為:名字(騎馬的女孩,),請求消息的第二部分為:什么。
或者,用戶輸入的請求消息包括的疑問句也可以是不完整的句子,下面繼續(xù)以圖2是目標圖像為例,用戶輸入的針對該目標圖像的請求消息包括的疑問句為:“馬是”。電子設(shè)備分析該請求消息,得到該請求消息對應(yīng)的一個三元組:類別(馬,缺省信息)。則這個三元組即為第一三元組。該第一三元組中的第一信息為“馬”,第二信息為缺省信息,第三信息為“類別”,則該請求消息的第二部分為第一三元組的第二信息,該請求消息的第一部分為:類別(馬,)。
對于不完整且語義不清晰的請求消息,電子設(shè)備可以按照預(yù)設(shè)規(guī)則進行處理,如上例中的“是”被認為是在詢問類別。再例如針對圖2的一個包括不完整的疑問句的請求消息為“場景?”,表面上看起來似乎包括兩個缺省信息,但電子設(shè)備可以按照預(yù)設(shè)規(guī)則判定該請求消息是在詢問目標圖像的場景,則請求消息的第一三元組為“場景(目標圖像,缺省信息)”,其中主體信息被電子設(shè)備理解為是目標圖像,請求消息的第一部分為“場景(目標圖像,)”。
在得到第一三元組后,如果目標圖像的全部描述信息都是以三元組的形式存儲在電子設(shè)備中的,則可以直接將第一三元組與目標圖像的全部描述信息中的每條描述信息分別進行匹配,如果目標圖像的全部描述信息是以陳述句的形式存儲的,可以先將全部描述信息轉(zhuǎn)化為三元組形式之后再與第一三元組進行匹配,匹配過程即是在全部描述信息中查找包含請求消息的第一部分的描述信息。在用于描述目標圖像的全部描述信息中,包含請求消息的第一部分的描述信息為與請求消息相匹配的描述消息,本發(fā)明實施例將其稱為第一描述信息。例如,與請求消息“騎在馬上的那個女孩,她叫什么名字?”匹配的描述消息可以為“名字(騎馬的女孩,白雪公主)”,或“騎馬的女孩的名字是白雪公主”。這樣,得到的匹配結(jié)果就是“名字(騎馬的女孩,白雪公主)”或“騎馬的女孩的名字是白雪公主”。
當請求消息對應(yīng)的第一三元組中有兩個缺省信息或兩個疑問詞時,如果包含請求消息的第一部分的描述信息不止一個,電子設(shè)備可以按照預(yù)設(shè)規(guī)則選定一個描述信息作為匹配結(jié)果。例如,請求消息包括的疑問句為“誰在騎什么”,其中的疑問代詞被視作缺省信息,則請求消息的第一部分為“騎(,),包含請求消息的第一部分的描述信息可以為:“王子在騎馬”,“白雪公主在騎馬”,“白雪公主和王子在騎馬”。電子設(shè)備按照預(yù)設(shè)規(guī)則選中的匹配結(jié)果可以為“白雪公主和王子在騎馬”。
若在全部描述信息中找到了與請求消息對應(yīng)的第一三元組相匹配的描述信息,則該描述信息即是匹配結(jié)果,可以將其稱為第一描述信息。得到匹配結(jié)果之后,如果匹配結(jié)果是三元組形式,因為三元組形式不符合人類語言規(guī)則,用戶可能比較難理解,所以電子設(shè)備可以先將匹配結(jié)果轉(zhuǎn)換為陳述句。如果匹配結(jié)果已是陳述句,則不需要再轉(zhuǎn)換。接著電子設(shè)備可以輸出該匹配結(jié)果。例如,在上段所舉的例子中,請求消息包括的疑問句為“誰在騎什么”,第一描述信息為“白雪公主和王子在騎馬”,是陳述句,則電子設(shè)備可以直接輸出該第一描述信息。
在一種實施方式中,在得到第一描述信息之后,電子設(shè)備可以輸出第一描述信息的子描述信息。第一描述信息的子描述信息包括第一描述信息去除請求消息的第一部分的內(nèi)容后剩余的內(nèi)容,只輸出第一描述信息的子描述信息使得輸出的反饋比較簡單,避免了在三元組和陳述句之間轉(zhuǎn)換,減少了電子設(shè)備的工作量。例如,請求消息為“馬是?”,對應(yīng)的三元組為“類別(馬,缺省信息),請求消息的第一部分為“類別(馬,),第一描述信息為“類別(馬,動物),則輸出的子描述信息可以為“動物”。
本發(fā)明實施例提供的信息處理方法,無需使用大量的訓(xùn)練數(shù)據(jù)進行學(xué)習(xí),通過將請求消息和圖像的描述信息進行匹配即可輸出用戶想要的結(jié)果,簡化了圖像處理的過程,提高了用戶體驗,降低了對于電子設(shè)備的配置的要求,也可以在一定程度上降低電子設(shè)備的成本。
請參見圖3,基于同一發(fā)明構(gòu)思,本發(fā)明實施例提供第一種電子設(shè)備300,電子設(shè)備300包括:
存儲器301,用于存儲指令;
接收器302,用于接收用于獲取目標圖像中信息的請求消息;
處理器303,用于調(diào)用存儲器301存儲的指令,處理目標圖像,以確定用于描述目標圖像的至少一個描述信息;及,匹配請求消息與至少一個描述信息;
第一輸出器304,用于依據(jù)處理器303得到的匹配結(jié)果,輸出響應(yīng)請求消息的描述信息。
存儲器301的數(shù)量可以是一個或多個。存儲器301可以包括只讀存儲器(Read Only Memory,ROM)、隨機存取存儲器(Random Access Memory,RAM)或磁盤存儲器。處理器303具體可以是通用的中央處理器(Central Processing Unit,CPU),或者可以是特定應(yīng)用集成電路(Application Specific Integrated Circuit,ASIC),或者可以是一個或多個用于控制程序執(zhí)行的集成電路。
其中,存儲器301、接收器302和第一輸出器304可以分別通過專用連接線與處理器303連接,或者存儲器301、接收器302和第一輸出器304也可以通過總線與處理器303連接,圖3以通過總線連接為例。
可選的,電子設(shè)備300還可以包括第二輸出器,用于輸出目標圖像。其中,第二輸出器和第一輸出器304為同一功能單元,或者為不同的功能單元。
可選的,處理器303用于處理目標圖像,以確定用于描述目標圖像的至少一個描述信息,可以通過以下方式實現(xiàn):
處理目標圖像,確定目標圖像包括的至少一個對象;
從目標圖像中確定至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;
根據(jù)第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的第一部分描述信息或全部描述信息。
可選的,
若處理器303用于根據(jù)第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的第一部分描述信息,在處理器303處理目標圖像,確定目標圖像包括的至少一個對象之后,處理器303還可以用于:讀取至少一個對象的第二屬性信息,第二屬性信息與所述第一屬性信息來源不同;
處理器303還可以用于:根據(jù)第二屬性信息得到至少一個描述信息中的第二部分描述信息。
可選的,處理器303用于處理目標圖像,以確定用于描述目標圖像的至少一個描述信息,可以通過以下方式實現(xiàn):
處理目標圖像,確定目標圖像包括的至少一個對象;
從目標圖像中確定至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;及,讀取至少一個對象的第二屬性信息,第二屬性信息與第一屬性信息來源不同;
按照預(yù)設(shè)策略,根據(jù)第一屬性信息和/或相對關(guān)系信息,及第二屬性信息,獲取至少一個描述信息中的第三部分描述信息或全部描述信息。
可選的,處理器303用于匹配請求消息與至少一個描述信息,可以通過以下方式實現(xiàn):
拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,其中請求消息的第二部分用于指示請求消息所請求反饋的內(nèi)容;
將請求消息的第一部分與至少一個描述信息進行匹配;其中在匹配時,將請求消息的第一部分與至少一個描述信息中的每個描述信息的第一部分匹配。
可選的,處理器303用于拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,可以通過以下方式實現(xiàn):
對請求消息進行分析,得到請求消息對應(yīng)的至少一個三元組;其中每個三元組包括第一信息、第二信息和第三信息中的至少一項,第一信息包括請求消息中的至少一個主體信息,第二信息包括與至少一個主體信息中每個主體信息對應(yīng)的客體信息,第三信息包括至少一個主體信息中的每個主體信息和其對應(yīng)的每個客體信息之間的關(guān)系信息;
其中,若第一三元組包括第一信息、第二信息和第三信息中的任意一個信息,則第一三元組未包括的兩個信息為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息中的任意兩個信息,則第一三元組未包括的一個信息為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息,則第一信息、第二信息和第三信息中包括疑問代詞的信息為請求消息的第二部分。
可選的,第一輸出器304用于依據(jù)處理器303得到的匹配結(jié)果,輸出響應(yīng)請求消息的描述信息,包括:
依據(jù)匹配結(jié)果,輸出至少一個描述信息中包含請求消息的第一部分的描述信息,或,輸出子描述信息;子描述信息包括至少一個描述信息中的第一描述信息的部分內(nèi)容,第一描述信息包括請求消息的第一部分,子描述信息包括第一描述信息中去除請求消息的第一部分的內(nèi)容后剩余的內(nèi)容。
由于本發(fā)明實施例提供的電子設(shè)備300用于執(zhí)行圖1所示的實施例所提供的信息處理方法,因此對于電子設(shè)備300包括的各功能模塊所能夠?qū)崿F(xiàn)的功能及一些實現(xiàn)過程可參考圖1所示的實施例部分的描述,在此不再贅述。
請參見圖4,基于同一發(fā)明構(gòu)思,本發(fā)明實施例還提供第二種電子設(shè)備400,該電子設(shè)備與圖3所示的實施例提供的電子設(shè)備可以是同一設(shè)備,或者也可以是不同的設(shè)備。該電子設(shè)備400可以包括:
接收模塊401,用于接收用于獲取目標圖像中信息的請求消息;
第一操作模塊402,用于處理目標圖像,以確定用于描述目標圖像的至少一個描述信息;
第二操作模塊403,用于匹配請求消息與至少一個描述信息;
輸出模塊404,用于依據(jù)匹配結(jié)果,輸出響應(yīng)請求消息的描述信息。
可選的,第一操作模塊402用于處理目標圖像,以確定用于描述目標圖像的至少一個描述信息,可以通過以下方式實現(xiàn):
處理目標圖像,確定目標圖像包括的至少一個對象;
從目標圖像中確定至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;
根據(jù)第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的第一部分描述信息或全部描述信息。
可選的,
若第一操作模塊402用于根據(jù)第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的第一部分描述信息,在處理目標圖像,確定目標圖像包括的至少一個對象之后,第一操作模塊402還可以用于讀取至少一個對象的第二屬性信息,第二屬性信息與第一屬性信息來源不同;
第一操作模塊402還可以用于根據(jù)第二屬性信息得到至少一個描述信息中的第二部分描述信息。
可選的,第一操作模塊402用于處理目標圖像,以確定用于描述目標圖像的至少一個描述信息,可以通過以下方式實現(xiàn):
處理目標圖像,確定目標圖像包括的至少一個對象;
從目標圖像中確定至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;及,讀取至少一個對象的第二屬性信息,第二屬性信息與第一屬性信息來源不同;
按照預(yù)設(shè)策略,根據(jù)第一屬性信息和/或相對關(guān)系信息,及第二屬性信息,獲取至少一個描述信息中的第三部分描述信息或全部描述信息。
可選的,第二操作模塊403用于匹配請求消息與至少一個描述信息,可以通過以下方式實現(xiàn):
拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,其中請求消息的第二部分用于指示請求消息所請求反饋的內(nèi)容;
將請求消息的第一部分與至少一個描述信息進行匹配;其中在匹配時,將請求消息的第一部分與至少一個描述信息中的每個描述信息的第一部分匹配。
可選的,第二操作模塊403用于拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,可以通過以下方式實現(xiàn):
對請求消息進行分析,得到請求消息對應(yīng)的至少一個三元組;其中每個三元組包括第一信息、第二信息和第三信息中的至少一項,第一信息包括請求消息中的至少一個主體信息,第二信息包括與至少一個主體信息中每個主體信息對應(yīng)的客體信息,第三信息包括至少一個主體信息中的每個主體信息和其對應(yīng)的每個客體信息之間的關(guān)系信息;
其中,若第一三元組包括第一信息、第二信息和第三信息中的任意一個信息,則第一三元組未包括的兩個信息為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息中的任意兩個信息,則第一三元組未包括的一個信息為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息,則第一信息、第二信息和第三信息中包括疑問代詞的信息為請求消息的第二部分。
可選的,輸出模塊404用于依據(jù)匹配結(jié)果,輸出響應(yīng)請求消息的描述信息,可以通過以下方式實現(xiàn):
依據(jù)匹配結(jié)果,輸出至少一個描述信息中包含請求消息的第一部分的描述信息,或,輸出子描述信息;子描述信息包括至少一個描述信息中的第一描述信息的部分內(nèi)容,第一描述信息包括請求消息的第一部分,子描述信息包括第一描述信息中去除請求消息的第一部分的內(nèi)容后剩余的內(nèi)容。
由于本發(fā)明實施例提供的電子設(shè)備400用于執(zhí)行圖1所示的實施例所提供的信息處理方法,因此對于電子設(shè)備400包括的各功能模塊所能夠?qū)崿F(xiàn)的功能及一些實現(xiàn)過程可參考圖1所示的實施例部分的描述,在此不再贅述。
本發(fā)明實施例提供的信息處理方法,無需使用大量的訓(xùn)練數(shù)據(jù)進行學(xué)習(xí),通過將請求消息和圖像的描述信息進行匹配即可輸出用戶想要的結(jié)果,簡化了圖像處理的過程,提高了用戶體驗,降低了對于電子設(shè)備的配置的要求,也可以在一定程度上降低電子設(shè)備的成本。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,僅以上述各功能模塊的劃分進行舉例說明,實際應(yīng)用中,可以根據(jù)需要而將上述功能分配由不同的功能單元完成,即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能單元,以完成以上描述的全部或者部分功能。上述描述的系統(tǒng),裝置和單元的具體工作過程,可以參考前述方法實施例中的對應(yīng)過程,在此不再贅述。
在本發(fā)明所提供的幾個實施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過其它的方式實現(xiàn)。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述模塊或單元的劃分,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機可讀取存儲介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機,服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:通用串行總線閃存盤(Universal Serial Bus flash disk,U盤)、移動硬盤、只讀存儲器(Read-Only Memory,ROM)、隨機存取存儲器(Random Access Memory,RAM)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
具體來講,本發(fā)明實施例中的一種信息處理方法對應(yīng)的計算機程序指令可以被存儲在光盤,硬盤,U盤等存儲介質(zhì)上,當存儲介質(zhì)中的與一種信息處理方法對應(yīng)的計算機程序指令被一電子設(shè)備讀取或被執(zhí)行時,包括如下步驟:
接收用于獲取目標圖像中信息的請求消息;
處理目標圖像,以確定用于描述目標圖像的至少一個描述信息;
匹配請求消息與至少一個描述信息;
依據(jù)匹配結(jié)果,輸出響應(yīng)請求消息的描述信息。
可選的,存儲介質(zhì)中存儲的與步驟:處理目標圖像,以確定用于描述目標圖像的至少一個描述信息,對應(yīng)的計算機指令在被執(zhí)行的過程之中,包括:
處理目標圖像,確定目標圖像包括的至少一個對象;
從目標圖像中確定至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;
根據(jù)第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的第一部分描述信息或全部描述信息。
可選的,若根據(jù)第一屬性信息和/或相對關(guān)系信息得到至少一個描述信息中的第一部分描述信息,存儲介質(zhì)中存儲的與步驟在處理目標圖像,確定目標圖像包括的至少一個對象,對應(yīng)的計算機指令在被執(zhí)行之后,包括:
讀取至少一個對象的第二屬性信息,第二屬性信息與第一屬性信息來源不同;
存儲介質(zhì)中存儲的與一種信息處理方法對應(yīng)的計算機指令在被執(zhí)行的過程之中,包括:
根據(jù)第二屬性信息得到至少一個描述信息中的第二部分描述信息。
可選的,存儲介質(zhì)中存儲的與步驟:處理目標圖像,以確定用于描述目標圖像的至少一個描述信息,對應(yīng)的計算機指令在被執(zhí)行的過程之中,包括:
處理目標圖像,確定目標圖像包括的至少一個對象;
從目標圖像中確定至少一個對象的第一屬性信息和/或至少一個對象中的每個對象和其它對象之間的相對關(guān)系信息;及,讀取至少一個對象的第二屬性信息,第二屬性信息與第一屬性信息來源不同;
按照預(yù)設(shè)策略,根據(jù)第一屬性信息和/或相對關(guān)系信息,及第二屬性信息,獲取至少一個描述信息中的第三部分描述信息或全部描述信息。
可選的,存儲介質(zhì)中存儲的與步驟:匹配請求消息與至少一個描述信息,對應(yīng)的計算機指令在被執(zhí)行的過程之中,包括:
拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,其中請求消息的第二部分用于指示請求消息所請求反饋的內(nèi)容;
將請求消息的第一部分與至少一個描述信息進行匹配;其中在匹配時,將請求消息的第一部分與至少一個描述信息中的每個描述信息的第一部分匹配。
可選的,存儲介質(zhì)中存儲的與步驟:拆分請求消息,得到請求消息的第一部分和請求消息的第二部分,對應(yīng)的計算機指令在被執(zhí)行的過程之中,包括:
對請求消息進行分析,得到請求消息對應(yīng)的至少一個三元組;其中每個三元組包括第一信息、第二信息和第三信息中的至少一項,第一信息包括請求消息中的至少一個主體信息,第二信息包括與至少一個主體信息中每個主體信息對應(yīng)的客體信息,第三信息包括至少一個主體信息中的每個主體信息和其對應(yīng)的每個客體信息之間的關(guān)系信息;
其中,若第一三元組包括第一信息、第二信息和第三信息中的任意一個信息,則第一三元組未包括的兩個信息為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息中的任意兩個信息,則第一三元組未包括的一個信息為請求消息的第二部分,若第一三元組包括第一信息、第二信息和第三信息,則第一信息、第二信息和第三信息中包括疑問代詞的信息為請求消息的第二部分。
可選的,存儲介質(zhì)中存儲的與步驟:依據(jù)匹配結(jié)果,輸出響應(yīng)請求消息的描述信息,對應(yīng)的計算機指令在被執(zhí)行的過程之中,包括:
依據(jù)匹配結(jié)果,輸出至少一個描述信息中包含請求消息的第一部分的描述信息,或,輸出子描述信息;子描述信息包括至少一個描述信息中的第一描述信息的部分內(nèi)容,第一描述信息包括請求消息的第一部分,子描述信息包括第一描述信息中去除請求消息的第一部分的內(nèi)容后剩余的內(nèi)容。
以上實施例僅用以對本發(fā)明的技術(shù)方案進行了詳細介紹,但以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想,不應(yīng)理解為對本發(fā)明的限制。本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。