本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法及系統(tǒng)。

背景技術(shù)：

隨著互聯(lián)網(wǎng)的快速普及，社交媒體網(wǎng)站也在不斷的興起，人們能夠更方便的在社交媒體網(wǎng)站上產(chǎn)生或分享多媒體內(nèi)容，因此社交媒體平臺(tái)上存儲(chǔ)著大量多樣的由多模態(tài)數(shù)據(jù)構(gòu)成的事件。在實(shí)際應(yīng)用中，就單個(gè)事件而言，社交媒體平臺(tái)中關(guān)于該事件的內(nèi)容可能被多個(gè)用戶發(fā)布或分享，由于用戶在地理分布、分享時(shí)間、模態(tài)形式或描述角度不同會(huì)造成信息分布散亂。因此多模態(tài)數(shù)據(jù)存在異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的特點(diǎn)，這給多模態(tài)數(shù)據(jù)的處理及蘊(yùn)含的事件挖掘帶來了挑戰(zhàn)。

目前，單一模態(tài)數(shù)據(jù)挖掘方法由于多模態(tài)數(shù)據(jù)的異構(gòu)性和數(shù)據(jù)量大的特點(diǎn)，不能處理場景中的數(shù)據(jù)；多模態(tài)融合技術(shù)雖然可針對(duì)多模態(tài)數(shù)據(jù)進(jìn)行有效處理，但較高的計(jì)算復(fù)雜度使得進(jìn)行多模態(tài)數(shù)據(jù)處理時(shí)占用大量內(nèi)存，不適用于社交媒體平臺(tái)。另外，單一模態(tài)數(shù)據(jù)挖掘方法和多模態(tài)融合技術(shù)都是處理原始數(shù)據(jù)，而對(duì)多模態(tài)數(shù)據(jù)存在的數(shù)據(jù)缺失問題未涉及。

有鑒于此，現(xiàn)有技術(shù)方案在對(duì)多模態(tài)數(shù)據(jù)進(jìn)行處理時(shí)無法同時(shí)解決存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法及系統(tǒng)，以解決現(xiàn)有的技術(shù)方案在對(duì)多模態(tài)數(shù)據(jù)進(jìn)行處理時(shí)無法同時(shí)解決存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。技術(shù)方案如下：

一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，應(yīng)用于一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，包括：

接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取所述目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及所述各個(gè)模態(tài)的特征表示；

根據(jù)所述目標(biāo)多模態(tài)數(shù)據(jù)、所述特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；

根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、所述數(shù)據(jù)表示和所述詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫。

優(yōu)選的，所述接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取所述目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及所述各個(gè)模態(tài)的特征表示，包括：

接收所述目標(biāo)多模態(tài)數(shù)據(jù)，獲取所述目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的所述各個(gè)模態(tài)，并提取所述各個(gè)模態(tài)的原始特征；

基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)所述原始特征獲取所述各個(gè)模態(tài)的缺失特征，得到所述各個(gè)模態(tài)的特征表示。

優(yōu)選的，所述根據(jù)所述目標(biāo)多模態(tài)數(shù)據(jù)、所述特征表示、預(yù)設(shè)相似度算法和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示，包括：

根據(jù)所述目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)所述特征表示提取所述詞典原子相應(yīng)的特征表示，得到所述各個(gè)模態(tài)的模式詞典；

基于所述模式詞典編碼所述目標(biāo)多模態(tài)數(shù)據(jù)，并根據(jù)所述預(yù)設(shè)相似度算法計(jì)算所述目標(biāo)多模態(tài)數(shù)據(jù)和所述模式詞典在所述各個(gè)模態(tài)下的相似度，得到所述各個(gè)模態(tài)的近鄰圖

其中，為所述目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與所述模式詞典中第j個(gè)原子的相似度值，為第m個(gè)模態(tài)下所述模式詞典中的第j個(gè)原子，為第m個(gè)模態(tài)下所述模式詞典中第j個(gè)原子在所述目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)的第一預(yù)設(shè)范圍內(nèi)的近鄰集合；

依據(jù)所述預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算所述近鄰圖，獲取所述各個(gè)模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的所述數(shù)據(jù)表示X^M，并根據(jù)所述數(shù)據(jù)表示更新所述模式詞典，得到融合多模態(tài)特征的所述詞典表示；

其中，p_m為第m個(gè)第一預(yù)設(shè)參數(shù)，取值范圍為0～1，n為迭代次數(shù)。

優(yōu)選的，所述根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、所述數(shù)據(jù)表示和所述詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫，包括：

基于預(yù)設(shè)數(shù)據(jù)重構(gòu)模型并根據(jù)增量式拉格朗日乘子和梯度下降法求解所述數(shù)據(jù)表示和所述詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解

其中，Subject to Z＝J，Z為所述數(shù)據(jù)表示，D^M為所述詞典表示，P^M為所述詞典表示上的距離矩陣，W_ij為所述目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與所述模式詞典中第j個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上的相似度值，為所述目標(biāo)多模態(tài)數(shù)據(jù)中第f個(gè)數(shù)據(jù)與所述模式詞典中第i個(gè)原子在第v個(gè)所述預(yù)設(shè)模態(tài)上相似度值，所述目標(biāo)多模態(tài)數(shù)據(jù)中第j個(gè)數(shù)據(jù)與所述模式詞典中的第i個(gè)原子在第v個(gè)所述預(yù)設(shè)模態(tài)上的相似度值，d為所述詞典表示中原子數(shù)目；

判斷所述數(shù)據(jù)表示有效解和所述詞典表示有效解是否收斂；

若是，將所述數(shù)據(jù)表示有效解確定為低維判別表示最優(yōu)解，將所述詞典表示有效解確定為所述詞典最優(yōu)表示，并將所述低維判別表示最優(yōu)解和所述詞典最優(yōu)表示存儲(chǔ)于數(shù)據(jù)庫；

若否，返回執(zhí)行所述根據(jù)增量式拉格朗日乘子和梯度下降法求解所述數(shù)據(jù)表示和所述詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解這一步驟。

優(yōu)選的，所述根據(jù)所述目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)所述特征表示提取所述詞典原子相應(yīng)的特征表示，得到所述各個(gè)模態(tài)的模式詞典，包括：

判斷所述目標(biāo)多模態(tài)數(shù)據(jù)是否帶有標(biāo)簽；

若否，選取所述特征表示中的任意一個(gè)作為單一模態(tài)，基于預(yù)設(shè)中心聚類算法對(duì)所述單一模態(tài)對(duì)應(yīng)的目標(biāo)多模態(tài)數(shù)據(jù)進(jìn)行聚類處理，并選取聚類中心點(diǎn)第二預(yù)設(shè)范圍內(nèi)的目標(biāo)多模態(tài)數(shù)據(jù)作為所述詞典原子；

若是，選取預(yù)設(shè)數(shù)量的所述帶標(biāo)簽數(shù)據(jù)作為所述詞典原子；

獲取所述詞典原子相應(yīng)的特征表示，構(gòu)成所述模式詞典。

一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，包括：

數(shù)據(jù)處理裝置，用于接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取所述目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及所述各個(gè)模態(tài)的特征表示；

多模態(tài)融合裝置，用于根據(jù)所述目標(biāo)多模態(tài)數(shù)據(jù)、所述特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；

判別特征學(xué)習(xí)裝置，用于根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、所述數(shù)據(jù)表示和所述詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫。

優(yōu)選的，所述數(shù)據(jù)處理裝置包括：

原始特征提取模塊，用于接收所述目標(biāo)多模態(tài)數(shù)據(jù)，獲取所述目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的所述各個(gè)模態(tài)，并提取所述各個(gè)模態(tài)的原始特征；

缺失特征補(bǔ)充模塊，用于基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)所述原始特征獲取所述各個(gè)模態(tài)的缺失特征，得到所述各個(gè)模態(tài)的特征表示。

優(yōu)選的，所述多模態(tài)融合裝置包括：

構(gòu)造模式詞典模塊，用于根據(jù)所述目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)所述特征表示提取所述詞典原子相應(yīng)的特征表示，得到所述各個(gè)模態(tài)的模式詞典；

近鄰圖構(gòu)造模塊，用于基于所述模式詞典編碼所述目標(biāo)多模態(tài)數(shù)據(jù)，并根據(jù)所述預(yù)設(shè)相似度算法計(jì)算所述目標(biāo)多模態(tài)數(shù)據(jù)和所述模式詞典在所述各個(gè)模態(tài)下的相似度，得到所述各個(gè)模態(tài)的近鄰圖其中，為所述目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與所述模式詞典中第j個(gè)原子的相似度值，為第m個(gè)模態(tài)下所述模式詞典中的第j個(gè)原子，為第m個(gè)模態(tài)下所述模式詞典中第j個(gè)原子在所述目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)的第一預(yù)設(shè)范圍內(nèi)的近鄰集合；

圖融合模塊，用于依據(jù)所述預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算所述近鄰圖，獲取所述各個(gè)模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的所述數(shù)據(jù)表示X^M，并根據(jù)所述數(shù)據(jù)表示更新所述模式詞典，得到融合多模態(tài)特征的所述詞典表示，其中，p_m為第m個(gè)第一預(yù)設(shè)參數(shù)，取值范圍為0～1，n為迭代次數(shù)。

優(yōu)選的，所述判別特征學(xué)習(xí)裝置包括：

數(shù)據(jù)重構(gòu)模塊，用于基于預(yù)設(shè)數(shù)據(jù)重構(gòu)模型并根據(jù)增量式拉格朗日乘子和梯度下降法求解所述數(shù)據(jù)表示和所述詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解其中，Subject to Z＝J，Z為所述數(shù)據(jù)表示，D^M為所述詞典表示，P^M為所述詞典表示上的距離矩陣，W_ij為所述目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與所述模式詞典中第j個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上的相似度值，為所述目標(biāo)多模態(tài)數(shù)據(jù)中第f個(gè)數(shù)據(jù)與所述模式詞典中第i個(gè)原子在第v個(gè)所述預(yù)設(shè)模態(tài)上相似度值，所述目標(biāo)多模態(tài)數(shù)據(jù)中第j個(gè)數(shù)據(jù)與所述模式詞典中的第i個(gè)原子在第v個(gè)所述預(yù)設(shè)模態(tài)上的相似度值，d為所述詞典表示中原子數(shù)目；

優(yōu)化處理模塊，用于判斷所述數(shù)據(jù)表示有效解和所述詞典表示有效解是否收斂；若是，將所述數(shù)據(jù)表示有效解確定為低維判別表示最優(yōu)解，將所述詞典表示有效解確定為所述詞典最優(yōu)表示，并將所述低維判別表示最優(yōu)解和所述詞典最優(yōu)表示存儲(chǔ)于數(shù)據(jù)庫；若否，返回執(zhí)行數(shù)據(jù)重構(gòu)模塊。

優(yōu)選的，所述構(gòu)造模式詞典模塊包括：

判斷單元，用于判斷所述目標(biāo)多模態(tài)數(shù)據(jù)是否帶有標(biāo)簽；若否，向第一控制單元發(fā)送第一執(zhí)行指令；若是，向第二控制單元發(fā)送第二執(zhí)行指令；

所述第一控制單元，用于選取所述特征表示中的任意一個(gè)作為單一模態(tài)，基于預(yù)設(shè)中心聚類算法對(duì)所述單一模態(tài)對(duì)應(yīng)的目標(biāo)多模態(tài)數(shù)據(jù)進(jìn)行聚類處理，并選取聚類中心點(diǎn)第二預(yù)設(shè)范圍內(nèi)的目標(biāo)多模態(tài)數(shù)據(jù)作為所述詞典原子；

所述第二控制單元，用于選取預(yù)設(shè)數(shù)量的所述帶標(biāo)簽數(shù)據(jù)作為所述詞典原子；

模式詞典構(gòu)造單元，用于獲取所述詞典原子相應(yīng)的特征表示，構(gòu)成所述模式詞典。

相較與現(xiàn)有技術(shù)，本發(fā)明實(shí)現(xiàn)的有益效果為：

以上本發(fā)明所提供的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法及系統(tǒng)，通過接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫?；谏鲜龉_的方法，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例一公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法流程圖；

圖2為本發(fā)明實(shí)施例二公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法部分流程圖；

圖3為本發(fā)明實(shí)施例二公開的另一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法部分流程圖；

圖4為本發(fā)明實(shí)施例二公開的另一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法部分流程圖；

圖5為本發(fā)明實(shí)施例三公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法部分流程圖；

圖6為本發(fā)明實(shí)施例四公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)結(jié)構(gòu)示意圖；

圖7為本發(fā)明實(shí)施例五公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)結(jié)構(gòu)示意圖；

圖8為本發(fā)明實(shí)施例五公開的另一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)結(jié)構(gòu)示意圖；

圖9為本發(fā)明實(shí)施例五公開的另一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)結(jié)構(gòu)示意圖；

圖10為本發(fā)明實(shí)施例六公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)中構(gòu)造模式詞典模塊結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

實(shí)施例一

本發(fā)明實(shí)施例一公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，應(yīng)用于一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，流程圖如圖1所示，多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法包括：

S101，接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；

在執(zhí)行步驟S101的過程中，根據(jù)社交媒體數(shù)據(jù)收集裝置發(fā)送的目標(biāo)多模態(tài)數(shù)據(jù)，獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)，并根據(jù)獲取的各個(gè)模態(tài)得到各個(gè)模態(tài)相應(yīng)的特征表示。

S102，根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；

S103，根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、所述數(shù)據(jù)表示和所述詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，通過接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫?；谏鲜龉_的方法，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

實(shí)施例二

基于上述本發(fā)明實(shí)施例一公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，如圖1所示出的步驟S101中，接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示的具體執(zhí)行過程，如圖2所示，包括：

S201，接收目標(biāo)多模態(tài)數(shù)據(jù)，獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)，并提取各個(gè)模態(tài)的原始特征；

在執(zhí)行步驟S201的過程中，接收目標(biāo)多模態(tài)數(shù)據(jù)，獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)，并對(duì)各個(gè)模態(tài)的原始特征進(jìn)行提取，其中，原始特征包括：視覺特征、文本特征和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)各層特征。

S202，基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)原始特征獲取各個(gè)模態(tài)的缺失特征，得到各個(gè)模態(tài)的特征表示。

在執(zhí)行步驟S202的過程中，基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)模態(tài)的原始特征，補(bǔ)充各個(gè)模態(tài)缺失的特征，例如，目標(biāo)多模態(tài)數(shù)據(jù)中沒有位置信息，根據(jù)用戶和時(shí)間信息可檢索出該用戶在該時(shí)間范圍內(nèi)的其他資源，根據(jù)這些資源的位置信息能夠補(bǔ)充目標(biāo)多模態(tài)數(shù)據(jù)缺失的位置信息。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，通過接收目標(biāo)多模態(tài)數(shù)據(jù)，獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)并提取各個(gè)模態(tài)的原始特征；基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)原始特征獲取各個(gè)模態(tài)的缺失特征，得到各個(gè)模態(tài)的特征表示；根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫?；谏鲜龉_的方法，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

基于上述本發(fā)明實(shí)施例一公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，如圖1所示出的步驟S102中，根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示的具體執(zhí)行過程，如圖3所示，包括：

S301，根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)特征表示提取詞典原子相應(yīng)的特征表示，得到各個(gè)模態(tài)的模式詞典；

S302，基于模式詞典編碼目標(biāo)多模態(tài)數(shù)據(jù)，并根據(jù)預(yù)設(shè)相似度算法計(jì)算目標(biāo)多模態(tài)數(shù)據(jù)和模式詞典在各個(gè)模態(tài)下的相似度，得到各個(gè)模態(tài)的近鄰圖

在S302中，各個(gè)模態(tài)的近鄰圖采用公式(1)：

其中，為目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與模式詞典中第j個(gè)原子的相似度值，為第m個(gè)模態(tài)下模式詞典中的第j個(gè)原子，為第m個(gè)模態(tài)下模式詞典中第j個(gè)原子在目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)的第一預(yù)設(shè)范圍內(nèi)的近鄰集合；

S303，依據(jù)預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算近鄰圖，獲取各個(gè)模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的數(shù)據(jù)表示X^M，并根據(jù)數(shù)據(jù)表示更新模式詞典，得到融合多模態(tài)特征的詞典表示；

在S303中，融合多模態(tài)特征的數(shù)據(jù)表示X^M采用公式(2)：

其中，p_m為第m個(gè)第一預(yù)設(shè)參數(shù)，取值范圍為0～1，n為迭代次數(shù)。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，通過接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)特征表示提取詞典原子相應(yīng)的特征表示，得到各個(gè)模態(tài)的模式詞典；基于模式詞典編碼目標(biāo)多模態(tài)數(shù)據(jù)，并根據(jù)預(yù)設(shè)相似度算法計(jì)算目標(biāo)多模態(tài)數(shù)據(jù)和模式詞典在各個(gè)模態(tài)下的相似度，得到各個(gè)模態(tài)的近鄰圖；依據(jù)預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算近鄰圖，獲取各個(gè)模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的數(shù)據(jù)表示，并根據(jù)數(shù)據(jù)表示更新模式詞典，得到融合多模態(tài)特征的詞典表示；根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫。基于上述公開的方法，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

基于上述本發(fā)明實(shí)施例一公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，如圖1所示出的步驟S103中，根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、所述數(shù)據(jù)表示和所述詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫的具體執(zhí)行過程，如圖4所示，包括：

S401，基于預(yù)設(shè)數(shù)據(jù)重構(gòu)模型，并根據(jù)增量式拉格朗日乘子和梯度下降法求解數(shù)據(jù)表示和詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解；

在S401中，預(yù)設(shè)數(shù)據(jù)重構(gòu)模型采用公式(3)：

采用公式(4)得到數(shù)據(jù)表示有效解和詞典表示有效解：

其中，Subject to Z＝J，Z為數(shù)據(jù)表示，D^M為詞典表示，P^M為詞典表示上的距離矩陣，W_ij為目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與模式詞典中第j個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上的相似度值，為目標(biāo)多模態(tài)數(shù)據(jù)中第f個(gè)數(shù)據(jù)與模式詞典中第i個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上相似度值，目標(biāo)多模態(tài)數(shù)據(jù)中第j個(gè)數(shù)據(jù)與模式詞典中的第i個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上的相似度值，d為詞典表示中原子數(shù)目；

S402，判斷數(shù)據(jù)表示有效解和詞典表示有效解是否收斂；

S403，若是，將數(shù)據(jù)表示有效解確定為低維判別表示最優(yōu)解，將詞典表示有效解確定為所述詞典最優(yōu)表示，并將低維判別表示最優(yōu)解和詞典最優(yōu)表示存儲(chǔ)于數(shù)據(jù)庫；

S404，若否，返回執(zhí)行所述根據(jù)增量式拉格朗日乘子和梯度下降法求解所述數(shù)據(jù)表示和所述詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解這一步驟。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，通過接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；基于預(yù)設(shè)數(shù)據(jù)重構(gòu)模型，并根據(jù)增量式拉格朗日乘子和梯度下降法求解數(shù)據(jù)表示和詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解；判斷數(shù)據(jù)表示有效解和詞典表示有效解是否收斂；若是，將數(shù)據(jù)表示有效解確定為低維判別表示最優(yōu)解，將詞典表示有效解確定為所述詞典最優(yōu)表示，并將低維判別表示最優(yōu)解和詞典最優(yōu)表示存儲(chǔ)于數(shù)據(jù)庫；若否，返回執(zhí)行所述根據(jù)增量式拉格朗日乘子和梯度下降法求解所述數(shù)據(jù)表示和所述詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解這一步驟?；谏鲜龉_的方法，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

實(shí)施例三

基于上述本發(fā)明實(shí)施例二公開的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，如圖3所示出的步驟S301中，根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)特征表示提取詞典原子相應(yīng)的特征表示，得到各個(gè)模態(tài)的模式詞典的具體執(zhí)行過程，如圖5所示，包括：

S501，判斷目標(biāo)多模態(tài)數(shù)據(jù)是否帶有標(biāo)簽；

S502，若否，選取特征表示中的任意一個(gè)作為單一模態(tài)，基于預(yù)設(shè)中心聚類算法對(duì)單一模態(tài)對(duì)應(yīng)的目標(biāo)多模態(tài)數(shù)據(jù)進(jìn)行聚類處理，并選取聚類中心點(diǎn)第二預(yù)設(shè)范圍內(nèi)的目標(biāo)多模態(tài)數(shù)據(jù)作為詞典原子；

可選的，預(yù)設(shè)中心聚類算法包括：K-Means聚類算法。

S503，若是，選取預(yù)設(shè)數(shù)量的所帶標(biāo)簽數(shù)據(jù)作為詞典原子；

S504，獲取詞典原子相應(yīng)的特征表示，構(gòu)成模式詞典。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，通過接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；判斷目標(biāo)多模態(tài)數(shù)據(jù)是否帶有標(biāo)簽；若否，選取特征表示中的任意一個(gè)作為單一模態(tài)，基于預(yù)設(shè)中心聚類算法對(duì)單一模態(tài)對(duì)應(yīng)的目標(biāo)多模態(tài)數(shù)據(jù)進(jìn)行聚類處理，并選取聚類中心點(diǎn)第二預(yù)設(shè)范圍內(nèi)的目標(biāo)多模態(tài)數(shù)據(jù)作為詞典原子；若是，選取預(yù)設(shè)數(shù)量的所帶標(biāo)簽數(shù)據(jù)作為詞典原子；獲取詞典原子相應(yīng)的特征表示，構(gòu)成模式詞典；基于模式詞典編碼目標(biāo)多模態(tài)數(shù)據(jù)，并根據(jù)預(yù)設(shè)相似度算法計(jì)算目標(biāo)多模態(tài)數(shù)據(jù)和模式詞典在各個(gè)模態(tài)下的相似度，得到各個(gè)模態(tài)的近鄰圖；依據(jù)預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算近鄰圖，獲取各個(gè)模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的數(shù)據(jù)表示，并根據(jù)數(shù)據(jù)表示更新模式詞典，得到融合多模態(tài)特征的詞典表示；根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫?；谏鲜龉_的方法，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

實(shí)施例四

基于上述本發(fā)明各實(shí)施例提供的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法，本實(shí)施例四則對(duì)應(yīng)公開了執(zhí)行上述多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)示意圖如圖6所示，多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)600包括：

數(shù)據(jù)處理裝置601，用于接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及所述各個(gè)模態(tài)的特征表示；

多模態(tài)融合裝置602，用于根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；

判別特征學(xué)習(xí)裝置603，用于根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，通過數(shù)據(jù)處理裝置接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；多模態(tài)融合裝置根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；判別特征學(xué)習(xí)裝置根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫。基于上述公開的系統(tǒng)，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

實(shí)施例五

結(jié)合上述實(shí)施例四公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)和附圖6，本實(shí)施例五還公開了一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)示意圖如圖7所示，

其中，數(shù)據(jù)處理裝置601包括：

原始特征提取模塊701，用于接收目標(biāo)多模態(tài)數(shù)據(jù)，獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)并提取各個(gè)模態(tài)的原始特征；

缺失特征補(bǔ)充模塊702，用于基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)原始特征獲取各個(gè)模態(tài)的缺失特征，得到各個(gè)模態(tài)的特征表示。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，通過原始特征提取模塊接收目標(biāo)多模態(tài)數(shù)據(jù)，獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)并提取各個(gè)模態(tài)的原始特征；缺失特征補(bǔ)充模塊基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)原始特征獲取各個(gè)模態(tài)的缺失特征，得到各個(gè)模態(tài)的特征表示；多模態(tài)融合裝置根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；判別特征學(xué)習(xí)裝置根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫?；谏鲜龉_的系統(tǒng)，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

結(jié)合上述實(shí)施例四公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)和附圖6，本實(shí)施例五還公開了另一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)示意圖如圖8所示，

其中，多模態(tài)融合裝置602包括：

構(gòu)造模式詞典模塊801，用于根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)特征表示提取詞典原子相應(yīng)的特征表示，得到各個(gè)模態(tài)的模式詞典；

近鄰圖構(gòu)造模塊802，用于基于模式詞典編碼所述目標(biāo)多模態(tài)數(shù)據(jù)，并根據(jù)預(yù)設(shè)相似度算法計(jì)算目標(biāo)多模態(tài)數(shù)據(jù)和模式詞典在各個(gè)模態(tài)下的相似度，得到各個(gè)模態(tài)的近鄰圖其中，為目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與模式詞典中第j個(gè)原子的相似度值，為第m個(gè)模態(tài)下模式詞典中的第j個(gè)原子，為第m個(gè)模態(tài)下模式詞典中第j個(gè)原子在目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)的第一預(yù)設(shè)范圍內(nèi)的近鄰集合；

圖融合模塊803，用于依據(jù)預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算近鄰圖，獲取各個(gè)模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的數(shù)據(jù)表示X^M，并根據(jù)數(shù)據(jù)表示更新模式詞典，得到融合多模態(tài)特征的詞典表示，其中，p_m為第m個(gè)第一預(yù)設(shè)參數(shù)，取值范圍為0～1，n為迭代次數(shù)。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，通過數(shù)據(jù)處理裝置接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；構(gòu)造模式詞典模塊根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)選取詞典原子，并根據(jù)特征表示提取詞典原子相應(yīng)的特征表示，得到各個(gè)模態(tài)的模式詞典；近鄰圖構(gòu)造模塊基于模式詞典編碼所述目標(biāo)多模態(tài)數(shù)據(jù)，并根據(jù)預(yù)設(shè)相似度算法計(jì)算目標(biāo)多模態(tài)數(shù)據(jù)和模式詞典在各個(gè)模態(tài)下的相似度，得到各個(gè)模態(tài)的近鄰圖；圖融合模塊依據(jù)預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算近鄰圖，獲取各個(gè)模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的數(shù)據(jù)表示，并根據(jù)數(shù)據(jù)表示更新模式詞典，得到融合多模態(tài)特征的詞典表示；判別特征學(xué)習(xí)裝置根據(jù)預(yù)設(shè)數(shù)據(jù)重構(gòu)模型、數(shù)據(jù)表示和詞典表示，獲取低維判別表示最優(yōu)解和詞典最優(yōu)表示并存儲(chǔ)于數(shù)據(jù)庫?；谏鲜龉_的系統(tǒng)，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

結(jié)合上述實(shí)施例四公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)和附圖6，本實(shí)施例五還公開了另一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)示意圖如圖9所示，

其中，判別特征學(xué)習(xí)裝置603包括：

數(shù)據(jù)重構(gòu)模塊901，用于基于預(yù)設(shè)數(shù)據(jù)重構(gòu)模型并根據(jù)增量式拉格朗日乘子和梯度下降法求解數(shù)據(jù)表示和詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解其中，Subject to Z＝J，Z為數(shù)據(jù)表示，D^M為詞典表示，P^M為詞典表示上的距離矩陣，W_ij為目標(biāo)多模態(tài)數(shù)據(jù)中第i個(gè)數(shù)據(jù)與模式詞典中第j個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上的相似度值，為目標(biāo)多模態(tài)數(shù)據(jù)中第f個(gè)數(shù)據(jù)與模式詞典中第i個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上相似度值，目標(biāo)多模態(tài)數(shù)據(jù)中第j個(gè)數(shù)據(jù)與模式詞典中的第i個(gè)原子在第v個(gè)預(yù)設(shè)模態(tài)上的相似度值，d為詞典表示中原子數(shù)目；

優(yōu)化處理模塊902，用于判斷數(shù)據(jù)表示有效解和詞典表示有效解是否收斂；若是，將數(shù)據(jù)表示有效解確定為低維判別表示最優(yōu)解，將詞典表示有效解確定為詞典最優(yōu)表示，并將低維判別表示最優(yōu)解和詞典最優(yōu)表示存儲(chǔ)于數(shù)據(jù)庫；若否，返回執(zhí)行數(shù)據(jù)重構(gòu)模塊。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，通過數(shù)據(jù)處理裝置接收目標(biāo)多模態(tài)數(shù)據(jù)，并獲取目標(biāo)多模態(tài)數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)以及各個(gè)模態(tài)的特征表示；多模態(tài)融合裝置根據(jù)目標(biāo)多模態(tài)數(shù)據(jù)、特征表示和預(yù)設(shè)圖隨機(jī)走模型獲取融合多模態(tài)特征的數(shù)據(jù)表示和詞典表示；數(shù)據(jù)重構(gòu)模塊基于預(yù)設(shè)數(shù)據(jù)重構(gòu)模型，并根據(jù)增量式拉格朗日乘子和梯度下降法求解數(shù)據(jù)表示和詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解；優(yōu)化處理模塊判斷數(shù)據(jù)表示有效解和詞典表示有效解是否收斂；若是，將數(shù)據(jù)表示有效解確定為低維判別表示最優(yōu)解，將詞典表示有效解確定為詞典最優(yōu)表示，并將低維判別表示最優(yōu)解和詞典最優(yōu)表示存儲(chǔ)于數(shù)據(jù)庫；若否，返回執(zhí)行數(shù)據(jù)重構(gòu)模塊。基于上述公開的系統(tǒng)，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

實(shí)施例六

結(jié)合上述實(shí)施例五公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)和附圖8，本實(shí)施例六還公開了一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，其中，構(gòu)造模式詞典模塊801的結(jié)構(gòu)示意圖如圖10所示，

構(gòu)造模式詞典模塊801包括：

判斷單元1001，用于判斷目標(biāo)多模態(tài)數(shù)據(jù)是否帶有標(biāo)簽；若否，向第一控制單元發(fā)送第一執(zhí)行指令；若是，向第二控制單元發(fā)送第二執(zhí)行指令；

第一控制單元1002，用于選取特征表示中的任意一個(gè)作為單一模態(tài)，基于預(yù)設(shè)中心聚類算法對(duì)單一模態(tài)對(duì)應(yīng)的目標(biāo)多模態(tài)數(shù)據(jù)進(jìn)行聚類處理，并選取聚類中心點(diǎn)第二預(yù)設(shè)范圍內(nèi)的目標(biāo)多模態(tài)數(shù)據(jù)作為詞典原子；

第二控制單元1003，用于選取預(yù)設(shè)數(shù)量的帶標(biāo)簽數(shù)據(jù)作為所述詞典原子；

模式詞典構(gòu)造單元1004，用于獲取詞典原子相應(yīng)的特征表示，構(gòu)成模式詞典。

本發(fā)明實(shí)施例公開的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)，通過判斷單元判斷目標(biāo)多模態(tài)數(shù)據(jù)是否帶有標(biāo)簽；若否，向第一控制單元發(fā)送第一執(zhí)行指令；若是，向第二控制單元發(fā)送第二執(zhí)行指令；第一控制單元選取特征表示中的任意一個(gè)作為單一模態(tài)，基于預(yù)設(shè)中心聚類算法對(duì)單一模態(tài)對(duì)應(yīng)的目標(biāo)多模態(tài)數(shù)據(jù)進(jìn)行聚類處理，并選取聚類中心點(diǎn)第二預(yù)設(shè)范圍內(nèi)的目標(biāo)多模態(tài)數(shù)據(jù)作為詞典原子；第二控制單元選取預(yù)設(shè)數(shù)量的帶標(biāo)簽數(shù)據(jù)作為所述詞典原子；模式詞典構(gòu)造單元獲取詞典原子相應(yīng)的特征表示，構(gòu)成模式詞典。基于上述公開的系統(tǒng)，同時(shí)解決了處理多模態(tài)數(shù)據(jù)時(shí)存在的異構(gòu)性、數(shù)據(jù)量大、數(shù)據(jù)缺失和計(jì)算代價(jià)大的問題。

舉例來說，當(dāng)多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)應(yīng)用于事件檢測系統(tǒng)中時(shí)，多模態(tài)數(shù)據(jù)表示學(xué)習(xí)系統(tǒng)針對(duì)收集的多模態(tài)社交媒體數(shù)據(jù)，獲取多模態(tài)社交媒體數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)，并對(duì)各個(gè)模態(tài)進(jìn)行原始特征提取，得到各個(gè)模態(tài)的原始特征；基于預(yù)設(shè)數(shù)據(jù)先驗(yàn)分布和各個(gè)模態(tài)的原始特征，對(duì)多模態(tài)社交媒體數(shù)據(jù)對(duì)應(yīng)的各個(gè)模態(tài)進(jìn)行缺失特征補(bǔ)充，得到各個(gè)模態(tài)的特征表示。

根據(jù)多模態(tài)社交媒體數(shù)據(jù)選取詞典原子，并根據(jù)特征表示提取詞典原子相應(yīng)的特征表示，得到模態(tài)的模式詞典；基于模式詞典編碼多模態(tài)社交媒體數(shù)據(jù)，并根據(jù)預(yù)設(shè)相似度算法計(jì)算多模態(tài)社交媒體數(shù)據(jù)和模式詞典在模態(tài)下的相似度，得到模態(tài)的近鄰圖；依據(jù)預(yù)設(shè)圖隨機(jī)走模型迭代計(jì)算近鄰圖，獲取模態(tài)的迭代穩(wěn)態(tài)并確定為融合多模態(tài)特征的數(shù)據(jù)表示，并根據(jù)數(shù)據(jù)表示更新模式詞典，得到融合多模態(tài)特征的詞典表示。

基于預(yù)設(shè)數(shù)據(jù)重構(gòu)模型，并根據(jù)增量式拉格朗日乘子和梯度下降法求解數(shù)據(jù)表示和詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解；判斷數(shù)據(jù)表示有效解和詞典表示有效解是否收斂；若是，將數(shù)據(jù)表示有效解確定為低維判別表示最優(yōu)解，將詞典表示有效解確定為所述詞典最優(yōu)表示，并將低維判別表示最優(yōu)解和詞典最優(yōu)表示存儲(chǔ)于數(shù)據(jù)庫；若否，返回執(zhí)行所述根據(jù)增量式拉格朗日乘子和梯度下降法求解所述數(shù)據(jù)表示和所述詞典表示，得到數(shù)據(jù)表示有效解和詞典表示有效解這一步驟。

根據(jù)多模態(tài)社交媒體數(shù)據(jù)中是否存在帶標(biāo)簽數(shù)據(jù)選擇相應(yīng)的算法進(jìn)行多模態(tài)社交媒體數(shù)據(jù)中的事件概念挖掘，其中，若不存在，基于設(shè)定的聚類算法挖掘多模態(tài)社交媒體數(shù)據(jù)中的事件概念，其中，設(shè)定的聚類算法包括：基于數(shù)據(jù)密度的混合聚類算法、基于類別信息的混合聚類算法；若存在，基于少量標(biāo)簽信息分類算法挖掘目標(biāo)數(shù)據(jù)中的事件概念；提取事件的時(shí)間或地理分布；呈現(xiàn)事件的時(shí)間分布或地理分布。

以上對(duì)本發(fā)明所提供的一種多模態(tài)數(shù)據(jù)表示學(xué)習(xí)方法及系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。

需要說明的是，本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。對(duì)于實(shí)施例公開的裝置而言，由于其與實(shí)施例公開的方法相對(duì)應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。

還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備所固有的要素，或者是還包括為這些過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。