基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)，特別是涉及一種基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方 法。
【背景技術(shù)】
[0002] 隨著數(shù)字技術(shù)和互聯(lián)網(wǎng)的發(fā)展，越來越多的圖片被上傳到網(wǎng)絡(luò)，當(dāng)用戶對(duì)這些上 傳的圖片進(jìn)行檢索和利用時(shí)，需要根據(jù)圖片的標(biāo)注信息提取所需要的圖片。通常，圖片的標(biāo) 注信息是將具有相同或者相近視覺特征的圖片標(biāo)注為相同或者相近的信息，這種標(biāo)注信息 的方法只適用于包含物體的圖片，并不適用于包含人體和物體的圖片。
[0003] 如果對(duì)包含人體和物體的圖片采用上述標(biāo)注信息的方法，則需要對(duì)人體和物體分 別進(jìn)行標(biāo)注，而對(duì)于人體和物體之間的交互動(dòng)作所表達(dá)的語(yǔ)義信息會(huì)被忽略，從而使許多 具有相同的人體和物體的交互動(dòng)作的圖片往往因?yàn)樗鼈兊囊曈X特征具有較大的差異性而 被分別進(jìn)行標(biāo)注。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供的基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法，從而通過計(jì)算機(jī)實(shí)現(xiàn)對(duì)包 含人體和物體的圖片中的人體和物體的交互動(dòng)作進(jìn)行準(zhǔn)確地標(biāo)注。
[0005] 根據(jù)本發(fā)明的一方面，提供一種基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法，所述方 法包括：步驟S1 :設(shè)定人體和物體的交互動(dòng)作的詞組，根據(jù)所述詞組選取所述詞組對(duì)應(yīng)的 圖片構(gòu)成第一圖片數(shù)據(jù)庫(kù)，所述詞組包括動(dòng)詞和名詞；步驟S2 :從所述第一圖片數(shù)據(jù)庫(kù)中 提取各詞組對(duì)應(yīng)的圖片數(shù)據(jù)中的人體和物體的特征信息和空間信息，根據(jù)所述特征信息和 空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型；步驟S3:根據(jù)所述貝葉斯網(wǎng)絡(luò)模型對(duì)所述圖片數(shù)據(jù)中的人 體和物體的交互動(dòng)作中的動(dòng)詞進(jìn)行標(biāo)注。
[0006] 本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法，通過根據(jù)詞組選取 所述詞組對(duì)應(yīng)的圖片構(gòu)成第一圖片數(shù)據(jù)庫(kù)，從第一圖片數(shù)據(jù)庫(kù)中提取各詞組對(duì)應(yīng)的圖片數(shù) 據(jù)中的人體和物體的特征信息和空間信息，根據(jù)特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模 型，從而通過計(jì)算機(jī)實(shí)現(xiàn)對(duì)包含人體和物體的圖片中的人體和物體的交互動(dòng)作進(jìn)行準(zhǔn)確地 標(biāo)注。
【附圖說明】
[0007] 圖1為本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法的流程圖；
[0008]圖2為本發(fā)明實(shí)施例提供的貝葉斯網(wǎng)絡(luò)模型示意圖；
[0009] 圖3為本發(fā)明實(shí)施例提供的人體與物體之間的空間位置分割示意圖；
[0010] 圖4為本發(fā)明實(shí)施例提供的一組圖片的標(biāo)注結(jié)果；
[0011] 圖5為本發(fā)明實(shí)施例提供的另一組圖片的標(biāo)注結(jié)果。
【具體實(shí)施方式】
[0012] 本發(fā)明的總體構(gòu)思是，本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方 法，通過根據(jù)詞組選取所述詞組對(duì)應(yīng)的圖片構(gòu)成第一圖片數(shù)據(jù)庫(kù)，從第一圖片數(shù)據(jù)庫(kù)中提 取各詞組對(duì)應(yīng)的圖片數(shù)據(jù)中的人體和物體的特征信息和空間信息，根據(jù)特征信息和空間信 息構(gòu)建貝葉斯網(wǎng)絡(luò)模型，從而通過計(jì)算機(jī)實(shí)現(xiàn)對(duì)包含人體和物體的圖片中的人體和物體的 交互動(dòng)作進(jìn)行準(zhǔn)確地標(biāo)注。
[0013] 下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法進(jìn) 行詳細(xì)描述。
[0014] 圖1為本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法的流程圖。
[0015] 參照?qǐng)D1，在步驟S101，設(shè)定人體和物體的交互動(dòng)作的詞組，根據(jù)所述詞組選取所 述詞組對(duì)應(yīng)的圖片構(gòu)成第一圖片數(shù)據(jù)庫(kù)，所述詞組包括動(dòng)詞和名詞。
[0016] 這里，詞組是動(dòng)詞和名詞的組合，可以是例如，但不限于，具體為"騎馬"、"洗車"、 "喂狗"和"喝牛奶"等。同時(shí)，為了更好地表達(dá)出人體和物體的每個(gè)交互動(dòng)作，可選擇至少 兩個(gè)以上的"名詞"，分別與對(duì)應(yīng)的"動(dòng)詞"組合，從而形成詞組，例如"騎自行車"和"騎摩托 車"等。
[0017] 根據(jù)本發(fā)明的示例性實(shí)施例，所述根據(jù)所述詞組獲取第一圖片數(shù)據(jù)庫(kù)包括：
[0018] 根據(jù)所述詞組從搜索引擎中獲取與所述詞組對(duì)應(yīng)的第二圖片數(shù)據(jù)庫(kù)；
[0019] 將所述第二圖片數(shù)據(jù)庫(kù)進(jìn)行篩選，獲取第一圖片數(shù)據(jù)庫(kù)。
[0020] 這里，為了使搜索的圖片內(nèi)容更加廣泛，可以在搜索引擎中搜索圖片時(shí)，對(duì)詞組進(jìn) 行一定的語(yǔ)義擴(kuò)展，可以是例如，但不限于，具體為可以對(duì)中文詞組、相同語(yǔ)義的英文詞組、 帶有主語(yǔ)的詞組或現(xiàn)在進(jìn)行時(shí)態(tài)的詞組進(jìn)行搜索。通過上述搜索方式，可以搜索到與詞組 對(duì)應(yīng)的圖片，并且對(duì)搜索到的圖片進(jìn)行篩選，即將圖片中不具有對(duì)應(yīng)詞組語(yǔ)義信息的圖片 去除，從而得到對(duì)應(yīng)詞組語(yǔ)義信息的圖片。
[0021] 在步驟S102,從所述第一圖片數(shù)據(jù)庫(kù)中提取各詞組對(duì)應(yīng)的圖片數(shù)據(jù)中的人體和物 體的特征信息和空間信息，根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型。
[0022] 這里，人體和物體的特征信息為人體和物體之間的交互動(dòng)作的各種姿態(tài)，人體和 物體的空間信息為人體和交互物體的空間位置關(guān)系。
[0023] 具體地，靜止圖片通常表達(dá)的是人體與物體之間的交互動(dòng)作，人體在針對(duì)某個(gè)特 定的動(dòng)作時(shí)，通常會(huì)使用某些大致相同的姿態(tài)與物體進(jìn)行交互，從而表明當(dāng)人體與物體進(jìn) 行交互動(dòng)作的詞組中的"動(dòng)詞"可以與至少一個(gè)特定的人體的姿態(tài)對(duì)應(yīng)，并且代表人體動(dòng)作 的"動(dòng)詞"的語(yǔ)義表達(dá)同時(shí)依賴于人的姿態(tài)以及人體和所交互物體的空間位置關(guān)系。
[0024] 根據(jù)本發(fā)明的示例性實(shí)施例，所述根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò) 模型包括：
[0025] 將所述特征信息和空間信息與貝葉斯網(wǎng)絡(luò)模型中的節(jié)點(diǎn)相對(duì)應(yīng)，并訓(xùn)練得到所述 貝葉斯網(wǎng)絡(luò)模型的參數(shù)。
[0026] 貝葉斯網(wǎng)絡(luò)模型是一種概率網(wǎng)絡(luò)，它是基于概率推理的數(shù)學(xué)模型，所謂概率推理 是通過一些變量的信息（例如人體的動(dòng)作、人體的姿態(tài)等）獲取其他的概率信息的過程，其 他的概率信息可以為人體動(dòng)作、物體和人體姿態(tài)之間的概率、人體姿態(tài)的概率等。
[0027] 具體地，貝葉斯網(wǎng)絡(luò)模型的參數(shù)是指各個(gè)節(jié)點(diǎn)在各個(gè)狀態(tài)下的概率，參照如圖2 所示的本發(fā)明實(shí)施例提供的貝葉斯網(wǎng)絡(luò)模型示意圖，V為人體的動(dòng)作，G為人體的姿態(tài)，0為 與人體有交互動(dòng)作的物體，氏、H2、…HN為人體的各個(gè)不同的部分，M。為物體的觀測(cè)狀態(tài)， MhpM^、…Mm為人體各個(gè)不同部分的觀測(cè)狀態(tài)。將特征信息和空間信息輸入貝葉斯網(wǎng)絡(luò)模 型，可以得到P(V，G，0,氏，…，HN |Mhl，…，Mm，M。)，而它可以通過各個(gè)子任務(wù)的概率信息獲得， 由公式⑴可知：
【主權(quán)項(xiàng)】
1. 一種基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法，其特征在于，所述方法包括： 步驟S1 :設(shè)定人體和物體的交互動(dòng)作的詞組，根據(jù)所述詞組選取所述詞組對(duì)應(yīng)的圖片 構(gòu)成第一圖片數(shù)據(jù)庫(kù)，所述詞組包括動(dòng)詞和名詞； 步驟S2 :從所述第一圖片數(shù)據(jù)庫(kù)中提取各詞組對(duì)應(yīng)的圖片數(shù)據(jù)中的人體和物體的特 征信息和空間信息，根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型； 步驟S3 :根據(jù)所述貝葉斯網(wǎng)絡(luò)模型對(duì)所述圖片數(shù)據(jù)中的人體和物體的交互動(dòng)作中的 動(dòng)詞進(jìn)行標(biāo)注。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述特征信息和空間信息構(gòu)建 貝葉斯網(wǎng)絡(luò)模型包括： 將所述特征信息和空間信息與貝葉斯網(wǎng)絡(luò)模型中的節(jié)點(diǎn)相對(duì)應(yīng)，并訓(xùn)練得到所述貝葉 斯網(wǎng)絡(luò)模型的參數(shù)。
3. 根據(jù)權(quán)利要求1-2任一項(xiàng)所述的方法，其特征在于，所述步驟S3包括： 根據(jù)所述貝葉斯網(wǎng)絡(luò)模型計(jì)算所述圖片數(shù)據(jù)中的人體和物體的交互動(dòng)作的最大概 率； 對(duì)所述最大概率對(duì)應(yīng)的人體和物體的交互動(dòng)作的動(dòng)詞進(jìn)行標(biāo)注。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述貝葉斯網(wǎng)絡(luò)模型計(jì)算所述 圖片數(shù)據(jù)中的人體和物體的交互動(dòng)作的最大概率包括： 根據(jù)下式計(jì)算所述圖片數(shù)據(jù)中的人體和物體的交互動(dòng)作的最大概率：
其中，V為所述人體的動(dòng)作，G為所述人體的姿態(tài)，0為與所述人體有交互動(dòng)作的物體，Hi、H2、…HN為所述人體的各個(gè)不同的部分，M^為所述物體的觀測(cè)狀態(tài)，Mhl、Mh2、…^為所 述人體各個(gè)不同部分的觀測(cè)狀態(tài)。
【專利摘要】本發(fā)明提供的基于貝葉斯網(wǎng)絡(luò)的人體動(dòng)作的標(biāo)注方法，包括：步驟S1：設(shè)定人體和物體的交互動(dòng)作的詞組，根據(jù)所述詞組選取所述詞組對(duì)應(yīng)的圖片構(gòu)成獲取第一圖片數(shù)據(jù)庫(kù)，所述詞組包括動(dòng)詞和名詞；步驟S2：從所述第一圖片數(shù)據(jù)庫(kù)中提取各詞組對(duì)應(yīng)的圖片數(shù)據(jù)中的人體和物體的特征信息和空間信息，根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型；步驟S3：根據(jù)所述貝葉斯網(wǎng)絡(luò)模型對(duì)所述圖片數(shù)據(jù)中的人體和物體的交互動(dòng)作中的動(dòng)詞進(jìn)行標(biāo)注。本發(fā)明實(shí)現(xiàn)根據(jù)貝葉斯網(wǎng)絡(luò)模型對(duì)圖片中的人體和物體的交互動(dòng)作中的動(dòng)詞進(jìn)行準(zhǔn)確地標(biāo)注。
【IPC分類】G06F17-30
【公開號(hào)】CN104615711
【申請(qǐng)?zhí)枴緾N201510058706
【發(fā)明人】徐常勝, 孫超, 鮑秉坤
【申請(qǐng)人】中國(guó)科學(xué)院自動(dòng)化研究所
【公開日】2015年5月13日
【申請(qǐng)日】2015年2月4日