視頻中檢測(cè)到的同一個(gè)人的人臉圖像會(huì)出現(xiàn)在連續(xù)很多幀中，如果將這些連續(xù)幀中所有的人臉圖像作為人臉身份識(shí)別系統(tǒng)的輸入，則在計(jì)算、存儲(chǔ)上的效率較低，另外由于會(huì)存在很多姿態(tài)、分辨率不佳的人臉，往往也會(huì)導(dǎo)致人臉身份識(shí)別系統(tǒng)的結(jié)果較差。本實(shí)施例提供的方法通過對(duì)檢測(cè)到的視頻幀中的人臉圖像進(jìn)行人臉特征聚類，聚類使每個(gè)類表示了每個(gè)人的所有人臉圖像。這里的特征聚類算法需要使用自適應(yīng)聚類算法，即自動(dòng)確定聚類數(shù)，常見的方法如:層次聚類算法和Meanshift算法等。例如:可首先進(jìn)行層次聚類，通過實(shí)驗(yàn)判斷選取層次深度，使得每個(gè)聚類的子類近似對(duì)應(yīng)于單個(gè)人的人臉。
[0061]d.人臉摘要圖像生成
[0062]由于聚類中心最能夠代表一個(gè)聚類的整體情況，選取人臉特征聚類404中聚類中心人臉圖像特征對(duì)應(yīng)的人臉圖像作為該人的代表人臉圖像，最后輸出每個(gè)聚類的聚類中心對(duì)應(yīng)的人臉圖像作為輸入視頻得到的人臉摘要圖像。這里也可以選取距離聚類中心最近的若干個(gè)圖像作為代表圖像。還可以是均勻選取一個(gè)聚類中若干個(gè)人臉圖像作為代表圖像。
[0063]圖6為本發(fā)明實(shí)施基于人臉識(shí)別的人臉摘要方法的裝置一實(shí)施例的示意圖。如圖6所示，該裝置包括視頻數(shù)據(jù)庫601、視頻數(shù)據(jù)接口模塊602、人臉檢測(cè)模塊603、人臉特征提取與聚類模塊604、人臉摘要圖像生成與存儲(chǔ)模塊605以及用戶接口模塊606。視頻數(shù)據(jù)接口模塊602對(duì)視頻數(shù)據(jù)庫601進(jìn)行讀取和解碼，為人臉檢測(cè)模塊603提供一幀幀的圖像數(shù)據(jù)，人臉檢測(cè)模塊603獲取每幀圖像中的人臉區(qū)域，輸入到人臉特征提取與聚類模塊604，人臉特征提取與聚類模塊604對(duì)所有人臉檢測(cè)模塊603輸入的所有人臉圖像進(jìn)行特征提取和聚類，將大量的序列的人臉圖像聚類劃分成滿足一定類內(nèi)相似度的子類別，可使用基于層次聚類的方法，通過實(shí)驗(yàn)選取層次深度，使得每個(gè)聚類子類近似對(duì)應(yīng)于單個(gè)的人臉，人臉摘要圖像生成與存儲(chǔ)模塊605對(duì)人臉特征提取與聚類模塊604生成的各個(gè)聚類子類別提取代表性的人臉圖像，生成人臉摘要圖像，并和原始視頻信息進(jìn)行關(guān)聯(lián)存儲(chǔ)，用戶接口模塊606為外部系統(tǒng)提供快速查詢給定視頻的人臉摘要圖像的接口。
【主權(quán)項(xiàng)】
1.一種基于人臉識(shí)別的人臉摘要方法，其特征在于包括生成出現(xiàn)在原始視頻中的不同人的人臉圖像，并形成出現(xiàn)的人臉圖像列表。
2.一種基于人臉識(shí)別的人臉摘要方法，其特征在于生成出現(xiàn)在原始視頻中的不同人的人臉圖像，并形成出現(xiàn)的人臉圖像列表，包括 步驟一，人臉檢測(cè) 人臉檢測(cè)是對(duì)原始視頻中的圖像幀進(jìn)行掃描，獲得視頻幀中是否存在人臉區(qū)域，如果存在人臉區(qū)域，獲取人臉?biāo)趨^(qū)域，這些區(qū)域作為人臉特征提取的輸入數(shù)據(jù)； 步驟二，人臉特征提取 人臉特征提取是對(duì)人臉圖像進(jìn)行圖像特征提取，提取人臉特征首先需要對(duì)圖像中的人臉的特征點(diǎn)進(jìn)行對(duì)齊，對(duì)齊后的人臉圖像再進(jìn)行特征提?。? 步驟三，人臉特征聚類 對(duì)檢測(cè)到的視頻幀中的人臉圖像進(jìn)行人臉特征聚類，使每個(gè)類表示了每個(gè)人的所有人臉圖像； 步驟四，人臉摘要圖像生成。 最后輸出每個(gè)聚類的聚類中心對(duì)應(yīng)的人臉圖像作為輸入視頻得到的人臉摘要圖像。
3.根據(jù)權(quán)利要求2所述的基于人臉識(shí)別的人臉摘要方法，其特征在于所述的人臉的特征點(diǎn)為眼角和嘴角之一種或幾種。
4.根據(jù)權(quán)利要求2所述的基于人臉識(shí)別的人臉摘要方法，其特征在于所述的人臉特征提取方法為人臉區(qū)域LBP特征和深度神經(jīng)網(wǎng)絡(luò)DeepFace特征之一種或幾種。
5.根據(jù)權(quán)利要求2所述的基于人臉識(shí)別的人臉摘要方法，其特征在于所述的聚類采用層次聚類算法和Meanshift算法之一種或幾種。
6.一種用于實(shí)施權(quán)利要求1-5之一所述的基于人臉識(shí)別的人臉摘要方法的裝置，其特征在于包括 視頻數(shù)據(jù)庫、視頻數(shù)據(jù)接口模塊、人臉檢測(cè)模塊、人臉特征提取與聚類模塊、人臉摘要圖像生成與存儲(chǔ)模塊以及用戶接口模塊；其中， 所述的視頻數(shù)據(jù)接口模塊對(duì)所述的視頻數(shù)據(jù)庫進(jìn)行讀取和解碼，為所述的人臉檢測(cè)模塊提供一幀幀的圖像數(shù)據(jù)，所述的人臉檢測(cè)模塊獲取每幀圖像中的人臉區(qū)域，輸入到所述的人臉特征提取與聚類模塊，所述的人臉特征提取與聚類模塊對(duì)所有人臉檢測(cè)模塊輸入的所有人臉圖像進(jìn)行特征提取和聚類，將大量的序列的人臉圖像聚類劃分成滿足各類內(nèi)相似度的子類別，使得每個(gè)聚類子類近似對(duì)應(yīng)于單個(gè)的人臉，所述的人臉摘要圖像生成與存儲(chǔ)模塊對(duì)所述的人臉特征提取與聚類模塊生成的各個(gè)聚類子類別提取代表性的人臉圖像，生成人臉摘要圖像，并和原始視頻信息進(jìn)行關(guān)聯(lián)存儲(chǔ)，用戶接口模塊為外部系統(tǒng)提供快速查詢給定視頻的人臉摘要圖像的接口。
7.一種基于人臉識(shí)別的視頻摘要方法，其特征在于包括 步驟一，人臉檢測(cè) 是對(duì)原始視頻中的圖像幀進(jìn)行掃描，獲得視頻幀中是否存在人臉區(qū)域，如果存在人臉區(qū)域，獲取人臉?biāo)趨^(qū)域，這些區(qū)域作為人臉跟蹤的輸入數(shù)據(jù)； 步驟二，人臉跟蹤 人臉跟蹤一方面是對(duì)人臉檢測(cè)的結(jié)果進(jìn)行平滑濾波，并作為軌跡生成提供輸入數(shù)據(jù)； 步驟三，人臉軌跡生成 軌跡生成是對(duì)人臉跟蹤的結(jié)果進(jìn)行整理和索引，通過索引和記錄每個(gè)跟蹤得到的單個(gè)人臉的區(qū)域軌跡，得到一個(gè)個(gè)人臉目標(biāo)的運(yùn)動(dòng)軌跡。 步驟四，摘要合成 對(duì)人臉軌跡所在的視頻片段進(jìn)行合成，即將不同的軌跡中的目標(biāo)進(jìn)行前景疊加，生成摘要視頻。
8.根據(jù)權(quán)利要求7所述的基于人臉識(shí)別的視頻摘要方法，其特征在于所述的人臉軌跡包含了該人臉運(yùn)動(dòng)的坐標(biāo)位置、人臉區(qū)域和人臉出現(xiàn)的時(shí)間段信息。
9.一種用于實(shí)施權(quán)利要求7或8所述的基于人臉識(shí)別的視頻摘要方法的裝置，其特征在于包括視頻數(shù)據(jù)庫、視頻數(shù)據(jù)接口模塊、人臉檢測(cè)與跟蹤模塊、軌跡生成與存儲(chǔ)模塊、摘要合成模塊和用戶接口模塊；其中， 所述的視頻數(shù)據(jù)接口模塊對(duì)所述的視頻數(shù)據(jù)庫進(jìn)行讀取和解碼，為人臉檢測(cè)與跟蹤模塊提供一幀幀的圖像數(shù)據(jù)，所述的人臉檢測(cè)與跟蹤模塊獲取每幀圖像中的人臉區(qū)域，輸入到軌跡生成與存儲(chǔ)模塊，所述的軌跡生成與存儲(chǔ)模塊根據(jù)人臉檢測(cè)與跟蹤模塊提供的人臉跟蹤信息，生成一個(gè)個(gè)的人臉目標(biāo)軌跡，并對(duì)其進(jìn)行索引和存儲(chǔ)，所述的摘要合成模塊根據(jù)用戶接口模塊的輸入條件，生成滿足輸入條件的索引合成的摘要視頻。
【專利摘要】一種基于人臉識(shí)別的人臉摘要方法，包括生成出現(xiàn)在原始視頻中的不同人的人臉圖像，并形成出現(xiàn)的人臉圖像列表，包括對(duì)原始視頻中的圖像幀進(jìn)行掃描，獲得視頻幀中是否存在人臉區(qū)域的人臉檢測(cè)、人臉特征提取、人臉特征聚類和人臉摘要圖像生成等步驟，以及用于實(shí)施該方法的裝置。本發(fā)明提供的基于人臉識(shí)別的人臉摘要方法及其裝置，能生成出現(xiàn)在視頻中的不同人的人臉圖像，生成的每個(gè)人的人臉圖像是視頻中出現(xiàn)的其最具代表性的圖像和相應(yīng)在原始視頻中的位置信息。這些人臉圖像可以供人工快速識(shí)別，也可作為當(dāng)前人臉身份識(shí)別系統(tǒng)或?qū)砀呔鹊娜四樕矸葑R(shí)別系統(tǒng)的輸入數(shù)據(jù)。
【IPC分類】G06K9-00, G06F17-30
【公開號(hào)】CN104731964
【申請(qǐng)?zhí)枴緾N201510158931
【發(fā)明人】王飛
【申請(qǐng)人】上海海勢(shì)信息科技有限公司
【公開日】2015年6月24日
【申請(qǐng)日】2015年4月7日