法的第二實(shí)施例的流程圖。本實(shí)施 例W圖2所示實(shí)施例為基礎(chǔ)，說明了提取特征的過程，其中：
[004引步驟S20包括：
[0044]步驟S21，計(jì)算正樣本的積分圖，根據(jù)正樣本的積分圖，提取正樣本的哈爾特征作 為正樣本特征。
[004引步驟S40包括：
[0046] 步驟S41，計(jì)算候選區(qū)的積分圖，根據(jù)候選區(qū)的積分圖，提取候選區(qū)的哈爾特征作 為候選區(qū)特征。
[0047] 本實(shí)施例采用提取haar特征的方式來獲得人臉正樣本和候選區(qū)的特征信息。 haar特征又可叫做矩形特征，即基于塊的特征，是指采用矩形特征來實(shí)現(xiàn)對人臉的識別。 haar特征對一些簡單的圖形結(jié)構(gòu)比較敏感，比如邊緣和線段，臉部的某些特征能夠由haar 特征簡單地描繪，例如，眼睛要比臉頰顏色深，鼻梁兩側(cè)要比鼻梁顏色深，嘴己要比周圍顏 色深。haar特征通常包括邊緣特征、線性特征、中也特征和對角線特征，組合成為特征模板。 在特征模板中包括有白色和黑色兩種矩形，該模板的特征值(即haar特征的值)為白色矩形 像素之和減去黑色矩形像素之和。
[0048] 在haar特征的值的計(jì)算中，確定了矩形特征區(qū)域后，可采用積分圖求解haar特征 值。一個區(qū)域的像素值，可W由該區(qū)域的端點(diǎn)的積分圖來計(jì)算，矩形特征的特征值可W由特 征區(qū)域端點(diǎn)的積分圖計(jì)算出來。積分圖主要的思想是，將圖像從起點(diǎn)開始到各個點(diǎn)所形成 的矩形區(qū)域像素之和，作為一個數(shù)組的元素保存在內(nèi)存中，當(dāng)要計(jì)算某個區(qū)域的像素和時(shí) 可W直接索引數(shù)組的元素，不用重新計(jì)算該個區(qū)域的像素和，從而加快了計(jì)算。矩形特征的 特征值計(jì)算，只與此特征矩形的端點(diǎn)的積分圖有關(guān)，所W不管此特征矩形的尺度變換如何， 特征值的計(jì)算所消耗的時(shí)間都是常量，運(yùn)用積分圖可W快速計(jì)算給定的矩形之所有象素值 之和。
[0049] 綜上所述，采用haar特征作為人臉正樣本和候選區(qū)的特征，并在后續(xù)對兩者進(jìn)行 比較，有利于提高特征獲取的速度，進(jìn)而提高人臉跟蹤速度，有利于實(shí)現(xiàn)人臉實(shí)時(shí)跟蹤。
[0050] 如圖4所示，圖4為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第H實(shí)施例的流程圖。本實(shí)施 例W圖2所示實(shí)施例為基礎(chǔ)，在步驟S50之前還包括：
[0051] 步驟S70,采用壓縮算法對正樣本特征和候選特征進(jìn)行降維處理。
[0052] 本實(shí)施例的壓縮算法可采用壓縮矩陣對正樣本特征和候選特征進(jìn)行壓縮，將壓 縮矩陣分別與正樣本特征和候選特征相乘，獲得降維后的正樣本特征和候選特征。其中， 壓縮矩陣是m行n列的矩陣，包括了多個和0 、-^/^和0的個數(shù)比 為咬和0在壓縮矩陣中的位置隨機(jī)分布。Wry表示矩陣的第i行 第j列的元素，其中i、j、m和n均為正整數(shù)，0 <i《m，0 <j《n，r。的生成規(guī)則為：
【主權(quán)項(xiàng)】
1. 一種人臉實(shí)時(shí)跟蹤的方法，其特征在于，包括步驟： 在人臉跟蹤時(shí)，將一個檢測周期內(nèi)檢測到的第一幀圖像中的人臉作為正樣本，提取所 述正樣本特征，并在第一幀圖像中的正樣本區(qū)域標(biāo)記人臉跟蹤框； 在第k幀圖像中，對應(yīng)于第k-1幀圖像中人臉跟蹤框的位置，隨機(jī)選取多個鄰近區(qū)域作 為候選區(qū)，并提取所述候選區(qū)的候選特征；其中，k為大于或等于2的整數(shù)； 將第k幀圖像的各個候選特征與所述正樣本特征對比，獲得與所述正樣本特征最接近 的候選特征； 在第k幀圖像中所述最接近的候選特征對應(yīng)的候選區(qū)標(biāo)記人臉跟蹤框。
2. 根據(jù)權(quán)利要求1所述的人臉實(shí)時(shí)跟蹤的方法，其特征在于，所述將第k幀圖像的各個 候選特征與所述正樣本特征對比，獲得與所述正樣本特征最接近的候選特征的步驟之前還 包括： 采用壓縮算法對所述正樣本特征和候選特征進(jìn)行降維處理。
3. 根據(jù)權(quán)利要求2所述的人臉實(shí)時(shí)跟蹤的方法，其特征在于，所述采用壓縮算法對所 述正樣本特征和候選特征進(jìn)行降維處理的步驟包括： 采用壓縮矩陣對所述正樣本特征和候選特征進(jìn)行壓縮，所述壓縮矩陣中包括多個 和0,所述^和O的個數(shù)比為1:1:2,所述^和O在所述 壓縮矩陣中的位置隨機(jī)分布。
4. 根據(jù)權(quán)利要求3所述的人臉實(shí)時(shí)跟蹤的方法，其特征在于，所述壓縮矩陣是m行η列 的矩陣，是矩陣的第i行第j列的元素，其中0 < i彡m，0 < j彡n，rij的生成規(guī)則為：
5. 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的人臉實(shí)時(shí)跟蹤的方法，其特征在于，所述提取正樣 本特征的步驟包括： 計(jì)算所述正樣本的積分圖； 根據(jù)所述正樣本的積分圖，提取所述正樣本的哈爾特征作為所述正樣本特征。
6. 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的人臉實(shí)時(shí)跟蹤的方法，其特征在于，所述提取候選 區(qū)的候選特征的步驟包括： 計(jì)算所述候選區(qū)的積分圖； 根據(jù)所述候選區(qū)的積分圖，提取所述候選區(qū)的哈爾特征作為所述候選區(qū)特征。
7. 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的人臉實(shí)時(shí)跟蹤的方法，其特征在于，所述將第k幀 圖像的各個候選特征與所述正樣本特征對比，獲得與所述正樣本特征最接近的候選特征的 步驟包括： 采用貝葉斯分類器對第k幀圖像的各個候選特征分類，獲得屬于所述正樣本特征所在 類的概率最大的候選特征。
8. 根據(jù)權(quán)利要求1所述的人臉實(shí)時(shí)跟蹤的方法，其特征在于，所述在一個人臉檢測周 期內(nèi)，將檢測到的第一幀圖像中的人臉作為正樣本的步驟之前還包括： 采用雙線程，在第一線程持續(xù)跟蹤人臉的同時(shí)，第二線程周期性檢測人臉； 第二線程將檢測到的人臉?biāo)腿氲谝痪€程，供第一線程進(jìn)行人臉跟蹤。
9. 一種人臉實(shí)時(shí)跟蹤的裝置，其特征在于，包括人臉跟蹤模塊，所述人臉跟蹤模塊包 括： 樣本提取單元，用于在人臉跟蹤時(shí)，將一個檢測周期內(nèi)檢測到的第一幀圖像中的人臉 作為正樣本，提取所述正樣本特征； 跟蹤框標(biāo)記單元，用于在第一幀圖像中的正樣本區(qū)域標(biāo)記人臉跟蹤框； 候選區(qū)提取單元，用于在第k幀圖像中，對應(yīng)于第k-Ι幀圖像中人臉跟蹤框的位置，隨 機(jī)選取多個鄰近區(qū)域作為候選區(qū)，并提取所述候選區(qū)的候選特征；其中，k為大于或等于2 的整數(shù)； 分類對比單元，用于將第k幀圖像的各個候選特征與所述正樣本特征對比，獲得與所 述正樣本特征最接近的候選特征； 所述跟蹤框標(biāo)記單元還用于，在第k幀圖像中所述最接近的候選特征對應(yīng)的候選區(qū)標(biāo) 記人臉跟蹤框。
10. 根據(jù)權(quán)利要求9所述的人臉實(shí)時(shí)跟蹤的裝置，其特征在于，所述人臉跟蹤模塊還包 括壓縮單元，用于采用壓縮算法對所述正樣本特征和候選特征進(jìn)行降維處理。
11. 根據(jù)權(quán)利要求10所述的人臉實(shí)時(shí)跟蹤的裝置，其特征在于，所述壓縮單元還 用于，采用壓縮矩陣對所述正樣本特征和候選特征進(jìn)行壓縮，所述壓縮矩陣中包括多個 ?s/^、- λ/?和〇,所述#和〇的個數(shù)比為1:1:2,所述^ . 和0在所述 壓縮矩陣中的位置隨機(jī)分布。
12. 根據(jù)權(quán)利要求11所述的人臉實(shí)時(shí)跟蹤的裝置，其特征在于，所述壓縮矩陣是m行 η列的矩陣，rij是矩陣的第i行第j列的元素，其中0 < i彡m，0 < j彡n，rij的生成規(guī)則
13. 根據(jù)權(quán)利要求9至12任一項(xiàng)所述的人臉實(shí)時(shí)跟蹤的裝置，其特征在于，所述樣本提 取單元還用于： 計(jì)算所述正樣本的積分圖； 根據(jù)所述正樣本的積分圖，提取所述正樣本的哈爾特征作為所述正樣本特征。
14. 根據(jù)權(quán)利要求9至12任一項(xiàng)所述的人臉實(shí)時(shí)跟蹤的裝置，其特征在于，所述候選區(qū) 提取單元還用于： 計(jì)算所述候選區(qū)的積分圖； 根據(jù)所述候選區(qū)的積分圖，提取所述候選區(qū)的哈爾特征作為所述候選區(qū)特征。
15. 根據(jù)權(quán)利要求9至12任一項(xiàng)所述的人臉實(shí)時(shí)跟蹤的裝置，其特征在于，所述分類對 比單元還用于，采用貝葉斯分類器對第k幀圖像的各個候選特征分類，獲得屬于所述正樣 本特征所在類的概率最大的候選特征。
16. 根據(jù)權(quán)利要求9所述的人臉實(shí)時(shí)跟蹤的裝置，其特征在于，還包括人臉檢測模塊， 所述人臉實(shí)時(shí)跟蹤的裝置采用雙線程，所述人臉跟蹤模塊為第一線程，所述人臉檢測模塊 為第二線程； 所述人臉檢測模塊用于，在所述人臉跟蹤模塊持續(xù)跟蹤人臉的同時(shí)，周期性檢測人臉； 將檢測到的人臉?biāo)腿氲谝痪€程，供第一線程進(jìn)行人臉跟蹤。
【專利摘要】本發(fā)明公開了一種人臉實(shí)時(shí)跟蹤的方法和裝置，所述方法包括步驟：在人臉跟蹤時(shí)，將一個檢測周期內(nèi)檢測到的第一幀圖像中的人臉作為正樣本，提取正樣本特征，并在第一幀圖像中的正樣本區(qū)域標(biāo)記人臉跟蹤框；在第k幀圖像中，對應(yīng)于第k-1幀圖像中人臉跟蹤框的位置，隨機(jī)選取多個鄰近區(qū)域作為候選區(qū)，并提取候選區(qū)的候選特征；其中，k為大于或等于2的整數(shù)；將第k幀圖像的各個候選特征與正樣本特征對比，獲得與正樣本特征最接近的候選特征；在第k幀圖像中最接近的候選特征對應(yīng)的候選區(qū)標(biāo)記人臉跟蹤框。本發(fā)明有利于提高人臉跟蹤速度，實(shí)現(xiàn)人臉實(shí)時(shí)跟蹤，改善了人臉跟蹤框的跳變，有利于實(shí)現(xiàn)人臉跟蹤框的平滑過渡。
【IPC分類】G06K9-00, G06K9-46
【公開號】CN104866805
【申請?zhí)枴緾N201410059064
【發(fā)明人】李科, 姚達(dá), 鄭昉勱
【申請人】騰訊科技（深圳）有限公司
【公開日】2015年8月26日
【申請日】2014年2月20日