人臉實(shí)時(shí)跟蹤的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及到圖像處理技術(shù)領(lǐng)域，特別涉及到人臉實(shí)時(shí)跟蹤的方法和裝置。
【背景技術(shù)】
[0002] 目前，在傳統(tǒng)相機(jī)和智能終端上已實(shí)現(xiàn)了人臉跟蹤技術(shù)，利用簡單的眼睛定位和 硬件加速可W快速的定位人臉并進(jìn)行跟蹤，特別是近年來智能終端的飛速發(fā)展，各種拍照 類的應(yīng)用軟件層出不窮，在查找到人臉區(qū)域后，在該人臉區(qū)域添加一個(gè)選擇框，選擇框的大 小與人臉區(qū)域的大小接近，通常是與人臉區(qū)域的外輪廓相切，選擇框的形狀可W自定義，例 如圓形、長方形、正方形、H角形等，該選擇框又可W叫做人臉跟蹤框，人臉移動(dòng)時(shí)，人臉跟 蹤框也隨之移動(dòng)。但是，現(xiàn)有的拍照類應(yīng)用軟件僅僅帶有簡單的人臉檢測器，采用逐峽檢測 的方法來尋找人臉，跟蹤準(zhǔn)確性較低，跟蹤速度較慢。普通的人臉檢測器在智能終端運(yùn)行會(huì) 耗時(shí)50ms到3s不等，一般在400ms左右，使用人臉檢測的方法跟蹤僅能達(dá)到2. 5峽每砂， 跟蹤到的人臉也是幾百毫砂之前的位置，如果在該過程中人臉有移動(dòng)，則畫出的跟蹤框無 法框到人臉。此外，由于檢測速度太慢，跟蹤框無法平滑過渡，會(huì)出現(xiàn)明顯的跳躍，即產(chǎn)生漂 移。

【發(fā)明內(nèi)容】

[0003]本發(fā)明實(shí)施例提供一種人臉實(shí)時(shí)跟蹤的方法和裝置，能提高人臉跟蹤速度，有利 于實(shí)現(xiàn)實(shí)時(shí)跟蹤W及跟蹤框的平滑過渡。
[0004]本發(fā)明實(shí)施例提出一種人臉實(shí)時(shí)跟蹤的方法，包括步驟：
[0005]在人臉跟蹤時(shí)，將一個(gè)檢測周期內(nèi)檢測到的第一峽圖像中的人臉作為正樣本，提 取所述正樣本特征，并在第一峽圖像中的正樣本區(qū)域標(biāo)記人臉跟蹤框；
[0006]在第k峽圖像中，對(duì)應(yīng)于第k-1峽圖像中人臉跟蹤框的位置，隨機(jī)選取多個(gè)鄰近區(qū) 域作為候選區(qū)，并提取所述候選區(qū)的候選特征；其中，k為大于或等于2的整數(shù)；
[0007]將第k峽圖像的各個(gè)候選特征與所述正樣本特征對(duì)比，獲得與所述正樣本特征最 接近的候選特征；
[0008]在第k峽圖像中所述最接近的候選特征對(duì)應(yīng)的候選區(qū)標(biāo)記人臉跟蹤框。
[0009]本發(fā)明實(shí)施例還提出一種人臉實(shí)時(shí)跟蹤的裝置，包括人臉跟蹤模塊，所述人臉跟 蹤模塊包括：
[0010] 樣本提取單元，用于在人臉跟蹤時(shí)，將一個(gè)檢測周期內(nèi)檢測到的第一峽圖像中的 人臉作為正樣本，提取所述正樣本特征；
[0011] 跟蹤框標(biāo)記單元，用于在第一峽圖像中的正樣本區(qū)域標(biāo)記人臉跟蹤框；
[0012] 候選區(qū)提取單元，用于在第k峽圖像中，對(duì)應(yīng)于第k-1峽圖像中人臉跟蹤框的位 置，隨機(jī)選取多個(gè)鄰近區(qū)域作為候選區(qū)，并提取所述候選區(qū)的候選特征；其中，k為大于或 等于2的整數(shù)；
[0013]分類對(duì)比單元，用于將第k峽圖像的各個(gè)候選特征與所述正樣本特征對(duì)比，獲得 與所述正樣本特征最接近的候選特征；
[0014] 所述跟蹤框標(biāo)記單元還用于，在第k峽圖像中所述最接近的候選特征對(duì)應(yīng)的候選 區(qū)標(biāo)記人臉跟蹤框。
[0015] 本發(fā)明實(shí)施例根據(jù)前一峽人臉跟蹤框的位置，在當(dāng)前峽中預(yù)先選取可能包括人臉 的候選區(qū)，并將候選區(qū)與人臉跟蹤獲得的人臉樣本進(jìn)行比較，在最接近于人臉樣本的候選 區(qū)上標(biāo)記人臉跟蹤框，有利于提高人臉跟蹤速度，實(shí)現(xiàn)人臉實(shí)時(shí)跟蹤，改善了人臉跟蹤框的 跳變，有利于實(shí)現(xiàn)人臉跟蹤框的平滑過渡。
【附圖說明】
[0016] 圖1為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第一實(shí)施例的處理示意圖；
[0017] 圖2為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第一實(shí)施例的流程圖；
[001引圖3為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第二實(shí)施例的流程圖；
[0019] 圖4為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第H實(shí)施例的流程圖；
[0020] 圖5為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第四實(shí)施例的流程圖；
[0021] 圖6為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第五實(shí)施例的流程圖；
[0022] 圖7為本發(fā)明人臉實(shí)時(shí)跟蹤的裝置的第一實(shí)施例的結(jié)構(gòu)示意圖；
[0023] 圖8為本發(fā)明人臉實(shí)時(shí)跟蹤的裝置的第二實(shí)施例的結(jié)構(gòu)示意圖；
[0024] 圖9為本發(fā)明人臉實(shí)時(shí)跟蹤的裝置的第H實(shí)施例的結(jié)構(gòu)示意圖；
[00巧]圖10為本發(fā)明實(shí)施例中雙線程信令圖。
[0026] 本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說明。
【具體實(shí)施方式】
[0027] 應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本發(fā)明，并不用于限定本發(fā)明。
[0028] 如圖1和圖2所示，圖1為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第一實(shí)施例的處理示意 圖，圖2為本發(fā)明人臉實(shí)時(shí)跟蹤的方法的第一實(shí)施例的流程圖。本實(shí)施例提到的人臉實(shí)時(shí) 跟蹤的方法，包括步驟：
[0029] 步驟S10,在人臉跟蹤時(shí)，將一個(gè)檢測周期內(nèi)檢測到的第一峽圖像中的人臉作為正 樣本，并在第一峽圖像中的正樣本區(qū)域標(biāo)記人臉跟蹤框；
[0030] 本實(shí)施例實(shí)現(xiàn)的硬件環(huán)境可W為具備拍照或攝像功能的智能終端，例如手機(jī)、 pat筆記本電腦、安裝有攝像頭的臺(tái)式機(jī)或一體機(jī)等。在進(jìn)行人臉跟蹤前，需要先檢測到人 臉。目前實(shí)現(xiàn)人臉檢測的方式有很多，例如I0S系統(tǒng)自帶的人臉檢測器，在此不作費(fèi)述。由 于人臉檢測耗時(shí)較長，如圖1所示，包括多個(gè)周期，因此并不時(shí)刻檢測人臉，而是在一個(gè)時(shí) 間段內(nèi)（即一個(gè)周期內(nèi)）檢測一次之后，就對(duì)檢測到人臉進(jìn)行跟蹤，有利于減少占用的內(nèi)存。 W-個(gè)人臉檢測周期為單位，則在人臉檢測時(shí)檢測的圖像通常是每個(gè)時(shí)間周期內(nèi)的第一峽 圖像，將人臉檢測到的人臉作為正樣本，在人臉之外的其他區(qū)域即可作為負(fù)樣本。同時(shí)，在 該時(shí)間周期內(nèi)第一峽圖像中檢測到的人臉區(qū)域標(biāo)記出人臉跟蹤框。如圖1中第X周期內(nèi)對(duì) 第1峽圖形進(jìn)行人臉檢測，將檢測到的人臉作為正樣本，并標(biāo)記出人臉跟蹤框。
[0031] 步驟S20,提取正樣本特征；
[0032] 為了實(shí)現(xiàn)跟蹤人臉，需要將檢測到的人臉樣本作為基準(zhǔn)，來與后續(xù)圖片進(jìn)行比較， w確定后續(xù)圖片中人臉的位置。為了便于比較，可提取人臉樣本中的特征信息，例如，獲 取正樣本的像素值，比較正樣本像素值與后續(xù)圖片中各區(qū)域的像素值的近似程度；或提取 正樣本輪廓，然后在后續(xù)圖片中查找與正樣本輪廓特征近似的區(qū)域；或提取正樣本的哈爾 化aar)特征，比較哈爾特征的近似度等方式。
[0033] 步驟S30，在第k峽圖像中，對(duì)應(yīng)于第k-1峽圖像中人臉跟蹤框的位置，隨機(jī)選取多 個(gè)鄰近區(qū)域作為候選區(qū)；其中，k為大于或等于2的整數(shù)；
[0034] 考慮到人像在鏡頭中至少會(huì)有稍微的移動(dòng)，例如手持智能設(shè)備時(shí)的抖動(dòng)，或被拍 攝的人像的移動(dòng)等因素，在后續(xù)的圖像中跟蹤人臉時(shí)，可根據(jù)上一峽圖像中標(biāo)記的人臉跟 蹤框附近，預(yù)先選擇幾個(gè)鄰近的區(qū)域作為候選區(qū)，人臉的移動(dòng)可能會(huì)出現(xiàn)在該些選中的候 選區(qū)中。例如圖1中，假設(shè)已經(jīng)跟蹤完成第k-1峽圖像，準(zhǔn)備對(duì)第k峽圖像進(jìn)行人臉跟蹤， 此時(shí)在第k峽圖像中，實(shí)線框部分為第k-1峽圖像的人臉跟蹤框，則在其附近框出H個(gè)候選 區(qū)，即圖中虛線框部分，候選區(qū)的選擇和標(biāo)記都是在終端后臺(tái)執(zhí)行，在終端顯示界面上并不 顯示出來。此外，該些預(yù)選的候選區(qū)內(nèi)還可包括與上一峽圖像中人臉跟蹤框位置一致的區(qū) 域，W涵蓋人臉未發(fā)生位移的情況。
[00巧]步驟S40,提取候選區(qū)的候選特征；
[0036]為了便于將候選區(qū)與正樣本比較，可采用與人臉樣本提取特征時(shí)對(duì)應(yīng)的提取方式 來提取候選區(qū)的特征，例如，獲取候選區(qū)的像素值，比較候選區(qū)像素值與正樣本像素值的近 似程度；或提取候選區(qū)輪廓，然后比較候選區(qū)輪廓與正樣本輪廓特征近似程度；或提取候 選區(qū)的哈爾特征，比較候選區(qū)哈爾特征與正樣本哈爾特在的近似度等方式。
[0037] 步驟S50,將第k峽圖像的各個(gè)候選特征與正樣本特征對(duì)比，獲得與正樣本特征最 接近的候選特征；
[0038] 在將候選特征與正樣本特征對(duì)比后，從比較結(jié)果中選擇最接近正樣本特征的候選 特征，說明該候選特征對(duì)應(yīng)的候選區(qū)中包含有人臉的可能性最大。
[0039] 步驟S60,在第k幀圖像中最接近的候選特征對(duì)應(yīng)的候選區(qū)標(biāo)記人臉跟蹤框，k+1， 返回步驟S30。
[0040] 在選取出最接近正樣本特征的候選特征后，將該候選特征所對(duì)應(yīng)的候選區(qū)作為人 臉跟蹤的目標(biāo)區(qū)域，在其上標(biāo)記人臉跟蹤框，如圖1中，候選區(qū)3的候選特征與正樣本特征 最接近，則選擇候選區(qū)3作為第k峽圖像的人臉跟蹤框，在終端界面上顯示的結(jié)果就是圖1 中最后一個(gè)圖形。然后將該人臉跟蹤框的位置作為下一峽圖像確定候選區(qū)的基準(zhǔn)，并對(duì)下 一峽圖像進(jìn)行跟蹤，W此類推。如此一來，大大的提高了人臉跟蹤速度，跟蹤速度可提高到 40峽每砂，人臉的移動(dòng)不再那么突兀，跟蹤框的跳變情況也得到了有效改善。
[0041] 本實(shí)施例根據(jù)前一峽人臉跟蹤框的位置，在當(dāng)前峽中預(yù)先選取可能包括人臉的 候選區(qū)，并將候選區(qū)與人臉跟蹤獲得的人臉樣本進(jìn)行比較，在最接近于人臉樣本的候選區(qū) 上標(biāo)記人臉跟蹤框，有利于提高人臉跟蹤速度，實(shí)現(xiàn)人臉實(shí)時(shí)跟蹤，改善了人臉跟蹤框的跳 變，有利于實(shí)現(xiàn)人臉跟蹤框的平滑過渡。
[0042] 如圖3所示，圖3為本發(fā)明人臉實(shí)時(shí)跟蹤的方