專(zhuān)利名稱(chēng)：一種紅外熱圖像序列的人臉檢測(cè)與跟蹤的算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，具體涉及一種紅外熱圖像序列的人臉檢測(cè)與跟蹤
的算法。
背景技術(shù)：
自從人們發(fā)現(xiàn)紅外輻射以來(lái)，人們就開(kāi)始不斷運(yùn)用各種方法對(duì)紅外輻射進(jìn)行檢 測(cè)，并根據(jù)紅外輻射的特點(diǎn)而加以應(yīng)用，相繼制成了各種紅外探測(cè)器。從應(yīng)用上看，紅外探 測(cè)器可以分為兩類(lèi)，一類(lèi)是紅外夜視儀，另一類(lèi)是紅外測(cè)溫儀。在民用領(lǐng)域，目前應(yīng)用最多 的紅外測(cè)溫儀是非制冷型微測(cè)輻射熱計(jì)(亦稱(chēng)紅外熱像儀)，它能通過(guò)光電轉(zhuǎn)換、電信號(hào)處 理等手段，將目標(biāo)物體的溫度分布圖像轉(zhuǎn)換成視頻圖像，同時(shí)通過(guò)溫度定標(biāo)獲得物體溫度。 隨著SARS、禽流感等傳染病疫情的流行，傳統(tǒng)的檢驗(yàn)檢疫工作面臨越來(lái)越嚴(yán)峻的挑戰(zhàn)，紅外 熱像儀具有非接觸性、體積小、靈敏度高、不間斷性工作及報(bào)警等功能，很好完成了在各種 場(chǎng)所的測(cè)溫任務(wù)。 目前，大部分紅外熱像儀都集成了兩套圖像信息系統(tǒng)紅外熱圖像信息系統(tǒng)和可 見(jiàn)光圖像信息系統(tǒng)。紅外熱圖像信息系統(tǒng)是紅外熱像儀的基本圖像信息系統(tǒng)。紅外熱圖像 反映視場(chǎng)內(nèi)物體的溫度，但是，紅外熱圖像的分辨率很低，對(duì)比度較小，不含紋理信息。因 此，利用紅外熱圖像進(jìn)行模式識(shí)別有較大的難度。這導(dǎo)致在實(shí)際應(yīng)用中，即使視場(chǎng)內(nèi)某個(gè)物 體的溫度達(dá)到示警溫度，但是，我們很難讓紅外熱像儀自動(dòng)判別這個(gè)物體是否是我們需要 監(jiān)控的物體。 可見(jiàn)光圖像信息系統(tǒng)是紅外熱像儀的輔助圖像信息系統(tǒng)。可見(jiàn)光圖像不能反映視
場(chǎng)內(nèi)物體的溫度，但是，可見(jiàn)光圖像的分辨率較高，含有豐富的紋理信息，基于可見(jiàn)光圖像
的模式識(shí)別技術(shù)也比較完善。因此，紅外熱圖像信息系統(tǒng)和可見(jiàn)光圖像信息系統(tǒng)這兩套圖
像信息系統(tǒng)完全可以取長(zhǎng)補(bǔ)短，優(yōu)勢(shì)互補(bǔ)，構(gòu)成一套完整的、有一定智能信息處理能力的圖
像信息系統(tǒng)。遺憾的是，在目前絕大多數(shù)的紅外熱像儀的應(yīng)用中，除了簡(jiǎn)單粗糙的融合顯示
之外，可見(jiàn)光圖像信息系統(tǒng)之于紅外熱像儀，幾乎成為一種廉價(jià)的擺設(shè)。 本發(fā)明結(jié)合可見(jiàn)光圖像人臉檢測(cè)的算法，進(jìn)行紅外熱圖像的人臉檢測(cè)，對(duì)于達(dá)到
示警溫度的人臉，結(jié)合可見(jiàn)光圖像序列人臉跟蹤的算法，進(jìn)行紅外熱圖像序列的人臉跟蹤，
并以可見(jiàn)光圖像為背景，融合顯示人臉的紅外熱圖像和可見(jiàn)光圖像。

發(fā)明內(nèi)容
本發(fā)明提出一種紅外熱圖像序列的人臉檢測(cè)與跟蹤的算法。該算法結(jié)合可見(jiàn)光圖 像的人臉檢測(cè)算法實(shí)現(xiàn)紅外熱圖像的人臉檢測(cè)，并在此基礎(chǔ)上，結(jié)合可見(jiàn)光圖像序列的人 臉跟蹤算法實(shí)現(xiàn)紅外熱圖像序列的人臉跟蹤。
(1)結(jié)合可見(jiàn)光圖像人臉檢測(cè)算法實(shí)現(xiàn)紅外熱圖像的人臉檢測(cè)
A、可見(jiàn)光圖像的人臉區(qū)域的檢測(cè) 目前成熟的可見(jiàn)光圖像的人臉檢測(cè)算法很多，這些算法原則上都可應(yīng)用于本發(fā)明。進(jìn)行人臉檢測(cè)時(shí)，先使用一定大小的搜索窗口對(duì)可見(jiàn)光圖像進(jìn)行逐像素掃描，檢測(cè)窗口 內(nèi)是否包含人臉。為了適應(yīng)不同大小尺寸的人臉檢測(cè)的需要，可以使用一個(gè)縮放比例參數(shù)， 用于改變掃描窗口的大小，而不需要對(duì)可見(jiàn)光圖像進(jìn)行縮放。每次改變窗口的大小都要對(duì) 可見(jiàn)光圖像重新進(jìn)行掃描與檢測(cè)。搜索完成后，保留檢測(cè)到的人臉區(qū)域，用作人臉模板的提 取。 B、人臉模板的提取 完成人臉區(qū)域的檢測(cè)后，從每個(gè)人臉區(qū)域里提取相應(yīng)的人臉模板。人臉模板是一 個(gè)人臉形狀的區(qū)域，只含有人臉部分，不包含任何背景成分。人臉模板提取的主要過(guò)程如 下首先，利用膚色分割的算法，將人臉模板從人臉區(qū)域中分離出來(lái)。然后，利用人臉的長(zhǎng)寬 有一定的比例這個(gè)特點(diǎn)排除偽人臉模板。這些偽人臉模板可能由于類(lèi)膚色區(qū)域或膚色區(qū)域 但非人臉區(qū)域造成。最后，利用腐蝕和膨脹等數(shù)學(xué)形態(tài)學(xué)的處理方法對(duì)人臉模板做進(jìn)一步 的處理。腐蝕算法能夠去除一些小的非膚色區(qū)域，這些非膚色區(qū)域主要由于人的五官造成。 膨脹算法能夠去除人臉模板邊緣上的一些"棱角"，使人臉模板的輪廓變得清晰和完整。
C、紅外熱圖像的人臉檢測(cè) 使用人臉模板在紅外熱圖像中搜索人臉。搜索開(kāi)始前，先把人臉模板在可見(jiàn)光圖 像中的位置作為人臉模板在紅外熱圖像中的初始位置，然后以單位像素為步長(zhǎng)，以初始位 置為中心，在紅外熱圖像中上下左右作螺旋狀移動(dòng)。人臉模板每移動(dòng)到一個(gè)新的位置，都要 檢測(cè)人臉模板與模板內(nèi)的紅外熱圖像區(qū)域是否匹配，若匹配則認(rèn)為當(dāng)前人臉模板所在紅外 熱圖像區(qū)域?yàn)槿四槄^(qū)域。 紅外熱圖像像素灰度值分布范圍不大，絕大部分像素的灰度級(jí)集中于某些區(qū)域
內(nèi)，其直方圖有明顯的單峰或雙峰存在。人體溫度大約在35t:至42t:之間(包含了低溫和
高燒)，這個(gè)溫度范圍是人臉的基本熱信息，不在這個(gè)溫度范圍的紅外熱圖像部分可以確定 不會(huì)包含人臉。當(dāng)紅外熱像儀視場(chǎng)范圍內(nèi)包含多個(gè)人臉或其他物體的時(shí)候，會(huì)存在多個(gè)人 臉在紅外熱圖像中互相遮擋或部分人臉被其他物體遮擋的情況。人的臉部與人的脖子溫度 大致相同，因此，當(dāng)在紅外熱圖像中搜索到匹配人臉的時(shí)候，人臉與脖子接壤的部分溫度相 差不大。根據(jù)以上紅外熱圖像中人臉的特點(diǎn)，紅外熱圖像中人臉檢測(cè)的步驟如下
1)檢測(cè)紅外熱圖像中人臉模板所在區(qū)域內(nèi)的溫度是否在人體溫度的范圍之內(nèi)，若 90%及以上的像素點(diǎn)的溫度值滿(mǎn)足此要求，則人臉模板所在區(qū)域可能是人臉，轉(zhuǎn)到步驟2); 否則，轉(zhuǎn)到步驟4)。人體溫度范圍定為35°C -42t:，包括低溫和高燒。 在實(shí)際應(yīng)用中，為了保持算法對(duì)噪聲的魯棒性，也可以計(jì)算紅外熱圖像中人臉模 板所在區(qū)域內(nèi)溫度的均值和方差，如果均值在人體溫度的范圍之內(nèi)且方差足夠小，則轉(zhuǎn)到 步驟2);否則，轉(zhuǎn)到步驟4)。 2)檢測(cè)人臉模板所在區(qū)域邊緣內(nèi)外溫差達(dá)到5t:及以上的部分是否占人臉模板 所在區(qū)域周長(zhǎng)的3/4以上，若是，轉(zhuǎn)到步驟3)，否則轉(zhuǎn)到步驟4)?？紤]到應(yīng)用場(chǎng)合的環(huán)境溫 度一般在30°C以下，人體溫度在35°C以上，故確定溫度閾值為5°C 。此溫度閾值可根據(jù)具體 應(yīng)用調(diào)整。 同樣地，在實(shí)際應(yīng)用中，為了保持算法對(duì)噪聲的魯棒性，也可以計(jì)算紅外熱圖像中 人臉模板所在區(qū)域內(nèi)部的像素點(diǎn)和邊緣區(qū)域外的像素點(diǎn)的溫度均值，如果兩個(gè)均值的差的 絕對(duì)值足夠大，則轉(zhuǎn)到步驟3)，否則轉(zhuǎn)到步驟4)。
3)終止搜索，匹配成功。紅外熱圖像中人臉模板所在區(qū)域認(rèn)為是人臉，從而完成紅 外熱圖像中人臉的檢測(cè)，并以可見(jiàn)光圖像為背景，融合顯示人臉的紅外熱圖像和可見(jiàn)光圖 像。 4)檢測(cè)人臉模板是否已移動(dòng)到紅外熱圖像的邊界，若是，轉(zhuǎn)到步驟5)，否則，根據(jù) 步長(zhǎng)和移動(dòng)規(guī)則在紅外熱圖像中移動(dòng)人臉模板，轉(zhuǎn)到步驟1)。 5)丟棄此人臉模板，從下一幀可見(jiàn)光圖像中提取新的人臉模板，在下一幀紅外熱 圖像中檢測(cè)人臉模板與模板內(nèi)的紅外區(qū)域是否匹配，轉(zhuǎn)到步驟1)。
紅外熱圖像人臉檢測(cè)算法的主流程圖見(jiàn)圖1。
紅外熱圖像人臉檢測(cè)算法的子流程圖見(jiàn)圖2。
(2)結(jié)合可見(jiàn)光圖像序列的人臉跟蹤算法實(shí)現(xiàn)紅外熱圖像序列的人臉跟蹤
在紅外熱圖像人臉檢測(cè)的基礎(chǔ)上，對(duì)于達(dá)到示警溫度的人臉，結(jié)合可見(jiàn)光圖像序 列的人臉跟蹤算法，進(jìn)行紅外熱圖像序列的人臉跟蹤，并以可見(jiàn)光圖像為背景，融合顯示被 跟蹤的人臉的紅外熱圖像和可見(jiàn)光圖像，具體步驟如下 A、根據(jù)具體應(yīng)用場(chǎng)合設(shè)置示警溫度。人體正常體溫平均在36 37t:之間，超出
這個(gè)范圍就是發(fā)熱，38t:以下是低熱，39t:以上是高熱，低過(guò)35t:是體溫過(guò)低。當(dāng)紅外熱
像儀應(yīng)用于機(jī)場(chǎng)或口岸等人流密集的公共場(chǎng)所進(jìn)行大面積檢疫檢驗(yàn)時(shí)，可設(shè)置溫度閾值為 39°C。 B、對(duì)于在紅外熱圖像序列當(dāng)前幀中已被搜索到人臉，檢查其溫度是否達(dá)到示警溫 度。對(duì)于沒(méi)有達(dá)到示警溫度的人臉，將不會(huì)在紅外熱圖像序列中進(jìn)行跟蹤。對(duì)于達(dá)到示警 溫度的人臉，將以可見(jiàn)光圖像為背景，融合顯示這些人臉的紅外熱圖像和可見(jiàn)光圖像。
C、在可見(jiàn)光圖像序列中對(duì)達(dá)到示警溫度的人臉進(jìn)行跟蹤。在紅外熱圖像的人臉檢 測(cè)中，人臉在紅外熱圖像中的位置與在可見(jiàn)光圖像中的位置是一一對(duì)應(yīng)的。因此，一旦在紅 外熱圖像中確定達(dá)到示警溫度的人臉，同時(shí)也就在可見(jiàn)光圖像中確定了達(dá)到示警溫度的人 臉。在可見(jiàn)光圖像序列中，利用可見(jiàn)光圖像序列人臉跟蹤的算法，搜索達(dá)到示警溫度的人臉 在可見(jiàn)光圖像序列的下一幀中的位置并提取人臉模板。 D、根據(jù)達(dá)到示警溫度的人臉在可見(jiàn)光圖像序列的下一幀中提取的人臉模板，在紅 外熱圖像序列的下一幀中搜索人臉，從而實(shí)現(xiàn)在紅外熱圖像序列中對(duì)達(dá)到示警溫度的人臉 的跟蹤。 紅外熱圖像人臉跟蹤算法的流程圖見(jiàn)圖3。
本發(fā)明特點(diǎn) (1)本發(fā)明提出的算法可以在紅外熱圖像中實(shí)現(xiàn)有選擇的目標(biāo)測(cè)溫。本發(fā)明先 在可見(jiàn)光圖像中檢測(cè)人臉，再利用檢測(cè)的結(jié)果在紅外熱圖像中檢測(cè)人臉。本發(fā)明提出的算 法能夠單獨(dú)檢測(cè)紅外熱像儀視場(chǎng)內(nèi)人臉的溫度，有效避免非人臉物體對(duì)人臉溫度檢測(cè)的影 響。目前，紅外熱像儀對(duì)其視場(chǎng)內(nèi)的物體都是一視同仁地進(jìn)行測(cè)溫，不能有效地區(qū)別目標(biāo)物 體和非目標(biāo)物體，因而不能有效地進(jìn)行有選擇的目標(biāo)測(cè)溫。 (2)本發(fā)明提出的算法可以在紅外熱圖像序列中實(shí)現(xiàn)有選擇的目標(biāo)跟蹤測(cè)溫。本 發(fā)明在紅外熱圖像人臉檢測(cè)的基礎(chǔ)上，根據(jù)具體應(yīng)用場(chǎng)合設(shè)置示警溫度，對(duì)于達(dá)到示警溫 度的人臉，利用可見(jiàn)光圖像序列人臉跟蹤的算法，實(shí)現(xiàn)在紅外熱圖像序列上對(duì)達(dá)到示警溫 度的人臉的跟蹤測(cè)溫。
(3)雖然紅外熱像儀中的紅外熱圖像和可見(jiàn)光圖像都是同一視場(chǎng)的圖像，但是，這 二張圖像是通過(guò)不同位置和不同性質(zhì)的鏡頭獨(dú)立攝取成像的，因此，這二張圖像在景深、分 辨率和量化深度等方面都不相同。另外，紅外熱圖像只有景物的熱信息，沒(méi)有景物的紋理信
息，而可見(jiàn)光圖像沒(méi)有景物的熱信息，只有景物的紋理信息。因此，這二張圖像的整體配準(zhǔn) 是非常困難的事情。本發(fā)明提出的算法，通過(guò)在紅外熱圖像中只對(duì)目標(biāo)(人臉)進(jìn)行匹配 搜索和在可見(jiàn)光圖像中只對(duì)目標(biāo)(人臉)進(jìn)行融合顯示的方式避開(kāi)了紅外熱圖像與可見(jiàn)光 圖像的整體配準(zhǔn)問(wèn)題。 (4)本發(fā)明提出的算法把紅外熱像儀中的紅外熱圖像信息系統(tǒng)和可見(jiàn)光圖像信息 系統(tǒng)有機(jī)地結(jié)合起來(lái)，構(gòu)成了一個(gè)具有一定智能信息處理功能的圖像信息系統(tǒng)，拓展了紅 外熱像儀的應(yīng)用領(lǐng)域。


圖1、紅外熱圖像人臉檢測(cè)算法主流程圖
圖2、紅外熱圖像人臉檢測(cè)算法子流程圖
圖3、紅外熱圖像序列人臉跟蹤算法流程圖
具體實(shí)施方案 步驟1 :結(jié)合可見(jiàn)光圖像人臉檢測(cè)算法實(shí)現(xiàn)紅外熱圖像的人臉檢測(cè)
結(jié)合可見(jiàn)光圖像人臉檢測(cè)算法實(shí)現(xiàn)紅外熱圖像的人臉檢測(cè)包括以下幾個(gè)步驟可 見(jiàn)光圖像的人臉區(qū)域的檢測(cè)、人臉模板的提取以及紅外熱圖像的人臉檢測(cè)。下面分別說(shuō)明。
(1)可見(jiàn)光圖像的人臉區(qū)域的檢測(cè) 目前成熟的可見(jiàn)光圖像的人臉檢測(cè)算法很多，這些算法原則上都可應(yīng)用于本發(fā) 明。本具體實(shí)施方案采用Adaboost算法。 Adaboost算法是一種分類(lèi)器算法，其基本思想是利用樣本的類(lèi)Harr特征進(jìn)行分 類(lèi)器訓(xùn)練，最終得到一個(gè)級(jí)聯(lián)的boosted分類(lèi)器。分類(lèi)器訓(xùn)練完以后，就可以應(yīng)用于輸入圖 像中的感興趣區(qū)域(與訓(xùn)練樣本相同的尺寸)的檢測(cè)。檢測(cè)到目標(biāo)區(qū)域分類(lèi)器輸出為l，否 則輸出為0。檢測(cè)整幅圖像時(shí)，可以在圖像中移動(dòng)搜索窗口，檢測(cè)每一個(gè)位置來(lái)確定可能的 目標(biāo)。 進(jìn)行人臉檢測(cè)時(shí)，需要事先訓(xùn)練好用于人臉檢測(cè)的層疊型Haar分類(lèi)器，然后使用 一定大小的搜索窗口對(duì)輸入圖像進(jìn)行逐像素掃描，并使用分類(lèi)器去檢測(cè)窗口內(nèi)是否包含人 臉。為了適應(yīng)不同大小人臉的檢測(cè)需要，使用了一個(gè)縮放比例參數(shù)，用于改變掃描窗口的大 小(則不需要對(duì)輸入圖像進(jìn)行縮放)，每次改變窗口大小都會(huì)對(duì)輸入圖像重新進(jìn)行掃描與 檢測(cè)。 (2)人臉模板的提取 本具體實(shí)施方案中采取膚色分割算法對(duì)上一步驟得到的人臉區(qū)域進(jìn)行處理，分割 出人臉部位?？紤]到此方法處理后人臉邊緣部位不夠平滑及五官處會(huì)形成"空洞"，并且還 會(huì)受到類(lèi)膚色區(qū)域的影響，故又需要做數(shù)學(xué)形態(tài)學(xué)處理和類(lèi)膚色區(qū)域?yàn)V除。幾個(gè)關(guān)鍵步驟 如下 A、膚色分割
在本具體實(shí)施方案中，對(duì)于檢測(cè)之后確定的人臉區(qū)域內(nèi)的像素點(diǎn)首先完成從 RGB — HSV色彩空間的轉(zhuǎn)換。按照H的值判斷某個(gè)像素點(diǎn)是否屬于膚色，本具體實(shí)施方案中 采取當(dāng)0. 02 < H < 0. 08時(shí)，認(rèn)為這個(gè)像素點(diǎn)是屬于膚色的。
<formula>formula see original document page 7</formula>-步得到的區(qū)
B、數(shù)學(xué)形態(tài)學(xué)處理
本具體實(shí)施方案中采取了腐蝕和膨脹的數(shù)學(xué)形態(tài)學(xué)處理方法對(duì)上-域進(jìn)行處理。 腐蝕是消除物體的所有邊界點(diǎn)的一種過(guò)程，其結(jié)果是剩下的物體沿其周邊比原物 體小一個(gè)像素的面積。如果物體任一點(diǎn)的寬度小于3個(gè)像素，那么它在該點(diǎn)將變?yōu)榉沁B通 的(變?yōu)閮蓚€(gè)物體)。在任何方向上的寬度不大于2個(gè)像素的物體將被除去。腐蝕可以對(duì) 一幅分割圖像中除去小且無(wú)意義的物體。 膨脹是將與某物體接觸的所有背景點(diǎn)合并到該物體的過(guò)程。過(guò)程的結(jié)果是使物體 的面積增大了相應(yīng)數(shù)量的點(diǎn)。如果兩個(gè)物體在某一點(diǎn)相隔少于3個(gè)像素，它們將在該點(diǎn)連 通起來(lái)(合并成一個(gè)物體)。膨脹可以填補(bǔ)分割后物體的空洞。
C、類(lèi)膚色區(qū)域?yàn)V除 經(jīng)過(guò)基于數(shù)學(xué)形態(tài)學(xué)的濾波方法處理后，圖像中的小塊噪聲大多數(shù)被清除，但是 背景中某些較小的類(lèi)膚色區(qū)域仍存大。為了刪除假人臉區(qū)域，我們必須對(duì)這些區(qū)域進(jìn)行分 析和計(jì)算。首先把類(lèi)膚色區(qū)域標(biāo)記出來(lái)，然后再利用人臉的長(zhǎng)寬比符合一定比例這個(gè)特點(diǎn) 來(lái)進(jìn)行消除，排除那些過(guò)寬或過(guò)長(zhǎng)或者長(zhǎng)寬比過(guò)大過(guò)小的區(qū)域。 為了確定某一區(qū)域的長(zhǎng)寬比，必須將該區(qū)域的長(zhǎng)度L和寬度W分別求出。但是由 于部分人臉可能存大一些旋轉(zhuǎn)傾斜，這使得無(wú)法直接利用該區(qū)域的左、右、上、下4個(gè)頂點(diǎn) 的坐標(biāo)值(這里，采用的坐標(biāo)系是以圖像最左下角為原點(diǎn)，水平向右為X軸的正方向，垂直 向上為Y軸的正方向)進(jìn)行判斷。其詳細(xì)過(guò)程為統(tǒng)計(jì)該區(qū)域邊界上所有點(diǎn)的坐標(biāo)值，尋找 X軸上具有最小、最大X分量的坐標(biāo)(Xmin， XmJ，及Y軸上的最小、最大Y分量的坐標(biāo)(Ym
Lmin，<formula>formula see original document page 8</formula>值即為人臉的長(zhǎng)寬(寬長(zhǎng))參數(shù)值。L與W的比值<formula>formula see original document page 8</formula>即
為所求的區(qū)域長(zhǎng)寬(或?qū)掗L(zhǎng))比。如果人臉為垂直正面，則該比值應(yīng)該接近于1.2，但是由
于人臉存在旋轉(zhuǎn)，且膚色相似度分割可能造成人臉頭頸部作為同一個(gè)區(qū)域分割，故r的上
限可以適當(dāng)放大，以防止把正確的分割區(qū)域作為錯(cuò)誤的判斷。本具體實(shí)施方案中，r的取值
范圍為(0.5，2)，不屬于這個(gè)范圍的候選區(qū)域則直接刪除。 (3)紅外熱圖像的人臉檢測(cè) A、確定人臉模板在紅外熱圖像中的初始位置 可見(jiàn)光圖像與紅外熱圖像是同一視場(chǎng)的圖像，像素水平一致，像素間隔相同。為了
能最快地在紅外熱圖像找到對(duì)應(yīng)的人臉，設(shè)定人臉模板在可見(jiàn)光圖像中的位置作為人臉模
板在紅外熱圖像中的初始位置。 B、確定人臉模板移動(dòng)步長(zhǎng)和規(guī)則 紅外熱像圖中的人臉區(qū)域有大有小，為了盡可能提高匹配精度和準(zhǔn)確率，確定以 單位像素為步長(zhǎng)。人臉模板的移動(dòng)規(guī)則是以初始位置為中心，以螺旋狀的形狀向遠(yuǎn)離中心 點(diǎn)處移動(dòng)。 C、使用人臉模板在紅外熱圖像中搜索人臉 搜索開(kāi)始前，先把人臉模板在可見(jiàn)光圖像中的位置作為人臉模板在紅外熱圖像中 的初始位置，然后以單位像素為步長(zhǎng)，以初始位置為中心，在紅外熱圖像中上下左右作螺旋 狀移動(dòng)。人臉模板每移動(dòng)到一個(gè)新的位置，都要檢測(cè)人臉模板所在區(qū)域是否是人臉區(qū)域。
紅外熱圖像像素灰度值分布范圍不大，絕大部分像素的灰度級(jí)集中于某些區(qū)域
內(nèi)，其直方圖有明顯的單峰或雙峰存在。人體溫度大約在35t:至42t:之間(包含了低溫和
高燒)，這個(gè)溫度范圍是人臉的基本熱信息，不在這個(gè)溫度范圍的紅外熱圖像部分可以確定
不會(huì)包含人臉。當(dāng)紅外熱像儀視場(chǎng)范圍內(nèi)包含多個(gè)人臉或其他物體的時(shí)候，會(huì)存在多個(gè)人
臉在紅外熱圖像中互相遮擋或部分人臉被其他物體遮擋的情況。人的臉部與人的脖子溫度
大致相同，因此，當(dāng)在紅外熱圖像中搜索到匹配人臉的時(shí)候，人臉與脖子接壤部分的溫度相
差不大。根據(jù)以上紅外熱圖像中人臉的特點(diǎn)，紅外熱圖像中人臉檢測(cè)的步驟如下 1)檢測(cè)紅外熱圖像中人臉模板所在區(qū)域內(nèi)的溫度是否在人體溫度的范圍之內(nèi)，若
90%及以上的像素點(diǎn)的溫度值滿(mǎn)足此要求，則人臉模板所在區(qū)域可能存在人臉，轉(zhuǎn)到步驟
2);否則，轉(zhuǎn)到步驟4)。人體溫度范圍定為35t:-42t:，包括低溫和高燒。 在實(shí)際應(yīng)用中，為了保持算法對(duì)噪聲的魯棒性，也可以計(jì)算紅外熱圖像中人臉模 板所在區(qū)域內(nèi)的溫度均值T^和溫度方差o <formula>formula see original document page 8</formula>
其中N為人臉模板所在紅外區(qū)域內(nèi)像素點(diǎn)的個(gè)數(shù)，1\為模板所在紅外區(qū)域第i個(gè) 像素點(diǎn)的溫度值，i = 1，2，…，N。 若Tavg不在人體溫度范圍內(nèi)，則認(rèn)為人臉模板所在區(qū)域不是人臉，轉(zhuǎn)到步驟4);否
則，將0與設(shè)置的方差閾值Oth比較，若0 < Oth，則認(rèn)為人臉模板所在區(qū)域可能是人臉，
轉(zhuǎn)到步驟2)，否則轉(zhuǎn)到步驟4)。 2)檢測(cè)人臉模板所在區(qū)域邊緣內(nèi)外溫差達(dá)到5t:及以上的部分是否占人臉模板所在區(qū)域周長(zhǎng)的3/4以上，若是，轉(zhuǎn)到步驟3)，否則轉(zhuǎn)到步驟4)?？紤]到應(yīng)用場(chǎng)合的環(huán)境溫 度一般在30°C以下，人體溫度在35°C以上，故確定溫度閾值為5°C 。此溫度閾值可根據(jù)具體 應(yīng)用調(diào)整。 同樣地，在實(shí)際應(yīng)用中，為了保持算法對(duì)噪聲的魯棒性，也可以考察紅外熱圖像中 人臉模板所在紅外區(qū)域內(nèi)部及其邊緣外的溫度均值，如果兩個(gè)均值的差足夠大，則認(rèn)為模 板所在區(qū)域可能是人臉。具體做法是首先找出當(dāng)前模板所在紅外區(qū)域與移動(dòng)單位像素前 的模板所在紅外區(qū)域相比增加的像素點(diǎn)和減少的像素點(diǎn)，增加的像素點(diǎn)個(gè)數(shù)與減少的像素 點(diǎn)個(gè)數(shù)相同，記為M，再分別計(jì)算增加的像素點(diǎn)與減少的像素點(diǎn)的溫度均值Tavgl和Tavg2<formula>formula see original document page 9</formula>
其中a i為增加的第i個(gè)像素點(diǎn)的溫度值，13 ,為減少的第i個(gè)像素點(diǎn)的溫度值， i = l，2，…，M。如果當(dāng)前模板所在紅外區(qū)域?yàn)槿四槄^(qū)域，則增加的像素點(diǎn)的溫度均值Ta^ 應(yīng)該在人體的溫度范圍內(nèi)，減少的像素點(diǎn)(即當(dāng)前模板所在的紅外區(qū)域的一半邊緣區(qū)域 外的像素點(diǎn))的溫度均值Tavg2與當(dāng)前模板所在紅外區(qū)域像素點(diǎn)的溫度均值Tavg的差的絕 對(duì)值應(yīng)該大于溫度閾值Tth。因此，若Ta^不在人體溫度范圍內(nèi)，轉(zhuǎn)到步驟4);否則，計(jì)算 Tavg_Tavg21 ，若I Tavg-Tavg21 < Tth，轉(zhuǎn)到步驟4)。 若|Tavg_Tavg2| > Tth，即當(dāng)前模板所在的紅外區(qū)域的一半邊緣區(qū)域外的像素點(diǎn)的溫 度值滿(mǎn)足要求，再考察當(dāng)前模板所在紅外區(qū)域的另外一半邊緣區(qū)域外的像素點(diǎn)。同理，先找 出當(dāng)前模板所在紅外區(qū)域與移動(dòng)單位像素后的模板所在紅外區(qū)域相比增加的像素點(diǎn)和減 少的像素點(diǎn)，增加的像素點(diǎn)個(gè)數(shù)與減少的像素點(diǎn)個(gè)數(shù)相同，記為L(zhǎng)，再分別計(jì)算增加的像素 點(diǎn)與減少的像素點(diǎn)的溫度均值Tavg3和Tavg4。
<formula>formula see original document page 9</formula>
其中x i為增加的像素點(diǎn)的溫度值，S ,為減少的像素點(diǎn)的溫度值，i = 1，2，， L。如果當(dāng)前模板所在紅外區(qū)域?yàn)槿四槄^(qū)域，則減少的像素點(diǎn)的溫度均值Ta一應(yīng)該在人體的 溫度范圍內(nèi)，增加的像素點(diǎn)(即當(dāng)前模板所在的紅外區(qū)域的另外一半邊緣區(qū)域的像素點(diǎn)) 的溫度均值Tavg3與當(dāng)前模板所在紅外區(qū)域像素點(diǎn)的溫度均值Tavg的差的絕對(duì)值應(yīng)該大于 溫度閾值Tth。因此，若T^不在人體溫度范圍內(nèi)，轉(zhuǎn)到步驟4);否則，計(jì)算IT^-T^I，若 Tavg_Tavg31 < Tth，轉(zhuǎn)到步驟4);否則，轉(zhuǎn)到步驟3)。 至此，當(dāng)前人臉模板所在的紅外區(qū)域的邊緣區(qū)域全部考察完畢。本子步驟進(jìn)行前 保留移動(dòng)單位像素前的模板所在的紅外區(qū)域、當(dāng)前模板所在的紅外區(qū)域和移動(dòng)單位像素后 的模板所在的紅外區(qū)域。 3)終止搜索，匹配成功。紅外熱圖像中人臉模板所在區(qū)域認(rèn)為是人臉，從而完成紅 外熱圖像中人臉的檢測(cè)，并以可見(jiàn)光圖像為背景，融合顯示人臉的紅外熱圖像和可見(jiàn)光圖像。 4)檢測(cè)人臉模板是否已移動(dòng)到紅外熱圖像的邊界，若是，轉(zhuǎn)到步驟5)，否則，根據(jù) 步長(zhǎng)和移動(dòng)規(guī)則在紅外熱圖像中移動(dòng)人臉模板，轉(zhuǎn)到步驟1)。 5)丟棄此人臉模板，從下一幀可見(jiàn)光圖像中提取新的人臉模板，在下一幀紅外熱 圖像中檢測(cè)人臉模板所在區(qū)域是否是人臉區(qū)域，轉(zhuǎn)到步驟1)。
步驟2 :結(jié)合可見(jiàn)光圖像序列的人臉跟蹤算法實(shí)現(xiàn)紅外熱圖像序列的人臉跟蹤
本紅外人臉跟蹤算法基于步驟1所應(yīng)用的紅外人臉檢測(cè)算法，在此紅外人臉檢測(cè) 的基礎(chǔ)上，從已檢測(cè)的紅外人臉中找到達(dá)到示警溫度的紅外人臉，根據(jù)已得到的對(duì)應(yīng)關(guān)系， 獲得此紅外人臉對(duì)應(yīng)的可見(jiàn)光人臉。然后，應(yīng)用可見(jiàn)光人臉?biāo)惴▽?duì)此可見(jiàn)光人臉進(jìn)行跟蹤。 最后，重新檢測(cè)每幀可見(jiàn)光人臉圖像對(duì)應(yīng)的紅外人臉，即可實(shí)現(xiàn)對(duì)此紅外人臉的跟蹤。具體 步驟如下 (1)根據(jù)具體應(yīng)用場(chǎng)合設(shè)置示警溫度 人體正常體溫平均在36 37t:之間，超出這個(gè)范圍就是發(fā)熱，38t:以下是低熱， 39t:以上是高熱，低過(guò)35t:是體溫過(guò)低。當(dāng)紅外熱像儀應(yīng)用于機(jī)場(chǎng)或口岸等人流密集公共 場(chǎng)所進(jìn)行大面積檢疫檢驗(yàn)工作時(shí)，可設(shè)置溫度閾值為39°C。
(2)在已檢測(cè)的紅外人臉中搜索達(dá)到示警溫度的紅外人臉 對(duì)于在紅外熱圖像序列當(dāng)前幀中已被搜索到人臉，檢查其溫度是否達(dá)到示警溫 度。對(duì)于沒(méi)有達(dá)到示警溫度的人臉，將不會(huì)在紅外熱圖像序列中進(jìn)行跟蹤。對(duì)于達(dá)到示警 溫度的人臉，將以可見(jiàn)光圖像為背景，融合顯示這些人臉的紅外熱圖像和可見(jiàn)光圖像。
(3)對(duì)達(dá)到示警溫度的紅外人臉對(duì)應(yīng)的可見(jiàn)光人臉進(jìn)行跟蹤。 在紅外熱圖像的人臉檢測(cè)中，人臉在紅外熱圖像中的位置與在可見(jiàn)光圖像中的位
置是一一對(duì)應(yīng)的。因此，一旦在紅外熱圖像中確定達(dá)到示警溫度的人臉，同時(shí)也就在可見(jiàn)光
圖像中確定了達(dá)到示警溫度的人臉。在可見(jiàn)光圖像序列中，利用可見(jiàn)光圖像序列人臉跟蹤
的算法，搜索達(dá)到示警溫度的人臉在可見(jiàn)光圖像序列的下一幀中的位置并提取人臉模板。
原則上，任何一種有效的可見(jiàn)光人臉跟蹤算法都可應(yīng)用于本步驟中。
(4)重新檢測(cè)每幀可見(jiàn)光人臉對(duì)應(yīng)的紅外人臉，實(shí)現(xiàn)對(duì)紅外人臉的跟蹤 對(duì)跟蹤獲得的每一幀可見(jiàn)光人臉圖像應(yīng)用紅外人臉檢測(cè)算法，提取人臉模板，在
相應(yīng)的紅外熱圖像進(jìn)行紅外人臉匹配，即進(jìn)行紅外人臉檢測(cè)，確定人臉在可見(jiàn)光圖像序列
下一幀的位置。從整個(gè)視頻流來(lái)看，只要此達(dá)到示警溫度的人臉尚未離開(kāi)紅外熱像儀視場(chǎng)
范圍，對(duì)跟蹤得到的可見(jiàn)光人臉圖像進(jìn)行紅外人臉檢測(cè)，即可實(shí)現(xiàn)在紅外熱圖像序列中跟
蹤人臉。
權(quán)利要求
本發(fā)明提出一種紅外熱圖像序列的人臉檢測(cè)與跟蹤的算法，其特征在于A(yíng)、結(jié)合可見(jiàn)光圖像的人臉檢測(cè)算法進(jìn)行紅外熱圖像的人臉檢測(cè)；B、結(jié)合可見(jiàn)光圖像序列的人臉跟蹤算法進(jìn)行紅外熱圖像序列的人臉跟蹤。
2. 如權(quán)利要求1所述的紅外熱圖像序列的人臉檢測(cè)與跟蹤算法，其特征在于所述步驟A具體包括對(duì)于對(duì)同一視場(chǎng)同時(shí)拍攝的紅外熱圖像和可見(jiàn)光圖像，首先應(yīng)用可見(jiàn)光圖像的人臉檢測(cè)算法在可見(jiàn)光圖像上進(jìn)行人臉檢測(cè)，得到可見(jiàn)光圖像上人臉的形狀和位置，把 可見(jiàn)光圖像上人臉的形狀做為紅外熱圖像上人臉檢測(cè)的模板，把可見(jiàn)光圖像上人臉的位置 做為紅外熱圖像上人臉檢測(cè)的初始位置，計(jì)算紅外熱圖像上模板內(nèi)溫度的均值和方差以及 模板周?chē)鷾囟鹊木?，如果模板?nèi)溫度的均值在人體體溫的許可范圍內(nèi)、模板內(nèi)溫度的方 差足夠小以及模板內(nèi)溫度的均值與模板周?chē)鷾囟鹊木档牟顒e足夠大，則判定模板所在位 置為紅外熱圖像上人臉的位置，否則，在紅外熱圖像上按照一定的規(guī)則移動(dòng)模板的位置再 進(jìn)行計(jì)算和判別，直至檢測(cè)到人臉為止。
3. 如權(quán)利要求1所述的紅外熱圖像序列的人臉檢測(cè)與跟蹤算法，其特征在于所述步驟B具體包括對(duì)于對(duì)同一場(chǎng)景同時(shí)拍攝的紅外熱圖像序列和可見(jiàn)光圖像序列，首先應(yīng)用可見(jiàn)光圖像的人臉檢測(cè)算法確定人臉在可見(jiàn)光圖像序列當(dāng)前幀的位置，然后應(yīng)用權(quán)利要求2所述的方法，確定人臉在紅外熱圖像序列當(dāng)前幀的位置，然后應(yīng)用可見(jiàn)光圖像序列人臉跟 蹤的方法，確定人臉在可見(jiàn)光圖像序列下一幀的位置，最后，再次應(yīng)用權(quán)利要求2所述的方法，確定人臉在紅外熱圖像序列下一幀的位置，從而實(shí)現(xiàn)在紅外熱圖像序列中跟蹤人臉。
全文摘要
本發(fā)明提出一種紅外熱圖像序列的人臉檢測(cè)與跟蹤算法，其特征在于結(jié)合可見(jiàn)光圖像的人臉檢測(cè)算法進(jìn)行紅外熱圖像的人臉檢測(cè)和結(jié)合可見(jiàn)光圖像序列的人臉跟蹤算法進(jìn)行紅外熱圖像序列的人臉跟蹤。本發(fā)明提出的算法可以實(shí)現(xiàn)有選擇的目標(biāo)(人臉)測(cè)溫和有選擇的目標(biāo)(達(dá)到示警溫度的人臉)跟蹤測(cè)溫。本發(fā)明提出的算法避免了紅外熱圖像和可見(jiàn)光圖像二種性質(zhì)不同的圖像的整體配準(zhǔn)的困難。本發(fā)明應(yīng)用于紅外熱像儀，可以把紅外熱像儀的紅外熱圖像信息系統(tǒng)與可見(jiàn)光圖像信息系統(tǒng)有機(jī)地結(jié)合起來(lái)，構(gòu)造一個(gè)具有一定智能信息處理能力的圖像信息系統(tǒng)，拓展紅外熱像儀的應(yīng)用領(lǐng)域。
文檔編號(hào)G01J5/10GK101793562SQ20101010538
公開(kāi)日2010年8月4日 申請(qǐng)日期2010年1月29日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者張文亮, 楊曉峰, 田軍, 童隨兵, 肖穎, 譚恒良, 馬爭(zhēng)鳴 申請(qǐng)人:中山大學(xué);東莞華儀儀表科技有限公司