一張近紅外人臉圖像構(gòu)成一組圖象對； 步驟1. 2,對所述樣本人員庫中的每個人的每組可見光人臉照片和近紅外人臉圖像進 行歸一化，并進行掩模背景去除和光照預(yù)處理； 步驟1. 3,將處理完的近紅外人臉圖像一可見光人臉照片對樣本庫隨機選取，一半劃分 為訓(xùn)練樣本集，一半劃分為測試樣本集，并從測試樣本集中選取一張測試近紅外人臉圖像 ynil：，將訓(xùn)練樣本集的近紅外人臉圖像-可見光人臉照片對以及輸入測試近紅外人臉圖像劃 分為M個大小相同的圖像塊，且相鄰圖像塊之間保留一定程度的重疊，并依次訓(xùn)練可見光 人臉照片塊訓(xùn)練字典、近紅外人臉圖像塊訓(xùn)練字典、輸入近紅外人臉圖像塊原始像素列向 量； 步驟1. 4,在步驟1. 3的基礎(chǔ)上，對每組近紅外人臉圖像塊和可見光人臉照片塊在原始 像素值上提取局部紋理特征，分別為和并對輸入測試近紅外人臉圖像塊提取 局部紋理特征 步驟1. 5,利用步驟1. 4得到的輸入測試近紅外人臉圖像塊特征向量if"分別與近紅 外人臉圖像塊特征訓(xùn)練字典= [h1；111% ?. ?，hn)ni]：]中的各個分量計算卡方距離 J J J
中將距離向量擴展為一個對角距離矩陣 步驟1. 6,基于稀疏正則化方法求取輸入測試近紅外圖像塊的稀疏表示系數(shù)，同時對稀 疏重構(gòu)系數(shù)加上相似性度量約束，求取在原始像素層面上輸入測試近紅外圖像塊由近紅外 圖像塊訓(xùn)練庫重構(gòu)的稀疏重構(gòu)系數(shù)，保持重構(gòu)系數(shù)不變，由對應(yīng)位置的可見光人臉照片塊 訓(xùn)練庫擬合生成初始的可見光人臉照片塊。
3. 如權(quán)利要求2所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在于， 步驟1. 6進一步包括： 利用近紅外人臉圖像塊訓(xùn)練字典和輸入測試近紅外人臉圖像塊原始像素向量與 步驟1. 5得到的對角距離矩陣按照下式尋找其稀疏表示，得到稀疏表示系數(shù)fflf. 'J !* .J.
其中，A為稀疏表示懲罰因子；
從而求解下式尋找新的稀疏表示，得 到新的稀疏表示系數(shù):
利用得到的稀疏表示系數(shù)可以由公式Ff2"=得到實際的稀 J J J J 疏表示系數(shù)?f"并利用可見光人臉照片塊訓(xùn)練字典擬合得到輸入測試近紅外人臉 圖像塊對應(yīng)的初始可見光人臉照片塊.rf" -~is J0
4. 如權(quán)利要求3所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在 于，通過如下公式擬合得到輸入測試近紅外人臉圖像塊對應(yīng)的初始可見光人臉照片塊 syn _lvis fj ?
其中，M為初始可見光人臉照片塊的總數(shù)。
5. 如權(quán)利要求3所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在于， 于步驟1. 5中，卡方距離計算公式如下：
為特征向量/f"的第t維值，為特征向量2的第t維值。 J J J J
6. 如權(quán)利要求5所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在于： 所述對角距離矩陣的對角線元素分別為if"",的各個分量，其他元素為零值。 J
7. 如權(quán)利要求2所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在于， 于步驟1. 2中，通過人眼、嘴巴三點定位對人臉圖像進行歸一化，之后覆蓋掩模以去除背 景，同時為了去除光照不均的影響，加入光照預(yù)處理方法。
8. 如權(quán)利要求2所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在于， 步驟二進一步包括： 步驟2. 1，隨機選擇近紅外人臉圖像訓(xùn)練樣本庫的人臉圖像塊集A&和可見光人臉 照片訓(xùn)練樣本庫的人臉照片塊集，3的若干塊，其中每個近紅外人臉圖像塊和可見光人 臉照片塊分別對應(yīng)，提取近紅外人臉圖像塊的一階梯度信息與二階梯度信息作為特征向 niT 量，用可見光人臉照片塊的原始像素值減去可見光人臉照片塊的均值作為特征向量 Y2^ & ~并將得到的近紅外人臉圖像塊特征向量與可見光人臉照片塊特征向量合并為一個 整的列向量Xt，并對其進行歸一化； 步驟2. 2,根據(jù)步驟2. 1可得到一個歸一化后的由近紅外人臉圖像塊特征和可見光 人臉照片塊特征形成的聯(lián)立特征組成的矩陣X，每一列為一個歸一化的聯(lián)立特征，用公式
表不； 步驟2. 3,利用稀疏編碼方法求解過完備的字典B; 步驟2. 4,將求解得到的過完備字典B，分解為一個近紅外人臉圖像塊特征訓(xùn)練字典 和一個可見光人臉照片塊特征訓(xùn)練字典Bvis，并將這兩個字典的每一列作歸一化； hit 步驟2. 5,輸入測試近紅外人臉圖像塊_提取一階梯度信息與二階梯度信息作為 特征向量，f"，同時利用步驟2. 4中得到的近紅外人臉圖像塊特征訓(xùn)練字典B&; 步驟2. 6,對于一幅輸入近紅外人臉圖像y1^的所有近紅外人臉圖像塊 = 1, ???,,)重復(fù)步驟2. 5,采用多特征挑選將多個圖像塊的重構(gòu)任務(wù)看作是 J 互相有聯(lián)系的多任務(wù)學(xué)習(xí)； 步驟2. 7,利用步驟2. 6得到所有圖像塊的稀疏表示系數(shù)矩陣Wni%分解為各個圖像 塊對應(yīng)的稀疏表示系數(shù)CjiC/ = 1? 5利用步驟2. 5中得到的可見光人臉 照片塊特征訓(xùn)練字典Bvis，按照下式擬合得高清晰度細節(jié)的可見光人臉照片特征信息塊 rrsyn_hvis rj ?
M為特征信息塊的總數(shù) 步驟2. 8,將高清晰度細節(jié)的可見光人臉照片特征信息塊疊加到初始可見光 -rsyn 2 vis svn vi s 人臉照片塊/y_ ^導(dǎo)到最終的可見光人臉照片塊?Fy〇 步驟2. 9,最終得到M塊擬合的可見光人臉照片塊，對于多個得到的合成可見光人臉照 片塊進行拼接組合得到一幅完整的可見光人臉照片，其中每個照片塊重疊的部分取其平均 值。
9. 如權(quán)利要求8所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在于： 步驟2. 3可由下述優(yōu)化方程實現(xiàn)：
其中B為待求的過完備字典，S為待求的稀疏表示系數(shù)矩陣，0為懲罰因子用于平衡字 典重構(gòu)誤差和稀疏系數(shù)矩陣。
10. 如權(quán)利要求9所述的一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，其特征在于， 步驟2. 6由如下優(yōu)化方程實現(xiàn)：
其中W&是待求的每個圖像塊各自的稀疏表示系數(shù)向量構(gòu)成的稀疏表示系數(shù)矩陣，由 公式? . ?，表示，I|Wni1 |2>1是稀疏表示系數(shù)矩陣的2,1范數(shù)。
【專利摘要】本發(fā)明公開了一種可見光與近紅外人臉圖像的相互轉(zhuǎn)換方法，包括如下步驟：利用基于稀疏學(xué)習(xí)的方法將近紅外人臉圖像或可見光人臉照片轉(zhuǎn)換為初始可見光人臉照片或初始的近紅外人臉圖像；利用基于多特征挑選的方法將初始近紅外人臉圖像或可見光人臉照片轉(zhuǎn)換為可見光人臉照片或近紅外人臉圖像的高清晰度細節(jié)照片，本發(fā)明通過有層次的基于稀疏正則化方法對異質(zhì)人臉圖像進行擬合，由近紅外人臉圖像生成可見光人臉照片，提高了合成照片的細節(jié)信息，可解決異質(zhì)人臉識別的問題。
【IPC分類】G06K9-62, G06K9-00
【公開號】CN104700087
【申請?zhí)枴緾N201510128818
【發(fā)明人】倪輝, 蘇劍波
【申請人】上海交通大學(xué)
【公開日】2015年6月10日
【申請日】2015年3月23日