低分辨率面部視頻的處理方法
【專利摘要】本發(fā)明提出一種低分辨率面部視頻的處理方法，包括以下步驟：獲取目標人物的中性臉的高分辨率圖像Dn；采集目標人物的低分辨率視頻幀序列L；對高分辨率圖像Dn和低分辨率視頻幀序列L中包含的中性臉圖像的中性臉幀Ln進行特征點解析，根據所獲得的多個特征點得到低分辨率視頻幀序列L的中性臉幀Ln和高分辨率圖像Dn的對齊函數；通過對齊函數將低分辨率視頻幀序列的面部變化映射到高分辨率臉部圖像中，以得到高分辨率的映射視頻幀序列M。根據本發(fā)明實施例的方法，通過獲得低分辨率視頻幀序列和高分辨率圖像Dn的對齊函數，以根據該對齊函數得到高分辨率的映射視頻幀序列，提高了視頻的清晰度豐富了細節(jié)，同時在額外增加傳輸帶寬。
【專利說明】低分辨率面部視頻的處理方法
【技術領域】
[0001]本發(fā)明涉及計算機【技術領域】，特別涉及一種低分辨率面部視頻的處理方法。
【背景技術】
[0002]由于視頻會議受到采集設備和網絡帶寬的限制，使得待傳輸的面部視頻質量較低，無法清晰地呈現(xiàn)人物表情的細節(jié)。進而會降低參會者對視頻本身的注意力。
[0003]視頻增強主要是對視頻進行去噪、去除霧、增加分辨率、視頻穩(wěn)定等方面?，F(xiàn)有技術中視頻增強的方法主要是對采集視頻進行有線性變換、非線性變換和圖像銳化等處理。但是現(xiàn)有的方法處理效果差，且處理后的細節(jié)不夠清晰無法滿足用戶的需求。

【發(fā)明內容】

[0004]本發(fā)明的目的旨在至少解決上述的技術缺陷之一。
[0005]為此，本發(fā)明提供一種低分辨率面部視頻的處理方法，該處理方法可以解決視頻會議中視頻質量差且細節(jié)不夠豐富的問題。
[0006]有鑒于此，本發(fā)明的實施例提出一種低分辨率面部視頻的處理方法，包括以下步驟:獲取步驟，獲取目標人物的中性臉的高分辨率圖像Dn ;采集步驟，采集所述目標人物的低分辨率視頻幀序列L ;對齊步驟，對所述高分辨率圖像Dn和所述低分辨率視頻幀序列L中包含的中性臉圖像的中性臉幀Ln進行特征點解析，根據所獲得的多個特征點得到所述低分辨率視頻幀序列L的中性臉幀Ln和所述高分辨率圖像Dn的對齊函數；以及映射步驟，通過所述對齊函數將低分辨率視頻幀序列的面部變化映射到所述高分辨率臉部圖像中，以得到高分辨率的映射視頻幀序列M。
[0007]根據本發(fā)明實施例的方法，通過獲得低分辨率視頻幀序列和高分辨率圖像Dn的對齊函數，以根據該對齊函數得到高分辨率的映射視頻幀序列，提高了視頻的清晰度豐富了細節(jié)，同時在額外增加傳輸帶寬。
[0008]在本發(fā)明的一個實施例中，還包括:數據庫獲取步驟，獲取所述目標人物的高分辨率臉部圖像數據庫D，所述數據庫D中包含有所述中性臉的高分辨率圖像Dn ;匹配視頻幀序列獲取步驟，從所述數據庫D中搜索與所述低分辨率視頻幀序列L的每一幀相對應的圖像，構建匹配視頻幀序列R ;以及修正步驟，根據所述匹配視頻幀序列R修正所述映射視頻幀序列M。
[0009]在本發(fā)明的一個實施例中，所述對齊步驟具體為:根據所獲得的多個特征點對所述高分辨率圖像Dn進行三角剖分，并根據該剖分的結果對所述低分辨率視頻幀序列L中包含的中性臉幀Ln進行三角剖分，建立所述低分辨率視頻幀序列L的中性臉幀Ln和所述高分辨率圖像Dn的對齊函數。
[0010]在本發(fā)明的一個實施例中，所述映射步驟具體包括:計算所述低分辨率視頻幀序列L的各個幀到所述中性臉幀Ln的光流變化；根據所計算出的光流變化，計算所述低分辨率視頻幀序列L各個幀的像素顏色變化；以及根據所述對齊函數獲得所述低分辨率視頻幀序列L的各個幀與所述高分辨率圖像Dn的像素對應關系，根據該對應關系將所求出的像素顏色變化映射到所述高分辨率圖像Dn中，以得到高分辨率的映射視頻幀序列M。
[0011]在本發(fā)明的一個實施例中，所述映射步驟中，對所計算出的顏色變化進行時域和空域的平滑化處理后用于映射。
[0012]在本發(fā)明的一個實施例中，所述修正步驟具體包括:計算所述映射視頻幀序列M的各個幀到所述匹配視頻幀序列R的各個幀的光流變化；將所述匹配視頻幀序列R的各個幀逆著所計算出的光流變化進行變形，將所得到的變形后圖像作為修正結果。
[0013]在本發(fā)明的一個實施例中，所述匹配視頻幀序列獲取步驟中，根據局部二值模式和光流特征從所述數據庫D中搜索與所述低分辨率視頻幀序列L的每一幀相對應的圖像，構建匹配視頻幀序列R。
[0014]在本發(fā)明的一個實施例中，所述多個特征點包括:面部語義特征點和面部輪廓特征點。
[0015]在本發(fā)明的一個實施例中，所述低分辨率視頻幀序列L各個幀的像素顏色變化通過如下公式計算，所述公式為，
[0016]
【權利要求】
1.一種低分辨率面部視頻的處理方法，其特征在于，包括以下步驟: 獲取步驟，獲取目標人物的中性臉的高分辨率圖像Dn ； 采集步驟，采集所述目標人物的低分辨率視頻幀序列L ； 對齊步驟，對所述高分辨率圖像Dn和所述低分辨率視頻幀序列L中包含的中性臉圖像的中性臉幀Ln進行特征點解析，根據所獲得的多個特征點得到所述低分辨率視頻幀序列L的中性臉幀Ln和所述高分辨率圖像Dn的對齊函數；以及 映射步驟，通過所述對齊函數將低分辨率視頻幀序列的面部變化映射到所述高分辨率臉部圖像中，以得到高分辨率的映射視頻幀序列M。
2.如權利要求1所述的處理方法，其特征在于，還包括: 數據庫獲取步驟，獲取所述目標人物的高分辨率臉部圖像數據庫D，所述數據庫D中包含有所述中性臉的高分辨率圖像Dn ； 匹配視頻幀序列獲取步驟，從所述數據庫D中搜索與所述低分辨率視頻幀序列L的每一幀相對應的圖像，構建匹配視頻幀序列R ;以及 修正步驟， 根據所述匹配視頻幀序列R修正所述映射視頻幀序列M。
3.如權利要求1所述的處理方法，其特征在于，所述對齊步驟具體為: 根據所獲得的多個特征點對所述高分辨率圖像Dn進行三角剖分，并根據該剖分的結果對所述低分辨率視頻幀序列L中包含的中性臉幀Ln進行三角剖分，建立所述低分辨率視頻幀序列L的中性臉幀Ln和所述高分辨率圖像Dn的對齊函數。
4.如權利要求1所述的處理方法，其特征在于，所述映射步驟具體包括: 計算所述低分辨率視頻幀序列L的各個幀到所述中性臉幀Ln的光流變化； 根據所計算出的光流變化，計算所述低分辨率視頻幀序列L各個幀的像素顏色變化；以及 根據所述對齊函數獲得所述低分辨率視頻幀序列L的各個幀與所述高分辨率圖像Dn的像素對應關系，根據該對應關系將所求出的像素顏色變化映射到所述高分辨率圖像Dn中，以得到高分辨率的映射視頻幀序列M。
5.如權利要求4所述的處理方法，其特征在于， 所述映射步驟中，對所計算出的顏色變化進行時域和空域的平滑化處理后用于映射。
6.如權利要求2所述的處理方法，其特征在于，所述修正步驟具體包括: 計算所述映射視頻幀序列M的各個幀到所述匹配視頻幀序列R的各個幀的光流變化； 將所述匹配視頻幀序列R的各個幀逆著所計算出的光流變化進行變形，將所得到的變形后圖像作為修正結果。
7.如權利要求2所述的處理方法，其特征在于， 所述匹配視頻幀序列獲取步驟中，根據局部二值模式和光流特征從所述數據庫D中搜索與所述低分辨率視頻幀序列L的每一幀相對應的圖像，構建匹配視頻幀序列R。
8.如權利要求1所述的處理方法，其特征在于，所述多個特征點包括:面部語義特征點和面部輪廓特征點。
9.如權利要求4所述的處理方法，其特征在于，所述低分辨率視頻幀序列L各個幀的像素顏色變化通過如下公式計算，所述公式為，
【文檔編號】G06K9/00GK103646237SQ201310698413
【公開日】2014年3月19日 申請日期:2013年12月18日 優(yōu)先權日:2013年12月18日
【發(fā)明者】戴瓊海, 李凱 申請人:清華大學