一種獲得高質量且實時的美顏的裝置的制造方法
【專利摘要】本發(fā)明公開了一種獲得高質量且實時的美顏的裝置，它包括圖像獲取模塊、圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊和圖像融合模塊；所述的圖像獲取模塊用于輸入視頻，將所述視頻按幀提取并作為圖片序列，圖像獲取模塊的輸出端分別與圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊連接，圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊的輸出端與圖像融合模塊連接。本發(fā)明借助GPU的硬件加速特性，對系統(tǒng)的多個子模塊進行處理，可以解決使用CPU時的效率低下問題，同時本系統(tǒng)提出并使用的各個子模塊都能很好的應用于GPU加速處理，在保證效率實時的同時，可以得到即時的效果呈現(xiàn)，應用于單幅圖像的特效處理。
【專利說明】
一種獲得高質量且實時的美顏的裝置
技術領域
[0001 ]本發(fā)明涉及一種獲得高質量且實時的美顏的裝置。
【背景技術】
[0002] 美顏方法通常由多個基礎步驟組成，包括圖像中外部光照及人體皮膚等噪聲的去 除、人體皮膚檢測、人臉檢測、祛斑、皮膚美白、圖像融合等。
[0003] 圖像去噪作為最基本也是最重要的一環(huán)，對后續(xù)的算法處理具有至關重要的作 用，目前去噪的算法較多，通常包括高斯平滑、雙線性濾波平滑、平均濾波平滑、基于塊匹配 的三維去噪等算法，其中各算法的性能和效果均有不同程度的差異，以及各自具有不同程 度的局限性，這對于應用場景的算法選擇上有較大的影響。例如，平均濾波平滑效率很高， 但往往會過濾掉圖像的更多細節(jié)如頭發(fā)、睫毛、眉毛等人臉具有明顯特征的區(qū)域;高斯平滑 在濾波半徑較小時效率較高但濾波半徑較大時效率很低;雙線性濾波平滑能很好的保留圖 像邊緣細節(jié)但會產(chǎn)生混色現(xiàn)象;基于塊匹配的三維去噪算法能很好的處理高斯白噪聲但效 率特別低下。因此，選擇一種能在效率和效果上平衡的算法，對整體算法的結果是一種挑 戰(zhàn)，同時又需要很好的適用于相應的應用場景。
[0004] 皮膚檢測與人臉檢測，主要需要處理的是皮膚及人臉區(qū)域，保證在皮膚與非皮膚 區(qū)域的接縫處無明顯人工痕跡，這是由應用場景所決定的。當用于高分辨率圖像時人臉檢 測算法的性能較低，這往往是由于需要進行金字塔逐層檢測人臉區(qū)域，同時并不適用于其 它皮膚區(qū)域如手臂、肩膀、脖頸等，因此選擇一種適合的皮膚及人臉區(qū)域的檢測算法，同時 具備較高的性能，尤為重要。
[0005] 祛斑祛痘主要指皮膚區(qū)域的局部區(qū)域處理，通常的做法是人工手選區(qū)域進行祛 除，不適用于圖像的自動處理。
[0006] 皮膚美白與圖像增強可以有多種處理方式，包括指數(shù)映射、對數(shù)映射、冪函數(shù)映 射、線性加深、自動色階等，其目的為將圖像中較暗的區(qū)域進行增強處理，增強細節(jié)呈現(xiàn)效 果，同時更好的保留較亮區(qū)域的細節(jié)變化，防止出現(xiàn)泛白現(xiàn)象。
[0007] 整體而言，由于美顏方法通常需要若干個子方法的相互銜接才能完成，因此各子 方法的微弱變化也會對最后的效果產(chǎn)生較大的影響，選擇合適的子方法并有效的組合在一 起，同時滿足效率較高且效果即時呈現(xiàn)，使其具有更好的應用前景，這是本發(fā)明將要解決的 問題。

【發(fā)明內容】

[0008] 本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種獲得高質量且實時的美顏的裝 置，借助GPU的硬件加速特性，可以解決使用CPU時的效率低下問題，同時系統(tǒng)提出并使用的 各個子模塊都能很好的應用于GHJ加速處理，在保證效率實時的同時，可以得到即時的效果 呈現(xiàn)。
[0009] 本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：一種獲得高質量且實時的美顏的裝 置，它包括圖像獲取模塊、圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊 和圖像融合模塊;所述的圖像獲取模塊用于輸入視頻，將所述視頻按幀提取并作為圖片序 列，圖像獲取模塊的輸出端分別與圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處 理模塊連接，圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊的輸出端與圖 像融合模塊連接；
[0010]所述的圖像整體美化模塊包括：
[0011 ]第一圖像轉換子模塊：用于將輸入圖像的RGB顏色空間轉化到YUV顏色空間，同時 保留UV通道；
[0012] 判斷與濾波子模塊:包括判斷單元、積分圖單元和盒子濾波單元;所述的判斷單元 判斷采樣窗口的大小是否大于預設的閾值:如果是則將圖像轉換子模塊轉換的圖像發(fā)送至 積分圖單元，否則發(fā)送至盒子濾波單元;積分圖單元用于生成亮度圖像的積分圖，所述的積 分圖包括一次項與二次項的積分圖，之后再對圖像中的所有像素逐個處理，在以每個像素 為中心的窗口中，分別計算此窗口中所有像素的均值和方差;所述的盒子濾波單元對圖像 進行盒子濾波；
[0013] 圖像去噪子模塊:接收來自判斷與濾波子模塊的輸出，對每一個像素，在得到基于 此像素為中心的窗口的均值和方差后，根據(jù)得到的均值和方差進行平滑濾波；
[0014] 圖像銳化子模塊:用于對圖像進行銳化處理，對圖像的紋理細節(jié)進行補償提升；
[0015] 圖像合成子模塊：用于將銳化后的圖像與去噪前RGB轉換得到的UV通道合并成YUV 圖像；
[0016] 第二圖像轉換子模塊：用于將圖像合成子模塊得到的YUV圖像轉換回RGB顏色空 間；
[0017] 所述的圖像增強處理模塊用于采用非線性圖像增強，對圖像進行整體美白處理， 通過提升圖像的暗部細節(jié)的同時保持亮度細節(jié)的方式實現(xiàn)，首先將圖像歸一化至[0，1]的 范圍內，然后采用指數(shù)函數(shù)映射的方法進行處理；
[0018] 所述的皮膚區(qū)域遮罩處理模塊包括皮膚區(qū)域檢測單元和遮罩處理單元，所述的皮 膚區(qū)域檢測單元使用閾值處理，檢測時當圖像的像素值大于統(tǒng)計值時則劃分為皮膚區(qū)域， 否則為非皮膚區(qū)域，得到一個皮膚區(qū)域的初步檢測;所述的統(tǒng)計值為對多張圖像的皮膚與 非皮膚區(qū)域進行統(tǒng)計分類而得到的一組值;所述的遮罩處理單元用于在得到皮膚區(qū)域的遮 罩后，采用指定窗口大小的高斯模糊對遮罩作進一步的細化處理；
[0019] 所述的圖像融合模塊用于在圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮 罩處理模塊均完成處理后，根據(jù)得到的皮膚區(qū)域的遮罩分別對整體美白后的圖像及整體去 噪后的圖像進行逐像素融合；
[0020] 所述的圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊為使用基 于GPU的硬件加速的逐像素獨立執(zhí)行的三個模塊。
[0021] 所述的第一圖像轉換子模塊的轉換公式如下： fY^ r 0.299 0.587 0.114
[0022] 二一0.169 -0.331 0.5 G vfJ [ 0.5 -0.419 -0.081
[0023]所述的第二圖像轉換子模塊的轉換公式如下： rR^ fl 0 1.402
[0024] G = 1 -0.344 -0.714 U o
[bJ 1.772 0
[0025] 所述的對多張圖像的皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得到的一組值中的多張 為1000張。
[0026] 本發(fā)明的有益效果是：
[0027] (1)本發(fā)明提出一種易于理解且性能優(yōu)異的圖像去噪算法處理框架，利用基于圖 像積分圖的快速圖像去噪方案，保證計算速度與采樣窗口的大小無關，同時很好的去除圖 像噪聲如斑點的同時保持細節(jié)。
[0028] (2)本發(fā)明提出一種更高效的皮膚區(qū)域檢測處理框架，使用首先進行粗步檢測再 進行細化的多步驟快速處理方法，可以很好在皮膚與非皮膚區(qū)域的接縫處實行無縫合成。
[0029] (3)本發(fā)明使用非線性圖像增強方法，對圖像進行整體增強。
[0030] (4)本發(fā)明借助GPU的硬件加速特性，對本系統(tǒng)的多個子模塊進行處理，可以解決 使用CPU時的效率低下問題，同時本系統(tǒng)提出并使用的各個子模塊都能很好的應用于GPU加 速處理，在保證效率實時的同時，可以得到即時的效果呈現(xiàn)，應用于視頻拍攝時的效果即時 呈現(xiàn)。
【附圖說明】
[0031] 圖1為本發(fā)明結構方框圖。
【具體實施方式】
[0032] 下面結合附圖進一步詳細描述本發(fā)明的技術方案：
[0033] 如圖1所示，一種獲得高質量且實時的美顏的裝置，它包括圖像獲取模塊、圖像整 體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊和圖像融合模塊;所述的圖像獲取 模塊用于輸入視頻，將所述視頻按幀提取并作為圖片序列，圖像獲取模塊的輸出端分別與 圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊連接，圖像整體美化模塊、 圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊的輸出端與圖像融合模塊連接；
[0034] 所述的圖像整體美化模塊包括對人體皮膚區(qū)域平滑處理，如人臉及其它皮膚區(qū)域 的斑點、痣等其它影響美觀的區(qū)域擦除，以及整體光照引進的環(huán)境噪聲如曝光不足等，其它 后期處理時引進的其它噪聲如椒鹽噪聲等，包括圖片或者視頻傳輸過程中的信號丟失、編 解碼有損處理、方塊效應等，包括：
[0035]第一圖像轉換子模塊：用于將輸入圖像的RGB顏色空間轉化到YUV顏色空間，這主 要是為了操作于亮度圖像以提高效率，同時保留UV通道;所述的第一圖像轉換子模塊的轉 換公式如下： f 0.299 0.587 0.114〕〔及、
[0036] U = -0.169 -0.331 0,5 G ^ 0.5： -0.419 -0.0SlJ^^
[0037] 由于生成積分圖的過程上存在前后上下鄰域像素的計算相關性，這會涉及一次上 下行的開銷時間。在我們的方案中，會設定一個閾值，如果采樣窗口的大小超過此閾值，則 使用積分圖，否則使用盒子濾波。
[0038] 判斷與濾波子模塊:包括判斷單元、積分圖單元和盒子濾波單元;所述的判斷單元 判斷采樣窗口的大小是否大于預設的閾值:如果是則將圖像轉換子模塊轉換的圖像發(fā)送至 積分圖單元，否則發(fā)送至盒子濾波單元;積分圖單元用于生成亮度圖像的積分圖，所述的積 分圖包括一次項與二次項的積分圖，其中迭代公式分別如下
[0039] sumi，j = sumi，j-i+sumi-1，j-sumi-1，j-i+fi，j;
[0040] sumsq： t = sumsq, f sumsq： ^ - surmq： , , -t- fr:
[00411 式中，sum表示直接和，sumsq表示平方和，f表示亮度值，保存上述得到的兩幅積分 圖像;可用于下一步圖像去噪的基于窗口的快速濾波，即使在采樣窗口較大時也不會影響 計算效率；
[0042]之后再對圖像中的所有像素逐個處理，在以每個像素為中心的窗口中，分別計算 此窗口中所有像素的均值和方差；
[0046] 式中，E表示均值，VAR表示方差；i，j分別表示相對于圖像左上角的垂直和水平方 向的坐標，N表示窗口半徑。
[0047] 所述的盒子濾波單元對圖像進行盒子濾波；所述的使用盒子濾波的計算公式如 下：
[0050]式中，E表示均值，VAR表示方差;m，n分別表示垂直和水平方向與當前像素位置的 相對距離。
[0051] 對亮度圖像進行去噪處理，由于人的眼睛對亮度信號比色度信號更敏感，因此在 亮度信號的噪聲會比色度信號噪聲更加敏感，在去除亮度信號噪聲之后，人的眼睛會感覺 到明顯的變化，同時在提高計算效率的基礎上不會影響整體質量。
[0052] 圖像去噪子模塊:接收來自判斷與濾波子模塊的輸出，對每一個像素，在得到基于 此像素為中心的窗口的均值和方差后，根據(jù)得到的均值和方差進行平滑濾波;其原理上圖 像越平滑，則得到的方差值越接近于〇,從而該像素值則越接近均值E。所述的平滑濾波的校 正方式為：
[0055]式中，0表示調節(jié)的參數(shù)值，其值越大，表示平滑的程度越大，則去除的噪聲越大；e 是一個接近于〇的小數(shù)，其目的是為了防止被除數(shù)為〇時的異常;從對像素值進行校正的公 式中可以得出，當調節(jié)的參數(shù)值越大時，該像素值越接近E。
[0056]圖像銳化子模塊：用于對圖像進行銳化處理，對圖像的紋理細節(jié)進行補償提升;處 理公式為：
[0058]式中，S表示銳化后的圖像，a表示銳化的程度，即4-鄰域拉普拉斯梯度對像素值的 貢獻百分比，a值越大，銳化程度越大；
[0059]圖像合成子模塊：用于將銳化后的圖像與去噪前RGB轉換得到的UV通道合并成YUV 圖像；
[0060]第二圖像轉換子模塊：用于將圖像合成子模塊得到的YUV圖像轉換回RGB顏色空 間;所述的第二圖像轉換子模塊的轉換公式如下：
[0062]所述的圖像增強處理模塊用于采用非線性圖像增強，對圖像進行整體美白處理， 通過提升圖像的暗部細節(jié)的同時保持亮度細節(jié)的方式實現(xiàn)，首先應該將圖像歸一化至[0， 1 ]的范圍內，然后采用指數(shù)函數(shù)映射的方法進行處理：
[°063] fij = fipj
[0064]式中，p表示美白的程度；
[0065]所述的皮膚區(qū)域遮罩處理模塊包括皮膚區(qū)域檢測單元和遮罩處理單元：
[0066]皮膚區(qū)域與非皮膚區(qū)域相比，通常具有較易區(qū)分的顏色，尤其是與較暗的黑色區(qū) 域相比，對于美顏的應用場景，主要需要區(qū)分的是人的皮膚與人的頭發(fā)、眉毛、睫毛、眼睛的 分區(qū)域處理。使用閾值處理，首先劃分出皮膚與非皮膚的粗選區(qū)域，通常人的皮膚區(qū)域的 RGB統(tǒng)計值為[a，b，c]，其中a、b、c為對1000張圖像的皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得 到的一組值，檢測時當圖像的像素值大于統(tǒng)計值時則劃分為皮膚區(qū)域，否則為非皮膚區(qū)域， 得到一個皮膚區(qū)域的初步檢測；
[0067]所述的遮罩處理單元用于在得到皮膚區(qū)域的遮罩后，采用指定窗口大小的高斯模 糊對遮罩作進一步的細化處理;得到皮膚區(qū)域的遮罩后，對遮罩作進一步的細化處理，而不 能直接參與圖像融合，否則在圖像的皮膚區(qū)域與非皮膚區(qū)域的接縫處會有明顯的人工痕 跡。具體地，采用指定窗口大小的高斯模糊進行遮罩處理，高斯函數(shù)的二維公式如下：
[0069]式中，x，y分別表示垂直和水平方向與當前操作像素的相對距離，〇表示標準差。
[0070]所述的圖像融合模塊用于在圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮 罩處理模塊均完成處理后，根據(jù)得到的皮膚區(qū)域的遮罩分別對整體美白后的圖像及整體去 噪后的圖像進行逐像素融合;整合公式為：
[0071 ] Finali，j = Bi，j*(l-ai.j)+Fi，j*ai.j
[0072]式中，B表示整體去噪后的圖像，F(xiàn)表示整體美白后的圖像，a表示得到的皮膚區(qū)域 的遮罩，F(xiàn)inal表示圖像融合結果。
[0073]在整個方案中，由于涉及的處理步驟較多，但是每個步驟都可以逐像素獨立執(zhí)行， 因此在CHJ不能實時的情況下，使用基于GHJ的硬件加速，可以實時處理，其中移動端使用 OpenGL ES加速。所述的圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊為 使用基于的硬件加速的逐像素獨立執(zhí)行的三個模塊。
【主權項】
1. 一種獲得高質量且實時的美顏的裝置，其特征在于:它包括圖像獲取模塊、圖像整體 美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊和圖像融合模塊;所述的圖像獲取模 塊用于輸入視頻，將所述視頻按帖提取并作為圖片序列；圖像獲取模塊的輸出端分別與圖 像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊連接，圖像整體美化模塊、圖 像增強處理模塊、皮膚區(qū)域遮罩處理模塊的輸出端與圖像融合模塊連接； 所述的圖像整體美化模塊包括： 第一圖像轉換子模塊：用于將輸入圖像的RGB顏色空間轉化到YUV顏色空間，同時保留 UV通道； 判斷與濾波子模塊:包括判斷單元、積分圖單元和盒子濾波單元;所述的判斷單元判斷 采樣窗口的大小是否大于預設的闊值:如果是則將圖像轉換子模塊轉換的圖像發(fā)送至積分 圖單元，否則發(fā)送至盒子濾波單元;積分圖單元用于生成亮度圖像的積分圖，所述的積分圖 包括一次項與二次項的積分圖，之后再對圖像中的所有像素逐個處理，在W每個像素為中 屯、的窗口中，分別計算此窗口中所有像素的均值和方差;所述的盒子濾波單元對圖像進行 盒子濾波； 圖像去噪子模塊:接收來自判斷與濾波子模塊的輸出，對每一個像素，在得到基于此像 素為中屯、的窗口的均值和方差后，根據(jù)得到的均值和方差進行平滑濾波； 圖像銳化子模塊:用于對圖像進行銳化處理，對圖像的紋理細節(jié)進行補償提升； 圖像合成子模塊：用于將銳化后的圖像與去噪前RGB轉換得到的UV通道合并成YUV圖 像； 第二圖像轉換子模塊:用于將圖像合成子模塊得到的YUV圖像轉換回RGB顏色空間； 所述的圖像增強處理模塊用于采用非線性圖像增強，對圖像進行整體美白處理，通過 提升圖像的暗部細節(jié)的同時保持亮度細節(jié)的方式實現(xiàn)，首先將圖像歸一化至[〇，1]的范圍 內，然后采用指數(shù)函數(shù)映射的方法進行處理； 所述的皮膚區(qū)域遮罩處理模塊包括皮膚區(qū)域檢測單元和遮罩處理單元，所述的皮膚區(qū) 域檢測單元使用闊值處理，檢測時當圖像的像素值大于統(tǒng)計值時則劃分為皮膚區(qū)域，否則 為非皮膚區(qū)域，得到一個皮膚區(qū)域的初步檢測;所述的統(tǒng)計值為對多張圖像的皮膚與非皮 膚區(qū)域進行統(tǒng)計分類而得到的一組值;所述的遮罩處理單元用于在得到皮膚區(qū)域的遮罩 后，采用指定窗口大小的高斯模糊對遮罩作進一步的細化處理； 所述的圖像融合模塊用于在圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處 理模塊均完成處理后，根據(jù)得到的皮膚區(qū)域的遮罩分別對整體美白后的圖像及整體去噪后 的圖像進行逐像素融合； 所述的圖像整體美化模塊、圖像增強處理模塊、皮膚區(qū)域遮罩處理模塊為使用基于GPU 的硬件加速的逐像素獨立執(zhí)行的=個模塊。2. 根據(jù)權利要求1所述的一種獲得高質量且實時的美顏的裝置，其特征在于:所述的第 一圖像轉換子模塊的轉換公式如下：所述的第二圖像轉換子模塊的轉換公式如下：3.根據(jù)權利要求1所述的一種獲得高質量且實時的美顏的裝置，其特征在于:所述的對 多張圖像的皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得到的一組值中的多張為1000張。
【文檔編號】G06T5/50GK105913400SQ201610286731
【公開日】2016年8月31日
【申請日】2016年5月3日
【發(fā)明人】賴守波, 余軍, 余剛
【申請人】成都索貝數(shù)碼科技股份有限公司