一種基于人臉色彩特征的自動白平衡方法及電子媒體裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及影像技術(shù)和電子設(shè)備領(lǐng)域，特別的是攝像頭圖像處理系統(tǒng)中的色彩控 制、處理和增強。
【背景技術(shù)】
[0002] 自動白平衡通常包括照明色彩及色溫估計，色彩通道的增益調(diào)節(jié)和色彩矯正和增 強。膚色物體表面通常是白平衡照明色彩及色溫估計的比較棘手的場景。其一是種族和個 體的膚色差，以及個人化妝等帶來的隨機變異。其二是白色或其它物體表面在一定的色溫 光照下和膚色難以分辨，從而使目前流行的一些白平衡算法如A.灰色世界、B.完全反射、 C.多表面相關(guān)等在膚色充盈的場景下對環(huán)境色溫發(fā)生誤判。即便在主流品牌的攝像產(chǎn)品 中，膚色引起的白平衡誤差和膚色色彩還原誤差也頗為多見。因此，美國專利申請公開號 US2008037975A1中主張將人臉膚色從環(huán)境色溫的估計中剔除。自動白平衡的一個主要難點 是在估計環(huán)境色溫時，攝像頭看到的是未知光源的光照在未知色彩表面物體上的混疊。如 果場景中有已知色彩的表面，比如像專業(yè)攝像常用的現(xiàn)場白平衡的灰板，計算則很簡單。但 這對普通照相用戶是不方便的。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的其中一個目的在于提供一種基于人臉色彩特征的自動白平衡方法。
[0004] 解決本發(fā)明的其中一個目的所采取的方案是：提供一種基于人臉色彩特征的自動 白平衡方法，其特征在于，該方法適用于電子媒體裝置的圖像及視頻媒體的自動白平衡，包 括如下步驟：
[0005] 步驟一：獲取在自動白平衡適用的光源照明下含有清晰明亮用戶人臉的圖像；對 人臉進行檢測、分割、識別和色彩特征提取，獲取包括用戶人臉膚色、眼白及牙齒的本征值 和目標值的人臉色彩特征集；
[0006]步驟二：根據(jù)所述人臉色彩特征集對圖像背景和人臉分別進行環(huán)境照明色溫及色 彩估計，得到對應(yīng)色溫及色彩估計值Q、C2，綜合Q、C2得到全圖像的估計值C 3;
[0007] 步驟三：根據(jù)所述人臉色彩特征集、色溫及色彩估計值對圖像進行白平衡矯正和 色彩增強。
[0008] 本發(fā)明的又一目的在于提供一種電子媒體裝置。
[0009] 解決本發(fā)明的又一目的所采取的方案是：提供一種電子媒體裝置，包括至少一個 前置工作模式的攝像頭，所述攝像頭的前置工作模式的拍攝視場中通常含有該電子媒體裝 置的用戶；
[0010] 一個或多個控制器，其中一個控制器用于控制該電子媒體裝置的系統(tǒng)；
[0011] 固態(tài)或非暫時性存儲器，用于存有可供控制器讀取的指令集；
[0012] 動態(tài)存儲器，用于供攝像頭緩存幀圖像和其它數(shù)據(jù)，以及控制器用來執(zhí)行指令；
[0013]可通過網(wǎng)絡(luò)或其它媒介接收和傳送圖像、視頻或其它數(shù)據(jù)的裝置；
[0014]可顯示圖像和圖形的顯示屏；
[0015]用戶可控的人機交互界面；
[0016]其中，所述攝像頭包括鏡頭、圖像傳感器、存儲器、攝像頭控制器、及圖像處理器等 模塊；該圖像處理器將圖像傳感器傳過來的信號處理成符合應(yīng)用格式化的圖像或視頻；
[0017]其中，所述攝像頭的上述部分或全部模塊是資源獨立的，或者是和宿主電子媒體 裝置資源共享的；
[0018]該圖像處理器包括自動白平衡模塊，該自動白平衡模塊通過其包括的電子邏輯和 控制處理電路硬件模塊及控制處理軟件模塊以及該電子媒體裝置的其它資源來實現(xiàn)下述 自動白平衡方法和步驟：
[0019] 步驟一：獲取在自動白平衡適用的光源照明下含有清晰明亮用戶人臉的圖像，對 人臉進行檢測、分割、識別和色彩特征提取，獲取包括用戶人臉膚色、眼白及牙齒的本征值 和目標值的人臉色彩特征集；
[0020] 步驟二：運用所述人臉色彩特征集對圖像背景和人臉分別進行環(huán)境照明色溫及色 彩估計，得到對應(yīng)色溫及色彩估計值Ci、C2，綜合Ci、C2得到全圖像的估計值C 3;
[0021] 步驟三：根據(jù)人臉色彩特征集、色溫及色彩估計對圖像進行白平衡矯正和色彩增 強。
[0022] 在本發(fā)明中，該圖像處理器包括自動白平衡模塊，該自動白平衡模塊包括電子邏 輯和控制處理電路及控制處理軟件，通過該電子邏輯和控制處理電路及控制處理軟件在視 頻預(yù)覽、錄像或抓拍過程中將該圖像處理器流水線上的幀圖像緩存于獨立的或共享的存儲 器中，進行人臉檢測、分割和識別，提取用戶人臉的色彩特征作為自動白平衡的參考表面， 利用該表面色彩特征進行更為準確的白平衡的照明色溫及色彩估計，并可對人臉及人體裸 露的膚色、圖像的其它部分進行有區(qū)別的白平衡的調(diào)節(jié)和色彩增強。此外，通過人機交互界 面可獲取用戶對自己人臉色彩的喜好作為AWB調(diào)節(jié)的參考目標值，以達到一對一的用戶人 臉色彩表達的體驗效果。
[0023] 本發(fā)明的第三個目的在于提供一種可由多裝置架構(gòu)實現(xiàn)的更靈活應(yīng)用上述自動 白平衡的方法的電子媒體裝置。
[0024] 解決本發(fā)明的第三個目的所采取的方案是：提供一種電子媒體裝置，包括一個或 多個處理器，其中一個用于控制該電子媒體裝置的系統(tǒng)；
[0025]固態(tài)或非暫時性存儲器，用于存有可供控制器讀取的指令集；
[0026] 動態(tài)存儲器，用于供攝像頭緩存幀圖像和其它數(shù)據(jù)，以及控制器用來執(zhí)行指令；
[0027]可通過網(wǎng)絡(luò)或其它媒介接收和傳送圖像、視頻或其它數(shù)據(jù)的裝置；
[0028]可顯示圖像和圖形的顯示屏；
[0029]用戶可控的人機交互界面；
[0030]一個基于人臉色彩特征的自動白平衡裝置，為該裝置所含或與該裝置相連的攝像 頭的一個自動白平衡模塊，或是該裝置其它應(yīng)用中的一個自動白平衡模塊，該自動白平衡 模塊的實現(xiàn)包括：
[0031]步驟一：獲取在自動白平衡適用的光源照明下含有清晰明亮用戶人臉的圖像，對 人臉進行檢測、分割、識別和色彩特征提取，獲取包括用戶人臉膚色、眼白及牙齒的本征值 和目標值的人臉色彩特征集；
[0032] 步驟二：獲取需要進行自動白平衡矯正的圖像，對該圖像進行人臉檢測、分割、和 識別，確認該圖像含有用戶人臉；運用所述人臉色彩特征集對圖像背景和人臉分別進行環(huán) 境照明色溫及色彩估計，得到對應(yīng)色溫及色彩估計值Q、C2，綜合Q、C2得到全圖像的估計值 C3；
[0033] 步驟三：根據(jù)所述人臉色彩特征集、色溫及色彩估計值對圖像進行自動白平衡矯 正和色彩增強；
[0034] 所述步驟一及步驟二中獲取圖像的方法是通過攝像頭實時采集的，或者是在攝像 頭采集后非實時獲取的；所述步驟一、步驟二及步驟三可以在一個或多個電子媒體裝置上 實現(xiàn)；在多個媒體裝置上實現(xiàn)時，包括在第一電子媒體裝置上實現(xiàn)獲取圖像，在第二電子媒 體裝置上實現(xiàn)人臉色彩特征集的獲取，在第三電子媒體裝置上實現(xiàn)步驟二、或步驟二及步 驟三，或其他步驟與裝置的組合。
【附圖說明】
[0035]圖1為前攝平臺的示意圖；
[0036] 圖2為自動白平衡（AWB)模塊的ISP示意流程圖；
[0037] 圖3為自動白平衡（AWB)模塊的另一 ISP示意流程圖；
[0038] 圖4為后處理模式的流程圖示意圖；
[0039]圖5為人臉色彩特征獲取模式的流程圖；
[0040] 圖6為AWB調(diào)節(jié)模式的流程圖；
[0041] 圖7為AWB機器學習模式的不意圖；
[0042] 圖8為將人臉分割成膚色區(qū)、眼白、牙齒的示意圖；
[0043] 圖9為白點軌跡和膚色軌跡在一個色坐標系中的示意圖；
[0044] 圖10為一種AWB調(diào)節(jié)的方法，使用同一個C3對整幅圖像進行同一處理；
[0045] 圖11為另一種AWB調(diào)節(jié)的方法：使用(：3有區(qū)別的對人臉和背景圖像進行處理，以 白平衡標準參考光源照明下的白點位置為目標；
[0046] 圖12為另一種AWB調(diào)節(jié)的方法：使用(：3有區(qū)別的對人臉和背景圖像進行處理，并 以用戶喜好的色彩表達為目標；
[0047]圖13為一種檢測人臉以外其他裸露皮膚的方法；
[0048] 圖14為用戶人機界面的實現(xiàn)方法示意圖；
[0049] 圖15為AWB反饋學習示意圖；
[0050] 圖16為人臉色彩特征用于人臉識別的輔助矢量的示意圖。
【具體實施方式】
[0051] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合實施例，對本發(fā)明 進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于 限定本發(fā)明。
[0052] 為了便于理解，對涉及到專用符號或名詞進行如下解釋：
[0053] Cn C3：
[0054]將圖像分割成人臉部分和背景部分，Q，C2, C3指自動白平衡（Automatic White Balance :AWB)的照明色溫及色彩估計基于人臉、背景和全圖的計算過程和結(jié)果。該結(jié)果通 常由某一色空間或色坐標系中的坐標點位置來表示。用來計算色溫的方法可以用上述背景 技術(shù)中提到的A、B、C或其它方法。
[0055]人臉色彩特征：在本發(fā)明中指人臉分割后，人臉膚色，眼白以及牙齒部位的統(tǒng)計 色彩特征，包括其本征值及目標值，對應(yīng)于AWB常用的光照色溫區(qū)間的照明色溫及色彩。
[0056]人臉色彩特征集：在本發(fā)明中指包括所有用戶的對應(yīng)于AWB常用的光照色溫區(qū)間 的照明色溫及色彩的人臉色彩特征的數(shù)據(jù)集合和結(jié)構(gòu)。
[0057]前攝平臺：指攝像頭或其它含有攝像頭電子媒體裝置，在操作中至少有一個模式， 其中一個攝像頭的視場通常含有該裝置的使用者。
[0058] 機主：前攝平臺的機主或管理員，有權(quán)使用并授權(quán)平臺使用者用戶權(quán)，使其有使用 本發(fā)明的體驗的權(quán)利。
[0059] 用戶：前攝平臺具有用戶權(quán)的使用者，用戶權(quán)也有可以有前攝平臺的服務(wù)程序直 接開放授權(quán)，直至用戶群達到系統(tǒng)支持的最大限度。
[0060] ISP (Image Signal Processor :圖像信號處理裝置或圖像信號處理器）：攝像頭的 圖像信號處理系統(tǒng)，包括圖像傳感器的接口、與宿主設(shè)備的控制和信號通訊接口、圖像信號 處理的電子電路的計算和邏輯硬件引擎、數(shù)據(jù)和程序使用的存儲器，可編程的控制器及控 制和處理軟件等。
[0061]鑒于觀測到用戶人臉常常是前攝平臺的主要攝像目標并占據(jù)了拍攝圖像的較大 的畫面，而手機后置攝像頭和其它攝像裝置也經(jīng)常拍攝人臉肖像；并由于智能手機及其它 前攝平臺的日益擴展和普及應(yīng)用，使得利用現(xiàn)場拍攝到的圖像中用戶人臉的色彩特征作為 AWB的參考表面成為一個實用可行的技術(shù)。
[0062]本發(fā)明自動白平衡（AWB)裝置作為攝像頭ISP的一個模塊適用于前攝平臺，也可 應(yīng)用于其它攝像平臺的自動白平衡的方法和裝置，包括電子邏輯和控制處理電路，和控制 處理軟件。其主要工作過程為首先獲取人臉色彩特征集，其次在實時工作中將ISP流水線 上的幀圖像緩存于存儲器中，進行人臉檢測、分割和識別，