可變形表情檢測(cè)器的制造方法
【專利說(shuō)明】
[0001] 相關(guān)申請(qǐng)案
[0002] 本申請(qǐng)涉及并主張2013年6月28日申請(qǐng)的標(biāo)題為"可變形表情檢測(cè)器 (DEFORMABLE EXPRESSION DETECTOR) "的第61/840, 687號(hào)美國(guó)臨時(shí)專利申請(qǐng)案的優(yōu)先權(quán)。
技術(shù)領(lǐng)域
[0003] 本發(fā)明大體上涉及電子裝置。更具體地說(shuō)，本發(fā)明涉及可變形表情檢測(cè)器。
【背景技術(shù)】
[0004] 最近幾十年中，電子裝置的使用已變得普遍。明確地說(shuō)，電子技術(shù)中的進(jìn)步已減少 了越來(lái)越復(fù)雜且有用的電子裝置的成本。成本降低和消費(fèi)者需求已使電子裝置的使用劇 增，使得其在現(xiàn)代社會(huì)中幾乎隨處可見(jiàn)。由于電子裝置的使用已推廣開來(lái)，因此需要電子裝 置的新的且改進(jìn)的特征。更具體來(lái)說(shuō)，人們常常尋求執(zhí)行新功能和/或更快、更有效或以更 高質(zhì)量執(zhí)行功能的電子裝置。
[0005] -些電子裝置（例如相機(jī)、視頻攝錄影機(jī)、數(shù)碼相機(jī)、蜂窩式電話、智能電話、計(jì)算 機(jī)電視機(jī)等）捕獲或利用圖像。舉例來(lái)說(shuō)，數(shù)碼相機(jī)可捕獲數(shù)字圖像。
[0006] 人們常常尋求電子裝置的新的和/或改進(jìn)的特征。如可從此論述觀察到，添加電 子裝置的新的和/或改進(jìn)的特征的系統(tǒng)和方法可為有益的。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明描述一種用于可變形表情檢測(cè)的方法。對(duì)于經(jīng)預(yù)處理圖像中的每一像素， 組合第一定向梯度分量的正負(fù)號(hào)與第二定向梯度分量的正負(fù)號(hào)，以產(chǎn)生組合的正負(fù)號(hào)。將 每一組合的正負(fù)號(hào)譯碼成經(jīng)譯碼值?；谒鼋?jīng)譯碼值來(lái)檢測(cè)輸入圖像中的表情。
[0008] 可預(yù)處理輸入圖像，以產(chǎn)生經(jīng)預(yù)處理的圖像?？苫陉P(guān)注區(qū)（ROI)來(lái)使輸入圖像 對(duì)準(zhǔn)。可裁剪輸入圖像中的R0I。可按比例縮放R0I?？墒筊OI的直方圖均衡。
[0009] 定向梯度分量可標(biāo)準(zhǔn)正交。定向梯度分量可為垂直和水平定向梯度分量，或45度 和135度定向梯度分量。
[0010] 譯碼可包含基于定向梯度分量的正負(fù)號(hào)來(lái)將每一組合的正負(fù)號(hào)譯碼成經(jīng)譯碼值， 而不確定定向梯度分量的量值的值。
[0011] 表情可包含微笑、眨眼或憤怒。檢測(cè)表情可包含使用機(jī)器學(xué)習(xí)算法對(duì)特征向量進(jìn) 行分類。所述機(jī)器學(xué)習(xí)算法是支持向量機(jī)（SVM)算法、增強(qiáng)算法或K-最近相鄰者（KNN)算 法。
[0012] 可更新分類錯(cuò)誤?？蓪⑤斎雸D像分類為包含或不包含表情?？蓹z測(cè)輸入圖像的錯(cuò) 分類?？苫谒鲥e(cuò)分類來(lái)更新分類器。檢測(cè)所述錯(cuò)分類可包含向用戶呈現(xiàn)所述輸入圖像 和分類。如果分類是正確的，那么可詢問(wèn)用戶?？山邮贞P(guān)于分類是否正確的用戶輸入。檢 測(cè)錯(cuò)分類可包含基于分類之后用戶對(duì)輸入圖像的刪除來(lái)確定分類是不正確的。所述更新可 基于用以對(duì)輸入圖像進(jìn)行分類的分類器的類型。所述分類器可使用機(jī)器學(xué)習(xí)算法。
[0013] 可調(diào)整決策閾值。可將輸入圖像分類為包含或不包含表情。可檢測(cè)輸入圖像的錯(cuò) 分類。可手動(dòng)或基于錯(cuò)分類來(lái)調(diào)整表情的決策閾值。檢測(cè)所述錯(cuò)分類可包含向用戶呈現(xiàn)所 述輸入圖像和分類。如果分類是正確的，那么可詢問(wèn)用戶?？山邮贞P(guān)于分類是否正確的用 戶輸入。檢測(cè)錯(cuò)分類可包含基于分類之后用戶對(duì)輸入圖像的刪除來(lái)確定分類是不正確的。 所述調(diào)整可基于用以對(duì)輸入圖像進(jìn)行分類的分類器的類型。手動(dòng)調(diào)整表情的決策閾值可包 含顯示滑動(dòng)條，其給予用戶選擇來(lái)通過(guò)滑動(dòng)屏幕上的條或手動(dòng)輸入值來(lái)調(diào)整所述閾值。所 述分類可包含使用機(jī)器學(xué)習(xí)算法對(duì)特征向量進(jìn)行分類。
[0014] 本發(fā)明還描述一種用于可變形表情檢測(cè)的設(shè)備。所述設(shè)備包含處理器、與所述處 理器進(jìn)行電子通信的存儲(chǔ)器以及存儲(chǔ)在存儲(chǔ)器中的指令。對(duì)于經(jīng)預(yù)處理圖像中的每一像 素，組合第一定向梯度分量的正負(fù)號(hào)與第二定向梯度分量的正負(fù)號(hào)，以產(chǎn)生組合的正負(fù)號(hào)。 將每一組合的正負(fù)號(hào)譯碼成經(jīng)譯碼值。基于所述經(jīng)譯碼值來(lái)檢測(cè)輸入圖像中的表情。
[0015] 本發(fā)明還描述一種用于可變形表情檢測(cè)的設(shè)備。所述設(shè)備包含用于針對(duì)經(jīng)預(yù)處理 圖像中的每一像素將第一定向梯度分量的正負(fù)號(hào)與第二定向梯度分量的正負(fù)號(hào)進(jìn)行組合 以產(chǎn)生組合的正負(fù)號(hào)的裝置。所述設(shè)備還包含用于將每一組合的正負(fù)號(hào)譯碼成經(jīng)譯碼值的 裝置。所述設(shè)備進(jìn)一步包含用于基于所述經(jīng)譯碼值來(lái)檢測(cè)輸入圖像中的表情的裝置。
[0016] 本發(fā)明還描述一種用于可變形表情檢測(cè)的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品 包含上面具有指令的非暫時(shí)性計(jì)算機(jī)可讀媒體。所述指令包含用于致使電子裝置針對(duì)經(jīng)預(yù) 處理圖像中的每一像素，組合第一定向梯度分量的正負(fù)號(hào)與第二定向梯度分量的正負(fù)號(hào)以 產(chǎn)生組合正負(fù)號(hào)的代碼。所述指令還包含用于致使所述電子裝置將每一組合正負(fù)號(hào)譯碼成 經(jīng)譯碼值的代碼。所述指令進(jìn)一步包含用于致使所述電子裝置基于所述經(jīng)譯碼值來(lái)檢測(cè)輸 入圖像中的表情的代碼。
【附圖說(shuō)明】
[0017] 圖1是說(shuō)明用于可變形表情檢測(cè)的電子裝置的框圖；
[0018] 圖IA說(shuō)明由處理器實(shí)施的圖1的系統(tǒng)內(nèi)的一些組件；
[0019] 圖2是說(shuō)明可變形表情檢測(cè)模塊的框圖；
[0020] 圖3是說(shuō)明用于根據(jù)經(jīng)修改邊緣直方圖描述符（mEHD)來(lái)進(jìn)行可變形表情檢測(cè)的 方法的流程圖；
[0021] 圖4是說(shuō)明用于根據(jù)邊緣直方圖描述符（EHD)來(lái)構(gòu)建特征向量的方法的流程圖；
[0022] 圖5是說(shuō)明根據(jù)EHD來(lái)計(jì)算特征向量的實(shí)例的圖；
[0023] 圖6是說(shuō)明用于根據(jù)經(jīng)修改邊緣直方圖描述符（mEHD)來(lái)構(gòu)建特征向量的方法的 流程圖；
[0024] 圖7是說(shuō)明譯碼定向梯度分量的組合正負(fù)號(hào)的實(shí)例的圖；
[0025] 圖8是說(shuō)明根據(jù)mEHD來(lái)計(jì)算特征向量的實(shí)例的圖；
[0026] 圖9是說(shuō)明用于預(yù)處理圖像的方法的流程圖；
[0027] 圖10是說(shuō)明用于更新分類錯(cuò)誤的方法的流程圖；
[0028] 圖11是說(shuō)明用于調(diào)整決策閾值的方法的流程圖；以及
[0029] 圖12說(shuō)明可包含于電子裝置/無(wú)線裝置內(nèi)的一些組件。
【具體實(shí)施方式】
[0030] 可變形表情可指示各種感情、心情、動(dòng)作或精神狀態(tài)，例如愉快、悲傷、擔(dān)心和快 樂(lè)。在一些配置中，可從人類的面部或示意動(dòng)作捕獲表情。感情或精神狀態(tài)可針對(duì)可包含 人機(jī)接口、交互式游戲、患者監(jiān)視以及更多的應(yīng)用相關(guān)。實(shí)際上，檢測(cè)表情可使例如用相機(jī) 或智能電話拍攝照片等簡(jiǎn)單應(yīng)用程序變得更簡(jiǎn)單，因?yàn)榭扉T在肖像或自拍圖像中可等待， 直到人實(shí)際上作出表情（例如微笑、睜眼等）的時(shí)刻為止。
[0031] 表情檢測(cè)是計(jì)算機(jī)視覺(jué)的活躍研究領(lǐng)域。為了進(jìn)行表情檢測(cè)，首先檢測(cè)含有所關(guān) 注對(duì)象（例如人類面部）的圖像。接著，定位標(biāo)志（例如面部中的眼睛）。基于這些標(biāo)志， 可旋轉(zhuǎn)、裁剪和按比例縮放所述圖像。可提取圖像特征。可將經(jīng)訓(xùn)練的分類器應(yīng)用于所提 取的特征，以確定表情的狀態(tài)。舉例來(lái)說(shuō)，分類器可從不笑檢測(cè)笑，或從閉著的眼睛檢測(cè)睜 開的眼睛。
[0032] 應(yīng)注意，笑容檢測(cè)或眨眼檢測(cè)是面部表情的實(shí)例。然而，本發(fā)明的系統(tǒng)和方法不限 于檢測(cè)面部表情。因此，本文所述的系統(tǒng)和方法可用于檢測(cè)任何可變形表情。如本文所使 用，術(shù)語(yǔ)"可變形表情"是指人類、動(dòng)物或?qū)ο蟮男螤睿ɑ蛐问剑╇S時(shí)間的變化。因此，可變 形表情可包含人類、動(dòng)物或?qū)ο笫疽鈩?dòng)作?？勺冃伪砬榈膶?shí)例包含面部表情，例如微笑、眨 目艮、憤怒或悲傷?？勺冃伪砬榈牧硪粚?shí)例包含非面部表情，例如對(duì)象是否在奔跑。
[0033] 本發(fā)明的系統(tǒng)和方法可將邊緣直方圖描述符（EHD)用于基于定向梯度分量的量 值和正負(fù)號(hào)的特征提取。此外，可將EHD的經(jīng)修改版本用于基于定向梯度分量的正負(fù)號(hào)的 特征提取。此經(jīng)修改的邊緣直方圖描述符（mEHD)可提供益處，因?yàn)槠涫怯布押玫暮痛笮?緊湊。
[0034] 為了限制分類錯(cuò)誤，本發(fā)明的系統(tǒng)和方法還可將一或多個(gè)反饋單元集成到總表情 檢測(cè)機(jī)構(gòu)。第一反饋單元可為交互式用戶接口（UI)。此第一反饋單元可通過(guò)在隨機(jī)或離散 時(shí)間點(diǎn)詢問(wèn)用戶關(guān)于準(zhǔn)確性或從刪除的圖像檢測(cè)錯(cuò)誤來(lái)檢測(cè)錯(cuò)誤地分類的表情。第一反饋 單元可接著基于檢測(cè)到的錯(cuò)誤來(lái)自動(dòng)更新分類算法。第二反饋單元還可為交互式UI。第二 反饋單元可給予用戶選擇來(lái)以適合用戶的方式調(diào)整決策閾值。
[0035] 圖1是說(shuō)明用于可變形表情檢測(cè)的電子裝置102的框圖。電子裝置102也可被稱 作無(wú)線通信裝置、移動(dòng)裝置、移動(dòng)臺(tái)、訂戶臺(tái)、客戶端、客戶端臺(tái)、用戶設(shè)備（UE)、遠(yuǎn)端臺(tái)、接 入終端、移動(dòng)終端、終端、用戶終端、訂戶單元等。電子裝置102的實(shí)例包含膝上型或桌上型 計(jì)算機(jī)、蜂窩式電話、智能電話、無(wú)線調(diào)制解調(diào)器、電子閱讀器、平板裝置、游戲系統(tǒng)等。這些 裝置中的一些可根據(jù)一或多個(gè)行業(yè)標(biāo)準(zhǔn)來(lái)操作。
[0036] 智能電話或平板計(jì)算機(jī)等電子裝置102可包含相機(jī)。相機(jī)可包含圖像傳感器104 和光學(xué)系統(tǒng)106 (例如，透鏡），其將位于光學(xué)系統(tǒng)106的視野內(nèi)的對(duì)象的圖像聚焦到圖像傳 感器104上。電子裝置102還可包含相機(jī)軟件應(yīng)用程序和顯示屏。當(dāng)相機(jī)應(yīng)用程序在運(yùn)行 時(shí)，可由圖像傳感器104記錄位于光學(xué)系統(tǒng)106的視野內(nèi)的對(duì)象的圖像。圖像傳感器104 正記錄的圖像可顯示于顯示屏上?？梢韵鄬?duì)較高的幀速率快速連續(xù)顯示這些圖像，使得在 任何給定時(shí)刻處，位于光學(xué)系統(tǒng)106的視野內(nèi)的對(duì)象顯示于顯示屏上。盡管在所捕獲視頻 幀方面描述本發(fā)明系統(tǒng)和方法，但本文中所論述的技術(shù)可用于任何數(shù)字圖像上。因此，術(shù)語(yǔ) 視頻幀和數(shù)字圖像在本文中可互換使用。
[0037] 相機(jī)應(yīng)用程序的用戶接口 110可準(zhǔn)許用戶與可變形表情檢測(cè)模塊112交互。舉例 來(lái)說(shuō)，用戶可通過(guò)使用觸摸屏108與可變形表情檢測(cè)模塊112交互。在一個(gè)配置中，可變形 表情檢測(cè)模塊112可預(yù)處理輸入圖像，從所述圖像提取特征向量，且將所述圖像分類為含 有或不含有特定表情（例如微笑、憤怒、擔(dān)心、閉眼等）。
[0038] 為了獲得特征向量，本發(fā)明的系統(tǒng)和方法可使用邊緣直方圖描述符（EHD)來(lái)檢測(cè) 輸入圖像中的特征。EHD可包含計(jì)算圖像的定向梯度分量的量值和正負(fù)號(hào)。另外，本發(fā)明的 系統(tǒng)還可使用經(jīng)修改EHD (mEHD)，其可包含僅計(jì)算圖像的定向梯度分量的正負(fù)號(hào)而非實(shí)值 (例如量值和正負(fù)號(hào)）。此最佳化可使用較少的資源，同時(shí)與EHD相比時(shí)維持準(zhǔn)確性。
[0039] 此外，可變形表情檢測(cè)模塊112可包含兩個(gè)反饋單元，以適應(yīng)所述分類。具體來(lái) 說(shuō)，第一反饋單元可更新分類算法，且第二反饋單元可基于用戶輸入或基于從刪除的圖像 察覺(jué)的錯(cuò)分類來(lái)轉(zhuǎn)變決策閾值。
[0040] 如圖IA中示出，可變形表情檢測(cè)模塊112可由處理器101實(shí)施。或者，可使用不 同處理器來(lái)實(shí)施不同組件（例如一個(gè)處理器可預(yù)處理所述圖像，另一處理器可用于獲得特 征向量，另一處理器可用于對(duì)表情進(jìn)行分類）。
[0041] 圖2是說(shuō)明可變形表情檢測(cè)模塊212的框圖?？勺冃伪砬闄z測(cè)模塊212可包含預(yù) 處理器216、特征提取器228和分類器232。預(yù)處理器216可接收輸入圖像214,且可產(chǎn)生 強(qiáng)調(diào)所要關(guān)注區(qū)（ROI)的ROI圖像226?？蓮南鄼C(jī)（例如圖像傳感器104和光學(xué)系統(tǒng)106) 接收?qǐng)D像214。還可從存儲(chǔ)器接收?qǐng)D像214。在一些配置中，ROI可為對(duì)象的面部。然而， 應(yīng)注意ROI可為輸入圖像214內(nèi)的任何區(qū)。
[0042] 預(yù)處理器216可包含對(duì)準(zhǔn)器