用于處理圖像的方法和設(shè)備的制造方法
【專(zhuān)利摘要】公開(kāi)了一種用于處理包括至少一張面部的圖像的方法。方法包括：在圖像中獲取(S10)裁切窗；通過(guò)裁切由裁切窗所界定的圖像部分來(lái)處理(S18)圖像；其中方法還包括：檢測(cè)(S12)至少一張面部；確定(S14)針對(duì)所檢測(cè)到的至少一張面部的權(quán)重；以及基于權(quán)重修改(S16)圖像中裁切窗的位置，其中權(quán)重至少基于相應(yīng)檢測(cè)到的面部的尺寸來(lái)確定。
【專(zhuān)利說(shuō)明】
用于處理圖像的方法和設(shè)備
技術(shù)領(lǐng)域
[0001]在下文中，公開(kāi)了用于處理圖像的方法。特別地，公開(kāi)了用于處理包括至少一張面部的圖像的方法，其中處理包括裁切所述圖像。還公開(kāi)了對(duì)應(yīng)的設(shè)備。
【背景技術(shù)】
[0002]對(duì)于一組固定的圖像或視頻中的導(dǎo)航應(yīng)用，能夠在一眼可見(jiàn)的單個(gè)視圖中顯示所有圖像或視頻是有用的。為了這個(gè)目的，生成每個(gè)固定圖像或視頻的每幅圖像的縮小尺寸版本、從而這些圖像或視頻被同時(shí)顯示在同一屏幕上并能容易地進(jìn)行比較是令人感興趣的。同樣地，對(duì)于具有小尺寸屏幕的移動(dòng)設(shè)備(例如，移動(dòng)電話或PDA)上的視頻內(nèi)容的廣播應(yīng)用，生成視頻的每幅圖像的縮小尺寸版本以將這些圖像顯示在小尺寸屏幕上是必要的。
[0003]對(duì)本領(lǐng)域技術(shù)人員已知的、從源圖像或源視頻生成這些縮小的圖像或視頻的方法在于，對(duì)這些源圖像或源視頻進(jìn)行子采樣。在尺寸顯著縮小的情況下，由于尺寸太小一些圖像部分無(wú)法由用戶(hù)使用。
[0004]裁切圖像中包含圖像的最顯著或最具視覺(jué)吸引力的區(qū)域的部分是另一種方法。然而由于圖像中存在多張面部，這樣的方法往往不能成功在圖像中定義適當(dāng)?shù)牟们写啊?br>
【發(fā)明內(nèi)容】

[0005]公開(kāi)了一種用于處理包括至少一張面部的圖像的方法。方法包括:
[0006]-在圖像中獲取裁切窗；
[0007]-通過(guò)裁切由裁切窗分所界定的圖像部分來(lái)處理所述圖像；
[0008]其中方法還包括:檢測(cè)所述至少一張面部，確定針對(duì)所檢測(cè)到的至少一張面部的權(quán)重，并且基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置，其中所述權(quán)重至少基于相應(yīng)檢測(cè)到的面部的尺寸來(lái)確定。
[0009]有利的是，由于將面部的存在納入考量，經(jīng)處理的圖像質(zhì)量更好。
[0010]根據(jù)具體的實(shí)施例，基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置包括:
[0011]-確定圍繞所述至少一張面部的邊框;以及
[0012]-修改所述裁切窗的位置以使其以所述邊框?yàn)橹行摹?br>[0013]在變體中，圖像包括多張面部。在這種情況下，對(duì)權(quán)重的確定和檢測(cè)是針對(duì)多張面部中的每張面部進(jìn)行的。
[0014]在該變體中，基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置包括:
[0015]a)以權(quán)重降序?qū)λ龆鄰埫娌颗判蛞孕纬擅娌康挠行蛄斜恚?br>[0016]b)修改所述裁切窗的位置，從而所述裁切窗以包括所述有序列表中的至少第一面部的邊框?yàn)橹行模?br>[0017]c)通過(guò)添加所述有序列表的下一張面部來(lái)擴(kuò)大所述邊框；
[0018]d)重復(fù)步驟b)和c)直到所述邊框變得比所述裁切窗大。
[0019]有利的是，步驟a)之后是步驟a’)，步驟a’)包括:計(jì)算所述有序列表中兩個(gè)連續(xù)面部的權(quán)重的差值，并且從所述面部的有序列表中移除遵循差值在閾值之上的面部。
[0020]示例性地，針對(duì)多張面部中的每張面部確定權(quán)重包括針對(duì)一張面部執(zhí)行下述操作:
[0021]-確定銳度水平；
[0022]-確定深度水平；
[0023]-確定顯著性水平；以及
[0024]-將兩張面部中的每張面部的權(quán)重作為銳度水平、深度水平、顯著性水平和尺寸的線性組合來(lái)計(jì)算。
[0025]公開(kāi)了一種用于處理包括至少一張面部的圖像的設(shè)備。所述設(shè)備包括被配置為執(zhí)行下述操作的至少一個(gè)處理器:
[0026]-在圖像中獲取裁切窗；
[0027]-通過(guò)裁切由裁切窗分所界定的圖像部分來(lái)處理所述圖像；
[0028]其中至少一個(gè)處理器還被配置為:檢測(cè)所述至少一張面部，確定針對(duì)所檢測(cè)到的至少一張面部的權(quán)重，并且基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置，其中所述權(quán)重至少基于相應(yīng)檢測(cè)到的面部的尺寸來(lái)確定。
[0029]在具體的實(shí)施例中，基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置包括:
[0030]-確定圍繞所述至少一張面部的邊框；以及
[0031]-修改所述裁切窗的位置以使其以所述邊框?yàn)橹行摹?br>[0032]在變體中，圖像包括多張面部，并且對(duì)權(quán)重的確定和檢測(cè)是針對(duì)多張面部中的每張面部進(jìn)行的。
[0033]在這種情況下，基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置包括:
[0034]a)以權(quán)重降序?qū)λ龆鄰埫娌颗判蛞孕纬擅娌康挠行蛄斜恚?br>[0035]b)修改所述裁切窗的位置，從而所述裁切窗以包括所述有序列表中的至少第一面部的邊框?yàn)橹行模?br>[0036]c)通過(guò)添加所述有序列表的下一張面部來(lái)擴(kuò)大所述邊框；
[0037]d)重復(fù)步驟b)和c)直到所述邊框變得比所述裁切窗大。
[0038]有利的是，步驟a)之后是步驟a’)，步驟a’)包括:計(jì)算所述有序列表中兩個(gè)連續(xù)面部的權(quán)重的差值，并且從所述面部的有序列表中移除遵循差值在閾值之上的面部。
[0039]示例性地，針對(duì)多張面部中的每張面部確定權(quán)重包括針對(duì)一張面部執(zhí)行下述操作:
[0040]-確定銳度水平；
[0041 ]-確定深度水平；
[0042]-確定顯著性水平；以及
[0043]-將兩張面部中的每張面部的權(quán)重作為銳度水平、深度水平、顯著性水平和尺寸的線性組合來(lái)計(jì)算。
[0044]公開(kāi)了一種用于處理包括至少一張面部的圖像的設(shè)備。該設(shè)備包括:
[0045]-用于在圖像中獲取裁切窗的裝置；
[0046]-用于通過(guò)裁切由裁切窗分所界定的圖像部分來(lái)處理所述圖像的裝置；
[0047]其中該設(shè)備還包括:用于檢測(cè)所述至少一張面部的裝置，用于確定針對(duì)所檢測(cè)到的至少一張面部的權(quán)重的裝置，以及用于基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置的裝置，其中所述權(quán)重至少基于相應(yīng)檢測(cè)到的面部的尺寸來(lái)確定。
[0048]根據(jù)本發(fā)明的具體的實(shí)施例，用于基于所述權(quán)重來(lái)修改所述圖像中所述裁切窗的位置的裝置包括:
[0049]-用于確定圍繞所述至少一張面部的邊框的裝置；以及
[0050]-用于修改所述裁切窗的位置以使其以所述邊框?yàn)橹行牡难b置。
[0051 ]在其中圖像包括多張面部的變體中，用于檢測(cè)的裝置和用于確定權(quán)重的裝置被配置為針對(duì)多張面部中的每張面部執(zhí)行權(quán)重的檢測(cè)和確定。
[0052]包括程序代碼指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)該程序被在計(jì)算機(jī)上執(zhí)行時(shí)執(zhí)行根據(jù)所公開(kāi)的任意實(shí)施例和變體的處理方法的步驟。
[0053]其中存儲(chǔ)有指令的處理器可讀介質(zhì)，所述指令用于使得處理器至少執(zhí)行根據(jù)所公開(kāi)的任意實(shí)施例和變體的處理方法的步驟。
【附圖說(shuō)明】
[0054]在附圖中，示出了本發(fā)明的一個(gè)實(shí)施例。其示出了:
[0055]-圖1描繪了根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、用于處理包括至少一張面部的圖像Y的設(shè)備；
[0056]-圖2表示根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、圖1的處理設(shè)備的示例性架構(gòu)；
[0057]-圖3表示根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、用于處理包括至少一張面部的圖像Y的方法的流程圖；
[0058]-圖4表示根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、圖3上描繪的流程圖的細(xì)節(jié)；
[0059]-圖5表示根據(jù)本發(fā)明的各種實(shí)施例的、以邊框?yàn)橹行牡牟们写埃?br>[0060]-圖6表示根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、圖3上描繪的流程圖的細(xì)節(jié)；
[0061]-圖7示出了根據(jù)本發(fā)明的具體和非限制性實(shí)施例的方法的不同迭代；
[0062]-圖8表示以降序排序的面部的權(quán)重；以及
[0063]-圖9表示根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、裁切之后的經(jīng)處理的圖像。
【具體實(shí)施方式】
[0064]圖1描繪了根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、用于處理包括至少一張面部的圖像Y的設(shè)備I。根據(jù)變體，圖像包括至少兩張面部。處理設(shè)備I包括被配置為接收至少一幅圖像Y的輸入裝置10。圖像Y可以從源獲取。根據(jù)本發(fā)明的不同實(shí)施例，源屬于包括下述項(xiàng)的集合:
[0065]-本地存儲(chǔ)器，例如視頻存儲(chǔ)器、RAM、閃速存儲(chǔ)器、硬盤(pán)；
[0066]-存儲(chǔ)接口，例如具有大容量存儲(chǔ)設(shè)備、R0M、光盤(pán)或磁性支撐的接口；
[0067]-通信接口，例如有線接口(例如，總線接口、廣域網(wǎng)接口、局域網(wǎng)接口)或無(wú)線接口(例如，IEEE 802.111接口、或藍(lán)牙接口)；以及
[0068]-圖像捕獲電路(例如，諸如CCD(或電荷耦合器件)或CM0S(互補(bǔ)金屬氧化物半導(dǎo)體)之類(lèi)的傳感器)。
[0069]輸入裝置10連接到被配置為在圖像Y中獲取裁切窗的模塊12。裁切窗在文獻(xiàn)中也稱(chēng)為重構(gòu)造窗或提取窗。輸入裝置10還連接到被配置為檢測(cè)圖像Y中的至少一張面部的面部檢測(cè)模塊14。面部檢測(cè)模塊14依次連接到被配置為確定針對(duì)圖像Y中每個(gè)檢測(cè)到的面部的權(quán)重的模塊16。每個(gè)權(quán)重至少基于對(duì)應(yīng)面部的尺寸來(lái)確定。模塊12和模塊16的輸出端連接到模塊18，模塊18被配置為基于由模塊16所確定的權(quán)重來(lái)修改圖像Y中裁切窗的位置。模塊18連接到模塊20，模塊20被配置為通過(guò)裁切由裁切窗所界定的圖像部分來(lái)處理圖像Y。模塊20連接到輸出22。經(jīng)裁切的圖像部分可被存儲(chǔ)在存儲(chǔ)器中，或者可以被發(fā)送到的目的地。作為示例，經(jīng)裁切的圖像部分被存儲(chǔ)在遠(yuǎn)程或本地存儲(chǔ)器(例如視頻存儲(chǔ)器或RAM、硬盤(pán))中。在變體中，經(jīng)裁切的圖像部分被發(fā)送到存儲(chǔ)接口(例如具有大容量存儲(chǔ)設(shè)備、ROM、閃速存儲(chǔ)器、光盤(pán)或磁性支撐的接口)，和/或經(jīng)由通信接口(例如到點(diǎn)對(duì)點(diǎn)鏈路、通信總線、點(diǎn)對(duì)多點(diǎn)鏈路、或廣播網(wǎng)絡(luò)的接口)發(fā)送。
[0070]圖2表示根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、圖1的處理設(shè)備I的示例性架構(gòu)。處理設(shè)備1包括一個(gè)或多個(gè)處理器110以及內(nèi)部存儲(chǔ)器120(例如，1^1、1?014?1?010，其中處理器110是例如CPU、GPU和/或DSP(數(shù)字信號(hào)處理器的英文縮寫(xiě))。處理設(shè)備I包括適于顯示輸出信息和/或允許用戶(hù)鍵入命令和/或數(shù)據(jù)的一個(gè)或多個(gè)輸入/輸出接口 130(例如，鍵盤(pán)、鼠標(biāo)、觸摸板、網(wǎng)絡(luò)攝像頭、顯示屏)；以及可以在處理設(shè)備I外部的電源140。處理設(shè)備I還可以包括(一個(gè)或多個(gè))網(wǎng)絡(luò)接口(未示出)。
[0071]根據(jù)本發(fā)明的示例性和非限制性的實(shí)施例，處理設(shè)備I還包括存儲(chǔ)在存儲(chǔ)器120中的計(jì)算機(jī)程序。計(jì)算機(jī)程序包括指令，當(dāng)指令由處理設(shè)備1(特別是處理器110)執(zhí)行時(shí)使得處理設(shè)備I執(zhí)行參考圖3描述的處理方法。根據(jù)變體，計(jì)算機(jī)程序被存儲(chǔ)在處理設(shè)備I外部的非暫態(tài)數(shù)字?jǐn)?shù)據(jù)支持設(shè)備(例如，外部存儲(chǔ)介質(zhì)，如HDD、⑶-R0M、DVD、只讀和/或DVD驅(qū)動(dòng)器和/或DVD讀/寫(xiě)驅(qū)動(dòng)器，所有這些都是現(xiàn)有技術(shù)中已知的)上。處理設(shè)備I因而包括讀取計(jì)算機(jī)程序的接口。此外，處理設(shè)備I可以通過(guò)相應(yīng)的USB端口(未示出)來(lái)訪問(wèn)一個(gè)或多個(gè)通用串行總線(USB)型存儲(chǔ)設(shè)備(例如，“記憶棒” )ο
[0072]根據(jù)示例性的和非限制性的實(shí)施例，處理設(shè)備I是屬于包括下述項(xiàng)的集合的設(shè)備:
[0073]-移動(dòng)設(shè)備；
[0074]-通信設(shè)備；
[0075]-游戲設(shè)備；
[0076]-平板設(shè)備(或平板電腦)；
[0077]-筆記本電腦；
[0078]-靜止圖像攝像頭；
[0079]-視頻攝像頭；
[0080]-編碼芯片；
[0081 ]-解碼芯片；
[0082]-靜止圖像服務(wù)器；
[0083]-視頻服務(wù)器(例如廣播服務(wù)器、視頻點(diǎn)播服務(wù)器、或web服務(wù)器)；以及
[0084]-視頻共享平臺(tái)。
[0085]圖3表示根據(jù)本發(fā)明的具體和非限制性實(shí)施例的、用于處理包括至少一張面部的圖像Y的方法的流程圖。在變體中，圖像包括至少兩張面部。
[0086]在步驟S10，例如由模塊12獲取裁切窗。示例性地，從存儲(chǔ)器中獲取裁切窗。在這種情況下，裁切窗被預(yù)先確定并存儲(chǔ)在存儲(chǔ)器中。在變體中，模塊12通過(guò)應(yīng)用在歐洲專(zhuān)利申請(qǐng)EP2005291938中公開(kāi)的方法來(lái)獲取裁切窗。在該專(zhuān)利申請(qǐng)中，裁切窗名為提取窗。方法包括首先從圖像Y確定顯著性圖(saliency map)。顯著性圖是圖像的醒目性的二維地形表示。顯著性圖歸一化地分布在O和255之間。從而顯著性圖提供每個(gè)像素的、表征其感知相關(guān)性(perceptual relevancy)的顯著性值。像素的顯著性值越高，則該像素在視覺(jué)上越相關(guān)。示例性地，通過(guò)如下步驟獲取裁切窗:
[0087]a)定位以具有最高感知興趣(perceptual interest)的像素為中心的圖像中的當(dāng)前窗；
[0088]b)計(jì)算下述項(xiàng)之間的當(dāng)前比:與位于圖像中的每個(gè)窗中的像素相關(guān)聯(lián)的顯著性值的總和、以及與該圖像相關(guān)聯(lián)的顯著性值；
[0089]c)如果當(dāng)前比低于閾值，則:
[0090].識(shí)別該圖像的具有僅低于當(dāng)前最顯著像素的顯著性值的最高顯著性值的像素(稱(chēng)為新最顯著像素)；
[0091]?定位圖像中以其新最顯著像素為中心的新窗，新最顯著像素成為當(dāng)前最顯著像素并且新窗成為當(dāng)前窗；
[0092]?返回步驟b;
[0093]否則將所述裁切窗定義為包括當(dāng)前位于圖像中的所有窗的最小窗。
[0094]然而應(yīng)當(dāng)理解，本發(fā)明并不限于獲取裁切窗的此具體方法。裁切窗可以是例如通過(guò)定位圖像中已知尺寸的、以具有最高顯著性值的像素為中心的窗來(lái)獲得。
[0095]在步驟S12，(例如由檢測(cè)面部檢測(cè)模塊14)在圖像Y中檢測(cè)到(一張或多張)面部。方法的輸出是η張檢測(cè)到的面部^的列表、及其相應(yīng)尺寸Sz和在圖像Y中的位置，其中i和η是整數(shù)，并且η彡I且ie [I ;η]。檢測(cè)到的面部可能涵蓋更多或更少的實(shí)際面部。事實(shí)上，檢測(cè)到的面部通常是僅涵蓋部分的真實(shí)面部的矩形。在下文中，詞語(yǔ)“面部”用于表示檢測(cè)到的面部。(一張或多張)面部例如通過(guò)應(yīng)用在V1la等人于2001年發(fā)表于計(jì)算機(jī)視覺(jué)與模式識(shí)別IEEE會(huì)議上、題為“使用簡(jiǎn)單特征的提升級(jí)聯(lián)的快速目標(biāo)檢測(cè)(rapid object detect1nusing boosted cascade of simple features)”中公開(kāi)的方法來(lái)檢測(cè)。然而應(yīng)當(dāng)理解，本發(fā)明并不限于面部檢測(cè)這種特定的方法。適于檢測(cè)圖像中的面部的任何方法都是適當(dāng)?shù)?。在Zhu等人于2000年發(fā)表于計(jì)算機(jī)視覺(jué)與模式識(shí)別國(guó)際會(huì)議論文集上、題為“使用子空間判別式小波特征的快速面部檢測(cè)(Fast Face Detect1n Using Subspace DiscriminantWavelet Features)”的論文中公開(kāi)的方法是這種方法的另一示例。該方法通過(guò)低維線性子空間F(通常稱(chēng)為面部空間)來(lái)近似多模板T。如果其距F的距離小于某閾值，則圖片最初被分類(lèi)為潛在成員T。通過(guò)測(cè)試的圖片被投影在F上，并且這些投影與訓(xùn)練集中的那些投影進(jìn)行比較。在發(fā)表于2004年11月的模式分析和機(jī)器智能IEEE會(huì)報(bào)26(11)上、題為“卷積面部搜索:一種用于快速和可靠面部檢測(cè)的神經(jīng)結(jié)構(gòu)(Convolut1nal Face Finder:A NeuralArchitecture for Fast and Robust Face Detect1n)” 的論文中，Garcia等人公開(kāi)了設(shè)計(jì)來(lái)可靠地檢測(cè)高度可變的面部模式的、基于卷積神經(jīng)架構(gòu)的另一種方法。
[0096]在步驟S14中，響應(yīng)于至少對(duì)這些檢測(cè)到的面部的尺寸Sz的確定，確定針對(duì)(一個(gè)或多個(gè))檢測(cè)到的面部中的每個(gè)的權(quán)重。權(quán)重由例如模塊16所確定。示例性地，面部的權(quán)重等于該面部的尺寸Sz。尺寸Sz是例如檢測(cè)到的面部的高度和寬度的像素乘積。
[0097]步驟S14的變體在圖4中描述，在步驟S140，針對(duì)每張面部Fi確定銳度水平LBi。面部F1的銳度水平可以通過(guò)對(duì)與位于面部F1中的像素相關(guān)聯(lián)的銳度值進(jìn)行平均來(lái)獲取。當(dāng)面部為模糊的時(shí)，其銳度水平低。反之，當(dāng)面部是清晰的時(shí)，則其銳度水平高。
[0098]Baveye等人2012年發(fā)表于ICCVG的、題為“通過(guò)銳度識(shí)別對(duì)圖像和視頻顯著性模型的改進(jìn)(picture and video saliency models improvement by sharpnessidentificat1n)”的論文中所公開(kāi)的方法可以用于確定這種銳度水平。這種方法提供了將圖像中的每個(gè)像素與銳度水平相關(guān)聯(lián)的銳度圖。在2004年發(fā)表于IEEE ICME上、題為“使用小波變換對(duì)數(shù)字圖像的模糊檢測(cè)(blur detect1n for digital images using wavelettransform)”的論文中，Tong等人提議使用小波變換。事實(shí)上，這種變換能夠同時(shí)區(qū)分不同類(lèi)型的邊緣，并且識(shí)別清晰和模糊。然而應(yīng)當(dāng)理解，本發(fā)明并不限于銳度水平確定的這些特定方法。
[0099]在步驟S142，針對(duì)面部Fi確定深度水平LDi。面部Fi的深度水平可以通過(guò)對(duì)與位于該面部F1中的每個(gè)像素相關(guān)聯(lián)的深度值進(jìn)行平均而獲得。當(dāng)面部靠近前景時(shí)，其深度水平高。反之，當(dāng)面部靠近后景時(shí)其深度水平低。Kyuseo等人2011年發(fā)表于IEEE ICCE上、題為“針對(duì)2D到3D圖像轉(zhuǎn)換的基于深度圖的幾何和紋理線索估計(jì)(geometric and texture Cuebased depth-map estimat1n for 2D to 3D Picture convers1n)，，的論文公開(kāi)的方法可以用于估計(jì)這樣的深度水平。這種方法提供了將圖像中的每個(gè)像素與深度水平相關(guān)聯(lián)的深度圖。在2007年發(fā)表于關(guān)于用于識(shí)別的3D表示的ICCV研討會(huì)上、題為“從單一單眼圖學(xué)習(xí)深度(Learning Depth from Single Monocular Images)” 的論文中，Saxena等人公開(kāi)了使用分層多尺度馬爾可夫隨機(jī)場(chǎng)(MRF)的模型，其采用多尺度局部圖片和全局圖片特征，并且對(duì)深度以及圖片中不同點(diǎn)處的深度之間的關(guān)系建模。然而應(yīng)當(dāng)理解，本發(fā)明并不限于深度水平確定的這種特定方法。
[0100]在步驟S144，針對(duì)面部Fi確定顯著性水平LSi。在歐洲專(zhuān)利申請(qǐng)EP2004804828中公開(kāi)的方法可以用于確定這種顯著性水平。這種方法提供了將圖像中的每個(gè)像素與顯著性水平相關(guān)聯(lián)的顯著性圖。顯著性水平表征其感知相關(guān)性。這種方法包括:
[0101]-如果圖像是單色圖像則根據(jù)亮度分量來(lái)對(duì)該圖像投影，并且如果圖像是彩色圖像則根據(jù)色度分量來(lái)對(duì)該圖像投影；
[0102]-根據(jù)人眼的可見(jiàn)度閾值來(lái)在頻域中進(jìn)行投影分量的感知子帶分解;子帶通過(guò)在空間徑向頻率和方向兩者中劃分頻域而獲得，每個(gè)所得的子帶可被視為對(duì)應(yīng)于調(diào)諧到空間頻率范圍內(nèi)和特定方向的視覺(jué)細(xì)胞群的神經(jīng)圖像；
[0103]-提取有關(guān)亮度分量和有關(guān)色度分量的子帶的顯著性元素，即從子帶提取最重要的信息；
[0104]-對(duì)有關(guān)亮度分量和有關(guān)色度分量的每個(gè)子帶中的顯著性元素進(jìn)行輪廓增強(qiáng)；
[0105]-從對(duì)有關(guān)亮度分量的每個(gè)子帶中的顯著性元素的增強(qiáng)的輪廓，來(lái)計(jì)算亮度分量的顯著性圖；
[0106]-從對(duì)有關(guān)色度分量的每個(gè)子帶中的顯著性元素的增強(qiáng)的輪廓，來(lái)計(jì)算色度分量的顯著性圖；
[0107]-創(chuàng)建作為針對(duì)每個(gè)子帶獲取的多個(gè)顯著性圖的函數(shù)的顯著性圖。
[0108]然而應(yīng)當(dāng)理解，本發(fā)明不限于顯著性水平確定的此具體方法。使圖像中感知興趣數(shù)據(jù)(例如，顯著性圖)得以計(jì)算的任何方法都是合適的。例如，可以使用Itti等人1998年發(fā)表于關(guān)于PAMI的IEEE期刊上、題為“用于快速場(chǎng)景分析的基于顯著性視覺(jué)注意的模型(amodel of saliency-based visual attent1n for rapid scene analysis)，，的文獻(xiàn)中描述的方法。面部F1的顯著性水平可以通過(guò)對(duì)與位于面部?工中的像素相關(guān)聯(lián)的顯著性值進(jìn)行平均來(lái)獲取。當(dāng)面部為顯著的時(shí)，其顯著性水平高。反之，當(dāng)面部不顯著時(shí)則其顯著性水平低。
[0109]在步驟S146，面部Fi的銳度水平LB1、深度水平LD1、顯著性水平LSi和尺寸Sz被線性組合成權(quán)重 Wi。示例性地，Wi=KB*LBi/K+KD*LDi/K+KS*LSi/K+KSz*Sz/Sim，其中，Sim 是圖像的尺寸并且K為用于標(biāo)準(zhǔn)化O和I之間的值的常數(shù)，如果LB1、LD1、LSi的值在范圍[O; 255]之內(nèi)貝IjK = 255。參數(shù)KB、KD、KS和KSz被定義為使得KB+KD+KS+KSz = I。示例性地，KB = KD = KS= KSz = 0.25。在變體中，KB = KD = KS = O并且KSz = I。在后一種情況下，權(quán)重只響應(yīng)于面部的尺寸。參數(shù)的值可以經(jīng)由處理設(shè)備I的(一個(gè)或多個(gè))輸入/輸出接口 130進(jìn)行設(shè)置。對(duì)參數(shù)使用不同的值使得對(duì)各種水平和尺寸施加不同權(quán)重成為可能。
[0110]步驟S140至S144被重復(fù)直至針對(duì)在步驟S12中檢測(cè)到的各面部Fi都確定了權(quán)重。
[0111]在步驟S16，圖像Y中裁切窗CW的位置基于在步驟S14中所確定的權(quán)重來(lái)修改。圖像中Y裁切窗的位置被修改使得它以這樣的邊框?yàn)橹行?其中該邊框至少包括具有最高權(quán)重的、所檢測(cè)到的面部。在圖像中存在單個(gè)面部的情況下，裁切窗以圍合單個(gè)面部的邊框?yàn)橹行摹＿吙虮焕斫鉃樽钚∵吙?也稱(chēng)為圍合框)。最小邊框指所檢測(cè)到的面部的所有像素都位于其中的最小區(qū)域。根據(jù)各種實(shí)施例，以邊框?yàn)橹行牡牟们写霸趫D5中表示。在圖中邊框的中心坐標(biāo)為(x0，y0)并且裁切窗的中心坐標(biāo)為(Xl，yl)。在圖5的左上部分，步驟SlO中獲取的裁切窗與圖像Y—樣高。在這種情況下，裁切窗以邊框?yàn)橹行模渲兴鼈兊闹行臋M坐標(biāo)是相同的(XO = Xl)而中心縱坐標(biāo)(y0和yl)可能不同。在圖5的左中部分，步驟SlO中獲取的裁切窗與圖像Y—樣寬，則裁切窗以邊框?yàn)橹行?，其中它們的中心縱坐標(biāo)是相同的(y0 = yl)而其中心橫坐標(biāo)UO和Xl)可能不同。在圖5的右中部分，當(dāng)它們各自的中心共位(即，具有相同的空間位置(x0，y0))時(shí)，步驟S1中獲取的裁切窗以邊框的中心為中心。在圖5的左下部分，邊框接近圖像的頂部或底部邊界。在此情況下，裁切窗以邊框?yàn)橹行?，其中它們的中心橫坐標(biāo)是相同的(XO = Xl)而中心縱坐標(biāo)(y0和yl)可能不同。在圖5的右下部分，邊框靠近圖像的左邊界或右邊界。在這種情況下，裁切窗以邊框?yàn)橹行?，其中它們的中心縱坐標(biāo)是相同的(70 = 71)而其中心橫坐標(biāo)(10和義1)可能不同。
[0112]根據(jù)描繪在圖6中的特定實(shí)施例，在步驟S160，面部以其權(quán)重降序來(lái)排序。在步驟S164，邊框被設(shè)置在列表中的第一面部周?chē)?，并且在步驟S166，裁切窗CW(k)的位置被修改從而它以邊框?yàn)橹行模渲衚是表示迭代的整數(shù)。如果邊框比裁切窗CW(k)小(步驟S168處的檢查)，則在步驟S170中邊框被擴(kuò)大從而進(jìn)一步包括列表中的第二面部。裁切窗的位置被修改從而它以邊框?yàn)橹行?。如果邊框仍比裁切窗小，則邊框被擴(kuò)大以包括列表中的下一面部。當(dāng)擴(kuò)大的邊框保持比裁切窗小、并且當(dāng)列表中存在剩余面部時(shí)，步驟S170(其以列表中的新面部來(lái)擴(kuò)大邊框)和步驟S166(其修改裁切窗的位置從而它以邊框?yàn)橹行?被重復(fù)進(jìn)行。圖7示出了方法的不同迭代。在第一次迭代(圖像的左上部分)，邊框BB是圍繞在列表中的第一面部(其權(quán)重為wl)周?chē)?。因而裁切窗位置被修改使得CW(O)以邊框?yàn)橹行?。由于邊框比裁切窗?即不覆蓋裁切窗)，方法繼續(xù)迭代k=l。在此次迭代(圖像的右上部分)中，通過(guò)向邊框中添加權(quán)重為w2的面部來(lái)擴(kuò)大該邊框。因而裁切窗位置被修改使得CW(1)以邊框?yàn)橹行摹Ｓ捎谶吙虮炔们写靶?，方法繼續(xù)迭代k = 2。在此次迭代(圖像的右下部分)中，通過(guò)向邊框中添加權(quán)重為w3的面部來(lái)擴(kuò)大該邊框。因而裁切窗位置被修改使得CW(2)以邊框?yàn)橹行摹Ｓ捎谶吙虮炔们写靶?，方法繼續(xù)迭代k = 3。在此次迭代(圖像的右下部分)中，通過(guò)向邊框中添加權(quán)重為w4的面部來(lái)擴(kuò)大該邊框。因而裁切窗位置被修改使得CW(3)以邊框?yàn)橹行?。由于邊框比裁切窗越大，方法結(jié)束。要用于裁切的最終裁切窗是在先前的迭代中所確定的裁切窗，即CW⑵。
[0113]根據(jù)另一實(shí)施例，方法包括準(zhǔn)備步驟S162。在步驟S162，計(jì)算有序列表中的兩個(gè)連續(xù)面部的權(quán)重的差值Dw。當(dāng)差值Dw高于閾值，那么僅有列表中的在先面部(即如圖8中描述的，權(quán)重為wl、w2和w3的面部)得以保留。其它面部(即權(quán)重為w4和w5的面部)從有序列表中移除。隨后經(jīng)減少的列表由步驟S164至S168所使用。閾值可通過(guò)用戶(hù)設(shè)定。示例性地，閾值等于0.7*wl，其中wl是有序列表中的第一面部的權(quán)重。
[0114]在步驟S18，通過(guò)裁切由經(jīng)修改的裁切窗W所界定的圖像部分來(lái)對(duì)圖像Y進(jìn)行處理。經(jīng)裁切的圖像可以被存儲(chǔ)在存儲(chǔ)器中或發(fā)送到目的地。圖9表示裁切后的經(jīng)處理的圖像。相對(duì)圖7，僅由CW(2)所界定的圖像部分得以保留。
[0115]本原理可以應(yīng)用于除面部之外的其它感興趣對(duì)象(例如，野外的動(dòng)物)。
[0116]本文所描述的實(shí)現(xiàn)方式可以被實(shí)現(xiàn)在，例如方法或進(jìn)程、裝置、軟件程序、數(shù)據(jù)流或信號(hào)中。即使只在實(shí)施的單一形式的情境下討論(例如，僅作為方法或設(shè)備而討論)，所討論的特征的實(shí)現(xiàn)方式還可以以其它形式(例如，程序)來(lái)實(shí)現(xiàn)。裝置可以被實(shí)現(xiàn)在，例如適當(dāng)?shù)挠布?、軟件和固件中。方法可以被?shí)現(xiàn)在諸如處理器之類(lèi)的裝置中，處理器一般情況下指處理設(shè)備，包括例如計(jì)算機(jī)、微處理器、集成電路、或可編程邏輯設(shè)備。處理器還包括通信設(shè)備，例如計(jì)算機(jī)、蜂窩電話、便攜式/個(gè)人數(shù)字助理(“Η)Α” )，以及輔助終端用戶(hù)之間的信息通信的其它設(shè)備。
[0117]本文所描述的各種過(guò)程和特征的實(shí)現(xiàn)方式可以體現(xiàn)在各種不同的設(shè)備或應(yīng)用中，尤其是例如設(shè)備或應(yīng)用。這種設(shè)備的示例包括編碼器、解碼器、處理來(lái)自解碼器的輸出的后處理器、提供到編碼器的輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、web服務(wù)器、機(jī)頂盒、膝上型計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、蜂窩電話、PDA和其它通信設(shè)備。應(yīng)當(dāng)清楚，設(shè)備可以是移動(dòng)的，甚至可以安裝在移動(dòng)車(chē)輛種。
[0118]另外，方法可以通過(guò)由處理器執(zhí)行的指令來(lái)實(shí)現(xiàn)，并且這樣的指令(和/或由實(shí)現(xiàn)方式生成的數(shù)據(jù)值)可以被存儲(chǔ)在處理器可讀介質(zhì)上，處理器可讀介質(zhì)例如是集成電路、軟件載體或其它存儲(chǔ)設(shè)備(例如硬盤(pán)、致密盤(pán)(“CD”)、光盤(pán)(例如，DVD，通常稱(chēng)為數(shù)字多功能盤(pán)或數(shù)字視頻盤(pán))、隨機(jī)存取存儲(chǔ)器(“RAM” )、或只讀存儲(chǔ)器(“ROM”))上。指令可以形成有形地包含在處理器可讀介質(zhì)上的應(yīng)用程序。指令可以在例如硬件、固件、軟件、或其組合中。指令可以在例如操作系統(tǒng)、單獨(dú)的應(yīng)用程序、或兩者的組合中找到。因此處理器可以作為例如下述兩者來(lái)表征:被配置為執(zhí)行進(jìn)程的設(shè)備、以及包括具有由于執(zhí)行進(jìn)程的指令的處理器可讀介質(zhì)(例如，存儲(chǔ)設(shè)備)的設(shè)備。此外，處理器可讀介質(zhì)可以存儲(chǔ)除指令外的或代替指令的由實(shí)現(xiàn)方式生成的數(shù)據(jù)值。
[0119]如將對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的，實(shí)現(xiàn)方式可以產(chǎn)生各種信號(hào)，這些信號(hào)的格式被調(diào)整為適于承載信息(例如，所存儲(chǔ)或發(fā)送的信息)。信息可以包括，例如用于執(zhí)行方法的指令，或者由所描述的實(shí)現(xiàn)方式中的一個(gè)所產(chǎn)生的數(shù)據(jù)。例如，信號(hào)的格式可以被調(diào)整為適于承載數(shù)據(jù)以及用于寫(xiě)入或讀取所描述的實(shí)施例的語(yǔ)法的規(guī)則，或者承載由所描述的實(shí)施例寫(xiě)下的實(shí)際語(yǔ)法值的數(shù)據(jù)。這樣的信號(hào)的格式可以被調(diào)整，例如作為電磁波(例如，使用頻譜的射頻部分)或基帶信號(hào)。格式調(diào)整可包括，例如，編碼數(shù)據(jù)流以及調(diào)制具有編碼的數(shù)據(jù)流的載波。信號(hào)承載的信息可以是，例如模擬信息或數(shù)字信息。信號(hào)可以經(jīng)由各種已知的不同有線或無(wú)線鏈路來(lái)傳輸。信號(hào)可以被存儲(chǔ)在處理器可讀介質(zhì)上。
[0120]已經(jīng)描述了許多實(shí)現(xiàn)方式。然而將理解的是，可以做出各種修改。例如，不同的實(shí)施方式的要素可被組合、補(bǔ)充、修改或刪除以產(chǎn)生其它實(shí)現(xiàn)方式。此外，普通技術(shù)人員將理解，其它結(jié)構(gòu)和過(guò)程可取代所公開(kāi)的結(jié)構(gòu)和過(guò)程，并且使得實(shí)現(xiàn)方式以至少基本相同的(一種或多種)方式來(lái)執(zhí)行至少基本相同的(一個(gè)或多個(gè))功能，以達(dá)成至少基本相同的(一個(gè)或多個(gè))結(jié)果，如實(shí)現(xiàn)方式所公開(kāi)的。據(jù)此，這些實(shí)現(xiàn)方式和其它實(shí)現(xiàn)方式都是本申請(qǐng)所預(yù)期的。
【主權(quán)項(xiàng)】
1.一種方法，包括: 在包括多個(gè)目標(biāo)對(duì)象的圖像中獲取(S1)裁切窗； 檢測(cè)(S12)所述多個(gè)目標(biāo)對(duì)象中的每個(gè)目標(biāo)對(duì)象； 確定(S14)針對(duì)所檢測(cè)到的每個(gè)目標(biāo)對(duì)象的權(quán)重，其中所述權(quán)重至少基于相應(yīng)檢測(cè)到的目標(biāo)對(duì)象的尺寸來(lái)確定； 基于一個(gè)或多個(gè)權(quán)重來(lái)修改(S16)所述圖像中所述裁切窗的位置;并且 裁切(S18)由所述裁切窗所界定的圖像部分； 其中基于所述一個(gè)或多個(gè)權(quán)重來(lái)修改(S16)所述圖像中所述裁切窗的位置包括下述步驟: a)以權(quán)重降序來(lái)對(duì)所述多個(gè)目標(biāo)對(duì)象進(jìn)行排序(S160)從而形成目標(biāo)對(duì)象的有序列表； b)修改(S166)所述裁切窗的位置，從而所述裁切窗以包括至少所述有序列表中的第一目標(biāo)對(duì)象的邊框?yàn)橹行模? c)通過(guò)添加所述有序列表中的下一目標(biāo)對(duì)象來(lái)擴(kuò)大(S170)所述邊框； d)重復(fù)步驟b)和步驟c)直到所述邊框變得比所述裁切窗更大為止。2.如權(quán)利要求1所述的方法，其中以權(quán)重降序來(lái)對(duì)所述多個(gè)目標(biāo)對(duì)象進(jìn)行排序(S160)從而形成目標(biāo)對(duì)象的有序列表之后跟隨有下述操作:計(jì)算所述有序列表中的兩個(gè)連續(xù)目標(biāo)對(duì)象的權(quán)重的差值，并且從所述目標(biāo)對(duì)象的有序列表中移除差值在閾值以上的目標(biāo)對(duì)象。3.如權(quán)利要求1或2所述的方法，其中確定針對(duì)所述多個(gè)目標(biāo)對(duì)象中的每個(gè)目標(biāo)對(duì)象的權(quán)重包括針對(duì)每個(gè)目標(biāo)對(duì)象執(zhí)行下述操作: -確定(S140)銳度水平； -確定(S142)深度水平； -確定(S144)顯著性水平；以及 -將權(quán)重作為所述銳度水平、所述深度水平、所述顯著性水平和所述尺寸的線性組合來(lái)計(jì)算(S146) ο4.如權(quán)利要求1-3中的任一項(xiàng)所述的方法，其中所述目標(biāo)對(duì)象為面部。5.—種包括被配置為執(zhí)行下述操作的至少一個(gè)處理器(110)的設(shè)備: 在包括多個(gè)目標(biāo)對(duì)象的圖像中獲取(SlO)裁切窗； 檢測(cè)(S12)所述多個(gè)目標(biāo)對(duì)象中的每個(gè)目標(biāo)對(duì)象； 確定(S14)針對(duì)所檢測(cè)到的每個(gè)目標(biāo)對(duì)象的權(quán)重，其中所述權(quán)重至少基于相應(yīng)檢測(cè)到的目標(biāo)對(duì)象的尺寸來(lái)確定； 基于一個(gè)或多個(gè)權(quán)重來(lái)修改(S16)所述圖像中所述裁切窗的位置;并且 裁切(S18)由所述裁切窗所界定的圖像部分； 其中基于所述一個(gè)或多個(gè)權(quán)重來(lái)修改(S16)所述圖像中所述裁切窗的位置包括下述步驟: a)以權(quán)重降序來(lái)對(duì)所述多個(gè)目標(biāo)對(duì)象進(jìn)行排序(S160)從而形成目標(biāo)對(duì)象的有序列表； b)修改(S166)所述裁切窗的位置，從而所述裁切窗以包括至少所述有序列表中的第一目標(biāo)對(duì)象的邊框?yàn)橹行模? c)通過(guò)添加所述有序列表中的下一目標(biāo)對(duì)象來(lái)擴(kuò)大(S170)所述邊框； d)重復(fù)步驟b)和步驟c)直到所述邊框變得比所述裁切窗更大為止。6.如權(quán)利要求5所述的設(shè)備，其中以權(quán)重降序來(lái)對(duì)所述多個(gè)目標(biāo)對(duì)象進(jìn)行排序(S160)從而形成目標(biāo)對(duì)象的有序列表之后跟隨有下述操作:計(jì)算所述有序列表中的兩個(gè)連續(xù)目標(biāo)對(duì)象的權(quán)重的差值，并且從所述目標(biāo)對(duì)象的有序列表中移除差值在閾值以上的目標(biāo)對(duì)象。7.如權(quán)利要求6所述的設(shè)備，其中確定針對(duì)所述多個(gè)目標(biāo)對(duì)象中的每個(gè)目標(biāo)對(duì)象的權(quán)重包括針對(duì)每個(gè)目標(biāo)對(duì)象執(zhí)行下述操作: _確定銳度水平； -確定深度水平； -確定顯著性水平；以及 -將權(quán)重作為所述銳度水平、所述深度水平、所述顯著性水平和所述尺寸的線性組合來(lái)計(jì)算。8.如權(quán)利要求5-7中的任一項(xiàng)所述的設(shè)備，其中所述目標(biāo)對(duì)象為面部。9.一種包括程序代碼指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)程序在計(jì)算機(jī)上執(zhí)行時(shí)所述程序代碼指令執(zhí)行根據(jù)權(quán)利要求1-4中的任一項(xiàng)所述的方法的步驟。10.—種其上存儲(chǔ)有指令的處理器可讀介質(zhì)，所述指令使得處理器至少執(zhí)行根據(jù)權(quán)利要求1-4中的任一項(xiàng)所述的方法的步驟。
【文檔編號(hào)】G11B27/034GK106068537SQ201580012113
【公開(kāi)日】2016年11月2日
【申請(qǐng)日】2015年2月26日 公開(kāi)號(hào)201580012113.6, CN 106068537 A, CN 106068537A, CN 201580012113, CN-A-106068537, CN106068537 A, CN106068537A, CN201580012113, CN201580012113.6, PCT/2015/54035, PCT/EP/15/054035, PCT/EP/15/54035, PCT/EP/2015/054035, PCT/EP/2015/54035, PCT/EP15/054035, PCT/EP15/54035, PCT/EP15054035, PCT/EP1554035, PCT/EP2015/054035, PCT/EP2015/54035, PCT/EP2015054035, PCT/EP201554035
【發(fā)明人】簡(jiǎn)-克勞德·切維特, 法布里斯·厄本, 克里斯特爾·查瑪雷特
【申請(qǐng)人】湯姆遜許可公司