專利名稱：在數(shù)字圖像中實現(xiàn)改進的前景/背景分離的制作方法
技術(shù)領(lǐng)域：
本發(fā)明提供了一種用于在數(shù)字圖像中實現(xiàn)改進的前景/背 景分離的方法和設(shè)備。
背景技術(shù)：
禾'J用離焦深度((depth from defocus) DFD)算法，可以 建立聚焦圖(focus map)，例如，Masahiro Watanabe禾口Shree K. Nayar (1995)在"Rational Filters for Passive Depth from Defocus"中所披露的，在此引用它供參考。其基本想法是，根 據(jù)同一個景物的兩幅圖像，可以理論上計算給定景物的深度圖 (depthmap)。在理想情況下，為了計算DFD圖，使用遠心鏡頭， 而且在兩次圖像采集之間，只有聚焦發(fā)生變化。現(xiàn)有數(shù)字照相 機通常不是這樣。
第2006/0285754號美國專利申請公開披露了另一種用于 分離前景和背景的技術(shù)，該美國專利申請公開與本專利申請指 定同一個受讓人，并且在此引用該專利申請供參考。在此，利 用景物的閃光圖像和非閃光圖像的曝光量級之差，提供前景/ 背景圖。與基于閃光/非閃光的技術(shù)相比，采用離焦深度的主要 優(yōu)點是，離焦深度與景物照度無關(guān)，因此，對于室外景物或者良好照明的景物，可能是有利的。
第60/773， 714號和第11/573， 713號美國專利申請披露了 又一種用于分離前景和背景的技術(shù)，在此引用該專利申請供參 考。在此，利用以不同焦距拍攝的景物圖像相應(yīng)圖區(qū)之間的高 頻系數(shù)差，提供前景/背景圖。此外，在這種情況下，該前景/ 背景圖與景物照度無關(guān)，因此，該技術(shù)可以用于室外景物或者 良好照明景物。
總之，利用上述各種技術(shù)，其實或者說是利用任意其他技 術(shù)，產(chǎn)生的前景/背景圖也許不能正常工作。因此，希望提供一 種在數(shù)字圖像中進行前景/背景分離的改進型方法。

發(fā)明內(nèi)容
提供了一種用于在景物的數(shù)字圖像中實現(xiàn)前景/背景分離 的方法。提供包括主數(shù)字圖像中的一個或者多個圖區(qū)的第一圖。 每個圖區(qū)分別具有一個或者多個具有共同特性的像素。提供對 應(yīng)于該主數(shù)字圖像的受關(guān)注的圖區(qū)的主體輪廓。將一個或者多 個該圖區(qū)與該主體輪廓進行比較，以確定它們之中的任一個是 否與該輪廓圖區(qū)相交。根據(jù)該比較，指定該圖區(qū)中的一個或者 多個作為前景圖區(qū)。
提供該第一圖可以包括暫時地將該圖像的每個圖區(qū)限定 為前景或者背景。該一個或者多個圖區(qū)至少包括一個暫時被限 定為前景的圖區(qū)。
該指定可以包括將前景圖區(qū)與該主體輪廓進行比較。響應(yīng) 該前景圖區(qū)基本上不與該主體輪廓相交，將指定所述前景圖區(qū) 變更為背景圖區(qū)。
提供該第一圖可以基于將表面上(nominally)為同一景物的兩個或者兩個以上的圖像進行比較。被比較的一個或者多個 的圖像可以包括該主圖像的低分辨率圖像。被比較的一個或者 多個圖像可以包括該主數(shù)字圖像?？梢哉{(diào)準(zhǔn)被比較的兩個或者 兩個以上圖像和/或者可以使它們的分辨率匹配。剛好在捕獲該 主數(shù)字圖像之前或者之后，可以捕獲被比較的一個或者多個圖 像。
提供所述第一圖可以包括提供兩個或以上圖像，每個圖像 的聚焦不同且表面上為該景物。該方法可以包括由該圖像計算 聚焦深度圖，以將該主數(shù)字圖像的像素表示為前景或者背景。 可以使該聚焦圖模糊。該方法可以包括將該模糊圖限定為將圖 區(qū)表示為前景或者背景的中間聚焦圖?？梢蕴畛渌鲋虚g聚焦 圖中的圖區(qū)，以提供該第一圖。
提供該第一圖可以包括提供兩個或者兩個以上圖像，每個 圖像的聚焦不同且表面上為該景物。將該圖像中的相應(yīng)圖區(qū)的 高頻系數(shù)進行比較，以確定該圖區(qū)是前景還是背景，從而提供 該第一圖。
提供該第一圖可以包括提供兩個或者兩個以上圖像，每個 圖像的曝光量不同且表面上為該景物的。將該圖像中的相應(yīng)圖 區(qū)的亮度級進行比較，以確定該圖區(qū)是前景還是背景，從而提 供該第一圖。
在此描述的方法之任一均可以運行于數(shù)字圖像采集裝置 中，該數(shù)字圖像采集裝置被布置以根據(jù)該主數(shù)字圖像的內(nèi)容選 擇該主體輪廓，以及/或者布置該裝置，以肖像模式工作，其中 該主體輪廓包括人的輪廓線。該輪廓線可以包括許多用戶可選 輪廓線中的一個，并且/或者根據(jù)該主數(shù)字圖像的內(nèi)容，從多個 輪廓線中自動選擇該輪廓線。任一個在此描述的方法可以在通用計算機中運行，該通用 計算機被布置以接收與該主數(shù)字圖像相關(guān)的第一圖，并且/或者 可以布置該通用計算機，以接收一個或者多個表面上為該景物 的與該主數(shù)字圖像相關(guān)的附加圖像，并且/或者可以布置該通用 計算機，以根據(jù)該一個或者多個附加圖像與該主數(shù)字圖像的任 意組合，計算該第一圖。
提供主體輪廓可以包括確定包括人臉的圖像的至少一個 圖區(qū)。可以確定該人臉的定向。根據(jù)該定向，可以將該主體輪 廓限定為包括該主圖像中的人臉以及該人臉下面的相應(yīng)圖區(qū)。
提供該第一圖還可以包括至少對彩色空間內(nèi)的主數(shù)字圖 像的一個圖區(qū)進行分析，以確定該圖區(qū)中的顏色分布。該顏色
分布可以具有多個不同色峰(colorpeak)。可以根據(jù)像素顏色 與該色峰的接近度，分割該圖區(qū)。
該比較可以包括，對與所述主體輪廓相交的每個圖區(qū)，計 算基準(zhǔn)反射特性；并且對不與該主體輪廓相交的每個圖區(qū)，計 算反射特性。可以將非相交圖區(qū)反射特性與顏色對應(yīng)于該非相 交圖區(qū)的圖區(qū)的基準(zhǔn)反射特性進行比較。當(dāng)確定該非相交圖區(qū) 反射特性在該基準(zhǔn)反射特性的閾值范圍內(nèi)時，可以將非相交圖 區(qū)指定為前景。
提供表面上為該景物的第二圖像。作為該主圖像和該第二 圖像的相應(yīng)圖區(qū)之間的亮度級差的函數(shù)，可以計算反射特性。
該主圖像可以是圖像流中的一個圖像。確定包括人臉的該 主圖像的至少一個圖區(qū)可以包括，檢測在該主圖像之前采集的 流的至少一個圖像中的人臉。通過該圖像流可以跟蹤該人臉， 以確定該主圖像中的人臉圖區(qū)。
又提供了一種在景物的數(shù)字圖像中實現(xiàn)前景/背景分離的方法。提供包括主數(shù)字圖像中被暫時地限定為前景或背景的一 個或者多個圖區(qū)的第一圖?？梢苑治鲈搱D區(qū)中的一個或者多個， 以確定該圖區(qū)的像素中的亮度分布。響應(yīng)具有一個以上不同亮 度峰的圖區(qū)的該亮度分布，根據(jù)像素亮度與該亮度峰的接近度， 將該圖區(qū)劃分為一個以上的子圖區(qū)。該方法進一步包括根據(jù)該 劃分，改變在該圖中對一個或者多個子圖區(qū)的指定。
該方法可以包括提供對應(yīng)于該主數(shù)字圖像的受關(guān)注的圖 區(qū)的主體輪廓。至少可以將一個暫時限定圖區(qū)與該主體輪廓進 行比較，以確定該圖區(qū)是否與該輪廓圖區(qū)相交。該方法可以進 一步包括，根據(jù)該比較，改變在該圖中對一個或者多個圖區(qū)或 者子圖區(qū)的指定。
提供該第一圖包括至少對彩色空間中的數(shù)字圖像的一個 或者多個圖區(qū)進行分析，以確定該圖區(qū)中的顏色分布。該顏色 分布具有多個不同色峰。可以根據(jù)像素顏色與該色峰的接近度， 分割該圖區(qū)?？梢詫⒃摲治鰣D區(qū)暫時地限定為該第一圖中的前
景。可以LAB空間中提供該數(shù)字圖像，并且該彩色空間可以包括 像素的[a，b]值，而且該亮度可以包括像素的L值。
又提供了一種用于在景物的數(shù)字圖像中實現(xiàn)改進型前景/ 背景分離的方法。可以采集主數(shù)字圖像。確定包括人臉的所述 主圖像的至少一個圖區(qū)，以及確定該人臉的定向。在包括該人 臉的圖像中限定前景圖區(qū)，并且還根據(jù)該定向，限定該人臉下 面的相應(yīng)圖區(qū)。
提供了一種用于在景物的數(shù)字圖像中實現(xiàn)改進型前景/背 景分離的設(shè)備。該設(shè)備包括處理器和一個或者多個用于對該處 理器編程以控制該設(shè)備執(zhí)行包括上面或者下面描述的方法的處 理器可讀介質(zhì)。


現(xiàn)在，將參考附圖描述本發(fā)明實施例，附圖中
圖l (a)示出主體的聚焦影像(in-focus image); 圖l (b)示出該圖像的DFD圖；以及
圖l (c)示出根據(jù)本發(fā)明優(yōu)選實施例部分處理的圖l (b) 所示DFD圖2示出根據(jù)本發(fā)明優(yōu)選實施例改進前景/背景分離的方 法的流程圖3 (a)示出圖l (c)所示圖像的第一色分割前景圖區(qū)； 圖3 (b)示出主體的輪廓；
圖3 (c)示出根據(jù)本發(fā)明實施例將圖3 (b)所示輪廓與圖 3 (a)所示圖區(qū)組合在一起的結(jié)果；以及
圖3 (d)示出圖3 (c)所示圖像的已識別前景圖區(qū)的圖像梓自.
Ir尼、；
圖4 (a)示出主體的另一個聚焦影像(in-focus image); 圖4 (b)示出該圖像的DFD圖4 (c)示出該圖像的的第一色分割前景圖區(qū)；以及 圖4 (d)示出根據(jù)本發(fā)明實施例將輪廓與圖4 (c)所示圖
區(qū)組合在一起的結(jié)果；以及
圖5 (a)示出主體的另一個聚焦影像；
圖5 (b)示出該圖像的第一色分割前景圖區(qū)；以及
圖5 (c)示出當(dāng)根據(jù)本發(fā)明實施例處理時該圖像的
進一步改進的色分割前景圖區(qū)；
圖6 (a)至(c)示出圖5 (a)中識別的各圖區(qū)的亮度直
方圖；圖7是示出在數(shù)字圖像中進行前景一背景分離的變換分割
方法的流程圖8示出根據(jù)圖7所示方法處理的圖像所識別的圖區(qū)；以及 圖9是示出在數(shù)字圖像中進行前景一背景分離的又一種變
換分割方法的流程圖。
具體實施例方式
在需要對數(shù)字圖像進行前景/背景分割的情況下，采用本 發(fā)明。需要這樣做的理由有許多，特別是，在圖像的前景或者 背景中的一個需要與該前景或者背景之另一分別進行后處理的 情況下，這是有用的。例如，對于紅眼檢測和校正，僅搜索和/ 或者校正前景圖區(qū)中的而不是通過整個圖像中的紅眼缺陷，計 算上可以更有效。作為一種選擇，希望僅使圖像的背景圖區(qū)模 糊。因此，越有效地使前景與背景分離，圖像的后處理效果越 好。
在優(yōu)選實施例中，利用數(shù)字照相機圖像處理軟件、硬件或 者固件，實現(xiàn)改進的前景/背景分割。可以在進行圖像采集時的 照相機空閑期間運行的背景處理過程中、或者響應(yīng)用戶與圖像 后處理軟件的交互中，執(zhí)行該分割。然而，可以看出，利用在 通用計算機上運行的圖像處理軟件，脫機同樣可以實現(xiàn)本發(fā)明。
總之，在該優(yōu)選實施例中，操作照相機的用戶選擇例如肖 像模式以及任選特定類型的肖像模式，例如，近景、中景、全 身或者全景(gro叩)。于是，在肖像模式中，照相機采集主圖 像，或者說，其實照相機通常采集該主圖像景物的一系列預(yù)覽 圖像或者后覽圖像中的一個。 一般地說，這些預(yù)覽圖像和后覽 圖像的分辨率比該主圖像低。如上所述，在圖像采集之后的某個時間，圖像處理軟件對該主圖像或者該預(yù)覽圖像/后覽圖像中 的一個計算初始前景/背景圖。
將根據(jù)作為DFD圖的初始圖描述該優(yōu)選實施例，但是應(yīng)該 明白，本發(fā)明可以應(yīng)用于如上所述的任意形式的初始前景/背景 圖。在該實施例中，根據(jù)在理想情況下，其(各)前景圖區(qū)含 有該圖主體并且按需要可利用其進行進一步圖像處理的初始 圖，即，最終前景/背景圖，進行該分割過程。
圖l (a)示出包括主體(人)IO的景物的聚焦影像，而圖 1 (b)示出獲得的DFD圖。該DFD圖通常存在許多問題，艮P:
一位于該主體附近的諸如巻簾式鐵門12的對象盡管處于 不同深度但是也呈現(xiàn)聚焦(in-focus)(這是一般情況， 但這不是希望的)，因此，可能將它錯誤地劃分為前景對 象；以及
一該DFD圖的雜訊非常高(noisy)，即，它非常不平滑。
現(xiàn)在，參看圖2，它示出了用于提供最終前景/背景圖的該DFD 圖的前景/背景分割處理
在步驟22，首先，利用高斯核，使例如圖l (b)所示的初 始DFD圖20平滑或者模糊。圖l (b)所示的DFD圖是其白色圖區(qū) 被劃分為前景、而其黑色圖區(qū)被劃分為背景的二值格式的。使 該圖平滑/模糊往往將前景圖區(qū)表示為總體較亮，而將背景圖區(qū) 表示為總體較暗。
然后，在步驟24，對在步驟22產(chǎn)生的平滑連續(xù)值圖像應(yīng)用 閾值。與初始DFD圖20相比，這樣可以提供通常具有較大并且較 平滑鄰接圖區(qū)的二值圖。然后，在步驟26，填充在步驟24獲得的二值圖的圖區(qū)，以 去除較大圖區(qū)中的小圖區(qū)。對于圖l (a)所示的初始圖像，產(chǎn) 生如圖l (c)所示的初始前景/背景圖。在此，以白色示出前景， 而以黑色示出背景?？梢钥闯觯谠搱D中，在前景主體圖區(qū)14 和應(yīng)該處于背景中的圖區(qū)16之間沒有區(qū)別。
拒絕對圖l (c)所示圖像中被劃分為背景的像素進行進一 步處理，而將該圖像的剩余圖區(qū)看作暫時地前景圖區(qū)。
在步驟30，采用適當(dāng)技術(shù)，利用顏色分割該圖像的剩余部 分。在該優(yōu)選實施例中，采用基于D. Comaniciu和P. Meer的 "Mean Shift: A Robust Approach toward Feature Space Analysis" IEEE Trans. Pattern Analysis Machine Intell.， Vol. 24， No. 5， 603-619， 2002的"mean shift"算法。通常， 該技術(shù)包括識別彩色空間內(nèi)的離散峰；以及將該圖像分割為 根據(jù)它們與這些峰的接近度標(biāo)記的圖區(qū)。
雖然可以在RGB空間內(nèi)執(zhí)行該技術(shù)，因為計算復(fù)雜關(guān)系， 所以該優(yōu)選實施例對LAB空間的前景圖區(qū)14、 16的像素的[a，b] 參數(shù)進行運算。這意味著，對于在RGB空間內(nèi)捕獲的圖像，僅需 要將候選前景圖區(qū)的像素變換為LAB空間?？傊?，應(yīng)該注意，這 種基于[a，b]的分割是亮度(LAB空間中的L)無關(guān)的。該分割產(chǎn) 生如圖3 (a)所示的圖，在該圖中，不同陰影圖區(qū)30 (a)、…30 (f)等表示通常為給定[a， b]彩色組合(color combination) 的圖區(qū)。
在根據(jù)本發(fā)明的第一改進型前景/背景分割中，提供了對 應(yīng)于該采集圖像的肖像式模板，圖3 (b)。該模板包括主體的輪 廓32?；谄谕闹黧w尺寸，可以根據(jù)該采集圖像的焦距，改 變特定輪廓的精確尺寸。可以看出，在圖3 (b)所示的輪廓32是主體的中景時，可以根據(jù)主體的期望姿態(tài)，改變輪廓線。這 可以通過用戶選擇適當(dāng)肖像模式手動鍵入，或者可以利用圖像 處理軟件預(yù)測。因此，該輪廓可能是以多種姿態(tài)中的一個的頭
景(head shot)輪廓線或者全身輪廓線，或者說，其實在全景 肖像式情況下，該輪廓是全景輪廓線。
總之，在步驟30提供的色塊(color segment)與輪廓32 組合，以僅保留與輪廓32顯著重疊的彩色圖區(qū)。因此，參看圖3
(a)，可以看出，尤其從前景圖中去除圖區(qū)30(b)、 (c)和(e)， 而尤其保留圖區(qū)30 (a)、 (d)和(f)。圖3 (c)利用陰影示出 一組最終前景圖區(qū)，并利用黑色表示最終背景圖區(qū)。然而，從 圖3 (d)可以看出，諸如圖區(qū)30(a)的子圖區(qū)30 (g)的某些圖 區(qū)仍沒有被原樣精確分割。
可以看出，子圖區(qū)30 (g) (1)和30 (g) (2)因為具有類 似的[a，b]特性，所以包括在圖區(qū)30 (a)中，相應(yīng)地，圖區(qū)30
(a)被劃分為前景圖區(qū)，而子圖區(qū)30 (g) (2)更適合被劃分 為背景。
還要承認，可能因為各種理由而(錯誤地)從該前景圖上 刪除了該前景的一些部分。例如，在圖3 (d)中，可以看出， 該主體的右側(cè)被從該前景圖上刪除，因為它不與肖像輪廓32重
參考圖4描述步驟22至34的分割的另一個例子。圖4 (a) 示出聚焦像，而圖4 (b)示出該圖像的DFD圖。圖4 (c)示出色 分害U (color segmentation)步驟30之后的分害U圖(segmented map)。圖4 (d)示出消除與對該圖像選擇的肖像式模板32不顯 著重疊的諸如40 (a)、 (b)的圖區(qū)后的最終前景/背景圖。
在這種情況下，因為色分割沒有使主體的頭發(fā)與陽臺邊緣
18圖區(qū)40 (c)分離，所以陽臺邊緣被錯誤地包括在該最終圖中， 作為前景圖區(qū)。
在又一個例子中，圖5 (a)示出主體的聚焦影像，而圖5 (b)示出在色分割步驟30之后，但在使該前景圖區(qū)與輪廓32 組合之前獲得的前景/背景圖。在該步驟，可以看到兩次分割的 贗象主體的T恤衫50和后面的電視機52被分割在一個圖區(qū)中； 同樣地，主體人臉和頭發(fā)54的一半被合并為一個圖區(qū)。后者的 缺陷(偶然)不影響最終結(jié)果，因為頭發(fā)和人臉都理想地包括 在最終前景圖中。相反，不使T恤衫50與電視機52分離將導(dǎo)致后 者(錯誤地)保留在該前景圖中。
在根據(jù)本發(fā)明的前景/背景分割的第二改進中，在步驟36， 根據(jù)亮度，分析前景圖區(qū)?？梢耘c步驟34—起、獨立于步驟34、 或者在步驟34之前或者在步驟34之后，執(zhí)行該歩驟。在該優(yōu)選 實施例中，再一次對LAB空間的前景圖區(qū)14、 16像素進行這種分 析，因此，有利于僅對像素應(yīng)用L值，正如下面所詳細描述的。
在步驟36，分析該圖像中受關(guān)注的圖區(qū)中各像素的光強， 以確定圖區(qū)的亮度分布是單峰的還是雙峰的。相應(yīng)地，通過對 該圖像的各圖區(qū)中的不同亮度子圖區(qū)應(yīng)用單峰或者雙峰閾值， 這樣可以使困難圖區(qū)具有其被良好分離的前景/背景圖區(qū)。
在圖5所示的情況下，T恤衫/電視機50/52以及頭發(fā)/人臉 對54的顯著不同之處在于亮度。在步驟36，分別計算每個已分 割前景圖區(qū)的亮度直方圖。圖6示出包括T恤衫/電視機50/52的 圖區(qū)#1的、包括頭發(fā)/人臉54的圖區(qū)#2的、以及圖區(qū)#3的亮度直 方圖，圖區(qū)tt3顯示典型的單峰分布。從圖6可以看出，應(yīng)該被進 一步分割的各圖區(qū)(即，圖區(qū)#1和2)的亮度直方圖是雙峰的， 而其他圖區(qū)(圖區(qū)#3)的亮度直方圖不是雙峰的。還應(yīng)該注意，某個圖區(qū)還可能存在多峰直方圖，這表示應(yīng) 該將該圖區(qū)分解為兩個以上的圖區(qū)。然而，這種分布的例子可 能非常少。
假定在理想情況下應(yīng)該進一步分割其亮度表現(xiàn)為雙峰分 布的圖區(qū)，則方便地將給定直方圖劃分為單峰的或者雙峰的是 有用的。參考圖6，在該優(yōu)選實施例中，這種劃分包括
(i) 使該直方圖模糊/平滑，以減小贗象；
(ii) 在該直方圖中找到最高亮度60;
(iii) 廢棄圖6 (a)所示的包圍最大坐標(biāo)的給定寬度間 隔62 (以避免檢測到偽最大值(false maximum));
(iv) 找到下一個最大值64;
(v) 分別從這兩個最大值開始，執(zhí)行模式檢測過程，以 找到相應(yīng)模式，即，圖6 (b)所示的包圍各個最大值的鐘 形分布66;
(vi-a)如果所找到的這兩種模式都包括該直方圖的顯著 部分(即，如果分別跨越包括受關(guān)注的圖區(qū)中的20%以上 像素的亮度級間隔)，則該直方圖呈現(xiàn)雙峰，而這兩個最 大值之間的間隔中的最小值68被用作為將該圖區(qū)分解為 兩個子圖區(qū)的閾值；否則，
(vi-b)該直方圖稱為單峰的，并且不做改變。
圖5 (c)示出最終分割結(jié)果，在該圖中，可以看到T恤衫/ 電視機對與頭發(fā)/人臉對正確分離。被認為是單峰的圖區(qū)不發(fā)生 變化。
利用本發(fā)明，即使在不同圖像中，即，在其背景非?？拷?br> 20主體的圖像中，也可以正確地將更多聚焦主體與背景分離。即 使在不能將背景部分與前景分離時，反之亦然，也不大可能出 現(xiàn)大的贗象，并且該最終圖更有助于進一步后處理該圖像。 在實施本發(fā)明時，有幾個實際問題需要考慮
當(dāng)由DFD圖獲得初始圖時，需要知道聚焦像與散焦像 (out-of-focus image)之間的比例因數(shù)。這需要在進行圖像采 集時從照相機配置中得到，因為它不能被自動計算。如果知道 該采集圖像的焦距，可以求得它，因此，利用該采集圖像，照 相機制造商可以得知它。
還可以看出，如果由DFD圖獲得初始圖，則根據(jù)采集這兩 個圖像之間的時間，圖像可能已經(jīng)發(fā)生某些位移?？梢钥闯?， 該主體可以相對于該背景顯著運動，或者整個景物可能因為照 相機移位而發(fā)生位移。因此，應(yīng)該在產(chǎn)生該DFD圖之前使圖像適 當(dāng)對準(zhǔn)。
如上所述，利用高清晰度圖像或者諸如預(yù)覽圖像或者后覽 圖像的分抽樣的該圖像，可以實施本發(fā)明。實際上，后者是必 需的，因為照相機制造商決定加倍高清晰度圖像采集，以預(yù)防 高清晰度DFD圖不可用?？墒?，利用包括高清晰度圖像的和預(yù)覽 圖像/后覽圖像的一對圖像，甚或用于前景/背景映射的一對預(yù) 覽圖像/后覽圖像就足夠了，并且從計算效率的觀點出發(fā)，這樣 也更可取。
還可以看出，為了計算該DFD圖，不適于將景物的閃光圖 像和非閃光圖像混合。因此，如果利用閃光燈采集主圖像，則 盡管與該主圖像相比分辨率不同，但是非閃光預(yù)覽和后覽圖像 最好用于提供前景/背景圖。
在本發(fā)明的又一個方面，提供了在數(shù)字圖像中進行前景一背景分離的進一步改進型分割方法。
在圖1至6所示的實施例中，肖像式輪廓32被存儲在數(shù)據(jù)庫 中，用于與圖像的色塊進行比較。
然而，可以發(fā)現(xiàn)，通過檢測一個或者多個人臉在圖像中的 位置和定向(orientation),然后，附加到該人臉圖區(qū)或者每個 人臉圖區(qū)、優(yōu)選包括該人臉定向所示的人臉圖區(qū)下面的垂直區(qū) 域(column)的各區(qū)域上，可以提供替代輪廓。與前面相同， 可以認為包括每個人臉圖區(qū)和相關(guān)垂直區(qū)域的輪廓僅包括前景 像素。
在可以利用該輪廓代替圖1至6所示的(各)輪廓32時，這 樣推測的(各)前景垂直區(qū)域提供的信息也可以改進將該圖像 分離為前景和背景，正如下面所詳細描述的。
現(xiàn)在參考圖7，該圖示出本實施例的流程圖。
在700，采集圖像。與前面相同，該圖像或者是預(yù)覽圖像 或者后覽圖像，或者包括降抽樣的主采集圖像。
或者在該采集圖像中檢測人臉，或者如果在包括該采集圖 像的圖像流中的先前圖像中檢測到人臉，則跟蹤該人臉圖區(qū)， 以在710,確定人臉在該采集圖像中的位置及其定向。正如2006 年8月11日提交的第60/746，363號美國專利申請所披露的，不僅 跟蹤檢測到的人臉而且優(yōu)選地進行位置和定向的檢測。
利用檢測到的/跟蹤的人臉的定向確定在該人臉方向上位 于檢測到的人臉下面的區(qū)域，并且該合成人臉圖區(qū)和相關(guān)區(qū)域 提供被認為僅含有前景像素的輪廓模板。
現(xiàn)在，參考圖8，對應(yīng)于圖5 (a)所示圖像的采集圖像IO 包括主體，并且檢測和/或者跟蹤位于該圖區(qū)80內(nèi)的主體人臉。 已知人臉定向，限定包圍人臉圖區(qū)80并從人臉圖區(qū)80的底部延
22伸到該圖像邊緣的圖區(qū)82。
可以看出，許多獨立對象位于圖區(qū)82內(nèi)或者與圖區(qū)82相 交。在該例中，這些可能包括包圍主體的恤衫(A)、主體的頸 部和人臉右側(cè)(B)、主體的人臉左側(cè)(C)以及主體的頭發(fā)(D) 的圖區(qū)。
在步驟730，優(yōu)選利用對包括但并不局限于對圖1至6所示 實施例描述的圖像的彩色圖像或者灰度級圖像施加的諸如 Color Wizard、邊緣檢測或者其他圖區(qū)分離技術(shù)的彩色對象檢 測技術(shù)，分割這些對象。在本實施例中，在740，指定在步驟730 識別的并且位于圖區(qū)82內(nèi)或者與圖區(qū)82相交的每個對象A…D作 為前景對象(至少它與圖區(qū)82相交)。
在步驟750，優(yōu)選進一步對與圖區(qū)82相交的每個前景對象 進行亮度分析，以確定該對象的亮度分布是如上所述的單峰的 或者是雙峰的。對與該圖區(qū)82相交的對象中的不同亮度子對象 應(yīng)用單峰或者雙峰閾值可以更好地分離前景/背景對象。因此， 先前被識別為前景的對象現(xiàn)在可以包括被識別為前景對象的子 對象和被識別為背景對象的子對象。
此外，優(yōu)選對LAB空間的前景對象像素進行該分析，這樣 有利于僅使用像素的L值。
在760，在步驟740以及任選在步驟750識別的、不位于圖 區(qū)82內(nèi)或者不與圖區(qū)82相交的任意對象(或者子對象)被指定 為背景對象。這樣，將該圖像分離為前景對象和背景對象。
在本發(fā)明的該實施例中，僅對該圖像包括圖區(qū)82的限定部 分進行全景/背景分割。在本發(fā)明的又一個方面中，提供了一種 對整個數(shù)字圖像進行前景一背景分割的進一步改進型分割方 法。現(xiàn)在，參看圖9，該圖示出了本實施例的流程圖。 在900、 905，采集表面上為同一個景物的第一圖像和第二 圖像。與前面相同，這些圖像可以是預(yù)覽圖像或者后覽圖像， 或者包括降抽樣的主采集圖像。對于該實施例，利用閃光燈拍 攝該圖像中的一個，而其另一圖像采用無閃光燈拍攝，以得到 圖像之間的曝光量差。
調(diào)準(zhǔn)各圖像(未示出)，以便在步驟900至950 (對應(yīng)于圖7 所示步驟700至步驟750)在該圖像中識別的對象塊(object segment)被認為與在步驟905采集的該圖像的各塊(segment) 對應(yīng)。
在利用顏色對在步驟940/950中識別的前景對象進行分割
的情況下，每個對象均包含具有多種特定彩色特性中的一個， 例如LAB空間內(nèi)的相近AB值，的許多像素。
圖9所示的實施例基于假定每個前景對象彩色組合具有相 關(guān)平均反射特性h該相關(guān)平均反射特性々表示具有相同彩色組 合的任意前景對象的期望特性。因此，通過將該圖像中任意對 象的平均反射特性A與被識別的具有相同彩色組合的前景對象
的平均反射特性^進行比較，可以將該對象識別為前景或者背
旦 牙、。
因此，在該實施例中，將對其執(zhí)行了人臉檢測/跟蹤的采 集圖像與該景物的第二圖像進行比較，以在960，根據(jù)下面的等 式，確定調(diào)準(zhǔn)圖像中每個對象的平均反射特性h
"-￡ 〉
月a" "W。M-ito/;— ^
24其中"k力是該閃光圖像中的對象的亮度，而4,^^是該非閃光 圖像中的相應(yīng)對象的亮度。如果該值D0，則該對象是反射的； 而如果K0，則該對象是不反射的，由于干擾或者雜訊可以出現(xiàn) 這種情況。
在步驟970，對于與被識別的前景對象具有相同彩色組合 的每個未標(biāo)記的對象，即，不與圖區(qū)82相交或者不位于圖區(qū)82 內(nèi)的對象，將其平均反射特性^與根據(jù)相關(guān)前景對象的平均反射 特性^求得的閾值^進行比較。因此，例如，在圖8中，所計算 的閾值^h是每個對象A…D的平均反射特性A的70X ，而且對每 個未標(biāo)記對象分別計算反射特性h將每個未標(biāo)記對象的反射特 性A與對象A至D中顏色對應(yīng)于該未標(biāo)記對象的那個的閾值hh進 行比較。
因此，在本實施例中，如果該未標(biāo)記對象具有約大于該相 關(guān)前景對象的70%的平均反射特性4，則在980，將它識別為前 景對象。反之，在990，將它識別為背景對象。
如果未標(biāo)記對象包括其彩色組合與被識別的前景對象之 任一的彩色組合不對應(yīng)的像素，則利用具有最相似彩色組合的 被識別前景對象，例如，對象A…D，估計該顏色的對象的閾值 Ath。
在圖7和9所示的實施例中，所有與圖塊(section)相交 的對象或者子對象均被認為是前景對象。在這些實施例的變型 中，進一步根據(jù)其平均反射特性h對與在步驟940/950識別的 圖區(qū)82相交的前景對象進行進一步亮度分析。
因此，全部位于圖區(qū)82內(nèi)的每個相交對象的子圖區(qū)被確認 為前景對象?，F(xiàn)在，對位于圖區(qū)82外的對象的每個像素，計算 反射特性。如果從圖區(qū)82伸出，則逐個像素地將和該子圖區(qū)相
25鄰的對象像素與具有圖區(qū)82的對象子圖區(qū)的反射特性進行比 較。此外，如果像素值大于反射特性A的閾值比，例如，70%， 則確認它是前景像素。因此，該子圖區(qū)被延伸，或者直到該對 象的所有像素被確認為前景，或者直到與該延伸子圖區(qū)相鄰的 所有像素被劃分為背景之前。然后，使該延伸圖區(qū)平滑并填充 該延伸圖區(qū)中的孔，之后，最終確定該前景/背景圖。
權(quán)利要求
1. 一種用于在景物的數(shù)字圖像中實現(xiàn)前景/背景分離的方法，包括提供第一圖，該第一圖包括主數(shù)字圖像中的一個或多個圖區(qū)，所述一個或多個圖區(qū)中的每一個具有一個或多個帶有共同特性的像素；提供主體輪廓，該主體輪廓對應(yīng)于所述主數(shù)字圖像中的受關(guān)注的圖區(qū)；將一個或多個所述圖區(qū)與所述主體輪廓進行比較，以確定所述一個或多個圖區(qū)中的任一個是否與所述輪廓圖區(qū)相交；以及根據(jù)所述比較，指定所述圖區(qū)中的一個或多個作為前景圖區(qū)。
2. 根據(jù)權(quán)利要求l所述的方法，其中提供所述第一圖包括 暫時地將圖像的每個圖區(qū)限定為前景或背景，并且其中所述一 個或多個圖區(qū)包括至少一個暫時被限定為前景的圖區(qū)。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述指定包括 將前景圖區(qū)與所述主體輪廓進行比較；以及 根據(jù)所述前景圖區(qū)基本上不與所述主體輪廓相交而作出響應(yīng)，將所述前景圖區(qū)的指定變更為背景圖區(qū)。
4. 根據(jù)權(quán)利要求l所述的方法，其中提供所述第一圖基于 將表面上為所述景物的兩個或以上的圖像進行比較。
5. 根據(jù)權(quán)利要求4所述的方法，其中被比較的所述兩個或 以上的圖像中的一個或多個圖像包括所述主數(shù)字圖像的低分辨 率圖像。
6. 根據(jù)權(quán)利要求4所述的方法，其中被比較的所述兩個或以上圖像中的一個包括所述主數(shù)字圖像。
7. 根據(jù)權(quán)利要求4所述的方法，進一步包括調(diào)準(zhǔn)被比較的 所述兩個或以上圖像。
8. 根據(jù)權(quán)利要求4所述的方法，進一步包括將被比較的所 述兩個或以上圖像的分辨率進行匹配。
9. 根據(jù)權(quán)利要求4所述的方法，其中，被比較的所述兩個 或以上圖像中的至少一個圖像是在所述主數(shù)字圖像剛剛被捕獲 之前或之后時捕獲的。
10. 根據(jù)權(quán)利要求l所述的方法，其中提供所述第一圖包括提供兩個或以上圖像，該兩個或以上圖像中的每一個的聚 焦不同，并且表面上為所述景物；由所述圖像計算離焦深度圖，將所述主數(shù)字圖像的像素表 示為前景或背景；使所述聚焦圖模糊；將所述模糊圖限定為中間聚焦圖，該中間聚焦圖將圖區(qū)表 示為前景或背景，以；以及填充所述中間聚焦圖中的圖區(qū)，以提供所述第一圖。
11. 根據(jù)權(quán)利要求l所述的方法，其中提供所述第一圖包括提供兩個或以上圖像，該兩個或以上圖像中的每一個的聚 焦不同，并且表面上為所述景物；以及將所述圖像中的相應(yīng)圖區(qū)的高頻系數(shù)進行比較，以確定所 述圖區(qū)是前景還是背景，從而提供所述第一圖。
12. 根據(jù)權(quán)利要求l所述的方法，其中提供所述第一圖包括提供兩個或以上圖像，該兩個或以上圖像曝光量不同且表面上為所述景物；以及將所述圖像中的相應(yīng)圖區(qū)的亮度級進行比較，以確定所述 圖區(qū)是前景還是背景，從而提供所述第一圖。
13. 根據(jù)權(quán)利要求l所述的方法，其中，該方法可以在數(shù) 字圖像采集裝置中運行，所述裝置被布置以根據(jù)所述主數(shù)字圖 像的內(nèi)容選擇所述主體輪廓。
14. 根據(jù)權(quán)利要求l所述的方法，其中，該方法可以在數(shù) 字圖像采集裝置中運行，所述裝置被布置為以肖像模式工作， 并且其中所述主體輪廓包括人的輪廓線。
15. 根據(jù)權(quán)利要求14所述的方法，其中所述輪廓線包括多 個用戶可選的輪廓線中的一個。
16. 根據(jù)權(quán)利要求14所述的方法，其中根據(jù)所述主數(shù)字圖 像的內(nèi)容，從多個輪廓線中自動選擇所述輪廓線。
17. 根據(jù)權(quán)利要求l所述的方法，其中，該方法可以在通 用的計算機中運行，并且該通用計算機被布置以接收與所述主 數(shù)字圖像相關(guān)的所述第一圖。
18. 根據(jù)權(quán)利要求l所述的方法，其中，該方法可以在通 用計算機中運行，并且該通用計算機被布置以接收一個或多個 附加圖像，該附加圖像表面上為所述景物，并與所述主數(shù)字圖 像相關(guān)，并且該通用計算機被布置以根據(jù)所述一個或多個附加 圖像和所述主數(shù)字圖像中的任意組合，計算所述第一圖。
19. 根據(jù)權(quán)利要求l所述的方法，其中所述提供主體輪廓 包括確定包括人臉的所述圖像的至少一個圖區(qū)； 確定所述主圖像中的所述至少一個人臉的定向；以及根據(jù)所述定向，限定所述主體輪廓包括所述主圖像中的所 述至少一個人臉圖區(qū)以及所述人臉圖區(qū)下面的相應(yīng)圖區(qū)。
20. 根據(jù)權(quán)利要求19所述的方法，其中所述提供第一圖包括分析彩色空間內(nèi)的主數(shù)字圖像的至少一個圖區(qū)，以確定所 述圖區(qū)中的顏色分布，所述顏色分布具有多個不同色峰；以及 根據(jù)像素顏色與所述色峰的接近度，分割所述圖區(qū)。
21. 根據(jù)權(quán)利要求20所述的方法，其中所述比較包括對 于與所述主體輪廓相交的每個圖區(qū)，計算基準(zhǔn)反射特性；對于不與所述主體輪廓相交的每個圖區(qū)，計算反射特性；以及將非相交圖區(qū)反射特性與顏色對應(yīng)于所述非相交圖區(qū)的圖 區(qū)的基準(zhǔn)反射特性進行比較；以及其中所述指定包括當(dāng)確定所述非相交圖區(qū)反射特性在所 述基準(zhǔn)反射特性的閾值范圍內(nèi)時，將非相交圖區(qū)指定為前景。
22. 根據(jù)權(quán)利要求21所述的方法，包括提供表面上為所述 景物的第二圖像；以及作為所述主圖像和第二圖像的相應(yīng)圖區(qū) 之間的亮度級差的函數(shù)，計算所述反射特性。
23. 根據(jù)權(quán)利要求19所述的方法，其中所述主圖像是圖像 流中的一個，并且其中確定包括人臉的所述主圖像的至少一個 圖區(qū)包括在所述主圖像之前采集的所述流的至少一個圖像中，檢測 人臉；以及通過所述圖像流跟蹤該人臉，以確定所述主圖像中的所述 人臉圖區(qū)。
24. —種用于在景物的數(shù)字圖像中實現(xiàn)前景/背景分離的方法，包括提供第一圖，該第一圖包括在主數(shù)字圖像中暫時被限定為 前景或背景中的一個的一個或多個圖區(qū)；分析所述圖區(qū)中的一個或多個圖區(qū)，以確定該圖區(qū)的像素 的亮度分布；根據(jù)圖區(qū)的所述亮度分布具有一個以上的不同亮度峰而作 出響應(yīng)，并且根據(jù)像素亮度與所述亮度峰的接近度，將所述圖 區(qū)劃分為一個以上子圖區(qū)；以及根據(jù)所述劃分，改變在所述圖中指定所述子圖區(qū)。
25. 根據(jù)權(quán)利要求24所述的方法，進一步包括 提供對應(yīng)于所述主數(shù)字圖像的受關(guān)注的圖區(qū)的主體輪廓； 將所述一個或多個暫時被限定圖區(qū)中的至少一些與所述主體輪廓進行比較，以確定所述第一圖的所述圖區(qū)或子圖區(qū)中的 任一個是否與所述輪廓圖區(qū)相交；根據(jù)所述比較，在所述圖中改變指定一個或多個所述圖區(qū) 或子圖區(qū)。
26. 根據(jù)權(quán)利要求24所述的方法，其中提供所述第一圖包括分析彩色空間中的數(shù)字圖像的至少一些圖區(qū)，以確定所述 圖區(qū)中的顏色分布，所述顏色分布具有多個不同色峰；以及 根據(jù)與所述色峰的接近度，分割所述圖區(qū)。
27. 根據(jù)權(quán)利要求26所述的方法，其中所述分析圖區(qū)是所 述第一圖中暫時被限定為前景的圖區(qū)。
28. 根據(jù)權(quán)利要求26所述的方法，其中在LAB空間中提供 所述數(shù)字圖像，并且其中所述彩色空間包括像素的[a，b]值，并 且其中所述亮度包括像素的L值。
29. —種用于在景物的數(shù)字圖像中實現(xiàn)改進型前景/背景分離的方法，包括釆集主數(shù)字圖像；確定包括人臉的所述主圖像的至少一個圖區(qū)； 確定所述主圖像中的所述至少一個人臉的定向；以及 根據(jù)所述定向，限定包括所述圖像中的所述至少一個人臉 圖區(qū)和所述人臉圖區(qū)下面的相應(yīng)圖區(qū)的所述圖像的前景圖區(qū)。
30. —種用于在景物的數(shù)字圖像中實現(xiàn)改進型前景/背景 分離的設(shè)備，包括處理器和一個或多個處理器可讀介質(zhì)，該處 理器可讀介質(zhì)用于對該處理器編程以控制該設(shè)備執(zhí)行包括如下 的方法釆集主數(shù)字圖像；提供第一圖，該第一圖包括主數(shù)字圖像中暫時被限定為前 景或背景的一個或多個圖區(qū)，所述一個或多個圖區(qū)中的每一個 具有一個或多個帶有共同特性的像素；提供主體輪廓，該主體輪廓對應(yīng)于所述主數(shù)字圖像中的受 關(guān)注的圖區(qū)的；將所述一個或多個暫時限定 輪廓進行比較，以確定所述圖區(qū) 區(qū)相交；以及根據(jù)所述比較，改變在所述 個圖區(qū)指定為前景圖區(qū)。
31. —種用于在景物的數(shù)字圖像中實現(xiàn)前景/背景分離的 設(shè)備，包括處理器和一個或多個處理器可讀介質(zhì)，該處理器可 讀介質(zhì)用于對該處理器編程以控制該設(shè)備執(zhí)行包括如下的方 法圖區(qū)中的至少一些與所述主體 中的任一個是否與所述輪廓中將所述圖區(qū)中的一個或多采集主數(shù)字圖像；提供第一圖，該第一圖包括主數(shù)字圖像中暫時被限定為前 景或背景的一個或多個圖區(qū)；分析所述圖區(qū)中的一個或多個圖區(qū)，以確定該圖區(qū)的像素 的亮度分布；根據(jù)圖區(qū)的所述亮度分布具有一個以上的不同亮度峰而作 出響應(yīng)，并且根據(jù)像素亮度與所述亮度峰的接近度，將所述圖 區(qū)劃分為一個以上子圖區(qū)；以及根據(jù)所述劃分，改變在所述圖中指定至少一個所述子圖區(qū)。
32. —種用于在景物的數(shù)字圖像中實現(xiàn)前景/背景分離的 設(shè)備，包括處理器和一個或多個處理器可讀介質(zhì)，該處理器可 讀介質(zhì)用于對該處理器編程以控制該設(shè)備執(zhí)行包括如下的方法 的處理器采集主數(shù)字圖像；確定包括人臉的所述主圖像的至少一個圖區(qū)； 確定所述人臉的定向；以及根據(jù)所述定向，限定包括所述主圖像中的所述人臉和所述 人臉下面的相應(yīng)圖區(qū)的所述圖像的前景圖區(qū)。
全文摘要
披露了一種用于在景物的數(shù)字圖像中實現(xiàn)改進型前景/背景分離的方法。該方法包括提供包括一個或者多個被暫時地限定為該數(shù)字圖像中的前景/背景的圖區(qū)的第一圖；提供對應(yīng)于該數(shù)字圖像的感興趣圖區(qū)的主體輪廓。將該暫時地限定圖區(qū)與該主體輪廓進行比較，以確定該圖區(qū)之任一是否與該輪廓圖區(qū)相交。根據(jù)該比較，改變在該圖像中限定一個或者多個圖區(qū)。
文檔編號G06K9/34GK101443791SQ200780015914
公開日2009年5月27日 申請日期2007年5月3日 優(yōu)先權(quán)日2006年5月3日
發(fā)明者埃蘭·斯坦伯格, 尤里·普里盧茨基, 彼得·科科倫, 彼得羅內(nèi)爾·比焦伊, 米哈伊·丘克, 阿列克謝·波索賽因, 阿德里安·卡帕塔, 阿德里安·扎姆菲爾 申請人:快圖影像有限公司