本公開涉及背景前景分割、人體識別以及虛擬現(xiàn)實等領(lǐng)域，更具體地，涉及一種能夠?qū)崿F(xiàn)無需任何用戶交互的自動對象提取的對象提取方法和對象提取設(shè)備。

背景技術(shù)：

對象提取是計算機視覺的基本研究問題，也是近幾年來比較熱門的研究方向之一。對象提取是指從圖像或視頻序列中提取出感興趣的前景物體。由于光改變以及攝像裝置自動白平衡，從背景中提取前景對象是具有挑戰(zhàn)性的任務(wù)。對于人工智能、面部檢測、以及其他應(yīng)用，前景對象提取是非常有用的。隨著計算機視覺的發(fā)展，涌現(xiàn)了大量的圖像和視頻對象提取算法。這些算法可分為交互式對象提取和自動對象提取兩類。近幾年，交互式對象提取研究已經(jīng)有了很大的發(fā)展和提高；然而，由于對象提取本身的二義性，對于完全自動對象提取仍然是一個挑戰(zhàn)性任務(wù)。對于復雜場景的對象提取，無需任何用戶交互的自動對象提取是極其困難的。因此，大部分對象提取算法都基于用戶交互。然而，自動對象提取算法在某些特定的領(lǐng)域有著非常重要的應(yīng)用，如網(wǎng)絡(luò)會議、視頻聊天、手機攝像等嵌入式設(shè)備的應(yīng)用。

技術(shù)實現(xiàn)要素：

在下文中給出了關(guān)于本公開的簡要概述，以便提供關(guān)于本公開的某些方面的基本理解。但是，應(yīng)當理解，這個概述并不是關(guān)于本公開的窮舉性概述。它并不是意圖用來確定本公開的關(guān)鍵性部分或重要部分，也不是意圖用來限定本公開的范圍。其目的僅僅是以簡化的形式給出關(guān)于本公開的某些概念，以此作為稍后給出的更詳細描述的前序。

鑒于以上問題，本公開的目的是提供一種新穎且魯棒的對象提取方法和對象提取設(shè)備，其能夠?qū)崿F(xiàn)無需任何用戶交互的自動對象提取。

根據(jù)本公開的一方面，提供了一種用于在視頻序列中提取前景對象的對象提取方法，包括：背景圖像二值化邊緣圖提取步驟，用于計算背景圖像中的每個像素的梯度和梯度方向，通過將背景圖像中的每個像素的梯度與第一閾值比較，提取背景圖像的二值化邊緣圖；當前幀二值化邊緣圖提取步驟，用于計算包括前景對象的當前幀中的每個像素的梯度和梯度方向，通過將當前幀中的每個像素的梯度與第二閾值比較，提取當前幀的二值化邊緣圖；前景對象二值化邊緣圖提取步驟，用于基于背景圖像的二值化邊緣圖和當前幀的二值化邊緣圖、以及背景圖像中的像素的梯度方向和當前幀中的像素的梯度方向，提取前景對象的二值化邊緣圖；前景對象邊界單元查找步驟，用于將前景對象的二值化邊緣圖中的包括前景對象的區(qū)域劃分成具有預定大小的單元，找到位于前景對象的邊界處的邊界單元；以及前景對象掩膜獲得步驟，用于將邊界單元分割為前景邊界部分和背景部分，以得到前景對象的邊界，從而利用前景對象的邊界得到前景對象的掩膜。

根據(jù)本公開的另一方面，還提供了一種用于在視頻序列中提取前景對象的對象提取設(shè)備，包括：背景圖像二值化邊緣圖提取模塊，被配置成計算背景圖像中的每個像素的梯度和梯度方向，通過將背景圖像中的每個像素的梯度與第一閾值比較，提取背景圖像的二值化邊緣圖；當前幀二值化邊緣圖提取模塊，被配置成計算包括前景對象的當前幀中的每個像素的梯度和梯度方向，通過將當前幀中的每個像素的梯度與第二閾值比較，提取當前幀的二值化邊緣圖；前景對象二值化邊緣圖提取模塊，被配置成基于背景圖像的二值化邊緣圖和當前幀的二值化邊緣圖、以及背景圖像中的像素的梯度方向和當前幀中的像素的梯度方向，提取前景對象的二值化邊緣圖；前景對象邊界單元查找模塊，被配置成將前景對象的二值化邊緣圖中的包括前景對象的區(qū)域劃分成具有預定大小的單元，找到位于前景對象的邊界處的邊界單元；以及前景對象掩膜獲得模塊，被配置成將邊界單元分割為前景邊界部分和背景部分，以得到前景對象的邊界，從而利用前景對象的邊界得到前景對象的掩膜。

根據(jù)本公開的其它方面，還提供了用于實現(xiàn)上述根據(jù)本公開的方法的計算機程序代碼和計算機程序產(chǎn)品以及其上記錄有該用于實現(xiàn)上述根據(jù)本公開的方法的計算機程序代碼的計算機可讀存儲介質(zhì)。

在下面的說明書部分中給出本公開實施例的其它方面，其中，詳細說明用于充分地公開本公開實施例的優(yōu)選實施例，而不對其施加限定。

附圖說明

本公開可以通過參考下文中結(jié)合附圖所給出的詳細描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中并形成說明書的一部分，用來進一步舉例說明本公開的優(yōu)選實施例和解釋本公開的原理和優(yōu)點。其中：

圖1是示出根據(jù)本公開的實施例的用于在視頻序列中提取前景對象的對象提取方法的流程示例的流程圖；

圖2是示出根據(jù)本公開的實施例的所獲得的平均背景圖像的示例的圖；

圖3是示出根據(jù)本公開的實施例的當前幀的示例的圖；

圖4是示出根據(jù)本公開的實施例的用于計算邊緣圖的模板的示例的圖；

圖5是示出根據(jù)本公開的實施例的背景圖像的二值化邊緣圖的示例的圖；

圖6是示出根據(jù)本公開的實施例的當前幀的二值化邊緣圖的示例的圖；

圖7是示出根據(jù)本公開的實施例的初步的前景對象的二值化邊緣圖的示例的圖；

圖8是示出根據(jù)本公開的實施例的前景對象的二值化邊緣圖的示例的圖；

圖9是示出根據(jù)本公開的實施例的包括前景對象的區(qū)域的示例的圖；

圖10是示出根據(jù)本公開的實施例的對前景對象的邊緣進行連接的示例的圖；

圖11是示出根據(jù)本公開的實施例的邊界單元的示例的圖；

圖12是示出根據(jù)本公開的實施例的在通過線掃描方法確定前景邊界部分的處理中的掃描方向的示例的圖；

圖13是示出根據(jù)本公開的實施例的前景對象的掩膜的示例的圖；

圖14是示出根據(jù)本公開的實施例的前景對象的平滑后的邊界的示例 的圖；

15是示出根據(jù)本公開的實施例的將前景對象置于虛擬環(huán)境中的示例的圖；

16是示出根據(jù)本公開的實施例的對象提取設(shè)備的功能配置示例的框圖；以及

圖17是示出作為本公開的實施例中可采用的信息處理設(shè)備的個人計算機的示例結(jié)構(gòu)的框圖。

具體實施方式

在下文中將結(jié)合附圖對本公開的示范性實施例進行描述。為了清楚和簡明起見，在說明書中并未描述實際實施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復雜和費時的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。

在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本公開，在附圖中僅僅示出了與根據(jù)本公開的方案密切相關(guān)的設(shè)備結(jié)構(gòu)和/或處理步驟，而省略了與本公開關(guān)系不大的其它細節(jié)。

下面結(jié)合附圖詳細說明根據(jù)本公開的實施例。

首先，將參照圖1描述根據(jù)本公開的實施例的用于在視頻序列中提取前景對象的對象提取方法的流程示例。圖1是示出根據(jù)本公開的實施例的用于在視頻序列中提取前景對象的對象提取方法的流程示例的流程圖。

如圖1所示，根據(jù)本公開的實施例的對象提取方法可包括背景圖像二值化邊緣圖提取步驟S102、當前幀二值化邊緣圖提取步驟S104、前景對象二值化邊緣圖提取步驟S106、前景對象邊界單元查找步驟S108、以及前景對象掩膜獲得步驟S110。以下將分別詳細描述各個步驟中的處理。

首先，在背景圖像二值化邊緣圖提取步驟S102中，可以計算背景圖像中的每個像素的梯度和梯度方向，通過將背景圖像中的每個像素的梯度與第一閾值比較，提取背景圖像的二值化邊緣圖。

在背景圖像二值化邊緣圖提取步驟S102中，可以通過計算視頻序列 中的預定數(shù)量的在前幀中對應(yīng)位置處的像素的均值，得到背景圖像。

即，對于視頻序列中的預定數(shù)量的在前幀，可以通過計算這些幀中對應(yīng)位置處的像素的均值，學習出這些幀的平均背景。而在學習固定的背景的過程中，前景物體可以在視野內(nèi)走動，可以通過上述平均計算來在固定背景中消除前景物體的影響。圖2是示出根據(jù)本公開的實施例的所獲得的平均背景圖像的示例的圖。在以下描述中，為了方便描述，將所獲得的平均背景圖像簡稱為背景圖像。

優(yōu)選地，在背景圖像二值化邊緣圖提取步驟S102中，可以分別計算背景圖像中的像素的R、G和B分量的梯度，并且可以將R、G和B分量的梯度中的最大梯度作為該像素的梯度。

優(yōu)選地，在背景圖像二值化邊緣圖提取步驟S102中，可以分別計算背景圖像中的像素的R、G和B分量的梯度方向，并且可以將R、G和B分量的梯度方向中的最大梯度方向作為該像素的梯度方向。

優(yōu)選地，第一閾值TH1可以是根據(jù)經(jīng)驗確定的值，本領(lǐng)域技術(shù)人員還可以想到確定第一閾值TH1的其他方法，本公開對此不做限制。

在當前幀二值化邊緣圖提取步驟S104中，可以計算包括前景對象的當前幀中的每個像素的梯度和梯度方向，通過將當前幀中的每個像素的梯度與第二閾值比較，提取當前幀的二值化邊緣圖。

圖3是示出根據(jù)本公開的實施例的當前幀的示例的圖。

優(yōu)選地，在當前幀二值化邊緣圖提取步驟S104中，可以分別計算當前幀中的像素的R、G和B分量的梯度，并且可以將R、G和B分量的梯度中的最大梯度作為該像素的梯度。

在當前幀二值化邊緣圖提取步驟S104中，可以分別計算當前幀中的像素的R、G和B分量的梯度方向，并且可以將R、G和B分量的梯度方向中的最大梯度方向作為該像素的梯度方向。

優(yōu)選地，第二閾值TH2可以是根據(jù)經(jīng)驗確定的值，本領(lǐng)域技術(shù)人員還可以想到確定第二閾值TH2的其他方法，本公開對此不做限制。

優(yōu)選地，在計算背景圖像和當前幀中的像素的梯度時，可以利用Haar算子計算圖像的邊緣圖。圖4是示出根據(jù)本公開的實施例的用于計算邊緣圖的模板的示例的圖。

邊緣圖的計算方法如下：首先采用圖4中左側(cè)的模板對整張圖像進行 卷積操作計算水平方向的梯度值，例如k＝5，則模板為5x11的模板，圖4中左側(cè)模板的白色部分權(quán)重為-1、灰色部分權(quán)重為1，卷積操作后求和得到值，歸一化后即為中心像素的梯度值。同樣可以采用右側(cè)的模板計算垂直方向的梯度值。對于每個像素，對R、G和B三通道分別計算水平和垂直方向的梯度值Dx_r、Dy_r、Dx_g、Dy_g、Dx_b、Dy_b，然后分別歸一化、取二范數(shù)(例如，)，計算出的R、G和B通道的梯度中的最大值作為該像素的梯度值。

除了如上所述利用Haar算子計算圖像的邊緣圖之外，本領(lǐng)域技術(shù)人員還可以想到采用其他模板計算圖像的邊緣圖，本公開對此不做限制。

當計算出背景圖像和當前幀的梯度圖(灰度圖)之后，需要對背景圖像和當前幀的梯度圖進行二值化?？梢酝ㄟ^將背景圖像中的每個像素的梯度與第一閾值TH1比較，提取背景圖像的二值化邊緣圖。圖5是示出根據(jù)本公開的實施例的背景圖像的二值化邊緣圖的示例的圖。另外，可以通過將當前幀中的每個像素的梯度與第二閾值TH2比較，提取當前幀的二值化邊緣圖。圖6是示出根據(jù)本公開的實施例的當前幀的二值化邊緣圖的示例的圖。

優(yōu)選地，第一閾值TH1小于第二閾值TH2。如可以從圖5和圖6看出的，TH1小于TH2的好處是：與背景圖像的二值化邊緣圖相比，當前幀的二值化邊緣圖中屬于背景的邊緣更細。

另外，可以根據(jù)如上計算出的梯度來計算像素的R、G、B三通道的梯度方向arctan(Dy_r/Dx_r)、arctan(Dy_g/Dx_g)、arctan(Dy_b/Dx_b)，并可以選取R、G、B三通道的梯度方向的最大值作為該像素的梯度方向。

在前景對象二值化邊緣圖提取步驟S106中，可以基于背景圖像的二值化邊緣圖和當前幀的二值化邊緣圖、以及背景圖像中的像素的梯度方向和當前幀中的像素的梯度方向，提取前景對象的二值化邊緣圖。

優(yōu)選地，在前景對象二值化邊緣圖提取步驟S106中，可以將當前幀的二值化邊緣圖與背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值相減而得到像素差值，在像素差值小于或等于0的情況下，將前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第一值，而在像素差值大于0的情況下，將前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第二值。

優(yōu)選地，第一值可以為0(圖像中具有值為0的像素為黑色像素)，第二值可以為255(圖像中具有值為255的像素為白色像素)。

假設(shè)背景圖像的二值化邊緣圖中像素的像素值為Va、當前幀的二值化邊緣圖中的對應(yīng)位置的像素的像素值為Vb、以及前景對象的二值化邊緣圖的對應(yīng)位置的像素的像素值為v。其中，在Vb-Va的值小于或等于0的情況下，v為0；而在Vb-Va的值大于0的情況下，v為255。經(jīng)過上述相減運算，可以得到初步的前景對象的二值化邊緣圖。圖7是示出根據(jù)本公開的實施例的初步的前景對象的二值化邊緣圖的示例的圖。

優(yōu)選地，在當前幀的二值化邊緣圖與背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值均為第二值時，將當前幀與背景圖像中的對應(yīng)位置的像素的梯度方向相減而得到梯度方向差值，在梯度方向差值大于第三閾值的情況下，將前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第二值。

即，如果當前幀與背景圖像的對應(yīng)位置均是邊緣，但是該位置處的像素在當前幀與背景圖像中的梯度方向差大于第三閾值TH3(即，背景圖像和當前幀中的前景對象的對應(yīng)位置均為邊緣的情況，例如圖7中頭部的缺口)，我們認為在當前幀中該像素屬于前景對象的邊緣，將前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為255。圖8是示出根據(jù)本公開的實施例的前景對象的二值化邊緣圖的示例的圖。如可以從圖8中看出的，可以利用梯度方向保留前景對象的邊緣。

優(yōu)選地，第三閾值TH3可以是根據(jù)經(jīng)驗確定的值，本領(lǐng)域技術(shù)人員還可以想到確定第三閾值TH3的其他方法，本公開對此不做限制。

接下來，在前景對象邊界單元查找步驟S108中，可以將前景對象的二值化邊緣圖中的包括前景對象的區(qū)域劃分成具有預定大小的單元，找到位于前景對象的邊界處的邊界單元。

優(yōu)選地，在前景對象邊界單元查找步驟S108中，通過從前景對象的二值化邊緣圖的上邊界、下邊界、左邊界以及右邊界分別向中心掃描，得到前景對象的二值化邊緣圖中的包括前景對象的區(qū)域。

圖9是示出根據(jù)本公開的實施例的包括前景對象的區(qū)域的示例的圖。

結(jié)合9所示，可以采用線掃描的方式，從前景對象的二值化邊緣圖的上邊界、下邊界、左邊界以及右邊界分別中心掃描；可采用矩形模板進行掃描，掃描發(fā)現(xiàn)矩形模板內(nèi)有大于閾值的白色前景像素時，停止掃描，作為四個方向的邊界。然后在這個位置擴充一個空間，作為備選前景對象區(qū) 域。

優(yōu)選地，需要完善獲得的邊緣使得邊緣是連續(xù)的。優(yōu)選地，可以采用邊緣連接的方法來對前景對象的邊緣缺口部分進行連接，這樣使得邊緣更加完整。圖10是示出根據(jù)本公開的實施例的對前景對象的邊緣進行連接的示例的圖。結(jié)合圖10所示，對邊緣的缺口部分進行連接的方法如下：首先對邊緣實施圖像學閉操作；然后采用例如5x5的連接模板對邊緣進行卷積運算。卷積值大于給定閾值，則將模板的中心像素設(shè)為邊緣值(即第二值)。

優(yōu)選地，在前景對象邊界單元查找步驟S108中，對于前景對象的二值化邊緣圖中的包括前景對象的區(qū)域，利用前景對象的左側(cè)和右側(cè)不包含任何對象的先驗知識，搜索該區(qū)域中的背景單元，并且基于搜索到的背景單元而找到邊界單元。

優(yōu)選地，選擇所述區(qū)域的左上角和右上角的單元作為種子，并且使用廣度優(yōu)先算法或深度優(yōu)先算法來掃描所獲得的背景單元的八個相鄰單元，從而搜索到所有背景單元。

具體地，將前景對象的二值化邊緣圖中的包括前景對象的區(qū)域劃分成具有預定大小的單元，即對前景對象的二值化邊緣圖中的包括前景對象的區(qū)域進行網(wǎng)格切分?？梢愿鶕?jù)經(jīng)驗確定單元的預定大小，本領(lǐng)域技術(shù)人員還可以想到確定單元的預定大小的其他方法，本公開對此不做限制。利用前景對象的左側(cè)和右側(cè)不包含任何對象的先驗知識(即，前景對象的左側(cè)和右側(cè)均為僅包括黑色像素的背景單元的先驗知識)選取左上角和右上角網(wǎng)格作為初始網(wǎng)格(這些初始網(wǎng)格為背景單元)，然后利用網(wǎng)格八鄰域廣度優(yōu)先遍歷或者深度優(yōu)先遍歷對所述區(qū)域進行遍歷，這樣，可以搜索到位于前景對象外部的所有背景單元。而基于搜索到的背景單元，可以找到以前景對象的邊緣連接的邊界單元。圖11是示出根據(jù)本公開的實施例的邊界單元的示例的圖。在圖11中，灰色的網(wǎng)格單元是邊界單元。如圖11所示，在邊界單元中，既包括作為圖像的背景的背景部分、也包括作為圖像的前景的前景邊界部分。而為了得到前景對象的邊界，需要將邊界單元分割為前景邊界部分和背景部分。

在前景對象掩膜獲得步驟S110中，可以將邊界單元分割為前景邊界部分和背景部分，以得到前景對象的邊界，從而利用前景對象的邊界得到前景對象的掩膜。

優(yōu)選地，在前景對象掩膜獲得步驟S110中，對于每個邊界單元，依次以預定數(shù)量的像素作為一組，在與其相鄰背景單元相對于邊界單元的方向相反的方向上，通過線掃描方法確定前景邊界部分。

圖12是示出根據(jù)本公開的實施例的在通過線掃描方法確定前景邊界部分的處理中的掃描方向的示例的圖。

具體地，細切分邊界單元，利用線掃描的方法將邊界單元分割為前景邊界部分和背景部分。利用網(wǎng)格的上、下、左、以及右的四鄰域，采用線掃描進行像素點的掃描。具體的掃描方法如下：對于當前邊界單元的四鄰域的網(wǎng)格，按照上、右、下、以及左的優(yōu)先級分別判斷是否是背景單元，如果是背景單元，則采用與背景單元相對于當前邊界單元的方向相反的方向進行掃描，例如如果左側(cè)為背景單元，則當前邊界單元為從左向右掃描。要注意的是，按照上、右、下、以及左的優(yōu)先級找到四鄰域中的一個背景單元并據(jù)此進行掃描即可。另外，在掃描時，在當前行或列周圍取多行或多列進行掃描(以預定數(shù)量的像素作為一組進行掃描)，如果其中幾個像素遇到前景顏色，則當前行停止掃描，掃描過的像素即為背景部分，未掃描的為前景邊界部分。掃描坐標可以考慮相鄰像素的信息進行平滑。

在如上所述將邊界單元分割為前景邊界部分和背景部分之后，利用前景邊界部分可以得到前景對象的邊界，從而利用前景對象的邊界得到前景對象的掩膜。圖13是示出根據(jù)本公開的實施例的前景對象的掩膜的示例的圖。利用如圖13所示的前景對象的掩膜，可以精確地提取出前景對象。

此外，根據(jù)本公開的實施例的對象提取方法還包括平滑步驟，可以對前景對象的邊界進行平滑。具體地，我們可以對如上所獲得的前景對象的邊界進行平滑。優(yōu)選地，可以利用高斯平滑對前景對象的邊界像素進行平滑。圖14是示出根據(jù)本公開的實施例的前景對象的平滑后的邊界的示例的圖。

我們可以將如上對象提取技術(shù)應(yīng)用于人工智能。具體地，在如上所述提取出前景對象之后，可以將所提取出的前景對象置于虛擬環(huán)境中。15是示出根據(jù)本公開的實施例的將前景對象置于虛擬環(huán)境中的示例的圖。如圖15所示，所提取出的前景對象(即人物)看起來像置身于虛擬環(huán)境中。

根據(jù)以上描述可知，根據(jù)本公開的實施例的對象提取方法能夠?qū)崿F(xiàn)無需任何用戶交互的自動對象提取。另外，根據(jù)本公開的實施例的對象提取方法對于前景對象提取、特別對于頭肩像提取具有魯棒且準確的性能。結(jié) 果顯示，與現(xiàn)有的方法GMM、GrabCut、以及碼書等相比，根據(jù)本公開的實施例的對象提取方法可以克服光改變和攝像裝置的自動白平衡的影響，以及該對象提取方法具有魯棒性能以及較快速度。

與上述方法實施例相對應(yīng)地，本公開還提供了以下設(shè)備實施例。

圖16是示出根據(jù)本公開的實施例的對象提取設(shè)備1600的功能配置示例的框圖。

如圖16所示，根據(jù)本公開的實施例的對象提取設(shè)備1600可包括背景圖像二值化邊緣圖提取模塊1602、當前幀二值化邊緣圖提取模塊1604、前景對象二值化邊緣圖提取模塊1606、前景對象邊界單元查找模塊1608、以及前景對象掩膜獲得模塊1610。接下來將描述各個模塊的功能配置示例。

背景圖像二值化邊緣圖提取模塊1602可以被配置成計算背景圖像中的每個像素的梯度和梯度方向，通過將背景圖像中的每個像素的梯度與第一閾值比較，提取背景圖像的二值化邊緣圖。

在背景圖像二值化邊緣圖提取模塊1602中，可以通過計算視頻序列中的預定數(shù)量的在前幀中對應(yīng)位置處的像素的均值，得到背景圖像。

即，對于視頻序列中的預定數(shù)量的在前幀，可以通過計算這些幀中對應(yīng)位置處的像素的均值，學習出這些幀的平均背景。

優(yōu)選地，在背景圖像二值化邊緣圖提取模塊1602中，可以分別計算背景圖像中的像素的R、G和B分量的梯度，并且可以將R、G和B分量的梯度中的最大梯度作為該像素的梯度。

優(yōu)選地，在背景圖像二值化邊緣圖提取模塊1602中，可以分別計算背景圖像中的像素的R、G和B分量的梯度方向，并且可以將R、G和B分量的梯度方向中的最大梯度方向作為該像素的梯度方向。

優(yōu)選地，第一閾值TH1可以是根據(jù)經(jīng)驗確定的值，本領(lǐng)域技術(shù)人員還可以想到確定第一閾值TH1的其他方法，本公開對此不做限制。

當前幀二值化邊緣圖提取模塊1604可以被配置成計算包括前景對象的當前幀中的每個像素的梯度和梯度方向，通過將當前幀中的每個像素的梯度與第二閾值比較，提取當前幀的二值化邊緣圖。

優(yōu)選地，在當前幀二值化邊緣圖提取模塊1604中，可以分別計算當前幀中的像素的R、G和B分量的梯度，并且可以將R、G和B分量的 梯度中的最大梯度作為該像素的梯度。

在當前幀二值化邊緣圖提取模塊1604中，可以分別計算當前幀中的像素的R、G和B分量的梯度方向，并且可以將R、G和B分量的梯度方向中的最大梯度方向作為該像素的梯度方向。

優(yōu)選地，第二閾值TH2可以是根據(jù)經(jīng)驗確定的值，本領(lǐng)域技術(shù)人員還可以想到確定第二閾值TH2的其他方法，本公開對此不做限制。

優(yōu)選地，在計算背景圖像和當前幀中的像素的梯度時，可以利用Haar算子計算圖像的邊緣圖。利用Haar算子計算圖像的邊緣圖的方法可參見以上方法實施例中相應(yīng)位置的描述，在此不再重復。除了利用Haar算子計算圖像的邊緣圖之外，本領(lǐng)域技術(shù)人員還可以想到采用其他模板計算圖像的邊緣圖，本公開對此不做限制。

當計算出背景圖像和當前幀的梯度圖(灰度圖)之后，需要對背景圖像和當前幀的梯度圖進行二值化?？梢酝ㄟ^將背景圖像中的每個像素的梯度與第一閾值TH1比較，提取背景圖像的二值化邊緣圖。另外，可以通過將當前幀中的每個像素的梯度與第二閾值TH2比較，提取當前幀的二值化邊緣圖。

優(yōu)選地，第一閾值TH1小于第二閾值TH2。TH1小于TH2的好處是：與背景圖像的二值化邊緣圖相比，當前幀的二值化邊緣圖中屬于背景的邊緣更細。

另外，可以根據(jù)如上計算出的梯度來計算像素的R、G、B三通道的梯度方向arctan(Dy_r/Dx_r)、arctan(Dy_g/Dx_g)、arctan(Dy_b/Dx_b)，并可以選取R、G、B三通道的梯度方向的最大值作為像素的梯度方向。

前景對象二值化邊緣圖提取模塊1606可以被配置成基于背景圖像的二值化邊緣圖和當前幀的二值化邊緣圖、以及背景圖像中的像素的梯度方向和當前幀中的像素的梯度方向，提取前景對象的二值化邊緣圖。

優(yōu)選地，在前景對象二值化邊緣圖提取模塊1606中，將當前幀的二值化邊緣圖與背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值相減而得到像素差值，在像素差值小于或等于0的情況下，將前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第一值，而在像素差值大于0的情況下，將前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第二值。

優(yōu)選地，第一值可以為0(圖像中具有值為0的像素為黑色像素)，第二值可以為255(圖像中具有值為255的像素為白色像素)。

優(yōu)選地，在當前幀的二值化邊緣圖與背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值均為第二值時，將當前幀與背景圖像中的對應(yīng)位置的像素的梯度方向相減而得到梯度方向差值，在梯度方向差值大于第三閾值的情況下，將前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第二值。

優(yōu)選地，第三閾值TH3可以是根據(jù)經(jīng)驗確定的值，本領(lǐng)域技術(shù)人員還可以想到確定第三閾值TH3的其他方法，本公開對此不做限制。

具體的提取前景對象的二值化邊緣圖的方法可參見以上方法實施例中相應(yīng)位置的描述，在此不再重復。

前景對象邊界單元查找模塊1608可以被配置成將前景對象的二值化邊緣圖中的包括前景對象的區(qū)域劃分成具有預定大小的單元，找到位于前景對象的邊界處的邊界單元。

優(yōu)選地，在前景對象邊界單元查找模塊1608中，通過從前景對象的二值化邊緣圖的上邊界、下邊界、左邊界以及右邊界分別向中心掃描，得到前景對象的二值化邊緣圖中的包括前景對象的區(qū)域。

得到前景對象的二值化邊緣圖中的包括前景對象的區(qū)域的方法可參見以上方法實施例中相應(yīng)位置的描述，在此不再重復。

優(yōu)選地，可以采用邊緣連接的方法，對前景對象的邊緣缺口部分進行連接，這樣使得邊緣更加完整。

對前景對象的邊緣缺口部分進行連接的方法可參見以上方法實施例中相應(yīng)位置的描述，在此不再重復。

優(yōu)選地，在前景對象邊界單元查找模塊1608中，對于前景對象的二值化邊緣圖中的包括前景對象的區(qū)域，利用前景對象的左側(cè)和右側(cè)不包含任何對象的先驗知識，搜索該區(qū)域中的背景單元，并且基于搜索到的背景單元而找到邊界單元。

優(yōu)選地，選擇所述區(qū)域的左上角和右上角的單元作為種子，并且使用廣度優(yōu)先算法或深度優(yōu)先算法來掃描所獲得的背景單元的八個相鄰單元，從而搜索到所有背景單元。

搜索背景單元的方法可參見以上方法實施例中相應(yīng)位置的描述，在此不再重復。

基于搜索到的背景單元，可以找到前景對象的邊界單元。而為了得到前景對象的邊界，需要將邊界單元分割為前景邊界部分和背景部分。

前景對象掩膜獲得模塊1610可以被配置成將邊界單元分割為前景邊界部分和背景部分，以得到前景對象的邊界，從而利用前景對象的邊界得到前景對象的掩膜。

優(yōu)選地，在前景對象掩膜獲得模塊1610中，對于每個邊界單元，依次以預定數(shù)量的像素作為一組，在與其相鄰背景單元相對于邊界單元的方向相反的方向上，通過線掃描方法確定前景邊界部分。

通過線掃描方法確定前景邊界部分的細節(jié)可參見以上方法實施例中相應(yīng)位置的描述，在此不再重復。

在將邊界單元分割為前景邊界部分和背景部分之后，利用前景邊界部分可以得到前景對象的邊界，從而利用前景對象的邊界得到前景對象的掩膜。

此外，根據(jù)本公開的實施例的對象提取設(shè)備還包括平滑模塊，可以被配置成對前景對象的邊界進行平滑。具體地，我們可以對如上所獲得的前景對象的邊界進行平滑。優(yōu)選地，可以利用高斯平滑對前景對象的邊界像素進行平滑。

根據(jù)以上描述可知，根據(jù)本公開的實施例的對象提取設(shè)備能夠?qū)崿F(xiàn)無需任何用戶交互的自動對象提取。另外，根據(jù)本公開的實施例的對象提取設(shè)備對于前景對象提取、特別對于頭肩像提取具有魯棒且準確的性能。此外，根據(jù)本公開的實施例的對象提取設(shè)備可以克服光改變和攝像裝置的自動白平衡的影響，以及該對象提取設(shè)備具有魯棒性能以及較快速度。

應(yīng)指出，盡管以上描述了根據(jù)本公開的實施例的對象提取設(shè)備的功能配置，但是這僅是示例而非限制，并且本領(lǐng)域技術(shù)人員可根據(jù)本公開的原理對以上實施例進行修改，例如可對各個實施例中的功能模塊進行添加、刪除或者組合等，并且這樣的修改均落入本公開的范圍內(nèi)。

此外，還應(yīng)指出，這里的裝置實施例是與上述方法實施例相對應(yīng)的，因此在裝置實施例中未詳細描述的內(nèi)容可參見方法實施例中相應(yīng)位置的描述，在此不再重復描述。

應(yīng)理解，根據(jù)本公開的實施例的存儲介質(zhì)和程序產(chǎn)品中的機器可執(zhí)行的指令還可以被配置成執(zhí)行上述對象提取方法，因此在此未詳細描述的內(nèi)容可參考先前相應(yīng)位置的描述，在此不再重復進行描述。

相應(yīng)地，用于承載上述包括機器可執(zhí)行的指令的程序產(chǎn)品的存儲介質(zhì)也包括在本發(fā)明的公開中。該存儲介質(zhì)包括但不限于軟盤、光盤、磁光盤、 存儲卡、存儲棒等等。

另外，還應(yīng)該指出的是，上述系列處理和裝置也可以通過軟件和/或固件實現(xiàn)。在通過軟件和/或固件實現(xiàn)的情況下，從存儲介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的計算機，例如圖17所示的通用個人計算機1700安裝構(gòu)成該軟件的程序，該計算機在安裝有各種程序時，能夠執(zhí)行各種功能等等。

在圖17中，中央處理單元(CPU)1701根據(jù)只讀存儲器(ROM)1702中存儲的程序或從存儲部分1708加載到隨機存取存儲器(RAM)1703的程序執(zhí)行各種處理。在RAM 1703中，也根據(jù)需要存儲當CPU 1701執(zhí)行各種處理等時所需的數(shù)據(jù)。

CPU 1701、ROM 1702和RAM 1703經(jīng)由總線1704彼此連接。輸入/輸出接口1705也連接到總線1704。

下述部件連接到輸入/輸出接口1705：輸入部分1706，包括鍵盤、鼠標等；輸出部分1707，包括顯示器，比如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚聲器等；存儲部分1708，包括硬盤等；和通信部分1709，包括網(wǎng)絡(luò)接口卡比如LAN卡、調(diào)制解調(diào)器等。通信部分1709經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。

根據(jù)需要，驅(qū)動器1710也連接到輸入/輸出接口1705?？刹鹦督橘|(zhì)1711比如磁盤、光盤、磁光盤、半導體存儲器等等根據(jù)需要被安裝在驅(qū)動器1710上，使得從中讀出的計算機程序根據(jù)需要被安裝到存儲部分1708中。

在通過軟件實現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲介質(zhì)比如可拆卸介質(zhì)1711安裝構(gòu)成軟件的程序。

本領(lǐng)域的技術(shù)人員應(yīng)當理解，這種存儲介質(zhì)不局限于圖17所示的其中存儲有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1711?？刹鹦督橘|(zhì)1711的例子包含磁盤(包含軟盤(注冊商標))、光盤(包含光盤只讀存儲器(CD-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊商標))和半導體存儲器?；蛘撸鎯橘|(zhì)可以是ROM 1702、存儲部分1708中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。

以上參照附圖描述了本公開的優(yōu)選實施例，但是本公開當然不限于以上示例。本領(lǐng)域技術(shù)人員可在所附權(quán)利要求的范圍內(nèi)得到各種變更和修改，并且應(yīng)理解這些變更和修改自然將落入本公開的技術(shù)范圍內(nèi)。

例如，在以上實施例中包括在一個模塊中的多個功能可以由分開的裝置來實現(xiàn)。替選地，在以上實施例中由多個模塊實現(xiàn)的多個功能可分別由分開的裝置來實現(xiàn)。另外，以上功能之一可由多個模塊來實現(xiàn)。無需說，這樣的配置包括在本公開的技術(shù)范圍內(nèi)。

在該說明書中，流程圖中所描述的步驟不僅包括以所述順序按時間序列執(zhí)行的處理，而且包括并行地或單獨地而不是必須按時間序列執(zhí)行的處理。此外，甚至在按時間序列處理的步驟中，無需說，也可以適當?shù)馗淖冊擁樞颉?/p>

另外，根據(jù)本公開的技術(shù)還可以如下進行配置。

附記1.一種用于在視頻序列中提取前景對象的對象提取方法，包括：

背景圖像二值化邊緣圖提取步驟，用于計算背景圖像中的每個像素的梯度和梯度方向，通過將所述背景圖像中的每個像素的梯度與第一閾值比較，提取所述背景圖像的二值化邊緣圖；

當前幀二值化邊緣圖提取步驟，用于計算包括所述前景對象的當前幀中的每個像素的梯度和梯度方向，通過將所述當前幀中的每個像素的梯度與第二閾值比較，提取所述當前幀的二值化邊緣圖；

前景對象二值化邊緣圖提取步驟，用于基于所述背景圖像的二值化邊緣圖和所述當前幀的二值化邊緣圖、以及所述背景圖像中的像素的梯度方向和所述當前幀中的像素的梯度方向，提取所述前景對象的二值化邊緣圖；

前景對象邊界單元查找步驟，用于將所述前景對象的二值化邊緣圖中的包括所述前景對象的區(qū)域劃分成具有預定大小的單元，找到位于所述前景對象的邊界處的邊界單元；以及

前景對象掩膜獲得步驟，用于將所述邊界單元分割為前景邊界部分和背景部分，以得到所述前景對象的邊界，從而利用所述前景對象的邊界得到所述前景對象的掩膜。

附記2.根據(jù)附記1所述的對象提取方法，其中，所述第一閾值小于所述第二閾值。

附記3.根據(jù)附記2所述的對象提取方法，其中，在所述前景對象二值化邊緣圖提取步驟中，將所述當前幀的二值化邊緣圖與所述背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值相減而得到像素差值，在所述像素差 值小于或等于0的情況下，將所述前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第一值，而在所述像素差值大于0的情況下，將所述前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第二值。

附記4.根據(jù)附記3所述的對象提取方法，其中，當所述當前幀的二值化邊緣圖與所述背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值均為所述第二值時，將所述當前幀與所述背景圖像中的對應(yīng)位置的像素的梯度方向相減而得到梯度方向差值，在所述梯度方向差值大于第三閾值的情況下，將所述前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為所述第二值。

附記5.根據(jù)附記1所述的對象提取方法，其中，在所述前景對象邊界單元查找步驟中，對于所述前景對象的二值化邊緣圖中的包括所述前景對象的區(qū)域，利用所述前景對象的左側(cè)和右側(cè)不包含任何對象的先驗知識，搜索所述區(qū)域中的背景單元，并且基于搜索到的背景單元而找到所述邊界單元。

附記6.根據(jù)附記5所述的對象提取方法，其中，選擇所述區(qū)域的左上角和右上角的單元作為種子，并且使用廣度優(yōu)先算法或深度優(yōu)先算法來掃描所獲得的背景單元的八個相鄰單元，從而搜索到所有背景單元。

附記7.根據(jù)附記1所述的對象提取方法，其中，在所述前景對象掩膜獲得步驟中，對于每個邊界單元，依次以預定數(shù)量的像素作為一組，在與其相鄰背景單元相對于所述邊界單元的方向相反的方向上，通過線掃描方法確定所述前景邊界部分。

附記8.根據(jù)附記1所述的對象提取方法，所述方法還包括平滑步驟，用于對所述前景對象的邊界進行平滑。

附記9.根據(jù)附記1所述的對象提取方法，其中，在所述前景對象邊界單元查找步驟中，通過從所述前景對象的二值化邊緣圖的上邊界、下邊界、左邊界以及右邊界分別向中心掃描，得到所述前景對象的二值化邊緣圖中的包括所述前景對象的區(qū)域。

附記10.根據(jù)附記1所述的對象提取方法，其中，在所述當前幀二值化邊緣圖提取步驟中，分別計算所述當前幀中的像素的R、G和B分量的梯度，并且將R、G和B分量的梯度中的最大梯度作為所述像素的梯度。

附記11.一種用于在視頻序列中提取前景對象的對象提取設(shè)備，包 括：

背景圖像二值化邊緣圖提取模塊，被配置成計算背景圖像中的每個像素的梯度和梯度方向，通過將所述背景圖像中的每個像素的梯度與第一閾值比較，提取所述背景圖像的二值化邊緣圖；

當前幀二值化邊緣圖提取模塊，被配置成計算包括所述前景對象的當前幀中的每個像素的梯度和梯度方向，通過將所述當前幀中的每個像素的梯度與第二閾值比較，提取所述當前幀的二值化邊緣圖；

前景對象二值化邊緣圖提取模塊，被配置成基于所述背景圖像的二值化邊緣圖和所述當前幀的二值化邊緣圖、以及所述背景圖像中的像素的梯度方向和所述當前幀中的像素的梯度方向，提取所述前景對象的二值化邊緣圖；

前景對象邊界單元查找模塊，被配置成將所述前景對象的二值化邊緣圖中的包括所述前景對象的區(qū)域劃分成具有預定大小的單元，找到位于所述前景對象的邊界處的邊界單元；以及

前景對象掩膜獲得模塊，被配置成將所述邊界單元分割為前景邊界部分和背景部分，以得到所述前景對象的邊界，從而利用所述前景對象的邊界得到所述前景對象的掩膜。

附記12.根據(jù)附記11所述的對象提取設(shè)備，其中，所述第一閾值小于所述第二閾值。

附記13.根據(jù)附記12所述的對象提取設(shè)備，其中，在所述前景對象二值化邊緣圖提取模塊中，將所述當前幀的二值化邊緣圖與所述背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值相減而得到像素差值，在所述像素差值小于或等于0的情況下，將所述前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第一值，而在所述像素差值大于0的情況下，將所述前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為第二值。

附記14.根據(jù)附記13所述的對象提取設(shè)備，其中，當所述當前幀的二值化邊緣圖與所述背景圖像的二值化邊緣圖中的對應(yīng)位置的像素值均為所述第二值時，將所述當前幀與所述背景圖像中的對應(yīng)位置的像素的梯度方向相減而得到梯度方向差值，在所述梯度方向差值大于第三閾值的情況下，將所述前景對象的二值化邊緣圖中對應(yīng)位置的像素設(shè)置為所述第二值。

附記15.根據(jù)附記11所述的對象提取設(shè)備，其中，在所述前景對象 邊界單元查找模塊中，對于所述前景對象的二值化邊緣圖中的包括所述前景對象的區(qū)域，利用所述前景對象的左側(cè)和右側(cè)不包含任何對象的先驗知識，搜索所述區(qū)域中的背景單元，并且基于搜索到的背景單元而找到所述邊界單元。

附記16.根據(jù)附記15所述的對象提取設(shè)備，其中，在選擇所述區(qū)域的左上角和右上角的單元作為種子，并且使用廣度優(yōu)先算法或深度優(yōu)先算法來掃描所獲得的背景單元的八個相鄰單元，從而搜索到所有背景單元。

附記17.根據(jù)附記11所述的對象提取設(shè)備，其中，在所述前景對象掩膜獲得模塊中，對于每個邊界單元，依次以預定數(shù)量的像素作為一組，在與其相鄰背景單元相對于所述邊界單元的方向相反的方向上，通過線掃描方法確定所述前景邊界部分。

附記18.根據(jù)附記11所述的對象提取設(shè)備，所述設(shè)備還包括平滑模塊，被配置成對所述前景對象的邊界進行平滑。

附記19.根據(jù)附記11所述的對象提取設(shè)備，其中，在所述前景對象邊界單元查找模塊中，通過從所述前景對象的二值化邊緣圖的上邊界、下邊界、左邊界以及右邊界分別向中心掃描，得到所述前景對象的二值化邊緣圖中的包括所述前景對象的區(qū)域。

附記20.根據(jù)附記11所述的對象提取設(shè)備，其中，在所述當前幀二值化邊緣圖提取模塊中，分別計算所述當前幀中的像素的R、G和B分量的梯度，并且將R、G和B分量的梯度中的最大梯度作為所述像素的梯度。