本發(fā)明涉及圖像處理技術(shù)，特別是涉及一種提取前景圖像的方法、一種提取前景圖像的裝置、一種替換圖像背景的方法以及一種替換圖像背景的裝置。

背景技術(shù)：

隨著視頻圖像處理技術(shù)的發(fā)展，人們對替換圖像背景的技術(shù)的需求也日益廣泛，例如P圖、直播、視頻拍攝的摳圖以制作出特效視頻等，通常的替換圖像背景的方式，是將一段在純色幕布前拍攝的視頻在移動端進(jìn)行實(shí)時(shí)處理，將視頻中的前景目標(biāo)提取并融合到新的背景中，從而可以做到足不出戶，僅準(zhǔn)備一塊純色幕布，就可以生成各種高質(zhì)量的多樣逼真背景下的視頻內(nèi)容。

目前的替換圖像背景的技術(shù)，通常需要結(jié)合背景建模、鍵值分割、圖像融合技術(shù)進(jìn)行。具體替換圖像背景時(shí)，前景圖像的提取是進(jìn)行圖像背景替換過程中的一個重要步驟。目前在提取前景圖像時(shí)，通常是對于待替換背景的圖片(通常也稱為待摳取圖片)，通過交互界面，由用戶通過點(diǎn)擊等方式提供一些前景像素及背景像素，稱為前景種子像素及背景種子像素，然后用這些種子像素建立混高斯(GMM)概率模型，設(shè)計(jì)出能評估分割結(jié)果的能量函數(shù)(損失函數(shù))，然后通過數(shù)學(xué)工具求解能量函數(shù)，從而對待替換背景的圖片進(jìn)行前景、背景的分割。

在目前的這種前景圖像的提取方式中，是將圖像的像素點(diǎn)簡單的區(qū)分為前景像素和背景像素，從而容易在前景邊緣處留下背景顏色帶，使得最終融合得到的新背景的圖片邊緣輪廓不自然，影響替換了圖像背景的圖像的質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

基于此，本實(shí)施例的目的在于提供一種提取前景圖像的方法、一種提取前景圖像的裝置、一種替換圖像背景的方法以及一種替換圖像背景的裝置，其分割結(jié)果穩(wěn)定，最終得到的替換了背景的圖像的質(zhì)量高。

為達(dá)到上述目的，本實(shí)施例采用以下技術(shù)方案：

一種提取前景圖像的方法，包括步驟：

獲取待處理圖像、幕布圖像；

根據(jù)所述待處理圖像和所述幕布圖像，確定所述待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的前景像素概率、屬于背景像素點(diǎn)的背景像素概率；

根據(jù)各所述像素點(diǎn)的前景像素概率、背景像素概率，確定各所述像素點(diǎn)的像素點(diǎn)類型，所述像素點(diǎn)類型包括前景像素點(diǎn)、背景像素點(diǎn)以及混合像素點(diǎn)；

根據(jù)各所述混合像素點(diǎn)、各所述混合像素點(diǎn)的所述前景像素概率、所述幕布圖像，確定各所述混合像素點(diǎn)的融合權(quán)值，并根據(jù)各所述混合像素點(diǎn)的融合權(quán)值確定各所述混合像素點(diǎn)的前景分量值。

一種替換圖像背景的方法，包括：

獲取待處理圖像、新背景圖像；

采用如上所述的提取前景圖像的方式，獲得所述待處理圖像的前景像素點(diǎn)、背景像素點(diǎn)、混合像素點(diǎn)以及各混合像素點(diǎn)的融合權(quán)值和前景分量值；

將所述前景像素點(diǎn)的像素值，作為替換背景后圖像中、與所述前景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

將所述新背景圖像中、與所述背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值，作為所述替換背景后圖像中、與所述背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

根據(jù)所述混合像素點(diǎn)的融合權(quán)值和前景分量值、所述新背景像素的像素值，確定所述混合像素點(diǎn)的融合像素值，并將所述融合像素值，作為所述替換背景后圖像中、與所述混合像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值。

一種提取前景圖像的裝置，包括：

概率計(jì)算模塊，用于根據(jù)預(yù)定幕布圖像，確定待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的前景像素概率、屬于背景像素點(diǎn)的背景像素概率；

像素點(diǎn)類型確定模塊，用于根據(jù)各所述像素點(diǎn)的前景像素概率、背景像素概率，確定各所述像素點(diǎn)的像素點(diǎn)類型，所述像素點(diǎn)類型包括前景像素點(diǎn)、背景像素點(diǎn)以及混合像素點(diǎn)；

混合像素融合信息確定模塊，用于根據(jù)各所述混合像素點(diǎn)、各所述混合像素點(diǎn)的所述前景像素概率、所述幕布圖像，確定各所述混合像素點(diǎn)的融合權(quán)值，并根據(jù)各所述混合像素點(diǎn)的融合權(quán)值確定各所述混合像素點(diǎn)的前景分量值。

一種替換圖像背景的裝置，包括第二圖像獲取模塊、前景像素融合模塊、背景像素融合模塊、混合像素融合模塊、以及如上所述的提取前景圖像的裝置；

所述第二圖像獲取模塊，用于獲取待處理圖像、新背景圖像；

所述前景像素融合模塊，用于將所述提取前景圖像的裝置確定的前景像素點(diǎn)的像素值，作為替換背景后圖像中、與所述前景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

所述背景像素融合模塊，用于將所述新背景圖像中、與所述提取前景圖像的裝置確定的背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值，作為所述替換背景后圖像中、與所述背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

所述混合像素融合模塊，用于根據(jù)所述提取前景圖像的裝置確定的混合像素點(diǎn)的融合權(quán)值和前景分量值、所述新背景像素的像素值，確定所述混合像素點(diǎn)的融合像素值，并將所述融合像素值，作為所述替換背景后圖像中、與所述混合像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值。

基于如上所述的實(shí)施例中的方案，其是提取前景圖像時(shí)，是基于幕布圖像，確定出待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的概率、屬于背景像素點(diǎn)的概率，并據(jù)此將像素點(diǎn)區(qū)分為前景像素點(diǎn)、背景像素點(diǎn)和混合像素點(diǎn)，并確定出混合像素點(diǎn)的融合權(quán)值和前景分量值，從而在此基礎(chǔ)上替換圖像背景時(shí)，針對混合像素點(diǎn)，可以基于混合像素點(diǎn)的融合權(quán)值和前景分量值，將混合像素點(diǎn)與新背景圖像進(jìn)行融合，從而將前景與背景融合處的混合像素進(jìn)行了有效區(qū)分，可以得到穩(wěn)定的提取前景圖像的分割結(jié)果，使得替換圖像背景時(shí)最終得到的替換了背景的圖像不會存在輪廓邊緣不自然的情況，獲得的圖像質(zhì)量高。

附圖說明

圖1是一個實(shí)施例中的本發(fā)明方案的應(yīng)用環(huán)境的示意圖；

圖2一個具體應(yīng)用示例中的本實(shí)施例方案的應(yīng)用場景的示意圖；

圖3是一個實(shí)施例中的終端的組成結(jié)構(gòu)示意圖；

圖4是一個實(shí)施例中的提取前景圖像的方法的流程示意圖；

圖5是一個實(shí)施例中的替換圖像背景的方法的流程示意圖；

圖6是一個具體示例中替換圖像背景的整體過程的流程示意圖；

圖7是一個具體示例中的替換圖像背景的方法的原理示意圖；

圖8是一個實(shí)施例中的提取前景圖像的裝置的結(jié)構(gòu)示意圖；

圖9是一個具體示例中的像素點(diǎn)概率模型建立模塊的結(jié)構(gòu)示意圖；

圖10是一個實(shí)施例中的替換圖像背景的裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施方式僅僅用以解釋本發(fā)明，并不限定本發(fā)明的保護(hù)范圍。

圖1示出了本發(fā)明一個實(shí)施例中的工作環(huán)境示意圖，如圖1所示，其工作環(huán)境涉及終端101，在某些情況下，還可能涉及服務(wù)器103。終端101可以對其自身存儲的或者從外部獲取的圖像(如圖2所示的2-1)提取其前景圖像(如圖2所示的2-2)，并可以在提取前景圖像的基礎(chǔ)上進(jìn)行圖像背景的替換，從而得到替換背景后的圖像(如圖2所示的2-3)。終端101提取的前景圖像或者替換背景后的圖像，可以存儲在終端101本地進(jìn)行查看和播放，也可以經(jīng)由網(wǎng)絡(luò)傳輸至其他的網(wǎng)絡(luò)終端，或者通過網(wǎng)絡(luò)傳輸至服務(wù)器102后，經(jīng)由服務(wù)器102再傳輸至其他的網(wǎng)絡(luò)終端。

在一個應(yīng)用示例中，該終端101可以是攜帶攝像頭的終端，也可以是外接有攝像設(shè)備1010的終端，從而終端101可以提取通過攝像頭拍攝得到的幀圖像的前景圖像，并在此基礎(chǔ)上進(jìn)行圖像背景的替換，從而在視頻直播、視頻聊天等各種應(yīng)用中，實(shí)現(xiàn)各類圖像背景的替換，進(jìn)而實(shí)現(xiàn)各類背景下的視頻直播或者視頻聊天。本實(shí)施例涉及的是終端101對圖像提取其前景圖像并據(jù)此進(jìn)行圖像背景替換的方案。

終端101在一個實(shí)施例中的結(jié)構(gòu)示意圖如圖3所示。該終端101包括通過系統(tǒng)總線連接的處理器、存儲介質(zhì)、通信接口、電源接口和內(nèi)存。其中，終端101的存儲介質(zhì)存儲有一種提取前景圖像的裝置、一種替換圖像背景的裝置，該裝置分別用于實(shí)現(xiàn)一種提取前景圖像的方法、一種替換圖像背景的方法。終端101的通信接口用于與網(wǎng)絡(luò)終端其他終端或者服務(wù)器102連接和通信，終端101的電源接口用于與外部電源連接，外部電源通過該電源接口向終端101供電。終端101可以是任何一種能夠?qū)崿F(xiàn)智能輸入輸出的設(shè)備，例如移動終端，比如手機(jī)、平板電腦、個人計(jì)算機(jī)等；也可以是其它具有上述結(jié)構(gòu)的設(shè)備。

圖4中示出了一個實(shí)施例中的提取前景圖像的方法的流程示意圖。如圖4所示，該實(shí)施例中的提取前景圖像的方法包括：

步驟S401：獲取待處理圖像、幕布圖像；

步驟S402：根據(jù)所述待處理圖像和所述幕布圖像，確定所述待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的前景像素概率、屬于背景像素點(diǎn)的背景像素概率；

步驟S403：根據(jù)各所述像素點(diǎn)的前景像素概率、背景像素概率，確定各所述像素點(diǎn)的像素點(diǎn)類型，所述像素點(diǎn)類型包括前景像素點(diǎn)、背景像素點(diǎn)以及混合像素點(diǎn)；

步驟S404：根據(jù)各所述混合像素點(diǎn)、各所述混合像素點(diǎn)的所述前景像素概率、所述幕布圖像，確定各所述混合像素點(diǎn)的融合權(quán)值，并根據(jù)各所述混合像素點(diǎn)的融合權(quán)值確定各所述混合像素點(diǎn)的前景分量值。

基于如上所述的實(shí)施例中的方案，其是提取前景圖像時(shí)，是基于幕布圖像，確定出待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的概率、屬于背景像素點(diǎn)的概率，并據(jù)此將像素點(diǎn)區(qū)分為前景像素點(diǎn)、背景像素點(diǎn)和混合像素點(diǎn)，并確定出混合像素點(diǎn)的融合權(quán)值和前景分量值，從而在此基礎(chǔ)上替換圖像背景時(shí)，針對混合像素點(diǎn)，可以基于混合像素點(diǎn)的融合權(quán)值和前景分量值，將混合像素點(diǎn)與新背景圖像進(jìn)行融合，從而將前景與背景融合處的混合像素進(jìn)行了有效區(qū)分，可以得到穩(wěn)定的提取前景圖像的分割結(jié)果，使得替換圖像背景時(shí)最終得到的替換了背景的圖像不會存在輪廓邊緣不自然的情況，獲得的圖像質(zhì)量高。

相對應(yīng)地，圖5中示出了一個實(shí)施例中的替換圖像背景的方法的流程示意圖，如圖5所示，該實(shí)施例中的替換圖像背景的方法包括：

步驟S501：獲取待處理圖像、新背景圖像；

步驟S502：采用如上所述的實(shí)施例中的提取前景圖像的方式，獲得所述待處理圖像的前景像素點(diǎn)、背景像素點(diǎn)、混合像素點(diǎn)以及各混合像素點(diǎn)的融合權(quán)值和前景分量值；

步驟S503：將所述前景像素點(diǎn)的像素值，作為替換背景后圖像中、與所述前景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

步驟S504：將所述新背景圖像中、與所述背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值，作為所述替換背景后圖像中、與所述背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

步驟S505：根據(jù)所述混合像素點(diǎn)的融合權(quán)值和前景分量值、所述新背景像素的像素值，確定所述混合像素點(diǎn)的融合像素值，并將所述融合像素值，作為所述替換背景后圖像中、與所述混合像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值。

可以理解的，步驟S503、步驟S504、步驟S505中的處理過程可以不分先后順序同時(shí)進(jìn)行。

據(jù)此，基于本實(shí)施例中的方案，其將前景與背景融合處的混合像素進(jìn)行了有效區(qū)分，可以得到穩(wěn)定的提取前景圖像的分割結(jié)果，使得替換圖像背景時(shí)最終得到的替換了背景的圖像不會存在輪廓邊緣不自然的情況，獲得的圖像質(zhì)量高。

其中，在上述步驟S402中，可以結(jié)合像素點(diǎn)概率模型進(jìn)行，即可以根據(jù)所述待處理圖像、所述幕布圖像以及像素點(diǎn)概率模型，確定所述待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的前景像素概率、屬于背景像素點(diǎn)的背景像素概率。

在一個具體示例中，可以采用下述方式確定該像素點(diǎn)概率模型：

獲取樣本圖像和所述幕布圖像，其中，這里的樣本圖像包括所述待處理圖像所在視頻流中、在所述待處理圖像之前的視頻幀的圖像，可以理解，在某些情況下，這里的樣本圖像也可以是上述待處理圖像；

根據(jù)所述樣本圖像的像素值與所述幕布圖像的像素值，對所述樣本圖像進(jìn)行閾值過濾，從所述樣本圖像中提取出種子前景像素點(diǎn)和種子背景像素點(diǎn)；在一個應(yīng)用示例中，可以是計(jì)算所述樣本圖像的各像素點(diǎn)與所述幕布圖像的對應(yīng)位置處的像素點(diǎn)的距離后，在所述距離大于第一距離閾值時(shí)，將對應(yīng)的所述像素點(diǎn)確定為種子前景像素點(diǎn)，在所述距離小于第二距離閾值時(shí)，將對應(yīng)的所述像素點(diǎn)確定為種子背景像素點(diǎn)，所述第一距離閾值大于第二距離閾值；

根據(jù)提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)，建立所述像素點(diǎn)概率模型。

在一個應(yīng)用示例中，還可以在間隔所述樣本圖像預(yù)定幀距后，從所述視頻流中提取視頻幀圖像，并將該視頻幀圖像作為新樣本圖像。并根據(jù)所述新樣本圖像的像素值與所述幕布圖像的像素值，對所述新樣本圖像進(jìn)行閾值過濾，從所述新樣本圖像中提取出種子前景像素點(diǎn)和種子背景像素點(diǎn)。然后根據(jù)從所述新樣本圖像中提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)對所述像素點(diǎn)概率模型進(jìn)行更新。從而以提高建立的像素點(diǎn)概率模型的準(zhǔn)確性。

上述計(jì)算所述樣本圖像的各像素點(diǎn)與所述幕布圖像的對應(yīng)坐標(biāo)處的像素點(diǎn)的距離時(shí)，可以采用任何可能的方式進(jìn)行，例如：

將所述樣本圖像的像素值轉(zhuǎn)換到Y(jié)CrCb顏色空間，獲得所述樣本圖像的各像素點(diǎn)的Cr分量、Cb分量；

將所述幕布圖像的像素值轉(zhuǎn)換到Y(jié)CrCb顏色空間，獲得所述幕布圖像的各像素點(diǎn)的Cr分量、Cb分量；

根據(jù)所述樣本圖像的各像素點(diǎn)的Cr分量、Cb分量，所述幕布圖像的各像素點(diǎn)的Cr分量、Cb分量，計(jì)算所述樣本圖像的各像素點(diǎn)與所述幕布圖像的對應(yīng)位置處的像素點(diǎn)的距離。

在根據(jù)提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)，建立所述像素點(diǎn)概率模型時(shí)，一個應(yīng)用示例中的方式可以包括：

對提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)進(jìn)行聚類，獲得各前景分量樣本、各背景分量樣本；具體聚類時(shí)，可以采用任何可能的聚類方式進(jìn)行聚類；

計(jì)算各前景分量樣本的均值與協(xié)方差、各背景分量樣本的均值與協(xié)方差；

根據(jù)各前景分量樣本的均值與協(xié)方差、各背景分量樣本的均值與協(xié)方差，確定各前景分量的概率密度函數(shù)、各背景分量的概率密度函數(shù)；

根據(jù)各前景分量的概率密度函數(shù)、各背景分量的概率密度函數(shù)生成所述像素點(diǎn)概率模型。

在一個示例中，在上述步驟S403中，可以是在像素點(diǎn)的前景像素概率大于前景概率閾值時(shí)，判定該像素點(diǎn)為前景像素點(diǎn)；并在像素點(diǎn)的背景像素概率大于背景概率閾值時(shí)，判定該像素點(diǎn)為背景像素點(diǎn)；而將其他情況下的像素點(diǎn)則判定為是混合像素點(diǎn)。

基于上述各實(shí)施例的方案，圖6示出了一個具體示例中的替換背景圖像的整體過程的流程示意圖，圖7相應(yīng)示出了是一個具體示例中的替換圖像背景的方法的原理示意圖。在圖6、圖7所示的示例中，是以對視頻流中的視頻幀圖像替換背景圖像為例進(jìn)行說明。

如圖6、圖7所示，在對視頻流中的視頻幀圖像替換背景圖像時(shí)，首先獲取視頻流的第1幀圖像作為樣本圖像，并獲取幕布圖像?？梢岳斫?，這里的第1幀圖像可以是整個視頻流的第1幀圖像，也可以是在需要進(jìn)行替換視頻流的圖像背景時(shí)(例如在視頻流播放過程中接收到了替換圖像背景的指令)的第1幀圖像，即這里作為樣本圖像的第1幀圖像是一個相對的概念，并不是指視頻流的視頻幀順序中的第1幀圖像。此外，可以理解的是，這里的幕布圖像可以是視頻流所在環(huán)境的環(huán)境圖像等。以視頻直播為例，這里的幕布圖像可以為視頻直播過程中的直播主播所在環(huán)境的圖像，這里的環(huán)境的圖像可以是純色幕布形成的圖像等。

然后，根據(jù)樣本圖像與幕布圖像的顏色的接近程度，對樣本圖像進(jìn)行閾值過濾，從樣本圖像中提取種子前景像素點(diǎn)和幕布像素點(diǎn)。具體進(jìn)行過濾時(shí)，可以結(jié)合獲取的樣本圖像的像素值和上述幕布圖像的像素值，對樣本圖像進(jìn)行閾值過濾，從樣本圖像中提取出種子前景像素點(diǎn)和種子背景像素點(diǎn)。

在該具體示例中，在進(jìn)行閾值過濾時(shí)，可以結(jié)合YCrCb顏色空間的Cr、Cb分量來衡量這種接近程度。其將樣本圖像的像素值轉(zhuǎn)換到Y(jié)CrCb顏色空間，獲得樣本圖像的各像素點(diǎn)的Cr分量、Cb分量，并將幕布圖像的像素值轉(zhuǎn)換到Y(jié)CrCb顏色空間，獲得幕布圖像的各像素點(diǎn)的Cr分量、Cb分量；然后根據(jù)樣本圖像的各像素點(diǎn)的Cr分量、Cb分量，幕布圖像的各像素點(diǎn)的Cr分量、Cb分量，計(jì)算樣本圖像的各像素點(diǎn)與所述幕布圖像的對應(yīng)位置處的像素點(diǎn)的距離。

假設(shè)r表示樣本圖像中的像素點(diǎn)，g表示幕布圖像中的像素點(diǎn)，用d(r，g)表示像素點(diǎn)r與像素點(diǎn)g在Cr、Cb為軸的坐標(biāo)系下的距離，該距離可以為歐氏距離，用Yr表示像素r所屬的像素點(diǎn)類別，并用Yr＝0表示像素點(diǎn)r屬于前景像素點(diǎn)，用Yr＝1表示像素點(diǎn)r屬于背景像素點(diǎn)，用Yr＝2表示像素點(diǎn)r屬于混合像素點(diǎn)。從而有：

其中，t₁為上述第一距離閾值，t₂為上述第二距離閾值，且t₁大于t₂。

從而基于上述方式從樣本圖像中提取出種子前景像素點(diǎn)和種子背景像素點(diǎn)。

然后，對提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)進(jìn)行聚類，獲得各前景分量樣本、各背景分量樣本。具體聚類時(shí)，可以采用任何可能的聚類方式進(jìn)行聚類，例如用k-means無監(jiān)督聚類算法、EM算法進(jìn)行聚類；

基于上述聚類后，然后計(jì)算各前景分量樣本的均值與協(xié)方差、各背景分量樣本的均值與協(xié)方差。具體計(jì)算均值與協(xié)方差的方式，可以采用任何可能的方式進(jìn)行，例如采用最大似然估計(jì)算法估計(jì)各樣本的樣本模型的均值與協(xié)方差。

然后，根據(jù)各前景分量樣本的均值與協(xié)方差、各背景分量樣本的均值與協(xié)方差，確定各前景分量的概率密度函數(shù)、各背景分量的概率密度函數(shù)。一個具體示例中，該概率密度函數(shù)可以是如下所述：

其中，μ分別為樣本的均值，Σ分別為樣本協(xié)方差矩陣。

隨后，根據(jù)各前景分量的概率密度函數(shù)、各背景分量的概率密度函數(shù)生成所述像素點(diǎn)概率模型?；谏鲜龈怕拭芏群瘮?shù)確定的像素點(diǎn)概率模型如下所述：

其中i＝0,1表示標(biāo)簽前景或者背景。x_r表示像素r的像素值，y_r表示像素r的類別。

此外，還可以在間隔樣本圖像預(yù)定幀距后，從視頻流中提取視頻幀圖像，例如第g幀圖像，并將該視頻幀圖像作為新樣本圖像，重復(fù)上述過程后，對上述像素點(diǎn)概率模型進(jìn)行更新，從而以提高建立的像素點(diǎn)概率模型的準(zhǔn)確性。本示例中的像素點(diǎn)概率模型可以稱之為GMM模型。

在建立上述像素點(diǎn)概率模型之后，即可基于該像素點(diǎn)概率模型提取待處理圖像的前景圖像，并據(jù)此進(jìn)行背景圖像的替換。

在獲取待處理圖像后，根據(jù)待處理圖像、所述幕布圖像以及所述像素點(diǎn)概率模型，確定待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的前景像素概率、屬于背景像素點(diǎn)的背景像素概率。

隨后，即可根據(jù)待處理圖像的各像素點(diǎn)的前景像素概率、背景像素概率，確定各像素點(diǎn)的像素點(diǎn)類型，即確定各像素點(diǎn)是前景像素點(diǎn)、背景像素點(diǎn)還是混合像素點(diǎn)。

一個具體示例中，可以結(jié)合下式的原理確定像素點(diǎn)的類型。

其中，p(y_r＝0|x_r)表示像素r屬于前景像素的概率，p(y_r＝1|x_r)表示像素r屬于背景像素的概率。

隨后，可以根據(jù)各混合像素點(diǎn)、各混合像素點(diǎn)的前景像素概率、所述幕布圖像，確定各混合像素點(diǎn)的融合權(quán)值，并根據(jù)各混合像素點(diǎn)的融合權(quán)值確定各混合像素點(diǎn)的前景分量值。

一個具體示例中，可以結(jié)合下式的原理確定混合像素點(diǎn)的融合權(quán)值和前景分量值。

c_r＝x_r-α_rm

式中，α_r表示融合權(quán)值，c_r表示前景分量值，m表示幕布圖像的對應(yīng)像素點(diǎn)的像素值，k基于上述像素點(diǎn)概率模型中得到的像素r的前景分量概率值，表示各混合像素的平均像素值。通過前景分量的提取，可使最終融合結(jié)果中去除邊緣的幕布顏色，使結(jié)果更真實(shí)自然。可以理解的是，還可以采用其他的方式來確定融合權(quán)值和前景分量，例如坐標(biāo)軸轉(zhuǎn)換、目標(biāo)角度投影等。

可以理解的是，在一個示例中，上述對像素點(diǎn)概率模型更新的過程，和對待處理圖像提取前景圖像的過程，可以是同時(shí)進(jìn)行，從而更新后的像素點(diǎn)概率模型，可以應(yīng)用到對后續(xù)的視頻流的視頻幀圖像的前景圖像和替換背景圖像的過程。

然后，將前景像素點(diǎn)的像素值，作為替換背景后圖像中、與前景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；并將新背景圖像中、與背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值，作為替換背景后圖像中、與背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值。

根據(jù)混合像素點(diǎn)的融合權(quán)值和前景分量值、新背景像素的像素值，確定混合像素點(diǎn)的融合像素值，并將融合像素值，作為替換背景后圖像中、與混合像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值。

一個具體示例中確定的融合像素值可以是如下式所示：

result_r＝c_r+α_rBG_r

其中，BG_r表示新背景圖像的像素值，result_r表示融合像素值。

基于如上所述的實(shí)施例的方案，通過對混合像素進(jìn)行融合權(quán)值建模和前景分量提取，從而使得最終得到的背景替換后的圖像更真實(shí)自然，大大提高了技術(shù)效果，解決了邊緣處理不干凈的問題，而且降低了計(jì)算復(fù)雜度，可以滿足實(shí)時(shí)性需求。此外，在建立像素點(diǎn)概率模型時(shí)，是基于幕布像素提取出種子前景像素點(diǎn)和種子背景像素點(diǎn)，減少了用戶交互次數(shù)，提高了效率。

圖8示出了一個實(shí)施例中的提取前景圖像的裝置的結(jié)構(gòu)示意圖。如圖8所示，該實(shí)施例中的提取前景圖像的裝置80包括：

概率計(jì)算模塊801，用于根據(jù)預(yù)定幕布圖像，確定待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的前景像素概率、屬于背景像素點(diǎn)的背景像素概率；

像素點(diǎn)類型確定模塊802，用于根據(jù)各所述像素點(diǎn)的前景像素概率、背景像素概率，確定各所述像素點(diǎn)的像素點(diǎn)類型，所述像素點(diǎn)類型包括前景像素點(diǎn)、背景像素點(diǎn)以及混合像素點(diǎn)；

混合像素融合信息確定模塊803，用于根據(jù)各所述混合像素點(diǎn)、各所述混合像素點(diǎn)的所述前景像素概率、所述幕布圖像，確定各所述混合像素點(diǎn)的融合權(quán)值，并根據(jù)各混合像素點(diǎn)的融合權(quán)值確定各所述混合像素點(diǎn)的前景分量值。

基于如上所述的實(shí)施例中的方案，其是提取前景圖像時(shí)，是基于幕布圖像，確定出待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的概率、屬于背景像素點(diǎn)的概率，并據(jù)此將像素點(diǎn)區(qū)分為前景像素點(diǎn)、背景像素點(diǎn)和混合像素點(diǎn)，并確定出混合像素點(diǎn)的融合權(quán)值和前景分量值，從而在此基礎(chǔ)上替換圖像背景時(shí)，針對混合像素點(diǎn)，可以基于混合像素點(diǎn)的融合權(quán)值和前景分量值，將混合像素點(diǎn)與新背景圖像進(jìn)行融合，從而將前景與背景融合處的混合像素進(jìn)行了有效區(qū)分，可以得到穩(wěn)定的提取前景圖像的分割結(jié)果，使得替換圖像背景時(shí)最終得到的替換了背景的圖像不會存在輪廓邊緣不自然的情況，獲得的圖像質(zhì)量高。

在一個具體示例中，如圖8所示，本實(shí)施例的提取前景圖像的裝置還可以包括像素點(diǎn)概率模型建立模塊800，該像素點(diǎn)概率模型建立模塊800用以建立像素點(diǎn)概率模型。此時(shí)，上述概率計(jì)算模塊801，是根據(jù)所述待處理圖像、所述幕布圖像以及像素點(diǎn)概率模型，確定所述待處理圖像中的各像素點(diǎn)屬于前景像素點(diǎn)的前景像素概率、屬于背景像素點(diǎn)的背景像素概率。

圖9示出了一個具體示例中的像素點(diǎn)概率模型建立模塊800的結(jié)構(gòu)示意圖，如圖9所示，該像素點(diǎn)概率模型建立模塊800包括：

第一圖像獲取模塊8001，用于獲取樣本圖像和所述幕布圖像，所述樣本圖像包括所述待處理圖像所在視頻流中、在所述待處理圖像之前的視頻幀的圖像；

種子像素提取模塊8002，用于根據(jù)所述樣本圖像的像素值與所述幕布圖像的像素值，對所述樣本圖像進(jìn)行閾值過濾，從所述樣本圖像中提取出種子前景像素點(diǎn)和種子背景像素點(diǎn)；

模型建立模塊8003，用于根據(jù)提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)，建立所述像素點(diǎn)概率模型。

如圖9所示，在一個具體應(yīng)用示例中，上述種子像素提取模塊8002可以包括：

距離計(jì)算模塊80021，用于計(jì)算所述樣本圖像的各像素點(diǎn)與所述幕布圖像的對應(yīng)位置處的像素點(diǎn)的距離；

閾值比較確定模塊80022，用于在所述距離大于第一距離閾值時(shí)，將對應(yīng)的所述像素點(diǎn)確定為種子前景像素點(diǎn)，在所述距離小于第二距離閾值時(shí)，將對應(yīng)的所述像素點(diǎn)確定為種子背景像素點(diǎn)，所述第一距離閾值大于第二距離閾值。

距離計(jì)算模塊80021在計(jì)算所述樣本圖像的各像素點(diǎn)與所述幕布圖像的對應(yīng)坐標(biāo)處的像素點(diǎn)的距離時(shí)，可以采用任何可能的方式進(jìn)行，例如結(jié)合YCrCb顏色空間進(jìn)行。以結(jié)合YCrCb顏色空間計(jì)算距離為例，上述距離計(jì)算模塊80021可以包括：

第一顏色空間轉(zhuǎn)換模塊，用于將所述樣本圖像的像素值轉(zhuǎn)換到Y(jié)CrCb顏色空間，獲得所述樣本圖像的各像素點(diǎn)的Cr分量、Cb分量；

第二顏色空間轉(zhuǎn)換模塊，用于將所述幕布圖像的像素值轉(zhuǎn)換到Y(jié)CrCb顏色空間，獲得所述幕布圖像的各像素點(diǎn)的Cr分量、Cb分量；

計(jì)算模塊，用于根據(jù)所述樣本圖像的各像素點(diǎn)的Cr分量、Cb分量，所述幕布圖像的各像素點(diǎn)的Cr分量、Cb分量，計(jì)算所述樣本圖像的各像素點(diǎn)與所述幕布圖像的對應(yīng)位置處的像素點(diǎn)的距離。

在一個具體示例中，上述模型建立模塊8003可以包括：

聚類模塊，用于對提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)進(jìn)行聚類，獲得各前景分量樣本、各背景分量樣本；具體聚類時(shí)，可以采用任何可能的聚類方式進(jìn)行聚類；

均值協(xié)方差計(jì)算模塊，用于計(jì)算各前景分量樣本的均值與協(xié)方差、各背景分量樣本的均值與協(xié)方差；

概率密度確定模塊，用于根據(jù)各前景分量樣本的均值與協(xié)方差、各背景分量樣本的均值與協(xié)方差，確定各前景分量的概率密度函數(shù)、各背景分量的概率密度函數(shù)；

模型生成模塊，用于根據(jù)各前景分量的概率密度函數(shù)、各背景分量的概率密度函數(shù)生成所述像素點(diǎn)概率模型。

如圖9所示，在一個具體示例中，上述像素點(diǎn)概率模型建立模塊800還可以包括：

模型更新模塊8004，用于在間隔所述樣本圖像預(yù)定幀距后，從所述視頻流中提取視頻幀圖像，并將該視頻幀圖像作為新樣本圖像；根據(jù)所述新樣本圖像的像素值與所述幕布圖像的像素值，對所述新樣本圖像進(jìn)行閾值過濾，從所述新樣本圖像中提取出種子前景像素點(diǎn)和種子背景像素點(diǎn)；并根據(jù)從所述新樣本圖像中提取的種子前景像素點(diǎn)、種子背景像素點(diǎn)對所述像素點(diǎn)概率模型進(jìn)行更新。

在一個具體示例中，上述像素點(diǎn)類型確定模塊802，用于在像素點(diǎn)的前景像素概率大于前景概率閾值時(shí)，判定該像素點(diǎn)為前景像素點(diǎn)；在像素點(diǎn)的背景像素概率大于背景概率閾值時(shí)，判定該像素點(diǎn)為背景像素點(diǎn)；否則，判定該像素點(diǎn)為混合像素點(diǎn)。

基于上述提取前景圖像的裝置，圖10示出了一個實(shí)施例中的替換圖像背景的裝置的結(jié)構(gòu)示意圖，如圖10所示，該實(shí)施例中的替換圖像背景的裝置包括：

第二圖像獲取模塊1001，用于獲取待處理圖像、新背景圖像；

上述提取前景圖像的裝置80；

前景像素融合模塊1002，用于將提取前景圖像的裝置確定的前景像素點(diǎn)的像素值，作為替換背景后圖像中、與所述前景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

背景像素融合模塊1003，用于將所述新背景圖像中、與所述提取前景圖像的裝置確定的背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值，作為所述替換背景后圖像中、與所述背景像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值；

混合像素融合模塊1004，用于根據(jù)所述提取前景圖像的裝置確定的混合像素點(diǎn)的融合權(quán)值和前景分量值、所述新背景像素的像素值，確定所述混合像素點(diǎn)的融合像素值，并將所述融合像素值，作為所述替換背景后圖像中、與所述混合像素點(diǎn)對應(yīng)位置處像素點(diǎn)的像素值。

據(jù)此，基于本實(shí)施例中的方案，其將前景與背景融合處的混合像素進(jìn)行了有效區(qū)分，可以得到穩(wěn)定的提取前景圖像的分割結(jié)果，使得替換圖像背景時(shí)最終得到的替換了背景的圖像不會存在輪廓邊緣不自然的情況，獲得的圖像質(zhì)量高。

可以理解，本實(shí)施例的裝置中的相關(guān)模塊，可采用與上述實(shí)施例的方法中的相同的方式實(shí)現(xiàn)。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一非易失性的計(jì)算機(jī)可讀取存儲介質(zhì)中，如本發(fā)明實(shí)施例中，該程序可存儲于計(jì)算機(jī)系統(tǒng)的存儲介質(zhì)中，并被該計(jì)算機(jī)系統(tǒng)中的至少一個處理器執(zhí)行，以實(shí)現(xiàn)包括如上述各方法的實(shí)施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機(jī)存儲記憶體(Random Access Memory，RAM)等。

以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡潔，未對上述實(shí)施例中的各個技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。