本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域，特別涉及一種視頻圖像處理方法和裝置。

背景技術(shù)：

隨著計算機和互聯(lián)網(wǎng)技術(shù)的發(fā)展，各種直播類的應(yīng)用程序越來越多，用戶可以利用各種終端設(shè)備登錄這些直播類的應(yīng)用程序，進(jìn)入感興趣的直播間，觀看主播的直播節(jié)目。

主播在進(jìn)行直播時，往往是將鏡頭內(nèi)拍攝到的實時畫面通過網(wǎng)絡(luò)傳輸給用戶觀看。也就是說，直播間的用戶看到的畫面是主播周圍的實時畫面。

但是，現(xiàn)有的這種展現(xiàn)主播四周實時畫面的方式應(yīng)用范圍比較窄，因為一旦主播的位置固定(例如在家里)，主播所處的四周環(huán)境往往不會變化或變化較小。當(dāng)需要提供不同的四周環(huán)境(例如，家里裝修太差，不適宜直播)時，需要主播更換直播地點，給直播帶來不便。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供了一種圖像處理方法和裝置，能夠豐富直播畫面，以更便捷地進(jìn)行直播。

一方面，提供了一種視頻圖像處理方法，所述方法包括：

直播開始時，采集第一視頻圖像，所述第一視頻圖像由主體部分圖像和真實背景部分圖像構(gòu)成；

將所述主體部分圖像和所述真實背景部分圖像相分離；

利用預(yù)先獲取的虛擬背景替換所述真實背景部分圖像；

將所述主體部分圖像和所述虛擬背景組合成第二視頻圖像，并向用戶終端輸出所述第二視頻圖像。

可選地，所述主體部分圖像為直播時涉及直播間主播的部分，所述真實背景部分圖像為主播身后真實存在的純色幕布部分，所述虛擬背景為本地存儲的圖片或直播網(wǎng)站上提供的背景圖片。

可選地，在所述將所述主體部分圖像和所述真實背景部分圖像相分離之后，所述方法還包括：

將所述真實背景部分圖像轉(zhuǎn)換成黑色的紋理圖。

可選地，在所述將所述主體部分圖像和所述真實背景部分圖像相分離之后，所述方法還包括：

對所述主體部分圖像進(jìn)行邊緣平滑濾波處理；

所述將所述主體部分圖像和所述虛擬背景組合成第二視頻圖像包括：

將經(jīng)過邊緣平滑濾波處理的主體部分圖像和所述虛擬背景組合成第二視頻圖像。

可選地，所述對所述主體部分圖像進(jìn)行邊緣平滑濾波處理包括：

找出所述主體部分圖像中橫排所有的邊緣點和豎排所有的邊緣點；

利用高斯濾波算法分別對橫排所有的邊緣點和豎排所有的邊緣點進(jìn)行平滑處理。

可選地，所述方法還包括：

在主播運動時，重新采集第一視頻圖像，將所述主體部分圖像和所述真實背景部分圖像相分離；利用所述虛擬背景替換所述真實背景部分圖像；將所述主體部分圖像和所述虛擬背景組合成第二視頻圖像，并向用戶終端輸出所述第二視頻圖像。

另一方面，提供一種視頻圖像處理裝置，包括：

視頻圖像采集模塊，用于在直播開始時，采集第一視頻圖像，所述第一視頻圖像由主體部分圖像和真實背景部分圖像構(gòu)成；

處理模塊，用于將所述主體部分圖像和所述真實背景部分圖像相分離，并利用預(yù)先獲取的虛擬背景替換所述真實背景部分圖像，將所述主體部分圖像和所述虛擬背景組合成第二視頻圖像；

輸出模塊，用于向用戶終端輸出所述第二視頻圖像。

可選地，在將所述主體部分圖像和所述真實背景部分圖像相分離之后，所述處理模塊還用于：將所述真實背景部分圖像轉(zhuǎn)換成黑色的紋理圖。

可選地，在將所述主體部分圖像和所述真實背景部分圖像相分離之后，所述處理模塊還用于：

對所述主體部分圖像進(jìn)行邊緣平滑濾波處理；

將經(jīng)過邊緣平滑濾波處理的主體部分圖像和所述虛擬背景組合成第二視頻圖像。

可選地，所述處理模塊具體用于：

找出所述主體部分圖像中橫排所有的邊緣點和豎排所有的邊緣點；

利用高斯濾波算法分別對橫排所有的邊緣點和豎排所有的邊緣點進(jìn)行平滑處理。

本發(fā)明實施例提供的視頻圖像處理方法和裝置，將采集的第一視頻圖像中的主體部分圖像和真實背景部分圖像相分離，利用虛擬背景來替換真實背景部分圖像，進(jìn)而向用戶終端輸出所述主體部分圖像和所述虛擬背景組合成的第二視頻圖像，能夠?qū)崿F(xiàn)主播在直播的時候可以隨意替換背景(例如官方提供背景或者主播本地圖片)，更便捷地進(jìn)行直播。

附圖說明

為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例提供的視頻圖像處理方法的流程圖；

圖2是本發(fā)明實施例提供的視頻圖像處理方法的流程圖；

圖3是本發(fā)明實施例提供的虛擬背景設(shè)置界面的示意圖；

圖4是本發(fā)明實施例提供的OBS摳圖的操作界面的示意圖；

圖5A是替換背景前的直播界面圖；

圖5B是替換背景后的直播界面圖；

圖6是本發(fā)明實施例提供的視頻圖像處理裝置的結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方式作進(jìn)一步地詳細(xì)描述。

圖1是本發(fā)明實施例提供的視頻圖像處理方法的流程圖。參照圖1，本發(fā)明實施例提供的視頻圖像處理方法可包括：

11、直播開始時，采集第一視頻圖像，所述第一視頻圖像由主體部分圖像和真實背景部分圖像構(gòu)成；

12、將所述主體部分圖像和所述真實背景部分圖像相分離；

13、利用預(yù)先獲取的虛擬背景替換所述真實背景部分圖像；

14、將所述主體部分圖像和所述虛擬背景組合成第二視頻圖像，并向用戶終端輸出所述第二視頻圖像。

其中，作為一種典型應(yīng)用場景，所述主體部分圖像可以為直播時涉及直播間主播的圖像，所述真實背景部分圖像可以為主播身后真實存在的純色幕布部分。當(dāng)然，本發(fā)明并不限于此，所述主體部分圖像可以根據(jù)需要來設(shè)定，例如所述主體部分圖像可以為直播時涉及某一動物(例如，貓、狗等)的圖像。所述純色幕布例如可以為藍(lán)色、綠色等顏色，純色幕布的選取一個總體要求是需要保證顏色與主體部分圖像不一樣，即能夠很輕易地將主圖部分圖像和真實背景部分圖像區(qū)分開。例如，當(dāng)主播穿紅色衣服時，可以選擇綠色或藍(lán)色的幕布；而當(dāng)主播穿藍(lán)色衣服時，可以選取綠色或紅色的幕布。

所述虛擬背景可以為本地存儲的圖片或直播網(wǎng)站上提供的背景圖片。這樣一來，在實際應(yīng)用時，可以根據(jù)個人喜好來選擇自己喜歡的圖片作為直播背景。

本發(fā)明實施例提供的視頻圖像處理方法，將采集的第一視頻圖像中的主體部分圖像和真實背景部分圖像相分離，利用虛擬背景來替換真實背景部分圖像，進(jìn)而向用戶終端輸出所述主體部分圖像和所述虛擬背景組合成的第二視頻圖像，能夠?qū)崿F(xiàn)主播在直播的時候可以隨意替換背景(例如官方提供背景或者主播本地圖片)，更便捷地進(jìn)行直播。

圖2是本發(fā)明實施例提供的視頻圖像處理方法的流程圖。本發(fā)明實施例提供的視頻圖像處理方法可由各種終端設(shè)備來執(zhí)行，例如手機、電腦等，所述終端設(shè)備上配備有攝像頭以采集視頻圖像。參照圖2，以主播進(jìn)行直播為例，所述方法可包括：

21、直播開始時，采集第一視頻圖像，所述第一視頻圖像由主體部分圖像和真實背景部分圖像構(gòu)成。

在具體實施時，先需要完成一些準(zhǔn)備工作。具體地，在直播開始之前，主播需要在身后拉起一塊純色幕布(例如，綠色、藍(lán)色等)，以將身后的真實環(huán)境用純色幕布擋住，便于后續(xù)攝像頭采集圖像進(jìn)行圖像處理。

準(zhǔn)備工作完成后，即可開始直播。具體地，主播可以在終端設(shè)備上安裝直播類應(yīng)用程序，并啟動該應(yīng)用程序，此時終端設(shè)備的顯示屏上可以顯示出該應(yīng)用程序的登錄界面，主播可以輸入個人的賬號和密碼來登錄。登錄后可開啟直播間，此時直播開始。

22、將所述主體部分圖像和所述真實背景部分圖像相分離。

本步驟可以利用各種摳圖技術(shù)來實現(xiàn)。例如，利用OBS摳圖來將主播圖像和純色幕布圖像分離。

在此步驟之前，還可以進(jìn)一步確定終端設(shè)備內(nèi)是否有圖形處理單元(GPU)，目前市面上大部分的電腦，不論是集成顯卡還是獨立顯卡都有GPU。若含有GPU，則繼續(xù)執(zhí)行下面的步驟，若沒有GPU，則可提示無法進(jìn)行視頻圖像處理。

23、將所述真實背景部分圖像轉(zhuǎn)換成黑色的紋理圖。

本步驟可由GPU來完成。GPU將摳圖后真實背景部分圖像進(jìn)行紋理化處理，由于紋理圖里的點不需要進(jìn)行GPU圖像運算，這樣可以大大減輕GPU的負(fù)荷，提高了軟件性能。

GPU將與主播選擇的幕布顏色相近的RGB顏色轉(zhuǎn)換成純黑色的紋理圖之后，會將紋理圖映射成RGB 24位圖，然后進(jìn)行輸出。

24、對所述主體部分圖像進(jìn)行邊緣平滑濾波處理。在RGB 24位圖出來之后，GPU會對主體部分圖像進(jìn)行邊緣的平滑處理，因為如果不處理的話，主播移動的時候會造成大量的殘影。

邊緣平滑處理的原理是：對邊緣處的圖像進(jìn)行像素值加權(quán)平均的過程，每一個像素點的RGB值，都由其本身和鄰域內(nèi)的其他像素點的RGB值經(jīng)過加權(quán)平均后得到。這樣就做到了盡量的平滑，大大的減少了重影的顯示。

其中，本步驟中進(jìn)行邊緣平滑濾波處理可具體包括：找出所述主體部分圖像中橫排所有的邊緣點和豎排所有的邊緣點；利用高斯濾波算法分別對橫排所有的邊緣點和豎排所有的邊緣點進(jìn)行平滑處理。

其中，找出橫排所有的邊緣點可以具體為：確定橫排每一行上的所有點的RGB值以及這一行中點的RGB值，確定離該中點最遠(yuǎn)的兩個端點為該行的邊緣點。

找出豎排所有的邊緣點可以具體為：確定豎排每一列上的所有點的RGB值以及這一列中點的RGB值，確定離該中點最遠(yuǎn)的兩個端點為該列的邊緣點。

25、利用預(yù)先獲取的虛擬背景替換所述真實背景部分圖像，并將經(jīng)過邊緣平滑濾波處理的所述主體部分圖像和所述虛擬背景組合成第二視頻圖像，并向用戶終端輸出所述第二視頻圖像。

可選地，在主體部分運動時，本發(fā)明實施例提供的視頻圖像處理方法還可包括：在主播運動時，重新采集第一視頻圖像，將所述主體部分圖像和所述真實背景部分圖像相分離；利用所述虛擬背景替換所述真實背景部分圖像；將所述主體部分圖像和所述虛擬背景組合成第二視頻圖像，并向用戶終端輸出所述第二視頻圖像。

在本發(fā)明實施例中，圖像處理是根據(jù)每一幀都會進(jìn)行的(一般直播的幀率為15-30幀)，主播運動時會自動觸發(fā)GPU進(jìn)行邊緣平滑濾波處理，消除虛擬背景與運動對象顏色重疊造成的重影。

本發(fā)明實施例提供的視頻圖像處理方法可以方便主播隨時更換自己喜好的場景，同時可以節(jié)省主播為了直播的裝修費用，只需要從網(wǎng)絡(luò)上面下載對應(yīng)的圖片即可運用到直播中。

下面結(jié)合圖3-圖5B的具體界面圖對本發(fā)明進(jìn)行進(jìn)一步闡釋。

在本發(fā)明中，在直播正式開始之前，主播拉起純色幕布和開啟直播軟件之后，可通過虛擬背景設(shè)置界面和OBS摳圖的操作界面進(jìn)行相應(yīng)設(shè)置。

本發(fā)明實施例提供的虛擬背景設(shè)置界面可如圖3所示，通過虛擬背景設(shè)置界面中可選擇是否啟用去背景功能(只有開啟此功能，才能實現(xiàn)本發(fā)明的背景替換)，設(shè)置背景色以及選擇要選用的虛擬背景。其中，虛擬背景中的圖片可以為官方提供的圖片，也可以是用戶本地上傳的圖片，圖3中前四個為官方提供的圖片，后面2個是用戶上傳的圖片。圖3界面中的設(shè)置背景色就是設(shè)置主播直播時的幕布顏色，相似性可以調(diào)整用戶的邊緣顯示。

OBS摳圖的操作界面可如圖4所示，利用圖4所示操作界面可以對摳圖處理的各種參數(shù)進(jìn)行設(shè)置。

待虛擬背景設(shè)置界面和OBS摳圖的操作界面設(shè)置好之后，即可開啟直播。圖5A顯示的是主播替換直播背景之前的直播界面圖，圖5B顯示的是主播替換直播背景之后的直播界面圖。由圖5A和圖5B的效果圖對比可知，本發(fā)明實施例提供的視頻圖像處理方法可具有很好的應(yīng)用效果。主播直播時可隨時更換自己喜好的場景，同時可以節(jié)省主播為了直播的裝修費用，因為只需要從網(wǎng)絡(luò)上面下載對應(yīng)的圖片即可將該圖片作為直播背景運用到直播中。

圖6是本發(fā)明實施例提供的一種視頻圖像處理裝置的結(jié)構(gòu)框圖。參照圖6,，所述視頻圖像處理裝置60可包括：

視頻圖像采集模塊61，用于在直播開始時，采集第一視頻圖像，所述第一視頻圖像由主體部分圖像和真實背景部分圖像構(gòu)成；

處理模塊62，用于將所述主體部分圖像和所述真實背景部分圖像相分離，并利用預(yù)先獲取的虛擬背景替換所述真實背景部分圖像，將所述主體部分圖像和所述虛擬背景組合成第二視頻圖像；

輸出模塊63，用于向用戶終端輸出所述第二視頻圖像。

其中，所述視頻圖像處理裝置60可以為例如手機、電腦等終端設(shè)備，所述視頻圖像采集模塊61可以為各種不同類型的攝像頭，所述處理模塊62可以包括CPU和/或GPU，所述輸出模塊63可以為各種通信接口。

本發(fā)明實施例提供的視頻圖像處理裝置，將采集的第一視頻圖像中的主體部分圖像和真實背景部分圖像相分離，利用虛擬背景來替換真實背景部分圖像，進(jìn)而向用戶終端輸出所述主體部分圖像和所述虛擬背景組合成的第二視頻圖像，能夠?qū)崿F(xiàn)主播在直播的時候可以隨意替換背景(例如官方提供背景或者主播本地圖片)，更便捷地進(jìn)行直播。

可選地，在將所述主體部分圖像和所述真實背景部分圖像相分離之后，所述處理模塊62還用于：將所述真實背景部分圖像轉(zhuǎn)換成黑色的紋理圖。

可選地，在將所述主體部分圖像和所述真實背景部分圖像相分離之后，所述處理模塊62還用于：

對所述主體部分圖像進(jìn)行邊緣平滑濾波處理；

將經(jīng)過邊緣平滑濾波處理的主體部分圖像和所述虛擬背景組合成第二視頻圖像。

可選地，所述處理模塊62具體用于：

找出所述主體部分圖像中橫排所有的邊緣點和豎排所有的邊緣點；

利用高斯濾波算法分別對橫排所有的邊緣點和豎排所有的邊緣點進(jìn)行平滑處理。

本發(fā)明實施例提供的視頻圖像處理裝置可以方便主播隨時更換自己喜好的場景，同時可以節(jié)省主播為了直播的裝修費用，只需要從網(wǎng)絡(luò)上面下載對應(yīng)的圖片即可運用到直播中。

需要說明的是：上述實施例提供的視頻圖像處理裝置僅以上述各功能模塊的劃分進(jìn)行舉例說明，實際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能模塊完成，即將視頻圖像處理裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。另外，上述實施例提供的視頻圖像處理裝置與視頻圖像處理方法實施例屬于同一構(gòu)思，其具體實現(xiàn)過程詳見方法實施例，這里不再贅述。

需要說明的是，本說明書中的各個實施例均采用遞進(jìn)的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于裝置類實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

需要說明的是，在本文中，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分步驟可以通過硬件來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。

以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。