應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實ar系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻成像技術(shù)領(lǐng)域，尤其涉及應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR系 統(tǒng)及方法。
【背景技術(shù)】
[0002] 目前，在線娛樂平臺眾多，主播們宅在家里就可以進行視頻直播。由于拍攝環(huán)境單 調(diào)，導(dǎo)致節(jié)目缺乏趣味性、吸引力不強，因此需要提供一種操作簡單的技術(shù)為主播的精彩表 現(xiàn)烘托氣氛，加強視覺沖擊力。目前大多采用圖片疊加技術(shù)，圖片疊加技術(shù)是把兩張圖片按 照不同的透明度融合在一起，也可以改變原來圖片的氣氛;但圖片疊加技術(shù)帶來的效果有 限，而且不能任意更換背景。
[0003] 增強現(xiàn)實(Augmented Reality，簡稱AR)是近年來國外眾多知名大學(xué)和研究機構(gòu) 的研究熱點之一;增強現(xiàn)實AR技術(shù)是近年來發(fā)展起來的新興技術(shù)，其核心是將虛擬內(nèi)容和 真實存在的內(nèi)容進行實時融合，形成虛擬、現(xiàn)實之間的互動，從而創(chuàng)造出全新的體驗。虛擬 演播室就是典型的增強現(xiàn)實系統(tǒng)，它將實拍的人物與電腦繪制的虛擬場景有機地結(jié)合起 來，以全新的視覺效果展現(xiàn)在觀眾面前。但虛擬演播室是一套復(fù)雜的系統(tǒng)，價格昂貴，操作 繁瑣，且對節(jié)目制作人員有技術(shù)要求，同時傳統(tǒng)的增強現(xiàn)實AR技術(shù)對計算機的運算性能要 求很高。

【發(fā)明內(nèi)容】

[0004] 針對上述問題中存在的不足之處，本發(fā)明提供應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實 AR系統(tǒng)及方法。
[0005] 為實現(xiàn)上述目的，本發(fā)明提供了一種應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR系統(tǒng)， 包括:增強現(xiàn)實AR單元、攝像頭、數(shù)據(jù)庫和顯示單元；
[0006] 所述攝像頭用于采集原始背景，和帶有前景目標圖像和原始背景的視頻幀；
[0007] 所述數(shù)據(jù)庫用于存儲替換圖像或視頻；
[0008] 所述顯示單元用于顯示增強現(xiàn)實AR單元的處理結(jié)果；
[0009] 所述增強現(xiàn)實AR單元分別與所述攝像頭、數(shù)據(jù)庫和顯示單元相連，所述增強現(xiàn)實 AR單元包括檢測模塊、提取模塊和疊加模塊；
[0010] 所述檢測模塊用于檢測攝像頭采集的原始背景是否符合AR處理要求，當符合要求 時，向提取模塊內(nèi)發(fā)送提取信號；
[0011] 所述提取模塊與所述檢測模塊相連，用于根據(jù)所述提取信號提取視頻幀的前景目 標圖像；
[0012] 所述疊加模塊與所述提取模塊相連，用于將替換圖像或視頻與前景目標圖像進行 置加。
[0013] 作為本發(fā)明的進一步改進，所述增強現(xiàn)實AR單元還包括放大/縮小模塊，所述放 大/縮小模塊設(shè)置在所述提取模塊與所述疊加模塊之間，用于在疊加前對提取的前景目標 圖像進行放大或縮小。
[0014] 作為本發(fā)明的進一步改進，所述檢測模塊包括方差檢測模塊和邊緣數(shù)目檢測模 塊。
[0015] 作為本發(fā)明的進一步改進，當原始背景不符合AR處理要求時，檢測模塊向攝像頭 發(fā)送再次采集原始背景的信號。
[0016] 本發(fā)明還公開了一種應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR系統(tǒng)的使用方法，包 括：
[0017] 步驟一、采集原始背景并檢測所述原始背景是否符合AR處理要求，當檢測結(jié)果為 符合時，則進入步驟二；
[0018] 步驟二、采集帶有前景目標圖像和所述原始背景的視頻幀，并提取視頻幀的前景 目標圖像；
[0019] 步驟三、將提取的前景目標圖像與替換背景進行疊加，形成新的視覺圖像，所述替 換背景包括:圖像或視頻。
[0020] 作為本發(fā)明的進一步改進，所述原始背景為純色背景。
[0021] 作為本發(fā)明的進一步改進，所述步驟一中檢測是否符合AR處理要求的依據(jù)為:方 差檢測和邊緣數(shù)目檢測；
[0022]所述方差檢測的公式為：
[0023]
[0024] 其中:D(X)表示方差，X表示原始背景圖像，E(X)表示原始背景圖像的平均值，^表 示像素值，η表示像素個數(shù)；
[0025] 所述邊緣數(shù)目檢測的方法為:采用Sobel算子檢測邊緣數(shù)目；
[0026] 當方差和邊緣數(shù)目均小于其設(shè)定的閾值時，則判定為:原始背景符合AR處理要求。
[0027] 作為本發(fā)明的進一步改進，當步驟一中的檢測結(jié)果為不符合時，調(diào)整所述原始背 景，并重復(fù)步驟一。
[0028] 作為本發(fā)明的進一步改進，所述步驟二中提取視頻幀的前景目標圖像的方法為：
[0029] 基于混合高斯模型GMM將視頻幀的像素點與混合高斯模型GMM的各個分布進行匹 配；
[0030] Χ-μL| < λ〇?
[0031] 其中:Χ表示像素值，&表示高斯分布的均值，〇1表示高斯分布的方差，λ表示高斯分 布方差的閾值；
[0032] 當像素點與某個高斯分布滿足上式，則該像素點與高斯分布相匹配，為背景點；否 則為前景點。
[0033]作為本發(fā)明的進一步改進，所述步驟二與步驟三之間還包括步驟四；
[0034] 所述步驟四為將視頻幀的前景目標圖像根據(jù)需要放大或縮小后，將其移動到指定 的位置。
[0035] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：
[0036] 本發(fā)明提供了應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR系統(tǒng)及方法，包括增強現(xiàn)實AR 單元、攝像頭、數(shù)據(jù)庫和顯示單元;通過上述結(jié)構(gòu)實現(xiàn)原始背景檢測、提取前景目標圖像、替 換背景。本發(fā)明解決了在線娛樂平臺主播因拍攝環(huán)境單調(diào)、直播視頻缺乏吸引力的問題，用 戶可動態(tài)更換任意背景，可以有效地提升視頻的趣味性、加強視頻的視覺沖擊力；用戶指定 替換圖像或視頻，就可達到更換視頻背景的目的，操作簡單；同時該方法對計算機的性能要 求不高，可以在PC機、手機android系統(tǒng)上實現(xiàn)。
【附圖說明】
[0037] 圖1為本發(fā)明一種實施例公開的應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR系統(tǒng)的框架 圖；
[0038] 圖2為本發(fā)明一種實施例公開的應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR的方法流程 圖；
[0039]圖3為本發(fā)明一種實施例公開的原始背景圖；
[0040]圖4為本發(fā)明一種實施例公開的替換背景；
[0041]圖5為本發(fā)明一種實施例公開的帶有前景目標圖像的視頻幀圖；
[0042] 圖6為本發(fā)明一種實施例公開的替換圖像與前景目標圖像進行疊加形成的新圖 像。
[0043] 圖中：1、增強現(xiàn)實AR單元；1-1、檢測模塊；1-2、提取模塊；1-3、疊加模塊；1-4、放 大/縮小模塊;2、攝像頭;3、數(shù)據(jù)庫;4顯示單元。
【具體實施方式】
[0044]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例 中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是 本發(fā)明的一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人 員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。 [0045]本發(fā)明公開了一種應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR系統(tǒng)，包括:增強現(xiàn)實AR 單元、攝像頭、數(shù)據(jù)庫和顯示單元;攝像頭用于采集原始背景，和帶有前景目標圖像和原始 背景的視頻幀;數(shù)據(jù)庫用于存儲替換圖像或視頻;顯示單元用于顯示增強現(xiàn)實AR單元的處 理結(jié)果;增強現(xiàn)實AR單元分別與攝像頭、數(shù)據(jù)庫和顯示單元相連，增強現(xiàn)實AR單元包括檢測 模塊、提取模塊和疊加模塊;檢測模塊用于檢測攝像頭采集的原始背景是否符合AR處理要 求，當符合要求時，向提取模塊內(nèi)發(fā)送提取信號；提取模塊與檢測模塊相連，用于根據(jù)提取 信號提取視頻幀的前景目標圖像;疊加模塊與提取模塊相連，用于將替換圖像或視頻與前 景目標圖像進行疊加。本發(fā)明還公開了一種應(yīng)用于互聯(lián)網(wǎng)視頻直播的增強現(xiàn)實AR方法，采 集原始背景并檢測原始背景是否符合AR處理要求，當檢測結(jié)果為符合時，則進入下一步;采 集帶有前景目標圖像和原始背景的視頻幀，并提取視頻幀的前景目標圖像;將提取的前景 目標圖像與替換背景進行疊加，形成新的視覺圖像，替換背景包括：圖像或視頻。本發(fā)明解 決了在線娛樂平臺主播因拍攝環(huán)境單調(diào)、直播視頻缺乏吸引力的問題，用戶可動態(tài)更換任 意背景，可以有效地提升視頻的趣味性、加強視頻的視覺沖擊力；用戶指定替換圖像或視 頻，就可達到更換視頻背景的目的，操作簡單；同時該方法對計算機的性能要求不高，可以 在PC機、手機android系統(tǒng)上實現(xiàn)。
[0046]下面結(jié)合附圖對本發(fā)明做進一步的詳細描述：
[0047]實施例1:如圖1所示，本發(fā)明第一目的在于提供一種應(yīng)用于互聯(lián)網(wǎng)視頻直播的增 強現(xiàn)實AR系統(tǒng)，包括:增強現(xiàn)實AR單元1、攝像頭2、數(shù)據(jù)庫3和顯示單元4;
[0048] 攝像頭2用于采集不帶有目標的原始背景，和采集帶有前景目標圖像和原始背景 的視頻幀，數(shù)據(jù)庫3用于存儲替換圖像或視頻，顯示單元4用于顯示增強現(xiàn)實AR單元的處理 結(jié)果;增強現(xiàn)實AR單元1分別與攝像頭2、數(shù)據(jù)庫3和顯示單元4相連。
[0049] 增強現(xiàn)實AR單元1包括檢測模塊1-