一種基于人臉識(shí)別和行為識(shí)別的視頻制作方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】一種基于人臉識(shí)別和行為識(shí)別的視頻制作方法及系統(tǒng)，本發(fā)明方法包括以下步驟：S1、攝像頭拍攝觀眾畫(huà)面并將畫(huà)面?zhèn)魉徒o識(shí)別器，所述識(shí)別器識(shí)別出畫(huà)面中的人臉，并判斷連續(xù)識(shí)別到人臉的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間。S2、若是，識(shí)別器通知圖像處理器開(kāi)始進(jìn)行觀眾行為識(shí)別，同時(shí)識(shí)別器將識(shí)別到的人臉圖像發(fā)送給所述圖像處理器。S3、圖像處理器將視頻中的人臉替換為已接收的人臉圖像，并將視頻中人物行為替換為已識(shí)別的觀眾行為，并將替換后的新視頻發(fā)送至服務(wù)器保存。
【專(zhuān)利說(shuō)明】一種基于人臉識(shí)別和行為識(shí)別的視頻制作方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于人臉識(shí)別及行為識(shí)別領(lǐng)域，具體涉及一種基于人臉識(shí)別和行為識(shí)別的視頻制作方法及系統(tǒng)。
【背景技術(shù)】
[0002]人臉識(shí)別是指利用分析比較人臉視覺(jué)特征信息，用以進(jìn)行身份鑒別的計(jì)算機(jī)技術(shù)。目前屬于比較熱門(mén)的計(jì)算機(jī)技術(shù)研究領(lǐng)域，其應(yīng)用在生活中也越來(lái)越廣泛，包括數(shù)碼相機(jī)人臉自動(dòng)對(duì)焦、笑臉快門(mén)技術(shù)、公安刑偵破案、門(mén)禁系統(tǒng)、攝像監(jiān)視系統(tǒng)和身份辨識(shí)等方面。
[0003]行為識(shí)別指人體行為分析技術(shù)，它有著廣泛的應(yīng)用背景，如智能監(jiān)控、人機(jī)交互、運(yùn)動(dòng)員輔助訓(xùn)練、視頻編碼等。近年來(lái)，在這些應(yīng)用的驅(qū)動(dòng)之下，行為分析已經(jīng)成為圖像分析、心理學(xué)、神經(jīng)生理學(xué)等相關(guān)領(lǐng)域的研究熱點(diǎn)。常見(jiàn)的應(yīng)用有視頻的目標(biāo)跟蹤、檢測(cè)和監(jiān)控異常行為等。
[0004]在日常生活中，多媒體為我們的生活帶來(lái)了許多便利與樂(lè)趣。在人們觀看視頻的時(shí)候，希望自己也能成功視頻中的人物，以帶來(lái)身臨其境的體驗(yàn)。比如說(shuō)，KTV是現(xiàn)代人閑余時(shí)間常去的娛樂(lè)場(chǎng)所，它不僅可以打發(fā)空余時(shí)間，更成為人們提升團(tuán)隊(duì)感情，休閑娛樂(lè)的地方。假設(shè)KTV能夠擁有新的功能，使歌唱者不僅可以傳統(tǒng)地看著屏幕MV唱歌，還可以使歌曲視頻中動(dòng)態(tài)播放歌唱者的行為，這樣將給用戶帶來(lái)一種全新的樂(lè)趣。
[0005]目前存在一些視頻角色互換的技術(shù)，在申請(qǐng)?zhí)枮?01110086617.6的專(zhuān)利中，公開(kāi)了一種角色互動(dòng)的視頻播放方法，包括:步驟一、對(duì)準(zhǔn)備播放的視頻圖像進(jìn)行人臉檢測(cè)，獲得人臉區(qū)域；步驟二、對(duì)人臉區(qū)域進(jìn)行姿態(tài)估計(jì)，獲得姿態(tài)參數(shù)；步驟三、根據(jù)姿態(tài)參數(shù)，從數(shù)據(jù)庫(kù)中查找匹配的觀眾人臉圖像作為匹配圖像；步驟四、用匹配圖像替換人臉區(qū)域，獲得新的視頻圖像。上述方法首先需要從數(shù)據(jù)庫(kù)中查找觀眾人臉圖像后，再與視頻中的人臉圖像互換。存在如下問(wèn)題:一方面替換后的觀眾人臉表情會(huì)比較僵硬，觀眾體驗(yàn)不夠生動(dòng)；另一方面，僅將人臉進(jìn)行角色互換，觀眾的肢體語(yǔ)言并沒(méi)有融合到視頻情境中，沒(méi)有真正身臨其境的感覺(jué)。
[0006]鑒于上述原因，本發(fā)明提供一種基于人臉識(shí)別和行為識(shí)別的視頻制作方法及系統(tǒng)，以達(dá)到視頻中可動(dòng)態(tài)播放觀眾人臉和行為的效果。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供一種基于人臉識(shí)別和行為識(shí)別的視頻制作方法，包括以下步驟:
[0008]S1、攝像頭拍攝觀眾畫(huà)面并將畫(huà)面?zhèn)魉徒o識(shí)別器，所述識(shí)別器識(shí)別出畫(huà)面中的人臉，并判斷連續(xù)識(shí)別到人臉的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間；
[0009]S2、若是，識(shí)別器通知圖像處理器開(kāi)始進(jìn)行觀眾行為識(shí)別，同時(shí)識(shí)別器將識(shí)別到的人臉圖像發(fā)送給所述圖像處理器；
[0010]S3、圖像處理器將視頻中的人臉替換為已接收的人臉圖像，并將視頻中人物行為替換為已識(shí)別的觀眾行為，并將替換后的新視頻發(fā)送至服務(wù)器保存。
[0011]優(yōu)選的，在步驟SI中，若識(shí)別器判斷連續(xù)識(shí)別到人臉的時(shí)間沒(méi)有達(dá)到預(yù)設(shè)時(shí)間，則識(shí)別器不向圖像處理器發(fā)送通知，也不將自身識(shí)別到的人臉圖像發(fā)送給所述圖像處理器。
[0012]優(yōu)選的，在步驟SI中，識(shí)別器判斷連續(xù)識(shí)別到人臉的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間，其中所述人臉為正臉。
[0013]優(yōu)選的，步驟S3還包括:服務(wù)器還接收錄音器提供的音頻，并將所述音頻與新視頻合并保存。
[0014]優(yōu)選的，本方法還包括步驟S4:觀眾通過(guò)客戶端點(diǎn)播服務(wù)器合并保存的音頻及新視頻，服務(wù)器將所述合并保存的音頻及新視頻發(fā)送給客戶端，由客戶端播放。
[0015]本發(fā)明還提供一種基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)，包括攝像頭、識(shí)別器、圖像處理器及服務(wù)器，所述攝像頭連接識(shí)別器，所述識(shí)別器連接圖像處理器，所述圖像處理器連接服務(wù)器。
[0016]優(yōu)選的，所述系統(tǒng)還包括錄音器，所述錄音器與服務(wù)器連接。
[0017]優(yōu)選的，所述攝像頭、識(shí)別器、圖像處理器及錄音器內(nèi)置在視頻制作系統(tǒng)中。
[0018]根據(jù)本發(fā)明提供的基于人臉識(shí)別和行為識(shí)別的視頻制作方法及系統(tǒng)，當(dāng)識(shí)別器識(shí)別出觀眾人臉，并判斷連續(xù)識(shí)別到人臉的時(shí)間達(dá)到預(yù)設(shè)時(shí)間時(shí)，圖像處理器根據(jù)識(shí)別器的通知開(kāi)始進(jìn)行觀眾行為識(shí)別，避免了捕捉人臉持續(xù)時(shí)間短對(duì)系統(tǒng)造成的資源浪費(fèi)。同時(shí)，圖像處理器將視頻中的人臉替換為識(shí)別器提供的人臉圖像，并將視頻中人物行為替換為已識(shí)別的觀眾行為，由此，實(shí)現(xiàn)了觀眾人臉和肢體行為與視頻中的角色互換，給觀眾帶來(lái)了良好的互動(dòng)體驗(yàn)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0019]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0020]圖1是本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作方法流程圖；
[0021]圖2是本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)使用流程圖；
[0022]圖3是本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]下文中將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0024]圖1是本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作方法流程圖。如圖1所示，本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作方法包括步驟SI?S3。
[0025]步驟S1:攝像頭拍攝觀眾畫(huà)面并將畫(huà)面?zhèn)魉徒o識(shí)別器，所述識(shí)別器識(shí)別出畫(huà)面中的人臉，并判斷連續(xù)識(shí)別到人臉的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間。
[0026]具體而言，在本步驟中，若識(shí)別器判斷連續(xù)識(shí)別到人臉的時(shí)間沒(méi)有達(dá)到預(yù)設(shè)時(shí)間，則識(shí)別器不向圖像處理器發(fā)送通知，也不將自身識(shí)別到的人臉圖像發(fā)送給所述圖像處理器。
[0027]本實(shí)施例中，當(dāng)識(shí)別器判斷連續(xù)識(shí)別到的人臉為正臉，且連續(xù)識(shí)別到所述正臉的時(shí)間達(dá)到預(yù)設(shè)時(shí)間時(shí)做相應(yīng)處理。
[0028]步驟S2:若是，識(shí)別器通知圖像處理器開(kāi)始進(jìn)行觀眾行為識(shí)別，同時(shí)識(shí)別器將識(shí)別到的人臉圖像發(fā)送給所述圖像處理器。
[0029]具體而言，圖像處理器接收到識(shí)別器的通知后，開(kāi)始識(shí)別觀眾行為，即捕捉觀眾的肢體行為。于此，所述圖像處理器將實(shí)時(shí)接收的人臉圖像與自身識(shí)別的觀眾行為進(jìn)行同步，以備后續(xù)處理。
[0030]在本實(shí)施例中，由于人臉識(shí)別及人體行為識(shí)別均為業(yè)界公知的技術(shù)，故上述兩種識(shí)別方法的實(shí)現(xiàn)過(guò)程本發(fā)明不再詳述。
[0031]步驟S3:圖像處理器將視頻中的人臉替換為已接收的人臉圖像，并將視頻中人物行為替換為已識(shí)別的觀眾行為，并將替換后的新視頻發(fā)送至服務(wù)器保存。
[0032]具體而言，服務(wù)器保存系統(tǒng)為客戶制作的視頻以供客戶觀看。觀眾可以通過(guò)客戶端點(diǎn)播服務(wù)器合并保存的音頻及新視頻，服務(wù)器將所述合并保存的音頻及新視頻發(fā)送給客戶端，由客戶端播放。于此，所述客戶端可以是任意可顯示的終端，并可與服務(wù)器建立連接。
[0033]此外，還可設(shè)置錄音器，為觀眾錄制與視頻同步的聲音，并且錄音器與服務(wù)器連接。服務(wù)器接收錄音器提供的音頻后，將所述音頻與新視頻合并保存。
[0034]圖2是本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)使用流程圖。
[0035]結(jié)合圖1及圖2，舉例而言，本發(fā)明提供的基于人臉識(shí)別和行為識(shí)別的視頻制作方法可應(yīng)用于KTV包廂中，當(dāng)顧客在演唱MV歌曲時(shí)，將MV視頻主角的人臉替換成捕捉到的觀眾人臉，將視頻主角的動(dòng)作替換成觀眾肢體動(dòng)作，當(dāng)服務(wù)器保存新視頻后，再將錄音器提供的音頻與新視頻合并成新的文件，以供顧客點(diǎn)播觀看。
[0036]當(dāng)顧客對(duì)由自身形象制作成的MV視頻感興趣時(shí)，可以向服務(wù)器發(fā)出購(gòu)買(mǎi)請(qǐng)求，顧客可在支付后永久擁有量身定做的MV，從而提升了本發(fā)明方法的商業(yè)應(yīng)用價(jià)值。
[0037]圖3是本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)結(jié)構(gòu)示意圖。如圖3所示，本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)包括攝像頭1、識(shí)別器2、圖像處理器3、服務(wù)器4及錄音器5，攝像頭I連接識(shí)別器2，識(shí)別器2連接圖像處理器3，圖像處理器3及錄音器5分別連接服務(wù)器4。
[0038]本實(shí)施例中，所述攝像頭、識(shí)別器、圖像處理器及錄音器內(nèi)置在KTV唱歌系統(tǒng)中。
[0039]相應(yīng)地，本發(fā)明提供的基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)還包括在線購(gòu)買(mǎi)功能。當(dāng)用戶對(duì)服務(wù)器內(nèi)保存的視頻感興趣時(shí)，可通過(guò)客戶端向服務(wù)器發(fā)起購(gòu)買(mǎi)請(qǐng)求，服務(wù)器將客戶視頻制作成光盤(pán)，從而使用戶單獨(dú)擁有個(gè)性化的W。
[0040]綜上所述，根據(jù)本發(fā)明較佳實(shí)施例提供的基于人臉識(shí)別和行為識(shí)別的視頻制作方法及系統(tǒng)，當(dāng)識(shí)別器識(shí)別出觀眾人臉，并判斷連續(xù)識(shí)別到人臉的時(shí)間達(dá)到預(yù)設(shè)時(shí)間時(shí)，圖像處理器根據(jù)識(shí)別器的通知開(kāi)始進(jìn)行觀眾行為識(shí)別，避免了捕捉人臉持續(xù)時(shí)間短對(duì)系統(tǒng)造成的資源浪費(fèi)。同時(shí)，圖像處理器將視頻中的人臉替換為識(shí)別器提供的人臉圖像，并將視頻中人物行為替換為已識(shí)別的觀眾行為，由此，實(shí)現(xiàn)了觀眾人臉和肢體行為與視頻中的角色互換，給觀眾帶來(lái)了交互式的虛擬體驗(yàn)。
[0041]對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專(zhuān)業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專(zhuān)業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。
【權(quán)利要求】
1.一種基于人臉識(shí)別和行為識(shí)別的視頻制作方法，其特征在于，包括以下步驟: 51、攝像頭拍攝觀眾畫(huà)面并將畫(huà)面?zhèn)魉徒o識(shí)別器，所述識(shí)別器識(shí)別出畫(huà)面中的人臉，并判斷連續(xù)識(shí)別到人臉的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間； 52、若是，識(shí)別器通知圖像處理器開(kāi)始進(jìn)行觀眾行為識(shí)別，同時(shí)識(shí)別器將識(shí)別到的人臉圖像發(fā)送給所述圖像處理器； 53、圖像處理器將視頻中的人臉替換為已接收的人臉圖像，并將視頻中人物行為替換為已識(shí)別的觀眾行為，并將替換后的新視頻發(fā)送至服務(wù)器保存。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟SI中，若識(shí)別器判斷連續(xù)識(shí)別到人臉的時(shí)間沒(méi)有達(dá)到預(yù)設(shè)時(shí)間，則識(shí)別器不向圖像處理器發(fā)送通知，也不將自身識(shí)別到的人臉圖像發(fā)送給所述圖像處理器。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟SI中，識(shí)別器判斷連續(xù)識(shí)別到人臉的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間，其中所述人臉為正臉。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S3還包括:服務(wù)器還接收錄音器提供的音頻，并將所述音頻與新視頻合并保存。
5.根據(jù)權(quán)利要求1?4所述的方法，其特征在于，還包括步驟S4:觀眾通過(guò)客戶端點(diǎn)播服務(wù)器合并保存的音頻及新視頻，服務(wù)器將所述合并保存的音頻及新視頻發(fā)送給客戶端，由客戶端播放。
6.一種基于人臉識(shí)別和行為識(shí)別的視頻制作系統(tǒng)，其特征在于，包括攝像頭、識(shí)別器、圖像處理器及服務(wù)器，所述攝像頭連接識(shí)別器，所述識(shí)別器連接圖像處理器，所述圖像處理器連接服務(wù)器。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括錄音器，所述錄音器與服務(wù)器連接。
8.根據(jù)權(quán)利要求6或7所述的系統(tǒng)，其特征在于，所述攝像頭、識(shí)別器、圖像處理器及錄音器內(nèi)置在視頻制作系統(tǒng)中。
【文檔編號(hào)】H04N5/232GK103634503SQ201310688598
【公開(kāi)日】2014年3月12日 申請(qǐng)日期:2013年12月16日 優(yōu)先權(quán)日:2013年12月16日
【發(fā)明者】李云飛, 姚婷婷, 何華冰 申請(qǐng)人:蘇州大學(xué)