本發(fā)明涉及多媒體技術(shù)領(lǐng)域,具體涉及一種數(shù)字家庭多媒體播放系統(tǒng)。
背景技術(shù):
目前,隨著計(jì)算機(jī)、通信和各種娛樂媒體的交互、融合,如今各種數(shù)字媒體應(yīng)用通過通信網(wǎng)絡(luò)連為一體。家庭設(shè)備走向智能化、網(wǎng)絡(luò)化的發(fā)展趨勢(shì)已是不爭(zhēng)的事實(shí)。數(shù)字家庭全業(yè)務(wù)智能終端更代表了未來智能家庭的方向,在家庭娛樂、數(shù)字通信等多方面具有廣闊應(yīng)用前景,是數(shù)字家庭領(lǐng)域的重大科技,是國家重點(diǎn)發(fā)展的科技項(xiàng)目。隨著三網(wǎng)融合的不斷推進(jìn),廣電數(shù)字化網(wǎng)絡(luò)建設(shè)的不斷投入,數(shù)字家庭用戶日趨龐大,廣電數(shù)據(jù)和娛樂、通信等多媒體業(yè)務(wù)種類數(shù)量和業(yè)務(wù)支撐能力亟待提升,尤其多媒體寬帶業(yè)務(wù)和數(shù)字通信已經(jīng)成為廣電業(yè)快速發(fā)展的新動(dòng)力。
人們對(duì)視頻觀看效果的要求越來越高。然而,基于網(wǎng)絡(luò)帶寬的限制,視頻需要降低編碼率才能流暢地進(jìn)行傳輸。進(jìn)而,如何在低編碼率的情況下,提高視頻的觀看效果成為了本領(lǐng)域重要技術(shù)問題之一。而現(xiàn)有技術(shù)中大多采用人工進(jìn)行視頻的處理,效果不統(tǒng)一的同時(shí),個(gè)人偏好和經(jīng)驗(yàn)占據(jù)了主導(dǎo)因素,所以處理出來的視頻很難滿足觀眾的要求,且費(fèi)時(shí)費(fèi)力。
同時(shí)現(xiàn)有的家庭多媒體播放系統(tǒng)大多采用平面播放,雖然有三維播放功能,但也是平面的,無法讓客戶達(dá)到身臨其境的效果。
技術(shù)實(shí)現(xiàn)要素:
為解決上述問題,本發(fā)明提供了一種數(shù)字家庭多媒體播放系統(tǒng),可以通過三維播放模塊進(jìn)行視頻的三維立體播放,使得用戶有一種身臨其境的體驗(yàn)感;集聲音控制、動(dòng)作控制和腦電波控制為一體,用戶只需要進(jìn)行閉眼時(shí)間的調(diào)整便可以實(shí)現(xiàn)系統(tǒng)的控制,使用方便;能夠自動(dòng)判斷圖像的偏轉(zhuǎn)角度,從而進(jìn)行視頻角度的精確調(diào)整,同時(shí)通過預(yù)設(shè)處理模塊的設(shè)計(jì),實(shí)現(xiàn)了視頻的自動(dòng)匹配處理,降低了視頻處理的復(fù)雜度,進(jìn)而提高了視頻處理的效率,同時(shí)可以有選擇地對(duì)視頻圖像中應(yīng)該進(jìn)行銳化的邊緣強(qiáng)度高的區(qū)域進(jìn)行銳化處理,相比于對(duì)整個(gè)視頻圖像進(jìn)行銳化處理的方法,避免了過度銳化,提高了視頻的觀看效果,且最終視頻的處理逼真度高,進(jìn)一步提高了用戶的體驗(yàn)。
為實(shí)現(xiàn)上述目的,本發(fā)明采取的技術(shù)方案為:
一種數(shù)字家庭多媒體播放系統(tǒng),包括
視頻采收模塊,用于通過攝像頭進(jìn)行正在進(jìn)行使用的用戶的動(dòng)作視頻的采集,并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊;
音頻采集模塊,用于通過麥克風(fēng)進(jìn)行正在使用的用戶的音頻的采集,并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊;
腦電信號(hào)處理模塊,用于通過傳感器采集枕部及中央?yún)^(qū)腦電信號(hào),并對(duì)采集到的腦電信號(hào)進(jìn)行預(yù)處理和特征提取,并將處理后的數(shù)據(jù)通過數(shù)據(jù)傳輸模塊發(fā)送到腦電信號(hào)控制模塊;
腦電信號(hào)控制模塊,用于接收腦電信號(hào)處理模塊所發(fā)送的數(shù)據(jù),并根據(jù)關(guān)聯(lián)關(guān)系建立模塊所建立的映射關(guān)系進(jìn)行控制命令的輸出,并將控制命令輸出至仿真分析模塊;
關(guān)聯(lián)關(guān)系建立模塊,用于根據(jù)控制請(qǐng)求建立動(dòng)作數(shù)據(jù)、音頻數(shù)據(jù)以及腦電信號(hào)與控制命令的映射關(guān)系以及各控制命令與三維播放模塊中的各元素的映射關(guān)系;
人機(jī)操作模塊,用于用戶登錄,還用于進(jìn)行各種控制命令以及其它數(shù)據(jù)的輸入;
控制命令識(shí)別模塊,用于將所獲取的的動(dòng)作數(shù)據(jù)、音頻數(shù)據(jù)以及腦電波數(shù)據(jù)與動(dòng)作控制命令數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進(jìn)行對(duì)比,并將相似度最高的控制命令輸出至中央處理器;
中央處理器,用于接收人機(jī)操作模塊以及控制命令識(shí)別模塊輸入的控制命令,并按照預(yù)設(shè)的算法將這些控制命令發(fā)送到指定的模塊;用于根據(jù)人機(jī)操作模塊輸入的數(shù)據(jù)調(diào)用命令在數(shù)據(jù)庫內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)發(fā)送到顯示屏或指定的移動(dòng)終端進(jìn)行顯示;還用于用戶注冊(cè)、權(quán)限管理以及密碼修改;
三維播放模塊,由立體模型場(chǎng)景、造型燈光系統(tǒng)、應(yīng)用幻影成像膜作為成像介質(zhì)的光學(xué)成像系統(tǒng)、影視播放系統(tǒng)、計(jì)算機(jī)多媒體系統(tǒng)、音響系統(tǒng)及控制系統(tǒng)組成,用于根據(jù)人機(jī)操作模塊中央處理器所發(fā)送的數(shù)據(jù)進(jìn)行視頻數(shù)據(jù)的三維播放;
視頻數(shù)據(jù)下載模塊,用于根據(jù)人機(jī)操作模塊輸入的控制命令進(jìn)行視頻數(shù)據(jù)的下載;
視頻數(shù)據(jù)處理模塊,用于視頻文件的接收、角度調(diào)整、智能處理和銳化處理,并將處理完成后的數(shù)據(jù)發(fā)送到視頻播放模塊;
視頻播放模塊,用于進(jìn)行視頻數(shù)據(jù)的播放。
優(yōu)選地,所述腦電信號(hào)處理模塊包括
腦電信號(hào)采集模塊,用于通過傳感器采集枕部及中央?yún)^(qū)腦電信號(hào);
腦電信號(hào)濾波模塊,用于對(duì)腦電信號(hào)進(jìn)行低通濾波,去除工頻干擾。
GSP轉(zhuǎn)換模塊,用于將濾波后的腦電信號(hào)轉(zhuǎn)換成信號(hào)的特征模式。
特征提取模塊,用于提取每個(gè)通道信號(hào)的幅值,并將其連接起來構(gòu)成一個(gè)完整的特征向量。
優(yōu)選地,通過閉眼時(shí)間的長短作為不同的控制信號(hào)。
優(yōu)選地,所述視頻數(shù)據(jù)處理模塊包括
視頻采收模塊,用于通過下載或拍攝設(shè)備獲取視頻文件,所述視頻文件包括多個(gè)連續(xù)的視頻幀、與每一個(gè)視頻幀對(duì)應(yīng)的坐標(biāo)信息和時(shí)間信息,且所述坐標(biāo)信息與所述時(shí)間信息唯一對(duì)應(yīng);
視頻角度調(diào)整模塊,用于根據(jù)每個(gè)視頻幀的坐標(biāo)信息確定每個(gè)視頻幀的偏轉(zhuǎn)角度,并按其中一個(gè)視頻幀的偏轉(zhuǎn)角度進(jìn)行其他視頻幀的重構(gòu),并將處理后的視頻發(fā)送到視頻智能匹配模塊;
視頻智能匹配模塊,用于根據(jù)接收到的視頻數(shù)據(jù)中的場(chǎng)景信息生成每段視頻的特征參數(shù)信息,根據(jù)每段視頻的特征參數(shù)信息與預(yù)設(shè)置的處理模式進(jìn)行匹配后完成每段視頻的處理,并將處理后的視頻數(shù)據(jù)發(fā)送到視頻銳化模塊;
視頻銳化模塊,用于根據(jù)所接收到的視頻文件中的每一個(gè)視頻圖像的像素點(diǎn)邊緣強(qiáng)度,生成所述視頻圖像的灰度圖,并基于所述灰度圖,對(duì)所述視頻圖像進(jìn)行銳化處理,獲得處理后的視頻;
最終視頻生成模塊,用于將視頻幀的坐標(biāo)信息和時(shí)間信息轉(zhuǎn)化得到三維點(diǎn)云,重建精確的視頻表面模型,對(duì)所得的視頻表面模型進(jìn)行無變形的紋理映射,然后導(dǎo)入至視頻拼接軟件中,實(shí)現(xiàn)攝相機(jī)的標(biāo)定、傳感器圖像畸變校正、圖像的投影變換、匹配點(diǎn)選取、全景圖像拼接、亮度與顏色的均衡處理,從而獲得最終視頻。
優(yōu)選地,所述灰度圖中每個(gè)像素點(diǎn)的灰度為所述視頻圖像中對(duì)應(yīng)像素點(diǎn)的邊緣強(qiáng)度;所述視頻銳化模塊通過邊緣提取算子確定所述視頻圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度。
優(yōu)選地,所述銳化處理包括:
對(duì)所述灰度圖進(jìn)行膨脹操作和/或高斯模糊操作,得到中間圖像A;
對(duì)所述中間圖像A執(zhí)行腐蝕操作,得到中間圖像A1;
基于所述中間圖像A1對(duì)所述視頻圖像進(jìn)行銳化處理。
優(yōu)選地,通過以下步驟完成其他視頻幀的重構(gòu);
根據(jù)每個(gè)視頻幀的偏轉(zhuǎn)角度計(jì)算每個(gè)視頻幀的補(bǔ)充偏轉(zhuǎn)角度;
根據(jù)每個(gè)視頻幀的補(bǔ)充偏轉(zhuǎn)角度重新繪制每個(gè)視頻幀。
優(yōu)選地,所述處理模式包括
降噪壓縮模塊,用于提取待處理的視頻文件的噪聲程度,依據(jù)提取的噪聲程度,調(diào)整位元率和分辨率,并以所得的位元率及分辨率壓縮待處理的視頻文件
紋理細(xì)節(jié)處理模塊,用于重構(gòu)圖像的高頻信息;
圖像主觀質(zhì)量處理模塊,用于在對(duì)人臉識(shí)別的基礎(chǔ)上,通過分析和自動(dòng)調(diào)節(jié)不同局部圖像內(nèi)容的高頻信息,提高了圖像的主觀質(zhì)量
智能影調(diào)調(diào)節(jié)模塊,用于調(diào)節(jié)圖像影調(diào)并且提高內(nèi)容可視度;
色彩增強(qiáng)功能模塊,用于進(jìn)行色彩鮮艷度的調(diào)節(jié),同時(shí)保持膚色不變;
鋸齒消除模塊,用于提供預(yù)處理濾鏡,進(jìn)行原始圖像邊緣存在的鋸齒效應(yīng)的消除。
優(yōu)選地,所述數(shù)據(jù)傳輸模塊采用ZigBee自組網(wǎng)絡(luò)。
本發(fā)明具有以下有益效果:
可以通過三維播放模塊進(jìn)行視頻的三維立體播放,使得用戶有一種身臨其境的體驗(yàn)感;集聲音控制、動(dòng)作控制和腦電波控制為一體,用戶只需要進(jìn)行閉眼時(shí)間的調(diào)整便可以實(shí)現(xiàn)系統(tǒng)的控制,使用方便;能夠自動(dòng)判斷圖像的偏轉(zhuǎn)角度,從而進(jìn)行視頻角度的精確調(diào)整,同時(shí)通過預(yù)設(shè)處理模塊的設(shè)計(jì),實(shí)現(xiàn)了視頻的自動(dòng)匹配處理,降低了視頻處理的復(fù)雜度,進(jìn)而提高了視頻處理的效率,同時(shí)可以有選擇地對(duì)視頻圖像中應(yīng)該進(jìn)行銳化的邊緣強(qiáng)度高的區(qū)域進(jìn)行銳化處理,相比于對(duì)整個(gè)視頻圖像進(jìn)行銳化處理的方法,避免了過度銳化,提高了視頻的觀看效果,且最終視頻的處理逼真度高,進(jìn)一步提高了用戶的體驗(yàn)。
附圖說明
圖1為本發(fā)明實(shí)施例一種數(shù)字家庭多媒體播放系統(tǒng)的系統(tǒng)框圖。
具體實(shí)施方式
為了使本發(fā)明的目的及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
如圖1所示,本發(fā)明實(shí)施例提供了一種數(shù)字家庭多媒體播放系統(tǒng),包括
視頻采收模塊,用于通過攝像頭進(jìn)行正在進(jìn)行使用的用戶的動(dòng)作視頻的采集,并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊;
音頻采集模塊,用于通過麥克風(fēng)進(jìn)行正在使用的用戶的音頻的采集,并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊;
腦電信號(hào)處理模塊,用于通過傳感器采集枕部及中央?yún)^(qū)腦電信號(hào),并對(duì)采集到的腦電信號(hào)進(jìn)行預(yù)處理和特征提取,并將處理后的數(shù)據(jù)通過數(shù)據(jù)傳輸模塊發(fā)送到腦電信號(hào)控制模塊;
腦電信號(hào)控制模塊,用于接收腦電信號(hào)處理模塊所發(fā)送的數(shù)據(jù),并根據(jù)關(guān)聯(lián)關(guān)系建立模塊所建立的映射關(guān)系進(jìn)行控制命令的輸出,并將控制命令輸出至仿真分析模塊;
關(guān)聯(lián)關(guān)系建立模塊,用于根據(jù)控制請(qǐng)求建立動(dòng)作數(shù)據(jù)、音頻數(shù)據(jù)以及腦電信號(hào)與控制命令的映射關(guān)系以及各控制命令與三維播放模塊中的各元素的映射關(guān)系;
人機(jī)操作模塊,用于用戶登錄,還用于進(jìn)行各種控制命令以及其它數(shù)據(jù)的輸入;
控制命令識(shí)別模塊,用于將所獲取的的動(dòng)作數(shù)據(jù)、音頻數(shù)據(jù)以及腦電波數(shù)據(jù)與動(dòng)作控制命令數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進(jìn)行對(duì)比,并將相似度最高的控制命令輸出至中央處理器;
中央處理器,用于接收人機(jī)操作模塊以及控制命令識(shí)別模塊輸入的控制命令,并按照預(yù)設(shè)的算法將這些控制命令發(fā)送到指定的模塊;用于根據(jù)人機(jī)操作模塊輸入的數(shù)據(jù)調(diào)用命令在數(shù)據(jù)庫內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)發(fā)送到顯示屏或指定的移動(dòng)終端進(jìn)行顯示;還用于用戶注冊(cè)、權(quán)限管理以及密碼修改;
三維播放模塊,由立體模型場(chǎng)景、造型燈光系統(tǒng)、應(yīng)用幻影成像膜作為成像介質(zhì)的光學(xué)成像系統(tǒng)、影視播放系統(tǒng)、計(jì)算機(jī)多媒體系統(tǒng)、音響系統(tǒng)及控制系統(tǒng)組成,用于根據(jù)人機(jī)操作模塊中央處理器所發(fā)送的數(shù)據(jù)進(jìn)行視頻數(shù)據(jù)的三維播放;
視頻數(shù)據(jù)下載模塊,用于根據(jù)人機(jī)操作模塊輸入的控制命令進(jìn)行視頻數(shù)據(jù)的下載;
視頻數(shù)據(jù)處理模塊,用于視頻文件的接收、角度調(diào)整、智能處理和銳化處理,并將處理完成后的數(shù)據(jù)發(fā)送到視頻播放模塊;
視頻播放模塊,用于進(jìn)行視頻數(shù)據(jù)的播放。
所述腦電信號(hào)處理模塊包括
腦電信號(hào)采集模塊,用于通過傳感器采集枕部及中央?yún)^(qū)腦電信號(hào);
腦電信號(hào)濾波模塊,用于對(duì)腦電信號(hào)進(jìn)行低通濾波,去除工頻干擾。
GSP轉(zhuǎn)換模塊,用于將濾波后的腦電信號(hào)轉(zhuǎn)換成信號(hào)的特征模式。
特征提取模塊,用于提取每個(gè)通道信號(hào)的幅值,并將其連接起來構(gòu)成一個(gè)完整的特征向量。
通過閉眼時(shí)間的長短作為不同的控制信號(hào)。
所述視頻數(shù)據(jù)處理模塊包括
視頻采收模塊,用于通過下載或拍攝設(shè)備獲取視頻文件,所述視頻文件包括多個(gè)連續(xù)的視頻幀、與每一個(gè)視頻幀對(duì)應(yīng)的坐標(biāo)信息和時(shí)間信息,且所述坐標(biāo)信息與所述時(shí)間信息唯一對(duì)應(yīng);
視頻角度調(diào)整模塊,用于根據(jù)每個(gè)視頻幀的坐標(biāo)信息確定每個(gè)視頻幀的偏轉(zhuǎn)角度,并按其中一個(gè)視頻幀的偏轉(zhuǎn)角度進(jìn)行其他視頻幀的重構(gòu),并將處理后的視頻發(fā)送到視頻智能匹配模塊;
視頻智能匹配模塊,用于根據(jù)接收到的視頻數(shù)據(jù)中的場(chǎng)景信息生成每段視頻的特征參數(shù)信息,根據(jù)每段視頻的特征參數(shù)信息與預(yù)設(shè)置的處理模式進(jìn)行匹配后完成每段視頻的處理,并將處理后的視頻數(shù)據(jù)發(fā)送到視頻銳化模塊;
視頻銳化模塊,用于根據(jù)所接收到的視頻文件中的每一個(gè)視頻圖像的像素點(diǎn)邊緣強(qiáng)度,生成所述視頻圖像的灰度圖,并基于所述灰度圖,對(duì)所述視頻圖像進(jìn)行銳化處理,獲得處理后的視頻;
最終視頻生成模塊,用于將視頻幀的坐標(biāo)信息和時(shí)間信息轉(zhuǎn)化得到三維點(diǎn)云,重建精確的視頻表面模型,對(duì)所得的視頻表面模型進(jìn)行無變形的紋理映射,然后導(dǎo)入至視頻拼接軟件中,實(shí)現(xiàn)攝相機(jī)的標(biāo)定、傳感器圖像畸變校正、圖像的投影變換、匹配點(diǎn)選取、全景圖像拼接、亮度與顏色的均衡處理,從而獲得最終視頻。
優(yōu)選地,所述灰度圖中每個(gè)像素點(diǎn)的灰度為所述視頻圖像中對(duì)應(yīng)像素點(diǎn)的邊緣強(qiáng)度;所述視頻銳化模塊通過邊緣提取算子確定所述視頻圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度。
所述銳化處理包括:
對(duì)所述灰度圖進(jìn)行膨脹操作和/或高斯模糊操作,得到中間圖像A;
對(duì)所述中間圖像A執(zhí)行腐蝕操作,得到中間圖像A1;
基于所述中間圖像A1對(duì)所述視頻圖像進(jìn)行銳化處理。
優(yōu)選地,通過以下步驟完成其他視頻幀的重構(gòu);
根據(jù)每個(gè)視頻幀的偏轉(zhuǎn)角度計(jì)算每個(gè)視頻幀的補(bǔ)充偏轉(zhuǎn)角度;
根據(jù)每個(gè)視頻幀的補(bǔ)充偏轉(zhuǎn)角度重新繪制每個(gè)視頻幀。
所述處理模式包括
降噪壓縮模塊,用于提取待處理的視頻文件的噪聲程度,依據(jù)提取的噪聲程度,調(diào)整位元率和分辨率,并以所得的位元率及分辨率壓縮待處理的視頻文件
紋理細(xì)節(jié)處理模塊,用于重構(gòu)圖像的高頻信息;
圖像主觀質(zhì)量處理模塊,用于在對(duì)人臉識(shí)別的基礎(chǔ)上,通過分析和自動(dòng)調(diào)節(jié)不同局部圖像內(nèi)容的高頻信息,提高了圖像的主觀質(zhì)量
智能影調(diào)調(diào)節(jié)模塊,用于調(diào)節(jié)圖像影調(diào)并且提高內(nèi)容可視度;
色彩增強(qiáng)功能模塊,用于進(jìn)行色彩鮮艷度的調(diào)節(jié),同時(shí)保持膚色不變;
鋸齒消除模塊,用于提供預(yù)處理濾鏡,進(jìn)行原始圖像邊緣存在的鋸齒效應(yīng)的消除。
所述數(shù)據(jù)傳輸模塊采用ZigBee自組網(wǎng)絡(luò)。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以作出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。