基于場景識別的視頻彈幕顯示方法及其顯示裝置的制造方法
【專利摘要】基于場景識別的視頻彈幕顯示方法及其顯示裝置，預(yù)處理模塊對視頻進行預(yù)處理，提取視頻中的場景數(shù)據(jù)，場景數(shù)據(jù)文件保存在場景數(shù)據(jù)服務(wù)器中，視頻信息服務(wù)器將場景數(shù)據(jù)標(biāo)識和視頻標(biāo)識寫入視頻的視頻元信息中，場景彈幕播放器提取場景數(shù)據(jù)文件，創(chuàng)建場景列表，將彈幕信息嵌入視屏中的場景三維模型，加強彈幕視頻的觀感。本發(fā)明將彈幕信息嵌入視頻內(nèi)容，降低了彈幕遮擋視頻內(nèi)容的可能性，加強了彈幕視頻的觀感，提升了用戶體驗。
【專利說明】
基于場景識別的視頻彈幕顯示方法及其顯示裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及互聯(lián)網(wǎng)信息顯示方式領(lǐng)域，具體涉及一種基于場景識別的視頻彈幕顯示方法及其顯示裝置。
【背景技術(shù)】
[0002]彈幕顯示系統(tǒng)是在顯示視頻時，將大量的用戶評論以滾動字幕形式顯示在視頻上的一種顯示方式。隨著彈幕技術(shù)的普及和發(fā)展，越來越多的用戶了解并使用彈幕功將自己的評論與其他用戶進行共享。
[0003]北京奇虎科技有限公司的申請?zhí)枮镃N201510505339.1的專利公開了一種在視頻播放時以彈幕顯示文字信息的方法及裝置。該方法包括:實時獲取與播放的視頻流相關(guān)的文字評論數(shù)據(jù)，其中所述視頻流通過第一播放控件播放;根據(jù)所述文字評論數(shù)據(jù)以及預(yù)設(shè)的彈幕模型制作彈幕視頻流，其中，在所述彈幕視頻流的每一幀中，除彈幕數(shù)據(jù)外的其余部分為透明狀態(tài)；以及通過第二播放控件播放所述彈幕視頻流，其中，所述彈幕視頻流覆蓋在所述視頻流之上。該專利中的彈幕視頻流獨立于原始視頻流，不必與原始視頻流中的畫面幀進行綁定，因此，能夠在彈幕視頻流中實時地顯示最新評論內(nèi)容。但是在畫質(zhì)越來越高清的當(dāng)下，如果仍然將彈幕層獨立于視頻內(nèi)容外呈現(xiàn)，由于彈幕的分辨率和視頻內(nèi)容的分辨率和幀率屬于兩個維度，將彈幕獨立于視頻內(nèi)容播放，有可能降低視頻觀感，降低用戶體驗。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供一種基于場景識別的視頻彈幕顯示方法及其顯示裝置，將彈幕信息嵌入視頻內(nèi)容，降低了彈幕遮擋視頻內(nèi)容的可能性，加強了彈幕視頻的觀感，提升了用戶體驗。
[0005]為了達(dá)到上述目的，本發(fā)明提供一種基于場景識別的視頻彈幕顯示方法，包含以下步驟:
步驟S1、預(yù)處理模塊對視頻進行預(yù)處理，提取視頻中的場景數(shù)據(jù)，將場景數(shù)據(jù)文件保存在場景數(shù)據(jù)服務(wù)器中，視頻信息服務(wù)器將場景數(shù)據(jù)標(biāo)識和視頻標(biāo)識寫入視頻的視頻元信息中；
所述的場景數(shù)據(jù)文件包含視頻中所有的場景數(shù)據(jù);所述的場景數(shù)據(jù)包含:場景模型、場景環(huán)境的光源數(shù)據(jù)和場景時間列表;所述的場景模型包含:場景物體或場景實體的三維數(shù)據(jù)，即x、y、z坐標(biāo)點；所述的場景環(huán)境的光源數(shù)據(jù)包含:光源位置坐標(biāo)、光源顏色、光強和光源方向；所述的場景時間列表包含:場景物體或場景實體在視頻中的出現(xiàn)時間點和結(jié)束時間點;所述的場景數(shù)據(jù)標(biāo)志代表該視頻中具有場景數(shù)據(jù);所述的視頻標(biāo)識與場景數(shù)據(jù)文件
--對應(yīng);所述的視頻元信息與視頻--對應(yīng)；
步驟S2、場景彈幕播放器同時加載視頻和該視頻對應(yīng)的視頻元信息，當(dāng)檢測到視頻元信息中具有場景數(shù)據(jù)標(biāo)識，則根據(jù)視頻標(biāo)識檢索場景數(shù)據(jù)服務(wù)器，獲得與視頻標(biāo)識對應(yīng)的場景數(shù)據(jù)文件；
步驟S3、在視頻播放前，場景彈幕播放器根據(jù)接收到的場景數(shù)據(jù)文件，按照時間順序建立場景列表；
所述的場景列表包含:場景物體或場景實體的三維模型、場景環(huán)境的光源數(shù)據(jù)和場景時間列表;所述的場景物體或場景實體的三維模型是根據(jù)場景數(shù)據(jù)文件中的場景模型創(chuàng)建的三維模型；所述的場景環(huán)境的光源數(shù)據(jù)根據(jù)場景數(shù)據(jù)文件中的場景環(huán)境的光源數(shù)據(jù)獲得;所述的場景時間列表根據(jù)場景數(shù)據(jù)文件中的場景時間列表獲得，該場景時間列表包含:三維模型的視頻中的出現(xiàn)時間點和結(jié)束時間點；
步驟S4、在視頻播放過程中，場景彈幕播放器在當(dāng)前時間查找場景列表中是否具有三維模型，如果沒有查找到三維模型，則場景彈幕播放器按照全屏方式播放彈幕，如果查找到三維模型，場景彈幕播放器將三維模型加載到視頻上方的顯示列表中，并將彈幕層動態(tài)貼圖到三維模型的二維平面上，同時創(chuàng)建當(dāng)前場景的環(huán)境光源，使彈幕與場景更加融入。
[0006]所述的多個三維模型可以同一時間存在，當(dāng)同時存在多個三維模型時，彈幕層被切分成不同的區(qū)域，分別動態(tài)貼圖到多個三維模型的二維平面上。
[0007]所述的步驟S4中，創(chuàng)建當(dāng)前場景的環(huán)境光源的步驟包含:根據(jù)場景列表中場景環(huán)境的光源數(shù)據(jù)進行3D渲染創(chuàng)建當(dāng)前場景的環(huán)境光源。
[0008]所述的步驟S4中，如果到達(dá)了三維模型的結(jié)束時間點，則場景彈幕播放器按照全屏方式播放彈幕。
[0009]所述的步驟SI中，預(yù)處理模塊對視頻進行預(yù)處理具體包含以下步驟:
步驟S1.1、預(yù)處理模塊進行場景數(shù)據(jù)識別；
所述的場景是指視頻中出現(xiàn)的場景物體或場景實體，同一場景可能會多次重復(fù)在視頻中出現(xiàn)；
步驟S1.2、預(yù)處理模塊將可嵌入彈幕的場景的場景數(shù)據(jù)按照視頻的時間戳順序保存為場景數(shù)據(jù)文件，將該場景數(shù)據(jù)文件上傳到場景數(shù)據(jù)服務(wù)器上保存；
所述的可嵌入彈幕的場景是指場景的場景模型中有至少一個二維平面的尺寸足夠放置彈蒂；
步驟S1.3、預(yù)處理模塊將場景數(shù)據(jù)標(biāo)志和視頻標(biāo)識發(fā)送給視頻信息服務(wù)器，視頻信息服務(wù)器將視頻標(biāo)識和場景數(shù)據(jù)標(biāo)志寫入視頻的視頻元信息中；
所述的視頻元信息是記錄視頻基本信息的文件，該視頻元信息包含:視頻的長寬、視頻幀率、以及其他自定義數(shù)據(jù)，比如場景數(shù)據(jù)標(biāo)志和視頻標(biāo)識。
[0010]本發(fā)明還提供一種基于場景識別的視頻彈幕顯示裝置，包含:
預(yù)處理模塊，用于對視頻進行預(yù)處理，提取視頻中的場景數(shù)據(jù)；
場景數(shù)據(jù)服務(wù)器，用于保存場景數(shù)據(jù)文件；
視頻信息服務(wù)器，用于將場景數(shù)據(jù)標(biāo)識和視頻標(biāo)識寫入視頻的視頻元信息中；
場景彈幕播放器，用于提取場景數(shù)據(jù)文件，創(chuàng)建場景列表，將彈幕信息嵌入視屏中的場景三維模型，加強彈幕視頻的觀感。
[0011]所述的預(yù)處理模塊中裝載預(yù)處理軟件。
[0012]所述的場景彈幕播放器包含:彈幕播放器和場景處理模塊，彈幕播放器用于播放彈幕信息，場景處理模塊用于處理場景的三維模型。
[0013]本發(fā)明將彈幕信息嵌入視頻內(nèi)容，降低了彈幕遮擋視頻內(nèi)容的可能性，加強了彈幕視頻的觀感，提升了用戶體驗。
【附圖說明】
[0014]圖1是本發(fā)明提供的一種基于場景識別的視頻彈幕顯示方法的流程圖。
【具體實施方式】
[0015]以下根據(jù)圖1具體說明本發(fā)明的較佳實施例。
[0016]如圖1所示，本發(fā)明提供一種基于場景識別的視頻彈幕顯示方法，包含以下步驟:步驟S1、預(yù)處理模塊對視頻進行預(yù)處理，提取視頻中的場景數(shù)據(jù)，將場景數(shù)據(jù)文件保存在場景數(shù)據(jù)服務(wù)器中，視頻信息服務(wù)器將場景數(shù)據(jù)標(biāo)識和視頻標(biāo)識寫入視頻的視頻元信息中；
所述的場景數(shù)據(jù)文件包含視頻中所有的場景數(shù)據(jù)；
所述的場景數(shù)據(jù)包含:場景模型、場景環(huán)境的光源數(shù)據(jù)和場景時間列表；
所述的場景模型包含:場景物體或場景實體的三維數(shù)據(jù)，即x、y、z坐標(biāo)點；
所述的場景環(huán)境的光源數(shù)據(jù)包含:光源位置坐標(biāo)、光源顏色、光強和光源方向；
所述的場景時間列表包含:場景物體或場景實體在視頻中的出現(xiàn)時間點和結(jié)束時間占.V，
所述的場景數(shù)據(jù)標(biāo)志代表該視頻中具有場景數(shù)據(jù)；
所述的視頻標(biāo)識與場景數(shù)據(jù)文件一一對應(yīng)；
所述的視頻元信息與視頻--對應(yīng)；
步驟S2、場景彈幕播放器同時加載視頻和該視頻對應(yīng)的視頻元信息，當(dāng)檢測到視頻元信息中具有場景數(shù)據(jù)標(biāo)識，則根據(jù)視頻標(biāo)識檢索場景數(shù)據(jù)服務(wù)器，獲得與視頻標(biāo)識對應(yīng)的場景數(shù)據(jù)文件；
所述的場景彈幕播放器包含:彈幕播放器和場景處理模塊；
步驟S3、在視頻播放前，場景彈幕播放器根據(jù)接收到的場景數(shù)據(jù)文件，按照時間順序建立場景列表；
所述的場景列表包含:場景物體或場景實體的三維模型、場景環(huán)境的光源數(shù)據(jù)和場景時間列表；
所述的場景物體或場景實體的三維模型是根據(jù)場景數(shù)據(jù)文件中的場景模型創(chuàng)建的三維模型；
所述的場景環(huán)境的光源數(shù)據(jù)根據(jù)場景數(shù)據(jù)文件中的場景環(huán)境的光源數(shù)據(jù)獲得；
所述的場景時間列表根據(jù)場景數(shù)據(jù)文件中的場景時間列表獲得，該場景時間列表包含:三維模型的視頻中的出現(xiàn)時間點和結(jié)束時間點；
步驟S4、在視頻播放過程中，場景彈幕播放器在當(dāng)前時間查找場景列表中是否具有三維模型，如果沒有查找到三維模型，則進行步驟S5，如果查找到三維模型，則進行步驟S6;多個三維模型可以同一時間存在；
步驟S5、場景彈幕播放器按照全屏方式播放彈幕，進行步驟S4;
步驟S6、場景彈幕播放器將三維模型加載到視頻上方的顯示列表中，并將彈幕層動態(tài)貼圖到三維模型的二維平面上，同時創(chuàng)建當(dāng)前場景的環(huán)境光源，使彈幕與場景更加融入，進行步驟S7 ；
當(dāng)同時存在多個三維模型時，彈幕層被切分成不同的區(qū)域，分別動態(tài)貼圖到多個三維模型的二維平面上；
所述的創(chuàng)建當(dāng)前場景的環(huán)境光源的步驟包含:根據(jù)場景列表中場景環(huán)境的光源數(shù)據(jù)進行3D渲染創(chuàng)建當(dāng)前場景的環(huán)境光源；
步驟S7、場景彈幕播放器判斷是否到達(dá)三維模型的結(jié)束時間點，如果是，進行步驟S5。
[0017]本發(fā)明的實施例中，所述的步驟SI具體包含以下步驟:
步驟S1.1、預(yù)處理模塊進行場景數(shù)據(jù)識別；
所述的場景是指視頻中出現(xiàn)的場景物體或場景實體，同一場景可能會多次重復(fù)在視頻中出現(xiàn)；
所述的預(yù)處理模塊中裝載常用的預(yù)處理軟件；
在本發(fā)明的實施例中，場景模型的獲取可以通過人工操作獲取，即，手動設(shè)置一個二維平面，使該二維平面的尺寸與場景的二維平面的尺寸匹配，并記錄該手動設(shè)置的二維平面的三維數(shù)據(jù)；
步驟S1.2、預(yù)處理模塊將可嵌入彈幕的場景的場景數(shù)據(jù)按照視頻的時間戳順序保存為場景數(shù)據(jù)文件，將該場景數(shù)據(jù)文件上傳到場景數(shù)據(jù)服務(wù)器上保存；
所述的可嵌入彈幕的場景是指場景的場景模型中有至少一個二維平面的尺寸足夠放置彈幕，即該二維平面的高度大于等于一個彈幕字符的高度；
步驟S1.3、預(yù)處理模塊將場景數(shù)據(jù)標(biāo)志和視頻標(biāo)識發(fā)送給視頻信息服務(wù)器，視頻信息服務(wù)器將視頻標(biāo)識和場景數(shù)據(jù)標(biāo)志寫入視頻的視頻元信息中；
所述的視頻元信息是記錄視頻基本信息的文件，該視頻元信息包含:視頻的長寬、視頻幀率、以及其他自定義數(shù)據(jù)，比如場景數(shù)據(jù)標(biāo)志和視頻標(biāo)識。
[0018]對視頻中的場景數(shù)據(jù)進行預(yù)先處理的好處在于:在視頻不變的情況下，場景數(shù)據(jù)不變。場景數(shù)據(jù)識別只需要進行一次處理。與在線實時算法識別的方式相比較，利用線下預(yù)處理裝制可以有效利用服務(wù)器的計算資源，具有好的精度，提供更好的體驗。
[0019]本發(fā)明還提供一種基于場景識別的視頻彈幕顯示裝置，包含:
預(yù)處理模塊，用于對視頻進行預(yù)處理，提取視頻中的場景數(shù)據(jù)；
場景數(shù)據(jù)服務(wù)器，用于保存場景數(shù)據(jù)文件；
視頻信息服務(wù)器，用于將場景數(shù)據(jù)標(biāo)識和視頻標(biāo)識寫入視頻的視頻元信息中；
場景彈幕播放器，用于提取場景數(shù)據(jù)文件，創(chuàng)建場景列表，將彈幕信息嵌入視屏中的場景三維模型，加強彈幕視頻的觀感。
[0020]所述的預(yù)處理模塊中裝載常用的預(yù)處理軟件。
[0021 ]所述的場景數(shù)據(jù)服務(wù)器采用常用的服務(wù)器。
[0022]所述的視頻信息服務(wù)器采用常用的服務(wù)器。
[0023]所述的場景彈幕播放器包含:彈幕播放器和場景處理模塊，彈幕播放器用于播放彈幕信息，場景處理模塊用于處理場景的三維模型。
[0024]本發(fā)明將彈幕信息嵌入視頻內(nèi)容，降低了彈幕遮擋視頻內(nèi)容的可能性，加強了彈幕視頻的觀感，提升了用戶體驗。
[0025]盡管本發(fā)明的內(nèi)容已經(jīng)通過上述優(yōu)選實施例作了詳細(xì)介紹，但應(yīng)當(dāng)認(rèn)識到上述的描述不應(yīng)被認(rèn)為是對本發(fā)明的限制。在本領(lǐng)域技術(shù)人員閱讀了上述內(nèi)容后，對于本發(fā)明的多種修改和替代都將是顯而易見的。因此，本發(fā)明的保護范圍應(yīng)由所附的權(quán)利要求來限定。
【主權(quán)項】
1.一種基于場景識別的視頻彈幕顯示方法，其特征在于，包含以下步驟: 步驟S1、預(yù)處理模塊對視頻進行預(yù)處理，提取視頻中的場景數(shù)據(jù)，將場景數(shù)據(jù)文件保存在場景數(shù)據(jù)服務(wù)器中，視頻信息服務(wù)器將場景數(shù)據(jù)標(biāo)識和視頻標(biāo)識寫入視頻的視頻元信息中； 所述的場景數(shù)據(jù)文件包含視頻中所有的場景數(shù)據(jù);所述的場景數(shù)據(jù)包含:場景模型、場景環(huán)境的光源數(shù)據(jù)和場景時間列表;所述的場景模型包含:場景物體或場景實體的三維數(shù)據(jù)，即x、y、z坐標(biāo)點；所述的場景環(huán)境的光源數(shù)據(jù)包含:光源位置坐標(biāo)、光源顏色、光強和光源方向；所述的場景時間列表包含:場景物體或場景實體在視頻中的出現(xiàn)時間點和結(jié)束時間點;所述的場景數(shù)據(jù)標(biāo)志代表該視頻中具有場景數(shù)據(jù);所述的視頻標(biāo)識與場景數(shù)據(jù)文件--對應(yīng);所述的視頻元信息與視頻--對應(yīng)； 步驟S2、場景彈幕播放器同時加載視頻和該視頻對應(yīng)的視頻元信息，當(dāng)檢測到視頻元信息中具有場景數(shù)據(jù)標(biāo)識，則根據(jù)視頻標(biāo)識檢索場景數(shù)據(jù)服務(wù)器，獲得與視頻標(biāo)識對應(yīng)的場景數(shù)據(jù)文件； 步驟S3、在視頻播放前，場景彈幕播放器根據(jù)接收到的場景數(shù)據(jù)文件，按照時間順序建立場景列表； 所述的場景列表包含:場景物體或場景實體的三維模型、場景環(huán)境的光源數(shù)據(jù)和場景時間列表;所述的場景物體或場景實體的三維模型是根據(jù)場景數(shù)據(jù)文件中的場景模型創(chuàng)建的三維模型；所述的場景環(huán)境的光源數(shù)據(jù)根據(jù)場景數(shù)據(jù)文件中的場景環(huán)境的光源數(shù)據(jù)獲得;所述的場景時間列表根據(jù)場景數(shù)據(jù)文件中的場景時間列表獲得，該場景時間列表包含:三維模型的視頻中的出現(xiàn)時間點和結(jié)束時間點； 步驟S4、在視頻播放過程中，場景彈幕播放器在當(dāng)前時間查找場景列表中是否具有三維模型，如果沒有查找到三維模型，則場景彈幕播放器按照全屏方式播放彈幕，如果查找到三維模型，場景彈幕播放器將三維模型加載到視頻上方的顯示列表中，并將彈幕層動態(tài)貼圖到三維模型的二維平面上，同時創(chuàng)建當(dāng)前場景的環(huán)境光源，使彈幕與場景更加融入。2.如權(quán)利要求1所述的基于場景識別的視頻彈幕顯示方法，其特征在于，所述的多個三維模型可以同一時間存在，當(dāng)同時存在多個三維模型時，彈幕層被切分成不同的區(qū)域，分別動態(tài)貼圖到多個三維模型的二維平面上。3.如權(quán)利要求1所述的基于場景識別的視頻彈幕顯示方法，其特征在于，所述的步驟S4中，創(chuàng)建當(dāng)前場景的環(huán)境光源的步驟包含:根據(jù)場景列表中場景環(huán)境的光源數(shù)據(jù)進行3D渲染創(chuàng)建當(dāng)前場景的環(huán)境光源。4.如權(quán)利要求1所述的基于場景識別的視頻彈幕顯示方法，其特征在于，所述的步驟S4中，如果到達(dá)了三維模型的結(jié)束時間點，則場景彈幕播放器按照全屏方式播放彈幕。5.如權(quán)利要求1所述的基于場景識別的視頻彈幕顯示方法，其特征在于，所述的步驟SI中，預(yù)處理模塊對視頻進行預(yù)處理具體包含以下步驟: 步驟S1.1、預(yù)處理模塊進行場景數(shù)據(jù)識別； 所述的場景是指視頻中出現(xiàn)的場景物體或場景實體，同一場景可能會多次重復(fù)在視頻中出現(xiàn)； 步驟S1.2、預(yù)處理模塊將可嵌入彈幕的場景的場景數(shù)據(jù)按照視頻的時間戳順序保存為場景數(shù)據(jù)文件，將該場景數(shù)據(jù)文件上傳到場景數(shù)據(jù)服務(wù)器上保存； 所述的可嵌入彈幕的場景是指場景的場景模型中有至少一個二維平面的尺寸足夠放置彈蒂; 步驟S1.3、預(yù)處理模塊將場景數(shù)據(jù)標(biāo)志和視頻標(biāo)識發(fā)送給視頻信息服務(wù)器，視頻信息服務(wù)器將視頻標(biāo)識和場景數(shù)據(jù)標(biāo)志寫入視頻的視頻元信息中； 所述的視頻元信息是記錄視頻基本信息的文件，該視頻元信息包含:視頻的長寬、視頻幀率、以及其他自定義數(shù)據(jù)，比如場景數(shù)據(jù)標(biāo)志和視頻標(biāo)識。6.—種適用于如權(quán)利要求1-5中任意一項所述的基于場景識別的視頻彈幕顯示方法的顯示裝置，其特征在于，包含: 預(yù)處理模塊，用于對視頻進行預(yù)處理，提取視頻中的場景數(shù)據(jù)； 場景數(shù)據(jù)服務(wù)器，用于保存場景數(shù)據(jù)文件； 視頻信息服務(wù)器，用于將場景數(shù)據(jù)標(biāo)識和視頻標(biāo)識寫入視頻的視頻元信息中； 場景彈幕播放器，用于提取場景數(shù)據(jù)文件，創(chuàng)建場景列表，將彈幕信息嵌入視屏中的場景三維模型，加強彈幕視頻的觀感。7.如權(quán)利要求6所述的基于場景識別的視頻彈幕顯示裝置，其特征在于，所述的預(yù)處理模塊中裝載預(yù)處理軟件。8.如權(quán)利要求6所述的基于場景識別的視頻彈幕顯示裝置，其特征在于，所述的場景彈幕播放器包含:彈幕播放器和場景處理模塊，所述的彈幕播放器用于播放彈幕信息，所述的場景處理模塊用于處理場景的三維模型。
【文檔編號】H04N21/475GK105959814SQ201610381040
【公開日】2016年9月21日
【申請日】2016年6月1日
【發(fā)明人】藍(lán)帆
【申請人】上?；秒娦畔⒖萍加邢薰?br>