基于事件的演講活動直播及錄制方法
【專利摘要】本發(fā)明涉及一種基于事件的演講活動直播及錄制方法，包括：演講程序啟動的步驟；偵聽演講過程中所觸發(fā)的事件的步驟；對事件進(jìn)行分發(fā)處理的步驟；對處理后的結(jié)果數(shù)據(jù)格式序列化后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存的步驟。與現(xiàn)有技術(shù)相比，本發(fā)明基于事件處理的機(jī)制對演講活動進(jìn)行直播或錄制，具有可支持較低的帶寬傳輸和本地容量、較為高效的軟件性能等優(yōu)點。
【專利說明】基于事件的演講活動直播及錄制方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種網(wǎng)絡(luò)信息傳輸【技術(shù)領(lǐng)域】的方法，尤其是涉及一種基于事件的演講活動直播及錄制方法。

【背景技術(shù)】
[0002]基于演講活動的在線直播點播應(yīng)用已經(jīng)成為當(dāng)前互聯(lián)網(wǎng)上最重要的應(yīng)用之一。特別是在智能移動終端和WIF1、3G、4G無線網(wǎng)絡(luò)普及的大背景下，用戶通過智能移動終端設(shè)備在任何有網(wǎng)絡(luò)的地方觀看在線直播或點播的活動將會使得用戶獲取相關(guān)資訊變得更加便捷。在線學(xué)習(xí)、在線會議等活動通過直播點播服務(wù)得以以多媒體的形式較好呈現(xiàn)給最終用戶。
[0003]現(xiàn)有的在線教學(xué)、在線會議應(yīng)用大部分的直播點播是基于音視頻的流媒體直播，如現(xiàn)在比較流行的MOOCs (Massive Open Online Courses)學(xué)習(xí)中，用戶參與學(xué)習(xí)的主要方式為通過音視頻的流媒體文件在線或下載后播放。這些基于音視頻流的制作主要是通過拍攝教師的教學(xué)場景并進(jìn)行現(xiàn)場錄音而形成的多媒體文件，將錄制好的多媒體文件放在網(wǎng)絡(luò)上供用戶下載或在線觀看。其制作流程便捷，使得將名師的傳統(tǒng)課堂帶給每一個人成為可會K。
[0004]雖然上述應(yīng)用便捷有效，但這種基于演講的教學(xué)或會議系統(tǒng)中最重要的一部分視覺信息來自演講文稿的內(nèi)容。基于音視頻的錄制在錄制演講稿的內(nèi)容時存在明顯的不足，通過間接拍攝投影儀而獲取的演講稿內(nèi)容并不清晰。因此人們提出并實現(xiàn)了基于屏幕+視頻+語音的多流流媒體應(yīng)用來解決演講稿內(nèi)容呈現(xiàn)的問題。
[0005]在實際的諸多應(yīng)用場景下，基于屏幕的錄制存在著復(fù)雜度較高的問題，對于演講稿或屏幕形成的非自然圖像進(jìn)行編碼和解碼從實現(xiàn)的角度比較復(fù)雜，形成的數(shù)據(jù)帶寬比較大，對編碼和解碼的設(shè)備有較高的性能要求。
[0006]基于對屏幕編解碼的這一思路，中國專利申請?zhí)?01010539275.4，記載了一種“基于通用視頻編碼標(biāo)準(zhǔn)的屏幕編碼系統(tǒng)”。該方法提出了一種視頻圖像處理【技術(shù)領(lǐng)域】的基于通用視頻編碼標(biāo)準(zhǔn)的屏幕編碼系統(tǒng)。系統(tǒng)由屏幕信息獲取模塊、顏色空間轉(zhuǎn)換模塊和改進(jìn)型通用編碼器組成。該方法將連續(xù)的屏幕圖像按照通用視頻編碼標(biāo)準(zhǔn)進(jìn)行編碼壓縮。其優(yōu)勢主要表現(xiàn)為遵照通用標(biāo)準(zhǔn)可以較為方便將工作中編碼的主要任務(wù)建立在前人已實現(xiàn)的工作上，解碼也更加方便。但屏幕形成的非自然圖像相對于通用視頻有其顯著的不同，這樣沒有利用屏幕圖像的特性導(dǎo)致編碼壓縮冗余度比較大，占用數(shù)據(jù)帶寬較高。
[0007]進(jìn)一步搜索發(fā)現(xiàn)，中國專利申請?zhí)?01210085965.6，記載了 “場景自適應(yīng)的屏幕編碼碼率控制方法及其系統(tǒng)”，該方法通過檢測屏幕信息的變化劇烈程度并分類后，針對分類得到的不同運動場景調(diào)用對應(yīng)的碼率控制方案得以實現(xiàn)。上述兩種方法都是基于屏幕圖像的編解碼方法。算法實現(xiàn)的復(fù)雜度比較高，數(shù)據(jù)量大，對解碼播放的設(shè)備性能也要求較高。本發(fā)明旨在通過一種基于事件處理的機(jī)制，解決上述系統(tǒng)存在的不足。


【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于事件的演講活動直播及錄制方法，具有支持較低的帶寬和較小的空間容量、較為高效的軟件性能等優(yōu)勢。
[0009]本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn):
[0010]一種基于事件的演講活動直播及錄制方法，包括:
[0011]演講程序啟動的步驟；
[0012]偵聽演講過程中所觸發(fā)的事件的步驟；
[0013]對事件進(jìn)行分發(fā)處理的步驟；
[0014]對處理后的結(jié)果數(shù)據(jù)格式序列化后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存的步驟。
[0015]所述演講程序包括基于Office自動化實現(xiàn)的能夠偵聽PowerPoint事件的應(yīng)用程序、支持SWF、PDF播放的基于flash的應(yīng)用程序或支持PPT、H)F、SffF文檔解析及顯示的自定義程序。
[0016]所述事件具有對應(yīng)的事件屬性，所述事件屬性包括事件類型、事件觸發(fā)時間和事件觸發(fā)伴隨數(shù)據(jù)。
[0017]所述事件包括原子事件和由一系列原子事件組成的復(fù)合事件。
[0018]所述偵聽演講過程中所觸發(fā)的事件的步驟中，偵聽到有事件發(fā)生時，根據(jù)事件類型向?qū)?yīng)的事件處理器發(fā)送通知信息。
[0019]所述對事件進(jìn)行分發(fā)處理的步驟具體為:
[0020]接收到事件的事件處理器各自進(jìn)行事件處理，獲得結(jié)果數(shù)據(jù)。
[0021]對處理后的結(jié)果數(shù)據(jù)格式序列化后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存時，還包括:
[0022]設(shè)定關(guān)鍵事件的步驟。
[0023]對處理后的結(jié)果數(shù)據(jù)格式序列后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存時，還包括:
[0024]對關(guān)鍵事件后的每隔設(shè)定時間內(nèi)的事件產(chǎn)生的效果進(jìn)行快照操作。
[0025]所述設(shè)定時間為1000_3000ms。
[0026]與現(xiàn)有技術(shù)相比，本發(fā)明所提出的直播及錄制方法解決了對屏幕直接進(jìn)行編解碼的復(fù)雜性，具有以下優(yōu)點:
[0027](I)本發(fā)明對演講過程中的事件進(jìn)行偵聽，在發(fā)生事件時進(jìn)行相應(yīng)處理，處理方便；
[0028](2)本發(fā)明在對處理后的結(jié)果數(shù)據(jù)格式序列化后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存時設(shè)定了關(guān)鍵事件，可方便直播或點播的定位；
[0029](3)本發(fā)明對關(guān)鍵事件后的每隔設(shè)定時間內(nèi)的事件產(chǎn)生的效果進(jìn)行了快照，進(jìn)一提高了直播或點播定位的方便性；
[0030](4)本發(fā)明還具有可支持較低的帶寬傳輸和本地容量、較為高效的軟件性能等優(yōu)勢。

【專利附圖】

【附圖說明】
[0031]圖1為本發(fā)明的流程示意圖；
[0032]圖2為本發(fā)明應(yīng)用的一個時序樣例圖。

【具體實施方式】
[0033]下面結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)說明。本實施例以本發(fā)明技術(shù)方案為前提進(jìn)行實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實施例。
[0034]如圖1所示，一種基于事件的演講活動直播及錄制方法，包括:
[0035]演講程序啟動的步驟；
[0036]偵聽演講過程中所觸發(fā)的事件的步驟；
[0037]對事件進(jìn)行分發(fā)處理的步驟；
[0038]對處理后的結(jié)果數(shù)據(jù)格式序列后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存的步驟。
[0039]所啟動的演講程序包括基于Office自動化實現(xiàn)的能夠偵聽PowerPoint事件的應(yīng)用程序、支持SWF、PDF播放的基于flash的應(yīng)用程序或支持PPT、H)F、SffF文檔解析及顯示的自定義程序。
[0040]本發(fā)明中，事件可以是原子事件，如演講開始時的“SlideShowBegin”，“SlideShowNextSlide”事件，也可以是復(fù)合事件，復(fù)合事件由一系列的原子事件組成，如演講過程中用戶用鼠標(biāo)或手寫筆開始繪制圖形的“MouseStoke”事件，由“MouseDown”、“MouseMove”、“MouseUp”三個原子事件序列組成。原子事件為沒有過程性的瞬時事件，復(fù)合事件為持續(xù)一段時間的過程性事件。
[0041]偵聽演講過程中所觸發(fā)的事件的步驟中，偵聽到有事件發(fā)生時，根據(jù)事件類型向?qū)?yīng)的事件處理器發(fā)送通知信息。
[0042]對事件進(jìn)行分發(fā)處理的步驟具體為:
[0043]接收到事件的事件處理器各自進(jìn)行事件處理，獲得結(jié)果數(shù)據(jù)，每一個特定的事件的觸發(fā)將會調(diào)用該事件所對應(yīng)的事件處理方法。如PPT演講過程中就有“SlideShowBegin”事件、“SlideShowNextSlide”事件等。描述事件的數(shù)據(jù)主要有:事件類型EventType (如SlideShowBegin, SlideShowNextSlide);事件觸發(fā)的時間 EventTime，一般精確到毫秒；以及事件觸發(fā)伴隨的相關(guān)數(shù)據(jù)，如SlideShowNextSlide事件所對應(yīng)的下一個Slide的圖像數(shù)據(jù)、一個筆跡伴隨產(chǎn)生的坐標(biāo)點序列等。
[0044]演講過程產(chǎn)生的事件及事件處理后結(jié)果數(shù)據(jù)(如當(dāng)前PPT頁截圖、筆跡、音視頻編碼壓縮數(shù)據(jù)等)序列化后進(jìn)行網(wǎng)絡(luò)傳輸或本地存儲，為了直播及點播定位方便我們定義一種關(guān)鍵事件“EssentialEvent” ；如PPT、PDF、SffF的翻頁時所產(chǎn)生的“SlideShowNextSlide”、“SlideShowPrev1usSlide” 等演講稿發(fā)生變化，屏幕圖像出現(xiàn)突然變化的關(guān)鍵事件，兩個EssentialEvent事件之間的Event我們稱之為增量事件“ IncrementalEvent ”，如由手寫筆所產(chǎn)生的筆跡事件等。音視頻事件為固定周期發(fā)生的事件，我們稱之為音視頻流媒體事件。
[0045]為了直播點播觀看及定位方便，我們需要設(shè)置一個固定的間隔，如1000ms，將EssentialEvent事件之后的每隔1000ms內(nèi)、2000ms內(nèi)、3000ms內(nèi)...的所有的增量事件產(chǎn)生的效果做一次快照，即不考慮事件的時間信息，而是直接考慮這期間所有增量事件產(chǎn)生的輸出結(jié)果，以方便觀看時的時間定位。
[0046]如圖2所示為一種根據(jù)本發(fā)明的可能的實施例場景時序圖。在此實施例中，演講者為給兒童講故事的幼兒教師。演講的素材為一個由圖片系列所組成的故事場景。演講者事先將圖片素材導(dǎo)入為PPT的每一頁。演講者將通過PPT、手寫筆及錄音麥克風(fēng)給兒童講故事。PPT的每一頁為故事的某一個場景，演講者可以用手寫筆對場景中的人、物等進(jìn)行勾勒等輔助演講過程。同時演講者的語音可以通過麥克風(fēng)采集。對演講的過程進(jìn)行錄制可為廣大的兒童提供聲色并茂的兒童故事。
【權(quán)利要求】
1.一種基于事件的演講活動直播及錄制方法，其特征在于，包括: 演講程序啟動的步驟； 偵聽演講過程中所觸發(fā)的事件的步驟； 對事件進(jìn)行分發(fā)處理的步驟； 對處理后的結(jié)果數(shù)據(jù)格式序列化后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存的步驟。
2.根據(jù)權(quán)利要求1所述的基于事件的演講活動直播及錄制方法，其特征在于，所述演講程序包括基于Office自動化實現(xiàn)的能夠偵聽PowerPoint事件的應(yīng)用程序、支持SWF、PDF播放的基于flash的應(yīng)用程序或支持PPT、PDF, SffF文檔解析及顯示的自定義程序。
3.根據(jù)權(quán)利要求1所述的基于事件的演講活動直播及錄制方法，其特征在于，所述事件具有對應(yīng)的事件屬性，所述事件屬性包括事件類型、事件觸發(fā)時間和事件觸發(fā)伴隨數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的基于事件的演講活動直播及錄制方法，其特征在于，所述事件包括原子事件和由一系列原子事件組成的復(fù)合事件。
5.根據(jù)權(quán)利要求3所述的基于事件的演講活動直播及錄制方法，其特征在于，所述偵聽演講過程中所觸發(fā)的事件的步驟中，偵聽到有事件發(fā)生時，根據(jù)事件類型向?qū)?yīng)的事件處理器發(fā)送通知信息。
6.根據(jù)權(quán)利要求5所述的基于事件的演講活動直播及錄制方法，其特征在于，所述對事件進(jìn)行分發(fā)處理的步驟具體為: 接收到事件的事件處理器各自進(jìn)行事件處理，獲得結(jié)果數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的基于事件的演講活動直播及錄制方法，其特征在于，對處理后的結(jié)果數(shù)據(jù)格式序列化后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存時，還包括: 設(shè)定關(guān)鍵事件的步驟。
8.根據(jù)權(quán)利要求7所述的基于事件的演講活動直播及錄制方法，其特征在于，對處理后的結(jié)果數(shù)據(jù)格式序列后進(jìn)行網(wǎng)絡(luò)傳輸或本地保存時，還包括: 對關(guān)鍵事件后的每隔設(shè)定時間內(nèi)的事件產(chǎn)生的效果進(jìn)行快照操作。
9.根據(jù)權(quán)利要求8所述的基于事件的演講活動直播及錄制方法，其特征在于， 所述設(shè)定時間為1000-3000ms。
【文檔編號】H04N21/233GK104486635SQ201410790292
【公開日】2015年4月1日 申請日期:2014年12月17日 優(yōu)先權(quán)日:2014年12月17日
【發(fā)明者】徐禮爽, 王加俊, 申瑞民 申請人:上海交通大學(xué)