專利名稱：網(wǎng)絡(luò)上的多種媒體的同步合成存儲(chǔ)發(fā)布系統(tǒng)及操作該系統(tǒng)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體技術(shù)以及網(wǎng)絡(luò)教育、遠(yuǎn)程教育技術(shù)；特別涉及一種網(wǎng)絡(luò)上的多種媒體的同步合成存儲(chǔ)發(fā)布技術(shù)。
背景技術(shù)：
隨著信息傳輸技術(shù)的發(fā)展，網(wǎng)絡(luò)通訊以及各種信息傳輸服務(wù)已經(jīng)越來越多。應(yīng)運(yùn)而生的視頻會(huì)議、網(wǎng)絡(luò)教育以及遠(yuǎn)程教育等也已普遍被人們所接受，在這方面的研究也取得了顯著的成就。
隨著視頻會(huì)議和網(wǎng)絡(luò)教育的廣泛應(yīng)用，人們?cè)絹碓礁惺艿嚼镁W(wǎng)絡(luò)實(shí)現(xiàn)同步實(shí)況傳輸給我們的生活帶來的便利。尤其是在公司、企業(yè)或是校園中這種應(yīng)用更為普遍，因?yàn)楣尽⑵髽I(yè)的人員和學(xué)校的老師經(jīng)常需要利用計(jì)算機(jī)裝置進(jìn)行演講授課并讓網(wǎng)絡(luò)上的聽眾播放收聽，特別是包含演講者演示課件和演講實(shí)況視頻音頻信息的同步合成傳輸方案更是備受青睞。但是，目前的多媒體課件制作工具，都是在演講過程結(jié)束后再利用人工加以制作的，這樣不僅費(fèi)時(shí)，而且也不能反映演講者演講的過程，因此演講過程后制作的課件與演講者演講的真實(shí)性存在一定的差異。一種解決方法是直接在演講者演講的同時(shí)對(duì)課件播放的內(nèi)容進(jìn)行錄制，方法當(dāng)然不同于數(shù)字錄像，它還需要將演講者演講操作課件的消息記錄下來，在播放的過程中可以重復(fù)。
但目前的課件錄制方法主要存在以下缺陷。
目前通常的課件錄制方法需要把課件文檔和視頻音頻流這兩部分在演講時(shí)需要互相密切配合的資源分別作為獨(dú)立的文件保存，再經(jīng)過重新播放和同步定位后以文件夾形式保存和發(fā)布，不能實(shí)時(shí)錄制而且費(fèi)時(shí)費(fèi)力；即使可以實(shí)時(shí)錄制，也只能保存為文件夾的形式，如目前常用的StreamAuthor等實(shí)時(shí)錄制系統(tǒng)，其最后生成的課件是以文件夾形式保存和發(fā)布的，不便于異地服務(wù)器自動(dòng)調(diào)用和鏡像，影響點(diǎn)播服務(wù)。
而且實(shí)時(shí)錄制時(shí)一般是采用把演示課件的畫面和演講者的現(xiàn)場畫面都作為視頻來錄制運(yùn)用通常的視頻音頻同步方法將這兩種視頻與音頻進(jìn)行同步合成，生成一個(gè)視頻音頻流文件。這種方案也有兩點(diǎn)不足其一是由于演示課件也以視頻形式合成所以保存的流文件很大，不便于網(wǎng)絡(luò)傳輸；其二是由于演示課件是以一段視頻流方式錄制的，因此不便于以多分辨率的形式發(fā)布，播放時(shí)課件的清晰度差。
專利申請(qǐng)?zhí)枮?2141324.x的申請(qǐng)文件中揭示了一種影音教材的制播系統(tǒng)與方法。該系統(tǒng)可將發(fā)送端的教材網(wǎng)頁、操作環(huán)境、教學(xué)動(dòng)作，及主要配合發(fā)送端若有CCD及麥克風(fēng)，而將其記錄傳送至接收端，以供接收端的民眾閱讀學(xué)習(xí)；其中，發(fā)送端，于同一時(shí)間內(nèi)同時(shí)將屏幕上所看到的畫面，及可通過喇叭聽到的聲音一起擷取下來，再予以串起成一般的多媒體檔案；該發(fā)明在接收到復(fù)數(shù)個(gè)的影音信號(hào)后，便將這些影音信號(hào)所對(duì)應(yīng)的影像與聲音整合至同一個(gè)多媒體檔案中(同步錄制)，然后再以直接傳播多媒體檔案的方式，來傳播這些影像與聲音(同步播放)；藉此，使得其于資料傳輸時(shí)，僅有單一檔案格式，以可讓接收端于觀看閱讀時(shí)，不會(huì)再有延遲、不協(xié)調(diào)的情況發(fā)生。
上述申請(qǐng)給出了網(wǎng)絡(luò)環(huán)境中影音教材的錄制及即時(shí)播出的一個(gè)解決方案，能夠?qū)崿F(xiàn)實(shí)時(shí)錄制并播出的功能。但是仍有其不完善之處，首先，該申請(qǐng)中視頻音頻的采集和合成都在發(fā)送端完成并由發(fā)送端向接收端傳輸，該系統(tǒng)所生成的流文件僅能保存在演講所在的該特定發(fā)送端，不方便接收端隨時(shí)點(diǎn)播。我們知道，在一個(gè)辦公環(huán)境中，更典型的在一個(gè)校園授課環(huán)境里，演講者特別是老師可能會(huì)定期在不同的地點(diǎn)、不同的教室演講授課，如果將每次授課的文件分別保存在不同的發(fā)送端會(huì)不方便聽眾或者學(xué)生點(diǎn)播觀看；而且由于每個(gè)發(fā)送端都要承擔(dān)同步合成的工作，這也就增加了每一個(gè)發(fā)送端的負(fù)擔(dān)，浪費(fèi)資源。其次，該申請(qǐng)主要運(yùn)用截屏方法來捕捉演示課件的信號(hào)進(jìn)行合成傳輸，所形成的是一個(gè)視頻音頻流文件，該流文件數(shù)據(jù)量大，不利于在網(wǎng)絡(luò)環(huán)境不好的情況下傳輸，而且當(dāng)觀眾放大觀看時(shí)其播放文件的質(zhì)量將不能得到保證。

發(fā)明內(nèi)容
針對(duì)上述現(xiàn)有技術(shù)中服務(wù)器端負(fù)擔(dān)過重的不足，以及錄制發(fā)布過程中文件傳輸量大、播放清晰度差的缺陷，本發(fā)明的目的在于提供一種系統(tǒng)和方法，能夠減小點(diǎn)播過程中數(shù)據(jù)的傳輸量、保證畫面的清晰度，并且避免使用文件夾形式保存，生成單個(gè)的流文件方便異地服務(wù)器自動(dòng)調(diào)用和鏡像。
為了達(dá)到上述目的，本發(fā)明提供了一種網(wǎng)絡(luò)上的多種媒體的同步合成存儲(chǔ)傳輸播放系統(tǒng)，該系統(tǒng)包括演講者演示端、服務(wù)器計(jì)算機(jī)系統(tǒng)以及至少一個(gè)客戶端計(jì)算機(jī)。
其中所述演講者演示端，至少包括一視頻采集裝置、一音頻采集裝置和一可操作并演示各種課件的計(jì)算機(jī)。所述視頻采集裝置與音頻采集裝置直接與服務(wù)器計(jì)算機(jī)系統(tǒng)連接。視頻采集裝置用于采集演講者演講的演講現(xiàn)場的視頻信息并發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)；音頻采集裝置用于采集演講者演講的現(xiàn)場音頻畫面并發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)；演示課件計(jì)算機(jī)通過網(wǎng)絡(luò)與服務(wù)器計(jì)算機(jī)系統(tǒng)相連，所述演示課件計(jì)算機(jī)用于演示各種課件，對(duì)演講者對(duì)課件進(jìn)行的實(shí)時(shí)操作進(jìn)行錄制并與服務(wù)器計(jì)算機(jī)系統(tǒng)進(jìn)行通訊。
所述服務(wù)器計(jì)算機(jī)系統(tǒng)包括視頻接收裝置、音頻接收裝置、數(shù)據(jù)合成裝置和一個(gè)數(shù)據(jù)庫。所述視頻接收裝置和音頻接收裝置用于分別接收演講者演示端的視頻采集裝置和音頻采集裝置采集的視頻、音頻數(shù)據(jù)。數(shù)據(jù)合成裝置用于對(duì)視頻、音頻數(shù)據(jù)和接收的演講者對(duì)課件進(jìn)行的實(shí)時(shí)操作數(shù)據(jù)進(jìn)行同步合成并生成流文件保存于所述數(shù)據(jù)庫中，以待網(wǎng)絡(luò)上一個(gè)或多個(gè)客戶端請(qǐng)求流式傳輸?shù)娇蛻舳?，由客戶端?duì)該文件進(jìn)行解碼并播放。
所述演示課件計(jì)算機(jī)內(nèi)還包含一個(gè)后臺(tái)記錄裝置，該裝置工作于演講者演講的全過程。
當(dāng)演示課件為一預(yù)定格式(例如PowerPoint，Word，HTML等)的課件時(shí)，該課件被提前存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)中，所述后臺(tái)記錄裝置用于在演講者啟動(dòng)課件時(shí)將向服務(wù)器計(jì)算機(jī)發(fā)送標(biāo)記該課件特征的記錄，服務(wù)器計(jì)算機(jī)系統(tǒng)將依據(jù)記錄的特征定位本地預(yù)存的相應(yīng)課件并啟動(dòng)；同時(shí)該后臺(tái)記錄裝置用于當(dāng)演講者演講過程中對(duì)課件進(jìn)行操作時(shí)，記錄每一次操作的當(dāng)前頁碼、屏幕當(dāng)前位置、操作類別，并為每次操作形成一個(gè)操作記錄，即時(shí)發(fā)送至所述服務(wù)器計(jì)算機(jī)系統(tǒng)。
當(dāng)演示課件為一非預(yù)定義格式的課件時(shí)，所述后臺(tái)記錄裝置用于抓取課件演示過程的屏幕數(shù)據(jù)，作為一段視頻流發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)的視頻接收裝置。
所述服務(wù)器計(jì)算機(jī)系統(tǒng)中包括一個(gè)時(shí)間添加裝置。該裝置為視頻接收裝置接收的視頻和音頻接收裝置接收的音頻分別添加時(shí)間標(biāo)記。當(dāng)演示課件為一預(yù)定格式的課件時(shí)所述時(shí)間添加裝置為服務(wù)器計(jì)算機(jī)系統(tǒng)接收的每一個(gè)課件操作記錄添加時(shí)間，所述數(shù)據(jù)合成裝置將根據(jù)接收的課件操作記錄中描述的課件頁面和課件片段信息提取本地預(yù)存的該課件的相關(guān)頁面和位置數(shù)據(jù)，并以視頻、音頻和課件操作記錄記載的時(shí)間為同步合成標(biāo)志對(duì)上述多種媒體進(jìn)行同步合成。當(dāng)演示課件為一非預(yù)定格式的課件時(shí)所述時(shí)間添加裝置為視頻接收裝置接收的截屏數(shù)據(jù)添加時(shí)間標(biāo)記，所述數(shù)據(jù)合成裝置將以視頻、音頻和截屏數(shù)據(jù)記載的時(shí)間為同步合成標(biāo)志對(duì)上述媒體進(jìn)行同步合成。
所述數(shù)據(jù)合成裝置為每一次演講生成一個(gè)單獨(dú)的流文件保存于所述數(shù)據(jù)庫中。
作為本發(fā)明的另一個(gè)目的，提供了一種網(wǎng)絡(luò)上的多種媒體的同步合成存儲(chǔ)傳輸發(fā)布方法，所述方法包含如下步驟連接復(fù)數(shù)個(gè)媒體采集裝置到一個(gè)服務(wù)器計(jì)算機(jī)系統(tǒng)，其中所述媒體采集裝置至少包含一個(gè)視頻采集裝置、一個(gè)音頻采集裝置和一個(gè)可操作并演示各種課件的計(jì)算機(jī)。
各媒體采集裝置將采集的各種實(shí)時(shí)媒體信息發(fā)送至該服務(wù)器計(jì)算機(jī)系統(tǒng)。該服務(wù)器計(jì)算機(jī)系統(tǒng)自動(dòng)運(yùn)用媒體合成方法將接收到的各種媒體信息合成單個(gè)流文件形式并進(jìn)行存儲(chǔ)，以待網(wǎng)絡(luò)上一個(gè)或數(shù)個(gè)客戶端播放請(qǐng)求流式傳輸?shù)娇蛻舳擞煽蛻舳藢?duì)該流文件進(jìn)行解析并播放。
其中所述各種媒體信息至少包括一個(gè)視頻信息和一個(gè)音頻信息以及一個(gè)演示課件信息，所述演示課件信息用于記錄演講者在上述可操作并演示課件的計(jì)算機(jī)上演示課件的操作記錄或演示的畫面。
當(dāng)演示課件為一預(yù)定格式(例如PowerPoint，Word，HTML等)的課件時(shí)，該課件被提前存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)中。所述演示課件計(jì)算機(jī)在演講者啟動(dòng)課件時(shí)將向服務(wù)器計(jì)算機(jī)發(fā)送標(biāo)記該課件特征的記錄。服務(wù)器計(jì)算機(jī)系統(tǒng)將依據(jù)記錄的特征定位本地預(yù)存的相應(yīng)課件并啟動(dòng)。同時(shí)當(dāng)演講者演講過程中對(duì)課件進(jìn)行操作時(shí)，該演示課件計(jì)算機(jī)將記錄每一次操作的當(dāng)前頁碼、屏幕當(dāng)前位置、操作類別，并為每次操作形成一個(gè)操作記錄，即時(shí)發(fā)送至所述服務(wù)器計(jì)算機(jī)系統(tǒng)。
當(dāng)演示課件為一非預(yù)定義格式的課件時(shí)，所述演示課件計(jì)算機(jī)將抓取課件演示過程的屏幕數(shù)據(jù)，作為一段視頻流發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)。
所述服務(wù)器計(jì)算機(jī)系統(tǒng)為接收的視頻和音頻流分別添加時(shí)間標(biāo)記。當(dāng)演示課件為一預(yù)定格式的課件時(shí)服務(wù)器計(jì)算機(jī)系統(tǒng)為接收的每一個(gè)課件操作記錄添加時(shí)間，所述服務(wù)器計(jì)算機(jī)系統(tǒng)將根據(jù)接收的課件操作記錄中描述的課件頁面和課件片段信息提取本地預(yù)存的該課件的相關(guān)頁面和位置的數(shù)據(jù)，并以視頻、音頻和課件操作記錄記載的時(shí)間為同步合成標(biāo)志對(duì)上述多種媒體進(jìn)行同步合成；當(dāng)演示課件為一非預(yù)定格式的課件時(shí)所述服務(wù)器計(jì)算機(jī)系統(tǒng)為視頻接收裝置接收的截屏數(shù)據(jù)添加時(shí)間標(biāo)記，所述數(shù)據(jù)合成裝置將以視頻、音頻和截屏數(shù)據(jù)記載的時(shí)間為同步合成標(biāo)志對(duì)上述媒體進(jìn)行同步合成。
所述服務(wù)器計(jì)算機(jī)系統(tǒng)為每一次演講生成一個(gè)單獨(dú)的流文件保存于所述數(shù)據(jù)庫中。
特別地，為使本系統(tǒng)能夠適應(yīng)網(wǎng)絡(luò)發(fā)布和客戶端點(diǎn)播系統(tǒng)要求，在服務(wù)器計(jì)算機(jī)系統(tǒng)中，當(dāng)把服務(wù)器計(jì)算機(jī)系統(tǒng)中預(yù)存的預(yù)定格式的課件合成流文件時(shí)，將把本地提取的課件數(shù)據(jù)分割成若干課件數(shù)據(jù)單元保存并以此為單位向客戶端流式傳輸。分割時(shí)將依時(shí)間順序上一組操作記錄動(dòng)作所對(duì)應(yīng)的頁面或課件片段組合在一起構(gòu)成一個(gè)數(shù)據(jù)塊，為該數(shù)據(jù)塊添加一個(gè)索引標(biāo)記并將該索引標(biāo)記添加于形成該課件數(shù)據(jù)塊的每個(gè)操作記錄上。
所生成的流文件中對(duì)該課件所有的課件操作記錄會(huì)組成一個(gè)文檔數(shù)據(jù)塊，由于該數(shù)據(jù)塊記錄的都是對(duì)課件的操作編碼，所以數(shù)據(jù)量較小。在客戶端點(diǎn)播時(shí)，首先將該文檔數(shù)據(jù)塊全部傳送至客戶端計(jì)算機(jī)存儲(chǔ)器中，依次根據(jù)每個(gè)操作記錄所記載的課件數(shù)據(jù)塊索引標(biāo)記請(qǐng)求服務(wù)器發(fā)送相應(yīng)的課件數(shù)據(jù)塊。
另外，為了方便異地服務(wù)器自動(dòng)調(diào)用和鏡像，作為更優(yōu)選的方式，本發(fā)明將使用自定義的文檔格式在服務(wù)器中保存所合成的流文件，當(dāng)演示課件為一預(yù)定格式的文檔時(shí)，流文件格式中將包含如下信息(1)包含若干字節(jié)用于描述文件ID；(2)包含若干字節(jié)用于描述版本信息；(3)包含若干字節(jié)用于描述文件類型主要描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此時(shí)為含有操作記錄的數(shù)據(jù)；(4)包含若干字節(jié)用于描述操作記錄的偏移量也即操作記錄數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及操作記錄數(shù)據(jù)長度的字節(jié)數(shù)；(5)包含若干字節(jié)用于描述視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度的字節(jié)數(shù)；(6)包含若干字節(jié)用于描述音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度的字節(jié)數(shù)；(7)包含若干字節(jié)用于描述演示課件數(shù)據(jù)的偏移量即演示課件距離流文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度的字節(jié)數(shù)；(8)根據(jù)文件頭中的文件類型，含有操作記錄數(shù)據(jù)的文件則應(yīng)記載每一次的操作記錄，所述操作記錄的結(jié)構(gòu)如下所述包含若干字節(jié)的時(shí)間數(shù)據(jù)、若干字節(jié)的單元索引標(biāo)記數(shù)據(jù)以及若干字節(jié)的操作動(dòng)作數(shù)據(jù)，相應(yīng)的每個(gè)記錄分別記載時(shí)間數(shù)據(jù)、單元索引標(biāo)記數(shù)據(jù)和操作動(dòng)作數(shù)據(jù)；(9)演示課件數(shù)據(jù)，該演示課件數(shù)據(jù)為一組課件數(shù)據(jù)單元，每個(gè)數(shù)據(jù)單元包含若干字節(jié)的單元索引標(biāo)記，含有的頁碼和該單元的課件內(nèi)容數(shù)據(jù)；(10)音頻數(shù)據(jù)；(11)視頻數(shù)據(jù)；當(dāng)演示課件為一非預(yù)定格式的文檔時(shí)，在所述服務(wù)器計(jì)算機(jī)系統(tǒng)中生成并保存的流文件格式中包含如下信息(1)包含若干字節(jié)用于描述文件ID；(2)包含若干字節(jié)用于描述版本信息；(3)包含若干字節(jié)用于描述文件類型主要描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此時(shí)為含有截屏視頻的數(shù)據(jù)；(4)包含若干字節(jié)用于描述操作記錄的偏移量也即操作記錄數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及操作記錄數(shù)據(jù)長度的字節(jié)數(shù)；(5)包含若干字節(jié)用于描述視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度的字節(jié)數(shù)；(6)包含若干字節(jié)用于描述音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度的字節(jié)數(shù)；(7)包含若干字節(jié)用于描述演示課件數(shù)據(jù)的偏移量即演示課件距離流文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度的字節(jié)數(shù)；(8)根據(jù)文件頭中的文件類型，含有截屏視頻的數(shù)據(jù)則應(yīng)記載截屏視頻數(shù)據(jù)；(9)音頻數(shù)據(jù)；(10)視頻數(shù)據(jù)。
使用本系統(tǒng)或應(yīng)用本方法進(jìn)行網(wǎng)上多種媒體的同步合成存儲(chǔ)發(fā)布將在以下方面產(chǎn)生有益的效果。
首先，為了減少發(fā)送端演示課件計(jì)算機(jī)和各個(gè)課件接收客戶端的負(fù)擔(dān)，本發(fā)明所有的合成和存儲(chǔ)功能都集中在服務(wù)器端實(shí)現(xiàn)，客戶端僅通過訪問服務(wù)器進(jìn)行點(diǎn)播，服務(wù)器就會(huì)將所點(diǎn)播的文件流式傳輸?shù)近c(diǎn)播的客戶端播放。在同步錄制的同時(shí)，服務(wù)器端也可以對(duì)客戶端做直播廣播或者直播組播。發(fā)明的各步驟功能劃分更為明確，更有利于依據(jù)本方法的系統(tǒng)的維護(hù)和功能的擴(kuò)展。同時(shí)將所生成的流文件統(tǒng)一存儲(chǔ)于服務(wù)器的數(shù)據(jù)庫中，也方便受眾查找和點(diǎn)播。
其次，由于本發(fā)明對(duì)預(yù)定義課件在服務(wù)器端預(yù)先保存，因此在演示此類文檔時(shí)，演講者端只需記錄演講者對(duì)該課件操作相關(guān)的鼠標(biāo)鍵盤信息并傳輸給服務(wù)器端即可，由服務(wù)器依據(jù)該信息啟動(dòng)預(yù)存文檔相關(guān)操作進(jìn)行合成，而不需要截取并傳輸實(shí)時(shí)的屏幕數(shù)據(jù)。減少了文件的傳輸量，并且能夠保證課件視頻的清晰度。
另外，由于本發(fā)明自定義的流文件保存格式采用單個(gè)文件形式進(jìn)行保存，沒有以文件夾的形式保存所以可以方便異地服務(wù)器自動(dòng)調(diào)用和鏡像。


圖1示出了根據(jù)本發(fā)明的計(jì)算機(jī)系統(tǒng)的框架圖；圖2示出了本發(fā)明所述方法的流程圖；圖3示出了根據(jù)本發(fā)明所自定義的一個(gè)流文件存儲(chǔ)格式；圖4示出了根據(jù)本發(fā)明所自定義的另一個(gè)流文件的存儲(chǔ)格式；圖5示出了本發(fā)明客戶端的播放界面。
具體實(shí)施例方式
根據(jù)本發(fā)明所描述系統(tǒng)的一個(gè)具體實(shí)施方式
，如圖1所示，攝像裝置101、話筒102將通過通常的連接方式直接連接在服務(wù)器計(jì)算機(jī)系統(tǒng)105上。操作并演示課件的計(jì)算機(jī)103通過網(wǎng)絡(luò)連接與一服務(wù)器計(jì)算機(jī)系統(tǒng)105相連，網(wǎng)絡(luò)上不特定數(shù)目的客戶端將可通過通用的方式與服務(wù)器計(jì)算機(jī)系統(tǒng)105進(jìn)行信息傳輸和交互。在所述操作并演示課件的計(jì)算機(jī)103內(nèi)包含有用于演示課件的應(yīng)用軟件以及采集演講者操作課件記錄的后臺(tái)記錄裝置104，所述服務(wù)器計(jì)算機(jī)系統(tǒng)105安裝有用于演示所述預(yù)定格式課件的應(yīng)用軟件、用于接收視頻音頻信息的視頻采集卡、視頻采集軟件、音頻采集卡和音頻采集軟件，并包含有為接收的視頻、音頻和課件記錄添加時(shí)間標(biāo)記的時(shí)間添加裝置106，將接收的多種媒體合成為一流文件的同步合成裝置107和課件數(shù)據(jù)庫108。攝像裝置101和話筒102用于采集演講者演講的現(xiàn)場視頻和音頻，并傳給服務(wù)器計(jì)算機(jī)系統(tǒng)105的視頻、音頻采集卡。
當(dāng)演講者所演示的課件為預(yù)定格式的文件時(shí)，如PPT格式時(shí)，演講者首先將PPT課件上傳到服務(wù)器系統(tǒng)的當(dāng)前工作目錄中。在演講過程中，攝像裝置101和話筒102所采集的視頻和音頻信息將發(fā)送到服務(wù)器計(jì)算機(jī)系統(tǒng)105上，服務(wù)器計(jì)算機(jī)系統(tǒng)105中的時(shí)間添加裝置將接收第一幀視頻流信號(hào)流的時(shí)間作為0時(shí)刻標(biāo)記，并為后續(xù)到達(dá)的視頻、音頻數(shù)據(jù)添加時(shí)間標(biāo)記，所添加的時(shí)間標(biāo)記為該媒體數(shù)據(jù)到達(dá)時(shí)間與第一幀視頻到達(dá)的時(shí)間差。演講者在演示課件的計(jì)算機(jī)103上播放并操作該P(yáng)PT文檔時(shí)，后臺(tái)記錄裝置104將記錄演講者操作該P(yáng)PT文檔的鍵盤或鼠標(biāo)操作以及課件的特征值或名稱，并形成操作記錄即時(shí)發(fā)送到服務(wù)器計(jì)算機(jī)系統(tǒng)105，所述操作記錄包括操作當(dāng)前頁碼、鼠標(biāo)鍵信息、鼠標(biāo)屏幕當(dāng)前位置、所觸鍵盤編碼等動(dòng)作信息，服務(wù)器計(jì)算機(jī)系統(tǒng)105將依據(jù)課件的特征值或名稱在本地當(dāng)前工作目錄中定為該課件，同時(shí)服務(wù)器計(jì)算機(jī)系統(tǒng)105中的時(shí)間添加裝置106將分別為每一次的課件操作記錄添加時(shí)間標(biāo)記。服務(wù)器計(jì)算機(jī)系統(tǒng)105提取操作記錄所記載的課件頁面和片段信息提取出來從已經(jīng)定為的本地預(yù)存的該課件中提取課件內(nèi)容用于同步合成。
特別的，后臺(tái)記錄裝置104所形成的操作記錄格式可以表示為1.當(dāng)前頁碼4字節(jié)長度，表示當(dāng)前頁面數(shù)。缺省值是0，表示不跳轉(zhuǎn)；其他值時(shí)表示應(yīng)該跳轉(zhuǎn)的頁碼數(shù)。
2.鼠標(biāo)狀態(tài)1字節(jié)長度，0表示無鼠標(biāo)件按下，1表示鼠標(biāo)左鍵，2表示鼠標(biāo)右鍵，3表示左右鍵一起按下，4表示左鍵雙擊，5表示右鍵雙擊，6表示第三鍵按下3.鍵盤ASCII碼2雙字的數(shù)據(jù)，-1表示無鍵輸入，其他有鍵盤所對(duì)應(yīng)的ASCII碼記錄。
4.鼠標(biāo)x坐標(biāo)4字節(jié)數(shù)據(jù)，表示當(dāng)前鼠標(biāo)所在的x軸位置5.鼠標(biāo)y坐標(biāo)4字節(jié)數(shù)據(jù)，表示當(dāng)前鼠標(biāo)所在的y軸位置數(shù)據(jù)合成裝置107以多種媒體上攜帶的時(shí)間標(biāo)記作為同步標(biāo)志進(jìn)行同步合成，生成一個(gè)流媒體文件存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)105的數(shù)據(jù)庫108中。
當(dāng)演講者所演示的課件為一非預(yù)定格式的文件時(shí)，如一個(gè)EXE文件，操作并演示課件的計(jì)算機(jī)103當(dāng)中的后臺(tái)記錄裝置104將以固定的一段時(shí)間設(shè)置為間隔對(duì)計(jì)算機(jī)103的顯示畫面進(jìn)行截屏作為視頻流發(fā)送給服務(wù)器系統(tǒng)105，作為更優(yōu)選的方案，可以將固定的時(shí)間間隔和演講者對(duì)該課件進(jìn)行鼠標(biāo)或鍵盤操作結(jié)合起來，作為觸發(fā)截屏操作的信號(hào)。服務(wù)器計(jì)算機(jī)系統(tǒng)105中的時(shí)間添加裝置106將為采集卡所采集的來自演講者端攝像裝置101和話筒102的演講者畫面和聲音添加時(shí)間標(biāo)記，同時(shí)也為計(jì)算機(jī)103發(fā)送的截屏數(shù)據(jù)的視頻流添加時(shí)間標(biāo)記。數(shù)據(jù)合成裝置106利用該時(shí)間戳將上述多種媒體同步合成一個(gè)流媒體文件，存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)105的數(shù)據(jù)庫108中。
演講者在演講現(xiàn)場的視頻將通過現(xiàn)有的跟蹤算法技術(shù)跟蹤演講者的動(dòng)作和頭部表情等信息。
根據(jù)本發(fā)明的一個(gè)具體實(shí)施例為一個(gè)校園授課環(huán)境，其流程圖如圖2所示，其具體步驟如下教師上課前要先將制作好的預(yù)定格式的課件上傳到服務(wù)器上。然后教師在多媒體教室授課時(shí)，要先設(shè)置好課堂環(huán)境，這一設(shè)置主要包括三部分一、錄音開始，打開麥克，采集教師的講課錄音；二、攝像頭開啟，采集教師的上課動(dòng)作表情的錄像；三、啟動(dòng)后臺(tái)記錄裝置，所述后臺(tái)記錄裝置將記錄教師對(duì)課件的操作。該裝置在教師對(duì)課件進(jìn)行操作時(shí)即教師鼠標(biāo)點(diǎn)擊課件或者點(diǎn)擊鍵盤時(shí)，根據(jù)課件類型的不同產(chǎn)生相應(yīng)的操作。課件的種類有很多，例如PowerPoint，Word，rtf，PDF，htm和EXE等多種形式，所述后臺(tái)應(yīng)用程序會(huì)根據(jù)不同的課件類型采取不同響應(yīng)方式。對(duì)于一個(gè)非預(yù)定義格式的課件，如EXE課件，后臺(tái)記錄裝置會(huì)采取抓屏處理的方式，抓取課件的變化實(shí)況形成一段視頻，將視頻流發(fā)到服務(wù)器端。而對(duì)于PowerPoint、Word，rtf，htm和PDF等預(yù)定義格式的課件，后臺(tái)記錄裝置將把對(duì)課件操作的頁碼屏幕位置以及鼠標(biāo)左鍵右鍵或鍵盤ASCII碼也即對(duì)課件的鼠標(biāo)移動(dòng)點(diǎn)擊和鍵盤敲擊記錄下來并發(fā)到服務(wù)器端。服務(wù)器計(jì)算機(jī)系統(tǒng)中的時(shí)間添加裝置將視頻接收裝置接收到第一幀視頻的時(shí)刻設(shè)置為同步合成的起點(diǎn)，即該時(shí)刻為0。對(duì)于以后陸續(xù)到達(dá)服務(wù)器的視頻幀、音頻數(shù)據(jù)以及對(duì)課件的操作均根據(jù)此時(shí)間起點(diǎn)加入時(shí)間戳。
當(dāng)課件為一個(gè)非預(yù)定義格式的文件時(shí)，所述后臺(tái)記錄裝置將發(fā)送課件截屏視頻流，為了方便客戶端即時(shí)點(diǎn)播，服務(wù)器可以將該截屏數(shù)據(jù)視頻流和視頻音頻數(shù)據(jù)經(jīng)過同步合成即時(shí)轉(zhuǎn)發(fā)到各個(gè)客戶端播放，同時(shí)將合成的流文件保存于數(shù)據(jù)庫中，以待客戶端稍后點(diǎn)播。這種傳輸模式在視頻會(huì)議應(yīng)用中有相應(yīng)的解決方案已屬于現(xiàn)有技術(shù)在此不再贅述。
根據(jù)本發(fā)明的另一個(gè)具體實(shí)施例，考慮到網(wǎng)絡(luò)帶寬和傳輸能力的限制，本發(fā)明在對(duì)預(yù)定義的課件(如ppt等)進(jìn)行同步合成時(shí)將對(duì)課件按照一定規(guī)則進(jìn)行分割，并以分割后的數(shù)據(jù)塊為單位向客戶端傳輸。分割規(guī)則主要考慮整個(gè)課件大小和相應(yīng)的網(wǎng)絡(luò)帶寬傳輸限制，保證分割后的課件作為數(shù)據(jù)包能在較短的時(shí)間內(nèi)傳輸?shù)娇蛻舳司彺嬷?，便于通過指令調(diào)用該課件。如果分割后的數(shù)據(jù)塊過小，包的傳輸雖然很快、延遲減小，但是如果調(diào)用動(dòng)作過多地在文檔中翻動(dòng)，尤其是在分布不同塊的頁面中翻動(dòng)，就會(huì)產(chǎn)生調(diào)用動(dòng)作找不到文件中相應(yīng)的頁面的情況，造成調(diào)用失敗，從而需要實(shí)時(shí)從服務(wù)器端調(diào)用相應(yīng)的演示文檔數(shù)據(jù)，造成文檔翻動(dòng)的延遲；但如果分割后的數(shù)據(jù)塊過大，課件數(shù)據(jù)的網(wǎng)絡(luò)傳輸時(shí)間會(huì)很長，造成延遲，從而影響點(diǎn)播質(zhì)量。因此本發(fā)明對(duì)數(shù)據(jù)包分割和調(diào)用動(dòng)作做了權(quán)衡考慮，在數(shù)據(jù)包分割時(shí)不單以課件中頁面的順序進(jìn)行劃分，而且是以一個(gè)時(shí)間順序上的一組動(dòng)作所對(duì)應(yīng)的頁面構(gòu)成一個(gè)分割文件，這樣可以較好的解決相應(yīng)的動(dòng)作無法指向的問題。分塊后，客戶端播放課件時(shí)不必把課件全部下載下來，每次只是下載一塊，隨著播放頁面的需要不斷的下載新的塊，最后形成完整的課件。課件分割的大小主要考慮modem條件下數(shù)據(jù)傳輸?shù)哪芰?，以便較好的滿足點(diǎn)播開始時(shí)及時(shí)的響應(yīng)速度，也便于各種網(wǎng)絡(luò)帶寬狀況的用戶使用，一般課件數(shù)據(jù)塊大小應(yīng)限制在modem傳輸時(shí)間在用戶可以忍受的響應(yīng)時(shí)間之內(nèi)(比如1-3秒以內(nèi))，通常限制分割后的課件數(shù)據(jù)塊小于上述時(shí)間內(nèi)的傳輸量(例如小于30KB)。
如果教師制作的課件是一預(yù)定義格式的文件，如PowerPoint等，則生成的課件格式如圖3所示。如果教師制作的課件是非預(yù)定義的格式，如EXE形式等，則生成的課件格式如圖4所示。上述兩種格式的不同之處在于針對(duì)預(yù)定義格式課件生成的流文件中將含有操作記錄的數(shù)據(jù)，而針對(duì)非預(yù)定義格式的課件生成的流文件中將含有課件視頻的數(shù)據(jù)。
下面分別結(jié)合圖3和圖4介紹合成的新課件的格式。
如圖3所示(1)文件的開始12個(gè)字節(jié)是“streamcourseware”表明該文件為本申請(qǐng)所定義的文件；(2)隨后的64個(gè)字節(jié)為用戶定義的該文件的ID；(3)隨后的4個(gè)字節(jié)為版本信息；(4)而后4個(gè)字節(jié)是類型，描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此處由于是一個(gè)預(yù)定義格式的課件因此為含有操作記錄的數(shù)據(jù)；(5)緊接著的兩個(gè)8字節(jié)數(shù)據(jù)是操作記錄的偏移量也即操作記錄數(shù)據(jù)距離文件起始位置的字節(jié)數(shù)，以及操作記錄數(shù)據(jù)長度的字節(jié)數(shù)；(6)緊接著的兩個(gè)8個(gè)字節(jié)數(shù)據(jù)是視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度或字節(jié)數(shù)；(7)緊接著的兩個(gè)8個(gè)字節(jié)數(shù)據(jù)是音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度或字節(jié)數(shù)；(8)緊接著的兩個(gè)8個(gè)字節(jié)數(shù)據(jù)是演示課件數(shù)據(jù)的偏移量即演示課件距離文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度或字節(jié)數(shù)；
(9)此處記載操作記錄的數(shù)據(jù)塊，每操作記錄表示為一個(gè)數(shù)據(jù)塊，所述操作記錄數(shù)據(jù)塊結(jié)構(gòu)如下一個(gè)8個(gè)字節(jié)時(shí)間數(shù)據(jù)、一個(gè)2個(gè)字節(jié)塊index數(shù)據(jù)以及一個(gè)8字節(jié)動(dòng)作數(shù)據(jù)，相應(yīng)的每個(gè)記錄分別記載時(shí)間數(shù)據(jù)、塊index數(shù)據(jù)和動(dòng)作數(shù)據(jù)；(10)演示文件數(shù)據(jù)，該演示課件數(shù)據(jù)為一系列的塊數(shù)據(jù)，每個(gè)塊數(shù)據(jù)由3部分組成2字節(jié)的塊index，含有的頁碼和演示文檔分塊后該塊的數(shù)據(jù)。
(11)音頻數(shù)據(jù)；(12)視頻數(shù)據(jù)；如圖4所示(1)文件的開始12個(gè)字節(jié)是“streamcourseware”表明該文件為本申請(qǐng)所定義的文件；(2)隨后的64個(gè)字節(jié)為用戶定義的該文件的ID；(3)隨后的4個(gè)字節(jié)為版本信息；(4)而后4個(gè)字節(jié)是類型，描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此處由于是一個(gè)非預(yù)定義格式的課件因此為含有截屏視頻的數(shù)據(jù)；(5)緊接著的兩個(gè)8字節(jié)數(shù)據(jù)是操作記錄的偏移量也即操作記錄數(shù)據(jù)距離文件起始位置的字節(jié)數(shù)，以及操作記錄的數(shù)據(jù)長度或字節(jié)數(shù)；(6)緊接著的兩個(gè)8個(gè)字節(jié)數(shù)據(jù)是視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度或字節(jié)數(shù)；(7)緊接著的兩個(gè)8個(gè)字節(jié)數(shù)據(jù)是音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度或字節(jié)數(shù)；(8)緊接著的兩個(gè)8個(gè)字節(jié)數(shù)據(jù)是演示課件數(shù)據(jù)的偏移量即演示課件距離文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度或字節(jié)數(shù)；(9)此處記載整塊的截屏視頻數(shù)據(jù)；(10)音頻數(shù)據(jù)；(11)視頻數(shù)據(jù)；圖5所示為根據(jù)本發(fā)明的一個(gè)具體實(shí)施例的客戶端界面。該客戶端主要功能是實(shí)時(shí)地顯示服務(wù)器端轉(zhuǎn)發(fā)過來的數(shù)據(jù)?？蛻舳藶橐粋€(gè)含有控件的網(wǎng)頁。該網(wǎng)頁主要包括四個(gè)部分視頻播放器、媒體控制器、課件章節(jié)結(jié)構(gòu)列表和課件播放器。所述視頻播放器和媒體控制器，用于播放和控制解碼后的視頻音頻流。當(dāng)在教室授課的同時(shí)進(jìn)行即時(shí)點(diǎn)播時(shí)，則視頻控制器是不可用的，因?yàn)閷?shí)時(shí)播放只能顯示教師當(dāng)前的授課情況。課件章節(jié)結(jié)構(gòu)列表僅針對(duì)預(yù)定義格式的課件，它是根據(jù)教師上傳的課件內(nèi)容，將其中的章節(jié)結(jié)構(gòu)解析出來，顯示成列表形式；而對(duì)于EXE形式的課件則沒有章節(jié)結(jié)構(gòu)。課件播放器根據(jù)教師上傳的課件類型不同而不同，如果教師上傳的是一個(gè)非預(yù)定義格式的課件，如EXE格式，則服務(wù)器上得到的是一段截屏數(shù)據(jù)視頻流，此時(shí)課件播放器就是一個(gè)普通的視頻媒體播放器；如果教師上傳的是其他預(yù)定義類型的課件，此時(shí)課件播放器為本發(fā)明自定義的控件，該控件的主要部分是OLE控件，它連接到服務(wù)器上的該課件從而得到課件對(duì)象，然后將課件內(nèi)容顯示在課件播放器中，對(duì)于服務(wù)器傳來相應(yīng)的操作記錄課件播放器就進(jìn)行相應(yīng)的操作。對(duì)于非即時(shí)的展示課件，可以通過點(diǎn)擊章節(jié)結(jié)構(gòu)列表中相應(yīng)的章節(jié)來實(shí)現(xiàn)章節(jié)之間的切換，也可以通過拖動(dòng)視頻來實(shí)現(xiàn)演示文檔章節(jié)的切換。視頻，演示文檔和章節(jié)結(jié)構(gòu)列表相互聯(lián)動(dòng)。
客戶端進(jìn)行點(diǎn)播時(shí)首先進(jìn)入一個(gè)主頁面，主頁面上顯示了所有可以點(diǎn)播的課件列表，用戶可以通過點(diǎn)擊課件來啟動(dòng)客戶端頁面，并把點(diǎn)擊的該課件的地址作為參數(shù)傳給客戶端頁面，客戶端頁面根據(jù)該地址與服務(wù)器數(shù)據(jù)庫中的課件建立連接。而后，客戶端向服務(wù)器發(fā)送播放請(qǐng)求，服務(wù)器接收后，將該課件分解生成三部分的臨時(shí)文件音頻文件、時(shí)視頻文件和剩余部分。本發(fā)明根據(jù)微軟的mms協(xié)議控制媒體播放器直接播放服務(wù)器上的視頻文件和音頻文件。客戶端從服務(wù)器上下載帶有時(shí)間標(biāo)記的操作記錄塊。客戶端媒體播放器開始播放服務(wù)器上的視頻文件和音頻文件，課件播放器根據(jù)操作記錄塊的描述從服務(wù)器該流文件中下載第一個(gè)課件塊數(shù)據(jù)并播放。課件章節(jié)結(jié)構(gòu)列表遍歷整個(gè)課件從而得到課件的章節(jié)結(jié)構(gòu)。并且客戶端啟動(dòng)一個(gè)時(shí)間監(jiān)控裝置，每隔一定時(shí)間(例如1秒)通過媒體播放器得到當(dāng)前的視頻時(shí)間，如果因?yàn)榫W(wǎng)絡(luò)帶寬的限制，沒有視頻傳輸過來，則根據(jù)音頻的播放時(shí)間得到當(dāng)前的播放時(shí)間，而后根據(jù)下載下來的帶有時(shí)間標(biāo)記的操作記錄，來確定對(duì)課件所施加的操作。如果是跳轉(zhuǎn)操作且跳轉(zhuǎn)到的塊沒有被下載則向服務(wù)器發(fā)送下載請(qǐng)求，從服務(wù)器上下載該數(shù)據(jù)塊。
根據(jù)本發(fā)明的另一個(gè)具體實(shí)施例，生成的流媒體文件格式具有多分辨率內(nèi)容發(fā)布功能，客戶端將對(duì)網(wǎng)絡(luò)狀態(tài)進(jìn)行監(jiān)聽，當(dāng)網(wǎng)絡(luò)狀況出現(xiàn)擁塞的時(shí)候，例如帶寬小于200bps，客戶端將向服務(wù)器發(fā)送信號(hào)，服務(wù)器系統(tǒng)會(huì)將所點(diǎn)播的流文件的聲音和演示文檔及其動(dòng)作命令優(yōu)先傳輸給客戶端播放，視頻數(shù)據(jù)包中的視頻幀在傳輸過程中會(huì)減少傳輸量，或者被拋棄以減少網(wǎng)絡(luò)帶寬。因此流文件中的多種媒體優(yōu)先傳輸?shù)拇涡驗(yàn)檠菔疚臋n和命令動(dòng)作(對(duì)于非預(yù)定格式的文檔，就是截屏圖像)，聲音文件，視頻文件。
根據(jù)以上的描述，本領(lǐng)域的普通技術(shù)人員可以容易的實(shí)施本發(fā)明所述的系統(tǒng)和方法當(dāng)然上述的發(fā)明可以在其他的特殊形式中得到實(shí)施，且并不背離所揭示的精髓或根本特征。因此可以理解，本發(fā)明不應(yīng)被前面說明性的細(xì)節(jié)所限定，而是由附加的權(quán)利要求所定義。
在權(quán)利要求書中的任何參考符號(hào)并不限制權(quán)利要求書?！鞍ā币淮尾慌懦龣?quán)利要求書中所列之外的其他組件的出現(xiàn)，在組件或單元之前的“一個(gè)”不排除多個(gè)這種組件或單元的存在。
權(quán)利要求
1.一種網(wǎng)絡(luò)上的多種媒體的同步合成存儲(chǔ)發(fā)布系統(tǒng)，該系統(tǒng)包括演講者演示端、服務(wù)器計(jì)算機(jī)系統(tǒng)以及至少一個(gè)客戶端計(jì)算機(jī)，其中所述演講者演示端，至少包括一視頻采集裝置、一音頻采集裝置和一可操作并演示各種課件的計(jì)算機(jī)，所述視頻采集裝置與音頻采集裝置直接與服務(wù)器計(jì)算機(jī)系統(tǒng)連接，視頻采集裝置用于采集演講者演講的演講現(xiàn)場的視頻信息并發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)，音頻采集裝置用于采集演講者演講的現(xiàn)場音頻畫面并發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)，演示課件計(jì)算機(jī)通過網(wǎng)絡(luò)與服務(wù)器計(jì)算機(jī)系統(tǒng)相連，所述演示課件計(jì)算機(jī)用于演示各種課件，對(duì)演講者對(duì)課件進(jìn)行的實(shí)時(shí)操作進(jìn)行錄制并與服務(wù)器計(jì)算機(jī)系統(tǒng)進(jìn)行通訊；所述服務(wù)器計(jì)算機(jī)系統(tǒng)包括視頻接收裝置、音頻接收裝置、數(shù)據(jù)合成裝置和一個(gè)數(shù)據(jù)庫，所述視頻接收裝置和音頻接收裝置用于分別接收演講者演示端的視頻采集裝置和音頻采集裝置采集的視頻、音頻數(shù)據(jù)，數(shù)據(jù)合成裝置用于對(duì)視頻、音頻數(shù)據(jù)和接收的演講者對(duì)課件進(jìn)行的實(shí)時(shí)操作數(shù)據(jù)進(jìn)行同步合成并生成流文件保存于所述數(shù)據(jù)庫中，以待網(wǎng)絡(luò)上一個(gè)或多個(gè)客戶端請(qǐng)求流式傳輸?shù)娇蛻舳?，由客戶端?duì)該文件進(jìn)行解碼并播放；其特征在于，所述演示課件計(jì)算機(jī)內(nèi)還包含一個(gè)后臺(tái)記錄裝置，該裝置工作于演講者演講的全過程；當(dāng)演示課件為一預(yù)定格式(例如PowerPoint，Word，HTML等)的課件時(shí)，該課件被提前存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)中，所述后臺(tái)記錄裝置用于在演講者啟動(dòng)課件時(shí)將向服務(wù)器計(jì)算機(jī)發(fā)送標(biāo)記該課件特征的記錄，服務(wù)器計(jì)算機(jī)系統(tǒng)將依據(jù)記錄的特征定位本地預(yù)存的相應(yīng)課件并啟動(dòng)，同時(shí)該后臺(tái)記錄裝置用于當(dāng)演講者演講過程中對(duì)課件進(jìn)行操作時(shí)，記錄每一次操作的當(dāng)前頁碼、屏幕當(dāng)前位置、操作類別，并為每次操作形成一個(gè)操作記錄，即時(shí)發(fā)送至所述服務(wù)器計(jì)算機(jī)系統(tǒng)；當(dāng)演示課件為一非預(yù)定義格式的課件時(shí)，所述后臺(tái)記錄裝置用于抓取課件演示過程的屏幕數(shù)據(jù)，作為一段視頻流發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)的視頻接收裝置；其特征還在于，所述服務(wù)器計(jì)算機(jī)系統(tǒng)中包括一個(gè)時(shí)間添加裝置，該裝置為視頻接收裝置接收的視頻和音頻接收裝置接收的音頻分別添加時(shí)間標(biāo)記，當(dāng)演示課件為一預(yù)定格式的課件時(shí)所述時(shí)間添加裝置為服務(wù)器計(jì)算機(jī)系統(tǒng)接收的每一個(gè)課件操作記錄添加時(shí)間，所述數(shù)據(jù)合成裝置將根據(jù)接收的課件操作記錄中描述的課件頁面和課件片段信息提取本地預(yù)存的該課件的相關(guān)頁面和位置數(shù)據(jù)，并以視頻、音頻和課件操作記錄記載的時(shí)間為同步合成標(biāo)志對(duì)上述多種媒體進(jìn)行同步合成；當(dāng)演示課件為一非預(yù)定格式的課件時(shí)所述時(shí)間添加裝置為視頻接收裝置接收的截屏數(shù)據(jù)添加時(shí)間標(biāo)記，所述數(shù)據(jù)合成裝置將以視頻、音頻和截屏數(shù)據(jù)記載的時(shí)間為同步合成標(biāo)志對(duì)上述媒體進(jìn)行同步合成；所述數(shù)據(jù)合成裝置為每一次演講生成一個(gè)單獨(dú)的流文件保存于所述數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，當(dāng)演示的課件為一非預(yù)定格式文件時(shí)，所述后臺(tái)記錄裝置將依據(jù)定長的時(shí)間間隔和課件操作動(dòng)作相結(jié)合作為截屏操作的觸發(fā)信號(hào)，截取所演示的當(dāng)前課件畫面。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，當(dāng)所演示的課件為一預(yù)定格式的課件時(shí)，該課件被提前存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)的當(dāng)前工作目錄中，在啟動(dòng)課件時(shí)所述后臺(tái)記錄裝置將以該課件的文件名為課件特征向服務(wù)器計(jì)算機(jī)系統(tǒng)發(fā)送操作記錄，服務(wù)器計(jì)算機(jī)系統(tǒng)將依據(jù)該課件名稱在當(dāng)前工作目錄中定位本地存儲(chǔ)的該課件。
4.根據(jù)權(quán)利要求1或3所述的系統(tǒng)，其特征在于，當(dāng)演示課件為一預(yù)定格式的課件時(shí)，所述后臺(tái)記錄裝置將為在演講過程中對(duì)課件進(jìn)行的操作形成操作記錄，所述操作記錄包含如下成分當(dāng)前頁碼、鼠標(biāo)狀態(tài)、鍵盤編碼、鼠標(biāo)屏幕位置。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述時(shí)間添加裝置以視頻接收裝置接收到視頻采集裝置發(fā)送的第一幀視頻數(shù)據(jù)的時(shí)刻為同步合成的起點(diǎn)，即0時(shí)刻，隨后接收的視頻幀、音頻數(shù)據(jù)以及課件操作記錄將記錄與同步起點(diǎn)的時(shí)間差。
6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，當(dāng)所述演示課件為一預(yù)定格式的課件時(shí)，服務(wù)器計(jì)算機(jī)系統(tǒng)的媒體合成裝置把本地提取的課件數(shù)據(jù)分割成若干單元，以此為單位向客戶端傳輸，分割時(shí)以時(shí)間順序上的一組操作記錄動(dòng)作所對(duì)應(yīng)的頁面或課件片段組合在一起構(gòu)成一個(gè)單元，并為該單元添加一個(gè)索引標(biāo)記同時(shí)將該索引標(biāo)記添加于形成該課件單元的每個(gè)操作記錄上。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述媒體合成裝置在分割課件數(shù)據(jù)時(shí)，限制每個(gè)課件數(shù)據(jù)單元的大小在用戶可以忍受的modem傳輸時(shí)間之內(nèi)。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，課件數(shù)據(jù)單元的大小限制在modem傳輸時(shí)間在3秒以內(nèi)的數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，課件數(shù)據(jù)單元小于30KB。
10.根據(jù)權(quán)利要求6-9中任意一項(xiàng)所述的系統(tǒng)，其特征在于，所述媒體合成裝置在生成的流文件時(shí)使所有課件操作記錄組成一個(gè)數(shù)據(jù)塊，在客戶端點(diǎn)播時(shí)，首先將該數(shù)據(jù)塊全部傳送至客戶端計(jì)算機(jī)存儲(chǔ)器中，依次根據(jù)每個(gè)操作記錄所記載的課件數(shù)據(jù)單元索引標(biāo)記請(qǐng)求服務(wù)器發(fā)送相應(yīng)的課件數(shù)據(jù)單元。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于，當(dāng)演示課件為一預(yù)定格式的文檔時(shí)，在所述服務(wù)器計(jì)算機(jī)系統(tǒng)中生成并保存的流文件格式中包含如下信息(1)包含若干字節(jié)用于描述文件ID；(2)包含若干字節(jié)用于描述版本信息；(3)包含若干字節(jié)用于描述文件類型主要描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此時(shí)為含有操作記錄的數(shù)據(jù)；(4)包含若干字節(jié)用于描述操作記錄的偏移量也即操作記錄數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及操作記錄數(shù)據(jù)長度的字節(jié)數(shù)；(5)包含若干字節(jié)用于描述視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度的字節(jié)數(shù)；(6)包含若干字節(jié)用于描述音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度的字節(jié)數(shù)；(7)包含若干字節(jié)用于描述演示課件數(shù)據(jù)的偏移量即演示課件距離流文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度的字節(jié)數(shù)；(8)根據(jù)文件頭中的文件類型，含有操作記錄數(shù)據(jù)的文件則應(yīng)記載每一次的操作記錄，所述操作記錄的結(jié)構(gòu)如下所述包含若干字節(jié)的時(shí)間數(shù)據(jù)、若干字節(jié)的單元索引標(biāo)記數(shù)據(jù)以及若干字節(jié)的操作動(dòng)作數(shù)據(jù)，相應(yīng)的每個(gè)記錄分別記載時(shí)間數(shù)據(jù)、單元索引標(biāo)記數(shù)據(jù)和操作動(dòng)作數(shù)據(jù)；(9)演示課件數(shù)據(jù)，該演示課件數(shù)據(jù)為一組課件數(shù)據(jù)單元，每個(gè)數(shù)據(jù)單元包含若干字節(jié)的單元索引標(biāo)記，含有的頁碼和該單元的課件內(nèi)容數(shù)據(jù)；(10)音頻數(shù)據(jù)；(11)視頻數(shù)據(jù)；其特征還在于，當(dāng)演示課件為一非預(yù)定格式的文檔時(shí)，在所述服務(wù)器計(jì)算機(jī)系統(tǒng)中生成并保存的流文件格式中包含如下信息(1)包含若干字節(jié)用于描述文件ID；(2)包含若干字節(jié)用于描述版本信息；(3)包含若干字節(jié)用于描述文件類型主要描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此時(shí)為含有截屏視頻的數(shù)據(jù)；(4)包含若干字節(jié)用于描述操作記錄的偏移量也即操作記錄數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及操作記錄數(shù)據(jù)長度的字節(jié)數(shù)；(5)包含若干字節(jié)用于描述視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度的字節(jié)數(shù)；(6)包含若干字節(jié)用于描述音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度的字節(jié)數(shù)；(7)包含若干字節(jié)用于描述演示課件數(shù)據(jù)的偏移量即演示課件距離流文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度的字節(jié)數(shù)；(8)根據(jù)文件頭中的文件類型，含有截屏視頻的數(shù)據(jù)則應(yīng)記載截屏視頻數(shù)據(jù)；(9)音頻數(shù)據(jù)；(10)視頻數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，所述客戶端播放使用一個(gè)IE控件播放，并可以在播放時(shí)自動(dòng)下載。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其特征在于，所述客戶端對(duì)網(wǎng)絡(luò)狀況進(jìn)行網(wǎng)絡(luò)監(jiān)聽，當(dāng)監(jiān)聽到網(wǎng)絡(luò)帶寬小于200bps時(shí)，向服務(wù)器計(jì)算機(jī)系統(tǒng)發(fā)送消息，服務(wù)器計(jì)算機(jī)系統(tǒng)將拋棄視頻信息，取消視頻連接。
14.一種網(wǎng)絡(luò)上的多種媒體的同步合成存儲(chǔ)發(fā)布播放方法，其特征在于，所述方法包含如下步驟連接復(fù)數(shù)個(gè)媒體采集裝置到一個(gè)服務(wù)器計(jì)算機(jī)系統(tǒng)，其中所述媒體采集裝置至少包含一個(gè)視頻采集裝置、一個(gè)音頻采集裝置和一個(gè)可操作并演示各種課件的計(jì)算機(jī)；各媒體采集裝置將采集的各種實(shí)時(shí)媒體信息發(fā)送至該服務(wù)器計(jì)算機(jī)系統(tǒng)，該服務(wù)器計(jì)算機(jī)系統(tǒng)自動(dòng)運(yùn)用媒體合成方法將接收到的各種媒體信息合成單個(gè)流文件形式并進(jìn)行存儲(chǔ)，以待網(wǎng)絡(luò)上一個(gè)或數(shù)個(gè)客戶端播放請(qǐng)求流式傳輸?shù)娇蛻舳擞煽蛻舳藢?duì)該流文件進(jìn)行解析并播放；其中所述各種媒體信息至少包括一個(gè)視頻信息和一個(gè)音頻信息以及一個(gè)演示課件信息，所述演示課件信息用于記錄演講者在上述可操作并演示課件的計(jì)算機(jī)上演示課件的操作記錄或演示的畫面；當(dāng)所演示的課件為一預(yù)定格式(例如PowerPoint，Word，HTML等)的課件時(shí)，該課件被提前存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)中，所述演示課件計(jì)算機(jī)在演講者啟動(dòng)課件時(shí)將向服務(wù)器計(jì)算機(jī)發(fā)送標(biāo)記該課件特征的記錄，服務(wù)器計(jì)算機(jī)系統(tǒng)將依據(jù)記錄的特征定位本地預(yù)存的相應(yīng)課件并啟動(dòng)，同時(shí)當(dāng)演講者演講過程中對(duì)課件進(jìn)行操作時(shí)，該演示課件計(jì)算機(jī)將記錄每一次操作的當(dāng)前頁碼、屏幕當(dāng)前位置、操作類別，并為每次操作形成一個(gè)操作記錄，即時(shí)發(fā)送至所述服務(wù)器計(jì)算機(jī)系統(tǒng)；當(dāng)演示的課件為一非預(yù)定義格式的課件時(shí)，所述演示課件計(jì)算機(jī)將抓取課件演示過程的屏幕數(shù)據(jù)，作為一段視頻流發(fā)送至服務(wù)器計(jì)算機(jī)系統(tǒng)；所述服務(wù)器計(jì)算機(jī)系統(tǒng)為接收的視頻和音頻流分別添加時(shí)間標(biāo)記，當(dāng)演示課件為一預(yù)定格式的課件時(shí)服務(wù)器計(jì)算機(jī)系統(tǒng)為接收的每一個(gè)課件操作記錄添加時(shí)間，所述服務(wù)器計(jì)算機(jī)系統(tǒng)將根據(jù)接收的課件操作記錄中描述的課件頁面和課件片段信息提取本地預(yù)存的該課件的相關(guān)頁面和位置的數(shù)據(jù)，并以視頻、音頻和課件操作記錄記載的時(shí)間為同步合成標(biāo)志對(duì)上述多種媒體進(jìn)行同步合成；當(dāng)演示課件為一非預(yù)定格式的課件時(shí)所述服務(wù)器計(jì)算機(jī)系統(tǒng)為視頻接收裝置接收的截屏數(shù)據(jù)添加時(shí)間標(biāo)記，所述數(shù)據(jù)合成裝置將以視頻、音頻和截屏數(shù)據(jù)記載的時(shí)間為同步合成標(biāo)志對(duì)上述媒體進(jìn)行同步合成；所述服務(wù)器計(jì)算機(jī)系統(tǒng)為每一次演講生成一個(gè)單獨(dú)的流文件保存于所述數(shù)據(jù)庫中。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，當(dāng)所演示的課件為一非預(yù)定格式文件時(shí)，將依據(jù)定長的時(shí)間間隔和課件操作動(dòng)作相結(jié)合作為截屏操作的觸發(fā)信號(hào)，截取課件所演示的當(dāng)前課件畫面。
16.根據(jù)權(quán)利要求14所述的方法，其特征在于，當(dāng)所述演示課件為一預(yù)定格式的課件時(shí)，該課件被提前存儲(chǔ)于服務(wù)器計(jì)算機(jī)系統(tǒng)的當(dāng)前工作目錄中，在啟動(dòng)課件時(shí)所述后臺(tái)記錄裝置將以該課件的文件名為課件特征向服務(wù)器計(jì)算機(jī)系統(tǒng)發(fā)送操作記錄，服務(wù)器計(jì)算機(jī)系統(tǒng)將依據(jù)該課件名稱在當(dāng)前工作目錄中定位本地存儲(chǔ)的該課件。
17.根據(jù)權(quán)利要求14或16所述的方法，其特征在于，當(dāng)演示課件為一預(yù)定格式的課件時(shí)，所述演示課件計(jì)算機(jī)在演講過程中對(duì)課件進(jìn)行的操作形成操作記錄，所述操作記錄包含如下成分當(dāng)前頁碼、鼠標(biāo)狀態(tài)、鍵盤編碼、鼠標(biāo)屏幕位置。
18.根據(jù)權(quán)利要求17所述的方法，其特征在于，服務(wù)器計(jì)算機(jī)系統(tǒng)以視頻接收裝置接收到視頻采集裝置發(fā)送的第一幀視頻數(shù)據(jù)的時(shí)刻為同步合成的起點(diǎn)，即0時(shí)刻，隨后接收的視頻幀、音頻數(shù)據(jù)以及課件操作記錄將記錄與同步起點(diǎn)的時(shí)間差。
19.根據(jù)權(quán)利要求17所述的方法，其特征在于，當(dāng)所述演示課件為一預(yù)定格式的課件時(shí)，服務(wù)器計(jì)算機(jī)系統(tǒng)在生成流文件時(shí)將把本地提取的課件數(shù)據(jù)分割成若干單元，以此為單位向客戶端傳輸，分割時(shí)將以時(shí)間順序上的一組操作記錄動(dòng)作所對(duì)應(yīng)的頁面或課件片段組合在一起構(gòu)成一個(gè)單元，為該單元添加一個(gè)索引標(biāo)記并將該索引標(biāo)記添加于形成該課件單元的每個(gè)操作記錄上。
20.根據(jù)權(quán)利要求19所述的方法，其特征在于，課件數(shù)據(jù)單元的大小應(yīng)限制在modem傳輸時(shí)間在用戶可以忍受的響應(yīng)時(shí)間之內(nèi)。
21.根據(jù)權(quán)利要求20所述的方法，其特征在于，課件數(shù)據(jù)單元的大小限制在modem傳輸時(shí)間在3秒以內(nèi)的數(shù)據(jù)大小。
22.根據(jù)權(quán)利要求20所述的方法，其特征在于，課件數(shù)據(jù)單元的大小小于30KB。
23.根據(jù)權(quán)利要求19-22中任意一項(xiàng)所述的方法，其特征在于，生成的流文件中所有課件操作記錄將組成一個(gè)數(shù)據(jù)塊，在客戶端點(diǎn)播時(shí)，首先將該數(shù)據(jù)塊全部傳送至客戶端計(jì)算機(jī)存儲(chǔ)器中，依次根據(jù)每個(gè)操作記錄所記載的課件數(shù)據(jù)單元索引標(biāo)記請(qǐng)求服務(wù)器發(fā)送相應(yīng)的課件數(shù)據(jù)單元。
24.根據(jù)權(quán)利要求23所述的方法，其特征在于，當(dāng)演示課件為一預(yù)定格式的文檔時(shí)，在所述服務(wù)器計(jì)算機(jī)系統(tǒng)中生成并保存的流文件格式中包含如下信息(1)包含若干字節(jié)用于描述文件ID；(2)包含若干字節(jié)用于描述版本信息；(3)包含若干字節(jié)用于描述文件類型主要描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此時(shí)為含有操作記錄的數(shù)據(jù)；(4)包含若干字節(jié)用于描述操作記錄的偏移量也即操作記錄數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及操作記錄數(shù)據(jù)長度的字節(jié)數(shù)；(5)包含若干字節(jié)用于描述視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度的字節(jié)數(shù)；(6)包含若干字節(jié)用于描述音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度的字節(jié)數(shù)；(7)包含若干字節(jié)用于描述演示課件數(shù)據(jù)的偏移量即演示課件距離流文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度的字節(jié)數(shù)；(8)根據(jù)文件頭中的文件類型，含有操作記錄數(shù)據(jù)的文件則應(yīng)記載每一次的操作記錄，所述操作記錄的結(jié)構(gòu)如下所述包含若干字節(jié)的時(shí)間數(shù)據(jù)、若干字節(jié)的單元索引標(biāo)記數(shù)據(jù)以及若干字節(jié)的操作動(dòng)作數(shù)據(jù)，相應(yīng)的每個(gè)記錄分別記載時(shí)間數(shù)據(jù)、單元索引標(biāo)記數(shù)據(jù)和操作動(dòng)作數(shù)據(jù)；(9)演示課件數(shù)據(jù)，該演示課件數(shù)據(jù)為一組課件數(shù)據(jù)單元，每個(gè)數(shù)據(jù)單元包含若干字節(jié)的單元索引標(biāo)記，含有的頁碼和該單元的課件內(nèi)容數(shù)據(jù)；(10)音頻數(shù)據(jù)；(11)視頻數(shù)據(jù)；其特征還在于，當(dāng)演示課件為一非預(yù)定格式的文檔時(shí)，在所述服務(wù)器計(jì)算機(jī)系統(tǒng)中生成并保存的流文件格式中包含如下信息(1)包含若干字節(jié)用于描述文件ID；(2)包含若干字節(jié)用于描述版本信息；(3)包含若干字節(jié)用于描述文件類型主要描述該文件是含有操作記錄的數(shù)據(jù)還是含有截屏視頻的數(shù)據(jù)，此時(shí)為含有截屏視頻的數(shù)據(jù)；(4)包含若干字節(jié)用于描述操作記錄的偏移量也即操作記錄數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及操作記錄數(shù)據(jù)長度的字節(jié)數(shù)；(5)包含若干字節(jié)用于描述視頻數(shù)據(jù)的偏移量即視頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及視頻數(shù)據(jù)長度的字節(jié)數(shù)；(6)包含若干字節(jié)用于描述音頻數(shù)據(jù)的偏移量即音頻數(shù)據(jù)距離流文件起始位置的字節(jié)數(shù)，以及音頻數(shù)據(jù)長度的字節(jié)數(shù)；(7)包含若干字節(jié)用于描述演示課件數(shù)據(jù)的偏移量即演示課件距離流文件起始位置的字節(jié)數(shù)，以及演示課件數(shù)據(jù)長度的字節(jié)數(shù)；(8)根據(jù)文件頭中的文件類型，含有截屏視頻的數(shù)據(jù)則應(yīng)記載截屏視頻數(shù)據(jù)；(9)音頻數(shù)據(jù)；(10)視頻數(shù)據(jù)。
25.根據(jù)權(quán)利要求24所述的方法，其特征在于，所述客戶端播放方法為使用一個(gè)IE控件播放，可以在播放時(shí)自動(dòng)下載。
26.根據(jù)權(quán)利要求25所述的方法，其特征在于，所述客戶端對(duì)網(wǎng)絡(luò)狀況進(jìn)行網(wǎng)絡(luò)監(jiān)聽，當(dāng)監(jiān)聽到網(wǎng)絡(luò)帶寬小于200bps時(shí)，向服務(wù)器計(jì)算機(jī)系統(tǒng)發(fā)送消息，服務(wù)器計(jì)算機(jī)系統(tǒng)將拋棄視頻信息，取消視頻連接。
全文摘要
一種網(wǎng)絡(luò)上的多種媒體的同步合成存儲(chǔ)傳輸系統(tǒng)，該系統(tǒng)可將演講者演講現(xiàn)場的視頻、音頻數(shù)據(jù)以及演講者在演示計(jì)算機(jī)上操作課件的信息發(fā)送到服務(wù)器，由服務(wù)器進(jìn)行同步合成并生成一單個(gè)的流文件，應(yīng)網(wǎng)絡(luò)上一個(gè)或多個(gè)客戶端的請(qǐng)求流式傳輸?shù)娇蛻舳诉M(jìn)行播放。當(dāng)演示課件為預(yù)定格式時(shí)，課件被提前存儲(chǔ)于服務(wù)器端，演示計(jì)算機(jī)僅向服務(wù)器發(fā)送鼠標(biāo)鍵盤的操作記錄，由服務(wù)器添加該記錄的時(shí)間并提取頁面信息，利用本地預(yù)存的該課件與視頻、音頻進(jìn)行合成。當(dāng)演示課件為非預(yù)定格式時(shí)，演示計(jì)算機(jī)向服務(wù)器發(fā)送課件的實(shí)時(shí)截屏視頻流，服務(wù)器對(duì)該截屏視頻與現(xiàn)場視頻、音頻數(shù)據(jù)進(jìn)行合成。借此，避免了在演示端和服務(wù)器之間傳輸大量的課件截屏數(shù)據(jù)，減少了文件的傳輸量；同時(shí)克服截屏數(shù)據(jù)清晰度差的特點(diǎn)，保證客戶端演示課件的清晰度。
文檔編號(hào)G06F17/00GK1696923SQ20041000907
公開日2005年11月16日 申請(qǐng)日期2004年5月10日 優(yōu)先權(quán)日2004年5月10日
發(fā)明者汪國平, 李起成, 楊猛 申請(qǐng)人:北京大學(xué)