專利名稱：一種即時通訊中信息回放的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電通信技術(shù)，尤其涉及一種即時通訊中信息回放的方法和系統(tǒng)。
背景技術(shù)：
網(wǎng)絡(luò)即時通訊服務(wù)IM，即Instant Messenger，是一種基于互聯(lián)網(wǎng)的通訊服務(wù)，一般是以實現(xiàn)網(wǎng)絡(luò)上即時通訊功能為主，即時通訊服務(wù)IM在互聯(lián)網(wǎng)上得到了廣泛的應(yīng)用和認(rèn)可?；ヂ?lián)網(wǎng)即時通信服務(wù)IM逐漸在向與網(wǎng)絡(luò)虛擬社區(qū)結(jié)合的方向上延伸，體現(xiàn)了網(wǎng)絡(luò)即時通信服務(wù)IM的發(fā)展方向，即時通信服務(wù)IM通過即時通信工具得以實現(xiàn)，以其速度快、功能豐富、使用穩(wěn)定、小巧精干而獲得廣大網(wǎng)民的認(rèn)可和喜愛。在現(xiàn)有的即時通信服務(wù)中，用戶可以通過這種即時通信工具進(jìn)行文字信息的交互、傳送文件、發(fā)送手機(jī)短信等多種操作，但對于音/視頻信息的交互、共享缺乏更完整、有效的手段，尤其是對于多種媒體共存的應(yīng)用場合中，如會議記錄、討論等需要保存交流檔案的情況則無能為力。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種即時通訊中信息回放的方法和系統(tǒng)，以解決現(xiàn)有技術(shù)中對于多種媒體共存的應(yīng)用場合中缺乏有效技術(shù)手段保存交流檔案的缺陷。
本發(fā)明所采用的即時通訊中信息回放的方法為位于發(fā)送端的即時通訊工具通過即時通訊服務(wù)器與接收端的即時通訊工具建立信息連接，并將采集到的媒體信息發(fā)送至接收端的即時通訊工具，接收端對接收到的媒體信息進(jìn)行保存，所保存的信息用于接收端對其進(jìn)行回放；所述的發(fā)送端通過即時通訊服務(wù)器設(shè)定接收端對于所接收媒體信息的記錄權(quán)限；所述的接收端的即時通訊工具將接收到的媒體信息寫入媒體文件進(jìn)行保存；所述的接收端的即時通訊工具首先對接收到的媒體信息數(shù)據(jù)流進(jìn)行緩沖，經(jīng)唇音同步及交錯處理，通過媒體流封包后，將其寫入媒體文件；所述的位于發(fā)送端的即時通訊工具通過實時傳輸協(xié)議RTP和實時傳輸控制協(xié)議RTCP與接收端的即時通訊工具完成網(wǎng)絡(luò)傳輸；所述的位于發(fā)送端的即時通訊工具將采集到的多媒體信息中的音/視頻信號分離為獨立的音頻和視頻數(shù)據(jù)，并分別進(jìn)行編碼壓縮；所述的位于發(fā)送端的即時通訊工具將采集到的媒體信息進(jìn)行編碼壓縮成數(shù)據(jù)塊后，將其發(fā)送至接收端，接收端的即時通訊工具對接收到的數(shù)據(jù)塊進(jìn)行相應(yīng)的解碼，并進(jìn)行即時播放/顯示。
這種實現(xiàn)上述方法的即時通訊中信息回放的系統(tǒng)，包括即時通訊工具、即時通訊服務(wù)器，以及網(wǎng)絡(luò)傳輸系統(tǒng)，其特征在于所述的即時通訊工具中包括數(shù)據(jù)采集模塊、編碼壓縮模塊、數(shù)據(jù)保存模塊和回放模塊，其中所述的數(shù)據(jù)采集模塊采集媒體信息；所述的編碼壓縮模塊對所述的媒體信息進(jìn)行編碼、壓縮處理；所述的數(shù)據(jù)保存模塊保存接收到的媒體信息，并向回放模塊提供用于回放的媒體文件；所述的回放模塊對媒體文件進(jìn)行相應(yīng)的解碼，用于相應(yīng)的播放/顯示；所述的即時通訊工具中還包括即時解碼模塊，該即時解碼模塊通過其中的文本解碼器、音頻解碼器和視頻解碼器對接收到的文字、音頻和視頻信息分別進(jìn)行即時解碼，并進(jìn)行即時播放/顯示；所述的編碼壓縮模塊中包括文本編碼器、音頻編碼器和視頻編碼器，所述的文本編碼器、音頻編碼器和視頻編碼器分別對文字、音頻和視頻信息進(jìn)行編碼、壓縮處理，并將信息傳輸至網(wǎng)絡(luò)傳輸系統(tǒng)；所述的回放模塊中包括交叉存取數(shù)據(jù)流分離器和回放解碼模塊，所述的交叉存取數(shù)據(jù)流分離器用于將媒體文件中的文字/音頻/視頻數(shù)據(jù)分離為獨立的文字/音頻/視頻流數(shù)據(jù)，回放解碼模塊用于數(shù)據(jù)的解碼及播放/顯示；所述的回放解碼模塊中包括回放文本解碼器、回放音頻解碼器和回放視頻解碼器，分別用于文字、音頻和視頻流數(shù)據(jù)的解碼；所述的數(shù)據(jù)采集模塊中還具有分離器，該分離器將多媒體文件中的音/視頻信息分離為獨立的音頻和視頻信息數(shù)據(jù)。
本發(fā)明的有益效果為在本發(fā)明中，位于發(fā)送端的即時通訊工具通過即時通訊服務(wù)器與接收端的即時通訊工具建立信息連接，并將采集到的媒體信息發(fā)送至接收端的即時通訊工具，接收端對接收到的媒體信息進(jìn)行保存，所保存的信息用于接收端對其進(jìn)行回放，這樣，對于多種媒體共存的應(yīng)用場合中，比如會議記錄、討論等，接收端的即時通訊工具可以保存交流檔案，即媒體信息，并進(jìn)行回放。即時通訊工具對接收到的媒體信息數(shù)據(jù)流進(jìn)行緩沖，經(jīng)唇音同步及交錯處理，可防止對保存的媒體文件回放的時候出現(xiàn)唇音不同步的情況，提高本發(fā)明的實用性。本發(fā)明通過實時傳輸協(xié)議和實時傳輸控制協(xié)議完成網(wǎng)絡(luò)傳輸和控制，保證了媒體信息實時傳輸?shù)母咝А⑦B續(xù)和可靠性，總之，本發(fā)明提供了一種即時通訊中信息回放的方法和系統(tǒng)，使即時通訊服務(wù)適用于多種媒體共存的應(yīng)用場合中需要保存交流檔案的情況，擴(kuò)展了即時通訊服務(wù)的應(yīng)用范圍。


圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖；圖2為本發(fā)明中媒體信息保存、回放的構(gòu)成示意圖；圖3為本發(fā)明中媒體信息即時播放/顯示的構(gòu)成示意圖；圖4為本發(fā)明中即時通訊工具中信息接收部分的構(gòu)成示意圖。
具體實施例方式
下面根據(jù)附圖和實施例對本發(fā)明作進(jìn)一步詳細(xì)說明根據(jù)圖1、圖2、圖3和圖4，本發(fā)明包括即時通訊工具1、即時通訊服務(wù)器2，以及網(wǎng)絡(luò)傳輸系統(tǒng)3，即時通訊工具1中包括數(shù)據(jù)采集模塊11、編碼壓縮模塊12、即時解碼模塊13、數(shù)據(jù)保存模塊14和回放模塊15。
其中數(shù)據(jù)采集模塊11采集媒體信息，如圖3所示，媒體信息包括音/視頻信息和發(fā)送端A與接收端B之間相應(yīng)的即時通訊文字交流信息，音/視頻信息的來源可以為麥克風(fēng)、攝像頭、攝像機(jī)或多媒體文件，如WAV，MP3，AVI，VCD/DVD、MPEG視頻文件等，在本發(fā)明中，發(fā)送端A的即時通訊工具1將采集到的多媒體信息中的音/視頻信號分離為獨立的音頻和視頻數(shù)據(jù)，并分別進(jìn)行編碼壓縮，如圖3所示，數(shù)據(jù)采集模塊11中具有分離器111，該分離器111將多媒體文件中的音/視頻信息分離為獨立的音頻和視頻信息數(shù)據(jù)。
如圖1、圖2和圖3所示，編碼壓縮模塊12中包括文本編碼器121、音頻編碼器122和視頻編碼器123，編碼壓縮模塊12對媒體信息進(jìn)行編碼、壓縮處理，其中，文本編碼器121、音頻編碼器122和視頻編碼器123分別對文字、音頻和視頻信息進(jìn)行編碼、壓縮處理，并將信息傳輸至網(wǎng)絡(luò)傳輸系統(tǒng)3。
如圖2、圖3和圖4所示，即時通訊工具1中包括即時解碼模塊13，該即時解碼模塊13通過其中的文本解碼器131、音頻解碼器132和視頻解碼器133對接收到的音頻和視頻信息分別進(jìn)行即時解碼，并進(jìn)行即時播放/顯示。
如圖1、圖2和圖4所示，數(shù)據(jù)保存模塊14以媒體文件的形式保存接收到的媒體信息，并向回放模塊15提供用于回放的媒體文件，回放模塊15對媒體文件進(jìn)行相應(yīng)的解碼，用于相應(yīng)的播放/顯示，其中，回放模塊15中包括交叉存取數(shù)據(jù)流分離器151和回放解碼模塊152，交叉存取數(shù)據(jù)流分離器151用于將媒體文件中的文字/音頻/視頻數(shù)據(jù)分離為獨立的文字/音頻/視頻流數(shù)據(jù)，回放解碼模塊152用于數(shù)據(jù)的解碼及播放/顯示，具體而言，回放解碼模塊152中所包括的回放文本解碼器1521、回放音頻解碼器1522和回放視頻解碼器1523，分別用于文字、音頻和視頻流數(shù)據(jù)的解碼。
如圖1和圖2所示，發(fā)送端A的即時通訊工具1通過即時通訊服務(wù)器2與接收端B的即時通訊工具1建立信息連接，例如，建立信息連接的過程可如下首先，發(fā)送端A/接收端B向即時通訊服務(wù)器2申請和接收端B/發(fā)送端A建立連接，則即時通訊服務(wù)器2在發(fā)送端A和接收端B之間建立連接，可能是直接連接，也可能通過其他服務(wù)器中轉(zhuǎn)，視發(fā)送端A和接收端B之間的網(wǎng)絡(luò)傳輸系統(tǒng)3的狀況而定。如果建立連接成功，發(fā)送端A播放(采集)音/視頻，同時將音/視頻信息通過編碼壓縮模塊12進(jìn)行編碼壓縮，然后通過網(wǎng)絡(luò)傳輸系統(tǒng)3發(fā)送到接收端B，接收端B對收到的數(shù)據(jù)進(jìn)行解碼，然后播放音頻和顯示視頻，這樣就完成了發(fā)送端A和接收端B之間的連接。
在發(fā)送端A和接收端B的即時通訊過程中，發(fā)送端A可通過即時通訊服務(wù)器2設(shè)定接收端B對于所接收媒體信息的記錄權(quán)限，權(quán)限可為可記錄或不可記錄。
然后，接收端B向即時通訊服務(wù)器2申請記錄該會話過程中發(fā)送端A的信息，即時通訊服務(wù)器2檢驗接收端B的可記錄權(quán)限，如果權(quán)限為可記錄，則接收端B的申請成功；如果權(quán)限為不可記錄，則可通過即時通訊服務(wù)器2向發(fā)送端A轉(zhuǎn)發(fā)接收端B的記錄請求，由發(fā)送端A決定通過或拒絕接收端B的申請。如果申請成功，則接收端B通過了記錄文字/音頻/視頻會話過程的申請。
這時，如圖1、圖2和圖4所示，發(fā)送端A將采集到的媒體信息發(fā)送至接收端B的即時通訊工具1，接收端B開始記錄文字/音頻/視頻會話過程，即對接收到的媒體信息進(jìn)行保存，所保存的信息可用于接收端B對其進(jìn)行回放。
記錄過程具體如下接收端B即時通訊工具1中的數(shù)據(jù)保存模塊14以媒體文件的形式保存接收到的媒體信息，數(shù)據(jù)保存模塊14首先對接收到的媒體信息數(shù)據(jù)流進(jìn)行緩沖，經(jīng)唇音同步及交錯處理，這樣可防止對保存的媒體文件回放的時候出現(xiàn)唇音不同步的情況，再通過媒體流封包后，將其寫入媒體文件，數(shù)據(jù)處理參數(shù)如下視頻流的格式128×96，176×144，352×288或其他尺寸，幀率1～25幀/秒。
音頻流格式樣本容量8bits，單聲道，采樣頻率16kHz，或可其他標(biāo)準(zhǔn)音頻格式。
文字流格式每秒最多5條，每條不超過256個字符。
媒體流的封包格式如下第1byte為媒體的編碼類型(編碼器類型)，第2～3bytes為數(shù)據(jù)的有效長度，第4byte開始便為有效數(shù)據(jù)。
當(dāng)接收端B對所保存的媒體信息回放時，如圖1、圖2和圖4所示1、回放模塊15打開數(shù)據(jù)保存模塊14提供的媒體文件，讀取文件數(shù)據(jù)，送至交叉存取數(shù)據(jù)流分離器151，將交互存儲在文件里的文字/音頻/視頻數(shù)據(jù)分離為獨立的文字/音頻/視頻流數(shù)據(jù)。
2、文字/音頻/視頻流數(shù)據(jù)分別送到對應(yīng)的回放文本解碼器1521、回放音頻解碼器1522和回放視頻解碼器1523中。
3、從回放音頻解碼器1522解碼處理后的音頻數(shù)據(jù)送到聲卡進(jìn)行播放，從回放視頻解碼器1523解碼處理后的視頻數(shù)據(jù)送到顯示卡在顯示屏上進(jìn)行顯示，從回放文本解碼器1521解碼以后的文字流直接在顯示屏上顯示。
這樣，接收端B就實現(xiàn)了對所保存的信息進(jìn)行回放。
在本發(fā)明中，如圖1、圖2、圖3和圖4所示，接收端B中的即時解碼模塊13可即時接收發(fā)送端A所發(fā)送的媒體信息，即時解碼模塊13通過其中的文本解碼器131、音頻解碼器132和視頻解碼器133對接收到的文字、音頻和視頻信息分別進(jìn)行即時解碼，并進(jìn)行即時播放/顯示。
在本發(fā)明的網(wǎng)絡(luò)傳輸中，發(fā)送端A將數(shù)據(jù)采集模塊11采集到的音/視頻信息通過編碼壓縮模塊12進(jìn)行編碼、壓縮成數(shù)據(jù)塊，如，對每一幀采集到的音/視頻數(shù)據(jù)編碼壓縮為一個單獨的數(shù)據(jù)塊，然后，通過網(wǎng)絡(luò)傳輸系統(tǒng)3將其發(fā)送至接收端B即時通訊工具1中的即時解碼模塊13，即時解碼模塊13對接收到的音/視頻數(shù)據(jù)塊進(jìn)行相應(yīng)的解碼解壓縮處理，并進(jìn)行相應(yīng)的即時播放/顯示，在網(wǎng)絡(luò)傳輸時，發(fā)送端A的即時通訊工具1通過實時傳輸協(xié)議RTP，即real-time transport protocol和實時傳輸控制協(xié)議RTCP，即Real-time Transport Control Protocol與接收端B的即時通訊工具1進(jìn)行數(shù)據(jù)交互、傳輸、控制，完成網(wǎng)絡(luò)傳輸，在實時傳輸協(xié)議RTP中，在RTP數(shù)據(jù)包頭填充幀的信息，如視頻尺寸，壓縮質(zhì)量，序列碼等信息，這些信息用于接收端B進(jìn)行數(shù)據(jù)解碼，實時傳輸控制協(xié)議RTCP根據(jù)網(wǎng)絡(luò)帶寬控制音/視頻的流量，實時傳輸控制協(xié)議RTCP和實時傳輸協(xié)議RTP一起提供流量控制和擁塞控制服務(wù)，在RTP會話期間，各參與者周期性地傳送RTCP包，RTCP包中含有已發(fā)送的數(shù)據(jù)包的數(shù)量、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計資料，因此，發(fā)送端A利用這些信息動態(tài)地改變傳輸速率或傳輸質(zhì)量，實時傳輸協(xié)議RTP和實時傳輸控制協(xié)議RTCP配合使用，能實現(xiàn)有效的反饋和最小的開銷使傳輸效率最佳化，從而防止傳送音/視頻流的同時因為網(wǎng)絡(luò)帶寬的因素而影響到即時通訊服務(wù)的質(zhì)量，也不會因基于保證即時通訊服務(wù)質(zhì)量而浪費很多帶寬，從而影響到接收端B即時通訊工具1的音/視頻回放質(zhì)量。
在上述的實施例中，詳述了一個接收端B實現(xiàn)對發(fā)送端A所發(fā)送的媒體信息的保存、回放及即時播放/顯示，實際上，發(fā)送端A可同時對多個接收端發(fā)送媒體信息，其他的接收端對于媒體信息的處理過程與上述接收端B的處理過程相同，此處不再贅述，總之，發(fā)送端A可同時對多個接收端發(fā)送媒體信息，所述的多個接收端可通過以上所述實現(xiàn)對發(fā)送端A所發(fā)送的媒體信息的保存、回放及即時播放/顯示。
權(quán)利要求
1.一種即時通訊中信息回放的方法，其特征在于位于發(fā)送端的即時通訊工具通過即時通訊服務(wù)器與接收端的即時通訊工具建立信息連接，并將采集到的媒體信息發(fā)送至接收端的即時通訊工具，接收端對接收到的媒體信息進(jìn)行保存，所保存的信息用于接收端對其進(jìn)行回放。
2.根據(jù)權(quán)利要求1所述的即時通訊中信息回放的方法，其特征在于所述的發(fā)送端通過即時通訊服務(wù)器設(shè)定接收端對于所接收媒體信息的記錄權(quán)限。
3.根據(jù)權(quán)利要求1所述的即時通訊中信息回放的方法，其特征在于所述的接收端的即時通訊工具將接收到的媒體信息寫入媒體文件進(jìn)行保存。
4.根據(jù)權(quán)利要求3所述的即時通訊中信息回放的方法，其特征在于所述的接收端的即時通訊工具首先對接收到的媒體信息數(shù)據(jù)流進(jìn)行緩沖，經(jīng)唇音同步及交錯處理，通過媒體流封包后，將其寫入媒體文件。
5.根據(jù)權(quán)利要求1所述的即時通訊中信息回放的方法，其特征在于所述的位于發(fā)送端的即時通訊工具通過實時傳輸協(xié)議(RTP)和實時傳輸控制協(xié)議(RTCP)與接收端的即時通訊工具完成網(wǎng)絡(luò)傳輸。
6.根據(jù)權(quán)利要求1所述的即時通訊中信息回放的方法，其特征在于所述的位于發(fā)送端的即時通訊工具將采集到的多媒體信息中的音/視頻信號分離為獨立的音頻和視頻數(shù)據(jù)，并分別進(jìn)行編碼壓縮。
7.根據(jù)權(quán)利要求1或2或3或4或5或6所述的即時通訊中信息回放的方法，其特征在于所述的位于發(fā)送端的即時通訊工具將采集到的媒體信息進(jìn)行編碼壓縮成數(shù)據(jù)塊后，將其發(fā)送至接收端，接收端的即時通訊工具對接收到的數(shù)據(jù)塊進(jìn)行相應(yīng)的解碼，并進(jìn)行即時播放/顯示。
8.一種實現(xiàn)權(quán)利要求1所述方法的即時通訊中信息回放的系統(tǒng)，包括即時通訊工具(1)、即時通訊服務(wù)器(2)，以及網(wǎng)絡(luò)傳輸系統(tǒng)(3)，其特征在于所述的即時通訊工具(1)中包括數(shù)據(jù)采集模塊(11)、編碼壓縮模塊(12)、數(shù)據(jù)保存模塊(14)和回放模塊(15)，其中所述的數(shù)據(jù)采集模塊(11)采集媒體信息；所述的編碼壓縮模塊(12)對所述的媒體信息進(jìn)行編碼、壓縮處理；所述的數(shù)據(jù)保存模塊(14)保存接收到的媒體信息，并向回放模塊(15)提供用于回放的媒體文件；所述的回放模塊(15)對媒體文件進(jìn)行相應(yīng)的解碼，用于相應(yīng)的播放/顯示。
9.根據(jù)權(quán)利要求8所述的即時通訊中信息回放的系統(tǒng)，其特征在于所述的即時通訊工具(1)中還包括即時解碼模塊(13)，該即時解碼模塊(13)通過其中的文本解碼器(131)、音頻解碼器(132)和視頻解碼器(133)對接收到的文字、音頻和視頻信息分別進(jìn)行即時解碼，并進(jìn)行即時播放/顯示。
10.根據(jù)權(quán)利要求8所述的即時通訊中信息回放的系統(tǒng)，其特征在于所述的編碼壓縮模塊(12)中包括文本編碼器(121)、音頻編碼器(122)和視頻編碼器(123)，所述的文本編碼器(121)、音頻編碼器(122)和視頻編碼器(123)分別對文字、音頻和視頻信息進(jìn)行編碼、壓縮處理，并將信息傳輸至網(wǎng)絡(luò)傳輸系統(tǒng)(3)。
11.根據(jù)權(quán)利要求8所述的即時通訊中信息回放的系統(tǒng)，其特征在于所述的回放模塊(15)中包括交叉存取數(shù)據(jù)流分離器(151)和回放解碼模塊(152)，所述的交叉存取數(shù)據(jù)流分離器(151)用于將媒體文件中的文字/音頻/視頻數(shù)據(jù)分離為獨立的文字/音頻/視頻流數(shù)據(jù)，回放解碼模塊(152)用于數(shù)據(jù)的解碼及播放/顯示。
12.根據(jù)權(quán)利要求11所述的即時通訊中信息回放的系統(tǒng)，其特征在于所述的回放解碼模塊(152)中包括回放文本解碼器(1521)、回放音頻解碼器(1522)和回放視頻解碼器(1523)，分別用于文字、音頻和視頻流數(shù)據(jù)的解碼。
13.根據(jù)權(quán)利要求8所述的即時通訊中信息回放的系統(tǒng)，其特征在于所述的數(shù)據(jù)采集模塊(11)中還具有分離器(111)，該分離器(111)將多媒體文件中的音/視頻信息分離為獨立的音頻和視頻信息數(shù)據(jù)。
全文摘要
一種涉及電通信技術(shù)的即時通訊中信息回放的方法和系統(tǒng)，位于發(fā)送端的即時通訊工具通過即時通訊服務(wù)器與接收端的即時通訊工具建立信息連接，并將采集到的媒體信息發(fā)送至接收端的即時通訊工具，接收端對接收到的媒體信息進(jìn)行保存，所保存的信息用于接收端對其進(jìn)行回放；發(fā)送端通過即時通訊服務(wù)器設(shè)定接收端對于所接收媒體信息的記錄權(quán)限；接收端的即時通訊工具首先對接收到的媒體信息數(shù)據(jù)流進(jìn)行緩沖，經(jīng)唇音同步及交錯處理，通過媒體流封包后，將其寫入媒體文件，本發(fā)明提供了一種即時通訊中信息回放的實現(xiàn)方法和系統(tǒng)，使即時通訊服務(wù)適用于多種媒體共存的應(yīng)用場合中需要保存交流檔案的情況，擴(kuò)展了即時通訊服務(wù)的應(yīng)用范圍。
文檔編號H04L29/12GK1625161SQ20031011246
公開日2005年6月8日 申請日期2003年12月2日 優(yōu)先權(quán)日2003年12月2日
發(fā)明者伍海君, 吳波, 劉念, 李強(qiáng) 申請人:騰訊科技(深圳)有限公司