多媒體通信裝置的制作方法

文檔序號：7938677閱讀：167來源：國知局

專利名稱：多媒體通信裝置的制作方法
技術領域：
本發(fā)明涉及電信，尤其是涉及電信和多i某體管理方法和裝置，其使用
戶能夠在即時(live)模式或時移(time-shifted)模式中復查會話的消息并在這兩個模式之間來回轉換會話，參與多個會話，并且將會話的消息存檔用于以后的復查或處理。
相關技術的描述
語音通信的當前狀態(tài)具有缺乏活動性的缺點。不管自動交換、高帶寬網絡和技術例如衛(wèi)星、光纖、語音IP (VoIP )、無線和蜂窩網絡如何，在人們如何使用電話方面有很少的變化。人們仍然需要拿起電話，撥叫另一方，等待產生連接，并接著與被撥叫方進行全雙工同步會話。如果接收者不回答，則不產生連接，且不發(fā)生會話。
如果接收者有語音郵件，最多可留下單向異步語音消息。然而，發(fā)送語音郵件的過程繁瑣且耗費時間。呼叫者需要等待另一端的電話停止響鈴，轉換到語音郵件系統，聽語音消息問候，并接著留下消息。當前的語音郵件系統對接收者也不方便。接收者必須撥代碼來訪問其語音郵件，在一系列提示中導航(navigate),聽隊列中的任何早些時候的語音消息，并接著最后聽發(fā)送者的消息。
一般語音郵件系統的另一缺點是不能組織語音消息或將語音消息永久地存檔。使用一些語音郵件系統，用戶可保存消息，但在預定的一段時間之后它#皮自動刪除并永遠丟失。
當前語音郵件系統的又一問題是在可留下消息之前必須在呼叫者和語音郵件系統之間產生連接。如果沒有產生連接，則呼叫者無法留下消息。當前電話系統基于相對過于簡單化的使用模式實時即時呼叫或無條
理的語音郵件消息，其一般在它們被聽到之后刪除。這些形式的語音通信沒有捕獲可使用語音通信獲得的實際功效，或沒有利用網絡速度的提升和現在可用的帶寬。此外，如果電話網絡有故障或不可訪問(例如，便攜式電話用戶在沒有覆蓋的區(qū)域內或電話線路由于糟糕的天氣而有故障)，則不可發(fā)生通信。
通常，基于電話的通信沒有跟上基于文本的通信中的進步。即時消息
(instant message)、電子郵件、傳真、聊天組和將文本消息存檔的能力對于基于文本的通信都是平常的。除了語音郵件，少有現有的工具可管理語音消息和/或將語音消息存檔。比較起來，當前可用來管理電話通信的工具與文本通信比較是原始的。
公司環(huán)境提供了在當前語音通信工具中的缺點的僅一個例子。當前沒有綜合方法來將整個組織中的語音通信作為公司資產來進行管理。雇員通常不記錄也持久地儲存其電話會話。大多數與商業(yè)有關的語音通信資產與講話流失得一樣快，而沒有方法來以任何可管理的形式管理或存儲那些會話的內容。
作為例證性的例子，考慮公司的銷售經理。在忙碌的一天中，經理可能打很多電話，并通過電話與客戶終結幾個銷售。沒有組織、儲存并隨后取回這些會話的能力，經理就沒有方法來解決可能出現的潛在問題，例如
恢復一個交易相對另一交易的條款，或駁斥就以前對銷售達成協議的條款進行爭論的客戶。如果這個經理有容易取回并復查會話的能力，則這些類型的問題可容易和順利地解決。
當前的戰(zhàn)術(tactical)無線電系統，例如軍事、火警、警察、護理人員、援救隊和第一出動人員所使用的那些系統也有很多缺點。大部分戰(zhàn)術無線電通信必須通過消息發(fā)送者和接收者之間的"即時"無線電連接出現。如果在雙方之間沒有無線電連接，則會沒有通信。如果發(fā)送者或接收者不可使用其無線電進行傳送，或無線電電路連接不能建立，則不能發(fā)送緊急消息。戰(zhàn)術通信因此被幾個基本問題困擾。沒有方法來(i)保證消息的遞送；(ii)接收者回顧并聽取沒有被實時地聽到的消息；(iii)在會話中控制
9參與者的間隔；(iv)在對即時會話缺乏信號完整性時使系統處理。如果沒
有即時聽到消息，則它被遺失。沒有工具來使發(fā)送者或接收者管理、按優(yōu) 先順序排列、存檔和以后^^回(即，時移)以前^皮發(fā)送的會話消息。
戰(zhàn)術無線電通信系統的又一缺點是每個信道一次只有一個消息被發(fā) 送。考慮大建筑物火突的例子，其中，多隊消防員、警察和護理人員同時援救被困在建筑物中的受困者，與火災作斗爭，給受困者提供醫(yī)療幫助，并控制旁觀者。如果每個隊使用同一信道，則通信可能變得擁擠和混亂。
當多于一個的人同時傳輸時，傳輸變得"被壓制(stepon)"。此外也沒有方法來區(qū)分開高和低優(yōu)先級消息。在燃燒的建筑物內與火災作斗爭或援救被困的受困者的一隊應有高于其它隊例如控制旁觀者的隊的優(yōu)先級。如果高優(yōu)先級消息被較低優(yōu)先級消息壓制，則它可能不僅妨礙重要的通信，而且可能危及建筑物內的消防員和受困者的生命。
對缺乏按優(yōu)先順序排列消息的能力的一個可能的解決方案是使用多個信道，其中每隊被分配一個不同的信道。然而該解決方案產生其自己的一組問題。消防隊長如何在任何時刻及時確定聽哪個信道？如果多個隊都在不同的信道上，他們彼此如何通信？如果一個隊要求緊急幫助，而正在聽別的信道的其他隊如何知道？雖然多個信道可減輕一些問題，但也可能引起混亂，比使用單個信道的情況產生更多的問題。
有效地按優(yōu)先順序排列消息、允許多個會話同時發(fā)生、實現消息的時移以保證發(fā)送、或支持存檔和儲存會話用于以后的取回和復查的管理工具的缺乏都促成與戰(zhàn)術無線電相關的問題。在第一出動人員例如軍事、警察和火警的情況下，有效的通信工具可能實際上意味著生和死之間的差別，或任務的成功或失敗。上面的燃燒的建筑物例子在說明當前戰(zhàn)術無線電通信的僅僅一些問題方面是有用的。對于軍事、警察、第一出動人員和使用戰(zhàn)術通信的其他人存在類似的問題。
使用基于分組的網絡，通常使用的協議包括傳輸控制協議(TCP)和用戶數據報協議(UDP)。 UDP提供快速發(fā)送數據的優(yōu)點，但以完整性為代價。分組可能在運送中被漏掉，且當試圖在目的地盡快再現(render)數據時是不可行的。盡管有缺點，但由于其速度屬性，UDP是互聯網協議語音(VoIP)傳輸的標準。另一方面，TCP確實保證完美數據(即，所傳輸的數據的準確拷貝)的發(fā)送，但以等待時間為代價。所有分組被發(fā)送，而
不管花費多長時間。此延遲使TCP對用在"即時"電話呼叫上不實際。目前，沒有這樣一種同時提供TCP和UDP的性能優(yōu)點的已知協議，在這種協議中，可傳輸"足夠好的"媒體，用于盡快再現媒體的完美拷貝的最后
中再現數據的意圖來確定應通過網絡發(fā)送多少信息的協議。此外，在確定傳輸多少數據中使用通?？紤]的其它因素，例如網絡等待時間、網絡降質、分組丟失、分組損壞和總帶寬條件。然而，現有技術系統不考慮接收者的在場和意圖。作為結果，默認的假定是，數據被接收者實時地再現。當接收者不打算立即再現數據時，當不需要時，這些現有技術系統不必使用帶寬，降低了網絡的總性能。
由于上述原因，電話、語音郵件和戰(zhàn)術語音通信系統是不夠的。因此需要改進的語音和媒體通信和管理系統和方法，以及通過基于分組的網絡發(fā)送語音和其它媒體方面的改進。

發(fā)明內容
本發(fā)明目的在于能夠通過網絡參與會話的通信設備。該通信設備包括編碼器和發(fā)送器，所述編碼器接收和編碼使用該通信設備在本地創(chuàng)建的并與會話相關的^ 某體，所述發(fā)送器通過網絡向會話的一個或多個參與者發(fā)送在本地創(chuàng)建媒體。該通信設備還包括接收器和時移緩沖器，所述接收器通過網絡從會話的一個或多個參與者接收媒體，所述時移緩沖器以基于時間的格式存儲通過通信網絡接收到的媒體和在本地創(chuàng)建的媒體。該時移緩沖器使通信設備能夠(i)以接近實時的模式再現通過網絡接收的媒體，或 (ii)通過從時移緩沖器取回被存儲的媒體來以時移;漠式再現通過網絡接收到的^^某體和在本地創(chuàng)建的^;某體。會話管理系統使通信設備能夠在不中斷通過網絡在通信設備上接收到的會話的媒體到時移緩沖器中的正在進行的存儲的情況下，在時移模式和接近實時的模式之間轉換會話的媒體的再現。通過使在本地創(chuàng)建的媒體和通過網絡接收到的媒體關聯來構成會話。
ii附圖的筒要說明
參考結合附圖理解的下列描述可最好地理解本發(fā)明，這些附圖示出本發(fā)明的特定實施方式。

圖1是本發(fā)明的通信和媒體管理系統的體系結構的圖示。
圖2A和2B示出在本發(fā)明的通信和管理系統中的設備上運行的客戶機的結構圖。
圖3是在本發(fā)明的通信和管理系統中使用的服務器的結構圖。
圖4A到4D示出在本發(fā)明的通信和管理系統中使用的數據有效載荷的各種實施方式。
圖5是示出根據本發(fā)明通過共享IP網絡傳輸的數據的圖示。
圖6是示出根據本發(fā)明通過基于電路的網絡傳輸的數據的圖示。
圖7是示出根據本發(fā)明在蜂窩網絡和互聯網上傳輸的數據的圖示。
圖8A到8F是示出本發(fā)明的通信和管理系統的存儲和流(stream)功能的一系列流程圖。
圖9A到9C是示出有效載荷質量管理器(PQM)的操作的流程圖，而圖9D到9F是示出數據質量管理器(DQM)的流程圖，這兩個管理器都被本發(fā)明的客戶機和服務器使用。
圖10是具有可用在本發(fā)明的系統上的圖形用戶接口的示例性設備。
圖UA到IIF是示出本發(fā)明的多會話管理(MCMS)特征的圖示。
圖12A到12C是示出本發(fā)明的連續(xù)多會話管理系統(MCMS-C)特征的圖示。
圖13A到i3D示出詳述本發(fā)明的操作的一系列圖示。
圖14A和14B是示出用于運行本發(fā)明的客戶機和服務器應用程序的硬件的結構圖。
應注意，在附圖中相似的參考數字指相似的元件。特定實施方式的詳細描述
現在參考如在附圖中示出的其中的各種實施方式來詳細描述本發(fā)明。在下列描述中，闡述了特定的細節(jié)，以便提供對本發(fā)明的徹底理解。然而對本領域技術人員應明顯，本發(fā)明可在不使用這里闡述的一些實現細節(jié)的情況下實踐。還應理解，沒有詳細描述公知的操作，以便不必使本發(fā)明不清楚。
A.功能概述
通信媒體管理方法和系統支持參與語音會話和/或使用各種媒體類型例如語音、視頻、文本、位置、傳感器信息和其它數據管理多個同時會話的新模式。用戶可通過向指定的接收者發(fā)送語音消息來參與會話。根據偏好和優(yōu)先級，接收者可實時地參與會話，或他們可筒單地被通知消息準備被取回。在后面的情況下，接收者通過復查并在方便時回答已記錄的消息在時移模式中參與會話。
用戶被授權在(i)給用戶提供類似于標準全雙工電話呼叫的體驗的近似同步或"即時"會話；或(ii)在一系列前后時間延遲的傳輸(即，時移才莫式)中進行通信。進一步地，參與會話的用戶可從即時模式無縫地轉換到時移模式，并再次轉換回來。這個屬性也使用戶可能通過在每個會話的兩個模式之間按優(yōu)先順序排列并變動來同時參與多個會話。使用系統的兩個人因此可^f皮此來回發(fā)送已記錄的語音消息，并在方便時復查消息，或
消息可按它們本質上合并到即時同步語音會話的速率被發(fā)送。為了本申請的目的，這種新的通信形式稱為"Voxing"。
當你"Vox"某人時，會話由被記錄在多個位置上的一系列分立的已記錄的消息組成，這些位置可包括發(fā)送者的編碼設備(例如電話或計算機)、在網絡的多個傳輸中繼(hop)上的服務器以及接收者的再現設備。與標準電話呼叫或語音郵件不同，系統提供了下列特征和優(yōu)點(i)會話可在即時和時移之間轉換，反之亦然；(ii)分立的會話消息在語義上連接在一起并被存檔；(iii)因為消息被記錄并可用于以后取回，注意力可暫時從會話轉移，接著可以后在方便時復查會話；(iv)會話可暫停數秒、數分鐘、數小時或甚至數天，并可在停止的地方再次恢復；(v)人可再加入進行中的會話并快速復查遺失的消息和跟上(catch up)當前的消息(例如，即時消息)；(vi)發(fā)生會話不需要如傳統電話呼叫所要求的專用電路；以及(vii) 最后，為了發(fā)起會話，人可簡單地開始傳輸到個人或組。如果另一端上的一人或多人注意到他們正接收消息，他們有選擇復查和實時地進會話的權利或在他們選擇之后的時間復查的權利。
通信媒體管理系統也支持優(yōu)化數據通過網絡的傳輸的新模式。系統有效地管理有效載荷到接收者的發(fā)送，當網絡條件較不理想時，該接收者實時地參與會話。例如當網絡條件差時，系統有意降低用于傳輸到當被接收者接收時"足夠好"以被再現的點的數據的質量，允許會話的實時參與。系統也保證隨著時間的過去消息的"準確"拷貝的最終發(fā)送。系統和方法因此提供了速度和準確性兩者的優(yōu)點。通過在時間性和媒體質量之間進行折衷、使用接收者是否打算立即實時地復查消息的在場和意圖以及網絡等待時間、網絡降質、分組丟失或損壞和/或當前帶寬條件的衡量，來優(yōu)化對網絡帶寬的利用。
應注意，會話消息可只包含語音或包含語音、視頻和其它數據，例如傳感器信息。當復查消息時，取決于包含在消息中的^;某體的類型，聽取或在視覺上復查它們，或其組合。雖然到本申請的提交為止，大多數會話只是語音，但這里描述的通信系統和方法旨在廣泛地包括會話，該會話包括多媒體類型，例如語音和視頻。
公開了提供下列特征和功能中的一個或多個的改進的語音和其它媒體通信和管理系統和方法
i. 使用戶能夠參與多種會話類型，包括即時電話呼叫、會議電話、語音消息、連續(xù)或同時的通信；
ii. 使用戶能夠在即時模式或時移模式(語音消息)中復查會話消息；
iii. 使用戶能夠在同步"即時"模式和時移模式之間無縫地轉換會話；
iv. 使用戶能夠參與會話，而不等待建立與另一參與者或網絡的連接。
14該屬性允許用戶開始會話，參與會話，并且即使在網絡可不用時，在網絡
質量差時或其他參與者無空時也復查以前接收到的時移的會話消息；
V.使系統能夠在發(fā)送方保存有效載荷數據，且在網絡傳輸之后在所有
接收方保存媒體有效載荷數據；
vi. 使系統能夠通過將消息按序連接在一起形成在語義上有意義的會話來組織消息，其中每個消息可被識別并聯系到給定會話中的給定參與
者；
vii. 使用戶能夠使用一組用戶控制的功能來管理每個會話，例如復查 "即時"、暫?；驎r移會話直到方便復查時，在各種^t式和用于管理會話 (例如存檔、加標記、搜索和從檔案庫取回)的方法中重放(例如，播放
加快、跟上即時、跳到會話首部)；
viii. 使系統能夠管理在場數據并與所有會話參與者共享在場數據，包括在線狀態(tài)、關于在即時或時移才莫式中復查任何給定的消息的意圖、對消息的當前關注、再現方法以及發(fā)送方和接收方之間的網絡條件；
ix. 使用戶能夠同時管理多個會話，其中(a) —個會話正在進行，而所有其它會話暫停；(b)多個會話被連續(xù)再現，例如但不限于戰(zhàn)術通信，或者(c)多個會話是活躍的并被同時再現，例如在股票交易所或貿易場所
中；
X.使用戶能夠儲存所有的會話，且如果需要，持久地將它們存檔在有
形介質中，按需要提供可被有組織地編索引、搜索、轉錄、翻譯和/或復查
的有用資源；
xi. 使系統能夠使用消息的盡力交付模式，以用于盡快再現的"足夠好"速率提供實時呼叫功能(類似于UDP)，以及通過從最初保存的完美拷貝(類似于TCP)請求任何遺失或損壞的數據的重傳來提供傳輸的消息的準確拷貝的被保證的最后發(fā)送；以及
xii. 使系統能夠通過在時間性和媒體質量之間進行折衷、使用接收者的在場和意圖(即，在實時或在時移模式中復查媒體)以及網絡等待時間、網絡降質、分組丟失或損壞和/或當前帶寬條件的衡量，來優(yōu)化對網絡帶寬的利用。
在各種實施方式中，可實現上面列出的很多特征和功能中的一些或全和功能。
B.術語表
在解釋本發(fā)明的細節(jié)之前，定義在整個書面描述中使用的一些術語和縮略語是有用的。術語的該術語表被按系統部件、媒體、媒體管理、人和會話管理組織成組。
B.l.系統部件
客戶機客戶機是通信系統中的用戶應用程序，其包括用戶接口、持久性數據存儲器和"Voxing"功能。用戶與客戶機應用程序進行交互作用，且客戶機應用程序管理通過網絡傳輸或接收的所有通信(消息和信號)和有效載荷(媒體)轉移?？蛻魴C支持對媒體的編碼(例如，語音、視頻或其它數據內容的捕獲)以及對々某體的再現，并支持對數據在網絡上的傳輸進行優(yōu)化以及保護、加密和驗證。客戶機可由一個或多個用戶使用(即，多租戶)。
設備運行客戶機應用程序的物理設備。用戶可在任何給定的時間點主動地登錄到單個設備或多個設備。在不同實施方式中，設備可為通用計算機、便攜式計算設備、可編程的電話、可編程的無線電裝置或任何其它可編程的通信設備。
服務器通信網絡中的計算機節(jié)點。服務器負責通過網絡和持久性存儲器將在用戶之間來回發(fā)送的消息按規(guī)定路線傳送，還負責對媒體有效栽荷進行存檔。服務器提供對數據在網絡上的傳輸的優(yōu)化以及路由、譯碼、保護、加密和-險i正。
B.2.媒體
消息從一個用戶到另一的通信的單個單位。每個消息由某種媒體例如語音或視頻組成。每個消息被分配某些屬性，包括(i)發(fā)送消息的用戶；(ii)它所屬的會話；(iii)可選的或用戶創(chuàng)建的重要標記；(iv)時間
16戳；以及(v)媒體有效載荷。
媒體音頻、視頻、文本、位置、傳感器讀數例如溫度、或其它數據。
會話兩個或多個用戶之間在其設備上(被識別、持久地儲存、分組并按優(yōu)先順序排列)的一串消息。用戶通常按需要使用其設備，通過在實時或在時移模式中復查消息或創(chuàng)建并發(fā)送會話消息，來參與會話。當新消息被創(chuàng)建時，它們定義新的會話，或它們被添加到現有的會話。
會話首部由最近的揚聲器編碼的會話的最近的消息。它是用戶在復查"即時"時處于會話中的位置或人在使用"跳到即時，，特征的情況下所跳到的位置。
多會話管理系統或MCMS:作為客戶應用程序的部分運行的應用程序，其使用戶能夠使用各種媒體類型參與多個會話。使用MCMS應用程序，用戶在多個會話中選擇一個會話作為當前的，其中只有當前會話的消息被再現。對于選定的當前會話，用戶可從時移模式中的一系列來回消息轉換到接近同步的"即時"模式，類似于標準電話會話，并再次轉換回來。未選定的會話的消息處于暫停狀態(tài)。如果其他人仍然參與那些會話，則與未選定的會話相關的消息將累積。用戶可選擇性地在多個會話中轉換當前會話，并復查選定的當前會話的被累積的消息。
連續(xù)多會話管理系統或MCMS-C:類似于MCMS，具有再現和使用戶能夠通過時移和優(yōu)先級分級系統來管理并參與連續(xù)多個會話的增加的特征，其由系統自動管理。MCMS-C應用程序允許連續(xù)會話的消息按優(yōu)先順序被再現，與只再現當前選定的會話的消息的MCMS相反。MCMS-C 特別適用于下列情況連續(xù)會話的消息按優(yōu)先順序被再現很重要，和/或接收所有消息，即使屬于較低優(yōu)先級會話的那些消息，比實時地接收消息更重要。MCMS-C可能適合的情況的例子包括但不限于醫(yī)院、出租車隊管理或戰(zhàn)術通信。
同時多會話管理系統或MCMS-S:類似于MCMS，具有能夠使用 MCMS-S的增加的特征，選擇用于同時再現的多個會話，與只再現當前選定的會話的消息的MCMS不同。MCMS-S特別適用于下列情況用戶同時聽多個會話，例如交易人聽不同交易的多個經紀人并向其中的一人或多
人周期性地同時發(fā)送交易請求。MCMS-S也可適合于戰(zhàn)術通信。
優(yōu)先級系統用來確定當用戶參與MCMS-C時接著再現哪個消息的機制。優(yōu)先級由系統自動管理。用戶可設置默認的優(yōu)先級，或可使用一組預定的系統優(yōu)先級。在其中多于一個的消息準備被同時再現的沖突的情況下，系統至少部分地根據優(yōu)先級解決該沖突，以確定什么消息要立即再現以及什么消息要時移。
標記用戶或系統可分配到會話或消息的一組屬性，例如主題(公司名)、指令(行動條款)、指示符(會話概要)、或人可能想要通過其來搜索或組織數據的任何其它標志。
重要標記使發(fā)送者能夠指定消息何時被再現的特殊消息屬性，而不管其它優(yōu)先級"i殳置如何。例如"緊急"重要標記將優(yōu)先于其它優(yōu)先級。該特征對戰(zhàn)術系統很關鍵，雖然任何系統可配置成使用或禁用該特征。
分組能夠通過計算機網絡被按規(guī)定路由傳送的二進制數據的任何單位。每個分組由首部(元數據)和有效載荷(媒體數據)組成。包括標準分組協議，例如但不限于互聯網協議(IP)、 EvDO、 UMTS、或任何其它基于分組的無線電、光纖或有線網絡。
首部或分組首部描述分組的分組部分；關于有效載荷的元數據、其編碼類型和目的地。
Vox分組使系統和方法能夠進一步改進和優(yōu)化消息、媒體和其它信令信息的發(fā)送的專有分組。
媒體有效載荷(或有效栽荷)分組的實際媒體部分。
B.3.媒體管理
時移延遲(TSD):在Vox分組的到達與分組在設備上再現之間的時間量。TSD必須超過最小時移延遲。TSD—般由用戶在接收到之后的某個時間選擇復查會話消息時的行為確定。
最小時移延遲(MTSD):被客戶機強加以允許使用抖動(Jitter)緩沖區(qū)技術來進行抖動處理的時移延遲。這使系統延遲再現，直到足夠數量的分組到達以產生可用的媒體流。系統一般隨著時間的過去適應性地調節(jié)
MTSD，以補償網絡中的變化的條件。
再現以適合于用戶使用的形式(例如，語音、文本、圖形顯示、視頻或其組合)將々某體流發(fā)送到用戶。
混合一個或多個媒體流的再現。例如，來自會話的兩個參與者的媒體流可在再現時被混合，產生類似于多人同時講話的會話的用戶體驗。
編碼轉換由用戶所產生的(例如，語音或視頻)、或以其他方式在設備上引起(例如GPS或其它傳感器數據)的媒體、或將媒體轉換成由客戶機處理的數字數據的過程。
自適應抖動緩沖區(qū)抖動緩沖區(qū)或去抖動緩沖區(qū)用于對分組交換網絡引入的抖動(即，序列分組之外的到達或分組的延遲的到達)計數，以便可沒有中斷地執(zhí)行通過網絡傳輸的音頻(或視頻)信號的連續(xù)再現。數據在再現之前存儲在緩沖區(qū)中，以允許媒體的合理尺寸的緩沖區(qū)到達。媒體可在所有分組被接收之前被再現，為傳播折衷選擇質量。自適應抖動緩沖區(qū)能夠動態(tài)地改變其尺寸以優(yōu)化延遲/質量折衷。
持久性無限消息緩沖區(qū)(PIMB): PIMB是指執(zhí)行"即時"數據的去抖動以及存檔數據的存儲和取回的、基于時間的媒體的存儲的存儲管理系統。PIMB還包括媒體的可能無限和持久性存儲的額外屬性。PIMB在一些或所有參與者設備和/或服務器維持消息和會話的Vox分組的"準確"或完
整拷貝。
分組丟失補償或隱蔽(PLC):在再現媒體流期間，PLC部件補償遺失的分組，插入結果以向復查者提供流。遺失的分組可被再現為無聲，或來自相鄰分組的信息可用于提供插入的聲音或圖像。待使用的特定的方法將依賴于媒體、使用中的編解碼器和其它通常已知的參數。
B.4厶
用戶被授權使用系統的人。
聯系人系統對用戶或非用戶的記錄。用戶一般參與和其聯系人列表上的成員的會話。非用戶是使用傳統電話、無線電裝置或啟用其它非客戶機12的設備來訪問或使用系統的用戶。
組多個聯系人的聯合。聯系人可被選擇性添加或從組中刪除。當會話發(fā)生在組中間時，組中的所有成員可以或可以不參加。
信道一般用于戰(zhàn)術通信系統。信道類似于組，因為它使多個聯系人與信道關聯。
參與者被識別為會話的成員的人?？蔀橛脩艋蚍怯脩魠⑴c者。 B.5.會話管理
時移時移是當任何消息(如用戶接收者所確定的)被接收之后，在任何時間播放該消息的能力。通過時移，用戶可復查消息(i )通過在MTSD 之后立即再現來立即按需請求；或(ii)依據用戶的判斷在復查消息的模式中時移；(iii)來自檔案庫，用于老的會話的搜索、重建等；(iv)在延遲的一段時間之后適應需要被首先復查的其它較高優(yōu)先級消息(或會話) 的復查；(v)和/或如果必要使消息重復地被再次聽到和理解。換句話說，時移是用戶在系統強加MTSD之后的任何時間再現消息的能力。
復查聽、觀看、閱讀或以其他方式觀察消息中的媒體內容。復查可在接近同步的實時的"即時模式"或時移模式中發(fā)生。
意圖(n記錄用戶是希望盡快復查會話消息還是希望在時移模式中復查消息的用戶定義的屬性；(ii)由用戶的行為暗示；或(i)和(ii)的組合。
注意力記錄用戶是否此刻復查給定會話的消息的用戶屬性。
跟上即時(CTL):允許不在會話首部的用戶更快地復查以前的消息以"跟上即時"(即，會話首部)的再現模式。CTL特征可使用任何數量的跟上技術，例如消息的較快重放、消息的媒體中的間隙的移除、猶豫虛詞(hesitation particle)的移除等。當用戶跟上即時時，系統無縫地進入即時會話。這是例如在用戶需要暫時將其注意力從會話移走但在其返回時希望聽到整個會話的情況下關于會議電話的非常有用的特征。跟上模式確定CTL過程如何跟上(即，重放加快、消除無聲和猶豫虛詞或其組合)的用戶配置或預先配置的^f莫式。
跳到即時(JTL):該特征允許用戶從其當前位置跳到會話首部。當用戶不想復查其會話中的當前位置與會話首部之間的所有消息時，他們一般使用JTL特征。當實現JTL特征時，用戶略過任何中間消息，并開始再現在會話首部處的"即時"消息。
MCMS參與者屬性由用戶定義的、或由系統從用戶行為理解的、由管理員分配的、或其組合的一組屬性，這些屬性定義意圖、注意力、優(yōu) 先級和接收者對給定會話的再現偏好。這些屬性包括但不限于(i)當接收者希望再現會話消息時的意圖?？赡艿囊鈭D值包括"現在"、"時移"、
"跟上即時(CTL)"、"暫停"和"從不，，；(ii)跟上模式，其是確定CTL 過程應如何使接收者跟上即時(例如，播放加快、略過無聲間隙或猶豫、或以正常速度播放)的配置設置；(iii)時移延遲(TSD),其定義接收者在會話中的當前位置離會話首部多遠，以及(iv)消息相對于接收者的其它會話的優(yōu)先級。
C. 系統結構
參考圖i,其示出了根據本發(fā)明的一個實施方式的電信和媒體管理系
統的結構圖。系統10包括分別在設備13J)j 13n上運行的多個客戶機12!
到12 。設備13通過包括一個或多個服務器16的通信服務網絡14彼此通信。一個或多個網絡18!到18n設置成將多個設備13!到13n耦合到通信服務網絡14。在不同實施方式中，網絡18可為公共交換電話網絡(PSTN)、基于例如CDMA或GSM的蜂窩網絡、互聯網、戰(zhàn)術無線電網絡、或任何其它通信網絡、或其組合。通信服務網絡14是在各網絡18!到18n的頂部上的或以其他方式與各網絡18i到18 進行通信的網絡層。在不同實施方式中，網絡層14是異類或同類的?？蛻魴C12!到12 使用稱為"Vox分組" 的單獨的消息單元彼此通信并與網絡18,到18 以及網絡14上的服務器16 進行通信，這將在下面詳細描述。
D. 客戶機結構
21參考圖2A和2B,其示出了在設備13上運行的客戶機12的結構圖。如圖2A所示，客戶機12包括多會話管理系統(MCMS)應用程序20、再現和編碼模塊21、以及MCMS應用數據庫22。如圖2B所示，客戶機12 還包括存儲和流(SAS)模塊24,其具有持久性無限消息緩沖區(qū)(PIMB) 讀出器26、 PIMB寫入器28、 PIMB數據庫30、數據和網絡質量(DNQS ) 存儲器32、以及4某體驅動器和編碼器硬件34。 MCMS應用程序20以及存儲和流模塊24分別通過消息處理模塊25a和25b彼此進行通信。客戶機 12還包括驗證-加密-保護模塊40和通信協議模塊44。
模塊40在將"Vox，，分組傳輸到客戶機12以及從客戶機12接收"Vox" 分組期間提供驗證、加密和保護服務。當在接收數據時傳輸數據并將Vox 分組從本地分組去封裝時，通信協議模塊44將Vox分組封裝到底層網絡 18所使用的本地分組中，底層網絡18連接到運行客戶機12的設備13。使用^^塊40和44，在客戶機12之間提供多方端到端驗證、加密和保護。消息在網絡18,到18n和網絡]4中從第一發(fā)送設備13到第二接收設備13 被l全證、力口密和保護。
D.l.l MCMS數據庫
數據庫22儲存并管理系統10中很多實體的持久性元數據，包括聯系人和參與者、會話和消息(即時和所儲存的)、和默認優(yōu)先級、以及關于服務器16的信息。此外，MCMS數據庫22儲存用戶會話、在場和狀態(tài)的從一時刻到另一時刻的操作數據，以及與用戶進行會話的或用戶聯系人列表上的所有參與者的會話、在場和狀態(tài)的從一時刻到另一時刻操作數據。例如，對于會話和消息，數據庫22記住狀態(tài)信息，例如用戶已經或未曾復查的會話的什么消息、優(yōu)先級、以及在其中客戶機12是參與者的每個會話的跟上即時狀態(tài)、所有參與者的在場和狀態(tài)、以及其它網絡和其它系統管理數據。
D丄2 MCMS應用程序
MCMS應用程序20使用各種媒體和數據類型(語音、視頻、文本、位置、數據等)支持參與會話和/或管理多個會話的不同Voxing模式。用戶通過使用他們的啟用客戶機12的設備13將消息發(fā)送到指定的接收者，來參與會話。根據偏好和優(yōu)先級，接收者可實時地復查消息，或他們可僅僅被通知消息準備好被復查。用戶可從一系列消息來回轉換，這些消息在時移模式(或語音消息)中或在接近同步的全雙工會話(類似于標準"即
時'，電話呼叫)中被復查并接著再次回到語音消息。MCMS應用程序20 允許用戶實時地控制與其最重要會話的交互作用，而不遺失其它正在進行的會話中的任何消息。例如，MCMS應用程序20通知來自會話的緊急或高優(yōu)先級通信的用戶他們目前不復查。MCMS應用程序20也使來自所有會話的所有消息被儲存，用于以后取回，所以它們可在任何時間被復查。
根據各種實施方式，存在MCMS應用程序20的幾種不同的操作模式，包括連續(xù)MCMS (MCMS-C )和同時MCMS (MCMS-S ),其分別支持消息的連續(xù)和同時的再現。下面詳細描述這些實施方式中的每個。除非特別指出，術語"MCMS"通常用于表示MCMS應用程序20,其包括前述不同的才莫式。
MCMS應用程序20是包括很多模塊和服務的多層結構。模塊和服務包括MCMS數據庫模塊20a、 SAS服務模塊20b、消息和信令服務模塊20c、用戶接口應用編程接口 (API)20d、用戶接口模塊20e、會話/消息管理服務20f、優(yōu)先級服務20g、聯系人服務20h、在場/狀態(tài)服務20i以及消息/ 信號服務20j。
D.l.2.1 MCMS數據庫才莫塊
MCMS數據庫模塊20a是管理MCMS應用程序20訪問MCMS數據庫22所必需的所有功能的服務模塊。
D.l.2.2 SAS服務模塊
SAS服務模塊20b包括一組功能調用，其實現MCMS應用程序20和存儲和流^t塊24之間的通信和協調，且其分別通過消息處理模塊25a和 25b來回傳遞。當被用戶調用和/或被網絡條件指示時，這組功能調用使 MCMS應用程序20和存儲和流模塊24能夠按需要操作來實現各種Voxing 功能。SAS服務模塊20b所執(zhí)行的一些功能包括維持和傳遞消息傳輸和消息確認的狀態(tài)、用于再現消息的指令、以及用戶的狀態(tài)和在場。D.1.2.3消息和信令服務模塊
消息和信令服務模塊20c在客戶機12和服務器16上運行，并實現系統10的客戶機12和服務器16之間的通信。包括消息、數據和其它信號的該通信允許客戶機12和系統10跟蹤并管理通信、網絡狀態(tài)、用戶和用戶狀態(tài)。在客戶機12和服務器16上運行的消息和信令服務模塊20c之間發(fā)送的消息和信號的類型包括例如用戶的網絡可用性、服務器16發(fā)送到客戶機12 (可能包括"高水印(high water mark)")的消息的跟蹤，這些消息確定是否整個消息或消息的某個部分丟失(例如由"產生的"客戶機創(chuàng) 建的每會話每參與者的序列號)、用戶是否正講話或復查給定會話的消息、用戶相對于會話首部的位置、或參與者何時不再復查會話實況。這些是在客戶機12和服務器16上的消息和信令服務模塊之間發(fā)送的很多類型的消息和信號中的一些的實例，且決不應被解釋為限制本發(fā)明。
D.1.2.4用戶接口 API
用戶接口 API 20d是界定一組功能調用的模塊，這些調用定義用戶接口模塊20e和MCMS應用程序20的底層服務之間的編程接口。用戶接口 API20d支持通用方法，例如UI應用程序支持、以及用戶接口操作MCMS 應用程序20所必需的所有功能調用。在各種實施方式中，用戶接口 API 20d 使客戶機12能夠支持各種用戶接口和設備類型，例如基于Adobe Flash的和/或Microsoft Windows應用程序、蜂窩或移動電話設備、以載頻驅動的 PSTN設備、語音用戶接口 ( VUI)和物理無線電通信接口。在各種實施方式中，用戶接口 API 20d既使高度靈活的也使高度受限的用戶接口的設計能夠支持MCMS應用程序20的功能。
D.l.2.5 MCMS用戶接口才莫塊
MCMS用戶接口模塊20e支持客戶機12的音頻和視頻用戶接口的操作和功能。用戶接口模塊20e支持很多用戶交互作用，并可使用各種交互作用介質例如圖形用戶接口屏幕的陣列、音頻/DTMF接口或設備13上的語音用戶接口來實現，所有這些交互作用介質都使用戶能夠與系統0進行交互作用。被支持的用戶交互作用的部分列表例如包括功能登錄；管理、加入和監(jiān)控會話；控制會話再現；管理優(yōu)先級；以及請求復查被存檔的會話。應注意，該列表是示例性的，且決不應被解釋為限制本發(fā)明。
D,1.2.6會話/消息管理服務
會話/消息管理服務20f是定義管理數據結構和過程的一組功能的模塊，其負責管理并保留用戶管理在會話的參與者之間傳輸和接收的4某體 (例如，語音或視頻內容消息)的接收和復查所需要的所有信息。消息被組織成會話。運行應用程序12的設備13所發(fā)送和接收的媒體可用于在被接收時立即復查。接收到的媒體也被記錄，用于在時移模式中復查、會話管理和歸檔目的。在可選的實施方式中，消息或會話可以可選地被暫時標記，指定其期望的保留要求(例如，超出對立即再現的要求，一些消息將不被保留或儲存)。在又一實施方式中，々某體可以可選地被標記用于只在時移模式中復查，且不能在接收到時立即被復查。
對于用戶的每個當前的或正在進行的會話，會話/消息管理服務20f進一步實現在任何時間媒體到接收客戶機12的發(fā)送，且接收客戶機12無縫地使這些消息與適當的會話相關，而不管接收者活動或不活動。
使用會話/消息管理服務20f，所有會話實質上是異步的。如果兩個用戶主動地參與給定會話，且在傳輸之間用戶控制的延遲最小，則體驗將是同步全雙工會話之一，如同當前的電話或VoIP會話一樣。如果用戶由于無論什么原因延遲其參與，則會話趨向于異步語音(或其它々某體)消息體驗。在可選實施方式中，會話可以可選地被標記為^義僅異步消息或僅僅同步消息。在這些情況的任一個中，會話不能在兩個模式之間移動，除非標記被重置。在標記被重置之后，會話再次可在接近同步(即，即時或實時)和異步(即，時移或語音消息)模式之間移動。
會話/消息管理服務20f以逐步的方式處理消息的傳輸和接收。當傳輸時，媒體可在消息被同時編碼、儲存和傳輸時產生。換句話說，消息的傳輸可與用戶產生i某體同時出現(即，當對其設備13講話或產生視頻時)。在接收側上，消息的接收、儲存和再現也都逐步出現。消息不需要在它們可被再現之前被全部接收到。消息的再現可與消息被傳送同時出現，直到剛好達到MTSD。進一步地，服務20f也能夠同時傳輸正在進行的消息并再現進入的消息。服務20f的逐步性質允許用戶參與即時會話，對會話的媒體同時儲存和流式化，用于以后取回和復查以及這里所述的其它功能。
如果用戶遺失早些時候的消息或巻入另一會話，通過會話/消息管理服務20f對消息進行的時移，允許用戶對會話"跟上即時"。該時移過程消除了用戶向其整個組或信道廣播使消息重復的請求的需要。較老的消息可在任何時間以可能較高的速度重放，以節(jié)省時間。用戶可容易在其消息中和各個消息內來回跳躍。復查過程可在消息-優(yōu)先級基礎上配置成可能跳過較低優(yōu)先級的消息。
在一個實施方式中，會話/消息管理服務20f也由特定的參與者(講話者)識別消息，且默認地混合被同時發(fā)送(MCMS-S)的會話消息。在可選實施方式中，用戶可分開復查會話的不同參與的講話者的傳輸。
會話/消息管理服務20f進一步允許在被添加到活躍的或存檔的會話的參與者中間共享會話。在一個實施方式中，任何添加到會話的參與者被提
供對會話的訪問，并有取回以前的會話消息用于復查的能力。在可選實施方式中，所添加的參與者被提供對只從新參與者加入的點開始的會話消息的訪問，而不是任何以前的會話消息。
會話/消息管理服務20f也負責管理用于控制存儲和流模塊24所執(zhí)行的所有再現任務的功能。這些任務包括適合地對運行應用程序12的設備 13再現媒體(例如，語音、視頻等)。這些再現任務包括但不限于混合消息(即，交迭的消息)的再現，以及根據用戶定義的標準的再現，例如播放加快、跟上即時、消除無聲和移除猶豫虛詞、頻移、以及在多方會話中將獨立的增益控制應用于各個發(fā)送者的能力。
D.1.2.7優(yōu)先級服務
優(yōu)先級服務20g是定義管理數據結構和過程的一組功能的模塊，其負責管理并保留用戶管理用戶所參與的連續(xù)會話(即，MCMS-C)的優(yōu)先級所需的所有信息。當用戶參與多個連續(xù)的即時會話時，用戶需要按優(yōu)先順序排列會話。當不同會話的消息準備同時再現時產生問題。算法用于確定消息被再現的順序，該順序考慮待再現的消息的可用性和用戶設置的優(yōu)先級。算法確定具有最高優(yōu)先級的可用消息首先被再現，而任何同時可用的消息^皮自動時移，恰好足以允許再現較高優(yōu)先級的消息。當再現時間變得可獲得時，系統將根據用戶的優(yōu)先級自動再現時移的消息。
D.1.2.8聯系人服務
聯系人服務20h是定義管理數據結構和過程的一組功能的模塊，其負責管理并保留驗證一個或多個聯系人并使一個或多個聯系人與會話相關聯所需的所有信息。當作為與多個聯系人相關的會話的一部分發(fā)送消息時，所有的聯系人都接收到該消息。
D.1.2.9在場/狀態(tài)服務
在場/狀態(tài)服務20i是定義管理數據結構和過程的一組功能的模塊，其負責管理并共享在系統的某些用戶和/或非用戶之間的在場和狀態(tài)信息。在各種實施方式中，為參與客戶機12的用戶所參與的會話的所有用戶和非用戶、聯系人列表中的所有用戶和非用戶、或預定域內的用戶(例如，公司或其它組織的成員)維持在場和狀態(tài)信息。這些例子只是例證性的，且不應被解釋為限制性的。在場/狀態(tài)服務模塊20i可管理和共享關于用戶和 /或非用戶的任何限定組的在場和狀態(tài)信息。
在場/狀態(tài)服務20i使用戶能夠監(jiān)控其它用戶的意圖、注意力及其對任何給定會話的時移延遲(即，他們對復查會話實況的消息落后到什么程度) 的狀態(tài)。在一個實施方式中，才是供了關于在場和狀態(tài)數據的可用性的隱私控制。在場/狀態(tài)模塊20i進一步控制使系統10能夠發(fā)送與用戶的行為和意圖匹配的消息的數據。例如，用戶可通過指定復查或不復查會話實況的意圖來指示其狀態(tài)。作為響應，根據用戶的意圖再現的命令，在場/狀態(tài)服務20i發(fā)出使"即時"或時移的消息。此外，用戶的意圖被會話的其他參與者共享。服務20i也能夠從用戶的行為推斷其它狀態(tài)值。在場和狀態(tài)信息也用于優(yōu)化網絡業(yè)務和帶寬，如下面更詳細描述的。
D丄2.10消息/信號爿良務
消息/信號服務20j是定義管理數據結構和過程的一組功能的模塊，其負責使用特殊的消息或可聽音向系統10的用戶發(fā)消息和發(fā)信號。特殊的消息或音可包括例如消息是即時的還是時移的、消息來自于誰的指示、優(yōu)
27先級以及其它因素的指示。消息/信號服務20j進一步具有下列能力(i) 發(fā)信號通知網絡上的用戶的在場或缺席，以及通知是否一個或多個用戶不再主動復查會話消息的能力；(ii)當其注意另一會話而根本不注意其設備 13時，"。向鈴，，或以其他方式通知另一用戶引起其注意；(iii)為當前不在網絡18上的用戶留下消息，從而下次個人再次連接到網絡18時立即復查該消息；(iv)產生警告發(fā)送者發(fā)送消息沒有被接收者接收到的可聽到的或可見的反饋，產生消息被接收者接收時的確認，和/或指示消息何時被接收者聽到的確認；以及(v)實現優(yōu)先級方案，其中可在會議或戰(zhàn)術呼叫時通知個人立即需要其注意力在呼叫上。該指示可傳達接收者多級別緊急事件和某種確認。
D.1.2.11再現和編碼
再現和編碼模塊21負責執(zhí)行MCMS應用程序20的所有再現任務。這些任務包括為運行應用程序12的設備13適當地再現媒體。
D.2存儲和流才莫塊
存儲和流模塊24支持下述很多功能和性能屬性。
使用存儲和流模塊24，消息傳輸本質上是"全雙工的"，使任一方能夠在任何時間發(fā)送消息，即使當另一方也在發(fā)送消息時，或如果另一方沒有空或以其他方式在使用中。存儲和流模塊能夠如在即時PSTN或VoIP 呼叫中一樣再現消息，或在時移消息模式中發(fā)送它們。它能夠優(yōu)化傳輸并根據用戶的愿望控制再現。
存儲和流模塊24維持與底層網絡18上的所有目標接收者(例如服務器16或其它設備13)的連接性，管理所有消息、信號和媒體傳輸，并優(yōu) 化在網絡18上的發(fā)送速度和帶寬利用以滿足用戶的即時性能要求，同時管理網絡質量和能力。模塊24適應并優(yōu)化與底層網絡18的質量和能力相稱的媒體發(fā)送。當可獲得底層網絡資源不充足時，所傳輸的媒體流的質量可能被降低。當帶寬變得可用時，所傳輸的媒體流的質量可能提高。除了對媒體質量的折衷以外，存儲和流功能可根據用戶意圖對在每個分組中傳輸的々某體的數量進行折衷，以如下所述實時地再現數據。通過根據底層網絡18的條件動態(tài)地控制媒體的發(fā)送速率，存儲和流模塊24被優(yōu)化以發(fā)送在接收時"足夠好，，再現的時間敏感的媒體，并為了存檔目的通過請求丟失的、低質量或損壞的分組的重傳的后臺過程，來保證々某體的準確或完整拷貝的最終發(fā)送。只要足夠的網絡資源存在以滿足
最低媒體質量水平，該重傳就不妨礙即時呼叫媒體的再現。系統10的客戶機12因此設計成在以相當大的可能等待時間為代價的^某體的準確或完整拷貝的發(fā)送與媒體的快速發(fā)送之間填補性能缺口，但不保證完整性。在本申請的上下文中，術語"足夠好"意指i某體的質量足夠，使得當它被再現時它是可理解的。"足夠好，，的概念因此是主觀的，且不應在絕對的意義上被解釋。例如，足夠好的某些媒體的質量水平可根據媒體的類型、環(huán) 境和其它因素變化。
存儲和流模塊24進一步持久地儲存通過利用設備13產生的、或以其它方式使用設備13發(fā)源的、或通過網絡18從其它設備13和/或用戶接收的所有媒體。將該媒體儲存在運行客戶機12的設備13上有一些重要的優(yōu) 點(i)它使用戶能夠為另一方留下消息，即使在發(fā)送者和/或接收者沒有空或網絡連通性差時。在不充足的帶寬的情況下，消息將與可有效地使用可用帶寬一樣快得被傳輸。在沒有連通性的情況下，只要網絡連通性變得可用，就將消息排隊用于傳輸，導致時移發(fā)送；(ii)用戶能夠暫停、重放、快進并對于正在進行的會話跟上即時，以及取回和復查纟皮存檔的以前會話的消息；以及(iii)它實現在系統IO上的數據有效載荷的優(yōu)化，并提高了相對網絡帶寬和可能不時地出現的連通性問題的系統適應性。
存儲和流模塊24還負責適當地混合消息以產生交迭的消息(由會話或背景噪聲中的講話者的正常交迭產生)，模擬實際會話，其中多方正在講話；再現音頻媒體的轉錄或轉換；根據很多用戶定義的標準調節(jié)媒體的再現，該標準包括播放加快、消除口語詞之間的無聲間隙、移除猶豫虛詞、以及頻移；以及在多方會話中將獨立的增益控制應用于各個發(fā)送者的能力；以及其它可能的再現選項。
存儲和流模塊24管理其本身和MCMS之間的控制和信息消息。
D.2.1持久性無限消息緩沖區(qū)(PIMB)持久性無限消息緩沖區(qū)或PIMB 30是用于其儲存和取回的一組附有索
引的(即附有時間戳和順序編號的)J 某體有效載荷數據結構和系統。在一
個實施方式中，PIMB 30中的數據是任意持久性的，意味著它實質上永遠可用或至少直到系統用完儲存。各種保持速率和策略可用于有效地利用存儲資源。對PIMB30的物理存儲實現方法存在很多可能的實現方法，包括但不限于RAM、閃存、硬盤驅動器、光學介質或其某種組合。PIMB30 在尺寸上也是"無限的"，意味著可存儲在PIMB 30中的數據的量并不內在地被限制。無需此限制與數據一被再現就丟棄數據的現有抖動緩沖區(qū)技術比較。在一個特定的實施方式中，使用與用于持久儲存的硬盤驅動器連接的小和相對快的RAM高速緩沖存儲器可實現PIMB 30。當超過PIMB 30 的物理儲存容量時，數據保持在服務器16上(如下所述)，用于以后按需取回。諸如最近最少使用或先進先出的用戶標準或置換算法用于控制儲存在PIMB 30中的實際數據和保持在服務器16上的或在任何時刻被存檔的數據。P1MB 30進一步提供系統存儲器的屬性和數據庫的隨機存取屬性。任何數量的會話不管其持續(xù)時間或每個會話中消息的數量如何，都可被儲存并以后取回用于復查。此外，與會話消息相關的元數據例如其創(chuàng)作者或其長度也可存儲在PIMB 30中。在可選實施方式中，附有索引的媒體有效載荷和其它數據可在指定的一段時間(例如30天)內^皮儲存。一旦々某體的壽命超過指定的期限，有效載荷和數據就被丟棄。在另一實施方式中，可根據包含有效載荷的消息的發(fā)送者和/或接收者或與有效載荷相關的會話或消息的主題來丟棄有效載荷。在又一些其它實施方式中，有效栽荷和數據可被暫時標記，意味著超過對立即再現的要求，消息將不儲存在P1MB 30中。
D.2.2數據和網絡質量存儲器
數據和網絡質量存儲器(DNQS) 32是用于存儲關于從PIMB30讀取或寫到PIMB 30的媒體有效載荷和Vox分組的信息的數據存儲器。
D.2.3 PIMB寫入器
PTMB寫入器28為了兩個基本目的將數據寫到PIMB 30。 PIMB寫入器28寫入來自運行客戶機12 ("編碼接收")的設備13上的媒體捕獲設備(例如，麥克風或攝像機)的數據。PIMB寫入器28也將從其它客戶機12 通過網絡18接收的數據寫入PTMB 30中("凈接收(Net Receive)")。
D.2.3.1編碼接收
為了從設備13捕獲媒體，PIMB寫入器28包括編碼接收器28a和數據存儲器28c。當用戶對著麥克風講話或使用例如設備13產生視頻圖像時，硬件34接收原始音頻和/或視頻信號并將其提供到編碼接收器28a,編碼接收器28a將信號編碼成附有索引的々裝體有效載荷(此后有時簡單地稱為"有效載荷")。數據存儲器28c將有效載荷儲存在PIMB30中。其它類型的媒體例如傳感器數據以類似的方式轉換成有效載荷。
D.2.3.2凈接收
為了將通過網絡18接收的媒體儲存在PIMB 30中，PIMB寫入器28 的凈接收功能包括凈接收器28d、數據緩沖器28e、數據存儲器28f、數據質量管理器28g和網絡質量管理器28h。凈接收器28d通過網絡18接收 Vox分組。數據緩沖器28e將接收到的Vox分組置入其自己的適當序列中，并阻止進入的Vox分組的重現延遲至少最小時移延遲(MTSD )。數據存儲器28f將分組轉換成附有索引的媒體有效載荷，并將附有索引的々某體有效載荷存儲在PIMB 30中。當有效載荷被儲存時，數據質量管理器(DQM) 28g記錄任何遺失或有缺陷的分組。如果分組遺失或有缺陷，則DQM28g 安排對通過網絡18重傳的請求。發(fā)送設備通過重發(fā)遺失或有缺陷的分組來回答。最終這些分組轉換成附有索引的媒體有效載荷，并儲存在PTMB 30 中。通過取回遺失或有缺陷的分組，發(fā)送者的消息的"準確"拷貝最終儲存在PIMB 30中。遺失和/或有缺陷的分組的重傳不實時地延遲消息的再現，假定被發(fā)送的分組具有"足夠好"的質量和數量。如果不足的網絡資源可用于支持新的"即時，，數據以及重傳，則重傳請求可被DQM 28g延遲。
D.2.4 PIMB讀出器
PIMB讀出器26為了兩個基本目的從PIMB 30讀取數據。當為本地客戶機12再現數據PIMB ("再現")時，PIMB讀出器26訪問PIMB30。當客戶機12通過網絡18傳輸數據("傳輸")時，數據從PIMB 30被讀取。 D.2.4.1再現
為了在客戶機12上再現消息，PTMB讀出器26包括數據優(yōu)先器26a、數據取回器26b、分組損失補償/內插器(PLC/內插器)26c、數據混合器 26d和數據再現器26e。優(yōu)先器26a通過建立可能被再現的消息的有順序隊列，按優(yōu)先順序排列待再現的數據。它使用用戶配置的優(yōu)先級用于再現連續(xù)的會話(MCMS-C)。此外，數據優(yōu)先器利用媒體數據在由MTSD所施加的限制內再現的可用性、用戶的當前注意力、以及用戶限定和暗示的意
荷。PLC/內插器26c使用已知的分組損失補償和內插算法對取回的有效載荷執(zhí)行分組損失補償和內插。要使用的特定方法取決于使用中的媒體編解碼器以及其它公知的參數。混合器26d用于將來自單個會話的多個消息的數據流適當地混合在一起。例如，如果會話的兩個或多個參與者同時講話，則混合器26d混合消息，產生兩個參與者同時講話的效應。在可選實施方式中，用戶具有一次復查來自一個參與者的多個流的選擇。如果會話中只有一個參與者講話，則混合器26d可只傳遞單個消息流，而不執(zhí)行任何混合。再現器26e從混合器模塊26d獲得數據，并將其轉換成適合于硬件驅動器34的形式。硬件34接著根據媒體的類型驅動設備13的揚聲器或視頻顯示器，產生語音、視頻或設備13上的某個其它可聽得見和/或可看得見的通知。
D.2.4.2
為了準備用于通過網絡18從客戶機12傳輸的消息，PIMB讀出器26 包括數據優(yōu)先器26f、分組質量管理器(PQM)26g、數據取回器26h、打包器261、發(fā)送器26j和確認器26k。數據優(yōu)先器26f按優(yōu)先順序排列用于通過網絡18傳輸的消息。使用與可用于傳輸的有效載荷有關的MCMS參與者屬性、網絡連通性和帶寬條件以及超出下一中繼從而即時或時移地再現的用戶意圖、且在一些實施方式中傳輸捆綁的可能優(yōu)化，來確定優(yōu)先級，在所述一些實施方式中，到任何給定的下一網絡中繼的多個分組是可用的。按優(yōu)先順序排列的分組接著使用PQM26g被優(yōu)化，這確保對即時消息的"足夠好"數據質量的及時發(fā)送，同時最小化實時帶寬，如下面更詳細
描述的。數據取回器26h從PIMB 30取回適當的有效載荷。打包器26i將有效載荷裝配成Vox分組，其接著由發(fā)送器模塊26j通過網絡18發(fā)送。當接收者接收到Vox分組時，確認通過網絡18被發(fā)送回確認器26k，用于通知發(fā)送用戶消息已到達其目的地。
D.2.5分組質量管理器
PQM 26g具有幾個優(yōu)化目標(i)時間敏感的媒體的充分拷貝的及時發(fā)送(對于再現"盡快從而足夠好")；(ii)可用帶寬的有效使用，意味著使用底層網絡的最佳傳輸頻率、有效載荷質量和分組大??；以及(iii)當網絡條件變化時動態(tài)地調節(jié)或改變傳輸頻率、有效栽荷內容、有效載荷質量、分組大小等的能力。
D.2.6網絡質量管理器
在網絡傳輸的接收側上是網絡質量管理器28h (NQM )。 NQM負責為將媒體發(fā)送到客戶機12的每個發(fā)送者觀察網絡性能的特定屬性，將抖動、損失和吞吐量的期望值與其實際值比較。這用于為每個發(fā)送者計算網絡質量評級(NQR )。該NQR用于指示發(fā)送者空閑性和接收設備的用戶的會話活躍度。
D. 2.7數據質量管理器
數據質量管理器28g通過觀察分組損失、抖動和吞吐量，測量通過網絡接收到的數據的質量。DQM28g為了三個目的使用這些測量(i)將接收報告發(fā)送回發(fā)送者；(ii)可選地使用那些接收報告來請求某些數據的重傳；以及(iii)使NQM 28h可利用這些測量。
E. 服務器結構
參考圖3,其為在服務器16上運行的應用程序78的結構圖。應用程序78在很多方面類似于客戶機應用程序12，并包括MCMS服務器應用程序80、 MCMS數據庫82、存儲和流模塊84、 PIMB 85、數據和網絡質量存儲器(DNQS ) 86、管理在MCMS服務器應用程序80與存儲和流模塊 84之間來回的消息和信號的MCMS-SAS消息處理模塊87a和87b、存檔/
33取回器88、和檔案庫89。應用程序78還包括驗證-加密-保護模塊40和通信協議模塊44。
MCMS服務器應用程序80是包括MCMS數據庫模塊20a、存儲和流(SAS)模塊20b、消息/信令模塊20c、會話/消息管理服務20f、優(yōu)先級服務20g、聯系人(包括用戶和驗證)服務20h、在場/狀態(tài)服務20i和消息/信號服務20的多層結構。應用程序78的前述模塊和服務類似或等同于與客戶機12具有相似的參考數字的模塊和服務，因此不在這里詳細描述，除了一個明顯的例外。在各種實施方式中，MCMS服務器應用程序80以及存儲和流模塊84，包括MCMS數據庫82，配置成在應用程序的一個實例中支持很多用戶。所述一個實例還可配置成支持多個域，其中每個域被定義為一組用戶(即，公司或屬于共同的組織的其它用戶組)。該結構允許服務器16上的每個應用程序78為多個用戶(或域)服務，其中每個用戶(或域)對其他用戶是不可見的。此劃分被稱為"多租用(multi-tenancy)"。
服務器存儲和流模塊84執(zhí)行凈接收和傳輸的功能。對于凈接收功能，模塊84包括凈接收器28d、數據緩沖器28e、數據存儲器28f、數據質量管理器(DQM)28g和網絡質量管理器28h。對于傳輸功能，模塊84包括數據優(yōu)先器26f、分組優(yōu)化器26g、數據取回器26h、打包器261、發(fā)送器26j和確認器26k。存儲和流模塊84的前述元件類似或等同于與客戶機12具有相似參考數字的^^莫塊和服務，因此不在這里詳細描述。
因為服務器16不直接與用戶進行交互作用，不需要提供在客戶機12的存儲和流模塊24中設置的編碼和再現功能。MCMS應用程序80當在服務器16上運行時不直接與用戶進行交互作用。因此，不需要用戶接口和用戶接口 API模塊和服務20e和20d。
每個服務器16上的應用程序78可能為多個租戶服務，意味著它為系統10的多個用戶服務。服務器應用程序78的PIMB85因此明顯較大，并用于存儲多個用戶的媒體有效載荷，這與PIMB30不同，PIMB30用于只儲存僅僅一個用戶的所產生或接收到的有效載荷。存儲和流^^莫塊84的主要目的是接收客戶機12所傳輸的消息并將消息傳輸到其它客戶機12。當消息^皮接收到時，它們儲存在PIMB85中并直接根據系統配置沿著到預期
34接收者或到接收者的路徑傳輸到網絡層14的下一服務器16(即，下一 "中
繼")。存檔取回器88負責將儲存在PTMB 85中的媒體有效載荷在檔案庫89中存檔。當PIMB 85中的物理空間用完時，PIMB 85中的媒體有效載荷移到檔案庫89,其為大容量存儲設備。在各種實施方式中，儲存在PIMB 85中的有效載荷可根據用戶定義的標準和/或任何已知的置換算法例如先進先出(FIFO)或最近最少使用(LRU)被存檔。應注意，為了簡單起見在圖1中只示出一個服務器16。應理解，在實際實施方式中，多個服務器或"服務器群"可用于具有大量用戶的網絡。
術語"持久"和"無限"用于描述PIMB30,且PIMB85不應照字面被解釋為絕對術語。用戶可能希望無限地儲存被認為重要的一些消息。在其它情況下，例如兩個朋友之間的隨意聊天，消息可在某個時間段之后被刪除以節(jié)省空間。根據本發(fā)明的各種實施方式，可使用由系統10設置的或由用戶配置的不同的保留策略。詞"無限"的使用指沒有對PIMB強加任何預設時間邊界。這與當前的抖動緩沖器系統形成對照，其在媒體被再現之后丟棄它。術語"持久"和"無限"因此應廣泛地被解釋為意指PIMB30和PIMB 85對時間范圍和可存儲在其中的消息的數量沒有內在限制。
在持久性存儲介質中給會話消息存檔有很多優(yōu)點。語音消息和其它媒體可按需要被組織起來、編索引、搜索、轉錄、翻譯和復查。語音以及其它士某體因此變成可由用戶和組織管理的資產。這些^C體資產對公司、第一出動人員、警察和火警部門以及軍隊具有價值。
F. Vox協議和附有索引的媒體有效栽荷
如上所述，Vox協議由存儲和流模塊24使用來支持有效載荷傳輸、存儲和優(yōu)化的所有方面。Vox分組是設計成封裝在傳輸分組或網絡18的底層技術的傳輸分組內部的有組織的消息格式。該布置明顯提高了系統10的靈活性。通過將Vox分組嵌入現有的傳輸分組中，與定義"Voxing"應用程序的新傳輸層不同，系統10利用在現有電信基礎設施上運行的基于當前分組的通信網絡。因此不需要產生用于處理Vox分組的新網絡結構，從而利用這里所述的系統和方法的所有好處。
參考圖4A，其示出Vox分組95的一般格式結構。Vox分組95的格式包括用于類型、子類型、長度和有效載荷的字段。Vox分組的不同類型包括驗證、信令、媒體有效載荷、媒體多路復用(一個消息)和媒體多路復用(多個消息)。子類型字段用于表示驗證、信令或^^體類型消息的不同類型。驗證消息的可能的子類型包括用于關鍵字交換和驗證所必需的那些子類型。信令消息的可能的子類型包括注冊、路由、消息建立和網絡管理。媒體消息的可能的子類型包括不同的編解碼器類型和不同的有效載荷聚集技術。長度字段限定有效載荷的總長度或大小。有效載荷字段包含分組
95的媒體或實際有效載荷。
參考圖4B，其示出說明封裝在網絡18所使用的示例性協議中的Vox分組95的圖示。在本例中，Vox分組95分別嵌入底層UDP、 IP和以太網傳輸分組96中。以這種方式，Vox分組95可在網絡18的底層UDP、 IP和以太網層中傳輸。這是分組網絡所使用的標準協議封裝技術。
參考圖4C,其示出說明封裝在UDP、 IP和以太網97中的媒體多路復用Vox分組95的圖示。在本例中，Vox分組95包括媒體類型字段、媒體子類型字段、長度字段、消息1D字段、時間戳字段、序列1D字段和媒體有效載荷字段。
參考圖4D，其示出附有索引的媒體有效載荷98的格式。附有索引的媒體有效載荷包括子類型字段、長度字段、消息標識符(ID)字段、時間戳字段、序列標識符(ID)字段和媒體有效載荷的字段。
Vox分組95封裝到底層網絡的傳輸分組中允許媒體、消息和會話每個都由多個屬性限定。
當4某體在設備13上產生或以其他方式起源時，它一般是基于時間的，意指它隨著時間的過去以某種有意義的方式改變。例如當人參與會話時，他們講的詞集合在一起成為句子或語句，其可隨著時間的過去變化，且因而形成的數據(流和分組)將隨著時間的過去維持相同的變化。類似地，視頻(與靜止的照片不同)以及GPS或其它傳感器數據將隨著時間的過去變化。不管類型或它如何起源，媒體被分割并置于多個Vox分組95的有效載荷中。分組接著分別在傳輸和接收設備13處以流(即，流媒體)的形式被連續(xù)地儲存、傳輸、接收、儲存并#現。因為每個分組95附有索引、附有時間戳并被給出序列標識符，單獨分組可被分割成消息。通過連續(xù)將單獨的消息連接在一起，可構成會話。
系統10的一個進一步的獨特的方面是客戶機12所產生的^ 某體有效載
荷被儲存在多個位置。有效載荷不僅儲存在產生設備13的PIMB 30中，而且儲存在服務器16的PIMB 85和接收設備13的PIMB 30中。該基本特征使很多上述Voxing功能實現或變得可能，并給系統10提供適應性和可操作性，即使當網絡條件差時或當會話的參與者沒有連接到網絡時。
G.與底層電信協議的互操作性
系統10預定在各種現有的通信網絡18例如互聯網、固定PSTN類型的電3各網絡以及移動或蟲奪窩電話網絡或其組合上運行或^皮分層。系統10圍繞著在系統10中的不同客戶機12和服務器16之間移動很多小單位的信息(即，Vox分組)的概念而纟皮-沒計。雖然Vox分組可在大小上變化，根據其功能和有效載荷，它們對底層網絡層都表現為相同類型的數據。在一個實施方式中，系統10為IPv4網絡例如互聯網而被設計和優(yōu)化，但也可支持其它類型的網絡。為了該文件的目的，術語"IP"應被理解為意指IPv4 、 IPv6或互聯網協議的任何其它當前或未來的實現。
參考圖5，其示出在設備13上運行并通過共享的IP網絡100與服務器16進行通信的客戶機12的圖示。如所示，客戶機12通過第一互聯網服務器提供商A耦合到共享的IP網絡100,且服務器16通過第二互聯網服務提供商B耦合到共享的TP網絡100。在通信期間，Vox分組95 (在附圖中被設計的"VP" ) ^皮封裝在UDP/IP分組中，接著如本領域中公知的在其它IP協議分組中交錯(interleave)，并在整個共享的IP網絡100中從客戶機12傳輸到服務器16，或反之亦然。如公知的，每個較低分組層封裝直接在其上的層的整個分組。分組也可在兩個服務器16之間以類似的方式發(fā)送。消息通過共享的IP網絡100從啟用一個客戶機12的設備13發(fā)送到另一設備。在每個中繼時，Vox分組95嵌入底層IP協議中并被傳輸，直到它們達到目標目的地。
圖5的圖示僅僅是示例性的，為了說明只示出連接到網絡100的單個客戶機12和服務器16。在系統10的實際實施方式中，大量客戶機12和一個或多個服務器16 —般連接到共享的IP網絡100。注意到客戶機12和服務器16沒有排它地使用IP網絡100也是有用的。在所示例子中，通過互聯網提供商A耦合到網絡100的HTTP客戶機可使用HTTP服務器來回發(fā)送分組，其通過第三互聯網提供商C耦合到網絡IOO。系統IO不控制嵌入IP分組中的VP橫穿網絡100的方式。更確切地，橫穿并共享網絡IOO 的所有分組都才艮據底層共享的IP網絡100的標準程序這么做。
參考圖6，其示出基于"電路"的網絡104,例如GSM移動電話網絡。電路網絡104耦合在設備13上運行的客戶機12和服務器16之間。一旦在客戶機12和服務器16之間建立電路，系統10就將Vox分組(Vpl、 VP2、 VP3、 VP4、 VP5等)分層到網絡104所使用的底層分組上，并在整個網絡104中傳輸它們，產生"虛擬Vox"電路。Vox分組連續(xù)橫穿電路網絡104, —般使用本領域中公知的用于通過電路網絡傳輸數據的間隔或成幀數據。此外，分組結構參數例如有效載荷大小和所包括的首部字段的數量可用于利用每個分組開銷的缺乏，并增加在整個網絡104中的數據傳輸的速度和/或效率。應再次注意，為了簡單起見，只有單個客戶機12和服務器16被示為連接到網絡104。然而應理解，客戶機12和服務器16之間的額外的電路以及其它部件可同時通過網絡104來建立。網絡104因此不專用于Vox分組的傳輸，而更確切地其可與其它類型的網絡業(yè)務共享。
參考圖7，其示出說明與第一網絡A相關的啟用第一客戶機12A的設備13A和與第二網絡B相關的啟用第二客戶機12B的設備13B之間的通信。網絡A和B每個還分別包括網關服務器16A和16B。網關服務器對 16A和16B便于兩個網絡A和B之間的通信，允許設備13A和13B彼此通信。在各種實施方式中，網絡A和B每個可為任何類型的網絡。例如，每個網絡A和/或B可為IP網絡、電路類型的網絡、或無線或蜂窩網絡(即， CDMA、 GSM、 TDMA等)。橫跨兩個網絡A和B的服務器16被認為是網關服務器，因為它們在兩個網絡之間按M^定路線傳輸業(yè)務或用作"門"。
使用系統10，存在優(yōu)化系統性能的幾個底層網絡交互作用考慮因素。這些考慮因素包括例如解析Vox分組95將被發(fā)送到的底層地址、任何已發(fā)送的Vox分組的完整性、以及可在整個給定網絡或網絡的組合上發(fā)送的單個消息的最大傳輸單元(MTU)的管理的因素。
目標客戶機12的地址需要是已知的，以便底層網絡將Vox分組95發(fā) 送到正確的位址。對于IPv4網絡，該地址一般為IPv4地址，其為唯一地識別網絡中的主機的32位數字。對于其它聯網技術，該地址可為某個其它類型的標識符。IP網絡使用域名系統(DNS)來將人可讀的名稱解析成 IP地址，并使用地址解析協議(ARP)將IP地址解析成物理地址。不管底層聯網技術如何，系統10都使用上述或其它已知的編址方案以將Vox分組95發(fā)送到正確的位置。
如同幾乎任何基于分組的通信系統一樣，如果底層網絡不能夠發(fā)送其中封裝有Vox分組的分組，則所傳輸的Vox分組可能不被發(fā)送到其寄送的位置。大多數分組網絡不通知發(fā)送器何時丟下分組。相反，它們依賴于發(fā) 送器和接收器來通知并補償任何丟下的分組。系統10設計成使用這些接收器接收報告消息以協調此分組丟失管理。如果底層網絡能夠通知發(fā)送者丟失或丟下的分組，則系統10在其重傳協議中利用該信息。
MTU的管理是確定可在整個網絡中發(fā)送的最大傳輸單元(即，單個消息的最大大小)。對于基于分組的網絡，底層網絡利用MTU。對于電路交換網絡，MTU可為網絡效率和性能的可調參數。因此在大多數情況下，底層網絡利用或確定可^皮有效地傳輸的Vox分組95的最大大小。例如對于IP網絡，如果有效載荷超過MTU，則分組可凈皮分段，但遭受相當大的性能損失。對于以太網網絡上的IP，傳輸設備具有1518個字節(jié)的MTU，如以太網所實施的。最大的IP分組必須為以太網首部留下空間。最大的 UDP分組必須為IP和以太網首部留下空間，且可例如在以太網上產生的最大Vox協議是以太網MTU ( 1518 ) -IP首部(20 ) -UDP首部(8 ) =1490 個字節(jié)。因為Vox協議將具有其自己的首部，實際Vox媒體有效載荷將小于以太網網絡上的1490個字節(jié)。對于吉比特(Gigabit)以太網，MTU可大得多，但將使用類似的規(guī)則確定。
在完全基于分組的網絡中，有MTU的兩個可能的值，本地鏈路MTU 和路徑MTU。確定本地鏈路MTU產生有效地發(fā)送到本地網絡接口的Vox 分組的最大大小。路徑MTU產生可完整無損地一直發(fā)送到遠程節(jié)點的Vox分組的最大大小。如果發(fā)送者通過以太網被連接，則Vox分組可通過在途中具有較小的MTU的各種其它系統傳遞到接收者。到目的地的路徑上的
較小MTU需要被發(fā)送者解析和知道。在IP世界中，存在用于發(fā)現稱為"路徑MTU發(fā)現，，的最小MTU的標準程序。對于其它類型的網絡，可使用等效的程序。再次，因為系統10在其它網絡的頂部一皮分層，可使用上面MTU 算法中的任何一個。
H.操作流程圖
H.l存儲和流
參考圖8A到8F,提供了一系列流程圖來示出分別在客戶機12和服務器16上的存儲和流模塊24和84的操作。圖8A示出將消息傳輸到第二客戶機122的第一客戶機12，的操作的序列。圖8B和8C示出發(fā)送客戶機 12!上的PIMB寫入器28和PIMB讀出器28的操作。圖8D和8E示出接收客戶機122上的PIMB寫入器28和PIMB讀出器26的操作。圖IOF示出服務器16上的存儲和流模塊84的流程圖。
在圖8A中，在設備13!上運行的客戶機12!的用戶發(fā)起待傳輸的媒體。媒體可用很多不同的方法被發(fā)起于設備13，以便用戶通過對著麥克風講話而產生媒體或在其設備13上產生視頻內容。媒體也可由設備13通過接收傳感器數據例如GPS信息或溫度讀數而被發(fā)起。無論媒體如何被發(fā)起，媒體都被PIMB寫入器28 (框130 )編碼，PIMB寫入器28將媒體轉換成附有索引的媒體有效載荷，并將其存儲在客戶機12i上的PIMB 30中(框 132)?？蛻魴C12,上的PIMB讀出器26從PIMB 30讀出有效載荷，產生 Vox分組，并通過網絡18將分組傳輸到接收客戶機122 (框134)。沿著發(fā) 送客戶機12!和接收客戶機122之間的路徑的每個服務器16將所傳輸的有效載荷存儲在PIMB 85中，并將Vox分組傳輸到下一中繼(框133)。在接收客戶機122， PIMB寫入器28的凈接收功能將Vox分組轉換成附有索引的i某體有效載荷(框136 ),并將有效載荷存儲在客戶機122的PIMB 30 中(框138)。客戶機122上的PIMB讀出器26的再現模塊將從PIMB 30 讀取的有效載荷信息再現為適合于人使用的介質例如音頻或視頻(框 140)。下面關于圖IOB到10E更詳細地描述這些步驟中的每個。
40在圖8B中，詳細提供了由PIMB寫入器28執(zhí)行的編碼接收功能序列 (圖8A的步驟130 )。在初始步驟130,中，運行客戶機12!的設備13的使用產生待傳輸的々裝體。如上所述，可通過對著麥克風講話、使用攝像機接收傳感器數據或通過某種其它^某體產生部件來產生4某體。在下一步驟1302 中，編碼接收器28a給媒體編碼并產生附有索引的媒體有效載荷(步驟 1303 ),該有效載荷接著由數據存儲器28c儲存在PIMB 30中(步驟132 )。
在圖8C中，詳細提供了由客戶機12!上的PIMB讀出器26執(zhí)行的傳輸功能的序列(圖8A的步驟134)。在決策環(huán)13+中，PIMB讀出器26 的傳輸功能連續(xù)檢查以查看是否待傳輸的附有索引的媒體有效載荷被寫到PIMB 30中并可用于傳輸。如果這樣的有效載荷在PIMB 30中可用，則數據優(yōu)先器26f使用MCMS參與者屬性信息按優(yōu)先順序排列應首先被發(fā)送的有效載荷，如在步驟1342中所示的。關于最高優(yōu)先級有效載荷的信息被傳遞到運行PQM的分組優(yōu)化器模塊26g(步驟1343 )，如下面關于圖9A-9C 更詳細描述的。適當的有效載荷接著由數據取回器26h從PIMB 30取回(步驟1344 )，并由打包器26i轉換成Vox分組95 (步驟1345 )。 Vox分組95 接著通過網絡18由發(fā)送器26j發(fā)送到接收客戶機122 (步驟1346 )，接收客戶機122發(fā)送回反映被接收到的分組的特性(損失、抖動、吞吐量)的接收報告。這些接收報告給PQM提供計算給定的接收方的MABR所必需的信息。前述過程對每個傳輸環(huán)重復，如從傳輸步驟到流程圖的頂部的返回箭頭所指示的。
在上述實施方式中，媒體被編碼、存儲在PIMB30中，并接著通過網絡以串行方式傳輸。在可選的實施方式中，被編碼的媒體可儲存在PIMB 30 中，并通過網絡并行地傳輸，意味著兩種功能實質上同時出現。
在圖8D中，示出了在接收客戶機122上的PIMB寫入器28的凈接收功能的序列(圖8A的步驟136)。在初始步驟136,中，凈接收器28d通過網絡18接收Vox分組95。數據存儲器28f將分組轉換成附有索引的4某體有效載荷(步驟1363 )，這些有效載荷被儲存在PIMB 30中(步驟1364 )。當有效載荷被儲存時，運行數據質量管理器(DQM)。 DQM28g檢查遺失或破壞的分組，確保所傳輸的數據的準確拷貝的最終存儲，并將關于網絡的條件的接收報告發(fā)送到發(fā)送器。下面關于圖9D到9F更詳細地描述DQM 28g的這些功能中的每個。
在圖8E中，示出了在接收客戶機122上的PIMB讀出器26的再現功能的序列(圖8A的步驟140 )。在初始步驟14(h中，數據優(yōu)先器26a按優(yōu) 先順序排列待再現的附有索引的^;某體有效載荷，如由MCMS應用程序20 使用MTSD信息以及包括用戶意圖和注意力狀態(tài)的用戶狀態(tài)和在場信息所確定的。優(yōu)先的有效載荷接著由數據取回器26b從PIMB 30讀取(步驟 1402 )。 PLC/內插器26c使用已知的分組損失補償和內插算法，根據使用哪個編解碼器，來對取回的有效載荷執(zhí)行分組損失補償和內插(步驟1403 )。在下一步驟中，如果兩個或多個參與者同時在同一會話中產生々某體(例如，都同時講話)，則混合器26d混合會話的多個消息(步驟1404)。再現器26e 從混合器26d再現數據流(步驟1405 )，為接收的用戶產生聲音、視頻或其它媒體(步驟140J。
在圖8F中，示出了服務器16從網絡18中的前一中繼接收Vox分組，儲存、存檔并傳輸Vox分組到下一中繼的序列。在初始步驟中，服務器16 執(zhí)行PIMB寫入器的凈接收功能(類似于圖8D),以將接收到的數據的附有索引的4某體有效載荷存儲在PIMB 85和檔案庫89或服務器16中。服務器16也執(zhí)行PIMB寫入器的傳輸功能(類似于圖8C )，以將接收到的分組轉發(fā)到網絡18上的下一中繼上。以這種方式，由發(fā)送客戶機12i產生的媒體的拷貝被接收、存儲并沿著到接收客戶機122的路徑的每個中繼被發(fā)送。
在前述實施方式中，接收到的附有索引的媒體的記錄儲存在服務器16 的PIMB91中，并以串行方式傳輸到下一中繼。在可選的實施方式中，接收到的附有索引的有效載荷可儲存在PIMB91中，并實質上同時傳輸到下一中繼。發(fā)送和接收設備13的PTMB 30上的媒體的存儲都考慮媒體的逐步傳輸和再現。在發(fā)送側上，當正接收于發(fā)送設備上起源的媒體時，它可通過網絡被逐步發(fā)送。在各種實施方式中，在被編碼的々某體存儲在PIMB 30 中之前、之后或實質上相同的時間，可逐步傳輸該媒體(而不管它如何被發(fā)起)。在接收側上，當進入的媒體通過網絡被接收時，它也可被逐步再現，假定用戶選擇在接近實時的模式中復查媒體。在各種實施方式中，在
42進入的^某體存儲在接收設備13的PIMB 30中之前、之后或實質上相同的時間，可逐步傳輸該媒體。如果接收到的媒體將在時移模式中被復查，則
媒體從PIMB 30被取回(或如果在本地PIMB 30上被代替，則可能為服務器16上的PIMB85)，用于以后在用戶所指定的時間復查。
在本申請的上下文中，術語"逐步的"或"逐步地"意味著被廣泛地解釋，且通常意指根據數據的可用性連續(xù)處理數據流。例如，當媒體在設備13上產生或另被發(fā)起時，該媒體的逐步編碼、存儲、打包和傳輸是連續(xù)的，只要媒體是可用的。當人講話時，該媒體在人講話的持續(xù)時間內逐步或連續(xù)地被編碼、存儲、打包和傳輸。當人暫?；蛲Ｖ怪v話時，沒有媒體要逐步處理。當人再次重新開始講話時，4某體的逐步處理重新開始。在接收側上，當媒體被接收時(即，可用)，媒體也被逐步處理。在媒體被接收時，它被連續(xù)地存儲。當媒體在接近實時的模式中時被接收到或在時移模式中從存儲器接收時，它也將被繼續(xù)再現。雖然在語音的背景下提供了上面的解釋，應理解，可按類似的方式逐步處理所有類型的纟某體。此外，媒體的逐步處理不一定必須以時間索引的順序被逐步處理。更確切地，媒體以其被接收的順序被處理。如果在一個實施方式中不按索引順序接收媒體，則媒體以其被接收的順序被逐步處理，并接著在PIMB30中組織成附有索引的序列。在可選的實施方式中，接收到的々某體可組織成其附有索引的序列，并接著纟皮逐步再現。
H.2 POM操作流程圖
PQM26g依賴于稱為最大可用比特率(MABR)的度量，最大可用比特率是在發(fā)送和接收節(jié)點對之間的實際傳輸容量或帶寬(即，在給定時間點網絡的容量的測量)的連續(xù)計算的近似。當即時網絡條件變化時，MABR 被更新。在計算MABR中考慮網絡吞吐量、分組損失和抖動的有規(guī)律的測量。在可選實施方式中，也可根據一天的時刻、網絡類型、其它條件或參數人工設置或限制MABR。
PQM也考慮接收者的意圖以優(yōu)化時間敏感性的傳輸。如果(i)接收者的意圖是"即時"或在接近實時的才莫式中復查傳輸，或(ii)接收者希望立即復查由于某個原因當前沒有儲存在其設備13上的消息(例如，消息以前儲存在檔案庫89中)，則傳輸被認為是時間敏感的。接收者的意圖可通過接收者的行為推斷出，或接收者可設置或以其他方式指定其意圖。另一方面，如果接收者的意圖是在時移模式中復查消息，則傳輸被認為不是時間敏感的。接收者在即時或時移模式中復查傳輸的意圖至少部分地限定傳輸的"時間性要求"。在各種其它實施方式中，在限定傳輸的時間性要求時也可考慮例如傳輸的緊急性或優(yōu)先級的因素。
在發(fā)送者和接收者對之間網絡路徑中的節(jié)點也需要關于接收者的意圖狀態(tài)一致。如果一個目標接收者指示時間性，意味著他們希望立即或即時復查傳輸，則在網絡上沿著發(fā)送者-接收者路徑的所有中間節(jié)點需要有相同的時間性要求，而不管其他接收者的要求如何。每個中間節(jié)點的時間性要求因此依賴于傳輸被發(fā)送到的接收節(jié)點。這種依賴性對于網絡傳輸路徑中的目標節(jié)點有時稱為"要求的聯合"。
PQM進一步考慮每個被調度的消息有效載荷傳輸的理想比特率或 "IBR"。對于時間敏感的傳輸，根據實質上實時或即時通信所需的打包率來計算IBR (在這里稱為實時比特率或RTBR)。例如對于語音，包含20 毫秒的音頻數據的每20毫秒分組的打包率被認為是用于進行即時會話的可接受的IBR。以每秒千比特為單位的這樣的系統的RTBR將是音頻有效載荷數據的1秒的大小加上將為傳輸而產生的所有網絡首部的大小。對于視頻々某體或語音和視頻的組合，RTBR可能實質上高于簡單的語音。對于其它類型的媒體例如傳感器或GPS定位數據，RTBR可能低于語音的 RTBR。對于非時間敏感的傳輸，IBR被設置到最大效率比特率(MEBR) 以優(yōu)化網絡上傳輸的使用或效率。通過將打包率調節(jié)到底層網絡的最大可能的值來計算MEBR。如果多個消息或有效載荷在發(fā)送和接收對之間被發(fā) 送，則對傳輸考慮綜合IBR (AIBR )。
對于每個發(fā)送和接收對，PQM通過在一系列傳輸環(huán)中發(fā)送數據來操作。每個發(fā)送和接收對的傳輸環(huán)是獨立的。在網絡上的任何傳輸可能影響其它發(fā)送-接收對的MABR。因此，優(yōu)選地為所有接收者連續(xù)計算MABR。
參考圖9A到9C，示出了說明對單個發(fā)送和接收對的PQM的操作的序列。在圖9A中，示出了在確定單個發(fā)送和接收對之間的MABR中的步驟。在圖9B中，示出了說明用于對單個發(fā)送和接收對計算每個傳輸環(huán)的
ATBR的步驟。在圖9C中，示出了用于確定要在每個環(huán)的發(fā)送和接收對之間傳輸的數據的數量的序列。在這三個圖中示出的過程同時運行并彼此進行交互作用，如下面更詳細描述的。
在圖9A中，示出了用于為發(fā)送和接收對之間的網絡接口計算MABR 的流程圖50。在初始步驟5(h中，監(jiān)控發(fā)送和接收對之間的網絡4婁口。發(fā) 送者周期性地接收報告，其包含關于在步驟502中在接收方處的網絡連接的狀態(tài)的信息。報告包括關于數據吞吐量503、分組損失504和抖動505的當前狀態(tài)的信息，如由接收方在網絡接口處觀察到的。在步驟506中，根據包含在報告中的這些觀察資料在發(fā)送方計算MABR。通過監(jiān)控或觀察在這些報告中的數據，根據發(fā)送和接收對之間的當前網絡容量或條件來連續(xù) 調節(jié)MABR值。當網絡容量變得對數據傳輸更有利時，MABR將增加。如果網絡容量對傳輸變得較不利，MABR將減少，對于不穩(wěn)定的網絡可能一直到減少零。這些報告類似于TCP網絡中的節(jié)點產生的分組損失報告，但也額外地包括吞吐量和抖動信息。
如果在發(fā)送和接收對之間有幾個網絡接口，則為每個接口計算 MABR，對該接口接收到接收報告。如果在網絡上最近沒有發(fā)送業(yè)務，或沒有接收到接收報告，則MABR可能不反映當前的網絡條件。然而，因為當數據被傳輸時接收報告由接收方連續(xù)產生，發(fā)送方的MABR度量將快速收斂到更精確的值。
參考圖9B，其示出說明用于為傳輸環(huán)計算AIBR的步驟的流程圖5厶在初始步驟52!中，確定對于準備在當前環(huán)中的發(fā)送和接收對之間傳輸的媒體的消息(據此，我們意指屬于該消息的附有時間索引的媒體的部分)。接著建立對于媒體的消息的列表522。對于列表中的每個消息523,考慮每個消息的時間敏感性或時間性要求524。如果特定的消息不是時間敏感的，則IBR^皮設置到最大效率比特率(MEBR) 525。另一方面，如果消息是時間敏感的，則IBR被設置到實時比特率(RTBR) 526。在下一步驟52 中，以前為列表中的每個消息計算的IBR被匯總在一起，產生傳輸環(huán)的綜合理想比特率(AIBR) 528。如返回箭頭所表示的529，上述過程對發(fā)送和接收對之間的每個傳輸環(huán)重復。
參考圖9C，其示出說明用于確定要在每個傳輸環(huán)的發(fā)送和接收對之間
傳輸的數據率的序列的流程圖54。在初始步驟5^中，對于下次傳輸，比較MABR (如在圖9A中計算的)與AIBR (如在圖9B中確定的)。
如果MABR大于或等于AIBR，則被識別為準備好在環(huán)中傳輸的所有消息以IBR率被打包542并傳輸543。
另一方面，如果MABR小于AIBR,則應用一系列程序，使得PQM 滿足數據的充分拷貝的及時發(fā)送、可用帶寬的有效使用、和/或對有效載荷內容和質量、分組大小和傳輸率的調節(jié)的其目標，以滿足當前的網絡條件。
在初始步驟中，為時間敏感性復查列表中的消息544。如果沒有時間敏感的消息，則比特率減小到MABR54s，且消息被傳輸543。
如果列表包括時間敏感的消息，則為非時間敏感的消息分配的比特率減小546,直到它滿足MABR限制。如果將比特率一直減小到零不足以滿足MABR，則這些非時間敏感的消息從在環(huán)中待傳輸的消息的列表中被移除。如果比特率減小，使得它小于或等于MABR,則剩佘的消息:帔打包和傳輸543。
如果非時間敏感的消息的移除不足以滿足MABR，則使用另一程序，其涉及對剩余的時間敏感的消息使用較低質量編解碼器547。通過在傳輸環(huán)期間發(fā)送較少的比特來試圖盡快傳輸有效載荷數據。換句話說，通過降低有效載荷的質量，傳輸在給定的一段時間發(fā)送較少的比特。在各種實施方式中，可使用不同的編解碼器，每個編解碼器具有不同比特率對質量折衷。如果較低質量的編解碼器的使用足夠，意味著滿足MABR限制，則消息被發(fā)送543。
如果較低質量編解碼器的使用不滿足MABR,則時間敏感的消息的打包間隔增加548。對于該程序，首部與有效載荷比增加了，這降低了總比特率，但引入等待時間(即，在傳輸到接收者的發(fā)送中的延遲)。如果該程序導致AIBR減小到小于或等于MABR，則傳輸發(fā)生543。
如果在改變打包間隔之后，仍然不滿足MABR，則比特率可逐漸降低
46到在MABR限制內549。當比特率以這種方式降低時，時間敏感的消息以不足以維持即時會話的速率被發(fā)送。因此，會話被強制脫離"即時"。如果網絡出故障或條件非常差，則可能沒有數據傳輸發(fā)生。再次，前述序列對發(fā)送和接收對之間的每個傳輸環(huán)重復5410。
如果在發(fā)送和接收對之間有多個網絡接口，則對接收報告可用的每個接口執(zhí)行關于圖9C描述的序列。在各種實施方式中，發(fā)送方可包括在多個接口中分配傳輸載荷的邏輯。在不同的例子中，有效載荷可只在一個接口上發(fā)送，而在其它實施方式中，可使用一些或全部接口。
前述描述涉及系統10中的任何發(fā)送和接收對。在大部分情況下，發(fā) 送和接收對將分別包括客戶機12、啟用的設備13和服務器16、兩個服務器16、服務器16和啟用客戶機12的設備13，或甚至可能兩個客戶機12。如果發(fā)送節(jié)點同時向兩個(或多個)接收節(jié)點傳輸，則關于圖9A-9C描述的上述序列對每個接收-發(fā)送對同時發(fā)生。
H.3 DOM操作流程圖
DQM 28g確定在客戶機12接收到的數據是否被破壞或是否有遺失的分組。此外，接收客戶機12的DQM 28g產生接收報告，其被發(fā)送回網絡上的傳輸節(jié)點。DQM 28g也運行后臺過程以確保所傳輸的數據的準確拷貝最終^皮接收和存儲。下面分別在圖9D到9F中描述了這些功能。
參考圖9D,其示出說明用于檢查遺失的和/或破壞的數據的DQM28g 的操作的流程圖。在初始步驟56!中，DQM 28g使用公知技術例如CRC 或類似的完整性檢查才幾制檢查破壞的分組。如果分組纟皮破壞，則分組,皮視為遺失的562。 DQM28g接著確定任何分組是否是遺失的563。如果在預定的一段時間之后沒有接收到失序分組，則假定它為遺失的。DQM28g記錄 DNQS 32中任何破壞或遺失的分組564。另一方面，如果沒有檢測到破壞或遺失的分組，則DQM28確定是否為了節(jié)省帶寬的目的，接收到的數據的質量被發(fā)送者故意降低565。降低的質量被記錄在DNQS 32中566。不管接收到的數據的質量是否降低，數據的接收信息(例如，分組序列號、時間戳、和分組將被發(fā)送到的網絡中下一節(jié)點的網絡地址)被儲存在DNQS 32中567。前述過程連續(xù)地重復，如到流程圖的起始處的返回箭頭所表示的。
作為圖9D中詳述的過程的結果，關于未降質的分組的接收的信息、降低質量的分組的缺陷以及遺失的分組都存儲在DNQS 32中。當i裝體被接收到時，DNQS32維持關于媒體的狀態(tài)的最新消息。
參考圖9E，其示出說明DQM28g的接收報告產生功能的操作的流程圖。在初始步驟中，DNQS 32被周期性地掃描58i,以確定是否有接收報告需要被產生的任何媒體582。如果答案是否定的，則上面的掃描過程重復。另一方面，如果媒體被識別出，則該過程確定媒體是否是時間敏感的 583，意味著用戶打算復查媒體實況或用戶希望立即復查沒有儲存在其設備 13上的媒體。
如果不是時間敏感的，則接收者通知發(fā)送者將重傳優(yōu)先級(如下定義的)設置為低584。如果是時間敏感的，則考慮分組丟失的量585。如果分組丟失的量在可用質量范圍之外，則重傳優(yōu)先級被設置為高586。如上所述，如果分組丟失的量太大，則接收者可能不能夠在接收到媒體時復查媒體。如果質量在可接受的范圍內，意味著傳輸的質量足以使其在再現時可被理解，則用于發(fā)送接收報告的優(yōu)先級被設置為低584。不管接收者是否在接收到時復查，都發(fā)送接收報告587, DNQS 32被更新588，且網絡質量管理器(NQM) 28h被更新589。在步驟584定義的重傳請求因此是以時間敏感性為條件的。在步驟586定義的重傳請求是以時間敏感性和質量為條件的。
重傳優(yōu)先級通知發(fā)送者的PQM 26g適當地按優(yōu)先順序排列需要重傳的媒體的傳輸率。例如，當重傳優(yōu)先級被設置為高時，則發(fā)送者的發(fā)送PQM 26g應在任何新媒體之前發(fā)送任何重傳。如果優(yōu)先級低，則PQM26g應在任何新媒體之后發(fā)送重傳的媒體。
前述過程連續(xù)地重復，以便在媒體被接收到時產生接收報告。如果發(fā) 送者沒有以及時的方式接收到接收報告，則發(fā)送者的PQM 26g將減小傳輸率，如果沒有接收到接收報告就最終停止傳輸。
參考圖9F,其示出說明用于請求遺失或降質的媒體的序列的流程圖。在初始步驟6(h中，周期性地掃描DNQS32尋找遺失或降質的媒體602。如果沒有遺失或降質的媒體，則上面定義的掃描周期性地重復。
如果在預定閾值的時間段之后失序分組沒有到達，則媒體被認為是遺失的603。如果分組在閾值之前到達，則不再認為它是遺失的。另一方面，如果在超過閾值之后，分組沒有到達，則它被認為是遺失的。由于遺失的分組，產生用于重傳的低優(yōu)先級的請求604，且請求的時間被記錄在DNQS32中605。該過程重復，直到接收到遺失的分組。當遺失的分組到達且相應的媒體在PIMB 30中可用時，從DNQS 32移除媒體的遺失狀態(tài)。因此，在步驟604中定義的重傳請求是以媒體是否被確定為遺失為條件的。
如果被降質，則DQM 32確定媒體是否是即時會話的部分606。如果不是，進行對降質的媒體的完全質量拷貝的請求607,完全質量的媒體被指定為遺失的608，并在DNQS 32記錄請求時間609。如果々某體是即時會話的部分，則不立即采取行動，以便保存網絡帶寬。當會話轉變到即時模式之外時，則執(zhí)行步驟607到609以確保降質的媒體的完全質量(即，準確的或完美的)拷貝最終被接收到。當數據在接收客戶機12的P1MB 30中變得可用時，相關媒體的降質狀態(tài)從DQNS32移除。在步驟607中定義的傳輸狀態(tài)是以媒體是否被降質且不是即時會話的部分為條件的。
前述過程連續(xù)重復，如在60!從605和609到流程圖的頂部的返回箭頭表示的。通過重復圖9F中概述的過程，所有被傳輸的媒體的準確拷貝被儲存在接收設備13的PIMB 30中。以這種方式，在接收設備13保證被傳輸的々某體的準確拷貝的儲存。
I.圖形用戶接口
參考圖10，其示出運行客戶機應用程序12的示例性設備13。設備13包括圖形用戶接口顯示器110、數據輸入按鈕、鍵或鍵盤112、麥克風114以及用于將電信號轉換成聲音的變換器116，例如揚聲器。顯示器110也可作為觸摸屏接收輸入。進一步地，使用觸摸屏接口可合并顯示器110和鍵盤112。如上所述，設備13可以是多種不同的通信工具，例如桌面型計算機、膝上型或其它移動計算機、個人數字助理、可編程固定電話或蜂窩電話、或可編程無線電裝置、或幾乎任何其它類型的可編程通信設備。在以下的意義上附圖所示的示例性設備13意指是"一般的"，即，它被認為表示或包括上面列出的所有通信設備。此外，術語"圖形"用戶接口不應
被解釋為限制性的?？稍谠O備13上實現的、也包括音頻/DEMF接口、語音用戶接口 (VUI)、音頻轉換接口或其組合的其它類型的用戶接口可都用于實現下面描述的各種功能。為了筒單起見，用戶可與其設備3進行交互作用的這些類型的方法中的每種通常都稱為"用戶接口 "。
所有的設備13不管其類型如何都優(yōu)選地具有使用戶能夠操作設備13并與系統10中的其它用戶進4亍通信的用戶4妻口。雖然用戶^^妻口可"i殳計成有實質上無限數量的不同外觀和感覺實現，但存在所有設備13應共同具有的某些功能和特征。下面列出這些功能和特征。
用戶接口優(yōu)選地包括下列狀態(tài)指示器或標記中的一個或多個(i)電池指示器；(ii)連通性指示器；(iii)時鐘；(iv)發(fā)送器狀態(tài)；(v)傳輸同步狀態(tài)；(vi)復查狀態(tài)；(vii)需要關注的優(yōu)先級消息；以及(viii)遺失的消息。
用戶接口優(yōu)選地包括下列功能、標記和要素來進行和管理單個會話(i)會話的名稱和/或參與者的列表；(ii)會話狀態(tài)；(iii)會話類型；(iv)會話持續(xù)時間；(v)在會話首部之后的時間；(vi)未完成的消息；(vii)參與者的在場/狀態(tài)；(viii)具有導航信息的元數據；(iix)會話屬性或標志符；(ix)包括標題、計劃表、參與者、會話概述的會話結構；以及(v)顯示哪些參與者貢獻消息以及哪些參與者聽或復查消息的指示符。
除了上面直接列出的那些以外，用戶接口還優(yōu)選地包括下列功能、標記和要素來進行和管理多個會話(i)每個會話的名稱/標識符；(ii)即時
/活動的或常設(standing)/不活動的指示符；(iii)在首部處或時移的復查位置；(iv)優(yōu)先級和其它屬性；以及(v)會話的什么部分被遺失的指示符。
用戶接口還優(yōu)選地包括很多導航特征，例如(i)每個會話的DVR型快速后退/前進；(ii)即時消息型的個人消息導航；(iii)會話時間指示符；
(iv)時標(time scale)移動(即，通過會話的一個或多個消息的快速向前或向后)；(v)會話的變化的優(yōu)先級；(vi)中止(hang up);以及(vii)始位
(home )。前述功能和特征可用各種方式實現，例如使用觸摸屏圖形用戶接口110，或其它輸入設備例如數據輸入按鈕、鍵或鍵盤112、鼠標、通過語音激活的命令或其組合。同樣，在上面列出的功能和特征以及如何實現它們不意味著是無遺漏的?？墒褂玫母鞣N方法和技術是如此廣泛，以至于在這里全部列出或討論它們是不實際的。
丄會話
MCMS應用程序20支持很多不同類型的會話，例如接近實時或"即時'，呼叫，其中從參與者講話以及其它參與者聽到第一參與者時開始的延遲非常??；參與者以較長的延遲在消息之間來回交換語音消息的會話；涉及多個用戶的"即時"會議呼叫；在有規(guī)律的調度時間的常設會議呼叫；或可配置的有組織的呼叫類型例如同時總結，其中每個參與者都預先留下消息簡介，以讓其他人在每個人參加即時會議呼叫之前復查。MCMS應用程序20的又一獨特的屬性是用戶在不同類型的會話之間轉換的能力。例如，參與者可無縫地從語音消息^t式轉換到即時呼叫并再次轉換回來?；蛘呒磿r會議呼叫的參與者可轉換到語音消息模式并在會議呼叫之后彼此發(fā)送更新或行動項目。雖然提到了一些例子，但應理解，系統10非常靈活并提供在不同類型的呼叫或會話之間以及在多個會話之間轉換的很多選擇。通過改變消息之間的延遲，參與者有效地在最適合其需要的會話類型之間轉換。上面的例子因此不應被解釋為限制性的。
如上所述，會話由在其原始上下文和序列中保持的消息組成。被發(fā)送的消息屬于現有的會話或開始的新會話。一般會話包括圍繞所限定的主題、話題、時間、組或信道組織的一組消息。例如，會話可涉及共用一組人群，例如俱樂部的成員，公司可在固定的時間有常設的會話，例如每周銷售會議，或朋友可以有關于各種話題的特別會話，例如制定晚餐計劃。
每個會話由一組屬性限定，包括名稱、參與者的列表、開始和結束時間、以及至少包括未決、現行或終止的狀態(tài)。在其它實施方式中，其它會話狀態(tài)是可能的。用戶與其設備13上的MCMS應用程序20進行交互作用。在優(yōu)選實施方式中，接口允許用戶通過各種屬性中的任何一個組織會話。
51參與者和會話之間的關系也具有屬性。這些屬性包括但不限于優(yōu)先級、狀態(tài)(參與者在會話中的狀態(tài))。參與者狀態(tài)的值包括活躍的、一次參與多于一個的會話、在時移模式中復查會話、跟上即時、被動地參與(即，
不主動復查，而是接收高優(yōu)先級的消息)、等待(standby)、或忽略會話(即，拒絕參與或記錄會話)。
從接收者觀點來看，用戶可選擇或限定消息的相對優(yōu)先級。例如，來自某人的老板的消息一般被給出比社會上的熟人高的優(yōu)先級。在一些實施方式中，接收者有設置其自己的優(yōu)先級的能力。在MCMS-C的實現方法中，用戶選擇其會話的子集被連續(xù)再現。用戶接著為這些會話設置有次序的優(yōu)先級。系統使用用戶設置的優(yōu)先級來給待再現的消息排序。前述算法使用用戶優(yōu)先級和關于可用消息數據的信息(超出MTSD)來給待再現的消息排隊。
在其它實施方式例如戰(zhàn)術通信中，接收者可能沒有設置優(yōu)先級的能力或者有受限制的設置優(yōu)先級的能力。例如，消防員可能沒有降低來自消防隊長的消息的優(yōu)先級的能力。然而發(fā)送用戶有發(fā)送緊急或高度重要的消息的能力。通過將消息標記為緊急的或危急的，消息在接收者處被盡快再現，不考慮接收者的任何優(yōu)先級設置。根據預定的優(yōu)先級方案來解決多個緊急消息中間的任何沖突。
K. MCMS操作
參考圖11A,其示出將MCMS應用程序20的主要功能分組的組織圖1100。主要功能包括賬戶管理1102、會話管理1104、綜合會話列表管理1106、會話參與1108、呼叫控制1110和聯系人管理1112。在注冊并登錄到系統10中之后，用戶可在實現下面詳細描述的各種管理功能的設備13的用戶接口中導航。在一些實施方式中，該功能將提供極大的靈活性。在其它實施方式例如戰(zhàn)術或通信無線電裝置中，用戶接口的實現可用很多用戶功能和預先配置的選項被限制，以滿足設備的效用。這里的討論是示例性的，且不意味著是MCMS功能的無遺漏的解釋，而更確切地意味著僅僅提供一些MCMS屬性的概述。
K.l賬戶管理在賬戶管理功能1102中，注冊用戶可改變某些設置和偏好。用戶可改變其電子郵件地址、口令、名字、電話號碼、電話口令、呼入號碼、默認和/或用戶定義的再現速度、標記、用于復查消息的增益或音量水平、跟上
即時模式等。為了進行這些變化，用戶通過其設備13的接口 110輸入適當的信息。MCMS應用程序20通過將更新的偏好寫入MCMS數據庫22中來作出反應。
K.2會話管理
如圖IIB所示，會話管理1104是一組功能，其允許用戶觀看其綜合會話列表、創(chuàng)建新的會話、更新會話的細節(jié)、刪除會話和選擇會話。下面描述這些功能中的每一個。
觀看會話1104a—對每個會話，MCMS應用程序20可給用戶提供下列屬性中的一個或多個會話的名稱、實際開始時間、最后的活動狀態(tài)、標記、持續(xù)時間、參與者的列表。對于每個參與者，名字和/或電話號碼、狀態(tài)(即時、其它呼叫、在過去、跟上模式、離線-可到達、離線-不可用)。
創(chuàng)建會話1104b—用戶通過輸入會話名稱、聯系人的列表和可選的預定開始時間經由接口 IIO來創(chuàng)建會話。如果沒有指定開始時間，則假定開始時間是立刻。作為響應，MCMS應用程序20在數據庫22中創(chuàng)建新的會話，關聯聯系人列表上每個參與者的記錄。MCMS應用程序20也在數據庫22中為聯系人列表上的每個用戶創(chuàng)建參與者記錄，允許呼叫者接收聯系人列表上的其他人的在場信息。如果會話被調度，則MCMS應用程序20在指定的時間開始會話。否則，會話立刻開始。
更新會話細節(jié)1104c—用戶可通過用戶接口 IIO對會話進行改變。例如，可添加或移除參與者。參與者的狀態(tài)的任何變化在MCMS數據庫22中^皮更新。
刪除會話1104d—用戶可通過接口 110從會話列表刪除特定的會話。作為響應，MCMS應用程序20記錄數據庫22中的變化，并將會話指示為被刪除的。
關閉會話U04e—用戶可選擇終止或關閉會話。在一個實施方式中，只有創(chuàng)建會話的用戶可選擇終止該會話。
K.3綜合會話列表管理
如圖nc所示，綜合會話列表管理i!06是允許用戶參與多個會話(即，用戶的綜合會話列表)的一組功能。綜合會話列表管理功能允許用戶通過其設備上的接口 iio來"即時"參與一個會話，同時在時移模式中參與其它會話。
選擇會話1106a—通過接口 110，用戶可在用戶的綜合會話列表中選擇一個會話作為當前的。當前會話的消息可在"即時"或時移模式中再現。用戶可在綜合會話列表中不時地轉換會話。
轉換會話模式1106b—在可選的實施方式中，用戶能夠從MCMS、 MCMS-C和MCMS-S操作模式轉換。
K.4會話參與
如圖IID所示，會話參與1108是一組功能，其允許用戶開始會話、接收加入會話的通知、獲得會話狀態(tài)信息并中止會話。
開始會話1108a—在由用戶通過接口 IIO或由MCMS應用程序中的調度程序創(chuàng)建會話之后，檢查每個參與者的狀態(tài)。如果參與者是離線的，則努力聯系這個人。如果參與者離線但參與另一會話，則MCMS應用程序 20通知該參與者。所有在線參與者的在場狀態(tài)在數據庫22中被更新。
接收通知1108b—系統可借助于用戶接口 110通過圖形顯示和/或可聽得見的通知來通知用戶其被請求對會話的注意。
會話狀態(tài)1108c—用戶可通過其設備13的接口 IIO請求會話的狀態(tài)。作為響應，MCMS應用程序20集合儲存在數據庫22中的狀態(tài)信息，并將信息顯示給用戶。
會話暫停1108d—通過用戶接口 IIO，用戶可中止活躍的會話或從活躍的會話轉換。作為響應，MCMS應用程序20對數據庫22中的活躍會話更新用戶的參與狀態(tài)，并指導存儲和流模塊24將用戶從會話移除。
K.5會話控制如圖IIE所示，會話控制1110是允許用戶控制其在會話中的參與的一組功能。這些功能允許用戶跟上即時，跳到首部，跳到過去的位置、暫停、當復查會話的消息時播放加快和播放減慢。這些功能中的每個通過設
備13上的接口 110由用戶觸發(fā)。
跟上即時1110a—用戶可在正在進行的會話中使用"CTL"功能跟上即時。當該功能被激活時，MCMS應用程序20檢查用戶已復查的會話中的最后一個點，并使用用戶指定的比正常再現選項更快的選項來指導存儲和流模塊24再現以前沒有聽到的消息，以及當它到達首部時無縫地轉換到即時模式。
跳到首部1110c—該功能使用戶能夠跳到會話首部，略過會話中的用戶的當前點和首部之間的任何介入的消息。當被實現時，MCMS應用程序 20指示存儲和流模塊立即在會話首部再現消息。(如果會話首部當前是活躍的，這叫做跳到即時(JTL )。)
跳到過去1110d—該功能使用戶能夠跳回到會話中前面的消息或點，類似于倒帶或重力文功能。當^皮實現時，MCMS應用程序20指示存儲和流模塊24再現從倒帶點開始的媒體。
暫停1110e—該功能使用戶能夠暫停會話消息的復查。作為響應，存儲和流模塊24停止消息的再現，直到另一命令被發(fā)出。
播放加快lllOf—該功能使用戶能夠更快地再現消息。作為響應，存儲和流模塊24以比正常更快的速率再現消息。再現速率可由用戶指定或用戶可從很多預設的選項選擇。
播放減慢1110g—該功能使用戶能夠更慢地再現消息。作為響應，存儲和流;漠塊24以比正常更慢的速率再現消息。再現速率可由用戶指定或用戶可從很多預設的選項選擇。
IC6聯系人管理
如圖IIF所示，系統10給用戶提供了用于管理聯系人列表和用戶組的很多功能。這些功能包括添加、編輯、刪除聯系人和用戶組。這些功能中的每個由用戶通過其設備13的接口實現。在用戶的聯系人列表或組列表中的任何修改或刪除被儲存在MCMS數據庫22中。
添加聯系人1112a—該功能使用戶能夠將新的聯系人添加到其聯系人列表。新的聯系人可為注冊用戶或外部聯系人。一般為每個聯系人記錄提供名稱、電話號碼、號碼類型(手機、辦公室、家庭、計算機等)、電子郵件地址和其它個人信息。
編輯聯系人1112b —該功能使用戶能夠編輯或更新現有的聯系人記錄。
刪除聯系人1112c—該功能使用戶能夠移除或刪除現有的聯系人記錄。
搜索聯系人1112d—該功能使用戶能夠在其聯系人列表中搜索特定的聯系人。可使用很多標準例如名字、電話號碼、最近被呼叫、最頻繁地被呼叫、組等來進行搜索。
獲得參與者列表1112e—該功能使用戶能夠按很多不同的搜索標準搜索和取回會話的參與者的列表，所述搜索標準包括例如按名字、最近向外的呼叫、最近進入的呼叫、最頻繁的呼叫等。
授權呼叫者復查狀態(tài)1112f—該功能使第一用戶能夠授權其它用戶觀看第一用戶的狀態(tài)。非授權用戶不能觀看第一用戶的狀態(tài)。
創(chuàng)建聯系人組1112g—該功能使用戶能夠將聯系人的號碼關聯到組。當用戶定義組時，該組中的聯系人的列表存儲在MCMS數據庫22中。
編輯聯系人組1112h—該功能使用戶能夠編輯組或更新組的成員的聯系4言息。
刪除聯系人組1112i—該功能使用戶能夠刪除組。 L. MCMS操作 L.l MCMS-C
如上所述，MCMS-C操作類似于MCMS,具有使用戶能夠通過消息的時移和優(yōu)先級分級系統來連續(xù)管理和參與多個會話的增加的特征，這些消息由系統自動管理。實現MCMS-C功能包括三個基本過程。如圖12A所示，第一過程涉及為連續(xù)再現限定一組會話。
一旦限定了該列表，分級
載荷。附有索引的媒體有效載荷接著按先后順序被排列。通過按先后順序再現^ 某體，該組會話的消息被連續(xù)再現。
參考圖12A，其示出說明用于規(guī)定要連續(xù)再現的會話的列表的步驟的
流程圖。在初始步驟1202中，規(guī)定用戶的綜合會話列表。用戶或預配數據(步驟1204)接著用于選擇綜合列表中的會話，用于連續(xù)的再現(步驟 1206)。對于例如戰(zhàn)術通信系統，通常，預配數據用于強制會話被連續(xù)再現。對于非戰(zhàn)術應用程序，用戶一般被提供高度靈活性來選擇用于連續(xù)再現的會話。
參考圖12B,其示出說明用于規(guī)定分級的優(yōu)先級組以再現連續(xù)會話的消息的步驟的流程圖。在初始步驟(1208)中，一組優(yōu)先級規(guī)則被定義并應用于將被連續(xù)再現的會話的列表(1206)。在各種實施方式中，該組優(yōu) 先級規(guī)則范圍可從嚴格的分級通信協議到高度靈活的通信協議。例如在經常希望有嚴格的分級的戰(zhàn)術通信系統中，這組優(yōu)先級規(guī)則將優(yōu)選地以并行消息被再現的特定順序來強加。例如，對于第一反應人員戰(zhàn)術系統，可給來自消防隊長的消息最高優(yōu)先級?？山o燃燒的建筑物內的消防員下一級優(yōu) 先級。在下一級，可給建筑物之外的消防員優(yōu)先級。通過規(guī)定嚴格的優(yōu)先級，監(jiān)督滅火成效的人或處于危險中的人的當前消息先于起著不太重要的作用的人而被再現。使用非戰(zhàn)術通信，可給用戶極大的靈活性來定義其自己的優(yōu)先級方案，以滿足個人需要。銷售經理可例如規(guī)定優(yōu)先級方案，其列出與從最重要到最不重要的客戶的連續(xù)會話?；蛘哂脩艨稍诩彝ズ团笥?中間按優(yōu)先順序排列連續(xù)消息。不管所使用的方案如何，都在此過程中定義連續(xù)會話的優(yōu)先級列表(步驟1210 )。
參考圖12C,其示出說明從不同的連續(xù)會話接收到的消息的隊列的結構的流程圖。在初始步驟中，為每個將被連續(xù)再現的會話連續(xù)檢測消息的未再現的附有索引的J 某體有效載荷(即，流i某體)的可用性(步驟1212)。
部分地根據優(yōu)先級分級和可能如下所述的其它參數，可用的附有索引的媒
57體有效載荷布置成連續(xù)的順序(步驟1216)。附有索引的媒體有效載荷接
著以先后順序被連續(xù)再現(步驟1218)。通過連續(xù)地重復上述過程，多個會話的消息被連續(xù)再現。
在一個實施方式中，先后的順序部分或全部基于優(yōu)先級分級。在可選的實施方式中，除了分級和可用性以外，也可考慮其它參數。例如，使用一個或多個參數，例如，與中斷附有索引的^ 某體有效載荷的當前再現的流
的媒體有效載荷的可用流的質量、附有索引的媒體有效栽荷以打亂的順序或從系統的控制器的輸入一皮4妄收的相對時間，可定義先后的順序。
一般當不同會話的消息之間的沖突出現時，按先后順序再現附有索《1
再現。當沒有沖突時，附有索引的^ 某體有效載荷在變得可用時被立即再現。
在又一實施方式中，可在時移模式中可選地復查連續(xù)再現的會話的消息。如果第一通信設備的用戶產生與連續(xù)再現的會話相關的媒體，則該媒體附有索引并儲存在設備的PIMB 30以及網絡上的服務器16的PIMB 85 中。因此當在時移模式中復查會話時，用戶選擇只復查與會話相關的進入的消息，或復查進入的消息以及與會話相關的第一用戶以時間索51順序創(chuàng) 建的媒體。
L.2 MCMS-S操作
在MCMS-S或同時模式中，啟用客戶機12的設備13的用戶可限定一組會話用于同時再現。一旦限定了該組會話，就在設備13上同時再現與
該組會話相關的附有索引的^!某體有效載荷，而不管它們是否交迭。在可選
的實施方式中，用戶可以可選地從一組々某體流分開地再現接收到的附有索引的i某體有效載荷。也可以可選地在接近實時或時移模式中再現同時會話的附有索51的媒體有效載荷。
L.3 MCMS、 MCMS-C和MCMS-S實例
在圖13A到13D中，示出了說明會話的屬性以及MCMS、 MCMS-C 和MCMS-S的操作的一系列圖。在圖13A中，時序圖示出在用戶"X"和標為"Y"和"Z"的兩個其
他用戶之間再現標為"A"的會話的消息的附有索引的媒體有效載荷的序列。在本例中，々某體由用戶Y在tl 、 t5 、 t6、 t7和t9所標明的時間間隔期間產生。i某體由用戶Z在t3 、 t6和t9到tl0所標明的時間間隔期間產生。
在附圖底部示出在用戶X的設備13處的再現序列。在時間間隔tl、 t5和t7期間，只再現從Y得到的々某體。在時間間隔t3和t10期間，只再現從Z得到的々某體。在時間間隔t6和t9期間，再現從Y和Z兩者得到的 4某體。在時間間隔t2 、 t4和t8期間，不再現任何i某體，因為用戶Y或Z 都不在這些時期期間產生i某體。應注意，時間間隔tl到tlO并不是意味著表示固定的時間間隔，而更確切地，僅僅是產生媒體的時間段。
圖13A的圖示在說明會話的屬性時是有用的。當一個用戶(Y或Z) 正產生媒體時，該媒體在X的設備13處被接收到，并可用于再現。當用戶X和Y都產生媒體時，兩個媒體流都在X的設備13處被接收到，并可用于混合。當用戶X或Y都不產生媒體時，沒有媒體在X的設備13處被接收到。如上所述，用戶X可選擇以接近實時模式或時移模式復查在會話 A期間產生的媒體。此外，用戶X可選擇復查以所示的混合格式的媒體或在時移模式中分開地復查來自Y和Z的媒體。
圖13B示出MCMS的操作。在本例中，用戶正參與被指定為A、 B 和C三個會話。對于會話A、 B和C,用戶分別產生或接收所指定(分別是A1、 A2、 A3和A4、 Bl、 B2和B3以及Cl和C2 )的消息。每個消息的計時和持續(xù)時間由沿著時間線的起始點指示。在本例中，除了消息B2 以外，所有的消息都在某種程度上在時間上交迭，注意到此是有用的。
對于MCMS應用程序，用戶選擇一個會話作為當前會話。對于選定的會話，用戶可復查進入的消息并產生被傳輸到會話的其他參與者的消息。在本例中，用戶按順序分別選擇會話B、 C和A為當前的。消息序列因此最初是B1、 B2和B3，后面是C1和C2，接著最后是A1到A4。再次，當特定的會話被選擇為當前的時，用戶可在接近實時和時移模式之間轉換并轉換回來。該圖所示的最后的再現不意味著相應于該圖的頂部部分所示的接收到的消息的計時。更確切地，該圖的下部部分用來根據用戶所選擇的會話順序只顯示消息的再現順序。
圖13B的例子因此在說明MCMS應用程序的屬性中是有用的。用戶將一個會話選擇為當前的。其它會話暫停。用戶也可在所有會話中在任何時間轉換當前的會話。
參考圖i3C，其示出說明MCMS-C的操作的圖。在本例中，用戶參與兩個連續(xù)的會話A和B。對于會話A， ^接收到三個消息Al、 A2和A3。對于會話B，接收到三個消息B1、 B2和B3。對于本例，消息B1與消息 Al沖突，注意到此是有用的。此外，會話A具有比會話B高的優(yōu)先級。
在兩個會話的連續(xù)再現期間，較高優(yōu)先級的消息Al和A2首先接近實時地被再現，如附圖中的垂直虛線表示的。因為在消息A2和A3之間有相對大的時間間隔，該間隔通過時移和再現消息Bl和B2來填充。當A3到達時，它接近實時地被再現，而消息B3只在較高優(yōu)先級的消息A3被再現之后才被再現。通過在較高優(yōu)先級消息之間時移地再現優(yōu)先級較低優(yōu)先級的消息，可管理連續(xù)的多個會話。應注意，在這個簡單的實例中，優(yōu)先級是用于確定再現的連續(xù)順序的唯一參數。如上所述，也可使用^^多其它參數。
參考圖13D，其示出說明MCMS-S的圖。在本例中，用戶參與三個同時的會話A、 B和C。對于在該圖中示出的每個會話A、 B和C，分別接收消息Al 、 A2和A3、 Bl 、 B2和B3以及Cl和C2。對于MCMS-S，進入的消息在被接收到時在接收設備13處被再現。如在該圖的下部部分所示的，三個會話A、 B和C的消息的再現順序因此與消息一皮接收時相同。以這種方式，可同時再現多個會話。
在前述實例中，描述了 MCMS應用程序的幾種變形，包括MCMS-C 和MCMS-S。不管所使用的MCMS應用程序的特定類型如何，它們都共享幾個共同的特征。在每種情況下，會話由消息的被連接的順序或組織限定。消息從媒體流分割，每個消息被給出順序標識符，并以創(chuàng)建媒體的時間編索引。根據MCMS應用程序的變形，可根據一個或多個再現選擇來再現消息。再現選擇使用從零到多個不同的屬性，包括以一種形式或另一種形式來過濾、分組、交迭和/或順序化消息。以這種方式，可在單個啟用
60客戶機12的設備13上進行多個會話，每個會話包括一連串消息。最后， MCMS的每個變形可用相同的方式處理中斷消息的接收。當接收到中斷消息時，它一般優(yōu)先于其它消息，并在屬于其它會話的其它消息之前被再現。
M.客戶機和服務器硬件
參考圖14A，其示出說明用于儲存并執(zhí)行客戶機應用程序12的設備 13的硬件的結構圖140。硬件包括CPU142、主存儲器144和大容量存儲器146。如在本領域中公知的，客戶機應用程序12被裝入和儲存在主存儲器144和大容量存儲器146中，并由CPU 142執(zhí)行。
參考圖14B，其示出說明用于儲存并執(zhí)行服務器應用程序78的服務器 16的硬件的結構圖150。硬件包括CPU 152、主存儲器154、大容量存儲器156和檔案庫89。如在本領域中公知的，服務器應用程序78被加載和儲存在主存儲器154和大容量存儲器156中，并由CPU 152執(zhí)行。如上所
雖然為了方便，上面以單數形式描述了很多部件和過程，但本領域的技術人員應認識到，多個部件和重復的過程也可用于實踐這里所述的系統和方法的技術。進一步地，雖然參考其中的特定實施方式特別示出和描述了本發(fā)明，但本領域技術人員應理解，在所公開的實施方式的形式和細節(jié) 中可進行變化，而不偏離本發(fā)明的實質或范圍。例如，本發(fā)明的實施方式用于各種部件，且不應被限制到上面提到的部件。因此，這意味著本發(fā)明應被解釋為包括落在本發(fā)明的實質和范圍內的所有變形和等效形式。
權利要求
1.一種裝置，其包括通信設備，所述通信設備包括編碼器，其接收并編碼使用所述通信設備在本地創(chuàng)建的媒體，所述在本地創(chuàng)建的媒體與會話相關；發(fā)送器，其通過網絡向所述會話的一個或多個參與者發(fā)送所述在本地創(chuàng)建的媒體；接收器，其通過所述網絡從所述會話的所述一個或多個參與者接收媒體；時移緩沖器，其以基于時間的格式存儲通過通信網絡接收的媒體和所述在本地創(chuàng)建的媒體，所述時移緩沖器使所述通信設備能夠實現(i)以接近實時的模式再現通過所述網絡所接收的媒體；或(ii)通過從所述時移緩沖器取回所存儲的媒體來以時移模式再現通過所述網絡所接收的媒體和所述在本地創(chuàng)建的媒體；以及會話管理系統，其使所述通信設備能夠在不中斷通過所述網絡在所述通信設備上所接收的所述會話的媒體到所述時移緩沖器中的正在進行的存儲的情況下，在所述時移模式和所述接近實時的模式之間轉換所述會話的所述媒體的再現，其中所述在本地創(chuàng)建的媒體和通過所述網絡從所述一個或多個參與者所接收的媒體相互關聯，所關聯的媒體構成所述會話。
2. 如權利要求1所述的裝置，其中所述會話以一個或多個語境屬性為特征。
3. 如權利要求2所述的裝備，其中表征所述會話的所述一個或多個語境屬性包括下列項中的一個或多個會話主題、會話名稱、在所述會話中的所述一個或多個參與者的名字、或者指定的時間。
4. 如權利要求1所述的裝置，其中所述在本地創(chuàng)建的i!某體和通過所述網絡從所述一個或多個參與者所接收的^^某體被分割成消息，所分割成的消息通過所述網絡在所述通信設備和所述會話的所述一個或多個參與者之間-故交才灸。
5. 如權利要求4所述的裝置，其中所分割成的消息每個都包括使所述消息與所述會話相關聯的標識符。
6. 如權利要求1所述的裝置，其中所述在本地創(chuàng)建的i某體和通過所述網絡從所述會話的一個或多個參與者所接收的媒體包括附有索引的媒體有效載荷，所述附有索引的4某體有效載荷中的每個都具有與之相關的時間和序列信息。
7. 如權利要求6所述的裝置，其中所創(chuàng)建和接收的附有索引的媒體有效荷栽被保存并且可以按照它們的時間和序列順序從所述時移緩存器取回。
8. 如權利要求1所述的裝置，其中所述基于時間的格式還包括當通過所述網絡所接收的媒體和所述在本地創(chuàng)建的媒體被儲存在所述時移緩沖器中時，使這兩個媒體的時間戳關聯起來，當以所述時移模式再現時，所述時間戳按時間序列順序實現所存儲的媒體從所述時移緩沖器的取回。
9. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成在所述接近實時的模式中使所述通信設備逐步再現來自所述一個或多個參與者的通過所述網絡被接收的媒體。
10. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成在所述時移模式中使所述通信設備從所述會話的被選擇的以前的時間點開始從所述時移緩沖器取回所述會話的媒體，并且在第一通信設備上逐步再現所取回的媒體，其中所述被選擇的以前的時間點是被所述通信設備的用戶選擇的。
11. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成通過使所述通信設備進行下列操作來在所述通信設備上將所述會話的媒體的再現從所述時移模式無縫地轉換到所述接近實時的模式(i )從所述會話的被選擇的以前的時間點開始從所述時移緩沖器取回所述會話的所存儲的媒體；(ii) 在所述通信設備上再現所取回的媒體；(iii) 確定跟上點，在所述跟上點，當所述4某體通過所述網絡從所述會話的所述一個或多個參與者正被接收時，以較快的速率的所取回i某體的體同時發(fā)生；以及(iv) 在所述跟上點被確定之后，當所述々裝體通過所述網絡正被接收時以所述接近實時的模式再現所述會話的所接收的媒體。
12. 如權利要求11所述的裝置，其中所取回的媒體以下列方式被再現 (i)以比所取回的媒體最初被編碼更快的速率；(ii)通過跳過所取回的媒體中的無聲間隙；或(i)和(ii)兩者。
13. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成通過使所述通信設備進行下列操作來暫停以所述接近實時的模式的所述會話的再現(i) 當所接收的媒體通過所述網絡被接收時，以所迷接近實時的模式再現所述會話的所接收的媒體；(ii) 當在所述通信設備上選擇所述時移模式時，暫停所述會話的媒體的接近實時的再現；(iii) 當在所述暫停期間所接收的媒體通過所述網絡被接收時，將所述會話的所接收的媒體儲存在所述時移緩存器中；以及(iv) 當在所述暫停之后所述媒體通過所述網絡被接收時，恢復所述會話的所接收的媒體的再現。
14. 如權利要求13所述的裝置，其中所述會話管理系統還被配置成當所述媒體通過所述網絡被接收時，在恢復所述會話的所接收的媒體的再現之前，使所述第一通信設備可選地首先再現在所述暫停期間被儲存的所接收的纟某體。
15. 如權利要求13所述的裝置，其中所述會話管理系統還被配置成當所述媒體通過所述網絡被接收時，使所述第一通信設備可選地跳過在所述暫停期間被儲存的所接收的媒體的再現，并且立刻恢復所述會話的所接收的媒體的再現。
16. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成使所述通信系統能夠可選地在所述時移模式和所述接近實時的模式之間來回轉換所述會話的i某體的再現。
17. 如權利要求1所述的裝置，其中所述通信設備還包括當再現時混合來自所述會話的兩個或更多參與者的所述媒體的混合器。
18. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成在所述通信設備上提供能夠在參與的多個會話中選擇一個會話的會話選擇功能。
19. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成在所述通信設備上提供用于管理在所述通信設備上的多個會話的一個或多個會話管理功能，所述會話管理功能包括下列會話管理功能中的一個或多個(i) 查看所述多個會話的狀態(tài)；(ii) 在所述多個會話中創(chuàng)建新會話；(iii) 在所述多個會話中更新被選擇的會話的細節(jié)； (iii)在所述多個會話中刪除一個會話；或者 (IV)在所述多個會話中關閉一個會話。
20. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成在所述通信設備上提供用于管理所述會話中的參與的一個或多個會話參與功能，所述一個或多個會話參與功能包括(i) 開始所述會話；(ii) 接收關于來自所述會話的所述一個或多個參與者的^ 某體已通過所述網絡被接收的通知；或者(iii)暫停所述會話的i某體的再現。
21. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成在所述的通信設備上提供用于控制所述會話的媒體的再現的一個或多個會話再現控制功能，所述一個或多個會話再現控制功能包括(i) 跟上在所述會話中的即時；(ii) 跳至所迷會話的首部；(iii) 跳至所述會話中的以前的時間點；(iv) 暫停所述會話；(v) 較快地再現所述會話的媒體；(vi) 較慢地再現所述會話的媒體；或者(vii) 略過在所述會話的々某體中的無聲部分或間隙。
22. 如權利要求1所述的裝置，其中所述會話管理系統還被配置成在所述通信設備上提供一個或多個聯系人管理功能，所述聯系人管理功能包括下列項中的一個或多個(i) 將聯系人添加到聯系人列表；(ii) 編輯所迷聯系人列表上的聯系人；(iii) 刪除在所述聯系人列表上的聯系人；(iv) 在所述聯系人列表中搜索聯系人；(v) 從所述聯系人列表創(chuàng)建參與者清單；(vi) 授權參與者觀看所述會話的狀態(tài)；(vii) 創(chuàng)建聯系人組；(viii) 編輯所述聯系人組；或者(ix) 刪除所述聯系人組。
23. 如權利要求1所述的裝置，其中所述通過網絡所接收的媒體和所述在本地創(chuàng)建的媒體每個都包括下列媒體類型中的一個或多個語音、視頻、文本、傳感器數據、無線電信號、位置或GPS信息、或其組合。
24. 如權利要求1所述的裝置，其中所述通信設備包括下列項之一固定電話、無線電話、蜂窩電話、移動電話、計算機、無線電裝置、衛(wèi)星電話、衛(wèi)星無線電裝置、戰(zhàn)術無線電裝置、戰(zhàn)術電話、或者任何其他類型的通信設備。
25. 如權利要求1所述的裝置，其中所迷網絡包括基于分組的網絡、基于電路的網絡、蜂窩網絡、無線網絡、基于無線電的網絡、電話網絡、衛(wèi)星會話、或其組合。
26. 如權利要求1所述的裝置，其中構成所述會話的所述在本地創(chuàng)建媒體和通過所述網絡所接收的媒體在所述時移緩沖器中被關聯。
27.如權利要求1所述的裝置，其中構成所述會話的所述在本地創(chuàng)建的媒體和通過所述網絡所接收的媒體在所述會話管理系統中被關聯。
全文摘要
一種能夠通過網絡參與會話的通信設備。該通信設備包括編碼器和發(fā)送器，所述編碼器接收和編碼使用該通信設備在本地創(chuàng)建的并與會話相關的媒體，所述發(fā)送器通過網絡向會話的一個或多個參與者發(fā)送在本地創(chuàng)建媒體。該通信設備還包括接收器和時移緩沖器，所述接收器通過網絡從會話的一個或多個參與者接收媒體，所述時移緩沖器以基于時間的格式存儲通過通信網絡接收到的媒體和在本地創(chuàng)建的媒體。該時移緩沖器使通信設備能夠(i)以接近實時的模式再現通過網絡接收的媒體，或(ii)通過從時移緩沖器取回被存儲的媒體來以時移模式再現通過網絡接收到的媒體和在本地創(chuàng)建的媒體。會話管理系統使通信設備能夠在不中斷通過網絡在通信設備上接收到的會話的媒體到時移緩沖器中的正在進行的存儲的情況下，在時移模式和接近實時的模式之間轉換會話的媒體的再現。通過使在本地創(chuàng)建的媒體和通過網絡接收到的媒體關聯來構成會話。
文檔編號H04L29/06GK101690092SQ200880021664
公開日2010年3月31日申請日期2008年5月7日優(yōu)先權日2007年6月28日
發(fā)明者托馬斯·E·凱蒂斯, 瑪麗·G·潘塔加, 詹姆士·T·潘塔加, 馬修·J·蘭尼申請人:萊貝爾沃克斯有限責任公司

完整全部詳細技術資料下載