用于共享顯示器的多用戶控制和流媒體傳輸?shù)南到y(tǒng)和方法
【專利說明】用于共享顯示器的多用戶控制和流媒體傳輸?shù)南到y(tǒng)和方法
[0001]相關申請
[0002]本申請要求2013年2月26日遞交的美國臨時專利申請N0.61/769，609的優(yōu)先權，通過引用在此引入該申請所公開的內容。
[0003]【背景技術】/待解決的問題
[0004]全世界有超過1200萬個會議室，通過其當前信息顯示方案，大多數(shù)會議室是服務水平低下的。視頻電纜能夠將來自一個裝置的單個源承載至顯示器，且除了物理地連接和斷開視頻電纜之外，對于顯示來自該裝置的什么東西以及何時顯示存在少許控制。通過允許不同客戶端同時顯示至單個屏幕，視頻切換硬件部分地克服了這個問題，然而，該硬件受到視頻傳輸標準的限制，給每個裝置的用戶留下少許的控制。最終，屏幕共享軟件為用戶提供將他們的裝置的圖像發(fā)送至顯示器的一些能力，但這些方法所要做的不僅僅是將物理電纜替換為軟件(潛在地，基于IP的網(wǎng)絡)。所需要的是允許用于多個用戶之間的協(xié)作的同時交互并具有將可能來自單個裝置的多個源同時發(fā)布至能夠被連接的裝置中的任何一個控制的共用顯示裝置而不受任何限制的能力的系統(tǒng)。
[0005]方案/

【發(fā)明內容】

[0006]本系統(tǒng)包括將商品顯示器硬件和與該顯示器連接的標準計算裝置變換為被管理和共享的表現(xiàn)和協(xié)作環(huán)境的軟件。通過提供具有軟件的共用通信、表現(xiàn)和管理系統(tǒng)，顯示器可以用作公共基礎設施的部分，允許移動用戶連接發(fā)布媒體，與協(xié)作者分享并更好地通信。因此，本方法允許像典型的IT基礎設施的其他方面(如，共享存儲、打印機、基于云的計算)一樣使用并管理的顯示裝置。
[0007]本系統(tǒng)同樣包含安裝在各種裝置上以允許它們連接至該顯示基礎設施的軟件。該軟件將多個用戶顯示裝置的互聯(lián)和關聯(lián)媒體提供至單個共享顯示器。用戶能夠同時使用同一顯示器，允許多個不同的裝置(可能具有不同的數(shù)據(jù)集)在該同一顯示器上進行視覺地對照。本系統(tǒng)使用集中的復雜的狀態(tài)和控制管理系統(tǒng)使得能夠實現(xiàn)這種同時媒體發(fā)稿，而無需每個用戶顯示裝置具有管理交互。
[0008]除了將來自每個用戶顯示裝置的媒體有選擇地發(fā)布至任意管理的顯示器，用戶可以同時控制已被發(fā)布至共享顯示器的每個媒體元素。因為顯示軟件將狀態(tài)更新傳輸至所有連接的用戶，每個顯示裝置可以為個人提供選擇并控制可能已被用戶發(fā)布或可能沒被用戶發(fā)布的媒體的能力。因此，本系統(tǒng)允許多個用戶自由地共享媒體、協(xié)作并通信，而不受更多傳統(tǒng)視頻切換器、每個裝置的直流視頻電纜或簡單的屏幕共享應用強加的限制。
[0009]作為本系統(tǒng)可能實現(xiàn)的協(xié)作的類型的示例，考慮具有與商品PC連接的單個顯示器的會議室。三個用戶的每個具有與被商品PC共享的無線網(wǎng)連接的便攜式電腦。本系統(tǒng)提供以下行為。
[0010].通過運行裝置軟件并通過用戶界面選擇連接，每個用戶可以建立與顯示器的連接，而不管顯示器分辨率是否不匹配、是否缺少物理連接器的正確的視頻電纜。
[0011].用戶可以有選擇地發(fā)布在他們的顯示裝置上運行的應用的直播輸出。該應用的直播圖像在屏幕上發(fā)布。
[0012].第二用戶可以選擇該圖像并使用交互、自由的形式控制比例和復位甚至將該圖像從共享顯示器中刪除。
[0013].第三用戶可以從他/她的裝置中選擇將出現(xiàn)在顯示器上的視頻文件。
[0014]?同時，第二用戶可以選擇兩個不同的應用窗口并將它們發(fā)布至顯示器?；诒硎静季值挠脩艨刂?，可同時直播顯示所有三個圖像，適當?shù)毓蚕盹@示器屏幕空間。
[0015]區(qū)別于現(xiàn)有的視頻切換系統(tǒng)，每個連接的裝置都能夠將圖像發(fā)布至共享顯示器并同時控制共享顯示器和其他裝置。傳統(tǒng)的視頻切換系統(tǒng)提供抓取、路由并顯示各種視頻信號的不同的視頻輸入(典型地，基于現(xiàn)有視頻標準)。這些源，因為它們已經(jīng)過傳統(tǒng)視頻電纜，不承載擴展的控制信息，因此視頻源不能控制顯示器。區(qū)別于視頻切換，本系統(tǒng)交換媒體(視頻、圖像、應用窗口像素)、控制信息以及其他元數(shù)據(jù)(用戶信息、源的位置等)。
[0016]區(qū)別于基于軟件的屏幕共享應用，本系統(tǒng)能夠同時對所有發(fā)布和共享的媒體提供組控制。
[0017]在一個實施例中，支持無線的一組顯示器被嵌入或附接到包含顯示軟件模塊的通用計算裝置。安裝在至少兩個不同的裝置上的客戶端軟件模塊允許這些裝置無線地連接至顯示模塊。顯示模塊可以基于來自兩個裝置的進入連接信號選擇性地顯示與連接的用戶有關的存在信息和元數(shù)據(jù)。然后裝置的用戶中的每個可以選擇性地識別待被傳輸至顯示器以進行渲染的媒體源。顯示模塊接收直播媒體流并在由連接的用戶中的每個控制的物理顯示裝置上將這些流按照位置和比例并具有視覺效果而同時進行渲染。
【附圖說明】
[0018]圖1為示出本系統(tǒng)的示例性組件的示意圖；
[0019]圖2為示出本主機顯示軟件的示例性組件的示意圖；
[0020]圖3為示出本客戶端軟件的示例性組件的示意圖；
[0021]圖4為示出示例性客戶端顯示裝置的示意圖；
[0022]圖5A為示出客戶端顯示裝置上的應用窗口和共享顯示裝置上它們的對應圖像之間的某種關系的不例性不意圖；
[0023]圖5B為示出客戶端顯示裝置上的應用窗口和共享顯示裝置上它們的對應圖像之間的某種關系的替換實施例的示例性示意圖；
[0024]圖6為示出本系統(tǒng)在連接至共享顯示器時執(zhí)行的示例性的一組步驟的流程圖；
[0025]圖7A為示出本系統(tǒng)在向共享顯示器發(fā)布時執(zhí)行的示例性的一組步驟的流程圖；
[0026]圖7B為示出本系統(tǒng)在可選實施例中在操縱共享顯示器102上的應用窗口時執(zhí)行的示例性的一組步驟的流程圖。
【具體實施方式】
[0027]圖1為示出本系統(tǒng)100的示例性組件的示意圖。如圖1所示，在示例性實施例中，本系統(tǒng)包括由包括顯示軟件模塊105的主機控制器104控制的多個共享顯示裝置102 (圖中僅示出兩個裝置102 (I)和102 (2))中的一個。主機控制器104為通過一個或多個服務器115與一個或多個客戶端主機計算機116互聯(lián)的計算機，如PC，每個客戶端主機計算機116執(zhí)行客戶端軟件107以控制本地顯示器108且還控制圖像顯示在共享顯示裝置102上。
[0028]客戶端主機116包括用于暫存應用、內容和其他當前信息的本地存儲器111，并可以連接至媒體文件109的本地數(shù)據(jù)庫或其他存儲庫。典型地，客戶端主機與PC、便攜式電腦或手持裝置如智能電話或筆記本電腦集成在一起。下文中，該集成的客戶端主機116和顯示器108被稱為“客戶端顯示裝置”或簡單地“客戶端”106。點線120指示客戶端106和主機共享顯示器102之間的可以是無線的或有線的網(wǎng)絡互聯(lián)。
[0029]圖2為示出控制本系統(tǒng)100的操作的主機顯示軟件105的示例性組件的示意圖。如圖2所示，在示例性實施例中，顯示軟件105包括網(wǎng)絡軟件204、控制和狀態(tài)管理軟件205、場景圖和顯示管理器208以及表示引擎209。
[0030]網(wǎng)絡軟件204提供主機控制器104和客戶端106之間的連接控制和在主機控制器104和客戶端106之間發(fā)送的信息的包接收/遞送。網(wǎng)絡軟件204從執(zhí)行客戶端軟件107的客戶端主機116接收源于客戶端的包212，并將源于系統(tǒng)的包211發(fā)送至執(zhí)行客戶端軟件107的客戶端主機116。視頻編/解碼器206對打包傳輸/接收的視頻信息進行編/解碼。
[0031]控制和狀態(tài)管理軟件205維持包括已由用戶創(chuàng)建的媒體流、用戶的唯一標識符中的每個、關于每個用戶的元數(shù)據(jù)(如，用戶類幾何空間位置和用戶名以及哪些用戶當前表示控制命令)的共享顯示器的全局狀態(tài)。來自用戶的消息喚起對控制和狀態(tài)管理模塊的更新以確?？偸且恢碌臓顟B(tài)。此外，該狀態(tài)被所有連接的用戶周期地共享。這樣，每個連接的客戶端能夠查看關于已被共享至顯示器的所有媒體的信息(例如，作為縮略圖維持的所有媒體發(fā)布的列表)，甚至選擇并控制源自其他裝置的媒體。
[0032]場景圖和顯示管理器208維持在顯示裝置102的屏幕510 (圖5A中示出)上顯示的所有視覺元素的3D幾何狀態(tài)。這包括發(fā)布到顯示器的每個媒體元素的位置(二維或三維)、比例以及外觀。然后，基于存儲在場景圖117中的信息，可以將來自與這些元素中的每個相關聯(lián)的視頻解碼器206的實際像素數(shù)據(jù)合成至對應媒體發(fā)稿的正確的視