源。用戶可能希望與一個或多個視頻容器的單獨內(nèi)容交互。用戶還可能希望與系統(tǒng)的圖形用戶接口交互以控制布局、視頻容器參數(shù)等。這可以通過使用一個或多個用戶輸入設(shè)備來實現(xiàn)，諸如圖1的網(wǎng)絡(luò)計算設(shè)備39。在一些實施例中，用戶可以使用另一輸入設(shè)備(諸如與視頻容器內(nèi)容的源相關(guān)聯(lián)的一個)來與視頻容器的內(nèi)容交互，并且可以使用與系統(tǒng)相關(guān)聯(lián)的輸入設(shè)備來與系統(tǒng)交互。然而，對于用戶在不同設(shè)備之間切換可能是令人困惑和耗時的。
[0107]因此，在該系統(tǒng)的實施例中，對于用戶利用單個輸入設(shè)備來控制系統(tǒng)參數(shù)以及各種異構(gòu)輸入源二者可以是可能的。系統(tǒng)可以能夠在將接收到的信號解釋為對系統(tǒng)圖形用戶接口(GUI)的輸入和解釋為對當前活動的視頻容器的輸入源的輸入之間來回切換。在說明性和非限制性的實現(xiàn)中，系統(tǒng)可以標識何時已經(jīng)選擇了特定視頻容器。系統(tǒng)輸入設(shè)備可以或可以不具有用于在系統(tǒng)GUI控制和源輸入的控制之間進行選擇的顯式選項。當系統(tǒng)接收意圖用于輸入源的命令時，轉(zhuǎn)化信號或者將其重新映射成適合用于意圖的輸入源的對應(yīng)信號并且使用下述中的一個或多個來重新發(fā)送至映射到活動視頻容器的輸入源:諸如HDMI命令信道的通信信道、諸如IP網(wǎng)絡(luò)的基礎(chǔ)設(shè)施、IR激光器等。
[0108]在另一實施例中，第三方遙控設(shè)備或用于異構(gòu)輸入源之一的控制設(shè)備可以鏈接到顯示系統(tǒng)，并且充當用于系統(tǒng)GUI的輸入設(shè)備和用于一個或多個異構(gòu)輸入源的輸入設(shè)備二者。此外，來自這樣的第三方遙控設(shè)備的信號可以由系統(tǒng)解釋為還用于另一輸入源。在說明性示例中，用于xBox游戲系統(tǒng)的操縱桿、系統(tǒng)異構(gòu)輸入源中的一個還可以充當用于系統(tǒng)圖形用戶接口GUI的控制器、以及用于舊式VHS磁帶系統(tǒng)的控制器、系統(tǒng)潛在異構(gòu)輸入源中的另一個。
[0109]在一個實施例中，可以可能的是使系統(tǒng)的圖形用戶接口GUI鏡像在一個或多個輔顯示器上，諸如平板裝置、PC、膝上型電腦、移動設(shè)備、智能電話、第二電視等。這可以向用戶提供能力來利用可以與輔顯示器相關(guān)聯(lián)的接口能力，諸如鍵盤、觸摸屏等。這些附加接口能力可以增強用戶體驗和用戶的以下能力:編輯微件、輸入用戶偏好和個人數(shù)據(jù)、設(shè)置多個異構(gòu)源的同步、調(diào)整視頻容器的形狀、大小和透明度、錄入用于搜索或編輯文本字段的復(fù)雜聲明等。鏡像的GUI可以通過將相同視頻輸出供給多于一個電視或顯示設(shè)備38來實現(xiàn)。替換地，相同的GUI和控制可以通過使用對用于系統(tǒng)GUI的那個的公共API所開發(fā)的原生應(yīng)用來實現(xiàn)。
[0110]在一些實施例中，系統(tǒng)可以支持來自一個或多個輸入設(shè)備的GUI控制信息的同時接收。圖14示出了具有同時控制單個電視或顯示設(shè)備38或者顯示設(shè)備的多個輸入設(shè)備的該實施例的說明性示例。圖14示出了三個觀眾204觀看單個電視或顯示設(shè)備38或其它顯示器，其包括獨立于其它視頻容器而顯示內(nèi)容的背景視頻容器602和三個附加視頻容器602。每個觀眾可以具有分離的輸入設(shè)備702，所述分離的輸入設(shè)備702是諸如平板裝置或智能電話之類的移動設(shè)備702A、遙控裝置702B、PC、游戲控制器、鼠標702C、跟蹤球、操縱桿、運動追蹤系統(tǒng)等中的一個或多個。利用他們單獨的輸入設(shè)備702，每個觀眾204可以指定視頻容器602中的一個或多個的內(nèi)容、大小、定位、大小或定位方面的改變、透明度等中的一個或多個。觀眾204可以彼此“斗爭”以用于控制所有視頻容器602或關(guān)于對各個窗口 /視頻容器602的控制而達成妥協(xié)。各個觀眾204可以各自控制一個或多個獨特視頻容器的內(nèi)容、大小、定位、透明度等。在一些實施例中，每個觀眾204可以向系統(tǒng)提供唯一的用戶ID，允許系統(tǒng)應(yīng)用用戶偏好并且在其控制(包括頻道、顏色方案、微件、用戶購買數(shù)據(jù)等)中將用戶數(shù)據(jù)與視頻容器相關(guān)聯(lián)。
[0111]在另一實施例中，多個輸入設(shè)備可以由觀眾用來對著彼此、計算機、互聯(lián)網(wǎng)上的其他用戶、“電視播送的”游戲節(jié)目等玩游戲。在一些實施例中，游戲可以鏈接到被電視播送的、廣播的、數(shù)字分布等的游戲節(jié)目。微件可以被開發(fā)以播放特定游戲節(jié)目，諸如“Price isRight”、“Wheel of Fortune”等。實況游戲可以包括除了視頻和音頻內(nèi)容之外的元數(shù)據(jù)。微件可以被設(shè)計為使用節(jié)目號或其它標識信息來與實況游戲或以前的游戲同步。同步的微件可以使得觀眾能夠與電視播送的參與者一起玩。
[0112]硬件配置
在圖15中所示的視頻顯示系統(tǒng)的一個實施例中，存在計算機化的媒體處理系統(tǒng)24，其包括四個或更多輸入端口802、FPGA 804、定制芯片、可編程邏輯器件等和輸出端口808。此夕卜，實施例可以包括附加的電子硬件和軟件元件。每個輸入端口 802可以支持以諸如下述的格式的數(shù)據(jù)的接收:HDM1、DVI，包括原始的、加密的、未加密的或其它視頻數(shù)據(jù)方案(諸如通用即插即用UPnP、數(shù)字生活網(wǎng)絡(luò)聯(lián)盟DLNA、RVU等)的IP數(shù)據(jù)流。系統(tǒng)可以包括輸入端口 802，所述輸入端口包括對多個以上輸入格式中一個的支持。在一些實施例中，所有的輸入端口802可以是HDMI兼容的。在一些實施例中，所有輸入端口 802可以用于IP數(shù)據(jù)流的接收。IP數(shù)據(jù)流可以經(jīng)由以太網(wǎng)、支持同軸電纜多媒體聯(lián)盟MOCA的同軸電纜、802.11、4G或者其它傳輸手段等來被接收。在還其它的實施例中，可以存在輸入端口 802類型的混合。輸入端口 802可以并行連接到單個FPGA 804或其它可編程邏輯器件，其中可編程器件被設(shè)計為在設(shè)備上的分離地分配的處理區(qū)域810中并行處理多個輸入。當并行處理來自每個輸入端口 802的內(nèi)容時，后續(xù)的輸出數(shù)據(jù)流被寫入到公共存儲器緩沖器812。公共存儲器緩沖器812也可以位于相同F(xiàn)PGA 804、邏輯器件等上。在FPGA 804上并行處理各個輸入并且將所處理的數(shù)據(jù)存儲在相同的FPGA 804上消除了跨計算機總線移動數(shù)據(jù)的需要并且可以提高處理速度。公共存儲器緩沖器812的內(nèi)容與格式化模塊814提供的參數(shù)相順應(yīng)地被組合并且被寫入到輸出端P 808 ο
[0113]在圖16中所示的另一實施例中，計算機化的媒體處理系統(tǒng)24可以具有十二個或更多輸入端口802以及FPGA 804。輸入端口 802可以并行地連接到單個FPGA 804或其它可編程邏輯器件。在又一實施例中，可以存在以集合配置的多個輸入端口 802，其中輸入端口 802的集合902被復(fù)用904到單個FPGA 804或其它可編程邏輯器件中。在該實施例中，在任何給定時間，F(xiàn)PGA 804將會能夠僅并行處理與輸入端口 802的給定集合902相關(guān)聯(lián)的多個輸入端口802。除了多個輸入端口 802之外，計算機化的媒體處理系統(tǒng)24可以有一個或多個輸出端口808，所述輸出端口包括對HDM1、DV1、互聯(lián)網(wǎng)協(xié)議、RVU、通用即插即用UPnP和數(shù)字生活網(wǎng)絡(luò)聯(lián)盟DLNA協(xié)議等中的一個或多個的支持。
[0114]當各個輸入端口802被處理時，針對每個輸入端口 802的輸出數(shù)據(jù)流的一部分或全部被寫入到公共存儲器緩沖器812。與格式化模塊814和規(guī)則集提供的參數(shù)相順應(yīng)地執(zhí)行以下細節(jié):每個數(shù)據(jù)流的什么部分被寫入到輸出緩沖器、輸出可以被寫入的位置、多個異構(gòu)數(shù)據(jù)流輸出的疊覆或混合的程度等。格式化模塊814可以指定用于每個輸入端口 802的顯示位置(包括空間位置)、顯示窗口的大小、顯示窗口的形狀、在視頻顯示容器之間的重疊(包括顯示窗口的任何疊覆、透明度或混合XFPGA 804或處理模塊包括這樣的電路:所述電路能夠如來自格式化模塊814的參數(shù)所指定的那樣處理和組合多個輸入，然后將結(jié)果得到的經(jīng)組合的輸出發(fā)送到輸出端口 808中的一個或多個。
[0115]FPGA 804或其它處理模塊可以包括用于輸入端口802之間的疊覆信息的重定大小和處理的邏輯模塊。系統(tǒng)可以處理多個輸入端口 802，并且包括同步模塊或過程以用于處理或避免在顯示設(shè)備的重疊輸出區(qū)域上的逐位競爭。在一個實施例中，格式化模塊814可以向FPGA 804或其它邏輯器件的輸出端口808提供用于顯示的像素位置的劃界框。
[0116]盡管用于實現(xiàn)該視頻顯示方法的系統(tǒng)已經(jīng)在某些硬件配置的方面進行了描述，但是這些不應(yīng)該被認為是限制性的。應(yīng)當理解，同時解碼和處理多個輸入流并且在具有針對大小、形狀等的任意參數(shù)的視頻容器的集合中顯示所處理的內(nèi)容的功能性可以以各種方式來實現(xiàn)。解碼和處理可以在本地使用各種方案中的一個來完成，諸如其中計算機具有足夠的處理能力來并行處理多個輸入的計算機和軟件、定制的硬件和軟件的組合、定制FPGA或其某種組合。解碼和處理的部分可以在云中發(fā)生，其中最終的組合輸出被流式傳輸?shù)奖镜仫@示設(shè)備。在一個實施例中，解碼和處理的部分可以跨較大系統(tǒng)的各種組件而分布，其中一些部分通過機頂盒、電視等來完成。
[0117]在一些實施例中，可以有可能升級FPGA或其它可編程邏輯器件的固件。這可以如下完成:使用通信網(wǎng)絡(luò)遠程地完成、使用DVD或其它便攜式計算機可讀介質(zhì)本地完成等等，以將新的圖像或數(shù)據(jù)上傳到FPGA。
[0118]在一些實施例中，F(xiàn)PGA的升級可以促進旋轉(zhuǎn)硬件密鑰系統(tǒng)，其使得能夠在允許經(jīng)許可的內(nèi)容在一個或多個視頻容器中被顯示之前進行用戶或系統(tǒng)認證。使用云或網(wǎng)站來維護用戶簡檔和信息可以使能單元結(jié)合用戶認證微件的注冊。然后，視頻顯示系統(tǒng)可以認證和使能數(shù)字權(quán)限管理DRM、受保護媒體的回放，而不需要訪問單獨的網(wǎng)站以供認證。
[0119]在一些實施例中，F(xiàn)PGA或其它可編程邏輯器件可以是現(xiàn)場可編程的。這可以允許對用于下述中的一個或多個的規(guī)則集的更新:混合，疊覆邏輯等，安全特征，用于IP、HDM1、或用于將輸入連接到系統(tǒng)的新方式的其它輸送系統(tǒng)的新輸送協(xié)議等。
[0120]在一個實施例中，系統(tǒng)的視頻輸出可以是較高畫面分辨率，諸如4K。系統(tǒng)可以通過梳理多個較低分辨率視頻流(諸如1080、720等)、上轉(zhuǎn)換為單個4K或其它更高分辨率視頻流等來生成該較大輸出流。
[0121]視頻數(shù)據(jù)經(jīng)常以諸如MPEG2、MPEG4編碼的視頻和音頻等的壓縮格式被傳輸。壓縮促進了跨有限帶寬信道的大量數(shù)據(jù)的輸送，例如視頻通過電纜到家。然而，一旦接收到壓縮格式的數(shù)據(jù)，就需要處理來檢索未壓縮的視頻和音頻數(shù)據(jù)。此外，可能需要處理來解密附加的編碼，諸如安全性、數(shù)字權(quán)限管理DRM等。一旦已經(jīng)如此處理了數(shù)據(jù)，它就可以被配置用于順從于下述協(xié)議中的一個或多個而被輸出；HDM1、DV1、互聯(lián)網(wǎng)協(xié)議、RVU、通用即插即用UPnP和數(shù)字生活網(wǎng)絡(luò)聯(lián)盟DLNA協(xié)議等。此數(shù)據(jù)操縱可能需要相當大的處理能力。典型的消費性視頻顯示設(shè)備可能僅被配備為處理單個高分辨率或可能地同時處理兩個低清晰度數(shù)據(jù)流。
[0122]由于典型的現(xiàn)有消費性顯示設(shè)備的有限能力，可能合期望的是提供附加處理能力，以促進對多個壓縮的和或加密的數(shù)據(jù)流的同時處理。在一個實施例中，這可以通過利用HDMI控制線結(jié)合一個或多個外部處理器來完成，諸如HDMI聯(lián)接多個PC、一個PC、其它機頂盒等。通過使用HDMI控制線，這些外部處理器可以用作輔設(shè)備以解碼和解壓縮視頻并且然后使用標準HDMI輸出線進行輸出。
[0123]在說明性和非限制性示例中，壓縮的視頻可以由主機頂盒STB經(jīng)由電纜、衛(wèi)星、互聯(lián)網(wǎng)基礎(chǔ)設(shè)施等來接收。該壓縮的視頻的格式可以是MPEG2輸送流、標準廣播視頻標準、MPEG4等。主STB可以具有多于一個調(diào)諧器以選擇期望的節(jié)目，并且接收以MPEG2輸送流、MPEG4數(shù)據(jù)流等包含所期望節(jié)目的音頻和視頻的壓縮數(shù)據(jù)。壓縮數(shù)據(jù)可以由STB通過帶外本地互聯(lián)網(wǎng)連接、以HDMI協(xié)議的控制信道或其它輸送機制來發(fā)送到本發(fā)明的視頻顯示系統(tǒng)。然后，壓縮數(shù)據(jù)可以被發(fā)送到用于解壓縮和解碼的輔處理設(shè)備中的一個或多個。然后，經(jīng)解壓縮和解碼的視頻和音頻內(nèi)容可以使用HDMI接口來輸出。
[0124]在關(guān)于該實施例的變型中，外部處理能力的使用(諸如HDMI聯(lián)接PC、PC和其它機頂盒)可以由FGPA上的附加處理能力來取代。FPGA或其它可編程邏輯器件、邏輯芯片等可以包括用于解壓縮MPEG2輸送流、MPEG4等的一個或多個解碼器。然后，解壓縮的結(jié)果可以被傳遞到FPGA上的輸入端口處理區(qū)域中的一個以用于集成到輸出視頻流中。
[0125]在該實施例的另一變型中，F(xiàn)PGA或其它可編程邏輯器件、邏輯芯片等可以被并入到主機頂盒STB中。在該實施例中，多個調(diào)諧器可以通過電子總線(PCIe、并行等)連接到FPGA。因此，解壓縮在機頂盒STB中完成，并且經(jīng)解壓縮和/或解密的視頻和音頻內(nèi)容然后被傳輸?shù)揭曨l顯示系統(tǒng)。
[0126]在一個實施例中，系統(tǒng)可以在端口、諸如HDMI端口、IP以太網(wǎng)端口等之間傳遞數(shù)據(jù)。以該方式，系統(tǒng)可以在連接到系統(tǒng)的任何程序或設(shè)備之間發(fā)送分組數(shù)據(jù)，諸如能夠?qū)?shù)據(jù)實況地從互聯(lián)網(wǎng)微件發(fā)送到xBox以被實況地處理等。在程序之間直接傳遞數(shù)據(jù)的能力可以降低復(fù)雜度，包括減少對額外導(dǎo)線的需要、消除一些遙控裝置等。
[0127]在說明性和非限制性示例中，來自實況籃球比賽的統(tǒng)計數(shù)字可以經(jīng)由視頻顯示系統(tǒng)被傳遞到附連至系統(tǒng)的xBox^Box可以根據(jù)如從視頻顯示系統(tǒng)接收到的實況比賽的統(tǒng)計數(shù)字來玩籃球視頻游戲。這可以使得用戶能夠經(jīng)由xBox籃球游戲來看到真實籃球比賽事件的圖形再現(xiàn)，其中根據(jù)由籃球微件傳遞的實況統(tǒng)計數(shù)字來玩游戲。
[0128]在實施例中，異構(gòu)源中的一個或多個可以包括“第二屏幕”應(yīng)用，使得系統(tǒng)能夠顯示意圖用于在智能電話、平板裝置或其它移動設(shè)備上顯示的應(yīng)用和內(nèi)容以用于在視頻容器中顯示。在另一實施例中，系統(tǒng)可以在作為組合的系統(tǒng)輸出的部分而顯示的視頻容器中使平板裝置、智能電話或移動設(shè)備的顯示鏡像。
[0129]用戶接口
在一個示例中，對媒體處理單元的HDMI輸入中的一個可以包括圖形用戶接口(GUI)。該GUI可以在附加視頻容器可以顯示在其上的背景視頻容器中被顯示。該⑶I可以是在web瀏覽器中運行的HTML5應(yīng)用(利用HTML5代碼)、在視頻顯示設(shè)備上運行的原生應(yīng)用等中的一個。視頻顯示設(shè)備或系統(tǒng)的用戶可以通過各種輸入設(shè)備來與該用戶接口進行交互，所述輸入設(shè)備包括諸如智能電話、平板裝置等的移動設(shè)備、PC、遙控裝置、無線鼠標/鍵盤設(shè)備等中的一個或多個。視頻顯示設(shè)備或系統(tǒng)的用戶可以經(jīng)由GUI來選擇用戶簡檔，使得用戶接口與另一應(yīng)用、網(wǎng)站等進行交互，以訪問多個用戶偏好、用戶相關(guān)聯(lián)的微件、包括用戶名、密碼和購買信息的個人用戶數(shù)據(jù)、用戶偏好的布局和頻道等中的一個。此外，唯一用戶的標識可以允許系統(tǒng)(視頻系統(tǒng)或遠程應(yīng)用、網(wǎng)站等)來收集和存儲關(guān)于特定用戶的分析、其觀看習(xí)慣、所顯示的輸入信道中的一個或多個的性質(zhì)、屏幕上的每個視頻容器的位置、大小、形狀、透明度等、顯示哪些微件、微件的數(shù)目和微件交互的性質(zhì)和程度、包括游戲標識、玩的時長等的視頻游戲活動、時間和日期信息、哪個頻道具有正播放的對應(yīng)聲音、一起顯示的演出、微件等之間的關(guān)系、不同材料的共同查看等。唯一用戶的標識可以使得系統(tǒng)能夠基于用戶的年齡來限制某些內(nèi)容的顯示、微件訪問、數(shù)據(jù)收集等。用戶接口可以與格式化模塊通信，以提供與輸出顯示的布局和外觀相關(guān)的參數(shù)。
[0130]用戶接口可以通過諸如以下的一個或多個輸入方法來被同時訪問:在視頻顯示設(shè)備處、使用在PC、移動設(shè)備等上運行的本地應(yīng)用或遠程應(yīng)用，或者經(jīng)由設(shè)備上的web瀏覽器和通信網(wǎng)絡(luò)來訪問網(wǎng)站等。在實施例中，以這樣的方式訪問和顯示的用戶接口使得能夠創(chuàng)建獨特用戶的簡檔，包括允許用戶指定關(guān)于其個人人口統(tǒng)計的信息(諸如姓名、性別)、支付信息(諸如信用卡、PayPal?賬戶信息)等。此外，用戶可以指定偏好的種類、最喜歡的隊伍、新聞?wù)?、感興趣的領(lǐng)域、默認屏幕布局(包括視頻容器的數(shù)目、大小、定位和默認內(nèi)容)、微件偏好等。在一些實施例中，對不同水平的定制的訪問可以基于不同商業(yè)模型中的用戶登記而可用。在另一實施例中，用戶接口可以收集關(guān)于用戶的視頻顯示設(shè)備的特定硬件、系統(tǒng)和軟件配置的信息。
[0131]圖17示出了實施例，在選擇了用戶簡檔的情況下，視頻顯示系統(tǒng)可以經(jīng)由通信網(wǎng)絡(luò)22來訪問網(wǎng)站或服務(wù)器，其將會向特定視頻顯示系統(tǒng)提供用戶個人偏好1002中的一個或多個，包括默認顯示布局、頻道、微件選擇等。相同或另一網(wǎng)站可以充當向視頻顯示系統(tǒng)提供最新微件的微件服務(wù)器1004。分析數(shù)據(jù)1008還可以被存儲在云1702中。
[0132]在一個實施例中，HDMI輸入可以包括其中元數(shù)據(jù)已經(jīng)被嵌入到視頻流中的視頻內(nèi)容。嵌入的元數(shù)據(jù)可以包括關(guān)于以下的信息:視頻流的場景內(nèi)容、對相關(guān)互聯(lián)網(wǎng)站點的鏈接、對相關(guān)社交聯(lián)網(wǎng)站點和頻道的鏈接、銷售渠道、可執(zhí)行腳本等。在一個示例中，視頻內(nèi)容可以是電視播送的比賽，并且嵌入的元數(shù)據(jù)可以包括關(guān)于隊伍的信息、關(guān)于單獨參賽者的信息、對隊伍的網(wǎng)站的鏈接等。在另一示例中，視頻內(nèi)容可以包括新聞節(jié)目，并且嵌入的元數(shù)據(jù)可以包括對關(guān)于正在討論的話題的附加信息的鏈接、關(guān)于新聞播報員的信息、次要的故事等。在另外的示例中，視頻內(nèi)容可以包括家庭購物頻道，并且嵌入的元數(shù)據(jù)可以包含對以下的鏈接:用于供銷售的各個物項的信息、關(guān)于設(shè)計者的信息、關(guān)于相關(guān)配件的信息等。
[0133]在一個實施例中，視頻顯示系統(tǒng)從多個輸入源的視頻內(nèi)容中提取嵌入的元數(shù)據(jù)，并且根據(jù)規(guī)則集而作用于元數(shù)據(jù)。在一個實施例中，包括元數(shù)據(jù)可以導(dǎo)致跨其中顯示該視頻的視頻容器的底部滾動的信息。在另一實施例中，元數(shù)據(jù)和規(guī)則可以導(dǎo)致微件被顯示。在另一實施例中，元數(shù)據(jù)和規(guī)則集可以導(dǎo)致與在較大屏幕上顯示的視頻內(nèi)容相關(guān)的推特反饋。這些示例意為是說明性的而不是窮舉的。
[0134]數(shù)據(jù)收集
系統(tǒng)可以追蹤有關(guān)用戶的觀看習(xí)慣的信息。所收集的數(shù)據(jù)可以用于使能電子商務(wù)、目標廣告投放、收集關(guān)于設(shè)備使用的分析等。在一些商業(yè)模型中，背景、內(nèi)容和服務(wù)提供商可以基于如由Nielson或類似的服務(wù)提供商所度量的有多少人正在觀看節(jié)目來設(shè)立廣告收費。在一個實施例中，嵌入在輸入內(nèi)容中的元數(shù)