專利名稱：消費(fèi)者視頻播放器的編程窗口控制的系統(tǒng)和方法
技術(shù)領(lǐng)域：
一般地，本發(fā)明的領(lǐng)域涉及數(shù)字視頻控制。具體地，本發(fā)明的領(lǐng)域涉及數(shù)字格式的畫中畫功能。
背景技術(shù)：
通過開發(fā)不同的可用多媒體資源，交互式多媒體向用戶提供了更完全理解的對(duì)象。交互式多媒體包括將文本、音頻、圖形、靜態(tài)圖像和運(yùn)動(dòng)圖像集成為單一、計(jì)算機(jī)控制的多媒體體產(chǎn)品。對(duì)于交互式媒體的希望伴隨著對(duì)于增大這些節(jié)目的數(shù)據(jù)存儲(chǔ)的希望而增長(zhǎng)。
在一個(gè)傳統(tǒng)應(yīng)用中，交互式多媒體用作用戶的學(xué)習(xí)工具。多媒體平臺(tái)提供了許多優(yōu)點(diǎn)，包括針對(duì)用戶的能力和喜好進(jìn)行定制的能力。結(jié)果，用戶能夠控制課程的進(jìn)程。多媒體課程可以通過信息指導(dǎo)用戶，或者使用戶自己開發(fā)許多方案。通過針對(duì)每一個(gè)用戶定制界面和指導(dǎo)的級(jí)別，交互式多媒體程序提供了更有效的學(xué)習(xí)。交互式多媒體不僅局限于教育手段；其還可以用于娛樂、展示等。
DVD和例如高清晰度視頻播放器和軟件DVD-ROM的其它數(shù)字媒體播放器提供了增加的數(shù)據(jù)存儲(chǔ)量，由此提供了對(duì)于媒體集成的更多途徑。增大的存儲(chǔ)容量轉(zhuǎn)化為在單個(gè)盤或驅(qū)動(dòng)器上保持更多信息的能力。除了增大存儲(chǔ)容量以外，這些數(shù)字媒體還提供了更高質(zhì)量的視頻和音頻。編程選項(xiàng)包括電影的標(biāo)記段，其中用戶能夠選擇用于直接觀看的段。經(jīng)常，這些段出現(xiàn)在來自DVD菜單或主菜單屏幕的、可用于用戶的屏幕上索引中。結(jié)果，在不停止影片的播放并返回主菜單屏幕的情況下，用戶不能選擇希望的場(chǎng)景。
在傳輸中，DVD被局限于不能同時(shí)顯示至少兩個(gè)數(shù)據(jù)流。傳統(tǒng)系統(tǒng)使用戶能夠在DVD的播放期間選擇不同的角度。當(dāng)選擇不同角度時(shí)，顯示從第一角度改變?yōu)樗x擇的角度。為了觀看選擇的角度，在DVD的播放期間菜單或索引是不可用的。在播放期間，用戶通過連續(xù)按下遙控器上的“角度”鍵來觸發(fā)所有的各種角度。用戶必須繼續(xù)觸發(fā)所有的角度，直到滿意屏幕上當(dāng)前顯示的畫面。作為不能一直經(jīng)歷不同角度的結(jié)果，用戶不知道能夠通過不同角度提供更佳觀看的其它角度。
嘗試顯示大量的視頻和/或音頻流不大成功。已經(jīng)使用了許多類型的媒體來嘗試向用戶提供更多的觀看選項(xiàng)。CD-ROM是一種這樣的傳統(tǒng)嘗試。CD-ROM類似于DVD，但具有更小的容量。由于這種下容量，流式視頻使用了大量的存儲(chǔ)器。結(jié)果，存儲(chǔ)量限制了同時(shí)顯示數(shù)個(gè)視頻流的能力。
傳統(tǒng)電視提供了同時(shí)觀看兩個(gè)頻道的能力。該電視特征公知為畫中畫。畫中畫顯示了在電視屏幕上正常顯示了主電視廣播。在電視顯示器的拐角附近大致矩形的框中，將第二電視廣播疊加在主電視廣播上。定位矩形框，從而其阻擋了第一廣播的希望部分。用戶不能選擇將框重新定位到屏幕上的其它位置。此外，用戶不能將框的尺寸調(diào)整為更大或更小。類似地，框的長(zhǎng)寬比是預(yù)定且固定的。實(shí)質(zhì)上，框是“靜態(tài)的”。
個(gè)人計(jì)算機(jī)的操作系統(tǒng)使用“窗口(window)”來顯示內(nèi)容。當(dāng)操作系統(tǒng)窗口向靜態(tài)電視畫中畫提供了一些解決方案時(shí)，傳統(tǒng)操作系統(tǒng)不允許在充分定制的“窗口”中同時(shí)觀看流數(shù)據(jù)。每一個(gè)窗口經(jīng)常是運(yùn)行新程序的結(jié)果。操作系統(tǒng)對(duì)于以下操作的能力是有限的在屏幕上的多個(gè)可定制窗口中同時(shí)提供多個(gè)音頻或視頻數(shù)據(jù)流。此外，使用個(gè)人計(jì)算機(jī)的操作系統(tǒng)上的窗口不會(huì)轉(zhuǎn)化為電視觀看設(shè)備。電視不能容易地提供與操作系統(tǒng)類似的窗口。
在觀看數(shù)字格式時(shí)，用戶希望同時(shí)觀看流音頻和/或視頻的能力，以及定制并操縱各種媒體的能力。更具體地，用戶希望以下能力在屏幕上重新定位流媒體、改變屏幕上流媒體的尺寸、將流媒體的音頻與主傳輸相混合、使用流媒體中的“比例”特征、修剪流媒體、改變流媒體的長(zhǎng)寬比、選擇各種媒體的分層格式以及修改媒體的各種屬性，例如透明度、色彩和對(duì)比度。
這些傳統(tǒng)系統(tǒng)不能實(shí)現(xiàn)同時(shí)觀看具有這些希望特征的交織音頻和/或視頻流，也不存在這方面的教益。在下一代視頻回放設(shè)備中提供這種能力給予消費(fèi)者很大的自由來定制其自己的觀感體驗(yàn)。此外，改進(jìn)回放平臺(tái)還提高了藝術(shù)家和內(nèi)容公司提供創(chuàng)新觀看體驗(yàn)的能力。

發(fā)明內(nèi)容
一種編程窗口控制的系統(tǒng)和方法提供了具有在相同屏幕上同時(shí)顯示多個(gè)媒體流的能力的視頻回放設(shè)備。視頻回放設(shè)備包括但不局限于DVD播放器、高清晰度視頻播放器、PC DVD-ROM等。能夠通過用戶輸入或編程裝置來動(dòng)態(tài)并獨(dú)立地控制媒體流的屬性。
本公開通過提供一種與可定制特征在一起的格式，擴(kuò)展了用于視頻回放設(shè)備的畫中畫的概念。可以任意設(shè)置或調(diào)整媒體的放置、尺寸、長(zhǎng)寬比、修剪、比例、透明度、色彩、對(duì)比度和媒體的修剪。此外，可以在伴隨視頻流的獨(dú)立音軌之間混合音頻，并任意地設(shè)置或調(diào)整音頻。通過自動(dòng)或用戶發(fā)起裝置，在回放期間可以動(dòng)態(tài)地改變每一個(gè)變量。
在一個(gè)實(shí)施例中，在顯示器上同時(shí)顯示第一視頻流和第二視頻流。由包括處理器的媒體回放設(shè)備接收第一和第二媒體流。對(duì)第一和第二視頻流進(jìn)行同步，以便同步地顯示每一個(gè)視頻流的至少一部分。在顯示器上顯示第一視頻流，其中第一視頻流實(shí)質(zhì)上在整個(gè)顯示器上延伸，在可定制子顯示器上選擇地顯示第二視頻流，其中第二視頻流具有與第一視頻流的回放相同步的回放。可以向媒體回放設(shè)備提供第三視頻流，并顯示在可定制子顯示器上。
多個(gè)視頻流的至少之一來自可拆卸媒體，例如DVD或CD、或因特網(wǎng)源、個(gè)人計(jì)算機(jī)、硬盤驅(qū)動(dòng)器、LAN存儲(chǔ)器或服務(wù)器。媒體回放設(shè)備可以是DVD播放器、個(gè)人計(jì)算機(jī)、家庭媒體服務(wù)器、高清晰度視頻播放器、光學(xué)播放器、基于硬盤驅(qū)動(dòng)器的播放器或軟件DVD-ROM播放器。
在一個(gè)實(shí)施例中，通過使用例如遙控器的輸入設(shè)備選擇菜單選項(xiàng)，來顯示可定制子顯示器。可以在可定制子顯示器上顯示例如菜單項(xiàng)的名稱的描述文本。
在一個(gè)實(shí)施例中，可以調(diào)整可定制子顯示器的尺寸或改變其長(zhǎng)寬比。至少還可以改變第二視頻流的長(zhǎng)寬比。將第一視頻流與至少一個(gè)第二視頻流之一進(jìn)行交換，其中在可定制子顯示器中顯示第一視頻流，實(shí)質(zhì)上橫穿顯示器地顯示至少一個(gè)第二視頻流之一。可以將可定制子顯示器重新定位到顯示器上的其它位置。可以利用第三視頻來代替可定制子顯示器中的至少一個(gè)第二視頻流。除了至少一個(gè)第二視頻流以外，還可以將第三視頻流顯示在可定制子顯示器中。
用戶能夠改變第一視頻流和至少一個(gè)第二視頻流的音頻屬性?？梢哉{(diào)整子顯示器的尺寸，以便實(shí)質(zhì)上使其橫穿顯示器，其中至少一個(gè)第二視頻流與第一視頻流疊加。用戶能夠通過遙控器、鼠標(biāo)或鍵盤或游戲控制器來改變可定制子顯示器屬性。
另一個(gè)實(shí)施例提供了一種系統(tǒng)，用于在顯示器上顯示第一和第二視頻流，該系統(tǒng)包括媒體回放設(shè)備，用于接收并播放第一和第二視頻流，其中從媒體源向媒體回放設(shè)備提供第一和第二視頻流，其中媒體回放設(shè)備在顯示器上播放第一視頻流；具有CPU和媒體協(xié)處理器的媒體回放設(shè)備，其中CPU接收用戶的命令，并命令媒體協(xié)處理器顯示或修改第一和第二視頻流以及子顯示器。系統(tǒng)還包括用于命令CPU的遙控器、鼠標(biāo)、鍵盤或游戲控制器。系統(tǒng)還包括顯示器上的光標(biāo)，以幫助用戶修改子顯示器的屬性。系統(tǒng)還包括可執(zhí)行文件，其中CPU運(yùn)行可執(zhí)行文件，以便修改視頻流和子顯示器的屬性?？蓤?zhí)行文件還包括控制數(shù)據(jù)，控制數(shù)據(jù)具有用于子顯示器的可定制屬性。將可執(zhí)行文件嵌入到至少一個(gè)視頻流中?？梢栽诔谝换虻诙曨l流以外的流中設(shè)置可執(zhí)行文件。
另一個(gè)實(shí)施例提供了一種方法，用于媒體回放設(shè)備在顯示器上顯示至少兩個(gè)視頻流，所述方法包括步驟在媒體回放設(shè)備的媒體接口接收至少兩個(gè)視頻流；接收在媒體回放設(shè)備的CPU中運(yùn)行可執(zhí)行文件；CPU檢查至少兩個(gè)視頻流的元標(biāo)記(metatag)；在CPU處接收來自用戶的命令，以修改顯示器上至少兩個(gè)視頻流的至少之一；命令媒體協(xié)處理器將修改的至少兩個(gè)視頻流的至少之一提供到輸出緩沖器，以便顯示；根據(jù)元標(biāo)記保持至少兩個(gè)視頻流的對(duì)準(zhǔn)；以及選擇性地在顯示器上顯示對(duì)準(zhǔn)的至少兩個(gè)視頻流的至少一個(gè)第二視頻流。保持至少兩個(gè)視頻流之間的相對(duì)偏移量。
結(jié)合參考附圖，通過閱讀演示了本發(fā)明的特點(diǎn)和優(yōu)點(diǎn)的以下詳細(xì)典型實(shí)施例，其上述和其它目的、特點(diǎn)和優(yōu)點(diǎn)變得顯而易見。


包括在說明書中以提供進(jìn)一步理解并合并在說明書并且構(gòu)成了說明書的附圖，演示了本發(fā)明的實(shí)施例并且和說明書一起用于解釋原理。
圖1a-1b是根據(jù)實(shí)施例的系統(tǒng)的流程圖。
圖2是具有根據(jù)實(shí)施例的子顯示器的顯示器。
圖3a-3d是具有根據(jù)實(shí)施例的修改子顯示器的顯示器。
圖4a-4c是具有根據(jù)實(shí)施例的修改子顯示器的顯示器。
圖5a-5b是具有根據(jù)實(shí)施例的修改子顯示器的顯示器。
圖6是具有根據(jù)實(shí)施例的子顯示器的顯示器。
圖7a-7b是具有根據(jù)實(shí)施例的修改子顯示器的顯示器。
圖8是具有根據(jù)實(shí)施例的子顯示器的顯示器。
圖9a-9b是具有根據(jù)實(shí)施例的修改子顯示器的顯示器。
圖10是具有根據(jù)實(shí)施例的子顯示器疊加的顯示器。
圖11是具有根據(jù)實(shí)施例的子顯示器和音頻混合的顯示器。
具體實(shí)施例方式
系統(tǒng)和方法將畫中畫功能添加到媒體播放器。具體地，系統(tǒng)和方法應(yīng)用于視頻播放器，包括但不局限于DVD播放器、高清晰度視頻播放器、軟件DVD-ROM播放器、高清晰度視頻播放器、基于硬盤驅(qū)動(dòng)器的播放器、光學(xué)播放器、個(gè)人計(jì)算機(jī)或本領(lǐng)域技術(shù)人員公知的任意其它媒體播放器。
參考圖1a，媒體回放設(shè)備100接收至少兩個(gè)視頻流。可選地，至少兩個(gè)媒體數(shù)據(jù)流流入視頻播放器100，以便第一數(shù)據(jù)流的媒體數(shù)據(jù)在時(shí)刻上與至少一個(gè)第二數(shù)據(jù)流相對(duì)應(yīng)。數(shù)據(jù)流可以是邏輯上復(fù)用的數(shù)據(jù)供應(yīng)，或來自多源的數(shù)據(jù)供應(yīng)，或二者的結(jié)合。
如復(fù)用數(shù)據(jù)供應(yīng)45所示，數(shù)據(jù)流是邏輯上復(fù)用的數(shù)據(jù)供應(yīng)。復(fù)用數(shù)據(jù)供應(yīng)45是在相同數(shù)據(jù)供應(yīng)45中編碼的數(shù)據(jù)供應(yīng)10、20、30、40的結(jié)合?？梢詮腃D、CD-ROM、DVD、DVD-ROM、有線電視提供商或本領(lǐng)域公知的其它數(shù)據(jù)存儲(chǔ)器或其它傳輸設(shè)備來發(fā)送數(shù)據(jù)供應(yīng)10、20、30、40，用于提供多個(gè)數(shù)據(jù)流。在典型實(shí)施例中，高清晰度視頻播放器包括電影和附加的四個(gè)復(fù)用視頻和音頻軌道。這些附加的四個(gè)復(fù)用視頻和音頻軌道包含場(chǎng)景和附加的素材。對(duì)四個(gè)復(fù)用視頻和音頻軌道進(jìn)行定時(shí)，以便與來自主視頻流的電影播放的相關(guān)內(nèi)容相匹配。復(fù)用數(shù)據(jù)供應(yīng)45可以通過無線裝置或有線網(wǎng)絡(luò)與視頻播放器100進(jìn)行通信。
同時(shí)，可以從因特網(wǎng)源將從因特網(wǎng)50提供的音頻和/或視頻發(fā)送到視頻播放器100。因特網(wǎng)源包括個(gè)人計(jì)算機(jī)、個(gè)人媒體播放器或本領(lǐng)域公知的其它設(shè)備，用于從因特網(wǎng)發(fā)送數(shù)據(jù)。因特網(wǎng)源可以通過無線裝置或有線網(wǎng)絡(luò)與視頻播放器100進(jìn)行通信。
此外，家庭媒體服務(wù)器可以向視頻播放器100發(fā)送視頻流60、70。家庭媒體服務(wù)器可以包括電影、歌曲或要以流60、70的形式發(fā)送的其它多媒體的音頻和視頻格式的混合。家庭媒體服務(wù)器可以通過無線裝置或有線網(wǎng)絡(luò)與視頻播放器100進(jìn)行通信。
媒體回放設(shè)備具有主CPU或處理器115、媒體接口105、媒體協(xié)處理器110和輸出緩沖器125。媒體接口105接收各種媒體流。媒體可以是復(fù)用或分離的流。媒體流還可以包括可執(zhí)行文件?？蓤?zhí)行文件包括邏輯，用于視頻流在顯示器上的放置、調(diào)整視頻流的尺寸、解復(fù)用視頻流、以及本領(lǐng)域普通技術(shù)人員公知的其它功能。通過控制流向CPU115提供可執(zhí)行文件。
可執(zhí)行文件使用嵌入在視頻播放器上、媒體上或來自可選源(例如因特網(wǎng)或家庭媒體服務(wù)器)的控制數(shù)據(jù)?？蛇x地，可執(zhí)行文件駐留在媒體上。還可以從嵌入在固件中、燒入到專用計(jì)算機(jī)芯片的邏輯電路上的外部存儲(chǔ)介質(zhì)中載入可執(zhí)行文件，或從分離媒體流接收。例如，通過因特網(wǎng)80或服務(wù)器75、LAN存儲(chǔ)器85、硬盤或軟盤、CD或DVD、存儲(chǔ)卡或存儲(chǔ)并提供數(shù)據(jù)的其它傳統(tǒng)裝置來提供可執(zhí)行文件。當(dāng)可執(zhí)行文件沒有駐留在媒體上時(shí)，可執(zhí)行文件直接進(jìn)入CPU 115，而不是通過媒體接口105。
CPU 115執(zhí)行可執(zhí)行文件中的代碼。CPU 115分析流的定時(shí)、同步和顯示屬性以及應(yīng)用邏輯和用戶輸入。顯示屬性包括比例、alpha透明度、位置、旋轉(zhuǎn)等。CPU 115檢查時(shí)間碼、嵌入的元數(shù)據(jù)和標(biāo)志。CPU還訪問視頻存儲(chǔ)器，使系統(tǒng)能夠任意地插入圖形和文本。在一個(gè)實(shí)施例中，CPU命令系統(tǒng)向游戲控制器發(fā)送強(qiáng)制反饋信息。游戲控制器可以與屏幕上的動(dòng)作相對(duì)應(yīng)地進(jìn)行搖晃或振動(dòng)。
用戶可以通過遙控器90來指示CPU 115。遙控器90通過紅外、因特網(wǎng)協(xié)議或其它控制流發(fā)送消息。遙控器90可以是傳統(tǒng)的遙控器、鼠標(biāo)、鍵盤或游戲控制器。CPU 115接收來自用戶的命令并進(jìn)行與視頻流相關(guān)的邏輯決策。
從媒體接口105向媒體協(xié)處理器110提供視頻流。媒體協(xié)處理器通過應(yīng)用程序接口接收來自CPU 115的命令。媒體協(xié)處理器110根據(jù)CPU 115的指令來合成視頻流并將其發(fā)送到輸出緩沖器125，用于在顯示器120上視頻輸出。盡管其功能僅作為軟件，媒體協(xié)處理器110包括硬件和軟件。在另一個(gè)實(shí)施例中，媒體回放設(shè)備100包括用于各種視頻流的多個(gè)解壓縮器。
在一個(gè)示例中，DVD媒體向媒體接口提供了四個(gè)視頻流和可執(zhí)行文件。媒體接口向CPU發(fā)送可執(zhí)行文件并向媒體協(xié)處理器發(fā)送視頻流。當(dāng)用戶使用遙控器選擇要顯示子視頻流時(shí)，CPU向媒體協(xié)處理器發(fā)送命令，以便按照設(shè)置的格式顯示視頻流1和2。CPU還保證流的同步。將合成的圖像發(fā)送到輸出緩沖器，輸出緩沖器具有足夠的存儲(chǔ)器來提供同步的視頻輸出，而不會(huì)出現(xiàn)由于用戶命令導(dǎo)致的任意中止。
媒體回放設(shè)備保證視頻流的同步回放。參考圖1b，媒體回放設(shè)備101接收多個(gè)視頻流124、134、144。每一個(gè)視頻流包括三個(gè)分量視頻資源(asset)、音頻資源和時(shí)間資源。視頻流124包括視頻資源125、音頻資源126和時(shí)間資源127；視頻流134包括視頻資源135、音頻資源136和時(shí)間資源137；視頻流144包括視頻資源145、音頻資源146和時(shí)間資源147。媒體回放設(shè)備101的CPU 116處理視頻流124、134、144的元數(shù)據(jù)。元數(shù)據(jù)可以位于每一個(gè)視頻流中，或設(shè)置在到媒體回放設(shè)備101的分離流中。當(dāng)視頻流124、134、144根據(jù)其元數(shù)據(jù)保持相對(duì)偏移量時(shí)，CPU對(duì)元數(shù)據(jù)進(jìn)行對(duì)準(zhǔn)，以便媒體協(xié)處理器111能夠以同步的方式提供視頻流124、134、144。視頻流124、134、144可以包括長(zhǎng)度變化的內(nèi)容。CPU 116將長(zhǎng)度變化的視頻和音頻資源125、126、135、136、145、146進(jìn)行對(duì)準(zhǔn)，媒體協(xié)處理器111將排列的視頻和音頻內(nèi)容發(fā)送到顯示器用戶觀看。
在一個(gè)典型實(shí)施例中，在其回放時(shí)間1:12:68處接收到視頻和音頻流125、126。在其回放時(shí)間1:15:22處接收到視頻和音頻流135、136。在其回放時(shí)間1:20:05處接收到視頻和音頻流145、146。隨著回放進(jìn)行，可執(zhí)行文件中的邏輯保持流的同步。當(dāng)在回放期間一個(gè)流前進(jìn)時(shí)，所有其它流按照速率前進(jìn)，以保持同步。當(dāng)從分離源接收流并且難于適當(dāng)?shù)貜钠鹗继幫綍r(shí)，這個(gè)特點(diǎn)是令人希望的。媒體協(xié)處理器111接收流并保持相對(duì)于各種流的相對(duì)偏移量，而沒有任何幀漂移。
在媒體的操作期間，媒體回放設(shè)備向用戶呈現(xiàn)菜單?？梢栽诿襟w的回放之前或期間呈現(xiàn)該菜單。當(dāng)按下遙控器、游戲桿或鍵盤上的按鈕、點(diǎn)擊鼠標(biāo)時(shí)，或通過遙控設(shè)備的其它激活，顯示屏幕上菜單50。
媒體協(xié)處理器提供用于顯示的視頻流。CPU命令控制程序顯示特定流和伴隨視頻流的圖形顯示。多數(shù)據(jù)流的顯示可以處于屏幕上的子顯示器中。子顯示器可以是多視頻流的矩形排列。
媒體回放設(shè)備協(xié)調(diào)子顯示器的布局。媒體回放設(shè)備可以通過媒體回放設(shè)備的視頻顯示緩沖器的直接控制，或通過專用圖形軟件的協(xié)調(diào)，來進(jìn)行控制。響應(yīng)用戶的命令或根據(jù)程序，在其協(xié)調(diào)下，CPU命令媒體協(xié)處理器減慢、隱藏、調(diào)整尺寸、重定形、移動(dòng)或重新定位任意流數(shù)據(jù)。由于視頻流的處理，通過任意裝置并且按照視頻幀速率，可以改變顯示器上的顯示屬性，因此不會(huì)顯示任意可視的視頻顯示偽像或幀漂移。
CPU能夠基于輸入來修改視頻流。在典型實(shí)施例中，在顯示器中重新排列視頻流。參考圖1a，在另一個(gè)典型實(shí)施例中，從DVD提供數(shù)據(jù)供應(yīng)10、20、30、40。然而，當(dāng)進(jìn)行輸入時(shí)，媒體回放設(shè)備顯示家庭媒體視頻流60?？梢愿郊拥仫@示家庭媒體視頻流60，或代替任意或所有數(shù)據(jù)供應(yīng)10、20、30、40?？梢园凑沼脩舭l(fā)起輸入的形式，或通過控制數(shù)據(jù)流或標(biāo)志來進(jìn)行該輸入?？梢酝ㄟ^使用鼠標(biāo)、遙控器或本領(lǐng)域普通技術(shù)人員公知的其它類似設(shè)備來提供用戶發(fā)起輸入，其中從輸入設(shè)備向媒體回放設(shè)備的控制程序發(fā)送用戶命令。
嵌入代碼或用于提供子顯示器的排列和修改的控制數(shù)據(jù)可以位于媒體回放設(shè)備中的可執(zhí)行文件中、視頻流中或來自例如因特網(wǎng)或服務(wù)器的外部源。在一個(gè)實(shí)施例中，將可執(zhí)行文件中的控制數(shù)據(jù)設(shè)置在視頻數(shù)據(jù)中。當(dāng)視頻播放時(shí)，可執(zhí)行文件的控制數(shù)據(jù)流入媒體接口。該具體實(shí)施例具有在視頻流中存儲(chǔ)控制數(shù)據(jù)的能力，而不是在視頻播放器上存儲(chǔ)控制數(shù)據(jù)或從外部源發(fā)送。結(jié)果，每一個(gè)視頻能夠?qū)τ谠搼?yīng)用較高程度地定制控制數(shù)據(jù)，例如特定商標(biāo)或標(biāo)識(shí)，或與視頻的主題一致的設(shè)計(jì)題目。還可以分離地從可執(zhí)行文件載入控制數(shù)據(jù)、從遙控器或非易失性存儲(chǔ)介質(zhì)預(yù)先載入或流入到控制程序中。
在可選的實(shí)施例中，由分離流中的控制數(shù)據(jù)來確定視頻流的顯示屬性。在回放期間，控制數(shù)據(jù)流通過CPU來啟動(dòng)排列和顯示屬性。在一個(gè)實(shí)施例中，在電影的回放之前，訪問因特網(wǎng)的媒體回放設(shè)備與形成同步控制數(shù)據(jù)流的服務(wù)器相連。通過流媒體的產(chǎn)生器，可以在流媒體中提供控制數(shù)據(jù)。當(dāng)視頻播放時(shí)，控制數(shù)據(jù)向可執(zhí)行文件提供定制的應(yīng)用，以便使CPU重新排列、比例并調(diào)整視頻素材的尺寸，以便產(chǎn)生組合視頻流的動(dòng)畫、最優(yōu)高質(zhì)量呈現(xiàn)。
媒體回放設(shè)備可以用于顯示屏幕上菜單。用戶能夠通過鼠標(biāo)點(diǎn)擊或通過按下控制器上的按鈕的激活，來觀看菜單。屏幕上菜單提供了多個(gè)選項(xiàng)。這種選項(xiàng)之一是觀看電影的可選角度或電影制作的文檔。通過選擇該選項(xiàng)，用戶使能“多觀看模式”。或者，通過按下遙控器上的特定按鈕可以使能多觀看模式的選擇。例如，被標(biāo)記為“多觀看”的按鈕可以激活用戶可用的任意可用多視頻流。在視頻的回放期間，可以在任意點(diǎn)處激活多觀看模式。為了選擇其它選項(xiàng)或特征，用戶可以在視頻的回放期間激活菜單，而不是返回主菜單。當(dāng)主視頻播放并激活了多觀看模式時(shí)，CPU命令媒體協(xié)處理器示出具有伴隨圖形的第二視頻流。在顯示器上，出現(xiàn)了位于左下角的子顯示器。在子顯示器中，除了主視頻以外，至少還有一個(gè)其它視頻流。
參考圖2，在顯示器200上正在播放電影210。用戶從屏幕上菜單中選擇“文檔”。左下角是子顯示器220。子顯示器可以位于左下角，作為默認(rèn)位置。盡管出現(xiàn)在左下角，子顯示器220可以出現(xiàn)在屏幕上的任意位置。子顯示器220包含流視頻軌道221、222、223、224。流視頻軌道221、222、223、224可以包括“場(chǎng)景后”連續(xù)鏡頭、提供場(chǎng)景基礎(chǔ)的視頻、場(chǎng)景的可選角度、注釋或能夠用于增強(qiáng)用戶體驗(yàn)的任意其它視頻。
視頻軌道221、222、223、224出現(xiàn)在圖形化定義的“窗口”中，以便在主視頻上進(jìn)行播放。實(shí)質(zhì)上圍繞每一個(gè)流視頻軌道221、222、223、224之間并處于其之間的窗口或邊界230的圖形設(shè)計(jì)。子顯示器220還包含選擇的菜單選項(xiàng)，在這種情況下，是文檔240。可選地，在整個(gè)回放期間，標(biāo)志或文本250可以出現(xiàn)在顯示器200的拐角，以指示菜單或選項(xiàng)可用于用戶。
圖形圖像不會(huì)存在于視頻流中，但通過媒體協(xié)處理器可以動(dòng)態(tài)地在縮放視頻流的周圍繪制。媒體協(xié)處理器將與視頻無關(guān)的圖像繪制到媒體回放設(shè)備的顯示緩沖器中。這些圖像包括但不局限于實(shí)質(zhì)上位于流視頻周圍的設(shè)計(jì)、指令的文本或商標(biāo)名的文本。繪制到顯示緩沖器中的圖像可以用作使用多個(gè)供應(yīng)的指南，或用作多媒體體驗(yàn)的審美增強(qiáng)。邊界230、文檔240和標(biāo)志250是繪制到顯示緩沖器中的這種圖像的示例。
針對(duì)子顯示器220的繪制基于一般性布局和模板。一般性布局可以僅包括邊界230并且將子顯示器220設(shè)置在左下角。模板排列視頻流，以便在第一“窗口”中觀看第一數(shù)據(jù)供應(yīng)，在第二“窗口”中觀看第二數(shù)據(jù)供應(yīng)等。一般性布局或在控制數(shù)據(jù)中定義的定制布局還可以包括菜單項(xiàng)選擇240和標(biāo)志250。與出現(xiàn)在顯示器上子顯示器中的四個(gè)軌道一起，可以呈現(xiàn)任意圖像、設(shè)計(jì)、文本或其它定制程序。在一個(gè)實(shí)施例中，布局和模板包括實(shí)質(zhì)上出現(xiàn)在每一個(gè)視頻流之下的、與遙控器相關(guān)的用戶功能，以便向用戶提供屏幕上選項(xiàng)。
利用遙控器或鼠標(biāo)，用戶可以選擇出現(xiàn)在顯示器上的主視頻要切換到的附加軌道或視頻流。參考圖3a，第一視頻310出現(xiàn)在顯示器300上。在子顯示器320中的是第二視頻330。當(dāng)觀看顯示器300的用戶看見子顯示器320中感興趣的事物時(shí)，用戶按下遙控器或鼠標(biāo)上的按鈕，以交換第一視頻310和第二視頻330。結(jié)果，參考圖3b，第二視頻330全屏出現(xiàn)在顯示器300上，第一視頻310出現(xiàn)在子顯示器320中。
用戶還可以交換子顯示器中的其它軌道。參考圖3c和3d，顯示器300中示出了子顯示器320。觀看顯示器300的用戶可以交換第二視頻340和第三視頻350。類似地，用戶可以決定觀看第四視頻360而不是第二視頻340?？梢匀∠x擇第二視頻340。第三視頻350可以取代子顯示器320中的第二視頻340的位置。結(jié)果，用戶能夠定制子顯示器，以便只示出那些希望的視頻流。
一個(gè)功能是示出和隱藏任意或所有流視頻的能力。參考圖4a，顯示器400上正在播放第一視頻410。于是，用戶可以決定是否激活多觀看模式以便示出第二視頻流。參考圖4b，當(dāng)激活多觀看模式或通過命令示出第二視頻流時(shí)，出現(xiàn)包含第二視頻430的子顯示器420。子顯示器出現(xiàn)在顯示器400上并位于第一視頻410之上。然后，用戶可以選擇顯示第三視頻流。參考圖4c，當(dāng)激活第三視頻流時(shí)，第三視頻流440出現(xiàn)在子顯示器420中。用戶可以決定示出任意或所有可用視頻流。
或者，用戶可以決定隱藏任意或所有流視頻。參考圖5a，顯示器500上正在顯示第一視頻510。子顯示器520上正在顯示第二視頻530。參考圖5b，當(dāng)取消選擇多觀看模式或通過不選擇觀看第二視頻530的流視頻時(shí)，不再在顯示器500上顯示子顯示器及其內(nèi)容，即第二視頻530。
用戶可以利用遙控器、鼠標(biāo)、指示器或本領(lǐng)域普通技術(shù)人員公知的、用于在屏幕上定向?qū)ο蟮钠渌O(shè)備來在視頻屏幕周圍引導(dǎo)光標(biāo)。光標(biāo)可以用于重新定位或調(diào)整子顯示器的尺寸。光標(biāo)還可以選擇選項(xiàng)或子顯示器中的視頻。光標(biāo)可以表現(xiàn)為箭頭或任意其它形狀。在一個(gè)實(shí)施例中，光標(biāo)的形狀與電影的標(biāo)題相關(guān)。在可選的實(shí)施例中，光標(biāo)實(shí)質(zhì)上加亮屏幕上按鈕或視頻。
與傳統(tǒng)的畫中畫顯示不同，用戶可以定制主和子顯示器的尺寸，而不是僅選擇小或大顯示器。通過拉伸或調(diào)整顯示，用戶將視頻流顯示的尺寸調(diào)整到任意希望的尺寸。
用戶能夠通過使用光標(biāo)或其它手段來調(diào)整子顯示器中的視頻尺寸。參考圖6，除了顯示器600上的主視頻605以外，還示出了子顯示器610和第二視頻630。用戶可以點(diǎn)擊子顯示器610上的第二視頻630或邊界620，以便調(diào)整第二視頻630的尺寸。當(dāng)選擇邊界620或第二視頻630時(shí)，可視標(biāo)志640指示了可以在顯示器600中調(diào)整第二視頻的尺寸。通過移動(dòng)光標(biāo)、遙控器或通過使用遙控器上的按鈕，用戶可以將第二視頻的尺寸調(diào)整為希望的尺寸。參考圖7a和7b，能夠放大或縮小顯示器700中的子顯示器710和第二視頻。隨著光標(biāo)移動(dòng)，窗口與光標(biāo)移動(dòng)一起平滑地調(diào)整尺寸。在第二視頻630和主視頻605的回放期間可以不中止地完成第二視頻630的尺寸調(diào)整。結(jié)果，用戶能夠體驗(yàn)兩個(gè)視頻流，并增強(qiáng)其觀看體驗(yàn)。
在與調(diào)整子顯示器的尺寸相似的功能中，用戶能夠通過改變長(zhǎng)寬比來重新定形子顯示器。通過沿水平或垂直方向或多或少地延伸，用戶能夠控制子顯示器，以便更好地適應(yīng)子顯示器中的第二射頻，或較少地阻擋主視頻中的內(nèi)容。即使會(huì)使特定圖像變形，第二視頻的長(zhǎng)寬比隨著子顯示器的長(zhǎng)寬比的任意改變而變化。
媒體回放設(shè)備還提供了允許用戶定制子顯示器的外觀的功能。在一個(gè)實(shí)施例中，改變長(zhǎng)寬比不會(huì)影響第二視頻。在調(diào)整子顯示器的尺寸之后，第二視頻僅有的可視部分仍然是可視部分。用戶可以修剪子顯示器的至少一側(cè)，以使部分第二視頻不可視。第二視頻如常顯示，但被修剪的部分在顯示器上不可視。沒有改變第二視頻的長(zhǎng)寬比。
當(dāng)選擇子顯示器時(shí)，用戶還可以選擇將子顯示器移向屏幕上的另一個(gè)位置。參考圖8，顯示器800上的子顯示器820被從左下角重新定位到更靠近中心的位置。用戶可以希望利用該功能來觀看左下角處的第一視頻810的內(nèi)容?；蛘?，用戶可以希望定位子顯示器820，以便易于觀看。
參考圖9a和9b，盡管子顯示器920可以位于屏幕上的任意位置并移向任意位置，子顯示器920位于顯示器900的左下角。當(dāng)決定重新定位子顯示器920時(shí)，用戶選擇子顯示器920并利用光標(biāo)將其引導(dǎo)到希望的位置。在從第一位置到第二位置的整個(gè)移動(dòng)中，子顯示器平滑地移動(dòng)，并且子顯示器中的視頻繼續(xù)播放。為了重新定位子顯示器，用戶不需要暫?；蛲Ｖ怪饕曨l或子顯示器中的那些視頻流。
用戶可以任意地調(diào)整子顯示器中視頻流的視覺屬性。這種可調(diào)整視覺屬性包括但不局限于對(duì)比度、色彩或顏色。用戶可以按照與調(diào)整電視或計(jì)算機(jī)監(jiān)視器的屬性的方法類似的方式來調(diào)整這些屬性。可以通過屏幕上菜單和/或使用具有可編程按鈕的遙控器來進(jìn)行控制。
控制程序還可以定義每一個(gè)視頻流的色鍵或亮度值。這向用戶提供了相對(duì)彼此合成視頻流的能力，允許藍(lán)屏類型的疊加。用戶最大化子顯示器的尺寸，以便完全疊加到第一視頻。參考圖10，在顯示器1000上的第一視頻1010上，最大化來自子顯示器的第二視頻1020。第一視頻包括山圖案或背景主題并成為背景板。第二視頻1020僅包含人。通過第二視頻1020疊加到第一視頻1010上并使用藍(lán)屏類型疊加，就好像第一視頻1020的人處于第一視頻1010的場(chǎng)景中。例如，當(dāng)用戶想要產(chǎn)生電影場(chǎng)景或理解用于產(chǎn)生這種場(chǎng)景的處理，希望具有該特征。通過交換視頻之一，用戶能夠看到場(chǎng)景中的不同對(duì)象或不同場(chǎng)景中的對(duì)象。在可選的實(shí)施例中，其它音頻和視頻也可以用戶多層疊加。
視頻流上的Alpha或透明度控制使媒體回放設(shè)備能夠執(zhí)行動(dòng)態(tài)平滑淡出過渡和效果。用戶可以決定使一個(gè)alpha透明視頻流與另一個(gè)視頻流疊加。此外，該特征能夠使一個(gè)視頻流消失或顯示。
除了伴隨視頻的音頻流以外，媒體回放設(shè)備還可以接收流式音軌。系統(tǒng)使用戶能夠編輯并混合流入視頻播放器的音頻。根據(jù)用戶的命令，系統(tǒng)能夠在顯示器上設(shè)置各種圖形、交互式接口。參考圖11，顯示器1100上示出了子顯示器1110。除了主視頻1115以外，子顯示器1110還具有四個(gè)流視頻供應(yīng)1111、1112、1113、1114。當(dāng)在遙控器上選擇混合音頻時(shí)，向用戶呈現(xiàn)一系列滑動(dòng)條1121、1122、1123、1123、1125，以便混合五個(gè)不同音軌的音級(jí)?；瑒?dòng)條1121、1122、1123、1123、1125分別與視頻供應(yīng)1111、1112、1113、1114、1115相對(duì)應(yīng)。用戶能夠針對(duì)任意或所有視頻供應(yīng)來調(diào)整每一個(gè)音軌的音量。
盡管已經(jīng)參考特定實(shí)施例詳細(xì)說明了系統(tǒng)和方法，本領(lǐng)域的普通技術(shù)人員顯而易見的是，在不脫離本發(fā)明的精神和范圍的前提下，可以進(jìn)行各種改變和修改。因此，本公開意欲覆蓋由這里所述的精神和范圍內(nèi)提供的修改和變體。
權(quán)利要求
1.一種用于在顯示器上同時(shí)顯示第一視頻流和至少一個(gè)第二視頻流的方法，所述方法包括步驟在媒體回放設(shè)備處接收第一視頻流和至少一個(gè)第二媒體流；對(duì)至少兩個(gè)視頻流進(jìn)行處理，以便同步至少兩個(gè)視頻流的部分的顯示；在顯示器上顯示第一視頻流，其中第一視頻流實(shí)質(zhì)上在整個(gè)顯示器上延伸；以及在可定制子顯示器上選擇地顯示至少一個(gè)第二視頻流，其中可定制子顯示器中的至少一個(gè)第二視頻流具有與第一視頻流的回放同步的回放。
2.根據(jù)權(quán)利要求1所述的方法，還包括步驟向媒體回放設(shè)備提供第三視頻流，并將第三視頻流顯示在可定制子顯示器上。
3.根據(jù)權(quán)利要求1所述的方法，還包括步驟選擇提供了觀看可定制子顯示器的菜單項(xiàng)。
4.根據(jù)權(quán)利要求4所述的方法，還包括步驟在可定制子顯示器上顯示菜單項(xiàng)的名稱。
5.根據(jù)權(quán)利要求1所述的方法，其中多個(gè)視頻流的至少之一來自DVD、CD、因特網(wǎng)源、個(gè)人計(jì)算機(jī)、硬盤驅(qū)動(dòng)器、LAN存儲(chǔ)器或服務(wù)器。
6.根據(jù)權(quán)利要求1所述的方法，其中媒體回放設(shè)備是DVD播放器、個(gè)人計(jì)算機(jī)、家庭媒體服務(wù)器、高清晰度視頻播放器、光學(xué)播放器、基于硬盤驅(qū)動(dòng)器的播放器或軟件DVD-ROM播放器。
7.根據(jù)權(quán)利要求1所述的方法，還包括步驟調(diào)整可定制子顯示器的尺寸。
8.根據(jù)權(quán)利要求1所述的方法，還包括步驟改變可定制子顯示器的長(zhǎng)寬比。
9.根據(jù)權(quán)利要求1所述的方法，還包括步驟改變至少一個(gè)第二視頻流的長(zhǎng)寬比。
10.根據(jù)權(quán)利要求1所述的方法，還包括步驟將第一視頻流與至少一個(gè)第二視頻流之一進(jìn)行交換，其中在可定制子顯示器中顯示第一視頻流，實(shí)質(zhì)上橫穿顯示器地顯示至少一個(gè)第二視頻流之一。
11.根據(jù)權(quán)利要求1所述的方法，還包括步驟將可定制子顯示器重新定位到顯示器上的其它位置。
12.根據(jù)權(quán)利要求2所述的方法，還包括步驟利用第三視頻流來代替可定制子顯示器中的至少一個(gè)第二視頻流。
13.根據(jù)權(quán)利要求2所述的方法，還包括步驟除了至少一個(gè)第二視頻流以外，還在可定制子顯示器中顯示第三視頻流。
14.根據(jù)權(quán)利要求1所述的方法，還包括步驟改變第一視頻流和至少一個(gè)第二視頻流的音頻屬性。
15.根據(jù)權(quán)利要求7所述的方法，其中調(diào)整子顯示器的尺寸，以便實(shí)質(zhì)上使其橫穿顯示器，其中至少一個(gè)第二視頻流與第一視頻流疊加。
16.根據(jù)權(quán)利要求1所述的方法，還包括步驟通過遙控器、鼠標(biāo)或鍵盤或游戲控制器來改變可定制子顯示器屬性。
17.一種用于在顯示器上顯示第一和第二視頻流的系統(tǒng)，該系統(tǒng)包括媒體回放設(shè)備，用于接收并播放第一和第二視頻流，其中從媒體源向媒體回放設(shè)備提供第一和第二視頻流，其中媒體回放設(shè)備在顯示器上播放第一視頻流；具有CPU和媒體協(xié)處理器的媒體回放設(shè)備，其中CPU接收用戶的命令，并命令媒體協(xié)處理器顯示或修改第一和第二視頻流以及子顯示器。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，還包括用于命令CPU的遙控器、鼠標(biāo)、鍵盤或游戲控制器。
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，還包括顯示器上的光標(biāo)，以幫助用戶修改子顯示器的屬性。
20.根據(jù)權(quán)利要求17所述的系統(tǒng)，還包括可執(zhí)行文件，其中CPU運(yùn)行可執(zhí)行文件，以便修改視頻流和子顯示器的屬性。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中可執(zhí)行文件還包括控制數(shù)據(jù)，控制數(shù)據(jù)具有用于子顯示器的可定制屬性。
22.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中將可執(zhí)行文件嵌入到至少一個(gè)視頻流中。
23.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中在除第一或第二視頻流以外的流中設(shè)置可執(zhí)行文件。
24.一種用于媒體回放設(shè)備在顯示器上顯示至少兩個(gè)視頻流的方法，所述方法包括步驟在媒體回放設(shè)備的媒體接口接收至少兩個(gè)視頻流；接收在媒體回放設(shè)備的CPU中運(yùn)行可執(zhí)行文件；CPU檢查至少兩個(gè)視頻流的元標(biāo)記；在CPU處接收來自用戶的命令，以修改顯示器上至少兩個(gè)視頻流的至少之一；命令媒體協(xié)處理器將修改的至少兩個(gè)視頻流的至少之一提供到輸出緩沖器，以便進(jìn)行顯示；根據(jù)元標(biāo)記保持至少兩個(gè)視頻流的對(duì)準(zhǔn)；以及選擇地在顯示器上顯示對(duì)準(zhǔn)的至少兩個(gè)視頻流的至少一個(gè)第二視頻流。
25.根據(jù)權(quán)利要求24所述的方法，還包括步驟保持至少兩個(gè)視頻流之間的相對(duì)偏移量。
26.一種用于同時(shí)顯示第一視頻流和至少一個(gè)第二視頻流的方法，包括在視頻回放設(shè)備處接收第一視頻流；在視頻回放設(shè)備處接收至少一個(gè)第二視頻流；同步兩個(gè)視頻流中每一個(gè)的至少一部分；顯示第一視頻流，其中第一視頻流實(shí)質(zhì)上在整個(gè)顯示器上延伸；以及在可定制子窗口中選擇地顯示第二視頻流，其中可定制子窗口中的至少一個(gè)第二視頻流具有與第一視頻流的回放相同步的回放。
全文摘要
提供了一種消費(fèi)者視頻播放器的編程窗口控制的系統(tǒng)和方法，能夠同時(shí)顯示多個(gè)視頻流并擴(kuò)展了畫中畫功能。能夠任意設(shè)置或調(diào)整媒體的放置、尺寸、長(zhǎng)寬比、修剪、比例、透明度、色彩、對(duì)比度和修剪。此外，可以在伴隨視頻流的獨(dú)立音軌之間混合音頻，并任意地設(shè)置或調(diào)整音頻。通過自動(dòng)或用戶發(fā)起裝置，在回放期間可以動(dòng)態(tài)地改變每一個(gè)變量。提供了一種系統(tǒng)和方法，用于在顯示器上同時(shí)顯示第一視頻流和至少一個(gè)第二視頻流，包括步驟將視頻流提供到視頻播放器；控制視頻流的顯示；實(shí)質(zhì)上橫穿顯示器地顯示第一視頻流；以及在子顯示器中顯示其它視頻流。
文檔編號(hào)H04N5/45GK1826572SQ200480015090
公開日2006年8月30日 申請(qǐng)日期2004年6月2日 優(yōu)先權(quán)日2003年6月2日
發(fā)明者喬納森·阿克利, 克里斯托夫·T·凱里, 本·卡爾, 凱特琳·普爾 申請(qǐng)人:迪斯尼實(shí)業(yè)公司