專利名稱：實(shí)時(shí)多媒體流處理帶寬管理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及實(shí)時(shí)多媒體流處理，更具體地，涉及網(wǎng)絡(luò)上多個(gè)攝影機(jī)的實(shí)時(shí)視頻流處理。
背景技術(shù)：
低成本、高分辨率視頻攝影機(jī)的可用性便于其在各種應(yīng)用和環(huán)境中擴(kuò)散。在典型的分辨率、幀速率和色彩深度下，即使采用高級(jí)壓縮技術(shù)，使產(chǎn)生的視頻圖像流動(dòng)所需要的帶寬也非常高。這反過(guò)來(lái)對(duì)基于IP的網(wǎng)絡(luò)為不同類型的業(yè)務(wù)提供某一類型的服務(wù)質(zhì)量 (QoS)保證導(dǎo)致很大的挑戰(zhàn)?，F(xiàn)有技術(shù)通過(guò)人工地限制攝影機(jī)視圖的分辨率和/或幀速率解決了帶寬約束問(wèn)題。該方法確實(shí)降低了帶寬，但以圖片質(zhì)量為代價(jià)。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)的各種缺陷通過(guò)實(shí)時(shí)多媒體流處理方法和系統(tǒng)得到解決。具體地，該方法包括以下步驟根據(jù)各自的編碼特性對(duì)多個(gè)多媒體流的每一個(gè)進(jìn)行轉(zhuǎn)碼，以提供轉(zhuǎn)碼多媒體流；向多個(gè)觀看者轉(zhuǎn)發(fā)每一個(gè)轉(zhuǎn)碼多媒體流；以及響應(yīng)于來(lái)自一個(gè)或多個(gè)用戶的指示偏好的反饋，修改與至少一個(gè)轉(zhuǎn)碼多媒體流相關(guān)聯(lián)的編碼特性，從而降低與所述至少一個(gè)轉(zhuǎn)碼多媒體流相關(guān)聯(lián)的帶寬要求。另一個(gè)實(shí)施例提供一種系統(tǒng)，其具有視頻管理器，其可通信地連接到一個(gè)或多個(gè)攝影機(jī)/編碼器、一個(gè)或多個(gè)轉(zhuǎn)碼器和一個(gè)或多個(gè)傳輸處理器，該視頻管理器接收觀看者的視頻偏好的標(biāo)記，并響應(yīng)地修改所述攝影機(jī)/編碼器和轉(zhuǎn)碼器的編碼特性，從而根據(jù)所述觀看者視頻偏好提供轉(zhuǎn)碼視頻流。該系統(tǒng)還包括多個(gè)轉(zhuǎn)碼器，每個(gè)編碼器用于將各自的具有初始特性的視頻流轉(zhuǎn)碼成具有隨后的視頻特性的隨后的視頻流。作為該系統(tǒng)的一部分，傳輸處理器用于對(duì)多個(gè)轉(zhuǎn)碼視頻流的每一個(gè)進(jìn)行編碼以用于傳輸；此外，傳輸處理器向觀看者傳送一個(gè)或多個(gè)轉(zhuǎn)碼視頻流。


通過(guò)結(jié)合附圖并考慮以下的詳細(xì)描述，本實(shí)施例的教導(dǎo)能夠被容易地理解，其中圖1描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)的框圖；圖2圖形化地示出根據(jù)一個(gè)實(shí)施例的視頻會(huì)議的環(huán)境圖；圖3圖形化地示出根據(jù)一個(gè)實(shí)施例的設(shè)備中每個(gè)攝影機(jī)的優(yōu)選布置；圖4圖形化地示出根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中的視頻會(huì)議的全景圖；圖5描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中通過(guò)框內(nèi)擴(kuò)大(in-frame expansion)的觀看者選擇；圖6描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中通過(guò)框選擇的觀看者選擇；
圖7描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中編碼器設(shè)備的框圖；圖8描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中視頻轉(zhuǎn)碼器設(shè)備的框圖；圖9描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中傳輸處理器設(shè)備的框圖。為了便于理解，在可能的情況下，相同的附圖標(biāo)記用于表示附圖中的相同單元。
具體實(shí)施例方式現(xiàn)有技術(shù)的各種缺陷可以例如通過(guò)在會(huì)議中將任意視圖中的一個(gè)或多個(gè)遠(yuǎn)離說(shuō)活者、向副視圖提供更低的質(zhì)量、集中于興趣點(diǎn)并向興趣點(diǎn)提供最高質(zhì)量來(lái)解決。帶寬策略基于用戶以及應(yīng)用的基于用戶的帶寬管理的想法通過(guò)將觀看者的偏好結(jié)合到編碼處理中并相應(yīng)地分配帶寬來(lái)實(shí)現(xiàn)。通常，遠(yuǎn)程會(huì)議觀看者(參加者)在任何一個(gè)時(shí)間只看整個(gè)視頻的一小部分(即， 場(chǎng)景)；此外，大多數(shù)觀看者可能持續(xù)看同一個(gè)場(chǎng)景。例如，大多數(shù)的會(huì)議參加者集中于當(dāng)前的說(shuō)話者。觀看者不能在他/她后面觀看。另外，在外圍視圖內(nèi)的場(chǎng)景是重要的，但眼睛通常不能提供與中心視圖相同的分辨率和質(zhì)量。上述的實(shí)施例主要在實(shí)時(shí)視頻流處理的上下文內(nèi)進(jìn)行描述；然而，本領(lǐng)域的普通技術(shù)人員和在此通過(guò)教導(dǎo)知道的人員將認(rèn)識(shí)到本發(fā)明也可應(yīng)用于期望帶寬管理的多媒體系統(tǒng)。圖1描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)的框圖。圖1的系統(tǒng)100包括多個(gè)攝影機(jī)110-1至110-3，它們向各自的編碼器120-1至120-3提供圖像信號(hào)。攝影機(jī) 110可包括本地或遠(yuǎn)程攝影機(jī)。來(lái)自每個(gè)編碼器120的編碼輸出被饋送到各自的視頻轉(zhuǎn)碼器170。編碼器與轉(zhuǎn)碼器之間的鏈路在長(zhǎng)度上可以是幾英寸或幾英里。另外，鏈路可以是電纜或光纖鏈路、微波鏈路、電話網(wǎng)絡(luò)鏈路、這些鏈路的組合或任何其它適合的通信路徑。轉(zhuǎn)碼輸出被饋送到傳輸處理器190，其進(jìn)一步對(duì)流進(jìn)行編碼以用于向觀看者傳播。 傳輸處理器分配與轉(zhuǎn)碼視頻流的特性相符的帶寬。在其它實(shí)施例中，副視圖基于它們的相對(duì)重要性和可用的網(wǎng)絡(luò)帶寬而被分配帶寬。攝影機(jī)及其各自的編碼器、一個(gè)或多個(gè)轉(zhuǎn)碼器170和一個(gè)或多個(gè)傳輸處理器190 可通信地連接到視頻管理器180，該視頻管理器180還接收觀看者的視頻偏好或質(zhì)量反饋的標(biāo)記。視頻管理器180向一個(gè)或多個(gè)傳輸處理器190提供觀看者的視頻偏好和控制185。 視頻管理還向適當(dāng)?shù)霓D(zhuǎn)碼器提供觀看者等級(jí)質(zhì)量選擇165。觀看者等級(jí)質(zhì)量選擇或反饋包括幀速率、分辨率、色彩深度、編碼算法和縮放。視頻管理器還向每個(gè)編碼器120提供最大所要求的質(zhì)量選擇。這些質(zhì)量選擇示例性地包括幀速率、分辨率、色彩深度和編碼算法。在一個(gè)實(shí)施例中，只有一個(gè)攝影機(jī)、一個(gè)編碼器和一個(gè)轉(zhuǎn)碼器。圖2圖形化地示出根據(jù)一個(gè)實(shí)施例的視頻會(huì)議的環(huán)境圖。參照?qǐng)D2，示出了具備多攝影機(jī)設(shè)備110、投影屏幕210、白板220、本地參加者230和多個(gè)可通信地連接到多攝影機(jī)設(shè)備的遠(yuǎn)程參加者(未示出)的會(huì)議室200。多攝影機(jī)設(shè)備中的每個(gè)攝影機(jī)提供由該組攝影機(jī)提供的總視圖的一個(gè)子集，每個(gè)遠(yuǎn)程觀看者(參加者)能夠選擇接收哪個(gè)視圖M0-270。圖3圖形化地示出根據(jù)一個(gè)實(shí)施例的設(shè)備中每個(gè)攝影機(jī)的優(yōu)選布置。如圖3所示的攝影機(jī)布置集合成星形配置310。攝影機(jī)布置考慮了會(huì)議環(huán)境的環(huán)繞視圖。在其它實(shí)施例中，不同會(huì)議室的附加視圖由遠(yuǎn)程攝影機(jī)及其各個(gè)編碼器提供。
如參照?qǐng)D1所述的，每個(gè)遠(yuǎn)程用戶能夠與視頻管理器通信以選擇優(yōu)選視圖并調(diào)整該特定視圖的尺寸和其它屬性。使用該信息，視頻管理器示例性地通過(guò)將視圖遠(yuǎn)離說(shuō)話者、 向副視圖提供更低的質(zhì)量、集中于中心焦點(diǎn)并向其提供最高質(zhì)量等響應(yīng)地優(yōu)化觀看者的體驗(yàn)。目的在于向視頻分組源提供觀看者和網(wǎng)絡(luò)信息，以便降低帶寬并增強(qiáng)整個(gè)視頻體驗(yàn)。視頻管理器調(diào)整流的質(zhì)量以使用以下的某些或全部信息平衡網(wǎng)絡(luò)內(nèi)可用的帶寬(1)哪些視頻流實(shí)際上正被遠(yuǎn)程用戶觀看的信息-這允許系統(tǒng)丟棄未被請(qǐng)求的場(chǎng)景的傳輸或提高受到喜歡的流的視頻質(zhì)量；(2)每個(gè)流對(duì)用戶的重要性，如由包括專用于觀看流的屏幕不動(dòng)產(chǎn)的數(shù)量的幾個(gè)因素所表明的。在一個(gè)實(shí)施例中，觀看者沒(méi)有選擇優(yōu)選視圖的靈活性；所提供的視圖是固定的。在其它實(shí)施例中，觀看者可以選擇優(yōu)選視圖。現(xiàn)在參照?qǐng)D4-6描述觀看者選擇視圖或另外指示偏好的方式。示意性地，有兩個(gè)主要選項(xiàng)可用于用戶指示偏好如圖5中描繪的框內(nèi)擴(kuò)大(in-frame expansion)和圖6所示的框選擇。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解本發(fā)明并不限于這兩個(gè)選項(xiàng)，也可以是其它變形，諸如選擇多個(gè)視圖以指示第一偏好、第二偏好、第三偏好等等。圖4圖形化地描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中視頻會(huì)議的全景圖。具體地，圖4的會(huì)議環(huán)境示出了包括說(shuō)話者的四個(gè)參加者。觀看者能夠選擇或“點(diǎn)擊” 視圖內(nèi)將被強(qiáng)調(diào)的區(qū)域。該方法稱為框內(nèi)擴(kuò)大。圖5描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中通過(guò)框內(nèi)擴(kuò)大的觀看者選擇。如圖5所示，考慮到更多的像素、更高的幀速率和更好的分辨率，觀看者所選擇的視圖或感興趣視圖(焦點(diǎn))510被分配更大的帶寬。如上所述，副視圖不被重視，其被給予更少的像素并進(jìn)而更差的質(zhì)量。觀看者能夠點(diǎn)擊廣角視圖的部分以改變感興趣的視圖。可選擇地，在另一個(gè)實(shí)施例中，觀看者可以點(diǎn)擊自動(dòng)按鈕520以允許視頻管理器(服務(wù)器)基于聲音和活動(dòng)選擇視圖。另一個(gè)主要選項(xiàng)是圖6所示的框選擇。圖6描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中通過(guò)框選擇的觀看者選擇。具體地，分別示出了七個(gè)會(huì)議參加者以及顯示來(lái)自會(huì)議的記錄的白板。觀看者能夠點(diǎn)擊任何框或視頻以放大視圖(610，620)。一旦進(jìn)行了選擇，觀看者能夠在任何所選擇的視頻上進(jìn)行“右點(diǎn)擊”(即，按下鼠標(biāo)的右開(kāi)關(guān))以調(diào)整對(duì)幀速率、分辨率、色彩深度和縮放的帶寬分配。在這種情況下，選擇了兩個(gè)視頻，而其它視頻 (未被選擇)被給予低的幀速率、分辨率和其它屬性?？蛇x擇地，在另一個(gè)實(shí)施例中，觀看者可以點(diǎn)擊自動(dòng)按鈕630以允許視頻管理器(服務(wù)器)基于聲音和活動(dòng)選擇視圖。盡管前述內(nèi)容是針對(duì)本發(fā)明的各種實(shí)施例，但在不脫離本發(fā)明的基本范圍的情況下，可以設(shè)計(jì)本發(fā)明的其它實(shí)施例。同樣，本發(fā)明的適當(dāng)?shù)谋Ｗo(hù)范圍根據(jù)后面的權(quán)利要求確定。圖7描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中的編碼器設(shè)備的框圖。編碼器設(shè)備700至少包括視頻接口 720，用于將進(jìn)入的視頻信號(hào)710轉(zhuǎn)換到基于存儲(chǔ)器的幀緩沖器730 ；分割處理器740，用于對(duì)圖片進(jìn)行分割、“剪切”或優(yōu)化，因?yàn)橐晥?chǎng)可能較寬；視頻流編碼器750，用于壓縮和格式化流以用于網(wǎng)絡(luò)傳送；打包器和控制中央處理單元(CPU) 760，用于對(duì)視頻幀打包；以及以太網(wǎng)媒體訪問(wèn)控制770，用于將打包的視頻流傳輸?shù)皆谙旅鎴D8中描繪的視頻轉(zhuǎn)碼器設(shè)備800。在CPU控制下的控制總線780向每個(gè)不同的模塊提供命令和控制，其中，這些模塊按級(jí)可通信地連接到該CPU。每一級(jí)執(zhí)行特定的功能。級(jí)和/或功能可以結(jié)合或擴(kuò)展以滿足帶寬要求和/或優(yōu)化某些特性，例如延遲、響應(yīng)時(shí)間等。在一個(gè)實(shí)施例中，視頻接口 720包括特殊應(yīng)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)或現(xiàn)成的專用 IC(ASIC)(完全能夠互換地使用)。在其它實(shí)施例中，視頻接口編碼器720包括數(shù)字信號(hào)處理器(DSP)。視頻接口編碼器720接收符合各種標(biāo)準(zhǔn)的視頻輸入，諸如國(guó)家電視系統(tǒng)委員會(huì)(NTSC)標(biāo)準(zhǔn)、逐行倒相(PAL)標(biāo)準(zhǔn)或任何數(shù)字視頻信號(hào)，并將視頻信號(hào)修改成適合處理的格式。在一個(gè)實(shí)施例中，分割處理器740結(jié)合現(xiàn)場(chǎng)可編程門陣列(FPGA)和DSP以處理視頻幀。在另一個(gè)實(shí)施例中，分割處理器740包括一個(gè)或多個(gè)FPGA。在另一個(gè)實(shí)施例中，分割處理器740包括DSP。幀緩沖器730是存儲(chǔ)器。類似于其它組件，存儲(chǔ)器并不限于任何當(dāng)前已有的計(jì)算機(jī)產(chǎn)品，其可以利用新的設(shè)備，當(dāng)這些新的設(shè)備可用時(shí)。在一個(gè)實(shí)施例中，視頻流編碼器750被設(shè)計(jì)成使用ASSP和DSP的組合。在另一個(gè)實(shí)施例中，視頻流編碼器750的功能由DSP或等同物執(zhí)行。在其它實(shí)施例中，視頻流編碼器 750被設(shè)計(jì)成使用包括ASSP的組件。在各種實(shí)施例中，CPU 760和以太網(wǎng)MAC 770使用現(xiàn)成的標(biāo)準(zhǔn)設(shè)備實(shí)現(xiàn)。然而，類似于其它組件，CPU 760和以太網(wǎng)MAC 770并不限于任何當(dāng)前已有的計(jì)算機(jī)產(chǎn)品，其可以利用新的設(shè)備，當(dāng)這些新的設(shè)備可用時(shí)。具體地，以太網(wǎng)MAC 770將視頻流傳輸?shù)揭曨l轉(zhuǎn)碼器設(shè)備800。圖8描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中的視頻轉(zhuǎn)碼器設(shè)備的框圖。視頻轉(zhuǎn)碼器設(shè)備800至少包括高速以太網(wǎng)接口模塊810，用于將多個(gè)編碼器連接到視頻轉(zhuǎn)碼器設(shè)備；分配器820，用于根據(jù)流的特性分配輸入視頻；DSP庫(kù)(farm) 830 (或多核DSP)，用于并行地處理由分配器820引導(dǎo)到特定DSP的多個(gè)流；打包器840，用于將分組成幀為因特網(wǎng)協(xié)議(IP)數(shù)據(jù)單元；高速以太網(wǎng)接口 850，用于將打包的視頻流傳輸?shù)皆谙旅鎴D9中描繪的傳輸處理器設(shè)備900。在一個(gè)實(shí)施例中，高速以太網(wǎng)接口模塊810包括特殊應(yīng)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)或現(xiàn)成的專用IC(ASIC)。在一個(gè)實(shí)施例中，分配器820由現(xiàn)場(chǎng)可編程門陣列(FPGA)構(gòu)建。在另一個(gè)實(shí)施例中，分配器模塊820包括現(xiàn)成的專用IC(ASIC)或ASSP。在另一個(gè)實(shí)施例中，分配器模塊 820包括數(shù)字信號(hào)處理器(DSP)。分配器820基于流確定哪個(gè)DSP引導(dǎo)流。類似于其它組件，高速以太網(wǎng)接口 850和分配器模塊820都不限于任何當(dāng)前已有的計(jì)算機(jī)產(chǎn)品，其可利用新的設(shè)備，當(dāng)這些新的設(shè)備可用時(shí)。DSP庫(kù)(或多核DSP) 830包括在適合于其它特性中的靈活性、冗余性和吞吐量的并行體系結(jié)構(gòu)內(nèi)運(yùn)行的多個(gè)DSP。DSP庫(kù)830使用產(chǎn)生視頻流的適當(dāng)?shù)膸尚渭夹g(shù)對(duì)多個(gè)視頻流中的每一個(gè)進(jìn)行轉(zhuǎn)碼，視頻流符合用戶的偏好。在一個(gè)實(shí)施例中，DSP庫(kù)830包括FPGA。 在其它實(shí)施例中，DSP庫(kù)830包括ASSP或ASSP與FPGA的組合。在一個(gè)實(shí)施例中，打包器840由現(xiàn)場(chǎng)可編程門陣列(FPGA)構(gòu)建。在另一個(gè)實(shí)施例中，打包器模塊840包括現(xiàn)成的專用IC(ASIC)或ASSP。在另一個(gè)實(shí)施例中，打包器模塊840包括數(shù)字信號(hào)處理器(DSP)。如其名字所表示的，打包器80將多個(gè)轉(zhuǎn)碼流格式化為IP 分組。在一個(gè)實(shí)施例中，高速以太網(wǎng)接口模塊850由ASSP構(gòu)建。在另一個(gè)實(shí)施例中，高速以太網(wǎng)接口模塊850包括現(xiàn)場(chǎng)可編程門陣列(FPGA)。在另一個(gè)實(shí)施例中，高速以太網(wǎng)接口模塊850包括數(shù)字信號(hào)處理器(DSP)。類似于其它組件，高速以太網(wǎng)接口模塊850并不限于任何當(dāng)前已有的計(jì)算機(jī)產(chǎn)品，其可利用新的設(shè)備，當(dāng)這些新的設(shè)備可用時(shí)。高速以太網(wǎng)接口 850將打包的視頻流傳輸?shù)较旅婷枋龅膫鬏斕幚砥髟O(shè)備900。圖9描繪了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)視頻流處理系統(tǒng)中的傳輸處理器設(shè)備的框圖。傳輸處理器900至少包括以太網(wǎng)交換機(jī)910，用于與來(lái)自視頻轉(zhuǎn)碼器的多個(gè)輸入流連接并向流路由器920提供合適的輸入，流路由器920執(zhí)行視頻流的路由并將視頻流饋送到高速以太網(wǎng)930以傳輸。在一個(gè)實(shí)施例中，以太網(wǎng)交換機(jī)910被設(shè)計(jì)為使用特殊應(yīng)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)或 ASIC。在其它實(shí)施例中，以太網(wǎng)交換機(jī)910包括數(shù)字信號(hào)處理器(DSP)。在一個(gè)實(shí)施例中，流路由器920被設(shè)計(jì)為使用與FPGA相結(jié)合的網(wǎng)絡(luò)處理器。在另一個(gè)實(shí)施例中，流路由器920包括網(wǎng)絡(luò)處理器。在另一個(gè)實(shí)施例中，流路由器包括FPGA。類似于其它組件，流路由器并不限于任何當(dāng)前已有的計(jì)算機(jī)產(chǎn)品，其可利用新的設(shè)備，當(dāng)這些新的設(shè)備可用時(shí)。在一個(gè)實(shí)施例中，高速以太網(wǎng)930被設(shè)計(jì)為使用特殊應(yīng)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)或 ASIC。在其它實(shí)施例中，高速以太網(wǎng)930包括數(shù)字信號(hào)處理器(DSP)。
權(quán)利要求
1.一種用于實(shí)時(shí)多媒體流處理的方法，包括根據(jù)各自的編碼特性對(duì)多個(gè)多媒體流的每一個(gè)進(jìn)行轉(zhuǎn)碼，以提供轉(zhuǎn)碼多媒體流；向多個(gè)觀看者轉(zhuǎn)發(fā)每個(gè)轉(zhuǎn)碼多媒體流，其中，所述多個(gè)觀看者的每一個(gè)接收各自的轉(zhuǎn)碼多媒體流；以及響應(yīng)于來(lái)自一個(gè)或多個(gè)用戶的指示偏好的反饋，修改與至少一個(gè)轉(zhuǎn)碼多媒體流相關(guān)聯(lián)的編碼特性，從而降低與至少一個(gè)所述轉(zhuǎn)碼多媒體流相關(guān)聯(lián)的帶寬要求。
2.如權(quán)利要求1所述的方法，其中，多個(gè)觀看者接收共同的轉(zhuǎn)碼多媒體流。
3.如權(quán)利要求1所述的方法，其中，所述編碼特性包括以下屬性的一個(gè)或多個(gè)幀速率、分辨率、色彩深度、頻率分量、縮放、編碼算法、可用帶寬和范圍。
4.如權(quán)利要求1所述的方法，其中，提供給所述轉(zhuǎn)碼器的所述多媒體流的每一個(gè)由各自的攝影機(jī)/編碼器提供，所述攝影機(jī)/編碼器的每一個(gè)提供與共同的觀看環(huán)境有關(guān)的圖像，所述攝影機(jī)用于根據(jù)所提供的編碼特性響應(yīng)地編碼圖像。
5.如權(quán)利要求1所述的方法，其中，提供給所述轉(zhuǎn)碼器的所述多媒體流的每一個(gè)由各自的遠(yuǎn)程攝影機(jī)/編碼器提供，所述遠(yuǎn)程攝影機(jī)/編碼器的每一個(gè)提供與不同的觀看環(huán)境有關(guān)的圖像。
6.一種實(shí)時(shí)多媒體流處理系統(tǒng)，包括視頻管理器，其可通信地連接到一個(gè)或多個(gè)攝影機(jī)/編碼器和一個(gè)或多個(gè)轉(zhuǎn)碼器，用于接收觀看者的視頻偏好的標(biāo)記，并響應(yīng)地修改所述轉(zhuǎn)碼器的編碼特性，從而根據(jù)所述觀看者視頻偏好提供轉(zhuǎn)碼視頻流；所述轉(zhuǎn)碼器的每一個(gè)用于將各自的具有初始視頻特性的視頻流轉(zhuǎn)碼成具有隨后的視頻特性的隨后的視頻流；所述傳輸處理器用于傳輸編碼多個(gè)轉(zhuǎn)碼視頻流以向觀看者傳輸；以及路由器，用于向用戶路由適合偏好的轉(zhuǎn)碼多媒體流。
7.如權(quán)利要求6所述的系統(tǒng)，其中，多個(gè)觀看者共享共同的經(jīng)過(guò)傳輸處理的流。
8.如權(quán)利要求6所述的系統(tǒng)，其中，每個(gè)觀看者已向其傳輸由各自的帶寬分配表征的各自的傳輸流，所述帶寬根據(jù)轉(zhuǎn)碼視頻流的特性分配。
9.一種實(shí)時(shí)多媒體轉(zhuǎn)碼器裝置，包括分配器，用于選擇多個(gè)數(shù)字信號(hào)處理器(DSP)中的一個(gè)以對(duì)適合偏好的多媒體流進(jìn)行轉(zhuǎn)碼，其中，所述選擇根據(jù)所述多個(gè)多媒體流的特性的每一個(gè)進(jìn)行，所述流由多個(gè)數(shù)字信號(hào)處理器(DSP)中的各自的數(shù)字信號(hào)處理器進(jìn)行轉(zhuǎn)碼。
10.一種實(shí)時(shí)多媒體編碼裝置，包括多個(gè)編碼器，每個(gè)編碼器處理各自的與共同的觀看環(huán)境中各自的視圖相關(guān)聯(lián)的視頻信號(hào)；響應(yīng)于指示偏好的控制信號(hào)，所述編碼器修改編碼參數(shù)，從而提供符合用戶的偏好的編碼視頻流。
全文摘要
提供一種多媒體方法、系統(tǒng)和裝置以優(yōu)化網(wǎng)絡(luò)帶寬并增強(qiáng)視頻體驗(yàn)。多個(gè)環(huán)境視圖中的每一個(gè)被編碼，編碼多媒體流隨后根據(jù)各自的編碼特性進(jìn)行轉(zhuǎn)碼。然后，所產(chǎn)生的視頻流被提供給用戶以選擇優(yōu)選視圖。用戶的多媒體偏好屬性根據(jù)觀看者的反饋確定。響應(yīng)于觀看者的反饋，視頻管理器向攝影機(jī)/編碼器傳送編碼特性，并向轉(zhuǎn)碼器傳送與對(duì)應(yīng)的編碼多媒體流相關(guān)聯(lián)的轉(zhuǎn)碼特性。傳輸處理器進(jìn)行編碼以傳輸多個(gè)轉(zhuǎn)碼視頻流的每一個(gè)，并向觀看者傳送轉(zhuǎn)碼視頻流。
文檔編號(hào)H04L29/08GK102342066SQ201080010580
公開(kāi)日2012年2月1日 申請(qǐng)日期2010年3月1日 優(yōu)先權(quán)日2009年3月6日
發(fā)明者E·L·舒特爾, R·L·夏普 申請(qǐng)人:阿爾卡特朗訊公司