專利名稱:視頻處理系統(tǒng)和方法
技術(shù)領(lǐng)域:
本發(fā)明涉及用于視頻信號傳輸與處理的編碼方法以及采用該編碼方法的 裝置。
背景技術(shù):
通訊系統(tǒng)為人們接入廣播視頻內(nèi)容提供了多種選擇方案。用戶可以通過天 線接收標清及高清電視廣播。在大多數(shù)社區(qū)內(nèi)都分布有模擬以及數(shù)字有線電視 網(wǎng)絡(luò)的大量電視工作站,這些工作站的分布是基于用戶的訂購的。此外,對于 用戶來說,還存在衛(wèi)星電視以及新因特網(wǎng)協(xié)議(IP)電視服務(wù)這樣兩種新選擇。
模擬視頻信號可以按照NTSC、 PAL以及SECAM此類的視頻標準進行編碼。 而數(shù)字視頻信號則可以根據(jù)例如Quicktime、(動態(tài)圖像輸出組織)MPEG-2、 ,£0-4或者玨264這些標準進行編碼。除了數(shù)字編碼,通常會通過對視頻信 號進行加密而保證只有訂購了該視頻的用戶才能獲取相應(yīng)的視頻內(nèi)容。
對于視頻內(nèi)容的需求正驅(qū)使著移動電話網(wǎng)絡(luò)開始向其服務(wù)訂購者以視頻 流的形式提供視頻節(jié)目。在這種趨勢下,移動設(shè)備用戶也將能夠?qū)崟r訪問視頻 節(jié)目。但通常用于為固定設(shè)備提供廣播視頻的技術(shù)卻不太適用于手持移動設(shè)備 的觀看環(huán)境。
比較本發(fā)明后續(xù)將要結(jié)合附圖介紹的系統(tǒng),現(xiàn)有技術(shù)的其它局限性和弊端 對于本領(lǐng)域的普通技術(shù)人員來說是顯而易見的。
發(fā)明內(nèi)容
本發(fā)明所提供的方法和裝置結(jié)合至少一幅附圖進行了充分的展現(xiàn)和描述, 并在權(quán)利要求中得到了更完整的闡述。
根據(jù)本發(fā)明的一個方面,本發(fā)明提供一種視頻處理系統(tǒng),包括視頻編碼器,用于生成多個運動矢量,將視頻流編碼成獨立視頻層流和第 一非獨立視頻層流;
其中所述獨立視頻層流包括與多個運動矢量相對應(yīng)的第一多個運動矢量 數(shù)據(jù),所述第一多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中每個運動矢量的 多個最高有效位,其中所述第一非獨立視頻層流包括所述多個運動矢量相對應(yīng) 的第二多個運動矢量數(shù)據(jù),所述第二多個運動矢量數(shù)據(jù)代表了所述多個運動矢 量中每一個運動矢量的多個最低有效位,且所述第一獨立視頻層流不包括第一
多個運動矢量數(shù)據(jù)。
優(yōu)選地,所述第一多個運動矢量數(shù)據(jù)包括所述多個運動矢量中每個運動矢
量的整數(shù)部分;且所述第二多個運動矢量數(shù)據(jù)包括所述多個運動矢量中每個運 動矢量的小數(shù)部分。
優(yōu)選地,對所述第一非獨立視頻層流的解碼取決于來自獨立視頻層流的數(shù)據(jù)。
優(yōu)選地,所述視頻編碼器進一步將視頻流編碼成第二非獨立視頻層流;且 其中所述第二非獨立視頻層流包括與所述多個運動矢量相對應(yīng)的第三多個運 動矢量數(shù)據(jù),并且所述第二非獨立視頻層流不包含第一多個運動矢量數(shù)據(jù)并且 也不包含第二多個運動矢量數(shù)據(jù)。
優(yōu)選地,所述視頻處理系統(tǒng)進一步包括
視頻解碼器,用于在第一運行模式下耦合以接收獨立視頻層流和第一非獨 立視頻層流,以同步所述獨立視頻層流和第一非獨立視頻層流以形成同步流, 并基于該同步流生成重建的視頻信號。
優(yōu)選地,所述視頻解碼器在第二運行模式下耦合,以接收該獨立視頻流并 基于該獨立視頻層而無需第一非獨立視頻層流生成重建的視頻信號。
根據(jù)另一個方面,提供一種視頻處理系統(tǒng),包括
視頻編碼器,用于將視頻流編碼成獨立視頻層流和第一非獨立視頻層流; 其中所述獨立視頻層流包括多個灰階數(shù)據(jù),而第一非獨立視頻層流則包括 多個色彩數(shù)據(jù);并且所述第一非獨立視頻層流并不包含所述多個灰階數(shù)據(jù)。 優(yōu)選地,所述獨立視頻層流也不包含所述多個色彩數(shù)據(jù)。
5優(yōu)選地,對所述第一非獨立視頻層流的解碼取決于來自所述獨立視頻層流 的數(shù)據(jù)。
優(yōu)選地,所述灰階數(shù)據(jù)包括亮度數(shù)據(jù),所述色彩數(shù)據(jù)包括色度數(shù)據(jù)。 優(yōu)選地,所述處理系統(tǒng)進一步包括
視頻解碼器,在第一運作模式耦合以接收所述獨立視頻層流和第一非獨立 視頻層流,同步所述獨立視頻層流和第一非獨立視頻層流以生成同步流,并基 于所述同步流生成重建的視頻信號。
優(yōu)選地,所述視頻解碼器,在第二運作模式耦合以接收獨立視頻層流,并 基于該獨立視頻層而無需第一非獨立視頻層流生成重建的視頻信號。
根據(jù)一個方面,提供了一種方法,包括
基于多個運動矢量將視頻流編碼成獨立視頻流層和第一非獨立視頻流層; 其中所述獨立視頻層流包括與多個運動矢量相對應(yīng)的第一多個運動矢量數(shù)據(jù), 所述第一多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中每個運動矢量的多個 最高有效位;其中所述第一非獨立視頻層流包括所述多個運動矢量相對應(yīng)的第 二多個運動矢量數(shù)據(jù),所述第二多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中 每一個運動矢量的多個最低有效位,且所述第一獨立視頻層流不包括第一多個 運動矢量數(shù)據(jù)。
優(yōu)選地,所述第一多個運動矢量數(shù)據(jù)包括所述多個運動矢量中每個運動矢 量的整數(shù)部分;且所述第二多個運動矢量數(shù)據(jù)包括所述多個運動矢量中每個運 動矢量的小數(shù)部分。
優(yōu)選地,所述第一非獨立視頻層流的解碼取決于來自獨立視頻層流的數(shù)據(jù)。
優(yōu)選地,所述方法進一步包括將視頻流編碼成獨立視頻流層和第一非獨 立視頻流層,再將視頻流編碼成第二非獨立視頻層流;且其中所述第二非獨立 視頻層流包括與所述多個運動矢量相對應(yīng)的第三多個運動矢量數(shù)據(jù),并且所述 第二非獨立視頻層流不包含第一多個運動矢量數(shù)據(jù)并且也不包含第二多個運 動矢量數(shù)據(jù)。
優(yōu)選地,所述方法進一步包括在第一運作模式中,
接收所述獨立視頻層流和第一非獨立視頻層流
同步所述獨立視頻層流和第一非獨立視頻層流以生成同步流,
并基于所述同步流生成重建的視頻信號。
優(yōu)選地,所述方法進一步包括
在第二運作模式中,
接收獨立視頻層流;
基于該獨立視頻層而無需第一非獨立視頻層流生成重建的視頻信號。 根據(jù)另一個方面, 一種方法,包括 將視頻流編碼成獨立視頻層流和第一非獨立視頻層流; 其中 所述獨立視頻層流包括多個灰階數(shù)據(jù),而第一非獨立視頻層流則包括
多個色彩數(shù)據(jù);并且所述第一非獨立視頻層流并不包含所述多個灰階數(shù)據(jù)。 優(yōu)選地,所述獨立視頻層流也不包含所述多個色彩數(shù)據(jù)。 優(yōu)選地,對所述第一非獨立視頻層流的解碼取決于來自所述獨立視頻層流
的數(shù)據(jù)。
優(yōu)選地,所述灰階數(shù)據(jù)包括亮度數(shù)據(jù),所述色彩數(shù)據(jù)包括色度數(shù)據(jù)。 優(yōu)選地,所述方法進一步包括.-
在第一運作模式中,
接收所述獨立視頻層流和第一非獨立視頻層流
同步所述獨立視頻層流和第一非獨立視頻層流以生成同步流,
并基于所述同步流生成重建的視頻信號。
優(yōu)選地,所述方法進一步包括
在第二運作模式中,
接收獨立視頻層流;
基于該獨立視頻層而無需第一非獨立視頻層流生成重建的視頻信號。 本發(fā)明的各種優(yōu)點、各個方面和創(chuàng)新特征,以及其中所示例的實施例的細 節(jié),將在以下的描述和附圖中進行詳細介紹。
下面將結(jié)合附圖及實施例對本發(fā)明作進一步說明,附圖中
圖1是本發(fā)明一實施例中視頻網(wǎng)絡(luò)102的結(jié)構(gòu)示意圖2是本發(fā)明一實施例中視頻處理系統(tǒng)125的結(jié)構(gòu)示意圖3是本發(fā)明一實施例中移動視頻設(shè)備110/視頻設(shè)備112的結(jié)構(gòu)示意圖4是本發(fā)明一實施例中進行全解碼的視頻解碼器136的結(jié)構(gòu)示意圖5是本發(fā)明一實施例中進行部分降低解碼的視頻解碼器136的結(jié)構(gòu)示意
圖6是本發(fā)明一實施例中進行降低解碼的視頻解碼器136的結(jié)構(gòu)示意圖7是本發(fā)明一實施例中視頻處理系統(tǒng)125'的結(jié)構(gòu)示意圖8是本發(fā)明另一實施例中視頻處理系統(tǒng)125"的結(jié)構(gòu)示意圖9是本發(fā)明一實施例中移動視頻設(shè)備110/視頻設(shè)備112的結(jié)構(gòu)示意圖IO是本發(fā)明一實施例中加擾模塊160的結(jié)構(gòu)示意圖11是本發(fā)明一實施例中解擾模塊164的結(jié)構(gòu)示意圖12是本發(fā)明另一實施例中視頻處理系統(tǒng)125"'的結(jié)構(gòu)示意圖13是本發(fā)明一實施例中經(jīng)加擾的獨立視頻流176的示意圖14是本發(fā)明另一實施例中視頻處理系統(tǒng)125'"的結(jié)構(gòu)示意圖15是本發(fā)明一實施例中對加擾視頻流進行解擾的示意圖16是本發(fā)明一實施例中移動視頻設(shè)備110/視頻設(shè)備112的結(jié)構(gòu)示意圖;
圖17是本發(fā)明一實施例中圖形顯示的示意圖18是本發(fā)明另一實施例中圖形顯示的示意圖19是根據(jù)本發(fā)明的方法的步驟流程圖20是根據(jù)本發(fā)明的方法的步驟流程圖21是根據(jù)本發(fā)明的方法的步驟流程圖22是根據(jù)本發(fā)明的方法的步驟流程圖23是根據(jù)本發(fā)明的方法的步驟流程圖24是根據(jù)本發(fā)明的方法的步驟流程圖25是根據(jù)本發(fā)明的方法的步驟流程圖;圖26是根據(jù)本發(fā)明的方法的步驟流程圖;圖27是根據(jù)本發(fā)明的方法的步驟流程圖;圖28是根據(jù)本發(fā)明的方法的步驟流程圖;圖29是根據(jù)本發(fā)明的方法的步驟流程圖;圖30是根據(jù)本發(fā)明的方法的步驟流程圖;圖31是根據(jù)本發(fā)明的方法的步驟流程圖;圖32是根據(jù)本發(fā)明的方法的步驟流程圖;圖33是根據(jù)本發(fā)明的方法的步驟流程圖;圖34是根據(jù)本發(fā)明的方法的步驟流程圖;圖35是根據(jù)本發(fā)明的方法的步驟流程圖。
具體實施例方式
圖1是本發(fā)明一實施例中視頻網(wǎng)絡(luò)102的結(jié)構(gòu)示意圖。圖中示出的視頻網(wǎng)絡(luò)102用于將例如視頻內(nèi)容106的視頻信息從視頻源100分配給無線接入設(shè)備104以便無線傳輸給無線視頻設(shè)備例如移動視頻設(shè)備110和視頻設(shè)備112。視頻內(nèi)容106可包括電影、電視節(jié)目、商業(yè)或其他廣告、教育節(jié)目、商業(yè)信息片、或者其他節(jié)目內(nèi)容,還包括與這些節(jié)目相關(guān)聯(lián)的附加數(shù)據(jù),包括但不限于數(shù)字版權(quán)管理數(shù)據(jù)、控制數(shù)據(jù)、節(jié)目信息、附加圖形數(shù)據(jù)以及其他能夠與節(jié)目內(nèi)容一起傳送的數(shù)據(jù)。視頻內(nèi)容106包括帶音頻或不帶音頻的視頻。視頻內(nèi)容106可以作為廣播視頻、視頻流、視頻點播以及準點播電視和/或其他格式進行發(fā)送。
網(wǎng)絡(luò)102可以是專用視頻分發(fā)網(wǎng)絡(luò),例如直接廣播衛(wèi)星網(wǎng)絡(luò)或者有線電視網(wǎng)絡(luò),用于將來自多個視頻源的視頻內(nèi)容106進行分發(fā),該多個視頻源包括一定地理范圍內(nèi)的視頻源IOO、多個無線接入設(shè)備以及可選地有線設(shè)備。此外,網(wǎng)絡(luò)102還可以是異構(gòu)網(wǎng)絡(luò),該異構(gòu)網(wǎng)絡(luò)包括通用網(wǎng)絡(luò)例如因特網(wǎng)、城域網(wǎng)、廣域網(wǎng)、局域網(wǎng)或者其他網(wǎng)絡(luò)以及例如因特網(wǎng)協(xié)議電視網(wǎng)絡(luò)中的一部分或多部分。
視頻內(nèi)容106可以以模擬信號(例如NTSC、 SECAM或者PAL編碼視頻信號)或者以數(shù)字視頻信號(例如Quicktime、(動態(tài)圖像輸出組織)MPEG-2、MPEG-4、 H.264)進行傳送,或者可以采用其他格式,即可以是標準的,也可以是專有的,通過IP協(xié)議例如TCP/IP、以太網(wǎng)協(xié)議、DOCSIS協(xié)議或者其他協(xié)議進行傳送。
無線接入設(shè)備104包括基站或者接入點,通過蜂窩網(wǎng)絡(luò)(例如UMTS、EDGE、 3G、 4G或者其他蜂窩數(shù)據(jù)網(wǎng)絡(luò))、無線局域網(wǎng)(例如802.11a,b,g,n)、WIMAX、或者其他WLAN網(wǎng)絡(luò)將視頻內(nèi)容106分配給多個視頻訂購者。此外,無線接入設(shè)備可包括家庭網(wǎng)關(guān)、專用視頻分配網(wǎng)中的視頻分發(fā)點,或者用于將視頻內(nèi)容106單獨或者伴隨其他相關(guān)數(shù)據(jù)、信號或服務(wù)信息傳輸?shù)揭苿右曨l設(shè)備和/或視頻設(shè)備102的其他無線網(wǎng)關(guān)。
移動視頻設(shè)備110包括支持視頻的無線手機或者其他能夠支持視頻播放功能的手持通訊設(shè)備。視頻設(shè)備112包括其他視頻顯示設(shè)備,可以是移動的也可以是非移動的,例如帶無線接收器的電視機、通過無線數(shù)據(jù)卡、無線調(diào)諧器、WLAN調(diào)制解調(diào)器或者其他無線鏈路進行無線連接的電腦、或能夠單獨或者結(jié)合其它設(shè)備從無線接入點接收視頻內(nèi)容106并存儲和/或向用戶顯示該視頻內(nèi)容106的設(shè)備。
視頻源100、網(wǎng)絡(luò)102、無線接入設(shè)備104、移動視頻設(shè)備110和/或視頻設(shè)備112包括本發(fā)明所述的一項或多項特點,這些特點將會在圖2 35中進行進一步描述。
圖2是本發(fā)明一實施例中視頻處理系統(tǒng)125的結(jié)構(gòu)示意圖。圖中示出視頻處理系統(tǒng)125可以與視頻編碼器120以及無線接入設(shè)備104連合使用。視頻處理系統(tǒng)125包括視頻解碼器120,用于將包含視頻內(nèi)容106(例如視頻信號118)的視頻流編碼成獨立視頻層流122以及一個或多個非獨立視頻層流124。收發(fā)器模塊128包括有收發(fā)器,用于生成包含有獨立視頻層流122以及一個或多個非獨立視頻層流124的RF信號以傳輸給移動視頻設(shè)備110和/或視頻設(shè)備112。具體來說,獨立視頻層流122與非獨立視頻層流124可以通過各自的RF信道進行發(fā)送,例如,雙信道中的每個獨立信號或者MIMO收發(fā)器。在本發(fā)明的進一步實施例中,獨立視頻層流122可以通過時分復(fù)用、頻分復(fù)用、碼分復(fù)用或者其他多址復(fù)用技術(shù)與所述一個或多個非獨立視頻層流124進行復(fù)用。
雖然圖中所示的視頻編碼器120是與視頻源100相獨立的組件,但是,視頻編碼器120可以合成到視頻源100內(nèi)或者在網(wǎng)絡(luò)102內(nèi)設(shè)置為視頻源100的下游組件。例如,編碼器120可以合成到網(wǎng)絡(luò)102的前端、視頻服務(wù)器、邊緣路由器、視頻分發(fā)中心或者其他組件內(nèi)。收發(fā)器128可以結(jié)合到無線接入設(shè)備104內(nèi)。
在本發(fā)明的實施例中,非獨立視頻層流124的編碼方式使得每個非獨立視頻層流的解碼都需要依賴來自獨立視頻層流122中的數(shù)據(jù)來進行。在本發(fā)明的實施例中,獨立視頻層流122通過MPEG-2、 H.264或者其他數(shù)字壓縮技術(shù)進行編碼,這些數(shù)字壓縮技術(shù)能夠計算出視頻信號118的幀和字段的多個運動矢量。獨立視頻層流122為全編碼視頻流,可以采用編碼過程中具體的數(shù)字視頻格式對其進行解碼操作。然而,獨立視頻層流122未完全包含有解碼出視頻信號118的全部數(shù)據(jù)所需的全分辨率、比例或其它信息。
例如,獨立視頻層流122包含有與編碼器120在編碼過程中生成的多個運動矢量相對應(yīng)的第一多個運動矢量數(shù)據(jù),所述第一多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中每個運動矢量的多個最高有效位。與此類似,非獨立視頻層流124包含有與所述多個運動矢量相對應(yīng)的第二多個運動矢量數(shù)據(jù),所述第二多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中每一個運動矢量的多個最低有效位。例如,視頻編碼器采用L個比特來代表每個運動矢量,則其中N個最高有效位包含在獨立視頻層流122中,而余下的M個比特包含在非獨立視頻層流124中。類似地,可以將運動矢量的總比特位分割到獨立視頻層流以及兩個或多個非獨立視頻層流中,其中,獨立視頻層流中包含了最高有效位,而非獨立視頻層流中則包含的是余下的最低有效位。獨立視頻層流122可以在無需非獨立視頻層流124的數(shù)據(jù)的情況下獨自進行正常的解碼,但運動矢量分辨率降低。另一方面,非獨立視頻層流124不能獨自進行解碼,因為其包含的僅僅是殘余運動矢量數(shù)據(jù)。
在另一例子中,視頻編碼器120可進一步將視頻信號118編碼成第二非獨立視頻層流(圖中未示出),其中,所述第二非獨立視頻層流包含有與所述多個運動矢量相對應(yīng)的第三多個運動矢量數(shù)據(jù),并且所述第二非獨立視頻層流不包含第一多個運動矢量數(shù)據(jù)并且也不包含第二多個運動矢量數(shù)據(jù)。
在具體實施例中,所述第一多個運動矢量數(shù)據(jù)包括每個運動矢量的整數(shù)部分,而第二多個運動矢量數(shù)據(jù)包括每個運動矢量的小數(shù)部分。因此,獨立視頻層流122包括每個運動矢量的整數(shù)部分,而非獨立視頻層流包括每個運動矢量的小數(shù)部分。在本實施例中,如果要解碼得到全分辨率的運動矢量,則需要通
過將從獨立視頻層流122中提取出來的整數(shù)部分以及從非獨立視頻層流124中提取出來的小數(shù)部分來形成完整的運動圖像。此外,僅需來自獨立視頻層流的整數(shù)部分,便可解碼出降低分辨率的運動矢量。需要注意的是,非獨立視頻層流124僅僅包含了運動矢量的小數(shù)部分,因此在無法得到來自獨立視頻層流122的運動矢量的整數(shù)部分的情況下無法進行解碼。
在本發(fā)明進一步的實施例中,獨立視頻層流122包括多個灰階數(shù)據(jù),例如亮度(luma)數(shù)據(jù),而非獨立視頻層流124則包括多個色彩數(shù)據(jù),例如色度(choma)數(shù)據(jù)或者其他參照獨立視頻層流122中灰階數(shù)據(jù)的色彩數(shù)據(jù)。進一步,非獨立視頻層流124并不包含所述多個灰階數(shù)據(jù),而獨立視頻層流122也不包含所述多個色彩數(shù)據(jù)。
在本實施例中,可以從提取自獨立視頻層流122中的灰階數(shù)據(jù)以及提取自非獨立視頻層流124中的色彩數(shù)據(jù)解碼出全色視頻。此外,可僅僅從來自獨立視頻層流122的灰階數(shù)據(jù)解碼得到灰階視頻圖像。但是,對于僅僅包含參照灰階數(shù)據(jù)的色彩數(shù)據(jù)的非獨立視頻層流來說,如果無法獲得獨立視頻層流122中的灰階數(shù)據(jù),那么是無法對該非獨立視頻層流進行解碼的。
需要注意的是,以上例子中所述的部分/完整運動矢量以及灰階/色彩分層方法僅僅是將視頻數(shù)據(jù)分層為獨立視頻層流122以及一個或多個非獨立視頻層流124的多種方法中的兩種可行方法而已。
視頻編碼器120可采用硬件、軟件或固件的形式。在具體實施例中,視頻編碼器120可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號(模擬信號/數(shù)字信號)進行操作的設(shè)備來實現(xiàn)。當(dāng)視頻編碼器120通過兩個或多個設(shè)備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、處理流程或者功能來提供適當(dāng)?shù)娜蒎e性以及冗余性?;蛘撸曨l編碼器120執(zhí)行的功能、步驟及流程可以劃分到不同設(shè)備之間以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存儲器、隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機
存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于存儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)編碼器120通過狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行指令的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、禾口/或邏輯電路的電路中,或者與該電路外接。
圖3是本發(fā)明一實施例中移動視頻設(shè)備110/視頻設(shè)備112的結(jié)構(gòu)示意圖。在如圖所示移動視頻設(shè)備110/視頻設(shè)備112中包括收發(fā)器模塊130,該收發(fā)器模塊130用于接收包含獨立視頻層流132以及一個或多個非獨立視頻層流134的RF信號,并且對所述RF信號進行解調(diào)以及下轉(zhuǎn)換以便提取出獨立視頻層流132以及所述一個或多個非獨立視頻層流134。視頻解碼器136生成用于視頻顯示設(shè)備140的解碼視頻信號138,例如等離子顯示屏、LCD顯示器、陰極射線管(CRT)顯示器等等,直接或通過投影為用戶生成視頻圖像顯示。
在本發(fā)明的實施例中,獨立視頻層流132以及一個或多個非獨立視頻層流134與前面結(jié)合獨立視頻層流122和非獨立視頻層流124描述的部分/完整運動矢量數(shù)據(jù)以及灰階/色彩分層是相對應(yīng)的。此外,獨立視頻層流132對應(yīng)于低色階、低分辨率和/或低幀率信號,而所述一個或多個非獨立視頻層流134包含的非獨立數(shù)據(jù)是以完整或較完整分辨率解碼其內(nèi)的視頻內(nèi)容106所必需的。
在本發(fā)明的實施例中,視頻解碼器136接收獨立視頻層流132以及一個或多個非獨立視頻層流134,將所述獨立視頻層流132與一個或多個非獨立視頻層流134同步以形成同步流,例如通過將運動矢量的各部分進行組合、將色度以及亮度數(shù)據(jù)同步、將幀或字段同步等等,以便基于該同步流解碼生成重建的視頻信號,比如此例中的解碼視頻信號138。
13視頻解碼器136可以選擇多種運行模式,這將會在圖4~6中進行詳細闡述。這些運行模式的選擇是基于從控制單元150處接收到的設(shè)備參數(shù)146進行的,以保證對攜帶視頻內(nèi)容106的視頻層流的解碼操作符合設(shè)備的具體狀態(tài)以及具體屬性。
具體來說,解碼器模塊136根據(jù)選自獨立視頻層流以及一個或多個非獨立視頻層流的至少一個單獨的視頻流,基于由控制單元150提供的設(shè)備參數(shù)146來生成解碼視頻信號。設(shè)備參數(shù)146可包括設(shè)備屬性,例如,存儲在移動視頻設(shè)備110/視頻設(shè)備112的控制單元150中的設(shè)備分辨率、幀率色階、對比度或者顯示設(shè)備140的色彩特性。例如,手持移動設(shè)備的設(shè)備分辨率可以是與獨立視頻層流132的分辨率相對應(yīng)的低分辨率。在這種情況下,當(dāng)設(shè)備分辨率與獨立視頻層流132的分辨率相對應(yīng)時,解碼器可選擇僅僅對獨立視頻層流132作為一個單獨的視頻流進行解碼。如果,移動設(shè)備110是一個全分辨率設(shè)備,那么視頻解碼器會通過設(shè)備參數(shù)146獲知該設(shè)備的高分辨率信息,并選擇利用獨立視頻層流132以及每個非獨立視頻層流134來解碼生成解碼視頻信號138。
在本發(fā)明進一步的實施例中,控制單元150決定設(shè)備狀態(tài),例如,功率狀態(tài),并且將該狀態(tài)信息以設(shè)備參數(shù)146的形式傳送給視頻解碼器136。因此,控制單元可對應(yīng)于低功率狀態(tài),例如低處理器速度、低運算力、關(guān)閉收發(fā)器130的一個或多個MIMO信道或者降低接收帶寬,來控制視頻解碼器136進入到低幀率、低色階或者黑白操作、低分辨率和/或低運動矢量分辨率狀態(tài)。這些根據(jù)低功率狀態(tài)進行的接收和解碼模式的改變能夠節(jié)省處理能量并延長電池壽命。
具體來說,當(dāng)功率狀態(tài)處于低功率狀態(tài)時,解碼器模塊136能夠選擇獨立視頻層流132作為至少一個單獨的視頻流(解碼的唯一視頻層流)。此外,當(dāng)功率狀態(tài)處于另一個較所述低功率狀態(tài)高的功率狀態(tài)時,解碼器模塊136能夠選擇獨立視頻層流132以及每一個非獨立視頻層流作為該至少一個單獨的視頻流。
如前所述,設(shè)備參數(shù)146表示設(shè)備屬性或狀態(tài),更通常來說,視頻解碼器136運行的不同模式對應(yīng)于視頻解碼器136在進行解碼生成解碼視頻信號138的過程中所包含的非獨立視頻層流134的具體部分。視頻解碼器136可采用硬件、軟件或固件的形式。在具體實施例中,視頻解碼器136可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號(模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)視頻解碼器136通過兩個或多個設(shè)備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜蒎e性以及冗余性。此外,視頻解碼器136執(zhí)行的功能、步驟及流程可以化分年到不同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存儲器、隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于存儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)視頻解碼器136通過狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行指令的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路的電路中,或者與該電路外接。
圖4是本發(fā)明一實施例中進行完解碼的視頻解碼器136的結(jié)構(gòu)示意圖。具體來說,在第一運行模式中,視頻解碼器接收獨立視頻層流132以及一個或多個非獨立視頻層流134以將所述獨立視頻層流132以及一個或多個非獨立視頻層流134同步,形成同步流,并且基于所述同步流生成重建的視頻信號,例如解碼視頻信號138。如結(jié)合圖2所述,利用所有的視頻層流可以實現(xiàn)全解碼,例如,全分辨率運動矢量、全色、全幀率、全色階、全分辨率等等。
圖5是本發(fā)明一實施例中進行部分降低解碼的視頻解碼器136的結(jié)構(gòu)示意圖。在另一運行模式中,視頻解碼器136接收獨立視頻層流132以及非獨立視頻層流134中的較少部分。視頻解碼器136隨后將所述獨立視頻層流132以及非獨立視頻層流134的較少部分同步得到同步流,并且基于所述同步流生成重建的視頻信號,例如解碼視頻信號138,。這種部分減少的編碼方法可基于低于全分辨率運動矢量、低于全色分辨率、較低的幀率、較低分辨率等等來實現(xiàn)。圖6是本發(fā)明一實施例中進行降低的解碼的視頻解碼器136的結(jié)構(gòu)示意
圖。在這種運行模式下,視頻解碼器136接收獨立視頻層流132,并且僅僅基于該獨立視頻層流132而無須非獨立視頻層流134生成重建的視頻信號,例如解碼視頻信號138"。通過這種方式生成的視頻信號就會是灰階視頻信號,和/或基于降低的運動矢量分辨率或者降低的視頻信號的解碼視頻信號。
圖7是本發(fā)明一實施例中視頻處理系統(tǒng)125'的結(jié)構(gòu)示意圖。具體來說,視頻處理系統(tǒng)125,包含有與視頻處理系統(tǒng)125相類似的組件,(圖中相應(yīng)標號通用)。在本實施例中,視頻模塊125可運行于多種不同模式下,以實現(xiàn)將獨立視頻層流132以及一個或多個非獨立視頻層流134有選擇地形成至少一個單獨的視頻層流142。具體來說,視頻模塊125只能傳送獨立視頻層流132,或者傳送獨立視頻層流132以及所有非獨立視頻層流134,或者獨立視頻層流132與非獨立視頻層流134中的選中的部分。視頻模塊125利用信道屬性值144和/或設(shè)備參數(shù)146來選擇視頻模塊125的運行模式,以便將獨立視頻層流132以及非獨立視頻層流134中所需部分通過收發(fā)器模塊128傳送給移動視頻設(shè)備110/視頻設(shè)備112。視頻模塊125以及收發(fā)器模塊128可包含在無線接入設(shè)備104中。視頻模塊125也可在網(wǎng)絡(luò)102中置于無線接入設(shè)備104的上游位置。
在本發(fā)明的實施例中,收發(fā)器模塊128將視頻信號139通過至少一個RF信道149傳送到遠程設(shè)備,例如,移動視頻設(shè)備110或者視頻設(shè)備112,其中,發(fā)送的視頻信號139是選自獨立視頻層流132以及一個或多個非獨立視頻層流134的至少一個單獨視頻流142。與收發(fā)器模塊128相連的控制模塊148用于確定所述至少一個RF信道149的至少一項信道屬性值144,并且根據(jù)所述至少一個RF信道149的至少一項信道屬性144選擇至少一個單獨視頻流142。
信道屬性值144可以是位錯誤率、分組錯誤率、信噪比、信號強度、信噪及干擾比、吞吐量、分組重傳率、接收參數(shù)或者其他用于描述RF信道將視頻信號139有效地傳輸給移動視頻設(shè)備110或視頻設(shè)備112的能力的參數(shù)。在本發(fā)明的另一實施例中,當(dāng)所述至少一項信道屬性值144與閾值的比較結(jié)果不夠理想時,控制模塊148會選擇獨立視頻層流132作為所述至少一個單獨視頻流,并且在所述信道屬性要求如此時,僅發(fā)送該降低的信號。進一步,當(dāng)至少一項信道屬性值與閾值的比較結(jié)果足夠理想并且能夠接收到具有全色階、全分辨率
的視頻信號時,控制模塊148會選擇獨立視頻層流132以及每個非獨立視頻層流作為所述至少一個單獨視頻流。視頻可被有效地接收。
此外,控制模塊148能夠基于所述至少一個信道參數(shù)值144為視頻信號149的傳輸選擇合適的傳輸參數(shù),并且,收發(fā)器模塊128會根據(jù)所選定的傳輸參數(shù)對視頻信號149進行傳輸。因此,收發(fā)器模塊128能夠?qū)鬏攨?shù)例如調(diào)制頻譜密度、數(shù)據(jù)率、前向糾錯碼進行調(diào)整以便對降低的吞吐量進行補償。
例如,在信道狀況不太理想以及吞吐量降低的情況下,視頻模塊125可以根據(jù)信道屬性值144切換到僅僅對獨立視頻層流132進行解碼,并且利用降低的數(shù)據(jù)率以及較好的前向糾錯編碼對此時的低幀率、低分辨率進行保護,否則就會導(dǎo)致信號質(zhì)量下降。在進一步的例子中,收發(fā)器模塊128為MIMO收發(fā)器,所述至少一個RF信道149包括多個MIMO信道。收發(fā)器模塊128能夠?qū)鬏攨?shù)進行相應(yīng)調(diào)整,包括對多個MIMO信道中選定用于傳輸獨立視頻層流的MIMO信道子組進行調(diào)節(jié)。因此,收發(fā)器128能夠通過指定附加信道來提高獨立視頻層流132的正確接收率一由于該獨立視頻層流是需要進行解碼的。
此外,控制模塊148可進一步基于選定的至少一個獨立視頻層流142為收發(fā)器模塊128選擇適當(dāng)?shù)膫鬏攨?shù)?;诳刂颇K自身對信道屬性值144的分析而得出的傳輸信號的具體信息以及帶寬需求信息,能夠有助于控制模塊148選擇和/或指定MIMO信道、調(diào)制頻譜密度、數(shù)據(jù)率、前向糾錯碼以及其他傳輸參數(shù)。
在本發(fā)明的進一步實施例中,收發(fā)器模塊128接收來自遠程設(shè)備例如移動視頻設(shè)備110或者視頻設(shè)備112的設(shè)備參數(shù)146,并將視頻信號139作為選自獨立視頻層流132以及一個或多個非獨立視頻層流134的至少一個單獨視頻流142進行傳輸??刂颇K148基于設(shè)備參數(shù)146選擇所述至少一個單獨視頻流142。因此,控制模塊148會選擇獨立視頻層流以及那些基于移動視頻設(shè)備110或視頻設(shè)備112的屬性及狀態(tài)值確定解碼和傳輸所需的非獨立視頻層流中的部分。
例如,設(shè)備參數(shù)146可包括設(shè)備分辨率,并且當(dāng)設(shè)備分辨率對應(yīng)于第一分
辨率時,控制模塊可選擇獨立視頻層流132作為至少一個單獨視頻流142進行傳輸。此外,當(dāng)設(shè)備分辨率對應(yīng)于比所述第一分辨率高的第二分辨率時,控制模塊148可選擇獨立視頻層流142以及所述至少一個非獨立視頻層流134的每一個作為所述至少一個單獨視頻流進行傳輸。
在進一步的例子中,設(shè)備參數(shù)146包括遠程設(shè)備的功率狀態(tài)。當(dāng)功率狀態(tài)對應(yīng)于第一功率狀態(tài)時,例如低功率狀態(tài),控制模塊會選擇獨立視頻層流132作為所述至少一個單獨視頻流142進行傳輸。進一步,當(dāng)功率狀態(tài)對應(yīng)于比所述第一功率狀態(tài)高的第二功率狀態(tài)時,控制模塊148會選擇獨立視頻層流132以及每個非獨立視頻層流134作為所述至少一個單獨視頻流142進行傳輸。
視頻模塊125可采用硬件、軟件或固件的形式。在具體實施例中,視頻模塊125可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號
(模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)視頻模塊125通過兩個或多個設(shè)備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜蒎e性以及冗余性。此外,視頻模塊125執(zhí)行的功能、步驟及流程可以劃分到不同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存儲器、隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲器
(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于存儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)視頻模塊125通過狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行指令的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路的電路中,或者與該電路外接。
圖8是本發(fā)明另一實施例中視頻處理系統(tǒng)125"的結(jié)構(gòu)示意圖。視頻處理系統(tǒng)包括與圖7所示相類似的組件(標號通用)。在本實施例中,視頻代碼轉(zhuǎn)換器126基于信道屬性值144和/或設(shè)備參數(shù)146進行操作,生成基于移動視頻設(shè)備110或視頻設(shè)備112的屬性和/或狀態(tài)的單一代碼轉(zhuǎn)換視頻信號140。具體來說,視頻代碼轉(zhuǎn)換模塊126類似于視頻模塊125,可單獨傳送獨立視頻層流132作為代碼轉(zhuǎn)換視頻信號140。此外,視頻代碼轉(zhuǎn)換模塊126可將獨立視頻層流132與一個或多個非獨立視頻層流134進行同步與組合以生成代碼轉(zhuǎn)換視頻信號140。在移動視頻設(shè)備110或視頻設(shè)備112的最終分辨率、色階、幀率、數(shù)字格式等等,無論是基于設(shè)備當(dāng)前狀態(tài)還是基于設(shè)備其他屬性,都與通過將不同的非獨立視頻層流134進行組合而得到的可能的分辨率、色階、幀率不相同的情況下,視頻代碼轉(zhuǎn)換器126會通過代碼轉(zhuǎn)換來生成視頻信號的至少一部分,以匹配符合移動設(shè)備110或視頻設(shè)備112所需色階、分辨率、幀率及數(shù)字格式的至少一部分視頻信號,或者調(diào)節(jié)到其當(dāng)前狀態(tài),例如當(dāng)前功率狀態(tài)。
在本發(fā)明的實施例中,視頻代碼轉(zhuǎn)換器126接收獨立視頻層流132以及一個或多個非獨立視頻層流134。視頻代碼轉(zhuǎn)換器126可單獨基于獨立視頻層流或者基于獨立視頻層流與非獨立視頻層流的選定部分生成代碼轉(zhuǎn)換視頻信號140。代碼轉(zhuǎn)換器126可通過對需要進行同步和組合的視頻層流的選擇來執(zhí)行代碼轉(zhuǎn)換。通過選擇與獨立視頻層流132進行同步與組合的非獨立視頻層流134,可以生成具有完全、部分降低或者完全降低的色階、分辨率、幀率、運動矢量分辨率、色彩的代碼轉(zhuǎn)換視頻信號140。
視頻代碼轉(zhuǎn)換器126將獨立視頻層流132與選定的非獨立視頻層流134進行同步得到單一同步流,并且將該同步流組合生成所述代碼轉(zhuǎn)換視頻信號140??蛇x擇地,視頻代碼轉(zhuǎn)換器140能夠?qū)⒁曨l流通過進一步代碼轉(zhuǎn)換成特定的幀率、分辨率、色階以匹配的不同的數(shù)字格式來實現(xiàn)精細代碼轉(zhuǎn)換。因此,當(dāng)獨立視頻層流132以一種數(shù)字格式進行編碼后,例如,MPEG-2格式,代碼轉(zhuǎn)換視頻信號140將可以被轉(zhuǎn)換成另一種數(shù)字格式,例如H.264,和/或?qū)ζ鋷?、分辨率、色階等進行修改,上述修改是基于在代碼轉(zhuǎn)換過程中用到的非獨立視頻層流134的具體部分以及附加精細代碼轉(zhuǎn)換進行的,所述精細代碼轉(zhuǎn)換能夠生成利用非獨立視頻層流134的任何組合方式都無法獲得的幀率、分辨率、色階等等。例如,在一種運行模式下,視頻代碼轉(zhuǎn)換器126將獨立視頻層流132以及一個非獨立視頻層流134同步及組合來生成所述代碼轉(zhuǎn)換視頻信號140。在另一運行模式下,視頻代碼轉(zhuǎn)換器126將獨立視頻層流132以及一個非獨立視頻層流134同步及組合生成同步視頻信號,并將該同步視頻信號通過代碼轉(zhuǎn)換生成所述代碼轉(zhuǎn)換視頻信號140。在另一運行模式下,視頻代碼轉(zhuǎn)換器126僅僅利用獨立視頻層流132來生成所述代碼轉(zhuǎn)換視頻信號140。在進一步的運行模式下,視頻代碼轉(zhuǎn)換器126通過將獨立視頻層流132進行代碼轉(zhuǎn)換來生成所述代碼轉(zhuǎn)換視頻信號140。這些都是本發(fā)明中視頻代碼轉(zhuǎn)換器126可能采用的代碼轉(zhuǎn)換組合的示例。
視頻代碼轉(zhuǎn)換器126可采用硬件、軟件或固件的形式。在具體實施例中,視頻代碼轉(zhuǎn)換器126可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號(模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)視頻代碼轉(zhuǎn)換器126通過兩個或多個設(shè)備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜蒎e性以及冗余性。此外,視頻代碼轉(zhuǎn)換器126執(zhí)行的功能、步驟及流程可以劃分到不同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存儲器、隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于存儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)視頻代碼轉(zhuǎn)換器126通過狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行指令的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路的電路中,或者與該電路外接。
圖9是本發(fā)明另一實施例中移動視頻設(shè)備110/視頻設(shè)備112的結(jié)構(gòu)示意圖。具體來說,圖中所示移動視頻設(shè)備110/視頻設(shè)備112包含圖3中類似組件。然而,在本實施例中,收發(fā)器模塊130將來自控制單元140的設(shè)備參數(shù)值146和/或來自信道模塊148的本地生成的信道參數(shù)值144進行傳輸以使得無線接入設(shè)備104,例如基站或者接入點,能夠?qū)a轉(zhuǎn)換視頻信號140或者一個或多個基于移動視頻設(shè)備110或112的屬性和/或狀態(tài)進行調(diào)整過的獨立視頻層流的RF信號進行傳輸。
在收發(fā)器模塊130接收包含有用于與移動視頻設(shè)備110/視頻設(shè)備112的格式相匹配的代碼轉(zhuǎn)換視頻信號140的情況下,視頻解碼器152可包含用于將代碼轉(zhuǎn)換視頻信號140進行解碼以生成解碼視頻信號154的標準視頻解碼器。作為選擇,當(dāng)移動視頻設(shè)備110/視頻設(shè)備112期望能夠接收到一個通過調(diào)節(jié)后已經(jīng)與其信道屬性值或者設(shè)備自身狀態(tài)相匹配的代碼轉(zhuǎn)換視頻信號時,視頻解碼器152便能夠?qū)⒋a轉(zhuǎn)換視頻信號140解碼成各種格式。在具體實施例中,由視頻代碼轉(zhuǎn)換器126生成的代碼轉(zhuǎn)換視頻信號140中包含有一個或多個用于對所述代碼轉(zhuǎn)換視頻信號140的具體視頻格式、幀率、色階和/或分辨率等等進行識別的控制字比特,以便代碼轉(zhuǎn)換視頻信號140能被正確地解碼。在另一實施例中,視頻解碼器152接收設(shè)備參數(shù)146和/或信道屬性值144,并且基于這一輸入確定出具體的解碼模式。
在本發(fā)明的進一步實施例中,視頻解碼器接收到單獨視頻層流142,基于移動視頻設(shè)備110/視頻設(shè)備112的屬性,上述單獨視頻層流為單一層流,即獨立視頻層流132。這種情況下,可采用標準視頻解碼器。然而,在所述一個或多個單獨視頻層流142包括獨立視頻層流132以及一個或多個非獨立視頻層流134的情況下,視頻解碼器,例如視頻解碼器136會根據(jù)所述一個或多個單獨視頻層流142生成單一的解碼視頻信號138、 138'或者138"。
視頻解碼器152可采用硬件、軟件或固件的形式。在具體實施例中,視頻解碼器152可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號(模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)視頻解碼器152通過兩個或多個設(shè)備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜蒎e性以及冗余性。此外,視頻解碼器152執(zhí)行的功能、步驟及流程可以劃分到不同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存 儲器、隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲
器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于 存儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)視頻解碼器152通過狀態(tài)機、模 擬電路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行 指令的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或 邏輯電路的電路中,或者與該電路外接。
圖IO是本發(fā)明一實施例中加擾模塊160的結(jié)構(gòu)示意圖。圖中示出了與視 頻編碼器120結(jié)合使用的加擾模塊160,其中視頻編碼模塊120在前面已有闡 述,所述加擾模塊160在基于數(shù)字版權(quán)管理、安全或其他原因而需要對視頻信 號進行加擾的情況下便會與視頻編碼模塊120 —起使用。加擾模塊160對獨立 視頻層流132進行加擾,生成經(jīng)加擾的獨立視頻層流162,并且不對該一個或 多個非獨立視頻層流134進行加擾操作。由于非獨立視頻層流134在無不參照 其所依據(jù)的獨立視頻層流132的情況下無法進行正確的解碼操作,因此這些非 獨立視頻層流沒有加擾的必要。此種僅僅對獨立視頻層流進行加擾的方法不僅 節(jié)約了運算能力,還降低了視頻處理系統(tǒng)125、 125'、 125"的實施復(fù)雜程度。 此外,僅僅對一層進行加密的情況下,系統(tǒng)對密鑰的升級頻率會升高和/或采 用更高效的密鑰緩沖機制來建立更強大的加密體系。
在本發(fā)明的實施例中,加擾模塊160通過利用加密算法例如基于密鑰的加 密算法對獨立視頻層流132進行加密;然而,本發(fā)明還可采用其他的加擾和/ 或加密技術(shù)。
加擾模塊160可采用硬件、軟件或固件的形式。在具體實施例中,加擾模 塊160可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、 中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模 擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號 (模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)加擾模塊160通過兩個或多個設(shè) 備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜?錯性以及冗余性。此外,加擾模塊160執(zhí)行的功能、步驟及流程可以劃分到不同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可 以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存儲器、 隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲器
(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于存 儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)加擾模塊160通過狀態(tài)機、模擬電 路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行指令 的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯 電路的電路中,或者與該電路外接。
圖11是本發(fā)明一實施例中解擾模塊164的結(jié)構(gòu)示意圖。具體來說,解擾 模塊164接收經(jīng)加擾的獨立視頻層流162,基于所采用的特定加擾方法對該經(jīng) 加擾的獨立視頻層流162進行解擾,生成解擾后的獨立視頻層流166。視頻解 碼器136將解擾后的獨立視頻層流166當(dāng)作原始獨立視頻層流132進行操作, 并如前所述生成重建的視頻信號,例如,解碼視頻信號138、 138'、 138"。
解擾模塊164可采用硬件、軟件或固件的形式。在具體實施例中,解擾模 塊164可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、 中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模 擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號
(模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)解擾模塊164通過兩個或多個設(shè) 備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜?錯性以及冗余性。此外,解擾模塊164執(zhí)行的功能、步驟及流程可以劃分到不 同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可 以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存儲器、 隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲器
(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于存 儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)解密模塊164通過狀態(tài)機、模擬電 路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行指令 的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯 電路的電路中,或者與該電路外接。雖然圖10與圖11描述了對獨立視頻層流132進行加擾,而未對非獨立視 頻層流134進行加擾,然而,在其它可替代的實施例中,所述對視頻層的加擾 操作也可能正好相反,不對獨立視頻層流132進行加擾,而對非獨立視頻層流 134中的一個或全部進行加擾。這種實施例可用在這樣一種系統(tǒng)中,在該系統(tǒng) 中,獨立視頻層流132是低分辨率信號并且其傳輸不受限制,但是用戶需要有 加密密鑰來獲取非獨立視頻層流以提供較高分辨率的解碼和顯示效果。因而在 這種情況下,所述低分辨率信號通常是免費提供的,然而較高分辨率的信號則 是需要用戶進行付費訂購的。
圖12是本發(fā)明另一實施例中視頻處理系統(tǒng)125"'的結(jié)構(gòu)示意圖。具體來 說,視頻處理系統(tǒng)125,"包括視頻編碼器170,用于將視頻信號118編碼成包 含獨立部分和需要參照所述獨立部分進行解碼的非獨立部分的連續(xù)視頻流 172。
加擾模塊174對連續(xù)視頻流172進行加擾以生成加擾視頻流176,其中所 述加擾操作包括對獨立視頻部分進行加擾而不對非獨立視頻部分進行加擾。例 如,視頻編碼器170可將視頻信號幀118編碼成I幀、P幀和B幀;其中,所 述連續(xù)視頻流172的獨立視頻部分包括I幀,而非獨立視頻部分包括P幀和B 幀。由于P幀以及B幀需要依賴I幀的數(shù)據(jù)進行解碼,因此對連續(xù)視頻流172 中包含I幀的部分進行加擾(例如加密)意味著,在無法對加擾的數(shù)據(jù)進行解 擾的情況下,所述連續(xù)視頻流172就無法成功解碼。在本發(fā)明的實施例中,視 頻編碼器170采用MPEG-2視頻壓縮格式,然而為了節(jié)約加擾及解擾過程中 的運算效率,還可采用其他利用I幀、P幀和B幀或者采用其它獨立和非獨立 部分的編碼技術(shù)或類似技術(shù)。
在本發(fā)明實施例中,加擾視頻流176的經(jīng)加擾的獨立部分包括數(shù)字版權(quán)管 理(DRM)數(shù)據(jù),該數(shù)據(jù)經(jīng)過加擾后能夠保證該DRM數(shù)據(jù)的完整性。
視頻編碼器170以及加擾模塊174可采用硬件、軟件或固件的形式。在具 體實施例中,視頻編碼器170以及加擾模塊174可采用一個或多個處理器、微 控制器、數(shù)字信號處理器、微型計算機、中央處理單元、現(xiàn)場可編程門陣列、 可編程邏輯器件、狀態(tài)機、邏輯電路、模擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號(模擬信號/數(shù)字信號)進行操作的
設(shè)備。當(dāng)視頻編碼器170以及加擾模塊174通過兩個或多個設(shè)備一起實現(xiàn)時,
每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜蒎e性以及冗余
性。此外,視頻編碼器170以及加擾模塊174執(zhí)行的功能、步驟及流程可以劃 分到不同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲 模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存 儲器、隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲 器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于 存儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)視頻編碼器170以及加擾模塊 174通過狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時, 存儲有相應(yīng)運行指令的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù) 字電路、和/或邏輯電路的電路中,或者與該電路外接。
圖13是本發(fā)明一實施例中加擾獨立視頻流176的示意圖。圖中所示的加 擾獨立視頻流176包括經(jīng)加擾的獨立部分180和184,以及未經(jīng)加擾的非獨立 部分182和186。在本發(fā)明的實施例中,獨立部分與非獨立部分是相互交錯的, 然而,非獨立部分與獨立部分也能夠以其他方式組合生成加擾獨立視頻流。
圖14是本發(fā)明另一實施例中視頻處理系統(tǒng)125'"的結(jié)構(gòu)示意圖。如圖所 示,視頻處理系統(tǒng)125",包括解擾模塊190,用于接收加擾視頻流176并且通 過對其中的經(jīng)加擾的獨立部分進行解擾來生成解擾視頻流192。因此,解擾視 頻流可通過傳統(tǒng)視頻解碼器194進行解碼來生成解碼視頻信號196。
解擾模塊190可采用硬件、軟件或固件的形式。在具體實施例中,解擾模 塊190可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算機、 中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模 擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信號 (模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)解擾模塊190通過兩個或多個設(shè) 備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng)?shù)娜?錯性以及冗余性。此外,解擾模塊190執(zhí)行的功能、步驟及流程可以劃分到不 同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存儲器、 隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲器
(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于存 儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)解擾模塊190通過狀態(tài)機、模擬電 路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行指令 的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或邏輯 電路的電路中,或者與該電路外接。
圖15是本發(fā)明一實施例中對加擾視頻流進行解擾的示意圖。具體來說, 解擾模塊,例如解擾模塊190,將加擾視頻流176中的經(jīng)加擾的獨立部分180、 184......與未經(jīng)加擾的非獨立部分182、 186......分離。該解擾模塊從經(jīng)加擾的
獨立部分180、 184生成解繞后的獨立部分180,和184,......,并且通過將所述
解擾后的獨立部分180'、 184,......與未經(jīng)加擾的非獨立部分182、 186......同
步來生成解擾視頻流192。
圖16是本發(fā)明另一實施例中移動視頻設(shè)備110/視頻設(shè)備112的結(jié)構(gòu)示意 圖。具體來說,諸如移動視頻設(shè)備110或視頻設(shè)備112此類的視頻處理設(shè)備包 括用戶界面模塊206,例如觸摸屏、遙控設(shè)備、鼠標、拇指輪、鍵盤或者其他 接收一個或多個用戶偏好的用戶界面。該視頻處理設(shè)備包括有用于接收包含基 本視頻層流200以及一個或多個圖形層流202的RF信號的收發(fā)器模塊130。 解碼模塊,例如視頻解碼器208,根據(jù)由收發(fā)器模塊130恢復(fù)得到的基本視頻 層流200以及至少一個圖形層流202,基于至少一種用戶偏好204,生成用于 視頻顯示設(shè)備140的解碼視頻信號210。
在本發(fā)明的實施例中,所述一個或多個圖形層流202包括與多個表示選項 (presentation叩tion)有關(guān)的數(shù)據(jù),例如,用于與基本視頻層流200組合以提 升用戶體驗的圖形重疊、交錯或非交錯等相關(guān)的數(shù)據(jù)。用戶偏好204選擇所述 多個表示選項中的至少一個,并且其中,視頻解碼器208將選定的表示選項應(yīng) 用在解碼視頻信號210中。
例如,來自天氣頻道的基本視頻層流200包括該頻道的基本視頻節(jié)目。此 外,該基本視頻層流200會與一個或多個附加圖形視頻層202—起傳輸,所述附加圖形視頻層可包含當(dāng)?shù)販囟?、?dāng)?shù)仡A(yù)測數(shù)據(jù)等附加天氣信息,并且基于選 定的表示選項以不同格式進行顯示。進一步,所述一個或多個圖形視頻層202 可包含非天氣相關(guān)數(shù)據(jù),例如賽事比分、財經(jīng)消息,比如股市實時或準實時信 息、或者其它財經(jīng)新聞或爆炸性新聞。這些數(shù)據(jù)的顯示是可選擇的,通過用戶
偏好設(shè)置204將這些數(shù)據(jù)以選定的格式、字體、色彩方案顯示在屏幕的特定區(qū) 域中。
在本發(fā)明的實施例中,基本視頻層流200以及至少一個圖形層流是與視頻 節(jié)目例如電影、電視節(jié)目相對應(yīng)的。視頻解碼器208在視頻節(jié)目第一次解碼完 成之后便會將用戶偏好設(shè)置204存儲起來,并且在隨后視頻節(jié)目進行第二次解 碼時自動應(yīng)用所述表示選項。因此, 一旦對于具體的視頻流選定了一組用戶偏 好設(shè)置204之后,當(dāng)以后每次瀏覽該視頻節(jié)目時,與該用戶偏好設(shè)置204相關(guān) 的表示選項便會自動啟用,除非已經(jīng)刪除或者取消。
進一步,當(dāng)另一個包含一個或多個相同表示選項的視頻節(jié)目進行解碼時, 還可將用戶偏好設(shè)置204用于選擇表示選項。例如,如果用戶選擇了他在看橄 欖球比賽時在屏幕右上方顯示比分,那么當(dāng)帶有包含有此種表示選項的圖形視 頻層的籃球節(jié)目傳送過來時,視頻解碼器208便會自動基于存儲的用戶偏好設(shè) 置204啟用此選項,除非用戶清除或者取消了該選項。
類似地,用戶可以選擇關(guān)閉所有圖形層,或者開啟所有圖形層,例如在每 個節(jié)目上基于具體用戶偏好設(shè)置204的選擇加上比分信息、天氣信息、新聞信 息等節(jié)目具體圖層。例如,當(dāng)用戶偏好設(shè)置204為第一數(shù)值時,視頻解碼器 208可以僅僅根據(jù)基本視頻層流200生成解碼視頻信號210,而無需任何圖形 層流202。進一步,當(dāng)用戶偏好設(shè)置204為第二數(shù)值時,視頻解碼模塊208能 夠根據(jù)基本視頻層流200以及一部分或全部圖形層流202生成解碼視頻信號 210。
在運行中,視頻解碼器208將基本視頻層流200與一個或多個圖形層流 204同步并合并,并將同步流解碼得到解碼視頻信號210。需要注意的是,用 戶界面模塊206能夠在視頻處理設(shè)備的設(shè)置過程中或者在包含用戶偏好設(shè)置 所要求的具體基本視頻層流200以及一個或多個圖形層流202的解碼視頻信號210的生成過程中接收用戶偏好設(shè)置204。
需要注意的是,基本視頻層流200以及一個或多個圖形層流202為獨立視 頻層流132以及一個或多個非獨立視頻層流134提供了額外的例子,并且圖 1 6中所述的本發(fā)明的許多功能與特性都能用在此處所述的視頻分層技術(shù)中。
視頻解碼器208可采用硬件、軟件或固件的形式。在具體實施例中,視頻 解碼器208可采用一個或多個處理器、微控制器、數(shù)字信號處理器、微型計算 機、中央處理單元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、 模擬電路、數(shù)字電路、和/或任何能夠根據(jù)存儲在存儲模塊內(nèi)的運行指令對信 號(模擬信號/數(shù)字信號)進行操作的設(shè)備。當(dāng)視頻解碼器208通過兩個或多 個設(shè)備一起實現(xiàn)時,每個設(shè)備都會執(zhí)行相同的步驟、流程或者功能來提供適當(dāng) 的容錯性以及冗余性。此外,視頻解碼器208執(zhí)行的功能、步驟及流程可以劃 分到不同設(shè)備之間,以便提供更高的計算速度和/或計算效率。相關(guān)聯(lián)的存儲 模塊可以是單個存儲設(shè)備或者多個存儲設(shè)備。此種存儲設(shè)備可以是只讀存儲存 儲器、隨機存取存儲器、易失性存儲器、非易失性存儲器、靜態(tài)隨機存取存儲 器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、閃存、緩存、和/或任何用于 存儲數(shù)字信息的存儲設(shè)備。需要注意的是,當(dāng)視頻解碼器208通過狀態(tài)機、模 擬電路、數(shù)字電路、和/或邏輯電路執(zhí)行一項或多項功能時,存儲有相應(yīng)運行 指令的存儲模塊可以嵌入到包含有所述狀態(tài)機、模擬電路、數(shù)字電路、和/或 邏輯電路的電路中,或者與該電路外接。
圖17是本發(fā)明一實施例中圖形顯示的示意圖。具體來說,基本視頻顯示 220表示移動視頻設(shè)備110/視頻設(shè)備112通過將基本視頻層流200進行解碼得 到的顯示結(jié)果。帶有增強的圖形重疊的基本視頻222是對同一基本視頻層流 200與包含多個表示選項(例如用于顯示天氣,例如溫度)的圖形層流一起進 行解碼而得到的顯示結(jié)果。在示例222中,用戶將用于偏好設(shè)置204設(shè)置為將 當(dāng)前氣溫以攝氏度為單位顯示在顯示器屏幕底端的橫條中,此項設(shè)置既可以在 移動視頻設(shè)備110/視頻設(shè)備112初始化過程中進行,也可以是根據(jù)用戶的默認 偏好設(shè)置來實現(xiàn)。在本發(fā)明的實施例中,無論移動視頻設(shè)備110/視頻設(shè)備112 的用戶何時觀看該視頻節(jié)目或頻道,此表示選項都會自動啟用。此外,無論移動視頻設(shè)備110/視頻設(shè)備112的用戶何時觀看另一在伴隨的圖形層流中包含有 此表示選項的視頻節(jié)目或者頻道,此表示選項都會自動啟用。
圖18是本發(fā)明另一實施例中圖形顯示的示意圖。具體來說,帶有增強圖
形重疊的基本視頻222,是對同一基本視頻層流200與包含多個用于顯示天氣
信息例如氣溫的表示選項的圖形層流一起進行解碼得到的顯示結(jié)果。在示例 222,中,用戶已經(jīng)將用戶偏好設(shè)置204設(shè)置成在播放基本視頻220的過程中將
當(dāng)前氣溫(或者修改當(dāng)前氣溫的顯示方式)以華氏度為單位顯示在顯示器屏幕 底端的橫條中。 一個或多個圖形層流202可選擇地包含有各種橫條配置值以及 不同格式的數(shù)據(jù)以供選擇來用于解碼。因此,當(dāng)?shù)貧鉁氐臄z氏溫度值以及華為 溫度值可包含在一個或多個圖形層流202中以供用戶進行選擇。
在圖18所示示例中,無論移動視頻設(shè)備110/視頻設(shè)備112的用戶何時觀 看該視頻節(jié)目或頻道,此表示選項都會自動啟用。此外,無論移動視頻設(shè)備 110/視頻設(shè)備112的用戶何時觀看另一在伴隨的圖形層流中包含有此表示選項 的視頻節(jié)目或者頻道,此表示選項都會自動啟用。
圖19是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1~18 中所描述的一個或多個功能及特性。在步驟400中,基于多個運動矢量將視頻 流編碼為獨立視頻層流以及第一非獨立視頻層流,其中,所述獨立視頻層流包 括與多個運動矢量相對應(yīng)的第一多個運動矢量數(shù)據(jù),所述第一多個運動矢量數(shù) 據(jù)代表了每個運動矢量的最高有效位,其中所述第一非獨立視頻層流包括與所 述多個運動矢量相對應(yīng)的第二多個運動矢量數(shù)據(jù),所述第二多個運動矢量數(shù)據(jù) 代表了每個運動矢量的最低有效位,并且,其中所述第一非獨立視頻層流不包 含所述第一多個運動矢量數(shù)據(jù)。
在本發(fā)明的實施例中,所述第一多個運動矢量數(shù)據(jù)包括每個運動矢量的整 數(shù)部分,并且所述第二多個運動矢量數(shù)據(jù)包括每個運動矢量的小數(shù)部分。對第 一非獨立視頻層流的解碼操作必須依賴于來自獨立視頻層流的數(shù)據(jù)進行。在步 驟400中,進一步將所述視頻流編碼為第二非獨立視頻層流,其中所述第二非 獨立視頻層流包括與所述多個運動矢量相對應(yīng)的第三多個運動矢量數(shù)據(jù),并且 所述第二非獨立視頻層流不包含所述第一多個運動矢量數(shù)據(jù)以及所述第二多個運動矢量數(shù)據(jù)。
圖20是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 19 中所描述的一個或多個功能及特性。在步驟405中,將視頻流編碼為獨立視頻 層流以及第一非獨立視頻層流,其中獨立視頻層流包括多個灰階數(shù)據(jù),而第一 非獨立視頻層流則包括多個色彩數(shù)據(jù),并且所述第一非獨立視頻層流并不包含 所述多個灰階數(shù)據(jù)。
在本發(fā)明的實施例中,獨立視頻層流也不包含所述多個色彩數(shù)據(jù)。對所述 第一非獨立視頻層流的解碼必須依賴于來自獨立視頻層流的數(shù)據(jù)才能進行。所 述灰階數(shù)據(jù)可包括亮度數(shù)據(jù),所述色彩數(shù)據(jù)可包括色度數(shù)據(jù)。
圖21是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 20
中所描述的一個或多個功能及特性。在步驟410中,確定相關(guān)設(shè)備及方法處于 第一模式還是第二模式。當(dāng)處于第一模式下時,流程進入步驟412,接收獨立 視頻層流以及第一非獨立視層流。在步驟414中,將獨立視頻層流與第一非獨 立視頻層流同步以形成同步流。在步驟416中,基于所述同步流生成重建的視 頻信號。
當(dāng)處于第二模式下時,流程進入步驟422,接收獨立視頻層流。在步驟426 中,僅僅基于所述獨立視頻層流而無需第一非獨立視頻層流來生成重建的視頻 信號。
圖22是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 ~21 中所描述的一個或多個功能及特性。在步驟420中,接收獨立視頻層流以及至 少一個非獨立視頻層流,其中所述非獨立視頻層流需要參照獨立視頻層流進行 解碼。在步驟422中,根據(jù)基于設(shè)備參數(shù)從該獨立視頻層流以及至少一個非獨 立視頻層流中選出的至少一個單獨視頻層流來生成解碼視頻信號。
在本發(fā)明的實施例中,設(shè)備參數(shù)包括設(shè)備分辨率。當(dāng)設(shè)備分辨率對應(yīng)于第 一分辨率時,可以選擇所述獨立視頻層流作為所述至少一個單獨視頻層流。當(dāng) 設(shè)備分辨率對應(yīng)于比所述第一分辨率高的第二分辨率時,可選擇獨立視頻層流 以及所述至少一個非獨立視頻層流的每一個作為所述至少一個單獨視頻層流。
進一步,設(shè)備參數(shù)還可包括遠程設(shè)備功率狀態(tài)。當(dāng)功率狀態(tài)對應(yīng)于第一功率狀態(tài)時,選擇獨立視頻層流作為所述至少一個單獨視頻層流。進一步,當(dāng)功 率狀態(tài)對應(yīng)于比所述第一功率狀態(tài)高的第二功率狀態(tài)時,選擇獨立視頻層流以 及每個非獨立視頻層流作為所述至少一個單獨視頻層流。同樣地,步驟422 包括將所述獨立視頻層流與至少一個非獨立視頻層流進行同歩。
圖23是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1~22 中所描述的一個或多個功能及特性。在步驟430中,將視頻信號通過至少一個 RF通訊信道傳送給遠程設(shè)備,其中,所述視頻信號作為選自獨立視頻層流以 及至少一個需要依賴所述獨立視頻層流進行解碼的非獨立視頻層流的至少一 個單獨視頻層流進行傳送。在步驟432中,確定所述至少一個RF信道的至少 一個信道屬性值。在步驟434中,基于所述至少一個RF信道的至少一個信道 屬性值來選擇出所述至少一個單獨視頻層流。
在本發(fā)明的實施例中,選擇所述至少一個單獨視頻層流包括當(dāng)所述至少 一個信道屬性值與閾值的比較結(jié)果不夠理想時,選擇獨立視頻層流作為所述至 少一個單獨視頻層流。進一步,當(dāng)所述至少一個信道屬性值與閾值的比較結(jié)果 足夠理想時,選擇獨立視頻層流以及所述至少一個非獨立視頻層流中的每一個 作為所述至少一個單獨視頻層流。此外,所述至少一個信道屬性值可以是接收 自遠程設(shè)備的信噪比、信號強度、位錯誤率、分組錯誤率、接收參數(shù)。
圖24是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 23 中所描述的一個或多個功能及特性。在步驟440中,基于至少一個信道屬性值 選擇傳輸參數(shù),其中傳輸視頻信號包括基于選定的傳輸參數(shù)對視頻信號進行傳 輸。
在本發(fā)明的實施例中,所述傳輸參數(shù)包括調(diào)制頻譜密度、數(shù)據(jù)率、和/ 或前向糾錯碼。所述至少一個單獨視頻層流為獨立視頻層流,其中所述至少一
個RF信道包括多個MIMO信道,并且傳輸參數(shù)包括用于傳輸所述獨立視頻層 流所選定的所述多個MIMO信道。步驟440包括進一步基于所述選定的至少 一個單獨視頻層流來選擇傳輸參數(shù)。
圖25是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 24 中所描述的一個或多個功能及特性。在步驟450中,接收來自遠程設(shè)備的設(shè)備參數(shù)。在步驟452中,將視頻信號傳送給遠程設(shè)備,其中所述視頻信號作為選 自獨立視頻層流以及至少一個需要依賴所屬獨立視頻層流進行解碼的非獨立
視頻層流的至少一個單獨視頻層流進行傳送。在步驟454中,基于設(shè)備參數(shù), 選擇所述至少一個單獨視頻層流。
在本發(fā)明的實施例中,設(shè)備參數(shù)包括設(shè)備分辨率。在步驟454中,當(dāng)設(shè)備 分辨率對應(yīng)于第一分辨率時,選擇獨立視頻層流作為該至少一個單獨視頻流。 在步驟454中,當(dāng)設(shè)備分辨率對應(yīng)于比所述第一分辨率高的第二分辨率時,選 擇獨立視頻層流以及所述至少一個非獨立視頻層流的每一個作為所述至少一 個單獨視頻流。
在本發(fā)明的實施例中,設(shè)備參數(shù)包括遠程設(shè)備的功率狀態(tài)。在步驟454 中,當(dāng)設(shè)備功率狀態(tài)對應(yīng)于第一功率狀態(tài)時,選擇獨立視頻層流作為所述至少 一個單獨視頻流。在步驟454中,當(dāng)設(shè)備功率狀態(tài)對應(yīng)于比所述第一功率狀態(tài) 高的第二功率狀態(tài)時,選擇獨立視頻層流以及所述至少一個非獨立視頻層流的 每一個作為所述至少一個單獨視頻流。
圖26是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1~25 中所描述的一個或多個功能及特性。在步驟460中,通過基于設(shè)備參數(shù)的代碼 轉(zhuǎn)換生成至少一部分視頻信號。
圖27是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 26 中所描述的一個或多個功能及特性。在步驟470中,將設(shè)備參數(shù)傳送給遠程設(shè) 備。在步驟472中,通過至少一個RF通訊信道接收來自遠程設(shè)備的視頻信號, 其中所述視頻信號作為選自獨立視頻層流以及至少一個需要依賴所屬獨立視 頻層流進行解碼的非獨立視頻層流的至少一個單獨視頻層流進行傳送。
在本發(fā)明的實施例中,所述設(shè)備參數(shù)包括遠程設(shè)備的設(shè)備分辨率和/或功 率狀態(tài)。
圖28是本發(fā)明所述方法的步驟流程圖。具體地說,圖中所述方法用到了 圖1~27中所描述的一個或多個功能及特性。在步驟480中,接收獨立視頻層 流以及需要參照所述獨立視頻層流進行解碼的第一非獨立視頻層流。在步驟 482中,基于獨立視頻層流以及非獨立視頻層流中的至少一個生成代碼轉(zhuǎn)換視頻信號。
在本發(fā)明的實施例中,在處于第一運行模式下,步驟482包括將所述獨立 視頻層流與第一非獨立視頻層流同步并組合生成代碼轉(zhuǎn)換視頻信號。當(dāng)處于第
二運行模式下時,步驟482包括將獨立視頻層流以及第一非獨立視頻層流同步
及組合生成同步視頻信號,并進一步將該同步視頻信號通過代碼轉(zhuǎn)換生成所述
代碼轉(zhuǎn)換視頻信號。此外,在另一運行模式下,步驟482中僅僅利用獨立視頻 層流來生成所述代碼轉(zhuǎn)換視頻信號,無需非獨立視頻層流。在第三運行模式下, 步驟482通過將獨立視頻層流進行代碼轉(zhuǎn)換來生成所述代碼轉(zhuǎn)換視頻信號。
所述獨立視頻層流包括與多個運動矢量相對應(yīng)的第一多個運動矢量數(shù)據(jù), 所述第一多個運動矢量數(shù)據(jù)代表了每個運動矢量的最高有效位,其中,所述第 一非獨立視頻層流包括與所述多個運動矢量相對應(yīng)的第二多個運動矢量數(shù)據(jù), 所述第二多個運動矢量數(shù)據(jù)代表了每個運動矢量的最低有效位,并且,其中所 述第一非獨立視頻層流不包括所述第一多個運動矢量數(shù)據(jù)。
所述獨立視頻層流包括多個灰階數(shù)據(jù),而所述第一非獨立視頻層流則包括 多個色彩數(shù)據(jù),并且所述第一非獨立視頻層流并不包含所述多個灰階數(shù)據(jù)。
圖29是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 ~28 中所描述的一個或多個功能及特性,尤其是圖28中所述方法。在步驟490中, 接收到第二非獨立視頻層流,并且步驟482進一步基于所述第二非獨立視頻層 流進行。
圖30是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1~29 中所描述的一個或多個功能及特性。在步驟500中,將視頻流編碼為獨立視頻 層流以及需要參照所述獨立視頻層流進行解碼的第一非獨立視頻層流。在步驟 502中,對所述獨立視頻層流進行加擾生成經(jīng)加擾的獨立視頻層流,而并不對 第一非獨立視頻層流進行加擾。
在本發(fā)明的實施例中,步驟502包括對獨立視頻層流進行加密。步驟500 進一步包括將視頻流編碼為第二非獨立視頻層流,并且其中,在對獨立視頻層 流進行加擾的同時對第二非獨立視頻層流不進行加擾。所述獨立視頻層流包括 與多個運動矢量相對應(yīng)的第一多個運動矢量數(shù)據(jù),所述第一多個運動矢量數(shù)據(jù)
33代表了每個運動矢量的最高有效位,其中,所述第一非獨立視頻層流包括與所 述多個運動矢量相對應(yīng)的第二多個運動矢量數(shù)據(jù),所述第二多個運動矢量數(shù)據(jù) 代表了每個運動矢量的最低有效位,并且,其中所述第二視頻層流不包含所述 第一多個運動矢量數(shù)據(jù)。
所述獨立視頻層流可包括多個灰階數(shù)據(jù),而所述第一非獨立視頻層流則包 括多個色彩數(shù)據(jù),并且所述第二視頻層流并不包含所述多個灰階數(shù)據(jù)。
圖31是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 30 中所描述的一個或多個功能及特性,特別是圖30所示的方法。在步驟510中, 接收到經(jīng)加擾的獨立視頻層。在步驟512中,對所述經(jīng)加擾的獨立視頻層流進 行解擾,生成解擾后的獨立視頻層流。
圖32是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 31 中所描述的一個或多個功能及特性,尤其是圖31 32中所述方法。在步驟520 中,確定設(shè)備或方法處于第一運行模式還是第二運行模式。當(dāng)處于第一運行模 式下時,流程進入步驟522,接收解擾后的獨立視頻層流以及第一非獨立視頻 層流。在步驟524中,將所述解擾后的獨立視頻層流以及第一非獨立視頻層流 同步,形成同步流。在步驟526中,基于所述同步流生成重建的視頻信號。
當(dāng)處于第二運行模式時,流程進入步驟532,接收解擾后的獨立視頻層流。 在步驟536中,基于所述解擾后的獨立視頻層流生成重建的視頻信號。
圖33是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 32 中所描述的一個或多個功能及特性。在步驟540中,將視頻信號編碼成包含獨 立部分以及需要參照所述獨立部分進行解碼的非獨立部分的連續(xù)視頻流。在步 驟542中,對所述連續(xù)視頻流中的獨立視頻部分進行加擾而不會非獨立部分進 行加擾,從而生成加擾視頻流。
在本發(fā)明的實施例中,步驟542包括對所述獨立部分進行加密。所述獨立 部分包括該連續(xù)視頻流的多個I幀和/或所述連續(xù)視頻流的數(shù)字版權(quán)管理數(shù)據(jù)。 所述非獨立視頻部分可包括所述連續(xù)視頻流的多個B幀和/或多個P幀。
圖34是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 33 中所描述的一個或多個功能及特性,尤其是圖33所述方法。在步驟550中,通過對所述經(jīng)加擾的獨立部分進行解擾來生成解擾視頻流。步驟550包括將所 述加擾視頻流中的經(jīng)加擾的獨立部分分離出來,根據(jù)所述經(jīng)加擾的獨立部分成 成解擾后的獨立部分,并且通過將所述解擾后獨立部分與非獨立部分同步來生 成解擾視頻流。
圖35是本發(fā)明方法的步驟流程圖。具體地說,圖中所述方法用到了圖1 34 中所描述的一個或多個功能及特性。在步驟560中,接收到至少一個用戶偏好 設(shè)置。在步驟562中,基于該至少一個用戶偏好設(shè)置,從基本視頻層流以及至 少一個圖形層流中生成解碼視頻信號。
在本發(fā)明的實施例中,所述至少一個圖形層流包括與多個表示選項相關(guān)的 數(shù)據(jù),其中,所述至少一個用戶偏好設(shè)置選定了多個表示選項中的至少一個, 并且生成所述解碼視頻信號的過程還包括將選定的表示選項應(yīng)用于所述解碼 視頻信號中?;疽曨l層流以及至少一個圖形層流是與視頻節(jié)目相對應(yīng)的。在 視頻節(jié)目第一次完成解碼之后便會將用戶偏好設(shè)置存儲起來,并且在隨后視頻 節(jié)目進行第二次解碼時自動應(yīng)用所述表示選項。所述基本視頻層流以及至少一 個圖形層流是與第一視頻節(jié)目相對應(yīng)的情況下,生成所述解碼視頻信號包括在 第一視頻節(jié)目解碼播放時將所述至少一個用戶偏好設(shè)置存儲起來,并且在對隨 后出現(xiàn)的包含有所述至少一個表示選項的第二視頻節(jié)目解碼時,自動啟動所述 表示選項。
步驟562包括當(dāng)用戶偏好設(shè)置為第一數(shù)值時,僅僅根據(jù)基本視頻層流生成 解碼視頻信號,而無需任何圖形層流。步驟562還包括當(dāng)用戶偏好設(shè)置為第二 數(shù)值時,根據(jù)基本視頻層流以及至少一個圖形層流生成解碼視頻信號。此外, 步驟562還包括將獨立視頻層流以及至少一個非獨立視頻層流進行同步與組 合,并對所述組合視頻流進行解碼。
步驟560包括在對視頻處理設(shè)備進行設(shè)置的過程中從遠程控制設(shè)備處接 收至少一個用戶偏好設(shè)置。所述基本視頻層流以及至少一個圖形層流對應(yīng)于視 頻節(jié)目,并且步驟560還包括在生成所述解碼視頻信號的過程中從遠程控制設(shè) 備接收至少一個用戶偏好設(shè)置。
本領(lǐng)域普通技術(shù)人員可以理解,術(shù)語"基本上"或"大約",正如這里可
35能用到的,對相應(yīng)的術(shù)語提供一種業(yè)內(nèi)可接受的公差。這種業(yè)內(nèi)可接受的公差 從小于1%到20%,并對應(yīng)于,但不限于,組件值、集成電路處理波動、溫度 波動、上升和下降時間和/或熱噪聲。本領(lǐng)域普通技術(shù)人員還可以理解,術(shù)語 "可操作地連接",正如這里可能用到的,包括通過另一個組件、元件、電路 或模塊直接連接和間接連接,其中對于間接連接,中間插入組件、元件、電路 或模塊并不改變信號的信息,但可以調(diào)整其電流電平、電壓電平和/或功率電 平。本領(lǐng)域普通技術(shù)人員可知,推斷連接(亦即, 一個元件根據(jù)推論連接到另 一個元件)包括兩個元件之間用相同于"可操作地連接"的方法直接和間接連 接。本領(lǐng)域普通技術(shù)人員還可知,術(shù)語"比較結(jié)果有利",正如這里可能用的, 指兩個或多個元件、項目、信號等之間的比較提供一個想要的關(guān)系。例如,當(dāng)
想要的關(guān)系是信號1具有大于信號2的振幅時,當(dāng)信號1的振幅大于信號2 的振幅或信號2的振幅小于信號1振幅時,可以得到有利的比較結(jié)果。
本發(fā)明通過借助方法步驟展示了本發(fā)明的特定功能及其關(guān)系。所述方法步 驟的范圍和順序是為了便于描述任意定義的。只要能夠執(zhí)行特定的功能和順 序,也可應(yīng)用其它界限和順序。任何所述或選的界限或順序因此落入本發(fā)明的 范圍和精神實質(zhì)。
本發(fā)明還借助功能模塊對某些重要的功能進行了描述。所述功能模塊的界 限和各種功能模塊的關(guān)系是為了便于描述任意定義的。只要能夠執(zhí)行特定的功 能,也可應(yīng)用其它的界限或關(guān)系。所述其它的界限或關(guān)系也因此落入本發(fā)明的 范圍和精神實質(zhì)。本領(lǐng)域普通技術(shù)人員還可知,本申請中的功能模塊和其它展 示性模塊和組件可實現(xiàn)為離散組件、專用集成電路、執(zhí)行恰當(dāng)軟件的處理器和 前述的任意組合。此外,盡管以上是通過一些實施例對本發(fā)明進行的描述,本 領(lǐng)域技術(shù)人員知悉,本發(fā)明不局限于這些實施例,在不脫離本發(fā)明的精神和范 圍的情況下,可以對這些特征和實施例進行各種改變或等效替換。本發(fā)明的保 護范圍僅由本申請的權(quán)利要求書來限定。
權(quán)利要求
1、一種視頻處理系統(tǒng),其特征在于,包括視頻編碼器,用于生成多個運動矢量,將視頻流編碼成獨立視頻層流和第一非獨立視頻層流;其中所述獨立視頻層流包括與多個運動矢量相對應(yīng)的第一多個運動矢量數(shù)據(jù),所述第一多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中每個運動矢量的多個最高有效位,其中所述第一非獨立視頻層流包括所述多個運動矢量相對應(yīng)的第二多個運動矢量數(shù)據(jù),所述第二多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中每一個運動矢量的多個最低有效位,且所述第一獨立視頻層流不包括第一多個運動矢量數(shù)據(jù)。
2、 根據(jù)權(quán)利要求1所述的視頻處理系統(tǒng),其特征在于,所述第一多個運 動矢量數(shù)據(jù)包括所述多個運動矢量中每個運動矢量的整數(shù)部分;且所述第二多 個運動矢量數(shù)據(jù)包括所述多個運動矢量中每個運動矢量的小數(shù)部分。
3、 根據(jù)權(quán)利要求1所述的視頻處理系統(tǒng),其特征在于,對所述第一非獨 立視頻層流的解碼取決于來自獨立視頻層流的數(shù)據(jù)。
4、 根據(jù)權(quán)利要求1所述的視頻處理系統(tǒng),其特征在于,所述視頻編碼器 進一步將視頻流編碼成第二非獨立視頻層流;且其中所述第二非獨立視頻層流 包括與所述多個運動矢量相對應(yīng)的第三多個運動矢量數(shù)據(jù),并且所述第二非獨 立視頻層流不包含第一多個運動矢量數(shù)據(jù)并且也不包含第二多個運動矢量數(shù) 據(jù)。
5、 根據(jù)權(quán)利要求1所述的視頻處理系統(tǒng),其特征在于,還包括 視頻解碼器,用于在第一運行模式下耦合以接收獨立視頻層流和第一非獨立視頻層流,以同步所述獨立視頻層流和第一非獨立視頻層流以形成同步流, 并基于該同步流生成重建的視頻信號。
6、 一種視頻處理系統(tǒng),其特征在于,包括視頻編碼器,用于將視頻流編碼成獨立視頻層流和第一非獨立視頻層流; 其中所述獨立視頻層流包括多個灰階數(shù)據(jù),而第一非獨立視頻層流則包括多個色彩數(shù)據(jù);并且所述第一非獨立視頻層流并不包含所述多個灰階數(shù)據(jù)。
7、 根據(jù)權(quán)利要求6所述的視頻處理系統(tǒng),其特征在于,所述獨立視頻層 流也不包含所述多個色彩數(shù)據(jù)。
8、 一種視頻處理方法,其特征在于,包括基于多個運動矢量將視頻流編碼成獨立視頻流層和第一非獨立視頻流層; 其中所述獨立視頻層流包括與多個運動矢量相對應(yīng)的第一多個運動矢量 數(shù)據(jù),所述第一多個運動矢量數(shù)據(jù)代表了所述多個運動矢量中每個運動矢量的 多個最高有效位;其中所述第一非獨立視頻層流包括所述多個運動矢量相對應(yīng) 的第二多個運動矢量數(shù)據(jù),所述第二多個運動矢量數(shù)據(jù)代表了所述多個運動矢 量中每一個運動矢量的多個最低有效位,且所述第一獨立視頻層流不包括第一 多個運動矢量數(shù)據(jù)。
9、 根據(jù)權(quán)利要求8所述方法,其特征在于,包括所述第一多個運動矢量數(shù)據(jù)包括所述多個運動矢量中每個運動矢量的整 數(shù)部分;且所述第二多個運動矢量數(shù)據(jù)包括所述多個運動矢量中每個運動矢量 的小數(shù)部分。
10、 一種視頻處理方法,其特征在于,包括 將視頻流編碼成獨立視頻層流和第一非獨立視頻層流; 其中所述獨立視頻層流包括多個灰階數(shù)據(jù),而第一非獨立視頻層流則包括多個色彩數(shù)據(jù);并且所述第一非獨立視頻層流并不包含所述多個灰階數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種視頻處理系統(tǒng)和方法,用于基于運動矢量和/或灰階和色彩數(shù)據(jù)將視頻流編碼成獨立視頻層流和第一非獨立視頻層流。本發(fā)明還公開了一種視頻處理方法。視頻處理系統(tǒng)包括視頻編碼器,用于生成多個運動矢量,將視頻流編碼成獨立視頻層流和第一非獨立視頻層流;獨立視頻層流包括與多個運動矢量相對應(yīng)的第一多個運動矢量數(shù)據(jù),第一多個運動矢量數(shù)據(jù)代表了多個運動矢量中每個運動矢量的多個最高有效位,其中第一非獨立視頻層流包括多個運動矢量相對應(yīng)的第二多個運動矢量數(shù)據(jù),第二多個運動矢量數(shù)據(jù)代表了多個運動矢量中每一個運動矢量的多個最低有效位,且第一獨立視頻層流不包括第一多個運動矢量數(shù)據(jù)。
文檔編號H04N7/26GK101562746SQ20081019033
公開日2009年10月21日 申請日期2008年12月22日 優(yōu)先權(quán)日2007年12月20日
發(fā)明者吉漢·卡若古, 大衛(wèi)·羅斯曼, 托馬斯·J·奎格利, 斯蒂芬·E·戈丹, 邁克爾·達夫, 陳雪敏 申請人:美國博通公司