專利名稱：圖像信息傳輸系統(tǒng)和圖像信息傳輸方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信息傳輸系統(tǒng)、圖像信息發(fā)送裝置、圖像信息接收裝置、 圖像信息傳輸方法、圖像信息發(fā)送方法和圖像信息接收方法。更具體地，本 發(fā)明涉及被構(gòu)建用于在圖像信息發(fā)送裝置和圖像信息接收裝置之間傳輸圖像 信息的圖像信息傳輸系統(tǒng)、組成該圖像傳輸系統(tǒng)的圖像信息發(fā)送裝置和圖像 信息接收裝置、以及該系統(tǒng)和裝置中所采用的圖像信息傳輸方法、圖像信息 發(fā)送方法和圖像信息接收方法。
背景技術(shù)：
已經(jīng)有通過電纜將被配置為將視頻和音頻信號輸出到諸如視頻盒記錄器
的外部裝置的AV (音頻視覺)輸出裝置的視頻信號輸出端與諸如電視接收機(jī) 的具有圖像顯示功能的圖像顯示裝置的視頻和音頻輸入/輸出端連接而構(gòu)建 的可用的音頻視覺(AV)系統(tǒng)。在這種AV系統(tǒng)中，將從^L頻輸出裝置輸出 的視頻內(nèi)容的視頻和音頻信號輸入到圖像顯示裝置，以再現(xiàn)圖像和聲音。
在許多AV輸出裝置中，也可以以與視頻內(nèi)容的視頻信號的輸出相似的 方式從視頻輸出端輸出為圖形用戶界面(GUI)生成的圖形圖像(GUI圖像) 的視頻信號?？梢栽趫D像顯示裝置上顯示用于視頻輸出裝置的GUI圖像。瀏 覽所顯示的GUI圖像的用戶可操作與視頻輸出裝置一起使用的遙控器、安裝 在視頻輸出裝置的主體上的處理機(jī)(handler)等等。
最近，已經(jīng)使用并提出了通過網(wǎng)絡(luò)來連接視頻和音頻裝置而不是通過AV 輸入/輸出端來連接裝置而構(gòu)建的AV系統(tǒng)。這種AV系統(tǒng)被設(shè)計用于家庭網(wǎng) 絡(luò)中的碎見頻和音頻應(yīng)用，并且也稱作AV家庭網(wǎng)絡(luò)。
例如，通過網(wǎng)絡(luò)連接組成上述AV系統(tǒng)的視頻輸出裝置和圖像顯示裝置， 以建立AV家庭網(wǎng)絡(luò)。與上述AV系統(tǒng)類似，用于將操作輸入到視頻輸出裝置 的一種最常見類型的用戶界面是在圖像顯示裝置上顯示通過視頻輸出裝置 所生成的GUI圖像，并且用戶在該GUI圖像上操作以控制視頻裝置。
在這種情況下，通過網(wǎng)絡(luò)通信，將GUI圖像的視頻信號從視頻輸出裝置
發(fā)送到圖像顯示裝置，并且圖像顯示裝置顯示所接收的視頻信號(例如，見
曰本未審查專利申請公開No.2006-129103 )。

發(fā)明內(nèi)容
例如，將GUI圖像的視頻信號從第一裝置發(fā)送到第二裝置，并且在第二 裝置上顯示視頻信號，其中第一和第二裝置通過網(wǎng)絡(luò)相連。在這種情況下， 期望實現(xiàn)流暢的GUI操作，而避免GUI圖像中所包含的圖像響應(yīng)于操作的轉(zhuǎn) 換或變化的任何延遲，這可能是因為通過網(wǎng)絡(luò)發(fā)送GUI圖像的視頻信號所用 的協(xié)議而引起的。
根據(jù)本發(fā)明的實施例，提供了包括圖像信息發(fā)送裝置和圖像信息接收裝 置的圖像信息傳輸系統(tǒng)。
圖像信息發(fā)送裝置包括以下元件。圖像數(shù)據(jù)獲取部件獲取經(jīng)歷了包括雙 向預(yù)測編碼處理的預(yù)定壓縮編碼處理的主圖像傳輸數(shù)據(jù)，作為用于發(fā)送主圖 像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的內(nèi)容的運動 圖像的視頻信號。圖像數(shù)據(jù)生成部件生成副圖像傳輸數(shù)據(jù)，該副圖像傳輸數(shù) 據(jù)是用于發(fā)送在與顯示主圖像的屏幕相同的屏幕上將要顯示的副圖像的傳輸 數(shù)據(jù)，并且該副圖像傳輸數(shù)據(jù)由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成， 壓縮靜止圖像數(shù)據(jù)具有代表用作圖形用戶界面的圖形用戶界面圖像的圖像內(nèi) 容，并且是與該圖形用戶界面圖像的 一 幀對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)， 連續(xù)性指令信息是指示這樣一種時期的重要信息在該時期中與壓縮靜止圖 像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)。發(fā)送部件通過預(yù)定的網(wǎng)絡(luò)通信鏈路 將主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)發(fā)送到圖像信息接收裝置。
圖像信息接收裝置包括以下元件。接收部件接收通過網(wǎng)絡(luò)通信鏈路發(fā)送 的主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)。第一解碼部件在由接收部件接收的主 圖像傳輸數(shù)據(jù)上進(jìn)行與壓縮編碼處理對應(yīng)的解碼處理，以獲取主圖像視頻信 號。第二解碼部件使用形成由接收部件接收的副圖像傳輸數(shù)據(jù)的壓縮靜止圖
像數(shù)據(jù)和連續(xù)性指令信息進(jìn)行解碼處理，以生成副圖像視頻信號，該副圖像 視頻信號是副圖像的視頻信號。視頻信號輸出部件將由第一解碼部件獲取的 主圖像視頻信號和由第二解碼部件獲取的副圖像視頻信號組合，以獲取組合 視頻信號，并以可以被用于顯示圖像的形式輸出該組合視頻信號。
根據(jù)本發(fā)明的另一實施例，提供了包括以下元件的圖像信息發(fā)送裝置。
主圖像傳輸數(shù)據(jù)，作為用于發(fā)送主圖像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻 信號是具有代表主圖像的內(nèi)容的運動圖像的視頻信號。圖像數(shù)據(jù)生成部件生 成副圖像傳輸數(shù)據(jù)，該副圖像傳輸數(shù)據(jù)是用于發(fā)送在與顯示主圖像的屏幕相 同的屏幕上將要顯示的副圖像的傳輸數(shù)據(jù)，并且該副圖像傳輸數(shù)據(jù)由壓縮靜 止圖像數(shù)據(jù)和連續(xù)性指令信息形成，壓縮靜止圖像數(shù)據(jù)具有代表用作圖形用 戶界面的圖形用戶界面圖像的圖像內(nèi)容，并且是與圖形用戶界面圖像的一幀 對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，連續(xù)性指令信息是指示這樣一種時期的重
要信息在該時期中與壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)。
發(fā)送部件通過預(yù)定的網(wǎng)絡(luò)通信鏈路將所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù) 發(fā)送到與該網(wǎng)絡(luò)通信鏈路連接的圖像信息接收裝置，圖像信息接收裝置被配 置為接收并解碼主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，以將解碼的主圖像傳輸 數(shù)據(jù)和解碼的副圖像傳輸數(shù)據(jù)組合，以獲取組合圖像數(shù)據(jù)，并輸出該組合圖 像數(shù)據(jù)。
根據(jù)本發(fā)明的另一實施例，提供了包括以下元件的圖像信息接收裝置。 接收部件接收由圖像信息發(fā)送裝置生成并通過預(yù)定的網(wǎng)絡(luò)通信鏈路發(fā)送的主 圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，該主圖像傳輸數(shù)據(jù)是用于發(fā)送主圖像視頻 信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的內(nèi)容的運動圖像的
編碼處理的數(shù)據(jù)，副圖像傳輸數(shù)據(jù)是用于發(fā)送在與顯示主圖像的屏幕相同的 屏幕上將要顯示的副圖像的傳輸數(shù)據(jù)，并且該副圖像傳輸數(shù)據(jù)由壓縮靜止圖 像數(shù)據(jù)和連續(xù)性指令信息形成，壓縮靜止圖像數(shù)據(jù)具有代表用于圖形用戶界 面的圖形用戶界面圖像的圖像內(nèi)容，并且是與圖形用戶界面圖像的一幀對應(yīng) 的壓縮編碼的靜止圖像數(shù)據(jù)，連續(xù)性指令信息是指示這樣一種時期的重要信
息在該時期中與壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)。第一 解碼部件在由接收部件所接收的主圖像傳輸數(shù)據(jù)上進(jìn)行與壓縮編碼處理對應(yīng)
的解碼處理，以獲取主圖像視頻信號。第二解碼部件使用形成由接收部件所 接收的副圖像傳輸數(shù)據(jù)的壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息來進(jìn)行解碼處 理，以生成副圖像視頻信號，該副圖像視頻信號是所述副圖像的視頻信號。 視頻信號輸出部件將由第 一解碼部件所獲取的主圖像視頻信號和由第二解碼 部件所獲取的副圖像視頻信號組合，以獲取組合視頻信號，并以可以被用于
顯示圖像的形式輸出該組合視頻信號。
根據(jù)上述實施例，首先，圖像信息發(fā)送裝置被配置為生成代表GUI圖像 的副圖像傳輸數(shù)據(jù)，其中要在與顯示基于與主圖像對應(yīng)的主圖像傳輸數(shù)據(jù)生
成的主圖像的屏幕相同的屏幕上顯示該GUI圖像，該主圖像是運動圖像。主 圖像傳輸數(shù)據(jù)經(jīng)歷了包括雙向預(yù)測編碼處理的壓縮編碼處理。副圖像傳輸數(shù) 據(jù)包括壓縮靜止圖像數(shù)據(jù)，其是與GUI圖像的一幀對應(yīng)的壓縮編碼的靜止 圖像數(shù)據(jù)；以及指示這樣一種時期的信息在該時期中，與由壓縮靜止圖像 數(shù)據(jù)指定的圖像相同的圖像連續(xù)。通過網(wǎng)絡(luò)通信鏈路將主圖像傳輸數(shù)據(jù)和副 圖像傳輸數(shù)據(jù)發(fā)送到圖像信息接收裝置。
圖像信息接收裝置被配置為接收所發(fā)送的主圖像傳輸數(shù)據(jù)和副圖像傳輸 數(shù)據(jù)，以將主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)解碼成以可用于圖像顯示的形 式的視頻信號(主圖像視頻信號和副圖像視頻信號)，以組合這些視頻信號， 并輸出得到的組合視頻信號。
采用這種結(jié)構(gòu)，經(jīng)歷了包括雙向預(yù)測編碼處理的壓縮編碼處理的數(shù)據(jù)確 ?？梢愿哔|(zhì)量再現(xiàn)作為主圖像的運動圖像。另一方面，按以下方式再現(xiàn)作為 GUI圖像的副圖像。展開副圖像傳輸數(shù)據(jù)中的壓縮靜止圖像數(shù)據(jù)，以獲取與 一幀(頓畫面)對應(yīng)的視頻信號，并且配置視頻信號以使得幀畫面在由連續(xù) 性指令信息指定的時期內(nèi)連續(xù)，由此生成副圖像視頻信號。與壓縮編碼以包 括雙向預(yù)測編碼圖像的視頻信號的解碼相比，將副圖像傳輸數(shù)據(jù)解碼成副圖 像視頻信號可以顯著降低用于解碼的視頻信號數(shù)據(jù)輸入和輸出的延遲時間。
從而，降低了在用于生成副圖像的解碼處理中的輸入和輸出階段的延遲 時間，由此降低了當(dāng)響應(yīng)于在GUI圖像上所進(jìn)行的操作來切換作為副圖像而 實際顯示的GUI圖像的內(nèi)容時的時間延遲。因此，用戶可以更容易操作GUI 圖像，并且可以改善使用的容易性。


圖1是示出根據(jù)本發(fā)明的實施例的AV家庭網(wǎng)絡(luò)的示例結(jié)構(gòu)的圖2是示意性示出通過網(wǎng)絡(luò)發(fā)送GUI圖像的典型內(nèi)部處理過程的示例的
圖3是示意性示出在從運動圖像壓縮編碼處理到解碼處理的時期期間、 圖2中所示的組合視頻信號(通過組合源圖形信號和源視頻信號所獲得的信
號)的處理時序的示例的圖4是示意性示出根據(jù)實施例的通過網(wǎng)絡(luò)從視頻裝置發(fā)送視頻內(nèi)容和 GUI圖像的內(nèi)部處理過程的示例的圖5是示意性示出當(dāng)電視接收機(jī)解碼通過圖4所示的過程而編碼的GUI 圖像的數(shù)據(jù)時的處理時序的示例的圖6是示出根據(jù)實施例的視頻裝置的示例結(jié)構(gòu)的圖；以及
圖7是示出根據(jù)實施例的電視接收機(jī)的示例結(jié)構(gòu)的圖。
具體實施例方式
下面，將通過例子，在系統(tǒng)用作視頻和音頻應(yīng)用的家庭網(wǎng)絡(luò)(AV家庭網(wǎng) 絡(luò))的情況下描述本發(fā)明的實施例。構(gòu)建系統(tǒng)以便可以通過家庭網(wǎng)絡(luò)發(fā)送和 接收視頻內(nèi)容(和音頻內(nèi)容)。
圖1示出根據(jù)本發(fā)明的AV家庭網(wǎng)絡(luò)的示例結(jié)構(gòu)。在圖1所示的示例中， 通過網(wǎng)絡(luò)線路(網(wǎng)絡(luò)通信鏈路)3連接視頻裝置1和電視接收機(jī)2。
例如，視頻裝置1包括能夠接收預(yù)定廣播載波(指示諸如陸地波、衛(wèi)星 廣播波(例如，廣播衛(wèi)星(BS)波和通信衛(wèi)星(CS)波)、和電纜電視(CATV)廣播 波之類的不同廣播波(廣播信號)，或在相同的廣播波上的不同載波服務(wù)或平 臺等等)的廣播的調(diào)諧器和兼容預(yù)定介質(zhì)(存儲介質(zhì))的驅(qū)動器，并具有程 序記錄功能。也就是，調(diào)諧器接收并解調(diào)視頻內(nèi)容(廣播內(nèi)容)，并且使用驅(qū) 動器將經(jīng)解調(diào)的內(nèi)容寫入并存儲在介質(zhì)中。例如，視頻裝置1可以具有預(yù)訂 記錄功能以及程序記錄功能等等。
視頻裝置1還具有網(wǎng)絡(luò)通信功能，以響應(yīng)于通過例如網(wǎng)絡(luò)所發(fā)送的視頻 內(nèi)容請求而再現(xiàn)被存儲在介質(zhì)中的視頻內(nèi)容的數(shù)據(jù)，并通過網(wǎng)絡(luò)通信鏈路3 將視頻內(nèi)容的數(shù)據(jù)發(fā)送到請求網(wǎng)絡(luò)終端。也可按相似的方式，將由視頻裝置 1的調(diào)諧器接收并解調(diào)的視頻內(nèi)容的數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)通信鏈路3上。
電視接收機(jī)2包括能夠接收預(yù)定廣播載波的廣播的調(diào)諧器。調(diào)諧器接收 并解調(diào)視頻內(nèi)容，并且將視頻信號和與視頻信號同步回放的音頻信號再現(xiàn)為 圖像和聲音?？梢越邮詹@得通過網(wǎng)絡(luò)線路3所發(fā)送的視頻內(nèi)容的數(shù)據(jù)，并 且可按相似的方式將視頻內(nèi)容的數(shù)據(jù)再現(xiàn)為圖像和聲音。
圖1示出了作為組成AV家庭網(wǎng)絡(luò)的裝置的視頻裝置1和電視接收機(jī)2， 它們是用于描述本發(fā)明的最低要求。在實際的AV家庭網(wǎng)絡(luò)中，除視頻裝置1
和電視接收機(jī)2之外，還可以連接其他可兼容網(wǎng)絡(luò)的AV裝置。
根據(jù)本實施例的視頻裝置1可以進(jìn)行圖形處理，以生成用于操作視頻裝
置1的GUI圖像的圖像數(shù)據(jù)，并且可將圖像數(shù)據(jù)輸出為視頻信號。根據(jù)本實 施例的視頻裝置1具有支持包括數(shù)據(jù)廣播的電視廣播的電視調(diào)諧器功能。因 此，視頻裝置1可以進(jìn)行圖形處理，以再現(xiàn)通過接收數(shù)據(jù)廣播而獲得的內(nèi)容 數(shù)據(jù)，來生成圖像數(shù)據(jù)，并且還可將圖像數(shù)據(jù)輸出為視頻信號。
下文中將用于操作視頻裝置1的GUI圖像稱作"自生成GUI圖像"，其 來源于視頻裝置1本身的GUI圖像的源信號的生成，并且在下文中將基于通 過數(shù)據(jù)廣播所發(fā)送的數(shù)據(jù)而顯示的圖像稱作"數(shù)據(jù)廣播GUI圖像"。由于以 諸如廣播置標(biāo)語言(BML)的置標(biāo)語言來編寫數(shù)據(jù)廣播內(nèi)容數(shù)據(jù)，所以可以配 置數(shù)據(jù)廣播內(nèi)容，使得響應(yīng)于在圖像上所進(jìn)行的操作而將預(yù)定變化施加到該 內(nèi)容中所包含的圖像上。也就是，實現(xiàn)了作為GUI圖像的功能。
在下文中，除非單獨標(biāo)識，將自生成GUI圖像和數(shù)據(jù)廣播GUI圖像簡稱 為GUI圖像(副圖像)。
在被發(fā)送到例如視頻內(nèi)容的相同的發(fā)送目的地的網(wǎng)絡(luò)終端之前，由視頻 裝置1生成的GUI圖像的視頻信號經(jīng)歷預(yù)定的壓縮編碼處理。
例如，在圖l所示的系統(tǒng)配置中，電視接收機(jī)2用作向視頻裝置1請求 視頻內(nèi)容的客戶機(jī)。例如，當(dāng)期望顯示GUI圖像時，視頻裝置l將GUI圖像 的視頻信號發(fā)送到電視接收機(jī)2。電視接收機(jī)2解碼所發(fā)送的GUI圖像的視 頻信號，并顯示圖像。
例如，在電視接收機(jī)2上顯示示出在視頻裝置1的介質(zhì)中存儲的視頻內(nèi) 容項的列表的圖像(視頻內(nèi)容列表圖像)，作為視頻裝置1的自生成GUI圖 像。在這種情況下，例如，如果用戶操作以改變對來自列表的期望視頻內(nèi)容 項的選擇，則根據(jù)該操作，指示當(dāng)前選擇的視頻內(nèi)容項的加亮區(qū)在電視接收 機(jī)2上所顯示的視頻內(nèi)容列表圖像上移動。
響應(yīng)于上述操作的加亮區(qū)的移動(GUI圖像的變化)是由視頻裝置1通 過生成新的視頻內(nèi)容列表圖像并通過網(wǎng)絡(luò)通信鏈路3發(fā)送該視頻內(nèi)容列表圖 像的視頻信號來實現(xiàn)的，其中在該新的視頻內(nèi)容列表圖像中，加亮區(qū)根據(jù)響 應(yīng)于用戶所進(jìn)行的操作而發(fā)出的操作指令信號而變化到期望的位置。電視接 收機(jī)2接收并顯示該視頻信號，使得在視覺上可感知到加亮區(qū)根據(jù)用戶改變 視頻內(nèi)容項的選擇的操作而在電視接收機(jī)2上顯示的視頻內(nèi)容列表圖像(GUI圖像)上移動。
當(dāng)用戶操作視頻裝置1以顯示特定數(shù)據(jù)廣播時，視頻裝置1再現(xiàn)由視頻 裝置1接收并存儲的數(shù)據(jù)廣播內(nèi)容的數(shù)據(jù)，以生成該數(shù)據(jù)廣播的圖像(數(shù)據(jù) 廣播GUI圖像)的視頻信號，并通過網(wǎng)絡(luò)通信鏈路3將該視頻信號發(fā)送到電
視接收機(jī)2。然后，在電視接收機(jī)2上顯示該數(shù)據(jù)廣播內(nèi)容的圖像。例如， 用戶在對數(shù)據(jù)廣播內(nèi)容進(jìn)行操作，并且視頻裝置1檢測用戶的操作。在這種 情況下，響應(yīng)于所檢測到的操作，視頻裝置1從當(dāng)前數(shù)據(jù)廣播內(nèi)容的視頻信 號的生成切換到將要顯示的數(shù)據(jù)廣播內(nèi)容的圖像的視頻信號的生成，并將所 生成的視頻信號發(fā)送到電視接收機(jī)2。在電視接收機(jī)2上，根據(jù)用戶的操作 切換并顯示該數(shù)據(jù)廣播內(nèi)容的圖像。
圖2示出了由視頻裝置1進(jìn)行以通過網(wǎng)絡(luò)通信鏈路3發(fā)送GUI圖像的典 型內(nèi)部處理過程的示例。
在圖2中，要發(fā)送的源信號包括源圖形信號和一對源視頻和音頻信號。
源圖形信號是由視頻裝置1所生成的GUI圖像的數(shù)據(jù)的視頻信號，并且 是沒被編碼用于傳輸?shù)幕鶐盘枴?br> 源視頻信號是形成由視頻裝置1從介質(zhì)再現(xiàn)的視頻內(nèi)容的未壓縮基帶視 頻信號，并且源音頻信號是要與視頻信號同步回放的基帶音頻信號。
在處理中，首先，將都被分類為視頻信號類型的源圖形信號和源視頻信 號組合成單個基帶視頻信號，然后使得該基帶視頻信號經(jīng)歷用于編碼運動圖 像的圖像壓縮編碼處理(運動圖像壓縮編碼處理)。
運動圖像壓縮編碼處理使用基于預(yù)測編碼(包括雙向預(yù)測編碼)的預(yù)定 方案，以實現(xiàn)運動圖像視頻信號的高質(zhì)量和高效率的壓縮編碼。運動圖像壓 縮編碼處理的現(xiàn)有示例包括MPEG-2 (運動畫面專家組階段2)、 MPEG-4、 H.264和AVCHD (高級視頻編碼高清晰標(biāo)準(zhǔn))等。在此實施例中，作為示例， 使用MPEG-2。在MPEG-2中，將作為幀內(nèi)編碼畫面的內(nèi)畫面(I-畫面)、作 為前向預(yù)測編碼畫面的預(yù)測畫面(P-畫面)、作為7又向預(yù)測編碼畫面的雙向預(yù) 測畫面(B-畫面)定義為編石馬畫面。
源音頻信號經(jīng)過音頻壓縮編碼處理。例如，音頻壓縮編碼處理使用在應(yīng) 用格式下定義的、與上述視頻信號的運動圖像壓縮編碼方案對應(yīng)的方案。
因此，獲得了基于源圖形信號和源視頻信號的經(jīng)壓縮編碼的視頻信號(壓 縮視頻信號)和基于源音頻信號的經(jīng)壓縮編碼的音頻信號(壓縮音頻信號)。
例如，壓縮視頻信號和壓縮音頻信號經(jīng)過時分復(fù)用處理，以生成其中復(fù)用了 視頻和音頻信號的傳輸內(nèi)容數(shù)據(jù)(傳輸數(shù)據(jù))。根據(jù)網(wǎng)絡(luò)通信鏈路3所支持的 協(xié)議，將傳輸數(shù)據(jù)發(fā)送到客戶機(jī)網(wǎng)絡(luò)終端(電視接收機(jī)2)。
例如，作為客戶機(jī)的電視接收機(jī)2通過網(wǎng)絡(luò)通信鏈路3接收并獲得以上 述方式發(fā)送的傳輸數(shù)據(jù)，并將其分離成壓縮音頻信號和壓縮視頻信號。使用 與運動圖像壓縮編碼方案對應(yīng)的解碼方案來解碼壓縮音頻信號，以獲得基帶 視頻信號，并基于該視頻信號顯示圖像。因此，例如，在電視接收機(jī)2的顯 示屏幕上，顯示由視頻裝置1再現(xiàn)的視頻內(nèi)容或通過使用視頻裝置1的調(diào)諧 器接收電視廣播而獲得的視頻內(nèi)容的圖像，并且，如果有必要，顯示在其中 GUI圖像被疊加在視頻內(nèi)容的圖像上的圖像。
但是，圖2中所示的視頻裝置1的內(nèi)部處理過程可能具有關(guān)于GUI圖像 的操作容易度的問題。將參考圖3討論該問題。
圖3示出了圖2中所示的組合視頻信號(通過將源圖形信號和源視頻信 號組合而獲得的信號)從運動圖像壓縮編碼處理到解碼處理的時序的示例。 應(yīng)注意的是，運動圖^象壓縮編碼處理^吏用MPEG-2。 I-畫面或P-畫面的出現(xiàn)周 期是三個畫面。也就是，卩吏用在I-畫面和P-畫面之間或在P-畫面之間插入兩 個B-畫面的畫面纟莫式。
首先，圖3的部分(a)示出了視頻裝置1通過組合源圖形信號和源視頻信 號而獲得的基帶組合視頻信號。通過連續(xù)幀畫面Fl到F9的序列，示意性示 出組合視頻信號。圖3的部分(b)示出了當(dāng)對該組合視頻信號進(jìn)行運動圖像壓 縮編碼處理時與幀畫面的lt據(jù)單元對應(yīng)的編碼畫面。即，幀畫面F1、 F2、 F3、 F4、 F5、 F6、 F7、 F8和F9分別對應(yīng)于I-畫面II、 B-畫面Bl、 B-畫面B2、 P-畫面P1、 B-畫面B3、 B-畫面B4、 P-畫面P2、 B-畫面B5和B-畫面B6。
圖3的部分(c)示出了在圖3的部分(a)所示的幀畫面和圖3的部分(b)所示 的畫面之間的對應(yīng)關(guān)系之下的運動圖像壓縮編碼處理中的編碼過程的示例。
首先，I-畫面II是通過僅編碼頓畫面Fl而獲得的畫面。因此，如圖3的 部分(c)所示，在作為最早可能編碼時間的、幀畫面Fl的時期之后的幀時期(幀 畫面F2的時期)中獲得I-畫面II 。
隨后，在運動圖像壓縮編碼過程中，通過編碼巾貞畫面F2到F4,生成B-畫面Bl和B2以及P-畫面Pl的編碼畫面。通過參考之前的I-畫面II和后面 的P-畫面Pl,編碼每個B-畫面Bl和B2。因此，在I-畫面II之后編碼P-畫面P1。由于P-畫面Pl對應(yīng)于幀畫面F4,所以在作為最早可能編碼時間的幀
畫面F5的幀時期中生成P-畫面Pl,其中幀畫面F5的幀時期是在幀畫面F4 之后的幀時期。通過使用I-畫面II進(jìn)行前向預(yù)測編碼生成P-畫面Pl。在以上 述方式生成P-畫面Pl之后，通過卩吏用P-畫面Pl和I-畫面II進(jìn)行雙向預(yù)測編 碼生成B-畫面Bl和B2。因此，與P-畫面Pl —樣，獲得B-畫面Bl和B2 的最早時間也是幀畫面F5的幀時期。
然后，編碼B-畫面B3和B4以及P-畫面P2。通過使用P-畫面Pl進(jìn)行 前向預(yù)測編碼而生成P-畫面P2,并通過使用P-畫面Pl和P2進(jìn)行雙向預(yù)測編 碼而生成B-畫面B3和B4。因此，在與幀畫面F8對應(yīng)的幀時期中獲得B-畫 面B3和B4以及P-畫面P2的圖像，其中幀畫面F8是跟隨在獲得了 B-畫面 Bl和B2以及P-畫面Pl的編；馬畫面的幀時期之后的三幀。
通過根據(jù)上述過程進(jìn)行編碼處理，在圖3的部分(c)所示的時間處獲得了 I-畫面、P-畫面和B-畫面的編石馬畫面。
當(dāng)在圖3的部分(c)所示的時間處獲得了編碼畫面時，在圖4的部分(d)所 示的時間處發(fā)送該編碼畫面(壓縮視頻信號)。
例如，參考圖3的部分(c)，雖然在幀畫面F2的時間處獲得I-畫面II，但 在幀畫面F5的時間處生成要接下來發(fā)送的P-畫面Pl,該幀畫面F5是I-畫面 Il之后的三幀。因此，在對應(yīng)于幀畫面F4的幀時期中發(fā)送I-畫面II的信號， 其中幀畫面F4是幀畫面F5之前的一幀，接著在對應(yīng)于幀畫面F5的幀時期中 發(fā)送P-畫面P1。在與幀畫面F6和F7對應(yīng)的幀時期中，依次發(fā)送B-畫面B1 和B2。在與幀畫面F8對應(yīng)的隨后的幀時期中，發(fā)送P-畫面P2，并在隨后的 幀時期中依次發(fā)送B-畫面B3和B4,其中，在每個幀時期中發(fā)送每個B-畫面 B3和B4。從而，根據(jù)解碼處理，通過按照與圖3的部分(a)和(b)中所示的幀 畫面相對應(yīng)的畫面的模式改變編碼畫面的順序，發(fā)送編碼畫面。
為了易于說明，假定沒有由于通過網(wǎng)絡(luò)通信鏈路3發(fā)送和接收數(shù)據(jù)而引 起的時間延遲。也就是，在圖3所示的示例中，電視接收機(jī)2在圖3的部分 (d)所示的時間處接收并輸入壓縮視頻信號作為傳輸數(shù)據(jù)。
如果電視接收機(jī)2在圖3的部分(d)所示的時間處獲得了壓縮視頻信號， 即，編碼畫面，則對這些編碼畫面進(jìn)行解碼。圖3的部分(e)示出了根據(jù)圖3 的部分(b)所示的編碼畫面的排列模式的、圖3的部分(a)所示的幀畫面的恢復(fù) (解調(diào))時序。
如圖3的部分(e)所示，解碼后，根據(jù)類似于圖3的部分(a)和(b)所示的、 幀畫面和編碼畫面之間的對應(yīng)關(guān)系模式而生成幀畫面。在這種情況下，例如， 可通過參考之前發(fā)送的I-畫面II和P-畫面Pl來恢復(fù)B-畫面Bl。因此，在例 如幀畫面F7的幀時期中完成使用B-畫面Bl的幀畫面解碼處理，其中幀畫面 F7是接收并獲得了 B-畫面Bl的幀畫面F6的幀時期之后的一幀。由于將對 應(yīng)于緊接在基于B-畫面Bl的幀畫面之前的幀來解碼I-畫面II，所以在幀畫 面F6的幀時期中輸出通過解碼I-畫面II而獲得的幀畫面，其中幀畫面F6是 緊接在幀畫面F7之前的一幀。以此方式，對組合視頻信號(通過組合源^L頻 信號和源圖形信號而獲得的信號)進(jìn)行運動圖像壓縮編碼處理和解碼處理。
再次參考圖3，在生成基帶幀畫面Fl的時間和完成幀畫面Fl的解碼的 時間之間出現(xiàn)了被表示為延遲時間td的時間延遲。從之前的描述中可以理解， 由于B-畫面的編碼處理和B-畫面的解碼處理，不可避免地出現(xiàn)延遲時間。
這種延遲在以下情況下是可以接受的例如，僅發(fā)送由視頻裝置1從介 質(zhì)中再現(xiàn)的視頻內(nèi)容或由調(diào)諧器接收的廣播內(nèi)容等的圖像的視頻信號(即， 源視頻信號)。
但是，如同此情況，如果將源視頻信號和源圖形信號組合為GUI圖像， 則延遲時間表現(xiàn)為對于在GUI圖像上所進(jìn)行的操作的延遲響應(yīng)時間。
作為示例，假定視頻裝置1響應(yīng)于檢測到輸入操作信號，在圖3所述的 幀畫面Fl的時間處生成與具有新的圖像內(nèi)容的GUI圖像對應(yīng)的圖形信號。 從之前的描述中可以理解，解碼并在電視接收機(jī)上顯示幀畫面Fl的最早時間 是幀畫面F6的時間。因此，如果用戶在與幀畫面Fl對應(yīng)的時間處在GUI圖 像上操作，那么由該操作引起的GUI圖像的變化出現(xiàn)在與幀畫面F6對應(yīng)的 時間處，其中幀畫面F6是幀畫面Fl之后的五幀。因此，用戶感覺GUI圖像 的變化對該操作的反應(yīng)很慢，并且受到阻礙。不幸的是，這給用戶帶來了用 戶不友好的印象。
本實施例提供了如下文所述的結(jié)構(gòu)，以克服可能由于通過網(wǎng)絡(luò)發(fā)送GUI 圖像而引起的、對在GUI圖像上所進(jìn)行的操作的延遲響應(yīng)。
首先，將參考圖4描述根據(jù)本實施例的由視頻裝置1執(zhí)行來通過網(wǎng)絡(luò)發(fā) 送視頻內(nèi)容和GUI圖像的內(nèi)部處理過程。
如在圖2所示的情況下，要發(fā)送的源信號包括與GUI圖像對應(yīng)的基帶源 圖形信號，以及與視頻內(nèi)容對應(yīng)的一對基帶源視頻信號和源音頻信號。在上 述圖2所示的示例中，對通過組合源視頻信號與源圖形信號而獲得的組合視 頻信號進(jìn)行運動圖像壓縮編碼處理。根據(jù)本發(fā)明的實施例，另一方面，僅對 源視頻信號進(jìn)行運動圖像壓縮編碼處理。通過運動圖像壓縮編碼處理而獲得 的壓縮視頻信號和通過對源音頻信號進(jìn)行音頻壓縮編碼處理而獲得的壓縮音
頻信號經(jīng)歷基于時分復(fù)用的復(fù)用處理。得到的復(fù)用數(shù)據(jù)包括形成視頻內(nèi)容的
視頻信號和音頻信號。與圖2所示的示例不同，不包括GUI圖像等的圖形信 號。通過網(wǎng)絡(luò)通信鏈路3，將得到的數(shù)據(jù)作為傳輸數(shù)據(jù)而發(fā)送到電視接收機(jī)2。
源圖形信號經(jīng)歷使用特定于圖形信號的算法的編碼處理，并通過網(wǎng)絡(luò)通 信鏈路3，將得到的編碼圖形數(shù)據(jù)作為與以上內(nèi)容數(shù)據(jù)分離的傳輸數(shù)據(jù)而發(fā) 送到電視接收機(jī)2。
因此，在本實施例中，對應(yīng)于GUI圖像(副圖像)的圖形信號不與對應(yīng) 于視頻內(nèi)容的圖像的視頻信號進(jìn)行組合，并且該圖形信號經(jīng)歷與用于傳輸?shù)?視頻信號的編碼處理不同的編碼處理。
下面將參考圖5描述用于編碼圖形數(shù)據(jù)的圖形特定編碼處理和解碼處理 的示例。
首先，在圖5的部分(a)中，由幀畫面示出具有代表GUI圖像的圖像內(nèi)容 的源圖形信號。示出9個連續(xù)的幀作為幀畫面Fl到F9。在這種情況下，GUI 圖像的內(nèi)容隨時間而改變，因此使用三個連續(xù)幀(幀畫面Fl到F3 )顯示GUI 圖像1，之后是使用兩個連續(xù)幀(圖像F4和F5)顯示的不同于GUI圖像1 的GUI圖像2，然后使用四個連續(xù)幀(幀畫面F6到F9)顯示不同于GUI圖 像1和2的GUI圖像3。
根據(jù)本實施例，在圖5的部分(a)所示的源圖形信號的幀畫面結(jié)構(gòu)中，以 圖5的部分(b)所示的方式進(jìn)行圖形特定編碼處理。首先，圖5的部分(a)所示 的頓畫面Fl經(jīng)歷用于編碼靜止圖像的預(yù)定壓縮編碼處理(靜止圖像壓縮編碼 處理)，以在例如幀畫面Fl之后的帕畫面F2的時間處生成具有GUI圖像的 圖像內(nèi)容的壓縮靜止圖像數(shù)據(jù)單元Gr 1 。
在幀畫面F2之后的幀畫面F3的時間處，確定幀畫面F2的圖^象內(nèi)容和幀 畫面F2之前的幀畫面Fl的圖^象內(nèi)容之間是否存在匹配。幀畫面Fl和F2具 有GUI圖像1的圖像內(nèi)容，因此具有相同的圖像內(nèi)容。因此，確定幀畫面F2 和幀畫面Fl之間存在匹配?；谠摯_定結(jié)果，在壓縮靜止圖像數(shù)據(jù)單元Grl 之后的幀時期(幀畫面F3的時期)中，生成指示當(dāng)前幀(對應(yīng)于幀畫面F2)
的圖像內(nèi)容與壓縮靜止圖像數(shù)據(jù)單元Grl的圖像內(nèi)容一致的一致圖像內(nèi)容指 令信息項Dsl-l。
在每個幀時期，進(jìn)行上述的兩個連續(xù)幀畫面是否一致的比較。因此，在 帕畫面F4的隨后的時間處，比較幀畫面F2和F3，并作為結(jié)果，確定兩幀具 有相同的圖像內(nèi)容。生成指示幀畫面F3的圖像內(nèi)容也與壓縮靜止圖像數(shù)據(jù)單 元Gr 1的圖像內(nèi)容一致的 一致圖像內(nèi)容指令信息項Ds 1 -2。
在隨后的幀時期(幀畫面F5的時期)中，確定在幀畫面F3和幀畫面F4 之間是否存在匹配。由于幀畫面F3形成GUI圖像1并且?guī)嬅鍲4形成GUI 圖像2,所以確定在它們之間沒有發(fā)現(xiàn)匹配。以這種方式，在檢測到幀畫面 的改變的幀時期中，生成代表改變的幀畫面的壓縮靜止圖像數(shù)據(jù)。也就是， 代表幀畫面F4的源圖形信號(幀畫面數(shù)據(jù))經(jīng)歷靜止圖像壓縮編碼，以生成 具有GUI圖像2的圖像內(nèi)容的壓縮靜止圖像數(shù)據(jù)單元Gr2。
在本實施例中，如上所述，在源圖形信號的幀畫面的圖像內(nèi)容發(fā)生改變 的幀時期中，生成具有改變的幀畫面的圖像內(nèi)容的壓縮靜止圖像數(shù)據(jù)，并且 在改變的幀畫面的圖像內(nèi)容連續(xù)的時期內(nèi)，在每個幀時期，生成指示與緊鄰 的前一幀的圖像內(nèi)容相同的一致圖像內(nèi)容指令信息Ds。采用這種編碼過程， 在圖5所示的示例中，在每個幀時期中生成壓縮靜止圖像數(shù)據(jù)或一致圖像內(nèi) 容指令信息，因此按以下順序生成壓縮靜止圖像數(shù)據(jù)單元Grl、 一致圖像 內(nèi)容指令信息項Dsl-l、 一致圖像內(nèi)容指令信息項Dsl-2、壓縮靜止圖像數(shù)據(jù) 單元Gr2、 一致圖像內(nèi)容指令信息項Ds2-1 (指示與壓縮靜止圖像數(shù)據(jù)單元 Gr2的圖像內(nèi)容相同)、壓縮靜止圖像數(shù)據(jù)單元Gr3、 一致圖像內(nèi)容指令信息 項Ds3-l、 一致圖像內(nèi)容指令信息項Ds3-2等。
根據(jù)本實施例的圖形特定編碼處理基于上述過程。
根據(jù)基于上述過程的圖形特定編碼處理，通過將與給定的幀時期(其中 圖形信號的內(nèi)容發(fā)生改變)關(guān)聯(lián)的壓縮靜止圖像數(shù)據(jù)單元和指示與圖形信號 的前一幀的圖像內(nèi)容相同的一致圖像內(nèi)容指令信息項進(jìn)行組合，來生成編碼 數(shù)據(jù)。此外，如果指示與壓縮靜止圖像數(shù)據(jù)單元的內(nèi)容相同的一個或多個一 致圖像內(nèi)容指令信息項被當(dāng)作是一段信息，那么可以把這段信息用作被配置 為使得將與壓縮靜止圖像數(shù)據(jù)單元的內(nèi)容相同的內(nèi)容連續(xù)的時期(時長)指 定為連續(xù)幀時期的信息(連續(xù)性指令信息)。
作為編碼數(shù)據(jù)的壓縮靜止圖像數(shù)據(jù)和圖5的部分(a)所示的一致圖像內(nèi)容 指令信息的序列還示出了通過網(wǎng)絡(luò)將編碼數(shù)據(jù)從視頻裝置1發(fā)送到電視接收 機(jī)2的時間。在這種情況下，根據(jù)本實施例的圖形信號的編碼數(shù)據(jù)用于在例 如與幀時期對應(yīng)的每個時間間隔處、順序地發(fā)送壓縮靜止圖像數(shù)據(jù)或一致圖 像內(nèi)容指令信息。例如， 一幀的壓縮靜止圖像數(shù)據(jù)對應(yīng)于運動圖像壓縮編碼 處理中的I-畫面，并且一致圖像內(nèi)容指令信息僅僅指示與前一幀畫面的圖像 內(nèi)容相同，得到比編碼畫面等小得多的數(shù)據(jù)大小。也就是，根據(jù)本實施例的 圖形信號的編碼數(shù)據(jù)(傳輸數(shù)據(jù))的比特率相當(dāng)?shù)汀Ｒ虼?，即使以圖4所示 的方式用高比特率在相同的時間發(fā)送圖形信號的編碼數(shù)據(jù)來作為視頻內(nèi)容的 數(shù)據(jù)，也能為視頻內(nèi)容數(shù)據(jù)確保每單元時間的足夠量的數(shù)據(jù)傳遞。相反，也 為圖形信號的編碼數(shù)據(jù)確保了每單元時間的數(shù)據(jù)傳遞量。
圖5的部分(c)示出了當(dāng)在圖5的部分(b)所示的時間處被發(fā)送到電視接收 機(jī)2的編碼圖形數(shù)據(jù)也在圖5的部分(b)所示的時間處由電視接收機(jī)2接收時 的解碼時序。
即，在解碼處理中，首先，解碼在圖5的部分(b)中所獲得的壓縮靜止圖 像數(shù)據(jù)單元Grl,以獲得圖形信號，作為具有GUI圖像1的圖像內(nèi)容的幀畫 面Fl。在該示例中，解碼壓縮靜止圖像數(shù)據(jù)單元Grl并獲得作為幀畫面Fl 的圖形信號的時間是獲得壓縮靜止圖像數(shù)據(jù)單元Grl的幀時期。
電視接收機(jī)2接收并獲得壓縮靜止圖像數(shù)據(jù)單元Grl，之后是一致圖像 內(nèi)容指令信息項Dsl-l,作為編碼圖形數(shù)據(jù)。由于獲取了一致圖像內(nèi)容指令信 息項Dsl-l,因而電視接收機(jī)2確定在幀畫面Fl之后的幀畫面F2的圖像內(nèi) 容與帕畫面Fl的圖像內(nèi)容相同。因此，電視接收機(jī)2生成GUI圖像1的圖 形信號，作為幀畫面F2,其與幀畫面F1相同。在隨后的幀時期中，由于獲 取了一致圖像內(nèi)容指令信息項Dsl-2，因而電視接收機(jī)2確定幀畫面F3的圖 像內(nèi)容也與幀畫面F2的圖像內(nèi)容相同，并生成GUI圖像1的圖形信號，其 與幀畫面F1和F2相同。從而，連續(xù)生成具有GUI圖像1的圖像內(nèi)容的幀畫 面數(shù)據(jù)單元(圖形信號)作為幀畫面F1、 F2和F3。
在隨后的幀時期中，接收并獲得壓縮靜止圖像數(shù)據(jù)單元Gr2。解碼并輸 出該壓縮靜止圖像數(shù)據(jù)單元Gr2,作為幀畫面F4。與上述過程類似，在每個 幀時期中，當(dāng)獲得了一致圖像內(nèi)容指令信息Ds時，生成具有與前一幀的圖像 內(nèi)容相同的圖像內(nèi)容的幀畫面數(shù)據(jù)，并解碼和輸出新的壓縮靜止圖像數(shù)據(jù)作 為幀畫面數(shù)據(jù)。作為解碼處理的結(jié)果，如圖5的部分(c)所示，獲得了解碼的
基帶圖形信號，因而使用幀畫面Fl到F3代表GUI圖像1的圖像內(nèi)容，使用 幀畫面F4和F5代表GUI圖像2的圖像內(nèi)容，并使用幀畫面F6和其他幀畫 面代表GUI圖像3的圖像內(nèi)容。
根據(jù)本實施例的電視接收機(jī)2組合以圖5的部分(c)所示的方式獲得的基 帶圖形信號與由不同的解碼處理系統(tǒng)解碼的視頻內(nèi)容的基帶視頻信號。將得 到的組合視頻信號顯示為圖像。
由圖5所示的圖形信號的編碼和解碼處理引起的延遲時間td,即，在生 成給定的幀畫面作為源圖形信號的時間和解碼該給定的幀畫面并輸出的時間 之間的時間差是對應(yīng)于兩帕的時期。圖5所示的延遲時間td比圖3所示的延 遲時間td短得多。
由于延遲時間td的減少，響應(yīng)于視頻裝置1的操作而迅速改變或切換 GUI圖像。因此，例如，消除或降低了對用戶操作GUI圖像的阻礙，得到了 使用容易度的改善。
在圖4所示的過程中，視頻內(nèi)容和GUI圖像由不同的系統(tǒng)編碼、然后發(fā) 送。因此，GUI圖像的圖形信號不適合于與視頻內(nèi)容的視頻信號進(jìn)行同步回 放。在數(shù)據(jù)廣播中，可以根據(jù)與視頻內(nèi)容對應(yīng)的主廣播節(jié)目的進(jìn)展來改變廣 播的內(nèi)容。因此，如果通過圖4所示的過程發(fā)送數(shù)據(jù)廣播GUI圖像，則相對 于作為主節(jié)目的視頻內(nèi)容中的圖像的進(jìn)展，在電視接收機(jī)2上顯示的圖像上 的數(shù)據(jù)廣播GUI圖像的顯示時序可能發(fā)生移位。
但是，在當(dāng)前條件下，在大多數(shù)情況中，可以不根據(jù)主節(jié)目圖像的圖像 變化來改變數(shù)據(jù)廣播內(nèi)容。因此，在實際使用中，即使數(shù)據(jù)廣播GUI圖像的 顯示時序相對于主節(jié)目圖像以上述方式發(fā)生移位，這也不阻礙用戶且也不會 出現(xiàn)問題。例如，如果根據(jù)參考圖2所述的過程，將視頻內(nèi)容的源視頻信號 與源圖形信號組合，則數(shù)據(jù)廣播GUI圖像的顯示切換與所顯示的主節(jié)目圖像 的進(jìn)展同步。但是，如果要響應(yīng)于對數(shù)據(jù)廣播GUI圖像進(jìn)行的操作而進(jìn)行顯 示切換，如參考圖3所述，則對該操作的響應(yīng)很慢。在實際使用中，用戶對 這種響應(yīng)于操作的圖像變化的延遲更敏感，在本實施例中首先克服了該延遲。
接下來，將參考圖6和圖7，描述根據(jù)參考圖4和圖5所描述的本實施 例的、用于實現(xiàn)圖形圖像的編碼傳輸和解碼處理的視頻裝置1和電視接收機(jī) 2的示例結(jié)構(gòu)。圖6示出了視頻裝置1的示例結(jié)構(gòu)，并且圖7示出了電視接 收機(jī)2的示例結(jié)構(gòu)。 首先，將描述圖6所示的視頻裝置1的結(jié)構(gòu)。
視頻裝置1具有用于接收預(yù)定廣播載波的廣播波并選擇電視頻道的電視 調(diào)諧器功能。通過調(diào)諧器單元12等實現(xiàn)電視調(diào)諧器功能。將通過天線11接
收預(yù)定廣播載波的廣播波而獲得的信號(接收信號)輸入到調(diào)諧器單元12。 例如，調(diào)諧器單元12根據(jù)控制單元27的頻道選擇控制(頻道指定)進(jìn)行頻 道選擇處理，以從接收信號中獲得與指定的廣播站(頻道)對應(yīng)的接收信號 分量。例如，控制單元27通過選擇響應(yīng)于使用操作單元28進(jìn)行的頻道選擇 操作而指定的頻道，來進(jìn)行控制。
將調(diào)諧器單元12獲得的指定頻道的接收信號分量輸入到解調(diào)器13。解 調(diào)器13使用與在發(fā)送時使用的調(diào)制方案對應(yīng)的解調(diào)方案來解調(diào)輸入信號，以 獲得解調(diào)的接收信號。解調(diào)的接收信號形成了通過接收廣播所獲得的視頻內(nèi) 容，包括使用預(yù)定方案壓縮編碼的視頻信號和音頻信號，并且解調(diào)的接收信 號是復(fù)用了視頻信號和音頻信號的數(shù)據(jù)。當(dāng)使用數(shù)據(jù)廣播來廣播廣播視頻內(nèi) 容時，還在解調(diào)的接收信號中復(fù)用數(shù)據(jù)廣播的信號(數(shù)據(jù)廣播內(nèi)容數(shù)據(jù))。 首先將解調(diào)的接收信號傳遞到視頻存儲單元14，作為廣播的記錄數(shù)據(jù)。 視頻存儲單元14能夠?qū)?shù)據(jù)記錄在諸如當(dāng)前情況下的硬盤驅(qū)動器(HDD) 或數(shù)字多用盤(DVD)或下一代DVD中的光盤介質(zhì)的、具有相當(dāng)大存儲容量的 存儲介質(zhì)中，并從中再現(xiàn)數(shù)據(jù)。視頻存儲單元14根據(jù)控制單元27的控制， 將所傳遞的記錄數(shù)據(jù)(解調(diào)的接收信號)寫入存儲介質(zhì)中，并以例如以內(nèi)容 文件為單元來管理記錄數(shù)據(jù)的預(yù)定形式存儲該記錄數(shù)據(jù)。因此，在本實施例 的視頻裝置1中，以用于存儲的文件格式來管理通過接收電視廣播而獲得的 視頻內(nèi)容的數(shù)據(jù)。
視頻存儲單元14還響應(yīng)于使用操作單元28等對內(nèi)容文件進(jìn)行的再現(xiàn)指 令操作，根據(jù)控制單元27的控制，以上述方式讀取存儲介質(zhì)中存儲的內(nèi)容文 件的數(shù)據(jù)，并輸出所讀取的數(shù)據(jù)作為再現(xiàn)數(shù)據(jù)。再現(xiàn)數(shù)據(jù)輸入到解復(fù)用器15。
解復(fù)用器15接收從解調(diào)器13輸出的解調(diào)的接收信號，即，通過接收電 視廣播實時獲得的視頻內(nèi)容的數(shù)據(jù)，或由視頻存儲單元14以上述方式讀取的 視頻內(nèi)容(內(nèi)容文件)的數(shù)據(jù)。從之前的描述中可以理解，無論接收到哪些 視頻內(nèi)容，形成視頻內(nèi)容的視頻信號(以壓縮編碼的形式)和音頻信號(以 壓縮編碼的形式)都在所接收的視頻內(nèi)容的數(shù)據(jù)中復(fù)用，并且也可以復(fù)用數(shù) 據(jù)廣播內(nèi)容數(shù)據(jù)。
因此，解復(fù)用器15解復(fù)用所接收的視頻內(nèi)容數(shù)據(jù)，以分別提取視頻信號 和音頻信號、以及數(shù)據(jù)廣播內(nèi)容數(shù)據(jù)(如果還復(fù)用了數(shù)據(jù)廣播內(nèi)容數(shù)據(jù))。將 所提取的視頻信號、音頻信號和數(shù)據(jù)廣播內(nèi)容數(shù)據(jù)分別輸出到視頻解碼單元
16、音頻解碼單元17和圖形生成單元18。
視頻解碼單元16進(jìn)行與施加到輸入視頻信號上的壓縮編碼處理對應(yīng)的 解碼(展開)處理，以獲取未壓縮的基帶視頻信號。
音頻解碼單元17也進(jìn)行與施加到輸入音頻信號上的壓縮編碼處理對應(yīng) 的解碼(展開)處理，以獲取未壓縮的基帶音頻信號。
圖形生成單元18被配置為生成具有通過再現(xiàn)輸入的數(shù)據(jù)廣播內(nèi)容數(shù)據(jù) 而獲得的圖像內(nèi)容的基帶視頻信號。即，圖形生成單元18被配置為生成數(shù)據(jù) 廣播GUI圖像的視頻信號。
如前述，數(shù)據(jù)廣播內(nèi)容數(shù)據(jù)具有以諸如BML的置標(biāo)語言來編寫的內(nèi)容形 式。從而，圖形生成單元18實現(xiàn)作為BML瀏覽器的功能，并且解譯作為數(shù) 據(jù)廣播內(nèi)容數(shù)據(jù)而輸入的BML文件，以再現(xiàn)該數(shù)據(jù)廣播內(nèi)容數(shù)據(jù)。作為再現(xiàn) 的結(jié)果，例如，獲得了數(shù)據(jù)廣播內(nèi)容數(shù)據(jù)的圖像數(shù)據(jù)(幀畫面數(shù)據(jù))，并且基 于該圖像數(shù)據(jù)生成了視頻信號。
圖形生成單元18還被配置為生成自生成GUI圖像的視頻信號。即，圖 形生成單元18被配置為根據(jù)控制單元27的控制，生成具有期望的自生成GUI 圖像的圖像內(nèi)容的圖像數(shù)據(jù)(幀畫面數(shù)據(jù))。基于該生成的幀畫面數(shù)據(jù)生成視 頻信號。
如上所述，配置根據(jù)本實施例的視頻裝置1,使得可通過網(wǎng)絡(luò)通信鏈路3 或根據(jù)預(yù)定的視頻和音頻信號輸入/輸出標(biāo)準(zhǔn)，將視頻和音頻信號輸出到外部裝置。
當(dāng)根據(jù)預(yù)定的視頻和音頻信號輸入/輸出標(biāo)準(zhǔn)來輸出視頻和音頻信號時， 將由視頻解碼單元16生成的基帶視頻信號(主圖像視頻信號)輸出到組合單 元22。如果圖形生成單元18也生成了視頻信號(GUI圖像視頻信號)，則將 該視頻信號也輸出到組合單元22。
當(dāng)將來自圖形生成單元18的GUI圖像視頻信號與來自視頻解碼單元16 的主圖像視頻信號一起輸入時，組合單元22將GUI圖像視頻信號與主圖像 視頻信號組合，并將得到的組合視頻信號輸出到視頻輸出單元24。
將音頻解碼單元17獲得的基帶音頻信號輸出到音頻輸出單元25。
根據(jù)預(yù)定的視頻和音頻信號輸入/輸出標(biāo)準(zhǔn)，視頻輸出單元24和音頻輸 出單元25彼此成對，并配有兼容該視頻和音頻信號輸入/輸出標(biāo)準(zhǔn)的輸出端， 其中輸入的視頻和音頻信號被輸出到該輸出端。例如，視頻輸出單元24的輸 出端和音頻輸出單元25的輸出端連接到兼容該視頻和音頻信號輸入/輸出標(biāo) 準(zhǔn)的外部顯示監(jiān)視器的輸入端。因此，在外部顯示監(jiān)視器的屏幕上顯示從視 頻輸出單元24輸出的視頻信號的圖像，并通過與外部顯示監(jiān)視器連接的揚聲 器等輸出從音頻輸出單元25輸出的音頻信號的聲音，以便與輸出圖像同步地 回放該聲音。
當(dāng)根據(jù)本實施例、通過網(wǎng)絡(luò)通信鏈路3輸出視頻和音頻信號時，由視頻 解碼單元16和音頻解碼單元17獲得的基帶視頻信號和音頻信號、以及由圖 形生成單元18獲得的GUI圖像的視頻信號(圖形信號)分別被當(dāng)作源視頻 信號、源音頻信號和源圖形信號，并根據(jù)圖4所示的過程來處理。
在根據(jù)本實施例的視頻裝置1中，將視頻解碼單元16獲得的視頻信號輸 入到視頻編碼單元19,并將音頻解碼單元17獲得的音頻信號輸入到音頻編 碼單元20。將圖形生成單元18獲得的視頻信號輸入到圖形編碼單元21。
視頻編碼單元19對輸入的視頻信號進(jìn)行預(yù)定的壓縮編碼處理。該壓縮編 碼處理對應(yīng)于對圖4所示的源視頻信號進(jìn)行的運動圖像壓縮編碼處理。
音頻編碼單元20對輸入的音頻信號進(jìn)行與對圖4所示的源音頻信號進(jìn)行 的音頻壓縮編碼處理對應(yīng)的編碼處理。
復(fù)用器23復(fù)用由視頻編碼單元19生成的壓縮編碼視頻信號和由音頻編 碼單元20生成的壓縮編碼音頻信號，并將復(fù)用了視頻信號和音頻信號的視頻 內(nèi)容數(shù)據(jù)輸出到網(wǎng)絡(luò)接口 26。
圖形編碼單元21對輸入的圖形信號(形成GUI圖像的基帶視頻信號) 進(jìn)行參考圖5的部分(a)和(b)所述的編碼處理，以獲得編碼圖形數(shù)據(jù)。如上參 考圖5所述，該編碼圖形數(shù)據(jù)包括幀畫面數(shù)據(jù)，對應(yīng)于GUI圖像的內(nèi)容改 變的幀時間，具有改變的GUI圖像的內(nèi)容；以及一致圖像內(nèi)容指令信息，對 應(yīng)于GUI圖像的內(nèi)容不改變的每個幀。
將生成的編碼圖形數(shù)據(jù)作為與視頻內(nèi)容數(shù)據(jù)分離的傳輸數(shù)據(jù)輸出到網(wǎng)絡(luò) 接口 26,而不與形成視頻內(nèi)容數(shù)據(jù)的壓縮視頻信號和音頻信號復(fù)用。
網(wǎng)絡(luò)接口 26由按照經(jīng)由網(wǎng)絡(luò)通信鏈路3的通信協(xié)議的硬件或軟件實現(xiàn)， 并且被配置為根據(jù)例如控制單元27 (應(yīng)用)的控制，通過網(wǎng)絡(luò)通信鏈路3進(jìn)
行通信。
當(dāng)以上述方式將視頻內(nèi)容數(shù)據(jù)和編碼的圖形數(shù)據(jù)(GUI圖像數(shù)據(jù))輸入 到網(wǎng)絡(luò)接口26時，網(wǎng)絡(luò)接口 26對輸入數(shù)據(jù)進(jìn)行預(yù)定的判優(yōu)處理等，例如， 使得可對輸入數(shù)據(jù)確保每單元時間內(nèi)的期望數(shù)據(jù)傳遞量，并通過分組傳輸， 經(jīng)由網(wǎng)絡(luò)通信鏈路3將結(jié)果發(fā)送到傳輸目標(biāo)客戶機(jī)(電視接收機(jī)2 )。
例如，在實際的硬件實現(xiàn)中，控制單元27包括微型計算機(jī)，該微型計算 機(jī)包括中央處理單元(CPU )、隨機(jī)存取存儲器(RAM )、只讀存儲器(ROM) 等，并且控制單元27控制視頻裝置1的整體操作。
例如，操作單元28主要包括安裝在視頻裝置1的主體上的各種類型的 處理機(jī)(handler );以及操作信號輸出單元，其生成與對每個處理機(jī)進(jìn)行的操 作對應(yīng)的操作信號，并將操作信號輸出到控制單元27(CPU)。如果使用遙控 器控制視頻裝置l的操作，則操作單元28還包括遙控器、以及在主體上接收 從遙控器發(fā)送的操作代碼信號并將其作為操作信號而輸出到控制單元27的 接收器。
接下來，將描述圖7中所示的電視接收機(jī)2的結(jié)構(gòu)。
同樣在電視接收機(jī)2中，將通過天線31接收預(yù)定廣播載波的廣播波而獲 得的接收信號輸入到調(diào)諧器單元32。例如，調(diào)諧器單元32根據(jù)控制單元43 的頻道選擇控制(頻道指定)進(jìn)行頻道選擇處理，以從接收信號中獲得與指 定廣播站(頻道)對應(yīng)的接收信號分量，并將該接收信號分量輸出到解調(diào)器 33。
解調(diào)器33使用與在發(fā)送時所使用的調(diào)制方案對應(yīng)的解調(diào)方案，來解調(diào)輸 入信號，以獲得解調(diào)的接收信號。
解調(diào)的接收信號具有以下形式例如，其中復(fù)用了壓縮編碼的視頻信號 和音頻信號。解復(fù)用器34從解調(diào)的接收信號中分開提取壓縮編碼視頻信號和 壓縮編碼音頻信號，并將分離的視頻信號和音頻信號分別輸出到視頻解碼單 元35和音頻解碼單元39。
解復(fù)用器34還被配置為接收通過網(wǎng)絡(luò)通信鏈路3從網(wǎng)絡(luò)接口所接收的視 頻內(nèi)容的數(shù)據(jù)，并將其分離為視頻信號和音頻信號。在下面描述該操作。
視頻解碼單元35對輸入的視頻信號進(jìn)行解碼(展開)處理，以生成未壓 縮的基帶視頻信號。將該基帶視頻信號輸出到組合單元36。 —
當(dāng)以下述方式將作為GUI圖像的基帶視頻信號(圖形信號)從圖形解碼
單元42輸入到組合單元36時，組合單元36將圖形信號和與從視頻解碼單元 35輸入的主圖像對應(yīng)的視頻信號進(jìn)行組合，然后將得到的視頻信號輸出到顯 示驅(qū)動單元37。
顯示驅(qū)動單元37使用從組合單元36輸入的視頻信號，控制顯示單元38 的顯示驅(qū)動。在顯示單元38的屏幕上顯示被輸入到顯示驅(qū)動單元37的視頻 信號的圖像。
將由解復(fù)用器34分開提取的音頻信號輸出到音頻解碼單元39，并解碼 (展開)成基帶音頻信號。將該基帶音頻信號輸出到音頻輸出單元40。
音頻輸出單元40被配置為在放大輸入的音頻信號之前對其進(jìn)行例如音 質(zhì)調(diào)整和其他信號處理，并使用放大的信號驅(qū)動揚聲器以輸出聲音。
從之前的描述中可以理解，電視接收機(jī)2被配置為首先接收電視廣播并 選擇電視頻道、以及輸出得到的視頻信號和音頻信號作為可以由用戶觀看和 收聽的圖像和聲音。
例如，控制單元43包括微型計算機(jī)，該微型計算機(jī)包括CPU、 RAM、 ROM等，并且控制單元43控制電視接收機(jī)2的整體操作。
例如，操作單元44主要包括安裝在電視接收機(jī)2的主體上的各種類型 的處理機(jī)；以及操作信號輸出單元，其生成與對每個處理機(jī)進(jìn)行的操作對應(yīng) 的操作信號，并將該操作信號輸出到控制單元43 (CPU)。如果使用遙控器控 制電視接收機(jī)2的操作，則操作單元44還包括遙控器、以及在主體上接收從 遙控器發(fā)送的操作代碼信號并將其作為操作信號輸出到控制單元43的接收 器。
下文中將討論圖7中所示的電視接收機(jī)2的結(jié)構(gòu)，其中，通過網(wǎng)絡(luò)通信 鏈路3從根據(jù)圖6所示的本實施例的視頻裝置1發(fā)送的視頻內(nèi)容數(shù)據(jù)和編碼 圖形數(shù)據(jù)(GUI圖像數(shù)據(jù))由電視接收機(jī)2接收和獲得，并作為圖像和聲音 而輸出。
電視接收機(jī)2配有網(wǎng)絡(luò)接口 41，以允許根據(jù)例如控制單元43 (應(yīng)用)的 控制、通過網(wǎng)絡(luò)通信鏈路3進(jìn)行通信。當(dāng)網(wǎng)絡(luò)接口 41接收到包含從視頻裝置 1發(fā)送的視頻內(nèi)容數(shù)據(jù)的分組時，從接收到的分組中提取視頻內(nèi)容數(shù)據(jù)，并 通過串聯(lián)(concatenation)來恢復(fù)。將得到的數(shù)據(jù)輸出到解復(fù)用器34。在接收到
和音頻信號，并將提取的視頻信號和音頻信號分別輸出到視頻解碼單元35和
音頻解碼單元39。隨后的處理以及相關(guān)信號和數(shù)據(jù)流與以上描述的類似。
當(dāng)從視頻裝置1發(fā)送編碼圖形數(shù)據(jù)時，網(wǎng)絡(luò)接口 41接收包含該編碼圖形 數(shù)據(jù)以及^L頻內(nèi)容數(shù)據(jù)的分組。網(wǎng)絡(luò)接口 41從編碼圖形數(shù)據(jù)的分組中提取編 碼圖形數(shù)據(jù)的基本部分用于恢復(fù)，并將結(jié)果輸出到圖形解碼單元42。
圖形解碼單元42按以上參考圖5所述的方式解碼輸入的編碼圖形數(shù)據(jù)， 以生成指示GUI圖像的基帶視頻信號(圖形信號)。將生成的圖形信號輸出 到組合單元36。
組合單元36將圖形信號與從視頻解碼單元35輸入的主圖像視頻信號進(jìn) 行組合，并將得到的組合信號輸出到顯示驅(qū)動單元37。
作為對電視接收機(jī)2的網(wǎng)絡(luò)接口 41接收和獲得的視頻內(nèi)容數(shù)據(jù)和編碼圖 形數(shù)據(jù)進(jìn)行的上述處理的結(jié)果，在顯示單元38上顯示圖像，其中由視頻裝置 1生成的GUI圖像(自生成GUI圖像或數(shù)據(jù)廣播GUI圖像)被疊加在從視頻 裝置1發(fā)送的視頻內(nèi)容的圖像(主圖像)上。注意，當(dāng)用戶以上述方式在所 顯示的GUI圖像上操作時，響應(yīng)于該操作，圖像內(nèi)容迅速發(fā)生改變。
根據(jù)本實施例，大概有兩種允許通過網(wǎng)絡(luò)與電視接收機(jī)2連接的視頻裝 置1檢測在從視頻裝置1發(fā)送并在電視接收機(jī)2上顯示的GUI圖像上進(jìn)行的 操作的技術(shù)。
在第一種技術(shù)中，用戶使用與視頻裝置1關(guān)聯(lián)的操作單元在GUI圖像上 操作。例如，用戶使用與視頻裝置1 一起提供的遙控器來在電視接收機(jī)2所 顯示的GUI圖像上操作。在實際使用中，響應(yīng)于在遙控器上進(jìn)行的操作，操 作指令信號從遙控器無線地發(fā)送，并由視頻裝置1接收。當(dāng)接收到該操作指
令信號，視頻裝置1檢測在GUI圖像上進(jìn)行的操作。
在第二種技術(shù)中，將符合能夠通過網(wǎng)絡(luò)控制視頻裝置1的協(xié)議的程序(視 頻控制程序)加載到電視接收機(jī)2中。然后，用戶使用與電視接收機(jī)2關(guān)聯(lián) 的操作單元在GUI圖像上操作。在這種情況下，例如，用戶操作安裝與電視 接收機(jī)2 —起提供的遙控器上的預(yù)定處理機(jī)，以在電視接收機(jī)2所顯示的GUI 圖像上操作。當(dāng)響應(yīng)于該操作而將操作指令信號從遙控器無線地發(fā)送并由電 視接收機(jī)2接收時，電視接收機(jī)2根據(jù)視頻控制程序?qū)⑺邮盏牟僮髦噶钚?號轉(zhuǎn)換成預(yù)定命令，并通過網(wǎng)絡(luò)通信鏈路3將該命令發(fā)送到視頻裝置1。當(dāng) 接收到該命令，視頻裝置1檢測在GUI圖像上所進(jìn)行的操作。
由沿著信號處理流的功能塊代表圖6和圖7中所示的視頻裝置1和電視
接收機(jī)2的主要元件，并且在實際的硬件實現(xiàn)中，視頻裝置l和電視接收機(jī)
2可以不必具有圖6和圖7所示的結(jié)構(gòu)?？梢允褂貌煌趫D6和圖7所示的 功能塊，并且視頻裝置1和電視接收機(jī)2的元件不限于圖示的元件。
作為示例，在圖6所示的視頻裝置1 (圖像信息發(fā)送裝置)的結(jié)構(gòu)中， 在由視頻編碼單元19和音頻編碼單元20進(jìn)行壓縮編碼以進(jìn)行網(wǎng)絡(luò)傳輸之前， 由視頻解碼單元16和音頻解碼單元17使用與壓縮編碼方案對應(yīng)的解碼方案 等來解碼由調(diào)諧器單元12接收和獲得的視頻和音頻信息、以及從視頻存儲單 元14讀取的內(nèi)容文件。但是，例如，如果用于由調(diào)諧器單元12接收和獲得 的視頻和音頻信息的壓縮編碼方案與電視接收機(jī)2中所采用的解碼方案兼 容，則可以配置視頻裝置l,使得通過網(wǎng)絡(luò)發(fā)送由調(diào)諧器單元12接收和獲得 的視頻和音頻信息，而無需內(nèi)部解碼然后再編碼。
在上述實施例中，要編碼且與視頻內(nèi)容數(shù)據(jù)分開發(fā)送的圖形信號包括由 視頻裝置1自身生成的自生成GUI圖像、以及基于與電視廣播一起接收的數(shù) 據(jù)廣播數(shù)據(jù)的數(shù)據(jù)廣播GUI圖像。根據(jù)本發(fā)明的實施例，可編碼和發(fā)送任一 GUI圖像。
在上述實施例中，生成壓縮靜止圖像數(shù)據(jù)和一致圖像內(nèi)容指令信息(連 續(xù)指令信息)作為編碼圖形數(shù)據(jù)，其中壓縮靜止圖像數(shù)據(jù)代表在其中開始了 具有新的圖像內(nèi)容的GUI圖像的幀畫面， 一致圖像內(nèi)容指令信息指示對于每 個幀時期的與GUI圖像相同的內(nèi)容。即， 一致圖像內(nèi)容指令信息指示以帕為 單位的相同的GUI圖像。但是，該單位不限于幀，并且例如， 一致圖像內(nèi)容 指令信息可以基于預(yù)定的單位時間來指示相同的GUI圖像。
此外，在根據(jù)上述實施例的圖像傳輸系統(tǒng)中，視頻裝置用作發(fā)送主圖像 的視頻信號和GUI圖像的圖形信號的裝置(圖像信息發(fā)送裝置)，電視接收 機(jī)用作接收那些信號的裝置(圖像信息接收裝置)。但是，裝置的組合不限于 視頻裝置和電視接收機(jī)。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，在所附權(quán)利要求或其等同物的范圍內(nèi)，依 據(jù)設(shè)計要求和其他因素，可進(jìn)行各種修改、組合、子組合和變更。
相關(guān)申請的交叉引用 ' 本發(fā)明包含了與于2006年11月24日在日本特許廳提交的日本專利申請 JP2006-317212相關(guān)的主題，其全部內(nèi)容通過引用合并于此。
權(quán)利要求
1.一種圖像信息傳輸系統(tǒng)，包括圖像信息發(fā)送裝置；以及圖像信息接收裝置，所述圖像信息發(fā)送裝置包括圖像數(shù)據(jù)獲取部件，用于獲取經(jīng)歷了包括雙向預(yù)測編碼處理的預(yù)定壓縮編碼處理的主圖像傳輸數(shù)據(jù)，作為用于發(fā)送主圖像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的內(nèi)容的運動圖像的視頻信號，圖像數(shù)據(jù)生成部件，用于生成副圖像傳輸數(shù)據(jù)，所述副圖像傳輸數(shù)據(jù)是用于發(fā)送將要在與顯示主圖像的屏幕相同的屏幕上顯示的副圖像的傳輸數(shù)據(jù)，并且所述副圖像傳輸數(shù)據(jù)由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成，所述壓縮靜止圖像數(shù)據(jù)具有代表用作圖形用戶界面的圖形用戶界面圖像的圖像內(nèi)容，并且是與所述圖形用戶界面圖像的一幀相對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述連續(xù)性指令信息是指示如下時期的重要信息在該時期中與所述壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)，以及發(fā)送部件，用于通過預(yù)定的網(wǎng)絡(luò)通信鏈路，將所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)發(fā)送到所述圖像信息接收裝置，所述圖像信息接收裝置包括接收部件，用于接收通過所述網(wǎng)絡(luò)通信鏈路所發(fā)送的所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，第一解碼部件，用于對由所述接收部件所接收的主圖像傳輸數(shù)據(jù)進(jìn)行與壓縮編碼處理相對應(yīng)的解碼處理，以獲取主圖像視頻信號，第二解碼部件，用于使用形成由所述接收部件所接收的副圖像傳輸數(shù)據(jù)的所述壓縮靜止圖像數(shù)據(jù)和所述連續(xù)性指令信息來進(jìn)行解碼處理，以生成副圖像視頻信號，該副圖像視頻信號是所述副圖像的視頻信號，以及視頻信號輸出部件，用于組合由所述第一解碼部件所獲取的主圖像視頻信號和由所述第二解碼部件所獲取的副圖像視頻信號，以獲取組合視頻信號，并以可用于顯示圖像的形式來輸出該組合視頻信號。
2. —種圖像信息發(fā)送裝置，包括圖像數(shù)據(jù)獲取部件，用于獲取經(jīng)歷了包括雙向預(yù)測編碼處理的預(yù)定壓縮編碼處理的主圖像傳輸數(shù)據(jù)，作為用于發(fā)送主圖像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的內(nèi)容的運動圖像的視頻信號；圖像數(shù)據(jù)生成部件，用于生成副圖像傳輸數(shù)據(jù)，所述副圖像傳輸數(shù)據(jù)是 用于發(fā)送將要在與顯示主圖像的屏幕相同的屏幕上顯示的副圖像的傳輸數(shù) 據(jù)，并且所述副圖像傳輸數(shù)據(jù)由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成， 所述壓縮靜止圖像數(shù)據(jù)具有代表用作圖形用戶界面的圖形用戶界面圖像的圖 像內(nèi)容，并且是與所述圖形用戶界面圖像的一幀相對應(yīng)的壓縮編碼的靜止圖 像數(shù)據(jù)，所述連續(xù)性指令信息是指示如下時期的重要信息在該時期中與所 述壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)；以及發(fā)送部件，用于通過預(yù)定的網(wǎng)絡(luò)通信鏈路，將所述主圖像傳輸數(shù)據(jù)和副 圖像傳輸數(shù)據(jù)發(fā)送到與所述網(wǎng)絡(luò)通信鏈路連接的圖像信息接收裝置，所述圖 像信息接收裝置被配置為接收和解碼所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù) 據(jù)，組合解碼的主圖像傳輸數(shù)據(jù)和解碼的副圖像傳輸數(shù)據(jù)以獲取組合圖像數(shù) 據(jù)，并輸出所述組合圖像數(shù)據(jù)。
3. —種圖像信息接收裝置，包括接收部件，用于接收由圖像信息發(fā)送裝置生成并通過預(yù)定的網(wǎng)絡(luò)通信鏈 路發(fā)送的主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，所述主圖像傳輸數(shù)據(jù)是用于發(fā) 送主圖像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的內(nèi)容 的運動圖像的視頻信號，并且所述主圖像傳輸數(shù)據(jù)是經(jīng)歷了包括雙向預(yù)測編 碼處理的預(yù)定壓縮編碼處理的數(shù)據(jù)，所述副圖像傳輸數(shù)據(jù)是用于發(fā)送將要在 與顯示主圖像的屏幕相同的屏幕上顯示的副圖像的傳輸數(shù)據(jù)，并且所述副圖 像傳輸數(shù)據(jù)由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成，所述壓縮靜止圖像 數(shù)據(jù)具有代表用于圖形用戶界面的圖形用戶界面圖像的圖像內(nèi)容，并且是與 所述圖形用戶界面圖像的一幀相對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述連續(xù) 性指令信息是指示如下時期的重要信息在該時期中與所述壓縮靜止圖像數(shù) 據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)；第一解碼部件，用于對由所述接收部件所接收的主圖像傳輸數(shù)據(jù)進(jìn)行與 壓縮編碼處理相對應(yīng)的解碼處理，以獲取主圖像碎見頻信號，第二解碼部件，用于使用形成由所述接收部件所接收的副圖像傳輸數(shù)據(jù) 的所述壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息來進(jìn)行解碼處理，以生成副圖像 視頻信號，該副圖像視頻信號是所述副圖像的視頻信號；以及視頻信號輸出部件，用于組合由所述第 一解碼部件所獲取的主圖像視頻 信號和由所述第二解碼部件所獲取的副圖像視頻信號，以獲取組合視頻信號， 并以可用于顯示圖像的形式來輸出該組合視頻信號。
4. 一種圖像信息傳輸系統(tǒng)中的圖像信息傳輸方法，該圖像傳輸系統(tǒng)包括圖像信息發(fā)送裝置和圖像信息接收裝置，所述方法包括步驟獲取經(jīng)歷了包括雙向預(yù)測編碼處理的預(yù)定壓縮編碼處理的主圖像傳輸數(shù) 據(jù)，作為用于發(fā)送主圖像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代 表主圖像的內(nèi)容的運動圖像的視頻信號，在所述圖像信息發(fā)送裝置中，生成副圖像傳輸數(shù)據(jù)，所述副圖像傳輸數(shù) 據(jù)是用于發(fā)送將要在與顯示主圖像的屏幕相同的屏幕上顯示的副圖像的傳輸 數(shù)據(jù)，并且由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成，所述壓縮靜止圖像 數(shù)據(jù)具有代表用作圖形用戶界面的圖形用戶界面圖像的圖像內(nèi)容，并且是與 圖形用戶界面圖像的一幀相對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述連續(xù)性指 令信息是指示如下時期的重要信息在該時期中與所述壓縮靜止圖像數(shù)據(jù)的 圖像內(nèi)容相同的圖像內(nèi)容連續(xù)；在所述圖像信息發(fā)送裝置中，通過預(yù)定的網(wǎng)絡(luò)通信鏈路將所述主圖像傳 輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)發(fā)送到所述圖像信息接收裝置；在所述圖像信息接收裝置中,對所接收的主圖像傳輸數(shù)據(jù)進(jìn)行與壓縮編 碼處理相對應(yīng)的解碼處理，以獲取所述主圖像視頻信號；在所述圖像信息接收裝置中，使用形成所接收的副圖像傳輸數(shù)據(jù)的所述 壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息進(jìn)行解碼處理，以生成副圖像視頻信號， 該副圖像視頻信號是所述副圖像的視頻信號；以及在所述圖像信息接收裝置中，組合所獲取的主圖像視頻信號和所生成的 副圖像視頻信號，以生成組合視頻信號，并以可用于顯示圖像的形式來輸出 所述組合視頻信號。
5. —種圖像信息發(fā)送方法，包括步驟獲取經(jīng)歷了包括雙向預(yù)測編碼處理的預(yù)定壓縮編碼處理的主圖像傳輸數(shù) 據(jù)，作為用于發(fā)送主圖像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代 表主圖像的內(nèi)容的運動圖像的視頻信號；生成副圖像傳輸數(shù)據(jù)，所述副圖像傳輸數(shù)據(jù)是用于發(fā)送將要在與顯示主 圖像的屏幕相同的屏幕上顯示的副圖像的傳輸數(shù)據(jù)，并且由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成，所述壓縮靜止圖像數(shù)據(jù)具有代表用作圖形用戶界 面的圖形用戶界面圖像的圖像內(nèi)容，并且是與圖形用戶界面圖像的一幀相對 應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述連續(xù)性指令信息是指示如下時期的重要信息在該時期中與所述壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)； 通過預(yù)定的網(wǎng)絡(luò)通信鏈路將所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)發(fā)送 到與該網(wǎng)絡(luò)通信鏈路連接的圖像信息接收裝置，所述圖像信息接收裝置被配 置為接收和解碼所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，組合解碼的主圖像 傳輸數(shù)據(jù)和解碼的副圖像傳輸數(shù)據(jù)以獲取組合圖像數(shù)據(jù)，并輸出所述組合圖 像數(shù)據(jù)。
6. —種圖像信息接收方法，包括步驟接收由圖像信息發(fā)送裝置生成并通過預(yù)定的網(wǎng)絡(luò)通信鏈路發(fā)送的主圖像 傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，所述主圖像傳輸數(shù)據(jù)是用于發(fā)送主圖像視頻信 號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的內(nèi)容的運動圖像的視縮編碼處理的數(shù)據(jù)，所述副圖像傳輸數(shù)據(jù)是用于發(fā)送將要在與顯示主圖像的 屏幕相同的屏幕上顯示的副圖像的傳輸數(shù)據(jù)，并且所述副圖像傳輸數(shù)據(jù)由壓 縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成，所述壓縮靜止圖像數(shù)據(jù)具有代表用 于圖形用戶界面的圖形用戶界面圖像的圖像內(nèi)容，并且是與所述圖形用戶界 面圖像的 一 幀相對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述連續(xù)性指令信息是指 示如下時期的重要信息在該時期中與所述壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相 同的圖像內(nèi)容連續(xù)；對所接收的主圖像傳輸數(shù)據(jù)進(jìn)行與壓縮編碼處理相對應(yīng)的解碼處理，以 獲取主圖像視頻信號；使用形成所接收的副圖像傳輸數(shù)據(jù)的所述壓縮靜止圖像數(shù)據(jù)和連續(xù)性指 令信息來進(jìn)行解碼處理，以生成副圖像視頻信號，該副圖像視頻信號是副圖 像的視頻信號；以及組合所獲取的主圖像視頻信號和所生成的副圖像視頻信號，以獲取組合 視頻信號，并以可用于顯示圖像的形式來輸出該組合視頻信號。
7. —種圖像信息傳輸系統(tǒng)，包括 圖像信息發(fā)送裝置；以及 圖像信息接收裝置，所述圖像信息發(fā)送裝置包括圖像數(shù)據(jù)獲取單元，被配置為獲取經(jīng)歷了包括雙向預(yù)測編碼處理的 預(yù)定壓縮編碼處理的主圖像傳輸數(shù)據(jù)，作為用于發(fā)送主圖像視頻信號的傳輸 數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的內(nèi)容的運動圖像的視頻信號，圖像數(shù)據(jù)生成單元，被配置為生成副圖像傳輸數(shù)據(jù)，所述副圖像傳 輸數(shù)據(jù)是用于發(fā)送將要在與顯示主圖像的屏幕相同的屏幕上顯示的副圖像的 傳輸數(shù)據(jù)，并且所述副圖像傳輸數(shù)據(jù)由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息 形成，所述壓縮靜止圖像數(shù)據(jù)具有代表用作圖形用戶界面的圖形用戶界面圖 像的圖像內(nèi)容，并且是與所述圖形用戶界面圖像的一幀相對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述連續(xù)性指令信息是指示如下時期的重要信息在該時期中與所述壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)，以及發(fā)送單元，被配置為通過預(yù)定的網(wǎng)絡(luò)通信鏈路將所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)發(fā)送到所述圖像信息接收裝置， 所述圖像信息接收裝置包括接收單元，被配置為接收通過預(yù)定的網(wǎng)絡(luò)通信鏈路發(fā)送的主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，第 一解碼單元，被配置為對由所述接收單元所接收的主圖像傳輸數(shù)據(jù)進(jìn)行與壓縮編碼處理對應(yīng)的解碼處理，以獲取主圖傳j見頻信號，第二解碼單元，被配置為使用形成由所述接收單元所接收的副圖像傳輸數(shù)據(jù)的壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息來進(jìn)行解碼處理，以生成副 圖像視頻信號，該副圖像視頻信號是所述副圖像的視頻信號，以及視頻信號輸出單元，被配置為組合由所述第一解碼單元所獲取的主 圖像視頻信號和由所述第二解碼單元所獲取的副圖像視頻信號，以獲取組合 視頻信號，并以可用于顯示圖像的形式來輸出該組合視頻信號。
8. —種圖像信息發(fā)送裝置，包括圖像數(shù)據(jù)獲取單元，被配置為獲取經(jīng)歷了包括雙向預(yù)測編碼處理的預(yù)定 壓縮編碼處理的主圖像傳輸數(shù)據(jù)，作為用于發(fā)送主圖像視頻信號的傳輸數(shù)據(jù)， 該主圖像視頻信號是具有代表主圖像的內(nèi)容的運動圖像的視頻信號；圖像數(shù)據(jù)生成單元，被配置為生成副圖像傳輸數(shù)據(jù)，所述副圖像傳輸數(shù) 據(jù)是用于發(fā)送將要在與顯示主圖像的屏幕相同的屏幕上顯示的副圖像的傳輸 數(shù)據(jù)，并且所述副圖像傳輸數(shù)據(jù)由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成，所述壓縮靜止圖像數(shù)據(jù)具有代表用作圖形用戶界面的圖形用戶界面圖像的圖 像內(nèi)容，并且是與所述圖形用戶界面圖像的一幀相對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述連續(xù)性指令信息是指示如下時期的重要信息在該時期中與所 述壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)；以及發(fā)送單元，被配置為通過預(yù)定的網(wǎng)絡(luò)通信鏈路將所述主圖像傳輸數(shù)據(jù)和 副圖像傳輸數(shù)據(jù)發(fā)送到與所述網(wǎng)絡(luò)通信鏈路連接的圖像信息接收裝置，所述 圖像信息接收裝置被配置為接收和解碼所述主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù) 據(jù)，組合解碼的主圖像傳輸數(shù)據(jù)和解碼的副圖像傳輸數(shù)據(jù)以獲取組合圖像數(shù) 據(jù)，并輸出所述組合圖像數(shù)據(jù)。
9. 一種圖像信息接收裝置，包括接收單元，被配置為接收由圖像信息發(fā)送裝置生成并通過預(yù)定的網(wǎng)絡(luò)通 信鏈路發(fā)送的主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)，所述主圖像傳輸數(shù)據(jù)是用 于發(fā)送主圖像視頻信號的傳輸數(shù)據(jù)，該主圖像視頻信號是具有代表主圖像的 內(nèi)容的運動圖像的視頻信號，并且所述主圖像傳輸數(shù)據(jù)是經(jīng)歷了包括雙向預(yù) 測編碼處理的預(yù)定壓縮編碼處理的數(shù)據(jù)，所述副圖像傳輸數(shù)據(jù)是用于發(fā)送在 與顯示主圖像的屏幕相同的屏幕上將要顯示的副圖像的傳輸數(shù)據(jù)，并且所述 副圖像傳輸數(shù)據(jù)由壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息形成，所述壓縮靜止 圖像數(shù)據(jù)具有代表用于圖形用戶界面的圖形用戶界面圖像的圖像內(nèi)容，并且 是與所述圖形用戶界面圖像的一幀相對應(yīng)的壓縮編碼的靜止圖像數(shù)據(jù)，所述 連續(xù)性指令信息是指示如下時期的重要信息在該時期中與所述壓縮靜止圖像數(shù)據(jù)的圖像內(nèi)容相同的圖像內(nèi)容連續(xù)；第 一解碼單元，被配置為對由所述接收單元所接收的主圖像傳輸數(shù)據(jù)進(jìn) 行與壓縮編碼處理對應(yīng)的解碼處理，以獲取主圖像視頻信號；第二解碼單元，被配置為使用形成由所述接收單元所接收的副圖像傳輸 數(shù)據(jù)的所述壓縮靜止圖像數(shù)據(jù)和連續(xù)性指令信息來進(jìn)行解碼處理，以生成副 圖像視頻信號，該副圖像視頻信號是所述副圖像的視頻信號；以及視頻信號輸出單元，被配置為組合由所述第一解碼單元所獲取的主圖像 視頻信號和由所述第二解碼單元所獲取的副圖像視頻信號，以獲取組合視頻 信號，并以可用于顯示圖像的形式來輸出該組合視頻信號。
全文摘要
一種圖像信息傳輸系統(tǒng)包括圖像信息發(fā)送裝置和圖像信息接收裝置。該圖像信息發(fā)送裝置獲取主圖像傳輸數(shù)據(jù)，用于發(fā)送代表主圖像的運動圖像，該主圖像傳輸數(shù)據(jù)經(jīng)歷了包括雙向預(yù)測編碼的預(yù)定的壓縮編碼，并且該圖像信息發(fā)送裝置生成副圖像傳輸數(shù)據(jù)，用于發(fā)送將要在顯示屏幕上與主圖像一起顯示的副圖像。通過預(yù)定的網(wǎng)絡(luò)通信鏈路將主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)發(fā)送到圖像信息接收裝置。在接收到主圖像傳輸數(shù)據(jù)和副圖像傳輸數(shù)據(jù)后，圖像信息接收裝置使用與編碼處理對應(yīng)的解碼方案解碼該主圖像傳輸數(shù)據(jù)，并解碼該副圖像傳輸數(shù)據(jù)，以生成副圖像視頻信號。組合主圖像視頻信號和副圖像視頻信號，以顯示圖像。
文檔編號H04N7/26GK101188758SQ200710169380
公開日2008年5月28日 申請日期2007年11月26日 優(yōu)先權(quán)日2006年11月24日
發(fā)明者松林慶 申請人:索尼株式會社