專利名稱：信息處理設(shè)備和信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明的一個(gè)實(shí)施例涉及一種信息處理設(shè)備和一種信息處理方法，該信息處理設(shè)備被提供有HD DVD(高清數(shù)字多功能盤)播放器的功能。
背景技術(shù)：
近年來，隨著對(duì)電影圖像的數(shù)字壓縮和編碼技術(shù)的進(jìn)步，已經(jīng)開發(fā)出了一種能夠基于HD(高清)標(biāo)準(zhǔn)來處理高清畫面的再現(xiàn)設(shè)備(播放器)。
在這種播放器中，為了提高交互性，需要一種在更高空間水平來混合多個(gè)圖像數(shù)據(jù)集的功能。
例如，日本專利申請(qǐng)205092-1996中公開了這樣一種系統(tǒng)，其通過使用顯示控制器來使圖形數(shù)據(jù)和視頻數(shù)據(jù)結(jié)合。在該系統(tǒng)中，顯示控制器捕獲視頻數(shù)據(jù)并將所捕獲的視頻數(shù)據(jù)結(jié)合到作為圖形屏幕一部分的區(qū)域中。
同時(shí)，如個(gè)人計(jì)算機(jī)(PC)之類的信息處理設(shè)備一般被構(gòu)成為假設(shè)圖像以逐行模式輸出來。對(duì)于在PC中來實(shí)現(xiàn)將電影之類的畫面進(jìn)行再現(xiàn)的情況，例如可將具有24幀/秒速率的逐行模式的畫面轉(zhuǎn)換成具有30幀/秒速率的逐行模式的畫面，并將轉(zhuǎn)換后的畫面輸出。然而，以這種方法，再現(xiàn)畫面時(shí)的質(zhì)量惡化是顯著的。
另一方面，對(duì)于只能重放的裝置之類的現(xiàn)有裝置，將具有24幀/秒速率的逐行模式的畫面轉(zhuǎn)換成具有60幀/秒速率的隔行模式的畫面，并將轉(zhuǎn)換后的畫面輸出。以這種轉(zhuǎn)換方法，可在基本保持原始畫面質(zhì)量的情況下進(jìn)行再現(xiàn)。
對(duì)于PC之類的信息處理設(shè)備，需要的是能夠以比得上現(xiàn)有裝置的圖像質(zhì)量來進(jìn)行再現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種信息處理設(shè)備和信息處理方法，其能夠執(zhí)行再現(xiàn)同時(shí)基本保持原始畫面的質(zhì)量。
一般地，根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，包括用于存儲(chǔ)圖形數(shù)據(jù)的幀緩沖器；控制部分，用于執(zhí)行控制以基于逐行模式來將畫面數(shù)據(jù)中的偶數(shù)行數(shù)據(jù)和奇數(shù)行數(shù)據(jù)交替存儲(chǔ)在多個(gè)緩沖器中，并且執(zhí)行控制以停止和重新啟動(dòng)數(shù)據(jù)供應(yīng)，從而生成下拉畫面數(shù)據(jù)；以及場(chǎng)組合處理部分，用于根據(jù)由控制部分生成的畫面數(shù)據(jù)來對(duì)具有與幀緩沖器的圖像大小相適應(yīng)的分辨率的圖形數(shù)據(jù)執(zhí)行場(chǎng)組合處理。


下面將參考附圖來描述能實(shí)現(xiàn)本發(fā)明各種特征的一般體系結(jié)構(gòu)。提供附圖及其相關(guān)描述是為了舉例說明本發(fā)明實(shí)施例而并不限制本發(fā)明的范圍。
圖1是示出根據(jù)本發(fā)明實(shí)施例的再現(xiàn)設(shè)備結(jié)構(gòu)的示例框圖；圖2是示出在圖1所描述的再現(xiàn)設(shè)備中所使用的播放器應(yīng)用程序結(jié)構(gòu)的示例圖；圖3是說明由圖2所描述的播放器應(yīng)用程序?qū)崿F(xiàn)的軟件解碼器的功能結(jié)構(gòu)的示例圖；圖4是說明由在圖1所描述的再現(xiàn)設(shè)備中提供的混合處理部分來執(zhí)行的混合處理的示例圖；圖5是說明由在圖1所描述的再現(xiàn)設(shè)備中提供的GPU來執(zhí)行的混合處理的示例圖；圖6是示出如何將副視頻數(shù)據(jù)疊加到主視頻數(shù)據(jù)上并將其顯示在圖1所描述的再現(xiàn)設(shè)備中的示例圖；圖7是示出如何在圖1所描述的再現(xiàn)設(shè)備中將主視頻數(shù)據(jù)顯示在副視頻數(shù)據(jù)上的部分區(qū)域中的示例圖；圖8是示出在圖1所描述的再現(xiàn)設(shè)備中疊加基于HD標(biāo)準(zhǔn)的AV內(nèi)容中的多個(gè)圖像數(shù)據(jù)集的每一個(gè)的進(jìn)程的示例概念圖；圖9是示出關(guān)于某一控制的組成部分的示例框圖，其中所述控制通過使用GPU的功能而實(shí)現(xiàn)了能夠以比得上現(xiàn)有裝置的圖像質(zhì)量而進(jìn)行的再現(xiàn)；圖10是說明使用幀緩沖器的雙緩沖器模式的示例圖；圖11是說明存儲(chǔ)在一個(gè)幀緩沖器中的數(shù)據(jù)結(jié)構(gòu)的示例圖；圖12是說明將圖11所描述的數(shù)據(jù)寫為針對(duì)隔行模式的數(shù)據(jù)的方法的示例圖；圖13是說明由場(chǎng)合成器實(shí)現(xiàn)的處理的示例圖；圖14是示出圖13所描述的縮放處理部分的內(nèi)部結(jié)構(gòu)的實(shí)例的示例圖；圖15是說明由圖13所描述的S/W解碼器執(zhí)行的控制緩沖器的進(jìn)程的示例圖；圖16是示出如何由圖15所描述的控制來將逐行圖像下拉轉(zhuǎn)換成隔行圖像的示例圖；以及圖17是示出在縮放處理中一個(gè)具體技術(shù)實(shí)例的示例圖。
具體實(shí)施例方式
下面將參考附圖描述根據(jù)本發(fā)明的各個(gè)實(shí)施例。
圖1示出了根據(jù)本發(fā)明實(shí)施例的再現(xiàn)設(shè)備的結(jié)構(gòu)實(shí)例。該再現(xiàn)設(shè)備是一個(gè)采用了PC體系結(jié)構(gòu)的信息處理設(shè)備，并提供有再現(xiàn)音頻視頻(AV)內(nèi)容的介質(zhì)播放器的功能。將該再現(xiàn)設(shè)備實(shí)現(xiàn)為能夠基于例如HD DVD標(biāo)準(zhǔn)來對(duì)存儲(chǔ)在DVD介質(zhì)中的音頻視頻(AV)內(nèi)容進(jìn)行再現(xiàn)的HD DVD(高清數(shù)字多功能盤)播放器。
如圖1所示，該HD DVD播放器由以下部分組成中央處理器(CPU)11、北橋12、主存儲(chǔ)器13、南橋14、非易失性存儲(chǔ)器15、通用串行總線(USB)控制器17、HD DVD驅(qū)動(dòng)器18、圖形總線20、外圍元件互連(PCI)總線21、視頻控制器22、音頻控制器23、視頻解碼器25、混合處理部分30、主音頻解碼器31、副音頻解碼器32、音頻混頻器(音頻混頻)33、視頻編碼器40、諸如高清多媒體接口(HDMI)之類的AV接口(HDMI-TX)41等等。
在該HD DVD播放器中，將播放器應(yīng)用程序150和操作系統(tǒng)(OS)151預(yù)先安裝在非易失性存儲(chǔ)器15中。播放器應(yīng)用程序150是在OS151上操作的軟件，并用來控制對(duì)從HD DVD驅(qū)動(dòng)器18中讀出的AV內(nèi)容的再現(xiàn)。
存儲(chǔ)在由HD DVD驅(qū)動(dòng)器18驅(qū)動(dòng)的如HD DVD介質(zhì)之類的存儲(chǔ)介質(zhì)中的AV內(nèi)容包括經(jīng)壓縮和編碼的主視頻數(shù)據(jù)、經(jīng)壓縮和編碼的主音頻數(shù)據(jù)、經(jīng)壓縮和編碼的副視頻數(shù)據(jù)、經(jīng)壓縮和編碼的子畫面數(shù)據(jù)、包括alpha數(shù)據(jù)的圖形數(shù)據(jù)、經(jīng)壓縮和編碼的副音頻數(shù)據(jù)、控制AV內(nèi)容和其他內(nèi)容再現(xiàn)的導(dǎo)航數(shù)據(jù)。
經(jīng)壓縮和編碼的主視頻數(shù)據(jù)是通過在基于H.264/AVC標(biāo)準(zhǔn)的壓縮和編碼模式中對(duì)用作主畫面(主屏幕圖像)的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行壓縮和編碼而獲得的數(shù)據(jù)。主視頻數(shù)據(jù)是由基于HD標(biāo)準(zhǔn)的高清視頻數(shù)據(jù)形成的。而且，還可使用基于標(biāo)準(zhǔn)清晰度(SD)標(biāo)準(zhǔn)的主視頻數(shù)據(jù)。經(jīng)壓縮和編碼的主音頻數(shù)據(jù)是對(duì)應(yīng)于主視頻數(shù)據(jù)的音頻數(shù)據(jù)。對(duì)主音頻數(shù)據(jù)的再現(xiàn)與對(duì)主視頻數(shù)據(jù)的再現(xiàn)同步執(zhí)行。
經(jīng)壓縮和編碼的副視頻數(shù)據(jù)是一種子畫面(子屏幕圖像)，其在疊加到主視頻的狀態(tài)下被顯示，并由對(duì)主視頻數(shù)據(jù)進(jìn)行補(bǔ)充的運(yùn)動(dòng)圖像(如采訪電影導(dǎo)演的場(chǎng)景)形成。經(jīng)壓縮和編碼的副音頻數(shù)據(jù)是對(duì)應(yīng)于副視頻數(shù)據(jù)的音頻數(shù)據(jù)。對(duì)副音頻數(shù)據(jù)的再現(xiàn)與對(duì)副視頻數(shù)據(jù)的再現(xiàn)同步執(zhí)行。
圖形數(shù)據(jù)同樣也是一種子畫面(子屏幕圖像)，其在疊加到主視頻的狀態(tài)下被顯示，并由例如顯示菜單對(duì)象之類的操作引導(dǎo)所需的各種數(shù)據(jù)(高級(jí)元素)形成。每個(gè)高級(jí)元素都由靜止圖像、運(yùn)動(dòng)圖像(包括動(dòng)畫)或文本組成。播放器應(yīng)用程序150具有畫圖功能，可以根據(jù)用戶的鼠標(biāo)操作來畫圖。由該畫圖功能所畫的圖像也被用作圖形數(shù)據(jù)，并可在疊加到主視頻上的狀態(tài)下被顯示。
經(jīng)壓縮和編碼的子畫面數(shù)據(jù)包括字幕之類的文本。
導(dǎo)航數(shù)據(jù)包括用來控制內(nèi)容的再現(xiàn)次序的播放列表以及用來控制副視頻、圖形(高級(jí)元素)等的再現(xiàn)的腳本。用XML之類的標(biāo)記語言寫入腳本。
基于HD標(biāo)準(zhǔn)的主視頻數(shù)據(jù)具有例如1920×1080象素或1280×720象素的分辨率。而且，副視頻數(shù)據(jù)、子畫面數(shù)據(jù)和圖形數(shù)據(jù)的每一個(gè)都具有例如720×480象素的分辨率。
在該HD DVD播放器中，將主視頻數(shù)據(jù)、主音頻數(shù)據(jù)、副視頻數(shù)據(jù)、副音頻數(shù)據(jù)和子畫面數(shù)據(jù)從讀出自HD DVD驅(qū)動(dòng)器18的HD DVD流中分離出來的分離處理以及對(duì)副視頻數(shù)據(jù)、子畫面數(shù)據(jù)和圖形數(shù)據(jù)進(jìn)行解碼的解碼處理是通過軟件(播放器應(yīng)用程序150)來執(zhí)行的。另一方面，需要很大吞吐量的處理，即解碼主視頻數(shù)據(jù)的處理、解碼主音頻數(shù)據(jù)和副音頻數(shù)據(jù)等的解碼處理都是由硬件執(zhí)行的。
CPU 11是一個(gè)被提供來控制該HD DVD播放器的操作的處理器，并且其用來執(zhí)行從非易失性存儲(chǔ)器15裝載到主存儲(chǔ)器13的OS 151和播放器應(yīng)用程序150。主存儲(chǔ)器13中的一部分存儲(chǔ)區(qū)域被用作視頻存儲(chǔ)器(VRAM)131。應(yīng)當(dāng)注意，并不是主存儲(chǔ)器13中的一部分存儲(chǔ)區(qū)域必須被用作VRAM 131，可將一個(gè)獨(dú)立于主存儲(chǔ)器13的專用存儲(chǔ)裝置用作VRAM 131。
北橋12是連接CPU 11的局域總線與南橋14的橋裝置。用來控制對(duì)主存儲(chǔ)器13的訪問的存儲(chǔ)器控制器被包括在北橋12中。此外，圖形處理單元(GPU)120也包括在該北橋12中。
GPU 120是一個(gè)圖形控制器，其通過CPU 11由寫入視頻存儲(chǔ)器(VRAM)131的數(shù)據(jù)來生成形成了圖形屏幕圖像的圖形信號(hào)，該視頻存儲(chǔ)器(VRAM)131位于主存儲(chǔ)器13的一部分存儲(chǔ)區(qū)域中。GPU 120使用諸如位塊傳送之類的圖形算法函數(shù)來生成圖形信號(hào)。例如，當(dāng)由CPU 11將圖像數(shù)據(jù)(副視頻、子畫面、圖形和光標(biāo))寫入VRAM 131中四個(gè)平面的每一個(gè)時(shí)，GPU 120通過使用位塊傳送來執(zhí)行針對(duì)每一象素將對(duì)應(yīng)于這四個(gè)平面的圖像數(shù)據(jù)進(jìn)行疊加的混合處理，從而生成圖形信號(hào)，該圖形信號(hào)是形成具有與主視頻相同分辨率(如1920×1080象素)的圖形屏幕圖像所需的。通過使用與副視頻、子畫面和圖形的每一個(gè)相對(duì)應(yīng)的alpha數(shù)據(jù)來執(zhí)行該混合處理。alpha數(shù)據(jù)是指示與該alpha數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)的每個(gè)象素透明度(或不透明度)的系數(shù)。與副視頻、子畫面和圖形的每一個(gè)相對(duì)應(yīng)的alpha數(shù)據(jù)與副視頻、子畫面和圖形的圖像數(shù)據(jù)一起存儲(chǔ)在HD DVD介質(zhì)中。即，副視頻、子畫面和圖形的每一個(gè)是由圖像數(shù)據(jù)和alpha數(shù)據(jù)形成的。
由GPU 120生成的圖形信號(hào)具有RGB彩色空間。該圖形信號(hào)的每個(gè)象素都使用數(shù)字RGB數(shù)據(jù)(24位)來表現(xiàn)。
GPU 120不僅具有生成圖形信號(hào)來形成圖形屏幕圖像的功能，還具有將對(duì)應(yīng)于所生成圖形數(shù)據(jù)的alpha數(shù)據(jù)向外輸出的功能。
具體地說，GPU 120將所生成的圖形信號(hào)作為數(shù)字RGB視頻信號(hào)向外輸出，并且還輸出與所生成的圖形信號(hào)對(duì)應(yīng)的alpha數(shù)據(jù)。alpha數(shù)據(jù)是指示所生成的圖形信號(hào)的每個(gè)象素透明度(或不透明度)的系數(shù)(8位)。GPU 120輸出具有由圖形信號(hào)(由24位組成的數(shù)字RGB視頻信號(hào))形成的alpha數(shù)據(jù)(由32位組成的RGBA數(shù)據(jù))和具有對(duì)應(yīng)于每個(gè)象素的alpha數(shù)據(jù)(8位)的圖形輸出數(shù)據(jù)。通過專用圖形總線20來將具有alpha數(shù)據(jù)(由32位組成的RGBA數(shù)據(jù))的圖形輸出數(shù)據(jù)提供給混合處理部分30。該圖形總線20是連接GPU 120和混合處理部分30的傳輸線。
如上所述，在該HD DVD播放器中，具有alpha數(shù)據(jù)的圖形輸出數(shù)據(jù)通過圖形總線20從GPU 120直接傳送到混合處理部分30。結(jié)果，不必將該alpha數(shù)據(jù)從VRAM 131通過PCI總線21等傳送到混合處理部分30，因此避免了由于alpha數(shù)據(jù)的傳送而造成的PCI總線21的通信量的增加。
如果將alpha數(shù)據(jù)從VRAM 131通過PCI總線21等傳送到混合處理部分30，則從GPU 120輸出的圖形信號(hào)和通過PCI總線21傳送的alpha數(shù)據(jù)必須在混合處理部分30中被同步，由此使得混合處理部分30的結(jié)構(gòu)變得復(fù)雜。在該HD DVD播放器中，GPU 120使圖形信號(hào)與alpha數(shù)據(jù)依照每個(gè)象素而彼此同步，并將所獲結(jié)果輸出。因此，可穩(wěn)定的實(shí)現(xiàn)圖形信號(hào)與alpha數(shù)據(jù)的同步。
南橋14控制PCI總線21中的每個(gè)裝置。而且，南橋14包括用來控制HD DVD驅(qū)動(dòng)器18的IDE(集成驅(qū)動(dòng)電子設(shè)備)控制器。另外，南橋14還具有控制非易失性存儲(chǔ)器15和USB控制器17的功能。USB控制器17控制鼠標(biāo)裝置171。用戶可操作鼠標(biāo)裝置171來選擇例如菜單。當(dāng)然，可使用遙控器來代替鼠標(biāo)裝置171。
HD DVD驅(qū)動(dòng)器18是一個(gè)用來驅(qū)動(dòng)存儲(chǔ)介質(zhì)的驅(qū)動(dòng)單元，該存儲(chǔ)介質(zhì)諸如在其中存儲(chǔ)了與HD DVD標(biāo)準(zhǔn)對(duì)應(yīng)的音頻視頻(AV)內(nèi)容的HD DVD介質(zhì)之類。
視頻控制器22與PCI總線21相連。該視頻控制器22是一個(gè)執(zhí)行與視頻解碼器25的連接的LSI。用軟件從HD DVD流中分離出來的主視頻數(shù)據(jù)流通過PCI總線21和視頻控制器22來提供給視頻解碼器25。另外，從CPU11輸出的解碼控制信息也通過PCI總線21和視頻控制器22而反饋給了視頻解碼器25。
視頻解碼器25是對(duì)應(yīng)于H.264/AVC標(biāo)準(zhǔn)的解碼器，并根據(jù)HD標(biāo)準(zhǔn)對(duì)主視頻數(shù)據(jù)進(jìn)行解碼以生成用于形成具有例如1920×1080象素分辨率的視頻屏幕圖像的數(shù)字YUV視頻信號(hào)。該數(shù)字YUV視頻信號(hào)被發(fā)送到混合處理部分30。
混合處理部分30與GPU 120和視頻解碼器25分別耦合，并且執(zhí)行將GPU 120輸出的圖形輸出數(shù)據(jù)與視頻解碼器25解碼的主視頻數(shù)據(jù)疊加在一起的混合處理。在該混合處理中，根據(jù)與圖形數(shù)據(jù)(RGB)一起從GPU 120輸出的alpha數(shù)據(jù)來執(zhí)行以象素為單位將構(gòu)成圖形數(shù)據(jù)的數(shù)字RGB視頻信號(hào)與構(gòu)成主視頻數(shù)據(jù)的數(shù)字YUV視頻信號(hào)進(jìn)行疊加的混合處理(alpha混合處理)。在這種情況下，主視頻數(shù)據(jù)被用作下層屏幕圖像，而圖形數(shù)據(jù)被用作疊加在主視頻數(shù)據(jù)上的上層屏幕圖像。
通過混合處理獲得的輸出圖像數(shù)據(jù)被提供到視頻編碼器40和AV接口(HDMI-TX)41的每一個(gè)來作為例如數(shù)字YUV視頻信號(hào)。視頻編碼器40把通過混合處理獲得的輸出圖像數(shù)據(jù)(數(shù)字YUV視頻信號(hào))轉(zhuǎn)換成成分視頻信號(hào)或S-視頻信號(hào)，并將轉(zhuǎn)換的信號(hào)輸出到諸如TV接收器之類的外部顯示裝置(監(jiān)視器)。AV接口(HDMI-TX)41把包括數(shù)字YUV視頻信號(hào)和數(shù)字音頻信號(hào)的數(shù)字信號(hào)組輸出到外部HDMI裝置。
音頻控制器23與PCI總線21相連。該音頻控制器23是一個(gè)與主音頻解碼器31和副音頻解碼器32的每一個(gè)執(zhí)行連接的LSI。用軟件從HD DVD流中分離出來的主音頻數(shù)據(jù)流通過PCI總線21和音頻控制器23來提供給主音頻解碼器31。另外，從HD DVD流中分離出來的副音頻數(shù)據(jù)流通過PCI總線21和音頻控制器23來提供給副音頻解碼器32。從CPU 11輸出的解碼控制信息也通過音頻控制器23而被提供給主音頻解碼器31和副音頻解碼器32的每一個(gè)。
主音頻解碼器31對(duì)主音頻數(shù)據(jù)進(jìn)行解碼以生成I2S(內(nèi)置集成電路聲音)格式的數(shù)字音頻信號(hào)。該數(shù)字音頻信號(hào)被提供給音頻混頻器33。通過使用多種預(yù)定壓縮和編碼模式(即多種類型的音頻壓縮擴(kuò)展裝置)中的任意一種來對(duì)主音頻數(shù)據(jù)進(jìn)行壓縮和編碼。因此，主音頻解碼器31應(yīng)具有對(duì)應(yīng)多種類型壓縮和編碼模式的解碼功能。即，主音頻解碼器31對(duì)通過多種壓縮和編碼模式中的任意一種而壓縮和編碼了的主音頻數(shù)據(jù)進(jìn)行解碼，以生成數(shù)字音頻信號(hào)。通過來自CPU11的解碼控制信息來將對(duì)應(yīng)于主音頻數(shù)據(jù)的壓縮和編碼模式通知給主音頻解碼器31。
副音頻解碼器32對(duì)副音頻數(shù)據(jù)進(jìn)行解碼以生成I2S(內(nèi)置集成電路聲音)格式的數(shù)字音頻信號(hào)。該數(shù)字音頻信號(hào)被發(fā)送到音頻混頻器33。副音頻數(shù)據(jù)也通過使用多種預(yù)定壓縮和編碼模式(即多種類型的音頻壓縮擴(kuò)展裝置)中的任意一種來被壓縮和編碼。因此，副音頻解碼器32也應(yīng)具有對(duì)應(yīng)多種類型壓縮和編碼模式的解碼功能。即，副音頻解碼器32對(duì)通過多種壓縮和編碼模式中的任意一種而壓縮和編碼了的副音頻數(shù)據(jù)進(jìn)行解碼，以生成數(shù)字音頻信號(hào)。通過來自CPU11的解碼控制信息來將對(duì)應(yīng)于副音頻數(shù)據(jù)的壓縮和編碼模式通知給副音頻解碼器32。
音頻混頻器33用來執(zhí)行把由主音頻解碼器31解碼的主音頻數(shù)據(jù)和由副音頻解碼器32解碼的副音頻數(shù)據(jù)進(jìn)行混頻以生成數(shù)字音頻輸出信號(hào)的混頻處理。該數(shù)字音頻輸出信號(hào)被提供到AV接口(HDMI-TX)41，并被轉(zhuǎn)換成模擬輸出信號(hào)而隨后被輸出到外部。
現(xiàn)在將參考圖2來描述由CPU 11執(zhí)行的播放器應(yīng)用程序150的功能結(jié)構(gòu)。
播放器應(yīng)用程序150包括多路分離(多路分離器)模塊、解碼控制模塊、子畫面解碼模塊、副視頻解碼模塊、圖形解碼模塊等。
多路分離模塊是用來執(zhí)行從讀取自HD DVD驅(qū)動(dòng)器18的流中分離主視頻數(shù)據(jù)、主音頻數(shù)據(jù)、子畫面數(shù)據(jù)、副視頻數(shù)據(jù)和副音頻數(shù)據(jù)的多路分離處理的軟件。解碼控制模塊是用來控制與主視頻數(shù)據(jù)、主音頻數(shù)據(jù)、子畫面數(shù)據(jù)、副視頻數(shù)據(jù)、副音頻數(shù)據(jù)和基于導(dǎo)航數(shù)據(jù)的圖形數(shù)據(jù)有關(guān)的解碼處理的軟件。
子畫面解碼模塊解碼子畫面數(shù)據(jù)。副視頻解碼模塊解碼副視頻數(shù)據(jù)。圖形解碼模塊解碼圖形數(shù)據(jù)(高級(jí)元素)。
圖形驅(qū)動(dòng)器是用來控制GPU 120的軟件。通過圖形驅(qū)動(dòng)器將解碼的子畫面數(shù)據(jù)、解碼的副視頻數(shù)據(jù)和解碼的圖形數(shù)據(jù)提供給GPU120。另外，圖形驅(qū)動(dòng)器向GPU 120發(fā)出各種類型的畫圖命令。
PCI流傳送驅(qū)動(dòng)器是用來通過PCI總線21傳送流的軟件。由PCI流傳送驅(qū)動(dòng)器將主視頻數(shù)據(jù)、主音頻數(shù)據(jù)和副音頻數(shù)據(jù)通過PCI總線21分別傳送到視頻解碼器25、主音頻解碼器31和副音頻解碼器32。
現(xiàn)在將參考圖3來描述通過由CPU 11執(zhí)行的播放器應(yīng)用程序150來實(shí)現(xiàn)的軟件解碼器的功能結(jié)構(gòu)。
如圖所示，軟件解碼器提供有數(shù)據(jù)讀取部分101、編碼中斷處理部分102、多路分離(多路分離器)部分103、子畫面解碼器104、副視頻解碼器105、圖形解碼器106、導(dǎo)航控制部分201等。
通過數(shù)據(jù)讀取部分101把存儲(chǔ)在HD DVD驅(qū)動(dòng)器18的HD DVD介質(zhì)中的內(nèi)容(主視頻數(shù)據(jù)、副視頻數(shù)據(jù)、子畫面數(shù)據(jù)、主音頻數(shù)據(jù)、副音頻數(shù)據(jù)、圖形數(shù)據(jù)和導(dǎo)航數(shù)據(jù))從HD DVD驅(qū)動(dòng)器18中讀出。分別對(duì)主視頻數(shù)據(jù)、副視頻數(shù)據(jù)、子畫面數(shù)據(jù)、主音頻數(shù)據(jù)、副音頻數(shù)據(jù)、圖形數(shù)據(jù)和導(dǎo)航數(shù)據(jù)進(jìn)行編碼。將主視頻數(shù)據(jù)、副視頻數(shù)據(jù)、子畫面數(shù)據(jù)、主音頻數(shù)據(jù)、和副音頻數(shù)據(jù)多路復(fù)用到HD DVD流中。由數(shù)據(jù)讀取部分101從HD DVD介質(zhì)中讀出的主視頻數(shù)據(jù)、副視頻數(shù)據(jù)、子畫面數(shù)據(jù)、主音頻數(shù)據(jù)、副音頻數(shù)據(jù)、圖形數(shù)據(jù)和導(dǎo)航數(shù)據(jù)被分別輸入到內(nèi)容編碼中斷處理部分102中。編碼中斷處理部分102執(zhí)行對(duì)每個(gè)數(shù)據(jù)中斷編碼的處理。中斷了編碼的導(dǎo)航數(shù)據(jù)被發(fā)送到導(dǎo)航控制部分201。另外，中斷了編碼的HD DVD流被提供到多路分離部分103。
導(dǎo)航控制部分201對(duì)導(dǎo)航數(shù)據(jù)所包括的腳本(XML)進(jìn)行分析以控制圖形數(shù)據(jù)(高級(jí)元素)的再現(xiàn)。將圖形數(shù)據(jù)提供給圖形解碼器106。圖形解碼器106由播放器應(yīng)用程序150的圖形解碼模塊構(gòu)成，并用來解碼圖形數(shù)據(jù)。
另外，導(dǎo)航控制部分201還執(zhí)行根據(jù)用戶對(duì)鼠標(biāo)裝置171的操作而移動(dòng)光標(biāo)的處理，以及響應(yīng)菜單選擇來再現(xiàn)音效的處理等。用畫圖功能來畫圖像是通過以下方式實(shí)現(xiàn)的，即由導(dǎo)航控制部分201獲取來自用戶的鼠標(biāo)裝置171的操作，在GPU 120中生成包括軌跡(即，光標(biāo)軌跡)的畫面的圖形數(shù)據(jù)，并且隨后將該數(shù)據(jù)作為與基于通過圖形解碼器106解碼的導(dǎo)航數(shù)據(jù)的圖形數(shù)據(jù)相等同的圖形數(shù)據(jù)而再次輸入給GPU 120。
多路分離器103是由播放器應(yīng)用程序150的多路分離模塊實(shí)現(xiàn)的。多路分離器103將主視頻數(shù)據(jù)、主音頻數(shù)據(jù)、副音頻數(shù)據(jù)、子畫面數(shù)據(jù)、副視頻數(shù)據(jù)等從HD DVD流中分離出來。
通過PCI總線21將主視頻數(shù)據(jù)提供給視頻解碼器25。由視頻解碼器25對(duì)主視頻數(shù)據(jù)進(jìn)行解碼。經(jīng)解碼的主視頻數(shù)據(jù)具有基于HD標(biāo)準(zhǔn)的例如1920×1080象素的分辨率，并作為數(shù)字YUV視頻信號(hào)被發(fā)送到混合處理部分30。
通過PCI總線21將主音頻數(shù)據(jù)提供給主音頻解碼器31。由主音頻解碼器31對(duì)主音頻數(shù)據(jù)進(jìn)行解碼。經(jīng)解碼的主音頻數(shù)據(jù)作為具有I2S格式的數(shù)字音頻信號(hào)被提供給音頻混頻器33。
通過PCI總線21將副音頻數(shù)據(jù)提供給副音頻解碼器32。由副音頻解碼器32對(duì)副音頻數(shù)據(jù)進(jìn)行解碼。經(jīng)解碼的副音頻數(shù)據(jù)作為具有I2S格式的數(shù)字音頻信號(hào)被提供給音頻混頻器33。
子畫面數(shù)據(jù)和副視頻數(shù)據(jù)被分別發(fā)送到子畫面解碼器104和副視頻解碼器105。子畫面解碼器104和副視頻解碼器105分別對(duì)子畫面數(shù)據(jù)和副視頻數(shù)據(jù)進(jìn)行解碼。子畫面解碼器104和副視頻解碼器105分別由播放器應(yīng)用程序150的子畫面解碼模塊和副視頻解碼模塊來實(shí)現(xiàn)。
子畫面數(shù)據(jù)、副視頻數(shù)據(jù)和圖形數(shù)據(jù)分別由子畫面解碼器104、副視頻解碼器105和圖形解碼器106來解碼，并由CPU 11寫入VRAM131。另外，對(duì)應(yīng)于光標(biāo)圖像的光標(biāo)數(shù)據(jù)也被CPU 11寫入VRAM 131。子畫面數(shù)據(jù)、副視頻數(shù)據(jù)、圖形數(shù)據(jù)和光標(biāo)數(shù)據(jù)的每一個(gè)都包括對(duì)應(yīng)每一象素的RGB數(shù)據(jù)和alpha數(shù)據(jù)(A)。
GPU 120由被CPU 11寫入VRAM 131的副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)來生成用來形成例如1920×1080象素圖形屏幕圖像的圖形輸出數(shù)據(jù)。在此情況下，通過由GPU 120的混頻器(MIX)部分121執(zhí)行的alpha混合處理來將副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)按照每個(gè)象素疊加。
該alpha混合處理使用與寫入VRAM 131的副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)的每一個(gè)相對(duì)應(yīng)的alpha數(shù)據(jù)。也就是說，被寫入VRAM 131中的副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)的每一個(gè)都由圖像數(shù)據(jù)和alpha數(shù)據(jù)形成?；祛l器(MIX)部分121根據(jù)對(duì)應(yīng)于副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)每一個(gè)的alpha數(shù)據(jù)以及由CPU 11指定的副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)每一個(gè)的位置信息來執(zhí)行混合處理，從而生成一個(gè)將副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)疊加到例如1920×1080象素的背景圖像上的圖形屏幕圖像。
對(duì)應(yīng)背景圖像每個(gè)象素的alpha值是指示該象素是透明的值，即0?？紤]一個(gè)其中將各個(gè)圖像數(shù)據(jù)集疊加在圖形屏幕圖像上的區(qū)域，由混頻器(MIX)部分121來計(jì)算與該區(qū)域?qū)?yīng)的新alpha數(shù)據(jù)。
以此方法，GPU 120由副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)生成了用來形成1920×1080象素圖形屏幕圖像的圖形輸出數(shù)據(jù)(RGB)和對(duì)應(yīng)于該圖形數(shù)據(jù)的alpha數(shù)據(jù)。應(yīng)當(dāng)注意，對(duì)于其中顯示了與副視頻數(shù)據(jù)、圖形數(shù)據(jù)、子畫面數(shù)據(jù)和光標(biāo)數(shù)據(jù)對(duì)應(yīng)的圖像之一的屏幕，生成了與一個(gè)圖形屏幕圖像對(duì)應(yīng)的圖形數(shù)據(jù)和對(duì)應(yīng)于該圖形數(shù)據(jù)的alpha數(shù)據(jù)，其中在所述圖形屏幕圖像中，只有該圖像(如720×480)被布置在1920×1080象素的背景圖像上。
通過圖形總線20來把GPU 120生成的圖形數(shù)據(jù)(RGB)和alpha數(shù)據(jù)提供給混合處理部分30。
現(xiàn)在將參考圖4來描述由混合處理部分30執(zhí)行的混合處理(alpha混合處理)。
alpha混合處理是根據(jù)附加到圖形數(shù)據(jù)(RGB)上的alpha數(shù)據(jù)(A)來將圖形數(shù)據(jù)與主視頻數(shù)據(jù)以象素為單位進(jìn)行疊加的混合處理。在此情況下，圖形數(shù)據(jù)(RGB)被用作上層表面并被疊加到視頻數(shù)據(jù)上。從GPU 120輸出的圖形數(shù)據(jù)的分辨率與從視頻解碼器25輸出的主視頻數(shù)據(jù)的分辨率相同。
假設(shè)將分辨率為1920×1080象素的主視頻數(shù)據(jù)(視頻)作為圖像數(shù)據(jù)C輸入到了混合處理部分30，并將分辨率為1920×1080象素的圖形數(shù)據(jù)作為圖像數(shù)據(jù)G輸入到了混合處理部分30?；旌咸幚聿糠?0執(zhí)行算法操作來根據(jù)分辨率為1920×1080象素的alpha數(shù)據(jù)(A)將圖像數(shù)據(jù)G以象素為單位疊加到圖像數(shù)據(jù)C上。該算法操作根據(jù)以下表達(dá)式(1)來執(zhí)行V＝α×G+(1-α)C ...(1)這里，V是通過alpha混合處理獲得的輸出圖像數(shù)據(jù)中每個(gè)象素的顏色，α是對(duì)應(yīng)于圖形數(shù)據(jù)G中每個(gè)象素的alpha值。
現(xiàn)在將參照?qǐng)D5來描述由GPU 120的MIX部分121執(zhí)行的混合處理(alpha混合處理)。
這里，假設(shè)由寫入到VRAM 131中的子畫面數(shù)據(jù)和副視頻數(shù)據(jù)來生成分辨率為1920×1080象素的圖形數(shù)據(jù)。子畫面數(shù)據(jù)和副視頻數(shù)據(jù)的每一個(gè)都具有例如720×480象素的分辨率。在此情況下，分辨率為例如720×480象素的alpha數(shù)據(jù)也與子畫面數(shù)據(jù)和副視頻數(shù)據(jù)的每一個(gè)相關(guān)聯(lián)。
例如，對(duì)應(yīng)于子畫面數(shù)據(jù)的圖像被用作上層表面，并且對(duì)應(yīng)于副視頻數(shù)據(jù)的圖像被用作下層表面。
對(duì)于一個(gè)其中把對(duì)應(yīng)于子畫面數(shù)據(jù)的圖像和對(duì)應(yīng)于副視頻數(shù)據(jù)的圖像相疊加的區(qū)域，在該區(qū)域中每個(gè)象素的顏色都是由以下的表達(dá)式(2)來獲得的G＝Go×αo+Gu(1-αo)αu...(2)
這里，G是疊加了圖像的區(qū)域中每個(gè)象素的顏色，Go是用作上層表面的子畫面數(shù)據(jù)中每個(gè)象素的顏色，αo是用作上層表面的子畫面數(shù)據(jù)中每個(gè)象素的alpha值，并且Gu是用作下層表面的副視頻數(shù)據(jù)的每個(gè)象素的顏色。
而且，對(duì)于一個(gè)其中把對(duì)應(yīng)于子畫面數(shù)據(jù)的圖像和對(duì)應(yīng)于副視頻數(shù)據(jù)的圖像相疊加的區(qū)域，在該區(qū)域中每個(gè)象素的alpha數(shù)據(jù)都是由以下的表達(dá)式(3)來獲得的α＝αo+αu×(1-αo) ...(3)這里，α是疊加了圖像的區(qū)域中每個(gè)象素的alpha值，并且αu是用作下層表面的副視頻數(shù)據(jù)中每個(gè)象素的alpha值。
以此方式，GPU 120的MIX部分121利用被用作與子畫面數(shù)據(jù)對(duì)應(yīng)的alpha數(shù)據(jù)的上層表面和與副視頻數(shù)據(jù)對(duì)應(yīng)的alpha數(shù)據(jù)的上層表面的alpha數(shù)據(jù)來將子畫面數(shù)據(jù)與副視頻數(shù)據(jù)疊加起來，從而生成了用來形成1920×1080象素的屏幕圖像的圖形數(shù)據(jù)。另外，GPU 120的MIX部分121由對(duì)應(yīng)于子畫面數(shù)據(jù)的alpha數(shù)據(jù)和對(duì)應(yīng)于副視頻數(shù)據(jù)的alpha數(shù)據(jù)來計(jì)算在用來形成1920×1080象素的屏幕圖像的圖形數(shù)據(jù)中每個(gè)象素的alpha值。
具體地說，GPU 120的MIX部分121執(zhí)行將1920×1080象素的表面(所有象素的顏色＝黑，所有象素的alpha值＝0)、具有720×480象素的副視頻數(shù)據(jù)的表面和具有720×480象素的子畫面數(shù)據(jù)的表面疊加在一起的混合處理，從而來計(jì)算用來形成1920×1080象素的屏幕圖像的圖形數(shù)據(jù)和具有1920×1080象素的alpha數(shù)據(jù)。1920×1080象素的表面被用作最底面，副視頻數(shù)據(jù)的表面被用作第二最底面，并且子畫面數(shù)據(jù)的表面被用作最高表面。
在具有1920×1080象素的屏幕圖像中，在子畫面數(shù)據(jù)和副視頻數(shù)據(jù)都不存在的區(qū)域中每個(gè)象素的顏色都是黑色。另外，在子畫面數(shù)據(jù)單獨(dú)存在的區(qū)域中每個(gè)象素的顏色與在子畫面數(shù)據(jù)中每個(gè)對(duì)應(yīng)象素的原始顏色相同。類似地，在副視頻數(shù)據(jù)單獨(dú)存在的區(qū)域中每個(gè)象素的顏色與在副視頻數(shù)據(jù)中每個(gè)對(duì)應(yīng)象素的原始顏色相同。
另外，在具有1920×1080象素的屏幕圖像中，與子畫面數(shù)據(jù)和副視頻數(shù)據(jù)都不存在的區(qū)域中的每個(gè)象素對(duì)應(yīng)的alpha值為0。在子畫面數(shù)據(jù)單獨(dú)存在的區(qū)域中的每個(gè)象素的alpha值與在子畫面數(shù)據(jù)中每個(gè)對(duì)應(yīng)象素的原始alpha值相同。類似地，在副視頻數(shù)據(jù)單獨(dú)存在的區(qū)域中每個(gè)象素的alpha值與在副視頻數(shù)據(jù)中每個(gè)對(duì)應(yīng)象素的原始alpha值相同。
圖6示出了如何將具有720×480象素的副視頻數(shù)據(jù)疊加到具有1920×1080象素的主視頻數(shù)據(jù)上并顯示。
在圖6中，通過將1920×1080象素的表面(全部象素的顏色＝黑色，全部象素的alpha值＝0)與具有720×480象素的副視頻數(shù)據(jù)的表面按照每個(gè)象素進(jìn)行疊加的混合處理來生成圖形數(shù)據(jù)。
如上所述，輸出到顯示裝置的輸出圖像數(shù)據(jù)(視頻+圖形)是通過將圖形數(shù)據(jù)和主視頻數(shù)據(jù)混合來生成的。
對(duì)于具有1920×1080象素的圖形數(shù)據(jù)，其在不存在720×480象素副視頻數(shù)據(jù)的區(qū)域中每個(gè)象素的alpha值都為0。因此，具有720×480象素的副視頻數(shù)據(jù)的區(qū)域變得透明，并因此將主視頻數(shù)據(jù)100％不透明地顯示在該區(qū)域中。
將720×480象素的副視頻數(shù)據(jù)中的每個(gè)象素以通過對(duì)應(yīng)于該副視頻數(shù)據(jù)的alpha數(shù)據(jù)所指定的透明度來顯示在主視頻數(shù)據(jù)上。例如，在具有alpha值＝1的副視頻數(shù)據(jù)中的一個(gè)象素被100％不透明地顯示，并且在該象素所對(duì)應(yīng)的主視頻數(shù)據(jù)中的象素不被顯示。
另外，如圖7所示，分辨率減小到720×480象素的主視頻數(shù)據(jù)也可被顯示在分辨率擴(kuò)展到1920×1080象素的副視頻數(shù)據(jù)的一部分區(qū)域中。
通過使用GPU 120的縮放功能和視頻解碼器25的縮放功能來實(shí)現(xiàn)圖7的顯示結(jié)構(gòu)。
具體地說，GPU 120根據(jù)來自CPU 11的指令來執(zhí)行逐漸增加副視頻數(shù)據(jù)的分辨率(屏幕大小)的縮放處理直到副視頻數(shù)據(jù)的分辨率達(dá)到1920×1080象素。通過使用象素插入來執(zhí)行該縮放處理。由于副視頻數(shù)據(jù)的分辨率增加，在1920×1080象素的圖形數(shù)據(jù)中，不存在720×480象素副視頻數(shù)據(jù)的區(qū)域(alpha值＝0的區(qū)域)將逐漸減小。結(jié)果，在被疊加到主視頻數(shù)據(jù)上時(shí)所顯示的副視頻數(shù)據(jù)的大小將逐漸增加，并且相反alpha值＝0的區(qū)域?qū)⒅饾u減小。當(dāng)副視頻數(shù)據(jù)的分辨率(圖像大小)達(dá)到1920×1080象素時(shí)，GPU 120執(zhí)行將720×480象素的表面(全部象素的顏色＝黑色，全部象素的alpha值＝0)與具有1920×1080象素的副視頻數(shù)據(jù)的表面按照每個(gè)象素進(jìn)行疊加的混合處理，從而將alpha值＝0的一個(gè)720×480象素的區(qū)域布置在1920×1080象素的副視頻數(shù)據(jù)上。
另一方面，視頻解碼器25根據(jù)來自CPU 11的指令來執(zhí)行將主視頻數(shù)據(jù)的分辨率減小到720×480象素的縮放處理。
減小到720×480象素的主視頻數(shù)據(jù)被顯示在alpha值＝0的一個(gè)720×480象素的區(qū)域中，該區(qū)域布置在1920×1080象素的副視頻數(shù)據(jù)上。也就是說，從GPU 120輸出的alpha數(shù)據(jù)也可被用作一個(gè)掩膜，用以限制其中顯示了主視頻數(shù)據(jù)的區(qū)域。
由于可以這種方式用軟件自由地控制從GPU 120輸出的alpha數(shù)據(jù)，所以可將圖形數(shù)據(jù)有效地疊加到主視頻數(shù)據(jù)上并顯示，從而容易地實(shí)現(xiàn)對(duì)具有高交互性的畫面的表現(xiàn)。另外，由于可將alpha數(shù)據(jù)與圖形數(shù)據(jù)一起自動(dòng)地從GPU 120傳送到混合處理部分30，所以軟件不必具有能夠感知alpha數(shù)據(jù)像混合處理部分30傳送的功能。
圖8是示例概念圖，其示出由如上所描述來操作的GPU 120和混合處理部分30來對(duì)由該HD DVD播放器所再現(xiàn)的基于HD標(biāo)準(zhǔn)的AV內(nèi)容中多個(gè)圖像數(shù)據(jù)集的每一個(gè)進(jìn)行疊加的進(jìn)程。
在HD標(biāo)準(zhǔn)中，定義了5個(gè)層，即層1到層5，并且上述光標(biāo)、圖形、子畫面、副視頻和主視頻分別位于每個(gè)層。另外，如圖8所示，該HD DVD播放器執(zhí)行將層1到層5中的層1到層4的4個(gè)圖像a1到a4進(jìn)行疊加的處理來作為GPU 120的混頻器部分121中的預(yù)處理，并且執(zhí)行將該GPU 120的輸出圖像與層5的圖像a5進(jìn)行疊加的處理來作為混合處理部分30中的后處理，從而產(chǎn)生了目標(biāo)圖像a6。
當(dāng)以這種方式把根據(jù)HD標(biāo)準(zhǔn)定義的層1到5的5組圖像數(shù)據(jù)的疊加分成兩個(gè)階段時(shí)，該HD DVD播放器將負(fù)荷適當(dāng)?shù)胤峙洹Ａ硗?，?的主視頻是一個(gè)高清畫面，并且每個(gè)幀都必須以30幀/秒的速度更新。因此，在用來處理該主視頻的混合處理部分30中，必須以30次/秒來執(zhí)行疊加。另一方面，由于對(duì)于層1到層4的光標(biāo)、圖形、子畫面和副視頻來說不需要像主視頻那么高的圖像質(zhì)量，所以在GPU120中的混頻器部分121中以10次/秒來執(zhí)行疊加就足夠了。如果在混合處理部分30中與層5的主視頻一起執(zhí)行層1到4的光標(biāo)、圖形、子畫面、副視頻的疊加，則對(duì)于層1到4的每一個(gè)都以30次/秒來執(zhí)行疊加，即超出必須執(zhí)行20次/秒。其次，也就是說該HD DVD播放器適當(dāng)?shù)靥岣吡诵省?br> 雖然將層1到4的光標(biāo)、圖形、子畫面和副視頻從播放器應(yīng)用程序150提供到了GPU 120，但是如圖8所示，播放器應(yīng)用程序150具有光標(biāo)畫圖管理器107和表面管理/定時(shí)控制器108，以及具有上述子畫面解碼器104、副視頻解碼器105和圖形解碼器(元素解碼器)106，從而將每個(gè)圖像數(shù)據(jù)提供給該GPU 120。
光標(biāo)畫圖管理器107作為導(dǎo)航控制部分201的一個(gè)功能來實(shí)現(xiàn)，并執(zhí)行光標(biāo)畫圖控制以響應(yīng)于用戶進(jìn)行的鼠標(biāo)裝置171的操作來移動(dòng)光標(biāo)。另一方面，表面管理/定時(shí)控制器108執(zhí)行定時(shí)控制來適當(dāng)?shù)仫@示由子畫面解碼器104解碼的子畫面數(shù)據(jù)的圖像。
應(yīng)當(dāng)注意，畫圖中的光標(biāo)控制表示了根據(jù)鼠標(biāo)裝置171的操作而從USB控制器17發(fā)出的用于光標(biāo)移動(dòng)的控制數(shù)據(jù)。ECMA腳本指定了一個(gè)腳本，其中寫入了命令畫點(diǎn)、畫線、畫圖形符號(hào)等的畫圖API。iHD標(biāo)記是以標(biāo)記語言寫入的文本數(shù)據(jù)，用來在適時(shí)的基礎(chǔ)上顯示各種高級(jí)元素。
另外，GPU 120具有縮放處理部分122、亮度鍵處理部分123和3D圖形引擎124，以及混合器部分121。
縮放處理部分122執(zhí)行關(guān)于圖7中所描述的縮放處理。亮度鍵處理部分123執(zhí)行將亮度值不大于閾值的象素的alpha值設(shè)置為0的亮度鍵處理，從而移除在圖像中的背景(黑色)。3D圖形引擎124執(zhí)行圖形數(shù)據(jù)的生成處理，包括產(chǎn)生一個(gè)用于畫圖功能的圖像(包括光標(biāo)軌跡的畫面)。
如圖8所示，該HD DVD播放器執(zhí)行關(guān)于層2到4的圖像a2到a4的縮放處理，并且另外還執(zhí)行關(guān)于層4的圖像a4的亮度鍵處理。另外，在該HD DVD播放器中，這些縮放處理和亮度鍵處理的每一個(gè)都不是通過GPU 120單獨(dú)執(zhí)行的，而是在(由混頻器部分121)執(zhí)行混合處理時(shí)與該混合處理同步執(zhí)行的。對(duì)于播放器應(yīng)用程序150，要求縮放處理和亮度鍵處理與混合處理同步。如果通過GPU 120單獨(dú)地執(zhí)行縮放處理或亮度鍵處理，則需要用來臨時(shí)存儲(chǔ)縮放處理后的圖像或亮度鍵處理后的圖像的中間緩沖器，并且必須在該中間緩沖器和GPU 120之間傳送數(shù)據(jù)。另一方面，在執(zhí)行所謂流水線處理的HD DVD播放器中，即通過所述流水線處理使縮放處理部分122、亮度鍵處理部分123和混頻器部分121彼此相關(guān)聯(lián)的啟動(dòng)，即在GPU 120中根據(jù)需要將縮放處理部分122的輸出輸入到亮度鍵處理部分123中、并根據(jù)需要將亮度鍵處理部分123的輸出輸入到混頻器部分121中，該HD DVD中不需要中間緩沖器，并且也不會(huì)發(fā)生中間緩沖器與GPU 120之間的數(shù)據(jù)傳送。即，在這一點(diǎn)上該HD DVD也實(shí)現(xiàn)了效率的適當(dāng)提高。
應(yīng)當(dāng)注意，圖8所示的象素緩沖器管理器153是一個(gè)用來對(duì)象素緩沖器的分配執(zhí)行管理的中間設(shè)備，其中所述象素緩沖器被用作工作區(qū)，該工作區(qū)用于通過使用3D圖像引擎124來由鼠標(biāo)操作來畫圖像或用于畫例如由元素解碼器106進(jìn)行操作指導(dǎo)的對(duì)象。為了進(jìn)一步通過驅(qū)動(dòng)器來優(yōu)化分配管理，將象素緩沖器管理器153插入到該驅(qū)動(dòng)器和使用該象素緩沖器的主機(jī)系統(tǒng)之間，其中所述驅(qū)動(dòng)器準(zhǔn)備在軟件中將象素緩沖器用作硬件。
如上所述，在該HD DVD播放器中，通過把以HD標(biāo)準(zhǔn)定義的層1到5的5個(gè)圖像數(shù)據(jù)集的疊加分成兩個(gè)階段可以實(shí)現(xiàn)適當(dāng)?shù)呢?fù)荷分配并實(shí)現(xiàn)效率提高，并且通過與混合處理同步地執(zhí)行縮放處理或亮度鍵處理可以實(shí)現(xiàn)效率的進(jìn)一步提高。
下面將描述各種圖像數(shù)據(jù)中的副視頻數(shù)據(jù)。
圖9是示出關(guān)于某一控制的組成部分的示例框圖，其中所述控制通過使用GPU 120的功能而實(shí)現(xiàn)了能夠以比得上現(xiàn)有裝置的圖像質(zhì)量而進(jìn)行的再現(xiàn)。
圖形管理器50執(zhí)行對(duì)圖形處理的控制，所述圖形處理包括關(guān)于如光標(biāo)、圖形、子畫面或副視頻之類的各個(gè)層的圖像數(shù)據(jù)的混合處理，以形成圖形屏幕圖像。
副視頻解碼器51對(duì)應(yīng)于圖8中解碼器105，并用來執(zhí)行對(duì)提供給它的副視頻數(shù)據(jù)的解碼處理。視頻后處理管理器52提供在副視頻解碼器51和圖形管理器50之間，并用來對(duì)已解碼的副視頻數(shù)據(jù)執(zhí)行必要的后處理并隨后輸出處理過的數(shù)據(jù)。場(chǎng)合成器53提供在視頻后處理管理器52中，并用來對(duì)要通過圖形管理器50提供到稍后要描述的幀緩沖器中的副視頻數(shù)據(jù)執(zhí)行場(chǎng)組合處理等。由該場(chǎng)合成器53實(shí)現(xiàn)的處理將在下面做詳細(xì)描述。
圖10是說明了使用幀緩沖器的雙緩沖器模式的示圖。
構(gòu)成雙緩沖器的幀緩沖器(A)和幀緩沖器(B)交替存儲(chǔ)和輸出由GPU 120生成的圖形數(shù)據(jù)，并且通過圖形管理器50來控制它們。例如，圖形管理器50切換第一狀態(tài)和第二狀態(tài)，在第一狀態(tài)中停止將副視頻數(shù)據(jù)寫入幀緩沖器(A)并執(zhí)行向幀緩沖器(B)的寫入，而在第二狀態(tài)中停止將副視頻數(shù)據(jù)寫入幀緩沖器(B)并以例如每1/30秒的速度執(zhí)行向幀緩沖器(A)的寫入。
圖11是說明了存儲(chǔ)在一個(gè)幀緩沖器中的數(shù)據(jù)配置的示圖。
幀緩沖器具有1920×1080象素的圖像大小，并能用于存儲(chǔ)適于以隔行模式再現(xiàn)畫面的圖形數(shù)據(jù)和適于逐行模式下的畫面再現(xiàn)的圖形數(shù)據(jù)。為了應(yīng)對(duì)隔行模式，圖11中所描述的偶數(shù)行中的數(shù)據(jù)必須被一同寫作圖12所示的用于隔行模式的前場(chǎng)(top field)中的數(shù)據(jù)，并且圖11中所描述的奇數(shù)行中的數(shù)據(jù)必須被一同寫作圖12所示的用于隔行模式的后場(chǎng)(bottom field)中的數(shù)據(jù)。執(zhí)行了這種將數(shù)據(jù)寫作如圖12所描述的形式可以形成基于隔行模式的圖形屏幕圖像。在此情況下，每1/60秒讀出前場(chǎng)的數(shù)據(jù)，并且同樣每1/60秒讀出后場(chǎng)的數(shù)據(jù)。結(jié)果，每1/30秒生成一個(gè)對(duì)應(yīng)于一幀的圖像。
圖13是說明了由場(chǎng)合成器實(shí)現(xiàn)的處理的示圖。
S/W解碼器61是由軟件實(shí)現(xiàn)的解碼器，其執(zhí)行控制來將基于逐行模式的所提供畫面數(shù)據(jù)中的偶數(shù)行數(shù)據(jù)和奇數(shù)行數(shù)據(jù)以24幀/秒的速度存儲(chǔ)到多個(gè)緩沖器中，并且還控制數(shù)據(jù)供應(yīng)的停止和重新開始，從而生成具有30幀/秒的下拉畫面數(shù)據(jù)。
緩沖器a、b、c和d由S/W解碼器61控制并用于生成下拉畫面數(shù)據(jù)。應(yīng)當(dāng)注意緩沖器d并非必須。
縮放處理部分62執(zhí)行縮放處理來作為由場(chǎng)組合處理部分63執(zhí)行的場(chǎng)組合處理的預(yù)處理，該縮放處理用來增加根據(jù)S/W解碼器61的控制而從多個(gè)緩沖器生成的畫面數(shù)據(jù)的分辨率(例如從720×480象素增加到1920×1080象素的處理)。
場(chǎng)組合處理部分63以經(jīng)縮放處理部分62進(jìn)行縮放的畫面數(shù)據(jù)為基礎(chǔ)，對(duì)具有適于幀緩沖器64的圖像大小的分辨率的圖形數(shù)據(jù)執(zhí)行場(chǎng)組合處理。即，該場(chǎng)組合處理部分63形成了適于隔行模式下的畫面再現(xiàn)的圖形數(shù)據(jù)。
幀緩沖器64存儲(chǔ)由場(chǎng)組合處理部分63形成的圖形數(shù)據(jù)。該圖形數(shù)據(jù)具有圖12中所示的那樣的數(shù)據(jù)結(jié)構(gòu)，并適于隔行模式下的畫面再現(xiàn)。
圖14是示出圖13中所描述的縮放處理部分62的內(nèi)部結(jié)構(gòu)的示例示圖。
縮放處理部分62具有前場(chǎng)數(shù)據(jù)縮放處理部分71和后場(chǎng)數(shù)據(jù)縮放處理部分72。前場(chǎng)數(shù)據(jù)縮放處理部分71接收用于前場(chǎng)的數(shù)據(jù)來執(zhí)行縮放處理并將經(jīng)過縮放處理的數(shù)據(jù)提供給下一階段的后場(chǎng)數(shù)據(jù)縮放處理部分。后場(chǎng)數(shù)據(jù)縮放處理部分72接收用于后場(chǎng)的數(shù)據(jù)來執(zhí)行縮放處理，把經(jīng)過該縮放處理的數(shù)據(jù)與從前一階段饋送來的經(jīng)過縮放處理的用于前場(chǎng)的數(shù)據(jù)結(jié)合起來，并將該結(jié)合數(shù)據(jù)作為副視頻屏幕輸出。
圖15是說明由圖13所描述的S/W解碼器61執(zhí)行的控制緩沖器a、b和c的進(jìn)程的示例圖。
S/W解碼器61以這樣的方式進(jìn)行控制，即在生成第一幀的過程中將緩沖器a中和緩沖器b中的各個(gè)數(shù)據(jù)集提供到幀緩沖器一側(cè)。類似的，在生成第二幀的過程中，以這樣的方式進(jìn)行控制，即把緩沖器a中和緩沖器b中的各個(gè)數(shù)據(jù)集提供到幀緩沖器一側(cè)。在生成第三幀的過程中，以這樣的方式進(jìn)行控制，即把緩沖器c中和緩沖器b中的各個(gè)數(shù)據(jù)集提供到幀緩沖器一側(cè)。類似的，在生成第四幀的過程中，把緩沖器c中和緩沖器b中的各個(gè)數(shù)據(jù)集提供到幀緩沖器一側(cè)。在完成對(duì)第四幀的處理時(shí)S/W解碼器61臨時(shí)停止操作，并隨后以這樣的方式進(jìn)行控制，即在生成第五幀的過程中將緩沖器a中和緩沖器b中的各個(gè)數(shù)據(jù)集提供到幀緩沖器一側(cè)。之后，重復(fù)相同的進(jìn)程。
圖16是示出如何由圖15所描述的控制來將逐行圖像下拉轉(zhuǎn)換成隔行圖像的示例圖。
例如，假設(shè)每1/24秒順序提供逐行圖像A、B、C和D。在此情況下，根據(jù)這四個(gè)幀可以每1/30秒生成5個(gè)隔行圖像。
第一幀的隔行圖像是通過把用于圖像A的前場(chǎng)的數(shù)據(jù)和用于圖像A的后場(chǎng)的數(shù)據(jù)結(jié)合起來而獲得的。第二幀的隔行圖像是通過把用于圖像B的前場(chǎng)的數(shù)據(jù)和用于圖像B的后場(chǎng)的數(shù)據(jù)結(jié)合起來而獲得的。第三幀的隔行圖像是通過把用于圖像B的前場(chǎng)的數(shù)據(jù)和用于圖像C的后場(chǎng)的數(shù)據(jù)結(jié)合起來而獲得的。第四幀的隔行圖像是通過把用于圖像C的前場(chǎng)的數(shù)據(jù)和用于圖像D的后場(chǎng)的數(shù)據(jù)結(jié)合起來而獲得的。第五幀的隔行圖像是通過把用于圖像D的前場(chǎng)的數(shù)據(jù)和用于圖像D的后場(chǎng)的數(shù)據(jù)結(jié)合起來而獲得的。
圖17是示出在縮放處理中一個(gè)具體技術(shù)實(shí)例的示例圖。
在執(zhí)行1920×1080象素的數(shù)據(jù)與720×480象素的數(shù)據(jù)之間的縮放處理的情況下，例如執(zhí)行圖17所示的這種數(shù)據(jù)分配。即，通過將根據(jù)用于前場(chǎng)的數(shù)據(jù)和后場(chǎng)的數(shù)據(jù)來形成一個(gè)場(chǎng)的這種轉(zhuǎn)換處理與不執(zhí)行這種轉(zhuǎn)換處理的處理適當(dāng)?shù)亟Y(jié)合來形成整個(gè)圖像，從而實(shí)現(xiàn)期望的縮放處理。
如上所述，根據(jù)本實(shí)施例，在PC之類的信息處理設(shè)備中，可根據(jù)隔行模式，使用諸如GPU的功能來再現(xiàn)具有比得上現(xiàn)有裝置的畫面質(zhì)量的畫面。
雖然對(duì)本發(fā)明的某些實(shí)施例進(jìn)行了描述，但這些實(shí)施例只是通過舉例的方式呈現(xiàn)，并不限制本發(fā)明的范圍。事實(shí)上，可以以各種其他形式來實(shí)現(xiàn)這里所描述的新方法和系統(tǒng)；而且，在不超出本發(fā)明精神的情況下可對(duì)這里所描述的方法和系統(tǒng)作出各種省略、替換和改變。所附權(quán)利要求及其等同物意在覆蓋落入本發(fā)明范圍和精神內(nèi)的形式和修改。
權(quán)利要求
1.一種信息處理設(shè)備，其特征在于包括幀緩沖器(64)，其用于存儲(chǔ)圖形數(shù)據(jù)；控制部分(61)，其用于執(zhí)行控制來根據(jù)逐行模式將畫面數(shù)據(jù)中的偶數(shù)行數(shù)據(jù)和奇數(shù)行數(shù)據(jù)交替存儲(chǔ)在多個(gè)緩沖器(a、b、c)中，并且執(zhí)行控制來停止和重新啟動(dòng)數(shù)據(jù)供應(yīng)，從而生成下拉畫面數(shù)據(jù)；以及場(chǎng)組合處理部分(63)，其用于根據(jù)由所述控制部分(61)生成的畫面數(shù)據(jù)來對(duì)具有與所述幀緩沖器(64)的圖像大小相適應(yīng)的分辨率的圖形數(shù)據(jù)執(zhí)行場(chǎng)組合處理。
2.如權(quán)利要求1所述的設(shè)備，其特征在于進(jìn)一步包括縮放處理部分(62)，其用于執(zhí)行縮放處理來作為由所述場(chǎng)組合處理部分(63)執(zhí)行的場(chǎng)組合處理的預(yù)處理，所述縮放處理用來增加由所述控制部分(61)生成的畫面數(shù)據(jù)的分辨率。
3.如權(quán)利要求1所述的設(shè)備，其特征在于所述場(chǎng)組合處理部分(63)形成了適于隔行模式下的畫面再現(xiàn)的圖形數(shù)據(jù)。
4.如權(quán)利要求1所述的設(shè)備，其特征在于所述控制部分(61)是由軟件的解碼器實(shí)現(xiàn)的。
5.如權(quán)利要求1所述的設(shè)備，其特征在于所述幀緩沖器(64)存儲(chǔ)了適于隔行模式下的畫面再現(xiàn)的圖形數(shù)據(jù)。
6.如權(quán)利要求1所述的設(shè)備，其特征在于所述幀緩沖器(64)被構(gòu)成為用于存儲(chǔ)適于隔行模式下的畫面再現(xiàn)的圖形數(shù)據(jù)和適于逐行模式下的畫面再現(xiàn)的圖形數(shù)據(jù)二者。
7.一種信息處理方法，其特征在于包括步驟執(zhí)行控制來根據(jù)逐行模式將畫面數(shù)據(jù)中的偶數(shù)行數(shù)據(jù)和奇數(shù)行數(shù)據(jù)交替存儲(chǔ)在多個(gè)緩沖器(a、b、c)中，并且執(zhí)行控制來停止和重新啟動(dòng)數(shù)據(jù)供應(yīng)，從而生成下拉畫面數(shù)據(jù)；以及根據(jù)所述生成的畫面數(shù)據(jù)來對(duì)圖形數(shù)據(jù)執(zhí)行場(chǎng)組合處理，所述圖形數(shù)據(jù)具有與構(gòu)成來存儲(chǔ)圖形數(shù)據(jù)的幀緩沖器(64)的圖像大小相適應(yīng)的分辨率。
8.如權(quán)利要求7所述的方法，其特征在于進(jìn)一步包括執(zhí)行用來增加所述生成的畫面數(shù)據(jù)的分辨率的縮放處理步驟來作為所述場(chǎng)組合處理的預(yù)處理。
9.如權(quán)利要求7所述的方法，其特征在于所述場(chǎng)組合處理步驟包括形成了適于隔行模式下的畫面再現(xiàn)的圖形數(shù)據(jù)。
10.如權(quán)利要求7所述的信息處理方法，其特征在于所述控制是由軟件的解碼器實(shí)現(xiàn)的。
全文摘要
根據(jù)一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，其包括用于存儲(chǔ)圖形數(shù)據(jù)的幀緩沖器(64)；控制部分(61)，用于執(zhí)行控制來根據(jù)逐行模式將畫面數(shù)據(jù)中的偶數(shù)行數(shù)據(jù)和奇數(shù)行數(shù)據(jù)交替存儲(chǔ)在多個(gè)緩沖器(a、b、c)中，并且執(zhí)行控制來停止和重新啟動(dòng)數(shù)據(jù)供應(yīng)，從而生成下拉畫面數(shù)據(jù)；以及場(chǎng)組合處理部分(63)，用于根據(jù)由控制部分(61)生成的畫面數(shù)據(jù)來對(duì)具有與幀緩沖器(64)的圖像大小相適應(yīng)的分辨率的圖形數(shù)據(jù)執(zhí)行場(chǎng)組合處理。
文檔編號(hào)G09G5/14GK101042849SQ20071008692
公開日2007年9月26日 申請(qǐng)日期2007年3月22日 優(yōu)先權(quán)日2006年3月22日
發(fā)明者久野真司 申請(qǐng)人:株式會(huì)社東芝