專利名稱：使用－色彩信息數(shù)據(jù)結(jié)構(gòu)來(lái)處理圖像信息的策略的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理圖像信息的策略，尤其涉及使用確保圖像信息的色彩內(nèi)容被準(zhǔn)確再現(xiàn)再現(xiàn)的改進(jìn)技術(shù)來(lái)處理圖像信息的策略。
背景技術(shù)：
人類視覺(jué)依賴于響應(yīng)極低亮度的視網(wǎng)膜感光桿細(xì)胞，以及響應(yīng)色彩的視網(wǎng)膜感光錐細(xì)胞。錐細(xì)胞通常響應(yīng)于可見(jiàn)電磁頻譜的三個(gè)部分，稱為長(zhǎng)波(例如通常對(duì)應(yīng)于紅色)、中波(例如通常對(duì)應(yīng)于綠色)和短波(例如通常對(duì)應(yīng)于藍(lán)色)。這樣，所有色彩可被表示為至少三種不同色彩成分(component)的不同組合。一般而言，色彩本身是在頻譜可見(jiàn)部分中電磁輻射的物理方面以及用來(lái)處理該信息的視覺(jué)相關(guān)和大腦“機(jī)制”發(fā)生的復(fù)雜現(xiàn)象。例如，人類視覺(jué)對(duì)光的強(qiáng)度比對(duì)光的色彩(色度)成分更敏感。
再現(xiàn)彩色圖像的電子裝置通過(guò)提供三類光源來(lái)補(bǔ)充人類視覺(jué)的三原色特性。這三類光源對(duì)人類觀察者產(chǎn)生像對(duì)不同色彩所感受的不同頻譜響應(yīng)。例如，陰極射線管(CRT)提供紅綠藍(lán)磷光劑來(lái)產(chǎn)生不同色彩。其它技術(shù)不使用磷光劑，但以其它方式使用發(fā)出至少三種光的光源來(lái)再現(xiàn)色彩。
The Commission Internationale de (CIE)已陳述將光線的光譜特性映射成不同感知色彩的整個(gè)系統(tǒng)。與之相關(guān)地，術(shù)語(yǔ)“匹配函數(shù)”指用統(tǒng)計(jì)學(xué)方法列出“平均”觀察者對(duì)每個(gè)波長(zhǎng)中一組參考燈的響應(yīng)曲線。對(duì)于紅綠藍(lán)，這些函數(shù)分別表示為r(w)、g(w)和b(w)，其中“w”表示波長(zhǎng)。這樣的參考燈-或色彩元-定義裝置用來(lái)再現(xiàn)具有色彩內(nèi)容的圖像信息的光源(通常監(jiān)視磷光劑)。術(shù)語(yǔ)“色彩空間”指由一組色彩元和匹配函數(shù)定義的規(guī)范。
一抽象色彩規(guī)范可用上述數(shù)學(xué)方法把三元色度映射成不同色彩。然而，已開(kāi)發(fā)了眾多特定編碼系統(tǒng)以確?？蓱?yīng)用于實(shí)際應(yīng)用中的更有效編碼方案，諸如色彩圖像信息的傳輸和呈現(xiàn)。本行業(yè)中首先面對(duì)的實(shí)際應(yīng)用是模擬電視信號(hào)的廣播和呈現(xiàn)。最近的應(yīng)用包括數(shù)字視頻信息在諸如TCP/IP網(wǎng)絡(luò)(例如因特網(wǎng))的網(wǎng)絡(luò)上的傳輸和呈現(xiàn)。此外，除了標(biāo)準(zhǔn)清晰度(SD)視頻信息之外，本行業(yè)現(xiàn)在提供高清晰度(HD)視頻信息的傳輸和呈現(xiàn)。因而編碼系統(tǒng)的特性常常被回溯到本行業(yè)在某些時(shí)候面對(duì)的某些問(wèn)題。
不管其方法如何，編碼系統(tǒng)解決了在再現(xiàn)具有色彩內(nèi)容的圖像信息中產(chǎn)生的一些共同問(wèn)題。以下討論提供對(duì)編碼系統(tǒng)可能以一種形式或另一種形式解決的共同問(wèn)題的縱覽。(對(duì)于術(shù)語(yǔ)，術(shù)語(yǔ)“圖像信息”在本說(shuō)明書(shū)中表示可向用戶顯示的任何信息；該術(shù)語(yǔ)被廣泛用來(lái)包括靜態(tài)圖像信息和動(dòng)態(tài)視頻信息。)·色彩空間及相關(guān)描述色彩可使用三種成分來(lái)指定。依賴于使用不同色彩成分傳輸色彩內(nèi)容的圖像流被稱為成分視頻。一通用編碼方法使用紅綠藍(lán)(RGB)成分來(lái)指定色彩。更正式地，RGB成分描述創(chuàng)建感覺(jué)上與給定頻譜等價(jià)的色彩的參考燈的比例強(qiáng)度。例如，R成分可如下定義R=∫300nm700nmL(w)r(w)dw]]>其中L(w)對(duì)應(yīng)于一給定頻譜，而r(w)對(duì)應(yīng)于該色彩空間的匹配函數(shù)r(w)。一般而言，RGB色彩空間可由與其色彩元及其白點(diǎn)相關(guān)聯(lián)的色度值來(lái)指定。白點(diǎn)指與參考白色相關(guān)聯(lián)的色度。
計(jì)算機(jī)監(jiān)視器通常使用RGB模型來(lái)向用戶呈現(xiàn)色彩內(nèi)容。然而，RGB編碼模型可能對(duì)圖像信息傳輸是低效選擇。因此，圖像信息通常使用某些不同于RGB的編碼模型來(lái)傳輸給目標(biāo)裝置。在接收后，例如使用3×3仿射轉(zhuǎn)換該圖像信息可被轉(zhuǎn)換到RGB色彩空間用于顯示。如將在標(biāo)題“γ描述”下所述，每個(gè)R、G、或B組件數(shù)據(jù)還可根據(jù)其預(yù)γ校正形式一分別稱為R’、G’和B’值-來(lái)表達(dá)。(通常，按慣例，’表示本說(shuō)明書(shū)中的非線性信息。)本方面中一通用手段是通過(guò)參考亮度相關(guān)成分(Y)和色度相關(guān)成分來(lái)定義色彩。亮度通常指感受到的光線強(qiáng)度(亮度)。亮度可用預(yù)γ校正形式(如“γ描述”下所述)來(lái)表達(dá)以產(chǎn)生其非線性對(duì)應(yīng)體，稱為“l(fā)uma(亮度)”(Y’)。色度成分定義與luma相關(guān)的圖像信息的色彩內(nèi)容。例如，在數(shù)字領(lǐng)域中，符號(hào)“Cb”對(duì)應(yīng)于差值B’-Y’的n比特整數(shù)的按比例表示(通常是8比特值的-127～128范圍)，而符號(hào)“Cr”對(duì)應(yīng)于差值R’-Y’的n比特整數(shù)的按比例表示。符號(hào)“Pb”指Cb的模擬對(duì)應(yīng)體，而符號(hào)“Pr”指Cr的模擬對(duì)應(yīng)體。符號(hào)‘Pb’和‘Pr’還可指帶有額定范圍[-0.5...0.5]的Cb或Cr的數(shù)字歸一化形式。由CbCr和PbPr定義的成分圖像信息在表示非線性信息時(shí)可被正式地加上單引號(hào)(例如Cb’Cr’和Pb’Pr’)。
色彩內(nèi)容也可作為合成視頻(而非上述成分視頻)傳送。合成信號(hào)將亮度和色度信息組合在一個(gè)信號(hào)中。例如，在編碼系統(tǒng)Y’UV中，U代表B-Y的比例版本而V代表R-Y的比例版本。然后處理這些亮度和色度成分以提供單個(gè)信號(hào)(例如，以全國(guó)電視系統(tǒng)委員會(huì)(NTSC)制式或逐行倒相(PAL)制式中陳述的方式)。編碼系統(tǒng)Y’IQ定義通過(guò)以指定方式轉(zhuǎn)換U和V成分而形成的另外的合成編碼系統(tǒng)。一般而言，歷史上本行業(yè)曾推進(jìn)使用Y相關(guān)的色彩空間(Y’CbCr、Y’PbPr、YUV、YIQ等)，因?yàn)榕c在RGB色彩空間中表達(dá)的圖像信息相比，在這些色彩空間中可較簡(jiǎn)便地實(shí)現(xiàn)色彩圖像信息的縮減。
通常使用一個(gè)或多個(gè)矩陣仿射變換來(lái)把色彩內(nèi)容從一個(gè)色彩空間轉(zhuǎn)換成另一色彩空間是可能的。更正式地，條件等色(metamerism)的屬性使得根據(jù)另一組匹配函數(shù)來(lái)表達(dá)一組色彩空間系數(shù)成為可能(其中“條件等色”指映射到同一組色彩空間系數(shù)的兩個(gè)光譜，因而顯現(xiàn)為感覺(jué)上相同一即看上去像同一色彩)。
·γ描述陰極射線管(CRT)不具有線性響應(yīng)轉(zhuǎn)換函數(shù)。換言之，施加到CRT的電壓和CRT所產(chǎn)生的亮度的關(guān)系無(wú)法定義為線性函數(shù)。更具體地，CRT的預(yù)測(cè)理論響應(yīng)具有與5/2冪法則成比例的響應(yīng)；即對(duì)于給定輸入電壓“V”，CRT的結(jié)果亮度“L”可被計(jì)算為L(zhǎng)＝V2.5。
在應(yīng)用中，通常圖像信息的源(諸如視頻照相機(jī))通過(guò)將轉(zhuǎn)換函數(shù)應(yīng)用于圖像信息來(lái)預(yù)先補(bǔ)償圖像信息。該“轉(zhuǎn)換函數(shù)”約是CRT亮度響應(yīng)的逆函數(shù)。應(yīng)用于源上的該轉(zhuǎn)換函數(shù)-通常稱為編碼轉(zhuǎn)換函數(shù)-產(chǎn)生“經(jīng)γ校正”的非線性圖像信息。當(dāng)非線性信號(hào)通過(guò)顯示裝置傳遞時(shí)，產(chǎn)生線性亮度。根據(jù)上述概念，非線性(或預(yù)先補(bǔ)償)圖像信息通過(guò)向其成分加單引號(hào)來(lái)標(biāo)注，例如Y’Cb’Cr’。
通常以非線性(預(yù)先補(bǔ)償)形式來(lái)傳送圖像信息。接收儀器的顯示裝置(例如CRT)由于其內(nèi)在非線性可補(bǔ)償編碼傳輸函數(shù)以提供適當(dāng)?shù)慕?jīng)轉(zhuǎn)換色彩內(nèi)容用于消費(fèi)。
通常調(diào)整編碼傳輸函數(shù)的指數(shù)以考慮圖像信息可能被查看的條件。例如，在常規(guī)電視上顯示的視頻信息通常在家庭設(shè)置里普遍的微暗觀看環(huán)境中呈現(xiàn)，而在常規(guī)計(jì)算機(jī)顯示器上顯示的圖像信息通常在辦公室設(shè)置里普遍的明亮觀看環(huán)境中呈現(xiàn)。不同的轉(zhuǎn)換函數(shù)調(diào)整適于這些不同的觀看環(huán)境。因此，電視視頻源通常使用基于圖像信息將在微暗觀看條件下呈現(xiàn)的內(nèi)在假設(shè)的轉(zhuǎn)換函數(shù)。這表示由該源應(yīng)用的轉(zhuǎn)換函數(shù)通常將不足補(bǔ)償CRT的內(nèi)在非線性。
作為另一特定考慮因素，使用轉(zhuǎn)換函數(shù)的圖像信息編碼通常將一特定近似函數(shù)應(yīng)用于該函數(shù)的低壓部分。即，編碼技術(shù)通常提供該部分的線性段以減少成像傳感器中的噪音效應(yīng)。該段被稱為“線性尾部”(linear tail)，具有一經(jīng)定義的“底腳斜率”(toe slope)。
·與亮度信息相關(guān)的色度信息的采樣和對(duì)齊如上所述，人類視覺(jué)對(duì)光線強(qiáng)度比光線的色度成分更敏感。編碼系統(tǒng)利用了這個(gè)事實(shí)來(lái)減少相對(duì)亮度信息(Y’)量的經(jīng)編碼的色度(Cb’Cr’)信息量。該技術(shù)被稱為色度子采樣。通常表示為L(zhǎng):M:N的數(shù)字概念可被用來(lái)表達(dá)該采樣策略，其中“L”表示亮度成分(Y’)的采樣參考因子，而“M”和“N”指相對(duì)于亮度采樣(Y’)的色度采樣(例如分別為Cb和Cr)。例如符號(hào)4:4:4可表示其中每個(gè)亮度樣本有一個(gè)色度樣本的Y’CbCr數(shù)據(jù)。符號(hào)4:2:2可表示其中每?jī)蓚€(gè)亮度樣本有一個(gè)色度樣本的Y’CbCr數(shù)據(jù)(水平地)。符號(hào)4:2:0可表示其中對(duì)亮度樣本的每個(gè)2×2集群有一個(gè)色度樣本的Y’CbCr數(shù)據(jù)。符號(hào)4:1:1可表示其中每四個(gè)亮度樣本有一個(gè)色度樣本的Y’CbCr數(shù)據(jù)(水平地)。
在編碼策略提供比色度信息多的亮度信息的那些環(huán)境中，解碼器可通過(guò)基于所提供的色度信息執(zhí)行內(nèi)插來(lái)重建“丟失的”色度信息。更一般地，縮減采樣(downsampling)指任何產(chǎn)生比初始圖像樣本集更少的圖像樣本的技術(shù)。增長(zhǎng)采樣(upsampling)指任何產(chǎn)生比初始圖像樣本集更多的圖像樣本的技術(shù)。因而，上述內(nèi)插定義一類增長(zhǎng)采樣。
編碼策略還指定色度樣本在空間上與對(duì)應(yīng)亮度樣本“對(duì)齊”的方式。各編碼策略在這方面有所不同。某些策略將色度樣本與亮度樣本對(duì)齊使色度樣本直接位于亮度樣本“之上”。這稱為cositing(對(duì)齊)。其它策略將色度樣本填入亮度樣本的兩維數(shù)組內(nèi)的空位上。圖10-12(在下面討論)示出用于呈現(xiàn)亮度和色度信息的不同采樣和對(duì)齊策略。
·量化描述量化指一種將離散數(shù)值分配到色彩成分的信號(hào)幅度上的方法。在數(shù)字領(lǐng)域中，各數(shù)值以指定步驟跨越色彩空間值的指定范圍(整個(gè)范圍)。例如通常使用255個(gè)步驟用于描述每個(gè)成分值從而每個(gè)成分可假設(shè)一從0到255的值。通常使用8個(gè)比特來(lái)表達(dá)每個(gè)色彩值，盡管色彩也可使用更高精度(比如10個(gè)比特)或更低精度來(lái)表達(dá)。
編碼策略通常將一些部分分配在量化色階范圍的兩端，用于分別表示黑色色階和白色色階。即，編碼策略將常定義一參考黑色色階和一參考白色色階，但也將編碼色階分配到這些參考色階之外用于表達(dá)在參考黑白色階之外搖擺的值。例如，一8比特編碼策略可將色階16分配給黑色而將色階235分配給白色。剩余的比16低的色階定義所謂“底腳空間”而剩下的比235高的色階定義所謂“頂部空間”。
·隔行掃描表示對(duì)漸進(jìn)式表示描述常規(guī)電視信號(hào)是以隔行掃描方式掃描的。在隔行掃描中，步驟視頻幀的第一字段稍后是視頻幀的第二字段(例如1/50或1/60秒之后)。第二字段相對(duì)第一字段有一微量垂直偏移，從而使第二字段捕捉在第一字段掃描行之間的空隙內(nèi)的信息。所謂擺動(dòng)隔行掃描是一類眾所周知的隔行掃描策略。完整的視頻幀通過(guò)快速順序地呈現(xiàn)第一和第二字段組成，從而在人類觀看者感覺(jué)它們是單個(gè)信息幀。
然而，計(jì)算機(jī)監(jiān)視器和其它呈現(xiàn)設(shè)備以漸進(jìn)式而非隔行掃描方式顯示圖像信息。因而，為了使一裝置在計(jì)算機(jī)監(jiān)視器上呈現(xiàn)隔行掃描信息，它必須通過(guò)內(nèi)插反向字段的數(shù)據(jù)(稱為“解除隔行掃描(deinterlace)”的過(guò)程)來(lái)以隔行掃描字段速率顯示漸進(jìn)式幀。例如，為了顯示隔行掃描字段，它必須通過(guò)檢查兩側(cè)字段來(lái)把“丟失的”數(shù)據(jù)插入各行之間的空位。非隔行掃描圖像格式被稱為“漸進(jìn)式”格式。
有關(guān)每一個(gè)以上主題的其它信息可在眾多介紹性文本中找到，諸如CharlesPoyton著名的“數(shù)字視頻和HDTV”(“Digital Video and HDTV”)。
結(jié)合上述復(fù)雜性，本行業(yè)提供了用于呈現(xiàn)圖像信息的大量不同正式標(biāo)準(zhǔn)。各標(biāo)準(zhǔn)由眾多機(jī)構(gòu)和協(xié)會(huì)公布，包括國(guó)際電信同盟(ITU)、歐洲廣播聯(lián)盟(EBU)(也推廣數(shù)字視頻廣播或DVB)、音頻工程協(xié)會(huì)(AES)、高級(jí)電視系統(tǒng)委員會(huì)(ATSC)、電影與電視工程師學(xué)會(huì)(SMPTE)、順序五彩電視系統(tǒng)(SECAM)、全國(guó)電視系統(tǒng)委員會(huì)(NTSC)等。
每個(gè)這些機(jī)構(gòu)都創(chuàng)立來(lái)自上述可能編碼選項(xiàng)鄰域中編碼特征的特定組合。這樣，如本發(fā)明人所理解的，各標(biāo)準(zhǔn)一般在其定義和應(yīng)用上不同色彩元；轉(zhuǎn)換函數(shù)；預(yù)期觀看條件；轉(zhuǎn)換矩陣；底腳空間和頂部空間的規(guī)范；色度子采樣和對(duì)齊策略等。色彩元(與白點(diǎn)參考一起)定義一標(biāo)準(zhǔn)的基本色彩空間。轉(zhuǎn)換函數(shù)確定該標(biāo)準(zhǔn)如何在線性圖像信息和非線性信息之間轉(zhuǎn)換。計(jì)預(yù)期觀看條件定義該標(biāo)準(zhǔn)所作對(duì)可能消費(fèi)圖像信息的觀看環(huán)境的假設(shè)(諸如電視將在家庭環(huán)境微暗燈光下觀看的假設(shè))。觀看條件改變圖像信息的有效的γ、亮度(黑色色階)以及對(duì)比度(白色色階)。轉(zhuǎn)換矩陣確定該標(biāo)準(zhǔn)如何在不同色彩空間之間轉(zhuǎn)換(例如從Y’YbYr到RGB色彩空間)。頭部空間和底腳空間規(guī)范確定該標(biāo)準(zhǔn)分配的表示黑色和白色范圍的量化色階。色度子采樣和對(duì)齊策略指定色度信息被子采樣并相對(duì)亮度信息放置的方式。
現(xiàn)有的標(biāo)準(zhǔn)相關(guān)文檔以嚴(yán)格細(xì)節(jié)來(lái)陳述每種標(biāo)準(zhǔn)的要求。代表性標(biāo)準(zhǔn)包括·ITU-R Recommendation BT.470是提供模擬和單色電視裝置的規(guī)范的國(guó)際標(biāo)準(zhǔn)。
·ITU-R Recommendation BT.601是定義圖像信息的演播室數(shù)字編碼的國(guó)際標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)使用圖像信息的Y’CbCr編碼。
·ITU-R Recommendation BT.709是定義高清晰度視頻信息的演播室編碼的國(guó)際標(biāo)準(zhǔn)。高清晰度(HD)內(nèi)容表示比標(biāo)準(zhǔn)清晰度(SD)高的視頻內(nèi)容，通常為1920×1080、1280×720等。
·SMPTE 170M是定義合成模擬視頻信息的編碼的一種標(biāo)準(zhǔn)(例如NTSC)。
·SMPTE 240M是定義模擬高清晰度視頻信息的編碼的一種標(biāo)準(zhǔn)。
·IEC 61966-2-1(sRGB)是用于使用8比特量化方案把圖像信息編碼成255個(gè)級(jí)的一種標(biāo)準(zhǔn)。
·IEC 61966-2-2(scRGB)是定義sRGB線性形式的一種標(biāo)準(zhǔn)，大大擴(kuò)展了sRGB的色彩范圍。
·ISO/IEC 13818(MPEG-2)是以壓縮形式編碼音頻和視頻信號(hào)的一種標(biāo)準(zhǔn)。
·ISO 10918-1(JPEG)是用于有損壓縮靜態(tài)圖像信息的一種標(biāo)準(zhǔn)。
當(dāng)今使用的編碼標(biāo)準(zhǔn)的多樣性使得在圖像信息的編碼、傳送和處理中有很多困難。作為縱覽，與特定裝置相關(guān)聯(lián)的視頻處理管線常被設(shè)計(jì)成處理具有已定義格式化的特定類信號(hào)；在此限定作用中，這些裝置可準(zhǔn)確地以可靠方式處理圖像信息。然而，在當(dāng)今使用的更廣泛圖像信息領(lǐng)域的環(huán)境中，這些裝置可能缺乏用于解釋其它類圖像信息的色彩格式化，并通過(guò)管線可靠地傳播該格式化信息的機(jī)制。更精確地，視頻管線可接收定義應(yīng)用于所接收?qǐng)D像信息的色彩格式化的某些方面的信息，但如本發(fā)明人所理解的，視頻管線可能缺乏可靠地把該色彩信息沿管線傳播到管線中的下游組件的適當(dāng)機(jī)制。結(jié)果，該格式化信息“丟失”或“被丟棄”。下游組件可通過(guò)“猜想”格式化信息來(lái)解決有關(guān)色彩格式化信息的缺乏問(wèn)題。當(dāng)組件猜想得不準(zhǔn)確時(shí)，管線以不太理想的甚至是不準(zhǔn)確的方式產(chǎn)生圖像信息。
圖1被呈現(xiàn)為用于進(jìn)一步解釋以上可能問(wèn)題的一種手段。圖1示出視頻處理管線100的高級(jí)表示。管線100包括由輸入階段102、處理階段104和輸出階段106定義的常規(guī)處理階段。對(duì)于輸入階段102，輸入源108表示圖像信息的任意源。源108一般可包括新捕捉的圖像信息(例如由照相機(jī)或掃描儀創(chuàng)建)，或通過(guò)某些通道(例如從盤(pán)接收的、經(jīng)IP網(wǎng)絡(luò)等)提供給輸入階段102的先前捕捉的圖像信息。在前一情形中，捕捉處理功能110可對(duì)從源108接收的圖像信息執(zhí)行任何類型的預(yù)處理。在后一情形中，解碼功能112執(zhí)行任一類型的基于流的信息提取和解壓以生成圖像數(shù)據(jù)。一般而言，這種處理可包括從所接收信息的音頻信息中分離圖像信息、結(jié)壓縮信息等。對(duì)于處理階段104，處理功能114對(duì)結(jié)果圖像信息執(zhí)行任何類型的處理，諸如把多個(gè)圖像信息流混合在一起成為一合成信號(hào)。對(duì)于輸出階段，輸出處理功能116代表在向輸出裝置118的輸出做準(zhǔn)備的過(guò)程中對(duì)經(jīng)處理圖像信息執(zhí)行的任何類型的處理。輸出裝置118可代表電視、計(jì)算機(jī)監(jiān)視器等。輸出裝置還可代表存儲(chǔ)裝置。此外，輸出“裝置”(或輸出功能116)可提供為在裝置上存儲(chǔ)或經(jīng)網(wǎng)絡(luò)發(fā)布準(zhǔn)備信息的壓縮和格式化功能(諸如多路傳輸器)。
圖1中底部一行的框總結(jié)了已知系統(tǒng)的上述缺點(diǎn)。框120指出管線功能(110、112、114、116)，未能準(zhǔn)確解釋?xiě)?yīng)用于輸入信號(hào)的色彩格式化和/或未能沿管線把色彩信息可靠地傳播到下游組件。例如，管線100可接收已用指定格式化編碼的圖像信息。所接收的信息可包括標(biāo)識(shí)所使用格式化特征的某些字段，或者這些特征可基于接收信息的其它警告屬性而導(dǎo)出。然而由于使用中的標(biāo)準(zhǔn)太多，管線100的初始階段缺乏用于適當(dāng)解釋該信息并將其傳遞給視頻管線100的下游組件的功能。結(jié)果，該編碼信息立即丟失。這可導(dǎo)致圖像信息被傳送到下游組件卻沒(méi)有該組件應(yīng)如何解釋該圖像信息的方針；實(shí)際上它僅僅是1和0而已。
框122示出視頻管線100處理以上困難的方式。即，缺乏如何解釋圖像信息中色彩內(nèi)容的指導(dǎo)的功能組件常常作如何解釋它的“猜想”。部分猜想是準(zhǔn)確的而其它則不準(zhǔn)確。僅列舉一些示例，視頻管線可作出有關(guān)已應(yīng)用于圖像信息的轉(zhuǎn)換函數(shù)(可能基于圖像尺寸)的不準(zhǔn)確假設(shè)、圖像信息中固有的光線條件假設(shè)、由圖像信息使用的色度子采樣方案(基于數(shù)據(jù)格式)等。
框124示出可能的不正確猜想序列。即，不正確猜想可導(dǎo)致非最佳的或不正確的顯示質(zhì)量。圖像顯示可顯現(xiàn)為具有“不自然”色彩或具有動(dòng)態(tài)假象?；蛘咚娠@現(xiàn)為“對(duì)比度”過(guò)大、失真、裁切不正等。
因此需要一種用于處理具有色彩內(nèi)容的圖像信息的更令人滿意的技術(shù)。

發(fā)明內(nèi)容
根據(jù)一示例性實(shí)現(xiàn)，描述一種用于處理具有以指定格式表達(dá)的色彩內(nèi)容的圖像信息的方法。該方法包括(a)提供一種包含定義指定格式至少一方面的色彩信息的色彩信息數(shù)據(jù)結(jié)構(gòu)；(b)將該色彩信息數(shù)據(jù)結(jié)構(gòu)以及圖像信息傳遞給用于處理圖像信息的至少一個(gè)功能組件；以及(c)基于色彩信息數(shù)據(jù)結(jié)構(gòu)中的色彩信息在上述至少一個(gè)功能組件上處理圖像信息。
根據(jù)另一示例性特征，色彩信息數(shù)據(jù)結(jié)構(gòu)包括(a)一視頻轉(zhuǎn)換函數(shù)字段，它傳送有關(guān)用于把線性圖像信息轉(zhuǎn)換成非線性圖像信息和/或反之的轉(zhuǎn)換函數(shù)的信息；(b)一色彩元字段，它傳送與圖像信息相關(guān)聯(lián)的色彩元；(c)一圖像光線字段，它傳送與圖像信息相關(guān)聯(lián)的預(yù)期觀看條件；(d)一轉(zhuǎn)換矩陣字段，它可被用來(lái)更改圖像信息的色彩空間；(e)一名義范圍字段，它傳送有關(guān)與圖像信息相關(guān)聯(lián)的底腳空間和頂部空間的信息；以及(f)一視頻色度采樣字段，它指示在圖像信息中的色度樣本被采樣并相對(duì)相關(guān)聯(lián)亮度樣本對(duì)齊的方式。
根據(jù)另一示例性特征，上述至少一個(gè)功能組件屬于定義視頻處理管線的一組功能組件，其中色彩信息數(shù)據(jù)結(jié)構(gòu)在視頻處理管線中往下傳遞為下游功能組件使用。
根據(jù)另一示例性特征，上述至少一個(gè)功能組件還確定指定格式的至少一個(gè)其它方面，并將該至少一個(gè)其它方面添加到色彩信息數(shù)據(jù)結(jié)構(gòu)中的至少一個(gè)未知字段中。
根據(jù)另一示例性特征，上述色彩信息數(shù)據(jù)結(jié)構(gòu)的傳遞包括使用現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的未使用字段來(lái)傳遞該色彩信息數(shù)據(jù)。
根據(jù)另一示例性特征，該方法還包括設(shè)置一標(biāo)記，它表示上述指示一個(gè)功能組件有能力處理色彩信息數(shù)據(jù)結(jié)構(gòu)。
所描述的用于處理圖像信息的另一示例性方法包括(a)提供圖像信息的一主視頻流；(b)提供圖像信息的一個(gè)次視頻流；以及(c)基于在色彩信息數(shù)據(jù)結(jié)構(gòu)中指定的色彩信息執(zhí)行涉及主視頻流和次視頻流的至少兩個(gè)任務(wù)以產(chǎn)生以指定色彩空間表達(dá)的輸出視頻信息。
所描述的用于處理圖像信息的另一示例性方法包括(a)將亮度相關(guān)色彩空間中的輸入圖像信息轉(zhuǎn)換成RGB相關(guān)色彩空間內(nèi)的線性圖像信息；(b)對(duì)RGB相關(guān)色彩空間中的線性圖像信息執(zhí)行處理以生成經(jīng)處理信息；以及(c)將經(jīng)處理信息轉(zhuǎn)換成亮度相關(guān)色彩空間內(nèi)的非線性圖像信息。
根據(jù)上述方法的另一示例性特征，轉(zhuǎn)換還包括在處理操作之前將輸入圖像信息從隔行掃描格式轉(zhuǎn)換成漸進(jìn)式格式，以及在處理之后將經(jīng)處理信息從漸進(jìn)式格式之后成隔行掃描格式。
其它示例性實(shí)現(xiàn)如下所述。


圖1示出一示例性視頻管線及其相關(guān)問(wèn)題。
圖2示出一改進(jìn)示例性視頻管線，它具有處理提供色彩信息的數(shù)據(jù)結(jié)構(gòu)的功能。
圖3是示出使用圖2中引入的數(shù)據(jù)結(jié)構(gòu)來(lái)處理圖像信息的示例性方法的流程圖。
圖4是示出用于將圖像信息轉(zhuǎn)換成漸進(jìn)式線性RGB格式，然后對(duì)該格式的圖像信息執(zhí)行處理的新技術(shù)的框圖。
圖5示出用于圖2系統(tǒng)的示例性數(shù)據(jù)結(jié)構(gòu)的縱覽。
圖6-12示出圖5數(shù)據(jù)結(jié)構(gòu)可引用的各種示例性格式化信息。
圖13示出用于實(shí)現(xiàn)圖2一般特征的一示例性系統(tǒng)。
圖14是示出圖13系統(tǒng)操作的示例性方法的流程圖。
圖15和16示出可在圖13系統(tǒng)中采用的示例性合成功能的細(xì)節(jié)。
最后，圖17示出用于實(shí)現(xiàn)圖2所示系統(tǒng)各方面以及下列等等的示例性計(jì)算環(huán)境。
相同標(biāo)號(hào)在本說(shuō)明書(shū)和附圖中使用以引用類似組件和特征。系列100標(biāo)號(hào)指原來(lái)在圖1中發(fā)現(xiàn)的特征，系列200標(biāo)號(hào)指原來(lái)在圖2中發(fā)現(xiàn)的特征，系列300標(biāo)號(hào)指原來(lái)在圖3中發(fā)現(xiàn)的特征等等。
具體實(shí)施例方式
以下描述了用于改進(jìn)具有色彩內(nèi)容的圖像信息的處理的示例的機(jī)制和過(guò)程。廣而言之，這些機(jī)制和過(guò)程提供一種捕捉有關(guān)已應(yīng)用于圖像信息的色彩格式化的信息的數(shù)據(jù)結(jié)構(gòu)。該信息被稱為“色彩信息”，而該數(shù)據(jù)結(jié)構(gòu)本身被稱為“色彩信息(CI)數(shù)據(jù)結(jié)構(gòu)”。在一示例性情形中，色彩信息可具體地包括傳送與圖像信息相關(guān)聯(lián)的以下信息的字段轉(zhuǎn)換函數(shù)信息；色彩元信息；視頻光線信息；轉(zhuǎn)換矩陣信息；名義范圍信息；以及色度子采樣信息。字段的這個(gè)組合旨在是說(shuō)明性的而非限制性的。其它實(shí)現(xiàn)可包括其它字段，可略去以上標(biāo)識(shí)的某些字段等。
視頻處理管線使用色彩信息以便于圖像信息的處理。例如，色彩信息可指定管線內(nèi)的功能組件應(yīng)變換圖像信息的方式。此外，與已知系統(tǒng)顯著不同的是，該視頻管線包括用于將CI數(shù)據(jù)結(jié)構(gòu)沿管線往下傳遞使管線中下游組件能從該CI數(shù)據(jù)結(jié)構(gòu)中提取信息的功能。從而這種措施減少了視頻管線將作有關(guān)圖像信息本性的不準(zhǔn)確猜想的機(jī)會(huì)；因此，這種措施有可能改進(jìn)顯示圖像的質(zhì)量。
根據(jù)另一示例性特征，管線內(nèi)組件可包括用于獨(dú)立解釋圖像信息的功能。在組件能可靠地確定色彩格式化的先前未指定的色彩相關(guān)方面的那些實(shí)例中，該組件可將該信息添加到CI數(shù)據(jù)結(jié)構(gòu)中。然后該補(bǔ)充色彩信息變成對(duì)視頻管線中的下游組件可用，而下游組件由可通過(guò)添加新信息來(lái)補(bǔ)充該CI數(shù)據(jù)結(jié)構(gòu)。因而，當(dāng)色彩信息數(shù)據(jù)結(jié)構(gòu)通過(guò)管線傳遞并收集來(lái)自管線內(nèi)組件的能導(dǎo)出應(yīng)用于圖像信息格式化的不同屬性的信息時(shí)，它就變得更加“富有信息”了。
根據(jù)另一示例性特征，色彩信息旨在提供一種傳送有關(guān)可用于編碼圖像信息的大量可能格式的信息的“容器”。因此，該CI數(shù)據(jù)結(jié)構(gòu)可被示為一類通用接口，使視頻管線通過(guò)翻譯由該CI數(shù)據(jù)結(jié)構(gòu)傳送的色彩信息而能接受任何類型的圖像信息并進(jìn)行正確處理。
根據(jù)另一示例性特征，CI數(shù)據(jù)結(jié)構(gòu)使用一種特別有效的方案來(lái)將各種各樣有關(guān)不同格式標(biāo)準(zhǔn)的信息封裝在少數(shù)信息比特中。在一示例性情形中，數(shù)據(jù)結(jié)構(gòu)將各種各樣的色彩信息封裝在少數(shù)字中(例如在16比特結(jié)構(gòu)、24比特結(jié)構(gòu)等中)。
根據(jù)另一示例性特征，系統(tǒng)可通過(guò)采用在視頻管線中使用的一個(gè)或多個(gè)現(xiàn)有數(shù)據(jù)結(jié)構(gòu)中提供的未使用字段來(lái)傳送CI數(shù)據(jù)結(jié)構(gòu)。這允許使用這種現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的系統(tǒng)無(wú)需系統(tǒng)的昂貴和復(fù)雜重組就可使用色彩信息。此外，如果這些系統(tǒng)并未被設(shè)置成處理該CI數(shù)據(jù)結(jié)構(gòu)但它仍然出現(xiàn)在饋入該系統(tǒng)的輸入信息中，這些系統(tǒng)無(wú)需受到“破壞”就可安全地略去CI數(shù)據(jù)結(jié)構(gòu)。
根據(jù)另一示例性特征，亮度相關(guān)色彩空間中的隔行掃描圖像信息(例如Y’Cb’Cr’)可被轉(zhuǎn)換到線性和漸進(jìn)式的RGB色彩空間。然后可在線性/漸進(jìn)式RGB色彩空間內(nèi)對(duì)圖像信息執(zhí)行各種處理(諸如重新調(diào)節(jié)大小等)。然后圖像信息可被轉(zhuǎn)換回亮度相關(guān)色彩空間(例如Y’Pb’Pr’)用于輸出(例如用于在電視上顯示)。在線性/漸進(jìn)式RGB空間中對(duì)亮度相關(guān)信息的處理104與其它方法不同，它不將圖像信息轉(zhuǎn)換到中間線性RGB色彩空間中用來(lái)以上述方式進(jìn)行處理。
還有其它特征和附加優(yōu)點(diǎn)在以下詳細(xì)說(shuō)明書(shū)中進(jìn)行詳細(xì)描述。
對(duì)于術(shù)語(yǔ)，術(shù)語(yǔ)“圖像信息”旨在包括任何類型的可由用戶以任何可視形式消費(fèi)的信息。圖像信息可表示以任何格式表達(dá)的信息，諸如模擬格式、數(shù)字格式、或數(shù)字和模擬格式的組合。圖像信息可表示靜態(tài)圖像信息(例如數(shù)字照片)和/或動(dòng)態(tài)信息(例如視頻信息)。預(yù)期還有其它變體可使用術(shù)語(yǔ)圖像信息。
術(shù)語(yǔ)“色彩信息”表示描述圖像信息的色彩內(nèi)容的任何信息。例如，當(dāng)圖像信息以指定格式來(lái)表達(dá)色彩內(nèi)容時(shí)，色彩信息可傳送有關(guān)該格式的信息。術(shù)語(yǔ)“色彩信息數(shù)據(jù)結(jié)構(gòu)(CI數(shù)據(jù)結(jié)構(gòu))”指可在視頻管線內(nèi)編碼并傳送色彩信息的方式。
術(shù)語(yǔ)“視頻管線”指用于處理圖像信息的任何功能。管線包括以一個(gè)跟隨另一個(gè)的串行方式對(duì)圖像信息操作的至少兩個(gè)功能組件。
本說(shuō)明書(shū)包括以下章節(jié)。章節(jié)A描述示例性色彩信息數(shù)據(jù)結(jié)構(gòu)及其在視頻管線內(nèi)使用方式的縱覽。章節(jié)B描述可在章節(jié)A的視頻管線內(nèi)執(zhí)行的示例性轉(zhuǎn)換操作。章節(jié)C描述在章節(jié)A中定義的色彩信息數(shù)據(jù)結(jié)構(gòu)的示例性合成。章節(jié)D描述體現(xiàn)在章節(jié)A-C中陳述的各原理的視頻管線的一特定示例性實(shí)現(xiàn)。章節(jié)E描述用于實(shí)現(xiàn)在章節(jié)A-D中描述的特征各方面的示例性計(jì)算機(jī)環(huán)境。
一般而言，對(duì)于本發(fā)明的結(jié)構(gòu)化方面，在此所述的任一功能都可使用軟件、固件(例如固定邏輯電路)、手動(dòng)處理、或這些實(shí)現(xiàn)的組合來(lái)實(shí)現(xiàn)。當(dāng)在此使用時(shí)，術(shù)語(yǔ)“模塊”、“功能”和“邏輯”一般表示軟件、固件、或軟件和固件的組合。在軟件實(shí)現(xiàn)的情形中，術(shù)語(yǔ)模塊、功能、或邏輯表示在處理裝置或裝置(例如一個(gè)或多個(gè)CPU)上完成時(shí)執(zhí)行指定任務(wù)的程序代碼。程序代碼可被存儲(chǔ)于一個(gè)或多個(gè)固定的和/或可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)器裝置中。
對(duì)于本發(fā)明的過(guò)程方面，某些操作被描述為由以某個(gè)順序執(zhí)行的不同步驟組成。這種實(shí)現(xiàn)是示例性并非限制的。在此描述的某些步驟可被組合在一起并在單個(gè)操作中執(zhí)行，且某些步驟能以與本說(shuō)明書(shū)中陳述示例所采用順序不同的順序執(zhí)行。
A.示例性色彩信息(CI)數(shù)據(jù)結(jié)構(gòu)及其應(yīng)用的縱覽圖2示出采用色彩信息(CI)數(shù)據(jù)結(jié)構(gòu)202的視頻處理管線200。CI數(shù)據(jù)結(jié)構(gòu)202包含描述用來(lái)表達(dá)圖像信息204內(nèi)色彩的格式化和/或描述圖像信息如何隨后由管線處理的信息。該CI數(shù)據(jù)結(jié)構(gòu)提供統(tǒng)一的容器以接收有關(guān)大量不同色彩編碼格式的色彩信息。從而該CI數(shù)據(jù)結(jié)構(gòu)202定義一類通用接口，以無(wú)異常方式擴(kuò)展管線200可成功處理的圖像信息類型。根據(jù)另一優(yōu)點(diǎn)，視頻管線中所有功能組件可從CI數(shù)據(jù)結(jié)構(gòu)202中提取，并可能用有關(guān)圖像信息204的能導(dǎo)出這些組件的新信息來(lái)補(bǔ)充它。
視頻管線本身包括一系列處理階段，包括輸入階段206、處理階段208和輸出階段210。對(duì)于輸入階段206，輸入源212代表圖像信息204的任一源。源212通?？砂ㄐ虏蹲降膱D像信息(例如由照相機(jī)或掃描儀創(chuàng)建)，或先前捕捉的通過(guò)某些路線出現(xiàn)在輸入階段206的圖像信息，例如經(jīng)廣播傳輸(例如衛(wèi)星或電纜傳輸?shù)?接收的、經(jīng)任意類網(wǎng)絡(luò)接收的(諸如例如因特網(wǎng)的TCP/IP數(shù)字網(wǎng)絡(luò))、經(jīng)圖像信息的本地存儲(chǔ)(諸如視頻盤(pán)、本地?cái)?shù)據(jù)庫(kù)等)接收的等。輸入處理功能214被配置成對(duì)圖像信息204執(zhí)行任意類預(yù)處理，它取決于輸入源212的本性而不同(例如取決于圖像信息204是否是新捕捉的或從預(yù)先捕捉信息的某些源輸入的)。在輸入先前捕捉/存儲(chǔ)信息的情形中，處理可包括從接收信號(hào)中將圖像信息與音頻信息分離、解壓縮圖像信息等。對(duì)于處理階段208，處理功能216被配置成對(duì)已捕捉的圖像信息204執(zhí)行任何類型的處理，諸如將多個(gè)視頻信息流混合成一合成信號(hào)，對(duì)已捕捉圖像信息204執(zhí)行色彩空間轉(zhuǎn)換等。對(duì)于輸出階段210，輸出處理功能218被配置成執(zhí)行圖像信息204的任何處理以為其向輸出裝置220的輸出做準(zhǔn)備。輸出裝置可代表電視機(jī)、計(jì)算機(jī)監(jiān)視器、存儲(chǔ)裝置(遠(yuǎn)程和本地)、任何網(wǎng)絡(luò)可訪問(wèn)目標(biāo)位置等。每個(gè)功能組件(214、216、218)可在物理上被實(shí)現(xiàn)為用于執(zhí)行所屬任務(wù)的單個(gè)裝置，或以串行或并行方式耦合在一起的多個(gè)裝置。在一情形中，管線200中的組件可對(duì)應(yīng)于動(dòng)態(tài)配置的邏輯模塊(例如軟件模塊)。
每個(gè)功能組件(214、216、218)包括被配置成處理CI數(shù)據(jù)結(jié)構(gòu)202的相應(yīng)功能(222、224、226)。該功能(222、224、226)可包括用于讀取CI數(shù)據(jù)結(jié)構(gòu)202中信息、用于解釋CI數(shù)據(jù)結(jié)構(gòu)202中信息、以及用于將CI數(shù)據(jù)結(jié)構(gòu)202中的經(jīng)解釋信息應(yīng)用于圖像信息204的處理的邏輯。該功能(222、224、226)還可包括用于導(dǎo)出有關(guān)在圖像信息204中使用的色彩格式化的其它特征，以及用以將該導(dǎo)出信息提供給CI數(shù)據(jù)結(jié)構(gòu)202以填入CI數(shù)據(jù)結(jié)構(gòu)202中的先前未知字段的邏輯。例如，功能(222、224、226)可確定在使用某格式?；诖耍蓪?dǎo)出(例如通過(guò)訪問(wèn)一預(yù)定查尋表格)該標(biāo)準(zhǔn)具有某些編碼特征。然后功能(222、224、226)可提供有關(guān)這些導(dǎo)出特征的信息以填入CI數(shù)據(jù)結(jié)構(gòu)202中的先前未知字段。更具體地，在一實(shí)現(xiàn)中，管線200中的組件可自動(dòng)地將CI數(shù)據(jù)結(jié)構(gòu)202中的未知值設(shè)置為諸如0的指定值。這個(gè)動(dòng)作構(gòu)成CI數(shù)據(jù)結(jié)構(gòu)的初始化。由于這些值被設(shè)置為0，隨后的組件會(huì)注意CI數(shù)據(jù)結(jié)構(gòu)中某些值的未知性質(zhì)。然后這些組件可以自由提供丟失值(如果它們能夠這樣做的話)。箭頭228一般表示功能(222、224、226)可從CI數(shù)據(jù)結(jié)構(gòu)202提取信息。箭頭230一般表示功能(222、224、226)可添加到CI數(shù)據(jù)結(jié)構(gòu)202。圖2具體地示出功能組件214在與CI數(shù)據(jù)結(jié)構(gòu)202交互。但如上所述，該同一CI數(shù)據(jù)結(jié)構(gòu)202被沿視頻管線200傳遞下去，從而任意其它功能組件(214、216、218)可以所示方式與CI數(shù)據(jù)結(jié)構(gòu)202交互。
不同的功能組件(214、216、218)可依賴于眾多因素來(lái)對(duì)CI數(shù)據(jù)結(jié)構(gòu)202進(jìn)行不同的處理，諸如所涉及的處理階段(206、208、210)、特定應(yīng)用程序的細(xì)節(jié)、所處理的色彩格式等。
例如，與源212和輸入處理功能214相關(guān)聯(lián)的功能222有助于確定有關(guān)所接收?qǐng)D像信息104中使用的格式化標(biāo)準(zhǔn)的信息，并向CI數(shù)據(jù)結(jié)構(gòu)202提供該信息以由管線200的下游組件使用。一般而言，在新的捕捉情形中，捕捉裝置通常隱含地“知道”應(yīng)用于它所產(chǎn)生的圖像信息的格式化。另一方面，接收由某些其它源創(chuàng)建的圖像信息的裝置可通過(guò)研究與所接收?qǐng)D像信息相關(guān)聯(lián)的任何格式相關(guān)信息，或通過(guò)作邏輯或可靠猜測(cè)來(lái)確定應(yīng)用于該圖像信息的色彩格式化。以下是特定示例。例如，模擬捕捉裝置通常知道與他們所捕捉數(shù)據(jù)相關(guān)的視頻標(biāo)準(zhǔn)和色彩空間。作為另一示例，由于DVD導(dǎo)航器在解析帶有NTSC內(nèi)容的DVD的事實(shí)，它知道所處理的圖像信息204的色彩空間。作為另一示例，接收MPEG-2基本視頻流的任何捕捉裝置可導(dǎo)出所使用格式化的某些屬性，因?yàn)镸PEG-2將色彩信息明顯列在其序列顯示擴(kuò)展標(biāo)題中；例如，標(biāo)題指示與圖像信息204相關(guān)聯(lián)的元、轉(zhuǎn)換函數(shù)和轉(zhuǎn)換矩陣。作為另一示例，高清晰度(HD)數(shù)字調(diào)諧器應(yīng)知道它在傳送709色彩空間內(nèi)的HD數(shù)據(jù)等。在所有這些情形中，功能222可將它“已經(jīng)知道”所采用的色彩格式化的信息提供給CI數(shù)據(jù)結(jié)構(gòu)202以由管線200中的下游功能組件使用。在已知系統(tǒng)中，該信息被立即丟棄且因此丟失了。
管線200中的色彩空間轉(zhuǎn)換器可使用CI數(shù)據(jù)結(jié)構(gòu)202來(lái)確保對(duì)所接收的圖像信息204執(zhí)行了準(zhǔn)確的轉(zhuǎn)換操作。換言之，例如，色彩空間轉(zhuǎn)換器可使用從CI數(shù)據(jù)結(jié)構(gòu)202中收集的信息來(lái)確定所使用的轉(zhuǎn)換算法，或確定在算法中使用的設(shè)置/參數(shù)等等。
管線200中的混合器用來(lái)把不同類型的圖像信息混合在一起，其中這種信息可能使用不同的色彩格式來(lái)表達(dá)。例如，一應(yīng)用程序可能想要把數(shù)字照片和疊加圖像信息組合在一起等等。管線200可使用在CI數(shù)據(jù)結(jié)構(gòu)202中提供的增強(qiáng)式格式化信息以確保所有被組合的信息具有一通用格式(例如通用色彩空間)。這個(gè)操作可在信息由混合器接收之前例如由(與管線中混合器相關(guān))上游組件執(zhí)行。
或者該操作可被分配到圖形處理硬件。該圖形處理硬件可包括例如由視頻處理卡(如下參照?qǐng)D13討論)提供的一個(gè)或多個(gè)圖形處理單元(GPU)。在此情形中，與要組合信息相關(guān)聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202可被沿管線傳送下去直到圖形處理硬件，然后該硬件可使用CI數(shù)據(jù)結(jié)構(gòu)202把圖像信息轉(zhuǎn)換成一通用格式，從而可組合信息。在該實(shí)現(xiàn)中，依靠由CI數(shù)據(jù)結(jié)構(gòu)202提供的補(bǔ)充色彩信息，視頻管線中的驅(qū)動(dòng)器不再需要猜想哪種色彩空間或色度方案是預(yù)期的，因而減少驅(qū)動(dòng)器(或圖形處理硬件)將作不正確猜想并產(chǎn)生較差輸出結(jié)果的可能性。
總之，圖2底部行中的各框總結(jié)了應(yīng)用于視頻管線200的CI數(shù)據(jù)結(jié)構(gòu)202的使用的示例性優(yōu)點(diǎn)?？?32示出CI數(shù)據(jù)結(jié)構(gòu)202具有在管線200中往下傳遞的統(tǒng)一結(jié)構(gòu)?？?34示出管線200中的每個(gè)功能組件(214、216、218)可從CI數(shù)據(jù)結(jié)構(gòu)202提取信息，并為CI數(shù)據(jù)結(jié)構(gòu)202中的未知字段提供值。這就是說(shuō)，與已知系統(tǒng)相比較，功能組件(214、216、218)可減少或消除處理圖像信息204需要執(zhí)行的不合理猜測(cè)。框236示出該策略的最終結(jié)果可導(dǎo)致色彩再現(xiàn)的改進(jìn)質(zhì)量。即，通過(guò)減少某些不準(zhǔn)確猜測(cè)，視頻管線200將提供具有各種異常的輸出信息的可能性降低，諸如圖像具有較差對(duì)比度、圖像具有看起來(lái)不自然的色彩、圖像具有各種失真(例如動(dòng)態(tài)非自然信號(hào)、剪裁等)等。
根據(jù)另一優(yōu)點(diǎn)，如將在以下章節(jié)D中詳細(xì)解釋的，視頻管線200可使用現(xiàn)有的數(shù)據(jù)結(jié)構(gòu)來(lái)傳送CI數(shù)據(jù)結(jié)構(gòu)202。例如，CI數(shù)據(jù)結(jié)構(gòu)202可“駐留”于用來(lái)通過(guò)管線200傳送信息的現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的未使用字段?？商峁┮粯?biāo)記來(lái)發(fā)出未使用字段是否包含CI數(shù)據(jù)結(jié)構(gòu)202的信號(hào)(或者它是否包含無(wú)意義的、未指定的信息或可能缺省信息，諸如一串0)。該措施至少有兩個(gè)優(yōu)點(diǎn)。首先，現(xiàn)有尺寸的現(xiàn)有字段的使用意味著無(wú)需完全重新設(shè)計(jì)現(xiàn)有的功能組件(214、216、218)以適應(yīng)于新CI數(shù)據(jù)結(jié)構(gòu)202的使用。另外，不具有理解或解釋CI數(shù)據(jù)結(jié)構(gòu)202的能力的那些功能組件(214、216、218)不需要處理此信息。換言之，不理解CI數(shù)據(jù)結(jié)構(gòu)的組件完全不受其影響。同時(shí)，提供色彩信息的不明顯特性使這些組件能自動(dòng)地沿管線200傳遞色彩信息。換言之，色彩信息通常沒(méi)有丟失，因?yàn)樗霈F(xiàn)在現(xiàn)有的數(shù)據(jù)字段中。這使被配置成利用該色彩信息的下游組件能接收來(lái)自不知道CI的上游組件中的色彩信息。
以上討論已假設(shè)圖像信息204將基于CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息在顯示裝置中立即顯示。然而，CI數(shù)據(jù)結(jié)構(gòu)202還提供一種用于包裝與圖像信息204相關(guān)聯(lián)的色彩信息的有效技術(shù)，并因而可用作一種存檔技術(shù)以用空間有效方法來(lái)存儲(chǔ)圖像信息204和相關(guān)聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202(但仍然保留大量有關(guān)應(yīng)用于圖像信息的格式化的信息)。
更具體地，組件可被配置成自動(dòng)地將CI信息202與圖像信息204存儲(chǔ)在一起。當(dāng)后來(lái)檢索圖像信息204時(shí)，包含CI信息202的保留字段可被解包并被傳送到管線200，從而為下游組件保留了大量有關(guān)圖像信息204的色彩結(jié)構(gòu)的信息。
此外，以上討論已假設(shè)管線200中的組件可僅為管線中的下游組件提供缺少的色彩信息。然而，管線中的組件可提供該色彩信息由上游組件在其對(duì)隨后圖像信息的處理中使用。例如，考慮視頻管線被應(yīng)用于處理和呈現(xiàn)來(lái)自未知視頻源的電影的任務(wù)的情形。管線中的初始組件之一不能確定應(yīng)用于該視頻信息的格式化的某些特征，并因而在開(kāi)始時(shí)可能就未能以最優(yōu)方式處理該信息。然而，管線中后來(lái)的組件隨后導(dǎo)出已由未知視頻源應(yīng)用于視頻信息的格式化。這些下游組件可與上游組件通信以通知它隨后接收的來(lái)自同一源的信號(hào)具有指定的格式化。然后，上游組件可用更無(wú)錯(cuò)誤的方式處理視頻信息。
此外，術(shù)語(yǔ)“下游”并未必然示出系統(tǒng)內(nèi)操作的固定順序。一般而言，管線可用動(dòng)態(tài)方式創(chuàng)建以通過(guò)串聯(lián)不同的功能組件來(lái)提供對(duì)圖像信息204的需要操作。在該環(huán)境中，色彩信息可在媒體類數(shù)據(jù)結(jié)構(gòu)中提供用于在各組件之間協(xié)商。如果管線首先從“輸出端”創(chuàng)建，色彩信息將隨著組件的連接“反向”流動(dòng)。
圖3以流程圖形式描述圖2中管線200的操作。步驟302要求開(kāi)始時(shí)捕捉/輸入來(lái)自一個(gè)或多個(gè)源212的圖像信息204。步驟304要求由管線200的適當(dāng)功能組件(214、216、216)根據(jù)從CI數(shù)據(jù)結(jié)構(gòu)202收集的色彩信息來(lái)處理圖像信息204。步驟306要求有選擇地向CI數(shù)據(jù)結(jié)構(gòu)提供由管線200的適當(dāng)組件(214、216、218)導(dǎo)出的色彩信息以由視頻管線200的下游組件使用。例如，步驟304和306對(duì)應(yīng)于輸入階段206在由流程圖定義的第一個(gè)循環(huán)中執(zhí)行的處理。步驟308確定步驟304和306是否應(yīng)對(duì)視頻管線200中的下一功能組件(214、216、218)重復(fù)。圖3的過(guò)程以圖像信息204基于CI數(shù)據(jù)結(jié)構(gòu)202對(duì)輸出裝置(例如電視、計(jì)算機(jī)監(jiān)視器、存檔裝置、網(wǎng)絡(luò)目標(biāo)等)的最終輸出而結(jié)束。
B.示例性轉(zhuǎn)換操作圖4示出使用圖2的視頻管線200或在另一類管線的環(huán)境中轉(zhuǎn)換圖像信息204的轉(zhuǎn)換操作400。圖4因此進(jìn)一步擴(kuò)展了色彩信息202在視頻管線內(nèi)的使用。圖4所示的其它特征示出即使不使用色彩信息202情況的視頻處理領(lǐng)域內(nèi)的進(jìn)步。即，作為縱覽，圖4示出一種用于將以亮度相關(guān)色彩空間(例如Y’Cb’Cr’)表達(dá)的圖像信息轉(zhuǎn)換到線性漸進(jìn)式RGB空間，然后對(duì)線性漸進(jìn)式RGB數(shù)據(jù)執(zhí)行某些處理的技術(shù)。此后，該技術(shù)可將該信息轉(zhuǎn)換回亮度相關(guān)空間(例如Y’Pb’Pr’)用于向輸出裝置輸出(諸如以亮度相關(guān)色彩空間顯示圖像信息204的電視裝置、存儲(chǔ)設(shè)備等)。在線性/漸進(jìn)式RGB色彩空間中處理亮度相關(guān)信息204與其它方法不同，它不會(huì)將圖像信息204轉(zhuǎn)換到中間線性RGB色彩空間，用來(lái)以上述方式進(jìn)行處理。出于眾多原因，線性RGB處理是有利的。例如，線性RGB處理消除了可能由處理非線性RGB或非線性YUV色彩空間中的圖像信息引起的亮度和色彩移位非自然信號(hào)。
圖4的轉(zhuǎn)換操作400包括一系列描述上述轉(zhuǎn)換步驟的示例框。更具體地，該圖中上面一行的框示出將Y’Cb’Cr’圖像信息轉(zhuǎn)換到指定色彩空間用于處理。下面一行的框示出將處理后的數(shù)據(jù)轉(zhuǎn)換回Y’Pb’Pr’數(shù)據(jù)(其中Y’Pb’Pr’可定義Y’Cb’Cr’的模擬對(duì)等體)。
對(duì)于上面一行，框402指出Y’Cb’Cr’4:2:0圖像信息被接收并被增量采樣為Y’Cb’Cr’4:4:4圖像信息。4:2:0符號(hào)表示色度信息(Cb’Cr’)相對(duì)亮度信息(Y’)進(jìn)行子采樣。圖4中框402上示出的代表性樣本指出不同的編碼策略可用不同方法來(lái)使色度樣本相對(duì)亮度樣本放置。增量采樣操作內(nèi)插色度信息以便產(chǎn)生與亮度信息一樣多的色度信息量(例如以提供輸入圖像信息的4:4:4表示)。
框404將一矩陣轉(zhuǎn)換應(yīng)用于Y’Cb’Cr’4:4:4圖像信息以將其轉(zhuǎn)換到另一色彩空間，即R’G’B’色彩空間。
框406通過(guò)向其應(yīng)用轉(zhuǎn)換函數(shù)將非線性R’G’B’圖像信息轉(zhuǎn)換成線性形式。如上所述，與R’G’B’圖像信息相關(guān)聯(lián)的單引號(hào)(’)表示它是非線性形式的；沒(méi)有單引號(hào)(例如RGB)通常表示線性數(shù)據(jù)(除非在通常理解所指符號(hào)代表非線性信息時(shí)移除單引號(hào)也是常見(jiàn)的)。圖4中框406上所示模型轉(zhuǎn)換函數(shù)示出所采用函數(shù)的一般形狀，它也是CRT(未示出)的固有轉(zhuǎn)換函數(shù)的一般形狀。該模型轉(zhuǎn)換函數(shù)還表示它可采用臨近其曲線的V＝0部分的線性尾部。
框408有選擇地執(zhí)行內(nèi)容的解除隔行掃描以將其從隔行掃描形式轉(zhuǎn)換成漸進(jìn)式形式以便正確執(zhí)行圖像重新調(diào)整操作。
框410有選擇地轉(zhuǎn)換線性RGB信息的色彩元以在另一色彩空間表達(dá)該信息。該轉(zhuǎn)換可包括將一矩陣轉(zhuǎn)換應(yīng)用于RGB信息以改變其色彩元，使它們與在視頻處理管線中下游組件所執(zhí)行處理所需的元相對(duì)應(yīng)。在一示例中，框410可包括將圖像信息從一RGB相關(guān)色彩空間轉(zhuǎn)換成另一RGB相關(guān)色彩空間(例如scRGB)。
框412一般表示對(duì)具有經(jīng)轉(zhuǎn)換色彩空間的圖像信息的任何類型的處理。例如，這可構(gòu)成在線性漸進(jìn)式RGB相關(guān)色彩空間中執(zhí)行對(duì)圖像信息的處理。
圖4的下面一行框一般是上面一行上述操作的逆。即，在框412中處理之后，框414有選擇地將圖像信息轉(zhuǎn)換到另一色彩空間，諸如轉(zhuǎn)換回RGB色彩空間。如果它需要以隔行掃描形式存儲(chǔ)或顯示，框416應(yīng)用內(nèi)容的操作性重新隔行掃描。框418應(yīng)用一轉(zhuǎn)換函數(shù)以再次將RGB圖像信息轉(zhuǎn)換成非線性形式(R’G’B’)?？?20將R’G’B’圖像信息的色彩空間轉(zhuǎn)換回將其亮度成份(Y’)與其色度成份(Pb’Pr’)分開(kāi)的格式。最后，框422有選擇地子采樣Y’Pb’Pr’圖像信息以減少色度樣本(Pb’Pr’)相對(duì)亮度樣本(Y’)的量。即，該框422可將Y’Pb’Pr’4:4:4圖像信息(每個(gè)亮度樣本有一個(gè)色度樣本)轉(zhuǎn)換成Y’Pb’Pr’4:2:0圖像信息(相對(duì)亮度樣本有較少的色度樣本)。
CI數(shù)據(jù)結(jié)構(gòu)202通過(guò)提供有關(guān)每個(gè)處理框處理圖像信息204的方式的指令而在圖4環(huán)境中開(kāi)始活動(dòng)。例如，可提供指定管線從亮度相關(guān)色彩空間轉(zhuǎn)換到RGB相關(guān)色彩空間的方式等的色彩信息。
C.色彩信息數(shù)據(jù)結(jié)構(gòu)的示例性合成圖5示出在圖2中引入的CI數(shù)據(jù)結(jié)構(gòu)202的一示例性實(shí)現(xiàn)。該CI數(shù)據(jù)結(jié)構(gòu)202包括定義可能可應(yīng)用于圖像信息204的編碼標(biāo)準(zhǔn)的不同方面的眾多字段。圖5中示出的字段是代表性的，而不限制可被包裝到CI數(shù)據(jù)結(jié)構(gòu)202的信息類型。其它實(shí)現(xiàn)可略去在圖5中示出的某些字段，或可添加未在圖5中示出的其它字段。
本節(jié)提供在圖5中示出的各字段的一般縱覽，隨后是CI數(shù)據(jù)結(jié)構(gòu)202的一示例性實(shí)現(xiàn)的詳細(xì)描述。
開(kāi)始，第一字段502定義轉(zhuǎn)換函數(shù)信息。該信息被用來(lái)定義如何將(非線性)R’G’B’圖像信息204轉(zhuǎn)換成(線性)RGB信息(和/或反之)。
第二字段504定義用來(lái)編碼圖像信息204的色彩元。例如，該字段504可指定與RGB圖像信息204相關(guān)聯(lián)的RGB響應(yīng)函數(shù)。
第三字段506定義什么視頻光線假設(shè)應(yīng)用于圖像信息204。例如，該字段506可指定圖像信息204是否被編碼用來(lái)在與微暗燈光家庭環(huán)境(通常是信息要在家中電視上呈現(xiàn)的情形)相反的明亮辦公室環(huán)境中呈現(xiàn)(通常是信息要在計(jì)算機(jī)監(jiān)視器上呈現(xiàn)的情形)。
第四字段508定義可應(yīng)用于圖像信息204的轉(zhuǎn)換矩陣。例如，這些矩陣可定義如何在Y’Cb’Cr’色彩空間和R’G’B’色彩空間之間轉(zhuǎn)換等等。
第五矩陣510定義與圖像信息204相關(guān)聯(lián)的名義范圍信息。更具體地，該字段定義圖像信息204是否提供參考黑色色階下的指定底腳空間和/或參考白色色階上的指定頂部空間。
最后，第六字段512定義色度的子采樣信息，該信息定義如何采樣色度信息并相對(duì)亮度信息放置。
不同的編碼方案可被用來(lái)表達(dá)如圖5所示的6個(gè)字段。根據(jù)一示例性和非限制方法，一比特集合被分配用來(lái)表達(dá)CI數(shù)據(jù)結(jié)構(gòu)202。該比特集合可被安排在具有預(yù)定字段(或用來(lái)接收色彩信息的槽)的指定數(shù)據(jù)結(jié)構(gòu)中。在一示例性情形中，可分配16比特來(lái)表達(dá)CI數(shù)據(jù)結(jié)構(gòu)202。在另一示例性情形中，可分配24比特來(lái)表達(dá)CI數(shù)據(jù)結(jié)構(gòu)202。其它實(shí)現(xiàn)還可提供其它的CI數(shù)據(jù)結(jié)構(gòu)尺寸，包括少于16比特的尺寸、多于24比特的尺寸等等。
在使用24比特的示例性和非限制情形中，可如下組織字段(502-512)。第一‘枚舉’(值的整數(shù)枚舉)VideoTransferFunction可被用來(lái)表達(dá)第一字段502；它可被分配以5比特，從而占據(jù)24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特23-19。第二枚舉VideoPrimaries可被用來(lái)表達(dá)第二字段504；它可被分配以5比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特18-14。第三枚舉VideoLighting可被用來(lái)表達(dá)第三字段506；它可被分配以4比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特13-10。第四枚舉TransferMatrix可被用來(lái)表達(dá)第四字段508；它可被分配以3比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特9-7。第五枚舉NominalRange可被用來(lái)表達(dá)第五字段512；它可被分配以3比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特6-4。最后，第六枚舉VideoChromaSubsampling可被用來(lái)表達(dá)第六字段512；它可被分配以4比特，從而占據(jù)CI數(shù)據(jù)結(jié)構(gòu)202的比特3-0。
本節(jié)的剩余部分提供有關(guān)上述6個(gè)枚舉的一示例性實(shí)現(xiàn)的其它細(xì)節(jié)。所提供的細(xì)節(jié)是說(shuō)明性而非限制性的；可使用具有不同語(yǔ)法的其它數(shù)據(jù)結(jié)構(gòu)。
·DXVA_VideoTransferFunctionDXVA_VideoTransferFunction枚舉指出從(非線性)R’G’B’到(線性)RGB的轉(zhuǎn)換函數(shù)。它大約對(duì)應(yīng)于圖像數(shù)據(jù)的γ函數(shù)。某些轉(zhuǎn)換函數(shù)具有校正以考慮8比特整數(shù)量化效應(yīng)。在一示例性實(shí)現(xiàn)中，5比特可被用來(lái)表達(dá)該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特23-19)。
DXVA_VideoTransferFunction枚舉的示例性語(yǔ)法羅列如下typedef enum_DXVA_VideoTransferFunction{DXVA_VideoTransFuncMask＝BIT{23}|{22}|{21}|{20}|{19}，DXVA_VideoTransFunc_Unknown＝0.
DXVA_VideoTransFunc_10＝1.
DXVA_VideoTransFunc_18＝2.
DXVA_VideoTransFunc_20＝3.
DXVA_VideoTransFunc_22＝4.
DXVA_VideoTransFunc_22_709＝5.
DXVA_VideoTransFunc_ 22_240M＝6.
DXVA_VideoTransFunc_24_8bit_sRGB＝7.
DXVA_VideoTransFunc_28＝8.
}DXVA_VideoTransferFunction；該枚舉的第一個(gè)成員指出該字段是未知的。如果為進(jìn)行計(jì)算需要，可將該字段設(shè)置為預(yù)定值。
由后綴“10”表示的成員標(biāo)識(shí)具有γ＝1.0的線性RGB。
由后綴“18”、“20”、“22”和“28”表示的成員表示實(shí)際1.8、2.0、2.2和2.8γ，例如對(duì)L’＝pow(L，1/γ)，L＝0...1。標(biāo)準(zhǔn)BT470-2SysM使用γ2.2。
由后綴“22_709”表示的成員相關(guān)于帶有適于由標(biāo)準(zhǔn)BT1361、BT709、SMPTE296M、SMPTE170M、BT470、SMPTE274M等定義的格式的低范圍中線性范圍的γ2.2曲線。
由后綴“22_240M”表示的成員相關(guān)于帶有適于SMPTE240M、中間274M等的低范圍中線性范圍的γ2.2曲線。
由后綴“22_8bit_sRGB”表示的成員相關(guān)于帶有使其能匹配準(zhǔn)確的2.2γ8比特曲線的低范圍中線性范圍的γ2.4曲線。
圖6提供適于DXVA_VideoTransferfunction枚舉的其它示例性細(xì)節(jié)。
·DXVA_VideoPrimariesDXVA_VideoPrimaries枚舉列出標(biāo)識(shí)哪個(gè)RGB基本函數(shù)用于圖像信息204的色彩元。在一示例性實(shí)現(xiàn)中，可使用5比特來(lái)表達(dá)該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特18-14)。
DXVA_VideoPrimaries枚舉的示例性語(yǔ)法羅列如下typedef enum_DXVA_VideoPrimaries{DXVA_VideoTransFuncMask＝BIT{18}|BIT{17}|BIT{16}|BIT{15}|BIT{14}，DXVA_VideoPrimaries_Unknown＝0，DXVA_VideoPrimaries_BT601＝1.
DXVA_VideoPrimaries_BT709＝2，DXVA_VideoPrimaries_BT470_2_SysM＝3，DXVA_VideoPrimaries_BT470_2_SysBG＝4，DXVA_VideoPrimaries_SMPTE170M＝5.
DXVA_VideoPrimaries_SMPTE240M＝6.
DXVA_VideoPrimaries_EBU3213＝7.
DXVA_VideoPrimaries_SMPTE_C＝8.
}DXVA_VideoPrimaries；該枚舉的第一個(gè)成員指出該字段是未知的。如果為進(jìn)行計(jì)算需要，可將該字段設(shè)置為預(yù)定值(例如缺省值可被設(shè)置成在標(biāo)準(zhǔn)BT709中指定的元)。
具有后綴“BT709”的成員定義與BT709標(biāo)準(zhǔn)相關(guān)聯(lián)的色彩元(也可應(yīng)用于標(biāo)準(zhǔn)sRGB、scRGB等)。
具有后綴“BT470_2_SysM”的成員定義原始NTSC元。
具有“BT601”、“BT470_2_SysBG”、“SMPTE240M”和“EBU3213”后綴的成員定義與這些標(biāo)準(zhǔn)相關(guān)聯(lián)的各個(gè)相應(yīng)元。
具有后綴“SMPTE170M”的成員定義模擬NTSC元(目前不經(jīng)常使用)。
具有后綴“SMPTE_C”的成員定義模擬79NTSC元。
圖7提供適于DXVA_VideoPrimaries枚舉的其它示例性細(xì)節(jié)。
·DXVA_VideoLightingDXVA_VideoLighting枚舉描述預(yù)期的觀看燈光條件。該信息也可被用來(lái)改變?chǔ)靡援a(chǎn)生在不同燈光條件下的可比體驗(yàn)。在一示例性實(shí)現(xiàn)中，可使用4比特來(lái)表達(dá)該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特13-10)。
DXVA_VideoLighting枚舉的示例性語(yǔ)法羅列如下Typedefenum_DXVA_VideoLighting{DXVA_VideoTransFuncMask＝BIT{13}|BIT{12}|BIT{11}|BIT{10}，DXVA_VideoLighting_Unknow＝0.
DXVA_VideoLighting_bright＝1.
DXVA_VideoLighting_office＝2.
DXVA_VideoLighting_dim＝3.
DXVA_VideoLighting_dark＝4.
}DXVA_VideoLighting；該枚舉的第一個(gè)成員指出該字段是未知的。如果為進(jìn)行計(jì)算需要，可將該字段設(shè)置為預(yù)定值(例如缺省值可被設(shè)置成假設(shè)想要微暗的觀看條件)。
帶有后綴“bright”的成員可對(duì)應(yīng)于外部燈光條件。
帶有后綴“office”的成員可對(duì)應(yīng)于與家庭辦公條件相關(guān)聯(lián)的中等亮度。
帶有后綴“dim”的成員可對(duì)應(yīng)于與微暗燈光觀看條件相關(guān)聯(lián)的微暗亮度。
帶有后綴“dark”的成員可對(duì)應(yīng)于與電影院觀看條件相關(guān)聯(lián)的黑暗亮度。
·DXVA_VideoTransferMatrixDXVA_VideoTransferMatrix枚舉描述用來(lái)將圖像信息204從Y’Cb’Cr’色彩空間轉(zhuǎn)換到(演播室)R’G’B’色彩空間的轉(zhuǎn)換矩陣。在一示例性實(shí)現(xiàn)中，可使用3比特來(lái)表達(dá)該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特9-7)。
DXVA_VideoTransferMatrix枚舉的示例性語(yǔ)法羅列如下typedef enum_DXVA_VideoTransferMatrix{DXVA_VideoTransferMatrixMask＝BIT{9}|BIT{8}|BIT{7}，DXVA_VideoTransferMatrix_Unknow＝0.
DXVA_VideoTransferMatrix_BT709＝1，DXVA_VideoTransferMatrix_BT601＝2.
DXVA_VideoTransferMatrix_SMPTE240M＝3，}DXVA_VideoTransferMatrix；該枚舉的第一個(gè)成員指出該字段是未知的。如果為進(jìn)行計(jì)算需要，可將該字段設(shè)置為預(yù)定值(例如缺省值可被設(shè)置成在用于標(biāo)準(zhǔn)清晰度圖像信息204的標(biāo)準(zhǔn)BT601和用于高清晰度圖像信息204的標(biāo)準(zhǔn)BT709中使用的轉(zhuǎn)換矩陣規(guī)范)。
帶有后綴“BT709”的成員定義在BT709標(biāo)準(zhǔn)中指定的轉(zhuǎn)換矩陣。
帶有后綴“BT601”的成員定義在BT601標(biāo)準(zhǔn)中指定的轉(zhuǎn)換矩陣。
帶有后綴“SMPTE240M”的成員定義在SMPTE240M標(biāo)準(zhǔn)(是當(dāng)今未普遍使用的高清晰度標(biāo)準(zhǔn))中指定的轉(zhuǎn)換矩陣。
圖8和9提供適于DXVA_VideoTransferMatrix枚舉的其它示例性細(xì)節(jié)。
·DXVA_NominalRangeDXVA_NominalRange枚舉描述數(shù)據(jù)是否包括頂部空間(在白色參考色階1.0之外的值)和底腳空間(在黑色參考色階0.0下“超黑色”)。例如，為確保圖像信息204的適當(dāng)解釋，區(qū)分大范圍的R’G’B’(16，16，16上的黑點(diǎn)，235，235，235上的白點(diǎn))和正常的sRGB是有用的。在一示例性實(shí)現(xiàn)中，可使用3比特來(lái)表達(dá)該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特6-4)。
DXVA_NominalRange枚舉的示例性語(yǔ)法羅列如下typedef enum_DXVA_NominalRange{DXVA_VideoChromaSubsamplingMask＝BIT{6}|BIT{5}|BIT{4}，}DXVA_NominalRange_Unknow＝0，
DXVA_NominalRange_Nonnal＝1.
DXVA_NominalRange_Wide＝2，}DXVA_NominalRange；該枚舉的第一個(gè)成員指出該字段是未知的。如果為進(jìn)行計(jì)算需要，可將該字段設(shè)置為預(yù)定值。
帶有后綴“Normal”的成員定義映射到0-255(8比特)或0-1023(10比特)圖像信息204的歸一化色度
。
帶有后綴“Wide”的成員定義映射到16-235(8比特)或64-940(10比特)的歸一化色度
。
·DXVA_VideoChromaSubSamplingDXVA_VideoChromaSubSampling枚舉描述應(yīng)用于Y’Cb’Cr’數(shù)據(jù)的色度編碼方案。“cosite”變體指出色度樣本與亮度樣本對(duì)齊。4:2:0數(shù)據(jù)通常具有在一個(gè)或多個(gè)方向上與亮度數(shù)據(jù)對(duì)齊的色度數(shù)據(jù)。4:4:4、4:2:2和4:1:1數(shù)據(jù)在兩個(gè)方向都對(duì)齊。在一示例性實(shí)現(xiàn)中，可使用3比特來(lái)表達(dá)該枚舉(例如24比特CI數(shù)據(jù)結(jié)構(gòu)202的比特3-0)。
DXVA_VideoChromaSubSampling枚舉的示例性語(yǔ)法羅列如下typedef enum_DXVA_VideoChromaSubsampling{DXVA_VideoChromaSubsamplingMask＝BIT{3}|BIT{2}|BIT{1}|BIT{0}，DXVA_VideoChromaSubsampling_Unknow＝0，DXVA_VideoChromaSubsampling_ProgressiveChroma＝0×8，DXVA_VideoChromaSubsampling_Horizontally_Cosited＝0×4，DXVA_VideoChromaSubsampling_Vertically_Cosited＝0×2，DXVA_VideoChromaSubsampling_AlignedChromaPlanes＝0×l，can only be 0 if vertically cosited}DXVA_VideoChromaSubsampling；該枚舉的第一個(gè)成員指出該字段是未知的。如果為進(jìn)行計(jì)算需要，可將該字段設(shè)置為預(yù)定值。
帶有后綴“ProgressiveChroma”的成員定義被暫時(shí)翻譯為漸進(jìn)式內(nèi)容的色度樣本(例如從同一幀，而不是從兩個(gè)暫時(shí)偏移字段)。
帶有后綴“Horizontally_Cosited”的成員定義與多個(gè)亮度樣本水平對(duì)齊的色度樣本。
帶有后綴“Vertically_Cosited”的成員定義與多個(gè)亮度樣本豎直對(duì)齊的色度樣本。
帶有后綴“AlignedChromaPlanes”的成員定義具有相同相位對(duì)齊的Pb和Pr(或Cb和Cr)水平。如果數(shù)據(jù)是豎直對(duì)齊的該標(biāo)記為0。
圖10-12提供適于DXVA_VideoChromaSubSampling枚舉的其它示例性細(xì)節(jié)。即，這些示圖提供了在典型Y’Cb’Cr’圖像信息204中色度樣本相對(duì)亮度樣本位置的歸納。
D.色彩信息數(shù)據(jù)結(jié)構(gòu)的一示例性應(yīng)用有在前面章節(jié)中描述的編碼策略的許多應(yīng)用。圖13-16示出使用稱為DeinterlaceBltEx的一應(yīng)用編程接口(API)的一示例性應(yīng)用。
作為示例，DeinterlaceBltEx功能提供使多個(gè)操作被一起執(zhí)行為單個(gè)操作的邏輯，諸如與解除隔行掃描操作一起執(zhí)行的合成操作。合成操作指主圖像流信息與圖像子流信息的組合。圖像流信息指圖像幀的主(或主要)序列。圖像子流信息指可與主圖像流信息的圖像幀一起呈現(xiàn)的輔助圖像信息。在一示例中，圖像子流信息可對(duì)應(yīng)于近標(biāo)題數(shù)據(jù)。近標(biāo)題數(shù)據(jù)與主圖像流信息組合以形成合成圖像信息用于顯示。解除隔行掃描操作指一種用于組合在隔行掃描操作中創(chuàng)建的順序圖像字段以提供圖像幀的漸進(jìn)式(非隔行掃描)呈現(xiàn)的技術(shù)。DeinterlaceBltEx功能還允許同時(shí)執(zhí)行其它類型的操作。(或者，可使用被配置成執(zhí)行上面標(biāo)識(shí)的串行操作的稱為DeinterlaceBlt的功能。)在一示例性實(shí)現(xiàn)中，DeinterlaceBltEx功能提供具有一未使用部分(或部分未使用部分)的數(shù)據(jù)結(jié)構(gòu)，該部分可被用來(lái)傳送CI數(shù)據(jù)結(jié)構(gòu)202。即，在一示例性和非限制的實(shí)現(xiàn)中，該部分可定義一32比特字。該字的24比特部分可被用來(lái)傳送圖5所示信息的6個(gè)字段?，F(xiàn)有結(jié)構(gòu)的另一部分(例如剩下的8比特)可被用來(lái)傳送圖像信息204的其它部分，諸如該圖像信息204是以隔行掃描格式還是以漸進(jìn)式格式編碼的，等等。
更具體地，色彩信息可在DeinterlaceBltEx操作環(huán)境中起很多作用。對(duì)于色彩空間處理的問(wèn)題，在CI數(shù)據(jù)結(jié)構(gòu)202中指定的色彩信息可指定(a)要對(duì)提供給DeinterlaceBltEx功能的輸入圖像信息執(zhí)行什么色彩空間轉(zhuǎn)換(如果有)；(b)要使用什么色彩空間以對(duì)圖像信息執(zhí)行各種處理任務(wù)；以及(c)要使用什么色彩空間來(lái)提供輸出圖像信息等等。可選擇用于這些任務(wù)的可能色彩空間可包括任何類型的RGB相關(guān)色彩空間、任何類型的亮度相關(guān)色彩空間(例如YUV)等。此外，可能的色彩空間可以是線性形式或非線性形式的(例如γ補(bǔ)償?shù)?。
例如，在一情形中，一個(gè)或多個(gè)圖像信息流可從亮度相關(guān)色彩空間被轉(zhuǎn)換到線性RGB相關(guān)色彩空間。然后可在線性RGB相關(guān)色彩空間中對(duì)圖像信息執(zhí)行某些操作，以提供也在線性RGB相關(guān)色彩空間內(nèi)的輸出。因而，該序列操作可實(shí)現(xiàn)如圖4所示的技術(shù)(如前所述)。在另一情形中，一個(gè)或多個(gè)圖像信息流可在亮度相關(guān)色彩空間中接收和處理，以提供也在亮度相關(guān)色彩空間內(nèi)的輸出。在另一情形中，一個(gè)或多個(gè)圖像信息流可從一類RGB相關(guān)色彩空間被轉(zhuǎn)換到另一類RGB相關(guān)色彩空間，或從一了亮度相關(guān)色彩空間被轉(zhuǎn)換到另一類亮度相關(guān)色彩空間。這些僅僅是DeinterlaceBltEx功能可用的各種各樣處理選項(xiàng)的說(shuō)明性示例。在這些情形的任一個(gè)中，CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息可提供管理由DeinterlaceBltEx功能應(yīng)用的色彩空間選擇的指令。
此外，DeinterlaceBltEx功能的獨(dú)特能力使色彩空間轉(zhuǎn)換能與在對(duì)圖像信息執(zhí)行的其它操作的相同操作中執(zhí)行(諸如解除隔行掃描和合成)。例如，圖像信息可在該圖像信息被解除隔行掃描并與視頻子流合成的相同操作中，從亮度相關(guān)的色彩空間被轉(zhuǎn)換到RGB相關(guān)的色彩空間?；蛘?，對(duì)圖像信息執(zhí)行的某些操作也可串行地執(zhí)行。例如，在以下全面描述的示例中，解除隔行掃描和合成可在YUV色彩空間內(nèi)以單個(gè)操作執(zhí)行，隨后是輸出結(jié)果被轉(zhuǎn)換到RGB相關(guān)色彩空間。
作為最后的介紹性評(píng)論，DeinterlaceBltEx功能可作為在不同色彩空間中表達(dá)的分別的圖像信息流(諸如一個(gè)或多個(gè)主視頻流和/或一個(gè)或多個(gè)視頻子流)。圖像信息流可具有它們自己的與其相關(guān)聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202。CI數(shù)據(jù)結(jié)構(gòu)202可包括定義各個(gè)流可如何被轉(zhuǎn)換到同一色彩空間以便對(duì)各個(gè)流執(zhí)行操作(諸如解除隔行掃描、合成等)的信息。
有了以上緒論，圖13示出可被用來(lái)實(shí)現(xiàn)圖2所示視頻管線200的各方面的示例系統(tǒng)1300的概況。系統(tǒng)1300可依賴于華盛頓州Redmond微軟公司生產(chǎn)的DirectX系列技術(shù)。DirectX系列包括，DirectX視頻加速(DirectX-VA)、Direct3D、DirectDraw等。然而，上述原理可使用在其它類技術(shù)平臺(tái)上運(yùn)行的其它類呈現(xiàn)技術(shù)來(lái)執(zhí)行。系統(tǒng)1300可代表個(gè)人計(jì)算機(jī)、游戲控制臺(tái)(諸如微軟公司XboxTM游戲控制臺(tái))、或任何其它類型的裝置。
開(kāi)始時(shí)，系統(tǒng)1300接受來(lái)自眾多源的任一個(gè)的圖像信息。例如，裝置1300可接受來(lái)自網(wǎng)絡(luò)1302(諸如與因特網(wǎng)耦合的遠(yuǎn)程源)、任何類型的數(shù)據(jù)庫(kù)1304、任何類型的計(jì)算機(jī)可讀盤(pán)介質(zhì)1306(諸如光盤(pán)、DVD等)或某些其它源1308(諸如與圖204中所示源212相關(guān)聯(lián)的任一個(gè)源)的圖像信息。在任意情形中，所接受的信息可包含圖像信息和音頻信息的組合。一分離(demux)單元1310將音頻信息從圖像信息中分離出來(lái)。音頻處理功能1312處理音頻信息。
圖像解碼器1314處理圖像信息。圖像解碼器1314可將經(jīng)壓縮圖像信息從其接受格式轉(zhuǎn)換成某些其它格式，并對(duì)該信息執(zhí)行初始的尺寸調(diào)整或其它操作。圖像解碼器1314的輸出可包括所謂的純圖像信息以及圖像子流信息。純圖像信息構(gòu)成要在顯示裝置上呈現(xiàn)的主圖像流。圖像子流信息可構(gòu)成與純圖像信息相關(guān)聯(lián)的任何補(bǔ)充信息，諸如近標(biāo)題信息、任何類型的圖形覆蓋信息(諸如各種圖形編輯控件)、由DVD播放器呈現(xiàn)的各類子圖像等。
在一示例性實(shí)現(xiàn)中，視頻混合呈現(xiàn)器(VMR)模塊1316在對(duì)所接收?qǐng)D像信息的處理中起主要作用。作為縱覽，VMR模塊1316與圖形接口1318以及控制圖形模塊1322的顯示驅(qū)動(dòng)器1320交互。如以下將要詳細(xì)描述的，該交互涉及查明圖形模塊1322的能力。該交互還涉及協(xié)調(diào)圖形接口1318、顯示驅(qū)動(dòng)器1320、以及圖形模塊1322對(duì)圖像信息的處理。在一實(shí)現(xiàn)中，圖形接口1318可使用微軟公司的DirectX提供的DirectDraw功能實(shí)現(xiàn)。DirectDraw在此環(huán)境中可用作使VMR模塊1316與圖形模塊1322在通信上相耦合的消息傳送通道。圖形模塊1322本身可構(gòu)成計(jì)算機(jī)或類似裝置內(nèi)的固定模塊，或者它可構(gòu)成諸如圖形卡的可分離單元。由VMR模塊1316、圖形接口1318、顯示器驅(qū)動(dòng)器1320和圖形模塊1322示出的豎直功能鏈可被分成用戶模式和內(nèi)核模式。用戶模式指可由用戶通過(guò)各種界面操縱的編程功能的各方面。內(nèi)核模式表示不能直接由用戶操縱的編程功能的各方面。
圖形模塊1322本身包括一個(gè)或多個(gè)圖形處理單元(GPU)1324。GPU 1324通常是類似于CPU的處理裝置。通常會(huì)分配給GPU 1324常由實(shí)現(xiàn)裝置1300重復(fù)執(zhí)行的信息集中呈現(xiàn)任務(wù)。將這些重復(fù)的或信息集中的任務(wù)分配給GPU 1324使CPU(未示出)能有空?qǐng)?zhí)行其它任務(wù)，從而改進(jìn)了裝置1300的性能。該實(shí)現(xiàn)分配給GPU 1324的兩個(gè)示例性任務(wù)是解除隔行掃描和速率轉(zhuǎn)換。這些功能由解除隔行掃描邏輯1326和速率轉(zhuǎn)換器邏輯1328表示。解除隔行掃描邏輯1326將兩個(gè)或多個(gè)圖像信息字段組合在一起以形成一幀圖像信息。速率轉(zhuǎn)換器邏輯1328更改一系列圖像幀的幀頻。GPU 1324可執(zhí)行許多其它處理任務(wù)。
GPU 1324可與關(guān)聯(lián)于圖形模塊1322的本地存儲(chǔ)器1330交互。該本地存儲(chǔ)器1330可用作任意數(shù)量的存儲(chǔ)相關(guān)目的。例如，該存儲(chǔ)器1330可存儲(chǔ)隨后轉(zhuǎn)發(fā)給顯示裝置1332的最終圖像表面。
圖13示出CI數(shù)據(jù)結(jié)構(gòu)202可沿圖13示出的一系列功能組件以類似于圖2環(huán)境中所述的方式傳遞。即，CI數(shù)據(jù)結(jié)構(gòu)202在其通過(guò)系統(tǒng)1300定義的管線中傳遞時(shí)具有統(tǒng)一結(jié)構(gòu)。系統(tǒng)1300中的各個(gè)功能組件可利用CI數(shù)據(jù)結(jié)構(gòu)202的色彩信息，或者可能可補(bǔ)充CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息以便于下游功能組件。例如，對(duì)于色彩空間處理問(wèn)題，色彩信息可定義(a)要執(zhí)行什么(若有的話)色彩空間轉(zhuǎn)換(例如從YUV到RGB)，以及要如何執(zhí)行這些轉(zhuǎn)換；(b)要使用什么色彩空間來(lái)對(duì)圖像信息執(zhí)行各種處理任務(wù)；以及(c)要使用什么色彩空間來(lái)提供輸出圖像信息等。圖13示出多個(gè)CI數(shù)據(jù)結(jié)構(gòu)202可在系統(tǒng)1300執(zhí)行的處理中起作用；例如，由系統(tǒng)1300處理的每個(gè)圖像信息流可具有與其相關(guān)聯(lián)的它自己的數(shù)據(jù)結(jié)構(gòu)202。這些CI數(shù)據(jù)結(jié)構(gòu)202可協(xié)調(diào)不同圖像信息流到一公共色彩空間的轉(zhuǎn)換。
有關(guān)CI數(shù)據(jù)結(jié)構(gòu)202可被結(jié)合到DeinterlaceBltEx框架的示例性方式的其它細(xì)節(jié)將陳述如下。
開(kāi)始時(shí)，圖14示出如圖13所示裝置1300的操作的縱覽1400。在步驟1402，VMR模塊1316查詢顯示器驅(qū)動(dòng)器1320和圖形模塊1322有關(guān)它所支持的處理模式。在它接收回答后，在步驟1404，VMR模塊1316發(fā)送另一查詢以發(fā)現(xiàn)更多有關(guān)顯示器驅(qū)動(dòng)器1320和相關(guān)聯(lián)的圖形模塊1322的能力的信息。步驟1402和1404在“初始信息處理”的一般標(biāo)題下更詳細(xì)地討論。
在調(diào)查了附加硬件及相關(guān)聯(lián)接口的能力之后，VMR模塊1316打開(kāi)一圖像流對(duì)象(在1408)使圖像信息和控制信息能被轉(zhuǎn)發(fā)給硬件。然后，在步驟1408，VMR模塊1316協(xié)調(diào)硬件(例如圖形模塊1322)對(duì)一個(gè)或多個(gè)圖像處理功能的執(zhí)行。一個(gè)這種功能是解除隔行掃描。另一這種功能是子流合成。解除隔行掃描如上所述與合成組合，或者任一功能可依賴于接收信息獨(dú)立執(zhí)行。例如，如果已接收漸進(jìn)式圖像信息，則無(wú)需執(zhí)行解除隔行掃描；在此情形中，VMR模塊1316可簡(jiǎn)單地調(diào)整對(duì)象的尺寸、將圖像子流信息添加給它、或執(zhí)行某些其它功能或功能的組合?？蓪?shí)現(xiàn)除解除隔行掃描和合成之外的許多其它功能。
最后，在步驟1410，VMR模塊關(guān)閉它在步驟1406打開(kāi)的圖像流。該步驟1410可響應(yīng)于由用戶給出的命令，或僅響應(yīng)于圖像信息流的結(jié)束等。
以下討論給出了有關(guān)上述選定步驟的更多詳細(xì)信息。
·初始化步驟在上述步驟1402，VMR模塊1316向顯示驅(qū)動(dòng)器1320詢問(wèn)它對(duì)于輸入圖像格式支持什么處理功能。當(dāng)顯示驅(qū)動(dòng)器1320響應(yīng)時(shí)，VMR模塊1316發(fā)送對(duì)更多有關(guān)顯示驅(qū)動(dòng)器1320對(duì)特定模式的要求的特定信息的請(qǐng)求。顯示驅(qū)動(dòng)器1320通過(guò)指定信息結(jié)構(gòu)內(nèi)的各種信息作出響應(yīng)。這種信息標(biāo)識(shí)眾多所需的正向參考樣本、眾多所需的反向參考樣本、輸出幀的格式等。表示對(duì)組合的解除隔行掃描和合成的支持是否由圖形模塊1322及相關(guān)聯(lián)接口支持的標(biāo)記也包括在該信息結(jié)構(gòu)中。該標(biāo)記在一示例性實(shí)現(xiàn)中被稱為DXVA_ImageProcess_Sub-Streams標(biāo)記。
此外，為了正確地支持組合的解除隔行掃描和合成，圖形模塊1322及相關(guān)聯(lián)接口和驅(qū)動(dòng)器應(yīng)能獨(dú)立伸展(水平地和/或垂直地)被解除隔行掃描的圖像幀以及所提供的圖像子流。這在一實(shí)現(xiàn)中是必需的，因?yàn)橹鲌D像和視頻子流的象素縱橫比可能不同并且實(shí)際上是非正方形的。顯示驅(qū)動(dòng)器1320可通過(guò)返回除DXVA_ImageProcess_Sub-Streams標(biāo)記之外傳達(dá)其伸展圖像能力的DXVA_VideoProcess_StretchX和DXVA_VideoProcess_StretchY標(biāo)記，來(lái)傳遞其處理該功能的能力。
此外，DeinterlaceBltEx DDI支持每個(gè)源和目標(biāo)表面的增強(qiáng)色彩信息(其中“源表面”定義輸入圖像信息，而“目的表面”和“目標(biāo)表面”定義通過(guò)DeinterlaceBltEx操作產(chǎn)生的輸出圖像信息)。顯示驅(qū)動(dòng)器1320可通過(guò)各種色彩相關(guān)標(biāo)記(如以下標(biāo)記)來(lái)表示它具有的對(duì)該新色彩信息的支持度DXVA_VideoProcess_Sub-StreamsExtended，DXVA_VideoProcess_YUV2RGBExtended，以及DXVA_VideoProcess_AlphaBlendExtended。
對(duì)DXVA_VideoProcess_Sub-StreamsExtended標(biāo)記的支持表示，當(dāng)視頻信息被解除隔行掃描、與子流信息合成、寫(xiě)入目標(biāo)表面時(shí)系統(tǒng)1300可執(zhí)行對(duì)源色彩視頻信息和子流信息的色彩調(diào)整。
對(duì)DXVA_VideoProcess_YUV2RGBExtended標(biāo)記的支持表示，當(dāng)使用為源和目標(biāo)表面指定的色彩信息將圖像信息的解除隔行掃描和合成象素寫(xiě)入目標(biāo)表面時(shí)，系統(tǒng)1300能執(zhí)行一色彩空間轉(zhuǎn)換操作(例如YUV到-RGB)。
對(duì)DXVA_VideoProcess_AlphaBlendExtended標(biāo)記的支持表示，當(dāng)圖像信息的解除隔行掃描和合成象素被寫(xiě)入目標(biāo)表面時(shí)，系統(tǒng)1300能執(zhí)行對(duì)目標(biāo)表面的α混和操作。
·解除隔行掃描步驟VMR模塊1316使用上述DeinterlaceBltEx功能來(lái)協(xié)調(diào)圖像模塊1322對(duì)解除隔行掃描和合成的執(zhí)行。更具體地，該DeinterlaceBltEx功能可被實(shí)現(xiàn)為對(duì)顯示驅(qū)動(dòng)器1320的單個(gè)調(diào)用，即使在技術(shù)上它涉及一個(gè)以上基本操作(色彩空間轉(zhuǎn)換、解除隔行掃描、合成等)。DeinterlaceBltEx功能將某操作的輸出寫(xiě)入指定目標(biāo)表面。
更具體地，VMR模塊1316將以下數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)發(fā)給顯示驅(qū)動(dòng)器1320以實(shí)現(xiàn)DeinterlaceBltEx功能HRESULTDeinterlaceBltEx{[in]HDXVA_DeinterlaceStream hDistrm，[in]REFERENCE_TIME rtTargetFrame，[in]RECT*prcTargetRect，[in]DXVA_AYUVsample2BackgroundColor，[in]DWORD DestinationFormat，[in]DWORD DestinationFlags，[in]LPDDSURFACE lpDDSDstSurface，[in]LPDXVA_VideoSample2 lpDDSrcSurface，[in]DWORD dwNumSurfaces，[in]FLOAT Alpha/*0.0F transparent，1.0F opaque*/}；在該結(jié)構(gòu)中，rtTargetFrame參數(shù)標(biāo)識(shí)輸出幀在一系列輸出幀內(nèi)的時(shí)間位置。如果僅執(zhí)行了解除隔行掃描，目標(biāo)時(shí)間應(yīng)與參考樣本的rtStart時(shí)間或中點(diǎn)時(shí)間、(rtStart+rtEnd)/2之一相一致。如果請(qǐng)求了一幀頻轉(zhuǎn)換，rtTargetFrame時(shí)間可與參考樣本的rtStart或中點(diǎn)時(shí)間的任一時(shí)間不同。
PrcTargetRect參數(shù)標(biāo)識(shí)DeinterlaceBltEx操作應(yīng)寫(xiě)入的目標(biāo)表面內(nèi)的位置。在一實(shí)現(xiàn)中，輸出應(yīng)被限制為該長(zhǎng)方形內(nèi)的象素；即，PrcTargetRect內(nèi)的每個(gè)象素應(yīng)被寫(xiě)入，而PrcTargetRect外的象素不應(yīng)以任何方式進(jìn)行更改。
BackgroundColor參數(shù)標(biāo)識(shí)在其上合成所有視頻流和子流的背景色。
DestinationFormat參數(shù)包含與目標(biāo)表面相關(guān)的經(jīng)擴(kuò)展色彩信息。
DestinationFlags參數(shù)包含表示從先前調(diào)用到DeinterlaceBltEx在目標(biāo)相關(guān)參數(shù)中的變化的標(biāo)記集合。這些標(biāo)記反映背景色、經(jīng)擴(kuò)展色彩信息、目標(biāo)長(zhǎng)方形或平面α參數(shù)的變化，并有助于最優(yōu)化驅(qū)動(dòng)器代碼。
目標(biāo)表面可以是位于視頻存儲(chǔ)器(例如本地存儲(chǔ)器1330)的屏幕外平而。目標(biāo)平面的象素格式可在初始化步驟中返回到VMR模塊1316的數(shù)據(jù)結(jié)構(gòu)的d3dOutputFormat字段中指示。在一示例性實(shí)現(xiàn)中，在結(jié)構(gòu)中指定的目標(biāo)表面可以是一Y相關(guān)色彩空間(例如YUV)。
lpDDSrcSurfaces參數(shù)指向DXVA_VideoSample2結(jié)構(gòu)的數(shù)組。該結(jié)構(gòu)中的SampleFormat字段表明該樣本是否是解除隔行掃描操作的參考，或者需要與解除隔行掃描的視頻幀組合的視頻子流樣本。視頻子流樣本應(yīng)具有其樣本格式的DXVA_SampleSub-stream值。
更具體地，示例性VideoSample2結(jié)構(gòu)標(biāo)識(shí)如下typedef sturct_DXVA_VideoSample2{REFERENCE_TIME rtStart；REFERENCE_TIME rtEnd；DWORDSampleFormat；DWORDSampleFlags；VOID*lpDDSSrcSurface；RECT rcSrc；RECT rcDst；DXVA_AYUVsample2 Pal[16]；}DXVA_VideoSample2， *LPDXVA_VideoSample2.
除了表示樣本是隔行掃描還是漸進(jìn)式的以外，在上面標(biāo)識(shí)的數(shù)據(jù)結(jié)構(gòu)中的SampleFormat字段定義CI數(shù)據(jù)結(jié)構(gòu)202可在何處表達(dá)。將CI數(shù)據(jù)結(jié)構(gòu)202添加到SampleFormat字段不增大VideoSample2數(shù)據(jù)結(jié)構(gòu)的大小，或者需要以其它方式重新設(shè)計(jì)DeinterlaceBltEx功能。這樣，將CI數(shù)據(jù)結(jié)構(gòu)202“硬塞進(jìn)”該數(shù)據(jù)結(jié)構(gòu)表示通過(guò)視頻管線(包括到特性模塊1322)傳送色彩信息的特別有效方式。
對(duì)于參考視頻樣本，rtStart和rtEnd字段指示樣本的時(shí)間位置。對(duì)于視頻子流樣本，這些字段被清零。
源和目標(biāo)長(zhǎng)方形被用于子長(zhǎng)方形解除隔行掃描或伸展。注意，視頻子流樣本的伸展獨(dú)立于視頻流，且對(duì)伸展的支持在一實(shí)現(xiàn)中是強(qiáng)制性的。對(duì)于調(diào)色板視頻子流象素格式，DXVA_VideoSample2結(jié)構(gòu)的PAL字段包含在合成子流樣本時(shí)可使用的16個(gè)調(diào)色板條目。對(duì)于非調(diào)色板象素格式，調(diào)色板將被清零并可被忽略。
每個(gè)輸入樣本包含表示當(dāng)前樣本與先前樣本之間的變化的標(biāo)記集合。這些標(biāo)記反映調(diào)色板、色彩信息、源、和每個(gè)樣本的目標(biāo)長(zhǎng)方形的變化，并有助于最優(yōu)化驅(qū)動(dòng)器代碼。
繼續(xù)DeinterlaceBltEx結(jié)構(gòu)的描述，dwNumSurfaces參數(shù)表示在lpDDSrcSurface數(shù)組中的元素?cái)?shù)量。視頻參考樣本將首先在該數(shù)組中，隨后是Z順序的視頻子流。在一示例性實(shí)現(xiàn)中，被傳遞給驅(qū)動(dòng)器的視頻子流的數(shù)量可在0-15的范圍內(nèi)。當(dāng)調(diào)用DeinterlaceBltEx時(shí)，常常傳遞給驅(qū)動(dòng)器0或1個(gè)視頻子流。
最后，α參數(shù)在其被寫(xiě)入目標(biāo)表面時(shí)指示可應(yīng)用于合成背景色、視頻流和子流圖像的一平面透明度值。
應(yīng)注意，DeinterlaceBltEx功能可由VMR模塊1316在接收漸進(jìn)式視頻和多個(gè)圖像子流時(shí)調(diào)用。這可在例如當(dāng)VMR模塊1316用于包含漸進(jìn)式和隔行掃描視頻混合的DVD回放時(shí)發(fā)生。在此情形中，顯示器驅(qū)動(dòng)器1320將不嘗試解除隔行掃描視頻流(因?yàn)樗咽菨u進(jìn)式格式)；相反，VMR模塊1316可被配置成將視頻流與任何給定子流組合，按需調(diào)整每個(gè)流的尺寸(如果需要多個(gè)參考樣本的解除隔行掃描模式用于漸進(jìn)式視頻，多個(gè)參考樣本將仍然被發(fā)送給顯示驅(qū)動(dòng)器1320；然而，每個(gè)參考樣本將指向同一漸進(jìn)式視頻幀)。
為了完成對(duì)DeinterlaceBltEx功能的描述，圖15和16描述該功能可如何將合成操作和解除隔行掃描操作組合在一個(gè)操作中。
圖15是可由圖13的系統(tǒng)1300根據(jù)一示例性和非限制情形提供的某些操作的縱覽。該圖示出向圖像解碼器1504提供經(jīng)壓縮的圖像信息1502以產(chǎn)生解壓縮圖像信息的當(dāng)前幀以及CI信息。此外，解壓縮圖像信息1506的當(dāng)前幀和CI信息，以及一個(gè)或多個(gè)解壓縮圖像的先前樣本(例如先前的解壓縮圖像信息1510和1512)，被發(fā)送給解除隔行掃描邏輯1508。圖15中所示邏輯1508還起將圖像子流信息(例如從圖像子流信息1514、1516等)添加到正在解除隔行掃描過(guò)程中的圖像信息的作用。換言之，邏輯1508有效地組合解除隔行掃描操作和子流合成操作。此外，如下更詳細(xì)所述，邏輯1508執(zhí)行這兩個(gè)操作從而它們可在單個(gè)存儲(chǔ)器讀/寫(xiě)操作中而非多個(gè)回合中執(zhí)行。即，圖15的系統(tǒng)1500僅需一個(gè)階段(例如單個(gè)存儲(chǔ)器讀/寫(xiě)事務(wù))(即在一示例性情形中，僅需從存儲(chǔ)器的單次讀取)。
上述帶寬效率可通過(guò)將圖像信息(例如圖像信息1506、1510、1512等)和圖像子流信息(例如1514、1516等)分配給GPU模塊1322采用的不同相應(yīng)紋理處理(texturing)單元來(lái)獲取。在其最通用應(yīng)用中，紋理處理單元被分配給在三維呈現(xiàn)應(yīng)用過(guò)程中進(jìn)行處理的圖像表面。例如，“紋理”一般指“貼”到形成要呈現(xiàn)三維景象一部分的幾何元(例如三角形)的表面的圖像。這些不同的紋理表面分配給不同的所謂紋理處理單元。如圖15所示的系統(tǒng)將圖像信息(例如1506、1510、1512等)和圖像子流信息(1514、1516等)分配給相應(yīng)的紋理處理單元，并因而獲取解除隔行掃描和合成操作的類似有效性能。更具體地，GPU邏輯實(shí)際上同時(shí)讀取和處理來(lái)自紋理處理單元集合的每一個(gè)的信息，而不是以交錯(cuò)連續(xù)的方式。這降低了實(shí)現(xiàn)裝置中的總線擁塞，并使實(shí)現(xiàn)裝置能以最優(yōu)化幀頻更好地呈現(xiàn)圖像信息及相關(guān)聯(lián)圖像子流信息。
在其它實(shí)現(xiàn)中，邏輯1508可執(zhí)行諸如色彩空間轉(zhuǎn)換的其它操作。例如，邏輯1508可將一個(gè)或多個(gè)圖像信息流從亮度相關(guān)色彩空間(例如YUV)轉(zhuǎn)換到RGB相關(guān)色彩空間(例如線性或非線性RGB)?；蛘?，邏輯1508可從一類亮度相關(guān)色彩空間轉(zhuǎn)換到另一類亮度相關(guān)色彩空間，或從一類RGB相關(guān)色彩空間轉(zhuǎn)換到另一類RGB相關(guān)色彩空間等。在一示例性情形中，邏輯1508可被用來(lái)實(shí)現(xiàn)圖4(如上)所示特征的各方面，其中圖像信息被從亮度相關(guān)色彩空間轉(zhuǎn)換到線性RGB，隨后在線性RGB色彩空間內(nèi)對(duì)圖像信息執(zhí)行處理(諸如解除隔行掃描，隨后為或結(jié)合線性RGB色彩空間中的任何其它處理)。換言之，邏輯1508的輸出表面可在RGB相關(guān)色彩空間(諸如線性RGB)被表達(dá)。
在另一情形中，邏輯1508的輸出可處理亮度相關(guān)色彩空間(例如YUV)內(nèi)的圖像信息，以仍然在亮度相關(guān)色彩空間中(而不是RGB色彩空間)生成合成的解除隔行掃描的圖像信息1518。然后邏輯1508或某些其它模塊(未示出)可將亮度相關(guān)色彩信息轉(zhuǎn)換成RGB相關(guān)信息，它可被提交給顯示器以生成呈現(xiàn)的圖像信息1520。延遲亮度相關(guān)色彩空間到RGB相關(guān)色彩空間的轉(zhuǎn)換可能節(jié)約帶寬。例如，在一實(shí)現(xiàn)中，亮度相關(guān)色彩信息可使用12比特給出。相反，在一實(shí)現(xiàn)中，RGB信息需要32比特來(lái)給出。因此，使用亮度相關(guān)信息而非RGB信息來(lái)執(zhí)行諸如合成的任務(wù)削減了與該處理相關(guān)聯(lián)的總線通信量。
邏輯1508還可執(zhí)行其它類型的處理功能，諸如調(diào)整圖像尺寸。但邏輯1508無(wú)需執(zhí)行上述的每一個(gè)處理操作。例如，如果圖像信息已是漸進(jìn)式格式，邏輯1508可專用于簡(jiǎn)單地調(diào)整圖像信息的尺寸，或?qū)D像信息執(zhí)行某些其它所需操作(諸如色彩空間轉(zhuǎn)換等)。
此外，在其它實(shí)現(xiàn)中，一個(gè)或多個(gè)操作可例如作為分別的操作順序執(zhí)行而不是單個(gè)操作。圖15中另選邏輯1508表示這樣的實(shí)現(xiàn)。例如，DeinterlaceBlt功能適于用此方式處理圖像信息。
無(wú)論如何，包含在CI數(shù)據(jù)結(jié)構(gòu)202中的色彩信息提供以對(duì)特定應(yīng)用所需方式轉(zhuǎn)換的圖像信息的所需指令。更具體地，當(dāng)邏輯1508處理多個(gè)圖像信息流時(shí)，它可咨詢與每個(gè)圖像信息流相關(guān)聯(lián)的CI數(shù)據(jù)結(jié)構(gòu)202?？墒褂眠@種每個(gè)流的CI信息202來(lái)把不同的圖像信息流(可在不同的相應(yīng)色彩空間中表達(dá))轉(zhuǎn)換到同一色彩空間，諸如線性RGB色彩空間。該特征是有利的，因?yàn)樗蚪档土舜鎯?chǔ)在一個(gè)或多個(gè)中間色彩空間中表達(dá)的臨時(shí)圖像信息的需要。在上述技術(shù)中，邏輯1508可接收輸入圖像信息、轉(zhuǎn)換之、并將其寫(xiě)入存儲(chǔ)器；例如，這避免在信息由輸出裝置(例如個(gè)人計(jì)算機(jī)提供的桌面)顯示之前提供其它合成YUV圖像信息的需要。
對(duì)提供色彩空間相關(guān)指令的CI信息202的使用的強(qiáng)調(diào)僅是說(shuō)明性的。CI信息202提供了可用來(lái)管理如圖15所示操作的豐富的其它信息。例如，CI信息202還可在解除隔行掃描操作中使用以正確地內(nèi)插相應(yīng)的漸進(jìn)式圖像。
圖16示出可被用來(lái)獲取由邏輯1508使能的聯(lián)合處理功能的一示例性技術(shù)。即，圖16解釋一種用于在單個(gè)操作中解除隔行掃描并合成的技術(shù)。
圖16示出紋理處理單元及相關(guān)聯(lián)存儲(chǔ)器的示例性組織1600。這些元件可被用來(lái)同時(shí)處理圖像子流信息內(nèi)的主要圖像信息。存儲(chǔ)器和紋理處理單元可使用與圖13所示圖像模塊1322相關(guān)聯(lián)的本地存儲(chǔ)器1330和/或共享存儲(chǔ)器1334實(shí)現(xiàn)。
如上所述，交錯(cuò)和合成的聯(lián)合操作可在圖像信息仍在Y相關(guān)色彩空間中時(shí)(諸如YUV形式)發(fā)生。因此，在該示例性和非限制性情形中，VMR模塊1316分配用于存儲(chǔ)該Y相關(guān)信息的部分存儲(chǔ)器。第一個(gè)框1602可被分配用來(lái)存儲(chǔ)Y信息，第二個(gè)框1604可被分配用來(lái)存儲(chǔ)第一色度成分(例如U信息)，而第三個(gè)框1606可被分配用來(lái)存儲(chǔ)第二色度成分(例如V信息)。向Y信息分配比兩個(gè)色度成分多的比特。例如，對(duì)于包含720×480象素的圖像，可分配720×480字節(jié)的存儲(chǔ)塊來(lái)存儲(chǔ)Y信息，可分配360×240字節(jié)的存儲(chǔ)塊來(lái)存儲(chǔ)第一色度成分，并可分配360×240字節(jié)的存儲(chǔ)塊來(lái)存儲(chǔ)第二色度成分。最后可分配塊1608的存儲(chǔ)器來(lái)存儲(chǔ)子流信息(諸如近標(biāo)題信息、DVD子圖像顯示信息、各類圖標(biāo)等)。
在圖16所示的示例性組織1600中，僅示出4個(gè)紋理處理單元(1610、1612、1614和1616)。然而，其它實(shí)現(xiàn)將包括4個(gè)以上單元。紋理處理單元1610被分配成處理與存儲(chǔ)器塊1602相關(guān)聯(lián)的圖像輸入表面(例如Y信息)，紋理處理單元1612被分配成處理與存儲(chǔ)器塊1604相關(guān)聯(lián)的圖像輸入表面(例如第一色度成分，比如U)，而紋理處理單元1614被分配成處理與存儲(chǔ)器塊1606相關(guān)聯(lián)的圖像輸入表面(例如第二色度成分，比如V)。紋理處理單元1616被分配成處理與存儲(chǔ)器塊1608相關(guān)聯(lián)的圖像輸入表面(即子流信息)。各存儲(chǔ)器塊(Y、色度1、色度2和子流信息)是獨(dú)立的，且在存儲(chǔ)器中無(wú)需連續(xù)。可提供其它存儲(chǔ)器塊和紋理處理單元來(lái)處理其它圖像參考樣本和/或其它圖像子流。例如，包括兩個(gè)先前參考流的應(yīng)用將需要至少9個(gè)紋理處理單元(例如三個(gè)單元用于當(dāng)前樣本，6個(gè)單元用于兩個(gè)參考樣本)。
最后，圖16一般示出與圖15的GPU 1324相關(guān)聯(lián)的GPU處理邏輯1618。GPU處理邏輯1618與紋理處理單元交互。GPU處理邏輯1618可執(zhí)行解除隔行掃描、幀頻轉(zhuǎn)換、和/或其它任務(wù)。
使用YUV相關(guān)信息來(lái)解釋圖16的操作僅僅是示例性的。類似的優(yōu)點(diǎn)可通過(guò)在諸如線性RGB的RGB相關(guān)空間內(nèi)執(zhí)行處理操作來(lái)獲取(例如以圖4所示方式)。
E.示例性計(jì)算機(jī)環(huán)境在一示例性實(shí)現(xiàn)中，在前面各圖中示出的處理的各方面可通過(guò)計(jì)算裝置執(zhí)行。在該情形中，圖17提供有關(guān)示例性計(jì)算機(jī)環(huán)境1700的信息，該環(huán)境可用來(lái)實(shí)現(xiàn)在前面各圖中顯示處理的各方面。
計(jì)算環(huán)境1700包括一通用計(jì)算機(jī)1702和一顯示裝置1704。然而，計(jì)算環(huán)境1700可包括其它類型的計(jì)算裝置。例如，盡管未示出，計(jì)算機(jī)環(huán)境1700可包括手持式或膝上型裝置、機(jī)頂盒、游戲控制臺(tái)、集成到視頻處理/呈現(xiàn)裝置(例如電視、DVR等)的處理功能、大型計(jì)算機(jī)等。此外，圖17示出組合在一起的計(jì)算機(jī)環(huán)境1700的各單元以便于討論。然而，計(jì)算環(huán)境1700可采用分布式處理配置。在分布式計(jì)算環(huán)境中，計(jì)算資源可物理地散布于整個(gè)環(huán)境中。
示例性計(jì)算機(jī)1702包括一個(gè)或多個(gè)處理器或處理單元1706、系統(tǒng)存儲(chǔ)器1708、以及總線1710?？偩€1710將各個(gè)系統(tǒng)組件連接在一起。例如，總線1710將處理器1706連接到系統(tǒng)存儲(chǔ)器1708?？偩€1710可使用任何類型的總線結(jié)構(gòu)或總線結(jié)構(gòu)的組合來(lái)實(shí)現(xiàn)，包括儲(chǔ)存器總線或存儲(chǔ)器控制器、外圍總線、加速圖形端口、以及使用各種總線架構(gòu)的任一種的處理器或本地總線。
計(jì)算機(jī)1702還可包括各種計(jì)算機(jī)可讀介質(zhì)，包括各種類型的可移動(dòng)或不可移動(dòng)的易失性和非易失性介質(zhì)。例如，系統(tǒng)存儲(chǔ)器1708包括諸如隨機(jī)存取存儲(chǔ)器(RAM)的易失性存儲(chǔ)器1712和諸如只讀存儲(chǔ)器(ROM)的非易失性存儲(chǔ)器1714形式的計(jì)算機(jī)可讀介質(zhì)。ROM 1714包括在計(jì)算機(jī)1702元件間傳送如起動(dòng)時(shí)信息的基本例程的基本輸入/輸出系統(tǒng)(BIOS)1716。RAM 1712通常包含可被處理單元1706立即訪問(wèn)形式的數(shù)據(jù)和/或程序模塊。
其它類型的計(jì)算機(jī)存儲(chǔ)介質(zhì)包括讀取或?qū)懭氩豢梢苿?dòng)的非易失性磁性介質(zhì)的硬盤(pán)驅(qū)動(dòng)器1718、讀取或?qū)懭肟梢苿?dòng)非易失性磁盤(pán)1722(例如“軟盤(pán)”)的磁盤(pán)驅(qū)動(dòng)器1720、和讀取或?qū)懭胫T如CD ROM、DVD-ROM或其它光學(xué)介質(zhì)等可移動(dòng)非易失性光盤(pán)1726的光盤(pán)驅(qū)動(dòng)器1724。硬盤(pán)驅(qū)動(dòng)器1718、磁盤(pán)驅(qū)動(dòng)器1720、光盤(pán)驅(qū)動(dòng)器1724分別通過(guò)一個(gè)或多個(gè)數(shù)據(jù)介質(zhì)接口1728連接至系統(tǒng)總線1710?；蛘撸疟P(pán)驅(qū)動(dòng)器1720、光盤(pán)驅(qū)動(dòng)器1724可通過(guò)-SCSI接口(未示出)或其它耦合機(jī)制連接至系統(tǒng)總線1710。盡管未示出，計(jì)算機(jī)1702可包括其它類型的計(jì)算機(jī)可讀機(jī)制，諸如磁卡或其它磁性存儲(chǔ)裝置、閃存卡、CD-ROM、數(shù)字多功能盤(pán)(DVD)或其它光學(xué)存儲(chǔ)、電可擦除只讀存儲(chǔ)器(EEPROM)等。
一般而言，上述計(jì)算機(jī)可讀介質(zhì)為計(jì)算機(jī)1702使用提供有計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的非易失性儲(chǔ)存。例如，可讀介質(zhì)可存儲(chǔ)操作系統(tǒng)1730、應(yīng)用模塊1732、其它程序模塊1734和程序數(shù)據(jù)1736。
計(jì)算機(jī)環(huán)境1700可包括各種輸入裝置。例如，計(jì)算機(jī)環(huán)境1700包括鍵盤(pán)1738和定位裝置1740(例如“鼠標(biāo)”)用于將命令和信息輸入計(jì)算機(jī)1702。計(jì)算機(jī)環(huán)境1700可包括其它輸入裝置(未示出)，諸如話筒、操縱桿、游戲墊、衛(wèi)星天線、串行端口、掃描儀、讀卡裝置、數(shù)碼或視頻照相機(jī)等。輸入/輸出接口1742可將輸入裝置耦合到處理單元1706。更一般地，輸入裝置可通過(guò)諸如任一類接口和諸如并行端口、串行端口、游戲端口、或通用串行總線(USB)等的總線結(jié)構(gòu)與計(jì)算機(jī)1702耦合。
計(jì)算機(jī)環(huán)境1700還包括顯示裝置1704。視頻適配器1744使顯示裝置1704與總線1710耦合。除了顯示裝置1704，計(jì)算機(jī)環(huán)境1700還可包括其它輸出外圍裝置，諸如揚(yáng)聲器(未示出)、打印機(jī)(未示出)等。
計(jì)算機(jī)1702可以在使用與一臺(tái)或多臺(tái)遠(yuǎn)程計(jì)算機(jī)，諸如遠(yuǎn)程計(jì)算裝置1746的邏輯連接的網(wǎng)絡(luò)化環(huán)境中運(yùn)行。遠(yuǎn)程計(jì)算裝置1746可包括任意類型的計(jì)算機(jī)裝置，包括通用個(gè)人計(jì)算機(jī)、便攜式計(jì)算機(jī)、服務(wù)器、游戲控制臺(tái)、網(wǎng)絡(luò)擴(kuò)展裝置等。遠(yuǎn)程計(jì)算裝置1746可包括上述對(duì)于計(jì)算機(jī)1702討論的所有特征，或其一部分。
任何類型的網(wǎng)絡(luò)1748，諸如WAN、LAN等，可被用來(lái)使計(jì)算機(jī)1702與遠(yuǎn)程計(jì)算裝置1746耦合。計(jì)算機(jī)1702通過(guò)網(wǎng)絡(luò)接口1750與網(wǎng)絡(luò)1748耦合，該網(wǎng)絡(luò)接口可利用寬帶連接、調(diào)制解調(diào)器連接、DSL連接、或其它連接策略。盡管未示出，計(jì)算環(huán)境1700可提供用于連接計(jì)算機(jī)1702和遠(yuǎn)程計(jì)算裝置1746的無(wú)線通信功能(例如通過(guò)調(diào)制無(wú)線信號(hào)、調(diào)制紅外信號(hào)等)。
在結(jié)束時(shí)，在本說(shuō)明書(shū)中提出一些可選示例(例如情形A或B)。此外，本說(shuō)明書(shū)包括在單個(gè)實(shí)現(xiàn)中組合可選方案的情形(例如情形A和B)，盡管本說(shuō)明書(shū)未明確地在每個(gè)實(shí)例中提到這些組合情形。
此外，一些特征通過(guò)首先標(biāo)識(shí)這些特征可解決的示例性問(wèn)題在此描述。該說(shuō)明方式并不構(gòu)成對(duì)其它已用在此指定的方式理解和/或表達(dá)問(wèn)題的許可。對(duì)在視頻編碼領(lǐng)域中出現(xiàn)的問(wèn)題的理解和表達(dá)可被理解為本發(fā)明的一部分。
更一般地，盡管本發(fā)明已用結(jié)構(gòu)化特征和/或方法論動(dòng)作的專用語(yǔ)言進(jìn)行了描述，可以理解在所附權(quán)利要求中定義的本發(fā)明不必首先于所述特定特征或動(dòng)作。相反，特定特征和動(dòng)作可被解釋為實(shí)現(xiàn)本發(fā)明的示例性形式。
權(quán)利要求
1.一種用于處理具有以指定格式表達(dá)的色彩內(nèi)容的圖像信息的方法，其特征在于，包括提供一色彩信息數(shù)據(jù)結(jié)構(gòu)，它包含定義所述指定格式至少一方面的色彩信息；將所述色彩信息數(shù)據(jù)結(jié)構(gòu)以及所述圖像信息傳遞給用于處理所述圖像信息的至少一個(gè)功能組件；以及在所述至少一個(gè)功能組件上基于所述色彩信息數(shù)據(jù)結(jié)構(gòu)中的所述色彩信息處理所述圖像信息。
2.如權(quán)利要求1所述的方法，其特征在于，所述至少一個(gè)功能組件屬于定義一視頻處理管線的一組功能組件，其中所述色彩信息數(shù)據(jù)結(jié)構(gòu)被沿著所述視頻處理管線往下傳遞，以便由下游功能組件使用。
3.如權(quán)利要求2所述的方法，其特征在于，所述視頻處理管線執(zhí)行以下操作將亮度相關(guān)色彩空間中的輸入圖像信息轉(zhuǎn)換成RGB相關(guān)色彩空間內(nèi)的線性圖像信息；以及對(duì)所述RGB相關(guān)色彩空間中的線性圖像信息執(zhí)行處理以產(chǎn)生經(jīng)處理的信息。
4.如權(quán)利要求3所述的方法，其特征在于，所述轉(zhuǎn)換還涉及在所述處理操作之前將所述輸入圖像信息從一隔行掃描格式轉(zhuǎn)換成漸進(jìn)式格式。
5.如權(quán)利要求3所述的方法，其特征在于，所述視頻處理管線還執(zhí)行以下操作將所述經(jīng)處理信息轉(zhuǎn)換成亮度相關(guān)色彩空間內(nèi)的非線性圖像信息。
6.如權(quán)利要求5所述的方法，其特征在于，所述經(jīng)處理信息的轉(zhuǎn)換還涉及將所述經(jīng)處理信息從漸進(jìn)式格式轉(zhuǎn)換成隔行掃描格式。
7.如權(quán)利要求2所述的方法，其特征在于，所述視頻處理管線執(zhí)行色彩轉(zhuǎn)換，且其中所述色彩信息數(shù)據(jù)結(jié)構(gòu)中的色彩信息管理所述色彩轉(zhuǎn)換。
8.如權(quán)利要求1所述的方法，其特征在于，還包括將所述色彩信息數(shù)據(jù)結(jié)構(gòu)內(nèi)的未知值初始化為預(yù)定缺省值。
9.如權(quán)利要求1所述的方法，其特征在于，所述至少一個(gè)功能組件還確定所述指定格式的至少一個(gè)其它方面，并將所述至少一個(gè)其它方面添加到所述色彩信息數(shù)據(jù)結(jié)構(gòu)中的至少一未知值上。
10.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)的傳遞包括在現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的未使用字段中傳遞所述色彩信息數(shù)據(jù)結(jié)構(gòu)。
11.如權(quán)利要求1所述的方法，其特征在于，還包括設(shè)置一標(biāo)記，它指示所述至少一個(gè)功能組件具有處理所述色彩信息數(shù)據(jù)結(jié)構(gòu)的能力。
12.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括一視頻轉(zhuǎn)換函數(shù)字段，它傳送有關(guān)用來(lái)把線性圖像信息轉(zhuǎn)換成非線性圖像信息和/或反之的所述轉(zhuǎn)換函數(shù)的信息。
13.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括一色彩元字段，它傳送與所述圖像信息相關(guān)聯(lián)的色彩元。
14.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括一圖像燈光字段，它傳送與所述圖像信息相關(guān)聯(lián)的預(yù)期查看條件。
15.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括一轉(zhuǎn)換矩陣字段，它傳送有關(guān)可用來(lái)修改所述圖像信息的色彩空間的轉(zhuǎn)換矩陣的信息。
16.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括一名義范圍字段，它傳送有關(guān)與所述圖像信息相關(guān)聯(lián)的可能底腳空間和頂部空間的信息。
17.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括一視頻色度采樣字段，它指示所述圖像信息中的色度樣本相對(duì)相關(guān)聯(lián)亮度樣本采樣和對(duì)齊的方式。
18.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括一視頻轉(zhuǎn)換函數(shù)字段，它傳送有關(guān)用來(lái)把線性圖像信息轉(zhuǎn)換成非線性圖像信息和/或反之的所述轉(zhuǎn)換函數(shù)的信息；一色彩元字段，它傳送與所述圖像信息相關(guān)聯(lián)的色彩元；一圖像燈光字段，它傳送與所述圖像信息相關(guān)聯(lián)的預(yù)期查看條件；一轉(zhuǎn)換矩陣字段，它可用來(lái)更改所述圖像信息的色彩空間；一名義范圍字段，它傳送有關(guān)與所述圖像信息相關(guān)聯(lián)的可能底腳空間和頂部空間的信息；以及一視頻色度采樣字段，它指示所述圖像信息中的色度樣本相對(duì)相關(guān)聯(lián)亮度樣本采樣和對(duì)齊的方式。
19.一種或多種包括存儲(chǔ)其上的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述指令用于實(shí)現(xiàn)如權(quán)利要求1所述的方法。
20.一種包括被配置成執(zhí)行權(quán)利要求1的提供、傳遞和處理的每一個(gè)的邏輯的裝置。
21.一種包括被配置成使用權(quán)利要求18的色彩信息數(shù)據(jù)結(jié)構(gòu)執(zhí)行提供、傳遞和處理的每一個(gè)的邏輯的裝置。
22.一種存儲(chǔ)在一個(gè)或多個(gè)處理器可讀介質(zhì)上的數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)包括描述相關(guān)聯(lián)圖像信息的格式的色彩信息，其特征在于，所述數(shù)據(jù)結(jié)構(gòu)包括以下至少之一一視頻轉(zhuǎn)換函數(shù)字段，它傳送有關(guān)用來(lái)把線性圖像信息轉(zhuǎn)換成非線性圖像信息和/或反之的所述轉(zhuǎn)換函數(shù)的信息；一色彩元字段，它傳送與所述圖像信息相關(guān)聯(lián)的色彩元；一圖像燈光字段，它傳送與所述圖像信息相關(guān)聯(lián)的預(yù)期查看條件；一轉(zhuǎn)換矩陣字段，它可用來(lái)修改所述圖像信息的色彩空間；一名義范圍字段，它傳送有關(guān)與所述圖像信息相關(guān)聯(lián)的可能底腳空間和頂部空間的信息；或者一視頻色度采樣字段，它指示所述圖像信息中的色度樣本相對(duì)相關(guān)聯(lián)亮度樣本采樣和對(duì)齊的方式。
23.如權(quán)利要求22所述的數(shù)據(jù)結(jié)構(gòu)，其特征在于，包括所述被標(biāo)識(shí)字段的每一個(gè)。
24.一種用于處理具有以指定格式表達(dá)的色彩內(nèi)容的圖像信息的系統(tǒng)，其特征在于，包括多個(gè)定義視頻處理管線的功能組件，其中所述多個(gè)功能組件的每一個(gè)包括被配置成處理色彩信息數(shù)據(jù)結(jié)構(gòu)的邏輯，所述數(shù)據(jù)結(jié)構(gòu)包含定義所述指定格式的至少一方面的色彩信息。
25.如權(quán)利要求24所述的系統(tǒng)，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括以下至少之一一視頻轉(zhuǎn)換函數(shù)字段，它傳送有關(guān)用來(lái)把線性圖像信息轉(zhuǎn)換成非線性圖像信息和/或反之的所述轉(zhuǎn)換函數(shù)的信息；一色彩元字段，它傳送與所述圖像信息相關(guān)聯(lián)的色彩元；一圖像燈光字段，它傳送與所述圖像信息相關(guān)聯(lián)的預(yù)期查看條件；一轉(zhuǎn)換矩陣字段，它可用來(lái)修改所述圖像信息的色彩空間的轉(zhuǎn)換矩陣的信息；一名義范圍字段，它傳送有關(guān)與所述圖像信息相關(guān)聯(lián)的可能底腳空間和頂部空間的信息；或者一視頻色度采樣字段，它指示所述圖像信息中的色度樣本相對(duì)相關(guān)聯(lián)亮度樣本采樣和對(duì)齊的方式。
26.一種用于在包括多個(gè)存儲(chǔ)相應(yīng)圖像信息的單元的數(shù)據(jù)處理模塊內(nèi)處理圖像信息的方法，其特征在于，包括把所述多個(gè)單元的至少之一分配給圖像信息的主要視頻流；把所述多個(gè)單元的至少之一分配給圖像信息的視頻子流；以及以單個(gè)操作執(zhí)行涉及所述主要視頻流和所述視頻子流的至少兩個(gè)任務(wù)以生成合成視頻信息。
27.如權(quán)利要求26所述的方法，其特征在于，所述多個(gè)單元包括多個(gè)圖形紋理單元。
28.一種或多種包括存儲(chǔ)其上的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述指令用于實(shí)現(xiàn)如權(quán)利要求26所述的方法。
29.一種包括被配置成執(zhí)行權(quán)利要求26的分配和執(zhí)行的邏輯的裝置。
30.一種用于處理圖像信息的方法，其特征在于，包括提供圖像信息的一主要視頻流；提供圖像信息的一視頻子流；以及基于在色彩信息數(shù)據(jù)結(jié)構(gòu)中指定的色彩信息，執(zhí)行涉及所述主要視頻流和所述視頻子流的至少兩個(gè)任務(wù)以生成在指定色彩空間中表達(dá)的輸出視頻信息。
31.如權(quán)利要求30所述的方法，其特征在于，所述指定色彩空間是一RGB相關(guān)色彩空間。
32.如權(quán)利要求31所述的方法，其特征在于，所述RGB相關(guān)色彩空間定義非線性RGB數(shù)據(jù)。
33.如權(quán)利要求31所述的方法，其特征在于，所述RGB相關(guān)色彩空間定義線性RGB數(shù)據(jù)。
34.如權(quán)利要求30所述的方法，其特征在于，所述指定色彩空間是一亮度相關(guān)色彩空間。
35.如權(quán)利要求30所述的方法，其特征在于，所述指定色彩空間定義用于處理多個(gè)圖像信息流的一公共色彩空間。
36.如權(quán)利要求30所述的方法，其特征在于，所述色彩信息標(biāo)識(shí)所述指定色彩空間。
37.如權(quán)利要求30所述的方法，其特征在于，執(zhí)行對(duì)多個(gè)圖像信息流的操作，每一個(gè)分別具有它自己的與其相關(guān)聯(lián)的色彩信息數(shù)據(jù)結(jié)構(gòu)。
38.如權(quán)利要求30所述的方法，其特征在于，所述至少兩個(gè)任務(wù)包括對(duì)所述主要視頻流解除隔行掃描，且其中所述色彩信息數(shù)據(jù)結(jié)構(gòu)包括管理所述解除隔行掃描的信息。
39.如權(quán)利要求30所述的方法，其特征在于，所述至少兩個(gè)任務(wù)包括將圖像信息從第一色彩空間轉(zhuǎn)換到第二色彩空間。
40.如權(quán)利要求39所述的方法，其特征在于，所述第一色彩空間是一亮度相關(guān)色彩空間，而所述第二色彩空間是一RGB相關(guān)色彩空間。
41.如權(quán)利要求39所述的方法，其特征在于，所述色彩信息數(shù)據(jù)結(jié)構(gòu)中的色彩信息管理所述轉(zhuǎn)換。
42.如權(quán)利要求30所述的方法，其特征在于，所述至少兩個(gè)任務(wù)包括以下的至少兩個(gè)(a)對(duì)所述主要視頻流解除隔行掃描；(b)組合所述主要視頻流和所述視頻子流；或者(c)將圖像信息從第一色彩空間轉(zhuǎn)換到第二色彩空間。
43.如權(quán)利要求30所述的方法，其特征在于，所述至少兩個(gè)任務(wù)在單個(gè)操作中執(zhí)行。
44.一種或多種包括存儲(chǔ)其上的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述指令用于實(shí)現(xiàn)如權(quán)利要求30所述的方法。
45.一種包括被配置成執(zhí)行權(quán)利要求30所述主要視頻流的提供、所述子流的提供、以及執(zhí)行的邏輯的裝置。
46.一種用于處理圖像信息的方法，其特征在于，包括將一亮度相關(guān)色彩空間中的輸入圖像信息轉(zhuǎn)換成一RGB相關(guān)色彩空間內(nèi)的線性圖像信息；對(duì)所述RGB相關(guān)色彩空間中的線性圖像信息執(zhí)行處理以生成經(jīng)處理信息；以及將所述經(jīng)處理信息轉(zhuǎn)換成一亮度相關(guān)色彩空間內(nèi)的非線性圖像信息。
47.如權(quán)利要求46所述的方法，其特征在于，所述轉(zhuǎn)換還涉及在所述處理操作之前將所述輸入圖像信息從隔行掃描格式轉(zhuǎn)換成漸進(jìn)式格式，并在處理之后，將所述經(jīng)處理信息從漸進(jìn)式格式轉(zhuǎn)換成隔行掃描格式。
48.如權(quán)利要求46所述的方法，其特征在于，還包括提供一色彩信息數(shù)據(jù)結(jié)構(gòu)，并使用在所述色彩信息數(shù)據(jù)結(jié)構(gòu)中指定的色彩信息來(lái)管理所述輸入信息的轉(zhuǎn)換、所述處理、或所述經(jīng)處理信息的轉(zhuǎn)換的至少之一。
49.一種或多種包括存儲(chǔ)其上的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述指令用于實(shí)現(xiàn)如權(quán)利要求46所述的方法。
50.一種包括被配置成執(zhí)行輸入信息的轉(zhuǎn)換、執(zhí)行、以及權(quán)利要求46的經(jīng)處理信息的轉(zhuǎn)換的邏輯的裝置。
全文摘要
描述了使用傳送色彩信息的數(shù)據(jù)結(jié)構(gòu)來(lái)處理圖像信息的策略。該色彩信息描述應(yīng)用于圖像信息的色彩相關(guān)格式化。該數(shù)據(jù)結(jié)構(gòu)可沿一視頻處理管線向下傳遞，其中該管線中的每個(gè)功能組件可從該數(shù)據(jù)結(jié)構(gòu)提取色彩信息以改進(jìn)其處理的準(zhǔn)確性。此外，每個(gè)組件可將先前未知的色彩信息提供給該數(shù)據(jù)結(jié)構(gòu)由該管線中其它(下游)組件使用。該數(shù)據(jù)結(jié)構(gòu)的示例性字段可包括視頻轉(zhuǎn)換函數(shù)字段、色彩元字段、圖像光線字段、轉(zhuǎn)換矩陣字段、名義范圍字段、以及視頻色度采樣字段的一個(gè)或多個(gè)。該轉(zhuǎn)換矩陣字段可被用來(lái)將圖像信息從一色彩空間轉(zhuǎn)換到另一空間，諸如從亮度相關(guān)色彩空間到RGB相關(guān)色彩空間?？蓪?duì)漸進(jìn)式和線性RGB圖像信息執(zhí)行處理操作。
文檔編號(hào)G09G5/36GK1745373SQ200480003238
公開(kāi)日2006年3月8日 申請(qǐng)日期2004年7月30日 優(yōu)先權(quán)日2003年8月1日
發(fā)明者G·F·伊凡斯, S·J·埃斯特羅普 申請(qǐng)人:微軟公司