用于在數(shù)據(jù)處理系統(tǒng)中處理幀的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及色度鍵控化eying)領(lǐng)域。具體而言，本發(fā)明設(shè)及在色度鍵控處理中對 將要與背景帖合成的前景帖進(jìn)行處理的方法和裝置。
【背景技術(shù)】
[0002] 色度鍵合成或色度鍵控是根據(jù)圖像的色調(diào)(色度范圍）將前景圖像與背景圖像(或 將前景視頻流與背景視頻流)合成的技術(shù)。在合成期間選擇前景帖中的一個(gè)或更多個(gè)像素 用背景帖的像素代替，并且通過使要從前景帖中去除的像素具有限定的色值或鍵控顏色值 (例如，綠)來標(biāo)識(shí)運(yùn)些像素。具有該鍵控顏色值的運(yùn)些前景像素通常稱為"鍵控像素"。
[0003] 此處應(yīng)當(dāng)理解的是，正在處理的給定帖通常包括一起形成該帖的多個(gè)像素(采樣 位置）（數(shù)據(jù)位置陣列）。運(yùn)里，像素對應(yīng)于一個(gè)采樣位置。對于該帖的每個(gè)像素(采樣位置）， 可W存儲(chǔ)一個(gè)或多個(gè)數(shù)據(jù)值(例如，RGB值），每個(gè)數(shù)據(jù)值可W用例如若干個(gè)比特(諸如化k特 的數(shù))來表示(其中，例如該帖存儲(chǔ)為RGB888格式）。
[0004] 圖1中示出了例示簡化的鍵控操作的示意圖。當(dāng)前景帖100要與背景帖101合成時(shí) (104)，將前景帖的每個(gè)像素的值與鍵控顏色值103進(jìn)行比較(102)，使得作為鍵控像素的前 景像素被背景帖的像素代替，從而僅期望的前景對象與背景帖合成。前景對象例如可W是 說明字幕的文字、天氣預(yù)報(bào)的預(yù)報(bào)員等，而背景例如可W是天氣圖。
[0005] 色度鍵控技術(shù)可W在數(shù)據(jù)（圖像)處理系統(tǒng)中實(shí)現(xiàn)。在同一個(gè)數(shù)據(jù)處理系統(tǒng)中，還 可W實(shí)現(xiàn)一個(gè)或更多個(gè)其他數(shù)據(jù)處理模塊。在該情況下，在執(zhí)行色度鍵控操作及合成之前， 前景圖像和/或背景圖像可W由一個(gè)或更多個(gè)其他圖像處理模塊處理。
[0006] 在圖2中示意性示出了數(shù)據(jù)處理系統(tǒng)中的色度鍵控技術(shù)的常規(guī)實(shí)現(xiàn)，其中，在對前 景帖進(jìn)行處理(210)之后執(zhí)行對前景帖中的鍵控像素的檢測(220)。類似地對背景帖的像素 進(jìn)行處理(230)，并將處理后的前景帖和背景帖合成(240)。在該常規(guī)方法中，即使前景帖中 的一個(gè)或更多個(gè)像素是鍵控像素，也對前景帖中的所有像素進(jìn)行處理，運(yùn)些像素在合成期 間將被背景圖像中的像素代替。因此，在某些情況下不必要地消耗處理和帶寬資源。
[0007] -些圖像處理操作依賴于像素組的數(shù)據(jù)值。在鍵控像素與前景對象之間的邊界處 執(zhí)行運(yùn)種操作的情況下，如果輸入像素值包括來自一個(gè)或更多個(gè)鍵控像素和一個(gè)或更多個(gè) 前景對象像素的值的合成，則輸出像素值中的該一個(gè)或更多個(gè)前景對象像素的值會(huì)受到輸 入中的鍵控像素的值的影響，類似地，輸出中的鍵控像素的值會(huì)受到輸入中的前景對象像 素的值的影響。在前一種情況下，前景對象失真，導(dǎo)致圖像質(zhì)量的損失，并且在后一種情況 下，鍵控像素可能無法被檢測到，因此不被背景圖像的像素代替。
[0008] 當(dāng)在鍵控像素與前景對象像素之間的邊界處執(zhí)行時(shí)可能會(huì)受到影響的圖像處理 的示例是過濾或從帖取得像素"窗"（組)作為其輸入的其他操作，例如當(dāng)通過應(yīng)用縮放窗對 圖像進(jìn)行縮放或者通過應(yīng)用銳化窗對圖像進(jìn)行銳化時(shí)。在常規(guī)方法中，當(dāng)針對輸入像素執(zhí) 行運(yùn)種"加窗"操作時(shí)，不但根據(jù)輸入像素的值而且根據(jù)該輸入像素周圍的像素的值來確定 所得到的輸出像素的值。在加窗操作中使用的周圍像素的數(shù)量依賴于該窗的大小。例如，對 于3X3的窗，該窗覆蓋了9個(gè)像素的范圍，因此該操作取輸入像素的值W及該輸入像素的周 圍另外8個(gè)像素的值。因此，如果過濾器窗覆蓋了包圍鍵控像素和前景對象像素運(yùn)兩者的范 圍，則輸出像素的值是鍵控像素與前景對象像素的組合結(jié)果。
[0009] 圖3中示出了由"滲入(bleeding)"前景對象中的鍵控像素導(dǎo)致的失真的示例，其 中，鍵控像素被示出為白色，前景像素為深灰色，背景像素為淺灰色。在該示例中，對前景帖 310應(yīng)用3X3的過濾器窗。當(dāng)對前景帖310的像素310-1應(yīng)用過濾器窗時(shí)，該過濾器窗覆蓋了 范圍310-2,其包含鍵控像素和前景像素運(yùn)兩者。當(dāng)對像素310-1執(zhí)行過濾操作時(shí)，其值根據(jù) 范圍310-2中的各像素的值確定。因此，當(dāng)針對前景帖310中的每個(gè)像素完成了過濾操作時(shí)， 在所得到的帖320的鍵控像素與前景像素之間的邊界350處會(huì)看到失真。當(dāng)對所得到的帖 320執(zhí)行色度鍵控操作W檢測并代替處理后前景帖中的鍵控像素時(shí)，未檢測到邊界處的失 真鍵控像素，因此，當(dāng)將處理后的前景帖與背景帖330合成時(shí)，失真仍保留在合成帖340中位 于前景像素與背景像素之間的邊界360處。
[0010] 在常規(guī)方法中，如圖4中示意性所示，在色度鍵控操作102和合成104之后執(zhí)行失真 檢測401和失真松正402，W檢測和松正前景對象中的失真。有許多方法來執(zhí)行失真檢測和 失真校正。然而，依賴于所使用的失真檢測方法，可能無法檢測到某些失真像素。此外，由于 去除前景對象中的失真有時(shí)可能需要在應(yīng)用過濾之前的前景帖的知識(shí)，并且類似地去除由 未被檢測到的鍵控像素導(dǎo)致的背景中的失真有時(shí)可能需要在合成之前的背景圖像的知識(shí)， 因而并非總是能夠完全去除所有的失真。因此，運(yùn)種失真校正方法可能僅能夠減少鍵控像 素對前景對象和背景圖像的影響，但并不能完全去除所有失真。
[0011] 鑒于此，希望減少處理和帶寬資源的不必要的消耗。還希望減少合成圖像中的失 真并由此改善圖像質(zhì)量。

【發(fā)明內(nèi)容】

[0012] 因此，根據(jù)本發(fā)明的方面，提供了一種提供要與背景帖合成的前景帖的方法，該前 景帖和背景帖均包括一起形成各自帖的一個(gè)或更多個(gè)區(qū)域。對于前景帖的至少一個(gè)區(qū)域， 該方法包括:對前景帖進(jìn)行檢測W確定所述區(qū)域是否具有預(yù)定顏色值(例如，鍵控顏色值）， 基于該檢測而生成并存儲(chǔ)色度鍵控信息，W及根據(jù)所存儲(chǔ)的色度鍵控信息控制要對所述前 景帖的該區(qū)域執(zhí)行的圖像處理。
[0013] 前景/背景帖可W按任何適當(dāng)或期望方式劃分為一個(gè)或更多個(gè)區(qū)域。在優(yōu)選實(shí)施 方式中，各個(gè)區(qū)域?qū)?yīng)于該帖的獨(dú)立像素(采樣位置）。然而，在一些實(shí)施方式中，運(yùn)些帖可 W被劃分為包括多于一個(gè)像素(采樣位置)的區(qū)域，運(yùn)些像素可W根據(jù)需要具有相同或不同 的大小。該預(yù)定顏色值可W是單個(gè)值或值的范圍，并且優(yōu)選地為鍵控顏色值，該鍵控顏色值 被設(shè)置用于標(biāo)識(shí)前景帖中的要在合成期間用背景帖中的像素代替的像素。
[0014] 根據(jù)本發(fā)明的另一方面，提供了一種用于提供要與背景帖合成的前景帖的裝置， 各個(gè)前景帖和背景帖包括一起形成各自帖的一個(gè)或更多個(gè)區(qū)域。該裝置包括:檢測模塊，用 于對前景帖的區(qū)域執(zhí)行檢測W確定該區(qū)域是否具有預(yù)定顏色值，并基于該檢測生成色度鍵 控信息;存儲(chǔ)器，用于存儲(chǔ)該色度鍵控信息；W及控制電路，用于根據(jù)所存儲(chǔ)的色度鍵控信 息控制要對該區(qū)域執(zhí)行的圖像處理。
[0015] 在優(yōu)選實(shí)施方式中，在對前景帖執(zhí)行一個(gè)或更多個(gè)圖像處理之前，對前景帖執(zhí)行 檢測w生成色度鍵控信息。作為檢測結(jié)果而生成的色度鍵控信息被存儲(chǔ)并在一個(gè)或更多個(gè) 圖像處理操作期間使用。因此，該色度鍵控信息可W視為沿著處理流水線與前景帖一起傳 播。此外，優(yōu)選地基于色度鍵控信息來修改要對前景帖執(zhí)行的圖像處理操作，因此可W根據(jù) 前景帖的檢測結(jié)果來適應(yīng)圖像處理。
[0016] 所存儲(chǔ)的色度鍵控信息可W包括與前景帖的像素值有關(guān)的任何適當(dāng)或期望的信 息。在優(yōu)選實(shí)施方式中，色度鍵控信息指示了前景帖的區(qū)域是否具有預(yù)定顏色值，例如鍵控 顏色值。例如，在實(shí)施方式中，可W通過設(shè)置標(biāo)記來指示區(qū)域是否具有鍵控顏色值W存儲(chǔ)色 度鍵控信息。在運(yùn)種實(shí)施方式中，可W提供多個(gè)色度鍵控標(biāo)記的陣列，每個(gè)色度鍵控標(biāo)記對 應(yīng)于前景帖的區(qū)域(例如，像素指示每個(gè)對應(yīng)區(qū)域是否具有鍵控顏色值。因此，通過讀取 所存儲(chǔ)的色度鍵控信息，可W確定前景帖的區(qū)域是否具有鍵控顏色值，即，該區(qū)域是否將在 合成期間被背景帖的區(qū)域代替，并相應(yīng)修改要對前景帖的該區(qū)域執(zhí)行的圖像處理操作。
[0017] 要對前景帖執(zhí)行的圖像處理操作可W是在與背景帖合成之前在前景帖中執(zhí)行的 任意適當(dāng)和期望的處理操作?？蒞使用所存儲(chǔ)的色度鍵控信息按任何適當(dāng)或期望的方式來 控制(并且優(yōu)選地，修改)該處理操作。在優(yōu)選實(shí)施方式中，如果色度鍵控信息指示該區(qū)域具 有色度鍵控值，則可W完全省略要對前景帖的該區(qū)域執(zhí)行的圖像處理操作。
[0018] 申請人認(rèn)識(shí)到，在常規(guī)方法中，僅在處理過前景帖之后才執(zhí)行用于在前景帖的前 景對象像素中標(biāo)識(shí)出鍵控像素的色度鍵控操作，前景帖中的每個(gè)像素都按相同方式進(jìn)行處 理，而不管其是鍵控像素還是前景對象像素。此外，前景帖中的鍵控像素在合成期間被背景 帖中的像素代替，因此對鍵控像素執(zhí)行的任何處理實(shí)際上是不必要的。
[0019] 因此，根據(jù)本發(fā)明的實(shí)施方式，通過在對前景帖執(zhí)行處理之前獲得前景帖的色度 鍵控信息，可W根據(jù)所獲得的色度鍵控信息按需來修改要執(zhí)行的處理。
[0020] 本發(fā)明通過如下操作來幫助實(shí)現(xiàn)此效果:在對前景帖執(zhí)行圖像處理之前，對前景 帖執(zhí)行色度鍵控確定，W檢測前景帖中具有鍵控顏色值的區(qū)域，例如單個(gè)像素或像素組，因 此指示了在前景帖與背景帖合成時(shí)運(yùn)些像素要被背景帖的像素代替。在優(yōu)選實(shí)施方式中， 該檢測生成色度鍵控信息，該色度鍵控信息標(biāo)識(shí)出前景帖中的區(qū)域是否具有鍵控顏色值， 并且該色度鍵控信息被存儲(chǔ)并與前景帖一起例如經(jīng)過處理流水線傳播。使用所存儲(chǔ)的色度 鍵控信息，可W基于區(qū)域是否具有鍵控顏色值來修改要對前景帖執(zhí)行的任何處理。在區(qū)域 被識(shí)別為具有鍵控顏色值的情況下，已知該區(qū)域在合成期間將被背景帖中的像素代替，因 此要對該區(qū)域執(zhí)行的任何處理將是不必要的。因此，在特別優(yōu)選實(shí)施方式中，如果色度鍵控 信息指示了區(qū)域具有鍵控顏色值，則省略對該區(qū)域的圖像處理。
[0021] 所獲得的針對前景帖的色度鍵控信息可W不加改變地與前景帖一起傳播到合成。 另選地，如果要根據(jù)縮放比例對前景帖執(zhí)行縮放操作，則希望基于相同的縮放比例來修該 改色度鍵控信息。例如，在前景帖的色度鍵控信息是色度鍵控標(biāo)記的陣列(每個(gè)色度鍵控標(biāo) 記對應(yīng)于前景帖的像素）的情況下，可W優(yōu)選地將按相同的縮放比例對色度鍵控標(biāo)記的陣 列進(jìn)行縮放。運(yùn)確保了在對前景帖進(jìn)行擴(kuò)展(upscale)或縮減(downscale)后該色度鍵控信 息保持其與前景帖區(qū)域的對應(yīng)性。
[0022] 本發(fā)明的實(shí)施方式可W應(yīng)用于要對前景帖執(zhí)行的任一個(gè)或更多個(gè)處理操作，W基 于通過對前景帖的檢測獲得的色度鍵控信息來修改該一個(gè)或更多個(gè)處