專利名稱：具有動態(tài)控制的像素處理的圖像處理系統(tǒng)和方法
相關(guān)申請的交叉參考本申請基于下述美國臨時專利申請并在35 U.S.C.§119(e)下要求該臨時專利申請的權(quán)益，該臨時專利申請作為參考被完整地結(jié)合在此用于所有目的于2004年1月16日提交，序列號為60/537,082。
背景技術(shù)：
存在很多用于處理數(shù)字圖像的系統(tǒng)和方法。現(xiàn)有的圖像系統(tǒng)通常包括用于對組成數(shù)字圖像的像素執(zhí)行各種操作的處理塊。這些操作可以包括去隔行、提高或降低分辨率等等。典型的現(xiàn)有系統(tǒng)對這些操作使用預(yù)先確定的、固定的處理算法。不同的處理操作基本上獨立于彼此進行操作，且并不調(diào)整或修改處理來響應(yīng)變化的像素特性。
附圖簡要說明

圖1示意性地示出根據(jù)本發(fā)明的圖像處理系統(tǒng)的實施例。
圖2示意性地示出可結(jié)合本發(fā)明的系統(tǒng)和方法使用的可動態(tài)控制的圖像處理塊。
圖3示出可以與一個像素或一組像素關(guān)聯(lián)的各種類型的可變分類數(shù)據(jù)和處理數(shù)據(jù)，此類數(shù)據(jù)可用作圖像處理塊的輸入，以便動態(tài)調(diào)整或者控制圖像處理塊。
圖4示出根據(jù)本發(fā)明用于處理數(shù)字圖像的方法的示例實現(xiàn)。
圖5示出根據(jù)本發(fā)明的處理管線的示例，包括用于執(zhí)行去隔行、圖像插值和顏色處理操作的可動態(tài)控制的處理塊。
圖6和7示出隔行掃描視頻幀和可動態(tài)控制的用于執(zhí)行去隔行操作的處理塊。
圖8示出在圖像插值處理操作的上下文中像素網(wǎng)格和要通過網(wǎng)格中的一個或多個已知像素值進行插值的目標(biāo)像素。
詳細(xì)說明圖1示意性地示出根據(jù)本發(fā)明的圖像處理系統(tǒng)20的實施例。應(yīng)理解，該圖是示意性的描述，且所示元件可以按各種方式整合或組合，或劃分出附加的元件，而不偏離所述系統(tǒng)的精神和范圍。
圖像處理系統(tǒng)可以包括用于接收輸入視頻信號并對輸入視頻信號執(zhí)行初始處理的塊22。塊22可以配置為處理模擬和/或數(shù)字輸入。在模擬視頻的情況下，塊22可以包括亞元件以捕捉和/或解碼模擬視頻信號從而產(chǎn)生表示一個或多個輸入視頻幀的對應(yīng)像素。例如，可以使用包括適合的模數(shù)轉(zhuǎn)換器(ADC)的模擬視頻解碼器來產(chǎn)生表示輸入視頻幀的像素。然后可以將這些像素以時鐘脈沖輸入到處理管線中或應(yīng)用于處理管線。在典型實施例中，將像素順序地以時鐘脈沖輸入到系統(tǒng)中。
對模擬視頻，如Philips(荷蘭飛利浦公司)7119這樣的設(shè)備可用于提供要由處理管線捕捉的像素。對通過模數(shù)轉(zhuǎn)換器捕捉或來自DVI源的圖像，如模擬設(shè)備9887這樣的設(shè)備可用于提供要由處理管線捕捉的像素。
附加或擇一地，塊22可以配置為處理數(shù)字視頻輸入。在數(shù)字視頻的情況下，可以在捕捉/解碼塊22內(nèi)實現(xiàn)適合的數(shù)字視頻解碼器以重建圖像幀。在解碼處理期間，及在處理期間的其他點上，分類數(shù)據(jù)可以基于用于重建像素的方法與像素關(guān)聯(lián)。當(dāng)前來自如Conexant(美國科勝訊系統(tǒng)公司)(CX22490)或LSI Logic(美國大規(guī)模集成電路邏輯公司)(SC2005)這些公司的數(shù)字視頻解碼器可以結(jié)合本文中所述實施例使用。
系統(tǒng)20還可以包括用于對像素分組的塊24。在捕捉之后，對應(yīng)于輸入視頻幀的像素通?；谠趬K24處使用的一組分配準(zhǔn)則被分配到固定或可變大小的區(qū)域。分配準(zhǔn)則可以變化很大?？梢允褂煤唵蔚目臻g分配，如基于像素彼此之間在視頻幀內(nèi)的正方形、矩形或其他幾何關(guān)系進行分組?？梢允褂没趯ο蟮姆峙湎到y(tǒng)來基于像素屬于圖像中的同一對象，如一個人的面部的可能性對像素分組。分組準(zhǔn)則可以由空間塊組成，如在MPEG視頻編碼中使用的那些空間塊。又一種分組示例是基于對象識別方案，其中使用模式匹配來對相似像素的區(qū)域分組。
實際上，塊24可以根據(jù)任何可實踐的準(zhǔn)則對像素分組。通常，系統(tǒng)20使用這樣的對像素的分組或區(qū)域化來幫助分析和/或處理像素。例如，對于有很多觀眾在背景中的體育事件的圖像，對應(yīng)于該背景區(qū)域的像素可以分組在一起(基于共同的特性)。特定的處理步驟然后可以應(yīng)用于作為整體的已分組像素，從而提高對視頻信號的圖像處理速度和效率。此外，分組和區(qū)域化視頻數(shù)據(jù)可以極大地提高處理的粒度并增加本文中所述的動態(tài)實時處理系統(tǒng)和方法的有效性。
分類數(shù)據(jù)可以由塊24或系統(tǒng)20的其他部分以離散比特或多比特參數(shù)的形式附加到像素數(shù)據(jù)。離散比特可用于標(biāo)記特定特性(如檢測到的邊緣)的出現(xiàn)。多比特字段可用于存儲指示出現(xiàn)在像素中的特性(如運動)的量的數(shù)值。
雖然對像素的某些分析和分類可以由系統(tǒng)20的其他部分執(zhí)行，但該系統(tǒng)可以包括專門用于分析和分類正在處理的像素的塊26?？梢允褂酶鞣N方法和系統(tǒng)來執(zhí)行分類，且可以執(zhí)行分析來檢測與像素關(guān)聯(lián)的各種特性，包括運動信息，梯度，量化縮放因子，所使用的預(yù)測方法，反離散余弦變化系數(shù)，頻率信息(空間和/或時間頻率)，顏色信息(亮度、對比度、色調(diào)、飽和度等等)，像素是否包括文本、圖像或其他可分類元素，是否正在使用電影模式，等等。這些特性通常會在像素的處理期間變化，且可被稱為分類數(shù)據(jù)。
這些特性的確定可以使用任何可實踐的方法來執(zhí)行。例如，可以通過計算空間相鄰的像素之間的絕對差值來獲得頻率信息?？梢酝ㄟ^將像素與一個或多個先前的幀中的那些像素比較然后計算差值來生成運動信息。
如下文中詳述，可以在處理一個像素或一組像素期間重復(fù)地訪問分組塊24和/或分析塊26。重復(fù)地更新分類數(shù)據(jù)允許系統(tǒng)動態(tài)地跟蹤處理過的像素的變化的特性，并動態(tài)地實時響應(yīng)那些變化，以便動態(tài)地控制和增強圖像處理。
圖像處理系統(tǒng)20還包括一個或多個圖像處理塊28。塊28可以配置為執(zhí)行各種不同的圖像處理任務(wù)，包括去隔行、圖像插值或其他分辨率變化、顏色處理、亮度/色度分離、噪聲濾波、增強(boosting)等等。一般的實施例使用單獨的塊28進行去隔行、圖像插值和顏色處理。如下所述，本發(fā)明的系統(tǒng)和方法允許根據(jù)顆粒狀的、可變化的分類數(shù)據(jù)動態(tài)地控制在給定的處理塊上的處理。
系統(tǒng)20還可以包括執(zhí)行和/或支持其他所述塊的功能的控制器30?？刂破?0可以根據(jù)需要包括處理器、存儲器、幀緩沖器和/或其他元件。圖1的元件可以適當(dāng)?shù)赝ㄟ^總線或其他互連機制32連接。亦應(yīng)理解，所述元件可以作為單個集成的芯片，或作為以任何可實踐的方式組合或分離的復(fù)數(shù)個離散元件來實現(xiàn)。例如，可以用單獨的處理器和單獨的存儲器芯片實現(xiàn)控制器30；塊24和26的功能可以組合，等等。
現(xiàn)參考圖2和3，將描述單個處理塊(如，去隔行塊)處的處理控制。在圖2中，示出示例圖像處理塊28。如所示，像素100(或單個像素)應(yīng)用于塊28以進行處理。塊28根據(jù)控制輸入102處理像素100，以輸出處理過的像素104(像素’)。如所示，通過輸入102實現(xiàn)的控制可以動態(tài)地發(fā)生并基于各種參數(shù)，包括與像素100關(guān)聯(lián)的分類數(shù)據(jù)(如，運動數(shù)據(jù)、頻率數(shù)據(jù)等等)，與像素100關(guān)聯(lián)的處理信息(如，在另一個處理步驟使用的濾波器系數(shù)，在另一步驟使用的插值方法，先前的處理是否經(jīng)調(diào)整以處理銳度問題等等)，和/或其他控制參數(shù)。也可以使用來自其他(如，從下游或上游的塊饋送的)塊的分類和/或處理數(shù)據(jù)來控制當(dāng)前塊上的處理。
圖3更具體地示出分類和/或處理數(shù)據(jù)可以如何與一個或多個像素關(guān)聯(lián)。此數(shù)據(jù)可被視為多字段類120，其中各種類型的數(shù)據(jù)可以與管線中正在處理的像素關(guān)聯(lián)。字段122指示與其他數(shù)據(jù)字段關(guān)聯(lián)的像素。分類數(shù)據(jù)124可以與像素關(guān)聯(lián)，以描述一個或多個像素的特性或質(zhì)量。分類數(shù)據(jù)124可以包括各種類型的信息，包括運動數(shù)據(jù)126，頻率數(shù)據(jù)128，顏色數(shù)據(jù)130，等等。附加或擇一地，類120可以包括處理數(shù)據(jù)140來指示或描述已對該一個或多個像素執(zhí)行的處理。作為示例，處理數(shù)據(jù)140可以包括來自其他處理塊的濾波信息142，在去隔行期間使用的參數(shù)或方法144，等等。
應(yīng)進一步理解，一個或多個像素的數(shù)據(jù)不僅可以包括當(dāng)前幀的數(shù)據(jù)，還可以包括該像素的歷史數(shù)據(jù)(如，來自先前的視頻幀的數(shù)據(jù))，而不管數(shù)據(jù)是如何組織或相關(guān)的?？梢责伻朐谙壬踔梁竺娴南袼氐姆诸悢?shù)據(jù)和/或處理數(shù)據(jù)以影響給定處理塊上的處理。此外，分類和處理數(shù)據(jù)隨著像素通過處理管線而動態(tài)地變化。此動態(tài)變化的控制數(shù)據(jù)可以通過在處理管線中動態(tài)地前饋和/或反饋變化中的控制數(shù)據(jù)的機制，加以使用來改進圖像處理。這對其他像素的圖像處理或同一批像素在后序的處理塊中的圖像處理產(chǎn)生動態(tài)的前饋和反饋作用。
現(xiàn)參考圖4，將說明示例圖像處理方法200。從下面的說明中，顯然可看到，結(jié)合前文所述的系統(tǒng)和元件可以有利地實現(xiàn)方法200。然而，應(yīng)理解，示例方法或其中的方面可以獨立于本文中所述的具體實施例來實現(xiàn)。
如202處所示，方法200可以包括接收或獲取要處理的輸入像素。這可以通過上述模擬/數(shù)字捕捉和上述解碼特征(如，圖1中的捕捉/解碼塊22)來實現(xiàn)。然后可以在204適當(dāng)?shù)貙邮盏降南袼剡M行分組或區(qū)域化，如上參考圖1所述。還可以分析這些像素來獲取所需的分類數(shù)據(jù)，如206處所示。這樣的分類數(shù)據(jù)可以包括任何上述的像素分類器，包括運動數(shù)據(jù)、頻率數(shù)據(jù)、顏色信息、梯度數(shù)據(jù)等等。步驟204和206的分組和分析可被稱為前端操作或任務(wù)，因為在本示例中它們是在像素的任何圖像處理之前(如，在去隔行、圖像插值操作等等之前)執(zhí)行的。
在208，該方法包括對輸入像素執(zhí)行圖像處理操作(如，去隔行、圖像插值、噪聲濾波等等)。如上所述，可以根據(jù)與像素關(guān)聯(lián)的分類數(shù)據(jù)和/或處理數(shù)據(jù)(如，圖3中的分類數(shù)據(jù)124和處理數(shù)據(jù)140)動態(tài)地控制處理操作。
可以在去隔行的上下文中理解分類數(shù)據(jù)的一種用途，即動態(tài)地調(diào)整圖像處理操作。在本發(fā)明的系統(tǒng)中，在任何給定點上使用的去隔行方法可以高度依賴于要處理的像素中檢測到的運動的程度。如上所述，可以通過評估復(fù)數(shù)個視頻幀上出現(xiàn)的像素的時間變化來檢測運動。該運動信息然后可以例如通過使用多字段類，如類120與像素關(guān)聯(lián)。嵌在類字段內(nèi)的運動信息然后可用于動態(tài)地控制去隔行操作和/或選擇適當(dāng)?shù)娜ジ粜兴惴?。一種去隔行操作可以適用于具有高運動程度的像素，而另一種去隔行操作(或第一操作的修正版本)可以更適用于靜態(tài)的像素或圖像區(qū)域。
步驟208上的處理也可以基于對正在饋入處理操作中的像素的在先處理而動態(tài)地控制。例如，關(guān)聯(lián)的處理數(shù)據(jù)(如，處理數(shù)據(jù)140)可以指示特定的算法已應(yīng)用于已知的在運動出現(xiàn)時產(chǎn)生模糊效果的像素。該認(rèn)知然后可用于調(diào)整當(dāng)前處理操作，以增強特定像素，如移動物體的邊緣的銳度。
與其他處理操作或與步驟208中正在處理的那些像素之外的像素關(guān)聯(lián)的分類數(shù)據(jù)或處理數(shù)據(jù)，也可被用于控制步驟208中的圖像處理操作。如圖4所示，在各種后處理操作步驟(如，在210、212、214和216)之后，可以在210執(zhí)行另一個處理操作。圖1示出類似的管線處理方案，其中可以按所需順序執(zhí)行許多不同的處理操作(如，對應(yīng)于不同的圖像處理塊28)。在圖4的方法中，對每通過步驟208，都可以執(zhí)行不同的處理操作。例如，可以在第一次通過中執(zhí)行去隔行操作，而在后面幾次通過中執(zhí)行圖像插值、顏色處理和噪聲濾波。
對給定的處理操作，管線中的其他處理操作中的一處產(chǎn)生的分類數(shù)據(jù)或處理數(shù)據(jù)可用于影響處理操作。在具有去隔行、圖像插值和顏色處理操作的管線中，例如，來自圖像插值處理的輸出像素的分類數(shù)據(jù)可用于控制去隔行處理。在這樣的設(shè)置中，對圖像插值處理輸出的像素的分析可以揭示圖像質(zhì)量問題，這樣的問題最好通過調(diào)整去隔行處理參數(shù)來處理。也可以通過管線中的操作來反饋或前饋處理數(shù)據(jù)。在上述示例中，來自圖像插值塊的處理數(shù)據(jù)可以揭示濾波系數(shù)的重復(fù)使用來改進銳度?？梢酝ㄟ^管線前饋或反饋(上游或下游)此處理數(shù)據(jù)，從而在銳度在管線的其他部分中可以更加有效地處理的情況下，該處理任務(wù)切換到其他塊。
再次參考圖4，在選擇的處理操作之后，可以在210重新分析和/或重新分組來自處理操作的輸出像素。通常，一個或多個像素的分類數(shù)據(jù)作為所應(yīng)用的處理操作的結(jié)果而變化頻率信息可能變化，梯度可能變化，運動向量可能被修正，等等。然后可以在212更新一個或多個像素的分類數(shù)據(jù)。附加或擇一地，可以在步驟212更新像素的處理信息。實際上，可以通過例如更新多字段類，如類120(圖3)中的相關(guān)字段，來更新與像素關(guān)聯(lián)的任何分類或處理信息。
通過上述說明，應(yīng)理解，給定的一個或多個像素的分類和處理數(shù)據(jù)隨著像素通過處理管線而動態(tài)地變化像素特性變化，在處理期間應(yīng)用不同的處理參數(shù)和算法，等等。此變化的分類/處理信息可以通過處理管線進行前饋和反饋，以動態(tài)地調(diào)整在系統(tǒng)中的任何點上發(fā)生的處理操作。實際上，在步驟214，從剛剛完成的處理操作(步驟208)中產(chǎn)生的更新的分類/處理信息被傳遞給處理管線中的所需部分，使得對圖像處理操作產(chǎn)生可能的前饋和反饋作用。在216，如果要對像素執(zhí)行附加的處理操作(如，在處理管線中下游的塊上)，則方法200返回步驟208來執(zhí)行下一個選擇的處理操作。
如果沒有附加的處理操作要執(zhí)行，則可以在220和222執(zhí)行“后端分析”和比較。這可以涉及執(zhí)行附加的分析來獲取最終輸出像素的更新的分類信息。此后端分析的結(jié)果可以與在204和206獲取的前端數(shù)據(jù)比較，以便進一步動態(tài)地調(diào)整或控制在處理管線內(nèi)發(fā)生的任何處理操作。在圖1的示例系統(tǒng)的上下文中，初始輸入像素的特性可以與包括最終輸出視頻幀的像素的分類進行比較，以便評估是否實現(xiàn)了處理目標(biāo)。該比較然后可用于在圖像處理管線中動態(tài)地調(diào)整由處理塊28執(zhí)行的處理操作，如224所示。在處理之后，輸出視頻幀，如226所示。
所述圖像處理系統(tǒng)和方法的典型實施例包括去隔行、圖像插值和顏色處理操作。這些操作可以在處理管線中順序執(zhí)行，如示意性地在圖5中所示。如上所述，輸入像素被應(yīng)用于每個塊，且基于分類信息和/或處理信息動態(tài)地控制相關(guān)處理操作，該操作通常隨著像素被處理并通過處理管線而變化。
如上所述，所述系統(tǒng)和方法的典型實施例包括去隔行塊或處理操作。很多視頻信號通常都以隔行掃描的格式提供，其中對給定的視頻幀掃描和發(fā)送圖像場景中隔行的水平行。偶數(shù)和奇數(shù)掃描行交替出現(xiàn)在視頻幀系列中。其結(jié)果是，在其中每秒顯示六十個視頻幀的系統(tǒng)中，包含偶數(shù)行的視頻幀被顯示三十次，和包含奇數(shù)行的視頻幀被顯示三十次。在這樣的隔行掃描信號中，給定視頻幀僅包含50％的垂直分辨率。
參考圖6，將描述示例去隔行塊的操作，其中隔行掃描視頻幀被轉(zhuǎn)換為具有完全垂直分辨率的信號。幀260和262是隔行掃描視頻信號的視頻幀。如所示，幀262可被稱為當(dāng)前幀，而幀260可被稱為在先幀。每個幀都包含用指示像素在幀內(nèi)的行列位置的圖例{行，列}表示的多個像素。
為了構(gòu)建具有完全垂直分辨率的幀，可以使用各種方法。當(dāng)前幀中缺失的行可以按稱為域網(wǎng)格劃分的方法簡單地從在先幀中獲取和添加。網(wǎng)格劃分可以提供高質(zhì)量的去隔行圖像，特別是在所涉及的像素是靜態(tài)的或顯示出低程度的運動時。附加或擇一地，可以使用各種類型的插值，其中基于一個或多個相鄰像素的屬性對目標(biāo)像素進行插值。例如，可以通過鄰近像素{1，2}和{3，2}，或較大的鄰近像素集合，如像素{1，1}、{1，2}、{1，3}、{3，1}、{3，2}和{3，3}的屬性(如，亮度、色調(diào)、飽和度等等)的平均或者插值來對當(dāng)前幀262中缺失的像素{2，2}插值。
圖7示出根據(jù)本發(fā)明的示例性去隔行塊280，它可以配置為接收輸入像素282，基于所應(yīng)用的控制信號284對像素執(zhí)行去隔行操作，并以去隔行的格式輸出處理過的像素286。去隔行塊280可以在如圖1所示的系統(tǒng)中實現(xiàn)，在該情況中，塊可以是圖1的處理管線中的處理塊28中的一個。
類似于參考圖2所述的處理塊，由塊280執(zhí)行的具體處理操作或方法(如去隔行)可以根據(jù)與輸入像素282關(guān)聯(lián)的分類和/或處理數(shù)據(jù)動態(tài)地實時變化。附加或擇一地，與像素282之外的像素或與管線中的其他處理塊關(guān)聯(lián)的分類和/或處理數(shù)據(jù)，可用于動態(tài)地改變?nèi)ジ粜胁僮?。例如，為重建缺失的像素在域網(wǎng)格劃分和插值方法之間的選擇較大程度上可以通過運動分類數(shù)據(jù)來確定。網(wǎng)格劃分對移動的像素可能是不合乎需要的，因為網(wǎng)格劃分可能由于發(fā)生在相繼的隔行掃描視頻幀之間的時間推移而產(chǎn)生“撕裂”或“羽化”效應(yīng)。插值可能對具有高運動程度的像素是更合乎需要的。
相反，靜態(tài)或相對靜態(tài)的圖像可能使其自身更容易使用非插值方法進行去隔行，如域網(wǎng)格劃分。網(wǎng)格劃分在某些情況下可能產(chǎn)生更精銳的圖像，因此較佳用于去隔行低運動的圖像。示例塊280配置為不僅在插值和非插值方法之間進行選擇，還基于嵌在控制信號284內(nèi)的分類和/或處理數(shù)據(jù)或其他參數(shù)在適當(dāng)時用所需的加權(quán)混合這些方法。在所示的示例中，控制信號可能致使部署純網(wǎng)格劃分方法、純插值方法，或這兩個極端的任何混合。
應(yīng)理解，可以基于分類數(shù)據(jù)和/或處理數(shù)據(jù)選擇或選擇性地組合任何數(shù)量的去隔行方法，包括域與FIR濾波器的混合，使用中值濾波器，重復(fù)掃描行，使用垂直時間濾波器、均值濾波器等等。歸納為具有N種替換的去隔行方法或算法的去隔行處理塊，可以使用本發(fā)明的系統(tǒng)來基于處理數(shù)據(jù)和/或分類數(shù)據(jù)中可用的豐富的控制數(shù)據(jù)，以任何所需方式組合替換的方法或在替換的方法之間平滑轉(zhuǎn)換。某些替換的方法可以比其他方法加權(quán)或著重更多，可以選擇一種特定的方法而排除其他方法，等等。換言之，分類數(shù)據(jù)和/或處理數(shù)據(jù)可用于控制每個可用的去隔行方法參與產(chǎn)生一個或多個目標(biāo)像素的去隔行處理的程度。
圖7的這個示例可用于示出如何前饋和/或反饋分類數(shù)據(jù)和處理數(shù)據(jù)來動態(tài)實時地調(diào)整處理。假設(shè)輸入像素282來自視頻幀的特定區(qū)域，與像素282關(guān)聯(lián)的分類數(shù)據(jù)指示視頻幀該部分中的高運動程度。則可以動態(tài)地調(diào)整去隔行塊282上的處理來使用對插值加權(quán)更多的方法，甚至可能是純插值方法來構(gòu)建完全垂直分辨率，以避免羽化或其他不想要的人工效應(yīng)。
如上所述，插值去隔行方法可能導(dǎo)致模糊效應(yīng)或其他銳度損失。繼續(xù)上述示例，如果由于在去隔行期間使用插值而發(fā)生銳度損失，則這會反映在為輸出像素獲取的分類數(shù)據(jù)中(如，通過圖1中的分析/分類塊26獲取)。關(guān)聯(lián)的分類數(shù)據(jù)將向下游流至下一個處理塊，后者會在調(diào)整其處理算法時把銳度的缺少計算在內(nèi)。在替換實施例中，可以向上游發(fā)送分類數(shù)據(jù)。
附加或擇一地，可以向上游或下游報告有關(guān)去隔行操作自身的信息。在本示例中，所報告的處理信息將指示高度插值的方法被用于去隔行?？梢詣討B(tài)地調(diào)整其他處理操作作為響應(yīng)中來補償去隔行操作導(dǎo)致的可能的銳度損失。
還可以向上游或下游饋送分類和/或處理數(shù)據(jù)來控制變化輸入像素的分辨率的處理塊或操作(圖像插值)。分辨率變化可以不同地應(yīng)用于輸入視頻幀中的不同區(qū)域，且可以包括分辨率減少和/或分辨率增加(向上轉(zhuǎn)換)。用于變化分辨率的方法可以基于輸入的分類和/或處理數(shù)據(jù)動態(tài)地控制。通常，動態(tài)控制使得用于導(dǎo)出目標(biāo)像素的圖像縮放系數(shù)的動態(tài)變化。可以使用該系數(shù)的動態(tài)控制，而無論圖像是被放大還是縮小，且可以進一步結(jié)合線性和非線性方法使用。
例如，可以通過對輸入像素抽樣并將該抽樣值應(yīng)用到新的較大的像素網(wǎng)格來實現(xiàn)向上轉(zhuǎn)換。該處理可以包括使用“最近鄰居”方法的像素復(fù)制，雖然通?？赡苁褂貌逯怠Ｒ环N常見的方法是使用多個系數(shù)濾波器的三次卷積插值方法。參考圖8，示出了像素網(wǎng)格。在網(wǎng)格的中心是目標(biāo)像素，其值有待確定。插值方法可以通過評估相鄰像素的值來確定該像素。相鄰像素的值以及它與目標(biāo)像素的距離都可以考慮進去。
實際上，三次卷積插值包括基于四個已知像素的插值。例如，在圖8中的水平方向上，可以考慮已知像素的值及它們與目標(biāo)像素的距離，由已知像素{2，0}、{2，1}、{2，3}和{2，4}的值對目標(biāo)像素進行插值。也可以使用圖像縮放系數(shù)來對特定像素加大權(quán)重并濾出向上轉(zhuǎn)換的圖像中的噪聲或其他高頻率人工效應(yīng)。通常在水平和垂直兩個方向上應(yīng)用插值方法來確定目標(biāo)像素的值。
與像素關(guān)聯(lián)或來自其他源的分類數(shù)據(jù)和處理數(shù)據(jù)可用于動態(tài)地調(diào)整圖像插值方法。插值系數(shù)可以根據(jù)或基于與輸入像素關(guān)聯(lián)的運動、梯度和/或頻率信息來確定。如果在先的處理算法已提供了不最理想的銳度增強，則可以為圖像插值選擇濾波器系數(shù)來保留或增強圖像各部分中的銳度。
應(yīng)理解，本文中所述的動態(tài)控制及前饋和反饋特征同等地應(yīng)用于顏色處理及其他圖像處理操作。在顏色處理的上下文中，與輸入像素關(guān)聯(lián)的變化的分類和處理數(shù)據(jù)可用于控制、調(diào)整或選擇用于變化輸入像素的亮度、對比度、色調(diào)、飽和度、顏色空間轉(zhuǎn)換等等的算法。可以降低像素的整體亮度來響應(yīng)像素的運動信息。一個或多個像素的運動歷史可用于識別和糾正與阻塞問題關(guān)聯(lián)的人工效應(yīng)。除了基于與輸入像素關(guān)聯(lián)的數(shù)據(jù)來控制、或代替基于與輸入像素關(guān)聯(lián)的數(shù)據(jù)來控制，也可以基于從處理管線其他部分(通過反饋或前饋配置)饋入的分類或處理數(shù)據(jù)進行控制。
雖然已特別地示出和描述了本發(fā)明的實施例和方法實現(xiàn)，但熟悉技術(shù)的人會理解，可以在其中做出很多變體而不偏離本發(fā)明的精神和范圍。說明書應(yīng)被理解為包括本文中所述元素的所有新穎和非易見的組合，且可以在本申請或后面的申請中對這些元素的任何新穎和非易見的組合提出權(quán)利要求。在權(quán)利要求引用“一個”或“第一”元素或其等價時，這樣的權(quán)利要求應(yīng)被理解為包括一個或一個以上這樣的元素的結(jié)合，而不要求也不排除兩個或兩個以上這樣的元素。
權(quán)利要求
1.一種用于處理數(shù)字圖像的系統(tǒng)，包括包含處理器和存儲器的控制器；操作上與所述控制器連接的多個圖像處理塊，其每個圖像處理塊都配置為執(zhí)行不同的圖像處理操作，其中所述圖像處理塊和所述控制器互相連接并配置為提供順序的像素處理，其中每個圖像處理塊處理輸入像素以產(chǎn)生輸出像素，且所述圖像處理塊中位于上游的一個塊的輸出像素作為輸入像素前饋給所述圖像處理塊中位于下游的一個塊；及分類塊，配置為對所述圖像處理塊中的每一個獲取要應(yīng)用于該圖像處理塊的輸入像素的更新的分類數(shù)據(jù)，且其中基于應(yīng)用于每個圖像處理塊的輸入像素的更新的分類數(shù)據(jù)，動態(tài)地控制每個圖像處理塊上的處理。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，對所述圖像處理塊中的至少一個，所述控制器配置為通過選擇性地組合與這樣的圖像處理塊關(guān)聯(lián)的多種不同的處理方法來動態(tài)地控制處理，其中基于應(yīng)用于這樣的圖像處理塊的輸入像素的更新的分類數(shù)據(jù)執(zhí)行這樣的選擇性組合。
3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述控制器配置為基于所述圖像處理塊中的至少一個上的處理方法的選擇性的組合，動態(tài)地控制發(fā)生在所述圖像處理塊中的另一個上的處理。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述控制器配置為基于在所述圖像處理塊中的另一個上應(yīng)用的處理方法，動態(tài)地變化在所述圖像處理塊中的一個上應(yīng)用的銳度控制。
5.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述圖像處理塊中的一個是配置為變化應(yīng)用于該塊的輸入像素的分辨率的圖像插值器塊，且其中動態(tài)地控制所述圖像插值器塊上的處理包括動態(tài)地變化用于導(dǎo)出所述圖像插值器塊的輸出像素的圖像縮放系數(shù)。
6.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述圖像處理塊包括去隔行塊，配置為實現(xiàn)分辨率變化的圖像插值器塊，及顏色處理塊。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，動態(tài)地控制所述圖像插值器塊上的處理以響應(yīng)所述去隔行塊上的處理。
8.如權(quán)利要求6所述的系統(tǒng)，其特征在于，動態(tài)地控制所述顏色處理塊上的處理以響應(yīng)所述圖像插值器塊上的處理。
9.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述更新的分類數(shù)據(jù)包括與輸入像素關(guān)聯(lián)的運動數(shù)據(jù)。
10.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述更新的分類數(shù)據(jù)包括與輸入像素關(guān)聯(lián)的頻率數(shù)據(jù)。
11.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述更新的分類數(shù)據(jù)包括與輸入像素關(guān)聯(lián)的顏色數(shù)據(jù)。
12.一種用于處理數(shù)字圖像的系統(tǒng)，包括包含處理器和存儲器的控制器；及操作上與所述控制器連接的多個圖像處理塊，其每個圖像處理塊都配置為執(zhí)行不同的圖像處理操作，其中所述圖像處理塊和所述控制器互相連接并配置為提供順序的像素處理，其中每個圖像處理塊處理輸入像素以產(chǎn)生輸出像素，且所述圖像處理塊中位于上游的一個塊的輸出像素作為輸入像素前饋給所述圖像處理塊中位于下游的一個塊，其中所述控制器配置為基于所述圖像處理塊中的另一個上執(zhí)行的圖像處理操作，動態(tài)地控制所述圖像處理塊中的一個上執(zhí)行的圖像處理操作。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述控制器配置為動態(tài)地控制所述圖像處理塊以響應(yīng)與正在由所述圖像處理塊處理的像素關(guān)聯(lián)的分類數(shù)據(jù)，且其中所述分類數(shù)據(jù)隨著像素從一個圖像處理塊移至另一個圖像處理塊而變化，且其中所述控制器配置為在動態(tài)地控制所述圖像處理塊時響應(yīng)所述分類數(shù)據(jù)中的這種變化。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，對所述圖像處理塊中的至少一個，所述控制器配置為通過選擇性地組合與這種圖像處理塊關(guān)聯(lián)的多種不同的處理方法來動態(tài)地控制處理，其中基于應(yīng)用于這種圖像處理塊的輸入像素的更新的分類數(shù)據(jù)，執(zhí)行這種選擇性組合。
15.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述圖像處理塊中的一個是配置為變化應(yīng)用于該塊的輸入像素的分辨率的圖像插值器塊，且其中所述控制器配置為基于所述圖像處理塊中的另一個上執(zhí)行的圖像處理操作，動態(tài)地變化用于導(dǎo)出所述圖像插值器塊的輸出像素的圖像縮放系數(shù)。
16.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述控制器配置為基于在所述圖像處理塊中的另一個上執(zhí)行的圖像處理操作，動態(tài)地變化在所述圖像處理塊中的一個上應(yīng)用的銳度控制。
17.一種處理數(shù)字圖像的方法，包括接收輸入像素；獲取與所述輸入像素關(guān)聯(lián)的分類數(shù)據(jù)；對所述輸入像素執(zhí)行第一圖像處理操作，其中基于對所述輸入像素獲取的分類數(shù)據(jù)動態(tài)地控制所述第一圖像處理操作；分析從所述第一圖像處理操作輸出的輸出像素來獲取與從所述第一圖像處理操作輸出的像素關(guān)聯(lián)的更新的分類數(shù)據(jù)；及對從所述第一圖像處理操作輸出的像素執(zhí)行第二圖像處理操作，其中基于所述更新的分類數(shù)據(jù)動態(tài)地控制所述第二圖像處理操作。
18.如權(quán)利要求17所述的方法，其特征在于，基于與正在由所述第一圖像處理操作和所述第二圖像處理操作處理的像素關(guān)聯(lián)的運動數(shù)據(jù)，動態(tài)地控制所述第一圖像處理操作和所述第二圖像處理操作。
19.如權(quán)利要求17所述的方法，其特征在于，基于與正在由所述第一圖像處理操作和所述第二圖像處理操作處理的像素關(guān)聯(lián)的頻率數(shù)據(jù)，動態(tài)地控制所述第一圖像處理操作和所述第二圖像處理操作。
20.如權(quán)利要求17所述的方法，其特征在于，基于與正在由所述第一圖像處理操作和所述第二圖像處理操作處理的像素關(guān)聯(lián)的顏色數(shù)據(jù)，動態(tài)地控制所述第一圖像處理操作和所述第二圖像處理操作。
21.一種處理數(shù)字圖像的方法，包括接收輸入像素；對所述輸入像素執(zhí)行第一圖像處理操作；及執(zhí)行第二圖像處理操作，其中基于與所述第一圖像處理操作關(guān)聯(lián)的處理數(shù)據(jù)動態(tài)地控制所述第二圖像處理操作，其中所述處理數(shù)據(jù)包括有關(guān)用于執(zhí)行所述第一圖像處理操作的處理方法的信息。
22.如權(quán)利要求21所述的方法，其特征在于，還包括輸出來自所述第一圖像處理操作的輸出像素；獲取與所述輸出像素關(guān)聯(lián)的更新的分類數(shù)據(jù)；及基于所述更新的分類數(shù)據(jù)動態(tài)地控制所述第二圖像處理操作。
23.如權(quán)利要求22所述的方法，其特征在于，獲取更新的分類數(shù)據(jù)包括獲取與所述輸出像素關(guān)聯(lián)的運動數(shù)據(jù)。
24.如權(quán)利要求23所述的方法，其特征在于，動態(tài)地控制所述第二圖像處理操作包括基于所述運動數(shù)據(jù)動態(tài)地變化與所述第二圖像處理操作關(guān)聯(lián)的圖像縮放系數(shù)。
25.如權(quán)利要求23所述的方法，其特征在于，動態(tài)地控制所述第二圖像處理操作包括基于所述運動數(shù)據(jù)動態(tài)地并選擇性地組合與所述第二圖像處理操作關(guān)聯(lián)的多種替換的處理方法。
26.如權(quán)利要求22所述的方法，其特征在于，獲取更新的分類數(shù)據(jù)包括獲取與所述輸出像素關(guān)聯(lián)的頻率數(shù)據(jù)。
27.如權(quán)利要求22所述的方法，其特征在于，獲取更新的分類數(shù)據(jù)包括獲取與所述輸出像素關(guān)聯(lián)的顏色數(shù)據(jù)。
28.如權(quán)利要求22所述的方法，其特征在于，所述更新的分類數(shù)據(jù)包括與所述輸出像素關(guān)聯(lián)的歷史數(shù)據(jù)。
全文摘要
一種用于處理數(shù)字圖像的系統(tǒng)。該系統(tǒng)可以包括包含處理器和存儲器的控制器。該系統(tǒng)還可以包括操作上與控制器連接的多個圖像處理塊。每個圖像處理塊可以配置為執(zhí)行不同的圖像處理操作。圖像處理塊和控制器可以互相連接并配置為提供順序的像素處理，其中每個圖像處理塊處理輸入像素以產(chǎn)生輸出像素，且圖像處理塊中位于上游的一個塊的輸出像素可以作為輸入像素前饋給圖像處理塊中位于下游的一個塊。該系統(tǒng)還可以包括配置為對圖像處理塊中的每一個獲取應(yīng)用于該圖像處理塊的輸入像素的更新的分類數(shù)據(jù)的分類塊?？梢曰趹?yīng)用于圖像處理塊的輸入像素的更新的分類數(shù)據(jù)，動態(tài)地控制每個圖像處理塊上的處理。
文檔編號G06K9/00GK101076813SQ200580002519
公開日2007年11月21日 申請日期2005年1月14日 優(yōu)先權(quán)日2004年1月16日
發(fā)明者卡爾·J·魯杰羅 申請人:伊紐克利亞半導(dǎo)體公司