用于增強和處理數(shù)字圖像的系統(tǒng)及方法
【專利說明】用于増強和處理數(shù)字圖像的系統(tǒng)及方法 優(yōu)先權(quán)要求
[0001] 本專利申請要求2012年7月3日提交的、申請?zhí)枮?1/690,804的美國臨時專利申 請的優(yōu)先權(quán)、該申請以其全文通過引用合并入本文；以及2012年10月29日提交的、申請?zhí)?為13/694, 089的美國實用新型專利申請的優(yōu)先權(quán)、該申請以其全文通過引用合并入本文。
技術(shù)領(lǐng)域
[0002] 本發(fā)明的主題涉及二維和三維的視頻及數(shù)字圖像處理技術(shù)，特別是對數(shù)字圖像的 視頻數(shù)據(jù)信息的處理。
【背景技術(shù)】
[0003] 視頻增強技術(shù)的目的是提高視頻和圖像的視覺質(zhì)量。由于顯示設(shè)備的分辨率不 斷提高，視頻增強設(shè)備正成為大多數(shù)高質(zhì)量視頻處理系統(tǒng)和產(chǎn)品中不可或缺的一個組成部 分。視頻增強設(shè)備通常包含一系列功能，如聚焦增強、運動穩(wěn)定性/模糊去除、對比度增強、 色彩調(diào)整、信號濾波、減少閃爍和幀速率轉(zhuǎn)換。一般來說，有各種類型的增強設(shè)備適于特定 應用的數(shù)字圖像，例如在醫(yī)療掃描中已被研宄和分析的磁共振成像；一些增強設(shè)備在被給 予數(shù)字圖像的單調(diào)性的前提下，在增強對比度和清晰度方面很有用處。然而，通常的運動視 頻圖像或典型的圖像實際上不是單調(diào)的。這就期望一個典型的數(shù)字圖像能夠包括具有不同 細節(jié)層次的不同區(qū)域。一些區(qū)域可能包括很高數(shù)量的細節(jié)（紋理），其他區(qū)域可能包括邊緣 或輪廓（鋸齒線），或者說其他區(qū)域可能包括很低數(shù)量的細節(jié)，甚至幾乎沒有任何細節(jié)（平 坦區(qū)域）。設(shè)定一個特定大小的區(qū)域，如一個具有多個行、且每行具有多個像素的像素塊，這 一區(qū)域可以包括對應于該區(qū)域的不同部分的多個細節(jié)層次，例如一個區(qū)域可以包括紋理、 鋸齒、或平坦部分的組合。
[0004] 一般來說，可用各種不同的降噪技術(shù)來處理輸入數(shù)字圖像，以降低該輸入圖像的 噪聲或其他不足、或提高該輸入圖像的某一特性，如色度或?qū)Ρ榷?。然而，當系統(tǒng)地應用這 些不同的技術(shù)處理輸入數(shù)字圖像的視頻數(shù)據(jù)信息時，對于某一類型圖像可以生成很好的輸 出結(jié)果，而對于其他類型的圖像卻可能產(chǎn)生不利的結(jié)果。例如，應用降噪技術(shù)可以大大減 少平的或單調(diào)的圖像噪聲，從而產(chǎn)生一個增強的觀看質(zhì)量，但如果輸入圖像是非單調(diào)的，例 如，一個典型的圖像，那么降噪技術(shù)將大大降低可視細節(jié)量，從而降低觀賞質(zhì)量。降噪過程 將去除高水平的細節(jié)以及來自輸入圖像的任何現(xiàn)有噪聲，這樣就不能區(qū)分不同類型的噪 聲，如高頻細節(jié)、舒適噪聲（如膠片顆粒狀噪聲）、壓縮噪聲，或其他類型的噪聲和偽影（瑕 疵）。這樣，該種降噪過程可能導致處理數(shù)字圖像的非自然外觀和/或減少的區(qū)域明銳度， 包括高清晰度的細節(jié)或邊緣，而平坦的區(qū)域可能會更加平滑或清潔。因此，需要一種改進的 系統(tǒng)和方法來處理和增強數(shù)字圖像。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供了一種視頻和圖像處理和增強系統(tǒng)，該系統(tǒng)特別適合細節(jié)增強，清晰 度增強，降噪和邊緣增強，同時考慮到被處理圖像同一區(qū)域的不同特點和特征，該被處理圖 像的區(qū)域內(nèi)的一組像素，和/或整個圖像。因此，利用局部鄰域或一組像素的視頻數(shù)據(jù)的視 頻數(shù)據(jù)信息內(nèi)容，處理視頻數(shù)據(jù)信息的效果，來執(zhí)行一種類型的增強，不會對其他所需的增 強效果產(chǎn)生不利影響。
[0006] 本發(fā)明還提供一種智能視頻圖像處理和增強系統(tǒng)，該系統(tǒng)可以區(qū)分單個像素所需 的或被同時執(zhí)行的不同的增強類型，因此，在生成每一個輸出像素的增強的視頻數(shù)據(jù)信息 時，考慮了該像素局部領(lǐng)域或其周圍的一組像素的視頻數(shù)據(jù)信息內(nèi)容。
[0007] 此外，在某些實施例中，輸出像素的增強處理是通過控制被執(zhí)行的處理的類型和 數(shù)量進行優(yōu)化。例如，通過包括兩種或兩種以上類型的增強處理的智能（或加權(quán)）結(jié)合，該 增強處理通過使用來自被處理像素的周圍的上下文視頻數(shù)據(jù)信息的反饋機制實現(xiàn)。本發(fā)明 還提供一種可以處理和生成每個輸出像素的視頻數(shù)據(jù)信息的智能視頻圖像處理和增強系 統(tǒng)，該輸出像素的視頻數(shù)據(jù)信息用于優(yōu)化增強的觀看質(zhì)量，同時大大降低或消除了處理誤 差和輸入圖像的噪聲。
[0008] 本發(fā)明還提供一種用于增強和處理數(shù)字圖像的系統(tǒng)及方法，對數(shù)字圖像的不同區(qū) 域和部分進行不同的處理，可以提高數(shù)字圖像的整體視覺質(zhì)量。特別是，各種處理技術(shù)一一 比如銳化一一可以應用于數(shù)字圖像內(nèi)的第一區(qū)域而不同的處理技術(shù)一一比如降噪一一也 許可應用到數(shù)字圖像內(nèi)的第二區(qū)域，以提高數(shù)字圖像的整體視覺質(zhì)量。在一個實施例中，一 個輸入數(shù)字圖像的局部區(qū)域的某些特性被用來確定視頻處理的哪種類型，如銳化、降噪，應 適用于局部區(qū)域內(nèi)的像素。
[0009] 為了處理輸入圖像的一個區(qū)域內(nèi)一個像素的視頻數(shù)據(jù)信息，使用一組像素內(nèi)每一 個像素的視頻數(shù)據(jù)信息提取由一個或多個參數(shù)構(gòu)成的一個參數(shù)集，其中，輸入圖像的區(qū)域 對應于輸入圖像的一部分，同時處理當前像素周圍的一組像素，并且，使用具有第一數(shù)目的 行數(shù)，每行具有第一數(shù)目個像素或一個NXN像素塊的像素窗。由一個或多個參數(shù)構(gòu)成的一 個參數(shù)集用于控制和動態(tài)調(diào)整過濾或被執(zhí)行的處理的數(shù)量，使用當前被處理的一個像素的 視頻數(shù)據(jù)信息，或使用一組像素的視頻數(shù)據(jù)信息，生成一個或多個輸出像素的視頻數(shù)據(jù)信 息。因此，數(shù)字圖像區(qū)域內(nèi)的每個像素將進行優(yōu)化處理，同時考慮局部區(qū)域，鄰域，窗口和/ 或像素塊的特性。
[0010] 根據(jù)一個實施例，數(shù)字視頻處理系統(tǒng)用于處理輸入數(shù)字圖像，其中，輸入數(shù)字圖像 的視頻數(shù)據(jù)信息包括不期望的噪聲和舒適噪聲。數(shù)字視頻處理系統(tǒng)提取對應于輸入圖像之 外的不期望的噪聲和舒適噪聲的輸入噪聲，處理剩余的無噪聲的圖像，將無噪聲的圖像縮 放到所需的輸出分辨率，從輸入噪聲中提取舒適噪聲，處理舒適噪聲并在所需的輸出分辨 率上重新生成舒適噪聲，將已處理的舒適噪聲與已處理的無噪聲輸入圖像相加，在所需的 分辨率上生成輸出數(shù)字圖像，并以所需的輸出分辨率在電子顯示裝置或電子顯示裝置的部 分區(qū)域顯示處理后輸出數(shù)字圖像。
[0011] 根據(jù)某些實施例，本發(fā)明公開了一種輸入圖像的第一像素的視頻數(shù)據(jù)信息的處理 方法。該方法包括：接收輸入圖像的第一部分的視頻數(shù)據(jù)信息，確定輸入圖像的第一部分內(nèi) 的第一組像素，其中，第一組像素包括第一像素；利用第一組像素的視頻數(shù)據(jù)信息估計第一 指示參數(shù)的至少一個值，使用第一指示參數(shù)的至少一個值生成降噪?yún)?shù)值，利用降噪?yún)?shù) 值處理第一組像素的視頻數(shù)據(jù)信息，生成輸出像素的視頻數(shù)據(jù)信息，其中，輸出像素對應于 輸入圖像的處理后的第一像素，并使用輸出緩沖區(qū)存儲輸出像素的視頻數(shù)據(jù)信息。
[0012] 根據(jù)某些實施例，輸入圖像的一個像素的視頻數(shù)據(jù)信息的處理方法包括：接收輸 入圖像的第一部分的視頻數(shù)據(jù)信息，使用第一組像素的視頻數(shù)據(jù)信息估計第一指示參數(shù)的 至少一個值，第一組像素的每個像素均位于輸入圖像的第一部分，其中第一組像素包括所 述像素，利用第一指示參數(shù)的至少一個值生成降噪低參數(shù)值，使用任何一個降噪?yún)?shù)值和 第一指示參數(shù)的至少一個值處理第一組像素中的每個像素的視頻數(shù)據(jù)信息，并使用第一組 像素中的每個像素的已處理視頻數(shù)據(jù)信息生成輸出像素的視頻數(shù)據(jù)信息，其中輸出像素對 應于已處理的輸入圖像的像素。該輸出像素的視頻數(shù)據(jù)信息可以使用輸出緩沖區(qū)存儲，以 流的方式傳輸?shù)诫娮语@示系統(tǒng)，或發(fā)送到輔助系統(tǒng)進行進一步的處理，轉(zhuǎn)換，整合，或格式 化為一種或多中不同類型的視頻數(shù)據(jù)信息的格式和標準。
[0013] 按照一個實施例，該第一指示參數(shù)的至少一個值表示第一組像素與任何一個或多 個平坦區(qū)域，細節(jié)區(qū)域和邊緣相對應。
[0014] 按照一個實施例，用于估計第一指示參數(shù)的至少一個值的第一組像素的視頻數(shù)據(jù) 信息僅包含第一組像素內(nèi)每個像素的視頻數(shù)據(jù)信息的色度和亮度格式中的一種。
[0015] 按照一個實施例，使用輸入緩沖區(qū)存儲輸入圖像第一部分每一個像素的視頻數(shù)據(jù) 信息。
[0016] 按照一個實施例，第一組像素包括至少三行像素，并且，每一行具有至少三個像 素。
[0017] 按照一個實施例，通過使用第一組像素中每個像素的視頻數(shù)據(jù)信息，確定第一組 像素的一個或多個顯著特征，來估計第一指示參數(shù)的至少一個值。第一組像素的一個或多 個顯著特征與任何一個平坦區(qū)域，細節(jié)區(qū)域和邊緣相對應，并通過使用線性或非線性方程 處理第一組像素中每個像素的視頻數(shù)據(jù)信息來確定第一組像素的一個或多個顯著特征。第 一指示參數(shù)的至少一個值的估計值表