專利名稱：基于亞像素的下采樣的方法和裝置的制作方法
技術領域：
本發(fā)明通常涉及圖像信號處理，特別涉及圖像顯示和下采樣 (down-sampling) —個圖像以符合較小顯示、軟件應用、傳輸或用戶要求。 更特別地，本發(fā)明的目的是用于RGB顯示的基于亞像素(subpixel)的下采樣。
發(fā)明概述圖像是由像素構成。通過減少表示圖像的像素數(shù)目的方式來減 小圖像的尺寸是可能的。減少像素數(shù)目是通過一個下采樣過程進行。在下采樣階段，不是初始圖像的所有像素都能夠得到保留，而 僅保留其部分像素，這樣會導致在高空間頻率(spatial frequency)區(qū)域產 生嚴重的混疊失真(aliasing artifact),因為細線斷裂/不連續(xù)而破壞形狀信 息(shape information)禾口邊緣，從而顯示梯狀失真(staircase artifact)。普通彩色LCD顯示器的每個像素實際上是由單個可尋址的紅、 綠、和藍亞像素條紋(sub-pixel stripe)組成。使用基于亞像素的顯示可以 提高顯示圖像的可見分辨率(apparentresolution)。由于亞像素數(shù)目比像素 數(shù)目大三倍，使用基于亞像素的顯示可以有效地降低梯狀失真，并更加如 實地重建形狀信息。所以，通過基于亞像素的下采樣以增強可視質量是可 能的。但是，對一些像素將會感知到色彩失真(color fringing artifact),因 為在下采樣的圖像中不是所有紅、綠、藍亞像素都被保留。而且，在基于像素的下采樣中所使用的防混疊低通濾波器 (low-pass filtering)雖然可以減輕色彩失真，但會付出圖像模糊的代價。
為了減少初始圖像和以亞像素方式顯示圖像之間的差別，可以 在頻域(frequency domain)內定義一個誤差度量，并通過導出濾波系數(shù)而 設計一個濾波器以最小化此誤差度量。但是，這些方法僅能夠處理水平方 向上的下采樣。如果同時考慮垂直下采樣，性能將大幅降低。本發(fā)明涉及一種基于亞像素的下采樣方法。基于亞像素的下采 樣方法根據邊緣檢測通過一個自適應濾波可以減輕色彩失真和模糊?；?亞像素的下采樣方法提供一個最優(yōu)截止頻率(cutoff frequency)給自適應 濾波以保留盡可能多的圖像細節(jié)信息?；趤喯袼氐南虏蓸臃椒ㄔ试S在一 個或多個方向而不是僅在一個水平方向上的下采樣，這在本披露之前并沒 有出現(xiàn)過。這可以保證所有方向上的形狀細節(jié)得到保留。本發(fā)明的一個目的是去除色彩失真?，F(xiàn)有方法僅允許在水平方 向上的基于亞像素下采樣，否則可視質量將大幅降低。但是，如果在所示 圖像里有邊緣存在，將可能產生色彩失真，且如果在邊緣左側像素的RGB 亞像素的數(shù)值為255時，即顯示白色，而當在邊緣右側像素的RGB亞像 素的數(shù)值為0時，即顯示黑色，情況亦是如此。在僅采用左側R亞像素和 右側G和B亞像素的水平方向的基于亞像素下采樣之后，將產生一個RGB 數(shù)值為(255，0，0)的像素，即顯示紅色。在初始圖像里并不存在這種顏色， 從而產生色彩失真。由于本發(fā)明考慮邊緣，并基于邊緣檢測結果在不同方 向上自適應地應用抗混疊濾波(anti-aliasing filter),可以去除或至少減少 色彩失真，如果沒有完全去除，至少能夠盡可能保留更多的圖像細節(jié)信息。本發(fā)明的另一個目的是降低模糊并保留圖像信息。在本發(fā)明里 定義了一個最優(yōu)的抗混疊濾波截止頻率，其是新穎的并高于已知的截止頻 率。本發(fā)明的抗混疊濾波不僅能夠去除大多數(shù)的色彩混疊，而且能夠提供 一個比傳統(tǒng)抗混疊濾波更清晰的結果。本發(fā)明的其它方面也將在以下披露。


參照以下附圖，隨后將詳細描述本發(fā)明的其它目的、方面和實 施例，其中
圖1顯示一個本發(fā)明實施例的流程圖；
圖2顯示一個上采樣和下采樣實施例；
圖3顯示一個邊緣檢測實施例；圖4顯示一個自適應的抗混疊濾波的實施例；
圖5顯示一個基于亞像素的下采樣實施例；
圖6顯示一個實施本發(fā)明的裝置的結構示意圖。 發(fā)明詳述圖l顯示在所述實施例里如何執(zhí)行本發(fā)明的基于亞像素的下釆 樣的流程圖。在一個實施例里，圖像的期望尺寸是M,N，即在水平方向 上有M個像素，在垂直方向上有N個像素。圖像的初始尺寸是xM,yN，
其中x和y是實數(shù)，導致M和N的倍數(shù)或分數(shù)。在一個實施例里，在輸入步驟110，輸入一個高分辨率圖像。 隨后，在采樣步驟120，通過上采樣或下采樣或兩者兼有來處理xM , yN 圖像，產生一個3M ■ 3N圖像，其中可引入基于像素的防混疊低通濾波器。 在交替或同等可預見的實施例里，同樣可以采用稍微不同的尺寸，如 (3M+l)x(3M+l)，或(3M+2)x(3M+2)，或甚至(3M+l)x(3M-2)。在邊緣檢測 步驟130，識別確定3M 3N圖像的邊緣，可以使用或不必使用梯度計算， 同時邊緣方向也被確定。在自適應濾波步驟140，依照邊緣方向應用不同 的濾波。在亞像素下采樣步驟150， R-亞像素、G-亞像素和B-亞像素分別 從3M 3N圖像內的三個像素中挑選出來，以提供M , N圖像內像素的 RGB信息。在輸出步驟160，輸出M,N圖像。圖2(a)和2(b)顯示一個采樣步驟的實施例，其中上采樣是通過 插值(interpolation)完成。在圖2(a)示意圖里，沿著每行的每個初始像素210、 220，填補一個具有相同強度值的額外像素230、 240，以在水平方向 上使圖像尺寸加倍?？梢栽谌魏畏较蛱砑尤魏螖?shù)量的額外像素。在一個實 施例里，下采樣是通過采樣完成。在圖2(b)，僅采樣圖象上每2,2方塊的 左側角的像素250，以產生一個新圖像。所有其它剩余的像素260、 270、 280將被丟棄。這樣，圖像在水平方向和垂直方向上被下采樣一半。通常， 將被添加或將被采樣的每個像素的強度值以某種方式來選擇，在下采樣過 程中可引入防混疊低通濾波器，以保持圖像質量。圖3顯示一個邊緣檢測步驟的實施例，在邊緣檢測歩驟的說明 范例里，在一個圖象里每個像素0/') 350的亮度^被用來確定邊緣信息， 通過比較其在O"W)310' (/力')320， (/力.+"330， (4;W)340， 0， (/+/,>7) 370， (/+7，力380禾口(>'+/，7+/) 390上的相鄰像素的亮度。定義四個 方向，其包括水平、垂直、左對角線(left diagonal)和右對角線(right diagonal)。在等式(1)定義沿著水平方向的梯度
Gra&(U P^,^ fl^jQI圍ll (1)在等式(2)定義沿著垂直方向的梯度
Gra^(Dfl|i;flJ畫l.l (2)在等式(3)定義沿著左對角線方向的梯度 Gra《。(^) P|l^,jgl a" (3)在等式(4)定義沿著右對角線方向的梯度 爿;^,w圍K」^1^,-圍X,」 (4)沿著每個方向的梯度表示沿著此特定方向上亮度的變化率。沿 著一個特定方向的梯度越大，沿著此特定方向的邊緣越明顯。在所述實施 例里，通過比較沿著不同方向的梯度值并找出具有最大梯度的那個方向以 確定邊緣方向。邊緣方向與最大梯度的方向垂直正交(90—)。為了計算像 素(/，/)350的梯度，可采用各種梯度算子，包括Roberts算子、Prewitt算子和Sobel算子，并且許多其它算子在確定不同方向上的梯度也是適用的。圖4(a)顯示一個抗混疊濾波(anti-aliasing filter)的實施例，其 可被自適應地應用信道元素410， 420, 430， 440, 450, 460, 470， 480和490。
每個方向信道都要求一個抗混疊濾波。理論上，對一個單色圖像(i.e.， R=G=B=Y， U=V=0)，基于亞像素下采樣的采樣率是Uqy/I;^像z素，其是 基于像素下采樣ft5qy/^示像素的三倍。在條件F^G:B下，使用基于亞像 素下采樣可以有效地保留所有亮度信息。但是，對一個完全彩色的圖像， 通常由亮度和色度兩部分采樣組成Y分量和UV分量。由于UV分量引 起的混疊，基于亞像素下采樣在采樣率上不能達到3倍的提升。有必要在 保留亮度細節(jié)信息和色度混疊之間做出權衡。由于人類眼睛對亮度比對色 度更為敏感，通常亮度支配可感知的分辨率。傳統(tǒng)上，對于3比1的下采樣，選擇的濾波截止頻率是^/3。 基于本發(fā)明和以上分析，在本發(fā)明中，截止頻率被延長到大約0/3和(Z之間 以獲得額外亮度信息，同時不會發(fā)生明顯色度可視失真。本發(fā)明中最佳截 止頻率是50/12 。 一個抗混疊濾波的實施例是一個在空間域內無限長的為 W>7C函數(shù)的低通濾波器，通常其主瓣被當作抗混疊濾波器。在另一個實施 例里，使用的抗混疊濾波是一個9-階濾波器(9-tap filter)。在圖4(b)，顯 示不同實施例里的各種空域濾波器491、 493、 495在頻域內的響應曲線。 不需要有一個在50/12上的尖銳的截止頻率，如濾波493和495。在抗混疊 濾波里也有可能出現(xiàn)過沖(overshoot),如濾波495。只要它們仍然是低通 濾波，頻域相應曲線輪廓在抗混疊濾波的不同實施例中可以是不同的。而且，基于邊緣檢測可以自適應地應用抗混疊濾波?？够殳B濾 波被實施在一個與邊緣方向相反的方向上。例如，如果邊緣方向是垂直的， 比如左側的亞像素值完全不同于右側的亞像素值，那么會在水平方向上應 用抗混疊濾波。分別處理紅、綠和藍信道。圖5顯示本發(fā)明所述的一個基于亞像素下采樣步驟的實施例。 在一個M.N圖像的每個像素(/力是由一個3M . 3N圖像的亞像素(及3,,3, ,G，，萬，'，)組成。例如，在M. N圖像的(^)上，M. N圖像的(0力)
位置上像素500的R亞像素等于3M. 3N圖像的(0")位置上像素510的R 亞像素，其等于i 。。。 M.N圖像的(0，0)位置上像素500的G亞像素等于 3M. 3N圖像的(0,。位置上像素550的G亞像素，其等于C^。 M. N圖像
的(0,0)位置上像素500的B亞像素等于3M. 3N圖像的(O，O)位置上像素590 的B亞像素，其等于&2。這樣，基于亞像素下采樣是在一個對角線方向
上執(zhí)行。很多種方法可以用來實施基于亞像素下采樣步驟150。除了那些 沿著3M* 3N圖像的對角線方向的像素之外，也可以使用不同的像素以獲 得M.N圖像內像素500的R亞像素、G亞像素和B亞像素。例如，像素 500的R亞像素是像素520、 540、 560和580的R亞像素的一個均值。即 使使用了 3M. 3N圖像的像素510、 550、 590，也可以選擇不同的亞像素 以獲得像素500的R亞像素、G亞像素和B亞像素。例如，可以從像素 550選擇B亞像素，而從像素590選擇G亞像素。圖6顯示一種實施本發(fā)明的裝置的結構示意圖。裝置600是一 個顯示器，在特定實施里其可能是任何類型，如LCD， LED和OLED。裝 置600集成一個處理器，在特定實施例里其利用一個Xilinx FPGA芯片或 一個SoC ASIC芯片，在預處理和后處理上專為視頻下采樣而設計。 一個 高分辨率圖像605是裝置600的一個輸入，高分辨率圖像605隨后被一個 采樣器610處理，執(zhí)行上采樣和下采樣以獲得期望的分辨率以便進行如上 所述的進一步處理。在上采樣和下采樣之后，圖像由一個邊緣檢測器620 進行處理，以識別圖像里的邊緣，以及通過如上所述的邊緣檢測方法識別 其方向。圖像然后由一個濾波630進行處理，其根據如上所述方法，基于 邊緣檢測結果執(zhí)行一個自適應抗混疊濾波。在濾波之后，圖像再由一個基 于亞像素采樣器640進行處理，其執(zhí)行如上所述的基于亞像素下采樣以輸 出一個低分辨率的圖像650。對本領域技術人員而言，本發(fā)明優(yōu)選實施例的描述并不是窮盡 的，很明顯可以對其作出任何更新或修改，所以可以參照用來確定本發(fā)明 范圍的所附權利要求。工業(yè)應用本發(fā)明在低分辨率手持設備如便攜式多媒體播放器(PMPs) 或個人數(shù)字助理(PDAs)上顯示高分辨率圖像或視頻內容時具有廣泛的工 業(yè)應用。本發(fā)明也可以被應用在RGB-線狀LCD、 LED、 OLED或任何其 它顯示器類型。本發(fā)明在各種要求圖像下采樣的應用里也是適用的。此外， 本發(fā)明可以被實施在專為視頻下采樣預處理和后處理而設計的Xilinx FPGA芯片或SoC ASIC芯片上。
權利要求
1. 一種下采樣xMyN圖像的方法，包括將一個xMyN圖像采樣成一個3M3N圖像；檢測3M3N圖像內的一個或多個邊緣；基于邊緣檢測，在3M3N圖像上實施一個自適應濾波；和將3M3N圖像基于亞像素下采樣成一個MN圖像。
2. 根據權利要求1所述的下采樣xM ■ yN圖像的方法，其中所述濾 波有一個大于0/3但小于(Z的截止頻率。
3. 根據權利要求1所述的下采樣xM yN圖像的方法，其中所述濾 波有一個50/12的截止頻率。
4. 根據權利要求1所述的下采樣xM yN圖像的方法，其中所述濾 波是一個9階濾波。
5. 根據權利要求1所述的下采樣xM ■ yN圖像的方法，其中基于亞 像素下采樣是在一個對角線方向上進行。
6. 根據權利要求1所述的下采樣xM ■ yN圖像的方法，其中所述濾 波被實施在一個與邊緣方向相反的方向上。
7. —種下采樣xM,yN圖像的裝置，包括一個采樣器，將一個xM,yN圖像采樣成一個3M,3N圖像；一個邊緣檢測器，檢測3M,3N圖像里的一個或多個邊緣；一個濾波器，基于邊緣檢測對3M,3N圖像自適應地濾波；和一個基于亞像素下采樣器，基于亞像素將3M , 3N圖像下采樣成一個 M靜N圖像。
8. 根據權利要求7所述的下采樣xM ■ yN圖像的裝置，其中所述濾 波有一個大于0/3但小于(2的截止頻率。
9. 根據權利要求7所述的下采樣xM ■ yN圖像的裝置，其中所述濾 波有一個50/12的截止頻率。
10. 根據權利要求7所述的下采樣xM^yN圖像的裝置，其中所述濾 波是一個9-階濾波。
11. 根據權利要求7所述的下采樣xM,yN圖像的裝置，其中所述基 于亞像素采樣器在一個對角線方向上執(zhí)行基于亞像素下采樣。
12. 根據權利要求7所述的下采樣xM,yN圖像的裝置，其中所述濾 波被實施在一個與邊緣方向相反的方向上。
全文摘要
本發(fā)明涉及基于亞像素下采樣的方法和裝置。本發(fā)明基于邊緣檢測采用一種自適應濾波140，能夠去除由亞像素下采樣引起的色彩混疊，同時有效地保留圖像清晰度。
文檔編號H04N7/46GK101448163SQ20081018588
公開日2009年6月3日 申請日期2008年12月17日 優(yōu)先權日2008年12月17日
發(fā)明者區(qū)子廉, 璐 方, 祎 楊, 焰 火, 黃漢華 申請人:香港應用科技研究院有限公司