本公開(kāi)內(nèi)容涉及一種影像處理裝置與方法，特別是有關(guān)插補(bǔ)技術(shù)的影像處理裝置與方法。

背景技術(shù)：

隨著顯示技術(shù)的進(jìn)步，平面型顯示裝置的分辨率不斷提升，如何提供高分辨率影像更成為影像處理相關(guān)領(lǐng)域的重要研究主題。影像數(shù)據(jù)在傳送與儲(chǔ)存時(shí)，因受限于傳輸速率或儲(chǔ)存空間等，往往需采用低分辨率的影像格式，為了在高分辨率規(guī)格的顯示裝置上有良好的效果，需解決影像數(shù)據(jù)與顯示裝置分辨率不相同的問(wèn)題。

傳統(tǒng)上改變影像分辨率可使用影像插補(bǔ)(image interpolation)技術(shù)來(lái)提升影像分辨率，傳統(tǒng)影像插補(bǔ)技術(shù)又包含不具方向性的最近相鄰插補(bǔ)(nearest neighbor interpolation)技術(shù)、雙線性插補(bǔ)(bilinear interpolation)技術(shù)和雙三次插補(bǔ)(bicubic interpolation)技術(shù)，傳統(tǒng)插補(bǔ)技術(shù)硬件成本低且計(jì)算所需資源也較低，故為常用的插補(bǔ)技術(shù)，但插補(bǔ)后的影像的邊緣(edges)容易存在鋸齒狀或模糊等問(wèn)題。

另外也有根據(jù)協(xié)方差(covariance)插補(bǔ)影像像素的進(jìn)階插補(bǔ)技術(shù)，如根據(jù)低分辨率影像的協(xié)方差和高分辨率影像協(xié)方差之間的關(guān)系產(chǎn)生影像插補(bǔ)結(jié)果，然而，這種技術(shù)的硬件實(shí)現(xiàn)成本和計(jì)算成本均偏高，不容易實(shí)現(xiàn)實(shí)時(shí)(real-time)的影像處理，在應(yīng)用上有其限制。

技術(shù)實(shí)現(xiàn)要素：

因此，亟需一種低計(jì)算成本和制造成本的影像處理裝置，來(lái)解決現(xiàn)有插補(bǔ)技術(shù)的問(wèn)題。

本公開(kāi)內(nèi)容的一方面提供一種影像處理裝置，包含梯度信息計(jì)算元件、方向判斷元件、方向插補(bǔ)元件以及影像混合元件。梯度信息計(jì)算元件處理輸入影像，以產(chǎn)生輸入影像中多個(gè)輸入像素分別對(duì)應(yīng)的梯度值和 梯度角度；方向判斷元件根據(jù)輸入像素對(duì)應(yīng)的梯度值和梯度角度產(chǎn)生多個(gè)插補(bǔ)角度和方向信任度值；方向插補(bǔ)元件根據(jù)插補(bǔ)角度對(duì)輸入影像進(jìn)行方向插補(bǔ)處理，并產(chǎn)生與輸入影像分辨率不同的第一影像；影像混合元件接收第一影像與輸入影像經(jīng)影像插補(bǔ)處理所產(chǎn)生的第二影像，并根據(jù)方向信任度值混合第一影像與第二影像作為輸出影像。

于一實(shí)施例中，輸入像素包含位于第一范圍內(nèi)的多個(gè)第一輸入像素，方向判斷元件用以比較第一輸入像素及與第一輸入像素相鄰的其他輸入像素的梯度值和梯度角度，以產(chǎn)生插補(bǔ)角度中的第一插補(bǔ)角度和方向信任度值中的一個(gè)。

于一實(shí)施例中，輸入像素包含位于第二范圍內(nèi)的多個(gè)第二輸入像素，且第二范圍包含第一范圍，方向判斷元件用以比較第一插補(bǔ)角度與第二輸入像素的梯度角度，以更新第一插補(bǔ)角度。

于一實(shí)施例中，方向插補(bǔ)元件用以將插補(bǔ)角度的第一插補(bǔ)角度對(duì)應(yīng)至多個(gè)角度區(qū)中的第一角度區(qū)間，并選取一取樣窗內(nèi)的輸入像素作為多個(gè)方向插補(bǔ)輸入像素，根據(jù)第一角度區(qū)間，選擇性地對(duì)方向插補(bǔ)輸入像素進(jìn)行低通濾波處理，再根據(jù)處理后的方向插補(bǔ)輸入像素的像素值，產(chǎn)生第一像素的像素值，其中第一像素對(duì)應(yīng)至第一插補(bǔ)角度且為第一影像的組成像素之一。

于一實(shí)施例中，方向插補(bǔ)元件用以根據(jù)第一角度區(qū)間，自多個(gè)角度取樣窗中選取一個(gè)作為取樣窗，角度取樣窗包含直角坐標(biāo)取樣窗、垂直對(duì)角坐標(biāo)取樣窗以及水平對(duì)角坐標(biāo)取樣窗。

于一實(shí)施例中，方向插補(bǔ)元件用以將第一插補(bǔ)角度對(duì)應(yīng)至一第二角度區(qū)間，并根據(jù)第二角度區(qū)間產(chǎn)生第一像素的另一像素值，混和第一像素的像素值與另一像素值，以更新第一像素的像素值。

于一實(shí)施例中，所述角度區(qū)間小于30度。

本公開(kāi)內(nèi)容的另一方面提供一種影像處理方法，包含以下步驟：對(duì)輸入影像進(jìn)行運(yùn)算處理，以產(chǎn)生輸入影像中的多個(gè)輸入像素分別對(duì)應(yīng)的梯度值和梯度角度；根據(jù)輸入像素所對(duì)應(yīng)的梯度值和梯度角度，產(chǎn)生多個(gè)插補(bǔ)角度以及多個(gè)方向信任度值；根據(jù)插補(bǔ)角度，對(duì)輸入影像進(jìn)行方向插補(bǔ)處理，以產(chǎn)生第一影像，其中第一影像的分辨率與輸入影像的分 辨率不同；對(duì)輸入影像進(jìn)行影像插補(bǔ)處理產(chǎn)生第二影像，并根據(jù)方向信任度值所對(duì)應(yīng)的第一影像與第二影像的權(quán)重，混合第一影像與第二影像作為輸出影像，且第二影像的分辨率與第一影像的分辨率相同。

于一實(shí)施例中，計(jì)算插補(bǔ)角度與方向信任度值的步驟包含：比較多個(gè)第一輸入像素及與第一輸入像素相鄰的其他輸入像素的梯度值和梯度角度，以產(chǎn)生插補(bǔ)角度中的一第一插補(bǔ)角度和方向信任度值中的一個(gè)，其中第一輸入像素包含位于一第一范圍內(nèi)的輸入像素。

于一實(shí)施例中，計(jì)算插補(bǔ)角度與方向信任度值的步驟包含：比較第一插補(bǔ)角度與多個(gè)第二輸入像素的梯度角度，以更新第一插補(bǔ)角度，其中第二輸入像素包含位于第二范圍內(nèi)的輸入像素，且第二范圍包含第一范圍。

于一實(shí)施例中，產(chǎn)生第一影像的步驟包含：將插補(bǔ)角度的第一插補(bǔ)角度對(duì)應(yīng)至多個(gè)角度區(qū)間中的第一角度區(qū)間，并選取一取樣窗內(nèi)的輸入像素作為多個(gè)方向插補(bǔ)輸入像素，根據(jù)第一角度區(qū)間，選擇性地對(duì)方向插補(bǔ)輸入像素進(jìn)行低通濾波處理，再根據(jù)處理后的方向插補(bǔ)輸入像素的像素值，產(chǎn)生第一像素的像素值，其中第一像素對(duì)應(yīng)至第一插補(bǔ)角度且為第一影像的組成像素之一。

于一實(shí)施例中，產(chǎn)生第一影像的步驟包含：根據(jù)第一角度區(qū)間，自多個(gè)角度取樣窗中選取一個(gè)作為取樣窗，角度取樣窗包含直角坐標(biāo)取樣窗、垂直對(duì)角坐標(biāo)取樣窗以及水平對(duì)角坐標(biāo)取樣窗。

于一實(shí)施例中，產(chǎn)生第一影像的步驟包含：將第一插補(bǔ)角度對(duì)應(yīng)至一第二角度區(qū)間，并根據(jù)第二角度區(qū)間產(chǎn)生第一像素的另一像素值，混和第一像素的像素值與另一像素值，以更新第一像素的像素值。

于一實(shí)施例中，所述角度區(qū)間小于30度。

本發(fā)明的又一方面提供一種影像處理裝置，包含梯度信息計(jì)算元件、方向判斷元件以及方向插補(bǔ)元件，梯度信息計(jì)算元件處理輸入影像，以產(chǎn)生輸入影像中多個(gè)輸入像素分別對(duì)應(yīng)的梯度值和梯度角度；方向判斷元件根據(jù)輸入像素對(duì)應(yīng)的梯度值和梯度角度產(chǎn)生多個(gè)插補(bǔ)角度和方向信任度值；方向插補(bǔ)元件用以將插補(bǔ)角度的一第一插補(bǔ)角度對(duì)應(yīng)至多個(gè)角度區(qū)間中的一第一角度區(qū)間，并選取一取樣窗內(nèi)的輸入像素作為多個(gè)方 向插補(bǔ)輸入像素，根據(jù)第一角度區(qū)間，選擇性地對(duì)方向插補(bǔ)輸入像素進(jìn)行低通濾波處理，再根據(jù)處理后的方向插補(bǔ)輸入像素的像素值，產(chǎn)生第一像素的像素值，其中第一像素對(duì)應(yīng)至第一插補(bǔ)角度且為第一影像的組成像素之一。

本發(fā)明的再一方面提供一種影像處理方法，包含以下步驟：對(duì)輸入影像進(jìn)行運(yùn)算處理，以產(chǎn)生輸入影像中的多個(gè)輸入像素分別對(duì)應(yīng)的梯度值和梯度角度；根據(jù)輸入像素所對(duì)應(yīng)的梯度值和梯度角度，產(chǎn)生多個(gè)插補(bǔ)角度以及多個(gè)方向信任度值；將插補(bǔ)角度的一第一插補(bǔ)角度對(duì)應(yīng)至多個(gè)角度區(qū)間中的一第一角度區(qū)間，并選取一取樣窗內(nèi)的輸入像素作為多個(gè)方向插補(bǔ)輸入像素，根據(jù)第一角度區(qū)間，選擇性地對(duì)方向插補(bǔ)輸入像素進(jìn)行低通濾波處理，再根據(jù)處理后的方向插補(bǔ)輸入像素的像素值，產(chǎn)生第一像素的像素值，其中第一像素對(duì)應(yīng)至第一插補(bǔ)角度且為第一影像的組成像素之一。

綜上所述，本公開(kāi)內(nèi)容所提供的影像處理裝置與方法以低硬件實(shí)現(xiàn)成本，讓較高分辨率的輸出影像(output image)的邊緣(edges)更為細(xì)致，在進(jìn)行方向插補(bǔ)處理時(shí)結(jié)合低通濾波器，讓影像中不同方向的邊緣更加平滑連續(xù)，以達(dá)到更佳的影像效果。影像處理裝置并以方向信任度值以及多階段的插補(bǔ)角度收斂來(lái)結(jié)合方向插補(bǔ)處理與影像插補(bǔ)處理的結(jié)果，進(jìn)一步提升輸出影像品質(zhì)的穩(wěn)定性。

附圖說(shuō)明

圖1是依照本公開(kāi)內(nèi)容實(shí)施例繪示一種影像處理裝置的方塊示意圖；

圖2A～2B是依照本公開(kāi)內(nèi)容實(shí)施例繪示的像素范圍示意圖與方向判斷的對(duì)照表；

圖3A～3B是依照本公開(kāi)內(nèi)容實(shí)施例繪示的角度區(qū)間與角度取樣窗示意圖；以及

圖4依照本公開(kāi)內(nèi)容實(shí)施例繪示的一種影像處理方法的流程圖。

附圖標(biāo)記說(shuō)明：

100 影像處理裝置

110 梯度信息計(jì)算元件

120 方向判斷元件

130 方向插補(bǔ)元件

140 影像插補(bǔ)元件

150 影像混合元件

160 輸入影像

161 方向信任度值

162 插補(bǔ)角度

163 第一影像

164 第二影像

165 輸出影像

166 梯度值

167 梯度角度

P1～P16 輸入像素

210 第一范圍

220 第二范圍

230 中心像素

300第一插補(bǔ)角度

310～360(310A～360A) 角度區(qū)間

370 直角坐標(biāo)取樣窗

380 水平對(duì)角坐標(biāo)取樣窗

390 垂直對(duì)角坐標(biāo)取樣窗

400 影像處理方法

S410～S440 步驟

具體實(shí)施方式

為了使本公開(kāi)內(nèi)容的敘述更加詳盡與完備，可參照所附的附圖及以下所述各種實(shí)施例，附圖中相同的號(hào)碼代表相同或相似的元件。另一方面，眾所周知的元件與步驟并未描述于實(shí)施例中，以避免對(duì)本公開(kāi)內(nèi)容造成不必要的限制。此外，附圖僅以說(shuō)明為目的，并未依照原尺寸作圖。

圖1是依照本公開(kāi)內(nèi)容實(shí)施例繪示一種影像處理裝置的方塊示意圖， 其中，平行四邊形方塊代表輸出或輸入數(shù)據(jù)，長(zhǎng)方形方塊代表硬件元件。影像處理裝置100用以接收輸入影像160，并輸出分辨率與輸入影像160不同的輸出影像165。舉例而言，輸入影像160的分辨率720p，亦即1280x720像素(pixel)，而輸出影像165的分辨率為1080p，亦即1920x1080像素，又或者輸入影像160的分辨率為640x480像素，而輸出影像165的分辨率為1280x960像素。在某些實(shí)施例中，影像處理裝置100接收的輸入影像160分辨率為5x5像素，且輸出分辨率為10x10像素的輸出影像165，又或者影像處理裝置100依序接收屬于一全幅影像的輸入影像160，而其輸出影像165為分辨率經(jīng)改變的全幅影像。以上所列僅為示例，并非用以限定本公開(kāi)內(nèi)容。

影像處理裝置100包含梯度信息計(jì)算元件110、方向判斷元件120、方向插補(bǔ)元件130、影像插補(bǔ)元件140以及影像混合元件150。梯度信息計(jì)算元件110處理輸入影像160，以產(chǎn)生輸入影像160中多個(gè)輸入像素分別對(duì)應(yīng)的梯度值和梯度角度；方向判斷元件120根據(jù)輸入像素對(duì)應(yīng)的梯度值和梯度角度產(chǎn)生多個(gè)方向信任度值161和插補(bǔ)角度162，插補(bǔ)角度162與影像中邊緣方向相關(guān)，而方向信任度值161則代表插補(bǔ)角度162為正確的邊緣方向的可能性(likelihood)，此處邊緣方向?yàn)檫吘壍姆ň€方向；方向插補(bǔ)元件130根據(jù)插補(bǔ)角度162對(duì)輸入影像160進(jìn)行方向插補(bǔ)處理，并產(chǎn)生與輸入影像160分辨率不同的第一影像163；影像插補(bǔ)元件140對(duì)輸入影像160做影像插補(bǔ)處理產(chǎn)生第二影像164；影像混合元件150接收第一影像163以及第二影像164，并根據(jù)方向信任度值161混合第一影像163與第二影像164作為輸出影像165。如上所述，影像處理裝置100以方向信任度值161結(jié)合方向插補(bǔ)處理與影像插補(bǔ)處理的結(jié)果，可提升輸出影像165品質(zhì)，藉以得到銳利清晰的輸出影像165。

于不同的實(shí)施例中，梯度信息計(jì)算元件110、方向判斷元件120、方向插補(bǔ)元件130、影像插補(bǔ)元件140以及影像混合元件150可分別以特定功能集成電路(ASIC)或現(xiàn)場(chǎng)可程序規(guī)劃邏輯閘陣列(FPGA)實(shí)做并電性連接元件110～150，亦可將影像處理裝置100整合為系統(tǒng)單晶片(SoC)，而元件110～150則為晶片中的功能方塊。另外，在一些實(shí)施例中，影像處理裝置100亦可為個(gè)人電腦(PC)或微控制器(microcontroller)，而 元件110～150則為以軟件或固件方式實(shí)現(xiàn)的功能模塊，儲(chǔ)存于影像處理裝置100的儲(chǔ)存裝置中，并由影像處理裝置100的中央處理器或其他處理器執(zhí)行。本領(lǐng)域技術(shù)人員當(dāng)可視實(shí)際應(yīng)用需求，以不同硬件或軟件實(shí)現(xiàn)本公開(kāi)內(nèi)容的技術(shù)思想，并不限于所舉示例。

當(dāng)輸出影像165的分辨率高于輸入影像160時(shí)，影像處理裝置100用以在輸出影像165中增加像素點(diǎn)，其增加的像素點(diǎn)所對(duì)應(yīng)的像素值使輸出影像165中的邊緣平滑且連續(xù)，并降低使用一般影像插補(bǔ)技術(shù)造成的鋸齒狀或模糊的邊緣。在彩色影像中，影像的像素值又可分為紅綠藍(lán)(RGB)三原色的強(qiáng)度，或是分為色調(diào)、飽和度和亮度(HSV)的強(qiáng)度值，另外尚有其他像素值表示方式，并不限于所舉示例。為便于說(shuō)明，以下像素值將以灰階強(qiáng)度值為例，以說(shuō)明影像處理裝置100的操作細(xì)節(jié)，本領(lǐng)域技術(shù)人員在閱讀本公開(kāi)內(nèi)容后，可將所公開(kāi)內(nèi)容應(yīng)用至使用不同像素值表示方式的彩色影像，即本公開(kāi)內(nèi)容不以灰階影像為限。

梯度信息計(jì)算元件110用以對(duì)輸入影像160進(jìn)行運(yùn)算處理，以產(chǎn)生輸入影像160中各輸入像素所對(duì)應(yīng)的梯度值(gradient magnitude)和梯度角度(gradient angle)。梯度值越大，表示影像中該像素與鄰近像素的像素值差異越大，亦即，該像素越可能對(duì)應(yīng)至影像中的邊緣區(qū)域，而梯度方向則對(duì)應(yīng)至影像中邊緣方向。于一實(shí)施例中，梯度信息計(jì)算元件110是利用垂直方向和水平方向的Sobel運(yùn)算元(operator)與輸入影像160做卷積(convolution)運(yùn)算，并以垂直方向所得結(jié)果Dy與水平方向所得結(jié)果Dx的平均絕對(duì)值作為梯度值，并以垂直方向所得結(jié)果Dy除以水平方向所得結(jié)果Dx，再對(duì)其取反正切函數(shù)(arctangent)以取得梯度角度，運(yùn)算公式如下：

GradientMagnitude＝(|Dx|+|Dy|)/2,

GradientAngle＝arctan(Dy/Dx)

于其他實(shí)施例中，梯度信息計(jì)算元件110以垂直方向所得結(jié)果Dy與水平方向所得結(jié)果Dx的方均根(RMS)值作為梯度值。

于另一實(shí)施例中，梯度信息計(jì)算元件110是利用Perwitt運(yùn)算元與輸入影像160做卷積運(yùn)算，以得到梯度值和梯度角度。于又一實(shí)施例中，梯度信息計(jì)算元件110用以根據(jù)一梯度門檻值對(duì)輸入像素對(duì)應(yīng)的梯度值 和梯度角度進(jìn)行過(guò)濾，亦即，將梯度值低于梯度門檻值的部分視為0，以避免將數(shù)位影像中噪聲干擾造成的像素值變化視為邊緣。舉例而言，梯度門檻值可為像素值中最大值的十六分之一或八分之一。本領(lǐng)域技術(shù)人員可思及其他運(yùn)算元或計(jì)算方式用以產(chǎn)生梯度信息，并不限于以上示例。

方向判斷元件120用以根據(jù)自梯度信息計(jì)算元件110接收的梯度值和梯度角度產(chǎn)生多個(gè)插補(bǔ)角度162以及方向信任度值161，插補(bǔ)角度162代表邊緣方向，而方向信任度值161則代表插補(bǔ)角度162為正確的邊緣方向的可能性。如上所述，輸入影像160中邊緣部分的輸入像素對(duì)應(yīng)至較高的梯度值，但由于數(shù)位影像中包含噪聲，直接使用梯度值和梯度方向判斷輸入影像160中的邊緣部分和邊緣方向有可能造成誤判。因此，于本公開(kāi)內(nèi)容中，方向判斷元件120不僅依賴單一輸入像素的梯度值與梯度方向來(lái)產(chǎn)生插補(bǔ)角度162和方向信任度值161，而是使用多個(gè)輸入像素的梯度信息來(lái)得到可靠的插補(bǔ)角度162，以提升輸出影像165的品質(zhì)。

于一實(shí)施例中，輸入像素包含位于第一范圍內(nèi)的多個(gè)第一輸入像素，如圖2A所示，第一范圍210中包含的輸入像素P6、P7、P10、P11為第一輸入像素，而方向判斷元件120用以比較第一輸入像素和與第一輸入像素相鄰的輸入像素(輸入像素P1～P5、P8～P9以及P12～16)的梯度值和梯度角度，以產(chǎn)生插補(bǔ)角度162中的第一插補(bǔ)角度和方向信任度值161其中的第一方向信任度值，產(chǎn)生的第一插補(bǔ)角度和第一方向信任度值對(duì)應(yīng)至中心像素230，其中，方向插補(bǔ)元件130所輸出的第一影像163將包含中心像素230。具體而言，方向判斷元件120計(jì)算第一輸入像素(輸入像素P6、P7、P10、P11)與其相鄰的輸入像素間的梯度角度差，找出第一輸入像素中與鄰近輸入像素的梯度角度最為相像者，以其對(duì)應(yīng)的梯度角度和梯度值產(chǎn)生第一插補(bǔ)角度和第一方向信任度值。本領(lǐng)域技術(shù)人員可視其需要訂定第一范圍210的大小，圖2A所繪僅為示例，并非用于限定本公開(kāi)內(nèi)容。

于一實(shí)施例中，方向判斷元件120計(jì)算第一輸入像素(輸入像素P6、P7、P10、P11)中每一個(gè)與輸入像素P1～P16的梯度角度差異，并以梯度值作為權(quán)重，據(jù)以計(jì)算出第一輸入像素的信任度值(Confidence)，并以第一輸入像素中信任度值最高者的梯度角度作為第一插補(bǔ)角度，并以第 一輸入像素中信任度值最高者的信任度值作為第一方向信任度值，第一輸入像素中的輸入像素Pk的信任度值Confidence_k使用以下公式計(jì)算：

Confidence_k＝Σ_i＝1～16f(Mag_i)·f(AngDiff_i,k),k＝6,7,10,11

Mag_i:輸入像素Pi的梯度值

Ang_i:輸入像素Pi的梯度角度

AngDiff_i,k:輸入像素Pi和輸入像素Pk的梯度角度差

其中梯度值輸出函數(shù)f(Mag_i)以及梯度角度差輸出函數(shù)f(AngDiff_i,k)如圖2B所示。

梯度值輸出函數(shù)f(Mag_i)包含門檻值Mag1與門檻值Mag2，當(dāng)輸入像素Pi的梯度值低于門檻值Mag1時(shí)，方向判斷元件120判斷輸入像素Pi并非對(duì)應(yīng)至影像中的邊緣(edge)，梯度值輸出函數(shù)f(Mag_i)的輸出值為0，而當(dāng)輸入像素Pi的梯度值高于門檻值Mag2時(shí)，方向判斷元件120判斷輸入像素Pi對(duì)應(yīng)至影像中的邊緣，梯度值輸出函數(shù)f(Mag_i)的輸出值為1，當(dāng)輸入像素Pi的梯度值介于門檻值Mag1與門檻值Mag2的間時(shí)，方向判斷元件120判斷輸入像素Pi可能對(duì)應(yīng)至影像中的邊緣，梯度值輸出函數(shù)f(Mag_i)的輸出值介于0～1之間。梯度角度差輸出函數(shù)f(AngDiff_i,k)則包含門檻值A(chǔ)ng1與門檻值A(chǔ)ng2，當(dāng)輸入像素Pi與輸入像素Pk的梯度角度差異的絕對(duì)值小于門檻值A(chǔ)ng1時(shí)，視為輸入像素Pi與輸入像素Pk的梯度角度為相同方向，梯度角度差輸出函數(shù)f(AngDiff_i,k)的輸出值為1，當(dāng)輸入像素Pi與輸入像素Pk的梯度角度差異的絕對(duì)值大于門檻值A(chǔ)ng2時(shí)，視為輸入像素Pi與輸入像素Pk的梯度角度為不同方向，梯度角度差輸出函數(shù)f(AngDiff_i,k)的輸出值為0，當(dāng)輸入像素Pi與輸入像素Pk的梯度角度差異的絕對(duì)值介于門檻值A(chǔ)ng1與門檻值A(chǔ)ng2的間時(shí)，視為輸入像素Pi與輸入像素Pk的梯度角度為相似方向，梯度角度差輸出函數(shù)f(AngDiff_i,k)的輸出值為0～1之間。以上述算式所算出的輸入像素Pk的信任度值Confidence_k代表輸入像素Pk的梯度角度代表包含輸入像素P1～P16的影像范圍中邊緣方向的可能性。

于一實(shí)施例中，影像的梯度值范圍為0～255，梯度值輸出函數(shù)f(Mag_i)中的門檻值Mag1為40而門檻值Mag2為100，影像的梯度角度范圍為0°～180°，因角度具周期性，故角度差范圍為0°～90°，梯度角度差輸出 函數(shù)f(AngDiff_i,k)中的門檻值A(chǔ)ng1為15°而門檻值A(chǔ)ng2為30°。本領(lǐng)域技術(shù)人員在閱讀本公開(kāi)內(nèi)容后，可視應(yīng)用需求自行訂定圖中所示的數(shù)值Mag1、Mag2、Ang1以及Ang2，并不限于上述所舉示例。

于另一實(shí)施例中，輸入像素亦包含位于第二范圍220內(nèi)的多個(gè)第二輸入像素，且第二范圍220包含上述的第一范圍210，方向判斷元件120用以比較第一插補(bǔ)角度與第二輸入像素的梯度角度，以更新第一插補(bǔ)角度，第二范圍220如圖2A所示。具體而言，方向判斷元件120將第二輸入像素(輸入像素P1～P16)中，所對(duì)應(yīng)梯度角度與第一插補(bǔ)角度的差異小于一角度門檻值者的水平方向梯度值Dx與垂直方向梯度值Dy分別累加，再將累加結(jié)果相除并取反正切函數(shù)，以所得結(jié)果更新第一插補(bǔ)角度。于一些實(shí)施例中，角度門檻值為10度，于其他實(shí)施例中，角度門檻值為15度，以上所述角度門檻值僅為示例，并非用以限定本公開(kāi)內(nèi)容。

如此一來(lái)，方向判斷元件120以較大的第二范圍220內(nèi)輸入像素的梯度信息微調(diào)根據(jù)第一范圍210內(nèi)輸入像素所取得的第一插補(bǔ)角度，使所得第一插補(bǔ)角度更符合鄰近區(qū)域中梯度方向，進(jìn)一步降低噪聲的干擾，并產(chǎn)生邊緣更穩(wěn)定平滑的第一影像163。

方向插補(bǔ)元件130用以根據(jù)方向判斷元件120產(chǎn)生的插補(bǔ)角度162，對(duì)輸入影像160進(jìn)行方向插補(bǔ)處理，以產(chǎn)生第一影像163，且第一影像163的分辨率與輸入影像160的分辨率不同，但與輸出影像165的分辨率相同。插補(bǔ)角度162對(duì)應(yīng)到輸入影像160中邊緣方向，方向插補(bǔ)元件130根據(jù)插補(bǔ)角度162做方向插補(bǔ)，使得經(jīng)過(guò)補(bǔ)點(diǎn)增加像素的第一影像163有比使用一般影像插補(bǔ)技術(shù)更銳利清晰的影像品質(zhì)。

于一實(shí)施例中，如圖3A所示，方向插補(bǔ)元件130用以將方向判斷元件120產(chǎn)生的第一插補(bǔ)角度300對(duì)應(yīng)至多個(gè)角度區(qū)間310～360中的第一角度區(qū)間320，其中，第一插補(bǔ)角度300為方向判斷元件120產(chǎn)生的插補(bǔ)角度162中的一個(gè)。角度區(qū)間310～360涵蓋90度，每個(gè)角度區(qū)間為15度(小于30度)。方向判斷元件120選取一取樣窗(window)內(nèi)的輸入像素作為多個(gè)方向插補(bǔ)輸入像素，并根據(jù)第一角度區(qū)間320選擇性地對(duì)方向插補(bǔ)輸入像素進(jìn)行低通濾波處理，再根據(jù)處理后的方向插補(bǔ)輸入像素的像素值產(chǎn)生一第一像素的像素值，其中，第一像素為第一影像163 的組成像素之一，且對(duì)應(yīng)至第一插補(bǔ)角度300。

方向插補(bǔ)元件130進(jìn)行的低通濾波處理包含水平方向和垂直方向的低通濾波處理，方向插補(bǔ)元件130以低通濾波處理取樣窗內(nèi)的方向插補(bǔ)輸入像素，使處理結(jié)果更接近方向判斷元件120所產(chǎn)生的第一插補(bǔ)角度300。于本實(shí)施例中，方向插補(bǔ)元件130所選用的取樣窗大小為4x4像素，而方向插補(bǔ)元件130根據(jù)第一角度區(qū)間320，對(duì)取樣窗中心2x2像素范圍內(nèi)的方向插補(bǔ)輸入像素做水平低通濾波處理。

于其他實(shí)施例中，當(dāng)插補(bǔ)角度162對(duì)應(yīng)至角度區(qū)間310時(shí)，方向插補(bǔ)元件130亦對(duì)取樣窗中心2x2像素范圍內(nèi)的方向插補(bǔ)輸入像素做水平低通濾波處理，當(dāng)插補(bǔ)角度對(duì)應(yīng)至角度區(qū)間350～360時(shí)，方向插補(bǔ)元件130對(duì)取樣窗中心2x2像素范圍內(nèi)的方向插補(bǔ)輸入像素做垂直低通濾波處理。本領(lǐng)域技術(shù)人員，可依應(yīng)用需求(例如取樣窗范圍)修飾或潤(rùn)飾進(jìn)行低通濾波處理的范圍與方向，并不限于本公開(kāi)內(nèi)容所舉示例。

具體而言，方向插補(bǔ)元件130根據(jù)插補(bǔ)角度162所對(duì)應(yīng)的角度區(qū)間選擇性對(duì)方向插補(bǔ)輸入像素做低通濾波處理后，方向插補(bǔ)元件130將處理后的方向插補(bǔ)輸入像素與一包含系數(shù)(coefficient)的取樣窗做卷積運(yùn)算，亦即，4x4像素的取樣窗中每一像素均對(duì)應(yīng)至一系數(shù)，以取樣窗所對(duì)應(yīng)的系數(shù)為權(quán)重，取得方向插補(bǔ)輸入像素的像素值的權(quán)重和(weighted sum)，以產(chǎn)生第一像素的像素值。舉例而言，取樣窗系數(shù)可根據(jù)Lanczos插補(bǔ)演算法制定，或是根據(jù)樣條插補(bǔ)(spline interpolation)演算法制定，本領(lǐng)域技術(shù)人員可依實(shí)際需求設(shè)計(jì)遮罩的系數(shù)，并不限于本公開(kāi)內(nèi)容所舉示例。

于另一實(shí)施例中，方向插補(bǔ)元件130亦根據(jù)第一角度區(qū)間320自不同的角度取樣窗中選擇取樣窗，如圖3B所示，角度取樣窗包含直角坐標(biāo)取樣窗370、水平對(duì)角坐標(biāo)取樣窗380以及垂直對(duì)角坐標(biāo)取樣窗390，角度區(qū)間310和角度區(qū)間360對(duì)應(yīng)至直角坐標(biāo)取樣窗370，角度區(qū)間320和角度區(qū)間330對(duì)應(yīng)至水平對(duì)角坐標(biāo)取樣窗380，而角度區(qū)間340和角度區(qū)間350則對(duì)應(yīng)至垂直對(duì)角坐標(biāo)取樣窗390。方向插補(bǔ)元件130根據(jù)方向判斷元件120所得的插補(bǔ)角度162，在輸入影像160中選擇用以產(chǎn)生第一像素的像素值所需的輸入像素，如此一來(lái)，由于所選取的輸入像素為沿 邊緣方向選取，方向插補(bǔ)元件130可避免所產(chǎn)生的第一影像163有模糊的邊緣，因而提升影像的銳利度。

需注意的是，上述說(shuō)明以角度區(qū)間310～360為例，而角度區(qū)間310A～360A為角度區(qū)間310～360的補(bǔ)角，本領(lǐng)域技術(shù)人員在閱讀上述公開(kāi)內(nèi)容后，可類推出角度區(qū)間310A～360A的取樣窗與低通濾波處理的方向，不脫離本公開(kāi)內(nèi)容的精神與范圍。

于另一實(shí)施例中，方向插補(bǔ)元件130還用以將第一插補(bǔ)角度300對(duì)應(yīng)至第二角度區(qū)間，并根據(jù)第二角度區(qū)間產(chǎn)生第一像素的另一像素值，混合第一像素的像素值與另一像素值，以更新第一像素的像素值。舉例而言，當(dāng)應(yīng)用場(chǎng)景需要更高的影像平滑度時(shí)，方向插補(bǔ)元件130除了將第一插補(bǔ)角度300對(duì)應(yīng)至第一角度區(qū)間320，更選擇與第一插補(bǔ)角度300次靠近的第二角度區(qū)間310，并如上所述，根據(jù)第二角度區(qū)間310決定是否進(jìn)行低通濾波處理以及進(jìn)行低通濾波處理的方向，再以第二角度區(qū)間310對(duì)應(yīng)的角度取樣窗選取方向插補(bǔ)輸入像素，并根據(jù)所選取的方向插補(bǔ)輸入像素的像素值計(jì)算第一像素的另一像素值。隨后，方向插補(bǔ)元件130再根據(jù)第一插補(bǔ)角度300與第一角度區(qū)間320和第二角度區(qū)間310的中心角度的差異，混合第一像素的像素值和另一像素值為新的第一像素的像素值。

由于方向插補(bǔ)元件130根據(jù)相近的兩個(gè)角度區(qū)間來(lái)產(chǎn)生第一像素的像素值，在輸入影像160為影片或影音等連續(xù)影像的其中之一時(shí)，影像處理裝置100所產(chǎn)生輸出影像165在連續(xù)播放時(shí)，可避免角度持續(xù)變化的邊緣部分有跳動(dòng)的情況，增加影像的穩(wěn)定性和銳利度。

于某些實(shí)施例中，方向插補(bǔ)元件130根據(jù)第一插補(bǔ)角度300與第一角度區(qū)間320和第二角度區(qū)間310的中心角度的差異，比例相加第一像素的像素值和另一像素值為新的第一像素的像素值(即為像素值和另一像素值的權(quán)重和)，其中，像素值和另一像素值的權(quán)重與第一插補(bǔ)角度300與第一角度區(qū)間320和第二角度區(qū)間310的中心的角度差異成反比，舉例來(lái)說(shuō)，第一角度區(qū)間320的中心角度與第一插補(bǔ)角度300的角度差異為6°，第二角度區(qū)間310的中心角度與第一插補(bǔ)角度300的角度差異為9°，因此，像素值和另一像素值的權(quán)重為0.6和0.4。隨后，方向插補(bǔ)元 件130計(jì)算像素值和另一像素值的權(quán)重和，藉以更新第一像素的像素值。

影像混合元件150用以接收方向插補(bǔ)元件130所產(chǎn)生的第一影像163，以及自影像插補(bǔ)元件140接收對(duì)輸入影像160進(jìn)行影像插補(bǔ)處理所產(chǎn)生的第二影像164，且第二影像164的分辨率與第一影像163的分辨率相同。方向判斷元件120所產(chǎn)生方向信任度值161對(duì)應(yīng)至第一影像163與第二影像164的權(quán)重，影像混合元件150則根據(jù)權(quán)重混合第一影像163與第二影像164作為輸出影像165。舉例而言，影像混合元件150將方向信任度值161作為第一影像163的權(quán)重α，而第二影像164的權(quán)重為(1-α)，影像混合元件150計(jì)算第一影像163與第二影像164的權(quán)重和作為輸出影像165。本領(lǐng)域技術(shù)人員在參閱本公開(kāi)內(nèi)容后，可修飾或潤(rùn)飾根據(jù)方向信任度值161產(chǎn)生權(quán)重的方式，并不限于上述的示例。

影像插補(bǔ)元件140對(duì)輸入影像160進(jìn)行傳統(tǒng)的影像插補(bǔ)處理，包括非方向性的雙線性插補(bǔ)(bilinear interpolation)技術(shù)和雙三次插補(bǔ)(Bicubic interpolation)技術(shù)，或其他非線性影像插補(bǔ)技術(shù)，本領(lǐng)域技術(shù)人員可根據(jù)運(yùn)算資源或其他設(shè)計(jì)考量，決定選用的影像插補(bǔ)技術(shù)，以上所舉示例并非用以限定本公開(kāi)內(nèi)容。

于一實(shí)施例中，影像處理裝置100包含梯度信息計(jì)算元件110、方向判斷元件120以及方向插補(bǔ)元件130，各元件的功能分別如上所述。于此實(shí)施例中，方向插補(bǔ)元件130接收方向判斷元件120所輸出的插補(bǔ)角度162，根據(jù)插補(bǔ)角度162進(jìn)行低通濾波處理，使進(jìn)行方向插補(bǔ)處理的方向更接近插補(bǔ)角度162(亦即邊緣方向)，來(lái)降低輸出影像165邊緣區(qū)域常產(chǎn)生的假影(artifact)或模糊的情形。

影像處理裝置100以低硬件成本實(shí)現(xiàn)，由小范圍到大范圍地逼近輸入像素的邊緣方向，得到穩(wěn)定且可靠的插補(bǔ)角度162，根據(jù)插補(bǔ)角度162進(jìn)行方向插補(bǔ)處理，再根據(jù)方向信任度值161將所得結(jié)果與一般影像插補(bǔ)處理所得結(jié)果混合，以低復(fù)雜度的運(yùn)算取得高品質(zhì)影像。影像處理裝置100更結(jié)合低通濾波處理以取得接近插補(bǔ)角度162的方向插補(bǔ)輸入像素的像素值，并混合根據(jù)不同角度區(qū)間進(jìn)行方向插補(bǔ)處理所得的像素值，使得單張或連續(xù)影像的處理結(jié)果均皆呈現(xiàn)銳利清晰的影像效果。

圖4依照本公開(kāi)內(nèi)容實(shí)施例繪示的一種影像處理方法的流程圖。應(yīng) 了解到，雖然流程圖中對(duì)于影像處理方法400是以特定順序的步驟來(lái)做描述，然此并不限制本發(fā)明所提及步驟的前后順序，另外在實(shí)現(xiàn)中可增加或減少所述步驟。另外，為了方便及清楚說(shuō)明，以圖1所示的影像處理裝置100執(zhí)行影像處理方法400為例來(lái)進(jìn)行闡述，但本公開(kāi)內(nèi)容并不以此為限。

于影像處理方法400的操作流程中，影像處理裝置100對(duì)輸入影像進(jìn)行運(yùn)算處理，以產(chǎn)生輸入影像中的輸入像素分別對(duì)應(yīng)的梯度值和梯度角度(步驟S410)。輸入影像可為黑白或彩色影像，并以垂直和水平的Sobel運(yùn)算元、Perwitt運(yùn)算元或Laplacian運(yùn)算元等運(yùn)算元，對(duì)輸入影像做卷積運(yùn)算以取得梯度值和梯度角度，并視需要以梯度門檻值濾除過(guò)低的梯度值，以確保所得的梯度值和梯度方向不受噪聲干擾。影像處理裝置100取得梯度值和梯度方向的細(xì)節(jié)如上所述，于此不再贅述。

影像處理裝置100并根據(jù)輸入像素所對(duì)應(yīng)的梯度值和梯度角度，產(chǎn)生多個(gè)插補(bǔ)角度以及方向信任度值(步驟S420)。于一實(shí)施例中，影像處理裝置100比較多個(gè)第一輸入像素及與第一輸入像素相鄰的其他輸入像素的梯度值和梯度角度，以產(chǎn)生插補(bǔ)角度中的第一插補(bǔ)角度和對(duì)應(yīng)的方向信任度值，第一輸入像素包含位于第一范圍內(nèi)的輸入像素。舉例而言，第一范圍如圖2A所示為2x2像素，根據(jù)第一范圍內(nèi)的輸入像素與其相鄰的輸入像素，可得對(duì)應(yīng)至第一范圍中心的插補(bǔ)角度，比較第一輸入像素與相鄰的其他輸入像素的梯度值和梯度角度的細(xì)節(jié)如上所述，于此不再贅述。

于另一實(shí)施例中，影像處理裝置100還用以比較第一插補(bǔ)角度與多個(gè)第二輸入像素的梯度角度，以更新第一插補(bǔ)角度，第二輸入像素包含位于第二范圍內(nèi)的輸入像素，且第二范圍包含第一范圍，如此一來(lái)，可擴(kuò)大用以產(chǎn)生插補(bǔ)角度的輸入像素范圍，使插補(bǔ)角度更符合區(qū)域的邊緣方向，并得到較穩(wěn)定的方向插補(bǔ)結(jié)果。比較第一插補(bǔ)角度與第二輸入像素的梯度角度并據(jù)以更新第一插補(bǔ)角度的細(xì)節(jié)，以及第一范圍和第二范圍的設(shè)定，如前述實(shí)施例的描述，于此不再贅述。

影像處理裝置100根據(jù)插補(bǔ)角度，對(duì)輸入影像進(jìn)行方向插補(bǔ)處理，以產(chǎn)生第一影像，且第一影像的分辨率與輸入影像的分辨率不同(步驟 S430)。于一實(shí)施例中，影像處理裝置100將插補(bǔ)角度中的第一插補(bǔ)角度對(duì)應(yīng)至多個(gè)角度區(qū)間中的第一角度區(qū)間，選取一取樣窗內(nèi)的輸入像素作為方向插補(bǔ)輸入像素，并根據(jù)第一角度區(qū)間，選擇性地對(duì)方向插補(bǔ)輸入像素進(jìn)行低通濾波處理，再根據(jù)處理后的方向插補(bǔ)輸入像素的像素值，產(chǎn)生第一像素的像素值，第一像素為第一影像的組成像素之一，且對(duì)應(yīng)至第一插補(bǔ)角度。影像處理裝置100對(duì)方向插補(bǔ)輸入像素進(jìn)行低通濾波處理的細(xì)節(jié)，以及根據(jù)低通濾波處理后的方向插補(bǔ)輸入像素的像素值計(jì)算出第一像素的像素值的細(xì)節(jié)，如上述實(shí)施例的說(shuō)明，于此不再贅述。

在另一實(shí)施例中，影像處理裝置100根據(jù)第一角度區(qū)間，自多個(gè)角度取樣窗中選取一個(gè)作為取樣窗，其中角度取樣窗包含直角坐標(biāo)取樣窗、垂直對(duì)角坐標(biāo)取樣窗或水平對(duì)角坐標(biāo)取樣窗，根據(jù)角度區(qū)間選取角度取樣窗的細(xì)節(jié)，以及角度取樣窗的具體實(shí)施例，如上述實(shí)施例中說(shuō)明，于此不再贅述。

在又一實(shí)施例中，影像處理裝置100除根據(jù)第一角度區(qū)間產(chǎn)生第一像素的像素值外，亦將第一插補(bǔ)角度對(duì)應(yīng)至第二角度區(qū)間，并根據(jù)第二角度區(qū)間產(chǎn)生第一像素的另一像素值，混和第一像素的像素值與另一像素值，以更新第一像素的像素值。影像處理裝置100將第一插補(bǔ)角度對(duì)應(yīng)至第二角度區(qū)間、產(chǎn)生第一像素的另一像素值以及混合像素值與另一像素值的細(xì)節(jié)如上所述，于此不再贅述。

通過(guò)混合根據(jù)第一角度區(qū)間所產(chǎn)生的像素值以及根據(jù)第二角度區(qū)間所產(chǎn)生的另一像素值，影像處理方法300能夠產(chǎn)生邊緣細(xì)致的影像，并避免連續(xù)影像的邊緣產(chǎn)生跳動(dòng)的情形，進(jìn)一步提升影像品質(zhì)。

影像處理裝置100于產(chǎn)生第一影像后，更將第一影像與對(duì)輸入影像進(jìn)行影像插補(bǔ)處理所產(chǎn)生的第二影像混合，第二影像的分辨率與第一影像的分辨率相同，并根據(jù)方向信任度值所對(duì)應(yīng)的第一影像與第二影像的權(quán)重，混合第一影像與第二影像作為輸出影像(步驟S440)。根據(jù)方向信任度值產(chǎn)生第一影像和第二影像權(quán)重以及混合第一影像和第二影像的細(xì)節(jié)如上所述，于此不再贅述。

于一實(shí)施例中，影像處理方法300包含步驟S410～S430，于此實(shí)施例中，步驟S430的操作中包含以低通濾波處理方向插補(bǔ)輸入像素后再計(jì) 算輸出像素值，如此一來(lái)，方向插補(bǔ)處理所產(chǎn)生影像具有銳利平滑的邊緣，可提升輸出影像品質(zhì)。

結(jié)合方向插補(bǔ)處理和影像插補(bǔ)處理的結(jié)果，讓影像處理裝置100以及影像處理方法300以較低的計(jì)算復(fù)雜度產(chǎn)生清晰的影像。如前所述，于一些實(shí)施例中，影像處理裝置100以及影像處理方法300以梯度門檻值對(duì)輸入像素對(duì)應(yīng)的梯度值進(jìn)行過(guò)濾，因此于輸入影像160中的平坦區(qū)域方向信任度值為0，當(dāng)方向信任度值為0時(shí)，可省略與方向插補(bǔ)處理有關(guān)的操作運(yùn)算，舉例而言，當(dāng)于影像處理裝置100中，可省略方向判斷元件120以及方向插補(bǔ)元件130的運(yùn)算處理，于影像處理方法300中，可省略步驟S430～S440，如此一來(lái)，可進(jìn)一步節(jié)省所耗費(fèi)的計(jì)算資源。

本公開(kāi)內(nèi)容所提供的影像處理裝置與方法以低硬件實(shí)現(xiàn)成本，讓高分辨率的輸出影像的邊緣更為細(xì)致，在進(jìn)行方向插補(bǔ)處理時(shí)結(jié)合低通濾波器，讓影像中不同方向的邊緣更加平滑連續(xù)，以達(dá)到更佳的影像效果。影像處理裝置與方法更以方向信任度值以及多階段的插補(bǔ)角度收斂，結(jié)合方向插補(bǔ)處理與影像插補(bǔ)處理的結(jié)果，進(jìn)一步提升輸出影像品質(zhì)的穩(wěn)定性。

雖然本公開(kāi)內(nèi)容已以實(shí)施方式公開(kāi)如上，然其并非用以限定本公開(kāi)內(nèi)容，任何本領(lǐng)域技術(shù)人員，在不脫離本公開(kāi)內(nèi)容的精神和范圍內(nèi)，當(dāng)可做各種的變動(dòng)與潤(rùn)飾，因此本公開(kāi)內(nèi)容的保護(hù)范圍當(dāng)視權(quán)利要求所界定者為準(zhǔn)。