專利名稱：圖像處理裝置、圖像處理方法以及圖像顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法以及圖像顯示裝置。本發(fā)明還涉及用于執(zhí)行圖像處理方法的程序和記錄有該程序的記錄介質(zhì)。
背景技術(shù)：
在以往的圖像處理中輸出放大圖像時，為了消除放大圖像的模糊，進(jìn)行邊緣增強(qiáng)。
例如在專利文獻(xiàn)I中公開的圖像處理裝置具有第I圖像放大部、高頻成分圖像生成部、第2圖像放大部、高頻成分圖像處理部以及加法部，由第I圖像放大部生成放大輸入圖像后的第I放大圖像，由高頻成分圖像生成部生成取出輸入圖像的高頻成分后的第I高頻成分圖像，由第2圖像放大部生成放大第I高頻成分圖像后的第2放大圖像，由高頻成分圖像處理部生成從對第2放大圖像進(jìn)行非線性處理后的圖像中取出高頻成分后的第2高頻成分圖像，由加法部將第I放大圖像與第2高頻成分圖像相加，輸出邊緣被增強(qiáng)后的放大圖像。
專利文獻(xiàn)1:國際公開第2009/110328號公報
輸出邊緣被增強(qiáng)后的放大圖像的以往的圖像處理裝置存在如下趨勢:關(guān)于像素值比局部的像素值的平均值大的像素，使其像素值更大，關(guān)于像素值比局部的像素值的平均值小的像素，使其像素值更小。
這是因為，針對具有比局部的像素值的平均值大的像素值的像素，使其像素值更大，針對具有比局部的像素值的平均值小的像素值的像素，使其像素值更小，由此，可以使邊緣鮮明，消除放大圖像的模糊。
然而，在關(guān)于像素值比局部的像素值的平均值大的像素，使其像素值更大，關(guān)于像素值比局部的像素值的平均值小的像素，使其像素值更小的情況下，在不包含邊緣的區(qū)域中，有時反而得到不自然的處理結(jié)果。
例如在紋理區(qū)域中，關(guān)于像素值比局部的像素值的平均值大的像素，使其像素值更大，關(guān)于像素值比局部的像素值的平均值小的像素，使其像素值更小，由此，像素值被分成取大值和取小值這兩種像素值，有時細(xì)小的圖案被破壞，反而使清晰度下降。發(fā)明內(nèi)容
本發(fā)明的圖像處理裝置的特征在于，該圖像處理裝置具有:邊緣增強(qiáng)圖像放大部，其將第I分辨率的輸入圖像轉(zhuǎn)換成所述輸入圖像中包含的邊緣被增強(qiáng)后的第2分辨率的高分辨率圖像；差分計算部 ，其求出所述高分辨率圖像與所述輸入圖像的差分；以及高分辨率圖像校正部，其將所述差分向構(gòu)成所述高分辨率圖像的各像素擴(kuò)散，生成對所述高分辨率圖像進(jìn)行校正后的校正圖像，將所述校正圖像作為輸出圖像。
在本發(fā)明的圖像處理裝置中，由于可在紋理區(qū)域中作成具有各種像素值的像素，因此，在紋理區(qū)域中也能夠提高清晰度。


圖1是本發(fā)明的實施方式A1、A2、B1、B2、C1、C2的圖像處理裝置的框圖。
圖2是概略地示出輸入圖像DO中的像素排列的圖。
圖3是概略地示出邊緣增強(qiáng)放大圖像DlOO中的像素排列的圖。
圖4是示出圖1的差分計算部200的結(jié)構(gòu)例的框圖。
圖5是示出在本發(fā)明的實施方式Al中使用的、圖1的高分辨率圖像校正部300的結(jié)構(gòu)例的框圖。
圖6是示出從對應(yīng)點向其附近的像素擴(kuò)散差分?jǐn)?shù)據(jù)的一例的圖。
圖7的(a) (d)是示出對于校正對象像素成為差分?jǐn)?shù)據(jù)的擴(kuò)散起始地的對應(yīng)點的相對位置的圖。
圖8是示出對于校正對象像素成為差分?jǐn)?shù)據(jù)的擴(kuò)散起始地的對應(yīng)點的相對位置的圖。
圖9是示出包含邊緣和紋理區(qū)域的圖像的一例的圖。
圖10是示出具有圖1的圖像處理裝置的圖像顯示裝置的框圖。
圖11是示出圖1的邊緣增強(qiáng)圖像放大部100的結(jié)構(gòu)例的框圖。
圖12是示出在本發(fā)明的實施方式A2中使用的、圖1的高分辨率圖像校正部300的結(jié)構(gòu)例的框圖。
圖13是示出圖12的邊緣檢測部311的結(jié)構(gòu)例的框圖。
圖14是示出圖12的紋理檢測部321的結(jié)構(gòu)例的框圖。
圖15是示出本發(fā)明的實施方式么334、83、84、03、04的圖像處理方法的實施中使用的運算裝置的結(jié)構(gòu)的框圖。
圖16是示出本發(fā)明的實施方式A3、A4、B3、B4、C3、C4的圖像處理方法的處理步驟的流程圖。
圖17是示出圖16的差分計算步驟ST200的處理步驟的流程圖。
圖18是示出在本發(fā)明的實施方式A3中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖19是示出圖16的邊緣增強(qiáng)圖像放大步驟ST100的處理步驟的流程圖。
圖20是示出在本發(fā)明的實施方式A4中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖21是示出圖20的邊緣檢測步驟ST311的處理步驟的流程圖。
圖22是示出圖20的紋理檢測步驟ST321的處理步驟的流程圖。
圖23是示出在本發(fā)明的實施方式BI中使用的、圖1的高分辨率圖像校正部300的結(jié)構(gòu)例的框圖。
圖24是示出圖23的周期性檢測部331的結(jié)構(gòu)例的框圖。
圖25是示出在本發(fā)明的實施方式B2中使用的、圖1的高分辨率圖像校正部300的結(jié)構(gòu)例的框圖。
圖26是示出在本發(fā)明的實施方式B3中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖27是示出圖26的周期性檢測步驟ST331的處理步驟的流程圖。
圖28是示出在本發(fā)明的實施方式B4中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖29是示出在本發(fā)明的實施方式Cl中使用的、圖1的高分辨率圖像校正部300的結(jié)構(gòu)例的框圖。
圖30的(a) (e)是示出亮度信息D340與校正系數(shù)F340的關(guān)系的不同例子的圖。
圖31是示出圖29的高分辨率圖像校正部300內(nèi)的亮度信息生成部340的結(jié)構(gòu)例的框圖。
圖32是示出圖29的高分辨率圖像校正部300內(nèi)的亮度信息生成部340的另一個結(jié)構(gòu)例的框圖。
圖33是示出圖29的高分辨率圖像校正部300內(nèi)的亮度信息生成部340的又一個結(jié)構(gòu)例的框圖。
圖34是示出在本發(fā)明的實施方式C2中使用的、圖1的高分辨率圖像校正部300的結(jié)構(gòu)例的框圖。
圖35是示出在本發(fā)明的實施方式C3中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖36是示出在本發(fā)明的實施方式C4中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
標(biāo)號說明
DO:輸入圖像；100:邊緣增強(qiáng)圖像放大部；D100:邊緣增強(qiáng)放大圖像；200:差分計算部；D200:差分?jǐn)?shù)據(jù)；300:高分辨率圖像校正部；D300:輸出圖像。
具體實施方式
實施方式Al
圖1是表示本發(fā)明的實施方式Al的圖像處理裝置的圖。實施方式Al的圖像處理裝置具有邊緣增強(qiáng)圖像放大部100、差分計算部200以及高分辨率圖像校正部300。
邊緣增強(qiáng)圖像放大部100接收輸入圖像D0，輸出像素數(shù)比輸入圖像DO多的邊緣增強(qiáng)放大圖像D100。在此，邊緣增強(qiáng)放大圖像DlOO是輸入圖像DO內(nèi)的邊緣被增強(qiáng)后的放大圖像。有時也將放大圖像稱作高分辨率圖像，將輸入圖像稱作低分辨率圖像。
差分計算部200輸出表示輸入圖像DO與邊緣增強(qiáng)放大圖像DlOO的差分的差分?jǐn)?shù)據(jù) D200。
高分辨率圖像校正部300對邊緣增強(qiáng)放大圖像DlOO進(jìn)行校正，以部分或全部消除由差分?jǐn)?shù)據(jù)D200表示的差分，并將其結(jié)果作為輸出圖像D300進(jìn)行輸出。
以下，分別對邊緣增強(qiáng)圖像放大部100、差分計算部200以及高分辨率圖像校正部300進(jìn)行說明。
邊緣增強(qiáng)圖像放大部100生成增強(qiáng)輸入圖像DO內(nèi)的邊緣后的放大圖像即邊緣增強(qiáng)放大圖像D100。在此，為了生成增強(qiáng)輸入圖像DO內(nèi)的邊緣后的放大圖像，可以使用已知的方法，也可以使用例如上述專利文獻(xiàn)I中公開的圖像處理裝置。
圖2是示意地表示輸入圖像DO的圖。
在圖2中，最小的四邊形表示構(gòu)成輸入圖像DO的像素。
當(dāng)將構(gòu)成輸入圖像DO的像素的寬度即在水平方向上鄰接的像素間的間隔設(shè)為Lx，高度即在垂直方向上鄰接的像素間的間隔設(shè)為Ly，水平方向的像素數(shù)設(shè)為Nx，垂直方向的像素數(shù)設(shè)為Ny時，輸入圖像DO由寬度為Lx、高度為Ly的像素在水平方向上排列Nx個、在垂直方向上排列Ny個而得到的二維形狀來表示。
此外，沿著輸入圖像DO的水平方向、垂直方向定義水平坐標(biāo)、垂直坐標(biāo)，將其單位長分別設(shè)為與Lx、Ly相等，使用取O以上且低于Nx的整數(shù)值的變量s和取O以上且低于Ny的整數(shù)值的變量t，表示構(gòu)成輸入圖像DO的各像素的位置。
(X, y) = (s, t)
畫面左上角的像素為x=0、y=0，向右方移動I個像素，則x的值增大1，向下方移動I個像素，則I的值增大I。
以下，構(gòu)成輸入圖像DO的像素中，位于坐標(biāo)(X，y)的像素用PO (X，y)表示，像素PO (X，y)的像素值用DO (X，y)表示。此外，有時也將構(gòu)成輸入圖像DO的像素PO (x, y)表示為像素PO。
此外，將邊緣增強(qiáng)圖像放大部100中的水平方向的倍率設(shè)為Sx，垂直方向的倍率設(shè)為Sy。該情況下，構(gòu)成邊緣增強(qiáng)放大圖像DlOO的像素的寬度為Lx/Sx，高度為Ly/Sy。當(dāng)將邊緣增強(qiáng)放大圖像DlOO的水平方向的像素數(shù)設(shè)為Mx，垂直方向的像素數(shù)設(shè)為My時，滿足下式。
Mx= [Sx.Nx]
My= [Sy.Ny]
另外，[A]表示不超過A的最大的整數(shù)，例如[10]=10，[10.5] =10。邊緣放大增強(qiáng)圖像DlOO由寬度為Lx/Sx、高度為Ly/Sy的像素在水平方向上排列Mx個、在垂直方向上排列My個而得到的二維形狀來表示。
此外，在水平坐標(biāo)、垂直坐標(biāo)的單位長與圖2所示的水平坐標(biāo)、垂直坐標(biāo)的單位長(Lx，Ly)相等的坐標(biāo)系下考慮，使用取O以上且低于Mx的整數(shù)值的變量u和取O以上且低于My的整數(shù)值的變量V，表示構(gòu)成邊緣增強(qiáng)放大圖像DlOO的各像素的位置，
(x, y) = (u/Sx, v/Sy)
水平方向像素間隔為Ι/Sx，垂直方向像素間隔為1/Sy。
圖3是示意地表示Sx=2、Sy=2的情況下得到的邊緣增強(qiáng)放大圖像DlOO的圖，在圖3中，最小的四邊形表示構(gòu)成邊緣增強(qiáng)放大圖像DlOO的像素。
該情況下，
Mx= [2Nx]
My= [2Ny]
(x, y) = (u/2, v/2)0
另外，在以下的說明中除非有特別規(guī)定，否則在對由水平坐標(biāo)、垂直坐標(biāo)構(gòu)成的坐標(biāo)系及其坐標(biāo)上的點進(jìn)行敘述的情況下，使用圖2或圖3表示的坐標(biāo)系即水平坐標(biāo)、垂直坐標(biāo)的單位長分別為Lx、Ly的坐標(biāo)系。
以下，構(gòu)成邊緣增強(qiáng)放大圖像DlOO的像素中，位于坐標(biāo)(X，y)的像素用PlOO (x,y)表示,像素PlOO (x，y)的像素值用DlOO (x，y)表示。此外，構(gòu)成邊緣增強(qiáng)放大圖像DlOO的像素PlOO (X，y)有時也僅表示為像素P100。
接著，對差分計算部200進(jìn)行敘述。
圖4是示出差分計算部200的結(jié)構(gòu)例的圖。
差分計算部200具有對應(yīng)點設(shè)定部221、關(guān)注區(qū)域設(shè)定部222、對應(yīng)點像素值計算部223以及減法部230。
對應(yīng)點設(shè)定部221針對構(gòu)成輸入圖像DO的各個像素PO，將在邊緣增強(qiáng)放大圖像DlOO內(nèi)與該像素PO相同位置的部位設(shè)定為對應(yīng)點。例如依次選擇構(gòu)成輸入圖像DO的像素PO (x，y)作為關(guān)注像素，針對選擇出的關(guān)注像素設(shè)定對應(yīng)點。即，相對于像素PO (x，y)的對應(yīng)點的坐標(biāo)為(X，y)。以下，用T (X, y)表示由坐標(biāo)(X, y)表示的對應(yīng)點。另外,有時也省略對應(yīng)點T (X, y)的坐標(biāo)的記載,僅表示為對應(yīng)點T。
關(guān)注區(qū)域設(shè)定部222針對各個對應(yīng)點T，將存在于其附近(包含對應(yīng)點及其周圍的區(qū)域)的由邊緣增強(qiáng)放大圖像DlOO內(nèi)的多個像素PlOO構(gòu)成的區(qū)域設(shè)定為關(guān)注區(qū)域。
對應(yīng)點像素值計算部223針對各關(guān)注區(qū)域，計算構(gòu)成該關(guān)注區(qū)域的像素PlOO的像素值的加權(quán)相加值(以下稱作對應(yīng)點像素值D223)。這相當(dāng)于，假定在邊緣增強(qiáng)放大圖像DlOO內(nèi)，對于構(gòu)成輸入圖像DO的各個像素PO在與該像素PO相同的位置上存在與該像素PO相同大小的像素的情況下，根據(jù)構(gòu)成邊緣增強(qiáng)放大圖像DlOO的像素PlOO (x，y)的像素值DlOO (x，y)，求出該像素具有的像素值。
當(dāng)用D223 (x, y)表示對對應(yīng)點T (x, y)計算出的對應(yīng)點像素值D223時，得到下式。
D223(x$ j)
權(quán)利要求
1.一種圖像處理裝置，其特征在于，該圖像處理裝置具有: 邊緣增強(qiáng)圖像放大部，其將第I分辨率的輸入圖像轉(zhuǎn)換成所述輸入圖像中包含的邊緣被增強(qiáng)后的第2分辨率的高分辨率圖像； 差分計算部，其求出所述高分辨率圖像與所述輸入圖像的差分；以及高分辨率圖像校正部，其將所述差分向構(gòu)成所述高分辨率圖像的各像素擴(kuò)散，生成對所述高分辨率圖像進(jìn)行校正后的校正圖像， 將所述校正圖像作為輸出圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部具有紋理檢測部，該紋理檢測部在所述輸入圖像中檢測像素值的變化局部較多的區(qū)域作為紋理區(qū)域， 在將所述輸入圖像與所述高分辨率圖像重合的情況下，在被檢測為所述紋理區(qū)域的區(qū)域附近以外，抑制至少部分地消除所述差分的校正。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述差分計算部具有: 對應(yīng)點設(shè)定部，其在將所述輸入圖像重合在所述高分辨率圖像上的情況下，將構(gòu)成所述輸入圖像的各像素重合的位置設(shè)為對應(yīng)點； 對應(yīng)點像素值計算部，其根據(jù)所述高分辨率圖像的像素值，求出在所述對應(yīng)點存在與構(gòu)成所述輸入圖像的各像素大小相同的像素時的像素值，作為對應(yīng)點的像素值；以及 第I減法部，其求出所述輸入圖像的各像素的像素值與由所述對應(yīng)點像素值計算部求出的與該像素有關(guān)的對應(yīng)點的像素值之間的差， 將所述第I減法部的輸出作為所述差分。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部具有擴(kuò)散系數(shù)計算部，該擴(kuò)散系數(shù)計算部按照每個所述對應(yīng)點求出擴(kuò)散系數(shù)，該擴(kuò)散系數(shù)用于決定將所述差分向存在于所述對應(yīng)點附近的、構(gòu)成所述高分辨率圖像的各像素擴(kuò)散的量。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部具有: 擴(kuò)散量計算部，其針對構(gòu)成所述高分辨率圖像的各像素，使用所述擴(kuò)散系數(shù)求出從該像素附近的I個或2 個以上的各個對應(yīng)點向該像素擴(kuò)散的差分，進(jìn)而求出從該像素附近的所述I個或2個以上的對應(yīng)點擴(kuò)散的差分的和并進(jìn)行輸出；以及 第2減法部，其輸出從所述邊緣增強(qiáng)圖像放大部輸出的所述高分辨率圖像的像素值減去所述擴(kuò)散量計算部的輸出值而得到的值， 將所述第2減法部的輸出值作為所述校正圖像的像素值。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述擴(kuò)散系數(shù)是對彼此不同的矩陣進(jìn)行加權(quán)相加而得到的。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述彼此不同的矩陣彼此線性獨立。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 用于所述加權(quán)相加的權(quán)重系數(shù)按照每個所述對應(yīng)點而不同。
9.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 用于所述加權(quán)相加的權(quán)重系數(shù)是根據(jù)所述輸入圖像的像素值的變化而求出的。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部還具有檢測所述輸入圖像中包含的邊緣的邊緣檢測部， 在將所述輸入圖像與所述高分辨率圖像重合的情況下，在被檢測到所述邊緣的部位附近，抑制消除所述差分的校正。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部還具有檢測在所述高分辨率圖像中包含周期性圖案的部位的周期性判定部， 在被判定為在所述高分辨率圖像中包含周期性圖案的部位中，抑制消除所述差分的校正。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部檢測在所述高分辨率圖像或所述輸入圖像中聚集較多的具有較小像素值的像素的區(qū)域，或者聚集較多的具有較大像素值的像素的區(qū)域，在該區(qū)域中抑制消除所述差分的校正。
13.一種圖像顯示裝置，其特征在于，該圖像顯示裝置具有權(quán)利要求f 12中的任意一項所述的圖像處理裝置。
14.一種圖像處理方法，其特征在于，該圖像處理方法具有以下步驟: 邊緣增強(qiáng)圖像放大步驟，將第I分辨率的輸入圖像轉(zhuǎn)換成所述輸入圖像中包含的邊緣被增強(qiáng)后的第2分辨率的高分辨率圖像； 差分計算步驟，求出所述高分辨率圖像與所述輸入圖像的差分；以及高分辨率圖像校正步驟，將所述差分向構(gòu)成所述高分辨率圖像的各像素擴(kuò)散，生成對所述高分辨率圖像進(jìn)行校正后的校正圖像， 將所述校正圖像作為輸出圖像。
15.一種圖像顯示裝置，其特征在于，該圖像顯示裝置顯示采用權(quán)利要求14所述的圖像處理方法處理后的圖像。`
全文摘要
本發(fā)明提供一種圖像處理裝置、圖像處理方法以及圖像顯示裝置，在增強(qiáng)邊緣的同時放大圖像，由此防止在生成的紋理區(qū)域中圖像劣化。邊緣增強(qiáng)圖像放大部(100)將輸入圖像(D0)轉(zhuǎn)換成邊緣被增強(qiáng)后的高分辨率圖像(D100)，差分計算部(200)求出高分辨率圖像(D100)與輸入圖像(D0)的差分(D200)。高分辨率圖像校正部(300)將差分(D200)向構(gòu)成高分辨率圖像(D100)的各像素擴(kuò)散，生成對高分辨率圖像進(jìn)行校正后的校正圖像(D300)。
文檔編號G09G5/10GK103106893SQ20121044145
公開日2013年5月15日 申請日期2012年11月7日 優(yōu)先權(quán)日2011年11月11日
發(fā)明者守谷正太郎, 山中聰, 吉井秀樹, 杉之原英嗣 申請人:三菱電機(jī)株式會社