專利名稱：圖像處理裝置和方法、以及圖像顯示裝置和方法
技術領域：
本發(fā)明涉及對數字化的圖像進行放大的圖像處理裝置和方法、以及圖像顯示裝置 和方法，在對圖像進行放大時，生成高頻分量，由此得到清晰感高的放大圖像。
背景技術：
一般地，在輸出圖像的像素數多于輸入圖像的像素數的情況下，圖像處理裝置必 須對圖像進行放大處理。在現有的圖像處理裝置中，對關注像素附近的像素所具有的像素 值進行加權相加，對圖像進行放大。例如在專利文獻1所記載的圖像處理裝置中，具有用于對從各移位寄存器分別輸 出的主掃描方向上相鄰的5個像素數據乘以規(guī)定的加權常數并對各像素數據中的相乘結 果進行相加的運算電路，在進行圖像數據的放大處理的情況下，由選擇器選擇運算電路的 運算結果作為這些像素數據的中央像素數據并輸出。專利文獻1 日本特開平6-311346號公報(圖1)對關注像素附近的像素所具有的像素值進行加權相加是僅使輸入圖像的低頻分 量通過的低通濾波處理。因此，在上述現有技術中，無法針對放大圖像充分提供高頻分量， 所以，存在放大圖像的清晰感受損的問題。

發(fā)明內容
本發(fā)明是為了消除上述這種課題而完成的，本發(fā)明的圖像處理裝置對輸入圖像進 行放大，其特征在于，該圖像處理裝置具有第1圖像放大單元，其放大所述輸入圖像并輸 出第1放大圖像；高頻分量圖像生成單元，其取出所述輸入圖像的高頻分量，生成第1高頻 分量圖像；第2圖像放大單元，其放大所述第1高頻分量圖像并輸出第2放大圖像；高頻分 量圖像處理單元，其取出所述第2放大圖像的高頻分量，生成第2高頻分量圖像；以及對所 述第1放大圖像和所述第2高頻分量圖像進行相加并生成輸出圖像的單元。根據本發(fā)明，能夠針對放大圖像充分提供高頻分量，能夠得到具有清晰感的放大 圖像。


圖1是本發(fā)明的實施方式1的圖像處理裝置的結構圖。圖2是本發(fā)明的實施方式1的圖像處理裝置的更加詳細的結構圖。圖3是本發(fā)明的實施方式1的圖像處理裝置的更加詳細的結構圖。圖4(a) (d)是圖像放大單元2A的動作說明圖。圖5是圖像放大單元2A的結構圖。圖6是圖像放大單元2B的結構圖。圖7是水平方向非線性處理單元31h的結構圖。圖8是垂直方向非線性處理單元31v的結構圖。
圖9 (a) (d)是放大圖像D2A的頻譜的說明圖。圖10 (a) (f)是中間圖像D32A的頻譜的說明圖。圖11 (a) (c)是中間圖像D32B的頻譜的說明圖。圖12(a) (e)是階躍邊緣信號和利用不同采樣頻率對階躍邊緣信號進行采樣時 得到的信號及其高頻分量的說明圖。圖13(a) (f)是非線性處理單元31和高頻分量通過單元32B的動作說明圖。圖14是放大圖像Dout的頻譜的說明圖。圖15 (a) (e)是階躍邊緣信號和利用不同采樣頻率對階躍邊緣信號進行采樣時 得到的信號及其高頻分量的說明圖。圖16(a) (f)是非線性處理單元31和高頻分量通過單元32B、或者非線性處理 步驟ST31和高頻分量通過單元32B的動作說明圖。圖17是本發(fā)明的實施方式2的圖像處理裝置的結構圖。圖18是本發(fā)明的圖像處理方法的流程圖。圖19是高頻分量圖像生成步驟STl的流程圖。圖20是圖像放大步驟ST2B的流程圖。圖21是高頻分量圖像處理步驟ST3的流程圖。圖22是水平方向非線性處理步驟ST31h的流程圖。圖23是垂直方向非線性處理步驟ST31v的流程圖。圖24是示出組入了本發(fā)明的圖像處理裝置的圖像顯示裝置的一例的框圖。標號說明1 高頻分量圖像生成單元；2A 圖像放大單元；2B 圖像放大單元；3 高頻分量圖 像處理單元；4 加法單元Din 輸入圖像；Dl 高頻分量圖像；D2A 放大圖像D2B 放大圖像 D3 高頻分量圖像；Dout 輸出圖像。
具體實施例方式實施方式1圖1是示出本發(fā)明的實施方式1的圖像處理裝置的結構的圖，例如能夠用作圖24 所示的圖像顯示裝置內的圖像處理裝置U1。另外，圖24所示的圖像顯示裝置由圖像處理裝 置Ul和顯示部9構成，通過顯示部9進行圖像顯示。實施方式1的圖像處理裝置具有圖像放大單元2A、高頻分量圖像生成單元1、圖 像放大單元2B、高頻分量圖像處理單元3、以及加法單元4。圖像放大單元2A放大輸入圖像Din生成放大圖像D2A。高頻分量圖像生成單元1 僅取出輸入圖像Din的高頻分量，生成高頻分量圖像Dl。圖像放大單元2B放大從高頻分量 圖像生成單元1輸出的高頻分量圖像D1，生成放大圖像D2B。高頻分量圖像處理單元3取 出從圖像放大單元2B輸出的放大圖像D2B的高頻分量，生成高頻分量圖像D3。加法單元4 對從放大單元2A輸出的放大圖像D2A加上從高頻分量圖像處理單元3輸出的高頻分量圖 像D3，將其結果作為最終的放大圖像即輸出圖像Dout輸出。加法單元4的輸出被提供給圖 24所示的圖像顯示裝置內的顯示部9，用于顯示部9的圖像顯示。另外，在本說明書中，記載了針對“圖像”進行放大、高頻生成、高頻分量處理等的處理，但是，具體而言，是針對表示圖像的數字數據進行處理。并且，具體而言，“圖像”這一 記載有時也意味著“圖像數據”。圖像放大單元2A、高頻分量圖像生成單元1、圖像放大單元2B、高頻分量圖像處理 單元3的詳細動作在后面敘述，但是，高頻分量圖像D3所具有的頻率分量為高于放大圖像 D2A所具有的頻率分量的頻帶。因此，在加法單元4中對放大圖像D2A加上高頻分量圖像 D3，由此，能夠得到包含大量高頻分量的放大圖像Dout。圖像放大單元2A在水平方向和垂直方向的至少一方放大圖像，例如，在水平方向 和垂直方向以相同倍率進行放大，但是，取而代之，也可以在水平方向和垂直方向以不同倍 率進行放大。并且，也可以僅在水平方向和垂直方向的一方進行放大，例如，在顯示畫面相 對于輸入圖像而言橫向較長的情況下，有時僅在水平方向進行放大。下面，更加詳細地說明圖像放大單元2A、高頻分量圖像生成單元1、圖像放大單元 2B、高頻分量圖像處理單元3的動作。通過該說明也更加清楚本發(fā)明的作用、效果。圖2是示出圖1所示的本發(fā)明的實施方式1的圖像處理裝置的詳細結構的圖，特 別詳細地記述了高頻分量圖像處理單元3的結構。高頻分量圖像處理單元3具有高頻分量通過單元32A、非線性處理單元31、高頻 分量通過單元32B、以及加法單元5。高頻分量通過單元32A生成僅取出放大圖像D2B中所包含的高頻分量得到的中間 圖像D32A。非線性處理單元31生成針對放大圖像D2B進行了后述的邊緣(edge)銳化用的 非線性處理的非線性處理圖像D31，高頻分量通過單元32B輸出僅取出非線性處理圖像D31 中所包含的高頻分量得到的中間圖像D32B。然后，將利用加法單元5對中間圖像D32A和中 間圖像D32B進行相加后的結果作為高頻分量圖像D3輸出。圖3是示出本發(fā)明的實施方式1的圖像處理裝置的更加詳細的結構的圖，特別詳 細地記述了高頻分量圖像生成單元1、圖像放大單元2B、高頻分量通過單元32A、非線性處 理單元31、以及高頻分量通過單元32B的結構。下面，說明圖3所示的圖像處理裝置的結構 要素的動作。高頻分量圖像生成單元1具有分別利用后述的方法生成水平方向高頻分量圖像 Dlh和垂直方向高頻分量圖像Dlv的水平方向高頻分量圖像生成單元Ih和垂直方向高頻分 量圖像生成單元lv。由水平方向高頻分量圖像Dlh和垂直方向高頻分量圖像Dlv構成高頻 分量圖像D1。圖像放大單元2B具有生成對水平方向高頻分量圖像Dlh進行放大得到的放大圖 像D2Bh的圖像放大單元2Bh、和生成對垂直方向高頻分量圖像Dlv進行放大得到的放大圖 像D2Bv的圖像放大單元2Bv。由放大圖像D2Bh和放大圖像D2Bv構成放大圖像D2B。在圖像放大單元2A在水平方向和垂直方向這兩個方向進行放大的情況下，圖像 放大單元2Bh在水平方向和垂直方向的兩個方向上放大水平方向高頻分量圖像Dlh，圖像 放大單元2Bv在水平方向和垂直方向的兩個方向上放大垂直方向高頻分量圖像Dlv。圖像 放大單元2Bh和2Bv以與圖像放大單元2A進行的在水平方向和垂直方向上的各個方向的 放大倍率相同的倍率進行水平方向高頻分量圖像Dlh和垂直方向高頻分量圖像Dlv的放 大。高頻分量通過單元32A具有生成僅取出放大圖像D2Bh所包含的水平方向的高頻分量得到的中間圖像D32Ah的水平方向高頻分量通過單元32Ah ；生成僅取出放大圖像D2Bv 的垂直方向的高頻分量得到的中間圖像D32Av的垂直方向高頻分量通過單元32Av ；以及對 中間圖像D32Ah和中間圖像D32Av進行相加的加法單元6A，將利用加法單元6A對中間圖像 D32Ah和中間圖像D32Av進行相加后的結果作為中間圖像D32A輸出。非線性處理單元31具有水平方向非線性處理單元31h，其生成利用后述方法對 放大圖像D2Bh進行非線性處理得到的非線性處理圖像D31h，該非線性處理用于對包含在 水平方向排列的像素的信號值呈階躍狀變化的邊緣進行銳化；以及垂直方向非線性處理 單元31v，其生成利用后述方法對放大圖像D2Bv進行非線性處理得到的非線性處理圖像 D31v，該非線性處理用于對包含在垂直方向排列的像素的信號值呈階躍狀變化的邊緣進行 銳化。由非線性處理圖像D31h和非線性處理圖像D31v構成非線性處理圖像D31。高頻分量通過單元32B具有生成僅取出非線性處理圖像D31h中所包含的高頻分 量得到的中間圖像D32Bh的水平方向高頻分量通過單元32Bh ；生成僅取出非線性處理圖像 D31v中所包含的高頻分量得到的中間圖像D32Bv的垂直方向高頻分量通過單元32Bv ；以及 對中間圖像D32Bh和中間圖像D32Bv進行相加的加法單元6B，將利用加法單元6B對中間圖 像D32Bh和中間圖像D32Bv進行相加后的結果作為中間圖像D32B輸出。下面，以生成在水平方向、垂直方向均將輸入圖像Din放大2倍得到的放大圖像 Dout的情況為例，更加詳細地說明圖3所記載的圖像處理裝置的各結構要素的動作。首先，說明圖像放大單元2A的動作。圖像放大單元2A生成在水平方向、垂直方向 均將輸入圖像Din放大2倍后的放大圖像D2A。圖4(a) 圖4(d)是示意性地示出圖像放 大單元2A中的放大圖像D2A的生成步驟的一例的圖，圖5是示出圖像放大單元2A的一例 的圖。圖像放大單元2A具有零插入單元21A和低頻分量通過單元22A。下面，使用圖 4(a) (d)說明零插入單元21A和低頻分量通過單元22A的動作。圖4(a)示出輸入圖像 Din (特別是構成圖像的一部分的像素的排列)，圖4 (b)示出由零插入單元21A生成的零插 入圖像D21A，圖4(c)示出在低頻分量通過單元22A中生成放大圖像D2A時使用的濾波系 數，圖4(d)示出由低頻分量通過單元22A生成的放大圖像D2A。在圖4(b)、(d)中，對應于 像素的位置記載了水平坐標X、垂直坐標Y。零插入單元21A針對輸入圖像Din，在水平方向每隔(輸入圖像Din的)1個像素 插入1個(在相鄰2個像素相互之間為1個)具有像素值0的像素，在垂直方向每隔(輸 入圖像Din的)1行插入1條(在相鄰2行相互之間為1條)具有像素值0的像素，生成零 插入圖像D21A。如果“PXY”表示輸入圖像Din中的坐標(X、Y)的像素、“P，XY”表示零插入圖像 D21A中的坐標(X、Y)，則進行上述零插入的結果為，輸入圖像Din所包含的像素PXY在零插 入圖像 D21A 中變?yōu)?P，(2Χ-1) (2Υ-1)。低頻分量通過單元22Α針對零插入圖像D21A進行圖4(c)所示的濾波系數所表示 的濾波運算，由此，生成圖4(d)所示的放大圖像D2A。例如，如下述式⑴那樣計算放大圖像D2A所包含的坐標(X、Y)的像素的像素值 QXY。QXY = (4/16) X {P，(Χ_1) (Υ_1)+2Ρ，X (Y_l)+P，(X+l) (Y_l)+2Ρ，(X-I)Y+4P，XY+2P，(X+1)Y+P，(X-I) (Υ+1)+2Ρ，Χ(Υ+1)+Ρ，(Χ+1) (Υ+1)}· · . (1)另外，圖4(c)所示的濾波系數表示低通濾波，所以，式(1)所示的低頻分量通過單 元22Α中的處理對應于取出零插入圖像D21A的低頻分量。接著，說明水平方向高頻分量圖像生成單元Ih和垂直方向高頻分量圖像生成單 元Iv的動作。水平方向高頻分量圖像生成單元Ih對輸入圖像Din施加使用輸入圖像Din 的各像素和位于其水平方向附近的例如規(guī)定數量的像素的高通濾波，生成水平方向高頻分 量圖像Dlh。另一方面，垂直方向高頻分量圖像生成單元Iv對輸入圖像Din施加使用輸入圖像 Din的各像素和位于其垂直方向附近的例如規(guī)定數量的像素的高通濾波，生成垂直方向高 頻分量圖像Dlv。在水平方向高頻分量圖像Dlh中包含輸入圖像Din的水平方向的高頻分量，在垂 直方向高頻分量圖像Dlv中包含輸入圖像Din的垂直方向的高頻分量。作為由水平方向高頻分量圖像生成單元Ih進行的施加高通濾波的處理，例如能 夠進行如下處理從針對該單元Ih的輸入信號中減去其水平方向的低頻分量(或者由針對 各像素在水平方向排列的規(guī)定數量的像素構成的局部區(qū)域中的像素值的簡單平均值或加 權平均值)，從而取出高頻分量。同樣，作為由垂直方向高頻分量圖像生成單元Iv進行的施加高通濾波的處理，例 如能夠進行如下處理從針對該單元Iv的輸入信號中減去其垂直方向的低頻分量(或者由 針對各像素在垂直方向排列的規(guī)定數量的像素構成的局部區(qū)域中的像素值的簡單平均值 或加權平均值)，從而取出高頻分量。接著，說明圖像放大單元2Bh和2Bv的動作。圖像放大單元2Bh生成在水平方向、 垂直方向均將水平方向高頻分量圖像Dlh放大2倍得到的放大圖像D2Bh，圖像放大單元 2Bv生成在水平方向、垂直方向均將垂直方向高頻分量圖像Dlv放大2倍得到的放大圖像 D2Bv。圖像放大單元2Bh和圖像放大單元2Bv能夠分別與參照圖5說明的圖像放大單元 2A同樣構成。因此，由圖像放大單元2Bh和圖像放大單元2Bv構成的圖像放大單元2B能夠 如圖6所示。圖像放大單元2Bh的輸入為水平方向高頻分量圖像Dlh，輸出為放大圖像D2Bh。圖 像放大單元2Bv的輸入為垂直方向高頻分量圖像Dlv，輸出為放大圖像D2Bv。圖像放大單元2Bh具有零插入單元21Bh和低頻分量通過單元22Bh，圖像放大單元 2Bv具有零插入單元21Bv和低頻分量通過單元22Bv。零插入單元21Bh和零插入單元21Bv分別與圖5的零插入單元21A相同，低頻分 量通過單元22Bh和低頻分量通過單元22Bv分別與圖5的低頻分量通過單元22A相同。利用從零插入單元21Bh輸出的零插入圖像D21Bh和從零插入單元21Bv輸出的零 插入圖像D21Bv，構成作為零插入單元21B的輸出的零插入圖像D21B。利用從低頻分量通過單元22Bh輸出的放大圖像D2Bh和從低頻分量通過單元22Bv 輸出的放大圖像D2Bv，構成作為低頻分量通過單元22B的輸出的放大圖像D2B。接著，說明高頻分量通過單元32A的動作。高頻分量通過單元32A具有水平方向 高頻分量通過單元32Ah、垂直方向高頻分量通過單元32Av、以及加法單元6A。
水平方向高頻分量通過單元32Ah對放大圖像D2Bh施加水平方向的高通濾波，生 成中間圖像D32Ah。另一方面，垂直方向高頻分量通過單元32Av對放大圖像D2Bv施加垂直方向的高 通濾波，生成中間圖像D32Av。然后，加法單元6A對中間圖像D32Ah和中間圖像D32Av進行相加，由此生成中間 圖像D32A。從高頻分量通過單元32A輸出這樣生成的中間圖像D32A。由水平方向高頻分量通過單元32Ah進行的施加高通濾波的處理能夠與水平方向 高頻分量圖像生成單元Ih中的處理同樣進行，由垂直方向高頻分量通過單元32Av進行的 施加高通濾波的處理能夠與垂直方向高頻分量圖像生成單元Iv中的處理同樣進行。S卩，作為由水平方向高頻分量通過單元32Ah進行的施加高通濾波的處理，與水平 方向高頻分量圖像生成單元Ih中的處理同樣，例如能夠進行如下處理從針對該單元32Ah 的輸入信號中減去其水平方向的低頻分量(或者針對各像素的由在水平方向排列的規(guī)定 數量的像素構成的局部區(qū)域中的像素值的簡單平均值或加權平均值)，從而取出高頻分量。同樣，作為由垂直方向高頻分量通過單元32Av進行的施加高通濾波的處理，例如 能夠進行如下處理從針對該單元32Av的輸入信號中減去其垂直方向的低頻分量(或者針 對各像素的由在垂直方向排列的規(guī)定數量的像素構成的局部區(qū)域中的像素值的簡單平均 值或加權平均值)，從而取出高頻分量。接著，說明非線性處理單元31的動作。非線性處理單元31具有水平方向非線性 處理單元31h和垂直方向非線性處理單元31v。水平方向非線性處理單元31h和垂直方向 非線性處理單元31v彼此同樣構成。但是，水平方向非線性處理單元31h進行水平方向的 處理，垂直方向非線性處理單元31v進行垂直方向的處理。圖7是示出水平方向非線性處理單元31h的內部結構的圖。水平方向非線性處理 單元31h具有過零判定單元311h和信號放大單元312h。過零判定單元311h沿著水平方向確認所輸入的放大圖像D2Bh中的像素值的變 化。然后，捕捉像素值從正值變化為負值或從負值變化為正值的部位作為過零點，通過信號 D311h向信號放大單元312h傳達位于過零點前后的像素(在圖示的例子中，前一像素和后 一像素)的位置。另外，水平方向非線性處理單元31h將位于過零點左右的像素識別為位于過零點 前后的像素。信號放大單元312h根據信號D311h確定位于過零點前后的像素，生成僅針對位于 過零點前后的像素放大其像素值(增大絕對值)得到的非線性處理圖像D31h。S卩，設針對 位于過零點前后的像素的像素值的放大率為大于1的值，設針對除此之外的像素的像素值 的放大率為1。通過這種處理，對包括在水平方向排列的像素的信號值呈階躍狀變化的邊緣進行 銳化。圖8是示出垂直方向非線性處理單元31v的內部結構的圖。垂直方向非線性處理 單元31v具有過零判定單元311v和信號放大單元312v。過零判定單元311v沿著垂直方向確認所輸入的放大圖像D2Bv中的像素值的變 化。然后，捕捉像素值從正值變化為負值或從負值變化為正值的部位作為過零點，通過信號D311v向信號放大單元312v傳達位于過零點前后的像素(在圖示的例子中，前一像素和后 一像素)的位置。另外，在垂直方向非線性處理單元31v中，將位于過零點上下的像素識別為位于 過零點前后的像素。信號放大單元312v根據信號D311v確定位于過零點前后的像素，生成僅針對位于 過零點前后的像素放大其像素值(增大絕對值)得到的非線性處理圖像D31v。S卩，設針對 位于過零點前后的像素的像素值的放大率為大于1的值，設針對除此之外的像素的像素值 的放大率為1。通過這種處理，對包含在垂直方向排列的像素的信號值呈階躍狀變化的邊緣進行 銳化。接著，說明高頻分量通過單元32B的動作。高頻分量通過單元32B具有水平方向 高頻分量通過單元32Bh、垂直方向高頻分量通過單元32Bv、以及加法單元6B。水平方向高頻分量通過單元32Bh對非線性處理圖像D31h施加水平方向的高通濾 波，生成中間圖像D32Bh。另一方面，垂直方向高頻分量通過單元32Bv對非線性處理圖像 D31v施加垂直方向的高通濾波，生成中間圖像D32Bv。然后，加法單元6B對中間圖像D32Bh 和中間圖像D32Bv進行相加，由此生成中間圖像D32B。從高頻分量通過單元32B輸出這樣 生成的中間圖像D32B。由水平方向高頻分量通過單元32Bh進行的施加高通濾波的處理能夠與水平方向 高頻分量圖像生成單元Ih中的處理同樣進行，由垂直方向高頻分量通過單元32Bv進行的 施加高通濾波的處理能夠與垂直方向高頻分量圖像生成單元Iv中的處理同樣進行。S卩，作為由水平方向高頻分量通過單元32Bh進行的施加高通濾波的處理，例如能 夠進行如下處理從針對該單元32Bh的輸入信號中減去其水平方向的低頻分量(或者針對 各像素的由在水平方向排列的規(guī)定數量的像素構成的局部區(qū)域中的像素值的簡單平均值 或加權平均值)，從而取出高頻分量。同樣，作為由垂直方向高頻分量通過單元32Bv進行的施加高通濾波的處理，例如 能夠進行如下處理從針對該單元32Bv的輸入信號中減去其垂直方向的低頻分量(或者針 對各像素的由在垂直方向排列的規(guī)定數量的像素構成的局部區(qū)域中的像素值的簡單平均 值或加權平均值)，從而取出高頻分量。接著，說明加法單元5的動作。加法單元5將對中間圖像D32A和中間圖像D32B 進行相加得到的結果作為高頻分量圖像D3輸出。最后，說明加法單元4的動作。加法單元4對放大圖像D2A和高頻分量圖像D3進 行相加。然后，將在加法單元4中對放大圖像D2A和高頻分量圖像D3進行相加的結果所得 到的圖像作為最終的放大圖像Dout，從圖像處理裝置輸出。另外，加法單元4中的加法處理不限于簡單相加，也可以是賦予不同權重對放大 圖像D2A和高頻分量圖像D3進行相加的處理。這一點對高頻分量圖像處理單元3內的加 法單元5也同樣。下面，說明本發(fā)明的圖像處理裝置的作用、效果。在本發(fā)明的圖像處理裝置中，對放大圖像D2A和高頻分量圖像D3進行相加，生成 最終的放大圖像(輸出圖像)Dout。放大圖像D2A包含相當于低于輸入圖像Din的奈圭斯特頻率Fn的頻率的頻率分量，高頻分量圖像D3包含相當于輸入圖像Din的奈圭斯特頻率 Fn以上的頻率的頻率分量。因此，對放大圖像D2A和高頻分量圖像D3進行相加而生成的放 大圖像Dout在直到圖像放大后的奈圭斯特頻率的整個頻率區(qū)域中具有頻率分量。首先，說明放大圖像D2A具有相當于低于輸入圖像Din的奈圭斯特頻率Fn的頻率 的頻率分量的情況。圖9(a) (d)是示意地示出根據輸入圖像Din生成放大圖像D2A時的作用的圖， 圖9 (a)示出輸入圖像Din的頻譜，圖9(b)示出零插入圖像D21A的頻譜，圖9 (c)示出低頻 分量通過單元22A的頻率響應，圖9(d)示出放大圖像D2A的頻譜。說明輸入圖像Din的頻譜。通常從輸入圖像Din輸入自然圖像等，但是，這些圖像 的頻譜強度集中于頻率空間的原點周圍。因此，輸入圖像Din的頻譜能夠如圖9(a)那樣表 示。這里，圖9(a)的縱軸表示譜強度，橫軸表示空間頻率，Fn表示輸入圖像Din的奈圭斯 特頻率。另外，通常輸入圖像Din為二維圖像，所以，其頻譜也用二維頻率空間表示，但是， 其形狀為圖9(a)所示的頻譜以原點為中心各向同性地擴展。因此，為了對頻譜進行說明， 最低限度只要示出一維形狀即可，此后只要沒有特別說明，僅示出一維來說明頻率空間的 形狀。接著，說明零插入圖像D21A的頻譜。針對輸入圖像Din，利用零插入單元21A針對 (輸入圖像Din的)1個像素插入1個具有像素值0的像素，由此，在頻率空間上，產生以頻 率Fn為中心的折回。其結果，零插入圖像D21A的頻譜如圖9(b)所示。接著，說明低頻分量通過單元22k的頻率響應。如上所述，低頻分量通過單元22k 中的運算為低通濾波，所以，如圖9(c)所示，頻率越高，低頻分量通過單元22A的頻率響應 越低。最后，說明放大圖像D2A的頻譜。具有圖9(b)所示的頻譜的零插入圖像D21A通 過具有圖9(c)所示的頻率響應的低頻分量通過單元22A，由此生成放大圖像D2A。因此，放 大圖像D2A的頻譜為，從D21A的頻譜中去除斜線所示的高頻側區(qū)域R2AH的頻譜。因此，放大圖像D2A主要具有相當于頻率低于輸入圖像Din的奈圭斯特頻率Fn的
頻率分量。接著，說明高頻分量圖像D3主要具有相當于輸入圖像Din的奈圭斯特頻率Fn以 上的頻率的頻率分量的情況。高頻分量圖像D3是對中間圖像D32A和中間圖像D32B進行 相加而得到的，但是，中間圖像D32A特別具有相當于接近輸入圖像Din的奈圭斯特頻率Fn 的頻率的頻率分量，中間圖像D32B特別具有相當于高于輸入圖像Din的奈圭斯特頻率Fn 的頻率的頻率分量，在高頻分量圖像D3中，對中間圖像D32A、D32B所具有的頻率分量進行 相加，所以，具有輸入圖像Din的奈圭斯特頻率Fn以上的頻率分量。首先，說明中間圖像D32A的頻譜。圖10(a) (f)是示意地示出生成中間圖像D32A時的作用的圖，圖10(a)示出高 頻分量圖像生成單元1的頻率響應，圖10(b)示出高頻分量圖像Dl (或者Dlh或Dlv)的頻 譜，圖10(c)示出由放大單元2B內的零插入單元21B生成的零插入圖像D21B (或者D21Bh 或D21Bv)的頻譜，圖10(d)示出放大圖像D2B (或者D2Bh或D2Bv)的頻譜，圖10(e)示出 高頻分量通過單元32A(或32Ah或32Av)的頻率響應，圖10(f)示出從高頻分量通過單元32A輸出的中間圖像D32A(或者D32Ah或D32Av)的頻譜。首先，說明高頻分量圖像生成單元1的頻率響應和高頻分量圖像Dl的頻譜。高頻 分量圖像生成單元1使用高通濾波器生成高頻分量圖像D1，所以，如圖10(a)所示，頻率越 高，高頻分量圖像生成單元1的頻率響應越高。具有圖9(a)所示的頻譜的輸入圖像Din通 過具有圖10(a)所示的頻率響應的高通濾波器，由此得到高頻分量圖像D1，所以，高頻分量 圖像Dl的頻譜如圖10(b)所示，在頻率低的區(qū)域中減小，僅在頻率高的區(qū)域中具有某種程 度的強度。接著，說明放大單元2B內的零插入圖像D21B的頻譜。與之前說明圖像放大單元 2A的零插入單元21A的情況同樣，通過零插入單元21B產生折回，所以，放大單元2B內的零 插入圖像D21B的頻譜如圖10(c)所示。接著，說明放大圖像D2B的頻譜。生成放大圖像D2B時，通過低頻分量通過單元22B 去除零插入圖像D21B的高頻分量側的頻譜，所以，放大圖像D2B的頻譜如圖10(d)所示，去 除了高頻側區(qū)域R32AH。最后，說明高頻分量通過單元32A的頻率響應和中間圖像D32A的頻譜。高頻分量 通過單元32A為高通濾波器，所以，如圖10(e)所示，頻率越高，其頻率響應越高。具有圖 10(d)所示的頻譜的放大圖像D2B通過具有圖10(e)所示的頻率響應的高通濾波器，由此生 成中間圖像D32A。因此，中間圖像D32A的頻譜如圖10(f)所示，從圖10(d)所示的放大圖 像D2B的頻譜中進一步去除低頻側區(qū)域R32AL。因此，中間圖像D32A主要具有相當于接近輸入圖像Din的奈圭斯特頻率Fn的頻
率的頻率分量。接著，說明中間圖像D32B的頻譜。圖11(a) (c)是示意地示出生成中間圖像D32B時的作用的圖，圖11(a)示出由 非線性處理單元31(或者31h或31v)生成高頻分量的狀況，圖11(b)示出高頻分量通過單 元32B的頻率響應，圖11 (c)示出中間圖像D32B的頻譜。如后所述，在非線性處理圖像D31中生成相當于高于輸入圖像Din的奈圭斯特頻 率Fn的頻率的高頻分量。圖11(a)是示意地示出該狀況的圖。非線性處理圖像D31通過 高頻分量通過單元32B，由此生成中間圖像D32B。高頻分量通過單元32B為高通濾波器，如 圖11(b)所示，頻率越高，其頻率響應越高。因此，中間圖像D32B的頻譜如圖11(c)所示， 從非線性處理圖像D31的頻譜中去除低頻側區(qū)域R32BL，所以，相當于高于輸入圖像Din的 奈圭斯特頻率Fn的頻率。使用圖12(a) (e)、圖13(a) (f)更加詳細地說明中間圖像D32B的頻譜。圖12(a) (e)示出表示亮度、彩度等分量值呈階躍狀變化的圖像(階躍圖像) 的階躍邊緣信號、以及利用相互不同的采樣頻率對該階躍邊緣信號進行采樣時得到的信號 及其高頻分量信號。圖12(a)示出階躍邊緣信號。圖12(b)示出以采樣間隔Sl對階躍邊緣信號進行采樣所得到的信號，圖12(c)示 出以間隔Sl對階躍邊緣信號進行采樣所得到的信號的高頻分量，圖12 (d)示出以采樣間隔 S2對階躍邊緣信號進行采樣所得到的信號，圖12(e)示出以間隔S2對階躍邊緣信號進行采 樣所得到的信號的高頻分量。另外，采樣間隔Sl比采樣間隔S2短，縮短采樣間隔等同于放大圖像。
如圖12(b)、(c)和圖12(d)、(e)所示，邊緣的中央在高頻分量信號(圖12(c)、 (e))中表現為過零點Z。并且，對圖12(b)、(c)和圖12(d)、(e)進行比較可知，隨著采樣 間隔的縮短(或者與圖像的放大相應地)，過零點Z前后的高頻分量信號的傾斜度變陡，并 且，在過零點Z附近，高頻分量的局部最大值、最小值的點的位置也接近過零點Z。因此，在放大圖像時，取出輸入圖像Din的高頻分量，在過零點附近使該變化急 峻，并且，在過零點附近，使局部最大值、最小值的點接近過零點，由此，生成輸入圖像Din 的析像度所不包含(或者高于輸入圖像Din的奈圭斯特頻率)的高頻分量，由此，能夠實現 邊緣銳化。圖13(a) (f)是示意地示出高頻分量圖像生成單元1、圖像放大單元2B、非線性 處理單元31和高頻分量通過單元32B進行的高頻分量生成的順序的圖，圖13(a)示出亮 度、彩度等分量值呈階躍狀變化的圖像(階躍圖像)，圖13(b)示出與階躍圖像對應的輸入 圖像Din，圖13(c)示出高頻分量圖像D1，圖13(d)示出放大圖像D2B，圖13 (e)示出非線性 處理圖像D31，圖13(f)示出中間圖像D32B。另外，為了簡化說明，分別記載為一維信號。與階躍圖像對應的輸入圖像Din、高頻分量圖像Dl如圖12(a) (e)說明的那樣， 省略其說明，首先進行放大圖像Dl的說明。針對高頻分量圖像D1，利用零插入單元21B針對(圖像Dl的)1個像素插入一個 具有像素值0的像素后，利用低頻分量通過單元22B取出其低頻分量，由此，得到放大圖像 Dl (或者Dlh或Dlv)。取出低頻分量等同于針對高頻分量圖像Dl (圖13 (c))求出局部區(qū) 域中的平均像素值，放大圖像D2B (或者D2Bh或D2Bv)如圖13(d)所示，是采用與高頻分量 圖像Dl大致相同形式的增加了采樣數的信號。接著，進行非線性處理圖像D31的說明。作為非線性處理單元31檢測放大圖像Dl 中的過零點Z、并對該過零點Z前后的像素的像素值進行放大的結果，輸出非線性處理圖像 D31。因此，非線性處理圖像D31(或者D31h或D31v)為圖13(e)所示的信號。最后，進行中間圖像D32B的說明。中間圖像D32B(圖13(f))是利用高頻分量通 過單元32B取出非線性處理圖像D31(圖13(e))所具有的高頻分量而得到的。從輸入信號 中減去輸入信號的低頻分量(或者局部區(qū)域中的像素值的簡單平均值或加權平均值)，由 此，能夠取出高頻分量。在非線性處理圖像D31(圖13(e))中，利用信號放大單元312h、312v對過零點Z前 后的像素的像素值進行放大，所以，與局部區(qū)域中的平均像素值之間的差變大。另一方面， 不放大過零點附近的其他像素的像素值，所以，對于過零點附近的其他像素的像素值，成為 與局部區(qū)域中的平均像素值之間的差較小的值。因此，與放大圖像D2B(圖13(d))相比，在 中間圖像D32B(圖13(f))中，過零點Z附近的示出局部最大值、最小值的點更接近過零點 Z。并且，隨著示出局部最大值、最小值的點接近過零點Z，相應地過零點附近的信號的變化 也變得急劇。如之前說明的那樣，這意味著在中間圖像D32B中包含輸入圖像Din的析像度所不 包含的高頻分量。換言之，在非線性處理單元31中，對放大圖像D2B的過零點前后的像素 值進行放大，由此，生成與高于輸入圖像Din的奈圭斯特頻率Fn的頻率對應的高頻分量。并且，利用高頻分量通過單元32B取出在非線性處理單元31中生成的高頻分量， 由此生成中間圖像D32B，所以，成為具有與高于輸入圖像Din的奈圭斯特頻率Fn的頻率對應的高頻分量的圖像。高頻分量圖像D3是對中間圖像D32A和中間圖像D32B進行相加而得到的，所以， 在高頻分量圖像D3中包含中間圖像D32A所具有的頻率分量和中間圖像D32B所具有的頻 率分量雙方。在中間圖像D32A中包含相當于接近輸入圖像Din的奈圭斯特頻率Fn的頻率 的頻率分量，在中間圖像D32B中包含相當于高于輸入圖像Din的奈圭斯特頻率Fn的頻率 的頻率分量，所以，在高頻分量圖像D3中包含輸入圖像Din的奈圭斯特頻率Fn以上的頻率 分量。即，利用圖像放大單元2B對由高頻分量圖像生成單元1生成的高頻分量圖像Dl進 行放大，進而利用高頻分量圖像處理單元3進行處理，由此，能夠得到具有輸入圖像Din的 奈圭斯特頻率Fn以上的頻率分量的高頻分量圖像D3。合并放大圖像D2A、高頻分量圖像D3所具有的頻率分量進行圖示時，如圖14所示。 在放大圖像D2A中主要包含與相當于低于輸入圖像Din的奈圭斯特頻率Fn的頻率的區(qū)域 RL對應的頻率分量。另一方面，在高頻分量圖像D3中包含與相當于接近輸入圖像Din的奈 圭斯特頻率Fn的頻率的區(qū)域RM對應的頻率分量以及與相當于高于輸入圖像Din的奈圭斯 特頻率Fn的頻率的區(qū)域RH對應的頻率分量，換言之，包含相當于輸入圖像Din的奈圭斯特 頻率Fn以上的頻率的頻率分量。如以上說明的那樣，利用高頻分量圖像處理單元3，對利用圖像放大單元2B對由 高頻分量圖像生成單元1生成的高頻分量圖像Dl進行放大后的放大圖像D2B進行處理，由 此，能夠得到包含相當于輸入圖像Din的奈圭斯特頻率Fn以上的頻率的頻率分量的高頻分 量圖像D3。然后，在加法單元4中，對包含相當于低于輸入圖像Din的奈圭斯特頻率Fn的 頻率的區(qū)域的頻率分量的放大圖像D2A、和包含相當于輸入圖像Din的奈圭斯特頻率Fn以 上的頻率的區(qū)域的頻率分量的高頻分量圖像D3進行相加，生成放大圖像Dout，所以，能夠 對放大圖像Dout充分賦予高頻分量，能夠得到具有清晰感的放大圖像Dout。并且，在高頻分量圖像生成單元1中，生成取出水平方向的高頻分量得到的水平 方向高頻分量圖像Dlh和取出垂直方向的高頻分量得到的垂直方向高頻分量圖像Dlv，由 此，針對圖像的水平方向、垂直方向中的任意方向，能夠生成相當于輸入圖像Din的奈圭斯 特頻率Fn以上的頻率的頻率分量。即，針對利用圖像放大單元2Bh對水平方向高頻分量圖 像Dlh進行放大得到的放大圖像D2Bh，利用水平方向高頻分量通過單元32Ah施加水平方向 的高通濾波，由此，關于水平方向，生成具有相當于接近輸入圖像Din的奈圭斯特頻率Fn的 頻率的頻率分量的中間圖像D32Ah，針對利用圖像放大單元2Bv對垂直方向高頻分量圖像 Dlv進行放大得到的放大圖像D2Bv，利用垂直方向高頻分量通過單元32Av施加垂直方向的 高通濾波，由此，關于垂直方向，生成具有相當于接近輸入圖像Din的奈圭斯特頻率Fn的頻 率的頻率分量的中間圖像D32Av，利用加法單元6A對中間圖像D32Ah和中間圖像D32Av進 行相加，生成中間圖像D32A，由此，針對水平方向和垂直方向的兩個方向，生成具有相當于 接近輸入圖像Din的奈圭斯特頻率Fn的頻率的頻率分量的中間圖像D32A。并且，針對水平方向和垂直方向施加不同特性的高通濾波，由此，能夠生成在水平 方向和垂直方向中包含不同程度的相當于接近奈圭斯特頻率Fn的頻率的頻率分量的中間 圖像。并且，針對利用水平方向非線性處理單元31h對放大圖像D2Bh進行非線性處理而 生成的非線性處理圖像D31h，利用水平方向高頻分量通過單元32Bh施加高通濾波，由此，關于水平方向，生成具有相當于高于輸入圖像Din的奈圭斯特頻率Fn的頻率的頻率分量 的中間圖像D32Bh，針對利用垂直方向非線性處理單元31v對放大圖像D2Bv進行非線性處 理而生成的非線性處理圖像D31v，利用垂直方向高頻分量通過單元32Bv施加高通濾波，由 此，關于垂直方向，生成具有相當于高于輸入圖像Din的奈圭斯特頻率Fn的頻率的頻率分 量的中間圖像D32Bv，利用加法單元6B對中間圖像D32Bh和中間圖像D32Bv進行相加，生成 中間圖像D32B，由此，針對水平方向和垂直方向的兩個方向，生成具有相當于高于輸入圖像 Din的奈圭斯特頻率Fn的頻率的頻率分量的中間圖像D32B。并且，針對水平方向和垂直方向進行不同特性的非線性處理和高通濾波，由此，能 夠生成在水平方向和垂直方向中包含不同程度的相當于高于奈圭斯特頻率Fn的頻率的頻 率分量的中間圖像。然后，利用加法單元5對中間圖像D32A和中間圖像D32B進行相加，得到高頻分量 圖像D3，由此，針對任意方向，能夠得到具有相當于輸入圖像Din的奈圭斯特頻率Fn以上的 頻率的頻率分量的高頻分量圖像D3。另外，設為根據輸入圖像Din生成放大圖像Dout時的放大率在水平方向、垂直方 向均為2倍來進行了說明，但是，放大率不限于2倍。即，在圖像放大單元2A中生成使輸入 圖像Din在水平方向、垂直方向均放大期望倍率的放大圖像D2A，在高頻分量圖像生成單元 1中，根據輸入圖像Din生成高頻分量圖像Dl，在圖像放大單元2B中，生成使高頻分量圖像 Dl在水平方向、垂直方向均放大期望倍率的放大圖像D2B，在高頻分量圖像處理單元3中， 根據放大圖像D2B生成高頻分量圖像D3，在加法單元4中，對放大圖像D2A和高頻分量圖像 D3進行相加，生成最終的放大圖像Dout即可。另外，如上所述，水平方向的放大率和垂直方向的放大率也可以不同，并且，也可 以僅針對水平方向、垂直方向的一方進行放大。并且，在圖2所示的例子中，高頻分量圖像生成單元1具有水平方向高頻分量圖 像生成單元Ih和垂直方向高頻分量圖像生成單元lv，圖像放大單元2B具有圖像放大單元 2Bh和圖像放大單元2Bv，高頻分量通過單元32A具有水平方向高頻分量通過單元32Ah和 垂直方向高頻分量通過單元32Av，非線性處理單元31具有水平方向非線性處理單元31h 和垂直方向非線性處理單元31v，高頻分量通過單元32B具有水平方向高頻分量通過單元 32Bh和垂直方向高頻分量通過單元32Bv，但是，代替這種結構，也可以為如下結構高頻分 量圖像生成單元1僅具有水平方向高頻分量圖像生成單元lh，圖像放大單元2B僅具有圖像 放大單元2Bh，高頻分量通過單元32A僅具有水平方向高頻分量通過單元32Ah，非線性處理 單元31僅具有水平方向非線性處理單元31h，高頻分量通過單元32B僅具有水平方向高頻 分量通過單元32Bh，還可以為如下結構高頻分量圖像生成單元1僅具有垂直方向高頻分 量圖像生成單元lv，圖像放大單元2B僅具有圖像放大單元2Bv，高頻分量通過單元32A僅 具有垂直方向高頻分量通過單元32Av，非線性處理單元31僅具有垂直方向非線性處理單 元31v，高頻分量通過單元32B僅具有垂直方向高頻分量通過單元32Bv。并且，在上述說明中，在水平方向、垂直方向中均僅針對過零點前后的各1個像素 增大放大率，但是，放大率的控制例子不限于此，例如，能夠根據放大率而適當變化。下面， 參照圖15(a) (e)和圖16(a) (f)說明這點。圖15(a)示出階躍邊緣信號，圖15 (b)示出以采樣間隔Sl對階躍邊緣信號進行采樣所得到的信號，圖15(c)示出以采樣間隔Sl對階躍邊緣信號進行采樣所得到的信號(圖 15(b)所示的信號)的高頻分量，圖15(d)示出以間隔Sl的3倍即間隔S3對階躍邊緣信號 進行采樣所得到的信號，圖15 (e)示出以間隔S3對階躍邊緣信號進行采樣所得到的信號的 高頻分量。另外，在圖15(a) (e)中，像素的位置PL1、PR1表示階躍邊緣信號的邊界(亮 度變化開始的點和結束的點)。通常，在表示對階躍邊緣信號進行采樣的圖像的高頻分量的 信號中，過零點Z附近的示出局部最大值、最小值的像素的位置與階躍邊緣信號的邊界的 位置大致一致。圖16(a) (f)是示意地示出放大率為3倍時高頻分量圖像生成單元1、圖像放 大單元2B、非線性處理單元31和高頻分量通過單元32B進行的高頻分量生成的順序的圖， 圖16(a)示出亮度、彩度等分量值呈階躍狀變化的圖像(階躍圖像)，圖16(b)示出與階躍 圖像對應的輸入圖像Din，圖16(c)示出高頻分量圖像D1，圖16(d)示出放大圖像D2B，圖 16(e)示出非線性處理圖像D31，圖16(f)示出中間圖像D32B。另外，為了簡化說明，分別記 載為一維信號。如圖16(d)所示，放大圖像D2B中過零點Z附近的示出局部最大值、最小值的像 素的位置PL1、PRl與放大圖像D2B中階躍邊緣信號的邊界的位置大致一致。通常，在實施 方式1和2的說明中使用的放大方法(針對零插入圖像施加低通濾波的放大方法)中，該 PLUPRl的位置不變化，在由PL1、PR1所示的位置和過零點Z之間存在的像素的數量增多。 并且，如果增大生成放大圖像D2B時的放大率(或者如果縮短采樣間隔)，則在由PL1、PRl 所示的位置和過零點Z之間存在的像素的數量增多。另一方面，在表示利用較短的采樣間隔對階躍邊緣信號進行采樣的圖像的高頻分 量的信號中，過零點Z附近的示出局部最大值、最小值的像素的位置更接近過零點Z，越是 接近過零點Z的像素，表示高頻分量的信號的振幅越大。因此，在僅放大過零點Z前后的信號來生成非線性處理圖像D31時，優(yōu)選進行如下 處理越是相比PLl和PRl接近過零點Z的像素，振幅越增大，例如，在相比PL1、PR1接近過 零點Z的像素中，針對越接近過零點Z的像素，用越大的放大率對放大圖像D2B的像素值進 行放大，針對相比PL1、PR1遠離過零點Z的像素，用放大率1對放大圖像D2B的像素值進行 放大，由此，能夠生成圖16 (e)所示的越接近過零點Z的像素越具有較大振幅的非線性處理 圖像D31。但是，本發(fā)明不限于此，針對存在于包含過零點Z的規(guī)定區(qū)域內的像素的放大率 也可以是大于1的一定的值。然后，通過高通濾波處理從這樣生成的放大圖像D2B中僅取出高頻分量，由此，能 夠生成圖16(f)所示的與采樣間隔Sl對應的中間圖像D32B?？傊O針對存在于包含過零點Z的規(guī)定區(qū)域內的像素的放大率為大于1的值，設 針對除此之外的像素的像素值的放大率為1即可，存在于位置PL1、PRl和過零點Z之間的 像素的數量根據放大圖像D2B生成時的放大率而不同，所以，在根據放大圖像D2B生成非線 性處理圖像D31時，在過零點Z前后，可以根據圖像的放大率來改變放大率大于1的像素的 數量(存在于上述規(guī)定區(qū)域內的像素的數量)和/或放大率本身。并且，也可以根據與過 零點Z之間的距離來改變針對這些像素的放大率。例如，越是接近過零點Z的像素，越增大 放大率。另外，在水平方向非線性處理單元31h和垂直方向非線性處理單元31v中，上述區(qū) 域的大小和放大率也可以不同。
實施方式2在實施方式1中，說明了通過硬件來實現本發(fā)明的情況，但是，也可以通過軟件來 實現圖1所示的結構的一部分或全部。參照圖17、圖18 圖23來說明該情況下的處理。圖17示出實施方式2的圖像處理裝置。圖示的圖像處理裝置具有CPU 11、程序 存儲器12、數據存儲器13、接口 15、以及連接這些部件的總線14，例如能夠用作圖24所示 的圖像顯示裝置內的圖像處理部Ul。CPU 11根據存儲在程序存儲器12中的程序進行動作。在動作的過程中，在數據存 儲器13中存儲各種數據。作為處理的結果所生成的放大圖像Dout經由接口 15提供給圖 24所示的圖像顯示裝置內的顯示部9，用于顯示部9的顯示。下面，參照圖18 圖23說明由CPU 11進行的處理。圖18是示出由圖17的圖像處理裝置實施的圖像處理方法的流程的圖，圖18所 示的圖像處理方法具有圖像放大步驟ST2A、高頻分量圖像生成步驟ST1、圖像放大步驟 ST2B、高頻分量圖像處理步驟ST3、以及加法步驟ST4。圖像放大步驟ST2A生成放大圖像D2A，該放大圖像D2A是利用與圖1、圖2、圖3的 圖像放大單元2A相同的處理對在未圖示的圖像輸入步驟中輸入的輸入圖像Din進行放大 而得到的。如圖19所示，高頻分量圖像生成步驟STl具有水平方向高頻分量圖像生成步驟 STlh和垂直方向高頻分量圖像生成步驟STlv。在水平方向高頻分量圖像生成步驟STlh中， 針對輸入圖像Din進行與圖3的水平方向高頻分量圖像生成單元Ih相同的處理，生成水平 方向高頻分量圖像Dlh。另一方面，在垂直方向高頻分量圖像生成步驟STlv中，針對輸入圖 像Din進行與圖3的垂直方向高頻分量圖像生成單元Iv相同的處理，生成垂直方向高頻分 量圖像Dlv。如圖20所示，圖像放大步驟ST2B具有圖像放大步驟ST2Bh和圖像放大步驟 ST2Bv。在圖像放大步驟ST2Bh中，針對在水平方向高頻分量圖像生成步驟STlh中生成 的水平方向高頻分量圖像Dlh，進行與圖3的圖像放大單元2Bh相同的處理，生成放大圖像 D2Bh。在圖像放大步驟ST2Bv中，針對在垂直方向高頻分量圖像生成步驟STlv中生成 的垂直方向高頻分量圖像Dlv，進行與圖3的圖像放大單元2Bv相同的處理，生成放大圖像 D2Bv。如圖21所示，高頻分量圖像處理步驟ST3具有高頻分量通過步驟ST32A、非線性 處理步驟ST31、高頻分量通過步驟ST32B、以及加法步驟ST5。高頻分量通過步驟ST32A具有水平方向高頻分量通過步驟ST32Ah、垂直方向高頻 分量通過步驟ST32Av、以及加法步驟ST6A。非線性處理步驟ST31具有水平方向非線性處理步驟ST31h和垂直方向非線性處 理步驟ST31v。高頻分量通過步驟ST32B具有水平方向高頻分量通過步驟ST32Bh、垂直方向高頻 分量通過步驟ST32Bv、以及加法步驟ST6B。在水平方向高頻分量通過步驟ST32Ah中，針對在圖像放大步驟ST2Bh中生成的放大圖像D2Bh，進行與圖3的水平方向高頻分量通過單元32Ah相同的處理，生成中間圖 像D32Ah。在垂直方向高頻分量通過步驟ST32Av中，針對在圖像放大步驟ST2Bv中生成的 放大圖像D2Bv，進行與圖3的垂直方向高頻分量通過單元32Av相同的處理，生成中間圖像 D32Av。在加法步驟ST6A中，對在水平方向高頻分量通過步驟ST32Ah中生成的中間圖像 D32Ah和在垂直方向高頻分量通過步驟ST32Av中生成的中間圖像D32Av進行相加，生成中 間圖像D32A。這樣，在高頻分量通過步驟ST32A中，進行與圖2、圖3的高頻分量通過單元32A相 同的動作。如圖22所示，水平方向非線性處理步驟ST31h具有過零判定步驟ST311h和信號 放大步驟ST312h。水平方向非線性處理步驟ST31h的動作如下所述。首先，在過零判定步驟ST311h中，沿著水平方向確認在圖像放大步驟ST2Bh中生 成的放大圖像D2Bh中的像素值的變化。然后，捕捉像素值從正值變化為負值或從負值變化 為正值的部位作為過零點，確定位于過零點左右的像素。在信號放大步驟ST312h中，對在 過零判定步驟ST311h中確定的放大圖像D2Bh中的位于過零點左右的像素的像素值進行放 大，將作為其結果所得到的圖像作為非線性處理圖像D31h生成。如圖23所示，垂直方向非線性處理步驟ST31v具有過零判定步驟ST311v和信號 放大步驟ST312v。垂直方向非線性處理步驟ST31v的動作如下所述。首先，在過零判定步驟ST311v中，沿著垂直方向確認在圖像放大步驟ST2Bv中生 成的放大圖像D2Bv中的像素值的變化。然后，捕捉像素值從正值變化為負值或從負值變化 為正值的部位作為過零點，確定位于過零點上下的像素。在信號放大步驟ST312V中，對在 過零判定步驟ST311V中確定的在放大圖像D2Bv中位于過零點上下的像素的像素值進行放 大，將作為其結果所得到的圖像作為非線性處理圖像D31v生成。這樣，在非線性處理步驟ST31中，進行與圖2、圖3的非線性處理單元31相同的動作。圖21的水平方向高頻分量通過步驟ST32Bh對在水平方向非線性處理步驟ST31h 中生成的非線性處理圖像D31h施加高通濾波，生成中間圖像D32Bh。垂直方向高頻分量通 過步驟ST32Bv對在垂直方向非線性處理步驟ST31v中生成的非線性處理圖像D31v施加高 通濾波，生成中間圖像D32Bv。加法步驟ST6B對中間圖像D32Bh和中間圖像D32Bv進行相 加，生成中間圖像D32B。S卩，在高頻分量通過步驟ST32B中，進行與圖2、圖3的高頻分量通 過單元32B相同的動作。加法步驟ST5對在高頻分量通過步驟ST32A中生成的中間圖像D32A和在高頻分 量通過步驟ST32B中生成的中間圖像D32B進行相加，得到高頻分量圖像D3。這樣，在步驟 ST5中，進行與圖2、圖3的加法單元5相同的動作。如上所述，在高頻分量圖像處理步驟ST3中，進行與圖1、圖2、圖3的高頻分量圖 像處理單元3相同的動作。加法步驟ST4生成對在圖像放大步驟ST2A中生成的放大圖像D2A和在高頻分量 圖像處理步驟ST3中生成的高頻分量圖像D3進行相加后得到的圖像Dout。然后，通過未圖示的步驟，將所生成的圖像Dout作為最終的放大圖像輸出。在以上說明的實施方式2中，能夠利用與在實施方式1中說明的圖像處理裝置相 同的處理對圖像進行放大，所以，能夠得到與在實施方式1中說明的圖像處理裝置相同的 效果。并且，實施方式2的圖像處理裝置與在實施方式1中說明的圖像處理裝置同樣，能 夠用作圖像顯示裝置的一部分，所以，顯示由實施方式2的圖像處理裝置生成的圖像Dout 的圖像顯示裝置也能夠得到與在實施方式1中說明的圖像處理裝置相同的效果。另外，使 用實施方式1和實施方式2的圖像處理裝置實施的圖像處理方法以及使用該裝置的圖像顯 示方法也能夠得到同樣的效果。并且，在實施方式1中說明的各種變形也能夠適用于實施方式2的圖像處理裝置 和圖像處理方法。并且，使用在實施方式1或2中說明的圖像處理裝置的圖像顯示裝置的結構不限 于圖24所示的結構。
權利要求
一種圖像處理裝置，該圖像處理裝置對輸入圖像進行放大，其特征在于，該圖像處理裝置具有第1圖像放大單元，其放大所述輸入圖像，輸出第1放大圖像；高頻分量圖像生成單元，其取出所述輸入圖像的高頻分量，生成第1高頻分量圖像；第2圖像放大單元，其放大所述第1高頻分量圖像，輸出第2放大圖像；高頻分量圖像處理單元，其取出所述第2放大圖像的高頻分量，生成第2高頻分量圖像；以及對所述第1放大圖像和所述第2高頻分量圖像進行相加而生成輸出圖像的單元。
2.根據權利要求1所述的圖像處理裝置，其特征在于， 所述高頻分量圖像處理單元具有第1高頻分量通過單元，其僅取出所述第2放大圖像的高頻分量； 非線性處理單元，其通過在圖像的邊緣部分以更大的放大率進行放大的非線性處理， 對所述第2放大圖像的像素值進行處理；以及第2高頻分量通過單元，其僅取出所述非線性處理單元輸出的圖像的高頻分量。
3.根據權利要求2所述的圖像處理裝置，其特征在于，所述高頻分量圖像生成單元具有水平方向高頻分量圖像生成單元，該水平方向高頻 分量圖像生成單元針對所述輸入圖像內的各像素，使用存在于水平方向附近的像素的像素 值，生成水平方向高頻分量圖像，所述第2圖像放大單元具有第3圖像放大單元，該第3圖像放大單元放大所述水平方 向高頻分量圖像，輸出第3放大圖像，所述第1高頻分量通過單元具有第1水平方向高頻分量通過單元，該第1水平方向高 頻分量通過單元僅取出所述第3放大圖像的高頻分量，所述非線性處理單元具有水平方向非線性處理單元，該水平方向非線性處理單元通過 在如下的邊緣部分以更大的放大率進行放大的非線性處理，對所述第3放大圖像的像素值 進行處理，輸出水平方向非線性處理圖像，該邊緣部分包含在圖像的水平方向排列的像素 的信號值的階躍狀變化，所述第2高頻分量通過單元具有第2水平方向高頻分量通過單元，該第2水平方向高 頻分量通過單元僅取出所述水平方向非線性處理圖像的高頻分量。
4.根據權利要求2所述的圖像處理裝置，其特征在于，所述高頻分量圖像生成單元具有垂直方向高頻分量圖像生成單元，該垂直方向高頻 分量圖像生成單元針對所述輸入圖像內的各像素，使用存在于垂直方向附近的像素的像素 值，生成垂直方向高頻分量圖像，所述第2圖像放大單元具有第4圖像放大單元，該第4圖像放大單元放大所述垂直方 向高頻分量圖像，輸出第4放大圖像，所述第1高頻分量通過單元具有第1垂直方向高頻分量通過單元，該第1垂直方向高 頻分量通過單元僅取出所述第4放大圖像的高頻分量，所述非線性處理單元具有垂直方向非線性處理單元，該垂直方向非線性處理單元通過 在如下的邊緣部分以更大的放大率進行放大的非線性處理，對所述第4放大圖像的像素值 進行處理，輸出垂直方向非線性處理圖像，該邊緣部分包含在圖像的垂直方向排列的像素的信號值的階躍狀變化，所述第2高頻分量通過單元具有第2垂直方向高頻分量通過單元，該第2垂直方向高 頻分量通過單元僅取出所述垂直方向非線性處理圖像的高頻分量。
5.根據權利要求2所述的圖像處理裝置，其特征在于， 所述高頻分量圖像生成單元具有水平方向高頻分量圖像生成單元，其針對所述輸入圖像內的各像素，使用存在于水平 方向附近的像素的像素值，生成水平方向高頻分量圖像；以及垂直方向高頻分量圖像生成單元，其針對所述輸入圖像內的各像素，使用存在于垂直 方向附近的像素的像素值，生成垂直方向高頻分量圖像， 所述第2圖像放大單元具有第3圖像放大單元，其放大所述水平方向高頻分量圖像，輸出第3放大圖像；以及 第4圖像放大單元，其放大所述垂直方向高頻分量圖像，輸出第4放大圖像， 所述第1高頻分量通過單元具有第1水平方向高頻分量通過單元，其僅取出所述第3放大圖像的高頻分量；以及 第1垂直方向高頻分量通過單元，其僅取出所述第4放大圖像的高頻分量， 所述非線性處理單元具有水平方向非線性處理單元，其通過在如下的邊緣部分以更大的放大率進行放大的非線 性處理，對所述第3放大圖像的像素值進行處理，輸出水平方向非線性處理圖像，該邊緣部 分包含在圖像的水平方向排列的像素的信號值的階躍狀變化；以及垂直方向非線性處理單元，其通過在如下的邊緣部分以更大的放大率進行放大的非線 性處理，對所述第4放大圖像的像素值進行處理，輸出垂直方向非線性處理圖像，該邊緣部 分包含在圖像的垂直方向排列的像素的信號值的階躍狀變化， 所述第2高頻分量通過單元具有第2水平方向高頻分量通過單元，其僅取出所述水平方向非線性處理圖像的高頻分 量；以及第2垂直方向高頻分量通過單元，其僅取出所述垂直方向非線性處理圖像的高頻分量。
6.根據權利要求3 5中的任一項所述的圖像處理裝置，其特征在于， 所述水平方向非線性處理單元具有第1過零判定單元，其將所述第3放大圖像的像素值從正值變化為負值或從負值變化 為正值之處判定為過零點；以及第1信號放大單元，其按照根據所述第1過零判定單元的判定結果決定的放大率，對所 述第3放大圖像的像素值進行放大， 所述垂直方向非線性處理單元具有第2過零判定單元，其將所述第4放大圖像的像素值從正值變化為負值或從負值變化 為正值之處判定為過零點；以及第2信號放大單元，其按照根據所述第2過零判定單元的判定結果決定的放大率，對所 述第4放大圖像的像素值進行放大。
7.根據權利要求6所述的圖像處理裝置，其特征在于，所述第1信號放大單元將針對存在于第1區(qū)域內的像素的像素值的放大率設為大于1 的值，將針對除此之外的像素的像素值的放大率設為1，該第1區(qū)域包含由所述第1過零判 定單元判定的過零點，所述第2信號放大單元將針對存在于第2區(qū)域內的像素的像素值的放大率設為大于1 的值，將針對除此之外的像素的像素值的放大率設為1，該第2區(qū)域包含由所述第2過零判 定單元判定的過零點。
8.根據權利要求7所述的圖像處理裝置，其特征在于，所述第1區(qū)域和所述第2區(qū)域的至少一方根據所述第2放大單元中的放大率而變化。
9.根據權利要求7或8所述的圖像處理裝置，其特征在于，針對存在于所述第1區(qū)域的像素的放大率和針對存在于所述第2區(qū)域的像素的放大率 的至少一方根據像素而變化。
10.根據權利要求1 9中的任一項所述的圖像處理裝置，其特征在于， 所述第1圖像放大單元具有零插入單元，其輸出針對所述輸入圖像在水平方向和垂直方向的至少一方插入具有像 素值0的像素得到的圖像；以及低頻分量通過單元，其取出所述零插入單元輸出的圖像的低頻分量，輸出所述第1放 大圖像。
11.根據權利要求3 6中的任一項所述的圖像處理裝置，其特征在于， 所述第3圖像放大單元具有零插入單元，其輸出針對所述水平方向高頻分量圖像在水平方向和垂直方向的至少一 方插入具有像素值0的像素得到的圖像；以及低頻分量通過單元，其取出所述零插入單元輸出的圖像的低頻分量，輸出所述第3放 大圖像。
12.根據權利要求3 6中的任一項所述的圖像處理裝置，其特征在于， 所述第4圖像放大單元具有零插入單元，其輸出針對所述垂直方向高頻分量圖像在水平方向和垂直方向的至少一 方插入具有像素值0的像素得到的圖像；以及低頻分量通過單元，其取出所述零插入單元輸出的圖像的低頻分量，輸出所述第4放 大圖像。
13.根據權利要求3 9中的任一項所述的圖像處理裝置，其特征在于，作為僅取出所述高頻分量的處理，所述第2水平方向高頻分量通過單元針對所述水平 方向非線性處理圖像的各像素，求出各像素的像素值與存在于各像素的水平方向附近的像 素的像素值的簡單平均值或加權平均值之差，作為僅取出所述高頻分量的處理，所述第2垂直方向高頻分量通過單元針對所述垂直 方向非線性處理圖像的各像素，求出各像素的像素值與存在于各像素的垂直方向附近的像 素的像素值的簡單平均值或加權平均值之差。
14.一種圖像顯示裝置，其特征在于，該圖像顯示裝置具有權利要求1 13中的任一項 所述的圖像處理裝置。
15.一種圖像處理方法，該圖像處理方法對輸入圖像進行放大，其特征在于，該圖像處理方法包括第1圖像放大步驟，放大所述輸入圖像，輸出第1放大圖像； 高頻分量圖像生成步驟，取出所述輸入圖像的高頻分量，生成第1高頻分量圖像； 第2圖像放大步驟，放大所述第1高頻分量圖像，輸出第2放大圖像； 高頻分量圖像處理步驟，取出所述第2放大圖像的高頻分量，生成第2高頻分量圖像；以及對所述第1放大圖像和所述第2高頻分量圖像進行相加，生成輸出圖像的步驟。
16. 一種圖像顯示方法，其特征在于，該圖像顯示方法具有權利要求15所述的圖像處理方法。
全文摘要
圖像處理裝置具有第1圖像放大單元(2A)，其輸出對輸入圖像(Din)進行放大得到的第1放大圖像(D2A)；高頻分量圖像生成單元(1)，其生成取出輸入圖像(Din)的高頻分量得到的第1高頻分量圖像(D1)；第2圖像放大單元(2B)，其輸出對第1高頻分量圖像(D1)進行放大得到的第2放大圖像(D2B)；高頻分量圖像處理單元(3)，其生成對第2放大圖像(D2B)進行處理得到的第2高頻分量圖像(D3)；以及對第1放大圖像(D2A)和第2高頻分量圖像(D3)進行相加并輸出的單元(4)。能夠針對放大圖像充分賦予高頻分量，能夠得到放大圖像的清晰感。
文檔編號G06T5/20GK101960487SQ20098010662
公開日2011年1月26日 申請日期2009年2月20日 優(yōu)先權日2008年3月3日
發(fā)明者奧田悟崇, 守谷正太郎, 山中聰 申請人:三菱電機株式會社