專利名稱：圖像顯示裝置、圖像信號處理裝置和圖像信號處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于使圖像信號高分辨率化的技術(shù)，特別涉及通過合成多個圖像幀，進(jìn)行增加構(gòu)成圖像幀的像素?cái)?shù)并且除去不需要的折返成分(aliasing component)的高分辨率化的技術(shù)。

背景技術(shù)：
近年來的電視接收機(jī)的大畫面化不斷進(jìn)展，不是直接顯示從播放、通信、累積介質(zhì)等輸入的圖像信號，一般是通過數(shù)字信號處理使水平、垂直方向的像素?cái)?shù)增加而進(jìn)行顯示。此時(shí)，通過一般已知的使用sinc函數(shù)的插補(bǔ)(interpolation)低通濾波器、樣條函數(shù)等僅是增加像素?cái)?shù)不能夠提高分辨率。
于是，如專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述，公開了對輸入的多個圖像幀(以下簡稱為幀)進(jìn)行合成而成為一幀，由此進(jìn)行高分辨率化并使像素?cái)?shù)增加的技術(shù)(以下稱為現(xiàn)有技術(shù))。
在這些現(xiàn)有技術(shù)中，通過(1)位置推定(motion estimation)、(2)寬帶域插補(bǔ)、(3)加權(quán)和、這三個處理進(jìn)行高分辨率化。此處，(1)位置推定是指，使用輸入的多個圖像幀的各圖像數(shù)據(jù)，推定各圖像數(shù)據(jù)的采樣相位(取樣位置)的差。(2)寬帶域插補(bǔ)是指，相對各圖像數(shù)據(jù)，使用包括折返成分，使原信號的高頻成分全部透過的帶域?qū)挼牡屯V波器對像素?cái)?shù)(采樣點(diǎn))進(jìn)行插補(bǔ)而使其增加，從而使圖像數(shù)據(jù)高密度化。(3)加權(quán)和是指，利用與各高密度化數(shù)據(jù)的采樣相位相對應(yīng)的加權(quán)系數(shù)求取加權(quán)和，從而消除在像素采樣時(shí)產(chǎn)生的折返成分，同時(shí)恢復(fù)原信號的高頻成分。
圖2表示這些高分辨率化技術(shù)的概要。如該圖(a)所示，設(shè)想輸入不同的時(shí)間軸上的幀#1(201)、幀#2(202)、幀#3(203)，對它們進(jìn)行合成得到輸出幀(206)。為了簡單，首先考慮被拍攝體在水平方向上移動(204)的情況，考慮通過水平線(205)上的一維信號處理進(jìn)行高分辨率化的情況。此時(shí)，如該圖(b)和圖(d)所示，在幀#2(202)和幀#1(201)中，與被拍攝體的移動(204)的量相對應(yīng)地產(chǎn)生信號波形的位置偏差。利用上述(1)位置推定求取該位置偏差量，如該圖(c)所示，以使位置偏差消失的方式對幀#2(202)進(jìn)行運(yùn)動補(bǔ)償(motion compensation)(207)，并且求取各幀的像素(208)的采樣相位(209)(210)間的相位差θ(211)。基于該相位差θ(211)進(jìn)行上述(2)寬帶域插補(bǔ)和(3)加權(quán)和，從而，如圖(e)所示，在原像素(208)的正中間(相位差θ＝π)的位置生成新像素(212)，由此實(shí)現(xiàn)高分辨率化。關(guān)于(3)加權(quán)和在后面敘述。
實(shí)際上，被拍攝體的動作不僅是平行移動，雖然要考慮伴隨旋轉(zhuǎn)、放大、縮小等動作的運(yùn)動，但在幀間的時(shí)間間隔微小的情況下、被拍攝體的動作遲緩的情況下，它們的動作也能夠被認(rèn)為是局部近似于平行移動。
在利用專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述的現(xiàn)有技術(shù)進(jìn)行一維方向的兩倍的高分辨率化的情況下，在進(jìn)行上述(3)的加權(quán)和時(shí)，如圖3所示，必須至少使用三個幀圖像的信號。此處，圖3是表示在一維的頻率區(qū)域中，各成分的頻譜的圖。在該圖中，與頻率軸的距離表示信號強(qiáng)度，以頻率軸為中心的旋轉(zhuǎn)角表示相位。以下詳細(xì)說明上述(3)的加權(quán)和。
在上述(2)的寬帶域插補(bǔ)中，如果利用透過尼奎斯特(Nyquist)頻率二倍的帶域(頻率0～采樣頻率fs的帶域)的寬帶域低通濾器進(jìn)行像素插補(bǔ)，得到與原信號相同的成分(以下稱為原成分)，以及與采樣相位對應(yīng)的折返成分的和。可知，此時(shí)，如果對三個幀圖像的信號進(jìn)行上述(2)寬帶域插補(bǔ)的處理，則如圖3(a)所示，各幀的原成分(301)(302)(303)的相位全部一致，折返成分(304)(305)(306)的相位與各幀的采樣相位的差相對應(yīng)地進(jìn)行旋轉(zhuǎn)。為了使各自的相位關(guān)系容易理解，各幀的原成分的相位關(guān)系如該圖(b)所示，各幀的折返成分的相位關(guān)系如該圖(c)所示。
此處，相對三個幀圖像的信號，適當(dāng)?shù)剡x擇相乘的系數(shù)并進(jìn)行上述(3)加權(quán)和，由此能夠使各幀的折返成分(304)(305)(306)相互抵消并除去，能夠僅抽出原成分。此時(shí)，為了使各幀的折返成分(304)(305)(306)的矢量和為0，即，使Re軸(實(shí)軸)的成分和Im軸(虛軸)的成分兩者均為0，需要至少三個折返成分。因此，為了實(shí)現(xiàn)兩倍的高分辨率化，即為了除去一個折返成分，必須至少使用三個幀圖像的信號。
同樣的，如專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述，在相對水平、垂直的二維的輸入信號進(jìn)行高分辨率化的情況下，因?yàn)檎鄯祦碜钥v橫兩個方向，所以原信號的帶域在縱橫方向均變寬至兩倍，則三個折返成分重合，為了消除該折返成分需要2M+1＝7個數(shù)字?jǐn)?shù)據(jù)(＝7枚幀圖像的信號)。
在現(xiàn)有技術(shù)中，幀存儲器、信號處理電路的規(guī)模變大，并不經(jīng)濟(jì)。此外，因?yàn)楸仨氄_地進(jìn)行在時(shí)間上分離的多個幀圖像的位置推定，因此結(jié)構(gòu)復(fù)雜。即，現(xiàn)有技術(shù)難以對例如電視播放信號等的運(yùn)動圖像的幀進(jìn)行高分辨率化。
此外，在現(xiàn)在的電視播放信號中使用隔行掃描是主流的，但是在專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1中，并沒有公開或提示隔行掃描信號的高分辨率化、隔行-逐行掃描變換(I-P變換)。
此外，在使用地面波、衛(wèi)星(BS、CS)的現(xiàn)有的數(shù)字電視播放中，在現(xiàn)有的SD(Standard Definition標(biāo)準(zhǔn)清晰度)的圖像信號之外，還利用HD(High Definition高清晰度)的圖像信號播放節(jié)目。但是，已知的是，并不是將整個節(jié)目置換為由HD攝像機(jī)攝取的圖像信號，而是將由SD攝像機(jī)攝取的圖像信號，通過SD→HD變換器，變換為具有與HD相同的像素?cái)?shù)的信號(升頻變換)，以每個節(jié)目或每個場景進(jìn)行切換播放。
在現(xiàn)有的接收機(jī)中，在接收的信號是由HD攝像機(jī)攝取的圖像信號的情況下，再現(xiàn)分辨率高的圖像，在接收的信號是SD→HD變換(升頻變換)后的圖像信號的情況下，再現(xiàn)分辨率低的圖像，因此存在以每個節(jié)目或每個場景頻繁切換分辨率，難以觀看的問題。
專利文獻(xiàn)1日本特開平8-336046號公報(bào)
專利文獻(xiàn)2日本特開平9-69755號公報(bào)
非專利文獻(xiàn)1青木伸，“複數(shù)のデジタル畫像デ一タによる超解像処理”(利用多個數(shù)字圖像數(shù)據(jù)的超析像處理)，Ricoh TechnicalReport pp.19-25，No.24，NOVEMBER，1998

發(fā)明內(nèi)容
本發(fā)明更加適當(dāng)?shù)貙D像信號進(jìn)行高分辨率化。
根據(jù)本發(fā)明能夠更適當(dāng)?shù)貙D像信號進(jìn)行高分辨率化。



從下面結(jié)合附圖進(jìn)行的說明中，可以更了解本發(fā)明的這些和其他特點(diǎn)、目的和優(yōu)點(diǎn)。其中 圖1是本發(fā)明的實(shí)施例1的說明圖。
圖2是說明一般的高分辨率化圖像信號處理的動作的一個例子的圖。
圖3是說明現(xiàn)有技術(shù)的動作的圖。
圖4是說明本發(fā)明的實(shí)施例1的動作的圖。
圖5是本發(fā)明的實(shí)施例1的說明圖。
圖6是本發(fā)明的實(shí)施例1的說明圖。
圖7是本發(fā)明的實(shí)施例1的說明圖。
圖8是本發(fā)明的實(shí)施例1的說明圖。
圖9是本發(fā)明的實(shí)施例1的說明圖。
圖10是本發(fā)明的實(shí)施例3的說明圖。
圖11是本發(fā)明的實(shí)施例5的說明圖。
圖12是本發(fā)明的實(shí)施例5的說明圖。
圖13是本發(fā)明的實(shí)施例5的說明圖。
圖14是本發(fā)明的實(shí)施例2的說明圖。
圖15是本發(fā)明的實(shí)施例4的說明圖。
圖16是本發(fā)明的實(shí)施例6的說明圖。
圖17是說明本發(fā)明的一實(shí)施方式與現(xiàn)有技術(shù)的動作的不同的圖。
圖18是本發(fā)明的實(shí)施例2的說明圖。
圖19是本發(fā)明的實(shí)施例12的說明圖。
圖20是本發(fā)明的實(shí)施例7的說明圖。
圖21是本發(fā)明的實(shí)施例8的說明圖。
圖22是本發(fā)明的實(shí)施例7的說明圖。
圖23是本發(fā)明的實(shí)施例7的說明圖。
圖24是本發(fā)明的實(shí)施例7的說明圖。
圖25是本發(fā)明的實(shí)施例7的說明圖。
圖26是本發(fā)明的實(shí)施例7的說明圖。
圖27是本發(fā)明的實(shí)施例9的說明圖。
圖28是本發(fā)明的實(shí)施例9的說明圖。
圖29是本發(fā)明的實(shí)施例9的說明圖。
圖30是本發(fā)明的實(shí)施例9的說明圖。
圖31是本發(fā)明的實(shí)施例9的說明圖。
圖32是本發(fā)明的實(shí)施例9的說明圖。
圖33是本發(fā)明的實(shí)施例10的說明圖。
圖34是說明本發(fā)明的一實(shí)施方式與現(xiàn)有技術(shù)的動作的不同的圖。
圖35是本發(fā)明的實(shí)施例13的說明圖。
圖36是本發(fā)明的實(shí)施例17的說明圖。
圖37是說明現(xiàn)有技術(shù)的動作的圖。
圖38是說明現(xiàn)有技術(shù)的動作的圖。
圖39是本發(fā)明的實(shí)施例21的說明圖。
圖40是本發(fā)明的實(shí)施例21的說明圖。
圖41是本發(fā)明的實(shí)施例21的說明圖。
圖42是本發(fā)明的實(shí)施例22的說明圖。
圖43是本發(fā)明的實(shí)施例24的說明圖。
圖44是本發(fā)明的實(shí)施例26的說明圖。
圖45是本發(fā)明的實(shí)施例29的說明圖。
圖46是說明現(xiàn)有技術(shù)的動作的圖。
圖47是說明現(xiàn)有技術(shù)的動作的圖。
圖48是說明現(xiàn)有技術(shù)的動作的圖。
圖49是本發(fā)明的實(shí)施例29的說明圖。
圖50是本發(fā)明的實(shí)施例29～實(shí)施例31的說明圖。
圖51是本發(fā)明的實(shí)施例29的說明圖。
圖52是本發(fā)明的實(shí)施例29的說明圖。
圖53是本發(fā)明的實(shí)施例29的說明圖。
圖54是本發(fā)明的實(shí)施例11的說明圖。
圖55是本發(fā)明的實(shí)施例11的說明圖。
圖56是本發(fā)明的實(shí)施例11的說明圖。
圖57是本發(fā)明的實(shí)施例11的說明圖。
圖58是本發(fā)明的實(shí)施例11的說明圖。
圖59是本發(fā)明的實(shí)施例12的說明圖。
圖60是說明本發(fā)明的一實(shí)施方式與現(xiàn)有技術(shù)的動作的不同的圖。

具體實(shí)施例方式 下面說明本發(fā)明的實(shí)施例，應(yīng)該理解的是下述實(shí)施例能夠在不脫離本發(fā)明的范圍內(nèi)進(jìn)行各種變形和變更。因此，本發(fā)明不僅包括下述內(nèi)容，還包括在權(quán)利要求的范圍中的各種變形和變更。
以下參照

本發(fā)明的實(shí)施例。
此外，在各附圖中，附加有相同符號的構(gòu)成要素具有相同的功能。
此外，本說明書的各個記載和各附圖中的“相位”這一表述，包括在二維圖像空間中使用的情況下的二維圖像上的“位置”的意思。該位置表示小數(shù)像素精度的位置。
此外，在本說明書的各個記載和各附圖中的“提升(升率，uprate)”這一表述，包括“提升處理”的意思。此外，在本說明書的各個記述和各附圖中的“升頻”這一表述，表示“升頻處理”。兩者均表示使圖像的像素?cái)?shù)變多的變換處理(像素?cái)?shù)增加處理)或使圖像放大的變換處理(圖像放大變換處理)。
此外，在本說明書的各個記載和各圖像中的“降低(降率，downrate)”這一表述，包括“降低處理”的意思。此外，在本說明書的各個記述和各附圖中的“降頻”這一表述，表示“降頻處理”。兩者均表示使圖像的像素?cái)?shù)變少的變換處理(像素?cái)?shù)減少處理)或使圖像縮小的變換處理(圖像縮小變換處理)。
此外，在本說明書的各個記載和各圖像中的“運(yùn)動補(bǔ)償”這一表述，包括計(jì)算出相位差或采樣相位差，即空間上的位置的差，并進(jìn)行對位(位置合わせ)的意思。
而且，在以下的各實(shí)施例的記述中，上述(1)位置推定使用參考文獻(xiàn)1、參考文獻(xiàn)2中記載的方法即可。此外，關(guān)于上述(2)寬帶域插補(bǔ)，使用非專利文獻(xiàn)1中記載的具有為尼奎斯特頻率的兩倍的通過帶域的一般的低通濾波器即可。
[參考文獻(xiàn)1]安藤繁，“畫像の時(shí)空間微分算法を用いた速度ベクトル分布計(jì)測システム”(圖像的使用時(shí)空微分算法的速度矢量分布計(jì)測系統(tǒng))，計(jì)測自動控制學(xué)會論文集，pp.1330-1336，Vol.22，No.12，1986 [參考文獻(xiàn)2]小林弘幸等，“DCT變換に基づく畫像の位相限定相関法”(基于DCT變換的圖像的相位限定相關(guān)法)，信學(xué)技法IEICETechnical Report ITS2005-92，IE2005-299(2006-02)，pp.73-78 此外，在以下的實(shí)施例中，“SR信號”這一表述是“Super Resolution信號(超分辨率信號)”的簡稱。
以下參照

本發(fā)明的實(shí)施例。
[實(shí)施例1] 圖1表示本發(fā)明的實(shí)施例1的圖像信號處理裝置，敘述其特征。本實(shí)施例的圖像信號處理裝置適用于例如電視接收機(jī)等圖像顯示裝置。在以下的本實(shí)施例的說明中，作為圖像信號處理裝置，以圖像顯示裝置為例進(jìn)行說明。
在圖1中，本實(shí)施例的圖像信號處理裝置包括例如被輸入電視播放信號等運(yùn)動圖像的幀列的輸入部(1)；用于使從該輸入部(1)輸入的幀高分辨率化的分辨率變換部(2)；和基于通過該分辨率變換部(2)已高分辨率化的幀而顯示圖像的顯示部(3)。作為該顯示部(3)，例如使用等離子體顯示面板、液晶顯示面板、或電子/電解放出型等離子體顯示面板。以下說明分辨率變換部(2)的詳細(xì)內(nèi)容。
在圖1中，首先通過位置推定部(101)，以從輸入部(1)輸入的幀#1上的處理對象的像素的采樣相位(取樣位置)為基準(zhǔn)，推定幀#2上的相應(yīng)的像素的位置，求取每個像素的采樣相位差θ(102)。
接著，通過運(yùn)動補(bǔ)償/提升部(115)的提升器(103)(104)，使用相位差θ(102)的信息對幀#2進(jìn)行運(yùn)動補(bǔ)償，使其與幀#1位置匹配，使幀#1和幀#2的像素?cái)?shù)分別增加至2倍進(jìn)行高密度化。在相位移動部(116)中，使該已高密度化的數(shù)據(jù)的相位移動一定量。此處，作為使數(shù)據(jù)的相位移動一定量的單元，能夠使用π/2相位移動器(106)(108)。此外，為了補(bǔ)償由π/2相位移動器(106)(108)產(chǎn)生的延遲，通過延遲器(105)(107)使已高密度化的幀#1和幀#2的信號延遲。
在折返成分除去部(117)中，相對延遲器(105)(107)和希爾伯特變換器(106)(108)的各輸出信號，將由系數(shù)決定器(109)基于相位差θ(102)生成的系數(shù)C0、C2、C1、C3，通過相乘器(110)(112)(111)(113)分別進(jìn)行相乘，并由加法器(114)對這些信號進(jìn)行相加而獲得輸出。該輸出供給至顯示部3。其中，位置推定部(101)能夠直接使用上述現(xiàn)有技術(shù)而實(shí)現(xiàn)。提升器(103)(104)、π/2相位移動器(106)(108)、折返成分除去部(117)的各詳細(xì)內(nèi)容，在后面敘述。
圖4表示本發(fā)明的實(shí)施例1的動作。該圖在一維的頻率區(qū)域中表示圖1所示的延遲器(105)(107)和π/2相位移動器(106)(108)的各輸出。在該圖(a)中，從延遲器(105)(107)輸出的提升后的幀#1和幀#2的信號分別成為將原成分(401)(402)、和從原來的采樣頻率(fs)折返的折返成分(405)(406)相加后的信號。此時(shí)，折返成分(406)僅旋轉(zhuǎn)上述相位差θ(102)的相位。
另一方面，從π/2相位移動器(106)(108)輸出的提升后的幀#1和幀#2的信號分別成為將π/2相位移動后的原成分(403)(404)、和π/2相位移動后的折返成分(407)(408)相加的信號。為了使該圖(a)中表示的各成分的相位關(guān)系容易理解，該圖(b)和該圖(c)分別將原成分與折返成分抽出進(jìn)行表示。
此處，在求取該圖(b)所示的四個成分的矢量和時(shí)，以Re軸的成分為1，Im軸的成分為0；在求取該圖(c)所示的四個成分的矢量和時(shí)，Re軸和Im軸兩者的成分為0，這樣，決定對各成分進(jìn)行乘法運(yùn)算的系數(shù)，取得加權(quán)和，從而能夠消除折返成分，僅抽出原成分。即，能夠?qū)崿F(xiàn)僅使用兩個幀圖像，進(jìn)行一維方向的兩倍的高分辨率化的圖像信號處理裝置。該系數(shù)決定方法的詳細(xì)內(nèi)容在后面敘述。
圖5表示本發(fā)明的實(shí)施例1中使用的提升器(103)(104)的動作。在該圖中，橫軸表示頻率，縱軸表示增益(輸出信號振幅相對輸入信號振幅的比值)，表示提升器(103)(104)的“頻率-增益”特性。此處，在提升器(103)(104)中，以相對原信號的采樣頻率(fs)為兩倍的頻率(2fs)作為新的采樣頻率，通過在原像素間隔的恰好中間的位置插入新像素的采樣點(diǎn)(＝零點(diǎn))，使像素?cái)?shù)成為兩倍，進(jìn)行高密度化，并且施加將-fs～+fs之間的頻率全部作為增益2.0的通過帶域的濾波器。此時(shí)，如該圖所示，由于數(shù)字信號的對稱性，成為每2fs的整數(shù)倍的頻率就進(jìn)行重復(fù)的特性。
圖6表示本發(fā)明的實(shí)施例1使用的提升器(103)(104)的具體例。該圖表示對圖5所示的頻率特性進(jìn)行逆傅立葉變換而得到的濾波器的抽頭(tap)系數(shù)。此時(shí)，各抽頭系數(shù)Ck(其中，k為整數(shù))成為一般已知的sinc函數(shù)，為了補(bǔ)償每個像素的采樣的相位差θ(102)，只移動(-θ)，成為Ck＝2sin(πk+θ)/(πk+θ)即可。此外，將相位差θ(102)由整數(shù)像素單位(2π)的相位差+小數(shù)像素單位的相位差進(jìn)行表示，由此對于整數(shù)像素單位的相位差的補(bǔ)償能夠由簡單的像素移動實(shí)現(xiàn)，對于小數(shù)像素單位的相位差的補(bǔ)償也使用上述提升器(103)(104)的濾波器。
圖7表示本發(fā)明的實(shí)施例1中使用的π/2相位移動器(106)(108)的動作例。作為π/2相位移動器(106)(108)，能夠使用一般已知的希爾伯特變換器。
在該圖(a)中，橫軸表示頻率，縱軸表示增益(輸出信號振幅相對輸入信號振幅的比值)，表示希爾伯特變換器的“頻率-增益”特性。此處，在希爾伯特變換器中，以相對于原來信號的采樣頻率(fs)為兩倍的頻率(2fs)作為新的采樣頻率，使-fs～+fs之間除了0以外的頻率成分全部為增益1.0的通過帶域。
此外，在該圖(b)中，橫軸表示頻率，縱軸表示相位差(輸出信號相位相對輸入信號相位的差)，表示希爾伯特變換器的“頻率-相位差”特性。此處，對于0～fs之間的頻率成分，只延遲π/2的相位，對0～-fs間的頻率成分，只提前π/2的相位。此時(shí)，如該圖所示，由于數(shù)字信號的對稱性，成為每2fs的整數(shù)倍的頻率就進(jìn)行重復(fù)的特性。
圖8表示由希爾伯特變換器構(gòu)成本發(fā)明的實(shí)施例1中使用的π/2相位移動器(106)(108)的例子。該圖表示對圖7所示的頻率特性進(jìn)行逆傅立葉變換而得到的濾波器的抽頭系數(shù)。此時(shí)，各抽頭系數(shù)Ck是，在k＝2m(其中m為整數(shù))時(shí)Ck＝0，k＝2m+1時(shí)為Ck＝-2/(πk)即可。
其中，本發(fā)明的實(shí)施例1中使用的π/2相位移動器(106)(108)能夠使用微分器。在該情況下，如果以t對表示正弦波的一般式cos(ωt+α)進(jìn)行微分并乘以1/ω，則成為d(cos(ωt+α))/dt ×(1/ω)＝-sin(ωt+α)＝cos(ωt+α+π/2)，能夠?qū)崿F(xiàn)π/2相位移動的功能。即，可以在取得作為對象的像素的值和鄰接像素的值的差分之后，施加具有1/ω的“頻率-振幅”特性的過濾器，由此實(shí)現(xiàn)π/2相位移動的功能。
圖9表示本發(fā)明的實(shí)施例1中使用的系數(shù)決定器(109)的動作的具體例。如該圖(a)所示，在取得圖4(b)所示的四個成分的矢量和時(shí)，以Re軸的成分為1，以Im軸的成分為0；在取得圖4(c)所示的四個成分的矢量和時(shí)，Re和Im軸兩者的成分為0，按照這樣的方式，決定對各成分進(jìn)行乘法運(yùn)算的系數(shù)，則能夠?qū)崿F(xiàn)使用兩幀圖像，進(jìn)行一維方向的兩倍的高分辨率化的圖像信號處理裝置。
此處，如圖1所示，相對延遲器(105)的輸出(提升后的幀#1的原成分與折返成分的和)的系數(shù)為C0；相對π/2相位移動器(106)的輸出(提升后的幀#1的原成分與折返成分的各自的π/2相位移動結(jié)果的和)的系數(shù)為C1；相對延遲器(107)的輸出(提升后的幀#2的原成分與折返成分的和)的系數(shù)為C2；相對希爾伯特變換器(106)的輸出(提升后的幀#2的原成分與折返成分的各自的π/2相位移動結(jié)果的和)的系數(shù)為C3。
此時(shí)，如果滿足圖9(a)的條件，則由圖4(b)和圖4(c)所示的各成分的相位關(guān)系，能夠得到圖9(b)所示的連立方程式，對其進(jìn)行求解，能夠?qū)С鰣D9(c)所示的結(jié)果。
本實(shí)施例的系數(shù)決定器(109)輸出滿足圖9(a)、圖9(b)、圖9(c)中的任一個的系數(shù)C0、C1、C2、C3。
作為一個例子，圖9(d)中表示使相位差θ(102)在0～2π中每π/8進(jìn)行變化時(shí)的系數(shù)C0、C1、C2、C3的值。這相當(dāng)于將原來的幀#2的信號以1/16像素的精度進(jìn)行位置推定，相對幀#1進(jìn)行運(yùn)動補(bǔ)償?shù)那闆r。在相位差θ(102)的值不足0或?yàn)?π以上的情況下，利用sin函數(shù)、cos函數(shù)的周期性，在相位差θ(102)的值上加上或減去2π的整數(shù)倍的值，由此使得相位差θ(102)在0～2π的范圍內(nèi)即可。
其中，提升器(103)(104)和/2相位移動器(106)(107)為了得到理想的特性，必需有無限大的抽頭數(shù)，但使抽頭數(shù)為有限個，進(jìn)行簡化在實(shí)用上也沒有問題。此時(shí)，可以使用一般的窗函數(shù)(例如漢寧(Hanning)窗函數(shù)或漢明(Hamming)窗函數(shù)等)。如果簡化的希爾伯特變換器的各抽頭的系數(shù)為以C0為中心的左右點(diǎn)對稱的值，即C(-k)＝-Ck(k為整數(shù))，則能夠使相位只移動一定量。
接著，使用圖17，說明實(shí)施例1的圖像信號處理裝置和上述現(xiàn)有技術(shù)的動作的不同。在該圖(a)中，準(zhǔn)備在從幀#1(1701)到幀#5(1705)之間被拍攝體向右方向移動的輸入圖像。此時(shí)，如該圖(b)所示，觀察各幀的采樣相位，以幀#1(1701)和幀#2(1702)之間的對應(yīng)像素的位置偏移1/4像素(＝/2)，幀#1(1701)和幀#3(1703)之間的對應(yīng)像素的位置偏移1像素(＝2π)，幀#1(1701)和幀#4(1704)之間的對應(yīng)像素的位置偏移5/4像素(＝5/2)，幀#1(1701)和幀#5(1705)之間的對應(yīng)像素的位置偏移2像素(＝4π)的方式，有意地使被拍攝體移動。此時(shí)，包括在各幀上的信號中的各自的折返成分的相位，以幀#1(1701)上的信號所包括的折返成分的相位為基準(zhǔn)，能夠表示為該圖(c)所示。相對該輸入圖像(a)進(jìn)行兩倍的高分辨率化的情況下，在上述現(xiàn)有技術(shù)中，使用從幀#1(1701)到幀#5(1705)中的任何三幀均不能夠使折返成分的矢量和為0，因此不能夠?qū)崿F(xiàn)高分辨率化。另一方面，如果使用本實(shí)施例，則例如使用鄰接的兩幀(例如幀#1(1701)和幀#2(1702))能夠使折返成分的矢量和為0，因此能夠?qū)崿F(xiàn)高分辨率化。即，通過使用該圖(a)的輸入圖像作為測試圖案，能夠確認(rèn)本實(shí)施例的動作狀況。
在以上的實(shí)施例1的說明中，舉出水平方向的高分辨率化的例子進(jìn)行了說明，但本發(fā)明的各實(shí)施方式并不限定于此，也能夠應(yīng)用于垂直方向、傾斜方向的高分辨率化。
根據(jù)以上說明的實(shí)施例1的圖像信號處理裝置，相對于比現(xiàn)有例少的兩個輸入圖像幀的各圖像信號進(jìn)行相位移動，從各圖像信號中分別生成兩個信號。由此，能夠從兩個輸入圖像幀的圖像信號中生成四個信號。此處，基于兩個輸入圖像幀的相位差，對于該四個信號的各個信號，針對每個像素計(jì)算出用于消除該四個信號的折返成分而進(jìn)行合成的系數(shù)。對于生成的圖像的各個像素，計(jì)算在上述四個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各像素進(jìn)行上述處理，能夠生成新的高分辨率圖像。
由此，實(shí)施例1的圖像信號處理裝置使用比現(xiàn)有例少的兩個輸入圖像幀，能夠折返成分較少地由輸入圖像生成高分辨率的圖像。
此外，實(shí)施例1的圖像信號處理裝置使用比現(xiàn)有例少的兩個輸入圖像幀，因此相比于現(xiàn)有例能夠減少需要的圖像處理的量。由此，能夠以比現(xiàn)有例低的成本實(shí)現(xiàn)折返成分較少地由輸入圖像生成高分辨率的圖像的圖像信號處理裝置。
[實(shí)施例2] 接著，使用圖18和圖14說明本發(fā)明的實(shí)施例2。
實(shí)施例2表示通過與軟件協(xié)同作用的控制部實(shí)現(xiàn)與實(shí)施例1的圖像信號處理裝置的圖像信號處理等價(jià)的處理的圖像信號處理方法。
首先，使用圖18說明用于實(shí)現(xiàn)本實(shí)施例的圖像信號處理方法的圖像處理裝置。圖18所示的圖像信號處理裝置包括例如被輸入電視播放信號等的圖像信號的輸入部(1)；存儲用于處理從輸入部(1)輸入的信號的軟件的存儲部(11)；與存儲在存儲部(11)中的軟件協(xié)同作用，對從輸入部(1)輸入的信號進(jìn)行圖像信號處理的控制部(10)；控制部(10)在該圖像信號處理中在數(shù)據(jù)的緩存中使用的幀緩存器#1(21)、幀緩存器#2(22)；和用于對從控制部(10)輸出至輸出部(3)的圖像信號處理后的信號進(jìn)行幀緩存的緩存器#3(23)。
此處，圖18所示的圖像信號處理裝置所具有的輸入部(1)的個數(shù)與圖像處理中使用的幀數(shù)相同為兩個，也可以僅具有一個輸入部(1)，連續(xù)輸入兩幀。
此處，在數(shù)據(jù)的緩存中使用的幀緩存器#1(21)、幀緩存器#2(22)和存儲軟件的存儲部(11)，可以分別使用不同的存儲器芯片構(gòu)成，也可以使用一個或多個存儲器芯片，分割各數(shù)據(jù)地址而進(jìn)行使用。
在本實(shí)施例中，控制部(10)與存儲在存儲部(11)中的軟件協(xié)同作用，對從輸入部(1)輸入的圖像信號進(jìn)行圖像信號處理，輸出至顯示部(3)。使用圖14說明該圖像信號處理的詳細(xì)內(nèi)容。
圖14表示本實(shí)施例的圖像信號處理方法的流程圖的一個例子。圖14的流程圖是，從步驟(1401)開始，在步驟(1418)將各幀的圖像數(shù)據(jù)提升為兩倍。即，在步驟(1402)對幀#1的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#1，在步驟(1403)對幀#2的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#2。此處，提升能夠通過使各幀緩存器的值一度清0，之后針對每一個像素寫入數(shù)據(jù)而實(shí)現(xiàn)。
接著，在步驟(1404)中，設(shè)定幀緩存器#1的最初的像素(例如左上的像素)為處理對象，以下，使處理循環(huán)，直至對幀緩存器#1的所有的像素?cái)?shù)據(jù)的處理結(jié)束。
在步驟(1405)中，以幀緩存器#1的對象像素為基準(zhǔn)，推定幀緩存器#2中對應(yīng)的像素的位置，輸出相位差θ。此時(shí)，作為推定對應(yīng)的像素的位置的方法，能夠直接使用上述現(xiàn)有技術(shù)。
在步驟(1406)中，基于步驟(1405)中求取的相位差θ，對幀緩存器#2中的對應(yīng)的像素的附近的像素進(jìn)行運(yùn)動補(bǔ)償。此時(shí)，作為附近的像素，僅對步驟(1408)的π/2相位移動的處理中使用的像素?cái)?shù)據(jù)，即有限的抽頭數(shù)的作用范圍的像素?cái)?shù)據(jù)進(jìn)行運(yùn)動補(bǔ)償即可。該運(yùn)動補(bǔ)償?shù)膭幼髋c使用圖5和圖6所說明的動作一致。
接著，在步驟(1419)中，相對幀緩存器#1和已運(yùn)動補(bǔ)償?shù)膸彺嫫?2，使相位只移動一定量。即，通過步驟(1407)(1408)，使各幀緩存器中的像素?cái)?shù)據(jù)移動π/2相位。
接著，在步驟(1420)中，使用基于相位差θ以滿足圖9(a)(b)(c)的條件的方式設(shè)定的系數(shù)C0、C1、C2、C3，在步驟(1419)的輸出數(shù)據(jù)上分別進(jìn)行乘法運(yùn)算，通過使它們相加，從幀緩存器#1、#2的像素?cái)?shù)據(jù)中除去折返成分，輸出至幀緩存器#3。即，在步驟(1409)中，基于相位差θ決定系數(shù)C0、C1、C2、C3，在步驟(1410)(1411)(1412)(1413)中使各系數(shù)與幀緩存器#1、#2的像素?cái)?shù)據(jù)和π/2相位移動后的數(shù)據(jù)分別相乘，之后在步驟(1414)中全部相加，并輸出至幀緩存器#3。該除去折返成分的動作與使用圖9所說明的動作一致。
接著，在步驟(1415)中，判定幀緩存器#1的全部像素的處理是否結(jié)束，如果未結(jié)束，則在步驟(1416)將下一像素(例如右邊鄰接的像素)設(shè)定為處理的對象，回到步驟(1405)以后，如果已結(jié)束則在步驟(1417)結(jié)束處理。
圖14所示的流程圖的圖像信號處理之后，如圖18所示緩存于幀緩存器#3中的信號，能夠以幀單位或像素單位輸出至顯示部(3)。
通過進(jìn)行以上所述的處理，能夠使用幀緩存器#1和幀緩存器#2的像素?cái)?shù)據(jù)，向幀緩存器#3輸出已進(jìn)行高分辨率化的信號。在應(yīng)用于動畫的情況下，針對每幀重復(fù)從步驟(1401)到步驟(1417)的處理即可。
而且，關(guān)于實(shí)施例2的圖像信號處理方法，與圖17的說明同樣，能夠確認(rèn)其與上述現(xiàn)有技術(shù)的動作的不同點(diǎn)，其結(jié)果與實(shí)施例1同樣，因此省略說明。
根據(jù)以上說明的實(shí)施例2的圖像信號處理方法，相對于比現(xiàn)有例少的兩個輸入圖像幀的各圖像信號進(jìn)行相位移動，從各圖像信號中分別生成兩個信號。由此，能夠從兩個輸入圖像幀的圖像信號中生成四個信號。此處，基于兩個輸入圖像幀的相位差，對于該四個信號的各個信號，針對每個像素計(jì)算出用于消除該四個信號的折返成分而進(jìn)行合成的系數(shù)。對于生成的圖像的各個像素，計(jì)算在上述四個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各像素進(jìn)行上述處理，能夠生成新的高分辨率圖像。
由此，實(shí)施例2的圖像信號處理方法使用比現(xiàn)有例少的兩個輸入圖像幀，能夠折返成分較少地由輸入圖像生成高分辨率的圖像。
此外，實(shí)施例2的圖像信號處理方法使用比現(xiàn)有例少的兩個輸入圖像幀，因此相比于現(xiàn)有例能夠減少需要的圖像處理的量。
[實(shí)施例3] 圖10表示本發(fā)明的實(shí)施例3。該圖所示的結(jié)構(gòu)是利用圖9(c)所示的系數(shù)C0、C1、C2、C3的關(guān)系，對圖1所示的結(jié)構(gòu)進(jìn)行簡化的結(jié)構(gòu)。即，因?yàn)镃0＝C2＝1/2，C1＝-C3＝-(1+cosθ)/(2sinθ)，所以根據(jù)提升后的幀#1和運(yùn)動補(bǔ)償/提升后的幀#2的各信號，通過加法器(1001)和減法器(1004)生成和與差的信號。關(guān)于和信號，在通過fs隔斷濾波器(1002)之后，通過乘法器(1003)乘以C0(＝0.5)并輸入至加法器(1008)。此處，fs隔斷濾波器(1002)是以提升前的采樣頻率(fs)的成分為零點(diǎn)進(jìn)行隔斷的濾波器，例如能夠通過使用該圖(1011)所示的抽頭系數(shù)而實(shí)現(xiàn)。因?yàn)閳D7(a)所示的希爾伯特變換器(1005)的“頻率-增益”特性中頻率fs的增益為零點(diǎn)所以不能夠除去折返成分，該fs隔斷濾波器(1002)的目的在于防止頻率fs的不需要的成分的殘留。從而，如果代替希爾伯特變換器(1005)，使用能夠包括頻率fs的成分地進(jìn)行π/2相位移動的機(jī)構(gòu)，則不再需要該fs隔斷濾波器(1002)。
另一方面，關(guān)于差信號，在通過希爾伯特變換器(1005)使相位只移動一定量(＝π/2)之后，將由系數(shù)決定器(1007)基于相位差(102)決定的系數(shù)C1在乘法器(1006)中進(jìn)行乘法運(yùn)算，通過加法器(1008)進(jìn)行加法運(yùn)算并獲得輸出。此處，由延遲器(1002)和希爾伯特變換器(1005)構(gòu)成的相位移動部(1009)能夠由圖1所示的相位移動部(116)的一半的電路規(guī)模實(shí)現(xiàn)。此外，系數(shù)決定器(1007)只要輸出圖9(c)所示的系數(shù)C1即可，由加法器(1001)、減法器(1004)、乘法器(1003)(1006)、加法器(1008)、系數(shù)決定器(1007)構(gòu)成的折返成分除去部(1010)能夠減少乘法器的個數(shù)，因此能夠以比圖1所示的折返成分除去部(117)小的電路規(guī)模實(shí)現(xiàn)。
而且，關(guān)于實(shí)施例3的圖像信號處理方法，與圖17的說明同樣，能夠確認(rèn)與上述現(xiàn)有技術(shù)的動作的不同點(diǎn)，其結(jié)果與實(shí)施例1同樣，因此省略說明。
此外，實(shí)施例3的圖像信號處理裝置和圖像信號處理方法能夠應(yīng)用于垂直方向、傾斜方向的高分辨率化。
以上說明的實(shí)施例3的圖像信號處理裝置，除了能夠獲得實(shí)施例1的圖像信號處理裝置的效果，還能夠由比實(shí)施例1的圖像信號處理裝置小的電路規(guī)模得到實(shí)現(xiàn)，能夠?qū)崿F(xiàn)更低的成本。
[實(shí)施例4] 使用圖15說明本發(fā)明的實(shí)施例4的圖像信號處理方法。
實(shí)施例4表示通過與軟件協(xié)同作用的控制部實(shí)現(xiàn)與實(shí)施例3的圖像信號處理裝置的圖像信號處理等價(jià)的處理的圖像信號處理方法。進(jìn)行本實(shí)施例的圖像信號處理方法的圖像處理裝置是與實(shí)施例2同樣的圖18所示的圖像處理裝置，因此省略其說明。
圖15表示本實(shí)施例的動作的流程圖的一個例子。圖15的流程圖是，從步驟(1501)開始，在步驟(1518)對各幀的圖像數(shù)據(jù)進(jìn)行提升。即，在步驟(1502)對幀#1的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#1，在步驟(1503)對幀#2的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#2。此處，提升能夠通過使各幀緩存器的值一度清0，之后針對每一個像素寫入數(shù)據(jù)而實(shí)現(xiàn)。
接著，在步驟(1504)中，設(shè)定幀緩存器#1的最初的像素(例如左上的像素)為處理對象，以下，使處理循環(huán)，直至對幀緩存器#1的所有的像素?cái)?shù)據(jù)的處理結(jié)束。
在步驟(1505)中，以幀緩存器#1的對象像素為基準(zhǔn)，推定幀緩存器#2中對應(yīng)的像素的位置，輸出相位差θ。此時(shí)，作為推定對應(yīng)的像素的位置的方法，能夠直接使用上述現(xiàn)有技術(shù)。
在步驟(1506)中，基于步驟(1505)中求取的相位差θ，對幀緩存器#2中的對應(yīng)的像素的附近的像素進(jìn)行運(yùn)動補(bǔ)償。此時(shí)，作為“附近的像素”，僅對步驟(1510)的希爾伯特變換的處理中使用的像素?cái)?shù)據(jù)，即有限的抽頭數(shù)的作用范圍的像素?cái)?shù)據(jù)進(jìn)行運(yùn)動補(bǔ)償即可。該運(yùn)動補(bǔ)償?shù)膭幼髋c使用圖5和圖6所說明的動作一致。
接著，在步驟(1520)中，基于相位差θ從幀緩存器#1、#2的像素?cái)?shù)據(jù)中除去折返成分，輸出至幀緩存器#3。首先，在步驟(1507)，使幀緩存器#1的像素?cái)?shù)據(jù)的值與已運(yùn)動補(bǔ)償?shù)膸彺嫫?2的像素?cái)?shù)據(jù)的值相加，在步驟(1509)中隔斷頻率fs的成分。該fs隔斷濾波器(1509)的動作與圖10所示的(1002)的動作相同。
此外，在步驟(1508)，從幀緩存器#1的像素?cái)?shù)據(jù)的值中減去已運(yùn)動補(bǔ)償?shù)膸彺嫫?2的像素?cái)?shù)據(jù)的值。此處，相對于已進(jìn)行過減法運(yùn)算的結(jié)果，在步驟(1519)使相位只移動一定量。即，同樣地使用已進(jìn)行減法運(yùn)算的附近的數(shù)據(jù)，在步驟(1510)進(jìn)行希爾伯特變換。該相位移動的動作與使用圖7和圖8所說明的動作一致。
接著，在步驟(1511)中在上述加法運(yùn)算后的數(shù)據(jù)上乘以系數(shù)C0(＝0.5)，并且在步驟(1512)基于相位差θ決定系數(shù)C1，在步驟(1513)使系數(shù)C1與希爾伯特變換后的數(shù)據(jù)相乘之后，在步驟(1514)中使兩者的數(shù)據(jù)相加，輸出至幀緩存器#3。該除去折返成分的動作與使用圖10所說明的動作一致。
接著，在步驟(1515)中，判定幀緩存器#1的全部像素的處理是否結(jié)束，如果未結(jié)束，則在步驟(1516)將下一像素(例如右邊鄰接的像素)設(shè)定為處理的對象，回到步驟(1505)以后，如果已結(jié)束則在步驟(1517)結(jié)束處理。
圖15所示的流程圖的圖像信號處理之后，如圖18所示緩存于幀緩存器#3中的信號，能夠以幀單位或像素單位輸出至顯示部(3)。
通過進(jìn)行以上所述的處理，能夠使用幀緩存器#1和幀緩存器#2的像素?cái)?shù)據(jù)，向幀緩存器#3輸出已進(jìn)行過高分辨率化的信號。在應(yīng)用于動畫的情況下，針對每幀重復(fù)從步驟(1501)到步驟(1517)的處理即可。
而且，關(guān)于實(shí)施例4的圖像信號處理方法，使用圖17，能夠確認(rèn)其與上述現(xiàn)有技術(shù)的動作的不同點(diǎn)，其結(jié)果與實(shí)施例1同樣，因此省略說明。
而且，關(guān)于實(shí)施例4的圖像信號處理方法，也能夠適用于垂直方向或傾斜方向的高分辨率化。
以上說明的實(shí)施例4的圖像信號處理方法，具有與實(shí)施例2的圖像信號處理方法同樣的圖像信號高分辨率化的效果。而且，實(shí)施例4的圖像信號處理方法與實(shí)施例2的圖像信號處理方法相比，一部分的處理步驟的內(nèi)容是共同的，由此，具有能夠以比實(shí)施例2的圖像信號處理方法少的處理量(運(yùn)算數(shù))實(shí)現(xiàn)同樣的信號處理的效果。
[實(shí)施例5] 圖11表示本發(fā)明的實(shí)施例5。該圖所示的結(jié)構(gòu)，為了防止圖9(d)所示的相位差θ為0時(shí)的系數(shù)C1、C3的不確定、相位差θ接近0時(shí)的系數(shù)C1、C3變大而相對噪聲等變得脆弱的問題，以圖10所的結(jié)構(gòu)為基礎(chǔ)，以相位差θ為0附近時(shí)切換為來自輔助的像素插補(bǔ)部(1105)的輸出的方式構(gòu)成。即，準(zhǔn)備一般的插補(bǔ)低通濾波器(1101)作為旁通路，通過系數(shù)決定器(1103)，在上述系數(shù)C0、C1之外，生成新的C4，通過乘法器(1102)使插補(bǔ)低通濾波器(1101)的輸出與系數(shù)C4相乘，由加法器(1104)在已高分辨率化的信號上相加并輸出。
插補(bǔ)低通濾波器(1101)、乘法器(1102)、系數(shù)決定器(1103)、加法器(1104)、輔助的像素插補(bǔ)部(1105)以外的結(jié)構(gòu)與圖10所示的實(shí)施例3的結(jié)構(gòu)相同，因此省略說明。
在圖12中表示本發(fā)明的實(shí)施例5使用的插補(bǔ)低通濾波器(1101)的具體例。該圖表示對以原來的采樣頻率fs的1/2作為截止頻率的頻率特性進(jìn)行逆傅立葉變換而得到的濾波器的抽頭系數(shù)。此時(shí)，各抽頭系數(shù)Ck(其中k為整數(shù))為一般的sinc函數(shù)，Ck＝sin(πk/2)/(πk/2)即可。
圖13表示本發(fā)明的實(shí)施例5使用的系數(shù)決定器(1103)的具體例。該圖表示了以圖9(d)所示的系數(shù)C0、C1為基礎(chǔ)，通常新的系數(shù)C4為0，但在相位差θ為0附近時(shí)，強(qiáng)制性地使系數(shù)C1的值為0，并且使系數(shù)C4的值為1.0的動作。通過該動作，圖11所示的結(jié)構(gòu)中，相位差θ(102)為0或在0附近時(shí)，能夠?qū)⒓臃ㄆ?1104)的輸出自動地切換為插補(bǔ)低通濾波器(1101)的輸出。而且，也可以在位相差θ接近0的同時(shí)，從圖12所示的系數(shù)連續(xù)地逐漸接近圖13所示的系數(shù)。此外，也可以在通過圖1中的位置推定部(101)，判定與幀#1上的處理對象的像素對應(yīng)的像素不在幀#2上的情況下，在相位差θ(102)為0附近時(shí)同樣地控制各系數(shù)，將加法器(1104)的輸出自動地切換為插補(bǔ)低通濾波器(1101)的輸出。
而且，關(guān)于實(shí)施例5的圖像信號處理裝置，使用圖17，能夠確認(rèn)其與上述現(xiàn)有技術(shù)的動作的不同點(diǎn)，其結(jié)果與實(shí)施例1同樣，因此省略其說明。
此外，實(shí)施例5的圖像信號處理裝置能夠應(yīng)用于垂直方向、傾斜方向的高分辨率化。
以上說明的實(shí)施例5的圖像信號處理裝置，在實(shí)施例3的圖像信號處理裝置的效果之外，相比于實(shí)施例3的圖像信號處理裝置，還具有下述效果在相位差θ(102)為0或0附近時(shí)(即靜止，或大致靜止)、判定與幀#1上的處理對象的像素相對應(yīng)的像素不在幀#2上的情況下，處理結(jié)果不會變得不確定，而能夠得到穩(wěn)定的輸出圖像。
[實(shí)施例6] 使用圖16說明本發(fā)明的實(shí)施例6的圖像信號處理方法。
實(shí)施例6表示通過與軟件協(xié)同作用的控制部實(shí)現(xiàn)與實(shí)施例5的圖像信號處理裝置的圖像信號處理等價(jià)的處理的圖像信號處理方法。進(jìn)行本實(shí)施例的圖像信號處理方法的圖像處理裝置與實(shí)施例2同樣為圖18所示的圖像處理裝置，因此省略其說明。
在圖16中表示本實(shí)施例的動作的流程圖的一個例子。該圖所示的步驟的動作，為了防止圖9(d)所示的相位差θ為0時(shí)的系數(shù)C1、C3的不確定、相位差θ接近0時(shí)的系數(shù)C1、C3變大而相對噪聲等變得脆弱的問題，以實(shí)施例4中說明的圖15的各步驟為基礎(chǔ)，以相位差θ為0或0附近時(shí)將步驟(1606)的處理結(jié)果輸出至幀緩存器#3的方式構(gòu)成。即，在步驟(1601)基于相位差θ決定系數(shù)C0、C1、C4，在步驟(1602)使用幀緩存器#1中的對象的像素?cái)?shù)據(jù)和其附近的像素?cái)?shù)據(jù)進(jìn)行一般的插補(bǔ)低通濾波器處理，之后在步驟(1603)與系數(shù)C4相乘，在步驟(1604)與步驟(1511)(1513)的輸出相加，并輸出至幀緩存器#3。
此外的步驟與實(shí)施例4中說明的圖15的處理步驟相同，因此省略說明。而且，在步驟(1601)的系數(shù)決定的動作與圖13所示的動作相同，因此省略說明。此外，在步驟(1602)的插補(bǔ)低通濾波器的動作與圖12所示的動作相同，因此省略說明。
而且，關(guān)于實(shí)施例6的圖像信號處理方法，使用圖17，能夠確認(rèn)其與上述現(xiàn)有技術(shù)的動作的不同點(diǎn)，但其結(jié)果與實(shí)施例1同樣，因此省略其說明。
而且，實(shí)施例6的圖像信號處理方法能夠應(yīng)用于垂直方向、傾斜方向的高分辨率化。
以上說明的實(shí)施例6的圖像信號處理方法，在實(shí)施例4的圖像信號處理方法的效果之外，相比于實(shí)施例4的圖像信號處理方法，還具有下述效果在相位差θ(102)為0或0附近時(shí)(即靜止，或大致靜止)、判定與幀#1上的處理對象的像素相對應(yīng)的像素不在幀#2上的情況下，處理結(jié)果不會變得不穩(wěn)定，而能夠得到穩(wěn)定的輸出圖像。
[實(shí)施例7] 圖20表示本發(fā)明的實(shí)施例7的圖像信號處理裝置。本實(shí)施例的圖像處理裝置包括例如被輸入電視播放信號等運(yùn)動圖像的幀列的輸入部(1)；用于對從該輸入部(1)輸入的幀進(jìn)行水平、垂直方向的組合，進(jìn)行二維的高分辨率化的分辨率變換部(4)；和基于通過該分辨率變換部(4)被高分辨率化的幀而顯示圖像的顯示部(3)。
在該分辨率變換部(4)中，進(jìn)行水平方向和垂直方向的各自的分辨率變換處理，將各個結(jié)果中分辨率提高效果較大的成分有選擇地或混合地輸出，由此實(shí)現(xiàn)二維的高分辨率化。以下說明分辨率變換部(4)的詳細(xì)內(nèi)容。
在圖20中，基于輸入至輸入部(1)的幀#1(2010)和幀#2(2013)，使用水平分辨率變換部(2001)和垂直分辨率變換部(2005)，分別生成使水平方向的像素?cái)?shù)增加的幀(2011)和使垂直方向的像素?cái)?shù)增加的幀(2014)。
此處，各分辨率變換部(2001)(2005)直接使用圖1所示的本發(fā)明的實(shí)施例1的圖像信號處理裝置的分辨率變換部(2)的結(jié)構(gòu)，分別進(jìn)行水平方向和垂直方向的信號處理。此時(shí)，水平分辨率變換部(2001)中，圖1所示的提升器(103)(104)、延遲器(105)(107)、π/2相位移動器(106)(108)分別進(jìn)行水平方向的提升、延遲、π/2相位移動。
同樣的，在垂直分辨率變換部(2005)中，圖1所示的提升器(103)(104)、延遲器(105)(107)、π/2相位移動器(106)(108)分別進(jìn)行垂直方向的提升、延遲、π/2相位移動。它們能夠使用圖5～圖8所示的動作和現(xiàn)有技術(shù)等而實(shí)施。
而且，作為各分辨率變換部(2001)(2005)，代替本發(fā)明的實(shí)施例1的圖像信號處理裝置的分辨率變換部的結(jié)構(gòu)，也可以使用本發(fā)明的實(shí)施例3的圖像信號處理裝置的分辨率變換部、本發(fā)明的實(shí)施例5的圖像信號處理裝置的分辨率變換部實(shí)現(xiàn)。在以下的說明中，使用本發(fā)明的實(shí)施例1的圖像信號處理裝置的分辨率變換部的結(jié)構(gòu)進(jìn)行說明。
在本實(shí)施例中，假設(shè)被拍攝體在水平、垂直方向進(jìn)行二維移動，使圖1和圖2所示的動作擴(kuò)展為二維。即，在水平分辨率變換部(2001)中的位置推定部(圖1中的(101))和運(yùn)動補(bǔ)償/提升部(圖1中的(115))中，以幀#1上的被拍攝體為基準(zhǔn)，對幀#2上的被拍攝體進(jìn)行二維的運(yùn)動補(bǔ)償，并且在各幀的像素的采樣相位差中，在折返成分除去部(圖1中的(117))的系數(shù)決定中使用水平相位差θH。
同樣的，在垂直分辨率變換部(2005)中的位置推定部(圖1中的(101))和運(yùn)動補(bǔ)償/提升部(圖1中的(115))中，以幀#1上的被拍攝體(2016)為基準(zhǔn)，對幀#2上的被拍攝體(2017)進(jìn)行二維的運(yùn)動補(bǔ)償，并且在各幀的像素的采樣相位差中，在折返成分除去部(圖1中的(117))的系數(shù)決定中使用垂直相位差θV。折返成分除去部(圖1中的(117))的系數(shù)決定也可以直接使用圖9所示的動作。
假設(shè)被拍攝體在傾斜方向上移動的情況，則通過水平分辨率變換部(2001)使水平方向的像素?cái)?shù)增加的幀(2011)中包含傾斜方向的變形，但在原來的輸入信號的垂直頻率較低的成分(豎線等)中，該變形較小，是能夠忽略的程度。同樣，通過垂直分辨率變換部(2005)使垂直方向的像素?cái)?shù)增加的幀(2014)中包含傾斜方向的變形，但在原來的輸入信號的水平頻率較低的成分(橫線等)中，該變形較小，是能夠忽略的程度。
利用該特性，通過上述信號處理使得水平方向的像素?cái)?shù)增加的幀(2011)，通過由垂直提升器(2002)和像素插補(bǔ)器(2003)構(gòu)成的垂直插補(bǔ)部(2004)生成幀(2012)，成為SR(水平)信號。此處的像素插補(bǔ)器(2003)使用一般的垂直低通濾波器即可，以輸出希望插補(bǔ)的像素的上下的像素?cái)?shù)據(jù)的平均值。同樣，垂直方向的像素?cái)?shù)增加的幀(2014)，通過由水平提升器(2006)和像素插補(bǔ)器(2007)構(gòu)成的水平插補(bǔ)部(2008)生成幀(2015)，成為SR(垂直)信號。此處的像素插補(bǔ)器(2007)使用一般的水平低通濾波器即可，以輸出希望插補(bǔ)的像素的左右的像素?cái)?shù)據(jù)的平均值。
這樣，使用像素插補(bǔ)器(2003)(2007)除去與處理對像的方向正交的方向的高頻成分，僅抽出低頻成分，則能夠使上述傾斜方向上移動時(shí)產(chǎn)生的變形的影響變小，成為能夠忽略的程度。通過上述處理生成的SR(水平)信號和SR(垂直)信號通過混合器(2009)進(jìn)行混合，成為輸出信號，在顯示部(3)中進(jìn)行顯示。
此處，對混合器(2009)的詳細(xì)結(jié)構(gòu)和動作進(jìn)行說明。混合器(2009)使用下述三個結(jié)構(gòu)例中的任一個即可。
圖22表示混合器(2009)的第一結(jié)構(gòu)例。在該圖中，使用加法器(2201)和乘法器(2202)，生成輸入混合器(2009)的SR(水平)和SR(垂直)的各信號的平均值并輸出。該圖所示的結(jié)構(gòu)中，水平、垂直的各分辨率提高效果分別成為1/2，但因?yàn)槟軌蛞宰詈唵蔚慕Y(jié)構(gòu)實(shí)現(xiàn)混合器(2009)，所以能夠?qū)崿F(xiàn)低成本。
圖23表示混合器(2009)的第二結(jié)構(gòu)例。在該圖中，相對輸入混合器(2009)的SR(水平)和SR(垂直)的各信號，使用乘法器(2303)和乘法器(2304)分別乘以系數(shù)K(水平)和系數(shù)K(垂直)，由加法器(2305)使兩者相加并輸出。系數(shù)K(水平)和系數(shù)K(垂直)分別由系數(shù)決定器(2301)(2302)生成。以下說明該系數(shù)決定器(2301)(2302)的動作。
圖21所示的折返成分除去部(2108)(2109)基于該圖所示的相位差θH(2102)和相位差θV(2103)，通過圖1所示的系數(shù)決定器(109)產(chǎn)生圖9所示的系數(shù)C0～C3，并進(jìn)行除去折返成分的運(yùn)算。此時(shí)，為了防止相位差θH(2102)、θV(2103)為0時(shí)的系數(shù)C1、C3的不確定以及相位差θH(2102)、θV(2103)接近0時(shí)的系數(shù)C1、C3變大而相對噪聲等變得脆弱的問題，導(dǎo)入圖13所示的系數(shù)C4(0≤C4≤1)，優(yōu)選以圖11所示的結(jié)構(gòu)進(jìn)行輔助的像素插補(bǔ)。反言之，系數(shù)C4的值為0.0時(shí)存在分辨率提高的效果，但隨著系數(shù)C4的值接近1.0，分辨率提高的效果變小。
利用該性質(zhì)，以水平相位差θH(2102)為0附近(即系數(shù)C4(水平)在1.0附近)時(shí)垂直分辨率變換結(jié)果的SR(垂直)被強(qiáng)烈反映；垂直相位差θV(2103)為0附近(即，系數(shù)C4(垂直)在1.0附近)時(shí)水平分辨率變換結(jié)果的SR(水平)被強(qiáng)烈反映的方式，使用水平、垂直方向各自的系數(shù)C4的值決定系數(shù)K(水平)和系數(shù)K(垂直)。為了實(shí)現(xiàn)該動作，例如在圖23所示的系數(shù)決定器(2301)中進(jìn)行K(水平)＝C4(水平)+(1-C4(垂直))/2的運(yùn)算，決定K(水平)，在系數(shù)決定器(2303)中進(jìn)行K(垂直)＝C4(垂直)+(1-C4(水平))/2的運(yùn)算，決定K(垂直)。
圖24中集中表示使系數(shù)C4(水平)和系數(shù)C4(垂直)分別變化時(shí)的系數(shù)決定器(2301)(2302)的輸出(系數(shù)K(水平)和系數(shù)K(垂直))的一個例子。如該圖所示，以下述方式動作，當(dāng)系數(shù)C4(水平)變大時(shí)，系數(shù)K(水平)變小并且系數(shù)K(垂直)變大；當(dāng)系數(shù)C4(垂直)變大時(shí)，系數(shù)K(水平)變大并且系數(shù)K(垂直)變小。
系數(shù)C4(水平)和系數(shù)C4(垂直)的值相等時(shí)，系數(shù)K(水平)和系數(shù)K(垂直)分別為0.5。這樣相對水平、垂直上獨(dú)立變化的系數(shù)C4，以使系數(shù)K(水平)和系數(shù)K(垂直)相加剛好為1.0的方式?jīng)Q定系數(shù)K，并混合SR(水平)和SR(垂直)。
使用圖25和圖26，分別說明混合器(2009)的第三動作和結(jié)構(gòu)例。圖25是水平頻率為μ、垂直頻率為v而表示的二維頻率區(qū)域。如果原輸入圖像的水平采樣頻率為μs、垂直采樣頻率為vs，則圖20和圖21所示的分辨率變換部(4)的輸出是水平頻率μ在-μs～μs的范圍內(nèi)、垂直頻率v在-vs～vs的范圍內(nèi)的信號。
通過水平、垂直的各分辨率變換使高頻成分再現(xiàn)，但因?yàn)楦哳l成分本來的信號電平就很小，因此水平分辨率變換的效果較大的是(μ，v)＝(±μs/2，0)的附近的頻率區(qū)域(2501)的成分(特別是包括(μ，v)＝(+μs/2，0)，μ＞0的頻率的區(qū)域，和包括(μ，v)＝(-μs/2，0)，μ＜0的頻率的區(qū)域的成分)，垂直分辨率變換的效果較大的是(μ，v)＝(0，±vs/2)的附近的頻率區(qū)域(2502)的成分(特別是包括(μ，v)＝(0，+vs/2)，v＞0的頻率的區(qū)域，和包括(μ，v)＝(0，-vs/2)，v＜0的頻率的區(qū)域的成分)。
由此，當(dāng)由二維濾波器抽出這些頻率成分(2501)(2502)并混合，則能夠有選擇地輸出分辨率提高效果較大的成分。
圖26表示將水平、垂直的各分辨率變換的效果較大的成分抽出的混合器(2009)的結(jié)構(gòu)例。在該圖中，使用二維濾波器(2601)，抽出輸入混合器(2009)的SR(水平)的分辨率提高效果較大的頻率區(qū)域(2501)的成分。同樣，使用二維濾波器(2602)，抽出輸入混合器(2009)的SR(垂直)的分辨率提高效果較大的頻率區(qū)域(2502)的成分。
作為頻率區(qū)域(2501)(2502)以外的成分，使用加法器(2603)和乘法器(2604)生成SR(水平)和SR(垂直)的平均的信號，使用二維濾波器(2605)，抽出二維濾波器(2601)(2602)的各通過帶域以外的成分(即殘余成分)。二維濾波器(2601)(2602)(2605)的各輸出信號在加算器(2606)中相加，成為混合器(2009)的輸出。
其中，該圖中所示的二維濾波器(2601)(2602)(2605)中的被圓圈包圍的數(shù)字分別表示濾波器的抽頭系數(shù)的一個例子。(為了說明的簡化，各濾波器的系數(shù)記述為整數(shù)。本來的系數(shù)值是由圓圈包圍的數(shù)字與其右部表示的“×1/16”等表示的運(yùn)算的積。例如，二維濾波器(2601)中由圓圈包圍的各個數(shù)字分別乘以1/16得到本來的系數(shù)值。以下的實(shí)施例表示的二維濾波器的系數(shù)與此相同。) 二維濾波器(2601)是以±μs/2作為通過帶域的中心頻率的水平帶通濾波器和垂直低通濾波器的積，二維濾波器(2602)是以±vs/2作為通過帶域的中心頻率的垂直帶通濾波器和水平低通濾波器的積，二維濾波器(2605)為從整個帶域中減去二維濾波器(2601)和二維濾波器(2602)的通過帶域的特性即可。
接著，使用圖34說明實(shí)施例7的圖像信號處理裝置的處理和上述現(xiàn)有技術(shù)的動作的不同。該圖(a)表示輸入分辨率變換部(4)的幀#1(3401)、幀#2(3402)、幀#3(3403)、幀#4(3404)、幀#5(3405)，該圖(b)表示從分辨率變換部(4)輸出的各幀。在各幀中，被拍攝體以1/4像素一次一次地右旋移動，有意地以四幀為一周的方式移動被拍攝體。該動作在幀#6以下也同樣連續(xù)進(jìn)行。
在專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1中記載的現(xiàn)有技術(shù)中，如上所述，在相對水平/垂直的二維的輸入信號進(jìn)行高分辨率化的情況下，因?yàn)檎鄯祦碜钥v橫兩個方向，所以原信號的帶域在縱橫方向均變寬至兩倍，三個折返成分重合，為了消除該折返成分需要2M+1＝7個數(shù)字?jǐn)?shù)據(jù)(＝7個幀圖像的信號)。因此，在如圖34(a)所示，四幀一周地輸入信號的情況下，無論選擇哪7個幀均不能夠得到獨(dú)立的數(shù)據(jù)，所以高分辨率化處理的解不確定，無法求解。
另一方面，使用本實(shí)施例，例如使用鄰接的兩幀(例如幀#1(3401)和幀#2(3402)，(或幀#2(3402)和幀#3(3403)))，如該圖(b)所示除去水平方向(或垂直方向)的折返成分，能夠?qū)崿F(xiàn)高分辨率化。即，通過使用該圖(a)的輸入圖像作為測試圖案，能夠確認(rèn)本實(shí)施例的動作狀況。作為該測試圖案的樣式，使用一般已知的圓形波帶板(CZPCircular Zone Plate)，則能夠在顯示部(3)直接看到分辨率變換的效果。即，如果使圓形波帶板在每幀中左右移動，則顯示水平方向的分辨率提高的圖像，如果上下(或傾斜)移動，則顯示垂直方向(或傾斜方向)的分辨率提高的圖像等，能夠確認(rèn)與測試圖案的移動方向相對應(yīng)的分辨率提高的效果。
根據(jù)以上說明的實(shí)施例7的圖像信號處理裝置，相對兩個輸入圖像幀的各圖像信號進(jìn)行相位移動，從各圖像信號中分別生成兩個信號。由此，能夠從兩個輸入圖像幀的圖像信號中生成四個信號。此處，基于兩個輸入圖像幀的相位差，對于該四個信號的各個信號，針對每個像素計(jì)算出用于消除該四個信號的折返成分而進(jìn)行合成的系數(shù)。對于生成的圖像的各個像素，計(jì)算在上述四個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各像素進(jìn)行上述處理，能夠生成相比于輸入圖像幀，在一維方向上已進(jìn)行高分辨率化的圖像。
在水平方向和垂直方向上分別進(jìn)行該處理，生成在水平方向上高分辨率化后的圖像和在垂直方向上高分辨率化后的圖像。對于該在水平方向上高分辨率化后的圖像和在垂直方向上高分辨率化后的圖像，在分別進(jìn)行垂直方向、水平方向的提升處理之后，使兩者混合。
由此，能夠從比現(xiàn)有例少的兩個輸入圖像幀的各圖像信號中生成在垂直方向和水平方向這兩個方向上高分辨率化后的高分辨率圖像。即，能夠生成二維高分辨率圖像。
此外，實(shí)施例7的圖像信號處理裝置使用比現(xiàn)有例少的兩個輸入圖像幀，因此相比于現(xiàn)有例能夠減少需要的圖像處理的量。由此，能夠以比現(xiàn)有例低的成本實(shí)現(xiàn)折返成分較少地生成在垂直方向和水平方向這兩個方向上分辨率高于輸入圖像的高分辨率圖像的圖像信號處理裝置。
也可以通過專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1記載的現(xiàn)有技術(shù)，使用三個幀，相對多個方向進(jìn)行水平方向、垂直方向等的一維高分辨率化，并在圖20所示的混合器(2009)中輸入這些結(jié)果進(jìn)行混合，作為二維的分辨率變換結(jié)果輸出。在該情況下，相比于圖20所示的僅使用兩幀進(jìn)行二維的分辨率變換的結(jié)構(gòu)，幀存儲器、運(yùn)動推定部等信號處理電路的規(guī)模變大，但如專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述，至少使用7幀的信號，也能夠使幀存儲器、運(yùn)動推定部等信號處理電路的規(guī)模變小。
此外，不限于專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述的現(xiàn)有技術(shù)，也可以應(yīng)用其他現(xiàn)有的高分辨率化技術(shù)，相對多個方向進(jìn)行水平方向、垂直方向等一維的高分辨率化，并在圖20所示的混合器(2009)中輸入這些結(jié)果進(jìn)行混合，作為二維的分辨率變換結(jié)果輸出。
此外，在圖20中，舉出使用幀#1和幀#2的輸入信號的組變換幀#1的分辨率的情況為例進(jìn)行了說明，但此外，例如也可以使用幀#1和幀#3、幀#1和幀#4等多個組分別變換幀#1的分辨率，將它們的結(jié)果混合，作為幀#1的最終的分辨率變換結(jié)果。
作為此時(shí)的混合方法，可以是各結(jié)果的平均值，也可以如圖23和圖24所示根據(jù)每幀的系數(shù)C4(幀)的值進(jìn)行混合。在該情況下，作為系數(shù)C4(幀)，也可以使用每幀的系數(shù)C4(水平)和系數(shù)C4(垂直)的MAX值(不是較小的值)。此外，也可以針對每個像素比較所有的組的系數(shù)C4(水平)和系數(shù)C4(垂直)，針對每個像素選擇從系數(shù)C4最小的組(即分辨率提高效果最大的組)得到的分辨率變換結(jié)果，并作為幀#1的最終的分辨率變換結(jié)果。
由此，例如以幀#1為基準(zhǔn)，在幀#2是幀#1之前(過去)的幀，幀#3是幀#1未來的幀時(shí)，在幀#1的時(shí)刻被拍攝體從“運(yùn)動”變化為“靜止”的情況下(結(jié)束運(yùn)動)，通過幀#1和幀#2進(jìn)行分辨率變換處理，在幀#1的時(shí)刻被拍攝體從“靜止”變化為“運(yùn)動”的情況下(開始運(yùn)動)，通過幀#1和幀#3進(jìn)行分辨率變換處理，以上述方式針對每個像素混合各處理結(jié)果，因此能夠有效地利用被拍攝體的運(yùn)動，能夠使分辨率提高效果最大。
[實(shí)施例8] 圖21表示本發(fā)明的實(shí)施例8的圖像信號處理裝置。本實(shí)施例的圖像處理裝置是上述實(shí)施例7的結(jié)構(gòu)的變形例，圖20所示的分辨率變換部(2001)(2005)和插補(bǔ)部(2004)(2008)的處理順序相反，以在進(jìn)行插補(bǔ)處理之后進(jìn)行分辨率變換的方式構(gòu)成。由此，能夠使分辨率變換部(2001)(2005)中的提升器(圖1中的(103)(104))和插補(bǔ)部(2004)(2008)中的提升器(圖20中的(2002)(2006))共用，并且能夠使水平分辨率變換部(2001)和垂直分辨率變換部(2005)中的各自的位置推定部(圖1中的(101))共用，因此能夠以更小的電路規(guī)模和運(yùn)算量實(shí)現(xiàn)同樣的信號處理。
在圖21中，首先通過位置推定部(2101)，以輸入輸入部(1)的幀#1上的處理對象的像素的采樣相位(取樣位置)為基準(zhǔn)，推定幀#2上的對應(yīng)的像素的位置，求取水平方向和垂直方向的各自的采樣相位差θH(2102)、θV(2103)。
接著，通過運(yùn)動補(bǔ)償/提升部(2110)的提升器(2104)(2105)，使用相位差θH(2102)、θV(2103)的信息對幀#2進(jìn)行運(yùn)動補(bǔ)償，使其與幀#1對位，使幀#1和幀#2的像素?cái)?shù)分別在水平/垂直方向上增加至2倍(共計(jì)4倍)，進(jìn)行高密度化。提升器(2104)(2105)使圖5和圖6所示的動作、結(jié)構(gòu)在水平/垂直方向二維擴(kuò)展。在相位移動部(2111)中，使該已高密度化的數(shù)據(jù)的相位只移動一定量。
此時(shí)，水平相位移動器(2106)進(jìn)行水平方向的相位移動，垂直相位移動器(2107)進(jìn)行垂直方向的相位移動，能夠同樣使用圖1所示的延遲器(105)(107)和π/2相位移動器(108)，并同樣地實(shí)施圖7和圖8所示的動作、結(jié)構(gòu)，因此省略說明。
相對已進(jìn)行過相位移動的各信號，通過折返成分除去部(2112)的水平方向的折返成分除去部(2108)和垂直方向的折返成分除去部(2109)分別除去水平/垂直方向的折返成分。接著使用像素插補(bǔ)部(2003)對水平方向的折返成分除去部(2108)的輸出進(jìn)行像素插補(bǔ)，成為SR(水平)信號，使用像素插補(bǔ)部(2007)對垂直方向的折返成分除去部(2109)的輸出進(jìn)行像素插補(bǔ)，成為SR(垂直)信號，由混合器(2009)使兩者混合并輸出。
折返成分除去部(2108)(2109)能夠直接使用圖1所示的折返成分除去部(117)的結(jié)構(gòu)。作為相位差θ(102)，在折返成分除去部(2108)中使用水平相位差θH(2102)，在折返成分除去部(2109)中使用水平相位差θH(2103)，進(jìn)行圖9所示的動作，由此能夠除去各個方向的折返成分。
而且，在以上的說明中，相位移動部(2111)同樣地使用圖1所示的延遲器(105)(107)和π/2相位移動器(108)，并同樣地實(shí)施圖7和圖8所示的動作、結(jié)構(gòu)，折返成分除去部(2108)(2109)直接使用圖1所示的折返成分除去部(117)的結(jié)構(gòu)，但除此之外，作為相位移動部(2111)，也可以分別在垂直方向、水平方向使用圖10的相位移動部(1009)，折返成分除去部(2108)(2109)也可以分別使用圖10的折返成分除去單元(1010)。而且，此時(shí)，也可以使折返成分除去部(2108)(2109)與圖11同樣分別設(shè)置有圖11的輔助的像素插補(bǔ)部(1105)。
其中，混合器(2009)與實(shí)施例7同樣，因此省略說明。
此外，圖34所示的相對輸入幀的動作也與實(shí)施例7同樣，因此省略說明。
以上說明的實(shí)施例8的圖像信號處理裝置具有實(shí)施例7的圖像信號處理裝置的效果，而且由于相比于實(shí)施例7的圖像信號處理裝置，能夠共用一部分的處理部，從而具有能夠以比實(shí)施例7的圖像信號處理裝置小的電路規(guī)模和運(yùn)算量實(shí)現(xiàn)同樣的信號處理的效果。
而且，也可以通過專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1記載的現(xiàn)有技術(shù)，使用三個幀，相對多個方向進(jìn)行水平方向、垂直方向等的一維高分辨率化，并在圖21所示的混合器(2009)中輸入這些結(jié)果進(jìn)行混合，作為二維的分辨率變換結(jié)果輸出。在該情況下，相比于圖21所示的僅使用兩幀進(jìn)行二維的分辨率變換的結(jié)構(gòu)，幀存儲器、運(yùn)動推定部等信號處理電路的規(guī)模變大，但如專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述，至少使用7幀的信號，也能夠使幀存儲器、運(yùn)動推定部等信號處理電路的規(guī)模變小。
此外，不限于專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述的現(xiàn)有技術(shù)，也可以應(yīng)用其他現(xiàn)有的高分辨率化技術(shù)，相對多個方向進(jìn)行水平方向、垂直方向等一維的高分辨率化，并在圖21所示的混合器(2009)中輸入這些結(jié)果進(jìn)行混合，作為二維的分辨率變換結(jié)果輸出。
此外，在圖21中，舉出使用幀#1和幀#2的輸入信號的組變換幀#1的分辨率的情況為例進(jìn)行了說明，但此外，例如也可以使用幀#1和幀#3、幀#1和幀#4等多個組分別變換幀#1的分辨率，將它們的結(jié)果混合，作為幀#1的最終的分辨率變換結(jié)果。
作為此時(shí)的混合方法，可以是各結(jié)果的平均值，也可以如圖23和圖24所示根據(jù)每幀的系數(shù)C4(幀)的值進(jìn)行混合。在該情況下，作為系數(shù)C4(幀)，也可以使用每幀的系數(shù)C4(水平)和系數(shù)C4(垂直)的MAX值(不是較小的值)。此外，也可以針對每個像素比較所有的組的系數(shù)C4(水平)和系數(shù)C4(垂直)，針對每個像素選擇從系數(shù)C4最小的組(即分辨率提高效果最大的組)得到的分辨率變換結(jié)果，并作為幀#1的最終的分辨率變換結(jié)果。
由此，例如以幀#1為基準(zhǔn)，在幀#2是幀#1之前的幀，幀#3是幀#1未來的幀時(shí)，在幀#1的時(shí)刻被拍攝體從“運(yùn)動”變化為“靜止”的情況下(結(jié)束運(yùn)動)，通過幀#1和幀#2進(jìn)行分辨率變換處理，在幀#1的時(shí)刻被拍攝體從“靜止”變化為“運(yùn)動”的情況下(開始運(yùn)動)，通過幀#1和幀#3進(jìn)行分辨率變換處理，以上述方式針對每個像素混合各處理結(jié)果，因此能夠有效地利用被拍攝體的運(yùn)動，能夠使分辨率提高效果最大。
[實(shí)施例9] 圖27表示本發(fā)明的實(shí)施例9的圖像信號處理裝置。本實(shí)施例的圖像處理裝置是在圖21所示的結(jié)構(gòu)例上進(jìn)一步添加右下和右上方向的傾斜成分的高分辨率變換部的結(jié)構(gòu)。即，在相位移動部(2708)上追加傾斜(右下)相位移動部(2701)和傾斜(右上)相位移動部(2702)，并且在折返成分除去部(2709)上追加折返成分除去部(2705)(2706)，在分別通過像素插補(bǔ)器(2710)(2711)之后，通過混合部(2707)混合SR(水平)、SR(垂直)、SR(右上)、SR(右下)的各信號，并輸出。此處，像素插補(bǔ)器(2710)(2711)使用一般的二維低通濾波器即可，能夠輸出希望插補(bǔ)的像素的上下左右的像素?cái)?shù)據(jù)的平均值。
作為相位差θ，傾斜方向的相位差信息是必需的，將由加法器(2703)使水平相位差θH(2102)和垂直相位差θV(2103)相加而得到的相位差(θH+θV)輸入至折返成分除去部(2705)；將由減法器(2704)生成的相位差(-θH+θV)輸入折返成分除去部(2706)，按照上述的方式構(gòu)成即可。而且，折返成分除去部(2106)(2109)(2705)(2706)的結(jié)構(gòu)和動作全部是共通的。
圖28(a)～(d)中表示在二維頻率區(qū)域中的水平相位移動部(2106)、垂直相位移動部(2107)、傾斜(右下)相位移動部(2701)、傾斜(右上)相位移動部(2702)的各自的動作。圖28(a)～(d)與圖25同樣是水平頻率為μ、垂直頻率為v而表示的二維頻率區(qū)域。這些相位移動部(2106)(2107)(2701)(2702)與圖1所示的相位移動部(116)為同樣的結(jié)構(gòu)，使其中的/2相位移動器(106)(108)的“頻率-相位差”特性與各自的方向相配合地進(jìn)行變更。
即，在該圖(a)中，在水平相位移動部(2106)中，在輸入信號的水平頻率采樣頻率為μs的情況下，與圖7所示的動作同樣，使-μs～0的范圍的頻率成分的相位只移動/2，使0～μs的范圍的頻率成分的相位只移動-/2。同樣的，在垂直相位移動部(2107)中，在輸入信號的垂直頻率采樣頻率為vs的情況下，使-vs～0的范圍的頻率成分的相位只移動π/2，使0～vs的范圍的頻率成分的相位只移動-π/2。
同樣的，在傾斜(右下)相位移動部(2701)和傾斜(右上)相位移動部(2702)中，如該圖(c)和該圖(d)分別表示的，信號的相位只移動-π/2或π/2。這些“頻率-相位差”特性能夠通過使圖8所示的抽頭系數(shù)(タツプ係數(shù))與二維采樣點(diǎn)相配合地配置在水平、垂直、傾斜(右下)、傾斜(右上)的各個方向而容易地實(shí)現(xiàn)。
圖29表示混合器(2707)的第一結(jié)構(gòu)例。在該圖中，使用加法器(2901)和乘法器(2902)，生成輸入混合器(2707)的SR(水平)、SR(垂直)、SR(右下)、SR(右上)的各信號的平均值并輸出。該圖所示的結(jié)構(gòu)是最簡單地構(gòu)成混合器(2707)的例子，水平、垂直、右下、右上的各分辨率提高效果均分別成為1/4。
圖30表示混合器(2707)的第二結(jié)構(gòu)例。在該圖中，相對輸入混合器(2707)的SR(水平)、SR(垂直)、SR(右上)、SR(右下)的各信號，使用乘法器(3005)、乘法器(3006)、乘法器(3007)、乘法器(3008)，分別乘以系數(shù)K(水平)、系數(shù)K(垂直)、系數(shù)K(右下)、系數(shù)K(右上)，由加法器(3009)使這些信號相加并輸出。系數(shù)K(水平)、系數(shù)K(垂直)、系數(shù)K(右下)、系數(shù)K(右上)分別由系數(shù)決定器(3001)(3002)(3003)(3004)生成。以下說明該系數(shù)決定器(3001)(3002)(3003)(3004)的動作。
圖27所示的折返成分除去部(2108)(2109)(2705)(2706)基于該圖所示的相位差θH(2102)、相位差θV(2103)、相位差(θH+θV)、相位差(-θH+θV)，通過圖1所示的系數(shù)決定器(109)產(chǎn)生圖9所示的系數(shù)C0～C3，并進(jìn)行除去折返成分的運(yùn)算。此時(shí)，為了防止相位差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)為0時(shí)的系數(shù)C1和C3的不確定以及相位差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)接近0時(shí)的系數(shù)C1、C3變大而相對噪聲等變得脆弱的問題，導(dǎo)入圖13所示的系數(shù)C4(0≤C4≤1)，優(yōu)選以圖11所示的結(jié)構(gòu)進(jìn)行輔助的像素插補(bǔ)。反言之，系數(shù)C4的值為0.0時(shí)存在分辨率提高的效果，但隨著系數(shù)C4的值接近1.0，分辨率提高的效果變小。利用該性質(zhì)，以水平相位差θH(2102)為0附近(即系數(shù)C4(水平)在1.0附近)時(shí)水平分辨率變換結(jié)果的SR(水平)變?nèi)?；水平相位差θH(2102)不為0附近(即，系數(shù)C4(水平)在0.0附近)時(shí)水平分辨率變換結(jié)果的SR(水平)變強(qiáng)的方式，通過系數(shù)決定器(3001)決定系數(shù)K(水平)。
作為其一個例子，系數(shù)K(水平)＝(1+C4(水平)×3-C4(垂直)-C4(右下)-C4(右上))/4即可。同樣的，通過系數(shù)決定器(3002)(3003)(3004)分別決定系數(shù)K(垂直)、K(右下)、K(右上)。此時(shí)，對于獨(dú)立變化的系數(shù)C4(水平)、系數(shù)C4(垂直)、系數(shù)C4(右下)、系數(shù)C4(右上)，以系數(shù)K(水平)+系數(shù)K(垂直)+系數(shù)K(右下)+系數(shù)K(右上)＝1.0的方式?jīng)Q定系數(shù)K，混合SR(水平)、SR(垂直)、SR(右上)、SR(右下) 在圖31和圖32中分別表示混合器(2707)的第三動作和結(jié)構(gòu)例。圖31與圖25同樣是水平頻率為μ、垂直頻率為v而表示的二維頻率區(qū)域。在圖31中，如果原輸入圖像的水平采樣頻率為μs、垂直采樣頻率為vs，則圖27所示的分辨率變換部(4)的輸出是水平頻率μ在-μs～μs的范圍內(nèi)、垂直頻率v在-vs～vs的范圍內(nèi)的信號。
傾斜(右上)的分辨率變換的效果較大的是，圖31所示的(μ，v)＝(+μs/2，+vs/2)的附近和(μ，v)＝(-μs/2，-vs/2)的附近的頻率區(qū)域(3101)的成分(特別是包括(μ，v)＝(+μs/2，+vs/2)，μ＞0、v＞0的頻率的區(qū)域，和包括(μ，v)＝(-μs/2，-vs/2)，μ＜0、v＜0的頻率的區(qū)域的成分)。
傾斜(右下)的分辨率變換的效果較大的是，圖31所示的(μ，v)＝(+μs/2，-vs/2)的附近和(μ，v)＝(-s/2，+vs/2)的附近的頻率區(qū)域(3102)的成分(特別是包括(μ，v)＝(+μs/2，-vs/2)，μ＞0、v＜0的頻率的區(qū)域，和包括(μ，v)＝(-μs/2，+vs/2)，μ＜0、v＞0的頻率的區(qū)域的成分)。
由此，由二維濾波器抽出這些頻率成分(3101)(3102)，并與圖25所示的頻率成分(2501)(2502)一同混合，則能夠有選擇地輸出分辨率提高效果較大的成分。
圖32表示抽出水平、垂直、傾斜(右下)、傾斜(右上)的各分辨率變換的效果較大的成分的混合器(2707)的結(jié)構(gòu)例。在該圖中，使用二維濾波器(3201)，抽出輸入混合器(2707)的SR(右下)的分辨率提高效果較大的頻率區(qū)域(3102)的成分。同樣，使用二維濾波器(3202)，抽出輸入混合器(2707)的SR(右上)的分辨率提高效果較大的頻率區(qū)域(3101)的成分。此外，通過圖26所示的二維濾波器(2601)(2602)，分別抽出SR(水平)和SR(垂直)的分辨率提高效果較大的頻率區(qū)域(2501)(2502)的成分。作為頻率區(qū)域(2501)(2502)(3101)(3102)以外的成分，使用加法器(3203)和乘法器(3204)生成SR(水平)、SR(垂直)、SR(右下)、SR(右上)的平均的信號，使用二維濾波器(3205)，抽出二維濾波器(2601)(2602)(3201)(3202)的各通過帶域以外的成分。二維濾波器(2601)(2602)(3201)(3202)(3205)的各輸出信號在加算器(3206)中相加，成為混合器(2707)的輸出。
其中，該圖中所示的二維濾波器(2601)(2602)(3201)(3202)(3205)中的被圓圈包圍的數(shù)字分別表示濾波器的抽頭系數(shù)的一個例子。
根據(jù)以上說明的實(shí)施例9的圖像信號處理裝置，能夠生成在水平方向和垂直方向之外，傾斜方向也被高分辨率化的高分辨率圖像。
而且，也可以通過專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1記載的現(xiàn)有技術(shù)，使用三個幀，相對多個方向進(jìn)行一維(水平、垂直、傾斜(右下)、傾斜(右上))的高分辨率化，并在圖27所示的混合器(2707)中輸入這些結(jié)果進(jìn)行混合，作為二維的分辨率變換結(jié)果輸出。在該情況下，相比于圖27所示的僅使用兩幀進(jìn)行二維的分辨率變換的結(jié)構(gòu)，幀存儲器、運(yùn)動推定部等信號處理電路的規(guī)模變大，但如專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述，至少使用7幀的信號，也能夠使幀存儲器、運(yùn)動推定部等信號處理電路的規(guī)模變小。
此外，不限于專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1所述的現(xiàn)有技術(shù)，也可以應(yīng)用其他現(xiàn)有的高分辨率化技術(shù)，相對多個方向進(jìn)行一維(水平、垂直、傾斜(右下)、傾斜(右上))的高分辨率化，并在圖27所示的混合器(2707)中輸入這些結(jié)果進(jìn)行混合，作為二維的分辨率變換結(jié)果輸出。
此外，在圖27中，舉出使用幀#1和幀#2的輸入信號的組變換幀#1的分辨率的情況為例進(jìn)行了說明，但此外，例如也可以使用幀#1和幀#3、幀#1和幀#4等多個組分別變換幀#1的分辨率，將它們的結(jié)果混合，作為幀#1的最終的分辨率變換結(jié)果。作為此時(shí)的混合方法，可以是各結(jié)果的平均值，也可以如圖23和圖24所示根據(jù)每幀的系數(shù)C4(幀)的值進(jìn)行混合。在該情況下，作為系數(shù)C4(幀)，也可以使用每幀的系數(shù)C4(水平)和系數(shù)C4(垂直)的MAX值(不是較小的值)。此外，也可以針對每個像素比較所有的組的系數(shù)C4(水平)和系數(shù)C4(垂直)，針對每個像素選擇從系數(shù)C4最小的組(即分辨率提高效果最大的組)得到的分辨率變換結(jié)果，并作為幀#1的最終的分辨率變換結(jié)果。
由此，例如以幀#1為基準(zhǔn)，在幀#2是幀#1之前的幀，幀#3是幀#1未來的幀時(shí)，在幀#1的時(shí)刻被拍攝體從“運(yùn)動”變化為“靜止”的情況下(結(jié)束運(yùn)動)，通過幀#1和幀#2進(jìn)行分辨率變換處理，在幀#1的時(shí)刻被拍攝體從“靜止”變化為“運(yùn)動”的情況下(開始運(yùn)動)，通過幀#1和幀#3進(jìn)行分辨率變換處理，以上述方式針對每個像素混合各處理結(jié)果，因此能夠有效地利用被拍攝體的運(yùn)動，能夠使分辨率提高效果最大。
[實(shí)施例10] 使用圖33說明本發(fā)明的實(shí)施例10的圖像信號處理方法。
實(shí)施例10表示通過與軟件協(xié)同作用的控制部實(shí)現(xiàn)與實(shí)施例9的圖像信號處理裝置的圖像信號處理等價(jià)的處理的圖像信號處理方法。進(jìn)行本實(shí)施例的圖像信號處理方法的圖像處理裝置與實(shí)施例2同樣為圖18所示的圖像處理裝置，因此省略其說明。
圖33表示本實(shí)施例的動作的流程圖。圖33的流程是，從步驟(3301)開始，在步驟(5-1)(5-2)(5-3)(5-4)分別進(jìn)行水平、垂直、傾斜(右下)、傾斜(右上)的高分辨率化。此處，在各步驟(5-1)(5-2)(5-3)(5-4)中，圖14～圖16所示的處理步驟(5)或后述的圖42～圖44所示的處理步驟(5)中的任一個在水平、垂直、傾斜(右下)、傾斜(右上)的各方向?qū)嵤┘纯伞＜?，使?2相位移動(1407)(1408)、希爾伯特變換(1510)等的“頻率-相位”特性如圖28所示根據(jù)各個方向變更，并且將相位差θ分別置換為θH、θV、(θH+θV)、(-θH+θV)進(jìn)行處理即可。如使用圖14～圖16所說明的，各步驟(5-1)(5-2)(5-3)(5-4)的處理結(jié)果寫入各自的幀緩存器#3。接著，在步驟(3302-1)(3302-2)(3302-3)(3302-4)中，分別進(jìn)行垂直、水平、傾斜方向的像素插補(bǔ)，以輸出的幀的水平、垂直的像素?cái)?shù)相同的方式生成二維幀緩存器#3的全像素。接著，在步驟(3303)中，依據(jù)使用圖29、圖30、圖32所說明的方法針對每個像素混合各幀緩存器#3的數(shù)據(jù)，輸出至輸出用的幀緩存器#4。而且，在通過軟件程序?qū)崿F(xiàn)上述第8～實(shí)施例9的動作的情況下，不需要進(jìn)行傾斜方向的處理的步驟(5-3)(5-4)，相對它們的結(jié)果進(jìn)行像素插補(bǔ)的步驟(3302-3)(3302-4)。此外，作為步驟(3303)的混合方法，依據(jù)使用圖22、圖23、圖26說明的方法，混合數(shù)據(jù)。
根據(jù)以上說明的實(shí)施例10的圖像信號處理方法，能夠生成在水平方向和垂直方向之外，傾斜方向也被高分辨率化的高分辨率圖像。
[實(shí)施例11] 圖54表示本發(fā)明的實(shí)施例11的圖像處理裝置。本實(shí)施例的圖像處理裝置包括例如被輸入電視播放信號等運(yùn)動圖像的幀列的輸入部(1)；使用從該輸入部(1)輸入的4個幀，用于分別進(jìn)行水平方向兩倍、垂直方向兩倍的高分辨率化的分辨率變換部(8)；和基于通過該分辨率變換部(8)被高分辨率化的幀而顯示圖像的顯示部(3)。在該分辨率變換部(8)中，相對輸入的四個幀的各圖像信號，進(jìn)行水平方向、垂直方向和水平/垂直方向的各自的相位移動，由此除去二維頻率區(qū)域的折返成分，實(shí)現(xiàn)二維的高分辨率化。以下說明分辨率變換部(8)的詳細(xì)內(nèi)容。
在圖54中，首先通過位置推定部(5406-2)(5406-3)(5406-4)，以輸入輸入部(1)的幀#1上的處理對象的像素的二維的采樣位置(取樣位置)為基準(zhǔn)，推定幀#2、幀#3、幀#4上的各自的對應(yīng)的像素的二維位置，求取水平相位差θH2(5407-2)、θH3(5407-3)、θH4(5407-4)和垂直相位差θV2(5408-2)、θV3(5408-3)、θV4(5408-4)。接著，通過運(yùn)動補(bǔ)償/提升部(5410)的水平/垂直提升器(5401-1)(5401-2)(5401-3)(5401-4)，使用上述相位差θH2(5407-2)、θH3(5407-3)、θH4(5407-4)、θV2(5408-2)、θV3(5408-3)、θV4(5408-4)的各信息，對幀#2、幀#3、幀#4進(jìn)行運(yùn)動補(bǔ)償，使其與幀#1進(jìn)行位置調(diào)整，并且使各幀的像素?cái)?shù)分別在水平、垂直方向上增加至2倍，進(jìn)行合計(jì)4倍的高密度化。在相位移動部(5411)中，使用水平相位移動器(5403-1)(5403-2)(5403-3)(5403-4)、垂直相位移動器(5404-1)(5404-2)(5404-3)(5404-4)、水平/垂直相位移動器(5405-1)(5405-2)(5405-3)(5405-4)，使該已高密度化的數(shù)據(jù)的相位在水平方向、垂直方向、水平/垂直方向分別移動一定量。此處，作為使數(shù)據(jù)的相位移動一定量的單元，能夠使用上述希爾伯特變換器等π/2相位移動器。在折返成分除去部(5409)中，使用來自上述相位移動部(5411)的合計(jì)16個信號和來自相位推定部(5412)的合計(jì)6個相位差信號，除去水平/垂直的各個方向的折返成分，得到輸出。該輸出供給顯示部3。其中，位置推定部(5406-2)(5406-3)(5406-4)能夠直接使用上述現(xiàn)有技術(shù)。水平/垂直提升器(5401-1)(5401-2)(5401-3)(5401-4)將圖5和圖6所示的動作、結(jié)構(gòu)在水平/垂直方向二維擴(kuò)展。相位移動器(5411)、折返成分除去部(5409)的各詳細(xì)內(nèi)容在后面敘述。
圖55表示水平/垂直相位移動器(5405-1)(5405-2)(5405-3)(5405-4)的結(jié)構(gòu)例。因?yàn)閳D像信號的水平方向的相位和垂直方向的相位相互獨(dú)立，因此水平/垂直相位移動器(5405)能夠如圖所示串聯(lián)組合垂直相位移動器(5404)和水平相位移動器(5403)而實(shí)現(xiàn)。此外可知，使連接順序相反，將水平相位移動器(5403)配置在垂直相位移動器(5404)之前也能夠進(jìn)行相同的動作。
圖56中表示上述相位移動部(5411)、折返成分除去部(5409)的各詳細(xì)的動作。該圖(a)是水平頻率為μ、垂直頻率為v而表示的二維頻率區(qū)域。如果原輸入圖像的水平采樣頻率為μs、垂直采樣頻率為vs，以該圖(a)的原點(diǎn)(即(μ，v)＝(0，0))的附近的信號作為原成分，可知在(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置生成折返成分。而且，在它們的原點(diǎn)對稱的位置(即(μ，v)＝(-μs，0)、(μ，v)＝(0，-vs)、(μ，v)＝(-μs，-vs))處也生成折返成分，但因?yàn)轭l率的對稱性，分別等價(jià)于(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置的折返成分。關(guān)于通過圖54所示的分辨率變換部(8)分別進(jìn)行的水平方向兩倍、垂直方向兩倍的高分辨率化來說，在通過運(yùn)動補(bǔ)償/提升部(5410)分別在水平方向、垂直方向進(jìn)行兩倍的提升(0插入)而使像素?cái)?shù)為4倍之后，除去在圖56(a)中表示的(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置生成的折返成分即可。以下說明該動作。
在圖56(b)中表示在(μ，v)＝(0，0)、(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置上的各成分的水平相位旋轉(zhuǎn)和垂直相位旋轉(zhuǎn)的狀態(tài)。如圖4所示，在采樣相位不同的多個幀之間，不產(chǎn)生原成分的相位旋轉(zhuǎn)，僅是折返成分與采樣相位差相應(yīng)地進(jìn)行相位旋轉(zhuǎn)。于是，如果考慮以原成分的相位作為基準(zhǔn)(Re軸)，如圖54所示由相位移動部(5411)在水平、垂直、水平/垂直方向上產(chǎn)生相位正交軸(Im軸)成分，則如圖56(b)所示，僅使作為原成分的(μ，v)＝(0，0)(即#1)的水平Re軸(＝?jīng)]有水平方向的相位旋轉(zhuǎn))和垂直Re軸(沒有垂直方向的相位旋轉(zhuǎn))的成分的值(各相位移動后的信號的合計(jì)值)為“1”，其他成分(即#2～#16)的值為“0”，則能夠消除折返成分，僅抽出原成分。
在圖56(c)中表示用于實(shí)現(xiàn)上述圖56(b)所示的相位關(guān)系的矩陣運(yùn)算式。在該圖中，M是具有16×16的要素的矩陣，是表示水平、垂直、水平/垂直的各相位旋轉(zhuǎn)的運(yùn)算。關(guān)于該矩陣M的詳細(xì)內(nèi)容在后面敘述。此外，在該圖的左邊表示圖56(b)的值，右邊的C1ReRe～C4ImIm表示通過圖54所示的折返成分除去部(5409)在相位移動部(5411)的各輸出信號上乘以的系數(shù)。即，關(guān)于圖54所示的幀#1，在延遲器(5402-1)的輸出信號上乘以系數(shù)C1ReRe，在水平相位移動器(5403-1)的輸出信號上乘以系數(shù)C1ImRe，在垂直相位移動器(5404-1)的輸出信號上乘以系數(shù)C1ReIm，在水平/垂直相位移動器(5405-1)的輸出信號上乘以系數(shù)C1ImIm。以下同樣，關(guān)于幀#2，在延遲器(5402-2)的輸出信號上乘以系數(shù)C2ReRe，在水平相位移動器(5403-2)的輸出信號上乘以系數(shù)C2ImRe，在垂直相位移動器(5404-2)的輸出信號上乘以系數(shù)C2ReIm，在水平/垂直相位移動器(5405-2)的輸出信號上乘以系數(shù)C2ImIm。關(guān)于幀#3，在延遲器(5402-3)的輸出信號上乘以系數(shù)C1ReRe，在水平相位移動器(5403-3)的輸出信號上乘以系數(shù)C3ImRe，在垂直相位移動器(5404-3)的輸出信號上乘以系數(shù)C3ReIm，在水平/垂直相位移動器(5405-3)的輸出信號上乘以系數(shù)C3ImIm。關(guān)于幀#4，在延遲器(5402-4)的輸出信號上乘以系數(shù)C4ReRe，在水平相位移動器(5403-4)的輸出信號上乘以系數(shù)C4ImRe，在垂直相位移動器(5404-4)的輸出信號上乘以系數(shù)C4ReIm，在水平/垂直相位移動器(5405-4)的輸出信號上乘以系數(shù)C4ImIm。在通過后述的折返成分除去部(5409)，使乘以上述系數(shù)而得的合計(jì)16個信號全部相加時(shí)，如果以使圖56(c)的關(guān)系總是成立的方式?jīng)Q定上述系數(shù)C1ReRe～C4ImIm，則能夠消除折返成分，僅抽出原成分。
圖56(d)表示矩陣M的詳細(xì)內(nèi)容。矩陣M是具有上述16×16個要素的矩陣，由以mij(其中，行編號i和列編號j是滿足1≤i≤4，1≤j≤4的整數(shù))表示的具有4×4個要素的部分矩陣構(gòu)成。該部分矩陣mij根據(jù)行編號i分類為該圖(e)(f)(g)(h)所示。
在圖56(e)中表示行編號i＝1時(shí)的部分矩陣m1j(即m11、m12、m13、m14)的各要素。該部分矩陣m1j是對頻率(μ，v)＝(0，0)的成分起作用的要素，因?yàn)榕c幀間的采樣相位差無關(guān)，不會產(chǎn)生水平/垂直的相位旋轉(zhuǎn)，因此成為單位矩陣(即，向右下傾斜的對角線上的要素均為1，其余要素均為0的矩陣)。
在圖56(f)中表示行編號i＝2時(shí)的部分矩陣m2j(即m21、m22、m23、m24)的各要素。該部分矩陣m2j是對(μ，v)＝(μs，0)的成分起作用的要素，是根據(jù)采樣的水平相位差θHj(其中，j是滿足1≤j≤4的整數(shù))使水平方向的相位旋轉(zhuǎn)的旋轉(zhuǎn)矩陣。即，垂直相位軸相同的圖56(b)所示的#5和#6、以及#7和#8分別成對，以水平頻率軸為中心使相位旋轉(zhuǎn)θHj的旋轉(zhuǎn)矩陣。其中，j＝1時(shí)的水平相位差θH1在圖54中沒有表示，但將其解釋為幀#1(基準(zhǔn))和幀#1(與處理對象＝基準(zhǔn)相同)之間的相位差(＝0)，以θH1＝0進(jìn)行處理即可。以下，關(guān)于垂直相位差θV1，也同樣地作為θV1＝0處理。
在圖56(g)中表示行編號i＝3時(shí)的部分矩陣m3j(即m31、m32、m33、m34)的各要素。該部分矩陣m3j是對(μ，v)＝(0，vs)的成分起作用的要素，是根據(jù)采樣的垂直相位差θVj(其中，j是滿足1≤j≤4的整數(shù))使垂直方向的相位旋轉(zhuǎn)的旋轉(zhuǎn)矩陣。即，水平相位軸相同的圖56(b)所示的#9和#11、以及#10和#12分別成對，以垂直頻率軸為中心使相位旋轉(zhuǎn)θVj的旋轉(zhuǎn)矩陣。
在圖56(h)中表示行編號i＝4時(shí)的部分矩陣m4j(即m41、m42、m43、m44)的各要素。該部分矩陣m4j是對(μ，v)＝(μs，vs)的成分起作用的要素，是根據(jù)采樣的水平相位差θHj和垂直相位差θVj(其中，j是滿足1≤j≤4的整數(shù))這兩者，使水平方向、垂直方向的相位均旋轉(zhuǎn)的旋轉(zhuǎn)矩陣。即，是上述m2j和m3j的積。
換個角度看，關(guān)于m1j、m2j、m3j，設(shè)其如m4j所示是使水平方向、垂直方向的相位均旋轉(zhuǎn)的旋轉(zhuǎn)矩陣，則認(rèn)為在m1j的情況下是設(shè)定成θHj＝θVj＝0，在m2j的情況下是設(shè)定成θVj＝0，在m3j的情況下是設(shè)定成θHj＝0，成為與上述說明相同的部分矩陣。
這樣，基于各采樣相位差(θHj，θVj)決定矩陣M，以圖56(c)所示的等式總是成立的方式，決定合計(jì)16個系數(shù)(C1ReRe～C4ImIm)。此時(shí)，相對矩陣M預(yù)先求取逆矩陣M-1，通過圖56(i)所示的運(yùn)算決定系數(shù)(C1ReRe～C4ImIm)即可。作為求取逆矩陣M-1的方法，已知使用余因子矩陣的方法、使用Gauss-Jordan的清償法(掃き出し法)的方法、分解為三角矩陣以進(jìn)行計(jì)算的方法等，因此，此處省略圖示。
圖57表示圖54所示的折返成分除去部(5409)的詳細(xì)的結(jié)構(gòu)例。在該圖中，在系數(shù)決定部(5701)中，基于從圖54所示的位置推定部(5412)輸出的水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)，通過圖56(i)所示的逆矩陣運(yùn)算，生成各系數(shù)(C1ReRe～C4ImIm)。這些系數(shù)通過乘法器(5702)與從相位移動部(5411)輸出的各幀的信號相乘，通過加法器(5703)進(jìn)行全加法計(jì)算，成為折返成分除去部(5409)的輸出信號(即，分辨率變換部(8)的輸出信號)。因?yàn)橐话銇碚f，水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)在輸入幀上的每個像素中值不同，所以必須針對每個像素進(jìn)行上述逆矩陣運(yùn)算。此時(shí)，也可以使水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)為代表性的相位差(例如圖9(d)所示的π/8的整數(shù)倍等)，預(yù)先生成各系數(shù)(C1ReRe～C4ImIm)，使用ROM(Read Only Memory只讀存儲器)等進(jìn)行表格化。因?yàn)橐阎话愕谋砀駞⒄辗绞剑允÷詧D示。
圖58表示圖54所示的折返成分除去部(5409)的其他結(jié)構(gòu)例。在上述說明中，按照使得圖56(c)所示的等式總是成立的方式?jīng)Q定合計(jì)16個系數(shù)(C1ReRe～C4ImIm)時(shí)，預(yù)先求取相對矩陣M的逆矩陣M-1，通過圖56(i)所示的運(yùn)算決定系數(shù)(C1ReRe～C4ImIm)，但是，存在依據(jù)水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)的值，逆矩陣M-1不存在，系數(shù)(C1ReRe～C4ImIm)無法決定的情況。逆矩陣M-1是否存在，在通過系數(shù)決定部(5701)計(jì)算逆矩陣M-1時(shí)，由使用余因子矩陣的方法、使用Gause-Jordan的消去法的方法、分解成三角矩陣進(jìn)行計(jì)算的方法等的運(yùn)算過程能夠容易地進(jìn)行判定，在不存在逆矩陣M-1的情況下，以通過上述圖21等所示的分辨率變換部(4)使用幀#1和幀#2取得輸出信號的方式，切換輸出信號即可。即，使用圖58所示的水平方向的折返成分除去部(2108)、垂直方向的折返成分除去部(2109)、像素插補(bǔ)器(2003)(2007)、混合器(2009)，基于從相位移動部(5411)輸出的幀#1和幀#2，以及從位置推定部輸出的水平相位差θH2(5407-2)和垂直相位差θV2(5408-2)，生成分辨率變換結(jié)果，使用切換器(5801)與上述加法器(5703)的結(jié)果進(jìn)行切換，成為輸出信號即可。而且，也可以不是使用切換器(5801)進(jìn)行二維切換，而是以連續(xù)混合(即加權(quán)加法運(yùn)算)加法器(5703)的輸出和混合器(2009)的輸出的方式構(gòu)成，例如以在不存在逆矩陣M-1的像素的附近增加混合器(2009)的輸出的混合比的方式構(gòu)成。
通過以上說明的折返成分的除去處理，在圖56(a)所示的二維頻率區(qū)域中，在水平方向上能夠達(dá)到從中心到(μ，v)＝(μs，0)的分辨率提高效果。此外，在垂直方向上能夠達(dá)到從中心到(μ，v)＝(0，vs)的分辨率提高效果。此外，在傾斜方向上能夠達(dá)到從中心到(μ，v)＝(μs，vs)的分辨率提高效果。
此處，在實(shí)施例7所示的圖像信號處理裝置和圖像信號處理方法中，在水平方向和垂直方向之外，在傾斜方向也進(jìn)行高分辨率化，但其傾斜方向的分辨率提高效果如圖31所示，不會達(dá)到(μ，v)＝(μs，vs)。
由此，圖54所示的圖像信號處理裝置，相比于實(shí)施例7的圖像信號處理裝置，具有在傾斜方向上能夠提高分辨率直至高頻成分的效果。
接著，使用圖60，說明本發(fā)明的實(shí)施例11的圖像信號處理裝置與現(xiàn)有技術(shù)的動作的不同點(diǎn)。該圖(a)表示輸入圖54所示的分辨率變換部(8)的幀#1(6001)、幀#2(6002)、幀#3(6003)、幀#4(6004)、幀#5(6005)，該圖(b)表示從分辨率變換部(8)輸出的各幀。在各幀中，被拍攝體以1/4像素一次一次地右旋移動，有意地以四幀為一周的方式移動被拍攝體。該動作在幀#5以后也同樣連續(xù)進(jìn)行。
在專利文獻(xiàn)1、專利文獻(xiàn)2、非專利文獻(xiàn)1中記載的現(xiàn)有技術(shù)中，如上所述，在相對水平/垂直的二維的輸入信號進(jìn)行高分辨率化的情況下，因?yàn)檎鄯祦碜钥v橫兩個方向，所以原信號的帶域在縱橫方向均變寬至兩倍，三個折返成分重合，為了消除該折返成分需要2M+1＝7個數(shù)字?jǐn)?shù)據(jù)(＝7個幀圖像的信號)。因此，在如圖34(a)所示，四幀一周地輸入信號的情況下，無論選擇哪7個幀均不能夠得到獨(dú)立的數(shù)據(jù)，所以高分辨率化處理的解不確定，無法求解。
另一方面，使用實(shí)施例11，例如使用鄰接的四幀(幀#1(6001)、幀#2(6002)、幀#3(6003)和幀#4(6004))，如該圖(b)所示除去水平方向、垂直方向、水平/垂直方向的折返成分，能夠?qū)崿F(xiàn)高分辨率化。即，通過使用該圖(a)的輸入圖像作為測試圖案，能夠確認(rèn)本實(shí)施例的動作狀況。作為該測試圖案的樣式，使用一般已知的圓形波帶板(CZPCircular Zone Plate)，則能夠在顯示部(3)直接看到分辨率變換的效果。即，如果使圓形波帶板如圖60(a)所示四幀一周地進(jìn)行移動，則總是能夠顯示已提高水平方向的分辨率和垂直方向的分辨率的圖像，能夠確認(rèn)分辨率提高的效果。
根據(jù)以上說明的實(shí)施例11的圖像信號處理裝置，相對4個輸入圖像幀的各圖像信號進(jìn)行方向不同的多種類的相位移動(水平方向、垂直方向、水平/垂直方向)，由此從各個圖像信號中分別生成4個信號。由此，能夠從4個輸入圖像幀的圖像信號中生成16個信號。此處，基于上述4個輸入圖像幀的相位差，對于該16個信號的各個信號，針對每個像素計(jì)算出用于消除該16個信號的折返成分而進(jìn)行合成的系數(shù)。對于生成的圖像的各個像素，計(jì)算在上述16個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。
由此，實(shí)施例11的圖像信號處理裝置，在水平方向和垂直方向之外，能夠生成右下方向和右上方向的傾斜成分也被高分辨率化的高分辨率圖像。
此外，實(shí)施例11的圖像信號處理裝置的分辨率提高效果，在傾斜方向上，相比于實(shí)施例7的圖像信號處理裝置，能夠提高分辨率直至更高的頻率成分，能夠生成更高畫質(zhì)的高分辨率圖像。
[實(shí)施例12] 使用圖59和圖19說明本發(fā)明的實(shí)施例12的圖像信號處理方法。
實(shí)施例12表示通過與軟件協(xié)同作用的控制部實(shí)現(xiàn)與實(shí)施例11的圖像信號處理裝置的圖像信號處理等價(jià)的處理的圖像信號處理方法。
此處，使用圖19說明用于實(shí)現(xiàn)本實(shí)施例的圖像信號處理方法的圖像處理裝置。圖19所示的圖像信號處理裝置包括例如被輸入電視播放信號等的圖像信號的輸入部(1)；存儲用于處理從輸入部(1)輸入的信號的軟件的存儲部(11)；與存儲在存儲部(11)中的軟件協(xié)同作用，對從輸入部(1)輸入的信號進(jìn)行圖像信號處理的控制部(10)；控制部(10)在該圖像信號處理中在數(shù)據(jù)的緩存中使用的幀緩存器#1(31)、幀緩存器#2(32)、幀緩存器#3(33)、幀緩存器#4(34)；和用于對從控制部(10)輸出至輸出部(3)的圖像信號處理后的信號進(jìn)行幀緩存的緩存器#5(35)。
此處，圖19所示的圖像信號處理裝置所具有的輸入部(1)的個數(shù)與圖像處理中使用的幀數(shù)相同為4個，也可以僅具有一個輸入部(1)，連續(xù)輸入4幀。
此處，在數(shù)據(jù)的緩存中使用的幀緩存器#1(31)、幀緩存器#2(32)、幀緩存器#3(33)、幀緩存器#4(34)和存儲軟件的存儲部(11)，可以分別使用不同的存儲器芯片構(gòu)成，也可以使用一個或多個存儲器芯片，分割各數(shù)據(jù)地址而進(jìn)行使用。
在本實(shí)施例中，控制部(10)與存儲在存儲部(11)中的軟件協(xié)同作用，對從輸入部(1)輸入的圖像信號進(jìn)行圖像信號處理，輸出至顯示部(3)。使用圖59說明該圖像信號處理的詳細(xì)內(nèi)容。
圖59的流程圖是，從步驟(5901)開始，在步驟(5902-1)(5902-2)(5902-3)(5902-4)，將各幀的圖像數(shù)據(jù)在水平/垂直方向上均分別提升為兩倍。即，在步驟(5902-1)對幀#1的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#1，在步驟(5902-2)對幀#2的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#2，在步驟(5902-3)對幀#3的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#3，在步驟(5902-4)對幀#4的圖像數(shù)據(jù)進(jìn)行提升，并寫入幀緩存器#4。此處，提升能夠通過使各幀緩存器的值一度清0，之后針對每一個水平像素、每一個垂直像素寫入數(shù)據(jù)而實(shí)現(xiàn)。
接著，在步驟(5903)中，設(shè)定幀緩存器#1的最初的像素(例如左上的像素)為處理對象，以下，使處理循環(huán)，直至對幀緩存器#1的所有的像素?cái)?shù)據(jù)的處理結(jié)束。
在步驟(5904-2)中，以幀緩存器#1的對象像素為基準(zhǔn)，推定幀緩存器#2中對應(yīng)的像素的位置，輸出水平相位差θH2和垂直相位差θV2。同樣的，在步驟(5904-3)中，以幀緩存器#1的對象像素為基準(zhǔn)，推定幀緩存器#3中對應(yīng)的像素的位置，輸出水平相位差θH3和垂直相位差θV3。此外，在步驟(5904-4)中，以幀緩存器#1的對象像素為基準(zhǔn)，推定幀緩存器#4中對應(yīng)的像素的位置，輸出水平相位差θH4和垂直相位差θV4。此時(shí)，作為推定對應(yīng)的像素的位置的方法，能夠直接使用上述現(xiàn)有技術(shù)。
在步驟(5905-2)中，基于步驟(5904-2)中求取的水平相位差θH2和垂直相位差θV2，對幀緩存器#2中的對應(yīng)的像素的附近的像素進(jìn)行運(yùn)動補(bǔ)償。將使用圖5和圖6說明的動作相對水平方向和垂直方向的各個方向同樣地進(jìn)行該運(yùn)動補(bǔ)償?shù)膭幼骷纯?。同樣的，在步驟(5905-3)中，基于步驟(5904-3)中求取的水平相位差θH3和垂直相位差θV3，對幀緩存器#3中的對應(yīng)的像素的附近的像素進(jìn)行運(yùn)動補(bǔ)償。此外，在步驟(5905-4)中，基于步驟(5904-4)中求取的水平相位差θH4和垂直相位差θV4，對幀緩存器#4中的對應(yīng)的像素的附近的像素進(jìn)行運(yùn)動補(bǔ)償。
接著，在步驟(5913)中，相對幀緩存器#1和已運(yùn)動補(bǔ)償?shù)膸彺嫫?2、幀緩存器#3、幀緩存器#4，通過步驟(5906-1)(5906-2)(5906-3)(5906-4)使水平相位移動一定量，通過步驟(5907-1)(5907-2)(5907-3)(5907-4)使垂直相位移動一定量。此外，相對步驟(5907-1)(5907-2)(5907-3)(5907-4)的結(jié)果，進(jìn)一步通過步驟(5908-1)(5908-2)(5908-3)(5908-4)使水平相位移動一定量，使水平和垂直的兩者的相位移動一定量。即，使各幀緩存器中的像素?cái)?shù)據(jù)在水平方向和垂直方向上移動π/2相位。
接著，在步驟(5909)中，基于水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)以圖56所示的方法決定全部的16個系數(shù)(C1ReRe～C4ImIm)，使步驟(5913)的各輸出與上述各系數(shù)相乘并相加(加權(quán)相加)，由此從幀緩存器#1、幀緩存器#2、幀緩存器#3、幀緩存器#4的像素?cái)?shù)據(jù)中除去折返成分，輸出至幀緩存器#5。該除去折返成分的動作與使用圖57或圖58所說明的動作相同。
接著，在步驟(5910)中，判定幀緩存器#1的全部像素的處理是否結(jié)束，如果未結(jié)束，則在步驟(5911)將下一像素(例如右邊鄰接的像素)設(shè)定為處理的對象，回到步驟(5904-2)(5904-3)(5904-4)以后，如果已結(jié)束則在步驟(5912)結(jié)束處理。
通過進(jìn)行以上所述的處理，能夠使用幀緩存器#1、幀緩存器#2、幀緩存器#3、幀緩存器#4的像素?cái)?shù)據(jù)，向幀緩存器#5輸出已進(jìn)行高分辨率化的信號。在應(yīng)用于動畫的情況下，針對每幀重復(fù)從步驟(5901)到步驟(5912)的處理即可。
而且，在圖54、圖57、圖58、圖59中，說明了輸入的幀的個數(shù)為4個的情況，但本發(fā)明并不限定于此，當(dāng)輸入n個(其中n是4以上的整數(shù))時(shí)，可以從中選擇適于上述分辨率變換處理的4個幀進(jìn)行使用。例如，在輸出圖56(i)所示的逆矩陣運(yùn)算時(shí)，以使不存在逆矩陣M-1的像素盡可能少的方式，從n個幀中選擇在分辨率變換處理中使用的4個幀，針對每個像素或每個由多個像素構(gòu)成的區(qū)域進(jìn)行切換。
由此，實(shí)施例12的圖像信號處理方法具有在傾斜方向上，相比于實(shí)施例10的圖像信號處理方法，能夠提高分辨率直至更高的頻率成分的效果。該效果的詳細(xì)內(nèi)容與實(shí)施例11中說明的圖54所示的圖像信號處理裝置的效果相同，因此省略說明。
如以上所說明的，實(shí)施例12的圖像信號處理方法，相對4個輸入圖像幀的各圖像信號進(jìn)行方向不同的多種類的相位移動(水平方向、垂直方向、水平/垂直方向)，由此從各個圖像信號中分別生成4個信號。由此，能夠從4個輸入圖像幀的圖像信號中生成16個信號。此處，基于上述4個輸入圖像幀的相位差，對于該16個信號的各個信號，針對每個像素計(jì)算出用于消除該16個信號的折返成分而進(jìn)行合成的系數(shù)。對于生成的圖像的各個像素，計(jì)算在上述16個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。
由此，實(shí)施例12的圖像信號處理方法，在水平方向和垂直方向之外，能夠生成右下方向和右上方向的傾斜成分也被高分辨率化的高分辨率圖像。
此外，實(shí)施例12的圖像信號處理方法的分辨率提高效果，相比于實(shí)施例10的圖像信號處理方法，在傾斜方向上，能夠提高分辨率直至更高的頻率成分，能夠生成更高畫質(zhì)的高分辨率圖像。
而且，上述實(shí)施例1～實(shí)施例12的圖像信號處理裝置或圖像信號處理方法中，舉出在使圖像的分辨率提高的同時(shí)使像素?cái)?shù)增加至兩倍的情況為例進(jìn)行了說明，但通過使該圖像信號處理裝置或圖像信號處理方法多次或多層地作用，例如能夠使像素?cái)?shù)以2的冪次倍(＝2倍、4倍、8倍……)增加。即，通過使用兩個輸入圖像幀進(jìn)行信號處理，使像素?cái)?shù)增加至兩倍成為中間圖像幀之后，進(jìn)一步使用兩個該中間圖像幀作為新的輸入圖像幀進(jìn)行信號處理，由此能夠使像素?cái)?shù)進(jìn)一步增加至兩倍，得到輸出圖像幀。在該情況下，與輸入圖像幀進(jìn)行比較，能夠得到4倍的像素?cái)?shù)的輸出圖像幀。同樣的，如果使信號處理總共重復(fù)3次，則與輸入圖像幀進(jìn)行比較，輸出圖像幀的像素?cái)?shù)成為8倍。此時(shí)，為了得到一個輸出圖像幀需要的輸入圖像幀的個數(shù)也成為2的冪次方(＝2個、4個、8個……)。
而且，關(guān)于最終的輸出圖像，通過在上述圖像處理后進(jìn)行一般的分辨率變換處理，也能夠以上述2的冪次倍(＝2倍、4倍、8倍……)以外的像素?cái)?shù)進(jìn)行輸出。
[實(shí)施例13] 圖35表示本發(fā)明的實(shí)施例13的圖像顯示裝置。本實(shí)施例的圖像顯示裝置是進(jìn)行上述實(shí)施例7或?qū)嵤├?中的任一個實(shí)施例中所記載的圖像信號處理的結(jié)構(gòu)的圖像顯示裝置。
在該圖中，圖像顯示裝置3500例如包括通過包括電視信號等的播放波、網(wǎng)絡(luò)等輸入播放信號、影像內(nèi)容、圖像內(nèi)容等的輸入部3501；對從輸入部3501輸入的內(nèi)容進(jìn)行錄像或再現(xiàn)的錄像再現(xiàn)部3502；錄像再現(xiàn)部3502記錄內(nèi)容的內(nèi)容累積部3503；處理錄像再現(xiàn)部3502再現(xiàn)的影像信號或圖像信號，作為實(shí)施例7或?qū)嵤├?的任一個實(shí)施例所記載的圖像信號處理裝置的圖像信號處理部3504；顯示通過圖像信號處理部3504處理的影像信號或圖像信號的顯示部3505；輸出錄像再現(xiàn)部3502再現(xiàn)的聲音信號的聲音輸出部3506；控制圖像顯示裝置3500的各結(jié)構(gòu)部的控制部3507；和用戶進(jìn)行圖像顯示裝置3500的操作的用戶接口部3508等。
圖像信號處理部3504的詳細(xì)的動作與實(shí)施例7或?qū)嵤├?中記載的相同，因此省略說明。
圖像顯示裝置3500包括作為實(shí)施例7或?qū)嵤├?中的任一個實(shí)施例所記載的圖像信號處理裝置的圖像信號處理部3504，由此，能夠?qū)⑤斎氲捷斎氩?501的影像信號或圖像信號，在顯示部3505中以高分辨率作為高畫質(zhì)的影像信號或圖像信號進(jìn)行顯示。從而，在從輸入部3501輸入比顯示部3505的顯示器件的分辨率低的低分辨率的信號的情況下，也能夠使再現(xiàn)信號高分辨率化，以高畫質(zhì)進(jìn)行高精細(xì)的顯示。
此外，在再現(xiàn)累積在內(nèi)容累積部3503中的影像內(nèi)容或圖像內(nèi)容時(shí)，也能夠變換為分辨率更高的高畫質(zhì)的影像信號或圖像信號，并顯示在顯示部3505中。
此外，通過在再現(xiàn)累積在內(nèi)容累積部3503中的影像內(nèi)容或圖像內(nèi)容之后進(jìn)行圖像信號處理部3504的圖像處理，累積在內(nèi)容累積部3503中的數(shù)據(jù)成為相比于顯示在顯示部3505中的分辨率為較低的分辨率。由此，具有能夠相對地減少內(nèi)容的數(shù)據(jù)量地進(jìn)行累積的效果。
另外，將圖像信號處理部3504包括在錄像再現(xiàn)部3502中，在錄像時(shí)進(jìn)行上述的圖像信號處理也可以。在這種情況下，沒有必要在再現(xiàn)時(shí)進(jìn)行上述的圖像信號處理，具有能夠降低再現(xiàn)時(shí)的處理負(fù)荷的效果。
此處，說明了上述圖像信號處理通過圖像信號處理部3504進(jìn)行的情況，但也可以由控制部3507和軟件實(shí)現(xiàn)。在該情況下，也可以由實(shí)施例7或?qū)嵤├?中的任一個實(shí)施例所記載的方法進(jìn)行圖像信號處理。
在本實(shí)施例中，錄像再現(xiàn)部3502在錄像時(shí)，根據(jù)從輸入部3501輸入的影像等內(nèi)容的狀態(tài)進(jìn)行編碼之后，將其記錄在內(nèi)容累積部3503中即可。
此外，在本實(shí)施例中，錄像再現(xiàn)部3502在錄像時(shí)，如果從輸入部3501輸入的影像等內(nèi)容為已編碼的狀態(tài)，則進(jìn)行解碼并再現(xiàn)即可。
此外，在本實(shí)施例的圖像顯示裝置中，內(nèi)容累積部3503并非必需。在該情況下，錄像再現(xiàn)部3503不進(jìn)行錄像，而進(jìn)行從輸入部3501輸入的影像等的內(nèi)容的再現(xiàn)即可。
在該情況下，能夠?qū)⑤斎胼斎氩?501的影像信號或圖像信號在顯示部3505中作為高分辨率、高畫質(zhì)的影像信號或圖像信號進(jìn)行顯示。
此外，圖像顯示裝置3500例如可以是等離子體電視、液晶電視、布勞恩管、投影機(jī)等，也可以是此外的使用其他器件的裝置。同樣的，顯示部3505例如可以是等離子體面板模塊、LCD模塊、投影用器件。此外，內(nèi)容累積部3503例如可以是硬盤驅(qū)動器、閃存、可移動介質(zhì)盤驅(qū)動器。聲音輸出部3506例如是揚(yáng)聲器等。此外，輸入部3501可以具有接收播放波的調(diào)諧器，此外，也可以具有與網(wǎng)絡(luò)連接的LAN用連接器，也可以具有USB連接器。而且，可以具有數(shù)字輸入影像信號、聲音信號的端子，也可以具有復(fù)合(composite)端子或分量(component)端子等模擬輸入端子。此外，也可以是通過無線傳達(dá)數(shù)據(jù)的接收部。
根據(jù)以上說明的實(shí)施例13的圖像顯示裝置，相對包括在輸入影像信號或輸入圖像信號的兩個輸入圖像幀的各圖像信號進(jìn)行相位移動，從各圖像信號中分別生成兩個信號。由此，能夠從兩個輸入圖像幀的圖像信號中生成四個信號。此處，基于兩個輸入圖像幀的相位差，對于該四個信號的各個信號，針對每個像素計(jì)算出用于消除該四個信號的折返成分而進(jìn)行合成的系數(shù)。對于生成的圖像的各個像素，計(jì)算在上述四個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各像素進(jìn)行上述處理，能夠生成相比于輸入圖像幀，在一維方向上已進(jìn)行高分辨率化的圖像。
在水平方向和垂直方向上分別進(jìn)行該處理，生成在水平方向上高分辨率化的圖像和在垂直方向上高分辨率化的圖像。對于該在水平方向上高分辨率化的圖像和在垂直方向上高分辨率化的圖像，在分別進(jìn)行垂直方向、水平方向的提升處理之后，使兩者混合。
由此，能夠從包括在輸入影像信號或輸入圖像信號的兩個輸入圖像幀的各圖像信號中生成在垂直方向和水平方向這兩個方向上高分辨率化的高分辨率圖像。即，能夠生成二維高分辨率圖像，并能夠在顯示部進(jìn)行顯示。
此外，實(shí)施例13的圖像顯示裝置使用兩個輸入圖像幀，因此能夠以較少的圖像處理量實(shí)現(xiàn)高分辨率顯示。由此，能夠?qū)崿F(xiàn)折返成分較少的、在垂直方向和水平方向這兩個方向上在顯示部中顯示高分辨率的影像或圖像的圖像顯示裝置。
[實(shí)施例14] 本發(fā)明的實(shí)施例14的圖像顯示裝置，是在實(shí)施例13的圖像顯示裝置中，將圖35所示的圖像信號處理部3504替換為實(shí)施例9記載的圖像信號處理裝置。其他結(jié)構(gòu)與實(shí)施例13的圖像顯示裝置相同，因此省略說明。
此外，圖像信號處理部3504的詳細(xì)的動作與實(shí)施例9記載的相同，因此省略說明。
根據(jù)實(shí)施例14的圖像顯示裝置，使用包括在輸入影像信號或輸入圖像信號的兩個輸入圖像幀，能夠生成相比于輸入影像或輸入圖像，在水平方向、垂直方向和傾斜方向上已進(jìn)行高分辨率化的高分辨率圖像。此外，能夠?qū)崿F(xiàn)將其顯示在顯示部中的圖像顯示裝置。
[實(shí)施例15] 本發(fā)明的實(shí)施例15的圖像顯示裝置，是在實(shí)施例13的圖像顯示裝置中，將圖35所示的圖像信號處理部3504替換為實(shí)施例11所述的圖像信號處理裝置。其他結(jié)構(gòu)與實(shí)施例13的圖像顯示裝置相同，因此省略說明。
此外，圖像信號處理部3504的詳細(xì)的動作與實(shí)施例11記載的相同，因此省略說明。
根據(jù)實(shí)施例15的圖像顯示裝置，使用包括在輸入影像信號或輸入圖像信號的4個輸入圖像幀，能夠生成相比于輸入影像或輸入圖像，在水平方向、垂直方向和傾斜方向上已進(jìn)行高分辨率化的高分辨率圖像，并能夠?qū)崿F(xiàn)在顯示部中進(jìn)行顯示的圖像顯示裝置。
此外，實(shí)施例15的圖像顯示裝置的分辨率提高效果，相比于實(shí)施例14的圖像顯示裝置，能夠在傾斜方向上提高分辨率直至高頻成分，能夠顯示更高畫質(zhì)的高分辨率圖像。
[實(shí)施例16] 本發(fā)明的實(shí)施例16的圖像顯示裝置，是在實(shí)施例13的圖像顯示裝置中，將圖35所示的圖像信號處理部3504替換為實(shí)施例1、實(shí)施例3或?qū)嵤├?中的一個實(shí)施例所記載的圖像信號處理裝置。其他結(jié)構(gòu)與實(shí)施例13的圖像顯示裝置相同，因此省略說明。
此外，圖像信號處理部3504的詳細(xì)的動作與實(shí)施例1、實(shí)施例3或?qū)嵤├?記載的相同，因此省略說明。
根據(jù)實(shí)施例16的圖像顯示裝置，使用包括在輸入影像信號或輸入圖像信號的兩個輸入圖像幀，能夠生成相比于輸入影像或輸入圖像，在一維方向上已進(jìn)行高分辨率化的高分辨率圖像，并能夠?qū)崿F(xiàn)在顯示部中進(jìn)行顯示的圖像顯示裝置。
實(shí)施例17
圖36表示本發(fā)明的實(shí)施例17的錄像再現(xiàn)裝置。本實(shí)施例的錄像再現(xiàn)裝置是進(jìn)行上述實(shí)施例7或者實(shí)施例8的任意一個實(shí)施例所記載的圖像信號處理的結(jié)構(gòu)的錄像再現(xiàn)裝置。
在該圖中，錄像再現(xiàn)裝置3600例如包括通過例如包含電視信號等的播放波或網(wǎng)絡(luò)等輸入播放信號、影像內(nèi)容、圖像內(nèi)容等的輸入部3501；對從輸入部3501輸入的內(nèi)容進(jìn)行錄像或者再現(xiàn)的錄像再現(xiàn)部3502；錄像再現(xiàn)部3502進(jìn)行內(nèi)容的記錄的內(nèi)容累積部3503；作為對錄像再現(xiàn)部3502再現(xiàn)的影像信號或者圖像信號進(jìn)行處理的實(shí)施例7或者實(shí)施例8的任意一個實(shí)施例所記載的圖像信號處理的裝置的圖像信號處理部3504；將通過圖像信號處理部3504處理后的影像信號或者圖像信號向其他裝置等輸出的圖像影像輸出部3605；將錄像再現(xiàn)部3502再現(xiàn)的聲音信號向其他裝置等輸出的聲音輸出部3606；對錄像再現(xiàn)裝置3600的各結(jié)構(gòu)部進(jìn)行控制的控制部3507；和用戶進(jìn)行錄像再現(xiàn)裝置3600的操作的用戶接口部3508等。
錄像再現(xiàn)裝置3600包括作為實(shí)施例7或者實(shí)施例8的任意一個實(shí)施例所記載的圖像信號處理裝置的圖像信號處理部3504，由此能夠?qū)⑤斎氩?501輸入的影像信號或者圖像信號作為更高分辨率且更高畫質(zhì)的影像信號或者圖像信號，輸出至其他裝置等。因此，能夠適當(dāng)實(shí)現(xiàn)使低分辨率的影像信號或者圖像信號高分辨率化并變換成高畫質(zhì)、高精細(xì)的影像信號或者圖像信號的高畫質(zhì)高分辨率信號變換裝置。
此外，在對內(nèi)容累積部3503中存儲的影像內(nèi)容或者圖像內(nèi)容進(jìn)行再現(xiàn)時(shí)，也能夠變換成更高分辨率且更高畫質(zhì)的影像信號或者圖像信號再輸出至其他裝置等。
因此，能夠適當(dāng)實(shí)現(xiàn)預(yù)先輸入并存儲有低分辨率的影像信號或者圖像信號，當(dāng)再現(xiàn)、輸出時(shí)進(jìn)行高分辨率化并變換成高畫質(zhì)、高精細(xì)的影像信號或者圖像信號加以輸出的錄像再現(xiàn)裝置。
此外，通過在內(nèi)容累積部3503中存儲的影像內(nèi)容或者圖像內(nèi)容的再現(xiàn)后進(jìn)行圖像信號處理部3504的圖像處理，能夠使內(nèi)容累積部3503中存儲的數(shù)據(jù)為相比輸出到其他裝置的信號的分辨率相對低的分辨率。因此具有能夠相對地減小內(nèi)容的數(shù)據(jù)量加以存儲的效果。
此外，也可以將圖像信號處理部3504包含在錄像再現(xiàn)部3502中，在錄像時(shí)進(jìn)行上述圖像信號處理。在這種情況下，由于再現(xiàn)時(shí)沒有必要進(jìn)行上述圖像信號處理，所以具有能夠降低再現(xiàn)時(shí)的處理負(fù)荷的效果。
在此，對上述圖像信號處理是通過圖像信號處理部3504進(jìn)行而加以了說明，但是也可以通過控制部3507和軟件來實(shí)現(xiàn)。在這種情況下，通過實(shí)施例7或者實(shí)施例8的任意一個實(shí)施例所記載的方法進(jìn)行圖像信號處理也可。
在本實(shí)施例中，錄像再現(xiàn)部3502根據(jù)錄像時(shí)從輸入部3501輸入的影像等的內(nèi)容狀態(tài)，進(jìn)行編碼后記錄在內(nèi)容累積部3503中即可。
此外，在本實(shí)施例中，如果在錄像時(shí)從輸入部3501輸入的影像等的內(nèi)容為編碼后的狀態(tài)，則錄像再現(xiàn)部3502進(jìn)行解碼并再現(xiàn)即可。
此外，本實(shí)施例的圖像影像輸出部3605和聲音輸出部3606作為一體也可以。在這種情況下，能夠使用將影像信號和聲音信號以一條電纜輸出的連接器形狀等。
此外，錄像再現(xiàn)裝置3600也可以是例如HDD記錄器、DVD記錄器、或者使用其他的存儲裝置設(shè)備的裝置。同樣地，內(nèi)容累積部3503也可以是例如硬盤驅(qū)動器、閃存、可移動介質(zhì)盤驅(qū)動器。
此外，輸入部3501可以包括接收播放波的調(diào)諧器，也可以包括與網(wǎng)絡(luò)連接的LAN用連接器，也可以包括USB連接器。而且，可以包括對影像信號和聲音信號進(jìn)行數(shù)字輸入的端子，也可以包括復(fù)合(composite)端子或分量(component)端子等模擬輸入端子。此外，也可以是無線傳送數(shù)據(jù)的接收部。
此外，圖像影像輸出部3605可以包括對影像信號進(jìn)行數(shù)字輸出的端子，也可以包括復(fù)合端子或分量端子等進(jìn)行模擬輸出的端子。此外可以包括與網(wǎng)絡(luò)連接的LAN用連接器，也可以包括USB連接器。而且，也可以是無線傳送數(shù)據(jù)的發(fā)送部。關(guān)于聲音輸出部3606，也與圖像影像輸出部3605相同。
再者，輸入部3501也可以包括例如攝像光學(xué)系統(tǒng)和受光元件。在這種情況下，錄像再現(xiàn)裝置3600能夠適用于例如數(shù)字相機(jī)、攝像機(jī)、監(jiān)視攝像頭(監(jiān)視攝像系統(tǒng))等。此時(shí)例如輸入部3501通過攝像光學(xué)系統(tǒng)將攝影對象拍攝在受光元件上，以從受光元件輸出的信號為基礎(chǔ)生成圖像數(shù)據(jù)或者影像數(shù)據(jù)，輸出至錄像再現(xiàn)部3502即可。
如果錄像再現(xiàn)裝置3600是例如數(shù)字相機(jī)，在一次攝影中記錄時(shí)間上不同的多個圖像，如果對該多個圖像數(shù)據(jù)進(jìn)行圖像信號處理部3504的圖像信號處理，則能夠得到一枚高畫質(zhì)的高分辨率圖像。而且，圖像信號處理部3504的圖像處理可以在從數(shù)字相機(jī)輸出數(shù)據(jù)時(shí)，對記錄在內(nèi)容累積部3503中的圖像進(jìn)行。此外，使錄像再現(xiàn)部3502和圖像信號處理部3504一體等，可以在內(nèi)容累積部3503中進(jìn)行記錄之前，進(jìn)行圖像信號處理部3504的圖像處理。在這種情況下，可以僅在內(nèi)容累積部3503中保存用戶最終想要處理的放大圖像即可，其后用戶處理圖像數(shù)據(jù)時(shí)容易管理。
根據(jù)以上說明的數(shù)字相機(jī)，能夠得到具有分辨率超越數(shù)字相機(jī)的受光元件的分辨率的高畫質(zhì)圖像數(shù)據(jù)。
此外，如果錄像再現(xiàn)裝置3600是例如攝像機(jī)，則將通過輸入部3501的攝像光學(xué)系統(tǒng)攝像在受光元件上的影像作為影像數(shù)據(jù)輸出至錄像再現(xiàn)部3502即可。錄像再現(xiàn)部3502在內(nèi)容累積部3503中記錄影像數(shù)據(jù)，圖像信號處理部3504從被記錄的影像數(shù)據(jù)生成高分辨率化的影像數(shù)據(jù)即可。這樣能夠得到具有分辨率超越攝像機(jī)的受光元件的分辨率的高畫質(zhì)影像數(shù)據(jù)。而且此時(shí)，圖像信號處理部3504也可以使用被記錄的影像數(shù)據(jù)中包含的多幀數(shù)據(jù)，生成一枚靜像圖像數(shù)據(jù)。這樣能夠從影像數(shù)據(jù)中得到一枚高畫質(zhì)圖像數(shù)據(jù)。此外，與上述的數(shù)字相機(jī)的情況相同，圖像信號處理部3504的圖像處理在影像數(shù)據(jù)記錄到內(nèi)容累積部3503之前，或者記錄之后都可以。
根據(jù)以上說明的攝像機(jī)，能夠得到具有分辨率超越攝像機(jī)的受光元件的分辨率的高畫質(zhì)影像數(shù)據(jù)和利用攝影的影像數(shù)據(jù)得到高畫質(zhì)的靜態(tài)圖像數(shù)據(jù)。
此外，在錄像再現(xiàn)裝置3600是例如監(jiān)視攝像頭(監(jiān)視攝像頭系統(tǒng))的情況下，也與上述的攝像機(jī)的情況相同，能夠得到具有分辨率超越監(jiān)視攝像頭的受光元件的分辨率的高畫質(zhì)影像數(shù)據(jù)和利用攝影的影像數(shù)據(jù)得到高畫質(zhì)的靜態(tài)圖像數(shù)據(jù)。此時(shí)，例如具備攝像光學(xué)系統(tǒng)和受光元件的輸入部3501與錄像再現(xiàn)部3502的距離被隔開，即使在通過網(wǎng)絡(luò)電纜等連接的情況下，以低分辨率的影像數(shù)據(jù)發(fā)送至錄像再現(xiàn)部3502，通過其后的圖像信號處理部3504的圖像信號處理，也能夠進(jìn)行高分辨率化。由此，能夠有效利用來自具備攝像光學(xué)系統(tǒng)和受光元件的輸入部3501的發(fā)送網(wǎng)絡(luò)的頻帶，并且得到高分辨率的影像數(shù)據(jù)。
使實(shí)施例13乃至實(shí)施例16的圖像顯示裝置和本實(shí)施例的錄像再現(xiàn)裝置兩者的功能和各結(jié)構(gòu)部為一體，還能夠得到本發(fā)明的一個實(shí)施方式。在這種情況下，既能夠顯示進(jìn)行過上述圖像信號處理的影像信號或者圖像信號，也能夠向其他裝置輸出，能夠作為顯示裝置、記錄再現(xiàn)裝置、輸出裝置的任意一種裝置加以使用，對用戶而言使用方便。
根據(jù)以上說明的實(shí)施例17的錄像再現(xiàn)裝置，對輸入影像信號或者輸入圖像信號中包含的2枚輸入圖像幀的各圖像信號進(jìn)行相位移動，從各圖像信號分別生成2個信號。由此，從2枚輸入圖像幀的圖像信號生成4個信號。在此，根據(jù)2枚輸入圖像幀的相位差，就該4個信號的各個信號對每個像素計(jì)算出用于消除該4個信號的折返成分并進(jìn)行合成的系數(shù)。對生成圖像的各個像素，計(jì)算在上述四個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各像素進(jìn)行該處理，生成相比輸入圖像幀在一維方向上的更高分辨率化后的圖像。
將其分別在水平方向和垂直方向進(jìn)行，生成在水平方向高分辨率化后的圖像和在垂直方向高分辨率化后的圖像。對于該水平方向高分辨率化后的圖像和垂直方向高分辨率化后的圖像，分別在垂直方向、水平方向進(jìn)行過提升處理后，將兩者混合。
由此能夠從輸入影像信號或者輸入圖像信號中包含的2枚輸入圖像幀的各圖像信號，生成在水平方向和在垂直方向這兩方向上高分辨率化后的高分辨率圖像。即能夠生成二維高分辨率圖像，并能夠?qū)⑵漭敵觥?br> 此外，預(yù)先在記錄部中記錄有輸入影像信號或者輸入圖像信號，當(dāng)從該記錄部進(jìn)行再現(xiàn)時(shí)，能夠從影像信號或者圖像信號中包含的2枚輸入圖像幀的各圖像信號中，生成在水平方向和在垂直方向這兩方向上高分辨率化后的二維高分辨率圖像，并能夠?qū)⑵漭敵觥?br> 此外，實(shí)施例17的錄像再現(xiàn)裝置由于使用2枚輸入圖像幀，所以能夠以很少的圖像處理量實(shí)現(xiàn)高分辨率圖像的輸出。由此，能夠?qū)崿F(xiàn)折返成分少、在垂直方向和水平方向這兩方向上輸出高分辨率影像或者圖像的錄像再現(xiàn)裝置。
實(shí)施例18
本發(fā)明的實(shí)施例18的錄像再現(xiàn)裝置是在實(shí)施例17的錄像再現(xiàn)裝置中，將圖36所示的圖像信號處理部3504替換成實(shí)施例9中記載的圖像信號處理裝置的錄像再現(xiàn)裝置。由于其他結(jié)構(gòu)與實(shí)施例17的錄像再現(xiàn)裝置相同，因此省略說明。
此外，因?yàn)閳D像信號處理部3504的詳細(xì)的動作與實(shí)施例9中記載的相同，因此省略說明。
根據(jù)實(shí)施例18的錄像再現(xiàn)裝置，使用輸入影像信號或者輸入圖像信號中包含的2枚輸入圖像幀，能夠生成相較輸入影像或者輸入圖像在水平方向、垂直方向和傾斜方向進(jìn)行過高分辨率化的二維高分辨率圖像，并能夠?qū)⑵漭敵觥?br> 此外，預(yù)先在記錄部中記錄有輸入影像信號或者輸入圖像信號，當(dāng)從該記錄部進(jìn)行再現(xiàn)時(shí)，能夠從影像信號或者圖像信號中包含的2枚輸入圖像幀的各圖像信號中，生成在水平方向、垂直方向和傾斜方向上進(jìn)行過高分辨率化后的二維高分辨率圖像，并能夠?qū)⑵漭敵觥?br> 實(shí)施例19
本發(fā)明的實(shí)施例19的錄像再現(xiàn)裝置是在實(shí)施例17的錄像再現(xiàn)裝置中，將圖36所示的圖像信號處理部3504替換成實(shí)施例11中記載的圖像信號處理裝置的錄像再現(xiàn)裝置。由于其他結(jié)構(gòu)與實(shí)施例17的錄像再現(xiàn)裝置相同，因此省略說明。
此外，因?yàn)閳D像信號處理部3504的詳細(xì)的動作與實(shí)施例11中記載的相同，因此省略說明。
根據(jù)實(shí)施例19的錄像再現(xiàn)裝置，使用輸入影像信號或者輸入圖像信號中包含的4枚輸入圖像幀，能夠?qū)崿F(xiàn)生成并且輸出相較輸入影像或者輸入圖像在水平方向、垂直方向和傾斜方向進(jìn)行過高分辨率化的二維高分辨率圖像的錄像再現(xiàn)裝置。
此外，預(yù)先在記錄部中記錄有輸入影像信號或者輸入圖像信號，當(dāng)從該記錄部進(jìn)行再現(xiàn)時(shí)，能夠從影像信號或者圖像信號中包含的4枚輸入圖像幀的各圖像信號中，生成在水平方向、垂直方向和傾斜方向上進(jìn)行過高分辨率化的二維高分辨率圖像，并能夠?qū)⑵漭敵觥?br> 此外，實(shí)施例19的錄像再現(xiàn)裝置的分辨率提高效果能夠在傾斜方向上比實(shí)施例18的錄像再現(xiàn)裝置進(jìn)一步提高分辨率至高頻成分，因而能夠輸出更高畫質(zhì)的高分辨率圖像。
實(shí)施例20
本發(fā)明的實(shí)施例20的錄像再現(xiàn)裝置是在實(shí)施例17的錄像再現(xiàn)裝置中，將圖36所示的圖像信號處理部3504替換成在實(shí)施例1、實(shí)施例3或者實(shí)施例5的實(shí)施例中的一個實(shí)施例所記載的圖像信號處理裝置的錄像再現(xiàn)裝置。由于其他結(jié)構(gòu)與實(shí)施例17的錄像再現(xiàn)裝置相同，因此省略說明。
此外，因?yàn)閳D像信號處理部3504的詳細(xì)的動作與實(shí)施例1、實(shí)施例3或者實(shí)施例5的實(shí)施例中記載的相同，因此省略說明。
根據(jù)實(shí)施例20的錄像再現(xiàn)裝置，使用輸入影像信號或者輸入圖像信號中包含的2枚輸入圖像幀，能夠?qū)崿F(xiàn)生成并且輸出相較輸入影像或者輸入圖像在一維方向上進(jìn)行過高分辨率化的高分辨率圖像的錄像再現(xiàn)裝置。
此外，預(yù)先在記錄部中記錄有輸入影像信號或者輸入圖像信號，當(dāng)從該記錄部進(jìn)行再現(xiàn)時(shí)，能夠從影像信號或者圖像信號中包含的2枚輸入圖像幀的各圖像信號中，生成在一維方向上進(jìn)行過高分辨率化的高分辨率圖像，并能夠?qū)⑵漭敵觥?br> 實(shí)施例21
利用圖39～圖41，說明將本發(fā)明應(yīng)用于隔行、逐行掃描線(以下稱為I-P變換)的實(shí)施例21。在此之前，通過圖37和圖38，對現(xiàn)有的一般的I-P變換的動作進(jìn)行說明。
圖37(a)表示隔行掃描(2∶1隔行)的掃描線的位置關(guān)系，該圖(b)表示逐行掃描的掃描線的位置關(guān)系。圖的水平軸表示時(shí)間方向(幀方向)的位置(t)，垂直軸表示垂直位置(v)。在該圖(a)的隔行掃描中，以傳送或者顯示的掃描線(實(shí)掃描線)(3701)和跳過傳送或者不顯示的掃描線(3702)交替反復(fù)的方式形成有場(フイ一ルド)(3703)。此外，在下一個場中掃描線(3701)和掃描線(3702)的位置變成相反(互補(bǔ))，結(jié)合2個場(3703)(3704)形成一枚幀(3704)。將跳過傳送或者不顯示的掃描線(3702)從附近的實(shí)掃描線(3701)進(jìn)行插補(bǔ)作成插補(bǔ)掃描線而將場(3703)變換成幀(3705)，變換成該圖(b)的逐行掃描。
作為實(shí)現(xiàn)該I-P變換的現(xiàn)有的代表方法，包括圖38(a)所示的運(yùn)動適應(yīng)型I-P變換和該圖(b)所示的運(yùn)動補(bǔ)償型I-P變換。(a)運(yùn)動適應(yīng)型I-P變換一般在圖像中的被拍攝體靜止的情況下，進(jìn)行利用過去(或者未來的)場的實(shí)掃描線上的信號生成插補(bǔ)掃描線上的信號的場間插補(bǔ)(3801)，在被拍攝體運(yùn)動的情況下，進(jìn)行利用同一場內(nèi)的上下的掃描線上的信號生成插補(bǔ)掃描線上的信號的場內(nèi)插補(bǔ)(3802)。此時(shí)，當(dāng)被拍攝體完全靜止時(shí)，通過場間插補(bǔ)(3801)能夠獲得理想的逐行掃描圖像，但是被拍攝體稍微運(yùn)動，則利用場間插補(bǔ)(3801)或者幀間插補(bǔ)(3802)都會變成垂直分辨率降低的逐行掃描圖像的情況是眾所周知的。另一方面，(b)運(yùn)動補(bǔ)償型I-P變換以每個像素推定被拍攝體的運(yùn)動，求出運(yùn)動矢量(3803)，也包括水平方向的運(yùn)動根據(jù)該運(yùn)動矢量(3803)生成插補(bǔ)掃描線。例如在該圖(b)中，表示被拍攝體暫時(shí)向下方向移動后，靜止2場期間，接著移動到上方向的情況。此時(shí)，在運(yùn)動矢量剛好從實(shí)掃描線指向插補(bǔ)掃描線的情況下能夠獲得理想的逐行掃描圖像，但其以外的情況(剛好從實(shí)掃描線沒有指向插補(bǔ)掃描線的情況)導(dǎo)致變成垂直分辨率降低的逐行掃描圖像的情況是眾所周知的。
圖39表示用于改善上述現(xiàn)有的I-P變換的缺點(diǎn)的本發(fā)明的實(shí)施例21的動作。將該圖(a)所示的隔行掃描的各場(#1、#2、……)看作掃描線數(shù)為1/2的幀，在每一場利用掃描線的位置(＝垂直方向的采樣相位)變化的情況，通過垂直分辨率變換(3901)(3902)生成幀。例如，利用場#1和場#2，通過垂直分辨率變換(3901)生成幀#2，利用場#2和場#3，通過垂直分辨率變換(3902)生成幀#3，以下，對其以后的場也同樣地進(jìn)行處理，連續(xù)地生成幀。此時(shí)，作為各垂直分辨率變換(3901)(3902)，能夠就這樣直接使用圖1等所示的分辨率變換部(2)，但是需要如圖40所示以每一場對動作進(jìn)行變更。
利用圖40，詳細(xì)說明本發(fā)明的實(shí)施例21的動作。該圖(a)表示原來的隔行掃描的掃描線的位置。在被拍攝體靜止的情況下，如該圖(a)所示，通過實(shí)掃描線的運(yùn)動矢量(4001)指相同垂直位置的下一場的插補(bǔ)掃描線。此處，將各個場(#1、#2、……)看作掃描線數(shù)為1/2的幀，在每一場以掃描線的位置(＝垂直方向的采樣相位)不變化的方式使場整體附加垂直方向的偏置(空間上的位置差)而移動，如該圖(b)所示，靜止時(shí)的運(yùn)動矢量(4002)在每一場上下運(yùn)動。即，若將該圖(b)的掃描線位置的信號作為輸入，通過圖1所示的相位推定部(101)求出相位差θ(102)，則導(dǎo)致在垂直分辨率變換(3901)(3902)時(shí)輸出錯誤的結(jié)果。
圖41表示以防止上述誤動作為目的的本發(fā)明的實(shí)施例21的結(jié)構(gòu)。該圖所示的結(jié)構(gòu)是在進(jìn)行圖1所示的一維方向(在此為垂直方向)的分辨率變換的實(shí)施例的結(jié)構(gòu)中追加偏置校正部(4103)的結(jié)構(gòu)，從輸入部(1)輸入場#k(但是k為整數(shù))及其前一個(過去)的場#(k一1)，進(jìn)行垂直分辨率變換，向顯示部(3)輸出圖像。偏置校正部(4103)通過加法器(4101)在由位置推定部(101)得到的相位差θ上加上相位差偏置(θoffset)(4102)作為新的相位差θ(102)，用于運(yùn)動補(bǔ)償/提升部(動き補(bǔ)償·アツプレ一ト部)(115)和折返成分除去部(117)的信號處理中。在此，k＝2n(n為整數(shù)，即k為偶數(shù))時(shí)將相位差偏置(θoffset)(4102)作為π，將相位差θ(102)的值僅向下方向校正輸入的掃描線間隔的1/2(2個場間最近的掃描線的空間上的位置差)，當(dāng)k＝2n+1(n為整數(shù)，即k為奇數(shù))時(shí)將相位差偏置(θoffset)(4102)作為-π，將相位差θ(102)的值僅向上方向校正輸入的掃描線間隔的1/2(2個場間最近的掃描線的空間上的位置差)。由此，能夠校正圖40(b)所示的靜止時(shí)運(yùn)動矢量(4002)的上下運(yùn)動。其中，為了與也包括水平方向的二維的圖像對應(yīng)，可以通過位置推定部(101)輸出水平相位差θH和垂直相位差θV，并且使運(yùn)動補(bǔ)償/提升部(115)二維化。即，在垂直相位差θV上加上上述相位差偏置(θoffset)(4102)作為新的垂直相位差θV，在垂直方向上進(jìn)行提升(插入0)以后，加上具有圖6所示的抽頭系數(shù)Ck(＝2sin(πk+θV)/(πk+θV))的垂直濾波器。另一方面，水平方向進(jìn)行一般的運(yùn)動補(bǔ)償。即，水平方向不進(jìn)行提升，加上將圖12所示的抽頭系數(shù)僅移動水平相位差θH采樣相位，以Ck＝sin(πk/2+θH)/(πk/2+θH))作為抽頭系數(shù)的水平濾波器即可。相位移動部(116)、折返成分除去部(117)的各處理就按照上述動作不進(jìn)行變更地進(jìn)行垂直方向的相位移動(希爾伯特變換)和折返成分除去(系數(shù)決定和加權(quán)加法)。通過這些處理，能夠?qū)Ω粜袙呙璧妮斎脒M(jìn)行分辨率變換，變換成逐行掃描。
此時(shí)，折返成分除去部(117)中的各系數(shù)C0、C1、C2、C3為將圖9所示的相位差θ置換成(θ±π)的值。即，C0＝C2＝1/2、C1＝-(1+cos(θ±π))/(2sin(θ±π))＝(1-cosθ)/sinθ、C3＝(1+cos(θ±π))/(2sin(θ±π))＝-(1-cosθ)/sinθ。此時(shí)，當(dāng)相位差θ為±π時(shí)，系數(shù)C1、C3為不確定，隨著相位差θ接近±π，系數(shù)C1、C3變大，因而為了防止對噪聲等變?nèi)酰趫D11所示的本發(fā)明的實(shí)施例5中，構(gòu)成為當(dāng)相位差θ變?yōu)樵凇捆懈浇鼤r(shí)切換為來自輔助像素插補(bǔ)部(1105)的輸出即可。即，在圖13所示的本發(fā)明的實(shí)施例5中使用的系數(shù)決定器(1103)的具體例子中，將該圖的θ換成(θ±π)，當(dāng)相位差θ變?yōu)樵凇捆懈浇鼤r(shí)，強(qiáng)制性地使系數(shù)C1的值為0，并且使系數(shù)C4的值為1.0即可。通過該動作，在圖11所示的結(jié)構(gòu)中，當(dāng)相位差θ(102)變?yōu)椤捆谢蛘咴凇捆懈浇鼤r(shí)，能夠自動地將加法器(1104)的輸出切換成插補(bǔ)低通濾波器(1101)的輸出。其中，隨著相位差θ接近±π，，可以使得從圖12所示的系數(shù)連續(xù)緩慢地接近圖13所示的系數(shù)。此外，通過圖1的位置推定部(101)，在判定與幀#1上的處理對象的像素對應(yīng)的像素不在幀#2上的情況下，也可以與當(dāng)相位差θ(102)變?yōu)樵凇捆懈浇鼤r(shí)一樣地控制各個系數(shù)，自動地將加法器(1104)的輸出切換成插補(bǔ)低通濾波器(1101)的輸出。
而且，通過圖20、圖21、圖27所示的各實(shí)施例的結(jié)構(gòu)，若在從位置推定部輸出的垂直相位差θV的值加上圖41所示的相位差偏置(θoffset)(4102)，就能夠?qū)Ω粜袙呙璧妮斎胄盘枌?shí)現(xiàn)二維分辨率變換。
此外，對于輸出的逐行方式的幀圖像，進(jìn)一步在像素的垂直位置加上偏置，也能夠作為掃描線密度高的隔行掃描方式。例如，在以480i格式(掃描線數(shù)480條的隔行掃描方式)作為輸入，變換成960i(掃描線數(shù)960條的隔行掃描方式)的情況下，通過本發(fā)明的上述技術(shù)，在暫時(shí)將480i格式變換成480p(掃描線數(shù)480條的逐行掃描方式)之后，利用一般的插補(bǔ)濾波器，將幀每隔一個(例如幀#2、#4、#6……)在垂直方向偏移1/2像素(＝1/2掃描線)即可。
其中，上述幀#1、幀#2、幀#3等可以是時(shí)間上不連續(xù)的幀，也可以在時(shí)間上逆序。此外，場#1、場#2、場#3等，如果考慮圖40所示的掃描線的位置關(guān)系決定相位差偏置(θoffset)的值，則可以是時(shí)間上不連續(xù)的場，也可以在時(shí)間上逆序。例如，將奇數(shù)場彼此或者偶數(shù)場彼此作為輸入進(jìn)行分辨率變換處理時(shí)，可以使上述相位差偏置(θoffset)的值為0。
根據(jù)以上說明的實(shí)施例21的圖像信號處理裝置，將隔行掃描的各個場(#1、#2……)看作掃描線數(shù)為1/2的幀，每隔一個在場整體上附加垂直方向的偏置使其移動。在這樣生成的連續(xù)的圖像中，對2枚圖像進(jìn)行位置推定，計(jì)算出相位差，對該相位差進(jìn)行與上述偏置相當(dāng)?shù)南辔徊钇玫男Ｕ?。在此，對上?枚圖像的信號進(jìn)行相位移動，從各個圖像信號分別生成2個信號。由此，從2枚圖像信號生成4個信號。在此，根據(jù)校正后的相位差，對該4個信號的各個信號，按每個像素計(jì)算出用于消除該4個信號的折返成分并進(jìn)行合成的系數(shù)。關(guān)于生成的圖像的各個像素，計(jì)算出在上述四個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各個像素進(jìn)行上述處理，生成新的高分辨率圖像，并將該高分辨率圖像作為逐行掃描的幀圖像進(jìn)行輸出。
由此，實(shí)施例21的圖像信號處理裝置利用隔行掃描的2個場，能夠生成垂直分辨率的降低少的逐行掃描圖像。
此外，實(shí)施例21的圖像信號處理裝置由于使用2枚輸入圖像幀，所以需要的圖像處理的量少。因此，能夠低成本實(shí)現(xiàn)生成垂直分辨率的降低少的逐行掃描圖像的圖像信號處理裝置。
實(shí)施例22
利用圖42對本發(fā)明的實(shí)施例22的圖像信號處理方法進(jìn)行說明。
實(shí)施例22是通過與軟件協(xié)作的控制部實(shí)現(xiàn)與實(shí)施例21的圖像信號處理裝置中的圖像信號處理等價(jià)的處理的圖像信號處理方法。因?yàn)檫M(jìn)行本實(shí)施例的圖像信號處理方法的圖像處理裝置是與實(shí)施例2相同的圖18所示的圖像處理裝置，所以省略說明。
在圖42中，表示本實(shí)施例的圖像信號處理裝置的動作流程的一個例子。圖42的流程是相對于圖14所示的流程，追加對圖40(b)所示的偏置進(jìn)行校正的步驟(4201)，并且將步驟(1402)(1403)的各輸入從幀#1、幀#2變更成場#1、場#2的流程。
關(guān)于其他的步驟，因?yàn)榕c圖14所示的流程相同，所以省略說明。
在此，對圖42所示的偏置進(jìn)行校正的步驟(4201)是以圖40(b)所示的掃描線的垂直位置關(guān)系為基礎(chǔ)，決定相位差偏置θoffset，并進(jìn)行與相位差θ相加的處理的步驟。即，在輸入場#k(但是k為整數(shù))及其前一個(過去)場#(k-1)進(jìn)行垂直分辨率變換的情況下，k＝2n(n為整數(shù)，即k為偶數(shù))時(shí)將相位差偏置(θoffset)作為π，將相位差θ的值僅向下方向校正輸入的掃描線間隔的1/2，當(dāng)k＝2n+1(n為整數(shù)，即k為奇數(shù))時(shí)將相位差偏置(θoffset)作為-π，將相位差θ的值僅向上方向校正輸入的掃描線間隔的1/2。由此，能夠校正圖40(b)所示的靜止時(shí)運(yùn)動矢量(4002)的上下運(yùn)動，并且能夠不變更其他步驟的動作，對隔行掃描的輸入進(jìn)行分辨率變換。
其中，上述幀#1、幀#2、幀#3等可以是時(shí)間上不連續(xù)的幀，也可以在時(shí)間上逆序。此外，場#1、場#2、場#3等，如果考慮圖40所示的掃描線的位置關(guān)系決定相位差偏置(θoffset)的值，則可以是時(shí)間上不連續(xù)的場，也可以在時(shí)間上逆序。例如，將奇數(shù)場彼此或者偶數(shù)場彼此作為輸入進(jìn)行分辨率變換處理時(shí)，可以使上述相位差偏置(θoffset)的值為0。
根據(jù)以上說明的實(shí)施例22的圖像信號處理方法，將隔行掃描的各個場(#1、#2……)看作掃描線數(shù)為1/2的幀，每隔一個在場整體上附加垂直方向的偏置使其移動。在這樣生成的連續(xù)的圖像中，對2枚圖像進(jìn)行位置推定，計(jì)算出相位差，對該相位差進(jìn)行與上述偏置相當(dāng)?shù)南辔徊钇玫男ＵＴ诖?，對上?枚圖像的信號進(jìn)行相位移動，從各個圖像信號分別生成2個信號。由此，從2枚圖像信號生成4個信號。在此，根據(jù)校正后的相位差，對該4個信號的各個信號，按每個像素計(jì)算出用于消除該4個信號的折返成分并進(jìn)行合成的系數(shù)。關(guān)于生成的圖像的各個像素，計(jì)算在上述四個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)并相加所得的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各個像素進(jìn)行上述處理，生成新的高分辨率圖像，并將該高分辨率圖像作為逐行掃描的幀圖像進(jìn)行輸出。
由此，實(shí)施例22的圖像信號處理方法，利用隔行掃描的2個場，能夠生成垂直分辨率的降低少的逐行掃描圖像。
此外，實(shí)施例22的圖像信號處理方法，由于使用2枚輸入圖像幀，所以具有能夠減小需要的圖像處理的量的效果。
實(shí)施例23
本發(fā)明的實(shí)施例23的圖像信號處理裝置具有在圖41所示的實(shí)施例21的圖像信號處理裝置中，將相位移動部(116)置換成圖10所示的相位移動部(1009)，并將折返成分除去部(117)置換成圖10的折返成分除去部(1010)的結(jié)構(gòu)。
關(guān)于其他結(jié)構(gòu)，因?yàn)榕c圖41所示的圖像信號處理裝置相同，因此省略說明。
以上說明的實(shí)施例23的圖像信號處理裝置，除了實(shí)施例21的圖像信號處理裝置的效果之外，還能夠以比實(shí)施例21的圖像信號處理裝置小的電路規(guī)模來實(shí)現(xiàn)，所以能夠更低成本地加以實(shí)現(xiàn)。
實(shí)施例24
利用圖43說明本發(fā)明的實(shí)施例24的圖像信號處理方法。
實(shí)施例24是通過與軟件協(xié)作的控制部實(shí)現(xiàn)與實(shí)施例23的圖像信號處理裝置中的圖像信號處理等價(jià)的處理的圖像信號處理方法。因?yàn)檫M(jìn)行本實(shí)施例的圖像信號處理方法的圖像處理裝置是與實(shí)施例2相同的圖18所示的圖像處理裝置，所以省略說明。
在圖43中，表示本實(shí)施例的圖像信號處理裝置的動作流程的一個例子。圖43的流程是相對于圖15所示的流程，追加對圖40(b)所示的偏置進(jìn)行校正的步驟(4301)，并且將步驟(1502)(1503)的各輸入從幀#1、幀#2變更成場#1、場#2的流程。
關(guān)于其他的步驟，因?yàn)榕c圖15所示的流程相同，所以省略說明。
而且，因?yàn)閷ζ眠M(jìn)行校正的步驟(4301)的動作的詳細(xì)內(nèi)容與對圖42所示的偏置進(jìn)行校正的步驟(4201)相同，所以省略說明。
以上說明的實(shí)施例24的圖像信號處理方法與實(shí)施例22的圖像信號處理方法具有相同的圖像信號高分辨率化的效果。而且實(shí)施例24的圖像信號處理方法與實(shí)施例22的圖像信號處理方法相比，通過使一部分的處理步驟的內(nèi)容相同化，具有能夠以比實(shí)施例22的圖像信號處理方法少的處理量(運(yùn)算數(shù))實(shí)現(xiàn)同樣的信號處理的效果。
實(shí)施例25
本發(fā)明的實(shí)施例25的圖像信號處理裝置具有在圖41所示的實(shí)施例21的圖像信號處理裝置中，將相位移動部(116)置換成圖11所示的相位移動部(1009)，并將折返成分除去部(117)置換成圖11的折返成分除去部(1010)，而且具備圖11所示的輔助像素插補(bǔ)部(1055)的結(jié)構(gòu)。
關(guān)于其他結(jié)構(gòu)，因?yàn)榕c圖41所示的圖像信號處理裝置相同，因此省略說明。
以上說明的實(shí)施例25的圖像信號處理裝置，除了實(shí)施例21的圖像信號處理裝置的效果以外，與實(shí)施例21的圖像信號處理裝置相比，還具有即使當(dāng)附加相位差偏置后的相位差θ變?yōu)?或在0附近時(shí)、或者被判定為與場#1上的處理對象的像素對應(yīng)的像素不在場#2上的情況下，處理結(jié)果也不會變得不穩(wěn)定，能夠獲得穩(wěn)定的輸出圖像的效果。
實(shí)施例26
利用圖44說明本發(fā)明的實(shí)施例26的圖像信號處理方法。
實(shí)施例26是通過與軟件協(xié)作的控制部實(shí)現(xiàn)與實(shí)施例25的圖像信號處理裝置中的圖像信號處理等價(jià)的處理的圖像信號處理方法。因?yàn)檫M(jìn)行本實(shí)施例的圖像信號處理方法的圖像處理裝置是與實(shí)施例2相同的圖18所示的圖像處理裝置，所以省略說明。
在圖44中，表示本實(shí)施例的圖像信號處理裝置的動作流程的一個例子。圖44的流程是相對于圖16所示的流程，追加對圖40(b)所示的偏置進(jìn)行校正的步驟(4401)，并且將步驟(1402)(1403)的各輸入從幀#1、幀#2變更成場#1、場#2的流程。
關(guān)于其他的步驟，因?yàn)榕c圖16所示的流程相同，所以省略說明。
而且，因?yàn)閷ζ眠M(jìn)行校正的步驟(4401)的動作的詳細(xì)內(nèi)容與對圖42所示的偏置進(jìn)行校正的步驟(4201)相同，所以省略說明。
以上說明的實(shí)施例26的圖像信號處理方法，除了實(shí)施例22的圖像信號處理方法的效果以外，與實(shí)施例22的圖像信號處理方法相比，還具有即使當(dāng)附加相位差偏置后的相位差θ變?yōu)?或在0附近時(shí)或者被判定為與場#1上的處理對象的像素對應(yīng)的像素不在場#2上的情況下，處理結(jié)果也不會變得不穩(wěn)定，能夠獲得穩(wěn)定的輸出圖像的效果。
實(shí)施例27
本發(fā)明的實(shí)施例27的圖像顯示裝置是在實(shí)施例13的圖像顯示裝置中，將圖36所示的圖像信號處理部3504替換成在實(shí)施例21、實(shí)施例23或者實(shí)施例25中的一個實(shí)施例所記載的圖像信號處理裝置的圖像顯示裝置。由于其他結(jié)構(gòu)與實(shí)施例13的圖像顯示裝置相同，因此省略說明。
此外，因?yàn)閳D像信號處理部3504的詳細(xì)的動作與實(shí)施例21、實(shí)施例23或者實(shí)施例25中記載的相同，因此省略說明。
根據(jù)實(shí)施例27的圖像顯示裝置，將隔行掃描的各個場(#1、#2……)看作掃描線數(shù)為1/2的幀，每隔一個在場整體上附加垂直方向的偏置使其移動。在這樣生成的連續(xù)的圖像中，對2枚圖像進(jìn)行位置推定，計(jì)算出相位差，對該相位差進(jìn)行與上述偏置相當(dāng)?shù)南辔徊钇玫男ＵＴ诖?，對上?枚圖像的信號進(jìn)行相位移動，從各個圖像信號分別生成2個信號。由此，從2枚圖像信號生成4個信號。在此，根據(jù)校正后的相位差，對該4個信號的各個信號，按每個像素計(jì)算出用于消除該4個信號的折返成分并進(jìn)行合成的系數(shù)。關(guān)于生成的圖像的各個像素，計(jì)算出在上述4個信號的各個信號所具有的對應(yīng)像素的像素值上乘以各系數(shù)后相加的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各個像素進(jìn)行上述處理，生成新的高分辨率圖像，并將該高分辨率圖像作為逐行掃描的幀圖像在顯示部進(jìn)行顯示。
由此，實(shí)施例27的圖像顯示裝置能夠利用隔行掃描的2個場，生成垂直分辨率的降低少的逐行掃描圖像，在顯示部進(jìn)行顯示。
此外，實(shí)施例27的圖像顯示裝置由于使用2枚輸入圖像幀，所以需要的圖像處理的量少。由此，能夠低成本實(shí)現(xiàn)生成垂直分辨率的降低少的逐行掃描圖像并進(jìn)行顯示的圖像顯示裝置。
實(shí)施例28
本發(fā)明的實(shí)施例28的錄像再現(xiàn)裝置是在實(shí)施例17的錄像再現(xiàn)裝置中，將圖36所示的圖像信號處理部3504替換成在實(shí)施例21、實(shí)施例23或者實(shí)施例25的實(shí)施例中的一個實(shí)施例所記載的圖像信號處理裝置的錄像再現(xiàn)裝置。由于其他結(jié)構(gòu)與實(shí)施例17的錄像再現(xiàn)裝置相同，因此省略說明。
此外，因?yàn)閳D像信號處理部3504的詳細(xì)的動作與實(shí)施例21、實(shí)施例23或者實(shí)施例25中記載的相同，因此省略說明。
根據(jù)本發(fā)明的實(shí)施例28的錄像再現(xiàn)裝置，將隔行掃描的各個場(#1、#2……)看作掃描線數(shù)為1/2的幀，每隔一個在場整體上附加垂直方向的偏置使其移動。在這樣生成的連續(xù)的圖像中，對2枚圖像進(jìn)行位置推定，計(jì)算出相位差，對該相位差進(jìn)行與上述偏置相當(dāng)?shù)南辔徊钇玫男Ｕ?。在此，對上?枚圖像的信號進(jìn)行相位移動，從各個圖像信號分別生成2個信號。由此，從2枚圖像信號生成4個信號。在此，根據(jù)校正后的相位差，對該4個信號的各個信號，按每個像素計(jì)算出用于消除該4個信號的折返成分并進(jìn)行合成的系數(shù)。關(guān)于生成的圖像的各個像素，計(jì)算出在上述4個信號的各個信號所具有的對應(yīng)像素的像素值乘以各系數(shù)后相加的和，生成新的高分辨率圖像的像素值。通過對生成圖像的各個像素進(jìn)行上述處理，能夠生成新的高分辨率圖像，并將該高分辨率圖像作為逐行掃描的幀圖像而生成，并將其輸出。
由此，實(shí)施例28的錄像再現(xiàn)裝置能夠利用隔行掃描的2個場，生成垂直分辨率的降低少的逐行掃描圖像，并進(jìn)行輸出。
此外，預(yù)先在記錄部中記錄有隔行掃描的輸入影像信號，當(dāng)從該記錄部進(jìn)行再現(xiàn)時(shí)，能夠利用進(jìn)行再現(xiàn)的隔行掃描的2個場，生成垂直分辨率的降低少的逐行掃描圖像，并進(jìn)行輸出。
此外，實(shí)施例28的錄像再現(xiàn)裝置由于使用2枚輸入圖像幀，所以需要的圖像處理的量少。由此，能夠低成本實(shí)現(xiàn)生成垂直分辨率的降低少的逐行掃描圖像并進(jìn)行輸出的錄像再現(xiàn)裝置。
實(shí)施例29
圖45表示本發(fā)明的實(shí)施例29的結(jié)構(gòu)。如上所述，在使用地上波和衛(wèi)星(BS、CS)的現(xiàn)在的數(shù)字電視播放中，除了現(xiàn)有的SD(StandardDefinition標(biāo)準(zhǔn)清晰度)的圖像信號以外，還通過HD(High Definition高清晰度)的圖像信號播放節(jié)目。但是已知如該圖(a)的發(fā)送機(jī)(4505)的結(jié)構(gòu)所示，并不是全部節(jié)目置換成通過HD照相機(jī)(4501)攝影的圖像信號，而是通過SD→HD變換器(4503)將通過SD照相機(jī)(4502)攝影的圖像信號變換(升頻)成與HD具有相同像素?cái)?shù)的信號，在每個節(jié)目或者每個場景，通過切換器(4504)進(jìn)行切換，輸出至傳送路徑(4506)。其中，傳送路徑(4506)不僅包括播放，也包括通信、存儲(錄像)等。在現(xiàn)有的接收機(jī)中，由于在接收的信號為通過HD照相機(jī)(4501)攝影的圖像信號的情況下，再現(xiàn)分辨率高的圖像；在SD→HD變換(升頻)后的圖像信號的情況下再現(xiàn)分辨率低的圖像，因此，存在以每個節(jié)目或者每個場景頻繁切換分辨率而觀看困難的情況。
因此，如果如圖45(b)所示構(gòu)成接收機(jī)(4514)，則能夠降低上述分辨率差，能夠防止分辨率頻繁切換。以下對該結(jié)構(gòu)詳細(xì)進(jìn)行說明。
其中，低分辨率圖像信號和高分辨率圖像信號的組合不限于SD圖像信號和HD圖像信號，只要是像素?cái)?shù)不同的信號的組合，無論什么樣的信號的組合均可。例如，可以是將像素?cái)?shù)為1440×1080的圖像作為低分辨率圖像信號，將像素?cái)?shù)為1920×1080的圖像作為高分辨率圖像信號的組合。此外，也可以是將像素?cái)?shù)為720×480的圖像作為低分辨率圖像信號，將像素?cái)?shù)為720×576的圖像作為高分辨率圖像信號的組合。在以下的記載中，為了說明，使用SD(Standard Definition標(biāo)準(zhǔn)清晰度)的圖像信號作為低分辨率圖像信號的一個例子，使用HD(High Definition高清晰度)的圖像信號作為高分辨率圖像信號的一個例子。
在圖45(b)中，由輸入部(1)接收信號，通過升頻檢測部(4507)，輸出判定已接收的信號是否為SD→HD變換(升頻)后的信號的判定結(jié)果(UC_on_off)，并且在SD→HD變換(升頻)后的信號的情況下，輸出后述的水平放大率(MR-H)和垂直放大率(MR-V)。在SD→HD變換(升頻)后的信號的情況下，通過圖像信號處理部(4515)，以水平放大率(MR-H)和垂直放大率(MR-V)為基礎(chǔ)，通過HD-SD變換器(4508)將接收的信號逆變換(降頻)成升頻前的像素?cái)?shù)。并且將該逆變換后的信號通過后述的分辨率變換塊(4509)再次變換成與已接收的信號相同的分辨率，輸入切換器(4510)。在切換器(4510)中，根據(jù)上述判定結(jié)果(UC_on_off)，在SD→HD變換(升頻)后的信號的情況下，切換到on側(cè)，輸出分辨率變換塊(4509)的結(jié)果，在不是SD→HD變換(升頻)后的信號的情況下，切換到off側(cè)照原樣輸出已接收的信號。即，僅在SD→HD變換(升頻)后的信號的情況下，有選擇性地使分辨率變換塊(4509)作用。在接收機(jī)(4514)為電視接收機(jī)的情況下，照原樣在顯示部(4511)顯示切換器(4510)的輸出即可。在接收機(jī)(4514)為中轉(zhuǎn)器、編輯機(jī)、記錄機(jī)(視頻記錄器)等的情況下，在通過傳送器(4512)變換成適于傳送路徑(4513)的信號方式以后進(jìn)行傳送即可。其中，傳送路徑(4513)不僅包括播放，也包括通信、存儲(錄像)等。此外，傳送器(4512)就這樣使用現(xiàn)有的一般的中轉(zhuǎn)器、編輯器、記錄機(jī)(視頻記錄器)的技術(shù)即可。
圖46表示SD→HD變換器(4503)和HD-SD變換器(4508)的一般的結(jié)構(gòu)。兩種變換都是對構(gòu)成一個畫面的像素?cái)?shù)(樣本數(shù))進(jìn)行變換的采樣頻率變換器，已知利用現(xiàn)有技術(shù)，通過該圖(a)的多相(ポリフエ一ズ)型和該圖(b)的超采樣(オ一バサンプリング)型的結(jié)構(gòu)能夠加以實(shí)現(xiàn)。例如，在將像素?cái)?shù)變更為m/n(其中，m、n為整數(shù))的情況下，在該圖(a)的多相型中，準(zhǔn)備m組具有規(guī)定的特性的插補(bǔ)低通濾波器(4601)，按照由m和n所決定的規(guī)定的順序，通過切換器(4602)切換插補(bǔ)低通濾波器(4601)的輸出并進(jìn)行輸出。在該圖(b)的超采樣型中，首先通過提升器(4603)提升到m倍(即，以每m個像素依次配置輸入數(shù)據(jù)，在其中的(m-1)個像素中插入“0”)以后，加上具有規(guī)定特定的插補(bǔ)低通濾波器(4604)，通過降低(downrate)器(4605)降低至1/n倍(即以每n個像素等距離地選擇一個像素間拔輸出)。這些也可以使用現(xiàn)有技術(shù)。
圖47表示一般的SD→HD變換(升頻)的具體的動作例。作為通過SD照相機(jī)(4502)攝影的SD圖像(縱橫比4∶3)，例如為該圖(a)(b)(c)所示的形態(tài)。該圖(a)的SD圖像是在畫面滿滿地拍攝圖像，正圓無變形地作為正圓進(jìn)行拍攝而成。該圖(b)的SD圖像是預(yù)先假定在變換為寬縱橫比(16∶9)的HD圖像時(shí)在畫面滿滿地顯示的情況，按照在畫面上下產(chǎn)生無畫部(黑)的方式進(jìn)行拍攝，正圓無變形地作為正圓進(jìn)行拍攝而成。該圖(c)的SD圖像是預(yù)先假定在變換為寬縱橫比(16∶9)的HD圖像時(shí)在畫面滿滿地顯示的情況，并且作為SD圖像也以沒有無畫部(黑)的方式進(jìn)行拍攝，以正圓縱向拉伸的橢圓的方式拍攝而成。若將這些SD圖像分別變換為HD圖像，由于兩者的縱橫比不同，則變?yōu)樵搱D(d)(e)所示的形態(tài)是眾所周知的。該圖(d)的HD圖像按照將該圖(a)的SD圖像的正圓無變形地作為正圓加以顯示的方式進(jìn)行放大，以在畫面的左右產(chǎn)生無畫部(黑)的方式變換像素?cái)?shù)。該圖(e)的HD圖像以不產(chǎn)生無畫部(黑)的方式將該圖(b)(c)的SD圖像分別放大為布滿整個畫面進(jìn)行像素?cái)?shù)變換。
圖48表示上述一般的SD→HD變換(升頻)中的水平和垂直的各放大率(像素?cái)?shù)比)的一個例子。這里，假定SD圖像為水平720像素×垂直480像素，HD圖像為水平1920像素×垂直1080像素。該圖(1)的切邊(side cut)方式是從圖47(a)所示的SD圖像變換成(d)所示的HD圖像的方式，水平的放大率為2倍(＝1920/720×3/4)，垂直的放大率為9/4倍(＝1080/480)。該圖(2)的信箱(レタ一ボツクス)方式是從圖47(b)所示的SD圖像變換成(e)所示的HD圖像的方式，水平的放大率為8/3倍(＝1920/720)，垂直的放大率為3倍(＝1080/480×4/3)。該圖(3)的擠壓(スクイ一ズ)方式是從圖47(c)所示的SD圖像變換成(e)所示的HD圖像的方式，水平的放大率為8/3倍(＝1920/720)，垂直的放大率為9/4倍(＝1080/480)。其中，除了上述以外，假定作為HD圖像為水平1440像素×垂直1080像素或者水平1280像素×垂直720像素等，能夠與上述相同地求出水平放大率和垂直放大率。
圖49表示圖45所示的升頻檢測部(4507)的具體的結(jié)構(gòu)例。這里，SD→HD變換(升頻)時(shí)的放大率假定為圖48所示的水平放大率和垂直放大率。在該圖中，輸入升頻檢測部(4507)的信號在由后述的具有通過帶寬特性的水平高通濾波器(4901-1)(4901-2)、垂直高通濾波器(4901-3)(4901-4)進(jìn)行帶寬限制以后，分別輸入有無信號成分判定部(4902-1)(4902-2)(4902-3)(4902-4)。在有無信號成分判定部(4902-1)中，在通過絕對值化器(4903-1)和平滑器(4904-1)求出信號的包絡(luò)線以后，通過二值化器(4905-1)與規(guī)定的閾值進(jìn)行比較進(jìn)行二值化，通過頻率計(jì)測器(4906-1)計(jì)測超過該閾值的頻率，判定信號成分的有無。即，每單位時(shí)間(例如每一幀)，如果通過上述高通濾波器(4901-1)的信號多則判定為“有信號成分”，如果通過上述高通濾波器(4901-1)的信號少則判定為“無信號成分”。作為平滑器(4904-1)，使用一般的二維低通濾波器即可。關(guān)于其他的有無信號成分判定部(4902-2)(4902-3)(4902-4)也為同樣的結(jié)構(gòu)，進(jìn)行同樣的判定。在水平放大率判定部(4907)和垂直放大率判定部(4908)中，根據(jù)后述的判定方法對上述的各有無信號成分判定部的結(jié)果進(jìn)行分析，分別輸出是否為SD→HD變換(升頻)過的信號的檢測結(jié)果(UC_on_off)以及水平放大率(MR-H)或者垂直放大率(MR-V)。在綜合判定器(4909)中，綜合水平放大率判定部(4907)和垂直放大率判定部(4908)的檢測結(jié)果(UC_on_off)，如果判定任意一方都不是SD→HD變換(升頻)過的信號(off)，則將檢測結(jié)果(UC_on_off)作為off輸出。此外，由于假定SD→HD變換(升頻)在數(shù)幀～數(shù)秒間連續(xù)則相同的結(jié)果連續(xù)，所以優(yōu)選通過由存儲器構(gòu)成的履歷保存器(4910)保存有過去的履歷，通過綜合判定器(4909)取出過去的多個檢測結(jié)果和多數(shù)決定等，進(jìn)行避免檢測結(jié)果(UC_on_off)、各放大率(MR-H)(MR-V)急劇變化的處理(除去孤立點(diǎn))。
在此，若將能夠以HD圖像的像素?cái)?shù)表現(xiàn)的最高頻率(角頻率)作為π，將信號中包含的成分的頻率(角頻率)作為ω，則以圖48所示的放大率為基礎(chǔ)，水平高通濾波器(4901-1)將(π/2≤ω≤π)的水平頻率作為通過帶寬，水平高通濾波器(4901-2)將(3π/8≤ω≤π)的水平頻率作為通過帶寬，垂直高通濾波器(4901-3)將(4π/9≤ω≤π)的垂直頻率作為通過帶寬，垂直高通濾波器(4901-4)將(π/3≤ω≤π)的水平頻率作為通過帶寬。即，將各放大率的倒數(shù)乘以上述最高頻率(角頻率)π后的值作為各高通濾波器的截止頻率。
圖50表示(a)水平放大率判定部(4907)和(b)垂直放大率判定部(4908)的各動作。在各判定器(4907)(4908)中，利用“放大后的圖像中包含的高頻成分的量根據(jù)放大率而變化”的一般性質(zhì)，判定各放大率。即，在(a)水平放大率判定部(4907)，由3π/8＜π/2的關(guān)系，當(dāng)水平頻率ω有(π/2≤ω≤π)的成分時(shí)判定為“未被放大”(攝影時(shí)使用HD照相機(jī))，使檢測結(jié)果(UC_on_off)在off側(cè)(未被升頻)。當(dāng)水平頻率ω沒有(π/2≤ω≤π)的成分但是有(3π/8≤ω≤π)的成分時(shí)判定為“已放大至2倍以上，但未放大至8/3倍以上”，判定水平放大率(MR_V)為2倍，檢測結(jié)果(UC_on_off)在on側(cè)(已升頻)。當(dāng)水平頻率ω也沒有(3π/8≤ω≤π)的成分時(shí)，判定“已放大至8/3倍以上”，判定水平放大率(MR_V)為8/3倍，檢測結(jié)果(UC_on_off)在on側(cè)(已升頻)。同樣地，在(b)垂直放大率判定部(4908)中，由π/3＜4π/9的關(guān)系，當(dāng)垂直頻率ω有(4π/9≤ω≤π)的成分時(shí)判定為“未被放大”(攝影時(shí)使用HD照相機(jī))，使檢測結(jié)果(UC_on_off)在off側(cè)(未被升頻)。當(dāng)垂直頻率ω沒有(4π/9≤ω≤π)的成分但是有(π/3≤ω≤π)的成分時(shí)判定為“已放大至9/4倍以上，但未放大至3倍以上”，判定垂直放大率(MR_V)為9/4倍，檢測結(jié)果(UC_on_off)在on側(cè)(已升頻)。當(dāng)垂直頻率ω也沒有(π/3≤ω≤π)的成分時(shí)，判定“已放大至3倍以上”，判定水平放大率(MR_V)為3倍，檢測結(jié)果(UC_on_off)在on側(cè)(已升頻)。如果根據(jù)這些判定結(jié)果，對圖45所示的切換器(4510)進(jìn)行切換，則能夠僅在SD→HD變換(升頻)過的信號的情況下有選擇性地使分辨率變換塊(4509)作用，并且能夠控制HD/SD變換器(4508)的動作，使得分辨率變換塊(4509)的輸入變?yōu)閿z影時(shí)的SD照相機(jī)(4502)的像素?cái)?shù)。
圖51(a)表示圖45所示的分辨率變換塊(4509)的詳細(xì)結(jié)構(gòu)。在該圖中，若假定通過前段的HD/SD變換器(4508)將水平像素?cái)?shù)變換成1/MR-H＝nH/mH倍(其中，nH、mH為整數(shù))，并且將垂直像素?cái)?shù)變換成1/MR-V＝nV/mV倍(其中，nV、mV為整數(shù))，則在分辨率變換塊(4509)中，利用上述本發(fā)明的實(shí)施例所示的結(jié)構(gòu)(實(shí)施例1至實(shí)施例12)，將水平像素?cái)?shù)變換成mH/nH倍，并且將垂直像素?cái)?shù)變換成mV/nV倍，而且想要進(jìn)行高分辨率化。
因此，在本實(shí)施例中，可以如圖51(a)所示，一旦通過分辨率變換部(5101)將水平像素?cái)?shù)變換成kH倍，并且將垂直像素?cái)?shù)變換成kV倍進(jìn)行圖像放大以后，通過使圖46所示的一般的像素?cái)?shù)變換器(5102)分別在水平方向、垂直方向作用，進(jìn)行剩余的放大率(水平mH/(nH*kH)倍，垂直mV/(nV*kV)倍)的圖像尺寸變換。此時(shí)，分辨率變換部(5101)使用進(jìn)行實(shí)施例7乃至實(shí)施例12所示的二維方向的圖像高分辨率化的圖像處理裝置即可。其中關(guān)于實(shí)施例7乃至實(shí)施例12所示的圖像處理裝置的結(jié)構(gòu)，因?yàn)樵诟鲗?shí)施例中業(yè)已說明，所以省略說明。
例如，在通過分辨率變換塊(4509)將圖像尺寸放大為水平8/3倍且垂直9/4倍時(shí)，在通過分辨率變換部(5101)將圖像尺寸放大為水平2倍且垂直2倍以后，再通過一般的像素?cái)?shù)變換器(5102-H)在水平方向放大為4/3倍，然后通過一般的像素?cái)?shù)變換器(5102-V)在垂直方向放大為9/8倍即可。此外，例如在通過分辨率變換部(5101)放大為水平4倍且垂直4倍以后，再通過一般的像素?cái)?shù)變換器(5102-H)在水平方向縮小至2/3倍，然后通過一般的像素?cái)?shù)變換器(5102-V)在垂直方向縮小至9/16倍即可。雖然存在分辨率變換部(5101)的放大率越大則分辨率越高畫質(zhì)越好的可能性，但是由于與之相伴的分辨率變換處理所需要的輸入幀數(shù)也增加因而電路規(guī)模增大，所以畫質(zhì)和成本相互制衡(トレ一ドオフ)。其中，一般的像素?cái)?shù)變換器(5102-H)(5102-V)可以由圖46所示的(a)多相型和(b)超采樣型的任意一種構(gòu)成。
此外，水平、垂直方向的各個處理的順序也可以為相反的順序。
其中，在上述的說明中，一般的像素?cái)?shù)變換器(5102-H)(5102-V)的變換倍率是以使得HD/SD變換器(4508)的輸入圖像的像素尺寸和來自分辨率變換塊(4509)的輸出尺寸為相同的值的方式進(jìn)行了說明，但是為了將來自分辨率變換塊(4509)的輸出尺寸與顯示部(4511)的像素?cái)?shù)結(jié)合，也可以使用變更后的值。
圖52表示關(guān)于圖45所示結(jié)構(gòu)中的水平方向的變換處理的(a)發(fā)送機(jī)(4505)的SD→HD變換(升頻)(4503)、(b)接收機(jī)(4514)的HD/SD變換(降頻)(4508)和分辨率變換塊(4509)的動作。其中，由于垂直方向也是同樣的動作，所以省略關(guān)于垂直方向的說明。這里，作為分辨率變換塊(4509)假定圖51所示的結(jié)構(gòu)，并且SD→HD變換(4503)、HD/SD變換(4508)、一般的采樣變換器(5102)假定分別為多相型。此外，作為動作的一個例子，以下使從SD圖像變換成HD圖像時(shí)的水平放大率為8/3(＝1920/720)而進(jìn)行說明。
圖52表示各部的輸出信號的頻譜，該圖(a)～(k)的橫軸表示頻率f，縱軸表示信號成分的強(qiáng)度，向上的箭頭(5201)表示采樣載波的位置(頻率)。此外，使SD圖像的水平采樣頻率為fs，SD→HD變換后的HD圖像的水平采樣頻率為fs’(＝8/3fs)。
圖52(a)表示SD照相機(jī)(4502)的輸出信號的頻譜，假定原本包含奈奎斯特頻率(＝fs/2)以上的頻率成分。對于該信號，由于在水平方向放大至8/3倍，所以在SD→HD變換(4503)中，進(jìn)行8倍提升、插補(bǔ)低通濾波器、1/3倍降低的各個處理。
圖52(b)表示SD→HD變換(4503)中的8倍提升器(4603)的輸出信號的頻譜，表示該圖(a)所示的采樣載波的間隔從fs擴(kuò)大至8fs。
圖52(c)表示SD→HD變換(4503)中的插補(bǔ)低通濾波器(4604)的輸出信號的頻譜。若假定插補(bǔ)低通濾波器(4604)的截止頻率為fs/2，則如該圖所示僅僅剩余f＝0和f＝8fs附近的頻率成分，其他頻率成分被除去。此時(shí)，奈奎斯特頻率(＝fs/2)以上的頻率成分作為折返成分而殘留。
圖52(d)表示SD→HD變換(4503)中的1/3倍降低器(4605)的輸出信號的頻譜(周波數(shù)スペクトル)，在SD→HD變換后的采樣頻率fs’(＝8fs/3)的整數(shù)倍的位置產(chǎn)生新的采樣載波(サンプリングキヤリア)。對于該采樣載波，通過插補(bǔ)低通濾波器(4604)的頻率成分被疊入。
這里，圖52(d)表示流過圖45所示的傳送路徑(4506)的SD→HD變換后的信號的頻譜，奈奎斯特頻率(＝fs/2)以上的頻率成分不殘留在原本的位置這一點(diǎn)與圖3和圖4所示的原信號的頻譜大大不同。即，對于該信號，即使就這樣進(jìn)行本發(fā)明的分辨率變換處理，奈奎斯特頻率(＝fs/2)以上的頻率成分也不能再現(xiàn)。
因此，為了從SD→HD變換后的信號中再現(xiàn)奈奎斯特頻率(＝fs/2)以上的頻率成分，需要進(jìn)行圖45(b)接收側(cè)(4514)所示的HD/SD變換(4508)和分辨率變換塊(4509)。以下，以圖51所示的結(jié)構(gòu)為基礎(chǔ)說明圖52(e)～(k)所示的各個頻譜。其中，以下將表示圖51中的放大率的各變量(n、m、k)作為n＝3、m＝8、k＝2，進(jìn)行說明。
圖52(e)表示HD/SD變換(4508)中的3倍提升器(4603)的輸出信號的頻譜，表示該圖(d)所示的采樣載波的間隔從fs’(＝8fs/3)擴(kuò)大至3fs’(＝8fs)。
圖52(f)表示HD/SD變換(4508)中的插補(bǔ)低通濾波器(4604)的輸出信號的頻譜。若假定插補(bǔ)低通濾波器(4604)的截止頻率(カツトオフ周波數(shù))為fs/2，則如該圖所示僅僅剩余f＝0和f＝8fs附近的頻率成分，其他頻率成分被除去。此時(shí)，奈奎斯特頻率(＝fs/2)以上的頻率成分作為折返成分而殘留。而且，從該圖(e)的頻譜可知，如果將插補(bǔ)低通濾波器(4604)的截止頻率設(shè)定為fs/2～((fs’-fs/2)＝13fs/6)的范圍，則能夠除去以fs’(＝8fs/3)和2fs’(＝16fs/3)為中心的不要的頻率成分。
圖52(g)表示HD/SD變換(4508)中的1/8倍降低器(4605)的輸出信號的頻譜，在HD/SD變換后的采樣頻率fs(＝3fs’/8)的整數(shù)倍的位置產(chǎn)生新的采樣載波。對于該采樣載波，通過插補(bǔ)低通濾波器(4604)的頻率成分被疊入。
這里圖52(g)表示奈奎斯特頻率(＝fs/2)以上的頻率成分殘留在原本的位置，與圖3和圖4所示的原信號的頻譜相同。即，對于該信號，如果就這樣進(jìn)行本發(fā)明的分辨率變換處理，能夠再現(xiàn)奈奎斯特頻率(＝fs/2)以上的頻率成分。
圖52(h)表示本發(fā)明的分辨率變換器(5101)的輸出信號的頻譜，如利用圖4等進(jìn)行過的動作說明那樣，能夠消除以fs、3fs、5fs、7fs為中心的不要的折返成分，再現(xiàn)原信號的奈奎斯特頻率(＝fs/2)以上的頻率成分。以下，為了與傳送的HD信號的像素?cái)?shù)配合，通過一般的采樣變換器(5102)放大至4/3倍。
圖52(i)表示采樣頻率變換器(5102)中的4倍提升器(4603)的輸出信號的頻譜，表示該圖(h)所示的采樣載波的間隔從2fs擴(kuò)大至8fs。
圖52(j)表示采樣頻率變換器(5102)中的插補(bǔ)低通濾波器(4604)的輸出信號的頻譜。若假定插補(bǔ)低通濾波器(4604)的截止頻率為fs，則如該圖所示僅僅剩余f＝0和f＝8fs附近的頻率成分，其他頻率成分被除去。
圖52(k)表示采樣頻率變換器(5102)中的1/3倍降低器(4605)的輸出信號的頻譜，在與從發(fā)送側(cè)所傳送的信號相同的采樣頻率fs’(＝8fs/3)的整數(shù)倍的位置產(chǎn)生新的采樣載波。對于該采樣載波，通過插補(bǔ)低通濾波器(4604)的頻率成分被疊入。
通過上述動作，在圖52(d)的頻譜中從發(fā)送側(cè)所傳送的信號通過圖45(b)的接收機(jī)(4514)變換成如圖52(k)所示，在顯示部(4511)再現(xiàn)比從SD照相機(jī)(4502)輸出的圖像更高分辨率的輸出圖像。因此，能夠降低通過HD照相機(jī)(4501)拍攝的圖像信號與通過SD照相機(jī)(4502)拍攝并SD→HD變換(升頻)后的圖像信號之間的分辨率差，能夠解決頻繁切換分辨率而變得難以觀看的問題。
其中，在圖52中，以水平方向的圖像放大為例進(jìn)行了說明，但是垂直方向的圖像放大也為同樣的動作，這是很明顯的。此外，放大率也并不限定在8/3倍，在其他倍率下也為同樣的動作。
此外，圖45所示的(b)接收側(cè)(4514)的信號處理不必為實(shí)時(shí)(リアルタイム)動作，也可以在將從傳送路徑(4506)接收的信號暫時(shí)記錄在視頻記錄機(jī)等以后，通過非實(shí)時(shí)處理(離線處理)實(shí)施分辨率變換以后再次記錄在視頻記錄機(jī)等，在顯示部(4511)進(jìn)行再現(xiàn)時(shí)實(shí)時(shí)顯示。這時(shí)記錄在視頻記錄機(jī)等的部分，相當(dāng)于將該圖(b)接收部(4514)所示的傳送器(4512)考慮為視頻記錄機(jī)的記錄部，將傳送路徑(4513)考慮為記錄介質(zhì)(影碟、錄像磁帶等)的情況。
此外，在圖45中可知，對于通過(a)發(fā)送機(jī)(4505)由HD照相機(jī)(4501)拍攝的信號，在想要通過(b)接收機(jī)(4514)進(jìn)一步變換成高分辨率(也包括I-P變換)并在顯示部(4511)進(jìn)行顯示的情況下，也可以在切換器(4510)之后插入本發(fā)明的分辨率變換塊(4509)。或者，在切換器(4510)的off側(cè)的輸入中插入本發(fā)明的分辨率變換塊(4509)，將通過HD照相機(jī)(4501)拍攝的信號變換成高分辨率，并且提高HD/SD變換(降頻)(4508)后的分辨率變換塊(4509)的放大率也為同一動作。
此外，在圖45中，也不是必須在(b)接收機(jī)(4514)中具備顯示部(4511)、傳送器(4512)。即，也可以不是與(b)接收機(jī)(4514)在同一框體內(nèi)一體化，而是將切換器(4510)的輸出信號作為接口的單獨(dú)的結(jié)構(gòu)。
此外，在圖45中，對通過升頻檢測部(4507)自動檢測是否為進(jìn)行過SD→HD變換(升頻)的信號的檢測結(jié)果(UC_on_off)、水平放大率(MR-H)、垂直放大率(MR-V)的結(jié)構(gòu)進(jìn)行了描述，但是在預(yù)先判明這些的情況下，不需要升頻檢測部(4507)。例如，從發(fā)送機(jī)(4510)通過傳送路徑(4506)傳送圖像幀和模式識別信息，在該模式識別信息中存儲有是否為進(jìn)行過SD→HD變換(升頻)的信號的檢測結(jié)果(UC_on_off)、水平放大率(MR-H)、垂直放大率(MR-V)的各信息的情況下，通過接收機(jī)(4514)讀取模式識別信息，照原樣使用上述各信息即可?；蛘撸谕ㄟ^標(biāo)準(zhǔn)規(guī)格等水平放大率(MR-H)、垂直放大率(MR-V)原本就明確的情況下，使用通過上述標(biāo)準(zhǔn)規(guī)格等所決定的固定值即可。
此外，在圖45中，為了說明簡單，以(a)發(fā)送機(jī)(4505)對從HD照相機(jī)(4501)或者SD照相機(jī)(4502)得到的信號就這樣實(shí)時(shí)進(jìn)行發(fā)送而進(jìn)行了說明，但是本發(fā)明不限定于此，對于對從HD照相機(jī)(4501)或者SD照相機(jī)(4502)得到的信號進(jìn)行過錄像、再現(xiàn)的信號或者進(jìn)行過編輯的信號，當(dāng)然也具有同樣的效果。
此外，在圖45中，SD→HD變換(4503)不是配置在(a)發(fā)送機(jī)(4505)中，即使配置在(b)接收機(jī)(4514)的前段也具有同樣的效果也是明確的。例如，在同一電視接收機(jī)內(nèi)，在想要通過多LSI芯片結(jié)構(gòu)實(shí)現(xiàn)高分辨率化時(shí)，在通過前段的LSI芯片進(jìn)行過SD→HD變換(4503)以后，通過后段的LSI芯片進(jìn)行該圖(b)接收機(jī)(4514)所示的分辨率變換處理也可。在這種情況下，HD圖像的像素?cái)?shù)不必要為通過播放規(guī)格等決定的規(guī)定的像素?cái)?shù)，也可以配合顯示部(4511)的像素?cái)?shù)，例如為水平1024像素×垂直1024像素或水平1366像素×垂直768像素等。
接著，在圖53中表示本實(shí)施例的接收機(jī)的動作的流程的一個例子。在圖53的流程中，處理從步驟(5301)開始，在判定在步驟(5302)中輸入的多枚圖像信號是否為進(jìn)行過SD→HD變換(升頻)的信號之后，如果不是進(jìn)行過SD→HD變換(升頻)的信號，則在步驟(5307)中結(jié)束處理。另一方面，在是進(jìn)行過SD→HD變換(升頻)的信號的情況下，在步驟(5303)中，判定水平放大率(MR-H)和垂直放大率(MR-V)。作為該判定方法，由于就這樣使用利用圖49和圖50說明過的上述步驟即可，所以省略圖示。接著，在步驟(5304)中，以判定的水平放大率(MR-H)和垂直放大率(MR-V)為基礎(chǔ)，以回復(fù)到攝影時(shí)的像素?cái)?shù)的方式進(jìn)行HD/SD變換(降頻)。即，在步驟(5304)中，進(jìn)行水平放大率(1/MR-H)、垂直放大率(1/MR-V)的圖像縮小。在步驟(5305)中，利用圖14乃至圖16所示的處理步驟(5)、圖33所示的步驟(6)、或者圖42乃至圖44所示的步驟(7)的任意一種，進(jìn)行從在步驟(5304)中被變換后的多個圖像中生成高分辨率圖像的分辨率變換(高分辨率化)。在此，在步驟(5305)中，在水平方向和垂直方向分別進(jìn)行整數(shù)倍的圖像放大。例如，使步驟(5305)中的水平放大率為(kH)、垂直放大率為(kV)，其后，在步驟(5306)中，以上述放大率(MR-H、MR-V、kH、kV)為基礎(chǔ)，進(jìn)行一般的像素?cái)?shù)變換并進(jìn)行輸出。即，在步驟(5306)中，進(jìn)行水平放大率(MR-H/kH)、垂直放大率(MR-V/kV)的圖像放大(或者縮小)并進(jìn)行輸出。其中，步驟(5302)和步驟(5303)的動作與圖45所示的升頻檢測(4507)的動作對應(yīng)，步驟(5304)的動作與圖45所示的HD/SD變換(4508)的動作對應(yīng)，步驟(5305)的動作與圖51所示的分辨率變換部(5101)的動作對應(yīng)，步驟(5306)的動作與圖51所示的一般的像素?cái)?shù)變換部(5102)的動作對應(yīng)。
以上說明的實(shí)施例29的接收裝置從輸入影像中對將低分辨率影像在殘留折返成分的狀態(tài)下升頻成高分辨率的影像和原本折返成分就少的高分辨率影像進(jìn)行判別。在判斷輸入影像為前者的影像的情況下，對該升頻影像進(jìn)行降頻(ダウンコンバ一ト)，并且進(jìn)行實(shí)施例7乃至實(shí)施例12所示的二維方向的高分辨率化處理。由此，即使為前者的影像也能夠變換成將折返成分降低后的高分辨率的影像。
因此，在實(shí)施例29的接收裝置所顯示或者輸出的影像中，能夠降低前者的影像和后者的影像之間的分辨率的差，能夠防止分辨率頻繁切換。
實(shí)施例30
本發(fā)明的實(shí)施例30的接收裝置是在實(shí)施例29的接收裝置中，將圖51(a)所示的分辨率變換塊(4509)替換成圖51(b)中記載的分辨率變換塊(4509)的接收裝置。
圖51(b)中記載的分辨率變換塊(4509)與圖51(a)所示的分辨率變換塊(4509)不同，對水平方向進(jìn)行過分辨率變換、提升處理、降低處理以后，對垂直方向進(jìn)行分辨率變換、提升處理、降低處理。此時(shí)，垂直、水平方向的各個處理的順序也可以相反。這樣，通過分別獨(dú)立進(jìn)行分辨率變換、提升處理、降低處理，能夠成為共用進(jìn)行各方向的分辨率變換、提升處理、降低處理的硬件的結(jié)構(gòu)。即，按照具備多個具有相同結(jié)構(gòu)的硬件，分別在水平方向、垂直方向進(jìn)行處理的方式構(gòu)成即可。在這種情況下，通過硬件的共用起到降低部件成本的效果。
此時(shí)，H方向的分辨率變換部(5101-H)和V方向的分辨率變換部(5101-V)進(jìn)行實(shí)施例1乃至實(shí)施例6所示的一維方向的高分辨率化處理即可。其中，關(guān)于進(jìn)行實(shí)施例1乃至實(shí)施例6所示的一維方向的高分辨率化處理的結(jié)構(gòu)，因?yàn)樵诟鲗?shí)施例中業(yè)已說明，因此省略說明。
其他的結(jié)構(gòu)由于與實(shí)施例29的接收裝置相同，所以省略說明。
以上說明的實(shí)施例30的接收裝置，除了實(shí)施例29的接收裝置的效果以外，還具有能夠比實(shí)施例29的接收裝置更低成本地實(shí)現(xiàn)的效果。
實(shí)施例31
本發(fā)明的實(shí)施例31的接收裝置是在實(shí)施例29的接收裝置中，將圖51(a)所示的分辨率變換塊(4509)替換成圖51(c)中記載的分辨率變換塊(4509)的接收裝置。
圖51(c)中記載的分辨率變換塊(4509)與圖51(a)所示的分辨率變換塊(4509)不同，僅在一維方向進(jìn)行分辨率變換、提升處理、降低處理。例如，一維分辨率變換部(5101-1)進(jìn)行實(shí)施例1乃至實(shí)施例6所示的一維方向的高分辨率化處理即可。其中，關(guān)于進(jìn)行實(shí)施例1乃至實(shí)施例6所示的一維方向的高分辨率化處理的結(jié)構(gòu)，因?yàn)樵诟鲗?shí)施例中業(yè)已說明，因此省略說明。
其他的結(jié)構(gòu)由于與實(shí)施例29的接收裝置相同，所以省略說明。即，實(shí)施例31的接收裝置是在接收例如接收的影像僅在一維方向升頻的播放等的情況下，僅對一維方向進(jìn)行高分辨率化的接收裝置。
此時(shí)，圖51(c)中記載的分辨率變換部的結(jié)構(gòu)比圖51(a)所示的分辨率變換塊(4509)更簡便地構(gòu)成。因此，具有降低部件成本的效果。
以上說明的實(shí)施例31的接收裝置從輸入影像中對將低分辨率影像在殘留折返成分的狀態(tài)下升頻成高分辨率的影像和原本折返成分就少的高分辨率影像進(jìn)行判別。在判斷輸入影像為前者的影像的情況下，對該升頻影像進(jìn)行一維方向的降頻，并且進(jìn)行實(shí)施例1乃至實(shí)施例6所示的一維方向的高分辨率化處理。由此，即使為前者的影像也能夠變換成折返成分降低的高分辨率的影像。
因此，在實(shí)施例29的接收裝置所顯示或者輸出的影像中，能夠降低前者的影像和后者的影像之間的分辨率的差，能夠防止分辨率頻繁切換。
以上說明的實(shí)施例31的接收裝置，除了實(shí)施例29的接收裝置的效果以外，還具有能夠比實(shí)施例29的接收裝置更低成本地實(shí)現(xiàn)的效果。
其中，本發(fā)明的各個實(shí)施例，除了上述實(shí)施例中說明過的裝置以外，還能夠同樣應(yīng)用于例如DVD播放器、磁盤播放器、或者半導(dǎo)體存儲播放器。此外，也能夠應(yīng)用于用于接收一段播放的便攜式圖像顯示終端(例如便攜式電話)。
此外作為圖像幀，可以使用電視播放信號以外的信號的圖像幀。此外，也可以使用例如通過英特網(wǎng)發(fā)送的數(shù)據(jù)流圖像、從DVD播放器或HDD播放器再現(xiàn)的圖像的圖像幀。
此外，在上述各實(shí)施例中，對以幀為單位的高分辨率化作為例子進(jìn)行了說明。但是高分辨率化的對象也可以不必是幀的整體。例如，以輸入圖像或者輸入影像的幀的一部分作為高分辨率化的對象也可以。即，如果以輸入影像的幀的一部分的多個幀作為對象實(shí)施上述本發(fā)明的一個實(shí)施例的圖像處理，能夠得到輸入圖像或者輸入影像的一部分的高畫質(zhì)的放大圖像。這能夠應(yīng)用于例如影像的一部分的放大顯示等。
其中，將上述各個實(shí)施例任意組合，也能夠得到本發(fā)明的一個實(shí)施方式。
根據(jù)上述本發(fā)明的各實(shí)施例，能夠進(jìn)行將低分辨率的圖像適當(dāng)?shù)刈儞Q成放大圖像的處理，能夠適當(dāng)?shù)氐玫礁弋嬞|(zhì)的高分辨率圖像。即能夠?qū)D像信號適當(dāng)進(jìn)行高分辨率化。
此外，根據(jù)上述本發(fā)明的各實(shí)施例，能夠降低為了得到高畫質(zhì)的高分辨率圖像所需要的圖像的幀數(shù)。
權(quán)利要求
1.一種圖像顯示裝置，其特征在于，包括
輸入部，其被輸入隔行掃描方式的第一圖像場和第二圖像場；
圖像信號處理部，其利用所述第一圖像場和所述第二圖像場中對應(yīng)的各圖像數(shù)據(jù)計(jì)算出采樣位置的差，并且利用所述第一圖像場和所述第二圖像場的掃描線的空間上的位置差對所述位置的差進(jìn)行校正，利用所述校正后的位置的差，對第一圖像場和第二圖像場進(jìn)行變換處理并加以合成，生成一枚逐行掃描方式的圖像幀；和
顯示所述圖像信號處理部生成的圖像幀的顯示部。
2.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于
所述圖像信號處理部，利用所述校正后的位置差，進(jìn)行所述第一圖像場和所述第二圖像場的對位，增加各個場的像素?cái)?shù)生成2枚高像素?cái)?shù)圖像，移動所述2枚高像素?cái)?shù)圖像的各個圖像數(shù)據(jù)的相位，生成相位移動后的2個圖像數(shù)據(jù)，利用所述校正后的相位差的信息決定系數(shù)，對所述相位移動前的2個圖像數(shù)據(jù)和所述相位移動后的2個圖像數(shù)據(jù)的共4個圖像數(shù)據(jù)的各個圖像數(shù)據(jù)乘以所述系數(shù)并且相加，生成一枚逐行掃描方式的圖像幀。
3.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于
在所述輸入部中還輸入有第三圖像場的情況下，所述圖像信號處理部，對所述第二圖像場和所述第三圖像場進(jìn)行與對所述第一圖像場和所述第二圖像場進(jìn)行過的處理相同的處理，生成一枚逐行掃描方式的圖像幀。
4.一種圖像信號處理裝置，其特征在于，包括
輸入部，其被輸入隔行掃描方式的第一圖像場和第二圖像場；
位置推定部，其利用所述第一圖像場和所述第二圖像場中對應(yīng)的各圖像數(shù)據(jù)計(jì)算出采樣相位差；
偏置校正部，其利用所述第一圖像場和所述第二圖像場的掃描線的空間上的位置差對所述位置推定部所計(jì)算出的相位差進(jìn)行校正；和
分辨率變換部，其利用所述偏置校正部所校正的相位差，對所述第一圖像場和所述第二圖像場進(jìn)行變換處理并加以合成，由此生成一枚分辨率增加后的逐行掃描方式的輸出圖像幀。
5.根據(jù)權(quán)利要求4所述的圖像信號處理裝置，其特征在于
所述分辨率變換部包括運(yùn)動補(bǔ)償/提升部，其利用通過所述偏置校正部校正過的相位差，進(jìn)行所述第一圖像場和所述第二圖像場的對位，增加各個場的像素?cái)?shù)，生成2枚高像素?cái)?shù)圖像；
相位移動部，其對通過所述運(yùn)動補(bǔ)償/提升部增加像素?cái)?shù)后的2枚圖像的各個圖像數(shù)據(jù)的相位進(jìn)行移動，生成新的2枚圖像數(shù)據(jù)；
系數(shù)決定部，其利用通過所述偏置校正部校正過的相位差的信息決定系數(shù)；和
加法器，其對通過所述運(yùn)動補(bǔ)償/提升部生成的2枚圖像的圖像數(shù)據(jù)和通過所述相位移動部生成的新的2枚圖像的圖像數(shù)據(jù)的共4枚圖像數(shù)據(jù)的各個圖像數(shù)據(jù)乘以所述系數(shù)并且輸出將其相加后的幀。
6.根據(jù)權(quán)利要求4所述的圖像信號處理裝置，其特征在于
在所述輸入部中還輸入有第三圖像場的情況下，所述位置推定部、所述偏置校正部和所述分辨率變換部，對所述第二圖像場和所述第三圖像場進(jìn)行與對所述第一圖像場和所述第二圖像場進(jìn)行過的處理相同的處理，生成一枚新的逐行掃描方式的輸出圖像幀。
7.一種圖像信號處理方法，其特征在于，包括
輸入隔行掃描方式的第一圖像場和第二圖像場的輸入步驟；
使所述第一圖像場和所述第二圖像場的各個場的像素?cái)?shù)增加的提升處理步驟；
利用所述第一圖像場和所述第二圖像場中對應(yīng)的各圖像數(shù)據(jù)計(jì)算出采樣相位差的位置推定步驟；
利用所述第一圖像場和所述第二圖像場的掃描線的空間上的位置差對在所述位置推定步驟中所計(jì)算出的相位差進(jìn)行校正的偏置校正步驟；和
利用在所述偏置校正步驟中校正過的相位差，對所述第一圖像場的圖像數(shù)據(jù)和所述第二圖像場的圖像數(shù)據(jù)進(jìn)行變換處理并加以合成，得到一枚逐行掃描方式的輸出圖像幀的分辨率變換步驟。
8.根據(jù)權(quán)利要求7所述的圖像信號處理方法，其特征在于
所述分辨率變換步驟包括對通過所述提升處理步驟增加像素?cái)?shù)后的所述第一圖像場和所述第二圖像場的各個圖像數(shù)據(jù)的相位進(jìn)行移動，生成新的2個圖像數(shù)據(jù)的相位移動步驟；
利用通過所述偏置校正步驟校正過的相位差的信息決定多個系數(shù)的系數(shù)決定步驟；和
對通過所述提升處理步驟生成的2個圖像數(shù)據(jù)和在所述相位移動步驟中生成的新的2個圖像數(shù)據(jù)的共4個圖像數(shù)據(jù)的各個圖像數(shù)據(jù)乘以所述多個系數(shù)中對應(yīng)的系數(shù)并且進(jìn)行相加，輸出一枚逐行掃描方式的幀的輸出步驟。
9.根據(jù)權(quán)利要求7所述的圖像信號處理方法，其特征在于
在所述輸入步驟中，在輸入所述第一圖像場和所述第二圖像場以外，還輸入有第三圖像場的情況下，對所述第一圖像場和所述第二圖像場進(jìn)行所述提升處理步驟、所述位置推定步驟、所述偏置校正步驟和所述分辨率變換步驟，輸出一枚幀，
再對所述第二圖像場和所述第三圖像場進(jìn)行所述位置推定步驟、所述偏置校正步驟和所述分辨率變換步驟，輸出一枚逐行掃描方式的幀。
10.一種圖像信號處理裝置，其特征在于，包括
輸入部，被輸入按第一像素?cái)?shù)構(gòu)成的多個圖像幀；
像素?cái)?shù)變換檢測部，其對輸入所述輸入部中的多個圖像幀是否是從按比第一像素?cái)?shù)少的第二像素?cái)?shù)構(gòu)成的圖像幀變換而成的圖像幀進(jìn)行檢測；和
圖像信號處理部，其利用所述多個圖像幀生成一個按比所述第二像素?cái)?shù)多的第三像素?cái)?shù)構(gòu)成的圖像幀，其中，
所述圖像信號處理部的特性根據(jù)所述像素?cái)?shù)變換檢測部的檢測結(jié)果而變化。
11.根據(jù)權(quán)利要求10所述的圖像信號處理裝置，其特征在于
所述圖像信號處理部包括
像素?cái)?shù)減少處理部，其進(jìn)行減少輸入的多個圖像幀的像素?cái)?shù)的變換；和
分辨率變換部，其利用通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的多個圖像幀，生成一枚按比從所述像素?cái)?shù)減少處理部輸出的多個圖像幀的像素?cái)?shù)多的像素?cái)?shù)構(gòu)成的圖像，其中，
在所述像素?cái)?shù)變換檢測部檢測出輸入所述輸入部中的多個圖像幀是從按所述第二像素?cái)?shù)構(gòu)成的圖像幀變換而成的圖像幀的情況下，所述像素?cái)?shù)減少處理部進(jìn)行將所述多個圖像幀從按所述第一像素?cái)?shù)構(gòu)成的圖像幀變換成按所述第二像素?cái)?shù)構(gòu)成的圖像幀的處理，所述分辨率變換部利用通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的多個圖像幀，生成一個按所述第三像素?cái)?shù)構(gòu)成的圖像幀。
12.根據(jù)權(quán)利要求11所述的圖像信號處理裝置，其特征在于
所述像素?cái)?shù)減少處理部進(jìn)行在水平方向和垂直方向減少所述輸入的多個圖像幀的像素?cái)?shù)的變換處理，
所述分辨率變換部包括
位置推定部，其對通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的多個圖像幀計(jì)算出水平方向和垂直方向的相位差，并且輸出多個采樣相位差數(shù)據(jù)；
像素?cái)?shù)增加部，其利用所述位置推定部輸出的多個采樣相位差數(shù)據(jù)，變更通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的幀的圖像數(shù)據(jù)的位置，生成比通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的圖像幀的像素?cái)?shù)多的2個高像素?cái)?shù)圖像數(shù)據(jù)；和
相位移動部，其分別對從所述像素?cái)?shù)增加部輸出的所述2個高像素?cái)?shù)圖像幀的圖像數(shù)據(jù)進(jìn)行多個相位移動處理，生成4個圖像數(shù)據(jù)，其中，
通過將根據(jù)從所述位置推定部輸出的多個采樣相位差數(shù)據(jù)計(jì)算出的多個系數(shù)乘以從所述相位移動部輸出的所述4個圖像數(shù)據(jù)，輸出一枚按比所述第二像素?cái)?shù)多的像素?cái)?shù)構(gòu)成的圖像幀。
13.根據(jù)權(quán)利要求10所述的圖像信號處理裝置，其特征在于
所述像素?cái)?shù)減少處理部進(jìn)行將所述輸入的多個圖像幀的像素?cái)?shù)在水平方向或者垂直方向的任意一個方向進(jìn)行減少的變換處理，
所述分辨率變換部包括
位置推定部，其對通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的多個圖像幀計(jì)算出在減少所述像素?cái)?shù)的方向上的相位差，并且輸出多個采樣相位差數(shù)據(jù)；
像素?cái)?shù)增加部，其利用所述位置推定部輸出的采樣相位差數(shù)據(jù)，變更通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的幀的圖像數(shù)據(jù)的位置，并生成比通過所述像素?cái)?shù)減少處理部進(jìn)行變換后的圖像幀的像素?cái)?shù)多的高像素?cái)?shù)圖像數(shù)據(jù)；和
相位移動部，其對從所述像素?cái)?shù)增加部輸出的所述高像素?cái)?shù)圖像數(shù)據(jù)進(jìn)行相位移動處理，并且輸出相位移動處理前的圖像數(shù)據(jù)和相位移動處理后的圖像數(shù)據(jù)的2個圖像數(shù)據(jù)，其中，
通過將根據(jù)從所述位置推定部輸出的多個采樣相位差數(shù)據(jù)計(jì)算出的多個系數(shù)乘以從所述相位移動部輸出的所述2個圖像數(shù)據(jù)，輸出一枚按比所述第二像素?cái)?shù)多的像素?cái)?shù)構(gòu)成的圖像幀。
14.根據(jù)權(quán)利要求10所述的圖像信號處理裝置，其特征在于
所述像素?cái)?shù)變換檢測部根據(jù)對輸入所述輸入部的多個圖像幀的圖像數(shù)據(jù)進(jìn)行過高通濾波處理后的數(shù)據(jù)量，對輸入所述輸入部中的多個圖像幀是否是從按比第一像素?cái)?shù)少的所述第二像素?cái)?shù)構(gòu)成的圖像幀變換而成的圖像幀進(jìn)行檢測。
15.一種圖像信號處理方法，其特征在于，包括
判別多枚輸入圖像是否為進(jìn)行放大低分辨率圖像的變換而生成的圖像的像素?cái)?shù)變換檢測步驟；
在所述像素?cái)?shù)變換檢測步驟中，判別出所述輸入圖像為進(jìn)行放大低分辨率圖像的變換而生成的圖像的情況下，計(jì)算出水平方向或者垂直方向的像素?cái)?shù)的放大率的放大率計(jì)算步驟；
利用在所述放大率計(jì)算步驟中計(jì)算出的放大率，進(jìn)行將所述輸入圖像縮小至所述低分辨率圖像的像素?cái)?shù)的變換的縮小變換步驟；和
從通過所述縮小變換步驟進(jìn)行變換后的多個圖像生成高分辨率圖像的高分辨率圖像生成步驟。
16.一種圖像信號處理裝置，其特征在于，包括
被輸入4枚圖像幀的輸入部；和
分辨率變換部，其通過對所述輸入的4枚圖像幀進(jìn)行合成，輸出在水平方向和垂直方向上已增加構(gòu)成圖像幀的像素?cái)?shù)的輸出圖像幀。
17.根據(jù)權(quán)利要求16所述的圖像信號處理裝置，其特征在于
所述分辨率變換部包括
位置推定部，其對選自輸入所述輸入部中的4枚輸入圖像幀的2枚輸入圖像幀的多個組，計(jì)算出所述水平方向和垂直方向的相位差，并且輸出多個采樣相位差數(shù)據(jù)；
像素?cái)?shù)增加部，其利用所述位置推定部輸出的所述多個采樣相位差數(shù)據(jù)，變更所述輸入圖像幀的圖像數(shù)據(jù)的位置，并且生成比所述輸入圖像幀的像素?cái)?shù)多的4個高像素?cái)?shù)圖像數(shù)據(jù)；
相位移動部，其分別對從所述像素?cái)?shù)增加部輸出的所述4個高像素?cái)?shù)圖像幀的圖像數(shù)據(jù)進(jìn)行多個相位移動處理，生成16個圖像數(shù)據(jù)；和
輸出部，其將根據(jù)從所述位置推定部輸出的多個采樣相位差數(shù)據(jù)計(jì)算出的多個系數(shù)乘以從所述相位移動部輸出的所述16個圖像數(shù)據(jù)，從而輸出一枚按比所述輸入圖像幀的像素?cái)?shù)多的像素?cái)?shù)構(gòu)成的圖像幀。
18.根據(jù)權(quán)利要求16所述的圖像信號處理裝置，其特征在于
所述分辨率變換部包括位置推定部，其將輸入所述輸入部的4枚輸入圖像幀中的一個輸入圖像作為基準(zhǔn)圖像幀，利用所述基準(zhǔn)圖像幀上的圖像數(shù)據(jù)和其他3個輸入圖像幀上的分別對應(yīng)的圖像數(shù)據(jù)，分別計(jì)算出水平方向和垂直方向的采樣相位差，并且計(jì)算3組水平方向和垂直方向的采樣相位差；
運(yùn)動補(bǔ)償/提升部，其利用所述3組水平方向和垂直方向的采樣相位差，對所述4枚輸入圖像幀的圖像數(shù)據(jù)進(jìn)行運(yùn)動補(bǔ)償，并且生成在水平方向和垂直方向增加所述4枚輸入圖像幀的像素?cái)?shù)后的高像素?cái)?shù)的4枚圖像幀；
相位移動部，其對所述運(yùn)動補(bǔ)償/提升部生成的4枚高像素?cái)?shù)圖像幀的各個高像素?cái)?shù)圖像幀，生成對圖像數(shù)據(jù)在水平方向進(jìn)行過相位移動的圖像數(shù)據(jù)、在垂直方向進(jìn)行過相位移動的圖像數(shù)據(jù)、在水平·垂直方向進(jìn)行過相位移動的圖像數(shù)據(jù)，并且輸出對各個高像素?cái)?shù)圖像幀生成的3個相位移動后的圖像數(shù)據(jù)和相位移動前的圖像數(shù)據(jù)；和
折返成分除去部，其對從所述相位移動部輸出的多個圖像數(shù)據(jù)乘以根據(jù)所述位置推定部計(jì)算出的3組水平方向和垂直方向的采樣相位差計(jì)算出的系數(shù)而進(jìn)行合成，輸出使構(gòu)成圖像幀的像素?cái)?shù)在水平方向和垂直方向增加后的輸出圖像幀。
19.一種圖像信號處理方法，其特征在于，包括
輸入4枚圖像幀的輸入步驟；和
通過對所述輸入的4枚圖像幀進(jìn)行合成，輸出在水平方向和垂直方向增加構(gòu)成圖像幀的像素?cái)?shù)后的輸出圖像幀的分辨率變換步驟。
20.根據(jù)權(quán)利要求19所述的圖像信號處理方法，其特征在于
所述分辨率變換步驟包括對選自所述輸入步驟中輸入的4枚輸入圖像幀中的2枚輸入圖像幀的多個組，計(jì)算出所述水平方向和垂直方向的相位差，計(jì)算出多個采樣相位差數(shù)據(jù)的位置推定步驟；
利用在所述位置推定步驟中計(jì)算出的所述多個采樣相位差數(shù)據(jù)，變更所述輸入圖像幀的圖像數(shù)據(jù)的位置，并且生成比所述輸入圖像幀的像素?cái)?shù)多的4個高像素?cái)?shù)圖像數(shù)據(jù)的像素?cái)?shù)增加步驟；和
分別對在所述像素?cái)?shù)增加步驟中生成的所述4枚高像素?cái)?shù)圖像幀的圖像數(shù)據(jù)進(jìn)行多個相位移動處理，生成16個圖像數(shù)據(jù)的相位移動步驟；和
將以在所述位置推定部步驟中計(jì)算出的多個采樣相位差數(shù)據(jù)為基礎(chǔ)計(jì)算出的多個系數(shù)乘以在所述相位移動步驟中生成的所述16個圖像數(shù)據(jù)，輸出一枚按比所述輸入圖像幀的像素?cái)?shù)多的像素?cái)?shù)構(gòu)成的圖像幀的輸出步驟。
21.根據(jù)權(quán)利要求19所述的圖像信號處理方法，其特征在于
所述分辨率變換步驟包括將在所述輸入步驟中輸入的4枚輸入圖像幀中的一個輸入圖像作為基準(zhǔn)圖像幀，利用所述基準(zhǔn)圖像幀上的圖像數(shù)據(jù)和其他3個輸入圖像幀上的分別對應(yīng)的圖像數(shù)據(jù)，分別計(jì)算出水平方向和垂直方向的采樣相位差，并計(jì)算出3組水平方向和垂直方向的采樣相位差的位置推定步驟；
利用所述3組水平方向和垂直方向的采樣相位差，對所述4枚輸入圖像幀的圖像數(shù)據(jù)進(jìn)行運(yùn)動補(bǔ)償，并且生成在水平方向和垂直方向增加所述4枚輸入圖像幀的像素?cái)?shù)后的高像素?cái)?shù)的4枚圖像幀的運(yùn)動補(bǔ)償/提升步驟；
對在所述運(yùn)動補(bǔ)償/提升步驟中生成的4枚高像素?cái)?shù)圖像幀的各個高像素?cái)?shù)圖像幀，生成對圖像數(shù)據(jù)在水平方向進(jìn)行過相位移動的圖像數(shù)據(jù)、在垂直方向進(jìn)行過相位移動的圖像數(shù)據(jù)、在水平·垂直方向進(jìn)行過相位移動的圖像數(shù)據(jù)，并且輸出對各個高像素?cái)?shù)圖像幀生成的3個相位移動后的圖像數(shù)據(jù)和相位移動前的圖像數(shù)據(jù)的相位移動步驟；和
對在所述相位移動步驟中生成的多個圖像數(shù)據(jù)乘以根據(jù)在所述位置推定步驟中計(jì)算出的3組水平方向和垂直方向的采樣相位差所計(jì)算出的系數(shù)而進(jìn)行合成，輸出使構(gòu)成圖像幀的像素?cái)?shù)在水平方向和垂直方向增加后的輸出圖像幀的折返成分除去部。
全文摘要
本發(fā)明涉及圖像顯示裝置、圖像信號處理裝置和圖像信號處理方法，提供用于適當(dāng)以較少的幀數(shù)對圖像信號或者運(yùn)動圖像的圖像信號進(jìn)行高分辨率化的技術(shù)。其包括被輸入多個圖像幀的輸入部；和分辨率變換部，其用于通過對所述輸入的多個圖像幀進(jìn)行合成，根據(jù)該輸入圖像幀上的被拍攝體移動的方向而具有不同的分辨率變換特性，增加構(gòu)成圖像幀的像素?cái)?shù)，得到輸出圖像幀，并且，利用該分辨率變換部的輸出結(jié)果得到高分辨率圖像。
文檔編號G09G5/00GK101340540SQ20081012813
公開日2009年1月7日 申請日期2008年7月7日 優(yōu)先權(quán)日2007年7月5日
發(fā)明者影山昌廣, 浜田宏一, 長屋茂喜, 藤田武洋 申請人:株式會社日立制作所