專利名稱：圖像顯示方法、圖像拍攝方法以及圖像合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種拍攝或顯示圖像的技術(shù)，特別涉及一種使拍攝或顯示的圖像的像質(zhì)改善的技術(shù)。
背景技術(shù)：
對于在手持狀態(tài)下拍攝或顯示圖像的器件，修正手抖動是很重要的。例如，日本特開2002-123242號公報中公開了一種檢測因顯示器件的移動而產(chǎn)生的位移，并使顯示器件上的圖像顯示位置向該位移的相反方向移動的技術(shù)。另外，日本特開平7-283999號公報中公開了一種利用攝像器件的小于像素尺寸的移動，取得像素數(shù)大于攝像器件的像素數(shù)的圖像的技術(shù)。

發(fā)明內(nèi)容
但是，從像質(zhì)的觀點來看，與完全修正手抖動相比，有時殘留適度的手抖動更能以好的像質(zhì)進行記錄、傳輸、顯示。這是因為當(dāng)人看到因攝像器件的小于像素尺寸的移動而得到的一系列圖像時，人的大腦會推測為這是尺寸比攝像器件的像素小的像素的值，從而認為這些圖像是高分辨率的圖像。因此，從改善像質(zhì)的觀點來看，人們迫切需要一種小于像素尺寸、即亞像素單位的手抖動修正方法。
另外，在上述日本特開平7-283999號公報中公開了以下方法，即，將攝像器件進行了小于像素尺寸的移動時在該位置所拍攝到的像素值，就此當(dāng)作比攝像器件的像素數(shù)多的輸出圖像的相應(yīng)位置的像素值來使用。但是，就此使用攝像器件的像素的值的話，不能期望像質(zhì)有大的改善。因此，需要一種以高精度的亞像素單位對數(shù)字圖像進行像素值推測的圖像拍攝方法。
本發(fā)明的目的在于，顯示圖像，使得所顯示的圖像被認為是具有大于等于顯示器件的像素數(shù)的像素的高分辨率的圖像。
另外，本發(fā)明的目的還在于，拍攝比具有攝像器件的像素數(shù)的圖像擁有更多信息的圖像。
為了解決上述問題，本發(fā)明的技術(shù)方案1提供一種圖像顯示方法，其特征在于，包括檢測顯示器件的位移的步驟；以及使上述顯示器件上的圖像，向上述顯示器件的位移的相反方向，以亞像素單位，移動與上述顯示器件的位移相應(yīng)的大小并進行顯示的步驟。
由此，與顯示器件被固定時相比能夠在更多的點顯示圖像，因此，能夠顯示圖像使得該圖像被認為是分辨率高于顯示器件的高分辨率圖像。
根據(jù)技術(shù)方案1所述的圖像顯示方法，其特征在于，上述顯示圖像的步驟包括將上述顯示器件的位移，分為像素單位的位移和剩余的小于1像素的位移的步驟；通過插值求出使上述顯示器件上的圖像移動與上述小于1像素的位移相應(yīng)的大小后的圖像的步驟；以及使上述通過插值求出的圖像，移動與上述像素單位的位移相應(yīng)的大小的步驟。
本發(fā)明的技術(shù)方案2提供一種基于投影式圖像顯示裝置的圖像顯示方法，其特征在于，包括使能夠?qū)D像投影在其上的區(qū)域，按照預(yù)定模式以亞像素單位移動的步驟；每當(dāng)上述區(qū)域移動時，通過插值求出向上述區(qū)域的位移的相反方向移動與上述位移相應(yīng)的大小后的圖像的步驟；以及對上述所求出的圖像進行投影的步驟。
由此，因為要投影的像素的位置以亞像素單位移動，所以，能夠由投影式圖像顯示裝置進行高分辨率的圖像顯示。
本發(fā)明的技術(shù)方案3提供一種基于投影式圖像顯示裝置的圖像顯示方法，其特征在于，包括根據(jù)上述圖像顯示裝置的運動，檢測能夠?qū)D像投影在其上的區(qū)域的位移的步驟；以及使投影在上述區(qū)域的圖像，向上述區(qū)域的位移的相反方向，以亞像素單位，移動與上述區(qū)域的位移相應(yīng)的大小并進行顯示的步驟。
由此，與顯示器件被固定時相比能夠在更多的點顯示圖像，因此，能夠顯示圖像使得該圖像被認為是分辨率高于其顯示器件的高分辨率圖像。
本發(fā)明的技術(shù)方案4提供一種圖像顯示方法，其特征在于，包括一邊使攝像器件上的入射圖像按照預(yù)定模式以亞像素單位移動，一邊拍攝多個圖像的步驟；檢測顯示器件的位移的步驟；以及從上述多個圖像中，選擇使上述顯示器件上的圖像向上述顯示器件的位移的相反方向移動與上述顯示器件的位移相應(yīng)的大小后的圖像，并進行顯示的步驟。
由此，不通過插值求出圖像，就能顯示圖像使得該圖像被認為是分辨率高于顯示器件的高分辨率圖像。
根據(jù)技術(shù)方案4所述的圖像顯示方法，其特征在于，還包括縮小上述多個圖像和各圖像的位移的步驟，上述選擇并顯示圖像的步驟，根據(jù)上述縮小后的各圖像的位移，從上述縮小后的多個圖像中選擇圖像。
本發(fā)明的技術(shù)方案5提供一種圖像顯示方法，其特征在于，包括一邊使攝像器件上的入射圖像按照預(yù)定模式以亞像素單位移動，一邊拍攝多個圖像的步驟；以及根據(jù)上述多個圖像和各圖像的位移推測像素值，從而推測像素數(shù)比上述多個圖像的每一個都多的圖像并進行顯示的步驟。
由此，能夠推測與所拍攝的多個圖像的張數(shù)相當(dāng)?shù)臄?shù)量的像素值，從而推測高分辨率的圖像并進行顯示。
根據(jù)技術(shù)方案5所述的圖像顯示方法，其特征在于，還包括縮小上述多個圖像和各圖像的位移的步驟，上述推測并顯示圖像的步驟，根據(jù)上述縮小后的多個圖像和上述縮小后的各圖像的位移，推測像素數(shù)比上述縮小后的多個圖像的每一個都多的圖像并進行顯示。
根據(jù)技術(shù)方案5所述的圖像顯示方法，其特征在于，還包括傳輸上述預(yù)定模式的信息的步驟，上述推測并顯示圖像的步驟，將所傳輸?shù)纳鲜鲱A(yù)定模式的信息用作上述多個圖像的位移。
根據(jù)技術(shù)方案5所述的圖像顯示方法，其特征在于，上述推測并顯示圖像的步驟，根據(jù)上述多個圖像本身，求出上述多個圖像各自的位移。
本發(fā)明的技術(shù)方案6提供一種圖像顯示方法，其特征在于，包括用攝像器件拍攝第1圖像的步驟；使上述攝像器件上的入射圖像，按照預(yù)定模式以亞像素單位移動的步驟；將上述移動后的入射圖像作為第2圖像拍攝的步驟；以及根據(jù)上述第1圖像、第2圖像以及上述第2圖像相對于上述第1圖像的位移推測像素值，從而推測像素數(shù)比上述第1圖像和第2圖像多的第3圖像的步驟。
根據(jù)技術(shù)方案6所述的圖像顯示方法，其特征在于，反復(fù)進行上述使入射圖像移動的步驟，和將上述移動后的入射圖像作為第2圖像拍攝的步驟；上述推測第3圖像的步驟，根據(jù)上述第1圖像和多個上述第2圖像進行推測。
根據(jù)技術(shù)方案6所述的圖像顯示方法，其特征在于，上述推測第3圖像的步驟，用最小二乘法進行圖像的推測。
本發(fā)明的技術(shù)方案7提供一種圖像顯示方法，其特征在于，包括用攝像器件拍攝第1圖像的步驟；在上述攝像器件上的入射圖像移動后，拍攝第2圖像的步驟；檢測上述第2圖像相對于上述第1圖像的位移的步驟；將上述第2圖像的位移，分為像素單位的位移和剩余的小于1像素的位移的步驟；使上述第2圖像向上述像素單位的位移的相反方向移動上述像素單位的位移量的步驟；以及根據(jù)上述第1圖像、上述移動后的第2圖像以及上述小于1像素的位移推測像素值，從而推測像素數(shù)比上述第1圖像和上述移動后的第2圖像多的第3圖像的步驟。
由此，與攝像器件被固定時相比，能夠在更多的點捕捉入射光，因此，能夠取得像素數(shù)多于攝像器件的圖像。
根據(jù)技術(shù)方案7所述的圖像顯示方法，其特征在于，反復(fù)進行上述拍攝第2圖像的步驟，上述推測第3圖像的步驟，根據(jù)上述第1圖像和多個上述第2圖像進行推測。
根據(jù)技術(shù)方案7所述的圖像顯示方法，其特征在于，上述推測第3圖像的步驟，用最小二乘法進行圖像的推測。
本發(fā)明的技術(shù)方案8提供一種圖像顯示方法，其特征在于，包括檢測攝像器件的運動的步驟；將上述攝像器件的運動與預(yù)定模式的運動相加的步驟；使入射圖像向上述攝像器件移動，以抵消上述相加后的運動所帶來的影響的步驟；以及拍攝上述入射圖像的步驟。
由此，能夠抵消手抖動，并拍攝具有由預(yù)定模式的運動產(chǎn)生的有目的的模糊的圖像。
根據(jù)技術(shù)方案8所述的圖像顯示方法，其特征在于，還包括從多個預(yù)定模式中選擇1個的步驟，上述對預(yù)定模式的運動進行相加的步驟，根據(jù)上述所選擇出的模式對運動進行相加。
本發(fā)明的技術(shù)方案9提供一種圖像顯示方法，其特征在于，包括將第2圖像相對于第1圖像的位移，分為像素單位的位移和剩余的小于1像素的位移的步驟；使上述第2圖像向上述像素單位的位移的相反方向移動上述像素單位的位移量的步驟；以及根據(jù)上述第1圖像、上述移動后的第2圖像以及上述小于1像素的位移推測像素值，從而推測像素數(shù)比上述第1圖像和上述移動后的第2圖像多的第3圖像的步驟。
根據(jù)技術(shù)方案9所述的圖像顯示方法，其特征在于，還包括檢測上述第2圖像相對于上述第1圖像的位移的步驟。
根據(jù)技術(shù)方案9所述的圖像顯示方法，其特征在于，將多個圖像用作上述第2圖像，上述推測第3圖像的步驟，根據(jù)上述第1圖像和多個上述第2圖像進行推測。
根據(jù)技術(shù)方案9所述的圖像顯示方法，其特征在于，上述推測第3圖像的步驟，用最小二乘法進行圖像的推測。
根據(jù)本發(fā)明，能夠拍攝具有比顯示器件的像素數(shù)多的像素的高分辨率的圖像，并能夠顯示圖像，使得該圖像被認為是具有比顯示器件的像素數(shù)多的像素的高分辨率的圖像。


圖1是本發(fā)明實施例1的圖像攝影顯示系統(tǒng)的框圖。
圖2A、圖2B分別是表示位移按照預(yù)定模式隨時間變化的例子的圖。
圖3是表示使攝像器件上的像素以亞像素單位移動時的、構(gòu)成入射圖像的入射光與攝像器件輸出的關(guān)系的示意圖。
圖4是本發(fā)明實施例2的圖像攝影顯示系統(tǒng)的框圖。
具體實施例方式
下面，參照附圖詳細說明本發(fā)明的實施例。
圖1是本發(fā)明實施例1的圖像攝影顯示系統(tǒng)的框圖。圖1的圖像攝影顯示系統(tǒng)包括攝像裝置10、20，圖像顯示裝置30，作為投影式圖像顯示裝置的液晶投影機40，以及靜止圖像記錄傳輸部2。攝像裝置10、20，圖像顯示裝置30以及液晶投影機40，可以分別單獨地動作。該圖像攝影顯示系統(tǒng)的目的在于，拍攝和顯示靜止圖像。
攝像裝置10包括手抖動傳感器11、虛擬手抖動信號加法部12、光學(xué)修正部14、攝像器件15以及圖像合成部18。
光學(xué)修正部14按照修正信號光學(xué)地控制入射圖像IP，并使攝像器件15上的圖像移動。光學(xué)修正部14例如是有源棱鏡(active prism)。攝像器件15例如是CCD(Charge-Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)傳感器，拍攝入射圖像IP，并將所得到的圖像輸出到圖像合成部18。
手抖動傳感器11，檢測由手抖動給攝像器件15帶來的加速度、角加速度等，求出由手抖動產(chǎn)生的入射圖像IP在攝像器件15上的位移，并將其輸出到虛擬手抖動信號加法部12。
虛擬手抖動信號加法部12，使所求出的入射圖像IP的位移與按照預(yù)定模式的位移相加，并將所得到的相加后的位移輸出到光學(xué)修正部14。另外，虛擬手抖動信號加法部12，將所加的按照預(yù)定模式的位移輸出到圖像合成部18。光學(xué)修正部14，使入射圖像IP向相加后的位移的相反方向移動相加后的位移的量。
當(dāng)手持攝像裝置10進行拍攝時，手抖動傳感器11檢測攝像器件15的運動，虛擬手抖動信號加法部12將按照預(yù)定模式的由虛擬的手抖動產(chǎn)生的運動與攝像器件15的運動相加。進而，光學(xué)修正部14使往攝像器件15的入射圖像IP移位，以抵消相加后的運動所產(chǎn)生的影響，并由攝像器件15拍攝入射圖像IP。攝像器件15將所拍攝到的靜止圖像輸出到靜止圖像記錄傳輸部2。
因此，此時能夠抵消手抖動，并拍攝具有由預(yù)定模式的運動產(chǎn)生的模糊(blur)的圖像。即，能夠僅給圖像帶來有目的的模糊。
虛擬手抖動信號加法部12中，作為虛擬的手抖動的模式，預(yù)先存儲有多個擅長攝影的人的自然的手抖動，和多個虛擬再現(xiàn)了著名的攝影師的攝影技術(shù)的手抖動，可以根據(jù)攝影狀況和攝影對象選擇其中之一，按照所選擇的模式對運動進行相加。
以下，說明攝像裝置10是固定的，虛擬手抖動信號加法部12僅將按照預(yù)定模式的位移(虛擬的手抖動)輸出到光學(xué)修正部14的情況。
圖2A、圖2B分別是表示位移按照預(yù)定模式隨時間變化的例子的說明圖。虛擬手抖動信號加法部12，如圖2A或圖2B那樣使位移按照預(yù)定模式變化，并使攝像器件15上的入射圖像以亞像素單位移動。以亞像素單位移動，是指以小于1像素的精度移動。這里，位移的各分量是小于1像素的。
攝像器件15拍攝與模式的最初的位移相對應(yīng)的入射圖像。然后，反復(fù)進行由虛擬手抖動信號加法部12使位移變化的動作，和由攝像器件15拍攝由光學(xué)修正部14使之移動后的入射圖像的動作。即，攝像器件15，在每次由虛擬手抖動信號加法部12施加的位移發(fā)生變化時，拍攝互不相同的圖像。攝像器件15將所拍攝到的圖像輸出到圖像合成部18。虛擬手抖動信號加法部12中預(yù)先存儲有多個這樣的模式，可以根據(jù)攝影狀況和攝影對象從多個模式中選擇1個，并按照所選擇出的模式對位移進行相加。
圖3是表示使攝像器件15上的像素以亞像素單位移動時的、構(gòu)成入射圖像的入射光與攝像器件輸出之間的關(guān)系的示意圖。在圖3中，設(shè)入射光i0、i1、i2、i3、i4、i5、i6、i7的間隔為攝像器件15的像素間隔的三分之一。
在使攝像器件15上的入射圖像移動之前，入射光i0～i2入射到像素EL0，這些入射光與輸出信號o00間的關(guān)系，可如式(1)那樣表示。
o00=a0×i0+a1×i1+a2×i2o10=a0×i3+a1×i4+a2×i5---(1)]]>式(1)的系數(shù)a0、a1、a2可通過預(yù)先測出已知的入射光i0～i2與輸出信號o00間的關(guān)系而得到。
接著，考慮使攝像器件15上的圖像移動的情況。這里，為了方便，如圖3所示，基于不是使入射光移動，而是使攝像器件15移動了位移MV1的圖進行考慮。此時，入射光i1～i3入射到像素EL0，這些入射光與輸出信號o00間的關(guān)系，可如式(2)那樣表示，即[式2]o01=a11×i1+a21×i2+a31×i3o11=a11×i4+a21×i5+a31×i6---(2)]]>式(2)的系數(shù)a11、a21、a31可通過預(yù)先測出已知的入射光i1～i3與輸出信號o01間的關(guān)系而得到。
接著，考慮使攝像器件15上的圖像進一步移動的情況。這里，為了方便，基于不使入射光移動，而是使攝像器件15進一步移動了位移MV2的圖進行考慮。此時，入射光i2～i4入射到像素EL0，這些入射光與輸出信號o02間的關(guān)系，可如式(3)那樣表示，即[式3]o02=a22×i2+a32×i3+a42×i4o12=a22×i5+a32×i6+a42×i7---(3)]]>式(3)的系數(shù)a22、a32、a42可通過預(yù)先測出已知的入射光i2～i4與輸出信號o02間的關(guān)系而得到。同樣，對于像素EL1，入射光i3～i7與輸出信號o10、o11、o12間的關(guān)系，可如式(1)～(3)那樣表示。將式(1)～(3)聯(lián)立(summarize)表示，則成為式(4)。
Ai0i1i2i3i4i5i6i7=o00o01o02o10o11o12---(4)]]>A=a0a1a2a11a21a31a22a32a42a0a1a2a11a21a31a22a32a42]]>在式(4)中，矩陣A是特征矩陣。這樣，式(4)表示3張圖像與分辨率是攝像器件15的3倍的入射光的關(guān)系。同樣，如式(4)那樣，當(dāng)?shù)玫搅薔(N是大于等于2的整數(shù))張圖像與分辨率是攝像器件15的N倍的入射光間的關(guān)系時，如果得到特征矩陣的逆矩陣，就能夠通過使該逆矩陣與輸出信號相乘來推測入射光，并能取得分辨率是攝像器件15的N倍的圖像。
如圖2A、2B那樣，虛擬手抖動信號加法部12能夠通過使位移變化得到如式(4)那樣的關(guān)系。圖像合成部18根據(jù)式(4)，基于在某時刻所拍攝的圖像、之后在虛擬手抖動信號加法部12使位移變化后所拍攝的圖像、以及后者相對于前者的位移，推測像素值，從而推定像素數(shù)比這些圖像都多的圖像，并將其輸出到靜止圖像記錄傳輸部2。
靜止圖像記錄傳輸部2，將由圖像合成部18所推定的圖像傳輸?shù)綀D像顯示裝置30、40。另外，也可以是靜止圖像記錄傳輸部2將圖像合成部18的輸出寫入到存儲卡等，進而從存儲卡等讀出數(shù)據(jù)再輸出到圖像顯示裝置30、40。
這樣，由圖1的攝像裝置10對入射圖像施加按照預(yù)定模式的位移，從而能夠拍攝與由攝像器件15原先得到的圖像相比像素數(shù)多的高精細的靜止圖像。
另外，當(dāng)可進行足夠張數(shù)的拍攝時，圖像合成部18用式(5)即[式5]Ai0i1i2i3i4i5i6i7=(ATA)-1ATo00o01o02o10o11o12---(5)]]>進行基于最小二乘法的圖像的推測。于是，能夠改善推測的精度。當(dāng)基于所拍攝到的N張圖像推測圖像時，能夠推測像素數(shù)為所拍攝的圖像的N倍的圖像。即使在拍攝張數(shù)被限制為小于N張的情況下，也可以進行基于最小二乘法的推測。如以上那樣，能對由圖像合成部18所推測的像素數(shù)多的高分辨率圖像進行記錄或傳輸。
當(dāng)正在拍攝時圖像發(fā)生了變化的情況下，得到有模糊的圖像。為了減輕這樣的被拍攝物隨時間的變化而導(dǎo)致的模糊，圖像合成部18可以檢測圖像變化了的區(qū)域，不對該區(qū)域進行以上那樣的高分辨率的圖像的推測，而選擇所拍攝到的圖像中的一個，與所推測的其他區(qū)域進行合成。
如望遠攝影時等那樣，有時手抖動傳感器11的精度和由虛擬手抖動信號加法部12相加的位移的精度不夠。此時，圖1的攝像裝置20根據(jù)圖像本身推測圖像的運動。攝像裝置20包括攝像器件25、修正部26、移動量檢測部27、以及圖像合成部28。
攝像器件25是與攝像器件15相同的器件。攝像器件25首先拍攝作為基準的第1圖像，然后，在攝像器件25運動等導(dǎo)致攝像器件25上的入射圖像移動后，拍攝第2圖像。攝像器件25反復(fù)進行入射圖像移動后拍攝第2圖像的動作。
移動量檢測部27，使每個第2圖像和作為基準的第1圖像移動，使得每個第2圖像與作為基準的第1圖像間的誤差(差的平方值)最小，從而檢測各第2圖像相對于作為基準的第1圖像的位移。移動量檢測部27，將所檢測出的各第2圖像的位移，分為像素單位的位移和剩余的小于1像素的位移，并將像素單位的位移輸出到修正部26，將小于1像素的位移輸出到圖像合成部28。
修正部26使各第2圖像向該圖像的像素單位的位移方向的相反方向移動像素單位的位移量，并將所得到的圖像輸出到圖像合成部28，以抵消檢測出的第2圖像的位移。圖像合成部28，根據(jù)第1圖像、多個移動后的第2圖像、以及小于1像素的位移，利用式(4)推測像素值，從而推測像素數(shù)比第1圖像和移動后的第2圖像都多的第3圖像的像素，并將所得到的作為高分辨率圖像的第3圖像輸出到靜止圖像記錄傳輸部2。圖像合成部28也可以利用式(5)基于最小二乘法進行圖像的推測。
圖像合成部28，可以對所生成的圖像的誤差小于預(yù)先給出的閾值的區(qū)域，推測以上那樣的高分辨率圖像，并對于誤差大于等于閾值的區(qū)域，選擇所拍攝到的圖像中的1個，合成各區(qū)域的圖像。
另外，還可以對隨時間而變化的、誤差大于等于閾值的區(qū)域，從多個圖像中選擇其區(qū)域的誤差小于閾值的圖像，并用所選擇的圖像推測高分辨率的圖像。
另外，對誤差大于等于閾值的區(qū)域，圖像合成部28也可以利用不包含在靜止圖像中的被稱為藍背景色(blue back color)或色度鍵色(chroma key color)的特定的像素值。此時，與高分辨率的靜止圖像分開，另行記錄或傳輸以MPEG(moving picture experts group)方式等編碼后的動圖像，在藍背景色或色度鍵色的區(qū)域?qū)訄D像解碼并顯示。
說明使用了像素數(shù)比所記錄或傳輸?shù)母叻直媛实膱D像少的顯示器件的高分辨率顯示。在圖1中，圖像顯示裝置30包括手抖動傳感器31、手抖動修正部32、圖像存儲器34、圖像縮小插值部35、讀出位置控制部36、以及顯示器件37。這里，假設(shè)使用圖像顯示裝置30時，是用手持等，而不是將其固定。
手抖動傳感器31，檢測由手抖動給顯示器件37帶來的加速度、角加速度等，求出由手抖動產(chǎn)生的顯示器件37的位移，并將其輸出到手抖動修正部32。手抖動修正部32，將顯示器件37的位移分為顯示器件37的像素單位的位移和剩余的小于1像素的位移，并將像素單位的位移輸出到讀出位置控制部36，將小于1像素的位移輸出到圖像縮小插值部35。圖像存儲器34存儲所傳輸?shù)鹊膱D像數(shù)據(jù)，并將其輸出到圖像縮小插值部35。
圖像縮小插值部35，縮小從圖像存儲器34讀出的圖像以使其能顯示在顯示器件37上，并且，通過線性插值求出各像素的值，使得縮小了的圖像向顯示器件37的小于1像素的位移的相反方向，移動與小于1像素的位移相等的大小。讀出位置控制部36從圖像縮小插值部35讀出圖像數(shù)據(jù)，并輸出到顯示器件37，使得由圖像縮小插值部35得到的圖像，向像素單位的位移的相反方向移動與像素單位的位移相等的大小。
結(jié)果，顯示器件37的圖像被認為是在亞像素位置插值后的高分辨率的圖像。例如，即使是包含字符和圖案、且經(jīng)由互聯(lián)網(wǎng)傳輸?shù)闹黜摰膱D像，也能通過將高分辨率的主頁圖像存儲在圖像存儲器34中，顯示同樣地進行了插值的圖像。
另外也可以是，圖像縮小插值部35使圖像移動將小于1像素的位移乘以預(yù)定的值而得到的位移量，讀出位置控制部36使圖像移動將像素單位的位移乘以預(yù)定的值而得到的位移量。
這里，說明了直接觀察顯示器件的情況，而在通過光學(xué)系統(tǒng)觀察顯示器件、或?qū)︼@示器件進行投影時，也能用類似的方法進行顯示。作為一例，說明將圖1的液晶投影機40用作圖像顯示裝置的情況。圖1的液晶投影機40包括虛擬手抖動發(fā)生部42、圖像存儲器44、圖像縮小插值部45、顯示器件47、以及光學(xué)修正部48。輸出圖像OP被投影到屏幕上等。
虛擬手抖動發(fā)生部42生成用于指示屏幕等上的能夠被投影到圖像的區(qū)域以亞像素單位進行移動的信號，并輸出到圖像縮小插值部45和光學(xué)修正部48。虛擬手抖動發(fā)生部42，按照例如圖2A、圖2B那樣的模式，使能夠被投影到圖像的區(qū)域以亞像素單位移動。
每當(dāng)能夠被投影到圖像的區(qū)域移動時，圖像縮小插值部45與圖像縮小插值部35同樣地求出向其位移的相反方向移動等于其位移的大小后的圖像的各像素的值。顯示器件47，顯示所求出的各像素，并通過光學(xué)修正部48對所顯示的圖像進行投影。光學(xué)修正部48根據(jù)來自虛擬手抖動發(fā)生部42的信號，控制射出圖像OP的射出方向。
這樣，因為液晶投影機40以亞像素單位移動所投影的像素的位置，所以，能夠由投影式圖像顯示裝置進行高分辨率的圖像顯示。
說明在液晶投影機40中代替虛擬手抖動發(fā)生部42而設(shè)置手抖動傳感器和手抖動修正部的液晶投影機(未圖示)。假設(shè)該液晶投影機在使用時是用手持等而不是固定。手抖動傳感器檢測由手抖動產(chǎn)生的液晶投影機的運動，求出能夠被投影到圖像的區(qū)域的位移，并將其輸出到手抖動修正部。手抖動修正部，將能夠被投影到圖像的區(qū)域的位移分為圖像的像素單位的位移和剩余的小于1像素的位移，并將像素單位的位移輸出到光學(xué)修正部，將小于1像素的位移輸出到圖像縮小插值部。
每當(dāng)能夠被投影到圖像的區(qū)域移動時，圖像縮小插值部與圖像縮小插值部35同樣地求出向該小于1像素的位移的相反方向移動等于小于1像素的位移的大小后的圖像的各像素的值，并將其輸出到顯示器件。顯示器件顯示所求出的圖像。光學(xué)修正部控制射出圖像OP的射出方向，以使其向像素單位的位移的相反方向移動等于像素單位的位移的大小。
該液晶投影機與圖像顯示裝置30同樣能夠顯示被認為是具有比顯示器件高的分辨率的高分辨率圖像。
(第2實施方式)圖4是本發(fā)明實施例2的圖像攝影顯示系統(tǒng)的框圖。圖4的圖像攝影顯示系統(tǒng)包括攝像裝置210，圖像顯示裝置230、240、250，以及動圖像記錄傳輸部4。攝像裝置210和圖像顯示裝置230、240、250分別可以單獨動作。
攝像裝置210包括手抖動傳感器211、虛擬手抖動信號加法部212、光學(xué)修正部214、攝像器件215以及圖像縮小部218。手抖動傳感器211、虛擬手抖動信號加法部212以及光學(xué)修正部214，分別與圖1的手抖動傳感器11、虛擬手抖動信號加法部12以及光學(xué)修正部14相同。另外，虛擬手抖動信號加法部212將按照預(yù)定模式的位移輸出到動圖像記錄傳輸部4。
攝像器件215拍攝動圖像，并將其輸出到圖像縮小部218。圖像縮小部218根據(jù)需要縮小所輸入的圖像，將其輸出到動圖像記錄傳輸部4。例如，圖像縮小部218，在顯示器件237的像素數(shù)少于攝像器件215像素數(shù)等的情況下，將所輸入的圖像縮小。動圖像記錄傳輸部4，將圖像縮小部218的輸出和按照預(yù)定模式的位移傳送給圖像顯示裝置230、240、250。另外，也可以是動圖像記錄傳輸部4將圖像縮小部218和虛擬手抖動信號加法部212的輸出寫入存儲卡等中，進而從存儲卡等讀出數(shù)據(jù)再輸出到圖像顯示裝置230、240、250。
圖像顯示裝置230包括圖像存儲器234和低分辨率顯示器件237。圖像存儲器234存儲由動圖像記錄傳輸部4所傳輸或讀出的圖像數(shù)據(jù)，并將其輸出到低分辨率顯示器件237。低分辨率顯示器件237具有例如與攝像器件215相同數(shù)量的像素，顯示從圖像存儲器234輸出的圖像。
當(dāng)?shù)头直媛曙@示器件237顯示由攝像器件215通過進行小于其像素尺寸的移動而得到的一系列的圖像時，看了該圖像的人推定位于攝像器件215的像素間的位置的像素值，認為是具有比攝像器件215高的分辨率的高分辨率圖像。結(jié)果，能夠記錄或傳輸被認為是超過攝像器件215和顯示器件237的分辨率的分辨率那樣的、帶有自然的手抖動的動圖像。
對于一系列的靜止圖像，可以一邊施加按照預(yù)定模式的位移一邊進行拍攝，并將其作為動圖像記錄或傳輸。此時也可以取得與動圖像的情況同樣地被認為是高分辨率的圖像的效果。說明在這樣的情況下所使用的圖像顯示裝置240。圖像顯示裝置240包括手抖動傳感器241、圖像存儲部243、圖像存儲器244、顯示圖像選擇部246以及顯示器件247。假設(shè)圖像顯示裝置240是可攜帶的裝置。
在攝像器件210中，虛擬手抖動信號加法部212生成施加按照預(yù)定模式的位移的信號，攝像器件215將與該信號相對應(yīng)的一系列的靜止圖像作為動圖像來進行拍攝。攝像器件210，將施加位移的信號和所拍攝的一系列的靜止圖像，記錄或傳輸?shù)絼訄D像記錄傳輸部4。圖像存儲部243存儲所讀出或傳輸?shù)氖┘游灰频男盘柡鸵幌盗徐o止圖像的數(shù)據(jù)，并將其一部分存儲在圖像存儲器244中。將靜止圖像和拍攝靜止圖像時所使用的施加位移的信號相對應(yīng)地存儲。
手抖動傳感器241檢測顯示器件247的移動產(chǎn)生的位移，并將其輸出到顯示圖像選擇部246。顯示圖像選擇部246根據(jù)所讀出或傳輸?shù)氖┘游灰频男盘?，從圖像存儲器244的多個圖像中，選擇圖像并將其輸出到顯示器件247，該所選擇的圖像相當(dāng)于使顯示器件247移動前所顯示的圖像，向顯示器件247的位移的相反方向，移動與位移相等的大小而得到的圖像。顯示器件247顯示所選擇出的圖像。
這樣，與圖1的圖像顯示裝置30相同，由圖像顯示裝置240得到的圖像，被認為是像素數(shù)比顯示器件多的高分辨率的圖像。此時，在圖像顯示裝置240中，不需要對圖像進行插值。
另外，當(dāng)顯示器件237、247的像素數(shù)少于攝像器件215的像素數(shù)時，在圖像縮小部218中將圖像縮小后進行記錄或傳輸，以使其適合像素數(shù)最少的顯示器件。此時，圖像縮小部218也縮小與各圖像相對應(yīng)的位移的大小。顯示圖像選擇部246從縮小后的多個圖像中進行選擇。此時，可利用記錄容量更小、傳輸速度更低的圖像記錄傳輸部，作為動圖像記錄傳輸部4。另外，當(dāng)動圖像記錄傳輸部4的記錄容量或傳輸速度受到限制時，圖像縮小部218可以按照這些限制縮小圖像。
說明圖像顯示裝置250。圖像顯示裝置250包括圖像合成部253、圖像存儲器254、讀出位置控制部256以及高精細顯示器件257。假設(shè)用攝像裝置210進行拍攝、記錄或傳輸?shù)膱D像的分辨率，低于高精細顯示器件257的分辨率。另外，假設(shè)高精細顯示器件257是不能移動的器件。此時，需要對記錄或傳輸?shù)膱D像進行合成，得到高分辨率的圖像。
在圖4中，圖像合成部253使用由動圖像記錄傳輸部4所傳輸或讀出的施加按照預(yù)定模式的位移的信號，將所傳輸或讀出的圖像數(shù)據(jù)合成為更高分辨率的動圖像，輸出到圖像存儲器254。此時，圖像合成部253與圖1的圖像合成部18相同，進行像素值的推測，從而進行高分辨率的圖像的推測。所傳輸或讀出的圖像數(shù)據(jù)，既可以是由圖像縮小部218縮小后的圖像的數(shù)據(jù)，也可以是未縮小的圖像的數(shù)據(jù)。
讀出位置控制部256從圖像存儲器254進行讀出，再輸出到高精細顯示器件257。當(dāng)圖像中具有大于等于1像素的位移時，讀出位置控制部256變更來自圖像存儲器254的讀出地址，進行像素單位的修正，以抵消所施加的按照預(yù)定模式的位移。高精細顯示器件257顯示從圖像存儲器254輸出的圖像。
這樣，圖像顯示裝置250能夠顯示分辨率比接收到的圖像高的圖像。
圖像合成部253，可以將圖像中變化小的區(qū)域判斷為靜止圖像部分，將各圖像中的該區(qū)域的以亞像素單位的移動，作為該圖像的位移來檢測，推測高分辨率模式的像素值，來合成高分辨率的圖像。
如以上那樣，在圖4的圖像攝影顯示系統(tǒng)中，攝像裝置將圖像縮小，以使其適合可利用的若干種圖像顯示裝置中像素數(shù)最少的圖像顯示裝置，接收所得到的圖像數(shù)據(jù)的圖像顯示裝置，能夠與各可顯示的分辨率相一致地，推測并顯示分辨率比圖像數(shù)據(jù)高的圖像。另外，當(dāng)圖像數(shù)據(jù)的記錄容量或傳輸速度受到限制時，也能夠按照這些限制縮小圖像尺寸，再進行記錄或傳輸，并在接收圖像數(shù)據(jù)的圖像顯示裝置中合成高分辨率圖像并進行顯示。
施加按照預(yù)定模式的位移的信號，可作為MPEG格式的PAN信號或SCAN信號，多路復(fù)用成MPEG流再記錄或傳輸。
在以上的實施方式中，說明了像素為1維的推測，但也能容易地進行2維的推測。
如上所述，本發(fā)明能夠改善拍攝或顯示的圖像的像質(zhì)，因此，對拍攝或顯示圖像的裝置等很有用。
權(quán)利要求
1.一種圖像顯示方法，其特征在于，包括檢測顯示器件的位移的步驟；以及使上述顯示器件上的圖像，向上述顯示器件的位移的相反方向，以亞像素單位，移動對應(yīng)于上述顯示器件的位移的大小并進行顯示的步驟。
2.根據(jù)權(quán)利要求1所述的圖像顯示方法，其特征在于，上述顯示圖像的步驟包括將上述顯示器件的位移，分為像素單位的位移和剩余的小于1像素的位移的步驟；通過插值求出使上述顯示器件上的圖像移動與上述小于1像素的位移相應(yīng)的大小后的圖像的步驟；以及使上述通過插值求出的圖像，移動與上述像素單位的位移相應(yīng)的大小的步驟。
3.一種投影式圖像顯示裝置的圖像顯示方法，其特征在于，包括使能夠被投影到圖像的區(qū)域，按照預(yù)定模式以亞像素單位移動的步驟；每當(dāng)上述區(qū)域移動時，就通過插值求出向上述區(qū)域的位移的相反方向移動與上述位移相應(yīng)的大小后的圖像的步驟；以及對上述所求出的圖像進行投影的步驟。
4.一種投影式圖像顯示裝置的圖像顯示方法，其特征在于，包括根據(jù)上述圖像顯示裝置的運動，檢測能夠被投影到圖像的區(qū)域的位移的步驟；以及使投影在上述區(qū)域的圖像，向上述區(qū)域的位移的相反方向，以亞像素單位，移動與上述區(qū)域的位移相應(yīng)的大小并進行顯示的步驟。
5.一種圖像顯示方法，其特征在于，包括一邊使攝像器件上的入射圖像按照預(yù)定模式以亞像素單位移動，一邊拍攝多個圖像的步驟；檢測顯示器件的位移的步驟；以及從上述多個圖像中，選擇使上述顯示器件上的圖像向上述顯示器件的位移的相反方向移動與上述顯示器件的位移相應(yīng)的大小后的圖像，并進行顯示的步驟。
6.根據(jù)權(quán)利要求5所述的圖像顯示方法，其特征在于，還包括縮小上述多個圖像和各圖像的位移的步驟，在上述選擇并顯示圖像的步驟中，根據(jù)上述縮小后的各圖像的位移，從上述縮小后的多個圖像中選擇圖像。
7.一種圖像顯示方法，其特征在于，包括一邊使攝像器件上的入射圖像按照預(yù)定模式以亞像素單位移動，一邊拍攝多個圖像的步驟；以及根據(jù)上述多個圖像和各圖像的位移推測像素值，從而推測像素數(shù)比上述多個圖像的每一個都多的圖像并進行顯示的步驟。
8.根據(jù)權(quán)利要求7所述的圖像顯示方法，其特征在于，還包括縮小上述多個圖像和各圖像的位移的步驟，在上述推測并顯示圖像的步驟中，根據(jù)上述縮小后的多個圖像和上述縮小后的各圖像的位移，推測像素數(shù)比上述縮小后的多個圖像的每一個都多的圖像并進行顯示。
9.根據(jù)權(quán)利要求7所述的圖像顯示方法，其特征在于，還包括傳輸上述預(yù)定模式的信息的步驟，在上述推測并顯示圖像的步驟中，將所傳輸?shù)纳鲜鲱A(yù)定模式的信息用作上述多個圖像的位移。
10.根據(jù)權(quán)利要求7所述的圖像顯示方法，其特征在于，上述推測并顯示圖像的步驟，根據(jù)上述多個圖像本身，求出上述多個圖像各自的位移。
11.一種圖像拍攝方法，其特征在于，包括用攝像器件拍攝第1圖像的步驟；使上述攝像器件上的入射圖像，按照預(yù)定模式以亞像素單位移動的步驟；將上述移動后的入射圖像作為第2圖像拍攝的步驟；以及根據(jù)上述第1圖像、第2圖像以及上述第2圖像相對于上述第1圖像的位移推測像素值，從而推測像素數(shù)比上述第1圖像和第2圖像多的第3圖像的步驟。
12.根據(jù)權(quán)利要求11所述的圖像拍攝方法，其特征在于，反復(fù)進行上述使入射圖像移動的步驟，和將上述移動后的入射圖像作為第2圖像拍攝的步驟；在上述推測第3圖像的步驟中，根據(jù)上述第1圖像和多個上述第2圖像進行推測。
13.根據(jù)權(quán)利要求11所述的圖像拍攝方法，其特征在于，在上述推測第3圖像的步驟中，用最小二乘法進行圖像的推測。
14.一種圖像拍攝方法，其特征在于，包括用攝像器件拍攝第1圖像的步驟；在上述攝像器件上的入射圖像移動后，拍攝第2圖像的步驟；檢測上述第2圖像相對于上述第1圖像的位移的步驟；將上述第2圖像的位移，分為像素單位的位移和剩余的小于1個像素的位移的步驟；使上述第2圖像向上述像素單位的位移的相反方向移動上述像素單位的位移量的步驟；以及根據(jù)上述第1圖像、上述移動后的第2圖像以及上述小于1個像素的位移推測像素值，從而推測像素數(shù)比上述第1圖像和上述移動后的第2圖像多的第3圖像的步驟。
15.根據(jù)權(quán)利要求14所述的圖像拍攝方法，其特征在于，反復(fù)進行上述拍攝第2圖像的步驟，在上述推測第3圖像的步驟中，根據(jù)上述第1圖像和多個上述第2圖像進行推測。
16.根據(jù)權(quán)利要求14所述的圖像拍攝方法，其特征在于，在上述推測第3圖像的步驟中，用最小二乘法進行圖像的推測。
17.一種圖像拍攝方法，其特征在于，包括檢測攝像器件的運動的步驟；將上述攝像器件的運動與預(yù)定模式的運動相加的步驟；使入射圖像向上述攝像器件移動，以抵消上述相加后的運動所帶來的影響的步驟；以及拍攝上述入射圖像的步驟。
18.根據(jù)權(quán)利要求17所述的圖像拍攝方法，其特征在于，還包括從多個預(yù)定模式中選擇1個的步驟，在上述對預(yù)定模式的運動進行相加的步驟中，根據(jù)上述所選擇出的模式對運動進行相加。
19.一種圖像合成方法，其特征在于，包括將第2圖像相對于第1圖像的位移，分為像素單位的位移和剩余的小于1個像素的位移的步驟；使上述第2圖像向上述像素單位的位移的相反方向移動上述像素單位的位移量的步驟；以及根據(jù)上述第1圖像、上述移動后的第2圖像以及上述小于1像素的位移推測像素值，從而推測像素數(shù)比上述第1圖像和上述移動后的第2圖像多的第3圖像的步驟。
20.根據(jù)權(quán)利要求19所述的圖像合成方法，其特征在于，還包括檢測上述第2圖像相對于上述第1圖像的位移的步驟。
21.根據(jù)權(quán)利要求19所述的圖像合成方法，其特征在于，將多個圖像用作上述第2圖像，在上述推測第3圖像的步驟中，根據(jù)上述第1圖像和多個上述第2圖像進行推測。
22.根據(jù)權(quán)利要求19所述的圖像合成方法，其特征在于，在上述推測第3圖像的步驟中，用最小二乘法進行圖像的推測。
全文摘要
本發(fā)明提供一種圖像顯示方法、圖像拍攝方法以及圖像合成方法，顯示圖像使得所顯示的圖像被認為是具有大于等于顯示器件的像素數(shù)的像素的高分辨率的圖像。其中，圖像顯示方法包括檢測顯示器件的位移的步驟；使上述顯示器件上的圖像向與上述顯示器件的位移的相反方向，以亞像素單位，移動與上述顯示器件的位移相應(yīng)的大小并進行顯示的步驟。
文檔編號G09G3/20GK1808557SQ200610001928
公開日2006年7月26日 申請日期2006年1月19日 優(yōu)先權(quán)日2005年1月19日
發(fā)明者平井誠 申請人:松下電器產(chǎn)業(yè)株式會社