專利名稱：用于處理圖像信號的設備和方法、用于執(zhí)行該方法的程序、以及用于記錄該程序的計算機 ...的制作方法
技術領域：
本發(fā)明涉及可良好地應用于具有連續(xù)變化的圖像放大率(圖像尺寸)的圖像(縮放圖像)的顯示的用于處理圖像信號的設備和方法、用于執(zhí)行該方法的程序、以及用于記錄該程序的計算機可讀介質。
更具體地，本發(fā)明涉及用于處理圖像信號的設備等，其通過使用基于至少有關依照輸出圖像信號的圖像的放大率的信息生成的圖像質量調整信息來調整此圖像的圖像質量，而改善縮放圖像。
背景技術：
為轉換圖像的放大率，有必要通過確定具有與輸入圖像信號的像素數(shù)據(jù)的相位不同的相位的像素數(shù)據(jù)，而得到輸出圖像信號。在此情況中，通過使用轉換后圖像的放大率，唯一地確定輸出圖像信號的像素相對于輸入圖像信號的像素的相位關系。
傳統(tǒng)上，已提出了一種方法，通過該方法，在為了轉換圖像的放大率而從輸入圖像信號的像素數(shù)據(jù)得到輸出圖像信號的像素數(shù)據(jù)時，與輸出圖像信號的像素相對于輸入圖像信號的像素的每個相位相對應的、用于估計等式的系數(shù)數(shù)據(jù)被預先存儲在存儲器中，并被讀取，以基于使用所述系數(shù)數(shù)據(jù)的估計等式而得到輸出圖像信號的像素數(shù)據(jù)。
如果轉換后圖像的放大率不同，則給出不同的輸出圖像信號的像素相對于輸入圖像信號的像素的相位關系。因此，在用于將用于估計等式的系數(shù)數(shù)據(jù)存儲在存儲器中的方法中，為將放大率轉換為不同值，有必要根據(jù)存儲器中的這些不同的放大率的值而存儲多項系數(shù)數(shù)據(jù)。因此，在這種情況中，有必要提供用于存儲很多項系數(shù)數(shù)據(jù)的存儲器，由此導致昂貴的轉換設備等問題。
為解決此問題，本申請人早先已提出了一種設備，其可基于相位信息而從系數(shù)種于數(shù)據(jù)中產(chǎn)生要用于估計等式的系數(shù)數(shù)據(jù)，以消除用于存儲很多項系數(shù)數(shù)據(jù)、以將放大率轉換為不同值的存儲器的必要性(見日本專利申請?zhí)亻_(KOKAI)第2002-196737號)。
例如，通過連續(xù)地改變圖像的放大率，可實現(xiàn)電子縮放。此電子縮放具有這種問題，即在作為整體的放大的靜止圖像中顯現(xiàn)出模糊，從靜止圖像到放大的運動圖像的轉換遇到折返(fold-back)失真，并且，在輸入圖像信號中的噪聲(如果有的話)在放大圖像中變得顯著。另外，如果圖像的放大率在縮放中迅速改變，則輸入圖像信號的處理范圍在時間周期上顯著變化，由此產(chǎn)生一種問題，即不能得到視覺上的平滑縮放圖像。

發(fā)明內容
本發(fā)明的目的在于提高通過連續(xù)地改變圖像的放大率而得到的縮放圖像的圖像質量。
根據(jù)本發(fā)明的用于處理圖像信號的設備基于由多項像素數(shù)據(jù)構成的第一圖像信號而產(chǎn)生第二圖像信號，以顯示圖像放大率連續(xù)改變的圖像，該設備包括相位信息生成部件，用于生成與每個放大率相對應的第二圖像信號中的目標位置的相位信息；像素數(shù)據(jù)產(chǎn)生部件，用于根據(jù)由相位信息生成部件生成的相位信息，而產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)；以及圖像質量調整部件，用于通過使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，來調整依照第二圖像信號的圖像的質量。
根據(jù)本發(fā)明的用于處理圖像信號的方法為一種用于處理圖像信號的方法，其基于由多項像素數(shù)據(jù)構成的第一圖像信號而產(chǎn)生第二圖像信號，以顯示圖像放大率連續(xù)改變的圖像，該方法包括以下步驟生成第二圖像信號中的目標位置的相位信息，該相位信息對應于每個放大率；根據(jù)由相位信息生成部件生成的相位信息，而產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)；以及通過使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，而調整依照第二圖像信號的圖像的質量。
一種與本發(fā)明有關的程序，用于使計算機執(zhí)行用于處理圖像信號的上述方法。與本發(fā)明有關的計算機可讀介質存儲此程序。
在本發(fā)明中，對應于每個放大率而生成第二圖像信號中的目標位置的相位信息。與此相位信息相對應地，產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)。使用例如估計等式來執(zhí)行此像素數(shù)據(jù)的產(chǎn)生。也就是說，生成與相位信息相對應的、在估計等式中使用的系數(shù)數(shù)據(jù)，并基于第一圖像信號而選擇位于第二圖像信號中的目標位置的周圍的多項像素數(shù)據(jù)，以便通過使用此系數(shù)數(shù)據(jù)和多項像素數(shù)據(jù)，基于估計等式來計算第二圖像信號的目標位置的像素數(shù)據(jù)。
在使用估計等式來產(chǎn)生像素數(shù)據(jù)的這種情況中，使用通過學習處理而得到的系數(shù)數(shù)據(jù)使得比通過線性內插法(interplation)等更為精確地得到第二圖像信號中的目標位置的像素數(shù)據(jù)，其中，所述學習處理使用與第二圖像信號相對應的教師信號、以及與第一圖像信號相對應的學生信號。
例如，如下生成系數(shù)數(shù)據(jù)。也就是說，將用于產(chǎn)生在估計等式中使用的系數(shù)數(shù)據(jù)的、作為包含作為參數(shù)的相位信息的產(chǎn)生等式中的系數(shù)數(shù)據(jù)的系數(shù)種子數(shù)據(jù)存儲在存儲部件中。這些系數(shù)種子數(shù)據(jù)和相位信息用于基于產(chǎn)生等式而產(chǎn)生要在估計等式中使用的系數(shù)數(shù)據(jù)。在此情況中，不將與每個放大率相對應的系數(shù)數(shù)據(jù)存儲在存儲器中，由此消除了用于存儲很多系數(shù)數(shù)據(jù)的存儲器的必要性。
此外，例如，如下生成系數(shù)數(shù)據(jù)。也就是說，將對于可由相位信息生成部件生成的每條相位信息而言的、要在估計等式中使用的系數(shù)數(shù)據(jù)存儲在存儲部件中。從此存儲部件讀取與相位信息相對應的系數(shù)數(shù)據(jù)。
在此條件下，基于第一圖像信號而選擇第二圖像信號中的目標位置的多項像素數(shù)據(jù)，并且基于這些多項像素數(shù)據(jù)而檢測第二圖像信號中的目標位置的像素數(shù)據(jù)的所屬類別，以便可生成不僅與相位信息相對應、還與此檢測出的類別相對應的系數(shù)數(shù)據(jù)，由此使得進一步提高第二圖像信號中的目標位置的像素數(shù)據(jù)的精度。
此外，通過使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，而調整依照第二圖像信號的圖像的質量。應當注意，這里提到的圖像質量可為例如分辨率或噪聲抑制度。與圖像的放大率相關的信息可為例如放大率的改變率、圖像的放大率等。
此外，通過使用基于從位于第二圖像信號中的目標位置的周圍的第一圖像信號的多項像素數(shù)據(jù)中提取的特性信息而生成的圖像質量調整信息，而調整依照第二圖像信號中的目標位置的像素數(shù)據(jù)的圖像的質量。應當注意，這里提到的特性信息可為例如運動信息、動態(tài)范圍、空間波形信息等。
例如，將分辨率和噪聲抑制度調整為隨著圖像的放大率的改變率(縮放速度)的增大而減小。由此，有可能在縮放期間給出看起來平滑的縮放圖像。
此外，例如，將噪聲抑制度調整為隨著圖像的放大率(縮放放大率)的增大而增大。由此，有可能防止放大圖像中的噪聲變得顯著。
此外，例如，隨著圖像的放大率(縮放放大率)的增大，將分辨率調整為對于靜止圖像增大、而對于運動圖像減小。由此，有可能抑制在作為整體的放大靜止圖像中顯現(xiàn)出模糊，以及抑制在從靜止圖像轉換為放大運動圖像時出現(xiàn)折返失真。
在產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)時，可調整第二圖像信號中的圖像的質量，并且進一步地，在產(chǎn)生該像素數(shù)據(jù)之后，可使用增強較高頻率范圍的增強器、消除噪聲的噪聲消除電路等。
在對生成像素數(shù)據(jù)執(zhí)行圖像質量調整時，可根據(jù)圖像質量調整信息、使用系數(shù)數(shù)據(jù)來執(zhí)行這種調整。例如，為通過使用包含作為參數(shù)的相位信息的產(chǎn)生等式來產(chǎn)生系數(shù)數(shù)據(jù)，圖像質量調整信息也可作為參數(shù)而被包含于該產(chǎn)生等式中，以得到根據(jù)相位信息和圖像質量調整信息的這種系數(shù)數(shù)據(jù)。此外，例如，在從存儲部件讀取系數(shù)數(shù)據(jù)時，可從此存儲部件讀取根據(jù)相位信息和圖像質量調整信息的這種系數(shù)數(shù)據(jù)。


圖1為TV接收機的實施例的配置的方框圖；圖2為示出輸入圖像信號Vin和輸出圖像的處理范圍RG之間的關系的圖；圖3A、3B、以及3C為分別示出縮放中心點P0和處理范圍RG之間的關系的圖；圖4為用于示出在2.5倍縮放時的輸入的像素位置和輸出的像素位置之間的關系的圖；圖5為用于示出在1.25倍縮放時的輸入的像素位置和輸出的像素位置之間的關系的圖；圖6A、6B、以及6C為分別示出放大率T、改變率K、以及圖像質量調整信息f或g之間的關系的圖；圖7A、7B、以及7C為分別示出放大率T以及圖像質量調整信息f或g之間的關系的圖；
圖8A、8B、以及8C為分別示出改變率K以及圖像質量調整信息f或g之間的關系的圖；圖9為用于示出系數(shù)種子數(shù)據(jù)產(chǎn)生方法的一個例子的圖；圖10為用于示出525i信號(SD信號)的像素位置和1050i信號(HD信號)的像素位置之間的關系的圖；圖11為沿垂直方向的八級相移的說明圖；圖12為沿水平方向的八級相移的說明圖；圖13為用于示出SD信號(525i信號)和HD信號(1050i信號)之間的相位關系的圖；圖14為用于示出產(chǎn)生系數(shù)種子數(shù)據(jù)的方法的一個例子的圖；圖15為用于示出系數(shù)種子產(chǎn)生設備的配置的方框圖；圖16為圖像信號處理設備的軟件實現(xiàn)的配置的方框圖；圖17為用于處理圖像信號的過程的流程圖；以及圖18為用于產(chǎn)生系數(shù)種子數(shù)據(jù)的過程的流程圖。
具體實施例方式
下面將通過參照附圖來描述本發(fā)明的實施例。圖1示出了根據(jù)該實施例的TV接收機100。TV接收機100基于從廣播信號得到的525i信號(輸入圖像信號Vin)而產(chǎn)生輸出圖像信號Vout，以顯示依照此輸出圖像信號Vout的圖像。
TV接收機100配備有微型計算機，并具有系統(tǒng)控制器101，用于控制整個系統(tǒng)的操作；以及遙控信號接收電路102，用于接收遙控信號。在此配置中，遙控信號接收電路102被連接到系統(tǒng)控制器101，以響應于用戶的操作，而接收由遙控發(fā)射器200輸出的遙控信號RM，并向系統(tǒng)控制器101提供與此信號RM相對應的操作信號。
TV接收機100還具有接收天線105；調諧器106，被提供有由此接收天線105捕獲的廣播信號(RF調制信號)，以對其執(zhí)行頻道選擇、中頻放大、檢測處理等，以便可得到525i信號；以及緩沖存儲器109，用于暫時存儲從此調諧器106輸出的525i信號。應當注意，525i信號表示具有525行的隔行掃描系統(tǒng)圖像信號。
TV接收機100還具有圖像信號處理部分110，用于接收暫時存儲在緩沖存儲器109中的525i信號，作為輸入圖像信號Vin，以基于此輸入圖像信號Vin而產(chǎn)生新的525i信號，作為輸出圖像信號Vout，并將其輸出；以及顯示部分111，用于顯示依照此圖像信號處理部分110的輸出圖像信號Vout的圖像。例如，顯示部分111由陰極射線管(CRT)、例如液晶顯示器(CRT)的平面顯示板等構成。
下面將描述圖1中示出的TV接收機100的操作。
從調諧器106輸出的525i信號被提供到緩沖存儲器109，并被暫時存儲在其中。將被暫時存儲在此緩沖存儲器109中的525i信號作為輸入圖像信號Vin而輸入到圖像信號處理部分110。
在此圖像信號處理部分110中，基于輸入圖像信號Vin，產(chǎn)生新的525i信號，作為輸出圖像信號Vout。在此情況中，有可能根據(jù)遙控發(fā)射器200的用戶操作所生成的設置，而在普通模式和縮放模式之間切換。在普通模式中，對輸入圖像信號Vin的整個范圍進行處理，以產(chǎn)生顯示具有放大率1的圖像的輸出圖像信號Vout。在縮放模式中，產(chǎn)生顯示這種縮放圖像的輸出圖像信號Vout，所述縮放圖像即圖像的放大率在被用戶指定為中心的任意點(縮放中心點P0)的周圍連續(xù)地改變。在此縮放模式中，輸入圖像信號Vin的處理范圍RG根據(jù)圖像的放大率而改變。
在縮放模式中，有可能還在由操作器的用戶操作改變圖像放大率的手動模式、以及自動地改變圖像放大率的自動模式之間切換。在手動模式中，當用戶操作操作器時，圖像放大率以預先設置的改變率改變。在自動模式中，如果放大率的初始狀態(tài)為1，則轉換圖像放大率，使其在預設的改變時間段之內變?yōu)槟繕朔糯舐?；另一方面，如果放大率的初始狀態(tài)為目標放大率，則改變圖像放大率，使其在預設的改變時間段之內變?yōu)?。應當注意，可由遙控發(fā)射器200的用戶操作來設置手動模式中的改變率、以及自動模式中的改變時間和目標放大率。
將從此圖像信號處理部分110輸出的輸出圖像信號Vout提供到顯示部分111，以便將依照此輸出圖像信號Vout的圖像顯示在此顯示部分111的屏幕上。顯示部分111在普通模式中顯示具有放大率1的普通圖像，而在縮放模式中顯示圖像放大率在作為中心的任意點周圍連續(xù)地改變的這種縮放圖像。
接下來，將詳細描述圖像信號處理部分110。此圖像信號處理部分110具有第一至第三抽頭選擇電路121-123，所述抽頭選擇電路中的每個為構成輸出圖像信號Vout的每個單位像素塊而選擇性地從存儲在緩沖存儲器109中的525i信號中取出位于與存在于該單位像素塊中的每個像素(目標像素)相對應的位置(即，輸出圖像信號Vout中的目標位置)的周圍的多項像素數(shù)據(jù)，并將其輸出。
第一抽頭選擇電路121用于選擇性地取出要用于預測的像素的數(shù)據(jù)(被稱為“預測抽頭”)。第二抽頭選擇電路122用于選擇性地取出要用于空間類別(space class)的分類的像素的數(shù)據(jù)(被稱為“空間類別抽頭”)。第三抽頭選擇電路123用于選擇性地取出要用于運動類別(motion class)的分類的像素的數(shù)據(jù)(被稱為“運動類別抽頭”)。應當注意，如果通過使用屬于多場的像素數(shù)據(jù)而確定空間類別，則此空間類別還包含運動信息。
圖像信號處理部分110還具有空間類別檢測電路124，用于基于由第二抽頭選擇電路122選擇性地取出的空間類別抽頭的數(shù)據(jù)的電平(level)分布模式，而檢測空間類別，并輸出其類別信息。
空間類別檢測電路124執(zhí)行這種計算以便例如將空間類別抽頭的8位數(shù)據(jù)壓縮為2位數(shù)據(jù)那。例如，此空間類別檢測電路124采用自適應動態(tài)范圍編碼(ADRC)。根據(jù)ADRC，假設空間類別抽頭的數(shù)據(jù)的最大值為MAX，其最小值為MIN，空間類別抽頭的數(shù)據(jù)的動態(tài)范圍為DR(MAX-MIN+1)，且重量化位的數(shù)目為P，那么，通過有關空間類別抽頭的數(shù)據(jù)ki的等式(1)的計算，而得到重量化碼Qi。應當注意，等式(1)中的“[]”表示其間的內容經(jīng)過了小數(shù)舍去。如果給出Na項數(shù)據(jù)作為空間類別抽頭的數(shù)據(jù)，則i＝1至Na。
Qi＝[(ki-MIN+0.5)×2p/DR] …(1)圖像信號處理部分110還具有運動類別檢測電路125，用于根據(jù)由第三抽頭選擇電路123選擇性地輸出的運動類別抽頭的(多項)數(shù)據(jù)來檢測主要指明運動程度的運動類別，并輸出其類別信息。
例如，此運動類別檢測電路125通過使用例如下面的方法來檢測運動類別。根據(jù)由第三抽頭選擇電路123選擇性地取出的運動類別抽頭的數(shù)據(jù)而計算幀間差，以便對這些差的絕對值的平均值進行閾值處理，以檢測作為運動索引(index)的運動類別。也就是說，運動類別檢測電路125通過使用等式(2)來計算差的絕對值的平均值AV。例如，如果第三抽頭選擇電路123取出六項像素數(shù)據(jù)m1至m6、以及緊前面的幀的六項像素數(shù)據(jù)n1至n6作為類別抽頭的數(shù)據(jù)，則等式(2)中的Nb為6。
AV=Σi=1Nb|mi-ni|Nb···(2)]]>隨后，運動類別檢測電路125將此計算出的平均值AV與一個或多個閾值相比較，以得到運動類別的類別信息MV。例如，預備三個閾值th1、th2、以及th3(th1＜th2＜th3)來檢測四個運動類別，如果AV≤th1，則MV＝0，如果th1＜AV≤th2，則MV＝1，如果th2＜AV≤th3，則MV＝2，并且，如果th3＜AV，則MV＝3。
圖像信號處理部分110還具有類別合成電路126，用于基于作為從空間類別檢測電路124輸出的空間類別的類別信息的重量化碼Qi、以及從運動類別檢測電路125輸出的運動類別的類別信息MV，為構成要創(chuàng)建的輸出圖像信號Vout的每個單位像素塊，而得到指明存在于該單位像素塊中的每個像素(目標像素)所屬于的類別的類別碼CL。
此類別合成電路126通過使用等式(3)來計算類別碼CL。應當注意，在等式(3)中，Na表示空間類別抽頭的數(shù)據(jù)的項數(shù)，而P表示ADRC中的重量化位的數(shù)目。
CL=Σi=1NaQi(2P)i-1+MV×(2P)Na···(3)]]>圖像信號處理部分110還具有寄存器131至133、以及系數(shù)存儲器134。寄存器131用于存儲由第一抽頭選擇電路121選擇的預測抽頭的抽頭位置信息。第一抽頭選擇電路121根據(jù)從寄存器131提供的抽頭位置信息而選擇預測抽頭。抽頭位置信息給例如有可能被選擇的多個像素編號，以指定要選擇的像素的數(shù)目。這也適用于下面的抽頭位置信息。
寄存器132用于存儲由第二抽頭選擇電路122選擇的空間類別抽頭的抽頭位置信息。第二抽頭選擇電路122根據(jù)從寄存器132提供的抽頭位置信息而選擇空間類別抽頭。
應當注意，寄存器132在運動相對小的情況下存儲抽頭位置信息A，而在運動相對大的情況下存儲抽頭位置信息B。由從運動類別檢測電路125輸出的運動類別的類別信息MV來決定要將這些抽頭位置信息A和B中的哪一個提供到第二抽頭選擇電路122。
也就是說，如果由于運動不存在或很小而分別使MV＝0或MV＝1，則將抽頭位置信息A提供到第二抽頭選擇電路122。由此，認定此第二抽頭選擇電路122選擇的空間類別抽頭覆蓋多個場。另一方面，如果由于運動相對大而使MV＝2或MV＝3，則將抽頭位置信息B提供到第二抽頭選擇電路122。由此，認定此第二抽頭選擇電路122選擇的空間類別抽頭僅為與要創(chuàng)建的像素(盡管其未示出)的場相同的場內的像素。
可配置為使得將在運動相對小的情況下的抽頭位置信息和在運動相對大的情況下的抽頭位置信息也存儲在上述寄存器131中，以便可基于從運動類別檢測電路125輸出的運動類別的類別信息MV而選擇被提供到第一抽頭選擇電路121的抽頭位置信息。
寄存器133用于存儲由第三抽頭選擇電路123選擇的運動類別抽頭的抽頭位置信息。第三抽頭選擇電路123根據(jù)從寄存器133提供的抽頭位置信息而選擇運動類別抽頭。
此外，系數(shù)存儲器134用于為每個類別而存儲用于由后面描述的估計預測計算電路127所使用的估計等式的系數(shù)數(shù)據(jù)。此系數(shù)數(shù)據(jù)為用于將525i信號轉換為作為輸出圖像信號Vout的新的525i信號的信息。系數(shù)存儲器134被提供有從類別合成電路126輸出的、作為讀取地址信息的類別碼CL，從該系數(shù)存儲器134讀取與類別碼CL相對應的系數(shù)數(shù)據(jù)，并將其提供到估計預測計算電路127。
圖像信號處理部分110還具有信息存儲器組(memory bank)135。在此信息存儲器組135中，預先儲存了要存儲在寄存器131至133中的抽頭位置信息。在此情況中，在信息存儲器組135中，預先儲存與圖像的放大率或改變率相對應的抽頭位置信息。在系統(tǒng)控制器101的控制下，將與圖像放大率或圖像改變率相對應的抽頭位置信息從信息存儲器組135加載到寄存器131-133。
如上所述，在用戶操作遙控發(fā)射器200時，普通模式和縮放模式彼此切換。在普通模式中，圖像的放大率為1。另一方面，在縮放模式中，圖像的放大率根據(jù)操作器的用戶操作而改變(在手動模式中)，或自動改變(在自動模式中)。
此外，在信息存儲器組135中，預先儲存每個類別的系數(shù)種子數(shù)據(jù)。此系數(shù)種子數(shù)據(jù)為用于產(chǎn)生等式(production equation)的系數(shù)數(shù)據(jù)，該等式具有作為產(chǎn)生要存儲在上述系數(shù)存儲器134中的系數(shù)數(shù)據(jù)所需參數(shù)的相位信息h和v、以及圖像質量調整信息f和g。
后面描述的估計預測計算電路127通過使用等式(4)的估計等式，而根據(jù)預測抽頭的數(shù)據(jù)xi和從系數(shù)存儲器134讀取的系數(shù)數(shù)據(jù)Wi來計算要創(chuàng)建的像素數(shù)據(jù)y。如果要由第一抽頭選擇電路121選擇的預測抽頭的數(shù)目為10，則等式(4)中的n為10。
y=Σi=1nWi·xi···(4)]]>例如，如由等式(5)所指明的，通過使用具有作為參數(shù)的相位信息h和v、以及圖像質量調整信息f和g的產(chǎn)生等式，而產(chǎn)生此估計等式中的系數(shù)數(shù)據(jù)Wi(i＝1至n)。應當注意，相位信息h表示水平相位信息，而相位信息v表示垂直相位信息。此外，圖像質量調整信息f用于調整分辨率，而圖像質量調整信息g用于調整噪聲抑制度。
在信息存儲器組135中，為每個類別而存儲作為用于此產(chǎn)生等式的系數(shù)數(shù)據(jù)的多條系數(shù)種子數(shù)據(jù)wi0至wi30(i＝1至n)。后面將描述用于產(chǎn)生此系數(shù)種子數(shù)據(jù)的方法。
Wi＝wi0+wi1f+wi2g+wi3f2+wi4fg+wi5g2+wi6f3+wi7f2g+wi8fg2+wi9g3+wi10v+wi11vf+wi12vg+wi13vf2+wi14vfg+wi15vg2+wi16h+wi17hf+wi18hg+wi19hf2+wi20hfg+wi21hg2+wi22v2+wi23v2f+wi24v2g+wi25vh+wi26vhf+wi27vhg+wi28h2+wi29h2f+wi30h2g……(5)圖像信號處理部分110還具有系數(shù)產(chǎn)生電路136，用于使用用于每個類別的系數(shù)種子數(shù)據(jù)、以及相位信息h和v及圖像質量調整信息f和g的值，而通過使用等式(5)來產(chǎn)生與用于每個類別的相位信息h和v、以及圖像質量調整信息f和g的值相對應的、用于估計等式的系數(shù)數(shù)據(jù)Wi(i＝1至n)。
將每個類別的系數(shù)種子數(shù)據(jù)加載到系數(shù)產(chǎn)生電路136。此外，對于構成要創(chuàng)建的輸出圖像信號Vout的每個單位像素塊，此系數(shù)產(chǎn)生電路136被提供有由后面將描述的相位信息生成電路139生成的、存在于該單位像素塊中的每個像素的相位信息h和v。對于每個單位像素塊，此系數(shù)產(chǎn)生電路136還被提供有由后面將描述的圖像質量調整信息生成電路140生成的圖像質量調整信息f和g。
將用于每個單位像素塊的、由此系數(shù)產(chǎn)生電路136產(chǎn)生的、與用于每個類別的相位信息h和v、以及圖像質量調整信息f和g的每個組合相對應的系數(shù)數(shù)據(jù)Wi(i＝1至n)存儲在上述系數(shù)存儲器134中。
圖像信號處理部分110還具有相位信息生成電路139。從系統(tǒng)控制器101對此相位信息生成電路139提供輸入圖像信號Vin和與圖像的放大率相對應的輸出圖像信號Vout中的各個垂直和水平場中的像素的數(shù)目的對應信息n/m。它還被提供有縮放模式中的縮放中心點P0的信息p。
基于這些對應信息n/m和縮放中心點P0的信息p，對于構成輸出圖像信號Vout的每個單位像素塊，相位信息生成電路139生成該單位塊中的每個像素的相位信息h和v。此相位信息生成電路139由例如ROM表構成。
用于構成輸出圖像信號Vout的每個單位像素塊的、由此相位信息生成電路139生成的每個像素的相位信息h和v分別與像素數(shù)目(抽頭數(shù)目)相關，并被提供到系數(shù)產(chǎn)生電路136。應當注意，相位信息生成電路139分別生成與輸入圖像信號Vin的奇數(shù)和偶數(shù)場相對應的相位信息h和v。
下面將描述構成輸出圖像信號Vout的單位像素塊。
產(chǎn)生輸出圖像信號Vout所需的輸入圖像信號Vin的處理范圍RG根據(jù)圖像的放大率(圖像尺寸)而改變。假定輸入圖像信號Vin的整個范圍的尺寸為1，那么，例如，如果圖像的放大率為1，則輸入圖像信號Vin的處理范圍RG的尺寸為1，而如果圖像的放大率為2，則輸入圖像信號Vin的處理范圍RG的尺寸為1/2。通常，假定圖像放大率為T，那么，輸入圖像信號Vin的處理范圍RG的尺寸為1/T。
在普通模式中，由于圖像放大率為1，所以，輸入圖像信號Vin的處理范圍RG的尺寸固定為1。在縮放模式中，由于圖像放大率連續(xù)地改變，所以，輸入圖像信號Vin的處理范圍RG的尺寸也連續(xù)地改變。圖2示出了在縮放模式中、圖像放大率逐漸增加時，輸入圖像信號Vin的處理范圍RG和依照輸出圖像信號Vout的圖像(輸出圖像)的顯示范圍之間的關系。在此情況中，輸入圖像信號Vin的處理范圍RG的尺寸依次減小，而輸出圖像的顯示范圍總是恒定。應當注意，在縮放模式中，在圖像放大率依次減小時，給出與圖2的關系相反的關系。
此外，在縮放模式中，顯示這種縮放圖像，即圖像的放大率在被用戶指定為中心的任意點(縮放中心點P0)周圍連續(xù)地改變。在此情況中，輸入圖像信號Vin的處理范圍RG根據(jù)縮放中心點P0而變化。
具體而言，如上所述，實際處理范圍RG根據(jù)對于輸入圖像信號Vin的整個范圍的圖像的放大率而改變。此處理范圍RG總是包括上述縮放中心點P0，并且，將此縮放中心點P0的水平和垂直內部比設置為與輸入圖像信號Vin的整個范圍中的縮放中心點P0的所述內部比相同。
圖3A至3C示出了在圖像放大率為2(2倍縮放)的情況中的縮放中心點P0和處理范圍RG之間的關系。這些圖3A至3C中的數(shù)字表示內部比。
在上述處理范圍RG中，以方格圖案(check pattern)依次排列構成輸出圖像信號Vout的多個各自的單位像素塊。單位像素塊的尺寸隨著圖像放大率改變，并且，在輸出圖像信號Vout的n×n數(shù)目的像素與輸入圖像信號Vin的m×m數(shù)目的像素相對應時，單位像素塊的尺寸與n×n一樣大。此單位像素塊與輸入圖像信號Vin的m×m數(shù)目的像素相對應。
例如，如果選擇了2.5的放大率，則如圖4所示，在垂直和水平方向上，n/m＝5/2。因此，作為輸出圖像信號Vout的525i信號的5×5數(shù)目的像素塊與作為輸入圖像信號Vin的525i信號的2×2數(shù)目的像素塊相對應。在此情況中，5×5數(shù)目的像素構成組成輸出圖像信號Vout的每個單位像素塊。應當注意，在圖4中，大點表示輸入圖像信號Vin的像素，而小點表示輸出像素信號Vout的像素。此外，由實線指明奇數(shù)場中的像素位置，而由虛線指明偶數(shù)場的像素位置。
在此情況中，相位信息生成電路139在上述525i信號的2×2數(shù)目的像素塊的之中，得到從這些5×5數(shù)目的單位像素塊中的每個像素到水平方向上最近的像素(最近像素)的距離作為相位信息h，得到其到垂直方向上最近的像素(最近像素)的距離作為相位信息v。在本實施例中，假設525i信號的水平和垂直像素間距離為16而得到上面的相位信息h和v。
應當注意，如果目標像素在最近像素的左邊，則假定相位信息h為負值，而如果在最近像素的右邊，則假定其為正值。類似地，如果其在最近像素的上邊，則假定相位信息v為負值，而如果在最近像素的下邊，則假定其為正值。
此外，如果選擇了1.25的放大率，則如圖5所示，在垂直和水平方向上，n/m＝5/4。因此，作為輸出圖像信號Vout的525i信號的5×5數(shù)目的像素塊與作為輸入圖像信號Vin的525i信號的4×4數(shù)目的像素塊相對應。在此情況中，5×5數(shù)目的像素構成組成輸出圖像信號Vout的每個單位像素塊。應當注意，在圖5中，大點表示輸入圖像信號Vin的像素，而小點表示輸出像素信號Vout的像素。此外，由實線指明奇數(shù)場中的像素位置，而由虛線指明偶數(shù)場的像素位置。
在此情況中，相位信息生成電路139在上述525i信號的4×4數(shù)目的像素塊的之中，得到從這些5×5數(shù)目的單位像素塊中的每個像素到水平方向上最近的像素(最近像素)的距離作為相位信息h，得到其到垂直方向上最近的像素(最近像素)的距離作為相位信息v。
應當注意，在縮放模式中，從相位信息生成電路139生成相位信息h和v，使得所產(chǎn)生的與縮放中心點P0相對應的圖像像素的相位總是相同，例如，h和v可等于0。
再次如圖1所示，圖像信號處理部分110還具有圖像質量調整信息生成電路140，用于生成圖像質量調整信息f和g。從系統(tǒng)控制器101向此圖像質量調整信息生成電路140提供放大率T、以及作為與圖像放大率相關的信息的其變化率K。還從運動類別檢測電路125對它提供運動類別的類別信息MV，并從空間類別檢測電路124對它提供動態(tài)范圍DR。這些類別信息MV和動態(tài)范圍DR為從位于輸出圖像信號Vout中的目標位置周圍的輸入圖像信號Vin的多項像素數(shù)據(jù)中提取的每個特性信息。
圖像質量調整信息生成電路140基于放大率T、改變率K、類別信息MV、以及動態(tài)范圍DR而生成圖像質量調整信息f和g。此圖像質量調整信息生成電路140由例如ROM表構成。如上所述，圖像質量調整信息f用于調整分辨率，而圖像質量調整信息g用于調整噪聲抑制度。例如，所述信息f、g分別被規(guī)定為具有0至8的值，使得f＝0和f＝8分別與相對低和高的分辨率相對應，而g＝0和g＝8分別與沒被抑制的噪聲和被相對強地抑制的噪聲相對應。
圖6A示出了在MV＝0、且目標位置為靜止圖像的情況下，放大率T、改變率K、以及分辨率調整信息f之間的關系。圖6B示出了在MV＝1至3、且目標位置為運動圖像的情況下，放大率T、改變率K、以及分辨率調整信息f之間的關系。圖6C示出了放大率T、改變率K、以及分辨率調整信息g之間的關系。
圖7A至7C示出了從放大率T的軸一側觀看的各個圖6A至6C的關系。如圖7A所示，在靜止圖像的情況下，隨著放大率T增加，將分辨率調整信息f的值設置為增加，也就是說，以分辨率可增加的這種方式進行設置。由此，有可能抑制在放大靜止圖像時可能出現(xiàn)的圖像中的模糊。
此外，如圖7B所示，在運動圖像的情況下，隨著放大率T增加，將分辨率調整信息f的值設置為減小，也就是說，以分辨率可減小的這種方式進行設置。由此，有可能防止在運動類別之間轉換時放大的運動圖像中的折返失真變得顯著。
此外，如圖7C所示，在放大率T超過某個值(例如2)的范圍中，隨著放大率T增加，將噪聲抑制度的值設置為增加，也就是說，以噪聲可被抑制得更多的這種方式進行設置。由此，有可能防止放大圖像中的噪聲變得顯著。
應當注意，如圖7A所示，將靜止圖像中的分辨率調整信息f的值設置為增加，也就是說，以分辨率可隨著動態(tài)范圍DR變大而增加的這種方式進行設置。為了抑制隨著動態(tài)范圍RD變大而增加的邊緣處的模糊，而進行所述操作。此外，如圖7B所示，將運動圖像中的分辨率調整信息f的值設置為減小，也就是說，以分辨率可隨著動態(tài)范圍DR變大而減小的這種方式進行設置。為了防止邊緣運動隨著動態(tài)范圍DR變大而變得更為顯著，而進行所述操作。此外，如圖7C所示，將噪聲抑制度g的值設置為減小，也就是說，以噪聲抑制度可隨著動態(tài)范圍DR變大而減小的這種方式進行設置。為了防止由于抑制噪聲而使分辨率降低，而進行所述操作，其中，噪聲在動態(tài)范圍DR很大時不顯著。
圖8A-8C示出了從改變率K的軸一側觀看的各個圖6A-6C的關系。如圖8A所示，在靜止圖像的情況下，隨著改變率K增加，將分辨率調整信息f的值設置為減小，也就是說，以分辨率可減小的這種方式進行設置。由此，即使在放大靜止圖像時由于改變率增加而使輸入圖像信號Vin的處理范圍的計時起伏(time jitter)增大，但因為分辨率減小，所以有可能得到視覺上的平滑縮放圖像。
此外，如圖8B所示，在運動圖像的情況下，隨著改變率K增加，將分辨率調整信息f的值設置為減小，也就是說，以分辨率可減小的這種方式進行設置。然而，運動圖像具有比靜止圖像大的圖像計時起伏，使得與靜止圖像的情況相比，分辨率以較大的百分比減小。由此，即使在放大靜止圖像時由于改變率增加而使輸入圖像信號Vin的處理范圍的計時起伏增大，但因為分辨率減小，所以有可能得到視覺上的平滑縮放圖像。
此外，如圖8C所示，在改變率K超過某個值的范圍中，隨著改變率K增加，噪聲抑制信息g的值增加，也就是說，將其設置為使得噪聲可被抑制得更多。由此，有可能在改變率增加時很好地抑制噪聲。
應當注意，如圖8A所示，隨著動態(tài)范圍DR變大，靜止圖像中的分辨率調整信息f的值減小，也就是說，設置其使得分辨率可減小。在隨著改變率K增加、靜止圖像變得更象運動圖像時，為了防止隨著動態(tài)范圍DR變大而使邊緣變得更為顯著，而進行所述操作。此外，如圖8B所示，隨著動態(tài)范圍DR變大，運動圖像中的分辨率調整信息f的值減小，也就是說，設置其使得分辨率可減小。原因與上面的靜止圖像的情況相同。此外，如圖8C所示，隨著動態(tài)范圍DR增加，噪聲抑制度調整信息g的值減小，也就是說，設置其使得噪聲抑制度可減小。為了防止由于抑制噪聲而使分辨率降低，而進行所述操作，其中，噪聲在動態(tài)范圍DR較大時不顯著。
可以這種方式進行配置，即預備例如如圖6A-6C所示的多種關系，使得用戶可通過例如操作遙控發(fā)射器200，而選擇它們中的任一個來實際采用。
再次如圖1所示，圖像信號處理部分110還具有歸一化(normalized)系數(shù)產(chǎn)生電路137和歸一化系數(shù)存儲器138。如上所述，對于構成輸出圖像信號Vout的每個單位像素塊，系數(shù)產(chǎn)生電路136為每個類別而產(chǎn)生存在于該單位像素塊中的每個像素的系數(shù)數(shù)據(jù)Wi(i＝1至n)。歸一化系數(shù)產(chǎn)生電路137通過使用等式(6)而為每個單位像素塊計算每個類別的歸一化系數(shù)S。歸一化系數(shù)存儲器138存儲用于每個類別的此標準化系數(shù)S。
此歸一化系數(shù)存儲器138被提供有從上述類別合成電路126輸出的、作為讀取地址信息的類別碼CL，從該歸一化系數(shù)存儲器138讀取與類別碼CL相對應的歸一化系數(shù)S，并將其提供到后面將描述的歸一化計算電路128。
S=Σi=1nWi···(6)]]>圖像信號處理部分110還具有估計預測計算電路127。此估計預測計算電路127根據(jù)第一抽頭選擇電路121選擇性地取出的預測抽頭的數(shù)據(jù)xi(i＝1至n)、以及從系數(shù)存儲器134讀取的系數(shù)數(shù)據(jù)Wi(i＝1至n)，而計算構成輸出圖像信號Vout的單位像素塊中的每個像素的數(shù)據(jù)。
此估計預測計算電路127為每個單位像素塊而產(chǎn)生構成輸出圖像信號Vout的像素數(shù)據(jù)。也就是說，從第一抽頭選擇電路121對此估計預測計算電路127提供與單位像素塊中的每個像素(目標像素)相對應的預測抽頭的數(shù)據(jù)xi，并從系數(shù)存儲器134對其提供與構成該單位像素塊的每個像素相對應的系數(shù)數(shù)據(jù)Wi。通過上述等式(4)的估計等式，而分別計算構成該單位像素塊的每個像素的數(shù)據(jù)。
例如，如果如圖4所示，圖像的放大率為2.5(n/m＝5/2)，則產(chǎn)生25項像素數(shù)據(jù)，作為構成該單位像素塊的每個像素的像素數(shù)據(jù)。此外，盡管未示出，但如果圖像的放大率為1.75(n/m＝7/4)，則產(chǎn)生49項像素數(shù)據(jù)，作為構成該單位像素塊的每個像素的像素數(shù)據(jù)。
圖像信號處理部分110還具有歸一化計算電路128。歸一化計算電路128通過將從估計預測計算電路127依次輸出的構成輸出圖像信號Vout的單位像素塊中的每個像素的多項數(shù)據(jù)y1至yP(P構成單位塊的像素的數(shù)目)除以從歸一化系數(shù)存儲器138讀取的、與在每個產(chǎn)生(production)中使用的系數(shù)數(shù)據(jù)Wi(i＝1至n)相對應的歸一化系數(shù)S，而將它們歸一化。
盡管上面未描述，但系數(shù)產(chǎn)生電路136通過使用系數(shù)種子數(shù)據(jù)，而產(chǎn)生用于估計等式的系數(shù)數(shù)據(jù)，其中，所產(chǎn)生的系數(shù)數(shù)據(jù)包含舍入誤差，使得不確保多項系數(shù)數(shù)據(jù)Wi(i＝1至n)的總和為1.0。因此，由估計預測計算電路127計算出的每個像素的多項數(shù)據(jù)y1至yP由于舍入誤差而在電平上波動。如上所述，可通過由歸一化計算電路128進行的歸一化而去除這種波動。
圖像信號處理部分110還具有后處理電路129。此后處理電路129構成在歸一化之后從歸一化計算電路128依次提供的每個單位像素塊中的像素的多項數(shù)據(jù)y1′至yP′的525i信號，并將此525i信號作為輸出圖像信號Vout而輸出。此后處理電路129以光柵(raster)掃描次序、以一場批量((batch)輸出每個單位像素塊中的那些項數(shù)據(jù)y1′至yp′，由此提供所述525i信號。
接下來，下面將描述圖像信號處理部分110的操作。
從作為輸入圖像信號Vin的、存儲在緩沖存儲器109中的525i信號中，第二抽頭選擇電路122選擇性地取出位于要創(chuàng)建的輸出圖像信號Vout的目標位置的周圍的空間類別抽頭的數(shù)據(jù)(像素數(shù)據(jù))。在此情況中，第二抽頭選擇電路122基于與從寄存器132提供的、與運動和圖像放大率相對應的抽頭位置信息，而選擇該抽頭。
將由此第二抽頭選擇電路122選擇性地取出的空間類別抽頭的數(shù)據(jù)提供到空間類別檢測電路124。此空間類別檢測電路124對作為空間類別的數(shù)據(jù)的每項像素數(shù)據(jù)執(zhí)行ADRC處理，以得到重量化碼Qi，作為空間類別的類別信息(見等式(1))。
此外，從作為輸入圖像信號Vin的、存儲在緩沖存儲器109中的525i信號中，第三抽頭選擇電路123選擇性地取出位于要創(chuàng)建的輸出圖像信號Vout中的目標位置的周圍的運動類別抽頭的數(shù)據(jù)(像素數(shù)據(jù))。在此情況中，第三抽頭選擇電路123基于與從寄存器133提供的、與圖像放大率相對應的抽頭位置信息，而選擇該抽頭。
將由此第三抽頭選擇電路123選擇性地取出的運動類別抽頭的數(shù)據(jù)提供到運動類別檢測電路125。此運動類別檢測電路125從作為運動類別抽頭的數(shù)據(jù)的每個像素數(shù)據(jù)得到運動類別的類別信息MV。
將此運動信息MV和上述重量化碼Qi提供到類別合成電路126。此類別合成電路126從這些運動信息MV和重量化碼Qi依次得到指明構成要創(chuàng)建的輸出圖像信號Vout的單位像素塊中的每個像素(目標像素)的所屬類別的類別碼CL(見等式(3))。將此類別碼CL作為讀取地址信息而提供到系數(shù)存儲器134和歸一化系數(shù)存儲器138。
由系數(shù)產(chǎn)生電路136生成由相位信息生成電路139所生成的、與構成輸出圖像信號Vout的單位像素塊中的每個像素的相位信息h和v相對應的、用于每個類別的估計等式的系數(shù)數(shù)據(jù)Wi(i＝1至n)，并將其存儲在系數(shù)存儲器134中。另一方面，由歸一化系數(shù)產(chǎn)生電路137產(chǎn)生與每個類別的系數(shù)數(shù)據(jù)Wi(i＝1至n)、以及如上所述由系數(shù)產(chǎn)生電路136產(chǎn)生的每個相位信息相對應的歸一化系數(shù)S，并將其存儲在歸一化系數(shù)存儲器138中。
當向系數(shù)存儲器134提供作為上述讀取地址信息的類別碼CL時，從此系數(shù)存儲器134讀取與類別碼CL相對應的每條相位信息h和v的系數(shù)數(shù)據(jù)Wi，并將其提供到估計預測計算電路127。
此外，從存儲在緩沖存儲器109中的、作為輸入圖像信號Vin的525i信號中，第一抽頭選擇電路121選擇性地取出位于要創(chuàng)建的輸出圖像信號的目標位置的周圍的預測抽頭的數(shù)據(jù)(像素數(shù)據(jù))。在此情況中，第一抽頭選擇電路121基于與從寄存器131提供的、與圖像放大率相對應的抽頭位置信息，而選擇該抽頭。將由此第一抽頭選擇電路121選擇性地取出的預測抽頭的數(shù)據(jù)xi提供到估計預測計算電路127。
根據(jù)預測抽頭的數(shù)據(jù)xi和從系數(shù)存儲器134讀取的每條相位信息的系數(shù)數(shù)據(jù)Wi，估計等式計算電路127同時計算構成要創(chuàng)建的輸出圖像信號Vout的單位像素塊中的每個像素的多項數(shù)據(jù)y1至yP(見等式(4))。將從此估計預測計算電路127依次輸出的、構成輸出圖像信號Vout的單位像素塊中的每個像素的多項數(shù)據(jù)y1至yP提供到歸一化計算電路128。
如上所述，歸一化系數(shù)存儲器138被提供有作為讀取地址信息的類別碼CL，從該歸一化系數(shù)存儲器138讀取與類別碼CL相對應的標準化系數(shù)S，即與在從估計預測計算電路127輸出的多項數(shù)據(jù)y1至yP中的每個的計算中使用的系數(shù)數(shù)據(jù)Wi相對應的歸一化系數(shù)S，并將其提供到歸一化計算電路128。歸一化計算電路128通過將從估計預測計算電路127輸出的多項數(shù)據(jù)y1至yP除以每個對應的歸一化系數(shù)S，而將它們歸一化。因而，去除了由于在已通過使用系數(shù)種子數(shù)據(jù)、利用產(chǎn)生等式(見等式(5))而得到了用于估計等式(見等式(4))的系數(shù)數(shù)據(jù)時生成的舍入誤差所造成的多項數(shù)據(jù)y1至yP的電平中的波動。
這樣，將由歸一化計算電路128歸一化且依次輸出的、單位像素塊中的每個像素的多項數(shù)據(jù)y1′至yP′提供到后處理電路129。在輸出圖像信號Vout的每場中、對該場中的多個單位像素塊執(zhí)行這種操作。后處理電路129預備多項像素數(shù)據(jù)y1′至yP′的每一場，并以光柵掃描次序輸出那些一場批量(batch)。因此，從后處理電路129得到作為輸出圖像信號的525i信號。
應當注意，用于產(chǎn)生輸出圖像信號Vout的輸入圖像信號Vin的處理范圍RG根據(jù)圖像放大率(圖像尺寸)而變化。此外，此處理范圍RG總是包括縮放中心點P0，并且，將此縮放中心點P0的水平和垂直的內部比設置為使得其與輸入圖像信號Vin的整個范圍的縮放中心點P0的所述比相同。此外，對于此處理范圍RG中的每個單位像素塊，相位信息生成電路139生成存在于該單位像素塊中的每個像素的相位信息h和v。
因而，由于圖像放大比被固定為1，所以，將具有放大率1的普通圖像顯示在顯示部分111上。此外，在縮放模式中，由于圖像放大率依次改變，所以，將圖像放大率連續(xù)改變的這種縮放圖像顯示在顯示部分111上的作為中心的用戶所指定的縮放中心點P0的周圍。
如上所述，系數(shù)產(chǎn)生電路136使用從信息存儲器組135加載的每個類別的系數(shù)種子數(shù)據(jù)、以及由相位信息生成電路139生成的多條相位信息h和v的值，以生成與用于每個類別的多條相位信息h和v的值相對應的、用于估計等式的系數(shù)數(shù)據(jù)Wi，將該系數(shù)數(shù)據(jù)Wi存儲在系數(shù)存儲器134中。估計預測計算電路127使用與類別碼CL相對應的、從此系數(shù)存儲器134讀取的多條相位信息中的每個的系數(shù)數(shù)據(jù)Wi，以計算構成輸出圖像信號Vout的單位像素塊中的每個像素的多項數(shù)據(jù)y1至yP。這樣，避免了存儲與每個放大率相對應的系數(shù)數(shù)據(jù)，由此消除了提供用于存儲很多項系數(shù)數(shù)據(jù)的存儲器的必要性。
此外，由圖像質量調整信息生成電路140生成與圖像放大率T、其改變率K、運動類別信息MV、以及動態(tài)范圍DR相對應的多條圖像質量調整信息f和g，并將其提供到系數(shù)產(chǎn)生電路136。此系數(shù)產(chǎn)生電路136隨后產(chǎn)生與這些條圖像質量調整信息f和g相對應的系數(shù)數(shù)據(jù)Wi，以調整圖像質量。由此，有可能提高縮放圖像的圖像質量。
例如，隨著圖像的放大率的改變率增加，將分辨率和噪聲抑制度調整為減小，由此使得在放大圖像時得到平滑的縮放圖像。此外，例如，隨著圖像的放大率增加，將噪聲抑制度調整為增加，由此防止在放大圖像中噪聲變得顯著。此外，例如，隨著圖像的放大率增加，將分辨率調整為在靜止圖像中增加、而在運動圖像中減小，由此防止在放大靜止圖像時在圖像各處顯現(xiàn)出模糊，并防止在放大運動圖像時、在運動類別的轉換處出現(xiàn)的折返失真。
應當注意，在產(chǎn)生系數(shù)數(shù)據(jù)Wi時，不需要總執(zhí)行通過使用多條圖像質量調整信息f和g的圖像質量調整?？稍谟晒烙嬵A測計算電路127產(chǎn)生輸出圖像信號Vout的像素數(shù)據(jù)之后，使用增強較高頻率范圍的增強器、消除噪聲的噪聲消除電路等來執(zhí)行。
如上所述，為每個類別而將系數(shù)種子數(shù)據(jù)存儲在信息存儲器組135中。已通過預先的學習而產(chǎn)生此系數(shù)種子數(shù)據(jù)。
首先，將此產(chǎn)生方法的一個例子描述如下。給出用于得到作為等式(5)的產(chǎn)生等式中的系數(shù)數(shù)據(jù)的多項系數(shù)種子數(shù)據(jù)Wi0至Wi30的例子。
對于下面的描述，如在等式(7)中那樣定義ti(j＝0至30)。
t0＝1，t1＝f，t2＝g，t3＝f2，t4＝fg，t5＝g2，t6＝f3，t7＝f2g，t8＝fg2，t9＝g3，t10＝v，t11＝vf，t12＝vg，t13＝vf2，t14＝vfg，t15＝vg2，t16＝h，t17＝hf，t18＝hg，t19＝hf2，t20＝hfg，t21＝hg2，t21＝hg2，t22＝v2，t23＝v2f，t24＝v2g，t25＝vh，t26＝vhf，t27＝vhg，t28＝h2，t29＝h2f，t30＝h2g
…(7)通過使用此等式(7)，將等式(5)重寫為下面的等式(8)。
Wi=Σj=130wij×tj···(8)]]>最后，通過學習而得到待定系數(shù)wij。也就是說，通過使用用于每個類別的學生信號(student signal)的像素數(shù)據(jù)和教師信號(teacher signal)的像素數(shù)據(jù)，而確定使得方差最小化的這樣的系數(shù)值。這是利用所謂的最小平方方法的解決方案。假設學習條(piece)的數(shù)目為m，第k′(1≤k≤m)項學習數(shù)據(jù)的余項為ek，且方差的總和為E，那么，通過使用等式(4)和(5)、由等式(9)來給出E。其中，Xik表示在學生圖像中的第i′預測抽頭位置上的第k′項像素數(shù)據(jù)，而yk表示在教師圖像中的對應的第k′項像素數(shù)據(jù)。
E=Σk=1mek2]]>=Σk=1m[yk-(W1x1k+W2x2k+···+Wnxnk)]2]]>=Σk=1m{yk-[(t0W10+t1W11+···+t30W130)x1k+···+(t0Wn0+t1Wn1+···+t30Wn30)xnk]2}]]>…(9)通過利用最小平方方法的解決方案，確定這種wij為對等式(9)中的wij的偏微分可為0。其通過下面的等式(10)來表示。
∂E∂wij=Σk=1m2(∂ek∂wij)ek=-Σk=1m2tjxikek=0···(10)]]>隨后，通過分別如等式(11)和(12)中那樣定義Xipjq和Yip，使用矩陣將等式(10)重寫為等式(13)。
Xipjq=Σk=1mxiktpxjktq···(11)]]>Yip=Σk=1mxiktpyk···(12)]]>
…(13)通常將此等式稱為歸一化等式。通過對wij使用掃描放置(sweeping-put)方法(高斯-約旦消除)等，而解出此歸一化等式，以計算系數(shù)種子數(shù)據(jù)。
圖9示出了用于產(chǎn)生系數(shù)種子數(shù)據(jù)的上述方法的概要。根據(jù)此方法，從作為教師信號的HD信號(1050i信號)產(chǎn)生作為學生信號的SD信號(525i信號)。1050i信號表示具有1050行的隔行掃描系統(tǒng)圖像信號。
圖10示出了525i信號的像素位置和1050i信號的像素位置之間的關系。其中，大點表示525i信號的像素，而小點表示1050i信號的像素。此外，由實線指明奇數(shù)場的像素位置，而由虛線指明偶數(shù)場的像素位置。
通過在垂直方向上的八級(step)、以及在水平方向上的另外八級來移動此SD信號的相位，產(chǎn)生了8×8＝64種SD信號SD1至SD64。圖11示出了八級垂直相移狀態(tài)V1-V8。其中，將SD信號的垂直像素間間隔假定為16，并且將向下方向假定為正。此外，“o”表示奇數(shù)場，而“e”表示偶數(shù)場。
狀態(tài)V1呈現(xiàn)為SD信號具有偏移0，在該情況下，HD信號的像素具有相對于SD信號的像素的4、0、-4、以及-8的相位。狀態(tài)V2呈現(xiàn)為SD信號具有偏移1，在該情況下，HD信號的像素具有相對于SD信號的像素的7、3、-1、以及-5的相位。狀態(tài)V3呈現(xiàn)為SD信號具有偏移2，在該情況下，HD信號的像素具有相對于SD信號的像素的6、2、-2、以及-6的相位。狀態(tài)V4呈現(xiàn)為SD信號具有偏移3，在該情況下，HD信號的像素具有相對于SD信號的像素的5、1、-3、以及-7的相位。
狀態(tài)V5呈現(xiàn)為SD信號具有偏移4，在該情況下，HD信號的像素具有相對于SD信號的像素的4、0、-4、以及-8的相位。狀態(tài)V6呈現(xiàn)為SD信號具有偏移5，在該情況下，HD信號的像素具有相對于SD信號的像素的7、3、-1、以及-5的相位。狀態(tài)V7呈現(xiàn)為SD信號具有偏移6，在該情況下，HD信號的像素具有相對于SD信號的像素的6、2、-2、以及-6的相位。狀態(tài)V8呈現(xiàn)為SD信號具有偏移7，在該情況下，HD信號的像素具有相對于SD信號的像素的5、1、-3、以及-7的相位。
圖12示出了八級水平相移狀態(tài)H1-H8。其中，將SD信號的水平像素間間隔假定為16，并且將向右方向假定為正。
狀態(tài)H1呈現(xiàn)為SD信號具有偏移0，在該情況下，HD信號的像素具有相對于SD信號的像素的0和-8的相位。狀態(tài)H2呈現(xiàn)為SD信號具有偏移1，在該情況下，HD信號的像素具有相對于SD信號的像素的7和-1的相位。狀態(tài)H3呈現(xiàn)為SD信號具有偏移2，在該情況下，HD信號的像素具有相對于SD信號的像素的6和-2的相位。狀態(tài)H4呈現(xiàn)為SD信號具有偏移3，在該情況下，HD信號的像素具有相對于SD信號的像素的5和-3的相位。
狀態(tài)H5呈現(xiàn)為SD信號具有偏移4，在該情況下，HD信號的像素具有相對于SD信號的像素的4和-4的相位。狀態(tài)H6呈現(xiàn)為SD信號具有偏移5，在該情況下，HD信號的像素具有相對于SD信號的像素的3和-5的相位。狀態(tài)H7呈現(xiàn)為SD信號具有偏移6，在該情況下，HD信號的像素具有相對于SD信號的像素的2和-6的相位。狀態(tài)H8呈現(xiàn)為SD信號具有偏移7，在該情況下，HD信號的像素具有相對于SD信號的像素的1和-7的相位。
圖13示出了相對于通過如上所述的以垂直方向上的八級和水平方向上的另外八級來移動SD信號的相位而得到的64種SD信號的作為中心的像素的HD信號的相位。也就是說，在該圖中，相對于SD信號的像素，HD信號的像素具有由“●”指明的相位。
在本實施例中，作為用于移相的方法，采用這樣的方法以便僅通過過采樣濾波器提取期望相位。在本實施例中，例如，在如上所述的圖像質量調整那樣的調整分辨率和噪聲抑制度的調整中，通過改變此過采樣濾波器的頻率響應，可創(chuàng)建具有不同分辨率的學生圖像。通過使用具有不同分辨率的學生圖像，可創(chuàng)建具有不同分辨率改善效果的系數(shù)。例如，如果存在具有大模糊度的學生圖像和具有小模糊度的學生圖像，那么，通過使用具有大模糊度的學生圖像的學習、以及通過使用具有小模糊度的學生圖像的學習，而分別產(chǎn)生具有大分辨率改善效果的系數(shù)和具有小分辨率改善效果的系數(shù)。
此外，通過將噪聲加到具有不同分辨率的每個學生圖像，可創(chuàng)建加入了噪聲的學生圖像。通過改變要加入的噪聲量，而創(chuàng)建具有不同噪聲量的學生圖像，由此創(chuàng)建具有不同噪聲抑制效果的系數(shù)。例如，如果存在具有大噪聲量的學生圖像和具有小噪聲量的學生圖像，那么，通過使用具有大噪聲量的學生圖像的學習、以及通過使用具有小噪聲量的學生圖像的學習，而分別創(chuàng)建具有大噪聲抑制效果的系數(shù)和具有小噪聲抑制效果的系數(shù)。
在將噪聲n加到學生圖像的像素值x時，通過改變G來調整要加入的噪聲量，以產(chǎn)生學生圖像的加入了噪聲的像素值x′，如等式(14)所示。
x′＝x+G·n…(14)
圖14示出了最終學習對(learning couple)的概念。在本實施例中，例如，假設過采樣濾波器具有在八級中不同的頻率響應，并在八級中加入噪聲。通過使用具有各個頻率響應的學生圖像的學習，而創(chuàng)建根據(jù)分辨率調整的系數(shù)數(shù)據(jù)，并且，通過使用加入了各個噪聲量的學生圖像的學習，而創(chuàng)建適應(accomodate)噪聲抑制度調整的系數(shù)數(shù)據(jù)。此外，通過使用具有不同相位的學生圖像而學習各個頻率響應和所加入的噪聲量，而創(chuàng)建用于產(chǎn)生與不同相位相對應的像素的系數(shù)數(shù)據(jù)。
圖15示出了用于基于上述概念而產(chǎn)生系數(shù)種子數(shù)據(jù)的系數(shù)種子數(shù)據(jù)產(chǎn)生設備150的配置。
此系數(shù)種子數(shù)據(jù)產(chǎn)生設備150具有輸入終端151，對其輸入作為教師信號的HD信號(1050i信號)；相移電路152A，用于在水平和垂直方向上對此HD信號施加過采樣濾波，以提取期望的相位，以便可得到SD信號；以及噪聲添加電路152B，用于將噪聲添加到此SD信號中。
相移電路152A被提供有參數(shù)f，其指定過采樣濾波器的頻率響應；以及參數(shù)h和v，其分別指定水平和垂直相移。噪聲添加電路152B被提供有指定要加入的噪聲的百分比的參數(shù)g。應當注意，參數(shù)f與圖1的圖像信號處理部分110中的分辨率調整信息f相對應，參數(shù)h和v與圖1的圖像信號處理部分110中的相位信息h和v相對應，而參數(shù)g與圖1的圖像信號處理部分110中的噪聲抑制度調整信息g相對應。
系數(shù)種子數(shù)據(jù)產(chǎn)生設備150還具有第一至第三抽頭選擇電路153-155，用于選擇性地從自噪聲添加電路152B輸出的SD信號中取出并輸出位于HD信號中的目標位置的周圍的多項SD像素數(shù)據(jù)。
分別以與上述圖像信號處理部分的第一至第三抽頭選擇電路121-123相同的方式來配置那些第一至第三抽頭選擇電路153-155。由來自抽頭選擇控制電路156的抽頭位置信息來指定要由這些第一至第三抽頭選擇電路153-155選擇的抽頭。此外，抽頭選擇控制電路156被提供有從將在后面描述的運動類別檢測電路158輸出的運動類別的類別信息MV。
系數(shù)種子數(shù)據(jù)產(chǎn)生設備150還具有空間類別檢測電路157、運動類別檢測電路158、以及類別合成電路159，所述電路分別與上述圖像信號處理部分110中的空間類別檢測電路124、運動類別檢測電路125、以及類別合成電路126相同?？臻g類別檢測電路157和運動類別檢測電路158分別接收從第二和第三抽頭選擇電路取出的作為輸入的抽頭數(shù)據(jù)(像素數(shù)據(jù))。
系數(shù)種子數(shù)據(jù)產(chǎn)生設備150還具有歸一化等式產(chǎn)生部分160。此歸一化等式產(chǎn)生部分160通過使用從被提供到輸入終端151的HD信號得到的作為目標位置數(shù)據(jù)的每個HD像素數(shù)據(jù)y、由第一抽頭選擇電路153選擇性地取出的與每個HD像素數(shù)據(jù)y相對應的預測抽頭的數(shù)據(jù)xi、從類別合成電路159輸出的與每個HD像素數(shù)據(jù)y相對應的類別碼CL、以及參數(shù)f、g、h和v，而產(chǎn)生得到用于每個類別的系數(shù)種子數(shù)據(jù)Wi0至Wi30(i＝1至n)所需的歸一化等式(見等式(13))。
應當注意，如上所述，參數(shù)f指定過采樣濾波器的頻率響應，參數(shù)h和v分別指定水平和垂直相移，而參數(shù)g指定噪聲添加百分比。
在此情況中，合并一項HD像素數(shù)據(jù)y和對應的n項預測抽頭像素數(shù)據(jù)，以產(chǎn)生學習數(shù)據(jù)。依次改變要應用于相移電路152A的參數(shù)f、h和v、以及要應用于噪聲添加電路152B的參數(shù)g，以依次產(chǎn)生對應的SD信號。這樣，標準化等式產(chǎn)生部分160產(chǎn)生其中注冊了很多項學習數(shù)據(jù)的歸一化等式。由此通過依次產(chǎn)生SD信號、并注冊學習數(shù)據(jù)，有可能確定得到具有任意的分辨率、噪聲抑制度、以及水平和垂直相位的像素數(shù)據(jù)所需要的系數(shù)種子數(shù)據(jù)。
系數(shù)種子數(shù)據(jù)產(chǎn)生設備150還具有系數(shù)種子數(shù)據(jù)決定部分161，其被提供有由歸一化等式產(chǎn)生部分160為每個類別生成的歸一化等式的數(shù)據(jù)，以解出用于每個類別的歸一化等式，以便可得到每個類別的系數(shù)種子數(shù)據(jù)Wi0至Wi30；以及系數(shù)種子存儲器162，用于存儲那些所得到的系數(shù)種子數(shù)據(jù)Wi0至Wi30。
下面將描述圖15中示出的系數(shù)種子數(shù)據(jù)產(chǎn)生設備150的操作。向輸入終端151提供作為教師信號的HD信號(1050i信號)。通過相移電路152A而在水平和垂直方向上對此HD信號施加過采樣濾波，以提取期望的相位，由此得到SD信號。在此情況中，這些依次產(chǎn)生的SD信號已在垂直方向上以八級被移動，并在水平方向上以另外八級被移動。
此外，對于具有各自相位的SD信號，輸入到相移電路152A的參數(shù)f和輸入到噪聲添加電路152B的參數(shù)g依次改變，由此依次產(chǎn)生對應的SD信號。
從自噪聲添加電路152B輸出的每個SD信號中，第二抽頭選擇電路154選擇性地取出位于HD信號中的目標位置的周圍的空間類別抽頭的數(shù)據(jù)(SD像素數(shù)據(jù))。此第二抽頭選擇電路154基于與從抽頭選擇控制電路156提供的、與運動類別信息MV相對應的抽頭位置信息，而選擇抽頭。
將由此第二抽頭選擇電路154選擇性地取出的空間類別抽頭的數(shù)據(jù)(SD像素數(shù)據(jù))提供到空間類別檢測電路157。此類別抽頭檢測電路157對作為空間類別抽頭的數(shù)據(jù)的每個SD像素數(shù)據(jù)執(zhí)行ADRC處理，以得到作為空間類別的類別信息的重量化碼Qi(見等式(1))。
此外，從自噪聲添加電路152B輸出的每個SD信號中，第三抽頭選擇電路155選擇性地取出位于HD信號中的目標位置的周圍的運動類別抽頭的數(shù)據(jù)(SD像素數(shù)據(jù))。在此情況中，第三抽頭選擇電路155基于從抽頭選擇控制電路156提供的抽頭位置信息，而選擇抽頭。
將由此第三抽頭選擇電路155選擇性地取出的運動類別抽頭的數(shù)據(jù)(SD數(shù)據(jù))提供到運動類別檢測電路158。此運動類別檢測電路158從作為運動類別抽頭的數(shù)據(jù)的每個SD像素數(shù)據(jù)得到運動類別的類別信息MV。
將此運動信息MV和上述重量化碼Qi提供到類別合成電路159。此類別合成電路159根據(jù)這些運動信息MV和重量化碼Qi而得到指明與HD信號有關的目標像素所屬類別的類別碼CL(見等式(3))。
此外，從自噪聲添加電路152B輸出的每個SD信號中，第一抽頭選擇電路153選擇性地取出位于HD信號中的目標位置的周圍的預測抽頭的數(shù)據(jù)(SD像素數(shù)據(jù))。在此情況中，第一抽頭選擇電路153基于從抽頭選擇控制電路156提供的抽頭位置信息，而選擇抽頭。
歸一化等式產(chǎn)生部分160通過使用從被提供到輸入終端151的HD信號得到的作為目標位置數(shù)據(jù)的每個HD像素數(shù)據(jù)y、由第一抽頭選擇電路153選擇性地取出的與每個HD像素數(shù)據(jù)y相對應的預測抽頭的數(shù)據(jù)(SD像素數(shù)據(jù))xi、從類別合成電路159輸出的與每個HD像素數(shù)據(jù)y相對應的類別碼CL、以及參數(shù)f、g、h和v，而產(chǎn)生得到用于每個類別的系數(shù)種子數(shù)據(jù)Wi0至Wi30(i＝1至n)所需的歸一化等式。
由系數(shù)種子數(shù)據(jù)決定部分161解出該歸一化等式，以得到用于每個類別的系數(shù)種子數(shù)據(jù)Wi0至Wi30，將所述系數(shù)種子數(shù)據(jù)Wi0至Wi30存儲在系數(shù)種子存儲器162中，其中，地址由類別而劃分。
由此，在圖15中示出的系數(shù)種子數(shù)據(jù)產(chǎn)生設備150中，有可能產(chǎn)生存儲在圖1中示出的圖像信號處理部分110中的信息存儲器組135中的每個類別的系數(shù)種子數(shù)據(jù)Wi0至Wi30。
應當注意，圖15中示出的系數(shù)種子數(shù)據(jù)產(chǎn)生設備150依次改變指定過采樣濾波器的頻率響應的參數(shù)f、指定噪聲添加百分比的參數(shù)g、以及指定水平和垂直相移的參數(shù)h和v，以創(chuàng)建其中注冊了很多項學習數(shù)據(jù)的歸一化等式，由此，同時得到用于每個類別的系數(shù)種子數(shù)據(jù)Wi0至Wi30。
根據(jù)用于得到系數(shù)種子數(shù)據(jù)Wi0至Wi30的另一個方法，對通過參數(shù)f、g、h和v的組合而產(chǎn)生的每個SD信號進行學習，以首先分別得到與這些組合中的每個相對應的系數(shù)數(shù)據(jù)Wi。這個分別得到的系數(shù)數(shù)據(jù)Wi可用作教師數(shù)據(jù)，以便采用使用等式(7)作為變量的最小平方方法，從而可滿足等式(5)的關系，由此確定系數(shù)種子數(shù)據(jù)Wi0至Wi30。
應當注意，例如，可通過使用如圖16所示的圖像信號處理設備300、通過軟件來實現(xiàn)圖1的圖像信號處理部分110中的處理。
首先，將描述圖16中示出的圖像信號處理設備300。此圖像信號處理設備300具有CPU 301，用于控制整個設備的操作；只讀存儲器(ROM)302，其中存儲了此CPU 301的操作程序、系數(shù)種子數(shù)據(jù)等；以及隨機存取存儲器(RAM)303，其構成用于CPU 301的工作空間。這些CPU 301、ROM 302、以及RAM 303各自連接到總線304。
圖像信號處理設備300還具有硬盤驅動器(HDD)305，用作外部存儲設備；以及軟(R)盤驅動器(FDD)307，用于驅動軟(R)盤306。這些驅動器305和307各自連接到總線304。
圖像信號處理設備300還具有通信部分308，其以有線或無線方式而連接到例如因特網(wǎng)的通信網(wǎng)絡400。將此通信部分308通過接口309而連接到總線304。
圖像信號處理設備300還配備有用戶接口部分。此用戶接口部分具有遙控信號接收電路310，用于從遙控發(fā)射器200接收遙控信號RM；以及顯示器311，其由液晶顯示器(LCD)等構成。將該接收電路310通過接口312而連接到總線304，并且，類似地，將顯示器311通過接口313而連接到總線304。
圖像信號處理設備300還具有輸入終端314，用于輸入作為輸入圖像信號Vin的525i信號；以及輸出終端315，用于將輸出圖像信號Vout輸出。將輸入終端314通過接口316而連接到總線304，并且，類似地，將輸出終端315通過接口317而連接到總線304。
應當注意，例如，可通過通信部分308而從例如因特網(wǎng)的通信網(wǎng)絡400下載處理程序、系數(shù)種子數(shù)據(jù)等，而不是如上所述將其預先存儲在ROM 302中，并將其儲存在硬盤或RAM 303中，以便可使用它。此外，可在軟(R)盤306中提供這些處理程序、系數(shù)種子數(shù)據(jù)等。
此外，作為輸入圖像信號Vin的525i信號可被預先記錄在硬盤中、或通過通信部分308而從例如因特網(wǎng)的通信網(wǎng)絡下載，而不是從輸入終端314輸入。此外，代替將輸出圖像信號Vout輸出到輸出終端315、或與該操作同時進行，輸出圖像信號Vout可被提供到顯示器311，以顯示圖像，或者，還可被存儲在硬盤中、或通過通信部分308而發(fā)送到例如因特網(wǎng)的通信網(wǎng)絡400。
下面將通過參照圖17的流程圖，來描述用于從圖16中示出的圖像處理設備300中的輸入圖像信號Vin得到輸出圖像信號Vout。
首先，在步驟ST1，過程開始，而在步驟ST2，輸入輸入圖像信號Vin的預定幀或預定場。如果從輸入終端314輸入此輸入圖像信號Vin，則將構成此輸入圖像信號Vin的像素數(shù)據(jù)暫時存儲在RAM 303中。另一方面，如果此輸入圖像信號Vin被記錄在硬盤中，則由硬盤驅動器305讀取此輸入圖像信號Vin，以將構成此輸入圖像信號Vin的像素數(shù)據(jù)暫時存儲在RAM 303中。在步驟ST3，該過程判定對輸入圖像信號Vin的所有幀或所有場的處理是否結束。若如此，則在步驟ST4，結束該過程。否則，該過程轉到步驟ST5。
在此步驟ST5，該過程通過使用輸入圖像信號Vin和與圖像的放大率相對應的輸出圖像信號Vout中的垂直和水平場的每個中的像素數(shù)目的對應信息n/m的值，而生成構成輸出圖像信號Vout的每個單位像素塊中的每個像素的相位信息h和v。例如，通過使用存儲在ROM 302中的表而生成相位信息h和v。
隨后，通過用戶對遙控發(fā)射器200的操作而設置普通模式或縮放模式。在普通模式中，將每場中的圖像的放大率固定為1。
另一方面，在縮放模式中，在每幀或每場中，以預定的速率連續(xù)地轉換圖像放大率，與其相對應輸入圖像信號Vin的處理范圍RG改變。此處理范圍RG總是包括縮放中心點P0，并且，將此縮放中心點P0的水平和垂直內部比設置為與輸入圖像信號Vin的整個范圍中的縮放中心點P0的所述內部比相同。將輸出圖像信號Vout的多個單位像素塊在處理范圍RG中依次排列為格形。此外，在縮放模式中，在每幀或每場中，以這種方式生成相位信息h和v，該方式即所產(chǎn)生的與縮放中心點P0相對應的像素的相位總是相同。
此外，在步驟ST5，例如，對于輸出圖像信號Vout的每個單位像素塊，該過程基于位于這些單位像素塊的周圍的輸入圖像信號Vin的多項像素數(shù)據(jù)，而得到運動信息和動態(tài)范圍，并且，基于所述信息和圖像放大率及其改變率，生成圖像質量調整信息f和g(見圖6A-8C)。例如，通過使用存儲在ROM 302中的表來生成圖像質量調整信息f和g。
在步驟ST6，該過程使用單位像素塊中的每個像素的相位信息h和v、與該單位像素塊相對應的圖像質量調整信息f和g、以及每個類別的系數(shù)種子數(shù)據(jù)，以通過使用與該單位像素塊中的每個像素相對應的產(chǎn)生等式(例如，等式(5))，而產(chǎn)生用于每個類別的估計等式(見等式(4))的系數(shù)數(shù)據(jù)Wi。
接下來，在步驟ST7，該過程從在步驟ST2輸入的輸入圖像信號Vin的像素數(shù)據(jù)而得到與構成要創(chuàng)建的輸出圖像信號Vout的單位像素塊相對應的類別抽頭的像素數(shù)據(jù)和預測抽頭的像素數(shù)據(jù)。在步驟ST8，該過程判定在步驟ST2輸入的輸入圖像信號Vin的每場的處理范圍中的處理是否結束。若如此，則該過程返回到步驟ST2，以轉移到輸入輸入圖像信號Vin的下一個預定幀或場的處理。否則，該過程轉到步驟ST9。
在步驟ST9，該過程從在步驟ST7得到的類別抽頭的像素數(shù)據(jù)產(chǎn)生類別碼CL。在步驟ST10，該過程使用與此類別碼CL相對應的系數(shù)數(shù)據(jù)Wi、以及預測抽頭的像素數(shù)據(jù)，以通過使用估計等式產(chǎn)生構成輸出圖像信號Vout的單位像素塊中的每個像素的數(shù)據(jù)，并且，隨后返回到步驟ST6，以轉移到下一個單位像素塊的處理。
由此通過按照圖17的流程圖而執(zhí)行處理，有可能通過對已輸入的輸入圖像信號Vin的像素數(shù)據(jù)的處理，而得到輸出圖像信號Vout的像素數(shù)據(jù)。如上所述，將通過處理而由此得到的輸出圖像信號輸出到輸出終端315、或提供到顯示器311以便顯示該圖像、或將其提供到硬盤驅動器305以被記錄在硬盤中。
此外，可通過軟件來實現(xiàn)圖15的系數(shù)種子數(shù)據(jù)產(chǎn)生設備150中的處理，盡管其中未示出用于該處理的處理設備。
下面將通過參照圖18的流程圖來描述用于產(chǎn)生系數(shù)種子數(shù)據(jù)的處理過程。
首先，在步驟ST21，該過程開始，而在步驟ST22，選擇SD信號的相移值(其由例如參數(shù)h和v指定)、以及在學習中使用的圖像質量調整值(其由例如參數(shù)f和g指定)。在步驟ST23，該過程判定對于相移值和圖像質量調整值的所有組合的學習是否結束，若非如此，則該過程轉到步驟ST24。
在此步驟ST24，該過程輸入公知HD信號的一幀或場。在步驟ST25，該過程判定對于HD信號的所有幀或場的處理是否完全結束。若如此，該過程返回到步驟ST22，以選擇下一個相移值和圖像質量調整值，并重復以上處理。否則，該過程轉到步驟ST26。
在此步驟ST26，該過程產(chǎn)生從在步驟ST24輸入的HD信號在相位上被移動在步驟ST22選擇的相移值、并根據(jù)在步驟ST22選擇的圖像質量調整值而進行了圖像質量調整(在分辨率和噪聲方面)的SD信號。在步驟ST27，該過程從在步驟ST26產(chǎn)生的SD信號得到與HD像素數(shù)據(jù)相對應的類別抽頭和預測抽頭的像素數(shù)據(jù)。在步驟ST28，該過程判定對于在步驟ST24輸入的HD信號的所有范圍的學習處理是否結束。若如此，則該過程返回到步驟ST24，以輸入HD信號的下一幀或場，并重復以上處理，并且，否則，轉到步驟ST29。
在步驟ST29，該過程根據(jù)在步驟ST27得到的類別抽頭的SD像素數(shù)據(jù)而產(chǎn)生類別碼CL。在步驟ST30，該過程產(chǎn)生歸一化等式(見等式(13))。隨后，該過程返回到步驟ST27。
如果在步驟ST23判定對于相移值和圖像質量調整值的所有組合的學習結束，則該過程轉到步驟ST31。在此步驟ST31，該過程通過掃出(sweeping-out)方法來解出歸一化等式，以計算每個類別的系數(shù)種子數(shù)據(jù)，并且，在步驟ST32，將此系數(shù)種子數(shù)據(jù)保存在存儲器中，并隨后在步驟ST33結束該處理。
由此通過按照圖18中示出的流程圖而執(zhí)行處理，有可能通過使用與圖15中示出的系數(shù)種子數(shù)據(jù)產(chǎn)生設備相同的方法來得到每個類別的系數(shù)種子數(shù)據(jù)。
盡管在以上實施例中，已將類別信息MV和動態(tài)范圍DR用作從位于輸出圖像信號Vout中的目標位置的周圍的輸入圖像信號Vin的多項像素數(shù)據(jù)中提取的特性信息，但可與其相分離或結合在一起地使用任意其它特性信息?？烧J為所述其它信息包含通過對輸入圖像信號Vin的多項像素數(shù)據(jù)的ADRC處理而得到的空間波形信息(其對應于上述類別碼Qi)、通過對輸入圖像信號Vin的多項像素數(shù)據(jù)處理而得到的活動信息、輸入圖像信號Vin的多項像素數(shù)據(jù)的平均值等。例如，在使用運動類別信息MV和類別碼Qi的情況中，可向圖像質量調整信息生成電路140提供類別合成電路CL。
此外，在以上實施例中，已將系數(shù)種子數(shù)據(jù)預先存儲在信息存儲器組135中，以便可通過使用此系數(shù)種子數(shù)據(jù)、基于等式(5)的產(chǎn)生等式，通過系數(shù)產(chǎn)生電路136產(chǎn)生與從相位信息生成電路139輸出的相位信息h和v以及由圖像質量調整信息生成電路140生成的圖像質量調整信息f和g相對應的系數(shù)數(shù)據(jù)Wi調整調整，并使用它們。
然而，可將對于從相位信息生成電路139輸出的相位信息h和v、以及由圖像質量調整信息生成電路140生成的圖像質量調整信息f和g的所有組合而言的系數(shù)數(shù)據(jù)存儲在信息存儲器組135中，以便可讀取并使用與相位信息h和v、以及圖像質量調整信息f和g相對應的系數(shù)數(shù)據(jù)Wi。
在此情況中，可通過學習對于參數(shù)f、g、h和v的每個組合而得到的每個SD信號，而得到存儲在存儲器組135中的對于相位信息h和v、以及圖像質量調整信息f和g的每個組合而言的系數(shù)數(shù)據(jù)Wi。
盡管以上實施例已使用一次(first degree)的線性等式作為用于產(chǎn)生輸出圖像信號Vout的像素數(shù)據(jù)的估計等式，但本發(fā)明不限于它；例如，可使用更高次的等式作為估計等式。
盡管以上實施例已檢測類別碼CL，以便可使用與此類別碼相對應的系數(shù)數(shù)據(jù)Wi，但可省略用于檢測類別碼CL的部分。在此情況中，僅將一種系數(shù)種子數(shù)據(jù)存儲在信息存儲器組135中。
盡管以上實施例已將從圖像信號處理部分110提供的輸出圖像信號Vout提供到顯示部分111，以便顯示依照此輸出圖像信號Vout的圖像，但可將此輸出圖像信號Vout提供到例如視頻帶(video tape)記錄器那樣的記錄設備，并將該信號記錄在其中。在此情況中，可在后處理電路129的部分進行處理，以便可具有適合記錄的這種最佳數(shù)據(jù)結構。
根據(jù)本發(fā)明，在處理第一圖像信號以得到用于顯示放大率(圖像尺寸)連續(xù)改變的圖像的第二圖像信號時，使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，來調整依照第二圖像信號的圖像的質量，由此使得提高縮放圖像的質量。
工業(yè)應用性與本發(fā)明相關的用于處理圖像信號等的設備通過基于與放大率相關的信息來執(zhí)行圖像質量調整，而提高了縮放圖像的質量，并且，于是可被應用于可顯示圖像放大率連續(xù)改變的這種縮放圖像的諸如TV接收機那樣的圖像顯示設備。
權利要求
1.一種用于處理圖像信號的設備，基于由多項像素數(shù)據(jù)構成的第一圖像信號而產(chǎn)生第二圖像信號，以顯示圖像放大率連續(xù)改變的圖像，該設備包括相位信息生成部件，用于生成與每個放大率相對應的第二圖像信號中的目標位置的相位信息；像素數(shù)據(jù)產(chǎn)生部件，用于根據(jù)由相位信息生成部件生成的相位信息，而產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)；以及圖像質量調整部件，用于通過使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，而調整依照第二圖像信號的圖像的質量。
2.如權利要求1所述的用于處理圖像信號的設備，其中，圖像的質量為分辨率。
3.如權利要求1所述的用于處理圖像信號的設備，其中，圖像的質量為噪聲抑制度。
4.如權利要求1所述的用于處理圖像信號的設備，其中，與圖像的放大率相關的信息為放大率的改變率。
5.如權利要求1所述的用于處理圖像信號的設備，其中，與圖像的放大率相關的信息為圖像的放大率。
6.如權利要求1所述的用于處理圖像信號的設備，其中，圖像質量調整部件還通過使用基于從位于第二圖像信號中的目標位置的周圍的第一圖像信號的多項像素數(shù)據(jù)中提取的特性信息而生成的圖像質量調整信息，而調整依照第二圖像信號中的目標位置的像素數(shù)據(jù)的圖像的質量。
7.如權利要求1所述的用于處理圖像信號的設備，其中，特性信息為作為第一圖像信號的多項像素數(shù)據(jù)中的最大值和最小值之間的差的動態(tài)范圍。
8.如權利要求1所述的用于處理圖像信號的設備，其中，特性信息為通過使用第一圖像信號的多項像素數(shù)據(jù)之中在時間方向上彼此分離的各項像素數(shù)據(jù)之間的差而得到的運動信息。
9.如權利要求1所述的用于處理圖像信號的設備，其中，特性信息為指明第一圖像信號的多項像素數(shù)據(jù)的電平分布的空間波形信息。
10.如權利要求1所述的用于處理圖像信號的設備，其中，像素數(shù)據(jù)生成部件包括系數(shù)數(shù)據(jù)生成部件，用于生成與由相位信息生成部件生成的相位信息相對應的系數(shù)數(shù)據(jù)，在估計等式中使用所述系數(shù)數(shù)據(jù)；第一數(shù)據(jù)選擇部件，用于基于第一圖像信號而選擇位于第二圖像信號的目標位置的周圍的多項像素數(shù)據(jù)；以及計算部件，用于通過使用由系數(shù)數(shù)據(jù)生成部件生成的系數(shù)數(shù)據(jù)、以及由第一數(shù)據(jù)選擇部件選擇的多項像素數(shù)據(jù)，基于估計等式、通過計算得到第二圖像信號中的目標位置的像素數(shù)據(jù)。
11.如權利要求10所述的用于處理圖像信號的設備，還包括第二數(shù)據(jù)選擇部件，用于基于所述第一圖像信號而選擇位于第二圖像信號的目標位置的周圍的多項像素數(shù)據(jù)；以及類別檢測部件，用于基于由第二數(shù)據(jù)選擇部件選擇的多項像素數(shù)據(jù)而檢測第二圖像信號中的目標位置的像素數(shù)據(jù)的所屬類別，其中，系數(shù)數(shù)據(jù)生成部件還生成與由類別檢測部件檢測出的類別相對應的系數(shù)數(shù)據(jù)，在估計等式中使用所述系數(shù)數(shù)據(jù)。
12.如權利要求10所述的用于處理圖像信號的設備，其中，系數(shù)數(shù)據(jù)生成部件包括存儲部件，用于存儲作為包含作為參數(shù)的相位信息的產(chǎn)生等式中的系數(shù)數(shù)據(jù)的系數(shù)種子數(shù)據(jù)，所述產(chǎn)生等式用于產(chǎn)生在估計等式中使用的系數(shù)數(shù)據(jù)；以及系數(shù)數(shù)據(jù)產(chǎn)生部件，用于通過使用存儲在存儲部件中的系數(shù)種子數(shù)據(jù)、以及由相位信息生成部件生成的相位信息，基于產(chǎn)生等式而產(chǎn)生在估計等式中使用的系數(shù)數(shù)據(jù)。
13.如權利要求12所述的用于處理圖像信號的設備，其中，產(chǎn)生等式包含作為參數(shù)的圖像質量調整信息；以及其中，系數(shù)數(shù)據(jù)產(chǎn)生部件還通過使用圖像質量調整信息，基于產(chǎn)生等式而產(chǎn)生在估計等式中使用的系數(shù)數(shù)據(jù)。
14.如權利要求10所述的用于處理圖像信號的設備，其中，系數(shù)數(shù)據(jù)生成部件包括存儲部件，用于對于可由相位信息生成部件生成的每條相位信息存儲在估計等式中使用的系數(shù)數(shù)據(jù)；以及系數(shù)數(shù)據(jù)讀取部件，用于從存儲部件讀取與由相位信息生成部件生成的相位信息相對應的系數(shù)數(shù)據(jù)。
15.如權利要求14所述的用于處理圖像信號的設備，其中，存儲部件還對于可由相位信息生成部件生成的相位信息的每個組合，存儲在估計等式中使用的系數(shù)數(shù)據(jù)、以及可由圖像質量調整部件生成的圖像質量調整信息；以及其中，系數(shù)數(shù)據(jù)讀取部件從存儲部件讀取與由相位信息生成部件生成的相位信息、以及由圖像質量調整部件生成的圖像質量調整信息相對應的系數(shù)數(shù)據(jù)。
16.一種用于處理圖像信號的方法，其基于由多項像素數(shù)據(jù)構成的第一圖像信號而產(chǎn)生第二圖像信號，以顯示圖像放大率連續(xù)改變的圖像，該方法包括以下步驟生成第二圖像信號中的目標位置的相位信息，所述相位信息對應于每個放大率；根據(jù)由相位信息生成部件生成的相位信息，而產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)；以及通過使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，而調整依照第二圖像信號的圖像的質量。
17.一種計算機可讀介質，用于記錄使計算機執(zhí)行用于處理圖像信號的方法的程序，該方法基于由多項像素數(shù)據(jù)構成的第一圖像信號而產(chǎn)生第二圖像信號，以顯示圖像放大率連續(xù)改變的圖像，該方法包括以下步驟生成第二圖像信號中的目標位置的相位信息，所述相位信息對應于每個放大率；根據(jù)由相位信息生成部件生成的相位信息，而產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)；以及通過使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，而調整依照第二圖像信號的圖像的質量。
18.一種程序，用于使計算機執(zhí)行用于處理圖像信號的方法，該方法基于由多項像素數(shù)據(jù)構成的第一圖像信號而產(chǎn)生第二圖像信號，以顯示圖像放大率連續(xù)改變的圖像，該方法包括以下步驟生成第二圖像信號中的目標位置的相位信息，所述相位信息對應于每個放大率；根據(jù)由相位信息生成部件生成的相位信息，而產(chǎn)生第二圖像信號中的目標位置的像素數(shù)據(jù)；以及通過使用基于至少與圖像的放大率相關的信息而生成的圖像質量調整信息，而調整依照第二圖像信號的圖像的質量。
全文摘要
一種改進縮放圖像的質量的圖像信號處理設備。圖像信號處理部分(110)基于輸入圖像信號(Vin)而產(chǎn)生用于顯示縮放圖像的輸出圖像信號(Vout)，其中，圖像放大比根據(jù)用戶指定為中心的任意點而連續(xù)變化。通過使用由系數(shù)生成電路(136)生成的系數(shù)數(shù)據(jù)(Wi)，而計算輸出圖像信號(Vout)的像素數(shù)據(jù)。系數(shù)生成電路(136)不僅基于像素的相位信息(h、v)、還基于由圖像質量調整信息生成電路(140)基于圖像放大比(T)、圖像放大比的變化率(K)、以及圖像特性信息(DR、MV)而生成的分辨率調整信息(f)和噪聲抑制度調整信息(g)，而產(chǎn)生系數(shù)數(shù)據(jù)(Wi)。
文檔編號G09G3/20GK1726529SQ200380106038
公開日2006年1月25日 申請日期2003年12月12日 優(yōu)先權日2002年12月13日
發(fā)明者近藤哲二郎, 朝倉伸幸, 西片丈晴, 守村卓夫, 平泉啟, 長野宏介, 山元左近 申請人:索尼株式會社