專利名稱：析像度變換方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼數(shù)字圖像的析像度(分辨率)變換方法及裝置。
背景技術(shù)：
通常，由于圖像數(shù)據(jù)的信息量龐大，在傳輸圖像數(shù)據(jù)之際及在存儲媒體記錄之際必須對圖像數(shù)據(jù)進(jìn)行某種高效率壓縮處理。作為高效率壓縮處理，利用正交變換編碼(DCT(離散余弦變換)等)的技法是現(xiàn)在的主流，采用JPEG(靜止圖像編碼專家組)及MPEG(運(yùn)動圖像編碼專家組)等編碼方式。下面對這些編碼方式予以簡單說明。
首先，將輸入的圖像數(shù)據(jù)分割為8×8像素的塊?；旧蠅嚎s處理是以此塊為單位執(zhí)行的。對經(jīng)過分割的塊實施正交變換編碼處理和量子化處理之后，進(jìn)行熵編碼而得到編碼數(shù)據(jù)。在解碼時，順序?qū)幋a數(shù)據(jù)實施與編碼流程相反的處理。由于正交變換編碼是不可逆處理，完全解碼成為原來的圖像數(shù)據(jù)是不可能的，但可以得到非常高的壓縮率。
另一方面，根據(jù)情況有時需要對圖像數(shù)據(jù)進(jìn)行析像度變換處理。在將利用數(shù)字相機(jī)拍攝的圖像數(shù)據(jù)顯示于顯示媒體上時，當(dāng)圖像數(shù)據(jù)的析像度比顯示媒體的析像度高時，必須將圖像數(shù)據(jù)縮小進(jìn)行顯示。另外，在將數(shù)字TV廣播的運(yùn)動圖像在顯示媒體上顯示時，必須相應(yīng)于顯示媒體的析像度進(jìn)行圖像數(shù)據(jù)析像度變換?？梢哉J(rèn)為在圖像數(shù)據(jù)析像度變換中有各種技法，大致分有空域析像度變換和頻域析像度變換。
作為空域析像度變換技法的代表可以舉出的有最近鄰方式、雙線性方式、雙三次方式。各個方式的特征示于圖4。圖4為示出將以×表示的原像素擴(kuò)大三倍時的插值像素○的示圖。圖4的縱軸表示像素值的大小。
最近鄰方式，是將最接近變換后的像素位置的原圖像的值作為新像素值的方式。由于不對原像素進(jìn)行運(yùn)算，處理速度高，可以將圖像的鄰接像素的差(邊緣)保持原圖像原樣，但圖像的畫質(zhì)一般不佳。
雙線性方式是一次插值的一種，是利用求得的像素值的近旁4點進(jìn)行線性插值的方式。與最近鄰方式比較，畫質(zhì)提高，但處理速度低。另外，通過線性插值處理，由于存在使邊緣等具有急劇變化之處平滑化，結(jié)果使整個圖像變得模糊。
雙三次方式是三次插值的一種，是利用求得的像素值的近旁16個像素進(jìn)行插值。由于運(yùn)算量大，處理速度非常緩慢，但由于具有強(qiáng)調(diào)并保持原圖像的邊緣的效果的處理，與雙線性方式相比圖像模糊程度小。可以認(rèn)為雙三次方式的畫質(zhì)比上述兩種技法的畫質(zhì)好。
頻域的析像度變換技法，是在實施DCT處理的狀態(tài)下進(jìn)行像素值的增加/刪除的析像度變換技法。在將這一方式應(yīng)用于以位圖形式保存的圖像時，由于對像素值必須實施DCT→析像度變換→ITCT的處理，處理成本變大。然而，由于MPEG及JPEG等在借助DCT編碼進(jìn)行編碼的圖像中利用簡單，是有效的方式，也是畫質(zhì)好的技法。
圖像數(shù)據(jù)的析像度變換，可從這些方式中選擇一種適合目的的方式執(zhí)行。一般認(rèn)為，在可以忽略析像度變換處理所需要的資源時，優(yōu)選是采用可保持圖像的邊緣的雙三次方式。不過，由于存在處理成本的問題以及邊緣附近的圖像模糊的問題，所以如在U.S.Patent No.5008752(特表平4-500421號公報)以及U.S.Patent No.6263120(特開平11-144053號公報)中所示，提出了在圖像數(shù)據(jù)的邊緣附近和其他區(qū)域中切換析像度變換方式的技法。
然而，關(guān)于利用上述正交變換編碼進(jìn)行編碼的JPEG和MPEG等圖像數(shù)據(jù)，不能說在利用雙三次方式的析像度變換處理中就是萬無一失了。在利用正交變換編碼的編碼方式中，如上所述，由于是以塊為單位進(jìn)行編碼處理，在解碼后的圖像數(shù)據(jù)中，有時在8×8分割塊的邊界上產(chǎn)生并非所期望的不連續(xù)之處。這種東西稱為塊噪聲，是一種編碼特性的壓縮率越高越容易產(chǎn)生的結(jié)果。
在對存在這種塊噪聲的解碼后的圖像數(shù)據(jù)執(zhí)行雙三次方式的析像度變換處理時，塊邊界的不連續(xù)之處受到強(qiáng)調(diào)，塊噪聲更加惡化，畫質(zhì)劣化可能加劇。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種在圖像的析像度變換時，進(jìn)行高畫質(zhì)的析像度變換的方法及裝置。
本發(fā)明的第1種方式，是一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換方法，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供插值像素的運(yùn)算的多個參照像素的參照像素選擇步驟；判定在上述多個參照像素間是否包含上述塊的邊界的判定步驟；在上述多個參照像素間不包含上述塊的邊界時，就利用多個上述參照像素的像素數(shù)據(jù)實施第1類的插值處理，計算出插值像素的像素數(shù)據(jù)，而在上述多個參照像素間包含上述塊的邊界時，就利用多個上述參照像素的像素數(shù)據(jù)實施第2類的插值處理，計算出插值像素的像素數(shù)據(jù)的插值像素數(shù)據(jù)計算步驟；上述第2類的插值處理與上述第1類的插值處理相比，圖像的邊緣強(qiáng)調(diào)效果小。
本發(fā)明的第2種方式，是一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換方法，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供插值像素的運(yùn)算的多個參照像素的參照像素選擇步驟；判定在上述多個參照像素間是否包含上述塊的邊界的判定步驟；
在上述多個參照像素間不包含上述塊的邊界時，就利用多個上述參照像素的像素數(shù)據(jù)實施第1類的插值處理，計算出插值像素的像素數(shù)據(jù)，而在上述多個參照像素間包含上述塊的邊界時，就利用多個上述參照像素的像素數(shù)據(jù)實施第2類的插值處理，計算出插值像素的像素數(shù)據(jù)的插值像素數(shù)據(jù)計算步驟；上述第1類的插值處理與上述第2類的插值處理相比，上述塊的邊界的不連續(xù)之處的平滑化效果小。
本發(fā)明的第3種方式，是一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換裝置，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供插值像素的運(yùn)算的多個參照像素的參照像素選擇單元；判定在上述選擇的多個參照像素間是否包含上述塊的邊界的塊邊界判定單元；相應(yīng)于上述塊邊界判定單元的判定結(jié)果，決定從上述選擇的參照像素的像素數(shù)據(jù)中計算插值像素的像素數(shù)據(jù)的方式的像素計算方式切換單元；提取上述選擇的參照像素的像素數(shù)據(jù)的像素提取單元；按照在上述像素計算方式切換單元中決定的方式，從上述提取的參照像素的像素數(shù)據(jù)計算插值像素的像素數(shù)據(jù)的插值像素計算單元；上述像素計算方式切換單元，當(dāng)在上述塊邊界判定單元中判定在上述多個參照像素間不包含上述塊的邊界時，就決定為第1方式，而在判定上述多個參照像素間包含上述塊的邊界時，就決定為與上述第1計算方式相比圖像的邊緣強(qiáng)調(diào)效果小的第2方式。
本發(fā)明的第4種方式，是一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換裝置，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供插值像素的運(yùn)算的多個參照像素的參照像素選擇單元；判定在上述選擇的多個參照像素間是否包含上述塊的邊界的塊邊界判定單元；相應(yīng)于上述塊邊界判定單元的判定結(jié)果，決定從上述選擇的參照像素的像素數(shù)據(jù)中計算插值像素的像素數(shù)據(jù)的方式的像素計算方式切換單元；提取上述選擇的參照像素的像素數(shù)據(jù)的像素提取單元；按照在上述像素計算方式切換單元中決定的方式，從上述提取的參照像素的像素數(shù)據(jù)計算插值像素的像素數(shù)據(jù)的插值像素計算單元；上述像素計算方式切換單元，當(dāng)在上述塊邊界判定單元中判定在上述多個參照像素間不包含上述塊的邊界時，就決定為第1方式，而在判定上述多個參照像素間包含上述塊的邊界時，就決定為與上述第1計算方式相比上述塊的邊界的不連續(xù)之處的平滑化效果大的第2方式。


圖1為示出本發(fā)明的實施方式的流程圖。
圖2為表示本發(fā)明的實施方式的數(shù)字圖像的析像度變換系統(tǒng)的框圖。
圖3為示出針對在本發(fā)明的實施方式中利用的析像度變換方式的插值像素和參照像素及塊邊界的關(guān)系的示圖。
圖4為說明一般的析像度變換方式的示圖。
具體實施例方式
下面參照附圖對本發(fā)明的實施方式予以說明。圖1為示出本發(fā)明的實施方式的析像度變換方法的流程圖，圖2示出實現(xiàn)該方法用的析像度變換裝置的系統(tǒng)構(gòu)成例。
首先，對圖2的系統(tǒng)構(gòu)成予以說明。
另外，在本實施方式中，是對利用DCT的正交變換編碼進(jìn)行高效率壓縮處理后的圖像數(shù)據(jù)予以說明。因為對正交變換編碼處理，在背景技術(shù)中進(jìn)行了說明，此處就予以省略。
圖2的塊邊界判斷單元201，根據(jù)輸入的插值像素位置信息，判定在用來計算插值像素的參照像素間是否包含塊邊界。將表示包含塊邊界或不包含塊邊界的塊，作為判定結(jié)果(邊界信息)輸出。下面利用圖3對判定方法予以說明。
圖3為對實施析像度變換的一個圖像之中的一部分進(jìn)行圖示的示圖。以×表示的是原像素，以○表示的是插值像素。在計算插值像素之際，將原像素的一部分用作參照像素。在本實施方式中，在通常的析像度變換中利用雙三次方式。在雙三次方式中的參照像素，如圖3所示，是插值像素位置的周圍的16個像素(縱4像素×橫4像素)。
為計算圖3的插值像素301而使用的參照像素，是插值像素位置的周圍的16個像素(以細(xì)線包圍的)。在此場合，由于在參照像素間不存在跨越塊邊界之處，判定為“不包含塊邊界”。
用來計算插值像素302的參照像素，是插值像素302的周圍的16個像素。在此參照像素間，存在跨越塊邊界之處。所以，判定為“包含塊邊界”。
上述判定結(jié)果，輸入到圖2的像素計算方式切換單元202。像素計算方式切換單元202，是決定生成插值像素的析像度變換方式的處所。像素計算方式切換單元202的輸出，是插值像素的計算方式(析像度變換方式)及選擇的計算方式所必需的參照像素信息。
對于圖3的參照像素，像素計算方式的切換如下。由于對于插值像素301，在參照像素間不包含塊邊界，計算方式為雙三次方式(第1類的插值處理、第1方式)，參照像素數(shù)為16。另一方面，對于插值像素302，由于在雙三次方式的參照像素間包含塊邊界，計算方式為雙線性方式(第2類的插值處理、第1方式)，參照像素數(shù)為4。
通過將此雙三次方式與雙線性方式進(jìn)行切換，可以獲得下面的效果。在參照像素間不存在塊邊界的場合，可利用與雙線性方式(第2類的插值處理)相比圖像的邊緣強(qiáng)調(diào)效果大(即塊邊界的不連續(xù)之處的平滑化效果小)的雙三次方式(第1類的插值處理)來計算插值像素。因此，在決邊界以外的區(qū)域中，圖像的邊緣的模糊可減輕。
在參照像素間包含塊邊界之際，在利用該參照像素進(jìn)行借助雙三次方式的插值時，有可能保持或強(qiáng)調(diào)塊邊界的不連續(xù)之處(塊噪聲)而計算出插值像素。于是，在此場合，利用與雙三次方式(第1類的插值處理)相比圖像的邊緣強(qiáng)調(diào)效果小(即塊邊界的不連續(xù)之處的平滑化效果大)的雙線性方式(第2類的插值處理)。在利用雙線性方式計算插值像素時，可以使塊邊界的不連續(xù)之處平滑化而減輕。所以，可以提供在析像度變換后的圖像中減輕塊邊界的不連續(xù)之處(塊噪聲)并在其他區(qū)域中使圖像的邊緣不變模糊的析像度變換。
在本發(fā)明的實施例中，作為減輕塊邊界的不連續(xù)之處的插值像素的計算方式舉出的是雙線性方式，但在可以得到同樣的效果時，也可以采用其他方式。
圖2的參照像素選擇單元203，在像素計算方式切換單元202輸入的插值像素信息及插值像素位置信息之中，對插值像素選擇參照像素，結(jié)果輸出到像素提取單元204。
像素提取單元204，根據(jù)輸入的參照像素信息(數(shù)及位置)，從原圖像(被析像度變換圖像)提取參照像素，轉(zhuǎn)送到插值像素計算單元205。插值像素計算單元205，對從像素提取單元204輸入的參照像素應(yīng)用在像素計算方式切換單元202中選擇的析像度變換方式的計算方法，取得插值像素。
下面利用圖1的流程圖對本發(fā)明的實施方法予以說明。在本實施方式中，如上所述，通常的析像度變換(第1類的插值處理)為雙三次方式，塊邊界附近的析像度變換(第2類的插值處理)為雙線性方式。
首先，在圖2的塊邊界判斷單元201中，實施圖1的塊邊界判定步驟S101。利用在塊邊界判定步驟S101中得到的結(jié)果，在S102中判定有無執(zhí)行雙三次方式之際所必需的參照像素間的塊邊界。當(dāng)在S102中判定不包含塊邊界的場合，就進(jìn)入到S103，而在判定包含塊邊界的場合，就進(jìn)入到S104。
在S103中，由于判定雙三次方式所必需的在參照像素間不包含塊邊界，選擇析像度變換方式A(在本實施方式中為雙三次方式)。在S104中，由于判定雙三次方式所必需的在參照像素間包含塊邊界，選擇析像度變換方式B(在本實施方式中為雙線性方式)。
根據(jù)由S103或S104所選擇的析像度變換方式，在參照像素選擇步驟S105中，選擇參照像素。于是，在插值像素數(shù)據(jù)計算步驟S106中，利用由參照像素選擇步驟S105選擇的參照像素，借助由S103或S104指定的析像度變換方式的計算式，計算出插值像素。
通過針對要計算的全部插值像素反復(fù)執(zhí)行以上的操作，可以由原像素生成析像度變換后的圖像。
圖1的S103及S104中記述的析像度變換方式A及析像度變換方式B示出一般的析像度變換方式。示出的析像度變換方式A是比析像度變換方式B邊緣強(qiáng)調(diào)效果大的析像度變換方式，而析像度變換方式B是比析像度變換方式A平滑化效果大的析像度變換方式。
權(quán)利要求
1.一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換方法，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供給插值像素的運(yùn)算的多個參照像素的參照像素選擇步驟；判定在上述多個參照像素間是否包含上述塊的邊界的判定步驟；以及在上述多個參照像素間不包含上述塊的邊界時，就利用多個上述參照像素的像素數(shù)據(jù)實施第1類的插值處理，由此計算出插值像素的像素數(shù)據(jù)，而在上述多個參照像素間包含上述塊的邊界時，就利用多個上述參照像素的像素數(shù)據(jù)實施第2類的插值處理，由此計算出插值像素的像素數(shù)據(jù)的插值像素數(shù)據(jù)計算步驟；其中，上述第2類的插值處理與上述第1類的插值處理相比，圖像的邊緣強(qiáng)調(diào)效果小。
2.一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換方法，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供給插值像素的運(yùn)算的多個參照像素的參照像素選擇步驟；判定在上述多個參照像素間是否包含上述塊的邊界的判定步驟；以及在上述多個參照像素間不包含上述塊的邊界時，就利用該多個上述參照像素的像素數(shù)據(jù)實施第1類的插值處理，由此計算出插值像素的像素數(shù)據(jù)，而在上述多個參照像素間包含上述塊的邊界時，就利用該多個上述參照像素的像素數(shù)據(jù)實施第2類的插值處理，由此計算出插值像素的像素數(shù)據(jù)的插值像素數(shù)據(jù)計算步驟；其中，上述第1類的插值處理與上述第2類的插值處理相比，上述塊的邊界的不連續(xù)之處的平滑化效果小。
3.如權(quán)利要求1所述的析像度變換方法，其中上述規(guī)定的圖像處理是正交變換編碼處理。
4.如權(quán)利要求1所述的析像度變換方法，其中上述第1類的插值處理是利用雙三次方式的插值處理。
5.如權(quán)利要求1、3或4所述的析像度變換方法，其中上述第2類的插值處理是利用雙線性方式的插值處理。
6.如權(quán)利要求2所述的析像度變換方法，其中上述規(guī)定的圖像處理是正交變換編碼處理。
7.如權(quán)利要求2所述的析像度變換方法，其中上述第1類的插值處理是利用雙三次方式的插值處理。
8.如權(quán)利要求2、6或7所述的析像度變換方法，其中上述第2類的插值處理是利用雙線性方式的插值處理。
9.一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換裝置，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供給插值像素的運(yùn)算的多個參照像素的參照像素選擇單元；判定在上述選擇的多個參照像素間是否包含上述塊的邊界的塊邊界判定單元；依照上述塊邊界判定單元的判定結(jié)果，決定從上述選擇出的參照像素的像素數(shù)據(jù)計算插值像素的像素數(shù)據(jù)的方式的像素計算方式切換單元；提取上述選擇出的參照像素的像素數(shù)據(jù)的像素提取單元；以及按照在上述像素計算方式切換單元中決定的方式，從上述提取出的參照像素的像素數(shù)據(jù)計算插值像素的像素數(shù)據(jù)的插值像素計算單元；其中，當(dāng)在上述塊邊界判定單元中判定為在上述多個參照像素間不包含上述塊的邊界時，上述像素計算方式切換單元就決定為第1方式，而在上述塊邊界判定單元中判定為上述多個參照像素間包含上述塊的邊界時，上述像素計算方式切換單元就決定為與上述第1計算方式相比圖像的邊緣強(qiáng)調(diào)效果小的第2方式。
10.一種用來對伴隨塊分割進(jìn)行了規(guī)定的圖像處理的圖像數(shù)據(jù)的析像度進(jìn)行變換的析像度變換裝置，其構(gòu)成包括從上述圖像數(shù)據(jù)中選擇應(yīng)供給插值像素的運(yùn)算的多個參照像素的參照像素選擇單元；判定在上述選擇的多個參照像素間是否包含上述塊的邊界的塊邊界判定單元；依照上述塊邊界判定單元的判定結(jié)果，決定從上述選擇的參照像素的像素數(shù)據(jù)計算插值像素的像素數(shù)據(jù)的方式的像素計算方式切換單元；提取上述選擇出的參照像素的像素數(shù)據(jù)的像素提取單元；以及按照在上述像素計算方式切換單元中決定的方式，從上述提取出的參照像素的像素數(shù)據(jù)計算插值像素的像素數(shù)據(jù)的插值像素計算單元；其中，當(dāng)在上述塊邊界判定單元中判定為在上述多個參照像素間不包含上述塊的邊界時，上述像素計算方式切換單元就決定為第1方式，而在上述塊邊界判定單元中判定為上述多個參照像素間包含上述塊的邊界時，上述像素計算方式切換單元就決定為與上述第1計算方式相比上述塊的邊界的不連續(xù)之處的平滑化效果大的第2方式。
11.如權(quán)利要求9所述的析像度變換方法，其中上述規(guī)定的圖像處理是正交變換編碼處理。
12.如權(quán)利要求10所述的析像度變換方法，其中上述規(guī)定的圖像處理是正交變換編碼處理。
全文摘要
在多個參照像素間不包含上述塊的邊界時，利用多個參照像素的像素數(shù)據(jù)實施第1類的插值處理，計算出插值像素的像素數(shù)據(jù)。在多個參照像素間包含塊的邊界時，利用多個參照像素的像素數(shù)據(jù)實施第2類的插值處理，計算出插值像素的像素數(shù)據(jù)。第2類的插值處理與第1類的插值處理相比，是圖像的邊緣強(qiáng)調(diào)效果小的處理。
文檔編號H04N1/41GK1668108SQ20051005448
公開日2005年9月14日 申請日期2005年3月8日 優(yōu)先權(quán)日2004年3月9日
發(fā)明者榊間英人 申請人:佳能株式會社