專利名稱：用于圖像比例放大的自適應(yīng)空間變化內(nèi)插的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像，且更明確地說，涉及用于圖像比例縮放的內(nèi)插技術(shù)。

背景技術(shù)：
顯示裝置呈現(xiàn)多種圖像信息，包含由數(shù)字視頻相機或靜態(tài)照相機捕獲的圖像信息、由軟件應(yīng)用程序、視頻游戲或其它程序產(chǎn)生的圖像信息、從視頻或靜態(tài)照片檔案獲得的圖像信息，或從廣播或串流媒體獲得的圖像信息。顯示裝置可與多種裝置成一體式、耦合到多種裝置或以其它方式與多種裝置相關(guān)聯(lián)，所述多種裝置例如是臺式或膝上型計算機、計算機工作站、移動裝置(例如個人數(shù)字助理(PDA)或移動電話)以及專用檢視臺(例如電視機)。顯示裝置可包括液晶顯示器(LCD)、陰極射線管(CRT)顯示器、等離子體顯示器、投影顯示器等。
顯示裝置維持受能夠顯示圖像信息的像素的數(shù)目限制的固有最大分辨率。一般來說，顯示器可產(chǎn)生在所述固有最大分辨率處或以下的圖像分辨率范圍。然而，如果圖像信息界定少于所有顯示器像素的顯示器像素的值，那么所述裝置可將圖像信息比例放大到較大的分辨率。舉例來說，顯示裝置可通過內(nèi)插以將圖像信息比例縮放到較大格式來產(chǎn)生額外像素。隨著顯示器變大，圖像比例縮放變得越來越重要。對于移動應(yīng)用來說，盡管用戶可能想要較大的顯示器，但信道限制趨向于減少可傳輸?shù)揭苿友b置的圖像信息的量，從而導(dǎo)致較小格式的圖像。因此，為了始終如一地實現(xiàn)較大格式，針對移動應(yīng)用需要圖像比例放大。
目前存在許多技術(shù)來內(nèi)插像素值以實現(xiàn)圖像比例放大。常見的內(nèi)插技術(shù)包含雙線性內(nèi)插、雙三次內(nèi)插、三次樣條內(nèi)插和新邊緣導(dǎo)向內(nèi)插(NEDI)。雖然所有上述內(nèi)插技術(shù)都對比例放大圖像信息有效，但可能導(dǎo)致例如模糊現(xiàn)象的假象。另外，一些技術(shù)(例如NEDI)可能要求復(fù)雜的計算，其尤其是在較小的移動裝置中消耗過量的系統(tǒng)資源。另外，一些現(xiàn)有的內(nèi)插技術(shù)可能不適合彩色圖像信息，從而導(dǎo)致顏色滲出(color bleeding)或其它假象。一般來說，比例放大是具有挑戰(zhàn)性的，因為必須通過內(nèi)插現(xiàn)有但有限的信息來產(chǎn)生更多像素，這可能導(dǎo)致輸出的模糊。


發(fā)明內(nèi)容
本發(fā)明描述用于圖像比例放大的自適應(yīng)空間變化內(nèi)插(SVI)技術(shù)。在各種實施例中，本發(fā)明中描述的所述內(nèi)插技術(shù)可支持圖像信息的較低復(fù)雜性比例放大，同時促進較高的圖像質(zhì)量，包含增強的銳度、較高對比度和準(zhǔn)確的內(nèi)插。可使用一般化有限脈沖響應(yīng)(FIR)濾波器來應(yīng)用所述內(nèi)插技術(shù)。在一些實施例中，所述內(nèi)插技術(shù)可以是內(nèi)容自適應(yīng)的，以提供準(zhǔn)確的內(nèi)插，同時抑制與尖銳邊緣相關(guān)聯(lián)的顯著假象。另外，所述內(nèi)插技術(shù)可容易地應(yīng)用于例如以YCbCr(亮度、藍(lán)色色度、紅色色度)和RGB(紅色、綠色、藍(lán)色)兩種格式進行彩色影像和視頻的比例放大。
在一個實施例中，本發(fā)明提供一種方法，其包括基于圖像中相鄰像素的內(nèi)容特征而確定所述圖像中經(jīng)比例縮放的像素的對稱性(A)；基于對稱性A而確定空間變化內(nèi)插濾波器的強度(k)；基于強度(k)而調(diào)節(jié)空間變化內(nèi)插濾波器；以及應(yīng)用空間變化內(nèi)插濾波器來內(nèi)插經(jīng)比例縮放的像素。在一些實施例中，調(diào)節(jié)空間變化內(nèi)插濾波器可包含基于經(jīng)比例縮放的像素的對稱性(A)和濾波器響應(yīng)的強度(k)來確定偏斜距離(s′)；以及基于所述偏斜距離(s′)而調(diào)節(jié)空間變化內(nèi)插濾波器。
在另一實施例中，本發(fā)明提供一種裝置，所述裝置包括存儲器，其存儲圖像；以及處理器，其基于圖像中相鄰像素的內(nèi)容特征而確定所述圖像中經(jīng)比例縮放的像素的對稱性(A)，基于對稱性A而確定內(nèi)插濾波器的強度(k)，基于強度(k)而調(diào)節(jié)內(nèi)插濾波器，且應(yīng)用空間變化內(nèi)插濾波器來內(nèi)插經(jīng)比例縮放的像素。在一些實施例中，所述處理器可基于經(jīng)比例縮放的像素的對稱性(A)和濾波器響應(yīng)的強度(k)來確定偏斜距離(s′)，且基于所述偏斜距離(s′)而調(diào)節(jié)空間變化內(nèi)插濾波器。
本發(fā)明中所描述的技術(shù)可在硬件、軟件、固件或其任一組合中實施。如果在軟件中實施，那么所述軟件可在處理器(例如，數(shù)字信號處理器(DSP))中執(zhí)行。執(zhí)行所述技術(shù)的軟件可最初存儲在計算機可讀媒體中，且加載在處理器中并在處理器中執(zhí)行。因此，本發(fā)明還預(yù)期一種計算機可讀媒體，其包括用以執(zhí)行用于圖像比例放大的自適應(yīng)空間變化內(nèi)插技術(shù)的指令。
在附圖和下文的描述內(nèi)容中陳述本發(fā)明一個或一個以上實施例的細(xì)節(jié)。將從描述內(nèi)容和圖式且從權(quán)利要求書中了解本發(fā)明的其它特征和優(yōu)點。



圖1是說明顯示根據(jù)本文描述的技術(shù)而比例放大的圖像信息的示范性移動裝置的框圖。
圖2是進一步詳細(xì)說明圖1的移動裝置的框圖。
圖3A和圖3B是說明像素的基于鄰近像素的內(nèi)插的曲線圖。
圖4是說明圖2的顯示器處理器在自適應(yīng)地比例放大圖像信息以產(chǎn)生經(jīng)比例放大的圖像信息的過程中的示范性操作的流程圖。
圖5A和圖5B是說明示范性一維像素布置的圖表，其中圖2的顯示器處理器內(nèi)插經(jīng)比例縮放像素(x)的值f(x)。

具體實施例方式 圖1是說明顯示根據(jù)本發(fā)明中所描述的內(nèi)插技術(shù)而比例放大的圖像信息12的示范性移動裝置10的框圖。如圖1所示，移動裝置10包含存儲器14、顯示器處理器16和顯示器18。圖1中所說明的特征可由硬件和/或軟件組件的任一合適組合來實現(xiàn)。將不同特征描繪為單元意在突出移動裝置10的不同功能方面，且不一定暗示此類單元必須由單獨的硬件和/或軟件組件來實現(xiàn)。事實上，與一個或一個以上單元相關(guān)聯(lián)的功能性可整合在共同硬件和/或軟件組件內(nèi)。此外，雖然參考移動裝置10而描述，但例如個人計算機、膝上型計算機、工作站和聯(lián)網(wǎng)裝置的其它裝置可使用本發(fā)明中所描述的圖像比例放大技術(shù)。因此，本發(fā)明不應(yīng)限于移動裝置10的示范性實施例。
一般來說，移動裝置10經(jīng)配置以將自適應(yīng)空間變化內(nèi)插(SVI)技術(shù)應(yīng)用于圖像比例放大。在各種實施例中，移動裝置10所應(yīng)用的內(nèi)插技術(shù)可支持圖像信息的較低復(fù)雜性比例放大，同時促進較高的圖像質(zhì)量，包含增強的銳度、較高對比度和準(zhǔn)確的內(nèi)插。如將描述，可使用一般化有限脈沖響應(yīng)(FIR)濾波器來應(yīng)用所述內(nèi)插技術(shù)。在一些實施例中，所述內(nèi)插技術(shù)可以是內(nèi)容自適應(yīng)的，以提供準(zhǔn)確的內(nèi)插，同時抑制與尖銳邊緣相關(guān)聯(lián)的顯著假象。另外，所述內(nèi)插技術(shù)可應(yīng)用于彩色影像和視頻的比例放大。舉例來說，所述內(nèi)插技術(shù)可例如以YCbCr(亮度、藍(lán)色色度、紅色色度)和RGB(紅色、綠色、藍(lán)色)兩種格式應(yīng)用于彩色圖像和視頻。
如將描述，在一些實施例中，顯示器處理器16可經(jīng)配置以基于多個相鄰像素而修改濾波器響應(yīng)的強度(k)。顯示器處理器16可首先基于圖像信息內(nèi)的多個相鄰像素而確定經(jīng)比例縮放像素(即，需要內(nèi)插以確定其值的像素)的對稱性(A)。接下來，顯示器處理器16基于經(jīng)比例縮放像素的對稱性(A)而確定對所述經(jīng)比例縮放像素的濾波器響應(yīng)的強度(k)。第三，顯示器處理器16基于經(jīng)比例縮放像素的對稱性(A)和濾波器響應(yīng)的強度(k)而確定偏斜距離(s′)。
顯示器處理器16接著基于所確定的偏斜距離(s′)而應(yīng)用濾波器，以執(zhí)行空間變化內(nèi)插，以便確定經(jīng)比例縮放像素的值。因為自適應(yīng)比例放大技術(shù)使顯示器處理器16能夠基于相鄰像素的值而修改濾波器響應(yīng)的強度(k)，所以顯示器處理器可產(chǎn)生包含經(jīng)比例縮放像素的經(jīng)比例放大的圖像信息，所述技術(shù)在與其它比例放大技術(shù)相比時具有相對較高的清晰度。
自適應(yīng)比例放大技術(shù)還可使顯示器處理器16能夠比例放大根據(jù)多種顏色格式中的一種而編碼的圖像信息。舉例來說，如果圖像信息是根據(jù)RGB顏色格式而編碼的，那么顯示器處理器16可基于對稱性(A)和強度(k)而針對綠色(G)信道確定偏斜距離(s′)。在作出此確定之后，顯示器處理器16可基于針對綠色(G)彩色信道確定的偏斜距離(s′)而應(yīng)用濾波器來內(nèi)插經(jīng)比例縮放像素的紅色(R)、綠色(G)和藍(lán)色(B)信道值。作為另一實例，如果圖像信息是根據(jù)YCbCr顏色格式而編碼的，那么顯示器處理器16可僅針對亮度(Y)彩色信道而確定偏斜距離(s′)，且僅對Y信道應(yīng)用濾波器以內(nèi)插經(jīng)比例縮放像素的Y信道值。
移動裝置10可以是移動無線電話或衛(wèi)星電話、個人數(shù)字助理或能夠操縱和顯示圖像信息的任何其它類型的移動裝置。移動裝置10可配備有無線和/或有線通信能力以接收和(任選地)傳輸語音、視頻和/或數(shù)據(jù)信息。處理器16可與調(diào)制解調(diào)器整合，調(diào)制解調(diào)器還處理接收到的圖像信息的解調(diào)和解碼，以及任選地所傳輸信息的編碼和調(diào)制。
因此，移動裝置10還可包含適當(dāng)?shù)膫鬏敽徒邮针娮悠骷?，例如用于射頻、衛(wèi)星或紅外線通信。此類電子器件可包含合適的濾波器、放大器、升頻轉(zhuǎn)換器、降頻轉(zhuǎn)換器、雙工器等。盡管本發(fā)明中出于說明的目的而描述了移動裝置，但所述自適應(yīng)空間變化內(nèi)插技術(shù)可應(yīng)用于通常不認(rèn)為是移動的其它裝置，例如電視機、臺式計算機、計算機工作站等。
在一些實施例中，移動裝置10可包括圖像捕獲裝置以捕獲圖像信息作為數(shù)字視頻或數(shù)字靜止圖片。圖像捕獲裝置可以是數(shù)字視頻相機、數(shù)字靜止圖像相機或上述兩者的組合，且在這些例子中，圖像捕獲裝置可并入到移動裝置10(例如移動蜂窩式電話)中，以形成所謂的相機電話或視頻電話。圖像捕獲裝置優(yōu)選經(jīng)配備以捕獲彩色影像、黑白影像或兩者。在本發(fā)明中，術(shù)語“圖像”、“影像”、“圖像信息”或類似術(shù)語可互換地指代視頻或靜止圖片。
進一步參看圖1，存儲器14存儲圖像信息20。存儲器14可包括靜態(tài)存儲器(例如只讀存儲器(ROM)、電子可編程ROM(EPROM)、快閃存儲器、硬盤驅(qū)動器)與動態(tài)存儲器(例如隨機存取存儲器(RAM)、動態(tài)隨機存取存儲器(DRAM)、靜態(tài)隨機存取存儲器(SRAM)和高速緩沖存儲器)的任一組合。圖像信息20可包括由數(shù)字視頻或靜止相機捕獲的信息、由應(yīng)用程序、視頻游戲或其它軟件程序產(chǎn)生的信息，或經(jīng)由廣播或串流媒體獲得的信息。圖像信息20可在指定分辨率下界定像素的值，所述指定分辨率可小于或大于顯示器18的分辨率。然而，通常，圖像信息20在低于顯示器18的最大分辨率的分辨率下界定像素值。
顯示器處理器16(例如)經(jīng)由系統(tǒng)總線、存儲器總線、外圍總線或其組合耦合到存儲器14和顯示器18。在一些實施例中，顯示器處理器16可采取內(nèi)嵌在移動臺調(diào)制解調(diào)器(MSM)內(nèi)且負(fù)責(zé)將經(jīng)比例放大的圖像從MSM存儲器子系統(tǒng)轉(zhuǎn)移到顯示器18的硬件加速器的形式。而且，在一些實施例中，存儲器14可內(nèi)嵌在顯示器處理器16內(nèi)，使得存儲器14變?yōu)轱@示器處理器16的存儲器子系統(tǒng)。顯示器處理器16負(fù)責(zé)將經(jīng)更新的圖像從存儲器14轉(zhuǎn)移到顯示器18。顯示器處理器16對從視頻或靜止照片捕獲裝置，從軟件應(yīng)用程序、視頻游戲或其它程序，從視頻或靜止圖片檔案，或從廣播或串流媒體獲得的圖像信息20執(zhí)行一組操作。示范性操作包含旋轉(zhuǎn)、倒轉(zhuǎn)、比例縮放、顏色轉(zhuǎn)換、伽瑪校正、混合、抖動和其它增強。用于執(zhí)行內(nèi)插和其它操作(例如上文描述的操作)的功能單元可駐存在移動裝置10的所謂的視頻前端(video front end，VFE)內(nèi)。
處理器16可由一個或一個以上微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或任何其它等效離散或集成邏輯電路來實現(xiàn)。雖然圖1中未展示，但移動裝置10可包括能夠執(zhí)行指令的可編程處理器，所述指令致使程序執(zhí)行本文所描述的比例放大技術(shù)，且處理器16可代表此可編程處理器的一部分。因此，本發(fā)明還預(yù)期包括指令的計算機可讀媒體，所述指令用以致使處理器執(zhí)行如本文描述的技術(shù)。
如下文更詳細(xì)地描述，處理器16將空間變化內(nèi)插濾波器應(yīng)用于圖像信息20，以產(chǎn)生經(jīng)比例放大的圖像信息12以在顯示器18上顯示。比例放大允許圖像信息20以較高的分辨率和較大的尺寸格式來顯示。作為實例，圖像信息20可從四分之一通用中間格式(quarter common intermediate format，QCIF)空間上比例放大到通用中間格式(CIF)，從CIF空間上比例放大到視頻圖形陣列(video graphics array，VGA)，且/或從VGA空間上比例放大到超VGA(SVGA)。以此方式，可通過空間變化內(nèi)插來比例放大較小的圖像，以提供較大的圖像以呈現(xiàn)在顯示器18上。同時，如本文描述的內(nèi)插技術(shù)可應(yīng)用于維持質(zhì)量且減少經(jīng)比例放大圖像中不合需要的假象。
為了比例放大圖像信息20，顯示器處理器16首先沿著由圖像信息20界定的像素值的行應(yīng)用濾波器，且其次沿著由圖像信息20界定的像素值的列應(yīng)用濾波器。當(dāng)顯示器處理器16應(yīng)用濾波器時，顯示器處理器16基于圖像信息內(nèi)的多個相鄰像素而確定待內(nèi)插的像素值(即，經(jīng)比例縮放的像素)的對稱性(A)?？蓪⑾噜徬袼剡x擇為在待內(nèi)插的像素的預(yù)定距離內(nèi)。因此，待內(nèi)插的像素原先并不存在于圖像數(shù)據(jù)中，且需要基于原先存在于圖像數(shù)據(jù)中的像素而內(nèi)插。像素的內(nèi)插添加了增加圖像的分辨率的像素。待內(nèi)插的像素可被稱為經(jīng)內(nèi)插像素或經(jīng)比例縮放像素。多個像素的內(nèi)插增加了圖像的總分辨率，且可允許空間比例放大。
接下來，顯示器處理器16基于經(jīng)比例縮放像素的對稱性(A)而確定對經(jīng)比例縮放像素的濾波器響應(yīng)的強度(k)，且隨后基于經(jīng)比例縮放像素的對稱性(A)和濾波器響應(yīng)的強度(k)而確定偏斜距離(s′)。在此過程期間，顯示器處理器16使濾波器適合或“適應(yīng)”圖像信息20的內(nèi)容，且更具體地說，適合或“適應(yīng)”由圖像信息20界定的相鄰像素值的值。在修改濾波器之后，顯示器處理器16基于所確定的偏斜距離(s′)而應(yīng)用濾波器，以執(zhí)行空間變化內(nèi)插(SVI)以便確定經(jīng)比例縮放像素的值。
顯示器處理器16可通過將顯示器18的分辨率與圖像信息20的分辨率進行比較，來確定將內(nèi)插的像素值的數(shù)目。顯示器分辨率與圖像信息20的分辨率之間的差異確定實現(xiàn)顯示器分辨率所需要的比例放大的量。在內(nèi)插每一經(jīng)比例縮放像素的值之后，顯示器處理器16將這些經(jīng)比例縮放像素值與由圖像信息20界定的原始像素值存儲在一起，作為經(jīng)比例放大的圖像信息12。在一些實施例中，顯示器處理器16不存儲這些經(jīng)比例縮放的像素值，而是在經(jīng)比例縮放像素值被確定時，傳輸這些經(jīng)比例縮放像素值以及由圖像信息20界定的原始像素值以驅(qū)動顯示器18。在完成比例放大后，顯示器處理器16將經(jīng)比例放大的圖像信息12傳輸?shù)斤@示器18以顯示給用戶。
顯示器18可包括多種顯示器中的任何一者，包含液晶顯示器(LCD)、陰極射線管(CRT)顯示器、等離子體顯示器、投影顯示器和能夠顯示經(jīng)比例放大圖像信息12的任何顯示器。顯示器18可與裝置10整合或耦合到裝置10。顯示器18維持由固定數(shù)目的像素控制的固有顯示器分辨率以顯示圖像。由像素列的數(shù)目乘以像素行的數(shù)目界定的示范性分辨率包含800×600個像素、1024×768個像素、1280×768個像素、1280×800個像素、1280×1024個像素、1600×1200個像素、1680×1050個像素、1920×1200個像素和任何其它像素布置。在一些實施例中，移動裝置10的用戶可為顯示器18選擇多種分辨率中的一者，只要所選的分辨率不超過顯示器18的固有最大分辨率。在其它實施例中，設(shè)計者可對顯示器18的分辨率進行硬編碼，且通常選擇固有最大分辨率作為經(jīng)硬編碼的分辨率。
本文所描述的比例放大技術(shù)允許移動裝置10執(zhí)行相對較低復(fù)雜性的線性內(nèi)插，其得出相對較高清晰度(即，具有相對較少模糊現(xiàn)象)的經(jīng)比例放大的圖像信息12。移動裝置10所實施的比例放大技術(shù)具有較低的復(fù)雜性，因為其實施線性內(nèi)插方法，而不是計算較密集型內(nèi)插方法，例如NEDI。此外，所述比例放大技術(shù)使移動裝置10能夠產(chǎn)生此高清晰度結(jié)果，部分是因為其使移動裝置10能夠使濾波器響應(yīng)的強度(k)適應(yīng)圖像信息20的多個相鄰像素值，從而提供內(nèi)容自適應(yīng)內(nèi)插。因此，此技術(shù)允許移動裝置10根據(jù)一個強度k而確定經(jīng)比例縮放像素值中的一些像素值，同時根據(jù)另一強度k′而確定經(jīng)比例縮放像素值中的其它像素值，如由作為待內(nèi)插的特定像素的相鄰者的不同像素群組所指示。因此，不同于界定圖像信息的整個廣闊區(qū)域上的濾波器響應(yīng)的恒定(即，固定)強度的一些比例縮放技術(shù)，本文所描述的比例放大技術(shù)使強度k適應(yīng)圖像信息20的特征，以提供較高清晰度的經(jīng)比例放大的圖像信息12。
圖2是進一步詳細(xì)說明圖1的移動裝置10的框圖。如上文參看圖1所描述，圖2的移動裝置10類似地包含存儲器14、顯示器處理器16和顯示器18。存儲器14存儲圖像信息20。如圖2中所說明，顯示器處理器16包含對稱性模塊24、查找表26、偏斜距離模塊28和有限輸入響應(yīng)(FIR)濾波器30。雖然下文參考組件24、26、28和30而進行描述，但例如圖2所示的單個組件或多個組件可執(zhí)行歸于組件24到30的操作。而且，對組件24到30的描繪意在突出不同的功能方面，且不應(yīng)必要地解釋為表示單獨硬件和/或軟件組件。
將出于說明的目的而描述用作濾波器30的四分接頭FIR濾波器?；谟蓌n+1、xn-1、xn+2和xn表示的四個原始像素而計算待內(nèi)插的由x表示的像素。對于一行像素，下標(biāo)n+1和n+2可表示待內(nèi)插的像素x右側(cè)的像素，而下標(biāo)n和n-1可表示待內(nèi)插的像素x左側(cè)的像素。經(jīng)內(nèi)插以及原始像素的值(振幅或強度)表示為f(x)。使用FIR濾波器，經(jīng)內(nèi)插像素x的值由以下等式獲得 f(x)＝F[s，f(xn-1)，f(xn)，f(xn+1)，f)xn+2)]， (1) 其中F[·]是線性函數(shù)，且s是相位參數(shù)s＝x-xn(0≤s≤1，通過將兩個鄰近原始像素之間的距離界定為1)。此一般化函數(shù)應(yīng)用于任何四分接頭FIR濾波器，包含雙線性(盡管其僅具有兩個分接頭)、雙三次、三次樣條等。舉例來說，對于以比率2進行比例放大，需要內(nèi)插單個樣本，使得s＝1/2。對于為4的比例放大比率，有三個樣本要內(nèi)插，且針對三個經(jīng)內(nèi)插像素，s分別＝0.25、0.5和0.75。
FIR濾波器的優(yōu)點包含簡單性、低計算復(fù)雜性和維持原始樣本的值的能力。FIR濾波器可通過簡單地調(diào)節(jié)s的值而用于非整數(shù)比率比例縮放。可將s的值量化成在0與1之間的多個等級(例如，32)。而且，可對不同內(nèi)插相位處的f(xn-1)、f(xn)、f(xn+1)、f(xn+2)的系數(shù)進行預(yù)編程。
對于SVI技術(shù)，可修改等式(1)中的距離s，使得靠近邊緣邊界的像素以邊緣定向方式來內(nèi)插。使用偏斜距離(warped-distance，WD)方案，SVI技術(shù)可經(jīng)配置以應(yīng)用決定經(jīng)內(nèi)插像素所屬的邊緣側(cè)的關(guān)聯(lián)規(guī)則。將示范性關(guān)聯(lián)規(guī)則給出為 其中L＝256。
(2) 為了方便硬件實施方案，可如下修改上述等式(2) A＝(|f(xn+1)-f(xn-1)|-|f(xn+2)-f(xn)|)>>8。 (3) 等式(3)表示測量邊緣的任一側(cè)上的像素值的均勻性的簡單規(guī)則。如果|f{xn+1)-f(xn-1)|≥|f(xn+2)-f(xn)|，那么所述邊緣在右側(cè)上更均質(zhì)，且待內(nèi)插的像素應(yīng)與右側(cè)相關(guān)聯(lián)。在此情況下，對于四分接頭濾波器，應(yīng)將更多權(quán)數(shù)放在xn+1，xn+2上。
另一方面，如果|f(xn+1)-f(xn-1)|<|f(xn+2)-f(xn)|，那么所述邊緣在左側(cè)上更均質(zhì)，且待內(nèi)插的像素應(yīng)與左側(cè)相關(guān)聯(lián)。在此情況下，對于四分接頭濾波器，應(yīng)將更多權(quán)數(shù)放在xn，xn-1上。
進一步參看圖2，對稱性模塊16基于圖像信息20內(nèi)的多個相鄰像素而確定經(jīng)比例縮放像素(即，待內(nèi)插的像素x)的對稱性(A)。作為一實例，對稱性模塊16可根據(jù)上述等式(3)來確定對稱性。在上述等式(3)中，所述多個相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的值。查找表26存儲由A0到An表示的對稱性區(qū)(“區(qū)”)與由k0到kn表示的預(yù)定義的強度值之間的關(guān)聯(lián)。用于x和A的n下標(biāo)是不同的。查找表26僅代表一種類型的可用以存儲關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)，且其它數(shù)據(jù)結(jié)構(gòu)(例如鏈接列表、散列表、樹和二進制樹)也可存儲此關(guān)聯(lián)。查找表26可以由以下等式(4)表示的方式來存儲關(guān)聯(lián) k＝k0，其中0≤|A|<A1； k＝k1，其中A1≤|A|<A2； k＝kn-1，其中An-1≤|A|≤1， 其中0<A1<A2<...<An-1<1。(4) 在上述等式(4)中，k代表濾波器響應(yīng)的強度，k0到kn表示預(yù)定義的強度值，且A0到An表示對稱性區(qū)的邊緣。根據(jù)等式(4)，值k基于A的值而變化，從而基于圖像的內(nèi)容特征而提供對空間變化內(nèi)插濾波器響應(yīng)的調(diào)節(jié)。在一些實施例中，可在正常情況下基于A值，或在缺乏用以計算A的計算資源的情況下基于固定值選擇性地調(diào)節(jié)k值。由于k依據(jù)A而自適應(yīng)，所以同一圖像或視頻幀內(nèi)針對待內(nèi)插的不同像素可能存在不同的k值。值得注意的是，可將值A(chǔ)表達為絕對值，因為其可為正或負(fù)。
在一些實施例中，幀可由k映射來表征，所述k映射將k的不同值指配(例如)到不同區(qū)、區(qū)域、像素群組或像素。因此，可對幀進行預(yù)處理以確定針對預(yù)定區(qū)域的k的值。接著，可將所述k值用于那些相應(yīng)區(qū)域的每一者中的經(jīng)比例放大像素(即，待內(nèi)插的像素)的空間變化內(nèi)插。明確地說，空間變化內(nèi)插技術(shù)可參考k映射來確定針對一區(qū)域的特定k，因為其在所述區(qū)域中產(chǎn)生一個或一個以上經(jīng)內(nèi)插像素。
設(shè)計者可通過指定針對k0到kn和A0到An的值來預(yù)定義查找表26。然而，在一些實施例中，顯示器處理器16自動使k0到kn和A0到An中的任一者或兩者適應(yīng)于一個或一個以上示范性條件，例如正被比例放大的圖像信息20的質(zhì)量、請求顯示器18顯示圖像信息20的應(yīng)用的身份或類型，以及移動裝置10內(nèi)的可用系統(tǒng)資源的等級。此外，查找表26可包括一個或一個以上查找表，或更一般地說，數(shù)據(jù)結(jié)構(gòu)，其存儲一個或一個以上關(guān)聯(lián)。顯示器處理器16可使這些獨立查找表26中的每一者與請求顯示器18顯示圖像信息20的不同應(yīng)用相關(guān)聯(lián)。或者，顯示器處理器16可使這些獨立查找表26中的每一者與圖像信息20的系統(tǒng)資源使用和/或質(zhì)量的變化的等級相關(guān)聯(lián)。
偏斜距離模塊28基于經(jīng)比例縮放像素的對稱性(A)和來自對稱性模塊24和查找表26的濾波器響應(yīng)的強度(k)而確定偏斜距離(s′)。偏斜距離模塊28可根據(jù)以下等式(5)來確定偏斜距離(s′) s′＝s-kAs(s-1) (5) 其中s表示經(jīng)比例縮放像素到多個相鄰像素中的一者的距離，A表示經(jīng)比例縮放像素的對稱性，且k表示對所述經(jīng)比例縮放像素的濾波器響應(yīng)的強度。值s′依據(jù)s、A和k而提供相位修改。又依據(jù)A而修改值k。在一些情形下，如果將k設(shè)定為0，那么內(nèi)插技術(shù)回復(fù)到空間不變內(nèi)插。否則，k的變化的值導(dǎo)致s′的變化的值，且驅(qū)動內(nèi)容自適應(yīng)空間變化內(nèi)插(CA-SVI)。經(jīng)比例縮放像素到多個相鄰像素中的一者之間的距離(s)可由以下等式(6)的任一者來界定 s＝x-xn， 1-s＝xn+1 (6) 其中x表示經(jīng)比例縮放像素的位置，xn表示沿著x軸在所述經(jīng)比例縮放像素左側(cè)的像素的位置，且xn+1，表示沿著x軸在所述經(jīng)比例縮放像素右側(cè)的像素。如等式(6)所示，已將每一像素xn與xn+1，之間的距離標(biāo)準(zhǔn)化為1。
偏斜距離模塊28可針對其中圖像信息20包含彩色圖像信息20的情況確定偏斜距離(s′)。如果彩色圖像信息20是根據(jù)(例如)RGB顏色格式而編碼的，那么偏斜距離模塊28僅針對綠色(G)信道計算偏斜距離(s′)，且當(dāng)內(nèi)插經(jīng)比例縮放像素的所有三個彩色信道值(即，綠色(G)、紅色(R)和藍(lán)色(B)信道)時，將針對綠色(G)信道的此偏斜距離(s′)傳輸?shù)紽IR濾波器30。然而，如果彩色圖像信息20是根據(jù)YCbCr顏色格式而編碼的，那么偏斜距離模塊28僅針對亮度(Y)信道計算偏斜距離(s′)，且當(dāng)內(nèi)插經(jīng)比例縮放像素的亮度(Y)信道值時，將針對亮度(Y)信道的此偏斜距離(s′)傳輸?shù)紽IR濾波器30。
FIR濾波器30基于所確定的偏斜距離(s′)而應(yīng)用濾波器，以執(zhí)行空間變化內(nèi)插，以便確定經(jīng)比例縮放像素的值。FIR濾波器30可應(yīng)用如下文的以下等式(7)所描述的濾波器 其中f(x)表示經(jīng)比例縮放像素的值，s′表示偏斜距離，多個相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的值。等式(7)描述空間變化雙三次內(nèi)插，其為內(nèi)容自適應(yīng)的，或僅為“自適應(yīng)的”，因為濾波器響應(yīng)的強度(k)(其因子分解為偏斜距離(s′))根據(jù)周圍多個相鄰像素f(xn+1)、f(xn-1)、f(xn+2)和f(xn)的值而變化。盡管本文參考空間變化雙三次內(nèi)插進行描述，但本文所描述的比例放大技術(shù)可允許其它等級的內(nèi)插，例如雙線性內(nèi)插，例如，如由以下等式(8)所描述 f(x)＝(1-s′)f(xn)+s′f(xn+1)(8) FIR濾波器30還可提供靈活性，因為其可能不總是應(yīng)用空間變化內(nèi)插，而是在一些情況下應(yīng)用更典型的空間不變雙三次內(nèi)插。如果上述查找表26中的一者指定強度值等于零，因此將濾波器響應(yīng)的強度(k)設(shè)定為零，且偏斜距離(s′)因此等于距離(s)，那么FIR濾波器30根據(jù)等式(7)以s代替s′來應(yīng)用空間不變雙三次濾波器。因此，F(xiàn)IR濾波器30可以對圖像信息20執(zhí)行空間不變雙三次內(nèi)插的方式來修改，且此修改可在確定圖像信息20的質(zhì)量、請求顯示器18顯示圖像信息20的應(yīng)用的身份和/或移動裝置10的可用系統(tǒng)資源(如上文所描述)之后發(fā)生。換句話說，在一些情況下，F(xiàn)IR濾波器30可經(jīng)配置以應(yīng)用空間變化內(nèi)插，但在某些條件下自適應(yīng)以切換到空間不變內(nèi)插。
作為說明，可針對A的不同絕對值而使用k的以下值，以觸發(fā)空間變化內(nèi)插或空間不變內(nèi)插 k＝4，其中0≤|A|<0.45； k＝0，其中0.45≤|A|<1。
(9) 圖3A和圖3B是說明像素值x基于相鄰像素xn-1、xn、xn+1、xn+2的值的內(nèi)插的曲線圖。圖3A和圖3B說明等式(9)中所陳述的k的上述值分別在A的絕對值＝0和A的絕對值＝0.75時的像素樣本的曲線圖。在如圖3A中那樣標(biāo)繪樣本的情況下，A＝0且k＝4。因此，對于圖3A的實例，將使用空間變化內(nèi)插(SVI)。然而，在如圖3B中那樣標(biāo)繪樣本的情況下，|A|＝0.75且k＝0。在此情況下，當(dāng)k＝0時，將使用空間不變內(nèi)插來代替空間變化內(nèi)插(SVI)。
圖2中所說明的實施例僅出于示范性目的。顯示器處理器16不需要駐存在移動裝置10的顯示器處理器16內(nèi)，且可駐存在能夠存儲、操縱和產(chǎn)生圖像信息的任何裝置內(nèi)。如上文所描述，顯示器處理器16可根據(jù)本文所描述的比例放大技術(shù)來執(zhí)行比例放大，從而向移動裝置10提供相對較低復(fù)雜性的方法，來產(chǎn)生相對較高清晰度的經(jīng)比例放大的圖像信息12。
圖4是說明圖2的顯示器處理器16在自適應(yīng)地比例放大圖像信息20以使用如本發(fā)明中所描述的內(nèi)插技術(shù)來產(chǎn)生經(jīng)比例放大的圖像信息12的過程中的示范性操作的流程圖。起初，設(shè)計者可配置查找表26或如上文所描述的某一其它數(shù)據(jù)結(jié)構(gòu)，以存儲對稱性區(qū)(A0到An)與強度值(k0到kn)之間的關(guān)聯(lián)。設(shè)計者還可選擇顯示器處理器16應(yīng)將哪種內(nèi)插方法(即，雙線性或雙三次內(nèi)插)應(yīng)用于圖像信息20。
一旦被配置，移動裝置10就可與用戶(未圖示)互動，因此用戶可與一個或一個以上軟件程序(例如應(yīng)用程序或游戲)和/或硬件組件(例如數(shù)字視頻相機或數(shù)字靜止圖像相機組件)互動。通過此互動，軟件程序和/或硬件組件可將圖像信息20存儲到存儲器14，且顯示器處理器16可從存儲器14檢索圖像信息20，以顯示在顯示器18上(32)。
在檢索到圖像信息20后，顯示器處理器16可執(zhí)行最終的一組操作，如上文所描述。明確地說，顯示器處理器16可根據(jù)本文所描述的比例放大技術(shù)比例放大圖像信息20。首先，顯示器處理器16的對稱性模塊24可基于相鄰像素值而確定經(jīng)比例縮放像素的對稱性(A)(34)。對稱性模塊24可根據(jù)上述等式(1)且如下文參看圖5A和圖5B所描述而確定對稱性(A)。接下來，對稱性模塊24存取查找表26，以確定對應(yīng)于對稱性(A)所處的對稱性區(qū)(A0到An)的相關(guān)聯(lián)強度值(k0到kn)。
在圖4的實例中，存在兩個對稱性區(qū)，且所述兩個對稱性區(qū)由A0＝0.45界定。因此，根據(jù)此特定配置而修改等式(2)提供上述等式(9)，其描述存儲在查找表26的一者中的關(guān)聯(lián)，且在下文中再次再現(xiàn) k＝4，其中0≤|A|<0.45； k＝0，其中0.45≤|A|<1。 (9) 此處，如上文所提及，如果對稱性A大于或等于0且小于A0(其等于0.45)，那么濾波器響應(yīng)的強度k等于強度值k0(其等于4)。如果對稱性A大于或等于A0(其等于0.45)但小于1，那么強度k等于強度值k1(其等于0)。因為對稱性A必須位于0與1之間，所以僅需要A0來劃定兩個對稱性區(qū)，且顯示器處理器16僅需要確定其是否位于第一對稱性區(qū)內(nèi)(36)。雖然參考兩個對稱性區(qū)進行描述，但可能存在兩個或兩個以上對稱性區(qū)，如由等式(4)所示，且本文所描述的比例放大技術(shù)不應(yīng)嚴(yán)格局限于兩個對稱性區(qū)。在一些實施例中，區(qū)的數(shù)目和大小可(例如)基于計算資源和其它性能特征的可用性而自適應(yīng)。
如果對稱性(A)位于第一對稱性區(qū)內(nèi)(“是”36)，即0≤A<0.45，那么查找表26將強度值k0或4返回到偏斜距離模塊28，偏斜距離模塊28又將強度k設(shè)定為等于4(38)。在將強度(k)設(shè)定為4之后，偏斜距離模塊28確定經(jīng)比例縮放像素與相鄰像素之間的距離(s)(40)。偏斜距離模塊28可根據(jù)上述等式(4)而計算距離(s)。如果圖像信息20是根據(jù)RGB顏色格式而編碼的(“是”42)，那么偏斜距離模塊28針對綠色(G)信道確定偏斜距離(s′)(44)。偏斜距離模塊28可根據(jù)上述等式(3)來針對綠色(G)信道計算偏斜距離(s′)。偏斜距離模塊28將針對紅色(R)和藍(lán)色(B)信道的偏斜距離(s′)設(shè)定為等于針對綠色(G)信道而計算出的偏斜距離(s′)(46)?？蛇x擇綠色(G)信道以確定相位修改項s′，以便避免灰度不均衡，且使用在人眼看來最強烈的信道。
如果圖像信息20不是根據(jù)RGB顏色格式而是根據(jù)YCbCr顏色格式編碼的(“否”42)，那么偏斜距離模塊28僅針對圖像信息20的亮度(Y)信道確定偏斜距離(s′)(48)。雖然本文僅論述RGB和YCbCr顏色格式，但其它顏色格式也可致使偏斜距離模塊28針對這些其它顏色格式的變化的信道計算偏斜距離，且本文所描述的比例放大技術(shù)不應(yīng)嚴(yán)格局限于RGB和YCbCr顏色格式。
在確定偏斜距離(s′)之后，偏斜距離模塊28將偏斜距離(s′)提供給FIR濾波器30。FIR濾波器30經(jīng)由可符合上文通過等式(5)所描述內(nèi)容的濾波器的應(yīng)用來執(zhí)行內(nèi)容自適應(yīng)空間變化雙三次內(nèi)插(50)。FIR濾波器30對圖像信息20的一個或一個以上信道執(zhí)行此自適應(yīng)空間變化雙三次內(nèi)插，以產(chǎn)生經(jīng)比例放大的圖像信息16的經(jīng)比例縮放像素值。舉例來說，如果圖像信息20是根據(jù)RGB顏色格式而編碼的，那么FIR濾波器30可對圖像信息20的紅色(R)、綠色(G)和藍(lán)色(B)信道執(zhí)行此內(nèi)插，但僅使用針對綠色(G)信道而確定的偏斜距離(s′)。根據(jù)針對綠色(G)信道而確定的偏斜距離(s′)而內(nèi)插所有三個RGB信道通常會減少經(jīng)比例放大的圖像信息12中顏色滲出的可能性。作為另一實例，如果圖像信息20是根據(jù)YCbCr彩色信道而編碼的，那么FIR濾波器30可僅對圖像信息20的亮度(Y)信道執(zhí)行此內(nèi)插。在此實例中，F(xiàn)IR濾波器30僅內(nèi)插Y信道，因為其表示真色強度值，而色彩藍(lán)色(Cb)和色彩紅色(Cr)信道兩者表示偏移以及非真色值。
然而，如果對稱性位于第二對稱性區(qū)內(nèi)(“否”36)，即0.45≤A<1，那么查找表26將強度值k1或0返回到偏斜距離模塊28，偏斜距離模塊28又將強度k設(shè)定為等于0(52)。在將強度(k)設(shè)定為0之后，偏斜距離模塊28確定經(jīng)比例縮放像素與相鄰像素之間的距離(s)(54)。偏斜距離模塊28可根據(jù)上述等式(4)而計算距離(s)。在此情況下，因為k等于0，所以偏斜距離模塊28可立即將偏斜距離(s′)設(shè)定為等于零(0)(56)。偏斜距離模塊28可根據(jù)上述等式(3)而計算偏斜距離(s′)，其在k等于0時將等式(3)簡化為s′＝s。
當(dāng)s′等于s時，F(xiàn)IR濾波器30經(jīng)由可由上述等式(5)描述的濾波器的應(yīng)用來執(zhí)行空間不變雙三次內(nèi)插(58)，即不是空間變化內(nèi)插。經(jīng)由濾波器的應(yīng)用，F(xiàn)IR濾波器30產(chǎn)生經(jīng)比例放大的圖像信息12的經(jīng)比例縮放的像素值。
在內(nèi)插經(jīng)比例縮放像素值后，顯示器處理器16確定其是否已完成內(nèi)插所有必要的經(jīng)比例縮放像素值(60)。通常，顯示器處理器16首先沿著由圖像信息20界定的像素值的行應(yīng)用FIR濾波器30，且其次沿著由圖像信息20界定的像素值的列而應(yīng)用FIR濾波器30。因此，顯示器處理器16在沿著圖像信息20的最后一列應(yīng)用FIR濾波器30之后完成。如果未完成(“否”60)，那么顯示器處理器20將FIR濾波器30應(yīng)用于接下來的經(jīng)比例縮放像素值，但僅在確定此新的經(jīng)比例縮放像素的對稱性(A)、強度(k)、距離(s)和偏斜距離(s′)之后才這樣做。然而，如果已完成(“是”60)，那么顯示器處理器16可傳輸經(jīng)比例放大的圖像信息12以顯示在顯示器18上。
圖5A和圖5B是說明示范性一維像素布置的圖表，其中圖2的顯示器處理器20內(nèi)插經(jīng)比例縮放像素(x)的值(f(x))。圖5A展示圖表62，其中經(jīng)比例縮放像素(x)沿著具有較均質(zhì)的右側(cè)的邊緣擺放。圖5B展示圖表64，其中經(jīng)比例縮放像素(x)沿著具有較均質(zhì)的左側(cè)的邊緣擺放。雖然圖表62，64兩者都說明一維像素布置，但這僅僅是示范性的，且圖像信息20通常包含與二維像素布置有關(guān)的信息。然而，因為FIR濾波器30可首先應(yīng)用于行(一種一維像素布置)且接著應(yīng)用于列(另一種一維像素布置)，所以在此情況下論述比例放大技術(shù)是適當(dāng)?shù)摹?br> 參看圖5A，圖表62包含分別由像素值68A到68D或f(xn-1)、f(xn)、f(xn+1)和f(xn+2)界定的S形邊緣線66。圖表62進一步包含經(jīng)比例縮放像素x，其位于像素xn與像素xn+1之間。為了內(nèi)插經(jīng)比例縮放像素x的值，顯示器處理器16的對稱性模塊24首先根據(jù)上述等式(1)來確定經(jīng)比例縮放像素x的對稱性(A)。在確定對稱性(A)的過程中，對稱性模塊24可計算等式(1)的|(f(xn+1)-f(xn-1)|和|f(xn+2)-f(xn)|兩者，其在圖表62中分別由距離1(d1)和距離2(d2)表示。如果d1大于d2，那么邊緣具有較均質(zhì)的右側(cè)，且經(jīng)比例縮放像素值應(yīng)位于較靠近右側(cè)的那些像素值f(xn+1)和f(xn+2)處，以維持明確的邊緣。為了獲得此結(jié)果，經(jīng)比例縮放像素x偏斜為較靠近右側(cè)。使經(jīng)比例縮放像素x偏斜要求將濾波器響應(yīng)的強度(k)界定為大于或小于0。
在確定對稱性(A)之后，對稱性模塊28存取查找表26以確定相關(guān)聯(lián)的強度值，如上文所描述。如果對稱性(A)位于上文描述的第一對稱性區(qū)內(nèi)，即如果|d1-d2|大于或等于0但小于0.45，那么偏斜距離模塊28從查找表26接收第一強度值(k0＝4)，且設(shè)定強度k＝k0。然而，如果對稱性位于第二對稱性區(qū)內(nèi)，即如果|d1-d2|大于或等于0.45但小于1，那么偏斜距離模塊28從查找表26接收第二強度值(k1＝0)，且設(shè)定強度k＝k1。接下來，偏斜距離模塊28根據(jù)上述等式(4)中的一者來確定經(jīng)比例縮放像素x與像素xn之間的距離(s)70。如果強度k等于4，那么偏斜像素模塊根據(jù)上述等式(3)來確定偏斜距離(s′)。如果強度k等于0，那么偏斜像素模塊確定偏斜距離(s′)等于距離(s)，且經(jīng)比例縮放像素x不偏斜。在計算偏斜距離(s′)后，顯示器處理器16應(yīng)用FIR濾波器30來執(zhí)行空間變化或空間不變雙三次內(nèi)插，如上文所描述。
參看圖5B，圖表64包含分別由像素值74A到74D或f(xn-1)、f(xn)、f(xn+1)和f(xn+2)界定的S形邊緣線72。圖表64進一步包含經(jīng)比例縮放像素x，其位于像素xn與像素xn+1之間。為了內(nèi)插經(jīng)比例縮放像素x的值，顯示器處理器16的對稱性模塊24首先根據(jù)上述等式(1)來確定經(jīng)比例縮放像素x的對稱性(A)。在確定對稱性(A)的過程中，對稱性模塊24可計算等式(1)的|(f(xn+1)-f(xn-1)|和|f(xn+2)-f(xn)|兩者，其在圖表64中分別由距離1(d1)和距離2(d2)表示。如果d2大于d1，那么邊緣具有較均質(zhì)的左側(cè)，且經(jīng)比例縮放像素值應(yīng)位于較靠近左側(cè)的那些像素值f(xn-1)和f(xn)處，以維持明確的邊緣。為了獲得此結(jié)果，經(jīng)比例縮放像素x偏斜為較靠近左側(cè)。使經(jīng)比例縮放像素x偏斜要求將濾波器響應(yīng)的強度(k)界定為大于或小于0。
在確定對稱性(A)之后，對稱性模塊28存取查找表26以確定相關(guān)聯(lián)的強度值，如上文所描述。如果對稱性(A)位于上文所描述的第一對稱性區(qū)內(nèi)，即如果|d1-d2|大于或等于0但小于0.45，那么偏斜距離模塊28從查找表26接收第一強度值(k0＝4)，且設(shè)定強度k＝k0。然而，如果對稱性位于第二對稱性區(qū)內(nèi)，即如果|d1-d2|大于或等于0.45但小于1，那么偏斜距離模塊28從查找表26接收第二強度值(k1＝0)，且設(shè)定強度k＝k1。接下來，偏斜距離模塊28根據(jù)上述等式(4)中的一者而確定經(jīng)比例縮放像素x與像素xn之間的距離(s)76。如果強度k等于4，那么偏斜像素模塊根據(jù)上述等式(5)來確定偏斜距離(s′)。如果強度k等于0，那么偏斜像素模塊確定偏斜距離(s′)等于距離(s)，且經(jīng)比例縮放像素x不偏斜。在計算偏斜距離(s′)后，顯示器處理器16應(yīng)用FIR濾波器30來執(zhí)行空間變化或空間不變雙三次內(nèi)插，如上文所描述。
本發(fā)明描述用于圖像比例放大的自適應(yīng)空間變化內(nèi)插(SVI)技術(shù)。在各種實施例中，本發(fā)明中描述的所述內(nèi)插技術(shù)可支持圖像信息的較低復(fù)雜性比例放大，同時促進較高的圖像質(zhì)量，包含增強的銳度、較高對比度和準(zhǔn)確的內(nèi)插?？墒褂靡话慊邢廾}沖響應(yīng)(FIR)濾波器來應(yīng)用所述內(nèi)插技術(shù)。在一些實施例中，所述內(nèi)插技術(shù)可以是內(nèi)容自適應(yīng)的，以提供準(zhǔn)確的內(nèi)插，同時抑制與尖銳邊緣相關(guān)聯(lián)的顯著假象。另外，所述內(nèi)插技術(shù)可容易地應(yīng)用于例如以YCbCr(亮度、藍(lán)色色度、紅色色度)和RGB(紅色、綠色、藍(lán)色)兩種格式進行彩色影像和視頻的比例放大。
本文描述的比例放大技術(shù)可在硬件、軟件、固件或其任一組合中實施。如果在軟件中實施，那么所述技術(shù)可針對一種包括提供機器可執(zhí)行指令的程序代碼的計算機可讀媒體，所述機器可執(zhí)行指令當(dāng)在捕獲圖像的裝置中執(zhí)行時，執(zhí)行本文所描述的技術(shù)中的一者或一者以上。在此情況下，計算機可讀媒體可包括隨機存取存儲器(RAM)(例如同步動態(tài)隨機存取存儲器(SDRAM))、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可編程只讀存儲器(EEPROM)、快閃存儲器等。
程序代碼可以計算機可讀指令的形式存儲在存儲器上。在此情況下，例如微處理器或數(shù)字信號處理器(DSP)的處理器可執(zhí)行存儲在存儲器中的指令，以便實行本文所描述的技術(shù)中的一者或一者以上。在一些情況下，所述技術(shù)可由調(diào)用各種硬件組件的DSP來執(zhí)行。在其它情況下，本發(fā)明中所描述的技術(shù)可由微處理器、一個或一個以上專用集成電路(ASIC)、一個或一個以上現(xiàn)場可編程門陣列(FPGA)或某一其它硬件-軟件組合來實施。
已描述了本發(fā)明的各種實施例。這些和其它實施例在所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1.一種方法，其包括
基于圖像中的相鄰像素的內(nèi)容特征而確定所述圖像中的經(jīng)比例縮放像素的對稱性(A)；
基于所述對稱性A而確定空間變化內(nèi)插濾波器的強度(k)；
基于所述強度(k)而調(diào)節(jié)所述空間變化內(nèi)插濾波器；以及
應(yīng)用所述空間變化內(nèi)插濾波器來內(nèi)插所述經(jīng)比例縮放像素。
2.根據(jù)權(quán)利要求1所述的方法，其中調(diào)節(jié)所述空間變化內(nèi)插濾波器包含基于所述經(jīng)比例縮放像素的所述對稱性(A)和濾波器響應(yīng)的所述強度(k)來確定偏斜距離(s′)，以及基于所述偏斜距離(s′)而調(diào)節(jié)所述空間變化內(nèi)插濾波器。
3.根據(jù)權(quán)利要求2所述的方法，其中確定所述經(jīng)比例縮放像素的所述對稱性(A)包括根據(jù)以下等式來確定所述經(jīng)比例縮放像素的所述對稱性(A)
A＝(|f(xk+1)-f(xk-1)|-|f(xk+2)-f(xk)|)>>8
其中，所述相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與所述相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的值。
4.根據(jù)權(quán)利要求2所述的方法，其中確定所述濾波器響應(yīng)的所述強度(k)包括
確定所述對稱性(A)是否位于多個區(qū)(A0到An)的一者內(nèi)；
將所述強度(k)設(shè)定為多個強度值(k0到kn)中的與所述多個區(qū)(A0到An)中所述對稱性(A)所處的一個區(qū)相關(guān)聯(lián)的一個強度值。
5.根據(jù)權(quán)利要求4所述的方法，其進一步包括將所述強度(k)選擇性地設(shè)定為等于零，使得所述偏斜距離(s′)等于從所述經(jīng)比例縮放像素到所述相鄰像素的一者的距離(s)，以將所述空間變化內(nèi)插濾波器變換為空間不變內(nèi)插濾波器，以及應(yīng)用所述空間不變內(nèi)插濾波器來內(nèi)插所述經(jīng)比例縮放像素。
6.根據(jù)權(quán)利要求4所述的方法，其中設(shè)定所述強度(k)包括
基于所述確定的對稱性(A)而存取存儲區(qū)(A0到An)與所述多個強度值(k0到kn)的所述關(guān)聯(lián)的多個數(shù)據(jù)結(jié)構(gòu)中的一者，以檢索所述多個強度值(k0到kn)中的一者；以及
將所述強度(k)設(shè)定為所述多個強度值(k0到kn)中的所述檢索到的一者。
7.根據(jù)權(quán)利要求6所述的方法，其中存取所述多個數(shù)據(jù)結(jié)構(gòu)中的一者包括基于可用系統(tǒng)資源中的一者或一者以上以及請求所述圖像的應(yīng)用的類型而存取所述多個數(shù)據(jù)結(jié)構(gòu)中的一者。
8.根據(jù)權(quán)利要求2所述的方法，其中確定所述濾波器響應(yīng)的所述強度(k)包括
確定所述圖像的質(zhì)量；以及
基于對所述圖像的所述質(zhì)量的所述確定而確定對所述經(jīng)比例縮放像素的所述濾波器響應(yīng)的所述強度(k)。
9.根據(jù)權(quán)利要求2所述的方法，其中確定所述偏斜距離(s′)包括根據(jù)以下等式來確定所述偏斜距離(s′)
s′＝s-kAs(s-1)
其中s表示所述經(jīng)比例縮放像素到所述相鄰像素中的一者的所述距離，A表示所述經(jīng)比例縮放像素的所述對稱性，且k表示對所述經(jīng)比例縮放像素的所述濾波器響應(yīng)的所述強度。
10.根據(jù)權(quán)利要求2所述的方法，
其中確定所述偏斜距離(s′)包括針對根據(jù)RGB顏色格式而編碼的所述圖像的綠色(G)信道確定所述偏斜距離(s′)，以及
其中應(yīng)用所述濾波器包括基于針對所述圖像的所述綠色(G)信道而確定的所述偏斜距離(s′)而將所述濾波器應(yīng)用于紅色(R)、綠色(G)和藍(lán)色(B)信道，以執(zhí)行空間變化內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
11.根據(jù)權(quán)利要求2所述的方法，
其中確定所述偏斜距離(s′)包括針對根據(jù)YCbCr顏色格式而編碼的所述圖像的亮度(Y)信道確定所述偏斜距離(s′)；
其中應(yīng)用所述濾波器包括基于針對所述亮度(Y)信道而確定的所述偏斜距離(s′)而將所述濾波器應(yīng)用于所述亮度(Y)信道，以執(zhí)行空間變化內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
12.根據(jù)權(quán)利要求2所述的方法，其中應(yīng)用所述濾波器包括基于所述確定的偏斜距離(s′)而應(yīng)用濾波器，以執(zhí)行空間變化雙三次內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
13.根據(jù)權(quán)利要求12所述的方法，其中應(yīng)用所述濾波器進一步包括應(yīng)用由以下等式描述的所述濾波器
其中f(x)表示所述經(jīng)比例縮放像素的所述值，s′表示所述偏斜距離，所述相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與所述相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的所述值。
14.根據(jù)權(quán)利要求1所述的方法，其進一步包括
產(chǎn)生經(jīng)比例放大的圖像，其包含所述經(jīng)比例縮放像素的所述值；以及
經(jīng)由顯示器顯示所述經(jīng)比例放大的圖像。
15.一種裝置，其包括
存儲器，其存儲圖像；以及
處理器，其基于圖像中相鄰像素的內(nèi)容特征而確定所述圖像中經(jīng)比例縮放像素的對稱性(A)，基于所述對稱性A而確定內(nèi)插濾波器的強度(k)，基于所述強度(k)而調(diào)節(jié)所述內(nèi)插濾波器，且應(yīng)用空間變化內(nèi)插濾波器來內(nèi)插所述經(jīng)比例縮放像素。
16.根據(jù)權(quán)利要求1所述的裝置，其中所述處理器基于所述經(jīng)比例縮放像素的所述對稱性(A)和濾波器響應(yīng)的所述強度(k)來確定偏斜距離(s′)，且基于所述偏斜距離(s′)而調(diào)節(jié)所述空間變化內(nèi)插濾波器。
17.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器根據(jù)以下等式來確定所述經(jīng)比例縮放像素的所述對稱性(A)
A＝(|f(xn+1)-f(xn-1)|-|f(xn+2)-f(xn)|)>>8
其中，所述相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與所述相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的值。
18.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器確定所述對稱性(A)是否位于多個區(qū)(A0到An)的一者內(nèi)，且將所述強度(k)設(shè)定為多個強度值(k0到kn)中的與所述多個區(qū)(A0到An)中所述對稱性(A)所處的一個區(qū)相關(guān)聯(lián)的一個強度值。
19.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器將所述強度(k)選擇性地設(shè)定為等于零，使得所述偏斜距離(s′)等于從所述經(jīng)比例縮放像素到所述相鄰像素的一者的距離(s)，以將所述空間不變內(nèi)插濾波器變換為空間不變內(nèi)插濾波器，且應(yīng)用所述空間不變內(nèi)插濾波器來內(nèi)插所述經(jīng)比例縮放像素。
20.根據(jù)權(quán)利要求18所述的裝置，其中所述存儲器存儲多個數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)存儲對稱性區(qū)(A0到An)與多個強度值(k0到kn)之間的關(guān)聯(lián)，且所述處理器基于所述確定的對稱性(A)而存取所述多個數(shù)據(jù)結(jié)構(gòu)中存儲區(qū)(A0到An)與所述多個強度值(k0到kn)的所述關(guān)聯(lián)的一者，以檢索所述多個強度值(k0到kn)中的一者，且將所述強度(k)設(shè)定為所述多個強度值(k0到kn)中所述檢索到的一者。
21.根據(jù)權(quán)利要求20所述的裝置，其中所述處理器基于可用系統(tǒng)資源中的一者或一者以上以及請求所述圖像的應(yīng)用的類型而存取所述多個數(shù)據(jù)結(jié)構(gòu)中的一者。
22.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器確定所述圖像的質(zhì)量，且基于對所述圖像的所述質(zhì)量的所述確定而確定對所述經(jīng)比例縮放像素的所述濾波器響應(yīng)的所述強度(k)。
23.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器根據(jù)以下等式來確定所述偏斜距離(s′)
s′＝s-kAs(s-1)
其中s表示所述經(jīng)比例縮放像素到所述相鄰像素中的一者的所述距離，A表示所述經(jīng)比例縮放像素的所述對稱性，且k表示對所述經(jīng)比例縮放像素的所述濾波器響應(yīng)的所述強度。
24.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器針對根據(jù)RGB顏色格式而編碼的所述圖像的綠色(G)信道確定所述偏斜距離(s′)，且基于針對所述圖像的所述綠色(G)信道而確定的所述偏斜距離(s′)而將所述濾波器應(yīng)用于紅色(R)、綠色(G)和藍(lán)色(B)信道，以執(zhí)行空間變化內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
25.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器針對根據(jù)YCbCr顏色格式而編碼的所述圖像的亮度(Y)信道確定所述偏斜距離(s′)，且基于針對所述亮度(Y)信道而確定的所述偏斜距離(s′)而應(yīng)用所述濾波器，以執(zhí)行空間變化內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
26.根據(jù)權(quán)利要求16所述的裝置，其中所述處理器基于所述確定的偏斜距離(s′)而應(yīng)用所述濾波器，以執(zhí)行空間變化雙三次內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
27.根據(jù)權(quán)利要求26所述的裝置，其中所述處理器應(yīng)用由以下等式描述的所述濾波器
其中f(x)表示所述經(jīng)比例縮放像素的所述值，s′表示所述偏斜距離，所述相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與所述相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的所述值。
28.根據(jù)權(quán)利要求16所述的裝置，其進一步包括用以顯示經(jīng)比例放大圖像的顯示器，其中所述處理器產(chǎn)生包含所述經(jīng)比例縮放像素的所述值的所述經(jīng)比例放大圖像。
29.一種計算機可讀媒體，其包括用于致使可編程處理器進行以下操作的指令
基于圖像中的相鄰像素的內(nèi)容特征而確定所述圖像中的經(jīng)比例縮放像素的對稱性(A)；
基于所述對稱性A而確定空間變化內(nèi)插濾波器的強度(k)；
基于所述強度(k)而調(diào)節(jié)所述空間變化內(nèi)插濾波器；以及
應(yīng)用所述空間變化內(nèi)插濾波器來內(nèi)插所述經(jīng)比例縮放像素。
30.根據(jù)權(quán)利要求27所述的計算機可讀媒體，其中所述指令致使所述處理器基于所述經(jīng)比例縮放像素的所述對稱性(A)和濾波器響應(yīng)的所述強度(k)來確定偏斜距離(s′)，且基于所述偏斜距離(s′)而調(diào)節(jié)所述空間變化內(nèi)插濾波器。
31.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器根據(jù)以下等式來確定所述經(jīng)比例縮放像素的所述對稱性(A)
A＝(|f(xn+1)-f(xn-1)|-|f(xn+2)-f(xn)|)>>8
其中，所述相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的值。
32.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器確定所述對稱性(A)是否位于多個區(qū)(A0到An)的一者內(nèi)，且將所述強度(k)設(shè)定為多個強度值(k0到kn)中與所述多個區(qū)(A0到An)中所述對稱性(A)所處的一個區(qū)相關(guān)聯(lián)的一個強度值。
33.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器將所述強度(k)選擇性地設(shè)定為等于零，使得所述偏斜距離(s′)等于從所述經(jīng)比例縮放像素到所述相鄰像素的一者的距離(s)，以將所述空間不變內(nèi)插濾波器變換為空間不變內(nèi)插濾波器，且應(yīng)用所述空間不變內(nèi)插濾波器來內(nèi)插所述經(jīng)比例縮放像素。
34.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器基于所述確定的對稱性(A)而存取存儲區(qū)(A0到An)與所述多個強度值(k0到kn)的所述關(guān)聯(lián)的多個數(shù)據(jù)結(jié)構(gòu)中的一者，以檢索所述多個強度值(k0到kn)中的一者，并將所述強度(k)設(shè)定為所述多個強度值(k0到kn)中的所述檢索到的一者。
35.根據(jù)權(quán)利要求34所述的計算機可讀媒體，其中所述指令致使所述處理器基于可用系統(tǒng)資源中的一者或一者以上以及請求所述圖像的應(yīng)用而存取所述多個數(shù)據(jù)結(jié)構(gòu)中的一者。
36.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器確定所述圖像的質(zhì)量，且基于對所述圖像的所述質(zhì)量的所述確定而確定對所述經(jīng)比例縮放像素的所述濾波器響應(yīng)的所述強度(k)。
37.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器根據(jù)以下等式來確定所述偏斜距離(s′)
s′＝s-kAs(s-1)
其中s表示所述經(jīng)比例縮放像素到所述相鄰像素中的一者的所述距離，A表示所述經(jīng)比例縮放像素的所述對稱性，且k表示對所述經(jīng)比例縮放像素的所述濾波器響應(yīng)的所述強度。
38.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器針對根據(jù)RGB顏色格式而編碼的所述圖像的綠色(G)信道確定所述偏斜距離(s′)，且基于針對所述圖像的所述綠色(G)信道而確定的所述偏斜距離(s′)而將所述濾波器應(yīng)用于紅色(R)、綠色(G)和藍(lán)色(B)信道，以執(zhí)行空間變化內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
39.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器針對根據(jù)YCbCr顏色格式而編碼的所述圖像的亮度(Y)信道確定所述偏斜距離(s′)，且基于針對所述亮度(Y)信道而確定的所述偏斜距離(s′)而將所述濾波器應(yīng)用于所述亮度(Y)信道，以執(zhí)行空間變化內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
40.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器基于所述確定的偏斜距離(s′)而應(yīng)用所述濾波器，以執(zhí)行空間變化雙三次內(nèi)插，以便確定所述經(jīng)比例縮放像素的所述值。
41.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其中所述指令致使所述處理器應(yīng)用由以下等式描述的所述濾波器
其中f(x)表示所述經(jīng)比例縮放像素的所述值，s′表示所述偏斜距離，所述相鄰像素包括由xn+1、xn-1、xn+2和xn表示的像素，且f(xn+1)、f(xn-1)、f(xn+2)和f(xn)表示與所述相應(yīng)的像素xn+1、xn-1、xn+2和xn相關(guān)聯(lián)的所述值。
42.根據(jù)權(quán)利要求30所述的計算機可讀媒體，其進一步包括指令，所述指令致使所述處理器產(chǎn)生包含所述經(jīng)比例縮放像素的所述值的經(jīng)比例放大圖像，驅(qū)動顯示裝置以顯示所述經(jīng)比例放大圖像。
43.一種裝置，其包括
用于基于圖像中的相鄰像素的內(nèi)容特征而確定所述圖像中的經(jīng)比例縮放像素的對稱性(A)的裝置；
用于基于所述對稱性A而確定空間變化內(nèi)插濾波器的強度(k)的裝置；
用于基于所述強度(k)而調(diào)節(jié)所述空間變化內(nèi)插濾波器的裝置；以及
用于應(yīng)用所述空間變化內(nèi)插濾波器來內(nèi)插所述經(jīng)比例縮放像素的裝置。
44.根據(jù)權(quán)利要求43所述的裝置，其中所述調(diào)節(jié)裝置包含用于基于所述經(jīng)比例縮放像素的所述對稱性(A)和濾波器響應(yīng)的所述強度(k)來確定偏斜距離(s′)的裝置，以及用于基于所述偏斜距離(s′)而調(diào)節(jié)所述空間變化內(nèi)插濾波器的裝置。
全文摘要
本發(fā)明描述用于圖像比例放大的自適應(yīng)空間變化內(nèi)插(SVI)技術(shù)。在各種實施例中，本發(fā)明中描述的所述內(nèi)插技術(shù)可支持圖像的低復(fù)雜性比例放大，同時促進高圖像質(zhì)量，包含增強的銳度、較高的對比度和較準(zhǔn)確的內(nèi)插。可使用一般化有限脈沖響應(yīng)(FIR)濾波器來應(yīng)用所述內(nèi)插技術(shù)。在一些實施例中，所述內(nèi)插技術(shù)可以是內(nèi)容自適應(yīng)的，以提供更準(zhǔn)確的內(nèi)插，同時抑制與尖銳邊緣相關(guān)聯(lián)的顯著假象。另外，所述內(nèi)插技術(shù)可容易地應(yīng)用于例如以YCbCr(亮度、藍(lán)色色度、紅色色度)和RGB(紅色、綠色、藍(lán)色)兩種格式進行彩色圖像和視頻的比例放大。
文檔編號G06T3/40GK101501725SQ200780029245
公開日2009年8月5日 申請日期2007年8月7日 優(yōu)先權(quán)日2006年8月9日
發(fā)明者毅 梁, 賴京仲, 哈里德·希勒米·埃爾-馬勒赫 申請人:高通股份有限公司