專利名稱：具有接近最佳質(zhì)量的低復(fù)雜度圖像譯碼方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像譯碼領(lǐng)域，特別涉及具有接近最佳質(zhì)量的低復(fù)雜度圖像譯碼方法和系統(tǒng)。
背景技術(shù)：
包含包括文本、音頻、視頻的多種內(nèi)容類型的多媒體為網(wǎng)絡(luò)運營者提供了突出的商業(yè)和收益機會。較高帶寬的可用性和分組交換互聯(lián)網(wǎng)協(xié)議(IP)技術(shù)的使用使得可以傳送更為豐富的內(nèi)容，其包括文本、語音、靜止以及活動圖形、照片、視頻剪貼、音樂的多種組合。為了利用這種市場潛能，網(wǎng)絡(luò)運營者必須滿足客戶的關(guān)于質(zhì)量和可靠性的預(yù)期。服務(wù)器級別的媒體譯碼對于在如今的異構(gòu)網(wǎng)絡(luò)一其由移動終端、蜂窩電話、計算機和其它電子裝置組成——中呈現(xiàn)多媒體應(yīng)用是關(guān)鍵的。媒體的改寫(adaptation)和譯碼必須在服務(wù)提供者級別進(jìn)行，這是因為個體裝置常常是資源受限的，并且很少能夠由自身對媒體進(jìn)行改寫。這對服務(wù)提供者來說是重要問題，因為他們將在未來的幾年中不得不面對非常急劇的通信量增長，該增長遠(yuǎn)遠(yuǎn)超過單從新硬件能夠獲得的加速。例如，多媒體消息傳送服務(wù)提供了服務(wù)器側(cè)的改寫，以便確保終端之間的互操作性。S. Coulombe 禾口 G. Grassel 在 2004 年 7 月 IEEE Communications Magazine (IEEE 通信雜志)，42 卷，7 期，120-1 頁發(fā)表的 “Multimedia adaptation for the multimedia messaging service”(用于多媒體消息傳送服務(wù)的多媒體改寫)中討論了多媒體消息傳送所需要的改寫。由于大多數(shù)通信量涉及JPEG和GIF圖像，所以最頻繁的與圖像有關(guān)的互操作性問題不涉及圖像格式，而是涉及超出接收終端性能的分辨率或文件大小。例如， 某些移動電話的有限的存儲器要求圖像低于特定大小或分辨率，以便得到接收和顯示。另外，圖像的高度和寬度應(yīng)當(dāng)使得其能被具有給定的一組特性的終端適應(yīng)。改變圖像的分辨率或進(jìn)行縮放以滿足終端性能是具有公知解決方案的問題。然而，相對于終端約束的最佳圖像質(zhì)量仍是一項挑戰(zhàn)，因為JPEG中使用的質(zhì)量因子(QF)(或GIF中使用的顏色數(shù))、感知的質(zhì)量和壓縮后的文件大小之間不存在良好建立的關(guān)系。將縮放而不是單純的分辨率改寫作為實現(xiàn)文件大小縮減的附加手段使得該問題更加具有挑戰(zhàn)性。幾項研究已經(jīng)調(diào)查了對于可視內(nèi)容的文件大小(或比特率)縮減這一問題。例子包括Z. Lei和N. D. Georganas在 Proceedings of the IEEE CCECE 2002 (IEEE CCECE 會議文集 200 ，Canadian Conference on Electrical and Computer Engineering 2002 (電子和計算機工程加拿大會議 2002)， 第 2 卷，968-973 頁上的名為 “Accurate bit allocation and rate control for DCT domain video transcoding”(用于DCT域視頻譯碼的精確比特分配和速率控制)的論文、 J. Ridge 在 2003 年 9 月的 Signal Processing Image communication(信號處理圖像通信)，第 18 卷，第 8 期，621-639 頁上發(fā)表的名為 “Efficient transform-domain size and resolution reduction of images”(圖像的有效變換域大小和分辨率降低)的論文以及 V. Ratnakar與V. Ivashin在2001 年5月的名為"File size bounded JPEG transcoder”(文件大小有限制的JPEG代碼轉(zhuǎn)換器)的美國專利US6，233，359。這些研究的結(jié)果顯示，通過對量化參數(shù)進(jìn)行改寫而不是通過縮放，可實現(xiàn)縮小。對于大多數(shù)研究，這是有意義的，因為它們在低比特率視頻的背景下進(jìn)行，其中，分辨率常常被限制在幾種預(yù)定格式。然而，即使在靜止圖片編碼的背景下，縮放作為一種改寫策略，也沒有被考慮。例如，Ridge提供了用于縮放于是縮小JPEG圖像的文件大小的優(yōu)良方法，但沒有組合考慮估計縮放和質(zhì)量降低。這看起來是一個大的缺點，因為使用戶體驗最大化的最佳策略可能是縮小圖片并將之以較高的QF壓縮，而不是簡單地用較低的QF對之進(jìn)行再壓縮。在女王大學(xué)，金斯敦，加拿大，2008 年，Proceedings of the 24th Queen' s Biennial Symposium on Communications (第 24 界女王二年一屆的通信研討會會刊)上發(fā)表的“Computationally efficient algorithms for predicting the file size of JPEG images subject to changes of quality factor and scaling"(用于預(yù)測受到質(zhì)量因子和縮放改變的JPEG圖像的文件大小的計算上有效的算法)中，申請人Meven Pigeon和M6phane Coulombe已經(jīng)提出了估計受到縮放和QF 改變的JPEG圖像的壓縮文件大小的方法。需要注意的是，QF和縮放的幾種組合導(dǎo)致同樣的近似文件大小，帶來了哪種組合將使用戶體驗或圖像質(zhì)量最大化的問題。在討論本發(fā)明如何解決較早時討論的問題之前，給出了對典型的現(xiàn)有技術(shù)譯碼環(huán)境的簡短介紹。JPEG是用于對包含在MMS消息中的圖像進(jìn)行壓縮的普遍技術(shù)。JPEG標(biāo)準(zhǔn)提供了通用圖像壓縮方法。如所公知的那樣，JPEG壓縮是“有損”的，也就是說，壓縮后的圖像不會包含100%的原始圖像中所包含的數(shù)字信息。信息的損失可通過設(shè)置壓縮過程中的質(zhì)量因子受到控制。較低的質(zhì)量因子等價于較高的壓縮，通常帶來較小的圖像文件大小。 相反，較高的質(zhì)量因子帶來較大的圖像文件大小，通常帶來圖像的較高的感知“質(zhì)量”。舉例而言，圖1示出了多媒體消息傳送(MMS)系統(tǒng)體系結(jié)構(gòu)100，其包含起始節(jié)點 102、服務(wù)遞送平臺104、目的地節(jié)點106以及改寫引擎108。起始節(jié)點102能夠通過網(wǎng)絡(luò) “A”110與服務(wù)遞送平臺104通信。類似地，目的地節(jié)點106能夠通過網(wǎng)絡(luò)“B” 112與服務(wù)遞送平臺104通信。網(wǎng)絡(luò)“A”與“B”僅為實例，示出它們以便說明可能的一組連接性，許多其它的配置也是可能的。例如，起始和目的地節(jié)點(102和106)可能夠通過一個網(wǎng)絡(luò)與服務(wù)遞送平臺104通信；起始節(jié)點102可直接連接到服務(wù)遞送平臺104，而沒有中間網(wǎng)絡(luò)等。改寫引擎108可通過鏈路114直接與服務(wù)遞送平臺104相連，如圖1所示，或者， 可通過網(wǎng)絡(luò)與其連接，或者，可被嵌入在服務(wù)遞送平臺104中。在簡化的情況下，起始節(jié)點102可發(fā)送目的地是目的地節(jié)點106的(多媒體)消息。該消息通過網(wǎng)絡(luò)“A”110被轉(zhuǎn)發(fā)到服務(wù)遞送平臺104，消息從服務(wù)遞送平臺104經(jīng)由網(wǎng)絡(luò)“B”112被發(fā)送到目的地節(jié)點106。起始與目的地節(jié)點(102與106)例如可以是無線裝置，網(wǎng)絡(luò)“A”與“B”(110與112)在這種情況下可以是無線網(wǎng)絡(luò)，服務(wù)遞送平臺104可提供多媒體消息轉(zhuǎn)發(fā)服務(wù)。在另一實例中，起始節(jié)點102可以是內(nèi)容提供商的服務(wù)器，其通過數(shù)據(jù)網(wǎng)絡(luò)連接到服務(wù)遞送平臺104。因此，網(wǎng)絡(luò)“A”110可以是互聯(lián)網(wǎng)，而網(wǎng)絡(luò)“B”112可以是服務(wù)于目的地節(jié)點106——其可以是無線裝置——的無線網(wǎng)絡(luò)。在 Stephane Coulombe 禾口 Guido Grassel 的論文“Multimedia Adaptation for the Multimedia Messaging Service”(多媒體消息傳送服務(wù)的多媒體改寫)，IEEE Communications Magazine (IEEE 通信雜志)，第 42 卷，第 7 期，第 120-1 頁，2004 年 7 月中，給出了多媒體消息傳送服務(wù)(MMS)的服務(wù)器側(cè)改寫的概覽。
特別在圖像的情況下，起始節(jié)點102所發(fā)送的消息可包含圖像，特別是JPEG編碼圖像。目的地節(jié)點106的性能可能不包括以其原始格式顯示圖像的能力，例如，由于像素數(shù)——即圖像的分辨率——方面圖像的高度或?qū)挾瘸^目的地節(jié)點106中的顯示裝置或終端的大小或分辨率。為了使目的地節(jié)點106能夠?qū)ζ溥M(jìn)行接收和顯示，在圖像被傳遞到目的地節(jié)點106之前，可在改寫引擎108中的圖像譯碼器116中對其進(jìn)行修改。圖像譯碼器 116對圖像的修改典型地可包括縮放，即改變圖像的分辨率，以及壓縮。因此，工業(yè)中存在對這樣的改進(jìn)的用于圖像譯碼的方法和系統(tǒng)的需求其解決了較早時討論的現(xiàn)有技術(shù)的限制，并將圖像質(zhì)量和譯碼速度考慮在內(nèi)。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種用于具有接近最優(yōu)質(zhì)量的圖像低復(fù)雜度譯碼 (例如包含在MMS消息中的圖像的譯碼)的改進(jìn)方法和系統(tǒng)。一種將輸入圖像譯碼為輸出圖像用于終端上的顯示的方法，包含以下步驟(al) 在譯碼之前，產(chǎn)生數(shù)據(jù)組，數(shù)據(jù)組包含譯碼參數(shù)，譯碼參數(shù)通過對訓(xùn)練圖像組T中的一組訓(xùn)練圖像執(zhí)行最優(yōu)質(zhì)量譯碼以便為每個訓(xùn)練圖像產(chǎn)生最高質(zhì)量已譯碼訓(xùn)練圖像而生成，同時滿足終端的特性；(bl)提取輸入圖像的特征，并獲得終端的特性；(Cl)通過使用在步驟 (bl)中提取的輸入圖像的特征和終端特性，從在步驟(al)中生成的數(shù)據(jù)組中選擇譯碼參數(shù)；以及(dl)通過使用在步驟(Cl)中選擇的譯碼參數(shù)，將輸入圖像譯碼為輸出圖像。步驟(al)包含生成數(shù)據(jù)組，數(shù)據(jù)組包含譯碼參數(shù)，譯碼參數(shù)與終端特性和輸入圖像特征的組合對應(yīng)。步驟(bl)包含提取輸入圖像的特征，輸入圖像特征包括質(zhì)量因子QF(I)，其表征輸入圖像的編碼保真度；圖像文件大小S(I)；圖像寬度W(I)；以及圖像高度H⑴。選擇譯碼參數(shù)的步驟(cl)包含選擇表征輸出圖像編碼保真度的譯碼質(zhì)量因子QFT，以及表征由于譯碼引起的圖像分辨率變化的譯碼縮放因子zT。步驟(al)中生成的數(shù)據(jù)組包含N個多維矩陣，其包含以下中的一個或多個第一矩陣，存儲對于來自訓(xùn)練圖像組T的一個或多個訓(xùn)練圖像子組的平均最優(yōu)質(zhì)量因子QFA，每個QFA都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的QFT的平均；第二矩陣，存儲對于一個或多個訓(xùn)練圖像子組的平均最優(yōu)縮放因子zA，每個zA都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的zT的平均；以及第三矩陣，存儲對于一個或多個訓(xùn)練圖像子組的平均圖像質(zhì)量度量QA，對于相應(yīng)的訓(xùn)練圖像子組，每個QA都被確定為質(zhì)量度量的平均，指示訓(xùn)練圖像與在最優(yōu)質(zhì)量譯碼期間生成的相應(yīng)的最高質(zhì)量已譯碼訓(xùn)練圖像之間的相似度。每個矩陣通過下列索引中的兩個或多個來索引第一索引，指示輸入圖像的質(zhì)量因子QF(I)；第二索引，指示觀看縮放因子zV，其表征由于輸出圖像的觀看條件引起的圖像分辨率變化；以及第三索引，指示最大相對圖像大小“smax”，其表征輸出圖像關(guān)于輸入圖像的相對大小。步驟(al)還包含(a7)選擇QF(I)、zV和"smax"的組合；(a7_i)對于所選擇的zV與“smax”的組合，使用質(zhì)量因子等于QF(I)的訓(xùn)練圖像子組，生成平均最優(yōu)質(zhì)量因子QFA和平均最優(yōu)縮放因子zk ； (a7-ii)在由所選的QF(I)、zV和“smax”的組合索引的位置上，在第一矩陣中存儲QFA，在第二矩陣中存儲zA ；以及(a7-iii)以預(yù)定的間隔改變 0卩(1)、"和“細(xì)狀”，重復(fù)(a7)與(a7-iii)之間的步驟，包括步驟(a7)在內(nèi)，直到已經(jīng)使用 T QF(I)、zV和“smax”的所有組合。該方法包含(a8-i)對于所選的zV和“smax”的組合，使用質(zhì)量因子等于QF(I)的訓(xùn)練圖像子組，生成平均圖像質(zhì)量度量QA，包括對于該訓(xùn)練圖像子組中的每個訓(xùn)練圖像，確定對于最高質(zhì)量已譯碼訓(xùn)練圖像的質(zhì)量度量；以及(a8-ii) 在由所選的QF(I)、zV和“smax”的組合索引的位置上，在第三矩陣中存儲QA ；在步驟(a7) 之后且在步驟(a7_iii)之前執(zhí)行步驟(a8_i)和(a8_ii)。步驟(a7_i)還包含(a9)對于該訓(xùn)練圖像子組中的每個訓(xùn)練圖像，確定產(chǎn)生最高質(zhì)量已譯碼訓(xùn)練圖像的譯碼質(zhì)量因子 QFT和譯碼縮放因子zT ；以及(b9)使用在步驟(a9)中確定的用于訓(xùn)練圖像的譯碼質(zhì)量因子QFT和譯碼縮放因子zT，確定平均最優(yōu)質(zhì)量因子QFA和平均最優(yōu)縮放因子zA。步驟(a9) 還包含(alO)選擇譯碼參數(shù)，譯碼參數(shù)包含譯碼質(zhì)量因子QFT、譯碼縮放因子zT的組合； (alO-i)對于所選的QFT和zT的組合，對訓(xùn)練圖像進(jìn)行譯碼，以便產(chǎn)生經(jīng)過譯碼的訓(xùn)練圖像；(alO-ii)對于在步驟(alO-i)中生成的經(jīng)過譯碼的訓(xùn)練圖像，確定質(zhì)量度量，質(zhì)量度量指示訓(xùn)練圖像和經(jīng)過譯碼的訓(xùn)練圖像之間的相似度；(alO-iii)以預(yù)定的間隔改變QFT和 zT，并重復(fù)(alO)到(alO-iii)之間包括步驟(alO)在內(nèi)的步驟，直到已經(jīng)使用了 QFT和zT 的所有組合；以及(alO-iv)選擇步驟(alO-ii)中產(chǎn)生的最高質(zhì)量度量的QFT和zT。步驟 a-10(i)還包含(all)通過應(yīng)用所選擇的縮放因子zT，對訓(xùn)練圖像進(jìn)行解壓縮和縮放；以及(bll)通過應(yīng)用所選擇的質(zhì)量因子QFT，對在步驟(all)中產(chǎn)生的被解壓縮和縮放的訓(xùn)練圖像進(jìn)行壓縮。步驟(a-lOii)還包含(12a)通過應(yīng)用再度縮放因子zR，對已譯碼訓(xùn)練圖像進(jìn)行解壓縮和縮放，以便產(chǎn)生圖像J’ ； (12b)通過應(yīng)用觀看縮放因子zV，對已譯碼訓(xùn)練圖像進(jìn)行解壓縮和縮放，以便產(chǎn)生圖像L’；以及(12c)通過分別使用圖像J'和L’，生成質(zhì)量度量，其指示訓(xùn)練圖像與已譯碼訓(xùn)練圖像之間的相似度。zR等于zV/zT。步驟12(c)包含，通過使用圖像J’和圖像L’，確定結(jié)構(gòu)相似性(SSIM，Mructural SIMilarity)索引。步驟(a8-i)還包含檢索存儲在第一矩陣中的平均最優(yōu)質(zhì)量因子QFA和存儲在第二矩陣中的平均最優(yōu)縮放因子zA;(al5-i)使用在步驟(al5)中檢索的QFA和zA對訓(xùn)練圖像進(jìn)行譯碼，以便產(chǎn)生已譯碼訓(xùn)練圖像；(al5-ii)判斷已譯碼訓(xùn)練圖像是否滿足終端特性； (al5-iii)以第一與第二矩陣中可用的下一個較小的“smax”值，重復(fù)(al5)到(al5_iii)、 包括步驟(aK)在內(nèi)的步驟，直到已譯碼訓(xùn)練圖像滿足終端特性；以及(bK)確定滿足終端特性的在步驟(al5_i)中生成的已譯碼訓(xùn)練圖像的質(zhì)量度量。步驟(al5_ii)包含判斷已譯碼訓(xùn)練圖像的圖像文件大小是否低于或等于由終端支持的最大圖像文件大小S(D)。步驟 (dl)還包含(al7)使用終端特性以及在步驟(bl)中提取的輸入圖像的特征H(I)、W(I)、 S(I)、QF(I)，確定zV和“SmaX”；(bl7)以在步驟(bl)中檢索的QF(I)以及在步驟(al7) 中確定的zV和smax為索引，檢索存儲在第一矩陣中的平均最優(yōu)質(zhì)量因子QFA，以及存儲在第二矩陣中的平均最優(yōu)縮放因子ZA; (bl7-i)分別將在步驟(bl7)中檢索的QFA和zA用作譯碼質(zhì)量因子QFT和譯碼縮放因子zT，對輸入圖像進(jìn)行譯碼，以產(chǎn)生輸出圖像；(bl7-ii) 檢查輸出圖像是否滿足終端的特性；以及(bl7-iii)以在第一與第二矩陣中可用的下一個較小的“smax”值，重復(fù)(bl7)到(bl7_iii)之間包括步驟(bl7)在內(nèi)的步驟，直到輸出圖像滿足終端特性；以及(cl7)在由與步驟(bl7-i)中生成的滿足終端特性的輸出圖像對應(yīng)的QF(I) ,smax和zV索引的位置上，檢索存儲在第三矩陣中的平均圖像質(zhì)量QA。終端特性包含最大圖像文件大小S(D)、終端寬度W(D)以及終端高度H(D)，步驟(al7)還包含選擇表征輸出圖像的編碼保真度的譯碼質(zhì)量因子QFT以及表征圖像中的變化的譯碼縮放因子zT， 其包含(al8)將zV設(shè)置為(W(D)/W(I))，(H(D)/H(I)))和1中的最小值；以及(bl8)將“smax”設(shè)置為(S(D)/S(I))與1中的最小值。步驟(al)還包含(al9)選擇譯碼參數(shù)，包括譯碼質(zhì)量因子QFT和譯碼縮放因子zT的組合；(al9-i)對于所選擇的QFT和zT的組合，對訓(xùn)練圖像進(jìn)行譯碼，以產(chǎn)生經(jīng)過譯碼的訓(xùn)練圖像；(al9_ii)確定在步驟(al9_i)中生成的已譯碼訓(xùn)練圖像的質(zhì)量度量，其指示訓(xùn)練圖像與已譯碼訓(xùn)練圖像之間的相似度；(al9_iii) 以預(yù)定的間隔改變QFT和zT，并重復(fù)(al9)到(al9_ii)之間包括步驟(al9)在內(nèi)的步驟， 直到已經(jīng)使用了 QFT和ZT的所有組合；以及(al9-iv)選擇在步驟(al9_ii)中產(chǎn)生最高質(zhì)量度量的QFT和zT。步驟a_19(i)還包含(a20)通過應(yīng)用所選擇的縮放因子zT，對訓(xùn)練圖像進(jìn)行解壓縮和縮放；以及0^20)通過應(yīng)用所選擇的質(zhì)量因子QFT，對在步驟(a20)中產(chǎn)生的被解壓縮和縮放的訓(xùn)練圖像進(jìn)行壓縮。步驟(a_19ii)還包含(a21)通過應(yīng)用再度縮放因子zR，對經(jīng)過譯碼的訓(xùn)練圖像進(jìn)行解壓縮和縮放，以便產(chǎn)生圖像J’ ； (b21)通過應(yīng)用觀看縮放因子zV，對經(jīng)過譯碼的訓(xùn)練圖像進(jìn)行解壓縮和縮放，以便產(chǎn)生圖像L’，其中，觀看縮放因子zV表征由于輸出圖像的觀看條件引起的圖像分辨率變化；以及(c21)通過分別使用圖像JlP L’，生成指示訓(xùn)練圖像和已譯碼訓(xùn)練圖像之間的相似度的質(zhì)量度量。zR等于zV/ zT。步驟(c21)包含通過使用圖像J’和圖像L’，確定結(jié)構(gòu)相似性(SSIM)索引。
一種系統(tǒng)，具有處理器和計算機可讀存儲介質(zhì)，用于將輸入圖像譯碼為輸出圖像用于終端上的顯示，該系統(tǒng)包含(a24)訓(xùn)練圖像庫，其被存儲在計算機可讀介質(zhì)上，包含具有訓(xùn)練圖像的訓(xùn)練圖像組T ； (b24)離線數(shù)據(jù)組生成器，包含存儲在計算機可讀存儲介質(zhì)中的計算機可讀指令，在輸入圖像的譯碼之前生成數(shù)據(jù)組，該數(shù)據(jù)組包含譯碼參數(shù)，譯碼參數(shù)由來自訓(xùn)練圖像組T的一組訓(xùn)練圖像的最優(yōu)質(zhì)量譯碼生成，對于每個訓(xùn)練圖像產(chǎn)生最高質(zhì)量已譯碼訓(xùn)練圖像，同時滿足終端的特性；(c24)數(shù)據(jù)組庫，其被存儲在計算機可讀存儲介質(zhì)中，存儲由離線數(shù)據(jù)組生成器(b24)產(chǎn)生的數(shù)據(jù)組；(d24)在線譯碼器，包含存儲在計算機可讀存儲介質(zhì)中的計算機可讀指令，其通過使用終端特性和輸入圖像的特征，從存儲在數(shù)據(jù)組庫(cM)中的數(shù)據(jù)組選擇譯碼參數(shù)，并通過使用所選擇的譯碼參數(shù)，將輸入圖像譯碼為輸出圖像。數(shù)據(jù)組包含與終端特性和輸入圖像特征的組合對應(yīng)的譯碼參數(shù)。譯碼參數(shù)包含譯碼質(zhì)量因子QFT，其表征輸出圖像的編碼保真度；以及譯碼縮放因子zT，其表征由于譯碼產(chǎn)生的圖像分辨率的變化。數(shù)據(jù)組包含N個多維矩陣，其包含下列中的一個或多個第一矩陣，存儲對于來自訓(xùn)練圖像組T的一個或多個訓(xùn)練圖像子組的平均最優(yōu)質(zhì)量因子QFA，每個QFA都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的QFT的平均；第二矩陣，存儲對于一個或多個訓(xùn)練圖像子組的平均最優(yōu)縮放因子ζΑ，每個ζΑ都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的zT的平均；以及第三矩陣，存儲對于一個或多個訓(xùn)練圖像子組的平均圖像質(zhì)量度量 QA，對于相應(yīng)的訓(xùn)練圖像子組，每個QA都被確定為質(zhì)量度量的平均，指示訓(xùn)練圖像與在最優(yōu)質(zhì)量譯碼期間生成的對應(yīng)的最高質(zhì)量已譯碼訓(xùn)練圖像之間的相似度。每個矩陣通過下列索引中的兩個或多個來索引第一索引，指示質(zhì)量因子QF(I)，其表征輸入圖像的編碼保真度；第二索引，指示觀看縮放因子zV，其表征由于輸出圖像觀看條件引起的圖像比辨率變化；以及第三索引，指示最大相對圖像大小“smax”，其表征輸出圖像關(guān)于輸入圖像的相對大小。離線數(shù)據(jù)組生成器0^24)包含(a29)圖像特征提取單元，提取訓(xùn)練圖像組T中的訓(xùn)練圖像的特征；0^29)第一質(zhì)量察覺參數(shù)選擇單元，選擇QFT和zT，并通過使用由圖像特征提取單元04)提取的特征，確定平均最優(yōu)質(zhì)量因子QFA和平均最優(yōu)縮放因子zA ;(c29)譯碼單元，通過使用由第一質(zhì)量察覺參數(shù)選擇單元0^29)選擇的QFT和zT，將訓(xùn)練圖像譯碼為已譯碼訓(xùn)練圖像；以及(d29)質(zhì)量評估單元，對由譯碼單元(c-29)生成的已譯碼訓(xùn)練圖像確定質(zhì)量度量，質(zhì)量度量指示訓(xùn)練圖像和已譯碼訓(xùn)練圖像之間的相似度。第一質(zhì)量察覺參數(shù)選擇單元0^29)還包含計算裝置，用于確定平均圖像質(zhì)量度量QA。譯碼單元(c29)包含(a31)解壓縮與縮放單元，通過將縮放因子zT應(yīng)用到訓(xùn)練圖像，產(chǎn)生經(jīng)過解壓縮和縮放的訓(xùn)練圖像；以及(b31)壓縮單元，通過將譯碼質(zhì)量因子QFT應(yīng)用到經(jīng)過解壓縮和縮放的訓(xùn)練圖像，產(chǎn)生經(jīng)過譯碼的訓(xùn)練圖像。質(zhì)量評估單元(d29)包含(a3》第二解壓縮與縮放單元，通過應(yīng)用再度縮放因子zR，對已譯碼訓(xùn)練圖像進(jìn)行解壓縮和縮放；(b32)第三解壓縮與縮放單元，通過應(yīng)用觀看縮放因子zV，對訓(xùn)練圖像進(jìn)行解壓縮和縮放；以及(c3》質(zhì)量度量計算單元，計算已譯碼訓(xùn)練圖像的質(zhì)量度量。質(zhì)量度量計算單元(c3》包含計算裝置，用于確定指示訓(xùn)練圖像與已譯碼訓(xùn)練圖像之間的相似性的結(jié)構(gòu)相似性(SSIM)索引。在線譯碼器(d24)包含(a34)圖像特征提取單元，提取輸入圖像的特征；(b34)最優(yōu)參數(shù)預(yù)測單元， 通過使用由圖像特征提取單元(a34)提取的輸入圖像特征和終端特性，檢索存儲在第一矩陣中的平均最優(yōu)質(zhì)量因子QFA和存儲在第二矩陣中的平均最優(yōu)縮放因子zA ； (c34)第二質(zhì)量察覺參數(shù)選擇單元，通過使用由最優(yōu)參數(shù)預(yù)測單元(b34)檢索的zA和QFA，確定譯碼質(zhì)量因子QFT和譯碼縮放因子zT，并檢索存儲在第三矩陣中的平均圖像質(zhì)量QA;以及(d34)譯碼單元，通過使用由第二質(zhì)量察覺參數(shù)選擇單元(c34)選擇的QFT和zT，將輸入圖像譯碼為輸出圖像。計算機可讀存儲介質(zhì)，具有在其上存儲的計算機可讀程序代碼指令，當(dāng)由計算機程序執(zhí)行時，執(zhí)行如上面所介紹的方法的步驟。一種系統(tǒng)，具有由通信網(wǎng)絡(luò)連接的多個計算節(jié)點，每個節(jié)點都包含處理器和計算機可讀存儲介質(zhì)，用于將輸入圖像譯碼為用于終端上的顯示的輸出圖像，系統(tǒng)包含(a36) 訓(xùn)練圖像庫，其包含存儲在第一節(jié)點的計算機可讀存儲介質(zhì)上的具有訓(xùn)練圖像的訓(xùn)練圖像組T ； (b36)離線數(shù)據(jù)組生成器，其包含存儲在第二節(jié)點的計算機可讀介質(zhì)上的計算機可讀指令，用于在對輸入圖像進(jìn)行譯碼之前產(chǎn)生數(shù)據(jù)組，數(shù)據(jù)組包含譯碼參數(shù)，譯碼參數(shù)通過來自訓(xùn)練圖像組T的一組訓(xùn)練圖像的最優(yōu)質(zhì)量譯碼生成，對于每個訓(xùn)練圖像產(chǎn)生最高質(zhì)量已譯碼訓(xùn)練圖像，同時滿足終端的特性；(c36)數(shù)據(jù)組庫，在第三節(jié)點的計算機可讀存儲介質(zhì)上存儲由離線數(shù)據(jù)組生成器(b36)產(chǎn)生的數(shù)據(jù)組；以及(d36)在線譯碼器，包含存儲在第四節(jié)點的計算機可讀介質(zhì)上的計算機可讀指令，用于通過使用終端特性和輸入圖像特征，從存儲在數(shù)據(jù)組庫(c36)中的數(shù)據(jù)組選擇譯碼參數(shù)，并使用所選擇的譯碼參數(shù)將輸入圖像譯碼為輸出圖像。該方法中的步驟(bl)包含提取輸入圖像的特征，包括輸入圖像的若干顏色、圖像文件大小s(l)、圖像寬度W(I)以及圖像高度H(I)。因此，提供了改進(jìn)的具有接近最優(yōu)質(zhì)量的低復(fù)雜度圖像譯碼系統(tǒng)和方法。


由下面對實施例的介紹，將會明了本發(fā)明的進(jìn)一步的特征和優(yōu)點，參照附圖并僅僅以舉例的方式介紹實施例，在附圖中圖1示出了現(xiàn)有技術(shù)的多媒體消息傳送系統(tǒng)體系結(jié)構(gòu)100的實例；
圖2示出了根據(jù)本發(fā)明的實施例將輸入圖像譯碼為輸出圖像用于終端上的顯示的系統(tǒng)200 ；圖3顯示出圖2的離線數(shù)據(jù)組生成器204的功能部件；圖4顯示出圖2的在線譯碼器208的功能部件；圖5示出了一流程圖，其用于說明根據(jù)本發(fā)明的實施例用于將輸入圖像譯碼為輸出圖像用于終端上的顯示的方法的步驟；圖6示出了一流程圖，其用于說明圖5的步驟“生成數(shù)據(jù)組”；圖7示出了一流程圖，其用于說明圖6的步驟“計算平均值，QFA和zA” ；圖8示出了一流程圖，其用于說明圖7的步驟“計算最佳QFT和最佳zT，，；圖9示出了一流程圖，其用于說明圖6的步驟“計算平均值QA” ；圖10示出了一流程圖，其用于說明圖9的步驟“計算與所選擇的訓(xùn)練圖像對應(yīng)的質(zhì)量度量”；圖11示出了一流程圖，其用于說明圖5的步驟“由數(shù)據(jù)組選擇譯碼參數(shù)并對輸入圖像進(jìn)行譯碼”；圖12示出了用于說明本發(fā)明的實施例的方法的與80的QF⑴對應(yīng)的第一矩陣的 “片段”(slice)；圖13示出了用于說明本發(fā)明的實施例的方法的與80的QF⑴對應(yīng)的第二矩陣的 “片段”；圖14示出了用于說明本發(fā)明的實施例的方法的與80的QF⑴對應(yīng)的第三矩陣的 “片段”。
具體實施例方式本發(fā)明的重點在于，在JPEG譯碼中將質(zhì)量因子和縮放因子相結(jié)合，以滿足終端的分辨率和圖像文件大小約束，同時，使質(zhì)量度量最大化。便利起見，下面提供本申請使用的術(shù)語表。術(shù)語表H⑶終端高度H⑴輸入圖像的圖像高度QA:訓(xùn)練圖像子組的平均圖像質(zhì)量度量，其被確定為質(zhì)量度量的平均，指示訓(xùn)練圖像子組中在訓(xùn)練圖像和訓(xùn)練圖像最優(yōu)質(zhì)量譯碼過程中生成的相應(yīng)的最高質(zhì)量已譯碼訓(xùn)練圖像之間的相似度QFA:訓(xùn)練圖像子組的平均最優(yōu)質(zhì)量因子，其被確定為訓(xùn)練圖像子組中訓(xùn)練圖像的最優(yōu)質(zhì)量譯碼過程中使用的譯碼質(zhì)量因子(QFT)的平均QF(I)輸入圖像的質(zhì)量因子，其表征輸入圖像的編碼保真度(fidelity)QFT 譯碼質(zhì)量因子，其表征輸出圖像的編碼保真度S⑶終端支持的最大圖像文件大小S(D)S⑴輸入圖像的圖像文件大小smax 最大相對圖像大小，其表征輸出圖像關(guān)于輸入圖像的相對大小SSIM 結(jié)構(gòu)相似性索引功能，其用于比較兩個圖像的相似性
T 圖像訓(xùn)練組WO))終端寬度W⑴輸入圖像的圖像寬度zA 訓(xùn)練圖像子組的平均最優(yōu)縮放因子，其被確定為訓(xùn)練圖像子組中訓(xùn)練圖像的最優(yōu)質(zhì)量譯碼過程中使用的譯碼縮放因子(zT)的平均zT 譯碼縮放因子，其表征由于將輸入圖像譯碼為輸出圖像造成的圖像分辨率變化zV 觀看縮放因子，其表征由于輸出圖像的觀看條件造成的圖像分辨率變化zR 再度縮放因子，其被確定為zV與zT的比將介紹在JPEG圖像譯碼問題的背景下本發(fā)明中使用的符號。I為JPEG壓縮圖像，QF(I), S(I)^ff(I)以及H(I)分別為其質(zhì)量因子、圖像文件大小(壓縮后)、圖像寬度、 圖像高度。注意，將假設(shè) QF 符合 T. Lane、P. Gladstone、L. Ortiz、J. Boucher、L. Crocker、 J.Minguillon、G. Phillips、D. Rossi 和 G. Weijers 于 1998 年在 “The independent JPEG group software release 6b”(獨立JPEG組軟件版本6b)中介紹的獨立JPEG組的定義。 獨立 JPEG 組(IJG)軟件和文檔可見于 http://w驟.iig. org/ 以及 http //www, i jg. org/ files。IJG JPEG代碼為事實(defacto)標(biāo)準(zhǔn)實施方式，因為其被大多數(shù)瀏覽器和圖像觀看器使用，并且是可自由獲取的。經(jīng)過譯碼的圖像被顯示在具有一組特性的終端或裝置上。術(shù)語終端和裝置在本申請中可互換地使用。對于終端或裝置D，特性包括終端支持的最大圖像文件大小S(D)、終端寬度W(D)、終端高度H(D)。令0 < ζ彡1是外觀保留(aspect-preserving)縮放(scaling) 因子，或縮放(zoom)因子。JPEG譯碼操作——表示為τ (I, QFT, zT)——是將由譯碼質(zhì)量因子QFT和譯碼縮放因子zT的應(yīng)用得到的被壓縮圖像返回為JPEG圖像I的函數(shù)，其中，譯碼質(zhì)量因子QFT表征已譯碼圖像的編碼保真度和壓縮激進(jìn)性，因此表征文件大小，譯碼縮放因子zT表征由于譯碼引起的圖像分辨率變化。質(zhì)量因子(在獨立JPEG組的程序庫中以 0——100的量級)控制JPEG編碼器中使用的量化步驟，并影響每個頻率分量的分辨率減小到什么程度。通過使用頻率分量的好的分辨率(小量化步驟)，高質(zhì)量因子在編碼形式上導(dǎo)致圖像的高保真度再現(xiàn)。另一方面，通過使用頻率分量的不佳分辨率(大量化步驟)，低質(zhì)量因子在編碼形式上導(dǎo)致圖像的低保真度再現(xiàn)。通常一概丟棄高頻率分量(圖像細(xì)節(jié))。 較大的質(zhì)量因子將導(dǎo)致較大的已壓縮文件大小。因此，質(zhì)量因子控制壓縮的激進(jìn)度，并最終表征重建的圖像的期望保真度。JPEG譯碼操作τ (I, QFT, zT)被定義為在終端D上可行，如果對于圖像I以及譯碼參數(shù)QFT和ζΤ，滿足由終端特性施加的下列約束的話S( τ (I, QFT, zT)) ^ S(D)ff( τ (I, QFT, zT)) ^ W(D)H( τ (I, QFT，zT)) ( H(D)注意，S⑴、W⑴和H(X)分別指對于函數(shù)τ所產(chǎn)生的已譯碼圖像，圖像大小、圖像高度和圖像寬度。用于將輸入圖像譯碼為輸出圖像以便終端上的顯示的系統(tǒng)200在圖2中顯示。系統(tǒng)200包含訓(xùn)練圖像庫202、離線數(shù)據(jù)組生成器204、數(shù)據(jù)組庫206和在線譯碼器208。在執(zhí)行多媒體圖像的譯碼之前，離線數(shù)據(jù)組生成器204使用存儲在訓(xùn)練圖像庫202中的訓(xùn)練圖像組T，并產(chǎn)生存儲在數(shù)據(jù)組庫206中的數(shù)據(jù)組。T包含多個圖像樣本，其用于生成包含在數(shù)據(jù)組中的譯碼參數(shù)和預(yù)測的圖像質(zhì)量。離線數(shù)據(jù)組生成器204和訓(xùn)練圖像庫202僅僅用于確定數(shù)據(jù)組。一旦數(shù)據(jù)組被生成，僅僅在線譯碼器208用于對MMS消息進(jìn)行處理。在線譯碼器208使用存儲在數(shù)據(jù)組庫206中的數(shù)據(jù)組、終端的特性以及輸入圖像的特征，以選擇將在對MMS消息中的圖像的譯碼中使用的譯碼參數(shù)。本發(fā)明的實施例的系統(tǒng)可包含通用或?qū)Ｓ糜嬎銠C，其具有CPU和計算機可讀介質(zhì)，例如存儲器，或者，作為替代的是，系統(tǒng)可以以固件或固件與專用計算機的組合(例如用于專用計算機的固件)來實現(xiàn)。訓(xùn)練圖像庫202和數(shù)據(jù)組庫206各自被存儲在計算機可讀存儲介質(zhì)中。離線數(shù)據(jù)組生成器204和在線譯碼器208包含存儲在計算機可讀存儲介質(zhì)中的計算機可讀指令。圖3示出了離線數(shù)據(jù)組生成器204的功能部件，圖4示出了在線譯碼器208的功能部件。這些功能部件包含具有固件的單元，或者，作為替代的是，包含存儲在計算機可讀存儲介質(zhì)中的計算機軟件代碼。這些計算機可讀介質(zhì)——其上存有用于執(zhí)行本發(fā)明的實施例的方法的步驟的指令，并構(gòu)成系統(tǒng)200的功能部件——可包括計算機存儲器、DVD、CD-ROM、 軟盤等。或者，系統(tǒng)可具有由通信網(wǎng)絡(luò)連接的多個計算節(jié)點，每個節(jié)點包含處理器和計算機可讀存儲介質(zhì)，用于如下面將要詳細(xì)介紹的那樣將輸入圖像譯碼為用于在終端上顯示的輸出圖像。圖3所示離線數(shù)據(jù)組生成器204包含計算機可讀指令，其被存儲在計算機可讀存儲介質(zhì)內(nèi)，并由處理器執(zhí)行。離線數(shù)據(jù)組生成器204包含圖像特征提取單元302、第一質(zhì)量察覺參數(shù)選擇單元304、譯碼單元306以及質(zhì)量評估單元308。圖像特征提取單元302獲得訓(xùn)練圖像L并提取其特征，特征包括表征訓(xùn)練圖像的編碼保真度的質(zhì)量因子QF(L)、圖像文件大小S(L)、圖像寬度W(L)以及圖像高度H(L)，其被提供給第一質(zhì)量察覺參數(shù)選擇單元304。注意，S(L)是訓(xùn)練圖像編碼期間進(jìn)行的壓縮之后獲得的文件大小，并將被稱為圖像文件大小。除了訓(xùn)練圖像L的特征以外，第一質(zhì)量察覺參數(shù)選擇單元304使用參數(shù)QF(I)、 smax與zV以及由質(zhì)量評估單元308計算的質(zhì)量度量，以及由譯碼單元306產(chǎn)生的經(jīng)過譯碼的訓(xùn)練圖像。zV是觀看縮放因子，其表征由于輸出圖像觀看條件引起的圖像分辨率變化， 而smax表征譯碼后獲得的圖像的相對大小。包含smax的計算在內(nèi)的這些參數(shù)的進(jìn)一步的討論將稍后在本文檔內(nèi)提供。第一質(zhì)量察覺參數(shù)選擇單元304確定與給定的終端特性和訓(xùn)練圖像L的特征對應(yīng)的最優(yōu)譯碼參數(shù)組。最優(yōu)譯碼參數(shù)包含質(zhì)量因子和縮放因子，其對應(yīng)于為訓(xùn)練圖像L產(chǎn)生最高質(zhì)量已譯碼訓(xùn)練圖像的最優(yōu)質(zhì)量譯碼。第一質(zhì)量察覺參數(shù)選擇單元304還為此最高質(zhì)量已譯碼圖像確定質(zhì)量度量。通過對訓(xùn)練圖像組T中的給定訓(xùn)練圖像子組使用這些最優(yōu)譯碼參數(shù)和質(zhì)量度量，可計算關(guān)于該子組的平均最優(yōu)參數(shù)值，包括平均最優(yōu)質(zhì)量因子QFA、平均最優(yōu)縮放因子zA和平均圖像質(zhì)量度量QA。這樣的訓(xùn)練圖像子組可對應(yīng)于例如具有給定質(zhì)量因子的訓(xùn)練圖像。第一質(zhì)量察覺參數(shù)選擇單元304包含一過程或功能，該過程或功能包含計算機可讀指令，其在提供計算裝置的處理器上執(zhí)行，用于確定平均圖像質(zhì)量度量QA和平均最優(yōu)譯碼參數(shù)。第一質(zhì)量察覺參數(shù)選擇單元304使用迭代方法 (下面詳細(xì)討論)，對每次迭代選擇譯碼質(zhì)量因子QFT和譯碼縮放因子zT。來自第一質(zhì)量察覺參數(shù)選擇單元304的zT和QFT由譯碼單元306用于對輸入訓(xùn)練圖像L進(jìn)行處理。譯碼頁
單元306又包含第一解壓縮與縮放單元310和壓縮單元312。第一解壓縮與縮放單元310 接收作為輸入的訓(xùn)練圖像L，并應(yīng)用由第一質(zhì)量察覺參數(shù)選擇單元304產(chǎn)生的zT，以便進(jìn)行訓(xùn)練圖像L的解壓縮和縮放。第一解壓縮與縮放單元310的輸出由壓縮單元312使用，壓縮單元312應(yīng)用由第一質(zhì)量察覺參數(shù)選擇單元304生成的譯碼質(zhì)量因子QFT，以產(chǎn)生經(jīng)過譯碼的訓(xùn)練圖像J，經(jīng)過譯碼的訓(xùn)練圖像J被呈現(xiàn)給質(zhì)量評估單元308的輸入。質(zhì)量評估單元 308包含第二解壓縮與縮放單元314和第三解壓縮與縮放單元318以及質(zhì)量度量計算單元 316。作為譯碼單元306的輸出的經(jīng)過譯碼的訓(xùn)練圖像J以及訓(xùn)練圖像L都在質(zhì)量評價之前被縮放。我們定義將訓(xùn)練圖像L與其已譯碼版本進(jìn)行比較的質(zhì)量度量，關(guān)于觀看縮放因子zV的已譯碼訓(xùn)練圖像J(被使用譯碼縮放因子zT譯碼)將由于輸出圖像的觀看條件引起的圖像分辨率變化表征為QzV (L, J) = SSIM (R (L, ζV)，R (J, zV/zT))其中，SSIM是用于比較兩圖像的相似性的結(jié)構(gòu)相似性索弓丨，并且例如由^10U Wang、Alan Conrad Bovik、Hamid Rahim SheiWi 和 Eero P. Simoncelli 在 2004 年 4 月在 IEEE Transactions on Image Processing(IEEE 圖像處理學(xué)報)第 13 卷第 4 期第 600—612 頁發(fā)表白勺“Image quality assessment :from error visibility to structural similarity”(圖像質(zhì)量評估從誤差可見性到結(jié)構(gòu)相似性)定義。R(I，z)為一算子，其對 I進(jìn)行解壓縮，并使用縮放因子ζ對其進(jìn)行縮放。根據(jù)該定義以及圖3，對于相等的圖像分辨率，應(yīng)當(dāng)滿足下面的公式zV = zT 女 zR其中，zV彡1，因為不想在比較質(zhì)量時增大原始圖像的分辨率，且其中，zT彡1對于滿足終端特性所施加的約束來說是必需的。由觀看縮放因子zV (zT ^zV ^l)控制的輸出圖像的觀看條件在用戶對譯碼操作結(jié)果的感知方面扮演了值得注意的角色。例如，當(dāng)zV =1時，我們比較處于原始輸入訓(xùn)練圖像L的分辨率的圖像，且zR = 1/zT當(dāng)zT < zV < 1時，比較分辨率處于原始訓(xùn)練圖像和經(jīng)過譯碼的訓(xùn)練圖像J的分辨率之間的圖像。質(zhì)量度量計算單元316包含一過程或功能，其包含計算機可讀指令，該指令在處理器上執(zhí)行，因此提供了用于確定SSIM索引的計算裝置。第二解壓縮與縮放單元314 通過使用縮放因子zR對已譯碼訓(xùn)練圖像J進(jìn)行縮放，以產(chǎn)生圖像J’，而第三解壓縮與縮放單元318通過使用觀看縮放因子zV對輸入訓(xùn)練圖像L進(jìn)行縮放，以產(chǎn)生圖像L’。質(zhì)量度量計算單元316取得圖像J’和L’，并使用這兩個圖像確定SSIM索引，以產(chǎn)生被提供給質(zhì)量察覺參數(shù)選擇單元304的質(zhì)量度量QzV (L’，J’)。每個功能部件——離線數(shù)據(jù)組生成器204使用的訓(xùn)練圖像庫202以及離線數(shù)據(jù)組生成器204和在線譯碼器208均使用的數(shù)據(jù)組庫206——都包含計算機存儲介質(zhì)，例如存儲器、盤、DVD、⑶-ROM、軟盤等。作為替代的是，訓(xùn)練圖像庫202和數(shù)據(jù)組庫206可包含具有處理器和計算機存儲介質(zhì)的獨立計算機，處理器執(zhí)行存儲在計算機可讀介質(zhì)中的指令，該計算機通過接口連接到其他系統(tǒng)部件(如圖2所示)。這樣的連接可以是本地的，或者，在用于訓(xùn)練圖像庫202或數(shù)據(jù)組庫206的計算機位于遠(yuǎn)程位置的情況下，可以跨互聯(lián)網(wǎng)。圖4所示的在線譯碼器208包含計算機可讀指令，其被存儲在計算機可讀介質(zhì)中， 并由處理器執(zhí)行。在線譯碼器208包含圖像特征提取單元302、最優(yōu)參數(shù)預(yù)測單元402、第二質(zhì)量察覺參數(shù)選擇單元404以及譯碼單元306。圖像特征提取單元302和譯碼單元306 與離線數(shù)據(jù)組生成器204中使用的完全相同。唯一的區(qū)別在于，我們現(xiàn)在關(guān)心的是來自MMS 消息的輸入圖像的譯碼，這與離線數(shù)據(jù)生成器204的情況下使用的對訓(xùn)練圖像的譯碼形成對比。圖像特征提取單元302提取將被譯碼的輸入圖像I的特征，并將所提取的特征傳送到最優(yōu)參數(shù)預(yù)測單元402和第二質(zhì)量察覺參數(shù)選擇單元404。這些特征包括表征輸入圖像的編碼保真度的質(zhì)量因子QF(I)、圖像文件大小S(I)、圖像寬度W(I)以及圖像高度H(I)。使用輸入圖像的特征，最優(yōu)參數(shù)預(yù)測單元402從存儲在數(shù)據(jù)組庫206中的數(shù)據(jù)組檢索平均最優(yōu)編碼參數(shù)，并將它們傳送到第二質(zhì)量察覺參數(shù)選擇單元404。圖像的譯碼是一迭代過程， 其在已譯碼圖像滿足終端特性所施加的約束的情況下停止。最優(yōu)參數(shù)預(yù)測單元402、第二質(zhì)量察覺參數(shù)選擇單元404和譯碼單元306在此迭代過程中彼此協(xié)作。第二質(zhì)量察覺參數(shù)選擇單元404負(fù)責(zé)生成由譯碼單元306使用的譯碼參數(shù)。第二質(zhì)量察覺參數(shù)選擇單元404 使用由最優(yōu)參數(shù)預(yù)測單元402檢索的信息和由譯碼單元306產(chǎn)生的已譯碼圖像的特性。從最優(yōu)參數(shù)預(yù)測單元402獲得的參數(shù)值被傳送到執(zhí)行譯碼操作的譯碼單元306。已譯碼圖像被轉(zhuǎn)送到第二質(zhì)量察覺參數(shù)選擇單元404，其檢查輸出圖像的大小，以決定迭代是否應(yīng)當(dāng)停止。其將關(guān)于迭代“狀態(tài)”的這一決定傳送到最優(yōu)參數(shù)預(yù)測單元402。如果迭代將繼續(xù)，則最優(yōu)參數(shù)預(yù)測單元402從數(shù)據(jù)組檢索新的譯碼參數(shù)值，并將這些譯碼參數(shù)值轉(zhuǎn)發(fā)到第二質(zhì)量察覺參數(shù)選擇單元404。否則，僅僅從數(shù)據(jù)組檢索輸出圖像的預(yù)測質(zhì)量，并將其轉(zhuǎn)發(fā)給第二質(zhì)量察覺參數(shù)選擇單元404，第二質(zhì)量察覺參數(shù)選擇單元404與輸出圖像(在最后迭代中產(chǎn)生)以及最后迭代中使用的QFT和zT值結(jié)合地輸出此值。輸出圖像被稱為“接近最優(yōu)” 的，因為其由具有這樣的值的譯碼參數(shù)產(chǎn)生該值接近數(shù)據(jù)組中記錄的平均最優(yōu)值。本文檔中將在下面介紹的系統(tǒng)的實驗分析顯示，此“接近最優(yōu)”圖像的質(zhì)量度量確實接近于由最優(yōu)質(zhì)量譯碼獲得的輸出圖像的質(zhì)量度量。在圖5所示流程圖500的幫助下，闡釋用于將輸入圖像編碼為在終端上顯示的輸出圖像的方法的步驟。該方法包含兩個步驟。在輸入圖像的譯碼之前，方框504中介紹的方法的步驟僅僅執(zhí)行一次，而在輸入圖像的譯碼過程中執(zhí)行方框506中介紹的方法的步驟。 注意，當(dāng)被配置為對多媒體流中的圖像進(jìn)行譯碼時，過程可對作為多媒體流一部分的多個輸入圖像繼續(xù)執(zhí)行方框506中的操作。在開始時(502)，過程500使用存儲在訓(xùn)練圖像庫202中的訓(xùn)練圖像組，以生成包含與終端特性和訓(xùn)練圖像特征的多種組合對應(yīng)的平均最優(yōu)譯碼參數(shù)和平均圖像質(zhì)量的數(shù)據(jù)組(方框504)。虛線框表示此操作在進(jìn)行MMS圖像的譯碼操作之前，由離線數(shù)據(jù)組生成器204離線執(zhí)行。在生成數(shù)據(jù)組之后，在MMS消息處理(由在線譯碼器208執(zhí)行)期間，過程500從數(shù)據(jù)組選擇譯碼參數(shù)(方框506)，并對輸入圖像進(jìn)行譯碼。過程500在由方框506 執(zhí)行的操作結(jié)束時結(jié)束并退出(方框508)。在圖6所示流程圖600的幫助下進(jìn)一步闡釋圖5的步驟“生成數(shù)據(jù)組”(方框504)。 過程600的目標(biāo)是，對QF(I) ,smax和zV——其值以固定的間隔變化——的多種組合，生成最優(yōu)譯碼參數(shù)和圖像質(zhì)量。如較早時討論的，參數(shù)smax表征在譯碼后獲得的圖像(例如， 經(jīng)過譯碼的訓(xùn)練圖像和輸出圖像)相對于被譯碼圖像(例如訓(xùn)練圖像或輸入圖像)的大小的相對大小。其被定義為，對于給定的特定終端，譯碼后圖像的最大可接受相對大小，并由下式給出
smax = min ((S (D)/S (I)), 1)其中，I是被譯碼圖像，D是在其上已譯碼圖像將被顯示的終端。在開始時(方框60 ，過程600選擇三個參數(shù)QF (I)、smax和zV的初始組合(方框 604)。接著，過程600對于該組合計算最優(yōu)譯碼參數(shù)QFA和zA的平均值(方框606)。QFA 和zA的值分別被存儲在第一與第二矩陣中(方框608)。第一與第二矩陣中的位置被用于存儲這些值，其中，所述位置由此次迭代中使用的QF(I)、smaX和zV的值索引。接下來計算平均圖像質(zhì)量度量QA，并將其存儲在第三矩陣中由此次迭代中使用的QF(I) ,smax和zV的值索引的位置中(610)。過程600于是檢查是否存在需要考慮的更多的QF(I)、smax和zV 的組合(方框611)。如果是，則過程600從方框611 “是”退出，選擇QF (I)、smax和zV的下一個組合(方框612)，并循環(huán)回到方框606的開始處。否則，過程600從方框611 “否” 退出，并退出(方框614)。在圖7所示流程圖700的幫助下，闡釋圖6的方法步驟“計算平均值、QFA和zA”(方框 606)。在開始時(方框70 ，過程700得到與過程600中選擇的參數(shù)組合對應(yīng)的參數(shù)zV 和smax (方框702)，并再現(xiàn)由終端特性施加的約束。過程700于是準(zhǔn)備好開始對具有質(zhì)量因子QF⑴的訓(xùn)練圖像組T中的每個訓(xùn)練圖像進(jìn)行處理的迭代。來自T的第一訓(xùn)練圖像被存儲在L中(方框704)。注意，存儲在L中的圖像也被稱為圖像L。于是，過程700提取存儲在L中的訓(xùn)練圖像的特征(方框706)并初始化參數(shù)(方框708)，以便計算為滿足終端約束，將用于對存儲在L中的訓(xùn)練圖像進(jìn)行譯碼的QFT和zT的最佳值(方框710)。QFT的最佳值BestQFT和zT的最佳值BestzT是這樣的譯碼參數(shù)其對應(yīng)于訓(xùn)練圖像組T中的訓(xùn)練圖像的最優(yōu)質(zhì)量譯碼，同時滿足下列約束捕獲的終端特性，其中，該最優(yōu)質(zhì)量譯碼產(chǎn)生最高質(zhì)量的已譯碼訓(xùn)練圖像zT ( zVS( τ (L, QFT, zT) ( smaxQFT和zT的這些最佳值被存儲(方框714)，過程700檢查T中是否存在具有等于 QF(I)的質(zhì)量因子的更多的訓(xùn)練圖像(方框716)。如果是這樣，則過程700從方框716“是” 退出，在L中存儲來自T的下一個圖像，并回到方框706的入口(方框712)。否則，過程 700從方框716 “否”退出，由具有等于QF(I)的質(zhì)量因子的訓(xùn)練圖像子組計算平均值QFA 和zA (方框718)，返回這些值(方框720)并退出(方框722)。通過以下面的方式使用訓(xùn)練圖像組T中的訓(xùn)練圖像，計算最優(yōu)譯碼參數(shù)的平均值QFA = (1/Ν) Σ LeTQFI QFTbest (L)且zA = (1/Ν) Σ L e TQFI zTbest (L)其中，TQFI是T的子組，其包含具有等于QF⑴的質(zhì)量因子的訓(xùn)練圖像，N為此子組的基數(shù)，QFTbest (L)和ZTbest (L)是較早時介紹的在過程600的方框614中對第L個訓(xùn)練圖像存儲的BestQFT和BestzT值。注意，在QFA和zA的計算中，可使用替代性迭代過程。在每次迭代期間，代替為每個訓(xùn)練圖像單獨存儲BestQFT和BestzT的是，BestQFT和BestzT的值可以以下面的方式在變量BestQFTacc禾口 BestzTacc中累積
BestQFTacc = BestQFTacc+BestQFTBestzTacc = BestzTacc+BestzT由于N個這樣的BestQFA和BestzT的值被累積QFA = BestQFTacc/NzA = BestzTacc/N在圖8示出的流程圖800的幫助下，進(jìn)一步闡釋圖7中的方法步驟“確定BestQFT 和BestzT” (方框710)。過程800逐步地改變zT和QFT，并生成這些參數(shù)的所有可能的組合，以確定哪個參數(shù)組合對于給定的訓(xùn)練圖像(存儲在L中)帶來已譯碼訓(xùn)練圖像(存儲在J中)的最優(yōu)質(zhì)量。在開始時(方框80 ，通過檢查是否存在更多可行的可用于譯碼的 zT、QFT對，過程800開始迭代(方框804)。注意，為了使這樣的對是可行的，zT應(yīng)當(dāng)小于或等于zV。如果另外的可行的zT、QFT對可用，則過程800從方框804 “是”退出，并得到下一個zT、QFT對(方框806)。給定的訓(xùn)練圖像于是被譯碼為存儲在J中的已譯碼訓(xùn)練圖像 (方框808)。在下面的討論中，經(jīng)過譯碼的訓(xùn)練圖像被稱為J。接下來，檢查已譯碼訓(xùn)練圖像J的大小(方框810)。如果其不滿足smax施加的大小約束，則過程800從方框810“否” 退出，回到方框804的入口。否則，過程從方框810 “是”退出，將zV用作縮放因子，對L中的訓(xùn)練圖像進(jìn)行解壓縮，以產(chǎn)生存儲在L’中且被稱為L’的圖像(方框81幻。在接下來的步驟中，將zR用作縮放因子，過程800對已譯碼訓(xùn)練圖像J進(jìn)行解壓縮，以產(chǎn)生存儲在J’ 中并被稱為J’的圖像(方框814)。于是，過程800通過使用SSIM索引來計算質(zhì)量度量 QzV(L，，J，)(方框816)。QzV(L’，J’)的值越高，已譯碼訓(xùn)練圖像的質(zhì)量就越好。于是，將 QzV(L’，J’ )與存儲在BestQ中的值進(jìn)行比較，BestQ包含到目前為止計算得到的最高質(zhì)量度量(方框818)。如果QzV(L’，J’)高于BestQ，則過程800從方框818 “是”退出，分別在變量BestQ、BestQFT以及BestzT中記錄QzV(L，，J，)、QFT和ζT的值(方框820)，并回到方框804的入口。否則，過程800跳過方框820中的操作，并簡單地回到方框804的入口。 如果方框804中作出的測試返回“假”，則不存在要被檢查的另外的zT、QFT對，并且過程從方框804 “否”退出，返回存儲在BestQ、BestQFT、BestzT中的值(方框822)并退出(方框 824)。在圖9所示流程圖9的幫助下，進(jìn)一步闡釋圖6所示步驟“計算平均值，QA” (方框609)。在開始時(方框902)，過程900從訓(xùn)練圖像組T選擇具有等于QF(I)的質(zhì)量因子的第一圖像(方框904)。接著，累積質(zhì)量度量被初始化為0(方框906)。于是，通過使用確定SSIM索引的功能，過程900計算與所選擇的訓(xùn)練圖像對應(yīng)的質(zhì)量度量(方框908)，并相應(yīng)地更新累積質(zhì)量度量(方框910)。接著，檢查T中是否存在具有質(zhì)量度量QF(I)的更多圖像(方框912)。如果是這樣，則從T選擇具有這樣的質(zhì)量因子的另一圖像(方框918)， 并且過程900回到方框908的入口。否則，過程900從方框912 “否”退出，由累積質(zhì)量度量計算QA的值(方框914)，并退出(方框916)。QA被計算為QA=累積質(zhì)量度量/N其中，N是具有等于QF(I)的質(zhì)量因子的訓(xùn)練圖像子組中的訓(xùn)練圖像數(shù)。在圖10所示流程圖1000的幫助下，進(jìn)一步闡釋圖9的步驟“計算所選擇的訓(xùn)練圖像的質(zhì)量度量”(方框908)。在開始時(方框1002)，由QF⑴、smaX以及zV的值索引的位置，過程1000得到分別存儲在第一與第二矩陣中的QFO和zO的值(方框1004)。接著，確定譯碼參數(shù)QFT被設(shè)置為QFO，zT被設(shè)置為zO (方框1006)。于是，使用這些QFT和zT值對圖像進(jìn)行譯碼(方框1008)。接著，檢查已譯碼訓(xùn)練圖像的文件大小是否對于終端過大 (方框1010)。如果是這樣，則過程1000從方框1010 “是”退出，將smax的值設(shè)置為在第一與第二矩陣中使用的下一個較小值(方框1014)，并回到方框1004的入口。否則，過程從方框1010 “否”退出，通過應(yīng)用用于確定SSIM索引的函數(shù)來計算已譯碼圖像的質(zhì)量度量 (方框1012)并退出(方框1016)。如較早時討論的，為了以相等的分辨率將經(jīng)過譯碼的訓(xùn)練圖像與訓(xùn)練圖像相比較，兩圖像必須被適當(dāng)?shù)乜s放。通過使用zV來縮放訓(xùn)練圖像，而通過使用zR來縮放已譯碼訓(xùn)練圖像，其中τΝ和zR滿足下面的關(guān)系zV = zT 女 zR在圖11所示流程圖1100的幫助下，進(jìn)一步闡釋圖5中的步驟“由數(shù)據(jù)組和譯碼輸入圖像選擇譯碼參數(shù)”(方框506)。在開始時(方框1101)，過程1100獲得終端的特性(方框1102)和輸入圖像的特征(方框1103)接著，以下面的方式計算smax和zV的值(方框 1104)smax = min ((S (D)/S (I)), 1)以及zV = min ((W(D) /W(I)), (H (D)/(HI)), 1)這樣的smax值對應(yīng)于，給定終端D，對于圖像I的最大可接受相對大小，而所選擇的zV帶來終端所支持的最大分辨率。通過從第一與第二矩陣讀取由QF⑴、smax和zV索引的QFO和zO的值(方框 1106)，開始確定譯碼參數(shù)以實現(xiàn)已譯碼圖像的接近最優(yōu)圖像質(zhì)量的迭代。于是，QFT被設(shè)置為QF0，并且zT被設(shè)置為zO(方框1108)。于是，用等于QFT的質(zhì)量因子和縮放因子zT對輸入圖像進(jìn)行譯碼(方框1112)。接下來檢查已譯碼圖像的文件大小(方框1114)。如果該大小太大以至于不能滿足終端特性所施加的約束，則過程1100從方框1114 “是”退出， 識別第一與第二矩陣中下一個smax較小值，回到方框1106的入口。否則，過程1100從方框1114 “否”退出，返回預(yù)測的圖像質(zhì)量、譯碼中使用的QFT和zT的值以及最后經(jīng)過譯碼的圖像(方框1116)并退出(方框1118)。通過將QF(I)、smax和zV用作索引變量，從第三矩陣容易地檢索預(yù)測的圖像質(zhì)量。注意，本發(fā)明實施例的方法的重要特征在于對圖像預(yù)先計算并存儲預(yù)測的質(zhì)量度量。由于確定質(zhì)量度量中使用的SSIM索引計算起來成本巨大，應(yīng)當(dāng)將其預(yù)先計算到陣列中，該陣列的索引是經(jīng)過量化的參數(shù)。這些經(jīng)過量化的參數(shù)包括被量化的zV、被量化的 QF(I)以及被量化的smax。參數(shù)的量化導(dǎo)致彼此接近的參數(shù)值的分組以及將這些參數(shù)值用一個值來表示。為了實現(xiàn)預(yù)先計算，使用圖像訓(xùn)練組T中的圖像。對于T中的每個訓(xùn)練圖像L，使用以固定間隔變化的不同QFT和zT，應(yīng)用大量的變換。記錄得到的對于已譯碼訓(xùn)練圖像的圖像文件大小和質(zhì)量度量。對于每次譯碼，在由觀看縮放因子zV代表的觀看條件下，形成特征矢量t，其包含訓(xùn)練圖像L、QF(L)、W(L)、H(L)、S(L)、QFT、zT、觀看縮放因子 zV、得到的已譯碼訓(xùn)練圖像的文件大小S( τ (L，QFT，zT))以及已譯碼訓(xùn)練圖像的質(zhì)量度量 QzV(L, T(I，QFT, zT))。令所有這些矢量構(gòu)成已譯碼圖像組U?；赟SIM索引，對于經(jīng)過量化的QF(I)、經(jīng)過量化的QFT、經(jīng)過量化的zT和經(jīng)過量化的zV的質(zhì)量預(yù)測由下式給出SSIM-Q= (1/Μ) Σ t e ^ SSIM(R(L(t), zV(t)), R( τ (L(t), QFT(t), zT(t)), (zV/zT)))其中，U’為已譯碼圖像組U中參數(shù)落在量化微元(cell)，經(jīng)過量化的QF(I)、經(jīng)過量化的QFT、經(jīng)過量化的zT和經(jīng)過量化的zV內(nèi)的所有已譯碼訓(xùn)練圖像的子組，M是組U，的基數(shù)，L(t)返回訓(xùn)練圖像L、QFT(t)即譯碼QFT和zT(t)即由矢量t應(yīng)用的譯碼縮放因子。下面提供在圖像譯碼中使用本發(fā)明的實施例的方法和系統(tǒng)的實例。所使用的數(shù)據(jù)組WMeven Pigeon和St6phane Coulombe在女王大學(xué)，金斯敦，加拿大，2008年， Proceedings of the 24th Queen' s Biennial Symposium on Communications ( 24 If· 女王二年一屆的通信研討會會刊)中的"Computationally efficient algorithms for predicting the file size of JPEG images subject to changes of quality factor and scaling"(用于預(yù)測經(jīng)受縮放和質(zhì)量因子改變的JPEG圖像的文件大小的計算有效的算法)中介紹的大量圖像得出。由于從多媒體應(yīng)用采樣的典型JPEG圖像的大型數(shù)據(jù)庫不可用，所以開發(fā)搜尋器(crawler)以便從流行的web站點提取圖像。所組合的訓(xùn)練圖像組包含幾萬個JPEG文件。其中沒有受損的文件，并且所有的元數(shù)據(jù)(EXIF)都被移除。為了生成第一、第二禾口第三矩陣，通過使用可從http//www. imagemagick. org/獲得的"ImageMagick command-line tools” QmageMagick命令行工具)中介紹的hageMagick的命令行工具， 對每個訓(xùn)練圖像執(zhí)行多個譯碼操作。與80的QF(I)對應(yīng)的每個矩陣的“片段”在圖12-14 中示出。這樣的片段是由zV和smax索引的二維矩陣。這些矩陣片段被用在這里提供的實例中。考慮具有S(D) = 30500, W(D) = 640，H(D) = 480 的裝置，以及輸入圖像 I，Lena 具有 S(I) = 43266, W(I) = 512，H(I) = 512 以及 QF(I) = 80關(guān)于圖像Lena的信息可從以下獲得http://sipi.usc.edu/database/database.cgi ？ volume = misc&image = 12http://www. cs. emu. edu/ chuck/lennapg/步驟1 計算 smax = min(30500/43266,1) 0· 7 且zV = min (640/512，480/512，1) = 90%步驟2 使用圖12所示的第一矩陣片段，得到QFT=第一矩陣片段
= 70 (69. 3到參數(shù)分辨率的舍入值)。注意，第一矩陣片段是對應(yīng)于QF(I) =80的二維矩陣。此二維矩陣的行對應(yīng)于smax的值，而列對應(yīng)于zV的值。使用圖13所示的第二矩陣片段，得到zT =第二矩陣片段
= 80%注意，第二矩陣片段是對應(yīng)于QF(I) = 80的二維矩陣。該二維矩陣的行對應(yīng)于 smax的值，而列對應(yīng)于zV的值。步驟3 以等于QFT的質(zhì)量因子和等于zT的縮放因子對圖像進(jìn)行譯碼。在譯碼之后，獲得輸出圖像，其具有相對于輸入圖像的0.53的相對圖像文件大小。步驟4:由于已譯碼圖像滿足終端特性施加在圖像文件大小的約束(0.53 < 0. 70)，進(jìn)行到步驟5。步驟5 返回接近最優(yōu)參數(shù)QFO = 70和z0 = 80%，通過使用這些參數(shù)獲得的輸出圖像，τ (1,70,80%)以及對于已譯碼圖像的預(yù)測圖像質(zhì)量=0.84，其是從圖14所示第三矩陣片段讀取的(第三矩陣片段[
=0. 84]) 0對輸入圖像執(zhí)行最優(yōu)質(zhì)量譯碼導(dǎo)致0. 85的圖像質(zhì)量。因此，對于Lena來說，我們得到具有接近最優(yōu)質(zhì)量的圖像(0.84 vs 0.85，大約1%的誤差)。用大量其它圖像重復(fù)了仿真試驗，每次試驗得到非常小的誤差。本發(fā)明的實施例提供以下優(yōu)點實現(xiàn)了與從輸入圖像的最優(yōu)質(zhì)量譯碼所獲得的接近的高質(zhì)量輸出圖像；譯碼所需時間相比于最優(yōu)質(zhì)量譯碼所需的小得多；由于上述兩個優(yōu)點，在產(chǎn)生類似質(zhì)量的輸出圖像的同時，圖像可保持與最優(yōu)質(zhì)量譯碼系統(tǒng)相比高得多的MMS消息速率；以及故障率——其是對系統(tǒng)不能找到滿足約束的解決方案的頻度的指示——可被設(shè)計為任意希望的低值。盡管已經(jīng)詳細(xì)介紹了本發(fā)明的特定實施例，但是應(yīng)當(dāng)明了，所介紹的實施例是說明性而不是限制性的。在不脫離本發(fā)明的范圍的情況下，在其更為廣泛的方面，可在所附權(quán)利要求的范圍內(nèi)作出多種對說明書所介紹以及附圖所示實施例的修改和變化。例如，可在圖像質(zhì)量測量中使用除本文檔所介紹的SSIM以外的質(zhì)量度量。盡管本文檔所給出的討論主要集中在JPEG圖像上，但是本發(fā)明的實施例的方法和系統(tǒng)可適用于處理以其它格式編碼的數(shù)字圖像，例如圖形交換格式(GIF)和便攜網(wǎng)絡(luò)圖形(PNG)。例如在GIF圖像的情況下，圖像中的顏色數(shù)需要代替本方法和系統(tǒng)中的QF (I)、QFT和QFA使用，以便將輸入圖像譯碼為輸出圖像。盡管已經(jīng)詳細(xì)介紹了本發(fā)明的實施例，但是本領(lǐng)域技術(shù)人員將會明了，在所附權(quán)利要求的范圍內(nèi)，可做出對實施例的修改和變型。
權(quán)利要求
1.一種將輸入圖像譯碼為輸出圖像用于終端上的顯示的方法，包含以下步驟(al)在譯碼之前，生成數(shù)據(jù)組，該數(shù)據(jù)組包含譯碼參數(shù)，所述譯碼參數(shù)通過在訓(xùn)練圖像組T中的一組訓(xùn)練圖像上執(zhí)行最優(yōu)質(zhì)量譯碼以便為每個訓(xùn)練圖像產(chǎn)生最高質(zhì)量譯碼訓(xùn)練圖像、同時滿足終端的特性而生成；(bl)提取輸入圖像的特征，并獲得終端的特性；(cl)通過使用在步驟(bl)中提取的輸入圖像特征和終端特性，從在步驟(al)中生成的數(shù)據(jù)組選擇譯碼參數(shù)；以及(dl)通過使用在步驟(cl)中選擇的譯碼參數(shù)，將輸入圖像譯碼為輸出圖像。
2.根據(jù)權(quán)利要求1的方法，其中，步驟(al)包含生成數(shù)據(jù)組，數(shù)據(jù)組包含譯碼參數(shù)，該譯碼參數(shù)與終端特性以及輸入圖像特征的組合對應(yīng)。
3.根據(jù)權(quán)利要求1或2的方法，其中，步驟(bl)包含提取輸入圖像的特征，輸入圖像的特征包括表征輸入圖像的編碼保真度的質(zhì)量因子QF(I)、圖像文件大小S (I)、圖像寬度 W(I)以及圖像高度H(I)。
4.根據(jù)權(quán)利要求1-3中任意一項的方法，其中，選擇譯碼參數(shù)的步驟(cl)包含選擇表征輸出圖像的編碼保真度的譯碼質(zhì)量因子QFT以及表征由于譯碼引起的圖像分辨率變化的譯碼縮放因子zT。
5.根據(jù)權(quán)利要求1-4中任意一項的方法，其中，在步驟(al)中生成的數(shù)據(jù)組包含N個多維矩陣，其包含下列中的一個或多個第一矩陣，存儲對于來自訓(xùn)練圖像組T的一個或多個訓(xùn)練圖像子組的平均最優(yōu)質(zhì)量因子QFA，每個QFA都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的QFT的平均；第二矩陣，存儲對于一個或多個訓(xùn)練圖像的子組的平均最優(yōu)縮放因子zA，每個zA都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的zT的平均； 以及第三矩陣，存儲對于一個或多個訓(xùn)練圖像子組的平均圖像質(zhì)量度量QA，對于相應(yīng)的訓(xùn)練圖像子組，每個QA都被確定為質(zhì)量度量的平均，指示訓(xùn)練圖像與在最優(yōu)質(zhì)量譯碼期間生成的相應(yīng)的最高質(zhì)量譯碼訓(xùn)練圖像之間的相似度。
6.根據(jù)權(quán)利要求5的方法，其中，每個矩陣都通過下列索引中的兩個或多個來索引 第一索引，指示輸入圖像的質(zhì)量因子QF(I)；第二索引，指示表征由于輸出圖像的觀看條件引起的圖像分辨率變化的觀看縮放因子zV ；第三索引，指示表征輸出圖像關(guān)于輸入圖像的相對大小的最大相對圖像大小“smax”。
7.根據(jù)權(quán)利要求6的方法，其中，步驟(al)還包含 (a7)選擇 QF(I)、zV 和"smax"的組合；(a7-i)對于所選擇的zV與“smax”的組合，使用質(zhì)量因子等于QF(I)的訓(xùn)練圖像的子組，生成平均最優(yōu)質(zhì)量因子QFA和平均最優(yōu)縮放因子zA ；(a7-ii)在由QF(I)、zV和“smax”的所選組合索引的位置上，在第一矩陣中存儲QFA， 在第二矩陣中存儲zA ；以及(a7-iii)以預(yù)定的間隔改變0 (1)、"和“細(xì)狀”，重復(fù)(a7)與(a7_iii)之間包括步驟(a7)在內(nèi)的步驟、，直到已經(jīng)使用了 QF(I)、zV和“smax”的所有組合。
8.根據(jù)權(quán)利要求7的方法，包含(a8-i)對于zV和“smax”的所選組合，使用質(zhì)量因子等于QF(I)的訓(xùn)練圖像的子組，生成平均圖像質(zhì)量度量QA，包括對于該訓(xùn)練圖像子組中的每個訓(xùn)練圖像確定對于最高質(zhì)量譯碼訓(xùn)練圖像的質(zhì)量度量；以及(a8-ii)在由QF(I)、zV和“smax”的所選組合索引的位置上，在第三矩陣中存儲QA ； 在步驟(a7)之后且在步驟(a7_iii)之前執(zhí)行步驟(a8_i)和(a8_ii)。
9.根據(jù)權(quán)利要求7或8的方法，其中，步驟(a7-i)還包含(a9)對于該訓(xùn)練圖像子組中的每個訓(xùn)練圖像，確定產(chǎn)生最高質(zhì)量譯碼訓(xùn)練圖像的譯碼質(zhì)量因子QFT和譯碼縮放因子zT ；以及(b9)使用在步驟(a9)中確定的用于訓(xùn)練圖像的譯碼質(zhì)量因子QFT和譯碼縮放因子 zT，確定平均最優(yōu)質(zhì)量因子QFA和平均最優(yōu)縮放因子zL·
10.根據(jù)權(quán)利要求9的方法，其中，步驟(a9)還包含(alO)選擇譯碼參數(shù)，譯碼參數(shù)包含譯碼質(zhì)量因子QFT與譯碼縮放因子zT的組合； (alO-i)對于QFT和zT的所選組合，對訓(xùn)練圖像進(jìn)行譯碼，以便產(chǎn)生已譯碼訓(xùn)練圖像； (alO-ii)對于在步驟(alO-i)中生成的已譯碼訓(xùn)練圖像確定質(zhì)量度量，質(zhì)量度量指示訓(xùn)練圖像和已譯碼訓(xùn)練圖像之間的相似度；(alO-iii)以預(yù)定的間隔改變QFT和zT，并重復(fù)(alO)到(alO-iii)包括步驟(alO) 在內(nèi)的步驟，直到已經(jīng)使用了 QFT和zT的所有組合；以及(alO-iv)選擇步驟(alO-ii)中產(chǎn)生最高質(zhì)量度量的QFT和zT。
11.根據(jù)權(quán)利要求10的方法，其中，步驟(a-10i)還包含(all)通過應(yīng)用所選擇的縮放因子zT，對訓(xùn)練圖像進(jìn)行解壓縮和縮放； (bll)通過應(yīng)用所選擇的質(zhì)量因子QFT，對在步驟(all)中產(chǎn)生的被解壓縮和縮放的訓(xùn)練圖像進(jìn)行壓縮。
12.根據(jù)權(quán)利要求10或11的方法，其中，步驟(a-lOii)還包含(12a)通過應(yīng)用再度縮放因子zR，對已譯碼訓(xùn)練圖像進(jìn)行解壓縮和縮放，以便產(chǎn)生圖像J，；(12b)通過應(yīng)用觀看縮放因子zV，對已譯碼訓(xùn)練圖像進(jìn)行解壓縮和縮放，以便產(chǎn)生圖像L’ ；以及(12c)通過分別使用圖像J'和L’，生成質(zhì)量度量，其指示訓(xùn)練圖像與已譯碼訓(xùn)練圖像之間的相似度。
13.根據(jù)權(quán)利要求12的方法，其中，zR等于zV/zT，且其中，步驟12(c)包含，通過使用圖像J’和圖像L’，確定結(jié)構(gòu)相似性(SSIM)索引。
14.根據(jù)權(quán)利要求8-13中任意一項的方法，其中，步驟(a8-i)還包含(al5)檢索存儲在第一矩陣中的平均最優(yōu)質(zhì)量因子QFA和存儲在第二矩陣中的平均最優(yōu)縮放因子zA ；(al5-i)使用在步驟(al5)中檢索的QFA和zA對訓(xùn)練圖像進(jìn)行譯碼，以便產(chǎn)生已譯碼訓(xùn)練圖像；(al5-ii)判斷已譯碼訓(xùn)練圖像是否滿足終端特性；(al5-iii)以第一與第二矩陣中可用的下一個較小的“smax”值，重復(fù)(al5)到 (al5-iii)包括步驟(aM)在內(nèi)的步驟，直到已譯碼訓(xùn)練圖像滿足終端特性；以及(bl5)確定滿足終端特性的在步驟(al5_i)中生成的已譯碼訓(xùn)練圖像的質(zhì)量度量。
15.根據(jù)權(quán)利要求6-14中任意一項的方法，其中，步驟(dl)還包含(al7)使用終端特性以及在步驟(bl)中提取的輸入圖像的特征H(I)、W(I)、S(I)、 和 “smax”;(bl7)以在步驟(bl)中檢索的QF⑴以及在步驟(al7)中確定的zV和smax為索引， 檢索存儲在第一矩陣中的平均最優(yōu)質(zhì)量因子QFA，以及存儲在第二矩陣中的平均最優(yōu)縮放因子ZA;(bl7-i)分別將在步驟(bl7)中檢索的QFA和zA用作譯碼質(zhì)量因子QFT和譯碼縮放因子zT，對輸入圖像進(jìn)行譯碼，以產(chǎn)生輸出圖像； (bl7-ii)檢查輸出圖像是否滿足終端的特性；(bl7-iii)以在第一與第二矩陣中可用的下一個較小的“smax”值，重復(fù)(bl7)到 (bl7-iii)之間包括步驟(bl7)在內(nèi)的步驟，直到輸出圖像滿足終端特性；以及(cl7)在由與步驟(bl7-i)中生成的滿足終端特性的輸出圖像對應(yīng)的QF(I)、smax和 zV索引的位置上，檢索存儲在第三矩陣中的平均圖像質(zhì)量QA。
16.根據(jù)權(quán)利要求6-15中任意一項的方法，其中，終端特性包含最大圖像文件大小 S(D)、終端寬度W(D)以及終端高度H(D)，該方法還包含(al8)將zV設(shè)置為(W (D)/W (I)), (H (D)/H (I)))和1中的最小值；以及 (bl8)將“smax”設(shè)置為(S(D)/S(I))與1中的最小值。
17.一種具有處理器和計算機可讀存儲介質(zhì)的系統(tǒng)，用于將輸入圖像編碼為用于終端上的顯示的輸出圖像，該系統(tǒng)包含(a24)存儲在計算機可讀介質(zhì)中的訓(xùn)練圖像庫，其包含具有訓(xùn)練圖像的訓(xùn)練圖像組T ； (b24)離線數(shù)據(jù)組生成器，包含存儲在計算機可讀存儲介質(zhì)中的計算機可讀指令，在輸入圖像的譯碼之前生成數(shù)據(jù)組，該數(shù)據(jù)組包含譯碼參數(shù)，譯碼參數(shù)由來自訓(xùn)練圖像組T的一組訓(xùn)練圖像的最優(yōu)質(zhì)量譯碼生成，對于每個訓(xùn)練圖像產(chǎn)生最高質(zhì)量譯碼訓(xùn)練圖像，同時滿足終端的特性；(c24)數(shù)據(jù)組庫，其存儲在計算機可讀存儲介質(zhì)中，存儲由離線數(shù)據(jù)組生成器0^24)產(chǎn)生的數(shù)據(jù)組；以及(d24)在線譯碼器，包含存儲在計算機可讀存儲介質(zhì)中的計算機可讀指令，其通過使用終端特性和輸入圖像的特征，從存儲在數(shù)據(jù)組庫(cM)中的數(shù)據(jù)組選擇譯碼參數(shù)，并通過使用所選擇的譯碼參數(shù)將輸入圖像譯碼為輸出圖像。
18.根據(jù)權(quán)利要求17的系統(tǒng)，其中，數(shù)據(jù)組包含與終端特性及輸入圖像特征的組合對應(yīng)的譯碼參數(shù)；并且其中，譯碼參數(shù)包含譯碼質(zhì)量因子QFT，其表征輸出圖像的編碼保真度；譯碼縮放因子zT，其表征由于譯碼引起的圖像分辨率變化。
19.根據(jù)權(quán)利要求18的系統(tǒng)，其中，數(shù)據(jù)組包含N個多維矩陣，其包括下列中的一個或多個第一矩陣，存儲對于來自訓(xùn)練圖像組T的一個或多個訓(xùn)練圖像子組的平均最優(yōu)質(zhì)量因子QFA，每個QFA都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的QFT的平均；第二矩陣，存儲對于一個或多個訓(xùn)練圖像子組的平均最優(yōu)縮放因子zA，每個zA都被確定為在對相應(yīng)的訓(xùn)練圖像子組中的訓(xùn)練圖像進(jìn)行最優(yōu)質(zhì)量譯碼期間使用的zT的平均；以及第三矩陣，存儲對于一個或多個訓(xùn)練圖像子組的平均圖像質(zhì)量度量QA，對于相應(yīng)的訓(xùn)練圖像子組，每個QA都被確定為質(zhì)量度量的平均，指示訓(xùn)練圖像與在最優(yōu)質(zhì)量譯碼期間生成的對應(yīng)的最高質(zhì)量譯碼訓(xùn)練圖像之間的相似度。
20.根據(jù)權(quán)利要求19的系統(tǒng)，其中，每個矩陣通過下列索引中的兩個或多個來索引 第一索引，指示表征輸入圖像的編碼保真度的質(zhì)量因子QF(I)；第二索引，指示表征由于輸出圖像的觀看條件引起的圖像分辨率變化的觀看縮放因子 zV;以及第三索引，指示表征輸出圖像關(guān)于輸入圖像的相對大小的最大相對圖像大小“smax”。
21.根據(jù)權(quán)利要求17-20中任意一項的系統(tǒng)，其中，離線數(shù)據(jù)組生成器0^24)包含 (a29)圖像特征提取單元，提取訓(xùn)練圖像組T中的訓(xùn)練圖像的特征；(b29)第一質(zhì)量察覺參數(shù)選擇單元，選擇QFT和zT，并通過使用由圖像特征提取單元 (24)提取的特征，確定平均最優(yōu)質(zhì)量因子QFA和平均最優(yōu)縮放因子zA ；(c29)譯碼單元，通過使用由第一質(zhì)量察覺參數(shù)選擇單元0^29)選擇的QFT和zT，將訓(xùn)練圖像譯碼為譯碼訓(xùn)練圖像；以及(d29)質(zhì)量評估單元，對于由譯碼單元(c-29)生成的已譯碼訓(xùn)練圖像確定質(zhì)量度量， 質(zhì)量度量指示訓(xùn)練圖像和已譯碼訓(xùn)練圖像之間的相似度。
22.根據(jù)權(quán)利要求21的系統(tǒng)，其中，譯碼單元(c29)包含(a31)解壓縮與縮放單元，通過將縮放因子zT應(yīng)用到訓(xùn)練圖像，產(chǎn)生經(jīng)過解壓縮和縮放的訓(xùn)練圖像；以及(b31)壓縮單元，通過將譯碼質(zhì)量因子QFT應(yīng)用到被解壓縮和縮放的訓(xùn)練圖像，產(chǎn)生已譯碼訓(xùn)練圖像。
23.根據(jù)權(quán)利要求21或22的系統(tǒng)，其中，質(zhì)量評估單元(d29)包含(a32)第二解壓縮與縮放單元，通過應(yīng)用再度縮放因子zR，對已譯碼訓(xùn)練圖像進(jìn)行解壓縮和縮放；(b32)第三解壓縮與縮放單元，通過應(yīng)用觀看縮放因子zV，對訓(xùn)練圖像進(jìn)行解壓縮和縮放；以及(c32)質(zhì)量度量計算單元，計算已譯碼訓(xùn)練圖像的質(zhì)量度量
24.根據(jù)權(quán)利要求23的系統(tǒng)，其中，質(zhì)量度量計算單元(c32)包含計算裝置，用于確定指示訓(xùn)練圖像與已譯碼訓(xùn)練圖像之間的相似性的結(jié)構(gòu)相似性(SSIM)索引。
25.一種計算機可讀存儲介質(zhì)，具有在其上存儲的計算機可讀程序代碼指令，當(dāng)由計算機執(zhí)行時，執(zhí)行如權(quán)利要求1-16中任意一項所述方法的步驟。
全文摘要
提出了一種方法和系統(tǒng)，其用于圖像的具有接近最優(yōu)質(zhì)量的低復(fù)雜度譯碼，以便顯示在終端上。在譯碼之前生成有效的譯碼參數(shù)，并基于輸入圖像特征和終端特性來檢索譯碼參數(shù)，實現(xiàn)與最優(yōu)質(zhì)量譯碼所產(chǎn)生的接近的輸出圖像質(zhì)量。處理時間相比于最優(yōu)質(zhì)量譯碼所需的處理時間要小得多。
文檔編號G06T9/00GK102246209SQ200880132296
公開日2011年11月16日 申請日期2008年12月23日 優(yōu)先權(quán)日2008年12月12日
發(fā)明者S·庫隆布, S·皮金 申請人:高等技術(shù)學(xué)校