從原始圖像的低質(zhì)量版本和摘要構(gòu)建原始圖像的估計(jì)的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明一般地涉及借助于原始圖像的低質(zhì)量版本和摘要(epitome)進(jìn)行圖像的構(gòu) 建。
【背景技術(shù)】
[0002] 該部分意在向讀者介紹可能與以下描述和/或要求的本發(fā)明的各個(gè)方面有關(guān)的現(xiàn) 有技術(shù)的各個(gè)方面。該討論被認(rèn)為有助于向讀者提供背景信息以促進(jìn)對(duì)本發(fā)明的各個(gè)方面 的更好理解。因此，應(yīng)當(dāng)理解，要從這個(gè)角度來(lái)閱讀這些陳述，而不是作為對(duì)現(xiàn)有技術(shù)的承 認(rèn)。
[0003] 摘要是包含圖像的紋理特性的本質(zhì)的圖像(或視頻)信號(hào)的濃縮(因式分解)表示。
[0004] 圖像由其摘要和賦值(assignation)映射進(jìn)行描述。摘要包括來(lái)源于該圖像的一 組圖表(chart)。賦值映射對(duì)于圖像的每個(gè)塊指示紋理摘要中的哪個(gè)補(bǔ)片(patch)用于該塊 的構(gòu)建。在編碼上下文中，摘要需要與賦值映射一起存儲(chǔ)和/或傳送（S. Cher igui， C.Guillemot，D.Thoreau，P.Guillotel和P.Perez，"Epitome-based image compression using translational sub-pixel mapping"，IEEE MMSP 2011)〇
[0005] 已經(jīng)提出了不同形式的摘要，諸如高"完整性"的圖像概要(D.Simak〇v，Y.Caspi， Ε· Shechtman，M. Irani，"Summarizing visual data using bidirectional similarity'，， 計(jì)算機(jī)視覺(jué)與模式識(shí)別，CVPR 2008)或者從靜止圖像補(bǔ)片學(xué)習(xí)的基于補(bǔ)片的概率模型 (N. Jojic等，"Epitomic analysis of appearance and shape"，IEEE國(guó)際計(jì)算機(jī)視覺(jué)大會(huì) (ICCV'03)，第34-41頁(yè)，2003)或者從取自輸入視頻的時(shí)空紋理立方體學(xué)習(xí)的基于補(bǔ)片的概 率模型(V. Cheung，B，J.Frey和N. Jojic，"Video Epitomes"，國(guó)際計(jì)算機(jī)視覺(jué)雜志，第76卷， 第2期，2008年2月）。這些概率模型連同適當(dāng)?shù)耐茢嗨惴ǎ瑢?duì)于繪畫(huà)中或者超分辨率內(nèi)容分 析是有用的。
[0006] 另一族方法是利用計(jì)算機(jī)視覺(jué)技術(shù)，諸如KLT跟蹤算法，以便恢復(fù)圖像內(nèi)和跨圖像 的自相似性（H.Wang，Y.Wexler，E.Ofek，H.Hoppe，"Factoringrepeatedcontentwithin and among images"，美國(guó)計(jì)算機(jī)學(xué)會(huì)圖形學(xué)報(bào)，SIGGRAPH 2008)〇
[0007] 并行地，另一類(lèi)型的方法已經(jīng)在（M.Aharon和M.Elad，"Sparse and Redundant Modeling of Image Content Using an Image-Signature-Dictionary"，SIAM J.成像科 學(xué)，第1卷，第3期，第228-247頁(yè)，2008年7月）中進(jìn)行介紹，其目的在于使用稀疏編碼和字典 學(xué)習(xí)從圖像提取類(lèi)似摘要的簽名。
[0008] 基于圖像摘要的幀內(nèi)預(yù)測(cè)方法已經(jīng)在(A.Efros，T.Leung，"Texture synthesis by non-parametrie sampling"，國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)，第1033-1038頁(yè)，1999)中進(jìn)行介紹， 其中通過(guò)模板匹配從圖像摘要生成對(duì)于每個(gè)塊的預(yù)測(cè)?；谝曨l摘要分析的幀內(nèi)編碼方法 也在（Q.Wang，R.Hu，Z.Wang，"IntracodinginH.264/AVCbyimageepitome"，PCM 2009)中提出，其中使用由圖像摘要的長(zhǎng)度和寬度所決定的固定長(zhǎng)度碼來(lái)編碼變換映射(匹 配矢量）。這兩個(gè)方法所使用的摘要圖像是基于具有金字塔方法的EM(期望最大化)算法。
[0009] 這種摘要圖像保留了原始圖像的全局紋理和形狀特征，但是引入了不期望的視覺(jué) 偽像(例如，輸入圖像中不存在的附加補(bǔ)片）。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明以一種用于從原始圖像的低質(zhì)量版本和摘要構(gòu)建原始圖像的估計(jì)的方法 來(lái)糾正現(xiàn)有技術(shù)的某些缺點(diǎn)，該方法限制原始圖像的構(gòu)建的估計(jì)中不期望的偽像。
[0011] 更確切地，該方法獲得包括至少一個(gè)補(bǔ)片對(duì)的字典，每一個(gè)補(bǔ)片對(duì)包括被稱(chēng)為第 一補(bǔ)片的摘要的補(bǔ)片和被稱(chēng)為第二補(bǔ)片的原始圖像的低質(zhì)量版本的補(bǔ)片。通過(guò)原地匹配來(lái) 自摘要的補(bǔ)片和來(lái)自低質(zhì)量圖像的補(bǔ)片來(lái)對(duì)于摘要的每一補(bǔ)片提取補(bǔ)片對(duì)。
[0012] 接下來(lái)，對(duì)于原始圖像的低質(zhì)量版本的每一補(bǔ)片，該方法在補(bǔ)片對(duì)的字典內(nèi)選擇 至少一個(gè)補(bǔ)片對(duì)，根據(jù)涉及原始圖像的低質(zhì)量版本的補(bǔ)片和所選擇的補(bǔ)片對(duì)的第二補(bǔ)片的 準(zhǔn)則來(lái)選擇每一個(gè)補(bǔ)片對(duì)。
[0013] 然后，該方法根據(jù)所述至少一個(gè)所選擇的補(bǔ)片對(duì)獲得映射函數(shù)，使用該映射函數(shù) 將原始圖像的低質(zhì)量版本的補(bǔ)片投影為最終補(bǔ)片。
[0014] 根據(jù)變型，當(dāng)最終補(bǔ)片在一個(gè)像素中彼此重疊時(shí)，該方法進(jìn)一步將一個(gè)像素中的 最終補(bǔ)片進(jìn)行平均，以給出原始圖像的估計(jì)的像素值。
[0015] 根據(jù)實(shí)施例，所述至少一個(gè)所選擇的補(bǔ)片對(duì)是原始圖像的低質(zhì)量版本的補(bǔ)片的最 近鄰。
[0016] 根據(jù)實(shí)施例，通過(guò)從所述至少一個(gè)所選擇的補(bǔ)片對(duì)進(jìn)行學(xué)習(xí)來(lái)獲得映射函數(shù)。
[0017] 根據(jù)實(shí)施例，學(xué)習(xí)映射函數(shù)被定義為使得所述至少一個(gè)所選擇的補(bǔ)片對(duì)的第一補(bǔ) 片與第二補(bǔ)片之間的最小平方誤差最小化。
[0018] 根據(jù)實(shí)施例，原始圖像的低質(zhì)量版本是具有原始圖像的分辨率的圖像。
[0019] 根據(jù)實(shí)施例，如下獲得原始圖像的低質(zhì)量版本：
[0020] -生成原始圖像的低分辨率版本，
[0021 ]-編碼圖像的低分辨率版本，
[0022] -解碼圖像的低分辨率版本，以及
[0023] -對(duì)已解碼的圖像的低分辨率版本進(jìn)行內(nèi)插，以便得到具有與原始圖像的分辨率 相同的分辨率的原始圖像的低質(zhì)量版本。
[0024] 根據(jù)實(shí)施例，從原始圖像獲得摘要。
[0025] 根據(jù)實(shí)施例，從原始圖像的低分辨率版本獲得摘要。
[0026] 根據(jù)其各方面之一，本發(fā)明涉及一種用于從原始圖像的低質(zhì)量版本和根據(jù)圖像計(jì) 算的摘要構(gòu)建原始圖像的估計(jì)的裝置。該裝置的特征在于其包括用于以下的部件：
[0027] -獲得包括至少一個(gè)補(bǔ)片對(duì)的字典，每一個(gè)補(bǔ)片對(duì)包括被稱(chēng)為第一補(bǔ)片的摘要的 補(bǔ)片和被稱(chēng)為第二補(bǔ)片的原始圖像的低質(zhì)量版本的補(bǔ)片，通過(guò)原地匹配來(lái)自摘要的補(bǔ)片和 來(lái)自低質(zhì)量圖像的補(bǔ)片來(lái)對(duì)于摘要的每一補(bǔ)片提取補(bǔ)片對(duì)，
[0028] -對(duì)于原始圖像的低質(zhì)量版本的每一補(bǔ)片，在補(bǔ)片對(duì)的字典內(nèi)選擇至少一個(gè)補(bǔ)片 對(duì)，根據(jù)涉及原始圖像的低質(zhì)量版本的補(bǔ)片和所選擇的補(bǔ)片對(duì)的第二補(bǔ)片的準(zhǔn)則來(lái)選擇每 一個(gè)補(bǔ)片對(duì)，
[0029] -根據(jù)至少一個(gè)所選擇的補(bǔ)片對(duì)獲得映射函數(shù)，
[0030] -使用該映射函數(shù)將原始圖像的低質(zhì)量版本的補(bǔ)片投影為最終補(bǔ)片。
[0031] 本發(fā)明的特定性質(zhì)以及本發(fā)明的其它目的、優(yōu)點(diǎn)、特征和使用，將從結(jié)合附圖做出 的優(yōu)選實(shí)施例的以下描述中變得明顯。
【附圖說(shuō)明】
[0032] 將參考以下附圖描述實(shí)施例：
[0033]-圖1示出了用于從原始圖像的低質(zhì)量版本和根據(jù)圖像計(jì)算的摘要構(gòu)建原始圖像 的估計(jì)的方法的步驟的圖；
[0034] -圖2示出了關(guān)于圖1所描述的方法的實(shí)施例的步驟的圖；
[0035] -圖2_(2)示出了關(guān)于圖1所描述的方法的實(shí)施例的變型的步驟的圖；
[0036] -圖2_(3)示出了關(guān)于圖1所描述的方法的實(shí)施例的另一變型的步驟的圖；
[0037] -圖3圖示用于從圖像獲得摘要的步驟的實(shí)施例；
[0038] -圖4示出了在傳輸上下文中的編碼/解碼方案的示例；
[0039] -圖5示出了實(shí)現(xiàn)用于構(gòu)建原始圖像的估計(jì)的方法的實(shí)施例的編碼/解碼方案的示 例的步驟的圖；
[0040] -圖6示出了圖5的編碼/解碼方案的變型的步驟的圖；
[0041] -圖7示出了設(shè)備的架構(gòu)的示例。
【具體實(shí)施方式】
[0042] 將在參考其中示出了本發(fā)明的實(shí)施例的附圖之后在此更完全地描述本發(fā)明。然 而，本發(fā)明可以體現(xiàn)在許多替換形式中并且不應(yīng)當(dāng)被看作為限于在此提出的實(shí)施例。因此， 雖然本發(fā)明易經(jīng)歷各種修改和替代形式，在圖中通過(guò)示例的方式示出具體實(shí)施例，并且在 此將詳細(xì)描述這些具體實(shí)施例。然而應(yīng)當(dāng)理解的是，不意圖將本發(fā)明限于公開(kāi)的特定形式， 而是相反地，本發(fā)明意圖覆蓋落入如權(quán)利要求所限定的本發(fā)明的精神和保護(hù)范圍內(nèi)的所有 修改、等效和替換。相同的附圖標(biāo)記涉及貫穿【附圖說(shuō)明】的相同的元件。