圖像修補(bǔ)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理領(lǐng)域，尤其設(shè)及一種圖像修補(bǔ)方法及系統(tǒng)。
【背景技術(shù)】
[0002] 圖像修復(fù)技術(shù)是指針對(duì)數(shù)字圖像中遺失或者損壞的部分，利用未被損壞的圖像信 息，按照一定的規(guī)則填補(bǔ)，W使得修復(fù)后的圖像接近或達(dá)到原圖的視覺效果。
[0003] 圖像修復(fù)是一個(gè)解不唯一的問(wèn)題，其合理性取決于人的視覺系統(tǒng)的接受程度。圖 像修復(fù)的本質(zhì)就是從視覺認(rèn)知的角度出發(fā)，對(duì)圖像建立準(zhǔn)確的分析模型，合理的轉(zhuǎn)化視覺 認(rèn)知規(guī)則，然后通過(guò)相應(yīng)的修復(fù)技術(shù)實(shí)現(xiàn)。圖像修復(fù)的方法通常利用信息缺損區(qū)域周圍已 知的色彩信息沿邊界向內(nèi)進(jìn)行推進(jìn)區(qū)域填充，為了保證良好的圖像填充效果和圖像的整體 性，在進(jìn)行推進(jìn)填充的過(guò)程中應(yīng)努力保持等照度線的平滑過(guò)渡。
[0004] 發(fā)表于2004年IE邸 IYansactions on Image Processing第9卷第13期1200頁(yè)的 文南犬《Re邑ion fillin邑 and object removal by exemplar-based image inpaintin邑》提 出了一種基于紋理合成技術(shù)的圖像修復(fù)方法，其核屯、是由等照度線驅(qū)動(dòng)的圖像修復(fù)方法， 主要分為填充區(qū)域像素點(diǎn)優(yōu)先級(jí)計(jì)算及紋理匹配、合成兩步，兩步反復(fù)迭代來(lái)完成破損區(qū) 域的修復(fù)。
[0005] 文南犬《Region filling and object removal by exemplar-based image i噸ainting》提出的方法在紋理匹配過(guò)程中使用了SSD(sum of absolute differences)準(zhǔn) 貝IJ，W及整幅圖像全捜索機(jī)制，算法計(jì)算代價(jià)高，響應(yīng)速度慢，無(wú)法滿足實(shí)時(shí)需要。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明各實(shí)施例提供一種圖像修補(bǔ)方法及系統(tǒng)，用于解決現(xiàn)有技術(shù)中圖像修補(bǔ)過(guò) 程中由于運(yùn)算復(fù)雜，而導(dǎo)致的系統(tǒng)資源占用過(guò)大的問(wèn)題。
[0007] 基于上述目的，本發(fā)明提供一種圖像修補(bǔ)方法，包括:基于預(yù)設(shè)的圖像塊的尺寸， 將所獲取的由待修補(bǔ)區(qū)域和多個(gè)完整區(qū)域構(gòu)成的圖像信息進(jìn)行分塊，得到由完整區(qū)域中的 像素點(diǎn)構(gòu)成的第一圖像塊、和包含待修補(bǔ)區(qū)域中的像素點(diǎn)的第二圖像塊，并降低所述圖像 信息的分辨率;根據(jù)各所述第二圖像塊中待修補(bǔ)像素點(diǎn)的數(shù)量、和/或各所述第二圖像塊中 所包含的物體邊緣，確定各所述第二圖像塊的優(yōu)先級(jí);在降低分辨率后的圖像信息中，計(jì)算 各第一圖像塊與優(yōu)先級(jí)最高的第二圖像塊之間的匹配度，并選擇匹配度符合預(yù)設(shè)匹配條件 的第一圖像塊所屬的至少一個(gè)完整區(qū)域;在未降低分辨率的圖像信息中，計(jì)算所選擇的各 完整區(qū)域中的各第一圖像塊與優(yōu)先級(jí)最高的第二圖像塊的匹配度，選擇匹配度最高的第一 圖像塊來(lái)修補(bǔ)所述優(yōu)先級(jí)最高的第二圖像塊;重復(fù)上述步驟，逐步修補(bǔ)未降低分辨率的圖 像信息中的待修補(bǔ)區(qū)域。
[000引優(yōu)選地，所述降低圖像信息的分辨率的方式包括:按照預(yù)設(shè)的分辨率等級(jí)，將所述 圖像信息的分辨率予W降低，并得到對(duì)應(yīng)各分辨率等級(jí)的圖像信息;對(duì)應(yīng)的，所述在降低分 辨率后的圖像信息中，計(jì)算各第一圖像塊與優(yōu)先級(jí)最高的第二圖像塊之間的匹配度，并選 擇匹配度符合預(yù)設(shè)匹配條件的第一圖像塊所屬的至少一個(gè)完整區(qū)域的方式包括:在分辨率 等級(jí)最低的圖像信息中，計(jì)算各第一圖像塊與優(yōu)先級(jí)最高的第二圖像塊之間的匹配度，并 選擇匹配度符合預(yù)設(shè)匹配條件的第一圖像塊所屬的至少一個(gè)完整區(qū)域;逐級(jí)提高分辨率等 級(jí)，在當(dāng)前分辨率等級(jí)的圖像信息中的、對(duì)應(yīng)前一級(jí)所得到所有完整區(qū)域中，計(jì)算各第一 圖像塊與優(yōu)先級(jí)最高的第二圖像塊之間的匹配度，并選擇匹配度符合預(yù)設(shè)匹配條件的第一 圖像塊所屬的至少一個(gè)完整區(qū)域，直至提高到未降低分辨率的圖像信息。
[0009] 優(yōu)選地，所述計(jì)算各第一圖像塊與優(yōu)先級(jí)最高的第二圖像塊之間的匹配度，并選 擇匹配度符合預(yù)設(shè)匹配條件的第一圖像塊所屬的至少一個(gè)完整區(qū)域的方式包括:計(jì)算所述 優(yōu)先級(jí)最高的第二圖像塊U的像素點(diǎn)之和Ru;采用SAD準(zhǔn)則，遍歷的計(jì)算每個(gè)第一圖像塊V與 優(yōu)先級(jí)最高的第二圖像塊U之間的匹配度SADk<u'v\ W及計(jì)算第k個(gè)第一圖像塊V的像素點(diǎn)之 和Mk(m，n);判斷所得到的當(dāng)前的匹配度SADk<u'v\第一圖像塊的像素點(diǎn)之和Mk(m，n)是否滿 足W下公式：
[0010] Ru-SADtu'v; <Mk(m，n) ^Ru+SADtu'v;
[ocm]若是，則W當(dāng)前得到的匹配度SADk<u'v館新所述公式中的匹配度SADfu^并暫存當(dāng) 前的匹配度及所對(duì)應(yīng)的第一圖像塊;若否，則將當(dāng)前的第一圖像塊予W濾除;按照匹配度由 高到低的順序，將暫存的各第一圖像塊予W排序，并選擇匹配度高的若干第一圖像塊所屬 的至少一個(gè)完整區(qū)域。
[0012] 優(yōu)選地，所述選擇匹配度最高的第一圖像塊，來(lái)修補(bǔ)所述優(yōu)先級(jí)最高的第二圖像 塊的方式包括:用所選擇的匹配度最高的第一圖像塊，來(lái)替換優(yōu)先級(jí)最高的第二圖像塊。
[0013] 優(yōu)選地，所述重復(fù)上述步驟，逐步修補(bǔ)未降低分辨率的圖像信息中的待修補(bǔ)區(qū)域 的方式包括:將修補(bǔ)后的圖像信息重新分塊，得到新的各所述第一圖像塊和第二圖像塊，并 基于重新分塊后的各第一圖像塊和第二圖像塊執(zhí)行后續(xù)步驟。
[0014] 基于上述目的，本發(fā)明還提供一種圖像修補(bǔ)系統(tǒng)，包括:預(yù)處理模塊，用于基于預(yù) 設(shè)的圖像塊的尺寸，將所獲取的由待修補(bǔ)區(qū)域和多個(gè)完整區(qū)域構(gòu)成的圖像信息進(jìn)行分塊， 得到由完整區(qū)域中的像素點(diǎn)構(gòu)成的第一圖像塊、和包含待修補(bǔ)區(qū)域中的像素點(diǎn)的第二圖像 塊，并降低所述圖像信息的分辨率;優(yōu)選級(jí)確定模塊，用于根據(jù)各所述第二圖像塊中待修補(bǔ) 像素點(diǎn)的數(shù)量、和/或各所述第二圖像塊中所包含的物體邊緣，確定各所述第二圖像塊的優(yōu) 先級(jí);篩選模塊，用于在降低分辨率后的圖像信息中，計(jì)算各第一圖像塊與優(yōu)先級(jí)最高的第 二圖像塊之間的匹配度，并選擇匹配度符合預(yù)設(shè)匹配條件的第一圖像塊所屬的至少一個(gè)完 整區(qū)域;修補(bǔ)模塊，用于在未降低分辨率的圖像信息中，計(jì)算所選擇的各完整區(qū)域中的各第 一圖像塊與優(yōu)先級(jí)最高的第二圖像塊的匹配度，選擇匹配度最高的第一圖像塊來(lái)修補(bǔ)所述 優(yōu)先級(jí)最高的第二圖像塊;重復(fù)執(zhí)行上述各模塊，逐步修補(bǔ)未降低分辨率的圖像信息中的 待修補(bǔ)區(qū)域。
[0015] 優(yōu)選地，所述預(yù)處理模塊用于按照預(yù)設(shè)的分辨率等級(jí)，將所述圖像信息的分辨率 予W降低，并得到對(duì)應(yīng)各分辨率等級(jí)的圖像信息;對(duì)應(yīng)的，所述篩選模塊用于在分辨率等級(jí) 最低的圖像信息中，計(jì)算各第一圖像塊與優(yōu)先級(jí)最高的第二圖像塊之間的匹配度，并選擇 匹配度符合預(yù)設(shè)匹配條件的第一圖像塊所屬的至少一個(gè)完整區(qū)域;逐級(jí)提高分辨率等級(jí)， 在當(dāng)前分辨率等級(jí)的圖像信息中的、對(duì)應(yīng)前一級(jí)所得到所有完整區(qū)域中，計(jì)算各第一圖像 塊與優(yōu)先級(jí)最高的第二圖像塊之間的匹配度，并選擇匹配度符合預(yù)設(shè)匹配條件的第一圖像 塊所屬的至少一個(gè)完整區(qū)域，直至提高到未降低分辨率的圖像信息。
[0016] 優(yōu)選地，所述篩選模塊用于計(jì)算所述優(yōu)先級(jí)最高的第二圖像塊U的像素點(diǎn)之和Ru; 采用SAD準(zhǔn)則，遍歷的計(jì)算每個(gè)第一圖像塊V與優(yōu)先級(jí)最高的第二圖像塊U之間的匹配度 5八〇1^<"''\^及計(jì)算第4個(gè)第一圖像塊乂的像素點(diǎn)之和11^(111，11);判斷所得到的當(dāng)前的匹配度 SADk<u'v\第一圖像塊的像素點(diǎn)之和Mk(m，n)是否滿足W下公式：
[0017] Ru-SADtu'v; <Mk(m，n) ^Ru+SADtu'v;
[001引若是，則W當(dāng)前得到的匹配度SADkfu'v;更新所述公式中的匹配度SADfu'^，并暫存當(dāng) 前的匹配度及所對(duì)應(yīng)的第一圖像塊;若否，則將當(dāng)前的第一圖像塊予W濾除;按照匹配度由 高到低的順序，將暫存的各第一圖像塊予W排序，并選擇匹配度高的若干第一圖像塊所屬 的至少一個(gè)完整區(qū)域。
[0019] 優(yōu)選地，所述修補(bǔ)模塊用于用所選擇的匹配度最高的第一圖像塊，來(lái)替換優(yōu)先級(jí) 最高的第二圖像塊。
[0020] 優(yōu)選地，所述預(yù)處理模塊還用于將修補(bǔ)后的圖像信息重新分塊，得到新的各所述 第一圖像塊和第二圖像塊，并基于重新分塊后的各第一圖像塊和第二圖像塊啟動(dòng)優(yōu)先級(jí)確 定模塊、篩選模塊和修補(bǔ)模塊。
[0021] 如上所述，本發(fā)明的圖像修補(bǔ)方法及系統(tǒng)，具有W下有益效果:通過(guò)對(duì)原始分辨率 的圖像信息進(jìn)行降分辨率，并在降分辨率中篩選與第二圖像塊的匹配度最高的完整區(qū)域， 再?gòu)膶?duì)應(yīng)到原始分辨率的圖像信息中的完整區(qū)域中選取一個(gè)與第二圖像塊匹配度最高的 第一圖像塊，并進(jìn)行修補(bǔ)的方式