基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)的制作方法
【專利摘要】本發(fā)明公開了基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)，涉及圖像處理方法，具體涉及一種基于視頻多幀內(nèi)容分析的黑洞填充方法。技術(shù)方案是：假設(shè)在這個(gè)視頻段落中含有N幀圖像，它們是帶有黑洞的新視圖，每幅圖像含有已經(jīng)正確分割的K個(gè)物體，即物體分割圖。另外一個(gè)黑洞填補(bǔ)補(bǔ)償區(qū)域定義圖是根據(jù)預(yù)處理計(jì)算并定義了獲得的每個(gè)“黑洞”像素點(diǎn)需要用來自哪個(gè)物體的信息進(jìn)行補(bǔ)償。本發(fā)明解決了傳統(tǒng)的立體圖像生成系統(tǒng)對于其中增生“黑洞”的處理方法，容易造成圖像邊緣模糊、失真等現(xiàn)象；以及造成了物體豎直邊彎曲的現(xiàn)象的問題。
【專利說明】基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理方法，具體涉及一種基于視頻多幀內(nèi)容分析的黑洞填充方法。
【背景技術(shù)】
[0002]傳統(tǒng)的立體圖像生成系統(tǒng)需要傳送左眼視圖和右眼視圖來生成立體圖像?；谏疃刃畔⒌牧Ⅲw圖像生成系統(tǒng)(DIBR)能夠利用彩色圖像及相應(yīng)的深度圖像生成新視點(diǎn)圖像。然而，不同深度的各個(gè)物體在左右視圖圖像上的位移不同，從而決定了在生成的新視點(diǎn)視圖中會出現(xiàn)形狀不規(guī)則，尺寸大小不一的增生“黑洞”。對于其中增生“黑洞”的處理，最簡單的是直接內(nèi)插法，但實(shí)驗(yàn)結(jié)果表明，該方法對大尺寸“洞”的處理效果并不理想，容易造成圖像邊緣模糊、失真等現(xiàn)象。另一種方法是對深度圖像進(jìn)行預(yù)處理。目前應(yīng)用較為廣泛的方法有高斯濾波器法和邊緣濾波法。基于深度圖像的高斯濾波法可以減少新視圖中大尺寸的“黑洞”的數(shù)量，但隨之也造成了物體豎直邊彎曲的現(xiàn)象。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)，本發(fā)明解決了傳統(tǒng)的立體圖像生成系統(tǒng)對于其中增生“黑洞”的處理方法，容易造成圖像邊緣模糊、失真等現(xiàn)象；以及造成了物體豎直邊彎曲的現(xiàn)象的問題。
[0004]為解決上述問題，本發(fā)明采用如下技術(shù)方案:基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)，假設(shè)在這個(gè)視頻段落中含有N幀圖像，它們是帶有黑洞的新視圖，每幅圖像含有已經(jīng)正確分割的K個(gè)物體，即物體分割圖。另外一個(gè)黑洞填補(bǔ)補(bǔ)償區(qū)域定義圖是根據(jù)預(yù)處理計(jì)算并定義了獲得的每個(gè)“黑洞”像素點(diǎn)需要用來自哪個(gè)物體的信息進(jìn)行補(bǔ)償。
[0005]在這個(gè)實(shí)現(xiàn)過程中，需要采用業(yè)界通用的SIFT技術(shù)選在相同物體在2幀圖像之間的匹配像素點(diǎn)，計(jì)算他們的位移并進(jìn)行補(bǔ)償。考慮到噪聲的存在，選取的匹配點(diǎn)還需要通過RANSAC方法的過濾以提高匹配的準(zhǔn)確性。
[0006]對于在圖像Fi中的物體Mj，如果某個(gè)像素點(diǎn)的R/G/B值已經(jīng)存在，則采用當(dāng)前幀中的數(shù)據(jù)，如果不存在，但是在其它幀中存在，則采用加權(quán)平均的方法，來自離Fi越近的像素值具有更高的權(quán)重，從而保證視頻補(bǔ)償中的連續(xù)性。
[0007]本發(fā)明實(shí)現(xiàn)方法該方法的實(shí)現(xiàn)使得右視圖中的很多黑洞均可以通過前后幀的信息得以正確地補(bǔ)償，補(bǔ)償之后的內(nèi)容更加自然，大大地提高了系統(tǒng)的自動化程度。
【專利附圖】

【附圖說明】
[0008]圖1是本發(fā)明流程圖。
【具體實(shí)施方式】
[0009]下面用最佳的實(shí)施例對本發(fā)明做詳細(xì)的說明。[0010]目前業(yè)界幾乎所有的解決方案都是通過單一的，當(dāng)前圖像的內(nèi)容來處理的，其總體效果無論如何都會受到一定的限制。然而，在處理視頻內(nèi)容的時(shí)候，情況就不一樣了。視頻內(nèi)容一般包含有同一場景中的多個(gè)圖像內(nèi)容。隨著相機(jī)的移動或者物體本身的移動，在某一幀被遮擋而需要決定的“黑洞”內(nèi)容，在其它幀可能完整地出現(xiàn)。在這種情況下，我們的技術(shù)團(tuán)隊(duì)設(shè)計(jì)并開發(fā)了一種“基于視頻環(huán)境下多幀圖像內(nèi)容分析的黑洞填充“技術(shù)，該方法不只是從當(dāng)前的圖像幀中去“猜測”黑洞內(nèi)容，通過對圖像內(nèi)各個(gè)物體的運(yùn)動匹配，找到各個(gè)物體在當(dāng)前視頻拍攝角度下的完整內(nèi)容，從而能采用真實(shí)的內(nèi)容進(jìn)行“黑洞”補(bǔ)償。
[0011]如圖1所示，基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)，假設(shè)在這個(gè)視頻段落中含有N幀圖像，它們是帶有黑洞的新視圖，每幅圖像含有已經(jīng)正確分割的K個(gè)物體，即物體分割圖。另外一個(gè)黑洞填補(bǔ)補(bǔ)償區(qū)域定義圖是根據(jù)預(yù)處理計(jì)算并定義了獲得的每個(gè)“黑洞”像素點(diǎn)需要用來自哪個(gè)物體的信息進(jìn)行補(bǔ)償。
[0012]在這個(gè)實(shí)現(xiàn)過程中，需要采用業(yè)界通用的SIFT技術(shù)選在相同物體在2幀圖像之間的匹配像素點(diǎn)，計(jì)算他們的位移并進(jìn)行補(bǔ)償?？紤]到噪聲的存在，選取的匹配點(diǎn)還需要通過RANSAC方法的過濾以提高匹配的準(zhǔn)確性。
[0013]對于在圖像Fi中的物體Mj，如果某個(gè)像素點(diǎn)的R/G/B值已經(jīng)存在，則采用當(dāng)前幀中的數(shù)據(jù)，如果不存在，但是在其它幀中存在，則采用加權(quán)平均的方法，來自離Fi越近的像素值具有更高的權(quán)重，從而保證視頻補(bǔ)償中的連續(xù)性。
[0014]最后應(yīng)說明的是:顯然，上述實(shí)施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非對實(shí)施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實(shí)施方式予以窮舉。而由此所引申出的顯而易見的變化或變動仍處于本發(fā)明的保護(hù)范圍之中。
【權(quán)利要求】
1.基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)，其特征在于，假設(shè)在這個(gè)視頻段落中含有N幀圖像，它們是帶有黑洞的新視圖，每幅圖像含有已經(jīng)正確分割的K個(gè)物體，即物體分割圖。另外一個(gè)黑洞填補(bǔ)補(bǔ)償區(qū)域定義圖是根據(jù)預(yù)處理計(jì)算并定義了獲得的每個(gè)“黑洞”像素點(diǎn)需要用來自哪個(gè)物體的信息進(jìn)行補(bǔ)償。
2.如權(quán)利要求1所述基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)，其特征在于，在這個(gè)實(shí)現(xiàn)過程中，需要采用業(yè)界通用的SIFT技術(shù)選在相同物體在2幀圖像之間的匹配像素點(diǎn)，計(jì)算他們的位移并進(jìn)行補(bǔ)償?？紤]到噪聲的存在，選取的匹配點(diǎn)還需要通過RANSAC方法的過濾以提高匹配的準(zhǔn)確性。
3.如權(quán)利要求1所述基于視頻多幀內(nèi)容分析的黑洞填充技術(shù)，其特征在于，對于在圖像Fi中的物體Mj，如果某個(gè)像素點(diǎn)的R/G/B值已經(jīng)存在，則采用當(dāng)前幀中的數(shù)據(jù)，如果不存在，但是在其它幀中存在，則采用加權(quán)平均的方法，來自離Fi越近的像素值具有更高的權(quán)重,從而保證視頻補(bǔ)償中的連續(xù)性。
【文檔編號】H04N13/00GK103561256SQ201310565932
【公開日】2014年2月5日 申請日期:2013年11月13日 優(yōu)先權(quán)日:2013年11月13日
【發(fā)明者】熊偉華, 范澍斐, 馬燕軍 申請人:江蘇刻維科技信息有限公司