專利名稱：重建圖像的自相似紋理區(qū)域的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明在重建自相似紋理圖像區(qū)域的領(lǐng)域內(nèi)做出。
背景技術(shù)：
圖像中的自相似紋理區(qū)域引起編碼中，特別是但不僅僅在高分辨率編碼中的高比特率，而同時(shí)只引起觀眾有限的興趣。觀眾的興趣只集中在這些情況下的區(qū)域:該區(qū)域在結(jié)構(gòu)或亮度上顯示出不連續(xù)。原則上，紋理的自相似性允許通過(guò)只對(duì)該紋理區(qū)域的樣本部分進(jìn)行編碼來(lái)降低比特率并且通過(guò)復(fù)制該樣本部分的像素來(lái)重建該紋理區(qū)域的其它未編碼部分的像素。重建也被稱為合成。例如，L1-YiWei 和 Marc Levoy《Fast texture synthesis usingtree-structured vector quantization〉〉(2000 年，Proc.0f the27th annual conferenceon Computer graphics and interactive techniques(SIGGRAPH，00), ACM 出版社 /Addison-Wesley出版紐約公司，美國(guó)，紐約，第479-488頁(yè))提出了一種基于像素的重建方案，其中，紋理區(qū)域的一部分基于逐個(gè)像素選擇的過(guò)程進(jìn)行重建。對(duì)用于重建給定的未編碼像素的樣本像素的選擇可以基于給定的未編碼像素的鄰域與候選樣本像素中樣本像素的鄰域的最大相似性。

發(fā)明內(nèi)容
樣本像素的選擇取決于用于選擇的鄰域的尺寸。不同的鄰域尺寸可能會(huì)導(dǎo)致用于對(duì)相同的未編碼像素進(jìn)行重建的不同的樣本像素。大于紋理的特征尺寸的鄰域原則上適合很好地再現(xiàn)該紋理，但為了實(shí)際以良好的視覺(jué)質(zhì)量再現(xiàn)該紋理，需要較大的樣本部分。小于紋理的特征尺寸的鄰域?qū)е螺^差的再現(xiàn)。因此，理想的是提供自適應(yīng)地選擇接近紋理的特征尺寸的鄰域尺寸的用于重建圖像的自相似紋理區(qū)域的方法和設(shè)備。因此，發(fā)明者提出了如權(quán)利要求1所述的方法和如權(quán)利要求3所述的設(shè)備。所述方法包括:通過(guò)復(fù)制來(lái)自所述自相似紋理區(qū)域的樣本部分的樣本像素來(lái)確定所述自相似紋理區(qū)域的一部分的像素，使用鄰域匹配來(lái)選擇所述樣本像素，其中，基于對(duì)根據(jù)所述樣本部分不同尺寸的塊的DCT變換的系數(shù)計(jì)算得到的描述符的分析，選擇用于匹配的鄰域的尺寸。在一個(gè)實(shí)施例中，所述方法進(jìn)一步包括接收在其中對(duì)自相似紋理區(qū)域的樣本部分進(jìn)行編碼的比特流和對(duì)所述樣本部分進(jìn)行解碼的步驟。在所述方法的進(jìn)一步實(shí)施例中，通過(guò)下列步驟自適應(yīng)地選擇用于匹配的鄰域的尺寸:確定在不同尺寸的塊中的每一個(gè)上應(yīng)用DCT變換的系數(shù)；對(duì)所述不同尺寸的塊中的每一個(gè)，確定相關(guān)聯(lián)的描述符序列，其中，通過(guò)使用沿平行路徑求和的系數(shù)的總和來(lái)確定每個(gè)描述符；選擇作為不單調(diào)下降的序列中與最小的塊尺寸相關(guān)聯(lián)的序列的描述符序列；以及使用與確定的序列相關(guān)聯(lián)的不同尺寸的塊的尺寸來(lái)確定鄰域的尺寸。
所述設(shè)備包括處理設(shè)備。處理設(shè)備適用于通過(guò)從所述自相似紋理區(qū)域的樣本部分復(fù)制樣本像素確定所述自相似紋理區(qū)域的其它部分的像素，使用鄰域匹配來(lái)選擇所述樣本像素，其中，所述處理設(shè)備適用于使用對(duì)根據(jù)所述樣本部分不同尺寸的塊的DCT變換的系數(shù)計(jì)算得到的描述符序列的分析，選擇用于匹配的若干鄰域的尺寸。在一個(gè)實(shí)施例中，所述設(shè)備還包括接收器和解碼器。接收器適于接收在其中對(duì)自相似紋理區(qū)域的樣本部分進(jìn)行編碼的比特流并且解碼器適于對(duì)所述樣本部分進(jìn)行解碼。在用于確定合適的樣本部分的尺寸和/或用于確定未編碼部分的尺寸或兩者兼有的編碼設(shè)備上，也可以應(yīng)用本發(fā)明的思想。如果在編碼器側(cè)應(yīng)用，所選擇的鄰域尺寸可以進(jìn)一步被發(fā)送到解碼器。


本發(fā)明的示例性實(shí)施例在附圖中示出并在下面的說(shuō)明中更詳細(xì)地描述。解釋該示例性實(shí)施例僅用于闡明本發(fā)明，但不限制在權(quán)利要求中定義的本發(fā)明的公開、范圍或精神。附圖中:圖1示出覆蓋有示例性平行路徑的8X8的塊的示例性DCT變換；圖2示出由Wei和Lehoy提出的基本的現(xiàn)有技術(shù)的基于像素的重建方案；圖3示出不同尺寸的塊的示例性描述符曲線；圖4示出更多的不同尺寸的塊的示例性描述符曲線；圖5示出示例性基于紋理重建的編碼-解碼框架，以及圖6示出其它示例性平行路徑。
具體實(shí)施例方式
定義為靜態(tài)區(qū)域的紋理，可以從圖案在不同的位置重新復(fù)制(磚墻)的規(guī)則的或近似規(guī)則的紋理到隨機(jī)噪聲紋理(沙地，草地……)變化。本發(fā)明提出了一種新的可以應(yīng)用在自動(dòng)自適應(yīng)算法和圖像/視頻壓縮方案的計(jì)算機(jī)圖形領(lǐng)域的特征步驟。本發(fā)明是基于對(duì)描述符的研究，該描述符是從圖1中示出的8X8的塊的2D離散余弦變換(DCT)系數(shù)計(jì)算得到的。計(jì)算自相似紋理圖像區(qū)域的塊的DCT系數(shù)后，根據(jù)被以DC系數(shù)為中心的平行路徑穿過(guò)的AC系數(shù)(例如示例性地示于圖1的以DC系數(shù)為中心的圓形線)計(jì)算描述符向量分量。該描述符向量分量對(duì)應(yīng)于被這些平行路徑穿過(guò)的系數(shù)的總和。這個(gè)和可以通過(guò)對(duì)對(duì)等距離的平行路徑進(jìn)行計(jì)算得到。并且，這個(gè)和可以包括求和系數(shù)的加權(quán)因子，這些加權(quán)因子依賴于穿過(guò)相應(yīng)系數(shù)的路徑部分的長(zhǎng)度。然后，必須對(duì)至少兩個(gè)尺寸進(jìn)行測(cè)試以通過(guò)研究描述符向量的變化來(lái)選擇較佳的一個(gè)。DCT系數(shù)從下面計(jì)算得到:. 2 r-1'.1 (2τ +1 } κ、 ^ i 2.Y +1) /λ 'lC, (f,i): —αμL/(.υ.y) mi ~~ cos ~
!\ ζΛ.j 、J其中I (χ, y)對(duì)應(yīng)位置(χ, y)處的亮度值，N是支持塊(support block)的大小，a k按下面計(jì)算:
權(quán)利要求
1.一種用于重建圖像的自相似紋理區(qū)域的方法，所述方法包括以下步驟: 通過(guò)復(fù)制來(lái)自所述自相似紋理區(qū)域的樣本部分的樣本像素來(lái)確定所述自相似紋理區(qū)域的一部分的像素，使用鄰域匹配來(lái)選擇所述樣本像素，其中，基于對(duì)根據(jù)所述樣本部分不同尺寸的塊的DCT變換的系數(shù)計(jì)算得到的描述符的分析，選擇用于匹配的鄰域的尺寸。
2.如權(quán)利要求1所述的方法，其中，所述方法進(jìn)一步包括以下步驟: 接收在其中對(duì)所述樣本部分進(jìn)行編碼的比特流，以及 對(duì)所述樣本部分進(jìn)行解碼。
3.如權(quán)利要求1或2所述的方法，其中，通過(guò)如下步驟自適應(yīng)地選擇用于匹配的鄰域的尺寸: 通過(guò)在不同尺寸的塊中的每一個(gè)上應(yīng)用DCT變換以確定系數(shù)， 對(duì)所述不同尺寸的塊中的每一個(gè)，確定相關(guān)聯(lián)的描述符序列，其中，通過(guò)使用沿平行路徑求和的系數(shù)的總和來(lái)確定每個(gè)描述符， 選擇作為不單調(diào)下降的序列中與最小的塊尺寸相關(guān)聯(lián)的序列的描述符序列以及 使用與所選的序列相關(guān)聯(lián)的不同尺寸的塊的尺寸來(lái)確定鄰域的尺寸。
4.一種用于重建圖像的自相似紋理區(qū)域的設(shè)備，所述設(shè)備包括: 處理設(shè)備，適用于通過(guò)從所述 自相似紋理區(qū)域的樣本部分復(fù)制樣本像素確定所述自相似紋理區(qū)域的一部分的像素，使用鄰域匹配來(lái)選擇所述樣本像素，其中，所述處理設(shè)備適用于使用對(duì)根據(jù)所述樣本部分不同尺寸的塊的DCT變換的系數(shù)計(jì)算得到的描述符序列的分析，選擇用于匹配的若干鄰域的尺寸。
5.如權(quán)利要求4所述的設(shè)備，所述設(shè)備進(jìn)一步包括: 接收器，用于接收在其中對(duì)所述樣本部分進(jìn)行編碼的比特流，以及 解碼器，用于對(duì)所述樣本部分進(jìn)行解碼。
全文摘要
本發(fā)明提出一種用于重建圖像的自相似紋理區(qū)域的方法。所述方法包括通過(guò)復(fù)制來(lái)自所述自相似紋理區(qū)域的樣本部分的樣本像素來(lái)確定所述自相似紋理區(qū)域的一部分的像素，使用鄰域匹配來(lái)選擇所述樣本像素，其中，基于對(duì)根據(jù)所述樣本部分不同尺寸的塊的DCT變換的系數(shù)計(jì)算得到的描述符的分析，選擇用于匹配的鄰域的尺寸。所述對(duì)根據(jù)所述樣本部分不同尺寸的塊的DCT變換的系數(shù)計(jì)算得到的描述符的分析允許確定接近所述紋理的特征尺寸的鄰域尺寸。
文檔編號(hào)G06T11/00GK103229213SQ201180057271
公開日2013年7月31日 申請(qǐng)日期2011年11月10日 優(yōu)先權(quán)日2010年11月29日
發(fā)明者F.雷卡普, J.維隆, S.勒福特, O.德芙格斯, M.巴貝爾 申請(qǐng)人:湯姆遜許可公司