專(zhuān)利名稱(chēng)：使用閾值處理和直接線性求解器的圖像恢復(fù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于再現(xiàn)在一個(gè)數(shù)字信號(hào)中丟失的數(shù)據(jù)、更具體地說(shuō)用于使用在丟失區(qū)域周?chē)男畔?lái)預(yù)測(cè)在信號(hào)中數(shù)據(jù)的這些區(qū)域的改進(jìn)算法。這些算法主要面向通過(guò)使用在這些丟失區(qū)域周?chē)目臻g信息來(lái)預(yù)測(cè)在圖像/視頻幀中的像素的丟失區(qū)域，來(lái)再現(xiàn)圖像/視頻幀。這些算法中的技術(shù)可以以軟件、硬件或者它們的組合形式體現(xiàn)，而且可以在計(jì)算機(jī)或者其他處理器控制的設(shè)備上實(shí)現(xiàn)。
背景技術(shù)：
依據(jù)35 U.S.C.§119(e)，這個(gè)申請(qǐng)要求享受于2003年1月16日提出的美國(guó)臨時(shí)申請(qǐng)60/440,824的優(yōu)先權(quán)。
依據(jù)35 U.S.C.§120，這個(gè)申請(qǐng)還作為在2002年8月28日提出的、題為“Iterated De-Noising for Image Recovery”的未決申請(qǐng)10/229,667的部分后續(xù)申請(qǐng)，要求享受優(yōu)先權(quán)。這個(gè)父申請(qǐng)的內(nèi)容通過(guò)引用包含在此。
在許多圖像和視頻壓縮應(yīng)用中，解碼器必須頻繁地處理信道破壞了的數(shù)據(jù)，而且因此必須借助于圖像恢復(fù)和錯(cuò)誤隱藏算法。多年來(lái)，已經(jīng)提出了許多技術(shù)以允許解碼器避免信道錯(cuò)誤的嚴(yán)重后果。在圖像的情況下，丟失或者錯(cuò)誤的數(shù)據(jù)必須被空間預(yù)測(cè)，而對(duì)于視頻，能夠嘗試臨時(shí)和空間預(yù)測(cè)。然而，先前的技術(shù)遭受各種問(wèn)題，包括太多的預(yù)測(cè)錯(cuò)誤，太多的應(yīng)用、過(guò)程或者數(shù)據(jù)協(xié)調(diào)特定操作，僅僅能處理特定尺寸、形狀和/或類(lèi)型數(shù)據(jù)的某些區(qū)域，有限的健壯性和/或適應(yīng)性，以及要求諸如用于視頻幀的運(yùn)動(dòng)矢量等特定的信息。
上面標(biāo)識(shí)的申請(qǐng)10/229,667(相關(guān)申請(qǐng))提供了這樣一種算法，其能夠通過(guò)使用在這些丟失區(qū)域周?chē)目臻g信息來(lái)預(yù)測(cè)在一個(gè)圖像/視頻幀中的像素的丟失區(qū)域來(lái)再現(xiàn)該圖像/視頻幀。這個(gè)算法使用去噪聲和閾值處理，更可取地是用硬閾值處理來(lái)循環(huán)地去噪聲來(lái)預(yù)測(cè)像素的丟失區(qū)域。這個(gè)發(fā)明提供了改進(jìn)的數(shù)據(jù)恢復(fù)算法。

發(fā)明內(nèi)容
因此本發(fā)明的一個(gè)目的是提供這樣一種圖像恢復(fù)技術(shù)和算法，其使用在這些丟失區(qū)域周?chē)目臻g信息來(lái)預(yù)測(cè)在一個(gè)數(shù)字信號(hào)中的數(shù)據(jù)的丟失區(qū)域，但不要求進(jìn)行迭代。
依據(jù)本發(fā)明的一個(gè)方面，提供了一種用于再現(xiàn)在一個(gè)數(shù)字信號(hào)中的丟失數(shù)據(jù)的方法。該方法包含步驟(a)把在其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域中的非丟失數(shù)據(jù)單元組成n個(gè)層，其中n是一個(gè)大于或等于1的整數(shù)；以及(b)向在該至少一個(gè)區(qū)域中的每一個(gè)丟失數(shù)據(jù)單元分配一個(gè)初始值。對(duì)于n層中的每一層，執(zhí)行以下的操作，更可取地是僅僅執(zhí)行一次(c)(1)估算在層n上的多個(gè)正交轉(zhuǎn)換，(c)(2)使用一個(gè)閾值來(lái)確定一組具有絕對(duì)值在閾值下的轉(zhuǎn)換系數(shù)來(lái)閾值處理，更可取地是硬閾值處理，在層n中的選擇變換系數(shù)，(c)(3)使用在(c)(2)中確定的轉(zhuǎn)換系數(shù)組構(gòu)造一個(gè)選擇矩陣，(c)(4)基于在(c)(3)中構(gòu)造的選擇矩陣構(gòu)造一個(gè)線性方程組，以及(c)(5)求解在(c)(4)中構(gòu)造的線性方程組為求出在層n中的丟失數(shù)據(jù)單元。
其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域可以包含邊緣或者紋理特征中的至少一個(gè)。
在一個(gè)實(shí)施例中，數(shù)字信號(hào)是一幅由多個(gè)像素組成的圖像或者視頻幀，而且其中丟失了至少某些數(shù)據(jù)的至少一個(gè)區(qū)域包含至少某些丟失了的像素。來(lái)自該至少一個(gè)區(qū)域的所有像素可以都被丟失了。
多個(gè)正交變換可以包含離散余弦變換(DCT)和預(yù)定數(shù)目的它的過(guò)完整(overcomplete)移位，小波變換和預(yù)定數(shù)目的它的過(guò)完整移位，或者傅里葉變換和預(yù)定數(shù)目的它的過(guò)完整移位。在一個(gè)最佳實(shí)施例中與圖像或者視頻信號(hào)相結(jié)合使用了DCT變換。小波或者傅里葉變換也可以用于這樣的信號(hào)。對(duì)于其他類(lèi)型的信號(hào)(例如，非圖像或者非視頻信號(hào))，取決于該特定信號(hào)，一種特定的變換可以提供比其它更好的結(jié)果。我們應(yīng)當(dāng)使用預(yù)計(jì)會(huì)提供有關(guān)正被處理的數(shù)據(jù)類(lèi)型的稀疏表示的變換?；谠诖颂峁┑氖窘?，在這樣的情況下選擇適當(dāng)?shù)淖儞Q對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的。
依據(jù)本發(fā)明的另一個(gè)方面，一種用于再現(xiàn)在一個(gè)數(shù)字信號(hào)中丟失的數(shù)據(jù)的方法，包含步驟自適應(yīng)地為其中丟失了至少某些數(shù)據(jù)的區(qū)域中的n個(gè)層中的每一個(gè)確定一個(gè)選擇矩陣，其中n是一個(gè)大于或等于1的整數(shù)；基于每一選擇矩陣構(gòu)造一個(gè)線性方程組；以及求解每一個(gè)構(gòu)造的線性方程組以求出在相應(yīng)層n中的丟失數(shù)據(jù)。在這個(gè)方面，基于在其中丟失了至少某些數(shù)據(jù)區(qū)域周?chē)膮^(qū)域中的圖像和信息自適應(yīng)地確定一個(gè)選擇矩陣。因此可以直接確定這個(gè)選擇矩陣或者從一組變換系數(shù)中確定這個(gè)選擇矩陣，這些變換系數(shù)具有低于一個(gè)閾值的絕對(duì)值，而且這些絕對(duì)值首先自適應(yīng)地從圖像和在丟失數(shù)據(jù)區(qū)域周?chē)膮^(qū)域中確定。
在其他方面，發(fā)明涉及一個(gè)包括一個(gè)或多個(gè)部件用于結(jié)合兩個(gè)方法或者二者之一執(zhí)行如上所述的處理操作的裝置。這樣的部件可以包含，例如，一般微處理器、或者一個(gè)或多個(gè)專(zhuān)用集成電路(ASIC)、數(shù)字信號(hào)處理電路等，或者它們的組合。
依據(jù)本發(fā)明的再一方面，任何上述方法或者它們的步驟可以以一個(gè)指令程序(例如，軟件)的形式體現(xiàn)，它們可以存儲(chǔ)在，或者傳送到，計(jì)算機(jī)或者其他處理器控制的設(shè)備用于執(zhí)行。做為選擇，指令程序可以和被設(shè)計(jì)來(lái)執(zhí)行一個(gè)或多個(gè)步驟的硬件(例如，一個(gè)或多個(gè)ASIC，數(shù)字信號(hào)處理電路，等等)集成。
通過(guò)參考以下結(jié)合附圖進(jìn)行的描述和權(quán)利要求，本發(fā)明的其他目的和成就連同它的全面理解將變得明顯和得到理解。


在附圖中類(lèi)似的參考符號(hào)涉及類(lèi)似的部分，其中附圖包含圖1是在恢復(fù)處理中像素層的示意圖，其中每一層都使用在它周?chē)脑谇皩舆M(jìn)行恢復(fù)；圖2是一個(gè)流程圖，說(shuō)明了這個(gè)發(fā)明中的算法的基本處理流程；圖3是依據(jù)本發(fā)明的實(shí)施例，DCT平鋪和選擇性的硬閾值處理的一個(gè)示意圖；圖4(a)、4(b)、4(c)和4(d)是用于M×M DCT的其它示例過(guò)完整移位的DCT平鋪和選擇性硬閾值處理的示意圖；以及圖5是一個(gè)框圖，說(shuō)明了一個(gè)可以用來(lái)實(shí)現(xiàn)本發(fā)明中的技術(shù)的示例系統(tǒng)。
具體實(shí)施例方式
A.概述在專(zhuān)利申請(qǐng)10/229,667(相關(guān)申請(qǐng))中，給出了使用迭代的，利用閾值處理，例如硬閾值處理的去噪聲來(lái)預(yù)測(cè)丟失了數(shù)據(jù)的區(qū)域中的數(shù)據(jù)的算法。這個(gè)申請(qǐng)中的發(fā)明提供了不要求迭代的、改進(jìn)的圖像恢復(fù)算法。
和相關(guān)申請(qǐng)中的算法的情況一樣，本發(fā)明中的圖像/視頻幀恢復(fù)算法主要涉及僅僅使用空間預(yù)測(cè)的丟失數(shù)據(jù)恢復(fù)。同樣地，對(duì)于視頻來(lái)說(shuō)，在其中臨時(shí)預(yù)測(cè)即不可能又不謹(jǐn)慎的情況中，例如在流行的MPEG算法中涉及嚴(yán)重破壞的運(yùn)動(dòng)矢量和/或內(nèi)部標(biāo)記的宏模塊的情況中，可直接應(yīng)用該算法中的技術(shù)。雖然本發(fā)明中的算法主要涉及恢復(fù)完全丟失的圖像/視頻幀，但是這些算法不被這樣限制。相反地，這些算法能夠適于其中部分信息可用以及丟失的數(shù)據(jù)對(duì)應(yīng)于非矩形或者不規(guī)則形狀區(qū)域的情況。這些算法尤其可用于包含紋理、邊緣、及會(huì)對(duì)當(dāng)前方法提出問(wèn)題的其它特征的圖像/視頻幀塊的堅(jiān)固恢復(fù)。雖然這些算法考慮了外觀和一致性的重要性，該算法也適于在恢復(fù)區(qū)域中實(shí)現(xiàn)有效的峰值信噪比(PSNR)(10×log10(255×255meansqurederror))]]>的改進(jìn)。
類(lèi)似于相關(guān)申請(qǐng)中的算法，如圖1所示，在此提供的新算法通過(guò)把丟失的像素組成為層開(kāi)始。簡(jiǎn)要地說(shuō)，相關(guān)申請(qǐng)中的算法迭代地恢復(fù)在這些層中的丟失像素。當(dāng)用一個(gè)初始值填充這些層時(shí)，相關(guān)申請(qǐng)的算法選擇一個(gè)閾值并且在這些層上估算幾個(gè)過(guò)完整變換。變換系數(shù)被有選擇地定硬閾值和逆變換以恢復(fù)層1中的像素同時(shí)保持在其它層中的像素不變。給定L層，這個(gè)操作被重復(fù)L次以恢復(fù)所有層。在那之后，相關(guān)申請(qǐng)的算法降低使用的閾值一個(gè)特定量，而且再次從層1開(kāi)始繼續(xù)進(jìn)行用于層恢復(fù)的相同計(jì)算。當(dāng)降低的閾值到達(dá)一個(gè)預(yù)定水平時(shí)相關(guān)申請(qǐng)的算法結(jié)束。
在此提供的算法受在相關(guān)申請(qǐng)算法中的恢復(fù)性能的大部分通常來(lái)自初始迭代的事實(shí)的啟發(fā)。因此，在本發(fā)明中，一個(gè)初始閾值處理判定用來(lái)確定被定閾值為零的變換系數(shù)組，但是不同于在每一次迭代處再計(jì)算和改變這個(gè)組的相關(guān)申請(qǐng)中的算法，這個(gè)組為每一層保持固定。這導(dǎo)致在計(jì)算方面重要的節(jié)省，因?yàn)橄嚓P(guān)申請(qǐng)的算法中的迭代求解現(xiàn)在被簡(jiǎn)化為一個(gè)能夠直接求解的線性方程組，即在單個(gè)步驟中恢復(fù)每一層而不需要進(jìn)行迭代。
硬閾值處理系數(shù)產(chǎn)生0如果|c|＜T，且否則讓該系數(shù)不變。
類(lèi)似于相關(guān)申請(qǐng)，使用的變換的角色是非常重要的。實(shí)際上，這個(gè)發(fā)明中的算法的根本操作基礎(chǔ)是利用使用的線性變換的稀疏圖像表示。與本發(fā)明有關(guān)的算法細(xì)節(jié)及其它細(xì)節(jié)在下面進(jìn)行描述。
B.主要推導(dǎo)最初，使用硬閾值處理操作的去噪聲以數(shù)學(xué)記號(hào)的形式編寫(xiě)，以查看在其中在恢復(fù)層的開(kāi)頭處進(jìn)行選擇性閾值處理判定的情況中，即當(dāng)選擇性閾值處理判定不允許隨在每一層恢復(fù)期間的每一次迭代而改變時(shí)，迭代減少到一個(gè)線性方程組的求解。
把要被恢復(fù)的圖像排列為向量x(N×1)，以便x=x0x1x2...xL---(1)]]>其中x0構(gòu)成可用的像素(層0)，x1到xL是在層1到L中的像素，而且要理解在xi中的分量數(shù)目，表示為ni，指示在層i中的像素?cái)?shù)目。因此，Σi=0Lni=N]]>讓H1、H2、…、HM(N×N)表示在去噪聲中使用的變換的過(guò)完整組，即每一個(gè)Hi對(duì)應(yīng)于在整個(gè)圖像x上的一次完整變換。讓
G=H1H2...HM(MN×N)---(2)]]>表示復(fù)合變換以及G~=[H1-1H2-1...HM-1](N×MN)---(3)]]>表示“逆”過(guò)完整變換。注意到Gx導(dǎo)致一個(gè)MN×1的向量，其包含MN個(gè)變換系數(shù)，即每一個(gè)變換N個(gè)系數(shù)；因此x=1MG~Gx]]>“選擇矩陣”定義為如下所示。用一個(gè)給定過(guò)完整變換組去噪聲x將產(chǎn)生一個(gè)向量y，其由下式給出y=1MG~SGx---(4)]]>其中S(MN×MN)是零和一的對(duì)角線選擇矩陣。對(duì)角元素指示保持哪個(gè)系數(shù)(對(duì)角元素＝1)和把哪個(gè)系數(shù)硬限閾值為零(對(duì)角元素＝0)。
注意到將是硬取閾值為零的系數(shù)組將通過(guò)估算各種變換和把變換系數(shù)的絕對(duì)值和一個(gè)給定閾值進(jìn)行比較來(lái)進(jìn)行確定。如果絕對(duì)值小于閾值，則相應(yīng)系數(shù)將被硬閾值處理為零，而且在S中的對(duì)角線元素被設(shè)置為0。當(dāng)然，用硬閾值處理去噪聲要求S是在G中使用的變換以及輸入向量x和使用的閾值的函數(shù)。盡管如此，為了便于分析描述，在下面討論的部分中放寬這個(gè)依賴(lài)性將是便利的。
“降秩(contraction)”定義如下。如果對(duì)于所有的x，G和S是這樣的使||y||2=1M2(xT·GTSG~T)(G~SGx)≤||x||2---(5)]]>則由等式(4)定義的去噪聲操作是一個(gè)降秩。如果存在一組X，以便對(duì)于所有x∈X，‖y‖2＜‖x‖2則去噪聲對(duì)于x∈X是嚴(yán)格降秩的。
除非另作說(shuō)明，否則假定在這個(gè)說(shuō)明書(shū)中使用的變換是如此以至產(chǎn)生的去噪聲操作是一個(gè)降秩。還要注意到降秩有效地保證在去噪聲之后信號(hào)能量沒(méi)有增加，而且如果在某些X上降秩是嚴(yán)格降秩的話，則對(duì)于所有信號(hào)x∈X能量被有效地降低/耗散了。
B.1.通過(guò)迭代去噪聲的層恢復(fù)給定一個(gè)過(guò)完整組的變換，相關(guān)申請(qǐng)中的算法通過(guò)迭代去噪聲在第k次迭代中進(jìn)行層1的恢復(fù)。因?yàn)槊恳淮蔚?，不同的系?shù)組能夠被硬閾值處理為零，所以選擇矩陣S隨每一次迭代而變。為了做出這個(gè)特定地的依賴(lài)性，讓Dl,k=1MG~Sl,kG---(6)]]>表示在迭代k中用于層1的去噪聲操作。讓Pi(N×N)，1＝0，...，L表示到層1的投影，即
Plx=0...0xl0...0---(7)]]>P1P1＝P1，以及P1(1-P1)＝0，其中1是(N×N)的恒等式。
利用這個(gè)記號(hào)，在所有層上的第一次迭代的操作能夠被編寫(xiě)為y1，1＝P1D1，1x+(1-P1)xy2，1＝P2D2，1y1，1+(1-P2)y1，1y3，1＝P3D3，1y2，1+(1-P3)y2，1yL，1＝PLDL，1yL-1，1+(1-PL)yL-1，1相對(duì)于“層恢復(fù)”，讓y0，k＝y(tǒng)L，k-1，對(duì)于k＞1，以及讓y0，1＝x。則在迭代k＞1處的普通層恢復(fù)計(jì)算能夠被表示為yl，k＝PlDl，kyl-1，k+(1-Pl)yl-1，k，1≤l≤L (8)注意到在迭代中每一階段處，通過(guò)去噪聲先前階段中的輸出和把結(jié)果投影到相應(yīng)層來(lái)再現(xiàn)該相應(yīng)層。在其他層中的像素保持不變。
此外，如所期望的那樣，對(duì)于1≤l≤L和k＞lP0yl，k＝P0PlDl，kyl-1，k+P0(1-Pl)yl-1，k＝P0yl-1，k(9)＝P0x即，在層0中的現(xiàn)有數(shù)據(jù)在整個(gè)迭代期間剩余不變。
B.2.當(dāng)前算法的推導(dǎo)通常，在上面B.1中分析的相關(guān)申請(qǐng)的算法能夠使用一個(gè)不同的選擇矩陣，而且因此對(duì)于在等式(8)中每一個(gè)1，k一個(gè)不同的D1，k。然而，發(fā)明人已經(jīng)發(fā)現(xiàn)，大部分的改進(jìn)在初始迭代中獲得，而且為了實(shí)現(xiàn)好質(zhì)量的結(jié)果沒(méi)有必要執(zhí)行全部的迭代計(jì)數(shù)。在下面給出的簡(jiǎn)化迭代顯示了有可能獲得實(shí)質(zhì)上非迭代的算法。每一個(gè)這樣的新算法通過(guò)求解一個(gè)線性方程組在一步中直接獲得層像素。
如在此說(shuō)明的那樣，該主要結(jié)果用于當(dāng)數(shù)據(jù)丟失區(qū)域被分解為單個(gè)層時(shí)的情況。對(duì)于L個(gè)層的更普通的情況，通過(guò)在下面建立的公式，調(diào)用這個(gè)結(jié)果來(lái)直接恢復(fù)每一層同時(shí)保持其它層固定。
根據(jù)簡(jiǎn)化的迭代，假定要被恢復(fù)的數(shù)據(jù)丟失區(qū)域被劃分成為單個(gè)層，即讓L＝1。假定相同的選擇矩陣由算法在每一次迭代處使用。則，對(duì)于所有的k≥1D1，k＝D，以及在公式(8)中的迭代被簡(jiǎn)化為y1，k＝P1Dy0，k+(1-P1)y0，k＝P1Dy1，k-1+(1-P1)y1，k-1(10)＝(P1D+(1-P1))y1，k-1首先考慮簡(jiǎn)化迭代的收斂特性以導(dǎo)出直接產(chǎn)生收斂點(diǎn)的公式。如果存在一個(gè)y*滿足公式(11)，
y*＝(P1D+(1-P1))y*(11)則確定在這個(gè)提議中的簡(jiǎn)化迭代的收斂性。
并且序列|ywy|收斂到0，而不管迭代的起始點(diǎn)。使用公式(11)，獲得下式0＝P1(D-1)y*0＝P1(D-1)(P0+P1)y*(12)-P1(D-1)P0x＝P1(D-1)P1y*，其中層0保持不變，即使用公式(9)，P0y*＝P0x。
注意到公式(12)為在Ply*中的n1個(gè)未知數(shù)提供了n1個(gè)等式。把所有滿足等式(12)的y*集稱(chēng)為求解集。這個(gè)迭代讓在該求解集中的向量保持不變。為了看到從不同起始點(diǎn)開(kāi)始的收斂性將是可能的，則讓對(duì)于某些w，yl，k-1＝y(tǒng)*+w。使用等式(9)，P0w＝0，以及y1，k＝(P1D+(1-P1))(y*+w)＝y(tǒng)*+(P1D+(1-P1))w＝y(tǒng)*+(P1D+P0)w＝y(tǒng)*+P1Dw利用當(dāng)且僅當(dāng)w＝P1Dw或者如果w也在解集中時(shí)的等同性，因?yàn)镈是降秩的，所以P1D和‖yl，k-y*‖≤‖yl，k-1-y*‖也是如此。
因此，上面定義的簡(jiǎn)化迭代收斂為一個(gè)滿足等式(12)的向量。要注意到這個(gè)結(jié)果的僅僅依賴(lài)于D是一個(gè)降秩以及它因此適合于諸如經(jīng)由軟閾值處理去噪聲等的更普遍的去噪聲情況。
因?yàn)榈仁?12)為在P1y*中的n1個(gè)未知數(shù)提供了n1個(gè)等式，所以有可能依據(jù)剩余的像素，即在P0x中的層0像素，通過(guò)求解等式(12)而不是執(zhí)行迭代求出收斂點(diǎn)的層1像素，P1y*。如果在等式(12)中的線性方程組的零空間維數(shù)大于0，顯然不可能唯一地求出P1y*。在這種情況下，通過(guò)等式(12)和零空間正交的P1y*部分能夠被求解，而且處于零空間中的P1y*部分能夠被選擇為和在該零空間中的初始向量(即在該算法的初始化步驟中設(shè)置)的分量相同。
C.算法參見(jiàn)圖2中的流程圖，如圖1所示，主算法通過(guò)把在一個(gè)丟失塊中的像素組成為L(zhǎng)層(步驟201)開(kāi)始。利用通過(guò)主要使用來(lái)自先前層中的信息恢復(fù)每一個(gè)層來(lái)分級(jí)恢復(fù)層，即層0用來(lái)恢復(fù)層1，然后這兩個(gè)層一起用于恢復(fù)層2，諸如此類(lèi)。如圖1所示的層分組僅僅是示例的。許多不同的分組是可能的，而且選擇取決于丟失塊的尺寸和形狀。
在分析之前，所有的層像素被初始化了，即分配一個(gè)初始值。這能夠，例如，通過(guò)從層1的外邊界的周?chē)袼刂杏?jì)算一個(gè)平均值來(lái)執(zhí)行(步驟202)。使用這樣的一個(gè)平均值作為初始值是示例的；做為選擇，可以使用另一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)計(jì)算或者一個(gè)諸如128或者0的不變常數(shù)分配初始值。
在步驟203中，閾值T被設(shè)置為T(mén)0＞0，其中T0可以表示，例如從層1外邊界的周?chē)杏?jì)算得到的標(biāo)準(zhǔn)偏差。使用這樣的一個(gè)標(biāo)準(zhǔn)偏差設(shè)置T0是示例的；做為選擇，可以使用另一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)計(jì)算計(jì)算T0或者T0可以被設(shè)置為一個(gè)諸如128或者256的不變常數(shù)。讓k＝0。在步驟204中，設(shè)置1＝1。
在步驟205中獲得層1。對(duì)于目標(biāo)層1，在那個(gè)層上估算過(guò)完整變換(步驟206)。類(lèi)似于相關(guān)申請(qǐng)中的主算法，有選擇地硬閾值處理變換系數(shù)以確定具有絕對(duì)值低于閾值T的變換系數(shù)集合Z1，k(步驟207)。使用Z1，k來(lái)構(gòu)造上面定義的選擇矩陣S1，k(步驟208)。使用等式(6)構(gòu)造D1，k(步驟209)。然后，在步驟210中通過(guò)經(jīng)由下式向?qū)?采用等式(12)來(lái)求解層1中的像素
-Pl(D1，k-1)(1-Pl)x＝Pl(D1，k-1)Ply*(13)以及使用在P1y*中的值來(lái)設(shè)置層1中的像素。如果方程組的零空間維數(shù)大于0，則如在上面B.2中所闡述的那樣形成解法。
對(duì)每一層Z＝1，...，L執(zhí)行步驟205-210。因此，在步驟211中確定是否有更多的層要處理，即是否1＜L。如果是這樣的話，在步驟212中1被增1而且算法返回到步驟206。在所有層都已經(jīng)被處理了之后，即步驟211返回“沒(méi)有”，則程序退出層處理循環(huán)。
雖然不要求有更進(jìn)一步的迭代，如果期望的話，該算法可以包含執(zhí)行附加迭代的性能。因此，如果期望有另一次的迭代的話，則在步驟211返回“沒(méi)有”之后，如在相關(guān)申請(qǐng)中描述的那樣設(shè)置T＝T-dT，以及設(shè)置k＝k+1。則去步驟204。如果不期望有附加的迭代，則算法在退出層處理循環(huán)之后結(jié)束。
算法的成功取決于分層和經(jīng)由選擇性硬閾值處理的應(yīng)用的Z1，k(以及因此S1，k)的自適應(yīng)確定。在下面討論了在矩形體層上的選擇性硬閾值處理。然而，對(duì)于Z1，k(以及因此S1，k)的確定來(lái)說(shuō)，其他類(lèi)型的分層和自適應(yīng)確定是可能的。
在一個(gè)替換實(shí)施例中，可以通過(guò)檢查圖像的相關(guān)特性以及在數(shù)據(jù)丟失區(qū)域周?chē)膮^(qū)域的特性自適應(yīng)地確定S1，k。在另一個(gè)替換實(shí)施例中，可以基于圖像和在丟失數(shù)據(jù)區(qū)域周?chē)膮^(qū)域自適應(yīng)地確定Z1，k，并且從那里確定S1，k。如果S1，k是一個(gè)N×N維的二元對(duì)角矩陣，則可能的S數(shù)目為2N。但是，S1，k不需要限于一個(gè)對(duì)角二元矩陣；也可以使用適當(dāng)?shù)姆嵌仃?。一種確定非二元S的方法，將是把選定的變換系數(shù)和一個(gè)固定因數(shù)而不是0相乘。在該系數(shù)上的任意函數(shù)能夠同樣地通過(guò)把系數(shù)和一個(gè)系數(shù)比因子相乘而獲得。另一種方法為使用“軟閾值處理”，其涉及根據(jù)一個(gè)閾值范圍，假定TL到TH考慮每一個(gè)系數(shù)；則，如果系數(shù)大于TH則把那個(gè)系數(shù)降低一個(gè)特定量，如果系數(shù)小于TL則把那個(gè)系數(shù)增加一個(gè)特定量，而且如果系數(shù)在那個(gè)范圍內(nèi)則把那個(gè)系數(shù)設(shè)置為零。在S中的條目也能夠模仿這個(gè)被操作。
考慮該選擇性硬閾值處理實(shí)施例，固定一個(gè)初始閾值T＝T0＞0(例如，從層1的外邊界周?chē)杏?jì)算的標(biāo)準(zhǔn)偏差)并且考慮使用這個(gè)閾值的層P恢復(fù)，即考慮其中層P的像素將使用閾值T恢復(fù)同時(shí)保持剩余像素不變的算法階段。為了簡(jiǎn)單起見(jiàn)，假定在這個(gè)去噪聲操作中將使用一個(gè)M×M DCT和它的M2-1個(gè)過(guò)完整移位。在恢復(fù)層P中的，假定在該圖像中不在層P中的所有像素，即所有在前面和后續(xù)層中的像素具有固定值。假定初始DCT對(duì)應(yīng)于在圖3中的“DCT(M×M)平鋪1”。通過(guò)估算DCT系數(shù)開(kāi)始。然后對(duì)每一個(gè)DCT塊確定這個(gè)塊是否和層P重疊。如果沒(méi)有重疊，則不執(zhí)行這個(gè)塊的系數(shù)的硬閾值處理。如果有重疊，則計(jì)算在x和y方向和層P的外邊界重疊的程度以對(duì)第i個(gè)DCT塊產(chǎn)生ox(i)和oy(i)(圖3)。如果ox(i)＜M/2或者oy(i)＜M/2，則第i個(gè)DCT塊的系數(shù)被硬閾值處理。在這個(gè)選擇性硬閾值處理之后，使用已經(jīng)被硬閾值處理為零的系數(shù)的索引來(lái)構(gòu)造ZP，k的一部分。為剩余的M2-1個(gè)過(guò)完整變換重復(fù)這個(gè)操作以完全地獲得Zp，k(以及因此Sp，k)。圖4(a)-4(d)說(shuō)明了用于M×MDCT的某些其他示例過(guò)完整移位的選擇性硬閾值處理。通過(guò)求解相關(guān)的等式以及把層像素固定到正確的像素值范圍(對(duì)于灰度級(jí)圖像的0-255)來(lái)獲得用于層P的最終結(jié)果。當(dāng)然，不需要估算所有的DCT系數(shù)以產(chǎn)生該最終結(jié)果。
要注意到有可能僅僅考慮該過(guò)完整移位的一個(gè)子集和/或使用不同的變換。對(duì)于其他的變換，諸如小波、小波包、等，除了在選擇性硬閾值處理期間重疊計(jì)算的解決變得稍微更復(fù)雜之外，算法的操作是相同的。因?yàn)檫@些變換具有對(duì)每一個(gè)系數(shù)的變化支持的基函數(shù)(取決于頻帶)，所以要謹(jǐn)慎使用在那個(gè)系數(shù)的選擇性閾值處理期間產(chǎn)生特定系數(shù)的變換基函數(shù)的支持和位置。
D.變換屬性除了一個(gè)用該使用的變換的稀疏圖像表示之外，對(duì)于該算法的改進(jìn)操作，其他的特性也是所希望的。
D.1.在周期特征上的性能考慮一個(gè)在丟失塊周?chē)谋镜刂芷趨^(qū)域。這里說(shuō)明的原理能夠直接擴(kuò)展到通過(guò)使用旋轉(zhuǎn)固定處理的隨機(jī)設(shè)置。在這種情況下，該變換應(yīng)當(dāng)具有足夠的尺寸以推導(dǎo)出形成該周?chē)闹芷谛?。因?yàn)樵谝粋€(gè)給定方向的空間周期性為～R意味著在相應(yīng)方向的頻率分量由～1/R分隔，所以使用的變換應(yīng)當(dāng)具有相應(yīng)的頻率選擇性。
D.1.在邊緣上的性能假定丟失塊在兩個(gè)由一條線分隔的兩個(gè)等值區(qū)域上。在這種情況下，使用的變換應(yīng)當(dāng)具有足夠的尺寸來(lái)確定線的斜率以及它和丟失塊的交點(diǎn)，該變換更可取地是具有諸如由復(fù)數(shù)小波提供的方向靈敏度之類(lèi)的方向靈敏度。要注意到在恒定值區(qū)域上，即使非常小的DCT也將提供稀疏表示，但是它們將缺乏正確地內(nèi)插分隔線的能力。對(duì)于小波和DCT，發(fā)明人已經(jīng)觀察到在邊緣區(qū)域上的良好性能，主要是當(dāng)邊緣為水平、垂直和在±45°對(duì)角線時(shí)。復(fù)數(shù)小波的方向靈敏度和大DCT的頻率選擇性看起來(lái)在其它情況中提供了優(yōu)勢(shì)。
E.實(shí)現(xiàn)和應(yīng)用圖5說(shuō)明了一個(gè)示例系統(tǒng)50，其可以用來(lái)實(shí)現(xiàn)本發(fā)明中的處理。如圖5中說(shuō)明的那樣，系統(tǒng)包含一個(gè)中央處理單元(CPU)51，其提供計(jì)算資源并且控制計(jì)算機(jī)。CPU 51可能用微處理器等等實(shí)現(xiàn)，并且還可以包含一個(gè)圖形處理器和/或一個(gè)用于數(shù)學(xué)計(jì)算的浮點(diǎn)協(xié)處理器。系統(tǒng)50進(jìn)一步包含可以以隨機(jī)存取存儲(chǔ)器(RAM)和只讀存儲(chǔ)器(ROM)形式的系統(tǒng)存儲(chǔ)器52。在每一層的處理期間獲得的中間結(jié)果能夠被方便地保存在存儲(chǔ)器中。
如圖5所示，還提供了許多控制器和外圍設(shè)備。輸入控制器53表示到各種輸入設(shè)備54，諸如鍵盤(pán)、鼠標(biāo)或者攝象頭的接口。還有一個(gè)控制器55，其和一個(gè)掃描儀或者等效設(shè)備進(jìn)行通信，用于數(shù)字化包含要依據(jù)本發(fā)明處理的圖像或者表示的文檔。存儲(chǔ)控制器57與一個(gè)或多個(gè)存儲(chǔ)設(shè)備58接口，每個(gè)存儲(chǔ)設(shè)備58都包含一個(gè)可以用來(lái)記錄用于操作系統(tǒng)、工具和應(yīng)用的指令程序的存儲(chǔ)介質(zhì)，諸如磁帶或者磁盤(pán)、或者一個(gè)光學(xué)介質(zhì)等，這些指令程序可以包含實(shí)現(xiàn)本發(fā)明的各個(gè)方面的程序的實(shí)施例。存儲(chǔ)設(shè)備(多個(gè))58還可以用來(lái)存儲(chǔ)要依據(jù)本發(fā)明處理的或者要處理的數(shù)據(jù)。顯示控制器59提供了一個(gè)到顯示設(shè)備61的接口，該顯示設(shè)備可以是一個(gè)陰極射線管(CRT)或者薄膜晶體管(TFT)顯示器。還提供了打印機(jī)控制器62用于和打印機(jī)63通信，用于打印包含要依據(jù)本發(fā)明處理的圖像或者表示的文檔。通信控制器64與一個(gè)或多個(gè)通訊設(shè)備105接口，這些通訊設(shè)備105允許系統(tǒng)50通過(guò)包括Internet、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)在內(nèi)的任何各種網(wǎng)絡(luò)，或者通過(guò)包括紅外信號(hào)在內(nèi)的任何適當(dāng)?shù)碾姶泡d波信號(hào)連接到遠(yuǎn)程設(shè)備。
在說(shuō)明的系統(tǒng)中，所有主要系統(tǒng)部件連接可以表示超過(guò)一條物理總線的總線66。然而，取決于本發(fā)明的特定應(yīng)用，各個(gè)系統(tǒng)部件可以或者可以不必是彼此物理鄰近的。例如，輸入數(shù)據(jù)和/或輸出數(shù)據(jù)可以從一個(gè)物理位置遠(yuǎn)距離地傳輸?shù)搅硪粋€(gè)位置。此外，實(shí)現(xiàn)這個(gè)發(fā)明各個(gè)方面的程序可以經(jīng)由網(wǎng)絡(luò)從一個(gè)遠(yuǎn)程位置(例如，服務(wù)器)訪問(wèn)。這樣的數(shù)據(jù)和/或程序可以通過(guò)包括磁帶或者磁盤(pán)或者光盤(pán)、網(wǎng)絡(luò)信號(hào)在內(nèi)的各種機(jī)器可讀媒介，或者任何包括紅外信號(hào)在內(nèi)的其他適當(dāng)?shù)碾姶泡d波信號(hào)進(jìn)行傳送。
雖然本發(fā)明可能用軟件方便地實(shí)現(xiàn)，硬件實(shí)現(xiàn)或者硬件/軟件組合實(shí)現(xiàn)還是可能的。硬件實(shí)現(xiàn)可以，例如使用ASIC(多個(gè))、數(shù)字信號(hào)處理電路、等等實(shí)現(xiàn)。因而，權(quán)利要求術(shù)語(yǔ)“設(shè)備可讀介質(zhì)”不僅包含承載軟件的介質(zhì)，而且包含具有指令用于執(zhí)行在其上硬布線的要求處理的硬件以及硬件/軟件組合。類(lèi)似地，權(quán)利要求術(shù)語(yǔ)“指令程序”包含軟件和嵌入在硬件上的指令。此外，在權(quán)利要求中涉及的“部件(多個(gè))”包含任何恰當(dāng)配置的處理設(shè)備，諸如基于指令的處理器(例如，CPU)、ASIC、數(shù)字處理電路、或者它們的組合。利用這些實(shí)現(xiàn)選擇在頭腦中，將要理解附圖和伴隨的描述提供了本領(lǐng)域技術(shù)人員編寫(xiě)程序代碼(即，軟件)或者制造電路(即，硬件)來(lái)執(zhí)行要求的處理所需要的功能信息。
如上面表明的那樣，本發(fā)明提供了基于軟件或者硬件的算法/技術(shù)，用于基于使用閾值處理的去噪聲和具有稀疏圖像表示的線性變換預(yù)測(cè)在一個(gè)圖像或者視頻幀中數(shù)據(jù)的丟失區(qū)域。和相關(guān)應(yīng)用的算法相比，這個(gè)發(fā)明中的算法通過(guò)經(jīng)由相應(yīng)等式直接求出在每一層中的像素使用了有效的簡(jiǎn)化。此外，在它們最簡(jiǎn)單的形式中，當(dāng)前算法使用單個(gè)閾值來(lái)完全恢復(fù)層中的像素，即如果有細(xì)節(jié)信息要恢復(fù)的話，閾值的縮減和進(jìn)一步迭代僅僅是所希望的。因此，這個(gè)發(fā)明中的算法形成了一個(gè)對(duì)相關(guān)應(yīng)用算法的快速替換，同時(shí)還實(shí)現(xiàn)了它的大多數(shù)益處。
本發(fā)明中的算法具有寬闊范圍的應(yīng)用，包括用于在網(wǎng)絡(luò)傳輸期間具有錯(cuò)誤的編碼圖像和視頻的錯(cuò)誤隱藏、損害圖像的恢復(fù)、劃痕消除、等等。在其中臨時(shí)預(yù)測(cè)不可能或者謹(jǐn)慎的情況中，例如，在普及的MPEG方案中涉及嚴(yán)重破壞的運(yùn)動(dòng)矢量和/或內(nèi)部標(biāo)記宏模塊的情況中，可直接應(yīng)用該算法。
本發(fā)明中的算法不特定到任何特定尺寸、形狀或者數(shù)據(jù)類(lèi)型的丟失區(qū)域，而且能夠在其中數(shù)據(jù)被部分或者完全丟失的區(qū)域上進(jìn)行操作。算法能夠擴(kuò)展到非矩形的區(qū)域而且還能夠用于比16×16更大的區(qū)域。此外，雖然對(duì)圖像和視頻幀(即，2-D數(shù)據(jù))的應(yīng)用是本算法的主要焦點(diǎn)，但是它們不這樣受限制。相反地，該算法可容易地適用于1、3、4D，以及甚至更高維的數(shù)據(jù)。例如，該算法能夠用來(lái)填充語(yǔ)音或者音頻數(shù)據(jù)中的丟失段。該算法不要求任何用于應(yīng)用的特定過(guò)程。該算法能夠在任何圖像、視頻幀、信號(hào)、等上進(jìn)行操作以預(yù)測(cè)在其中丟失的數(shù)據(jù)。丟失數(shù)據(jù)如何變?yōu)閬G失和該算法的操作無(wú)關(guān)。例如，該算法不要求使用特定的度量或者在一個(gè)錯(cuò)誤隱藏應(yīng)用的編碼階段期間發(fā)送開(kāi)銷(xiāo)信息。
對(duì)于圖像和視頻幀，本發(fā)明中的算法能夠容易地處理其中丟失數(shù)據(jù)在平穩(wěn)區(qū)域、紋理區(qū)域、高頻率區(qū)域、邊緣區(qū)域、周期區(qū)域、以及非常有利地在它們的任何組合上延伸的情況。即，丟失數(shù)據(jù)不用必須是在“剛好紋理”區(qū)域、“剛好周期”區(qū)域、等等上。如果丟失數(shù)據(jù)是在“大致紋理”、“大致周期”的區(qū)域等上，則該算法將仍然起作用。對(duì)于非2-D數(shù)據(jù)也是同樣如此。因此，尤其是與傳統(tǒng)的技術(shù)相比較，本發(fā)明中的算法是非常通用的。
除了是通用的之外，這個(gè)發(fā)明中的算法是健壯的。該算法不僅能夠處理各種類(lèi)型的數(shù)據(jù)區(qū)域，它們還不要求輸入關(guān)于它們正在什么類(lèi)型的區(qū)域上進(jìn)行操作的指令。因此，該算法不使用，也不需要，一個(gè)單獨(dú)的步驟來(lái)檢測(cè)邊緣、周期區(qū)域、平穩(wěn)區(qū)域、紋理、等等。因?yàn)閺膸讉€(gè)其它的類(lèi)型中檢測(cè)一個(gè)特定類(lèi)型的區(qū)域本身就具有錯(cuò)誤和問(wèn)題，所以這同樣是非常有利的，而且通過(guò)不使用這樣的一個(gè)步驟，本算法避免了這樣的問(wèn)題。代之以，該算法是自適應(yīng)的。該算法發(fā)現(xiàn)正在什么類(lèi)型的區(qū)域上面進(jìn)行操作，并且因此預(yù)測(cè)丟失的數(shù)據(jù)。
本發(fā)明中的算法能夠容易地?cái)U(kuò)展到其中數(shù)據(jù)在另一個(gè)坐標(biāo)系統(tǒng)中的情況。即，除了它們?cè)陬A(yù)測(cè)丟失像素值的使用之外，該算法能夠被推廣到預(yù)測(cè)各種變換的丟失系數(shù)，諸如丟失的DCT、小波、或者傅里葉變換系數(shù)。
本發(fā)明的算法不僅給出與它的周?chē)恢碌拿恳粋€(gè)預(yù)測(cè)/恢復(fù)區(qū)域的外觀，它們還產(chǎn)生非常低的預(yù)測(cè)誤差。例如，利用某些傳統(tǒng)的技術(shù)，在丟失數(shù)據(jù)中的填充可以是在視覺(jué)上可接受的，但是性能的目標(biāo)度量，諸如估算在預(yù)測(cè)和初始之間的均方誤差，可能產(chǎn)生任意的壞結(jié)果。本發(fā)明中的算法一般產(chǎn)生低的均方誤差。該算法甚至能夠恢復(fù)在現(xiàn)實(shí)世界圖像上給出的、在邊緣上的“反混淆”模糊。
雖然已經(jīng)結(jié)合幾個(gè)特定實(shí)施例對(duì)本發(fā)明進(jìn)行了說(shuō)明，按照上述說(shuō)明，進(jìn)一步替換、修改、變化和應(yīng)用對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)將是顯然的。因此，在這里描述的本發(fā)明意圖包含在附加權(quán)利要求的精神和范圍之內(nèi)所有這樣的替換、修改、變化和應(yīng)用。
權(quán)利要求
1.一種用于恢復(fù)在一個(gè)數(shù)字信號(hào)中的丟失數(shù)據(jù)的方法，包含步驟(a)把在其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域中的非丟失數(shù)據(jù)單元組成n個(gè)層，其中n是一個(gè)大于或等于1的整數(shù)；(b)向在該至少一個(gè)區(qū)域中的每一個(gè)丟失數(shù)據(jù)單元分配一個(gè)初始值；以及(c)對(duì)于n個(gè)層中的每一個(gè)(c)(1)估算在層n上的多個(gè)正交變換，(c)(2)使用一個(gè)閾值來(lái)確定一組具有絕對(duì)值低于閾值的轉(zhuǎn)換系數(shù)，來(lái)閾值處理在層n中的選擇變換系數(shù)，(c)(3)使用在(c)(2)中確定的轉(zhuǎn)換系數(shù)組構(gòu)造一個(gè)選擇矩陣，(c)(4)基于在(c)(3)中構(gòu)造的選擇矩陣構(gòu)造一個(gè)線性方程的系統(tǒng)，以及(c)(5)求解在(c)(4)中構(gòu)造的線性方程的系統(tǒng)為求出在層n中的丟失數(shù)據(jù)單元。
2.如權(quán)利要求1所述的方法，其特征在于操作(c)(1)到(c)(5)中的每一個(gè)都僅僅每層執(zhí)行一次。
3.如權(quán)利要求1所述的方法，其特征在于閾值處理包含硬閾值處理。
4.如權(quán)利要求1所述的方法，其特征在于其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域包含邊緣或者紋理特征中的至少一個(gè)。
5.如權(quán)利要求1所述的方法，其特征在于多個(gè)正交變換包含(i)離散余弦變換和預(yù)定數(shù)目的過(guò)完整移位，(ii)小波變換和預(yù)定數(shù)目的它的過(guò)完整移位，或者(iii)傅里葉變換和預(yù)定數(shù)目的它的過(guò)完整移位。
6.如權(quán)利要求1所述的方法，其特征在于數(shù)字信號(hào)是一幅由多個(gè)像素組成的圖像或者視頻幀，而且其中丟失了至少某些數(shù)據(jù)的至少一個(gè)區(qū)域包含至少某些丟失了的像素。
7.如權(quán)利要求6所述的方法，其特征在于來(lái)自該至少一個(gè)區(qū)域的所有像素都被丟失了。
8.一種用于恢復(fù)在一個(gè)表示一幅圖像的數(shù)字信號(hào)中的丟失數(shù)據(jù)的方法，包含步驟(a)自適應(yīng)地為其中丟失了至少某些數(shù)據(jù)的區(qū)域中的n個(gè)層中的每一個(gè)確定一個(gè)選擇矩陣，其中n是一個(gè)大于或等于1的整數(shù)；(b)基于每一選擇矩陣構(gòu)造一個(gè)線性方程的系統(tǒng)；以及(c)求解每一個(gè)構(gòu)造的線性方程的系統(tǒng)以求出在相應(yīng)層n中的丟失數(shù)據(jù)。
9.如權(quán)利要求8所述的方法，其特征在于基于該圖像和在一個(gè)其中丟失了至少某些數(shù)據(jù)的區(qū)域周?chē)膮^(qū)域中的信息自適應(yīng)地確定用于n個(gè)層中的每一個(gè)的選擇矩陣。
10.如權(quán)利要求8所述的方法，其特征在于通過(guò)基于該圖像和在其中丟失了至少某些數(shù)據(jù)的區(qū)域周?chē)膮^(qū)域中的信息自適應(yīng)地確定一組具有絕對(duì)值低于一個(gè)閾值的變換系數(shù)，而且然后從那里確定相應(yīng)的選擇矩陣，來(lái)自適應(yīng)地確定用于n個(gè)層中的每一個(gè)的選擇矩陣。
11.一個(gè)用于預(yù)測(cè)在一個(gè)數(shù)字表示中的丟失區(qū)域的裝置，該裝置包含一個(gè)或多個(gè)部件被配置為把在其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域中的非丟失數(shù)據(jù)單元組成n個(gè)層，其中n是一個(gè)大于或等于1的整數(shù)；向在該至少一個(gè)區(qū)域中的每一個(gè)丟失數(shù)據(jù)單元分配一個(gè)初始值；以及對(duì)于n層中的每一個(gè)(1)估算在層n上的多個(gè)正交變換，(2)使用一個(gè)閾值來(lái)確定一組具有絕對(duì)值低于閾值的轉(zhuǎn)換系數(shù)，來(lái)閾值處理在層n中的選擇變換系數(shù)，(3)使用在(2)中確定的變換系數(shù)組構(gòu)造一個(gè)選擇矩陣，(4)基于在(3)中構(gòu)造的選擇矩陣構(gòu)造一個(gè)線性方程的系統(tǒng)，以及(5)求解在(4)中構(gòu)造的線性方程的系統(tǒng)來(lái)求出在層n中的丟失數(shù)據(jù)單元。
12.如權(quán)利要求11所述的裝置，其特征在于操作(1)到(5)中的每一個(gè)都是每層僅僅執(zhí)行一次。
13.如權(quán)利要求11所述的裝置，其特征在于閾值操作包含硬閾值處理。
14.如權(quán)利要求11所述的裝置，其特征在于其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域包含邊緣或者紋理特征中的至少一個(gè)。
15.如權(quán)利要求11所述的裝置，其特征在于多個(gè)正交變換包含(i)離散余弦變換和預(yù)定數(shù)目的過(guò)完整移位，(ii)小波變換和預(yù)定數(shù)目的它的過(guò)完整移位，或者(iii)傅里葉變換和預(yù)定數(shù)目的它的過(guò)完整移位。
16.如權(quán)利要求11所述的裝置，其特征在于數(shù)字信號(hào)是一幅由多個(gè)像素組成的圖像或者視頻幀，而且其中丟失了至少某些數(shù)據(jù)的至少一個(gè)區(qū)域包含至少某些丟失了的像素。
17.如權(quán)利要求16所述的裝置，其特征在于來(lái)自該至少一個(gè)區(qū)域的所有像素都被丟失了。
18.一個(gè)用于預(yù)測(cè)在一個(gè)數(shù)字表示中的丟失區(qū)域的裝置，該裝置包含一個(gè)或多個(gè)部件被配置為自適應(yīng)地為其中丟失了至少某些數(shù)據(jù)的區(qū)域中的n個(gè)層中的每一個(gè)確定一個(gè)選擇矩陣，其中n是一個(gè)大于或等于1的整數(shù)；基于每一選擇矩陣構(gòu)造一個(gè)線性方程的系統(tǒng)；以及求解每一個(gè)構(gòu)造的線性方程的系統(tǒng)以求出在相應(yīng)層n中的丟失數(shù)據(jù)。
19.如權(quán)利要求18所述的裝置，其特征在于被配置為自適應(yīng)地確定用于n個(gè)層中的每一個(gè)選擇矩陣的一個(gè)或多個(gè)部件被配置為，基于圖像和在其中丟失了至少某些數(shù)據(jù)的區(qū)域周?chē)囊粋€(gè)區(qū)域中的信息自適應(yīng)地確定每一選擇矩陣。
20.如權(quán)利要求18所述的裝置，其特征在于被配置為自適應(yīng)地確定一個(gè)用于n個(gè)層中的每一個(gè)的選擇矩陣的一個(gè)或多個(gè)部件被配置為，基于該圖像和在其中丟失了至少某些數(shù)據(jù)的區(qū)域周?chē)囊粋€(gè)區(qū)域中的信息，自適應(yīng)地確定一組具有絕對(duì)值低于一個(gè)閾值的變換系數(shù)，然后從那里確定相應(yīng)的選擇矩陣。
21.一個(gè)具有指令程序用于引導(dǎo)機(jī)器執(zhí)行預(yù)測(cè)在一個(gè)數(shù)字表示中的丟失區(qū)域的處理過(guò)程的機(jī)器可讀介質(zhì)，該程序包含(a)用于把在其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域中的非丟失數(shù)據(jù)單元組成n個(gè)層的指令，其中n是一個(gè)大于或等于1的整數(shù)；(b)用于向在該至少一個(gè)區(qū)域中的每一個(gè)丟失數(shù)據(jù)單元分配一個(gè)初始值的指令；以及(c)用于在n層中的每一個(gè)上執(zhí)行以下操作的指令(c)(1)估算在層n上的多個(gè)正交變換，(c)(2)使用一個(gè)閾值來(lái)確定一組具有絕對(duì)值低于閾值的轉(zhuǎn)換系數(shù)，來(lái)閾值處理在層n中的選擇變換系數(shù)，(c)(3)使用在(c)(2)中確定的變換系數(shù)組構(gòu)造一個(gè)選擇矩陣，(c)(4)基于在(c)(3)中構(gòu)造的選擇矩陣構(gòu)造一個(gè)線性方程的系統(tǒng)，以及(c)(5)求解在(c)(4)中構(gòu)造的線性方程的系統(tǒng)以求出在層n中的丟失數(shù)據(jù)單元。
22.如權(quán)利要求21所述的機(jī)器可讀介質(zhì)，其特征在于操作(c)(1)到(c)(5)中的每一個(gè)都僅僅每層執(zhí)行一次。
23.如權(quán)利要求21所述的機(jī)器可讀介質(zhì)，其特征在于用于閾值處理的指令包含用于硬閾值處理的指令。
24.如權(quán)利要求21所述的機(jī)器可讀介質(zhì)，其特征在于其中至少某些數(shù)據(jù)丟失了的至少一個(gè)區(qū)域包含邊緣或者紋理特征中的至少一個(gè)。
25.如權(quán)利要求21所述的機(jī)器可讀介質(zhì)，其特征在于多個(gè)正交變換包含(i)離散余弦變換和預(yù)定數(shù)目的過(guò)完整移位，(ii)小波變換和預(yù)定數(shù)目的它的過(guò)完整移位，或者(iii)傅里葉變換和預(yù)定數(shù)目的它的過(guò)完整移位。
26.如權(quán)利要求21所述的機(jī)器可讀介質(zhì)，其特征在于數(shù)字信號(hào)是一幅由多個(gè)像素組成的圖像或者視頻幀，而且其中丟失了至少某些數(shù)據(jù)的至少一個(gè)區(qū)域包含至少某些丟失了的像素。
27.如權(quán)利要求26所述的機(jī)器可讀介質(zhì)，其特征在于來(lái)自該至少一個(gè)區(qū)域的所有像素都被丟失了。
28.一個(gè)具有指令程序用于引導(dǎo)機(jī)器執(zhí)行預(yù)測(cè)在一個(gè)數(shù)字表示中的丟失區(qū)域的處理過(guò)程的機(jī)器可讀介質(zhì)，該程序包含(a)用于自適應(yīng)地為其中丟失了至少某些數(shù)據(jù)的區(qū)域中的n個(gè)層中的每一個(gè)確定一個(gè)選擇矩陣的指令，其中n是一個(gè)大于或等于1的整數(shù)；(b)用于基于每一個(gè)選擇矩陣構(gòu)造一個(gè)線性方程的系統(tǒng)的指令；以及(c)用于求解每一個(gè)構(gòu)造的線性方程的系統(tǒng)以求出在相應(yīng)層n中的丟失數(shù)據(jù)的指令。
29.如權(quán)利要求28所述的機(jī)器可讀介質(zhì)，其特征在于用于自適應(yīng)地為n層中的每一個(gè)確定一個(gè)選擇矩陣的指令包含指令用于基于圖像和在其中丟失了至少某些數(shù)據(jù)的區(qū)域周?chē)囊粋€(gè)區(qū)域中的信息自適應(yīng)地確定每一個(gè)選擇矩陣。
30.如權(quán)利要求28所述的機(jī)器可讀介質(zhì)，其特征在于用于自適應(yīng)地為n層中的每一個(gè)確定一個(gè)選擇矩陣的指令包含指令用于，基于圖像和在其中丟失了至少某些數(shù)據(jù)的區(qū)域周?chē)囊粋€(gè)區(qū)域中的信息，自適應(yīng)地確定一組具有絕對(duì)值低于閾值的變換系數(shù)，然后從那里確定相應(yīng)的選擇矩陣。
全文摘要
一種圖像恢復(fù)算法，其使用在丟失塊周?chē)目臻g信息完全地恢復(fù)在一個(gè)圖像/視頻幀中的丟失塊。一個(gè)應(yīng)用集中于包含紋理、邊緣及其它圖象特征的像素中的丟失區(qū)域，這些圖象特征為其他的恢復(fù)和誤差隱藏算法提出了問(wèn)題。這個(gè)算法被設(shè)計(jì)為在n層中的每一個(gè)上應(yīng)用一次而且不要求任何復(fù)雜的先決條件、分段或者邊緣檢測(cè)步驟。這層用一個(gè)初始值填充并且設(shè)置一個(gè)閾值。一次一層，在那個(gè)層上估算過(guò)完整變換，而且變換系數(shù)被有選擇地閾值處理，以確定一組具有絕對(duì)值低于該閾值的變換系數(shù)。構(gòu)造一個(gè)線性方程組，從中可以確定在那個(gè)層中的丟失數(shù)據(jù)單元。以一個(gè)過(guò)完整方式使用本地的稀疏線性變換，在這樣區(qū)域的恢復(fù)中獲得良好的PSNR性能。
文檔編號(hào)H04N7/34GK1518364SQ200410001978
公開(kāi)日2004年8月4日 申請(qǐng)日期2004年1月16日 優(yōu)先權(quán)日2003年1月16日
發(fā)明者O·G·古列里烏茲, O G 古列里烏茲 申請(qǐng)人:精工愛(ài)普生株式會(huì)社