專利名稱：隔行視頻圖像中的缺失行的恢復(fù)方法
隔行視頻圖像中的缺失行的恢復(fù)方法技術(shù)鄰域本發(fā)明屬于數(shù)字視頻信號(hào)處理鄰域，具體地說，涉及一種隔行視頻圖像中的缺失行的恢復(fù)方法。
背景技術(shù)：
對(duì)于隔行數(shù)字視頻信號(hào)，傳統(tǒng)的運(yùn)動(dòng)自適應(yīng)解隔行方法通常是對(duì)于靜止的圖像使用3D的信息進(jìn)行插值，而對(duì)于運(yùn)動(dòng)的圖像使用2D的信息進(jìn)行插值。這里，2D的意思是指一場(chǎng)隔行圖像中的信息，即場(chǎng)內(nèi)信息。本發(fā)明討論的問題就是如何通過2D場(chǎng)內(nèi)插值的方法來產(chǎn)生隔行視頻圖像中的缺失行。如圖1所示，對(duì)于一場(chǎng)隔行圖像，其中只有或奇行或偶行的一半圖像信息，即奇場(chǎng)圖像只含有圖像的奇數(shù)掃描行，而偶場(chǎng)圖像只含有圖像的偶數(shù)掃描行。奇場(chǎng)與偶場(chǎng)圖像交替?zhèn)魉途托纬闪送ǔＫf的隔行視頻圖像流。在傳統(tǒng)的運(yùn)動(dòng)自適應(yīng)解隔行方法中，當(dāng)圖像內(nèi)容發(fā)生變化時(shí)，我們要使用2D場(chǎng)內(nèi)插值的方法來產(chǎn)生隔行視頻圖像中的缺失行，這通常也稱為2D解隔行操作，即對(duì)于一幅奇場(chǎng)圖像，利用該場(chǎng)圖像內(nèi)的信息產(chǎn)生缺失的偶數(shù)行像素，而對(duì)于一幅偶場(chǎng)圖像，則利用該場(chǎng)圖像內(nèi)的信息產(chǎn)生缺失的奇數(shù)行像素。如圖1所示，在通常情況下，2D解隔行的操作是對(duì)奇場(chǎng)圖像來說，利用奇行1和奇行3來插值產(chǎn)生缺失的偶行a，利用奇行3和奇行5來插值產(chǎn)生缺失的偶行b，等等；對(duì)偶場(chǎng)圖像來說，利用偶行2和偶行4來插值產(chǎn)生缺失的奇行c，利用偶行4和偶行6來插值產(chǎn)生缺失的奇行d，等等。對(duì)于圖像最上面和最下面的缺失行，我們可以簡(jiǎn)單的進(jìn)行特殊處理， 如重復(fù)缺失行的下一行或上一行來表示缺失行。這種特殊處理由于發(fā)生在圖像的最上邊緣和最下邊緣，故不會(huì)影響觀看。最常見的2D解隔行操作是利用缺失行的上一行與下一行的像素平均值來作為缺失行的像素值，例如，圖1中的缺失偶行a可以這樣得到a =(奇行 1+奇行 3)/2也就是說，缺失行a中的一個(gè)像素的值等于該像素上方奇行1中的像素值與該像素下方奇行3中的像素值的平均值。這種“上下平均”的簡(jiǎn)單方法可以處理大部的2D解隔行問題，但對(duì)于“小角度邊緣”的情況卻力不從心。從圖2中可以清楚的看到，當(dāng)圖像中存在小角度的邊緣時(shí)，采用上下平均的簡(jiǎn)單插值法不能恢復(fù)出原始的逐行圖像，其結(jié)果會(huì)使原逐行圖像中的小角度邊緣呈現(xiàn)出階梯狀。在這種情況下，如果能檢測(cè)到小角度邊緣的走向并沿著邊緣的方向進(jìn)行插值，如圖中所示缺失行的“ ”像素是沿著邊緣的方向由“■”像素插值得到的，那么2D解隔行的結(jié)果就可以完全恢復(fù)原逐行圖像的邊緣。小角度邊緣的走向通常是通過窗口匹配的技術(shù)來確定的。在圖中，我們看到在缺失行的上一行和下一行中可以找到匹配的兩個(gè)檢測(cè)窗口，而這兩個(gè)窗口的位置就決定了邊緣的走向，進(jìn)而也就決定了缺失行對(duì)應(yīng)的“ ”像素的位置?？梢灶A(yù)想到，針對(duì)角度越小的邊緣，匹配檢測(cè)窗口就需要越寬，也就越耗費(fèi)芯片資源。另外，由于視頻圖像中總存在噪音，所以這里的“匹配”并不是指兩個(gè)匹配檢測(cè)窗口中對(duì)應(yīng)的像素都完全相同，而是指總體來說兩個(gè)檢測(cè)窗口中的像素“最相近”。小角度插值方法的關(guān)鍵是準(zhǔn)確檢測(cè)小角度邊緣的走向。由于隔行圖像只含有原逐行圖像的一半信息，所以在很多情況下準(zhǔn)確判斷小角度邊緣的走向會(huì)變得非常困難，而誤判的情況也會(huì)經(jīng)常發(fā)生。以圖3所示為例，原逐行圖像顯示了四個(gè)英文字母“BETH”。如果它們之間的間隔行如圖所示是隔行圖像中的一行缺失行，則我們要利用缺失行的上一行和下一行進(jìn)行匹配檢測(cè)及小角度插值。從缺失行的上一行和下一行的像素分布來看，匹配檢測(cè)窗口 3和匹配檢測(cè)窗口 4比別的方向上的匹配檢測(cè)窗口都“相近”，也就是說匹配檢測(cè)的結(jié)果說明沿著匹配檢測(cè)窗口 3和匹配檢測(cè)窗口 4的方向存在著一條小角度的邊緣。然而， 在原逐行圖像中我們可以知道對(duì)應(yīng)的缺失行中并沒有任何深色的像素，也就不存在一條小角度的邊緣，故上面的匹配檢測(cè)結(jié)果其實(shí)是錯(cuò)誤的。如果按照這樣錯(cuò)誤的匹配檢測(cè)結(jié)果來進(jìn)行小角度的插值，那么得到的缺失行中就會(huì)出現(xiàn)不應(yīng)該存在的一些深色像素。類似圖3中的容易引起匹配檢測(cè)誤判的情況在實(shí)際中會(huì)經(jīng)常遇到。所以利用小角度插值來實(shí)現(xiàn)2D解隔行的方法極大的依賴于能否降低誤判的發(fā)生幾率。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種隔行視頻圖像中的缺失行的恢復(fù)方法，以解決目前的小角度插值方法容易導(dǎo)致匹配檢測(cè)誤判從而無法最接近地恢復(fù)出原始的逐行圖像的技術(shù)問題。為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下一種隔行視頻圖像中的缺失行的恢復(fù)方法，包括如下步驟a)設(shè)定三個(gè)小角度插值窗口的步驟，包括以當(dāng)前缺失像素為中心的2N+1個(gè)像素組成的小角度插值窗口，以該當(dāng)前缺失像素上方像素為中心的2N+1個(gè)像素組成的上方小角度插值窗口，和以該當(dāng)前缺失像素下方像素為中心的2N+1個(gè)像素組成的下方小角度插值窗口，其中N為正整數(shù)；b)分別以該當(dāng)前缺失像素上方像素為中心的2N+1個(gè)像素和當(dāng)前缺失像素下方像素為中心的2N+1 個(gè)像素為中心設(shè)定4N+2個(gè)匹配檢測(cè)窗口的步驟，所有匹配檢測(cè)窗口由不少于2N+3的奇數(shù)個(gè)像素組成，其中N為正整數(shù)；c)以穿過當(dāng)前缺失像素且分別連接所述上方小角度插值窗口和下方小角度插值窗口中像素的2N+1條直線所對(duì)應(yīng)的方向?yàn)槠ヅ浞较蚍謩e計(jì)算出2N+1 個(gè)匹配檢測(cè)值并以其中最小的匹配檢測(cè)值作為最佳匹配檢測(cè)值；d)確定并存儲(chǔ)最佳匹配方向信息的步驟；e)沿該最佳匹配檢測(cè)值所對(duì)應(yīng)的方向得到上一缺失行中對(duì)應(yīng)的像素H; f)判斷該最佳匹配方向信息和上一缺失行中的對(duì)應(yīng)的像素H的最佳匹配方向信息的差的絕對(duì)值是否小于等于用戶設(shè)定的閾值；若是，則采用該最佳匹配方向上的插值計(jì)算恢復(fù)該當(dāng)前缺失像素；若否，則上下平均計(jì)算恢復(fù)該當(dāng)前缺失像素；若因匹配檢測(cè)窗口的寬度不夠而無法形成本步驟中的匹配檢測(cè)窗口進(jìn)行處理的當(dāng)前缺失像素，則將最佳匹配方向記為垂直方向并插值計(jì)算恢復(fù)該當(dāng)前缺失像素；g)按照上述步驟a)至步驟f)處理當(dāng)前缺失像素同一行中的下一個(gè)像素直到當(dāng)前缺失行處理完畢；h)按照上述步驟a)至步驟g)處理下一缺失行的步驟。采用上述方法，通過利用上一缺失行的匹配檢測(cè)結(jié)果來判斷當(dāng)前缺失行的匹配檢測(cè)有效性，能夠極大的減少匹配檢測(cè)誤判情況的發(fā)生，提高匹配檢測(cè)的準(zhǔn)確性，從而使得小角度插值方法可順利應(yīng)用于隔行視頻圖像中的缺失行的恢復(fù)中，此時(shí)圖像的缺失行的恢復(fù)能夠更為準(zhǔn)確。


圖1是隔行視頻流的奇場(chǎng)圖像與偶場(chǎng)圖像的示意圖；圖2是“上下平均”插值與小角度插值方法的對(duì)比圖；圖3是采用小角度插值方法后匹配檢測(cè)誤判的示意圖；圖4是本發(fā)明的小角度插值方法中的小角度插值窗口示意圖；圖5是本發(fā)明的小角度插值方法中的匹配檢測(cè)結(jié)果的有效性檢驗(yàn)示意圖；圖6是本發(fā)明的隔行視頻圖像中的缺失行的恢復(fù)方法的處理流程圖。
具體實(shí)施例方式下面根據(jù)圖4至圖6，給出本發(fā)明的較佳實(shí)施例，并予以詳細(xì)描述，使能更好地理解本發(fā)明的功能、特點(diǎn)。本發(fā)明中的小角度插值方法與系統(tǒng)利用了上一缺失行的匹配檢測(cè)結(jié)果來檢驗(yàn)當(dāng)前缺失行的匹配檢測(cè)結(jié)果，并判斷當(dāng)前缺失行的匹配檢測(cè)結(jié)果是否有效。對(duì)判斷為有效的匹配檢測(cè)結(jié)果進(jìn)行小角度的插值，而對(duì)于判斷為無效的匹配檢測(cè)結(jié)果進(jìn)行傳統(tǒng)的上下平均法處理。第一步是匹配檢測(cè)。首先我們要限定小角度插值操作中角度的最小值，這是通過規(guī)定小角度插值窗口的寬度來實(shí)現(xiàn)的。如圖4所示，小角度插值窗口是一個(gè)寬度為2N+1個(gè)像素的窗口。缺失行的上一行和下一行中各定義一個(gè)小角度插值窗口，分別以缺失行中當(dāng)前插值像素“X”的上方像素“A”和下方像素“B”為中心。將缺失行的上一行中的小角度插值窗口記為pup，其中從左到右的2N+1個(gè)像素記為pup(l)，pup (2)，. . ·，pup QN+1)，而其中中心像素A為pup (N+1)。類似的，缺失行的下一行中的小角度插值窗口記為pdn，其中從左到右的2N+1個(gè)像素記為pdn (l),pdn(2),... , pdn (2N+1)，而其中中心像素B為pdn (N+1)。 當(dāng)像素pup (1)被匹配到像素pdn ON+1)，或當(dāng)像素pdn (1)被匹配到像素pup (2N+1)時(shí)，匹配走向的角度達(dá)到最小，而這個(gè)最小角度可以這樣計(jì)算θ min = arctan [3/ (2N+1)]舉例來說，如果小角度插值窗口的寬度為9個(gè)像素，那么所能處理的最小插值角度應(yīng)當(dāng)為θ min = arctan [3/9] ^ 18. 435degrees也就是說，如果用戶想要小角度插值對(duì)應(yīng)的最小角度約為18 19度，那么就選取寬度為9的小角度插值窗口。在實(shí)際中，隨著小角度邊緣對(duì)應(yīng)的角度小于θπ η并逐漸減小，小角度插值的效果也會(huì)逐漸變差。顯然，越小的θ min也意味著越大的小角度插值窗口，從而需要越多的數(shù)字視頻處理芯片的資源。在確定了小角度插值窗口的寬度后，我們定義匹配檢測(cè)窗口的寬度M為不小于 2N+3的奇數(shù)。在匹配檢測(cè)中，我們共有2M2N+1)個(gè)匹配檢測(cè)窗口，分別以缺失行的上一行中的pup⑴，pup⑵，...，pup (2N+1)和缺失行的下一行中的pdn(l)，pdn (2),...， pdn(2N+l)為窗口中心。這里要注意的是，越大的匹配檢測(cè)窗口雖然在一定程度上可能提高匹配檢測(cè)的準(zhǔn)確性，但同時(shí)也會(huì)導(dǎo)致更多的運(yùn)算從而增加芯片的成本。而且，很大的匹配檢測(cè)窗口有可能包含了過多與插值像素相關(guān)性很弱的信息一一這是因?yàn)楹艽蟮钠ヅ錂z測(cè)窗口會(huì)包含距離插值像素位置很遠(yuǎn)的像素，故檢測(cè)的準(zhǔn)確性也會(huì)受到影響。所以，在實(shí)際的小角度插值電路的設(shè)計(jì)中，匹配檢測(cè)窗口的寬度不應(yīng)選取的過大，本發(fā)明的推薦值即為M = 2N+3。因?yàn)槠ヅ錂z測(cè)窗口的寬度為M，所以一行缺失行的開始(M+l)/2個(gè)像素和結(jié)尾(M+l)/2個(gè)像素會(huì)因窗口寬度不夠而無法處理的，對(duì)于這些圖像邊界附近的像素，我們可以簡(jiǎn)單的規(guī)定進(jìn)行上下平均處理，即X= (A+B)/2。此處也可以理解為，若因匹配檢測(cè)窗口的寬度不夠而無法形成本步驟中的匹配檢測(cè)窗口進(jìn)行處理的當(dāng)前缺失像素，則將最佳匹配方向記為垂直方向。為了方便敘述，我們進(jìn)一步定義匹配檢測(cè)窗口中的M個(gè)像素為
權(quán)利要求
1.一種隔行視頻圖像中的缺失行的恢復(fù)方法，包括如下步驟a)設(shè)定三個(gè)小角度插值窗口的步驟，包括以當(dāng)前缺失像素為中心的2N+1個(gè)像素組成的小角度插值窗口，以該當(dāng)前缺失像素上方像素為中心的2N+1個(gè)像素組成的上方小角度插值窗口，和以該當(dāng)前缺失像素下方像素為中心的2N+1個(gè)像素組成的下方小角度插值窗口，其中N為正整數(shù)；b)分別以該當(dāng)前缺失像素上方像素為中心的2N+1個(gè)像素和當(dāng)前缺失像素下方像素為中心的2N+1個(gè)像素為中心設(shè)定4N+2個(gè)匹配檢測(cè)窗口的步驟，所有匹配檢測(cè)窗口由不少于 2N+3的奇數(shù)個(gè)像素組成，其中N為正整數(shù)；c)以穿過當(dāng)前缺失像素且分別連接所述上方小角度插值窗口和下方小角度插值窗口中像素的2N+1條直線所對(duì)應(yīng)的方向?yàn)槠ヅ浞较蚍謩e計(jì)算出2N+1個(gè)匹配檢測(cè)值并以其中最小的匹配檢測(cè)值作為最佳匹配檢測(cè)值；d)確定并存儲(chǔ)最佳匹配方向信息的步驟；e)沿該最佳匹配檢測(cè)值所對(duì)應(yīng)的方向得到上一缺失行中對(duì)應(yīng)的像素H；f)判斷該最佳匹配方向信息和上一缺失行中的對(duì)應(yīng)的像素H的最佳匹配方向信息的差的絕對(duì)值是否小于等于用戶設(shè)定的閾值；若是，則采用該最佳匹配方向上的插值計(jì)算恢復(fù)該當(dāng)前缺失像素；若否，則上下平均計(jì)算恢復(fù)該當(dāng)前缺失像素；若因匹配檢測(cè)窗口的寬度不夠而無法形成本步驟中的匹配檢測(cè)窗口進(jìn)行處理的當(dāng)前缺失像素，則將最佳匹配方向記為垂直方向并插值計(jì)算恢復(fù)該當(dāng)前缺失像素；g)按照上述步驟a)至步驟f)處理當(dāng)前缺失像素同一行中的下一個(gè)像素直到當(dāng)前缺失行處理完畢；h)按照上述步驟a)至步驟g)處理下一缺失行的步驟。
2.如權(quán)利要求1所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述定義最佳匹配方向信息的步驟具體為若最佳匹配檢測(cè)值所對(duì)應(yīng)的方向所指向的上方小角度插值窗口中的像素是該上方小角度插值窗口中的第k個(gè)像素，則定義最佳匹配方向信息為k ； 所述用戶設(shè)定的閾值為曲率設(shè)置寄存器APT中用戶設(shè)定的值，該值為0到2N中的一個(gè)。
3.如權(quán)利要求1所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述定義最佳匹配方向信息的步驟具體為若最佳匹配檢測(cè)值所對(duì)應(yīng)的方向所指向的下方小角度插值窗口中的像素是該下方小角度插值窗口中的第k’個(gè)像素，則定義最佳匹配方向信息為 k’;所述用戶設(shè)定的閾值為曲率設(shè)置寄存器APT中用戶設(shè)定的值，該值為0到2N中的一個(gè)。
4.如權(quán)利要求1至3中任一權(quán)利要求所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述插值計(jì)算的具體方法為，所述當(dāng)前缺失像素的像素值為最佳匹配方向上所確定的上方小角度插值窗口中像素的像素值和下方小角度插值窗口中像素的像素值之和的平均值。
5.如權(quán)利要求4所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述對(duì)應(yīng)缺失行中的一個(gè)缺失像素的最佳匹配方向信息存儲(chǔ)在最佳匹配方向存儲(chǔ)器中，該最佳匹配方向存儲(chǔ)器對(duì)應(yīng)每一個(gè)缺失像素的存儲(chǔ)單元的位寬大于等于log2QN+l)。
6.如權(quán)利要求5所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述最佳匹配方向存儲(chǔ)器為兩個(gè)，用于輪流存儲(chǔ)當(dāng)前缺失行的最佳匹配方向信息和上一缺失行的最佳匹配方向信息。
7.如權(quán)利要求5所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，利用一小塊臨時(shí)存儲(chǔ)器作為緩存器來實(shí)現(xiàn)當(dāng)前缺失行的最佳匹配方向信息和的上一缺失行的最佳匹配方向信息的讀寫與覆蓋操作。
8.如權(quán)利要求5所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，在每一幅隔行圖像的恢復(fù)處理之前，所有的最佳匹配方向存儲(chǔ)器先清零。
9.如權(quán)利要求4所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述像素值是亮度值。
10.如權(quán)利要求1所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述定義最佳匹配方向信息的步驟具體為最佳匹配方向信息為最佳匹配方向的斜率值。
11.如權(quán)利要求10所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述計(jì)算的具體方法為，所述當(dāng)前缺失像素的像素值為最佳匹配方向上所確定的上方小角度插值窗口中像素的像素值和下方小角度插值窗口中像素的像素值之和的平均值。
12.如權(quán)利要求11所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述像素值是亮度值。
全文摘要
本發(fā)明公開了一種隔行視頻圖像中的缺失行的恢復(fù)方法，包括步驟設(shè)定小角度插值窗口的步驟；設(shè)定匹配檢測(cè)窗口的步驟；計(jì)算最佳匹配檢測(cè)值；沿該最佳匹配檢測(cè)值所對(duì)應(yīng)的方向得到上一缺失行中對(duì)應(yīng)的像素H；判斷該最佳匹配方向信息和上一缺失行中的對(duì)應(yīng)的像素H的最佳匹配方向信息的差的絕對(duì)值是否小于等于用戶設(shè)定的閾值；若是，則采用該最佳匹配方向上的插值計(jì)算恢復(fù)該當(dāng)前缺失像素。采用上述方法，通過利用上一缺失行的匹配檢測(cè)結(jié)果來判斷當(dāng)前缺失行的匹配檢測(cè)有效性，能夠極大的減少匹配檢測(cè)誤判情況的發(fā)生，提高匹配檢測(cè)的準(zhǔn)確性，從而使得小角度插值方法可順利應(yīng)用于隔行視頻圖像中的缺失行的恢復(fù)中，此時(shí)圖像的缺失行的恢復(fù)能夠更為準(zhǔn)確。
文檔編號(hào)H04N7/01GK102196232SQ201010120648
公開日2011年9月21日 申請(qǐng)日期2010年3月9日 優(yōu)先權(quán)日2010年3月9日
發(fā)明者俞誠, 張琦, 朱舸, 魯恒 申請(qǐng)人:富士通微電子(上海)有限公司