專利名稱：：內(nèi)插電影模式兼容性的幀的方法和裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及到內(nèi)插幀的方法，它利用從攝像模式或電影模式中視頻信號的幀頻轉(zhuǎn)換，并可減少通過隔行掃描來使用電影模式而引起的抖動。利用運(yùn)動補(bǔ)償?shù)念l率變換，例如從隔行的50Hz到隔行的100Hz變換，在利用電影模式中的序列時(shí)實(shí)際上會帶來具體的問題。電影模式中的掃描是逐行的25Hz掃描(通過人工每24個圖像重復(fù)一個圖像而實(shí)現(xiàn)每秒24個圖像到25Hz的變換)。為了變換成50Hz的隔行標(biāo)準(zhǔn)電視格式，電影圖像被分解成兩個中間幀，它們對應(yīng)于同一圖像，即相同的瞬間，但它們在不同瞬間顯示。因此，以50Hz隔行觀看，在場景中有物體運(yùn)動時(shí)，會導(dǎo)致抖動效果，因?yàn)樗鼈兊倪\(yùn)動不再被真實(shí)的再現(xiàn)，而是經(jīng)受了一種時(shí)間的分離。如果所用的轉(zhuǎn)換算法只采用了單一幀存貯器，即使進(jìn)行了運(yùn)動補(bǔ)償，這種抖動效果例如在70Hz或100Hz的幀頻轉(zhuǎn)換后還會出現(xiàn)。圖1描述了當(dāng)圖像序列輸入為電影模式時(shí)，在50Hz至100Hz頻率轉(zhuǎn)換情況下，具有垂直均勻線性運(yùn)動的物體的像素的變化。橫座標(biāo)上圖像號(n-1，n，n+1，…)遞增，每個號對應(yīng)于由圖像周期T圖像劃分的瞬間t?？v座標(biāo)對應(yīng)于圖像中像素的垂直位移y，該圖像是由該像素的均勻位移率與幀周期T幀的乘積而劃分的。輸入到頻率轉(zhuǎn)換器的同一圖像的兩幀被標(biāo)為1和3，由轉(zhuǎn)換器重構(gòu)的中間幀被標(biāo)為2和4，在給定圖像的輸出處，這對應(yīng)于四個周期。由叉表示的輸入像素產(chǎn)生于電影模式的幀，因此對于周期1和3對應(yīng)的圖像n的兩個順序幀1和3它們位于相同的位置。對于同一圖像n，頻率轉(zhuǎn)換產(chǎn)生兩個新幀2和4交織在這些幀之間。在一個圖像的兩個順序輸入幀1和3之間，然后在一個圖像的幀3與下一個圖像的幀1之間的運(yùn)動估算在圖1中由圓圈表示-在幀1和3之間，所計(jì)算的運(yùn)動矢量為0，中間幀的像素與那些相應(yīng)于鄰近幀的像素具有相同的位置。-在幀3與1之間，所計(jì)算的運(yùn)動矢量V使中間幀的像素位置可能在距離V/2處。抖動效果即運(yùn)動中的參差不齊在此會導(dǎo)致畫面中的階梯出現(xiàn)，并由在輸出處重復(fù)的輸入像素和重構(gòu)幀的內(nèi)插像素而產(chǎn)生。借助于圖2來描述一種公知的減少抖動的方法。運(yùn)動估算在一個圖像的幀1和3之間(事實(shí)上該運(yùn)動矢量為0)以及在一個圖像的幀3與下一個圖像的幀1之間進(jìn)行。在圖像n的輸入幀3與下一圖像n+1的幀1之間計(jì)算的運(yùn)動矢量V在這兒用來定位由當(dāng)前圖像n的輸出幀3和4內(nèi)插而形成的像素(這兒幀3的像素在輸出處不重復(fù))-對于該同一幀的輸入像素，幀3的輸出像素移動了值V/2。-對于幀3的輸入像素，幀4的輸出像素移動了值3V/4。在先前圖像的輸入幀3與當(dāng)前圖像n的幀1之間計(jì)算的運(yùn)動矢量V′用來定位當(dāng)前圖像的輸出幀的像素；-通過移動幀1的輸入像素而形成的幀2的輸出像素被移動值V′/4。-對于相同幀的輸入像素幀1的輸出像素移動的值為0(重復(fù)像素)。因此，在這兒進(jìn)行外插和兩個內(nèi)插，外插是由先前圖像的一幀和當(dāng)前圖像的一幀所計(jì)算的運(yùn)動矢量進(jìn)行的，內(nèi)插是由當(dāng)前圖像的一幀與下一圖像的一幀所計(jì)算的運(yùn)動矢量進(jìn)行的。如圖所示，在輸出端的像素被對齊，使得抖動效果消失?？墒牵摲椒ㄊ欠浅０嘿F的。它所要求的運(yùn)動矢量的估算需要大量的延遲線，特別是在運(yùn)動估算所加的硬件實(shí)施限制和輸出幀3的輸出像素在分離兩個幀的時(shí)間間隔中被內(nèi)插的情況。利用矢量投影(外插)，因此假設(shè)在兩幀之間估算的運(yùn)動連續(xù)到下一幀，除了抖動現(xiàn)象之外，尤其當(dāng)運(yùn)動不是均勻的時(shí)，給出受損的圖像質(zhì)量?；谠诒热鐑蓚€非連續(xù)幀之間計(jì)算的運(yùn)動內(nèi)插的方法也存在，但它需要一個以上的幀存貯器，因此，需要高的結(jié)構(gòu)成本。本發(fā)明的目的是要克服上述缺點(diǎn)。它涉及到用于內(nèi)插數(shù)字視頻數(shù)據(jù)幀的方法，該數(shù)據(jù)是在電影模式或通常模式下以幀頻按幀格式接收的，包括幀存貯，運(yùn)動估算和存貯幀與當(dāng)前幀之間的內(nèi)插，其特征在于電影模式的存貯是以如此方式以攝像模式頻率的一半執(zhí)行的，即只有對應(yīng)于同一電影圖像的兩個輸入幀的第二個被存貯在幀存貯器中，以便被連續(xù)地再讀出兩次，以與隨后的兩個輸入幀比較，以計(jì)算該運(yùn)動矢量。通過下面結(jié)合附圖對本發(fā)明的最佳實(shí)施例進(jìn)行描述，本發(fā)明的上述目的和優(yōu)點(diǎn)將更清楚。圖1描述了具有垂直均勻線性運(yùn)動的物體的像素的變化，該像素是從電影模式的圖像中產(chǎn)生的，并展示了抖動現(xiàn)象；圖2描述了從按照現(xiàn)有技術(shù)的抖動減少裝置輸出的相同像素的變化；圖3顯示了能減少抖動并實(shí)施按照本發(fā)明的方法的運(yùn)動內(nèi)插和估算裝置；圖4是由按照本發(fā)明裝置的各個模塊輸出的信號的時(shí)序圖；圖5描述了在按照本發(fā)明的裝置輸出端的像素的變化；圖6顯示了用于進(jìn)行內(nèi)插的兩個濾波模式。按照本發(fā)明，結(jié)構(gòu)成本可減少，限制了幀存貯器和延遲線的需要。通過利用單一幀存貯器，通過內(nèi)插就可能計(jì)算電影模式中同一圖像的兩幀之間的中間幀。所計(jì)算的運(yùn)動矢量場具有較好的質(zhì)量，不需要外插。因此改進(jìn)了所顯示的運(yùn)動，限制了體效應(yīng)并得到較好質(zhì)量的運(yùn)動矢量，因此，抑制抖動效果。圖3表示了按照本發(fā)明的裝置。該裝置的輸入是稱為加速存貯器的雙輸出頻率存貯器1的輸入。存貯器1的輸出并行地連接到幀存貯器2的輸入，運(yùn)動估算器3的輸入以及內(nèi)插器4的輸入。幀存貯器2的輸出連接到運(yùn)動估算器的第二輸入和內(nèi)插器的第二輸入。運(yùn)動估算器通過一鏈路傳輸運(yùn)動矢量到內(nèi)插器。該內(nèi)插器4的輸出是該裝置的輸出。幀存貯器2還具有接收對應(yīng)于電影或攝像模式的，輸入到該裝置的圖像信號的控制輸入端。在加速存貯器的輸入端接收的數(shù)字信號是電影模式，即25Hz圖像頻率的逐行掃描。如前面解釋的，這些信號在被傳輸?shù)皆撗b置的輸入端之前，被轉(zhuǎn)換成隔行模式的50Hz頻率。借助于圖4的曲線，可更好地理解該裝置的工作，圖4表示了三個標(biāo)點(diǎn)，用線性掃描y作縱座標(biāo)，用時(shí)間t作橫座標(biāo)。F1n和F2n為對應(yīng)于圖像n的奇偶幀。參考圖2，標(biāo)號F1n和F2n為圖像n的周期1或3。在電影模式下，屬于同一圖像的兩個幀例如F1n和F2n實(shí)際上對應(yīng)于相同的圖像。曲線5對應(yīng)于輸入到加速存貯器的信號y1，曲線6對應(yīng)于由該存貯器輸出的信號y2，曲線7對應(yīng)于由幀存貯器2輸出的信號y3。加速存貯器的作用是以雙倍頻率輸出在輸入端存貯的幀，存貯該幀的第二半部分的第一時(shí)間，存貯下一幀的第一半部分的第二時(shí)間。下面從加速存貯器輸出幀的周期或頻率被稱為周期或幀頻。在雙倍輸出頻率存貯器產(chǎn)生的數(shù)據(jù)中，幀存貯器2只存貯那些對應(yīng)于偶數(shù)幀的第二分離幀，即幀F(xiàn)2n1，F(xiàn)2n等等的第二個。在存貯之后，幀存貯器在其輸出端傳輸所存貯的幀，并在通向下一幀之前重復(fù)它四次，如曲線7所示。因此該存貯器的作用是從離開加速存貯器的幀中選擇幀，并延遲這些所選擇的幀一至四個幀周期，在其輸出端以幀頻連續(xù)四次輸出它們。運(yùn)動估算器3比較在其每個輸入端接收的幀，以確定運(yùn)動矢量場。比較對應(yīng)于在運(yùn)動估算器每個輸入端出現(xiàn)的信號的曲線6和7，很明顯在計(jì)算中要考慮的運(yùn)動是在圖像n的偶數(shù)幀與下一圖像n+1的奇數(shù)幀之間的那些，跨越了兩個幀周期，然后是圖像n的偶數(shù)幀與圖像n+1的偶數(shù)幀之間的那些，跨越了后面的兩個周期。在電影模式中，相比較的兩幀對應(yīng)于兩個不同的瞬間，因?yàn)樗鼈兛偸遣煌膱D像幀。下面將說明運(yùn)動估算器和內(nèi)插器的工作。該電路必須能對付下述兩種情況，即在其輸入端可獲得的幀具有相同的奇偶性，以及它們具有相反的奇偶性。因此，運(yùn)動估算器在輸入端執(zhí)行幀的垂直濾波，無論所比較的幀具有相同奇偶性或相反的奇偶性均允許運(yùn)動矢量的計(jì)算。在對應(yīng)于輸入到運(yùn)動估算器的幀第一次出現(xiàn)的第一幀周期中，通過用相關(guān)性來執(zhí)行例如主塊的匹配來進(jìn)行運(yùn)動矢量的第一次估算，該圖像被分成多個主塊(MB表示主塊)，該匹配方法通常稱為“塊匹配”。在“第二遍”(相同的幀呈現(xiàn)在第二幀周期中)中，通過計(jì)算構(gòu)成主塊的子塊(SB表示子塊)的運(yùn)動矢量來細(xì)化該計(jì)算。分兩步(或2周期)的該計(jì)算方法使得有可能限制這些計(jì)算所需的延遲線數(shù)于是，由于在計(jì)算MB的周期之后的周期中計(jì)算SB的期間，SB矢量的計(jì)算需要知道最接近的MB矢量，就可避免引入附加的延遲線；但是另一方面，SB矢量不能獲得，直到下一周期。這最后一點(diǎn)不是問題，因?yàn)橹辉诳色@得MB矢量的周期期間才需要運(yùn)動補(bǔ)償內(nèi)插。下表表示了在處理電影模式和攝像模式的圖像時(shí)計(jì)算運(yùn)動估算的各種情況。電影模式</tables>頻率加倍的輸出被標(biāo)為C1n以表示這與圖像n的周期數(shù)i相關(guān)。輸出C1n和C3n因此對應(yīng)于輸入F1n和F2n。運(yùn)動估算器計(jì)算來自于幀F(xiàn)1n和F2n1的主塊比如C1n的運(yùn)動矢量的場。幀Y2和Y3的信號是利用合適的系數(shù)計(jì)算運(yùn)動矢量并內(nèi)插輸出幀的那些幀。在下一個周期C2n，呈現(xiàn)到運(yùn)動估算器的兩個輸入端的幀再次為F1n和F2n-1。通過在子塊上作用，這第二周期因此將能使運(yùn)動估算器細(xì)化運(yùn)動矢量的計(jì)算。在對應(yīng)于輸出C3n和C4n的第三和第四周期期間，所呈現(xiàn)的幀為F2n和F2n-1。運(yùn)動矢量的計(jì)算也是在子塊水平上完成，在第一周期期間為主塊所計(jì)算的運(yùn)動矢量在這兒被利用，因?yàn)樗鼈內(nèi)匀皇怯行У?。因此，只有在第一與隨后的周期之間的幀改變時(shí)，對于這些矢量的計(jì)算，比較總是在圖像n-1和n之間進(jìn)行，并知道在電影模式下，偶數(shù)幀和奇數(shù)幀對應(yīng)于同一圖像，即源圖像的相同瞬間。對于第四周期重復(fù)該計(jì)算，因?yàn)檫@可避免先前矢量場的存貯因此消耗存貯器。攝像模式在攝像模式，同一圖像的兩幀F(xiàn)1n和F2n對應(yīng)于源圖像的兩個不同瞬間。因此，在與C1n對應(yīng)的第一周期期間，運(yùn)動矢量的計(jì)算是基于幀F(xiàn)2n-1和F1n在主宏塊MB上進(jìn)行的，在第二周期期間則在這些相同幀的子塊上進(jìn)行。對于第三周期，所呈現(xiàn)的幀為F1n和F2n，因此從這些幀可以計(jì)算塊MB上新的運(yùn)動矢量，第四周期允許在子塊上細(xì)化。兩個模式之間的區(qū)別與幀存貯器相關(guān)。對應(yīng)于所包含模式的信號被送到幀存貯器的控制輸入端，該輸入端同意或拒絕存貯其輸入端呈現(xiàn)的幀。在圖4的曲線7中可看出在幀存貯器輸入端可獲得的信號y2在電影模式中以每四周期的速率被寫取樣，例如F2n-1，F(xiàn)2n，F(xiàn)2n+1，等等。然后所存貯的幀在四個連續(xù)的周期(或四個連續(xù)的幀周期)內(nèi)被讀出四次。而在攝像模式下，取樣是以雙倍頻率，所存貯的幀因此在二個連續(xù)的周期內(nèi)重復(fù)。為給定幀計(jì)算的運(yùn)動矢量場被傳輸?shù)絻?nèi)插器4。它按照在其第一輸入端上接收的幀和在其第二輸入端上接收的幀的函數(shù)進(jìn)行內(nèi)插。在通常模式下加到運(yùn)動矢量的系數(shù)為0和1/2。在電影模式，從圖5可以較好理解所選的值。在幀F(xiàn)2n-1和F1n之間計(jì)算運(yùn)動矢量V1以產(chǎn)生中間幀的像素，它離第一幀的像素的距離為1/4×V1，在幀F(xiàn)2n-1和F2n之間計(jì)算運(yùn)動矢量V2，以產(chǎn)生中間幀的像素，它離第一幀的像素的距離為3/4×V2。幀F(xiàn)1n和F2n對應(yīng)于同一電影圖像，矢量V1和V2因此是相同的，當(dāng)考慮在第一周期期間的宏塊上計(jì)算的運(yùn)動矢量時(shí)，這就是為什么在第三和第四周期期間在子塊上進(jìn)行計(jì)算的原因，由圓圈(輸出像素)代表的像素的對齊所示的抖動效果被抑制了。常規(guī)的內(nèi)插濾波器用相反奇偶性的兩幀工作。通過對兩個輸入幀之一的垂直平均可體現(xiàn)這種濾波器用途。通過平均兩個輸入幀中的一個所進(jìn)行的濾波使得有可能產(chǎn)生具有相反奇偶性的一場。該內(nèi)插濾波然后可以常規(guī)方式進(jìn)行，盡管是對三個像素取平均，即一個幀的兩個像素，一個在另一個的下面，和在后面構(gòu)成的相反奇偶性的幀的中間行上的那一個。可是該解決方法可能會損失垂直方向的清晰度。另一個解決方法包括在輸入到內(nèi)插器的兩個偶數(shù)幀基礎(chǔ)上進(jìn)行濾波，以獲得奇數(shù)幀。例如用線性/中值濾波器或簡單的一個線性濾波器，對四個像素或兩個像素進(jìn)行濾波。圖6中給出了一個例子，它表示了從這種輸入像素(又叉)的濾波所獲得的輸出像素(圓圈)。濾波的選擇取決于分配到中間幀像素的運(yùn)動矢量和具有要內(nèi)插的像素的行的奇偶性。具有0運(yùn)動矢量的輸出像素Y可用線性/中值混合濾波器從一幀輸入像素A，C和相同奇偶性的其它幀的輸入像素B，D的值(亮度)產(chǎn)生。Y=MEDIAN((A+B)2,MEDIAN(A,B,C,D),(C+D)2)]]>。具有奇數(shù)個變量的中值算子去除了極限值而只選擇中間值，具有偶數(shù)個變量的中值算子選擇兩個中間值并計(jì)算它們的平均值。運(yùn)動矢量為+2的輸出像素Z可從一幀的像素E和相同奇偶性的其它幀的像素D產(chǎn)生，用單一線性濾波器移動一行。Z=(E+D)2]]>本發(fā)明不限制于所描述的例子，而是可應(yīng)用于需要內(nèi)插的任何類型的幀掃描轉(zhuǎn)換器。具體地，按照輸入幀頻率和輸出幀頻率之間的比率，為了實(shí)施本發(fā)明，并不是必須要采用“加速”型存貯器。權(quán)利要求1.用于內(nèi)插數(shù)字視頻數(shù)據(jù)的幀的方法，該數(shù)據(jù)是在電影模式或通常模式下以幀頻按幀格式接收的，包括幀存貯，產(chǎn)生運(yùn)動矢量的運(yùn)動估算和在所存貯幀與當(dāng)前幀之間的內(nèi)插，其特征在于在電影模式下，存貯是以如此方式以攝像模式頻率的一半執(zhí)行的，即只有對應(yīng)于同一電影圖像的兩個輸入幀的第二個被存貯在幀存貯器中，以便被連續(xù)地再讀出兩次，以與隨后的兩個輸入幀比較，以計(jì)算該運(yùn)動矢量。2.用于轉(zhuǎn)換數(shù)字視頻數(shù)據(jù)的幀頻的方法，包括按照權(quán)利要求1的幀存貯，產(chǎn)生運(yùn)動矢量的運(yùn)動估算和在所存貯幀與當(dāng)前幀之間的內(nèi)插，其特征在于當(dāng)前幀被首先存貯以便以輸入幀頻率的雙倍頻率連續(xù)地讀取兩次，以產(chǎn)生y2，其中y2在通常模式每第二幀被存貯，在電影模式每第四幀被存貯，每次都是最后一幀，以便以輸入幀頻率的兩倍頻率被順序讀取，以產(chǎn)生y3，其中運(yùn)動估算和內(nèi)插在以輸入幀頻的雙倍頻率讀取的幀y2和y3之間進(jìn)行。3.按照權(quán)利要求1或2的方法，其特征在于當(dāng)接收的兩幀具有相同奇偶性時(shí)，事先進(jìn)行內(nèi)插，通過對兩幀之一y2垂直平均來預(yù)濾波，以產(chǎn)生與y3相反奇偶性的幀。4.按照權(quán)利要求1或2的方法，其特征在于當(dāng)接收的兩幀具有相同的奇偶性時(shí)進(jìn)行內(nèi)插，在由要內(nèi)插的像素的運(yùn)動矢量匹配的四個像素上進(jìn)行線性/中值濾波，首先的兩個像素屬于兩個連續(xù)的行，而其它兩個屬于其它幀中相應(yīng)的連續(xù)行，這些像素的水平和垂直位置由要內(nèi)插的像素的位置和分配給該像素的運(yùn)動矢量來確定。5.按照權(quán)利要求1或2的方法，其特征在于當(dāng)接收的兩幀具有相同奇偶性時(shí)進(jìn)行內(nèi)插，在由要內(nèi)插的像素的運(yùn)動矢量匹配的兩個像素上進(jìn)行線性濾波，一個像素來自一幀，相應(yīng)像素來自另一幀，這些像素的水平和垂直位置由要內(nèi)插的像素的位置和分配給該像素的運(yùn)動矢量來確定。6.按照權(quán)利要求4或5的方法，其特征在于濾波的選擇取決于分配給被內(nèi)插幀的像素的運(yùn)動矢量和該像素所屬的行的奇偶性。7.用于內(nèi)插數(shù)字視頻數(shù)據(jù)的幀的裝置，該數(shù)據(jù)是在電影模式或通常模式下以幀格式接收的，該裝置包括幀存貯器(2)，用于接收數(shù)字視頻數(shù)據(jù)；運(yùn)動估算器(3)和內(nèi)插器(4)，每個具有兩個輸入端，它們的第一輸入端接收相同的數(shù)字視頻數(shù)據(jù)，作為幀存貯器的輸入，它們的第二輸入端接收幀存貯器的輸出，其特征在于數(shù)字視頻數(shù)據(jù)事先通過“加速”型存貯器(1)，通過重復(fù)幀兩次，在輸出端以雙倍頻率產(chǎn)生視頻數(shù)據(jù)；在攝像模式下，幀存貯器每第二幀寫入，然后以輸入幀頻的雙倍頻率讀取該幀兩次，而在電影模式下幀存貯器每第四幀寫入，然后以雙倍幀頻的頻率讀取該同一幀四次，每次幀存貯器存貯的幀是從同一圖像產(chǎn)生的兩幀中的第二個。全文摘要一種內(nèi)插電影模式兼容性的幀的方法和裝置。本發(fā)明涉及用于內(nèi)插數(shù)字視頻數(shù)據(jù)幀的方法,該數(shù)據(jù)是在電影模式或通常模式下以幀頻按幀格式接收的,包括幀存貯,產(chǎn)生運(yùn)動矢量的運(yùn)動估算和在所存貯幀與當(dāng)前幀之間的內(nèi)插,其特征在于:在電影模式下,存貯是以如此方式以攝像模式下頻率的一半執(zhí)行的,即只有對應(yīng)于同一電影圖像的兩個輸入幀的第二個被存貯在幀存貯器中以連續(xù)地再讀出兩次,以與隨后的兩個輸入幀比較,以計(jì)算該運(yùn)動矢量。本發(fā)明應(yīng)用于幀頻轉(zhuǎn)換。文檔編號H04N5/44GK1171010SQ9711396公開日1998年1月21日申請日期1997年6月26日優(yōu)先權(quán)日1996年6月28日發(fā)明者卡瑟林·亨伯格申請人:湯姆森多媒體公司