專利名稱：進行反向電視電影處理的裝置與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻處理方法和一種視頻處理裝置，更具體地，涉及一種通過為每一幀計算(在給定塊內(nèi))每一場的像素亮度之間的絕對局部(在該給定塊內(nèi))差的總和作為場-相關(guān)(field-correlation)指示符，來識別由來自不同幀的場組成的電視電影圖像，從而進行反向(inverse)電視電影處理的方法與裝置。此外，本發(fā)明涉及一種計算機可讀記錄介質(zhì)，其存儲用于執(zhí)行反向電視電影方法的計算機程序。
背景技術(shù)：
圖1是用于描述電視電影處理和反向電視電影處理的視圖。反向電視電影(“IVTC”或“32下拉”)適用于變換為NTSC視頻的電影影片內(nèi)容。因為影片以24幀/秒(fps)拍成電影，而NTSC標(biāo)準(zhǔn)是30fps，當(dāng)將電影內(nèi)容變換成視頻時，必須使用一個″電視電影″處理以增加(復(fù)制)某些幀。當(dāng)將內(nèi)容從30fps轉(zhuǎn)換回24fps時(例如，當(dāng)使用數(shù)字技術(shù)對視頻內(nèi)容編碼時)，使用反向電視電影處理以去除這些復(fù)制的幀，從而節(jié)約文件大小。
以24fps(幀每秒)制作使用電影攝影機拍攝的電影、廣告或電視肥皂劇(后文中總稱為電影)。為了用國家電視系統(tǒng)委員會(NTSC)廣播系統(tǒng)進行顯示，電影必須轉(zhuǎn)換成30fps速率形式。通過將復(fù)制的場增加(交織)到幀(圖像)的原始場中所選定的一個場以產(chǎn)生電視電影圖像來獲得所述轉(zhuǎn)換。電視電影機做一些稱為下拉的事情，其最簡單地說，就是每四幀″下拉″一個額外幀以獲得全部五幀代替四幀。通過增加兩個附加(交織)場，每四幀轉(zhuǎn)換成五幀。此處理被稱為一個電視電影處理或者32下拉處理。
雖然NTSC具有29.97的幀速率，實際上一秒鐘屏幕部分地重新調(diào)整59.94次。換句話說，一秒鐘在屏幕上繪制半幀60次。這樣就產(chǎn)生了場的概念。一幀的“前”場包括該幀的奇數(shù)水平行中的所有像素，其包括頂部的水平行。幀的“后”場包括該幀的偶數(shù)水平行中的所有像素，其包括頂?shù)仔?top bottomline)。偶數(shù)行或奇數(shù)行的每次全掃描組成一個“場”。因此，每一個場包含一幀中一半的圖像數(shù)據(jù)，并且兩個場(前場和后場)交織形成一幀。
30fps的電視電影幀通常是兩個交織幀后跟隨三個順次幀。電影的第一幀由兩個視頻場表示；電影的第二幀由三個視頻場(1.5個幀)表示；電影的第三幀又是由兩個場表示，而電影的第四幀又由三個場表示，以此類推下去。
參照圖1，F(xiàn)F1到FF4表示電影幀，1T、1B、1T(r)、2B、2T、3B、3T、3B(r)、4T和4B表示由32下拉處理形成(從幀中抽取)的場，而BF1到BF5表示通過電視電影處理(也稱為“32下拉處理”)形成的視頻幀。
此處，通常，iT(這里“i”是自然數(shù))表示第i幀的前場，iB表示第i幀的后場，iT(r)是第i幀的前場的副本，iB(r)是第i幀的后場的副本。
圖2是圖解說明用于實現(xiàn)反向電視電影處理的裝置200的基本輸入和輸出的簡化方框圖。參照圖1和圖2，反向電視電影(或去交織)是用于將30fps(精確的，是29.976fps)的視頻幀(VF)再轉(zhuǎn)變回24fps(精確的，是23.976fps)的電影幀(FF)的處理。
該反向電視電影處理是用于通過精確識別由32下拉處理(或序列)形成的視頻幀(VF，此后稱為電視電影圖像)來恢復(fù)原始電影幀(FF)的處理。
在反向電視電影(或去交織)處理中最關(guān)鍵的操作是識別(認(rèn)出)該32下拉序列。在該32下拉序列被噪聲或改變的場景所改變時，該被恢復(fù)的電影幀(FF)不能被精確地恢復(fù)成與原始電影幀相同。

發(fā)明內(nèi)容
本發(fā)明提供一種用于可靠地進行反向電視電影處理的方法和裝置，其中能夠不受噪聲影響地以較小的計算復(fù)雜度、較高的精確度從電視電影視頻流中恢復(fù)與原始的電影幀序列精確相同的電影幀序列。
本發(fā)明的實施例還提供了一種存儲在計算機中進行反向電視電影方法的計算機程序的記錄介質(zhì)。
根據(jù)本發(fā)明的一個方面，提供于一種用于實現(xiàn)反向電視電影處理的方法，該方法包括步驟計算以每秒M幀(此處，M是自然數(shù))的速率輸入的多個電視電影圖像的絕對局部場差的幀總和(FT)；規(guī)格化該絕對局部場差的幀總和(FT)并輸出每次以5幀為單位規(guī)格化的規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量；將規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量與多個模板進行比較；及控制以每秒M幀的速率輸入的的視頻幀的數(shù)目和原始電影幀的數(shù)目，該原始電影幀是從輸入的視頻幀中恢復(fù)的，并以每秒N幀(此處，N是自然數(shù))的速率被輸出。絕對局部場差的幀總和(FT)表示一幀中的相鄰的奇場和偶場中的像素亮度的差的總和，并指示該幀的奇場和偶場之間的相關(guān)性。
計算輸入視頻幀的絕對局部場差的幀總和的步驟可以包括子步驟將每個視頻幀分成多個n×m像素塊；計算多個n×m像素塊的每一個的絕對局部場差，其被定義為一個n×m像素塊中的奇數(shù)行上的像素的亮度值與這個n×m像素塊中偶數(shù)行上的像素的亮度值之間的差的絕對值；及計算每幀的絕對局部場差的幀總和，其被定義為形成各個視頻幀的多個的n×m像素塊的每一個塊的絕對局部場差的總和。
按照本發(fā)明的另一方面，提供一種存儲用于在計算機中實現(xiàn)反向電視電影的方法的計算機程序的記錄介質(zhì)，所述反向電視電影方法包括計算以每秒M幀(此處，M是自然數(shù))的速率輸入的各個電視電影圖像的絕對局部場差的幀總和；規(guī)格化該絕對局部場差的幀總和并輸出每5幀進行規(guī)格化的、5個規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量；及將規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量與多個模板進行比較；以及控制以每秒M幀的速率輸入的視頻幀的數(shù)目和原始電影幀的數(shù)目，該原始電影幀是從輸入的視頻幀中恢復(fù)的，并以每秒N幀(此處，N是自然數(shù))的速率被輸出。
計算每個輸入的視頻幀的絕對局部場差的幀總和的步驟可以包括子步驟將每個視頻幀分成多個n×m像素塊；對于多個n×m像素塊的中的每一個，計算一個n×m像素塊中的奇數(shù)行上的像素的亮度值與這個n×m像素塊中偶數(shù)行上的所有像素的亮度值之間的差的絕對值；及計算形成一個視頻幀的多個n×m像素塊的絕對值的總和。
按照本發(fā)明的又一方面，提供一種用于進行反向電視電影處理的裝置，該裝置包括場差檢測單元，用于計算以每秒M幀(此處，M是自然數(shù))的速率輸入的電視電影圖像的絕對局部場差的幀總和；規(guī)格化單元，用于規(guī)格化從場差檢測單元輸出的絕對局部場差的(5)幀總和；并輸出以5幀為單位規(guī)格化的、規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量；比較單元，用于將規(guī)格化后的絕對局部場差的幀總和的(行)向量與一參考模板進行比較，并輸出比較的結(jié)果；幀緩沖單元，用于控制以每秒M幀的速率輸入的視頻幀的數(shù)目，和從輸入的視頻幀中恢復(fù)的原始電影幀的數(shù)目，并用于以每秒N幀(此處，N是自然數(shù))的速率輸出所恢復(fù)的幀。
該場差檢測單元可以被適配用來將每個視頻幀分成多個n×m像素塊；對于多個塊的每一個塊，計算這個塊中的奇數(shù)行上的像素的亮度與這個塊中偶數(shù)行上的像素的亮度之間的差的絕對值；及計算絕對局部場差的幀總和，該絕對局部場差的幀總和被定義為形成視頻幀的多個n×m像素塊的絕對值的總和。
上述裝置可包括一個存儲多個模板的查找表。該比較單元可包括第一比較器，其將以每5幀為單位規(guī)格化的、規(guī)格化后的絕對局部場差的幀總和的(行)向量與存儲在查找表中的多個模板進行比較，并根據(jù)該比較結(jié)果輸出一輸出信號；及第二比較器，其將參考模板與來自第一比較器的輸出信號進行比較，并輸出作為判定的結(jié)果的幀載入信號與合成命令。另外，幀載入信號可以控制以每秒M幀的速率輸入的視頻幀的數(shù)目，且合成命令可以指示電視電影圖像的合成方法。


結(jié)合附圖，通過詳細(xì)描述示例性實施例，本發(fā)明的上述和其他特征將變得更加清楚，其中圖1是描述相關(guān)技術(shù)中的電視電影處理和反向電視電影處理的方框圖；圖2是用于實現(xiàn)執(zhí)行反向電視電影處理的任意方法的裝置的簡化方框圖；圖3是根據(jù)本發(fā)明的實施例的、用于執(zhí)行反向電視電影處理的裝置的詳細(xì)方框圖；及圖4是根據(jù)本發(fā)明的實施例的、用于執(zhí)行反向電視電影處理的方法的流程圖；具體實施方式
將參照附圖描述本發(fā)明的最為優(yōu)選的實施例。附圖中相同的附圖標(biāo)記表示相同的元件。
將參照圖1、3和4來描述根據(jù)本發(fā)明的、用于執(zhí)行反向電視電影處理的方法和裝置。
通過將復(fù)制的場1T(r)和場2B相結(jié)合，制成電視電影圖像BF2(位于電視電影圖像序列BF1、BF2、BF3、BF4和BF5中)，其中在原始的電影幀(FF)中的復(fù)制的場1T(r)和場2B之間存在一個預(yù)定的時間差(例如，1/24秒)。
同樣，通過將場2T和場3B相結(jié)合制成電視電影圖像BF3，其中在原始的電影幀(FF)中的復(fù)制的場2T和場3B之間有一個預(yù)定的時間差(例如，1/24秒)。
幀BF2和BF3的絕對局部場差的幀總和(Frame Totals of Absolute LocalField Difference)與幀BF1、BF4和BF5的絕對局部場差的幀總和有很大差別，所述幀BF2和BF3是通過將在不同時刻拍攝的場(例如，分別為(1T(r)，2B)和(2T，3B))組合而形成的，所述幀BF1、BF4和BF5是通過將在相同時刻拍攝的場(例如，分別為(1T，1B)，(3T，3B(r)和(4T，4B))組合而形成的。
因此，可通過采用執(zhí)行反向電視電影處理的方法和裝置來測量和比較幀的絕對局部場差的幀總和以便檢測電視電影幀。應(yīng)注意到，本領(lǐng)域普通技術(shù)人員很容易知曉術(shù)語“絕對局部場差的幀總和(FT)”也稱為一幀的多個塊中的每一個的“π頻率分量(fπB)”的總和。
因此，通過檢測各個幀的長度方向上的頻率分量可以檢測電視電影圖像，并且規(guī)格化(normalized)該視電影圖像。然后，從規(guī)格化的值中識別出當(dāng)前五個電視電影圖像的排列(序列)，并從該識別出的排列(序列)中恢復(fù)原始的電影幀(FF)。
圖3是適合于執(zhí)行根據(jù)本發(fā)明方法的反向電視電影處理的裝置的方框圖。
參照圖3，反向電視電影裝置200-1包括幀緩沖單元210、場差檢測單元220、規(guī)格化單元230、查找表240和比較單元250。
幀緩沖單元210包括5個串聯(lián)連接的移位幀緩沖器211、213、215、217和219。幀緩沖單元210的各個移位幀緩沖器211、213、215、217和219接收以30fps的速率輸入的電視電影圖像VF，響應(yīng)于從比較單元250輸出的幀載入信號(TBLF)來控制輸入的電視電影圖像的數(shù)目，并通過響應(yīng)于合成命令SYN_COM而合成該電視電影圖像來恢復(fù)原始的電影幀F(xiàn)F。
每一幀電視電影圖像VF被順序地從幀緩沖器219移位到幀緩沖器211，并存儲于其中。
場差檢測單元220將電視電影圖像分成具有預(yù)定尺寸的塊(例如，4×4像素)，并計算每一個塊的絕對局部場差。
可用公式1計算塊的絕對局部場差(ALFD)。
公式1ALFD＝|∑ODD_Y-∑EVEN_Y|此處，∑ODD_Y是形成一個塊的奇數(shù)行上的所有像素的亮度值總和，而EEVEN_Y是形成一個塊的偶數(shù)行上的所有像素的亮度值(Y)總和。
因此，一個塊的絕對局部場差(ALFD)是由在該塊中的奇數(shù)行上的所有像素的亮度的總和(∑ODD_Y)與偶數(shù)行上的所有像素的亮度的總和(∑EVEN_Y)之間的差的絕對值來表示。
因此，一幀的絕對局部場差的幀總和是形成該幀的所有塊的絕對局部場差的總和。一個完整幀的絕對局部場差的幀總和的值隨著選定的n×m像素塊的尺寸而變化，但將與該幀中的前場和后場之間的相關(guān)度反向地有關(guān)。對于原始電影幀，總和比較小，而對于電視電影幀(由來自于不同幀的場組成的視頻幀VF)比較大。因此，本發(fā)明提供一種場相關(guān)算法，由此，可將電視電影幀(由來自于不同幀的前場和后場組成的視頻幀VF)與原始的電影幀(FF)(由相同電影幀的前場和后場組成)區(qū)別開。
在給定幀的絕對局部場差的幀總和與預(yù)定閾值(例如，中值)之間的差較大的情況下，該給定幀(例如，BF2)可能是一個電影幀(例如，F(xiàn)F1)的前場(例如，1T(r)和另一電影幀(例如，F(xiàn)F2)的后場(例如，2B)的組合。
在此，希望該預(yù)定閾值是5個連續(xù)幀(例如，圖1中的BF1到BF5)的絕對局部場差的幀總和(FT)的中值。
場差檢測單元220計算幀的絕對局部場差的幀總和，并將計算結(jié)果輸出到規(guī)格化單元230。
于是，場差檢測單元220將電視電影圖像VF分別分成多個(PB)n像素×m像素的塊(例如，其中n＝m，以產(chǎn)生n×n像素塊)(此處，n和m是自然數(shù)，例如整數(shù))，計算n×m像素塊中的奇數(shù)行上的像素的亮度與該n×m像素塊的偶數(shù)行上的像素的亮度之間的差的絕對值，并計算幀的絕對局部場差的幀總和，其被定義為形成電視電影圖像(幀)的多個(PB)n×m像素塊的絕對局部場差值的總和。
規(guī)格化單元230規(guī)格化每個幀的絕對局部場差的幀總和，并輸出的一個規(guī)格化后的“數(shù)量(行)向量(magnitude(row)vector)”(a1a2a3a4a5)，其包括規(guī)格化后的5個連續(xù)幀的絕對局部場差的幀總和。
執(zhí)行規(guī)格化處理，以使規(guī)格化后的具有中值的幀的絕對局部場差的幀總和等于0，并使規(guī)格化后的其他幀的幀總場差(NFT)等于1。
根據(jù)公式2實現(xiàn)規(guī)格化。
公式2NFT=|FTi-MDσ|]]>此處，F(xiàn)Ti是第i幀的幀總場差(NT)，MD表示中值，σ表示標(biāo)準(zhǔn)差。
另外，用一預(yù)定值修正通過公式2計算出來的每一幀的值NFT，以使每一幀的NFT處于0到1之間。
然而，如果標(biāo)準(zhǔn)差σ太小，用公式2計算出的值NFT就增大。因此，可用公式3來進行規(guī)格化處理。
公式3NFT=|FTi-MDmax(σ,σ0)|]]>此處，σ0是一預(yù)定常數(shù)。
因此，包含有在相同時刻拍攝的場(例如，分別由場(1T，1B)，(3T，3B(r))，(4T，4B)組成的BF1，BF4和BF5)的幀的規(guī)格化后的幀總場差(NFT)近似等于0，而包含有在彼此不同的時刻拍攝的場(例如，分別由場(1T(r)，2B)，(2T，3B)組成的BF2和BF3)的各個幀的規(guī)格化后的幀總場差近似等于1。
查找表240包括具有5個數(shù)字b1b2b3b4b5的實數(shù)(行)向量(此后，稱作模板)。查找表240可包括一個只讀存儲器(ROM)。
比較單元250包括第一比較器251和第二比較器253。第一比較器251利用公式4將規(guī)格化后的幀總場差的(行)向量(a1a2a3a4a5)與存儲在查找表240中的各個模板進行比較，并輸出比較結(jié)果(COUT)。
公式4Cp=Σi=15|ai-bi|]]>此處，ai表示規(guī)格化后的幀總場差(NFT)的(行)向量中的一個元素，bi表示模板中的一個元素。
因此，第一比較器251查找具有最小值Cp的模板，并輸出相應(yīng)于該模板的輸出信號(COUT)。
在查找表240中存儲有很多模板，然而在表1中示出了能存儲在本發(fā)明的反向電視電影裝置中的模板。
表1


第二比較器253接收第一比較器251的輸出信號(COUT)，將該接收到的輸出信號(COUT)與對應(yīng)于參考模板(REF_TEM)的數(shù)字進行比較，用比較結(jié)果來確定是批準(zhǔn)還是拒絕第一比較器的輸出信號COUT，并將幀載入信號(TBLF)與合成命令SYN_COM作為判定的結(jié)果輸出到幀緩沖器單元210。
如果第二比較器253批準(zhǔn)第一比較器251的輸出信號(COUT)，則第二比較器253將對應(yīng)于第一比較器251的輸出信號COUT的幀載入信號TBLF輸出到幀緩沖器單元210，如表2所示。如果第二比較器253拒絕第一比較器251的輸出信號COUT，則第二比較器忽略第一比較器251的輸出信號COUT，并將對應(yīng)于參考模板REF_TEM的幀載入信號TBLF輸出到幀緩沖器單元210。
在此，幀載入信號TBLF是一個用于控制輸入到幀緩沖器單元210的電視電影圖像VF的數(shù)目的控制信號，而合成命令SYN_COM是一個用于命令如何合成存儲在幀緩沖器211、213、215、217和219中的電視電影圖像的命令信號。
表2示出了依照第一比較器251的輸出信號COUT的幀載入信號TBLF和相應(yīng)于合成命令SYN_COM的幀緩沖器單元210的合成方法。
表2


在此，幀“1”到“5”分別表示存儲在各個幀緩沖器211、213、215、217和219中的電視電影圖像。
幀緩沖器單元210在“前場優(yōu)先”(TFF)和“后場優(yōu)先”(BFF)電視電影合成方法之間有區(qū)別。
例如，在“前場優(yōu)先”(TFF)的方法中合成11000的情況下，組合第一幀的前場和第二幀的后場形成一電影幀。相反，在“后場優(yōu)先”(BFF)的方法中合成11000的情況下，組合第一幀的后場的和第二幀的前場形成一電影幀。
因此，如圖1所示，通過響應(yīng)合成命令SYN COM將電視電影視頻幀(例如，BF2)的后場(例如，2B)與電視電影視頻幀(BF3)的前場(例如，2T)組合，幀緩沖器210能合成一恢復(fù)的電影幀。
在下文中，將詳細(xì)描述在參考模板REF_TEM是1，1，0，0，0(對應(yīng)于(1，1，0，0，0)的數(shù)字是1)的情況下執(zhí)行反向電視電影處理的裝置的操作。
在規(guī)格化后的幀總場差的(行)向量(a1a2a3a4a5)是0.1，0.9，0.9，0.1，0.2的情況下，第一比較器251根據(jù)公式4從形成查找表240的模板中選擇具有最小Cp的模板(0，1，1，0，0)，并將對應(yīng)于選定的結(jié)果的數(shù)字2輸出到第二比較器253。
由于第一比較器251的輸出信號(COUT＝2)與對應(yīng)于參考模板(1，1，0，0，0)的數(shù)字1彼此不同，第二比較器253決定是批準(zhǔn)還是拒絕第一比較器251的輸出信號(COUT＝2)。
如果輸出信號(COUT＝2)被批準(zhǔn)，則第二比較器253將表示在表2中所示的合成方法的合成命令SYN_COM和具有值“1”的幀載入信號TBLF輸出到幀緩沖器單元210。
因此，幀緩沖器單元210響應(yīng)合成命令SYN_COM和值為“1”的幀載入信號TBLF來輸出存儲在幀緩沖器211中的一個電視電影圖像(或幀)，且?guī)彌_器219接收新的電視電影圖像VF。
在此，存儲在幀緩沖器219、217、215和213中的電視電影圖像分別被移位到幀緩沖器217、215、213和211中。
場差檢測單元220計算輸入到幀緩沖器219中的新電視電影圖像VF的幀總場差(FT)，并將計算結(jié)果(FT)輸出到規(guī)格化單元230。
由于規(guī)格化單元230輸出每5幀進行規(guī)格化的幀總場差(NFT)的(行)向量(a1a2a3a4a5)，可以預(yù)期從第一比較器251輸出1。
另外，在規(guī)格化后的幀總場差(NFT)的(行)向量(a1a2a3a4a5)是0.9，0.9，0.1，0.1，0.9的情況下，第一比較器251根據(jù)公式4從形成查找表240的模板中選擇具有最小Cp的模板(1，1，0，0，1)，并將對應(yīng)于該選擇結(jié)果的數(shù)字6輸出到第二比較器253。
由于第一比較器251的輸出信號(COUT＝6)與對應(yīng)于參考模板1，1，0，0，1的數(shù)字(1)彼此不同，所以第二比較器決定是批準(zhǔn)第一比較器251的輸出信號(COUT＝6)還是拒絕它。
在由于模板1，1，0，0，0有噪聲而將模板1，1，0，0，0判斷為模板1，1，0，0，1的情況下，第二比較器253拒絕第一比較器251的輸出信號(COUT＝6)，并選擇對應(yīng)于模板1，1，0，0，0的數(shù)字1。因此，第二比較器253將表示在表2中所示的合成方法的合成命令SYN_COM和具有值“5”的幀載入信號TBLF輸出到幀緩沖器單元210。
幀緩沖器單元210響應(yīng)合成命令SYN_COM和具有值“5”的幀載入信號TBLF，以前場優(yōu)先的方法或后場優(yōu)先的方法合成存儲在幀緩沖器211和213中的電視電影圖像，并將該合成的圖像作為電影圖像輸出，以及如原樣輸出存儲在幀緩沖器215、217和219中的電視電影圖像。在此，幀緩沖器單元210依次接收5個新的電視電影圖像。
然而，作為由第二比較器253確定的結(jié)果，如果從第一比較器251輸出的輸出信號COUT是6，則第二比較器253將表示如表2中所示的合成方法的合成命令SYN_COM和具有值“4”的幀載入信號TBLF輸出到幀緩沖器210。
因此，幀緩沖器單元210響應(yīng)合成命令SYN_COM和具有值“4”的幀載入信號TBLF，以前場優(yōu)先的方法或后場優(yōu)先的方法合成存儲在幀緩沖器211和213中的電視電影圖像，并將該合成的圖像作為電影圖像輸出，以及如原樣輸出存儲在幀緩沖器215和217中的電視電影圖像。在這種情況下，幀緩沖器單元210依次接收4個新的電視電影圖像。
場差檢測單元220計算輸入到幀緩沖器219中的四個電視電影圖像的每一個的幀總場差(FT)，并將計算結(jié)果輸出到規(guī)格化單元230。
規(guī)格化單元230輸出每5幀進行規(guī)格化的幀總場差(NFT)的(行)向量(a1a2a3a4a5)，因此可期望將從第一比較器251輸出1。
于是，用于實現(xiàn)本發(fā)明的反向電視電影處理的裝置200-1分別對幀的幀總場差進行規(guī)格化，并控制輸入視頻幀的數(shù)目，從而可期望規(guī)格化后的絕對局部場差的幀總和(NFT)為參考模板。
因此，根據(jù)本發(fā)明的反向電視電影裝置200-1，通過該規(guī)格化處理可以知道當(dāng)前五個電視電影圖像的排列，因此，能迅速從電視電影圖像(或視頻幀)中恢復(fù)原始電影幀。
圖4是根據(jù)本發(fā)明的反向電視電影方法的流程圖。
參照圖3和圖4，場差檢測單元220分別計算以30fps速率輸入的視頻幀VF的絕對局部場差的幀總和(FT)，并依次將結(jié)果(FT)輸出到規(guī)格化單元230(步驟401)。
規(guī)格化單元230通過公式2和3規(guī)格化依次輸入的絕對局部場差的幀總和(FT)(步驟403)，并輸出每5幀進行規(guī)格化的、規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量(a1a2a3a4a5)(步驟405)。
第一比較器251將每5幀進行規(guī)格化的規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量(a1a2a3a4a5)與存儲在查找表240中的模板進行比較，以找到最近似于由公式4規(guī)格化的、規(guī)格化后的絕對局部場差的幀總和(NFT)的(行)向量(a1a2a3a4a5)(步驟407)。
第二比較器253將具有最小Cp值的模板(或預(yù)定的數(shù)字)與參考模板REF_TEM(或預(yù)定的數(shù)字)進行比較，從而批準(zhǔn)或拒絕該模板(步驟409)。
作為步驟409的結(jié)果，在第二比較器253批準(zhǔn)具有最小Cp值的模板的情況下，第二比較器253將對應(yīng)于該參考模板的幀載入信號TBLF和合成命令SYN_COM輸出到幀緩沖器單元210(步驟411)。
然而，作為步驟409的結(jié)果，在第二比較器253拒絕具有最小Cp值的模板的情況下，第二比較器253將對應(yīng)于參考模板REF_TEM的幀載入信號TBLF和合成命令SYN_COM輸出到幀緩沖器單元210(步驟413)。
幀緩沖器單元210響應(yīng)幀載入信號TBLF控制輸入電視電影的數(shù)目，并響應(yīng)該合成命令SYN_COM、以表2中所示的方法合成存儲在幀緩沖器211、213、215、217和219中的電視電影圖像，從而將電視電影圖像恢復(fù)為電影幀F(xiàn)F(步驟415)。
在此，由于幀緩沖器單元210能通過規(guī)格化處理識別當(dāng)前5個電視電影圖像的排列，幀緩沖器單元210能迅速并容易地響應(yīng)該合成命令SYN_COM從電視電影圖像中恢復(fù)原始的電影幀，并以24fps的速率輸出恢復(fù)的原始電影。
本發(fā)明的反向電視電影的方法可以用存儲在記錄介質(zhì)上的計算機程序來實現(xiàn)。
根據(jù)本發(fā)明的用于執(zhí)行反向電視電影處理的方法和裝置，能通過計算在視頻幀的長度方向上的絕對局部場差的幀總和(FT)檢測電視電影圖像，于是可對噪聲具有更低敏感度地從電視電影圖像中恢復(fù)原始的電影幀。
另外，根據(jù)本發(fā)明的用于執(zhí)行反向電視電影處理的方法和裝置，由于僅計算了絕對局部場差的幀總和(FT)，因此能夠以較少的計算并且高精確地從電視電影圖像中恢復(fù)原始的電影幀。
盡管參照典型實施例具體地示出和描述了本發(fā)明，然而本領(lǐng)域普通技術(shù)人員可以理解，在不背離如所附的權(quán)利要求中所定義的本發(fā)明的精神和范圍的情況下，可作出各種形式和細(xì)節(jié)上的改變，其中在所附權(quán)利要求中n，m，N，M是自然數(shù)(例如，整數(shù))。
權(quán)利要求
1.一種用于進行反向電視電影處理的方法，該方法包括步驟計算以每秒M幀的速率輸入的多個電視電影圖像的絕對局部場差的幀總和(FT)；規(guī)格化該絕對局部場差的幀總和(FT)，并輸出每5幀進行規(guī)格化的、規(guī)格化后的絕對局部場差的幀總和(NFT)的向量；將以5幀為單位規(guī)格化后的絕對局部場差的幀總和(NFT)的向量與參考模板進行比較；及控制以每秒M幀的速率輸入的視頻幀的數(shù)目和原始電影幀的數(shù)目，該原始電影幀是從輸入的視頻幀中恢復(fù)的，并以每秒N幀的速率被輸出。
2.如權(quán)利要求1所述的方法，其中每一個絕對局部場差的幀總和(FT)是對于每一視頻幀中多個n×m像素塊中每一個塊的每個奇數(shù)行上的像素的亮度值總和與該塊中的每個偶數(shù)行上的像素的亮度值總和之間的差的絕對值的總和。
3.如權(quán)利要求1所述的方法，其中計算每一輸入視頻幀的絕對局部場差的幀總和的步驟包括將每個視頻幀分成多個n×m像素塊；計算多個像素塊的每一塊的絕對局部場差，該絕對局部場差被定義為該塊中的每個奇數(shù)行上的像素的亮度值總和與該塊中的每個偶數(shù)行上的像素的亮度值總和之間的差的絕對值；及計算絕對局部場差的幀總和，其被定義為形成各個視頻幀的多個塊的所有塊的絕對局部場差的總和。
4.一種在其上記錄有用于進行反向電視電影方法的計算機程序的計算機可讀記錄介質(zhì)，該反向電視電影方法包括計算以每秒M幀的速率輸入的多個電視電影圖像的絕對局部場差的幀總和(FT)；規(guī)格化該絕對局部場差的幀總和(FT)，并輸出每5幀進行規(guī)格化的、規(guī)格化后的絕對局部場差的幀總和(NFT)的向量；將以5幀為單位規(guī)格化后的絕對局部場差的幀總和(NFT)的向量與參考模板進行比較；及控制以每秒M幀速率輸入的視頻幀的數(shù)目和原始電影幀的數(shù)目，該原始電影幀是從輸入的視頻幀中恢復(fù)的，并以每秒N幀的速率被輸出。
5.如權(quán)利要求4所述的記錄介質(zhì)，其中每一個絕對局部場差的幀總和(FT)是對于每一視頻幀中多個n×m像素塊中每一個塊的每個奇數(shù)行上的像素的亮度值總和與該塊中的每個偶數(shù)行上的像素的亮度值總和之間的差的絕對值的總和。
6.如權(quán)利要求4所述的記錄介質(zhì)，其中計算輸入視頻幀的絕對局部場差的幀總和(FT)的步驟包括將每個視頻幀分成多個n×m像素塊；計算多個像素塊的每一塊的絕對局部場差，該絕對局部場差被定義為該塊中的每個奇數(shù)行上的像素的亮度值總和與該塊中的每個偶數(shù)行上的像素的亮度值總和之間的差的絕對值；及計算絕對局部場差的幀總和，其被定義為形成各個視頻幀的多個塊的所有塊的絕對局部場差的總和。
7.一種用于進行反向電視電影處理的裝置，該裝置包括場差檢測單元，用于計算以每秒M幀的速率輸入的電視電影圖像的絕對局部場差的幀總和(FT)；規(guī)格化單元，用于規(guī)格化從場差檢測單元輸出的絕對局部場差的幀總和(FT)，并輸出以5幀為單位規(guī)格化的規(guī)格化后的絕對局部場差的幀總和(NFT)的向量；比較單元，用于將以5幀為單位規(guī)格化的規(guī)格化后的絕對局部場差的幀總和(NFT)的向量與參考模板進行比較；幀緩沖單元，用于控制以每秒M幀速率輸入的視頻幀的數(shù)目和原始電影幀的數(shù)目，該原始電影幀是從輸入的視頻幀中恢復(fù)的，并以每秒N幀的速率被輸出。
8.如權(quán)利要求7所述的裝置，其中每一個絕對局部場差的幀總和(FT)是視頻幀中包含的塊的每個奇數(shù)行上的像素的亮度值總和與該塊中的每個偶數(shù)行上的像素的亮度值總和之間的差的絕對值的總和。
9.如權(quán)利要求7所述的裝置，其中場差檢測單元將每個視頻幀分別分成多個n×m像素塊，計算每一塊的絕對局部場差，該絕對局部場差被定義為一個塊中的奇數(shù)行上的像素的亮度與該塊中的偶數(shù)行上的像素的亮度之間的差的絕對值，并計算每個視頻幀的絕對局部場差的幀總和(FT)，該絕對局部場差的幀總和被定義為形成該視頻幀的多個n×m像素塊的絕對局部場差的總和。
10.如權(quán)利要求7所述的裝置，進一步包括一個用于存儲多個模板的查找表。
11.如權(quán)利要求10所述的裝置，其中所述比較單元包括第一比較器，其將規(guī)格化后的絕對局部場差的幀總和(NFT)的向量與存儲在查找表中的模板進行比較，并根據(jù)該比較結(jié)果輸出一輸出信號；及第二比較器，其將參考模板與來自第一比較器的輸出進行比較，以輸出幀載入信號和合成命令；其中所述幀載入信號控制以每秒M幀的速率輸入的視頻幀的數(shù)目，且所述合成命令指示電視電影圖像的合成方法。
12..一種用于進行反向電視電影處理以將視頻幀轉(zhuǎn)換為原始電影幀的方法，該方法包括計算以每秒M幀的速率輸入的視頻幀的絕對局部場差的幀總和(FT)，其中每一視頻幀的絕對局部場差的幀總和(FT)定義為形成各個視頻幀的多個n×m像素塊的所有塊的絕對局部場差的總和，其中多個n×m像素塊的每一塊的絕對局部場差被定義為一塊中的每個奇數(shù)行上的像素的亮度值總和與該塊中的每個偶數(shù)行上的像素的亮度值總和之間的差的絕對值。
13.如權(quán)利要求12所述的方法，其中n等于m。
14.如權(quán)利要求12所述的方法，其中n等于2。
15.如權(quán)利要求12所述的方法，其中m等于1。
16.如權(quán)利要求12所述的方法，進一步包括步驟以5幀為單位規(guī)格化視頻幀的絕對局部場差的幀總和(FT)；輸出規(guī)格化后的絕對局部場差的幀總和(NFT)的向量；及將規(guī)格化后的絕對局部場差的幀總和(NFT)的向量與多個模板進行比較，并識別最近似于規(guī)格化后的絕對局部場差的幀總和(NFT)的向量的模板。
17.如權(quán)利要求12所述的方法，進一步包括步驟將表示最近似模板的信號與對應(yīng)于參考模板的信號進行比較，并輸出幀載入信號和合成命令；及響應(yīng)于所述幀載入信號控制以每秒M幀的速率輸入的視頻幀的數(shù)目，響應(yīng)于所述合成命令通過以預(yù)定方式合成該輸入視頻幀來生成原始電影幀，并以每秒N幀的速率輸出該原始電影幀。
18.一種用于進行反向電視電影處理以將視頻幀轉(zhuǎn)換為原始電影幀的裝置，該裝置包括幀緩沖單元，其包括用于存儲視頻幀的串聯(lián)連接的多個幀緩沖器，并用于響應(yīng)于幀載入信號和合成信號將輸入的視頻幀轉(zhuǎn)換為原始的電影幀；場差檢測單元，用于接收從幀緩沖單元輸出的視頻幀，并用于計算接收的視頻幀的絕對局部場差的幀總和(FT)；規(guī)格化單元，其連接到所述場差檢測單元，用于規(guī)格化絕對局部場差的幀總和(FT)，并輸出以5幀為單位規(guī)格化的、規(guī)格化后的絕對局部場差的幀總和(NFT)的向量；用于存儲多個模板的查找表；第一比較器，用于將從規(guī)格化單元輸出的規(guī)格化后的絕對局部場差的幀總和(FT)的向量與存儲在查找表中的多個模板進行比較，并識別最近似于規(guī)格化后的絕對局部場差的幀總和(FT)的向量的模板；及第二比較器，用于將參考模板與由第一比較器識別的模板進行比較，并用于輸出該幀載入信號與合成命令；其中所述幀載入信號控制輸入到幀緩沖單元的視頻幀的數(shù)目，并響應(yīng)于合成命令用存儲在多個幀緩沖器中的視頻幀合成所述原始電影幀。
全文摘要
提供一種用于進行反向電視電影處理的方法和裝置，及一種存儲用于在計算機中進行該反向電視電影方法的計算機程序的記錄介質(zhì)。用于執(zhí)行反向電視電影處理的方法包括對于電視電影圖像的每一幀，計算組成該幀的多個n×m像素塊中的奇場與偶場的亮度值的差的絕對值的總和。計算得到的5幀的絕對局部場差的幀總和是規(guī)格化的分量，并作為(行)向量輸出；將規(guī)格化后的絕對局部場差的幀總和的(行)向量與多個模板進行比較，以識別或重新構(gòu)建原始的電影幀，該原始電影幀是從輸入視頻幀中恢復(fù)的，并以每秒N幀的速率被輸出。
文檔編號H04N5/14GK1606345SQ20041008979
公開日2005年4月13日 申請日期2004年6月10日 優(yōu)先權(quán)日2003年6月10日
發(fā)明者趙南翊, 崔埈源, 具亨一 申請人:三星電子株式會社