專利名稱：用于幀率轉(zhuǎn)換的低延遲節(jié)奏探測(cè)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理技術(shù)，更具體地說(shuō)，涉及幀率轉(zhuǎn)換技術(shù)。
背景技術(shù)：
運(yùn)動(dòng)畫面(moving picture)視頻通常以預(yù)定幀率進(jìn)行錄制或編碼。例如， 影院電影通常以24幀/秒(Q)s )的固定幀率進(jìn)行錄制。而另 一方面，基于NTSC 標(biāo)準(zhǔn)的電視廣播類視頻則以30&s進(jìn)行編碼?；跉W洲PAL標(biāo)準(zhǔn)或SECAM標(biāo) 準(zhǔn)的廣插4見(jiàn)頻則以25Q)S進(jìn)行編碼。
幀率轉(zhuǎn)換帶來(lái)了挑戰(zhàn)。用于進(jìn)行幀率轉(zhuǎn)換的一種常見(jiàn)4支術(shù)包括在幀序列中 丟棄或重播幀。例如，電視電影轉(zhuǎn)換(通常稱為3:2下拉(pull down))用于 將24Q)s的運(yùn)動(dòng)畫面^L頻轉(zhuǎn)換為60場(chǎng)/秒(30&s)。每秒幀擴(kuò)展3個(gè)4見(jiàn)頻場(chǎng)， 而每另一秒幀擴(kuò)展2個(gè)視頻場(chǎng)。電視電影轉(zhuǎn)換在例如Charles Poynton撰寫的 "Digital Video and HDTV Algorithms and Interface (數(shù)字^L頻和HDTV算法和 接口) ，， ( San Francisco: Morgan Kaufinann出版社，2003 )中進(jìn)行了詳細(xì)的描 述，本發(fā)明參考了其中的全部?jī)?nèi)容。
在John Watkinson撰寫的"The Engineer's Guide to Standards Conversion (轉(zhuǎn)換標(biāo)準(zhǔn)工程師導(dǎo)讀)"(Snell和Wilcox手冊(cè)系列)和"The Engieer，s Guide to Motion Compensation"(運(yùn)動(dòng)補(bǔ)償工程師導(dǎo)讀)中還描述了用于進(jìn)行幀率轉(zhuǎn)換的 多種其它技術(shù)。
最近，幀率轉(zhuǎn)換不僅用來(lái)在標(biāo)準(zhǔn)之間進(jìn)行轉(zhuǎn)換，也用來(lái)增強(qiáng)整體4見(jiàn)頻質(zhì)量。 例如，為了降低傳統(tǒng)PAL電視的可感覺(jué)得到的閃爍，已經(jīng)研制出高幀率100 場(chǎng)/秒(50&S)的電^L。
將來(lái)，更高的幀率將成為用來(lái)提供更高質(zhì)量家庭視頻的重要組成。然而， 現(xiàn)有的視頻還不能在更高的幀率下使用。因此，幀率轉(zhuǎn)換變得非常必要。在實(shí)時(shí)狀態(tài)下，這種轉(zhuǎn)換會(huì)帶來(lái)很多挑戰(zhàn)。
例如，如果幀率轉(zhuǎn)換引入內(nèi)容(material)延遲，相關(guān)的音頻將無(wú)法再與 視頻同步。類似的，這種轉(zhuǎn)換也有可能被應(yīng)用在已經(jīng)進(jìn)行過(guò)電影電視或其他幀 率轉(zhuǎn)換的視頻源上。
因此，需要一種改進(jìn)的幀率轉(zhuǎn)換技術(shù)。

發(fā)明內(nèi)容
在本發(fā)明的示范性實(shí)施例中，幀率轉(zhuǎn)換后的視頻是這樣提供的，將視頻幀 序列中的^f見(jiàn)頻幀連續(xù)地緩沖存儲(chǔ)在緩沖器中，并且基于至少一個(gè)插值參數(shù)在多 個(gè)視頻幀中的至少兩個(gè)中進(jìn)行插值，以此來(lái)構(gòu)建輸出幀。為便于實(shí)現(xiàn)，插值參 數(shù)依據(jù)每個(gè)新近緩沖的幀進(jìn)行調(diào)整，這取決于幀序列節(jié)奏的當(dāng)前值。通過(guò)這種
方式，與節(jié)奏#:測(cè)相關(guān)的延遲將得以降低。
依據(jù)本發(fā)明的另一方面，提供了一種視頻設(shè)備，包括用于緩沖視頻幀序列 的緩沖器；節(jié)奏探測(cè)器，其與緩沖器通信，以分析每個(gè)新近緩存到緩沖器中的 緩沖幀，以此來(lái)確定視頻幀序列的節(jié)奏，并用于構(gòu)建節(jié)奏指示符以反映這種節(jié) 奏；幀率轉(zhuǎn)換器，用于依據(jù)取決于節(jié)奏指示符當(dāng)前值的插值參數(shù)通過(guò)緩沖器中 存儲(chǔ)的多個(gè)視頻幀中的至少兩個(gè)構(gòu)建插值后的^L頻幀。
在閱讀完下列本發(fā)明具體實(shí)施例的詳細(xì)描述并參考相關(guān)附圖之后，本發(fā)明 的其它方面和特征對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)將變得更加清晰。


下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，附圖中 圖1是依據(jù)本發(fā)明一較佳實(shí)施例的包含幀率轉(zhuǎn)換器的視頻設(shè)備的筒化結(jié) 構(gòu)示意圖2是構(gòu)成圖1中設(shè)備一部分的幀率轉(zhuǎn)換器的簡(jiǎn)化結(jié)構(gòu)示意圖； 圖3是幀率轉(zhuǎn)換后的輸出幀、解碼后的輸出幀和原始視頻源的幀的對(duì)比示 意圖4是用來(lái)展示3:2下拉方式的視頻幀序列中的運(yùn)動(dòng)的運(yùn)動(dòng)圖；頻專命出的運(yùn)動(dòng)圖6是用來(lái)展示圖5中幀率轉(zhuǎn)換后的視頻輸出中的運(yùn)動(dòng)的運(yùn)動(dòng)圖，以展示 解碼延遲；
圖7是用來(lái)描述在生成圖5和圖6中展示的視頻輸出的過(guò)程中緩沖器中內(nèi) 容的示意圖8是描述圖1中設(shè)備所執(zhí)行的步驟的流程圖9是用來(lái)展示從3:2下拉方式進(jìn)行變化的來(lái)自于解碼后的幀序列的幀率 轉(zhuǎn)換后的視頻輸出的運(yùn)動(dòng)圖IO是用來(lái)描述在生成圖9中展示的視頻輸出的過(guò)程中緩沖器中內(nèi)容的 示意圖。
具體實(shí)施例方式
圖1展示了依據(jù)本發(fā)明一較佳實(shí)施例的包括幀率轉(zhuǎn)換器16的視頻設(shè)備 10。如圖所示，設(shè)備10包括視頻解碼器12,其接收視頻信號(hào)，該—見(jiàn)頻信號(hào)采 用數(shù)字視頻流的形式，例如MPEG2、 MPEG4、 H264或者其他數(shù)字流，模擬 視頻解碼器、視頻接口 (例如DVI、 HDMI、 VGA或者類似的)。視頻解碼器 12還可包括解交錯(cuò)器，用于從收到的場(chǎng)中生成幀。視頻解碼器12依次解碼視 頻流，并將用來(lái)構(gòu)建解碼視頻幀的解碼像素流發(fā)往緩沖器14。類似地，視頻 解碼器12輸出解碼后的/解復(fù)用后的音頻流，用于進(jìn)行進(jìn)一步的處理。音頻流 通常與輸出視頻幀同步。此處未詳細(xì)描述對(duì)解碼后的/解復(fù)用后的音頻流的進(jìn) 一步處理。
視頻設(shè)備10可采用機(jī)頂盒、衛(wèi)星接收器、地面廣播接收器、媒體播放器 (例如DVD播放器)、媒體接收器的形式或者類似的形式。設(shè)備IO可選擇 性地集成在顯示設(shè)備中，例如平板電視機(jī)、計(jì)算機(jī)顯示器、便攜式電視機(jī)或者 類似的設(shè)備。
設(shè)備10可采用定制硬件的方式實(shí)現(xiàn)，或者采用由軟件控制的定制硬件和 通用計(jì)算初^更件的組合的方式實(shí)現(xiàn)。緩沖器14為先進(jìn)先出(FIFO)緩沖器，其中存儲(chǔ)有幾個(gè)視頻幀。在描述 的實(shí)施例中，緩沖器14存儲(chǔ)有至少4個(gè)連續(xù)的^L頻幀-Fi, Fi+1, &+2和&+3。 幀率轉(zhuǎn)換器16與緩沖器14通信，并從中提取幀以便生成最終展示在互聯(lián)的顯 示器22上的幀fj。在描述的實(shí)施例中，幀率轉(zhuǎn)換器16將用于在顯示器22上 展示的幀存儲(chǔ)在幀緩沖器20中。顯示器接口 (未示出)對(duì)幀緩沖器20進(jìn)行采 樣，以便將幀展示在顯示器上。顯示器接口可采用傳統(tǒng)的隨機(jī)訪問(wèn)存儲(chǔ)器數(shù)模 轉(zhuǎn)換器(RAMDAC)的形式、遵循HDMI或DVI標(biāo)準(zhǔn)的單端或差分發(fā)射器的 形式，或者為其他合適的接口，用于對(duì)幀緩沖器20中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以便 以模擬或數(shù)字的形式顯示在顯示器22上。應(yīng)明白，幀緩沖器20是可選的，視 頻可由幀率轉(zhuǎn)換器16直接輸出。
節(jié)奏探測(cè)器18分析緩沖器14中相鄰的幀，以確定解碼的視頻中是否包含 以已知方式重復(fù)出現(xiàn)的幀。例如節(jié)奏探測(cè)器30確定生成的視頻幀是否是從 3:2/2:2或者類似的下拉方式的源中生成的。節(jié)奏指示符將提供給幀率轉(zhuǎn)換器 16。
設(shè)備10中的功能才莫塊(包括視頻解碼器12、節(jié)奏4果測(cè)器18、幀率轉(zhuǎn)換器 16 )可使用本領(lǐng)域技術(shù)人員熟知的傳統(tǒng)的VLSI設(shè)計(jì)技術(shù)和工具來(lái)構(gòu)建。
更為詳細(xì)的幀率轉(zhuǎn)換器16結(jié)構(gòu)在圖2中做了描述。幀率轉(zhuǎn)換器16包括插 值器30，其在緩沖器14中插幀，以進(jìn)行幀率轉(zhuǎn)換。可選的內(nèi)部緩沖器32和 34可對(duì)幀進(jìn)行存儲(chǔ)，這些幀將由插值器30合并。插值器30還將收到節(jié)奏信 息，該信息與當(dāng)前解碼的幀序列中的幀有關(guān)。此外，用于生成最終幀率的頻率 縮放因子SCALE—FREQU和時(shí)鐘信號(hào)(CLK)也將提供給插值器30。
為便于表述，本文將緩沖幀(例如視頻解碼器12輸出的解碼幀)表示為
幀F(xiàn)o、 Fp F2.......Fn，而^L頻源中的彼此不同的幀表示為幀So、 S!、 S2.......。
因此，例如，24$s源將具有源幀So、 Sp S2、 S3.......，并轉(zhuǎn)換為電^L電影
格式，其將由視頻解碼器12解碼和/或重建為對(duì)應(yīng)于源幀(So、 So、 So、 S!、 S!、
S2、 S2、 S2、 S3、 S3.......〉的幀(F。、 F!、 F2、 F3、 F4、 F5、 F6、 F7、 F8、 F9.......}(60^s)。
電視電影轉(zhuǎn)換幀F(xiàn)o、 .......將存儲(chǔ)在存儲(chǔ)介質(zhì)上，例如DVD或者類似的介
質(zhì)，或者使用地面、衛(wèi)星或CATV廣播技術(shù)以模 (例如 )格式或數(shù)字格式(MPEG流或類似的格式)進(jìn)行廣播，或者以其它方式進(jìn)行提供。具有轉(zhuǎn)
換后的幀率的輸出幀可表示為幀fG、 f。 f2.......fn,如本文所述，其可從幀
F0、 .......中構(gòu)建。這在圖3中進(jìn)行了描述。
在本文中，也可將插值幀表示為I{Sj、 Sj + 1、 I/m}。這種表示形式表示最
終的運(yùn)動(dòng)插值幀，該幀表示原始幀Sj、 SjM之間的中間幀，插入該幀以表示從
Sj到SjM的部分I/M運(yùn)動(dòng)。例如插入的幀I(Sj、 Sj"、 1/2}用來(lái)表示Sj和Sj + 1 之間的運(yùn)動(dòng)中途的運(yùn)動(dòng)效果。這種運(yùn)動(dòng)插值由幀率轉(zhuǎn)換器16使用從緩沖器32 和34中讀取的兩個(gè)輸入幀來(lái)進(jìn)行?？捎刹逯灯?0執(zhí)行的運(yùn)動(dòng)補(bǔ)償/插值技術(shù) 在2005年出版的由Keith Jack撰寫的第4期視頻(數(shù)字工程師手冊(cè))中和John Watkinson撰寫的"運(yùn)動(dòng)補(bǔ)償工程師導(dǎo)讀"(Snell和Wilcox手冊(cè)系列，
http:〃www.snellwilcox.com/conimunitv/knowledge center/engineering guides/emotion.pdf )以及John
Watkinson撰寫的"轉(zhuǎn)換標(biāo)準(zhǔn)工程師導(dǎo)讀"(Snell和Wilcox手冊(cè)系列，
http:〃www.snellwilcox-com/communitv/knowledge center/engineering/estandard.pdf ) 中做了描述，
本文引用了其中的全部?jī)?nèi)容。
圖4描述了由視頻解碼器12解碼的示范性幀序列中的運(yùn)動(dòng)。具體來(lái)說(shuō)，
圖4描述了視頻解碼器12所解碼的示范性幀序列Fo、 F。 F2、 F3......的運(yùn)動(dòng)。
所描述的幀序列源自3:2下拉源，通常是24幀/秒(表示為源幀Sq、 S!、 S2、 S3......)到60交錯(cuò)場(chǎng)/秒轉(zhuǎn)換產(chǎn)生的結(jié)果，轉(zhuǎn)換為60$s的幀。如此一來(lái)，初
始源(影院)中的每一秒幀被采樣兩次，而初始源中每另一秒幀被采樣三次。 最終的幀F(xiàn)o、 F。 F2、 F3顯示出3:2下拉效果，因?yàn)樗麄兪峭ㄟ^(guò)對(duì)交錯(cuò)場(chǎng)進(jìn)行 解交錯(cuò)來(lái)生成的。
最終的幀序列將顯示出急動(dòng)運(yùn)動(dòng)(通常稱為顫動(dòng))，只在第3、第5、第8、 第10等解碼幀之后才會(huì)出現(xiàn)運(yùn)動(dòng)。這種顫動(dòng)在幀率轉(zhuǎn)換后仍然存在，其無(wú)法 解決視頻源的節(jié)奏問(wèn)題。
為了消除或降低可以感覺(jué)到的顫動(dòng)，設(shè)備10的幀率轉(zhuǎn)換器16插入相鄰的 源幀，以構(gòu)建幀率轉(zhuǎn)換后的幀序列。為實(shí)現(xiàn)此目的，節(jié)奏^1測(cè)器18首先探測(cè) 是否存在下拉方式。具體來(lái)說(shuō)，節(jié)奏探測(cè)器18可通過(guò)比較緩沖器14中兩相鄰 幀的內(nèi)容來(lái)為^L頻解碼器12所解碼的幀序列確定是否存在下拉方式。例如，在多個(gè)解碼幀中將緩沖器14中最新緩沖的幀(也就是Fw)與其最直接相鄰 的幀(也就是F"2)進(jìn)行比較，以揭示相鄰幀之間的相似性/差異性。例如，將 幀差異性標(biāo)記為H，相似性標(biāo)記為L(zhǎng)，節(jié)奏纟笨測(cè)器18可通過(guò)識(shí)別相鄰幀中的 HLHLLHLHLLHLH..差異圖樣來(lái)確定3:2下拉方式。用于存儲(chǔ)多個(gè)解碼后的幀 F0......F 的緩沖器14中的內(nèi)容在圖7中做了描述。
節(jié)奏探測(cè)器18向幀率轉(zhuǎn)換器16提供下拉方式標(biāo)識(shí)符以執(zhí)行插值，從而從 原始源幀中產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)牟迦氲膸榱藢?shí)現(xiàn)精確的插值，可使用節(jié)奏指示 符來(lái)在源中插入不同的幀(相對(duì)于重復(fù)的幀)，并調(diào)整插值參數(shù)(例如所需的 從插入幀到插入幀的部分運(yùn)動(dòng))。
圖5和圖6描述了幀率轉(zhuǎn)換器16從解碼幀序列F0、 F,、 F2......輸出的所
需的輸出幀序列fo、 A、 f2、 f3......。在圖5中，運(yùn)動(dòng)表示為幀數(shù)的一個(gè)函數(shù)。
相同的運(yùn)動(dòng)在圖6描述為時(shí)間的函數(shù)，其中包含了緩沖進(jìn)站視頻導(dǎo)致的延遲， 以及決定哪些幀應(yīng)進(jìn)行合并而引入的延遲。在描述的例子中，幀率轉(zhuǎn)換器16 將幀率(也就是SCALE_FREQU=2 )加倍。隨著幀率轉(zhuǎn)換器16輸出比視頻解 碼器12原始生成的幀更多的幀，幀率轉(zhuǎn)換器16中的插值器30 (圖2)使用傳 統(tǒng)運(yùn)動(dòng)補(bǔ)償技術(shù)來(lái)生成幀以便以更高的速率顯示。在描述的實(shí)施例中，每個(gè)插 入的幀fj或者與視頻解碼器12輸出的幀F(xiàn)i相同，或者由解碼幀序列(例如Si 、 Si+1)中兩個(gè)相鄰的源幀構(gòu)成。當(dāng)然，也可使用兩個(gè)以上的相鄰源幀來(lái)生成插 入幀。
在描述的例子中，執(zhí)行運(yùn)動(dòng)補(bǔ)償來(lái)生成相對(duì)平滑的運(yùn)動(dòng)，以及P爭(zhēng)低顫動(dòng)。 在描述的實(shí)施例中，運(yùn)動(dòng)是線性插值的，幀fo、 f，、 f2、 f3等中每個(gè)幀之間的運(yùn) 動(dòng)是相同的。由于連續(xù)的源幀S并不是在相等的時(shí)間間隔內(nèi)解碼的，在這些幀 由視頻解碼器12進(jìn)行解碼的同時(shí)，任意線性插入的序列fo、 f。 f2、 f3......通
常將不包括對(duì)應(yīng)于源中幀So、 S,......的幀。
應(yīng)注意，fo-F!，而&、 f2、 f3和f4是對(duì)F。(或者等效的幀F(xiàn)!或F2)和F3
(也就是源幀S。或SJ進(jìn)行插值而生成的。每個(gè)插入的幀f。 f2、 6和&提高 (advance)從F。到F3 (也就是從原始源的幀S。到幀S！)的運(yùn)動(dòng)。輸出幀fs是原 始源幀SJ也就是幀F(xiàn)3/F4)。類似的，輸出幀f6和f7是從解碼幀F(xiàn)3/F4和Fs(對(duì)應(yīng)于源幀S!和S2)中生成的。
在采用3:2下拉方式時(shí)，幀率轉(zhuǎn)換器16依賴于緩沖的幀，這些幀之間間 隔多達(dá)兩個(gè)幀(也就是Fo和F3; F3和Fs)，幀率轉(zhuǎn)換器16將在處理至少這些 幀時(shí)引入處理延遲。因此，5不會(huì)在F3解碼完成之前生成。類似的，f6不會(huì)在 Fs解碼完成之前生成，fn不會(huì)在Fg解碼完成之前生成。這一點(diǎn)可在圖6中反 映出來(lái)，圖6按照時(shí)間順序描述了源幀f和最終的幀F(xiàn)，其中計(jì)入了由源幀無(wú) 法立即可用而導(dǎo)致的延遲。通過(guò)對(duì)比可以發(fā)現(xiàn)，圖5按照幀順序描述了源幀f 和最終的幀F(xiàn)，其中忽略了源幀f到達(dá)時(shí)引入的延遲(也就是假設(shè)在構(gòu)建輸出 幀F(xiàn)之前，所有源幀都是可用的)。
現(xiàn)在，在使用3:2下拉方式且頻率擴(kuò)展因子為2時(shí)，在理想情況下，將為 每5 (3 + 2)個(gè)緩沖幀生成IO個(gè)輸出幀。這一點(diǎn)在圖5和困6中也可以很清 楚的看到。最終的幀f,、 f2、 f3、 f4、 f5......fn)對(duì)應(yīng)于So， I{So、 S,、 1/5}， I{S0、
S!、 2/5}, I{S0、 S!、 3/5}、 I{S0、 S,、 4/5}、 S，I{S!、 S2、 1/5}, I{ S2、 2/5}， I{S、S2、 3/5}， I{S,、 S2、 4/5}, S2。
通過(guò)對(duì)比，2:2下拉源的最終的幀困樣&、f2、f3......f,。將對(duì)應(yīng)于幀S。，I{S0、
S。 1/4}， I{S0、 1/2}， I{S0、 S!、 3/4}、 S!、 I(S!、 S2、 1/4}、 I{ S!、 S2、
1/2} 、 I{S!、 S2、 3/4}、 S2、 I{S2、 S3、 1/4}、 I{S2、 S3、 1/2}......也就是說(shuō)，
為每個(gè)緩沖幀生成4個(gè)輸出幀。
類似的，沒(méi)有使用下拉方式的最終幀圖樣(也就是從隔行視頻中生成的) 將對(duì)應(yīng)于幀So， I{S0、 S。 1/2}， S!， I(S" S2、 1/2}， S2， I{S2、 S3、 1/2}......
為每個(gè)緩沖幀生成2個(gè)輸出幀。
當(dāng)然，取決于解碼幀F(xiàn)的節(jié)奏，源幀在緩沖器14中的位置會(huì)發(fā)生變化。 為顯示這種情況，用來(lái)構(gòu)建圖5和圖6中的輸出幀的》爰沖器14中的源幀在圖 7中特別做了標(biāo)記。
由上文可知，應(yīng)當(dāng)明白，為了能夠平滑的插幀，下列應(yīng)當(dāng)是可用的
1、 源圖片幀(源中的至少兩個(gè)相鄰幀)；
2、 所需輸出幀和源幀之間(例如兩個(gè)源幀之間的位置)的關(guān)系。 該信息可以從例如在插值后的幀序列中從幀到幀進(jìn)行的所需的運(yùn)動(dòng)(也就是運(yùn)動(dòng)的傾斜程度/圖5中描述的幀圖樣)的量來(lái)生成；解碼幀序列(也就是 F0, F,，......)；緩沖器14的結(jié)構(gòu)；解碼序列的節(jié)奏。
幀F(xiàn)將不斷寫入到緩沖器14中。每個(gè)幀所需的時(shí)間可能會(huì)發(fā)生變化，這 取決幀源。其可能例如花費(fèi)原始幀率的整個(gè)周期來(lái)緩沖幀F(xiàn)。只有在整個(gè)幀出 現(xiàn)時(shí)才分析幀的節(jié)奏。這意味著新的插值參數(shù)只有在幀的末端接收完成之后的 一些處理時(shí)間之后才是可用的，因此只適用于下一個(gè)幀。在另一方面，插值操 作不需要整個(gè)幀都進(jìn)行了緩沖。具體來(lái)說(shuō)，當(dāng)新的緩沖幀的第一部分已經(jīng)緩沖 存儲(chǔ)到緩沖器14之中時(shí)，插值操作就可以開(kāi)始。
插值操作自身會(huì)引入一些處理延遲。從幀開(kāi)始直到插值開(kāi)始時(shí)的一些小的 延遲，并且處理過(guò)程自身的延遲也可出于本文所述的目的而忽略不計(jì)，但事實(shí) 上該處理過(guò)程將花費(fèi)兩個(gè)幀之間時(shí)間的1/3或者更多的時(shí)間，這取決于具體的 實(shí)現(xiàn)方法。盡管如此，就算處理延遲可以忽略不計(jì)，新的節(jié)奏信息也只能對(duì)下 一幀才可用，這是因?yàn)榫彌_新收到的幀會(huì)存在實(shí)際的延遲。
現(xiàn)在，為了確切的4企測(cè)m:n下拉方式，下拉方式可在m + n+ 1解碼幀后 得以確切地檢測(cè)。然而，這需要一些延遲，并可能需要緩沖m + n+l個(gè)幀。 然而，生成任何當(dāng)前幀fi只需要fi前后的兩個(gè)源幀。
如圖5和圖6所示，在3:2下拉且頻率縮放因子為2時(shí)，幀率轉(zhuǎn)換過(guò)程只 需要引入大概1.5個(gè)緩沖幀的延遲。在本發(fā)明的一個(gè)示范性實(shí)施例中，也可無(wú) 需分析m + n+l個(gè)解碼幀，取而代之的是，緩沖足夠多的幀，以此來(lái)生成當(dāng) 前輸出幀，并且為此后插入幀，節(jié)奏探測(cè)器18將每個(gè)新收到的幀與至少一個(gè) 此前緩沖的幀進(jìn)行比較，以確定是否存在期望的下拉方式。
對(duì)于2:2下拉方式，幀率轉(zhuǎn)換可在只引入1個(gè)緩沖幀延遲的情況下實(shí)現(xiàn)； 對(duì)于未使用下拉方式的情況，只需引入0.5個(gè)緩沖幀的延遲。當(dāng)然，隨著縮放 頻率增加，引入的延遲也隨之增加。
具體來(lái)說(shuō)，視頻設(shè)備10為緩沖器14中每一個(gè)新的緩沖存儲(chǔ)的視頻幀執(zhí)行 的步驟在圖8中做了描述。如圖所示，在收到新的幀之后，在步驟S802將該 幀緩沖存儲(chǔ)。先入先出的緩沖器14可以采用傳統(tǒng)緩沖器。緩沖新的幀意味著 需要構(gòu)建新的輸出幀，以及確定/確認(rèn)幀序列的節(jié)奏。作為選擇，也可在新幀到達(dá)緩沖器14后產(chǎn)生一個(gè)信號(hào)，例如由時(shí)序生成器(未示出)產(chǎn)生一個(gè)信號(hào) 來(lái)作為提示。
具體地，在步驟S804,節(jié)奏探測(cè)器18分析新收到的緩沖幀，以評(píng)估:現(xiàn)頻 幀序列的節(jié)奏。特別地，節(jié)奏探測(cè)器18通過(guò)將新近緩沖的幀與一個(gè)或多個(gè)先 前緩沖的幀進(jìn)行比較，和/或已經(jīng)在收到的幀中探測(cè)到節(jié)奏，來(lái)確定新近緩沖 的幀是否具有已知的節(jié)奏(例如3:2下拉；2:2下拉等等)。例如，如圖7所 示，可通過(guò)將新近緩沖的幀與緩沖器14中前一緩沖的幀進(jìn)行比較，來(lái)確定二 者的相似性或者差異性(例如絕對(duì)差值)，相關(guān)的技術(shù)在美國(guó)專利申請(qǐng) No.10/837835或者美國(guó)專利申請(qǐng)No.11/381234中做了詳細(xì)的描述，本發(fā)明參 考并引用其全部?jī)?nèi)容。在步驟S806，將生成一節(jié)奏指示符，其將從節(jié)奏探測(cè) 器18發(fā)送給幀率轉(zhuǎn)換器16。節(jié)奏指示符可以是任意的數(shù)值。例如，節(jié)奏指示 符可指示3:2下拉；2:2下拉或者未知的節(jié)奏。
幀率轉(zhuǎn)換器16基于步驟S808中提供的一見(jiàn)頻幀序列的節(jié)奏來(lái)構(gòu)建一個(gè)或 多個(gè)參數(shù)。該參數(shù)可以例如指出緩沖器14中的哪些緩沖幀需要進(jìn)行合并，并 指出插值參數(shù)(例如o/。MOTION)，以指示輸出幀相對(duì)于緩沖幀的位置(例如擴(kuò) 展的緩沖幀應(yīng)當(dāng)插入到哪里以構(gòu)建輸出幀(也就是構(gòu)建I{Sa, Sb, %MOTION}))。例如，在使用3:2下拉方式的情況下，插值參數(shù)將控制在五 分之一幀的倍數(shù)之前出現(xiàn)運(yùn)動(dòng)；在采用2:2下拉方式的情況下，在四分之一幀 的倍數(shù)之前出現(xiàn)運(yùn)動(dòng)；在不使用下拉的情況下，在半個(gè)幀的倍數(shù)之前出現(xiàn)運(yùn)動(dòng)。 插值參數(shù)可應(yīng)用到幀率轉(zhuǎn)換器16輸出的下一幀中。
同時(shí)，通過(guò)分析新到達(dá)的幀，幀率轉(zhuǎn)換器16可使用緩沖器14中的至少兩 個(gè)視頻幀來(lái)插入輸出幀，這兩個(gè)幀的選擇過(guò)程是基于步驟S810中節(jié)奏探測(cè)器 18提供的節(jié)奏指示符中的當(dāng)前參數(shù)值來(lái)進(jìn)行的。
幀率轉(zhuǎn)換器16將緩沖幀進(jìn)行合并，以便構(gòu)建輸出幀。通常，由于插值參 數(shù)僅在新的緩沖幀完全緩沖存儲(chǔ)之后才進(jìn)行更新，因此將在前面的緩沖幀中插 入插值參數(shù)，這些插值參數(shù)是使用前面收到的幀來(lái)確定的(如上文描述的實(shí)施 例所述)?？蛇x的，新的緩沖幀可在其完全緩沖存儲(chǔ)之后用于插值。
例如，若新的緩沖幀無(wú)法確認(rèn)存在此前假設(shè)的下拉方式(例如3:2下拉等)，則不存在下拉方式的情況將通知幀率轉(zhuǎn)換器16，并且將幀F(xiàn)視為不存在下拉 方式，而后的幀將進(jìn)行插值。
在步驟S812中，插值后的輸出幀將輸出給例如幀緩沖器20。
通過(guò)這種方法，幀率轉(zhuǎn)換器16進(jìn)行的插值操作可依據(jù)探測(cè)到的節(jié)奏為每 一新幀進(jìn)行調(diào)整。幀率轉(zhuǎn)換器16構(gòu)建的下一輸出幀將基于節(jié)奏的變化來(lái)構(gòu)建。
當(dāng)節(jié)奏發(fā)生變化時(shí)，解碼器IO的操作參考圖9和困IO做了最佳的描述。 具體地，在探測(cè)到3:2下拉方式之后，三個(gè)解碼幀F(xiàn)j， FjM和Fj+2將緩沖存儲(chǔ) 到緩沖器14中，以便構(gòu)建當(dāng)前插入幀。如圖9所示，對(duì)于3:2下拉方式，零 幀f?？墒褂脦現(xiàn),來(lái)構(gòu)建，幀f,， f2， 6和&可使用幀F(xiàn)!和F3等來(lái)構(gòu)建，這與 圖5中描述的構(gòu)建輸出幀的方法類似。很明顯，任意輸出幀都可使用當(dāng)前幀 Fj，或當(dāng)前幀F(xiàn)j和Fj+2來(lái)構(gòu)建。如此一來(lái)，在3:2下拉方式下構(gòu)建插入幀將引 入至少1.5個(gè)解碼幀的延遲(也就是1.5幀加上處理延遲等)。
緩沖器14(圖1)相應(yīng)的存儲(chǔ)4個(gè)幀，包括代表原始源中至少兩個(gè)連續(xù)幀 Sk， SkH的幀F(xiàn)j, Fj+1， Fj+2和Fj + 3，如圖IO所示。節(jié)秦探測(cè)器18將監(jiān)視當(dāng)前 到達(dá)幀和前一幀之l可的差異，如上文結(jié)合圖5和圖6所述。探測(cè)到的節(jié)奏可用 來(lái)為后續(xù)插入的輸出幀fi調(diào)整插值參數(shù)。
在操作過(guò)程中，在探測(cè)到3:2下拉方式后，幀率轉(zhuǎn)換器16的插值器30開(kāi) 始插入相鄰的幀以構(gòu)建I(So、 S,、 1/5}， I{S0、 Sp 2/5}、 I{S0、 S" 3/5}、 I{ S0、 4/5}、 —旦插值器30輸出f5,緩沖器14中將包含S!和S2。如此一來(lái)， f6， f7, fg和f9可很容易的從幀S,和S2中生成，如I(S。 S2、 1/5}， I{S。 S2、 2/5}， I{Sp S2、 3/5}， I{S,、 S2、 4/5}。
現(xiàn)在，如果下拉方式突然發(fā)生變化(例如幀F(xiàn)g到達(dá)緩沖器14),基于3:2 下拉方式的插值操作將無(wú)法產(chǎn)生合適的結(jié)果。應(yīng)注意，節(jié)奏上的變化只能在收 到幀F(xiàn)9之后探測(cè)到。如此一來(lái)，節(jié)奏探測(cè)器18將在收到幀F(xiàn)9之后提供一個(gè)節(jié)
奏變化指示符，該指示符將用在f!2之后。
為了準(zhǔn)確:探測(cè)到3:2下4立方式，至少需要比4交5個(gè)幀以纟果測(cè)HLLHLHLL 方式，如上文所述。 一旦未探測(cè)到期望的LL或HL圖樣時(shí)，節(jié)奏探測(cè)器立即 在兩個(gè)幀中通知不存在3:2下拉方式。因此，插值器30使用的插值參數(shù)可進(jìn)行調(diào)整，以便后續(xù)的幀將進(jìn)行插值，盡管他們是從隔行場(chǎng)中生成的。也就是說(shuō)，
下一幀f13 (在圖9中標(biāo)記為f13b)將生成為I{S2,S3,l/2}，而不是I(S2,S3,3/5〉。
類似的，fU將生成為S3， &5將生成為I{S3,S4,l/2}。如圖IO所示，將依此確定
應(yīng)選擇緩沖器14中的哪個(gè)幀。
此外，幀fl3將生成為I{S2，S3，3/4}，在圖9中標(biāo)記為f13a。
再一次的，依賴于視頻幀F(xiàn)的序列的節(jié)奏，源幀S在緩沖器14中的位置
將可能會(huì)變化。為說(shuō)明這一點(diǎn)，用來(lái)構(gòu)建圖9中的輸出幀的源幀在圖10中做
了突出顯示。
在另一實(shí)施例中，節(jié)奏信息可從上行一見(jiàn)頻處理器件傳送到幀率轉(zhuǎn)換器，例 如，有關(guān)的具體技術(shù)在標(biāo)題為"用于進(jìn)行幀率轉(zhuǎn)換的視頻處理器結(jié)構(gòu)和方法 (Video Processor Architecture and Method for Frame Rate Conversion)"的美國(guó)專 利申請(qǐng)no.xx/xxx,xxx中做了描述，該申請(qǐng)的發(fā)明人與本申請(qǐng)相同，且該申請(qǐng) 與本申請(qǐng)同時(shí)提交，本申請(qǐng)引用了其中的全部?jī)?nèi)容。通過(guò)這種方式，可在整個(gè) 幀都緩沖存儲(chǔ)到緩沖器18中之前，為每個(gè)幀提供節(jié)奏信息。通過(guò)提供節(jié)奏信 息，可更快地指示插值參數(shù)。
處理在探測(cè)到下拉方式時(shí)，可基于該下拉方式將插值參數(shù)調(diào)整為線性插值； 一旦探測(cè)到節(jié)奏發(fā)生變化，將3見(jiàn)為沒(méi)有采用下拉方式進(jìn)來(lái)處理幀。
類似的，在下拉方式未知的情況下，在對(duì)多個(gè)幀進(jìn)行分析之后，將檢測(cè)到 3:2, 2:2或者類似的已知下拉方式，插值參數(shù)也將進(jìn)行相應(yīng)的修改。
當(dāng)然，上文所述的例子是以3:2和2:2下^i方式為例進(jìn)4亍描述的，并且縮 放頻率SCALE—FREQU=2。但是，其他的下拉方式和縮放頻率也可采用類似 方式使用。
當(dāng)然，上述實(shí)施例僅僅用于描述，并非用于限定本發(fā)明的范圍。上文所述 的實(shí)施本發(fā)明的實(shí)施例可以進(jìn)行許多修改，包括構(gòu)成、各部分的排列、操作的 細(xì)節(jié)和順序等。如本發(fā)明權(quán)利要求所述，所有上述修改都應(yīng)劃歸到本發(fā)明的范 圍之內(nèi)。
權(quán)利要求
1、一種提供幀率轉(zhuǎn)換后的視頻的方法，其特征在于，包括將視頻幀序列中的視頻幀連續(xù)緩沖存儲(chǔ)在緩沖器中；使用每個(gè)新近緩沖的幀來(lái)調(diào)整至少一個(gè)插值參數(shù)，該插值參數(shù)取決于所述序列的節(jié)奏的當(dāng)前值；基于所述至少一個(gè)插值參數(shù)在所述緩沖器中插入所述多個(gè)視頻幀中的至少兩個(gè)，以構(gòu)建輸出幀。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括分析所述緩沖器中 每個(gè)新近緩沖的幀，以確定所述^L頻幀序列的節(jié)奏。
3、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括從上行視頻處理器 接收節(jié)奏指示符。
4、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述插值在所述分析完成 之前執(zhí)行。
5、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)所述^f見(jiàn)頻幀中的 至少兩個(gè)基于所述節(jié)奏指示符的當(dāng)前值來(lái)選擇。
6、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述插值參數(shù)用于指示每 個(gè)所述輸出幀相對(duì)于所述緩沖器中兩個(gè)^f見(jiàn)頻幀的位置。
7、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述緩沖器為先進(jìn)先出緩 沖器，其存儲(chǔ)至少四個(gè)所述纟見(jiàn)頻幀。
8、 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述緩沖器為先進(jìn)先出緩 沖器，其存儲(chǔ)四個(gè)所述^L頻幀。
9、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分析包括將所述新近 緩沖的幀與緩沖器中前一緩沖的幀進(jìn)行比較。
10、 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述插值以所述視頻幀連 續(xù)緩沖存儲(chǔ)的速度的兩倍速度生成所述輸出幀。
11、 根據(jù)權(quán)利要求IO所述的方法，其特征在于，當(dāng)所述節(jié)奏指示符指示 使用了 3:2下拉方式，所述插值參數(shù)指出相對(duì)于所述緩沖器中的二個(gè)所述幀的五分之一倍數(shù)的位置。
12、 根據(jù)權(quán)利要求IO所述的方法，其特征在于，當(dāng)所述節(jié)奏指示符指示 節(jié)奏從3:2下拉方式發(fā)生了變化，所述參數(shù)指示所述幀之間二分之一倍數(shù)處的 運(yùn)動(dòng)。
13、 根據(jù)權(quán)利要求IO所述的方法，其特征在于，當(dāng)所述節(jié)奏指示符指示 2:2下拉方式時(shí)，所述插值參數(shù)指出相對(duì)于所述緩沖器中的二個(gè)所述幀的四分 之一倍數(shù)的位置。
14、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括在將所述^L頻幀存 儲(chǔ)在所述緩沖器中之前，對(duì)每一個(gè)所述視頻幀進(jìn)行解碼。
15、 根據(jù)權(quán)利要求14所述的方法，其特征在于，所述節(jié)奏反映在所述序 列中存在3:2下拉方式，在所述序列中新近緩沖視頻幀和從中構(gòu)建所述輸出幀 中的一個(gè)之間，所述插值生成1.5個(gè)所述緩沖幀的延遲。
16、 一種一見(jiàn)頻設(shè)備，包括 緩沖器，用于緩沖視頻幀序列；節(jié)奏探測(cè)器，與所述緩沖器通信，用于分析所述緩沖器中每個(gè)新近緩沖的 幀，以此來(lái)確定所述視頻幀序列的節(jié)奏，并構(gòu)建節(jié)奏指示符以反映這種節(jié)奏；幀率轉(zhuǎn)換器，用于依據(jù)插值^t從所述緩沖器中所述多個(gè)視頻幀中的至少 兩個(gè)幀中構(gòu)建插值視頻幀，該插值參數(shù)取決于所述節(jié)奏探測(cè)器的當(dāng)前值。
17、 根據(jù)權(quán)利要求16所述的視頻設(shè)備，其特征在于，所述緩沖器為先進(jìn) 先出緩沖器。
18、 根據(jù)權(quán)利要求16所述的視頻設(shè)備，其特征在于，所述緩沖器中存儲(chǔ) 有至少四個(gè)^L頻幀。
19、 根據(jù)權(quán)利要求16所述的視頻設(shè)備，其特征在于，所述緩沖器中存儲(chǔ) 有四個(gè)纟見(jiàn)頻幀。
20、 根據(jù)權(quán)利要求16所述的視頻設(shè)備，其特征在于，還包括視頻解碼器， 用于對(duì)所述3見(jiàn)頻幀序列進(jìn)行解碼。
21、 根據(jù)權(quán)利要求16所述的視頻設(shè)備，其特征在于，所述節(jié)奏探測(cè)器將 所述緩沖器中每個(gè)新近緩沖的視頻幀與所述緩沖器中前一視頻幀進(jìn)行比較，以確定所述節(jié)奏。
22、 根據(jù)權(quán)利要求16所述的視頻設(shè)備，其特征在于，所述插值參數(shù)指出 所述插值視頻幀中每個(gè)幀相對(duì)于所述緩沖器中二個(gè)幀的位置。
23、 根據(jù)權(quán)利要求22所述的視頻設(shè)備，其特征在于，所述幀率轉(zhuǎn)換器以 所述視頻幀序列緩沖存儲(chǔ)速度的兩倍速度生成所述插值視頻幀。
24、 根據(jù)權(quán)利要求23所述的視頻設(shè)備，其特征在于，當(dāng)所述節(jié)奏指示符 指示3:2下拉方式時(shí)，所述插值參數(shù)指示相對(duì)于所述緩沖器中二個(gè)所述幀的五 分之一倍數(shù)的位置。
25、 根據(jù)權(quán)利要求24所述的視頻設(shè)備，其特征在于，當(dāng)所述節(jié)奏指示符 指示從3:2下拉方式發(fā)生變化時(shí)，所述參數(shù)指示所述緩沖器中所述幀之間二分 之一倍數(shù)處的運(yùn)動(dòng)。
26、 根據(jù)權(quán)利要求23所述的視頻設(shè)備，其特征在于，當(dāng)所述節(jié)奏指示符 指示2:2下拉方式，所述插值參數(shù)指出相對(duì)于所述緩沖器中二個(gè)所述幀的四分 之一倍數(shù)的位置。
27、 一種顯示器，其特征在于，包括權(quán)利要求16所述的視頻設(shè)備。
全文摘要
一種幀率轉(zhuǎn)換器，連續(xù)緩沖視頻幀序列中的視頻幀至緩沖器中，并基于至少一個(gè)插值參數(shù)在緩沖器中插入多個(gè)視頻幀中的至少兩個(gè)幀，以構(gòu)建插值輸出幀。該插值參數(shù)將依據(jù)每個(gè)新近緩沖的幀進(jìn)行調(diào)整，這取決于所述幀序列的節(jié)奏的當(dāng)前值。通過(guò)這種方式，節(jié)奏探測(cè)引入的延遲將得以降低。
文檔編號(hào)H04N7/01GK101627624SQ200780043705
公開(kāi)日2010年1月13日 申請(qǐng)日期2007年12月26日 優(yōu)先權(quán)日2006年12月26日
發(fā)明者丹尼爾·多斯沃爾德 申請(qǐng)人:美國(guó)博通公司