專(zhuān)利名稱(chēng)：計(jì)算運(yùn)動(dòng)矢量的方法與設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的背景本發(fā)明涉及一種計(jì)算運(yùn)動(dòng)矢量，特別是計(jì)算適用于視頻信號(hào)非隔行化系統(tǒng)的運(yùn)動(dòng)矢量的方法與設(shè)備。
遵從例如先進(jìn)電視系統(tǒng)委員會(huì)(ATSC)標(biāo)準(zhǔn)的數(shù)字電視(DTV)信號(hào)可以有許多種格式。典型地，這些格式由兩個(gè)參量表征，即一個(gè)圖像中的水平行數(shù)目以及每個(gè)圖像幀是由兩個(gè)各自含有這個(gè)幀的一些交替的行的圖像場(chǎng)組成的〔隔行的〕還是由一個(gè)包含了這個(gè)幀的所有行的圖像場(chǎng)組成的(逐行的)。ATSC標(biāo)準(zhǔn)所規(guī)定的電視信號(hào)格式按分辨率自高到低排列的表示符號(hào)為1080I、720P、480P和480I。在這些符號(hào)中，數(shù)字代表每個(gè)圖像的水平行數(shù)目，字母代表該圖像是隔行的〔I〕還是逐行的(P)。
按照(美國(guó))國(guó)家電視標(biāo)準(zhǔn)委員會(huì)(NTSC)所建立標(biāo)準(zhǔn)工作的電視接收機(jī)用兩個(gè)隔行場(chǎng)來(lái)顯示有效視頻信息的480個(gè)行，所以其分辨率格式為480I。現(xiàn)有的大多數(shù)美國(guó)節(jié)目都遵從NTSC標(biāo)準(zhǔn)。
ATSC電視接收機(jī)可能支持許多種不同類(lèi)型的監(jiān)視器。例如，一個(gè)ATSC接收機(jī)可以連接到一個(gè)能顯示接收到的任何類(lèi)型信號(hào)的多同步監(jiān)視器上。由于這種類(lèi)型的多同步監(jiān)視器能以期望的分辨率顯示每種可能的ATSC信號(hào)，所以它通常被稱(chēng)作本地模式監(jiān)視器?；蛘?，也可以購(gòu)買(mǎi)到能與一個(gè)標(biāo)準(zhǔn)NTSC監(jiān)視器相連接的ATSC接收機(jī)。一種這樣的接收機(jī)是Panasonic(松下)公司所制造的TU-DST51型數(shù)字電視解碼器機(jī)頂盒。該接收機(jī)把各種類(lèi)型的ATSC信號(hào)都轉(zhuǎn)換成可以由NTSC監(jiān)視器顯示的480I輸出信號(hào)。該P(yáng)anasonic接收機(jī)還能支持其他類(lèi)型的監(jiān)視器，自動(dòng)地把接收到的輸入信號(hào)轉(zhuǎn)換成指定的監(jiān)視器所支持的格式。
眾所周知，隔行視頻信號(hào)存在著因兩個(gè)隔行視頻場(chǎng)發(fā)生于兩個(gè)不同時(shí)間而造成的缺陷。其中一個(gè)缺陷是垂直點(diǎn)爬行。這一缺陷出現(xiàn)在圖像中的垂直邊緣處，典型地出現(xiàn)在不同顏色的圖像部分之間的邊緣處。如垂直點(diǎn)爬行這一名稱(chēng)所示，這一缺陷表現(xiàn)為在圖像幀中有一排點(diǎn)逐漸從底部移向頂部。如果顯示裝置能支持逐行視頻信號(hào)，則可以通過(guò)在顯示之前把隔行視頻信號(hào)轉(zhuǎn)換成逐行視頻信號(hào)來(lái)消除或者至少減輕隔行掃描的這些缺陷。
有許多把隔行視頻信號(hào)轉(zhuǎn)換成逐行視頻信號(hào)的方法。在K.Sugiyama等人的論文“A Method of De-interlacing with MotionCompensated Interpolation(一種利用運(yùn)動(dòng)補(bǔ)償插值的非隔行化方法)“(IEEE Transactions on Consumer Electronics,Vol.45,No.3,1999pp.611-616)中說(shuō)明了其中的一些方法。典型地，把隔行視頻信號(hào)轉(zhuǎn)換成逐行視頻信號(hào)(即非隔行化)是通過(guò)在視頻信號(hào)每個(gè)圖像場(chǎng)的各已有行之間插入一些插值圖像行來(lái)實(shí)現(xiàn)的。
在運(yùn)動(dòng)補(bǔ)償非隔行化系統(tǒng)中，在噪聲性能與小物體跟蹤之間存在一個(gè)折衷問(wèn)題。典型地，采用較大像元塊(簡(jiǎn)稱(chēng)“塊”)尺寸的運(yùn)動(dòng)補(bǔ)償系統(tǒng)具有較好的噪聲性能，也就是說(shuō)，這種系統(tǒng)不會(huì)趨向于用跟蹤噪聲去替代跟蹤其中的圖像內(nèi)容。然而，這種系統(tǒng)也趨向于不能很好地跟蹤小物體。于是，如果在一個(gè)圖像序列的兩個(gè)相繼圖像之間只有小物體的運(yùn)動(dòng)，則采用大塊尺寸的非隔行化系統(tǒng)將以把運(yùn)動(dòng)后的物體與當(dāng)前幀中的同一物體匹配起來(lái)。另一方面，如果像上面所引的論文那樣減小塊尺寸，則雖然改善了對(duì)小物體的識(shí)別，但卻降低了噪聲性能。


圖1B是一個(gè)適用于圖1A所示轉(zhuǎn)換系統(tǒng)的隔行至逐行轉(zhuǎn)換器的方框圖。
圖2A是幫助說(shuō)明圖1A中運(yùn)動(dòng)估測(cè)處理器在計(jì)算運(yùn)動(dòng)矢量時(shí)所使用的塊選擇方案的圖像圖。
圖2B示出了圖2A所示圖像圖的一部分。
圖3A是幫助說(shuō)明圖1A中運(yùn)動(dòng)估測(cè)處理器所采用的運(yùn)動(dòng)矢量計(jì)算步驟的圖像圖。
圖3B示出了圖3A所示圖像圖的一部分。
圖4A是幫助說(shuō)明圖1A中運(yùn)動(dòng)估測(cè)處理器所采用的運(yùn)動(dòng)矢量計(jì)算處理的圖像圖。
圖4B示出了圖4A所示圖像圖的一部分。
圖5是說(shuō)明為圖2A至4B所示圖像中任一圖像邊緣附近的塊計(jì)算運(yùn)動(dòng)矢量的一種示例性處理方法的圖像圖。
圖6是幫助說(shuō)明本發(fā)明處理的流程圖。
詳細(xì)說(shuō)明圖1是根據(jù)本發(fā)明的一個(gè)示例性隔行至逐行掃描轉(zhuǎn)換系統(tǒng)的方框圖。在圖1A中，隔行視頻信號(hào)被接收到一個(gè)當(dāng)前場(chǎng)存儲(chǔ)器110中。每接收到一個(gè)新的場(chǎng)，存儲(chǔ)器110原先存儲(chǔ)的內(nèi)容就被轉(zhuǎn)換到一個(gè)前面場(chǎng)存儲(chǔ)器112中。一個(gè)運(yùn)動(dòng)估測(cè)處理器114被連接得能同時(shí)從當(dāng)前場(chǎng)存儲(chǔ)器110和前面場(chǎng)存儲(chǔ)器112接收視頻信號(hào)。如后面將說(shuō)明的，運(yùn)動(dòng)估測(cè)處理器114將基于8×8像元的塊來(lái)產(chǎn)生當(dāng)前場(chǎng)的運(yùn)動(dòng)矢量。不過(guò)這些運(yùn)動(dòng)矢量將被指定給4×4像元的塊。這些運(yùn)動(dòng)矢量被一個(gè)隔行至逐行轉(zhuǎn)換器116用來(lái)產(chǎn)生隔行視頻信號(hào)每對(duì)樣本之間的垂直(方向)插值樣本。當(dāng)前場(chǎng)存儲(chǔ)器110、前面場(chǎng)存儲(chǔ)器112、運(yùn)動(dòng)估測(cè)處理器114和隔行至逐行轉(zhuǎn)換器116都受一個(gè)控制器118的控制。
雖然本發(fā)明是借助一個(gè)通過(guò)考察前面場(chǎng)的樣本來(lái)產(chǎn)生當(dāng)前場(chǎng)的插值樣本的示例性實(shí)施例來(lái)說(shuō)明的，但應(yīng)該理解，本發(fā)明也可以由通過(guò)考察后面場(chǎng)的樣本或同時(shí)考察一個(gè)后面場(chǎng)和一個(gè)前面場(chǎng)的樣本來(lái)產(chǎn)生當(dāng)前場(chǎng)的插值樣本的方式來(lái)實(shí)現(xiàn)。
隔行至逐行轉(zhuǎn)換器116示于圖1B。該轉(zhuǎn)換器包含一個(gè)場(chǎng)內(nèi)插值器124和一個(gè)場(chǎng)間插值器126。場(chǎng)內(nèi)插值器124通過(guò)沿垂直方向平均當(dāng)前隔行場(chǎng)的相鄰行的對(duì)應(yīng)樣本來(lái)產(chǎn)生各行之間的行間(插值)樣本。場(chǎng)間插值器126通過(guò)對(duì)當(dāng)前場(chǎng)的樣本行和前面場(chǎng)的樣本行(由運(yùn)動(dòng)矢量指明)進(jìn)行濾波來(lái)產(chǎn)生經(jīng)過(guò)了圖像運(yùn)動(dòng)補(bǔ)償?shù)牟逯禈颖?。?dāng)運(yùn)動(dòng)估測(cè)電路114所產(chǎn)生的運(yùn)動(dòng)矢量真實(shí)地反映了當(dāng)前場(chǎng)與前面場(chǎng)之間的運(yùn)動(dòng)時(shí)，采用插值器126所產(chǎn)生的插值行將優(yōu)于采用場(chǎng)內(nèi)插值器124所產(chǎn)生的插值行，因?yàn)榍罢咚玫降膱D像將具有較大的垂直分辨率。然而，如果運(yùn)動(dòng)估測(cè)處理器所產(chǎn)生的運(yùn)動(dòng)矢量沒(méi)有反映場(chǎng)間的真實(shí)運(yùn)動(dòng)，則場(chǎng)間插值器126所產(chǎn)生的插值樣本可能含有會(huì)使圖像質(zhì)量下降的運(yùn)動(dòng)失真。這時(shí)有可能希望采用場(chǎng)內(nèi)插值器124所產(chǎn)生的插值行。
在本發(fā)明的示例性實(shí)施例中，圖1A中的運(yùn)動(dòng)估測(cè)處理器114向一個(gè)比較器120提供一個(gè)差值。這個(gè)差值是當(dāng)前場(chǎng)與前面場(chǎng)中對(duì)應(yīng)塊之間的差別的一個(gè)度量。比較器120把該差值與一個(gè)由一個(gè)數(shù)字值源122(例如一個(gè)寄存器)所提供的閾值相比較。比較器120的輸出信號(hào)被提供給一個(gè)選接器128的控制輸入端，該選接器128的兩個(gè)信號(hào)輸入端則被連接得能分別接收插值器124所提供的場(chǎng)內(nèi)插值樣本和場(chǎng)間插值器126所提供的相應(yīng)樣本。如果運(yùn)動(dòng)估測(cè)處理器114所提供的差值大于閾值，則比較器將使選接器128把場(chǎng)內(nèi)插值樣本作為插值輸出信號(hào)132向后提供。另一方面，如果處理器114可提供的差值小于閾值122，則比較器將使選接器128把差值器126可產(chǎn)生的場(chǎng)間差值樣本作為差值輸出信號(hào)132向后提供。而當(dāng)前場(chǎng)的隔行信號(hào)則作為隔行樣本130提供。信號(hào)線130和132提供的樣本的結(jié)合即形成了逐行視頻圖像。
圖2A是一個(gè)說(shuō)明運(yùn)動(dòng)估測(cè)處理器114用來(lái)計(jì)算運(yùn)動(dòng)矢量的一些重疊大塊的圖像圖。圖2A示出了一個(gè)圖像210和為該圖像定義的三組重疊大塊。這三組重疊大塊分別用實(shí)線、虛線和點(diǎn)線表示。第一組塊212由實(shí)線代表。這些塊在水平和垂直兩個(gè)方向上都相對(duì)于圖像210的邊緣偏移了例如2個(gè)像元。其中每一個(gè)典型的塊218(由點(diǎn)劃線圈出)的每條邊都包含了8個(gè)像元，使每個(gè)大塊總共包含8×8=64個(gè)像元。由虛線代表的第二組塊214也由一些8×8像元的塊組成。不過(guò)第二組塊在水平方向上相對(duì)于圖像210的左邊緣偏移了6個(gè)像元，在垂直方向上相對(duì)于圖像210的上邊緣偏移了2個(gè)像元。由點(diǎn)線代表的第三組塊216也是由一些8×8像元塊組成，不過(guò)在水平方向上偏離圖像210的左邊緣2個(gè)像元，在垂直方向上偏離圖像210的上邊緣6個(gè)像元。
圖2B詳細(xì)示出圖2A圖像中一個(gè)包含8×8像元塊218的部分。如圖2B所示，像元塊218偏離圖像210的左邊緣2個(gè)像元的間隔228。這個(gè)塊218還偏離圖像210的上邊緣2個(gè)像元的間隔224。
本發(fā)明的該示例性實(shí)施例利用普通的運(yùn)動(dòng)估測(cè)技術(shù)基于8×8像元塊218來(lái)確定運(yùn)動(dòng)矢量212。不過(guò)，該運(yùn)動(dòng)矢量將僅被指定給一個(gè)中央的4×4像元子塊220。如圖2B所示，該中央子塊偏離塊218上邊緣2個(gè)像元的間隔226，偏離塊218左邊緣2個(gè)像元的間隔230。
圖2B代表了圖1A中處理器114所執(zhí)行的運(yùn)動(dòng)估測(cè)處理的第一個(gè)步驟。在該步驟中，運(yùn)動(dòng)估測(cè)處理器114首先確定塊218，然后通過(guò)把塊218與前面場(chǎng)112中一些在某個(gè)像元位置范圍內(nèi)移位了的對(duì)應(yīng)8×8像元塊(例如在水平和垂直方向上都移動(dòng)了正負(fù)1至6個(gè)像元位置的8×8像元塊)相比較，計(jì)算出一個(gè)運(yùn)動(dòng)矢量。這個(gè)運(yùn)動(dòng)知量反映了前面圖像中搜索范圍內(nèi)能最佳地滿(mǎn)足一個(gè)匹配準(zhǔn)則的塊相對(duì)于當(dāng)前圖像210中的塊218的移位量。匹配算法例如可以是計(jì)算兩個(gè)塊中64對(duì)相應(yīng)像元之間的平均絕對(duì)差。不過(guò)，計(jì)算出了運(yùn)動(dòng)矢量之后只把它指定給中央4×4像元子塊220。
圖3A和3B示出處理器114所執(zhí)行的運(yùn)動(dòng)估測(cè)處理的第二個(gè)步驟。在該步驟中，利用第二個(gè)8×8像元塊310來(lái)產(chǎn)生一個(gè)運(yùn)動(dòng)矢量。這個(gè)像元塊屬于經(jīng)過(guò)了水平移位的那個(gè)像元塊組214。如圖3A和3B所示，像元塊310與像元塊218在水平方向上有4個(gè)像元的重疊。與像元塊218的情況類(lèi)似，運(yùn)動(dòng)估測(cè)處理器114基于整個(gè)8×8像元塊310來(lái)產(chǎn)生一個(gè)運(yùn)動(dòng)矢量314，但僅把該運(yùn)動(dòng)矢量指定給中央4×4像元子塊312。該子塊在兩個(gè)方向上都偏離像元塊310的邊緣2個(gè)像元位置。這樣，子塊312與子塊220是緊接著的。
對(duì)于當(dāng)前圖像場(chǎng)210的整個(gè)寬度，重復(fù)圖2A、2B和3A、3B所示的步驟。圖4A和4B說(shuō)明運(yùn)動(dòng)估測(cè)處理器114在采用圖2和3所示的步驟處理完了圖像210寬度方向上的最后一個(gè)塊之后所執(zhí)行的步驟。在圖4A和4B所示的步驟中，運(yùn)動(dòng)估測(cè)處理器114選取一個(gè)樣本塊410，這個(gè)塊相對(duì)于樣本塊218，在垂直方向下移了4個(gè)像元位置，從而與塊218的下部4個(gè)樣本行發(fā)生重疊。處理器114基于整個(gè)8×8像元塊410計(jì)算出一個(gè)運(yùn)動(dòng)矢量414，但僅把它指定給像元塊410的中央4×4像元塊412。這個(gè)子塊412緊接在子塊220的下面。
運(yùn)動(dòng)估測(cè)處理器接著再取一個(gè)8×8像元塊(未示出)，該像元塊相對(duì)于塊218在水平和垂直兩個(gè)方向上都移動(dòng)了4個(gè)像元位置，因此與塊218的右下角的四分之一重疊，并被用來(lái)產(chǎn)生一個(gè)運(yùn)動(dòng)矢量，以指定給一個(gè)緊接在4×4像元子塊312下側(cè)和4×4像元子塊412右側(cè)的4×4像元子塊。這一處理沿著圖像210的寬度方向不斷進(jìn)行。在處理完這第二排像元塊中的最后一個(gè)像元塊之后，再利用屬于像元塊組212(圖2A,3A,4A中以實(shí)線表示的那個(gè)組)的下一排像元塊來(lái)繼續(xù)進(jìn)行運(yùn)動(dòng)估測(cè)處理。
圖2A至4B所示處理得到的結(jié)果將是一組各自具有一個(gè)相應(yīng)運(yùn)動(dòng)矢量的4×4像元塊。不過(guò)由于這些運(yùn)動(dòng)矢量是從較大的8×8像元塊計(jì)算出來(lái)的，所以具有優(yōu)越的噪聲性能。當(dāng)運(yùn)動(dòng)估測(cè)處理器114把這些4×4像元塊應(yīng)用于隔行至逐行轉(zhuǎn)換器114時(shí)，它還提供了關(guān)于當(dāng)前場(chǎng)中的4×4像元塊與前面場(chǎng)中的匹配4×4像元塊之間的差別的一個(gè)度量，這個(gè)差別度量例如可以是兩個(gè)塊中相應(yīng)位置處的像元值的平均絕對(duì)差(MAD)或平均方差(MSE)。
由于運(yùn)動(dòng)估測(cè)器114基于8×8的像元值塊來(lái)跟蹤圖像的運(yùn)動(dòng)，所以它趨向于跟蹤圖像的內(nèi)容而不是噪聲。從而，與采用較小塊尺寸的轉(zhuǎn)換器相比，估測(cè)器114具有優(yōu)越的噪聲性能。而且，由于應(yīng)用于隔行至逐行轉(zhuǎn)換器116的匹配塊之間的差別度量是基于較小的4×4像元子塊的。所以與采用較大塊尺寸的轉(zhuǎn)換器相比，轉(zhuǎn)換器116能更好地拒絕圖像中小物體的錯(cuò)誤匹配。這樣，隔行至逐行轉(zhuǎn)換器116既具有良好的噪聲性能，又能實(shí)現(xiàn)良好的小物體跟蹤。
在運(yùn)動(dòng)估測(cè)處理結(jié)尾處，也就是當(dāng)處理完了圖像中的最后一個(gè)8×8像元塊之后，除了圖像周邊的一組(圈)4×4像元子塊之外，其余所有的圖像像元塊都具有了運(yùn)動(dòng)矢量。對(duì)于周邊子塊的運(yùn)動(dòng)矢量的計(jì)算可以有許多種方法。圖5示出了一個(gè)例子。在該圖中，4×4像元子塊510尚未通過(guò)上述處理獲得一個(gè)運(yùn)動(dòng)矢量。在本發(fā)明的示例性實(shí)施例中，把對(duì)子塊412計(jì)算得到的運(yùn)動(dòng)矢量414復(fù)制為4×4像元子塊510的運(yùn)動(dòng)矢量512。類(lèi)似地，把子塊220的運(yùn)動(dòng)矢量222復(fù)制為子塊514的運(yùn)動(dòng)矢量516；運(yùn)動(dòng)矢量222還被復(fù)制為子塊518的運(yùn)動(dòng)矢量520，而子塊312的運(yùn)動(dòng)矢量314則被復(fù)制為子塊522的運(yùn)動(dòng)矢量524。子塊526不具有一個(gè)與其某一側(cè)邊相鄰接且其運(yùn)動(dòng)矢量是直接計(jì)算得到的子塊。但在本發(fā)明的該示例性實(shí)施例中，把運(yùn)動(dòng)矢量222復(fù)制成子塊526的運(yùn)動(dòng)矢量528。
由于子塊510、514、518、522和526都住在圖像210的邊緣處，所以與位于更接近圖像中央的那些子塊相比是比較不重要的。這是因?yàn)樵诘湫颓闆r下觀眾的注意力中于圖像的中央而不是其邊緣。所以對(duì)于這些邊緣子塊運(yùn)動(dòng)矢量的計(jì)算沒(méi)有對(duì)靠近圖像中央部分的子塊那樣重要。在本發(fā)明的另一個(gè)實(shí)施例中，可以把這些邊緣子塊的運(yùn)動(dòng)矢量設(shè)定為零?；蛘?，也可以利用幾個(gè)相鄰子塊的運(yùn)動(dòng)矢量來(lái)計(jì)算，例如，子塊512的運(yùn)動(dòng)矢量可以計(jì)算成為三個(gè)子塊運(yùn)動(dòng)矢量的平均，這三個(gè)子塊是220、412和412緊下方的那個(gè)4×4像元子塊(未示出)，它們的運(yùn)動(dòng)矢量是222、414和上述未示出子塊的運(yùn)動(dòng)矢量(未示出)。
雖然圖2A至5所示的本發(fā)明示例性實(shí)施例對(duì)圖像邊緣處子塊的運(yùn)動(dòng)矢量是利用非本發(fā)明方法產(chǎn)生的，但可以期望能免除這種步驟。例如，如果隔行圖像大于等價(jià)的逐行圖像，則可以把塊組212布置得對(duì)齊于圖像的上邊緣和左邊緣，把塊組214布置得對(duì)齊于圖像的上邊緣和右邊緣，把塊組216布置得對(duì)齊于圖像的下邊緣和左邊緣。在這樣的布局下，在圖像的周邊將確定出一個(gè)例子如2個(gè)像元寬的邊緣區(qū)。如果在逐行圖像中可以略去這個(gè)邊緣區(qū)，就不再需要執(zhí)行圖5所示特殊的運(yùn)動(dòng)矢量求取步驟。
參考圖1A和1B所說(shuō)明的本發(fā)明實(shí)施例期望利用專(zhuān)用硬件電路來(lái)實(shí)現(xiàn)本發(fā)明。然而也能期望，本發(fā)明可以借助適用于通用或?qū)Ｓ糜?jì)算機(jī)的軟件來(lái)實(shí)現(xiàn)。該軟件可以駐留在例如磁盤(pán)、光盤(pán)、射頻載波或聲頻載波等計(jì)算處機(jī)可讀載體上。
圖6是說(shuō)明本發(fā)明的一種示例性軟件實(shí)現(xiàn)的流程圖，該軟件實(shí)現(xiàn)能分別對(duì)兩個(gè)重疊的塊確定兩個(gè)運(yùn)動(dòng)矢量。這些運(yùn)動(dòng)矢量確定了第一個(gè)圖像中的重疊塊與第二個(gè)圖像中的相應(yīng)重疊塊之間的運(yùn)動(dòng)。在步驟610中，從第一個(gè)圖像中選擇一個(gè)第一像元塊。在步驟612中，在第二個(gè)圖像中的一個(gè)預(yù)定范圍內(nèi)進(jìn)行搜索，找出最佳匹配塊。在步驟614中，把匹配塊相對(duì)于第一塊的移位設(shè)定為該第一塊的運(yùn)動(dòng)矢量。
接著，在步驟616、618和620中對(duì)第二重疊塊重復(fù)上述處理，以確定出一個(gè)第二運(yùn)動(dòng)矢量。在該處理的最后一個(gè)步驟，即步驟622中，分別把第一和第二運(yùn)動(dòng)矢量指定給從第一和第二重疊塊中央部分取出的第一和第二非重疊塊。
雖然已借助一個(gè)示例性實(shí)施例說(shuō)明了本發(fā)明，但應(yīng)該指出，也能夠在所附權(quán)利要求書(shū)的范疇內(nèi)實(shí)施前述的本發(fā)明。例如，雖然在本發(fā)明的示例性實(shí)施例中大的像元塊是8×8像元塊，小的像元塊是4×4像元塊，但也可以采用其他的塊尺寸。此外，也可以采用其他的重疊量。例如，大塊可以是8×10像元塊，小塊可以是4×6像元塊。還有，雖然本發(fā)明是借助一個(gè)非隔行化系統(tǒng)來(lái)說(shuō)明的，但它也可以應(yīng)用于例如圖像壓縮系統(tǒng)和機(jī)器視覺(jué)系統(tǒng)等利用了運(yùn)動(dòng)矢量的其他系統(tǒng)。
權(quán)利要求
1.一種計(jì)算一個(gè)第一圖像與一個(gè)第二圖像之間的運(yùn)動(dòng)矢量的方法，其中第一和第二圖像各自都含有一些相繼的圖形元(像元)樣本行，該方法包括以下步驟從第一圖像中選擇一個(gè)具有預(yù)定位置的第一N×M像元塊，其中N和M都是大于2的整數(shù)；在第二圖像中識(shí)別出一個(gè)第一匹配N(xiāo)×M像元塊，該第一匹配塊具有一個(gè)相對(duì)于第一圖像中的第一塊的位置在一個(gè)預(yù)定移位范圍之內(nèi)移位了的位置，并且按一個(gè)預(yù)定準(zhǔn)則匹配于第一塊；計(jì)算一個(gè)第一運(yùn)動(dòng)矢量，它等于第二圖像中第一匹配像元塊的像元位置相對(duì)于第一圖像中第一塊的位置的移位量；從第一圖像中選擇一個(gè)第二N×M像元塊，該第二塊與第一塊至少重疊O個(gè)像元位置，其中O是小于N×M的整數(shù)；在第二圖像中識(shí)別出一個(gè)第二匹配N(xiāo)×M像元塊，該第二匹配塊具有一個(gè)相對(duì)于第一圖像中的第二塊的位置在預(yù)定移位范圍之內(nèi)移位了的位置，并且按預(yù)定準(zhǔn)則匹配于第二塊；以及計(jì)算一個(gè)第二運(yùn)動(dòng)矢量，它等于第二圖像中第二匹配像元塊的像元位置相對(duì)于第一圖像中第二塊的位置的移位量。
2.根據(jù)權(quán)利要求1的方法，它還包括下述步驟分別把第一和第二運(yùn)動(dòng)矢量指定給第一圖像的第一和第二塊中的非重疊n×m像元塊，其中n和m都是整數(shù)，并且n小于N,m小于M。
3.根據(jù)權(quán)利要求2的方法，其中M和N均等于8,m和n均等于4。
4.根據(jù)權(quán)利要求1的方法，其中第一圖像中的第二塊相對(duì)于第一圖像中的第一塊在水平方向上有移位。
5.根據(jù)權(quán)利要求4的方法，它還包括以下步驟從第一圖像中選擇一個(gè)第三N×M像元塊，該第三塊相對(duì)于第一塊在垂直方向上有移位，并且至少與第一塊有O個(gè)像元位置的重疊；在第二圖像中識(shí)別出一個(gè)第三匹配N(xiāo)×M像元塊，該第三匹配塊具有一個(gè)相對(duì)于第一圖像中的第三塊的位置在預(yù)定移位范圍之內(nèi)移位了的位置，并且按預(yù)定準(zhǔn)則匹配于第三塊；以及計(jì)算一個(gè)第三運(yùn)動(dòng)矢量，它等于第二圖像中的第三匹配像元塊的像元位置相對(duì)于第一圖像中第三塊的的移位量。
6.根據(jù)權(quán)利要求1的方法，其中第一圖像中的第二塊相對(duì)于第一圖像中的第一塊在垂直方向上有移位。
7.用于計(jì)算一個(gè)第一圖像與一個(gè)第二圖像之間的運(yùn)動(dòng)矢量的設(shè)備，其中第一和第二圖像各自都含有一些相繼的圖形元(像元)樣本行，該設(shè)備包括用于從第一圖像中選擇一個(gè)第一N×M像元塊的裝置，其中N和M都是大于2的整數(shù)；用于在第二圖像中確定一個(gè)第一匹配N(xiāo)×M像元塊的裝置，其中該第一匹配塊具有一個(gè)相對(duì)于第一圖像中的第一塊的位置在一個(gè)預(yù)定移位范圍之內(nèi)移位了的位置，并且按一個(gè)預(yù)定準(zhǔn)則匹配于第一塊；用于計(jì)算一個(gè)第一運(yùn)動(dòng)矢量的裝置，其中該第一運(yùn)動(dòng)矢量等于第二圖像中的第一匹配像元塊的像元位置相對(duì)于第一圖像中的第一塊的位置的移位量；用于從第一圖像中選擇一個(gè)第二N×M像元塊的裝置，其中該第二像元塊與第一塊至少重疊O個(gè)像元位置，其中O是小于N×M的整數(shù)；用于在第二圖像中識(shí)別出一個(gè)第二匹配N(xiāo)×M像元塊的裝置，其中該第二匹配塊具有一個(gè)相對(duì)于第一圖像中的第二塊的位置在預(yù)定移位范圍之內(nèi)移位了的位置，并且按照預(yù)定準(zhǔn)則匹配于第二塊；以及用于計(jì)算一個(gè)第二運(yùn)動(dòng)矢量的裝置，其中該第二運(yùn)動(dòng)矢量等于第二圖像中的第二匹配像元塊的像元位置相對(duì)于第一圖像中的第二塊的位置的移位量。
8.根據(jù)權(quán)利要求7的設(shè)備，它還包括用于分別把第一和第二運(yùn)動(dòng)矢量指定給分別位于第一圖像的第一和第二塊中的非重疊n×m像元塊的裝置，其中n和m都是整數(shù)，并且n小于N，m小于M。
9.根據(jù)權(quán)利要求8的設(shè)備，其中N和M均等于8,n和m均等于4。
10.根據(jù)權(quán)利要求7的設(shè)備，其中第一圖像中的第一塊相對(duì)于第一圖像中的第二塊在水平方向上有移位。
11.根據(jù)權(quán)利要求10的設(shè)備，它還包括以下裝置用于從第一圖像中選擇一個(gè)第三N×M像元塊的裝置，其中該第三塊相對(duì)于第一塊在垂直方向上有移位，并且至少與第一塊有O個(gè)像元位置的重疊；用于在第二圖像中識(shí)別出一個(gè)第三匹配N(xiāo)×M像元塊的裝置，其中該第三匹配塊具有一個(gè)相對(duì)于第一圖像中第三塊的位置在預(yù)定移位范圍之內(nèi)移位了的位置，并且按預(yù)定準(zhǔn)則匹配于第三塊；以及用于計(jì)算一個(gè)第三運(yùn)動(dòng)矢量的裝置，其中該第三運(yùn)動(dòng)矢量等于第二圖像中的第三匹配像元塊的像元位置相對(duì)于第一圖像中的第三塊的位置的移位量。
12.根據(jù)權(quán)利要求7的設(shè)備，其中第一圖像中的第二塊相對(duì)于第一圖像中的第一塊在垂直方向上有移位。
13.一種含有一個(gè)能控制一個(gè)計(jì)算機(jī)去計(jì)算一個(gè)第一圖像與一個(gè)第二圖像之間的運(yùn)動(dòng)矢量的計(jì)算機(jī)程序的計(jì)算機(jī)可讀載體，其中第一和第二圖像和自含有一些相繼的圖形元(像元)行樣本，該方法包括以下步驟從第一圖像中選擇一個(gè)具有預(yù)定位置的第一N×M像元塊，其中N和M都是大于2的整數(shù)；在第二圖像中識(shí)別出一個(gè)第一匹配N(xiāo)×M像元塊，該第一匹配塊具有一個(gè)相對(duì)于第一圖像中第一塊的位置在一個(gè)預(yù)定移位范圍之內(nèi)移位了的位置，并且按一個(gè)預(yù)定準(zhǔn)則匹配于第一塊；計(jì)算一個(gè)第一運(yùn)動(dòng)矢量，它等于第二圖像中第一匹配像元塊的像元位置相對(duì)于第一圖像中第一塊的位置的移位量；從第一圖像中選擇一個(gè)第二N×M像元塊，該第二塊與第一塊至少重疊O個(gè)像元位置，其中O是小于N×M的整數(shù)；在第二圖像中識(shí)別出一個(gè)第二匹配N(xiāo)×M像元塊，該第二匹配塊具有一個(gè)相對(duì)于第一圖像中第二塊的位置在預(yù)定移位范圍之內(nèi)移位了的位置，并且按預(yù)定準(zhǔn)則匹配于第二塊；以及計(jì)算一個(gè)第二運(yùn)動(dòng)矢量，它等于第二圖像中第二匹配像元塊的像元位置相對(duì)于第一圖像中第二塊的位置的移位量。
14.一種通過(guò)在一個(gè)含有第一和第二圖像場(chǎng)且每個(gè)場(chǎng)各自包含L個(gè)圖形元(像元)樣本行的隔行視頻信號(hào)的每對(duì)樣本行之間分別插入相應(yīng)的插值像元樣本行把該隔行視頻信號(hào)轉(zhuǎn)換成一個(gè)含有相應(yīng)的第一和第二圖像幀且每個(gè)幀各自至少包含2L-1個(gè)像元樣本行的逐行視頻信號(hào)的方法，其中L是一個(gè)大于1的整數(shù)，該方法包括以下步驟從第一圖像場(chǎng)中選擇第一和第二重疊N×M像元塊，其中第一與第二塊在一個(gè)預(yù)定方向上重疊O個(gè)像元，M、N和O都是整數(shù)，并且O至少小于N和M中的一個(gè)；通過(guò)估測(cè)第一與第二圖像場(chǎng)之間的運(yùn)動(dòng)分別為第一和第二重疊塊確定第一和第二運(yùn)動(dòng)矢量；分別把第一和第二運(yùn)動(dòng)矢量指定給分別位于第一和第二像元樣本塊中的第一和第二非重疊像元子塊；通過(guò)把一個(gè)由第一運(yùn)動(dòng)矢量確定的第一非重疊像元子塊與第二圖像中的一個(gè)相應(yīng)第一匹配子塊之間的差別度量值與一個(gè)預(yù)定閾值相比較，確定該運(yùn)動(dòng)矢量是否代表第一與第二圖像之間的真實(shí)運(yùn)動(dòng)；如果該運(yùn)動(dòng)矢量不代表真實(shí)運(yùn)動(dòng)，則利用第一子塊和第一匹配子塊中的像元樣本來(lái)產(chǎn)生插值像元樣本；如果該運(yùn)動(dòng)矢理不代表真這運(yùn)動(dòng)，則僅利用第一子塊中的像元樣本來(lái)產(chǎn)生插值像元樣本。
15.一種隔行掃描至逐行掃描轉(zhuǎn)換器，它通過(guò)在一個(gè)含有第一和第二圖像場(chǎng)且第個(gè)場(chǎng)各自包含L個(gè)圖形元(像元)樣本行的隔行視頻信號(hào)的每對(duì)樣本行之間分別插入相應(yīng)的插值像元樣本行把隔行視頻信號(hào)轉(zhuǎn)換成一個(gè)含有相應(yīng)的第一和第二圖像幀且每個(gè)幀各自至少包含2L-1個(gè)像元行的逐行視頻信號(hào)，其中L是一個(gè)大于1的整數(shù)，該轉(zhuǎn)換器包括用于從第一圖像場(chǎng)中選擇第一和第二重疊N×M像元塊的裝置，其中第一與第二塊在一個(gè)預(yù)定方向上重疊O個(gè)像元，M、N和O都是整數(shù)，并且O至少小于N和M中的一個(gè)；一個(gè)運(yùn)動(dòng)估測(cè)器，用于通過(guò)估測(cè)第一與第二圖像場(chǎng)之間的運(yùn)動(dòng)來(lái)分別為第一和第二重疊塊確定第一和第二運(yùn)動(dòng)矢量；用于分別把第一和第二運(yùn)動(dòng)矢量指定給分別位于第一和第二像元樣本塊中的第一和第二非重疊像元子塊的裝置；一個(gè)比較器，用于通過(guò)把一個(gè)由第一運(yùn)動(dòng)矢量確定的第一非重疊像元子塊與第二圖像中的一個(gè)相應(yīng)第一匹配子塊之間的差別度量值與一個(gè)預(yù)定閾值相比較來(lái)確定該運(yùn)動(dòng)矢量是否代表第一與第二圖像之間的真實(shí)運(yùn)動(dòng)；一個(gè)第一插值器，用于在運(yùn)動(dòng)矢量代表了真實(shí)運(yùn)動(dòng)的情況下利用第一子塊和第一匹配子塊中的像元樣本來(lái)產(chǎn)生插值像元樣本；以及一個(gè)第二插值器，用于在運(yùn)動(dòng)矢量不代表真實(shí)運(yùn)動(dòng)的情況下僅利用第一子塊中的像元樣本來(lái)產(chǎn)生插值像元樣本。
16.一種計(jì)算一個(gè)第一圖像與一個(gè)第二圖像之間的運(yùn)動(dòng)矢量的方法，其中第一和第二圖像各自都包含一些相繼的圖形元(像元)樣本行，該方法包括以下步驟從第一圖像中選擇第一和第二重疊N×M像元塊，其中第一和第二塊在一個(gè)預(yù)定方向上重疊O個(gè)像元，M、N和O都是整數(shù)，并且O至少小于N和M中的一個(gè)；通過(guò)估測(cè)第一與第二圖像場(chǎng)之間的運(yùn)動(dòng)來(lái)分別為第一和第二重疊塊確定第一和第二運(yùn)動(dòng)矢量；以及分別把第一和第二運(yùn)動(dòng)矢量指定給分別位于第一和第二像元樣本塊中的第一和第二非重疊像元子塊。
全文摘要
用于尋求第一與第二圖像間的運(yùn)動(dòng)矢量的運(yùn)動(dòng)估測(cè)系統(tǒng)從第一圖像中選擇第一和第二重疊像元塊。然后該運(yùn)動(dòng)估測(cè)系統(tǒng)通過(guò)估測(cè)第一與第二圖像間的運(yùn)動(dòng)來(lái)分別為這些重疊塊確定運(yùn)動(dòng)矢量。這些運(yùn)動(dòng)矢量被分別指定給分別位于第一和第二重疊像元塊內(nèi)的第一和第二非重疊像元子塊。該運(yùn)動(dòng)估測(cè)系統(tǒng)應(yīng)用于視頻非隔行化系統(tǒng)中時(shí)具有優(yōu)越性,這些子塊被用來(lái)確定插值樣本應(yīng)是同時(shí)利用第一和第二圖像場(chǎng)中的樣本來(lái)產(chǎn)生還是僅利用第一圖像場(chǎng)的樣本來(lái)產(chǎn)生。
文檔編號(hào)H04N5/44GK1319995SQ0111001
公開(kāi)日2001年10月31日 申請(qǐng)日期2001年3月22日 優(yōu)先權(quán)日2000年3月31日
發(fā)明者羅伯特·約瑟夫·托佩爾 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社