專利名稱：跟蹤運動圖像放大區(qū)域的方法
技術領域：
本發(fā)明涉及一種跟蹤運動圖像放大區(qū)域的方法，特別涉及一種在放大用戶的目標區(qū)域時，能夠跟蹤和保持目標區(qū)域的用于跟蹤運動圖像放大區(qū)域的方法。
壓縮算法處理數(shù)字化的數(shù)據(jù)，能夠根據(jù)媒體的類型，自由地增大或者縮減數(shù)據(jù)。例如，產生了商場中所售的DVD、數(shù)字電視、Video CD等等，使得用戶能夠通過上述的特性，觀看到運動圖像或者圖像的放大的特定區(qū)域。
另一方面，關于對象跟蹤的研究也是如火如荼，對象跟蹤用于在連續(xù)的運動圖像中跟蹤對象的運動。例如，對象跟蹤方法通過使用應用于壓縮或者復原MPEG的運動矢量算法，生成運動條件。通常，用人工智能的話來說，對模式識別方法和使用攝像機移動的跟蹤對象的方法進行研究。
這些對象跟蹤的方法通過分析相應的圖像并且將模式與圖像進行匹配，以尋找對象的模式來識別對象，從而用于跟蹤連續(xù)的對象模式。另外，對于具有相對小量變化和攝像機位置的少許移動的對象，已經使用攝像機的運動方法用于跟蹤對象。
然而，對于使用對運動圖像的放大區(qū)域進行跟蹤的上述方法，由用戶所選擇的放大區(qū)域的位置是固定的，但是由于由用戶選擇的對象在連續(xù)地進行運動、縮小或者放大，其脫離了由用戶所選擇的放大區(qū)域。即，在跟蹤運動圖像放大區(qū)域時，要詳細觀看的內容從屏幕上消失了。因此，用戶必須停止特寫該內容的屏幕，或者必須嘗試對已實現(xiàn)少許運動的區(qū)域進行放大。
為了實現(xiàn)這些和其它的優(yōu)點，并且根據(jù)本發(fā)明的目的，如同此處優(yōu)選地和廣泛地描述，提供了一種用于跟蹤運動圖像放大區(qū)域的方法，其根據(jù)由用戶設定的目標區(qū)域的位移，實現(xiàn)放大區(qū)域的縮小、放大和移動。
根據(jù)以下本發(fā)明的詳細描述，結合附圖，可以更清楚地理解本發(fā)明的上述和其它目的、特征、方面和優(yōu)點。
優(yōu)選實施例說明下面對本發(fā)明的優(yōu)選實施例和在附圖中所說明的實例進行詳細的描述。


圖1顯示的是根據(jù)本發(fā)明，用于跟蹤運動圖像放大區(qū)域的方法的流程圖。
如圖1所示，用于跟蹤運動圖像放大區(qū)域的方法包括基于由用戶所設定的放大區(qū)域的中央，設定目標區(qū)域(ST1)，在MPEG流中提取對應于目標區(qū)域的位移(ST2)，當發(fā)生目標區(qū)域的位移時，確定放大或者縮小(ST3和ST4)，當模式為放大時，通過計算位移而將放大區(qū)域縮小該位移大小(ST5，ST6和ST7)，當模式為縮小時，通過計算位移而將放大區(qū)域放大該位移大小(ST5，ST6和ST8)，如果模式不是縮小和放大時，通過根據(jù)對象移動而計算位移，將放大區(qū)域的位置在上、下、左、右方向移動該位移大小(ST4，ST10和ST11)。
然后，上述方法還包括如果沒有出現(xiàn)目標區(qū)域的位移，確定是否有除了目標區(qū)域之外的背景區(qū)域移動(ST3和ST9)，通過計算背景區(qū)域的位移，將目標區(qū)域的位置在上、下、左、右方向移動位移的距離，使得目標區(qū)域總是位于屏幕的中央。
另一方面，當目標區(qū)域中的對象在屏幕之外消失時，將放大的、縮小的或者移動的放大區(qū)域復原到初始屏幕。
具體來講，可以對用于跟蹤運動圖像的放大區(qū)域的方法做如下描述。
圖2A和2B顯示的是對于在運動圖像中進行放大的對象，在具有預定大小的塊形狀中被選擇的目標區(qū)域的狀態(tài)的示范性視圖。
圖2A顯示的是用戶選擇所要放大的放大區(qū)域的狀態(tài)。其中，將放大前的屏幕根據(jù)用戶的選擇，分為放大區(qū)域和目標區(qū)域。同樣，圖2B顯示的是對由用戶選擇的目標區(qū)域進行放大的狀態(tài)。此時，放大區(qū)域指的是整個屏幕，在真實屏幕中沒有顯示表示目標區(qū)域的框線。
基于由用戶設定的放大區(qū)域的中央，設定目標區(qū)域。即，認為目標區(qū)域位于由用戶放大的區(qū)域的中央，以提取目標區(qū)域。從而，能夠根據(jù)屏幕上對象大小，設定不同的預定處理范圍。此處，將由用戶設定的放大區(qū)域的一半尺寸設定為目標區(qū)域。
圖3A到3C顯示的是用于在各個方向，在目標區(qū)域中通過位移確定縮小的方法的示范性視圖。
圖3A顯示的是在屏幕中有所變化(縮小)時的真實屏幕。因此，如圖3B所示，運動矢量的大小和方向指向內側。此處，提取運動矢量是從MPEG流中讀取包括報頭、運動矢量和其它的附加信息(ST2)。此處，運動矢量表示當前宏塊和從MPEG流中的參考屏幕中的宏塊之間的水平和垂直位移值，并且主要以宏塊為單位實現(xiàn)。
另一方面，在假設生成目標區(qū)域的位移時，獲得目標區(qū)域的運動矢量絕對值的平均值，而對于平均值大于預設定的臨界值的情況，則認為存在運動(ST3)。因此，分別在四個方向獲得目標區(qū)域的位移，而對于該值指向內側的情況，則確定該模式為縮小(ST4)。由于對于縮小的情況，表示發(fā)生了變化，則將對運動矢量中的位移值進行計算，結果作為用于改變目標區(qū)域的大小的標準(ST5)。
然后，如圖3C所示，保持目標區(qū)域的大小，以使得將要以位移值進行放大的對象的大小成為預定值(ST6和ST8)。
圖4A到4C顯示的是用于在各個方向，在目標區(qū)域中通過位移確定放大的方法的示范性視圖。
圖4A顯示的是在屏幕中有所變化(放大)時的真實屏幕。從而，如圖4B所示，運動矢量的大小和方向指向外側。同樣，對于縮小的情況，在假設生成目標區(qū)域的位移時，獲得目標區(qū)域的運動矢量絕對值的平均值，而對于平均值大于預設定的臨界值的情況，則認為存在運動(ST3)。即，通過分別在四個方向獲得目標區(qū)域的位移，對于該值指向外側的情況，則確定該模式為放大(ST3和ST4)。由于對于放大的情況，表示發(fā)生了變化，則將對運動矢量中的位移值進行計算，結果作為用于改變目標區(qū)域的大小的標準(ST5)。
然后，如圖4C所示，將用于以位移值進行縮小的對象的大小保持為預定值(ST6和ST7)。
圖5A到5C顯示的是對于移動屏幕上的對象或者移動背景區(qū)域的情況，被移動的目標區(qū)域的狀態(tài)的示范性視圖。
如圖5A到5C所示，當屏幕移動到左側時，運動矢量的大小和方向指向左側。因此，目標區(qū)域也向左移動。
下面將更為詳細的對上述操作進行描述。
首先，對于認為通過假設發(fā)生了關于目標區(qū)域的位移，而存在運動，但是該模式既非放大又非縮小的情況，移動了屏幕上的對象。因此，對于運動對象改變位置的情況，移動放大區(qū)域的中心點，使得對象位于放大區(qū)域的中央，并且，即使改變了屏幕的內容，也能夠對該內容進行跟蹤，以顯示其內容(ST4、ST10和ST11)。即，在上、下、左、右方向以該大小和方向移動放大區(qū)域的位置，從而使得目標區(qū)域位于屏幕的中央。此時，位移的方向表示運動矢量的移動方向。
另一方面，通過假設生成目標區(qū)域的位移的方法，獲得目標區(qū)域的運動矢量絕對值的平均值，而對于平均值小于或者等于預設定的臨界值的情況，則認為存在除去目標區(qū)域之外的背景區(qū)域的移動(ST3和ST9)。然后，作為上述確定的結論，獲得對應于背景區(qū)域的運動矢量絕對值的平均值，如果平均值大于預設定的臨界值，則在上、下、左、右方向移動放大區(qū)域的位置，從而使得對象總是位于屏幕的中央，如同認為存在攝像機的移動(ST10和ST11)。
如上所述，本發(fā)明改進了用于放大具有少許運動的即停圖像或者運動圖像的方法，并且防止了不能通過攝像機的放大和縮小而識別由用戶所放大的對象或者區(qū)域的情況。同時，能夠根據(jù)由用戶放大的區(qū)域中對象的移動，移動所放大區(qū)域的位置。另外，能夠移動所放大圖像的位置，從而使得由用戶所放大的對象或者區(qū)域不會從屏幕中消失。同時，對于由用戶設定的目標區(qū)域中的對象從屏幕中消失的情況，能夠將所放大的屏幕復原到初始的屏幕。
因此，根據(jù)本發(fā)明的用于跟蹤運動圖像放大區(qū)域的方法，對于通過將該方法應用到數(shù)字電視、DVD、Video CD播放器等等，而用戶感興趣的對象的區(qū)域進行放大的情況，能夠通過跟蹤該區(qū)域而保持所放大的區(qū)域。
在不脫離本發(fā)明的精神或本質特征的情況下，本發(fā)明可以實施為多種形式，還應該理解，除非另外特別說明，以上實施例不限于上述的任何細節(jié)，而應在權利要求所限定的精神和范圍內廣義地解釋，因此，所附的權利要求涵蓋所有落在權利要求的界限或其等同物內的變化和改進。
權利要求
1.一種用于跟蹤運動圖像放大區(qū)域的方法，其根據(jù)屏幕上目標區(qū)域的位移，縮小、放大或者移動放大的區(qū)域。
2.根據(jù)權利要求1的方法，包括根據(jù)用戶所設定的放大區(qū)域的中央，設定所述目標區(qū)域；在MPEG流中提取對應于所述目標區(qū)域的位移。
3.根據(jù)權利要求2的方法，還包括當目標區(qū)域的對象消失在屏幕之外時，將放大的、縮小的或者移動的區(qū)域恢復到初始屏幕。
4.根據(jù)權利要求1的方法，其特征在于，將目標區(qū)域設定為由用戶選擇的放大區(qū)域的一半大小。
5.根據(jù)權利要求1的方法，其特征在于，所述位移是對應于目標區(qū)域的運動矢量的大小和方向的改變量。
6.根據(jù)權利要求5的方法，其特征在于，運動矢量從MPEG流中讀取當前宏塊和參考屏幕中的宏塊之間的水平和垂直位移值。
7.根據(jù)權利要求1的方法，包括當發(fā)生目標區(qū)域的位移時，確定放大或者縮小；當確定的結論是放大時，通過考慮屏幕中的改變而計算位移，并且從放大區(qū)域中減小所變化的值。
8.根據(jù)權利要求7的方法，其特征在于，通過計算對應于目標區(qū)域的運動矢量絕對值的平均值，而得到位移，當平均值大于一個預定臨界值時，認為發(fā)生了目標區(qū)域的移動。
9.根據(jù)權利要求7的方法，其特征在于，通過目標區(qū)域運動矢量的方向，判斷是放大或者縮小。
10.根據(jù)權利要求7的方法，其特征在于，通過分別獲得4個表面的目標區(qū)域運動矢量的方向，判斷是放大或者縮小，當該值指向內側時，則確定縮小屏幕，而當該值指向外側時，則確定放大屏幕。
11.根據(jù)權利要求1的方法，包括當發(fā)生目標區(qū)域的位移時，確定放大或者縮小；當結論是縮小時，計算位移，并且將放大區(qū)域放大到位移一樣大。
12.根據(jù)權利要求1的方法，包括當發(fā)生目標區(qū)域的位移時，確定放大或者縮小；當結論不是放大或者縮小時，確定在屏幕上有對象的移動，并且按照位移的方向，在上、下、左、右方向移動目標區(qū)域。
13.根據(jù)權利要求12的方法，其特征在于，該方向是運動矢量的移動方向。
14.根據(jù)權利要求1的方法，包括當沒有出現(xiàn)目標區(qū)域的位移時，確定是否有除了目標區(qū)域之外的背景區(qū)域移動；計算背景區(qū)域的移動，作為確定的結果，在上、下、左、右方向移動目標區(qū)域的位置作為位移，使得目標區(qū)域總是位于屏幕的中央。
15.根據(jù)權利要求14的方法，其特征在于，獲得目標區(qū)域中運動矢量絕對值的平均值，并且當平均值小于或者等于一個預定臨界值時，確定是否有除了目標區(qū)域之外的背景區(qū)域移動，從而確定背景區(qū)域的移動。
16.根據(jù)權利要求14的方法，其特征在于，如果平均值大于所述預定臨界值，則將背景區(qū)域中運動矢量絕對值的平均值作為上述確定的結果，并且在上、下、左、右方向移動目標區(qū)域的位置，使得所述對象總是位于放大區(qū)域的中央，如同攝像機在移動。
17.一種用于跟蹤運動圖像放大區(qū)域的方法，包括基于用戶設定的放大區(qū)域的中央，設定目標區(qū)域；當在目標區(qū)域中生成位移，并且模式為放大時，通過計算位移而將放大區(qū)域縮小該位移大?。划斣谀繕藚^(qū)域中生成位移，并且模式為縮小時，通過計算位移而將放大區(qū)域放大該位移大??；當在目標區(qū)域中生成位移，并且模式不是縮小和放大時，通過計算位移，將放大區(qū)域的位置在上、下、左、右方向移動該位移大小。當沒有出現(xiàn)目標區(qū)域的位移時，通過計算背景區(qū)域的位移作為確定的結果，將目標區(qū)域的位置在上、下、左、右方向移動，使得目標區(qū)域總是位于屏幕的中央。
18.根據(jù)權利要求17的方法，還包括當目標區(qū)域中的對象在屏幕之外消失時，將放大的、縮小的或者移動的放大區(qū)域復原到初始屏幕。
19.根據(jù)權利要求17的方法，其特征在于，計算對應于目標區(qū)域的運動矢量絕對值的平均值，當平均值大于一個預定臨界值時，認為存在目標區(qū)域的移動。
20.根據(jù)權利要求17的方法，其特征在于，計算目標區(qū)域的運動矢量絕對值的平均值，當平均值小于或者等于一個預定臨界值時，確定存在除目標區(qū)域之外的背景區(qū)域的運動。
全文摘要
一種用于跟蹤運動圖像放大區(qū)域的方法，其能夠在放大用戶的目標區(qū)域時，跟蹤和保持所述目標區(qū)域，包括根據(jù)用戶所設定的放大區(qū)域的中央來設定目標區(qū)域，在MPEG流中提取對應于目標區(qū)域的位移，根據(jù)目標區(qū)域的位移，縮小、放大或者移動放大區(qū)域。
文檔編號G06T9/00GK1430415SQ0215830
公開日2003年7月16日 申請日期2002年12月30日 優(yōu)先權日2001年12月29日
發(fā)明者金正祐 申請人:Lg電子株式會社