對象跟蹤方法和裝置制造方法
【專利摘要】提供了對象跟蹤方法和裝置。對象跟蹤方法包括：順序輸入圖像；利用第一跟蹤模板確定對象在輸入圖像中的第一位置，以及利用第二跟蹤模板確定對象在輸入圖像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每個包括一個或多個特征；以及基于該第一位置和第二位置，確定對象在輸入圖像中的最終位置，其中，每預定幀數(shù)進行第一跟蹤模板更新，以及根據(jù)預設規(guī)則對第二跟蹤模板進行更新，第二跟蹤模板與第一跟蹤模板獨立進行更新，且第二跟蹤模板的更新頻率低于第一跟蹤模板。該對象跟蹤方法和裝置很好地平衡了對象跟蹤技術的穩(wěn)定性和自適應性。
【專利說明】對象跟蹤方法和裝置

【技術領域】
[0001] 本發(fā)明涉及圖像處理，更具體地涉及計算機視覺技術中的對象跟蹤方法和裝置。

【背景技術】
[0002] 目前，人機交互控制系統(tǒng)受到了人們廣泛的關心，因為它的操作模式對于用戶來 說，非常容易且便利。特別是手勢控制系統(tǒng)對用戶來說，尤其方便。一個有效的手勢識別系 統(tǒng)將能提供自然且有效的交互方式。而在手勢識別系統(tǒng)中，非常重要且關鍵的一部分就是 手的跟蹤。
[0003] 為了方便用戶操作，手跟蹤系統(tǒng)不應該要求用戶穿戴任何特殊的設備，如特殊手 套，彩色標志物等。同時，手是非剛性物體，具有運動快、易變形、自遮擋等特點，因此手跟蹤 技術是一項非常具有挑戰(zhàn)性的工作。。
[0004] 美國專利公開US20100310127A1中公開了一種物體跟蹤方法。在該專利中，采用 兩種不同的模板進行跟蹤：初始模板和動態(tài)模板。跟蹤結果由初始模板跟蹤結果和動態(tài)模 板跟蹤結果中的一個或兩個決定。同時決策標記單元用來判斷是否需要對動態(tài)模板進行更 新。動態(tài)模板通過初始模板和當前目標圖像進行更新。在該專利中，初始模板從不更新，而 動態(tài)模板根據(jù)初始模板和目標圖像進行更新。因此，當跟蹤環(huán)境變化太快時，初始模板可能 不再適用于當前環(huán)境，因此該跟蹤方法不太魯棒。
[0005] 2008 年 2 月 發(fā)表于 Image Pr 〇 ce s s i ng, IEEE Tran sac t i on s on(Volume:17，Issue:2)的、作者為 Junqiu Wang 等的標題為"Integrating Color and Shape-Texture Features for Adaptive Real-Time Object Tracking，'的文章中提出了一 種基于在線特征選擇的新目標模板更新方法。該跟蹤方法通過聯(lián)合直方圖將最好的兩種特 征組合到一起。在該文章中，每8到12巾貞進行一次特征選擇。通過計算當前模板和初始模 板之間的相似度，對目標模板進行更新。該文章提出了一種二選一的更新方法，通過考慮初 始模板，先前模板和當前候選圖像之間的關系。在該文章中，初始模板是一種固定模板，由 跟蹤啟動前人工標定或者檢測得到的對象形成，在整個過程中都不被更新。


【發(fā)明內(nèi)容】

[0006] 現(xiàn)有技術中，許多研究者認為在整個跟蹤過程中，初始跟蹤模板是可信且不被污 染的，因此初始跟蹤模板一般在整個跟蹤過程中都進行使用且保持不變。但是，發(fā)明人發(fā) 現(xiàn)，當跟蹤環(huán)境改變較多時，初始跟蹤模板可能變?yōu)樵肼?，從而降低系統(tǒng)的魯棒性。
[0007] 另一方面，為了增強跟蹤方法的魯棒性，跟蹤模板更新非常必要。目前有兩類常用 的模板更新方法。第一類為通過當前跟蹤結果圖像進行模板更新，該方法具有較強的環(huán)境 適應性，但容易引入噪聲，導致跟蹤漂移。第二類方法則根據(jù)當前候選圖像和先前模板進行 模板更新，該方法在更新過程中，由于目標和背景不完整分類，將緩慢引入噪聲，從而導致 模板漂移。
[0008] 因此，希望提供一種既保證穩(wěn)定性也能保證自適應性的對象跟蹤方法。
[0009] 根據(jù)本發(fā)明的一個方面，提供了一種對象跟蹤方法，包括：順序輸入圖像；利用第 一跟蹤模板確定對象在輸入圖像中的第一位置，以及利用第二跟蹤模板確定對象在輸入圖 像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基于第二特征 集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每個包括 一個或多個特征；以及基于該第一位置和第二位置，確定對象在輸入圖像中的最終位置，其 中，每預定幀數(shù)進行第一跟蹤模板更新，以及根據(jù)預設規(guī)則對第二跟蹤模板進行更新，第二 跟蹤模板與第一跟蹤模板獨立進行更新，且第二跟蹤模板的更新頻率低于第一跟蹤模板。 [0010] 一種對象跟蹤裝置，包括：圖像輸入部件，用于順序輸入圖像；第一跟蹤模板位置 確定部件，利用第一跟蹤模板確定對象在輸入圖像中的第一位置，其中第一跟蹤模板基于 第一特征集合形成；第二跟蹤模板位置確定部件，利用第二跟蹤模板確定對象在輸入圖像 中的第二位置，第二跟蹤模板基于第二特征集合形成，第一特征集合不同于第二特征集合， 第一特征集合和第二特征集合的每個包括一個或多個特征；對象最終位置確定部件，基于 該第一位置和第二位置，確定對象在輸入圖像中的最終位置；以及第一跟蹤模板更新部件 和第二跟蹤模板更新部件，其中，第一跟蹤模板更新部件每預定幀數(shù)更新第一跟蹤模板，以 及第二跟蹤模板更新部件根據(jù)預設規(guī)則對第二跟蹤模板進行更新，第二跟蹤模板與第一跟 蹤模板獨立進行更新，且第二跟蹤模板的更新頻率低于第一跟蹤模板。
[0011] 本發(fā)明上述對象跟蹤方法和裝置綜合了兩種跟蹤模板：第一跟蹤模板和第二跟蹤 模板。第一跟蹤模板和第二跟蹤模板采用不同的特征建立得到。同時，本發(fā)明中的兩種跟 蹤模板更新的頻率不同，兩者獨立進行更新，第二跟蹤模板更新的頻率低于第一跟蹤模板， 這樣第一跟蹤模板更多地體現(xiàn)了自適應性，第二跟蹤模板更多地考慮了穩(wěn)定性同時也根據(jù) 情況在必要時進行更新。因此最終形成的跟蹤模板能更好的適應不同的環(huán)境且保證足夠魯 棒，彼此互補，從而增強了跟蹤方法的魯棒性。
[0012] 進一步地，發(fā)明人認識到：實際上，跟蹤成功或者失敗，主要依賴于如何將物體從 它的周圍背景中分離出來，而能否有效的分離物體和背景與所使用的特征直接相關。因此 為了在不同的時刻，不同的背景下都能得到最優(yōu)的特征，實時進行特征的選擇非常必要，同 時為了應對跟蹤漂移問題，對跟蹤模板進行更新也非常必要。
[0013] 為此，進一步地，在一個實施例中，該對象跟蹤方法和裝置還包括：根據(jù)所確定的 對象在輸入圖像中的最終位置，分割對象和背景區(qū)域；通過分析對象和背景區(qū)域，評估各個 候選特征集合區(qū)分對象和背景區(qū)域的能力；確定區(qū)分能力最強的第一候選特征集合和第二 候選特征集合；判斷是否要用第一候選特征集合來更新第一特征集合，以及判斷是否要用 第二候選特征集合來更新第二特征集合；以及如果確定要用第一候選特征集合來更新第一 特征集合，則更新第一特征集合，以及基于該更新的第一特征集合和先前預定幀數(shù)的跟蹤 結果來重構第一跟蹤模板，否則每預定幀數(shù)的圖像更新第一跟蹤模板且第一特征集合保持 不變；以及如果確定要用第二候選特征集合來更新第二特征集合，則更新第二特征集合，以 及基于該更新的第二特征集合和先前預定幀數(shù)的跟蹤結果來重構第二跟蹤模板。
[0014] 由此，上述對象跟蹤方法和裝置一方面實時進行特征的選擇，從而能夠適應于不 同的時刻和不同的環(huán)境采用最佳的特征；另一方面對跟蹤的模板進行更新，因此能夠使跟 蹤系統(tǒng)更加魯棒。

【專利附圖】

【附圖說明】
[0015] 從下面結合附圖對本發(fā)明實施例的詳細描述中，本發(fā)明的這些和/或其它方面和 優(yōu)點將變得更加清楚并更容易理解，其中：
[0016] 圖1示意性地示出了根據(jù)本發(fā)明一個實施例的手跟蹤技術用于人機交互的情景 的示意圖。
[0017] 圖2示出了根據(jù)本發(fā)明實施例的對象跟蹤裝置100的配置框圖。
[0018] 圖3示出了根據(jù)本發(fā)明一個實施例的對象跟蹤方法200的總體流程圖。
[0019] 圖4(a)_(c)示出了一種給定手的位置信息，將深度信息用于分割過程中的手部 區(qū)域和背景區(qū)域的分割方法示意圖
[0020] 圖5(a)-(d)示出了示例性特征評估過程的一個示意圖。
[0021] 圖6示出了根據(jù)本發(fā)明實施例的基于輸入圖像進行對象定位的示例性過程。
[0022] 圖7(a)_(c)圖形地示意性示出了根據(jù)本發(fā)明實施例的基于第一跟蹤模板和第二 跟蹤模板對輸入圖像進行對象定位的過程。
[0023] 圖8示出了根據(jù)本發(fā)明第二實施例的示例性對象跟蹤方法300的總體流程圖。
[0024] 圖9從另一角度示意性地圖示了第三實施例的對象跟蹤方法的過程。
[0025] 圖10示出了適于用來實現(xiàn)本發(fā)明實施方式的示例性計算系統(tǒng)600的框圖。

【具體實施方式】
[0026] 為了使本領域技術人員更好地理解本發(fā)明，下面結合附圖和【具體實施方式】對本發(fā) 明作進一步詳細說明。
[0027] 將以下述順序進行描述
[0028] 1、應用情景示例
[0029] 2、對象跟蹤裝置
[0030] 3、對象跟蹤方法的第一實施例
[0031] 4、對象跟蹤方法的第二實施例
[0032] 5、用于進行對象跟蹤的計算系統(tǒng)
[0033] 在下面的描述中，以跟蹤對象為手進行說明，不過這僅為示例，實際上，本發(fā)明所 跟蹤的對象沒有限制。
[0034] 1、應用情景示例
[0035] 圖1示意性地示出了根據(jù)本發(fā)明一個實施例的手跟蹤技術用于人機交互的情景 的示意圖。如圖1所示，一部攝像機放置于計算機上方，用戶站立于攝像機范圍內(nèi)。當用戶 在攝像機范圍內(nèi)移動他/她的手時，計算機能計算出手的真實位置信息，以達到對手實時 跟蹤的目的，手在不同時刻的位置點如圖1中的圓點所示。
[0036] 優(yōu)選地，該攝像機能進行彩色圖和深度圖的采集，例如為雙目相機。如本領域人員 公知的，深度圖像（Depth image)是圖像中的像素點的值為深度的圖像。相比于灰度圖像， 深度圖像具有物體的深度(距離)信息，因此特別適合于需要立體信息的各種應用。另外，如 公知的，一個像素點的深度值和視差值之間具有簡單的換算關系，因此本發(fā)明的深度信息 的含義是廣義的，包括視差信息。
[0037] 需要說明的是，圖1只是一個示意性示例，用于跟蹤手的設備不限于計算機，可以 是例如游戲機，投影儀，電視機等等。
[0038] 2、對象跟蹤裝置
[0039] 下面參考圖2描述根據(jù)本發(fā)明實施例的對象跟蹤裝置的配置示例。
[0040] 圖2示出了根據(jù)本發(fā)明實施例的對象跟蹤裝置100的配置框圖。
[0041] 如圖2所示，對象跟蹤裝置100可以包括：圖像輸入部件110,用于順序輸入圖像， 例如從雙目相機來輸入彩色圖像和深度圖像；第一跟蹤模板位置確定部件120,用于利用 第一跟蹤模板180確定對象在輸入圖像中的第一位置，其中第一跟蹤模板基于第一特征集 合；第二跟蹤模板位置確定部件130,用于利用第二跟蹤模板190確定對象在輸入圖像中的 第二位置，第二跟蹤模板基于第二特征集合，第一特征集合不同于第二特征集合，第一特征 集合和第二特征集合的每個包括一個或多個特征；對象最終位置確定部件140,用于基于 該第一位置和第二位置，確定對象在輸入圖像中的最終位置；第一跟蹤模板更新部件150 和第二跟蹤模板更新部件160,第一跟蹤模板更新部件每預定幀數(shù)的圖像更新第一跟蹤模 板180,以及第二跟蹤模板更新部件根據(jù)預設規(guī)則對第二跟蹤模板190進行更新，第二跟蹤 模板190與第一跟蹤模板180獨立進行更新，且第二跟蹤模板190的更新頻率低于第一跟 蹤模板180。
[0042] 可選地而非必需地，對象跟蹤裝置100可以包括在線特征更新部件170,如圖2中 的虛線方框和虛線箭頭所指示的，該在線特征更新部件170可以根據(jù)對象最終位置確定部 件140所確定的對象在輸入圖像中的最終位置，分割對象和背景區(qū)域；通過分析對象和背 景區(qū)域，評估各個候選特征集合區(qū)分對象和背景區(qū)域的能力；確定區(qū)分能力最強的第一候 選特征集合和第二候選特征集合；判斷是否要用第一候選特征集合來更新第一特征集合， 以及判斷是否要用第二候選特征集合來更新第二特征集合；以及如果確定要用第一候選特 征集合來更新第一特征集合，則更新第一特征集合，以及第一跟蹤模板更新部件150基于 該更新的第一特征集合來重構第一跟蹤模板；以及如果確定要用第二候選特征集合來更新 第二特征集合，則更新第二特征集合，以及第二跟蹤模板更新部件160基于該更新的第二 特征集合來重構第二跟蹤模板。
[0043] 需要說明的是，上述對象跟蹤裝置100的部件可以用軟件程序來實現(xiàn)，例如通過 通用計算機中的CPU結合RAM和ROM等以及其中運行的軟件代碼來實現(xiàn)。軟件程序可以 存儲在諸如閃存、軟盤、硬盤、光盤等存儲介質(zhì)上，在運行時加載到諸如隨機訪問存儲器RAM 上來由CPU執(zhí)行。另外，除了通用計算機上，還可以通過專用集成電路和軟件之間的合作來 實現(xiàn)。所述集成電路包括通過例如MPU (微處理單元)、DSP (數(shù)字信號處理器)、FPGA (現(xiàn)場 可編程門陣列)、ASIC (專用集成電路）等中的至少一個來實現(xiàn)。這樣的通用計算機或者專 用集成電路等例如可以與成像設備例如照相機來通信，以便對照相機拍攝獲得的彩色圖像 和/或立體圖像進行處理來得到對象跟蹤結果，以及可選地還可以根據(jù)對象跟蹤結果對所 運行的應用進行控制。另外，對象跟蹤裝置100的各個部件可以用專門的硬件來實現(xiàn)，例如 特定的現(xiàn)場可編程門陣列、專用集成電路等。另外，對象跟蹤裝置100的各個部件也可以利 用軟件和硬件的結合來實現(xiàn)。
[0044] 需要說明的是，圖2中所示的箭頭只表示兩個部件的功能之間存在邏輯關系，兩 個部件之間可以直接或者間接地操作性地連接。另外，即便圖2中的某兩個部件之間未示 出某方向的箭頭連接，但是這并不表明兩者之間必然不存在該方向的邏輯關系，相反，兩者 之間可以存在操作性的連接關系，例如第一跟蹤模板更新部件150和第二跟蹤模板更新部 件160和圖像輸入部件110之間可以存在邏輯關聯(lián)，其中第一跟蹤模板更新部件150和第 二跟蹤模板更新部件160在操作過程中可能需要利用圖像輸入部件110所輸入的一幀或多 幀圖像。
[0045] 上述對象跟蹤裝置100中的各個單元的結構和數(shù)量不對本發(fā)明的范圍構成限制。 根據(jù)本發(fā)明的一個實施例，上述圖像輸入部件110、第一跟蹤模板位置確定部件120、第二 跟蹤模板位置確定部件130、對象最終位置確定部件140、第一跟蹤模板更新部件150和第 二跟蹤模板更新部件160可以合并為一個獨立的部件來執(zhí)行和實現(xiàn)相應的功能和操作，或 者可以將圖像輸入部件110、第一跟蹤模板位置確定部件120、第二跟蹤模板位置確定部件 130、對象最終位置確定部件140、第一跟蹤模板更新部件150和第二跟蹤模板更新部件160 進一步拆分為更小的單元來實現(xiàn)他們各自的功能和操作。
[0046] 另外，需要說明的是，圖2中所示的結構并不是排他式的，相反道對象跟蹤裝置 100可以包括其他部件，例如顯示部件，用于例如顯示對象最終位置確定部件140處理后的 結果，以及例如通信部件，用于將有關信息和/或中間處理結果傳遞到外部等。
[0047] 3、對象跟蹤方法的第一實施例
[0048] 下面詳細描述對象跟蹤裝置100的各部件的功能和操作的示例。如前所述，將以 手為跟蹤對象進行說明。
[0049] 圖3示出了根據(jù)本發(fā)明一個實施例的對象跟蹤方法200的總體流程圖。
[0050] 如圖3所示，在步驟S210中，圖像輸入部件110順序輸入圖像。
[0051] 例如可以通過普通相機、雙目相機、多目相機、立體相機拍攝圖像，然后輸入到圖 像輸入部件110。輸入到圖像輸入部件Iio的圖像可以僅包括RGB彩色圖像，也可以既包括 RGB彩色圖像也包括深度圖像。
[0052] 可選地，替代在本地直接從相機輸入圖像，也可以通過有線網(wǎng)絡或者無線網(wǎng)絡從 遠程接收圖像。
[0053] 在步驟S220中，第一跟蹤模板位置確定部件120利用第一跟蹤模板確定對象在輸 入圖像中的第一位置，以及第二跟蹤模板位置確定部件130利用第二跟蹤模板確定對象在 輸入圖像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基于第 二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每 個包括一個或多個特征。
[0054] 3. 1特征集合的評估和跟蹤模板的確定
[0055] 對于跟蹤啟動前的初始第一和第二跟蹤模板的確定，首先需要確定對應的第一特 征集合和第二特征集合。
[0056] 為此，可以針對一幅或多幅圖像通過自動的手檢測結果或人工標定得到手及其周 圍背景圖像，即實現(xiàn)對象區(qū)域和背景區(qū)域的劃分，由此得到一個或多個已經(jīng)標識或者分類 了的手部區(qū)域圖像和背景區(qū)域圖像的樣本。然后可以基于這些樣本來評估有關候選特征集 合的區(qū)分對象和背景的能力。
[0057] 下面參考圖4(a)_(c)描述一種給定手的位置信息，將深度信息用于分割過程中 的手部區(qū)域和背景區(qū)域的分割方法示例。
[0058] 首先初步定位手和背景區(qū)域，例如可以使用現(xiàn)有的"中心環(huán)繞法"來初步劃分手區(qū) 域及手所對應的背景區(qū)域，如圖4中的（a)圖所示，標號1指示的矩形框(下文簡稱為矩形 框1)內(nèi)初步劃分為手區(qū)域，矩形框1和標號2指示的矩形框(下文簡稱為矩形框2)之間的 區(qū)域劃分為背景區(qū)域。在圖4的（a)中，可以觀察到，在矩形框1內(nèi)，除了真正屬于手的圖 像像素外，還包括部分背景區(qū)域像素，如果將整個矩形框1內(nèi)像素作為手前景像素，則會引 入部分噪聲。為了有效移除背景噪聲，本實施例加入了深度信息，根據(jù)深度信息，可得到真 實的手區(qū)域像素，如圖4中的（b)所示。因此，如圖4中的（c)所示，在矩形框2內(nèi)，除了真 實的手像素外，其余像素都定義為背景像素?；趫D4中的（c)中所定義的手區(qū)域像素和 背景像素，可以選擇最能區(qū)分手及其背景像素的圖像特征。
[0059] 根據(jù)手的有效特征，可以確定一個種子特征庫，每個種子特征都有可能在一定情 況下將手從背景中區(qū)分開來，如顏色特征，形狀特征，輪廓特征、面積特征等。各個種子特征 之間的可能組合形成各個候選特征集合。在各個候選特征集合的形成中，可以事先添加一 些限制以縮小搜索的范圍從而提高計算效率，例如可以限定特征集合中的元素數(shù)目為1個 或2個，特征集合的元素限于從顏色特征和形狀特征中選擇等等。在一個示例中，可以預先 形成感興趣的各個候選特征集合，例如以顏色特征形成一個候選特征集合、以形狀特征形 成另一個候選特征集合、以輪廓特征形狀再一個候選特征集合、或者以某種特征組合形成 其他候選特征集合，諸如此類。后續(xù)的第一特征集合和第二特征集合將從這樣的預先形成 的感興趣的各個候選特征集合中進行選擇，由此可以提高搜索效率。
[0060] 這樣，具有了手部區(qū)域和背景區(qū)域圖像的樣本，以及具有了候選特征集合，可以進 行初始第一特征集合和第二特征集合的選擇。需要說明的是，關于最初的第一特征集合和 第二特征集合的確定，可以人工憑經(jīng)驗確定，也可以通過自動評估特征集合區(qū)分對象和背 景區(qū)域的能力（下文中，適當?shù)乜珊喎Q為特征或特征集合的區(qū)分能力）、確定區(qū)分能力最強 的第一候選特征集合和第二候選特征集合來分別作為第一特征集合和第二特征集合。
[0061] 在一個實施例中，在后續(xù)跟蹤過程中，可以不斷重新評估各個候選特征集合的區(qū) 分對象和背景區(qū)域的能力，并根據(jù)預定規(guī)則來進行第一特征集合和第二特征集合的更新。 [0062] 關于評估特征集合的區(qū)分對象和背景區(qū)域的能力的方法，可以利用例如開放檢驗 (CHI)、信息增益（information gain, IG)、互信息（mutual information, MI)、主成分分析 (Principle Component Analysis, PCA)等方法。
[0063] 在通過評估區(qū)分能力選定了第一特征集合和第二特征集合之后，則可以通過基于 這些特征，對訓練樣本進行學習，來得到對應的第一跟蹤模板和第二跟蹤模板。例如，可以 基于訓練樣本，計算所有特征的均值和方差來形成跟蹤模板。
[0064] 下面介紹一種采用對數(shù)相似度函數(shù)的方差比值作為最優(yōu)特征評價依據(jù)來確 定第一特征集合和第二特征集合的方法示例，以及再之后將介紹一種通過對象和背景 的直方圖分布的對數(shù)似然度比值（log likelihood ratio)來構造跟蹤模板的方法示 例。有關采用對數(shù)相似度函數(shù)的方差比值作為最優(yōu)評價依據(jù)的詳細介紹可以參考作 者為 Robert Τ· Collins 等的發(fā)表于 IEEE transactions on pattern analysis and machine intelligence, vol. 27, no. 10, 2005 年 10 月的標題為"Online Selection of Discriminative Tracking Features，'的文章。
[0065] 下文中，假定種子特征庫有R、G、B三種顏色特征，最后選擇的特征集合中只含有 一種顏色特征，將參考圖5描述特征選擇過程(可以在后續(xù)跟蹤過程中在線使用）的一個方 法示例。
[0066] 圖5(a)_(d)示出了示例性特征評估過程的一個示意圖。
[0067] (1)首先，分割對象像素區(qū)域和背景像素區(qū)域，如圖5(a)所示，細節(jié)過程例如如圖 4中所示。
[0068] (2)從種子特征庫中抽取一種特征f，分別計算該特征f在對象像素和背景像素上 的直方圖分布。下文中，分別使用Htjw和Hbg代表被跟蹤對象和背景區(qū)域像素在各個特征值 所對應的直方圖分布。以圖5(a)中所對應的對象和背景像素為例，假定采用R，G，B三種顏 色特征作為示例，計算其直方圖分布，如圖5 (b)所示，其中標號1指示的曲線表示對象像素 在不同特征值上對應的直方圖分布，而標號2指示的曲線表示其背景像素在不同特征值上 所對應的直方圖分布。
[0069] (3)通過特征評估函數(shù)計算打分并排序找到最具有區(qū)分能力的特征。在本實施 例中，使用方差比值（variance ratio)評估方法，首先計算每個特征的各個特征值i的 所對應的對數(shù)相似度比例值L(i)，計算公式如式（1)所示；然后通過公式（2)計算方差比 值（variance ratio)，最后基于方差比值，找到區(qū)分能力排名靠前的特征，其中方差比值越 大，表明該特征區(qū)分能力越強。

【權利要求】
1. 一種對象跟蹤方法，包括： 順序輸入圖像； 利用第一跟蹤模板確定對象在輸入圖像中的第一位置，以及利用第二跟蹤模板確定對 象在輸入圖像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基 于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合 的每個包括一個或多個特征；以及 基于該第一位置和第二位置，確定對象在輸入圖像中的最終位置， 其中，每預定幀數(shù)進行第一跟蹤模板更新，以及根據(jù)預設規(guī)則對第二跟蹤模板進行更 新，第二跟蹤模板與第一跟蹤模板獨立進行更新，且第二跟蹤模板的更新頻率低于第一跟 蹤豐旲板。
2. 根據(jù)權利要求1的對象跟蹤方法，還包括： 根據(jù)所確定的對象在輸入圖像中的最終位置，分割對象和背景區(qū)域； 通過分析對象和背景區(qū)域，評估各個候選特征集合區(qū)分對象和背景區(qū)域的能力； 確定區(qū)分能力最強的第一候選特征集合和第二候選特征集合； 判斷是否要用第一候選特征集合來更新第一特征集合，以及判斷是否要用第二候選特 征集合來更新第二特征集合；以及 如果確定要用第一候選特征集合來更新第一特征集合，則更新第一特征集合，以及基 于該更新的第一特征集合和先前預定幀數(shù)的跟蹤結果來重構第一跟蹤模板，否則每預定幀 數(shù)的圖像更新第一跟蹤模板且第一特征集合保持不變；以及如果確定要用第二候選特征集 合來更新第二特征集合，則更新第二特征集合，以及基于該更新的第二特征集合和先前預 定幀數(shù)的跟蹤結果來重構第二跟蹤模板。
3. 根據(jù)權利要求1的對象跟蹤方法，利用第一跟蹤模板確定對象在輸入圖像中的第一 位置和利用第二跟蹤模板確定對象在輸入圖像中的第二位置包括： 根據(jù)對象的運動信息，預測對象在輸入圖像中的候選出現(xiàn)區(qū)域； 在候選出現(xiàn)區(qū)域內(nèi)，利用第一跟蹤模板確定對象在輸入圖像中的第一位置和利用第二 跟蹤模板確定對象在輸入圖像中的第二位置。
4. 根據(jù)權利要求1的對象跟蹤方法，其中每預定幀數(shù)的圖像更新第一跟蹤模板包括：每幀輸入圖像都更新第一跟蹤模板。
5. 根據(jù)權利要求1的對象跟蹤方法，所述利用第一跟蹤模板確定對象在輸入圖像中的 第一位置，和利用第二跟蹤模板確定對象在輸入圖像中的第二位置包括： 分別根據(jù)第一跟蹤模板和第二跟蹤模板，計算對象在輸入圖像中所對應的候選區(qū)域的 第一置信度圖和第二置信度圖；以及 分別根據(jù)第一置信度圖和第二置信度圖，利用均值漂移得到對象在第一置信度圖上的 第一位置和對象在第二置信度圖上的第二位置，作為所述對象在輸入圖像中的第一位置和 所述對象在輸入圖像中的第二位置。
6. 根據(jù)權利要求1的對象跟蹤方法，所述基于該第一位置和第二位置，確定對象在輸 入圖像中的最終位置包括： 分別確定第一位置的可信度和第二位置的可信度； 根據(jù)第一位置的可信度和第二位置的可信度來確定第一位置所占的權重比例值和第 二位置所占的權重值；以及 根據(jù)第一位置的權重和第二位置的權重，計算第一位置和第二位置的加權和，作為所 述對象在輸入圖像中的最終位置。
7. 根據(jù)權利要求1的對象跟蹤方法，其中所述每預定幀數(shù)的圖像更新第一跟蹤模板包 括： 基于當前跟蹤模板和當前跟蹤到的對象的加權和來得到更新后的第一跟蹤模板。
8. 根據(jù)權利要求2的對象跟蹤方法，其中每個特征集合可由一個單獨特征組成也可以 為多個特征的組合組成，以及所述通過分析對象和背景區(qū)域，評估各個候選特征區(qū)分對象 和背景區(qū)域的能力包括： 分別計算各個特征集合在對象和背景區(qū)域像素上的直方圖分布；以及 通過特征評估函數(shù)來評估各個特征集合區(qū)分對象和背景區(qū)域的能力。
9. 根據(jù)權利要求2的對象跟蹤方法，其中所輸入的圖像包括深度信息，以及所述根據(jù) 所確定的對象在輸入圖像中的最終位置，分割對象和背景區(qū)域包括結合深度信息來分割對 象和背景區(qū)域。
10. -種對象跟蹤裝置，包括： 圖像輸入部件，用于順序輸入圖像； 第一跟蹤模板位置確定部件，利用第一跟蹤模板確定對象在輸入圖像中的第一位置， 其中第一跟蹤模板基于第一特征集合形成； 第二跟蹤模板位置確定部件，利用第二跟蹤模板確定對象在輸入圖像中的第二位置， 第二跟蹤模板基于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合 和第二特征集合的每個包括一個或多個特征； 對象最終位置確定部件，基于該第一位置和第二位置，確定對象在輸入圖像中的最終 位置；以及 第一跟蹤模板更新部件和第二跟蹤模板更新部件，其中，第一跟蹤模板更新部件每預 定幀數(shù)更新第一跟蹤模板，以及第二跟蹤模板更新部件根據(jù)預設規(guī)則對第二跟蹤模板進行 更新，第二跟蹤模板與第一跟蹤模板獨立進行更新，且第二跟蹤模板的更新頻率低于第一 跟蹤模板。
【文檔編號】G06T7/20GK104424634SQ201310373327
【公開日】2015年3月18日 申請日期:2013年8月23日 優(yōu)先權日:2013年8月23日
【發(fā)明者】梁玲燕 申請人:株式會社理光