專利名稱：3g移動終端上的視覺跟蹤交互界面設(shè)計方法
技術(shù)領(lǐng)域：
3G移動終端上的視覺跟蹤交互界面設(shè)計方法，屬于計算機應(yīng)用技術(shù)領(lǐng)域中機器視 覺技術(shù)方向。本發(fā)明涵蓋了計算機視覺中的圖像、視頻處理技術(shù)與增強現(xiàn)實中的3D交互技 術(shù)。
2.
背景技術(shù)：
目前，手機的視頻處理子系統(tǒng)設(shè)計方案已經(jīng)較為成熟，但對于復(fù)雜的視覺處理算 法仍然略顯不足，無法在移動終端應(yīng)用中獲得實時性交互效果。美國TI公司2008年推出 的TMS320DM6467是基于達芬奇技術(shù)的數(shù)字媒體處理器，該芯片集成了 ARM9內(nèi)核、C64x+DSP 內(nèi)核、高清晰度視頻/影像協(xié)處理器(HD-VICP)、視頻數(shù)據(jù)轉(zhuǎn)換引擎和目標(biāo)視頻端口接口， 其主旨在于解決商業(yè)和消費類市場(包括媒體網(wǎng)關(guān)、多點控制單元、數(shù)字媒體適配器、用于 安全市場的數(shù)字視頻服務(wù)器、錄像機和IP機頂盒)面臨的各種HD代碼轉(zhuǎn)換的難題，是適 用于范圍極為廣泛的數(shù)字視頻終端設(shè)備，其性能是原處理器的10倍，但價格卻只有原來的 1/10。本發(fā)明通過采用基于雙核的TMS3 20DM6467芯片分擔(dān)視覺運動跟蹤識別算法的開 銷，在移動平臺上獲得了交互的實時性。
3.

發(fā)明內(nèi)容
3G移動終端上的視覺跟蹤交互界面設(shè)計方法的主要難點包括TMS320DM6467的 接口設(shè)計、用戶肢體視覺運動跟蹤的實現(xiàn)、用戶肢體交互語義的識別、應(yīng)用實例的交互語義 驅(qū)動，以及視覺交互算法開銷在多核處理器上的任務(wù)劃分等幾個方面。技術(shù)方案基于視覺的用戶肢體運動跟蹤交互技術(shù)，利用移動平臺上的攝像頭等 設(shè)備獲取肢體運動的圖像序列，通過視覺算法提取肢體靜態(tài)或動態(tài)特征、識別肢體的姿態(tài) 或動作，從而理解用戶的意圖實現(xiàn)人機交互。其中，運動跟蹤過程基于自適應(yīng)背景減除算法 實現(xiàn)，由于有運動物體出現(xiàn)的區(qū)域與背景圖像的亮度差較大，因此不用處理色度信號，利用 圖像的亮度信息就已足夠，這樣就提高了系統(tǒng)處理速度，此過程運行于DSP/ARM之一內(nèi)核 上；運動軌跡提取采用圖像處理方法，以延時神經(jīng)網(wǎng)絡(luò)TDNN在時域上進行運動分類，同時， 提取軌跡特征點并作為匹配對象在特征庫中檢索，獲取的檢索結(jié)果將指向預(yù)定義的交互語 義，此過程將運行于ARM/DS P之一內(nèi)核上。通過上述處理，緩存中的數(shù)據(jù)處理速度將得到 極大提高。有益效果利用人肢體的運動、姿勢與3G手機進行交互更為自然，本發(fā)明通過采 用基于DSP+ARM9雙核的TMS 320DM6467芯片分擔(dān)視覺運動跟蹤識別算法的開銷，在移動平 臺獲得了交互的實時性。本發(fā)明在3G移動終端智能交互、娛樂游戲和穿戴計算等領(lǐng)域有廣 泛的應(yīng)用前景。
4.


如圖1為3G移動終端上的視覺跟蹤交互界面硬件設(shè)計原理示意圖，如圖2為3G移動終端上的視覺跟蹤交互界面軟件算法處理過程示意圖，其處理過程劃分為兩個階段， 分別運行于DSP/AR M上。
5.
具體實施例方式結(jié)合示圖做詳細說明如下。如圖1硬件原理設(shè)計圖，手機視頻處理子系統(tǒng)設(shè)計過程中，參照TMS320DM6467接 口說明設(shè)計好緩存、DMA、中斷間的電路，然后移植Symbian或Window Mobile操作系統(tǒng)以 及應(yīng)用程序，比如OpenG L ES和OpenCV。參照如圖2，建立對應(yīng)的應(yīng)用程序，并將對應(yīng)功能 函數(shù)建立多進程或多線程。整個運動跟蹤識別過程可基于OpenCV建立，并運行于后臺，前 臺程序可基于OpenGL ES建立三維場景應(yīng)用，通過調(diào)用由后臺獲取的運動交互語義可驅(qū)動 三維場景交互如漫游、抓取虛擬對象等，由此可判斷本發(fā)明的有效性。若后臺程序由OpenG L ES建立虛擬對象，前臺程序由Ope nCV建立現(xiàn)實場景，并將后臺程序中的虛擬對象渲染 疊加至前臺現(xiàn)實場景中則為增強現(xiàn)實應(yīng)用，同樣可判斷本發(fā)明的有效性。此外，在二維應(yīng)用 中，如加解鎖、開關(guān)機等交互過程可直接調(diào)用運動跟蹤得到的視覺語義信號作為交互媒介。
權(quán)利要求
3G移動終端上的視覺跟蹤交互界面設(shè)計方法其特征在于，3G移動終端視頻處理子系統(tǒng)中的數(shù)字信號處理器，采用多核處理器以實現(xiàn)復(fù)雜交互算法的實時性。
2.根據(jù)權(quán)利要求1所述的3G移動終端上的視覺跟蹤交互界面設(shè)計方法，其特征在于對 于實時視頻的處理算法，將其劃分為多個階段性計算任務(wù)分散到多核處理器上。
3.根據(jù)權(quán)利要求1所述的3G移動終端上的視覺跟蹤交互界面設(shè)計方法，其特征在于 3G移動終端上的交互主體以肢體語言作為交互輸入信號。
4.根據(jù)權(quán)利要求1所述的3G移動終端上的視覺跟蹤交互界面設(shè)計方法，其特征在于 3G移動終端上的交互客體以識別出的肢體語言作為交互語義指令輸出到被驅(qū)動應(yīng)用實例。
全文摘要
3G移動終端上的視覺跟蹤交互界面設(shè)計方法是機器視覺技術(shù)在3G移動終端上的應(yīng)用。利用人肢體的運動和姿勢與3G手機進行交互是很自然的，但傳統(tǒng)PC平臺上的視覺算法計算開銷大，無法在移動終端應(yīng)用中獲得實時性交互效果，本發(fā)明通過采用基于雙核的TMS3 20DM6467芯片分擔(dān)視覺運動跟蹤識別算法的開銷，在移動平臺獲得了交互的實時性?；谝曈X的用戶肢體運動跟蹤交互技術(shù)利用移動平臺上的攝像頭等設(shè)備，獲取肢體運動的圖像序列，通過視覺算法提取肢體靜態(tài)或動態(tài)特征、識別肢體的姿態(tài)或動作，從而理解用戶的意圖實現(xiàn)人機交互。本發(fā)明在3G移動終端智能交互、娛樂游戲和穿戴計算等領(lǐng)域有廣泛的應(yīng)用前景。
文檔編號G06F3/01GK101888431SQ20091001550
公開日2010年11月17日 申請日期2009年5月13日 優(yōu)先權(quán)日2009年5月13日
發(fā)明者王政 申請人:山東省計算中心