本發(fā)明涉及生物反饋信號數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種視覺信號數(shù)據(jù)處理。

背景技術(shù)：

視覺識別和追蹤主要是判斷眼球瞳孔的注意方向和注意軌跡，由于瞳孔是由鞏膜、虹膜等生理器官和組織構(gòu)成，導致瞳孔的圍成具有較大的個體化差異，其中以虹膜的差異最大。目前的技術(shù)手段主要采用對眼部進行圖像識別，利用二值特征、梯度直方圖等，結(jié)合膨脹腐蝕等濾波操作，來達到提取虹膜位置的目的。但是上述方法基本是基于先驗知識，針對復(fù)雜的生物個體差異，需要確定較多的假設(shè)參數(shù)集合和閾值范圍，只能在有限的場景下有效，準確度低不能針對實時場景中動態(tài)形象的虹膜處理。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明實施例提供一種視覺跟蹤方法和跟蹤裝置，用于解決眼部對象無法準確實時定位的技術(shù)問題。

本發(fā)明的視覺跟蹤方法，包括：

獲取眼部圖案；

建立眼部對象關(guān)鍵點；

利用眼部對象關(guān)鍵點作為對象處理方法的測試數(shù)據(jù)處理眼部圖案，確定眼部對象位置，形成視覺焦點數(shù)據(jù)。

還包括：

將眼部對象的連續(xù)變化，形成視覺跟蹤數(shù)據(jù)；

將視覺跟蹤數(shù)據(jù)作為控制信號用于虛擬視覺的動作變化。

所述獲取眼部圖案包括：

獲取臉部的五官輪廓；

根據(jù)眼部特征點裁剪出對稱的眼部圖像。

所述建立眼部對象關(guān)鍵點包括：

利用半人工或自動的方式建立眼部對象；

利用半人工或自動的方式形成眼部對象的關(guān)鍵點。

所述利用眼部對象關(guān)鍵點作為對象處理方法的測試數(shù)據(jù)處理眼部圖案，確定眼部對象位置，形成視覺焦點數(shù)據(jù)包括：

將眼部圖案的像素數(shù)據(jù)導入ERT算法作為訓練數(shù)據(jù)進行處理；

將確定的眼部對象及眼部對象關(guān)鍵點作為測試數(shù)據(jù)修正ERT算法的處理結(jié)果；

根據(jù)修正的處理結(jié)果形成眼部對象的準確輪廓和準確的相對位置關(guān)系。

所述將眼部對象的連續(xù)變化，形成視覺跟蹤數(shù)據(jù)包括：

在實時獲取的眼部圖案中，根據(jù)眼部對象的相對位置變化形成視覺跟蹤數(shù)據(jù)；

在實時獲取的眼部圖案中，根據(jù)眼部對象的相應(yīng)關(guān)鍵點的相對位置變化形成視覺跟蹤數(shù)據(jù)。

所述將視覺跟蹤數(shù)據(jù)作為控制信號用于虛擬視覺的動作變化包括：

建立眼部對象和/或眼部對象的關(guān)鍵點，與眼部三維模型或二維模型中的對象和對象的關(guān)鍵點的映射，形成虛擬視覺焦點；

利用視覺跟蹤數(shù)據(jù)控制眼部三維模型或二維模型中的對象和/或?qū)ο蟮年P(guān)鍵點的移動，形成虛擬視覺的變化。

本發(fā)明的視覺跟蹤裝置，包括：

圖像獲取模塊，用于獲取眼部圖案；

關(guān)鍵數(shù)據(jù)建立模塊，用于建立眼部對象關(guān)鍵點；

對象識別模塊，用于利用眼部對象關(guān)鍵點作為對象處理方法的測試數(shù)據(jù)處理眼部圖案，確定虹膜位置，形成視覺焦點數(shù)據(jù)。

還包括：

視覺跟蹤數(shù)據(jù)生成模塊，用于將眼部對象的連續(xù)變化，形成視覺跟蹤數(shù)據(jù)；

虛擬視覺控制模塊，用于將視覺跟蹤數(shù)據(jù)作為控制信號用于虛擬視覺的動作變化。

所述圖像獲取模塊包括：

輪廓獲取子模塊，用于獲取臉部的五官輪廓；

圖像裁剪子模塊，用于根據(jù)眼部特征點裁剪出對稱的眼部圖像。

所述關(guān)鍵數(shù)據(jù)建立模塊包括：

眼部對象建立子模塊，用于利用半人工或自動的方式建立眼部對象；

對象關(guān)鍵點建立子模塊，用于利用半人工或自動的方式形成眼部對象的關(guān)鍵點。

所述對象識別模塊包括：

圖像導入子模塊，用于將眼部圖案的像素數(shù)據(jù)導入ERT算法作為訓練數(shù)據(jù)進行處理；

圖像處理子模塊，用于將確定的眼部對象及眼部對象關(guān)鍵點作為測試數(shù)據(jù)修正ERT算法的處理結(jié)果；

眼部對象位置生成子模塊，用于根據(jù)修正的處理結(jié)果形成眼部對象的準確輪廓和準確的相對位置關(guān)系。

所述視覺跟蹤數(shù)據(jù)生成模塊包括：

眼部對象軌跡生成子模塊，用于在實時獲取的眼部圖案中，根據(jù)眼部對象的相對位置變化形成視覺跟蹤數(shù)據(jù)；

對象關(guān)鍵點軌跡生成子模塊，用于在實時獲取的眼部圖案中，根據(jù)眼部對象的相應(yīng)關(guān)鍵點的相對位置變化形成視覺跟蹤數(shù)據(jù)。

所述虛擬視覺控制模塊包括：

虛擬焦點生成子模塊，用于建立眼部對象和/或眼部對象的關(guān)鍵點，與眼部三維模型或二維模型中的對象和對象的關(guān)鍵點的映射，形成虛擬視覺焦點；

虛擬視覺生成子模塊，用于利用視覺跟蹤數(shù)據(jù)控制眼部三維模型或二維模型中的對象和/或?qū)ο蟮年P(guān)鍵點的移動，形成虛擬視覺的變化。

本發(fā)明的視覺跟蹤方法和視覺跟蹤裝置在利用成熟的臉部檢測技術(shù)基礎(chǔ)上確定眼部圖案，避免了大量冗余圖像信號的處理，精簡了圖像處理的運算量。眼部關(guān)鍵點的建立采用監(jiān)督或半監(jiān)督學習，利用量化工具形成具有較高的標定數(shù)據(jù)質(zhì)量，關(guān)鍵點標定數(shù)據(jù)在圖像處理方法中對眼部對象如虹膜數(shù)據(jù)的分類起到定向裁剪的效果，滿足眼部對象的準確定位。并有利于進一步確定其他眼部對象如瞳孔邊界，進一步形成準確的視覺焦點和視覺運動軌跡。

附圖說明

圖1為本發(fā)明一實施例的視覺跟蹤方法的流程圖。

圖2為本發(fā)明一實施例的視覺跟蹤方法的流程圖。

圖3為本發(fā)明一實施例的視覺跟蹤方法的流程圖。

圖4為現(xiàn)有技術(shù)中確定的臉部五官輪廓的68特征點示意圖。

圖5為本發(fā)明一實施例的視覺跟蹤方法中左眼圖案中眼部對象關(guān)鍵點的結(jié)構(gòu)示意圖。

圖6為本發(fā)明一實施例的視覺跟蹤裝置的架構(gòu)示意圖。

圖7為本發(fā)明一實施例的視覺跟蹤裝置的架構(gòu)示意圖。

圖8為本發(fā)明一實施例的視覺跟蹤裝置的架構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

圖紙中的步驟編號僅用于作為該步驟的附圖標記，不表示執(zhí)行順序。

圖1為本發(fā)明一實施例的視覺跟蹤方法的流程圖。如圖1所示，本發(fā)明實施例的視覺跟蹤方法包括：

步驟10：獲取眼部圖案；

步驟20：建立眼部對象關(guān)鍵點；

步驟30：利用眼部對象關(guān)鍵點作為對象處理方法的測試數(shù)據(jù)處理眼部圖案，確定眼部對象位置，形成視覺焦點數(shù)據(jù)。

本發(fā)明實施例的視覺跟蹤方法在利用成熟的臉部檢測技術(shù)基礎(chǔ)上確定眼部圖案，避免了大量冗余圖像信號的處理，精簡了圖像處理的運算量。眼部關(guān)鍵點的建立采用監(jiān)督或半監(jiān)督學習，利用量化工具形成具有較高的標定數(shù)據(jù)質(zhì)量，關(guān)鍵點標定數(shù)據(jù)在例如ERT(Ensemble of Regression Trees)處理方法中對眼部對象如虹膜數(shù)據(jù)的分類起到定向裁剪的效果，滿足眼部對象虹膜邊界的準確定位。并有利于進一步確定其他眼部對象如瞳孔邊界。

圖2為本發(fā)明一實施例的視覺跟蹤方法的流程圖。如圖2所示，在上述實施例基礎(chǔ)上，本發(fā)明實施例的視覺跟蹤方法還包括：

步驟40：將眼部對象的連續(xù)變化，形成視覺跟蹤數(shù)據(jù)；

步驟50：將視覺跟蹤數(shù)據(jù)作為控制信號用于虛擬視覺的動作變化。

本發(fā)明實施例的視覺跟蹤方法，將人眼的連續(xù)視覺焦點數(shù)據(jù)形成視覺跟蹤數(shù)據(jù)，基于成熟的坐標變化過程，就可以形成擬人對象眼部的虹膜對象和瞳孔對象的相應(yīng)動作，實現(xiàn)擬人對象對真人視覺眼神的同步正反饋，豐富擬人對象的情感表達清晰度。

圖3為本發(fā)明一實施例的視覺跟蹤方法的流程圖。如圖3所示，在本發(fā)明一實施例的視覺跟蹤方法中，步驟10還包括：

步驟11：獲取臉部的五官輪廓。

五官輪廓的獲取例如dlib人臉檢測模型獲得68特征點(如圖4所示)，需要明確的是五官輪廓的特征點不能用于精確描述五官的位置和特點。

步驟12：根據(jù)眼部特征點裁剪出對稱的眼部圖像。

如圖4和圖5所示，裁剪以68特征點為例，采用最小外接矩形算法分別裁剪出特征點37～42眼部包圍的左眼圖案和特征點43～48包圍的右眼圖案。

在本發(fā)明一實施例的視覺跟蹤方法中，步驟20還包括：

步驟21：利用半人工或自動的方式建立眼部對象。

針對半人工方式：包括采用人工標記確定眼部對象的大致范圍，在人工標記的基礎(chǔ)上，采用圖像識別算法進一步確定眼部對象的大致范圍。

針對自動方式，包括采用圖像識別算法確定眼部對象的大致范圍。圖像識別算法通過建立的眼部對象的三維模型運動過程中在二維平面上的映射圖案建立眼部對象的大致范圍。

步驟22：利用半人工或自動的方式形成眼部對象的關(guān)鍵點。

針對半人工方式：在確定的眼部對象范圍內(nèi)，人工標記關(guān)鍵點，在人工標記的基礎(chǔ)上，采用圖像識別算法進一步標記眼部對象隱蔽的關(guān)鍵點。

針對自動方式，包括采用圖像識別算法確定眼部對象的關(guān)鍵點。圖像識別算法通過建立的眼部對象的三維模型運動過程中在二維平面上的映射點標記眼部對象的關(guān)鍵點。

針對少量的眼部圖像采用人工和自動結(jié)合的方式進行處理可以有效提高處理速度并保證準確率，為進一步作為訓練數(shù)據(jù)保證后續(xù)算法的準確性提供保障。大量的眼部圖像采用自動方式可以保證動態(tài)視覺的處理速度。

在本發(fā)明一實施例的視覺跟蹤方法中，步驟20中確定的眼部對象包括：

眼瞼及眼瞼的12個關(guān)鍵點，包括眼瞼兩端的關(guān)鍵點、上眼瞼與下眼瞼最大距離處的關(guān)鍵點。

虹膜及虹膜的8個關(guān)鍵點，包括水平方向上虹膜左邊緣與右邊緣最大距離處的關(guān)鍵點、豎直方向上虹膜上邊緣與下邊緣最大距離處的關(guān)鍵點。

瞳孔及瞳孔的8個關(guān)鍵點，包括水平方向上瞳孔左邊緣與右邊緣最大距離處的關(guān)鍵點、豎直方向上瞳孔上邊緣與下邊緣最大距離處的關(guān)鍵點。

關(guān)鍵點包括相應(yīng)的坐標位置和圖案屬性。

在本發(fā)明一實施例的視覺跟蹤方法中，步驟30中包括：

步驟31：將眼部圖案的像素數(shù)據(jù)導入ERT算法作為訓練數(shù)據(jù)進行處理；

步驟32：將確定的眼部對象及眼部對象關(guān)鍵點作為測試數(shù)據(jù)修正ERT算法的處理結(jié)果；

步驟33：根據(jù)修正的處理結(jié)果形成眼部對象的準確輪廓和準確的相對位置關(guān)系。

通過將人工或半人工處理獲得的關(guān)鍵點數(shù)據(jù)作為測試數(shù)據(jù)保證了ERT算法中過程中的預(yù)測準確度。

在本發(fā)明一實施例的視覺跟蹤方法中，步驟40還包括：

步驟41：在實時獲取的眼部圖案中，根據(jù)眼部對象的相對位置變化形成視覺跟蹤數(shù)據(jù)；

步驟42：在實時獲取的眼部圖案中，根據(jù)眼部對象的相應(yīng)關(guān)鍵點的相對位置變化形成視覺跟蹤數(shù)據(jù)。

本發(fā)明實施例的視覺跟蹤方法，經(jīng)過實際應(yīng)用和對比測算，具有兩個顯著優(yōu)點：

1、準確率高，虹膜位置誤差不超過3％(指的是實際虹膜位置和預(yù)測虹膜位置距離除以上下眼瞼最大距離)；

2、魯棒性和實時性好，普通計算機及移動設(shè)備上眼部對象的確定不超過3ms/幀，以30幀/秒計算，識別失敗率低于0.5％。

在本發(fā)明一實施例的視覺跟蹤方法中，步驟50還包括：

步驟51：建立眼部對象和/或眼部對象的關(guān)鍵點，與眼部三維模型或二維模型中的對象和對象的關(guān)鍵點的映射，形成虛擬視覺焦點；

步驟52：利用視覺跟蹤數(shù)據(jù)控制眼部三維模型或二維模型中的對象和/或?qū)ο蟮年P(guān)鍵點的移動，形成虛擬視覺的變化。

本發(fā)明實施例的視覺跟蹤方法，可以將獲得的視覺跟蹤數(shù)據(jù)應(yīng)用在虛擬對象的眼神表達上，進一步提高先把你對象的擬人化特征。

圖6為本發(fā)明一實施例的視覺跟蹤裝置的架構(gòu)示意圖。如圖6所示，與本發(fā)明實施例的視覺跟蹤方法相應(yīng)的還包括視覺跟蹤裝置，包括：

圖像獲取模塊100，用于獲取眼部圖案。

關(guān)鍵數(shù)據(jù)建立模塊200，用于建立眼部對象關(guān)鍵點。

對象識別模塊300，用于利用眼部對象關(guān)鍵點作為對象處理方法的測試數(shù)據(jù)處理眼部圖案，確定虹膜位置，形成視覺焦點數(shù)據(jù)。

圖7為本發(fā)明一實施例的視覺跟蹤裝置的架構(gòu)示意圖。如圖7所示，本發(fā)明一實施例的視覺跟蹤裝置中，還包括：

視覺跟蹤數(shù)據(jù)生成模塊400，用于將眼部對象的連續(xù)變化，形成視覺跟蹤數(shù)據(jù)。

虛擬視覺控制模塊500，用于將視覺跟蹤數(shù)據(jù)作為控制信號用于虛擬視覺的動作變化。

圖8為本發(fā)明一實施例的視覺跟蹤裝置的架構(gòu)示意圖。如圖8所示，本發(fā)明一實施例的視覺跟蹤裝置中，圖像獲取模塊100包括：

輪廓獲取子模塊110，用于獲取臉部的五官輪廓。

圖像裁剪子模塊120，用于根據(jù)眼部特征點裁剪出對稱的眼部圖像。

本發(fā)明一實施例的視覺跟蹤裝置中，關(guān)鍵數(shù)據(jù)建立模塊200包括：

眼部對象建立子模塊210，用于利用半人工或自動的方式建立眼部對象。

對象關(guān)鍵點建立子模塊220，用于利用半人工或自動的方式形成眼部對象的關(guān)鍵點。

本發(fā)明一實施例的視覺跟蹤裝置中，對象識別模塊300包括：

圖像導入子模塊310，用于將眼部圖案的像素數(shù)據(jù)導入ERT算法作為訓練數(shù)據(jù)進行處理；

圖像處理子模塊320，用于將確定的眼部對象及眼部對象關(guān)鍵點作為測試數(shù)據(jù)修正ERT算法的處理結(jié)果；

眼部對象位置生成子模塊330，用于根據(jù)修正的處理結(jié)果形成眼部對象的準確輪廓和準確的相對位置關(guān)系。

本發(fā)明一實施例的視覺跟蹤裝置中，視覺跟蹤數(shù)據(jù)生成模塊400包括：

眼部對象軌跡生成子模塊410，用于在實時獲取的眼部圖案中，根據(jù)眼部對象的相對位置變化形成視覺跟蹤數(shù)據(jù)；

對象關(guān)鍵點軌跡生成子模塊420，用于在實時獲取的眼部圖案中，根據(jù)眼部對象的相應(yīng)關(guān)鍵點的相對位置變化形成視覺跟蹤數(shù)據(jù)。

本發(fā)明一實施例的視覺跟蹤裝置中，虛擬視覺控制模塊500包括：

虛擬焦點生成子模塊510，用于建立眼部對象和/或眼部對象的關(guān)鍵點，與眼部三維模型或二維模型中的對象和對象的關(guān)鍵點的映射，形成虛擬視覺焦點；

虛擬視覺生成子模塊520，用于利用視覺跟蹤數(shù)據(jù)控制眼部三維模型或二維模型中的對象和/或?qū)ο蟮年P(guān)鍵點的移動，形成虛擬視覺的變化。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。