本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于線性回歸的雙向視線方向估計(jì)方法和裝置。

背景技術(shù)：

目前，視線跟蹤是計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖像學(xué)等領(lǐng)域中一個(gè)重要且基礎(chǔ)的問(wèn)題，它在人機(jī)交互、虛擬現(xiàn)實(shí)及增強(qiáng)現(xiàn)實(shí)等領(lǐng)域也有非常廣泛的應(yīng)用。例如，在計(jì)算機(jī)視覺(jué)中，眼睛在屏幕上的注視點(diǎn)可用于完成各種人機(jī)交互功能、再例如，在計(jì)算機(jī)圖形學(xué)及虛擬現(xiàn)實(shí)中，視線方向可用于驅(qū)動(dòng)虛擬的眼球模型，以生成更加生動(dòng)真實(shí)的人臉模型動(dòng)畫(huà)。進(jìn)一步，在增強(qiáng)現(xiàn)實(shí)中，視線方向可用于調(diào)整顯示的內(nèi)容以產(chǎn)生更佳的真實(shí)感。正是由于眼睛能夠表達(dá)人類(lèi)豐富的情感，視線跟蹤的研究具有極高的科研和應(yīng)用價(jià)值。

然而，現(xiàn)有的視線跟蹤技術(shù)仍然存在缺陷，通常易受到很多外部因素的影響而產(chǎn)生跟蹤結(jié)果不準(zhǔn)確的問(wèn)題，如照明條件、圖像運(yùn)動(dòng)模糊、頭部轉(zhuǎn)動(dòng)等。同時(shí)，在人臉跟蹤中較難處理的問(wèn)題之一就是遮擋問(wèn)題，當(dāng)臉部前有物體遮擋時(shí)，臉部特征點(diǎn)的提取通常會(huì)非常不穩(wěn)定，這便對(duì)瞳孔和虹膜跟蹤的準(zhǔn)確性造成了影響；甚至當(dāng)遮擋物出現(xiàn)在眼部區(qū)域，根本無(wú)法獲得真實(shí)的眼部圖像，從而在此情況下無(wú)法驅(qū)動(dòng)三維眼球模型的轉(zhuǎn)動(dòng)以生成合理的人臉模型動(dòng)畫(huà)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

為此，本發(fā)明的第一個(gè)目的在于提出一種基于線性回歸的雙向視線方向估計(jì)方法，該方法通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異?；蛞暰€方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果。

本發(fā)明的第二個(gè)目的在于提出一種基于線性回歸的雙向視線方向估計(jì)裝置。

為達(dá)上述目的，本發(fā)明第一方面實(shí)施例提出了一種基于線性回歸的雙向視線方向估計(jì)方法，包括：跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集；根據(jù)所述初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型；對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，如果所述視線跟蹤結(jié)果異常，則通過(guò)所述線性回歸模型和一只眼睛的視線方向進(jìn)行視線方向估計(jì)。

本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法，通過(guò)跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集，并根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，最后對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異?；蛞暰€方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性。

另外，根據(jù)本發(fā)明上述實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法還可以具有如下附加的技術(shù)特征：

可選地，所述的方法，還包括:通過(guò)主成分分析法提取所述初始數(shù)據(jù)集的特征向量；如果所述視線跟蹤結(jié)果正常，則將當(dāng)前視頻幀的視線方向表示為特征向量加權(quán)和的形式。

可選地，所述的方法，還包括：將所述當(dāng)前視頻幀的雙眼視線方向更新到所述初始數(shù)據(jù)集中，并提取新的特征向量。

可選地，所述連續(xù)預(yù)定數(shù)量視頻幀為有效視頻幀。

可選地，所述根據(jù)所述初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，包括：獲取從左眼估算右眼的第一模型矩陣；獲取從右眼估算左眼的第二模型矩陣；通過(guò)最小二乘法對(duì)所述第一模型矩陣和所述第二模型矩陣進(jìn)行擬合得到所述兩個(gè)視線方向的線性回歸模型。

為達(dá)上述目的，本發(fā)明第二方面實(shí)施例提出了一種基于線性回歸的雙向視線方向估計(jì)裝置，包括：跟蹤模塊，用于跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集；計(jì)算模塊，用于根據(jù)所述初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型；處理模塊，用于對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在所述視線跟蹤結(jié)果異常時(shí)通過(guò)所述線性回歸模型和一只眼睛的視線方向進(jìn)行視線方向估計(jì)。

本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)裝置，通過(guò)跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集，并根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，最后對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異?；蛞暰€方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性。

另外，根據(jù)本發(fā)明上述實(shí)施例的基于線性回歸的雙向視線方向估計(jì)裝置還可以具有如下附加的技術(shù)特征：

可選地，所述的裝置，還包括:提取模塊，用于通過(guò)主成分分析法提取所述初始數(shù)據(jù)集的特征向量；所述處理模塊,還用于在所述視線跟蹤結(jié)果正常時(shí)將當(dāng)前視頻幀的視線方向表示為特征向量加權(quán)和的形式。

可選地，所述的裝置，還包括：更新模塊，用于將所述當(dāng)前視頻幀的雙眼視線方向更新到所述初始數(shù)據(jù)集中，并提取新的特征向量。

可選地，所述連續(xù)預(yù)定數(shù)量視頻幀為有效視頻幀。

可選地，所述計(jì)算模塊用于：獲取從左眼估算右眼的第一模型矩陣；獲取從右眼估算左眼的第二模型矩陣；通過(guò)最小二乘法對(duì)所述第一模型矩陣和所述第二模型矩陣進(jìn)行擬合得到所述兩個(gè)視線方向的線性回歸模型。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1是本發(fā)明實(shí)施例提出的一種基于線性回歸的雙向視線方向估計(jì)方法的流程示意圖；

圖2是本發(fā)明實(shí)施例提出的另一種基于線性回歸的雙向視線方向估計(jì)方法的流程示意圖；

圖3是本發(fā)明實(shí)施例提出的一種包含視線方向的人臉模型動(dòng)畫(huà)的視頻幀的示意圖；

圖4是本發(fā)明實(shí)施例提出的另一種包含視線方向的人臉模型動(dòng)畫(huà)的視頻幀的示意圖；

圖5是本發(fā)明實(shí)施例提出的視頻中眼睛前方有遮擋物的一幀，錯(cuò)誤的視線方向結(jié)果以及使用本方法估計(jì)的視線方向結(jié)果的示意圖；

圖6是本發(fā)明實(shí)施例提出的視頻中視線方向跟蹤結(jié)果明顯錯(cuò)誤的一幀，錯(cuò)誤的視線方向結(jié)果以及使用本方法估計(jì)的視線方向結(jié)果。

圖7是本發(fā)明實(shí)施例提出的一種基于線性回歸的雙向視線方向估計(jì)裝置的結(jié)構(gòu)示意圖；

圖8是本發(fā)明實(shí)施例提出的另一種基于線性回歸的雙向視線方向估計(jì)裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。

下面參考附圖描述本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法和裝置。

通常，臉部、或者是眼部有遮擋物時(shí)，造成視線跟蹤結(jié)果不準(zhǔn)確，從而影響視線跟蹤在人機(jī)交互、虛擬現(xiàn)實(shí)及增強(qiáng)現(xiàn)實(shí)等領(lǐng)域的應(yīng)用效果。

為了解決上述問(wèn)題，本發(fā)明提出一種基于線性回歸的雙向視線方向估計(jì)方法，通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異常或視線方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性。具體如下：

圖1是本發(fā)明實(shí)施例提出的一種基于線性回歸的雙向視線方向估計(jì)方法的流程示意圖。

如圖1所示，該基于線性回歸的雙向視線方向估計(jì)方法包括以下步驟：

步驟101，跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集。

具體地，不同人之間雙眼的特征有所不同，如眼球位置。由此，不同人的視線方向不同。

為了進(jìn)一步提高視線方向估計(jì)的準(zhǔn)確性，需要獲取連續(xù)預(yù)定數(shù)量視頻幀中的不同人的視線方向數(shù)據(jù)進(jìn)行訓(xùn)練。避免了預(yù)先訓(xùn)練靜態(tài)模型，不能夠更好適應(yīng)更多人的雙眼特征的缺點(diǎn)。

需要說(shuō)明的是，連續(xù)預(yù)定數(shù)量的數(shù)值可以根據(jù)實(shí)際應(yīng)用需要進(jìn)行選擇設(shè)置，比如連續(xù)7視頻幀等。

更具體地，獲取的雙眼視線方向可以為雙眼視線方向的球面坐標(biāo)，將雙眼視線方向的球面坐標(biāo)構(gòu)成初始數(shù)據(jù)集。其中，連續(xù)預(yù)定數(shù)量視頻幀為有效視頻幀，即可以正確跟蹤視線方向。

為了本領(lǐng)域人員更加清楚如何將雙眼視線方向的球面坐標(biāo)構(gòu)成初始數(shù)據(jù)集，下面以視頻中前p個(gè)視頻幀為例說(shuō)明如下：

可以通過(guò)現(xiàn)有技術(shù)中的視線跟蹤方法獲取視頻中前p個(gè)視頻幀中的視線方向數(shù)據(jù)，這里的視頻幀是有效幀即跟蹤結(jié)果中不存在異常情況。兩只眼睛的視線方向可用球面坐標(biāo)分別表示為和其中，l和r分別代表左眼和右眼。

由此，p組雙眼視線方向數(shù)據(jù)構(gòu)成了初始數(shù)據(jù)集s°，表示為：

步驟102，根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型。

具體地，根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型的方式有很多種，可以根據(jù)需要選擇設(shè)置。本實(shí)施例中，可以通過(guò)獲取從左眼估算右眼的第一模型矩陣和獲取從右眼估算左眼的第二模型矩陣，最后通過(guò)最小二乘法對(duì)第一模型矩陣和第二模型矩陣進(jìn)行擬合得到兩個(gè)視線方向的線性回歸模型。

為了更清楚描述如何建立線性回歸模型。繼續(xù)以上述步驟101中的初始數(shù)據(jù)集為例說(shuō)明。

具體地，第一模型矩陣為第一模型矩陣為其中m^l表示從左眼估算右眼的模型矩陣，m^r表示從右眼估算左眼的模型矩陣，二者均為3×3矩陣。由此，上述兩個(gè)公式可以是含有m^l或m^r中9個(gè)參數(shù)的線性系統(tǒng)，進(jìn)一步利用最小二乘法和初始數(shù)據(jù)集，便可得擬合出兩個(gè)線性回歸模型。

步驟103，對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，如果視線跟蹤結(jié)果異常，則通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)。

具體地，當(dāng)前視頻幀指的是跟蹤連續(xù)預(yù)定數(shù)量視頻幀后面的其它任一視頻幀。本發(fā)明可以分別單獨(dú)處理每一視頻幀的視線跟蹤結(jié)果，并在結(jié)果異常時(shí)進(jìn)行視線方向估計(jì)。

具體地，對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤時(shí)視線跟蹤結(jié)果異常(比如一只眼睛無(wú)法獲得其視線方向、視線跟蹤結(jié)果錯(cuò)誤等)，可以利用無(wú)法獲得其視線方向的眼睛對(duì)應(yīng)的線性回歸模型和另一只眼睛的視線方向估算無(wú)法獲得其視線方向的眼睛的視線方向，從而得到一個(gè)合理的雙眼視線跟蹤結(jié)果。

由此，在處理后續(xù)幀時(shí)即可使用某只眼睛的視線方向估計(jì)另一只眼睛的視線方向，從而達(dá)到處理異常視線跟蹤結(jié)果的目的。為了更加清楚描述如何通過(guò)某只眼睛的視線方向估計(jì)另一只眼睛的視線方向，下面繼續(xù)以步驟101和步驟102中的例子進(jìn)行說(shuō)明。

具體地，對(duì)于某只眼睛e(e∈{l,r})，若無(wú)法獲得其視線方向或其視線跟蹤結(jié)果明顯錯(cuò)誤，則根據(jù)另一只眼睛f(f∈{l,r},f≠e)的視線方向和估算e的線性回歸模型m^f估算e的視線方向?yàn)椋?imgfile="bda0001254337060000056.gif"wi="612"he="95"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>從而得到一個(gè)合理的雙眼視線跟蹤結(jié)果。

綜上所述，本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法，通過(guò)跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集，并根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，最后對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異?；蛞暰€方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性。

圖2是本發(fā)明實(shí)施例提出的另一種基于線性回歸的雙向視線方向估計(jì)方法的流程示意圖。

如圖2所示，該基于線性回歸的雙向視線方向估計(jì)方法包括以下步驟：

步驟201，跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集。

步驟202，根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型。

需要說(shuō)明的是，步驟s201-s202的描述與上述步驟s101-s102相對(duì)應(yīng)，因此對(duì)的步驟s201-s202的描述參考上述步驟s101-s102的描述，在此不再贅述。

步驟203，通過(guò)主成分分析法提取初始數(shù)據(jù)集的特征向量。

具體地，使用主成分分析法(pca)提取初始數(shù)據(jù)集的特征向量構(gòu)成pca空間。

具體地，使用pca方法提取步驟101中的初始數(shù)據(jù)集s°的特征向量為：

用于表示初始數(shù)據(jù)集的特征，能夠避免更新過(guò)程中的數(shù)據(jù)爆炸問(wèn)題，還為了利用后續(xù)視頻幀的視線跟蹤結(jié)果不斷更新優(yōu)化線性回歸模型。

步驟204，對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，如果視線跟蹤結(jié)果異常，則通過(guò)線性回歸模型和一只眼睛的視線方向進(jìn)行視線方向估計(jì)。

步驟205，如果視線跟蹤結(jié)果正常，則將當(dāng)前視頻幀的視線方向表示為特征向量加權(quán)和的形式。

步驟206，將當(dāng)前視頻幀的雙眼視線方向更新到初始數(shù)據(jù)集中，并提取新的特征向量。

可以理解的是，在使用線性回歸模型處理其他后續(xù)視頻幀時(shí)，一方面要根據(jù)視線跟蹤的結(jié)果決定是否使用線性回歸模型進(jìn)行視線方向估計(jì)，另一方面要利用更多數(shù)據(jù)更新線性回歸模型和數(shù)據(jù)集，使估算結(jié)果更準(zhǔn)確。

具體地，在進(jìn)行處理之前，將后續(xù)使用的視線方向數(shù)據(jù)集定義為s，其特征向量為z，并為其分別賦予初始值為s＝s°，z＝z°。下面為根據(jù)當(dāng)前幀視線跟蹤結(jié)果是否正常進(jìn)行的不同步驟：

示例一：對(duì)于某只眼睛e(e∈{l,r})，若無(wú)法獲得其視線方向或其視線跟蹤結(jié)果明顯錯(cuò)誤，則根據(jù)另一只眼睛f(f∈{l,r},f≠e)的視線方向和估算e的線性回歸模型m^f估算e的視線方向：從而得到一個(gè)合理的雙眼視線跟蹤結(jié)果。

示例二，若兩只眼睛的視線跟蹤結(jié)果均正常，則使用特征向量z表示當(dāng)前幀的視線方向g為g^z，即：

若誤差大于容差ε，即：||g-g^z2>ε2>ε。則表示當(dāng)前幀的視線方向包含s中無(wú)法表達(dá)的雙目視線特征，因此要將g加入s并重新使用最小二乘法擬合m^l和m^r以及重新使用pca方法提取特征向量z。

綜上所述，本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法，通過(guò)跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集，并根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，再通過(guò)主成分分析法提取初始數(shù)據(jù)集的特征向量，最后對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)，在視線跟蹤結(jié)果正常時(shí)將當(dāng)前視頻幀的視線方向表示為特征向量加權(quán)和的形式，并將當(dāng)前視頻幀的雙眼視線方向更新到初始數(shù)據(jù)集中，并提取新的特征向量。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異?；蛞暰€方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性，以及利用后續(xù)視頻幀的視線跟蹤結(jié)果不斷更新優(yōu)化線性回歸模型，進(jìn)一步提高視線方向估計(jì)的準(zhǔn)確性。

為了本領(lǐng)域人員能加清楚上述實(shí)施例的具體實(shí)施過(guò)程，下面結(jié)合具體例子舉例說(shuō)明如下：

具體地，在本實(shí)施例中包含兩段人臉動(dòng)作的視頻，其中一段視頻包含一段視頻幀中一只眼睛前方有遮擋物，另一段視頻包含一段幀序列中一只眼睛的跟蹤結(jié)果出現(xiàn)明顯錯(cuò)誤。需要說(shuō)明的是，為了展示整體人臉模型動(dòng)畫(huà)的結(jié)果，實(shí)施例中使用已重建好的三維人臉模型作為輸入。

第一步，跟蹤視頻中連續(xù)若干視頻幀的視線方向，取其中前p＝150個(gè)有效幀的跟蹤結(jié)果，即雙目視線方向的球面坐標(biāo)和組成初始數(shù)據(jù)集s°。兩段視頻序列中各一幀的圖像及視線跟蹤結(jié)果的模型動(dòng)畫(huà)如圖3和圖4所示。

第二步，據(jù)初始數(shù)據(jù)集s°分別計(jì)算雙眼間的兩個(gè)線性回歸模型m^l和m^r，由下式表示：和利用最小二乘法及初始數(shù)據(jù)集s°中的p組雙目視線方向數(shù)據(jù)擬合出兩個(gè)初始線性回歸模型。接著，使用pca方法提取s°的特征向量用于表示初始數(shù)據(jù)集的特征。

第三步，在處理后續(xù)視頻幀之前，先將初始數(shù)據(jù)集s°和特征向量z°賦值于s和z。然后對(duì)當(dāng)前幀進(jìn)行視線跟蹤。

具體地，第一種情況，視線跟蹤結(jié)果異常，如眼睛前方有遮擋物無(wú)法獲得視線方向(如圖5中b所示)，或視線跟蹤結(jié)果明顯錯(cuò)誤(圖6中b所示)。在此情況下，為了估計(jì)右眼正確的視線方向使用從左眼到右眼的線性回歸模型m^l和左眼的視線方向估計(jì)右眼的視線方向，即估算后的雙目視線結(jié)果如圖5和圖6中的c所示。

具體地，第二種情況，視線跟蹤結(jié)果正常，則將當(dāng)前幀的視線方向g表示為z中特征向量加權(quán)和的形式，即：然后計(jì)算如此表示后的誤差e，即：||g-g^z2>ε||2>ε。若e>ε＝0.05||g||，則將g加入s，并重新使用最小二乘法擬合m^l和m^r以及重新使用pca方法提取特征向量z。

需要說(shuō)明的是，本實(shí)施例的方法的硬件pc配置；cpu：intel(r)core(tm)i7-47903.6ghz；內(nèi)存：16g；操作系統(tǒng)：windows8。

綜上所述，本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法，通過(guò)跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集，并根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，再通過(guò)主成分分析法提取初始數(shù)據(jù)集的特征向量，最后對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)，在視線跟蹤結(jié)果正常時(shí)將當(dāng)前視頻幀的視線方向表示為特征向量加權(quán)和的形式，并將當(dāng)前視頻幀的雙眼視線方向更新到初始數(shù)據(jù)集中，并提取新的特征向量。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異?；蛞暰€方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性，以及利用后續(xù)視頻幀的視線跟蹤結(jié)果不斷更新優(yōu)化線性回歸模型，進(jìn)一步提高視線方向估計(jì)的準(zhǔn)確性。

為了實(shí)現(xiàn)上述實(shí)施例，本發(fā)明還提出一種基于線性回歸的雙向視線方向估計(jì)裝置。

圖7是本發(fā)明實(shí)施例提出的一種基于線性回歸的雙向視線方向估計(jì)裝置的結(jié)構(gòu)示意圖。

如圖7所示，該基于線性回歸的雙向視線方向估計(jì)裝置包括：跟蹤模塊11、計(jì)算模塊12和處理模塊13。

其中，跟蹤模塊11，用于跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集。

計(jì)算模塊12，用于根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型。

處理模塊13，用于對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型和一只眼睛的視線方向進(jìn)行視線方向估計(jì)。

在本發(fā)明的一個(gè)實(shí)施例中，連續(xù)預(yù)定數(shù)量視頻幀為有效視頻幀。

進(jìn)一步地，在本發(fā)明實(shí)施例的一種可能的實(shí)現(xiàn)方式中，計(jì)算模塊12用于：獲取從左眼估算右眼的第一模型矩陣；獲取從右眼估算左眼的第二模型矩陣；通過(guò)最小二乘法對(duì)第一模型矩陣和第二模型矩陣進(jìn)行擬合得到兩個(gè)視線方向的線性回歸模型。

需要說(shuō)明的是，前述對(duì)基于線性回歸的雙向視線方向估計(jì)方法實(shí)施例的解釋說(shuō)明也適用于本實(shí)施例的基于線性回歸的雙向視線方向估計(jì)裝置，此處不再贅述。

綜上所述，本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法，通過(guò)跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集，并根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，最后對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異?；蛞暰€方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性。

為了清楚說(shuō)明上一實(shí)施例，本實(shí)施例提供了另一種基于線性回歸的雙向視線方向估計(jì)裝置。

圖8是本發(fā)明實(shí)施例提出的另一種基于線性回歸的雙向視線方向估計(jì)裝置的結(jié)構(gòu)示意圖。

如圖8所示，在上一實(shí)施例的基礎(chǔ)上，該裝置還包括：提取模塊14和更新模塊15。

其中，提取模塊14，用于通過(guò)主成分分析法提取初始數(shù)據(jù)集的特征向量。

處理模塊13,還用于在視線跟蹤結(jié)果正常時(shí)將當(dāng)前視頻幀的視線方向表示為特征向量加權(quán)和的形式。

更新模塊15，用于將當(dāng)前視頻幀的雙眼視線方向更新到初始數(shù)據(jù)集中，并提取新的特征向量。

需要說(shuō)明的是，前述對(duì)基于線性回歸的雙向視線方向估計(jì)方法實(shí)施例的解釋說(shuō)明也適用于本實(shí)施例的基于線性回歸的雙向視線方向估計(jì)裝置，此處不再贅述。

綜上所述，本發(fā)明實(shí)施例的基于線性回歸的雙向視線方向估計(jì)方法，通過(guò)跟蹤連續(xù)預(yù)定數(shù)量視頻幀的雙眼視線方向作為初始數(shù)據(jù)集，并根據(jù)初始數(shù)據(jù)集分別計(jì)算雙眼間的兩個(gè)視線方向的線性回歸模型，再通過(guò)主成分分析法提取初始數(shù)據(jù)集的特征向量，最后對(duì)當(dāng)前視頻幀進(jìn)行視線跟蹤，在視線跟蹤結(jié)果異常時(shí)通過(guò)線性回歸模型進(jìn)行視線方向估計(jì)，在視線跟蹤結(jié)果正常時(shí)將當(dāng)前視頻幀的視線方向表示為特征向量加權(quán)和的形式，并將當(dāng)前視頻幀的雙眼視線方向更新到初始數(shù)據(jù)集中，并提取新的特征向量。由此，通過(guò)將雙眼視線方向存在的潛在關(guān)系擬合為線性回歸模型，從而在進(jìn)行視線跟蹤的過(guò)程中若一只眼睛的跟蹤結(jié)果異常或視線方向無(wú)法獲得時(shí)利用線性回歸模型和另一只眼睛的視線方向估計(jì)這一眼睛的視線方向，得到一個(gè)合理的雙目視線方向結(jié)果，增加視線跟蹤的魯棒性，以及利用后續(xù)視頻幀的視線跟蹤結(jié)果不斷更新優(yōu)化線性回歸模型，進(jìn)一步提高視線方向估計(jì)的準(zhǔn)確性。

在本說(shuō)明書(shū)的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書(shū)中，對(duì)上述術(shù)語(yǔ)的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說(shuō)明書(shū)中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。

此外，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本發(fā)明的描述中，“多個(gè)”的含義是至少兩個(gè)，例如兩個(gè)，三個(gè)等，除非另有明確具體的限定。

流程圖中或在此以其他方式描述的任何過(guò)程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)定制邏輯功能或過(guò)程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來(lái)執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。如，如果用硬件來(lái)實(shí)現(xiàn)和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn)：具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門(mén)電路的離散邏輯電路，具有合適的組合邏輯門(mén)電路的專(zhuān)用集成電路，可編程門(mén)陣列(pga)，現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)等。

本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。

此外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。

上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤(pán)或光盤(pán)等。盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。