專利名稱：基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機搜索領(lǐng)域，尤其涉及一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法。

背景技術(shù)：
現(xiàn)有的個性化引擎依靠的是用戶的反饋，它可以分為顯式反饋和隱式反饋。我們從這兩種反饋中都可以得到用戶的喜好特征(Salton & Buckley 1990；White，Jose，& Ruthven 2001；White，Ruthven，& Jose 2002)。但是用戶一般都不愿意去提供顯式的反饋，所以現(xiàn)在的研究越來越多的研究都轉(zhuǎn)向隱式反饋(Granka，Joachims，& Gay 2004；Guan & Cutrell 2007；Fu 2007)。研究表明，隱式反饋可以很好的反映用戶的搜索意圖(Fox etal.2005；Dou，Song，& Wen 2007；Fu 2007).并且從大量的隱式反饋中得到的用戶喜好往往比顯式反饋更加可靠。
查詢歷史現(xiàn)代研究中，用得最多的隱式反饋就是用戶的查詢歷史。Google的個性化搜索(http://www.google.com/psearch)就是基于用戶的查詢歷史的?？偟膩碚f，基于查詢歷史的算法又可以分為以下兩類一類是基于整個查詢歷史的算法，另一類是基于某個查詢會話(指的是一連串相關(guān)的查詢)。對于前者來說，通常算法會產(chǎn)生一個該用戶的概要文本用來描述用戶的搜索喜好。
點擊數(shù)據(jù)點擊數(shù)據(jù)是另一種非常重要的隱式反饋，如(Dupret，Mrudock，&Piwowarski 2007；Joachims 2002)。在一個搜索結(jié)果頁面上，我們假設(shè)用戶點擊過的鏈接比用戶沒有點過的鏈接對于此用戶來說更加重要。研究者們用了很多中方法從用戶的點擊行為中獲取用戶的喜好特征。舉例來說，有些研究者用一種叫Ranking SVM的算法(Hersh et al.1994)通過用戶的點擊信息來獲得對該用戶來說最好的網(wǎng)頁排序。在(Radlinski & Joachims 2005)一文中，作者不但從用戶的單次查詢中提取用戶喜好，同時也從用戶對同一信息的一連串查詢中提取用戶的喜好，這些喜好特征然后通過Ranking SVM的改進算法來進行訓(xùn)練。Sun et al.(2005)提出了一種基于Singluar Value Decomposition的算法，它通過分析用戶的點擊數(shù)據(jù)來提高搜索引擎的建議系統(tǒng)的準確率。
關(guān)注時間相對來說，關(guān)注時間是一個新型的隱式用戶反饋。雖然它在近期的研究中越來越多被提到，但是關(guān)于它是否真的能夠反映用戶意圖仍然有爭辯。Kelly和Belkin(2004；2001)建議說，在文本的關(guān)注時間和它對用戶的有用度之間并沒有非?？煽康南嗷リP(guān)系。但是不同的是，在他們的研究當中，關(guān)注時間是通過測量一組用戶閱讀不同主題的文章而得到的平均關(guān)注時間。Halabiet al.(2007)認為對于一個的用戶在同一個搜索行為中關(guān)注時間，它可以很好的反映出用戶的喜好。我們認為以上兩個研究并不矛盾，因為他們所計算的關(guān)注時間并不相同。


發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法。
基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法包括以下步驟 1)利用眼球跟蹤裝置，獲取用戶對網(wǎng)頁圖像關(guān)注時間的樣本信息； 2)對獲取到的用戶關(guān)注時間樣本進行校正； 3)對未知網(wǎng)頁圖像，運用決策樹的方法動態(tài)選擇合適的圖像相似度算法； 4)基于圖像相似度來預(yù)測未知網(wǎng)頁圖像的用戶關(guān)注時間； 5)利用用戶關(guān)注時間結(jié)合傳統(tǒng)搜索技術(shù)生成個性化的網(wǎng)頁圖像搜索結(jié)果。
所述的利用眼球跟蹤裝置，獲取用戶對網(wǎng)頁圖像關(guān)注時間的樣本信息步驟 (a)在網(wǎng)頁圖像搜索結(jié)果頁面上，搜索引擎通常會在搜索結(jié)果頁面上為每個網(wǎng)頁圖像提供縮略圖；利用眼球跟蹤裝置，追蹤用戶眼球的移動位置，從而來記錄用戶在某個網(wǎng)頁圖像縮略圖上花的時間； (b)在被打開的網(wǎng)頁圖像頁面上，記錄用戶眼球裝置在該圖像各子區(qū)域處移動的時間；設(shè)圖像I由互不相交的等尺寸的矩形圖像子區(qū)域R1，R2...Rn構(gòu)成，每當眼球跟蹤裝置當前位置位于坐標(x，y)處時，設(shè)(xi，yi)為子區(qū)域Ri內(nèi)距離(x，y)最近的點，則子區(qū)域Ri的用戶關(guān)注時間

增加 其中參數(shù)σ的值預(yù)設(shè)為1cm； (c)對于此網(wǎng)頁圖像的關(guān)注時間就是觀看該圖像縮略圖的時間加上觀看該圖像各子區(qū)域處的圖像頁面的時間之和；如果之后用戶的眼球跟蹤裝置又重新在該圖像某子區(qū)域或縮略圖上移動，那么該網(wǎng)頁圖像的用戶關(guān)注時間會相應(yīng)增加。
所述的對獲取到的用戶關(guān)注時間樣本進行校正步驟 (d)對獲取到的用戶關(guān)注時間樣本通過校正公式 進行校正，其中

是從步驟(a)～(c)中收集到的用戶關(guān)注時間，tbasic(I)是用戶用來判斷此圖像是否值得一讀的時間，

則是校正后的對該網(wǎng)頁圖像I的用戶關(guān)注時間。
所述的對未知網(wǎng)頁圖像，運用決策樹的方法動態(tài)選擇合適的圖像相似度算法步驟 (e)任意挑選5個已有的圖像相似度算法A1，A2，...，A5；并從步驟(a)～(d)收集到的樣本集中任意挑選其中90％的圖像作為訓(xùn)練集，另10％的圖像作為測試集； (f)對訓(xùn)練集與樣本集中的每個圖像中的每個圖像子區(qū)域R，提取出特征向量F(R)首先使用已有的非負矩陣的因素分解方法對訓(xùn)練集中的圖像子區(qū)域進行聚類，每個圖像子區(qū)域都將獲得幾個分值，每個分值表示的是該圖像子區(qū)域?qū)δ骋痪垲惣系囊栏匠潭?，選擇最高的3個依附分值和相應(yīng)聚類集合編號作為特征向量 F(R)＝(N1(R)，f1(R)，N2(R)，f2(R)，N3(R)，f3(R)) 其中N1(R)，N2(R)，N3(R)是有最高依附分值的三個聚類集合編號，f1(R)，f2(R)，f3(R)則是對應(yīng)的依附分值； (g)對于訓(xùn)練集與測試集中每個圖像子區(qū)域R，分別用每個圖像相似度算法Ai預(yù)測算法預(yù)測它的關(guān)注時間，然后分別和真實關(guān)注時間進行相減，得到誤差error；從A1～A5中找到其中誤差error最小的算法Aopt(R)； (h)使用一個決策樹來學習每個圖像子區(qū)域R的特征向量F(R)與具有最小誤差error的算法Aopt(R)之間的關(guān)系；即以圖像特征向量、算法編號分別作為決策樹的輸入輸出，并使用訓(xùn)練集中的樣本對決策樹進行訓(xùn)練，當決策樹的輸出在測試集中樣本上的平均誤差最小時，保存此時的決策樹； (i)用訓(xùn)練好的決策樹為未知網(wǎng)頁圖像Ix中的每個圖像子區(qū)域選擇最合適的圖像相似度算法； 所述的基于圖像相似度來預(yù)測未知網(wǎng)頁圖像的用戶關(guān)注時間步驟 (j)用Sim(Ro，R1)來表示圖像子區(qū)域R0和圖像子區(qū)域R1之間的相似度，同時Sim(Ro，R1)∈
，在計算兩個圖像子區(qū)域的相似度之前，將它們的圖像尺寸歸一化為同樣大?。? (k)把每個已通過眼球跟蹤獲取到用戶關(guān)注時間的網(wǎng)頁圖像子區(qū)域樣本集表示為{tatt(u，Ri)|i＝1，...n}，其中n是當前用戶閱讀過的圖像子區(qū)域的個數(shù)，閱讀過的圖像子區(qū)域表示為Ri(i＝1，...，n)，當用戶遇到一個新的圖像Ix的時候，設(shè)Ix由矩形圖像子區(qū)域R1(x)，R2(x)...Rm(x)構(gòu)成，對其中每個圖像Rj(x)和樣本集中的所有圖像進行相似度計算，挑選出k個具有最高相似度的圖像，把k設(shè)為min(10，m)，挑選出來的圖像為Ri(i＝1，...，k)，用以下這個公式來預(yù)測Rj(x)的用戶關(guān)注時間， 其中γ用來控制Sim(，)的值占多的比重，ε是一個很小的正整數(shù)用來防止表達式的分母為0，函數(shù)δ(，)用來去除一些相似度非常低的圖像，它被定義為: (1)計算新圖像Ix的用戶關(guān)注時間，使用如下公式 所述的利用用戶關(guān)注時間結(jié)合傳統(tǒng)搜索技術(shù)生成個性化的網(wǎng)頁圖像搜索結(jié)果步驟 (m)當用戶提交一個查詢請求時，服務(wù)端首先將查詢重定向至傳統(tǒng)圖像搜索引擎，并獲得返回的前n個網(wǎng)頁圖像，對于返回的每個頁面，系統(tǒng)將在該用戶的樣本集中查找k個與圖像相似度最高的樣本，并用步驟(j)～(1)中的方法預(yù)測該網(wǎng)頁圖像的關(guān)注時間； (n)對于傳統(tǒng)的排序，系統(tǒng)會生成一個關(guān)注時間偏差，那就是在傳統(tǒng)排序中，排名越高的圖像，獲得更高的關(guān)注時間偏差，用如下公式定義這個偏差 其中rank(I)表示的圖像I在傳統(tǒng)圖像搜索引擎的排序的排名，參數(shù)κd用來控制關(guān)注時間隨排名下降的坡度； (o)從圖像I的關(guān)注時間tatt(I)和偏差

獲得圖像I的全局關(guān)注時間參數(shù)κoverall是一個用戶變量，用來控制該用戶希望個性化的排名占的比重； (p)最終排序?qū)凑湛傟P(guān)注時間的倒序排列，生成搜索結(jié)果。
本發(fā)明有效地將用戶的喜好結(jié)合在搜索過程中，充分的利用了眼球跟蹤技術(shù)獲取用戶當前的興趣所在，并利用機器學習技術(shù)中的決策樹動態(tài)選擇圖像相似度算法，更加準確的預(yù)測了未知圖像對用戶的潛在吸引力，使得最終的搜索排名結(jié)果更加接近用戶期待的理想排名，從而使得網(wǎng)頁圖像引擎為用戶提供更好的個性化服務(wù)。



圖1是具體實施方式
的流程圖； 圖2是7組圖片搜索實驗的坐標圖，具體數(shù)據(jù)在表1和表2中；每組實驗都是由不同的用戶在相同的設(shè)置下進行的，坐標上畫的是用戶的平均的期望排名，平均值越小，那么用戶期望的圖片在搜索結(jié)果中將會出現(xiàn)得越靠前。

具體實施例方式 基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法包括以下步驟 1)利用眼球跟蹤裝置，獲取用戶對網(wǎng)頁圖像關(guān)注時間的樣本信息； 2)對獲取到的用戶關(guān)注時間樣本進行校正； 3)對未知網(wǎng)頁圖像，運用決策樹的方法動態(tài)選擇合適的圖像相似度算法； 4)基于圖像相似度來預(yù)測未知網(wǎng)頁圖像的用戶關(guān)注時間； 5)利用用戶關(guān)注時間結(jié)合傳統(tǒng)搜索技術(shù)生成個性化的網(wǎng)頁圖像搜索結(jié)果。
所述的利用眼球跟蹤裝置，獲取用戶對網(wǎng)頁圖像關(guān)注時間的樣本信息步驟 (a)在網(wǎng)頁圖像搜索結(jié)果頁面上，搜索引擎通常會在搜索結(jié)果頁面上為每個網(wǎng)頁圖像提供縮略圖；利用眼球跟蹤裝置，追蹤用戶眼球的移動位置，從而來記錄用戶在某個網(wǎng)頁圖像縮略圖上花的時間； (b)在被打開的網(wǎng)頁圖像頁面上，記錄用戶眼球裝置在該圖像各子區(qū)域處移動的時間；設(shè)圖像I由互不相交的等尺寸的矩形圖像子區(qū)域R1，R2...Rn構(gòu)成，每當眼球跟蹤裝置當前位置位于坐標(x，y)處時，設(shè)(xi，yi)為子區(qū)域Ri內(nèi)距離(x，y)最近的點，則子區(qū)域Ri的用戶關(guān)注時間

增加 其中參數(shù)σ的值預(yù)設(shè)為1cm； (c)對于此網(wǎng)頁圖像的關(guān)注時間就是觀看該圖像縮略圖的時間加上觀看該圖像各子區(qū)域處的圖像頁面的時間之和；如果之后用戶的眼球跟蹤裝置又重新在該圖像某子區(qū)域或縮略圖上移動，那么該網(wǎng)頁圖像的用戶關(guān)注時間會相應(yīng)增加。
所述的對獲取到的用戶關(guān)注時間樣本進行校正步驟 (d)對獲取到的用戶關(guān)注時間樣本通過校正公式 進行校正，其中

是從步驟(a)～(c)中收集到的用戶關(guān)注時間，tbasic(I)是用戶用來判斷此圖像是否值得一讀的時間，

則是校正后的對該網(wǎng)頁圖像I的用戶關(guān)注時間。
所述的對未知網(wǎng)頁圖像，運用決策樹的方法動態(tài)選擇合適的圖像相似度算法步驟 (e)任意挑選5個已有的圖像相似度算法A1，A2，...，A5；并從步驟(a)～(d)收集到的樣本集中任意挑選其中90％的圖像作為訓(xùn)練集，另10％的圖像作為測試集； (f)對訓(xùn)練集與樣本集中的每個圖像中的每個圖像子區(qū)域R，提取出特征向量F(R)首先使用已有的非負矩陣的因素分解方法對訓(xùn)練集中的圖像子區(qū)域進行聚類，每個圖像子區(qū)域都將獲得幾個分值，每個分值表示的是該圖像子區(qū)域?qū)δ骋痪垲惣系囊栏匠潭?，選擇最高的3個依附分值和相應(yīng)聚類集合編號作為特征向量 F(R)＝(N1(R)，f1(R)，N2(R)，f2(R)，N3(R)，f3(R)) 其中N1(R)，N2(R)，N3(R)是有最高依附分值的三個聚類集合編號，f1(R)，f2(R)，f3(R)則是對應(yīng)的依附分值； (g)對于訓(xùn)練集與測試集中每個圖像子區(qū)域R，分別用每個圖像相似度算法Ai預(yù)測算法預(yù)測它的關(guān)注時間，然后分別和真實關(guān)注時間進行相減，得到誤差error；從A1～A5中找到其中誤差error最小的算法Aopt(R)； (h)使用一個決策樹來學習每個圖像子區(qū)域R的特征向量F(R)與具有最小誤差error的算法Aopt(R)之間的關(guān)系；即以圖像特征向量、算法編號分別作為決策樹的輸入輸出，并使用訓(xùn)練集中的樣本對決策樹進行訓(xùn)練，當決策樹的輸出在測試集中樣本上的平均誤差最小時，保存此時的決策樹； (i)用訓(xùn)練好的決策樹為未知網(wǎng)頁圖像Ix中的每個圖像子區(qū)域選擇最合適的圖像相似度算法； 所述的基于圖像相似度來預(yù)測未知網(wǎng)頁圖像的用戶關(guān)注時間步驟 (j)用Sim(Ro，R1)來表示圖像子區(qū)域R0和圖像子區(qū)域R1之間的相似度，同時Sim(Ro，R1)∈
，在計算兩個圖像子區(qū)域的相似度之前，將它們的圖像尺寸歸一化為同樣大?。? (k)把每個已通過眼球跟蹤獲取到用戶關(guān)注時間的網(wǎng)頁圖像子區(qū)域樣本集表示為{tatt(u，Ri)|i＝1，...n}，其中n是當前用戶閱讀過的圖像子區(qū)域的個數(shù)，閱讀過的圖像子區(qū)域表示為Ri(i＝1，...，n)，當用戶遇到一個新的圖像Ix的時候，設(shè)Ix由矩形圖像子區(qū)域R1(x)，R2(x)...Rm(x)構(gòu)成，對其中每個圖像Rj(x)和樣本集中的所有圖像進行相似度計算，挑選出k個具有最高相似度的圖像，把k設(shè)為min(10，m)，挑選出來的圖像為Ri(i＝1，...，k)，用以下這個公式來預(yù)測Rj(x)的用戶關(guān)注時間， 其中γ用來控制Sim(，)的值占多的比重，ε是一個很小的正整數(shù)用來防止表達式的分母為0，函數(shù)δ(，)用來去除一些相似度非常低的圖像，它被定義為: (1)計算新圖像Ix的用戶關(guān)注時間，使用如下公式 所述的利用用戶關(guān)注時間結(jié)合傳統(tǒng)搜索技術(shù)生成個性化的網(wǎng)頁圖像搜索結(jié)果步驟 (m)當用戶提交一個查詢請求時，服務(wù)端首先將查詢重定向至傳統(tǒng)圖像搜索引擎，并獲得返回的前n個網(wǎng)頁圖像，對于返回的每個頁面，系統(tǒng)將在該用戶的樣本集中查找k個與圖像相似度最高的樣本，并用步驟(j)～(1)中的方法預(yù)測該網(wǎng)頁圖像的關(guān)注時間； (n)對于傳統(tǒng)的排序，系統(tǒng)會生成一個關(guān)注時間偏差，那就是在傳統(tǒng)排序中，排名越高的圖像，獲得更高的關(guān)注時間偏差，用如下公式定義這個偏差 其中rank(I)表示的圖像I在傳統(tǒng)圖像搜索引擎的排序的排名，參數(shù)κd用來控制關(guān)注時間隨排名下降的坡度； (o)從圖像I的關(guān)注時間tatt(I)和偏差

獲得圖像I的全局關(guān)注時間參數(shù)κoverall是一個用戶變量，用來控制該用戶希望個性化的排名占的比重； (p)最終排序?qū)凑湛傟P(guān)注時間的倒序排列，生成搜索結(jié)果。
實施例 本發(fā)明的基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法的流程結(jié)構(gòu)如圖1所示。該個性化排序系統(tǒng)包括客戶端和服務(wù)端兩部分，客戶端通過20、眼球跟蹤裝置來獲取用戶的關(guān)注時間，服務(wù)端包括30、樣本收集模塊，40、關(guān)注時間校正，50、用戶數(shù)據(jù)庫和60、圖像數(shù)據(jù)庫，70、查詢界面，80、傳統(tǒng)引擎模塊，90、圖像預(yù)處理模塊，100、圖像比較模塊，110、關(guān)注時間預(yù)測模塊，120、排序模塊。
眼球跟蹤裝置20，利用先進的眼球運動捕捉儀器，分析當前用戶視線所在圖像的位置，以及用戶在該圖像上的關(guān)注時間。在本例中眼球跟蹤裝置采用普通攝像頭(Logitech Quickcam Notebook Pro)搭配開源眼球跟蹤系統(tǒng)opengazer(http://www.inference.phy.cam.ac.uk/opengazer/)組裝而成。
樣本收集模塊30，將客戶端發(fā)送的樣本數(shù)據(jù)存入對應(yīng)用戶的數(shù)據(jù)庫中，如果某圖像在圖像數(shù)據(jù)庫中不存在，則下載并存入圖像數(shù)據(jù)庫。
關(guān)注時間校正模塊40，直接從客戶端獲得的預(yù)測關(guān)注時間還需要進行校正，當用戶瀏覽一個圖像時，不管此圖像是否對該用戶有用，用戶都得花一段時間去粗略的瀏覽此圖像。一般來說，此時獲得關(guān)注時間既包括了用戶的實際關(guān)注時間也包括了用戶粗略瀏覽該圖像的時間，為了克服這個問題，我們需要此模塊來校正我們原先獲得的關(guān)注時間。
用戶數(shù)據(jù)庫50，存儲系統(tǒng)各個用戶對圖像的關(guān)注時間，在本例中用MYSQL存儲。
圖像數(shù)據(jù)庫60，存儲圖像的數(shù)據(jù)，在本例中用MYSQL存儲。
查詢界面70，提供一個用戶查詢的web入口，提供圖片搜索服務(wù)。在本例中，此查詢界面用jsp實現(xiàn)。
傳統(tǒng)引擎模塊80，當用戶提交一個查詢請求時，服務(wù)端會對傳統(tǒng)搜索引擎(比如Google)的結(jié)果頁面進行解析并獲取其返回結(jié)果中的前300個圖像，并將圖像下載存至圖像服務(wù)器。
圖像預(yù)處理模塊90，直接從網(wǎng)站下載下來的網(wǎng)頁包含很多無用信息，比如HTML標簽，廣告欄，導(dǎo)航欄等。此模塊用于去除網(wǎng)頁中的無用信息，保留用戶將關(guān)注的主體圖像。在本例中，我們實現(xiàn)了，去除HTML標簽功能。
圖像比較模塊100，我們用決策樹算法動態(tài)的選擇最適合的圖像相似度比較算法。我們挑選了5個圖像相似度算法A1，A2，...，A5。對于訓(xùn)練集中的樣本，我們隨機的選擇90％的樣本作為訓(xùn)練樣本，剩下的10％作為測試樣本。對于測試集中每個圖像Ix和算法Ai，我們用預(yù)測算法預(yù)測它的關(guān)注時間，然后和真實關(guān)注時間進行比較，我們可以得到一個誤差error，表示為(Ix，Ai，error)，這樣我們可以從A1～A5中找到最小誤差的算法Aopt。接下來我們將對決策樹進行訓(xùn)練，此決策樹的輸入是一個特征向量，輸出是對應(yīng)相似度算法的標識。我們對每個圖像Ix提取出一個特征向量F(Ix)，直接的是將Ix中的每個單詞作為特征會使特征空間變得巨大。因此我們引入了一個聚類算法來生成特征向量F(Ix)使得特征變小。在這些圖像被聚合之后，每個圖像都有幾個分值，每個分值表示的是該圖像對某一聚集的依附程度，我們選擇最高的3個依附分值和聚集標識作為特征向量 F(Ix)＝(N1(Ix)，f1(Ix)，N2(Ix)，f2(Ix)，N3(Ix)，f3(Ix)) N1(Ix)，N2(Ix)，N3(Ix)是有最高依附分值的三個聚集標識，f1(Ix)，f2(Ix)，f3(Ix)則是對應(yīng)的依附分值。接下來我們就用新生成的特征向量來訓(xùn)練決策樹，為了防止過度訓(xùn)練，我們用10-folder交叉驗證的方法來測試決策樹。一旦決策樹生成，我們將在運行過程中動態(tài)的決定用什么文本相似度算法來進行相似度計算。在本例中，我們選用的5個圖片相似度算法為基于像素的灰度直方圖相似度算法，基于“ScalableColor”的，“ColorLayout”以及“EdgeHistogram”算法和基于“Auto ColorCorrelogram”(Huang et al.1997)的相似度算法。實施例中所用的聚類算法為Unsupervised image-set clustering算法(Goldberger 2006)。
關(guān)注時間預(yù)測模塊110，包含以下幾個步驟 a.)此模塊對于傳統(tǒng)引擎模塊中的每個圖像都進行關(guān)注時間的預(yù)測。首先我們把每個訓(xùn)練樣本表示為{Iatt(u，Ii)|i＝1，...n}，其中n是當前用戶閱讀過的圖像的個數(shù)。閱讀過的圖像表示為Ii(i＝1，...，n)。對于傳統(tǒng)引擎返回的圖像Ix的時候，我們會計算圖像Ix和測試集中的所有圖像進行相似度計算。然后我們會挑選出k個具有最高相似度的圖像。在我們的實施例中，我們把k設(shè)為min(10，n)。我們挑選出來的圖像為Ii(i＝1，...，k).然后我們用以下這個方程來預(yù)測Ix的關(guān)注時間 其中γ用來控制Sim(，)的值占多的比重，ε是一個很小的正整數(shù)用來防止表達式的分母為0。函數(shù)δ(，)用來去除一些相似度非常低的圖像，它被定義為 b.)在系統(tǒng)運行的初期，我們還會將傳統(tǒng)引擎的排名轉(zhuǎn)化成一個關(guān)注時間偏差。我們用下面這個方程將傳統(tǒng)排名轉(zhuǎn)化成一個值在0和1之間的標準化關(guān)注時間偏差 其中rank(i)表示的圖像i在傳統(tǒng)搜索引擎的排名。我們之所以選擇這樣一個式子是因為它可以把網(wǎng)頁排名信息轉(zhuǎn)換成關(guān)注時間，而且讓排名較低的圖像轉(zhuǎn)化所得的關(guān)注時間相對更短。參數(shù)κd用來控制關(guān)注時間隨排名下降的坡度，在我們是實驗中，我們設(shè)定為0.2。
c.)一旦我們得到了圖像i的關(guān)注時間tatten(i)和偏差

我們可以獲得該圖像的全局關(guān)注時間參數(shù)κoverall是一個用戶變量，用來控制該用戶希望個性化的排名占的比重。最終網(wǎng)頁的排名就是按照全局關(guān)注時間的降序來排列的。我們實現(xiàn)了種自動設(shè)置κoverall值的方法，當訓(xùn)練集中的樣本很少的時候，κoverall值較小，并且當訓(xùn)練集中的樣本變的越來越多的時候，κoverall值越來越大。之所以這樣是因為我們的排序算法從根本上來說是一個學習算法。但是，就像其他學習算法一樣，當訓(xùn)練樣本集還很小的時候，算法會產(chǎn)生比較差的結(jié)果，因此我們需要借鑒傳統(tǒng)引擎的排序結(jié)果。在我們的實驗中，我們一個S形函數(shù)去自動驗證κoverall的值，發(fā)現(xiàn)它是一個常量，通常為0.1。
排序模塊120，排序模塊將結(jié)果按照所有圖像按照全局關(guān)注時間進行倒序排列，并將結(jié)果返回給用戶。
表1～2的實驗結(jié)果清晰的顯示出本方法的優(yōu)越性； 表1是一組以“畢加索”(Picasso)為關(guān)鍵詞的圖像搜索實驗數(shù)據(jù)；用戶想用″Picasso″去查找Picasso的自畫像，在60個圖片中僅有6是符合用戶需求的；表中每一欄表示的是這些符合需求的圖片在圖像搜索引擎Google，以及本方法得出的的排名；Rk1st，Rk2nd，Rk3rd分別表示的是用戶在閱讀過搜索結(jié)果第1，2，3頁之后的排名情況；Rkgoogle表示的是這些圖像在Google圖像搜索的排名情況。最后一行是這些圖像在各個情況下的平均排名；平均排名值越小，用戶所需求的圖像將出現(xiàn)的越早； 表1 表2是另外6組圖像搜索的實驗數(shù)據(jù)；實驗中每個用戶都被要求在60個圖片中尋找他所需要的圖像；第一列為搜索關(guān)鍵詞，第二列為用戶所需要的圖片個數(shù)；RkGoogle表示在網(wǎng)頁圖像搜索引擎Google中用戶所需網(wǎng)頁的平均排名；Rk1st、Rk2nd、Rk3rd分別表示的是用戶在閱讀過搜索結(jié)果第1、2、3頁之后，用戶所需網(wǎng)頁圖像的平均排名； 表2 上述表格表明，本發(fā)明有效地將用戶的喜好結(jié)合在搜索過程中，使得最終的排名結(jié)果更加接近用戶期待的理想排名，從而使得網(wǎng)頁文本與圖像搜索引擎為用戶提供更好的個性化服務(wù)。
以上所述僅為本發(fā)明的基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法的較佳實施例，并非用以限定本發(fā)明的實質(zhì)技術(shù)內(nèi)容的范圍。本發(fā)明的基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法，其實質(zhì)技術(shù)內(nèi)容是廣泛的定義于權(quán)利要求書中，任何他人所完成的技術(shù)實體或方法，若是與權(quán)利要求書中所定義者完全相同，或是同一等效的變更，均將被視為涵蓋于此專利保護范圍之內(nèi)。
權(quán)利要求
1.一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法，其特征在于包括以下步驟
1)利用眼球跟蹤裝置，獲取用戶對網(wǎng)頁圖像關(guān)注時間的樣本信息；
2)對獲取到的用戶關(guān)注時間樣本進行校正；
3)對未知網(wǎng)頁圖像，運用決策樹的方法動態(tài)選擇合適的圖像相似度算法；
4)基于圖像相似度來預(yù)測未知網(wǎng)頁圖像的用戶關(guān)注時間；
5)利用用戶關(guān)注時間結(jié)合傳統(tǒng)搜索技術(shù)生成個性化的網(wǎng)頁圖像搜索結(jié)果。
2.根據(jù)權(quán)利要求1所述的一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法，其特征在于所述的利用眼球跟蹤裝置，獲取用戶對網(wǎng)頁圖像關(guān)注時間的樣本信息步驟
(a)在網(wǎng)頁圖像搜索結(jié)果頁面上，搜索引擎通常會在搜索結(jié)果頁面上為每個網(wǎng)頁圖像提供縮略圖；利用眼球跟蹤裝置，追蹤用戶眼球的移動位置，從而來記錄用戶在某個網(wǎng)頁圖像縮略圖上花的時間；
(b)在被打開的網(wǎng)頁圖像頁面上，記錄用戶眼球裝置在該圖像各子區(qū)域處移動的時間；設(shè)圖像I由互不相交的等尺寸的矩形圖像子區(qū)域R1，R2...Rn構(gòu)成，每當眼球跟蹤裝置當前位置位于坐標(x，y)處時，設(shè)(xi，yi)為子區(qū)域Ri內(nèi)距離(x，y)最近的點，則子區(qū)域Ri的用戶關(guān)注時間
增加
其中參數(shù)σ的值預(yù)設(shè)為1cm；
(c)對于此網(wǎng)頁圖像的關(guān)注時間就是觀看該圖像縮略圖的時間加上觀看該圖像各子區(qū)域處的圖像頁面的時間之和；如果之后用戶的眼球跟蹤裝置又重新在該圖像某子區(qū)域或縮略圖上移動，那么該網(wǎng)頁圖像的用戶關(guān)注時間會相應(yīng)增加。
3.根據(jù)權(quán)利要求1所述的一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法，其特征在于所述的對獲取到的用戶關(guān)注時間樣本進行校正步驟
(d)對獲取到的用戶關(guān)注時間樣本通過校正公式
進行校正，其中
是從步驟(a)～(c)中收集到的用戶關(guān)注時間，tbasic(I)是用戶用來判斷此圖像是否值得一讀的時間，
則是校正后的對該網(wǎng)頁圖像I的用戶關(guān)注時間。
4.根據(jù)權(quán)利要求1所述的一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法，其特征在于所述的對未知網(wǎng)頁圖像，運用決策樹的方法動態(tài)選擇合適的圖像相似度算法步驟
(e)任意挑選5個已有的圖像相似度算法A1，A2，...，A5；并從步驟(a)～(d)收集到的樣本集中任意挑選其中90％的圖像作為訓(xùn)練集，另10％的圖像作為測試集；
(f)對訓(xùn)練集與樣本集中的每個圖像中的每個圖像子區(qū)域R，提取出特征向量F(R)首先使用已有的非負矩陣的因素分解方法對訓(xùn)練集中的圖像子區(qū)域進行聚類，每個圖像子區(qū)域都將獲得幾個分值，每個分值表示的是該圖像子區(qū)域?qū)δ骋痪垲惣系囊栏匠潭?，選擇最高的3個依附分值和相應(yīng)聚類集合編號作為特征向量
F(R)＝(N1(R)，f1(R)，N2(R)，f2(R)，N3(R)，f3(R))
其中N1(R)，N2(R)，N3(R)是有最高依附分值的三個聚類集合編號，f1(R)，f2(R)，f3(R)則是對應(yīng)的依附分值；
(g)對于訓(xùn)練集與測試集中每個圖像子區(qū)域R，分別用每個圖像相似度算法Ai預(yù)測算法預(yù)測它的關(guān)注時間，然后分別和真實關(guān)注時間進行相減，得到誤差error；從A1～A5中找到其中誤差error最小的算法Aopt(R)；
(h)使用一個決策樹來學習每個圖像子區(qū)域R的特征向量F(R)與具有最小誤差error的算法Aopt(R)之間的關(guān)系；即以圖像特征向量、算法編號分別作為決策樹的輸入輸出，并使用訓(xùn)練集中的樣本對決策樹進行訓(xùn)練，當決策樹的輸出在測試集中樣本上的平均誤差最小時，保存此時的決策樹；
(i)用訓(xùn)練好的決策樹為未知網(wǎng)頁圖像Ix中的每個圖像子區(qū)域選擇最合適的圖像相似度算法。
5.根據(jù)權(quán)利要求1所述的一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法，其特征在于所述的基于圖像相似度來預(yù)測未知網(wǎng)頁圖像的用戶關(guān)注時間步驟
(j)用Sim(Ro，R1)來表示圖像子區(qū)域R0和圖像子區(qū)域R1之間的相似度，同時Sim(Ro，R1)∈
，在計算兩個圖像子區(qū)域的相似度之前，將它們的圖像尺寸歸一化為同樣大?。?br> (k)把每個已通過眼球跟蹤獲取到用戶關(guān)注時間的網(wǎng)頁圖像子區(qū)域樣本集表示為{tatt(u，Ri)|i＝1，...n}，其中n是當前用戶閱讀過的圖像子區(qū)域的個數(shù)，閱讀過的圖像子區(qū)域表示為Ri(i＝1，...，n)，當用戶遇到一個新的圖像Ix的時候，設(shè)Ix由矩形圖像子區(qū)域R1(x)，R2(x)...Rm(x)構(gòu)成，對其中每個圖像Rj(x)和樣本集中的所有圖像進行相似度計算，挑選出k個具有最高相似度的圖像，把k設(shè)為min(10，m)，挑選出來的圖像為Ri(i＝1，...，k)，用以下這個公式來預(yù)測Rj(x)的用戶關(guān)注時間，
其中γ用來控制Sim(，)的值占多的比重，ε是一個很小的正整數(shù)用來防止表達式的分母為0，函數(shù)δ(，)用來去除一些相似度非常低的圖像，它被定義為:
(1)計算新圖像Ix的用戶關(guān)注時間，使用如下公式
6.根據(jù)權(quán)利要求1所述的一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法，其特征在于所述的利用用戶關(guān)注時間結(jié)合傳統(tǒng)搜索技術(shù)生成個性化的網(wǎng)頁圖像搜索結(jié)果步驟
(m)當用戶提交一個查詢請求時，服務(wù)端首先將查詢重定向至傳統(tǒng)圖像搜索引擎，并獲得返回的前n個網(wǎng)頁圖像，對于返回的每個頁面，系統(tǒng)將在該用戶的樣本集中查找k個與圖像相似度最高的樣本，并用步驟(j)～(1)中的方法預(yù)測該網(wǎng)頁圖像的關(guān)注時間；
(n)對于傳統(tǒng)的排序，系統(tǒng)會生成一個關(guān)注時間偏差，那就是在傳統(tǒng)排序中，排名越高的圖像，獲得更高的關(guān)注時間偏差，用如下公式定義這個偏差
其中rank(I)表示的圖像I在傳統(tǒng)圖像搜索引擎的排序的排名，參數(shù)κd用來控制關(guān)注時間隨排名下降的坡度；
(o)從圖像I的關(guān)注時間tatt(I)和偏差
獲得圖像I的全局關(guān)注時間參數(shù)κoverall是一個用戶變量，用來控制該用戶希望個性化的排名占的比重；
(p)最終排序?qū)凑湛傟P(guān)注時間的倒序排列，生成搜索結(jié)果。
全文摘要
本發(fā)明公開了一種基于眼球跟蹤的網(wǎng)頁圖像個性化搜索方法。該方法包括以下步驟1)利用眼球跟蹤裝置，獲取用戶對網(wǎng)頁圖像關(guān)注時間的樣本信息；2)對獲取到的用戶關(guān)注時間樣本進行校正；3)對未知網(wǎng)頁圖像，運用決策樹的方法動態(tài)選擇合適的圖像相似度算法；4)基于圖像相似度來預(yù)測未知網(wǎng)頁圖像的用戶關(guān)注時間；5)利用用戶關(guān)注時間結(jié)合傳統(tǒng)搜索技術(shù)生成個性化的網(wǎng)頁圖像搜索結(jié)果。本發(fā)明有效地通過眼球跟蹤裝置獲取到了用戶的個人閱讀興趣，將用戶的喜好結(jié)合在網(wǎng)頁圖像搜索過程中，使得最終的圖像搜索排名結(jié)果更加接近用戶期待的理想排名。
文檔編號G06F17/30GK101382940SQ20081012165
公開日2009年3月11日 申請日期2008年10月23日 優(yōu)先權(quán)日2008年10月23日
發(fā)明者徐頌華, 浩 江, 劉智滿, 潘云鶴 申請人:浙江大學