專利名稱：興趣度估計裝置以及興趣度估計方法
技術領域：
本發(fā)明涉及，估計視聽者(以下，也稱為“用戶”)對被顯示的影像的興趣度的興趣度估計裝置以及興趣度估計方法。
背景技術：
人們迎來了信息爆炸時代，在信息充滿的同時，人們的興趣也多樣化，根據(jù)以往的劃一性的信息提示，越來越難以抓住用戶的心。人們期待像若無其事地使具有潛在的興趣的信息表面化那樣的、個人化的信息提示。例如，若關注作為顯示裝置的電視機，隨著近幾年的電視廣播的數(shù)字化，頻道數(shù)急劇增加。并且，基于互聯(lián)網(wǎng)分發(fā)的網(wǎng)絡內容也急劇增加。其結果為，用戶，能夠從大量的內容中選擇內容。但是，從大量的內容中選擇用戶本身想要視聽的節(jié)目是非常困難的。因此， 與符合用戶的興味以及興趣的節(jié)目推薦系統(tǒng)有關的研究日益盛行。為了提示符合這樣的用戶的興味以及興趣的內容，而需要平時掌握用戶對正在視聽的各個內容具有哪些程度的興趣。也就是說，需要估計用戶對視聽影像的興趣度。對于估計興趣度的以往的方法，周知的是專利文獻I所記載的方法。根據(jù)專利文獻I所記載的方法，通過調查由用戶的內容的視聽狀況以及眼球運動，解析眨眼次數(shù)、反應時間、眼跳的速度及繼續(xù)時間、以及視線的位置上的偏差等。而且，將各個解析結果作為計算要素，計算該視聽者對內容的興趣程度。并且，根據(jù)該計算結果和數(shù)據(jù)存儲裝置所存儲的其他的計算結果，計算視聽者對特定的內容的興趣程度。(現(xiàn)有技術文獻)(專利文獻)專利文獻I :日本特開2006 - 20131號公報然而，專利文獻I所記載的方法中存在的問題是，只是單純地將影像視聽時的眨眼次數(shù)等作為特征量來估計興趣度，因此，根據(jù)影像的結構會有不能高精度地估計視聽者的興趣度的情況。

發(fā)明內容
于是，為了解決所述的以往的問題，本發(fā)明的目的在于高精度地估計視聽者對被顯示在畫面上的影像的興趣度。為了實現(xiàn)所述的目的，本發(fā)明的實施方案之一涉及的興趣度估計裝置，估計用戶對被顯示在畫面上的影像的興趣度，該興趣度估計裝置具備視線檢測部，檢測所述用戶的視線方向；顯著性信息獲得部，獲得與顯著區(qū)域有關的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；以及用戶反應分析部，計算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測出的所述視線方向的相關性，估計所述用戶對所述影像的興趣度，以使得計算出的所述相關性越高興趣度就越高。并且，為了實現(xiàn)所述的目的，本發(fā)明的實施方案之一涉及的興趣度估計方法，估計用戶對被顯示在畫面上的影像的興趣度，該興趣度估計方法包括視線檢測步驟，檢測所述用戶的視線方向；顯著性信息獲得步驟，獲得與顯著區(qū)域有關的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；相關性計算步驟，計算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測出的所述視線方向的相關性；以及興趣度估計步驟，估計所述用戶對所述影像的興趣度，以使得計算出的所述相關性越高興趣度就越高。 根據(jù)本發(fā)明，能夠高精度地估計視聽者對被顯示在畫面上的影像的興趣度。


圖I是示出本發(fā)明的實施例的興趣度估計裝置的功能結構的框圖。圖2是示出本發(fā)明的實施例的興趣度估計裝置的處理工作的流程圖。圖3是本發(fā)明的實施例的顯著構造的概念圖。圖4A是用于說明本發(fā)明的實施例的顯著模式的種類的圖。圖4B是用于說明本發(fā)明的實施例的顯著模式的種類的圖。圖4C是用于說明本發(fā)明的實施例的顯著模式的種類的圖。圖4D是用于說明本發(fā)明的實施例的顯著模式的種類的圖。圖4E是用于說明本發(fā)明的實施例的顯著模式的種類的圖。圖5是示出本發(fā)明的實施例的顯著模式的時間序列的一個例子的圖。圖6A是示出本發(fā)明的實施例的拍攝視線方向檢測處理中獲得的圖像的攝像裝置的設置例的圖。圖6B是示出本發(fā)明的實施例的拍攝視線方向檢測處理中獲得的圖像的攝像裝置的設置例的圖。圖6C是示出本發(fā)明的實施例的拍攝視線方向檢測處理中獲得的圖像的攝像裝置的設置例的圖。圖7是示出本發(fā)明的實施例的視線方向檢測處理的流程的流程圖。圖8是用于說明本發(fā)明的實施例的視線方向檢測處理中檢測臉朝向的處理的圖。圖9是用于說明本發(fā)明的實施例的視線方向基準面的計算的圖。圖10是用于說明本發(fā)明的實施例的黑眼珠中心的檢測的圖。圖11是用于說明本發(fā)明的實施例的黑眼珠中心的檢測的圖。圖12是用于說明本發(fā)明的實施例的視線運動和其構成要素的圖。圖13是用于說明本發(fā)明的實施例的顯著性變動和注視反應的關系的圖。圖14是示出本發(fā)明的實施例的與多個顯著模式各自對應的評價基準的圖。圖15A是用于說明本發(fā)明的實施例的與顯著模式對應的評價基準的圖。圖15B是用于說明本發(fā)明的實施例的與顯著模式對應的評價基準的圖。圖15C是用于說明本發(fā)明的實施例的與顯著模式對應的評價基準的圖。圖15D是用于說明本發(fā)明的實施例的與顯著模式對應的評價基準的圖。圖15E是用于說明本發(fā)明的實施例的與顯著模式對應的評價基準的圖。
具體實施例方式影像制作者，一般而言，意圖著通過影像中的特定的人物以及物體，給視聽者留下
5某種印象。因此，影像制作者，在畫面上要設定想要引起視聽者的注意的區(qū)域。也就是說，影像制作者，以影像中包含誘目性(引起視覺上的注意的容易性)顯著的區(qū)域(以下，稱為“顯著區(qū)域”)的方式，制作影像的情況多。例如，在影像的內容是電視劇的情況下，影像制作者，以主演員的顯示區(qū)域成為顯著區(qū)域的方式制作影像。并且，在影像的內容是廣告的情況下，影像制作者，以作為廣告對象的產(chǎn)品的顯示區(qū)域成為顯著區(qū)域的方式制作影像。據(jù)此，視聽者對影像制作者設定的、想要引起視聽者的注意的區(qū)域加以注意，這意味著，視聽者進行按照影像制作者的意圖的視聽行動。也就是說，若對影像中的顯著區(qū)域加以視覺注意，則可以估計視聽者對該影像的興趣度高。于是，本發(fā)明的實施方案之一涉及的興趣度估計裝置，估計用戶對被顯示在畫面上的影像的興趣度，該興趣度估計裝置具備視線檢測部，檢測所述用戶的視線方向；顯著性信息獲得部，獲得與顯著區(qū)域有關的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；以及用戶反應分析部，計算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測出的所述視線方向的相關性，估計所述用戶對所述影像的興趣度，以使得計算出的所述相關性越高興趣度就越高。根據(jù)該結構，能夠根據(jù)影像內的顯著區(qū)域與用戶的視線方向之間的相關性，估計用戶對影像的興趣度。也就是說，由于能夠考慮影像的特性來估計興趣度，因此，與單純地根據(jù)視線方向來估計興趣度時相比，能夠高精度地估計興趣度。特別是，由于能夠利用針對影像的興趣度高時顯著區(qū)域與視線方向之間的相關性高這樣的情況，因此，能夠更高精度地估計興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，在根據(jù)顯著區(qū)域的數(shù)量以及變動之中至少一方而分類的多個顯著模式的每一個顯著模式中，預先對應有用于評價相關性高的程度的至少一個評價基準，所述用戶反應分析部，按照與根據(jù)所述顯著性信息而確定的顯著模式對應的評價基準來計算所述相關性。根據(jù)該結構，能夠根據(jù)適于顯著模式的評價基準，計算顯著區(qū)域與視線方向之間的相關性。因此，能夠更高精度地估計興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述多個顯著模式包含，示出顯著區(qū)域的位置不變化的狀態(tài)的靜態(tài)模式，在所述靜態(tài)模式中，對應有作為所述至少一個評價基準的、顯著區(qū)域內的眼跳的發(fā)生次數(shù)，所述用戶反應分析部，在根據(jù)所述顯著性信息而確定的顯著模式為靜態(tài)模式的情況下，計算所述相關性，以使得根據(jù)檢測出的所述視線方向而確定的、所述顯著區(qū)域內的眼跳的發(fā)生次數(shù)越多所述相關性就越高。根據(jù)該結構，在顯著模式是靜態(tài)模式的情況下，能夠根據(jù)顯著區(qū)域內的眼跳的發(fā)生次數(shù)，計算相關性。顯著區(qū)域內的眼跳是，用于從顯著區(qū)域獲得信息的視線運動。因此，計算相關性，以使得該顯著區(qū)域內的眼跳的發(fā)生次數(shù)越多相關性就越高，從而能夠更高精度地估計興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述顯著性信息獲得部，根據(jù)賦予給示出所述影像的信號的標簽來獲得所述顯著性信息。根據(jù)該結構，能夠根據(jù)標簽容易獲得顯著性信息。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述顯著性信息獲得部，通過根據(jù)圖像的物理特征來解析所述影像，從而獲得所述顯著性信息。根據(jù)該結構，通過解析影像，從而能夠獲得顯著區(qū)域。因此，即使在輸入顯著性信息不明確的影像的情況下，也能夠獲得該影像的顯著性信息，能夠高精度地估計針對該影像的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述顯著區(qū)域是與 附隨于所述影像的聲音信息有關的對象的區(qū)域。根據(jù)該結構，由于與用戶的興趣度對應的關系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述對象是說話者的臉或嘴。根據(jù)該結構，由于與用戶的興趣度對應的關系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述顯著區(qū)域是顯不與所述聲音信息對應的文本的區(qū)域。根據(jù)該結構，由于與用戶的興趣度對應的關系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述顯著區(qū)域是移動的對象的區(qū)域。根據(jù)該結構，由于與用戶的興趣度對應的關系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述對象是人。根據(jù)該結構，由于與用戶的興趣度對應的關系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述對象是動物。根據(jù)該結構，由于與用戶的興趣度對應的關系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述相關性是時間上的同步度。根據(jù)該結構，由于能夠計算時間上的同步度以作為相關性，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述相關性是空間上的類似度。根據(jù)該結構，由于能夠計算空間上的類似度以作為相關性，因此能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述用戶反應分析部，計算所述顯著區(qū)域的出現(xiàn)定時、與針對所述顯著區(qū)域的視線的眼跳的發(fā)生定時之間的時間差，以作為表示所述相關性低的程度的值，所述用戶反應分析部，估計所述興趣度，以使得所述時間差越小興趣度就越高。根據(jù)該結構，可以計算顯著區(qū)域的出現(xiàn)定時、與針對顯著區(qū)域的眼跳的發(fā)生定時之間的時間差，以作為表示顯著區(qū)域與視線方向的相關性低的程度的值。因此，能夠更適當?shù)赜嬎阆嚓P性，能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述用戶反應分析部，計算所述顯著區(qū)域在所述畫面上移動的速度成為規(guī)定的速度以上的定時、與針對所述顯著區(qū)域的視線的眼跳的發(fā)生定時之間的時間差，以作為表示所述相關性低的程度的值， 估計所述興趣度，以使得所述時間差越小興趣度就越高。根據(jù)該結構，可以計算顯著區(qū)域的移動定時與眼跳的發(fā)生定時之間的時間差，以作為表示顯著區(qū)域與視線方向的相關性低的程度的值。因此，能夠更適當?shù)赜嬎阆嚓P性，能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，所述用戶反應分析部，計算所述顯著區(qū)域的所述畫面上的移動速度、與根據(jù)所述視線方向而確定的所述畫面上的注視位置的移動速度之間的速度差，以作為表示所述相關性低的程度的值，所述用戶反應分析部，估計所述興趣度，以使得所述速度差越小興趣度就越高。根據(jù)該結構，可以計算顯著區(qū)域的移動速度與注視位置的移動速度之間的度差，以作為表示顯著區(qū)域與視線方向的相關性低的程度的值。因此，能夠更適當?shù)赜嬎阆嚓P性，能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，用戶反應分析部，根據(jù)所述影像內的顯著區(qū)域的數(shù)量、各個顯著區(qū)域的面積、以及視線的眼跳的發(fā)生次數(shù)，計算所述相關性。根據(jù)該結構，根據(jù)影像內的顯著區(qū)域的數(shù)量、各個顯著區(qū)域的面積、以及視線的眼跳的發(fā)生次數(shù)，能夠更高精度地估計的興趣度。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計裝置，也可以被構成為集成電路。并且，本發(fā)明的其他的實施方案之一涉及的興趣度估計方法，估計用戶對被顯示在畫面上的影像的興趣度，該興趣度估計方法包括視線檢測步驟，檢測所述用戶的視線方向；顯著性信息獲得步驟，獲得與顯著區(qū)域有關的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；相關性計算步驟，計算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測出的所述視線方向的相關性；以及興趣度估計步驟，估計所述用戶對所述影像的興趣度，以使得計算出的所述相關性越高興趣度就越高。據(jù)此，能夠產(chǎn)生與所述興趣度估計裝置同樣的效果。而且，本發(fā)明，也可以作為使計算機執(zhí)行興趣度估計方法中包含的各個步驟的程序來實現(xiàn)。而且，而且，當然也可以通過⑶-ROM(Compact Disc Read Only Memory)等非暫時的記錄介質或互聯(lián)網(wǎng)等傳輸介質來分發(fā)這樣的程序。以下，參照

本發(fā)明的實施例。而且，以下說明的實施例，都示出本發(fā)明的優(yōu)選的一個具體例。也就是說，以下的實施例所示的數(shù)值、形狀、材料、構成要素、構成要素的配置以及連接形態(tài)、步驟、步驟的順序等，是本發(fā)明的一個例子，而不是限定本發(fā)明的宗旨。本發(fā)明是，根據(jù)權利要求書的記載來確定的。因此，對于以下的實施例的構成要素中的、示出本發(fā)明的最上位概念的獨立請求要求中沒有記載的構成要素，為了實現(xiàn)本發(fā)明的問題而并不一定需要，但是，被說明為構成更優(yōu)選的形態(tài)的構成要素。
(實施例)圖I是示出本發(fā)明的實施例的興趣度估計裝置的功能結構的框圖。興趣度估計裝置100，估計用戶(視聽者)對被顯示在畫面上的影像的興趣度。 如圖I示出，興趣度估計裝置100具備，視線檢測部101、顯著性信息獲得部102、以及用戶反應分析部103。視線檢測部101，檢測用戶的視線方向。也就是說，視線檢測部101，檢測用戶看的方向。在本實施例中，進一步，視線檢測部101，根據(jù)如上檢測出的視線方向，計算作為畫面上的用戶的注視位置的移動軌跡的注視坐標系列。具體而言，視線檢測部101，利用視線方向和用戶的位置，計算從用戶在視線方向上延伸的直線與畫面的交點，以作為注視位置。而且，視線檢測部101，計算示出如此計算出的注視位置的坐標的時間序列，以作為注視坐標系列。也就是說，視線檢測部101，計算視線方向的時間變化。而且，對于用戶的位置，例如，利用由立體相機等拍攝的立體圖像中的用戶像的視差檢測即可。并且，例如，對于用戶位置，也可以利用由設置在畫面前方的地板面上的壓力傳感器檢測出的壓力檢測。顯著性信息獲得部102，獲得關于顯著區(qū)域(Saliency Area)的顯著性信息。例如，顯著性信息獲得部102，通過解析影像，從而獲得顯著性信息。并且，例如，顯著性信息獲得部102也可以，根據(jù)賦予給示出影像的信號的標簽來獲得顯著性信息。標簽是指，賦予給示出影像的信號的信息、或存儲該信息的區(qū)域。該標簽，也有被稱為首部或首部信息的情況。而且，顯著區(qū)域是，影像中的誘目性顯著的區(qū)域。也就是說，顯著區(qū)域是，影像中的容易引起用戶的視覺注意的區(qū)域。顯著性信息，例如，包含示出顯著區(qū)域的位置的信息。并且，顯著性信息，也可以包含與作為顯著區(qū)域的時間變化模式的顯著性變動有關的信息。用戶反應分析部103，計算根據(jù)獲得的顯著性信息而確定的顯著區(qū)域、與檢測出的視線方向之間的相關性。也就是說，用戶反應分析部103，計算表示影像中的顯著區(qū)域與檢測出的視線方向之間的相關性高或低的程度的值。具體而言，用戶反應分析部103，例如，計算顯著區(qū)域與視線方向之間的時間上的同步度，以作為相關性。并且，用戶反應分析部103也可以，例如，計算顯著區(qū)域與視線方向之間的空間上的類似度，以作為相關性。而且，用戶反應分析部103，也可以根據(jù)時間上的同步度和空間上的類似度的雙方來計算相關性。用戶反應分析部103，估計用戶對影像的興趣度，以使得如此計算出的相關性越高興趣度就越高。接著，說明如上構成的興趣度估計裝置100的各種工作。圖2是示出本發(fā)明的實施例的興趣度估計裝置的處理工作的流程圖。首先，顯著性信息獲得部102，獲得包含示出影像中的顯著區(qū)域的位置的信息、和與作為該顯著區(qū)域的時間變化模式的顯著性變動有關的信息的顯著性信息(Sll)。視線檢測部101，檢測用戶的視線方向(S12)，在此，視線檢測部101，根據(jù)檢測出的視線方向計算注視坐標系列。
而且，用戶反應分析部103，計算根據(jù)顯著性信息獲得部102獲得的顯著性信息而確定的顯著區(qū)域、與視線檢測部101檢測出的視線方向之間的相關性(S13)。而且，用戶反應分析部103，計算顯著性變動與視線檢測部101檢測出的視線變化
之間的相關性(S14)。用戶反應分析部103，根據(jù)計算出的相關性，估計針對該影像的興趣度(S15)。具體而言，用戶反應分析部103，估計用戶對影像的興趣度，以使得計算出的相關性越高興趣度就越高。而且，也可以并行進行步驟Sll的處理、和步驟S12及S13的處理。并且，也可以進行步驟Sll的處理、和進行步驟S12及S13的處理的順序相反。也就是說，也可以步驟S12及S13的處理之后進行步驟Sll的處理。并且，也可以不進行步驟S13的處理。如上所述，興趣度估計裝置100，估計用戶對被顯示在畫面上的影像的興趣度。以下，對于所述的興趣度估計裝置100的處理工作，利用附圖進行更詳細說明?！碔，顯著性信息獲得〉首先，詳細說明顯著性信息獲得處理。在此，說明以下的情況，即，顯著性信息獲得部102，通過解析影像，從而獲得顯著性信息。圖3是本發(fā)明的實施例的顯著構造的概念圖。顯著區(qū)域是，影像中包含的各個幀中容易引起視覺注意的區(qū)域(圖3的(a))。在影像中，顯著區(qū)域的顯著度和位置，隨著時間變化而變化。將伴隨這樣的變化的顯著區(qū)域的時空體積，稱為顯著流(Saliency Flow)。而且，將影像中存在的多個顯著流匯集，來稱為影像的顯著構造(Saliency Structure)(圖3的(b))。針對影像中包含的各個幀計算顯著圖(Saliency Map)，從而獲得顯著區(qū)域。顯著圖是，通過非專利文獻“Itti, L. and Koch, C. Computational modeling of visualattention. Nature Reviews Neuroscience, 2(3), pp. 194 — 203. ” 中記載的計算方法能夠獲得的。也就是說，在此，顯著性信息獲得部102，通過根據(jù)圖像的物理特征來解析影像，從而確定顯著區(qū)域。圖像的物理特征是指，例如亮度、顏色或明度等。對于顯著區(qū)域的典型的例子，可以舉出移動的對象的區(qū)域。移動的對象是人即可。移動的對象也可以是動物。并且，對于顯著區(qū)域的其他的例子，也可以舉出與附隨于影像的聲音信息的關聯(lián)性大的對象的區(qū)域。在此，對象是，例如，影像中的說話者的臉或嘴。進而，顯著區(qū)域也可以是，顯示與聲音信息對應的文本的區(qū)域。顯著性信息獲得部102，將這樣的各個幀中包含的顯著區(qū)域，還根據(jù)時間方向的相鄰關系來聚類(clustering)，從而獲得顯著流。顯著流，具有發(fā)生時間變化的顯著區(qū)域的顯著度、重心位置、以及面積，以作為屬性。而且，顯著性信息獲得部102，將顯著流分段化為由“位置發(fā)生時間變化的動態(tài)的狀態(tài)”和“位置不發(fā)生時間變化的靜態(tài)的狀態(tài)"而成的狀態(tài)系列。顯著構造，具有多個顯著流。顯著構造，根據(jù)顯著區(qū)域的數(shù)量以及變動的至少一方，可以分類為多個顯著模式(Saliency Pattern)。圖4A至圖4E是用于說明本發(fā)明的實施例的顯著模式的種類的圖。圖4A至圖4E的各個圖表示出，顯著區(qū)域的位置的時間變化。在各個圖表中，縱軸示出畫面上的位置，橫軸示出時間。在此，多個顯著模式中包含，單數(shù)靜態(tài)模式(ss single 一 static)(圖4A)、單數(shù)動態(tài)模式(sd :single — dynamic)(圖 4B)、復數(shù)靜態(tài)模式(ms multi 一 static)(圖 4C)、復數(shù)靜止動態(tài)模式(msd multi 一 static / dynamic)(圖4D)、以及復數(shù)動態(tài)模式(md multi — dynamic)(圖4E)的五種顯著模式。對于顯著構造，分段化為由這樣的顯著模式而成的系列。而且，在multi —static / dynamic中，多個流中的幾個成為dynamic的狀態(tài),其余的流成為static的狀態(tài)。圖5是示出本發(fā)明的實施例的顯著模式的時間序列的一個例子的圖。具體而言，圖5的(a)是示出，顯著區(qū)域的位置的時間轉移的圖表。在此，為了便于說明，以一維來表示顯著區(qū)域的位置。圖5的(b)是示出，各個顯著流的狀態(tài)的時間轉移的圖表。各個直方圖示出，一個顯著流的狀態(tài)。具體而言，直方圖的白色部分示出，顯著流為靜態(tài)狀態(tài)(static)。并且，直方圖的陰影部分示出，顯著流為動態(tài)狀態(tài)(dynamic)。圖5的(C)是示出，顯著模式的時間轉移的圖表。在此示出，首先，顯著模式是復數(shù)靜態(tài)模式(ms)，其次，轉移到復數(shù)動態(tài)模式(md)。如上所述，顯著性信息獲得部102，通過解析影像，從而確定顯著區(qū)域。因此，即使在輸入顯著性信息不明確的影像的情況下，也能夠獲得該影像的顯著性信息，能夠高精度地估計針對該影像的興趣度。而且，顯著性信息獲得部102，根據(jù)確定的顯著區(qū)域的數(shù)量以及變動，決定顯著模式。示出如此確定的顯著區(qū)域的位置的信息以及示出顯著模式的信息相當于顯著性信息。而且，顯著性信息獲得部102，并不一定需要解析影像。例如，顯著性信息獲得部102，也可以根據(jù)賦予給示出影像的信號的標簽來獲得顯著性信息。據(jù)此，顯著性信息獲得部102，能夠容易獲得顯著性信息。而且，在此情況下，標簽中需要包含，例如預先解析影像而獲得的關于顯著區(qū)域的信息。并且，標簽中也可以包含，影像制作者預先輸入的關于顯著區(qū)域的信息。〈2，視線方向的檢測〉接著，詳細說明檢測視線方向的視線方向檢測處理(S12)。在本實施例中，視線方向是，根據(jù)用戶的臉的方向(以下，記載為“臉朝向”)、與針對用戶的臉朝向的眼睛中的黑眼珠部分的方向(以下，記載為“黑眼珠方向”)的組合來計算的。于是，視線檢測部101，首先，估計人物的三維的臉朝向。接著，視線檢測部101，進行黑眼珠方向的估計。最后，視線檢測部101，合并臉朝向以及黑眼珠方向的兩個來計算視線方向。而且，視線檢測部101，并不一定需要根據(jù)臉朝向與黑眼珠方向的組合來計算視線方向。例如，視線檢測部101也可以，根據(jù)眼球中心與按照虹彩(黑眼珠)中心來計算視線方向。也就是說，視線檢測部101也可以，計算連接眼球中心的三維位置和虹彩(黑眼珠)中心的三維位置的三維矢量，以作為視線方向。圖6A至圖6C各自是示出本發(fā)明的實施例的拍攝視線方向檢測處理中獲得的圖像的攝像裝置(相機)的設置例的圖。如圖6A至圖6C示出，攝像裝置，被設置在畫面的近旁，以能夠拍攝位于顯示裝置具備的畫面的前方的用戶。圖7是示出本發(fā)明的實施例的視線方向檢測處理的流程的流程圖。首先，視線檢測部101，獲得攝像裝置拍攝在畫面的前方存在的用戶的圖像(S501)。接著，視線檢測部101，根據(jù)獲得的圖像，進行臉區(qū)域的檢測(S502)。接著，視線檢測部101，針對檢測出的臉區(qū)域，符合與各個基準臉朝向對應的臉部件特征點的區(qū)域，剪出各個臉部件特征點的區(qū)域圖像(S503)。而且，視線檢測部101，計算剪出的區(qū)域圖像、與預先保持的模板圖像的相關度(S504)。接著，視線檢測部101，針對各個基準臉朝向示出的角度，按照計算出的相關度的比例進行加權并相加，來求出加權和，將其作為與臉區(qū)域對應的用戶的臉朝向來檢測(S505)。圖8是用于說明本發(fā)明的實施例的視線方向檢測處理中檢測臉朝向的處理的圖。視線檢測部101，如圖8的(a)示出，從存儲有與各個基準臉朝向對應的臉部件特征點的區(qū)域的臉部件區(qū)域數(shù)據(jù)庫(DB)中，讀出臉部件特征點的區(qū)域。接著，視線檢測部101，如圖8的(b)示出，針對拍攝的圖像的臉區(qū)域，按每個基準臉朝向符合臉部件特征點的區(qū)域，按每個基準臉朝向剪出臉部件特征點的區(qū)域圖像。而且，視線檢測部101，如圖8的(C)示出，按每個基準臉朝向，計算剪出的區(qū)域圖像、與由臉部件區(qū)域模板DB保持的模板圖像之間的相關度。并且，視線檢測部101，按照如此計算出的相關度示出的相關程度高的程度，計算每個基準臉朝向的權重。例如，視線檢測部101，計算各個基準臉朝向的相關度對基準臉朝向的相關度的總和的比例，以作為權重。接著，視線檢測部101，如圖8的(d)示出，計算基準臉朝向示出的角度乘以計算出的權重后的值的總和，將計算結果作為用戶的臉朝向來檢測。在圖8的(d)的例子中，針對基準臉朝向+ 20度的權重為“O. 85”，針對正面朝向的權重為“O. 14”，針對一 20度的權重為“O. 01”，因此，視線檢測部101，檢測臉朝向為16.8度(=20X0. 85 + 0X0. 14 +(- 20) X0. 01)。而且，在圖8中，視線檢測部101，將臉部件特征點的區(qū)域圖像作為對象來計算相關度，但是，不僅限于此。例如，視線檢測部101也可以，將臉區(qū)域整體的圖像作為對象來計
算相關度。并且，檢測臉朝向的其他的方法有，從臉圖像中檢測眼睛、鼻子、嘴等的臉部件特征點，根據(jù)臉部件特征點的位置關系計算臉朝向的方法。對于根據(jù)臉部件特征點的位置關系計算臉朝向的方法，有以下的方法，S卩，以與由一個相機獲得的臉部件特征點最一致的方式，將預先準備的臉部件特征點的三維模型旋轉、放大縮小來匹配，根據(jù)獲得的三維模型的旋轉量計算臉朝向。并且，對于根據(jù)臉部件特征點的位置關系計算臉朝向的其他的方法，有以下的方法，即，根據(jù)由兩臺相機拍攝的圖像，利用立體視的原理，根據(jù)左右的相機的臉部件特征點位置的圖像上的偏離，計算各個臉部件特征點的三維位置，根據(jù)獲得的臉部件特征點的位置關系來計算臉朝向。具體而言，例如，有將由雙眼以及嘴的三維坐標點展開的平面的法線方向作為臉朝向來檢測的方法等。返回圖7的流程圖的說明。視線檢測部101，利用由攝像裝置拍攝的立體圖像，檢測用戶的左右的眼角的三維位置，利用檢測出左右的眼角的三維位置，計算視線方向基準面(S506)。接著，視線檢測部101，利用由攝像裝置拍攝的立體圖像，檢測用戶的左右的黑眼珠中心的三維位置(S507)。而且，視線檢測部101，利用視線方向基準面和左右的黑眼珠中心的三維位置，檢測黑眼珠方向(S508)。而且，視線檢測部101，利用檢測出的用戶的臉朝向和黑眼珠方向，檢測用戶的視線方向(S509)。接著，利用圖9至圖11，詳細說明檢測黑眼珠方向的方法。在本實施例中，視線檢測部101，首先，計算視線方向基準面。接著，視線檢測部101，檢測黑眼珠中心的三維位置。而且，最后，視線檢測部101，檢測黑眼珠方向。首先，說明視線方向基準面的計算。圖9是用于說明本發(fā)明的實施例的視線方向基準面的計算的圖。視線方向基準面是指，檢測黑眼珠方向時成為基準的面，如圖9示出，與臉的左右對稱面相同。而且，眼角的位置，與眼梢、口角、或眉等的其他的臉部件相比，因表情而引起的變動少，并且，誤檢測少。于是，視線檢測部101，利用眼角的三維位置，計算作為臉的左右對稱面的視線方向基準面。具體而言，視線檢測部101，在由作為攝像裝置的立體相機拍攝的兩張圖像(立體圖像)的每一個中，利用臉檢測模塊和臉部件檢測模塊，檢測左右的眼角區(qū)域。而且，視線檢測部101，利用檢測出的眼角區(qū)域的圖像間的位置的偏離(視差)，測量左右的眼角各自的三維位置。進而，視線檢測部101，如圖9示出，計算以檢測出的左右的眼角的三維位置為端點的線段的垂直二等分面，以作為視線方向基準面。接著，說明黑眼珠中心的檢測。圖10以及圖11是用于說明本發(fā)明的實施例的黑眼珠中心的檢測的圖。來自對象物的光，通過瞳孔到達視網(wǎng)膜，變換為電信號，該電信號傳達到腦，據(jù)此，人視覺識別對象物。因此，若利用瞳孔的位置，能夠檢測視線方向。但是，由于日本人的虹彩是黑或茶色，因此，通過圖像處理難以判別瞳孔和虹彩。于是，在本實施例中，由于瞳孔的中心與黑眼珠(包含瞳孔以及虹彩的雙方)的中心大致一致，因此，視線檢測部101，在檢測黑眼珠方向時，進行黑眼珠中心的檢測。視線檢測部101，首先，從拍攝的圖像中檢測眼梢和眼角的位置。而且，視線檢測部101，從圖10那樣的包含眼梢和眼角的區(qū)域中，將亮度小的區(qū)域，作為黑眼珠區(qū)域來檢測。具體而言，視線檢測部101，例如，將亮度為規(guī)定閾值以下的區(qū)域、且比規(guī)定的大小大的區(qū)域，作為黑眼珠區(qū)域來檢測。接著，視線檢測部101，將圖11那樣的由第一區(qū)域和第二區(qū)域構成的黑眼珠檢測濾波片，設定在黑眼珠區(qū)域的任意的位置。而且，視線檢測部101，搜索第一區(qū)域內的像素的亮度與第二區(qū)域內的像素的亮度的區(qū)域間分散最大的黑眼珠檢測濾波片的位置，將搜索結果示出的位置作為黑眼珠中心來檢測。最后，視線檢測部101，與所述同樣，利用立體圖像的黑眼珠中心的位置的偏離，檢測黑眼珠中心的三維位置。進而，說明黑眼珠方向的檢測。視線檢測部101，利用計算出的視線方向基準面、和檢測出的黑眼珠中心的三維位置，檢測黑眼珠方向。對于成人的眼球直徑，周知的是，幾乎沒有個人差，例如，在日本人的情況下，為24mm左右。因此，若得知朝向成為基準的方向(例如正面)時的黑眼珠中心的CN 102934458 A說明書11/17 頁
位置，通過求出從那位置到當前的黑眼珠中心的位置的變位，從而能夠計算并變換為黑眼珠方向。利用在用戶朝向正面時，左右的黑眼珠中心的中點位于臉的中心、即視線方向基準面上這樣的情況,視線檢測部101，計算左右的黑眼珠中心的中點與視線方向基準面之間的距離，從而檢測黑眼珠方向。具體而言，視線檢測部101，利用眼球半徑R和連接左右的黑眼珠中心的線段的中點與視線方向基準面之間的距離山如式(I)示出，將對臉朝向的左右方向的旋轉角Θ作為黑眼珠方向來檢測。數(shù)式I
^ = Sin * —■·■ Cl'如上所述，視線檢測部101，利用視線方向基準面和黑眼珠中心的三維位置，檢測黑眼珠方向。而且，視線檢測部101，利用檢測出的臉朝向和黑眼珠方向，檢測實際空間的用戶的視線方向。而且,視線方向的檢測方法有,角膜反射法、EOG(Electrooculography :眼動電圖描記)法、探測線圈法以及鞏膜反射法等的多種多樣的方法。因此，視線檢測部101，并不一定需要根據(jù)所述的方法檢測視線方向。例如，視線檢測部101也可以，利用角膜反射法來檢測視線方向。角膜反射法是指，根據(jù)點光源照明照射到角膜時明亮地出現(xiàn)的角膜反射像(普爾欽(Purkinje)像)的位置，測量眼球運動的方法。由于眼球旋轉中心與角膜的凸面的中心不一致，因此，在將角膜設為凸面鏡，光源的反射點由凸透鏡等聚光的情況下，該聚光點，隨著眼球的旋轉而移動。該點由攝像裝置拍攝，從而測量眼球運動?！?，視線運動的檢測和分類>接著，說明根據(jù)如上檢測出的視線數(shù)據(jù)(注視坐標系列)檢測視線運動，進行分類的方法。而且，可以將對影像的“興趣”定義為，對影像“加以注意"的意思。注意被定義為處理資源。針對某任務請求的處理資源量，按照該難易度而不同?？梢詫ⅰ凹右宰⒁?，表現(xiàn)為對任務的處理資源的分配。也就是說，可以將對影像“加以注意"的現(xiàn)象，考慮為對影像視聽任務的處理資源的分配。該情況，被周知為卡尼曼(Kahneman)的“注意的容量模型"。并且，若利用處理資源這概念來說明興趣度這參數(shù)，興趣度是指對影像視聽任務分配的處理資源的多寡。另一方面，可以將人進行的信息處理，分類為有意識的控制處理和無意識的自動處理?？刂铺幚硎?，人有意識地進行的處理，在驅動時需要處理資源。將影像視聽任務中作為控制處理進行的視線運動，稱為內源性視線運動。并且，將作為自動處理進行的視線運動，稱為外源性視線運動。在此，將興趣度給視線運動帶來的影響模型化為如下。首先，根據(jù)用戶的意圖等的心理原因以及疲勞等的生理原因，按照用戶的興趣度的處理資源被分配到影像視聽任務。按照該處理資源來驅動控制處理，發(fā)生內源性視線運動。另一方面，根據(jù)影像(顯著流)具有的視覺刺激，發(fā)生作為自動處理的外源性視線運動。
14但是，在已經(jīng)發(fā)生內源性視線運動的情況下，該外源性視線運動會被抑制。如此發(fā)生的視線運動，被物理觀測為實際的顯示裝置上的注視坐標系列。用戶反應分析部103，作為該“處理資源消耗一視線運動驅動”的逆問題，根據(jù)物理觀測出的視線運動，估算分配到影像視聽任務的處理資源量，估計針對影像的興趣度。圖12是用于說明本發(fā)明的實施例的視線運動和其構成要素的圖。在影像視聽中，人反復進行對象具有的視覺信息的獲得和對象的切換?？紤]對象(顯著流)具有的狀態(tài)以及引起視線運動的原因，在此，對于影像視聽時的視線運動，分類為以下的四種視線運動。第一種視線運動是,從動作的對象的信息獲得運動(PA Pursuing Acquisition)。第二種視線運動是，從靜止對象的信息獲得運動(FA :FixationAcquisition)。第三種視線運動是，有意圖的對象切換運動(NC :eNdogenous Change)。第四種視線運動是,夕卜源性的對象切換運動(XC eXogenous Change)。一般而言，人通過某點的注視以及注視點的移動的組合來實現(xiàn)信息的獲得。也就是說，影像視聽時的視線運動，在內部具有動態(tài)變化，如圖12示出，由單純的視線運動(構成要素)的組合而構成。在此，將以下的四個單純的視線運動作為構成要素，表現(xiàn)影像視聽時的視線運動。第一個構成要素是，滑動性眼球運動(P =Pursuit)?；瑒有匝矍蜻\動是指，眼球，跟隨動作中的對象的動作而慢慢地變動的運動。第二個構成要素是，固視運動(F :Fixation)。固視運動是指，由于一直看靜止對象，因此眼球不動的情況。第三個構成要素是，內源性眼跳(NS :eNdogenous Saccade)。眼跳是指,為了將分辯率低的周邊視網(wǎng)膜中映出的對象，在分辯率高的視網(wǎng)膜中心窩捕捉而進行的快速的眼球運動。而且，內源性眼跳是，眼跳之中的有意識的眼跳。第四個構成要素是，外源性眼跳(XS exogenous Saccade) 0外源性眼跳是，眼跳之中的無意識的眼跳。在此，視線檢測部101，從注視坐標系列中檢測所述的視線運動，以作為興趣度估計的前階段。也就是說，視線檢測部101，將注視坐標系列分段化為單獨的視線運動會發(fā)生的時區(qū)間。具體而言，視線檢測部101，根據(jù)注視對象的流，將注視坐標系列分段化，根據(jù)對應的流的狀態(tài)是static以及dynamic的哪一方,來更加分段化。而且，視線檢測部101,為了將示出高的相關性的顯著流群作為單一的對象來處理，合并相關性高的兩個流間的注視移動發(fā)生了的時區(qū)間?！?，顯著性變動和注視反應的相關性分析(興趣度估計)>接著，詳細說明基于顯著性變動和注視反應的相關性分析的興趣度估計。圖13是用于說明本發(fā)明的實施例的顯著性變動和注視反應的關系的圖。具體而言，圖13的(a)示出，興趣度高時的各個幀的時間上的偏離、以及興趣度低時的各個幀的時間上的偏離。并且，圖13的(b)示出，興趣度高時的各個幀的空間上的偏離、以及興趣度低時的各個幀的空間上的偏離。在針對影像的興趣度高的情況下，在該幀中顯著性變動和可期待為與其對應而產(chǎn)生的視線運動的時間上的偏離以及空間上的偏離變小。另一方面，在針對影像的興趣度低的情況下，在該幀中顯著性變動和注視反應的時間上的偏離以及空間上的偏離變大。也就是說，這樣的時間上的偏離以及空間上的偏離示出，顯著區(qū)域與視線方向之間的相關性低的程度。于是，在本實施例中，用戶反應分析部103，計算表示這樣的時間上的偏離以及空間上的偏離的至少一方的值，以作為表示顯著區(qū)域與視線方向之間的相關性低的程度的值。該時間上的偏離的一個例子有，顯著區(qū)域的出現(xiàn)定時、與對該顯著區(qū)域的視線的眼跳的發(fā)生定時之間的時間差。并且，時間上的偏離的其他的一個例子有，顯著區(qū)域在畫面上移動的速度成為規(guī)定的速度以上的定時、與對該顯著區(qū)域的視線的眼跳的發(fā)生定時之間的時間差。并且，時間上的偏離以及空間上的偏離的一個例子有，顯著區(qū)域的畫面上的移動速度、與根據(jù)視線方向而確定的畫面上的注視位置的移動速度之間的速度差。而且，例如，根據(jù)示出視線方向的變化度的值是否超過閾值，能夠判定視線運動是否為眼跳。具體而言，注視位置移動的速度成為規(guī)定的速度以上的定時，被檢測為眼跳的發(fā)生定時即可。關注這樣的特性，如下估計針對影像的興趣度。圖14是示出本發(fā)明的實施例的與多個顯著模式各自對應的評價基準的圖。如圖14示出，在多個顯著模式的每一個顯著模式中，預先對應有用于評價相關性高的程度的至少一個評價基準。示出這樣的顯著模式和評價基準的對應關系的信息，例如，由未圖示的存儲部(存儲器)保持即可。在此情況下，存儲部，例如，在興趣度估計裝置100中具備。并且，存儲部也可以，在與興趣度估計裝置100連接的外部設備中具備。用戶反應分析部103，通過參照圖14所示的信息，按照與根據(jù)獲得的顯著性信息而確定的顯著模式對應的評價基準，計算相關性。以下，具體說明評價基準。圖15A至圖15E是用于說明本發(fā)明的實施例的與顯著模式對應的評價基準的圖。如圖14以及圖15A示出，在用戶對影像的興趣度高的情況下，在single — static中，可期待觀測到FA，以作為視線運動。并且，如圖14以及圖15B示出，在用戶對影像的興趣度高的情況下，在single — dynamic中，可期待觀測到PA,以作為視線運動。并且,如圖14以及圖15C示出，在用戶對影像的興趣度高的情況下,在multi — static中，可期待觀測到FA以及NS，以作為視線運動。并且，如圖14以及圖MD示出，在用戶對影像的興趣度高的情況下，在multi — static / dynamic中，可期待觀測到FA、PA以及NS,以作為視線運動。并且，如圖14以及圖15E示出，在用戶對影像的興趣度高的情況下,在multi — dynamic中，可期待觀測到PA以及NS，以作為視線運動。于是，如圖14示出，single — static，與作為評價基準的眼跳數(shù)、眼跳的行程長度、對象流面積對應。在此，眼跳數(shù)是，顯著模式為single — static時檢測的眼跳的發(fā)生次數(shù)。眼跳是，例如，通過對示出視線方向的變化率的值與閾值進行比較，從而檢測的。具體而言，例如，檢測注視位置在畫面上的顯著區(qū)域內移動的速度成為規(guī)定速度以上的次數(shù)，以作為眼跳數(shù)。并且，眼跳的行程長度是，示出基于眼跳的視線方向的變化量的值。具體而言，眼跳的行程長度，例如，相當于基于眼跳的畫面上的注視位置的移動量。對象流面積，相當于顯著區(qū)域的面積。在構成顯著流的顯著區(qū)域的面積變化的情況下，對于對象流面積，例如，利用顯著區(qū)域的面積的平均值。并且，對象流面積，也可以是顯著區(qū)域的面積的中央值、最大值、或最小值等。single 一 dynamic,與作為評價基準的對象流以及視線運動的速度差、和對象的運動速度對應。對象流以及視線運動的速度差，相當于顯著區(qū)域的移動速度與注視位置的移動速度之間的速度差。在此，移動速度意味著，移動矢量的大小以及方向。并且，對象的運動速度，相當于顯著區(qū)域的移動速度。multi — static,與作為評價基準的single — static所對應的評價基準、以及NS的發(fā)生頻度對應。NS的發(fā)生頻度，相當于多個顯著區(qū)域間的眼跳的發(fā)生次數(shù)。也就是說，NS的發(fā)生頻度，相當于使注視位置從某一個顯著區(qū)域向另一個顯著區(qū)域移動的眼跳的發(fā)生次數(shù)。multi 一 static / dynamic,與作為評價基準的single — static所對應的評價基準、single - dynamic所對應的評價基準、NS的發(fā)生頻度、以及PA及FA的比率對應。multi 一 dynamic,與作為評價基準的single — dynamic所對應的評價基準、以及NS的發(fā)生頻度對應。而且，用戶反應分析部103，根據(jù)與顯著模式對應的這樣的評價基準，計算評價值(矢量)E。該評價值E是，相當于顯著區(qū)域與視線方向之間的相關性的、定量示出相關性高的程度的值。在FA中，對于用戶哪些程度積極掃描對象的指標，對I)在對象的內部多少發(fā)生了的眼跳、2)發(fā)生了哪些程度的大小的眼跳進行評價。也就是說，在顯著模式為，靜態(tài)模式(single — static、multi 一 static、或multi — static / dynamic)的情況下,用戶反應分析部103,計算相關性，以使得顯著區(qū)域內的眼跳的發(fā)生次數(shù)越多相關性就越高。據(jù)此，用戶反應分析部103，在顯著模式是靜態(tài)模式的情況下，能夠根據(jù)顯著區(qū)域內的眼跳的發(fā)生次數(shù)，計算相關性。顯著區(qū)域內的眼跳是，用于從顯著區(qū)域獲得信息的視線運動。因此，用戶反應分析部103，計算顯著區(qū)域與視線方向之間的相關性，以使得該顯著區(qū)域內的眼跳的發(fā)生次數(shù)越多相關性就越高，從而能夠更高精度地估計興趣度。進而，在顯著模式為靜態(tài)模式的情況下，用戶反應分析部103，計算顯著區(qū)域與視線方向之間的相關性，以使得顯著區(qū)域內的由眼跳的視線方向的變化量(眼跳的行程長度)越大相關性就越高。在此情況下，優(yōu)選的是，用戶反應分析部103，利用顯著區(qū)域的大小(例如面積等)，將視線方向的變化量歸一化。據(jù)此，為了從顯著區(qū)域內的寬區(qū)域獲得信息而進行視線運動時計算的相關性變高。因此，興趣度估計裝置100，能夠更高精度地估計興趣度。在PA中，對于用戶能夠與對象哪些程度同步并跟隨的指標，對3)對象流與視線運動之間的速度差進行評價。也就是說，在顯著模式為動態(tài)模式(single — dynamic>multi 一dynamic、或multi — static / dynamic)的情況下,用戶反應分析部103,計算相關性，以使得顯著區(qū)域的畫面上的移動速度與根據(jù)視線方向而確定的畫面上的注視位置的移動速度之間的速度差越小相關性就越高。在此情況下，優(yōu)選的是，用戶反應分析部103，利用顯著區(qū)域的移動速度，將速度差歸一化。
據(jù)此，為了跟隨顯著區(qū)域的變動從顯著區(qū)域獲得信息而進行視線運動時計算的相關性變高。因此，興趣度估計裝置100，能夠更高精度地估計興趣度。針對多個流存在的顯著模式，NS的發(fā)生頻度加到評價基準中。也就是說，在顯著模式為復數(shù)模式(multi — static、multi — dynamic、或 multi — static / dynamic)的情況下，用戶反應分析部103，計算相關性，以使注視位置從某一個顯著區(qū)域向其他的一個顯著區(qū)域移動的眼跳的發(fā)生次數(shù)越多相關性就越高。在此情況下，優(yōu)選的是，用戶反應分析部103，利用顯著區(qū)域的數(shù)量，將眼跳的發(fā)生次數(shù)歸一化。據(jù)此，為了從更多的顯著區(qū)域獲得信息而進行視線運動時計算的相關性變高。因此，興趣度估計裝置100，能夠更高精度地估計興趣度。針對各個顯著模式的評價值E的、高興趣度時(H)的分布和低興趣度時(L)的分布是，預先學習的。利用該學習結果，用戶反應分析部103，能夠計算新獲得了的評價值E*之后成為高興趣度時以及低興趣度時的概率，以作為事后概率P (H IE*)以及P (L| E*)。用戶反應分析部103，對如此計算出的事后概率P (H IE*)以及P(L|E*)進行比較，從而估計針對影像的興趣度。如上所述，根據(jù)本實施例涉及的興趣度估計裝置，從影像獲得與容易引起用戶的視覺注意的顯著區(qū)域、以及作為其時間變化模式的顯著性變動有關的信息，根據(jù)顯著性變動與注視反應的相關性，估計針對影像的興趣度，據(jù)此，在畫面上顯示影像時，能夠更高精度地估計針對該影像的興趣度。也就是說，根據(jù)本實施例涉及的興趣度估計裝置，能夠根據(jù)影像內的顯著區(qū)域與用戶的視線方向之間的相關性，估計用戶對影像的興趣度。也就是說，由于能夠考慮影像的特性來估計興趣度，因此，與單純地根據(jù)視線方向來估計興趣度時相比，能夠高精度地估計興趣度。特別是，由于能夠利用針對影像的興趣度高時顯著區(qū)域與視線方向之間的相關性高這樣的情況，因此，能夠更高精度地估計興趣度。并且，根據(jù)本實施例涉及的興趣度估計裝置，不測量用戶的皮膚電位等，也能夠估計用戶對影像的興趣度。因此，能夠容易估計興趣度，并且，也能夠抑制用戶的負擔增大。并且，根據(jù)本實施例涉及的興趣度估計裝置，能夠根據(jù)適于顯著模式的評價基準，計算顯著區(qū)域與視線方向之間的相關性。因此，能夠更高精度地估計興趣度。而且，在所述實施例中，將針對影像的“興趣"定義為，對影像“加以注意"的意思，但是，能夠將在本發(fā)明中的“興趣"置換為“集中"這術語。也就是說，本發(fā)明，也可以說是估計用戶對影像的集中度的發(fā)明。 并且，在所述實施例中，興趣度估計裝置100，估計興趣度，但是，能夠將“估計"這術語置換為“計算"。也就是說，也可以將估計興趣度的興趣度估計裝置置換為，計算興趣度的興趣度計算裝置。而且，由所述興趣度估計裝置100估計的興趣度是，例如，為了適當?shù)仫@示要提示給用戶的信息而利用的。例如，在興趣度低的情況下，顯示裝置，將要提示給用戶的信息顯示在畫面的中央部。據(jù)此，顯示裝置能夠抑制用戶看漏被顯示的信息。另一方面，在興趣度高的情況下，顯示裝置，將要提示給用戶的信息顯示在畫面的端部，或不顯示。據(jù)此，顯示裝置能夠抑制給用戶帶來不舒服。并且，也可以根據(jù)由所述興趣度估計裝置100估計的興趣度對顯示裝置的亮度進行調整。例如，也可以將顯示裝置的亮度顯示，以使興趣度低時的亮度，比興趣度高時的亮度低。在此情況下，能夠減少顯示裝置的耗電量，能夠貢獻于節(jié)能化。以上，根據(jù)實施例以及其變形例說明了本發(fā)明的實施方案之一涉及的興趣度估計 裝置，但是，本發(fā)明不僅限于此實施例以及其變形例。只要不脫離本發(fā)明的宗旨，對本實施例或其變形例施行本領域的技術人員想到的各種變形的形態(tài)、或組合不同的實施例或其變形例中的構成要素而構成的形態(tài)，也包含在本發(fā)明的范圍內。例如，在所述實施例中，用戶反應分析部103，利用顯著模式計算顯著區(qū)域與視線方向之間的相關性，但是，并不一定需要利用顯著模式。例如，用戶反應分析部103也可以，與顯著模式無關，而根據(jù)顯著區(qū)域內的眼跳的發(fā)生次數(shù)，計算顯著區(qū)域與視線方向之間的相關性。即使在此情況下，興趣度估計裝置100，也能夠考慮影像的特性來估計興趣度，因此，與單純地根據(jù)視線方向來估計興趣度時相比，能夠高精度地估計興趣度。并且，在所述實施例中，多個顯著模式，根據(jù)顯著區(qū)域的數(shù)量以及變動的雙方而被分類，但是，也可以僅根據(jù)顯著區(qū)域的數(shù)量以及變動的一方而被分類。也就是說，多個顯著模式，根據(jù)顯著區(qū)域的數(shù)量以及變動之中的至少一方而被分類即可。進而，對于本發(fā)明，也可以如下進行變形。(I)所述的興趣度估計裝置是，具體而言，由微處理器、ROM (Read Only Memory) >RAM(Randam Access Memory)、硬盤單元、顯示器單元、鍵盤、鼠標等構成的計算機系統(tǒng)。所述ROM或所述硬盤單元，存儲有計算機程序。所述微處理器根據(jù)由所述RAM展開的所述計算機程序進行工作，據(jù)此，興趣度估計裝置實現(xiàn)其功能。在此，計算機程序是，為了實現(xiàn)規(guī)定的功能，示出對計算機的指令的命令碼組合多個而構成的。而且，興趣度估計裝置，不僅限于包含微處理器、ROM、RAM、硬盤單元、顯示器單元、鍵盤、鼠標等全部的計算機系統(tǒng)，也可以是由它們的一部分構成的計算機系統(tǒng)。(2)構成所述的興趣度估計裝置的構成要素的一部分或全部也可以，由一個系統(tǒng)LSI (Large Scale Integration :大規(guī)模集成電路)構成。系統(tǒng)LSI是,在一個芯片上集成多個構成部而制造的超多功能LSI，具體而言，是包含微處理器、ROM、RAM等而構成的計算機系統(tǒng)。所述ROM存儲有計算機程序。所述微處理器根據(jù)由所述RAM展開的所述計算機程序進行工作，據(jù)此，系統(tǒng)LSI實現(xiàn)其功能。而且，在此，被稱為系統(tǒng)LSI，但是，根據(jù)集成度不同，會有被稱為1C、LSI、超LSI、特大LSI的情況。并且，對于集成電路化的方法，不僅限于LSI，也可以以專用電路或通用處理器來實現(xiàn)。也可以利用在制造LSI后能夠編程的FPGA(Field Programmable GateArray 現(xiàn)場可編程門陣列)、以及可重構LSI內部的電路單元的連接以及設定的可重構處理器。進而，當然，若因半導體技術的進步或導出的其它的技術而出現(xiàn)代替LSI的集成電路化的技術，則可以利用其技術對功能框進行集成化。存在生物技術的應用等的可能性。(3)構成所述的興趣度估計裝置的構成要素的一部分或全部也可以，由與興趣度估計裝置可裝卸的IC卡或單體的模塊構成。所述IC卡或所述模塊是，由微處理器、ROM、RAM等構成的計算機系統(tǒng)。所述IC卡或所述模塊也可以，包含所述的超多功能LSI。微處理器根據(jù)計算機程序進行工作，據(jù)此，所述IC卡或所述模塊實現(xiàn)其功能。該IC卡或該模塊也可以，具有防篡改性。
(4)本發(fā)明，也可以是將所示的興趣度估計裝置具備的特征結構部的工作作為步驟的方法。并且，可以是由計算機實現(xiàn)這樣的方法的計算機程序，也可以是由所述計算機程序而成的數(shù)字信號。并且，本發(fā)明也可以，將所述計算機程序或所述數(shù)字信號記錄到計算機可讀取的非暫時的記錄介質，例如，軟盤、硬盤、CD — ROM、MO、DVD、DVD — ROM,DVD 一 RAM,BD(Blu 一ray Disc (注冊商標))、半導體存儲器等。并且，也可以是這樣的記錄介質所記錄的所述計算機程序或所述數(shù)字信號。并且，本發(fā)明也可以，將所述計算機程序或所述數(shù)字信號，經(jīng)由電通信線路、無線或有線通信線路、以互聯(lián)網(wǎng)為代表的網(wǎng)絡、數(shù)據(jù)廣播等傳輸。并且，本發(fā)明也可以是，具備微處理器和存儲器的計算機系統(tǒng)，所述存儲器存儲有所述計算機程序，所述微處理器根據(jù)所述計算機程序進行工作。并且，也可以是，將所述程序或所述數(shù)字信號記錄到所述記錄介質來轉送，或者，將所述程序或所述數(shù)字信號經(jīng)由所述網(wǎng)絡等轉送，從而由獨立的其他的計算機系統(tǒng)實施。(5)也可以將所述實施例以及所述變形例分別組合。本發(fā)明，有用于估計用戶對被顯示的影像的興趣度的興趣度估計裝置，例如，能夠適用于用戶接口裝置或者影像顯示裝置。符號說明100興趣度估計裝置101視線檢測部102顯著性信息獲得部103用戶反應分析部
權利要求
1.一種興趣度估計裝置，估計用戶對被顯示在畫面上的影像的興趣度，該興趣度估計裝置具備視線檢測部，檢測所述用戶的視線方向；顯著性信息獲得部，獲得與顯著區(qū)域有關的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；以及用戶反應分析部，計算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測出的所述視線方向的相關性，估計所述用戶對所述影像的興趣度，以使得計算出的所述相關性越高興趣度就越高。
2.如權利要求I所述的興趣度估計裝置，在根據(jù)顯著區(qū)域的數(shù)量以及變動之中至少一方而分類的多個顯著模式的每一個顯著模式中，預先對應有用于評價相關性高的程度的至少一個評價基準，所述用戶反應分析部，按照與根據(jù)所述顯著性信息而確定的顯著模式對應的評價基準來計算所述相關性。
3.如權利要求2所述的興趣度估計裝置，所述多個顯著模式包含，示出顯著區(qū)域的位置不變化的狀態(tài)的靜態(tài)模式，在所述靜態(tài)模式中，對應有作為所述至少一個評價基準的、顯著區(qū)域內的眼跳的發(fā)生次數(shù)，所述用戶反應分析部，在根據(jù)所述顯著性信息而確定的顯著模式為靜態(tài)模式的情況下，計算所述相關性，以使得根據(jù)檢測出的所述視線方向而確定的、所述顯著區(qū)域內的眼跳的發(fā)生次數(shù)越多所述相關性就越高。
4.如權利要求I至3的任一項所述的興趣度估計裝置，所述顯著性信息獲得部，根據(jù)賦予給示出所述影像的信號的標簽來獲得所述顯著性信肩、O
5.如權利要求I至3的任一項所述的興趣度估計裝置，所述顯著性信息獲得部，通過根據(jù)圖像的物理特征來解析所述影像，從而獲得所述顯著性信息。
6.如權利要求I至5的任一項所述的興趣度估計裝置，所述顯著區(qū)域是與附隨于所述影像的聲音信息有關的對象的區(qū)域。
7.如權利要求6所述的興趣度估計裝置，所述對象是說話者的臉或嘴。
8.如權利要求6所述的興趣度估計裝置，所述顯著區(qū)域是顯示與所述聲音信息對應的文本的區(qū)域。
9.如權利要求I至8的任一項所述的興趣度估計裝置，所述顯著區(qū)域是移動的對象的區(qū)域。
10.如權利要求9所述的興趣度估計裝置，所述對象是人。
11.如權利要求9所述的興趣度估計裝置，所述對象是動物。
12.如權利要求I至11的任一項所述的興趣度估計裝置，所述相關性是時間上的同步度。
13.如權利要求I至12的任一項所述的興趣度估計裝置，所述相關性是空間上的類似度。
14.如權利要求I至13的任一項所述的興趣度估計裝置，所述用戶反應分析部，計算所述顯著區(qū)域的出現(xiàn)定時、與針對所述顯著區(qū)域的視線的眼跳的發(fā)生定時之間的時間差，以作為表示所述相關性低的程度的值，所述用戶反應分析部，估計所述興趣度，以使得所述時間差越小興趣度就越高。
15.如權利要求I至14的任一項所述的興趣度估計裝置，所述用戶反應分析部，計算所述顯著區(qū)域在所述畫面上移動的速度成為規(guī)定的速度以上的定時、與針對所述顯著區(qū)域的視線的眼跳的發(fā)生定時之間的時間差，以作為表示所述相關性低的程度的值，估計所述興趣度，以使得所述時間差越小興趣度就越高。
16.如權利要求I至15的任一項所述的興趣度估計裝置，所述用戶反應分析部，計算所述顯著區(qū)域的所述畫面上的移動速度、與根據(jù)所述視線方向而確定的所述畫面上的注視位置的移動速度之間的速度差，以作為表示所述相關性低的程度的值，所述用戶反應分析部，估計所述興趣度，以使得所述速度差越小興趣度就越高。
17.如權利要求I至16的任一項所述的興趣度估計裝置，所述用戶反應分析部，根據(jù)所述影像內的顯著區(qū)域的數(shù)量、各個顯著區(qū)域的面積、以及視線的眼跳的發(fā)生次數(shù)，計算所述相關性。
18.如權利要求I至17的任一項所述的興趣度估計裝置，所述興趣度估計裝置被構成為集成電路。
19.一種興趣度估計方法，估計用戶對被顯示在畫面上的影像的興趣度，該興趣度估計方法包括視線檢測步驟，檢測所述用戶的視線方向；顯著性信息獲得步驟，獲得與顯著區(qū)域有關的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；相關性計算步驟，計算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測出的所述視線方向的相關性；以及興趣度估計步驟，估計所述用戶對所述影像的興趣度，以使得計算出的所述相關性越高興趣度就越高。
20.一種程序，用于使計算機執(zhí)行權利要求19所述的興趣度估計方法。
全文摘要
估計用戶對被顯示在畫面上的影像的興趣度的興趣度估計裝置(100)具備視線檢測部(101)，檢測用戶的視線方向；顯著性信息獲得部(102)，獲得與顯著區(qū)域有關的顯著性信息，該顯著區(qū)域是影像中的誘目性顯著的區(qū)域；以及用戶反應分析部(103)，計算根據(jù)獲得的顯著性信息而確定的顯著區(qū)域與檢測出的視線方向的相關性，估計用戶對影像的興趣度，以使得計算出的相關性越高興趣度就越高。
文檔編號H04N21/466GK102934458SQ20128000153
公開日2013年2月13日 申請日期2012年1月26日 優(yōu)先權日2011年2月4日
發(fā)明者坂田幸太郎, 前田茂則, 米谷龍, 川島宏彰, 平山高嗣, 松山隆司 申請人:松下電器產(chǎn)業(yè)株式會社