專(zhuān)利名稱:媒介瀏覽者健康保護(hù)的方法和裝置的制作方法
技術(shù)領(lǐng)域:
本項(xiàng)發(fā)明涉及向信息媒介的瀏覽者提供健康保護(hù),其中的信息媒介的實(shí)施方式有 書(shū),電視、電腦和游戲機(jī)屏幕。更特別的是,它涉及媒介瀏覽者瀏覽行為的評(píng)估和恰當(dāng)?shù)拿?介瀏覽政策的實(shí)施。
背景技術(shù):
直到近些年,紙一直是最常用的信息媒介。教科書(shū)、故事書(shū)、作業(yè)本和報(bào)紙是其中 最見(jiàn)的例子。眾所周知,不當(dāng)?shù)拈喿x、書(shū)寫(xiě)條件和習(xí)慣會(huì)造成嚴(yán)重的身體問(wèn)題。這在兒童中 尤其如此。比如,眼睛與紙距離過(guò)近、看書(shū)和寫(xiě)字時(shí)間過(guò)長(zhǎng)以及室內(nèi)照明不足都會(huì)造成近 視。不正確的閱讀和寫(xiě)字姿勢(shì)可以造成脊柱后凸,表現(xiàn)為駝背,以及脊柱側(cè)彎,表現(xiàn)為脊椎 向一側(cè)彎曲甚至扭曲。近些年來(lái),信息媒介迅速發(fā)展。常見(jiàn)的現(xiàn)代媒介的實(shí)施方式有電視屏幕,個(gè)人計(jì)算 機(jī)顯示屏,游戲機(jī)屏幕和其它可攜式設(shè)備?,F(xiàn)代媒介的使用越來(lái)越成為日常生活的一部分。 跟紙上的閱讀和書(shū)寫(xiě)類(lèi)似,研究表明在現(xiàn)代媒介上不當(dāng)?shù)拈喿x習(xí)慣和閱讀條件同樣能造成 嚴(yán)重的身體問(wèn)題。最常見(jiàn)的有近視,肥胖,頸部和背部畸形和疼痛以及整體上疲勞。在校的孩子常常有繁重的閱讀和寫(xiě)作任務(wù)。過(guò)去,影響他們身體健康的有不當(dāng)?shù)?閱讀和書(shū)寫(xiě)習(xí)慣。今天,隨著電視節(jié)目,網(wǎng)上內(nèi)容和視頻游戲的大量涌現(xiàn),不當(dāng)?shù)拿浇槭褂?習(xí)慣使他們更有可能產(chǎn)生身體健康方面的問(wèn)題?,F(xiàn)代媒介也已經(jīng)觸及學(xué)齡前兒童。有大量的電視節(jié)目和游戲產(chǎn)品定位于這些孩 子。他們的自我控制意識(shí)最少,但又最有適應(yīng)能力。他們認(rèn)為他們看到的和怎樣看都是正 常的。另外,他們的視覺(jué)和身體正經(jīng)歷著重要的發(fā)育階段。沒(méi)有正確的媒介使用引導(dǎo),他們 可能很快出現(xiàn)象近視和背部畸形這樣的健康問(wèn)題。在成年人群中,越來(lái)越多的人在工作和家里使用電腦。研究也表明成年媒介使用 者也有養(yǎng)成不良的媒介瀏覽習(xí)慣的傾向。眼睛和媒介距離過(guò)近,不良的頭和肩膀的姿態(tài)和 長(zhǎng)時(shí)間的閱讀是其中常見(jiàn)的問(wèn)題。這些問(wèn)題會(huì)逐漸引起眼睛酸痛,頸部和背部疼痛,和身體疲勞。顯然,有良好的媒介使用習(xí)慣對(duì)所有年齡段的人們都重要。隨著媒介使用人口的 不斷增加,提供一種輔助手段來(lái)幫助人們建立和保持良好的媒介使用習(xí)慣比以往更加緊 迫。一種理想的輔助手段應(yīng)方便,有效和廉價(jià)。它應(yīng)能自動(dòng)地跟蹤一個(gè)或多個(gè)人的各 自看媒介的時(shí)間,距離和姿勢(shì)。另外,若有必要,應(yīng)能記錄每個(gè)人的瀏覽歷史,根據(jù)不同年齡 組實(shí)施相應(yīng)的政策。提供這類(lèi)相關(guān)的輔助手段的現(xiàn)有技術(shù)大致可以分成三類(lèi),分別面向三類(lèi)常見(jiàn)的媒 介,即紙,電視和電腦屏幕。對(duì)傳統(tǒng)的紙媒介,現(xiàn)有的技術(shù)著重幫助保持正確的坐姿和必要的眼睛和紙的距 離。其中有代表性的有美國(guó)專(zhuān)利5,168,264和6,325,508。這些方法要求瀏覽者佩戴一定的設(shè)備或用一個(gè)物理屏障將身體和紙隔開(kāi)。這些技術(shù)缺少方便性,因而沒(méi)有被廣泛采納。對(duì)于電視節(jié)目的瀏覽,現(xiàn)有的方法著重限制個(gè)人能看的節(jié)目的類(lèi)型。比如,美國(guó) 1996年通過(guò)的一個(gè)法案,這里稱之為V-芯片法案。根據(jù)這一法案,聯(lián)邦電信交通委員會(huì) (FCC)要求所有2001年1月以后制造的13英寸或更大的電視機(jī)必須有V-芯片功能。這一 功能讓家長(zhǎng)通過(guò)電視機(jī)內(nèi)的V-芯片的編程阻斷他們不想讓孩子看的節(jié)目。近來(lái),有些方法致力于限制每個(gè)用戶可以在一個(gè)特定的時(shí)段打開(kāi)一臺(tái)電視的時(shí) 間。相關(guān)的實(shí)施方式有美國(guó)專(zhuān)利7,098,772和7,362,213。方法是在電視機(jī)和電源間加一 個(gè)開(kāi)關(guān)。若一個(gè)用戶還有規(guī)定的瀏覽時(shí)間剩余,開(kāi)關(guān)可以打開(kāi)。附近的一臺(tái)電腦上有瀏覽 者的帳戶并用一個(gè)無(wú)線信號(hào)控制那個(gè)開(kāi)關(guān)。這些方法也可以用來(lái)控制其他設(shè)備如游戲機(jī)的 使用時(shí)間。雖然上述方法的目的是控制瀏覽者的瀏覽時(shí)間,但是因?yàn)樗鼈儗?duì)瀏覽者的跟蹤不 一定準(zhǔn)確而不能總是有效。比如,如果是瀏覽者B打開(kāi)電視的開(kāi)關(guān),那么另一瀏覽者A同樣 可以看電視而其可看電視的時(shí)間不損失。這里,瀏覽者A的瀏覽時(shí)間被低估了??梢?jiàn),家里 的瀏覽者越多,這些方法有效性越低。一個(gè)更加嚴(yán)重的問(wèn)題是,這些方法可以高估瀏覽者的實(shí)際瀏覽時(shí)間。在電視的實(shí) 施方式中,盡管瀏覽者臨時(shí)走開(kāi)一會(huì),只要電視是打開(kāi)的,它們就會(huì)把每一分秒都算成瀏覽 時(shí)間。為了防止其瀏覽時(shí)間被多算,瀏覽者會(huì)有意地減少定期的休息次數(shù)而長(zhǎng)時(shí)間連續(xù)觀 看電視。長(zhǎng)此以往,就會(huì)危害瀏覽者的健康。在瀏覽電腦屏幕瀏覽方面,現(xiàn)有的方法用軟件手段限制每個(gè)用戶的瀏覽時(shí)間。與 限制看電視的時(shí)間類(lèi)似,這些方法在計(jì)算實(shí)際看電腦屏幕時(shí)間上可能不精確。因此,它們也 有上述因低估和高估瀏覽時(shí)間帶來(lái)的類(lèi)似問(wèn)題??偨Y(jié)起來(lái),現(xiàn)有的方法在幫助媒介瀏覽者保持良好的瀏覽習(xí)慣方面存在重要缺 陷。在對(duì)于紙媒介上的閱讀和書(shū)寫(xiě),現(xiàn)有的方法在幫助保持正確的姿態(tài)方面給瀏覽者帶去 不便。在對(duì)于現(xiàn)代的媒介如電視,電腦和游戲機(jī)上的瀏覽方面,現(xiàn)有的方法在控制瀏覽時(shí)間 方面的有效性有待提高。特別是,它們沒(méi)有把許多跟健康有關(guān)的重要的瀏覽行為諸如保持 正確的姿態(tài),眼睛和媒介的距離和定期的休息很好的考慮在內(nèi)。本項(xiàng)發(fā)明克服了現(xiàn)有方法的缺陷。它提供一個(gè)方便而有效的方案去幫助廣大瀏覽 者保持健康的瀏覽行為。
發(fā)明內(nèi)容
本項(xiàng)發(fā)明提供一個(gè)評(píng)估媒介瀏覽者瀏覽行為的方法和裝置。通過(guò)對(duì)媒介的瀏覽空 間進(jìn)行圖像拍攝和分析,采用機(jī)器視覺(jué)技術(shù)檢測(cè)媒介瀏覽者并評(píng)估其瀏覽行為。根據(jù)對(duì)媒 介瀏覽者行為的評(píng)估結(jié)果,實(shí)施相應(yīng)的控制措施進(jìn)而向其提供健康保護(hù)功能。根據(jù)本項(xiàng)發(fā)明的其中一個(gè)實(shí)施方式,一個(gè)媒介瀏覽者行為評(píng)估系統(tǒng)用來(lái)分析瀏覽 行為,其中的瀏覽行為包含瀏覽的時(shí)間長(zhǎng)度,眼睛與媒介的距離,身體姿態(tài)和室內(nèi)照明之中 的一個(gè)或幾個(gè)。根據(jù)本項(xiàng)發(fā)明的另外一個(gè)實(shí)施方式,一個(gè)媒介瀏覽者健康保護(hù)系統(tǒng)根據(jù)瀏 覽者瀏覽行為的評(píng)估結(jié)果執(zhí)行一些瀏覽政策,其中的每個(gè)政策包含一個(gè)瀏覽規(guī)則和一個(gè)相 應(yīng)的控制動(dòng)作。瀏覽規(guī)則與一定的具體健康瀏覽行為有關(guān)。比如,某一個(gè)距離規(guī)則要求瀏覽 者與電視機(jī)屏幕保持至少四倍于電視機(jī)屏幕對(duì)角寬度的距離。瀏覽政策可以是懲罰性的,當(dāng)瀏覽者違反相應(yīng)的規(guī)則時(shí),系統(tǒng)就執(zhí)行相應(yīng)的控制動(dòng)作。類(lèi)似地,瀏覽政策可以是鼓勵(lì)性 的,當(dāng)瀏覽者遵守相應(yīng)的規(guī)則時(shí),系統(tǒng)就執(zhí)行相應(yīng)的控制動(dòng)作。根據(jù)本項(xiàng)發(fā)明的其中一個(gè)實(shí)施方式,一個(gè)媒介瀏覽者行為評(píng)估系統(tǒng)用來(lái)分析瀏覽 者在多個(gè)媒介上的瀏覽行為。根據(jù)本項(xiàng)發(fā)明的另外一個(gè)實(shí)施方式,一個(gè)媒介瀏覽者健康保 護(hù)系統(tǒng)根據(jù)瀏覽者在多個(gè)媒介上的瀏覽行為的評(píng)估結(jié)果執(zhí)行一些瀏覽政策。對(duì)本項(xiàng)發(fā)明的更完整的理解,及其優(yōu)點(diǎn)可以參照以下的詳細(xì)說(shuō)明和圖示。
圖1描述媒介瀏覽者行為評(píng)估系統(tǒng)的一個(gè)實(shí)施方式。圖2是一個(gè)流程圖,用來(lái)說(shuō)明媒介瀏覽者行為評(píng)估系統(tǒng)中行為跟蹤過(guò)程的一個(gè)實(shí) 施方式。圖3是一個(gè)流程圖,用來(lái)說(shuō)明媒介瀏覽者行為評(píng)估系統(tǒng)中行為分析過(guò)程的一個(gè)實(shí) 施方式。圖4是一個(gè)流程圖,用來(lái)說(shuō)明媒介瀏覽者檢測(cè)過(guò)程的一個(gè)實(shí)施方式。圖5是一個(gè)流程圖,用來(lái)說(shuō)明媒介瀏覽者驗(yàn)證過(guò)程的一個(gè)實(shí)施方式。圖6是一個(gè)流程圖,用來(lái)說(shuō)明對(duì)人的視線范圍的分析過(guò)程的一個(gè)實(shí)施方式。圖7是一個(gè)流程圖,用來(lái)說(shuō)明除視線范圍外其它一些瀏覽行為分析過(guò)程的一個(gè)實(shí) 施方式。圖8是一個(gè)流程圖,用來(lái)說(shuō)明瀏覽者辨認(rèn)過(guò)程的一個(gè)實(shí)施方式。圖9是一個(gè)流程圖,用來(lái)說(shuō)明帶有年齡估計(jì)的瀏覽者辨認(rèn)過(guò)程的一個(gè)實(shí)施方式。圖10是一個(gè)流程圖,用來(lái)說(shuō)明媒介狀態(tài)和瀏覽者行為跟蹤過(guò)程的一個(gè)實(shí)施方式。圖11是一個(gè)流程圖,用來(lái)說(shuō)明媒介瀏覽者健康保護(hù)系統(tǒng)的一個(gè)實(shí)施方式。圖12A描述一些典型的瀏覽行為規(guī)則的一個(gè)實(shí)施方式。圖12B描述更多的瀏覽行為規(guī)則的一個(gè)實(shí)施方式。圖13描述一些典型的懲罰性的瀏覽行為政策的一個(gè)實(shí)施方式。圖14描述一些典型的獎(jiǎng)勵(lì)性的瀏覽行為政策的一個(gè)實(shí)施方式。圖15是一個(gè)流程圖,用來(lái)說(shuō)明瀏覽政策實(shí)施過(guò)程的一個(gè)實(shí)施方式。圖16是一個(gè)流程圖,用來(lái)說(shuō)明針對(duì)某一個(gè)瀏覽者的瀏覽政策實(shí)施過(guò)程的一個(gè)實(shí) 施方式。圖17是一個(gè)流程圖,用來(lái)說(shuō)明執(zhí)行某一瀏覽政策過(guò)程的一個(gè)實(shí)施方式。圖18描述可監(jiān)控多個(gè)媒介的媒介瀏覽者健康保護(hù)系統(tǒng)的一個(gè)實(shí)施方式。
具體實(shí)施例方式分成兩部分說(shuō)明。第一部分著重描述媒介瀏覽者瀏覽行為自動(dòng)評(píng)估的典型實(shí)例。 第二部分著重描述向媒介瀏覽者自動(dòng)提供健康保護(hù)功能的典型實(shí)施。第二部分中的實(shí)例應(yīng) 用了第一部分中說(shuō)明的自動(dòng)瀏覽行為評(píng)估原理。作為實(shí)施方式之一,圖1描述了一個(gè)典型的媒介142的瀏覽者瀏覽行為自動(dòng)評(píng)估 系統(tǒng)100。以下,只要上下文意義明確,上述瀏覽者瀏覽行為自動(dòng)評(píng)估系統(tǒng)100,以下簡(jiǎn)稱 為瀏覽者行為評(píng)估系統(tǒng)100,系統(tǒng)100或系統(tǒng)。這個(gè)系統(tǒng)包括一個(gè)或多個(gè)照相機(jī)130-1至130-K用來(lái)對(duì)媒介142的瀏覽空間140進(jìn)行圖象拍攝。以下,這些照相機(jī)又統(tǒng)稱為圖像拍攝 設(shè)備130。系統(tǒng)根據(jù)拍攝到的圖像評(píng)估媒介瀏覽者的瀏覽行為。這個(gè)典型的媒介瀏覽者的行為評(píng)估系統(tǒng)100包括一個(gè)瀏覽行為跟蹤過(guò)程400。作 為過(guò)程400的一個(gè)功能,系統(tǒng)100采用機(jī)器視覺(jué)(MV)檢測(cè)媒介142的瀏覽者。這些媒介瀏 覽者處在瀏覽空間140中,被標(biāo)成144-1至144-M。而那些不在瀏覽媒介142的人被標(biāo)成 146-1至146-N,他們可能與媒介瀏覽者同時(shí)存在。瀏覽者的個(gè)數(shù)M和非瀏覽者的個(gè)數(shù)N可 能隨時(shí)間的變化而變化。特別地,在任一時(shí)刻,那里可能沒(méi)有一個(gè)瀏覽者或沒(méi)有一個(gè)非瀏覽 者。這里提到的瀏覽者和非瀏覽者的檢測(cè)中所用的視覺(jué)技術(shù)將在下面結(jié)合圖5和圖6進(jìn)行 描述。作為過(guò)程400的另一功能,系統(tǒng)100識(shí)別每一個(gè)檢測(cè)到的瀏覽者并將結(jié)果保存在 瀏覽者識(shí)別數(shù)據(jù)庫(kù)200中。瀏覽者識(shí)別數(shù)據(jù)庫(kù)200又稱為瀏覽者身份數(shù)據(jù)庫(kù)。瀏覽者身份 數(shù)據(jù)庫(kù)的運(yùn)作可能隨媒介和瀏覽者類(lèi)型的不同而有所不同,將在下面結(jié)合圖8和圖9進(jìn)行 描述。作為過(guò)程400的又一功能,系統(tǒng)100對(duì)識(shí)別到的每一個(gè)瀏覽者進(jìn)行瀏覽行為評(píng)估, 并將結(jié)果保存在瀏覽者行為數(shù)據(jù)庫(kù)300中。瀏覽行為的評(píng)估將在下面結(jié)合圖5,圖6和圖7 進(jìn)行描述。媒介瀏覽者健康保護(hù)系統(tǒng)100可以實(shí)施在任意形式的計(jì)算設(shè)備中,比如個(gè)人電腦 和嵌入式系統(tǒng),其中包含處理器110比如通用處理器或圖形處理器,和存儲(chǔ)器120比如隨機(jī) 存取記憶器(RAM)和只可讀記憶器(ROM)。或者,系統(tǒng)可以實(shí)施在一個(gè)或多個(gè)專(zhuān)用集成電路 (ASIC)中。下面將對(duì)系統(tǒng)的不同實(shí)施方式中的可選的架構(gòu)和功能給出進(jìn)一步說(shuō)明,其中根據(jù) 使用者的意愿,可以實(shí)施或不實(shí)施前述的框架。必須明確強(qiáng)調(diào)的是,下面給出的信息完全 是以說(shuō)明本項(xiàng)發(fā)明的原理為目的具體實(shí)施方式
,而不可理解成任何形式的對(duì)本項(xiàng)發(fā)明的限 制。以下的任何功能可以單獨(dú)或跟任何其它描述的功能一起實(shí)施。圖2是一個(gè)描述典型的瀏覽者行為跟蹤過(guò)程400的流程圖。這個(gè)過(guò)程的目的是檢 測(cè)處在媒介瀏覽空間140中的瀏覽者并確定他們的行為。這個(gè)過(guò)程是循環(huán)的。在每一個(gè)循 環(huán)周期402,它調(diào)用瀏覽者行為分析過(guò)程500。圖3是一個(gè)描述典型的瀏覽者行為分析過(guò)程500的流程圖。這個(gè)分析過(guò)程可以被 上述瀏覽者行為跟蹤過(guò)程400重復(fù)調(diào)用。該過(guò)程首先在步驟502中從圖像拍攝設(shè)備140得 到圖像。步驟504調(diào)用一個(gè)典型的瀏覽者檢測(cè)過(guò)程600,在所得到的圖像中檢測(cè)瀏覽者。這 里所說(shuō)的典型的瀏覽者檢測(cè)過(guò)程600由圖8描述。在過(guò)程600中,某些瀏覽行為如瀏覽者 的視線范圍、眼睛和媒介的距離也得以確定。如果沒(méi)有檢測(cè)到任何瀏覽者,該過(guò)程在瀏覽者 數(shù)據(jù)庫(kù)300中記錄此刻沒(méi)有瀏覽者,并返回調(diào)用過(guò)程,如步驟508所示。如果檢測(cè)到至少一 個(gè)瀏覽者,該過(guò)程在步驟510中進(jìn)一步分析每一個(gè)檢測(cè)到的瀏覽者的行為,而后返回調(diào)用 過(guò)程。瀏覽者的進(jìn)一步的行為分析實(shí)施方式將在圖7中描述。圖4是一個(gè)描述一個(gè)典型的瀏覽者檢測(cè)過(guò)程600的流程圖。這個(gè)過(guò)程可分成兩個(gè) 主要階段。第一階段包括步驟602和604。在步驟602中,該過(guò)程收到一組瀏覽空間的圖 像。在一個(gè)實(shí)施方式中,這些圖像可能由圖像拍攝設(shè)備130在步驟502中獲得。在步驟604, 該過(guò)程在步驟602中得到的圖像中檢測(cè)是否有人。若沒(méi)有檢測(cè)到人,過(guò)程在步驟610返回。否則,過(guò)程執(zhí)行第二階段以確定每一個(gè)檢測(cè)到的人是否是媒介瀏覽者。這個(gè)確定由步驟608 調(diào)用瀏覽者驗(yàn)證過(guò)程700實(shí)現(xiàn)。如果驗(yàn)證通過(guò),過(guò)程700賦給對(duì)應(yīng)的瀏覽者一個(gè)唯一的身 份號(hào),而后在步驟610返回調(diào)用過(guò)程,通知調(diào)用過(guò)程所檢測(cè)到的瀏覽者和它們的身份號(hào)。瀏 覽者驗(yàn)證過(guò)程700將在后面結(jié)合圖5,圖6,圖8和圖9說(shuō)明。在瀏覽者檢測(cè)過(guò)程600的步驟604中,機(jī)器視覺(jué)技術(shù)用來(lái)分析圖像以檢測(cè)是否有 人。在關(guān)于檢測(cè)圖像中的物體的問(wèn)題上有大量的文獻(xiàn)。關(guān)于如何選擇合適的視覺(jué)技術(shù)用來(lái) 檢測(cè)人的存在,可以參考Mohan等的文章[1],Viola等的文章[2],Ronfard等的文章[3] 和Mikolajczyk等的文章[4],以上均列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。圖5是描述一個(gè)媒介瀏覽者驗(yàn)證過(guò)程700的典型實(shí)施的流程圖。這個(gè)過(guò)程可以被 瀏覽者檢測(cè)過(guò)程600的步驟608調(diào)用以檢測(cè)圖像中是否有人。如圖5所示,媒介瀏覽者驗(yàn)證 過(guò)程700先在步驟702中收到人的圖像片段,然后執(zhí)行步驟704和708。在步驟704中,它 先調(diào)用另一過(guò)程800估計(jì)人的視線范圍。過(guò)程800在圖6中描述。根據(jù)估計(jì)的視線范圍, 步驟706檢查這個(gè)人是否在瀏覽媒介。若不是,過(guò)程確定這個(gè)人不是媒體瀏覽者,相應(yīng)的在 步驟714返回。但是,如果這個(gè)人被確定是在瀏覽媒介,過(guò)程將調(diào)用另一過(guò)程1000確定瀏 覽者的身份號(hào),這將結(jié)合圖8進(jìn)一步描述。之后,步驟704中估計(jì)的有關(guān)瀏覽行為數(shù)據(jù)包括 眼睛和媒體的距離,頭的姿態(tài),視線范圍被保存到瀏覽者行為數(shù)據(jù)庫(kù)300中,計(jì)錄在相應(yīng)的 在步驟708所確定的瀏覽者身份號(hào)和當(dāng)前時(shí)間下。過(guò)程700在步驟712中返回瀏覽者的身 份號(hào)。圖6是一個(gè)描述用機(jī)器視覺(jué)技術(shù)對(duì)圖像中檢測(cè)到的人進(jìn)行視線范圍分析的典型 過(guò)程800。該過(guò)程可以被過(guò)程700調(diào)用,以確定一個(gè)人是否在瀏覽媒介。在步驟802中收到 一個(gè)人的圖像片段后,該過(guò)程先在步驟804中確定圖像片段中人臉的位置,然后在步驟806 中估計(jì)頭的姿態(tài),在步驟808中檢測(cè)眼睛,然后再在步驟810中估計(jì)眼睛和媒介的距離。根 據(jù)估計(jì)得到的頭的姿態(tài)和眼睛與媒介的距離,步驟812估計(jì)人的視線方向,在步驟814,根 據(jù)估計(jì)的視線方向和眼睛與媒介的距離,來(lái)估計(jì)人的視線范圍,最后在步驟816將上述估 計(jì)結(jié)果返回給調(diào)用過(guò)程。再次強(qiáng)調(diào),圖6中所描述的過(guò)程完全是以說(shuō)明本項(xiàng)發(fā)明的原理為 目的一個(gè)具體實(shí)施方式
,而不可理解成任何形式的對(duì)本項(xiàng)發(fā)明的限制。比如,在看電視的時(shí) 候,眼睛和媒介的距離,用頭和媒介的距離就可以來(lái)充分估計(jì),那么,就沒(méi)有必要來(lái)估計(jì)眼 睛和媒介的距離了。步驟804中檢測(cè)人臉的操作,期間用機(jī)器視覺(jué)技術(shù)對(duì)步驟802中收到的圖形片段 進(jìn)行分析。有關(guān)人臉檢測(cè)的問(wèn)題有大量的文獻(xiàn)。有關(guān)合適的人臉檢測(cè)技術(shù)的討論,可以參見(jiàn) Yang 等[5],Sung 等[6],Keren 等[7],Viola 等[8],Osadchy 等[9],和 Hiesele 等[10], 以上均列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。如前所述,在步驟804中在每一個(gè)圖形片段中檢測(cè)人臉后,過(guò)程800接著分析檢 測(cè)到的包含人臉的圖像區(qū)域,這些分析包括步驟806中的頭的姿態(tài)的估計(jì),步驟808中眼 睛的檢測(cè)和步驟810中眼睛和媒介距離的估計(jì)。根據(jù)這些分析結(jié)果,步驟802估計(jì)檢測(cè)到 的人的視線方向。有關(guān)頭的姿態(tài)的分析有大量的使用機(jī)器視覺(jué)技術(shù)的文獻(xiàn),以確定人頭部 左右,上下轉(zhuǎn)動(dòng)和搖擺的角度。比如,有關(guān)合適的人頭部姿態(tài)的估計(jì)技術(shù)的討論,可參見(jiàn) Murphy-Chutorian 等[ll],Kruger 等[12],Huang 等[13],Matsumoto 等[14],Sherrah 等 [15],Moon等[16],以上均列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。
步驟808用機(jī)器視覺(jué)技術(shù)在步驟804檢測(cè)到人臉的圖像區(qū)域中檢測(cè)眼睛。在圖像 中檢測(cè)眼睛也有大量的文獻(xiàn),有關(guān)合適的人的眼睛的檢測(cè)技術(shù)的討論,可參見(jiàn)Lam等[17], Huang等[18],Sirohey等[19]和Peng等[20],以上均列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。步驟810根據(jù)步驟808檢測(cè)到眼睛的圖像區(qū)域,估計(jì)眼睛和媒介的距離。根據(jù)本 項(xiàng)發(fā)明的一個(gè)實(shí)施方式,以上所說(shuō)的這個(gè)距離可以用眾所周知的三角形定位過(guò)程來(lái)確定 物體在三維空間的位置。有關(guān)在三維度量系統(tǒng)中采用三角形定位過(guò)程的討論,可以參見(jiàn) Teutsch[21]。檢測(cè)到的眼睛在每一個(gè)圖像中的位置,照相機(jī)的焦距和圖像拍攝設(shè)備130的 相互距離,以上三足以進(jìn)行三角形定位,來(lái)確定眼睛相對(duì)于圖像拍攝設(shè)備130的距離。根據(jù) 本專(zhuān)利的其中一個(gè)實(shí)施方式,圖形照相設(shè)備130相對(duì)于媒介的三維空間位置是固定的,且 是預(yù)先知道的。如果,此媒介為電腦屏幕或電視屏幕,且圖形拍攝設(shè)備130可以方便的放在 媒介屏幕的旁邊,那么眼睛和媒介的距離,可以簡(jiǎn)單的確定為眼睛相對(duì)于圖形照相設(shè)備130 的位置和照相設(shè)備130相對(duì)于媒介的位置的組合。根據(jù)本專(zhuān)利的其中一個(gè)實(shí)施方式,圖形照相設(shè)備130相對(duì)于媒介的位置是不固定 的,或者是不預(yù)先確定的,比如,媒介是書(shū)本,筆記本,或者任何其他情形里圖形拍攝設(shè)備 130,不能被方便的放在相對(duì)于媒介的固定的位置上,眼睛和媒介的距離的估計(jì)可以通過(guò)步 驟810進(jìn)一步確定媒介相對(duì)于圖像拍攝設(shè)備130的位置。媒介相對(duì)于圖像拍攝設(shè)備130的 位置的確定可以采用類(lèi)似于眼睛相對(duì)于圖像拍攝設(shè)備130的距離的確定方法,其中媒介可 用機(jī)器視覺(jué)技術(shù)來(lái)檢測(cè),然后用三角形定位原理確定其與照相機(jī)的相對(duì)空間位置。用機(jī)器 視覺(jué)進(jìn)行一般物體的檢測(cè)有大量的文獻(xiàn)。有關(guān)合適檢測(cè)技術(shù)的討論,可參見(jiàn)Papageorgiou 等[22], Viola等[23],Bochard等[24]和Fergus等[25],以上均列在本項(xiàng)發(fā)明的參考文 獻(xiàn)中。步驟812估計(jì)在步驟802中所收到的圖像片段中的人的視線方向。在一般情況下, 可以認(rèn)為人觀看媒介時(shí)是直視前方的,那么人的眼睛的注視方向可以直接計(jì)算為與人臉垂 直的角度,這可以由步驟806中所估計(jì)的頭的左右,上下的姿態(tài)來(lái)確定。如果需要更精確的 眼睛注視方向的估計(jì),可以用機(jī)器視覺(jué)技術(shù)確定眼睛的虹膜和瞳孔的中心,而眼睛注視的 方向的估計(jì)可以將虹膜的方向和頭的左右,上下的角度相加來(lái)估計(jì)眼睛的注視方向,比如 參見(jiàn)Daugman[26]其中對(duì)虹膜和瞳孔進(jìn)行明確的模型和檢測(cè),和Tan等[27]其中對(duì)虹膜和 瞳孔建立外觀模型從而進(jìn)行間接檢測(cè)。根據(jù)在步驟810中得到的人眼睛和媒介的距離以及在步驟812中得到的眼睛的注 視方向,步驟814估計(jì)人的視線在由媒介所延伸的平面上的范圍。特別地,該步驟確定視線 范圍是否和媒介重疊。若是,該人被認(rèn)為在注意媒介,而因此被認(rèn)為在瀏覽媒介。最后,步驟816將對(duì)步驟802中所收到的圖像片段中的人的眼睛和媒介的距離及 其視覺(jué)范圍的估計(jì)結(jié)果返回給調(diào)用過(guò)程。圖7中的流程圖描述了過(guò)程900的一個(gè)典型實(shí)施方式。該過(guò)程用來(lái)分析媒體瀏覽 者的有關(guān)瀏覽行為。它能被在瀏覽者行為分析過(guò)程500中的步驟510調(diào)用,用來(lái)分析一個(gè) 被檢測(cè)到的媒體瀏覽者的除了視覺(jué)范圍外的其他一些瀏覽行為。其中,步驟902和904估 計(jì)瀏覽空間周?chē)恼彰鞒潭龋襟E906和908估計(jì)瀏覽者的身體姿態(tài)。要強(qiáng)調(diào)的是這僅僅 是其中一個(gè)實(shí)施方式,不可理解成任何形式的對(duì)本項(xiàng)發(fā)明的限制。根據(jù)本項(xiàng)發(fā)明的一個(gè)實(shí)施方式,可以用一個(gè)專(zhuān)門(mén)的亮度傳感器,比如由加州圣荷西Avago技術(shù)公司生產(chǎn)的APDS-9300低壓環(huán)境亮度傳感器。步驟902收到來(lái)自于亮度傳感 器的測(cè)量信號(hào),步驟904根據(jù)這個(gè)信號(hào)估計(jì)照明程度。根據(jù)本項(xiàng)發(fā)明的另一實(shí)施方式,圖像拍攝設(shè)備130代替專(zhuān)用亮度傳感器,用來(lái)估 計(jì)照明程度,從而節(jié)約成本。在這個(gè)實(shí)施方式中,步驟902中所指的亮度傳感器就是圖像拍 攝設(shè)備130,而測(cè)量結(jié)果就是圖像傳感設(shè)備130對(duì)媒介瀏覽空間所拍攝的圖像。在步驟904 中,對(duì)所拍攝的圖像進(jìn)行分析來(lái)估計(jì)瀏覽空間的照明程度,比如,取圖像中所有像素的亮度 的均值。在步驟906中,過(guò)程900收到瀏覽者的身份號(hào)和圖像片段。步驟908采用機(jī)器視覺(jué) 技術(shù)對(duì)收到的圖像片段進(jìn)行分析來(lái)估計(jì)瀏覽者的身體姿態(tài)。常見(jiàn)的應(yīng)該避免的身體姿態(tài)包 括躺著,肩膀傾斜和弓背。這些姿態(tài)需要檢測(cè)。用機(jī)器視覺(jué)技術(shù)從圖像中估計(jì)身體姿態(tài)有 大量的文獻(xiàn),有關(guān)合適的估計(jì)身體姿態(tài)的機(jī)器視覺(jué)技術(shù),可參見(jiàn)Taylor [28],Mori等[29], Sigal等[30],以上均列在本項(xiàng)發(fā)明的參考文獻(xiàn)。在步驟910中,過(guò)程900將估計(jì)的照明程度和瀏覽者的身體姿態(tài)按步驟906所收 到的瀏覽者的身份號(hào)和當(dāng)前時(shí)間保存到瀏覽者行為數(shù)據(jù)庫(kù)300中,然后返回到調(diào)用過(guò)程。圖8描述了過(guò)程1000的一個(gè)典型實(shí)施方式,該過(guò)程用機(jī)器視覺(jué)技術(shù)識(shí)別瀏覽者身 份。在媒介瀏覽者檢測(cè)過(guò)程700中,過(guò)程1000可以被步驟708被調(diào)用,其中需識(shí)別的人已 經(jīng)被確定為是一個(gè)媒體瀏覽者,而調(diào)用過(guò)程1000所得到的是該媒體瀏覽者的身份號(hào)。根據(jù) 其身份號(hào),可以檢索一個(gè)瀏覽者在不同的瀏覽階段中的瀏覽行為并將其累計(jì)起來(lái)。如圖8所示,過(guò)程1000先在步驟1002中收到一個(gè)人的圖像片段,然后在步驟1004 中在瀏覽者身份數(shù)據(jù)庫(kù)200中搜索該瀏覽者是否已經(jīng)存在。在步驟1006中,根據(jù)所述的搜 索結(jié)果決定是否使用一個(gè)原有的瀏覽者身份號(hào)或者賦一個(gè)新的瀏覽者身份號(hào)給該瀏覽者。 如果在瀏覽者身份數(shù)據(jù)庫(kù)200中找到一個(gè)匹配的瀏覽者,即所收到的該瀏覽者的圖像片段 和過(guò)去已經(jīng)識(shí)別的一個(gè)瀏覽者相吻合,該過(guò)程在步驟1008中提取并返回那個(gè)已經(jīng)識(shí)別的 瀏覽者的身份號(hào)。否則,在步驟1010中指定一個(gè)新的瀏覽者身份號(hào)給該瀏覽者,然后在步 驟1012中將新的身份號(hào)和該瀏覽者的圖像片段一起保存到瀏覽者身份數(shù)據(jù)庫(kù)200,以便將 來(lái)瀏覽者身份的查找,最后在步驟1014中將新指定的瀏覽者身份號(hào)返回。步驟1004采用機(jī)器視覺(jué)技術(shù)通過(guò)分析瀏覽者的圖像片段來(lái)確定該瀏覽者是否與 瀏覽者數(shù)據(jù)庫(kù)200中的一個(gè)已知的瀏覽者圖像片段匹配。這是一個(gè)眾所周知的人的識(shí)別問(wèn) 題,在文獻(xiàn)中被廣泛地通過(guò)對(duì)人臉的識(shí)別來(lái)解決。有關(guān)合適的用于識(shí)別人臉的機(jī)器視覺(jué)技 術(shù),可參見(jiàn)Zhao [31],列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。在上述瀏覽者身份識(shí)別過(guò)程1000的實(shí)施方式中,步驟1010自動(dòng)地給一個(gè)新的瀏 覽者賦予一個(gè)唯一的身份號(hào),并將其登記到瀏覽者行為評(píng)估系統(tǒng)100中,而步驟2012將該 瀏覽者的圖像片段和其瀏覽者身份號(hào)一起存儲(chǔ)在瀏覽者身份數(shù)據(jù)庫(kù)200中?;蛘?,一個(gè)新 的瀏覽者可以以手動(dòng)方式登記到系統(tǒng)中,比如,賦予該瀏覽者一個(gè)唯一的身份號(hào),通過(guò)圖像 拍攝設(shè)備130得到其正面和有代表性的側(cè)面圖像,然后將得到的圖像和所賦予的身份號(hào)一 起存儲(chǔ)到瀏覽者身份數(shù)據(jù)庫(kù)200中。如上所述,圖8中的瀏覽者身份識(shí)別過(guò)程1000通過(guò)機(jī)器視覺(jué)技術(shù)直接識(shí)別媒介瀏 覽者。這種做法可以用在需要跟蹤同一瀏覽者在不同瀏覽階段中的瀏覽行為或者有多個(gè)媒 介的情形中。根據(jù)系統(tǒng)的具體應(yīng)用情形,媒介瀏覽者的識(shí)別的實(shí)現(xiàn)可以采用或不采用機(jī)器視覺(jué)技術(shù)。在本項(xiàng)發(fā)明的另一實(shí)施方式中,媒介瀏覽空間中最多只有一個(gè)瀏覽者,就沒(méi)有必 要跟蹤瀏覽者在不同瀏覽階段的行為。在這種情形里,步驟708中的瀏覽者身份識(shí)別過(guò)程 可以簡(jiǎn)單地返回一個(gè)任意固定的身份號(hào)。實(shí)際上,在這種情形下,在瀏覽者行為評(píng)估系統(tǒng) 100中的媒介瀏覽者的身份識(shí)別過(guò)程可以被省略。在本項(xiàng)發(fā)明的又一實(shí)施方式中,同時(shí)可能 有多個(gè)瀏覽者,但又沒(méi)有必要跟蹤瀏覽者在不同瀏覽階段的行為。在這種情形里,瀏覽者身 份識(shí)別系統(tǒng)可以簡(jiǎn)單的賦予每個(gè)檢測(cè)到打?yàn)g覽者一個(gè)身份號(hào),然后跟蹤每一個(gè)瀏覽者,直 到該瀏覽者結(jié)束當(dāng)前瀏覽階段為止。用機(jī)器視覺(jué)跟蹤人的身體有大量的文獻(xiàn),比如Wren等 在[32]和Zhou等在[33]中講解的技術(shù),均列在本項(xiàng)發(fā)明的參考文獻(xiàn)。在本項(xiàng)發(fā)明的又一 實(shí)施方式中,有多個(gè)媒體瀏覽者,且他們的物理位置是已知的,比如有一個(gè)位置和身份號(hào)的 對(duì)應(yīng)表。在這種情形里,瀏覽者身份識(shí)別過(guò)程只要確定每一個(gè)檢測(cè)到的瀏覽者的物理位置, 然后按得到的位置在所說(shuō)的表格中直接檢索對(duì)應(yīng)的瀏覽者身份號(hào)。—般來(lái)說(shuō),媒介瀏覽者的身份識(shí)別可以被認(rèn)為是根據(jù)某些具體的瀏覽者特征對(duì)媒 體瀏覽者進(jìn)行的歸類(lèi)。比如,在本項(xiàng)發(fā)明的一個(gè)實(shí)施方式中,一個(gè)瀏覽者可以被歸類(lèi)為某一 個(gè)具體的年齡組。這樣的歸類(lèi)結(jié)果可以用來(lái)分析一個(gè)瀏覽者的瀏覽行為是否適當(dāng),是否符 合其相應(yīng)的年齡段的某些瀏覽行為規(guī)則。瀏覽行為規(guī)則將在下面的媒介瀏覽者健康保護(hù)方 法和系統(tǒng)的各種實(shí)施方式中介紹和描述。一個(gè)瀏覽者的年齡可以用手工方法確定。比如在 該系統(tǒng)中登記一個(gè)新的瀏覽者時(shí),可以直接指定該瀏覽者的年齡。瀏覽者本身或一個(gè)系統(tǒng) 管理員可以直接將瀏覽者的年齡提供給系統(tǒng),將該年齡數(shù)據(jù)儲(chǔ)存在瀏覽者身份數(shù)據(jù)庫(kù)200 里。或者,當(dāng)瀏覽者身份識(shí)別過(guò)程發(fā)現(xiàn)一個(gè)新的瀏覽者的時(shí)候,瀏覽者的年齡可以用機(jī)器視 覺(jué)技術(shù)自動(dòng)估計(jì)。圖9所示的瀏覽者識(shí)別過(guò)程的實(shí)施方式描述了這種應(yīng)用。瀏覽者驗(yàn)證過(guò) 程700中的步驟708可以調(diào)用這一過(guò)程而不是前述的過(guò)程1000。如圖9所示,過(guò)程1100跟 過(guò)程1000有相同的流程圖,唯一不同之處是它有額外的兩個(gè)步驟,其中步驟1111根據(jù)步驟 1102中所收到的瀏覽者的圖像片段來(lái)估計(jì)瀏覽者的年齡,而步驟1113將所估計(jì)的瀏覽者 的年齡保存到瀏覽者身份識(shí)別庫(kù)200中。用機(jī)器視覺(jué)估計(jì)人的年齡有大量的文獻(xiàn),比如Guo 等在[34]中所講述的技術(shù),列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。要再次強(qiáng)調(diào)的是,前述的媒介瀏 覽者分類(lèi)只是以說(shuō)明本項(xiàng)發(fā)明的原理為目的具體實(shí)施方式
,而不可理解成任何形式的對(duì)本 項(xiàng)發(fā)明的限制。在圖2中的瀏覽者行為跟蹤過(guò)程400的實(shí)施方式里,當(dāng)人的視線集中在媒體上時(shí), 就認(rèn)為人在瀏覽媒體。這個(gè)假定在通常情形下是成立的,比如,當(dāng)一個(gè)人的視線集中在一本 書(shū)上的時(shí)候,這個(gè)人通常是在看書(shū)或是寫(xiě)字。又比如,當(dāng)一個(gè)人的視線集中在電腦屏幕上的 時(shí)候,這個(gè)人通常是在瀏覽電腦屏幕上的內(nèi)容,而當(dāng)一個(gè)人的視線集中在電視屏幕的時(shí)候, 這個(gè)人通常就是在看電視。如果需要將人的視線已集中在媒體上但媒體還未就緒的特例排 除,比如一個(gè)人在看電視,但所說(shuō)的電視是關(guān)的,那么在跟蹤瀏覽者的行為時(shí)可以對(duì)媒體的 運(yùn)行狀態(tài)進(jìn)行檢測(cè),如圖10所示。這樣得到的是瀏覽者行為跟蹤過(guò)程1200的另一實(shí)施方 式。如圖2和圖10所示,瀏覽者行為跟蹤過(guò)程400和1200都是循環(huán)的,而且兩者都調(diào)用瀏 覽者行為分析過(guò)程500。他們的區(qū)別在于過(guò)程400在每次循環(huán)里都調(diào)用瀏覽者行為分析過(guò) 程500,而過(guò)程1200只有在步驟1202和1204確定媒介已準(zhǔn)備就緒后才在一個(gè)循環(huán)里調(diào)用 瀏覽者行為分析過(guò)程500。有各種各樣的技術(shù)可以用在步驟1202中確定媒介的運(yùn)行狀態(tài)。以下是這類(lèi)技術(shù)的在本項(xiàng)發(fā)明的一些具體實(shí)施方式
中的應(yīng)用。需再次強(qiáng)調(diào)的是,這些只是用來(lái)以說(shuō)明本項(xiàng) 發(fā)明的原理,而不可理解成任何形式的對(duì)本項(xiàng)發(fā)明的限制。如果媒介瀏覽者行為評(píng)估系統(tǒng) 100集成在媒介設(shè)備里面,如集成在電視機(jī),電腦或游戲機(jī)里,那么確定媒介設(shè)備的運(yùn)行狀 態(tài)是直接和簡(jiǎn)單的。否則,如果媒介設(shè)備是可以用來(lái)作通用編程的,如帶有標(biāo)準(zhǔn)通信接口的 電腦,那么可以直接編寫(xiě)一個(gè)程序?qū)⑵溥\(yùn)行在媒介設(shè)備里,通過(guò)所述的標(biāo)準(zhǔn)通信接口將媒 介設(shè)備的運(yùn)行狀態(tài)傳遞給媒體瀏覽者行為評(píng)估系統(tǒng)100。比如,2008年3月頒發(fā)給Nelson 等人美國(guó)專(zhuān)利7,343,615所講述的技術(shù),通過(guò)檢測(cè)顯示器中的變壓器所發(fā)出的一個(gè)特定的 音頻信號(hào)來(lái)間接地確定顯示器是否被打開(kāi)。作為另一個(gè)測(cè)定媒介是否被打開(kāi)的間接技術(shù)的 實(shí)施方式,可以利用機(jī)器視覺(jué)技術(shù)對(duì)圖像拍攝設(shè)備130所得到的圖像,采用步驟604中所討 論的物體檢測(cè)技術(shù)來(lái)確定媒介設(shè)備顯示器在這些圖像中的位置。然后,分析對(duì)應(yīng)于媒介顯 示器的圖像區(qū)域,將它們和相應(yīng)的在顯示器處在關(guān)閉時(shí)的背景圖像值進(jìn)行比較,來(lái)確定媒 介設(shè)備是否被打開(kāi)。為了說(shuō)明本項(xiàng)發(fā)明的媒介瀏覽者行為評(píng)估的基本原理,到目前為止所描述的實(shí)施 方式采用的機(jī)器視覺(jué)技術(shù)絕大多數(shù)都局限在分析靜態(tài)圖像中的內(nèi)容。更具體地說(shuō),在上述 實(shí)施方式中,圖像拍攝設(shè)備130在同一時(shí)刻拍攝的圖像被一起分析,從而利用它們的空間 相關(guān)性,但不同時(shí)刻所拍攝的圖像被分別分析。本專(zhuān)利的實(shí)施也可以采用各種基于視頻的機(jī)器視覺(jué)技術(shù),將圖像拍攝設(shè)備130所 獲得的圖像作為視頻序列進(jìn)行分析。通過(guò)利用物體在連續(xù)的圖像中所體現(xiàn)的空間和時(shí)間的 相關(guān)性,基于視頻的機(jī)器視覺(jué)技術(shù),通??梢栽谝曨l圖像序列中跟蹤物體,從而取得更好的 分析結(jié)果,并減少分析中的計(jì)算量。文獻(xiàn)中有很多基于視頻的機(jī)器視覺(jué)技術(shù)可以用來(lái)實(shí)現(xiàn) 前述的實(shí)施方式中視覺(jué)內(nèi)容分析的各種任務(wù)。下面來(lái)說(shuō)明一些具體的實(shí)施方式。媒介瀏覽者檢測(cè)過(guò)程600中的對(duì)人的檢測(cè)步驟604可以采用比如Wren等[32]和 Zhou等[35]中所講述的基于視頻的技術(shù),均列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。距離和視覺(jué)范圍的分析過(guò)程800中的人臉檢測(cè)步驟804可以采用比如Mkolajczyk 等[36],F(xiàn)roba等[37]和Gorodnichy [38]所講述的基于視頻的技術(shù),均列在本項(xiàng)發(fā)明的參 考文獻(xiàn)中。距離和視覺(jué)范圍的分析過(guò)程800中的頭的姿態(tài)的估計(jì)步驟806可以采用例如 Morency等[39],HUang等[40]和Oka等[41]所講述的基于視頻的技術(shù),均列在本項(xiàng)發(fā)明 的參考文獻(xiàn)中。距離和視覺(jué)范圍的分析過(guò)程800中的眼睛的檢測(cè)步驟808可以采用例如 Stiefelhagen等[42]和Bakic等[43]所講述的基于視頻的技術(shù),均列在本項(xiàng)發(fā)明的參考 文獻(xiàn)中。進(jìn)一步的瀏覽行為分析過(guò)程900中的身體姿態(tài)估計(jì)步驟908可以采用例如Lee在 [44]所講述的基于視頻的技術(shù),列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。瀏覽者識(shí)別過(guò)程1000中的人的匹配步驟1004可以采用例如2001年10月頒發(fā)給 Steffens等人的美國(guó)專(zhuān)利6,301,370和Goronichy [45]所講述的基于視頻的技術(shù),均列在 本項(xiàng)發(fā)明的參考文獻(xiàn)中。圖像中像素的深度信息也可以用在本項(xiàng)發(fā)明的各個(gè)視覺(jué)處理任務(wù)中。圖像中一個(gè) 像素的深度信息是拍攝該圖像的設(shè)備與對(duì)應(yīng)于該像素的物體的在空間的距離。這個(gè)信息又
13稱作范圍信息。比如,在瀏覽者驗(yàn)證過(guò)程800中,一旦一個(gè)瀏覽者的眼睛在圖像中被檢測(cè)和 定位,深度信息可以用在步驟810中來(lái)估計(jì)眼睛與媒介的距離。在圖4中的瀏覽者檢測(cè)過(guò) 程600實(shí)施方式中,深度信息可以用來(lái)將物體和它們的背景分開(kāi)并確定它們的形狀,從而 達(dá)到檢測(cè)和識(shí)別物體的目的。有關(guān)用深度信息來(lái)檢測(cè)物體的討論,可參照比如Reeves等 [46],列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。文獻(xiàn)中有大量的關(guān)于用單個(gè)和多個(gè)圖像來(lái)計(jì)算深度信 息。有關(guān)合適的從圖像中提取算深度信息的技術(shù)的討論,可參照Adelson等[47]和Saxena 等[48],均列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。深度信息可以用更新的范圍相機(jī)直接獲得,比如參 見(jiàn),Lang等[49]和Oggier等[50],均列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。除了前面描述的利用可見(jiàn)光和飛行時(shí)間拍攝圖像,其他照相技術(shù)也可以用來(lái)獲得 媒介瀏覽空間的圖像。比如,一個(gè)或多個(gè)圖像拍攝設(shè)備130可以采用紅外成像。又比如,一 個(gè)或多個(gè)圖像拍攝設(shè)備130可以采用高光譜成像,收集來(lái)自從紅外到紫外的更寬的電磁頻 譜的信息。有關(guān)合適的采用紅外成像的機(jī)器視覺(jué)技術(shù)來(lái)分析前述的瀏覽者行為,可參照比 如 Eveland 等[51],Dowdall 等[52],Socolinksy 等[53]和 Kong 等[54]中講述的技術(shù)來(lái) 檢測(cè)和識(shí)別瀏覽者,以及Trivedi等[55]中講述的技術(shù)來(lái)估計(jì)瀏覽者的身體姿態(tài),均列在 本項(xiàng)發(fā)明的參考文獻(xiàn)中。有關(guān)合適的采用高頻譜成像的機(jī)器視覺(jué)技術(shù)的討論,可參照Chou 等[56],列在本項(xiàng)發(fā)明的參考文獻(xiàn)中。上面描述的媒介瀏覽者行為評(píng)估原理可以根據(jù)瀏覽者的行為評(píng)估結(jié)果向它們提 供有意義的健康保護(hù)功能。下面,我們描述一個(gè)用來(lái)評(píng)估瀏覽者是否遵守一定的瀏覽行為 規(guī)則的系統(tǒng)的一些具體實(shí)施方式
,其中的瀏覽行為規(guī)則可以是預(yù)先設(shè)定的并且被認(rèn)為是健 康的瀏覽所必需的。一般地,當(dāng)系統(tǒng)確定某個(gè)瀏覽者違反或遵守一個(gè)規(guī)則時(shí),就執(zhí)行相應(yīng)的 控制動(dòng)作以便幫助該瀏覽者建立和保持健康的瀏覽習(xí)慣。作為實(shí)施方式之一,圖11描述了一個(gè)媒介瀏覽者健康保護(hù)系統(tǒng)100HC。該系統(tǒng)擴(kuò) 展了圖1中的媒介瀏覽者行為評(píng)估系統(tǒng)100,能自動(dòng)地向媒介142的瀏覽者提供健康保護(hù)功 能。以下,該系統(tǒng)又被簡(jiǎn)稱為健康保護(hù)系統(tǒng)100HC或系統(tǒng)100HC,而媒介瀏覽者行為評(píng)估系 統(tǒng)100又被簡(jiǎn)稱為行為評(píng)估系統(tǒng)100或系統(tǒng)100。與圖1中的行為評(píng)估系統(tǒng)100 —樣,健康保護(hù)系統(tǒng)100HC包含了聚焦在媒介瀏覽 空間140的圖像拍攝設(shè)備130,瀏覽者身份數(shù)據(jù)庫(kù)200,瀏覽者行為數(shù)據(jù)庫(kù)300,瀏覽行為跟 蹤過(guò)程500來(lái)檢測(cè)和評(píng)估瀏覽瀏覽者的行為,其中瀏覽者144-1至144-M的個(gè)數(shù)和非瀏覽 者146-1至146-N的個(gè)數(shù)都可能隨時(shí)間變化。健康保護(hù)系統(tǒng)100HC又包含瀏覽政策數(shù)據(jù)庫(kù) 1300和瀏覽政策執(zhí)行過(guò)程1600。一般地,瀏覽政策數(shù)據(jù)庫(kù)1300包含瀏覽行為規(guī)則以及這些規(guī)則被違反或遵守時(shí) 須執(zhí)行的動(dòng)作,這些規(guī)則和動(dòng)作可以由一個(gè)系統(tǒng)管理員預(yù)先定義或設(shè)置。圖12A和圖12B 給出了幾個(gè)瀏覽行為規(guī)則的實(shí)施方式。當(dāng)系統(tǒng)確定一個(gè)瀏覽者沒(méi)有遵守某個(gè)規(guī)則時(shí),就執(zhí) 行一個(gè)或多個(gè)跟該規(guī)則有關(guān)的瀏覽政策中所規(guī)定的動(dòng)作。以下,我們稱這類(lèi)政策為懲罰性 政策。圖13給出了幾個(gè)典型的懲罰性政策的實(shí)施方式。相反地,當(dāng)系統(tǒng)確定一個(gè)瀏覽者遵 守某個(gè)規(guī)則時(shí),如果有跟該規(guī)則有關(guān)的瀏覽政策,就執(zhí)行這些政策中所規(guī)定的動(dòng)作。以下, 我們稱這類(lèi)政策為獎(jiǎng)勵(lì)性政策,圖14給出了幾個(gè)典型的獎(jiǎng)勵(lì)性政策的實(shí)施方式。作為瀏覽政策執(zhí)行過(guò)程1600的一個(gè)功能,根據(jù)保存在瀏覽者行為數(shù)據(jù)庫(kù)300中他 們的瀏覽行為,媒介瀏覽者健康保護(hù)系統(tǒng)100HC為各個(gè)瀏覽者在瀏覽政策數(shù)據(jù)庫(kù)1300中檢索和確認(rèn)所有相應(yīng)的政策。其中所述的相應(yīng)的瀏覽政策的檢索和確認(rèn)將在下面結(jié)合圖16 和圖17說(shuō)明。下面將對(duì)健康保護(hù)系統(tǒng)100HC的不同實(shí)施方式中的可選的架構(gòu)和功能作進(jìn)一步 說(shuō)明。根據(jù)使用者的意愿,這些實(shí)施方式可以實(shí)現(xiàn)或不實(shí)現(xiàn)前述的框架。必須強(qiáng)調(diào)的是,下 面給出的實(shí)施方式完全是以說(shuō)明本項(xiàng)發(fā)明原理為目的,而不可理解成任何形式的對(duì)本項(xiàng)發(fā) 明的限制。以下的任何功能可以單獨(dú)或跟任何其它描述的功能一起采納。瀏覽政策數(shù)據(jù)庫(kù)1300可以通過(guò)定義什么是健康的瀏覽行為以及一個(gè)瀏覽行為被 確認(rèn)為健康或不健康時(shí)應(yīng)執(zhí)行的動(dòng)作來(lái)建立?;蛘?,可以通過(guò)定義什么是不健康的瀏覽行 為以及一個(gè)行為被確認(rèn)為不健康或健康時(shí)應(yīng)執(zhí)行的動(dòng)作來(lái)建立。因?yàn)橐粋€(gè)瀏覽行為要么是 健康的,要么是不健康的,以上兩種定義方式是對(duì)等的。以下,我們選用第一種方法來(lái)進(jìn)一 步說(shuō)明瀏覽政策數(shù)據(jù)庫(kù)1300。根據(jù)本項(xiàng)發(fā)明的一個(gè)實(shí)施方式,一個(gè)健康的瀏覽行為可以用一組瀏覽行為規(guī)則來(lái) 刻畫(huà),其中的每一個(gè)規(guī)則定義了該健康行為的一個(gè)方面。在本項(xiàng)發(fā)明的一個(gè)實(shí)施方式中,上 述的這些規(guī)則是結(jié)合的,因而一個(gè)健康的瀏覽行為必須符合所有這些規(guī)則。在本項(xiàng)發(fā)明的 另一實(shí)施方式中,上述的這些規(guī)則是選言的,因而一個(gè)健康的瀏覽行為只要符合其中的一 個(gè)規(guī)則?;谶壿媽W(xué)中的DeMorgan定律,這二種方式是可以互換的。以下,我們選用第一 種方式來(lái)進(jìn)一步描述一個(gè)健康的瀏覽行為的定義。如圖12A和12B所示,瀏覽政策數(shù)據(jù)庫(kù)1300可以由一組表格來(lái)記錄。一個(gè)表格的 每一行定義一個(gè)瀏覽規(guī)則,它對(duì)應(yīng)于一個(gè)瀏覽行為的一個(gè)具體的方面或?qū)傩?。更具體地說(shuō), 每一行包含一個(gè)某一規(guī)則所涉及的瀏覽行為的某個(gè)屬性的字段,以及用來(lái)說(shuō)明健康的瀏覽 行為中該屬性必須符合的一個(gè)或多個(gè)條件字段。圖12A描述了三個(gè)典型的瀏覽行為規(guī)則1320,1322和1324。它們都有二個(gè)條件字 段,其中一個(gè)字段1312定義相應(yīng)的行為屬性值的允許范圍,另一個(gè)字段1314定義可違反該 允許范圍的最長(zhǎng)時(shí)間。瀏覽行為可以違反字段1312中規(guī)定的允許范圍,只要單次連續(xù)違反 的時(shí)間不超過(guò)字段1314的規(guī)定,可仍然被視為可接受的。比如,規(guī)則1320的行為屬性是瀏 覽者的眼睛與其所瀏覽的媒介的距離。如果該媒介是電視屏幕,根據(jù)其空間距離規(guī)定1312, 該規(guī)則規(guī)定健康的瀏覽必須將眼睛和電視保持至少4倍于電視屏幕的對(duì)角寬度。根據(jù)其時(shí) 間字段1312的說(shuō)明,該規(guī)則進(jìn)一步規(guī)定,一個(gè)瀏覽者可以與電視保持少于4倍于電視屏幕 對(duì)角線寬度,但每次不能超過(guò)10秒鐘。類(lèi)似地,規(guī)則1320規(guī)定了可接受的眼睛離開(kāi)電腦屏 幕的距離,以及離開(kāi)書(shū)本的距離,其中意義不言自明。作為本項(xiàng)發(fā)明的另一實(shí)施方式,規(guī)則 1322定義健康的瀏覽行為中的頭部姿態(tài)。該規(guī)則規(guī)定,瀏覽者頭部左右旋轉(zhuǎn)若超過(guò)45度, 不應(yīng)持續(xù)10秒鐘以上;頭部上下傾斜若超過(guò)45度,不應(yīng)持續(xù)10秒鐘以上;頭部左右傾斜若 超過(guò)30度,不應(yīng)持續(xù)10秒鐘以上。作為又一實(shí)施方式,規(guī)則1324定義健康的瀏覽行為中 的肩膀姿態(tài)。該規(guī)則規(guī)定,瀏覽者肩膀左右旋轉(zhuǎn)若超過(guò)15度,不應(yīng)持續(xù)5秒鐘以上,對(duì)肩膀 的左右傾斜的規(guī)定也相同。圖12B給出更多的瀏覽行為規(guī)則,其中每個(gè)都有一個(gè)條件字段1316。規(guī)則1326 規(guī)定在看電視時(shí)室內(nèi)照明至少是100LUX,在看電腦屏幕時(shí)至少是200LUX,而在看書(shū)寫(xiě)字時(shí) 至少是500LUX。規(guī)則1328規(guī)定,看電視,電腦屏幕和看書(shū)每次分別不能超過(guò)1小時(shí),45分 鐘和30分鐘。規(guī)則1330要求連續(xù)瀏覽階段之間必須有至少5分鐘的休息。規(guī)則1332規(guī)定瀏覽者在一天內(nèi)看電視超過(guò)不應(yīng)4小時(shí),看電腦屏幕不超過(guò)2小時(shí),看書(shū)寫(xiě)字不超過(guò)4小 時(shí)。類(lèi)似地,規(guī)則1334規(guī)定瀏覽者在一周內(nèi)看電視不應(yīng)超過(guò)12小時(shí),看電腦屏幕不應(yīng)超過(guò) 10小時(shí),看書(shū)寫(xiě)字不應(yīng)超過(guò)20小時(shí)。規(guī)則1336規(guī)定瀏覽者不應(yīng)在一個(gè)連續(xù)的瀏覽階段里 違反規(guī)則5次以上。類(lèi)似地,規(guī)則1338和1340分別規(guī)定瀏覽者不應(yīng)在一天和一周內(nèi)違反 規(guī)則10次和20次以上。圖13中的表格給出幾個(gè)典型的懲罰性瀏覽行為政策的實(shí)施方式1420至1440,每 行一個(gè)。每個(gè)政策包含兩個(gè)字段1410和1412,其中1410指定被違反的瀏覽行為規(guī)則,而 1412定義系統(tǒng)對(duì)違反該規(guī)則的瀏覽者所執(zhí)行的動(dòng)作。當(dāng)系統(tǒng)確定某個(gè)瀏覽者違反了字段 1410指定的規(guī)則時(shí),就對(duì)該瀏覽者執(zhí)行字段1412規(guī)定的動(dòng)作。一般地,字段1412規(guī)定的動(dòng) 作有勸阻瀏覽者進(jìn)一步違反瀏覽規(guī)則的作用。比如,根據(jù)政策1420,當(dāng)確定瀏覽者違反距離 規(guī)則1420時(shí),系統(tǒng)每隔5秒鐘向?yàn)g覽者發(fā)出提醒并給其規(guī)則違反次數(shù)加一直到其遵守該距 離規(guī)則為止。根據(jù)其中的一個(gè)實(shí)施方式,上述提醒可以是一個(gè)聽(tīng)見(jiàn)的信息,可以是一個(gè)看見(jiàn) 的信息,可以是一個(gè)觸覺(jué)的信息,比如一個(gè)物理震動(dòng),或者是這類(lèi)信息的組合。作為另一個(gè) 實(shí)施方式,根據(jù)瀏覽行為規(guī)則1326,如果室內(nèi)照明太低,政策1426被激活,系統(tǒng)向?yàn)g覽者發(fā) 出提醒,要求提高室內(nèi)照明,或許是通過(guò)打開(kāi)一些燈來(lái)達(dá)到規(guī)則的要求。如果在15秒鐘后 室內(nèi)照明還沒(méi)有提高到規(guī)則1326的要求,系統(tǒng)給瀏覽者的規(guī)則違反次數(shù)加一。作為另一個(gè) 實(shí)施方式,如果瀏覽者違反連續(xù)瀏覽時(shí)間的規(guī)則1328,政策1428被激活,系統(tǒng)向該瀏覽者 發(fā)出提醒。另外,如果瀏覽者在看電視(電腦),并在上述提醒發(fā)出的15分鐘后仍在繼續(xù)看 電視(電腦),那么系統(tǒng)將關(guān)閉電視機(jī)(鎖住電腦屏幕)。關(guān)閉電視機(jī)和鎖住電腦屏幕可以 有各種途經(jīng)實(shí)現(xiàn),將在后面結(jié)合描述瀏覽政策實(shí)施過(guò)程1600圖16和圖17來(lái)說(shuō)明。圖14中的表格給出兩個(gè)典型的獎(jiǎng)勵(lì)性瀏覽行為政策的實(shí)施方式1420至1440,每 行一個(gè)。當(dāng)系統(tǒng)確定某個(gè)瀏覽者遵守字段1510所指定的規(guī)則,就對(duì)該瀏覽者執(zhí)行字段1512 定義的動(dòng)作。更具體地說(shuō),政策1532規(guī)定,如果某個(gè)瀏覽者遵守規(guī)則1332,即該瀏覽者沒(méi) 有用完當(dāng)天允許的瀏覽時(shí)間,系統(tǒng)就將其中剩余部分的一半加到其第二天允許的瀏覽時(shí)間 里。類(lèi)似地,政策1534規(guī)定如果某個(gè)瀏覽者遵守規(guī)則1334,即該瀏覽者沒(méi)有用完一周允許 的瀏覽時(shí)間,系統(tǒng)就將其剩余部分的四分之一加到其第二周允許的瀏覽時(shí)間里。一個(gè)瀏覽行為規(guī)則和相應(yīng)的政策也可以選擇性地跟年齡有關(guān)。比如,一個(gè)瀏覽階 段的時(shí)間長(zhǎng)度規(guī)則1228可以為每年齡段定義其恰當(dāng)?shù)臅r(shí)間長(zhǎng)度。瀏覽者的年齡可以由圖9 中描述的瀏覽者行為評(píng)估系統(tǒng)100的實(shí)施方式可選擇地確定。再次強(qiáng)調(diào),上述瀏覽行為規(guī) 則和政策只是一些具體地實(shí)施方式,以說(shuō)明為目的,不可以將其理解為對(duì)本項(xiàng)發(fā)明的任何 形式的限制。圖15的流程圖描述了瀏覽政策執(zhí)行過(guò)程1600的一個(gè)典型的實(shí)施方式。如前面概 括的那樣,該過(guò)程的目的是檢查瀏覽者行為跟蹤過(guò)程400所確定的每個(gè)瀏覽者的瀏覽行為 是否違反或遵守瀏覽政策數(shù)據(jù)庫(kù)1300中的有關(guān)行為規(guī)則,并執(zhí)行相應(yīng)的瀏覽政策所規(guī)定 的動(dòng)作。如圖所示,在初始化后,該過(guò)程開(kāi)始迭代。在每次迭代中,先由步驟1602檢索當(dāng)前 所有瀏覽者的身份號(hào),然后在步驟1604中,為每個(gè)瀏覽者調(diào)用瀏覽政策執(zhí)行過(guò)程1700。圖16的流程圖描述了瀏覽政策執(zhí)行過(guò)程1700的一個(gè)典型的實(shí)施方式。該過(guò)程為 一個(gè)給定的瀏覽者確定所有合適的瀏覽政策,并調(diào)用圖17描述的瀏覽政策執(zhí)行過(guò)程1800 來(lái)執(zhí)行相應(yīng)的動(dòng)作。
如圖16所示,瀏覽政策執(zhí)行過(guò)程1700先在步驟1702中收到一個(gè)瀏覽者的身份 號(hào),在步驟1704中從瀏覽政策數(shù)據(jù)庫(kù)1300中檢索所有跟該瀏覽者相關(guān)的政策,在步驟1706 中,從瀏覽者行為數(shù)據(jù)庫(kù)300中檢索該瀏覽者的行為評(píng)估結(jié)果。然后,在步驟1708,對(duì)其中 每個(gè)檢索得到政策,先評(píng)估瀏覽者的瀏覽行為是否符合政策中規(guī)定的條件,然后將評(píng)估結(jié) 果存儲(chǔ)在行為數(shù)據(jù)庫(kù)300中,以便將來(lái)參考。在步驟1710中,對(duì)其中每個(gè)檢索得到政策,調(diào) 用在圖17所描述的政策執(zhí)行過(guò)程1800。之后,返回調(diào)用過(guò)程。圖17的流程圖描述了瀏覽政策執(zhí)行過(guò)程1800的一個(gè)典型的實(shí)施方式。該過(guò)程先 在步驟1802中接受一個(gè)瀏覽者的身份號(hào)和一個(gè)瀏覽政策編號(hào)。接著,從行為數(shù)據(jù)庫(kù)300中 檢索對(duì)應(yīng)的瀏覽政策的評(píng)估結(jié)果,比如,在瀏覽政策執(zhí)行過(guò)程1700中,這個(gè)評(píng)估結(jié)果由步 驟1708確定。步驟1806測(cè)試得到的評(píng)估結(jié)果。如果瀏覽者的行為沒(méi)有滿足該政策的條件, 過(guò)程1800不執(zhí)行該政策規(guī)定的動(dòng)作而直接返回。否則,過(guò)程1800在步驟1808中執(zhí)行該政策規(guī)定的動(dòng)作。作為一個(gè)例子,假定某個(gè) 瀏覽者在看電視節(jié)目,電視機(jī)的對(duì)角線寬度為25英寸而所說(shuō)的瀏覽政策是距離政策1420。 如果根據(jù)步驟1804的評(píng)估結(jié)果,所說(shuō)的瀏覽者的行為滿足政策1420的條件,即瀏覽者違反 距離規(guī)則1220,與所說(shuō)的電視的距離少于4x25 = 100英寸超過(guò)10秒鐘,那么步驟1806的 測(cè)試獲得通過(guò)。在這種情況下,系統(tǒng)執(zhí)行政策1420中字段1412規(guī)定的動(dòng)作,即每隔5秒 鐘,向該瀏覽者發(fā)出提醒并將其違反規(guī)則的次數(shù)加1,直到其遵守距離規(guī)則1220(離開(kāi)電視 機(jī)至少100英寸)為止。一般地,一個(gè)瀏覽政策規(guī)定的動(dòng)作可以由一個(gè)獨(dú)立的過(guò)程來(lái)執(zhí)行。 該過(guò)程記錄該動(dòng)作的執(zhí)行歷史。例如,為了執(zhí)行上述距離政策1420規(guī)定的動(dòng)作,可以采用 一個(gè)定時(shí)器來(lái)計(jì)算自上次提醒發(fā)出后已經(jīng)過(guò)去的時(shí)間。根據(jù)本項(xiàng)發(fā)明的其中一個(gè)方面,由于媒介瀏覽健康保護(hù)系統(tǒng)100HC擁有瀏覽者識(shí) 別能力,可以將瀏覽行為規(guī)則和政策個(gè)性化。利用其唯一的瀏覽者身份號(hào),系統(tǒng)管理可以在 瀏覽政策數(shù)據(jù)庫(kù)1300中根據(jù)具體情況對(duì)特定的瀏覽者制定特別的行為規(guī)則和政策。同樣 地,根據(jù)瀏覽者身份號(hào),瀏覽政策執(zhí)行過(guò)程1700在步驟1704中將在瀏覽政策庫(kù)1300中檢 索為該瀏覽者定義的所有政策。在本項(xiàng)發(fā)明的另一個(gè)實(shí)施方式中,如圖18所示,媒介瀏覽者評(píng)估系統(tǒng)100可以擴(kuò) 展,使其監(jiān)控多個(gè)媒介的瀏覽空間,稱之為媒介瀏覽系統(tǒng)100MHC。該系統(tǒng)有L個(gè)媒介,標(biāo)作 142-1至142-L,而圖像拍攝設(shè)備130覆蓋所述的L個(gè)媒介的瀏覽空間。在該系統(tǒng)的其中 一個(gè)實(shí)施方式中,前述的媒介瀏覽者的行為評(píng)估原理可以重復(fù)地應(yīng)用到圖像拍攝設(shè)備130 為所有L個(gè)媒介的瀏覽空間拍攝的每一組圖像上。隨著集成電路產(chǎn)品(如nVidia公司的 GeForce圖形處理器)的性價(jià)比不斷提高,這樣擴(kuò)展后的媒介瀏覽健康保護(hù)系統(tǒng)100MHC的 一個(gè)關(guān)鍵的優(yōu)點(diǎn)是節(jié)約了成本。比如,可以用一個(gè)媒介瀏覽健康保護(hù)系統(tǒng)100MHC來(lái)監(jiān)控一 個(gè)教室中所有學(xué)生的看書(shū)、寫(xiě)字和坐姿。根據(jù)以上所描述的利用機(jī)器視覺(jué)向媒介瀏覽者提供健康保護(hù)功能的基本原理,媒 介瀏覽者健康保護(hù)系統(tǒng)100HC的具體實(shí)施可以有各種各樣的變化。例如,一個(gè)媒介瀏覽健 康保護(hù)系統(tǒng)100HC可以直接集成在媒介設(shè)備如電視機(jī),電腦和游戲機(jī)中。在這種方式中,系 統(tǒng)100HC和媒介設(shè)備可以共同設(shè)計(jì)。這個(gè)方式的一個(gè)好處是讓兩者共享計(jì)算資源和機(jī)械封 裝,從而節(jié)約成本。這個(gè)方式的另一個(gè)好處是可以方便靈活的執(zhí)行某些瀏覽政策規(guī)定的動(dòng) 作,特別是那些需要控制媒介設(shè)備的動(dòng)作,如關(guān)閉媒介設(shè)備的電源,將電腦鎖屏或切換電視頻道。對(duì)于一個(gè)沒(méi)有和媒介設(shè)備集成在一起的媒介瀏覽健康保護(hù)系統(tǒng)100HC,為了執(zhí)行 象上一段落提到的需要控制媒介設(shè)備的瀏覽政策中的動(dòng)作,可以采用一些合適的外部方法 來(lái)控制媒介設(shè)備。例如,對(duì)于一個(gè)帶有遙控器的電視機(jī),健康保護(hù)系統(tǒng)100HC可以采用與該 遙控器匹配的遙控信號(hào)來(lái)控制該電視機(jī)。大多數(shù)電視機(jī)制造商公開(kāi)其電視機(jī)產(chǎn)品所用的遙 控信號(hào)。遙控信號(hào)也可以直接向搖控器學(xué)習(xí)得到,例如可以用2008年8月頒發(fā)給Hayes等 人的美國(guó)專(zhuān)利6,097,309所講解的技術(shù)。如果媒介設(shè)備是電腦,那么媒介瀏覽健康保護(hù)系 統(tǒng)100HC可以用一個(gè)標(biāo)準(zhǔn)的接口如藍(lán)牙或以太網(wǎng)與電腦建立鏈接。類(lèi)似地,一個(gè)媒介瀏覽健康保護(hù)系統(tǒng)100HC的實(shí)施也可以通過(guò)控制一個(gè)該媒介以 外的設(shè)備來(lái)執(zhí)行瀏覽政策的動(dòng)作。例如,該媒介以外的設(shè)備可以是一盞學(xué)習(xí)用的臺(tái)燈,系統(tǒng) 可以通過(guò)自動(dòng)地將它打開(kāi)實(shí)施例如規(guī)則1226的室內(nèi)照明規(guī)定。應(yīng)該理解的是以上講述的所有具體實(shí)施方式
及其變化都僅僅是用來(lái)說(shuō)明本項(xiàng)發(fā) 明的原理。那些熟練掌握相關(guān)技術(shù)的人們可以對(duì)它們進(jìn)行各種各樣的修改而不偏離本項(xiàng)發(fā) 明的范圍和精神。引用的專(zhuān)利
U.s.Patent5,168,264, Decem ber 1,1992, Decreton,et al
u.s.Patent6,097,309, August 1,2000, Hayes,et al.
u.s.Patent6,301,370, October 9,2001, Steffens,et al.
u.s.Patent6,325,508, December 4,2001, Agustin.
u.s.Patent7,098,772,August 29,2006,Cohen.
u.s.Patent7,343,615, March 11,2008, Nelson,et al.
u.s.Patent7,362,213, April 22,2008,Cohen.參考文獻(xiàn)[l]Mohan, et al. , "Example-based object detection in images by components,,,IEEE Trans. onPattern Analysis and Machine Intelligence, Vol. 23, No. 4,pp. 349-361,Apr. 2001.[2]Viola, et al. , "Rapid object detection using a boosted cascade of simple features, "Proc.IEEE Conf. on Computer Vision and Pattern Recognition, Kauai, HI, Dec. 2001.[3]Ronfard, et al. , "Learning to parse pictures of people, "in Proc. 7th European Conf. onComputer Vision, Part IV, pp. 700-714, Jun. 2002.[4]Mikolajczyk, et al. ,"Human detection based on a probabilistic assembly of robust partdetectors," in Proc. 8th European Conference on Computer Vision, VolumeI, pp. 69-81,May2004.[5] Yang, et al. , "Detecting faces in images :A survey,,,IEEE Trans, on Pattern Analysis andMachine Intelligence, Vol. 24, No. 1,pp.34-58, Jan. 2002.[6]Sung, et al. , "Example-based learning for view-based human face detection,,,IEEE Trans, on Pattern Analysi s and Machinelntelligence, Vol. 20, No. 1,pp. 39-51,Jan. 1998.
[7] Keren, et al.,“Antifaces A novel fast method for image detection,,,IEEE Trans, on PatternAnalysis and Machine Intelligence, Vol. 23,No. 7, pp. 747-761,Jul. 2001.[8] Viola, et al. ,"Robust real-time face detection,,,Int,1 J. of Computer Vision,Vol. 57,No. 2,pp. 137—154,May 2004.[9]Osadchy,et al. ,"Synergistic face detection and pose estimation with energy-based models,,,J. of Machine Learning Research,Vol. 8, pp. 1197-1214,May 2007.[10]Hiesele,et al. ,“A component-based framework for face detection and identification,”Int,1 J. of Computer Vision,Vol. 74,No. 2,pp.167—181,Aug. 2007.[ll]Murphy-Chutorian, et al. , "Head Pose Estimation in Computer Vision A Survey,,,IEEE Trans, on Pattern Analysis and Machine Intelligence,PrePrints, Apr. 2008.[12]Kruger,et al.,“Determination of face position and pose with a learned representationbased on labeled graphs,,,Image and Vision Computing, Vol. 15,No. 8,pp. 665-673,Aug. 1997.[13]Huang, et al. ,“Face pose discrimination using support vector machines (SVM),,,in Proc. Int’ 1. Conf. Pattern Recognition,pp. 154-156,Aug. 1998.[14]Matsumoto,et al.,“An algorithm for real-time stereo vision implementation of head poseand gaze direction measurement,,,in Proc.IEEE 4th Int.Conf. on Automatic Face and GestureRecognition,pp. 499-504,Mar. 2000.[15] Sherrah, et al.,‘‘Face distributions in similarity space under varying head pose,,,Imageand Vision Computing, Vol. 19,No. 12,pp. 807-819,Dec. 2001.[ 16 ] Moon, et al.,“Estimating facial pose from a sparse representation,,,in Proc. Int* 1 Conf. on Image Processing, pp. . 75-78, Oct. 2004.[17] Lam, et al.,‘‘ Locating and extracting the eye in human face images, "Pattern Recognition, Vol. 29, No. 5, pp. 771-779, May 1996.[18] Huang, et al.,“Eye detection using optimal wavelet packets and radial basis functions,,,J. of Pattern Recognition and Artificial Intelligence, Vol. 13,No. 7,pp. 1009-1025,Jul. 1999.[19]Sirohey, et al. , "Eye detection in a face image using linear and nonlinearfiIters,,,Pattern Recognition,Vol. 34,No. 7,pp. 1367-1391,Jul. 2001.[20]Peng, et al. ,"A Robust and Efficient Algorithm for Eye Detection on Gray Intensity Face,” J. of Computer Science and Technology, Vol.5, No. 3, pp. 127-132,Oct. 2005.[21]Teutsch, Model-based analysis and evaluation of point sets from optical 3D laser scanners,Ph. D. Thesis, Shaker Verlag,ISBN :978-3-8322-6775_9, 2007.
[22] Papageorgiou,e t al.,“A trainable system for object detection,,,Int’ 1. J. of ComputerVision,Vol. 38,No. 1,pp. 15-33,Jun. 2000.[23]Viola, et al. ,"Robust real-time object detection, ”Int' 1 J. of Computer Vision,Vol. 57,No. 2,pp. 137—154,May 2004.[24]Bochard, et al.,‘‘A hierarchical part-based model for visual object categorization,,,inProc. IEEE Int* 1 Conf. on Computer Vision and Pattern Recognition,pp. 710-715,Jun.2005.[25]Fergus,et al.,“A sparse object category model for efficient learning and exhaustiverecognition,,,in Proc. IEEE Int'l Conf. on Computer Vision and Pattern Recognition,pp. 710—715,Jun.2005.[26]Daugman, "High confidence visual recognition of persons by a test of statistical independence,,,IEEE Trans, on Pattern Recognition and Machine Intelligence,Vol. 15,No. 11,pp.1148-1161,Nov. 1993.[27] Tan, et al.,‘‘Appearance-based eye gaze estimation,,,in Proc. 6th IEEE Workshop onApplications of Computer Vision, pp. 191-195,Dec.2002.[28]Taylor, “Reconstruction of articulated objects from point correspondences in a singleuncalibrated image,,,Computer Vision and Image Understanding,Vol. 80,No. 3,pp. 349-363,Dec. 2000.[29]Mori, et al. ,“Estimating human body configurations using shape context matching,” in Proc.7th European Conf. on Computer Vision, Part III, pp. 660-668,Jun. 2002.[30] Sigal, et al. ‘‘Measure locally, reason globally :0cclusion-sensitive articulated poseestimation,,,in Proc. IEEE Conf. on Computer Vision and Pattern Recognition,pp.2041-2048,Jun.2006.[31]Zhao,et al.,〃 Face recognition :A literature survey,"ACM Computing Surveys, Vol. 35,No. 4,pp. 399-458,Dec. 2003.[32]Wren, et al.,‘‘Pf inder :real_time tracking of the human body,,,IEEE Trans.on Pattern Analysisand Machine Intelligence,Vol.19,No.7,pp. 780—785, Jul. 1997.[33]Zhou, et al. ,“Real time robust human detection and tracking system, ”P(pán)roc.IEEE Conf.onComputer Vision and Pattern Recognition,Vol. 3, pp. 149-149,Jun. 2005.[34]Guo,et al. ,“Image-based human age estimation by manifold learning and locally adjustedrobust regression,,,IEEE Trans, on Image Processing, Vol. 17, No. 7,pp. 1178-1188,Jul. 2008.[35]Zhou,et al.,“Real time robust human detection and tracking system,,,in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 3, pp. 149-149,Jun. 2005.[36]Mkolajczyk, et al. , "Face detection in a video sequence—a temporalapproach,,,in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. II.,pp. 96-101,Dec. 2001.[37]Froba,et al. , "Face Tracking by Means of Continuous Detection,,,in Proc. CVPR Workshopon Face Processing in Video,pp.65—66,Jun. 2004.[38]Gorodnichy, “Seeing faces in video by computers. Editorial for Special Issue on FaceProcessing in Video Sequences,"Image and Vision Computing, Vol. 24,No. 6,pp. 551-556,Jun. 2006.[39]Morency, et al. , "Fast stereo-based head tracking for interactive environments,,,in Proc.Int’ 1. Conf. Automatic Face and Gesture Recognition, pp. 375-380,May 2002.[40]Huang, et al. ,“Robust Real-Time Detection, Tracking, and Pose Estimation of Faces in VideoStreams,,,in Proc. IEEE Int’ 1 Conf. Pattern Recognition,pp.965-968,Aug. 2004.[41]0ka,et al. ,“Head pose estimation system based on particle filtering with adaptivediffusion control,,,in Proc. Int* 1 Conf. on Machine Vision Applications, pp. 586—589,May2005.[42]Stiefelhagen, et al. , "Tracking eyes and monitoring eye gaze,” in Proc. Workshop onPerceptual User Interfaces,pp.98—100,Oct. 1997.[43]Bakic,et al. ,"Real-time tracking of face feature and gaze direction determination,,,in Proc. 4th IEEE Workshop on Applications of Computer Vision, pp. 256-257,Oct. 1998.[44]Lee, Model-based human pose estimation and tracking, Ph.D.Thesis, Univ.of Southern Calif. ,Los Angeles,CA,2006.[45] Gorodnichy,‘‘Video-based framework for face recognition,,,in Proc. 2nd Workshop on FaceProcessing in Video within 2nd Canadian Conf.on Computer and Robot Vision, pp. 330—338,May 2005.[46]Reeves, et al. ,“Identification of three-dimensional objects using range information,” IEEE Trans, on Pattern Analysis and Machine Intelligence, pp. 403-410,Vol. 11,No. 4,Apr. 1989.[47] Adelson, et al.,“Single lens stereo with plensoptic camera,,,IEEE Trans.on Pattern Analysisand Machine Intelligence,Vol. 12,No. 2,pp.99-106, Feb. 1992.[48] Saxena,et al.,‘‘Depth estimation using monocular and stereo cues,,,in Proc.Int* 1 JointConf. on Artificial Intelligence, pp. 2197-2203, Jan. 2007.[49]Lange, et al. , "Solid state time—of—flight range camera, ” IEEE J. of Quantum Electronics,Val. 37,No. 3,pp. 390—397,Mar. 2001.[50] Oggier, et al.,‘‘An all-solid-state optical range camera for 3D real-time imaging withsub-centimeter depth resolution(SwissRanger),,,in Proc. SPIE,Vol. 5249,pp.534-545,F(xiàn)eb.2004.
[51]Eveland, et al.,‘‘Tracking human faces in infrared video,,,Image and Vision Computing,Vol. 21,No. 7,pp. 579—590,Jul. 2003.[52]Dowdall, et al.,“Face detection in the near-IR spectrum,,,Image and Vision Computing,Vol. 21,No. 7,pp. 565—578,Jul. 2003.[53]Socolinsky, et al. ,“Face recognition with visible and thermal infrared imagery,,,ComputerVision and Image Understanding,Vol. 91, No. 1-2, pp. 72-114,Jul. -Aug. 2003.[54] Kong, et al. ‘‘Recent advances in visual and infrared face recognition :A review,,,ComputerVision and Image Understanding,Vol. 97, No. 1, pp. 103-135,Jan. 2005.[55]Trivedi,et al.,‘‘Occupant posture analysis with stereo and thermal infrared video :algorithms and experimental evaluation,,,IEEE Trans, on Vehicular Technology,Speciallssue onln-Vehicle Vision Systems, Vol. 53,No. 6,pp.1698—1712, Nov. 2004.[56]Chou, et al.,“Toward face detection,pose estimation and human recognition fromhyperspectral imagery, ” Technical Report NCSA-ALG04-0005, Automated Learning Group,National Center of Supercomputing Applications, Univ. of Illinois at Urbana Champion,Oct.2004.
2權(quán)利要求
一個(gè)自動(dòng)監(jiān)控至少一個(gè)信息媒介的一個(gè)或多個(gè)瀏覽者的瀏覽行為的方法,其中包括獲得至少一幅所述媒介的瀏覽空間的圖像;通過(guò)分析所述圖像,檢測(cè)所述媒介的瀏覽者;若檢測(cè)到所述媒介的瀏覽者,通過(guò)分析所述圖像,評(píng)估所述瀏覽者的瀏覽行為。
2.如權(quán)利要求1所述的方法,進(jìn)一步包括 通過(guò)分析所述圖像,對(duì)一個(gè)所述的瀏覽者分類(lèi)。
3.如權(quán)利要求2所述的方法,其中所述的對(duì)瀏覽者的分類(lèi)包括至少下列操作中之一 估算所述瀏覽者的年齡;識(shí)別所述瀏覽者為一特定的個(gè)體; 跟蹤所述瀏覽者; 確定所述瀏覽者在空間的位置; 識(shí)別所述瀏覽者視線所集中的媒介。
4.如權(quán)利要求1所述的方法,其中所述瀏覽行為包括至少以下之一 所述瀏覽者的眼睛和所述媒介的距離;所述瀏覽者的視線方向和所述媒介的角度; 所述瀏覽者在所述媒介所化的時(shí)間; 所述瀏覽者的身體姿態(tài); 所述瀏覽者和所述媒介周?chē)恼彰髑闆r; 顯示在所述媒介上的內(nèi)容。
5.如權(quán)利要求4所述的方法,其中所述照明情況采用至少下列途徑之一來(lái)測(cè)量 分析所述圖像;分析來(lái)自于至少一個(gè)光傳感器的信號(hào)。
6.如權(quán)利要求1所述的方法,基于所述瀏覽行為的分析結(jié)果,進(jìn)一步向至少一個(gè)所述 的瀏覽者提供健康保護(hù)功能。
7.如權(quán)利要求6所述的方法,其中所述的健康保護(hù)功能執(zhí)行至少一個(gè)瀏覽政策。
8.如權(quán)利要求7所述的方法,其中所述瀏覽政策包括 一個(gè)跟健康有關(guān)的瀏覽行為規(guī)則。
9.如權(quán)利要求8所述的方法,其中所述瀏覽政策包括至少以下之一 若所述規(guī)則被違反,對(duì)所述媒介瀏覽者執(zhí)行一個(gè)實(shí)時(shí)或延時(shí)的動(dòng)作; 若所述規(guī)則被遵守,對(duì)所述媒介瀏覽者執(zhí)行一個(gè)實(shí)時(shí)或延時(shí)的動(dòng)作。
10.如權(quán)利要求9所述的方法,其中所述動(dòng)作包括至少以下之一 一個(gè)對(duì)所述瀏覽者的勸阻性的提醒;一個(gè)對(duì)所述瀏覽者的鼓勵(lì)性的提醒。
11.如權(quán)利要求10所述的方法,其中所述提醒包括至少以下之一 一個(gè)可見(jiàn)的反饋;一個(gè)可聽(tīng)的反饋; 一個(gè)可觸覺(jué)的反饋; 一個(gè)任何形式的有形反饋。
12.如權(quán)利要求9所述的方法,其中所述動(dòng)作包括至少以下之一 縮小對(duì)所述媒介的使用權(quán)限;放寬對(duì)所述媒介的使用權(quán)限。
13.一個(gè)自動(dòng)監(jiān)控至少一個(gè)信息媒介的一個(gè)或多個(gè)瀏覽者的瀏覽行為的系統(tǒng),其中至 少包括一個(gè)機(jī)器可讀的代碼的儲(chǔ)存器; 一個(gè)計(jì)算機(jī),用來(lái)獲取至少一個(gè)有關(guān)所述媒介的瀏覽空間的圖像; 通過(guò)對(duì)所述圖像分析,檢測(cè)所述媒介的瀏覽者;若檢測(cè)到所述媒介的瀏覽者,通過(guò)分析所述的圖像,評(píng)估所述瀏覽者的瀏覽行為。
14.如權(quán)利要求13所述的系統(tǒng),進(jìn)一步包括 通過(guò)分析所述圖像,對(duì)所述瀏覽者進(jìn)行分類(lèi)。
15.如權(quán)利要求14所述的系統(tǒng),其中對(duì)所述瀏覽者的分類(lèi)包括至少下列操作中之一 估算所述的瀏覽者的年齡;識(shí)別所述的瀏覽者為一特定的個(gè)體; 跟蹤所述的瀏覽者; 確定所述的瀏覽者在空間的位置; 識(shí)別所述的瀏覽者視線所集中的媒介。
16.如權(quán)利要求13所述的系統(tǒng),其中所述瀏覽行為包括至少以下之一 所述瀏覽者的眼睛和所述媒介的距離;所述瀏覽者的視線方向和所述媒介的角度; 所述瀏覽者在所述媒介所化的時(shí)間; 所述瀏覽者的身體姿態(tài); 所述瀏覽者和所述媒介周?chē)恼彰髑闆r; 顯示在所述媒介上的內(nèi)容。
17.如權(quán)利要求16所述的系統(tǒng),其中所述的照明情況采用至少以下途徑之一來(lái)測(cè)量 分析所述的圖像;分析來(lái)自于至少一個(gè)光傳感器的信號(hào)。
18.如權(quán)利要求13所述的系統(tǒng),基于所述瀏覽行為的分析結(jié)果,進(jìn)一步向至少一個(gè)所 述的瀏覽者提供健康保護(hù)功能。
19.如權(quán)利要求18所述的系統(tǒng),其中所述健康保護(hù)功能執(zhí)行至少一個(gè)瀏覽政策。
20.如權(quán)利要求7所述的系統(tǒng),其中所述的瀏覽政策包括 一個(gè)跟健康有關(guān)的瀏覽行為規(guī)則。
21.如權(quán)利要求8所述的系統(tǒng),其中所述的瀏覽政策包括至少以下之一 若所述規(guī)則被違反,對(duì)所述媒介瀏覽者執(zhí)行一個(gè)實(shí)時(shí)或延時(shí)的動(dòng)作; 若所述規(guī)則被遵守,對(duì)所述媒介瀏覽者執(zhí)行一個(gè)實(shí)時(shí)或延時(shí)的動(dòng)作。
22.如權(quán)利要求21所述的系統(tǒng),其中所述的動(dòng)作包括至少以下之一 一個(gè)對(duì)所述的瀏覽者的勸阻性的提醒;一個(gè)對(duì)所述的瀏覽者的鼓勵(lì)性的提醒。
23.如權(quán)利要求22所述的系統(tǒng),其中所述的提醒包括至少之一 一個(gè)可見(jiàn)的反饋;一個(gè)可聽(tīng)的反饋; 一個(gè)可觸覺(jué)的反饋; 一個(gè)任何形式的有形反饋。
24.如權(quán)利要求21所述的系統(tǒng),其中所述的動(dòng)作包括至少之一 縮小對(duì)所述的媒介的使用權(quán)限;放寬對(duì)所述的媒介的使用權(quán)限。
25.一個(gè)自動(dòng)監(jiān)控至少一個(gè)信息媒介的一個(gè)或多個(gè)瀏覽者的瀏覽行為的產(chǎn)品,其中包一個(gè)獲得至少一副有關(guān)所述媒介的瀏覽空間的圖像的步驟;一個(gè)通過(guò)分析所述圖像,檢測(cè)所述媒介的瀏覽者的步驟;若檢測(cè)到所述媒介的瀏覽者,一個(gè)通過(guò)分析所述圖像,評(píng)估其瀏覽行為的步驟。
26.如權(quán)利要求25所述的產(chǎn)品,進(jìn)一步包括一個(gè)根據(jù)所述瀏覽行為的分析結(jié)果向所述瀏覽者提供一個(gè)健康保護(hù)功能的步驟。
全文摘要
媒介瀏覽者健康保護(hù)的方法和裝置的發(fā)明涉及媒介瀏覽、健康保護(hù)和應(yīng)用信息技術(shù)領(lǐng)域。它提供了一個(gè)評(píng)估媒介瀏覽者瀏覽行為的方法和裝置。通過(guò)對(duì)瀏覽空間拍攝圖像及分析,用機(jī)器視覺(jué)技術(shù)進(jìn)行媒介瀏覽者的檢測(cè)和行為評(píng)估。根據(jù)對(duì)媒介瀏覽者的瀏覽行為的評(píng)估結(jié)果,向其提供健康保護(hù)功能。
文檔編號(hào)G06K9/62GK101853390SQ20091021727
公開(kāi)日2010年10月6日 申請(qǐng)日期2009年12月28日 優(yōu)先權(quán)日2008年12月29日
發(fā)明者謝愛(ài)國(guó) 申請(qǐng)人:謝愛(ài)國(guó)