用于用戶監(jiān)控和意圖判斷的系統(tǒng)和方法
【專利說明】用于用戶監(jiān)控和意圖判斷的系統(tǒng)和方法
[0001] 相關(guān)申請信息
[0002] 本申請主張2013年2月4日提交的美國申請第13/758,307號(hào)的權(quán)益，并且是該申請 的部分繼續(xù)申請，該申請的公開內(nèi)容通過引用全文并入本文中。
【背景技術(shù)】
[0003] 包括多個(gè)裝置(appliance)和/或用于對運(yùn)些裝置發(fā)出指令的控制裝置的家庭娛 樂系統(tǒng)可配置有經(jīng)由諸如手勢、語音、面部識(shí)別、空間分析等方法來檢測用戶存在和/或用 戶交互的裝置，運(yùn)是本領(lǐng)域中已知的。此外，諸如智能電話、平板計(jì)算機(jī)等的個(gè)人通訊裝置 日益增長的使用可提供經(jīng)由檢測諸如WiFi網(wǎng)絡(luò)、藍(lán)牙網(wǎng)絡(luò)等的局域無線網(wǎng)絡(luò)上的運(yùn)些個(gè)人 通訊裝置來識(shí)別用戶存在的額外方法。雖然多個(gè)媒體源和多個(gè)媒體呈現(xiàn)裝置可通過中央路 由裝置，諸如AV接收器、機(jī)頂盒、智能電視等結(jié)合在許多運(yùn)樣的家庭娛樂系統(tǒng)中，但目前不 存在單獨(dú)利用用戶存在和/或用戶交互檢測或利用其與中央路由裝置的組合來提供增強(qiáng)的 家庭娛樂系統(tǒng)功能的系統(tǒng)或方法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明通常設(shè)及家庭娛樂系統(tǒng)及其控制方法，并特別設(shè)及運(yùn)些家庭娛樂系統(tǒng)的增 強(qiáng)功能，所述增強(qiáng)功能通過用于運(yùn)種系統(tǒng)的額外的用戶相關(guān)的輸入方法來實(shí)現(xiàn)。例如，在本 發(fā)明的一個(gè)方面，可使用傳感接口，諸如圖像傳感接口（例如，與照相機(jī)相關(guān)聯(lián)的接口）、聲 音傳感接口（例如，與麥克風(fēng)相關(guān)聯(lián)的接口），和/或用于感測諸如智能電話的射頻(RF)裝置 的存在的接口，來完全地或部分地使系統(tǒng)自動(dòng)相應(yīng)電視觀看期間可能發(fā)生的常見事件，諸 如一個(gè)或多個(gè)用戶離開或進(jìn)入觀看區(qū)域、用戶回答電話呼叫、檢測口鈴響起或嬰兒監(jiān)視器 警報(bào)等。在本發(fā)明的另一個(gè)方面，例如，通過感測用戶何時(shí)伸手去拿物理遙控單元或準(zhǔn)備發(fā) 出聲音或手勢指令的組件，可利用來源于運(yùn)些傳感接口的數(shù)據(jù)來增強(qiáng)一個(gè)或多個(gè)系統(tǒng)組件 的響應(yīng)能力。在本發(fā)明的又一個(gè)方面，中央路由裝置可使用來源于運(yùn)些傳感接口的用戶存 在數(shù)據(jù)W及媒體流信息，W便獲取和報(bào)告用戶的觀看習(xí)慣和/或偏好。
[0005] 根據(jù)下面的詳細(xì)說明W及附圖，能夠更好地理解本發(fā)明的目的、優(yōu)點(diǎn)、特征、性質(zhì) 和關(guān)系，所述詳細(xì)說明和附圖闡明說明性實(shí)施方式且其指示了可W應(yīng)用本發(fā)明原理的各種 方式。
[0006] 附圖簡要說明
[0007] 為了更好的理解本發(fā)明的各個(gè)方面，可參考附圖中所示的優(yōu)選實(shí)施方式，其中： [000引圖1示出了可使用本發(fā)明的教導(dǎo)的例示性系統(tǒng)；
[0009] 圖2示出了可使用本發(fā)明的教導(dǎo)的另一例示性系統(tǒng)；
[0010] 圖3W方框圖形式說明用于裝置的例示性硬件架構(gòu)，該裝置可W是圖1和圖2中所 示的系統(tǒng)的組件部分；
[OOW 圖4從方框圖形式說明用于圖3的說明性裝置的例示性軟件架構(gòu)；W及 [0012]圖5W流程圖形式說明圖4中說明的軟件架構(gòu)的例示性事件處理模塊的操作。
【具體實(shí)施方式】
[OOK]參考圖1，可應(yīng)用本發(fā)明方法的例示性家庭娛樂系統(tǒng)可包括用作集線器(hub)的AV 接收器100,其用于將來自源裝置，例如衛(wèi)星或有線系統(tǒng)機(jī)頂盒和/或DVR裝置（"STB" )104、 DVD播放器106、CD播放器108或游戲機(jī)110的選定的視頻和/或音頻媒體流引導(dǎo)到目的裝置， 例如電視機(jī)102,其中所選擇的視頻和/或音頻媒體流將得W呈現(xiàn)。在一個(gè)優(yōu)選實(shí)施方式中， 在裝置102至110和AV接收器100之間的連接130、132-般可包括用于傳送皿MI兼容的數(shù)字 信號(hào)的連接，盡管可W理解的是，必要時(shí)，其它接口標(biāo)準(zhǔn)，諸如分量視頻、脈沖編碼調(diào)制 (PCM)音頻等等可由特定裝置的限制來替換。在一些實(shí)施方式中，額外的AV內(nèi)容流也可經(jīng)由 廣域網(wǎng)諸如因特網(wǎng)116從例如化tflix、化du、化uTube、NBC在線等的流服務(wù)118獲得，為此AV 接收器100可配置有至因特網(wǎng)網(wǎng)關(guān)裝置、例如路由器114的連接112?？蒞理解的是，在AV接 收器100和因特網(wǎng)網(wǎng)關(guān)裝置114之間的連接可W如圖所示是有線的，或可W是無線的，例如 WiFi局域網(wǎng)，視情況而定。為了支持音頻和/或視頻電話呼叫、會(huì)議等，并根據(jù)本發(fā)明的某些 教導(dǎo)，例示性家庭娛樂系統(tǒng)還可配置有一個(gè)或多個(gè)傳感接口，諸如與麥克風(fēng)120和照相機(jī) 122相關(guān)聯(lián)的接口，其適用于在家庭娛樂系統(tǒng)環(huán)境內(nèi)獲取可聽和/或可見的事件。說明性娛 樂系統(tǒng)的用戶124、126可通過任何便利方法，例如通過使用本領(lǐng)域已知的遙控器、聲音指 令、手勢等等，來選擇當(dāng)前正在被觀看的媒體流。在一些實(shí)施方式中，關(guān)于運(yùn)些選擇的數(shù)據(jù)， 包括但不限于媒體源、頻道、音軌、標(biāo)題等等，W及觀看持續(xù)時(shí)間、用戶存在等等，可W累積 并匯報(bào)給數(shù)據(jù)庫服務(wù)器128, W便集合和分析用戶的觀看習(xí)慣和偏好，運(yùn)將在下文更詳細(xì)地 討論。
[0014] 現(xiàn)參考圖2,在第二說明性實(shí)施方式中，"智能"電視裝置200可合并內(nèi)容呈現(xiàn)和源 流選擇功能。在運(yùn)種配置中，本地裝置104至110可經(jīng)由例如HDMI連接130直接連接到電視 200的多個(gè)輸入端口。按照智能電視類型的特點(diǎn)，電視200還可支持至廣域網(wǎng)諸如因特網(wǎng)116 的接線112,通過它可接收流AV內(nèi)容和其它數(shù)據(jù)。用于將用戶指令輸入電視200和裝置104至 110的方法可采取控制裝置204的形式，例如常規(guī)遙控或智能電話應(yīng)用，其根據(jù)需要經(jīng)由任 何便利的紅外（IR)、射頻(RF)、硬連線、點(diǎn)對點(diǎn)或網(wǎng)絡(luò)協(xié)議與所述裝置通訊，W使各個(gè)目標(biāo) 裝置執(zhí)行所需操作功能。此外，在某些實(shí)施方式中，用戶輸入還可包括口頭和/或手勢指令， W代替控制裝置信號(hào)或?qū)刂蒲b置信號(hào)進(jìn)行補(bǔ)充，所述聲音和手勢可由麥克風(fēng)120和照相 機(jī)122接收，通過所述裝置之一（例如電視200)來處理和解碼，并且必要時(shí)經(jīng)由例如皿MI CE巧旨令、紅外或射頻信號(hào)等中繼到其它目標(biāo)裝置，例如在共同所有的共同未決的美國專利 申請13/657,176"用于優(yōu)化裝置控制的系統(tǒng)和方法"中所描述的，所述專利申請全文W引用 方式并入本文中。
[0015] 為了簡便起見，下文論述中一般將參考圖2的例示性設(shè)備配置，然而，應(yīng)了解在其 它實(shí)施方式中，例如圖1中所說明，本文中所提供的方法的步驟經(jīng)過必要的變更可通過適于 特定設(shè)備配置的各種裝置或裝置的組合來執(zhí)行。
[0016] 如圖3中所示出的，例示性中央路由裝置，諸如智能電視裝置200,根據(jù)特定應(yīng)用的 需要可包括呈現(xiàn)能力，例如電視引擎(TV engine)和媒體處理器300(應(yīng)理解，取決于特定實(shí) 施方式，運(yùn)可W包括一個(gè)或多個(gè)物理處理器）；存儲(chǔ)器302,其可包括任何類型的可讀或讀/ 寫介質(zhì)，諸如RAM、R0M、化A細(xì)、EEPR0M、硬盤、光盤等等，或其組合;通用串行總線化SB)接口 304;數(shù)字AV輸入端口和接口 306，例如數(shù)字視頻接口（DVI)或HDMI;模擬AV輸入端口和接口 308,例如帶有相關(guān)模擬音頻的復(fù)合或分量視頻；W太網(wǎng)和/或WiFi接口 310;藍(lán)牙接口 328; 帶有相關(guān)照相機(jī)122的數(shù)字照相機(jī)接口 312,所述照相機(jī)可外接或內(nèi)置于電視200的機(jī)殼 (cabinet);帶有相關(guān)麥克風(fēng)120的麥克風(fēng)接口 314，所述麥克風(fēng)可外接或內(nèi)置于電視200的 機(jī)殼;遙控接口 316,其經(jīng)由紅外或射頻信號(hào)326接收用戶啟動(dòng)的操作指令;連接到電視屏幕 322的顯示輸出318; W及連接到內(nèi)部或外部揚(yáng)聲器324的音頻輸出320。
[0017]為了使智能電視裝置200執(zhí)行一動(dòng)作，可將適當(dāng)?shù)木幊讨噶畲鎯?chǔ)在存儲(chǔ)器302(下 文稱為"電視編程"）W便通過電視引擎和(一個(gè)或多個(gè))媒體處理器300來執(zhí)行。運(yùn)種電視編 程的例示性架構(gòu)呈示于圖4中。如圖所示，根據(jù)特定應(yīng)用的需要，例示性電視編程可包括，底 層操作系統(tǒng)402,例如LINUX,其可支持實(shí)現(xiàn)智能電視設(shè)備的各種功能的一組軟件模塊。運(yùn)種 軟件模塊可包括硬件抽象層404, W在各種應(yīng)用軟件模塊與硬件依賴的軟件模塊之間提供 裝置獨(dú)立的接口，所述硬件依賴的軟件模塊諸如視頻輸出驅(qū)動(dòng)器406、音頻輸出驅(qū)動(dòng)器408、 HDMI接口410、模擬輸入/輸出ADC/DAC 412、^太網(wǎng)和/或胖1。1接口414、藍(lán)牙接口416;1158接 口418、遙控接口420, W及照相機(jī)和麥克風(fēng)驅(qū)動(dòng)器422和423。根據(jù)特定實(shí)施方式的需要，位 于抽象層404上的例示性應(yīng)用模塊可包括傳輸和會(huì)話層協(xié)議和接口管理428;AV輸出管理 424;輸入/輸出處理和路由440;支持隱藏字幕、顯示配置、OSD等的雜項(xiàng)服務(wù)模塊426;遙控 指令解碼器430; W及設(shè)備資源管理442。此外，與本發(fā)明的教導(dǎo)相一致，例示性電視編程可 包括音頻和可視事件檢測器模塊432、434,例如聲音和/或圖像識(shí)別引擎等；用戶事件處理 436; W及用戶統(tǒng)計(jì)數(shù)據(jù)收集和報(bào)告模塊438。
[001引受此電視編程控制，智能電視裝置200可例如接收來自輸入端口 306、308之一的AV 媒體流，所述媒體流被處理、緩沖、被分成音頻和視頻