本發(fā)明涉及一種用于基于傳感器獲得的傳感器數(shù)據(jù)、獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)的方法和裝置。
背景技術(shù):
裝置能夠通過由傳感器檢測的用戶的聲音、圖像和生物計量信號來分析用戶的狀態(tài)。裝置可考慮用戶的狀態(tài)來向用戶提供各種各樣的服務(wù)。例如,裝置可基于關(guān)于輸出內(nèi)容的用戶的集中度、興趣度等來向用戶推薦新內(nèi)容。
然而,傳感器數(shù)據(jù)中可能包含噪聲,或者,根據(jù)傳感器的操作狀態(tài)或周圍環(huán)境而無法獲得部分傳感器數(shù)據(jù)。因此,需要即使在傳感器數(shù)據(jù)中包含噪聲或者裝置無法獲得傳感器數(shù)據(jù)時也獲得用戶的狀態(tài)數(shù)據(jù)的方法。
技術(shù)實現(xiàn)要素:
技術(shù)方案
本發(fā)明提供一種用于基于傳感器獲得的傳感器數(shù)據(jù)、來獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)的方法和裝置。具體地,本發(fā)明提供一種用于即使在傳感器數(shù)據(jù)中包含噪聲或者未獲得傳感器數(shù)據(jù)時也獲得狀態(tài)數(shù)據(jù)的方法和裝置。
本發(fā)明的有益效果
根據(jù)實施例,即使在傳感器數(shù)據(jù)中包含噪聲或者未獲得傳感器數(shù)據(jù)時,也可有效地獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)。
附圖說明
圖1是根據(jù)實施例的裝置的內(nèi)部結(jié)構(gòu)的框圖;
圖2是根據(jù)實施例的獲得狀態(tài)數(shù)據(jù)的方法的流程圖;
圖3是示出根據(jù)實施例的估計模型的示例的示圖;
圖4是示出根據(jù)實施例的在省略部分傳感器數(shù)據(jù)時獲得狀態(tài)數(shù)據(jù)的示例的示圖;
圖5是示出根據(jù)實施例的基于其它狀態(tài)數(shù)據(jù)來獲得狀態(tài)數(shù)據(jù)的示例的示圖;
圖6至圖11是示出根據(jù)實施例的獲得狀態(tài)數(shù)據(jù)的示例的示圖;
圖12是示出根據(jù)實施例的預(yù)測模型的示例的示圖;
圖13是根據(jù)實施例的基于預(yù)測模型在特定時間點獲得狀態(tài)數(shù)據(jù)的方法的流程圖;
圖14是根據(jù)實施例的用于獲得狀態(tài)數(shù)據(jù)的裝置的內(nèi)部結(jié)構(gòu)的框圖;
圖15是根據(jù)實施例的通過使用基于傳感器數(shù)據(jù)中噪聲的包含度而選擇的估計模型來獲得狀態(tài)數(shù)據(jù)的方法的流程圖;
圖16是示出根據(jù)實施例的基于根據(jù)傳感器數(shù)據(jù)中噪聲的包含度而選擇的估計模型來獲得狀態(tài)數(shù)據(jù)的示例的示圖;
圖17是根據(jù)實施例的用于獲得狀態(tài)數(shù)據(jù)的裝置的內(nèi)部結(jié)構(gòu)的框圖。
最佳模式
根據(jù)實施例,一種獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)的方法,包括:獲得估計模型,所述估計模型包括用于從傳感器數(shù)據(jù)獲得存在于多個層中的多條狀態(tài)數(shù)據(jù)的信息,所述傳感器數(shù)據(jù)包括通過傳感器獲得的信息;獲得至少一條傳感器數(shù)據(jù);基于所述估計模型,從所述至少一條傳感器數(shù)據(jù)獲得較低層的狀態(tài)數(shù)據(jù);以及,基于所述估計模型,從所述較低層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù)。
另外,所述方法還可包括:基于獲得的狀態(tài)數(shù)據(jù),計算用戶對內(nèi)容的偏好;以及基于所述用戶對內(nèi)容的偏好,選擇至少一個將被推薦給用戶的內(nèi)容。
另外,獲得較低層的狀態(tài)數(shù)據(jù)的步驟可包括:基于所述至少一條傳感器數(shù)據(jù)中的噪聲包含度,來確定較低層的狀態(tài)數(shù)據(jù)的可靠性值和狀態(tài)值中的至少一個。
另外,獲得較高層的狀態(tài)數(shù)據(jù)的步驟可包括:基于較低層的狀態(tài)數(shù)據(jù)的可靠性值,來確定較高層的狀態(tài)數(shù)據(jù)的狀態(tài)值。
另外,所述方法還可包括:獲得預(yù)測模型,所述預(yù)測模型包括用于從先前時間點的狀態(tài)數(shù)據(jù)獲得特定時間點的狀態(tài)數(shù)據(jù)的信息;基于所述預(yù)測模型從至少一個時間點的狀態(tài)數(shù)據(jù)獲得特定時間點的狀態(tài)數(shù)據(jù);以及,通過使用獲得的狀態(tài)數(shù)據(jù)對通過所述估計模型獲得的狀態(tài)數(shù)據(jù)進行校正。
另外,所述至少一條傳感器數(shù)據(jù)可包括關(guān)于噪聲包含度的信息,獲得較高層的狀態(tài)數(shù)據(jù)的步驟可包括:基于所述至少一個傳感器數(shù)據(jù)中的關(guān)于噪聲包含度的信息,從獲得的估計模型選擇至少一個估計模型;以及基于選擇的至少一個估計模型,從所述較低層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù)。
另外,從獲得的估計模型選擇至少一個估計模型的步驟可包括:基于關(guān)于傳感器數(shù)據(jù)是否包含噪聲的信息,來確定包含噪聲的較低層的狀態(tài)數(shù)據(jù);以及,選擇不包括含有噪聲的較低層的狀態(tài)數(shù)據(jù)的估計模型。
另外,所述方法還可包括:基于獲得的較低層的狀態(tài)數(shù)據(jù)和獲得的較高層的狀態(tài)數(shù)據(jù)中的至少一個,來顯示或輸出關(guān)于將被提供給用戶的服務(wù)的信息。
根據(jù)實施例,一種用于獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)的裝置,包括:傳感器,被配置為獲得至少一條傳感器數(shù)據(jù);控制器,被配置為獲得估計模型,基于所述估計模型從所述至少一條傳感器數(shù)據(jù)獲得較低層的狀態(tài)數(shù)據(jù),以及基于所述估計模型從所述較低層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù),其中所述估計模型包括用于從所述至少一條傳感器數(shù)據(jù)獲得存在于多個層中的多條狀態(tài)數(shù)據(jù)的信息;顯示器,被配置為基于獲得的較低層的狀態(tài)數(shù)據(jù)和獲得的較高層的狀態(tài)數(shù)據(jù)中的至少一個,顯示關(guān)于將被提供給用戶的服務(wù)的信息。
具體實施方式
以下,將參照附圖詳細描述本發(fā)明的優(yōu)選實施例。然而,在以下描述和附圖中,如果公知的功能和構(gòu)造的描述被認為不必要地模糊本發(fā)明的主旨,則將省略公知的功能和構(gòu)造的描述。另外,在整個附圖中,相同的標號指定相同的元件。
在說明書和權(quán)利要求中使用的術(shù)語或詞語不應(yīng)被解釋為限于通常的含義或詞典的含義,并應(yīng)基于發(fā)明人能夠合適地定義這些術(shù)語以便以最佳方式描述他們的發(fā)明的原則,被解釋為與本發(fā)明的技術(shù)精神匹配的含義和概念。因此,在本說明書中描述的實施例和在附圖中示出構(gòu)造僅是最優(yōu)選的實施例,并不表示本發(fā)明的全部技術(shù)精神。因此,應(yīng)理解在提交本申請時,可能存在很多替代他們的各種等同物和修改。
在附圖中,會夸大、省略或示意性地示出一些元件。每個元件的尺寸并不完全反映真實尺寸。本發(fā)明不限于附圖中示出的相對大小或間隔。
將理解在此使用的術(shù)語“包括”、“包含”和“具有”指定存在闡述的元件,但不排除一個或更多個其它元件的存在或添加。將理解當區(qū)域被稱為“連接”或“耦接”到另一區(qū)域時,所述區(qū)域可直接連接或耦接到所述另一區(qū)域,或者可電連接或電耦接到所述另一區(qū)域,而它們之間布置有介入?yún)^(qū)域。
如在此使用,除非上下文清楚地另有所指,否則單數(shù)形式也意在包括復(fù)數(shù)形式。將理解,當在此使用諸如“包括”、“包含”和“具有”的術(shù)語時,諸如“包括”、“包含”和“具有”的術(shù)語指示存在闡述的特征、整數(shù)、步驟、操作、元件、組件或其組合,但不排除一個或更多個其它特征、整數(shù)、步驟、操作、元件、組件或其組合的存在或添加。
另外,在此使用的術(shù)語“單元”指示諸如軟件的硬件組件或諸如fpga或asic的硬件組件,并且“單元”執(zhí)行特定功能。然而,“單元”不限于軟件或硬件??梢砸钥蓪ぶ反鎯橘|(zhì)來配置“單元”或者“單元”可被配置為再現(xiàn)一個或更多個處理器。因此,例如,“單元”包括:諸如軟件組件、面向?qū)ο蟮能浖M件、類組件和任務(wù)組件的組件;進程;功能;屬性;過程;子例程;程序代碼段;驅(qū)動器;固件;微代碼;電路;數(shù)據(jù);數(shù)據(jù)庫;數(shù)據(jù)結(jié)構(gòu);表格;陣列;以及變量??梢砸愿贁?shù)量的組件和“單元”來將在組件和“單元”中提供的功能結(jié)合,或者可從另外的組件和“單元”分離出組件和“單元”中提供的功能。
將以實施例可被本領(lǐng)域的普通技術(shù)人員容易地實施的方式、參照附圖來描述本發(fā)明的實施例。然而,本發(fā)明可以以各種形式來實現(xiàn)且不限于實施例。省略了與描述不相關(guān)的部分以清楚地描述本發(fā)明。在整個說明書中,相同的標號指示相同的元件。
以下將參照附圖來描述本發(fā)明的優(yōu)選實施例。
圖1是根據(jù)實施例的裝置的內(nèi)部結(jié)構(gòu)的框圖。
根據(jù)本實施例的裝置100可基于通過傳感器獲得的傳感器數(shù)據(jù)來獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)。此外,裝置100可基于狀態(tài)數(shù)據(jù)獲得用戶對正被輸出的內(nèi)容的偏好信息。裝置100可基于偏好信息選擇將被推薦給用戶的內(nèi)容,并向用戶提供關(guān)于選擇的將被推薦的內(nèi)容的信息。裝置100不限于上述示例,并可通過使用用戶的狀態(tài)數(shù)據(jù)考慮用戶的狀態(tài)來向用戶提供各種服務(wù)。
根據(jù)本實施例的裝置100可以是用戶可用的各種類型的終端裝置。裝置100的示例可包括:個人計算機(pc)、筆記本計算機、移動電話、平板pc、導(dǎo)航終端、智能電話、智能手表、智能手環(huán)、智能眼鏡、可穿戴裝置、個人數(shù)字助理(pda)、便攜式多媒體播放器(pmp)和數(shù)字廣播接收機。裝置100不限于上述示例,并可包括目前已被開發(fā)和商業(yè)化或?qū)韺㈤_發(fā)的各種類型的裝置。
參照圖1,裝置100可包括傳感器數(shù)據(jù)獲取單元101、狀態(tài)數(shù)據(jù)獲取單元103、內(nèi)容接收單元104、內(nèi)容顯示單元105、內(nèi)容偏好確定單元106、內(nèi)容偏好發(fā)送單元107、內(nèi)容推薦結(jié)果產(chǎn)生單元108和內(nèi)容推薦結(jié)果顯示單元109。
傳感器數(shù)據(jù)獲取單元101可獲得包括關(guān)于傳感器感測的結(jié)果的信息的傳感器數(shù)據(jù)。傳感器可感測用戶或用戶的周圍環(huán)境,產(chǎn)生感測的結(jié)果作為傳感器數(shù)據(jù)。例如,可通過能夠感測周圍環(huán)境的各種類型的裝置(諸如,相機、麥克風(fēng)、智能電話、可穿戴裝置、平板pc或pc)來產(chǎn)生傳感器數(shù)據(jù)。紫外線傳感器可感測特定對象的位置或特定對象是否存在。位置識別傳感器可獲得配備有位置識別傳感器的終端裝置的位置信息。加速度傳感器可獲得關(guān)于配備有加速度傳感器的終端裝置的操作的信息。相機可產(chǎn)生通過拍攝外部環(huán)境而獲得的圖像數(shù)據(jù)。麥克風(fēng)可通過記錄在外部環(huán)境中產(chǎn)生的聲音而獲得的聲學(xué)數(shù)據(jù)。傳感器數(shù)據(jù)不限于此,并可包括通過各種類型的傳感器獲得的關(guān)于用戶或用戶的周圍環(huán)境的信息。各種類型的傳感器(例如,紫外線傳感器、位置識別傳感器(諸如,全球定位系統(tǒng)(gps))、加速度傳感器、麥克風(fēng)和相機)可包括在用戶可用的終端裝置(諸如,智能電話、可穿戴裝置、平板pc或pc)中,并可產(chǎn)生傳感器數(shù)據(jù)。此外,上述示例的傳感器可包括在裝置100中。
另外,傳感器數(shù)據(jù)還可包括關(guān)于傳感器感測的信息中的噪聲包含程度的信息。關(guān)于噪聲的信息可根據(jù)傳感器的操作狀態(tài)或傳感器數(shù)據(jù)的值來確定。因此,裝置100可基于關(guān)于傳感器數(shù)據(jù)中噪聲的信息來獲得用戶的狀態(tài)數(shù)據(jù)。
狀態(tài)數(shù)據(jù)獲取單元103可使用一條或更多條傳感器數(shù)據(jù)來獲得較低層的狀態(tài)數(shù)據(jù)。此外,狀態(tài)數(shù)據(jù)獲取單元103可使用所述一條或更多條較低層的狀態(tài)數(shù)據(jù)來獲得中間層或較高層的狀態(tài)數(shù)據(jù)。例如,可基于通過相機拍攝的圖像數(shù)據(jù)或通過麥克風(fēng)記錄的音頻數(shù)據(jù)中的至少一個,來獲得面部的正視程度的狀態(tài)數(shù)據(jù)。狀態(tài)數(shù)據(jù)獲取單元103可基于通過圖像數(shù)據(jù)識別的用戶的面部和面部方向、以及包括在音頻數(shù)據(jù)中的語音音量和語音方向中的至少一種,來獲得包括關(guān)于用戶的面部面對哪一方向的信息的狀態(tài)數(shù)據(jù)。此外,狀態(tài)數(shù)據(jù)獲取單元103可通過使用關(guān)于面部的正視程度的狀態(tài)數(shù)據(jù),來獲得屬于中間層或較高層的關(guān)于用戶的集中度、興趣度、疲勞度等的狀態(tài)數(shù)據(jù)。
可從一條或更多條傳感器數(shù)據(jù)獲得較低層的狀態(tài)數(shù)據(jù)。此外,可從較低層的狀態(tài)數(shù)據(jù)獲得中間層或較高層的狀態(tài)數(shù)據(jù)。特定層的狀態(tài)數(shù)據(jù)不限于此,并可從同一層的另一類型的狀態(tài)數(shù)據(jù)或更高層的狀態(tài)數(shù)據(jù)被獲得。狀態(tài)數(shù)據(jù)獲取單元103可通過使用估計模型來獲得每層的狀態(tài)數(shù)據(jù),所述估計模型包括用于從傳感器數(shù)據(jù)獲得狀態(tài)數(shù)據(jù)的信息。狀態(tài)數(shù)據(jù)獲取單元103可通過使用估計模型,來從較低層的狀態(tài)數(shù)據(jù)到較高層的狀態(tài)數(shù)據(jù)獲得用戶的狀態(tài)數(shù)據(jù)。
內(nèi)容接收單元104可從外部接收內(nèi)容。例如,內(nèi)容接收單元104可通過網(wǎng)絡(luò)或地波接收內(nèi)容??蛇x擇地,內(nèi)容接收單元104可加載存儲在裝置100的存儲器中的內(nèi)容,而不是從外部接收內(nèi)容??赏ㄟ^內(nèi)容顯示單元105將從外部接收的內(nèi)容或加載的內(nèi)容提供給用戶。
內(nèi)容顯示單元105可通過顯示器顯示通過內(nèi)容接收單元104接收的內(nèi)容。當內(nèi)容包括音頻信號時,內(nèi)容顯示單元105可通過揚聲器輸出內(nèi)容。內(nèi)容顯示單元105可將關(guān)于正被顯示的內(nèi)容的信息傳輸?shù)絻?nèi)容偏好確定單元106。內(nèi)容偏好確定單元106可通過使用關(guān)于正被顯示的內(nèi)容的信息來計算用戶的內(nèi)容偏好。
內(nèi)容偏好確定單元106可通過使用通過狀態(tài)數(shù)據(jù)獲取單元103獲得的狀態(tài)數(shù)據(jù)來計算用戶的內(nèi)容偏好。例如,內(nèi)容偏好確定單元106可與用戶的狀態(tài)數(shù)據(jù)之中的興趣度值和集中度值成比例地、確定與狀態(tài)數(shù)據(jù)相對應(yīng)的內(nèi)容偏好值??赏ㄟ^內(nèi)容偏好發(fā)送單元107將通過內(nèi)容偏好確定單元106確定的關(guān)于用戶的內(nèi)容偏好的信息發(fā)送到外部。被發(fā)送到外部的關(guān)于內(nèi)容偏好的信息可用于在外部裝置中向用戶提供廣告或服務(wù)。關(guān)于用戶的偏好的信息不限于此,并可用于在裝置100中向用戶提供廣告或服務(wù)。
內(nèi)容推薦結(jié)果產(chǎn)生單元108可基于關(guān)于用戶的內(nèi)容偏好的信息,產(chǎn)生關(guān)于將被推薦給用戶的內(nèi)容的信息。例如,內(nèi)容推薦結(jié)果產(chǎn)生單元108可掌握偏好度高的內(nèi)容的流派、演員、電影制片人等的特性。內(nèi)容推薦結(jié)果產(chǎn)生單元108可選擇具有與掌握的特性類似的特性的內(nèi)容,并產(chǎn)生關(guān)于內(nèi)容(即,被選作將推薦給用戶的內(nèi)容)的信息。
內(nèi)容推薦結(jié)果顯示單元109可通過顯示器顯示通過內(nèi)容推薦結(jié)果產(chǎn)生單元108產(chǎn)生的、關(guān)于將被推薦給用戶的內(nèi)容的信息??蛇x擇地,內(nèi)容推薦結(jié)果顯示單元109可通過各種方法(諸如,語音或振動)來輸出關(guān)于將被推薦給用戶的內(nèi)容的信息。
圖2是根據(jù)實施例的獲得狀態(tài)數(shù)據(jù)的方法的流程圖。
參照圖2,在操作s210,裝置100可獲取估計模型,估計模型包括用于從傳感器數(shù)據(jù)獲得包括在多個層中的多條狀態(tài)數(shù)據(jù)的信息。估計模型可包括關(guān)于基于哪些數(shù)據(jù)獲得每一條狀態(tài)數(shù)據(jù)的信息。裝置100可通過使用估計模型從傳感器數(shù)據(jù)獲得多個層的多條狀態(tài)數(shù)據(jù)。
在操作s220,裝置100可獲得傳感器數(shù)據(jù)??赏ㄟ^設(shè)置在裝置100內(nèi)部或外部的傳感器來獲得傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可包括關(guān)于用戶或用戶的周圍環(huán)境的信息。
在操作s230,裝置100可基于在操作s210獲得的估計模型從傳感器數(shù)據(jù)獲得較低層的狀態(tài)數(shù)據(jù)。較低層的狀態(tài)數(shù)據(jù)可包括可直接從傳感器數(shù)據(jù)獲得的狀態(tài)數(shù)據(jù)??蓮囊粭l或更多條傳感器數(shù)據(jù)獲得較低層的狀態(tài)數(shù)據(jù),并且可根據(jù)傳感器數(shù)據(jù)是否包含噪聲來確定狀態(tài)數(shù)據(jù)的值。
狀態(tài)數(shù)據(jù)可包括指示用戶的狀態(tài)的程度的狀態(tài)值以及指示狀態(tài)值的可靠程度的可靠性值。狀態(tài)值和可靠性值可根據(jù)傳感器數(shù)據(jù)中的噪聲包含度來確定。例如,可基于通過相機拍攝的圖像數(shù)據(jù)和通過麥克風(fēng)記錄的音頻數(shù)據(jù)中的至少一個,將關(guān)于面部正視程度的狀態(tài)值確定為指示面部方向的0到1之間的值??纱_定0到1的范圍內(nèi)的值,來指示通過圖像數(shù)據(jù)識別的面部方向和通過音頻數(shù)據(jù)識別的語音方向??筛鶕?jù)每個傳感器數(shù)據(jù)的可靠性值和加權(quán)值,基于面部方向值和語音方向值來確定關(guān)于面部的正視程度的狀態(tài)值。傳感器數(shù)據(jù)的加權(quán)值可根據(jù)傳感器數(shù)據(jù)對狀態(tài)數(shù)據(jù)的影響來確定。隨著傳感器數(shù)據(jù)的可靠性值或加權(quán)值增加,傳感器數(shù)據(jù)更多地反映到狀態(tài)數(shù)據(jù)上。
此外,可根據(jù)每個傳感器數(shù)據(jù)中的噪聲的包含度和每個傳感器數(shù)據(jù)的加權(quán)值中的至少一個,來確定關(guān)于面部的正視程度的可靠性值。可基于獲取傳感器數(shù)據(jù)的傳感器的操作狀態(tài)、傳感器數(shù)據(jù)的值等,來確定傳感器數(shù)據(jù)中的噪聲的包含度。例如,可根據(jù)傳感器數(shù)據(jù)的特定屬性值是否在預(yù)定義的范圍內(nèi),來確定噪聲的包含度。此外,可根據(jù)傳感器數(shù)據(jù)與每個狀態(tài)數(shù)據(jù)有多關(guān)聯(lián),來確定傳感器數(shù)據(jù)的加權(quán)值。因此,對于多條狀態(tài)數(shù)據(jù),傳感器數(shù)據(jù)的加權(quán)值可包括不同的值。
在操作s240,裝置100可基于在操作s210獲得的估計模型從較低層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù)??蓮幕趥鞲衅鲾?shù)據(jù)獲得的較低層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù)。較高層的狀態(tài)數(shù)據(jù)可包括與較低層的狀態(tài)數(shù)據(jù)類似的狀態(tài)值和可靠性值。較高層的狀態(tài)數(shù)據(jù)可包括基于較低層的狀態(tài)值和可靠性值獲得的狀態(tài)值和可靠性值。
因此,由于裝置100考慮傳感器數(shù)據(jù)中的噪聲的包含度來獲取較低層的狀態(tài)數(shù)據(jù),因此即使傳感器數(shù)據(jù)中包含噪聲也可有效地獲得狀態(tài)數(shù)據(jù)。
此外,裝置100可基于多個層的狀態(tài)數(shù)據(jù),通過顯示器顯示關(guān)于將被提供給用戶的服務(wù)的信息,或通過振動器或揚聲器把關(guān)于將被提供給用戶的服務(wù)的信息輸出為振動或聲音。
圖3是示出根據(jù)實施例的估計模型的示例的示圖。
參照圖3,估計模型可包括關(guān)于狀態(tài)數(shù)據(jù)或用于獲得每條狀態(tài)數(shù)據(jù)的傳感器數(shù)據(jù)的信息。在圖3的曲線圖中,可根據(jù)箭頭的連接源的值來確定連接目的地的值。
用于產(chǎn)生估計模型的裝置可向用戶提問或收集關(guān)于用戶的信息,并基于與每個節(jié)點相關(guān)聯(lián)的數(shù)據(jù)產(chǎn)生如圖3中的估計模型。例如,用于產(chǎn)生估計模型的裝置可接收用戶的關(guān)于興趣度的反饋,其中,興趣度基于用戶的笑容程度和語音音量來確定。可基于用戶的反饋來確定將應(yīng)用于用戶的笑容程度和語音音量的加權(quán)值??赏ㄟ^基于收集的信息的機器學(xué)習(xí)算法來產(chǎn)生用戶的估計模型。估計模型可針對每個用戶產(chǎn)生,但不限于此。可使用來自外部的預(yù)先產(chǎn)生的估計模型。用于產(chǎn)生估計模型的裝置可以是裝置100或外部裝置。
通過傳感器獲得的傳感器數(shù)據(jù)可包括在傳感器層中。參照圖3,通過相機、麥克風(fēng)、智能電話或可穿戴裝置獲得的傳感器數(shù)據(jù)可包括在傳感器中。
可通過對傳感器數(shù)據(jù)執(zhí)行初步處理而獲得的狀態(tài)數(shù)據(jù)可包括在較低層中。例如,可從通過相機獲得的圖像數(shù)據(jù)獲得多條狀態(tài)數(shù)據(jù)(諸如,眼睛張開程度、面部的正視程度、身體姿態(tài)的正視程度或笑容程度)??蓪⒍鄺l狀態(tài)數(shù)據(jù)的狀態(tài)值確定為0到1之間的值。
可從較低層的狀態(tài)數(shù)據(jù)獲得的狀態(tài)數(shù)據(jù)可包括在中間層中。例如,可從較低層的狀態(tài)數(shù)據(jù)或同一層的多條狀態(tài)數(shù)據(jù),獲得諸如關(guān)于內(nèi)容的集中度、興趣度和愉悅度的多條狀態(tài)數(shù)據(jù)。在關(guān)于內(nèi)容的集中度高的情況下,很可能興趣度也高。因此,可通過彼此參考來獲得狀態(tài)數(shù)據(jù)(諸如,集中度或興趣度)。
可從中間層或較低層的狀態(tài)數(shù)據(jù)獲得的狀態(tài)數(shù)據(jù)可包括在較高層中。隨著狀態(tài)數(shù)據(jù)的層變得更高,與傳感器數(shù)據(jù)的關(guān)系會變?nèi)?。因此,可從另一層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù),而不是直接從傳感器數(shù)據(jù)導(dǎo)出較高層的狀態(tài)數(shù)據(jù)。此外,可基于單獨為狀態(tài)數(shù)據(jù)提供的傳感器所獲得的傳感器數(shù)據(jù),來獲得較高層的狀態(tài)數(shù)據(jù)。諸如壓力程度、疲勞度、厭煩度或主動程度的狀態(tài)數(shù)據(jù)可包括在較高層中。
中間層的狀態(tài)數(shù)據(jù)或較高層的狀態(tài)數(shù)據(jù)可指示用戶的主觀情緒。因此,可基于對用戶執(zhí)行的調(diào)查結(jié)果或從單獨提供的專用傳感器獲得的數(shù)據(jù),產(chǎn)生用于中間層或較高層的估計模型。
指示用戶屬性的狀態(tài)數(shù)據(jù)可包括在用戶屬性層中。例如,可包括關(guān)于友誼、家庭構(gòu)造、年齡等的狀態(tài)數(shù)據(jù)。可基于針對用戶收集的信息來確定用戶屬性層的狀態(tài)數(shù)據(jù)。
可基于用戶屬性層的狀態(tài)數(shù)據(jù)確定較高層的狀態(tài)數(shù)據(jù)。例如,年長用戶可能容易疲勞或厭煩。因此,可基于關(guān)于用戶屬性中的年齡的狀態(tài)數(shù)據(jù),確定較高層的關(guān)于疲勞度或厭煩度的狀態(tài)數(shù)據(jù)。
圖4是示出根據(jù)實施例的、在省略部分傳感器數(shù)據(jù)時獲得狀態(tài)數(shù)據(jù)的示例的示圖。
參照圖4,根據(jù)相機的操作狀態(tài),可從傳感器數(shù)據(jù)省略可通過相機獲得的圖像數(shù)據(jù)。因此,雖然可能無法獲取可通過相機獲得的關(guān)于眼睛張開程度的狀態(tài)數(shù)據(jù),但可基于麥克風(fēng)和智能電話的傳感器數(shù)據(jù)獲得較低層的其它狀態(tài)數(shù)據(jù)。此外,可基于較低層的除關(guān)于眼睛張開程度的狀態(tài)數(shù)據(jù)以外的其它狀態(tài)數(shù)據(jù),獲得中間層的關(guān)于集中度的狀態(tài)數(shù)據(jù)。
因此,即使在省略了部分傳感器數(shù)據(jù)的值時,裝置100也可根據(jù)估計模型基于其它傳感器數(shù)據(jù)獲得狀態(tài)數(shù)據(jù)。
以下將參照圖5至圖11詳細描述獲得狀態(tài)數(shù)據(jù)的方法。
圖5是示出根據(jù)實施例的基于其它狀態(tài)數(shù)據(jù)獲得狀態(tài)數(shù)據(jù)的示例的示圖。
參照圖5,可從四條狀態(tài)數(shù)據(jù)獲得關(guān)于集中度的狀態(tài)數(shù)據(jù)。ei表示第i狀態(tài)數(shù)據(jù)的狀態(tài)值,ci表示第i狀態(tài)數(shù)據(jù)的可靠性。可如下面的等式1和等式2所表示地、計算關(guān)于集中度的狀態(tài)數(shù)據(jù)中包括的ei值和ci值。
[等式1]
[等式2]
在等式1和等式2中,wji表示將應(yīng)用于第j狀態(tài)數(shù)據(jù)的加權(quán)值以便計算第i狀態(tài)數(shù)據(jù)。加權(quán)值可以是0到1的范圍內(nèi)的值。n表示將用于計算第i狀態(tài)數(shù)據(jù)的狀態(tài)數(shù)據(jù)的總條數(shù)。以下,為方便起見,第i條狀態(tài)數(shù)據(jù)可被稱為“第i狀態(tài)數(shù)據(jù)”。
可如下面的等式3和等式4所表示地來獲得e5和c5,它們分別為關(guān)于集中度的狀態(tài)數(shù)據(jù)中包含的狀態(tài)值和可靠性值。
[等式3]
[等式4]
圖6至圖11是示出根據(jù)實施例的獲得狀態(tài)數(shù)據(jù)的示例的示圖。
參照圖6,可如下面的等式5和等式6所表示地來獲得e5和c5,它們分別為關(guān)于集中度的狀態(tài)數(shù)據(jù)(第五狀態(tài)數(shù)據(jù))中包含的狀態(tài)值和可靠性值。
[等式5]
[等式6]
如圖6所示,由于第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的加權(quán)值為1,因此,第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)有很強的影響。此外,由于第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的可靠性值為1,因此第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的值具有高可靠性。因此,第五狀態(tài)數(shù)據(jù)的狀態(tài)值和可靠性值可被確定為作為最大值的1。
參照圖7,可如下面的等式7和等式8所表示地來獲得e5和c5,它們分別為關(guān)于集中度的狀態(tài)數(shù)據(jù)(第五狀態(tài)數(shù)據(jù))中包含的狀態(tài)值和可靠性值。
[等式7]
[等式8]
如圖7所示,由于第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的加權(quán)值為1,因此第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)有較強的影響。此外,由于第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的可靠性值為1,因此第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值具有較高可靠性。然而,由于第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的可靠性值為0,因此第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的值具有較低可靠性。例如,當能夠獲得第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的傳感器無法工作或處于非工作狀態(tài)時,其可靠性值可被確定為0。
可根據(jù)可靠性較高的第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值,將第五狀態(tài)數(shù)據(jù)的狀態(tài)值確定為1。然而,由于對第五狀態(tài)數(shù)據(jù)具有強影響的第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的可靠性較低。因此,第五狀態(tài)數(shù)據(jù)的可靠性值可被確定為0.5。
關(guān)于第五狀態(tài)數(shù)據(jù)(集中度),因為狀態(tài)值可根據(jù)可靠性較高的第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值來確定,所以可評述為“由于眼睛睜大且面朝前方,因此集中度較高”。對第五狀態(tài)數(shù)據(jù)的評述可顯示在顯示器上,以便向用戶提供該評述。
參照圖8,可如下面的等式9和等式10所表示來獲得e5和c5,它們分別為關(guān)于集中度的狀態(tài)數(shù)據(jù)(第五狀態(tài)數(shù)據(jù))中包含的狀態(tài)值和可靠性值。
[等式9]
[等式10]
如圖8所示,由于第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的加權(quán)值為1,因此第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有較強影響。然而,由于第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的加權(quán)值為0.1,因此第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有較弱影響。此外,由于第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的可靠性值為1,因此第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值具有較高可靠性。然而,由于第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的可靠性值為0,因此,第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的值具有較低可靠性。
可根據(jù)可靠性較高的第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值,將第五狀態(tài)數(shù)據(jù)的狀態(tài)值確定為1。雖然第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的可靠性低,但第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有較弱影響,因此第五狀態(tài)數(shù)據(jù)的可靠性值可被確定為0.91,這是較高的值。
參照圖9,可如下面的等式11和等式12所表示地來獲得的e5和c5,它們分別為關(guān)于集中度的狀態(tài)數(shù)據(jù)(第五狀態(tài)數(shù)據(jù))中包含的狀態(tài)值和可靠性值。
[等式11]
[等式12]
如圖9所示,由于第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的加權(quán)值為1,因此第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有較強影響。然而,由于第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的加權(quán)值為0.1,因此第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有較弱影響。此外,由于第一狀態(tài)數(shù)據(jù)至第三狀態(tài)數(shù)據(jù)的可靠性值為0,因此第一狀態(tài)數(shù)據(jù)至第三狀態(tài)數(shù)據(jù)的值具有較低可靠性。然而,由于第四狀態(tài)數(shù)據(jù)的可靠性值為1,因此第四狀態(tài)數(shù)據(jù)的值具有較高可靠性。
可根據(jù)可靠性較高的第四狀態(tài)數(shù)據(jù)的值將第五狀態(tài)數(shù)據(jù)的狀態(tài)值確定為1。然而,由于僅對第五狀態(tài)數(shù)據(jù)具有弱影響的第四狀態(tài)數(shù)據(jù)的值具有高可靠性,因此第五狀態(tài)數(shù)據(jù)的可靠性值可被確定為0.05,這是較低的值。
參照圖10,可如下面的等式13和等式14所表示地來獲得e5和c5,它們分別為關(guān)于集中度的狀態(tài)數(shù)據(jù)(第五狀態(tài)數(shù)據(jù))中包含的狀態(tài)值和可靠性值。
[等式13]
[等式14]
如圖10所示,由于第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的加權(quán)值為1,因此第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)有較強的影響。然而,由于第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的加權(quán)值為0.1,因此第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有弱影響。此外,由于第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的可靠性值為1,因此,第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的值具有較高可靠性。
由于第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的值均具有較高可靠性,因此可根據(jù)具有較強影響的第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值將第五狀態(tài)數(shù)據(jù)的狀態(tài)值確定為0.09。由于第一狀態(tài)數(shù)據(jù)至第四狀態(tài)數(shù)據(jù)的值都具有高可靠性,因此第五狀態(tài)數(shù)據(jù)的可靠性值可被確定為1,這是較高的值。
關(guān)于第五狀態(tài)數(shù)據(jù)(集中度),因為狀態(tài)值可根據(jù)具有較強影響的第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值來確定,所以可評述為“由于眼睛幾乎閉著且面部并非向前遙望,因此集中度較低”。
參照圖11,可如下面的等式15和等式16所表示地來獲得e5和c5,它們分別為包括在關(guān)于集中度的狀態(tài)數(shù)據(jù)(第五狀態(tài)數(shù)據(jù))中的狀態(tài)值和可靠性值。
[等式15]
[等式16]
如圖11所示,由于第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的加權(quán)值為1,因此第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有較強影響。然而,由于第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的加權(quán)值為0.1,第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)對第五狀態(tài)數(shù)據(jù)具有較弱影響。此外,由于第一狀態(tài)數(shù)據(jù)、第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的可靠性值為1,因此第一狀態(tài)數(shù)據(jù)、第三狀態(tài)數(shù)據(jù)和第四狀態(tài)數(shù)據(jù)的值具有較高的可靠性。然而,由于第二狀態(tài)數(shù)據(jù)的可靠性值為0,因此,第二狀態(tài)數(shù)據(jù)的值具有較低可靠性。
可根據(jù)具有較強影響的第一狀態(tài)數(shù)據(jù)和第二狀態(tài)數(shù)據(jù)的值將第五狀態(tài)數(shù)據(jù)的狀態(tài)值確定為0.17。由于第二狀態(tài)數(shù)據(jù)的可靠性較低導(dǎo)致具有較低狀態(tài)值的第二狀態(tài)數(shù)據(jù)的影響降低,因此圖11的第五狀態(tài)數(shù)據(jù)的狀態(tài)值可被確定為大于圖10的第五狀態(tài)數(shù)據(jù)的狀態(tài)值的值。此外,由于具有較大加權(quán)值的第二狀態(tài)數(shù)據(jù)的可靠性較低,因此圖11的第五狀態(tài)數(shù)據(jù)的可靠性值可被確定為小于圖10的第五狀態(tài)數(shù)據(jù)的可靠性值的值0.55。因此,當在連接源的多條狀態(tài)數(shù)據(jù)中具有較低可靠性的狀態(tài)數(shù)據(jù)的權(quán)重較高時,連接目的地的狀態(tài)數(shù)據(jù)的可靠性會降低。
將參照圖12和圖13詳細描述基于預(yù)測模型獲得特定時間點的狀態(tài)數(shù)據(jù)的方法。
圖12是示出根據(jù)實施例的預(yù)測模型的示例的示圖。
參照圖12,預(yù)測模型可包括用于從先前時間點的狀態(tài)數(shù)據(jù)獲得特定時間點的狀態(tài)數(shù)據(jù)的信息。在圖12的曲線圖中,可根據(jù)箭頭的連接源的值來確定連接目的地的值,寫在箭頭上的值指示加權(quán)值。通過預(yù)測模型確定的狀態(tài)數(shù)據(jù)的狀態(tài)值可用于對通過估計模型確定的狀態(tài)值進行校正。
因為在相當長的時間內(nèi)用戶的狀態(tài)類似地持續(xù),所以在鄰近時間點的多條同類狀態(tài)數(shù)據(jù)會彼此類似??筛鶕?jù)每條狀態(tài)數(shù)據(jù)相對于時間的變化來確定預(yù)測模型。與用于產(chǎn)生估計模型的裝置相同,用于產(chǎn)生預(yù)測模型的裝置可通過向用戶提問或收集關(guān)于用戶的信息來收集與每個節(jié)點相關(guān)聯(lián)的數(shù)據(jù)。用于產(chǎn)生預(yù)測模型的裝置可基于使用收集的數(shù)據(jù)進行學(xué)習(xí)的結(jié)果,來產(chǎn)生預(yù)測模型。學(xué)習(xí)方法的示例可包括利用貝葉斯模型的參數(shù)學(xué)習(xí)方法和利用遺傳算法的最優(yōu)解確定方法。
圖12的預(yù)測模型可包括在時間點t-2、t-1、t和t+1的每層的多條同類狀態(tài)數(shù)據(jù)。此外,預(yù)測模型可包括關(guān)于用于獲得多條狀態(tài)數(shù)據(jù)的狀態(tài)數(shù)據(jù)和權(quán)重的信息。
可使用下面的等式17來獲得可根據(jù)預(yù)測模型獲得的時間點t的狀態(tài)數(shù)據(jù)a的狀態(tài)值pt(a)。
[等式17]
裝置100可使用值pt(a)對值e(a)進行校正,值e(a)為通過估計模型獲得的狀態(tài)值。例如,裝置100可將狀態(tài)數(shù)據(jù)a的狀態(tài)值校正為pt(a)和e(a)的平均值。
可將時間點t的狀態(tài)數(shù)據(jù)a的可靠性值ct(a)確定為根據(jù)估計模型使用等式2計算出的狀態(tài)數(shù)據(jù)a的可靠性值c(a)。
n表示在時間點t可被參考以便獲得狀態(tài)數(shù)據(jù)a的狀態(tài)值的的時間寬度。pt(a)表示在時間點t的狀態(tài)數(shù)據(jù)a的狀態(tài)值,ct(a)表示在時間點t的狀態(tài)數(shù)據(jù)a的可靠性值。wk,t(a)表示對于在時間點t的狀態(tài)數(shù)據(jù)a能夠被應(yīng)用于在時間點k的狀態(tài)數(shù)據(jù)a的加權(quán)值。
例如,裝置100可基于在時間點t-2和t-1的關(guān)于家庭構(gòu)造的狀態(tài)數(shù)據(jù),獲得在時間點t的關(guān)于用戶屬性層的家庭構(gòu)造的狀態(tài)值。裝置100可如下面的等式18所表示通過使用在時間點t-2和t-1的關(guān)于家庭構(gòu)造的狀態(tài)數(shù)據(jù),來計算在時間點t的關(guān)于家庭構(gòu)造的狀態(tài)值。
[等式18]
由于在預(yù)測模型中屬于用戶屬性層的多條狀態(tài)數(shù)據(jù)隨著時間的變化較少,因此可將能夠在時間點之間應(yīng)用的加權(quán)值確定為較高值。由于隨時間的變化隨著層變低而增加,因此可將能夠在時間點之間應(yīng)用的加權(quán)值確定為較低值。
圖13是根據(jù)實施例的基于預(yù)測模型獲得特定時間點的狀態(tài)數(shù)據(jù)的方法的流程圖。
參照圖13,在操作s1310,裝置100可獲取估計模型,估計模型包括用于從傳感器數(shù)據(jù)獲得存在于多個層中的多條狀態(tài)數(shù)據(jù)的信息。在操作s1320,裝置100可獲得傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可包括通過傳感器獲得的信息。
在操作s1330,裝置100可基于估計模型從傳感器數(shù)據(jù)獲得每層的狀態(tài)數(shù)據(jù)。裝置100可從傳感器數(shù)據(jù)獲得較低層的狀態(tài)數(shù)據(jù),或從較低層或中間層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù)。裝置100可獲得用戶屬性層的多條狀態(tài)數(shù)據(jù),以便根據(jù)估計模型獲得較高層的狀態(tài)數(shù)據(jù)。
在操作s1340,裝置100可獲得預(yù)測模型,預(yù)測模型包括用于從先前時間點的狀態(tài)數(shù)據(jù)獲得特定時間點的狀態(tài)數(shù)據(jù)的信息。在操作s1350,裝置100可通過使用預(yù)測模型從至少一個時間點的狀態(tài)數(shù)據(jù)獲得特定時間點的狀態(tài)數(shù)據(jù)。裝置100可基于鄰近時間點的多條狀態(tài)數(shù)據(jù)之間存在相似性的事實,通過使用在另一時間點的狀態(tài)數(shù)據(jù)來獲得在特定時間點的狀態(tài)數(shù)據(jù)。在另一時間點的狀態(tài)數(shù)據(jù)可以是與在特定時間點的狀態(tài)數(shù)據(jù)相同類型的狀態(tài)數(shù)據(jù)。裝置100可通過使用利用預(yù)測模型獲得的狀態(tài)數(shù)據(jù),來對使用估計模型獲得的狀態(tài)數(shù)據(jù)進行校正。
以下將參照圖14至圖16詳細描述基于估計模型來獲得狀態(tài)數(shù)據(jù)的方法,其中估計模型是根據(jù)傳感器數(shù)據(jù)是否包括噪聲而選擇的。
圖14是根據(jù)實施例的用于獲得狀態(tài)數(shù)據(jù)的裝置500的內(nèi)部結(jié)構(gòu)的框圖。
圖14的裝置500可對應(yīng)于圖1的裝置100。裝置500可基于傳感器數(shù)據(jù)選擇估計模型,并通過使用選擇的估計模型來獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)。與圖1的裝置100不同,可基于傳感器數(shù)據(jù)選擇多個估計模型中的一個或更多個。
參照圖14,裝置500可包括傳感器數(shù)據(jù)獲取單元501、傳感器數(shù)據(jù)預(yù)處理單元502、狀態(tài)識別引擎選擇單元503、狀態(tài)數(shù)據(jù)獲取單元504、內(nèi)容接收單元505、內(nèi)容顯示單元506、內(nèi)容偏好確定單元507、內(nèi)容偏好發(fā)送單元508、內(nèi)容推薦結(jié)果產(chǎn)生單元509和內(nèi)容推薦結(jié)果顯示單元510。
圖14中的傳感器數(shù)據(jù)獲取單元501、狀態(tài)數(shù)據(jù)獲取單元504、內(nèi)容接收單元505、內(nèi)容顯示單元506、內(nèi)容偏好確定單元507、內(nèi)容偏好發(fā)送單元508、內(nèi)容推薦結(jié)果產(chǎn)生單元509和內(nèi)容推薦結(jié)果顯示單元510,可與圖1中的傳感器數(shù)據(jù)獲取單元101、狀態(tài)數(shù)據(jù)獲取單元103、內(nèi)容接收單元104、內(nèi)容顯示單元105、內(nèi)容偏好確定單元106、內(nèi)容偏好發(fā)送單元107、內(nèi)容推薦結(jié)果產(chǎn)生單元108和內(nèi)容推薦結(jié)果顯示單元109相對應(yīng)。不重復(fù)參照圖1提供的描述。
傳感器數(shù)據(jù)獲取單元501可獲得傳感器數(shù)據(jù),傳感器數(shù)據(jù)包括關(guān)于傳感器感測結(jié)果的信息。傳感器可感測用戶或用戶的周圍環(huán)境,并產(chǎn)生感測結(jié)果作為傳感器數(shù)據(jù)。另外,傳感器數(shù)據(jù)還可將關(guān)于噪聲包含度的信息包括在通過傳感器感測的信息中。因此,裝置100可基于傳感器數(shù)據(jù)中的噪聲包含度來獲得用戶的狀態(tài)數(shù)據(jù)。
傳感器數(shù)據(jù)預(yù)處理單元502可對通過傳感器數(shù)據(jù)獲取單元501獲得的傳感器數(shù)據(jù)執(zhí)行預(yù)處理。傳感器數(shù)據(jù)預(yù)處理單元502可從傳感器數(shù)據(jù)提取關(guān)于噪聲包含度的信息。例如,傳感器數(shù)據(jù)預(yù)處理單元502可通過分析傳感器數(shù)據(jù)來確定噪聲包含度。
此外,傳感器數(shù)據(jù)預(yù)處理單元502可確定是否適合從傳感器數(shù)據(jù)提取狀態(tài)數(shù)據(jù)。當用戶尚未被拍攝到傳感器數(shù)據(jù)的圖像數(shù)據(jù)中時,可能難以從圖像數(shù)據(jù)獲得用戶的狀態(tài)數(shù)據(jù)。因此,傳感器數(shù)據(jù)預(yù)處理單元502可產(chǎn)生指示如下事項的信息:可從傳感器數(shù)據(jù)直接獲得的較低層的狀態(tài)數(shù)據(jù)是否具有有效值;或者,較低層的狀態(tài)數(shù)據(jù)中的噪聲包含度。
狀態(tài)識別引擎選擇單元503可基于傳感器數(shù)據(jù)中的噪聲包含度或較低層的狀態(tài)數(shù)據(jù),選擇將用于獲得狀態(tài)數(shù)據(jù)的估計模型。用于產(chǎn)生估計模型的裝置可通過學(xué)習(xí)針對用戶收集的信息,來產(chǎn)生用于用戶的多個估計模型??梢砸愿鞣N形式產(chǎn)生估計模型,取決于用戶或周圍環(huán)境的狀態(tài)。至少一個狀態(tài)識別引擎可基于與該狀態(tài)識別引擎相對應(yīng)的估計模型,來獲得用戶的狀態(tài)數(shù)據(jù)。
從包含噪聲的傳感器數(shù)據(jù)獲得的狀態(tài)數(shù)據(jù)或包含噪聲的較低層的狀態(tài)數(shù)據(jù),可能由于噪聲而不能包括適合的數(shù)據(jù)。因此,狀態(tài)識別引擎選擇單元503可選擇這樣的估計模型:所述估計模型不包括包含噪聲的傳感器數(shù)據(jù)或包含噪聲的較低層的狀態(tài)數(shù)據(jù)。當通過狀態(tài)識別引擎選擇單元503選擇估計模型時,可通過與選擇的估計模型相對應(yīng)的狀態(tài)識別引擎來獲得用戶的狀態(tài)數(shù)據(jù)。
狀態(tài)數(shù)據(jù)獲取單元504可包括至少一個能夠獲得用戶的狀態(tài)數(shù)據(jù)的狀態(tài)識別引擎??赏ㄟ^與由狀態(tài)識別引擎選擇單元503選擇的估計模型相對應(yīng)的狀態(tài)識別引擎,來獲得用戶的狀態(tài)數(shù)據(jù)。
內(nèi)容接收單元505可從外部接收內(nèi)容或加載存儲在裝置500的存儲器中的內(nèi)容。
內(nèi)容顯示單元506可通過顯示器顯示通過內(nèi)容接收單元505接收的內(nèi)容。當內(nèi)容包括音頻信號時,內(nèi)容顯示單元506可通過揚聲器輸出內(nèi)容。此外,內(nèi)容顯示單元506可基于每層的狀態(tài)數(shù)據(jù),通過顯示器顯示關(guān)于將被提供給用戶的服務(wù)的信息,或通過振動器或揚聲器將關(guān)于將被提供給用戶的服務(wù)的信息輸出為振動或聲音。
內(nèi)容偏好確定單元507可使用通過狀態(tài)數(shù)據(jù)獲取單元504獲得的狀態(tài)數(shù)據(jù)來計算用戶的內(nèi)容偏好。
內(nèi)容推薦結(jié)果產(chǎn)生單元509可基于關(guān)于用戶的內(nèi)容偏好的信息,產(chǎn)生關(guān)于將被推薦給用戶的內(nèi)容的信息。
內(nèi)容推薦結(jié)果顯示單元510可通過顯示器顯示:內(nèi)容推薦結(jié)果產(chǎn)生單元509產(chǎn)生的關(guān)于將被推薦給用戶的內(nèi)容的信息。
圖15是根據(jù)實施例的使用基于傳感器數(shù)據(jù)中的噪聲包含度所選擇的估計模型、來獲得狀態(tài)數(shù)據(jù)的方法的流程圖。
參照圖15,在操作s1510,裝置500可獲得傳感器數(shù)據(jù)和至少一個包括用于獲得狀態(tài)數(shù)據(jù)的信息的估計模型。估計模型可包括關(guān)于基于哪些數(shù)據(jù)獲得每個狀態(tài)數(shù)據(jù)的信息。至少一個估計模型可根據(jù)產(chǎn)生估計模型時的用戶的狀態(tài)或周圍環(huán)境,而包括不同的多條信息。
在操作s1520,裝置500可基于傳感器數(shù)據(jù)是否包含噪聲,來選擇用于獲得狀態(tài)數(shù)據(jù)的估計模型。在裝置500中,可根據(jù)傳感器數(shù)據(jù)中的噪聲包含度,將不同的加權(quán)值應(yīng)用于使用被確定為包含噪聲的傳感器數(shù)據(jù)的估計模型所獲得的狀態(tài)數(shù)據(jù)。
在操作s1530,裝置500可基于在操作s1520中選擇的估計模型來從傳感器數(shù)據(jù)獲得每層的狀態(tài)數(shù)據(jù)。分別與選擇的估計模型相應(yīng)的狀態(tài)識別引擎,可基于與所述狀態(tài)識別引擎相應(yīng)的估計模型,來從傳感器數(shù)據(jù)獲得狀態(tài)數(shù)據(jù)。
此外,裝置500可基于每層的狀態(tài)數(shù)據(jù),通過顯示器顯示關(guān)于將被提供給用戶的服務(wù)的信息,或通過振動器或揚聲器將關(guān)于將被提供給用戶的服務(wù)的信息輸出為振動或聲音。
圖16是示出根據(jù)實施例的、基于根據(jù)傳感器數(shù)據(jù)中的噪聲包含度所選擇的估計模型來獲得狀態(tài)數(shù)據(jù)的示例的示圖。
參照圖16,可將來自多個傳感器300的傳感器數(shù)據(jù)傳輸?shù)絺鞲衅鲾?shù)據(jù)預(yù)處理單元502。傳感器數(shù)據(jù)預(yù)處理單元502可從傳感器數(shù)據(jù)提取較低層的狀態(tài)數(shù)據(jù)(諸如,眼睛方向、眼睛張開程度、笑容程度、身體姿態(tài)、運動程度或語音音量)。當傳感器數(shù)據(jù)中包含噪聲時,可確定從傳感器數(shù)據(jù)獲得的較低層的狀態(tài)數(shù)據(jù)也包含噪聲。下文中結(jié)合圖16的描述是在如所示的下述假設(shè)下提供的:基于較低層的狀態(tài)數(shù)據(jù)中的噪聲包含度來獲得狀態(tài)數(shù)據(jù)。
傳感器數(shù)據(jù)預(yù)處理單元502可確定每個較低層的狀態(tài)數(shù)據(jù)中的噪聲包含度??筛鶕?jù)包括在傳感器數(shù)據(jù)中的關(guān)于傳感器的操作狀態(tài)或傳感器的周圍環(huán)境的信息,來確定關(guān)于較低層的狀態(tài)數(shù)據(jù)中的噪聲包含度的信息。例如,傳感器數(shù)據(jù)預(yù)處理單元502可產(chǎn)生指示較低層的狀態(tài)數(shù)據(jù)中的噪聲包含度的信息。
參照圖16,關(guān)于笑容程度和身體姿態(tài)的狀態(tài)數(shù)據(jù)可能不具有有效值。因此,關(guān)于用于眼睛方向、眼睛張開程度、運動程度或語音音量的狀態(tài)數(shù)據(jù)的信息,可包括指示如下情況的信息:狀態(tài)數(shù)據(jù)不包含噪聲,或者狀態(tài)數(shù)據(jù)包含的噪聲小到足以確定狀態(tài)數(shù)據(jù)的值為有效。此外,關(guān)于用于笑容程度和身體姿態(tài)的狀態(tài)數(shù)據(jù)的信息,可包括指示因為狀態(tài)數(shù)據(jù)包含噪聲導(dǎo)致狀態(tài)數(shù)據(jù)無效的信息。
狀態(tài)識別引擎選擇單元503可通過基于傳感器數(shù)據(jù)預(yù)處理單元502產(chǎn)生的、關(guān)于較低層的狀態(tài)數(shù)據(jù)中的噪聲包含度的信息選擇估計模型,來選擇狀態(tài)識別引擎??梢砸詫⒚總€狀態(tài)識別引擎的加權(quán)值確定為0到1之間的值的方式,來執(zhí)行對狀態(tài)識別引擎的選擇。狀態(tài)識別引擎選擇單元503可將用于所選擇的狀態(tài)識別引擎的加權(quán)值確定為大于0且小于或等于1的值,并將用于未選擇的狀態(tài)識別引擎的加權(quán)值確定為0。
每個狀態(tài)識別引擎可通過使用與其相應(yīng)的估計模型,從較低層的狀態(tài)數(shù)據(jù)輸出較高層的狀態(tài)數(shù)據(jù)。在圖16中,可通過輸入節(jié)點1至輸入節(jié)點6將較低層的狀態(tài)數(shù)據(jù)輸入到狀態(tài)識別引擎。此外,可通過輸出節(jié)點1至輸出節(jié)點9從狀態(tài)識別引擎輸出較高層的狀態(tài)數(shù)據(jù)。狀態(tài)識別引擎的中間節(jié)點可與上述的中間層的狀態(tài)數(shù)據(jù)相對應(yīng)。中間節(jié)點可能不包括在狀態(tài)識別引擎中,這取決于估計模型。圖16中示出的狀態(tài)識別引擎僅是示例,每個狀態(tài)識別引擎可通過使用各種類型的估計模型來獲得狀態(tài)數(shù)據(jù)。
可如下面的等式19所表示地根據(jù)用于狀態(tài)識別引擎的加權(quán)值,來最終確定可通過輸出節(jié)點1至輸出節(jié)點9輸出的較高層的狀態(tài)數(shù)據(jù)。
[等式19]
r是可最終從狀態(tài)數(shù)據(jù)獲取單元504輸出的較高層的狀態(tài)數(shù)據(jù),n是狀態(tài)識別引擎的總數(shù)。wi是將應(yīng)用于狀態(tài)識別引擎i的加權(quán)值,ri表示從狀態(tài)識別引擎i輸出的狀態(tài)數(shù)據(jù)。
狀態(tài)識別引擎選擇單元503可將用于包括輸入節(jié)點3和節(jié)點4的狀態(tài)識別引擎c、d、e、f和g的加權(quán)值確定為0,其中,輸入節(jié)點3和節(jié)點4分別與關(guān)于笑容程度和身體姿態(tài)的狀態(tài)數(shù)據(jù)相對應(yīng)。另外,狀態(tài)識別引擎選擇單元503可將用于包括剩余的輸入節(jié)點1、2、5和6的狀態(tài)識別引擎a、b、h和i的加權(quán)值確定為非零值。狀態(tài)識別引擎選擇單元503不限于上述示例,并可根據(jù)狀態(tài)數(shù)據(jù)中的噪聲包含度而不同地確定加權(quán)值。
此外,狀態(tài)識別引擎選擇單元503可將一些狀態(tài)識別引擎的加權(quán)值確定為0,而不管狀態(tài)數(shù)據(jù)中的噪聲包含度如何,以便根據(jù)用戶的狀態(tài)排除包括不適合獲得狀態(tài)數(shù)據(jù)的估計模型的狀態(tài)識別引擎。
狀態(tài)數(shù)據(jù)獲取單元504可基于通過狀態(tài)識別引擎選擇單元503確定的加權(quán)值,輸出從每個狀態(tài)識別引擎輸出的較高層的狀態(tài)數(shù)據(jù)。
裝置100可基于通過狀態(tài)數(shù)據(jù)獲取單元504獲得的較高層的狀態(tài)數(shù)據(jù),通過顯示器顯示關(guān)于將被提供給用戶的服務(wù)的信息,或通過振動器或揚聲器將關(guān)于將被提供給用戶的服務(wù)的信息輸出為振動或聲音。
圖17是根據(jù)實施例的用于獲得狀態(tài)數(shù)據(jù)的裝置的內(nèi)部結(jié)構(gòu)的框圖。
參照圖17,裝置1700可包括顯示器1710、控制器1720和傳感器1730。
顯示器1710可基于通過裝置1700獲得的狀態(tài)數(shù)據(jù),顯示關(guān)于將被提供給用戶的服務(wù)的信息。此外,顯示器1710可根據(jù)用戶需求顯示各種內(nèi)容。
此外,裝置1700不限于上述示例,裝置1700可基于每層的狀態(tài)數(shù)據(jù),通過顯示器顯示關(guān)于將被提供給用戶的服務(wù)的信息,或通過振動器或揚聲器將關(guān)于將被提供給用戶的服務(wù)的信息輸出為振動或聲音。
控制器1720可通過使用估計模型從傳感器數(shù)據(jù)獲得屬于多個層的狀態(tài)數(shù)據(jù)。可從傳感器數(shù)據(jù)獲得較低層的狀態(tài)數(shù)據(jù),并且可從較低層的狀態(tài)數(shù)據(jù)獲得較高層的狀態(tài)數(shù)據(jù)。控制器1720可基于較高層的狀態(tài)數(shù)據(jù)向用戶提供服務(wù)。
此外,控制器1720可通過使用預(yù)測模型從先前時間點的狀態(tài)數(shù)據(jù)獲得特定時間點的狀態(tài)數(shù)據(jù)??刂破?720可使用利用預(yù)測模型獲得的狀態(tài)數(shù)據(jù),對使用估計模型獲得的狀態(tài)數(shù)據(jù)的狀態(tài)值進行校正。
此外,控制器1720可基于傳感器數(shù)據(jù)中的噪聲包含度選擇估計模型,并基于選擇的估計模型獲得狀態(tài)數(shù)據(jù)??刂破?720可基于傳感器數(shù)據(jù)中的噪聲包含度,確定將應(yīng)用于從每個估計模型獲得的狀態(tài)數(shù)據(jù)的加權(quán)值。
傳感器1730可獲得包括關(guān)于用戶或用戶的周圍環(huán)境的信息的傳感器數(shù)據(jù)。傳感器1730可包括各種類型的傳感器,諸如,相機、麥克風(fēng)、位置檢測傳感器和加速度傳感器。控制器1720可基于傳感器1730獲得的傳感器數(shù)據(jù)獲得用戶的狀態(tài)數(shù)據(jù)。
根據(jù)實施例,即使在傳感器數(shù)據(jù)包含噪聲或未獲取傳感器數(shù)據(jù)時,也可有效地獲得指示用戶狀態(tài)的狀態(tài)數(shù)據(jù)。
根據(jù)實施例的方法可被實施為可由各種計算單元執(zhí)行并記錄在計算機可讀記錄介質(zhì)上的程序指令。計算機可讀記錄介質(zhì)的示例可單獨地包括程序指令、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu),或者包括程序指令、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)的組合。記錄在計算機可讀記錄介質(zhì)上的程序指令可針對本發(fā)明而專門設(shè)計和配置,或可以是計算機軟件領(lǐng)域的普通技術(shù)人員已知或可用的。計算機可讀記錄介質(zhì)的示例可包括磁介質(zhì)(例如,硬盤、軟盤、磁帶等)、光學(xué)介質(zhì)(例如,cd-rom、dvd等)、磁光介質(zhì)(例如,軟光盤等)和專門配置為存儲和執(zhí)行程序指令的硬件裝置(例如,rom、ram、閃存等)。程序指令的示例不僅可包括通過編譯器準備的機器語言代碼,還包括可由計算機使用解釋程序執(zhí)行的高級代碼。
雖然已經(jīng)重點描述了應(yīng)用于各個實施例的本發(fā)明的新特征,但本領(lǐng)域的技術(shù)人員將理解,在不脫離本發(fā)明的范圍的情況下,可對上述設(shè)備和方法進行各種刪除、替代和修改。因此,本發(fā)明的范圍由權(quán)利要求來限定。權(quán)利要求的等同物內(nèi)的所有修改落入本發(fā)明的范圍內(nèi)。