本發(fā)明涉及計算機應用、人機交互領域，尤其涉及一種根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)及方法。

背景技術：

智能手機等移動設備以及電視、電腦等多媒體設備的廣泛應用給人們生活帶來了巨大的便利，同時也帶來了一些問題。顯示器件從傳統(tǒng)的crt顯示器到現(xiàn)在的led、qd等，屏幕像素越來越高，人們對手機的過度依賴或者不正當?shù)氖褂梅绞浇o用戶的健康產(chǎn)生了負面的影響。比如長時間近距離的觀看手機、平板、電視等會產(chǎn)生近視或使近視加深，經(jīng)常性地低頭使用手機、平板等會引起勁椎病等健康問題。同時，使用過程中用戶的眼睛到屏幕的距離不同，屏幕的最佳亮度也不同?，F(xiàn)有技術中雖然有嘗試解決這些問題的方案，但是只能確定用戶距離的遠近，不能準確判斷用戶使用時的狀態(tài)信息，所以也無法解決根據(jù)用戶狀態(tài)信息更新應用的問題。

技術實現(xiàn)要素：

本發(fā)明為了解決現(xiàn)有技術中不能準確判斷用戶狀態(tài)信息，以及無法根據(jù)用戶狀態(tài)信息更新應用的問題，提供一種根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)及方法。

為了解決上述問題，本發(fā)明采用的技術方案如下所述：

一種根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)，包括：至少一個深度獲取裝置，所述深度獲取裝置用于獲取包含用戶頭部的深度圖像；顯示器，用于應用的顯示；至少一個處理器，用于根據(jù)所述深度圖像確定用戶的狀態(tài)信息，且基于所述狀態(tài)信息更新應用。

優(yōu)選地，所述系統(tǒng)還包括微電子機械系統(tǒng)，所述微電子機械系統(tǒng)包括加速度計、陀螺儀、磁力計中的至少一種，用于獲取包括重力方向的信息。

優(yōu)選地，所述系統(tǒng)還包括計時器，所述計時器至少包括一個計時單元，用于獲取時間信息，所述時間信息是所述用戶狀態(tài)信息達到所述閾值信息的持續(xù)時間和/或用戶持續(xù)使用的時間。

優(yōu)選地，所述用戶的狀態(tài)信息包括用戶頭部的距離及方位，所述距離包括用戶臉部部位與所述平面之間的距離，所述臉部部位包括雙眼部位；所述方位指用戶臉部朝向與重力方向的夾角或用戶臉部朝向與用戶頸部所在軸線之間的夾角。

優(yōu)選地，所述閾值信息包括用戶頭部的距離閾值、用戶頭部的方位閾值、用戶頭部持續(xù)達到距離閾值和/或持續(xù)達到方位閾值的時間閾值以及用戶持續(xù)使用時間的閾值。

優(yōu)選地，所述更新應用包括對用戶進行提醒、調(diào)整應用中的至少一種。

優(yōu)選地，所述提醒包括當所述距離達到預設閾值時的防近視提醒和/或當用戶頭部方位達到預設閾值時進行頸錐過彎提醒。

優(yōu)選地，所述調(diào)整應用包括高度、大小、亮度的調(diào)整。

本發(fā)明還包括一種根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)的方法，包括如下步驟：

s1：預先設置閾值信息；

s2：所述深度獲取裝置實時獲取包含用戶狀態(tài)的深度圖像；

s3：所述處理器根據(jù)所述深度圖像確定所述用戶的狀態(tài)信息；基于所述狀態(tài)信息與所述閾值信息確定需要更新的應用；

s4：所述顯示器的應用更新。

優(yōu)選地，所述步驟s2中還包括獲取重力方向的信息，所述重力方向的信息由微電子機械系統(tǒng)提供。

優(yōu)選地，所述步驟s2中還包括獲取時間信息，所述時間信息由計時器提供。

優(yōu)選地，所述時間信息是所述用戶狀態(tài)信息達到所述閾值信息的持續(xù)時間和/或用戶持續(xù)使用的時間。

優(yōu)選地，所述用戶的狀態(tài)信息包括用戶頭部的距離及方位，所述距離包括用戶臉部部位與所述平面之間的距離，所述臉部部位包括雙眼部位；所述方位指用戶臉部朝向與重力方向的夾角或用戶臉部朝向與用戶頸部所在軸線之間的夾角。

優(yōu)選地，所述閾值信息包括用戶頭部的距離閾值、用戶頭部的方位閾值、用戶頭部持續(xù)達到距離閾值和/或持續(xù)達到方位閾值的時間閾值以及用戶持續(xù)使用時間的閾值。

優(yōu)選地，所述更新應用包括對用戶進行提醒、調(diào)整應用中的至少一種。

優(yōu)選地，所述提醒包括當所述距離達到預設閾值時的防近視提醒和/或當用戶頭部方位達到預設閾值時進行頸錐過彎提醒。

優(yōu)選地，所述調(diào)整應用包括高度、大小、亮度的調(diào)整。

本發(fā)明還包括一種包含計算機程序的計算機可讀存儲介質(zhì)，所述計算機程序可操作來使計算機執(zhí)行如上任一所述的方法。

本發(fā)明的有益效果為：提供一種根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)，通過獲取用戶的深度圖像，根據(jù)所述深度圖像確定用戶的狀態(tài)信息，同時結合時間信息更應應用。實現(xiàn)了對用戶狀態(tài)信息的準確判斷，從而進一步根據(jù)用戶狀態(tài)更新應用，引導用戶科學使用帶顯示器的設備，避免用戶不當使用產(chǎn)生的健康問題。

附圖說明

圖1是本發(fā)明實施例1中根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)示意圖。

圖2為本發(fā)明實施例1中用戶使用本發(fā)明系統(tǒng)的場景示意圖。

圖3是本發(fā)明實施例1中根據(jù)用戶狀態(tài)信息更新應用的的方法示意圖。

具體實施方式

下面結合附圖通過具體實施例對本發(fā)明進行詳細的介紹，以使更好的理解本發(fā)明，但下述實施例并不限制本發(fā)明范圍。另外，需要說明的是，下述實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構思，附圖中僅顯示與本發(fā)明中有關的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的形狀、數(shù)量及比例可為一種隨意的改變，且其組件布局形態(tài)也可能更為復雜。

實施例1

圖1為本實施例根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)示意圖。目前普遍存在的問題比如用戶低頭使用或者眼睛離手機過近等，使得產(chǎn)生一些影響用戶健康的問題，本發(fā)明針對這一問題，提供一種根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)，包括：至少一個深度獲取裝置，所述深度獲取裝置用于獲取包含用戶頭部的深度圖像；顯示器，用于應用的顯示；至少一個處理器，用于根據(jù)所述深度圖像確定用戶的狀態(tài)信息，且基于所述狀態(tài)信息更新應用。所述深度獲取裝置與所述顯示器在同一個平面上。

所述深度獲取裝置用于獲取包含用戶頭部的深度圖像，該深度圖像中各個像素的值代表相應的空間點離深度獲取裝置的距離，換句話說，各像素的值即為該空間點在以深度獲取裝置所在的坐標系中的z值，x,y坐標可以通過針孔成像模型以及深度獲取裝置的內(nèi)部參數(shù)來計算，因此通過深度獲取裝置就可以得到該深度獲取裝置坐標系下用戶頭部的三維點云數(shù)據(jù)。

這里的深度獲取裝置，即深度相機。目前深度相機主要有三種形式：基于雙目視覺的深度相機、基于結構光的深度相機以及基于tof(時間飛行法)的深度相機。以下進行簡要說明，無論哪種形式都可以被用在實施例中。

基于雙目視覺的深度相機是利用雙目視覺技術，利用處在不同視角的兩個相機對同一空間進行拍照，兩個相機拍攝出的圖像中相同物體所在像素的差異與該物體所在的深度直接相關，因而通過圖像處理技術通過計算像素偏差來獲取深度信息。

基于結構光的深度相機通過向目標空間投射編碼結構光圖案，再通過相機采集目標空間含有結構光圖案的圖像，然后將該圖像進行處理比如與參考結構光圖像進行匹配計算等可以直接得到深度信息。

基于tof的深度相機通過向目標空間發(fā)射激光脈沖，激光脈沖經(jīng)目標反射后被接收單元接收后并記錄下激光脈沖的來回時間，通過該時間計算出目標的深度信息。

這三種方法中第一種一般采集彩色相機，因而受光照影響大，同時獲取深度信息的計算量較大。后兩種一般利用紅外光，不受光照影響，同時計算量相對較小。目前雙攝相機、利用vcsel芯片做為光源的結構光、tof相機都可以被嵌入到手機、電腦等設備中。深度相機的形式在本發(fā)明中不做限定。

所述顯示器，用于應用的顯示，本系統(tǒng)所說的顯示器包括但不限于智能手機等移動設備以及電視、電腦等多媒體設備的顯示器，現(xiàn)有技術中所有帶有顯示器的設備均屬于本發(fā)明所說的顯示器。顯示器用于應用程序的顯示，可以為led、液晶顯示屏幕等。

所述處理器用于接收深度圖像并做進一步的處理，在本發(fā)明中，處理器的作用至少包括以下兩個方面：

一是根據(jù)深度圖像確定用戶頭部的距離及方位等狀態(tài)信息；

二是根據(jù)狀態(tài)信息與預先設置的閾值信息中的距離閾值及方位閾值判斷是否達到閾值。

在本實施例的變通實施例中，需要注意的是，系統(tǒng)中處理器也可以用于計算深度圖像，即將深度獲取裝置中的深度計算單元集成到該處理器中；處理器可以不只一個分別負責相應的功能。

優(yōu)選地，所述系統(tǒng)還包括計時器，所述計時器至少包括一個計時單元，用于獲取時間信息，所述時間信息是所述用戶狀態(tài)信息達到所述閾值信息的持續(xù)時間和/或用戶持續(xù)使用的時間。

優(yōu)選地，所述系統(tǒng)還包括微電子機械系統(tǒng)(mems)，所述微電子機械系統(tǒng)包括加速度計、陀螺儀、磁力計中的至少一種，用于獲取包括重力方向的信息。mems由于集合了集成電路與機械裝置的優(yōu)點，使得可以以極小的體積以及低功耗來實現(xiàn)機械功能，常用的有陀螺儀、加速度計、磁力計等等，考慮到這些mems常常被結合在一起使用，因此也將多個集成在一起，比如將三軸陀螺儀與三軸加速度計集成在一起形成慣性測量單元(imu)，用來測量系統(tǒng)的三個方向的姿態(tài)角及加速度。在一個實施例中，利用imu可以得到當前系統(tǒng)的重力方向向量

優(yōu)選地，系統(tǒng)包括存儲器，用于存放程序，所述程序由所述處理器執(zhí)行。存儲器可以為ram、rom、flash等等，可以為一個或多個存儲單元組成，分別用來存儲不同種類的數(shù)據(jù)。一般地，存儲器用來存儲操作系統(tǒng)、應用程序、程序臨時數(shù)據(jù)等等。對于本系統(tǒng)中，存儲器還用于存儲深度獲取裝置在計算深度時需要用到的參數(shù)(鏡頭參數(shù)、參考圖像等等)，該存儲單元也可以被視作深度獲取裝置的一部分。

優(yōu)選地，所述用戶的狀態(tài)信息包括用戶頭部的距離及方位，所述距離包括用戶臉部部位與所述平面之間的距離，所述臉部部位包括雙眼部位；所述方位指用戶臉部朝向與重力方向的夾角或用戶臉部朝向與用戶頸部所在軸線之間的夾角。

優(yōu)選地，所述閾值信息包括用戶頭部的距離閾值、用戶頭部的方位閾值、用戶頭部持續(xù)達到距離閾值和/或持續(xù)達到方位閾值的時間閾值以及用戶持續(xù)使用時間的閾值。

優(yōu)選地，所述更新應用包括對用戶進行提醒、調(diào)整應用中的至少一種。

優(yōu)選地，所述提醒包括當所述距離達到預設閾值時的防近視提醒和/或當用戶頭部方位達到預設閾值時進行頸錐過彎提醒。

優(yōu)選地，所述調(diào)整應用包括高度、大小、亮度的調(diào)整。

圖2為使用根據(jù)用戶狀態(tài)信息更新應用的系統(tǒng)的示意圖。圖中用戶手持手機并正在使用，用戶低頭使用或者眼睛離手機過近等，使得產(chǎn)生一些影響用戶健康的問題，手機設備上的深度獲取裝置就會對人頭部(臉部)進行識別，并判斷出低頭的程度是否達到預設的閾值，當達到時進行相應的提醒，比如在當前應用中彈出窗口提醒系統(tǒng)作出相應的提醒，比如字幕提醒“低頭太多，請注意頸錐健康！”。提醒的方式也可以有多種，比如通過記錄低頭的時間，當達到一定的時間閾值后，提醒將關閉當前應用，并提醒用戶抬頭或做一適量頭部活動。另外，手機設備還可以識別出頭部的距離，當距離低于預設的閾值時，進行提醒，或者對當前的應用進行調(diào)整，常見的調(diào)整如對顯示屏幕的亮度，或者對字體、圖片等大小進行調(diào)整等等。當用戶使用時間持續(xù)達到一定時間后，也需要對用戶進行提醒。預設的閾值需要預先設定，并保存在應用程序?qū)拇鎯χ?，一種優(yōu)先的設定方式是考慮低頭程度或距離對頸錐或眼睛的健康影響界限，將該界限做為相應的閾值。

在本實施例的變通實施例中，為了保護用戶的眼睛，預先設置一定的距離閾值，比如20cm，通過計算眼睛與深度獲取裝置之間的距離，當距離小于該閾值時，進行防近視提醒。具體地，處理器接收到深度圖像后，首先識別出用戶頭部，其次根據(jù)已有知識中用戶眼睛相對于頭部的位置來得到眼睛的三維坐標值，從而計算出距離。

在本實施例的變通實施例中，為了保護用戶的頸錐，預先設置一定的傾斜閾值。衡量傾斜程度一般選取用戶頭部與軀干之間的夾角，即圖2中向量與向量夾角的余角，該夾角閾值可以選取為15度。當深度圖像中包含了頭部以及軀干的信息，可以通過深度圖像獲取側面的曲線來計算夾角；當深度圖像中僅包含頭部信息時，則需要借助于imu，如圖1所示，手機的重力方向向量可以被imu測得，而該向量可以認為與用戶軀干向量一致，因此通過計算向量與夾角的余角即可。

向量用于衡量人臉的朝向，該向量的計算是通過深度圖像來進行的，首先識別出用戶頭部得到頭部的三維點云，一種方法是用平面擬合法將人臉部擬合出一個平面，然后計算該平面的法向量，即可得到一種方法可以通過識別雙眼以及嘴部的三維坐標值來計算該法向量，具體的計算方法在本發(fā)明中不做限定。

在計算得到傾斜夾角后，判斷該夾角是否小于閾值，在一個實施例中，當小于閾值時即在應用中進行提醒，比如彈出提醒窗口；在一個實施例中，當夾角小于閾值一段時間后進行提醒，或者直接始退出程序等，這個時間即為設置的閾值信息。

如圖3所示，一種采用如上系統(tǒng)的方法，包括如下步驟：

s1：預先設置閾值信息；

所述閾值信息包括用戶頭部的距離閾值、用戶頭部的方位閾值、用戶頭部持續(xù)達到距離閾值和/或持續(xù)達到方位閾值的時間閾值以及用戶持續(xù)使用時間的閾值。

持續(xù)使用時間的閾值包括設置一天內(nèi)的累計時長，單次使用的累計時長，一周或者一月等固定時間使用的時長，例如單次使用的累計時長為50分鐘，每次累計中間間隔至少10分鐘，如果滿50分鐘后休息不足10分鐘，則默認為沒有休息，單次累計時間繼續(xù)累計；如果不足10分鐘由其他人使用該設備則是允許的，可以通過啟動設備時增加用戶的識別驗證實現(xiàn)。如果沒有到50分鐘用戶自行選擇休息，休息時間不足10分鐘，繼續(xù)使用后會累計之前的使用時間；若足10分鐘則不會累計之前的使用時間，重新開始計算單次使用的累計時間。

本實施例的變通實施例中閾值信息可以根據(jù)用戶不同設置多套閾值信息，比如當成人使用時和兒童使用時的閾值信息不同；根據(jù)使用目的不同選取不同標準的閾值信息，查看學習資料時是必須看清楚資料內(nèi)容需要達到一定的清晰程度，但當看電視節(jié)目時可以是另外的閾值標準。但是多套標準都是在符合人體健康的要求之內(nèi)設置的，所以可以增加閾值的監(jiān)控和判斷系統(tǒng)。

在本實施例的變通實施例中，增加用戶識別驗證，除了用于中間更換用戶的情況，還可以實現(xiàn)系統(tǒng)同時監(jiān)控多個用戶的使用情況；增加系統(tǒng)學習功能，記錄用戶的使用習慣對于閾值給出合適的建議；或者結合用戶的身體健康狀況給出合適的建議。

在本實施例的變通實施例中，可以增加對環(huán)境的判斷，根據(jù)周圍環(huán)境的不同，比如晚上光線和白天光線的差異，室內(nèi)和戶外光線的差異等，建議用戶或者自動調(diào)整相應的閾值信息。

s2：所述深度獲取裝置實時獲取包含用戶狀態(tài)的深度圖像；

在一種實施例中，可以通過深度圖像獲取用戶的人面部朝向的深度信息和頸椎的深度信息，由頸椎的深度信息可以得到頸椎側面彎曲信息，由此判斷人的狀態(tài)信息：通過人面部到屏幕的距離判斷用戶距離是否達到距離閾值；通過頸椎彎曲信息判斷用戶的方位是否達到方位閾值。如果距離或者方位達到閾值，系統(tǒng)就會更新應用。

優(yōu)選地，所述步驟s2中還包括獲取重力方向的信息，所述重力方向的信息由微電子機械系統(tǒng)提供。由深度相機提供人面部的深度圖像，可以獲得人臉的朝向的法向量，微電子機械系統(tǒng)提供移動設備的重力方向向量，此重力方向向量和人體軀干的重力方向向量是一致的，所以得到兩個向量之間的夾角可以轉(zhuǎn)化成人的面部朝向與設備的方位，從而進一步判斷方位是否達到方位閾值。

優(yōu)選地，所述步驟s2中還包括獲取時間信息，所述時間信息由計時器提供。所述時間信息是所述用戶狀態(tài)信息達到所述閾值信息的持續(xù)時間和/或用戶持續(xù)使用的時間。增設計時器，可以設置用戶距離或者方位持續(xù)超過閾值一定時間以后再更新應用，避免了頻繁更新用戶給用戶帶來不好的體驗。比如用戶使用過程中，面部和屏幕距離比較近達到設置的距離閾值，計時單元會對達到閾值的時間進行記錄；同樣的，當用戶的頭部方位達到設置的方位閾值時，計時單元會對達到閾值的時間進行記錄；如果，用戶同時達到距離閾值和方位閾值可以給出一個時間；當用戶分別達到距離閾值和方位閾值時給出兩個時間。系統(tǒng)進一步判斷給出的時間是否達到預設的閾值時間，只要有一個時間超過閾值時間即更新應用。

在本實施例的變通實施例中，還可以分情況設置對應的時間閾值，比如有一種極端情況是用戶平躺的時候使用電子設備，此時重力方向與人面部朝向的夾角是180°，這種情況下，系統(tǒng)作出方位判斷后會立刻更新應用。此處所述的分情況設置還包括根據(jù)超過閾值的多少分為不同情況，超過閾值的范圍越大所對應的時間閾值就會越小。

在本實施例的變通實施例中，所述閾值信息還包括距離過遠的時候自動應用，調(diào)整包括但不限于調(diào)整字體變大，屏幕變亮；根據(jù)周圍的環(huán)境變化時調(diào)整時亮度或?qū)Ρ榷然蚯逦?；根?jù)使用時間長度的增加，即便用戶沒有在距離和方位達到閾值也會自動更新顯示器界面的顯示。

s3：所述處理器根據(jù)所述深度圖像確定所述用戶的狀態(tài)信息；基于所述狀態(tài)信息與所述閾值信息確定需要更新的應用；

優(yōu)選地，所述用戶的狀態(tài)信息包括用戶頭部的距離及方位，所述距離包括用戶臉部部位與所述平面之間的距離，所述臉部部位包括雙眼部位；所述方位指用戶臉部朝向與重力方向的夾角或用戶臉部朝向與用戶頸部所在軸線之間的夾角。當累計時間達到用戶頭部持續(xù)達到距離閾值和/或方位閾值的時間閾值時，系統(tǒng)就需要更新應用。

s4：所述顯示器的應用更新。

所述更新應用包括對用戶進行提醒、調(diào)整應用中的至少一種。所述提醒包括當所述距離達到預設閾值時的防近視提醒和/或當用戶頭部方位達到預設閾值時進行頸錐過彎提醒。所述調(diào)整應用包括但不限于界面內(nèi)容的高度、大小、亮度的調(diào)整，包括發(fā)出語音提醒或者彈出窗口提醒，還包括關于顯示屏幕的畫面只保留聲音，甚至直接自動關閉設備。以上所述的更新應用的內(nèi)容可以同時進行至少一個，其組合也不受限制。

在本實施例的變通實施例中，作為家長的用戶可以查看系統(tǒng)的提醒記錄、使用狀況便于了解兒童的使用情況，或者提醒記錄、使用狀況會直接與家長手機綁定，直接發(fā)送使用通知。

在本實施例的變通實施例中，增加對人的整體狀態(tài)的判斷，比如人在行走時不適宜使用移動設備，比如人在看電視時進入睡眠等，通過不同的狀態(tài)系統(tǒng)可以做出應用更新。

一種包含計算機程序的計算機可讀存儲介質(zhì)，所述計算機程序可操作來使計算機執(zhí)行以上任一所述的方法。計算機可讀存儲介質(zhì)為現(xiàn)有技術中移動硬盤、光盤等類型，本發(fā)明不作具體限制。

本發(fā)明的系統(tǒng)和方法旨在用于監(jiān)測用戶使用帶有顯示器的設備時保持合理的距離和方位，并且使用合理的時間；也可以結合用戶的身體狀況及周圍環(huán)境的狀況給用戶合理的使用建議，都是為了保護用戶的健康。還可以與其他技術相結合比如虹膜識別等，在本發(fā)明的方法內(nèi)，除了以上所述的方法和系統(tǒng)，其他任何與現(xiàn)有技術相結合以達到跟本發(fā)明類似或相同的目的，解決了類似或相同的問題都應該屬于本發(fā)明所保護的范圍。

以上內(nèi)容是結合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術領域的技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應當視為屬于本發(fā)明的保護范圍。