專利名稱：基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)的制作方法
技術領域：
本發(fā)明屬于全方位視覺、計算機視覺技術和關系數據庫等技術在獨居老人安全監(jiān)護方面的應用，主要適用于需要得到即時和適當服務的獨居老人等弱勢人群的家庭。
背景技術：
根據聯合國的調查，預計到2030年，中國65歲以上的人口將占人口總數的12.7% ；其中空巢老人家庭將占老人家庭總數的90%。獨居老人人口的增長，需要社會提供各種各樣的監(jiān)護。本發(fā)明作出以前對獨居老年等弱勢人群的家庭發(fā)生異常時主要是通過電話或者家庭中的報警按鈕以主動形式向援救方報警及請求服務。天有不測風云、人有旦夕禍福，誰都不能預料自己在某日某時會生病，尤其是老人摔倒后不能自立求救，出現連打電話、一鍵按鈕請求報警救援都困難的時候。中國發(fā)明專利號為200610051729. 7發(fā)明了一種基于全方位計算機視覺的獨居老人家庭安保裝置，包括微處理器、用于監(jiān)護老人安康情況的全方位視覺傳感器，全方位視覺傳感器與微處理器連接，采集老人在主要場所中的空間位置視頻信息以及該事件所對應的時間信息采用機器視覺的手段來建立獨居老人室內外活動模型，通過捕捉生活規(guī)律的在時間空間上的變化能發(fā)現和預測老人生活的反常及異常。該發(fā)明的不足之處是沒有檢測獨居老人的姿態(tài)以及姿態(tài)發(fā)生變化時的事件，老人摔倒是直接對老人生命安全和引起各種傷害的最危險的事件；后的及時檢測與自動報警。另一方面，為了獲得獨居老人的活動量等生活數據和生活習慣，需要識別獨居老人的人體動作。

發(fā)明內容
為了克服已有檢測手段無法對獨居老人姿態(tài)、摔倒等重要事件進行檢測的不足，本發(fā)明提供一種既能檢測獨居老人的活動量、分析獨居老人的生活規(guī)律、發(fā)現獨居老人的各種異常變化，又能識別獨居老人的人體動作、姿態(tài)和摔倒的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)。本發(fā)明解決其技術問題所采用的技術方案是一種基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，包括全方位攝像裝置和用于對全方位攝像裝置所拍攝的全景圖像以及相關輸入信息對獨居老人的活動量、姿態(tài)、摔倒以及生活行為習慣進行分析處理判斷的微處理器；所述的全方位攝像裝置放置在老人房間內客廳中間的上方，用于拍攝整個老人家庭內老人日常生活的視頻圖像；所述的全方位攝像裝置與所述的微處理器進行連接，所述的微處理器包括視頻圖像讀取單元，用于讀取全方位攝像裝置所拍攝的全景圖像，并將讀取的全景圖像提交給視頻圖像展開單元和視頻圖像存儲單元；視頻圖像展開單元，用于將全景圖像進行柱狀展開，展開后的全景柱狀圖像提交給前景對象檢測單元；
空間位置定義單元，用于定義和命名在全景圖像中老人室內空間位置；家具和電器擺放位置輸入單元，用于將所述的空間位置定義單元所定義的空間位置與老人家中的家具、電器和出入口建立映射關系；前景對象檢測單元，用于檢測在全景柱狀展開圖像中存在的前景人體對象，具體采用MHI算法來計算前景人體對象，然后在柱狀展開圖像上用矩形框框住前景人體對象，并將矩形框提交給人體對象跟蹤單元；人體對象跟蹤單元，根據前景對象檢測單元所提交的矩形框采用Camshift算法對人體對象進行跟蹤；人體姿態(tài)分析單元，根據人體對象跟蹤單元的結果采用人體模型算法估算出老人目前的姿態(tài)，并將當前的時刻、空間的位置和姿態(tài)的分析結果寫入人體姿態(tài)數據庫中；摔倒檢測單元，根據人體姿態(tài)的檢測結果以及是否在非靜止區(qū)域情況來判斷老人是否摔倒；動作行為分析單元，根據人體姿態(tài)數據庫中前幾幀中老人的姿態(tài)和當前老人的姿態(tài)分析得到老人的動作行為；日常生活規(guī)律分析單元，根據人體姿態(tài)數據庫、家具和家用電器與空間位置關系數據庫以及當前老人動作行為判斷結果等信息來分析和判斷老人當前的活動類型，并將分析和判斷結果寫入日常生活數據庫中；異常判斷單元，根據當前老人的活動類型和日常生活數據庫中所提取的老人的生活模式等信息通過異常判斷算法進行老人行為異常判斷，并將異常分為若干個等級，針對不同等級的異常的情況分別生成告知、緊急通知和報警信息，通過告知和報警單元發(fā)送給相關部門和人員。進一步，所述的前景對象檢測單元中，采用基于MHI的背景更新模型，并利用YCbCr與亮度圖像分別分割然后進行綜合得到運動前景圖像，最后利用后處理實現人體的分割與定位；所述的基于MHI的背景更新模型，MHI的更新方式如公式(1)所示；
ts，sih( χ, y) ^ 0
0, sih( χ, y) = 0 and mhi( χ, y) < ts — dur(丄)
mhi(x，y) else式中，mhi為運動歷史圖像，ts為當前時間，sih為圖像的掩模，人體運動發(fā)生的地方取非零值，dur為運動跟蹤的最大持續(xù)時間；用公式⑵將圖像由RGB顏色空間轉換到YCbCr顏色空間，濾除Y分量，用Cb、Cr顏色來分割得到前景圖像；
Y = 0. 299R + 0. 587G + 0. 114B
Cr = 0. 713( R-Y)⑵
Cb = 0. 564( B-Y) 式中，Y為YCbCr顏色空間的Y分量，Cb為YCbCr顏色空間的Cb分量，Cr為YCbCr顏色空間的Cr分量；R為RGB顏色空間的R分量，G為RGB顏色空間的G分量，B為RGB顏色空間的B分量； mhi( χ, y )=
陰影去除算法如下Stepl 用較大的和較小的亮度閾值分別對背景減除的結果圖像進行二值化，分別記為 ImgL 禾口 ImgS ；St印2 利用背景減除之后的Cr和Cb圖像分別進行二值化，分別記為ImgCr和LiigCb，得到的前景都去除了陰影，Cr得到的是紅色色差分量，Cb得到的是藍色色差分量，將兩個色差結果取或得到去陰影的結果圖像，記為LiigC = ImgCrOR ImgCb，得到色差分割
結果；Step3 由于只靠色差分量得到的目標容易丟失沒有顏色信息的目標，需要融合其亮度分量；取亮度閾值較大的二值化圖像與色差二值化圖像作或運算，記為^iigl = ImgCOR ImgL ；St印4 上述處理得到的結果容易有噪聲，將LngS作膨脹記為LngS’，然后將Lngl與LiigS’取與運算得到最終結果圖像，Img = Liigl AND LiigS’，由此得到的目標作為最終的運動目標前景；并將運動目標前景對象的中心位置和大小自動遞交給所述的人體對象跟蹤單元中Can^hift算法以實現時而靜止時而運動的人體對象的穩(wěn)定跟蹤。再進一步，所述的人體對象跟蹤單元中，根據所述的前景對象檢測單元所提交的矩形框采用增強的Camshift算法對人體對象進行跟蹤；所述的增強的Camshifi算法如下步驟1 以所述前景對象檢測單元中檢測出的人體對象目標為基礎，設定目標跟蹤的ROI ；步驟2 計算ROI內的目標顏色概率密度分布；步驟3 迭代Mean Shift直到收斂，記錄其位置( 和零階矩；步驟4 對下一幀圖像，以( 為搜索窗中心位置，并根據M工的函數確定搜索窗大小，根據人體對象目標外接矩形確定ROI大小，轉步驟2 ；在Camshift算法的步驟2中，采用Bayesian概率法則獲得目標在圖像中的顏色概率密度分布，計算方法如公式(3)所示
⑴PiCIO) =_P(CIO)PjO)_
丨 P(CjO)P(O) + P(CIB)P(B)式中C為像素點在HSV空間的顏色值，即像素點的(HJ)值；0為目標，B為背景，P(O)+P(B) = 1，P(O)為目標對象面積和除目標對象外的背景面積的比值；P(C/0)和P(C/B)可分別從目標對象和背景的直方圖獲得；按公式(3)獲得目標對象在圖像中的顏色概率密度分布，再按公式(4)把概率分布區(qū)間從
歸一化到
區(qū)間中，從而獲得最終進行Mean Shift迭代的顏色概率密度分布圖像P' (0/C)；
_0]尊) = -^^嚷 255]⑷式中，P' (0/C)為歸一化的目標對象顏色概率密度分布，P(0/C)為目標對象顏色概率密度分布；在改進Camshift算法的步驟4中，根據上一幀跟蹤結果的零階矩M。的函數確定新的搜索窗的大小s，以適應目標在視頻圖像中的尺度變化，如公式( 所示；
權利要求
1.一種基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)包括全方位攝像裝置和用于對全方位攝像裝置所拍攝的全景圖像以及相關輸入信息對獨居老人的活動量、姿態(tài)、摔倒以及生活行為習慣進行分析處理判斷的微處理器；所述的全方位攝像裝置放置在老人房間內客廳中間的上方，用于拍攝整個老人家庭內老人日常生活的視頻圖像；所述的全方位攝像裝置與所述的微處理器進行連接，所述的微處理器包括視頻圖像讀取單元，用于讀取全方位攝像裝置所拍攝的全景圖像，并將讀取的全景圖像提交給視頻圖像展開單元和視頻圖像存儲單元；視頻圖像展開單元，用于將全景圖像進行柱狀展開，展開后的全景柱狀圖像提交給前景對象檢測單元；空間位置定義單元，用于定義和命名在全景圖像中老人室內空間位置；家具和電器擺放位置輸入單元，用于將所述的空間位置定義單元所定義的空間位置與老人家中的家具、電器和出入口建立映射關系；前景對象檢測單元，用于檢測在全景柱狀展開圖像中存在的前景人體對象，具體采用MHI算法來計算前景人體對象，然后在柱狀展開圖像上用矩形框框住前景人體對象，并將矩形框提交給人體對象跟蹤單元；人體對象跟蹤單元，根據前景對象檢測單元所提交的矩形框采用Camshift算法對人體對象進行跟蹤；人體姿態(tài)分析單元，根據人體對象跟蹤單元的結果采用人體模型算法估算出老人目前的姿態(tài)，并將當前的時刻、空間的位置和姿態(tài)的分析結果寫入人體姿態(tài)數據庫中；摔倒檢測單元，根據人體姿態(tài)的檢測結果以及是否在非靜止區(qū)域情況來判斷老人是否摔倒；動作行為分析單元，根據人體姿態(tài)數據庫中前幾幀中老人的姿態(tài)和當前老人的姿態(tài)分析得到老人的動作行為；日常生活規(guī)律分析單元，根據人體姿態(tài)數據庫、家具和家用電器與空間位置關系數據庫以及當前老人動作行為判斷結果等信息來分析和判斷老人當前的活動類型，并將分析和判斷結果寫入日常生活數據庫中；異常判斷單元，根據當前老人的活動類型和日常生活數據庫中所提取的老人的生活模式等信息通過異常判斷算法進行老人行為異常判斷，并將異常分為若干個等級，針對不同等級的異常的情況分別生成告知、緊急通知和報警信息，通過告知和報警單元發(fā)送給相關部門和人員。
2.如權利要求1所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的前景對象檢測單元中，采用基于MHI的背景更新模型，利用YCbCr與亮度圖像分別分割然后進行綜合得到運動前景圖像，最后利用后處理實現人體的分割與定位；所述的基于MHI的背景更新模型，MHI的更新方式如公式(1)所示；ts, sih( χ, y) ^ 00, sih( χ, y ) = 0 and mhi( χ, y) < ts — dur(1)mhi( x，y )else式中，mhi為運動歷史圖像，ts為當前時間，sih為圖像的掩模，人體運動發(fā)生的地方取非零值，dur為運動跟蹤的最大持續(xù)時間；用公式(2)將圖像由RGB顏色空間轉換到YCbCr顏色空間，濾除Y分量，用Cb、Cr顏色來分割得到前景圖像；Y = 0. 299R + 0. 587G + 0. 114BCr = 0. 713( R-Y)⑵Cb = 0. 564( B-Y)式中，Y為YCbCr顏色空間的Y分量，Cb為YCbCr顏色空間的Cb分量，Cr為YCbCr顏色空間的Cr分量；R為RGB顏色空間的R分量，G為RGB顏色空間的G分量，B為RGB顏色空間的B分量；陰影去除算法如下Stepl 用較大的和較小的亮度閾值分別對背景減除的結果圖像進行二值化，分別記為ImgL 禾口 ImgS ；St印2 利用背景減除之后的Cr和Cb圖像分別進行二值化，分別記為^gCr和hgCb，得到的前景都去除了陰影，Cr得到的是紅色色差分量，Cb得到的是藍色色差分量，將兩個色差結果取或得到去陰影的結果圖像，記為^iigC = ImgCr OR ImgCb，得到色差分割結果；Mep3 由于只靠色差分量得到的目標容易丟失沒有顏色信息的目標，需要融合其亮度分量；取亮度閾值較大的二值化圖像與色差二值化圖像作或運算，記為^iigl = ImgC ORImgL ；St印4 上述處理得到的結果容易有噪聲，將LiigS作膨脹記為LiigS’，然后將Liigl與ImgS’取與運算得到最終結果圖像，Img= Liigl AND LiigS’，由此得到的目標作為最終的運動目標前景；并將運動目標前景對象的中心位置和大小自動遞交給所述的人體對象跟蹤單元中Can^hift算法以實現時而靜止時而運動的人體對象的穩(wěn)定跟蹤。
3.如權利要求2所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的人體對象跟蹤單元中，根據所述的前景對象檢測單元所提交的矩形框采用增強的Camshift算法對人體對象進行跟蹤；所述的增強的Camshifi算法如下步驟1 以所述前景對象檢測單元中檢測出的人體對象目標為基礎，設定目標跟蹤的ROI ；步驟2 計算ROI內的目標顏色概率密度分布；步驟3 迭代Mean Shift直到收斂，記錄其位置( 和零階矩；步驟4 對下一幀圖像，以( 為搜索窗中心位置，并根據A/工的函數確定搜索窗大小，根據人體對象目標外接矩形確定ROI大小，轉步驟2 ；在Camshift算法的步驟2中，采用Bayesian概率法則獲得目標在圖像中的顏色概率密度分布，計算方法如公式(3)所示
4.如權利要求1 3之一所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于在所述的全方位攝像裝置中采用固定單視點全方位攝像裝置的設計，進入雙曲面鏡的中心的光，根據雙曲面的鏡面特性向著其虛焦點折射，實物圖像經雙曲面鏡反射到聚光透鏡中成像，在該成像平面上的一個點P(χ，y)對應著實物在空間上的一個點的坐標A(X，Y，Ζ)；雙曲面鏡構成的光學系統(tǒng)可以由下面5個等式表示；
5.如權利要求1 3之一所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的空間位置定義單元中，對獨居老人家庭的空間進行網格化處理，從獲取的全景圖像上定義和命名室內空間的網格，作為一種簡單的定義和命名方式是采用20X20mm大小的網格將可視范圍內的空間進行分割，命名采用兩位英文字母，從房間平面圖的左上角開始順序編排，第一位英文字母表示行，第二位英文字母表示列。
6.如權利要求1 3之一所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的家具和電器擺放位置輸入單元中，表1為空間位置編號與家具電器對應表，
7.如權利要求1 3之一所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的人體姿態(tài)分析單元中，將老人出現的空間位置、時間和姿態(tài)信息寫入到人體姿態(tài)數據庫中內，人體姿態(tài)數據庫的表格式如表2所示；
8.如權利要求1 3之一所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的摔倒檢測單元中，如果分析的結果為橫躺姿態(tài)并且老人不在休息區(qū)域就判斷為老人出現摔倒；系統(tǒng)自動生成報警信息，系統(tǒng)生成的告知和報警信息發(fā)送給告知和報警單兀。
9.如權利要求1 3之一所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的動作行為分析單元中，從當前老人相對靜止狀態(tài)開始追溯到上一次老人相對靜止狀態(tài)，從兩次間隔的相對靜止狀態(tài)的過程來識別老人的動作行為。
10.如權利要求1 3之一所述的基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，其特征在于所述的異常判斷單元中，自學習老人日常生活的規(guī)律性學習老人某個時段通過某個空間位置離開視覺范圍進入其他場所的活動的持續(xù)時間的規(guī)律性，用活動持續(xù)時間模型，即單高斯模型p(t| μ, O)來描述了老人在某個時間段進入非視覺范圍的活動持續(xù)時間為t的概率；用公式(13)、(14)來表述；使用低通濾波方法來更新高斯模型
全文摘要
一種基于全方位視覺的獨居老人安全監(jiān)護系統(tǒng)，包括全方位攝像裝置和用于對全方位攝像裝置所拍攝的全景圖像以及相關輸入信息對獨居老人的活動量、姿態(tài)、摔倒以及生活行為習慣進行分析處理判斷的微處理器；全方位攝像裝置安置在獨居老人客廳中間的上方，能捕獲到老人的80％以上的日?；顒右曨l圖像；通過計算機視覺進行人體的定位、跟蹤和識別，對獨居老人的活動量、姿態(tài)、動作行為和日常生活進行分析和判斷、本發(fā)明不但能自動檢測老人在室內視覺范圍內的摔倒等重要事件，還能智能判斷老人不在視覺范圍內以及外出時的異常行為，提供一種獨居老人遠程監(jiān)護的手段。
文檔編號G06K9/00GK102387345SQ20111026726
公開日2012年3月21日 申請日期2011年9月9日 優(yōu)先權日2011年9月9日
發(fā)明者嚴杭晨, 姜軍, 湯一平, 田旭園, 馬寶慶 申請人:浙江工業(yè)大學