專利名稱：基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置。
背景技術(shù)：
隨著城市里樓房越蓋越高，電梯的使用越來越普遍，電梯安全問題日益受到人們重視。電梯在給人類的生活帶來便捷迅速之后，也向人類的安全發(fā)出挑戰(zhàn)。由于電梯的相對(duì)封閉性，它給人類的安全也帶來了威脅。在電梯狹小的空間里，人對(duì)自身的約束也會(huì)降低到最低點(diǎn)。新聞媒體經(jīng)常會(huì)報(bào)道一些電梯暴力事件，受害者遭遇過電梯內(nèi)暴力事件后除了財(cái)物損失以外在心身方面也受到了很大的創(chuàng)傷，電梯暴力事件的種類可分為電梯內(nèi)的劫財(cái)、劫色和其他暴力事件。
奧地利的生物學(xué)家康·洛倫茲就曾經(jīng)指出一個(gè)親密的群體一旦擁擠在一個(gè)狹小的空間就可能會(huì)導(dǎo)致一切社會(huì)行為準(zhǔn)則失效。有許多報(bào)道，一些外表具有“紳士風(fēng)度的”人在電梯中對(duì)自己公司的女性員工進(jìn)行性騷擾，在電梯這樣一個(gè)狹小而又相對(duì)封閉的空間內(nèi)會(huì)造成一些人理性的錯(cuò)位。
在西方，電梯內(nèi)發(fā)生暴力事件早已經(jīng)成為司空見慣的大眾話題和影視片中的常規(guī)情節(jié)。美國加州大學(xué)的一位博士曾經(jīng)對(duì)居住在紐約中區(qū)公寓中的102位女性作過一次調(diào)查，結(jié)果發(fā)現(xiàn)竟然有34％的女性承認(rèn)自己在電梯中曾經(jīng)受到陌生男子的性騷擾，多為猥褻語言，下流動(dòng)作。另外有21％的女性表示身體受到過傷害。通過對(duì)比，女性在電梯中所受到的暴力襲擊的機(jī)會(huì)比深夜駕車或行走在無人的街區(qū)要高50％。
在我國，隨著經(jīng)濟(jì)的發(fā)展，各種高檔寫字樓也越來越多，而發(fā)生在寫字樓里電梯中的性騷擾事件也逐漸增多，并且已是屢見不鮮。電梯里的性騷擾現(xiàn)象已越來越引起人們的重視。有些女性將電梯里的發(fā)生的性騷擾稱為“防不勝防”的暴力襲擊，現(xiàn)在電梯的弊病也正在引起世界上的一些社會(huì)學(xué)家、心理學(xué)家和犯罪學(xué)家的注意。
另外一些犯罪份子也利用電梯這個(gè)特殊的空間來進(jìn)行搶劫作案，并正嚴(yán)重地危害著人們的生命和生活安全。
圖像處理與計(jì)算機(jī)視覺是一個(gè)不斷發(fā)展的新技術(shù)，原則上采用計(jì)算機(jī)視覺進(jìn)行觀測(cè)有四個(gè)目的，即預(yù)處理、最底層的特征提取、中級(jí)特征的辯識(shí)以及通過圖像對(duì)高級(jí)情景的解釋。一般來說，計(jì)算機(jī)視覺包括主要特征、圖像處理以及圖像理解。
圖像是人類視覺的延伸。通過視覺，可以捕捉到電梯內(nèi)部所發(fā)生的事件，圖像監(jiān)測(cè)快速性的基礎(chǔ)是視覺所接受的信息以光為傳播媒介；而圖像信息的豐富和直觀，更為電梯安全故障的辨識(shí)和判斷奠定了基礎(chǔ)，其它任何檢測(cè)技術(shù)均不能提供如此豐富和直觀的信息。
語音能夠表達(dá)情感，因?yàn)槠渲邪荏w現(xiàn)情感特征的參數(shù)。電梯中受害的一方往往在會(huì)表現(xiàn)出驚恐、悲傷和憤怒這三種情感，從語音信號(hào)中提取這些反映情感的參數(shù)，對(duì)于情感語音識(shí)別具有極其重要的意義。
當(dāng)說話人處于不同情感狀態(tài)時(shí)，會(huì)在語速上表現(xiàn)出一定的變化，在激動(dòng)狀態(tài)時(shí)，語速較平常狀態(tài)要快，因此可以利用判斷語音信號(hào)中的語速和發(fā)話持續(xù)時(shí)間等參數(shù)來判別情感中激動(dòng)成分的程度。同語音信號(hào)中的時(shí)間特征相類似，信號(hào)的振幅特征和各種情感信息也具有較強(qiáng)的相關(guān)性，在怒、驚等情感時(shí)往往具有較大的幅值，而悲傷情感的幅度值較低。從電梯受害人的受害過程情感變化典型過程來講，大致上可以分為先受驚、接著憤怒、然后產(chǎn)生悲傷。

發(fā)明內(nèi)容為了克服已有的電梯防暴裝置的人為視頻監(jiān)視、安裝維護(hù)麻煩、可靠性差的不足，本發(fā)明提供一種智能化、實(shí)時(shí)在線、可靠性強(qiáng)、安裝維護(hù)簡便的基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，包括安裝在電梯轎廂頂部的視頻傳感器、用于采集轎廂內(nèi)語音的語音接受器以及用于監(jiān)控電梯的監(jiān)控中心計(jì)算機(jī)，所述的視頻傳感器、語音接受器與監(jiān)控中心計(jì)算機(jī)連接，所述的監(jiān)控中心計(jì)算機(jī)包括用于實(shí)時(shí)顯示電梯視頻數(shù)據(jù)的顯示模塊，所述顯示模塊連接顯示裝置，所述的視頻傳感器通過無線網(wǎng)絡(luò)交換設(shè)備與監(jiān)控中心計(jì)算機(jī)無線數(shù)據(jù)連接，所述的無線網(wǎng)絡(luò)交換設(shè)備為電梯所在大樓的無線局域網(wǎng)的中心，所述的監(jiān)控計(jì)算機(jī)包括用于電梯安全防范的微處理器，所述的微處理器包括圖像讀取模塊，用于將電梯轎廂內(nèi)的視頻信息采集下來；圖像變化計(jì)算模塊，用于將所獲得的當(dāng)前幀現(xiàn)場(chǎng)視頻圖像與一個(gè)相對(duì)比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(8)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0)(8)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；連通區(qū)域計(jì)算模塊，用于對(duì)當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的背景，像素灰度為1為目標(biāo)，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；電梯內(nèi)是否有人判斷模塊，用于根據(jù)連通區(qū)域的大小屬性以及形狀屬性進(jìn)行判斷，如同時(shí)滿足大小屬性、形狀屬性，判定電梯轎廂內(nèi)有人，該判斷模塊包括區(qū)域大小屬性判斷單元，用于對(duì)所述的每個(gè)連通區(qū)域求出其面積，并依照如下判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；若Si＞閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，首先考慮到是由于光的照射而產(chǎn)生的變化，但是也不能排除人會(huì)攜帶著一些物品，因此這時(shí)設(shè)定區(qū)域大小影響因子Fs為0.2~0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，設(shè)定區(qū)域大小影響因子Fs為1；閾值1和閾值2的取值范圍的大小是根據(jù)從上往下看一個(gè)成年人的平均截面積在0.12m2左右，然后通過視覺系統(tǒng)的標(biāo)定結(jié)果來決定閾值1和閾值2的大小，即像素值的大??；形狀屬性判斷單元，用于根據(jù)每個(gè)連通區(qū)域求出其面積Si求其形狀特征屬性，與人體模型作比較，首先求每個(gè)連通區(qū)域的平均寬度和高度，平均寬度wi用在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，然后用公式(10)計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比，ϵareai=Siwi*hi---(10)]]>計(jì)算所得的εareai值在0.5~0.9之間，接著用公式(11)進(jìn)行下面的矩形的寬度wi與高度hi的比的計(jì)算，εareai值小于0.5時(shí)就將該連通區(qū)域排除，ϵratei=wihi---(11)]]>計(jì)算所得到的εratei值根據(jù)空間位置關(guān)系，劃分若干個(gè)區(qū)域半徑，每個(gè)區(qū)域半徑中有其判斷指標(biāo)，比如在10m~12m的區(qū)域半徑范圍內(nèi)，εratei值在0.15~0.4之間，設(shè)定形狀屬性影響因子Fsh為1；電梯門狀態(tài)動(dòng)作判斷模塊，用于安裝好視頻傳感器后，得到的轎廂初始圖像，定義電梯門處于關(guān)狀態(tài)時(shí)上部區(qū)域?yàn)楸尘皥D像，將當(dāng)前的圖像與背景圖像進(jìn)行背景減算法，如連通區(qū)域有整塊出現(xiàn)，判斷轎廂門處于開的狀態(tài)；否則轎廂門處于關(guān)的狀態(tài)；通過相鄰各幀圖像的檢測(cè)，如連通區(qū)域的面積在水平方向上從大到小，判斷轎廂門從開到關(guān)，如連通區(qū)域的面積在水平方向上從小到大，判斷轎廂門從關(guān)到開；電梯劫色暴力判斷模塊，用于在判定電梯的轎廂門關(guān)閉后，根據(jù)連通區(qū)域計(jì)算模塊，判斷轎廂內(nèi)的人數(shù)超過2人，并判斷當(dāng)前時(shí)間段在晚間，啟動(dòng)劫色暴力判斷計(jì)算劫色異常量化值的初始值為零，如果電梯轎廂內(nèi)原來就有人并呆在轎廂內(nèi)超過設(shè)定時(shí)間以上同時(shí)并沒有在轎廂內(nèi)選層面板上選擇層間按鈕，劫色異常量化值累加一個(gè)L1值；如果檢測(cè)到截面積較大的對(duì)象是在截面積較小的對(duì)象后面進(jìn)入電梯，劫色異常量化值累加一個(gè)L2值；如果檢測(cè)到一個(gè)截面積較大的對(duì)象快速地接近一個(gè)截面積較小的對(duì)象，劫色異常量化值累加一個(gè)L3值；如果檢測(cè)到有聲音并判定為女性，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，如判定為驚恐情感聲音，劫色異常量化值累加一個(gè)L4值；如果檢測(cè)到兩個(gè)截面積合成為一個(gè)截面積，并延續(xù)了設(shè)定時(shí)間Tduring，同時(shí)在設(shè)定部位動(dòng)作變化頻繁，劫色異常量化值累加一個(gè)L5值；如果再檢測(cè)到有聲音并判定為女性，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，如判定為女性的憤怒、悲傷的情感聲音，異常量化值累加一個(gè)L6值；將累加后的劫色異常量化值與預(yù)設(shè)的劫色異常標(biāo)準(zhǔn)值做比較，如劫色異常量化值大于劫色異常標(biāo)準(zhǔn)值，判定為劫色暴力發(fā)生，發(fā)出告警提示信息。
進(jìn)一步，所述的微處理器還包括電梯劫財(cái)暴力判斷模塊，用于在判定電梯的轎廂門關(guān)閉后，根據(jù)連通區(qū)域計(jì)算模塊，如果所檢測(cè)到的轎廂內(nèi)人數(shù)小于4人并且當(dāng)前的時(shí)間段在晚間，啟動(dòng)劫財(cái)暴力判定計(jì)算；劫財(cái)異常量化值的初始值為零，如果發(fā)現(xiàn)在電梯轎廂內(nèi)原來就有人并呆在轎廂內(nèi)超過一定時(shí)間以上同時(shí)并沒有在轎廂內(nèi)選層面板上選擇層間按鈕，劫財(cái)異常量化值累加一個(gè)K1值；如果檢測(cè)到一個(gè)或者兩個(gè)面積的對(duì)象迅速地接近另一個(gè)面積的對(duì)象，劫財(cái)異常量化值累加一個(gè)K2值；如果檢測(cè)到有聲音，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，判定為驚恐情感聲音，劫財(cái)異常量化值累加一個(gè)K3值；如果檢測(cè)到每幀圖像中有面積的劇烈活動(dòng)，設(shè)定部位的運(yùn)動(dòng)速度超過閾值，劫財(cái)異常量化值累加一個(gè)K4值；如果再檢測(cè)到有聲音，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，判定為包含有憤怒、悲傷的情感聲音，劫財(cái)異常量化值累加一個(gè)K5值；將累加后的劫財(cái)異常量化值與預(yù)設(shè)的劫財(cái)異常標(biāo)準(zhǔn)值做比較，如劫財(cái)異常量化值大于劫財(cái)異常標(biāo)準(zhǔn)值，判定為劫財(cái)暴力發(fā)生，發(fā)出告警提示信息。
再進(jìn)一步，所述的微處理器還包括語音分析模塊，用于采集受話器的語音信息，采用貢獻(xiàn)分析法來確定情感特征參數(shù)在構(gòu)建模板時(shí)的權(quán)重值，定義為wj=1nΣi=1ncov(θ^(yi,φ^j(xij))varφ(yi)---(2)]]>t＝1，…，n j＝1，…，8(3)θ(yi)=Σj=18φj(xij)+ϵi---(4)]]>上式中，θ(yi)是第t感語句和模板歐氏距離y的函數(shù)，φj(xij)是第t句的第J個(gè)情感特征參量xij的二次函數(shù)，εi是隨機(jī)誤差， 和 是通過修正條件期望算法迭代確定出的最佳函數(shù)。
更進(jìn)一步，所述的轎廂內(nèi)安裝顯示器，所述的微處理器還包括實(shí)時(shí)播放模塊，用于將視頻傳感器采集的視頻信號(hào)輸出到轎廂內(nèi)的顯示器，并實(shí)時(shí)播放。
所述的微處理器還包括電梯非常處理模塊，用于在檢測(cè)轎廂內(nèi)有人，且超過設(shè)定時(shí)間Twait后仍然沒有選擇任何選層按鈕或者電梯門沒有開閉，控制電梯升降到最近一層，并自動(dòng)打開電梯門。
6、如權(quán)利要求3所述的基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，其特征在于所述的微處理器還包括背景維護(hù)模塊，所述的背景維護(hù)模塊包括背景亮度計(jì)算單元，用于計(jì)算平均背景亮度Yb計(jì)算公式如式(8)所示Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))---(8)]]>式(8)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表，所述的掩模表是用一個(gè)與視頻幀尺寸相同的數(shù)組M來記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，參見式(10) 公式(8)中的背景亮度是從RGB顏色空間到Y(jié)CrCb顏色空間的轉(zhuǎn)換得到的，其公式(11)給出，Y＝0.29990*R+0.5870*G+0.1140*B；Cr＝0.5000*R-0.4187*G-0.0813*B+128Cb＝-0.1787*R-0.3313*G+0.5000*B+128(11)上式中，Y代表YUV顏色模型的亮度，U、V是YUV顏色模型的兩個(gè)彩色分量，表示色差；R表示RGB色彩空間的紅色；G表示RGB色彩空間的綠色；B表示RGB色彩空間的藍(lán)色；Yb0為判定為運(yùn)動(dòng)對(duì)象時(shí)前一幀的背景亮度，Yb1為檢測(cè)到檢測(cè)對(duì)象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0(9)如果ΔY大于上限值，則認(rèn)為發(fā)生了開燈事件；如果ΔY小于某個(gè)下限值，則認(rèn)為發(fā)生了關(guān)燈事件；如ΔY介于上限值和下限值之間，則認(rèn)為光線自然變化；背景自適應(yīng)單元，用于當(dāng)光線自然變化時(shí)，按照下式(5)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i)(5)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測(cè)RGB向量，λ為背景更新的速度；λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成；當(dāng)光線由開關(guān)燈引起的，背景像素按照當(dāng)前幀重置，參見式(6)Xmix，bn+1(i)＝Xmix，cn(i)(6)。
所述的微處理器還包括噪聲剔除模塊，用于將每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(13)所示h[i，j]＝(1/M)∑f[k，1] (13)上式(9)中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)。
所述的視頻傳感器連接視頻處理器，所述視頻處理器包括圖像記錄模塊，用于將電梯轎廂內(nèi)的視頻信息記錄下來；圖像處理模塊，用于將記錄下來的視頻數(shù)據(jù)進(jìn)行壓縮編碼、復(fù)用以及調(diào)制成壓縮視頻數(shù)據(jù)；第一無線收發(fā)模塊，用于依照通信標(biāo)準(zhǔn)，發(fā)送壓縮的視頻數(shù)據(jù)；所述的監(jiān)控中心計(jì)算機(jī)包括第二無線收發(fā)模塊，用于依照通信標(biāo)準(zhǔn)，接收壓縮的視頻數(shù)據(jù)；圖像解壓處理模塊，用于將接收的數(shù)據(jù)進(jìn)行解壓縮、解復(fù)用以及解調(diào)，恢復(fù)成視頻數(shù)據(jù)；所述的圖像解壓處理模塊的輸出連接圖像讀取模塊。
所述的第一無線收發(fā)模塊為符合通信標(biāo)準(zhǔn)的無線網(wǎng)卡，所述的監(jiān)控中心計(jì)算機(jī)包括與所述無線網(wǎng)卡配合的TCP/IP協(xié)議、無線網(wǎng)絡(luò)接口，所述的微處理器為嵌入式Linux微處理器。
數(shù)字化無線視音頻傳輸系統(tǒng)與傳統(tǒng)的有線、模擬傳輸系統(tǒng)相比，具有如下特點(diǎn)①便于進(jìn)行壓縮、分析、存儲(chǔ)和顯示②數(shù)字信息抗干擾能力強(qiáng)，不易受傳輸線路信號(hào)衰減的影響等。正是由于數(shù)字視音頻傳輸具有傳統(tǒng)模擬傳輸無法比擬的優(yōu)點(diǎn)，而且符合當(dāng)前信息社會(huì)中數(shù)字化、網(wǎng)絡(luò)化和智能化的發(fā)展趨勢(shì)，所以數(shù)字視音頻傳輸正在逐步取代模擬傳輸，廣泛應(yīng)用于各行各業(yè)。
目前數(shù)字化無線視音頻傳輸選擇方式來看，主要有三種方案一是在藍(lán)牙串行口后接一個(gè)藍(lán)牙模塊；二是選擇紅外無線遙控；三是用短距離的無線數(shù)傳芯片。對(duì)于藍(lán)牙方案，無線傳輸距離和芯片價(jià)格是值得考慮的地方藍(lán)牙主要用于短距離傳輸(最多10米)，且芯片價(jià)格一直偏高，雖然目前也有使藍(lán)牙傳輸距離進(jìn)一步加大的方案(可達(dá)100米)，但不幸的是，其價(jià)格也會(huì)比原來貴許多，不適應(yīng)于電梯的轎廂與監(jiān)控中心之間的音視頻信息交換。紅外傳輸雖然沒有價(jià)格問題，能傳輸?shù)木嚯x實(shí)在太近，只有幾米，且對(duì)紅外發(fā)射角度有一定的要求，存在″必須保證傳輸信息的兩個(gè)設(shè)備正對(duì)，且中間不能有障礙物″等致命的缺陷，這一點(diǎn)又不適應(yīng)于電梯的轎廂與監(jiān)控中心之間的音視頻信息交換。采用短距離的無線數(shù)傳芯片進(jìn)行無線傳輸則靈活得多，價(jià)格上從低端到高端選擇余地很大，傳輸距離從幾十米到幾百米都有，即使中間有障礙物也能很好地實(shí)現(xiàn)轎廂與監(jiān)控中心之間的音視頻信息交換。
全數(shù)字無線視音頻傳輸系統(tǒng)是將視頻信息數(shù)字化后經(jīng)壓縮編碼、復(fù)用、調(diào)制以后送信道傳輸，然后通過解壓縮、解復(fù)用、解調(diào)后送到電梯監(jiān)控中心的計(jì)算機(jī)中進(jìn)行圖像處理，整個(gè)過程采用的是全數(shù)字處理技術(shù)，由于采用了數(shù)字信號(hào)處理技術(shù)與前向糾錯(cuò)技術(shù)(FEC)，可使其具有較高的信號(hào)接收靈敏度并能保證信號(hào)的可靠傳輸，適應(yīng)在惡劣環(huán)境中的應(yīng)用，特別是在運(yùn)動(dòng)中電梯內(nèi)視音頻傳輸抗干擾性能、安裝維護(hù)等方面的優(yōu)點(diǎn)更加明顯。
全數(shù)字無線視音頻傳輸系統(tǒng)除了具有優(yōu)越的抗干擾性能、保持圖像信息清晰穩(wěn)定以外，還具有設(shè)備小巧不需附帶其他設(shè)施、價(jià)格適中等優(yōu)點(diǎn)，可以通過適當(dāng)?shù)牡刂肪幋a控制實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)、點(diǎn)對(duì)多點(diǎn)、單向和雙向?qū)崟r(shí)的多媒體通信。由于全數(shù)字無線視音頻傳輸系統(tǒng)不需附帶其他設(shè)施且獨(dú)立性好，不需要任何布線等安裝過程，因此采用全數(shù)字無線視音頻傳輸以及圖像、語音識(shí)別技術(shù)能方便地實(shí)現(xiàn)對(duì)單梯以及群梯的安全防范檢測(cè)和控制，更適用于目前使用中的電梯的控制技術(shù)和安全防范技術(shù)的改造。
電梯暴力事件的種類可分為電梯內(nèi)的劫財(cái)、劫色和其他暴力事件。從發(fā)生電梯暴力事件的時(shí)間段來看一般都是處在電梯利用者比較少或者深夜時(shí)間，從發(fā)生過程延續(xù)時(shí)間來看施暴者要比一般正常電梯利用者乘坐電梯的時(shí)間來的長些，從視頻的角度來說在電梯移動(dòng)時(shí)間內(nèi)人體的活動(dòng)頻繁并出現(xiàn)人體之間迅速靠近或者人體面積迅速變化等特征，從音頻的角度來說會(huì)施害者常會(huì)發(fā)出一些恐嚇性的語言，受害者常會(huì)發(fā)生驚叫救助等語音特征。
所述的安全防范檢測(cè)模塊中包括電梯劫財(cái)暴力、劫色暴力和其他暴力等事件的檢測(cè)，從視音頻識(shí)別角度來說，施暴者一般在整個(gè)視場(chǎng)中的所占面積比較大(往往是大個(gè)子男性)、動(dòng)作比較猛且朝向受害者主動(dòng)動(dòng)作、在電梯內(nèi)停留時(shí)間比較長(等候機(jī)會(huì)實(shí)施暴力)、暴力發(fā)生以前或者過程中發(fā)出的聲音中帶有恐嚇性成分，聲音多屬于男性的聲音；與施暴者比較，受害者一般所占面積比較小、在受害的前期身體幾乎沒有動(dòng)作，在施暴者發(fā)生暴力過程中以及發(fā)出的恐嚇性成分聲音后會(huì)發(fā)生驚叫救助等特征成分的語音，聲音多屬于女性的聲音或者是個(gè)子不大的人體。
本發(fā)明的有益效果主要表現(xiàn)在1、智能化、實(shí)時(shí)在線、可靠性強(qiáng)、安裝維護(hù)簡便；2、速度快-2.4GHz直接序列擴(kuò)頻，最大數(shù)據(jù)傳輸速率為11Mb/s，無須直線傳播；3、具有動(dòng)態(tài)速率轉(zhuǎn)換功能-當(dāng)射頻情況變差時(shí)，可將數(shù)據(jù)傳輸速率降低為5.5Mb/s、2Mb/s和1Mb/s；4、使用范圍廣-支持的范圍是在室外為300米，在室內(nèi)環(huán)境中最長為100米，只要將網(wǎng)絡(luò)橋接器安裝在大樓的中間層靠近電梯井道附近，能滿足50層左右的樓層電梯的無線視音頻傳輸；5、可靠性高-使用與以太網(wǎng)類似的連接協(xié)議和數(shù)據(jù)包確認(rèn)，來提供可靠的無線視音頻數(shù)據(jù)傳送和網(wǎng)絡(luò)帶寬的有效使用；6、互用性好-只允許一種標(biāo)準(zhǔn)的信號(hào)發(fā)送技術(shù)，WECA將認(rèn)證產(chǎn)品的互用性；7、漫游支持功能-當(dāng)電梯在各個(gè)層間之間上下移動(dòng)時(shí)進(jìn)行無縫連接；8、可伸縮性好-最多三個(gè)訪問點(diǎn)可以同時(shí)定位于有效使用范圍中，以支持上百個(gè)用戶，足以能使整個(gè)大樓中的電梯監(jiān)控點(diǎn)正常工作；9、不需任何布線就能方便地實(shí)現(xiàn)對(duì)單梯以及群梯的安全防范監(jiān)控，更適用于目前使用中的電梯的控制技術(shù)和安全防范技術(shù)的改造；10、組網(wǎng)方便，能與大樓中的任何網(wǎng)進(jìn)行連接，也可以與外界的因特網(wǎng)進(jìn)行連接，實(shí)現(xiàn)電梯的遠(yuǎn)程監(jiān)控或者遠(yuǎn)程維護(hù)，在發(fā)生竊財(cái)、竊色等電梯暴力事件發(fā)生時(shí)能在第一時(shí)間通知有關(guān)人員采取救援措施；11、降低電梯內(nèi)的犯罪率，提高電梯利用者的安全感，對(duì)預(yù)防電梯內(nèi)的犯罪有積極的作用。


圖1為基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置的結(jié)構(gòu)框圖；圖2為采用嵌入式軟硬件以及無線收發(fā)模塊進(jìn)行全數(shù)字無線視音頻通信系統(tǒng)拓?fù)鋱D；圖3為將無線網(wǎng)絡(luò)橋接器安裝在大樓的中間層靠近電梯井道附近的示意圖；圖4為語音情感識(shí)別的原理框圖；圖5為在發(fā)生電梯內(nèi)暴力情況時(shí)，一種暴力活動(dòng)傾向狀態(tài)隨時(shí)間累計(jì)曲線圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
參照?qǐng)D1～圖5，一種基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，包括安裝在電梯轎廂頂部的視頻傳感器、用于采集轎廂內(nèi)語音的語音接受器以及用于監(jiān)控電梯的監(jiān)控中心計(jì)算機(jī)，所述的視頻傳感器、語音接受器與監(jiān)控中心計(jì)算機(jī)連接，所述的監(jiān)控中心計(jì)算機(jī)包括用于實(shí)時(shí)顯示電梯視頻數(shù)據(jù)的顯示模塊，所述顯示模塊連接顯示裝置，所述的視頻傳感器通過無線網(wǎng)絡(luò)交換設(shè)備與監(jiān)控中心計(jì)算機(jī)無線數(shù)據(jù)連接，所述的無線網(wǎng)絡(luò)交換設(shè)備為電梯所在大樓的無線局域網(wǎng)的中心，所述的監(jiān)控計(jì)算機(jī)包括用于電梯安全防范的微處理器，所述的微處理器包括圖像讀取模塊，用于將電梯轎廂內(nèi)的視頻信息采集下來。
圖像變化計(jì)算模塊，用于將所獲得的當(dāng)前幀現(xiàn)場(chǎng)視頻圖像與一個(gè)相對(duì)比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(8)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0)(8)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；
連通區(qū)域計(jì)算模塊，用于對(duì)當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的背景，像素灰度為1為目標(biāo)，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；電梯內(nèi)是否有人判斷模塊，用于根據(jù)連通區(qū)域的大小屬性以及形狀屬性進(jìn)行判斷，如同時(shí)滿足大小屬性、形狀屬性，判定電梯轎廂內(nèi)有人，該判斷模塊包括區(qū)域大小屬性判斷單元，用于對(duì)所述的每個(gè)連通區(qū)域求出其面積，并依照如下判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；若Si＞閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，首先考慮到是由于光的照射而產(chǎn)生的變化，但是也不能排除人會(huì)攜帶著一些物品，因此這時(shí)設(shè)定區(qū)域大小影響因子Fs為0.2~0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，設(shè)定區(qū)域大小影響因子Fs為1；閾值1和閾值2的取值范圍的大小是根據(jù)從上往下看一個(gè)成年人的平均截面積在0.12m2左右，然后通過視覺系統(tǒng)的標(biāo)定結(jié)果來決定閾值1和閾值2的大小，即像素值的大??；形狀屬性判斷單元，用于根據(jù)每個(gè)連通區(qū)域求出其面積Si求其形狀特征屬性，與人體模型作比較，首先求每個(gè)連通區(qū)域的平均寬度和高度，平均寬度wi用在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，然后用公式(10)計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比，ϵareai=Siwi*hi---(10)]]>計(jì)算所得的εareai值在0.5~0.9之間，接著用公式(11)進(jìn)行下面的矩形的寬度wi與高度hi的比的計(jì)算，εareai值小于0.5時(shí)就將該連通區(qū)域排除，ϵratei=wihi---(11)]]>計(jì)算所得到的εratei值根據(jù)空間位置關(guān)系，劃分若干個(gè)區(qū)域半徑，每個(gè)區(qū)域半徑中有其判斷指標(biāo)，比如在10m~12m的區(qū)域半徑范圍內(nèi)，εratei值在0.15~0.4之間，設(shè)定形狀屬性影響因子Fsh為1；電梯門狀態(tài)動(dòng)作判斷模塊，用于安裝好視頻傳感器后，得到的轎廂初始圖像，定義電梯門處于關(guān)狀態(tài)時(shí)上部區(qū)域?yàn)楸尘皥D像，將當(dāng)前的圖像與背景圖像進(jìn)行背景減算法，如連通區(qū)域有整塊出現(xiàn)，判斷轎廂門處于開的狀態(tài)；否則轎廂門處于關(guān)的狀態(tài)；通過相鄰各幀圖像的檢測(cè)，如連通區(qū)域的面積在水平方向上從大到小，判斷轎廂門從開到關(guān)，如連通區(qū)域的面積在水平方向上從小到大，判斷轎廂門從關(guān)到開。
該裝置中包括用于監(jiān)視轎廂內(nèi)情況的攝像頭、用于采集轎廂內(nèi)語音的麥克風(fēng)、用于采集、傳輸視音頻信息的嵌入式系統(tǒng)與無線收發(fā)模塊的配合，選擇嵌入式Linux系統(tǒng)，主要達(dá)到集傳感、通信、移動(dòng)為一體的目的，具體選擇三星S3C2410X為嵌入式微處理器，結(jié)合無線局域網(wǎng)技術(shù)，設(shè)計(jì)了基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，實(shí)現(xiàn)視音頻數(shù)據(jù)采集、無線傳輸、基于圖像、語音識(shí)別與理解技術(shù)的電梯安全防范。嵌入式系統(tǒng)中包括了軟件與硬件技術(shù)，其中嵌入式Linux軟件是核心技術(shù)，它能實(shí)現(xiàn)視音頻服務(wù)器的功能。
所述的嵌入式微處理器S3C2410X是一款基于ARM920T內(nèi)核的16/32位RISC嵌入式微處理器，該處理器是為手持設(shè)備以及高性價(jià)比、低功耗微控制器而設(shè)計(jì)的。它采用了一種叫做AMBA(Advanced Microcontroller Bus Architecture)的新總線架構(gòu)。S3C2410X內(nèi)部的主要資源有內(nèi)存管理單元MMU、系統(tǒng)管理器、各為16KB的指令和數(shù)據(jù)緩存、LCD控制器(STN&TFT)、NAND FLASH Boot Loader、3通道UART、4通道DMA、4個(gè)PWM時(shí)鐘、1個(gè)內(nèi)部時(shí)鐘、8通道10為ADC、觸摸屏接口、多媒體卡接口、I2C和I2S總線接口、2個(gè)USB主機(jī)接口、1個(gè)USB設(shè)備接口、SD主接口、2SPI接口、PLL時(shí)鐘發(fā)生器以及通用I/O端口等。
所述的嵌入式微處理器S3C2410X內(nèi)部包含一個(gè)叫MMU的內(nèi)存管理單元，可以實(shí)現(xiàn)虛擬存儲(chǔ)空間到物理存儲(chǔ)空間的映射。通常嵌入式系統(tǒng)的程序存放在ROM/FLASH中，系統(tǒng)斷電后程序能夠得到保存，但ROM/FLASH與SDRAM相比，速度要慢的多，而且嵌入式系統(tǒng)中通常把異常中斷向量表存放在RAM中，利用內(nèi)存映射機(jī)構(gòu)可以解決這種需要。
所述的ROM/FLASH采用三星公司64MB的K9S1208VOM。它可進(jìn)行10萬次的編程/擦除，數(shù)據(jù)保存長達(dá)10年，被用來裝載操作系統(tǒng)鏡像和大容量的數(shù)據(jù)。
所述的SDRAM是采用三星公司的K4S561632C，用來運(yùn)行操作系統(tǒng)和存儲(chǔ)程序運(yùn)行過程中所需要的數(shù)據(jù)，它是4M*16bit*4bank的同步DRAM，容量為32MB。用兩片K4S561632C實(shí)現(xiàn)位擴(kuò)展，使數(shù)據(jù)總線寬度為32bit。
所述的嵌入式軟件系統(tǒng)主要包括操作系統(tǒng)、TCP/IP協(xié)議的移植、驅(qū)動(dòng)程序的安裝以及用戶應(yīng)用程序的編寫等。
本發(fā)明中采用了Linux作為嵌入式操作系統(tǒng)，Linux是從UNIX發(fā)展而來，繼承了UNIX大多數(shù)的優(yōu)點(diǎn)，Linux公開的內(nèi)核源代碼使得它成為目前最流行的操作系統(tǒng)，并且Linux可以從應(yīng)用出發(fā)裁剪其硬件軟件，這對(duì)面向基于圖像識(shí)別技術(shù)的電梯內(nèi)防暴力裝置這種特殊需要來說十分必要，這里我們將其稱為定制操作系統(tǒng)，定制步驟如下(1)編寫板基支持包BSP；(2)裁剪和配置操作系統(tǒng)的各個(gè)部件，并修改相應(yīng)的配置文件；(3)編譯Kernel、組件和BSP，生成操作系統(tǒng)鏡像文件；(4)將鏡像文件下載到目標(biāo)板上，進(jìn)行調(diào)試。
進(jìn)一步，電梯內(nèi)視音頻監(jiān)控信息是要通過TCP/IP協(xié)議經(jīng)無線局域網(wǎng)以數(shù)據(jù)打包、發(fā)送的方式來進(jìn)行傳輸?shù)?，因此要在操作系統(tǒng)支持下實(shí)現(xiàn)TCP/IP協(xié)議，就需要進(jìn)行任務(wù)劃分，可以將TCP/IP的實(shí)現(xiàn)劃分為4個(gè)任務(wù)來實(shí)現(xiàn)①IP任務(wù)，主要用來解決IP分片的重組；②TCP輸入任務(wù)，主要用來處理接收到的TCP報(bào)文段；③TCP輸出任務(wù)，主要用來將要輸出的數(shù)據(jù)打包、發(fā)送；④TCP定時(shí)器任務(wù)，主要用來為各種時(shí)延事件(如重發(fā)事件)提供時(shí)鐘。
更進(jìn)一步，基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置中需要有兩個(gè)USB接口，其中一個(gè)USB接口是將監(jiān)控?cái)z像頭與S3C2410X進(jìn)行連接，另一個(gè)USB接口是將無線網(wǎng)卡與S3C2410X進(jìn)行連接，由于S3C2410X自帶USB主從接口，不需要專門的USB芯片支持，只要對(duì)其安裝驅(qū)動(dòng)程序即可進(jìn)行USB傳輸數(shù)據(jù)。在S3C2410X上配置有語音接口，將麥克風(fēng)直接與語音接口連接就能完成語音信息的采集功能。
所述的USB驅(qū)動(dòng)程序包含如下幾個(gè)部分(1)創(chuàng)建設(shè)備，創(chuàng)建設(shè)備函數(shù)帶兩個(gè)參數(shù)調(diào)用，一個(gè)參數(shù)是指向驅(qū)動(dòng)程序?qū)ο蟮闹羔槪硪粋€(gè)參數(shù)是指向物理設(shè)備對(duì)象的指針；(2)關(guān)閉設(shè)備；(3)讀取設(shè)備數(shù)據(jù)，當(dāng)客戶應(yīng)用程序有讀取設(shè)備數(shù)據(jù)的要求時(shí)，系統(tǒng)將此要求以IRP_MJ_READ的IRP形式傳遞給功能驅(qū)動(dòng)程序，由設(shè)備的D12Meter_Read程序執(zhí)行，然后再由D12Meter_Read指定USB總線驅(qū)動(dòng)程序直接與設(shè)備實(shí)現(xiàn)信息交互；(4)對(duì)設(shè)備寫入數(shù)據(jù)，當(dāng)客戶應(yīng)用程序有寫設(shè)備數(shù)據(jù)的要求時(shí)，系統(tǒng)將此要求以IRP_MJ_WRITE的IRP形式傳遞給功能驅(qū)動(dòng)程序，并由D12Meter_Write執(zhí)行，然后再由D12Meter_Write指定USB總線驅(qū)動(dòng)程序直接與設(shè)備實(shí)現(xiàn)信息交互。USB驅(qū)動(dòng)程序通過安裝文件(.inf文件)中PID(產(chǎn)品識(shí)別號(hào))和VID(廠商識(shí)別號(hào))識(shí)別USB設(shè)備。
當(dāng)嵌入式操作系統(tǒng)裝載完成后，就可以安裝無線網(wǎng)卡的驅(qū)動(dòng)程序和其他相應(yīng)的應(yīng)用程序。將無線網(wǎng)卡的驅(qū)動(dòng)程序作為一個(gè)模塊打包到操作系統(tǒng)中，可避免系統(tǒng)掉電后每次都要重裝無線網(wǎng)卡驅(qū)動(dòng)程序。
所述的用戶應(yīng)用程序包括圖像傳輸、記錄模塊，語音通話接口模塊，通話連接模塊，記錄裝置檢測(cè)模塊，服務(wù)中心連接模塊，安全防范檢測(cè)模塊，安全防范中心連接模塊，電梯異常檢測(cè)模塊，電梯控制中心連接模塊，以及無線通信模塊；電梯暴力事件的種類可分為電梯內(nèi)的劫財(cái)、劫色和其他暴力事件。從發(fā)生電梯暴力事件的時(shí)間段來看一般都是處在電梯利用者比較少或者深夜時(shí)間，從發(fā)生過程延續(xù)時(shí)間來看施暴者要比一般正常電梯利用者乘坐電梯的時(shí)間來的長些，從視頻的角度來說在電梯移動(dòng)時(shí)間內(nèi)人體的活動(dòng)頻繁并出現(xiàn)人體之間迅速靠近或者人體面積迅速變化等特征，從音頻的角度來說會(huì)施害者常會(huì)發(fā)出一些恐嚇性的語言，受害者常會(huì)發(fā)生驚叫救助等語音特征。
所述的安全防范檢測(cè)模塊中包括電梯劫財(cái)暴力、劫色暴力和其他暴力等事件的檢測(cè)，從視音頻識(shí)別角度來說，施暴者一般在整個(gè)視場(chǎng)中的所占面積比較大(往往是大個(gè)子男性)、動(dòng)作比較猛且朝向受害者主動(dòng)動(dòng)作、在電梯內(nèi)停留時(shí)間比較長(等候機(jī)會(huì)實(shí)施暴力)、暴力發(fā)生以前或者過程中發(fā)出的聲音中帶有恐嚇性成分，聲音多屬于男性的聲音；與施暴者比較，受害者一般所占面積比較小、在受害的前期身體幾乎沒有動(dòng)作，在施暴者發(fā)生暴力過程中以及發(fā)出的恐嚇性成分聲音后會(huì)發(fā)生驚叫救助等特征成分的語音，聲音多屬于女性的聲音或者是個(gè)子不大的人體；
在劫色暴力判斷中，由于受害者幾乎都是女性，施暴者(色狼)幾乎都是男性，而且?guī)缀醵际窃陔娞輧?nèi)只有兩個(gè)人情況(一男一女)情況下發(fā)生的，同時(shí)從時(shí)間段來看一般都是處在電梯利用者比較少或者深夜等時(shí)間段，色狼在劫色暴力過程中當(dāng)電梯關(guān)門不久就會(huì)迅速的靠近受害者，施暴者又往往將受害者推到電梯的角落里實(shí)施劫色暴力活動(dòng)，這時(shí)一個(gè)大的截面積會(huì)迅速靠近小的截面積，接著在一個(gè)小的區(qū)域范圍內(nèi)動(dòng)作非常頻繁，受害者會(huì)有明顯的掙扎反抗行為也會(huì)伴隨著有女性的驚叫救助等特征成分的語音；所述的劫色暴力中的判斷條件判斷標(biāo)準(zhǔn)分為“確認(rèn)暴力”、“嚴(yán)重異?！?、“異?！?、“有暴力傾向”、“需要注意”等5個(gè)不同層次，如圖5暴力活動(dòng)傾向狀態(tài)變化曲線所示，在圖5中以電梯的轎廂門關(guān)閉后作為計(jì)算出發(fā)點(diǎn)，首先檢測(cè)轎廂內(nèi)的人數(shù)，如果所檢測(cè)到的轎廂內(nèi)人數(shù)為2人并且當(dāng)時(shí)的時(shí)間段在晚間或者是電梯利用乘客非常少的情況時(shí)，就開始進(jìn)行暴力活動(dòng)狀態(tài)的計(jì)算；如果發(fā)現(xiàn)在電梯轎廂內(nèi)原來就有人并呆在轎廂內(nèi)超過一定時(shí)間以上同時(shí)并沒有在轎廂內(nèi)選層面板上選擇層間按鈕的話，暴力活動(dòng)傾向狀態(tài)就要加一個(gè)L1值(這是考慮到有人想伺機(jī)劫色)；如果檢測(cè)到一個(gè)截面積比較大是在一個(gè)截面積比較小的后面進(jìn)入電梯的話，暴力活動(dòng)傾向狀態(tài)就要加一個(gè)L2值(這是考慮到有人尾隨伺機(jī)劫色)；隨著時(shí)間的推移如果檢測(cè)到一個(gè)截面積比較大迅速地接近一個(gè)截面積比較小的情況，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)L3值(這是考慮到有人已經(jīng)開始動(dòng)手劫色)；接著如果檢測(cè)到有聲音并判定為是女性的驚恐情感聲音的話，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)L4值(這是考慮到被害的人受到驚嚇發(fā)出的聲音)；如果檢測(cè)到兩個(gè)截面積幾乎合成為一個(gè)截面積并延續(xù)了一定時(shí)間Tdurin、同時(shí)在某些部位動(dòng)作變化頻繁的話，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)L5值(這是考慮到劫色者對(duì)被害人進(jìn)行劫色活動(dòng)，同時(shí)受害者會(huì)有明顯的掙扎反抗行為)；這時(shí)如果檢測(cè)到有聲音并判定為包含有女性的憤怒、悲傷等情感聲音的話，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)L6值(這是考慮到被害的人受到暴力攻擊后發(fā)出的聲音)；在這期間如果電梯的轎廂門有開啟動(dòng)作的話，有幾種情況會(huì)發(fā)生1)是檢測(cè)到轎廂內(nèi)人數(shù)減少，這時(shí)也有兩種可能性，一種可能性是施暴者逃離作案現(xiàn)場(chǎng)，另一種可能性是施暴者將被害者推出轎廂，如果檢測(cè)到轎廂內(nèi)還有一個(gè)人并且是沒有任何其他活動(dòng)或者是檢測(cè)到有悲傷等情感聲音的話表明轎廂內(nèi)的人是被害者；2)檢測(cè)到轎廂內(nèi)已經(jīng)無人，這種情況考慮是施暴者將被害者帶出轎廂，繼續(xù)在其他隱蔽的地方進(jìn)行作案；3)轎廂內(nèi)人數(shù)增加，這時(shí)也有兩種可能性，一種可能性是施暴者的同伙加入暴力攻擊，待電梯轎廂門關(guān)閉后又會(huì)出現(xiàn)上述一些暴力活動(dòng)傾向，在這種情況時(shí)暴力活動(dòng)傾向狀態(tài)要進(jìn)行累加；另一種可能性有乘客進(jìn)行轎廂，這時(shí)轎廂內(nèi)會(huì)出現(xiàn)暫時(shí)的平靜，如果有兩個(gè)面積靠的非常近且在電梯的一個(gè)角落里的話，可以認(rèn)為施暴者為了掩蓋其暴力攻擊行為，將被害者擠壓到轎廂的角落里并不允許被害者發(fā)出聲音；根據(jù)上述判斷暴力活動(dòng)傾向狀態(tài)累加值的大小，與判斷標(biāo)準(zhǔn)中的“確認(rèn)暴力”、“嚴(yán)重異常”、“異常”、“有暴力傾向”、“需要注意”的值進(jìn)行比較，如果累計(jì)統(tǒng)計(jì)計(jì)算值超過“異?！钡吹健坝斜┝A向”的標(biāo)準(zhǔn)，那么就判定為“異?！卑l(fā)生，然后根據(jù)不同的判定結(jié)果進(jìn)行不同的處理；所述的特征成分的語音，語音的振動(dòng)速率決定了語音信號(hào)的基頻。語音的振動(dòng)產(chǎn)生了諧波譜，它通過口腔和鼻腔時(shí)，經(jīng)過了濾波，產(chǎn)生了一個(gè)復(fù)雜的時(shí)變譜。考慮到當(dāng)同一人發(fā)出的帶有不同情感而內(nèi)容相同的語句時(shí)，其聲道會(huì)有不同的變化，而共振峰頻率與聲道的形狀和大小有關(guān)，每種形狀都有一套共振峰頻率作為其特征。因此，共振峰頻率也是表達(dá)情感的特征參數(shù)之一通常在語音情感識(shí)別時(shí)使用的主要特征參數(shù)包括以下內(nèi)容
表1常用語音情感識(shí)別參數(shù)在本實(shí)施例中選取了6個(gè)語音信號(hào)參數(shù)作為情感的特征參數(shù)，分別是平均短時(shí)能量、平均幅度變化率、平均基音頻率、基音頻率的平均變化率、平均短時(shí)過零率、清音部分和濁音部分的時(shí)間比等，其中以基音頻率最能體現(xiàn)情感特征。
基音頻率是音頻數(shù)據(jù)中比較重要的特征參數(shù)?；魴z測(cè)是一個(gè)比較復(fù)雜的問題，由于聲帶振動(dòng)并不是完全周期性的，有些清濁音的過渡幀是很難截然判定它應(yīng)屬于周期性或非周期性的。一般基音檢測(cè)的方法大致可分成(1)時(shí)域估計(jì)法，直接由語音波形來估計(jì)基音周期；(2)變換域法，將語音信號(hào)變換到頻域或倒譜域來估計(jì)基音周期。本專利中采用了改進(jìn)的自相關(guān)函數(shù)估計(jì)法來計(jì)算語音信號(hào)的基音頻率。
短時(shí)自相關(guān)函數(shù)R(x)在基音周期的各個(gè)整數(shù)倍點(diǎn)上有很大的峰值。自相關(guān)算法的思想就是通過尋找第一最大峰值點(diǎn)的位置來估計(jì)出基音頻率。根據(jù)短時(shí)自相關(guān)函數(shù)Rn(K)=Σm=-∞∞[x(m)w(n-m)][x(m+k)w(n-m-k)]---(1)]]>設(shè)一幀的語音信號(hào)為y0，y1，y2，......yn將每一幀從第一個(gè)采樣點(diǎn)開始，分別用(y0*y1)+(y1*y2)+.....+(yn-1*yn)，記為k等于0是的自相關(guān)函數(shù)值，再將間隔加1，一直計(jì)算到(y0*yn)+(y1*yn+1)+......+(yn-1*yn+n-2)，記為k等于n-1時(shí)的值。根據(jù)波形特點(diǎn)，當(dāng)間隔點(diǎn)移動(dòng)到周期的整數(shù)倍時(shí)，計(jì)算得到的值是最大的。因此，找出自相關(guān)函數(shù)的最大值，則它所對(duì)應(yīng)的k值便對(duì)應(yīng)著k個(gè)采樣點(diǎn)內(nèi)有一個(gè)周期。再根據(jù)采樣頻率，便能計(jì)算出這段語音信號(hào)的基音頻率。
在實(shí)際計(jì)算中，根據(jù)語音信號(hào)的頻率特征以及人類語音的頻率范圍，K值不需要從0開始，最大間隔也不必取完整各幀。由于試驗(yàn)采用10kHz的取樣頻率，根據(jù)人類語音信號(hào)頻率集中在50-500Hz的特性，實(shí)際使用中將間隔值設(shè)為28-200之間。計(jì)算得到的K值并不一定是基音頻率的對(duì)應(yīng)點(diǎn)，也有可能是2倍頻或者幾倍頻點(diǎn)。為了避免這些差錯(cuò)，采取了極大值判別法來修正。
間隔點(diǎn)移動(dòng)到周期的整數(shù)倍時(shí)，計(jì)算出來的值是最大值原理，雖然真正的基音頻率對(duì)應(yīng)的值并不一定就是最大值，但肯定是一個(gè)極大值，所以在找出最大值后，設(shè)置一個(gè)門限，然后再根據(jù)這個(gè)門限去找出符合的極大值，將最符合的k值作為基音頻率的點(diǎn)；所述的情感模式匹配，在本專利中只是關(guān)心驚恐、悲傷和憤怒等三種情感的計(jì)算，因此只要得到這三種情感的特征參數(shù)，然后采用加權(quán)歐式距離法來進(jìn)行情感的判別；在不同的情感狀態(tài)下，這三種特征對(duì)情感狀態(tài)的貢獻(xiàn)是不同的。故在本專利中采用了貢獻(xiàn)分析法來確定情感特征參數(shù)在構(gòu)建模板時(shí)的權(quán)重值，定義為Wj=1nΣi=1ncov(θ^(yi,φ^j(xij))varφ(yi)---(2)]]>t＝1，…，n j＝1，…，8(3)θ(yi)=Σj=18φj(xij)+ϵi---(4)]]>其中θ(yi)是第t感語句和模板歐氏距離y的函數(shù)，φj(xij)是第t句的第J個(gè)情感特征參量xij的二次函數(shù)，εi是隨機(jī)誤差，
和
是通過修正條件期望算法(Ameyded Conditional Expectation)迭代確定出的最佳函數(shù)。
提取6個(gè)情感特征參量這樣就將每個(gè)情感語句轉(zhuǎn)變?yōu)橐粋€(gè)6維的原始特征矢量，由于各維元素的單位不統(tǒng)一，在抽取情感特征參量時(shí)，以各特征值的均值作為相應(yīng)模板的基礎(chǔ)參量。識(shí)別時(shí)，將各特征值與模板中相應(yīng)均值的比值作為參數(shù)歸一化標(biāo)準(zhǔn)。將這些情感特征參數(shù)歸一化標(biāo)準(zhǔn)存放在情感語音數(shù)據(jù)庫中，用于情感模式匹配時(shí)識(shí)別上述三種語音情感，表2為情感狀態(tài)權(quán)重初值分配；
表2情感狀態(tài)權(quán)重初值分配6個(gè)情感特征參數(shù)權(quán)重值和為1，即Σj=16wj=1.]]>表中權(quán)值w1，w2，w3，w4，w5，w6，分別對(duì)應(yīng)于分別對(duì)應(yīng)平均短時(shí)能量、平均幅度變化率、平均基音頻率、基音頻率的平均變化率、平均短時(shí)過零率、清音部分和濁音部分的時(shí)間比。語音識(shí)別時(shí)，調(diào)入要識(shí)別語音的情感語句，提取上述6個(gè)情感特征參數(shù)并計(jì)算出各模板的歸一化特征參數(shù)矢量。再將得到的特征矢量分別進(jìn)行驚恐、憤怒、悲傷等狀態(tài)的加權(quán)歐氏距離模板匹配，即求出它與各情感模板的加權(quán)歐氏距離，得到最小歐氏距離的模板所代表的情感狀態(tài)就是識(shí)別結(jié)果；所述的男音與女音識(shí)別，在語音識(shí)別中屬于比較簡單的識(shí)別，只要求得基音頻率就能分辨出男音還是女音；在劫財(cái)暴力判斷中，情況就比較復(fù)雜，首先是在轎廂內(nèi)的人數(shù)方面，施暴劫財(cái)份子可能是一個(gè)人，也可能是多人，一般人數(shù)不會(huì)超過4人以上，受害者可能是女性也可能是男性，當(dāng)轎廂內(nèi)人數(shù)只有兩人時(shí)，可以按照劫色暴力中的判斷條件；當(dāng)轎廂內(nèi)人數(shù)超過兩人時(shí)，由于劫財(cái)暴力事件中往往會(huì)發(fā)生“暴力搶劫”和“反抗搏斗”等行為，在視頻圖像方面的活動(dòng)區(qū)域以及活動(dòng)量會(huì)表現(xiàn)的十分明顯，同時(shí)也會(huì)伴隨著恐嚇、憤怒等情感語音，隨著時(shí)間的進(jìn)行劫財(cái)暴力活動(dòng)傾向狀態(tài)的判定值就會(huì)增大。通過與預(yù)先確定的閾值進(jìn)行比較，就可按照“確認(rèn)暴力”、“嚴(yán)重異常”、“異?！薄ⅰ坝斜┝A向”、“需要注意”等5個(gè)不同層次做出判斷，如圖5暴力活動(dòng)傾向狀態(tài)變化曲線所示，在圖5中以電梯的轎廂門關(guān)閉后作為計(jì)算出發(fā)點(diǎn)，首先檢測(cè)轎廂內(nèi)的人數(shù)，如果所檢測(cè)到的轎廂內(nèi)人數(shù)小于4人并且當(dāng)時(shí)的時(shí)間段在晚間或者是電梯利用乘客非常少的情況時(shí)，就開始進(jìn)行暴力活動(dòng)狀態(tài)的計(jì)算；如果發(fā)現(xiàn)在電梯轎廂內(nèi)原來就有人并呆在轎廂內(nèi)超過一定時(shí)間以上同時(shí)并沒有在轎廂內(nèi)選層面板上選擇層間按鈕的話，暴力活動(dòng)傾向狀態(tài)就要加一個(gè)K1值(這是考慮到有人想伺機(jī)搶劫)；隨著時(shí)間的推移如果檢測(cè)到一個(gè)或者兩個(gè)面積迅速地接近另一個(gè)面積，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)K2值(這是考慮到有人想動(dòng)手搶劫)；接著如果檢測(cè)到有聲音并判定為是驚恐情感聲音的話，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)K3值(這是考慮到被搶劫的人受到驚嚇發(fā)出的聲音)；接著如果每次檢測(cè)到每幀圖像中有面積的劇烈活動(dòng)，某個(gè)部位的運(yùn)動(dòng)速度超過閾值(該閾值是平常人的動(dòng)作速度值)，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)K4值(這是考慮到搶劫動(dòng)作已經(jīng)發(fā)生并在進(jìn)行中)；這是如果檢測(cè)到有聲音并判定為包含有憤怒、悲傷等情感聲音的話，暴力活動(dòng)傾向狀態(tài)就要再加一個(gè)K5值(這是考慮到被搶劫的人受到暴力攻擊后發(fā)出的聲音)；在這期間如果電梯的轎廂門有開啟動(dòng)作的話，有幾種情況會(huì)發(fā)生1)是檢測(cè)到轎廂內(nèi)人數(shù)減少，這時(shí)也有兩種可能性，一種可能性是施暴者逃離作案現(xiàn)場(chǎng)，另一種可能性是施暴者將被害者推出轎廂，如果檢測(cè)到轎廂內(nèi)還有一個(gè)人并且是沒有任何其他活動(dòng)或者是檢測(cè)到有悲傷等情感聲音的話表明轎廂內(nèi)的人是被害者；2)檢測(cè)到轎廂內(nèi)已經(jīng)無人，這種情況考慮是施暴者將被害者帶出轎廂，繼續(xù)在其他隱蔽的地方進(jìn)行作案；3)轎廂內(nèi)人數(shù)增加，這時(shí)也有兩種可能性，一種可能性是施暴者的同伙加入暴力攻擊，待電梯轎廂門關(guān)閉后又會(huì)出現(xiàn)上述一些暴力活動(dòng)傾向，在這種情況時(shí)暴力活動(dòng)傾向狀態(tài)要進(jìn)行累加；另一種可能性有乘客進(jìn)行轎廂，這時(shí)轎廂內(nèi)會(huì)出現(xiàn)暫時(shí)的平靜，如果有兩個(gè)面積靠的非常近且在電梯的一個(gè)角落里的話，可以認(rèn)為施暴者為了掩蓋其暴力攻擊行為，將被害者擠壓到轎廂的角落里并不允許被害者發(fā)出聲音；有時(shí)候竊財(cái)和竊色暴力可能會(huì)同時(shí)發(fā)生，在本專利中以最大的暴力活動(dòng)傾向狀態(tài)統(tǒng)計(jì)計(jì)算值來進(jìn)行判斷；對(duì)電梯轎廂這樣一個(gè)狹小而又相對(duì)封閉的空間內(nèi)，為了使對(duì)一些容易發(fā)生理性錯(cuò)位人回歸理性，使色狼不敢輕易動(dòng)手，讓準(zhǔn)備在電梯中進(jìn)行搶劫暴力的可疑人物感到有威懾作用，在轎廂的明顯地方實(shí)時(shí)播放該轎廂的監(jiān)視圖像是十分有效的，通過在轎廂內(nèi)實(shí)時(shí)播放該轎廂的監(jiān)視圖像就是告訴每個(gè)電梯中的人，轎廂內(nèi)的信息是與外界在線相通的，除了對(duì)上述行為不軌者、企圖搶劫者有震懾作用以外，對(duì)一些弱者也有較大的心理安慰作用，特別能起到有一個(gè)安全保護(hù)心理作用。
為了將轎廂內(nèi)暴力活動(dòng)傾向降低到最低，給施暴者在施暴準(zhǔn)備以及施暴過程中施加一些外界干擾，通過視頻檢測(cè)到轎廂內(nèi)部有人，且超過一定時(shí)間Twait后仍然沒有選擇任何選層按鈕或者電梯門沒有開閉時(shí)，就可以推斷為可疑人員正在伺機(jī)采取暴力行動(dòng)，或者電梯里有乘客因急病、受到暴力攻擊等原因無法行動(dòng)等狀態(tài)，要控制電梯進(jìn)入非常處理程序升降至最近一層，自動(dòng)打開電梯門。同樣在暴力活動(dòng)傾向狀態(tài)統(tǒng)計(jì)計(jì)算值達(dá)到“嚴(yán)重異?！睍r(shí)，控制電梯進(jìn)入非常處理程序升降至最近一層，自動(dòng)打開電梯門。
所述的轎廂內(nèi)有人的判斷，采用背景減算法的快速分割算法來實(shí)時(shí)檢測(cè)轎廂內(nèi)的人員；背景消除是基于背景減算法檢測(cè)前景對(duì)象的關(guān)鍵，它直接影響檢測(cè)出檢測(cè)對(duì)象的完整性和準(zhǔn)確性。本發(fā)明中采用了背景自適應(yīng)法，其核心思想是對(duì)每一個(gè)背景像素使用1組矢量；RGB變化的當(dāng)前混合值(Xmix，bi)來表示合法背景像素的允許取值(i為幀號(hào))，并采用IIR濾波對(duì)其進(jìn)行如下更新。
(1)當(dāng)光線自然變化(不是由轎廂內(nèi)開關(guān)燈引起的)，并且無前景對(duì)象存在時(shí)，1組向量(分別為RGB)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i)(5)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測(cè)RGB向量，λ為背景更新的速度λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成。由于轎廂內(nèi)光線變化非常小，λ的值可以取的非常小。
(2)當(dāng)光線有突變時(shí)(由轎廂內(nèi)開關(guān)燈引起的)，1組向量按當(dāng)前幀重置Xmix，bn+1(i)＝Xmix，cn(i) (6)(3)當(dāng)有前景對(duì)象進(jìn)入檢測(cè)范圍時(shí)，背景保持不變。為避免將前景運(yùn)動(dòng)對(duì)象的部分像素學(xué)習(xí)為背景像素，采用
Xmix，bn+1(i)＝Xmix，bn(i)(7)上式中的Xmix，bn+1(i)(i＝1，2，3)分別表示R，G，B 3個(gè)分量，為簡化起見，上述公式略去了每個(gè)像素的坐標(biāo)(x，y)部分。
對(duì)于轎廂內(nèi)人數(shù)檢測(cè)背景亮度的變化可用來判定檢測(cè)到的前景對(duì)象是否因開關(guān)燈而引起的，開關(guān)燈事件等這些背景亮度的變化不應(yīng)使系統(tǒng)判斷為有轎廂內(nèi)大量的人員存在所引起的，因而進(jìn)行背景亮度分析有助于降低系統(tǒng)的誤識(shí)別率。背景亮度使用平均背景亮度Yb來度量，計(jì)算公式由式(8)給出，Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))---(8)]]>式(8)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表。用Yb0表示發(fā)現(xiàn)有運(yùn)動(dòng)對(duì)象時(shí)前一幀的背景亮度，Yb1表示檢測(cè)到檢測(cè)對(duì)象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0 (9)如果ΔY大于某個(gè)值則認(rèn)為發(fā)生了開燈事件，如果ΔY小于某個(gè)負(fù)值則認(rèn)為發(fā)生了關(guān)燈事件。根據(jù)上述判斷結(jié)果用式(9)對(duì)當(dāng)前幀進(jìn)行重置。
所述的掩模表，是用一個(gè)與視頻幀尺寸相同的數(shù)組M來記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，這個(gè)數(shù)組稱為掩模映射表(Mask Map) 數(shù)組M是檢測(cè)對(duì)象的二值圖像，不但可用來掩模視頻幀從而分割出運(yùn)動(dòng)對(duì)象，還可用于運(yùn)動(dòng)對(duì)象的跟蹤、分析和分類。
公式(8)中的背景亮度是從RGB顏色空間到Y(jié)CrCb顏色空間的轉(zhuǎn)換得到的，其公式(11)給出，Y＝0.29990*R+0.5870*G+0.1140*B(11)Cr＝0.5000*R-0.4187*G-0.0813*B+128Cb＝-0.1787*R-0.3313*G+0.5000*B+128所述的背景減算法也稱為差分方法，是一種常用于檢測(cè)圖像變化和運(yùn)動(dòng)物體的圖像處理方法。為了要將光源點(diǎn)存在的那些像素部分檢測(cè)出來，首先要有一個(gè)比較穩(wěn)定的基準(zhǔn)參考圖像，并將該基準(zhǔn)參考圖像存儲(chǔ)在計(jì)算機(jī)的存儲(chǔ)器里，并通過上述的背景自適應(yīng)法對(duì)基準(zhǔn)參考圖像進(jìn)行動(dòng)態(tài)更新，通過實(shí)時(shí)拍攝到圖像與該基準(zhǔn)參考圖像間進(jìn)行圖像相減，相減的結(jié)果發(fā)生變化的區(qū)域亮度增強(qiáng)，圖像相減的計(jì)算公式如式(12)表示，fd(X，t0，ti)＝f(X，ti)-f(X，t0)(12)式中fd(X，t0，ti)是實(shí)時(shí)拍攝到轎廂內(nèi)的圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到轎廂內(nèi)的圖像，相當(dāng)于式(5)中的Xmix，cn(i)；f(X，t0)是基準(zhǔn)參考圖像，相當(dāng)于式(5)中的Xmix，bn(i)。
實(shí)際圖像信號(hào)中包含有噪聲，而且一般都表現(xiàn)為高頻信號(hào)，因此在識(shí)別過程中要剔除由噪聲所產(chǎn)生的圖像邊緣點(diǎn)。
所述的剔除由噪聲所產(chǎn)生的圖像邊緣點(diǎn)，在本發(fā)明中使用四鄰域遍歷的方法，它用濾波掩膜確定的鄰域內(nèi)像素的平均灰度值去替代圖像每個(gè)像素點(diǎn)的值，即每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(13)所示h[i，j]＝(1/M)∑f[k，1](13)式中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)，本發(fā)明中取為4。
像素間的連通性是確定區(qū)域的一個(gè)重要概念。在二維圖像中，假設(shè)目標(biāo)像素周圍有m(m＜＝8)個(gè)相鄰的像素，如果該像素灰度與這m個(gè)像素中某一個(gè)點(diǎn)A的灰度相等，那么稱該像素與點(diǎn)A具有連通性。常用的連通性有4連通和8連通。4連通一般選取目標(biāo)像素的上、下、左、右四個(gè)點(diǎn)。8連通則選取目標(biāo)像素在二維空間中所有的相鄰像素。將所有具有連通性的像素作為一個(gè)區(qū)域則構(gòu)成了一個(gè)連通區(qū)域。
所述的連通區(qū)域計(jì)算主要解決在圖像處理過程中，一幅二值圖像，其背景和目標(biāo)分別具有灰度值0和1。對(duì)這樣的二值圖像，要對(duì)目標(biāo)進(jìn)行標(biāo)記，計(jì)算每一目標(biāo)的特征以進(jìn)行識(shí)別，在多目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)設(shè)計(jì)中，需要有一種快速而節(jié)省內(nèi)存的連通區(qū)域標(biāo)記算法。我們將像素為0的小區(qū)表示此小區(qū)無監(jiān)控對(duì)象，若為1則表示此小區(qū)有監(jiān)控對(duì)象。所以可以采用連通成分標(biāo)記法進(jìn)行缺陷區(qū)域的合并。連通標(biāo)記算法可以找到圖像中的所有連通成分，并對(duì)同一連通成分中的所有點(diǎn)分配同一標(biāo)記。下面是連通區(qū)域算法，1)從左到右、從上到下掃描圖像；2)如果像素點(diǎn)為1，則·如果上面點(diǎn)和左面點(diǎn)有一個(gè)標(biāo)記，則復(fù)制這一標(biāo)記。
·如果兩點(diǎn)有相同的標(biāo)記，復(fù)制這一標(biāo)記。
·如果兩點(diǎn)有不同的標(biāo)記，則復(fù)制上點(diǎn)的標(biāo)記且將兩個(gè)標(biāo)記輸入等價(jià)表中作為等價(jià)標(biāo)記。
·否則給這個(gè)象素點(diǎn)分配新的標(biāo)記并將這一標(biāo)記輸入等價(jià)表。
3)如果需考慮更多的點(diǎn)則回到第2步。
4)在等價(jià)表的每一等價(jià)集中找到最低的標(biāo)記。
5)掃描圖像，用等價(jià)表中的最低標(biāo)記取代每一標(biāo)記。
在本發(fā)明中采用區(qū)域大小屬性判斷和形狀屬性判斷兩種屬性來判斷所取得的前景跟蹤目標(biāo)是否是人；所述的區(qū)域大小屬性判斷是對(duì)上述標(biāo)記過的每個(gè)連通區(qū)域求出其面積Si，有下面判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；若Si)閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，首先考慮到是由于光的照射而產(chǎn)生的變化，但是也不能排除人會(huì)攜帶著一些物品，因此這時(shí)設(shè)定區(qū)域大小影響因子Fs為0.2～0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，這時(shí)設(shè)定區(qū)域大小影響因子Fs為1。
閾值1和閾值2的取值范圍的大小是根據(jù)從上往下看(斜俯視)一個(gè)成年人的平均截面積在0.12m2左右，然后通過視覺系統(tǒng)的標(biāo)定結(jié)果來決定閾值1和閾值2的大小，即像素值的大小。
所述的形狀屬性判斷是對(duì)上述標(biāo)記過的每個(gè)連通區(qū)域求出其面積Si求其形狀特征屬性再與參考圖像在幾何關(guān)系上達(dá)到匹配，匹配的標(biāo)準(zhǔn)是使兩幅圖像的相似性達(dá)到最大；為了簡化計(jì)算提高實(shí)時(shí)處理能力，本發(fā)明中具體的做法是將人體模型簡化矩形模型，首先求每個(gè)連通區(qū)域的(水平方向的長度)平均寬度和(垂直方向的長度)高度，平均寬度wi用在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，然后用公式(14)計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比，ϵareai=Siwi*hi---(14)]]>計(jì)算所得的εareai值在0.5～0.9之間，接著用公式(15)進(jìn)行下面的矩形的寬度wi與高度hi的比的計(jì)算，εareai值小于0.5時(shí)就將該連通區(qū)域排除(不認(rèn)為是有人)，ϵratei=wihi---(15)]]>計(jì)算所得到的εratei值根據(jù)空間位置關(guān)系，劃分若干個(gè)區(qū)域半徑，每個(gè)區(qū)越半徑中有其判斷指標(biāo)，比如在10m~12m的區(qū)域半徑范圍內(nèi)，εratei值在0.15～0.4之間，設(shè)定形狀屬性影響因子Fsh為1。
符合或者基本符合區(qū)域大小屬性和形狀屬性的運(yùn)動(dòng)對(duì)象我們將其作為是在轎廂內(nèi)的人；截面積的大小反映了人體的骨骼身體大小，在竊色暴力過程中往往會(huì)在視頻上反映出截面積的重疊，特別是在原來視頻判定為兩人的情況后，經(jīng)過一段時(shí)間兩個(gè)截面積合成了一個(gè)較大的截面積；在劫財(cái)暴力過程中有時(shí)候也會(huì)在視頻上反映出截面積的變化，比如將被害者毆打在地情況；因此一個(gè)截面積向著另一個(gè)截面積方向的快速移動(dòng)以及其大小的快速變化都是一個(gè)暴力過程判定指標(biāo)；所述的電梯門狀態(tài)動(dòng)作判斷模塊，用于判斷電梯門的開啟狀態(tài)以及變化狀態(tài)，在轎廂內(nèi)安裝好攝像裝置后，通過攝像裝置可以得到轎廂內(nèi)的圖像，在這個(gè)圖像中通過用戶界面定義電梯門所在的區(qū)域位置，為了防止在電梯使用過程中乘客的身體遮擋電梯門而影響檢測(cè)，在本發(fā)明中電梯門的檢測(cè)區(qū)域定義在上部(占電梯門高度的1/3)，在該區(qū)域中乘客對(duì)電梯門的遮擋可能性比較??；關(guān)于用圖像方式來檢測(cè)電梯門的開啟狀態(tài)，上述在檢測(cè)轎廂內(nèi)是否有人的檢測(cè)中用到了背景減算法，在檢測(cè)電梯門狀態(tài)動(dòng)作也是采用同樣的方法，所不同的是在一個(gè)檢測(cè)區(qū)域內(nèi)的檢測(cè)，我們定義轎廂門關(guān)的時(shí)候?yàn)楸尘?，如果用背景減算法求的連通區(qū)域有整塊出現(xiàn)，那么這時(shí)轎廂門處于開的狀態(tài)，否則就處于關(guān)的狀態(tài)；另外還有一個(gè)情況是電梯門處在從開到關(guān)的過渡狀態(tài)(轎廂升降前的關(guān)門)或者是從關(guān)到開的過渡狀態(tài)(轎廂到站后的開門)，從開到關(guān)的檢測(cè)可以通過每幀的背景減算法求得的連通區(qū)域是在水平方向上從大變小的過程來得到；而從關(guān)到開的檢測(cè)可以通過每幀的背景減算法求得的連通區(qū)域是在水平方向上從小變大的過程來得到；本發(fā)明采用的IEEE802.11b無線通信作為電梯監(jiān)控視頻通信以及圖像識(shí)別、語音情感識(shí)別與理解的電梯暴力防范技術(shù)。所述的用于檢測(cè)轎廂內(nèi)的視頻服務(wù)器是嵌入式Linux系統(tǒng)，所述的控制調(diào)度中心所使用的是PC機(jī)或者是服務(wù)器，本發(fā)明中的用戶程序模塊是由C和Java語言實(shí)現(xiàn)的。
實(shí)施例2其余與實(shí)施方案1相同，不同的是無線視頻傳輸方面，該實(shí)施方案中采用了視頻信息的視頻采集芯片、用于進(jìn)行小波視頻壓縮的視頻壓縮芯片、用于實(shí)時(shí)計(jì)算每一場(chǎng)圖像的量化參數(shù)以及完成一些重要算法的DSP芯片，用于對(duì)視頻采集芯片和DSP芯片進(jìn)行邏輯控制的高復(fù)雜度可編程邏輯器件(CPLD)、用于無線通信的通信串口，采集的數(shù)字視頻經(jīng)視頻壓縮芯片壓縮后，由DSP對(duì)進(jìn)行打包，然后由無線收發(fā)模塊發(fā)送壓縮的視頻數(shù)據(jù)，無線收發(fā)模塊符合IEEE802.11b的通信標(biāo)準(zhǔn)。
上述的實(shí)施例1和2所產(chǎn)生的發(fā)明效果是充分利用了日益成熟的無線視頻通信計(jì)算、嵌入式系統(tǒng)、動(dòng)態(tài)圖像識(shí)別、語音情感識(shí)別與理解等技術(shù)，通過對(duì)轎廂內(nèi)暴力活動(dòng)傾向狀態(tài)的累計(jì)計(jì)算，能將各種電梯內(nèi)的暴力行為過程分別判定為“確認(rèn)暴力”、“嚴(yán)重異?！薄ⅰ爱惓！?、“有暴力傾向”、“需要注意”等5中不同的結(jié)果。實(shí)現(xiàn)了電梯的遠(yuǎn)程智能化防暴力監(jiān)控，在發(fā)生竊財(cái)、竊色等電梯暴力事件發(fā)生時(shí)能在第一時(shí)間通知有關(guān)人員采取救援措施；降低了電梯內(nèi)的犯罪率，提高電梯利用者的安全感，對(duì)預(yù)防電梯內(nèi)的犯罪有積極的作用；對(duì)一些行為不軌者、企圖搶劫者有震懾作用以外，對(duì)一些弱者也有較大的心理安慰作用，特別能起到有一個(gè)安全保護(hù)心理作用。
權(quán)利要求
1.一種基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，包括安裝在電梯轎廂頂部的視頻傳感器、用于采集轎廂內(nèi)語音的語音接受器以及用于監(jiān)控電梯的監(jiān)控中心計(jì)算機(jī)，所述的視頻傳感器、語音接受器與監(jiān)控中心計(jì)算機(jī)連接，所述的監(jiān)控中心計(jì)算機(jī)包括用于實(shí)時(shí)顯示電梯視頻數(shù)據(jù)的顯示模塊，所述顯示模塊連接顯示裝置，其特征在于所述的視頻傳感器通過無線網(wǎng)絡(luò)交換設(shè)備與監(jiān)控中心計(jì)算機(jī)無線數(shù)據(jù)連接，所述的無線網(wǎng)絡(luò)交換設(shè)備為電梯所在大樓的無線局域網(wǎng)的中心，所述的監(jiān)控計(jì)算機(jī)包括用于電梯安全防范的微處理器，所述的微處理器包括圖像讀取模塊，用于將電梯轎廂內(nèi)的視頻信息采集下來；圖像變化計(jì)算模塊，用于將所獲得的當(dāng)前幀現(xiàn)場(chǎng)視頻圖像與一個(gè)相對(duì)比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(8)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0) (8)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；連通區(qū)域計(jì)算模塊，用于對(duì)當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的背景，像素灰度為1為目標(biāo)，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；電梯內(nèi)是否有人判斷模塊，用于根據(jù)連通區(qū)域的大小屬性以及形狀屬性進(jìn)行判斷，如同時(shí)滿足大小屬性、形狀屬性，判定電梯轎廂內(nèi)有人，該判斷模塊包括區(qū)域大小屬性判斷單元，用于對(duì)所述的每個(gè)連通區(qū)域求出其面積，并依照如下判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；若Si＞閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，首先考慮到是由于光的照射而產(chǎn)生的變化，但是也不能排除人會(huì)攜帶著一些物品，因此這時(shí)設(shè)定區(qū)域大小影響因子Fs為0.2～0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，設(shè)定區(qū)域大小影響因子Fs為1；閾值1和閾值2的取值范圍的大小是根據(jù)從上往下看一個(gè)成年人的平均截面積在0.12m2左右，然后通過視覺系統(tǒng)的標(biāo)定結(jié)果來決定閾值1和閾值2的大小，即像素值的大?。恍螤顚傩耘袛鄦卧?，用于根據(jù)每個(gè)連通區(qū)域求出其面積Si求其形狀特征屬性，與人體模型作比較，首先求每個(gè)連通區(qū)域的平均寬度和高度，平均寬度wi用在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，然后用公式(10)計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比，ϵareai=Siwi*hi---(10)]]>計(jì)算所得的εareai值在0.5～0.9之間，接著用公式(11)進(jìn)行下面的矩形的寬度wi與高度hi的比的計(jì)算，εareai值小于0.5時(shí)就將該連通區(qū)域排除，ϵratei=wihi---(11)]]>計(jì)算所得到的εratei值根據(jù)空間位置關(guān)系，劃分若干個(gè)區(qū)域半徑，每個(gè)區(qū)域半徑中有其判斷指標(biāo)，比如在10m～12m的區(qū)域半徑范圍內(nèi)，εratei值在0.15～0.4之間，設(shè)定形狀屬性影響因子Fsh為1；電梯門狀態(tài)動(dòng)作判斷模塊，用于安裝好視頻傳感器后，得到的轎廂初始圖像，定義電梯門處于關(guān)狀態(tài)時(shí)上部區(qū)域?yàn)楸尘皥D像，將當(dāng)前的圖像與背景圖像進(jìn)行背景減算法，如連通區(qū)域有整塊出現(xiàn)，判斷轎廂門處于開的狀態(tài)；否則轎廂門處于關(guān)的狀態(tài)；通過相鄰各幀圖像的檢測(cè)，如連通區(qū)域的面積在水平方向上從大到小，判斷轎廂門從開到關(guān)，如連通區(qū)域的面積在水平方向上從小到大，判斷轎廂門從關(guān)到開；電梯劫色暴力判斷模塊，用于在判定電梯的轎廂門關(guān)閉后，根據(jù)連通區(qū)域計(jì)算模塊，判斷轎廂內(nèi)的人數(shù)超過2人，并判斷當(dāng)前時(shí)間段在晚間，啟動(dòng)劫色暴力判斷計(jì)算劫色異常量化值的初始值為零，如果電梯轎廂內(nèi)原來就有人并呆在轎廂內(nèi)超過設(shè)定時(shí)間以上同時(shí)并沒有在轎廂內(nèi)選層面板上選擇層間按鈕，劫色異常量化值累加一個(gè)L1值；如果檢測(cè)到截面積較大的對(duì)象是在截面積較小的對(duì)象后面進(jìn)入電梯，劫色異常量化值累加一個(gè)L2值；如果檢測(cè)到一個(gè)截面積較大的對(duì)象快速地接近一個(gè)截面積較小的對(duì)象，劫色異常量化值累加一個(gè)L3值；如果檢測(cè)到有聲音并判定為女性，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，如判定為驚恐情感聲音，劫色異常量化值累加一個(gè)L4值；如果檢測(cè)到兩個(gè)截面積合成為一個(gè)截面積，并延續(xù)了設(shè)定時(shí)間Tduring，同時(shí)在設(shè)定部位動(dòng)作變化頻繁，劫色異常量化值累加一個(gè)L5值；如果再檢測(cè)到有聲音并判定為女性，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，如判定為女性的憤怒、悲傷的情感聲音，異常量化值累加一個(gè)L6值；將累加后的劫色異常量化值與預(yù)設(shè)的劫色異常標(biāo)準(zhǔn)值做比較，如劫色異常量化值大于劫色異常標(biāo)準(zhǔn)值，判定為劫色暴力發(fā)生，發(fā)出告警提示信息。
2.如權(quán)利要求1所述的基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，其特征在于所述的微處理器還包括電梯劫財(cái)暴力判斷模塊，用于在判定電梯的轎廂門關(guān)閉后，根據(jù)連通區(qū)域計(jì)算模塊，如果所檢測(cè)到的轎廂內(nèi)人數(shù)小于4人并且當(dāng)前的時(shí)間段在晚間，啟動(dòng)劫財(cái)暴力判定計(jì)算；劫財(cái)異常量化值的初始值為零，如果發(fā)現(xiàn)在電梯轎廂內(nèi)原來就有人并呆在轎廂內(nèi)超過一定時(shí)間以上同時(shí)并沒有在轎廂內(nèi)選層面板上選擇層間按鈕，劫財(cái)異常量化值累加一個(gè)K1值；如果檢測(cè)到一個(gè)或者兩個(gè)面積的對(duì)象迅速地接近另一個(gè)面積的對(duì)象，劫財(cái)異常量化值累加一個(gè)K2值；如果檢測(cè)到有聲音，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，判定為驚恐情感聲音，劫財(cái)異常量化值累加一個(gè)K3值；如果檢測(cè)到每幀圖像中有面積的劇烈活動(dòng)，設(shè)定部位的運(yùn)動(dòng)速度超過閾值，劫財(cái)異常量化值累加一個(gè)K4值；如果再檢測(cè)到有聲音，跟情感語音數(shù)據(jù)庫中的標(biāo)準(zhǔn)值進(jìn)行匹配，判定為包含有憤怒、悲傷的情感聲音，劫財(cái)異常量化值累加一個(gè)K5值；將累加后的劫財(cái)異常量化值與預(yù)設(shè)的劫財(cái)異常標(biāo)準(zhǔn)值做比較，如劫財(cái)異常量化值大于劫財(cái)異常標(biāo)準(zhǔn)值，判定為劫財(cái)暴力發(fā)生，發(fā)出告警提示信息。
3.如權(quán)利要求1-3之一所述的基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，其特征在于所述的微處理器還包括語音分析模塊，用于采集受話器的語音信息，采用貢獻(xiàn)分析法來確定情感特征參數(shù)在構(gòu)建模板時(shí)的權(quán)重值，定義為wj=1nΣi=1ncov(θ^(yi,φ^j(xij)))varφ(yi)---(2)]]>t＝1，…，n j＝1，…，8(3)θ(yi)=Σj=18φj(xij)+ϵi---(4)]]>上式中，θ(yi)是第t感語句和模板歐氏距離y的函數(shù)，φj(xij)是第t句的第J個(gè)情感特征參量xij的二次函數(shù)，εi是隨機(jī)誤差， 和 是通過修正條件期望算法迭代確定出的最佳函數(shù)。
4.如權(quán)利要求3所述的基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，其特征在于所述的轎廂內(nèi)安裝顯示器，所述的微處理器還包括實(shí)時(shí)播放模塊，用于將視頻傳感器采集的視頻信號(hào)輸出到轎廂內(nèi)的顯示器，并實(shí)時(shí)播放。
5.如權(quán)利要求3所述的基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，其特征在于所述的微處理器還包括電梯非常處理模塊，用于在檢測(cè)轎廂內(nèi)有人，且超過設(shè)定時(shí)間Twait后仍然沒有選擇任何選層按鈕或者電梯門沒有開閉，控制電梯升降到最近一層，并自動(dòng)打開電梯門。
6.如權(quán)利要求3所述的基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，其特征在于所述的微處理器還包括背景維護(hù)模塊，所述的背景維護(hù)模塊包括背景亮度計(jì)算單元，用于計(jì)算平均背景亮度Yb計(jì)算公式如式(8)所示Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))---(8)]]>式(8)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表，所述的掩模表是用一個(gè)與視頻幀尺寸相同的數(shù)組M來記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，參見式(10) 公式(8)中的背景亮度是從RGB顏色空間到Y(jié)CrCb顏色空間的轉(zhuǎn)換得到的，其公式(11)給出，Y＝0.29990*R+0.5870*G+0.1140*B(7)；Cr＝0.5000*R-0.4187*G-0.0813*B+128Cb＝-0.1787*R-0.3313*G+0.5000*B+128(11)上式中，Y代表YUV顏色模型的亮度，U、V是YUV顏色模型的兩個(gè)彩色分量，表示色差；R表示RGB色彩空間的紅色；G表示RGB色彩空間的綠色；B表示RGB色彩空間的藍(lán)色；Yb0為判定為運(yùn)動(dòng)對(duì)象時(shí)前一幀的背景亮度，Yb1為檢測(cè)到檢測(cè)對(duì)象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0(9)如果ΔY大于上限值，則認(rèn)為發(fā)生了開燈事件；如果ΔY小于某個(gè)下限值，則認(rèn)為發(fā)生了關(guān)燈事件；如ΔY介于上限值和下限值之間，則認(rèn)為光線自然變化；背景自適應(yīng)單元，用于當(dāng)光線自然變化時(shí)，按照下式(5)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i)(5)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測(cè)RGB向量，λ為背景更新的速度；λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成；當(dāng)光線由開關(guān)燈引起的，背景像素按照當(dāng)前幀重置，參見式(6)Xmix，bn+1(i)＝Xmix，cn(i)(6)。
7.如權(quán)利要求6所述的基于圖像識(shí)別技術(shù)的電梯安全防范裝置，其特征在于所述的微處理器還包括噪聲剔除模塊，用于將每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(13)所示h[i，j]＝(1/M)∑f[k，1](13)上式(9)中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)。
8.如權(quán)利要求7所述的基于圖像識(shí)別技術(shù)的電梯安全防范裝置，其特征在于所述的視頻傳感器連接視頻處理器，所述視頻處理器包括圖像記錄模塊，用于將電梯轎廂內(nèi)的視頻信息記錄下來；圖像處理模塊，用于將記錄下來的視頻數(shù)據(jù)進(jìn)行壓縮編碼、復(fù)用以及調(diào)制成壓縮視頻數(shù)據(jù)；第一無線收發(fā)模塊，用于依照通信標(biāo)準(zhǔn)，發(fā)送壓縮的視頻數(shù)據(jù)；所述的監(jiān)控中心計(jì)算機(jī)包括第二無線收發(fā)模塊，用于依照通信標(biāo)準(zhǔn)，接收壓縮的視頻數(shù)據(jù)；圖像解壓處理模塊，用于將接收的數(shù)據(jù)進(jìn)行解壓縮、解復(fù)用以及解調(diào)，恢復(fù)成視頻數(shù)據(jù)；所述的圖像解壓處理模塊的輸出連接圖像讀取模塊。
9.如權(quán)利要求8所述的基于圖像識(shí)別技術(shù)的電梯安全防范裝置，其特征在于所述的第一無線收發(fā)模塊為符合通信標(biāo)準(zhǔn)的無線網(wǎng)卡，所述的監(jiān)控中心計(jì)算機(jī)包括與所述無線網(wǎng)卡配合的TCP/IP協(xié)議、無線網(wǎng)絡(luò)接口，所述的微處理器為嵌入式Linux微處理器。
全文摘要
一種基于圖像、語音識(shí)別技術(shù)的電梯內(nèi)防暴力裝置，包括視頻傳感器、語音接受器和用于監(jiān)控電梯的監(jiān)控中心計(jì)算機(jī)，視頻傳感器、語音接受器通過無線網(wǎng)絡(luò)設(shè)備與監(jiān)控中心計(jì)算機(jī)連接，監(jiān)控中心計(jì)算機(jī)包括用于實(shí)時(shí)顯示電梯視頻數(shù)據(jù)的顯示模塊，顯示模塊連接顯示裝置，視頻傳感器通過無線網(wǎng)絡(luò)交換設(shè)備與監(jiān)控中心計(jì)算機(jī)連接，無線網(wǎng)絡(luò)交換設(shè)備為電梯所在大樓的無線局域網(wǎng)的中心，監(jiān)控計(jì)算機(jī)包括用于電梯安全防范的微處理器，微處理器包括圖像讀取模塊、圖像變化計(jì)算模塊、連通區(qū)域計(jì)算模塊、電梯內(nèi)是否有人判斷模塊、電梯門狀態(tài)動(dòng)作判斷模塊以及電梯劫色暴力判斷模塊、電梯劫財(cái)暴力判斷模塊等，本發(fā)明具有智能化、實(shí)時(shí)在線、可靠性強(qiáng)、安裝維護(hù)簡便等優(yōu)點(diǎn)。
文檔編號(hào)B66B5/00GK1919711SQ20061005348
公開日2007年2月28日 申請(qǐng)日期2006年9月20日 優(yōu)先權(quán)日2006年9月20日
發(fā)明者湯一平, 尤思思, 李雯, 趙煦華, 嚴(yán)海東, 柳圣軍, 金海明 申請(qǐng)人:浙江工業(yè)大學(xué)