專利名稱：視頻圖像局部二進(jìn)制模式特征的獲取方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、模式識別技術(shù)，特別是涉及一種視頻圖像局部二 進(jìn)制模式特征的獲取方法和裝置。
背景技術(shù)：
隨著交通運(yùn)輸業(yè)的快速發(fā)展，汽車的保有量越來越多，道路交通事故也
呈同步上升趨勢，而疲勞駕駛已成為道路交通事故的重要隱患。研究表明 如果駕駛員在有碰撞危險(xiǎn)的0. 5秒前得到"預(yù)警"，就可以避免至少60%的 追尾撞車事故、30%的迎面撞車事故和50%的路面相關(guān)事故；若有l(wèi)秒鐘的 "預(yù)警"時(shí)間，則可以避免90%交通事故的發(fā)生。因此，對駕駛員的疲勞狀 態(tài)進(jìn)行檢測對提高交通安全具有非常重要的意義。
基于視覺特征的疲勞狀態(tài)檢測是對駕駛員疲勞狀態(tài)進(jìn)行檢測的有效方 法，該類檢測方法一般通過攝像頭獲取駕駛員的視頻信息，采用計(jì)算機(jī)視覺 的方法對獲取的視頻圖像進(jìn)行分析，并根據(jù)分析得到的特征信息判斷駕駛員 是否處于疲勞狀態(tài)。該類方法可以實(shí)現(xiàn)無接觸式的疲勞狀態(tài)檢測，具有較好 的實(shí)用性、可靠性和應(yīng)用前景。
現(xiàn)有基于視覺特征的疲勞狀態(tài)檢測系統(tǒng)主要集中于檢測駕駛員眼睛的變 化和運(yùn)動。由于人在疲勞瞌睡時(shí)，眼睛的眨動一般較頻繁，眼睛的閉合時(shí)間 也較長， 一般情況下人的眼晴閉合的時(shí)間在O. 12s~0. 13s之間，如果人在駕 駛汽車時(shí)眼睛的閉合時(shí)間達(dá)到0.15s就容易發(fā)生交通事故。因此，目前基于 視覺特征的疲勞狀態(tài)檢測一般均是將眼睛閉合時(shí)間占特定時(shí)間的百分率 (Percent Eyelid Closure,以下簡稱PERCL0S )作為疲勞程度的檢測指標(biāo)。PERCLOS是Carnegie Mellon研究所的Driving Research Center研究開 發(fā)的，PERCLOS測量的參數(shù)是在單位時(shí)間(如l分鐘)內(nèi)眼睛閉合程度超過一 定閾值(如70%， 80% )的時(shí)間占總時(shí)間的百分比。PERCLOS是最早報(bào)道能 自動測量和跟蹤被測試者的眼睛凈閉情況的技術(shù)，它可以應(yīng)用于檢測疲勞現(xiàn) 象出現(xiàn)的裝置中，并可以連續(xù)跟蹤、測量眼瞼的瞭閉，并根據(jù)相應(yīng)的PERCLOS 閾值提醒駕駛者可能發(fā)生的疲勞。PERCLOS在測量原理上進(jìn)行了創(chuàng)新，提供了 一種較好的跟蹤人眼的測量方法。如圖1所示，為現(xiàn)有技術(shù)中PERCLOS攝像 頭的結(jié)構(gòu)示意圖。PERCLOS攝像頭包括主板l、 950nm濾鏡2、 850nm濾鏡3、 分光鏡4和紅外光源5。其中，紅外光源5是由66枚環(huán)狀排列的LED組成。 該P(yáng)ERCLOS攝像頭充分利用人眼視網(wǎng)膜對不同波長的紅外光的反射量不同的 基本生理特點(diǎn)，即在850nm波長下，人眼視網(wǎng)膜能反射90 %的入射光，而 在950nm波長下，人眼視網(wǎng)膜只能反射40 %的入射光，可以有效的獲取人眼 視網(wǎng)膜位置的圖像。具體過程如下在同樣的照度下，2個(gè)攝像頭同時(shí)測量人 眼的圖像， 一個(gè)是在850nm波長照射下的圖像， 一個(gè)是在950nm波長照射下 的圖像，然后將獲得的2幅圖像相減，可得到只留下視網(wǎng)膜位置的圖像，然 后再分析視網(wǎng)膜的大小和位置，即可通過視網(wǎng)膜區(qū)域的高度和眼睛張到最大 時(shí)的高度的比值，確定眼睛閉合的程度，從而可以確定PERCLOS測量所需要 的參數(shù)，從而判斷人眼的PERCLOS,進(jìn)而判斷駕駛員是否處于疲勞狀態(tài)并做出 相應(yīng)的警告。
但是，現(xiàn)有基于視覺的疲勞狀態(tài)檢測技術(shù)中的視覺疲勞特征通常是在視 頻的某些幀中提取，然后根據(jù)單幀特征、累積的多幀特征或者根據(jù)若干連續(xù) 時(shí)間段內(nèi)的某類特征狀態(tài)判斷駕駛員是否疲勞，其獲得的視覺疲勞特征在本 質(zhì)上屬于靜態(tài)圖像特征，是基于空間信息方法獲取的疲勞特征。因此，該靜 態(tài)圖像特征無法反映疲勞的動態(tài)信息，根據(jù)該特征進(jìn)行疲勞狀態(tài)檢測的準(zhǔn)確 性較差，同時(shí)，基于該靜態(tài)圖像特征進(jìn)行疲勞狀態(tài)檢測的穩(wěn)定性和魯棒性也 較差。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種視頻圖像局部二進(jìn)制模式特征的獲取方法和裝 置，可有效克服現(xiàn)有技術(shù)中獲取的疲勞特征僅為靜態(tài)圖像特征的技術(shù)缺陷， 可獲得具有動態(tài)多尺度特性的局部二進(jìn)制模式特征，能有效提高疲勞狀態(tài)檢 測的準(zhǔn)確性、穩(wěn)定性和可靠性。 ，,
為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種視頻圖像局部二進(jìn)制模式特征的獲
取方法，包括
獲取歸一化處理后的視頻圖像序列中每幅圖像的多尺度、多方向表示， 并將所有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列的多尺度表示；
獲取所述視頻圖像序列的多尺度表示中每幅圖像的紋理信息，并將所有 圖像的紋理信息組合在一起構(gòu)成所述視頻圖像序列的多尺度局部二進(jìn)制模式 特征；
根據(jù)所述視頻圖像序列的多尺度局部二進(jìn)制模式特征，獲得所述視頻圖
像序列的動態(tài)多尺度局部二進(jìn)制模式特征。
本發(fā)明提供了一種視頻圖像局部二進(jìn)制模式特征的獲取裝置，包括 第一獲取模塊，用于獲取歸一化處理后的視頻圖像序列中每幅圖像的多
尺度、多方向表示，并將所有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列
的多尺度表示；
第二獲取模塊，用于獲取所述視頻圖像序列的多尺度表示中每幅圖像的
紋理信息，并將所有圖像的紋理信息組合在一起構(gòu)成所述視頻圖像序列的多 尺度局部二進(jìn)制模式特征；
第三獲取模塊，用于根據(jù)所述第二獲取模塊獲得的所述視頻圖像序列的
多尺度局部二進(jìn)制模式特征，獲得所述視頻圖像序列的動態(tài)多尺度局部二進(jìn)
制模式特征。
本發(fā)明實(shí)施例一方面通過獲取視頻圖像序列的多尺度、多方向表示，使得獲得的人類面部疲勞狀態(tài)下的疲勞特征更加全面，可以有效提高疲勞狀態(tài)
的分析和檢測能力；另一方面，通過將視頻圖像序列的多尺度局部二進(jìn)制模 式特征分解并獲得視頻圖像序列的動態(tài)局部二進(jìn)制模式特征，可以有效捕獲 反映疲勞狀態(tài)的動態(tài)特征，有效提高了疲勞狀態(tài)的分析及檢測的準(zhǔn)確性和可 靠性，同時(shí)，基于視頻圖像序列獲得的局部二進(jìn)制模式特征具有較強(qiáng)的穩(wěn)定 性和魯棒性，本實(shí)施例可應(yīng)用于交通中駕駛員的疲勞狀態(tài)檢測，并可有效提
高疲勞狀態(tài)檢測的準(zhǔn)確性和可靠性，提高駕駛員駕駛的安全性能，減少交通 事故的發(fā)生。


圖1為現(xiàn)有技術(shù)中PERCLOS攝像頭的結(jié)構(gòu)示意圖； 圖2為本發(fā)明視頻圖像LBP特征的獲取方法第一實(shí)施例的流程示意圖； 圖3為本發(fā)明^L頻圖像LBP特征的獲取方法第二實(shí)施例的流程示意圖； 圖4為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例中Gabor小波幅 值的示意圖5為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例中視頻圖像序列
的多尺度、多方向表示的示意圖6為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例中的LBP算子的
示意圖7為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例中視頻圖像序列 多尺度表示的LBP處理流程示意圖8為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例中視頻圖像序列 的動態(tài)多尺度LBP特征的提取流程示意圖9為本發(fā)明視頻圖像LBP特征的獲取裝置第一實(shí)施例的結(jié)構(gòu)示意圖10為本發(fā)明視頻圖像LBP特征的獲取裝置第二實(shí)施例的結(jié)構(gòu)示意圖11為本發(fā)明實(shí)施例的一具體應(yīng)用結(jié)構(gòu)示意圖。
具體實(shí)施例方式
下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
在人臉面部表情識別領(lǐng)域，心理學(xué)家的研究表明，基于視頻圖像序列的 表情識別具有較好的效果，其穩(wěn)定性和魯棒性也較好。由于面部運(yùn)動信息是 表情識別的最重要的信息，因此，相對于現(xiàn)有技術(shù)中靜態(tài)圖像即單個(gè)圖像， 人類對動態(tài)的圖像序列中的表情識別會更加準(zhǔn)確可靠。
由于人類疲勞時(shí)的面部表現(xiàn)是一種隨著時(shí)間持續(xù)、動態(tài)變化的過程，因 此面部視頻圖像中的疲勞狀態(tài)特征是包括空間和時(shí)間上信息的動態(tài)特征。表 現(xiàn)疲勞時(shí)間上變化的動態(tài)特征是描述疲勞狀態(tài)的最理想和最本質(zhì)的特征，傳 統(tǒng)的基于靜態(tài)圖像分析獲得的靜態(tài)圖像特征無法利用疲勞狀態(tài)變化的時(shí)序和 運(yùn)動信息，很難捕獲反映疲勞狀態(tài)的本質(zhì)特征。因此，合理有效的利用時(shí)序、 運(yùn)動信息將更加有利于提高疲勞狀態(tài)的分析和檢測的正確性。
同時(shí)，人類疲勞時(shí)的表現(xiàn)特征在面部上的表現(xiàn)具有不同的尺度，如整體 的較大尺度的視覺信息表現(xiàn)為肌肉僵硬、打哈欠等，而局部較小尺度的視覺 信息表現(xiàn)為眼睛閉合、目光的凝視等。通常的單一尺度的疲勞特征的分析很 難提取疲勞狀態(tài)的全部重要特征，因此，要對人類面部的視覺信息進(jìn)行有效 的分析，需要根據(jù)不同視覺信息的特點(diǎn)，在包含較多疲勞信息的尺度和方向 上提取疲勞狀態(tài)的特征進(jìn)行分析。如何對疲勞狀態(tài)下的疲勞表現(xiàn)特征進(jìn)行多 尺度分析是疲勞狀態(tài)分析和檢測的重要研究內(nèi)容。
基于上述人類疲勞狀態(tài)表現(xiàn)所具有的多尺度和動態(tài)特性，發(fā)明人提出了 一種獲取包含疲勞空間信息和時(shí)間上的運(yùn)動信息的動態(tài)多尺度局部二進(jìn)制模
式(Local Binary Pattern;以下簡稱LBP )特征的方法，可將通過該方法 獲得動態(tài)多尺度LBP特征作為疲勞狀態(tài)檢測時(shí)的疲勞特征，可以有效提高疲 勞狀態(tài)檢測的準(zhǔn)確性和可靠性，為交通安全的疲勞狀態(tài)檢測提供了較好的判 斷依據(jù)，避免交通事故的發(fā)生。圖2為本發(fā)明視頻圖像LBP特征的獲取方法第一實(shí)施例的流程示意圖。 如圖2所示，本實(shí)施例可包括以下步驟
步驟IOI、獲取歸一化處理后的視頻圖像序列中每幅圖像的多尺度、多方 向表示，并將所有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列的多尺度表
示；
在實(shí)際應(yīng)用中，可采用攝像機(jī)獲得駕駛員的包括人臉的視頻圖像，并可 以在視頻圖像的每幅圖像中根據(jù)人臉檢測得到的眼晴中心位置進(jìn)行圖像分割 和對齊，對駕駛員的面部視頻圖像進(jìn)行歸一化處理，并獲得歸一化處理后的
視頻圖像序列，具體地，可將面部視頻圖像歸一化為64*64大小的灰度圖。 根據(jù)歸一化處理后的視頻圖像序列，可通過小波變換，如伽柏(Gabor)小波 等方法獲得視頻圖像序列的多尺度、多方向表示。通過獲得歸一化處理后的 視頻圖像序列的多尺度、多方向表示，可以有效的反映人類疲勞狀態(tài)下面部 圖像的疲勞特征，有利于疲勞狀態(tài)的正確分析和檢測。
步驟102、獲取視頻圖像序列的多尺度表示中每幅圖像的紋理信息，并將 所有圖像的紋理信息組合在一起構(gòu)成視頻圖像序列的多尺度局部二進(jìn)制模式 特征；
根據(jù)步驟101獲得的視頻圖像序列的多尺度表示，可以通過LBP算子等 方式對視頻圖像序列的多尺度表示進(jìn)行處理，獲得視頻圖像序列的多尺度、 多方向表示中的紋理信息，得到視頻圖像序列的多尺度LBP特征。LBP算子具 有較強(qiáng)的紋理分類判別能力，是非參數(shù)化算子，可以有效描述圖像的局部空 間結(jié)構(gòu)，是描述圖像紋理的有力工具?；贚BP算子對視頻圖像序列的多尺 度、多方向表示的圖像進(jìn)行紋理處理，具有較強(qiáng)的紋理判斷能力和較低的計(jì) 算代價(jià)，本實(shí)施例采用LBP算子獲取多尺度表示的圖像的紋理信息。
步驟103、根據(jù)視頻圖像序列的多尺度局部二進(jìn)制模式特征，獲得視頻圖 像序列的動態(tài)多尺度局部二進(jìn)制模式特征。
為得到視頻圖像序列的動態(tài)特征并增強(qiáng)動態(tài)特征中的形狀信息，可以對多尺度LBP特征的每個(gè)尺度上的LBP特征分解為不同的動態(tài)單元，并將這些 動態(tài)單元組合在一起構(gòu)成視頻圖像序列的動態(tài)特征。具體地，可以根據(jù)需要 將視頻圖像序列的多尺度LBP特征劃分為多個(gè)動態(tài)單元，將每個(gè)動態(tài)單元以 直方圖的形式表現(xiàn)出來，并將各直方圖組合在一起組成具有時(shí)間信息的擴(kuò)展 直方圖，該擴(kuò)展直方圖即可作為視頻圖像序列的動態(tài)多尺度LBP特征，獲得 的視頻圖像序列的動態(tài)多尺度LBP特征包含時(shí)間和空間上的信息，具有較強(qiáng) 的動態(tài)性能和空間性能，獲得的疲勞狀態(tài)信息更加真實(shí)，疲勞特征也更加全 面。
本發(fā)明實(shí)施例一方面通過荻取視頻圖像序列的多尺度、多方向表示，使 得獲得的人類面部疲勞狀態(tài)下的疲勞特征更加全面，可以有效提高疲勞狀態(tài) 的分析和檢測能力；另一方面，通過將視頻圖像序列的多尺度LBP特征分解 并獲得視頻圖像序列的動態(tài)LBP特征，可以有效捕獲反映疲勞狀態(tài)的動態(tài)特 征，有效提高疲勞狀態(tài)的分析及檢測的準(zhǔn)確性和可靠性，同時(shí)基于視頻圖像 序列獲得的LBP特征具有較強(qiáng)的穩(wěn)定性和魯棒性，本實(shí)施例可應(yīng)用于交通中 駕駛員的疲勞狀態(tài)檢測，并可有效提高疲勞狀態(tài)檢測的準(zhǔn)確性和可靠性，保 證駕駛員駕駛的安全性，減少交通事故的發(fā)生。
圖3為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例的流程示意圖。 如圖3所示，本實(shí)施例可包括如下步驟
步驟201、對視頻圖像中的每幅圖像進(jìn)行歸一化處理，獲得歸一化處理后 的視頻圖像序列；
當(dāng)獲得攝像機(jī)釆集到的視頻圖像后，可對攝像機(jī)釆集到的人臉的視頻圖 像進(jìn)行歸一化處理，獲得人臉面部的視頻圖像序列。具體地，通過對視頻圖 像進(jìn)行人臉檢測獲得視頻圖像中人臉的眼睛中心位置，然后根據(jù)人臉檢測得 到的眼睛的中心位置對圖像進(jìn)行圖像切割和對齊，并歸一化為64*64大小的 灰度圖，從而獲得歸一化處理的視頻圖像序列。通過對視頻圖像序列進(jìn)行歸 一化處理，有利于提高視頻圖像序列中疲勞特征的提取效果，減少疲勞特征提取時(shí)的計(jì)算量。
步驟202、獲取歸一化處理后的視頻圖像序列中每幅圖像的多尺度、多方 向表示，并將所有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列的多尺度表
由于人類疲勞時(shí)的面部運(yùn)動的特征具有不同的尺度，如，人打哈欠時(shí)的 行為是一個(gè)較大區(qū)域的面部運(yùn)動，可以用較大的尺度來分析和表示，而面無 表情這樣的行為是細(xì)小的面部運(yùn)動，需要用較小的尺度來分析和表示，因此， 對人臉的視頻圖像序列進(jìn)行多尺度表示，有利于獲得更加真實(shí)、精確和全面 的疲勞特征信息。本實(shí)施例中采用Gabor小波變換的方法來獲取;f見頻圖^f象序 列的多尺度、多方向表示。圖像的Gabor小波變換是圖像和一系列Gabor小 波核函數(shù)的巻積，對一幅位置在 義二(x,力、灰度4直為的圖虧象，圖j象的Gabor 小波變換可表示為
，)=丄 ，.(力
其中*表示巻積操作，A(x)表示二維的Gabor小波核函數(shù)。為獲得多尺度
的Gabor小波特征，本實(shí)施例采用了 5個(gè)尺度ve{0,1，...，4}和8個(gè)方向""0，1，...，7} 的Gabor小波。如圖4所示，為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí) 施例中Gabor小波幅值的示意圖。圖4顯示了 5個(gè)尺度8個(gè)方向的Gabor小 波的幅值，可以看出，每個(gè)方向的Gabor小波響應(yīng)其對應(yīng)方向的邊和對黃紋， 每個(gè)尺度的Gabor小波提取相應(yīng)頻率的信息，Gabor小波表現(xiàn)出很強(qiáng)的空間頻 率、空間定位和空間選擇的特性。
因此，通過視頻圖像序列和Gabor小波核函數(shù)的巻積得到視頻圖像序列 的多尺度表示。視頻圖像序列中的每幅圖像和40個(gè)Gabor小波核(即5個(gè)尺 度和8個(gè)方向)作巻積得到視頻圖像的Gabor小波特征，圖像中的每個(gè)像素 點(diǎn)均可得到40個(gè)復(fù)數(shù)形式的Gabor小波特征。由于Gabor小波的幅值隨位置 的變化比較緩慢，而Gabor小波的相位線性的隨位置的變化而變化，因此， 本實(shí)施例中采用Gabor小波的幅值作為視頻圖像序列中每幅圖像的多尺度表示。通過對視頻圖像序列中的每幅圖像進(jìn)行Gabor小波變換，計(jì)算每幅圖像 中各像素位置的Gabor特征的幅值，對于每個(gè)像素點(diǎn)可相應(yīng)的產(chǎn)生40個(gè)多尺 度、多方向的圖像，因此，經(jīng)過Gabor小波變換后的視頻圖像序列的多尺度 表示的維數(shù)是原始視頻圖像序列圖像尺寸的40倍。
具體地，對于包含/ 幅圖像的視頻圖像序列/，可用/,.標(biāo)記每幅圖像，f是 圖像的索引；圖像/,的多尺度表示可標(biāo)記為G,》(;c,力，其中,是圖像的索引，v 是Gabor小波尺度的標(biāo)記，"是Gabor小波方向的標(biāo)記。因此，基于每幅圖像 的多尺度表示G,"(;c,力，可以得到圖像序列/的多尺度、多方向表示& {G,>v(;c,_y):!e(0,.."" —1),"e(0,…,7),ve(0，…，4"。如圖5所示，為本發(fā)明-見頻圖像 LBP特征的獲取方法第二實(shí)施例中視頻圖像序列的多尺度、多方向表示的示意 圖。圖5顯示了經(jīng)過Gabor小波變換后的視頻圖像序列的多尺度、多方向表 示，通過對視頻圖像序列的Gabor小波變換，可獲得視頻圖像序列的多尺度 表示，其中，X表示的是視頻圖像序列的多方向表示，共有8個(gè)方向，Y表示 的是視頻圖像序列的多尺度表示，共有5個(gè)尺度，視頻圖像序列的多尺度、 多方向表示的維數(shù)是原始視頻圖像序列的40倍。由于Gabor小波的核函數(shù)具 有較強(qiáng)的空間定位、空間選擇和空間頻率描述的特性，通過二維的Gabor小 波可以將圖像進(jìn)行多尺度、多方向的分解，因此，基于該Gabor小波變換后 得到的視頻圖像序列的多尺度表示，可以比較全面的反映人臉的疲勞特征， 應(yīng)用于駕駛員的疲勞檢測時(shí)，可使得疲勞狀態(tài)的檢測結(jié)果更加準(zhǔn)確和可靠。
步驟2 0 3 、獲取視頻圖像序列的多尺度表示中每幅圖像的紋理信息，并將 所有圖像的紋理信息組合在一起構(gòu)成視頻圖像序列的多尺度LBP特征；
通過對視頻圖像序列的多尺度表示中的圖像進(jìn)行紋理分析，可以獲得視 頻圖像序列的多尺度、多方向表示中的每幅圖像的紋理信息，根據(jù)這些紋理 信息可以得到視頻圖像的多尺度LBP特征。LBP算子是由0jala等首先提出的， 其具有較強(qiáng)的紋理分類、判別能力，且LBP算子對單調(diào)灰度變換具有不變性， 因此，LBP特征對光線的變化不太敏感?；镜腖BP算子可以對圖像中的每個(gè)像素進(jìn)行標(biāo)記對像素周圍3*3鄰域，根據(jù)中心點(diǎn)的灰度值進(jìn)行二值化編碼， 并把二值化的結(jié)果看作一個(gè)二進(jìn)制數(shù)。所謂進(jìn)行二值化編碼具體為基本的 LBP算子是一個(gè)固定大小為3*3的矩形塊，共對應(yīng)有9個(gè)灰度值。將中心點(diǎn) 像素四周8個(gè)點(diǎn)的灰度值與中心點(diǎn)的灰度值比較并進(jìn)行閥值化處理，可以得 到一組二進(jìn)制數(shù)，根據(jù)逆時(shí)針方向讀出的8個(gè)二進(jìn)制值作為該3*3矩形塊的 特征值，并記為中心點(diǎn)的LBP值。如圖6所示，為本發(fā)明視頻圖像LBP特征 的獲取方法第二實(shí)施例中的LBP算子的示意圖。圖6顯示了基本LBP算子的 原理示意圖，其中A是圖像中一個(gè)3*3矩陣的像素單元，A1是A像素區(qū)域經(jīng) 過閾值化處理后的圖示，A2是基本的LBP算子中各個(gè)像素點(diǎn)對應(yīng)的權(quán)值的圖 示，LBP特征的二進(jìn)制串為01101010，對應(yīng)的十進(jìn)制編碼為106。可以看出， 基本的LBP算子可能有256種不同的值，因此LBP的二進(jìn)制編碼可以表示256 種LBP模式，每個(gè)值表示一種LBP局部模式。
給定像素點(diǎn)(Xf，K)的LBP編碼的十進(jìn)制形式可以表示為
其中，^對應(yīng)像素點(diǎn)(^,;g的灰度值，/ 表示周圍的8個(gè)像素點(diǎn)的灰度值， s(;c)函數(shù)定義如下
為更好的描述圖像的空間區(qū)域和較大尺度紋理的結(jié)構(gòu)特征，本實(shí)施例采 用一致模式的LBP算子對視頻圖像序列的多尺度表示中的圖像進(jìn)行處理，獲 得視頻圖像序列中圖像的紋理信息。具體地，把LBP模式對應(yīng)的二進(jìn)制串看 作一個(gè)環(huán)形，如果其中的0-1和1-0轉(zhuǎn)換的總次數(shù)不超過兩次，則可將這樣 的LBP模式稱為一致模式，對應(yīng)的算子稱為一致模式的LBP算子。
本實(shí)施例中，采用丄5/>力表示一致模式的LBP算子，Z^",;的含義是將在
半徑為)？的圓上的尸個(gè)近鄰采樣點(diǎn)使用LBP算子，上標(biāo)"2表示使用一致模式，
，(Wc) = i>(! -"2"并將其余模式作為一種模式，對于丄5《:，8個(gè)近鄰采樣點(diǎn)就會有59中可能的 標(biāo)記。具體地，本實(shí)施例中采用丄5P。2算子在每個(gè)像素位置進(jìn)行特征提取獲得 視頻圖像序列的多尺度表示的圖像中每個(gè)像素的紋理信息。￡5尸8";也具有59 種標(biāo)記，如圖7所示，為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例中 視頻圖像序列多尺度表示的LBP處理流程示意圖。圖7顯示了多尺度、多方 向表示的視頻圖像序列經(jīng)過LBP算子處理的流程示意圖，其中，B是經(jīng)過LBP 算子處理前的視頻圖像序列的多尺度、多方向表示，B1是經(jīng)過LBP算子處理 后的視頻圖像序列的多尺度LBP特征圖像，其中，LBP算子處理是利用一致模 式的LBP算子，即丄5《;處理的?？梢钥闯觯?jīng)過LBP算子處理后得到的^L頻
圖像序列的多尺度LBP特征表示的視頻圖像序列的紋理信息豐富、真實(shí)。
步驟204 、根據(jù)視頻圖像序列的多尺度LBP特征，獲得視頻圖像序列的動 態(tài)多尺度LBP特征。
本實(shí)施例中，為獲得視頻圖像序列的動態(tài)特征并增強(qiáng)特征中的形狀信息， 對經(jīng)過LBP處理后的視頻圖像序列的多尺度LBP特征進(jìn)行動態(tài)處理，獲得視 頻圖像序列的動態(tài)多尺度LBP特征。本實(shí)施例中，首先將視頻圖像序列的每 個(gè)尺度上的LBP特征劃分為互不重疊特定尺寸的矩形區(qū)域，相同位置的矩形 區(qū)域組成區(qū)域序列，并將該矩形區(qū)域序列作為視頻圖像序列的動態(tài)單元，據(jù) 此，可以獲得視頻圖像序列的所有動態(tài)單元；然后，計(jì)算每個(gè)動態(tài)單元的局 部直方圖，并將所有動態(tài)單元的局部直方圖組合在一起構(gòu)成一個(gè)擴(kuò)展的直方 圖，該擴(kuò)展的直方圖反映了視頻圖像序列的時(shí)序特性，可將該擴(kuò)展的直方圖 作為視頻圖像序列的動態(tài)多尺度LBP特征。
如圖8所示，為本發(fā)明視頻圖像LBP特征的獲取方法第二實(shí)施例中^L頻 圖像序列的動態(tài)多尺度LBP特征的提取流程示意圖。圖8顯示了動態(tài)LBP特 征的提取過程，C是需要進(jìn)行動態(tài)LBP特征提取的視頻圖像序列的原始多尺度 LBP特征，然后將C中的每個(gè)尺度的LBP特征分解成不同的矩形區(qū)域，相同的矩形區(qū)域組成區(qū)域序列，并將每個(gè)矩形區(qū)域序列作為視頻圖像序列的動態(tài)單
元，Cl為進(jìn)行分解后的視頻圖像序列的動態(tài)單元，最后計(jì)算出Cl中的每個(gè)動 態(tài)單元的局部直方圖，并將所有動態(tài)單元的局部直方圖組合在一起，形成C2 中的擴(kuò)展直方圖，該擴(kuò)展直方圖即可作為視頻圖像序列的動態(tài)多尺度LBP特 征。
具體地，可將每個(gè)尺度的LBP特征圖像劃分為6*6個(gè)大小相同的矩形區(qū) 域，將<formula>formula see original document page 16</formula>經(jīng)過LBP處理后的LBP特征圖
像表示為5,》(x，力；每個(gè)矩形區(qū)域可以表示為
<formula>formula see original document page 16</formula>
LBP特征圖像序列的相同位置的區(qū)域組合在一起構(gòu)成一個(gè)動態(tài)單元，表示
為
<formula>formula see original document page 16</formula> 然后，通過計(jì)算每個(gè)動態(tài)單元的局部直方圖，并將所有區(qū)域的局部直方 圖組合在一起作為擴(kuò)展的直方圖，該擴(kuò)展直方圖即為視頻圖像序列的動態(tài)多 尺度LBP特征。其中，每個(gè)直方圖的bin是相應(yīng)的LBP編碼在一個(gè)動態(tài)單元 中出項(xiàng)的次數(shù)，最后將所有動態(tài)單元的直方圖組合在一起就構(gòu)成一個(gè)擴(kuò)展的 直方圖來表示視頻圖像序列，該擴(kuò)展直方圖即是視頻圖像序列的動態(tài)多尺度 LBP特征。動態(tài)單元^w(;c,力的直方圖可以定義為
<formula>formula see original document page 16</formula>
其中/{^表示為
<formula>formula see original document page 16</formula>
可以看出，每個(gè)動態(tài)單元有59個(gè)bin，動態(tài)單元的直方圖可以看作是59 個(gè)單獨(dú)特征的集合。描述視頻圖像序列的動態(tài)多尺度LBP特征可以表示為 ^ = Kw, :e (0，…，58)，" e (0，…,7),v e (0，…,4)，r e (0,.."35)} 基于視頻圖像序列的動態(tài)多尺度LBP特征，可以有效的在時(shí)間和空間上描述視頻圖像序列的動態(tài)特征和多尺度特征。將該視頻圖像序列的動態(tài)多尺
度LBP特征應(yīng)用于疲勞檢測中，根據(jù)采集到的人臉的面部視頻圖像序列，就 可得到人臉視頻圖像序列的動態(tài)多尺度LBP特征，由于該視頻圖像序列的動 態(tài)多尺度LBP特征包含了疲勞時(shí)間上的運(yùn)動信息和空間信息，使得基于動態(tài) 多尺度LBP特征進(jìn)行的疲勞檢測更加準(zhǔn)確和可靠，同時(shí)，基于Gabor小波變 換以及LBP處理，使得獲得的視頻圖像序列的動態(tài)多尺度LBP特征具有較好 的穩(wěn)定性和魯棒性。
圖9為本發(fā)明視頻圖像LBP特征的獲取裝置第一實(shí)施例的結(jié)構(gòu)示意圖。 如圖9所示，本實(shí)施例包括第一獲取模塊IO、第二獲取模塊20和第三獲取 模塊30。其中，第一獲取模塊IO可接收經(jīng)過歸一化處理后的視頻圖像序列， 并可將接收到的視頻圖像序列進(jìn)行小波變換，獲取歸一化處理后的視頻圖像 序列中每幅圖像的多尺度、多方向表示，并將所有圖像的多尺度、多方向表 示構(gòu)成視頻圖像序列的多尺度表示，并將處理后的視頻圖像序列的多尺度表 示傳送給第二獲和漠塊20;第二獲取模塊20可根據(jù)接收到的視頻圖像序列的 多尺度表示提取出視頻圖像序列中各像素的紋理信息，獲取視頻圖像序列的 多尺度表示中每幅圖像的紋理信息，并將所有圖像的紋理信息組合在一起構(gòu) 成視頻圖像序列的多尺度局部二進(jìn)制模式特征；第三獲取模塊30可根據(jù)第二 獲取模塊20獲得的視頻圖像序列的多尺度LBP特征，獲得視頻圖像序列的動 態(tài)多尺度LBP特征，具體地，可對視頻圖像序列的多尺度LBP特征進(jìn)行分解， 獲取每個(gè)尺度上的LBP特征的動態(tài)單元，計(jì)算每個(gè)動態(tài)單元的局部直方圖， 并將所有動態(tài)單元的局部直方圖組合在一起構(gòu)成擴(kuò)展直方圖，該擴(kuò)展直方圖
即可作為視頻圖像序列的動態(tài)多尺度LBP特征。
本實(shí)施例裝置可應(yīng)用于疲勞檢測裝置中，特別是駕駛員的疲勞檢測裝置 中，用于獲取駕駛員面部視頻圖像序列的動態(tài)多尺度LBP特征，使得獲得的
駕駛員的疲勞特征更加全面，且獲得的疲勞特征同時(shí)具有時(shí)間和空間上的信 息，使得疲勞狀態(tài)的檢測更加準(zhǔn)確、可靠。本實(shí)施例的技術(shù)方案， 一方面通過獲取視頻圖像序列的多尺度表示，使 得獲得的人類面部疲勞狀態(tài)下的疲勞特征更加全面，可以有效提高疲勞狀態(tài)
的分析和檢測能力；另一方面，通過將視頻圖像序列的多尺度LBP特征進(jìn)行 分解，獲得視頻圖像序列的動態(tài)多尺度LBP特征，使得獲取的疲勞特征不僅 反映疲勞狀態(tài)的空間信息，同時(shí)，也反映了疲勞時(shí)間上的動態(tài)信息，獲得的 疲勞特征更加準(zhǔn)確、真實(shí)，在疲勞狀態(tài)檢測中，可以有效提高疲勞狀態(tài)檢測 的準(zhǔn)確性和可靠性，提高駕駛員駕駛的安全性，減少交通事故的發(fā)生。
圖IO為本發(fā)明視頻圖像LBP特征的獲取裝置第二實(shí)施例的結(jié)構(gòu)示意圖。 如圖10所示，本實(shí)施例獲取裝置包括圖像預(yù)處理模塊40、第一獲取模塊IO、 第二獲取^莫塊20和第三獲取才莫塊30。其中，第二荻取模塊20包括運(yùn)算單元 21和獲取單元22，第三獲取一莫塊30包括動態(tài)獲取單元31和特征獲取單元32。 其中圖像預(yù)處理模塊40用于獲取原始的視頻圖像信息，并對視頻圖像中的每 幅圖像進(jìn)行歸一化處理，獲得歸一化處理后的視頻圖像序列，具體地，可通 過檢測裝置的攝像頭采集得到該視頻圖像信息，結(jié)合通過人臉檢測獲得的駕 駛員眼睛中心的位置，將該視頻圖像進(jìn)行圖像切割和對齊，并歸一化為64*64 大小的灰度圖，獲得視頻圖像序列，并將該歸一化處理后的視頻圖像序列發(fā) 送至第 一獲取模塊10;第 一獲取模塊10對接收到的視頻圖像序列進(jìn)行Gabor 小波變換，并獲得視頻圖像序列中每幅圖像的多尺度、多方向表示，并將所 有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列的多尺度表示，具體地，可 通過將歸一化處理后的視頻圖像序列與Gabor小波核函數(shù)進(jìn)行巻積得到視頻 圖像序列的多尺度表示，并將視頻圖像序列的多尺度表示發(fā)送到第二獲取模 塊20中的運(yùn)算單元21;運(yùn)算單元21可通過一致模式的LBP算子對接收到的 視頻圖像序列的多尺度、多方向表示圖像中的每個(gè)像素進(jìn)行標(biāo)記，獲得視頻 圖像序列中對應(yīng)的多尺度、多方向表示圖像的紋理信息，并發(fā)送至獲取單元 22,獲取單元22可將通過運(yùn)算單元21獲得的所有圖像的紋理信息組合在一 起構(gòu)成視頻圖像序列的多尺度LBP特征，并發(fā)送給動態(tài)獲取單元31;第三獲取模塊30中的動態(tài)獲取單元31可將接收到的視頻圖像序列的多尺度表示進(jìn) 行分解，將每個(gè)尺度上的LBP特征劃分為互不重疊特定尺寸的矩形區(qū)域序列， 并將劃分的每個(gè)矩形區(qū)域序列作為視頻圖像序列的動態(tài)單元，然后，通過特 征獲取單元32對動態(tài)獲取單元31獲得的所有動態(tài)單元分別進(jìn)行計(jì)算，獲得 每個(gè)動態(tài)單元的局部直方圖，最后將所有動態(tài)單元的局部直方圖組合在一起 構(gòu)成擴(kuò)展直方圖，該擴(kuò)展直方圖即可作為視頻圖像序列的動:態(tài)多尺度LBP特 征。
本發(fā)明視頻圖像LBP特征的獲取裝置適用于上述本發(fā)明視頻圖像LBP特 征的獲取方法實(shí)施例，通過本發(fā)明獲取裝置，可以得到視頻圖像序列時(shí)間和 空間上的疲勞特征，對于駕駛員疲勞狀態(tài)檢測來說，本發(fā)明獲得的視頻圖像 序列的動態(tài)多尺度LBP特征全面、實(shí)時(shí)性強(qiáng)，獲得的LBP特征具有較強(qiáng)的魯 棒性和穩(wěn)定性，根據(jù)視頻圖像序列的動態(tài)多尺度LBP特征進(jìn)行疲勞狀態(tài)的判 斷更加準(zhǔn)確、可靠。
本發(fā)明可應(yīng)用于駕駛員的疲勞狀態(tài)檢測系統(tǒng)中，根據(jù)攝像頭獲得的駕駛 員的面部視頻，可獲得駕駛員的視頻圖像序列的動態(tài)多尺度LBP特征。由于 本發(fā)明獲得的LBP特征具有時(shí)間和空間上的疲勞特征信息，因此在進(jìn)行疲勞 狀態(tài)檢測時(shí)，具有更好的疲勞判別能力，同時(shí)也提高了疲勞狀態(tài)檢測的準(zhǔn)確 性和可靠性。
如圖11所示，為本發(fā)明實(shí)施例的一具體應(yīng)用結(jié)構(gòu)示意圖。通過本發(fā)明視 頻圖像LBP特征的獲取方法可獲得駕駛員的面部視頻圖像序列的動態(tài)多尺度 LBP特征，基于本發(fā)明獲得的面部視頻圖像的動態(tài)多尺度LBP特征，發(fā)明人還 提供了一種疲勞檢測系統(tǒng)。圖ll顯示了疲勞檢測系統(tǒng)的結(jié)構(gòu)示意圖，如圖中 所示，該疲勞檢測系統(tǒng)可包括面部視頻獲取單元11、圖像預(yù)處理單元12、動 態(tài)多尺度LBP特征獲取裝置13和疲勞判定單元H。其中，面部視頻獲取單元 11具體可以為一圖像采集系統(tǒng)，獲取駕駛員人臉的視頻圖像，并將采集獲得 的人臉的視頻圖像傳送至圖像預(yù)處理單元12;圖像預(yù)處理單元12對接收到的人臉的視頻圖像進(jìn)行人臉檢測并進(jìn)行幾何歸 一化和分割處理，荻得歸 一化處
理后的視頻圖像序列，并傳送給動態(tài)多尺度LBP特征獲取裝置13;動態(tài)多尺 度LBP特征獲取裝置13對歸 一化處理后的視頻圖像序列進(jìn)行處理，獲得視頻 圖像序列的動態(tài)多尺度LBP特征；疲勞判定單元14根據(jù)動態(tài)多尺度LBP特征 獲取裝置13獲得的動態(tài)多尺度LBP特征建立弱分類器，使用AdaBoost算法 挑選最具判別能力的部分動態(tài)多尺度LBP特征，建立疲勞檢測的強(qiáng)分類器。 動態(tài)多尺度LBP特征獲取裝置13可以為本發(fā)明視頻圖像LBP特征的獲取裝置 實(shí)施例的獲取裝置，其內(nèi)部結(jié)構(gòu)可以與本發(fā)明視頻圖像LBP特征的獲取裝置 實(shí)施例結(jié)構(gòu)相同，通過該裝置可以獲取駕駛員人臉的動態(tài)多尺度LBP特征， 該動態(tài)多尺度LBP特征即為疲勞特征，該疲勞特征反映了駕駛員人臉在時(shí)間 和空間上的信息，疲勞特征全面，基于該疲勞特征進(jìn)行的疲勞判斷準(zhǔn)確性高。 對本發(fā)明設(shè)計(jì)的基于面部視頻圖像序列的疲勞檢測算法在自建的面部疲 勞數(shù)據(jù)庫中進(jìn)行了測試。其中，疲勞數(shù)據(jù)庫中包含真實(shí)疲勞環(huán)境下采集的30 人的600個(gè)視頻圖像序列，測試中，發(fā)明人隨機(jī)選擇了 15個(gè)人的300個(gè)視頻 圖像序列作為訓(xùn)練集，其余15人的300個(gè)視頻序列作為測試集進(jìn)行測試，然 后對訓(xùn)練集和測試集進(jìn)行交叉試驗(yàn)，發(fā)明人的試驗(yàn)結(jié)果表明，在進(jìn)行疲勞狀 態(tài)檢測時(shí)，基于本發(fā)明獲得的視頻圖像序列的動態(tài)多尺度LBP特征具有較好 的疲勞檢測效果。
由于根據(jù)本發(fā)明實(shí)施例獲得的視頻圖像序列的動態(tài)多尺度LBP特征具有 較高的維數(shù)，如按丄5《;獲得視頻圖像序列的多尺度LBP特征，并按每個(gè)尺度 的LBP特征圖像劃分為6*6的矩形區(qū)域來劃分動態(tài)單元，由此獲得的視頻圖 像序列的動態(tài)多尺度1>8 特征共有59*36*5*8 = 84960維，維數(shù)較高，不利于 特征的提取和準(zhǔn)確分類，而且，某些特征對分類來說也是冗余的。并且由于 AdaBoost算法具有較好的泛化能力、良好的性能以及較低的實(shí)現(xiàn)復(fù)雜度。因 此，發(fā)明人在進(jìn)行試驗(yàn)的過程中，基于動態(tài)多尺度LBP特征使用決策樹建立 弱分類器，采用了有效的分類工具AdaBoost算法挑選部分動態(tài)多尺度LBP特征并訓(xùn)練得到最終的強(qiáng)分類器，使得疲勞檢測更加快捷和準(zhǔn)確。
具體地，發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中，利用Real AdaBoost算法對LBP 特征進(jìn)行挑選，并最終獲得強(qiáng)分類器，Real AdaBoost算法是一種基本的硬核 boost算法，是最基本的AdaBoost算法的泛化。發(fā)明人基于本發(fā)明方法獲得 的視頻圖像序列的動態(tài)多尺度LBP特征進(jìn)行疲勞檢測得到了令人滿意的識別 效果，平均識別率為98.33%,其中，對正常狀態(tài)面部視頻圖像序列的正確識 別率為99. 33 %,疲勞狀態(tài)的面部視頻圖像序列的識別正確率為97. 33%,可 以看出，利用本發(fā)明視頻圖像的LBP特征獲取方法，可以快速、準(zhǔn)確的檢測 人臉的疲勞狀態(tài)，進(jìn)而可以給駕駛員發(fā)出警示信息，極大的提高駕駛的安全 性，對于提高交通安全，降低交通事故具有非常好的應(yīng)用價(jià)值。
最后應(yīng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對其進(jìn) 行限制，盡管參照較佳實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技 術(shù)人員應(yīng)當(dāng)理解其依然可以對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換， 而這些修改或者等同替換亦不能使修改后的技術(shù)方案脫離本發(fā)明技術(shù)方案的 精神和范圍。
權(quán)利要求
1、一種視頻圖像局部二進(jìn)制模式特征的獲取方法，其特征在于，包括獲取歸一化處理后的視頻圖像序列中每幅圖像的多尺度、多方向表示，并將所有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列的多尺度表示；獲取所述視頻圖像序列的多尺度表示中每幅圖像的紋理信息，并將所有圖像的紋理信息組合在一起構(gòu)成所述視頻圖像序列的多尺度局部二進(jìn)制模式特征；根據(jù)所述視頻圖像序列的多尺度局部二進(jìn)制模式特征，獲得所述視頻圖像序列的動態(tài)多尺度局部二進(jìn)制模式特征。
2、 根據(jù)權(quán)利要求1所述的視頻圖像局部二進(jìn)制模式特征的獲取方法，其 特征在于，在所述獲取歸 一化處理后的視頻圖像序列中每幅圖像的多尺度、 多方向表示之前還包括對視頻圖像中的每幅圖像進(jìn)行歸一化處理，獲得所述歸一化處理后的視 頻圖像序列。
3、 根據(jù)權(quán)利要求1所迷的視頻圖像局部二進(jìn)制模式特征的獲取方法，其 特征在于，所述獲取歸一化處理后的視頻圖像序列中每幅圖像的多尺度、多 方向表示包括將所述視頻圖像序列中的每幅圖像與伽柏小波作巻積，并將巻積后的結(jié) 果作為所述視頻圖像序列中對應(yīng)圖像的多尺度、多方向表示。
4、 根據(jù)權(quán)利要求l所述的視頻圖像局部二進(jìn)制模式特征的獲取方法，其 特征在于，所述獲取所述視頻圖像序列的多尺度表示中每幅圖像的紋理信息 包括通過局部二進(jìn)制模式算子對所述視頻圖像序列的多尺度表示中每幅圖像 的每個(gè)像素進(jìn)行標(biāo)記，獲得所述視頻圖像序列中對應(yīng)圖像的紋理信息。
5、 根據(jù)權(quán)利要求4所述的視頻圖像局部二進(jìn)制模式特征的獲取方法，其 特征在于，所述通過局部二進(jìn)制模式算子對所述視頻圖像序列的多尺度表示中每幅圖像的每個(gè)像素進(jìn)行標(biāo)記包括通過一致模式的局部二進(jìn)制模式算子對所述視頻圖像序列的多尺度表示 中每幅圖像的每個(gè)^f象素進(jìn)行標(biāo)記。
6、 根據(jù)權(quán)利要求1所述的視頻圖像局部二進(jìn)制模式特征的獲取方法，其 特征在于，所述根據(jù)所述視頻圖像序列的多尺度局部二進(jìn)制模式特征，獲得 所述視頻圖像序列的動態(tài)多尺度局部二進(jìn)制模式特征包括獲得所述視頻圖像序列的多尺度局部二進(jìn)制模式特征的所有動態(tài)單元； 獲得所述動態(tài)單元的局部直方圖，并將所有動態(tài)單元的直方圖組合在一起構(gòu)成擴(kuò)展直方圖；將所述擴(kuò)展直方圖作為所述視頻圖像序列的動態(tài)多尺度局部二進(jìn)制模式特征。
7、 根據(jù)權(quán)利要求6所述的視頻圖像局部二進(jìn)制模式特征的獲取方法，其 特征在于，所述獲得所述視頻圖像序列的多尺度局部二進(jìn)制模式特征的所有 動態(tài)單元包4舌將所述視頻圖像序列的多尺度局部二進(jìn)制模式特征在每個(gè)尺度上劃分為 互不重疊特定尺寸的矩形區(qū)域，相同位置的矩形區(qū)域構(gòu)成區(qū)域序列；所述矩形區(qū)域序列即為所述視頻圖像序列的多尺度局部二進(jìn)制模式特征 的所述動態(tài)單元。
8、 一種視頻圖像局部二進(jìn)制模式特征的獲取裝置，其特征在于，包括 第 一獲取模塊，用于獲取歸一化處理后的視頻圖像序列中每幅圖像的多尺度、多方向表示，并將所有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列 的多尺度表示；第二獲取模塊，用于獲取所迷視頻圖像序列的多尺度表示中每幅圖像的 紋理信息，并將所有圖像的紋理信息組合在一起構(gòu)成所述視頻圖像序列的多尺度局部二進(jìn)制^:莫式特征；第三獲取模塊，用于根據(jù)所迷第二獲取模塊獲得的所述視頻圖像序列的多尺度局部二進(jìn)制模式特征，獲得所述視頻圖像序列的動態(tài)多尺度局部二進(jìn) 制模式特征。
9、 根據(jù)權(quán)利要求8所述的視頻圖像局部二進(jìn)制模式特征的獲取裝置，其 特征在于，還包括圖像預(yù)處理模塊，用于對視頻圖像中的每幅圖像進(jìn)行歸一化處理，獲得 所述歸 一化處理后的視頻圖像序列。
10、 根據(jù)權(quán)利要求8或9所述的視頻圖像局部二進(jìn)制模式特征的獲取裝 置，其特征在于，所述第二獲取模塊包括運(yùn)算單元，用于通過局部二進(jìn)制模式算子對所述視頻圖像序列的多尺度 表示中每幅圖像的每個(gè)像素進(jìn)行標(biāo)記，獲得所述視頻圖像序列中對應(yīng)圖像的 紋理信息；獲取單元，用于將通過所述運(yùn)算單元獲得的所有圖像的紋理信息組合在 一起構(gòu)成所述^L頻圖像序列的多尺度局部二進(jìn)制^t式特征； 所述第三獲取模塊包括動態(tài)獲取單元，用于將所述視頻圖像序列的多尺度局部二進(jìn)制模式特征 在每個(gè)尺度上劃分為互不重疊特定尺寸的矩形區(qū)域，相同位置的矩形區(qū)域構(gòu) 成區(qū)域序列，并將所述矩形區(qū)域序列作為所述視頻圖像序列的多尺度局部二 進(jìn)制才莫式特征的所述動態(tài)單元；特征獲取單元，用于獲得所述動態(tài)單元的局部直方圖，并將所有動態(tài)單 元的局部直方圖組合在一起作為擴(kuò)展直方圖，所述擴(kuò)展直方圖即為所述視頻 圖像序列的動態(tài)多尺度局部二進(jìn)制模式特征。
全文摘要
本發(fā)明公開了一種視頻圖像局部二進(jìn)制模式特征的獲取方法和裝置。該方法包括獲取歸一化處理后的視頻圖像序列中每幅圖像的多尺度、多方向表示，并用所有圖像的多尺度、多方向表示構(gòu)成視頻圖像序列的多尺度表示；獲取視頻圖像序列的多尺度表示中每幅圖像的紋理信息，并組合在一起構(gòu)成視頻圖像序列的多尺度LBP特征；根據(jù)視頻圖像序列的多尺度LBP特征，獲得視頻圖像序列的動態(tài)多尺度LBP特征。本發(fā)明通過獲取視頻圖像序列的動態(tài)多尺度LBP特征，在疲勞狀態(tài)檢測中，可同時(shí)獲得空間和時(shí)間上的疲勞特征信息，使得獲得的疲勞特征更加全面，根據(jù)該特征進(jìn)行的疲勞狀態(tài)檢測也更加準(zhǔn)確可靠，同時(shí)也具有較好的穩(wěn)定性和魯棒性。
文檔編號A61B5/16GK101425136SQ20081022503
公開日2009年5月6日 申請日期2008年10月24日 優(yōu)先權(quán)日2008年10月24日
發(fā)明者孫艷豐, 尹寶才, 曉 范 申請人:北京工業(yè)大學(xué)