專利名稱：基于fpga的疲勞駕駛雙目檢測(cè)硬件平臺(tái)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及了一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)。
背景技術(shù)：
根據(jù)(美國(guó))聯(lián)邦公路局的估計(jì)，美國(guó)每年所有致命的交通事故中44%是跟車道偏離有關(guān)的。Assitffare網(wǎng)站的分析結(jié)果認(rèn)為23%的汽車駕駛員一個(gè)月內(nèi)至少在轉(zhuǎn)向盤上睡著一次；66%的卡車駕駛員自己在駕駛過(guò)程中打目盍睡；28%的卡車駕駛員在一個(gè)月內(nèi)有在轉(zhuǎn)向盤上睡著的經(jīng)歷。四個(gè)駕駛員中就有一個(gè)駕駛員經(jīng)歷過(guò)車道偏離引起的傷亡事故。美國(guó)采用多普勒雷達(dá)和信號(hào)處理方法，可獲取駕駛員煩躁不安的情緒活動(dòng)、眨眼 頻率和持續(xù)時(shí)間等疲勞數(shù)據(jù)，用以判斷駕駛員是否打瞌睡或睡著。該系統(tǒng)可制成體積較小的儀器，安裝在駕駛室內(nèi)駕駛員頭頂上方，完全不影響正常的駕駛活動(dòng)。明尼蘇達(dá)大學(xué)計(jì)算機(jī)科學(xué)與工程系的Nikolaos P. Papanikolopoulos教授成功開(kāi)發(fā)了一套駕駛員眼睛的追蹤和定位系統(tǒng)，通過(guò)安置在車內(nèi)的一個(gè)CCD攝像頭監(jiān)視駕駛員的臉部，用快速簡(jiǎn)單的算法確定駕駛員眼睛在臉部圖像中的確切位置，追蹤多幅圖像來(lái)監(jiān)控駕駛員是否駕駛疲勞。轉(zhuǎn)向盤監(jiān)視系統(tǒng)S. A. M(Steering Attention Monitor), —種監(jiān)測(cè)方向盤非正常運(yùn)動(dòng)的傳感器系統(tǒng)，適用于轉(zhuǎn)向盤正常運(yùn)動(dòng)時(shí)傳感器系統(tǒng)不報(bào)警，若轉(zhuǎn)向盤4s不運(yùn)動(dòng)就會(huì)發(fā)出報(bào)警聲直到轉(zhuǎn)向盤繼續(xù)正常運(yùn)止。澳大利亞的頭部位置測(cè)量跟蹤系統(tǒng)與沃爾沃合作，通過(guò)測(cè)量頭部位置、閉眼和眨眼評(píng)估疲勞駕駛，但是它要求在司機(jī)的臉上作一些標(biāo)記，給司機(jī)帶來(lái)極大的不便；西班牙的防德睡系統(tǒng)(Anti-Drowsiness System),測(cè)量駕駛時(shí)手對(duì)方向盤的握力，一旦檢測(cè)到疲勞發(fā)生，利用汽車的燈不停的閃爍，提醒周圍的交通車輛。日本尼桑疲勞報(bào)警系統(tǒng)安裝到車內(nèi)駕駛員的前方，裝置中的電眼能實(shí)時(shí)的采集司機(jī)的眼部圖像，然后經(jīng)過(guò)中央處理器的分析做出判斷，進(jìn)行相應(yīng)的報(bào)警處理。將司機(jī)的眨眼次數(shù)、頻率作為駕駛員是否疲勞的依據(jù)，如果駕駛員單位時(shí)間內(nèi)眨眼過(guò)多，系統(tǒng)就會(huì)進(jìn)行報(bào)警，并同時(shí)噴放出含有檸檬味的醒腦香氣來(lái)消除司機(jī)的困意。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)已有技術(shù)存在的缺陷提供一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)，通過(guò)雙攝像頭采集駕駛員的臉部及雙眼狀態(tài)來(lái)判斷駕駛員是否處在疲勞駕駛狀態(tài)，從而降低疲勞駕駛帶來(lái)的交通事故。采用雙攝像頭的目的在于能夠更加迅速的、準(zhǔn)確的獲得駕駛員人臉及眼部狀態(tài)，配合PFGA內(nèi)建雙核處理器分別對(duì)兩攝像頭采集到的數(shù)據(jù)進(jìn)行處理，從而達(dá)到即時(shí)檢測(cè)駕駛員是否處在疲勞駕駛狀態(tài)。同時(shí)檢測(cè)系統(tǒng)具有低功耗、高可靠性的特點(diǎn)。為達(dá)到上述目的，本發(fā)明的構(gòu)思是
首先，通過(guò)雙攝像頭來(lái)采集駕駛員的人臉及眼部狀態(tài)，并將采集到的數(shù)據(jù)存儲(chǔ)到SSRAM(同步動(dòng)態(tài)隨機(jī)存取記憶體)中。其次，讀取SSRAM中的數(shù)據(jù)，通過(guò)FPGA內(nèi)建雙核處理器分別處理兩個(gè)攝像頭采集到的數(shù)據(jù)，并對(duì)其作相應(yīng)的算法處理，找出人臉中的人眼部分，通過(guò)判斷人眼在一分鐘內(nèi)的眨眼次數(shù)來(lái)判定駕駛員是否處在疲勞狀態(tài)。最后，處理完的數(shù)據(jù)通過(guò)解碼芯片解碼后，把駕駛員的臉部狀況顯示到顯示器上，如果通過(guò)算法判斷出駕駛員處在疲勞駕駛狀態(tài)，相應(yīng)的警報(bào)裝置啟動(dòng)，同時(shí)通過(guò)通訊模塊與汽車的CAN總線相連，并對(duì)汽車作出相應(yīng)的控制，比如減速、剎車等。根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案
一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)由I塊專用的Cyclone III開(kāi)發(fā)板(I)連接2個(gè)攝像頭(Π、ΠΙ)構(gòu)成；通過(guò)雙攝像頭(Π、ΠΙ)采集駕駛員的臉部及雙眼狀態(tài)來(lái) 判斷駕駛員是否處在疲勞駕駛狀態(tài)，從而降低疲勞駕駛帶來(lái)的交通事故；采用雙攝像頭的目的在于能夠更加迅速的、準(zhǔn)確的獲得駕駛員人臉及眼部狀態(tài)，配合Cyclone III開(kāi)發(fā)板Cl)中FPGA (18)內(nèi)建雙核處理器分別對(duì)兩攝像頭(Π、ΠΙ)采集到的數(shù)據(jù)進(jìn)行處理，從而達(dá)到即時(shí)檢測(cè)駕駛員是否處在疲勞駕駛狀態(tài)，同時(shí)檢測(cè)系統(tǒng)具有低功耗、高可靠性的特點(diǎn)。所述Cyclone III開(kāi)發(fā)板(I)是一個(gè)其特征在于所述Cyclone III。開(kāi)發(fā)板(I)主要是一個(gè)FPGA連接有程序配置FLASH (16)、片外存儲(chǔ)設(shè)備(15)、SDRAM (14)、復(fù)位管理芯片(4)、撥碼開(kāi)關(guān)和按鍵輸入(2)、DVI接口(9)、串口擴(kuò)展(I)、電源接口(6)、電源管理模塊(5)、JTAG接口(8)、AS接口(7)、密碼保護(hù)擴(kuò)展塊(17)、LED指示(3)、SSRAM (13)和用于連接攝像頭(ΠΠΙ)和5V電源和OV地線的HDR_2X20 (12);攝像頭(H、ΠΙ)由圖像傳感器芯片(19)、外圍電路(20)和鏡頭(21)三個(gè)部分組成，并通過(guò)HDR_2X 20 (22)連接到開(kāi)發(fā)板(I)。上述的開(kāi)發(fā)板采用8層板設(shè)計(jì)，通過(guò)模擬仿真、計(jì)算保證系統(tǒng)的電源完整性及信號(hào)完整性。使用了 Altera(阿爾特拉)公司的CycloneIII中高檔FPGA-EP3C55F484，邏輯資源高達(dá)55856 LES，內(nèi)嵌M9K塊存儲(chǔ)器260個(gè)，總的RAM存儲(chǔ)量2396160 bits，內(nèi)嵌18X18的乘法器156個(gè)，4個(gè)PLL，20個(gè)全局時(shí)鐘網(wǎng)絡(luò)，327個(gè)輸入輸出(IO)口，135對(duì)差分信號(hào)，使得它在性能、邏輯資源、端口資源上都非常優(yōu)秀。開(kāi)發(fā)板中FPGA芯片通過(guò)AS (主動(dòng)串行)模式從EPCS16中獲得配置數(shù)據(jù)。存儲(chǔ)系統(tǒng)由16MX32的mobile SDRAM和4MX 8 Nor Flash組成，32位寬的SDRAM (同步動(dòng)態(tài)隨機(jī)存取記憶體)可使得處理器達(dá)到更高的性能，F(xiàn)lash (快閃存儲(chǔ)器)用于固化系統(tǒng)代碼。復(fù)位系統(tǒng)在上電后會(huì)自動(dòng)硬件復(fù)位，同時(shí)通過(guò)IWire總線的安全散列算法加密(SHA-I)，增強(qiáng)知識(shí)產(chǎn)權(quán)安全性。JTAG (燒寫調(diào)試接口)用于調(diào)試FPGA，AS接口用于燒寫配置芯片。預(yù)留RS232串行通信接口接口，加上串口模塊后即可實(shí)現(xiàn)和計(jì)算機(jī)或其他電路通信。開(kāi)發(fā)板上還擴(kuò)展了 3路輕觸開(kāi)關(guān)、4路撥碼開(kāi)關(guān)。開(kāi)發(fā)板上的電源管理先通過(guò)LM2596S-5. O和LM2596S-3. 3分別產(chǎn)生5. OV和
3.3V，再通過(guò)TPS75003產(chǎn)生內(nèi)核1.2V、I0電壓3. 3、LVDS電源2. 5V，通過(guò)TPS71501產(chǎn)生輔助電壓2. 5V。此外還集成了兩塊ISSI公司的SSRAM (同步靜態(tài)隨機(jī)存取存儲(chǔ)器)IS61NLP102418-250B3，用于對(duì)圖像傳感器采集到的數(shù)據(jù)進(jìn)行存儲(chǔ)，并將存儲(chǔ)數(shù)據(jù)傳輸?shù)紽PGA進(jìn)行處理，處理完的數(shù)據(jù)由開(kāi)發(fā)板上的解碼芯片CH7301C進(jìn)行解碼，該解碼芯片最大傳輸可達(dá)到165M像素/秒，最大像素可達(dá)到1920*1200，同時(shí)提供DVI和RGB兩種模式輸出。攝像頭部分由圖像傳感器芯片、外圍電路和鏡頭三個(gè)部分組成，圖像傳感器芯片和鏡頭分別采用的是Micron Technology公司的SOC數(shù)字COMS圖像傳感器芯片MT9M111129STC和4mm/Fl. 2鏡頭，并通過(guò)HDR_2 X 20連接到開(kāi)發(fā)板與其通信。SOC數(shù)字COMS圖像傳感器芯片MT9M111I29STC，其傳感器尺寸1/3英寸，最大支持像素為1280*1024，最大數(shù)據(jù)速率達(dá)27 MPS/54 MHz。在分辨率為1280*1024時(shí)，圖像可達(dá)15幀/秒；在分辨率為640*512時(shí)，圖像可達(dá)30幀/秒。這為圖像的采集效率和質(zhì)量提供了充足的保證。本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下顯而易見(jiàn)的突出實(shí)質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn)
I.兩個(gè)攝像頭用于雙目的機(jī)器視覺(jué)的視頻采集，通過(guò)雙目攝像頭可以很容易的得出駕駛員的臉部及眼部狀態(tài)。 2.采用性價(jià)比較高的FPGA內(nèi)建雙核處理器來(lái)實(shí)現(xiàn)并行處理，大大提高了處理速度，同時(shí)具有較低的功耗。3.開(kāi)發(fā)板上集成了 CH7301C解碼芯片，該解碼芯片最大傳輸可達(dá)到165M像素/秒，最大像素可達(dá)到1920*1200，同時(shí)可提供DVI和RGB兩種模式輸出。4.圖像傳感器芯片采用Micron Technology (美光科技)公司的SOC數(shù)字COMS圖像傳感器芯片MT9M111I29STC，其傳感器尺寸達(dá)1/3英寸，最大支持像素為1280*1024，最大數(shù)據(jù)速率達(dá)27 MPS/54 MHz0這為圖像的采集效率和質(zhì)量提供了充足的保證。


圖I.本發(fā)明硬件平臺(tái)結(jié)構(gòu)框圖
圖2.圖I中的Cyclone III開(kāi)發(fā)板結(jié)構(gòu)框圖 圖3.圖2存儲(chǔ)單元、JTAG和AS連接圖 圖4.圖像傳感器結(jié)構(gòu)框圖。
具體實(shí)施例方式本結(jié)合附圖，對(duì)本發(fā)明的優(yōu)先實(shí)施例說(shuō)明如下
實(shí)施例一
參見(jiàn)圖1，本基于FPGA的的疲勞駕駛雙目檢測(cè)硬件平臺(tái)其特征在于由I塊專用的Cyclone III開(kāi)發(fā)板(I)連接2個(gè)攝像頭(Π、ΠΙ)構(gòu)成；通過(guò)雙攝像頭(Π、ΠΙ)采集駕駛員的臉部及雙眼狀態(tài)來(lái)判斷駕駛員是否處在疲勞駕駛狀態(tài)，從而降低疲勞駕駛帶來(lái)的交通事故；采用雙攝像頭的目的在于能夠更加迅速的、準(zhǔn)確的獲得駕駛員人臉及眼部狀態(tài)，配合Cyclone III開(kāi)發(fā)板(I )中FPGA (18)內(nèi)建雙核處理器分別對(duì)兩攝像頭(Π、ΠΙ)采集到的數(shù)據(jù)進(jìn)行處理，從而達(dá)到即時(shí)檢測(cè)駕駛員是否處在疲勞駕駛狀態(tài)，同時(shí)檢測(cè)系統(tǒng)具有低功耗、高可靠性的特點(diǎn)。實(shí)施例二
參見(jiàn)圖I 圖4,本實(shí)施例與實(shí)施例一基本相同,特征之處如下
所述的一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)，其特征在于所述Cyclone III。開(kāi)發(fā)板(I)主要是一個(gè)FPGA連接有程序配置FLASH (16)、片外存儲(chǔ)設(shè)備(15)、SDRAM (14)、復(fù)位管理芯片(4)、撥碼開(kāi)關(guān)和按鍵輸入(2)、DVI接口(9)、串口擴(kuò)展(I)、電源接口(6)、電源管理模塊(5)、1^6接口(8)43接口(7)、密碼保護(hù)擴(kuò)展塊(17)、1^0指示(3)、SSRAM( 13)和用于連接攝像頭(Π、ΠΙ)和5V電源和OV地線的HDR_2X20 (12);攝像頭(Π、ΠΙ)由圖像傳感器芯片(19)、外圍電路(20)和鏡頭(21)三個(gè)部分組成，并通過(guò)HDR_2X20 (22)連接到開(kāi)發(fā)板(I)。實(shí)施例三
參見(jiàn)圖I，本基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)。包括I塊自制的FPGA開(kāi)發(fā)板和2個(gè)圖像傳感器組成。(一)開(kāi)發(fā)板開(kāi)發(fā)板，參見(jiàn)圖2。
開(kāi)發(fā)板主要包括FPGA芯片(18)、程序配置FLASH (16)、片外存儲(chǔ)設(shè)備(15)、SDRAM
(14)、復(fù)位管理芯片(4)、撥碼開(kāi)關(guān)和按鍵輸入(5)、DVI接口(11)、VGA接口(9)、串口擴(kuò)展(I)、電源接口(6)、電源管理模塊(5)、JTAG接口(8)、AS接口(7)、密碼保護(hù)模塊(17)、LED指示(3)、SSRAM (13)和用于連接攝像頭和5V電源和OV地線的HDR_2 X 20 (12)。(二)開(kāi)發(fā)板存儲(chǔ)單元、JTAG和AS接口
參見(jiàn)圖3，開(kāi)發(fā)板的片外存儲(chǔ)單元是2塊16位的SDRAM (20)，2塊SDRAM以并行方式連接，這樣能提供32位的數(shù)據(jù)存儲(chǔ)，以滿足ALTERA自帶的NIOS處理器的32位地址數(shù)據(jù)總線。每塊SDRAM (20)的數(shù)據(jù)與地址總線分別與FPGA芯片(14)相對(duì)應(yīng)的引腳相連?？刂瓶偩€包括
SDR_WE :寫使能信號(hào)；
CAE :列地址信號(hào)；
RAS :行地址信號(hào)；
CS :片選信號(hào)；
BA0/BA1 =BANK (片)選擇信號(hào)；
DQMO :低8位屏蔽信號(hào)；
DQMl :聞8位屏蔽/[目號(hào)；
CKE :時(shí)鐘使能信號(hào)；
CLK :時(shí)鐘信號(hào)。同時(shí)，F(xiàn)PGA芯片(18)輸出的JTAG控制信號(hào)線與AS配置信號(hào)線分別連接到JTAG接口上與EPCS16閃存芯片上。JTAG控制信號(hào)包括串行輸入(TDI)，串行輸出(TD0)，時(shí)鐘信號(hào)(TCK)，控制信號(hào)(TMS)0AS信號(hào)線包括時(shí)鐘信號(hào)(DCLK)，片選信號(hào)(nCS)，ASDI與CONFIG信號(hào)。其中AS上電后發(fā)送讀信號(hào)，將閃存(15)中的內(nèi)容傳送至FPGA中。(三)攝像頭
參見(jiàn)圖4，攝像頭由圖像傳感器芯片、外圍電路和鏡頭三個(gè)部分組成，圖像傳感器芯片和鏡頭分別采用的是由Micron Technology (美光科技)公司的SOC數(shù)字COMS圖像傳感器芯片MT9M111I29STC和4mm/Fl. 2鏡頭，并通 過(guò)HDR_2X20連接到開(kāi)發(fā)板與其通信。
權(quán)利要求
1.一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)其特征在于由I塊專用的CycloneIII開(kāi)發(fā)板(I)連接2個(gè)攝像頭(II、ΙΠ )構(gòu)成；通過(guò)雙攝像頭(Π、111)采集駕駛員的臉部及雙眼狀態(tài)來(lái)判斷駕駛員是否處在疲勞駕駛狀態(tài)，從而降低疲勞駕駛帶來(lái)的交通事故；采用雙攝像頭的目的在于能夠更加迅速的、準(zhǔn)確的獲得駕駛員人臉及眼部狀態(tài)，配合Cyclone III開(kāi)發(fā)板(I)中FPGA (18)內(nèi)建雙核處理器分別對(duì)兩攝像頭(II >111)采集到的數(shù)據(jù)進(jìn)行處理，從而達(dá)到即時(shí)檢測(cè)駕駛員是否處在疲勞駕駛狀態(tài)，同時(shí)檢測(cè)系統(tǒng)具有低功耗、高可靠性的特點(diǎn)。
2.根據(jù)權(quán)利要求I所述的一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)，其特征在于所述Cyclone III ;開(kāi)發(fā)板(I)主要是一個(gè)FPGA連接有程序配置FLASH (16)、片外存儲(chǔ)設(shè)備(15),SDRAMC14)、復(fù)位管理芯片(4)、撥碼開(kāi)關(guān)和按鍵輸入(2)、DVI接口(9)、串口擴(kuò)展(I)、電源接口(6)、電源管理模塊(5)、JTAG接口(8)、AS接口(7)、密碼保護(hù)擴(kuò)展塊(17)、LED指示(3)、SSRAM (13)和用于連接攝像頭(II IiI )和5V電源和OV地線的HDR_2X 20 (12)；攝像頭(IKIII)由圖像傳感器芯片(19)、外圍電路(20)和鏡頭(21)三個(gè)部分組成，并通過(guò)HDR_2X20 (22)連接到開(kāi)發(fā)板(I)。
3.根據(jù)權(quán)利要求2所述的一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)，其特征在于圖像傳感器芯片(19)和鏡頭(21)分別采用的是Micron Technology公司的SOC數(shù)字COMS圖像傳感器芯片MT9M111I29STC和4mm/Fl. 2鏡頭。
4.根據(jù)權(quán)利要求2所述的一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)，其特征在于所述Cyclone III開(kāi)發(fā)板(I)，通過(guò)對(duì)AS接口(7)與JTAG接口(8)的選擇來(lái)實(shí)現(xiàn)程序的直接燒寫或?qū)⒊绦驘隖LASH中進(jìn)行上電后燒寫。
5.根據(jù)權(quán)利要求3所述的一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)，其特征在于所述圖像傳感器(19)，通過(guò)兩個(gè)專用攝像頭(21)采集人臉圖像后并將其存儲(chǔ)到Cyclone III開(kāi)發(fā)板(I)上的SSRAM中。
全文摘要
本發(fā)明涉及了一種基于FPGA的疲勞駕駛雙目檢測(cè)硬件平臺(tái)。通過(guò)雙攝像頭采集駕駛員的臉部及雙眼狀態(tài)來(lái)判斷駕駛員是否處在疲勞駕駛狀態(tài)，從而降低疲勞駕駛帶來(lái)的交通事故。本檢測(cè)系統(tǒng)具有低功耗、高可靠性的特點(diǎn)。該硬件平臺(tái)由1塊自制的CycloneIII開(kāi)發(fā)板連接2個(gè)圖像傳感器構(gòu)成。開(kāi)發(fā)板主要是由FPGA加上存儲(chǔ)系統(tǒng)及必要的外圍電路組成完整的處理器組，雙處理器核及存儲(chǔ)單元均在FPGA中實(shí)現(xiàn)；同時(shí)開(kāi)發(fā)板上有電源管理模塊、視頻輸出接口和串口擴(kuò)展。攝像頭由圖像傳感器芯片、外圍電路和鏡頭三個(gè)部分組成，并通過(guò)HDR_2×20連接到開(kāi)發(fā)板。
文檔編號(hào)A61B5/18GK102860830SQ20121033448
公開(kāi)日2013年1月9日 申請(qǐng)日期2012年9月12日 優(yōu)先權(quán)日2012年9月12日
發(fā)明者徐美華, 黃舒平, 姚華城, 翁世浩, 孫夢(mèng)威, 冉峰 申請(qǐng)人:上海大學(xué)