本發(fā)明屬于集裝箱碼頭或集裝箱運(yùn)輸行業(yè)安全及自動(dòng)化控制領(lǐng)域，涉及一種對(duì)輪胎吊大車(chē)行駛過(guò)程中障礙物檢測(cè)識(shí)別和預(yù)警控制的系統(tǒng)及方法。其可以應(yīng)用于該領(lǐng)域其它相似設(shè)備的障礙物檢測(cè)預(yù)警。

背景技術(shù)：

集裝箱碼頭和集裝箱運(yùn)輸行業(yè)大型機(jī)械設(shè)備如：輪胎吊等大型機(jī)械設(shè)備與人員、車(chē)輛以及貨物發(fā)生碰撞的事故在行業(yè)內(nèi)時(shí)有發(fā)生，尤其是近年來(lái)迅速發(fā)展的遠(yuǎn)程操控設(shè)備，因其工況的特殊性，司機(jī)很難全面掌握現(xiàn)場(chǎng)車(chē)輛及人員的的動(dòng)向，容易發(fā)生事故，存在一定的控制難點(diǎn)和安全隱患。為解決該問(wèn)題，各碼頭和設(shè)計(jì)單位努力尋找各種檢測(cè)手段，如超聲波防撞和激光檢測(cè)等，但以上兩種檢測(cè)方法都存在一定的使用局限性，如覆蓋區(qū)域盲區(qū)問(wèn)題，障礙物反射效率問(wèn)題，惡劣天氣的條件限制等。

實(shí)時(shí)視頻圖像檢測(cè)技術(shù)在現(xiàn)場(chǎng)應(yīng)用因高清工業(yè)相機(jī)和高速工業(yè)計(jì)算機(jī)技術(shù)的迅速發(fā)展而成為可能?；趯?shí)時(shí)視頻圖像識(shí)別的輪胎吊防碰撞預(yù)警系統(tǒng)，利用兩個(gè)高清相機(jī)進(jìn)行動(dòng)態(tài)人眼仿生，當(dāng)相機(jī)視野內(nèi)存在障礙物時(shí)，系統(tǒng)可獲知物體的三維立體信息，最終根據(jù)物體的大小、高度、距離進(jìn)行預(yù)警或報(bào)警。與傳統(tǒng)檢測(cè)手段不同，實(shí)時(shí)視頻圖像識(shí)別檢測(cè)技術(shù)獲取了設(shè)備運(yùn)行方向視野內(nèi)的立體信息，有效避免了傳統(tǒng)檢測(cè)手段存在的弊端，對(duì)障礙目標(biāo)沒(méi)有條件限制，檢測(cè)更加可靠。

因此，研究應(yīng)用基于實(shí)時(shí)視頻圖像識(shí)別技術(shù)的輪胎吊防撞警示系統(tǒng)不僅可以排除現(xiàn)有遠(yuǎn)程操控輪胎吊設(shè)備運(yùn)行時(shí)的潛在安全隱患，更可拋磚引玉，將該技術(shù)推廣應(yīng)用到其他設(shè)備的各種相關(guān)場(chǎng)合。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)背景技術(shù)所涉及的問(wèn)題，本發(fā)明提出了一種基于實(shí)時(shí)視頻圖像識(shí)別的輪胎吊防碰撞預(yù)警系統(tǒng)及其方法。

本發(fā)明可通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：

本發(fā)明的一種基于實(shí)時(shí)視頻圖像識(shí)別的輪胎吊防碰撞預(yù)警系統(tǒng),包括視頻圖像采集傳感器系統(tǒng)、包含有視頻圖像采集同步觸發(fā)控制器的視頻圖像采集同步觸發(fā)控制系統(tǒng)、與所述視頻圖像采集同步觸發(fā)控制器連接的輔助照明系統(tǒng)、圖像分析處理主機(jī)系統(tǒng),及分別與所述視頻圖像采集同步觸發(fā)控制器和圖像分析處理主機(jī)系統(tǒng)連接的plc可編程控制器，一聲光報(bào)警裝置連接到所述圖像分析處理主機(jī)系統(tǒng)，一電源系統(tǒng)為以上各系統(tǒng)提供電源；

所述視頻圖像采集傳感器系統(tǒng)包括若干個(gè)視頻檢測(cè)傳感器、一千兆網(wǎng)交換機(jī)，每個(gè)視頻檢測(cè)傳感器包含左右兩個(gè)安裝在同一水平面的帶外觸發(fā)的千兆網(wǎng)gige相機(jī)，每個(gè)相機(jī)的gige端口都通過(guò)gige網(wǎng)線與千兆網(wǎng)交換機(jī)相連，千兆網(wǎng)交換機(jī)通過(guò)gige網(wǎng)線與圖像分析處理主機(jī)系統(tǒng)相連，每個(gè)相機(jī)的觸發(fā)端口分別通過(guò)觸發(fā)線纜連接到所述視頻圖像采集同步觸發(fā)控制器的同一個(gè)端口。

作為本發(fā)明的優(yōu)選技術(shù)方案：

本發(fā)明所述的輪胎吊防碰撞預(yù)警系統(tǒng)，所述視頻圖像采集同步觸發(fā)控制系統(tǒng)主要由輸入輸出隔離光電耦合電路、單片機(jī)電路、穩(wěn)壓電源電路和rs232通訊電路構(gòu)成；其輸入端口用于接收所述plc可編程控制器發(fā)出的行進(jìn)方向指令，當(dāng)所述plc可編程控制器發(fā)出某個(gè)行進(jìn)指令時(shí)，所述光電耦合電路將與之對(duì)應(yīng)的plc可編程控制器i/o口電平拉低，plc可編程控制器根據(jù)i/o口的電平狀態(tài)判斷行進(jìn)方向，通過(guò)改變同步觸發(fā)端口的信號(hào)輸出狀態(tài)，使得相對(duì)應(yīng)的傳感器觸發(fā)采集圖像，并通過(guò)rs232端口向圖像分析處理主機(jī)系統(tǒng)發(fā)出畫(huà)面切換信號(hào)，通知圖像分析處理主機(jī)系統(tǒng)進(jìn)行視頻圖像處理畫(huà)面切換。

本發(fā)明所述的輪胎吊防碰撞預(yù)警系統(tǒng)，所述相機(jī)都安裝在一個(gè)防水防塵的外殼內(nèi)。

本發(fā)明所述的輪胎吊防碰撞預(yù)警系統(tǒng)，所述每個(gè)視頻檢測(cè)傳感器都安裝在一套可調(diào)節(jié)上下、左右傾斜角度和前后距離的安裝支架上。

本發(fā)明所述的輪胎吊防碰撞預(yù)警系統(tǒng)，所述電源系統(tǒng)為通用的穩(wěn)壓電源，為系統(tǒng)中各設(shè)備提供穩(wěn)壓電源。

本發(fā)明所述的輪胎吊防碰撞預(yù)警系統(tǒng)，所述輔助照明系統(tǒng)為分別與視頻圖像采集同步觸發(fā)控制器連接的led補(bǔ)光燈和光照度傳感器組成。

本發(fā)明所述的輪胎吊防碰撞預(yù)警系統(tǒng)，所述圖像分析處理主機(jī)系統(tǒng)由計(jì)算機(jī)pc或工控機(jī)ipc構(gòu)成，其主機(jī)內(nèi)包含千兆網(wǎng)絡(luò)通訊設(shè)備、rs232端口或rs485兼容端口，且安裝有用于圖像分析處理的應(yīng)用程序。

本發(fā)明還提出了一種利用以上所述的輪胎吊防碰撞預(yù)警系統(tǒng)實(shí)現(xiàn)的輪胎吊防碰撞預(yù)警方法，包括以下步驟：

1)啟動(dòng)主機(jī)，程序開(kāi)始運(yùn)行后查找所有聯(lián)網(wǎng)相機(jī)，并初始化所有聯(lián)網(wǎng)相機(jī)；

2)根據(jù)與視頻圖像采集同步觸發(fā)控制器相連接的rs232口接收的信號(hào)判斷處理哪組傳感器圖像，打開(kāi)該傳感器并開(kāi)始接收?qǐng)D像，同一時(shí)間內(nèi)接收兩幅圖像，分別對(duì)應(yīng)該傳感器內(nèi)的兩個(gè)相機(jī)；

3)圖像接收完成后，對(duì)圖像進(jìn)行相機(jī)鏡頭畸變矯正；

4)然后對(duì)圖像進(jìn)行亮度對(duì)比度變換和高斯模糊；

5)然后在兩幅圖像中匹配對(duì)應(yīng)點(diǎn)，通過(guò)計(jì)算所有對(duì)應(yīng)點(diǎn)的相對(duì)位置生成一幅用灰度值對(duì)應(yīng)距離的視差圖,具體如下：

設(shè)基線距b為兩相機(jī)的投影中心連線的距離，相機(jī)焦距為f；設(shè)兩相機(jī)在同一時(shí)刻觀看空間物體的同一特征點(diǎn)p(xc,yc,zc)，分別在“左相機(jī)”和“右相機(jī)”上獲取了點(diǎn)p的圖像，它們的圖像坐標(biāo)分別為

p-left＝(xleft,yleft),p-right＝(xright,yright)；

現(xiàn)兩相機(jī)的圖像在同一個(gè)平面上，則特征點(diǎn)p的圖像坐標(biāo)y坐標(biāo)相同，即y＝y(tǒng)left＝y(tǒng)right，則由三角幾何關(guān)系得到：

xleft＝f(xc/zc)

xright＝f((xc-b)/zc)

y＝f(yc/zc)

則p點(diǎn)視差d＝xleft-xright，

由此可得出p點(diǎn)的三維坐標(biāo)為：

xc＝bxleft/d

yc＝by/d

zc＝bf/d；

6)生成視差圖后，根據(jù)傳感器的安裝高度和安裝角度進(jìn)行三維仿射變換，計(jì)算出傳感器視野范圍內(nèi)所有目標(biāo)物體的三維空間坐標(biāo)；

7)對(duì)所有進(jìn)入相機(jī)視野的人員及車(chē)輛等障礙物目標(biāo)進(jìn)行目標(biāo)檢測(cè)、距離跟蹤、判斷，當(dāng)目標(biāo)進(jìn)入檢測(cè)區(qū)域時(shí)，自動(dòng)分析目標(biāo)的危險(xiǎn)系數(shù)；

8)當(dāng)有危險(xiǎn)目標(biāo)時(shí)，通過(guò)與plc可編程控制器相連的rs232端口發(fā)出報(bào)警信號(hào)，或通過(guò)報(bào)警信號(hào)輸出點(diǎn)向聲光報(bào)警裝置發(fā)出報(bào)警控制信號(hào)。

由于采用以上技術(shù)方案，本發(fā)明具有以下有益效果：

1)本發(fā)明實(shí)現(xiàn)了通過(guò)三維視覺(jué)圖像識(shí)別技術(shù)解決輪胎吊等大型機(jī)械設(shè)備的障礙物防撞和預(yù)警問(wèn)題。本發(fā)明對(duì)所有進(jìn)入相機(jī)視野的人員及車(chē)輛等障礙物目標(biāo)進(jìn)行檢測(cè)、跟蹤、當(dāng)目標(biāo)進(jìn)入檢測(cè)區(qū)域時(shí)，自動(dòng)分析目標(biāo)的危險(xiǎn)系數(shù)，必要時(shí)對(duì)操作人員發(fā)出預(yù)警、報(bào)警或者自動(dòng)停止設(shè)備向危險(xiǎn)方向運(yùn)行。

2)實(shí)現(xiàn)障礙目標(biāo)報(bào)警圖像存儲(chǔ)功能，當(dāng)出現(xiàn)危險(xiǎn)目標(biāo)時(shí)，自動(dòng)保存現(xiàn)場(chǎng)圖像，以提供事故分析時(shí)追溯功能。

3)探索實(shí)現(xiàn)輪胎吊設(shè)備的全方位四方向防撞保護(hù)，不僅在箱區(qū)運(yùn)行時(shí)起到安全保護(hù)作用，通過(guò)增加相機(jī)數(shù)量和接收的設(shè)備指令信號(hào)，實(shí)現(xiàn)輪胎吊轉(zhuǎn)場(chǎng)時(shí)安全防護(hù)。

附圖說(shuō)明

下面根據(jù)附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明：

圖1為本發(fā)明的結(jié)構(gòu)框圖；

圖2為本發(fā)明的傳感器結(jié)構(gòu)示意圖；

圖3為本發(fā)明控制回路示意圖；

圖4為本發(fā)明視差檢測(cè)原理示意圖；

圖5為本發(fā)明圖像識(shí)別檢測(cè)流程示意圖。

其中，1，圖像分析處理主機(jī)系統(tǒng)；2，輔助照明系統(tǒng)；3，plc可編程控制器；4，視頻圖像采集同步觸發(fā)控制器；5，聲光報(bào)警裝置，6，千兆網(wǎng)交換機(jī)；7，電源系統(tǒng)；a,外殼；a，左相機(jī)；b，右相機(jī)；a-1,gige端口；a-2,相機(jī)觸發(fā)端口

具體實(shí)施方式

如圖1所示，本發(fā)明的一種基于實(shí)時(shí)視頻圖像識(shí)別的輪胎吊防碰撞預(yù)警系統(tǒng),包括視頻圖像采集傳感器系統(tǒng)、包含有視頻圖像采集同步觸發(fā)控制器4的視頻圖像采集同步觸發(fā)控制系統(tǒng)、與視頻圖像采集同步觸發(fā)控制器4連接的輔助照明系統(tǒng)2、圖像分析處理主機(jī)系統(tǒng)1,及分別與視頻圖像采集同步觸發(fā)控制器4和圖像分析處理主機(jī)系統(tǒng)1連接的plc可編程控制器3，一聲光報(bào)警裝置5連接到圖像分析處理主機(jī)系統(tǒng)1，電源系統(tǒng)為以上各系統(tǒng)提供電源。圖像分析處理主機(jī)系統(tǒng)1包括計(jì)算機(jī)或工控機(jī)硬件系統(tǒng)和應(yīng)用軟件系統(tǒng)。

其中視頻圖像采集傳感器系統(tǒng)包括若干個(gè)視頻檢測(cè)傳感器、千兆網(wǎng)交換機(jī)6，如圖2所示，每個(gè)視頻檢測(cè)傳感器包含左右兩個(gè)安裝在同一水平面的帶外觸發(fā)的千兆網(wǎng)gige相機(jī)，每個(gè)相機(jī)的gige端口a-1都通過(guò)gige網(wǎng)線與千兆網(wǎng)交換機(jī)相連，千兆網(wǎng)交換機(jī)6通過(guò)gige網(wǎng)線與圖像分析處理主機(jī)系統(tǒng)1相連，每個(gè)相機(jī)的觸發(fā)端口a-2分別通過(guò)觸發(fā)線纜連接到視頻圖像采集同步觸發(fā)控制器4的同一個(gè)端口，保證左右兩個(gè)相機(jī)(a和b)的觸發(fā)時(shí)間同步。系統(tǒng)可連接多個(gè)視頻檢測(cè)傳感器。

其中視頻圖像采集同步觸發(fā)控制系統(tǒng)主要由輸入輸出隔離光電耦合電路、單片機(jī)電路、穩(wěn)壓電源電路和rs232通訊電路構(gòu)成；其輸入端口用于接收plc可編程控制器3發(fā)出的行進(jìn)方向指令，當(dāng)plc可編程控制器3發(fā)出某個(gè)行進(jìn)指令時(shí)，光電耦合電路將與之對(duì)應(yīng)的plc可編程控制器3i/o口電平拉低，plc可編程控制器3根據(jù)i/o口的電平狀態(tài)判斷行進(jìn)方向，通過(guò)改變同步觸發(fā)端口的信號(hào)輸出狀態(tài)，使得相對(duì)應(yīng)的傳感器觸發(fā)采集圖像，并通過(guò)rs232端口向圖像分析處理主機(jī)系統(tǒng)1發(fā)出畫(huà)面切換信號(hào)，通知圖像分析處理主機(jī)系統(tǒng)1進(jìn)行視頻圖像處理畫(huà)面切換。同步觸發(fā)控制系統(tǒng)的另一個(gè)功能是根據(jù)照度傳感器信號(hào)判斷當(dāng)前行進(jìn)方向的光照度，當(dāng)照度低于一定值時(shí)，觸發(fā)打開(kāi)輔助光源對(duì)視頻檢測(cè)傳感器進(jìn)行補(bǔ)光，以保證視頻檢測(cè)傳感器采集的圖像保持在可識(shí)別范圍內(nèi)。圖像分析處理主機(jī)系統(tǒng)1由計(jì)算機(jī)pc或工控機(jī)ipc構(gòu)成，其主機(jī)內(nèi)包含千兆網(wǎng)絡(luò)通訊設(shè)備、rs232端口或rs485兼容端口，且安裝有用于圖像分析處理的應(yīng)用程序。

本發(fā)明中相機(jī)都安裝在一個(gè)防水防塵的外殼a內(nèi)；且每個(gè)視頻檢測(cè)傳感器都安裝在一套可調(diào)節(jié)上下、左右傾斜角度和前后距離的安裝支架上。

本發(fā)明的電源系統(tǒng)為通用的穩(wěn)壓電源，為系統(tǒng)中各設(shè)備提供穩(wěn)壓電源。

如圖3所示，本發(fā)明的輔助照明系統(tǒng)為分別與視頻圖像采集同步觸發(fā)控制器連接的led補(bǔ)光燈和光照度傳感器組成。光照度傳感器檢測(cè)當(dāng)前照度并轉(zhuǎn)換成電信號(hào)送入輔助光源系統(tǒng)進(jìn)行判斷，當(dāng)光照度低于軟件設(shè)定的值時(shí)，系統(tǒng)通過(guò)繼電器點(diǎn)亮led補(bǔ)光燈，為視頻檢測(cè)傳感器提供足夠的照度，以使得視頻檢測(cè)傳感器能夠拍攝滿足識(shí)別要求的圖像。

如圖5所示，利用以上一種基于實(shí)時(shí)視頻圖像識(shí)別的輪胎吊防碰撞預(yù)警系統(tǒng)實(shí)現(xiàn)的基于實(shí)時(shí)視頻圖像識(shí)別的輪胎吊防碰撞預(yù)警方法，具體如下：

當(dāng)應(yīng)用軟件啟動(dòng)后，首先在網(wǎng)絡(luò)內(nèi)查找所有已連接的傳感器內(nèi)部相機(jī)，并初始化所有符合條件的相機(jī)。相機(jī)初始化成功后，程序根據(jù)與同步觸發(fā)控制器相連接的rs232口接收的信號(hào)判斷處理哪組傳感器圖像并開(kāi)始接收?qǐng)D像。同一時(shí)間內(nèi)程序接收兩幅圖像，分別對(duì)應(yīng)傳感器內(nèi)部的兩個(gè)相機(jī)。圖像接收完成后，程序首選對(duì)兩幅圖像進(jìn)行畫(huà)面預(yù)處理，分為相機(jī)鏡頭畸變校正、亮度對(duì)比度變換、高斯模糊等，兩幅經(jīng)過(guò)整定后的圖像形成一個(gè)圖像對(duì)，進(jìn)而在兩幅圖像中匹配對(duì)應(yīng)點(diǎn)，通過(guò)計(jì)算所有對(duì)應(yīng)點(diǎn)的相對(duì)位置生成一幅用灰度值對(duì)應(yīng)距離的視差圖，該視差圖的生成原理如圖4所示。其中基線距b＝兩攝像機(jī)的投影中心連線的距離；相機(jī)焦距為f。設(shè)兩攝像機(jī)在同一時(shí)刻觀看空間物體的同一特征點(diǎn)p(xc,yc,zc)，分別在“左相機(jī)a”和“右相機(jī)b”上獲取了點(diǎn)p的圖像，它們的圖像坐標(biāo)分別為

p-left＝(xleft,yleft),p-right＝(xright,yright)。

現(xiàn)兩攝像機(jī)的圖像在同一個(gè)平面上，則特征點(diǎn)p的圖像坐標(biāo)y坐標(biāo)相同，即y＝y(tǒng)left＝y(tǒng)right，則由三角幾何關(guān)系得到：

xleft＝f(xc/zc)

xright＝f((xc-b)/zc)

y＝f(yc/zc)

則p點(diǎn)視差d＝xleft-xright。

由此可得出p點(diǎn)的三維坐標(biāo)為：

xc＝bxleft/d

yc＝by/d

zc＝bf/d

生成視差圖后，程序根據(jù)傳感器的安裝高度和安裝角度進(jìn)行三維仿射變換，計(jì)算出傳感器視野范圍內(nèi)所有目標(biāo)物體的三維空間坐標(biāo)。程序?qū)λ羞M(jìn)入相機(jī)視野的人員及車(chē)輛等障礙物目標(biāo)進(jìn)行目標(biāo)檢測(cè)、距離跟蹤、判斷。當(dāng)目標(biāo)進(jìn)入檢測(cè)區(qū)域時(shí)，自動(dòng)分析目標(biāo)的危險(xiǎn)系數(shù)，必要時(shí)通過(guò)與plc相連的rs232端口發(fā)出預(yù)警、報(bào)警或者自動(dòng)停止設(shè)備向危險(xiǎn)方向運(yùn)行的信號(hào)，并可通過(guò)報(bào)警信號(hào)輸出點(diǎn)向聲光報(bào)警系統(tǒng)發(fā)出報(bào)警控制信號(hào)，用于提醒現(xiàn)場(chǎng)車(chē)輛及人員等障礙目標(biāo)及時(shí)作出相應(yīng)反應(yīng)。

但是，上述的具體實(shí)施方式只是示例性的，是為了更好的使本領(lǐng)域技術(shù)人員能夠理解本專(zhuān)利，不能理解為是對(duì)本專(zhuān)利包括范圍的限制；只要是根據(jù)本專(zhuān)利所揭示精神的所作的任何等同變更或修飾，均落入本專(zhuān)利包括的。