若并集結(jié)果為"1"，則判定安全區(qū)域內(nèi) 有危險(xiǎn)運(yùn)動(dòng)，發(fā)出警報(bào)；若并集結(jié)果是"〇"，則判定安全區(qū)域內(nèi)沒有危險(xiǎn)運(yùn)動(dòng)，不發(fā)出警報(bào) (如圖3所示的流程圖）。
[0036] 本實(shí)施例提出的車輛開門預(yù)警裝置的設(shè)計(jì)方案是：
[0037] 利用四個(gè)魚眼攝像頭（即前攝像頭1，后攝像頭2,左攝像頭3,右攝像頭4)安裝在 車輛的頭部、尾部、左部和右部，利用四個(gè)魚眼攝像頭的視角接近180度的特點(diǎn)，完成對(duì)汽 車四周無死角的觀測，與車載的工控機(jī)4構(gòu)成環(huán)視平臺(tái)。由環(huán)視平臺(tái)得到的四個(gè)視野的圖 像具有魚眼畸變，需進(jìn)行畸變矯正；對(duì)四個(gè)視野畸變矯正后的圖像分別進(jìn)行基于STHOL特 征的檢測，檢測過程如下：
[0038] 第一，掃描線的設(shè)置；
[0039] 所述掃描線的設(shè)置包括掃描線的密度以及鋪設(shè)范圍，掃描線的密度以及鋪設(shè)范圍 根據(jù)汽車的具體尺寸以及硬件平臺(tái)性能而定。
[0040] 每個(gè)視野中的掃描線的設(shè)置。掃描線的方向是危險(xiǎn)運(yùn)動(dòng)的速度方向。在本發(fā)明中， 定義在車頭部分相對(duì)于車身垂直的運(yùn)動(dòng)，在左端右端以及后端相對(duì)于車身平行的運(yùn)動(dòng)為危 險(xiǎn)運(yùn)動(dòng)，所以在車輛坐標(biāo)中掃描線的設(shè)置為在車頭部分為垂直車身設(shè)置，其余三個(gè)部分的 設(shè)置為平行車身設(shè)置，安全區(qū)域的大小取決于掃描線的間隔以及數(shù)目，安全區(qū)域的大小標(biāo) 志了要預(yù)警的范圍的大小，可以通過控制安全區(qū)域的大小實(shí)現(xiàn)預(yù)警范圍的控制。在車輛坐 標(biāo)中的掃描線設(shè)置如圖2所示。
[0041] 表1掃描線的設(shè)置參數(shù)
[0042]
[0043] 在車輛坐標(biāo)中確定了掃描線的各個(gè)坐標(biāo)之后，利用坐標(biāo)變換，將掃描線的車輛坐 標(biāo)轉(zhuǎn)換到圖像的像素坐標(biāo)中。在初始化的時(shí)候完成這個(gè)轉(zhuǎn)換，建立四個(gè)部分圖像不同掃描 線的坐標(biāo)的查找表，這樣在后續(xù)計(jì)算時(shí)直接查表即可，加速程序的運(yùn)行效率。
[0044] 第二，掃描線由車輛坐標(biāo)到圖像坐標(biāo)的轉(zhuǎn)換；
[0045] 利用透視變換的方法實(shí)現(xiàn)所述掃描線由車輛坐標(biāo)到圖像坐標(biāo)的坐標(biāo)轉(zhuǎn)換。
[0046] 在從車輛坐標(biāo)轉(zhuǎn)換到非畸變圖像坐標(biāo)的過程中，一共涉及到4個(gè)坐標(biāo)系，分別為 車輛坐標(biāo)系，攝像頭坐標(biāo)系，成像平面坐標(biāo)系，和實(shí)際圖像坐標(biāo)系，這四個(gè)坐標(biāo)系的關(guān)系如 圖4所示，圖中M是車輛坐標(biāo)中的一點(diǎn)；m'是直接成像時(shí)的畸變圖像坐標(biāo)中的一點(diǎn)；m是在 非畸變圖像中M對(duì)應(yīng)的點(diǎn)。這一步需要做的就是把掃描線上的每一點(diǎn)從車輛坐標(biāo)轉(zhuǎn)換到最 終需要的圖像坐標(biāo)中，也就是四個(gè)坐標(biāo)之間的轉(zhuǎn)換。
[0047] 首先，是車輛坐標(biāo)系與攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。車輛坐標(biāo)系是一個(gè)基本坐 標(biāo)系，該坐標(biāo)系是一個(gè)三維坐標(biāo)系，由人為預(yù)先設(shè)定，所有的信息包括采集圖像數(shù)據(jù)的攝像 頭本身都在這個(gè)車輛坐標(biāo)系中擁有對(duì)應(yīng)的坐標(biāo)；魚眼攝像頭坐標(biāo)系是以魚眼攝像頭的焦點(diǎn) 為坐標(biāo)系的原點(diǎn)，光軸為Z軸。車輛坐標(biāo)系和魚眼攝像頭坐標(biāo)系的坐標(biāo)之間的關(guān)系一般使 用一個(gè)旋轉(zhuǎn)矩陣R和一個(gè)平移矩陣T描述，具體的關(guān)系參見下式（1):
[0049] 在該式中，（xw,yw,zw)表示的是在車輛坐標(biāo)中的某個(gè)點(diǎn)的坐標(biāo)，（xc,yc,zc)表示 的是該點(diǎn)在攝像頭坐標(biāo)中對(duì)應(yīng)的坐標(biāo)，可以將上式轉(zhuǎn)換成齊次式，即式（2):
[0051] 其中旋轉(zhuǎn)矩陣R和平移矩陣T的參數(shù)構(gòu)成了魚眼攝像頭的外參，由標(biāo)定得到。
[0052] 成像坐標(biāo)系和攝像頭坐標(biāo)系基本是相同的，所不同的是成像平面坐標(biāo)系是一個(gè)二 維的坐標(biāo)系，其坐標(biāo)的原點(diǎn)在攝像頭的光心的位置。它描述了某一個(gè)像素點(diǎn)在圖像中的對(duì) 應(yīng)的物理位置。魚眼攝像頭坐標(biāo)系中的一點(diǎn)（xc，yc，zc)與成像坐標(biāo)系中的一個(gè)像素點(diǎn)的 坐標(biāo)（x，y)的對(duì)應(yīng)關(guān)系可以由線性針孔模型來表示，如式（3)所示：
[0054] 在上面的公式中，f表示的是攝像頭的焦距，f是魚眼攝像頭的內(nèi)參數(shù)線性部分的 一個(gè)參數(shù)，一樣可以通過攝像頭的標(biāo)定得到。
[0055] 非畸變圖像坐標(biāo)系中的坐標(biāo)反映了對(duì)應(yīng)的像素坐標(biāo)。非畸變圖像坐標(biāo)系同樣是一 個(gè)二維的坐標(biāo)系，該坐標(biāo)系和實(shí)際影像坐標(biāo)系之間的關(guān)系可以利用畸變系數(shù)來表示。這里 的畸變系數(shù)指的是線性畸變系數(shù)，而魚眼的非線性畸變系數(shù)已經(jīng)在前述的畸變矯正中處理 掉了。線性畸變的產(chǎn)生是由于攝像頭的光心不再成像平面的正中心所產(chǎn)生的。這里設(shè)光心 的在實(shí)際影響坐標(biāo)系中的坐標(biāo)為（uc，vc)表示，則成像坐標(biāo)系中的任意一點(diǎn)（x，y)和實(shí)際 影像坐標(biāo)系的對(duì)應(yīng)點(diǎn)（u，v)之間的關(guān)系可以用式（4)表示：
[0057] 上面的式子中，kx,ky分別表示的是成像平面上X軸和y軸上的Icm代表多少像 素。
[0058] 圖5為四個(gè)部分視野的掃描線設(shè)置轉(zhuǎn)換后的效果圖。
[0059] 第三，時(shí)空信息圖的建立；
[0060] 時(shí)空信息圖，是指將每一幀的特定的一條掃描線上的所有像素點(diǎn)的值抽取出來， 得到當(dāng)前幀的一條掃描線矩陣，然后將相鄰多幀的對(duì)應(yīng)的掃描線矩陣合起來形成時(shí)空信息 圖。公式描述如下：
[0061] 在第t幀圖像中，坐標(biāo)為（x，y)的點(diǎn)的值為I(X，y,t)，則有當(dāng)前幀的j條掃描線 圖矩陣：
[0063] 式（5)中Xji,YjiGL(X，y)，i= 1，2. . .n，i表示點(diǎn)在掃描線集合中的序號(hào)，n表 示每條掃描線集合中點(diǎn)的個(gè)數(shù)，L,為第j條掃描線的點(diǎn)的集合。
[0064] 假設(shè)每次取6幀圖像組成時(shí)空信息圖，則此掃描線組成的時(shí)空信息圖的矩陣為：
[0066] 式中Xji,L」(X，y)，Lj為第j條掃描線的點(diǎn)的集合。
[0067] 圖像表示如圖6所示，圖中為一條掃描線形成其對(duì)應(yīng)時(shí)空信息圖的示意，左半部 分是運(yùn)動(dòng)物體，右部分為靜止物體構(gòu)成時(shí)空信息圖的示意。從圖中可以看出，靜止物體和運(yùn) 動(dòng)物體產(chǎn)生的時(shí)空信息圖中的邊緣線的斜率是不同的，按照它們的斜率不同可以區(qū)分出掃 描線上的物體的運(yùn)動(dòng)狀態(tài)。
[0068] 在完成了每個(gè)視野中掃描線的設(shè)定和轉(zhuǎn)換后，本發(fā)明就可以利用這些掃描線進(jìn)行 時(shí)空信息圖的建立。對(duì)于上述的每一條掃描線，按照上述的概念構(gòu)建時(shí)空信息圖，每經(jīng)過一 幀，時(shí)空信息圖中的每一行就向下移動(dòng)一行，最下面的一行被舍棄，當(dāng)前幀的相應(yīng)的掃描線 補(bǔ)充到最上面的一行中。這是一個(gè)長度一定的隊(duì)列結(jié)構(gòu)，圖7為其中一條掃描線在某一幀 構(gòu)成的時(shí)空信息圖。
[0069] 第三，時(shí)空特征圖的邊緣線的提取和擬合；
[0070] 在完成了每一條掃描線的時(shí)空信息圖的建立后，本發(fā)明獲取了一系列的時(shí)空信息 圖，對(duì)于每一張時(shí)空信息圖進(jìn)行邊緣檢測。圖像的邊緣是圖像中灰度急劇變化的地方，受噪 聲和光照等干擾的影響較小。利用Canny算子與閾值化進(jìn)行邊緣線的二值化，其中Canny 算子的上閾值和下閾值的選取很重要，選取恰當(dāng)?shù)闹悼梢猿ズ艽笠徊糠值挠捎诠庹兆兓?等情況引起的噪聲，圖8為利用Canny算子得到的時(shí)空信息圖的邊緣線。
[0071] 對(duì)于Canny算子處理過的時(shí)空信息圖，首先要尋找每一條獨(dú)立的邊緣線，這是一 個(gè)尋找連通域的過程，在本發(fā)明中是尋找的4連通域。對(duì)于每一條得到的邊緣線的連通域 集合，對(duì)其進(jìn)行最小二乘法擬合，每一條線利用極坐標(biāo)可以表示為：P=XCOS0+ysin9， 其中P為距原點(diǎn)距離；0為對(duì)于極軸的角度。
[0072] 已經(jīng)找到的每一個(gè)連通域都是一個(gè)點(diǎn)的集合，在每個(gè)集合中的點(diǎn)的坐標(biāo)本發(fā)明認(rèn) 為是近似按照某條直線線性分布的，需要求解的是這條直線相對(duì)于極軸的傾斜角。對(duì)于這 個(gè)集合進(jìn)行最小二乘法的擬合，則對(duì)于每一個(gè)連通域有回歸矩陣D:
號(hào)，n表示每個(gè)連通域集合中點(diǎn)的個(gè)數(shù)。對(duì)于矩陣D，有特征值A(chǔ)1,A2，特征向量巧，?2，其中 有A2, 是與A1, \2分別對(duì)應(yīng)的特征向量，則有傾斜角0 = _112(^2)不(1));對(duì) 于理想擬合的矩陣，其特征值比值應(yīng)有A2Z^1= 〇,這個(gè)比值反映了點(diǎn)集擬合直線的質(zhì)量， 所以可以設(shè)定一個(gè)閾值，特征值比值大于這個(gè)閾值的點(diǎn)集認(rèn)為擬合質(zhì)量不好，可以舍去，這 樣做能去除一部分噪聲引起的干擾。
[0075] 第四，STHOL特征的提取以及決策；
[0076] 按照每條線的0角度不同，對(duì)每張圖上的邊緣線進(jìn)行加權(quán)統(tǒng)計(jì)，將每個(gè)點(diǎn)集內(nèi)的 點(diǎn)的數(shù)目作為加權(quán)數(shù)，再將一個(gè)視野中的所有掃描線產(chǎn)生的統(tǒng)計(jì)結(jié)果綜合起來，得到一個(gè) 視野中的總決策向量，數(shù)學(xué)表達(dá)為：
[0078] 式⑶中，y為最終的v維決策向量；q為一個(gè)視野中的掃描線個(gè)數(shù)；p為每條掃描 線的時(shí)空信息圖中的邊緣線個(gè)數(shù)；num