全景圖的拼接方法和檢測高速鐵路的防護(hù)欄的缺損狀態(tài)的方法
【專利摘要】本發(fā)明實施例提供了一種基于虛擬采樣通道模型的全景圖拼接方法和全景圖拼接方法的檢測高速鐵路的防護(hù)欄的缺損狀態(tài)的方法。所述檢測方法，包括：獲取記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻；基于虛擬采樣通道模型的全景圖拼接方法，將所述前向運(yùn)動視頻轉(zhuǎn)換為鐵路運(yùn)行環(huán)境的左、右全景圖，作為防護(hù)欄全景圖；按照最大化熵分割原理，對所述防護(hù)欄全景圖中的護(hù)欄和背景的位置進(jìn)行定位，得到0和1組成的二值碼；對所述二值碼進(jìn)行行程編碼；根據(jù)所述行程編碼，計算相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度Dcur；根據(jù)所述相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度Dcur與所述相鄰兩護(hù)欄之間的正常像素間距d，判斷相鄰兩護(hù)欄是否存在缺損。
【專利說明】
全景圖的拼接方法和檢測高速鐵路的防護(hù)欄的缺損狀態(tài)的 方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其設(shè)及一種全景圖的拼接方法和檢測高速鐵 路的防護(hù)欄的缺損狀態(tài)的方法。
【背景技術(shù)】
[0002] 安全是高速鐵路發(fā)展的基礎(chǔ)和前提。影響高速鐵路安全的因素很多，設(shè)及到人、列 車、軌道及行車環(huán)境W及它們之間的禪合效應(yīng)。為了保證高速鐵路行車安全，要求高速鐵路 運(yùn)行環(huán)境必須實現(xiàn)全程封閉。高速鐵路沿線加裝防護(hù)欄是實現(xiàn)封閉環(huán)境的一種手段。
[0003] 為了監(jiān)測人為破壞或攀爬侵入防護(hù)欄W內(nèi)，W及監(jiān)測封閉環(huán)境內(nèi)信號設(shè)備和供電 系統(tǒng)等基礎(chǔ)設(shè)施的完好情況，目前，主要采用固定式視頻設(shè)備進(jìn)行監(jiān)控。例如，在京滬高速 鐵路上，將400余個視頻監(jiān)控設(shè)備安裝在京滬高速鐵路路基、路口、橋梁、公跨鐵、咽喉區(qū)等 部位，保證車輛安全運(yùn)行。
[0004] 在通常的視頻監(jiān)控系統(tǒng)中，攝像設(shè)備處于固定靜止?fàn)顟B(tài)，被監(jiān)控對象可能處于運(yùn) 動狀態(tài)。采用視頻序列中目標(biāo)和背景的相對運(yùn)動來檢測目標(biāo)的狀況是常用的一種運(yùn)動目標(biāo) 檢測方法，其中主要有:背景減除法、時間差分法和光流法(Optical flow)等檢測方法。該 類方法的優(yōu)點在于無需訓(xùn)練，可W在線進(jìn)行檢測;而缺點是只能尋找出相應(yīng)目標(biāo)，而無法判 明檢測區(qū)域為具體何種目標(biāo)，需要后期進(jìn)一步判斷。
[0005] 背景減除法主要取決于對背景圖像建模的準(zhǔn)確度，但是在實際環(huán)境中，由于環(huán)境 變化等因素影響，加劇了背景的提取與更新的難度，為準(zhǔn)確提取目標(biāo)增加了難度。因此，目 前該類方法大多采用統(tǒng)計學(xué)習(xí)方法對連續(xù)視頻帖進(jìn)行分析、背景建模，并隨著時間的推移 在線更新背景模型，然后再通過當(dāng)前帖和背景模型之間的差異來檢測運(yùn)動區(qū)域。
[0006] 時間差分方法是一種相對簡單、運(yùn)算量較小的方法，通過計算視頻序列的前后兩 帖對應(yīng)位置的像素差，若大于設(shè)定的闊值，則認(rèn)為是目標(biāo)像素，否則為背景像素。光流法采 用運(yùn)動目標(biāo)的向量會隨著時間變化的特性來檢測運(yùn)動目標(biāo)。該方法的優(yōu)點是即使在攝像機(jī) 運(yùn)動的情況下也可W檢測出運(yùn)動目標(biāo)。它的主要缺點：對噪聲比較敏感，計算量大，不適合 實時性要求較高的場合。
[0007] 但是，固定點監(jiān)控方式受到采集視野的限制，不能掌控線路及沿線全部情況，因 此，利用安裝在高速綜合檢測列車的車端環(huán)境監(jiān)視設(shè)備，監(jiān)視車前方線路環(huán)境及沿線兩側(cè) 防護(hù)欄狀態(tài)是一種有效的方法。
[000引國際上采用專用的高速綜合檢測列車來完成影響列車運(yùn)行安全的檢測任務(wù)。檢測 內(nèi)容一般包括:接觸網(wǎng)幾何、接觸線磨耗、弓網(wǎng)作用、電氣參數(shù)、軌距、軌道幾何、鋼軌斷面及 波浪磨耗、車體及軸箱加速度、輪軌作用力、軌道和轉(zhuǎn)向架、通信檢測和定位等。除此之外， 國內(nèi)外的高速綜合檢測列車在其前部和后部都裝有作為行車記錄儀的視頻設(shè)備，W前向運(yùn) 動視頻的方式用來獲取沿途環(huán)境狀況信息，為后期人工檢測鐵路沿線環(huán)境是否存在異常狀 態(tài)提供依據(jù)。如何從獲取的大量視頻圖像中快速獲取影響環(huán)境封閉性W及異物或線路內(nèi)設(shè) 備異常侵限的信息，并進(jìn)行正確預(yù)警，是高速鐵路亟待解決的問題。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的實施例提供了一種全景圖的拼接方法和檢測高速鐵路的防護(hù)欄的缺損 狀態(tài)的方法，將海量的視頻數(shù)據(jù)W輕量級的全景圖格式進(jìn)行無損的信息抽取，降低了視頻 數(shù)據(jù)形式的存儲和訪問開銷。
[0010]為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案：
[0011] -種基于虛擬采樣通道模型的全景圖拼接方法，包括：
[0012] 獲取記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻;從所述前向運(yùn)動視頻中提取帖數(shù)為 N的視頻圖像序列；
[0013] 按照經(jīng)由消失點確定的鐵路場景結(jié)構(gòu)，在每帖圖像中設(shè)定外部采樣矩形ORm;
[0014] 按照列車的速度，在每帖圖像中設(shè)定內(nèi)部采樣矩形IRm;
[0015] 將由每帖圖像的所述外部采樣矩形ORm和所述內(nèi)部采樣矩形IRm組成的矩形環(huán)狀采 樣環(huán)帶，分割為四個條帶拼接區(qū)域St，Sb，Sl，Sr ;
[0016] 將每帖圖像的所述四個條帶拼接區(qū)域St, Sb, Si, Sr通過圖像卷繞，校正為規(guī)則的矩 形條帶 St'，Sb'，Sl'，Sr'；
[0017] 將4 X N個校正過的所述矩形條帶St '，Sb '，Si '，Sr '，按照各自的采樣平面分別進(jìn)行 拼合，生成鐵路場景4個平面的全景圖。
[0018] -種基于所述的全景圖拼接方法的檢測高速鐵路的防護(hù)欄的缺損狀態(tài)的方法，包 括：
[0019] 步驟一，獲取記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻；
[0020] 步驟二，基于虛擬采樣通道模型的全景圖拼接方法，將所述前向運(yùn)動視頻轉(zhuǎn)換為 鐵路運(yùn)行環(huán)境的左、右全景圖，作為防護(hù)欄全景圖；
[0021] 步驟=，按照最大化賭分割原理，對所述防護(hù)欄全景圖中的護(hù)欄和背景的位置進(jìn) 行定位，F(xiàn)(j) = l處表示防護(hù)欄的位置，F(xiàn)(j) = 0處表示背景的位置，得到0和1組成的二值 碼;j為防護(hù)欄全景圖的列序號；
[0022] 步驟四，對所述二值碼進(jìn)行行程編碼；
[0023] 步驟五，根據(jù)所述行程編碼，計算相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度Dcur;
[0024] 步驟六，根據(jù)所述相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度Dsur與所述相鄰兩護(hù)欄 之間的正常像素間距d，判斷所述相鄰兩護(hù)欄是否存在缺損，生成判斷結(jié)果；
[0025] 步驟屯，輸出所述判斷結(jié)果。
[0026] 由上述本發(fā)明的實施例提供的技術(shù)方案可W看出，本發(fā)明實施例中，將海量的視 頻數(shù)據(jù)W輕量級的全景圖格式進(jìn)行無損的信息抽取，降低了視頻數(shù)據(jù)形式的存儲和訪問開 銷。
[0027] 本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，運(yùn)些將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0028] 為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用 的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本 領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可W根據(jù)運(yùn)些附圖獲得其他 的附圖。
[0029] 圖1為本發(fā)明所述的基于虛擬采樣通道模型的全景圖拼接方法的流程示意圖；
[0030] 圖2為本發(fā)明所述的基于全景圖拼接方法的檢測高速鐵路的防護(hù)欄的缺損狀態(tài)的 方法；
[0031] 圖3為本發(fā)明中高速鐵路場景采樣環(huán)幾何結(jié)構(gòu)；
[0032] 圖4為本發(fā)明中相鄰兩帖之間的圖像配準(zhǔn)；
[0033] 圖5為本發(fā)明中全景圖中像素列的S維特征F(j)的直方圖分布；
[0034] 圖6為本發(fā)明中基于均值-方差-梯度的闊值分割；
[0035] 圖7為本發(fā)明中護(hù)欄全景圖的行程編碼表示；
[0036] 圖8為本發(fā)明中從封閉鐵路環(huán)境中產(chǎn)生的全景圖：（a)左側(cè)全景圖；（b)右側(cè)全景 圖；（C)底部全景圖；（d)上部全景圖
[0037] 圖9為本發(fā)明中綜合檢測列車采集的視頻圖像:（a)護(hù)欄無缺損；（b)護(hù)欄有缺損
[0038] 圖10為本發(fā)明中部分鐵路全景圖：（a)鐵路左側(cè)的全景圖；（b)從(a)中截取的防護(hù) 欄全景圖
[0039] 圖11為本發(fā)明中護(hù)欄全景圖的二值化分割結(jié)果：（a)灰度一維直方圖最大賭闊值 分割；（b)灰度-梯度(GLGM)二維直方圖最大賭闊值分割；（C)本發(fā)明提出的結(jié)合灰度均值- 方差-梯度的=維直方圖最大賭闊值分割
[0040] 圖12為本發(fā)明中高鐵護(hù)欄全景圖的二值化分割結(jié)果：（a)高速鐵路的護(hù)欄全景圖； (b)灰度一維直方圖最大賭闊值分割；（C)灰度-梯度(GLGM)二維直方圖最大賭闊值分割； (d)本發(fā)明提出的結(jié)合灰度均值-方差-梯度的=維直方圖最大賭闊值分割
[0041 ]圖13為本發(fā)明中高速鐵路防護(hù)欄缺損快速檢測方法步驟流程圖。
【具體實施方式】
[0042] 下面詳細(xì)描述本發(fā)明的實施方式，所述實施方式的示例在附圖中示出，其中自始 至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參 考附圖描述的實施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0043] 如圖1所述，為本發(fā)明所述的一種基于虛擬采樣通道模型的全景圖拼接方法，包 括：
[0044] 步驟11，獲取記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻;從所述前向運(yùn)動視頻中提 取帖數(shù)為N的視頻圖像序列；
[0045] 步驟12,按照經(jīng)由消失點確定的鐵路場景結(jié)構(gòu)，在每帖圖像中設(shè)定外部采樣矩形 ORm ；
[0046] 步驟13,按照列車的速度，在每帖圖像中設(shè)定內(nèi)部采樣矩形IRm;
[0047] 步驟14,將由每帖圖像的所述外部采樣矩形ORm和所述內(nèi)部采樣矩形IRm組成的矩 形環(huán)狀采樣環(huán)帶，分割為四個條帶拼接區(qū)域St，Sb，Sl，Sr ;
[004引步驟15,將每帖圖像的所述四個條帶拼接區(qū)域St, Sb, Si, Sr通過圖像卷繞，校正為 規(guī)則的矩形條帶St'，Sb'，Si'，Sr'；
[0049] 步驟16，將4 XN個校正過的所述矩形條帶St'，Sb'，Si'，Sr'，按照各自的采樣平面 分別進(jìn)行拼合，生成鐵路場景4個平面的全景圖。
[0050] 確定所述消失點的步驟具體為：
[0051 ]消失點在圖像坐標(biāo)系中的坐標(biāo)為(xo，yo)T;第i條線段的解析式為x+kiy+bi = 0，ki 為第i條線段的斜率，bi為截距;權(quán)值Wi是第i條線段的長;N為防護(hù)欄全景圖中像素的總列 數(shù)；
[0化2]
[0化3]
[0化4]
[0化5]
[0056] 本發(fā)明實施例中，將海量的視頻數(shù)據(jù)W輕量級的全景圖格式進(jìn)行無損的信息抽 取，降低了視頻數(shù)據(jù)形式的存儲和訪問開銷，可W用于后續(xù)處理。
[0057] 如圖2所述，為本發(fā)明所述的基于全景圖拼接方法的檢測高速鐵路的防護(hù)欄的缺 損狀態(tài)的方法，包括：
[0058] 步驟21，獲取記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻；
[0059] 步驟22,基于虛擬采樣通道模型的全景圖拼接方法，將所述前向運(yùn)動視頻轉(zhuǎn)換為 鐵路運(yùn)行環(huán)境的左、右全景圖，作為防護(hù)欄全景圖；
[0060] 步驟23,按照最大化賭分割原理，對所述防護(hù)欄全景圖中的護(hù)欄和背景的位置進(jìn) 行定位，F(xiàn)(j) = l處表示防護(hù)欄的位置，F(xiàn)(j) = 0處表示背景的位置，得到0和1組成的二值 碼;j為防護(hù)欄全景圖的列序號；
[0061] 步驟24，對所述二值碼進(jìn)行行程編碼；
[0062] 步驟25,根據(jù)所述行程編碼，計算相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度Dcur;
[0063] 步驟26,根據(jù)所述相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度Dsur與所述相鄰兩護(hù)欄 之間的正常像素間距d，判斷所述相鄰兩護(hù)欄是否存在缺損，生成判斷結(jié)果;其中，所述步驟 26包括:判斷Dtur是否大于k ? d，其中，k為經(jīng)驗調(diào)節(jié)參數(shù)。
[0064] 步驟27,輸出所述判斷結(jié)果。
[0065] 本發(fā)明實施例中，將海量的視頻數(shù)據(jù)W輕量級的全景圖格式進(jìn)行無損的信息抽 取，降低了視頻數(shù)據(jù)形式的存儲和訪問開銷，而且，將視頻轉(zhuǎn)化為一種更適合于人工檢視W 及計算機(jī)分析處理的形式，解決了由前向運(yùn)動視頻到全景圖的無失真快速轉(zhuǎn)換。
[0066] 所述步驟22包括：
[0067] 從所述前向運(yùn)動視頻中提取帖數(shù)為N的視頻圖像序列；
[0068] 按照經(jīng)由消失點確定的鐵路場景結(jié)構(gòu)，在每帖圖像中設(shè)定外部采樣矩形ORm;
[0069] 按照列車的速度，在每帖圖像中設(shè)定內(nèi)部采樣矩形IRm;
[0070] 將每帖圖像的由所述外部采樣矩形ORm和所述內(nèi)部采樣矩形IRm組成的矩形環(huán)狀采 樣環(huán)帶，分割為四個條帶拼接區(qū)域St, Sb, Si, Sr;其中，St, Sb, Si, Sr分別為天空、鋼軌、左側(cè)護(hù) 欄和右側(cè)護(hù)欄區(qū)域；
[0071] 將每帖圖像的所述四個條帶拼接區(qū)域St, Sb, Si, Sr通過圖像卷繞，校正為規(guī)則的矩 形條帶 St'，Sb'，Sl'，Sr'；
[0072] 將2 XN個校正過的所述矩形條帶Si'，Sr'，按照各自的采樣平面分別進(jìn)行拼合，生 成鐵路場景左、右全景圖。
[0073 ]確定所述消失點的步驟具體為：
[0074] 消失點在圖像坐標(biāo)系中的坐標(biāo)為(xo，yo)T;第i條線段的解析式為x+kiy+bi = 0，ki 為第i條線段的斜率，bi為截距;權(quán)值Wi是第i條線段的長;N為防護(hù)欄全景圖中像素的總列 數(shù)；
[0075]
[0076]
[0077] ，
[007引
[00巧]所述步驟23包括：
[0080] 對于防護(hù)欄全景圖的每一列j，計算灰度均值M(1，j)、標(biāo)準(zhǔn)差W1，j)、和梯度均值G (l，j);j = l，…，N;N為防護(hù)欄全景圖中像素的總列數(shù)；
[0081] 使用F(j)最大賭，計算分割闊值(e^C^rf);F(j)為所述防護(hù)欄全景圖中提取的豎 直方向上每列像素的特征分布；
[0082] 根據(jù)所述分割闊值對F(j)進(jìn)行二值化分割，將防護(hù)欄區(qū)域置為1，背景 區(qū)域置為0;
[0083] 其中，為防護(hù)欄全景圖中每列像素的灰度均值；
[0084] M(l，j)為防護(hù)欄全景圖中每列像素的灰度方差;G(IJ)為防護(hù)欄全景圖中每列像 素的梯度均值。
[0085]
[0086]
[0087] 。 ? ?-? ?:
[0088] 其中，p(i，j)為防護(hù)欄全景圖中像素點（i，j)的灰度值，th，bh分別為防護(hù)欄的頂部 和底部在防護(hù)欄全景圖中的坐標(biāo)位置。
[0089] W下描述本發(fā)明的另一實施例。
[0090] 本發(fā)明W檢測高速鐵路封閉運(yùn)行環(huán)境的封閉性為對象，提供一種利用前向運(yùn)動視 頻的全景圖拼接，并通過全景圖特征檢測，實現(xiàn)高速鐵路防護(hù)欄缺損的動態(tài)檢測。
[0091] 本發(fā)明技術(shù)方案是:將記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻通過虛擬通道采樣 拼接技術(shù)轉(zhuǎn)換為鐵路環(huán)境全景圖；對全景圖進(jìn)行特征提取;依據(jù)特征提取后得到的特征行 程編碼，給出鐵路防護(hù)欄缺損狀態(tài)判斷和評估。也就是說，將視頻圖像變換為一種靜態(tài)全景 圖格式，即在相機(jī)光軸與運(yùn)動方向一致條件下生成前向運(yùn)動視頻全景圖；基于檢測區(qū)域幾 何結(jié)構(gòu)生成前向運(yùn)動視頻虛擬采樣通道模型;基于防護(hù)欄全景圖的均值-方差-梯度(MVG) =維直方圖最大賭闊值分割W及基于行程編碼的護(hù)欄檢測。
[0092] 具體包含W下步驟：
[0093] 步驟1，基于鐵路線路先驗定位前向運(yùn)動視頻，虛擬矩形采樣通道的步驟；
[0094] 步驟2,分割前向運(yùn)動視頻帖為天、地、左、右四部分圖像的步驟；
[00M]步驟3,基于前向運(yùn)動視頻帖的全景圖拼接計算的步驟；
[0096] 步驟4,對防護(hù)欄全景圖特征計算的步驟；
[0097] 步驟5，基于行程編碼的護(hù)欄檢測步驟。
[0098] 其中，步驟1具體包括：
[0099] 從視頻序列中提取一組環(huán)帶序列{Si，S2，S3,…，SnK并滿足相鄰的全景環(huán)帶對物 理空間的采樣之間既不重疊又無間隔，即"完全采樣"。將環(huán)帶序列進(jìn)行幾何修正后拼接在 一起生成全景圖像。
[0100] 基于鐵路線路先驗，定位前向運(yùn)動視頻虛擬通道，是W所關(guān)注深度層的物體構(gòu)建 "完全采樣"的虛擬矩形采樣通道。虛擬矩形采樣通道的構(gòu)建基于W下客觀近似：
[0101] (1)鐵路設(shè)施場景包括:兩側(cè)的防護(hù)欄或聲屏障，地面的鋼軌W及懸掛在上方的接 觸網(wǎng)等，同類的設(shè)施都視為近似位于同一平面，且平面距相機(jī)的距離已知；
[0102] (2)鐵路設(shè)施場景的各平面為距離相機(jī)最近的深度層，生成的全景圖中不存在因 欠采樣而引起的鐵路設(shè)施信息缺失。
[0103] 步驟2具體包括：
[0104] (1)確定消失點
[01化]利用LSD(line segment detector)線段檢測算法對視頻序列的視頻圖像進(jìn)行檢 查，將所有檢測出的線段分成兩組，第一組為與水平軸夾角在[-60°，60°]范圍內(nèi)的線段，用 來采用最小二乘法估計平行于鋼軌的線段形成的消失點；第二組為與豎直軸夾角在[-5°, 5° ]范圍內(nèi)的線段，用來估計線桿的位置，W便劃分鐵路場景。
[0106] 設(shè)消失點在圖像坐標(biāo)系中的坐標(biāo)為^日，7日八它與第1條線段義+4巧+131 = 0化1為斜 率，bi為截距)的距離為
[0107] (1)
[010引 I據(jù)最小二乘法，最小化點（XO，yo)T與所有線段的之間距 離的平方和，即
[0109]
(2)
[0110] 其中，權(quán)值Wi是第i條線段的長。
[OW]對式(2)分別求XO和yo的導(dǎo)數(shù)，并令其為零，得到如下線性方程組，
[0112]
(3)
[0113] 運(yùn)里
[0114] ，N為護(hù)欄全景圖中像素的總列數(shù)；
[0115]
[0116] 始*
[0117] (xo，yo)就是消失點的最優(yōu)估計。為了提高估計消失點的準(zhǔn)確性，采用交叉迭代的 方法剔除一些"錯誤"的線段。
[011引（2)劃分天、地、左、右四部分。
[0119] 由鋼軌、接觸網(wǎng)W及防護(hù)欄或聲屏障構(gòu)成的虛擬矩形采樣通道長方體結(jié)構(gòu)具有固 定的幾何結(jié)構(gòu)。依據(jù)場景的虛擬矩形采樣通道的形狀，確定選定采樣環(huán)位置（圖3為高速鐵 路的場景采樣環(huán)）。
[0120] 分別連接消失點Q到采樣環(huán)長方形的四個頂點，被運(yùn)四條連線分割的四個部分就 是天、地、左、右四個部分。
[0121] 步驟3.基于前向運(yùn)動視頻帖的全景圖拼接計算。
[0122] 如圖4所示，基于消失點檢測和攝像機(jī)運(yùn)動信息圖像配準(zhǔn)過程如下：
[0123] (1)將關(guān)注的鐵路場景，即護(hù)欄、接觸網(wǎng)、聲屏障、鋼軌所在的位置構(gòu)成一個虛擬矩 形采樣通道，并在虛擬矩形采樣通道進(jìn)行"完全采樣"。
[0124] (2)給定一段帖數(shù)為N的視頻圖像序列{Ii，12，…，In-I，In}，在每帖圖像中選取拼接 區(qū)域，即確定外部矩形ORm: AmBmCmDmW及內(nèi)部矩形IRm: m。
[0125] (3)按照消失點確定的場景結(jié)構(gòu)，預(yù)先指定外部矩形0Rm:AmBmCmDm位置，且在每一帖 中所處的位置都相同。經(jīng)過消失點Q引出四條分別經(jīng)過圖像左右兩側(cè)電桿的頂部和底部的 射線，運(yùn)四條射線將場景分割為天空、鋼軌、左側(cè)護(hù)欄和右側(cè)護(hù)欄四個部分（即上面的天、 地、左、右四個部分）。外部矩形的四個頂點4。、8。、打、0。應(yīng)分別落在四條射線上，為此可^確 保生成的上、下、左、右四場景的全景圖內(nèi)容互不重疊，避免錯誤采樣，同時也簡化了虛擬場 景繪制的過程。再者，由于攝像機(jī)的運(yùn)動方向與鋼軌平行，因此圖像中像素點光流的膨脹中 屯、(Focus Of E邱ansion，F(xiàn)0E)與圖像中兩條鋼軌在遠(yuǎn)處形成的消失點Q重合。運(yùn)樣外部矩 形的四個頂點的移動方向，即外部矩形ORm隨著時間帖的縮放方向就經(jīng)消失點Q唯一確定， 記作：
[0126]
煩
[0127] (4)設(shè)列車速度為V，攝像機(jī)的帖速為R，則相鄰兩帖之間空間采樣的距離為V/R。若 相機(jī)的內(nèi)部參數(shù)已知，則通過相應(yīng)的幾何計算，即可求得圖像中像素的移動速度即圖像速 度V O
[012引（5)得到第m帖中外部矩形ORm = AmBmCmDm的縮放方向
W及圖像 速度V后，該外部矩形在第m-1帖中對應(yīng)的坐標(biāo)位置可由訴,，V值接求得。
[0129] (6)第m-1帖中的外部矩形ORm-I和內(nèi)部矩形IRm-I構(gòu)成了矩形環(huán)狀的拼接區(qū)域Sm,將 Sm沿著外部矩形頂點的縮放方向怒，趕，識攝分割為4塊梯形的條帶扣、亂、51、5"分別為天 空、鋼軌、左側(cè)護(hù)欄和右側(cè)護(hù)欄區(qū)域。
[0130] (7)利用圖像卷繞（Image Wrapping)，對構(gòu)造的條帶St、Sb、Si、Sr進(jìn)行幾何變換，從 而將不規(guī)則的梯形條帶映射為規(guī)則的矩形條帶St'、Sb'、Sl'、Sr'。對每帖圖像重復(fù)W上過 程，得到四組條帶序列，將運(yùn)些序列分別依次拼接起來就得到了全景圖。本發(fā)明設(shè)及左、右 防護(hù)欄的檢測，為此僅用到矩形條帶Si'、Sr'拼接得到的鐵路運(yùn)行環(huán)境左、右全景圖，即防護(hù) 欄全景圖。
[0131] 步驟4.防護(hù)欄全景圖特征計算。
[0132] 令p(i，j)為防護(hù)欄全景圖中像素點（i，j)的灰度值，th，bh分別為防護(hù)欄的頂部和 底部在金景圖中的坐標(biāo)仿晉，則毎列像素的灰麼挽估、灰麼方差W及梯麼均值分別記作
[0133]
[0134]
[0135] 巧）
[0136] 沿著防護(hù)欄全景圖豎直方向進(jìn)行灰度和梯度特征提取后，得到
[0137] {F(j)} = {(x，y)} = {(M(l，j)，V(l，j)，G(l，j))} (9)
[0138] 運(yùn)里為防護(hù)欄全景圖中像素的總列數(shù)，F(xiàn)(j)表示每列像素的S維特征 分布。
[0139] 防護(hù)欄處的灰度統(tǒng)計特征滿足:M(1，j)<e，V(1，j)a，G(1，j)句。運(yùn)里e，C和n為用 于分割防護(hù)欄的前景區(qū)域即定位防護(hù)欄位置的分割闊值。
[0140] 從防護(hù)欄全景圖中提取的豎直方向上每列像素的特征分布F(j)如圖5所示。
[0141] 若給定任意一個闊值(e，C，ri)，來對護(hù)欄防護(hù)欄的特征分布F(j)進(jìn)行分割，則=維 特征F(j)的空間分布被(e，C，ri)劃分為8個特征子區(qū)域(如圖6所示），記作：
[0142]
(10)
[0143] 各防護(hù)欄在豎直方向上具有近似的亮度值W及均勻的亮度分布，而背景區(qū)域則是 一些亮度不規(guī)則分布的場景。運(yùn)導(dǎo)致了防護(hù)欄位置的特征大多集中于Ri區(qū)域，而背景的特 征大多集中于Rs區(qū)域。雖然其它的6個區(qū)域也包含了部分的護(hù)欄和背景信息，為了簡化計算 過程，忽略運(yùn)些次要特征區(qū)域的實驗結(jié)果表明對定位結(jié)果并無大的影響。
[0144] F(j)中任意一個特征向量位于護(hù)欄區(qū)域Ri或者背景區(qū)域Rs的概率分別為扣（e，C, n)和PB(e，c，n);
[0145]
(11)
[C 旭)
[0147]運(yùn)里，Pxyz為圖像中的一像素點位于前景或背景中的概率。
[014引且滿足
[0149] PF(e,C,n)+PB(e,C,n)^l (13)
[0150] 根據(jù)賭的定義，護(hù)欄區(qū)域與背景區(qū)域的=維賭分別為
[0151] (14)
[0152] Q員
[0153] F(j)的總體S維賭為
[0154] 化6，|，11)=化（6，|，11)+曲（6，|，11) (16)
[0155] 由最大賭分割原理，能夠使上式H(e，C，ri)取得最大值的S元組就是所 求的最佳分割闊值，即
[0156]
幻巧
[0157] 根據(jù)闊值對F(j)進(jìn)行二值化分割，將防護(hù)欄區(qū)域置為1，背景區(qū)域置為 0,即
[015引
化勤
[0159] 步驟5.基于行程編碼的護(hù)欄檢測
[0160] 按照最大化賭分割原理，可將鐵路場景中的護(hù)欄和背景位置定位，F(xiàn)(j) = l處表示 防護(hù)欄的位置，F(xiàn)(j)=0處表示背景的位置。如圖5所示，白色區(qū)域(值為1)表示防護(hù)欄，而黑 色區(qū)域(值為0)表示背景。對根據(jù)闊值分割方法得到的一連串0和1組成的二值碼進(jìn)行行程 編碼。
[0161] 若護(hù)欄存在缺損，則相鄰兩防護(hù)欄之間的背景區(qū)域的像素寬度Dcur必然大于防護(hù) 欄之間的正常像素間距d，因此若Dcur〉k ? cKk為經(jīng)驗調(diào)節(jié)參數(shù)），則可W判定該區(qū)域存在缺 損。
[0162] W下描述本發(fā)明的另一實施例。
[0163] 實施例1: 一種新的基于前向運(yùn)動視頻虛擬矩形采樣通道模型的全景圖拼接方法。
[0164] 鐵路全景圖的獲取包含W下=個步驟：前向視頻的采集、構(gòu)造拼接區(qū)域、條帶拼 接。
[0165] 依據(jù)虛擬矩形采樣通道模型生成鐵路場景全景圖的算法如下算法1所示。
[0166] 123456 2 如圖6所示，為高速條件下（ISOkmA)采集的低質(zhì)視頻(720X576)生成的全景圖結(jié) 果。本發(fā)明提出的方法可W生成令人滿意的全景圖像。如近處的防護(hù)欄和電桿沒有丟失信 息且失真較小。遠(yuǎn)處的電桿由于"過采樣"發(fā)生了明顯的拉伸扭曲，但運(yùn)在實際檢測中是不 被關(guān)屯、的部分。 3 實施例2:基于全景圖拼接的護(hù)欄檢測。 4 如圖9所示，為綜合檢測列車采集的前向運(yùn)動視頻圖像。列車保持相對勻速，攝像 機(jī)的采集帖率為25帖/秒。圖9(a)為防護(hù)欄無缺損的鐵路場景，圖9(b)為存在缺損的鐵路場 景。 5 生成的部分鐵路全景圖（左側(cè))如圖10(a)所示，圖10(b)為從圖10(a)中提取的部 分防護(hù)欄全景圖Qg [405,490]，JG [2500,3000]，其中，i為像素的行坐標(biāo)，j為列坐標(biāo)）。 6 按照最大化賭分割原理實現(xiàn)的防護(hù)欄防護(hù)欄定位算法如下：
[01731
[0174] 圖11為本發(fā)明提出的=維直方圖最大化賭分割法與一維灰度直方圖分割法W及 二維灰度-梯度直方圖分割法的對比結(jié)果。圖11(a)為僅根據(jù)灰度一維直方圖最大賭闊值分 割的結(jié)果，可W觀察到許多背景區(qū)域都被錯誤分割為防護(hù)欄，運(yùn)將導(dǎo)致檢測漏報。圖11(b) 為根據(jù)灰度-梯度(GLGM)二維直方圖最大賭闊值分割的結(jié)果，可W觀察到列坐標(biāo)2770位置 處的防護(hù)欄被錯誤分割為背景，運(yùn)將導(dǎo)致檢測誤報。圖11(c)為基于本發(fā)明提出的=維直方 圖分割結(jié)果，通過與圖10(b)中所示的護(hù)欄實際位置相比較，可W看出=維直方圖分割的結(jié) 果最為準(zhǔn)確。
[0175] 在提取到護(hù)欄的位置后，對二值碼進(jìn)行行程編碼，W達(dá)到護(hù)欄信息的輕量級存儲 與訪問目的。之后使用算法3從護(hù)欄全景圖行程編碼中快速識別防護(hù)欄的破損位置。如圖11 (C)所示，[2500,3500]的像素范圍內(nèi)存在兩處明顯的護(hù)欄缺損的區(qū)域，分別位于區(qū)間 [3000,3138]和[3290,3462]處。
[0176] 實驗視頻為avi格式，時長約1小時，數(shù)據(jù)量為1.35GB，像素總數(shù)為（1024 X 768)/帖 X85500帖。利用全景拼接生成了數(shù)據(jù)量為84MB的化g格式的圖像，像素總數(shù)為267500X600 (水平方向的像素總數(shù)X豎直方向的像素總數(shù)）。將全景圖中護(hù)欄的前景和背景區(qū)域僅用單 字節(jié)的數(shù)字來表示，最終得到8917位數(shù)字編碼(37 3 41 3 33 2 42 3……），數(shù)據(jù)量僅為 17.4邸。因此，本發(fā)明實現(xiàn)了鐵路護(hù)欄的數(shù)據(jù)量從GB級一一MB級一一邸級的多級壓縮提取， 克服了因視頻數(shù)據(jù)量大，信息存儲與檢索困難而造成的檢測算法的應(yīng)用瓶頸。
[0177] 本發(fā)明給出了基于全景圖行程編碼檢測防護(hù)欄防護(hù)欄的缺損位置的算法。
[017 引
[0179] 由于列車的行駛行程很長，整個防護(hù)欄全景圖的光照因受天氣，環(huán)境，朝向等因素 影響會出現(xiàn)變化，因此，有必要將防護(hù)欄全景圖分割成K個子圖，并為每幅子圖計算一合適 的局部闊值(ei，Ci，rU)，運(yùn)里i = l，K。
[0180] 通過現(xiàn)場多次人工目視檢測，確定該段線路中的護(hù)欄實際存在38處缺損，記作GT = 38?；诓煌熤捣指罘椒ǖ臋z測結(jié)果對比如表1所示，通過與護(hù)欄缺損的真實狀況對比 發(fā)現(xiàn)，本發(fā)明提出的方法正確地檢出了 36處缺損(TP = 36);有3處正常的防護(hù)欄位置被錯誤 的檢為缺損(FP = 3);有兩處漏掉的破損沒有被檢出（FN = 2)。運(yùn)里使用檢測準(zhǔn)確率和召回 率來驗證檢測方法的有效性，在檢測結(jié)果對比中基于本發(fā)明提出的闊值分割方法取得了 92.3%的準(zhǔn)確率和94.7%的召回率，優(yōu)于其它分割算法的檢測結(jié)果。
[0181] 表1不同闊值分割方法的檢測結(jié)果對比
[0182；
[0183]為了進(jìn)一步驗證結(jié)合多特征MVGS維直方圖的最大賭闊值分割方法的適用性，我 們又對高速鐵路的另一類防護(hù)欄一一白色的水泥防護(hù)欄進(jìn)行同樣的實驗。白色的水泥防護(hù) 欄與圖10(b)中所示的色澤暗淡的鐵質(zhì)護(hù)欄不同，因此一般情況下，防護(hù)欄區(qū)域的亮度反而 要比背景區(qū)域高一些。如圖12(d)所示，為高速鐵路的防護(hù)欄全景圖的分割結(jié)果，通過與圖 12(a)中的防護(hù)欄全景圖相對比，可W發(fā)現(xiàn)本發(fā)明提出的分割算法無論是針對金屬防護(hù)欄 還是水泥防護(hù)欄，都取得了令人滿意的分割結(jié)果。
[0184] 圖13為高速鐵路防護(hù)欄缺損快速檢測方法的步驟流程圖。
[0185] 其中，一種基于前向運(yùn)動視頻全景圖的高速鐵路防護(hù)欄檢測方法，包括W下步驟：
[0186] 依據(jù)鐵路線路先驗，定位前向運(yùn)動視頻虛擬矩形采樣通道位置后，將前向運(yùn)動視 頻帖分割為天、地、左、右四部分，并分別對四部分進(jìn)行全景圖拼接。也就是說，W全景圖格 式將視頻數(shù)據(jù)進(jìn)行無損的信息抽取，得到了輕量級檢測圖像信息，相對于視頻數(shù)據(jù)不僅降 低了的存儲和訪問開銷，而且將視頻轉(zhuǎn)化為一種更適合于人工視檢或計算機(jī)分析處理的形 式。
[0187] 基于前向運(yùn)動視頻帖的全景圖拼接計算，依靠場景的幾何結(jié)構(gòu)先驗和相機(jī)的運(yùn)動 速度信息，快速得到采樣環(huán)的位置，實現(xiàn)拼接圖像之間的快速對齊，生成左右防護(hù)欄全景 圖，其整體顯示效果明顯優(yōu)于特征匹配的kK光流法。也就是說，利用前向運(yùn)動視頻虛擬采 樣通道模型，克服了前向運(yùn)動視頻全景圖窄帶拼接的靜態(tài)模糊，并利用區(qū)域幾何結(jié)構(gòu)的先 驗，構(gòu)建快速的前向運(yùn)動視頻的全景拼接算法。
[0188] 對左右防護(hù)欄全景圖采用MVGS維直方圖的最大賭闊值分割方法進(jìn)行分割，分割 出全景圖中護(hù)欄的前景和背景區(qū)域，實現(xiàn)防護(hù)欄位置的自動定位。對提取到防護(hù)欄位置二 值碼進(jìn)行行程編碼，實現(xiàn)了護(hù)欄信息的輕量級存儲與訪問，根據(jù)算法3從護(hù)欄全景圖的行程 編碼中快速識別破損防護(hù)欄的位置。
[0189] 也就是說，基于護(hù)欄全景圖（Fence panorama)的護(hù)欄缺損的自動化檢測方法，利 用基于MVGS維直方圖的最大賭闊值分割方法自動提取護(hù)欄中豎直防護(hù)欄的位置，使其與 背景圖像分離;并將護(hù)欄全景圖分離后的二值碼用行程編碼壓縮，壓縮的編碼格式包含了 護(hù)欄的全部位置信息，相應(yīng)的解碼算法從編碼中恢復(fù)護(hù)欄的位置，并實現(xiàn)了護(hù)欄的缺失檢 測。
[0190] 本發(fā)明具有W下有益效果：
[0191] (1)本發(fā)明提出的一種新的全景圖拼接方法，該方法是一種基于前向運(yùn)動視頻虛 擬采樣通道模型的全景圖拼接方法，填補(bǔ)了相機(jī)光軸與運(yùn)動方向一致條件下的前向運(yùn)動視 頻全景圖生成的空白；可W廣泛應(yīng)用于軌道交通、公路等運(yùn)載工具的自動駕駛、安全檢查、 高壓縮比的行車記錄，W及高速鐵路鋼軌平直度檢測、異物侵限檢測、鐵路沿線山體滑坡檢 測等。由于在某些地段使用的聲屏障用于減低對周邊環(huán)境噪音干擾，同時具有防護(hù)欄的功 能，但在物理結(jié)構(gòu)上與防護(hù)欄有較大區(qū)別，因此還可W根據(jù)不同類型的防護(hù)欄設(shè)計不同的 缺損狀態(tài)檢測算法。
[0192] (2)本發(fā)明的基于前向運(yùn)動視頻的全景圖的自動化視覺的檢測方法，將海量的視 頻數(shù)據(jù)W輕量級的全景圖格式進(jìn)行無損的信息抽取，不僅降低了視頻數(shù)據(jù)形式的存儲和訪 問開銷，而且將視頻轉(zhuǎn)化為一種更適合于人工檢視W及計算機(jī)分析處理的形式，解決了由 前向運(yùn)動視頻到全景圖的無失真快速轉(zhuǎn)換。另外，W全景圖的形式存儲視頻信息節(jié)省了大 量的存儲空間，W全景圖的形式代替前向運(yùn)動視頻圖像作為檢測對象，可實現(xiàn)高速鐵路封 閉環(huán)境的快速檢測，滿足實際需求。
[0193] (3)前向運(yùn)動的視頻拍攝作為一種移動式的場景獲取方式，由于其視野寬闊，景深 遠(yuǎn)，空間覆蓋面廣，已經(jīng)被廣泛應(yīng)用于移動式的場景記錄和監(jiān)控任務(wù)中。本發(fā)明針對高鐵封 閉運(yùn)行環(huán)境狀態(tài)檢測，提出了一種基于前向運(yùn)動的視頻的，利用計算機(jī)視覺技術(shù)的高速鐵 路防護(hù)欄缺損狀態(tài)自動快速檢測方法，為利用高速綜合檢測列車來完成高速鐵路封閉運(yùn)行 環(huán)境狀態(tài)檢測提供了一種新的高效手段。
[0194] (4)本發(fā)明基于檢測區(qū)域幾何結(jié)構(gòu)的前向運(yùn)動視頻虛擬采樣通道模型，克服了前 向運(yùn)動視頻窄帶拼接的靜態(tài)模糊，并利用區(qū)域幾何結(jié)構(gòu)的先驗，構(gòu)建快速的前向運(yùn)動視頻 的全景拼接算法，W鐵路防護(hù)欄缺損檢測為應(yīng)用研究背景，提出了相應(yīng)的基于全景圖的自 動化視覺檢測算法。高速鐵路環(huán)境檢測是一個定期、常態(tài)的工作，定期反復(fù)獲取環(huán)境視頻圖 像。通過特征檢測或場景圖像比對獲得異常狀態(tài)的信息。本發(fā)明針對高速鐵路環(huán)境檢測提 出了基于高速前向運(yùn)動視頻的一種新的全景圖拼接技術(shù)。
[0195] (5)本發(fā)明基于前向運(yùn)動視頻的虛擬矩形采樣通道全景圖拼接方法，首次實現(xiàn)了 相機(jī)光軸與運(yùn)動方向一致條件下的前向運(yùn)動視頻全景圖生成；采用虛擬矩形采樣通道方 式，克服了前向運(yùn)動視頻全景圖靜態(tài)失真問題;基于前向運(yùn)動視頻虛擬矩形采樣通道的全 景圖生成，對于設(shè)備沒有特殊要求，一般行車記錄儀記錄的視頻都可W拼接為多種不同用 途全景圖。
【主權(quán)項】
1. 一種基于虛擬采樣通道模型的全景圖拼接方法，其特征在于，包括： 獲取記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻;從所述前向運(yùn)動視頻中提取幀數(shù)為N的 視頻圖像序列； 按照經(jīng)由消失點確定的鐵路場景結(jié)構(gòu)，在每幀視頻圖像中設(shè)定外部采樣矩形ORm; 按照列車的速度，在每幀視頻圖像中設(shè)定內(nèi)部采樣矩形IRm; 將由每幀視頻圖像的所述外部采樣矩形ORm和所述內(nèi)部采樣矩形IRm組成的矩形環(huán)狀采 樣環(huán)帶，分割為四個條帶拼接區(qū)域St，Sb，S1，Sr; 將每幀視頻圖像的所述四個條帶拼接區(qū)域&，&，51，51通過圖像卷繞，校正為規(guī)則的矩 形條帶 St'，Sb'，Si'，Sr'； 將4 X N個校正過的所述矩形條帶St'，Sb'，S1'，Sr'，按照各自的采樣平面分別進(jìn)行拼合， 生成鐵路場景4個平面的全景圖。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，確定所述消失點的步驟具體為： 消失點在圖像坐標(biāo)系中的坐標(biāo)為(XQ，y〇)τ;第i條線段的解析式為x+kiy+bi = 0，其中，ki 為第i條線段的斜率，1^為截距;權(quán)值W1是第i條線段的長;N為防護(hù)欄全景圖中像素的總列 數(shù)；3. -種基于權(quán)利要求1-2任一所述的全景圖拼接方法的檢測高速鐵路的防護(hù)欄的缺損 狀態(tài)的方法，其特征在于，包括： 步驟一，獲取記錄高速鐵路環(huán)境狀態(tài)的前向運(yùn)動視頻； 步驟二，基于虛擬采樣通道模型的全景圖拼接方法，將所述前向運(yùn)動視頻轉(zhuǎn)換為鐵路 運(yùn)行環(huán)境的左、右全景圖，作為防護(hù)欄全景圖； 步驟三，按照最大化熵分割原理，對所述防護(hù)欄全景圖中的護(hù)欄和背景的位置進(jìn)行定 位，F(xiàn)(j) = l處表示防護(hù)欄的位置，F(xiàn)(j) = 0處表示背景的位置，得到0和1組成的二值碼;j為 防護(hù)欄全景圖的列序號； 步驟四，對所述二值碼進(jìn)行行程編碼； 步驟五，根據(jù)所述行程編碼，計算相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度Dcur; 步驟六，根據(jù)所述相鄰兩護(hù)欄之間的背景區(qū)域的像素寬度〇_與所述相鄰兩護(hù)欄之間 的正常像素間距d，判斷所述相鄰兩護(hù)欄是否存在缺損，生成判斷結(jié)果； 步驟七，輸出所述判斷結(jié)果。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟六包括： 當(dāng)Dcur大于k · d時，則所述判斷結(jié)果為:所述相鄰兩護(hù)欄存在缺損;其中，k為經(jīng)驗調(diào)節(jié) 參數(shù)。5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟二包括： 從所述前向運(yùn)動視頻中提取幀數(shù)為N的視頻圖像序列； 按照經(jīng)由消失點確定的鐵路場景結(jié)構(gòu)，在每幀視頻圖像中設(shè)定外部采樣矩形ORm; 按照列車的速度，在每幀視頻圖像中設(shè)定內(nèi)部采樣矩形IRm; 將每幀視頻圖像的由所述外部采樣矩形ORm和所述內(nèi)部采樣矩形IRm組成的矩形環(huán)狀采 樣環(huán)帶，分割為四個條帶拼接區(qū)域St，Sb，Sl，Sr ;其中，St，Sb，Sl，Sr分別為天空、鋼軌、左側(cè)護(hù) 欄和右側(cè)護(hù)欄區(qū)域； 將每幀視頻圖像的所述四個條帶拼接區(qū)域&，&，51，51通過圖像卷繞，校正為規(guī)則的矩 形條帶 St'，Sb'，Si'，Sr'； 將2XN個校正過的所述矩形條帶Si'，Sr'，按照各自的采樣平面分別進(jìn)行拼合，生成鐵 路場景左、右全景圖。6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，確定所述消失點的步驟具體為： 消失點在圖像坐標(biāo)系中的坐標(biāo)為(x〇，y〇)T;第i條線段的解析式為x+kiy+bi = 0，ki為第i 條姥6&的金1? 1失1規(guī))昍.切佶w;縣笛i客姥6&的其·. N失!昉拍欄仝辱：圖中像素的總列數(shù)；7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟三包括： 對于防護(hù)欄全景圖的每一列j，計算灰度均值M(1，j)、標(biāo)準(zhǔn)差V(1，j)、和梯度均值G(1， j);j = l，…，N;N為防護(hù)欄全景圖中像素的總列數(shù)； 使用F(j)最大熵，計算分割閾值（，，|'rf);F(j)為所述防護(hù)欄全景圖中提取的豎直方 向上每列像素的特征分布； 根據(jù)所述分割閾值(ε'ξ'η，，對F(j)進(jìn)行二值化分割，將防護(hù)欄區(qū)域置為1，背景區(qū)域 置為〇; 其中，;M(l，j)為防護(hù)欄全景圖中每列像素的灰度均值； v(l，j)為防護(hù)欄全景圖中每列像素的灰度方差;G(l，j)為防護(hù)欄全景圖中每列像素的 梯度均值。8. 枏據(jù)權(quán)利要求7所沭的方法，其特征在于，其中，P(i，j)為防護(hù)欄全景圖中像素點（i，j)的灰度值，th，bh分別為防護(hù)欄的頂部和底 部在防護(hù)欄全景圖中的坐標(biāo)位置。
【文檔編號】G06T7/00GK106023076SQ201610312137
【公開日】2016年10月12日
【申請日】2016年5月11日
【發(fā)明人】田媚, 羅四維, 王勝春
【申請人】北京交通大學(xué)