一種公路路面裂紋檢測方法
【專利摘要】一種公路路面裂紋檢測方法，通過預先提取圖像中的公路路面感興趣區(qū)域，檢測其中可能的為路面裂紋的圖像線段端點，再采用多尺度處理結(jié)合梯度直方圖和支持向量機進行分類，最后將判斷為路面裂紋的區(qū)域信息輸出，并提示用戶。本發(fā)明視頻信息量更豐富，分類更準確，可具備較低的虛警率；適應更大的范圍和環(huán)境,且自動化處理水平較高，能夠提高檢測的準確率，改善檢測識別的效率，比傳統(tǒng)方法穩(wěn)定性更高，具有較高的抗噪聲、抗傾斜的能力；解決了目前人工巡查工作強度大、受經(jīng)驗水平限制、誤判和遺漏概率高等問題。
【專利說明】一種公路路面裂紋檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及自動視頻檢測【技術(shù)領(lǐng)域】，具體為一種公路路面裂紋檢測方法。

【背景技術(shù)】
[0002] 近年來我國高等級公路的建設(shè)速度和運營規(guī)模已具有世界前沿水平。然而隨著車 輛速度的提升和重載車輛的廣泛使用，高等級公路路基系統(tǒng)的激擾頻率也隨之變寬，易受 高頻激擾發(fā)生共振，引起振動加劇和老化加快，將影響公路運行品質(zhì)和增加養(yǎng)護成本，并且 會加速路面浙青的結(jié)構(gòu)疲勞損傷程度。若破損的公路路面不及時發(fā)現(xiàn)并得以修補，將會在 車輛碾壓作用下加速破損程度，進而影響道路舒適性甚至危及行車安全。在此形勢下，保障 高等級公路的行車安全的技術(shù)面臨著巨大挑戰(zhàn)，利用傳感器技術(shù)的高等級公路在線檢測研 究正逐步展開。然而，基于傳感器技術(shù)的監(jiān)測數(shù)據(jù)量巨大，不僅含有各種噪聲，而且來源于 不同的路基結(jié)構(gòu)層。其中，視頻監(jiān)視技術(shù)作為最符合人類感知習慣的新興檢測方法，因其非 接觸式監(jiān)測和信息量豐富的特點，被逐步應用到公路路面在線巡檢之中。如何有效利用視 頻巡檢數(shù)據(jù)提高公路路面品質(zhì)和安全性，降低安全事故的發(fā)生概率，已成為高等級公路發(fā) 展的當務之急。
[0003] 然而，由于視頻成像過程中三維信息投影為二維圖像導致信息量丟失的特殊性問 題，導致基于視頻圖像的場景理解和問題識別難度仍較大。同時，由于實際應用中圖像采集 的效果受到光照強弱及均勻程度的限制和環(huán)境復雜程度的干擾，將導致待檢測的路面裂紋 難以從路面其他區(qū)域中區(qū)分（如圖1所示）。因此，面向公路視頻巡檢的路面裂紋檢測方法 研究具有積極的社會意義和經(jīng)濟意義。


【發(fā)明內(nèi)容】

[0004] 針對上述問題，本發(fā)明的目的在于提供一種能有效利用視頻巡檢數(shù)據(jù)，并通過對 數(shù)據(jù)進行處理高效準確的檢測公路路面裂紋的檢測方法。技術(shù)方案如下：
[0005] -種公路路面裂紋檢測方法，包括如下步驟：
[0006] 步驟1)任意讀取一幀公路路面彩色圖像；
[0007] 步驟2)對上述彩色圖像進行平滑濾波去除噪聲；
[0008] 步驟3)將處理后的彩色圖像轉(zhuǎn)換為灰度圖像；
[0009] 步驟4)檢測并提取路面的感興趣區(qū)域；
[0010] 步驟5)計算感興趣區(qū)域中的局部化二值化圖像；
[0011] 步驟6)用二值化圖像的細化算法將上述二值化圖像轉(zhuǎn)化為曲線線段，提取曲線 線段的端點，記錄入端點隊列；
[0012] 步驟7)若端點隊列的內(nèi)容不為空，則讀取端點隊列的第一個端點；否則進入步驟 10)；
[0013] 步驟8)用多尺度處理結(jié)合梯度直方圖和支持向量機對上述端點進行分類，若該 端點的分類結(jié)果為路面裂紋，則記錄下該端點的位置信息；否則返回步驟1);
[0014]步驟9)刪除端點隊列的第一個端點，并返還步驟7);
[0015] 步驟10)將該幀的檢測結(jié)果和幀號相結(jié)合，并做記錄；退出當前幀檢測。
[0016] 進一步的，上述檢測并提取路面的感興趣區(qū)域的具體步驟為：
[0017] a)使用概率霍夫變換計算灰度圖像中的線段，并將所有線段存入一個鏈表；
[0018] b)遍歷各條線段，按照該線段距離運動中心在圖像上投影點的距離進行劃分，若 距離超過設(shè)定閾值，則從鏈表中刪除該線段；
[0019] c)若上述鏈表中存放的線段數(shù)量小于等于1，則退出當前幀檢測；否則將剩余線 段以平行間距為度量使用K近鄰法聚類；
[0020] d)計算每個聚類結(jié)果中線段端點的坐標平均值，作為線段聚類的結(jié)果的空間位 置，并按照空間位置將聚類結(jié)果從左到右排序；
[0021] e)遍歷線段聚類結(jié)果，搜索最左側(cè)的線段聚類結(jié)果和最右側(cè)的聚類結(jié)果，如果構(gòu) 成近似對稱的等腰三角形區(qū)域，則該區(qū)域為路面的感興趣區(qū)域，否則退出當前幀檢測。
[0022] 更進一步的，上述細化算法采用Zhang-Suen算法。
[0023] 更進一步的，上述計算局部化二值化圖像的方法為：以每個像素為中心，以直徑為 11個像素劃分鄰域范圍，計算領(lǐng)域范圍內(nèi)像素灰度的平均值，若該像素灰度值大于平均值 加偏移量，則在二值化圖像中設(shè)置該點灰度值為255,否則設(shè)置該點灰度值為0。
[0024] 更進一步的，上述提取曲線線段端點的方法為：將二值化圖像的白色連通體簡化 為寬度為1個像素的曲線，遍歷包含細化曲線的二值化圖像，若某點灰度值為255,且其八 鄰域中僅有一個像素的灰度值為255,其余7個的灰度值皆為0,則該點位于曲線的端點。
[0025] 更進一步的，上述多尺度處理結(jié)合梯度直方圖和支持向量機進行分類的方法包 括：
[0026] 以感興趣區(qū)域的邊長的1/8為基準，分別取其0. 6、0. 8、1. 0、1. 2和1. 4倍長度為 端點鄰域的尺寸，以某個端點為中心，從感興趣區(qū)域圖像中提取5個不同大小的子圖像，并 將所述子圖像尺寸縮放為64*64的標準尺寸，得到5個標準圖像；
[0027] 分別計算上述5個標準圖像的梯度直方圖描述子；
[0028] 用離線訓練好的支持向量機分類器對5個標準圖像的梯度直方圖描述子進行分 類，若有至少一個圖像的分類結(jié)果為路面裂紋，則該端點為路面裂紋，并將該端點和判斷為 路面裂紋的子圖像尺寸存放入檢測結(jié)果隊列；否則判定該端點為背景圖像。
[0029]更進一步的，上述步驟10)之后還包括返回步驟1)，循環(huán)檢測，直至檢測完成。
[0030] 本發(fā)明的有益效果是：本發(fā)明視頻信息量更豐富，分類更準確，可具備較低的虛警 率；適應更大的范圍和環(huán)境，且自動化處理水平較高，能夠提高檢測的準確率，改善檢測識 別的效率，比傳統(tǒng)方法穩(wěn)定性更高，具有較高的抗噪聲、抗傾斜的能力；解決了目前人工巡 查工作強度大、受經(jīng)驗水平限制、誤判和遺漏概率高等問題。

【專利附圖】

【附圖說明】
[0031] 圖1是公路路面裂紋情況和路面修補的說明圖。
[0032] 圖2是本發(fā)明處理總體流程圖。
[0033] 圖3是本發(fā)明路面裂紋特征點檢測及識別處理的流程圖和實際處理效果的示例 圖。
[0034] 圖4本發(fā)明視頻攝像機安裝示意圖。

【具體實施方式】
[0035] 下面結(jié)合具體實施例對本發(fā)明做進一步說明：本發(fā)明包括具有補光功能的視頻圖 像采集部分，處理視頻圖像的路面裂紋檢測和識別核心算法部分，和負責和用戶交互的界 面接口部分。視頻采集部分根據(jù)用戶指令，開啟工業(yè)相機并按照固定幀率采集彩色視頻圖 像；路面裂紋檢測識別部分對工業(yè)相機采集的視頻圖像進行掃描處理，提取并輸出其中的 路面裂紋位置和尺寸信息；人機交互部分接受用戶工作指令，在處理時通過顯示器動態(tài)展 示處理過程，并在處理完成后用計算機蜂鳴器提示完成和預警信息。三個部分分別包含了 硬件連接和集成、核心處理算法和人機交互界面軟件。
[0036] 包含的系統(tǒng)：巡檢視頻路面裂紋檢測系統(tǒng)，根據(jù)路面裂紋的視覺特征及其在圖像 中的結(jié)構(gòu)信息進行檢測，確定路面裂紋存在與否，并在此基礎(chǔ)上進行多幅圖像檢測結(jié)果的 濾波和融合；巡檢視頻輔助處理系統(tǒng)，利用連續(xù)視頻幀進行路面裂紋檢測，在確定路面裂紋 位置的基礎(chǔ)上，形成視頻檢索和過濾輔助系統(tǒng)，以引導操作人員發(fā)現(xiàn)和確認問題并及時解 決。
[0037] 本發(fā)明能適應真實情況下的光照情況，例如光照不足、光照不均勻、背景雜亂等 等，并且自動檢測視頻流中的公路路面的車道標識，再轉(zhuǎn)化為感興趣區(qū)域局部化針對性處 理。在針對性區(qū)域內(nèi)，利用局部二值化方法強化細節(jié)信息，以保證檢測的高準確率。路面裂 紋圖像紋理用梯度直方圖和支持向量機建模，使實現(xiàn)過程比傳統(tǒng)方法的速度更高且穩(wěn)定性 更高，具有較高的抗噪聲、抗傾斜的能力。具體處理步驟如下（如圖2所示）：
[0038] 步驟1)通過計算機驅(qū)動工業(yè)相機任意讀取一幀公路路面彩色圖像。
[0039] 步驟2)對上述彩色圖像進行平滑濾波去除噪聲。
[0040] 步驟3)將處理后的彩色圖像轉(zhuǎn)換為灰度圖像。
[0041] 步驟4)檢測并提取路面的感興趣區(qū)域；具體方法包括以下幾個步驟：
[0042] a)使用概率霍夫變換計算灰度圖像中的線段，并將所有線段存入一個鏈表；
[0043] b)遍歷各條線段，按照該線段距離運動中心在圖像上投影點的距離進行劃分，若 距離超過設(shè)定閾值，則從鏈表中刪除該線段；
[0044] c)若上述鏈表中存放的線段數(shù)量小于等于1，則說明觀測內(nèi)容不是具有車道標志 線的公路，無法進一步處理，退出當前幀檢測；否則將剩余線段以平行間距為度量使用K 近鄰法聚類；
[0045] d)計算每個聚類結(jié)果中線段端點的坐標平均值，作為線段聚類的結(jié)果的空間位 置，并按照空間位置將聚類結(jié)果從左到右排序；
[0046] e)遍歷線段聚類結(jié)果，搜索最左側(cè)的線段聚類結(jié)果和最右側(cè)的聚類結(jié)果，如果構(gòu) 成近似對稱的等腰三角形區(qū)域，則將圖像底邊、最左邊線段和最右邊線段組合構(gòu)成的三角 形區(qū)域作為路面的感興趣區(qū)域以供精確檢測，若未能找到合理組合，即認為未找到路面感 興趣區(qū)域，無需對該幀圖像做進一步處理，退出當前幀檢測。
[0047] 步驟5)計算感興趣區(qū)域中的局部化二值化圖像。具體方法為：以每個像素為中 心，以直徑為11個像素劃分鄰域范圍，計算領(lǐng)域范圍內(nèi)像素灰度的平均值，若該像素灰度 值大于平均值加偏移量，則在二值化圖像中設(shè)置該點灰度值為255,否則設(shè)置該點灰度值為 0。其中的偏移量為工程化經(jīng)驗參數(shù)，用于降低淺色背景下的檢測噪聲，一般選取為5。 [0048] 步驟6)用二值化圖像的細化算法將二值化圖像的白色連通體進一步簡化為寬度 為1個像素的曲線，細化算法采用Zhang-Suen算法，然后提取曲線線段的端點，記錄入端點 隊列；提取曲線線段端點的方法為：將二值化圖像的白色連通體簡化為寬度為1個像素的 曲線，遍歷包含細化曲線的二值化圖像，若某點灰度值為255,且其八鄰域中僅有一個像素 的灰度值為255,其余7個的灰度值皆為0,則該點位于曲線的端點。
[0049] 步驟7)若端點隊列的內(nèi)容不為空，則讀取端點隊列的第一個端點；否則進入步驟 10)。
[0050] 步驟8)用多尺度處理結(jié)合梯度直方圖和支持向量機對上述端點進行分類，若該 端點的分類結(jié)果為路面裂紋，則記錄下該端點的位置信息；否則返回步驟1);其中，多尺度 處理結(jié)合梯度直方圖和支持向量機進行分類的方法為：以感興趣區(qū)域的邊長的1/8為基 準，分別取其〇. 6、0. 8、1. 0、1. 2和1. 4倍長度為端點鄰域的尺寸，以某個端點為中心，從感 興趣區(qū)域圖像中提取5個不同大小的子圖像，并將所述子圖像尺寸縮放為64*64的標準尺 寸，得到5個標準圖像；分別計算上述5個標準圖像的梯度直方圖描述子；用離線訓練好的 支持向量機分類器對5個標準圖像的梯度直方圖描述子進行分類，若有至少一個圖像的分 類結(jié)果為路面裂紋，則該端點為路面裂紋，并將該端點和判斷為路面裂紋的子圖像尺寸存 放入檢測結(jié)果隊列；否則判定該端點為背景圖像。
[0051] 步驟9)刪除端點隊列的第一個端點，并返還步驟7);
[0052] 步驟10)將該幀的檢測結(jié)果和幀號相結(jié)合，并做記錄；退出當前幀檢測。
[0053] 圖3為本發(fā)明路面裂紋特征點檢測及識別處理的流程圖和實際處理效果的示例 圖。
[0054] 工控計算機內(nèi)還安裝有連續(xù)視頻幀采集處理模塊，連續(xù)幀的處理過程等效于循環(huán) 地進行單幅圖像處理。即上述述步驟10)之后再返回步驟1)，循環(huán)檢測，直至檢測完成。 具體為：當連續(xù)視頻幀處理開始執(zhí)行，補光設(shè)備開始補光，計算機控制工業(yè)相機開始視頻采 集，并通過顯示屏回放采集視頻以提示掃描范圍。當場景中出現(xiàn)待檢測的高等級公路路面 區(qū)域時，計算機從數(shù)字攝像機傳輸?shù)漠嬅鏅z測出浙青或水泥地面的可能性區(qū)域，并且用前 文所述檢測算法獲知路面裂紋的大致位置；如果路面裂紋較小或位置較遠導致成像效果不 顯著，則有待車輛行進過程中，路面裂紋成像逐漸放大并清晰。在此情形下，路面裂紋可以 被本發(fā)明所述方法檢測到。將各幀圖像的檢測結(jié)果和視頻幀號相結(jié)合，記錄入檢測日志；視 頻處理成功后，通過檢測日志提示用戶檢測結(jié)果，并輸出可能有路面裂紋的視頻幀序列，輔 助人員操作。
[0055] 在以上各步驟中，巡檢車輛需在道路要求的最低速度下平穩(wěn)運行，并采用高速采 集的工業(yè)相機機盡可能獲取路面裂紋的清晰圖像，圖像處理以近實時的速度處理。由于精 細化的路面裂紋檢測過程僅是在可能存在路面裂紋的局部區(qū)域內(nèi)進行的，因此計算復雜度 大幅度降低；在提取感興趣區(qū)域的基礎(chǔ)上，用局部化方法凸顯細節(jié)信息，提取區(qū)域內(nèi)的細節(jié) 曲線的端點鄰域作為路面裂紋檢測的可能區(qū)域。由傳統(tǒng)窮舉搜索方法的〇(n2)減為了 0(n)， 即計算復雜度大為降低，加速了路面裂紋檢測提取過程。用梯度直方圖和支持向量機訓練 構(gòu)成高穩(wěn)定性和準確性的分類方法，融合多分辨率處理的結(jié)果，作為路面裂紋紋理圖形區(qū) 域。因此，本發(fā)明方法的意義在于，可以改善檢測識別的速率。首先判斷場景中是否有水泥 或浙青路面的計算代價比較小，如果觀測圖像中沒有此結(jié)構(gòu)，則可回避后續(xù)無用的操作，直 接循環(huán)處理下一幀圖像。其次，如果場景中有高等級公路的路面區(qū)域，則需對路面區(qū)域進行 提取。此時的關(guān)鍵要求不是處理速度快，而是盡量準確獲地排除無需后續(xù)處理的區(qū)域。換 而言之，盡管路面檢測會適當增加算法復雜程度，但由于提高了粗略檢測的命中率，因此從 全局看仍然是提高了處理效率。
[0056] 硬件列表如下：

【權(quán)利要求】
1. 一種公路路面裂紋檢測方法，其特征在于，包括如下步驟： 步驟1)任意讀取一幀公路路面彩色圖像； 步驟2)對上述彩色圖像進行平滑濾波去除噪聲； 步驟3)將處理后的彩色圖像轉(zhuǎn)換為灰度圖像； 步驟4)檢測并提取路面的感興趣區(qū)域； 步驟5)計算感興趣區(qū)域中的局部化二值化圖像； 步驟6)用二值化圖像的細化算法將上述二值化圖像轉(zhuǎn)化為曲線線段，提取曲線線段的 端點，記錄入端點隊列； 步驟7)若端點隊列的內(nèi)容不為空，則讀取端點隊列的第一個端點；否則進入步驟10); 步驟8)用多尺度處理結(jié)合梯度直方圖和支持向量機對上述端點進行分類，若該端點的 分類結(jié)果為路面裂紋，則記錄下該端點的位置信息；否則返回步驟1); 步驟9)刪除端點隊列的第一個端點，并返還步驟7); 步驟10)將該幀的檢測結(jié)果和幀號相結(jié)合，并做記錄；退出當前幀檢測。
2. 根據(jù)權(quán)利要求1所述的一種公路路面裂紋檢測方法，其特征在于，所述檢測并提取 路面的感興趣區(qū)域的具體步驟為： a) 使用概率霍夫變換計算灰度圖像中的線段，并將所有線段存入一個鏈表； b) 遍歷各條線段，按照該線段距離運動中心在圖像上投影點的距離進行劃分，若距離 超過設(shè)定閾值，則從鏈表中刪除該線段； c) 若上述鏈表中存放的線段數(shù)量小于等于1，則退出當前幀檢測；否則將剩余線段以 平行間距為度量使用K近鄰法聚類； d) 計算每個聚類結(jié)果中線段端點的坐標平均值，作為線段聚類的結(jié)果的空間位置，并 按照空間位置將聚類結(jié)果從左到右排序； e) 遍歷線段聚類結(jié)果，搜索最左側(cè)的線段聚類結(jié)果和最右側(cè)的聚類結(jié)果，如果構(gòu)成近 似對稱的等腰三角形區(qū)域，則該區(qū)域為路面的感興趣區(qū)域，否則退出當前幀檢測。
3. 根據(jù)權(quán)利要求1所述的一種公路路面裂紋檢測方法，其特征在于，所述計算局部化 二值化圖像的方法為：以每個像素為中心，以直徑為11個像素劃分鄰域范圍，計算領(lǐng)域范 圍內(nèi)像素灰度的平均值，若該像素灰度值大于平均值加偏移量，則在二值化圖像中設(shè)置該 點灰度值為255,否則設(shè)置該點灰度值為0。
4. 根據(jù)權(quán)利要求1所述的一種公路路面裂紋檢測方法，其特征在于，所述細化算法采 用 Zhang-Suen 算法。
5. 根據(jù)權(quán)利要求1所述的一種公路路面裂紋檢測方法，其特征在于，所述提取曲線線 段端點的方法為：將二值化圖像的白色連通體簡化為寬度為1個像素的曲線，遍歷包含細 化曲線的二值化圖像，若某點灰度值為255,且其八鄰域中僅有一個像素的灰度值為255， 其余7個的灰度值皆為0,則該點位于曲線的端點。
6. 根據(jù)權(quán)利要求1所述的一種公路路面裂紋檢測方法，其特征在于，所述多尺度處理 結(jié)合梯度直方圖和支持向量機進行分類的方法包括： 以感興趣區(qū)域的邊長的1/8為基準，分別取其0. 6、0. 8、1. 0、1. 2和1. 4倍長度為端點 鄰域的尺寸，以某個端點為中心，從感興趣區(qū)域圖像中提取5個不同大小的子圖像，并將所 述子圖像尺寸縮放為64*64的標準尺寸，得到5個標準圖像； 分別計算上述5個標準圖像的梯度直方圖描述子； 用離線訓練好的支持向量機分類器對5個標準圖像的梯度直方圖描述子進行分類，若 有至少一個圖像的分類結(jié)果為路面裂紋，則該端點為路面裂紋，并將該端點和判斷為路面 裂紋的子圖像尺寸存放入檢測結(jié)果隊列；否則判定該端點為背景圖像。
7.根據(jù)權(quán)利要求1-6任一項所述的一種公路路面裂紋檢測方法，其特征在于，所述步 驟10)之后還包括返回步驟1)，循環(huán)檢測，直至檢測完成。
【文檔編號】G01N21/88GK104392224SQ201410735591
【公開日】2015年3月4日 申請日期:2014年12月4日 優(yōu)先權(quán)日:2014年12月4日
【發(fā)明者】唐鵬, 金煒東, 楊凡 申請人:西南交通大學