本發(fā)明涉及瀝青路面病害檢測領(lǐng)域，尤其是涉及一種基于機器視覺的便攜式瀝青路面病害檢測方法及裝置。

背景技術(shù)：

隨著我國道路網(wǎng)的逐步完善，道路領(lǐng)域的工作正在由新建轉(zhuǎn)向養(yǎng)護，特別是高等級瀝青道路總里程的增加，使得我國面臨的養(yǎng)護任務(wù)非常艱巨。實踐發(fā)現(xiàn)，我國的瀝青道路常常出現(xiàn)使用時間不長就出現(xiàn)嚴重破壞的情況，不得不采取大中修甚至重建的措施，代價非常大，這很大程度上與我國當前養(yǎng)護工作對平時養(yǎng)護重視不夠的現(xiàn)狀有關(guān)。值得欣慰的是，注重平時養(yǎng)護工作，減少大中修，減少對社會環(huán)境的影響，減少成本，這一理念越來越得到養(yǎng)護工作人員的認同。

加強平時養(yǎng)護，應該從路面狀況的信息采集做起。經(jīng)過幾十年的發(fā)展，我國瀝青路面狀況信息采集的方法有了很大的進步。從最傳統(tǒng)的純?nèi)斯y量，到半自動機械化檢測，發(fā)展到大型多功能集成檢測車，無論是在測量的精度還是范圍上都有了巨大的進步。然而，在實際養(yǎng)護工作中，還存在下面那樣的怪現(xiàn)象：一方面，我們有先進的檢測設(shè)備，可以大范圍地對高等級道路進行定期檢測，但是另一方面，在日常的檢測中，特別是小范圍路面狀況調(diào)研中，人們還在使用最原始的純手工檢測方法——先封閉需要檢測的車道，用傳統(tǒng)的檢測工具(比如鋼卷尺)進行檢測。可見，當前我們道路檢測工具存在嚴重的兩極分化現(xiàn)象，缺少能夠銜接這兩種方法的中間件。另外，大型檢測車費用昂貴，也不太適合小范圍的經(jīng)常性檢測工作，因此，這樣的中間件檢測方法和裝置顯得尤其重要。

正是基于這樣的現(xiàn)狀——要加強瀝青道路的平時養(yǎng)護工作(關(guān)鍵在于道路使用狀況的信息采集)，雖然機器視覺方法在其他瀝青路面病害檢測裝置中也有應用，但多集成在檢測車輛上，然而尚缺乏適用于中小范圍經(jīng)常性檢測的、具有便攜、安全、高效的病害檢測方法和裝置，有必要研究一種基于機器視覺的便攜式瀝青路面病害檢測方法及其裝置，彌補了這一空白。

中國專利CN103993548A公開了一種基于多臺相機立體拍攝的路面損壞裂縫檢測系統(tǒng)及方法，該系統(tǒng)包括試驗系統(tǒng)和圖像處理模塊，所述試驗系統(tǒng)包括相機，相機支架及其試驗標記卡片，將兩臺相機以一定角度安裝于相機支架拍攝路面。通過系統(tǒng)標定，得到物像數(shù)學關(guān)系。對圖像進行預處理、裂縫圖像處理、圖像閾值分割和圖像特征提取，最終計算出裂縫長度。該專利仍然屬于傳統(tǒng)基于機器視覺進行路面病害檢測范疇，與現(xiàn)有成熟的大型多功能檢測車在原理和定位等方面并無太大區(qū)別，并且需要以特定的姿態(tài)進行病害信息采集，需要阻斷交通，在實際使用時不便攜、效率較低、對交通流影響較大。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于機器視覺的便攜式瀝青路面病害檢測方法及裝置，彌補了當前路面檢測方法和儀器在傳統(tǒng)路面病害檢測和大型多功能車病害檢測之間的空白，具有不封車道、不阻斷交通流、保障工作人員安全、減少現(xiàn)場作業(yè)量、提高檢測精度和效率的特點。

本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

一種基于機器視覺的便攜式瀝青路面病害檢測方法包括以下步驟：

1)不封車道、不阻斷交通流，利用相機在道路旁安全地方采集車道的路面病害圖片，并記錄相機的高度、角度和焦距；

2)基于步驟1)中相機的高度、角度和焦距，利用相機在室內(nèi)采集用于模擬車道的標定板的標定圖片；

3)根據(jù)標定圖片對車道進行標定，得到標定信息，所述標定信息包括：相機內(nèi)參、相機位姿以及像素所代表的尺寸；

4)根據(jù)相機內(nèi)參和相機位姿對路面病害圖片進行矯正；

5)對矯正后路面病害圖片上的病害進行繪制，并由像素所代表的尺寸得到病害參數(shù)。

所述步驟2)中，若相機視野覆蓋全部的標定板，則標定板移動至位于相機鏡頭的中央，若相機視野不覆蓋全部的標定板，則保證標定板上至少一組的特征點位于相機鏡頭的中央。

所述步驟4)具體為：

根據(jù)相機內(nèi)參和相機位姿，得到了參考系的變換矩陣；

根據(jù)參考系的變換矩陣將路面病害圖片的位置信息從世界坐標系轉(zhuǎn)換成相機坐標系下的位置信息，進而得到相機坐標系下投影平面上的位置信息；

通過矯正模型，將相機坐標系下投影平面上的位置信息轉(zhuǎn)換成相機坐標系下無畸變的位置信息；

最后將相機坐標系下無畸變的位置信息轉(zhuǎn)換為無畸變的圖像坐標系的位置信息，即獲得矯正后路面病害圖片。

所述矯正模型滿足以下公式：

式中，μ′為矯正后的μ方向坐標，為有畸變的μ方向坐標；

v′為矯正后的ν方向坐標，為有畸變的ν方向坐標；

κ為畸變系數(shù)。

所述相機內(nèi)參包括焦距、鏡頭畸變系數(shù)、單個像元的寬、單個像元的高、中心點x坐標、中心點y坐標、圖像寬和圖像高；

所述相機位姿包括：相機x坐標、相機y坐標、相機z坐標、相機x方向旋轉(zhuǎn)角度、相機y方向旋轉(zhuǎn)角度和相機z方向旋轉(zhuǎn)角度。

所述單個像元的寬sx和單個像元的高sy滿足以下公式：

式中，a為感光元件面積，b為相機有效像素；

所述中心點x坐標滿足：中心點x坐標＝照片尺寸長/2；

所述中心點y坐標滿足：中心點y坐標＝照片尺寸寬/2。

一種實現(xiàn)上述方法的基于機器視覺的便攜式瀝青路面病害檢測裝置，包括病害采集裝置和病害測量裝置，所述病害采集裝置包括相機，所述相機由三腳架固定，并設(shè)有角度儀和激光測距儀，所述角度儀測量相機的角度，所述激光測距儀測量相機的高度，所述病害測量裝置包括用于道路圖片矯正的標定板，以及用于圖片矯正和病害測量的圖片處理模塊。

所述圖片處理模塊包括：

標定信息處理單元，用于根據(jù)標定圖片對車道進行標定，得到標定信息，所述標定信息包括：相機內(nèi)參、相機位姿以及像素所代表的尺寸；

圖片校正單元，用于根據(jù)相機內(nèi)參和相機位姿對路面病害圖片進行矯正；

病害測量單元，用于對矯正后路面病害圖片上的病害進行繪制，并由像素所代表的尺寸得到病害參數(shù)。

所述標定板采用長度5.5mm、寬度3.8mm、噴涂有27行34列圓形點的黑白標定板，圓形點之間的間距為0.154839m。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點：

(1)本發(fā)明定位于中小范圍的經(jīng)常性檢測，彌補了當前路面檢測方法和儀器在傳統(tǒng)路面病害檢測和大型多功能車病害檢測之間的空白，將圖像采集和病害測量工作分開進行，圖像采集在現(xiàn)場，測量工作在室內(nèi)，減少現(xiàn)場工作量，提高病害檢測的靈活性，具有不封車道、不阻斷交通流、保障工作人員安全、減少現(xiàn)場作業(yè)量、提高檢測精度和效率的特點。

(2)本發(fā)明相比現(xiàn)有技術(shù)，采用更少的裝置，省略了正面拍照步驟，利用室內(nèi)標定以及圖像校正等方法，能夠達到與現(xiàn)有技術(shù)相同甚至更高的病害測量精度，并已通過實驗證明本發(fā)明的精確度。

(3)本發(fā)明在圖片矯正過程中，實現(xiàn)了由世界坐標系-相機坐標系-圖像坐標系的一系列模型快速轉(zhuǎn)化，同時在矯正過程中采用了矯正模型，由畸變系數(shù)可以矯正大角度畸變圖像，使得后續(xù)病害測量結(jié)果更加準確。

(4)本發(fā)明的車道標定方法克服了傳統(tǒng)檢測必須將相機豎直安放以達到正拍效果的局限，可以自由調(diào)整相機的位姿以得到最佳的病害圖片，并且能快速讀出相機位姿參數(shù)，可有效檢測面積廣，角度大，精度高。

(5)外業(yè)所需要攜帶的設(shè)備少，便攜、機動、靈活，由于(2)中的優(yōu)點，工作人員架設(shè)設(shè)備的位置很自由，能更好地保障工作人員的人身安全，且無需封車道，不影響交通流。

(6)本發(fā)明為瀝青路面病害檢測量身定做一個基于機器視覺技術(shù)的標定噴繪板，這個尺寸的標定板長度達到5.5m，寬度為3.8m，且噴涂有27行34列圓形點，圓形點之間的間距為0.154839m，在圓形點上選取多組特征點，而實際道路一個車道最寬不過3.75m，因此它完全可以覆蓋一整個車道，通過移動標定板，可以對車道縱向任意位置進行測量；同樣的道理，在道路橫向移動標定板，即可以對其他車道進行測量，因此通過采用步驟2)可具有勝任測量多個車道的能力。

附圖說明

圖1為本發(fā)明方法流程圖；

圖2為瀝青路面病害采集部分裝置示意圖；

圖3為適用于瀝青路面病害檢測的標定板示意圖；

圖4為配合本發(fā)明方法使用的瀝青病害記錄表示意圖；

圖5為基于機器視覺原理開發(fā)的用于車道標定、圖片轉(zhuǎn)換以及病害測量的配套軟件界面示意圖。

圖中：1、相機，2、三腳架，3、角度儀，4、激光測距儀。

具體實施方式

下面結(jié)合附圖和具體實施例對本發(fā)明進行詳細說明。本實施例以本發(fā)明技術(shù)方案為前提進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。

一種基于機器視覺的便攜式瀝青路面病害檢測裝置可以大致地分為兩部分：瀝青路面病害采集部分和病害測量部分。其中病害采集部分為在現(xiàn)場利用病害采集裝置采集路面病害信息，由病害采集裝置實現(xiàn)，病害采集裝置包括一臺高清數(shù)碼相機1和一個能快速測量傾角、高度的三腳架2；病害測量部分為在室內(nèi)利用病害測量裝置完成相機1標定、圖像矯正以及病害測量工作，病害測量裝置包括道路圖片矯正量身定做的標定板，以及可用于圖片矯正和病害測量的圖片處理模塊(該圖片處理模塊已開發(fā)形成PavementPMS軟件)實現(xiàn)。利用上述裝置實現(xiàn)的病害檢測方法將圖像采集和病害測量工作分開進行，圖像采集在現(xiàn)場，測量工作在室內(nèi)，減少現(xiàn)場工作量，提高病害檢測的靈活性。

如圖2所示，病害采集裝置中的三腳架2通過在普通三腳架2的基礎(chǔ)上加以改裝得到，以更好地適用于瀝青道路路面病害的檢測工作，添加了數(shù)碼角度儀3和激光測距儀4，其中數(shù)碼角度儀3可以快速測量相機1的傾角，即相機1的角度，激光測距儀4可以快速測量相機1鏡頭離地面的高度，即相機1的高度。

如圖3所示，病害測量部分的標定板，為根據(jù)道路實際情況制作的，能覆蓋一個完整的車道，并且能勝任完成多個車道測量的任務(wù)，其長度為5.5m，寬度為3.8m，是27行34列的圓形黑白噴繪標定板，圓形點之間的間距為0.154839m。

考慮到道路等級不同，車道寬度有差別，并盡可能重復利用標定板，我們進行了很多調(diào)研與實踐，并最終確定這個尺寸的標定板。由于這個尺寸的標定板長度達到5.5m，寬度為3.8m，而實際道路一個車道最寬不過3.75m，因此它完全可以覆蓋一整個車道，通過移動標定板，可以對車道縱向任意位置進行測量；同樣的道理，在道路橫向移動標定板，即可以對其他車道進行測量，因此該標定板具有勝任測量多個車道的能力。

該標定板上一共有五組特征點，特征點指的是用于機器視覺定位的不同于其他圓點的標識，如圖5中白色圈所表示，每組特征點由4～6個帶黑點的白圓點組成，每組特征點互不相同，實際使用時，在相機1視野中應至少保證一組特征點清晰可見(即不能失焦)。

圖片處理模塊包括：

標定信息處理單元，用于根據(jù)標定圖片對車道進行標定，得到標定信息，所述標定信息包括：相機內(nèi)參、相機位姿以及像素所代表的尺寸；

圖片校正單元，用于根據(jù)相機內(nèi)參和相機位姿對路面病害圖片進行矯正，校正過程包括以下關(guān)鍵步驟：

通過前述標定過程，獲取了相機1的相機內(nèi)參和位姿，得到了參考系的變換矩陣，將真實病害的信息從世界坐標系轉(zhuǎn)換成相機坐標系，通過矯正模型，將相機坐標系中存在畸變的圖像矯正成沒有畸變的，最后一次圖像變換，將圖像轉(zhuǎn)換到圖片坐標系，得到?jīng)]有畸變的圖片，整個過程如下：

其中：p^w為世界坐標系下的位置，p^c為相機坐標系下的位置，q^c為相機坐標系下投影平面上的位置，為相機坐標系下經(jīng)過矯正模型計算得到的位置，qⁱ為最后得到?jīng)]有畸變的圖像坐標系中的位置；

在圖像矯正中，采用了矯正模型，可以矯正大角度畸變圖像；

矯正模型使用一個畸變系數(shù)κ，模型如下：

式中，μ′為矯正后的μ方向坐標，為有畸變的μ方向坐標；

v′為矯正后的ν方向坐標，為有畸變的ν方向坐標；

κ為畸變系數(shù)；

病害測量單元，用于對矯正后路面病害圖片上的病害進行繪制，并由像素所代表的尺寸得到病害參數(shù)。

如圖1所示，該便攜式瀝青路面病害檢測方法包括以下步驟：

1)在安全的地方(非機動車道、綠化帶、中央分隔帶等沒有安全隱患的地方)架設(shè)三腳架2，安裝相機1，根據(jù)病害的位置調(diào)整相機1的高度、角度和焦距，使得病害清晰地位于相片中央，得到車道的路面病害圖片，且車道的路面病害圖片的上下邊緣與車道的兩側(cè)邊保持一致，這樣采集的車道的路面病害圖片可以包含更加全面的路面信息，有利于后續(xù)的病害測量；通過三腳架2的激光測距儀4和數(shù)碼角度儀3分別讀出并記錄相機1的高度和角度，通過數(shù)碼相機1，記下該病害相片的焦距(這個參數(shù)也可以后期通過計算機查看相片的屬性獲得)，記下該病害的樁號、車道以及相片編號。

為了方便高效地完成整條道路多個車道的病害信息采集工作，可以采用每條車道固定傾角、固定高度、固定焦距的方法，即每次測量的位置的連線與道路中心線平行，每個車道對應一組固定的相機高度、角度和焦距。

2)在室內(nèi)完成各個車道的標定：架設(shè)好三腳架2，安裝好相機1，根據(jù)現(xiàn)場記錄的數(shù)據(jù)，調(diào)整好相機1的高度、角度和焦距，使之與欲標定的車道的三個參數(shù)(相機高度、角度和焦距)一致。移動標定板，使得標定板位于相片中央，如果相片視野太小不足以將整個標定板包括進去，那么調(diào)整標定板的位置時，至少要保證有一組特征點清晰可見，最好使這組標定點位于相片中央。

每個車道采集5～10張高質(zhì)量的標定圖片，記下對應的照片編號；按照上述方式完成所有車道的標定圖片拍攝。

下面在配套的機器視覺軟件上完成車道標定、病害圖片矯正、病害測量工作。

3)標定信息處理單元的車道標定：

1、利用PavementDMS軟件，根據(jù)相機拍照信息獲取標定初始參數(shù)：焦距、單個像元的寬、單個像元的高、中心點x坐標、中心點y坐標；

單個像元的寬sx和單個像元的高sy滿足以下公式：

式中，a為感光元件面積，b為相機1有效像素；

焦距根據(jù)所要標定的車道焦距確定；

中心點x坐標滿足：中心點x坐標＝照片尺寸長/2；

中心點y坐標滿足：中心點y坐標＝照片尺寸寬/2。

2、根據(jù)步驟2)中拍攝同一個車道的標定板照片，適當調(diào)節(jié)標定平滑參數(shù)，得到標定后確定的相機內(nèi)參和相機位姿共14個參數(shù)并保持到標定文件內(nèi)，14個參數(shù)分別是：

①相機內(nèi)參：焦距、鏡頭畸變系數(shù)Kappa、單個像元的寬sx、單個像元的高sy、中心點x坐標cx、中心點坐標cy、圖像寬和圖像高；

②相機位姿：相機x坐標、相機y坐標、相機z坐標、相機x方向旋轉(zhuǎn)角度、相機y方向旋轉(zhuǎn)角度和相機z方向旋轉(zhuǎn)角度。

其中，通過Sigma濾波器對圖像進行平滑預處理，讓標定板照片上的特征點更容易識別出來；上述標定平滑參數(shù)Sigma指的是與平均灰度值的最大偏差，是一個迭代的閾值。

由標定文件的內(nèi)容可以得到圖片內(nèi)像素所代表的的尺寸(即距離、面積之類)，則獲得標定信息，完成單個車道標定工作，標定信息包括：相機內(nèi)參、相機位姿以及像素所代表的尺寸。

4)圖片校正單元根據(jù)相機內(nèi)參和相機位姿對步驟1)中將任意角度拍攝的路面病害圖片矯正成正拍照片。

矯正方法：通過標定過程，將相機坐標系中的特征點坐標與實際標定板的坐標進行匹配計算，得到變換矩陣，根據(jù)此矩陣對畸變的像素加以矯正。

5)病害測量單元對矯正后路面病害圖片上的病害進行ROI(感興趣區(qū)域)繪制，并由像素所代表的尺寸得到病害參數(shù)。PavementPMS軟件可實現(xiàn)長度測量和面積測量，在已矯正圖片上根據(jù)實際需要繪制多段線，得到多段線的實際長度，即是病害的測量長度；在已矯正圖片上根據(jù)實際需要繪制多邊形，得到多邊形的實際面積，即是病害的測量面積。

按照上述方法，完成所有車道所有病害的測量工作。

本實例選用的高清數(shù)碼相機1型號為：Nikon D7200單鏡反光數(shù)碼照相機1，搭配焦距18-200mm的鏡頭，有效像素數(shù)為2416萬，影像傳感器為23.5mm×15.6mm CMOS傳感器，圖片尺寸為6000×4000像素。

病害檢測路段為某單幅雙向兩車道瀝青道路，每條車道寬度為3.5m，硬路肩寬度為1m。實際檢測時，選擇了一處典型的橫向裂縫進行作業(yè)。步驟如下：

(1)將三腳架2放置在橫向裂縫所在車道一側(cè)的硬路肩上，距車道線0.65m，安裝相機1，相機1視線與道路中心線垂直，調(diào)整相機1的高度、角度和焦距，使得相片剛好將一個車道包括進去(即車道線與照片的上下邊界基本重合)，讀取激光測距儀4、數(shù)碼角度儀3以及相機1焦距的數(shù)值，將這個高度、角度和焦距記錄到圖4所示的病害記錄表中備用。本例的高度為1.5m，角度為42°，焦距為18mm。

順著行車道方向平行移動三腳架2和相機1，使得欲采集的裂縫位于相片中央，確定相機1的高度、角度和焦距均沒有發(fā)生變化，拍攝照片，填寫病害記錄表，記下相應的照片編號備用。

(2)在室內(nèi)寬闊的場所架設(shè)三腳架2，安裝相機1，利用激光測距儀4和數(shù)碼角度儀3，將相機1的高度調(diào)整為1.5m，角度為42°，調(diào)節(jié)相機1的焦距為18mm。展開標定噴繪板，移動標定板的位置，由于相機1處于這個位置時視野太小，無法將整個標定板包括進去，只能在移動標定板時，將一組特征點移動到相片中央位置，確定相機1的高度、角度和焦距保持不變，拍攝照片，記下照片編號，備用；然后移動或旋轉(zhuǎn)標定板，再拍攝5張標定板照片，分別記下編號，備用。

(3)PavementPMS軟件運行實現(xiàn)下列過程：

①設(shè)置參數(shù)：

焦距為18mm；

中心點x坐標＝6000/2＝3000；

中心點y坐標＝4000/2＝2000。

②對拍攝的標定板照片(即標定圖片)，適當調(diào)節(jié)標定平滑參數(shù)，完成車道標定工作。

③將相機內(nèi)參和位姿參數(shù)保存在pavement.txt文件(即標定文件)中，該文件記錄了以下參數(shù)：

焦距＝0.018、κ(鏡頭畸變系數(shù))＝-346.283、單個像元的寬(sx)＝3.87412e-006、單個像元的高(sy)＝3.9e-006、中心點x坐標(cx)＝2941.57、中心點坐標(cy)＝1989.1、圖像寬＝6000、圖像高＝4000；

相機x坐標＝-0.508834、相機y坐標＝-0.748769、相機z坐標＝2.13386、相機x方向旋轉(zhuǎn)角度＝324.246、相機y方向旋轉(zhuǎn)角度＝359.214、相機z方向旋轉(zhuǎn)角度＝266.547。

④根據(jù)標定文件(pavement.txt)自動加載已經(jīng)標定好的相機內(nèi)參和相機位姿參數(shù)，完成標定設(shè)置。

⑤打開采集的裂縫病害圖片，將加載的病害圖片矯正成正拍照片，如圖5所示。

⑥最后一步，測量裂縫的長度：按照裂縫的走向繪制多段線，使多段線盡可能與裂縫重合，完成多段線繪制，在輸出窗口顯示多段線的實際長度，即是裂縫的測量長度，為1.696m，如圖5所示?，F(xiàn)場用鋼卷尺量取的裂縫長度為1.8m。試驗結(jié)果證明，采用本發(fā)明方法可以便攜、安全、快速、高精度地對瀝青路面病害進行檢測。

再做與現(xiàn)有機器視覺方法作對比試驗，采用現(xiàn)有的正面拍攝和斜拍攝、以及現(xiàn)有的視覺識別方法獲取的相同裂縫的長度為1.501m，通過多次對比試驗證明可得，本發(fā)明方法從圖像采集、室內(nèi)標定、校正、測量多方面出發(fā)，相比現(xiàn)有技術(shù)可以達到更高的檢測精度。

綜上，本發(fā)明在目的定位上，旨在服務(wù)于中小范圍長期病害跟蹤檢測，與現(xiàn)有大型多功能檢測車形成互補；在實際使用上，力求便攜，不影響交通，可以任意調(diào)整相機1姿態(tài)以在最安全舒適的地方，獲取最佳質(zhì)量的病害圖像，安全高效，充分發(fā)揮基于機器視覺的小型路面病害檢測設(shè)備的優(yōu)勢；在配套計算軟件開發(fā)上，做到了可以處理多種類型的路面病害，精度高，速度快。