一種礦井圖像中基于條件隨機場的礦工檢測系統(tǒng)的制作方法
【專利摘要】本實用新型公開了一種礦井圖像中基于條件隨機場的礦工檢測系統(tǒng)，包括處理單元、攝像儀、存儲單元、通信線路、井上服務器以及井上數(shù)據(jù)庫。處理單元用于完成檢測任務，攝像儀用于采集礦井圖像，存儲單元用于存儲樣本圖像子窗口的特征向量和利用樣本圖像所建立的條件隨機場模型，通信線路將檢測結果傳至井上服務器，井上服務器依據(jù)檢測結果做出相應的顯示；井上數(shù)據(jù)庫用于記錄礦工的位置及對應位置所處的時間等信息。本實用新型選擇提取HOG特征，能夠有效克服井下光照條件差的影響，以條件隨機場為框架進行感興趣區(qū)域標識可靠性強，識別率高，適應性強，為煤礦井下圖像中的礦工檢測提供了有效的檢測系統(tǒng)。
【專利說明】一種礦井圖像中基于條件隨機場的礦工檢測系統(tǒng)

【技術領域】
[0001]本實用新型涉及一種基于條件隨機場的行人檢測系統(tǒng)，尤其是涉及一種礦井圖像中的礦工檢測系統(tǒng)。

【背景技術】
[0002]圖像行人檢測研究在近些年取得了一系列的研究成果，主要有三類研究方法，其一是基于形狀信息的行人檢測，該類方法主要是依靠行人的形狀特征來識別行人，其中以輪廓特征最為典型。Gavrila利用模板匹配的思想，將行人的邊緣模板與待檢測圖片進行匹配。其二是基于特征的行人檢測研究方法，1997年，Oren使用了一組過完備的Haar小波特征，結合自己提出的bootstrap方法，首次將機器學習的方法引入行人檢測領域，并獲得了成功，在誤報率為1/15000的情況下，取得了 81.6%的檢測率。2001年，Paul V1la等人提出了一種通用的目標檢測框架。他們利用自己提出來的級聯(lián)AdaBoost方式來訓練rectangular特征,大大提高了檢測速度。2005年，Dalal和Triggs引進了一種強大的特征描述子H0G，作者在自己創(chuàng)造的復雜的INRIAL行人庫上，取得了優(yōu)秀的檢測結果。其三，將形狀信息和有效特征高效結合起來的方法被不斷提出來。Sabzmeydani于2007年提出了 shapelet算法。該算法是利用機器學習的方法來自動學習人體的線條，從而自動生成特征。Zhe Lin等人于2007年提出了一種具有行人姿勢不變性的特征。他們的主要方法就將待檢圖片與訓練得到的行人模板庫進行匹配，通過最大相似度估計得到圖片中的感興趣區(qū)域，并將該區(qū)域映射到一個權威的行人模板，提取一個固定的特征。
[0003]條件隨機場(Condit1nal Random Field, CRF)是在馬爾可夫隨機場(MarkovRandom Field,MRF)的基礎上發(fā)展起來的，它不僅可以利用相鄰節(jié)點的聯(lián)系，還能夠利用整個觀測場的信息對局部判斷加以指導，從而更加合理地提取目標。
[0004]煤炭是我國主要的能源之一，是我國經濟發(fā)展的重要保障，我國約70%的能源消耗來自煤炭。煤礦井下環(huán)境惡劣，光照條件差，針對煤礦井下圖像中的礦工檢測會受到不同程度的影響，在減少誤檢、檢測定位準確率以及檢測效率等方面仍然需要進一步的提高。


【發(fā)明內容】

[0005]本實用新型所要解決的技術問題是提供一種基于條件隨機場的新型礦工檢測系統(tǒng)。
[0006]為了克服現(xiàn)有諸多系統(tǒng)在煤礦井下圖像礦工檢測中存在的問題，本實用新型公開了一種適合井下特殊環(huán)境的基于條件隨機場的礦工檢測系統(tǒng)，該系統(tǒng)能夠在礦井下低照度的圖像中得到較高識別率，迅速有效的進行礦工檢測。
[0007]本實用新型所述的基于條件隨機場的礦井圖像礦工檢測系統(tǒng)由處理單元，攝像儀，存儲單元，通信線路，井上服務器以及井上數(shù)據(jù)庫組成。
[0008]所述處理單元包括控制模塊，礦工檢測與處理模塊，特征向量存儲模塊，CRF模型存儲模塊和通信模塊；其中控制模塊又包括圖像采樣控制模塊；處理單元是整個礦工檢測系統(tǒng)的核心部分，其主要有三個方面的功能:(I)對系統(tǒng)外圍設備:攝像儀的控制；(2)對采集礦井圖像的處理和檢測；(3)向井上服務器傳輸檢測結果；
[0009]所述圖像采樣控制模塊用于控制攝像儀采集礦井井下圖像；所述礦工檢測與處理模塊用于獲取礦井圖像中礦工位置；所述特征向量存儲模塊用于將礦工檢測模型建立階段得到的HOG(梯度方向直方圖)特征向量存儲到所述存儲單元；所述CRF模型存儲模塊用于將所建立起來的條件隨機場模型存儲到所述存儲單元；所述通信模塊用于將所述礦工檢測與處理模塊處理得到的結果傳輸至所述井上服務器。
[0010]所述攝像儀用于在所述處理單元的控制下采集礦井井下圖像；所述存儲單元，用于存儲礦工檢測模型建立階段得到的HOG(梯度方向直方圖)特征向量以及所建立起來的相應的條件隨機場模型；所述通信線路，在處理單元通信模塊的控制下，利用異步串行I/O方式進行數(shù)據(jù)的傳輸，將傳輸數(shù)據(jù)的每個字符一位接一位傳送，數(shù)據(jù)各個不同位可以分時使用同一傳輸通道進行傳輸，線路利用率高，最少僅需用一對線路即可進行通信，通信線路將處理單元對輸入待檢測礦井井下圖像的檢測結果信息傳遞至井上服務器；所述井上服務器包括井上服務器端通信模塊和顯示模塊；井上服務器端通信模塊負責與井下處理單元的通信模塊通信，接收對待識別礦工的檢測結果；依據(jù)井下礦工檢測的結果，利用顯示模塊對圖像中礦工的位置進行標注顯示；井上服務器負責依據(jù)井下處理單元通過通信線路傳遞來的檢測結果，做出相應的顯示；所述井上數(shù)據(jù)庫，用于在所述井上服務器的控制下，依據(jù)礦工檢測結果自動記錄礦工的位置信息、時間信息。
[0011]所述基于條件隨機場的礦井圖像礦工檢測系統(tǒng)工作流程如下:
[0012]礦工檢測模型建立階段，系統(tǒng)首先提取若干礦井圖像，并提取相應的HOG特征向量，并將這些HOG特征向量通過特征向量存儲模塊存入到存儲單元。礦工檢測與處理模塊控制進行PCA降維、BFGS等處理，得出相應的條件隨機場模型，并將所建立的條件隨機場模型通過CRF模型存儲模塊存入到存儲單元。
[0013]礦工檢測識別階段，系統(tǒng)正常啟動后運行流程如下:
[0014](I)由控制模塊初始化攝像儀；
[0015](2)圖像采樣控制模塊控制攝像儀采集礦井圖像，并將圖像傳遞到礦工檢測與處理模塊；
[0016](3) CRF模型存儲模塊讀取礦工檢測階段所建立起的條件隨機場模型；
[0017](4)礦工檢測與處理模塊接收礦井圖像，并對礦井圖像進行處理得到待檢測圖像中各子窗口的HOG特征向量，根據(jù)所建立的條件隨機場模型與提取的各子窗口的HOG特征向量得到檢測結果；
[0018](5)通信模塊將礦工檢測與處理模塊的檢測結果傳輸至井上服務器，井上服務器依據(jù)檢測結果做出相應處理，通過顯示模塊進行顯示，并將礦工的位置信息、當前時間信息記錄至井上數(shù)據(jù)庫。
[0019]本實用新型的有益效果是，選擇提取HOG特征，能夠有效克服井下光照條件差的影響。檢測系統(tǒng)以條件隨機場為框架進行感興趣區(qū)域標識可靠性強，識別率高，適應性強，為煤礦井下圖像的礦工檢測提供了有效的檢測系統(tǒng)。

【專利附圖】

【附圖說明】
[0020]下面結合附圖和【具體實施方式】對本發(fā)明作進一步的詳細描述。
[0021]圖1是基于條件隨機場的礦井圖像礦工檢測系統(tǒng)結構圖；
[0022]圖2是系統(tǒng)處理單元各模塊工作流程圖；
[0023]圖3是基于條件隨機場的礦井圖像礦工檢測流程圖；
[0024]圖中，1、處理單元；2、攝像儀；3、存儲單元；4、通信線路；5、井上服務器；6、井上數(shù)據(jù)庫；

【具體實施方式】
[0025]首先對基于條件隨機場的礦井圖像礦工檢測系統(tǒng)的結構進行描述。參照圖1，所述礦井圖像礦工檢測系統(tǒng)由處理單元I，攝像儀2，存儲單元3，通信線路4，井上服務器5以及數(shù)據(jù)庫6組成。
[0026]所述處理單元I包括控制模塊，礦工檢測與處理模塊，特征向量存儲模塊，CRF模型存儲模塊和通信模塊；其中控制模塊又包括圖像采樣控制模塊；處理單元是整個礦工檢測系統(tǒng)的核心部分，其主要有三個方面的功能:(I)對系統(tǒng)外圍設備:攝像儀的控制；(2)對采集礦井圖像的處理和檢測；(3)向井上服務器傳輸檢測結果；
[0027]所述圖像采樣控制模塊用于控制攝像儀采集礦井井下圖像；所述礦工檢測與處理模塊用于對攝像儀采集得到的礦井圖像利用基于條件隨機場的礦井圖像礦工檢測方法進行處理和檢測；所述特征向量存儲模塊用于將礦工檢測模型建立階段得到的H0G(梯度方向直方圖)特征向量存儲到所述存儲單元；所述CRF模型存儲模塊用于將所建立起來的條件隨機場模型存儲到所述存儲單元；所述通信模塊用于將所述礦工檢測與處理模塊處理得到的結果傳輸至所述井上服務器。
[0028]所述攝像儀2用于在所述處理單元的控制下采集礦井井下圖像；所述存儲單元3，用于存儲礦工檢測模型建立階段得到的HOG(梯度方向直方圖)特征向量以及所建立起來的相應的條件隨機場模型；所述通信線路4，在處理單元通信模塊的控制下，利用異步串行I/O方式進行數(shù)據(jù)的傳輸，將傳輸數(shù)據(jù)的每個字符一位接一位傳送，數(shù)據(jù)各個不同位可以分時使用同一傳輸通道進行傳輸，線路利用率高，最少僅需用一對線路即可進行通信，通信線路將處理單元對輸入待檢測礦井井下圖像的檢測結果信息傳遞至井上服務器；所述井上服務器5包括井上服務器端通信模塊和顯示模塊；井上服務器端通信模塊負責與井下處理單元的通信模塊通信，接收對待識別礦工的檢測結果；依據(jù)井下礦工檢測的結果，利用顯示模塊對圖像中礦工的位置進行標注顯示；井上服務器負責依據(jù)井下處理單元通過通信線路傳遞來的檢測結果，做出相應的顯示；所述井上數(shù)據(jù)庫6，用于在所述井上服務器的控制下，依據(jù)礦工檢測結果自動記錄礦工的位置信息、時間信息。
[0029]圖2是基于條件隨機場的礦井圖像礦工檢測系統(tǒng)的工作流程:
[0030]礦工檢測模型建立階段，系統(tǒng)首先提取若干礦井圖像，并提取相應的HOG特征向量，并將這些HOG特征向量通過特征向量存儲模塊存入到存儲單元。礦工檢測與處理模塊控制進行PCA降維、BFGS等處理，得出相應的條件隨機場模型，并將所建立的條件隨機場模型通過CRF模型存儲模塊存入到存儲單元。
[0031]礦工檢測識別階段，系統(tǒng)正常啟動后運行流程如下:
[0032](I)由控制模塊初始化攝像儀；
[0033](2)圖像采樣控制模塊控制攝像儀采集礦井圖像，并將圖像傳遞到礦工檢測與處理模塊；
[0034](3) CRF模型存儲模塊讀取礦工檢測階段所建立起的條件隨機場模型；
[0035](4)礦工檢測與處理模塊接收礦井圖像，并對礦井圖像進行處理得到待檢測圖像中各子窗口的HOG特征向量，根據(jù)所建立的條件隨機場模型與提取的各子窗口的HOG特征向量得到檢測結果；
[0036](5)通信模塊將礦工檢測與處理模塊的檢測結果傳輸至井上服務器，井上服務器依據(jù)檢測結果做出相應處理，通過顯示模塊進行顯示，并將礦工的位置信息、當前時間信息記錄至井上數(shù)據(jù)庫；
[0037]參照圖3，對基于條件隨機場的礦井圖像礦工檢測方法的基本流程進行描述，具體步驟如下，礦工檢測模型建立階段:
[0038](I)米集500幅的礦井圖像,每幅圖像中僅含有一個礦工，且礦工所在圖像中所占的區(qū)域大小基本維持不變，尺寸大小維持在68*128以內，同一個礦工在該組采集的圖像中出現(xiàn)次數(shù)不得超過3次。所有采集的圖像將調整尺寸為220*220，格式為PNG。圖像分別標記為 f\，f2, , f500 ；
[0039](2)對每幅圖像進行子窗口的劃分，劃分成相互有重疊部分且大小為68*128的子窗口，在橫軸方向上任意相鄰窗口之間的像素距離與在豎軸方向上任意相鄰窗口之間的像素距離是相同的，像素距離為5。橫軸方向劃分成18行子窗口，豎軸方向劃分成30列子窗口，共劃分540個子窗口 ；所有圖像窗口的處理方式需完全一致；
[0040](3)人為選出每幅圖片能恰好包含礦工的子窗口，并以此作為每個圖像中的最佳區(qū)域，分別標記為gl，g2，...，gm，并將最佳子窗口作為接下來的評判基準；
[0041](4)計算一幅圖片中所有的子窗口與上述步驟選擇的相應最佳子窗口的圖像重合度，將重合度達到70%以上的子窗口標記為+1，否則，將子窗口標記為-1。每幅圖片的標記值+1或-1以在圖像中的相應位置進行矩陣存放，最終500幅圖片的儲存數(shù)據(jù)存放在18*30*500的三維矩陣中；
[0042](5)對所有圖像中所有的子窗口進行HOG(方向梯度直方圖)特征提取，每個子窗口提取出來的特征維數(shù)為3781 ；
[0043](6)將gl，g2，...，gm提取出來的HOG特征組成一個樣本，進行PCA降維，并求得投影矩陣，矩陣大小為3781*500 ；
[0044](7)對所有圖像中所有子窗口進行HOG-PCA特征提取，即從子窗口中提取出來的HOG向量進行投影變換。變換后的矩陣進行封裝。封裝格式為1^?((1，1'，(3，8)，(1是一個子窗口中PCA降維后的特征量，r、c分別代表子窗口在橫豎軸上的位置，s代表采集圖像的總數(shù)目；
[0045](8)對封裝好的特征向量進行處理，
[0046]nodeFeatures (:，i，s) = [I, raw(:，r，c，s) ] edgeFeatures (:，e，s) = [1，raw(: , r,c)-raw(: , r'，c' ) | ]
[0047]nodeFeatures代表每個子窗口中所包含的降維后的HOG特征，按照上述形式存放，用以估算Ai(Yyx)的值(即基于標記索引為i的子窗口內的觀察特征，被標記為71的可能性)；edgeFeatures是為了估算IijGi, Yj, x)的值(即j框中被標記為Ii對i框被標記為Ii所產生的影響)而構成的一組HOG特征上的處理，目標是對相鄰子框中的HOG特征值進行形式上的處理，以達到計算條件隨機場中提及的相互影響的目的；e表征的是(r，c)-(r/ ’c')之間的聯(lián)系；
[0048](9)利用公式


I
[0049]Piyi \ yNr θ)=—exPiA^x)+Yd
'z1.風
Γηη.ηΠ S = Σ ^(4(^^)+Σ 1^ypx))
Ι_υ_」^€{-ι,?}J^Ni
[0051]求解出Zi，代入建立起來的目標函數(shù):
ΛI
[0052]θ = ars 〒 Σ Σ(χ))+細 Σ O)) - lo^i 3 - —τ ντν
?J^N12Φ
[0053](10)用擬牛頓法BFGS解決參數(shù)最優(yōu)化問題，并獲得模型參數(shù)Θ = {w，v}，至此已經完整的建立起該模型來；
[0054]礦工檢測識別階段:
[0055](I)獲取待檢測圖像，對圖像尺寸沒有要求；
[0056](2)對圖像進行子窗口劃分，子窗口劃分規(guī)則與模型建立階段的窗口一致，大小全為 68*128 ；
[0057](3)提取每個子窗口的HOG特征，I個子窗口的矩陣X (1*3781)；
[0058](4)用模型建立階段獲得的投影矩陣B (3781*500)對每個子窗口取得的HOG特征進行降維，X' =XDB5
[0059](5)將X'代入建立起來的條件隨機場模型中，按照nodeFeatures (:, i, s) = [I,raw(:，r，c，s) ] edgeFeatures (:，e，s) = [I, | raw(:，r，c) -raw( , r' , c' ) | ]格式進行存放；利用LBP進行推斷求解，對所有子窗口進行標注，并求得每一個子窗口被標記為+1或者-1的概率；
[0060](6)在所有被標記為I的子窗口中找出擁有最大概率的子窗口，即是所要的最佳子窗口，即選出了礦工所在的最佳區(qū)域。
【權利要求】
1.一種礦井圖像中基于條件隨機場的礦工檢測系統(tǒng)，其特征在于，所述系統(tǒng)包括處理單元、攝像儀、存儲單元、通信線路、井上服務器以及井上數(shù)據(jù)庫；所述攝像儀，用于在所述處理單元的控制下采集礦井井下圖像；所述存儲單元，用于存儲檢測模型建立階段得到的HOG(梯度方向直方圖)特征向量以及所建立起來的相應的條件隨機場模型；所述通信線路，用于將處理單元對輸入待檢測礦井圖像的檢測結果信息傳遞至所述井上服務器；所述井上服務器，負責依據(jù)井下處理單元通過通信線路傳遞來的檢測結果，做出相應的顯示；所述井上數(shù)據(jù)庫，用于在所述井上服務器的控制下，依據(jù)礦工檢測結果自動記錄礦工的位置信息、時間信息。
2.根據(jù)權利要求1所述的一種礦井圖像中基于條件隨機場的礦工檢測系統(tǒng)，其特征在于，所述井上服務器包括井上服務器端通信模塊和顯示模塊；井上服務器端通信模塊負責與井下處理單元的通信模塊通信，接收對待識別礦工的檢測結果；依據(jù)井下礦工檢測的結果，利用顯示模塊對圖像中礦工的位置進行標注顯示；井上服務器負責依據(jù)井下處理單元通過通信線路傳遞來的檢測結果，做出相應的顯示。
3.根據(jù)權利要求1所述的一種礦井圖像中基于條件隨機場的礦工檢測系統(tǒng)，其特征在于，所述處理單元包括控制模塊，礦工檢測與處理模塊，特征向量存儲模塊，CRF模型存儲模塊和通信模塊；所述礦工檢測與處理模塊用于獲取礦井圖像中礦工位置；所述特征向量存儲模塊用于將礦工檢測模型建立階段得到的HOG(梯度方向直方圖)特征向量存儲到所述存儲單元；所述CRF存儲模塊用于將所建立起來的條件隨機場模型存儲到所述存儲單元；所述通信模塊用于將所述礦工檢測與處理模塊處理得到結果傳輸至所述井上服務器。
4.根據(jù)權利要求3所述的一種礦井圖像中基于條件隨機場的礦工檢測系統(tǒng)，其特征在于，所述控制模塊包括所述圖像采樣控制模塊；所述圖像采樣控制模塊用于控制攝像儀采集礦井井下圖像。
【文檔編號】G06K9/00GK204009939SQ201420292230
【公開日】2014年12月10日 申請日期:2014年6月4日 優(yōu)先權日:2014年6月4日
【發(fā)明者】孫繼平, 劉軍 申請人:中國礦業(yè)大學(北京)