專利名稱：一種電力塔桿圖像語意分割方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視覺與模式識別技術(shù)領(lǐng)域，尤其涉及一種電力塔桿圖像語意分割方法。
背景技術(shù)：
電力機器人對電力設(shè)備進行巡檢已經(jīng)得到普遍應用。在電力機器人通過拍攝電力桿塔的圖像并通過對拍攝圖像的解析，實現(xiàn)對電力桿塔的巡檢。在電力機器人巡檢的過程中，電力桿塔圖像的分割與解析成為數(shù)據(jù)處理與分析中最具挑戰(zhàn)性的問題。而電力桿塔圖像的分割與普通圖像的分割又具有不同的特點:比如，電力塔桿的邊緣較多；再比如，從感官上，電力塔桿的圖像極易和背景混淆?，F(xiàn)有的圖像分割算法中的能量函數(shù)的形式不具備靈活性，更多地依賴于待分割圖像與訓練數(shù)據(jù)集的相似程度，在某一基團內(nèi)，初始標注相同的超像素僅僅依據(jù)特征的區(qū)分賦予不同的損失函數(shù)，而不考慮周圍臨域的標注情況；或者損失函數(shù)只考慮到基團內(nèi)超像素個數(shù)的影響。電力桿塔的分割面對兩大挑戰(zhàn):保持電塔本身的一致性和區(qū)分電塔與背景的邊緣。本發(fā)明提出一種新的基于馬爾科夫隨機場靈敏代價函數(shù)的電力桿塔分割方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提出一種電力塔桿圖像語意分割方法，用于解決現(xiàn)有技術(shù)在電力桿塔圖像語意分割過程中存在的缺陷。為了實現(xiàn)上述目的，本發(fā)明提出的技術(shù)方案是，一種電力塔桿圖像語意分割方法，其特征是所述方法包括:步驟1:對電力塔桿圖像進行預處理，將其分割為超像素，選擇最匹配的數(shù)據(jù)集并提取特征；步驟2:通過電力塔桿圖像圖像與所述數(shù)據(jù)集的相似關(guān)系，對于每一個超像素賦予初始化的語意標注；步驟3:將初始化的語意標注，分別代入標注空間和特征空間，并計算標注空間高階損失函數(shù)值和特征空間高階損失函數(shù)值；步驟4:對損失函數(shù)進行優(yōu)化，得到損失函數(shù)的全局最小值，達到圖像語意分割的目的。所述步驟3具體是:步驟301:在超像素的隨機場內(nèi)定義九階基團作為馬爾科夫隨機場，即每個超像素的標注與該超像素的八臨域超像素相關(guān)；步驟302:將臨域內(nèi)的超像素分為兩類:取主流標注的作為一類，非主流標注的作為另一類；步驟303:采用城市距離區(qū)別四鄰域超像素和八臨域內(nèi)非四鄰域的超像素；步驟304:設(shè)計標注空間高階損失函數(shù)和特征空間高階損失函數(shù)。
本發(fā)明在電塔圖像的語意分割中，使同一物體的一致性以及不同物體的邊緣都得相應地增強，改進了現(xiàn)有圖像分割與解析算法中損失函數(shù)單一、靈敏度較低和錯誤分類率高的問題。


圖1是電力塔桿圖像語意分割方法流程圖；圖2是中心超像素的四鄰域超像素標注變化圖；其中(a)是中心超像素的四鄰域超像素標注為O的示意圖；(b)是中心超像素的下方超像素標注為I的示意圖；(C)是中心超像素的下方和右方超像素標注為I的示意圖；(d)是中心超像素的下方、右方和左方超像素標注為I的示意圖；圖3是中心超像素的八臨域內(nèi)非四鄰域的超像素標注變化圖；其中(a)是中心超像素的八臨域內(nèi)非四鄰域的超像素標注為O的示意圖；(b)是中心超像素的左上方超像素標注為I的不意圖；(C)是中心超像素的左上方和左下方超像素標注為I的不意圖；(d)是中心超像素的左上方、左下方和右上方超像素標注為I的不意圖；圖4是圖2和圖3中相應的基團繪制的損失函數(shù)曲線圖。
具體實施例方式下面結(jié)合附圖，對優(yōu)選實施例作詳細說明。應該強調(diào)的是，下述說明僅僅是示例性的，而不是為了限制本發(fā)明的范圍及其應用。實施例1圖1是電力塔桿圖像語意分割方法流程圖，如圖1所示，本發(fā)明提出的一種電力塔桿圖像語意分割方法包括:步驟1:電力塔桿圖像進行預處理，將其分割為超像素，選擇最匹配的數(shù)據(jù)集并提取特征。預處理指的是分割過程前的工作:包括去除噪聲，將原圖像變換為超像素，形成的過分割圖像(Oversegmentation Image)。超像素(Superpixel)值是具有某種共同特征的十幾個或幾十個像素的集合，將超像素進行進一步的分割，即可得分割結(jié)果。超像素的形成過程可以將圖像中所有像素的RGB數(shù)值提取出來，與周圍像素的RGB值進行比較，根據(jù)需要設(shè)定閾值，小于此閾值的，即認為兩像素屬于同一超像素。數(shù)據(jù)集是從事先已經(jīng)進行標注和分割的圖像中進行選擇的。進行電力桿塔的圖像分割，那么就要從已分割的桿塔圖像中選擇數(shù)據(jù)集。為挑選最匹配的數(shù)據(jù)集，可將待選擇圖像與待分割圖像通過某種特征進行比較，然后排序。排名前列的待選擇圖像即被認為是最匹配的數(shù)據(jù)集。提取特征需要分別提取訓練集和測試集的特征。提取特征的方法廣泛而成熟，本專利米取 Spatial pyramid, Gist, Color histogram 等方法。步驟2:通過電力塔桿圖像圖像與所述數(shù)據(jù)集的相似關(guān)系，對于每一個超像素賦予初始化的語意標注。在訓練集中，每幅圖像都是含有標注的，根據(jù)所提取的幾種特征間的距離大小不同，將測試集中每個超像素賦予與其特征最為接近的訓練集中的超像素的語意標注。
標注空間是指足以通過其線性組合表達任何一個需要的圖像語意標注的向量空間。語意標注本身即定義于標注空間。特征空間是指足以通過其線性組合表達任何一個需要的圖像特征的向量空間。將語意標注代入特征空間是指，將語意信息與特征信息，相結(jié)合作為圖像分割的標準，借以提高分割質(zhì)量。步驟3:將初始化的語意標注，分別代入標注空間和特征空間，并計算標注空間高階損失函數(shù)值和特征空間高階損失函數(shù)值。該步驟還具體包括:步驟301:在超像素的隨機場內(nèi)定義九階基團作為馬爾科夫隨機場，即每個超像素的標注與該超像素的八臨域超像素相關(guān)。定義在一幅圖像上的非負函數(shù)就是一個隨機場。像素灰度就是隨機場，圖像的各種特征也是隨機場。九階基團指的是與中心超像素相鄰的八個超像素與中心超像素本身。步驟302:將臨域內(nèi)的超像素分為兩類:取主流標注的作為一類，非主流標注的作為另一類。基于九階基團的標注分為多數(shù)和少數(shù)兩種，多數(shù)基團采用的語意標注，則為主流標注，少數(shù)采用的則為非主 流標注。步驟303:采用城市距離區(qū)別四鄰域超像素和八臨域內(nèi)非四鄰域的超像素。中心超像素上、下、左、右的4個超像素為四鄰域超像素，中心超像素上、下、左、右、左上、左下、右上、右下的8個超像素為八臨域超像素。城市距離的定義中，如果四鄰域像素距離中心像素為1，則除去四鄰域的八鄰域距離則為2。故，使用城市距離(曼哈頓距離)可以區(qū)分以上兩者。步驟304:設(shè)計標注空間高階損失函數(shù)和特征空間高階損失函數(shù)。損失函數(shù)將取值為非主流的標注的超級像素作為一類，而主流標注的超像素則認為損失為零。這樣，在分割的過程中，兼顧了同一物體的一致性和不同物體邊緣的清晰性。其數(shù)學表達式為:
權(quán)利要求
1.一種電力塔桿圖像語意分割方法，其特征是所述方法包括: 步驟1:電力塔桿圖像進行預處理，將其分割為超像素，選擇最匹配的數(shù)據(jù)集并提取特征； 步驟2:通過電力塔桿圖像圖像與所述數(shù)據(jù)集的相似關(guān)系，對于每一個超像素賦予初始化的語意標注； 步驟3:將初始化的語意標注，分別代入標注空間和特征空間，并計算標注空間高階損失函數(shù)值和特征空間高階損失函數(shù)值； 步驟4: 對損失函數(shù)進行優(yōu)化，得到損失函數(shù)的全局最小值，達到圖像語意分割的目的。
2.根據(jù)權(quán)利要求1所述的方法，其特征是所述步驟3具體是: 步驟301:在超像素的隨機場內(nèi)定義九階基團作為馬爾科夫隨機場，即每個超像素的標注與該超像素的八臨域超像素相關(guān)； 步驟302:將臨域內(nèi)的超像素分為兩類:取主流標注的作為一類，非主流標注的作為另一類； 步驟303:采用城市距離區(qū)別四鄰域超像素和八臨域內(nèi)非四鄰域的超像素； 步驟304:設(shè)計標注空間高階損失函數(shù)和特征空間高階損失函數(shù)。
全文摘要
本發(fā)明公開了計算機視覺與模式識別技術(shù)領(lǐng)域中的一種電力塔桿圖像語意分割方法。包括電力塔桿圖像進行預處理，將其分割為超像素，選擇最匹配的數(shù)據(jù)集并提取特征；通過電力塔桿圖像圖像與所述數(shù)據(jù)集的相似關(guān)系，對于每一個超像素賦予初始化的語意標注；將初始化的語意標注，分別代入標注空間和特征空間，并計算標注空間高階損失函數(shù)值和特征空間高階損失函數(shù)值；對損失函數(shù)進行優(yōu)化，得到損失函數(shù)的全局最小值，達到圖像語意分割的目的。本發(fā)明在電塔圖像的語意分割中，使同一物體的一致性以及不同物體的邊緣都得相應地增強，改進了現(xiàn)有圖像分割與解析算法中損失函數(shù)單一、靈敏度較低和錯誤分類率高的問題。
文檔編號G06T7/00GK103218810SQ201310102959
公開日2013年7月24日 申請日期2013年3月27日 優(yōu)先權(quán)日2013年3月27日
發(fā)明者吳華, 楊國田, 李郅誠, 柳長安, 劉春陽 申請人:華北電力大學