本發(fā)明涉及變電站巡檢機(jī)器人設(shè)備圖像采集領(lǐng)域,具體涉及基于指定區(qū)域聚焦和曝光伺服的變電站設(shè)備圖像采集方法。
背景技術(shù):
如果對變電站設(shè)備工作狀態(tài)準(zhǔn)確識別,巡檢機(jī)器人需要在巡檢過程中采集設(shè)備清晰的圖像。在變電站現(xiàn)場,相機(jī)采用自動聚焦模式拍攝設(shè)備圖像,可能聚焦不到目標(biāo)設(shè)備上,導(dǎo)致圖像中設(shè)備區(qū)域模糊;采用自動曝光模式,由于光照變化、背光、陰影等原因,設(shè)備所在圖像區(qū)域可能過亮或過暗,圖像中設(shè)備細(xì)節(jié)信息呈現(xiàn)不佳,影響設(shè)備狀態(tài)識別。
目前的相關(guān)專利中,中國第201010555348.9用改進(jìn)的DCT變換評價圖像清晰度,但是對整幅圖像或者選取圖像的中心區(qū)域,或者是選取中心區(qū)域再加上四個對角上的矩形區(qū)域進(jìn)行評價,最終不一定聚焦到要拍攝的設(shè)備上。中國第200910304878.3對照片分割成的各個部分分別設(shè)定相應(yīng)的曝光量,并在相應(yīng)的曝光量下進(jìn)行曝光處理,然后將進(jìn)行過曝光處理的各個部分組合形成新的照片。因此可以對整幅圖像的不同部分都可以實(shí)現(xiàn)準(zhǔn)確曝光。但是多次曝光再合成會導(dǎo)致拍照時間過長,降低工作效率。
目前變電站巡檢機(jī)器人在設(shè)備圖像采集時,主要存在以下幾方面問題:
1.變電站巡檢機(jī)器人所攜帶的監(jiān)控相機(jī)在拍攝運(yùn)行設(shè)備的圖像時采用自動聚焦,聚焦點(diǎn)不一定在變電站設(shè)備上,可能造成圖像中設(shè)備區(qū)域模糊。
2.如采用預(yù)設(shè)聚焦步進(jìn)值的方式時,機(jī)器人每到一個特定的位置就采用固定的聚焦值,由于機(jī)器人運(yùn)動有位置誤差,每次的停靠點(diǎn)不一定完全一致,并且相機(jī)在長時間連續(xù)供電運(yùn)行時,聚焦值誤差累積增加,所以會出現(xiàn)虛焦的情況。
3.如采用相機(jī)多檔位聚焦及曝光模式時,需要對圖像區(qū)域進(jìn)行分割,然后各區(qū)域分別曝光再合成,由于相機(jī)只有一套成像系統(tǒng),會導(dǎo)致拍照時間過長,造成機(jī)器人的巡檢效率降低。
技術(shù)實(shí)現(xiàn)要素:
為解決現(xiàn)有技術(shù)存在的不足,本發(fā)明公開了基于指定區(qū)域聚焦和曝光伺服的變電站設(shè)備圖像采集方法,本發(fā)明的目的是:為了解決變電站巡檢機(jī)器人對變電站設(shè)備采集圖像清晰度的問題。本發(fā)明能根據(jù)實(shí)時巡檢圖像中設(shè)備所在區(qū)域的清晰度調(diào)節(jié)相機(jī)聚焦和曝光參數(shù),清晰采集變電站設(shè)備圖像。
為實(shí)現(xiàn)上述目的,本發(fā)明的具體方案如下:
基于指定區(qū)域聚焦和曝光伺服的變電站設(shè)備圖像采集方法,包括以下步驟:
采集變電站設(shè)備的清晰圖像并作為模板數(shù)據(jù)進(jìn)行存儲,配置關(guān)心設(shè)備區(qū)域;
變電站巡檢機(jī)器人執(zhí)行巡檢任務(wù)時,運(yùn)動到預(yù)置位,相機(jī)采集關(guān)心設(shè)備的巡檢圖像;
采用特征匹配算法,對模板圖像和現(xiàn)場采集的巡檢圖像進(jìn)行配準(zhǔn),找到巡檢圖像中關(guān)心設(shè)備區(qū)域;
用圖像清晰度評價函數(shù)計算巡檢圖像和模板圖像中設(shè)備區(qū)域的清晰度值,兩者的比值和設(shè)定閾值進(jìn)行比較,如果比值小于閾值,則認(rèn)為巡檢圖像中關(guān)心設(shè)備區(qū)域不夠清晰,如果比值大于閾值,則認(rèn)為巡檢圖像中關(guān)心設(shè)備區(qū)域足夠清晰;
當(dāng)認(rèn)為巡檢圖像中關(guān)心設(shè)備區(qū)域不夠清晰時,啟動相機(jī)指定區(qū)域聚焦伺服和曝光伺服的功能,聚焦和曝光的指定區(qū)域是圖像中關(guān)心設(shè)備所在的區(qū)域,聚焦控制與曝光參數(shù)調(diào)節(jié)完成后,再次采集設(shè)備圖像,直至采集的圖像的清晰度值大于閾值。
進(jìn)一步的,變電站巡檢機(jī)器人運(yùn)動到預(yù)置位后,相機(jī)采用自動聚焦和自動曝光模式采集關(guān)心設(shè)備的巡檢圖像。
進(jìn)一步的,當(dāng)認(rèn)為巡檢圖像中關(guān)心設(shè)備區(qū)域足夠清晰時,將采集的設(shè)備圖像傳至后臺服務(wù)器,識別設(shè)備讀數(shù)或狀態(tài)。
進(jìn)一步的,所述圖像清晰度評價函數(shù)常用算法有4鄰域Laplace算子、8鄰域Laplace算子、改進(jìn)型Laplace算子、SMD算子和EAV算子。
進(jìn)一步的,指針式溫度計巡檢圖像和模板圖像的圖像清晰度評價函數(shù)采用的8鄰域拉普拉斯算子。
進(jìn)一步的,8鄰域拉普拉斯算子下整幅圖像清晰度值為
其中,M和N表示圖像的總行數(shù)和總列數(shù),x和y表示當(dāng)前像素點(diǎn)的行數(shù)和列數(shù),Ixy表示第x行和第y列的像素點(diǎn)的Laplace代數(shù)和。
進(jìn)一步的,所述閾值的確定方法是:采集設(shè)備不同程度的虛焦圖像,虛焦到不能識別的圖像作為臨界圖像,以臨界圖像和模板圖像的清晰度值的比值作為閾值。
本發(fā)明的有益效果:
本發(fā)明基于電力巡檢機(jī)器人平臺,由機(jī)器人代替人工檢查,能夠安全及時地完成變電站巡檢工作;對設(shè)備所在的圖像區(qū)域采用指定區(qū)域聚焦伺服的功能,可以保證相機(jī)聚焦位置在設(shè)備上,采集設(shè)備清晰的圖像,保證設(shè)備讀數(shù)或狀態(tài)識別的準(zhǔn)確性;對設(shè)備所在的圖像區(qū)域采用指定區(qū)域曝光伺服的功能,可以保證圖像中設(shè)備區(qū)域亮度適中,避免因?yàn)楣庹兆兓?、背光、陰影等原因造成的設(shè)備圖像亮度不合適,導(dǎo)致識別結(jié)果不準(zhǔn);使用特征匹配算法(比如SURF算法)對模板圖像和巡檢圖像進(jìn)行配準(zhǔn),可以找到設(shè)備所在的區(qū)域。因此如果巡檢圖像和模板圖像的亮度不一樣或者聚焦位置不一樣,可以有效地對兩幅圖像配準(zhǔn);使用圖像清晰度評價函數(shù)對圖像中設(shè)備區(qū)域進(jìn)行清晰度評價,判斷當(dāng)前圖像中設(shè)備是否清晰,以決定是否啟動區(qū)域聚焦和區(qū)域曝光的功能,避免在自動聚焦和自動曝光模式下已經(jīng)采集到清晰圖像的情況下重復(fù)采集,降低巡檢效率。指定區(qū)域聚焦伺服和曝光伺服的效果圖如圖6(a)-圖6(b)和圖7(a)-圖7(b)所示。
附圖說明
圖1本發(fā)明的流程圖;
圖2(a)指針式溫度計清晰的圖像
圖2(b)指針式溫度計模糊圖像;
圖3圖像清晰度評價函數(shù)比較;
圖4凸透鏡成像模型;
圖5單反相機(jī)成像示意圖;
圖6(a)聚焦位置差異造成儀表無法識別的儀表圖像;
圖6(b)經(jīng)聚焦伺服修正后儀表區(qū)域清晰的儀表圖像;
圖7(a)相機(jī)自動曝光設(shè)置儀表區(qū)域過暗無法識別的圖像;
圖7(b)經(jīng)曝光伺服修正后儀表區(qū)域清晰的圖像。
具體實(shí)施方式:
下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明:
圖1是本發(fā)明的方案流程圖,基于指定區(qū)域聚焦和曝光伺服的變電站設(shè)備圖像采集方法,具體步驟如下:
步驟1,控制機(jī)器人的相機(jī)在合適的聚焦位置和曝光值下采集設(shè)備的清晰圖像,作為模板數(shù)據(jù)存儲在機(jī)器人后臺系統(tǒng)中,配置關(guān)心設(shè)備區(qū)域。
步驟2,機(jī)器人在變電站執(zhí)行巡檢任務(wù)時,運(yùn)動到預(yù)置位,相機(jī)采用自動聚焦和自動曝光模式采集關(guān)心設(shè)備的巡檢圖像。
步驟3,對模板圖像和現(xiàn)場采集的巡檢圖像進(jìn)行特征點(diǎn)匹配,找到兩幅圖像中對應(yīng)點(diǎn)的坐標(biāo)變換關(guān)系,根據(jù)模板圖像中關(guān)心設(shè)備所在的區(qū)域,找到巡檢圖像中關(guān)心設(shè)備所在的區(qū)域。
步驟4,用圖像清晰度評價函數(shù)計算巡檢圖像和模板圖像中設(shè)備區(qū)域的清晰度值,兩者的比值和設(shè)定閾值(0到1之間)進(jìn)行比較。如果比值小于閾值,則認(rèn)為巡檢圖像中關(guān)心設(shè)備區(qū)域不夠清晰,轉(zhuǎn)到步驟5,如果比值大于閾值,則認(rèn)為巡檢圖像中關(guān)心設(shè)備區(qū)域足夠清晰,轉(zhuǎn)到步驟6。
步驟5,啟動相機(jī)指定區(qū)域聚焦伺服和曝光伺服的功能,聚焦和曝光的指定區(qū)域是圖像中關(guān)心設(shè)備所在的區(qū)域,聚焦控制與曝光參數(shù)調(diào)節(jié)完成后,再次采集設(shè)備圖像。
步驟6,將采集的設(shè)備圖像傳至后臺,識別設(shè)備讀數(shù)或狀態(tài)。
其中,步驟4所述圖像清晰度評價函數(shù)常用算法有4鄰域Laplace算子、8鄰域Laplace算子、改進(jìn)型Laplace算子、SMD算子和EAV算子等。以指針式溫度計的清晰圖像和模糊圖像為例,比較不同的圖像清晰度評價函數(shù)。指針式溫度計的清晰圖像和模糊圖像如圖2(a)-圖2(b)所示。采用不同的清晰度評價函數(shù),計算兩幅圖像的清晰度值,如圖3所示,從左至右所采用的算法依次是4鄰域Laplase算子、8鄰域Laplase算子、改進(jìn)型Laplase算子、SMD算子、EAV算子,每種算法中,左側(cè)柱高代表的是模糊圖像的清晰度函數(shù)值,右側(cè)柱高代表的是清晰圖像的清晰度函數(shù)值。
此處采用的是8鄰域拉普拉斯算子,因?yàn)榍逦鷪D像和模糊圖像的函數(shù)值差別最大。
8鄰域Laplace算子如下:
單像素點(diǎn)Laplace代數(shù)和
其中g(shù)(x,y)為圖像中位于第x行和第y列的像素點(diǎn)。
整幅圖像清晰度值為
其中,M和N表示圖像的總行數(shù)和總列數(shù),x和y表示當(dāng)前像素點(diǎn)的行數(shù)和列數(shù),Ixy表示第x行和第y列的像素點(diǎn)的Laplace代數(shù)和。
步驟4中所述閾值的確定方法,是采集設(shè)備不同程度的虛焦圖像,虛焦到不能識別的圖像作為臨界圖像,以臨界圖像和模板圖像的清晰度值的比值作為閾值。
為了更好的介紹本申請中的圖像采集方法,下面介紹相機(jī)聚焦原理:將相機(jī)鏡頭近似為凸透鏡,如圖4所示。
其中f為焦距,u為物距,v為像距。若三者的值滿足成像公式(4),
即可使得目標(biāo)成像清晰。聚焦就是對距離相機(jī)距離為u的目標(biāo),調(diào)節(jié)相機(jī)的像距v,使得f、u、v滿足成像公式,達(dá)到聚焦的目的。區(qū)域聚焦中調(diào)節(jié)像距v的方法是對圖像中選中的區(qū)域進(jìn)行清晰度評價,控制鏡頭快速準(zhǔn)確地找到評價函數(shù)曲線的極點(diǎn),使得選中目標(biāo)的成像最清晰。
相機(jī)曝光原理:相機(jī)成像示意圖以單反相機(jī)為例如圖5所示。
光線通過鏡頭到達(dá)反光板,當(dāng)拍攝照片時,反光板會往上彈起,感光器件前面的快門簾便同時打開,通過鏡頭的光線便投影到感光器件上成像,然后反光板便恢復(fù)原狀。相機(jī)采集清晰圖像需要設(shè)置合適的曝光值,使得圖像亮度合適。曝光值由光圈大小、快門速度、感光度來決定。光圈用來控制進(jìn)入機(jī)身內(nèi)的光量,光圈越大,進(jìn)光量越多,圖像畫面越亮;反之,圖像畫面越暗??扉T速度決定了反光板彈起和快門簾打開的時間,快門速度越快,光線通過時間越短,圖像畫面越暗;反之,圖像畫面越亮。感光度表示感光器件對光線的敏感程度,感光度越高,所得到的畫面就越亮;感光度越低,所得到的畫面就越暗。
采用自動曝光模式是以取景器內(nèi)的整幅圖像的亮度為曝光依據(jù),調(diào)節(jié)相機(jī)的相關(guān)參數(shù)使得整幅圖像的曝光值合適。區(qū)域曝光則是以指定區(qū)域的亮度為曝光依據(jù),調(diào)節(jié)相機(jī)的相關(guān)參數(shù),使得指定圖像區(qū)域的亮度合適。
本發(fā)明實(shí)現(xiàn)了變電站巡檢機(jī)器人在變電站現(xiàn)場采集設(shè)備清晰圖像的方法,技術(shù)關(guān)鍵點(diǎn)是模板圖像和巡檢圖像在聚焦點(diǎn)和亮度不同時的配準(zhǔn),找到圖像中設(shè)備所在的區(qū)域;對圖像中設(shè)備區(qū)域進(jìn)行清晰度評價,以決定是否啟動指定區(qū)域聚焦伺服和曝光伺服的功能;調(diào)用指定區(qū)域聚焦伺服和曝光伺服的功能,修正聚焦、曝光參數(shù),采集清晰的變電站設(shè)備圖像;聚焦伺服和曝光伺服啟動閾值的確定,使得只有當(dāng)圖像中設(shè)備區(qū)域模糊或者亮度不合適以至于不能準(zhǔn)確識別設(shè)備讀數(shù)時,才啟動指定區(qū)域聚焦伺服和曝光伺服的功能。
上述雖然結(jié)合附圖對本發(fā)明的具體實(shí)施方式進(jìn)行了描述,但并非對本發(fā)明保護(hù)范圍的限制,所屬領(lǐng)域技術(shù)人員應(yīng)該明白,在本發(fā)明的技術(shù)方案的基礎(chǔ)上,本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。