本發(fā)明涉及圖像處理的，具體為基于機器視覺的集裝箱裝卸定位識別方法。

背景技術(shù)：

1、中國專利cn114219842a公開了港口集裝箱自動裝卸作業(yè)中的視覺識別、測距與定位方法，方法具體包括，組建雙目相機系統(tǒng)，并部署安裝到集裝箱橋式吊車橫梁上可移動小車的兩側(cè)；使用所述雙目相機系統(tǒng)對于集裝箱進行識別和平面定位，得到目標(biāo)集裝箱的平面位置；再使用所述雙目相機系統(tǒng)實現(xiàn)對集裝箱的初步測距，并結(jié)合集裝箱的結(jié)構(gòu)化尺寸信息，對集裝箱高度的進行精確計算，并通過反透視變換得到集裝箱的空間位置坐標(biāo)；再通過對吊具上預(yù)涂裝標(biāo)記的識別，實現(xiàn)吊具的平面定位，測量吊具與集裝箱橋式吊車的移動小車之間的距離，從而得到吊具的空間位置坐標(biāo)，實現(xiàn)港口集裝箱自動裝卸識別、測距與定位。該發(fā)明沒有使用快速識別集裝箱圖像的方法，識別速度慢且準(zhǔn)確率低。

2、傳統(tǒng)的集裝箱裝卸定位識別方法，當(dāng)使用設(shè)備或者人工進行測量，沒有對采集的集裝箱圖像進行預(yù)處理，也沒有使用神經(jīng)網(wǎng)絡(luò)、機器視覺等高新技術(shù)，導(dǎo)致測量設(shè)備出現(xiàn)故障時，沒有補救措施，同時人工識別錯誤率高，港口集裝箱裝卸速度慢。

技術(shù)實現(xiàn)思路

1、針對相關(guān)技術(shù)中的問題，本發(fā)明提供了基于機器視覺的集裝箱裝卸定位識別方法，以克服現(xiàn)有相關(guān)技術(shù)所存在的上述技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

3、本發(fā)明為基于機器視覺的集裝箱裝卸定位識別方法，包括如下步驟：

4、s1、拍攝一批集裝箱圖像，得到待處理的集裝箱圖像，組成待處理的集裝箱圖像集合，對所述待處理的集裝箱圖像進行降噪處理、二值化處理和邊緣檢測后，得到處理后的集裝箱圖像，組成處理后的集裝箱圖像集合；

5、s2、提取所述處理后的集裝箱圖像集合中處理后的集裝箱圖像的像素點梯度大小和梯度方向，根據(jù)梯度大小和梯度方向，使用hog特征提取法得到hog特征向量集合；

6、s3、訓(xùn)練初始svm分類器，得到最終svm分類器，將所述hog特征向量集合輸入到最終svm分類器中進行分類，完成集裝箱識別；

7、s4、完成集裝箱識別后，在所述處理后的集裝箱圖像集合中獲取集裝箱頂部圖像集合，對集裝箱頂部圖像集合中集裝箱頂部圖像進行圖像畸變校正和背景分割處理后，得到集裝箱角件鎖孔圖像集合；訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)得到卷積神經(jīng)網(wǎng)絡(luò)模型，定位集裝箱角件鎖孔位置，實現(xiàn)集裝箱裝卸識別定位。

8、該發(fā)明通過獲取待處理的集裝箱圖像，使用自適應(yīng)的中值濾波算法對待處理的集裝箱圖像進行降噪處理，再使用閾值法計算二值化閾值，對降噪后的集裝箱圖像進行二值化處理，最后引入邊緣算子提取集裝箱邊緣；圖像預(yù)處理方法通過對像素點賦予權(quán)重，有效解決降噪和細節(jié)保留平衡問題，二值化處理減少后續(xù)計算量，便于圖像分割；其次，根據(jù)處理后的集裝箱圖像的像素點梯度大小和梯度方向，構(gòu)建梯度直方圖進行hog特征合并提取，得到hog特征向量；該方法可以較為準(zhǔn)確地提取集裝箱形狀信息和輪廓特征，提高識別率；再訓(xùn)練初始svm分類器，得到最終svm分類器，實現(xiàn)對集裝箱識別；svm分類器在解決非線性問題上具有顯著優(yōu)勢，重復(fù)訓(xùn)練未識別樣本，使得svm分類器識別精度高，識別速度快；集裝箱識別后，集裝箱頂部圖像進行圖像畸變校正和背景分割處理，得到集裝箱角件鎖孔圖像；最后，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)得到卷積神經(jīng)網(wǎng)絡(luò)模型，定位集裝箱角件鎖孔圖像中集裝箱角件鎖孔位置，實現(xiàn)集裝箱裝卸識別定位；在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時，引入檢測區(qū)域檢測窗口可以加快處理速度，同時兼顧準(zhǔn)確率。

9、優(yōu)選地，所述s1包括以下步驟：

10、s11、拍攝一批集裝箱圖像，得到待處理的集裝箱圖像，組成待處理的集裝箱圖像集合，在所述待處理的集裝箱圖像集合中的待處理的集裝箱圖像上選取個樣本點，并量化樣本點，量化后的樣本點即待處理的集裝箱圖像上的像素點，將待處理的集裝箱圖像轉(zhuǎn)化為待處理的集裝箱圖像矩陣a如下：

11、；

12、其中，表示待處理的集裝箱圖像上橫向第m、縱向第n個像素點；

13、對所述待處理的集裝箱圖像上的紅色信號通道、藍色信號通道和綠色信號通道使用加權(quán)平均法處理后，得到灰度化集裝箱圖像；

14、s12、使用自適應(yīng)的中值濾波算法對灰度化集裝箱圖像進行降噪處理，得到降噪后的集裝箱圖像，組成降噪后的集裝箱圖像集合，具體步驟如下：

15、s121、設(shè)定尺寸為的滑動窗口在所述待處理的集裝箱圖像矩陣上，找到滑動窗口中心像素點，得到滑動窗口中心像素點灰度值，并計算所述滑動窗口中全部像素點灰度值的平均值，記為滑動窗口灰度值均值；

16、s122、設(shè)定灰度值閾值為，當(dāng)所述滑動窗口中心像素點灰度值等于滑動窗口中灰度值最大值或者滑動窗口中心像素點灰度值等于滑動窗口中灰度值最小值，或者滑動窗口中心像素點灰度值和滑動窗口灰度值均值的差的絕對值大于灰度值閾值時，此時將滑動窗口中心像素點視為噪音像素點，否則滑動窗口中心像素點不是噪音像素點；

17、s123、對所述滑動窗口中全部像素點賦予權(quán)值，計算滑動窗口中全部像素點加權(quán)后的灰度值，記為加權(quán)灰度值集合，將所述加權(quán)灰度值集合進行升序順序排序，找到中間加權(quán)灰度值，用所述中間加權(quán)灰度值替換噪音像素點灰度值，直至待處理的集裝箱圖像矩陣中全部像素點降噪完畢，得到降噪后的集裝箱圖像矩陣和降噪后的集裝箱圖像，組成降噪后的集裝箱圖像集合；

18、s13、設(shè)定所述降噪后的集裝箱圖像中灰度級為b，計算降噪后的集裝箱圖像灰度級從0到b的像素點出現(xiàn)的概率，記為，計算降噪后的集裝箱圖像灰度級從0到b的像素點平均灰度值，記為；將所述降噪后的集裝箱圖像分成d個灰度值類，計算各灰度值類的發(fā)生概率和平均值，計算公式如下：

19、，；

20、其中，表示第d灰度值類的發(fā)生概率，表示第d灰度值類的平均值，表示灰度級d的像素點出現(xiàn)的概率，表示灰度級d-1的像素點出現(xiàn)的概率，表示灰度級d-1的像素點平均灰度值，且；

21、根據(jù)第d灰度值類的發(fā)生概率和第d灰度值類的平均值，得到類間方差，當(dāng)所述類間方差取2時，得到降噪后的集裝箱圖像的二值化閾值，將降噪后的集裝箱圖像矩陣中像素點灰度值小于二值化閾值的像素點灰度值置為0，將降噪后的集裝箱圖像矩陣中像素點灰度值大于二值化閾值的像素點灰度值置為255，完成圖像二值化處理，得到二值化集裝箱圖像，組成二值化集裝箱圖像集合；

22、s14、設(shè)定laplacian算子公式為f，將所述二值化集裝箱圖像橫向記為x方向，二值化集裝箱圖像縱向記為y方向，使用差分方程分別在x方向和y方向上做二階偏導(dǎo)，將二階偏導(dǎo)結(jié)果帶入到laplacian算子公式中，得到laplacian邊緣算子，所述laplacian邊緣算子通過高斯濾波器對二值化集裝箱圖像進行卷積運算，輸出處理后的集裝箱圖像，組成處理后的集裝箱圖像集合。

23、該發(fā)明通過獲取待處理的集裝箱圖像，使用自適應(yīng)的中值濾波算法對待處理的集裝箱圖像進行降噪處理，通過對像素點賦予權(quán)重，有效解決降噪和細節(jié)保留平衡問題；再使用閾值法計算二值化閾值，對降噪后的集裝箱圖像進行二值化處理，減少后續(xù)計算量；最后引入邊緣算子提取集裝箱邊緣。

24、優(yōu)選地，所述s2包括以下步驟：

25、s21、將所述處理后的集裝箱圖像集合中的處理后的集裝箱圖像上選取像素點，像素點坐標(biāo)，像素點灰度值，像素點處的水平方向梯度和垂直方向梯度計算公式如下：

26、，

27、；

28、其中，表示像素點處的水平方向梯度，表示像素點處的垂直方向梯度，表示像素點坐標(biāo)處像素點灰度值，表示像素點坐標(biāo)處像素點灰度值，表示像素點坐標(biāo)處像素點灰度值，表示像素點坐標(biāo)處像素點灰度值；

29、則像素點處的梯度大小，像素點處的梯度方向；

30、s22、將所述處理后的集裝箱圖像轉(zhuǎn)化為處理后的集裝箱圖像矩陣，在所述處理后的集裝箱圖像矩陣中選取尺寸為的像素塊，所述像素塊由細胞單元組成，計算所述細胞單元的0-360度方向的梯度方向，再將細胞單元的0-360度方向的梯度方向均分成9個箱，計算9個箱的梯度信息，所述梯度信息包括梯度大小和梯度方向，使用直方圖統(tǒng)計所述細胞單元的梯度信息，得到像素塊的梯度信息；計算處理后的集裝箱圖像矩陣中其他像素塊的梯度信息，得到處理后的集裝箱圖像梯度集合，將所述處理后的集裝箱圖像梯度集合記為hog（方向梯度直方圖）特征向量集合。

31、該發(fā)明通過處理后的集裝箱圖像的像素點梯度大小和梯度方向，構(gòu)建梯度直方圖進行hog特征合并提取，得到hog特征向量；該方法可以較為準(zhǔn)確地提取集裝箱形狀信息和輪廓特征，提高識別率。

32、優(yōu)選地，所述s3包括以下步驟：

33、s31、從網(wǎng)絡(luò)上獲取集裝箱圖像，組成集裝箱樣本圖像集合，對所述集裝箱樣本圖像集合中的集裝箱樣本圖像進行圖像預(yù)處理，再提取hog特征向量，得到hog特征向量樣本集合，訓(xùn)練初始svm分類器，得到最終svm分類器，具體步驟如下：

34、s311、設(shè)定svm（支持向量機）分類器的核函數(shù)為徑向基函數(shù)，輸入樣本集通過分類面方程判斷是否線性可分，使用拉格朗日函數(shù)轉(zhuǎn)化為分類函數(shù)，通過引入懲罰因子、核函數(shù)和松弛因子，將樣本集轉(zhuǎn)化到高維特征向量中，得到最優(yōu)分類函數(shù)，實現(xiàn)對樣本集分類；

35、s312、將所述hog特征向量樣本集合分成特征向量樣本訓(xùn)練集和特征向量樣本測試集，將所述特征向量樣本訓(xùn)練集輸入到初始svm分類器中，不斷迭代，直至初始svm分類器收斂，得到訓(xùn)練好的svm分類器；再將特征向量樣本訓(xùn)練集中識別失敗的特征向量樣本訓(xùn)練集和所述特征向量樣本測試集輸入到訓(xùn)練好的svm分類器中，設(shè)定誤差閾值為，當(dāng)輸出結(jié)果誤差小于誤差閾值時，得到最終svm分類器；否則重復(fù)將識別失敗的特征向量樣本訓(xùn)練集輸入到訓(xùn)練好的svm分類器中進行訓(xùn)練，直至輸出結(jié)果誤差小于誤差閾值；

36、s32、使用最終svm分類器對集裝箱進行識別，將所述hog特征向量集合輸入到所述最終svm分類器中，輸出識別結(jié)果，完成集裝箱識別。

37、該發(fā)明通過訓(xùn)練初始svm分類器，得到最終svm分類器，svm分類器在解決非線性問題上具有顯著優(yōu)勢，通過重復(fù)訓(xùn)練未識別樣本，實現(xiàn)對集裝箱識別，提高識別精度高和識別速度。

38、優(yōu)選地，所述s4包括以下步驟：

39、s41、完成集裝箱識別后，在所述處理后的集裝箱圖像集合中選取集裝箱的頂部相關(guān)圖像，得到集裝箱頂部圖像，組成集裝箱頂部圖像集合，對所述集裝箱頂部圖像集合中的集裝箱頂部圖像進行圖像畸變校正和背景分割處理，得到集裝箱角件鎖孔圖像集合，具體步驟如下：

40、s411、設(shè)定三次b樣條函數(shù)，將所述集裝箱頂部圖像轉(zhuǎn)化成集裝箱頂部圖像矩陣，選取集裝箱頂部圖像矩陣中畸變像素點坐標(biāo)，將畸變像素點在x軸和y軸上進行偏移，使用三次b樣條函數(shù)進行曲面插值，得到畸變像素點在在x軸和y軸上的偏移量；使用所述畸變像素點坐標(biāo)加上畸變像素點在x軸和y軸上的偏移量，得到實際像素點坐標(biāo)；

41、s412、使用雙線性插值法計算實際像素點在x軸和y軸上的線性插值，將實際像素點轉(zhuǎn)化為插值像素點，記為，在插值像素點周圍選定鄰近像素點，分別記為、、和，根據(jù)所述鄰近像素點灰度值校正插值像素點灰度值，得到畸變校正像素點；依次對集裝箱頂部圖像矩陣中全部畸變像素點進行畸變校正，得到畸變校正集裝箱頂部圖像，組成畸變校正集裝箱頂部圖像集合；

42、s413、將所述畸變校正集裝箱頂部圖像轉(zhuǎn)化為畸變校正集裝箱頂部圖像矩陣，賦予畸變校正集裝箱頂部圖像矩陣中相連邊權(quán)重，計算公式如下：

43、；

44、其中，表示像素點和像素點的相連邊權(quán)重，表示像素點灰度值，表示像素點灰度值，表示參數(shù)；

45、再計算像素點和終點像素點的相連邊權(quán)重，得到畸變校正集裝箱頂部圖像和背景圖像對應(yīng)的像素差分，再根據(jù)像素差分將畸變校正集裝箱頂部圖像中背景圖像進行分割，得到集裝箱角件鎖孔圖像，組成集裝箱角件鎖孔圖像集合；

46、s42、從網(wǎng)絡(luò)上獲取集裝箱頂部樣本圖像，對集裝箱頂部樣本圖像進行集裝箱角件鎖孔提取，得到集裝箱角件鎖孔圖像集合，使用所述集裝箱角件鎖孔圖像集合訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到卷積神經(jīng)網(wǎng)絡(luò)模型，具體步驟如下：

47、s421、在卷積神經(jīng)網(wǎng)絡(luò)中加入檢測區(qū)域檢測窗口，設(shè)定步長為，卷積神經(jīng)網(wǎng)絡(luò)對檢測區(qū)域檢測窗口內(nèi)的目標(biāo)進行掃描，再往右以步長滑動檢測區(qū)域檢測窗口，直至檢測區(qū)域檢測窗口滑動到圖像最左端，將圖像全部掃描完畢為止；

48、s422、將所述集裝箱角件鎖孔圖像集合中所述集裝箱角件鎖孔圖像進行劃分，得到半集裝箱角件鎖孔圖像、完整集裝箱角件鎖孔圖像、上下左右方向集裝箱角件鎖孔圖像，混合組成集裝箱角件鎖孔圖像訓(xùn)練集和集裝箱角件鎖孔圖像測試集；設(shè)定卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)為sigmoid函數(shù)，將所述集裝箱角件鎖孔圖像訓(xùn)練集輸入到卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練，設(shè)定最大迭代次數(shù)為g，當(dāng)當(dāng)前迭代次數(shù)達到最大迭代次數(shù)時，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；再將集裝箱角件鎖孔圖像測試集輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中，設(shè)定精度閾值為，當(dāng)輸出結(jié)果精度大于精度閾值時，停止迭代，得到卷積神經(jīng)網(wǎng)絡(luò)模型；否則調(diào)整更新權(quán)重參數(shù)，直至輸出結(jié)果精度大于精度閾值；

49、s43、將所述集裝箱角件鎖孔圖像集合輸入到卷積神經(jīng)網(wǎng)絡(luò)模型中，輸出集裝箱角件鎖孔定位圖像，組成裝箱角件鎖孔定位圖像集合；根據(jù)集裝箱角件鎖孔定位圖像中集裝箱角件鎖孔定位的位置，起重機吊具對集裝箱進行裝卸，實現(xiàn)集裝箱裝卸識別定位。

50、該發(fā)明通過集裝箱識別后，集裝箱頂部圖像進行圖像畸變校正和背景分割處理，得到集裝箱角件鎖孔圖像；最后，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)得到卷積神經(jīng)網(wǎng)絡(luò)模型，通過引入檢測區(qū)域檢測窗口可以加快處理速度，準(zhǔn)確定位集裝箱角件鎖孔圖像中集裝箱角件鎖孔位置，實現(xiàn)集裝箱裝卸識別定位。

51、本發(fā)明還公開了基于機器視覺的集裝箱裝卸定位識別方法的系統(tǒng)，具體包括：集裝箱圖像預(yù)處理模塊、hog特征提取模塊、集裝箱識別模塊和集裝箱角件鎖孔位置定位模塊；

52、所述集裝箱圖像預(yù)處理模塊用于對集裝箱圖像進行降噪處理、二值化處理和邊緣檢測；

53、所述hog特征提取用于對處理后的集裝箱圖像使用hog特征提取法得到hog特征向量集合；

54、所述集裝箱識別模塊用于使用svm分類器對集裝箱進行識別；

55、所述集裝箱角件鎖孔位置定位模塊用于處理集裝箱頂部圖像，使用卷積神經(jīng)網(wǎng)絡(luò)模型定位集裝箱角件鎖孔位置。

56、本發(fā)明具備以下有益效果：

57、1.該發(fā)明通過獲取待處理的集裝箱圖像，使用自適應(yīng)的中值濾波算法對待處理的集裝箱圖像進行降噪處理，通過對像素點賦予權(quán)重，有效解決降噪和細節(jié)保留平衡問題；再使用閾值法計算二值化閾值，對降噪后的集裝箱圖像進行二值化處理，減少后續(xù)計算量。

58、2.該發(fā)明通過構(gòu)建梯度直方圖進行hog特征合并提取，得到hog特征向量，可以較為準(zhǔn)確地提取集裝箱形狀信息和輪廓特征，提高識別率。

59、3.該發(fā)明通過訓(xùn)練初始svm分類器，得到最終svm分類器，svm分類器在解決非線性問題上具有顯著優(yōu)勢，通過重復(fù)訓(xùn)練未識別樣本，實現(xiàn)對集裝箱識別，提高識別精度高和識別速度。

60、4.該發(fā)明通過對集裝箱頂部圖像進行圖像畸變校正和背景分割處理，可以更加準(zhǔn)確得到圖像信息，減少運算量，增加處理速度。

61、5.該發(fā)明通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)得到卷積神經(jīng)網(wǎng)絡(luò)模型，引入檢測區(qū)域檢測窗口可以加快處理速度，準(zhǔn)確定位集裝箱角件鎖孔圖像中集裝箱角件鎖孔位置，實現(xiàn)集裝箱裝卸識別定位。

62、當(dāng)然，實施本發(fā)明的任一產(chǎn)品并不一定需要同時達到以上所述的所有優(yōu)點。