本發(fā)明涉及圖像處理，尤其涉及的是一種礦井下采煤機遮擋恢復方法、裝置、終端及存儲介質(zhì)。

背景技術：

1、采煤面智能化開采技術是實現(xiàn)煤礦智能化的重要技術之一。在綜采工作面協(xié)同采煤過程中，采煤機滾筒旋轉(zhuǎn)會產(chǎn)生大量的煤塵，同時采煤機在挖掘和割煤的過程中也會產(chǎn)生煤塵，導致采煤機常常被煤塵、掉落的煤塊遮擋，煤炭的遮擋可能會干擾采煤機智能化開采技術中對采煤機的正常定位和通信，影響其自動化和智能化的運作。

2、采煤機遮擋恢復是一個復雜的問題，目前，對于礦井下的采煤機的遮擋恢復方法相對有限，包括基于語義分割的方法和利用圖像修復的方法。對于采煤機遮擋恢復這一任務來說，基于語義分割的方法僅僅能夠分離出目標未被遮擋的區(qū)域，不能還原出遮擋區(qū)域；而只利用圖像修復的方法，在恢復被遮擋的區(qū)域的同時可能對背景進行修改。因此，現(xiàn)有技術對采煤機遮擋恢復得到的圖像并不準確。

3、因此，現(xiàn)有技術存在缺陷，有待改進與發(fā)展。

技術實現(xiàn)思路

1、本發(fā)明要解決的技術問題在于，針對現(xiàn)有技術的上述缺陷，提供一種礦井下采煤機遮擋恢復方法、裝置、終端及存儲介質(zhì)，旨在解決現(xiàn)有技術中對采煤機遮擋恢復得到的圖像并不準確的問題。

2、本發(fā)明解決技術問題所采用的技術方案如下：

3、一種礦井下采煤機遮擋恢復方法，其中，所述方法包括：

4、將待處理的采煤機原始圖像輸入已訓練的實例分割模型中，得到未遮擋分割圖像；

5、對經(jīng)預處理的采煤機原始圖像和所述未遮擋分割圖像進行圖像加處理，得到預處理未遮擋分割圖像；

6、將所述預處理未遮擋分割圖像輸入已訓練的圖像修復模型，得到修復圖像；

7、根據(jù)采煤機原始圖像和未遮擋分割圖像得到遮擋目標圖像，在所述修復圖像中獲取修復位置圖像，將所述修復位置圖像替換所述采煤機原始圖像中的遮擋目標圖像，得到采煤機完整圖像。

8、在本申請的一個實施例中，對經(jīng)預處理的采煤機原始圖像和所述未遮擋分割圖像進行圖像加處理，得到預處理未遮擋分割圖像之前，還包括：

9、對所述采煤機原始圖像進行灰度化、輪廓檢測及采煤機面積提取，得到預處理的采煤機原始圖像。

10、在本申請的一個實施例中，所述實例分割模型為yolov8-seg網(wǎng)絡，所述圖像修復模型為fcf-inpainting網(wǎng)絡。

11、在本申請的一個實施例中，所述實例分割模型的訓練步驟包括：

12、獲取訓練數(shù)據(jù)集，所述訓練數(shù)據(jù)集中包括若干訓練圖像及各個訓練圖像對應的標簽，所述訓練圖像包括：無遮擋采煤機訓練圖像和遮擋采煤機訓練圖像；

13、獲取yolov8-seg網(wǎng)絡，基于所述無遮擋采煤機訓練圖像、所述遮擋采煤機訓練圖像以及對應的標簽，對所述yolov8-seg網(wǎng)絡進行實例分割訓練，得到已訓練的實例分割模型。

14、在本申請的一個實施例中，所述圖像修復模型的訓練步驟包括：

15、獲取訓練數(shù)據(jù)集，所述訓練數(shù)據(jù)集中包括若干訓練圖像及各個訓練圖像對應的標簽，所述訓練圖像包括：無遮擋采煤機訓練圖像和遮擋采煤機訓練圖像；

16、獲取fcf-inpainting網(wǎng)絡，基于所述無遮擋采煤機訓練圖像、所述遮擋采煤機訓練圖像以及隨機生成的掩膜，對所述fcf-inpainting網(wǎng)絡進行訓練，得到已訓練的圖像修復模型。

17、在本申請的一個實施例中，所述無遮擋采煤機訓練圖像的獲取步驟包括：

18、采集無遮擋場景下采煤機的第一運動視頻；

19、通過opencv截取所述第一運動視頻中的若干幀，得到若干無遮擋場景圖像；

20、將若干所述無遮擋場景圖像縮放至預設大小，并由黑色像素點對邊緣進行填充，得到若干無遮擋采煤機訓練圖像。

21、在本申請的一個實施例中，所述遮擋采煤機訓練圖像的獲取步驟包括：

22、采集遮擋場景下采煤機的第二運動視頻；

23、通過opencv截取所述第二運動視頻中的若干幀，得到若干遮擋場景圖像；

24、將所述遮擋場景圖像進行圖像去霧操作后，進行灰度化、輪廓檢測及采煤機面積提取，得到遮擋采煤機訓練圖像。

25、本申請還提供一種礦井下采煤機遮擋恢復裝置，其中，所述裝置包括：

26、第一輸入模塊，用于將待處理的采煤機原始圖像輸入已訓練的實例分割模型中，得到未遮擋分割圖像；

27、圖像處理模塊，用于對經(jīng)預處理的采煤機原始圖像和所述未遮擋分割圖像進行圖像加處理，得到預處理未遮擋分割圖像；

28、第二輸入模塊，用于將所述預處理未遮擋分割圖像輸入已訓練的圖像修復模型，得到修復圖像；

29、圖像恢復模塊，用于根據(jù)采煤機原始圖像和未遮擋分割圖像得到遮擋目標圖像，在所述修復圖像中獲取修復位置圖像，將所述修復位置圖像替換所述采煤機原始圖像中的遮擋目標圖像，得到采煤機完整圖像。

30、本申請還提供一種終端，其中，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的礦井下采煤機遮擋恢復程序，所述礦井下采煤機遮擋恢復程序被所述處理器執(zhí)行時實現(xiàn)如上所述的礦井下采煤機遮擋恢復方法的步驟。

31、本申請還提供一種計算機可讀存儲介質(zhì)，其中，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序能夠被執(zhí)行以用于實現(xiàn)如上所述的礦井下采煤機遮擋恢復方法的步驟。

32、本發(fā)明提供的一種礦井下采煤機遮擋恢復方法、裝置、終端及存儲介質(zhì)，所述礦井下采煤機遮擋恢復方法包括：將待處理的采煤機原始圖像輸入已訓練的實例分割模型中，得到未遮擋分割圖像；對經(jīng)預處理的采煤機原始圖像和所述未遮擋分割圖像進行圖像加處理，得到預處理未遮擋分割圖像；將所述預處理未遮擋分割圖像輸入已訓練的圖像修復模型，得到修復圖像；根據(jù)采煤機原始圖像和未遮擋分割圖像得到遮擋目標圖像，在所述修復圖像中獲取修復位置圖像，將所述修復位置圖像替換所述采煤機原始圖像中的遮擋目標圖像，得到采煤機完整圖像。本發(fā)明通過將采煤機原始圖像先輸入實例分割模型中，進行圖像分割處理，再輸入圖像修復模型中，進行圖像恢復，提高了采煤機被遮擋部分在圖像上的虛擬恢復的準確性，避免了單獨使用語義分割方法或圖像修復方法帶來的恢復圖像不準確的問題。

技術特征：

1.一種礦井下采煤機遮擋恢復方法，其特征在于，所述方法包括：

2.根據(jù)權利要求1所述的礦井下采煤機遮擋恢復方法，其特征在于，對經(jīng)預處理的采煤機原始圖像和所述未遮擋分割圖像進行圖像加處理，得到預處理未遮擋分割圖像之前，還包括：

3.根據(jù)權利要求1所述的礦井下采煤機遮擋恢復方法，其特征在于，所述實例分割模型為yolov8-seg網(wǎng)絡，所述圖像修復模型為fcf-inpainting網(wǎng)絡。

4.根據(jù)權利要求3所述的礦井下采煤機遮擋恢復方法，其特征在于，所述實例分割模型的訓練步驟包括：

5.根據(jù)權利要求3所述的礦井下采煤機遮擋恢復方法，其特征在于，所述圖像修復模型的訓練步驟包括：

6.根據(jù)權利要求4或5所述的礦井下采煤機遮擋恢復方法，其特征在于，所述無遮擋采煤機訓練圖像的獲取步驟包括：

7.根據(jù)權利要求4或5所述的礦井下采煤機遮擋恢復方法，其特征在于，所述遮擋采煤機訓練圖像的獲取步驟包括：

8.一種礦井下采煤機遮擋恢復裝置，其特征在于，所述裝置包括：

9.一種終端，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的礦井下采煤機遮擋恢復程序，所述礦井下采煤機遮擋恢復程序被所述處理器執(zhí)行時實現(xiàn)如權利要求1～7任意一項所述的礦井下采煤機遮擋恢復方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序能夠被執(zhí)行以用于實現(xiàn)如權利要求1～7任意一項所述的礦井下采煤機遮擋恢復方法的步驟。

技術總結
本發(fā)明所提供的一種礦井下采煤機遮擋恢復方法、裝置、終端及存儲介質(zhì)，方法包括：將待處理的采煤機原始圖像輸入已訓練的實例分割模型中，得到未遮擋分割圖像；對經(jīng)預處理的采煤機原始圖像和未遮擋分割圖像進行圖像加處理，得到預處理未遮擋分割圖像；將預處理未遮擋分割圖像輸入已訓練的圖像修復模型，得到修復圖像；根據(jù)采煤機原始圖像和未遮擋分割圖像得到遮擋目標圖像，在修復圖像中獲取修復位置圖像，將修復位置圖像替換采煤機原始圖像中的遮擋目標圖像，得到采煤機完整圖像。本發(fā)明提高了采煤機被遮擋部分在圖像上的虛擬恢復的準確性，避免了單獨使用語義分割方法或圖像修復方法帶來的恢復圖像不準確的問題。

技術研發(fā)人員：吳庚明,宋振鐸,李俊杰,蔣慶友,韓德偉,遲煥磊,李康,王振剛,徐健,馬開德,尹利英,單鵬,秦余春,劉銘輝,馬兆遠
受保護的技術使用者：中國煤礦機械裝備有限責任公司
技術研發(fā)日：
技術公布日：2024/12/19