本發(fā)明涉及智能制造，尤其涉及一種用于工業(yè)異常檢測的多模態(tài)預處理方法、裝置及存儲介質。

背景技術：

1、工業(yè)異常檢測通過識別異常特征或缺陷，對確保產品質量至關重要?，F有的工業(yè)異常檢測方法主要針對rgb圖像進行分析，單純依靠顏色信息存在固有的局限性。光照條件的變化可能會導致錯誤，而且人眼或標準攝像機可能無法察覺到指示異常的細微顏色差異。為了應對這些問題，研究人員已經轉向多模態(tài)工業(yè)異常檢測，它利用了3d點云和rgb圖像。通過結合點云的幾何信息，多模態(tài)工業(yè)異常檢測方法可以捕獲復雜的表面細節(jié)，并檢測到僅基于顏色的方法可能錯過的異常情況。而在目前的3d異常檢測研究領域，有著大量的從不同場景下所提取出的3d點云數據，而這些采集的點云數據可能受到多種干擾，例如傳感器誤差、環(huán)境噪聲以及采集設備的運動振動等，導致數據中存在各種類型的噪聲。這些噪聲會影響后續(xù)的異常檢測算法，因此為了準確處理3d點云數據，保證異常檢測的有效性，消除所有背景噪聲是至關重要的，這便是對3d點云進行的預處理過程，是實現高效準確的異常檢測的基礎。

2、傳統(tǒng)的數據預處理方法，是在不干擾rgb數據的情況下，使用ransac和db-scan這兩種算法組合進行預處理。這種方法首先做了一個簡化的假設：數據集中的對象放置在圖像的中心，所有圖像的邊界在同一平面上。然后，從有序點云中提取圖像邊界周圍10像素寬的條帶，并使用ransac來近似最能描述邊界的平面，然后計算點云中每個點到該平面的距離，并將點云形成了多個相連的組件。之后通過將db-scan作為聯通分量方法運行，每個集群都被視為一個聯通分量，只保留最大的聯通分量，而刪除其他聯通分量包括的所有點。這種預處理方法盡管有效，但是非常耗時，處理單個樣品對平均需要4秒左右。因此，目前主流的多模態(tài)工業(yè)異常檢測方法選擇在進行異常檢測之前對所有樣本進行預處理，這在需要從現場采集數據進行實時推斷的現實工業(yè)生產線中是不可行的。此外，這種方法會消耗大量的cpu和內存資源，這在實際的工業(yè)生產環(huán)境中可能是不可行的，這使得傳統(tǒng)方法難以在生產線上部署。

3、因此，如何在對3d點云進行預處理的過程中，減少cpu和內存等計算資源的消耗，成為了需要研究的課題。

技術實現思路

1、本發(fā)明的實施例提供一種用于工業(yè)異常檢測的多模態(tài)預處理方法、裝置及存儲介質，能夠在對3d點云進行預處理的過程中，減少cpu和內存等計算資源的消耗。

2、為達到上述目的，本發(fā)明的實施例采用如下技術方案：

3、第一方面，本發(fā)明的實施例提供的方法，包括：

4、步驟s1：從對應工業(yè)場景的數據集中獲取待處理圖像的點云數據，所述待處理圖像的圖像數據為rgb格式；

5、步驟s2：對所述點云數據進行預處理，所述預處理包括：灰度轉換環(huán)節(jié)、mask生成環(huán)節(jié)和點云處理環(huán)節(jié)；在s2中還包括：按照預設的識別閾值，識別rgb格式的圖像數據中的黑色區(qū)域，過濾圖像數據中的色區(qū)域，并消除所述黑色區(qū)域對應點云數據中的背景點；將剩余的圖像數據和點云數據組成圖像點云對{ti,pi}，其中，ti表示序號為i的圖像數據，pi表示對應ti的點云數據，i∈{1,...,n}，i表示數字序號，n為正整數。

6、步驟s3：將預處理后的點云數據和所述待處理圖像傳輸至下游處理模塊，所述下游處理模塊包括異常檢測單元，所述異常檢測單元中運行了用于檢測圖像異常的程序。

7、第二方面，本發(fā)明的實施例提供的裝置，包括：

8、數據提取模塊，用于從對應工業(yè)場景的數據集中獲取待處理圖像的點云數據，所述待處理圖像的圖像數據為rgb格式；

9、預處理模塊，用于對所述點云數據進行預處理，所述預處理包括：灰度轉換環(huán)節(jié)、mask生成環(huán)節(jié)和點云處理環(huán)節(jié)；

10、下游處理模塊，用于接受將預處理后的點云數據和所述待處理圖像，所述下游處理模塊包括異常檢測單元，所述異常檢測單元中運行了用于檢測圖像異常的程序。

11、第三方面，本發(fā)明的實施例提供一種存儲介質，存儲有計算機程序或指令，當所述計算機程序或指令被運行時，實現本實施例中的方法。

12、本發(fā)明實施例提供的用于工業(yè)異常檢測的多模態(tài)預處理方法、裝置及存儲介質，包括：將原rgb圖像通過使用一定的閾值來識別其中的“黑色區(qū)域”，并且消除其點云中相應的背景點，得到僅保留主體的點云用于后續(xù)的訓練和推理。將方法與現有的異常檢測方法相結合，形成一個端到端的多模態(tài)異常檢測框架。與傳統(tǒng)預處理方法相比。本方法將預處理時間減少151倍，cpu使用減少5倍，內存消耗減少18倍。當預處理數據用于訓練最先進的方法時，i-auroc提高了1.2％，而其他指標的差異則僅小于0.005。因此本實施例的方案能夠在對3d點云進行預處理的過程中，減少cpu和內存等計算資源的消耗。

技術特征：

1.一種用于工業(yè)異常檢測的多模態(tài)預處理方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，在s2中還包括：

3.根據權利要求1或2所述的方法，其特征在于，所述灰度轉換環(huán)節(jié)，包括：通過灰度轉換模型tigray＝togray(ti)，將圖像數據ti轉換為灰度圖像tigray，togray()為將彩色圖像轉換為灰度圖像的函數。

4.根據權利要求3所述的方法，其特征在于，所述mask生成環(huán)節(jié)，包括：

5.根據權利要求4所述的方法，其特征在于，所述點云處理環(huán)節(jié)，包括：

6.根據權利要求1所述的方法，其特征在于，所述對應工業(yè)場景的數據集采用mvtec3d-ad數據集；

7.一種用于工業(yè)異常檢測的多模態(tài)預處理裝置，其特征在于，包括：

8.根據權利要求1所述的裝置，其特征在于，所述預處理模塊，還用于按照預設的識別閾值，識別rgb格式的圖像數據中的黑色區(qū)域，過濾圖像數據中的色區(qū)域，并消除所述黑色區(qū)域對應點云數據中的背景點；將剩余的圖像數據和點云數據組成圖像點云對{ti,pi}，其中，ti表示序號為i的圖像數據，pi表示對應ti的點云數據，i∈{1,...,n}，i表示數字序號，n為正整數。

9.根據權利要求1或2所述的裝置，其特征在于，所述預處理模塊中，包括：灰度轉換單元、mask生成單元和點云處理單元；

10.一種存儲介質，其特征在于，存儲有計算機程序或指令，當所述計算機程序或指令被運行時，實現如權利要求1至6中任一項所述的方法。

技術總結
本發(fā)明實施例公開了一種用于工業(yè)異常檢測的多模態(tài)預處理方法、裝置及存儲介質，涉及智能制造技術領域，能夠在對3D點云進行預處理的過程中，減少CPU和內存等計算資源的消耗。本發(fā)明包括：將原RGB圖像通過使用一定的閾值來識別其中的“黑色區(qū)域”，并且消除其點云中相應的背景點，得到僅保留主體的點云用于后續(xù)的訓練和推理。與傳統(tǒng)預處理方法相比本方法將預處理時間減少151倍，CPU使用減少5倍，內存消耗減少18倍。當預處理數據用于訓練最先進的方法時，I?AUROC提高了1.2％，而其他指標的差異則僅小于0.005。因此本實施例的方案能夠在對3D點云進行預處理的過程中，減少CPU和內存等計算資源的消耗。

技術研發(fā)人員：馮愛民,孫文龍,鐘志清
受保護的技術使用者：南京航空航天大學
技術研發(fā)日：
技術公布日：2024/12/19