本發(fā)明涉及安全管控，特別涉及一種油田視頻識別中空間縱深距離信息判定方法。

背景技術(shù)：

1、目標(biāo)識別技術(shù)一直是計算機(jī)視覺領(lǐng)域中重要的一環(huán)，隨著深度學(xué)習(xí)技術(shù)的成熟應(yīng)用，許多代表性的檢測算法已經(jīng)被開發(fā)，如r-cnn、fast?r-cnn、faster?r-cnn、r-fcn和fpn。然而油田的違章行為識別涉及到與距離相關(guān)的諸多風(fēng)險。如人進(jìn)入動土作業(yè)旋轉(zhuǎn)半徑、氧氣瓶與乙炔瓶間隔距離限制等。這使得基于二維平面圖像進(jìn)行目標(biāo)檢測識別的算法識別精度受限，因為傳統(tǒng)的二維圖像識別算法無法獲取深度空間的距離信息。其他領(lǐng)域如無人駕駛等均使用多攝像頭交互判定距離信息的方法解決這一難題，但是油田施工場景的攝像頭部署并不滿足對應(yīng)領(lǐng)域的設(shè)備要求。

技術(shù)實現(xiàn)思路

1、為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實施例的保護(hù)范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

2、本發(fā)明提出了一種油田視頻識別中空間縱深距離信息判定方法，目的在于解決現(xiàn)有技術(shù)無法獲取油田目標(biāo)物深度信息的限制，以提高油田施工場景下的目標(biāo)物識別精度和安全行為管控能力。

3、本發(fā)明提出了一種油田視頻識別中空間縱深距離信息判定方法，其改進(jìn)之處在于，包括：

4、(1)通過獲取油田作業(yè)視頻圖像中的點云密集像素點，建立油田作業(yè)場景圖像語義一致性正則化；

5、(2)獲取油田作業(yè)視頻圖像中的信息要素并建立油田作業(yè)場景圖像基于語義指導(dǎo)的時空一致性正則化；

6、(3)通過油田作業(yè)視頻圖像中距離判定確定空間縱深距離信息判定。

7、優(yōu)選的，所述步驟(1)包括

8、(1-2)建立油田作業(yè)視頻圖像中密集的像素點對應(yīng)關(guān)系，并通過像素點對將圖像中對應(yīng)目標(biāo)信息傳輸?shù)近c云上；

9、(1-2)將像素-文本對轉(zhuǎn)換為點-文本對利用文本語義選擇對比學(xué)習(xí)的正負(fù)點樣本，并采用損失函數(shù)公式ls_info建立語義一致性正則化；

10、(1-3)將點云上信息中的密集像素對與文本對齊，獲取油田作業(yè)視頻圖像中的點云密集像素點。

11、進(jìn)一步的，所述步驟(1-1)包括使用由六個相機(jī)捕捉的對應(yīng)圖像來校準(zhǔn)lidar點云。

12、進(jìn)一步的，所述使用由六個相機(jī)捕捉的對應(yīng)圖像來校準(zhǔn)lidar點云包括獲得密集的像素點對應(yīng)關(guān)系其中，xi和pi分別表示由clip的圖像編碼器和3d網(wǎng)絡(luò)提取的第i個成對圖像特征和點特征，m為成對的數(shù)量。

13、優(yōu)選的，所述步驟(1-2)包括通過使用maskclip算法生成密集像素-文本對利用文本語義來選擇對比學(xué)習(xí)的正負(fù)點樣本，并采用損失函數(shù)公式ls_info進(jìn)行處理；

14、其中，ti是clip的文本編碼器生成的文本嵌入，將像素-文本對轉(zhuǎn)換為點-文本對

15、進(jìn)一步的，所述損失函數(shù)公式ls_info如下：

16、

17、其中，ti∈c表示ti由第c類名稱生成，c是類的數(shù)量，d表示標(biāo)量乘法操作，τ是溫度參數(shù)τ＞0。

18、優(yōu)選的，所述步驟(2)包括

19、(2-1)給定一張圖像i和時間上連續(xù)的lidar點云其中，k是在s秒內(nèi)掃描的次數(shù)；

20、(2-2)將圖像與點云p1的第一幀通過像素-點對進(jìn)行匹配；

21、(2-3)通過校準(zhǔn)矩陣將其余點云與第一幀對齊，并將它們映射到圖像上；

22、(2-4)在短時間內(nèi)即可獲得所有像素-點-文本對

23、(2-5)將整個拼接的點云分成規(guī)則的網(wǎng)格其中，時間上連續(xù)的點位于同一個網(wǎng)格中；

24、(2-6)在各個網(wǎng)格內(nèi)施加時空一致性約束：

25、

26、其中，lssr為損失函數(shù)，表示像素點對位于第n個網(wǎng)格中，是由語義引導(dǎo)的跨模態(tài)融合特征，其具體公式為：

27、

28、其中和是通過以下公式來計算的注意力權(quán)重，λ是溫度參數(shù)：

29、

30、

31、(2-7)將圖像與文本實現(xiàn)對齊，得到油田作業(yè)視頻圖像中的信息要素。

32、優(yōu)選的，所述步驟(3)包括

33、(3-1)根據(jù)步驟(1-2)的損失函數(shù)ls_info和步驟(2-6)的損失函數(shù)lssr進(jìn)行端到端的整個網(wǎng)絡(luò)訓(xùn)練，形成lidar點云與二維信息點的空間對齊；

34、(3-2)對于視頻識別中2個目標(biāo)物t1與t2間距離計算，通過其像素-點-文本對獲得各自對應(yīng)的點云p1與p2，通過點云間距離值返回得出目標(biāo)物t1與t2的空間間距；

35、(3-3)將油田作業(yè)視頻圖像中距離判定，換算成點云上中的相應(yīng)距離。

36、本發(fā)明實施例提供的技術(shù)方案可以包括以下有益效果：

37、本發(fā)明通過融合點云圖像映射技術(shù)獲取油田視頻識別中空間縱深距離信息，在挖掘臂半徑內(nèi)站人、起重機(jī)半徑內(nèi)站人、動火設(shè)備間距異常、上下交叉作業(yè)和人站在油管排上與距離相關(guān)的違章行為識別模式中起到了很好的精度提升率。

38、本發(fā)明將像素-文本對轉(zhuǎn)換為點-文本對并利用文本語義來選擇對比學(xué)習(xí)的正負(fù)點樣本，同時提出新的損失函數(shù)公式ls_info，這樣本發(fā)明中具有相同語義的點將受到限制靠近相同的文本嵌入，具有不同語義的點將被推開，從而解決了現(xiàn)有點云-像素跨模態(tài)的不足。將損失函數(shù)ls_info和lssr組合，端到端地訓(xùn)練整個網(wǎng)絡(luò)，進(jìn)一步提出隨機(jī)切換成對圖像像素標(biāo)簽和它們自己的預(yù)測的點標(biāo)簽的自我訓(xùn)練方式。僅用自己的預(yù)測訓(xùn)練3d網(wǎng)絡(luò)即可獲得令人滿意的性能。這種可切換的自我訓(xùn)練策略通過切換點偽標(biāo)簽增加了正負(fù)樣本的數(shù)量，更有利于跨模態(tài)知識蒸餾提取。

39、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。

技術(shù)特征：

1.一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，所述步驟(1)包括

3.根據(jù)權(quán)利要求2所述的一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，所述步驟(1-1)包括使用由六個相機(jī)捕捉的對應(yīng)圖像來校準(zhǔn)lidar點云。

4.根據(jù)權(quán)利要求3所述的一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，所述使用由六個相機(jī)捕捉的對應(yīng)圖像來校準(zhǔn)lidar點云包括獲得密集的像素點對應(yīng)關(guān)系其中，xi和pi分別表示由clip的圖像編碼器和3d網(wǎng)絡(luò)提取的第i個成對圖像特征和點特征，m為成對的數(shù)量。

5.根據(jù)權(quán)利要求2所述的一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，所述步驟(1-2)包括通過使用maskclip算法生成密集像素-文本對利用文本語義來選擇對比學(xué)習(xí)的正負(fù)點樣本，并采用損失函數(shù)公式ls_info進(jìn)行處理；

6.根據(jù)權(quán)利要求5所述的一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，所述損失函數(shù)公式ls_info如下：

7.根據(jù)權(quán)利要求1所述的一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，所述步驟(2)包括

8.根據(jù)權(quán)利要求1所述的一種油田視頻識別中空間縱深距離信息判定方法，其特征在于，所述步驟(3)包括

技術(shù)總結(jié)
本發(fā)明提供一種油田視頻識別中空間縱深距離信息判定方法，包括：通過獲取油田作業(yè)視頻圖像中的點云密集像素點，建立油田作業(yè)場景圖像語義一致性正則化；獲取油田作業(yè)視頻圖像中的信息要素并建立油田作業(yè)場景圖像基于語義指導(dǎo)的時空一致性正則化；通過油田作業(yè)視頻圖像中距離判定確定空間縱深距離信息判定。本發(fā)明利用CLIP和3D網(wǎng)絡(luò)分別提取文本嵌入、圖像像素特征和點特征，構(gòu)建正樣本和負(fù)樣本，通過將點特征對應(yīng)的文本嵌入上來施加語義一致性正則化，通過強(qiáng)制時空上連貫的點特征與它們對應(yīng)的像素特征之間的一致性來應(yīng)用時空一致性正則化。通過融合點云圖像映射技術(shù)獲取油田視頻識別中空間縱深距離信息。

技術(shù)研發(fā)人員：蘇雪松,齊靜靜,黃珊,劉佳,王美,董輝,楊欣欣,王凱月,王逸飛,李慧穎
受保護(hù)的技術(shù)使用者：中國石油化工股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26