本發(fā)明屬于深度學(xué)習(xí)，尤其涉及一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法。

背景技術(shù)：

1、過(guò)魚(yú)設(shè)施的智能監(jiān)測(cè)有助于提高漁業(yè)資源的準(zhǔn)確性。現(xiàn)有的過(guò)魚(yú)設(shè)施運(yùn)行效果監(jiān)測(cè)方法主要有物理掛牌標(biāo)記法、聲吶法、無(wú)線(xiàn)電標(biāo)記跟蹤法、超聲波標(biāo)記跟蹤法、應(yīng)答器標(biāo)記法、pit射頻標(biāo)記法等方法，然而這些方法難以同時(shí)兼顧長(zhǎng)時(shí)間布置、種類(lèi)識(shí)別、數(shù)量統(tǒng)計(jì)這三個(gè)方面。

2、隨著機(jī)器視覺(jué)與深度學(xué)習(xí)模型方法的發(fā)展，出現(xiàn)了基于yolo模型的魚(yú)類(lèi)目標(biāo)識(shí)別跟蹤算法。但在魚(yú)類(lèi)進(jìn)行復(fù)雜運(yùn)動(dòng)時(shí)，會(huì)導(dǎo)致該模型丟失魚(yú)類(lèi)目標(biāo)。若當(dāng)同一條魚(yú)再次被此模型識(shí)別時(shí)，會(huì)被模型判定為新的一條魚(yú)。現(xiàn)有的方法識(shí)別結(jié)果與現(xiàn)實(shí)存在較大偏差，因此如何實(shí)現(xiàn)對(duì)魚(yú)類(lèi)的精準(zhǔn)監(jiān)測(cè)是本領(lǐng)域亟需解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，以解決上述技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、本發(fā)明公開(kāi)一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，所述方法包括以下步驟：

4、步驟1、目標(biāo)區(qū)域魚(yú)類(lèi)影像數(shù)據(jù)采集：在水下目標(biāo)區(qū)域設(shè)置雙目高清攝像機(jī)，并對(duì)雙目高清攝像機(jī)進(jìn)行標(biāo)定，然后采集目標(biāo)區(qū)域魚(yú)類(lèi)影像數(shù)據(jù)，并對(duì)采集的魚(yú)類(lèi)影像數(shù)據(jù)進(jìn)行計(jì)算分析，得到目標(biāo)區(qū)域魚(yú)類(lèi)的深度信息；

5、步驟2、淡水魚(yú)樣本庫(kù)構(gòu)建：采集不同種類(lèi)的淡水魚(yú)在不同水下環(huán)境的不同姿態(tài)影像作為樣本數(shù)據(jù)，通過(guò)目視解譯的方式對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)注，并采用數(shù)據(jù)增強(qiáng)方法對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)充，進(jìn)而構(gòu)建淡水魚(yú)樣本庫(kù)；

6、步驟3、搭建魚(yú)臉魚(yú)尾識(shí)別分割模型并訓(xùn)練：基于ms-cnn即多尺度卷積神經(jīng)網(wǎng)絡(luò)搭建魚(yú)臉魚(yú)尾識(shí)別分割模型，并利用構(gòu)建的淡水魚(yú)樣本庫(kù)對(duì)模型進(jìn)行訓(xùn)練；

7、步驟4、對(duì)目標(biāo)區(qū)域魚(yú)類(lèi)進(jìn)行監(jiān)測(cè)：利用訓(xùn)練后的魚(yú)臉魚(yú)尾識(shí)別分割模型對(duì)目標(biāo)區(qū)域魚(yú)類(lèi)進(jìn)行魚(yú)臉、魚(yú)尾分割，得到目標(biāo)區(qū)域魚(yú)類(lèi)的分割結(jié)果，并對(duì)魚(yú)的種類(lèi)進(jìn)行識(shí)別；將目標(biāo)區(qū)域魚(yú)類(lèi)的分割結(jié)果與深度信息進(jìn)行綜合分析，計(jì)算目標(biāo)區(qū)域魚(yú)類(lèi)的身長(zhǎng)，并對(duì)魚(yú)類(lèi)運(yùn)動(dòng)方向進(jìn)行監(jiān)測(cè)，輸出監(jiān)測(cè)結(jié)果。

8、進(jìn)一步的是，步驟1中所述對(duì)雙目高清攝像機(jī)進(jìn)行標(biāo)定的具體過(guò)程為：采用主流的方格定標(biāo)法，使用水下高清攝像機(jī)從不同角度，不同方位拍攝準(zhǔn)備好的棋盤(pán)圖20-30張，棋盤(pán)圖上一個(gè)小方格的真實(shí)距離是2.7cm，使用雙目相機(jī)標(biāo)定工具進(jìn)行標(biāo)定，經(jīng)過(guò)對(duì)于每張標(biāo)定影像的誤差分析，得到誤差不超過(guò)0.3個(gè)pixel的標(biāo)定參數(shù)，然后使用標(biāo)定參數(shù)完成對(duì)水下高清攝像機(jī)的標(biāo)定，使左視圖和右視圖能使用統(tǒng)一的相機(jī)坐標(biāo)系。

9、進(jìn)一步的是，步驟1中所述對(duì)采集的魚(yú)類(lèi)影像數(shù)據(jù)進(jìn)行計(jì)算分析，得到目標(biāo)區(qū)域魚(yú)類(lèi)的深度信息的具體過(guò)程為：利用立體視差原理，根據(jù)物體即魚(yú)類(lèi)在兩個(gè)圖像中的位置差異來(lái)計(jì)算物體與攝像機(jī)之間的距離，即通過(guò)測(cè)量視差并利用攝像機(jī)之間的已知距離，使用三角測(cè)量方法來(lái)推斷目標(biāo)物體的距離即深度信息，計(jì)算公式為：

10、

11、其中，d為目標(biāo)物體距離；b為雙目攝像機(jī)基線(xiàn)長(zhǎng)；f為雙目攝像機(jī)的焦距；d目標(biāo)物體在左右視圖視差；

12、d＝xl-xr???????????????????????(2)

13、其中，xl為目標(biāo)物體在左視覺(jué)圖上橫軸坐標(biāo)；xr為目標(biāo)物體在右視覺(jué)圖上橫軸坐標(biāo)。

14、進(jìn)一步的是，步驟2中所述不同種類(lèi)的淡水魚(yú)包括草魚(yú)、鯽魚(yú)、鳙魚(yú)、羅非魚(yú)、黑魚(yú)、青魚(yú)、鱸魚(yú)、鳡魚(yú)、鱘魚(yú)九類(lèi)淡水魚(yú)。

15、進(jìn)一步的是，步驟2中所述采用數(shù)據(jù)增強(qiáng)方法對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)充包括兩種方式，第一種是對(duì)影像本身進(jìn)行變化，包括將影像旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、添加隨機(jī)噪聲，得到新樣本；第二種是將目標(biāo)主體部分與其他影像中環(huán)境部分進(jìn)行拼接得到新樣本。

16、進(jìn)一步的是，步驟3中所述魚(yú)臉魚(yú)尾識(shí)別分割模型包括backbone、rpn、候選區(qū)篩選、fcns分割以及fc?layers檢測(cè)識(shí)別五個(gè)模塊；模型首先通過(guò)backbone模塊提取魚(yú)類(lèi)影像中的多尺度特征，backbone模塊由5個(gè)多尺度殘差模塊構(gòu)成，在不同尺度上對(duì)魚(yú)類(lèi)特征進(jìn)行提取，同時(shí)將上一級(jí)尺度的特征作為輔助信息與當(dāng)前尺度的特征進(jìn)行結(jié)合，解決不同尺度間信息冗余問(wèn)題；之后得到的魚(yú)類(lèi)外形、水下環(huán)境、游動(dòng)姿態(tài)特征圖經(jīng)過(guò)rpn模塊初步整理預(yù)測(cè)得到魚(yú)身、魚(yú)臉、魚(yú)尾三種目標(biāo)候選區(qū)；候選區(qū)篩選模塊將這些候選區(qū)通過(guò)iou計(jì)算比對(duì)，篩選出模型檢測(cè)出的每一條魚(yú)對(duì)應(yīng)的魚(yú)身、魚(yú)臉、魚(yú)尾區(qū)域，并通過(guò)rol?align算法將特征圖對(duì)應(yīng)區(qū)域?qū)R為統(tǒng)一尺寸，得到對(duì)齊特征；對(duì)齊特征經(jīng)過(guò)fcns分割模塊對(duì)目標(biāo)區(qū)域進(jìn)行魚(yú)臉、魚(yú)尾分割；經(jīng)過(guò)fc?layers檢測(cè)識(shí)別模塊對(duì)魚(yú)身、魚(yú)臉、魚(yú)尾bbox和魚(yú)的種類(lèi)進(jìn)行檢測(cè)識(shí)別。

17、進(jìn)一步的是，步驟4中所述將目標(biāo)區(qū)域魚(yú)類(lèi)的分割結(jié)果與深度信息進(jìn)行綜合分析，計(jì)算目標(biāo)區(qū)域魚(yú)類(lèi)的身長(zhǎng)，并對(duì)魚(yú)類(lèi)運(yùn)動(dòng)方向進(jìn)行監(jiān)測(cè)的具體過(guò)程為：在分割出的魚(yú)臉和魚(yú)尾上賦予深度信息，分別將魚(yú)頭和魚(yú)尾上的深度信息進(jìn)行兩次3x3的濾波操作；第一次濾波采用3x3中值濾波器，將誤差較大的深度信息除去；第二次濾波采用3x3均值濾波器，將深度信息進(jìn)行平滑處理；

18、得到經(jīng)過(guò)平滑處理后的目標(biāo)區(qū)域魚(yú)類(lèi)的魚(yú)臉和魚(yú)尾深度信息后，建立幾何數(shù)學(xué)分析模型，將魚(yú)臉和魚(yú)尾區(qū)域簡(jiǎn)化為各自的幾何中心，得到魚(yú)臉點(diǎn)p1、魚(yú)尾點(diǎn)p2，則魚(yú)身長(zhǎng)l計(jì)算公式為：

19、

20、式中，x1、y1、z1為魚(yú)臉點(diǎn)p1的三維坐標(biāo)；x2、y2、z2為魚(yú)尾點(diǎn)p2的三維坐標(biāo)；

21、

22、式中，i為影像中的像素點(diǎn)；xi、yi、zi為像素點(diǎn)i的三維坐標(biāo)；xl為像素點(diǎn)i在左視覺(jué)圖上橫軸坐標(biāo)；xr為像素點(diǎn)i在右視覺(jué)圖上橫軸坐標(biāo)；yl為像素點(diǎn)i在左視覺(jué)圖上縱軸坐標(biāo)；xo、yo為相機(jī)的光心坐標(biāo)；

23、然后監(jiān)測(cè)魚(yú)類(lèi)運(yùn)動(dòng)方向，魚(yú)朝深處運(yùn)動(dòng)代表遠(yuǎn)離攝像機(jī)，通過(guò)比較p1點(diǎn)和p2點(diǎn)處的深度信息z1，z2，若z1>z2則表示魚(yú)朝深處運(yùn)動(dòng)，z1<z2則反之，同理，通過(guò)比較x1和x2，y1和y2判斷魚(yú)是朝左朝右、朝上朝下運(yùn)動(dòng)。

24、本發(fā)明的有益效果是：本發(fā)明所述方法同時(shí)結(jié)合了機(jī)器視覺(jué)、測(cè)繪科學(xué)以及深度學(xué)習(xí)技術(shù)，能夠?qū)γ恳粭l魚(yú)的魚(yú)臉和魚(yú)尾進(jìn)行識(shí)別分割，并通過(guò)雙目視覺(jué)測(cè)距法計(jì)算出魚(yú)臉與魚(yú)尾的深度信息，進(jìn)行綜合分析，以此減少魚(yú)類(lèi)在水下攝像機(jī)視野范圍中因來(lái)回游蕩行為而導(dǎo)致目標(biāo)丟失的現(xiàn)象，提高了傳統(tǒng)魚(yú)類(lèi)資源獲取效率，降低了傳統(tǒng)魚(yú)類(lèi)資源監(jiān)測(cè)的成本，解決了現(xiàn)有方法易丟失魚(yú)類(lèi)目標(biāo)的難題；并且能夠在識(shí)別魚(yú)類(lèi)的同時(shí)，估算出魚(yú)類(lèi)的身長(zhǎng)以及在較高自由度上的運(yùn)動(dòng)方向，實(shí)用性強(qiáng)，易于推廣。

25、下面結(jié)合附圖及具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

技術(shù)特征：

1.一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，其特征在于，所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，其特征在于，步驟1中所述對(duì)雙目高清攝像機(jī)進(jìn)行標(biāo)定的具體過(guò)程為：采用主流的方格定標(biāo)法，使用水下高清攝像機(jī)從不同角度，不同方位拍攝準(zhǔn)備好的棋盤(pán)圖20-30張，棋盤(pán)圖上一個(gè)小方格的真實(shí)距離是2.7cm，使用雙目相機(jī)標(biāo)定工具進(jìn)行標(biāo)定，經(jīng)過(guò)對(duì)于每張標(biāo)定影像的誤差分析，得到誤差不超過(guò)0.3個(gè)pixel的標(biāo)定參數(shù)，然后使用標(biāo)定參數(shù)完成對(duì)水下高清攝像機(jī)的標(biāo)定，使左視圖和右視圖能使用統(tǒng)一的相機(jī)坐標(biāo)系。

3.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，其特征在于，步驟1中所述對(duì)采集的魚(yú)類(lèi)影像數(shù)據(jù)進(jìn)行計(jì)算分析，得到目標(biāo)區(qū)域魚(yú)類(lèi)的深度信息的具體過(guò)程為：利用立體視差原理，根據(jù)物體即魚(yú)類(lèi)在兩個(gè)圖像中的位置差異來(lái)計(jì)算物體與攝像機(jī)之間的距離，即通過(guò)測(cè)量視差并利用攝像機(jī)之間的已知距離，使用三角測(cè)量方法來(lái)推斷目標(biāo)物體的距離即深度信息，計(jì)算公式為：

4.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，其特征在于，步驟2中所述不同種類(lèi)的淡水魚(yú)包括草魚(yú)、鯽魚(yú)、鳙魚(yú)、羅非魚(yú)、黑魚(yú)、青魚(yú)、鱸魚(yú)、鳡魚(yú)、鱘魚(yú)九類(lèi)淡水魚(yú)。

5.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，其特征在于，步驟2中所述采用數(shù)據(jù)增強(qiáng)方法對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)充包括兩種方式，第一種是對(duì)影像本身進(jìn)行變化，包括將影像旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、添加隨機(jī)噪聲，得到新樣本；第二種是將目標(biāo)主體部分與其他影像中環(huán)境部分進(jìn)行拼接得到新樣本。

6.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，其特征在于，步驟3中所述魚(yú)臉魚(yú)尾識(shí)別分割模型包括backbone、rpn、候選區(qū)篩選、fcns分割以及fc?layers檢測(cè)識(shí)別五個(gè)模塊；模型首先通過(guò)backbone模塊提取魚(yú)類(lèi)影像中的多尺度特征，backbone模塊由5個(gè)多尺度殘差模塊構(gòu)成，在不同尺度上對(duì)魚(yú)類(lèi)特征進(jìn)行提取，同時(shí)將上一級(jí)尺度的特征作為輔助信息與當(dāng)前尺度的特征進(jìn)行結(jié)合，解決不同尺度間信息冗余問(wèn)題；之后得到的魚(yú)類(lèi)外形、水下環(huán)境、游動(dòng)姿態(tài)特征圖經(jīng)過(guò)rpn模塊初步整理預(yù)測(cè)得到魚(yú)身、魚(yú)臉、魚(yú)尾三種目標(biāo)候選區(qū)；候選區(qū)篩選模塊將這些候選區(qū)通過(guò)iou計(jì)算比對(duì)，篩選出模型檢測(cè)出的每一條魚(yú)對(duì)應(yīng)的魚(yú)身、魚(yú)臉、魚(yú)尾區(qū)域，并通過(guò)rol?align算法將特征圖對(duì)應(yīng)區(qū)域?qū)R為統(tǒng)一尺寸，得到對(duì)齊特征；對(duì)齊特征經(jīng)過(guò)fcns分割模塊對(duì)目標(biāo)區(qū)域進(jìn)行魚(yú)臉、魚(yú)尾分割；經(jīng)過(guò)fc?layers檢測(cè)識(shí)別模塊對(duì)魚(yú)身、魚(yú)臉、魚(yú)尾bbox和魚(yú)的種類(lèi)進(jìn)行檢測(cè)識(shí)別。

7.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，其特征在于，步驟4中所述將目標(biāo)區(qū)域魚(yú)類(lèi)的分割結(jié)果與深度信息進(jìn)行綜合分析，計(jì)算目標(biāo)區(qū)域魚(yú)類(lèi)的身長(zhǎng)，并對(duì)魚(yú)類(lèi)運(yùn)動(dòng)方向進(jìn)行監(jiān)測(cè)的具體過(guò)程為：在分割出的魚(yú)臉和魚(yú)尾上賦予深度信息，分別將魚(yú)頭和魚(yú)尾上的深度信息進(jìn)行兩次3x3的濾波操作；第一次濾波采用3x3中值濾波器，將誤差較大的深度信息除去；第二次濾波采用3x3均值濾波器，將深度信息進(jìn)行平滑處理；

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于雙目視覺(jué)與深度學(xué)習(xí)模型的魚(yú)類(lèi)監(jiān)測(cè)方法，所述方法包括以下步驟：步驟1、目標(biāo)區(qū)域魚(yú)類(lèi)影像數(shù)據(jù)采集；步驟2、淡水魚(yú)樣本庫(kù)構(gòu)建；步驟3、搭建魚(yú)臉魚(yú)尾識(shí)別分割模型并訓(xùn)練；步驟4、對(duì)目標(biāo)區(qū)域魚(yú)類(lèi)進(jìn)行監(jiān)測(cè)。本發(fā)明所述方法同時(shí)結(jié)合了機(jī)器視覺(jué)、測(cè)繪科學(xué)以及深度學(xué)習(xí)技術(shù)，能夠?qū)γ恳粭l魚(yú)的魚(yú)臉和魚(yú)尾進(jìn)行識(shí)別分割，并通過(guò)雙目視覺(jué)測(cè)距法計(jì)算出魚(yú)臉與魚(yú)尾的深度信息，進(jìn)行綜合分析，以此減少魚(yú)類(lèi)在水下攝像機(jī)視野范圍中因來(lái)回游蕩行為而導(dǎo)致目標(biāo)丟失的現(xiàn)象，提高了傳統(tǒng)魚(yú)類(lèi)資源獲取效率，降低了傳統(tǒng)魚(yú)類(lèi)資源監(jiān)測(cè)的成本，解決了現(xiàn)有方法易丟失魚(yú)類(lèi)目標(biāo)的難題，實(shí)用性強(qiáng)，易于推廣。

技術(shù)研發(fā)人員：彭文啟,劉曉波,董飛,劉建華,張劍楠,王威浩,曹巖,王鑫宇,張永生,汪凱奇,白冰,劉澤甫
受保護(hù)的技術(shù)使用者：中國(guó)水利水電科學(xué)研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26