基于視差的魚(yú)類運(yùn)動(dòng)三維軌跡跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其是一種通過(guò)雙目攝像頭采集魚(yú)類行為，對(duì) 魚(yú)體目標(biāo)進(jìn)行三維軌跡精確跟蹤的方法。 技術(shù)背景
[0002] 高速的經(jīng)濟(jì)發(fā)展，給環(huán)境帶來(lái)了不可避免的災(zāi)害，水體環(huán)境更是深受影響，成為污 染的最終收納者。因此，如何建立一個(gè)有效的水體環(huán)境質(zhì)量監(jiān)測(cè)系統(tǒng)，防治水體污染已經(jīng)成 為國(guó)內(nèi)外所密切關(guān)注的問(wèn)題。積極投入對(duì)水體質(zhì)量關(guān)注和水體安全進(jìn)行可靠監(jiān)測(cè)和及時(shí) 預(yù)警，使水體質(zhì)量的管理工作和水體污染防治方法的研宄也越來(lái)越凸顯其重要性。水體環(huán) 境監(jiān)測(cè)普遍應(yīng)用的是生物式方法，即把生物體監(jiān)測(cè)技術(shù)與環(huán)境科學(xué)相結(jié)合。目前中外環(huán)境 科學(xué)研宄領(lǐng)域普遍關(guān)注于利用生物式監(jiān)測(cè)技術(shù)建立水體環(huán)境安全預(yù)警系統(tǒng)。生物監(jiān)測(cè)技術(shù) 及水體環(huán)境預(yù)警的理論把利用行為反應(yīng)進(jìn)行迅速直觀的監(jiān)測(cè)變?yōu)榭赡?，從而反映水體環(huán)境 變化對(duì)水生生物生存狀態(tài)的影響。利用某些魚(yú)類對(duì)水體化學(xué)成分的變化應(yīng)激反應(yīng)靈敏的特 點(diǎn)，應(yīng)用于水體中污染成分的研宄，不僅可以得出水體中單種污染物的作用效應(yīng)，也可以反 映出多種成分的混合污染，可以作為評(píng)價(jià)水體污染的綜合指標(biāo)，因此，環(huán)境改變導(dǎo)致魚(yú)類行 為的變化可以作為我們監(jiān)測(cè)水體污染的科學(xué)依據(jù)和良好的實(shí)驗(yàn)材料。尤其是隨著計(jì)算機(jī)視 覺(jué)技術(shù)的發(fā)展，采用基于視頻監(jiān)測(cè)技術(shù)對(duì)水生生物進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤，以確定生物的行為 變化。這種方法的優(yōu)點(diǎn)是操作過(guò)程簡(jiǎn)單快捷，能實(shí)時(shí)地對(duì)水體環(huán)境質(zhì)量進(jìn)行監(jiān)測(cè)。魚(yú)類是 生物監(jiān)測(cè)在水體環(huán)境污染研宄中應(yīng)用最廣泛的水生生物之一。龔瑞忠在TL86型魚(yú)類回避 槽中研宄了鯽魚(yú)對(duì)4種農(nóng)藥不同濃度時(shí)的回避反應(yīng)；程煒軒，梁旭方等研宄了斑馬魚(yú)和鰱 魚(yú)對(duì)微囊藻毒素與孔雀石綠的行為反應(yīng)，他們發(fā)現(xiàn)斑馬魚(yú)和鰱魚(yú)的擺尾頻率和游泳速度等 行為指標(biāo)在兩種物質(zhì)較高濃度浸泡下均有顯著性的下降；Craig W. Steele以鯰魚(yú)作為研宄 對(duì)象，探討了其在Cu亞致死濃度下運(yùn)動(dòng)行為的變化；Bengt Erik Bengtsson研宄了鋅對(duì)米 諾魚(yú)運(yùn)動(dòng)方式的影響；盧煥達(dá)等人利用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)獲取魚(yú)類的運(yùn)動(dòng)參數(shù)變化來(lái)監(jiān)測(cè) 水質(zhì)變化；Heng Ma等利用魚(yú)的運(yùn)動(dòng)軌跡區(qū)域范圍的異常來(lái)監(jiān)測(cè)水質(zhì)。現(xiàn)有的一切研宄都 是建立在魚(yú)類二維行為的基礎(chǔ)之上的，能夠準(zhǔn)確快速地檢測(cè)出魚(yú)體目標(biāo)并跟蹤其三維軌跡 會(huì)對(duì)各項(xiàng)魚(yú)類行為研宄帶來(lái)巨大的進(jìn)展。
[0003] 在所用的二維魚(yú)類行為監(jiān)測(cè)方法中，能夠快速有效提取魚(yú)類行為信息，在復(fù)雜背 景下魚(yú)體檢測(cè)較好、實(shí)現(xiàn)簡(jiǎn)單、計(jì)算量小，在環(huán)境比較理想的情況下能夠精確地檢測(cè)魚(yú)類目 標(biāo)的位置及運(yùn)動(dòng)軌跡。但是在實(shí)際監(jiān)測(cè)魚(yú)類運(yùn)動(dòng)中，二維運(yùn)動(dòng)軌跡不能準(zhǔn)確地描述實(shí)體魚(yú) 類運(yùn)動(dòng)特征，沒(méi)有三維深度信息，魚(yú)類運(yùn)動(dòng)軌跡不能準(zhǔn)確、有效地反應(yīng)水質(zhì)變化對(duì)其的影 響。

【發(fā)明內(nèi)容】

[0004] 為了在生物式水質(zhì)檢測(cè)過(guò)程中準(zhǔn)確快速地捕捉、跟蹤并監(jiān)測(cè)魚(yú)類運(yùn)動(dòng)目標(biāo)，同時(shí)， 克服單個(gè)攝像頭拍攝的魚(yú)類只能還原其平面二維信息而丟失魚(yú)體的深度信息問(wèn)題。本發(fā)明 基于視差法，利用雙目攝像機(jī)從二維圖像感知魚(yú)類三維空間信息，獲得魚(yú)類三維軌跡，能夠 準(zhǔn)確檢測(cè)魚(yú)類目標(biāo)的立體運(yùn)動(dòng)狀態(tài)并進(jìn)行跟蹤。
[0005] 為了解決上述存在的技術(shù)問(wèn)題，本發(fā)明采用下述技術(shù)方案：
[0006] -種基于視差的魚(yú)類運(yùn)動(dòng)三維軌跡跟蹤方法，其內(nèi)容包括以下步驟：
[0007] -、攝像頭標(biāo)定
[0008] 雙目攝像機(jī)固定后，首先對(duì)雙目攝像頭進(jìn)行標(biāo)定，得到左、右攝像頭的內(nèi)部參數(shù)和 外部參數(shù)；
[0009] 二、圖像采集
[0010] 將標(biāo)定好的左、右兩個(gè)攝像頭同時(shí)拍攝一段時(shí)間魚(yú)類運(yùn)動(dòng)讀入計(jì)算機(jī)；
[0011] 三、圖像預(yù)處理
[0012] 對(duì)左、右兩個(gè)攝像頭拍攝的圖像分別進(jìn)行預(yù)處理：
[0013] ①進(jìn)行灰度化處理；
[0014] ②進(jìn)行二值化處理；
[0015] ③進(jìn)行膨脹與腐蝕處理；
[0016] 四、質(zhì)心跟蹤
[0017] 把經(jīng)過(guò)圖像預(yù)處理后的完整的魚(yú)體利用質(zhì)心算法進(jìn)行質(zhì)心提取，得出質(zhì)心橫、縱 坐標(biāo)，分別跟蹤左右攝像頭拍攝的魚(yú)類質(zhì)心的二維軌跡；
[0018] 五、三維軌跡
[0019] 利用視差法原理計(jì)算出運(yùn)動(dòng)目標(biāo)的空間三維坐標(biāo)點(diǎn)，通過(guò)雙目攝像頭所得的目標(biāo) 二維質(zhì)心坐標(biāo)位置，從而得出目標(biāo)的空間三維坐標(biāo)點(diǎn)，并跟蹤其三維軌跡。
[0020] 所述的質(zhì)心算法是對(duì)二維序列圖像進(jìn)行分割獲取目標(biāo)后，計(jì)算運(yùn)動(dòng)目標(biāo)質(zhì)心位置 坐標(biāo)的一種算法，該算法的關(guān)鍵是運(yùn)動(dòng)目標(biāo)的精確提取，然后對(duì)其進(jìn)行二值化處理。二值化 的公式如下：
【主權(quán)項(xiàng)】
1. 一種基于視差的魚(yú)類運(yùn)動(dòng)三維軌跡跟蹤方法，其特征在于該方法內(nèi)容包括以下步 驟： 一、 攝像頭標(biāo)定 雙目攝像機(jī)固定后，首先對(duì)雙目攝像頭進(jìn)行標(biāo)定，得到左、右攝像頭的內(nèi)部參數(shù)和外部 參數(shù)； 二、 圖像采集 將標(biāo)定好的左、右兩個(gè)攝像頭同時(shí)連續(xù)拍攝七十幀圖像，并存入計(jì)算機(jī)； 三、 圖像預(yù)處理 將步驟二獲取的圖像依次進(jìn)行如下操作： 進(jìn)行灰度化處理，把彩色圖像變成灰度圖像； 進(jìn)行二值化處理，把灰度圖像變?yōu)楹诎讏D像； 進(jìn)行形態(tài)學(xué)運(yùn)算的膨脹與腐蝕處理，用結(jié)構(gòu)元素進(jìn)行開(kāi)運(yùn)算來(lái)消除圖像背景中與結(jié)構(gòu) 元素不符的部分；再進(jìn)行閉運(yùn)算得到背景與原圖像相似的背景圖像； 四、 質(zhì)心跟蹤 把經(jīng)過(guò)步驟三圖像預(yù)處理后的完整的魚(yú)體利用質(zhì)心算法進(jìn)行質(zhì)心提?。坏贸鲑|(zhì)心橫、 縱坐標(biāo)，分別跟蹤左、右攝像頭拍攝的魚(yú)類質(zhì)心的二維軌跡； 五、 三維軌跡 利用視差法原理計(jì)算出運(yùn)動(dòng)目標(biāo)的空間三維坐標(biāo)點(diǎn)，通過(guò)雙目攝像頭所得的目標(biāo)二維 質(zhì)心坐標(biāo)位置，從而得出目標(biāo)的空間三維坐標(biāo)點(diǎn)，并跟蹤其三維軌跡。
2. 根據(jù)權(quán)利要求1所述的一種基于視差的魚(yú)類運(yùn)動(dòng)三維軌跡跟蹤方法，其特征在于： 所述的質(zhì)心算法是對(duì)二維序列圖像進(jìn)行分割獲取目標(biāo)后，計(jì)算運(yùn)動(dòng)目標(biāo)質(zhì)心位置坐標(biāo)的一 種算法，該算法的關(guān)鍵是運(yùn)動(dòng)目標(biāo)的精確提取，然后對(duì)其進(jìn)行二值化處理。二值化的公式如 下：
(1) 式中，（X，y)處的灰度值是f (X，y)，二值化的灰度閾值是T。由二值化的結(jié)果f (X，y) 計(jì)算運(yùn)動(dòng)目標(biāo)的質(zhì)心位置：
(2) 式中，N、M是圖像在長(zhǎng)寬方向上的像素點(diǎn)數(shù)，X。、y。是運(yùn)動(dòng)目標(biāo)的質(zhì)心位置坐標(biāo)。
3. 根據(jù)權(quán)利要求1所述的一種基于視差的魚(yú)類運(yùn)動(dòng)三維軌跡跟蹤方法，其特征在于： 所述的利用視差法原理計(jì)算出運(yùn)動(dòng)目標(biāo)的三維坐標(biāo)位置，就是參照行對(duì)準(zhǔn)的平行雙目視覺(jué) 模型，假定P為空間坐標(biāo)中的某一點(diǎn)，以左攝像機(jī)為視界坐標(biāo)系，則點(diǎn)在左攝像機(jī)下的坐標(biāo) 為P (X，Y，Z，1)，在右攝像機(jī)下的坐標(biāo)為P (x-b，Y，Z，1)，其中b表示基線，即左右攝像機(jī)投影 中心距離；經(jīng)過(guò)校正后，P點(diǎn)在左右圖像中的映射匹配點(diǎn)對(duì)為已=(u 2, v2, 1)τ，令d = U1-U2, 利用三角形原理得：
當(dāng)空間點(diǎn)對(duì)在左、右成像圖像中嚴(yán)格行對(duì)準(zhǔn)時(shí)，且在圖像坐標(biāo)值u，V己知的情況下，能 夠利用空間點(diǎn)在左右圖像中成像點(diǎn)之間的視差，即能求出空間點(diǎn)的三維坐標(biāo)。
【專利摘要】本發(fā)明公開(kāi)了一種基于視差的魚(yú)類運(yùn)動(dòng)三維軌跡跟蹤方法，其內(nèi)容是首先對(duì)輸入的兩攝像頭采集圖像進(jìn)行直方圖均衡化和差分運(yùn)算，得到圖像中的魚(yú)體運(yùn)動(dòng)區(qū)域，依據(jù)運(yùn)動(dòng)區(qū)域的灰度信息，快速有效地從原圖像中提取出魚(yú)體的輪廓；其次，利用質(zhì)心跟蹤算法從輪廓圖像中自動(dòng)抽取其形心；再把兩個(gè)質(zhì)心利用視差法進(jìn)行三維重建；最后，把所有的三維點(diǎn)組合起來(lái)，從而得到立體視覺(jué)下魚(yú)的三維運(yùn)動(dòng)軌跡。本發(fā)明方法能夠在生物式水質(zhì)監(jiān)測(cè)過(guò)程中，適用于復(fù)雜環(huán)境，跟蹤目標(biāo)精準(zhǔn)、能在三維空間觀察魚(yú)類運(yùn)動(dòng)軌跡，及時(shí)反映水質(zhì)變化對(duì)魚(yú)類運(yùn)動(dòng)的反應(yīng)結(jié)果。
【IPC分類】G06T7-20
【公開(kāi)號(hào)】CN104680556
【申請(qǐng)?zhí)枴緾N201510086329
【發(fā)明人】程淑紅, 果佳良, 劉潔, 李雷華
【申請(qǐng)人】燕山大學(xué)
【公開(kāi)日】2015年6月3日
【申請(qǐng)日】2015年2月16日