專利名稱：一種具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視覺系統(tǒng)技術(shù)，具體涉及具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)，適用于安裝在無人艇上的視覺導(dǎo)航或監(jiān)控系統(tǒng)，也可用于無人車和無人機(jī)視覺系統(tǒng)。
背景技術(shù)：
視覺導(dǎo)航在地面無人車和空中無人機(jī)中已有成功的應(yīng)用，近年來人們?cè)噲D將該技術(shù)應(yīng)用于水面無人艇的導(dǎo)航，但陸上標(biāo)定好的視覺系統(tǒng)經(jīng)無人艇的運(yùn)輸、吊裝、布放或風(fēng)浪引起的顛簸，標(biāo)定參數(shù)會(huì)發(fā)生變化；視覺系統(tǒng)受水面反光的影響，實(shí)際工作環(huán)境與陸上標(biāo)定環(huán)境不同，標(biāo)定參數(shù)也存在偏差；因此，人們希望能夠?qū)σ曈X系統(tǒng)的標(biāo)定參數(shù)進(jìn)行實(shí)時(shí)監(jiān)控，當(dāng)標(biāo)定參數(shù)出現(xiàn)較大的變化時(shí)能夠?qū)σ曈X系統(tǒng)進(jìn)行在線標(biāo)定。針對(duì)視覺系統(tǒng)的在線標(biāo)定問題,Fitzgibbon等人提出一種基于相同型號(hào)攝像機(jī)內(nèi)參數(shù)先驗(yàn)概率分布的在線標(biāo)定方法(Online camera calibration,United States Patent,US7671891B2，2010)，但這種方法需要對(duì)相同型號(hào)的較多攝像機(jī)進(jìn)行標(biāo)定，求得內(nèi)參數(shù)的先驗(yàn)概率分布，這難以做到準(zhǔn)確；特別是對(duì)于需要變焦的視覺系統(tǒng)，求先驗(yàn)概率分布的工作量很大，不便于實(shí)現(xiàn)。因此，本領(lǐng)域希望具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有視覺系統(tǒng)計(jì)算工作量大，缺乏參數(shù)實(shí)時(shí)監(jiān)控和在線標(biāo)定功能而影響視覺計(jì)算準(zhǔn)確度等問題，提供了一種具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)，該系統(tǒng)不需通過統(tǒng)計(jì)方法求取攝像機(jī)內(nèi)參數(shù)的先驗(yàn)概率分布，當(dāng)視覺系統(tǒng)在實(shí)際條件下工作時(shí)，能夠?qū)z像機(jī)的內(nèi)外參數(shù)進(jìn)行實(shí)時(shí)監(jiān)控和在線標(biāo)定。為了達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案一種具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)，所述視覺系統(tǒng)包括圖像分割模塊，所述圖像分割模塊將采集到的圖像分割為監(jiān)測(cè)標(biāo)定區(qū)和場(chǎng)景重建區(qū)，所述監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像用于視覺系統(tǒng)的參數(shù)實(shí)時(shí)監(jiān)測(cè)和在線標(biāo)定，所述場(chǎng)景重建區(qū)內(nèi)的圖像用于視覺計(jì)算；標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊，所述標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊對(duì)監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像進(jìn)行實(shí)時(shí)特征點(diǎn)提??；重建區(qū)域圖像特征點(diǎn)提取模塊，所述重建區(qū)域圖像特征點(diǎn)提取 模塊對(duì)場(chǎng)景重建區(qū)的圖像進(jìn)行特征點(diǎn)提?。徽`差計(jì)算模塊，所述誤差計(jì)算模塊用于將標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊實(shí)時(shí)提取的圖像特征點(diǎn)與上次標(biāo)定的特征點(diǎn)進(jìn)行比較，獲取特征點(diǎn)誤差；視覺計(jì)算模塊，所述視覺計(jì)算模塊在誤差計(jì)算模塊計(jì)算得到的誤差小于設(shè)定的閾值時(shí)，根據(jù)提取的場(chǎng)景重建區(qū)的圖像的特征點(diǎn)與上次標(biāo)定的攝像機(jī)內(nèi)外參數(shù)進(jìn)行視覺計(jì)算，輸出視覺目標(biāo)的位置、尺度等場(chǎng)景信息；在線標(biāo)定模塊，所述在線標(biāo)定模塊在誤差計(jì)算模塊計(jì)算得到的誤差大于等于設(shè)定的閾值時(shí)，應(yīng)用監(jiān)測(cè)標(biāo)定區(qū)內(nèi)實(shí)時(shí)提取的特征點(diǎn)，對(duì)視覺系統(tǒng)進(jìn)行標(biāo)定；更新模塊，所述更新模塊根據(jù)在線標(biāo)定模塊標(biāo)定結(jié)果，更新監(jiān)測(cè)標(biāo)定區(qū)的標(biāo)定特征點(diǎn)和攝像機(jī)的內(nèi)外參數(shù)。本發(fā)明當(dāng)視覺系統(tǒng)在實(shí)際條件下工作時(shí)，能夠?qū)z像機(jī)的內(nèi)外參數(shù)進(jìn)行實(shí)時(shí)監(jiān)控和在線標(biāo)定，有效保證視覺計(jì)算的準(zhǔn)確度。
以下結(jié)合附圖和具體實(shí)施方式
來進(jìn)一步說明本發(fā)明。
圖I為本發(fā)明的系統(tǒng)框圖。圖2為本發(fā)明的原理圖。圖3為本發(fā)明一個(gè)實(shí)時(shí)方案中視覺系統(tǒng)采集的一幀圖像的示意圖。
具體實(shí)施例方式為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體圖示，進(jìn)一步闡述本發(fā)明。為了避免在視覺系統(tǒng)參數(shù)未發(fā)生變化時(shí)對(duì)系統(tǒng)進(jìn)行在線標(biāo)定需要的資源浪費(fèi)，以及當(dāng)視覺系統(tǒng)參數(shù)發(fā)生了變化但未對(duì)系統(tǒng)進(jìn)行重新標(biāo)定而影響視覺計(jì)算準(zhǔn)確度等問題，本發(fā)明提供一種具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)。參見

圖1，其所示為本發(fā)明具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)框圖，由圖可知，本發(fā)明提供的系統(tǒng)100包括圖像分割模塊101、標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊102、重建區(qū)域圖像特征點(diǎn)提取模塊103、誤差計(jì)算模塊104、視覺計(jì)算模塊105、在線標(biāo)定模塊106以及更新模塊107。圖像分割模塊，用于將采集到的圖像分割為監(jiān)測(cè)標(biāo)定區(qū)和場(chǎng)景重建區(qū)，其中監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像用于視覺系統(tǒng)的參數(shù)實(shí)時(shí)監(jiān)測(cè)和在線標(biāo)定，而場(chǎng)景重建區(qū)內(nèi)的圖像用于視覺計(jì)算。標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊，用于對(duì)監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像進(jìn)行實(shí)時(shí)特征點(diǎn)提取。重建區(qū)域圖像特征點(diǎn)提取模塊，用于對(duì)場(chǎng)景重建區(qū)的圖像進(jìn)行特征點(diǎn)提取。誤差計(jì)算模塊，用于將標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊實(shí)時(shí)提取的圖像特征點(diǎn)與上次標(biāo)定的特征點(diǎn)進(jìn)行比較，獲取特征點(diǎn)誤差。視覺計(jì)算模塊，該模塊在誤差計(jì)算模塊計(jì)算得到的誤差小于設(shè)定的閾值時(shí)，根據(jù)提取的場(chǎng)景重建區(qū)的圖像的特征點(diǎn)與上次標(biāo)定的攝像機(jī)內(nèi)外參數(shù)進(jìn)行視覺計(jì)算，輸出視覺目標(biāo)的位置、尺度等場(chǎng)景信息。在線標(biāo)定模塊，該模塊在誤差計(jì)算模塊計(jì)算得到的誤差大于等于設(shè)定的閾值時(shí)，應(yīng)用監(jiān)測(cè)標(biāo)定區(qū)內(nèi)實(shí)時(shí)提取的特征點(diǎn)，對(duì)視覺系統(tǒng)進(jìn)行標(biāo)定。更新模塊，根據(jù)在線標(biāo)定模塊標(biāo)定結(jié)果，更新監(jiān)測(cè)標(biāo)定區(qū)的標(biāo)定特征點(diǎn)和攝像機(jī)的內(nèi)外參數(shù)。
基于上述方案得到的系統(tǒng)，其工作原理如下(參見圖2)(I)將采集的圖像分割為監(jiān)測(cè)標(biāo)定區(qū)和視覺重建區(qū)，其中監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像用于視覺系統(tǒng)的參數(shù)實(shí)時(shí)監(jiān)測(cè)和在線標(biāo)定，視覺重建區(qū)內(nèi)的圖像用于視覺計(jì)算；(2)對(duì)監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像進(jìn)行實(shí)時(shí)特征點(diǎn)提取，并與上次標(biāo)定的特征點(diǎn)進(jìn)行比較，計(jì)算得到特征點(diǎn)誤差，并根據(jù)特征點(diǎn)誤差選擇后續(xù)運(yùn)行的模塊；(3)當(dāng)步驟⑵中計(jì)算得到的特征點(diǎn)誤差小于設(shè)定閾值時(shí)，對(duì)場(chǎng)景重建區(qū)的圖像進(jìn)行特征點(diǎn)提取，并應(yīng)用上次標(biāo)定的攝像機(jī)內(nèi)外參數(shù)進(jìn)行視覺計(jì)算，輸出視覺目標(biāo)的位置、 尺度等場(chǎng)景信息；(4)當(dāng)步驟(2)中計(jì)算得到的特征點(diǎn)誤差大于或等于設(shè)定閾值時(shí)，應(yīng)用監(jiān)測(cè)標(biāo)定區(qū)內(nèi)實(shí)時(shí)提取的特征點(diǎn)，對(duì)視覺系統(tǒng)進(jìn)行標(biāo)定，根據(jù)標(biāo)定結(jié)果，更新監(jiān)測(cè)標(biāo)定區(qū)的標(biāo)定特征點(diǎn)和攝像機(jī)的內(nèi)外參數(shù)；(5)重復(fù)步驟⑵。基于上述原理，本發(fā)明的一個(gè)實(shí)施方案如下參見圖3，其所示為本發(fā)明應(yīng)用在無人水面艇上的一個(gè)實(shí)施方案中視覺系統(tǒng)采集的圖像不意圖。該實(shí)例中將視覺系統(tǒng)采集的圖像300分割為監(jiān)測(cè)標(biāo)定區(qū)302和視覺重建區(qū)301。其中監(jiān)測(cè)標(biāo)定區(qū)302顯示與視覺系統(tǒng)相對(duì)位置固定不變的標(biāo)定物的圖像303，用于對(duì)視覺系統(tǒng)的參數(shù)實(shí)時(shí)監(jiān)測(cè)和在線標(biāo)定；視覺重建區(qū)301顯示視覺系統(tǒng)所采集圖像300中除所述監(jiān)測(cè)標(biāo)定區(qū)302外的部分，是視覺系統(tǒng)觀測(cè)到周圍場(chǎng)景的成像區(qū)域，用于視覺計(jì)算。由于視覺系統(tǒng)中的標(biāo)定物上的特征點(diǎn)既用于參數(shù)實(shí)時(shí)監(jiān)測(cè)，又用于在線標(biāo)定，因此具有6個(gè)以上的特征點(diǎn)，所述特征點(diǎn)優(yōu)選均勻分布在標(biāo)定物的三個(gè)互相垂直的平面內(nèi)；在該實(shí)施方案中，采用的標(biāo)定物是表面為彩色方格的立方體結(jié)構(gòu)，三個(gè)可見的表面分別為紅白相間、綠白相間和藍(lán)白相間的方格，以便于方格角點(diǎn)的提取。標(biāo)定物尺寸和安裝位置的選擇，使監(jiān)測(cè)標(biāo)定區(qū)內(nèi)相鄰兩個(gè)特征點(diǎn)之間的距離不小于一定值，優(yōu)選不小于20個(gè)象素，以便于特征點(diǎn)的提?。辉谠搶?shí)施方案中，標(biāo)定物安裝在無人艇的艇艏，視覺系統(tǒng)安裝在無人艇中部控制艙的頂部，監(jiān)測(cè)標(biāo)定區(qū)302的寬度和高度約分別為整幅圖像的四分之一。完成上述設(shè)定后，對(duì)監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像進(jìn)行實(shí)時(shí)特征點(diǎn)提取，可采用計(jì)算機(jī)視覺領(lǐng)域現(xiàn)有的特征點(diǎn)提取方法，在該實(shí)施方案中，采用Harris角點(diǎn)提取方法提取監(jiān)測(cè)標(biāo)定區(qū)302內(nèi)的特征點(diǎn)。將提取的特征點(diǎn)與上次標(biāo)定后存儲(chǔ)的特征點(diǎn)進(jìn)行比較，計(jì)算特征點(diǎn)誤差之和，作為選擇后續(xù)運(yùn)行的模塊的判別量；當(dāng)計(jì)算得到的特征點(diǎn)誤差之和小于設(shè)定閾值時(shí)，說明攝像機(jī)參數(shù)未變化，選擇視覺計(jì)算模塊進(jìn)行視覺計(jì)算，可利用計(jì)算機(jī)視覺領(lǐng)域現(xiàn)有的特征點(diǎn)提取方法對(duì)場(chǎng)景重建區(qū)的圖像進(jìn)行特征點(diǎn)提取，該實(shí)施方案中，采用Harris角點(diǎn)提取方法；再應(yīng)用上次標(biāo)定后存儲(chǔ)的攝像機(jī)內(nèi)外參數(shù)和計(jì)算機(jī)視覺領(lǐng)域現(xiàn)有的視覺計(jì)算方法進(jìn)行場(chǎng)景的視覺計(jì)算，在該實(shí)施方案中，雖然僅示出一幅圖像，系統(tǒng)采用的是雙目視覺，具有兩臺(tái)平行配置的攝像機(jī)，視覺計(jì)算采用的是基于平行軸立體視覺的計(jì)算方法，根據(jù)需要輸出視覺目標(biāo)的位置、尺度等場(chǎng)景f目息;
當(dāng)計(jì)算得到的特征點(diǎn)誤差之和大于或等于設(shè)定閾值時(shí)，說明視覺系統(tǒng)的內(nèi)參數(shù)或外參數(shù)發(fā)生了變化，需要重新進(jìn)行標(biāo)定；應(yīng)用前面實(shí)時(shí)提取的特征點(diǎn)，對(duì)視覺系統(tǒng)進(jìn)行標(biāo)定，在該實(shí)施方案中，采用R. Y. Tsai的標(biāo)定方法，對(duì)雙目視覺系統(tǒng)中的兩臺(tái)攝像機(jī)進(jìn)行標(biāo)定，根據(jù)標(biāo)定結(jié)果，更新監(jiān)測(cè)標(biāo)定區(qū)的標(biāo)定特征點(diǎn)和攝像機(jī)的內(nèi)外參數(shù)。上述實(shí)例中視覺系統(tǒng)具有參數(shù)的實(shí)時(shí)監(jiān)測(cè)功能和在線標(biāo)定功能，保證視覺計(jì)算結(jié)果的準(zhǔn)確度，節(jié)省系統(tǒng)資源。 以上顯示和描述了本發(fā)明的基本原理、主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。
權(quán)利要求
1. 一種具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)，其特征在于，所述視覺系統(tǒng)包括 圖像分割模塊，所述圖像分割模塊將采集到的圖像分割為監(jiān)測(cè)標(biāo)定區(qū)和場(chǎng)景重建區(qū)，所述監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像用于視覺系統(tǒng)的參數(shù)實(shí)時(shí)監(jiān)測(cè)和在線標(biāo)定，所述場(chǎng)景重建區(qū)內(nèi)的圖像用于視覺計(jì)算； 標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊，所述標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊對(duì)監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像進(jìn)行實(shí)時(shí)特征點(diǎn)提??； 重建區(qū)域圖像特征點(diǎn)提取模塊，所述重建區(qū)域圖像特征點(diǎn)提取模塊對(duì)場(chǎng)景重建區(qū)的圖像進(jìn)行特征點(diǎn)提??； 誤差計(jì)算模塊，所述誤差計(jì)算模塊用于將標(biāo)定區(qū)域圖像特征點(diǎn)提取模塊實(shí)時(shí)提取的圖像特征點(diǎn)與上次標(biāo)定的特征點(diǎn)進(jìn)行比較，獲取特征點(diǎn)誤差； 視覺計(jì)算模塊，所述視覺計(jì)算模塊在誤差計(jì)算模塊計(jì)算得到的誤差小于設(shè)定的閾值時(shí)，根據(jù)提取的場(chǎng)景重建區(qū)的圖像的特征點(diǎn)與上次標(biāo)定的攝像機(jī)內(nèi)外參數(shù)進(jìn)行視覺計(jì)算，輸出視覺目標(biāo)的位置、尺度等場(chǎng)景信息； 在線標(biāo)定模塊，所述在線標(biāo)定模塊在誤差計(jì)算模塊計(jì)算得到的誤差大于等于設(shè)定的閾值時(shí)，應(yīng)用監(jiān)測(cè)標(biāo)定區(qū)內(nèi)實(shí)時(shí)提取的特征點(diǎn)，對(duì)視覺系統(tǒng)進(jìn)行標(biāo)定； 更新模塊，所述更新模塊根據(jù)在線標(biāo)定模塊標(biāo)定結(jié)果，更新監(jiān)測(cè)標(biāo)定區(qū)的標(biāo)定特征點(diǎn)和攝像機(jī)的內(nèi)外參數(shù)。
全文摘要
本發(fā)明涉及一種具有實(shí)時(shí)參數(shù)監(jiān)控和在線標(biāo)定功能的視覺系統(tǒng)，其將采集的圖像分割為監(jiān)測(cè)標(biāo)定區(qū)和視覺重建區(qū)；對(duì)監(jiān)測(cè)標(biāo)定區(qū)內(nèi)的圖像進(jìn)行實(shí)時(shí)特征點(diǎn)提取，并與上次標(biāo)定的特征點(diǎn)進(jìn)行比較；當(dāng)特征點(diǎn)的誤差小于設(shè)定閾值時(shí)，對(duì)場(chǎng)景重建區(qū)的圖像進(jìn)行特征點(diǎn)提取，并應(yīng)用上次標(biāo)定的攝像機(jī)內(nèi)外參數(shù)進(jìn)行視覺計(jì)算，輸出視覺目標(biāo)的位置、尺度等場(chǎng)景信息；當(dāng)特征點(diǎn)的誤差大于或等于設(shè)定閾值時(shí)，應(yīng)用監(jiān)測(cè)標(biāo)定區(qū)內(nèi)實(shí)時(shí)提取的特征點(diǎn)，對(duì)視覺系統(tǒng)進(jìn)行標(biāo)定，根據(jù)標(biāo)定結(jié)果，更新監(jiān)測(cè)標(biāo)定區(qū)的標(biāo)定特征點(diǎn)和攝像機(jī)的內(nèi)外參數(shù)，完成視覺計(jì)算、參數(shù)監(jiān)控和在線標(biāo)定的功能。本發(fā)明的視覺系統(tǒng)具有參數(shù)的實(shí)時(shí)監(jiān)測(cè)功能和在線標(biāo)定功能，保證視覺計(jì)算結(jié)果的準(zhǔn)確度，節(jié)省系統(tǒng)資源。
文檔編號(hào)G06T7/00GK102646277SQ20121005492
公開日2012年8月22日 申請(qǐng)日期2012年3月5日 優(yōu)先權(quán)日2012年3月5日
發(fā)明者劉昭, 周賢文, 沈愛弟, 牛王強(qiáng), 王建華, 高迪駒 申請(qǐng)人:上海海事大學(xué)