本發(fā)明涉及攝影攝像領(lǐng)域的圖像校正技術(shù),更詳而言之涉及一畸變圖像校正方法及其定位方法。
背景技術(shù):
攝影、攝像在現(xiàn)代人的日常生活和工作中占據(jù)非常重要的地位,已成為人們生活工作、生活中不可或缺的一部分。
人們已經(jīng)習(xí)慣利用具有攝影、攝像功能的電子設(shè)備記錄生活中的點(diǎn)點(diǎn)滴滴。人們喜歡并需要這樣的一種工具來記錄孩子的成長(zhǎng)、親朋好友的相聚以及美好的風(fēng)景等生活中值得紀(jì)念的一些瞬間、一段時(shí)光、一處景致。
隨著人們對(duì)攝影攝像技術(shù)的需求日益多樣化,各種各樣的攝影攝像鏡頭被人們使用并喜愛。例如,為使攝影攝像設(shè)備能夠具有更廣闊的視野空間,“畸變圖像”應(yīng)運(yùn)而生。畸變圖像具有焦距短、視場(chǎng)大的特點(diǎn),在全方位視覺系統(tǒng)有廣泛的市場(chǎng)需求。
畸變圖像能夠達(dá)到接近或者大于180°的超大視角,所以利用畸變圖像能夠撲捉更大范圍的景象,因此,畸變圖像具有巨大的潛在應(yīng)用價(jià)值。例如,將畸變圖像應(yīng)用于一些公共場(chǎng)合的視頻監(jiān)控系統(tǒng),采用吸頂?shù)陌惭b方式,則可以使整個(gè)區(qū)域的景象被記錄。這樣人們就不需要在不同的區(qū)域安裝多個(gè)監(jiān)控?cái)z像頭,以節(jié)約空間、資源及使用成本。又例如人們?cè)谌粘I钪锌倳?huì)遇到這種情況,明明感覺眼前的景致很美,卻怎么也不能用手中的攝影攝像設(shè)備將其記錄下來,這很大一部分原因是攝影攝像設(shè)備的視角能力不能達(dá)到人眼所能看到的范圍。
雖然畸變圖像具有視場(chǎng)大的優(yōu)點(diǎn),能夠達(dá)到甚至超出人眼所能看到的范圍,但是畸變圖像的這種超大的視角是通過犧牲被拍攝物以其原有形態(tài)呈現(xiàn)來達(dá)到的。也就是說,利用畸變圖像所拍攝的圖像發(fā)生了畸變。魚眼圖像輪廓呈現(xiàn)為圓形結(jié)構(gòu)?;儓D像在接近被攝物拍攝時(shí)能造成非常強(qiáng)烈的透視效果,強(qiáng)調(diào)被攝物近大遠(yuǎn)小的對(duì)比,使所攝畫面具有一種震撼人心的感染力,因此而備受攝像愛好 者的喜愛。但是,這種畸變的圖像除了能增強(qiáng)藝術(shù)感染力之外,多是不被人們所需要的。例如,現(xiàn)今生活中隨處可見的監(jiān)控?cái)z像頭在一些必要的場(chǎng)所設(shè)置,能夠幫助人們約束日常行為。一些監(jiān)控記錄甚至有可能成為事實(shí)認(rèn)定的有效證據(jù)。但是這種變形的畫面往往會(huì)影響一些細(xì)節(jié)的認(rèn)定。
即便畸變的圖像能夠給人以藝術(shù)感染力,許多消費(fèi)者還是希望這些畸變的圖像能夠被還原為其原本的面目。無論是用來紀(jì)念還是用來與畸變圖像進(jìn)行對(duì)比,都具有非常重要的意義是應(yīng)用價(jià)值。因此,畸變圖像的校正技術(shù)深受研發(fā)人員的關(guān)注。
魚眼圖像校正的前提就是魚眼圖像的輪廓提取。目前常用的魚眼圖像輪廓提取方法有面積統(tǒng)計(jì)法、掃描線逼近法、區(qū)域生長(zhǎng)法。這幾種方法各有優(yōu)劣,但也都存在著一些缺點(diǎn),不能完全準(zhǔn)確定位魚眼圖像的圓心坐標(biāo)和半徑,適用范圍也有局限性。
在魚眼圖像的畸變校正上,目前的方法主要可以歸納為3D校正和2D校正。該領(lǐng)域主要的方法包括基于球面透視投影模型校正方法、基于二次曲面透視模型校正方法、基于圓分割的魚眼圖像畸變校正方法、基于幾何性質(zhì)的魚眼圖像平面校正方法等等。上述的這些方法,都各有優(yōu)缺點(diǎn),在計(jì)算復(fù)雜度和校正效果上,都沒有完全符合高清視頻的實(shí)時(shí)校正要求,在現(xiàn)實(shí)應(yīng)用上都還存在著一定的距離。
魚眼圖像的實(shí)時(shí)校正對(duì)于消費(fèi)者及時(shí)獲得校正圖像具有重要的意義。尤其是對(duì)于魚眼視頻圖像的校正具有重要的意義。當(dāng)前迫切需要一種實(shí)時(shí)高效的高清魚眼視頻的校正方法。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的主要目的在于提供一畸變圖像校正方法及其定位方法,其中該定位方法能夠準(zhǔn)確定位魚眼圖像的圓心和半徑。
本發(fā)明的另一目的在于提供一畸變圖像校正方法,其中該方法具有校正速度快、校正效果好的特點(diǎn)。
本發(fā)明的另一目的在于提供一畸變圖像校正方法,其中該方法能夠被用于對(duì)魚眼圖像進(jìn)行校正。
本發(fā)明的另一目的在于提供一畸變圖像校正方法,其中該方法適合被用于對(duì)魚眼圖像進(jìn)行實(shí)時(shí)校正。
本發(fā)明的另一目的在于提供一畸變圖像校正方法,其中該方法能夠被用于對(duì)多路魚眼圖像進(jìn)行校正。
本發(fā)明的另一目的在于提供一畸變圖像校正方法,其中該方法充分考慮了魚眼圖像輪廓所呈現(xiàn)出圓形結(jié)構(gòu)的特點(diǎn)并充分利用了多路魚眼視頻圖像之間的相關(guān)性,適合在嵌入式上實(shí)現(xiàn)多路高清魚眼圖像的實(shí)時(shí)校正。
通過下面的描述,本發(fā)明的其它優(yōu)勢(shì)和特征將會(huì)變得顯而易見,并可以通過權(quán)利要求書中特別指出的手段和組合得到實(shí)現(xiàn)。
依照本發(fā)明的一方面,本發(fā)明提供一畸變圖像校正方法,以用于魚眼圖像的校正,其中所述畸變圖像校正方法包括:以下步驟:
(1)確定校正參數(shù);和
(2)根據(jù)所述校正參數(shù),確定校正算法;
其中步驟(1)包括以下步驟:
(11)確定多路畸變圖像的位置和輪廓;和
(12)確定所述畸變圖像的校正因子;
其中步驟(11)采用四點(diǎn)定位法對(duì)所述畸變圖像的位置和輪廓進(jìn)行準(zhǔn)確定位,以保證所述畸變圖像校正方法的準(zhǔn)確、有效。
根據(jù)一個(gè)實(shí)施例,所述步驟(11)包括如下步驟:
(113)疊加所述畸變圖像,以得到一疊加圖像;
(114)線性壓縮所述疊加圖像,以得到一歸一化圖像;和
(115)根據(jù)該歸一化圖像在各個(gè)位置的像素值,確定所述畸變圖像的位置和輪廓。
根據(jù)一個(gè)實(shí)施例,在步驟(113)之前,所述步驟(11)包括如下步驟:
(112)過濾所述畸變圖像,以濾除所述畸變圖像的噪聲。
根據(jù)一個(gè)實(shí)施例,步驟(114)包括以下步驟:
(1141)獲取所述疊加圖像的最大像素值Pmax和最小像素值Pmin;和
(1142)根據(jù)所述疊加圖像的最大像素值Pmax和最小像素值Pmin對(duì)所述疊加圖像IS進(jìn)行線性壓縮;
其中線性壓縮采用以下公式進(jìn)行:
其中,px,y為線性壓縮以后的所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,Px,y為疊加圖像上坐標(biāo)點(diǎn)(x,y)處的像素值。
根據(jù)一個(gè)實(shí)施例,步驟(114)包括以下步驟:
(1141)獲取所述疊加圖像的最大像素值Pmax和最小像素值Pmin;和
(1142)根據(jù)所述疊加圖像的最大像素值Pmax和最小像素值Pmin對(duì)所述疊加圖像IS進(jìn)行線性壓縮;
其中線性壓縮采用以下公式進(jìn)行:
其中,px,y為線性壓縮以后的所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,Px,y為疊加圖像上坐標(biāo)點(diǎn)(x,y)處的像素值。
根據(jù)一個(gè)實(shí)施例,步驟(115)包括以下步驟:
(1151)設(shè)定閾值Th;
(1152)記錄所述歸一化圖像上像素大于或者等于該閾值Th的點(diǎn);
(1153)根據(jù)步驟(1152)中所確定的所述歸一化圖像上像素大于或者等于該閾值的點(diǎn)確定所述畸變圖像的位置和輪廓。
根據(jù)一個(gè)實(shí)施例,步驟(115)包括以下步驟:
(1151)設(shè)定閾值Th;
(1152)記錄所述歸一化圖像上像素大于或者等于該閾值Th的點(diǎn);
(1153)根據(jù)步驟(1152)中所確定的所述歸一化圖像上像素大于或者等于該閾值的點(diǎn)確定所述畸變圖像的位置和輪廓。
根據(jù)一個(gè)實(shí)施例,所述閾值Th能夠通過以下公式獲得:
其中px,y為所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,W為所述歸一化圖像的圖像寬度,H為所述歸一化圖像的圖像高度。
根據(jù)一個(gè)實(shí)施例,所述閾值Th能夠通過以下公式獲得:
其中px,y為所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,W為所述歸一化圖像的圖像寬度,H為所述歸一化圖像的圖像高度。
根據(jù)一個(gè)實(shí)施例,步驟(1152)包括以下步驟:
(11521)從四個(gè)方向上對(duì)所述歸一化圖像進(jìn)行掃描;和
(11522)分別記錄在上述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)。
根據(jù)一個(gè)實(shí)施例,步驟(1152)包括以下步驟:
(11521)從四個(gè)方向上對(duì)所述歸一化圖像進(jìn)行掃描;和
(11522)分別記錄在上述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)。
根據(jù)一個(gè)實(shí)施例,步驟(1)還包括一步驟:
(13)建立一平面直角坐標(biāo)系;
其中步驟(1152)還包括以下步驟:
(11523)根據(jù)步驟(11522)中在所述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)值精確定位所述畸變圖像的圓心位置及成像半徑;
其中所述四個(gè)方向包括逐行從上到下、逐行從下到上、逐列從左到右、逐列從右到左,其中在分別逐行從上到下、逐行從下到上、逐列從左到右、逐列從右到左掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)分別被標(biāo)記為
其中步驟(1152)還包括以下步驟:
(11524)分別計(jì)算兩組對(duì)應(yīng)坐標(biāo)的垂直距離和水平距離,其中計(jì)算方式如下所示:
d1=|y1-y2|
d2=|x3-x4|
(11525)確定所述畸變圖像的成像直徑d3為d1和d2中較大的數(shù)值,從而所述畸變圖像的成像半徑R=d3/2;和
(11536)確定所述畸變圖像的圓心位置,其中所述圓心坐標(biāo)為(xc,yc),其中,
根據(jù)一個(gè)實(shí)施例,步驟(1)還包括以下步驟:
(14)確定所述畸變圖像的輪廓點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)點(diǎn)(xil,yi);和
(15)確定所述畸變圖像的輪廓點(diǎn)距離圖像中心的水平距離lik;
其中
其中xil為第i路畸變圖像的輪廓點(diǎn)的水平坐標(biāo),yi為第i路畸變圖像的輪廓點(diǎn)的垂直坐標(biāo),其中l(wèi)ik為第i路畸變圖像垂直坐標(biāo)為yk的輪廓點(diǎn)距離圖像中心的水平距離。
根據(jù)一個(gè)實(shí)施例,步驟(12)包括如下步驟:
(121)檢測(cè)多路所述畸變圖像的角點(diǎn);
(122)檢測(cè)疊加圖像的角點(diǎn);和
(123)根據(jù)每一路所述畸變圖像的角點(diǎn)以及所述疊加圖像的角點(diǎn),確定各路圖像的所述校正因子αi。
其中,步驟(121)中檢測(cè)到的多路所述畸變圖像的角點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)標(biāo)記為(xik,yik),其中i代表第幾路視頻,k代表視頻當(dāng)中的角點(diǎn)編號(hào)。
根據(jù)一個(gè)實(shí)施例,步驟(123)包括以下步驟:
(1231)分別累加各路畸變圖像的角點(diǎn)在所述平面直角坐標(biāo)系中的橫坐標(biāo)值,以得到各路所述畸變圖像的角點(diǎn)橫坐標(biāo)累加值Xi;
(1232)累加所述疊加圖像的角點(diǎn)在所述平面直角坐標(biāo)系中的橫坐標(biāo),以得到所述疊加圖像的角點(diǎn)橫坐標(biāo)累加值XM;
(1233)設(shè)定所述疊加圖像的校正因子αM;和
(1234)計(jì)算各路畸變圖像的校正因子αi,其中αi=αM·Xi/XM。
根據(jù)一個(gè)實(shí)施例,所述疊加圖像的校正因子αM的數(shù)值范圍在0.7和1.3之間。
根據(jù)一個(gè)實(shí)施例,步驟(2)進(jìn)一步包括以下步驟:
(21)根據(jù)步驟(1)中得到的校正參數(shù),確定畸變校正公式如下:
根據(jù)一個(gè)實(shí)施例,在步驟(112)之前,所述步驟(11)還包括如下步驟:
(111)采集多路鏡頭的棋盤格畸變圖像。
根據(jù)一個(gè)實(shí)施例,所述畸變圖像校正方法還包括以下步驟:
(3)根據(jù)所述校正算法對(duì)多路畸變圖像進(jìn)行校正。
根據(jù)一個(gè)實(shí)施例,步驟(3)進(jìn)一步包括以下步驟:
(31)根據(jù)步驟(21)中的畸變校正公式,生成畸變校正表格。
根據(jù)一個(gè)實(shí)施例,步驟(3)進(jìn)一步包括以下步驟:
(32)將所述校正表格應(yīng)用于嵌入式系統(tǒng)下多路高清畸變圖像,以實(shí)現(xiàn)對(duì)所述畸變圖像的實(shí)時(shí)校正。
根據(jù)本發(fā)明的另外一方面,本發(fā)明還提供一畸變圖像定位方法,以用于魚眼圖像的定位,其中該畸變圖像定位方法包括以下步驟:
(113)疊加多路畸變圖像,以得到一疊加圖像;
(114)線性壓縮所述疊加圖像,以得到一歸一化圖像;和
(115)根據(jù)該歸一化圖像在各個(gè)位置的像素值,確定所述畸變圖像的位置和輪廓。
根據(jù)一個(gè)實(shí)施例,在步驟(113)之前,所述畸變圖像定位方法還包括如下步驟:
(112)過濾所述畸變圖像,以濾除所述畸變圖像的噪聲。
根據(jù)一個(gè)實(shí)施例,步驟(114)包括以下步驟:
(1141)獲取所述疊加圖像的最大像素值Pmax和最小像素值Pmin;和
(1142)根據(jù)所述疊加圖像的最大像素值Pmax和最小像素值Pmin對(duì)所述疊加圖像IS進(jìn)行線性壓縮;
其中線性壓縮采用以下公式進(jìn)行:
其中,px,y為線性壓縮以后的所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,Px,y為疊加圖像上坐標(biāo)點(diǎn)(x,y)處的像素值。
根據(jù)一個(gè)實(shí)施例,步驟(114)包括以下步驟:
(1141)獲取所述疊加圖像的最大像素值Pmax和最小像素值Pmin;和
(1142)根據(jù)所述疊加圖像的最大像素值Pmax和最小像素值Pmin對(duì)所述疊加圖像IS進(jìn)行線性壓縮;
其中線性壓縮采用以下公式進(jìn)行:
其中,px,y為線性壓縮以后的所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,Px,y為疊加圖像上坐標(biāo)點(diǎn)(x,y)處的像素值。
根據(jù)一個(gè)實(shí)施例,步驟(115)包括以下步驟:
(1151)設(shè)定閾值Th;
(1152)記錄所述歸一化圖像上像素大于或者等于該閾值Th的點(diǎn);
(1153)根據(jù)步驟(1152)中所確定的所述歸一化圖像上像素大于或者等于該閾值的點(diǎn)確定所述畸變圖像的位置和輪廓。
根據(jù)一個(gè)實(shí)施例,步驟(115)包括以下步驟:
(1151)設(shè)定閾值Th;
(1152)記錄所述歸一化圖像上像素大于或者等于該閾值Th的點(diǎn);
(1153)根據(jù)步驟(1152)中所確定的所述歸一化圖像上像素大于或者等于該閾值的點(diǎn)確定所述畸變圖像的位置和輪廓。
根據(jù)一個(gè)實(shí)施例,所述閾值Th能夠通過以下公式獲得:
其中px,y為所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,W為所述歸一化圖像的圖像寬度,H為所述歸一化圖像的圖像高度。
根據(jù)一個(gè)實(shí)施例,所述閾值Th能夠通過以下公式獲得:
其中px,y為所述歸一化圖像在坐標(biāo)點(diǎn)(x,y)處的像素值,W為所述歸一化圖像的圖像寬度,H為所述歸一化圖像的圖像高度。
根據(jù)一個(gè)實(shí)施例,步驟(1152)包括以下步驟:
(11521)從四個(gè)方向上對(duì)所述歸一化圖像進(jìn)行掃描;和
(11522)分別記錄在上述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)。
根據(jù)一個(gè)實(shí)施例,步驟(1152)包括以下步驟:
(11521)從四個(gè)方向上對(duì)所述歸一化圖像進(jìn)行掃描;和
(11522)分別記錄在上述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于 所述閾值Th的點(diǎn)。
根據(jù)一個(gè)實(shí)施例,所述畸變圖像定位方法還包括一步驟:
(13)建立一平面直角坐標(biāo)系;
其中步驟(1152)還包括以下步驟:
(11523)根據(jù)步驟(11522)中在所述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)值精確定位所述畸變圖像的圓心位置及成像半徑;
其中所述四個(gè)方向包括逐行從上到下、逐行從下到上、逐列從左到右、逐列從右到左,其中在分別逐行從上到下、逐行從下到上、逐列從左到右、逐列從右到左掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)分別被標(biāo)記為
其中步驟(1152)還包括以下步驟:
(11524)分別計(jì)算兩組對(duì)應(yīng)坐標(biāo)的垂直距離和水平距離,其中計(jì)算方式如下所示:
d1=|y1-y2|
d2=|x3-x4|
(11525)確定所述畸變圖像的成像直徑d3為d1和d2中較大的數(shù)值,從而所述畸變圖像的成像半徑R=d3/2;和
(11536)確定所述畸變圖像的圓心位置,其中所述圓心坐標(biāo)為(xc,yc),其中,
根據(jù)一個(gè)實(shí)施例,所述畸變圖像定位方法還包括以下步驟:
(14)確定所述畸變圖像的輪廓點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)點(diǎn)(xil,yi);和
(15)確定所述畸變圖像的輪廓點(diǎn)距離圖像中心的水平距離lik;
其中
其中xil為第i路畸變圖像的輪廓點(diǎn)的水平坐標(biāo),yi為第i路畸變圖像的輪廓點(diǎn)的垂直坐標(biāo),其中l(wèi)ik為第i路畸變圖像垂直坐標(biāo)為yk的輪廓點(diǎn)距離圖像中心的水平距離。
根據(jù)一個(gè)實(shí)施例,在步驟(112)之前,所述畸變圖像定位方法還包括如下步驟:
(111)采集多路鏡頭的棋盤格畸變圖像。
通過對(duì)隨后的描述和附圖的理解,本發(fā)明進(jìn)一步的目的和優(yōu)勢(shì)將得以充分體現(xiàn)。
本發(fā)明的這些和其它目的、特點(diǎn)和優(yōu)勢(shì),通過下述的詳細(xì)說明,附圖和權(quán)利要求得以充分體現(xiàn)。
附圖說明
圖1是根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例的一畸變圖像校正方法中所使用的濾波模板示意圖。
圖2是根據(jù)本發(fā)明的上述優(yōu)選實(shí)施例的該畸變圖像校正方法示意圖。
圖3闡釋了根據(jù)本發(fā)明的上述優(yōu)選實(shí)施例的畸變圖像校正方法的一確定畸變圖像輪廓的步驟。
圖4闡釋了根據(jù)本發(fā)明的上述優(yōu)選實(shí)施例的畸變圖像校正方法的一確定校正因子的步驟。
圖5闡釋了依據(jù)本發(fā)明的上述優(yōu)選實(shí)施例的畸變圖像校正方法示意圖。
具體實(shí)施方式
以下描述用于揭露本發(fā)明以使本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)本發(fā)明。以下描述中的優(yōu)選實(shí)施例只作為舉例,本領(lǐng)域技術(shù)人員可以想到其他顯而易見的變型。在以下描述中界定的本發(fā)明的基本原理可以應(yīng)用于其他實(shí)施方案、變形方案、改進(jìn)方案、等同方案以及沒有背離本發(fā)明的精神和范圍的其他技術(shù)方案。
附圖之圖1至圖4闡釋了依據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例的畸變圖像校正方法。該畸變圖像校正方法能夠被應(yīng)用于魚眼圖像的畸變校正,但不局限于魚眼圖像的畸變校正。本領(lǐng)域技術(shù)人員應(yīng)該能夠理解,任何符合魚眼圖像輪廓呈圓形畸變的畸變圖像的校正都適用該畸變圖像校正方法。本優(yōu)選實(shí)施例以多路畸變圖像的畸變圖像校正為例對(duì)本發(fā)明的畸變圖像校正方法進(jìn)行詳細(xì)介紹。
如附圖之圖2所示,該畸變圖像校正方法包括以下步驟:
(1)確定校正參數(shù);
(2)根據(jù)所述校正參數(shù),確定校正算法;和
(3)根據(jù)所述校正算法對(duì)多路畸變圖像進(jìn)行實(shí)時(shí)校正。
其中步驟(1)中所述校正參數(shù)是根據(jù)所述畸變圖像進(jìn)行確定的。具體地,該步驟(1)包括如下步驟:
(11)確定每一路所述畸變圖像的輪廓;和
(12)確定每一路所述畸變圖像的校正因子αi。
更具體地,該步驟(11)包括如下步驟:
(111)采集多路鏡頭的棋盤格畸變圖像;
(112)過濾所述畸變圖像,以濾除所述各路畸變圖像上的噪聲,從而防止所述噪聲對(duì)該畸變圖像的校正造成影響;
(113)疊加經(jīng)該步驟(112)過濾的所述畸變圖像,以得到一疊加圖像IS;
(114)線性壓縮所述疊加圖像IS,以得到一歸一化圖像IM;和
(115)根據(jù)該歸一化圖像IM在各個(gè)位置的像素值px,y,精確定位所述畸變圖像的位置和輪廓。
其中通過步驟(111)所采集的所述畸變圖像由于受到一些因素的影響而存在一些噪聲,會(huì)對(duì)所述畸變圖像輪廓的確定產(chǎn)生干擾,所以需要對(duì)所述畸變圖像進(jìn)行過濾,以減少所述噪聲對(duì)所述畸變圖像輪廓確定的影響。其中所采用的濾波模板如圖1所示。
本領(lǐng)域技術(shù)人員應(yīng)該能夠理解,對(duì)于沒有噪聲或者噪聲小至不足以對(duì)畸變圖像的校正產(chǎn)生影響的畸變圖像,則無需進(jìn)行校正。也就是說,如果通過步驟(111)所采集的所述畸變圖像沒有噪聲或者噪聲小至不足以對(duì)畸變圖形的校正產(chǎn)生影響,則步驟(112)不是必須的。這樣,在步驟(113)中可直接對(duì)所述畸變圖像 進(jìn)行疊加。也就是說,步驟(113)變?yōu)榀B加所述畸變圖像,以得到一疊加圖像IS。
為了更準(zhǔn)確地對(duì)各路所述畸變圖像進(jìn)行定位,該步驟(113)中對(duì)所述畸變圖像進(jìn)行了疊加,以抵消確定各路畸變圖像位置的誤差。換一種方式來講,如果對(duì)各路所述畸變圖像進(jìn)行分別定位,不可避免會(huì)產(chǎn)生各種環(huán)境因素或者人為因素造成的誤差,其中這些誤差不僅會(huì)導(dǎo)致所述畸變圖像定位不夠準(zhǔn)確,而且會(huì)導(dǎo)致各路畸變圖像之間有可能因?yàn)楦髯缘恼`差不同而錯(cuò)位,從而進(jìn)一步導(dǎo)致校正后的圖像質(zhì)量無法得到保障。所以,通過圖像疊加方法對(duì)各路畸變圖像進(jìn)行統(tǒng)一定位,有利于保障圖像被校正后的質(zhì)量。
其中步驟(114)包括以下步驟:
(1141)獲取所述疊加圖像IS的最大像素值Pmax和最小像素值Pmin;和
(1142)根據(jù)所述疊加圖像IS的最大像素值Pmax和最小像素值Pmin對(duì)所述疊加圖像IS進(jìn)行線性壓縮;
其中線性壓縮采用公式1進(jìn)行:
公式1
其中,px,y為線性壓縮以后的所述歸一化圖像IM在坐標(biāo)點(diǎn)(x,y)處的像素值,Px,y為疊加圖像IS上坐標(biāo)點(diǎn)(x,y)處的像素值。
另外,值得一提的是,本優(yōu)選實(shí)施例利用畸變圖像拍攝圖像中間部分不變形以及周圍輪廓呈圓形彎曲畸變的特點(diǎn),首先對(duì)圓畸變圖像周圍輪廓所在圓的圓心進(jìn)行定位,進(jìn)而對(duì)魚眼圖像輪廓進(jìn)行精確定位。這種圓心定位法既方便又準(zhǔn)確,使該畸變圖像校正方法具有簡(jiǎn)單、高效的特點(diǎn)。
具體地,該步驟(115)包括以下步驟:
(1151)設(shè)定閾值Th;
(1152)記錄所述歸一化圖像IM上像素大于或者等于該閾值Th的點(diǎn);
(1153)根據(jù)步驟(1152)中所確定的所述歸一化圖像IM上像素大于或者等于該閾值Th的點(diǎn)確定所述畸變圖像的位置和輪廓。
進(jìn)一步,該步驟(115)用于確定所述畸變圖像位置和輪廓的方法為四點(diǎn)定位法。具體地,該步驟(1152)包括以下步驟:
(11521)從四個(gè)方向上對(duì)所述歸一化圖像IM進(jìn)行掃描;和
(11522)分別記錄在上述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)。
更具體地,所述四個(gè)方向分別是逐行從上到下、逐行從下到上、逐列從左到右和逐列從右到左。
其中所述閾值Th通過以下公式2獲得:
公式2
其中px,y為所述歸一化圖像IM在坐標(biāo)點(diǎn)(x,y)處的像素值,W為所述歸一化圖像的圖像寬度,H為所述歸一化圖像的圖像高度。
為使該畸變圖像校正方法更加快速、準(zhǔn)確、有效,該畸變圖像校正方法的該步驟(1)還包括一步驟:
(13)建立一平面直角坐標(biāo)系。
值得一提的是,該步驟(11)、該步驟(12)和該步驟(13)之間并沒有先后順序的區(qū)別,三者之間的先后順序可以互換且不受限制。
步驟(13)中所建立的平面直角坐標(biāo)系使該畸變圖像校正方法中圖像上的每一點(diǎn)都能夠用具體的坐標(biāo)值予以確定,進(jìn)而幫助確定該坐標(biāo)系中與該畸變圖像校正方法相關(guān)的相對(duì)位置關(guān)系。
另一方面,由于該平面直角坐標(biāo)系中的每一點(diǎn)都可以通過具體的數(shù)值進(jìn)行標(biāo)定,所以方便利用幾何圖形的具體數(shù)學(xué)關(guān)系對(duì)幾何圖形進(jìn)行精確確定。在本發(fā)明的該優(yōu)選實(shí)施例中,由于魚眼圖像輪廓呈現(xiàn)為圓形結(jié)構(gòu),本優(yōu)選實(shí)施例利用圓的數(shù)學(xué)關(guān)系對(duì)魚眼圖像輪廓進(jìn)行精確定位,從而使該畸變圖像校正更為準(zhǔn)確。另一方面,方便進(jìn)行數(shù)學(xué)計(jì)算。
如圖2所示,在該疊加圖像IS所在的平面內(nèi)建立該平面直角坐標(biāo)系,其中該平面直角坐標(biāo)系由相互垂直的一X軸和一Y軸構(gòu)成,其中該X軸和該Y軸相交于一原點(diǎn)O,其中該坐標(biāo)系內(nèi)的坐標(biāo)點(diǎn)的坐標(biāo)被標(biāo)示為(x,y)。
值得一提的是,該平面直角坐標(biāo)系為了計(jì)算和標(biāo)定的方便而建立,對(duì)本發(fā)明并沒有實(shí)質(zhì)的限制作用。也就是說,無論該坐標(biāo)系被建立在該疊加圖像IS所在的平面內(nèi)的何處,都不影響該畸變圖像校正方法對(duì)畸變圖像的校正效果。也就是說,各個(gè)坐標(biāo)點(diǎn)(x,y)只是起到相對(duì)的標(biāo)示作用,其中x和y的具體數(shù)值并不存在絕對(duì)的意義。
相應(yīng)的,該步驟(1152)包括以下步驟:
(11523)根據(jù)步驟(11522)中在所述四個(gè)方向掃描過程中遇到的第一個(gè)大于或者等于所述閾值Th的點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)值精確定位所述畸變圖像的圓心位置及成像半徑。
具體地,逐行從上到下、逐行從下到上、逐列從左到右、逐列從右到左掃描過程中找到滿足要求的像素點(diǎn)分別標(biāo)記為
分別計(jì)算兩組對(duì)應(yīng)坐標(biāo)的垂直距離和水平距離,其計(jì)算方式如公式3、公式4所示:
d1=|y1-y2| 公式3
d2=|x3-x4| 公式4
選擇d1和d2中較大的數(shù)值作為畸變圖像的成像直徑d3,則得到畸變圖像的成像半徑R,圓心坐標(biāo)為(xc,yc)。R、xc、yc分別通過公式5、公式6、公式7計(jì)算得到:
R=d3/2 公式5
公式6
公式7
該步驟(1)還包括步驟:
(14)確定所述畸變圖像的輪廓點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)點(diǎn)(xil,yi);和
(15)確定所述畸變圖像的輪廓點(diǎn)距離圖像中心的水平距離lik。
其中所述畸變圖像的輪廓是指所述畸變圖像的周圍輪廓。其中步驟(14)中所述畸變圖像的輪廓點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)點(diǎn)的坐標(biāo)值通過以下公式予以確定:
公式8
其中xil為第i路畸變圖像的輪廓點(diǎn)的水平坐標(biāo),yi為第i路畸變圖像的輪廓點(diǎn)的垂直坐標(biāo)。
步驟(15)中所述畸變圖像的輪廓點(diǎn)距離圖像中心的水平距離lik通過以下公式予以確定:
公式9
其中l(wèi)ik為第i路畸變圖像垂直坐標(biāo)為yk的輪廓點(diǎn)距離圖像中心的水平距離。
值得一提的是,依據(jù)本發(fā)明的該優(yōu)選實(shí)施例的該畸變圖像校正方法,步驟(15)中所述畸變圖像的輪廓點(diǎn)距離圖像中心的水平距離lik借助所述平面直角坐標(biāo)系,并利用了幾何圖像輪廓既有的數(shù)學(xué)關(guān)系公式進(jìn)行計(jì)算,使得lik的數(shù)值精準(zhǔn),從而保證了該畸變圖像校正方法的精確性和準(zhǔn)確性。但是本領(lǐng)域技術(shù)人員應(yīng)該能夠理解,這僅僅是對(duì)本發(fā)明的示例,而非限制。
該步驟(12)包括如下步驟:
(121)檢測(cè)多路所述畸變圖像的角點(diǎn);
(122)檢測(cè)疊加圖像IS的角點(diǎn);和
(123)根據(jù)每一路所述畸變圖像的角點(diǎn)以及所述疊加圖像IS的角點(diǎn),確定各路圖像的所述校正因子αi。
具體地,步驟(121)中檢測(cè)到的多路所述畸變圖像的角點(diǎn)在所述平面直角坐標(biāo)系中的坐標(biāo)標(biāo)記為(xik,yik),其中i代表第幾路視頻,k代表視頻當(dāng)中的角點(diǎn)編號(hào)。
步驟(123)包括以下步驟:
(1231)分別累加各路畸變圖像的角點(diǎn)在所述平面直角坐標(biāo)系中的橫坐標(biāo) 值,以得到各路所述畸變圖像的角點(diǎn)橫坐標(biāo)累加值Xi;
(1232)累加所述疊加圖像IS的角點(diǎn)在所述平面直角坐標(biāo)系中的橫坐標(biāo),以得到所述疊加圖像IS的角點(diǎn)橫坐標(biāo)累加值XM;
(1233)設(shè)定所述疊加圖像IS的校正因子αM(范圍在0.7與1.3之間);和
(1234)根據(jù)Xi、XM和αM計(jì)算各路畸變圖像的校正因子αi,其中αi=αM·Xi/XM。
其中,步驟(1231)中用于累加各路畸變圖像的角點(diǎn)在所述平面直角坐標(biāo)系中的橫坐標(biāo)值的公式如公式10所示:
公式10
其中,xik代表第i路棋盤格畸變圖像下第k個(gè)角點(diǎn)的橫坐標(biāo)大小,K代表每一路所述畸變圖像總共的角點(diǎn)數(shù)目。
值得一提的是,該步驟(121)和(122)之間沒有先后順序的區(qū)分,兩者之間先后順序可以互換。本領(lǐng)域技術(shù)人員應(yīng)該能夠理解,該步驟(121)和(122)也可以同時(shí)進(jìn)行。也就是說,依據(jù)本發(fā)明的該優(yōu)選實(shí)施例,該步驟(121)和(122)沒有任何先后順序上的區(qū)別。
步驟(2)進(jìn)一步包括以下步驟:
(21)根據(jù)步驟(1)中得到的校正參數(shù),確定畸變校正公式:
公式11
其中,ai是第i路魚眼視頻圖像長(zhǎng)軸的半徑;bi=1,2,3,…,H;H是畸變圖像寬的半徑,xil為第i路畸變圖像的輪廓的水平坐標(biāo),xc為所述畸變圖像的中心的水平坐標(biāo),li為第i路畸變圖像的輪廓的水平坐標(biāo)到所述畸變圖像的中心的水平坐標(biāo)的距離,αi為第i路畸變圖像的校正因子,反映了校正幅度的大小。
步驟(3)進(jìn)一步包括以下步驟:
(31)根據(jù)公式11,生成畸變校正表格;和
(32)將所述校正表格應(yīng)用于嵌入式系統(tǒng)下多路高清畸變圖像,以實(shí)現(xiàn)對(duì)所述畸變圖像的實(shí)時(shí)校正。
值得一提的是,本發(fā)明中該畸變圖像校正方法的步驟中所用的編號(hào)中所使用的1、2、3、4、5等阿拉伯?dāng)?shù)字僅僅是起到標(biāo)示作用,并不區(qū)分先后次序的作用。本領(lǐng)域技術(shù)人員應(yīng)該能夠理解,在不違反各個(gè)步驟本身邏輯次序的情況下,該畸變圖像校正方法中的步驟是沒有先后次序區(qū)分的。當(dāng)然,本領(lǐng)域技術(shù)人員應(yīng)該能夠理解,在一些后續(xù)步驟需要以前面的步驟為前提的情況下,這些步驟是具有先后順序的區(qū)分的。而對(duì)于那些不互為前提的步驟,只要能夠?qū)崿F(xiàn)本發(fā)明的目的,其順序是可以相互交換的。
為了更詳細(xì)描述本發(fā)明,下面以魚眼視頻圖像的校正為例,對(duì)該畸變圖像校正方法進(jìn)行進(jìn)一步詳細(xì)描述。
該畸變圖像校正方法采集多路畸變圖像的棋盤格圖像,對(duì)這些棋盤格圖像進(jìn)行低通濾波操作,濾除圖像上的高頻噪聲,消除相關(guān)的影響。所采用的濾波模板如圖1所示。
對(duì)預(yù)處理后的多路魚眼圖像進(jìn)行疊加,得到疊加圖像IS。遍歷疊加圖像IS,得到最大值Pmax和最小值Pmin。通過Pmax和Pmin,將疊加圖像IS進(jìn)行線性壓縮,得到歸一化圖像IM,IM圖像的像素值范圍在0到255之間。線性壓縮采用公式1進(jìn)行。
設(shè)定閾值Th為疊加圖像的均值,其計(jì)算方式如公式2所示。
對(duì)歸一化圖像IM進(jìn)行四個(gè)方向的逐像素的掃描,每個(gè)方向掃描時(shí)候,記錄第一個(gè)大于或者等于閾值Th的像素點(diǎn)的坐標(biāo)位置。四個(gè)掃描方向分別是逐行從上到下、逐行從下到上、逐列從左到右、逐列從右到左。掃描過程中找到滿足要求的像素點(diǎn)分別標(biāo)記為
分別計(jì)算兩組對(duì)應(yīng)坐標(biāo)的垂直距離和水平距離,其計(jì)算方式如公式3、公式4所示。
選擇d1和d2中較大的數(shù)值作為魚眼圖像的成像直徑d3,則得到魚眼圖像的成像半徑R,圓心坐標(biāo)為(xc,yc)。R、xc、yc分別通過公式5、公式6、公式7計(jì) 算得到。
通過公式8得到各路魚眼視頻圖像的輪廓點(diǎn)的坐標(biāo)(xil,yi)。
通過公式9得到各路魚眼視頻圖像的輪廓點(diǎn)距離圖像中心的水平距離lik。
通過角點(diǎn)檢測(cè)算法,檢測(cè)到各路棋盤格圖像當(dāng)中的角點(diǎn)(xik,yik),其中i代表第幾路視頻,k代表視頻當(dāng)中的角點(diǎn)編號(hào)。
對(duì)各路魚眼視頻角點(diǎn)的橫坐標(biāo)進(jìn)行累加,得到各路魚眼視頻的角點(diǎn)橫坐標(biāo)累加值。
檢測(cè)疊加圖像IS的角點(diǎn),并累加所有角點(diǎn)的橫坐標(biāo),得到XM。
設(shè)定疊加圖像的校正因子αM(范圍在07與13之間),則可以得到其他各路視頻的校正因子αi=αM·Xi/XM。
通過之前所得到的各種參數(shù),綜合得到各路魚眼視頻的畸變校正公式11。
利用公式11,則可以針對(duì)各路魚眼視頻,生成與像素一一對(duì)應(yīng)的畸變校正表格,滿足嵌入式系統(tǒng)下多路高清魚眼視頻的實(shí)時(shí)校正需求。
本領(lǐng)域的技術(shù)人員應(yīng)理解,上述描述及附圖中所示的本發(fā)明的實(shí)施例只作為舉例而并不限制本發(fā)明。本發(fā)明的目的已經(jīng)完整并有效地實(shí)現(xiàn)。本發(fā)明的功能及結(jié)構(gòu)原理已在實(shí)施例中展示和說明,在沒有背離所述原理下,本發(fā)明的實(shí)施方式可以有任何變形或修改。