本發(fā)明涉及圖像視頻處理領(lǐng)域，具體涉及一種基于魚眼圖像校正實(shí)現(xiàn)魚眼視頻小窗口實(shí)時(shí)漫游的方法。

背景技術(shù)：

魚眼鏡頭具有結(jié)構(gòu)緊湊、體積小、不易損壞等優(yōu)點(diǎn)；同時(shí)考慮到采用魚眼鏡頭構(gòu)建的全方位視覺可獲取真正意義上的全景球面圖像，無盲區(qū)，無須考慮圖像拼合和嵌接等問題，所以魚眼鏡頭是構(gòu)建全方位視覺系統(tǒng)最有效的方法之一，具有很高的研究價(jià)值和廣泛的潛在應(yīng)用前景。目前它在視頻監(jiān)控、視頻會(huì)議、虛擬現(xiàn)實(shí)和機(jī)器人導(dǎo)航等領(lǐng)域都具有很廣泛的應(yīng)用。但魚眼鏡頭攝像機(jī)拍攝的圖像具有非常嚴(yán)重的畸變，若要利用這些具有嚴(yán)重變形圖像的信息，就需將這些變形圖像校正展開為人們所習(xí)慣的透視投影圖像。因此研究開發(fā)一種算法，使魚眼圖像在任意方向軸上的“展開窗口”都能實(shí)現(xiàn)實(shí)時(shí)、精確的校正和展開具有學(xué)術(shù)意義和實(shí)際應(yīng)用價(jià)值。

實(shí)現(xiàn)魚眼視頻的校正與漫游一般分為以下幾步：魚眼圖像的采集→魚眼圖像預(yù)處理→魚眼圖像輪廓提取→圖像幾何關(guān)系變換→基于魚眼圖像的重投影→魚眼視頻漫游的實(shí)現(xiàn)。魚眼圖像校正技術(shù)主要可以分為三類：基于幾何投影、基于相機(jī)標(biāo)定、基于人工智能?；趲缀瓮队澳Ｐ偷男Ｕ椒ㄖ饕抢每臻g幾何坐標(biāo)關(guān)系進(jìn)行校正，找到魚眼圖像中的像素點(diǎn)與校正后圖像中像素點(diǎn)之間的映射關(guān)系，但是基于幾何投影模型的校正方法往往受限于魚眼圖像的寬視角，導(dǎo)致有效校正區(qū)域小，邊緣部分仍存在較大畸變?；谙鄼C(jī)標(biāo)定的校正方法，是建立在魚眼相機(jī)模型的基礎(chǔ)上，通過設(shè)計(jì)適合的標(biāo)定方法求得相應(yīng)魚眼相機(jī)的模型參數(shù)。魚眼鏡頭標(biāo)定的目的是得到魚眼相機(jī)模型的變形參數(shù)，依據(jù)這些畸變參數(shù)就可以校正當(dāng)前鏡頭拍攝的魚眼圖像。然而這種方法的主要問題是，魚眼鏡頭生產(chǎn)工藝的精度不一定都能滿足要求，而且實(shí)際使用的鏡頭千差萬別，特定的畸變模型不一定能夠適合多種鏡頭的成像結(jié)果校正法估算多項(xiàng)式的系數(shù)。基于人工智能的校正方法，以基于支持向量機(jī)(SVM)的方法為例，該類方法避免了畸變模型的選擇和選用特定模型帶來的局限性問題。使用SVM技術(shù)建立校正后圖像點(diǎn)與校正前圖像點(diǎn)的坐標(biāo)映射關(guān)系，從而實(shí)現(xiàn)魚眼圖像的校正，但這種方法需要大量的訓(xùn)練樣本，導(dǎo)致工作量巨大，并且訓(xùn)練過程也比較耗時(shí)，難以同時(shí)滿足時(shí)效與精度的要求。

綜上所述，目前魚眼視頻的校正與漫游存在以下問題：

(1)基于幾何投影的魚眼圖像校正方法簡便，但是受限于魚眼鏡頭的寬視角，導(dǎo)致有效校正區(qū)域受限；

(2)基于相機(jī)標(biāo)定的魚眼圖像校正方法對(duì)特定鏡頭校正精度高，但不能同時(shí)滿足多種魚眼鏡頭的畸變校正；

(3)基于人工智能的魚眼圖像校正方法避免了針對(duì)特定鏡頭校正的局限性，但是訓(xùn)練樣本大，計(jì)算復(fù)雜度高且存儲(chǔ)空間大，不易于硬件實(shí)現(xiàn)。

技術(shù)實(shí)現(xiàn)要素：

鑒于以上所述現(xiàn)有技術(shù)存在的問題和不足，本發(fā)明技術(shù)方案提供的一種基于魚眼圖像校正實(shí)現(xiàn)魚眼視頻小窗口實(shí)時(shí)漫游的方法，包括以下步驟：

步驟S1，采集魚眼圖像；

步驟S2，魚眼圖像預(yù)處理；

步驟S3，魚眼圖像輪廓提??；

步驟S4，計(jì)算透視窗口上任意點(diǎn)對(duì)應(yīng)魚眼圖像上的像素點(diǎn)坐標(biāo)，具體包括以下子步驟，

步驟S4-1，根據(jù)步驟3獲得像平面及魚眼鏡頭半球面，其中像平面為魚眼圖像所在平面，設(shè)為XOY平面，魚眼鏡頭半球面以魚眼圖像的中心O為球心，R為半徑，

步驟S4-2，確定透視窗口的尺寸以及觀察視角，其中透視窗口A’B’C’D’與半球面相切于M點(diǎn)，透視窗口的尺寸為A’B’和A’D’的長，分別用a和b來表示，設(shè)Q’點(diǎn)為M點(diǎn)在像平面XOY的投影，觀察視角用(α，Ω)角對(duì)來表示，α代表線段OM與線段OQ’之間的夾角，Ω代表線段OQ’與X軸之間的夾角，

步驟S4-3，將透視窗口上的點(diǎn)先還原到半球面上，再將半球面上該點(diǎn)垂直投影到魚眼圖像像平面，具體實(shí)施如下，

設(shè)透視窗口上任意點(diǎn)P₁(x₁,y₁)在魚眼圖像中對(duì)應(yīng)的像素點(diǎn)位置P₂(x₂，y₂)，兩者不在同一個(gè)坐標(biāo)系，以P₂所在坐標(biāo)系O-XYZ三為基準(zhǔn)，將P₁轉(zhuǎn)換到坐標(biāo)系O-XYZ中，得P₁在O-XYZ坐標(biāo)系下的坐標(biāo)為：

計(jì)算OP₁與半球面的交點(diǎn)S的坐標(biāo)，

然后再將S點(diǎn)垂直投影到XOY面上得到P₂的坐標(biāo)，

其中，R為魚眼圖像的半徑，P₂為透視窗口上點(diǎn)P₁在魚眼圖像上對(duì)應(yīng)的像素點(diǎn)坐標(biāo)；

步驟S5，基于魚眼圖像的重投影，將透視窗口上所有點(diǎn)對(duì)應(yīng)于魚眼圖像上像素點(diǎn)的像素值賦給透視窗口上對(duì)應(yīng)的像素點(diǎn)；

步驟S6，在魚眼圖像上添加鼠標(biāo)的響應(yīng)事件實(shí)現(xiàn)魚眼視頻的漫游。

而且，所述步驟S3，魚眼圖像輪廓提取的具體實(shí)施方式如下，

步驟S3-1，從圖像第一行開始，在行方向上進(jìn)行掃描，若當(dāng)前行中像素的灰度值都為0，則繼續(xù)掃描下一行，直到在某一行中第一次出現(xiàn)有像素的灰度值不為0，則記錄下當(dāng)前行號(hào)H₁；

步驟S3-2，接著上一步在行方向上繼續(xù)進(jìn)行掃描，若當(dāng)前行中有像素的灰度值不為0，則繼續(xù)掃描下一行，直到在某一行中第一次出現(xiàn)所有的像素的灰度值都為0，則記錄下當(dāng)前行號(hào)H₂；

步驟S3-3，從圖像第一列開始，在列方向上進(jìn)行掃描，若當(dāng)前行中像素的灰度值都為0，則繼續(xù)掃描下一列，直到在某一列中第一次出現(xiàn)有像素的灰度值不為0，則記錄下當(dāng)前列號(hào)L₁；

步驟S3-4，接著上一步在列方向上繼續(xù)進(jìn)行掃描，若當(dāng)前列中有像素的灰度值不為0，則繼續(xù)掃描下一列，直到在某一列中第一次出現(xiàn)所有的像素的灰度值都為0，則記錄下當(dāng)前列號(hào)L₂；

步驟S3-5，記錄下H₁，H₂，L₁，L₂后，圓形區(qū)域C可用圓心坐標(biāo)(x,y)和半徑R來表示，

C→{(x,y),R} (1)

其中，

魚眼圖像輪廓?jiǎng)t是以圓心坐標(biāo)(x,y)為中心、半徑R的圓形區(qū)域輪廓。

與現(xiàn)有的技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)和有益效果：

(1)本發(fā)明考慮到魚眼圖像校正的精度要求，利用小窗口透視校正的方法，并結(jié)合漫游瀏覽的模式，簡潔高效的算法保障圖像校正的高精度；

(2)本發(fā)明考慮到魚眼圖像校正的時(shí)效性，從魚眼圖像的圓形特征出發(fā)，建立“球面模型”，利用透視原理進(jìn)行圖像校正，無需大量訓(xùn)練樣本，算法復(fù)雜度小，便于實(shí)現(xiàn)，步驟簡明高效。

(3)本發(fā)明的方法對(duì)各種魚眼鏡頭的校正效果良好，具備一定的魯棒性與普適性，有較強(qiáng)的實(shí)用性，同時(shí)，用戶可以隨時(shí)隨意自行控制視角，觀察鏡頭內(nèi)的任意地方的實(shí)時(shí)影像，增強(qiáng)了用戶的交互體驗(yàn)性。

附圖說明

圖1是本發(fā)明實(shí)施例的總體流程圖。

圖2是本發(fā)明中魚眼圖像的成像模型示意圖。

圖3是本發(fā)明中魚眼圖像校正原理示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步說明。

利用人工智能的方法可以彌補(bǔ)魚眼圖像校正在精度上的不足，但是常用的特征訓(xùn)練算法復(fù)雜度較高，樣本量需求較大，時(shí)效性受到影響，不利于實(shí)時(shí)的應(yīng)用。本發(fā)明利用小窗口透視方法進(jìn)行魚眼圖像校正，可以保證局部范圍內(nèi)的校正精度，同時(shí)結(jié)合窗口漫游的方式，可以實(shí)時(shí)變換觀察視角，在時(shí)效性以及精度上都能達(dá)到理想效果，還可以增強(qiáng)用戶的交互體驗(yàn)效果。

下面以一個(gè)魚眼鏡頭作為實(shí)施例。實(shí)施例中選用威鑫視界SY019HD型號(hào)的240度廣角魚眼攝像頭進(jìn)行實(shí)時(shí)魚眼圖像的采集。

本發(fā)明基于魚眼圖像校正實(shí)現(xiàn)魚眼視頻小窗口實(shí)時(shí)漫游的實(shí)施例具體流程包括：

步驟S1，采集魚眼圖像，一幅完整的魚眼圖像應(yīng)該是呈圓形狀的，周圍黑色背景是沒有像素值的區(qū)域，后續(xù)步驟就是基于圓形圖像區(qū)域進(jìn)行校正的；

步驟S2，魚眼圖像預(yù)處理，圖像預(yù)處理階段主要是對(duì)圖像進(jìn)行去噪，提高圖像質(zhì)量；

步驟S3，魚眼圖像輪廓提取，即魚眼圖像的像平面輪廓提取，魚眼圖像的圓形輪廓是后續(xù)步驟的實(shí)施基礎(chǔ)。本發(fā)明實(shí)施例利用“掃描法”進(jìn)行圓形輪廓進(jìn)行提取，具體步驟如下：

步驟S3-1，從圖像第一行開始，在行方向上進(jìn)行掃描，若當(dāng)前行中像素的灰度值都為0，則繼續(xù)掃描下一行，直到在某一行中第一次出現(xiàn)有像素的灰度值不為0，則記錄下當(dāng)前行號(hào)H₁；

步驟S3-2，接著上一步在行方向上繼續(xù)進(jìn)行掃描，若當(dāng)前行中有像素的灰度值不為0，則繼續(xù)掃描下一行，直到在某一行中第一次出現(xiàn)所有的像素的灰度值都為0，則記錄下當(dāng)前行號(hào)H₂；

步驟S3-3，從圖像第一列開始，在列方向上進(jìn)行掃描，若當(dāng)前行中像素的灰度值都為0，則繼續(xù)掃描下一列，直到在某一列中第一次出現(xiàn)有像素的灰度值不為0，則記錄下當(dāng)前列號(hào)L₁；

步驟S3-4，接著上一步在列方向上繼續(xù)進(jìn)行掃描，若當(dāng)前列中有像素的灰度值不為0，則繼續(xù)掃描下一列，直到在某一列中第一次出現(xiàn)所有的像素的灰度值都為0，則記錄下當(dāng)前列號(hào)L₂；

步驟S3-5，記錄下H₁，H₂，L₁，L₂后，圓形區(qū)域C可用圓心坐標(biāo)(x,y)和半徑R來表示，即：

C→{(x,y),R} (1)

其中，

在本實(shí)施例中，求得的結(jié)果為(單位：像素)：

步驟S4，圖像幾何關(guān)系變換，這一步根據(jù)“球面展開模型”計(jì)算出透視窗口上每個(gè)點(diǎn)對(duì)應(yīng)魚眼圖像上的坐標(biāo)，具體步驟如下：

首先介紹魚眼成像的“球面展開模型”，如附圖2所示，圖中的半球即代表魚眼鏡頭，O為鏡頭中心，XOY平面視為像平面，對(duì)于任一物方點(diǎn)P，連接其與鏡頭中心O得到線段PO，PO交半球面(即鏡頭表面)于P’，再過P’作像平面XOY的垂線，垂足為P”，P”即為物方點(diǎn)P在像平面上的像點(diǎn)。根據(jù)這一成像特點(diǎn)，很容易發(fā)現(xiàn)魚眼相機(jī)成像的畸變規(guī)律，從而實(shí)現(xiàn)圖像的校正。魚眼圖像的校正過程實(shí)際上就是將魚眼成像面上的點(diǎn)先還原到半球面上，再將半球面上該點(diǎn)對(duì)應(yīng)到校正平面上，即可完成校正，該步驟將透視窗口上每個(gè)點(diǎn)對(duì)應(yīng)到魚眼圖像上是一個(gè)逆過程。

步驟S4-1，根據(jù)步驟3獲得像平面及魚眼鏡頭半球面，其中像平面為魚眼圖像所在平面，設(shè)為XOY平面，魚眼鏡頭半球面以魚眼圖像的中心O為球心，R為半徑；

步驟S4-2，確定圖像校正透視窗口的尺寸以及觀察視角。由于本發(fā)明每次校正的都只是一個(gè)透視窗口內(nèi)的圖像區(qū)域，并不涉及整個(gè)魚眼圖像區(qū)域，因此在對(duì)魚眼圖像進(jìn)行校正變換之前，需要先確定透視窗口的尺寸以及觀察視角。如附圖3所示，與半球面相切于M點(diǎn)的A’B’C’D’即為透視窗口，也是魚眼圖像的校正平面，透視窗口的尺寸為A’B’和A’D’的長，分別用a和b來表示，在本實(shí)施例中，取a＝360，b＝640(單位：像素)，Q’點(diǎn)為M點(diǎn)在像平面XOY的投影；觀察視角決定了透視窗口置于球面的哪個(gè)位置，也決定了需要校正的圖像區(qū)域，這里觀察視角可以用(α，Ω)角對(duì)來表示，其中，α代表線段OM與線段OQ’之間的夾角，Ω代表線段OQ’與X軸之間的夾角。

步驟S4-3，空間變換關(guān)系計(jì)算，將透視窗口上的點(diǎn)先還原到半球面上，再將半球面上該點(diǎn)垂直投影到魚眼圖像像平面，此步驟是計(jì)算透視窗口平面上任意像素點(diǎn)P₁(x₁,y₁)在魚眼圖像中對(duì)應(yīng)的像素點(diǎn)位置P₂(x₂，y₂)。其中，(x₁,y₁)所處的坐標(biāo)系是以切點(diǎn)M為原點(diǎn)，B’C’平行方向?yàn)閄軸，A’B’平行方向?yàn)閅軸，而(x₂，y₂)所處的坐標(biāo)系是XOY坐標(biāo)系，兩者不在同一個(gè)坐標(biāo)系，所以首先需要統(tǒng)一坐標(biāo)系，以O(shè)-XYZ三維坐標(biāo)系為基準(zhǔn)，將(x₁,y₁)轉(zhuǎn)換到該坐標(biāo)系下。

根據(jù)觀察視角方向(α，Ω)和像素點(diǎn)坐標(biāo)(x₁,y₁)，通過坐標(biāo)旋轉(zhuǎn)和平移變換，可以求得(x₁,y₁)在O-XYZ坐標(biāo)系下的坐標(biāo)為：

其中，R為魚眼圖像半徑；

坐標(biāo)轉(zhuǎn)換完畢后，連接OP₁，計(jì)算OP₁與半球的交點(diǎn)S的坐標(biāo)，計(jì)算結(jié)果為：

然后再將S點(diǎn)垂直投影到XOY面上即可得到P₂的坐標(biāo)，即

P2即為透視窗口平面上像素點(diǎn)P1在魚眼圖像上對(duì)應(yīng)的像素位置坐標(biāo)。

在本實(shí)施例中，當(dāng)取α＝45°，Ω＝0°，R＝483時(shí)，P₁(x₁,y₁)坐標(biāo)為(10,0)，則可計(jì)算出：

進(jìn)而，可得：

步驟S5，基于魚眼圖像的重投影，將透視窗口上所有點(diǎn)對(duì)應(yīng)于魚眼圖像上像素點(diǎn)的像素值賦給透視窗口上對(duì)應(yīng)的像素點(diǎn)；即是將魚眼圖像上P₂點(diǎn)的像素值賦給透視窗口中的像素點(diǎn)P₁，由于P₂常常不是整數(shù)，因此需要進(jìn)行插值采樣，這里采用雙線性內(nèi)插方法進(jìn)行插值。

步驟S6，魚眼視頻漫游的實(shí)現(xiàn)，在本實(shí)例中，程序添加了鼠標(biāo)的響應(yīng)事件，作為用戶的交互接口，用戶可以在X，Y兩個(gè)方向上拖拽鼠標(biāo)，用以控制觀察視角的方向。不同的視角可以讓用戶在透視窗口中實(shí)時(shí)地觀察到不同區(qū)域的視頻影像。從而實(shí)現(xiàn)魚眼視頻實(shí)時(shí)的小窗口漫游。

經(jīng)過以上步驟，實(shí)現(xiàn)了基于魚眼圖像校正的魚眼視頻小窗口實(shí)時(shí)漫游，實(shí)驗(yàn)表明，校正結(jié)果準(zhǔn)確、高效。具體實(shí)施時(shí)，以上流程可采用計(jì)算機(jī)軟件技術(shù)實(shí)現(xiàn)自動(dòng)運(yùn)行流程。

本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。