本發(fā)明涉及圖像畸變矯正技術(shù)。

背景技術(shù)：

魚眼鏡頭具有視場(chǎng)角廣的優(yōu)點(diǎn)，特別適合于大場(chǎng)景視頻監(jiān)控應(yīng)用，近年來(lái)在視頻監(jiān)控領(lǐng)域的應(yīng)用日漸廣泛。但是魚眼鏡頭拍攝的圖像帶有大量的桶形徑向畸變和射影畸變，使得原來(lái)的直線變得彎曲，原本平行的直線不再平行，給后期的圖像分析帶來(lái)很多不便。現(xiàn)有的圖像處理技術(shù)可以分步完成以上兩種畸變的矯正，但是由于運(yùn)算量較大，無(wú)法實(shí)現(xiàn)圖像的實(shí)時(shí)轉(zhuǎn)換。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)以上問(wèn)題，本發(fā)明給出一種圖像處理方法及應(yīng)用于鏡頭畸變和攝影畸變矯正的實(shí)時(shí)采樣系統(tǒng)，在模擬信號(hào)到數(shù)字信號(hào)轉(zhuǎn)變的同時(shí)進(jìn)行了圖像的畸變校正，并可以同時(shí)輸出數(shù)字模擬信號(hào)，比傳統(tǒng)方法實(shí)時(shí)性好。

需要保護(hù)的技術(shù)方案：

本發(fā)明方法技術(shù)方案概括為：控制模擬信號(hào)的采樣頻率，采用非均勻采樣，并利用現(xiàn)有的圖像矯正方法將魚眼圖像經(jīng)過(guò)兩次畸變矯正后得到了符合歐式度量關(guān)系的圖像，同時(shí)從中獲得從原始圖像到目標(biāo)圖像的坐標(biāo)對(duì)應(yīng)關(guān)系，通過(guò)建立起坐標(biāo)對(duì)應(yīng)關(guān)系的表格來(lái)實(shí)現(xiàn)從魚眼圖像到目標(biāo)圖像的快速轉(zhuǎn)換。為了減少數(shù)據(jù)的存儲(chǔ)空間，創(chuàng)設(shè)性提出了三維表格，并且采用記錄坐標(biāo)增量的方式，實(shí)現(xiàn)了對(duì)應(yīng)關(guān)系的存儲(chǔ)。

所述三維表格，表格大小與原圖像的像素個(gè)數(shù)相同。包括第一維表格、第二維表格、第三維表格，所述第一維表格用來(lái)存儲(chǔ)原圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)到目標(biāo)圖像中像素點(diǎn)的個(gè)數(shù)，所述第二維(dx)和第三維(dy)表格用來(lái)存儲(chǔ)像素點(diǎn)之間的坐標(biāo)對(duì)應(yīng)關(guān)系。在實(shí)際采樣的過(guò)程中，對(duì)于原圖像中的每個(gè)像素點(diǎn)首先查找其在目標(biāo)圖像中的個(gè)數(shù)，按照這個(gè)個(gè)數(shù)再讀取相應(yīng)的坐標(biāo)對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)從魚眼圖像到目標(biāo)圖像的直接轉(zhuǎn)換。

所述非均勻采樣，通過(guò)采樣時(shí)間計(jì)算出像素點(diǎn)的坐標(biāo)值，只對(duì)特定坐標(biāo)值的像素點(diǎn)進(jìn)行采樣，從而直接得到矯正的圖片。具體為：模擬信號(hào)每行數(shù)據(jù)用行同步標(biāo)識(shí)，通過(guò)對(duì)行同步脈沖的計(jì)數(shù)可以得到每行像素點(diǎn)在整個(gè)圖片中的縱坐標(biāo)。每個(gè)像素點(diǎn)的采樣時(shí)間是一樣的，因此通過(guò)計(jì)算像素點(diǎn)在其所在行的采樣時(shí)刻便可以得到每個(gè)像素點(diǎn)的橫坐標(biāo)，最終得到了每個(gè)像素點(diǎn)的坐標(biāo)值。在每個(gè)像素點(diǎn)的坐標(biāo)值確定之后，通過(guò)查詢離線表格可以得到其在目標(biāo)圖像中的個(gè)數(shù)以及坐標(biāo)增量，由此決定了是否對(duì)其采樣，以及采樣之后的數(shù)量及位置，從而便實(shí)現(xiàn)了從模擬圖像直接轉(zhuǎn)換為目標(biāo)圖像。

基于以上方法技術(shù)方案，本發(fā)明還需要保護(hù)用于鏡頭畸變和攝影畸變矯正的實(shí)時(shí)采樣系統(tǒng)，表征為：該系統(tǒng)結(jié)構(gòu)包括開關(guān)、參數(shù)讀取模塊、采樣控制模塊、參數(shù)表、信號(hào)采樣模塊、視頻存儲(chǔ)區(qū)、輸出控制模塊、數(shù)據(jù)緩沖區(qū)，它們的邏輯關(guān)系為:該系統(tǒng)接受外部開關(guān)的設(shè)定，可以將該系統(tǒng)設(shè)置為均勻采樣或非均勻采樣兩種模式；系統(tǒng)根據(jù)模式的選擇，參數(shù)讀取模塊讀取非均勻采樣表或產(chǎn)生均勻采樣參數(shù)表；采樣控制模塊根據(jù)參數(shù)表，發(fā)給信號(hào)采樣模塊指令，把采樣的數(shù)據(jù)根據(jù)行列控制存放到視頻存儲(chǔ)區(qū)的正確位置；數(shù)據(jù)緩沖區(qū)保存采樣后的數(shù)據(jù)；當(dāng)數(shù)據(jù)可以輸出時(shí)有輸出控制模塊讀取緩沖區(qū)數(shù)據(jù)并輸出；輸出控制模塊可以將采集到的數(shù)據(jù)同時(shí)以模擬形式和數(shù)字形式輸出。

本發(fā)明在模擬信號(hào)到數(shù)字信號(hào)轉(zhuǎn)變的同時(shí)進(jìn)行了圖像的畸變校正，并可以同時(shí)輸出數(shù)字模擬信號(hào)，比傳統(tǒng)方法實(shí)時(shí)性好，并節(jié)約資源。

附圖說(shuō)明

圖1魚眼鏡頭成像原理

圖2射影畸變

圖3三維表格

圖4復(fù)合視頻信號(hào)示意圖

圖5均勻采樣示意圖

圖6魚眼鏡頭均勻采樣的圖像

圖7非均勻采樣示意圖

圖8畸變矯正后的圖像

圖9系統(tǒng)結(jié)構(gòu)框圖

圖10本發(fā)明畸變和攝影畸變矯正的圖像處理方法流程。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明技術(shù)方案做詳細(xì)介紹。

本領(lǐng)域公知，魚眼鏡頭是人們模仿魚眼工作原理而設(shè)計(jì)的鏡頭。其特點(diǎn)是視場(chǎng)角廣，可以達(dá)到180°范圍，但所獲得的圖像具有嚴(yán)重的徑向桶形畸變。這種畸變是由于魚眼鏡頭的像平面從平面變成了曲面，距離像平面中心的距離發(fā)生了不同程度的變換，使得原本的直線變得彎曲，給后期的圖像處理和模式識(shí)別帶來(lái)了很多不便。圖1魚眼鏡頭成像原理。

根據(jù)小孔成像原理，普通光學(xué)鏡頭遠(yuǎn)距成像像高公式為：

y0＝ftanω(1.1)

魚眼鏡頭與普通相機(jī)不同之處在于魚眼鏡頭的像平面是曲面，其像高公式為：

y'0＝fω(1.2)

由公式(1.1)和公式(1.2)可得從魚眼圖像矯正到正常圖像的公式為：

y0＝ftan(y0′/f)(1.3)

利用公式(1.3)便可以矯正魚眼鏡頭圖像中的桶形徑向畸變，并從中得到每個(gè)像素點(diǎn)間的坐標(biāo)對(duì)應(yīng)關(guān)系。

2、由于相機(jī)的像平面與被拍攝平面很可能不平行，將引起拍攝圖像的投影畸變，這與相機(jī)本身沒(méi)有任何關(guān)系，而與攝像機(jī)的安裝高度和傾角有關(guān)。射影畸變校正就是恢復(fù)圖像上的度量特性，比如：平行關(guān)系，大小關(guān)系等。以圖2情景為例說(shuō)明一維成像過(guò)程中畸變的原因。圖中像平面和被拍攝平面之間的夾角w≠0，設(shè)a、b、c三點(diǎn)之間距離相等，而其像a、b、c之間的像素距離并不相等?，F(xiàn)有的圖像采集卡或者數(shù)字?jǐn)z像機(jī)都是以相同的頻率(均勻采樣)對(duì)模擬信號(hào)進(jìn)行采樣或者均勻讀取ccd、cmos的信號(hào)，使得得到的數(shù)字圖像保持了這種畸變。

根據(jù)小孔成像原理，設(shè)有空間任意點(diǎn)[xmymzm]^t，其對(duì)應(yīng)像點(diǎn)的坐標(biāo)為[xuyv1]^t則有如下關(guān)系式：

其中k為攝像機(jī)的內(nèi)參數(shù)矩陣；t為攝像機(jī)的外參數(shù)矩陣；s為比例因子，與攝像機(jī)的安裝高度和傾角有關(guān)。

設(shè)z軸垂直于被拍攝平面。即在該平面上z＝0，則該平面內(nèi)任意一點(diǎn)坐標(biāo)為[xmym0]^t。令t＝[r1,r2,r3,t]，重新整理式(2.1)，可得:

記m＝[xmym1]^t，h＝k·[r1,r2,t]，則有因?yàn)閱螒?yīng)矩陣h滿秩，因此也有：

也就是說(shuō)已知被拍攝平面上的任一點(diǎn)m，其像點(diǎn)之間在相差比例因子s的情況下由單應(yīng)矩陣h唯一確定。同樣道理，如果已知像點(diǎn)則其代表拍攝平面的點(diǎn)m，也由s和h唯一決定。單應(yīng)矩陣h，在已知4個(gè)不共線的對(duì)應(yīng)點(diǎn)后可以得到。因此圖像平面和被拍攝平面之間存在一種線性變換，可以用具有八個(gè)自由度的3×3的矩陣表示，稱作單應(yīng)矩陣h。

當(dāng)攝像機(jī)固定好后，單應(yīng)矩陣h唯一確定。為了補(bǔ)償透視畸變，通常先離線計(jì)算單應(yīng)矩陣h，然后通過(guò)公式(2.3)實(shí)時(shí)計(jì)算每個(gè)點(diǎn)對(duì)應(yīng)的無(wú)畸變坐標(biāo)，并把當(dāng)前位置的像素值寫到無(wú)畸變坐標(biāo)的像素即可。

3、由于原圖像到矯正圖像會(huì)發(fā)生一部分的信息丟失和失真，因此原圖像的像素點(diǎn)與矯正圖像的像素點(diǎn)并不是一一對(duì)應(yīng)的關(guān)系，所以不能建立一個(gè)簡(jiǎn)單的表格來(lái)存儲(chǔ)坐標(biāo)變換。為了滿足實(shí)時(shí)采樣的要求，本發(fā)明提出了創(chuàng)新的三維表格，表格大小與原圖像的像素個(gè)數(shù)相同。第一維表格用來(lái)存儲(chǔ)原圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)到目標(biāo)圖像中像素點(diǎn)的個(gè)數(shù)，第二維(dx)和第三維(dy)表格用來(lái)存儲(chǔ)像素點(diǎn)之間的坐標(biāo)對(duì)應(yīng)關(guān)系。在實(shí)際采樣的過(guò)程中，對(duì)于原圖像中的每個(gè)像素點(diǎn)首先查找其在目標(biāo)圖像中的個(gè)數(shù)，按照這個(gè)個(gè)數(shù)再讀取相應(yīng)的坐標(biāo)對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)從魚眼圖像到目標(biāo)圖像的直接轉(zhuǎn)換。如圖3所示。

一、非均勻采樣的構(gòu)思

1.1均勻采樣

無(wú)論是復(fù)合視頻信號(hào)還是分量信號(hào)，圖像上每行的有效數(shù)據(jù)信號(hào)總可以分離出來(lái)。圖像采集卡的目的就是把每行的模擬圖像信號(hào)轉(zhuǎn)變成數(shù)字信號(hào)，最終形成數(shù)字圖像。圖4為復(fù)合視頻信號(hào)示意圖，模擬信號(hào)中的場(chǎng)圖像之間用場(chǎng)同步標(biāo)識(shí)，每行數(shù)據(jù)用行同步標(biāo)識(shí)，其中“圖像信號(hào)”為某行的有效數(shù)據(jù)信號(hào)。

常規(guī)圖像采集設(shè)備在每行的有效數(shù)據(jù)周期內(nèi)，以相同的頻率即等間隔對(duì)模擬信號(hào)進(jìn)行采樣,圖5顯示了均勻采樣的過(guò)程。

圖6顯示了魚眼鏡頭通過(guò)普通采集卡進(jìn)行均勻采樣后得到的圖像，從圖像中可以看出，由于桶形徑向畸變使得原本的直線變得彎曲，由于射影畸變使得原本平行的棋盤格不再平行。

1.2非均勻采樣(本發(fā)明創(chuàng)新點(diǎn)之一)

通?，F(xiàn)有的圖像采集卡或者數(shù)字?jǐn)z像機(jī)都是以相同的頻率(均勻采樣)對(duì)模擬信號(hào)進(jìn)行采樣或者均勻讀取ccd、cmos的電信號(hào)。本發(fā)明的特點(diǎn)是通過(guò)采樣時(shí)間計(jì)算出像素點(diǎn)的坐標(biāo)值，只對(duì)特定坐標(biāo)值的像素點(diǎn)進(jìn)行采樣，從而直接得到矯正的圖片，圖7顯示了非均勻采樣的過(guò)程。

模擬信號(hào)每行數(shù)據(jù)用行同步標(biāo)識(shí)，通過(guò)對(duì)行同步脈沖的計(jì)數(shù)可以得到每行像素點(diǎn)在整個(gè)圖片中的縱坐標(biāo)。每個(gè)像素點(diǎn)的采樣時(shí)間是一樣的，因此通過(guò)計(jì)算像素點(diǎn)在其所在行的采樣時(shí)刻便可以得到每個(gè)像素點(diǎn)的橫坐標(biāo)，最終得到了每個(gè)像素點(diǎn)的坐標(biāo)值。

在每個(gè)像素點(diǎn)的坐標(biāo)值確定之后，通過(guò)查詢離線表格可以得到其在目標(biāo)圖像中的個(gè)數(shù)以及坐標(biāo)增量，由此決定了是否對(duì)其采樣，以及采樣之后的數(shù)量及位置，從而便實(shí)現(xiàn)了從模擬圖像直接轉(zhuǎn)換為目標(biāo)圖像。圖8即是通過(guò)本發(fā)明方法畸變校正后的結(jié)果，其中圖像中的線條都已符合歐式度量關(guān)系，并且圖像中的物體相對(duì)大小已經(jīng)與實(shí)際相符。本發(fā)明通過(guò)控制模擬信號(hào)的采樣頻率，實(shí)現(xiàn)畸變矯正。本發(fā)明方法在模擬信號(hào)到數(shù)字信號(hào)轉(zhuǎn)變的同時(shí)進(jìn)行了圖像的畸變校正，并可以同時(shí)輸出數(shù)字模擬信號(hào)，比傳統(tǒng)方法實(shí)時(shí)性好，并節(jié)約資源。

二、系統(tǒng)結(jié)構(gòu)

基于上述方法方案，本發(fā)明還提出的系統(tǒng)結(jié)構(gòu)如圖9所示。

該系統(tǒng)結(jié)構(gòu)包括開關(guān)、參數(shù)讀取模塊、采樣控制模塊、參數(shù)表、信號(hào)采樣模塊、視頻存儲(chǔ)區(qū)、輸出控制模塊、數(shù)據(jù)緩沖區(qū)，它們的邏輯關(guān)系為:

該系統(tǒng)接受外部開關(guān)的設(shè)定，可以將該系統(tǒng)設(shè)置為均勻采樣或非均勻采樣兩種模式；

系統(tǒng)根據(jù)模式的選擇，參數(shù)讀取模塊讀取非均勻采樣表或產(chǎn)生均勻采樣參數(shù)表；

采樣控制模塊根據(jù)參數(shù)表，發(fā)給信號(hào)采樣模塊指令，把采樣的數(shù)據(jù)根據(jù)行列控制存放到視頻存儲(chǔ)區(qū)的正確位置；

數(shù)據(jù)緩沖區(qū)保存采樣后的數(shù)據(jù)；

當(dāng)數(shù)據(jù)可以輸出時(shí)有輸出控制模塊讀取緩沖區(qū)數(shù)據(jù)并輸出；輸出控制模塊可以將采集到的數(shù)據(jù)同時(shí)以模擬形式和數(shù)字形式輸出。