專利名稱：圖像處理方法、圖像處理裝置、以及成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理由具有廣角及較大失真的光學系統(tǒng)所捕捉的圖 像的技術(shù)。
背景技術(shù)：
最近，在例如機動車后方監(jiān)視器等的應用中，廣角成像裝置的需求不斷增 力口 。然而，隨著角度變寬，4咅率色i"象差(chromatic aberration of magnification ) 和失真也變大了，從而難于設(shè)計出一種具有較小色差的光學系統(tǒng)。因此，需要 提高圖像處理的性能。
如公開號為2006-345054的日本專利申請所述在采用了具有倍率色像差 和失真的光學系統(tǒng)的成像裝置中，用于校正失真的現(xiàn)有技術(shù)包括同時校正倍率 色像差和失真的方法，其對與R信號、G信號、B信號對應的每個色彩成分紅
(R)、綠(G)、藍(B)分別執(zhí)行坐標變換，所述信號是由電荷耦合設(shè)備(CCD) 或者互補金屬氧化物半導體(CMOS)傳感器等成像設(shè)備在后續(xù)階段獲取的。 還已知一種僅;歐正失真的方法，通過為RGB的各個色彩成分共同執(zhí)行坐標變 換來校正，而忽略倍率色像差。此外，如在SEI Technical Review的第162冊
(2003年3月)中90-93頁的，由Hatanaka等撰寫的"Development ofln-Vehicle Image Processing Equipment ，， 中
(http:〃www.sei.co.ip/tr/pdf/automotve/seil0357.pdf )，通常采用復雜的多項式等 作為坐標變換的公式。
對，TOB,,個言彩成分百^TO象差X稀的「TOGF的好—IT彩威 分的失真是相同的。此外，失真遠大于倍率色像差。因此，期望分別地校正倍
3率色像差和失真。
然而，在失真矯正中，慣用地在x和y方向執(zhí)行坐標變化，并通常采用復 雜的多項式等作為坐標變換的公式。因此，增加了電路的尺寸，局限了成本降 低。尤其是，為了將由魚眼(fisheye)光學系統(tǒng)所獲取的具有較大失真的魚眼 圖像校正為適于人眼觀察的圖像，需要復雜的多項式，因此引起電路尺寸的增 加。魚眼光學系統(tǒng)指的是不執(zhí)行普通透鏡中的投影方法y=ftane，而執(zhí)行如下 列投影方法的光學系統(tǒng)立體投影y=2ftan(0/2)、等距投影y=fB、等立體角投 影(equisolidangle) y=2fsin(0/2)、以及直角投影y=fsin0;其中y是圖像高度，
f是焦距，e是半視角。
本發(fā)明的目的在于至少部分解決現(xiàn)有技術(shù)中存在的問題。 根據(jù)本發(fā)明的一方面，提供了一種處理具有失真的圖像數(shù)據(jù)的方法，該方 法包括通過基于
對圖像數(shù)據(jù)執(zhí)行坐標變換從而校正失真。其中，x和y表示以屏幕中心為原點 時變換目標的坐標；X和Y表示以屏幕中心為原點時變換源的坐標；a和b是 坐標變換系數(shù)。
此外，根據(jù)本發(fā)明的另一方面，提供了一種用于處理具有失真的圖像數(shù)據(jù) 的裝置，該裝置包括失真校正單元，其基于
對圖像數(shù)據(jù)進行坐標變換從而校正失真。其中，x和y表示以屏幕中心為原點 時變換目標的坐標；X和Y表示以屏幕中心為原點時變換源的坐標；a和b是 坐標變換系數(shù)。
另外，根據(jù)本發(fā)明的再一方面，提供了包括成像設(shè)備的一種成像裝置，所 述成像設(shè)備采用具有較大失真的光學系統(tǒng)捕捉圖像，并輸出具有失真的圖像數(shù) -設(shè)絲絲錢頓像it^置-。---結(jié)合附圖閱讀下文具體說明的本發(fā)明優(yōu)選實施例，將會更好地理解本發(fā)明

發(fā)明內(nèi)容
義=x + (a + );c
卩=少
義=X + (<3 + )X的上述和其他目標、特征、有點以及技術(shù)和工業(yè)上的有效性。


圖1示出了根據(jù)本發(fā)明實施例的成像裝置的框圖2A示出了用于G信號的Bayer彩色濾波器陣列的示意圖2B示出了用于R信號的Bayer彩色濾波器陣列的示意圖2C示出了用于B信號的Bayer彩色濾波器陣列的示意圖3示出了根據(jù)實施例的MTF校正單元的框圖4示出了 FIR濾波器示例的示意圖5示出了用于說明倍率色像差和失真的圖例；
圖6示出了用于說明倍率色像差和失真的通常校正方法的圖例；
圖7A和7B的圖例用于說明根據(jù)本發(fā)明進行倍率色像差和失真校正的方
法；
圖8示出了根據(jù)實施例的倍率色像差校正單元的結(jié)構(gòu)圖； 圖9A到9C示出了倍率色像差校正坐標變換計算器的示例； 圖IO示出了根據(jù)實施例的失真校正單元的結(jié)構(gòu)圖。
具體實施例方式
下面參考附圖詳細說明本申請的示例實施例。實施例說明了 一種成像裝 置，其采用具有較大倍率色像差和失真的廣角光學系統(tǒng)以捕捉物體，以及具有 用于校正倍率色像差和失真的配置的圖像處理系統(tǒng)。然而，本發(fā)明的主要特征 是失真的校正，并且圖像需要由至少具有廣角和較大失真的光學系統(tǒng)捕捉。圖 像的色彩成分是加法三原色的紅(R)、綠(G)、藍(B),然而也可以是減法 三原色的黃(Y)、紅紫(M)、藍綠(C)。
圖1是根據(jù)本發(fā)明實施例的成像裝置中的圖像處理系統(tǒng)的功能框圖。除 了圖l所示的組件，根據(jù)實施例的成像裝置包括未在圖1中顯示的操作單元、 圖像存儲單元、以及圖像顯示單元。所述圖像裝置可以被用作車載相機，但是 本發(fā)明并不限于這種應用。
如圖1所示，控制單元100為各個單元提供所需的控制信號(時鐘、水平
-戯1W計等-h-f械會浙似t^fr封錄元^T齡。--
成像設(shè)備110包括，例如將光學圖像轉(zhuǎn)換為電信號(像素數(shù)據(jù))的CCD
5或者CMOS傳感器，所述光學圖像是由例如具有廣角、較大倍率色像差及失 真的魚眼光學系統(tǒng)的光學系統(tǒng)所獲取的。在成像設(shè)備110中提供了 Bayer彩色 濾波器陣列，并且基于來自控制單元100的坐標數(shù)據(jù)(x、 y)將Bayer陣列 RGB像素數(shù)據(jù)連續(xù)地輸出。所述控制單元100將給予成像設(shè)備110的坐標數(shù) 據(jù)(x、 y)繼續(xù)給予偏移(shift)預定時間后的后續(xù)步驟。所述坐標數(shù)據(jù)(x、 y)可以在圖像設(shè)備110中生成，并繼續(xù)給予后面的步驟。
模數(shù)(A/D)轉(zhuǎn)換器120將Bayer陣列RGB像素數(shù)據(jù)轉(zhuǎn)換為數(shù)字信號， 并將該數(shù)字信號輸出到Bayer補償單元130,所述Bayer陣列RGB像素數(shù)據(jù)是 輸出自成像設(shè)備110的模擬信號。在本實施例中，假設(shè)對于RGB的每個，數(shù) 字信號包括8比特。通常，在A/D轉(zhuǎn)換器120的前一個步驟提供AGC電路； 但是在這里省略了。
Bayer補償單元130接收被轉(zhuǎn)換為數(shù)字信號的Bayer陣列RGB像素數(shù)據(jù)， 通過線性內(nèi)插生成全部坐標位置的圖像數(shù)據(jù)，并且將像素數(shù)據(jù)輸出到倍率色像 差校正單元140。
圖2A-2C示出了 Bayer色彩濾鏡陣列的示意性圖例，其中G。、 i 2、 i 4、 i 6、 A和/ 。是由等式(1)到(6)獲得的。
G。=(G2+G4+G6+G8)/4 (1)
/ 2 +i 3)/2 (2)
及4 =(i 3+i 5)/2 (3)
及6 =(i 5+i 7)/2 (4)
及8 =(/^+i 7)/2 (5)
i 。
+i 3+J 5+i 7)/4 (6)
52、化、56、 58及5。與及2、 i 4、 i 6、 A及i 。的情況相同。
盡管實施例涉及使用Bayer彩色濾波器陣列(color filter array )的成像設(shè)
濾波器陣列獲得所述效果。特別是，相對于如RGB的三色彩類型，具有四種 色彩的彩色濾波器陣列的成像設(shè)備需要低延遲存儲器或者4端口 RAM,并可 -IWf尋對更盲的效果:
倍率色像差校正單元140接收經(jīng)Bayer補償后的RGB數(shù)據(jù)，根據(jù)預定的等式對RGB的色彩成分分別執(zhí)行坐標變換(倍率色像差坐標變換)，并將經(jīng)倍 率色像差校正后的RGB像素數(shù)據(jù)輸出。下面會結(jié)合失真校正單元160 —起說 明倍率色像差校正單元140。但是，低容量及低延遲存儲器或者具有多個端口 的低容量存儲器(如SRAM)可以用于校正倍率色像差的坐標變換。
調(diào)制傳遞函數(shù)(MTF， modulation-transfer-ftmction)校正單元150接收經(jīng) 倍率色像差校正后的RGB像素數(shù)據(jù)，采用FIR文件執(zhí)行MTF校正，并將經(jīng) MTF校正后的RGB像素數(shù)據(jù)輸出。
圖3示出了 MTF校正單元150的框圖。轉(zhuǎn)換單元152基于等式(7)至(9) 將RGB圖像數(shù)據(jù)轉(zhuǎn)換為YCbCr圖像數(shù)據(jù)。
r = 0.299" 0.587G +0.1145 (7)
O = 0.500i — 0.419G —0.0815 (8)
C6 = -0.169i _0.332G +0.5005 (9)
FIR濾波器(5x5濾波器)154僅接收YCbCr的亮度信號Y，并執(zhí)行預 定的MTF校正。通過僅對Y信號進行濾波(執(zhí)行MTF校正)可以獲得色彩 信號雜波的放大被抑制后的高質(zhì)量圖像。圖4示出了 FIR濾波器的示例的框圖。 由于Y信號被濾波，需要在倍率色像差校正后執(zhí)行MTF校正。如下所述，在 失真校正后執(zhí)行MTF校正時，失真校正的坐標變換中的變換距離較大，易于 發(fā)生算法錯誤。因此較佳的是如本實施例中的，在倍率色像差校正之后的階段， 并在失真校正之前的階段行MTF校正，從而避免錯誤被MTF校正放大，對
圖像質(zhì)量產(chǎn)生不良影響。
逆轉(zhuǎn)換單元156接收CbCr信號和經(jīng)MTF校正后的Y信號，并基于等式 (10 )至(12 )將經(jīng)逆轉(zhuǎn)換后的RGB圖像輸出。
/ = 7 + 1.4020 (10)
G = y-0.714O-0.344C6 (11)
5 = y + 1.772C6 (12)
失真校正單元160接收經(jīng)倍率色像差校正和MTF校正后的RGB像素數(shù) 據(jù)，通常根據(jù)預定等式對RGB的各個色彩成分執(zhí)行坐標變換(失真坐標變換)， 并將經(jīng)失真校正后的RGB像素數(shù)據(jù)輸出。在本發(fā)明中，可將小尺寸電路用于 失真校正單元160中的坐標變換，并且可以將最多用于一行(one line)的緩沖存儲器作為存儲器。如上所述，將具體說明失真校正單元160。
伽馬校正單元170接收輸出自失真校正單元160的RGB像素數(shù)據(jù)，采用 RGB的各個查找表等執(zhí)行預定的伽馬校正，并將經(jīng)伽馬校正后的RGB像素數(shù) 據(jù)輸出。
上面說明了如圖1所示的本實施例的總體運行。下面詳細說明作為本實施 例中的主要部件的倍率色像差校正單元140和失真校正單元160。
首先說明倍率色像差校正和失真校正的原理。如圖5所示，當采用具有倍 率色像差和失真的光學系統(tǒng)執(zhí)行成像時，位于屏幕右上方由l表示的位置(像 素)的像素數(shù)據(jù)由于失真偏離了原來的位置，并由于倍率色像差而發(fā)生RGB 的色彩成分的不同偏離。因此，實際由成像設(shè)備捕捉的像素數(shù)據(jù)的位置變成了 位置2 (R)、 3 (G)和4 (B)。通過將在2 (R)、 3 (G)和4 (B)位置(像 素)的各個RGB色彩成分的像素數(shù)據(jù)復制到作為原始位置(像素)的位置1， 換句話說，通過坐標變換，執(zhí)行對倍率色像差和失真的校正。位置2、 3、 4 是源坐標，位置l是目標坐標。
由于根據(jù)光學系統(tǒng)的統(tǒng)計數(shù)據(jù)可以得到倍率色像差的大小和失真的大小， 可以計算出RGB的各個色彩成分相對于原始位置偏離到了什么位置。
圖6示出了校正倍率色像差和失真的通常方法。即，通常將位于位置(像 素)2 (R)、 3 (G)、 4 (B)的RGB的各個色彩成分的像素數(shù)據(jù)復制到是原 始位置的位置(像素)1。即，通過坐標變換同時矯正了倍率色像差和失真。 然而，根據(jù)該方法，需要具有用于RGB的每個色彩成分的大容量和低延遲的 存儲器或者多端口存儲器。例如，在圖6的情況下，需要具有6行的高速存儲 器對RGB的每個色彩進行坐標變換。
圖7A和7B示出了分別進行倍率色像差校正和失真校正的方法。每個色 彩成分的倍率色像差不同；然而偏離很小。另一方面，盡管失真的偏離較大， 但對于每個色彩成分是相同的。關(guān)注于這一點，通過對RGB的各個色彩成分 的像素數(shù)據(jù)分別執(zhí)行坐標變換來校正倍率色像差(將RB的色彩成分坐標變換， 并將色彩成分復制到G成分的位置)，其后，將經(jīng)過倍率色像差校正后的RGB 像素數(shù)據(jù)共同地進行坐標變換從而校正失真。相應地，可以將用于坐標變換的 存儲器劃分為倍率色像差校正所需的小容量、高速(低延遲或者多端口)適用
8于RGB的存儲器，以及失真校正所需的通用于RGB的大容量和低速(高延 遲或者單端口 )存儲器，從而整體降低消耗。本發(fā)明在于通過簡化特別用于倍 率色像差校正的坐標變換等式，并釆用簡單、小型的電路扭i行倍率色像差校正， 從而進一步實現(xiàn)總體消耗降低。
在圖7A中，對在位置(像素)2 (R)、 4 (B)的RB的色彩成分的像素 數(shù)據(jù)執(zhí)行坐標變換，將數(shù)據(jù)復制到G成分的位置(像素)3 (G)。通過這一操 作將倍率色像差校正。在圖7B中，對經(jīng)過倍率色像差校正后的、在位置(像 素)3的RGB的色彩成分的像素數(shù)據(jù)共同地執(zhí)行坐標變換，將數(shù)據(jù)復制到作 為原始位置的位置(像素)1。通過這一操作校正失真。
在圖7A和7B所示的示例中，適用于RGB的3行存儲器作為用于倍率色 像差校正的高速存儲器是足夠的。失真校正則單獨需要5行存儲器；然而，通 ?？梢詫⒌退俅鎯ζ饔糜赗GB,并且與圖6的情況相比可以整體上實現(xiàn)消耗 的降低。通過采用簡單和小型的電路執(zhí)行對倍率色像差和失真的校正，可以進 一步從整體上實現(xiàn)消耗降低。
如后文要說明的，在本發(fā)明中，將特別用于失真校正的坐標變換公式筒化， 從而采用簡單、小型的電路校正失真；僅在x方向上執(zhí)行坐標變換，并且最多 僅需要具有l(wèi)行的存儲器，從而從整體上實現(xiàn)最大限度地消耗降低。在本實施 例中，同樣將用于倍率色像差校正的坐標變換公式進行簡化，從而通過最小的 電路尺寸對倍率色像差進行校正。然而，倍率色像差校正不限于此(根據(jù)不同 情況可以省略)。
所述失真涉及經(jīng)過特定投影方法的透鏡的失真，例如，所述特定的投影方 法包括獲取從照相機上方向下看的圖像的投影方法，或者特定部分被放大并 顯示的投影方法。
圖8示出了根據(jù)本實施例的倍率色像差校正單元140的結(jié)構(gòu)圖。在本發(fā)明 中采用下列等式作為用于倍率色像差校正的坐標變換的公式(倍率色像差校正 公式)
其中x和y表示在屏幕中心被指定為原點時的目標坐標(原始坐標)，X、
9Y表示源坐標，而a和b是坐標變換系數(shù)。通過Ax二ax和Ay-by表示在x和 y方向的像素位移量Ax和Ay (校正量)?？梢源_定的是即使將倍率色像差公 式筒化為等式(13 )來代替復雜的多項式等，同樣可以獲得與使用多項式等時 所達到的相同的校正效果。特別是，在具有較大倍率色像差的魚眼光學系統(tǒng)的 情況下，由于運算準確性的問題，要求高位數(shù)的比特，并且要求大型電路。然 而，根據(jù)本方法，由于僅需要對x軸和y軸中的每一個進行一次乘法，能夠產(chǎn) 生大幅降低電路尺寸的效果。特別是，由于這里使用的模擬乘法器僅需執(zhí)行"常 量x變量"的乘法，因此可以使用小型模擬乘法器，而無需采用在"近期流行 的像機標定方法"中所揭示的方法需要的、用于計算平方數(shù)的"變量x變量" 大型模擬乘法器。
在圖8中，附圖標記142表示用于倍率色像差校正的坐標變換存儲器(行 緩沖器)，142 (R)、 142 (G)、 142 (B)則分別對應于RGB的色彩成分。附 圖標記144表示倍率色像差校正坐標變換計算器，其根據(jù)等式(13 )的坐標變 換的公式，為將每個RGB的倍率色像差進行校正，計算變換坐標；146表示 坐標變換系數(shù)表，其保存用于坐標變換的公式中的系數(shù)a或b。
對于倍率色像差校正，需要用于RGB的小容量、三端口存儲器，或者低 延遲存儲器作為行緩沖器。這里假設(shè)坐標變換存儲器142 (R)、 142 (G)、 142 (B)分別包括用于20行的SRAM，假設(shè)在y方向上的倍率色像差的最大偏 離量是20行。在x方向上的偏離量大小由解析度確定。例如，在解析度VGA (640x480)的情況下，在x方向上的尺寸是640點。色深是RGB8比特，并 且以8比特為單位執(zhí)行坐標變換存儲器142 (R)、 142 (G)、 142(B)的讀寫。 因此，由于用于倍率色像差校正的坐標變換存儲器(行緩沖器)142 (R)、 142 (G)、 142 (B)具有較小容量，希望通過采用在成像裝置的圖像處理芯片 中準備的3端口 SRAM來分別保證20行的存儲區(qū)域。在如SRAM的低延遲 存儲器的情況下，可以通過時間共享采用一端口存儲器作為三端口存儲器。
根據(jù)坐標數(shù)據(jù)(x, y)，從最高行開始順序地將具有倍率色^f象差和失真的 被捕捉的圖像的各個RGB像素數(shù)據(jù)分別寫入坐標變換存儲器142 (R)、 142 (G)、 142(B)中。當20行的像素數(shù)據(jù)被各個寫入后，從最高行開始順序地 將像素數(shù)據(jù)丟棄，并重新寫入后面的行的像素數(shù)據(jù)。在坐標變換存儲器142說明書第9/12頁
(R)、 142 (G)和142 (B)中，倍率色像差校正的坐標變換所分別需要的直 到20行的RGB像素數(shù)據(jù)，被順序存儲。
坐標數(shù)據(jù)(x、 y)表示對于一幀的被獲取圖像的讀取位置。另一方面，由 于坐標變換存儲器142 (R)、 142 (G)和142 (B)是20行的行存儲器，并且 寫入行被循環(huán)地改變，坐標數(shù)據(jù)(x， y)無法直接被用作坐標變換存儲器142
(R)、 142 (G)和142 (B)的寫入地址。相應地，需要將坐標數(shù)據(jù)(x， y) 的值改變?yōu)樽鴺俗儞Q存儲器142 (R)、 142 (G)和142 (B)的實際地址；但 是，在圖8中省略了變換的配置。同樣的情況應用于經(jīng)過稍后說明的讀取操作 的變換之后的坐標數(shù)據(jù)(x， y)與坐標變換存儲器142 (R)、 142 (G)和142
(B)的讀取坐標之間的關(guān)系。
倍率色像差校正坐標變換計算器144，根據(jù)坐標變換的等式(13 )的公式， 指定目標的坐標數(shù)據(jù)(x， y)作為輸入，為將每個RGB的倍率色像差進行校 正而計算變換坐標，并將作為每個RGB的源坐標的坐標數(shù)據(jù)(X, Y)輸出。 如圖7A所示，在本實施方式中，將RB的色彩成分坐標變換并復制到G成分 的位置。因此，倍率色像差校正坐標變換計算器144輸出被輸入的坐標數(shù)據(jù)(X， Y)直接作為G成分的坐標數(shù)據(jù)(X， Y)，并且采用等式(13)的坐標變換公 式將分別輸入的坐標數(shù)據(jù)(X, Y)變換為RB成分的坐標數(shù)據(jù)(X， Y)，并 將坐標數(shù)據(jù)(X， Y)輸出。為每個坐標數(shù)據(jù)(x， y)重復這一操作。
坐標變換存儲器142 (R)、 142 (G)和142 (B),基于輸出自倍率色像差 校正坐標變換計算器144的坐標數(shù)據(jù)'(X， Y)(實際上，基于通過將坐標數(shù)據(jù)
(X, Y)的地址進行變換所獲得的數(shù)值)，與之前的寫入操作并行地(實際上， 延遲預定時間)順序讀取各個RGB像素數(shù)據(jù)。在寫入的時候，從坐標變換存 儲器142 (G)中讀出與(X, Y)位于相同位置的G成分。另一方面，在寫 入的時候，將從坐標(X, Y)偏離預定位置(Ax, Ay)的RB成分像素數(shù) 據(jù)，即，將偏離倍率色像差部分的像素數(shù)據(jù)從坐標變換存儲器142 (G)和142
(B)中讀出。
通過執(zhí)行上述操作，將經(jīng)過倍率色像差校正的RGB像素數(shù)據(jù)分別從坐標 變換存儲器142(R)、 142 (G)和142 (B)中輸出。
圖9A至9C是倍率色像差校正坐標變換計算器144的三個特殊示例。在
ii圖9A的示例中，不為色彩成分G執(zhí)行坐標變換，并直接將輸入的坐標數(shù)據(jù)(x， y)作為G的坐標數(shù)據(jù)(X， Y)輸出；而分別通過采用等式(13)的坐標變 換計算器1441和1442,僅對輸入的R和B色彩成分的坐標數(shù)據(jù)(x， y )執(zhí)行 坐標變換；并將R的坐標數(shù)據(jù)(X， Y)和B的坐標數(shù)據(jù)(X, Y)輸出。由 于等式(13)具有簡單的結(jié)構(gòu)，可以降低坐標變換計算器的電路大?。贿M一步 地，由于坐標變換僅需要為R和B色彩成分執(zhí)行坐標變換，因此進一步地減 小了電5各的尺寸。
圖9B和9C關(guān)注于倍率色像差通常由于R和B色彩成分以對于G色彩成 分充分對稱地方式位移而發(fā)生的事實(見圖5)。在圖9B的示例中，坐標變換 計算器1443為坐標數(shù)據(jù)獲取校正量(Ax和Ay),并且把使用減法器1444將 校正量從坐標數(shù)據(jù)(x， y)減去所獲得的數(shù)值指定為B色彩分量的坐標數(shù)據(jù) (X， Y);反之，把使用加法器1445將校正量加入坐標數(shù)據(jù)(x, y)所獲得 的數(shù)據(jù)指定為R色彩分量的坐標數(shù)據(jù)(X, Y)。如圖9A所示，為G的坐標數(shù) 據(jù)(X, Y)將坐標數(shù)據(jù)(x， y)直接輸出。
在圖9C的示例中，考慮到在對稱位置的位移，通過增益電路1446將R 的校正量進行調(diào)整。可以在分量B—端提供增益電路。根據(jù)圖9B和9C所示 的示例，可以僅有一個坐標變換計算器，從而可以進一步減小電路大小。
代替圖9A中的坐標變換計算器1441和1442，可以準備用于存儲輸入坐 標數(shù)據(jù)(x， y)和輸出坐標數(shù)據(jù)(X， Y)之間對應關(guān)系的查詢表(LUT)，從 而可以通過使用LUT直接獲得對于目標坐標數(shù)據(jù)(x， y)的源坐標數(shù)據(jù)(X， Y)。同樣地，代替圖9B和9C中的坐標變換計算器1443，可以準備用于存儲 輸入坐標數(shù)據(jù)(x, y)和調(diào)整量之間對應關(guān)系的查詢表(LUT)，從而可以通 過使用LUT直接獲得對應于調(diào)整量的坐標數(shù)據(jù)(x, y)。相應地，可以省略對 于坐標變換的計算，并可以僅通過存儲器芯片基本實現(xiàn)倍率色像差校正。
圖IO示出了失真校正單元160的結(jié)構(gòu)圖。根據(jù)實施例，以下等式被用作 失真校正的坐標變換的公式(失真校正公式)。
其中x和y表示當將屏幕中心指定為原點時的目標坐標(原始坐標)；X、Y表示源坐標；a和b表示坐標變換系數(shù)。在x方向上的像素偏離量Ax (校 正量)由AZ-(a + 6/)x表示?？梢酝ㄟ^僅根據(jù)如等式(14)的簡單變換公式在 x方向上進行坐標變換，而不采用三角函數(shù)或者高次多項式，將具有較大失真 的圖像校正為易于人眼觀察的圖像，所述變換公式。特別是，對于采用魚眼光 學系統(tǒng)所獲取的具有較大失真的魚眼圖像，其通常需要大型電路，而在本發(fā)明 中可以采用小型電路將其校正為易于人眼觀察的圖像。此外，由于僅在x方向 上進行像素位移，用于存儲過去圖像數(shù)據(jù)的存儲器至多需要1行用于失真校 正，因此所需的存儲器大小可以大幅降低。當然，具有較大存儲容量是沒有問 題的。
此外，通過用jc'和/代替等式(14)中的x和y，可以僅將左右部分從魚 眼圖像中切除，并在放大區(qū)域內(nèi)顯示。
;c'= A + (xy/ze-"/xy/z￡*;c (當x>0);和 y'=-& + (xs/ze —A;)/xs7'ze*;c (當 x^0)，
其中xsize是在圖像的水平方向除以2后的像素數(shù)目，k是放大 (magnification)系It ( 0sk《xsize)。當k變大時，左和右部分的方丈大比例增 加。
通過采用這種左右部分的放大顯示方法，例如來自安裝在汽車前方的相機 中的圖像，可以在丁字i 各口或者十字路口形成易于確定左部和右部的圖像。用 戶可以通過開關(guān)選擇是否采用左右部被放大顯示的方法，并且可以在如汽車速 度低于特定速度時或者在反向位置發(fā)生位移變換時進行轉(zhuǎn)換。
在圖10中，附圖標記161表示RGB合成單元，其將RGB的三個像素數(shù) 據(jù)合成為一個像素數(shù)據(jù)；162表示坐標變換存儲器，其校正對于RGB像素數(shù) 據(jù)常見的失真；163表示RGB分離單元，其將RGB像素數(shù)據(jù)分離成原始的色 彩成分；164表示失真校正坐標變換計算器，其根據(jù)等式(14)的坐標變換的 公式，對于經(jīng)過合成的RGB像素數(shù)據(jù)為失真校正計算變換坐標；165表示坐 標轉(zhuǎn)換系數(shù)表，其保存用于坐標變換公式中的系數(shù)a和b。
所述RGB合成單元161順序接收各個經(jīng)倍率色像差校正后的RGB像素 數(shù)據(jù)(分別為8比特)，將這些數(shù)據(jù)合稱為一個像素數(shù)據(jù)(24比特)，并輸出 合成后的像素數(shù)據(jù)。根據(jù)各個坐標數(shù)據(jù)(x， y)從最高行開始將合成后的RGB
13像素數(shù)據(jù)順序?qū)懭胱鴺俗儞Q存儲器162中。
另一方面，失真校正坐標變換計算器164,指定坐標數(shù)據(jù)(x， y)為輸入, 根據(jù)等式(14)的坐標變換的公式，為校正RGB通常發(fā)生的失真計算坐標變 換，并輸出變換后的坐標數(shù)據(jù)(X， Y)。特別是，失真校正坐標變換計算器 164根據(jù)等式(14)在x方向計算變換坐標，并輸出數(shù)據(jù)變換后的坐標(X， Y)，而保持y方向的狀態(tài)。用于等式(14)計算的坐標變換系數(shù)預先存儲于 坐標變換系數(shù)表165中。由于等式(14)是用于失真校正的坐標變換的公式， 可以減小失真校正坐標變換計算器164的電路大小。
坐標變換存儲器162基于輸出自失真校正坐標變換計算器164的坐標數(shù)據(jù) (X, Y)，與經(jīng)過之前RGB合成后的像素數(shù)據(jù)的寫入操作并行地(實際上， 延遲預定時間)順序讀取各個RGB像素數(shù)據(jù)。RGB分離單元163為RGB的 各個色彩成分,將從坐標變換存儲器162讀取的經(jīng)RGB合成后的像素數(shù)據(jù)(24 比特)分離成像素數(shù)據(jù)(8比特)。釆用等式(14),僅在x方向上進行像素位 移。因此，坐標變換存儲器162最多僅需要一行，從而極大地降低對于存儲器 大小的需求。
根據(jù)上述處理，RGB分離單元163輸出各個倍率色像差和失真已被校正 過的RGB像素數(shù)據(jù)。即，各個RGB像素數(shù)據(jù)被復制到原始位置(x, y)。
同樣，在失真校正中，可以準備用于存儲輸入坐標數(shù)據(jù)(x， y)與輸出坐 標數(shù)據(jù)(X， Y)的對應關(guān)系的查詢表(LUT)，由此可以通過LUT直接獲取 對于坐標數(shù)據(jù)(x, y)的變換后的坐標數(shù)據(jù)(X， Y)。相應地，可以省略坐標 變換，并僅通過存儲芯片基本實現(xiàn)失真校正。
可以確定的是，通過根據(jù)等式(14)僅在x方向執(zhí)行坐標變換，可以將具 有較大失真的魚眼圖像校正為易于人眼觀察的圖像。根據(jù)本發(fā)明的圖像處理方 法和圖像處理裝置，在不會降低失真校正的性能的情況下可以采用最小的電路 大小。此外，根據(jù)本發(fā)明的成像裝置，進一步的消耗降低變?yōu)榭赡?。另外，?過在等式(14)中將x和y替換為x'和/，可以僅將左右部分從魚眼圖像中切 除并在放大范圍內(nèi)顯示。
盡管已經(jīng)結(jié)合特定實施例對本發(fā)明進行了完整清楚的描述，但是上述描述 并不構(gòu)成對所附權(quán)利要求的限制，而是用于解釋落入前述基本教示中的本領(lǐng)域 技術(shù)人員可能遇到的所有變形和可選構(gòu)造。
權(quán)利要求
1. 一種處理具有失真的圖像數(shù)據(jù)的方法，該方法包括通過基于對圖像數(shù)據(jù)執(zhí)行坐標變換，從而校正失真，其中，x和y表示以屏幕中心為原點時變換目標的坐標；X和Y表示以屏幕中心為原點時變換源的坐標；a和b是坐標變換系數(shù)。
2. 根據(jù)權(quán)利要求1所述的方法，其中以x'-yt + 0/ze-yt)/xs/z一x (當x>0) 和7'=-* + (1^^-^:)/;^/^!^ (當x《0)分另'J替換x和y，其中xsize是圖寸象中水 平方向上一半的像素數(shù)目，k是放大系數(shù)(0sk^xsize)。
3. —種用于處理具有失真的圖像數(shù)據(jù)的裝置，該裝置包括 失真校正單元(160),該失真校正單元基于對圖像數(shù)據(jù)進行坐標變換，從而校正失真，其中，x和y表示以屏幕中心 為原點時變換目標的坐標；X和Y表示以屏幕中心為原點時變換源的坐標；a 和b是坐標變換系數(shù)。
4. 根據(jù)權(quán)利要求3所述的裝置，其中以x'= yt + (xs/ze - A:)/* ;c (當x > 0 ) 和/=—A: + (xy/ze —(當x^O )分另'J替換x和y,其中xsize是圖像中水 平方向上一半的像素數(shù)目，k是放大系數(shù)(Osksxsize)。
5. —種成像裝置，包括成像設(shè)備，采用具有較大失真的光學系統(tǒng)捕捉圖像，并且輸出具有失真的 圖像數(shù)據(jù)；以及根據(jù)權(quán)利要求3或4所述的處理圖像的裝置。
6. 根據(jù)權(quán)利要求5所述的成像裝置，其中所述光學系統(tǒng)是魚眼光學系統(tǒng)。
全文摘要
提供了一種圖像處理方法、圖像處理裝置、以及成像裝置。通過基于X=x+(a+by²)x Y=y對圖像數(shù)據(jù)進行坐標變換從而校正圖像數(shù)據(jù)中的失真。其中，x和y表示以屏幕中心為原點時變換目標的坐標；X和Y表示以屏幕中心為原點時變換源的坐標；a和b是坐標變換系數(shù)。
文檔編號H04N9/07GK101500077SQ20091000596
公開日2009年8月5日 申請日期2009年1月22日 優(yōu)先權(quán)日2008年1月28日
發(fā)明者笠原亮介 申請人:株式會社理光