專利名稱：高動(dòng)態(tài)范圍視頻成像系統(tǒng)和圖像生成方法
高動(dòng)態(tài)范圍視頻成像系統(tǒng)和圖像生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)與圖像處理領(lǐng)域，尤其涉及一種高動(dòng)態(tài)范圍視頻成像系統(tǒng) 和圖像生成方法。
背景技術(shù)：
傳統(tǒng)的高動(dòng)態(tài)圖像生成方法通常是利用同一個(gè)感光芯片，通過(guò)設(shè)置不同曝光時(shí)間 獲取不同曝光度照片，進(jìn)而融合生成具有高動(dòng)態(tài)范圍的圖像，其本質(zhì)決定了只能用于靜態(tài) 攝影，而不能處理動(dòng)態(tài)場(chǎng)景及物體。隨著圖像傳感技術(shù)的發(fā)展，視頻拍攝也進(jìn)入了高清時(shí)代，然而僅僅是視頻采集設(shè) 備分辨率的提高已難以滿足人們的觀賞需要。在圖像與視頻處理領(lǐng)域，更多的是關(guān)注于如 何獲得類似人眼視覺(jué)系統(tǒng)所能達(dá)到的高動(dòng)態(tài)范圍與色彩真實(shí)度，然而由于技術(shù)手段所限， 傳統(tǒng)視頻采集設(shè)備只能在正常光照環(huán)境下獲得滿意的圖像質(zhì)量，當(dāng)拍攝中出現(xiàn)強(qiáng)光或陰影 等不利因素時(shí)，其拍攝效果往往難以接受。傳統(tǒng)的圖像與視頻采集裝置的工作原理大致可 以分為以下幾種(1)普通單幅圖像拍攝，主要通過(guò)控制相機(jī)的快門速度或光圈值以生產(chǎn) 單幅圖像，其圖像質(zhì)量主要取決于與圖像傳感器及鏡頭的制作工藝，以及拍攝人員的技術(shù) 水平。(2)高質(zhì)量單幅圖像拍攝，該類相機(jī)主要是通過(guò)特定快門控制程序，對(duì)同一拍攝物體 及場(chǎng)景進(jìn)行多次不同時(shí)間的曝光，使一張底片上能獲得多次曝光的圖像信息，這樣生成的 圖像具有較豐富的光照和色彩信息量，動(dòng)態(tài)范圍得到明顯的增強(qiáng)，該技術(shù)主要用于高檔手 動(dòng)相機(jī)上。(3)高動(dòng)態(tài)范圍攝像機(jī)，主要通過(guò)攝像機(jī)內(nèi)置的圖像處理軟件，通過(guò)分析每一幀 圖像內(nèi)筒的光照與色彩分布，通過(guò)特定圖像處理方法進(jìn)行調(diào)整，進(jìn)而生成具有更好視覺(jué)效 果的視頻。傳統(tǒng)的基于不同曝光時(shí)間圖像生成的單幅動(dòng)態(tài)范圍增強(qiáng)圖像的方案，只能針對(duì)單 一靜態(tài)場(chǎng)景進(jìn)行拍攝，且對(duì)場(chǎng)景的光照和環(huán)境要求較高，該類設(shè)備無(wú)法對(duì)連續(xù)場(chǎng)景進(jìn)行動(dòng) 態(tài)的實(shí)時(shí)拍攝。傳統(tǒng)的基于單幀圖像處理所生成高動(dòng)態(tài)視頻方法，通過(guò)圖像處理方法，對(duì)視頻獨(dú) 立幀進(jìn)行亮度與色彩分析，進(jìn)而提高其對(duì)比度、亮度、飽和度等觀測(cè)指標(biāo)，雖視覺(jué)效果有所 改善，但對(duì)于前期拍攝中因高光、過(guò)曝、陰影等造成的信息丟失則無(wú)法處理。傳統(tǒng)的基于不同曝光時(shí)間的高動(dòng)態(tài)范圍視頻拍攝，與基于不同曝光時(shí)間圖像生成 的單幅動(dòng)態(tài)范圍增強(qiáng)圖像的方案中所述原理類似，但用于動(dòng)態(tài)場(chǎng)景的高動(dòng)態(tài)范圍視頻圖像 拍攝，其主要問(wèn)題在于，由于采用多次曝光時(shí)間導(dǎo)致的時(shí)間差，造成拖影、發(fā)虛，對(duì)于高速運(yùn) 動(dòng)和變化場(chǎng)景容易造成拍攝目標(biāo)丟失的等嚴(yán)重問(wèn)題，且在后期的圖像配準(zhǔn)與融合方面，現(xiàn) 有圖像處理方法尚難以實(shí)現(xiàn)高速有效處理。

發(fā)明內(nèi)容基于此，有必要提供一種視覺(jué)信息豐富的能用于動(dòng)態(tài)同步拍攝的高動(dòng)態(tài)范圍視頻 成像系統(tǒng)。
同時(shí)，還有必要提供一種視覺(jué)信息豐富的能用于動(dòng)態(tài)同步拍攝的高動(dòng)態(tài)范圍視頻 成像系統(tǒng)的圖像生成方法。一種高動(dòng)態(tài)范圍視頻成像系統(tǒng)，包括光學(xué)鏡頭，此外，還包括至少一個(gè)分光器、多 個(gè)感光芯片和圖像處理單元；所述分光器用于將通過(guò)所述光學(xué)鏡頭的入射光分成多束相同 的等量光束，所述多個(gè)感光芯片為相同規(guī)格的感光芯片，用于接收所述多束相同的等量光 束并以相同拍攝幀速得到同一被拍景象的多組曝光程度不同的原始圖像數(shù)據(jù)，圖像處理單 元將多組原始圖像數(shù)據(jù)融合處理生成高動(dòng)態(tài)范圍圖像。優(yōu)選的，所述分光器為分光片，所述分光片的分光波長(zhǎng)范圍為可見(jiàn)光范圍；所述感 光芯片為互補(bǔ)金屬氧化物半導(dǎo)體圖像傳感器、電荷耦合元件圖像傳感器或近紅外圖像傳感 器中的一種。優(yōu)選的，還包括外圍系統(tǒng)，所述外圍系統(tǒng)包括多個(gè)圖像采集通道、圖像存儲(chǔ)芯片、 編碼器和顯示屏；所述多個(gè)圖像采集通道采集多組曝光程度不同的原始圖像數(shù)據(jù)傳給圖像 存儲(chǔ)芯片存儲(chǔ)，圖像處理單元從圖像存儲(chǔ)芯片中獲取所述原始圖像數(shù)據(jù)生成高動(dòng)態(tài)范圍圖 像傳給編碼器編碼，并最終在顯示屏上顯示。優(yōu)選的，所述圖像處理單元包括校準(zhǔn)模塊、圖像區(qū)域劃分模塊、最優(yōu)信息選擇模塊 和圖像融合模塊；所述校準(zhǔn)模塊對(duì)裝配過(guò)程中多個(gè)感光芯片存在的位置偏差進(jìn)行矯正；所 述圖像區(qū)域劃分模塊將多組曝光程度不同的原始圖像劃分成大小相等的MXN的矩陣塊， M、N為大于1的正整數(shù)；所述最優(yōu)信息選擇模塊從劃分的多個(gè)矩陣塊中選擇包含了最佳紋 理信息和最優(yōu)飽和度信息的矩陣塊作為最優(yōu)信息塊形成中間圖像；所述圖像融合模塊在中 間圖像上任意選取目標(biāo)像素點(diǎn)，并以目標(biāo)像素點(diǎn)所在的最優(yōu)信息塊為中心選取附近的多個(gè) 最優(yōu)信息塊，然后，依次將各最優(yōu)信息塊的中心點(diǎn)作為融合函數(shù)的中心坐標(biāo)，同時(shí)中心坐標(biāo) 設(shè)為坐標(biāo)軸原點(diǎn)，即得到多個(gè)不同中心坐標(biāo)的融合曲線，在每一種融合曲線的情形下，將目 標(biāo)像素點(diǎn)所在的不同坐標(biāo)值代入相應(yīng)的融合曲線中，即得到多個(gè)融合系數(shù)，再將各融合系 數(shù)分別除以該多個(gè)融合系數(shù)的和得到多個(gè)權(quán)重值，最后將上述多個(gè)最優(yōu)信息塊所在的原始 圖像中目標(biāo)像素點(diǎn)位置處的像素值乘以相應(yīng)的權(quán)重值取和得到目標(biāo)像素點(diǎn)的高動(dòng)態(tài)范圍 圖像的像素值，然后通過(guò)對(duì)中間圖像的其他像素點(diǎn)進(jìn)行處理得到所有像素點(diǎn)的一組高動(dòng)態(tài) 范圍圖像的像素?cái)?shù)據(jù)并最終生成高動(dòng)態(tài)范圍圖像；
_3]所述融合函數(shù)為人(x，exp[^[(x-x!y+O；-兄.)2]]，其中p，q為
之間的常數(shù)，k e [1,2,…，9]，(x、y)為目標(biāo)像素點(diǎn)位置處的 坐標(biāo)值，(Xi^yi)為選取的最優(yōu)信息塊的中心點(diǎn)坐標(biāo)值。優(yōu)選的，所述目標(biāo)像素點(diǎn)為中間圖像上非四周最優(yōu)信息塊中的像素點(diǎn)；所述以目 標(biāo)像素點(diǎn)所屬的最優(yōu)信息塊為中心選取的多個(gè)最優(yōu)信息塊與目標(biāo)像素點(diǎn)所屬的最優(yōu)信息 塊接觸。一種高動(dòng)態(tài)范圍視頻的圖像生成方法，包括如下步驟將通過(guò)光學(xué)鏡頭的入射光 分成多束相同的等量光束；對(duì)每束光以同樣的拍攝幀速但以不同的感光度值進(jìn)行感光處理 得到同一被拍景象的多組曝光程度不同的原始圖像數(shù)據(jù)；對(duì)所述原始圖像數(shù)據(jù)進(jìn)行融合處 理生成高動(dòng)態(tài)范圍圖像。
優(yōu)選的，所述對(duì)原始圖像數(shù)據(jù)進(jìn)行融合處理生成高動(dòng)態(tài)范圍圖像過(guò)程包括如下步 驟將多張不同曝光程度的原始圖像依次劃分為大小相等的MXN的矩陣塊，M、N為大于1 的正整數(shù)；合成具有最佳紋理信息和最優(yōu)飽和度信息塊的中間圖像；在中間圖像上任意選 取目標(biāo)像素點(diǎn)，并以目標(biāo)像素點(diǎn)所在的最優(yōu)信息塊為中心選取附近的多個(gè)最優(yōu)信息塊，然 后，依次將各最優(yōu)信息塊的中心點(diǎn)作為融合函數(shù)的中心坐標(biāo)，同時(shí)中心坐標(biāo)設(shè)為坐標(biāo)軸原 點(diǎn)，即得到多個(gè)不同中心坐標(biāo)的融合曲線，在每一種融合曲線的情形下，將目標(biāo)像素點(diǎn)所在 的不同坐標(biāo)值代入相應(yīng)的融合曲線中，即得到多個(gè)融合系數(shù)，再將各融合系數(shù)分別除以該 多個(gè)融合系數(shù)的和得到多個(gè)權(quán)重值，最后將上述多個(gè)最優(yōu)信息塊所在的原始圖像中目標(biāo)像 素點(diǎn)位置處的像素值乘以相應(yīng)的權(quán)重值取和得到目標(biāo)像素點(diǎn)的高動(dòng)態(tài)范圍圖像的像素值， 然后通過(guò)對(duì)中間圖像的其他像素點(diǎn)進(jìn)行處理得到所有像素點(diǎn)的一組高動(dòng)態(tài)范圍圖像的像 素?cái)?shù)據(jù)并最終生成高動(dòng)態(tài)范圍圖像；所述融合函數(shù)為 其中p，q為
之間的常數(shù)，k e [1,2,…，9]，(x、y)為目標(biāo)像素點(diǎn)位置處的 坐標(biāo)值，(Xi^yi)為選取的最優(yōu)信息塊的中心點(diǎn)坐標(biāo)值。優(yōu)選的，所述目標(biāo)像素點(diǎn)為非四周最優(yōu)信息塊中的像素點(diǎn)。優(yōu)選的，所述以目標(biāo)像素點(diǎn)所屬的最優(yōu)信息塊為中心選取附近的多個(gè)最優(yōu)信息塊 與目標(biāo)像素點(diǎn)所屬的最優(yōu)信息塊點(diǎn)接觸或線接觸。優(yōu)選的，所述高動(dòng)態(tài)范圍視頻的圖像生成方法還包括在對(duì)原始圖像進(jìn)行劃分之前 對(duì)分光器和感光芯片裝配過(guò)程中存在的位置偏差進(jìn)行矯正的過(guò)程。多感光芯片融合的高動(dòng)態(tài)視頻成像系統(tǒng)各感光芯片具有同樣的曝光時(shí)間，因而可 以保證拍攝的同步與實(shí)時(shí)性；同時(shí)，所生成的視頻圖像較單一曝光圖像在色彩及亮度均勻 性方面有明顯優(yōu)勢(shì)，視覺(jué)信息豐富，還可以有效解決傳統(tǒng)攝像系統(tǒng)中存在的欠曝、過(guò)曝及色 彩亮度不均等問(wèn)題，具有很好的市場(chǎng)推廣前景。

圖1為本發(fā)明一實(shí)施例的多感光芯片融合的高動(dòng)態(tài)范圍視頻成像系統(tǒng)硬件結(jié)構(gòu) 圖。圖2為包含圖像處理單元的圖像處理系統(tǒng)示意圖。圖3為高動(dòng)態(tài)范圍圖像生成方法流程圖。圖4為圖像處理單元中高動(dòng)態(tài)范圍圖像生成的示意圖。圖5為融合函數(shù)的三維波形圖。
具體實(shí)施方式通過(guò)設(shè)置分光器將進(jìn)入光學(xué)鏡頭的外界輻射光分成等量的多束光束，并將多個(gè)感 光芯片設(shè)置成不同的感光度值，從而針對(duì)同一被拍攝景象同時(shí)生成多幅具有不同曝光度的 原始圖像，然后通過(guò)動(dòng)態(tài)多感光度值圖像融合方法實(shí)現(xiàn)實(shí)時(shí)視頻幀圖像融合處理，使最終 生成的視頻圖像具有更高的動(dòng)態(tài)范圍特性。
下面主要結(jié)合

由多感光芯片融合的高動(dòng)態(tài)范圍視頻成像系統(tǒng)及其圖像 生成方法。高動(dòng)態(tài)范圍視頻成像系統(tǒng)包括光學(xué)鏡頭、分光器、感光芯片、圖像處理單元和外圍 系統(tǒng)等。分光器可以采用普通分光片，其分光波長(zhǎng)范圍在可見(jiàn)光波長(zhǎng)范圍內(nèi)，優(yōu)選的，可選 擇波段在450-650nm的分光片。感光芯片可以為 CMOS (Complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧 化物半導(dǎo)體)圖像傳感器、CCD (Charge-coupled Device，電荷耦合元件)圖像傳感器或近 紅外圖像傳感器。多個(gè)感光芯片具有同樣的規(guī)格，在對(duì)同一場(chǎng)景進(jìn)行曝光成像時(shí)，設(shè)置相同 的拍攝幀率和不同的感光度值(ISO值)，如IS0100、IS0200、IS0400以及IS0800等。通過(guò) 內(nèi)置的圖像校準(zhǔn)方法標(biāo)定之后，多個(gè)感光芯片可以實(shí)現(xiàn)完全配準(zhǔn)，即攝取到的外界場(chǎng)景完 全一致，得到的原始圖像大小相同，各原始圖像中的像素點(diǎn)完全對(duì)應(yīng)，從而保證了拍攝過(guò)程 的同步。在優(yōu)選的實(shí)施例中，采用三片與平行光束方向成135°或45°的分光片將進(jìn)入光 學(xué)鏡頭的外界輻射光分成等量四束光束，并投射到四片內(nèi)置的感光芯片上，如圖1所示。第 一、第二、第三和第四感光芯片的感光度值分別設(shè)定為100、200、400和800，四個(gè)感光芯片 均為CMOS圖像傳感器，具有同樣的拍攝幀速，拍攝畫面同步，每一時(shí)刻可以同時(shí)獲得四張 對(duì)同一場(chǎng)景的不同曝光程度的原始圖像。每一時(shí)刻通過(guò)生成同一場(chǎng)景的多幅曝光程度不同的原始圖像是為了獲取視覺(jué)內(nèi) 容更豐富的圖像信息，然而多幅原始圖像之間仍然是互相獨(dú)立的。為了在一幅圖像中包含 所獲得的豐富的圖像信息從而生成高動(dòng)態(tài)范圍的圖像，有必要對(duì)多幅原始圖像進(jìn)行融合處理。如圖2所示，為包含圖像處理單元的圖像處理系統(tǒng)。該系統(tǒng)包括圖像處理單元和 外圍系統(tǒng)。圖像處理單元包括圖像區(qū)域劃分模塊、最優(yōu)信息選擇模塊和圖像融合模塊。圖像區(qū)域劃分模塊將多組曝光程度不同的原始圖像分別對(duì)應(yīng)劃分成大小相等的 MXN個(gè)矩陣塊，M、N為大于1的正整數(shù)。最優(yōu)信息選擇模塊從原始圖像劃分的多個(gè)矩陣塊中選擇包含了最佳紋理信息和 最優(yōu)對(duì)比度等信息的矩陣塊作為最優(yōu)信息塊形成中間圖像。圖像融合模塊在中間圖像上任意選取目標(biāo)像素點(diǎn)，并以目標(biāo)像素點(diǎn)所在的最優(yōu)信 息塊為中心選取附近的多個(gè)最優(yōu)信息塊，然后，依次將各最優(yōu)信息塊的中心點(diǎn)作為融合函 數(shù)的中心坐標(biāo)，同時(shí)中心坐標(biāo)設(shè)為坐標(biāo)軸原點(diǎn)，即得到多個(gè)不同中心坐標(biāo)的融合曲線，在每 一種融合曲線的情形下，將目標(biāo)像素點(diǎn)所在的不同坐標(biāo)值代入相應(yīng)的融合曲線中，即得到 多個(gè)融合系數(shù)，再將各融合系數(shù)分別除以該多個(gè)融合系數(shù)的和得到多個(gè)權(quán)重值，最后將上 述多個(gè)最優(yōu)信息塊所在的原始圖像中目標(biāo)像素點(diǎn)位置處的像素值乘以相應(yīng)的權(quán)重值取和 得到目標(biāo)像素點(diǎn)的高動(dòng)態(tài)范圍圖像的像素值，然后通過(guò)對(duì)中間圖像的其他像素點(diǎn)進(jìn)行處理 得到所有像素點(diǎn)的一組高動(dòng)態(tài)范圍圖像的像素?cái)?shù)據(jù)并最終生成高動(dòng)態(tài)范圍圖像。由于四周和角落的像素點(diǎn)一般不在用戶的關(guān)注范圍內(nèi)，因此可以省略掉不進(jìn)行融 合處理，也即一般選取的目標(biāo)像素點(diǎn)為中間圖像上非四周最優(yōu)信息塊中的像素點(diǎn)；并且選取的目標(biāo)像素點(diǎn)附近的多個(gè)最優(yōu)信息塊與目標(biāo)像素點(diǎn)所屬的最優(yōu)信息塊接觸，即一般選取 的最優(yōu)信息塊數(shù)量為9個(gè)或5個(gè)，其中包括目標(biāo)像素點(diǎn)所屬的最優(yōu)信息塊。圖像處理單元一般為高速DSP(Digital Signal Processing)圖像處理單元，可以 采用TMS320C6415 (2005年8月《紅外與激光工程》第34卷第4期《基于TMS320C6415的圖 像匹配處理機(jī)的設(shè)計(jì)和實(shí)現(xiàn)》)，其主頻為720MHz，處理能力為5760MIPS，可以滿足系統(tǒng)及圖 像校準(zhǔn)方法的實(shí)時(shí)性需要。在優(yōu)選的實(shí)施方式中，圖像處理單元還包括校準(zhǔn)模塊，校準(zhǔn)模塊可以對(duì)裝配過(guò)程 中各分光器和感光芯片存在的位置偏差進(jìn)行快速矯正。外圍系統(tǒng)包括圖像采集通道、圖像存儲(chǔ)芯片(Video Random Access Memory, VRAM)、編碼器及顯示屏等。將四個(gè)感光芯片輸出的具有不同曝光程度的原始圖像數(shù)據(jù)進(jìn)行獨(dú)立采集，第一、 第二、第三和第四圖像采集通道分別采集來(lái)自第一、第二、第三和第四感光芯片傳出的原始 圖像數(shù)據(jù)流。各個(gè)圖像采集通道將采集的原始圖像數(shù)據(jù)流存儲(chǔ)在相應(yīng)的圖像存儲(chǔ)芯片上， 再傳送給圖像處理單元處理，圖像處理單元對(duì)原始圖像進(jìn)行劃分、選擇、融合處理，生成具 有高動(dòng)態(tài)范圍的視頻圖像像素?cái)?shù)據(jù)，編碼器編碼此高動(dòng)態(tài)范圍視頻圖像像素?cái)?shù)據(jù)在顯示屏 上顯不。如圖3所示為高動(dòng)態(tài)范圍視頻的圖像生成方法的流程圖，具體包括如下步驟S310 將通過(guò)光學(xué)鏡頭的入射光分成多束相同的等量光束。S320 對(duì)每束光以同樣的拍攝幀速但以不同的感光度值進(jìn)行感光處理得到同一被 拍景象的多組曝光程度不同的原始圖像數(shù)據(jù)。多個(gè)感光芯片完全配準(zhǔn)，即攝取到的外界場(chǎng)景完全一致，得到的多幅原始圖像大 小相同，各原始圖像中的像素點(diǎn)完全對(duì)應(yīng)，從而可以保證了拍攝過(guò)程的同步。S330 對(duì)所述原始圖像數(shù)據(jù)進(jìn)行融合處理生成高動(dòng)態(tài)范圍圖像。如圖4所示為上述優(yōu)選的實(shí)施例的圖像處理單元中高動(dòng)態(tài)范圍圖像生成的示意 圖。對(duì)不同曝光程度的圖像進(jìn)行融合處理的具體步驟如下首先，將多張不同曝光程度的圖像依次劃分為大小相等的MXN的矩陣塊，M、N為 大于1的正整數(shù)。以上述實(shí)施例中得到的四幅原始圖像為例，四幅具有不同曝光程度的原始圖像分 別標(biāo)為A、B、C、D，每幅圖像均被分成MXN的矩陣塊，橫坐標(biāo)以i表示，豎坐標(biāo)以j表示。圖 3中的每幅原始圖像均被分成4X5的矩陣塊。其次，從該多張?jiān)紙D像劃分的多個(gè)矩陣塊中選擇包含了最佳紋理信息和最優(yōu)飽 和度信息等信息的矩陣塊作為最優(yōu)信息塊并形成中間圖像，最優(yōu)信息塊均來(lái)自于相應(yīng)的原 始圖像。最后，在中間圖像上任意選取目標(biāo)像素點(diǎn)，并以目標(biāo)像素點(diǎn)所在的最優(yōu)信息塊為 中心選取附近的多個(gè)最優(yōu)信息塊，然后，依次將各最優(yōu)信息塊的中心點(diǎn)作為融合函數(shù)的中 心坐標(biāo)，同時(shí)中心坐標(biāo)設(shè)為坐標(biāo)軸原點(diǎn)，即得到多個(gè)不同中心坐標(biāo)的融合曲線，在每一種融 合曲線的情形下，將目標(biāo)像素點(diǎn)所在的不同坐標(biāo)值代入相應(yīng)的融合曲線中，即得到多個(gè)融 合系數(shù)，再將各融合系數(shù)分別除以該多個(gè)融合系數(shù)的和得到多個(gè)權(quán)重值，最后將上述多個(gè) 最優(yōu)信息塊所在的原始圖像中目標(biāo)像素點(diǎn)位置處的像素值乘以相應(yīng)的權(quán)重值取和得到目標(biāo)像素點(diǎn)的高動(dòng)態(tài)范圍圖像的像素值，然后通過(guò)對(duì)中間圖像的其他像素點(diǎn)進(jìn)行處理得到所 有像素點(diǎn)的一組高動(dòng)態(tài)范圍圖像的像素?cái)?shù)據(jù)并最終生成高動(dòng)態(tài)范圍圖像。圖4中，已知四幅原始圖像A、B、C、D，通過(guò)在中間圖像上任意選取一目標(biāo)像素點(diǎn)P， 圖4中點(diǎn)P所在的最優(yōu)信息塊來(lái)自原始圖像B，然后在點(diǎn)P所在的區(qū)域附近聚集9個(gè)塊，包 括點(diǎn)P所屬的塊，每一個(gè)塊均為對(duì)應(yīng)的各幅原始圖像中的相應(yīng)位置處最優(yōu)信息塊，如塊All 來(lái)自于原始圖像A，塊B21來(lái)自于原始圖像B，依次類推；然后，依次將各最優(yōu)塊的中心點(diǎn)作 為融合函數(shù)的中心坐標(biāo)(xi，yi)，同時(shí)中心坐標(biāo)設(shè)為坐標(biāo)軸原點(diǎn)。這樣就可以得到9個(gè)不同 中心坐標(biāo)的融合曲線，在每一種曲線的情形下，點(diǎn)P所在的坐標(biāo)值是不同的。將P點(diǎn)所在的 不同坐標(biāo)值代入相應(yīng)的融合曲線中，即得到9個(gè)不同的融合系數(shù)。具體的融合函數(shù)如下 其中p，q為常數(shù)，決定了融合函數(shù)的高度以及融合函數(shù)在水平面投影面積的大 小，ke [1,2,…，9]。例如，當(dāng)ρ = 0.5，q = 0.02，中點(diǎn)坐標(biāo)為(XiJi) = (0,0)時(shí)，融合 函數(shù)的三維波形如圖5所示。如對(duì)于塊A11則在原始圖像A中選取點(diǎn)P所在位置處的像素 值P1代入到融合函數(shù)中得到融合系數(shù)對(duì)于塊D13則在原始圖像D中選取點(diǎn)P所在位置 的像素值P7代入到融合函數(shù)中得到融合系數(shù)f7，依此得到9個(gè)融合系數(shù)，再將各融合系數(shù) 除以9個(gè)融合系數(shù)的和即得到如圖4所示的W1-W9的9個(gè)權(quán)重值，最終點(diǎn)P位置的高動(dòng)態(tài)范 圍圖像的像素值為各權(quán)重值與對(duì)應(yīng)的最優(yōu)塊所在的原始圖像中點(diǎn)P處的像素值加權(quán)和，即 多感光芯片融合的高動(dòng)態(tài)視頻成像系統(tǒng)各感光芯片具有同樣的曝光時(shí)間，因而可 以保證拍攝的同步與實(shí)時(shí)性；同時(shí)，所生成的視頻圖像較單一曝光圖像在色彩及亮度均勻 性方面有明顯優(yōu)勢(shì)，視覺(jué)信息豐富，還可以有效解決傳統(tǒng)攝像系統(tǒng)中存在的欠曝、過(guò)曝及色 彩亮度不均等問(wèn)題，具有很好的市場(chǎng)推廣前景。以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并 不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保 護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
權(quán)利要求
一種高動(dòng)態(tài)范圍視頻成像系統(tǒng)，包括光學(xué)鏡頭，其特征在于，還包括至少一個(gè)分光器、多個(gè)感光芯片和圖像處理單元；所述分光器用于將通過(guò)所述光學(xué)鏡頭的入射光分成多束相同的等量光束，所述多個(gè)感光芯片為相同規(guī)格的感光芯片，用于接收所述多束相同的等量光束并以相同拍攝幀速得到同一被拍景象的多組曝光程度不同的原始圖像數(shù)據(jù)，圖像處理單元將多組原始圖像數(shù)據(jù)融合處理生成高動(dòng)態(tài)范圍圖像。
2.如權(quán)利要求1所述的高動(dòng)態(tài)范圍視頻成像系統(tǒng)，其特征在于，所述分光器為分光片， 所述分光片的分光波長(zhǎng)范圍為可見(jiàn)光范圍；所述感光芯片為互補(bǔ)金屬氧化物半導(dǎo)體圖像傳感器、電荷耦合元件圖像傳感器或近紅 外圖像傳感器中的一種。
3.如權(quán)利要求1所述的高動(dòng)態(tài)范圍視頻成像系統(tǒng)，其特征在于，還包括外圍系統(tǒng)，所述 外圍系統(tǒng)包括多個(gè)圖像采集通道、圖像存儲(chǔ)芯片、編碼器和顯示屏；所述多個(gè)圖像采集通道采集多組曝光程度不同的原始圖像數(shù)據(jù)傳給圖像存儲(chǔ)芯片存 儲(chǔ)，圖像處理單元從圖像存儲(chǔ)芯片中獲取所述原始圖像數(shù)據(jù)生成高動(dòng)態(tài)范圍圖像傳給編碼 器編碼，并最終在顯示屏上顯示。
4.如權(quán)利要求1所述的高動(dòng)態(tài)范圍視頻成像系統(tǒng)，其特征在于，所述圖像處理單元包 括校準(zhǔn)模塊、圖像區(qū)域劃分模塊、最優(yōu)信息選擇模塊和圖像融合模塊；所述校準(zhǔn)模塊對(duì)裝配過(guò)程中分光器和感光芯片存在的位置偏差進(jìn)行矯正；所述圖像區(qū)域劃分模塊將原始圖像劃分成大小相等的MXN個(gè)矩陣塊，M、N為大于1的 正整數(shù)；所述最優(yōu)信息選擇模塊從劃分的多個(gè)矩陣塊中選擇包含了最佳紋理信息和最優(yōu)飽和 度信息的矩陣塊作為最優(yōu)信息塊形成中間圖像；所述圖像融合模塊在中間圖像上任意選取目標(biāo)像素點(diǎn)，并以目標(biāo)像素點(diǎn)所在的最優(yōu)信 息塊為中心選取附近的多個(gè)最優(yōu)信息塊，然后，依次將各最優(yōu)信息塊的中心點(diǎn)作為融合函 數(shù)的中心坐標(biāo)，同時(shí)中心坐標(biāo)設(shè)為坐標(biāo)軸原點(diǎn)，即得到多個(gè)不同中心坐標(biāo)的融合曲線，在每 一種融合曲線的情形下，將目標(biāo)像素點(diǎn)所在的不同坐標(biāo)值代入相應(yīng)的融合曲線中，即得到 多個(gè)融合系數(shù)，再將各融合系數(shù)分別除以該多個(gè)融合系數(shù)的和得到多個(gè)權(quán)重值，最后將上 述多個(gè)最優(yōu)信息塊所在的原始圖像中目標(biāo)像素點(diǎn)位置處的像素值乘以相應(yīng)的權(quán)重值取和 得到目標(biāo)像素點(diǎn)的高動(dòng)態(tài)范圍圖像的像素值，然后通過(guò)對(duì)中間圖像的其他像素點(diǎn)進(jìn)行處理 得到所有像素點(diǎn)的一組高動(dòng)態(tài)范圍圖像的像素?cái)?shù)據(jù)并最終生成高動(dòng)態(tài)范圍圖像；所述融合函數(shù)為人O,少 其中P，q為
之間的常數(shù)，k e [1,2,…，9]，(x、y)為目標(biāo)像素點(diǎn)位置處的坐標(biāo) 值，(Xi^yi)為選取的最優(yōu)信息塊的中心點(diǎn)坐標(biāo)值。
5.如權(quán)利要求4所述的高動(dòng)態(tài)范圍視頻成像系統(tǒng)，其特征在于，所述目標(biāo)像素點(diǎn)為中 間圖像上非四周最優(yōu)信息塊中的像素點(diǎn)；所述以目標(biāo)像素點(diǎn)所屬的最優(yōu)信息塊為中心選取的多個(gè)最優(yōu)信息塊與目標(biāo)像素點(diǎn)所 屬的最優(yōu)信息塊接觸。
6.一種高動(dòng)態(tài)范圍視頻的圖像生成方法，其特征在于，包括如下步驟將通過(guò)光學(xué)鏡頭的入射光分成多束相同的等量光束；對(duì)每束光以同樣的拍攝幀速但以不同的感光度值進(jìn)行感光處理得到同一被拍景象的 多組曝光程度不同的原始圖像數(shù)據(jù)；對(duì)所述原始圖像數(shù)據(jù)進(jìn)行融合處理生成高動(dòng)態(tài)范圍圖像。
7.如權(quán)利要求6述的高動(dòng)態(tài)范圍視頻的圖像生成方法，其特征在于，所述對(duì)原始圖像 數(shù)據(jù)進(jìn)行融合處理生成高動(dòng)態(tài)范圍圖像過(guò)程包括如下步驟將多張不同曝光程度的原始圖像依次劃分為大小相等的MXN個(gè)矩陣塊，M、N為大于1 的正整數(shù)；從不同原始圖像的多個(gè)矩陣塊中選擇具有最佳紋理信息和最優(yōu)飽和度信息的矩陣塊 最為最優(yōu)信息塊形成中間圖像；在中間圖像上任意選取目標(biāo)像素點(diǎn)，并以目標(biāo)像素點(diǎn)所在的最優(yōu)信息塊為中心選取附 近的多個(gè)最優(yōu)信息塊，然后，依次將各最優(yōu)信息塊的中心點(diǎn)作為融合函數(shù)的中心坐標(biāo)，同時(shí) 中心坐標(biāo)設(shè)為坐標(biāo)軸原點(diǎn)，即得到多個(gè)不同中心坐標(biāo)的融合曲線，在每一種融合曲線的情 形下，將目標(biāo)像素點(diǎn)所在的不同坐標(biāo)值代入相應(yīng)的融合曲線中，即得到多個(gè)融合系數(shù)，再將 各融合系數(shù)分別除以該多個(gè)融合系數(shù)的和得到多個(gè)權(quán)重值，最后將上述多個(gè)最優(yōu)信息塊所 在的原始圖像中目標(biāo)像素點(diǎn)位置處的像素值乘以相應(yīng)的權(quán)重值取和得到目標(biāo)像素點(diǎn)的高 動(dòng)態(tài)范圍圖像的像素值，然后通過(guò)對(duì)中間圖像的其他像素點(diǎn)進(jìn)行處理得到所有像素點(diǎn)的一 組高動(dòng)態(tài)范圍圖像的像素?cái)?shù)據(jù)并最終生成高動(dòng)態(tài)范圍圖像；所述融合函數(shù)為 其中P，q為
之間的常數(shù)，k e [1,2,…，9]，(x、y)為目標(biāo)像素點(diǎn)位置處的坐標(biāo) 值，(Xi^yi)為選取的最優(yōu)信息塊的中心點(diǎn)坐標(biāo)值。
8.如權(quán)利要求7所述的高動(dòng)態(tài)范圍視頻的圖像生成方法，其特征在于，所述目標(biāo)像素 點(diǎn)為非四周最優(yōu)信息塊中的像素點(diǎn)。
9.如權(quán)利要求7所述的高動(dòng)態(tài)范圍視頻的圖像生成方法，其特征在于，所述以目標(biāo)像 素點(diǎn)所屬的最優(yōu)信息塊為中心選取附近的多個(gè)最優(yōu)信息塊與目標(biāo)像素點(diǎn)所屬的最優(yōu)信息 塊點(diǎn)接觸或線接觸。
10.如權(quán)利要求6所述的高動(dòng)態(tài)范圍視頻的圖像生成方法，其特征在于，所述高動(dòng)態(tài)范 圍視頻的圖像生成方法還包括在對(duì)原始圖像進(jìn)行劃分之前對(duì)分光器和感光芯片裝配過(guò)程 中存在的位置偏差進(jìn)行矯正的過(guò)程。
全文摘要
本發(fā)明涉及一種高動(dòng)態(tài)范圍視頻成像系統(tǒng)及其圖像生成方法，該系統(tǒng)包括光學(xué)鏡頭、圖像處理單元、至少一個(gè)分光器和多個(gè)感光芯片，分光器將通過(guò)光學(xué)鏡頭的入射光分成多束光束進(jìn)入多個(gè)感光芯片從而得到多幅曝光程度不同的圖像數(shù)據(jù)，圖像處理單元將多幅圖像數(shù)據(jù)融合處理生成高動(dòng)態(tài)范圍圖像。多感光芯片融合的高動(dòng)態(tài)視頻成像系統(tǒng)所使用的各感光芯片均具有相同的規(guī)格，因而可以保證拍攝的同步與實(shí)時(shí)性；同時(shí)，所生成的視頻圖像較單一曝光圖像在色彩及亮度均勻性方面有明顯優(yōu)勢(shì)，視覺(jué)信息豐富，還可以有效解決傳統(tǒng)攝像系統(tǒng)中存在的欠曝、過(guò)曝及色彩亮度不均等問(wèn)題，具有很好的市場(chǎng)推廣前景。
文檔編號(hào)G06T5/50GK101888487SQ20101019026
公開(kāi)日2010年11月17日 申請(qǐng)日期2010年6月2日 優(yōu)先權(quán)日2010年6月2日
發(fā)明者吳曉軍, 宋展 申請(qǐng)人:中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院