同步多聚焦Bayer視頻圖像處理系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻圖像的處理系統(tǒng)與方法，其主要是同步多聚焦視頻圖像處理 系統(tǒng)與方法，特別是一種同步多聚焦Bayer視頻圖像處理系統(tǒng)與方法。
【背景技術(shù)】
[0002] 視頻傳感器（即圖像傳感器，下同）屬于光電元件類，核心為光學(xué)鏡頭、有源像元構(gòu) 成的光敏元陣列、時(shí)序和控制電路及功能電路和模擬信號(hào)的處理與輸出接口等部件共同組 成。其中影響成像質(zhì)量的主要元器件是光學(xué)鏡頭和光敏元陣列。由于光學(xué)物理特性的局 限，光學(xué)鏡頭都受到景深的限制，即只有距離鏡頭在景深范圍內(nèi)的物體能夠清晰成像，不在 景深范圍的物體成像模糊。該局限嚴(yán)重限制了視頻傳感在軍事、遙感、醫(yī)學(xué)、工業(yè)、交通等諸 多領(lǐng)域的應(yīng)用。通過改變鏡頭光圈可以在一定范圍擴(kuò)展景深，但降低了在景深范圍的物體 成像的清晰度。目前，多聚焦圖像融合技術(shù)是解決該問題一種有效途徑；多聚焦圖像融合是 指在相同的成像條件下，在于鏡頭取景范圍內(nèi)，不同鏡頭聚焦不同距離的目標(biāo)，再將不同鏡 頭得到的多個(gè)圖像合并得到一個(gè)在取景范圍內(nèi)所有聚焦目標(biāo)都清晰的融合圖像；小波分析 和稀疏表示等理論常用來解決圖像融合問題。然而這些方法都是針對(duì)真彩色源圖像進(jìn)行融 合處理，而從各個(gè)鏡頭和相應(yīng)圖像傳感器直接得到的圖像為Bayer模式數(shù)據(jù)格式圖像，因 此需要將各個(gè)圖像傳感器輸出的原始數(shù)據(jù)進(jìn)行Bayer模式數(shù)據(jù)恢復(fù)處理，得到各個(gè)真彩色 圖像，然后再對(duì)各個(gè)真彩色圖像進(jìn)行融合處理，才可以得到所有聚焦目標(biāo)都清晰的融合圖 像。這種處理方法先要對(duì)各個(gè)鏡頭和相應(yīng)圖像傳感器直接得到的Bayer模式數(shù)據(jù)格式的圖 像分別進(jìn)行數(shù)據(jù)恢復(fù)處理，而進(jìn)行一次數(shù)據(jù)恢復(fù)處理就需要耗費(fèi)系統(tǒng)(視頻圖像系統(tǒng)）大量 的空間和時(shí)間，這樣導(dǎo)致得到一幅清晰的真彩色圖像就要進(jìn)行多次數(shù)據(jù)恢復(fù)處理，大大降 低了系統(tǒng)的效率，無形中對(duì)系統(tǒng)的硬件要求大大提高，成本增高，這就是目前高檔的成像裝 備價(jià)格昂貴的主要原因。
[0003] 景深是指在攝影機(jī)鏡頭或其他成像器前沿能夠取得清晰圖像的成像所測(cè)定的被 攝物體前后距離范圍。在聚焦完成后，在焦點(diǎn)前后的范圍內(nèi)都能形成清晰的像，這一前一后 的距離范圍，便叫做景深。在鏡頭前方(調(diào)焦點(diǎn)的前、后）有一段一定長(zhǎng)度的空間，當(dāng)被攝物 體位于這段空間內(nèi)時(shí)，其在底片上的成像恰位于焦點(diǎn)前后這兩個(gè)彌散圓之間。
[0004]Bayer模式數(shù)據(jù)格式圖像，即Bayer圖像，是伊士曼?柯達(dá)公司科學(xué)家Bryce Bayer 發(fā)明的，Bryce Bayer所發(fā)明的拜耳陣列被廣泛運(yùn)用數(shù)字圖像，Bayer圖像數(shù)據(jù)，其一般格式 為：奇數(shù)掃描行輸出RGRG……，偶數(shù)掃描行輸出GBGB……;即奇數(shù)掃描行的第1，2, 3,4,… 象素分別采樣和輸出1?，6，1?，6，~數(shù)據(jù)；偶數(shù)掃描行的第1，2,3,4，~象素分別采樣和輸 出G，B，G，B，…數(shù)據(jù)；Bayer圖像也即馬賽克圖像。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是克服現(xiàn)有技術(shù)的上述不足而提供一種同步多聚焦Bayer視頻圖 像處理系統(tǒng)，其結(jié)構(gòu)所需儲(chǔ)存空間小，其處理速度快，成本低。
[0006] 本發(fā)明的另一目的是克服現(xiàn)有技術(shù)的上述不足而提供一種同步多聚焦Bayer視 頻圖像處理方法，其處理速度快，所需要空間少。
[0007] 本發(fā)明的技術(shù)方案是：一種同步多聚焦Bayer視頻圖像處理系統(tǒng)，其包括多聚焦 Bayer視頻圖像獲取裝置和視頻圖像處理裝置； 多聚焦Bayer視頻圖像獲取裝置包括多個(gè)Bayer成像裝置，其個(gè)數(shù)記為U,U > 2,每個(gè) Bayer成像裝置包括聚焦鏡頭、貝爾濾光器和圖像傳感器，聚焦鏡頭為凸透鏡，其焦距可調(diào)， 各個(gè)Bayer成像裝置的聚焦鏡頭的焦距設(shè)置不相同，以保證在場(chǎng)景范圍內(nèi)的不同位置不同 遠(yuǎn)近的目標(biāo)至少在一個(gè)聚焦鏡頭中成像是清晰的，貝爾濾光器由三種顏色濾光片構(gòu)成，三 種顏色濾光片以Bayer模式排成陣列，即貝爾濾光器是一個(gè)二維彩色濾光器陣列，它由RGB 三原色濾光單元格柵組成，每個(gè)柵格只能濾過三原色的一種，并一一對(duì)應(yīng)圖像傳感器上的 每個(gè)像素；圖像傳感器為CCD，每個(gè)圖像傳感器位于對(duì)應(yīng)的聚焦鏡頭聚焦的光路上，每個(gè)貝 爾濾光器位于相應(yīng)的圖像傳感器和聚焦鏡頭之間，貝爾濾光器的每個(gè)濾光單元格柵對(duì)應(yīng)于 圖像傳感器上的一個(gè)像素；每個(gè)Bayer成像裝置可以對(duì)目標(biāo)場(chǎng)景進(jìn)行成像，并輸出Bayer格 式的圖像，記為/^，即/=為某一時(shí)刻k時(shí)第u個(gè)Bayer成像裝置獲得的目標(biāo)場(chǎng)景的一個(gè) Bayer圖像，U個(gè)Bayer成像裝置可對(duì)同一目標(biāo)場(chǎng)景在同一時(shí)刻k產(chǎn)生U個(gè)Bayer圖像，記 為/=，其中11 = 1 2,為上述的Bayer成像裝置的個(gè)數(shù)；一個(gè)Bayer成像裝置在多個(gè)時(shí) 亥丨Jk產(chǎn)生多個(gè)Bayer圖像，即一路Bayer視頻，記為其中Jfc = l,2,…，n，n為成像采樣的 時(shí)刻的個(gè)數(shù)；多個(gè)Bayer成像裝置在多個(gè)時(shí)刻k產(chǎn)生多個(gè)Bayer視頻，即多路Bayer視頻， 記為其中** = 1 2,- U,i = l，2，_._, n,也可記戈
【主權(quán)項(xiàng)】
1. 一種同步多聚焦Bayer視頻圖像處理系統(tǒng)，其包括多聚焦Bayer視頻圖像獲取裝置 (I) 和視頻圖像處理裝置（3); 其特征是： 多聚焦Bayer視頻圖像獲取裝置（1)包括多個(gè)Bayer成像裝置，其個(gè)數(shù)記為U，U彡2， 每個(gè)Bayer成像裝置包括聚焦鏡頭（11)、貝爾濾光器（12)和圖像傳感器（13)，聚焦鏡頭 (II) 為凸透鏡，其焦距可調(diào)，各個(gè)Bayer成像裝置的聚焦鏡頭（11)的焦距設(shè)置不相同， 以保證在場(chǎng)景范圍內(nèi)的不同位置不同遠(yuǎn)近的目標(biāo)至少在一個(gè)聚焦鏡頭（11)中成像是清 晰的，貝爾濾光器（12)由三種顏色濾光片構(gòu)成，三種顏色濾光片以Bayer模式排成陣列， 即貝爾濾光器（12)是一個(gè)二維彩色濾光器陣列，它由RGB三原色濾光單元格柵組成，每 個(gè)柵格只能濾過三原色的一種，并一一對(duì)應(yīng)圖像傳感器（13)上的每個(gè)像素；圖像傳感器 (13)為CCD，每個(gè)圖像傳感器（13)位于對(duì)應(yīng)的聚焦鏡頭（11)聚焦的光路上，每個(gè)貝爾濾 光器（12)位于相應(yīng)的圖像傳感器（13)和聚焦鏡頭（11)之間，貝爾濾光器（12)的每個(gè)濾 光單元格柵對(duì)應(yīng)于圖像傳感器（13)上的一個(gè)像素；每個(gè)Bayer成像裝置可以對(duì)目標(biāo)場(chǎng)景 進(jìn)行成像，并輸出Bayer格式的圖像，記為/ ^，即j? ^為某一時(shí)刻k時(shí)第u個(gè)Bayer成像 裝置獲得的目標(biāo)場(chǎng)景的一個(gè)Bayer圖像，U個(gè)Bayer成像裝置可對(duì)同一目標(biāo)場(chǎng)景在同一 時(shí)刻k產(chǎn)生U個(gè)Bayer圖像，記為|丨，其中a=l 2n U，U為上述的Bayer成像裝置的個(gè) 數(shù)；一個(gè)Bayer成像裝置在多個(gè)時(shí)刻k產(chǎn)生多個(gè)Bayer圖像，即一路Bayer視頻，記為 ，其中Jfc = I,2,η，η為成像采樣的時(shí)刻的個(gè)數(shù)；多個(gè)Bayer成像裝置在多個(gè)時(shí)刻k產(chǎn)生 多個(gè)Bayer視頻，即多路Bayer視頻，記為/^,其中*2_一」11,*: = 1，2，-，n，也可記為 jf}，A" = 1，2,…，n, W-個(gè)Bayer圖像由好XiV個(gè)像素組成，即U路 Bayer視頻還可以表示 ;、心（i，_/)，其中《=12一u ，Ar - 1，2， 1 η,^ % - 3^ 2 - -m， Η， J = l· 2-，N，H為每幅Bayer圖像的像素的行數(shù)，N為每幅圖像的像素的列數(shù)； 視頻圖像處理裝置（3)包括數(shù)字處理裝置（31)、多路Bayer圖像融合裝置（32)和 Bayer圖像恢復(fù)裝置（33);數(shù)字處理裝置（31)能進(jìn)行數(shù)據(jù)處理，其包括輸入接口、存貯器、 處理器和輸出接口； 多聚焦Bayer視頻圖像獲取裝置（1)與視頻圖像處理裝置（3)之間通過通訊系統(tǒng)連 接； 多路Bayer圖像融合裝置（32)置于視頻圖像處理裝置（3)的數(shù)字處理裝置（31)中， 其用于對(duì)多聚焦Bayer視頻圖像獲取裝置（1)的各Bayer成像裝置同一時(shí)刻采集來的U個(gè) Bayer圖像其中H = I5 2卜_,11，或進(jìn)行融合處理，得到一個(gè)融合的Bayer 圖像處理后的Bayer圖像/&包含了 ^ZlvBayer圖像 中所有的聚焦 區(qū)域影像，即處理后的Bayer圖像Zit為同一時(shí)刻k時(shí)目標(biāo)場(chǎng)景內(nèi)所有位置的目標(biāo)均清晰的 Bayer 圖像Jfc; Bayer圖像恢復(fù)裝置（33)用于對(duì)多路Bayer圖像融合裝置（32)處理后得到的Bayer 圖像/^再經(jīng)過恢復(fù)處理，得到一張全圖均清晰的彩色圖像1?1。
2. 根據(jù)權(quán)利要求1所述的同步多聚焦Bayer視頻圖像處理系統(tǒng)，其特征是：所述的多 路Bayer圖像融合裝置（32)包括圖像分塊模塊、圖像塊RGB分解模塊、圖像塊清晰度衡量 模塊、基于清晰度的圖像合成模塊； 圖像分塊模塊，其用于將第k個(gè)時(shí)刻_ Bayer圖像(fK，.的每一個(gè)Bayer圖 像#都完全分割成Q個(gè)圖像塊; 圖像塊RGB分解模塊，其用于將圖像分塊模塊得到的各圖像塊《=U"U，按 ? 照RGB顏色屬性分別分解成R色子圖像塊、B色子圖像塊、Gl色子圖像塊、G2色子圖像塊； 圖像塊清晰度衡量模塊，其用于衡量每一個(gè)圖像的清晰度；其先分別衡量對(duì)應(yīng)于每一 個(gè)圖像塊的四個(gè)子圖像的清晰度，然后取各子圖像塊的清晰度之和，得到每一個(gè)圖像塊的 清晰度； 基于清晰度的圖像合成模塊，其用于對(duì)同一時(shí)刻k時(shí)U個(gè)Bayer圖像中相同位置（即 值相同)的各圖像塊的清晰度，取清晰度最大的圖像塊直接或者帶權(quán)后作為合成的Bayer圖 像/ 該位置的圖像塊的像素值。
3. 根據(jù)權(quán)利要求2所述的同步多聚焦Bayer視頻圖像處理系統(tǒng)，其特征是：所 述的圖像分塊模塊，其用于將第k個(gè)時(shí)刻_ Bayer圖像}的每一個(gè) Bayer圖像/g都完全分割成Q個(gè)包括r行與r列像素的圖像塊 且對(duì)同一幅Bayer圖像分割成的任意相鄰兩個(gè)圖像塊之間具有c行或者c列像素 重疊，即左右相鄰兩個(gè)圖像塊之間有c列像素相重疊(像素相同)，上下相鄰的兩個(gè)圖像 塊之間有c行像素相重疊 ，r 一般取8~64之間的偶數(shù)，c取4~32, c〈r，r〈H，r〈N; Q = [(Jff -r)/(r-c) + l]x[(況-r)/(r- c)_H] 表示由第 u 個(gè) Bayer 成像裝置在第 k 時(shí) 刻得到的Bayer圖像經(jīng)分割后得到的第#圖像塊，_Bayer圖像}在 對(duì)應(yīng)的同一圖像區(qū)域就分成了 u個(gè)圖像塊，記為M^fcU=U"u。
4. 根據(jù)權(quán)利要求3所述的同步多聚焦Bayer視頻圖像處理系統(tǒng)，其特征是：所述 的圖像塊RGB分解模塊，其用于將圖像分塊模塊得到的各圖像塊.....JJ，按 照RGB顏色屬性分別分解成R色子圖像塊、B色子圖像塊、Gl色子圖像塊、G2色子圖像 塊尺寸分別為（r/2)x(r/2)四個(gè)子圖像塊；具體是對(duì)每個(gè)圖像塊進(jìn) 行如下操作：取每個(gè)圖像塊的奇數(shù)行和奇數(shù)列的像素，得到一個(gè)（r/2)x(r/2)的 9 R色子圖像塊，標(biāo)記為取每個(gè)圖像塊的偶數(shù)行和偶數(shù)列的像素，得到一個(gè) (r/2)x(r/2)的B色子圖像塊，標(biāo)記為;取每個(gè)圖像塊的奇數(shù)行和偶數(shù)列的 像素，得到一個(gè)（r/2)x(r/2)的Gl色子圖像塊，標(biāo)記為Gif#;取每個(gè)圖像塊的 偶數(shù)行和奇數(shù)列的像素，得到一