專利名稱：多鏡頭和多傳感器成像系統(tǒng)中視差保留和視差消除的制作方法
多鏡頭和多傳感器成像系統(tǒng)中視差保留和視差消除發(fā)明概述本發(fā)明涉及到多個鏡頭和多個傳感器的數(shù)字相機來產(chǎn)生一個或多個連續(xù)圖像。具 體的是關(guān)于數(shù)字相機使用多個鏡頭和多個傳感器具有分開的幾何布局以便產(chǎn)生接近以至 于完全逼近人眼的視覺效果。視差可以被完全消除或者保留以達到理想的視覺效果。摘要本發(fā)明是基于已經(jīng)發(fā)明的多傳感器多透鏡系統(tǒng)的圖像采集與處理系統(tǒng)[1]。這種 系統(tǒng)可用于提高信號的信噪比(SNR)，動態(tài)范圍和其他接收圖像信號的參數(shù)。在本發(fā)明中通 過多鏡頭和多傳感器的基本原理和一些基本數(shù)學運算來改進的原來單鏡頭光學系統(tǒng)和傳 感器的局限性，誤差和缺陷以提高性能。背景一個圖像采集系統(tǒng)包括鏡頭和圖像傳感器即光學分系統(tǒng)和電子分系統(tǒng)。關(guān)于多鏡 頭和多傳感器系統(tǒng)中在美國專利6611289號(2003年8月26日批準，發(fā)明人Yu et al)進 行過描述。此專利的題目是“使用多個傳感器相機和多鏡頭的數(shù)碼相機”。和一個傳感器的 數(shù)碼相機相比多傳感器收到的噪音將有壓制效果，其結(jié)果是接收圖像的動態(tài)范圍和質(zhì)量得 以改善。然而，上述發(fā)明可能無法完全模仿人類視覺系統(tǒng)，因為兩鏡頭和傳感器國之間的 距離不一定如同人一樣是6-7厘米。這實際上也是當前的單鏡頭相機攝影現(xiàn)實和特點，即 采取了無視差的設計。這意味著單鏡頭的相機產(chǎn)生的圖像和人眼有一定的區(qū)別。最明顯的 區(qū)別是，立體的圖像信息丟失。其他一些微細的信息，如提高信號噪聲比的信息也失去了， 所以產(chǎn)生的圖像嚴格的是一維的并且質(zhì)量較低。在本發(fā)明中圖像質(zhì)量得到進一步改善，多 個鏡頭和傳感器是可以排列在這樣一種方式下使產(chǎn)生的圖像數(shù)據(jù)是不嚴格的一維。相對于 單鏡頭和單傳感器照相機而言更多的一些細節(jié)得以保留，使獲得的圖像具有更接近人的視 覺系統(tǒng)的真實的特性。
發(fā)明概要由于新型產(chǎn)品不斷發(fā)展、技術(shù)快速進步并出現(xiàn)了互聯(lián)網(wǎng)、電子郵件、無線通信等， 這些新技術(shù)都有助于使數(shù)碼相機和移動設備具有相機功能而成為最熱門的新一類的消費 電子產(chǎn)品。但是，圖像質(zhì)量、圖像的像素數(shù)和圖像的動態(tài)范圍還有待于進一步提高。本發(fā)明 中數(shù)碼相機使用多個圖像傳感器與多個鏡頭，改善了各種數(shù)碼相機圖像質(zhì)量，而不會帶來 成本的大幅增加。本發(fā)明已考慮了數(shù)碼相機的現(xiàn)有問題和需要，并特別是考慮了如何進一步滿足數(shù) 碼相機的進一步要求，以生產(chǎn)高品質(zhì)的數(shù)字圖像。本發(fā)明以改進的數(shù)碼相機可用兩個圖像 傳感器為例，每個傳感器有自己的鏡頭，其中一個圖像傳感器是是接受的是所有可見光的 信息具有接受黑白即亮度信息，而第二個圖像傳感器具是接受的是所有可見光的信息馬賽 克微型波器來捕獲所有可見光的彩色圖像數(shù)據(jù)。同時本系統(tǒng)使用一個嵌入數(shù)字圖像處理數(shù) 字處理芯片，圖像是由一個或兩個彩色圖像傳感器和黑白圖像傳感器的圖像數(shù)據(jù)，產(chǎn)生出高質(zhì)量真彩色數(shù)字圖像。美國專利6611289中提到了鏡頭和傳感器獨特的配置，它有許多顯而易見的好處 和優(yōu)勢。首先，圖像傳感器的解相度可以充分利用的。第二，每個圖像傳感器只負責接受一 種顏色；從而那種昂貴的把微型彩色濾波器疊加的每一像素的工藝就可以取消了，后續(xù)的 微型鏡片工藝也不是必要的。應該注意到這種具有這種微型選擇性彩色濾波的傳感器仍然 可以使用，第三，圖像從黑白(亮度)圖像傳感器捕捉的信息，可以包括所有的細節(jié)。這兩 個彩色圖像傳感器可能已經(jīng)錯過了黑白細節(jié)。此外，因為這些圖像傳感器解像度可充分利 用，為在同一解像度的彩色圖像，該圖像傳感器可使用相對較小的像素數(shù)量，或同樣數(shù)量像 素的會有更高分辨率，這通常會導致傳輸速率高，靈敏度高，串攏少，同一空間分辨率采用 低時鐘速度。此外，圖像的傳感器面積可以較小，因此可以使用較小的光學鏡頭，這特別有 利于鏡頭的制造，安裝和校準。本發(fā)明是一種改進的數(shù)字相機系統(tǒng)。具體體現(xiàn)在，包括2個圖像傳感器，安裝在 一個共同的平臺它們可以位于同一段距離的關(guān)系(6-7厘米)，以接近人類視覺系統(tǒng)，該系 統(tǒng)共有2個鏡頭，每一個安裝在圖像傳感器的前面；第一個圖像傳感器可接收所有可見顏 色譜，可以是黑白的傳感器；第2個傳感器圖像可接受全面的可見光色譜并且具有微型彩 色濾波；2個模擬數(shù)字轉(zhuǎn)換電路將2個圖像傳感器產(chǎn)生了數(shù)據(jù)進行數(shù)字化；它們是圖像相應 的圖像數(shù)據(jù)；改進的數(shù)字相機還有相應的電路在模擬數(shù)字轉(zhuǎn)換電路之后把圖像可以進行存 儲和存儲，然后進行數(shù)字圖像處理生產(chǎn)生最后的完整的彩色圖像。本發(fā)明步驟可部分體現(xiàn)在如表格所示上。表格表示了如何改進各個參數(shù)。這種表 格可以全面審查所有區(qū)域中的所有鏡頭像素對象和數(shù)據(jù)。但注意，表格并沒有說明如何在 同一時間同時改進所有的參數(shù)。本項發(fā)明在如隨附的說明圖將具體描述并體現(xiàn)。示意圖簡介為了能更好地理解本發(fā)明的優(yōu)勢及其他功能，將在以下幾列方面做出說明，并附 在聲明和標注在相應的說明圖上。

圖1 體現(xiàn)本發(fā)明的改善數(shù)碼相機采用多鏡頭和傳感器的方框圖；它也表明多個 圖像傳感器被置于一個的平臺鏡頭之間傳感器可以有一些距離。兩個傳感器能夠接收所有的可見光，他們可以是單色即黑白的或有微型鑲嵌彩色 濾波器傳感器。如果采用了微型鑲嵌彩色濾波器圖像傳感器，其設計應能使感光的像素分 別接收其全部考慮的光譜。圖2 表明了一個有代表性測試具有是視差的場景。圖3 顯示了不同傳感器的不同圖像和最后的圖像結(jié)果。圖4 描繪了多個鏡頭和多個傳感器照相機圖像數(shù)據(jù)分辨率增強的原理。本發(fā)明的描述下面的詳細說明本發(fā)明具體的細節(jié)，以便進一步透徹的了解本發(fā)明。然而，它將不 描述那些明顯的和已知的工藝。描述是采用了具有代表性并均為常見的手段，即采用了有 經(jīng)驗或技能的工藝最有效地傳達的實質(zhì)內(nèi)容。在其他情況下，眾所周知的方法，程序，組件 和電路沒有進行詳細說明，以避免不必要的混淆。圖1 描述了圖像采集系統(tǒng)。即使用多個攝像機鏡頭和多個傳感器。對象101。鏡 頭102，和104的相應鏡頭相機。這項安排的圖像傳感器和鏡頭中顯示103和105。在相機機身是描繪107。該圖像傳感器也如108和109所示。圖像數(shù)據(jù)傳輸?shù)奈⑿吞幚砥?06通 過傳輸電纜110，111。輸出圖像數(shù)據(jù)經(jīng)過處理器進行處理。處理過程包括對圖像傳感器和 鏡頭的檢測和相互校正產(chǎn)生最后的圖像。圖2 描述了一個典型具有視差的測試圖像。201是所排攝的一個具有三角形外形 的對象。202、203是第一個傳感器和鏡頭。205是另一個傳感器及鏡頭。206、207是兩個鏡 頭和傳感器捕獲的圖像。圖3 描繪了取得最后的圖像數(shù)據(jù)的產(chǎn)生過程。301表示了從第一個傳感器和鏡頭 得到的圖像。302表示了從第二個傳感器和鏡頭得到的圖像。303表示了如把第一個傳感 器和鏡頭作為主眼而得到的最后無視差的圖像。304表示了如把第二個傳感器和鏡頭作為 主眼而得到的最后無視差的圖像。305表示了如把第一個傳感器和鏡頭作為主眼而得到的 另一種最后的結(jié)果。在此圖像中視差信息被疊加到無視差的圖像中去。圖4 描繪了多個鏡頭和多個傳感器照相機的圖像數(shù)據(jù)分辨率增強的過程。400描 繪了采用了拜耳模式的單鏡頭單傳感器的二維空間分辨率。401描繪了采用了拜耳模式的 單鏡頭單傳感器的RGB 二維空間分辨距離，402描繪了采用了拜耳模式的單鏡頭單傳感器 的G對角的二維空間分辨距離。403描繪了單色或紅色傳感器的單方向空間分辨。405描 繪了單色或藍色的單方向空間分辨率。407描繪了單色或綠色的單方向空間分辨率。404， 406，和408描繪了對應的單色的單方向空間分辨距離。410表示了如果有同樣的像素數(shù)和 空間距離則單鏡頭單傳感器的單方向空間分辨率是多個鏡頭和多個傳感器的單方向空間 分辨率的一半?？紤]到G(綠色)傳感器最小對角的空間分辨距離只有1. 4倍于單色的最 小單方向空間分辨率，三鏡頭和傳感器照相機二維空間分辨率是單鏡頭單傳感器的二維空 間分辨率的三倍。數(shù)字攝影是一個出現(xiàn)在20世紀后半期最激動人心的技術(shù)，使用適當?shù)挠布蛙?件，幾乎任何人都可以使用數(shù)碼攝影。最近由于的產(chǎn)品引進、技術(shù)進步且價格不短降低，同 時最重要的是出現(xiàn)了高速無線通信和互聯(lián)網(wǎng)，這有助于使數(shù)碼相機成為最炙手可熱的新一 類的消費電子產(chǎn)品。大多數(shù)數(shù)碼相機的圖像傳感器使用或感光器材，如電荷耦合器件(CCD)或互補金 屬氧化物(CMOS)技術(shù)半導體感知到場景。感光器件把現(xiàn)場轉(zhuǎn)化成電信號然后轉(zhuǎn)換成數(shù)字， 光線通過紅、綠、藍過濾器，例如，由此可以看出每個單獨的彩色光譜。當數(shù)據(jù)是通過合并和 處理，相機能夠確定每個部分的圖片的具體的顏色。由于圖像實際上是一個集合的數(shù)字數(shù) 據(jù)，它就可以輕松地下載到電腦和操縱更多的藝術(shù)效果。然而，有許多情況下，由于數(shù)碼相機的性能有限所以相機可能根本無法使用。相比 之下人的肉眼仍然有許多優(yōu)點，有更多的自適應處理能力，更高的分辨率.更大的動態(tài)范 圍，由于大腦的力量，加上眼(傳感器)的自適應，人眼的缺陷可以大大限制和和改善。例 如，一對近視眼可優(yōu)于任何單一的一只眼。在非常低的光照明的情況下，人眼視覺系統(tǒng)會自 動變成一個單一顏色或接近單色感光的模式，以提取認為最重要的信息。人眼的動態(tài)范圍 可大至一百分貝，數(shù)字表示大約是16比特。在一個典型的多光學鏡頭和多種圖像傳感器或 感光芯片的數(shù)碼相機中，感光芯片包括一個兩維的光電轉(zhuǎn)換單元數(shù)組，即像素。有選擇性地 交織在一起的彩色濾光片是疊加在每個像素。光電感光芯片通常有一定的各方向的解像能 力，由此產(chǎn)生的水平分辨率是由若干像素連續(xù)在行的排列的相對距離所決定和垂直分辨率是由一些像素在列的排列的相對距離所決定。由于彩色和亮度感光像素交替排列，實際上 的圖像解像素已被減少。雖然我們清楚地認識到還有許多其他質(zhì)量因素限制了數(shù)碼相機圖像采集的性能。 例如，光圈不能任意設置和此參數(shù)將反過來會極大地影響到圖像質(zhì)量，這是由于眾所周知 的光學繞射和衍射的效果。當光圈值設置為低一些時，可以得到更多的光能和改善的衍射 效應，但鏡頭質(zhì)量缺陷可能更加暴露使最終圖像質(zhì)量受到影響。當光圈值設置為高，曝光可 能不足而鏡頭的衍射效應將成為影響圖像質(zhì)量的主要因素。當采用多個鏡頭和多傳感器相機，一個傳感器缺失可以用其他傳感器的數(shù)據(jù)得到 補償和糾正。一般來說一個傳感器可以配置成接受一種極端情況，而另外的傳感器可以配 置接受另一端的極端情況。例如一個傳感器可以配置成接受高亮度的圖像信息，而另外的 傳感器可以配置接受低亮度的圖像信息。最后的圖像是自適應的融合這兩個圖像的結(jié)果。 一種簡單的融合方法是擴大每一個像素的比特數(shù)以把所有的細節(jié)清楚地表示。 應該注意到本發(fā)明及步驟應在獲得初步的結(jié)果圖像之后進行，不同傳感器的數(shù)據(jù) 可能有坐標的縮放和對齊已保證位置的嚴格匹配。參考文獻[1]美國專利6611289號(2003年8月26日發(fā)表，發(fā)明人Yu等)“使用多個傳感 器相機比多鏡頭的數(shù)碼相機”。
權(quán)利要求
多鏡頭和多傳感器的數(shù)碼采集和處理系統(tǒng)(相機)其多個圖像傳感器安裝在一個平臺上面向一個方向并相互之間可以有一定的距離并且其圖像數(shù)據(jù)共用一個單獨的處理器，此數(shù)碼相機至少有一個全頻譜傳感器，并且此數(shù)碼相機可以獲取并處理從如上所述的多個傳感器采集的圖像數(shù)據(jù)其最后結(jié)果可是一個單一的無視差的圖像，最后結(jié)果也可是一個或一組能表示視差的圖像。
2.如權(quán)利要求1中所述的圖像采集和處理系統(tǒng)，兩個全光譜圖像傳感器數(shù)據(jù)進行線性 相對比較和相關(guān)，沒有進一步的非線性處理，只是線性處理。
3.如權(quán)利要求1中所述的圖像采集和處理系統(tǒng)，兩個全光譜圖像傳感器數(shù)據(jù)進行進一 步的非線性處理及非線性和線性混合處理。
4.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，不同傳感器和鏡頭可以配置成工作在相 同或不同的工作模式和參數(shù)例如不同的光圈，速度，距離和景深。
5.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，不同傳感器和鏡頭可以放置成有一個相 對的角度，例如45度(或有135，225，或315度)角度。
6.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，不同傳感器和鏡頭的相對的角度和位置 可以進行實時調(diào)整以達到最優(yōu)效果。
7.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以應用芯片外的存儲芯片來緩 存和儲存中間的和最后的結(jié)果。
8.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以應用系統(tǒng)中某一個圖像傳感 器作為主眼而另外的圖像傳感器作為輔眼來提取視差信息。
9.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以應用系統(tǒng)中某一個圖像傳感 器作為主眼而另外的圖像傳感器作為輔眼來消除視差。
10.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，每一個圖像傳感器都有自己的模數(shù)傳 感器來將模擬的數(shù)據(jù)轉(zhuǎn)換成數(shù)字的信息。
11.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以接受部分或所有的圖像傳 感器的信息進行處理。
12.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器采用不同的圖像傳感器的孔闌 校正之前的信息進行排列來增強圖像的分辨率。
13.如權(quán)利要求12中述的圖像采集和處理系統(tǒng)，某一個或某幾個圖像傳感器的相對位 置可以一個方向或兩個方向的微調(diào)以達到最高的圖像的分辨率。
14.如權(quán)利要求13中述的圖像采集和處理系統(tǒng)，最后的結(jié)果是經(jīng)過處理的只顯示最高 的分辨率圖像的全部或某一部分。
全文摘要
本發(fā)明涉及多鏡頭和多傳感器成像系統(tǒng)中視差保留和視差消除。本發(fā)明是基于已經(jīng)發(fā)明的多傳感器多透鏡系統(tǒng)的圖像采集與處理系統(tǒng)。這種系統(tǒng)可用于提高信號的信噪比(SNR)，動態(tài)范圍，清晰度和其他接收圖像信號的參數(shù)。在本發(fā)明中通過多鏡頭和多傳感器的基本原理和一些基本數(shù)學運算來改進的原來單鏡頭光學系統(tǒng)和傳感器的局限性以提高性能。
文檔編號H04N9/093GK101883289SQ20091008363
公開日2010年11月10日 申請日期2009年5月7日 優(yōu)先權(quán)日2009年5月7日
發(fā)明者張冬云 申請人:張冬云