專利名稱：用于處理圖像的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及用于處理圖像的方法和系統(tǒng)。本發(fā)明特別涉及用于處理使用內插之圖像的方法和系統(tǒng)。
通過將圖像分成大量的段即表示像素和將數字值即表示像素值分配到每個像素來數字式表示圖像是公知的。一般地說，圖像被分成像素的行列矩陣，然后數字圖像的大小由行中像素數和列中像素數給出。像素值一般被存儲在數字存儲器的陣列中。
例如，灰度色調圖像可以由數字圖像來數字地表示，該數字圖像包括像素，每一個像素具有一個代表對應像素之灰度色調的像素值。類似地，彩色圖像可以由數字圖像來表示，該數字圖像包括像素，每一個像素具有三個像素值，即一個像素值是紅，綠和藍彩色的一個。
通常，數字圖像是由朝向物體的光傳輸產生和由從物體反射或穿過物體的光的電子攝像機檢測。當然，通常數字圖像可以由任何種類的朝向物體用于與物體相互作用的輻射能量的傳輸產生，例如電磁輻射、可見光、紅外輻射、紫外線輻射、X射線、無線電波等，超聲能量，諸如電子、中子等的粒子能量等等，并且諸如通過反射、折射、吸收等檢測具有與物體相互作用的能量來檢測。
數字圖像可以由任何適用于檢測所涉及能量種類和產生基于該能量檢測的數字圖像的圖像系統(tǒng)來形成，例如為輻射計系統(tǒng)、紅外線系統(tǒng)、雷達系統(tǒng)、超聲波系統(tǒng)、X射線系統(tǒng)、電子攝像機、數字掃描儀等。
記錄具有希望信噪比的數字圖像需要的能量總量即圖像系統(tǒng)的靈敏度是由圖像系統(tǒng)中的噪聲水平決定的。任何種類的能量檢測器都產生加到期望被記錄之信號上的噪聲。如果不優(yōu)于在攝影膠片上記錄的圖像的信噪水平，對專業(yè)出版中的隨后再現，一般要求數字圖像的信噪水平應與其相當。
一般地說，在電磁輻射之可見光范圍工作的圖像記錄系統(tǒng)，諸如電子攝像機，數字攝像機，電子掃描儀，數字掃描儀等，使用了一般為電子耦合器件(CCD)的固態(tài)成像器件用于圖像的記錄。
CCD是相互連接成模擬移位寄存器的大量光敏檢測器陣列。在CCD的每個檢測器中，電荷的形成是正比于在積分期(integrationperiod)期間入射在檢測器上的光能量。每個檢測器的模擬電荷是從CCD中串行地轉移，并且一般被變換成數字值，由此形成了記錄圖像的數字表示。該數字圖像的每個象素值等于對應CCD檢測器的數字化電荷。該象素值可以通過計算機接口傳遞到外部計算機，或者可以存儲在存儲器卡或者在旋轉的磁記錄媒體上。
在圖像記錄系統(tǒng)中使用線性CCD在本領域是公知的，其中線性CCD光傳感檢測器配置在單行上。一般地說，該陣列移過圖像，一次掃過一行。對于彩色圖像，濾光器能夠被放置在陣列的前方，然后它在圖像記錄期間使得它三次穿過該圖像。
提供在圖像記錄系統(tǒng)的圖像分辨率(高象素數)和成本的良好折衷方案是三線性CCD陣列，其由三個并排的線性CCD構成。每行都被其自己的彩色濾光器覆蓋。該陣列使得它單次穿過圖像，并且每個線性CCD一次記錄一行。
在較高成本時，兩維CCD陣列能夠在很短的時間內捕獲整個圖像。能夠使用具有三個彩色濾光器的三個單獨曝光部位以便彩色表示。例如，彩色濾光器能夠被放置在旋轉的輪中，該旋轉輪連續(xù)地插入在圖象記錄系統(tǒng)的圖像形成光學部件和兩維CCD陣列之間光學通路的每個彩色濾光器。
在本文中，術語曝光部位應當在廣義上理解為時間周期，在這期間，能量傳感器實際上正傳感該能量。例如，攝影膠片在光入射其上的任何時間都曝光，而CCD在CCD單元允許入射其上的組成光通量時才曝光。盡管光可以入射其上，當其光傳感單元被短路時，該CCD是不曝光的。
確定數字圖像的大小，即改變(一般為減小或放大)數字圖像的大小即數字圖像的象素數，以便使被存儲用于數字圖像后續(xù)處理的象素數據量最小，這在本領域是公知的。可以采用各種(有時是復雜的)用于形成象素組(新象素值由此計算出)的方案。在非常簡單的例子中，通過把數字圖像的像素數減少一個整數例如為4的倍數可以減小數字圖像的大小。在這種情況下，原始數字圖像的像素被分成每個為4像素的組，并且像素的每個組被轉換成等于原始像素值之平均值的新像素的像素值。由此，產生了為原始數字圖像大小之四分之一的新數字圖像。
而且，通過形成新的具有與初始圖像相同像素數目的數字圖像，調節(jié)從數字圖像生成的圖像的亮度是公知的，其中每個新的像素值是由對應的初始像素值的線性或非線性變換產生的。
而且，從例如US5,373,322公知，為了產生與至少三基色相關的高質量彩色信息，在圖像的每個像素位置要求有至少三基色。在例如為CCD的每個像素中不可獲得與三基色相關信息的情況下，要求包括線性或非線性變換方法的插值復合方法。
這些復雜的傳統(tǒng)處理方法的缺點是與處理圖像所要求的時間相關。為獲得高質量的彩色圖像，在將低分辨率彩色圖像變換成高分辨率彩色圖像中要應用復雜的數學算法。
傳統(tǒng)處理方法的另一個缺點是與能顯著擾亂彩色圖像重演的彩色贗像的出現相關。
本發(fā)明的目的是提供用于估計使用基于CCD技術的彩色濾光器陣列記錄的圖像中的失色的方法和系統(tǒng)。
本發(fā)明的另一目的是提供用于估計使用基于掃描器技術記錄的圖像中的失色的方法和系統(tǒng)。
本發(fā)明的另一目的是提供一種圖像處理方法，包括步驟(a)將圖像分成用于保持彩色值的像素陣列；(b)通過從位于靠近所選擇像素的選擇像素組之彩色值計算彩色(A)值來插值所選擇像素的彩色(A)值，鄰近所選擇像素的至少一個像素的影響將顯著地減小，由此來基本上避免圖像的區(qū)別特征的模糊。
通過靠近的意思是所選擇像素組應該是鄰近所選擇像素。術語顯著減小應當理解為低加權或從所選擇像素組中排除。
圖像處理方法還包括步驟(a)形成位于靠近所選擇像素的第一組像素，和計算第一組像素彩色值的第一變化值，(b)形成位于靠近所選擇像素的第二組像素，和計算第二組像素彩色值的第二變化值
(c)比較第一和第二變化值，和從具有最低變化值的像素組的彩色值中計算彩色(A)值。
圖像處理方法還包括步驟其中具有最低變化值的像素組的彩色(B)值包括在彩色(A)值的計算中。特別是，彩色(B)值分別包括在第一和第二像素組之變化值的計算中。
根據本發(fā)明，第一和第二像素組之計算變化值的每個步驟分別包括(a)計算在各個像素組之鄰近像素的彩色(A)值和彩色(B)值之間的比率；(b)計算所計算比率值的平均值，和(c)計算各組像素的變化值作為在每個比率和平均值之間差值的絕對值之和。
計算彩色(A)值的步驟包括(a)計算具有最低變化值的像素組的彩色(B)值的加權和，(b)計算具有最低變化值的像素組的彩色(A)值的加權和，和(c)通過將選擇像素的彩色(B)值和在彩色(A)值加權和與彩色(B)值加權和之間的比率相乘計算彩色(A)值。
彩色(A)值可以不僅僅從兩個彩色值中計算出。彩色(A)值可以從任意數目的彩色值中計算出。
用于進一步處理而記錄的圖像可以通過包括有掃描器或CCD或大容量電荷調制器件(BCMD)的電子攝像機記錄。
在包括有CCD的電子攝像機的情況下，攝像機還可以包括位于CCD前面的彩色濾光器掩膜，所述彩色濾光器掩膜包括多個彩色濾光器。彩色濾光器掩膜可以是Bayer 2G類型。
像素的選擇組可以是任何形式，并且可以包括任意數目的像素。
特別是，像素的選擇組可以配置成行和列，其平行于圖像矩陣中像素的行和列。另外，像素的選擇組可以配置成行，其相對于圖像中像素的行和列近似為45度的角度。
在另一種選擇中，像素的選擇組可以配置成行和列，其平行于圖像矩陣中像素的行和列和相對于圖像中像素的行和列近似為45度的角度。
像素的選擇組還可以配置成相對于圖像中像素的行和列為任意角度。
像素選擇組的數目可以是任意的。像素選擇組的數目最好是大于2，例如為4。
本發(fā)明的又一目的是提供圖像處理系統(tǒng)，包括(a)用于存儲圖像像素矩陣之彩色值的存儲器，和(b)連接到存儲器和適用于通過從位于靠近所選擇像素的選擇像素組之彩色值計算彩色(A)值來插入所選擇像素之彩色(A)值的處理器，鄰近所選擇像素的至少一個像素的影響將顯著地減小，由此來基本上避免圖像之區(qū)別特征的模糊。
根據本發(fā)明，圖像處理系統(tǒng)還可以包括由掃描器和CCD構成的電子攝像機。
本發(fā)明的優(yōu)點是該方法和系統(tǒng)能顯著地改善在數字圖像中估計遺失量度信息的能力。遺失量度信息的正確估計對于清晰度和細節(jié)富裕度的視覺印像是很重要的。
本發(fā)明的另一優(yōu)點是保留所有的色度信息以給出最高顏色逼真度的圖像，同時避免所有公知的混淆。
本發(fā)明的另一優(yōu)點是本發(fā)明方法相對低的復雜度，其使得容易以軟件和/或以基于應用程序的硬件兩種形式來實現。本方法還適用于成像的其它領域，例如圖像標度，圖像壓縮和諸如不清晰掩蔽及噪聲降低的視覺增強。
下面參考


本發(fā)明。
圖1表示Bayer 2G型的彩色濾光器圖形。柵中的每個單元代表m×n陣列CCD上的光點或像素，這里m是CCD每行上的光點數目，n是CCD上行的光點數目，R是由紅色濾光器材料(稱為紅光點)覆蓋的光點數目，G是由綠色濾光器材料(稱為綠光點)覆蓋的光點數目和B是由藍色濾光器材料(稱為藍光點)覆蓋的光點數目。
圖2表示說明像素的四個選擇組。
圖3表示使用現代化的具有三個CCD陣列的數字化攝像機記錄的基準圖像。
圖4表示使用僅僅具有一個CCD陣列的數字化攝像機記錄的和根據本發(fā)明處理的圖像。
圖5表示使用僅僅具有一個CCD陣列的數字化攝像機記錄的和根據傳統(tǒng)方法處理的圖像。
為了構造m×nRGB圖像，綠值和藍值不得不在由紅色濾光器材料覆蓋的光點上估計，藍值和紅值在由綠色濾光器材料覆蓋的光點上估計，最后紅值和綠值在由藍色濾光器材料覆蓋的光點上估計。
注意，Bayer圖形由藍色濾光器材料覆蓋的光點量比由藍色和紅色濾光器材料覆蓋的光點量大一倍，因此名稱為Bayer 2G。
由綠光點取樣的視覺波長部分代表了大部分的純亮度信息。藍光點和紅光點攜帶了大部分的crominance信息，但是，藍光點和紅光點也攜帶了許多純亮度信息的事實對于本發(fā)明的插值方法是極重要的。本發(fā)明中，在紅色濾光器材料覆蓋的光點上的遺失綠信息是完全以來自從周圍區(qū)域所作的綠光點和紅光點選擇組的值之間的變化為基礎的。來自光點值的組一定要以這種方式分段，使得有可能區(qū)分邊緣邊界。
將考慮用于可能插值的像素組的選擇主要地依賴于所考慮的彩色濾光器陣列的實際布置。像素組的數目和選擇對本方法的性能有深刻的影響。
在Bayer 2G圖形的情況下，用于估計在紅色光點處綠色樣本的一組像素能夠示于圖2中。
當選擇用于估計在藍光點處的綠樣值的像素組時能夠應用相同的原理。而且，選擇用于每組像素的光點組對于估計的正確性是決定性的。
參考圖2，在圖像低細節(jié)區(qū)域中不會引入太多噪聲和其它贗像的情況下，4組像素足以檢測非常精細的細節(jié)。
變化值corr是針對每組像素計算的。變化函數表達為擴展從在給定點一個顏色減小的信息能夠用于估計在不同點的相同顏色的影響，即減小例如在紅濾光器光點處的綠光的影響。
由于性能約束，在不犧牲輸出質量的情況下，變化公式一定要保持為盡可能的簡單。該公式能夠使用標準線性相關來表達。
用于本發(fā)明優(yōu)選實例的公式表示為mean:=Σn=1mGnRn·1m]]>corr:=Σn=1m|GnRn-mean|]]>這里G是像素組中的綠像素，R是像素組中的紅像素，m是每個像素組中的像素數目，mean是紅像素和綠像素之間的平均比率，corr是紅像素和綠像素之間的變化。較低的值代表較高的相關性。
當為每組像素已經計算了變化值時，就選擇具有最高相關性的(最低的數值值)像素組。該變化值將用在進一步的估計處理中。
給定光點處的失色是根據包含在所選擇像素組中的信息來表達的。如果變化是在某一閾值之下，則由于噪聲或其它因素，可以選擇使用不同變化方法的替換像素組。
失色估計為綠樣值的加權和除以紅樣值的加權和乘以被估計的來自光點的樣值。這可以表示如下Rw:=Σn=1mRn·Wn]]>Gw:=Σn=1mGn·Wn]]>Ge:=Rk·GwRw]]>這里Rw是像素組中紅樣值的加權和，Gw是像素組中綠樣值的加權和，Rk是來自所討論光點的樣值，Ge是估計的綠值。
為了處理全部圖像，對圖像中的每個像素重復上述處理直到所有的失色已經估計到為止。
權利要求
1.一種圖像處理方法，包括步驟將圖像分成用于保持彩色值的像素陣列；通過從位于靠近所選擇像素的選擇像素組之彩色值計算彩色(A)值來插值所選擇像素的彩色(A)值，鄰近所選擇像素的至少一個像素的影響將顯著地減小，由此來基本上避免圖像之區(qū)別特征的模糊。
2.權利要求1的方法，還包括步驟形成位于靠近所選擇像素的第一組像素，計算第一組像素彩色值的第一變化值，形成位于靠近所選擇像素的第二組像素，計算第二組像素彩色值的第二變化值，比較第一和第二變化值，和從具有最低變化值的像素組的彩色值中計算彩色(A)值。
3.權利要求2的方法，其中具有最低變化值的像素組的彩色(B)值包括在彩色(A)值的計算中。
4.權利要求2或3的方法，其中彩色(B)值分別包括在第一和第二像素組之變化值的計算中。
5.權利要求4的方法，其中分別計算第一和第二像素組之變化值的每個步驟包括計算在各個像素組之鄰近像素的彩色(A)值和彩色(B)值之間的比率；計算所計算比率值的平均值，和計算各組像素的變化值作為在每個比率和平均值之間差值的絕對值之和。
6.前述權利要求任何一項的方法，其中計算彩色(A)值的步驟包括計算具有最低變化值的像素組的彩色(B)值的加權和，計算具有最低變化值的像素組的彩色(A)值的加權和，和通過將選擇像素的彩色(B)值和在彩色(A)值加權和與彩色(B)值加權和之間的比率相乘計算彩色(A)值。
7.權利要求1的方法，其中彩色(A)值是從任意數目的顏色計算來的。
8.權利要求1的方法，其中像素所選擇組的數目是任意的。
9.權利要求1的方法，其中圖像是用電子攝像機記錄的。
10.權利要求9的方法，其中電子攝像機包括掃描器。
11.權利要求9的方法，其中電子攝像機包括C-MOS圖像儀。
12.權利要求9的方法，其中電子攝像機包括BCMD。
13.權利要求9的方法，其中電子攝像機包括CCD。
14.權利要求13的方法，其中電子攝像機還包括位于CCD前面的彩色濾光器掩膜，所述彩色濾光器掩膜包括多個彩色濾光器。
15.權利要求14的方法，其中彩色濾光器掩膜是Bayer 2G型的。
16.權利要求1的方法，其中像素所選擇組以行和列配置，其平行于圖像中像素的行和列。
17.權利要求1的方法，其中像素所選擇組以行配置，其相對于圖像中像素的行和列為近似45度的角度。
18.權利要求1的方法，其中像素所選擇組以行配置，其相對于圖像中像素的行和列為近似45度的角度，以行和列配置，其平行于圖像中像素的行和列。
19.權利要求1的方法，其中像素所選擇組以行配置，其相對于圖像中像素的行和列為任意角度。
20.權利要求1的方法，其中像素所選擇組可以采用任何形式。
21.權利要求16到20任何一個的方法，其中像素所選擇組的數目為4。
22.一種圖像處理方法，包括步驟將圖像分成用于保持彩色值的像素陣列；通過從位于靠近所選擇像素的選擇像素組之彩色值計算彩色(A)值來插值所選擇像素的彩色(A)值，鄰近所選擇像素的至少一個像素的影響將顯著地減小，由此來基本上避免圖像之區(qū)別特征的模糊。
23.權利要求22的方法，還包括步驟形成至少兩組像素，這些像素的每一組位于靠近所選擇像素，計算每組像素彩色值的變化值，比較每一個計算的變化值，和從具有最低變化值的像素組的彩色值中計算彩色(A)值。
24.權利要求23的方法，其中具有最低變化值的像素組的彩色(B)值包括在彩色(A)值的計算中。
25.權利要求23或24的方法，其中彩色(B)值分別包括在每一個像素組之變化值的計算中。
26.權利要求25的方法，其中計算每一個像素組之變化值的每個步驟包括計算在各個像素組之鄰近像素的彩色(A)值和彩色(B)值之間的比率；計算所計算比率值的平均值，和計算各組像素的變化值作為在每個比率和平均值之間差值的絕對值之和。
27.權利要求22-26任何一項的方法，其中計算彩色(A)值的步驟包括計算具有最低變化值的像素組的彩色(B)值的加權和，計算具有最低變化值的像素組的彩色(A)值的加權和，和通過將選擇像素的彩色(B)值和在彩色(A)值加權和與彩色(B)值加權和之間的比率相乘計算彩色(A)值。
28.權利要求22的方法，其中彩色(A)值是從任意數目的顏色計算來的。
29.權利要求22的方法，其中像素所選擇組的數目是任意的。
30.權利要求22的方法，其中圖像是用電子攝像機記錄的。
31.權利要求30的方法，其中電子攝像機包括掃描器。
32.權利要求30的方法，其中電子攝像機包括C-MOS圖像儀。
33.權利要求30的方法，其中電子攝像機包括CCD。
34.權利要求30的方法，其中電子攝像機包括BCMD。
35.權利要求33的方法，其中電子攝像機還包括位于CCD前面的彩色濾光器掩膜，所述彩色濾光器掩膜包括多個彩色濾光器。
36.權利要求35的方法，其中彩色濾光器掩膜是Bayer 2G型的。
37.權利要求22的方法，其中像素所選擇組以行和列配置，其平行于圖像中像素的行和列。
38.權利要求22的方法，其中像素所選擇組以行配置，其相對于圖像中像素的行和列為近似45度的角度。
39.權利要求22的方法，其中像素所選擇組以行配置，其相對于圖像中像素的行和列為近似45度的角度，以行和列配置，其平行于圖像中像素的行和列。
40.權利要求22的方法，其中像素所選擇組以行配置，其相對于圖像中像素的行和列為任意角度。
41.權利要求22的方法，其中像素所選擇組可以采用任何形式。
42.權利要求37到41任何一個的方法，其中像素所選擇組的數目大于2，例如為4。
43.一種圖像處理系統(tǒng)，包括用于存儲圖像像素矩陣之彩色值的存儲器，和連接到存儲器和適用于通過從位于靠近所選擇像素的選擇像素組之彩色值計算彩色(A)值來插入所選擇像素之彩色(A)值的處理器，鄰近所選擇像素的至少一個像素的影響將顯著地減小，由此來基本上避免圖像之區(qū)別特征的模糊。
44.權利要求43的系統(tǒng)，其中包括電子攝像機。
45.權利要求44的系統(tǒng)，其中電子攝像機包括掃描器。
46.權利要求44的系統(tǒng)，其中電子攝像機包括C-MOS圖像儀。
47.權利要求44的系統(tǒng)，其中電子攝像機包括CCD。
48.權利要求44的系統(tǒng)，其中電子攝像機包括BCMD。
全文摘要
本發(fā)明涉及處理圖像的方法和系統(tǒng)。本發(fā)明特別涉及使用插值處理圖像的方法和系統(tǒng)。本方法確定用于在CCD不同像素組的變化值,和選擇具有最高相關性(最低數值值)的像素組。根據包含在所選擇像素組中的信息來表示給定像素的失色。如果變化值低于某個閾值,由于噪聲或其它因素,可以選擇使用不同變化方法的替換像素組。失色被估計為例如綠樣值加權和被例如紅樣值加權和除再被來自要估計像素的樣值相乘。
文檔編號G06T1/00GK1288549SQ9980221
公開日2001年3月21日 申請日期1999年7月9日 優(yōu)先權日1998年9月15日
發(fā)明者N·V·克努森, M·喬森 申請人:第一階段公司