用帶有色濾器的傳感器生成改進(jìn)的彩色圖像的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種相機(jī)的圖像生成裝置和方法，尤其涉及帶有色濾器傳感器的數(shù)碼 工業(yè)相機(jī)。
【背景技術(shù)】
[0002] 在工業(yè)環(huán)境中，數(shù)碼相機(jī)經(jīng)常用于監(jiān)控生產(chǎn)流程、機(jī)器或物體。這類工業(yè)相機(jī)用于 簡單的監(jiān)視功能和計(jì)量任務(wù)，例如：通過圖像處理進(jìn)行質(zhì)量控制。它們的集成進(jìn)布置的能力 和它們的高畫質(zhì)是十分卓越的。
[0003] 拜耳傳感器是一種覆蓋有色濾器的傳感器的名稱，類似于棋盤格濾鏡。多數(shù)情況 下，拜耳傳感器包括50%的綠色、各25%的紅色和藍(lán)色。這種情況下，其假設(shè)人的肉眼對綠 色的反應(yīng)比其他顏色更敏感。許多數(shù)碼照相機(jī)和數(shù)碼攝影機(jī)中傳統(tǒng)的CCD傳感器應(yīng)用了拜 耳矩陣（或拜耳模式）的理念。"拜耳"矩陣或"拜耳"濾光鏡以發(fā)明人布賴斯?拜耳（Bryce E.Bayer)的名字命名，在US3, 971，065中有更詳盡的說明。
[0004] 圖像傳感器半導(dǎo)體材料的光敏元件僅可以檢測到熒光值。為了獲取色彩信息，每 個(gè)獨(dú)立元件之前都放置有細(xì)小的色濾器，該色濾器的顏色是紅、綠、藍(lán)三基色的其中一種。 例如：所述色濾器在奇數(shù)行按照綠-紅-綠-紅的順序排列，在偶數(shù)列按照藍(lán)-綠-藍(lán)-綠的 順序排列。所述圖像傳感器每個(gè)擁有這類色濾器的光敏元件（像素），僅在此位置為單一色 彩分量相應(yīng)提供信息。然而，為了獲取整個(gè)彩色圖像，每個(gè)像素需要色彩值，其包括若干色 彩組成，例如：紅、綠和藍(lán)。如果待產(chǎn)生的整個(gè)彩色圖像有相同的維度和相同的分辨率，根據(jù) 相鄰像素的值內(nèi)插丟失的色彩信息是必需的。如此，彩色圖像中綠色值的50%是由計(jì)算得 到的，對于藍(lán)色和紅色，其色彩值的各75% (或，在一行中是50%，在下一行中是100% )， 由計(jì)算填補(bǔ)。這種內(nèi)插是基于圖像中相鄰像素之間僅發(fā)生微小色彩差異的假設(shè)。但是，這 并不自然適用于每個(gè)圖像主題。因此，嚴(yán)格說來，考慮無偽影的彩色圖像，拜耳傳感器只提 供了虛擬像素的四分之一。
[0005] 圖1示出一種示范性工業(yè)數(shù)碼相機(jī)應(yīng)用。工業(yè)數(shù)碼相機(jī)10用于集成在工業(yè)設(shè)備 23中，作為其檢測目標(biāo)（例如：物體14、15或人）的部件。這些圖像轉(zhuǎn)化為圖像數(shù)據(jù)16,以 便其可被評估和/或存檔。該評估常常由圖像處理工具18自動完成。通常，自動操作響應(yīng) 于適用于設(shè)備23的評估結(jié)果而執(zhí)行。如此，亮物體14和暗物體15,其可被按它們的顏色進(jìn) 行區(qū)分，基于光學(xué)標(biāo)準(zhǔn)被自動分類。這種分類在不同的工業(yè)領(lǐng)域很常見。舉例來說，按照標(biāo) 準(zhǔn)區(qū)分食品例如谷物與污物、礦石和巖石碎片，基于其顏色或其亮度；郵政物品基于其上安 置的地址（分類）；剎車盤和密封環(huán)基于它們遵守正確的形狀和遵守特定的標(biāo)稱尺寸（分 類）；或可回收空瓶基于正確的形狀和安置其上的條形碼（分類）。這些分類常常服務(wù)于質(zhì) 量檢測和保證。
[0006] 所述工業(yè)設(shè)備23常包括，例如帶有驅(qū)動馬達(dá)12和傳送速率13的傳送帶11的驅(qū) 動組件，其傳送物體14、15。所述相機(jī)10通過諸如物鏡的光學(xué)裝置22記錄合適位置的圖 像。因此，所述相機(jī)10可被設(shè)置為區(qū)域-掃描相機(jī)、行-掃描相機(jī)或多行-掃描相機(jī)，例如， 如EP1 919 197A2中所述。所述相機(jī)將所記錄圖像的圖像信號16轉(zhuǎn)發(fā)至圖像處理裝置 18 (例如，計(jì)算機(jī)（C))。進(jìn)一步的，圖像處理裝置18可選的被提供關(guān)于所述傳送帶11的傳 送速率13的信息17,其可由諸如旋轉(zhuǎn)編碼器決定。因此，該圖像處理裝置可確定合適的時(shí) 間點(diǎn)，在該點(diǎn)一個(gè)物體經(jīng)過諸如掉下過去數(shù)個(gè)可控的空氣噴射器的元件的促動器19,并且 可向促動器19提供控制信號24,基于該控制信號執(zhí)行動作，其適于引導(dǎo)相應(yīng)物體分類。舉 例來說，對空氣噴射器的控制可以決定：如果氣流被關(guān)閉，物體是否落入第一容器20 ;或如 果氣流被打開，是否偏斜到第二容器21。
[0007] 在這一應(yīng)用中，如果該相機(jī)10盡可能快的傳遞圖像是有益的，以便圖像處理裝置 18盡可能快的為促動器19生成控制信號24,以此在早期階段啟動期望的控制動作。因此， 設(shè)備23可運(yùn)行更快。在特定應(yīng)用中，特別是當(dāng)物體14和15在傳送帶11上移動，如滾動時(shí)， 可獲取更高的精確度或位置，或者優(yōu)化其他參數(shù)。
[0008] 在另一些應(yīng)用實(shí)例中，也加入對環(huán)境的記錄和/或歸檔。舉例來說，記錄在公路交 通中無序行駛（例如：當(dāng)違反速度限制或闖紅燈）汽車的圖像，例如DE10 2010 003 039A1中所述。舉個(gè)例子，渡輪的裝載與卸載也可能伴隨記錄汽車的圖像，為了能夠在發(fā)生索賠 請求的情況下確定渡輪上是否發(fā)生損害。在這類應(yīng)用中，正確再現(xiàn)物體和特定環(huán)境的色彩 (例如：紅色交通燈）是必需的。進(jìn)一步的，圖像擁有好質(zhì)量是重要的。如果圖像中的物體 可以很容易地識別，和字母 特別其為黑白對比 是以清晰和易讀的方式再現(xiàn)，尤其 屬于這種情況。
[0009] 圖2為一種帶有鏡頭22的數(shù)碼相機(jī)10的結(jié)構(gòu)示意圖。圖像場景30通過該鏡頭 22再現(xiàn)于包括規(guī)則排列的光敏元件（像素）的圖像傳感器31上。該圖像傳感器31轉(zhuǎn)發(fā)電 子數(shù)據(jù)至大多包含在相機(jī)10中的處理單元32,其包括諸如處理器、數(shù)字信號處理器（DSP) 或所謂現(xiàn)場可編程門陣列（FPGA)。這種情況下，可能需要將模擬圖像數(shù)據(jù)轉(zhuǎn)化為數(shù)字圖像 數(shù)據(jù)，通過諸如模數(shù)轉(zhuǎn)化器（AD-converter)。在該處理單元中，圖像數(shù)據(jù)轉(zhuǎn)化為用戶適用格 式隨后通過接口 33以電子信號34輸出。
[0010] 這類數(shù)碼彩色相機(jī)的用戶往往想要使用彩色圖像，其中完整的色彩值可用于每 個(gè)像素的位置。這個(gè)色彩值隨后被作為位置或色彩空間位置來理解，其中，三維色彩空間 的位置定義由至少三個(gè)分量指示實(shí)現(xiàn)。最常見的色彩空間是三維的，例如：RGB、XYZ、YUV 和L*a*b*色彩空間。一個(gè)色彩空間的色彩值可轉(zhuǎn)化為另一個(gè)色彩空間的色彩值，例如參 見A.Koschan和M.Abidi的《數(shù)字彩色圖像處理》（JohnWiley&Sons,Hoboken2008,ISBN 978-0-470-14708-5)。進(jìn)一步的，色彩值轉(zhuǎn)換方法是已知的，比如：8位RGB、12位RGB或YUV 4_2_2 〇
[0011] 由于每個(gè)像素只對一種色彩敏感，所以它僅提供一維信息，作為三維色彩空間值 這類像素的色彩值定義是待決的。所以，確定缺失信息通常依靠引入相鄰像素信號，特別是 這些像素?fù)碛衅渌伾纳恃谀?。相?yīng)的計(jì)算稱為去拜耳算法（debayering)，去馬賽克， 或色濾鏡陣列（CFA)插值，例如US6, 181，376中所述。作為去拜耳算法的結(jié)果，可為每個(gè) 像素獲取一個(gè)多維色彩值。
[0012] 已知的工業(yè)相機(jī)中，執(zhí)行去拜耳算法。并且，所提到的相機(jī)向計(jì)算機(jī)傳輸?shù)膱D像不 是作為色彩值而是作為原始數(shù)據(jù)。之后，在計(jì)算機(jī)中執(zhí)行去拜耳算法是必需的。這里，去 拜耳算法可在用于接收圖像數(shù)據(jù)的插件上執(zhí)行，稱之為幀捕獲器（FrameGrabber)，或者在 計(jì)算機(jī)或圖形板卡的處理器上執(zhí)行。也有提供所謂軟件實(shí)現(xiàn)驅(qū)動的相機(jī)，通常包括執(zhí)行去 拜耳算法的程序代碼。已知執(zhí)行去拜耳算法時(shí)可能出現(xiàn)不利的錯(cuò)誤色彩，被稱為色彩失真 (Coloraliasing)。這個(gè)問題在例如US20100085452A中被廣泛討論。防止這類顏色失 真的方案被稱為反鋸齒（anti-aliasing)，特別在US6, 819, 801中有描述。
[0013] 對于一個(gè)數(shù)碼（工業(yè)）相機(jī)，速度和圖像質(zhì)量尤其至關(guān)重要。后者依據(jù)當(dāng)前版本 為3. 0的標(biāo)準(zhǔn)EMVA1288(www.emva.org)而確定。進(jìn)一步的，圖像的主觀人體感受也被用 戶作為評價(jià)圖像質(zhì)量的重要標(biāo)準(zhǔn)而使用。
[0014] 數(shù)碼工業(yè)相機(jī)應(yīng)用于不同的工業(yè)領(lǐng)域，例如：食品工業(yè)、物流、運(yùn)輸、汽車工業(yè)、機(jī) 器人工業(yè)等。在這些工業(yè)領(lǐng)域中，基于不同的需求有許多不同的更深入的應(yīng)用，例如：有關(guān) 于圖像傳感器的尺寸，由像素?cái)?shù)目給定的光學(xué)分辨率；有關(guān)于計(jì)算每秒圖像數(shù)（fps)中重 復(fù)率；有關(guān)于數(shù)據(jù)的格式轉(zhuǎn)換，例如：遵循CameraLink、IEE1394、GigEVision或USB標(biāo) 準(zhǔn)等。已知的數(shù)碼工業(yè)相機(jī)取得了高數(shù)據(jù)速率，諸如：CameraLink可達(dá)800Mbyte每秒或是 GigEVision可達(dá)100Mbyte每秒。在需求如此多樣的情況下，為保證生產(chǎn)效率，這類相機(jī)往 往模塊化設(shè)置，例如：包含擁有圖像傳感器的傳感器模塊、處理器模塊和擁有接口的接口模 塊。由于要求處理模塊能適應(yīng)多種不同的傳感器模塊和接口模塊，如果它可以被軟件配置 將是十分有益的，憑借各種不同類型的處理器模塊和相關(guān)的改進(jìn)努力，可減少生產(chǎn)和后期 處理。進(jìn)一步的，需要取得高數(shù)據(jù)吞吐量從而取得需要的高數(shù)據(jù)速率。這種情況下，處理模 塊常常作為中心組件由FPGA實(shí)現(xiàn)。
[0015] 包含在一個(gè)數(shù)學(xué)圖像處理方法中的操作數(shù)量應(yīng)盡可能小。在使用FPGA的情況下， 這會導(dǎo)致一個(gè)邏輯單元的使用率低，有利于允許使用廉價(jià)FPGA或?yàn)槠渌δ茯v出更多可 用的FPGA空閑邏輯單元。在使用DSP或其他處理器的情況下，低操作數(shù)意味著它們可在給 定時(shí)間范圍內(nèi)應(yīng)用于更高數(shù)量的像素，從而使得以更高數(shù)據(jù)速率輸出圖像成為可能。并且， 由于圖像處理操作數(shù)量低，可使用低功率因而廉價(jià)的處理器，而且可以因此降低電路復(fù)雜 度。

【發(fā)明內(nèi)容】

[0016] 本發(fā)明的目的在于提供一種帶有拜耳模式傳感器的相機(jī)，其對存儲器容量和內(nèi)存 訪問帶寬的要求都很低，能生成低延遲和高圖像清晰度的高質(zhì)量圖像，同時(shí)防止噪聲和色 彩失真。
[0017] 根據(jù)本發(fā)明，上述目標(biāo)的實(shí)現(xiàn)通過一種根據(jù)權(quán)利要求1所述的圖像處理裝置、一 種根據(jù)權(quán)利要求11所述的數(shù)碼相機(jī)、一種根據(jù)權(quán)利要求12所述的圖像處理系統(tǒng)、一種根據(jù) 權(quán)利要求13所述的圖像處理方法、一種根據(jù)權(quán)利要求14所述的計(jì)算機(jī)裝置和一種根據(jù)權(quán) 利要求15所述的計(jì)算機(jī)程序產(chǎn)品。
[0018] 于是，依據(jù)本發(fā)明基于整體數(shù)學(xué)方法的圖像處理流程的方案使得可在基于單個(gè)預(yù) 設(shè)的圖像點(diǎn)環(huán)境的有限資源下進(jìn)行圖像處理，其中，為全體色彩分量增加一個(gè)相同的增量 值，導(dǎo)致色彩值并行于相應(yīng)的色彩空間的非彩色線移動。如此，通過所述增量取得噪聲的合 并，不會導(dǎo)致不利的彩色噪聲而只有一個(gè)非彩色的噪聲。
[0019] 進(jìn)一步的，圖像處理的低操作數(shù)導(dǎo)致FPGA邏輯單元的使用率低，因此更多的空閑 邏輯單元可用于其他功能。在使用DSP或其他處理器的情況下，低操作數(shù)意味著它們可適 用于在給定時(shí)間跨度內(nèi)眾多像素，從而在輸出時(shí)取得更高數(shù)據(jù)速率。
[0020] 依據(jù)第一有益改進(jìn)，所述圖像處理操作適用于基于所述環(huán)境中第一色彩分量（例 如：綠色分量）的圖像數(shù)據(jù)確定修正值，該修正值分別以不同的符號加到第二和第三色彩 分量（如：紅色和藍(lán)色分量）的圖像數(shù)據(jù)。
[0021] 依據(jù)第二有益改進(jìn)，所述圖像處理操作適用于通過一個(gè)值與一個(gè)方向估計(jì)值相乘 確定修正值，該值由所述第一色彩分量的圖像數(shù)據(jù)與預(yù)定卷積矩陣卷積而確定，該方向估 計(jì)值取決于圖像結(jié)構(gòu)的主導(dǎo)方向。
[0022] 依據(jù)第三有益改進(jìn)，所述圖像處理操作適用于基于環(huán)境中水平和垂直方向的亮度 變化的差確定所述方向估計(jì)值。
[0023] 依據(jù)第四有益改進(jìn)，所述圖像處理操作適用于利用卷積矩陣從所述環(huán)境中預(yù)設(shè)的 第一色彩分量圖像數(shù)據(jù)中確定結(jié)構(gòu)化信息，如此，利用所述符號對圖像結(jié)構(gòu)的方向依賴進(jìn) 行編碼。
[0024] 依據(jù)第五有益改進(jìn)，所述圖像處理操作適用于通過結(jié)構(gòu)化信息抵消修正項(xiàng)而修正 綠-綠失衡，該結(jié)構(gòu)化信息取決于所述環(huán)境中第一色彩分量的圖像數(shù)據(jù)。
[0025] 依據(jù)第六有益改進(jìn)，所述圖像處理操作適用于將有著第一設(shè)定值的第一非線性函 數(shù)應(yīng)用于取決于所述環(huán)境中第一色彩分量的圖像數(shù)據(jù)的第一結(jié)構(gòu)化信息；將有著第二設(shè)定 值的第二非線性函數(shù)應(yīng)用于取決于所述環(huán)境中第一色彩分量的圖像數(shù)據(jù)的第二結(jié)構(gòu)化信 息；將所述第一和第二非線性函數(shù)的結(jié)果相加以獲得一低噪聲結(jié)構(gòu)化信息。
[0026] 依據(jù)第七有益改進(jìn)，所述圖像處理操作適用于執(zhí)行圖像銳化，通過將由所述環(huán)境 中第一色彩分量的圖像數(shù)據(jù)確定的第一結(jié)構(gòu)化信息乘以一修正值。
【附