本發(fā)明涉及用于檢測有缺陷像素的方法、能夠檢測有缺陷像素的裝置、以及包括所述裝置的系統(tǒng)。本發(fā)明還涉及一種用于利用有缺陷像素檢測方法，來確定從圖像處理過程輸出的至少一個數(shù)據(jù)項的可靠性水平的方法。

光電(optronic)系統(tǒng)是已知的，如照相裝置、攝視頻像機、雙筒望遠(yuǎn)鏡、望遠(yuǎn)鏡、取景器或配備有空載(airborne)觀測系統(tǒng)的陀螺穩(wěn)定球(gsb：gyro-stabilisedball)。這些光電系統(tǒng)包括圖像獲取裝置，其包括至少一個圖像傳感器，所述至少一個圖像傳感器能夠獲取各種頻率范圍內(nèi)的圖像，如對應(yīng)于人眼可察覺的頻率的頻率范圍或者位于紅外線中的頻率范圍。

圖像傳感器按像素網(wǎng)格的形式提供圖像。圖像傳感器由稱為感光點(photosite)的有源元件的格柵構(gòu)成，例如，由光電二極管構(gòu)成，每一個光電二極管都能夠?qū)⑷肷涔馐D(zhuǎn)換成電信號。圖像的每一個像素對應(yīng)于圖像傳感器上的感光點。圖像傳感器的一些感光點經(jīng)常有缺陷，致使這些感光點不適于提供有效的像素值。這些缺陷可能是制造缺陷，使得這些感光點明確不能提供有效的像素值，或者是隨機發(fā)生的臨時缺陷。可以通過檢查在制造之后實現(xiàn)的圖像傳感器的過程來檢測制造缺陷。然后，丟棄包括過大數(shù)量的有缺陷感光點的圖像傳感器，即，每圖像提供過大數(shù)量的非有效像素(稱為有缺陷像素)。保持具有可接受數(shù)量的有缺陷感光點的圖像傳感器，即，提供每圖像可接受數(shù)量的有缺陷像素。然后，可以列出由有缺陷圖像傳感器的感光點提供的每個有缺陷像素的位置。另一方面，用于在制造后檢查傳感器的過程不適于隨機發(fā)生的臨時缺陷，因為根據(jù)定義，這些缺陷可能隨時出現(xiàn)，包括在制造之后。

而且，光電系統(tǒng)通常包括一個或更多個可以由專用裝置或按軟件形式使用的圖像處理模塊。圖像處理模塊可以提供許多功能，舉例來說，如改進由圖像傳感器獲取的圖像的渲染的功能、在一個或更多個圖像中檢測對象的功能、或者跟隨一序列連續(xù)圖像中的對象的功能。然后，圖像處理模塊能夠提供輸出數(shù)據(jù)，舉例來說，如改進的圖像、所檢測對象的坐標(biāo)、或者被跟隨對象的速度和移動方向。這些輸出數(shù)據(jù)接著可以用于顯示在顯示裝置上(舉例來說，如屏幕、平視顯示器、取景器目鏡或雙目目鏡，或智能鏡)，和/或用于存儲在存儲裝置中和/或用于觸發(fā)打算供操作員使用的警報。

有效的圖像處理模塊必須提供具有高甚或最大可靠性水平的輸出數(shù)據(jù)。具有低可靠性水平的輸出數(shù)據(jù)項實際上可能導(dǎo)致對圖像內(nèi)容的錯誤解釋或不合理警報。圖像處理模塊的輸出數(shù)據(jù)的可靠性水平很大程度上取決于將該處理操作應(yīng)用至的圖像的質(zhì)量。圖像的質(zhì)量取決于多個因素，這些因素之一是圖像中包含的有缺陷像素的數(shù)量。因此，重要的是，為了使從光電系統(tǒng)輸出的每個數(shù)據(jù)項可靠，檢測有缺陷像素，以使圖像處理模塊考慮其存在。

包括用于檢測在獲取裝置與圖像處理模塊之間起作用的有缺陷像素的模塊的光電系統(tǒng)是已知的。用于檢測有缺陷像素的模塊是專用于檢測圖像中的有缺陷像素的圖像處理模塊。有缺陷像素檢測模塊從圖像獲取裝置接收圖像，并且向圖像處理模塊提供表示在該圖像中檢測到的有缺陷像素的信息。這樣，圖像處理模塊可以考慮所檢測有缺陷像素，以便檢測從圖像處理模塊輸出的數(shù)據(jù)的可靠性水平。

然而，在光電系統(tǒng)中集成有缺陷像素檢測模塊增加了光電系統(tǒng)的制造成本和使用復(fù)雜性。另外，有缺陷像素檢測模塊和圖像處理模塊通常使用冗余過程。例如，每個模塊通常必須實現(xiàn)遍歷圖像中的像素的過程。集成與圖像處理模塊分離的有缺陷像素檢測模塊不能使實現(xiàn)這些冗余過程合理化，從而避免在兩個模塊中實現(xiàn)它們。例如，通常是首先在有缺陷像素檢測模塊中，其次在圖像處理模塊中實現(xiàn)遍歷圖像的像素的過程。

本發(fā)明的目的是要解決上述問題。具體來說，本發(fā)明旨在提出一種能夠檢測有缺陷像素的方法和裝置，該方法創(chuàng)建有缺陷像素檢測模塊與圖像處理模塊之間的協(xié)同作用。具體來說，本發(fā)明旨在針對在圖像處理模塊中實現(xiàn)的程序的結(jié)果，能夠在使用有缺陷像素檢測模塊時被重新使用，以獲取縮減利用有缺陷像素檢測模塊的計算成本。而且，本發(fā)明旨在提供一種用于利用根據(jù)本發(fā)明的能夠檢測有缺陷像素的方法，來確定或最優(yōu)化從圖像處理模塊輸出的數(shù)據(jù)的可靠性水平的方法。

為此，根據(jù)本發(fā)明第一方面，本發(fā)明涉及一種用于檢測有缺陷像素的方法，該方法被包括在圖像處理過程中，該圖像處理過程包括像素處理過程，所述像素處理過程被應(yīng)用至從一圖像傳感器發(fā)出的至少一個圖像的像素，每一個像素對應(yīng)于所述圖像傳感器的、被稱為感光點的有源元件，該有源元件能夠?qū)⑷肷涔馐D(zhuǎn)換成電信號，每一個像素與表示所述像素的狀態(tài)的分類值相關(guān)聯(lián)。該方法包括以下步驟：將組合的像素處理與有缺陷像素檢測過程應(yīng)用至圖像的每一個像素，包括針對每一個像素，將所述像素處理過程應(yīng)用至所述像素；分析所述像素處理過程的結(jié)果；在獲取表示有關(guān)所述圖像傳感器的、提供所述像素的感光點的缺陷的非正常結(jié)果的情況下，就遞增表示針對所述像素的非正常結(jié)果的檢測數(shù)量的變量；以及當(dāng)所述變量達(dá)到表示非正常結(jié)果的最大數(shù)量的第一閾值時，關(guān)聯(lián)所述像素與表示一有缺陷像素的分類值。

這樣，所述像素處理過程的結(jié)果被重新用于檢測有缺陷像素。

根據(jù)一個實施方式，所述方法被應(yīng)用至從所述圖像傳感器發(fā)出的一序列連續(xù)圖像，并且所述第一閾值是在一時段期間可接受的非正常結(jié)果的最大數(shù)量，該時段與等于第二閾值的圖像數(shù)量相對應(yīng)。

根據(jù)一個實施方式，當(dāng)?shù)谝粓D像的像素與表示有缺陷像素的分類值相關(guān)聯(lián)時，在與等于第三閾值的連續(xù)圖像數(shù)量相對應(yīng)的時段期間，只要所述像素處理過程針對所述像素未獲得不表示所述圖像傳感器的、提供所述像素的感光點上的缺陷的非非正常結(jié)果，所述像素就被視為有缺陷。

這樣，確保在決定像素不再處于有缺陷狀態(tài)之前，所述像素實際上處于穩(wěn)定狀態(tài)。

根據(jù)一個實施方式，把周期性重新初始化成表示無有缺陷像素的分類值的過程應(yīng)用至與每一個像素相關(guān)聯(lián)的所述分類值，所述周期性重新初始化隨著與等于第四閾值的圖像數(shù)量相對應(yīng)的預(yù)定義時段而發(fā)生。

根據(jù)本發(fā)明第二方面，本發(fā)明涉及一種用于確定從圖像處理過程輸出的至少一個數(shù)據(jù)項的可靠性水平的方法，從被包括在所述數(shù)圖像處理過程中的像素處理過程的至少一個結(jié)果獲取每一個輸出數(shù)據(jù)項。該方法包括以下步驟：應(yīng)用根據(jù)第一方面所述的有缺陷像素檢測方法；根據(jù)與在使可以獲取所述輸出數(shù)據(jù)項的所述像素處理過程的結(jié)果中涉及的每一個像素相關(guān)聯(lián)的所述分類值，來確定每一個輸出數(shù)據(jù)項的所述可靠性水平。

根據(jù)一個實施方式，所述方法還包括這如下步驟，該步驟針對每一個輸出數(shù)據(jù)項，根據(jù)所述輸出數(shù)據(jù)項的所述可靠性水平來決定使用或替換所述輸出數(shù)據(jù)項，輸出數(shù)據(jù)項用于顯示所述輸出數(shù)據(jù)項，和/或保存所述輸出數(shù)據(jù)項，和/或觸發(fā)與所述輸出數(shù)據(jù)項相對應(yīng)的警報。

根據(jù)本發(fā)明第三方面，本發(fā)明涉及一種能夠確定從圖像處理裝置輸出的數(shù)據(jù)項的可靠性水平的裝置，該圖像處理裝置包括能夠處理從圖像傳感器發(fā)出的至少一個圖像的像素的像素處理模塊，每一個像素對應(yīng)于所述圖像傳感器的、被稱為感光點的有源元件，該有源元件能夠?qū)⑷肷涔馐D(zhuǎn)換成電信號。所述裝置包括以下裝置：用于獲取針對像素使用所述像素處理模塊的結(jié)果的裝置；用于表示來自所述圖像處理模塊的非正常結(jié)果的裝置，該非正常結(jié)果表示有關(guān)所述圖像傳感器的、提供像素的感光點的缺陷；用于遞增表示針對像素獲取的非正常結(jié)果的數(shù)量的變量的裝置；用于在所述變量達(dá)到表示非正常結(jié)果的可接受最大數(shù)量的第一閾值時，關(guān)聯(lián)像素與表示有缺陷像素的分類值的裝置；用于根據(jù)與在使可以獲取所述輸出數(shù)據(jù)項的所述像素處理過程的結(jié)果中涉及的每一個像素相關(guān)聯(lián)的所述分類值，來確定每一個輸出數(shù)據(jù)項的所述可靠性水平的裝置。

根據(jù)本發(fā)明第四方面，本發(fā)明涉及一種圖像處理裝置，該圖像處理裝置包括：能夠處理從圖像傳感器發(fā)出的至少一個圖像的像素的像素處理模塊，和根據(jù)第三方面所述的裝置。

根據(jù)本發(fā)明第五方面，本發(fā)明涉及一種光電系統(tǒng)，該光電系統(tǒng)包括設(shè)置有圖像傳感器的圖像獲取系統(tǒng)、根據(jù)第四方面所述的圖像處理裝置以及圖像顯示和/或圖像存儲裝置。

根據(jù)本發(fā)明第六方面，本發(fā)明涉及一種計算機程序產(chǎn)品，其特征在于，該計算機程序產(chǎn)品包含指令，所述指令用于當(dāng)所述程序通過裝置的處理器執(zhí)行時，由所述裝置實現(xiàn)根據(jù)第一方面所述的方法。

根據(jù)本發(fā)明第七方面，本發(fā)明涉及一種存儲裝置，其特征在于，其存儲計算機程序，該計算機程序包含指令，所述指令用于當(dāng)所述程序通過裝置的處理器執(zhí)行時，由所述裝置實現(xiàn)根據(jù)第一方面所述的方法。

根據(jù)閱讀示例實施方式的下列描述，上述本發(fā)明的特征、以及其它方面將更清楚地顯現(xiàn)，所述描述結(jié)合附圖來給出，其中：

圖1示意性地描繪了由能夠?qū)崿F(xiàn)本發(fā)明的圖像處理模塊所使用的方法的示例，

圖2示意性地描繪了由所述圖像處理模塊使用的、能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程的示例，

圖3a示意性地例示了包括在能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程中的組合像素處理和有缺陷像素檢測過程的示例，

圖3b示意性地描繪了包括在能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程中的像素分類過程的示例，

圖4示意性地描繪了利用能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程的結(jié)果合成過程的示例，

圖5示意性地描繪了包括能夠?qū)崿F(xiàn)本發(fā)明的圖像處理裝置的光電系統(tǒng)的示例，

圖6示意性地例示了能夠?qū)崿F(xiàn)本發(fā)明的裝置的硬件架構(gòu)的示例。

闡述下面詳細(xì)說明的描述，以描述在能夠獲取圖像并檢測和監(jiān)測這些圖像中的對象的光電系統(tǒng)的背景下的本發(fā)明的各個實施方式。關(guān)于這點，具體來說，本發(fā)明在檢測到一對象并通過圖像處理模塊跟隨該對象時，允許確認(rèn)該對象確實是真實對象，而不是因存在有缺陷像素而檢測到的對象。然而，本發(fā)明的原理在包括圖像獲取裝置和圖像處理模塊的光電系統(tǒng)的更寬泛背景下應(yīng)用。例如，本發(fā)明應(yīng)用于照相裝置、視頻攝像機、望遠(yuǎn)鏡以及數(shù)碼雙筒望遠(yuǎn)鏡。在該更寬泛背景下，本發(fā)明提出了一種有效解決方案，例如，使得光電系統(tǒng)能夠?qū)D像應(yīng)用后處理，以便衰減由圖像中的有缺陷像素而造成的任何劣化。

圖5示意性地描繪了包括能夠?qū)崿F(xiàn)本發(fā)明的圖像處理裝置的光電系統(tǒng)50的示例。光電系統(tǒng)50包括：圖像獲取裝置51，該圖像獲取裝置包括圖像傳感器510。而且，光電系統(tǒng)50包括圖像處理裝置52和顯示裝置53。通信總線54使得圖像獲取裝置51、圖像處理模塊52以及顯示裝置53能夠通信。例如，通信總線54使得圖像獲取裝置51能夠向圖像處理模塊52提供圖像。另外，通信總線54使得圖像處理模塊52能夠向顯示裝置53提供輸出數(shù)據(jù)，如包括被跟隨的對象的圖像，被跟隨的對象的坐標(biāo)，或者在檢測到對象之后的警報消息。

在圖5的示例中，圖像處理模塊52包括像素處理模塊521、有缺陷像素檢測模塊522以及輸出數(shù)據(jù)處理模塊523。

像素處理模塊521能夠?qū)τ蓤D像獲取裝置51提供的圖像上的每個像素應(yīng)用至少一個處理。像素處理模塊521例如可以將以下處理操作應(yīng)用于圖像的像素：對像素進行濾波以衰減或抑制圖像中的任何獲取噪聲；對像素進行濾波以改善或檢測圖像中對象的輪廓；應(yīng)用用于確定像素移動的光流法，例如通過移動幅度和/或移動方向和/或移動速度來限定移動。

如下文針對圖3a、圖3b以及圖4所述，有缺陷像素檢測模塊522能夠通過依靠來自像素處理模塊521的結(jié)果，并根據(jù)檢測結(jié)果將分類值歸因于每個像素，來檢測有缺陷像素。而且，有缺陷像素檢測模塊522能夠根據(jù)像素的分類值，來確定針對從圖像處理模塊52所使用的圖像處理過程發(fā)出的每個輸出數(shù)據(jù)項的可靠性水平。輸出數(shù)據(jù)處理模塊523能夠根據(jù)每個輸出數(shù)據(jù)項的可靠性水平，對從圖像處理模塊52所使用的圖像處理過程發(fā)出的輸出數(shù)據(jù)應(yīng)用一處理。

下面，區(qū)分兩種類型的輸出數(shù)據(jù)：被稱為中間輸出數(shù)據(jù)的輸出數(shù)據(jù)從圖像處理模塊52所使用的圖像處理過程發(fā)出；被稱為最終輸出數(shù)據(jù)的輸出數(shù)據(jù)通過輸出數(shù)據(jù)處理模塊523從向該中間輸出數(shù)據(jù)項應(yīng)用一處理而發(fā)出。

在一個實施方式中，圖像處理模塊52、像素處理模塊521、有缺陷像素檢測模塊522以及輸出數(shù)據(jù)處理模塊523是軟件模塊。

在一個實施方式中，圖像處理模塊52由被稱為圖像處理裝置的裝置使用，其利用像素處理模塊521、有缺陷像素處理模塊522以及輸出數(shù)據(jù)處理模塊523。

在一個實施方式中，圖像處理模塊52由被稱為圖像處理裝置的裝置使用，包括被稱為有缺陷像素檢測裝置的裝置，其利用由一裝置或分離軟件模塊所使用的有缺陷像素檢測模塊522、像素處理模塊521以及輸出數(shù)據(jù)處理模塊523。

在一個實施方式中，光電裝置50還包括：用于將來自圖像處理模塊52的輸出數(shù)據(jù)通信傳送至遠(yuǎn)程裝置(未示出)的通信裝置(未示出)；和用于存儲來自圖像處理模塊52的輸出數(shù)據(jù)的存儲裝置(未示出)。

在一個實施方式中，當(dāng)光電系統(tǒng)50能夠檢測和跟隨對象時，圖像處理模塊52還包括：對象檢測和跟隨模塊(未示出)，其使用來自像素處理模塊521的結(jié)果來檢測和跟隨圖像中的對象。例如，對象檢測和跟隨模塊使用由濾波改善和/或檢測輪廓產(chǎn)生的圖像，以便查找所述圖像中的對象的輪廓，并且匹配多個連續(xù)圖像中的對象。另外，該對象檢測和監(jiān)測模塊使用與由像素處理模塊521獲取的每個像素相關(guān)聯(lián)的移動信息，以便確定所檢測的每個對象的移動。然后，中間輸出數(shù)據(jù)是來自對象檢測和監(jiān)測模塊的輸出數(shù)據(jù)，并且包括至少一個所檢測對象的坐標(biāo)和關(guān)于每個所檢測對象的移動信息。

圖6示意性地例示了能夠?qū)崿F(xiàn)根據(jù)本發(fā)明的圖像處理方法的裝置的硬件架構(gòu)的示例。在圖6的示例中，該硬件架構(gòu)是有缺陷像素檢測裝置的架構(gòu)。然而，如果圖像處理裝置不包括專用于使用有缺陷像素檢測模塊522的任何特定裝置，但具有用于使用有缺陷像素檢測模塊522的裝置，則硬件架構(gòu)的這個示例也可以是圖像處理裝置的示例。

根據(jù)圖6所示的硬件架構(gòu)的示例，有缺陷像素檢測裝置因而包括通過通信總線65連接的如下部件：處理器或cpu(中央處理單元)60；隨機存取存儲器ram61、只讀存儲器rom62、諸如硬盤hdd這樣的存儲單元和/或諸如sd(安全數(shù)字)讀卡器63這樣的存儲介質(zhì)讀取器；至少一個通信接口64，其使得有缺陷像素檢測裝置能夠與圖像處理裝置的模塊進行通信，舉例來說，如像素處理模塊521、輸出數(shù)據(jù)處理模塊523以及對象檢測和跟隨模塊(若后者存在的話)。存儲單元63可以臨時存儲中間輸出數(shù)據(jù)，例如，用于確定每個輸出數(shù)據(jù)項的可靠性水平的時間。

處理器60能夠執(zhí)行從rom62、從外部儲存器(未示出)、從存儲介質(zhì)(如sd卡)、或者從通信網(wǎng)絡(luò)加載到ram61中的指令。當(dāng)有缺陷像素裝置加電時，處理器60能夠從ram61讀取指令并且執(zhí)行它們。這些指令形成使通過處理器60實現(xiàn)關(guān)于圖3a、圖3b以及圖4描述的算法和步驟中的全部或一些的計算機程序。

關(guān)于圖3a、圖3b以及圖4描述的算法和步驟中的全部或一些可以采用通過可編程機器(例如，dsp(數(shù)字信號處理器)或微控制器)執(zhí)行一組指令的軟件形式來實現(xiàn)，或者采用通過一裝置、機器或?qū)Ｓ媒M件(例如，fpga(現(xiàn)場可編程門陣列)或asic(專用集成電路))的硬件形式來實現(xiàn)。

圖1示意性地示出了由圖像處理模塊52所使用的方法的示例。

在步驟10中，圖像處理模塊52從圖像獲取裝置51接收被稱為當(dāng)前圖像的圖像。如果所接收的圖像是在光電系統(tǒng)加電之后獲取的第一圖像，則圖像處理模塊52關(guān)聯(lián)每個像素的多個變量，并初始化這些變量。所述多個變量包括能夠存儲像素的分類值的第一變量，其被稱作分類值。該分類值表示圖像傳感器510的、提供所述像素的感光點的狀態(tài)。如下文所述，一個像素可以與三個分類值相關(guān)聯(lián)：稱作“好像素”的分類值，其指示圖像傳感器510的、提供該像素的感光點正確起作用并提供有效像素；稱作“有缺陷像素”的分類值，其指示圖像傳感器510的、提供該像素的感光點有缺陷并提供有缺陷像素；作為瞬態(tài)值的、稱作“第一檢測”的分類值，其首先指示像素處理模塊521剛剛?cè)〉冕槍υ撓袼氐?、被稱為非正常結(jié)果的結(jié)果，并且其次指示圖像傳感器510的、提供該像素的感光點有缺陷并且提供有缺陷像素。當(dāng)將步驟10應(yīng)用于第一圖像時，每個像素的分類值被初始化成“好像素”。而且，當(dāng)將步驟10應(yīng)用于第一圖像時，所述多個變量中的、在下文關(guān)于圖3a和圖3b說明的第二變量和第三變量npixel(x，y)與每個像素相關(guān)聯(lián)并被初始化成值“0”

在步驟11中，圖像處理模塊52將圖像處理過程(在下文中將關(guān)于圖3a和圖3b對其進行詳細(xì)說明)應(yīng)用至當(dāng)前圖像。在該圖像處理過程中，與每個像素相關(guān)聯(lián)的所述多個變量中的變量被更新。

該圖像處理過程還允許獲取中間輸出數(shù)據(jù)。當(dāng)光電系統(tǒng)50能夠獲取圖像并且檢測和跟隨這些圖像中的對象時，該中間輸出數(shù)據(jù)例如是：從如下濾波發(fā)出的圖像的像素，這些濾波旨在衰減獲取噪聲和/或改善和/或檢測由圖像獲取裝置51提供的圖像中的輪廓；表示所檢測和跟隨的對象的信息，舉例來說，如表示圖像中的對象的位置的信息、表示對象的移動幅度的信息、表示對象的移動速度的信息、以及表示對象的移動方向的信息。由像素處理模塊521和/或包括在圖像處理模塊中的對象檢測和跟隨模塊提供這些中間輸出數(shù)據(jù)。

在步驟12中，圖像處理模塊52的有缺陷像素檢測模塊522根據(jù)關(guān)于圖4描述的輸出數(shù)據(jù)合成方法，來確定針對每個中間輸出數(shù)據(jù)項的可靠性水平。

在步驟13中，圖像處理模塊52的輸出數(shù)據(jù)處理模塊523根據(jù)其可靠性水平向中間輸出數(shù)據(jù)應(yīng)用一處理，其允許獲取最終輸出數(shù)據(jù)。在步驟13的一個實施方式中，該處理包括決定是否必須使用中間輸出數(shù)據(jù)項?？梢允褂玫闹虚g輸出數(shù)據(jù)項成為最終輸出數(shù)據(jù)項。例如，該決定可以包括：不向顯示裝置53或存儲裝置發(fā)送與低于預(yù)定義閾值的可靠性水平相關(guān)聯(lián)的中間輸出數(shù)據(jù)項。在步驟13的一個實施方式中，該處理包括：不向顯示裝置53或存儲裝置發(fā)送與指示已經(jīng)使用至少一個有缺陷像素來獲取所述中間輸出數(shù)據(jù)項的可靠性水平相關(guān)聯(lián)的中間輸出數(shù)據(jù)項。

在步驟13的一個實施方式中，該處理包括：利用修正的輸出數(shù)據(jù)項替換中間輸出數(shù)據(jù)項，隨后將修正的輸出數(shù)據(jù)項目用作最終輸出數(shù)據(jù)項。例如，如果一中間輸出數(shù)據(jù)項是從有缺陷像素發(fā)出的濾波像素值，則從有缺陷像素發(fā)出的濾波像素值可以由從與該有缺陷像素相鄰的有效像素獲取的像素值代替。

在步驟14中，在處理圖像之后，使可以對由圖像處理模塊52處理的圖像數(shù)進行計數(shù)的變量ni的值增加一個單位。在步驟15中，將變量ni的值與對應(yīng)于圖像數(shù)量n4的重新初始化閾值進行比較。圖像數(shù)量n4允許監(jiān)測與每個像素相關(guān)聯(lián)的分類值的重新初始化的周期。這樣，當(dāng)圖像傳感器510的、臨時進入有缺陷狀態(tài)的感光點所提供的像素可以在所述感光點再次進入正確的起作用狀態(tài)時，與分類值“好像素”相關(guān)聯(lián)。如果該變量ni大于圖像數(shù)量n4，則步驟15的后面是周期性重新初始化的步驟16，在該步驟16期間將與當(dāng)前圖像的每個像素相關(guān)聯(lián)的分類值重新初始化成值“好像素”。而且，在步驟16期間，變量和變量npixel(x，y)(其將在下文中關(guān)于圖3a和圖3b進行說明)被重新初始化成值“0”。在步驟16之后的步驟17中，變量ni取值為“0”。步驟17跟著是已經(jīng)說明的步驟10，在此期間，圖像處理模塊52處理新圖像。如果變量ni小于變量n4，則圖像處理模塊52返回至步驟10，以便處理新圖像。

在一個實施方式中，圖像數(shù)量n4取值為25，對應(yīng)于以每秒25個圖像的圖像頻率獲取的一序列圖像的一秒。

圖2示意性地描繪了由圖像處理模塊52使用的、能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程的示例。該圖像處理過程對應(yīng)于步驟11。在步驟110中，用于遍歷當(dāng)前圖像中的像素的變量x和變量y被初始化成值“0”。變量x是像素的水平坐標(biāo)。變量y是像素的垂直坐標(biāo)。

在步驟111中，位于由變量x和y指示的位置處的像素(被稱作pixel(x,y))通過下文中關(guān)于圖3a說明的組合像素處理和有缺陷像素檢測過程進行處理。在該組合像素處理和有缺陷像素檢測過程期間，若需要的話，根據(jù)實現(xiàn)至少一個像素處理過程的至少一個結(jié)果，修改與像素pixel(x,y)相關(guān)聯(lián)的分類值。

在步驟112中，像素分類過程(其在下文中關(guān)于圖3b進行描述)由圖像處理模塊52加以應(yīng)用。該分類過程允許將該分類值確定成與像素pixel(x,y)相關(guān)聯(lián)。

在步驟113中，變量x遞增一個單位。在步驟114中，將變量x與表示當(dāng)前圖像的一行中的像素數(shù)的值l進行比較。如果變量x小于值l，則圖像處理模塊返回至步驟111，以便繼續(xù)處理當(dāng)前圖像。

如果變量x大于或等于值l，則在步驟115期間，將變量x設(shè)置成值“0”，并且將變量y遞增一個單位，以便轉(zhuǎn)到當(dāng)前圖像中的后續(xù)行。在步驟116中，將變量y與表示當(dāng)前圖像的每列的像素數(shù)的值h進行比較。如果變量y大于值h，則對當(dāng)前圖像的處理在步驟117期間結(jié)束。如果變量y小于值h，則對當(dāng)前圖像的處理在步驟111期間繼續(xù)。

圖3a示意性地例示了包括在能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程中的、組合像素處理和有缺陷像素檢測過程的示例。組合像素處理和有缺陷像素檢測過程對應(yīng)于步驟111。該組合像素處理和有缺陷像素過程由像素處理模塊521和有缺陷像素檢測模塊522共同實現(xiàn)。

在步驟1110中，像素處理模塊521獲取像素pixel(x,y)。

在步驟1111中，像素處理模塊521對像素pixel(x,y)應(yīng)用至少一個像素處理過程。例如，像素處理模塊521對像素pixel(x,y)進行濾波，以便衰減或消除當(dāng)前圖像中的任何獲取噪聲(acquisitionnoise)，和/或?qū)ο袼豴ixel(x,y)進行濾波，以便改善當(dāng)前圖像中的對象的輪廓，和/或向像素pixel(x,y)應(yīng)用用于確定像素移動的光流方法。

在步驟1112中，有缺陷像素檢測模塊522分析由像素處理模塊521提供的至少一個結(jié)果，以便檢測非正常結(jié)果。因此，有缺陷像素檢測模塊522不對當(dāng)前圖像執(zhí)行任何新的處理操作，以確定像素是否有缺陷，而是使用由像素處理模塊521實現(xiàn)的處理操作的結(jié)果。這樣，在像素處理模塊521與有缺陷像素檢測模塊522之間產(chǎn)生協(xié)同作用(synergy)。這種協(xié)同作用允許縮減檢測有缺陷像素的計算成本。

一個非正常結(jié)果是，其在處理自然圖像期間不可能獲得的結(jié)果。因此，一個非正常結(jié)果可能表示圖像傳感器的、提供像素pixel(x,y)的感光點的缺陷。

在濾波的情況下，一非正常結(jié)果是在對像素pixel(x,y)進行濾波之后獲取的、與和該像素pixel(x,y)相鄰的像素的濾波值非常不同的濾波值。假設(shè)為在對像素pixel(x,y)進行濾波之后獲取的值。對非正常結(jié)果的檢測例如包括：將值與和該像素pixel(x,y)相鄰的像素的濾波值之差與預(yù)定義的差閾值進行比較。如果該差大于該預(yù)定義閾值時，則其認(rèn)為該值是一個非正常結(jié)果。相鄰像素可以是屬于當(dāng)前圖像中的空間相鄰像素，或者是先前圖像中的、和像素pixel(x,y)處于相同空間位置的時間相鄰像素。

在使用光流法的情況下，非正常結(jié)果包括獲取不移動像素，即，像素pixel(x,y)與指示該像素沒有移動的移動信息相關(guān)聯(lián)。

在一個實施方式中，將像素處理模塊521的多個結(jié)果組合，以便總體上確定像素處理模塊522是否給出了非正常結(jié)果。例如，如果像素pixel(x,y)與指示該像素沒有移動的移動信息相關(guān)聯(lián)，并且該值與和像素pixel(x,y)相鄰的像素的濾波值非常不同，則來自像素處理模塊522的結(jié)果被認(rèn)為是非正常的。

如果沒有檢測到非正常結(jié)果，則組合像素處理和有缺陷像素檢測過程在步驟1116期間結(jié)束，其后是步驟112。該像素接著保持其先前的分類值。

如果在步驟1112期間檢測到保持非正常結(jié)果，則在步驟1113中，有缺陷像素檢測模塊522將與像素pixel(x,y)相關(guān)聯(lián)的變量增加一個單位。該變量用于計數(shù)針對像素pixel(x,y)的非正常結(jié)果的檢測數(shù)量。

在步驟1114中，將該變量與非正常結(jié)果檢測閾值n1進行比較，該非正常結(jié)果檢測閾值表示針對像素的非正常結(jié)果的最大可允許數(shù)量，超出該最大可允許數(shù)量就認(rèn)為該像素有缺陷。通過利用變量和非正常結(jié)果檢測閾值n1，像素檢測模塊522監(jiān)測組合像素處理和有缺陷像素檢測過程的檢測反應(yīng)性。針對像素的非正常結(jié)果的單一檢測不一定意味著該像素有缺陷。這是因為即使當(dāng)前圖像中不存在有缺陷的像素，當(dāng)前圖像也可能提供導(dǎo)致非正常結(jié)果的像素值。另一方面，在對應(yīng)于足夠長時段的多個圖像上檢測針對同一像素的多個非正常結(jié)果，具有已經(jīng)因圖像傳感器510的有缺陷感光點而造成的非常高的概率。例如，圖像傳感器510的、生成系統(tǒng)地導(dǎo)致與多個圖像上的相鄰像素的濾波值非常不同的濾波值的像素的感光點有非常高的機會有缺陷。同樣地，圖像傳感器的、生成在多個圖像上保持不動的像素而與這些像素相鄰的像素具有移動的感光點，可以合理地認(rèn)為是有缺陷的。

如果針對像素pixel(x,y)，變量小于非正常結(jié)果檢測閾值n1，則組合像素處理和有缺陷像素檢測過程在步驟1116期間結(jié)束，其后是步驟112。像素pixel(x,y)保持先前的分類值。

另一方面，如果針對像素pixel(x,y)，變量大于非正常結(jié)果，檢測閾值n1，則在步驟1115期間，表示與像素pixel(x,y)相關(guān)聯(lián)的分類值的變量spixel(x，y)取值為指示像素pixel(x,y)剛剛給出非正常值，并且圖像傳感器510的感光點有缺陷和正在提供有缺陷像素的“第一檢測”。步驟1115跟著是已經(jīng)說明的步驟1116。

在一個實施方式中，非正常結(jié)果檢測閾值n1是針對像素pixel(x,y)的非正常結(jié)果的連續(xù)檢測的最大可接受數(shù)量。

在一個實施方式中，非正常結(jié)果檢測閾值n1取值為“1”，即，如果有缺陷像素檢測模塊522檢測到圖像中的針對像素pixel(x,y)的非正常結(jié)果，則像素pixel(x,y)被宣布為有缺陷。該實施方式具有高反應(yīng)性。

在一個實施方式中，非正常結(jié)果檢測閾值n1取值為“16”，即，如果有缺陷像素檢測模塊522檢測到16個連續(xù)圖像中的針對像素pixel(x,y)的16個非正常結(jié)果，則像素pixel(x,y)被宣布有缺陷。該實施方式允許以低概率的錯誤檢測有缺陷像素。

在一個實施方式中，非正常結(jié)果檢測閾值n1是在與等于一閾值的圖像數(shù)量n2相對應(yīng)的時段期間，針對像素pixel(x,y)的非正常結(jié)果的檢測的最大可接受數(shù)量。例如，非正常結(jié)果檢測閾值n1取值為“16”，而圖像數(shù)量n2取值為“20”，即，如果有缺陷像素檢測模塊522檢測到一組20個連續(xù)圖像中的針對像素pixel(x,y)的16個非正常結(jié)果，則像素pixel(x,y)被宣布有缺陷。

圖3b示意性地描繪了包括在能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程中的像素分類過程的示例。該分類過程由有缺陷像素檢測模塊522實現(xiàn)，并且對應(yīng)于步驟112。該分類過程具有兩個目標(biāo)：首先，其允許更新每個有缺陷像素的分類值；其次，監(jiān)測與圖像傳感器510的、已經(jīng)被檢測為有缺陷的感光點相對應(yīng)的像素有多少次一定繼續(xù)被認(rèn)為有缺陷。事實上，認(rèn)為圖像傳感器510的、已經(jīng)被檢測為有缺陷的感光點具有處于不穩(wěn)定狀態(tài)的高概率。從而，即使沒有發(fā)現(xiàn)針對與圖像傳感器510的這種感光點相對應(yīng)的像素的非正常結(jié)果，在考慮圖像傳感器510的該感光點再次正確起作用之前，也優(yōu)選地等待一定數(shù)量的圖像。因此，只要針對像素pixel(x,y)獲得非非正常結(jié)果，與像素pixel(x,y)相關(guān)聯(lián)的變量spixel(x，y)就不取值“好像素”，而是等待直到針對像素pixel(x,y)獲取非非正常結(jié)果達(dá)與等于閾值n3的連續(xù)圖像的數(shù)量相對應(yīng)的時段為止。在一個實施方式中，n3＝n4。

在步驟1120中，有缺陷像素檢測模塊檢查變量spixel(x，y)的值。如果變量spixel(x，y)等于值“第一檢測”，則步驟1120之后是步驟1125，在該步驟1125期間，變量npixel(x，y)取值為閾值n3。變量npixel(x，y)允許對由像素處理模塊521對像素pixel(x,y)執(zhí)行的處理給出非非正常結(jié)果有多少次進行計數(shù)。

在步驟1126中，有缺陷像素檢測模塊522將與像素pixel(x,y)相關(guān)聯(lián)的分類值spixel(x，y)設(shè)置成值“有缺陷像素”。

步驟1126之后是步驟1127，其結(jié)束像素分類過程，然后是步驟12。

如果變量spixel(x，y)不等于值“第一檢測(firstdetection)”，則步驟1120之后是步驟1121。

在步驟1121期間，有缺陷像素檢測模塊522確定變量spixel(x，y)是否等于值“有缺陷像素”。在步驟1121期間與分類值“有缺陷像素”相關(guān)聯(lián)的像素是針對當(dāng)前圖像已經(jīng)獲取非非正常結(jié)果、但由圖像傳感器510的感光點提供的像素，對于其來說，在被包括在當(dāng)前圖像之前的n3個圖像中的一圖像中已經(jīng)獲取至少一個非正常結(jié)果。如果變量spixel(x，y)不等于值“有缺陷像素”，則步驟1121跟著是已經(jīng)說明的步驟1127，其后是步驟12。

如果變量spixel(x，y)等于值“有缺陷像素”，則步驟1121之后是步驟1122，在該步驟1122期間，變量npixel(x，y)遞減一個單位。

在步驟1123中，將變量npixel(x，y)與值“0”進行比較。如果變量npixel(x，y)值為“0”，則將分類值spixel(x，y)設(shè)定成值“好像素”，指示圖像傳感器510的、提供該像素的感光點被認(rèn)為正確地起作用。步驟1124跟著是步驟1127，其后是步驟12。

如變量npixel(x，y)值為“0”時，則步驟1123之后是步驟1127。

圖4示意性地描繪了用于實現(xiàn)能夠?qū)崿F(xiàn)本發(fā)明的圖像處理過程的結(jié)果合成過程的示例。用于實現(xiàn)圖像處理過程的結(jié)果合成過程對應(yīng)于步驟12。在用于實現(xiàn)圖像處理過程的結(jié)果合成過程期間，有缺陷像素檢測模塊522根據(jù)與在允許獲取所述中間輸出數(shù)據(jù)項的像素處理過程的結(jié)果中涉及的每一個像素相關(guān)聯(lián)的分類值，來確定針對圖像處理模塊52的每個中間輸出數(shù)據(jù)項的可靠性水平。

在步驟120中，有缺陷像素檢測模塊獲取與當(dāng)前圖像的每個像素pixel(x,y)相關(guān)聯(lián)的分類值spixel(x，y)。在步驟121中，被用于遍歷當(dāng)前圖像中的像素的變量x和y被初始化成值“0”。

在步驟122中，圖像處理模塊52的每個中間輸出數(shù)據(jù)項被初始化成等于最大可靠性水平c的可靠性水平。

在步驟123中，有缺陷像素檢測模塊確定像素pixel(x,y)是否與等于值“有缺陷像素”的分類值相關(guān)聯(lián)。如果像素pixel(x,y)與等于值“有缺陷像素”的分類值相關(guān)聯(lián)，則步驟123之后是步驟124。

在步驟124期間，有缺陷像素檢測模塊522遍歷包括從由圖像處理模塊52執(zhí)行的處理獲取的每個中間輸出數(shù)據(jù)項的集合，以便確定每個中間輸出數(shù)據(jù)項的可靠性水平。針對每個中間輸出數(shù)據(jù)項，有缺陷像素檢測模塊522確定該中間輸出數(shù)據(jù)項是否取決于像素pixel(x,y)。如果中間輸出數(shù)據(jù)項取決于像素pixel(x,y)，則與該中間輸出數(shù)據(jù)項相關(guān)聯(lián)的可靠性水平例如通過將其除以2來減小。

在一個實施方式中，中間輸出數(shù)據(jù)項是通過像素處理模塊521的濾波發(fā)出的像素，稱為濾波像素。該經(jīng)濾波像素通常通過將從圖像傳感器發(fā)出的圖像的像素與表示濾波器的卷積核(convolutionkernel)進行卷積而獲取。該卷積核通常是一維或二維的矩陣。該卷積涉及要濾波的像素和要濾波的像素鄰域的像素。如果在涉及濾波的像素當(dāng)中，像素被認(rèn)為是有缺陷的，對應(yīng)中間輸出數(shù)據(jù)項的可靠性水平降低。

在一個實施方式中，當(dāng)中間輸出數(shù)據(jù)項包括被跟隨對象的坐標(biāo)和關(guān)于被跟隨對象的移動信息時，通常通過組合與被跟隨的對象中包含的像素相關(guān)聯(lián)的移動信息來獲取中間輸出數(shù)據(jù)項，所述信息已經(jīng)由像素處理模塊521獲取。在組合的移動信息當(dāng)中，如果至少一項信息與有缺陷像素相關(guān)聯(lián)，則對應(yīng)中間輸出數(shù)據(jù)項的可靠性水平降低。

與低于最大可靠性水平c的可靠性水平相關(guān)聯(lián)的中間輸出數(shù)據(jù)項指示：已經(jīng)將至少一個有缺陷像素用于獲取中間輸出數(shù)據(jù)項。

步驟124和在變量spixel(x，y)不等于值“有缺陷像素”時的步驟123之后是分別與步驟112至步驟116相同的步驟125至步驟129。

用于合成圖像處理過程的執(zhí)行結(jié)果的過程，然后提供皆與通過考慮與有缺陷像素相關(guān)的任何依賴性而調(diào)制的可靠性水平相關(guān)聯(lián)的中間輸出數(shù)據(jù)。接下來在步驟13中使用這些中間輸出數(shù)據(jù)來確定最終輸出數(shù)據(jù)。