本發(fā)明從一種根據(jù)本發(fā)明的、用于探測(cè)環(huán)境傳感器的光學(xué)部件污染的設(shè)備或方法或者用于分類器機(jī)器學(xué)習(xí)的方法以及探測(cè)系統(tǒng)出發(fā)。計(jì)算機(jī)程序也是本發(fā)明的主題。

背景技術(shù)：

由車輛的攝像機(jī)系統(tǒng)檢測(cè)的圖像可能例如受攝像機(jī)透鏡的污染損害。這樣的圖像例如可以借助基于模型的方法來(lái)改善。

技術(shù)實(shí)現(xiàn)要素：

在該背景下，借助在此提出的方案提出根據(jù)本發(fā)明的用于探測(cè)用于檢測(cè)車輛的環(huán)境的環(huán)境傳感器的光學(xué)部件的污染的方法、用于分類器機(jī)器學(xué)習(xí)的方法、使用所述方法的設(shè)備、探測(cè)系統(tǒng)、相應(yīng)的計(jì)算機(jī)程序。通過(guò)以下列舉的措施，能夠?qū)崿F(xiàn)以上提出的設(shè)備的有利的擴(kuò)展方案和改進(jìn)。

在此，提出一種用于探測(cè)環(huán)境傳感器的光學(xué)部件的污染的方法，所述環(huán)境傳感器用于檢測(cè)車輛的環(huán)境，其中，所述方法包括以下步驟：

讀取圖像信號(hào)，所述圖像信號(hào)代表由所述環(huán)境傳感器檢測(cè)的至少一個(gè)圖像的至少一個(gè)圖像區(qū)域；以及

在使用至少一個(gè)機(jī)器學(xué)習(xí)分類器的情況下處理所述圖像信號(hào)，以便在所述圖像區(qū)域中探測(cè)所述污染。

污染一般可以理解為光學(xué)部件的覆蓋或環(huán)境傳感器的包括光學(xué)部件的光學(xué)路徑的損害。覆蓋例如可以通過(guò)污物或水引起。光學(xué)部件例如可以理解為透鏡、玻璃或鏡。環(huán)境傳感器尤其可以是光學(xué)傳感器。車輛可以理解為機(jī)動(dòng)車，如例如客車或載重貨車。圖像區(qū)域可以理解為圖像的部分區(qū)域。分類器可以理解為用于自動(dòng)實(shí)施分類方法的算法。分類器可以通過(guò)機(jī)器學(xué)習(xí)來(lái)訓(xùn)練，例如通過(guò)在車輛之外的受監(jiān)視的學(xué)習(xí)或者通過(guò)在分類器的連續(xù)運(yùn)行期間的在線訓(xùn)練，以便區(qū)分至少兩個(gè)等級(jí)，所述至少兩個(gè)等級(jí)例如可以代表光學(xué)部件的污染的不同污染程度。

在此，所述方案基于如下認(rèn)識(shí)：即在視頻攝像機(jī)的光學(xué)路徑中的污染和類似的現(xiàn)象可以通過(guò)借助機(jī)器學(xué)習(xí)分類器的分類來(lái)探測(cè)。

車輛中的視頻系統(tǒng)可以例如包括攝像機(jī)形式的環(huán)境傳感器，所述攝像機(jī)在車輛上安裝在外部并且因此可以直接經(jīng)受環(huán)境影響。攝像機(jī)的透鏡尤其可以隨著時(shí)間的推移被污染，例如通過(guò)行車道的揚(yáng)起的污物、通過(guò)昆蟲(chóng)、爛泥、雨滴、結(jié)冰、水汽或來(lái)自周圍空氣的灰塵。在車輛內(nèi)部空間中安裝的視頻系統(tǒng)——其例如可以構(gòu)造用于穿過(guò)另外的元件如例如擋風(fēng)玻璃拍攝圖像——可能通過(guò)污染損害其功能。也可以考慮的是攝像機(jī)圖像的通過(guò)光學(xué)路徑損害引起的以剩余覆蓋形式的污染。

借助在此提出的方案現(xiàn)在可能的是，借助機(jī)器學(xué)習(xí)分類器對(duì)攝像機(jī)圖像或攝像機(jī)圖像序列如此分類，使得不僅可以識(shí)別污染，而且此外還可以在攝像機(jī)圖像中精確、快速并且具有比較低運(yùn)算耗費(fèi)地定位所述污染。

根據(jù)一種實(shí)施方式，在所述讀取的步驟中作為所述圖像信號(hào)可以讀取如下信號(hào)：所述信號(hào)代表所述圖像的至少一個(gè)另外的圖像區(qū)域。在所述處理的步驟中處理所述圖像信號(hào)，以便在所述圖像區(qū)域并且附加地或替代地所述另外的圖像區(qū)域中探測(cè)所述污染。另外的圖像區(qū)域例如可以是圖像的在所述圖像區(qū)域之外布置的部分區(qū)域。例如，所述圖像區(qū)域和另外的圖像區(qū)域可以相互相鄰地布置并且基本上具有相同的大小或形狀。根據(jù)實(shí)施方式，圖像可以劃分為兩個(gè)圖像區(qū)域或更多個(gè)圖像區(qū)域。通過(guò)所述實(shí)施方式能夠?qū)崿F(xiàn)圖像信號(hào)的高效的分析處理。

根據(jù)另一實(shí)施方式，在所述讀取的步驟中作為圖像信號(hào)可以讀取如下信號(hào)：所述信號(hào)代表與所述圖像區(qū)域在空間上不同的圖像區(qū)域作為所述另外的圖像區(qū)域。由此能夠?qū)崿F(xiàn)在圖像中污染的定位。

有利的是，在所述讀取的步驟中作為所述圖像信號(hào)讀取如下信號(hào)：所述信號(hào)代表與所述圖像區(qū)域在檢測(cè)時(shí)刻方面不同的圖像區(qū)域作為所述另外的圖像區(qū)域。在此，在所述比較的步驟中可以在使用所述圖像信號(hào)的情況下相互比較所述圖像區(qū)域與所述另外的圖像區(qū)域，以便求取在所述圖像區(qū)域的特征與所述另外的圖像區(qū)域的特征之間的特征偏差。相應(yīng)地，可以在所述處理的步驟中根據(jù)所述特征偏差探測(cè)所述圖像信號(hào)。特征可以是圖像區(qū)域的或另外的圖像區(qū)域的確定的像素區(qū)域。特征偏差可以代表例如污染。通過(guò)該實(shí)施方式例如能夠?qū)崿F(xiàn)在圖像中污染的像素精確的定位。

此外，所述方法可以具有在使用所述圖像信號(hào)的情況下形成由所述圖像區(qū)域和所述另外的圖像區(qū)域組成的網(wǎng)格的步驟。在此，在所述處理的步驟中可以處理所述圖像信號(hào)，以便在所述網(wǎng)格內(nèi)探測(cè)所述污染。網(wǎng)格尤其可以是由多個(gè)作為圖像區(qū)域的矩形或方形組成的、規(guī)則的網(wǎng)格。通過(guò)該實(shí)施方式也可以提高在污染定位中的效率。

根據(jù)另一實(shí)施方式，可以在所述處理的步驟中處理所述圖像信號(hào)，以便在使用用于區(qū)分代表環(huán)境照明的不同的照明狀況的至少一個(gè)照明分類器的情況下探測(cè)污染。照明分類器可以類似于分類器那樣理解為通過(guò)機(jī)器學(xué)習(xí)來(lái)匹配的算法。照明狀況可以理解為通過(guò)確定的圖像參數(shù)——如例如亮度值或?qū)Ρ戎当碚鞯臓顩r。例如，照明分類器可以構(gòu)造用于區(qū)分白天與夜晚。通過(guò)該實(shí)施方式能夠根據(jù)環(huán)境的照明實(shí)現(xiàn)污染的探測(cè)。

此外，所述方法可以包括根據(jù)下述實(shí)施方式的分類器機(jī)器學(xué)習(xí)的步驟。在此，在所述處理的步驟中可以處理所述圖像信號(hào)，以便通過(guò)將所述圖像區(qū)域分配給第一污染等級(jí)或第二污染等級(jí)來(lái)探測(cè)污染。機(jī)器學(xué)習(xí)的步驟可以在車輛內(nèi)、尤其在車輛連續(xù)運(yùn)行期間執(zhí)行。由此可以快速并且精確地探測(cè)污染。

在此描述的方案還實(shí)現(xiàn)一種用于分類器機(jī)器學(xué)習(xí)的方法，所述分類器用于在根據(jù)上述實(shí)施方式之一的方法中的應(yīng)用，其中，所述方法包括以下步驟：

讀取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)代表至少由所述環(huán)境傳感器檢測(cè)的圖像數(shù)據(jù)、可能但附加地由車輛的至少一個(gè)另外的傳感器檢測(cè)的傳感器數(shù)據(jù)；以及

在使用所述訓(xùn)練數(shù)據(jù)的情況下訓(xùn)練所述分類器，以便區(qū)分至少一個(gè)第一污染等級(jí)與至少一個(gè)第二污染等級(jí)，其中，第一污染等級(jí)和第二污染等級(jí)代表不同的污染程度和/或不同的污染種類和/或不同的污染效果。

圖像數(shù)據(jù)可以是例如圖像或圖像序列，其中，所述圖像或所述圖像序列可能在光學(xué)部件的受污染的狀態(tài)中被拍攝。在此，可以標(biāo)出具有相應(yīng)污染的圖像區(qū)域。另外的傳感器例如可以是車輛的加速度傳感器或轉(zhuǎn)向角傳感器。相應(yīng)地，傳感器數(shù)據(jù)可以是加速度值或轉(zhuǎn)向角值。所述方法可以或者在車輛之外或者作為根據(jù)上述實(shí)施方式之一的方法的步驟在車輛內(nèi)實(shí)施。

訓(xùn)練數(shù)據(jù)——也稱作訓(xùn)練數(shù)據(jù)組——在任何情況下包含圖像數(shù)據(jù)，因?yàn)樯院蟮姆诸愐仓饕趫D像數(shù)據(jù)。對(duì)于圖像數(shù)據(jù)附加地，可能還可以利用另外的傳感器的數(shù)據(jù)。

這些方法例如可以在軟件或硬件中或者在由軟件和硬件組成的混合形式中例如在控制裝置中實(shí)現(xiàn)。

在此提出的方案還實(shí)現(xiàn)一種設(shè)備，所述設(shè)備構(gòu)造用于在相應(yīng)的裝置中實(shí)施、控制或者實(shí)現(xiàn)在此提出的方法的變型方案的步驟。通過(guò)本發(fā)明的以設(shè)備形式的實(shí)施變型方案可以快速和高效地解決本發(fā)明所基于的任務(wù)。

此外，設(shè)備可以具有用于處理信號(hào)或數(shù)據(jù)的至少一個(gè)運(yùn)算單元、用于存儲(chǔ)信號(hào)或數(shù)據(jù)的至少一個(gè)存儲(chǔ)單元，到傳感器或執(zhí)行器的用于由傳感器讀取傳感器信號(hào)或用于輸出數(shù)據(jù)信號(hào)或控制信號(hào)給執(zhí)行器的至少一個(gè)接口和/或用于讀取或輸出數(shù)據(jù)的至少一個(gè)通信接口，它們嵌入到通信協(xié)議中。運(yùn)算單元可以是例如信號(hào)處理器、微控制器或諸如此類，其中，存儲(chǔ)單元可以是閃存存儲(chǔ)器、eprom或磁存儲(chǔ)單元。通信接口可以構(gòu)造用于無(wú)線和/或有線讀取或輸出數(shù)據(jù)，其中，可以讀取或輸出有線數(shù)據(jù)的通信接口可以將這些數(shù)據(jù)例如電地或光學(xué)地從相應(yīng)數(shù)據(jù)傳輸線路讀取或輸出到相應(yīng)數(shù)據(jù)傳輸線路中。

設(shè)備在此可以理解為處理傳感器信號(hào)并且據(jù)此輸出控制信號(hào)和/或數(shù)據(jù)信號(hào)的電設(shè)備。所述設(shè)備可以具有按硬件方式和/或按軟件方式構(gòu)造的接口。在按硬件方式的構(gòu)造中，接口例如可以是所謂的系統(tǒng)asic的包括所述設(shè)備的最不同功能的一部分。然而，也可能的是，接口是單獨(dú)的集成電路或至少部分地由分立部件組成。在按軟件方式的構(gòu)造中，接口可以是軟件模塊，其例如與其他軟件模塊共存在微控制器上。

在一個(gè)有利的構(gòu)型中通過(guò)所述設(shè)備實(shí)現(xiàn)車輛的駕駛員輔助系統(tǒng)的控制。為此，設(shè)備例如可以訪問(wèn)傳感器信號(hào)，如環(huán)境傳感器信號(hào)、加速度傳感器信號(hào)或轉(zhuǎn)向角傳感器信號(hào)。所述控制通過(guò)執(zhí)行器——例如車輛的轉(zhuǎn)向執(zhí)行器或制動(dòng)執(zhí)行器或電機(jī)控制裝置實(shí)現(xiàn)。

此外，在此所述方案實(shí)現(xiàn)一種具有以下特征的探測(cè)系統(tǒng)：

用于產(chǎn)生圖像信號(hào)的環(huán)境傳感器；和

根據(jù)上述實(shí)施方式的設(shè)備。

具有程序代碼的計(jì)算機(jī)程序產(chǎn)品或者計(jì)算機(jī)程序也是有利的，所述程序代碼可以存儲(chǔ)在機(jī)器可讀的載體或者存儲(chǔ)介質(zhì)，如半導(dǎo)體存儲(chǔ)器、硬盤存儲(chǔ)器或光學(xué)存儲(chǔ)器上并且尤其用于當(dāng)在計(jì)算機(jī)或者設(shè)備上執(zhí)行程序產(chǎn)品或者程序時(shí)實(shí)施、實(shí)現(xiàn)和/或控制根據(jù)先前描述的實(shí)施方式之一的方法的步驟。

附圖說(shuō)明

本發(fā)明的實(shí)施例在附圖中示出并且在以下說(shuō)明中進(jìn)一步闡明。附圖示出：

圖1：具有根據(jù)一個(gè)實(shí)施例的探測(cè)系統(tǒng)的車輛的示意圖；

圖2：用于通過(guò)根據(jù)一個(gè)實(shí)施例的設(shè)備進(jìn)行分析處理的圖像的示意圖；

圖3：圖2中的圖像的示意圖；

圖4：用于通過(guò)根據(jù)一個(gè)實(shí)施例的設(shè)備進(jìn)行分析處理的圖像的示意圖；

圖5：根據(jù)一個(gè)實(shí)施例的設(shè)備的示意圖；

圖6：根據(jù)一個(gè)實(shí)施例的方法的流程圖；

圖7：根據(jù)一個(gè)實(shí)施例的方法的流程圖；

圖8：根據(jù)一個(gè)實(shí)施例的方法的流程圖；以及

圖9：根據(jù)一個(gè)實(shí)施例的方法的流程圖。

在本發(fā)明的有利實(shí)施例的以下描述中，對(duì)于在不同附圖中示出的并且起相似作用的元素使用相同的或相似的附圖標(biāo)記，其中，省去對(duì)這些元素的重復(fù)描述。

具體實(shí)施方式

圖1示出具有根據(jù)一個(gè)實(shí)施例的探測(cè)系統(tǒng)102的車輛100的示意圖。探測(cè)系統(tǒng)102包括環(huán)境傳感器104——在此為攝像機(jī)——以及連接到環(huán)境傳感器上的設(shè)備106。環(huán)境傳感器104構(gòu)造用于檢測(cè)車輛100的環(huán)境并且發(fā)送代表環(huán)境的圖像信號(hào)108給設(shè)備106。圖像信號(hào)108在此代表環(huán)境的通過(guò)環(huán)境傳感器104檢測(cè)的圖像的至少一個(gè)部分區(qū)域。設(shè)備106構(gòu)造用于在使用圖像信號(hào)108和至少一個(gè)機(jī)器學(xué)習(xí)分類器的情況下探測(cè)環(huán)境傳感器104的光學(xué)部件112的污染110。在此，設(shè)備106使用分類器，以便在污染110方面分析處理通過(guò)圖像信號(hào)108代表的部分區(qū)域。為了更好的可識(shí)別性，在車輛100旁再次放大地示出光學(xué)部件112，在此示例性地為透鏡，其中，污染110通過(guò)陰影區(qū)標(biāo)出。

根據(jù)一個(gè)實(shí)施例，設(shè)備106構(gòu)造用于在探測(cè)到污染110的情況下產(chǎn)生探測(cè)信號(hào)114并且將該探測(cè)信號(hào)輸出給至車輛100的控制裝置116的接口。控制裝置116可以構(gòu)造用于在使用探測(cè)信號(hào)114的情況下控制車輛100。

圖2示出用于通過(guò)根據(jù)一個(gè)實(shí)施例的設(shè)備106——例如通過(guò)如之前根據(jù)圖1描述的設(shè)備進(jìn)行分析處理的圖像200、202、204、206的示意圖。這四個(gè)圖像可以例如包含在圖像信號(hào)中。示出在環(huán)境傳感器——在此為四攝像機(jī)系統(tǒng)——的不同透鏡上的受污染的區(qū)域，所述四攝像機(jī)系統(tǒng)可以沿四個(gè)方向——向前、向后、向左和向右——檢測(cè)車輛環(huán)境。污染110的區(qū)域分別用陰影示出。

圖3示出圖2中的圖像200、202、204、206的示意圖。與圖2不同，根據(jù)圖3的這四個(gè)圖像分別劃分為一個(gè)圖像區(qū)域300和多個(gè)另外的圖像區(qū)域302。根據(jù)該實(shí)施例，圖像區(qū)域300、302方形地并且在一個(gè)規(guī)則的網(wǎng)格中相互相鄰地布置。永久地由車輛自身的組件遮蓋并且因此沒(méi)有被包括到分析處理中的圖像區(qū)域分別通過(guò)十字形標(biāo)記。在此，所述設(shè)備構(gòu)造用于如此處理代表圖像200、202、204、206的圖像信號(hào)，使得在圖像區(qū)域300、302的至少一個(gè)中探測(cè)污染110。

例如值0在圖像區(qū)域中相應(yīng)于所識(shí)別的清晰視野，不等于0的值相應(yīng)于所識(shí)別的污染。

圖4示出用于通過(guò)根據(jù)一個(gè)實(shí)施例的設(shè)備進(jìn)行分析處理的圖像400的示意圖。圖像400示出污染110。還可以看出逐塊地確定的概率值402，所述概率值用于通過(guò)設(shè)備在使用視盲原因類別(blindheits-ursachenkategorie)模糊的情況下進(jìn)行分析處理。概率值402可以分別分配給圖像400的一個(gè)圖像區(qū)域。

圖5示出根據(jù)一個(gè)實(shí)施例的設(shè)備106的示意圖。設(shè)備106例如是之前根據(jù)圖1至4描述的設(shè)備。

設(shè)備106包括讀取單元510，讀取單元構(gòu)造用于通過(guò)至環(huán)境傳感器的接口讀取圖像信號(hào)108并且將該圖像信號(hào)轉(zhuǎn)發(fā)給處理單元520。圖像信號(hào)108代表由環(huán)境傳感器檢測(cè)的圖像的一個(gè)或多個(gè)圖像區(qū)域，例如如在之前根據(jù)圖2至4描述的圖像區(qū)域。處理單元520構(gòu)造用于在使用機(jī)器學(xué)習(xí)分類器的情況下處理圖像信號(hào)108并且因此在所述圖像區(qū)域的至少一個(gè)中探測(cè)環(huán)境傳感器的光學(xué)部件的污染。

如已經(jīng)根據(jù)圖3描述的那樣，圖像區(qū)域在此可以由處理單元520在空間上相互分離地布置在網(wǎng)格中。例如通過(guò)以下方式實(shí)現(xiàn)污染的探測(cè)：即分類器將圖像區(qū)域分配給不同的污染等級(jí)，不同的污染等級(jí)分別代表污染的污染程度。

根據(jù)一個(gè)實(shí)施例，圖像信號(hào)108的通過(guò)處理單元520的處理還在使用光學(xué)照明分類器的情況下實(shí)現(xiàn)，所述光學(xué)照明分類器構(gòu)造用于區(qū)分不同的照明狀況。因此例如可能的是，借助照明分類器根據(jù)亮度在檢測(cè)環(huán)境時(shí)通過(guò)環(huán)境傳感器探測(cè)污染。

根據(jù)一個(gè)可選的實(shí)施例，處理單元520構(gòu)造用于響應(yīng)于探測(cè)地輸出探測(cè)信號(hào)114給至車輛控制裝置的接口。

根據(jù)另一實(shí)施例，設(shè)備106包括學(xué)習(xí)單元530，學(xué)習(xí)單元構(gòu)造用于通過(guò)讀取單元108讀取訓(xùn)練數(shù)據(jù)535——訓(xùn)練數(shù)據(jù)根據(jù)實(shí)施例包括由環(huán)境傳感器提供的圖像數(shù)據(jù)或者由車輛的至少一個(gè)另外的傳感器提供的傳感器數(shù)據(jù)——并且通過(guò)在使用訓(xùn)練數(shù)據(jù)535的情況下機(jī)器學(xué)習(xí)來(lái)匹配分類器，從而分類器能夠區(qū)分至少兩個(gè)不同的污染等級(jí)，其例如代表污染程度、污染種類或污染效果。分類器的通過(guò)學(xué)習(xí)單元530的機(jī)器學(xué)習(xí)例如連續(xù)地實(shí)現(xiàn)。學(xué)習(xí)單元530還構(gòu)造用于將代表分類器的分類器數(shù)據(jù)540發(fā)送給處理單元520，其中，處理單元520使用分類器數(shù)據(jù)540，以便通過(guò)使用分類器來(lái)在污染方面分析處理圖像信號(hào)108。

圖6示出根據(jù)一個(gè)實(shí)施例的方法600的流程圖?？梢岳缗c之前根據(jù)圖1至5描述的設(shè)備相關(guān)聯(lián)地實(shí)施或控制用于探測(cè)環(huán)境傳感器的光學(xué)部件的污染的方法600。方法600包括步驟610，在該步驟中，通過(guò)至環(huán)境傳感器的接口讀取圖像信號(hào)。在另一步驟620中在使用分類器的情況下處理圖像信號(hào)，以便在通過(guò)圖像信號(hào)代表的至少一個(gè)圖像區(qū)域中探測(cè)污染。

步驟610、620可以連續(xù)地執(zhí)行。

圖7示出根據(jù)一個(gè)實(shí)施例的方法700的流程圖。用于分類器——例如之前根據(jù)圖1至6之一描述的分類器——機(jī)器學(xué)習(xí)的方法700包括步驟710，在該步驟中，讀取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)基于車輛的環(huán)境傳感器的圖像數(shù)據(jù)或另外的傳感器的傳感器數(shù)據(jù)。例如，訓(xùn)練數(shù)據(jù)可以包含用于在圖像數(shù)據(jù)中標(biāo)記光學(xué)部件的受污染的區(qū)域的標(biāo)記。在另一步驟720中在使用訓(xùn)練數(shù)據(jù)的情況下訓(xùn)練分類器。作為所述訓(xùn)練的結(jié)果，分類器能夠區(qū)分至少兩個(gè)污染等級(jí)，它們根據(jù)實(shí)施方式代表不同的污染程度、種類或效果。

方法700尤其可以在車輛之外實(shí)施。方法600、700可以相互獨(dú)立地實(shí)施。

圖8示出根據(jù)一個(gè)實(shí)施例的方法800的流程圖。方法800可以例如是上述根據(jù)圖6描述的方法的一部分。示出借助方法800的污染識(shí)別的一般情況。在此，在步驟810中讀取由環(huán)境傳感器提供的視頻流。在另一步驟820中，實(shí)現(xiàn)視頻流的時(shí)間空間分區(qū)。在空間分區(qū)中將通過(guò)視頻流代表的圖像流劃分為圖像區(qū)，所述圖像區(qū)根據(jù)實(shí)施例是不相交或相交的。

在另一步驟830中，實(shí)現(xiàn)在使用圖像區(qū)和分類器的情況下時(shí)間-空間局部的分類。根據(jù)分類的結(jié)果，在步驟840中實(shí)現(xiàn)功能特定的視盲評(píng)價(jià)。在步驟850中，根據(jù)分類的結(jié)果輸出相應(yīng)的污染消息。

圖9示出根據(jù)一個(gè)實(shí)施例的方法900的流程圖。方法900可以是之前根據(jù)圖6描述的方法的一部分。在此，在步驟910中讀取由環(huán)境傳感器提供的視頻流。在步驟920中，實(shí)現(xiàn)在使用視頻流的情況下空間-時(shí)間的特征計(jì)算。在可選的步驟925中，可以由在步驟920中計(jì)算的直接特征計(jì)算間接特征。在另一步驟930中，實(shí)現(xiàn)在使用視頻流和分類器的情況下進(jìn)行分類。在步驟940中實(shí)現(xiàn)累加。最后在步驟950中，實(shí)現(xiàn)根據(jù)累加進(jìn)行關(guān)于環(huán)境傳感器的光學(xué)部件的污染的結(jié)果輸出。

以下再次更詳細(xì)地闡明本發(fā)明的不同實(shí)施例。

在安裝在車輛上或中的攝像機(jī)系統(tǒng)中應(yīng)識(shí)別和定位透鏡的污染。在基于攝像機(jī)的駕駛員輔助系統(tǒng)中例如應(yīng)發(fā)送關(guān)于攝像機(jī)的污染狀態(tài)的信息給其他功能，所述其他功能可以接著匹配其行為。因此，例如自動(dòng)停車功能可以決定是否對(duì)于其可用的圖像數(shù)據(jù)或由圖像導(dǎo)出的數(shù)據(jù)借助足夠清潔的透鏡拍攝的。由此可以例如推斷這樣的功能，即所述功能僅僅受限地可用或者完全不可用。

在此提出的方案現(xiàn)在由多個(gè)步驟的結(jié)合組成，這些步驟根據(jù)實(shí)施例可以部分地在安裝在車輛中的攝像機(jī)系統(tǒng)之外、部分地其之外執(zhí)行。

為此，方法學(xué)習(xí)：來(lái)自受污染的攝像機(jī)的圖像序列通?？雌饋?lái)如何并且來(lái)自不受污染的攝像機(jī)的圖像序列看起來(lái)如何。這些信息由在車輛中實(shí)現(xiàn)的另外的算法——也稱為分類器——使用，以便將新的圖像序列在連續(xù)運(yùn)行中分類為受污染的或不受污染的。

不假定固定的、物理上激勵(lì)的模型。取而代之地由存在的數(shù)據(jù)學(xué)習(xí)：如何可以區(qū)分清潔的視野范圍與受污染的視野范圍。在此可能的是，在車輛之外僅僅一次執(zhí)行學(xué)習(xí)過(guò)程，例如離線地通過(guò)受監(jiān)視的學(xué)習(xí)，或者在連續(xù)運(yùn)行中、也即在線地匹配分類器。這兩個(gè)學(xué)習(xí)過(guò)程也可以相互組合。

分類優(yōu)選可以非常高效地建模和實(shí)現(xiàn)，從而分類適合于到嵌入式車輛系統(tǒng)中的應(yīng)用。與此不同，在離線訓(xùn)練時(shí)運(yùn)行時(shí)間耗費(fèi)和存儲(chǔ)耗費(fèi)不重要。

可以為此在整體上考慮或者針對(duì)適合的特征事先減少圖像數(shù)據(jù)，以便例如減少用于分類的運(yùn)算耗費(fèi)。此外可能的是，不僅使用兩個(gè)等級(jí)如例如受污染與不受污染，而是也進(jìn)行在污染類別，如清晰視野、水、污泥或冰或效果類別，如清晰視野、模糊、不清晰、太受干擾方面進(jìn)行更準(zhǔn)確的區(qū)分。此外，圖像可以在開(kāi)始時(shí)在空間上劃分為各部分區(qū)域，所述各部分區(qū)域相互分離地被處理。這能夠?qū)崿F(xiàn)污染的定位。

記錄圖像數(shù)據(jù)和車輛傳感器的其他數(shù)據(jù)——如例如車輛速度和車輛的其他狀態(tài)變量并且在所記錄的數(shù)據(jù)中標(biāo)出——也稱為加標(biāo)簽——受污染的區(qū)域。將如此標(biāo)出的訓(xùn)練數(shù)據(jù)用于訓(xùn)練分類器以便區(qū)分受污染的與不受污染的圖像區(qū)域。該步驟例如離線、亦即在車輛之外發(fā)生并且例如僅僅當(dāng)訓(xùn)練數(shù)據(jù)上的一些東西改變的時(shí)候才重復(fù)。在所交付的產(chǎn)品的運(yùn)行期間不執(zhí)行該步驟。然而也可以考慮，分類器在系統(tǒng)的連續(xù)運(yùn)行中改變，從而系統(tǒng)連續(xù)補(bǔ)充學(xué)習(xí)。這也稱為在線訓(xùn)練。

在車輛中，將該學(xué)習(xí)步驟的結(jié)果用于對(duì)在連續(xù)運(yùn)行中拍攝的圖像數(shù)據(jù)進(jìn)行分類。在此將數(shù)據(jù)劃分為不一定不相交的區(qū)域。這些圖像區(qū)域單個(gè)地或按組地分類。該劃分可以例如定向在規(guī)則的網(wǎng)格上。通過(guò)劃分可以實(shí)現(xiàn)在圖像中污染的定位。

在一個(gè)實(shí)施例——在該實(shí)施例中實(shí)現(xiàn)在車輛的連續(xù)運(yùn)行期間的學(xué)習(xí)——中可以取消離線訓(xùn)練的步驟。分類的學(xué)習(xí)那么在車輛中發(fā)生。

此外，問(wèn)題也可以通過(guò)不同照明狀況生成。這些問(wèn)題可以通過(guò)不同方式解決，例如通過(guò)在訓(xùn)練步驟中照明的學(xué)習(xí)。另一種可能性在于，學(xué)習(xí)對(duì)于不同照明狀況的不同分類器，尤其對(duì)于白天與黑夜。在不同分類器之間的轉(zhuǎn)換例如借助亮度值作為系統(tǒng)的輸入?yún)⒘縼?lái)實(shí)現(xiàn)。亮度值例如可以通過(guò)連接到系統(tǒng)上的攝像機(jī)來(lái)求取。替代地，亮度可以作為特征直接包括到分類中。

根據(jù)另一實(shí)施例，對(duì)于一個(gè)圖像區(qū)域在時(shí)刻t1求取并存儲(chǔ)特征m1。在時(shí)刻t2＞t1，根據(jù)車輛運(yùn)動(dòng)來(lái)轉(zhuǎn)換圖像區(qū)域，其中，重新計(jì)算在經(jīng)轉(zhuǎn)換的區(qū)域上的特征m2。遮擋(okklusion)將導(dǎo)致特征的顯著變化并且因此可以被識(shí)別。也可以學(xué)習(xí)新的特征作為用于分類器的特征，所述新的特征由特征m1、m2計(jì)算。

根據(jù)一個(gè)實(shí)施例，特征

根據(jù)tk輸入值在點(diǎn)i＝nxn上在圖像區(qū)域ω中計(jì)算。輸入值在此是圖像序列、由其導(dǎo)出的時(shí)間和空間信息以及總系統(tǒng)提供給車輛的另外的信息。尤其也包括來(lái)自相鄰關(guān)系n：i→p(i)——其中，p(i)表示i的冪集——的非局部的信息用于計(jì)算特征的子集。這些非局部的信息在i∈i時(shí)由初級(jí)輸入值以及由f^j,j∈n(i)組成。

現(xiàn)在應(yīng)該是：

圖像點(diǎn)i劃分為nt個(gè)圖像區(qū)域ti(在此：瓷磚(kacheln))。

是在圖像點(diǎn)i中的每一個(gè)上的分類。在此，yi(f)＝0表示分類為清潔，而yi(f)＝1表示分類為被遮蓋的。給一個(gè)瓷磚配屬一個(gè)覆蓋估計(jì)。該覆蓋估計(jì)計(jì)算為

其中，瓷磚上的模為|tj|。例如可以設(shè)置|tj|＝1。例如根據(jù)系統(tǒng)適用k＝3。

如果一個(gè)實(shí)施例包括第一特征與第二特征之間的“和/或”關(guān)系，則這可以解讀如下：所述實(shí)施例根據(jù)一種實(shí)施方式不僅具有第一特征，而且具有第二特征；并且根據(jù)另一種實(shí)施方式或者僅僅具有第一特征，或者僅僅具有第二特征。