本申請(qǐng)案是2015年2月11日申請(qǐng)的標(biāo)題為“環(huán)境場(chǎng)景條件檢測(cè)(ENVIRONMENTAL SCENE CONDITION DETECTION)”的美國(guó)專利申請(qǐng)案第14/619,354號(hào)的部分繼續(xù)申請(qǐng)，且主張2014年5月20日申請(qǐng)的標(biāo)題為“自動(dòng)渾濁場(chǎng)景檢測(cè)和使用來(lái)自多個(gè)模態(tài)的信息進(jìn)行的去濁(AUTOMATIC HAZY SCENE DETECTION AND DE-HAZING USING INFORMATION FROM MULTIPLE MODALITIES)”的美國(guó)臨時(shí)專利申請(qǐng)第62/000,856號(hào)的優(yōu)先權(quán)，所述美國(guó)專利申請(qǐng)案和美國(guó)臨時(shí)專利申請(qǐng)全部轉(zhuǎn)讓給本受讓人且特此以引用的方式明確并入本文中。

技術(shù)領(lǐng)域

本發(fā)明大體上涉及電子裝置。更具體來(lái)說(shuō)，本發(fā)明涉及用于渾濁性檢測(cè)的系統(tǒng)和方法。

背景技術(shù)：

在最近幾十年中，電子裝置的使用已變得越來(lái)越普遍。特定來(lái)說(shuō)，電子技術(shù)中的進(jìn)步已減少了越來(lái)越復(fù)雜且有用的電子裝置的成本。成本降低和消費(fèi)者需求已使電子裝置的使用劇增，使得其在現(xiàn)代社會(huì)中幾乎隨處可見(jiàn)。由于電子裝置的使用已推廣開(kāi)來(lái)，因此具有對(duì)電子裝置的新的且改進(jìn)的特征的需求。更具體來(lái)說(shuō)，人們常常尋求執(zhí)行新功能和/或更快、更有效或以更高質(zhì)量執(zhí)行功能的電子裝置。

一些電子裝置(例如攝像機(jī)、視頻攝錄影機(jī)、數(shù)碼攝像機(jī)、蜂窩式電話、智能電話、計(jì)算機(jī)、電視、汽車、個(gè)人攝像機(jī)、動(dòng)作攝像機(jī)、監(jiān)控?cái)z像機(jī)、安裝的攝像機(jī)、連接的攝像機(jī)、機(jī)器人、遙控飛機(jī)、智能應(yīng)用程序、醫(yī)療保健設(shè)備、機(jī)頂盒等)捕獲和/或使用圖像。舉例來(lái)說(shuō)，數(shù)碼攝像機(jī)可以捕獲數(shù)字圖像。

在一些情況下，所捕獲的圖像可遭受降級(jí)的質(zhì)量。舉例來(lái)說(shuō)，包含大氣效應(yīng)(例如霾和眩光)的環(huán)境場(chǎng)景條件可降低圖像質(zhì)量。如可從此論述觀察到，改進(jìn)圖像使用率的系統(tǒng)和方法可為有益的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明描述一種通過(guò)電子裝置執(zhí)行的方法。所述方法包含基于多個(gè)模態(tài)確定渾濁性置信度水平。所述方法還包含基于所述渾濁性置信度水平確定是否執(zhí)行動(dòng)作。所述模態(tài)可提供圖像模態(tài)信息以及位置模態(tài)信息、方向模態(tài)信息、一天中的時(shí)間模態(tài)信息、當(dāng)?shù)靥鞖鈭?bào)告模態(tài)信息、遠(yuǎn)程裝置圖像模態(tài)信息、室內(nèi)/室外指示符、用戶超控指示符和/或溫度模態(tài)信息。

所述方法可包含執(zhí)行所述動(dòng)作。執(zhí)行所述動(dòng)作可包含基于所述渾濁性置信度水平執(zhí)行渾濁性降低。執(zhí)行渾濁性降低可包含調(diào)整自動(dòng)白平衡、自動(dòng)聚焦、自動(dòng)曝光、顏色、銳度以及局部色調(diào)映射曲線。執(zhí)行所述動(dòng)作可包含執(zhí)行至少一個(gè)非圖像處理動(dòng)作。

確定所述渾濁性置信度水平可基于兩階段分類。所述兩階段分類可包含基于攝像機(jī)輸入信號(hào)執(zhí)行第一特征提取以產(chǎn)生第一組的一或多個(gè)所提取的特征，基于所述第一組所提取的特征和所述模態(tài)中的一或多者執(zhí)行第一分類，以及確定所述第一分類指示檢測(cè)到渾濁性。所述兩階段分類還可包含基于所述攝像機(jī)輸入信號(hào)和所述模態(tài)中的一或多者執(zhí)行第二特征提取以產(chǎn)生第二組的一或多個(gè)所提取的特征，以及基于所述第二組所提取的特征和所述模態(tài)中的一或多者執(zhí)行第二分類。

所述第一組所提取的特征可包含暗通道特征、強(qiáng)度梯度特征和/或模糊/銳度特征。所述第二組所提取的特征可包含暗通道特征、梯度量值特征、梯度相位特征和/或梯度空間信息特征。

可通過(guò)檢測(cè)器獲得所述渾濁性置信度水平。所述檢測(cè)器可基于所述模態(tài)中的一或多者獲得所述渾濁性置信度水平。

可通過(guò)多個(gè)檢測(cè)器獲得所述渾濁性置信度水平。每一檢測(cè)器可基于所述模態(tài)中的一或多者獲得模態(tài)渾濁性置信度水平。所述模態(tài)渾濁性置信度水平可經(jīng)組合以形成所述渾濁性置信度水平。

還描述一種電子裝置。所述電子裝置包含：處理器，其經(jīng)配置以基于多個(gè)模態(tài)確定渾濁性置信度水平且基于所述渾濁性置信度水平確定是否執(zhí)行動(dòng)作。

亦描述一種設(shè)備。所述設(shè)備包含用于基于多個(gè)模態(tài)確定渾濁性置信度水平的裝置。所述設(shè)備還包含用于基于所述渾濁性置信度水平確定是否執(zhí)行動(dòng)作的裝置。

亦描述一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包含具有指令的非暫時(shí)性計(jì)算機(jī)可讀媒體。所述指令包含用于致使電子裝置基于多個(gè)模態(tài)確定渾濁性置信度水平的代碼。所述指令還包含用于致使所述電子裝置基于所述渾濁性置信度水平確定是否執(zhí)行動(dòng)作的代碼。

附圖說(shuō)明

圖1是說(shuō)明其中可實(shí)施用于基于多個(gè)模態(tài)進(jìn)行渾濁性檢測(cè)的系統(tǒng)和方法的電子裝置的一個(gè)實(shí)例的框圖；

圖2是說(shuō)明其中可實(shí)施用于渾濁性檢測(cè)和/或渾濁性降低的系統(tǒng)和方法的電子裝置的一個(gè)配置的實(shí)例的框圖；

圖3是說(shuō)明其中可實(shí)施用于渾濁性檢測(cè)和/或渾濁性降低的系統(tǒng)和方法的電子裝置的配置的另一實(shí)例的框圖；

圖4是渾濁性檢測(cè)器的一個(gè)配置的實(shí)例的框圖；

圖5是說(shuō)明用于基于多個(gè)模態(tài)進(jìn)行渾濁性檢測(cè)的方法的一個(gè)配置的流程圖；

圖6是說(shuō)明用于基于多個(gè)模態(tài)進(jìn)行渾濁性檢測(cè)的方法的更具體配置的流程圖；

圖7是說(shuō)明渾濁性檢測(cè)器的配置的另一實(shí)例的框圖；

圖8是說(shuō)明并行地操作的多個(gè)渾濁性檢測(cè)器的配置的實(shí)例的框圖；

圖9是說(shuō)明圖像信號(hào)處理器的一個(gè)配置的一個(gè)實(shí)例的框圖；

圖10包含說(shuō)明局部色調(diào)映射(LTM)函數(shù)的各個(gè)方面的數(shù)個(gè)圖表；

圖11是說(shuō)明渾濁性降低決策的圖表。特定來(lái)說(shuō)，所述圖表說(shuō)明隨時(shí)間的渾濁性置信度水平；

圖12A是空氣污染指數(shù)地圖的實(shí)例。

圖12B是說(shuō)明基于一種類別的模態(tài)信息(空氣污染指數(shù))執(zhí)行渾濁性檢測(cè)的方法的圖式；

圖13說(shuō)明根據(jù)本文中所揭示的系統(tǒng)和方法的在渾濁性降低之前和在渾濁性降低之后的圖像的實(shí)例；和

圖14說(shuō)明可包含在經(jīng)配置以實(shí)施本文中所揭示的系統(tǒng)和方法的各種配置的電子裝置內(nèi)的特定組件。

具體實(shí)施方式

本文中所揭示的系統(tǒng)和方法的一些配置可涉及使用來(lái)自多個(gè)模態(tài)的信息進(jìn)行的渾濁性檢測(cè)和渾濁性降低。如本文中所使用，術(shù)語(yǔ)“濁度”和其衍生詞(例如“渾濁”、“渾濁性”等)可指包含(例如)在所捕獲圖像中出現(xiàn)的空氣傳播的顆粒(例如霾、霧、蒸汽、水汽、空氣污染(例如煙霧)、雨、雪、灰塵和/或煙)的環(huán)境場(chǎng)景條件。自動(dòng)渾濁性檢測(cè)和/或渾濁性降低(例如去濁)可為極復(fù)雜的，尤其是在渾濁性檢測(cè)和/或渾濁性降低僅基于攝像機(jī)光學(xué)輸入時(shí)。此困難的一些原因可包含光照條件、渾濁的顏色、渾濁區(qū)域的位置以及渾濁程度的較大變化。此外，場(chǎng)景組成(例如場(chǎng)景內(nèi)的不同主題)可存在較大變化。可靠且快速渾濁性檢測(cè)和/或渾濁性降低(例如，在具有攝像機(jī)的電子裝置上)可極大地恢復(fù)場(chǎng)景內(nèi)的對(duì)象的可視性且改良攝像機(jī)用戶的感知。此外，渾濁性檢測(cè)和/或渾濁性降低可改良計(jì)算機(jī)視覺(jué)處理，例如對(duì)象檢測(cè)、對(duì)象跟蹤、對(duì)象辨識(shí)等。舉例來(lái)說(shuō)，渾濁性檢測(cè)和/或渾濁性降低可改良先進(jìn)駕駛員輔助系統(tǒng)(ADAS)的性能。

可使用來(lái)自多個(gè)模態(tài)的信息以改良渾濁性檢測(cè)。模態(tài)可為用于獲得關(guān)于電子裝置或場(chǎng)景的周圍環(huán)境的信息(例如感測(cè))的裝置。在一些配置中，多個(gè)模態(tài)可易于用于電子裝置(例如攝像機(jī)、視頻攝錄影機(jī)、數(shù)碼攝像機(jī)、蜂窩式電話、智能電話、計(jì)算機(jī)、電視、汽車、個(gè)人攝像機(jī)、動(dòng)作攝像機(jī)、監(jiān)控?cái)z像機(jī)、安裝的攝像機(jī)、連接的攝像機(jī)、機(jī)器人、遙控飛機(jī)、智能應(yīng)用程序、醫(yī)療保健設(shè)備、機(jī)頂盒等)中。一或多個(gè)模態(tài)(例如，除攝像機(jī)輸入之外還有的)可提供可用以改良渾濁性檢測(cè)和/或渾濁性降低的準(zhǔn)確性的信息。此類信息的實(shí)例包含全球定位系統(tǒng)(GPS)位置(例如城市與鄉(xiāng)村、山區(qū)、沿海地區(qū)等)、來(lái)自指南針傳感器的定向、一天中的時(shí)間、當(dāng)?shù)靥鞖鈭?bào)告(例如預(yù)報(bào))、遠(yuǎn)程裝置圖像(例如衛(wèi)星圖像、連接的攝像機(jī)圖像、個(gè)人/動(dòng)作攝像機(jī)圖像等)、環(huán)境光、溫度(例如，在一個(gè)位置處和/或兩個(gè)位置或環(huán)境之間的溫差)、氣壓、濕度、一年中的時(shí)間(例如日歷天)等。此類信息的另一實(shí)例可為于在線服務(wù)(例如地圖服務(wù)、社交網(wǎng)絡(luò)等)中發(fā)布的同一位置處獲取的圖片，其可用作檢測(cè)渾濁性和/或降低渾濁性的參考。

現(xiàn)在參考各圖描述各種配置，其中相同的參考標(biāo)號(hào)可以指示功能上類似的元件。可以多種不同配置來(lái)布置和設(shè)計(jì)如本文中在各圖中大體描述和說(shuō)明的系統(tǒng)和方法。因此，對(duì)如各圖中所表示的數(shù)個(gè)配置的以下更詳細(xì)描述并不希望限制如所主張的范圍，而僅表示系統(tǒng)和方法。

圖1是說(shuō)明其中可實(shí)施用于基于多個(gè)模態(tài)進(jìn)行渾濁性檢測(cè)的系統(tǒng)和方法的電子裝置102的一個(gè)實(shí)例的框圖。電子裝置102的實(shí)例包含智能電話、蜂窩式電話、計(jì)算機(jī)(例如桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、服務(wù)器等)、平板計(jì)算機(jī)裝置、媒體播放器、電視、游戲機(jī)、機(jī)頂盒、個(gè)人數(shù)字助理(PDA)、機(jī)器人、飛行器、無(wú)人駕駛的空中交通工具(UAV)、汽車等。電子裝置102可包含一或多個(gè)組件或元件。所述組件或元件中的一或多者可在硬件(例如電路)或硬件與軟件的組合(例如具有指令的處理器)中實(shí)施。在一些配置中，電子裝置102可包含處理器104、存儲(chǔ)器106、顯示器108、圖像傳感器110、光學(xué)系統(tǒng)112、圖像信號(hào)處理器132、通信接口114、時(shí)鐘116和/或一或多個(gè)傳感器118。處理器104可耦合到所述存儲(chǔ)器106、顯示器108、圖像傳感器110、光學(xué)系統(tǒng)112、圖像信號(hào)處理器132、通信接口114、時(shí)鐘116和/或一或多個(gè)傳感器118(例如與其電子通信)。應(yīng)注意，盡管圖像傳感器110和/或光學(xué)系統(tǒng)112之間的通信可經(jīng)由圖像信號(hào)處理器132傳遞，但處理器104可另外或替代地在一些配置中直接與圖像傳感器110和/或光學(xué)系統(tǒng)112通信。

通信接口114可使得電子裝置102能夠與一或多個(gè)其它電子裝置通信。舉例來(lái)說(shuō)，通信接口114可為有線和/或無(wú)線通信提供接口。在一些配置中，通信接口114可耦合到一或多個(gè)天線120以用于發(fā)射和/或接收射頻(RF)信號(hào)。另外或替代地，通信接口114可實(shí)現(xiàn)一或多種類別的有線(例如通用串行總線(USB)、以太網(wǎng)等)通信。

電子裝置102可獲得一或多個(gè)圖像(例如數(shù)字圖像、圖像幀、視頻等)。舉例來(lái)說(shuō)，電子裝置102可包含圖像傳感器110和將位于光學(xué)系統(tǒng)112的視場(chǎng)內(nèi)的對(duì)象的圖像聚焦到圖像傳感器110上的光學(xué)系統(tǒng)112(例如鏡頭)。在一些配置中，圖像傳感器110可捕獲一或多個(gè)圖像。光學(xué)系統(tǒng)112可耦合到圖像信號(hào)處理器132和/或處理器104和/或受圖像信號(hào)處理器132和/或處理器104控制。另外或替代地，電子裝置102可請(qǐng)求和/或接收來(lái)自另一裝置(例如耦合到電子裝置102的外部圖像傳感器、網(wǎng)絡(luò)服務(wù)器、交通攝像機(jī)、液滴攝像機(jī)、汽車攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)等)的一或多個(gè)圖像。在一些配置中，電子裝置102可經(jīng)由通信接口114請(qǐng)求和/或接收一或多個(gè)圖像。舉例來(lái)說(shuō)，電子裝置102可包含或可不包含攝像機(jī)(例如圖像傳感器110和/或光學(xué)系統(tǒng)112)且可從遠(yuǎn)程裝置接收?qǐng)D像。

在一些配置中，電子裝置102可包含圖像數(shù)據(jù)緩存器(未示出)。圖像數(shù)據(jù)緩存器可緩存(例如存儲(chǔ))來(lái)自圖像傳感器110的圖像數(shù)據(jù)。所緩存的圖像數(shù)據(jù)可提供到圖像信號(hào)處理器132和/或處理器104。

在一些配置中，電子裝置102可包含圖像信號(hào)處理器(ISP)132。圖像信號(hào)處理器132可自圖像傳感器110接收?qǐng)D像數(shù)據(jù)(例如原始傳感器數(shù)據(jù)和/或經(jīng)預(yù)處理的傳感器數(shù)據(jù))。圖像信號(hào)處理器132可對(duì)圖像數(shù)據(jù)執(zhí)行一或多個(gè)操作。舉例來(lái)說(shuō)，圖像信號(hào)處理器132可執(zhí)行解壓縮擴(kuò)展、局部色調(diào)映射(LTM)、濾波、縮放和/或裁剪等。圖像信號(hào)處理器132可將所得的圖像數(shù)據(jù)提供到處理器104。舉例來(lái)說(shuō)，圖像數(shù)據(jù)可為圖像模態(tài)信息。

在一些配置中，電子裝置102可包含攝像機(jī)軟件應(yīng)用程序和顯示器108。當(dāng)攝像機(jī)應(yīng)用程序正在運(yùn)行時(shí)，圖像傳感器110可記錄位于光學(xué)系統(tǒng)112的視場(chǎng)內(nèi)的對(duì)象的圖像。圖像傳感器110正在記錄的圖像可在顯示器108上呈現(xiàn)。在一些配置中，這些圖像可以相對(duì)較高幀速率快速連續(xù)地顯示，以使得在任何給定時(shí)刻，在顯示器108上呈現(xiàn)位于光學(xué)系統(tǒng)112的視場(chǎng)內(nèi)的對(duì)象。電子裝置102所獲得的一或多個(gè)圖像可為一或多個(gè)視頻幀和/或一或多個(gè)靜態(tài)圖像。術(shù)語(yǔ)視頻幀和數(shù)字圖像在本文中可互換使用。

處理器104可包含和/或?qū)嵤┳詣?dòng)場(chǎng)景檢測(cè)器122、渾濁性檢測(cè)器124和/或渾濁性降低器126。自動(dòng)場(chǎng)景檢測(cè)器122可控制圖像捕獲和/或處理的一或多個(gè)方面。舉例來(lái)說(shuō)，自動(dòng)場(chǎng)景檢測(cè)器122可控制自動(dòng)白平衡、自動(dòng)聚焦和/或自動(dòng)曝光。舉例來(lái)說(shuō)，自動(dòng)場(chǎng)景檢測(cè)器122可控制光學(xué)系統(tǒng)112(例如鏡頭)聚焦、圖像傳感器110增益、圖像傳感器110曝光時(shí)間等。在一些配置中，自動(dòng)場(chǎng)景檢測(cè)器122可通過(guò)將信息經(jīng)由通信接口發(fā)送到遠(yuǎn)程裝置來(lái)控制遠(yuǎn)程電子裝置(例如遠(yuǎn)程攝像機(jī)、網(wǎng)絡(luò)裝置等)的自動(dòng)白平衡、自動(dòng)聚焦和/或自動(dòng)曝光。

渾濁性檢測(cè)器124可基于多個(gè)模態(tài)130執(zhí)行渾濁性檢測(cè)以確定渾濁性置信度水平。模態(tài)130中的每一者可為用于獲得關(guān)于電子裝置102的周圍環(huán)境的信息(例如感測(cè))的裝置。舉例來(lái)說(shuō)，圖像傳感器110和光學(xué)系統(tǒng)112(可被稱為攝像機(jī))可為用于捕獲關(guān)于電子裝置102的周圍環(huán)境的圖像信息的模態(tài)130的一個(gè)實(shí)例。

通信接口114可為用于請(qǐng)求和/或接收關(guān)于電子裝置102(和/或遠(yuǎn)程電子裝置)的周圍環(huán)境的信息的模態(tài)130。舉例來(lái)說(shuō)，通信接口114可請(qǐng)求和/或接收關(guān)于電子裝置的位置(例如經(jīng)緯度信息、其它位置信息等)、一天中的當(dāng)前時(shí)間、當(dāng)?shù)靥鞖鈭?bào)告和/或預(yù)告、遠(yuǎn)程裝置圖像(例如衛(wèi)星圖像、連接的攝像機(jī)圖像、個(gè)人/動(dòng)作攝像機(jī)圖像等)、當(dāng)前溫度、空氣污染指數(shù)等的信息。在一些配置中，可實(shí)施和/或使用多個(gè)通信接口114。舉例來(lái)說(shuō)，一個(gè)通信接口114可為全球定位系統(tǒng)(GPS)接收器，另一通信接口114可為蜂窩式(例如3G、長(zhǎng)期演進(jìn)(LTE)、CDMA等)通信接口114，且又一通信接口114可為無(wú)線局域網(wǎng)(WLAN)接口(例如802.11接口)。

時(shí)鐘116可為用于告知一天中的時(shí)間的模態(tài)130。舉例來(lái)說(shuō)，可使用除來(lái)自通信接口114之外還有或替代地時(shí)鐘116來(lái)確定一天中的時(shí)間。

一或多個(gè)傳感器118可為用于獲得一或多種類型的信息的模態(tài)130。傳感器118的實(shí)例包含溫度傳感器、氣壓傳感器、濕度傳感器、加速度計(jì)(其可用于例如慣性導(dǎo)航中)、環(huán)境光傳感器、方向傳感器(例如指南針傳感器)等。

一或多個(gè)模態(tài)130可將信息提供到渾濁性檢測(cè)器124。模態(tài)信息的實(shí)例包含圖像信息(例如一或多個(gè)圖像、幀等)、遠(yuǎn)程裝置圖像信息、位置信息、方向信息、一天中的時(shí)間、天氣報(bào)告和/或預(yù)報(bào)信息、衛(wèi)星信息(例如衛(wèi)星圖像、多普勒雷達(dá)、溫度等)、光信息(其可例如用以確定電子裝置102是在室內(nèi)還是在室外)、溫度、空氣污染指數(shù)等。在一些配置中，電子裝置102可另外或替代地請(qǐng)求和/或接收來(lái)自遠(yuǎn)程電子裝置的一或多種類別的模態(tài)信息。舉例來(lái)說(shuō)，遠(yuǎn)程電子裝置可包含前述模態(tài)中的一或多者(例如傳感器)且可將對(duì)應(yīng)模態(tài)信息經(jīng)由通信接口114提供到電子裝置102。

渾濁性檢測(cè)器124可基于多個(gè)模態(tài)130確定渾濁性可信度。舉例來(lái)說(shuō)，渾濁性檢測(cè)器124可基于多個(gè)模態(tài)執(zhí)行渾濁性檢測(cè)以確定渾濁性置信度水平。渾濁性置信度水平可為所捕獲圖像包含渾濁性和/或電子裝置102周圍環(huán)境渾濁的置信度的量度。舉例來(lái)說(shuō)，渾濁性檢測(cè)器124可從圖像提取一或多個(gè)特征。來(lái)自圖像的一或多個(gè)特征和一或多種類別的(額外)模態(tài)信息可用以確定渾濁性置信度水平。在一些配置中，渾濁性檢測(cè)器124可使用兩階段分類來(lái)確定渾濁性置信度水平。結(jié)合圖4給出兩階段分類的實(shí)例。

在一些配置中，渾濁性檢測(cè)器124可使用支持向量機(jī)(SVM)和/或神經(jīng)網(wǎng)絡(luò)分類器確定渾濁性置信度水平。舉例來(lái)說(shuō)，支持向量機(jī)分類器可為分離指示來(lái)自不指示渾濁性的向量的渾濁性的向量(例如所提取的特征和一或多種類型的額外模態(tài)信息)的預(yù)先訓(xùn)練的分類器。分類器可被稱為決策邊界。舉例來(lái)說(shuō)，分類器可為劃分指示來(lái)自不指示渾濁性的向量的渾濁性的向量的超平面。向量與超平面之間的距離可反映渾濁性置信度水平。舉例來(lái)說(shuō)，如果向量在分類器的指示渾濁性的側(cè)上且靠近分類器，那么渾濁性檢測(cè)器124可指示檢測(cè)渾濁性為低渾濁性置信度水平。在另一情況下，如果向量在分類器的指示渾濁性的側(cè)上且遠(yuǎn)離分類器，那么渾濁性檢測(cè)器124可指示檢測(cè)渾濁性為高渾濁性置信度水平。

在一些配置中，分類器(例如決策邊界)可經(jīng)預(yù)先訓(xùn)練。舉例來(lái)說(shuō)，可使用預(yù)標(biāo)記的渾濁場(chǎng)景和不渾濁場(chǎng)景圖像(例如，通過(guò)梯度下降法)訓(xùn)練分類器(例如SVM邊界)。舉例來(lái)說(shuō)，可使用訓(xùn)練數(shù)據(jù)集訓(xùn)練SVM分類器和/或神經(jīng)網(wǎng)絡(luò)分類器。在一些配置中，訓(xùn)練數(shù)據(jù)集的每一樣品可包含來(lái)自每一模態(tài)的數(shù)據(jù)點(diǎn)(例如2D圖像、GPS、一天中的時(shí)間、一年中的日期、在獲取圖像時(shí)所在位置的天氣報(bào)告/預(yù)報(bào)、那天的空氣污染指數(shù)等，以及指示圖像是否渾濁的二進(jìn)制注釋)。訓(xùn)練數(shù)據(jù)集可用以通過(guò)反向傳播產(chǎn)生SVM中的支持向量和/或神經(jīng)網(wǎng)絡(luò)中的每一層的權(quán)重/偏差。

在一些配置中，可如下實(shí)現(xiàn)確定渾濁性置信度水平。在SVM方法中，渾濁性置信度水平(例如渾濁得分)可計(jì)算為輸入數(shù)據(jù)(例如圖像或所提取的特征和/或一或多種類別的模態(tài)信息)與支持向量的內(nèi)積。舉例來(lái)說(shuō)，渾濁性檢測(cè)器124可計(jì)算支持向量與基于輸入數(shù)據(jù)(例如(2D)圖像、GPS、一天中的時(shí)間和/或一年中的日期等)的向量的內(nèi)積。在神經(jīng)網(wǎng)絡(luò)方法中，渾濁性檢測(cè)器124可將通過(guò)多層的輸入數(shù)據(jù)與權(quán)重和偏差的組合放置在一起。來(lái)自最終層的輸出可為渾濁性置信度水平(例如渾濁得分)。

處理器104可基于渾濁性置信度水平確定是否執(zhí)行動(dòng)作。舉例來(lái)說(shuō)，處理器104可確定在渾濁性置信度水平滿足一或多個(gè)準(zhǔn)則的情況下(例如，在渾濁性置信度水平大于或等于特定水平(例如渾濁性閾值水平)的情況下)執(zhí)行動(dòng)作。

基于渾濁性置信度水平的動(dòng)作的實(shí)例可包含圖像處理(例如渾濁性降低)和非渾濁性降低動(dòng)作。在一些配置中，電子裝置102(例如處理器104)可基于渾濁性置信度水平僅執(zhí)行圖像處理。在其它配置中，電子裝置102可僅執(zhí)行一或多個(gè)非圖像處理動(dòng)作(例如非渾濁性降低動(dòng)作)。在又其它配置中，電子裝置102可執(zhí)行一或多個(gè)圖像處理動(dòng)作以及一或多個(gè)非圖像處理動(dòng)作。

舉例來(lái)說(shuō)，電子裝置102(例如處理器104)基于渾濁性置信度水平處理圖像。在一些配置中，處理圖像可包含執(zhí)行渾濁性降低。舉例來(lái)說(shuō)，處理器104可包含和/或?qū)嵤啙嵝越档推?26。渾濁性降低器126可在渾濁性置信度水平為低(例如低于渾濁性閾值)的情況下不執(zhí)行渾濁性降低。如果渾濁性置信度水平足夠高(例如符合或超過(guò)渾濁性閾值)，那么處理器104可執(zhí)行渾濁性降低。在一些配置中，可基于渾濁性置信度水平確定所執(zhí)行的渾濁性降低的程度。舉例來(lái)說(shuō)，可對(duì)于較大渾濁性置信度水平執(zhí)行較大渾濁性降低。降低渾濁性可包含調(diào)整局部色調(diào)映射(LTM)、自動(dòng)白平衡、自動(dòng)聚焦、自動(dòng)曝光、顏色校正和/或銳度。

應(yīng)注意，可對(duì)當(dāng)前圖像(例如幀)和/或后續(xù)圖像(例如幀)執(zhí)行渾濁性降低。舉例來(lái)說(shuō)，電子裝置102可對(duì)幀執(zhí)行渾濁性檢測(cè)?？赏ㄟ^(guò)調(diào)整(例如)顏色、曝光和/或銳度對(duì)幀執(zhí)行渾濁性降低。另外或替代地，可通過(guò)調(diào)整后續(xù)幀的自動(dòng)白平衡、自動(dòng)聚焦和/或自動(dòng)曝光(除從調(diào)整顏色、曝光和/或銳度之外還有或替代地)來(lái)執(zhí)行渾濁性降低。

非圖像處理動(dòng)作的實(shí)例可包含以下各項(xiàng)中的一或多者：激活霧燈、激活提示燈、激活提示音、激活針對(duì)擋風(fēng)玻璃上的渾濁性(例如起霧、冷凝等)的加熱和/或冷卻系統(tǒng)(例如加熱、通風(fēng)和空氣調(diào)節(jié)(HVAC)系統(tǒng))，以及(例如在平視顯示器、擋風(fēng)玻璃投影儀或其它顯示器上)顯示一或多個(gè)對(duì)象(例如車道標(biāo)記物、車輛標(biāo)記物、道路邊緣標(biāo)記物、阻障標(biāo)記物等)等。在一些配置中，一或多個(gè)非圖像處理動(dòng)作可由ADAS和/或結(jié)合ADAS執(zhí)行。非渾濁性降低動(dòng)作的另一實(shí)例可包含將渾濁性信息(例如渾濁性置信度水平)發(fā)送到遠(yuǎn)程裝置。舉例來(lái)說(shuō)，電子裝置102可為從遠(yuǎn)程裝置接收?qǐng)D像數(shù)據(jù)(以及任選地額外模態(tài)信息)的服務(wù)器。電子裝置102可確定渾濁性信息并將渾濁性信息發(fā)送給遠(yuǎn)程裝置。在一些配置中，遠(yuǎn)程裝置可任選地基于渾濁性信息執(zhí)行渾濁性降低。

存儲(chǔ)器106可存儲(chǔ)指令和/或數(shù)據(jù)。處理器104可存取(例如讀取和/或?qū)懭氲?存儲(chǔ)器106?？捎纱鎯?chǔ)器106存儲(chǔ)的指令和/或數(shù)據(jù)的實(shí)例可包含圖像數(shù)據(jù)、模態(tài)信息、渾濁性置信度水平、自動(dòng)場(chǎng)景檢測(cè)器指令、渾濁性檢測(cè)器指令、渾濁性降低器指令等。

在一些配置中，電子裝置102可在顯示器108上呈現(xiàn)用戶接口128。舉例來(lái)說(shuō)，用戶接口128可使得用戶能夠與電子裝置102交互。在一些配置中，用戶接口128可使得用戶能夠指示(例如，在環(huán)境中和/或在所捕獲圖像中)是否存在渾濁性。

在一些配置中，顯示器108可為接收來(lái)自物理觸摸(例如通過(guò)手指、觸筆或其它工具)的輸入的觸摸屏。舉例來(lái)說(shuō)，觸摸屏可為接收指示是否存在渾濁性的觸摸式輸入的輸入接口。另外或替代地，電子裝置102可包含另一輸入接口或耦合到另一輸入接口。舉例來(lái)說(shuō)，電子裝置102可包含面向用戶的攝像機(jī)且可檢測(cè)用于指示是否存在渾濁性的用戶示意動(dòng)作(例如手部示意動(dòng)作、臂部示意動(dòng)作、眼睛跟蹤、眼瞼眨眼等)。在另一實(shí)例中，電子裝置102可耦合到鼠標(biāo)且可檢測(cè)指示是否存在渾濁性的鼠標(biāo)點(diǎn)擊。因此，可用任何適合方式(例如，觸摸輸入、鼠標(biāo)點(diǎn)擊、所辨識(shí)的示意動(dòng)作等)指示是否存在渾濁性。因此，在一些配置中，模態(tài)130可包含用于接收用戶輸入的裝置。舉例來(lái)說(shuō)，傳感器118可包含用于接收指示渾濁(或不渾濁)的用戶輸入的觸摸屏顯示器108(和/或用戶接口128)。另外或替代地，模態(tài)130可包含用于接收指示渾濁性(或不渾濁)的用戶輸入的輸入接口(例如輸入裝置(例如鼠標(biāo)、觸摸板、攝像機(jī)、麥克風(fēng)等)的輸入端口)。

應(yīng)注意，在一些配置中可不必需用戶輸入。舉例來(lái)說(shuō)，電子裝置102可自動(dòng)檢測(cè)渾濁性和/或降低一或多個(gè)圖像中的渾濁性。

圖2是說(shuō)明其中可實(shí)施用于渾濁性檢測(cè)和/或渾濁性降低的系統(tǒng)和方法的電子裝置202的一個(gè)配置的實(shí)例的框圖。圖2的電子裝置202可為圖1的電子裝置102的一個(gè)實(shí)例。電子裝置202可包含獲得圖像(例如相片和/或視頻)的攝像機(jī)鏡頭246。另外或替代地，電子裝置202可獲得來(lái)自遠(yuǎn)程裝置的圖像。

電子裝置202可包含一或多個(gè)渾濁性檢測(cè)器224。每一渾濁性檢測(cè)器224可基于一或多個(gè)模態(tài)確定攝像機(jī)鏡頭246所觀察的場(chǎng)景的渾濁性置信度水平。所述模態(tài)中的每一者可產(chǎn)生模態(tài)信息248。模態(tài)信息248的實(shí)例包含電子裝置202的位置250a(和/或(例如)所拍照的場(chǎng)景的位置)、電子裝置202的方向250b(例如電子裝置202所指向的方向)、一天中的時(shí)間250c、當(dāng)?shù)靥鞖鈭?bào)告250d(例如預(yù)報(bào))、一或多個(gè)遠(yuǎn)程裝置圖像250e、室內(nèi)/室外指示符250f、用戶超控指示符250g，以及溫度250h。應(yīng)注意，可從圖像傳感器和/或光學(xué)系統(tǒng)(例如攝像機(jī)鏡頭246)獲得的圖像模態(tài)信息也可包含在模態(tài)信息248中。

所述模態(tài)中的每一者可易于用于電子裝置202(例如移動(dòng)電話)。舉例來(lái)說(shuō)，可使用電子裝置202上的GPS功能性獲得位置250a，以確定電子裝置202是位于城市、鄉(xiāng)村、山區(qū)還是位于沿海地區(qū)等中。在一些配置中，位置250a可用以確定海拔。方向250b可基于來(lái)自指南針(例如定向)傳感器的信息以確定攝像機(jī)的方向(例如朝向海洋或遠(yuǎn)離海洋)。電子裝置202也可容易地獲得其它模態(tài)信息248。舉例來(lái)說(shuō)，在于地圖網(wǎng)絡(luò)服務(wù)和/或社交網(wǎng)絡(luò)上發(fā)布的同一位置(例如位置250a)處獲取的圖片可用作檢測(cè)渾濁性(例如霾、霧煙霧、等)以及執(zhí)行渾濁性降低的參考(例如，先前具有霾情況的位置更可能在目前也有霾)。取決于電子裝置202的具體位置(例如位置250a)，所述模態(tài)中的每一者可更多或更少地有用(例如更多或更少地指示渾濁性)。

可從電子裝置202上的時(shí)鐘和/或通過(guò)向遠(yuǎn)程電子裝置(例如全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)、位置服務(wù)器、基站、接入點(diǎn)、網(wǎng)絡(luò)服務(wù)器等)請(qǐng)求時(shí)間來(lái)獲得一天中的時(shí)間250c。一天中的時(shí)間250c可與其它模態(tài)信息248中的一或多者組合使用。舉例來(lái)說(shuō)，一天中的時(shí)間250c可指示渾濁性以及電子裝置202的位置250a和方向250b。舉例來(lái)說(shuō)，在電子裝置202指向沿海地區(qū)冬季期間在早晨的幾個(gè)小時(shí)的沿海場(chǎng)景(例如靠近碼頭或海灘)的情況下，電子裝置202所捕獲的圖像可有可能含有霾。

可經(jīng)由通信接口獲得當(dāng)?shù)靥鞖鈭?bào)告250d。舉例來(lái)說(shuō)，電子裝置202可向遠(yuǎn)程電子裝置(例如網(wǎng)絡(luò)服務(wù)器)請(qǐng)求當(dāng)?shù)靥鞖鈭?bào)告250d。當(dāng)?shù)靥鞖鈭?bào)告250d可指示當(dāng)?shù)靥鞖鈼l件(例如霧、煙霧、霾、風(fēng)、雨、雪、云量、可見(jiàn)度、透明度等)、溫度、濕度、氣壓等，其可指示所述區(qū)中渾濁性的可能性。當(dāng)?shù)靥鞖鈭?bào)告250d可與一個(gè)其它模態(tài)信息248或其它模態(tài)信息248中的一者組合使用。

可經(jīng)由通信接口獲得遠(yuǎn)程裝置圖像250e。遠(yuǎn)程裝置圖像250e可包含從一或多個(gè)遠(yuǎn)程裝置接收的圖像信息(例如一或多個(gè)圖像)。舉例來(lái)說(shuō)，電子裝置202可從一或多個(gè)網(wǎng)絡(luò)裝置(例如網(wǎng)絡(luò)服務(wù)器)、一或多個(gè)衛(wèi)星、一或多個(gè)交通工具(例如一或多個(gè)內(nèi)部和/或外部交通工具攝像機(jī))、基礎(chǔ)設(shè)施(例如交通攝像機(jī)、監(jiān)控?cái)z像機(jī)等)、一或多個(gè)連接的攝像機(jī)(例如液滴攝像機(jī))、一或多個(gè)個(gè)人/動(dòng)作攝像機(jī)等獲得遠(yuǎn)程裝置圖像250e。一些遠(yuǎn)程裝置可不具有對(duì)于渾濁性檢測(cè)和/或渾濁性降低足夠的圖像信號(hào)處理能力。另外或替代地，電子裝置202在一些配置中可不包含集成的攝像機(jī)且可操作以檢測(cè)遠(yuǎn)程裝置所捕獲的圖像中(而非從(例如)集成的攝像機(jī)捕獲的圖像中)的渾濁性和/或降低所述渾濁性。

在一個(gè)實(shí)例中，電子裝置202可向遠(yuǎn)程電子裝置(例如網(wǎng)絡(luò)服務(wù)器)請(qǐng)求衛(wèi)星圖像。舉例來(lái)說(shuō)，衛(wèi)星圖像可由天氣服務(wù)、繪圖服務(wù)或一些其它網(wǎng)絡(luò)服務(wù)提供。在其它配置中，電子裝置202可直接從衛(wèi)星接收遠(yuǎn)程裝置圖像250e。遠(yuǎn)程裝置圖像250e可指示當(dāng)?shù)靥鞖鈼l件(例如霧、煙霧、霾、云量、降水等)。另外或替代地，當(dāng)不存在霾時(shí)，遠(yuǎn)程裝置圖像250e可提供周圍環(huán)境的顏色。因此，遠(yuǎn)程裝置圖像250e可指示所述地區(qū)中的渾濁性的可能性。舉例來(lái)說(shuō)，覆蓋在一地區(qū)上方的云量可指示增加的渾濁可能性。

在一些配置中，遠(yuǎn)程裝置圖像250e可與其它模態(tài)信息248中的一或多者組合使用。舉例來(lái)說(shuō)，衛(wèi)星圖像可與從攝像機(jī)鏡頭246捕獲的圖像組合使用?？杀容^衛(wèi)星圖像的顏色與所捕獲圖像的顏色。如果所捕獲圖像與衛(wèi)星圖像相比具有暗淡或有色層的顏色，那么此可指示增加的渾濁可能性。

可經(jīng)由環(huán)境光傳感器獲得室內(nèi)/室外指示符250f。舉例來(lái)說(shuō)，電子裝置202可檢查環(huán)境光傳感器所提供的環(huán)境光的亮度。超過(guò)亮度閾值的亮度可指示電子裝置202在室外。另外或替代地，可從位置250a得出室內(nèi)/室外指示符250f。舉例來(lái)說(shuō)，位置信息250a可指示電子裝置202是有可能在建筑物中還是在室外。因此，室內(nèi)/室外指示符250f可指示所述區(qū)中的渾濁可能性(例如，渾濁性可更有可能在室外發(fā)生)。室內(nèi)/室外指示符250f可與一個(gè)其它模態(tài)信息248或其它模態(tài)信息248中的一者組合使用。舉例來(lái)說(shuō)，室內(nèi)/室外指示符250f可與位置250a、方向250b以及當(dāng)?shù)靥鞖鈭?bào)告250d組合使用。舉例來(lái)說(shuō)，如果室內(nèi)/室外指示符250f指示電子裝置202在室內(nèi)，但位置250a指示電子裝置202靠近建筑物的邊緣，方向250b指示電子裝置202攝像機(jī)從建筑物朝外指向且當(dāng)?shù)靥鞖鈭?bào)告250d指示霧，那么此可為其中用戶正在從窗口獲取圖片的具有增加的渾濁可能性的情境。然而，在其它情境中，如果室內(nèi)/室外指示符250f指示電子裝置202在室內(nèi)，那么可存在降低的渾濁可能性。

可經(jīng)由用戶接口獲得用戶超控指示符250g。舉例來(lái)說(shuō)，電子裝置202可檢測(cè)用戶接口對(duì)象(例如按鈕、文字等)上的指示渾濁或不渾濁的觸摸或點(diǎn)擊事件。舉例來(lái)說(shuō)，電子裝置202可接收指示渾濁或不渾濁的用戶輸入。用戶超控指示符250g可指示在圖像中存在或不存在渾濁性。用戶超控指示符250g可與其它模態(tài)信息248中的一或多者組合使用。舉例來(lái)說(shuō)，即使電子裝置202確定(從多個(gè)模態(tài))檢測(cè)到不渾濁(和/或低渾濁性置信度水平)，但用戶超控指示符250g指示存在渾濁性，渾濁性檢測(cè)器224可經(jīng)超控以檢測(cè)渾濁性。在一些配置中，用戶超控指示符250g可用以更新分類器訓(xùn)練。

可經(jīng)由溫度傳感器(例如熱量傳感器)和/或經(jīng)由通信接口獲得溫度250h。舉例來(lái)說(shuō)，電子裝置202可從包含在電子裝置202中的溫度傳感器獲得溫度讀數(shù)和/或可請(qǐng)求和/或接收來(lái)自遠(yuǎn)程電子裝置(例如網(wǎng)絡(luò)服務(wù)器)的溫度讀數(shù)。舉例來(lái)說(shuō)，在一些配置中，溫度250h可為當(dāng)?shù)靥鞖鈭?bào)告250d的一部分。溫度250h可指示電子裝置202的溫度和/或室外溫度。因此，溫度250h可指示所述區(qū)中的渾濁可能性(例如，渾濁性可傾向于在特定溫度范圍內(nèi)發(fā)生)。在一些配置中，可使用溫度差。舉例來(lái)說(shuō)，渾濁性可更有可能在電子裝置202的溫度處于與室外溫度的特定差時(shí)發(fā)生。舉例來(lái)說(shuō)，如果電子裝置202在具有處于與室外溫度的特定差下的溫度的汽車中，那么渾濁性(例如冷凝、結(jié)霜等)可有可能在擋風(fēng)玻璃上發(fā)生。溫度250h可與其它模態(tài)信息248中的一或多者組合使用。舉例來(lái)說(shuō)，溫度250h可與位置250a組合使用，其中特定位置(例如靠近水)可呈現(xiàn)特定溫度下增加的渾濁可能性。

特定環(huán)境場(chǎng)景條件(例如天氣、光照等)可致使圖像中的特征看起來(lái)較不清晰。舉例來(lái)說(shuō)，交通工具可正在行駛穿過(guò)霧或穿過(guò)雨。另外，圖像傳感器擷取圖像所通過(guò)的窗口(例如擋風(fēng)玻璃)可歸因于交通工具內(nèi)部的溫度與交通工具外部的溫度之間的差異而為有霧的，或可以其它方式歸因于冷凝或結(jié)霜而為不清楚的。當(dāng)圖像中的特征難以辨別(例如圖像是“渾濁的”)時(shí)，所述圖像可指示環(huán)境場(chǎng)景條件(例如雨、霧、有霧的擋風(fēng)玻璃、煙霧、霾等)。在其中所述系統(tǒng)和方法與交通工具輔助應(yīng)用程序(例如先進(jìn)駕駛員輔助系統(tǒng)(ADAS)和/或擴(kuò)增顯示器)結(jié)合使用的配置中，渾濁圖像可為交通工具的操作者可能無(wú)法看見(jiàn)交通工具外部的場(chǎng)景的的特征(例如交通標(biāo)志、車道、行人、其它車輛、樹(shù)等)的指示符。渾濁性檢測(cè)器224可檢測(cè)來(lái)自圖像傳感器的渾濁圖像。

在一些實(shí)施方案中，渾濁性檢測(cè)器224可確定圖像傳感器所面向的窗口(例如擋風(fēng)玻璃)是否是有霧的或圖像傳感器的攝像機(jī)鏡頭246是濕的還是有霧的。為了說(shuō)明，圖像傳感器可位于座艙(例如交通工具的乘客艙)內(nèi)，且可經(jīng)定位以通過(guò)交通工具的窗口捕獲場(chǎng)景。渾濁性檢測(cè)器224可接收相關(guān)聯(lián)于和/或?qū)?yīng)于多個(gè)溫度250h(例如交通工具內(nèi)部的第一溫度和交通工具外部的第二溫度)的傳感器數(shù)據(jù)。渾濁性檢測(cè)器224可經(jīng)配置以確定第一溫度與第二溫度之間的溫差。當(dāng)所述溫差指示第一溫度(在交通工具內(nèi)部)之間的差超過(guò)所述溫度(交通工具外側(cè))時(shí)，渾濁性檢測(cè)器224可確定圖像傳感器所捕獲的圖像部分地因?yàn)閳D像傳感器所面向的窗口有霧而為渾濁的。響應(yīng)于確定窗口有霧，渾濁性檢測(cè)器224可基于渾濁性置信度水平執(zhí)行圖像處理(例如渾濁性降低)。在一些配置中，電子裝置202起始一動(dòng)作，例如作為說(shuō)明性的非限制性實(shí)例，激活加熱、通風(fēng)或空氣調(diào)節(jié)(HVAC)系統(tǒng)和/或擋風(fēng)玻璃刮水器。

在另一實(shí)例中，渾濁性檢測(cè)器224可確定渾濁性處于交通工具外部的場(chǎng)景中(例如，在窗口上無(wú)冷凝或擋風(fēng)玻璃沒(méi)有霧)。在此情況下，渾濁性檢測(cè)可起始一或多個(gè)動(dòng)作。這些動(dòng)作可不同于針對(duì)有霧擋風(fēng)玻璃起始的一或多個(gè)動(dòng)作。舉例來(lái)說(shuō)，對(duì)于歸因于交通工具外部的場(chǎng)景引起的渾濁性，所述動(dòng)作可包含在抬頭顯示器中去霧和/或ADAS功能性(例如休息、減速、車道標(biāo)記、聽(tīng)覺(jué)警報(bào)等)。

應(yīng)注意，盡管在圖2中說(shuō)明一些模態(tài)信息248，可使用更少、更多和/或不同類別的模態(tài)信息248。舉例來(lái)說(shuō)，可使用氣壓、一年中的日期、濕度和/或其它類別的模態(tài)信息248。舉例來(lái)說(shuō)，可從電子裝置202上的氣壓傳感器和/或從通信接口(例如從遠(yuǎn)程網(wǎng)絡(luò)服務(wù)器，其作為當(dāng)?shù)靥鞖鈭?bào)告的一部分)獲得氣壓?？蓮碾娮友b置202上的日歷應(yīng)用程序和/或從通信接口(例如從遠(yuǎn)程網(wǎng)絡(luò)服務(wù)器)獲得一年中的日期?？蓮碾娮友b置202上的濕度傳感器和/或從通信接口(例如從遠(yuǎn)程網(wǎng)絡(luò)服務(wù)器，其作為當(dāng)?shù)靥鞖鈭?bào)告的一部分等)獲得濕度。模態(tài)信息248的另一實(shí)例可為天氣年歷信息，其可從通信接口(例如從遠(yuǎn)程網(wǎng)絡(luò)服務(wù)器)獲得。模態(tài)信息248的另一實(shí)例可為空氣污染信息(例如空氣污染指數(shù))，其可從通信接口(例如從遠(yuǎn)程網(wǎng)絡(luò)服務(wù)器)獲得。這些模態(tài)信息248中的一或多者可對(duì)發(fā)生渾濁的可能性具有影響。因此，一或多個(gè)渾濁性檢測(cè)器224可使用多個(gè)模態(tài)確定渾濁性置信度水平。

在一些配置中，電子裝置202可基于多個(gè)模態(tài)通過(guò)渾濁性降低器226執(zhí)行渾濁性降低。渾濁性降低器226可提供對(duì)顏色240、曝光242和/或銳度244的調(diào)整，借此移除或降低對(duì)特定場(chǎng)景和/或相片的渾濁效應(yīng)。應(yīng)注意，渾濁性降低器226、自動(dòng)場(chǎng)景檢測(cè)器222或這兩者可調(diào)整對(duì)比度以便執(zhí)行渾濁性降低。渾濁性檢測(cè)器224的結(jié)果還可用以調(diào)整自動(dòng)場(chǎng)景檢測(cè)器222(例如，3A模塊)內(nèi)的設(shè)置。舉例來(lái)說(shuō)，自動(dòng)場(chǎng)景檢測(cè)器222可包含對(duì)自動(dòng)白平衡234、自動(dòng)聚焦236和自動(dòng)曝光238的設(shè)置和/或控制。應(yīng)注意，電子裝置202可另外或替代地通過(guò)控制(例如調(diào)整)自動(dòng)白平衡234、自動(dòng)聚焦236和/或自動(dòng)曝光238來(lái)執(zhí)行渾濁性降低。

圖3是說(shuō)明其中可實(shí)施用于渾濁性檢測(cè)和/或渾濁性降低的系統(tǒng)和方法的電子裝置302的配置的另一實(shí)例的框圖。電子裝置302可包含攝像機(jī)鏡頭346。攝像機(jī)鏡頭346可為結(jié)合圖2描述的攝像機(jī)鏡頭246的一個(gè)實(shí)例。攝像機(jī)鏡頭346可將光聚焦于圖像傳感器310上。圖像傳感器310可為結(jié)合圖1描述的圖像傳感器110的一個(gè)實(shí)例。圖像傳感器310可將原始攝像機(jī)信號(hào)352提供到圖像信號(hào)處理器332。圖像信號(hào)處理器332可為結(jié)合圖1描述的圖像信號(hào)處理器132的一個(gè)實(shí)例。圖像信號(hào)處理器332可為用于通過(guò)電子裝置302進(jìn)行圖像處理的專用數(shù)字信號(hào)處理器(DSP)。圖像信號(hào)處理器332可將原始攝像機(jī)信號(hào)352轉(zhuǎn)換成攝像機(jī)信號(hào)354。在一些配置中，圖像信號(hào)處理器332或單獨(dú)的大小調(diào)整器可調(diào)整圖像的大小(例如調(diào)整紅色-綠色-藍(lán)色(RGB)平面的大小)。舉例來(lái)說(shuō)，圖像信號(hào)處理器332或單獨(dú)的大小調(diào)整器可將圖像或幀的大小調(diào)整到四分之一視頻圖象陣列(QVGA)。調(diào)整大小可提供相當(dāng)大的準(zhǔn)確度以及較少計(jì)算?？稍谔卣魈崛?例如所述渾濁性檢測(cè)器324的特征提取)之前執(zhí)行調(diào)整大小。攝像機(jī)信號(hào)354可提供到渾濁性檢測(cè)器324。渾濁性檢測(cè)器324可為結(jié)合圖1描述的渾濁性檢測(cè)器124的一個(gè)實(shí)例。

在一些配置中，電子裝置(例如電子裝置102、202、302)可包含圖像信號(hào)處理器(例如圖像信號(hào)處理器132、332)，但可不包含攝像機(jī)(例如可不包含攝像機(jī)鏡頭246、346、圖像傳感器110和/或光學(xué)系統(tǒng)112)。在這些配置中，電子裝置(例如電子裝置102、202、302)可從遠(yuǎn)程裝置(例如從單獨(dú)的攝像機(jī))接收?qǐng)D像數(shù)據(jù)(例如攝像機(jī)信號(hào))。舉例來(lái)說(shuō)，電子裝置(例如電子裝置102、202、302)可從遠(yuǎn)程電子裝置(例如網(wǎng)絡(luò)服務(wù)器、耦合到電子裝置的單獨(dú)的攝像機(jī)等)接收?qǐng)D像數(shù)據(jù)。因此，可在電子裝置上執(zhí)行渾濁性檢測(cè)?？稍陔娮友b置上和/或與遠(yuǎn)程電子裝置協(xié)作執(zhí)行渾濁性降低。舉例來(lái)說(shuō)，電子裝置302可將一或多個(gè)調(diào)整發(fā)送給遠(yuǎn)程圖像傳感器和/或攝像機(jī)鏡頭(例如對(duì)鏡頭焦點(diǎn)、圖像傳感器增益、圖像傳感器曝光時(shí)間等進(jìn)行調(diào)整)。

渾濁性檢測(cè)器324可確定在攝像機(jī)鏡頭346所觀察的場(chǎng)景內(nèi)是否檢測(cè)到渾濁性。更具體來(lái)說(shuō)，渾濁性檢測(cè)器324可基于多個(gè)模態(tài)執(zhí)行渾濁性檢測(cè)以確定渾濁性置信度水平356。此可如結(jié)合圖1和2中的一或多者所描述地實(shí)現(xiàn)。結(jié)合圖4到9中的一或多者給出渾濁性檢測(cè)的更多實(shí)例。舉例來(lái)說(shuō)，在一些配置中，渾濁性檢測(cè)器324可使用兩階段分類降低計(jì)算復(fù)雜性。在一些實(shí)例中，分類器可使用線性支持向量機(jī)(SVM)，其中可不必將所有支持向量保存在模型中。渾濁性置信度水平356可反映渾濁性檢測(cè)器324已檢測(cè)到攝像機(jī)鏡頭346所觀察的場(chǎng)景內(nèi)的渾濁的相對(duì)置信度。舉例來(lái)說(shuō)，低渾濁性置信度水平356可指示場(chǎng)景中的任何渾濁最少和/或不大可能。在對(duì)于低渾濁性置信度水平356的情況下，可減少和/或不執(zhí)行渾濁性降低處理。高渾濁性置信度水平356可指示場(chǎng)景包含顯著的渾濁和/或渾濁是有可能。在對(duì)于高渾濁性置信度水平356的情況下，可使用增加的渾濁性降低來(lái)從場(chǎng)景移除和/或降低渾濁性。

渾濁性置信度水平356可提供到渾濁性降低器326。渾濁性降低器326可降低攝像機(jī)鏡頭346所觀察的場(chǎng)景中的渾濁的量。舉例來(lái)說(shuō)，渾濁性降低器326可調(diào)整顏色、曝光和/或銳度設(shè)置以降低和/或移除所察覺(jué)的渾濁。結(jié)合圖9到10中的一或多者給出渾濁性降低的的更具體實(shí)例。渾濁性置信度水平356也可提供到自動(dòng)場(chǎng)景檢測(cè)器322(例如3A模塊)。自動(dòng)場(chǎng)景檢測(cè)器322(例如3A模塊)可基于渾濁性置信度水平356調(diào)整自動(dòng)白平衡、自動(dòng)聚焦和/或自動(dòng)曝光以從攝像機(jī)鏡頭346所觀察的場(chǎng)景降低/移除渾濁性。

圖4是渾濁性檢測(cè)器424的一個(gè)配置的實(shí)例的框圖。圖4的渾濁性檢測(cè)器424可為結(jié)合圖1到3中的一或多者描述的渾濁性檢測(cè)器124、224、324中的一或多者的一個(gè)配置。渾濁性檢測(cè)器424可接收攝像機(jī)信號(hào)454。攝像機(jī)信號(hào)454可為經(jīng)由攝像機(jī)鏡頭、圖像傳感器和/或圖像信號(hào)處理器接收的信號(hào)。替代地，可從遠(yuǎn)程裝置(例如遠(yuǎn)程攝像機(jī))接收攝像機(jī)信號(hào)454。在一些配置中，可在將攝像機(jī)信號(hào)454提供到渾濁性檢測(cè)器424之前使用圖像信號(hào)處理器處理攝像機(jī)信號(hào)454。

在一些配置中，渾濁性檢測(cè)器424可基于兩階段分類。應(yīng)注意，更少或更多階段可用于分類(例如多階段分類系統(tǒng))。分類系統(tǒng)的第一階段可包含第一特征提取器458(例如，基于圖像的)和第一分類器462。分類系統(tǒng)的第二階段可包含第二特征提取器460(例如，基于圖像和模態(tài)的)和第二分類器464。在一些配置中，分類器462、464中的一或多者可基于支持向量機(jī)(SVM)。

第一特征提取器458可執(zhí)行特征提取。在一些配置中，第一特征提取器458與第二特征提取器460相比可使用較少計(jì)算功率。第一特征提取器458可接收攝像機(jī)信號(hào)454。第一特征提取器458接著可從攝像機(jī)信號(hào)454提取一或多個(gè)第一所提取的特征466?？商崛〉奶卣鞯膶?shí)例包含顏色特征(例如暗通道特征470)和空間特征(例如強(qiáng)度梯度472、模糊/銳度指示符474和/或梯度的量值/相位)。第一特征提取器458可將一或多個(gè)第一所提取的特征466提供到第一分類器462。第一分類器462還可接收一或多種類別的模態(tài)信息448。如上文所論述，模態(tài)信息448可為與可用以電子裝置(經(jīng)由一或多個(gè)傳感器、經(jīng)由因特網(wǎng)等)的渾濁性有關(guān)的額外信息。

基于所提取的特征和模態(tài)信息448，第一分類器462可將霾/無(wú)霾決策468輸出到第二特征提取器460。如果第一分類器462輸出無(wú)霾決策468，那么可不執(zhí)行關(guān)于渾濁性的額外計(jì)算，這是因?yàn)槲礄z測(cè)到渾濁性。然而，如果第一分類器462輸出霾決策468，那么已檢測(cè)到至少一些渾濁，且第二特征提取器460可提取一或多個(gè)第二所提取的特征469。

在一些配置中，第二特征提取器460可使用在計(jì)算上更密集的特征提取以從攝像機(jī)信號(hào)454獲得更具體的所提取的特征。舉例來(lái)說(shuō)，第二特征提取器460可從攝像機(jī)信號(hào)454獲得基于圖像和一或多個(gè)額外類別的模態(tài)信息448兩者的一或多個(gè)第二所提取的特征469。第二特征提取器460所提取的特征的實(shí)例包含暗通道特征476、梯度量值478、梯度相位480和/或梯度空間信息482。因此，在一些配置中，與第一特征提取器458相比，第二特征提取器460可提供更先進(jìn)的所提取的特征。此方法可允許在檢測(cè)到無(wú)霾是通過(guò)要求較不高的提取的情況下節(jié)省計(jì)算資源。

第二特征提取器460可將第二所提取的特征469中的一或多者提供到第二分類器464。基于一或多個(gè)所提取的特征和一或多種類別的模態(tài)信息448，第二分類器464可輸出渾濁性置信度水平456。渾濁性置信度水平456可反映渾濁性包含在攝像機(jī)信號(hào)454內(nèi)的置信度。

在一些配置中，可從訓(xùn)練數(shù)據(jù)集在所提取的特征方面訓(xùn)練每一階段中的SVM分類器以形成高維特征空間中的決策邊界，從而區(qū)分渾濁場(chǎng)景與非渾濁場(chǎng)景。在檢測(cè)中，SVM可應(yīng)用于同一組特征。SVM可評(píng)估輸入圖像是落在決策邊界的一側(cè)還是另一側(cè)。可選擇每一SVM分類器的適合操作點(diǎn)以實(shí)現(xiàn)改良的(例如最優(yōu))精確度/效率權(quán)衡。舉例來(lái)說(shuō)，線性-核SVM可用于第一階段和第二階段兩者(在兩階段配置中)?？稍诘谝浑A段基于一個(gè)操作點(diǎn)做出二進(jìn)制決策。第二階段可輸出連續(xù)性渾濁性置信度水平456

圖5是說(shuō)明用于基于多個(gè)模態(tài)進(jìn)行渾濁性檢測(cè)的方法500的一個(gè)配置的流程圖。方法500可由電子裝置(例如電子裝置102、202、302中的一或多者)執(zhí)行。電子裝置可經(jīng)配置有渾濁性檢測(cè)器(例如渾濁性檢測(cè)器124、224、324、424)。

電子裝置可任選地獲得502攝像機(jī)輸入信號(hào)(例如一或多個(gè)圖像)。舉例來(lái)說(shuō)，可經(jīng)由如上文結(jié)合圖1到4中的一或多者所描述的鏡頭、圖像傳感器和/或圖像信號(hào)處理器獲得攝像機(jī)輸入信號(hào)。替代地，可從遠(yuǎn)程裝置(例如，耦合到電子裝置的遠(yuǎn)程攝像機(jī)、與電子裝置通信的網(wǎng)絡(luò)服務(wù)器等)獲得攝像機(jī)輸入信號(hào)。這可如結(jié)合圖1到4中的一或多者所描述地來(lái)實(shí)現(xiàn)。

電子裝置可基于多個(gè)模態(tài)確定504渾濁性置信度水平。舉例來(lái)說(shuō)，電子裝置可基于多個(gè)模態(tài)執(zhí)行渾濁性檢測(cè)以確定渾濁性置信度水平。此可如上文結(jié)合圖1到4中的一或多者所描述地來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，電子裝置可從一或多個(gè)圖像(例如從攝像機(jī)輸入信號(hào))提取一或多個(gè)特征且基于所述特征和一或多種(額外)類別的模態(tài)信息來(lái)對(duì)所述圖像進(jìn)行分類。在一些配置中，可基于兩階段分類執(zhí)行渾濁性檢測(cè)。

電子裝置可基于渾濁性置信度水平確定506是否執(zhí)行動(dòng)作。此可如結(jié)合圖1到3中的一或多者所描述地來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，電子裝置可確定506在渾濁性置信度水平滿足一或多個(gè)準(zhǔn)則的情況下(例如在渾濁性置信度水平大于或等于渾濁性閾值水平的情況下)執(zhí)行動(dòng)作?；跍啙嵝灾眯哦人降膭?dòng)作的實(shí)例可包含圖像處理(例如渾濁性降低)和非圖像處理動(dòng)作。舉例來(lái)說(shuō)，電子裝置可如結(jié)合圖1到3中的一或多者所描述地基于渾濁性置信度水平執(zhí)行渾濁性降低。另外或替代地，電子裝置可如結(jié)合圖1所描述地基于渾濁性置信度水平執(zhí)行非圖像處理動(dòng)作。

圖6是說(shuō)明用于基于多個(gè)模態(tài)進(jìn)行渾濁性檢測(cè)的方法600的更具體配置的流程圖。方法600可由電子裝置(例如電子裝置102、202、302中的一或多者)執(zhí)行。電子裝置可經(jīng)配置有渾濁性檢測(cè)器(例如渾濁性檢測(cè)器124、224、324、424)。

電子裝置可獲得602攝像機(jī)輸入信號(hào)的幀(例如圖像)。這可如上文結(jié)合圖1到4中的一或多者所描述地來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，電子裝置可經(jīng)由鏡頭、圖像傳感器和/或圖像信號(hào)處理器獲得602一或多個(gè)圖像。

電子裝置可對(duì)所述幀執(zhí)行604第一(例如基本)特征提取。這可如上文結(jié)合圖4所描述地來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，電子裝置可確定幀的暗通道特征、幀的強(qiáng)度梯度和/或幀的模糊/銳度指示符。

電子裝置可基于第一所提取的特征和一或多個(gè)模態(tài)執(zhí)行606第一分類。這可如上文結(jié)合圖4所描述地來(lái)實(shí)現(xiàn)。在一些配置中，第一分類可使用支持向量機(jī)(SVM)確定在幀中是否檢測(cè)到渾濁性。

電子裝置可確定608第一分類是否指示在所述幀中檢測(cè)到渾濁性。這可如上文結(jié)合圖4所描述地來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，如果向量(基于第一所提取的特征和/或一或多種類別的模態(tài)信息)位于決策邊界的一側(cè)，那么第一分類可指示檢測(cè)到霾。然而，如果向量落在決策邊界的另一側(cè)上，那么可能未檢測(cè)到渾濁性。如果未檢測(cè)到渾濁性，那么操作可結(jié)束610。

如果在幀中檢測(cè)到渾濁性，那么電子裝置對(duì)所述幀執(zhí)行612第二(例如更密集)特征提取。這可如上文結(jié)合圖4所描述地來(lái)實(shí)現(xiàn)。在一些配置中，第二特征提取可包含在計(jì)算上更密集的特征提取，例如梯度空間信息、梯度相位信息、梯度量值信息和/或額外暗通道特征。在一些配置中，舉例來(lái)說(shuō)，不同于第一特征提取，第二特征提取可基于一或多個(gè)模態(tài)。舉例來(lái)說(shuō)，第二特征提取可基于電子裝置的位置、電子裝置所面向的方向、一天中的時(shí)間等。

電子裝置可基于第二所提取的特征和一或多個(gè)模態(tài)執(zhí)行614第二分類以獲得渾濁性置信度水平。這可如上文結(jié)合圖4所描述地來(lái)實(shí)現(xiàn)。在一些配置中，第二分類可使用支持向量機(jī)(SVM)確定在所述幀中檢測(cè)到渾濁性的渾濁性置信度水平。第二分類可基于第二所提取的特征和一或多個(gè)模態(tài)。

電子裝置可任選地地基于渾濁性置信度水平執(zhí)行616渾濁性降低。這可如上文結(jié)合圖1到3中的一或多者所描述地來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，電子裝置可調(diào)整自動(dòng)白平衡、自動(dòng)聚焦、自動(dòng)曝光、顏色、銳度和/或局部對(duì)比度以降低/移除可見(jiàn)的渾濁性。因此，渾濁性降低可包含信號(hào)處理和調(diào)整攝像機(jī)的一或多個(gè)物理設(shè)置。

圖7是說(shuō)明渾濁性檢測(cè)器724的配置的另一實(shí)例的框圖。渾濁性檢測(cè)器724可接收攝像機(jī)輸入750a和一或多種額外類型的模態(tài)信息：位置750b、方向750c、一天中的時(shí)間750d、當(dāng)?shù)靥鞖鈭?bào)告750e(例如預(yù)告)、遠(yuǎn)程裝置圖像750f、室內(nèi)/室外指示符750g、用戶超控指示符750h、溫度750i、空氣污染指數(shù)750j和/或一年中的日期750k。基于攝像機(jī)輸入750a和一或多種額外類型的模態(tài)信息750b到k，渾濁性檢測(cè)器724可確定渾濁性置信度水平756。舉例來(lái)說(shuō)，渾濁性檢測(cè)器724可使用攝像機(jī)輸入750a和一或多種額外類型的模態(tài)信息750b到k以直接確定單個(gè)渾濁性置信度水平。

圖8是說(shuō)明并行地操作的多個(gè)渾濁性檢測(cè)器824a到h的配置的實(shí)例的框圖。渾濁性檢測(cè)器824a到h可為結(jié)合圖1到4中的一或多者描述的渾濁性檢測(cè)器124、224、324、424中的一或多者的實(shí)例。每一渾濁性檢測(cè)器824可接收攝像機(jī)輸入850i和一或多種類型的模態(tài)信息850a到850h。舉例來(lái)說(shuō)，渾濁性檢測(cè)器A 824a可接收位置模態(tài)信息850a。渾濁性檢測(cè)器A 824a可輸出位置模態(tài)渾濁性置信度水平884a(例如基于攝像機(jī)輸入和位置模態(tài)信息的渾濁性置信度水平)。

作為另一實(shí)例，渾濁性檢測(cè)器B 824b可接收方向模態(tài)信息850b。渾濁性檢測(cè)器B824b可輸出方向模態(tài)渾濁性置信度水平884b。

渾濁性檢測(cè)器C 824c可接收一天中的時(shí)間模態(tài)信息850c且可輸出一天中的時(shí)間模態(tài)渾濁性置信度水平884c。渾濁性檢測(cè)器D 824d可接收當(dāng)?shù)靥鞖鈭?bào)告(例如預(yù)告)模態(tài)信息850d且可輸出當(dāng)?shù)靥鞖鈭?bào)告模態(tài)渾濁性置信度水平884d。

渾濁性檢測(cè)器E 824e可接收遠(yuǎn)程裝置圖像模態(tài)信息850e且可輸出遠(yuǎn)程裝置圖像模態(tài)渾濁性置信度水平884e。渾濁性檢測(cè)器F 824f可接收室內(nèi)/室外指示符模態(tài)信息850f且可輸出室內(nèi)/室外模態(tài)渾濁性置信度水平884f。

渾濁性檢測(cè)器G 824a可接收用戶超控指示符模態(tài)信息850g且可輸出用戶超控模態(tài)渾濁性置信度水平884g。渾濁性檢測(cè)器H 824h可接收溫度模態(tài)信息850h且可輸出溫度模態(tài)渾濁性置信度水平884h。

所獲得的模態(tài)渾濁性置信度水平884a到h中的每一者接著可經(jīng)組合以獲得總體渾濁性置信度水平856。舉例來(lái)說(shuō)，模態(tài)渾濁性置信度水平884a到h中的每一者可提供到置信度水平組合器886。舉例來(lái)說(shuō)，置信度水平組合器886可實(shí)施于電子裝置102、202、302的一或多者中(例如處理器104中)。在一些配置中，置信度水平組合器886可通過(guò)平均化模態(tài)渾濁性置信度水平884a到h來(lái)組合模態(tài)渾濁性置信度水平884a到h。在一些配置中，置信度水平組合器886可確定模態(tài)渾濁性置信度水平884a到h的加權(quán)平均值以產(chǎn)生渾濁性置信度水平856。具有并行地運(yùn)行的多個(gè)渾濁性檢測(cè)器824a到h可提供在獲得渾濁性置信度水平856時(shí)減少計(jì)算時(shí)間的優(yōu)點(diǎn)。

應(yīng)注意，可實(shí)施更少或更多渾濁性檢測(cè)器824。舉例來(lái)說(shuō)，可實(shí)施用于一年中的日期模態(tài)信息的渾濁性檢測(cè)器。另外或替代地，可實(shí)施用于空氣污染指數(shù)的渾濁性檢測(cè)器。如上文所描述，可組合來(lái)自檢測(cè)器824中的一或多者的結(jié)果。

圖9是說(shuō)明圖像信號(hào)處理器932的一個(gè)配置的一個(gè)實(shí)例的框圖。圖像信號(hào)處理器932可為結(jié)合圖1和3中的一或多者描述的圖像信號(hào)處理器132、332中的一或多者的一個(gè)實(shí)例。在渾濁性降低期間應(yīng)滿足的一些目標(biāo)可包含增強(qiáng)圖像處理和/或提高相關(guān)聯(lián)應(yīng)用程序(例如ADAS功能性、對(duì)象檢測(cè)、對(duì)象跟蹤、對(duì)象辨識(shí)、自動(dòng)聚焦、深度繪圖和/或3D模型化等)的準(zhǔn)確度。舉例來(lái)說(shuō)，用于渾濁性降低的方法中的一或多者可實(shí)現(xiàn)在預(yù)覽幀期間且在快照之間的一致性且無(wú)閃爍、無(wú)明顯的假影(顏色、噪聲和/或假輪廓)，且/或提高ADAS圖像質(zhì)量和檢測(cè)準(zhǔn)確度。在一些配置中，可控制攝像機(jī)圖像信號(hào)處理器管線中的局部色調(diào)映射(LTM)硬件以降低渾濁性。

圖像傳感器910可捕獲圖像數(shù)據(jù)。結(jié)合圖9描述的圖像傳感器910可為結(jié)合圖1和3中的一或多者描述的圖像傳感器110、310中的一或多者的實(shí)例。圖像數(shù)據(jù)可提供到任選的視頻前端(VFE)988。視頻前端988可執(zhí)行一或多個(gè)預(yù)處理操作。舉例來(lái)說(shuō)，視頻前端988可基于圖像傳感器輸出產(chǎn)生圖像。視頻前端988可將經(jīng)預(yù)處理的圖像數(shù)據(jù)提供到圖像信號(hào)處理器932和統(tǒng)計(jì)數(shù)據(jù)收集器996。

圖像信號(hào)處理器932可包含任選的解壓縮擴(kuò)展器990、局部色調(diào)映射器(LTM)992和/或任選的縮放器/裁剪器994。應(yīng)注意，可在圖像信號(hào)處理器932中實(shí)施更多或更少處理元件。

解壓縮擴(kuò)展器990可對(duì)經(jīng)預(yù)處理的圖像數(shù)據(jù)執(zhí)行解壓縮擴(kuò)展操作。應(yīng)注意，解壓縮擴(kuò)展器990可包含在圖像信號(hào)處理器932和/或視頻前端988中(例如，由圖像信號(hào)處理器932和/或視頻前端988實(shí)施)。

局部色調(diào)映射器992可對(duì)圖像數(shù)據(jù)執(zhí)行局部色調(diào)映射。舉例來(lái)說(shuō)，局部色調(diào)映射可包含將一組顏色映射到不同組的顏色。舉例來(lái)說(shuō)，輸入圖像數(shù)據(jù)的第一動(dòng)態(tài)范圍(例如較高動(dòng)態(tài)范圍)可映射到第二動(dòng)態(tài)范圍(例如較低動(dòng)態(tài)范圍)。在一些配置中，第二動(dòng)態(tài)范圍可對(duì)應(yīng)于顯示器(例如顯示器108)的動(dòng)態(tài)范圍?？蓤?zhí)行局部色調(diào)映射，以致力于將輸入圖像中的對(duì)比度降低到可顯示的范圍內(nèi)且保留顏色。在一些配置中，局部色調(diào)映射器992可將局部色調(diào)映射曲線應(yīng)用于圖像數(shù)據(jù)。特定來(lái)說(shuō)，局部色調(diào)映射器992可增強(qiáng)圖像數(shù)據(jù)的高強(qiáng)度區(qū)域中的局部對(duì)比度(例如，調(diào)整像素的強(qiáng)度值以增加相鄰像素之間的差異，從而潛在地在圖像中更清晰地顯現(xiàn)對(duì)象)。結(jié)合圖10給出關(guān)于局部色調(diào)映射的額外細(xì)節(jié)。

縮放器/裁剪器994可縮放和/或裁剪圖像數(shù)據(jù)。圖像信號(hào)處理器932可因此產(chǎn)生(經(jīng)處理的)攝像機(jī)信號(hào)954。攝像機(jī)信號(hào)954可提供到渾濁性檢測(cè)器924。

渾濁性檢測(cè)器924可為結(jié)合圖1到4和7到8中的一或多者描述的渾濁性檢測(cè)器124、224、324、424、724、824中的一或多者的一個(gè)實(shí)例。如上文所描述，渾濁性檢測(cè)器924可確定渾濁性置信度水平956。渾濁性置信度水平956可提供到局部色調(diào)映射器992。局部色調(diào)映射器992可控制(例如調(diào)整)局部色調(diào)映射以便執(zhí)行渾濁性降低?？刂凭植可{(diào)映射可包含修改一或多個(gè)LTM曲線以增強(qiáng)高強(qiáng)度區(qū)域中的局部對(duì)比度。舉例來(lái)說(shuō)，局部色調(diào)映射器992可針對(duì)較高渾濁性置信度水平956增加LTM曲線的深度，且/或針對(duì)較低渾濁性置信度水平956減小LTM曲線的深度。結(jié)合圖10提供LTM曲線的實(shí)例。

應(yīng)注意，統(tǒng)計(jì)數(shù)據(jù)收集器996可收集經(jīng)預(yù)處理的圖像數(shù)據(jù)的統(tǒng)計(jì)數(shù)據(jù)998。統(tǒng)計(jì)數(shù)據(jù)998可提供到渾濁性檢測(cè)器924。在一些配置中，渾濁性檢測(cè)器924可使用統(tǒng)計(jì)數(shù)據(jù)998作為可用以訓(xùn)練分類器的輸入向量。

圖10包含說(shuō)明局部色調(diào)映射(LTM)函數(shù)(例如曲線)的各個(gè)方面的數(shù)個(gè)圖表1001a到f。舉例來(lái)說(shuō)，圖表1001a到f可涉及輸入和輸出灰度級(jí)?？扇芜x地用不同位數(shù)(例如256或1024)量化輸入和輸出的灰度級(jí)。圖表A1001a和圖表D 100d的相應(yīng)縱軸1003、1073可表示應(yīng)用于照度的調(diào)整值。圖表B 1001b和圖表E 1001e的相應(yīng)縱軸1007、1077可表示應(yīng)用于照度的調(diào)整量。圖表A到B 1001a到b和圖表D到E 1001d到e的水平軸1005、1009、1075、1079可表示照度值。圖表C 1001c和圖表F 1001f可表示從輸入的照度值(在相應(yīng)水平軸1013、1083上)到輸出的照度值(在相應(yīng)縱軸1011、1081上)的最終映射曲線。

舉例來(lái)說(shuō)，圖像信號(hào)處理器132、332(例如局部色調(diào)映射器992)可使用LTM函數(shù)執(zhí)行渾濁性降低。數(shù)字圖像(例如來(lái)自圖像傳感器的圖像數(shù)據(jù)、原始攝像機(jī)信號(hào)、經(jīng)預(yù)處理的圖像數(shù)據(jù)等)可由像素構(gòu)成。每一像素可在一或多個(gè)通道(例如紅色、綠色、藍(lán)色等)中具有強(qiáng)度值。強(qiáng)度值可具有特定范圍(例如，從0到255)。對(duì)于圖像中的每一像素，圖像信號(hào)處理器132、332(例如局部色調(diào)映射器992)可基于相鄰像素的強(qiáng)度調(diào)整通道的一或多者中的像素的強(qiáng)度。圖表A 1001a說(shuō)明LTM主曲線的一個(gè)實(shí)例。LTM主曲線說(shuō)明針對(duì)相鄰像素的不同平均強(qiáng)度(沿著水平軸1005)應(yīng)用于像素的強(qiáng)度(沿著垂直軸1003)的調(diào)整。如所說(shuō)明，圖像信號(hào)處理器132、332可增加低強(qiáng)度區(qū)中的像素的強(qiáng)度且可減小高強(qiáng)度區(qū)中的像素的強(qiáng)度。舉例來(lái)說(shuō)，LTM主曲線中的200附近的凹陷部可用以降低強(qiáng)度水平且增加200的照度水平附近的對(duì)比度。圖表B 1001b說(shuō)明主曲線縮放因子的一個(gè)實(shí)例，且圖表C 1001c說(shuō)明掩碼糾正的一個(gè)實(shí)例。

圖表D 1001d說(shuō)明LTM移位曲線的一個(gè)實(shí)例。LTM移位曲線展示如何基于強(qiáng)度與相鄰像素的平均強(qiáng)度之間的差(沿著水平軸1075)調(diào)整像素的強(qiáng)度(沿著垂直軸1073)。圖表E 1001e說(shuō)明移位曲線縮放因子的一個(gè)實(shí)例，且圖表F 1001f說(shuō)明LTM主曲線的一個(gè)實(shí)例。

可基于渾濁性置信度水平控制LTM主曲線和LTM移位曲線中的一或多者。舉例來(lái)說(shuō)，可隨著渾濁性置信度水平增加而增加對(duì)像素強(qiáng)度的調(diào)整。舉例來(lái)說(shuō)，降低渾濁性可包含增加一或多個(gè)LTM曲線的深度(例如，這是因?yàn)闇啙嵝灾眯哦人皆黾?。

圖11是說(shuō)明渾濁性降低決策的圖表。特定來(lái)說(shuō)，所述圖表說(shuō)明隨時(shí)間1117(以幀為單位(例如，在30幀/秒(fps)下))的渾濁性置信度水平1115。具體來(lái)說(shuō)，一個(gè)曲線圖說(shuō)明來(lái)自前一幀的渾濁性置信度水平1119和經(jīng)平滑化的渾濁性置信度水平1121。舉例來(lái)說(shuō)，電子裝置可平滑化隨時(shí)間1117的渾濁性置信度水平。如圖11中所說(shuō)明，渾濁性降低決策1123可在渾濁性置信度水平1115足夠高(例如大于或等于渾濁性置信度閾值)時(shí)發(fā)生。圖11中的曲線圖可說(shuō)明從ADAS應(yīng)用程序?qū)?jīng)調(diào)整大小圖像采取的渾濁性降低決策。

圖12A是空氣污染指數(shù)地圖1235的實(shí)例。在一些配置中，電子裝置(例如電子裝置102、202、302)可請(qǐng)求和/或接收來(lái)自遠(yuǎn)程裝置(例如遠(yuǎn)程服務(wù)器)的一或多個(gè)位置的空氣污染指數(shù)。舉例來(lái)說(shuō)，電子裝置可請(qǐng)求和/或接收電子裝置所在地區(qū)的空氣污染指數(shù)?？諝馕廴局笖?shù)可為可用以如本文所描述地確定渾濁性可信度值的一種類別的模態(tài)信息?？諝馕廴局笖?shù)地圖1235說(shuō)明具有空氣污染指數(shù)的地圖的一個(gè)實(shí)例。

圖12B是說(shuō)明基于一種類別的模態(tài)信息(空氣污染指數(shù))執(zhí)行渾濁性檢測(cè)的方法的圖式。舉例來(lái)說(shuō)，所述框圖說(shuō)明用于確定空氣污染指數(shù)渾濁性置信度水平1233的一種方法，其中空氣污染指數(shù)渾濁性置信度水平1233是歸一化的空氣污染指數(shù)?？諝馕廴局笖?shù)渾濁性置信度水平1233可為如結(jié)合圖8所描述的模態(tài)渾濁性置信度水平的一個(gè)實(shí)例。

在此實(shí)例中，空氣污染指數(shù)1225(其可例如從遠(yuǎn)程服務(wù)器檢索)可提供到歸一化器1227。特定來(lái)說(shuō)，空氣污染指數(shù)地圖1235提供可由電子裝置獲得的空氣污染指數(shù)的實(shí)例。歸一化器1227可歸一化空氣污染指數(shù)1225以產(chǎn)生原始空氣污染指數(shù)渾濁性水平1229。在一些配置中，可根據(jù)以下等式確定原始空氣污染指數(shù)渾濁性水平1229：其中Raw是原始空氣污染指數(shù)渾濁性水平1229，AirPollutionIndex是空氣污染指數(shù)1225，MinPollutionIndexThd是最小空氣污染指數(shù)閾值，且MaxPollutionIndexThd是最大空氣污染指數(shù)閾值。在一些配置中，原始空氣污染指數(shù)渾濁性水平1229可提供到箝位器1231(函數(shù))。箝位器1231可將原始空氣污染指數(shù)渾濁性水平1229變換到給出范圍(例如[0,1])內(nèi)。箝位器1231可提供空氣污染指數(shù)渾濁性置信度水平1233。

確定空氣污染指數(shù)渾濁性置信度水平的另一方法可為機(jī)器學(xué)習(xí)方法：使用回歸產(chǎn)生將空氣污染指數(shù)連結(jié)到空氣污染指數(shù)渾濁性置信度水平(例如可見(jiàn)濁度計(jì)分)的一維函數(shù)?？捎涗洈?shù)據(jù)標(biāo)記和空氣污染指數(shù)以便訓(xùn)練回歸因子。結(jié)合回歸圖表1245說(shuō)明此方法?；貧w圖表1245說(shuō)明對(duì)空氣污染指數(shù)1239的濁度計(jì)分1237。特定來(lái)說(shuō)，回歸圖表1245說(shuō)明濁度計(jì)分回歸1241和線性濁度計(jì)分1243。

圖13說(shuō)明根據(jù)本文中所揭示的系統(tǒng)和方法的在渾濁性降低之前1347和在渾濁性降低之后1349的圖像的實(shí)例。具體來(lái)說(shuō)，頂部圖像是渾濁性降低1347之前的圖像的實(shí)例，具有大約50米(m)的可視性。下部圖像說(shuō)明在渾濁性降低之后1349的圖像的實(shí)例，其說(shuō)明能見(jiàn)度的顯著改良。本文中所揭示的系統(tǒng)和方法的一些配置可應(yīng)用于交通標(biāo)志和/或車道檢測(cè)。舉例來(lái)說(shuō)，汽車可與本文中所揭示的系統(tǒng)和方法一起實(shí)施。在渾濁情境中，本文中所揭示的系統(tǒng)和方法可提供渾濁性檢測(cè)和渾濁性降低。經(jīng)去濁的圖像可使得電子裝置(例如汽車)能夠以更大準(zhǔn)確度檢測(cè)和/或跟蹤街道標(biāo)志和/或車道條紋。

圖14說(shuō)明可包含在經(jīng)配置以實(shí)施本文中所揭示的系統(tǒng)和方法的各種配置的電子裝置1402內(nèi)的特定組件。電子裝置1402可為接入終端、移動(dòng)站、用戶設(shè)備(UE)、基站、接入點(diǎn)、廣播發(fā)射器、節(jié)點(diǎn)B(node B)、演進(jìn)的節(jié)點(diǎn)B等。電子裝置1402可根據(jù)本文中所描述的電子裝置102、202、302中的一或多者實(shí)施。電子裝置1402包含處理器1469。處理器1469可為通用單芯片或多芯片微處理器(例如ARM)、專用微處理器(例如數(shù)字信號(hào)處理器(DSP))、微控制器、可編程門(mén)陣列等。處理器1469可被稱為中央處理單元(CPU)。盡管在電子裝置1402中僅展示單個(gè)處理器1469，但在替代性配置中，可使用處理器的組合(例如ARM與DSP)。

電子裝置1402還包含存儲(chǔ)器1451。存儲(chǔ)器1451可為能夠存儲(chǔ)電子信息的任何電子組件。存儲(chǔ)器1451可體現(xiàn)為隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、磁盤(pán)存儲(chǔ)媒體、光學(xué)存儲(chǔ)媒體、RAM中的快閃存儲(chǔ)器裝置、隨處理器包含的板上存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器等，包含所述裝置的組合。

數(shù)據(jù)1453a和指令1455a可存儲(chǔ)于存儲(chǔ)器1451中。指令1455a可由處理器1469執(zhí)行以實(shí)施本文中所揭示的方法500、600中的一或多者。執(zhí)行指令1455a可涉及使用存儲(chǔ)于存儲(chǔ)器1451中的數(shù)據(jù)1453a。當(dāng)處理器1469執(zhí)行指令1455a時(shí)，指令1455b的各個(gè)部分可被加載到處理器1469上，且數(shù)據(jù)1453b的各個(gè)段可被加載到處理器1469上。

電子裝置1402還可包含發(fā)射器1457和接收器1459以允許將信號(hào)發(fā)射到電子裝置1402以及從電子裝置1402接收信號(hào)。發(fā)射器1457和接收器1459可統(tǒng)稱為收發(fā)器1461。多個(gè)天線1463a到b可電耦合到收發(fā)器1461。電子裝置1402還可包含(未示出)多個(gè)發(fā)射器、多個(gè)接收器、多個(gè)收發(fā)器和/或額外的天線。

電子裝置1402可包含數(shù)字信號(hào)處理器(DSP)1465。電子裝置1402還可包含通信接口1467。通信接口1467可使得電子裝置/無(wú)線裝置1402能夠與一或多個(gè)其它裝置和/或用戶通信。舉例來(lái)說(shuō)，通信接口1467可包含用于裝置間通信的一或多個(gè)有線和/或無(wú)線接口。在一些配置中，收發(fā)器1461可包含在通信接口1467中。另外或替代地，通信接口1467可包含一或多個(gè)其它輸入/輸出接口(例如觸摸屏、鼠標(biāo)端口等)。

電子裝置1402的各種組件可通過(guò)一或多個(gè)總線1471耦合在一起，所述一或多個(gè)總線可包含電力總線、控制信號(hào)總線、狀態(tài)信號(hào)總線、數(shù)據(jù)總線等。為清楚起見(jiàn)，各種總線在圖14中被說(shuō)明為總線系統(tǒng)1471。

術(shù)語(yǔ)“確定”涵蓋多種動(dòng)作，且因此“確定”可包含計(jì)算、運(yùn)算、處理、導(dǎo)出、調(diào)查、查找(例如，在表、數(shù)據(jù)庫(kù)或另一數(shù)據(jù)結(jié)構(gòu)中查找)、斷定及類似者。并且，“確定”可包含接收(例如，接收信息)、存取(例如，在存儲(chǔ)器中存取數(shù)據(jù))及類似者。并且，“確定”可包括解析、選擇、挑選、建立及類似者。

除非以其它方式明確地指定，否則短語(yǔ)“基于”并不意味著“僅基于”。換句話說(shuō)，短語(yǔ)“基于”描述“僅基于”與“至少基于”兩者。

術(shù)語(yǔ)“處理器”應(yīng)廣義上解釋為涵蓋通用處理器、中央處理單元(CPU)、微處理器、數(shù)字信號(hào)處理器(DSP)、控制器、微控制器、狀態(tài)機(jī)等。在一些情況下，“處理器”可以指代專用集成電路(ASIC)、可編程邏輯裝置(PLD)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)等。術(shù)語(yǔ)“處理器”可指代處理裝置的組合，例如DSP和微處理器的組合、多個(gè)微處理器的組合、一或多個(gè)微處理器結(jié)合DSP核心，或任何其它此類配置。

術(shù)語(yǔ)“存儲(chǔ)器”應(yīng)廣義上解釋為涵蓋能夠存儲(chǔ)電子信息的任何電子組件。術(shù)語(yǔ)存儲(chǔ)器可指各種類型的處理器可讀媒體，例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、可編程只讀存儲(chǔ)器(PROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可抹除PROM(EEPROM)、快閃存儲(chǔ)器、磁性或光學(xué)數(shù)據(jù)存儲(chǔ)器、寄存器等。如果處理器可從存儲(chǔ)器讀取信息和/或?qū)⑿畔?xiě)入到存儲(chǔ)器，那么存儲(chǔ)器被稱為與處理器電子通信。與處理器成一體的存儲(chǔ)器與處理器電子通信。

術(shù)語(yǔ)“指令”和“代碼”應(yīng)該廣義地解釋為包含任何類型的計(jì)算機(jī)可讀語(yǔ)句。舉例來(lái)說(shuō)，術(shù)語(yǔ)“指令”和“代碼”可指代一或多個(gè)程序、例程、子例程、函數(shù)、過(guò)程等?！爸噶睢焙汀按a”可以包括單個(gè)計(jì)算機(jī)可讀語(yǔ)句或許多計(jì)算機(jī)可讀語(yǔ)句。

本文中所描述的功能可在通過(guò)硬件執(zhí)行的軟件或固件中實(shí)施。所述功能可以存儲(chǔ)為計(jì)算機(jī)可讀媒體上的一或多個(gè)指令。術(shù)語(yǔ)“計(jì)算機(jī)可讀媒體”或“計(jì)算機(jī)程序產(chǎn)品”指代計(jì)算機(jī)或處理器可存取的任何有形存儲(chǔ)媒體。作為實(shí)例而非限制，計(jì)算機(jī)可讀媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光盤(pán)存儲(chǔ)裝置、磁盤(pán)存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或可用于運(yùn)載或存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。如本文所使用，磁盤(pán)及光盤(pán)包含壓縮光盤(pán)(CD)、激光光盤(pán)、光學(xué)光盤(pán)、數(shù)字多功能光盤(pán)(DVD)、軟性磁盤(pán)及Blu-光盤(pán)，其中磁盤(pán)通常以磁性方式復(fù)制數(shù)據(jù)，而光盤(pán)用激光以光學(xué)方式復(fù)制數(shù)據(jù)。應(yīng)注意，計(jì)算機(jī)可讀媒體可為有形且非暫時(shí)性的。術(shù)語(yǔ)“計(jì)算機(jī)程序產(chǎn)品”是指計(jì)算裝置或處理器，其與可由計(jì)算裝置或處理器執(zhí)行、處理或計(jì)算的代碼或指令(例如，“程序”)組合。如本文中所使用，術(shù)語(yǔ)“代碼”可指可由計(jì)算裝置或處理器執(zhí)行的軟件、指令、代碼或數(shù)據(jù)。

還可通過(guò)傳輸媒體傳輸軟件或指令。舉例來(lái)說(shuō)，如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線路(DSL)或無(wú)線技術(shù)(例如，紅外線、無(wú)線電及微波)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，那么同軸電纜、光纖電纜、雙絞線、DSL或無(wú)線技術(shù)(例如，紅外線、無(wú)線電及微波)包含在傳輸媒體的定義中。

本文中所揭示的方法包括用于達(dá)成所描述的方法的一或多個(gè)步驟或動(dòng)作。在不偏離權(quán)利要求書(shū)的范圍的情況下，所述方法步驟和/或動(dòng)作可彼此互換。換句話說(shuō)，除非正描述的方法的適當(dāng)操作需要步驟或動(dòng)作的特定次序，否則，在不脫離權(quán)利要求書(shū)的范圍的情況下，可修改特定步驟及/或動(dòng)作的次序及/或使用。

另外，應(yīng)了解，用于執(zhí)行本文中所描述的方法和技術(shù)(例如，圖5和6所說(shuō)明的那些方法和技術(shù))的模塊和/或其它適當(dāng)裝置可由裝置下載和/或以其它方式獲得。舉例來(lái)說(shuō)，裝置可耦合到服務(wù)器以促進(jìn)用于執(zhí)行本文中所描述的方法的裝置的傳遞。替代地，可經(jīng)由存儲(chǔ)裝置(例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、物理存儲(chǔ)媒體，例如壓縮光盤(pán)(CD)或軟性磁盤(pán)等)提供本文中所描述的各種方法，使得在將存儲(chǔ)裝置耦合或提供到裝置后，所述裝置可即刻獲得各種方法。

應(yīng)理解，所附權(quán)利要求書(shū)不限于上文所說(shuō)明的精確配置和組件。在不脫離權(quán)利要求書(shū)的范圍的情況下，可在本文中所描述的系統(tǒng)、方法和設(shè)備的配置、操作和細(xì)節(jié)方面進(jìn)行各種修改、改變和變化。