6可向梯度比例圖內(nèi)的每一像素 位置指派正值或負(fù)值。舉例來(lái)說(shuō)，正值可指示存在邊緣或?qū)ο筮吔纾渚哂锌梢?jiàn)光圖像和 NIR圖像兩者中的類(lèi)似梯度方向向量。負(fù)值可指示可見(jiàn)光圖像和NIR圖像兩者中存在邊緣， 但NIR圖像中的局部梯度向量的方向相對(duì)于可見(jiàn)光圖像中的局部梯度向量反轉(zhuǎn)。值0可指 示例如歸因于源自NIR閃光燈的高光和陰影因此NIR圖像中存在可見(jiàn)光圖像中不存在的邊 緣，或例如歸因于場(chǎng)景中的對(duì)象對(duì)紅和紅外光的不同反射特性因此可見(jiàn)光圖像中存在NIR 圖像中不存在的邊緣或結(jié)構(gòu)。
[0042] 去噪模塊128可經(jīng)編程以從梯度比例圖產(chǎn)生模塊126接收梯度比例圖值且利用此 些值對(duì)可見(jiàn)光圖像去噪。在一些實(shí)施例中，可基于梯度比例圖中逐像素值的分析產(chǎn)生用于 通過(guò)梯度傳遞進(jìn)行去噪的最佳比率圖。當(dāng)建構(gòu)最佳比率圖時(shí)，去噪模塊128可考慮例如自 適應(yīng)平滑、邊緣保留和引導(dǎo)強(qiáng)度操縱等圖像質(zhì)量增強(qiáng)因素。最佳比率圖可表示來(lái)自NIR圖 像的去噪模塊128可應(yīng)用于每一像素處的可見(jiàn)光圖像的引導(dǎo)量。
[0043] 在一些實(shí)施例中，去噪模塊128可進(jìn)一步經(jīng)編程以對(duì)可見(jiàn)光圖像執(zhí)行迭代去噪過(guò) 程。舉例來(lái)說(shuō)，經(jīng)去噪可見(jiàn)光圖像可與NIR圖像一起發(fā)送回到梯度比例圖產(chǎn)生模塊126以 便產(chǎn)生表示經(jīng)去噪可見(jiàn)光圖像和NIR圖像中的梯度向量場(chǎng)之間的類(lèi)似性和差異的經(jīng)更新 梯度比例圖。去噪模塊128可使用此經(jīng)更新梯度比例圖來(lái)進(jìn)一步對(duì)經(jīng)去噪可見(jiàn)圖像去噪。 在一些實(shí)施例中，此過(guò)程可重復(fù)直至經(jīng)更新梯度比例圖相對(duì)于先前梯度比例圖的變化小于 閾值量為止。在一些實(shí)施例中，所述過(guò)程可重復(fù)直至所產(chǎn)生的經(jīng)去噪可見(jiàn)光圖像相對(duì)于用 于構(gòu)造經(jīng)更新梯度比例圖的可見(jiàn)光圖像的變化小于閾值量為止。
[0044] 討稈概沐
[0045] 圖2為根據(jù)一個(gè)實(shí)施方案用于俘獲特定場(chǎng)景的多光譜圖像數(shù)據(jù)的方法200的流程 圖。所說(shuō)明的方法200在框205中開(kāi)始，其中激活NIR和可見(jiàn)光傳感器。舉例來(lái)說(shuō)，參看圖 1，用戶(hù)可使成像系統(tǒng)100通電和/或啟動(dòng)以啟用傳感器來(lái)俘獲場(chǎng)景。在各種實(shí)施方案中， 可接合移動(dòng)裝置上的圖標(biāo)以激活NIR和可見(jiàn)光傳感器115和117。方法隨后移動(dòng)到框210， 其中由可見(jiàn)光傳感器俘獲可見(jiàn)光圖像且由NIR傳感器俘獲NIR圖像。在各種布置中，閃光 燈（例如，可見(jiàn)和/或NIR閃光燈）可用于照明所述場(chǎng)景。
[0046] 在俘獲場(chǎng)景的可見(jiàn)光和NIR圖像之后，過(guò)程200移動(dòng)到框215,其中可使NIR圖像 和可見(jiàn)光圖像相對(duì)于圖1的圖像對(duì)準(zhǔn)模塊124對(duì)準(zhǔn)。通過(guò)準(zhǔn)確地對(duì)準(zhǔn)圖像，可減少或消除 由未對(duì)準(zhǔn)造成的圖像假影。經(jīng)對(duì)準(zhǔn)圖像可裁剪到重疊區(qū)用于后續(xù)處理。
[0047] 過(guò)程200隨后移動(dòng)到框230,其中產(chǎn)生表示NIR和可見(jiàn)光圖像的梯度向量場(chǎng)之間的 差異和類(lèi)似性的梯度比例圖。如上文所描述，可通過(guò)計(jì)算NIR和可見(jiàn)光圖像的每一像素的 梯度向量方向與梯度向量量值之間的差而產(chǎn)生梯度比例圖。
[0048] 接下來(lái)，在框225處，梯度比例圖用于圖像處理。舉例來(lái)說(shuō)，梯度比例圖可用于確 定從NIR圖像應(yīng)用到可見(jiàn)光圖像以用于對(duì)可見(jiàn)光圖像去噪的引導(dǎo)水平。在一些實(shí)施例中， 梯度比例圖可用于對(duì)可見(jiàn)光圖像去霧或去模糊，從而增加可見(jiàn)光圖像中的銳度或?qū)Ρ榷龋?或用于皮膚平滑應(yīng)用。
[0049] 過(guò)程200隨后移動(dòng)到?jīng)Q策框230,以確定是否將處理額外圖像。如果在決策框230 中作出將處理額外圖像的決策，那么方法200返回到框210以俘獲額外NIR圖像數(shù)據(jù)和可 見(jiàn)光圖像數(shù)據(jù)。如果在決策框230中作出無(wú)額外圖像待處理的決策，那么方法200終止。
[0050] NIR和RGB梯度概沭
[0051] 圖3A說(shuō)明實(shí)例可見(jiàn)光圖像300和實(shí)例NIR圖像310。在此實(shí)例中，可見(jiàn)光圖像300 論述為RGB圖像，然而可見(jiàn)光圖像300還可為灰度。圖3B說(shuō)明圖3A的RGB圖像300的紅、 綠和藍(lán)通道的各種區(qū)以及由圖3A的圖像上方的矩形邊界320、330和340標(biāo)注的NIR圖像 310的對(duì)應(yīng)區(qū)的放大視圖。使用NIR圖像310來(lái)引導(dǎo)RGB圖像300的去噪可形成與RGB圖 像的每一通道（紅、綠和藍(lán)通道）相比在細(xì)節(jié)分布和強(qiáng)度形成方面的顯著差異。針對(duì)幾乎 所有像素存在RGB 300與NIR 310圖像之間的邊緣結(jié)構(gòu)和梯度不一致，如圖3A和3B中所 說(shuō)明和下文更詳細(xì)論述。
[0052] 可存在的一個(gè)結(jié)構(gòu)不一致為梯度量值變化。作為一實(shí)例，如區(qū)域320的放大視圖 中所展示，書(shū)封面上的字母'D'在NIR圖像310中與RGB圖像300中相比以低得多的對(duì)比 度俘獲。此效果可歸因于對(duì)紅外和可見(jiàn)光的不同反射特性。
[0053] 梯度方向發(fā)散為另一結(jié)構(gòu)不一致，其中RGB圖像300中的一些梯度方向向量可相 對(duì)于沿著NIR圖像310中的對(duì)應(yīng)邊緣定位的梯度方向向量反轉(zhuǎn)。為了說(shuō)明，書(shū)封面的下部 區(qū)域330的紅通道、綠通道和藍(lán)通道在圖3B中與相同區(qū)域330的NIR通道相比而說(shuō)明。兩 個(gè)圖像的梯度向量方向反轉(zhuǎn)；也就是說(shuō)，紅、綠和藍(lán)通道中的下部像素區(qū)與上部像素區(qū)相比 較亮，而在NIR圖像中上部像素區(qū)與下部像素區(qū)相比較亮。上部和下部圖像區(qū)中的像素大 大改變其相對(duì)強(qiáng)度水平，但在RGB和NIR圖像中是在相反方向中。
[0054] 另一結(jié)構(gòu)不一致為梯度損耗，其中RGB圖像300中呈現(xiàn)的一些梯度可能在NIR圖 像310中完全丟失。如圖3B的最后行中所展示，Tewel Scarabs書(shū)封面的R 340中的紅、 綠和藍(lán)通道中可見(jiàn)的文本從NIR圖像的相同區(qū)340全部不見(jiàn)。此梯度損耗還可歸因于場(chǎng)景 中的對(duì)象對(duì)紅外和可見(jiàn)光的不同反射。盡管未說(shuō)明，RGB和NIR圖像中的像素區(qū)之間可存 在其它結(jié)構(gòu)不一致，其例如源自存在于相應(yīng)圖像中的高光或陰影的差異（歸因于其不同照 明源）。
[0055] 大體來(lái)說(shuō)，NIR圖像光的內(nèi)容可與對(duì)應(yīng)可見(jiàn)光圖像相比產(chǎn)生較好對(duì)比度且攜載更 豐富細(xì)節(jié)水平，其產(chǎn)生使用NIR圖像作為引導(dǎo)圖像來(lái)增強(qiáng)RGB圖像的質(zhì)量的較大可能性。然 而，歸因于上文所論述的結(jié)構(gòu)不一致，顯然，并非NIR圖像的所有區(qū)適合用于增強(qiáng)RGB圖像 中的對(duì)應(yīng)區(qū)。為避免歸因于RGB和NIR圖像之間的結(jié)構(gòu)不一致的引導(dǎo)問(wèn)題，本文中所描述 的去噪方法采用梯度比例圖來(lái)描述兩個(gè)圖像的梯度場(chǎng)之間的關(guān)系。
[0056] 梯度比例圖概沭
[0057] 圖4為說(shuō)明用于產(chǎn)生梯度比例圖且使用所述梯度比例圖用于去噪的方法的實(shí)施 例的流程圖。如上文所論述，可產(chǎn)生梯度比例圖以較好地處置可見(jiàn)光與NIR圖像之間的結(jié) 構(gòu)的固有偏差。在一些實(shí)施例中，梯度比例映射可被定義為如下：
[0058] min| I ▽ Γ-s · ▽ G| I 〇 (1)
[0059] 其中▽是形成具有X-和y_方向梯度的向量的運(yùn)算子，I*是地面實(shí)況圖像，其表 示最佳經(jīng)去噪可見(jiàn)光圖像，且G為用作去噪過(guò)程中的引導(dǎo)圖像的NIR圖像。在一些實(shí)施例 中，梯度比例圖s可表示NIR和地面實(shí)況圖像的梯度場(chǎng)之間的比例或比率圖。其可具有對(duì) 應(yīng)于▽G與▽?duì)Ｖg的結(jié)構(gòu)偏差的幾個(gè)獨(dú)特特性。
[0060] 過(guò)程400開(kāi)始于框405,此時(shí)接收RGB圖像I。（其可為有噪聲的圖像）的圖像數(shù)據(jù) 以及對(duì)應(yīng)NIR閃光燈圖像G的圖像數(shù)據(jù)（其可具有可忽略的噪聲）。為了從恢復(fù)梯度比例 圖s和從I?；謴?fù)移除了噪聲且根據(jù)G保持結(jié)構(gòu)的清晰圖像I，同時(shí)保留I。的總體視覺(jué)外觀， 過(guò)程400隨后移動(dòng)到框410以確定NIR和RGB圖像兩者中每一像素的X和y方向梯度向量。 在一些實(shí)施例中，此可通過(guò)將水平和垂直線(xiàn)性卷積濾波器應(yīng)用到NIR和RGB的像素塊（如 上文所描述）以獲得每一塊中的中心像素的梯度向量值來(lái)實(shí)現(xiàn)。在一些實(shí)施例中，圍繞中 心像素的至少四個(gè)像素可用于計(jì)算中心像素的梯度向量值，然而可使用更多像素。舉例來(lái) 說(shuō)，每一像素的梯度向量值可被定義為坐標(biāo)對(duì)，例如（X，y)，且坐標(biāo)對(duì)的"X"變量的值可指 示梯度在右還是左方向中增加，且坐標(biāo)對(duì)的"y"變量的值可指示梯度在向上還是向下方向 中增加（相對(duì)于圖像的定向）。
[0061] 在計(jì)算NIR圖像和RGB圖像的梯度向量之后，過(guò)程400移動(dòng)到框420,其中從梯度 向量計(jì)算梯度比例圖值。在一些實(shí)施例中，梯度比例圖可為NIR和RGB梯度向量中的值之 間的比率。在一些實(shí)施例中，梯度比例圖可包含每一像素位置的正值或負(fù)值。舉例來(lái)說(shuō)，正 值可指示存在具有可見(jiàn)光圖像和NIR圖像兩者中的類(lèi)似梯度方向的邊緣，而負(fù)值可指示可 見(jiàn)光圖像和NIR圖像兩者中存在邊緣但NIR圖像中的局部梯度向量的方向相對(duì)于可見(jiàn)光圖 像中的局部梯度向量反轉(zhuǎn)。值〇可指示例如歸因于源自NIR閃光燈的高光和陰影因此NIR 圖像中存在可見(jiàn)光圖像中不存在的邊緣，或例如歸因于圖像中的材料對(duì)可見(jiàn)和近紅外光的 不同反射特性因此NIR圖像中不存在可見(jiàn)光圖像中存在的邊緣。
[0062] 接下來(lái)，過(guò)程400移動(dòng)到框425以使用梯度比例圖值來(lái)引導(dǎo)可見(jiàn)光圖像I。的去噪。 使用梯度比例圖s從I。獲得經(jīng)去噪圖像I的問(wèn)題可公式化為求以下條件概率的最大值。
[0063]
[0064] 此處，假定P (I)為均一分布。通過(guò)取兩側(cè)的負(fù)對(duì)數(shù)，等式（2)可重寫(xiě)為
[0065] E (s，I) = E1 (s，I) + λ E2 (I) + β E3 (s)。 (3)
[0066] 等式（3)含有三項(xiàng)=E1U I)是s和I的數(shù)據(jù)項(xiàng)，表示使用s使所估計(jì)圖像I與引 導(dǎo)圖像G相關(guān)的成本；E2(I)是的I日期項(xiàng)，表示所估計(jì)圖像與輸入有噪聲圖像I。偏差多少； 且^( 8)是s的正規(guī)化項(xiàng)，強(qiáng)制對(duì)s的平滑的損失。此處