在此公開的本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)，具體地說，涉及用于使用神經(jīng)網(wǎng)絡(luò)執(zhí)行圖像信號處理的技術(shù)。

背景技術(shù)：

成像傳感器的廣泛可用性已經(jīng)允許制造商在很多裝置中包括成像能力。例如，難以找到不包括數(shù)字相機的蜂窩電話。盡管用于成像傳感器的制造成本已經(jīng)大大減小并且用于成像的技術(shù)已經(jīng)大大提高，但是圖像信號處理仍是個挑戰(zhàn)。

一般地，圖像信號處理已經(jīng)要求為特定的成像傳感器而構(gòu)造的專用組件。專用圖像信號處理器的發(fā)展可能是非常昂貴的。例如，必須寫入大量的計算機代碼以處理圖像。寫入這樣的代碼涉及用于執(zhí)行處理的調(diào)整和設(shè)計的許多專門知識。此外，這樣的代碼必須為各個傳感器量身定制，并且可能需要針對特定的用戶而定制。使事情更復雜的是，這樣的代碼不考慮在制造過程中可能產(chǎn)生的一組成像傳感器的制造變異性。

除了增加的制造成本和復雜度以外，專用于圖像信號處理的特定的芯片集可能相對固定并且不能很好地適合所有環(huán)境。因此，包括在成像裝置中的圖像信號處理能力越高，裝置內(nèi)所需的相關(guān)聯(lián)的成本和空間越高。

需要改進的技術(shù)來更加高效地提供圖像信號處理。該技術(shù)應(yīng)該利用常見的資源，諸如，多用處理器和存儲器。優(yōu)選地，該技術(shù)應(yīng)該是高度靈活的，使得該技術(shù)可被容易地改進。

技術(shù)實現(xiàn)要素：

在一個實施例中，提供一種圖像信號處理(isp)系統(tǒng)。所述系統(tǒng)包括通過輸入原始數(shù)據(jù)圖像的集以及相關(guān)的期望質(zhì)量的輸出圖像的集訓練的神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)包括用于接收輸入圖像數(shù)據(jù)的輸入，并且提供處理的輸出；其中，處理的輸出包括已經(jīng)針對至少一個圖像質(zhì)量屬性調(diào)整的輸入圖像數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)可包括卷積神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)可通過反向傳播技術(shù)被訓練。神經(jīng)網(wǎng)絡(luò)可被配置為被下載到移動成像裝置。所述至少一個圖像質(zhì)量屬性可包括：圖像大小、縱橫比、亮度、強度、位深度、白度值、動態(tài)范圍、灰階、輪廓、平滑、斑點、顏色空間值、交錯、校正、伽馬校正、邊緣增強、對比度增強、銳度和去馬賽克。

在另一實施例中，提供一種用于提供圖像信號處理(isp)系統(tǒng)的方法。所述方法包括：配置用于圖像處理的神經(jīng)網(wǎng)絡(luò)；使用原始數(shù)據(jù)圖像的集和期望質(zhì)量輸出圖像的集來訓練神經(jīng)網(wǎng)絡(luò)，其中，原始數(shù)據(jù)圖像的集中的圖像與期望質(zhì)量的輸出圖像的集中的圖像相關(guān)；配置訓練的神經(jīng)網(wǎng)絡(luò)來接收輸入圖像數(shù)據(jù)并且提供處理的輸出數(shù)據(jù)，其中，處理的輸出包括已經(jīng)針對至少一個圖像質(zhì)量屬性調(diào)整的輸入圖像數(shù)據(jù)。

所述方法還可包括通過反向傳播來訓練神經(jīng)網(wǎng)絡(luò)。所述方法還可包括使用成像裝置來采集原始圖像數(shù)據(jù)的集。所述方法還可包括：處理原始圖像數(shù)據(jù)的集，以提供將被用作期望質(zhì)量輸出圖像的集的傳統(tǒng)處理的圖像數(shù)據(jù)的集。所述傳統(tǒng)處理指通過使用不采用神經(jīng)網(wǎng)絡(luò)的典型圖像處理方法來處理圖像數(shù)據(jù)。所述方法還可包括使用參考成像裝置來采集期望質(zhì)量的輸出圖像的集。所述方法還可包括具有期望質(zhì)量輸出圖像中的至少一些的屬性參考數(shù)據(jù)。訓練的步驟可在遠程系統(tǒng)上執(zhí)行，并且配置訓練的神經(jīng)網(wǎng)絡(luò)的步驟包括將神經(jīng)網(wǎng)絡(luò)下載到成像裝置。所述至少一個圖像質(zhì)量屬性可包括：圖像大小、縱橫比、亮度、強度、位深度、白度值、動態(tài)范圍、灰階、輪廓、平滑、斑點、顏色空間值、交錯、校正、伽馬校正、邊緣增強、對比度增強、銳度和去馬賽克。

在另一實施例中，提供一種成像裝置。所述裝置包括：成像傳感器、處理器和存儲器；以及圖像信號處理(isp)系統(tǒng)，包括：存儲在非暫時性機器可讀介質(zhì)上的機器可執(zhí)行的指令，所述指令包括通過輸入原始數(shù)據(jù)圖像的集和相關(guān)的期望質(zhì)量的輸出圖像的集來訓練的神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)包括用于從成像傳感器接收輸入圖像數(shù)據(jù)的輸入并且提供處理的輸出；其中，處理的輸出包括已經(jīng)針對至少一個圖像質(zhì)量屬性調(diào)整的輸入圖像數(shù)據(jù)。

所述成像裝置可包括智能電話、平板計算機、照相機和醫(yī)學成像裝置中的一個。圖像信號處理(isp)系統(tǒng)可被提供作為補充傳統(tǒng)的圖像信號處理系統(tǒng)和代替?zhèn)鹘y(tǒng)的圖像信號處理系統(tǒng)之一。所述成像裝置還可被配置用于與遠程系統(tǒng)進行通信，以在所述成像裝置與遠程系統(tǒng)之間分配計算任務(wù)。所述成像裝置還可被配置用于周期的重新訓練。所述成像裝置還可被配置用于通用成像、醫(yī)學成像、安全成像和產(chǎn)品成像中的一個?？赏ㄟ^反向傳播來執(zhí)行訓練。

所述成像裝置可被重新配置以更新圖像信號處理系統(tǒng)。重新配置的操作可(例如)根據(jù)裝置的地理位置，通過與遠程系統(tǒng)通信自動地完成。重新配置的操作可根據(jù)用戶的偏好通過與遠程系統(tǒng)通信來完成。

附圖說明

從下面結(jié)合附圖的描述，本公開的特征和優(yōu)點是顯而易見的，其中：

圖1是適合于實現(xiàn)在此公開的神經(jīng)網(wǎng)絡(luò)的實施例的計算資源的框圖；

圖2是描述神經(jīng)網(wǎng)絡(luò)的廣義方面的示圖；

圖3是描述用于圖像信號處理的神經(jīng)網(wǎng)絡(luò)的實施方式的方面的示圖；

圖4是描述用于圖像信號處理的神經(jīng)網(wǎng)絡(luò)的實施方式的方面的另一示圖；

圖5是描述用于訓練神經(jīng)網(wǎng)絡(luò)以執(zhí)行圖像信號處理的神經(jīng)網(wǎng)絡(luò)的示例性處理的方面的示圖；

圖6是用于圖像信號處理的神經(jīng)網(wǎng)絡(luò)的示例的說明；

圖7a、圖7b、圖7c和圖7d(在此共同地稱為圖7)是圖形圖像的集合的代表，其中，圖7a描述輸入圖像；圖7b描述參考圖像；圖7c描述現(xiàn)有技術(shù)中的圖像信號處理器的狀態(tài)的輸出；圖7d描述被配置用于圖像信號處理的神經(jīng)網(wǎng)絡(luò)的輸出；

圖8a、圖8b、圖8c和圖8d(在此共同地稱為圖8)是圖形圖像的另一集合的代表，其中，圖8a描述輸入圖像；圖8b描述參考圖像；圖8c描述現(xiàn)有技術(shù)中的圖像信號處理器的狀態(tài)的輸出；圖8d描述被配置用于圖像信號處理的神經(jīng)網(wǎng)絡(luò)的輸出；

圖9a和圖9b(在此共同地稱為圖9)是圖形圖像的另一集合(圖8)的一部分的放大的示圖的代表，其中，圖9a描述現(xiàn)有技術(shù)中的圖像信號處理器的狀態(tài)的輸出；圖9b描述被配置用于圖像信號處理的神經(jīng)網(wǎng)絡(luò)的輸出。

具體實施方式

在此公開了使用神經(jīng)網(wǎng)絡(luò)執(zhí)行圖像信號處理(isp)的技術(shù)。該技術(shù)可提供高質(zhì)量圖像信號處理(isp)，其中，高質(zhì)量圖像信號處理(isp)利用多用組件(諸如，中央處理器(cpu)、存儲器、通信能力)以及通常在很多電子裝置內(nèi)發(fā)現(xiàn)的其他組件。例如，技術(shù)可利用在蜂窩電話或以低端、消費者為導向的數(shù)字相機內(nèi)發(fā)現(xiàn)的多用組件。

作為概述，技術(shù)的實施例一般利用神經(jīng)網(wǎng)絡(luò)來執(zhí)行圖像信號處理(isp)。為神經(jīng)網(wǎng)絡(luò)的有效學習和輸出圖像的優(yōu)化提供實施例。

根據(jù)這里的教導訓練的神經(jīng)網(wǎng)絡(luò)可用于與圖像信號處理相關(guān)聯(lián)的各種計算復雜的任務(wù)。例如，神經(jīng)網(wǎng)絡(luò)可用于處理用于對象識別的圖像。可為面部識別、筆跡分析、醫(yī)學圖像分析以及需要分析圖像以識別圖像中的對象和特征的其他任務(wù)提供對象識別。處理的圖像可用于各種任務(wù)(諸如，環(huán)境監(jiān)視)，以控制產(chǎn)品和制造、幫助醫(yī)療診斷和各種其他相似的處理。

為了給這里的教導提供一些背景，現(xiàn)在介紹一些方面。

如在此討論的，術(shù)語“神經(jīng)網(wǎng)絡(luò)”一般表示實現(xiàn)具有自適應(yīng)特性并且在機器學習中是有用的統(tǒng)計學習算法的軟件。神經(jīng)網(wǎng)絡(luò)可包括連接在一起以形成模擬生物神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)的多個人工節(jié)點(被稱為“神經(jīng)元”、“處理元件”、“單元”或其他相似的術(shù)語)。通常，神經(jīng)網(wǎng)絡(luò)包括自適應(yīng)權(quán)重(即，通過學習算法調(diào)整的數(shù)字參數(shù))的集，并且能夠逼近它們的輸入的非線性函數(shù)。自適應(yīng)權(quán)重是神經(jīng)元之間的概念性地連接的強度，在訓練和預測期間被激活。一般，以非線性、分布式、并行以及局部處理和適應(yīng)的規(guī)則來操作神經(jīng)網(wǎng)絡(luò)。一般，第一層被稱為“輸入層”，該層內(nèi)的神經(jīng)元被稱為輸入神經(jīng)元?！拜敵鰧印卑ㄝ敵錾窠?jīng)元。由于中間層中的神經(jīng)元既不是輸入也不是輸出，因此中間層被稱為“隱藏層”。神經(jīng)元可包括特征檢測器、梯度和其他類似的組件。

通常，“卷積”是對兩個函數(shù)f和g的數(shù)學運算，并且產(chǎn)生可被視為原始函數(shù)中的一個函數(shù)的修改的版本的第三函數(shù)。第三函數(shù)一般包括兩個函數(shù)之間重疊的區(qū)域，作為原始函數(shù)中的一個函數(shù)被平移的量的函數(shù)。

通常，術(shù)語“卷積神經(jīng)網(wǎng)絡(luò)(cnn)”表示下面類型的神經(jīng)網(wǎng)絡(luò)：各個神經(jīng)元以它們響應(yīng)視野中的重疊區(qū)域的方式被鋪設(shè)。一般，卷積神經(jīng)網(wǎng)絡(luò)(cnn)將采用局部感受野、共享權(quán)重和池化以處理圖像。局部感受野可被視為輸入像素與隱藏神經(jīng)元的層的連接。作為一個示例，第一隱藏層中的每個神經(jīng)元對應(yīng)于輸入圖像的小的、局部化的區(qū)域。與隱藏神經(jīng)元對應(yīng)的輸入圖像的區(qū)域被稱為針對隱藏神經(jīng)元的“局部感受野”。第一隱藏層中的每個隱藏神經(jīng)元使用相同的權(quán)重以及與其他隱藏神經(jīng)元的偏差，因此具有“共享權(quán)重”。這表示第一隱藏層中的全部神經(jīng)元僅在不同的位置準確檢測相同的特征。來自輸入層的結(jié)果圖被稱為“特征圖”，定義特征圖的權(quán)重被稱為“共享權(quán)重”?！俺鼗瘜印蓖ǔＴ诰矸e層之后被立即使用。池化層簡化來自卷積層的輸出中的信息。也就是說，池化層獲取從卷積層輸出的每個特征圖，并且準備壓縮的特征圖。用于池化的一個一般過程被稱為“最大池化(max-pooling)”。在最大池化中，池化單元簡單地輸出輸入?yún)^(qū)域的最大激活(從特征圖輸出)。

深度卷積神經(jīng)網(wǎng)絡(luò)(cnn)可被描述為卷積層的堆疊、與標準化層(normalizationlayer，正規(guī)化層)、(對輸入進行空間地下采樣的)池化層和/或其他類型的層的交錯、在頂部中具有完全連接的層和代價層(costlayer)(例如，邏輯回歸)。每個卷積層被一組濾波器(例如，采用rgb圖像作為輸入并且提供響應(yīng)的第一層中的濾波器)參數(shù)化。深度cnn的能力來自深度堆疊的層，開始于簡單的特征(例如，原始rgb圖像數(shù)據(jù))并且通過層來學習越來越復雜的特征，隨后的層可用于識別高級語義(highlevelsemantics)。

如在此討論的，術(shù)語“濾波器”或“核”一般稱為連接權(quán)重的層。當將圖像用作濾波器的輸入時，該輸入包括小的二維圖像塊，然后輸出是單個單元。由于濾波器被重復使用，因此產(chǎn)生的連接性看起來像一系列重疊的感受野。

如在此討論的，術(shù)語“特征檢測器”一般表示學習數(shù)據(jù)輸入的轉(zhuǎn)換并且提供可被神經(jīng)網(wǎng)絡(luò)使用的表示法的技術(shù)的集合。

如在此討論的術(shù)語“子采樣(subsampling)”或“下采樣”一般指降低信號的整體大小。在二維濾波器輸出的情況下，諸如用于圖像處理，子采樣還可被認為是增加濾波器的位置不變性。被稱為“最大池化”的一種技術(shù)涉及獲取每個網(wǎng)格中的最大值作為約化矩陣中的值。從語義上看，這對應(yīng)于將通過卷積層回答的問題從“該濾波器在這里應(yīng)用得怎么樣”改變?yōu)椤皩⒃摓V波器應(yīng)用于該區(qū)域怎么樣”。通過在卷積層之間應(yīng)用這樣的最大的池化層，空間抽象性可隨著特征抽象性的增大而增大。

如在此討論的，術(shù)語“圖像”表示數(shù)字化圖像數(shù)據(jù)的二維陣列，然而，這僅是說明性的并且不是限制的。如在此討論的，提供到服務(wù)器的圖像可通過另一裝置(例如，遠程輸入裝置，諸如，包含在移動裝置中的照相機)來采集，準備通過中間工具(諸如，軟件客戶端)來訓練，并且被配置為模仿由(例如)客戶端提供的圖像的形式?？梢?諸如，來自移動裝置中的照相機的)數(shù)字化的形式提供通過客戶端采集的圖像。在示例性實施例中，諸如訓練圖像的像素的數(shù)量和維度的方面一般與產(chǎn)品圖像的像素的數(shù)量和維度相同。此外，僅為了將訓練圖像與在客戶端操作期間采集的其他圖像進行區(qū)分的目的，用于訓練神經(jīng)網(wǎng)絡(luò)的圖像被稱為“訓練圖像”。為了隨后被給定的神經(jīng)網(wǎng)絡(luò)分析而通過成像裝置采集的圖像被稱為“產(chǎn)品圖像”和其他相似的不同術(shù)語。

如在此討論的，術(shù)語“產(chǎn)品”一般表示用于分析輸入數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的使用。相比之下，“訓練”一般表示在針對產(chǎn)品開發(fā)神經(jīng)網(wǎng)絡(luò)時涉及的序列。

如在此討論的，“對象”或“特征”可出現(xiàn)在或包括在圖像內(nèi)。例如，汽車(對象)可出現(xiàn)在風景(對象的集合)的照片(圖像)內(nèi)。特征的示例可包括線、曲線以及圖像內(nèi)的強度、顏色和其他具體的特性。在一些實施例中，術(shù)語對象和特征是可互換的，并且一般是同義的。

如在此討論的，術(shù)語“服務(wù)器”一般表示具有穩(wěn)健計算資源的計算資源。示例性的資源包括對于執(zhí)行在此描述的任務(wù)重要的資源，并且可包括大量的存儲器、處理能力、數(shù)據(jù)儲存器等。在示例性實施例中，服務(wù)器包括傳統(tǒng)服務(wù)器(諸如，刀片服務(wù)器)、大型機、個人計算機網(wǎng)絡(luò)或僅僅是個人計算機(pc)。服務(wù)器可距離另一裝置(諸如，用于輸入的移動裝置)是遠的。輸入裝置的一個示例是智能電話。

如在此討論的，術(shù)語“移動裝置”一般表示被配置用于移動使用的計算資源。通常，被配置為移動裝置的裝置將具有計算資源的縮減集。因此，移動裝置的各種實施例可保持與服務(wù)器的通信以補充計算能力。移動裝置的示例包括：智能電話、平板計算機和/或?qū)Ｓ醚b置。

如在此討論的，術(shù)語“成像裝置”一般表示設(shè)置有可具有計算資源的縮減集的成像傳感器的裝置。示例性的資源包括對執(zhí)行在此描述的任務(wù)重要的資源，并且可包括最小量的內(nèi)存儲器、處理能力、數(shù)據(jù)存儲器等。在一些實施例中，成像裝置包括成像能力，以提供輸入到神經(jīng)網(wǎng)絡(luò)中的輸入圖像的集合。在一些實施例中，成像裝置被配置為在移動裝置上使用，并且更加穩(wěn)健地與在遠程服務(wù)器上操作的補充資源進行通信。

如在此討論的，術(shù)語“程序”、“軟件”、“應(yīng)用”、“插件”以及其他相似的術(shù)語表示存儲在非暫時性機器可讀介質(zhì)上的機器可執(zhí)行指令。機器可執(zhí)行指令提供通過對計算資源和認為合適的任意相關(guān)聯(lián)的組件的控制來執(zhí)行方法。

如在此討論的，術(shù)語“視頻”、“影片”以及其他相似的術(shù)語一般表示一連串的圖像。

如在此討論的，術(shù)語“通常的”或“傳統(tǒng)的”在用于介紹圖像信號處理器時，通常對已經(jīng)被編程或另外被配置用于圖像信號處理的專用圖形處理單元或芯片集做出說明。

如在此討論的，術(shù)語“圖像信號處理”一般表示調(diào)整原始圖像數(shù)據(jù)的方面以提高輸出圖像的視覺外觀。各種圖像質(zhì)量屬性可在圖像信號處理期間被操縱。例如，可被調(diào)整的圖像質(zhì)量屬性包括：圖像大小、縱橫比、亮度、強度、位深度、白度值、動態(tài)范圍、灰階、輪廓、平滑、斑點(例如，可在醫(yī)學成像中發(fā)現(xiàn))、顏色空間值、交錯、校正、伽馬校正、邊緣增強、對比度增強、銳度、去馬賽克以及可被認為是合適的數(shù)字圖像的其他方面。去馬賽克(也稱為“反貝爾”(debayering))算法是數(shù)字圖像處理，該數(shù)字圖像處理用于從自覆蓋有濾色器陣列(cfa)的圖像傳感器輸出的不完全顏色樣本重建全色圖像。它也被稱為cfa插值或顏色重建。

在示例性實施例中，在此公開的方法和設(shè)備對于訓練神經(jīng)網(wǎng)絡(luò)是有用的。通過具有參考圖像數(shù)據(jù)的集合的訓練來配置神經(jīng)網(wǎng)絡(luò)。然而，示例性實施例將被認為僅是說明性的，并且不是這里的教導的限制。因此，公開的方法和設(shè)備可被同樣用于涉及神經(jīng)網(wǎng)絡(luò)的使用的其他應(yīng)用。

現(xiàn)在參照圖1，描述了計算系統(tǒng)100的說明性方面和非限制實施例。在該示例中，計算系統(tǒng)100包括服務(wù)器130。服務(wù)器130具有一個或多個中央處理單元(處理器)101a、101b、101c等(共同地或一般被稱為處理器101)。處理器101通過系統(tǒng)總線113連接到隨機存取存儲器(ram)140(還被稱為“系統(tǒng)存儲器”或簡稱為“存儲器”)以及各種其他組件。計算系統(tǒng)100可包括連接到系統(tǒng)總線113的只讀存儲器(rom)141。rom141可包括控制計算系統(tǒng)100的某些基本功能的內(nèi)置操作系統(tǒng)(bios)。

圖1還描述了連接到系統(tǒng)總線113的輸入/輸出(i/o)適配器107和通信適配器106。i/o適配器107可包括并行ata(pata，還被稱為ide或eide)、串行ata(sata)、scsi、串行連接scsi(sas，serialattachedscsi)和光纖通道，或者包括被認為合適的任意其他類型的接口。i/o適配器107一般提供用于與硬盤103和/或長期儲存單元105(諸如，磁帶驅(qū)動器)或任意其他相似的組件(諸如，光學驅(qū)動器)進行通信。i/o適配器107、硬盤103和長期儲存單元105(以及可能包括的其他相似的組件)在此被共同地稱為大容量儲存器104。

通信適配器106將系統(tǒng)總線113與啟用服務(wù)器130的外部網(wǎng)絡(luò)150互相連接，以與其他系統(tǒng)通信。通信適配器106可支持有線通信協(xié)議和無線通信協(xié)議中的至少一個。例如，通信適配器106可支持諸如以下的協(xié)議：有線以太網(wǎng)、wi-fi(例如，802.11協(xié)議)、umts、撥號、動態(tài)同步、蜂窩(使用諸如gsm、gprs、edge、cdma、tdma、3g、4g等的協(xié)議)。一般，通信適配器106與網(wǎng)絡(luò)150進行通信，并且可與因特網(wǎng)121(直接地或間接地)通信。

服務(wù)器130通過合適的電源120來供電。在一些實施例中，電源120包括用于接收交流(ac)并且將ac轉(zhuǎn)換為合適形式的直流(dc)的至少一個轉(zhuǎn)換器。在其他實施例中，電源120包括至少一個電池。電源可包括用于接收和控制各種形式的輸入電力的合適的電路。

輸入/輸出裝置被示出為通過用戶接口(ui)適配器108連接到系統(tǒng)總線113。鍵盤109、指示裝置110(例如，鼠標)和揚聲器111可被包括并且通過用戶接口適配器108連接到系統(tǒng)總線113?？砂ū徽J為合適的其他用戶接口組件。

連接到顯示監(jiān)視器136的顯示適配器112連接到系統(tǒng)總線113。顯示適配器112和/或顯示監(jiān)視器136可配置有各種組件，諸如，用于提高圖形密集應(yīng)用的性能的圖形適配器、視頻控制器、電容性(即，觸摸屏)顯示器等。顯示監(jiān)視器136可用于顯示用戶接口。

在一些實施例中，適配器106、適配器107、適配器108和適配器112可通過中間總線橋(未示出)，連接到與系統(tǒng)總線113連接的一個或多個輸入/輸出(i/o)總線。用于連接外圍裝置(諸如，硬盤控制器、網(wǎng)絡(luò)適配器和圖形適配器)的合適的i/o總線可包括通用協(xié)議，諸如，外圍組件接口(pci)總線。

一般，計算系統(tǒng)100將機器可讀指令存儲在非暫時性機器可讀介質(zhì)上(諸如，存儲在rom、ram或大容量儲存單元104中)。機器可讀指令(在此可被稱為“軟件”、“應(yīng)用”、“客戶端”、“處理”、“插件程序”以及其他相似的術(shù)語)一般提供用于在此將被進一步詳細討論的功能。

計算系統(tǒng)100可包括附加組件。附加組件還可用作其他功能。例如，計算系統(tǒng)100可利用或依賴于第三方通信系統(tǒng)151。為了簡明，第三方通信系統(tǒng)151在此還被稱為“系統(tǒng)操作器”151。此外，計算系統(tǒng)100可包括至少一個成像裝置180。至少一個成像裝置180可包括諸如智能電話182的裝置。智能電話182裝置的說明性示例包括：來自加州庫比蒂諾的蘋果公司的iphone、在加州山景城的谷歌公司的android平臺上操作的裝置以及由華盛頓州雷德蒙德的微軟公司提供的windows環(huán)境中操作的裝置。成像裝置180的其他示例包括照相機181。

在說明性實施例中，至少一個成像裝置180包括與在服務(wù)器130中發(fā)現(xiàn)的組件相似的組件。例如，至少一個成像裝置180包括至少一個中央處理單元(cpu)。中央處理單元(cpu)通過內(nèi)部系統(tǒng)總線連接到其他組件，或與其他組件進行通信。成像裝置180內(nèi)的其他組件的示例包括電源、存儲器、軟件、用戶控制、顯示器、前置傳感器和/或后置傳感器、燈具以及通信接口。

cpu可以是arm或其他處理器。電源可以來自電池或直流(dc)源，諸如，連接到傳統(tǒng)的交流(ac)電插座的轉(zhuǎn)換器。用戶控制可包括主頁按鈕以及on/off開關(guān)。顯示器可包括lcd、led、oled、amoled、ips和其他技術(shù)中的至少一個。燈可以是發(fā)光二極管(led)。

通信接口可包括有線接口和/或無線接口。無線接口可包括無線服務(wù)處理器。說明性的無線接口可利用諸如蜂窩、藍牙、wi-fi、近場技術(shù)(nfc)、zigbee或其他技術(shù)的協(xié)議。通過無線通信接口提供的通信服務(wù)可包括wi-fi、藍牙、以太網(wǎng)、dsl、lte、pcs、2g、3g、4g、lan、cdma、tdma、gsm、wdm和wlan。通信接口可包括聽覺通道。即，通信接口可包括用于接收語音命令的麥克風，并且還可包括揚聲器。在一些實施例中，揚聲器可在條形碼已經(jīng)被讀取時提供聽覺信號。通信接口還可包括狀態(tài)燈或其他此類的視覺指示器。

此外，通信接口提供用于語音通信以及數(shù)據(jù)通信。數(shù)據(jù)通信可用于提供軟件和數(shù)據(jù)(諸如，至少一個圖像、分析的結(jié)果和其他這樣的類型的數(shù)據(jù))的通信。通過通信接口的通信可以是雙向或單向。

成像裝置180可包括附加組件，諸如，環(huán)境傳感器。環(huán)境傳感器的示例可包括提供方向信息的加速度計以及提供位置信息的gps傳感器。成像裝置180還可包括外圍接口和通信端口。

在服務(wù)器130的一些實施例中，存儲在服務(wù)器130中的機器可讀指令包括被配置為與其他組件進行通信的驅(qū)動器。例如，驅(qū)動器可使得服務(wù)器130與成像裝置180的照相機和/或環(huán)境傳感器進行通信。

存儲在非暫時性機器可讀介質(zhì)上的機器可讀指令中的一些可包括操作環(huán)境。例如，如在此呈現(xiàn)的，合適的操作環(huán)境是(來自華盛頓雷蒙德的微軟公司可用的)windows。例如，可以以作為用于管理關(guān)系數(shù)據(jù)庫的跨廠商查詢語言(cross-vendorquerylanguage)的sql語言來開發(fā)在此提供的軟件?？墒褂闷渌浖韺崿F(xiàn)軟件的多個方面。例如，可以以xml、html等來設(shè)置用戶接口。

計算系統(tǒng)100可適當?shù)匕ɑ蚺懦鲜龅慕M件和其他組件。例如，可使用其他組件，諸如，路由器、網(wǎng)橋、防火墻、開關(guān)、其他服務(wù)器、中間件及其他組件?？梢砸攒浖?或硬件來實現(xiàn)一些組件。在一些實施例中，術(shù)語“服務(wù)器”表示在還可執(zhí)行其他功能的硬件上運行的軟件引擎。

計算系統(tǒng)100可包括多個計算機。例如，在計算系統(tǒng)100中，多個計算機中的至少一個計算機可包括大量的儲存器、內(nèi)存儲器、處理器、大容量儲存器等。其他裝置，諸如，成像裝置180可包括組件的縮減集。多個計算機中的至少一個計算機可被設(shè)計具有移動性作為主要目的。例如，存儲器可由于存儲器的物理緊湊特性來代替硬盤。成像裝置180的其他示例包括；平板計算機、掃描器和若干專用裝置中的任意一個。專用裝置的非限制示例包括針對機器視覺設(shè)計的應(yīng)用專用裝置。

計算系統(tǒng)100中的特定計算機可以是定向的目的(purpose-oriented)。例如，計算基礎(chǔ)結(jié)構(gòu)可使用主要作為文件服務(wù)器的一個計算機(即，用于將數(shù)據(jù)有效存儲在計算基礎(chǔ)機構(gòu)內(nèi)的數(shù)據(jù)儲存裝置)、作為輸入裝置的多個其他計算機(例如，通過用戶遠程操作以與計算基礎(chǔ)結(jié)構(gòu)交互的移動站)、控制臺(例如，用于管理計算基礎(chǔ)結(jié)構(gòu)的專用系統(tǒng))等。

應(yīng)認識到如在此描述的一些功能可通過硬件(諸如通過前述的組件)或通過軟件來適當?shù)貙崿F(xiàn)。因此，以一種方式或其他方式引用實施方式，這樣的實施方式僅是說明性的，并且不限制在此描述的技術(shù)。簡而言之，上述的計算系統(tǒng)100和利用計算系統(tǒng)100的系統(tǒng)僅針對這里的教導來提供環(huán)境并且不被解釋為限制的，而是作為計算系統(tǒng)100的說明性方面。

一般，計算系統(tǒng)100實現(xiàn)使得用戶能夠訓練和/或操作神經(jīng)網(wǎng)絡(luò)系統(tǒng)的軟件方案。計算系統(tǒng)100可為了各種目的(諸如，通信、消息傳送、圖形編輯、統(tǒng)計分析以及其他類似的目的)來實現(xiàn)第三方軟件系統(tǒng)。

圖2是對特征檢測器的開發(fā)和/或?qū)﹃P(guān)于對象的識別做出的決斷有用的卷積神經(jīng)網(wǎng)絡(luò)(cnn)200的全部說明性基本方面的抽象的示意圖。卷積神經(jīng)網(wǎng)絡(luò)(cnn)200可被提供為軟件，諸如，存儲在服務(wù)器130的大容量儲存單元104中和/或存儲在至少一個成像裝置180的數(shù)據(jù)儲存器中的軟件?？墒褂帽徽J為合適的任意應(yīng)用來建立卷積神經(jīng)網(wǎng)絡(luò)(cnn)200。適合于編碼卷積神經(jīng)網(wǎng)絡(luò)(cnn)200的一個應(yīng)用是作為來自俄勒岡州比佛頓的python軟件基金會的可用的開源軟件的python。因為計算機編程和編碼的方面已知，所以在此一般不討論匯編的卷積神經(jīng)網(wǎng)絡(luò)(cnn)200的技術(shù)性細節(jié)。相反，以對本領(lǐng)域的技術(shù)人員可理解的功能術(shù)語，來呈現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)(cnn)200的方面。

在該示例性實施例中，為了提供一些背景，卷積神經(jīng)網(wǎng)絡(luò)(cnn)200包括輸入特征圖209、卷積輸出層214和池化層216。在該示例中，輸入特征圖209包括三維輸入量。輸入特征圖209通過n×n×d的維度來表示，其中，n表示輸入的高度和寬度，d表示輸入的深度(例如，與輸入特征圖209相關(guān)聯(lián)的隱藏層的數(shù)量)。多個濾波器211用于對輸入特征圖209進行濾波。每個濾波器211通過k×k×d的維度來表示，其中，附加的變量k表示每個濾波器211的高度和寬度。在該示例中，輸入特征圖209的高度和寬度是相等的并且每個濾波器211的高度和寬度是相等的，因此各個組件是方形的。然而，這僅是為了簡單起見，應(yīng)該認識到，輸入特征圖209和/或濾波器211可以是矩形的(因此，各個組件中的每個組件的寬度可不同于高度)。

在卷積神經(jīng)網(wǎng)絡(luò)(cnn)200的操作中，每個濾波器211以滑動窗類的方式移動穿過輸入特征圖209。移動的量被稱為“步長(stridelength)”或簡稱為“步幅(stride)”s。在每次移動期間，屬于特定的濾波器211的各個權(quán)重與來自輸入量的重疊區(qū)域的每個成對的輸入元素相乘并且相加，以提供卷積212。在卷積212之后，可選的池化層216用于通過滑動二維窗穿過三維卷積輸出并且選擇經(jīng)過窗的最大(或平均)值215，來對卷積輸出進行子采樣。在該示例中，可選的池化層216通過參數(shù)p和s來定義，其中，p×p定義用于池化操作的區(qū)域，s表示濾波器211的步幅。

現(xiàn)在轉(zhuǎn)到圖3和圖4，示出了圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)300的示例的方面。圖3提供圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)300的概念示圖。在該示例中，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)300接收輸入圖像數(shù)據(jù)301并且提供處理的輸出302。在該示例中，輸入圖像數(shù)據(jù)301包括貝爾圖案。通過訓練的圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)300來提供處理的輸出302。圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)300包括多個處理濾波器311。如圖4中所示，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)300提供圖像信號處理的子集的替換。在該示例中，圖像信號處理的其余階段被保持，該其余階段包括顏色校正401、伽馬校正402、邊緣增強403和對比增強404。

現(xiàn)在參照圖5，示出用于訓練圖像信號處理500的示例性實施例的方面。在示例性實施例中，特定的成像裝置180用于采集多個圖像。多個圖像被提供作為原始數(shù)據(jù)圖像501。每個原始數(shù)據(jù)圖像501與描述相同圖像的期望質(zhì)量輸出圖像510相關(guān)。一般，期望質(zhì)量輸出圖像510可以是參考圖像511和傳統(tǒng)處理的圖像512之一。

通常，期望質(zhì)量輸出圖像510用于神經(jīng)網(wǎng)絡(luò)的訓練，同時處理的輸出302可被稱為“產(chǎn)品”圖像(即，訓練的神經(jīng)網(wǎng)絡(luò)的產(chǎn)物)。

例如，可通過使用參考裝置(諸如，最先進的照相機)成像來獲得參考圖像511。在一些實施例中，每個參考圖像511可額外地包括屬性參考數(shù)據(jù)。在一些實施例中，屬性參考數(shù)據(jù)可用于神經(jīng)網(wǎng)絡(luò)的訓練?？赏ㄟ^使用參考圖像處理技術(shù)處理原始數(shù)據(jù)圖像501來獲得傳統(tǒng)處理的圖像512。共同地，與期望質(zhì)量輸出圖像510的集相關(guān)的原始數(shù)據(jù)圖像501的集被用作為訓練數(shù)據(jù)，并且被加載到圖像數(shù)據(jù)庫520中。然后，存儲在圖像數(shù)據(jù)庫520中的訓練數(shù)據(jù)用于訓練525。訓練525可使用各種訓練算法來實現(xiàn)。例如，反向傳播可用于圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)300的訓練。

為了證明該方法的效力，卷積神經(jīng)網(wǎng)絡(luò)被訓練并且被用于圖像生成。從公開的數(shù)據(jù)集(微軟研究院去馬賽克數(shù)據(jù)集(demosaicdataset))選擇訓練數(shù)據(jù)。圖像和相應(yīng)的rgb圖像來自使用的三個相機模型。噪聲圖像和無噪聲圖像二者被使用。從每個圖像(不重疊地)提取32×32的塊，以形成輸入和輸出。大約10,000對的圖像用于訓練，大約5,000對的圖像用于測試。在圖6中描述在此公開的用于技術(shù)的驗證的神經(jīng)網(wǎng)絡(luò)的配置。

在圖6中，示出了多尺度圖像處理神經(jīng)網(wǎng)絡(luò)600的方面。多尺度圖像處理神經(jīng)網(wǎng)絡(luò)600配置有用于分開不同的頻帶的三個尺度。多個3×3濾波器被使用。均方差函數(shù)被用作代價函數(shù)。

在驗證中，針對噪聲panasonic數(shù)據(jù)集的結(jié)構(gòu)相似度指數(shù)測量(ssim)和峰值信噪比(psnr)被計算。psnr被確定為36.0234，ssim被確定為0.8958。相比之下，最先進的方法(通過學習型無參數(shù)隨機場的聯(lián)合去馬賽克和去噪聲)報告了36.9137的psnr和0.8904的ssim。自適應(yīng)定向均勻性去馬賽克(adaptivehomogeneity-directeddemosaicing)(ahd)提供34.3756的psnr和0.8593的ssim。因此，驗證證明用于圖像信號處理(isp)的神經(jīng)網(wǎng)絡(luò)的使用是有效的，在大部分情況下用于執(zhí)行圖像信號處理的技術(shù)是優(yōu)秀的。

在圖7和圖8中，提供圖形圖像的比較。每組的a圖像呈現(xiàn)原始圖像數(shù)據(jù)301(圖7a、圖8a)。每組的b圖像呈現(xiàn)期望質(zhì)量輸出圖像510(圖7b、圖8b)。每組的c圖像呈現(xiàn)傳統(tǒng)處理的圖像512(圖7c、圖8c)。每組的d圖像呈現(xiàn)處理的輸出302(圖7d、圖8d)。

現(xiàn)在參照圖9，示出了來自圖8的圖像的兩個圖像的近視圖(特寫鏡頭)。在圖9a中，示出了傳統(tǒng)處理的圖像512的一部分。在圖9b中，示出了與圖9a相關(guān)的傳統(tǒng)處理的圖像512的一部分?？梢钥闯?，除了別的以外，圖9b中描述的圖像是更輪廓清晰的并且更少像素化的。

因此已經(jīng)介紹了圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)的方面，一些附加特征和實施例被呈現(xiàn)。

有利地，每當期望的時候，可更新圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)。例如，如果成像裝置180被重新配置有新的硬件(諸如，新的相機鏡頭)，重新訓練圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)以考慮改進的光學特性可以是合適的。在一些實施例中，更新可被稱為成像裝置180的“重新訓練”或“校準”。如果需要，則更新可包括訓練數(shù)據(jù)的更小集。除了別的以外，各種性能測量可被跟蹤。如果特定的性能測量反映差的性能，則可建議完整的重新訓練。

在一些實施例中，成像裝置180與遠程系統(tǒng)(諸如，服務(wù)器130)進行通信，以在圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)的可操作性的方面被下載到成像裝置180之后，執(zhí)行訓練。因此，在一些實施例中，在使用成像裝置180上的資源對圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)進行本地操作的同時，可以通過使用遠程資源來訓練圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)。用于分布計算的其他模型可被采用。

如上所述，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可被提供為存儲在機器可讀介質(zhì)上的并且被配置用于執(zhí)行在此描述的技術(shù)的機器可執(zhí)行指令。圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可補充或代替?zhèn)鹘y(tǒng)圖像信號處理組件，諸如，圖形處理芯片集。

圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可通過與遠程系統(tǒng)(例如，服務(wù)器)進行通信來重新配置。例如，重新配置可根據(jù)產(chǎn)品的地理位置自動地完成。重新配置可根據(jù)用戶的偏好來完成。

例如，在一些實施例中，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可用于傳統(tǒng)的成像裝置180，其中，成像裝置180的輸出用作用于圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)的原始數(shù)據(jù)輸入301。在一些其他實施例中，加載到傳統(tǒng)的成像裝置180中的軟件關(guān)閉存在的圖形處理芯片集，并且安裝圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)以執(zhí)行圖像信號處理任務(wù)。

圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可以是定向的目的。例如，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可包括專用于給定目的(例如，醫(yī)學成像)的系統(tǒng)。更具體地說，僅作為示例，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可專用于處理與超聲成像、ct掃描成像、磁共振成像(mri)、x射線成像相關(guān)聯(lián)的圖像以及從伽馬照相機和其他類型的醫(yī)學成像輸出的圖像。

相似地，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可專用于其他目的。例如，僅作為示例，圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可專用于安全任務(wù)，諸如，面部識別。圖像信號處理(isp)神經(jīng)網(wǎng)絡(luò)可專用于產(chǎn)品定向任務(wù)，諸如，機器視覺。除了別的以外，郵件分揀(即，筆跡分析)以及其他類似的任務(wù)可需要機器視覺。

可針對這里的教導的方面包括并且要求提供各種其他組件。例如，額外的材料、材料的組合和/或材料的省略可用于提供在這里的教導范圍內(nèi)的添加的實施例。

當解釋本發(fā)明的元素或其實施例時，單數(shù)冠詞意圖表示存在元素中的一個或多個。相似地，形容詞“其他的”在用于解釋元素時，意圖表示一個或多個元素。術(shù)語“包括”和“具有”意圖是包含的，從而可存在除了列出的元素之外的額外的元素。術(shù)語“示例性”意在表示許多可行示例中的一個示例，而不被解釋為必須涉及最佳或最好實施例。然而，在一些情況下，示例性實施例實際上可以是最佳或最好實施例的代表。

盡管已經(jīng)參照示例性實施例描述了本發(fā)明，本領(lǐng)域技術(shù)人員將理解在不脫離本發(fā)明的范圍的情況下可進行各種改變，并且等價物可代替其元素。此外，許多修改將被本領(lǐng)域技術(shù)人員理解，以在不脫離本發(fā)明的必要范圍的情況下，將具體的儀器、情況或材料應(yīng)用于本發(fā)明的教義。因此，意圖是不將本發(fā)明限制為作為用于實現(xiàn)本發(fā)明的預期的最佳方式的公開的具體實施例，而本發(fā)明將包括落入權(quán)利要求范圍內(nèi)的全部實施例。