可以是通過使權(quán)重核511、512與本地權(quán)重核卷積而生成的卷積操作結(jié)果。在目標識別操作時，層554中的這些特征映射的每個特征映射可以與輸入圖像卷積，以對生成特征映射的目標產(chǎn)生可能的識別。
[0069]此外，子采樣層558可以包含與卷積層554相同數(shù)量的特征映射。在這種情況下，子采樣層558包含第一特征映射551和第二特征映射552。層558中的特征映射(551，552)中的每個可以是卷積層554的子采樣特征映射的結(jié)果。子采樣以結(jié)構(gòu)化的方式減小特征映射的維度。子采樣可以是對特征映射之內(nèi)或橫跨不同特征映射的神經(jīng)元的最大子采樣或平均子米樣。
[0070]特征映射531、532、551和552是真實的特征映射。然而，在本公開之內(nèi)的一些實例中，因為它們還可以被另一個層處理，以生成特征映射的更新版本，所以可以將它們稱為“中間”特征映射。
[0071]現(xiàn)在返回到圖1，針對服務器系統(tǒng)110和客戶端設備310描述示例性的服務器至設備解決方案的方面。這些解決方案涉及對服務器系統(tǒng)110執(zhí)行訓練/學習處理，然后將用于神經(jīng)網(wǎng)絡(NN) 123的學習后的配置(即，網(wǎng)絡權(quán)重)輸出到客戶端設備310。該輸出在圖1中被示出為輸出操作244。輸出操作244將用于神經(jīng)網(wǎng)絡(NN) 123的配置信息提供給客戶端設備310。配置信息可以存在于存儲器中，例如作為存儲器130、數(shù)據(jù)存儲(未示出)或另一個合適的存儲庫中的附加數(shù)據(jù)135，直到輸出該配置信息為止。配置信息可以輸出到諸如圖1中示出的客戶端設備310的各種客戶端設備?？蛻舳嗽O備310可以是接收或輸入神經(jīng)網(wǎng)絡配置的移動設備。
[0072]將領(lǐng)會到，在一些實施例中，被諸如車載服務器系統(tǒng)110的客戶端310使用的存儲和計算的資源的至少一部分可以是遠程的。訓練神經(jīng)網(wǎng)絡的服務器系統(tǒng)110可以位于“云”(即，從客戶端設備310中遠程地實現(xiàn)服務器系統(tǒng)110的至少一部分設備)中。在一些實施例中，可以通過公共或非專用服務來提供服務器系統(tǒng)110。在一些實施例中，可以將客戶端設備310配置為使得利用客戶端設備310執(zhí)行的目標識別基本上等同于通過服務器系統(tǒng)110執(zhí)行的目標識別。S卩，在一些實施例中，以充足的訓練信息來將客戶端設備310配置為可以執(zhí)行對更多訓練圖像的目標識別而基本上不降低性能?？梢詫崟r測量比較性能，這對于移動設備來說會是有益的。
[0073]在一些實施例中，可以降低對客戶端設備310的計算需求。例如，在一些實施例中，較小的位分辨率可能足以用于存儲和處理網(wǎng)絡權(quán)重?？梢圆恍枰嫉碾p精度。這種節(jié)約可以使神經(jīng)網(wǎng)絡323能夠以低精度計算操作。在一些實施例中，可以使用模擬存儲器。
[0074]現(xiàn)在，使用圖1的流程圖140來描述示例性訓練處理。這些訓練處理可以用于服務器系統(tǒng)110或其他系統(tǒng)。將僅作為示例來根據(jù)服務器系統(tǒng)110的組件描述流程圖140的處理。
[0075]根據(jù)可選擇的操作141，可以在使用訓練圖像102之前對神經(jīng)網(wǎng)絡123的部分或全部進行初始化。在使用層對(諸如圖3的層對)的實施例中，可以在應用訓練圖像之前將第一卷積層初始化。例如，該初始化可以具有隨機權(quán)重或另一個非圖像的特定配置。
[0076]根據(jù)另一個操作142，例如，可以經(jīng)由輸入設備105接收訓練圖像。在圖1的示例中，接收到的訓練圖像是可能來自訓練圖像數(shù)據(jù)庫104中的圖像102。為了訓練不同的圖像，可以將操作140重復許多次。為了訓練在訓練圖像數(shù)據(jù)庫104中的所有圖像，可以將操作140重復許多次。
[0077]根據(jù)另一個操作143，可以按照將簡短描述的方式來訓練神經(jīng)網(wǎng)絡(NN) 123。根據(jù)另一個操作144，可以輸出在操作143之后生成的神經(jīng)網(wǎng)絡(NN) 123的配置?？梢园凑张c之前描述的輸出操作244基本上類似或相同的方式來執(zhí)行操作144。
[0078]圖4更詳細地描述了操作143的訓練的示例性實施例。給出的實施例更詳細地描述了具有減小的位分辨率的學習權(quán)重。這些實施例中的一些實施例被稱為“監(jiān)督迭代量化(S.1.Q.) ”。
[0079]在圖4中，示出訓練643的示例性方法。更具體地，圖4描述用于訓練神經(jīng)網(wǎng)絡來生成具有減小的位分辨率的權(quán)重的示例性方面。訓練643的方法的結(jié)果是量化權(quán)重(quantized weights)，所述量化權(quán)重被輸出到客戶端設備310以用于識別。用于輸出和特征映射的位分辨率的減小在訓練中不是強制性的。
[0080]在該示例中，訓練643的方法包括訓練通過操作610，其中，根據(jù)該訓練通過操作610借助用于神經(jīng)網(wǎng)絡(NN) 123的層對來執(zhí)行訓練通過。訓練通過操作610包括量化操作620，其中，根據(jù)該量化操作610在一個或更多個接合點(juncture)處執(zhí)行量化。因此，量化操作620以將要被簡短地說明的方式來修改訓練通過操作610。
[0081]根據(jù)另一個可選擇的操作630，進行關(guān)于是否已經(jīng)達到最大迭代數(shù)量的詢問。如果回答為“是”，則結(jié)束訓練643的方法的運行。如果回答為“否”，則根據(jù)初始化操作640，可以將神經(jīng)網(wǎng)絡(NN) 123的部分或全部再次進行初始化。一旦重新初始化，神經(jīng)網(wǎng)絡(NN) 123可以應用通過量化操作620量化的權(quán)重的版本。
[0082]在初始化操作640之后，運行可以返回到訓練通過操作610等。可以執(zhí)行若干次訓練643的示例性方法的迭代。
[0083]現(xiàn)在，更詳細地描述訓練通過操作610和嵌入在訓練通過操作610中的量化操作620。說明書具體涉及使用具有層對(諸如圖2中給出的層對)的神經(jīng)網(wǎng)絡(NN)的服務器系統(tǒng)110的實施例。
[0084]圖5是描述針對服務器系統(tǒng)110的實施例的示例性神經(jīng)網(wǎng)絡(NN) 723的量化操作620的方面的框圖。在該示例中，神經(jīng)網(wǎng)絡(NN) 723類似于上述的神經(jīng)網(wǎng)絡(NN)123。
[0085]參照圖5，在示例性量化操作720中，神經(jīng)網(wǎng)絡(NN) 723接收訓練圖像702，并且生成結(jié)果774。結(jié)果774代表生成的學習后的權(quán)重，該學習后的權(quán)重稍后可以用于識別訓練圖像702是否包含某個目標，在訓練處理中限定了該目標的標號。神經(jīng)網(wǎng)絡(NN)723至少包括第一卷積(C1)層754和第一子采樣(S1)層758的第一層對721。神經(jīng)網(wǎng)絡(NN) 723還包括第二卷積(C2)層764和第二子采樣(S2)層768的第二層對722?？梢匀缟纤龅刂谱鲗訉?21和722。
[0086]在圖5中，箭頭示出訓練通過操作610和量化操作620的效果。在實施例中，首先利用隨機權(quán)重或另一個非圖像的特定配置來將神經(jīng)網(wǎng)絡(NN) 723初始化。將已經(jīng)被輸入設備接收的訓練圖像702應用于第一卷積層754。如上所述，第一卷積層754已經(jīng)在訓練圖像702應用到它之前被初始化了。
[0087]神經(jīng)網(wǎng)絡(NN) 723可以被配置為響應于被應用到第一卷積層754的訓練圖像702而在第一子采樣層758中生成第一中間特征映射。可以基于第一中間原始權(quán)重來生成該第一中間特征映射。
[0088]作為該訓練通過步驟的部分，第一中間特征映射可以應用于第二卷積層764。神經(jīng)網(wǎng)絡(NN) 723可以被配置為響應于被應用到第二卷積層764的第一中間特征映射而在第二子采樣層768中生成第二中間特征映射。該第二中間特征映射可以具有第二中間原始權(quán)重。
[0089]可以使用MLP分類器137將得出的特征映射768用于作出關(guān)于什么目標最有可能出現(xiàn)在圖像中的預測?；陬A測和地面實況的誤差，可以使用反向傳播(BP)來調(diào)整(即，學習/訓練)權(quán)重。
[0090]可以針對訓練數(shù)據(jù)庫中的訓練圖像的全部或部分重復訓練處理。在那之后，使用基于k-means (稍后將詳細描述)的自適應量化方法來量化學習后的權(quán)重。在仍然保留足夠的原始數(shù)據(jù)的同時，量化減少權(quán)重的位數(shù)。因此，在這種具體情況下，量化將原始權(quán)重轉(zhuǎn)換為低分辨率權(quán)重。
[0091]在一些實施例中，將訓練權(quán)重的處理和其后的量化視為一個訓練時代(trainingepoch)ο
[0092]如果訓練時代小于閾值(例如，在操作630處的回答為“否”)，則可以重復訓練通過操作610。在這種情況下，可以使用量化權(quán)重將神經(jīng)網(wǎng)絡(ΝΝ) 723初始化?；谠摮跏蓟窠?jīng)網(wǎng)絡(ΝΝ)723可以再次接收訓練圖像的全部或部分，使用反向傳播(ΒΡ)來學習權(quán)重，然后量化學習后的權(quán)重。
[0093]如果訓練時代等于或大于閾值(即，在操作630處的回答為“是”)，則可以輸出量化權(quán)重。
[0094]監(jiān)督迭代量化(S.1.Q)的處理(如關(guān)于圖5的示例性過程概述的)涉及訓練圖像的反向傳播(ΒΡ)、自適應量化和迭代。
[0095]在示例性實施例中，可以在由操作626的箭頭示出的位置處可選擇地對輸入進行量化；可以在由操作621的箭頭示出的位置處可選擇地將第一中間特征映射量化；然后，可以在由操作627的箭頭示出的位置處可選擇地將第二中間特征映射量化。此外，第一卷積層可以被配置為利用在第一訓練通過處生成的第二中間特征映射的版本而變得初始化。神經(jīng)網(wǎng)絡還可以被配置為響應于將接收到的訓練圖像再次應用于第一卷積層而在第一子采樣層中生成更新的第一中間特征映射。處理器還可以被配置為執(zhí)行更新的第一中間特征映射的量化，以生成被配置為應用于第二卷積層的更新的且量化的第一中間特征映射。神經(jīng)網(wǎng)絡可以被配置為響應于將更新的且量化的第一中間特征映射應用于第二卷積層而在第二子采樣層中生成更新的第二中間特征映射。
[0096]現(xiàn)在，更詳細地描述量化。量化是在仍然試圖保留矢量或矩陣的一些屬性的同時，用于減少矢量或矩陣的位數(shù)的方法。在這種具體情況下，矢量或矩陣可以是連接的權(quán)重、輸入圖像或特征映射。減少的位數(shù)可以減小計算的復雜性。在量化方法中，分析原始權(quán)重值的數(shù)據(jù)分布，并且生成代替原始權(quán)重值而使用的量化權(quán)重值。在這些量化權(quán)重值的組彼此相似之處，發(fā)生計算上的節(jié)