深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法及學(xué)習(xí)裝置、以及范疇獨(dú)立的子網(wǎng)絡(luò)的學(xué)習(xí)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及聲音識(shí)別及圖像識(shí)別等識(shí)別技術(shù)所采用的深層神經(jīng)網(wǎng)絡(luò)（W下為了 使記載簡(jiǎn)略而稱(chēng)為"面N"。），尤其設(shè)及使特定用途的D順的學(xué)習(xí)高速化的技術(shù)。
【背景技術(shù)】
[000引作為機(jī)器學(xué)習(xí)的1種方法，面N正備受關(guān)注。D順例如適用于圖像識(shí)別及聲音識(shí)別 等，在W下的文獻(xiàn)中報(bào)告了：發(fā)揮錯(cuò)誤率較W前降低20~30%等優(yōu)越的性能。
[0003]Y.Bengio,"LearningdeeparchitecturesforAI，"FoundationsandTrends inMachineLearning,Vol. 2,No. 1，pp. 1-127, 2009.
[0004]G.Hinton,L.Deng,D.化，G.D址1，A.Mohamed，N.Jaitly，A.Senior,V.Vanhoucke， P.Nguyen,T.Sainath,andB.Kingsbury/^DeepNeuralNetworksforAcousticModeling inSpeechRecognition：TheSharedViewsofFourResearchGroups，"IEEESignal ProcessingMagazine,Vol. 29,No.6,pp.82-97,2012.
[0005]A.Mohamed，G.D址1，andG.Hinton,"AcousticModelingusingDeepBelief Networks，"IEEETransactionsonAudio，Speech，andLanguageProcessing，Vol. 20， No. 1,pp. 14-22,2012.
[0006] D順可W說(shuō)是具有比W往更多的層的神經(jīng)網(wǎng)絡(luò)。具體是，參照?qǐng)D1，D順30包含輸 入層40、輸出層44、及設(shè)置在輸入層40與輸出層44之間的多個(gè)隱臧層42。輸入層40具有 多個(gè)輸入節(jié)點(diǎn)（神經(jīng)元）。輸出層44具有與識(shí)別對(duì)象的數(shù)量相應(yīng)的神經(jīng)元。隱藏層42具 有多個(gè)隱藏層（7層、9層、11層等）。各隱藏層分別具有多個(gè)神經(jīng)元。
[0007] 在D順30中，不僅層的數(shù)量多，各層內(nèi)的神經(jīng)元數(shù)也多。因而，有時(shí)用于學(xué)習(xí)的計(jì) 算量會(huì)成為龐大的量。W前進(jìn)行運(yùn)種計(jì)算幾乎是不可能的，但隨著計(jì)算機(jī)自身的高功能化、 分布并行處理技術(shù)的發(fā)達(dá)及計(jì)算理論的發(fā)展，也能進(jìn)行面N的學(xué)習(xí)?？墒?，在為了學(xué)習(xí)而 使用大量數(shù)據(jù)的情況下，為了學(xué)習(xí)依然需要長(zhǎng)時(shí)間。例如，在某一實(shí)驗(yàn)中，作為學(xué)習(xí)數(shù)據(jù)而 使用1千萬(wàn)個(gè)200像素X200像素的圖像，使用了 1，000臺(tái)的16核的計(jì)算機(jī)的D順的學(xué) 習(xí)則需要 3 天（如OCV.Le，Marc'AurelioRanzato,RajatMonga，MatthieuDevin,Kai Chen，GregS.Corrado,JeffDeanAndrewY.Ng，"BuildingHigh-levelFeaturesUsing LargeScaleUnsupervisedLearning，"Proc.ICML，2012.)。

【發(fā)明內(nèi)容】

[000引發(fā)明所要解決的技術(shù)問(wèn)題
[0009] 例如，在將D順適用于聲音識(shí)別的情況下，因?yàn)楦鶕?jù)作為對(duì)象的語(yǔ)言的不同，音素 構(gòu)成也不同，所W必須單獨(dú)地準(zhǔn)備并分開(kāi)獨(dú)立地進(jìn)行學(xué)習(xí)。例如，參照?qǐng)D2,在使用日文 與英文的聲音識(shí)別用D順的情況下，單獨(dú)地準(zhǔn)備日文DNN60與英文DNN62,分別使用各不相 同的學(xué)習(xí)數(shù)據(jù)進(jìn)行學(xué)習(xí)。即，需要進(jìn)行2個(gè)D順的學(xué)習(xí)。在需要新的語(yǔ)言的聲音識(shí)別的情 況下，準(zhǔn)備新的D順而重新進(jìn)行學(xué)習(xí)。目P，在針對(duì)全部N種語(yǔ)言進(jìn)行D順的學(xué)習(xí)的情況下， 與進(jìn)行1個(gè)D順的情況相比較，需要約7倍的時(shí)間。D順的學(xué)習(xí)需要運(yùn)樣的長(zhǎng)時(shí)間，導(dǎo)致系 統(tǒng)的開(kāi)發(fā)需要龐大的時(shí)間，并不優(yōu)選。
[0010] 運(yùn)樣的問(wèn)題是不僅在用于進(jìn)行按語(yǔ)言分類(lèi)的聲音識(shí)別的面N學(xué)習(xí)時(shí)會(huì)產(chǎn)生，例如 即便在按范疇分類(lèi)來(lái)準(zhǔn)備圖像識(shí)別用的D順之類(lèi)的情況下也會(huì)產(chǎn)生的問(wèn)題。
[0011] 為此，本發(fā)明的目的在于，提供可縮短使用對(duì)象屬于某一范疇的學(xué)習(xí)數(shù)據(jù)進(jìn)行D順 的學(xué)習(xí)之際的時(shí)間的D順的學(xué)習(xí)裝置及方法W及使用了運(yùn)樣的D順的對(duì)象的識(shí)別裝置。
[0012] 用于解決技術(shù)問(wèn)題的手段
[0013] 本發(fā)明的第1局面設(shè)及的D順的學(xué)習(xí)方法，是在對(duì)被分類(lèi)為多個(gè)范疇的對(duì)象進(jìn)行 識(shí)別的DNN中，利用計(jì)算機(jī)使多個(gè)范疇所共同使用的范疇獨(dú)立的子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的、DNN的 學(xué)習(xí)方法。該方法包括：計(jì)算機(jī)在存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)第1子網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及第3子網(wǎng)絡(luò)的 步驟；和子網(wǎng)絡(luò)的學(xué)習(xí)步驟，計(jì)算機(jī)W屬于多個(gè)范疇之中的第1范疇及第2范疇內(nèi)的學(xué)習(xí)數(shù) 據(jù)使第1子網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及第3子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。子網(wǎng)絡(luò)的學(xué)習(xí)步驟包含：D順的學(xué)習(xí) 步驟，計(jì)算機(jī)W屬于第1范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)使第1D順進(jìn)行學(xué)習(xí)，并W屬于第2范疇內(nèi)的學(xué) 習(xí)數(shù)據(jù)使第2D順進(jìn)行學(xué)習(xí)，由此進(jìn)行第1D順及第2D順的學(xué)習(xí)，其中，所述第1D順將第2 子網(wǎng)絡(luò)連接于第1子網(wǎng)絡(luò)的后級(jí)而形成，所述第絡(luò)將第3子網(wǎng)絡(luò)連接于第1子網(wǎng)絡(luò)的 后級(jí)而形成；和計(jì)算機(jī)在完成的學(xué)習(xí)步驟之后，將第1子網(wǎng)絡(luò)與其他子網(wǎng)絡(luò)分離開(kāi)并作 為范疇獨(dú)立的子網(wǎng)絡(luò)存儲(chǔ)至存儲(chǔ)介質(zhì)的步驟。
[0014] 優(yōu)選，第1子網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及第3子網(wǎng)絡(luò)均包括輸入層、隱藏層及輸出層。D順 的學(xué)習(xí)步驟包含：計(jì)算機(jī)對(duì)第1子網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及第3子網(wǎng)絡(luò)進(jìn)行初始化的步驟；第1 學(xué)習(xí)步驟，計(jì)算機(jī)對(duì)第1子網(wǎng)絡(luò)的輸出層的神經(jīng)元與第2子網(wǎng)絡(luò)的輸入層的神經(jīng)元進(jìn)行連 接來(lái)形成第1D順，并W屬于第1范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)使第1D順進(jìn)行學(xué)習(xí)；第2學(xué)習(xí)步驟，計(jì) 算機(jī)對(duì)第1子網(wǎng)絡(luò)的輸出層的神經(jīng)元與第3子網(wǎng)絡(luò)的輸入層的神經(jīng)元進(jìn)行連接來(lái)形成第 2D順，并W屬于第2范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)使第2D順進(jìn)行學(xué)習(xí)；和計(jì)算機(jī)交替地執(zhí)行第1學(xué)習(xí) 步驟及第2學(xué)習(xí)步驟直至結(jié)束條件成立為止的步驟。
[0015] 更優(yōu)選，該學(xué)習(xí)方法還包括：計(jì)算機(jī)在完成子網(wǎng)絡(luò)的學(xué)習(xí)步驟之后，將第2子網(wǎng)絡(luò) 與其他子網(wǎng)絡(luò)分離開(kāi)并作為針對(duì)第1范疇的對(duì)象而使用的依賴(lài)范疇的子網(wǎng)絡(luò)存儲(chǔ)至存儲(chǔ) 介質(zhì)的步驟。
[0016] 本發(fā)明的第2局面設(shè)及的學(xué)習(xí)方法，是在對(duì)被分類(lèi)為多個(gè)范疇的對(duì)象進(jìn)行識(shí)別的 D順中，利用計(jì)算機(jī)使特定范疇所使用的依賴(lài)范疇的子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的、D順的學(xué)習(xí)方法。 該方法包括：計(jì)算機(jī)存儲(chǔ)多個(gè)范疇所共同使用的范疇獨(dú)立的子網(wǎng)絡(luò)的步驟；計(jì)算機(jī)存儲(chǔ)特 定范疇用的子網(wǎng)絡(luò)的步驟；計(jì)算機(jī)對(duì)特定范疇用的子網(wǎng)絡(luò)進(jìn)行初始化的步驟；計(jì)算機(jī)對(duì)范 疇獨(dú)立的子網(wǎng)絡(luò)的輸出層的神經(jīng)元與特定范疇用的子網(wǎng)絡(luò)的輸入層進(jìn)行連接，由此來(lái)形成 D順的步驟；和計(jì)算機(jī)使用屬于特定范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)，且將范疇獨(dú)立的子網(wǎng)絡(luò)的參數(shù)固 定，使特定范疇用的子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的步驟。
[0017] 本發(fā)明的第3局面設(shè)及的存儲(chǔ)介質(zhì)是存儲(chǔ)了通過(guò)上述任一方法進(jìn)行過(guò)學(xué)習(xí)的D順 的子網(wǎng)絡(luò)的參數(shù)的存儲(chǔ)介質(zhì)。
[0018] 本發(fā)明的第4局面設(shè)及的計(jì)算機(jī)程序使計(jì)算機(jī)執(zhí)行D順的學(xué)習(xí)方法。該學(xué)習(xí)方法 是在對(duì)被分類(lèi)為多個(gè)范疇的對(duì)象進(jìn)行識(shí)別的D順中使多個(gè)范疇所共同使用的范疇獨(dú)立的 子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的方法。該方法包括：計(jì)算機(jī)在存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)第1子網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及 第3子網(wǎng)絡(luò)的步驟；和子網(wǎng)絡(luò)的學(xué)習(xí)步驟，計(jì)算機(jī)W屬于多個(gè)范疇之中的第1范疇及第2范 疇內(nèi)的學(xué)習(xí)數(shù)據(jù)使第1子網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及第3子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。
[0019] 子網(wǎng)絡(luò)的學(xué)習(xí)步驟包含：的學(xué)習(xí)步驟，計(jì)算機(jī)W屬于第1范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)使 將第2子網(wǎng)絡(luò)連接于第1子網(wǎng)絡(luò)的后級(jí)而形成的第1D順進(jìn)行學(xué)習(xí)，并W屬于第2范疇內(nèi)的 學(xué)習(xí)數(shù)據(jù)使將第3子網(wǎng)絡(luò)連接于第1子網(wǎng)絡(luò)的后級(jí)而形成的第進(jìn)行學(xué)習(xí)，由此進(jìn)行第 1D順及第2D順的學(xué)習(xí)訊計(jì)算機(jī)在完成D順的學(xué)習(xí)步驟之后，將第1子網(wǎng)絡(luò)與其他子網(wǎng)絡(luò) 分離開(kāi)并作為范疇獨(dú)立的子網(wǎng)絡(luò)存儲(chǔ)至存儲(chǔ)介質(zhì)的步驟。
[0020] 本發(fā)明的其他局面設(shè)及的范疇獨(dú)立的子網(wǎng)絡(luò)的學(xué)習(xí)裝置，是在對(duì)被分類(lèi)為多個(gè)范 疇的對(duì)象進(jìn)行識(shí)別的深層神經(jīng)網(wǎng)絡(luò)中，使所述多個(gè)范疇所共同使用的范疇獨(dú)立的子網(wǎng)絡(luò)進(jìn) 行學(xué)習(xí)的裝置。該裝置包含：存儲(chǔ)裝置，其存儲(chǔ)第1子網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及第3子網(wǎng)絡(luò)；和 子網(wǎng)絡(luò)的學(xué)習(xí)裝置，其W屬于多個(gè)范疇之中的第1范疇及第2范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)使第1子 網(wǎng)絡(luò)、第2子網(wǎng)絡(luò)及第3子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。子網(wǎng)絡(luò)的學(xué)習(xí)裝置包含：深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)裝 置，其W屬于第1范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)使第1深層神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，并W屬于第2范疇內(nèi)的 學(xué)習(xí)數(shù)據(jù)使第2深層神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，由此進(jìn)行第1深層神經(jīng)網(wǎng)絡(luò)及第2深層神經(jīng)網(wǎng)絡(luò) 的學(xué)習(xí)，其中，所述第1深層神經(jīng)網(wǎng)絡(luò)將第2子網(wǎng)絡(luò)連接于第1子網(wǎng)絡(luò)的后級(jí)而形成，所述 第2深層神經(jīng)網(wǎng)絡(luò)將第3子網(wǎng)絡(luò)連接于第1子網(wǎng)絡(luò)的后級(jí)而形成訊子網(wǎng)絡(luò)的分離裝置，其 在完成深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)裝置的學(xué)習(xí)之后，將第1子網(wǎng)絡(luò)與其他子網(wǎng)絡(luò)分離開(kāi)并作為范 疇獨(dú)立的子網(wǎng)絡(luò)存儲(chǔ)至存儲(chǔ)介質(zhì)。
[0021] 本發(fā)明的另一局面設(shè)及的深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)裝置，在對(duì)被分類(lèi)為多個(gè)范疇的對(duì) 象進(jìn)行識(shí)別的深層神經(jīng)網(wǎng)絡(luò)中，使特定范疇所使用的依賴(lài)范疇的子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。該裝置 包含：存儲(chǔ)裝置，其存儲(chǔ)多個(gè)范疇所共同使用的范疇獨(dú)立的子網(wǎng)絡(luò)和特定范疇用的子網(wǎng)絡(luò)； 初始化裝置，其對(duì)特定范疇用的子網(wǎng)絡(luò)進(jìn)行初始化；深層神經(jīng)網(wǎng)絡(luò)形成裝置，其對(duì)范疇獨(dú)立 的子網(wǎng)絡(luò)的輸出層和特定范疇用的子網(wǎng)絡(luò)的輸入層進(jìn)行連接，由此來(lái)形成深層神經(jīng)網(wǎng)絡(luò)； 和學(xué)習(xí)裝置，其使用屬于特定范疇內(nèi)的學(xué)習(xí)數(shù)據(jù)，且將范疇獨(dú)立的子網(wǎng)絡(luò)的參數(shù)固定，使特 定范疇用的子網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。
【附圖說(shuō)明】
[0022] 圖1是示意性地表示D順的構(gòu)成的圖。
[002引圖2是用于說(shuō)明針對(duì)日文與英文單獨(dú)地進(jìn)行D順的學(xué)習(xí)的情況的示意圖。
[00