本發(fā)明涉及深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法的技術(shù)領(lǐng)域，具體涉及一種基于局部連接通信的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法。

背景技術(shù)：

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本，其概念由Hinton等人于2006年提出?；谏疃戎眯啪W(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。深度神經(jīng)網(wǎng)絡(luò)是一種具備至少一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)。與淺層神經(jīng)網(wǎng)絡(luò)類似，深度神經(jīng)網(wǎng)絡(luò)也能夠?yàn)閺?fù)雜非線性系統(tǒng)提供建模，但多出的層次為模型提供了更高的抽象層次，因而提高了模型的能力。圖1為深度神經(jīng)網(wǎng)絡(luò)各網(wǎng)絡(luò)層之間的連接示意圖，圖中所示為一個(gè)全連接網(wǎng)絡(luò)，意味著上一層中的每一個(gè)神經(jīng)元都和下一層的任何神經(jīng)元有連接關(guān)系。這是最早使用，也是普遍有效、應(yīng)用最廣的的一種連接方式。然而，這種連接方式的最大缺陷是：計(jì)算量與內(nèi)存消耗量都十分巨大，效率低。為此，很多學(xué)者提出了一些稀疏連接算法，試圖改善這個(gè)問題。表1為一個(gè)典型的卷積稀疏連接表：

表1

很顯然，從表1可以看出，這種連接的局部性很強(qiáng)。

必須說明的是，上述工作的初衷其實(shí)更多的只是為了改善精度，減小計(jì)算開銷只是一個(gè)副產(chǎn)品。因?yàn)閷τ诤芏嗑唧w問題，全連接關(guān)系雖然可以拿來直接使用，但是并非最好的一種。這和現(xiàn)實(shí)物理世界問題，關(guān)聯(lián)往往具有局部性密切相關(guān)。現(xiàn)實(shí)世界的這種局部性對于我們對深度學(xué)習(xí)進(jìn)行并行加速很有啟發(fā)。

深度學(xué)習(xí)算法是一種計(jì)算十分密集的應(yīng)用，這就決定了在現(xiàn)有的硬件條件下，必須通過并行處理的方式來加快計(jì)算速度，其中分為數(shù)據(jù)并行與模型并行。圖2為深度學(xué)習(xí)算法中計(jì)算網(wǎng)絡(luò)示意圖，計(jì)算分為很多網(wǎng)絡(luò)層，每層之間的計(jì)算相對獨(dú)立，但是每層計(jì)算完以后，會有一次明顯的通信，是模型的各個(gè)部分相互交換數(shù)據(jù)。圖3為深度學(xué)習(xí)算法中模型并行示意圖，顯然，各層之間的連接表越稠密，通信量也越大，極端的情況比如全相連神經(jīng)網(wǎng)絡(luò)，則意味著all-to-all的通信，這種特性極大地限制了該算法的可擴(kuò)展性。

技術(shù)實(shí)現(xiàn)要素：

針對相關(guān)技術(shù)中存在的不足，本發(fā)明所要解決的技術(shù)問題在于：提供一種計(jì)算速度較高、擴(kuò)展性較高的基于局部連接通信的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：一種基于局部連接通信的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法，包括以下步驟：S101、根據(jù)計(jì)算問題確定各網(wǎng)絡(luò)層之間的網(wǎng)絡(luò)連接模型；S102、依照并行處理的方式，將各網(wǎng)絡(luò)層分配于各個(gè)計(jì)算節(jié)點(diǎn)；S103、確定各個(gè)計(jì)算節(jié)點(diǎn)之間的通信關(guān)系；S104、保留相鄰節(jié)點(diǎn)之間的通信，對于跨節(jié)點(diǎn)的通信，直接刪除；S105、根據(jù)步驟S104中刪除操作之后的連接關(guān)系生成新的模型；S106、利用新的模型進(jìn)行并行計(jì)算。

優(yōu)選地，步驟S102中，所述并行處理的方式為模型并行的方式。

優(yōu)選地，所述步驟S102中，所述將各網(wǎng)絡(luò)層分配于各個(gè)計(jì)算節(jié)點(diǎn)，具體為：將各網(wǎng)絡(luò)層平均分配于各個(gè)計(jì)算節(jié)點(diǎn)，以保證計(jì)算均衡。

本發(fā)明的有益技術(shù)效果在于：使用本發(fā)明的算法時(shí)，先根據(jù)計(jì)算問題確定各網(wǎng)絡(luò)層之間的網(wǎng)絡(luò)連接模型，依照并行處理的方式，將各網(wǎng)絡(luò)層分配于各個(gè)計(jì)算節(jié)點(diǎn)，然后確定各個(gè)計(jì)算節(jié)點(diǎn)之間的通信關(guān)系，再保留相鄰節(jié)點(diǎn)之間的通信，對于跨節(jié)點(diǎn)的通信，直接刪除，然后根據(jù)刪除操作之后的連接關(guān)系生成新的模型，最后利用新的模型進(jìn)行并行計(jì)算；本發(fā)明與傳統(tǒng)的深度學(xué)習(xí)算法相比，在基本不降低精度的情況下，降低了計(jì)算量，提高了計(jì)算速度，由于通信量變小，通信關(guān)系變得簡單，因此程序的可擴(kuò)展性得到極大的提高，能夠適應(yīng)大規(guī)模并行計(jì)算。

附圖說明

圖1是深度神經(jīng)網(wǎng)絡(luò)各網(wǎng)絡(luò)層之間的連接示意圖；

圖2是深度學(xué)習(xí)算法中計(jì)算網(wǎng)絡(luò)示意圖；

圖3是深度學(xué)習(xí)算法中模型并行示意圖；

圖4是本發(fā)明實(shí)施例一提供的一種基于局部連接通信的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法的流程示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例；基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

科學(xué)計(jì)算問題中，物理區(qū)域被劃分為若干個(gè)相當(dāng)大小的子區(qū)域，每個(gè)計(jì)算節(jié)點(diǎn)負(fù)責(zé)一個(gè)區(qū)域，兩個(gè)節(jié)點(diǎn)之間的通信只局限于物理交界面處，因此通信量相對于計(jì)算量而言，永遠(yuǎn)都要低一維，這就意味著有很多方法可以去做通信優(yōu)化，如計(jì)算與通信的重疊等，來保證并行計(jì)算的可擴(kuò)展性，從而提高計(jì)算速度。

在神經(jīng)網(wǎng)絡(luò)計(jì)算中，同樣存在著這樣的現(xiàn)象。全連接神經(jīng)網(wǎng)絡(luò)中，各層之間的神經(jīng)元都屬于全連接關(guān)系，但是，卷積神經(jīng)網(wǎng)絡(luò)則不一樣，通過卷積kernel的作用，減少了這種全局作用，一方面提高了收斂性，另一方面還減少了計(jì)算量。因此，我們得出一個(gè)結(jié)論，就是神經(jīng)網(wǎng)絡(luò)計(jì)算同樣存在著作用的局部屬性。

圖4是本發(fā)明實(shí)施例一提供的一種基于局部連接通信的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法的流程示意圖，如圖4所示，一種基于局部連接通信的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法，包括以下步驟：

S101、根據(jù)計(jì)算問題確定各網(wǎng)絡(luò)層之間的網(wǎng)絡(luò)連接模型。

S102、依照并行處理的方式，將各網(wǎng)絡(luò)層分配于各個(gè)計(jì)算節(jié)點(diǎn)。

S103、確定各個(gè)計(jì)算節(jié)點(diǎn)之間的通信關(guān)系。

S104、保留相鄰節(jié)點(diǎn)之間的通信，對于跨節(jié)點(diǎn)的通信，直接刪除。

S105、根據(jù)步驟S104中刪除操作之后的連接關(guān)系生成新的模型。

S106、利用新的模型進(jìn)行并行計(jì)算。

具體地，步驟S102中，所述并行處理的方式為模型并行的方式。

本實(shí)施例中，并行處理方式分為數(shù)據(jù)并行與模型并行，由于本案的問題與模型僅與模型并行相關(guān)，因此本實(shí)施例只討論模型并行，并以常見的cnn(卷積神經(jīng)網(wǎng)絡(luò))來作說明。

具體地，所述步驟S102中，所述將各網(wǎng)絡(luò)層分配于各個(gè)計(jì)算節(jié)點(diǎn)，具體為：將各網(wǎng)絡(luò)層平均分配于各個(gè)計(jì)算節(jié)點(diǎn)，以保證計(jì)算均衡。

如背景技術(shù)里面提到的模型并行的特性，限制了深度學(xué)習(xí)算法的可擴(kuò)展性，而本案正是從此入手，通過改變各層之間的連接表，盡量保證局部性，以此來減小通信量，在基本不降低精度的情況下，降低了計(jì)算量，提高了計(jì)算速度，此外，也由于通信量變小，通信關(guān)系變得簡單，因此程序的可擴(kuò)展性得到極大的提高，能夠適應(yīng)大規(guī)模并行計(jì)算，具有突出的實(shí)質(zhì)性特點(diǎn)和顯著的進(jìn)步。

最后應(yīng)說明的是：以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。