布p(v，h) ~
]期望。對(duì)于給定的RBM，第一個(gè)期望值可以直接計(jì)算 出來，但是第二項(xiàng)其對(duì)應(yīng)著V和h的所有可能性取值，其組合數(shù)目呈禁止性的指數(shù)式關(guān)系， 無法直接計(jì)算得到。針對(duì)這一問題，Hinton提出了對(duì)比散度法⑶，可實(shí)現(xiàn)對(duì)第二個(gè)期望項(xiàng) 的一種近似。
[0057] 為實(shí)現(xiàn)這種近似有兩個(gè)關(guān)鍵的要素：第一個(gè)是，為了估計(jì)第二個(gè)期望，需要將梯度 '-'用在某個(gè)特定數(shù)對(duì)(V，h)處的梯度唯一的表示。這個(gè)數(shù)對(duì)（V，h)理想情況下 συ 應(yīng)該由分布P(v，h)采樣得到，這樣可以使得對(duì)梯度的估計(jì)是無偏的。然而，從一個(gè)RBM分 布上準(zhǔn)確采樣并不像一個(gè)有向圖模型上那樣簡(jiǎn)單。事實(shí)上，必須依賴馬爾科夫蒙特卡洛一 類的方法。對(duì)于一個(gè)RBM，可以根據(jù)條件概率分布進(jìn)行吉布斯采樣Gibbs sampling,然而步 數(shù)較大的吉布斯采樣計(jì)算量大效率低。于是第二個(gè)關(guān)鍵的因素是只使用較少次迭代的吉布 斯采樣，并使用￥°作為可見層初始的狀態(tài)。經(jīng)驗(yàn)表明，只是用一次迭代的馬爾科夫鏈在實(shí) 際中表現(xiàn)較好。采樣過程可以由下式表示：
[0058]
[0059] 其中外十1，和 <卞）>分別表示從概率POi1Iv1)和p W+1Ih1)上進(jìn)行采樣 過程。通過以上過程對(duì)梯度進(jìn)行估計(jì)即所謂的CD-I方法，當(dāng)?shù)拇螖?shù)變?yōu)閗時(shí)即所謂的 CD-k方法。
[0060] 考慮對(duì)權(quán)值矩陣中Wjk的梯度的估計(jì)，有：
[0061]
[0062]
[0063]
[0064] 以上的梯度估計(jì)過程，可以使用隨機(jī)梯度下降法，在訓(xùn)練集中迭代選擇/進(jìn)行參 數(shù)的更新。對(duì)于偏置向量b和c的更新采用類似的過程，具體算法如下所示：
[0065] 輸入：訓(xùn)練樣本X，RBM的權(quán)矩陣W1，偏置b1和c \學(xué)習(xí)率η ;
[0066] 注釋：a~ρ (·)表示a是從概率ρ (·)上得到的隨機(jī)采樣；
[0067] %設(shè)置RBM參數(shù)：
[0071] %采樣過程：[0072] h〇~p (h I V 〇)[0073] V1 ~p(v|h〇)
[0068]
[0069]
[0070]
l〇〇79」 具體買施萬a：二：卜m铦甘圖2和圖；η兄明本買施方式，本實(shí)施方式對(duì)實(shí)施方式二 作進(jìn)一步說明，步驟三中獲得最終深信度網(wǎng)絡(luò)回歸模型的具體方法為：
[0080] 步驟三一：采用逐層貪心方法，將步驟二中獲得的深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型分 層，由下至上，再利用新建路口的預(yù)存實(shí)際交通流量數(shù)據(jù)對(duì)輸入X的那一層進(jìn)行無監(jiān)督的 訓(xùn)練；
[0081] 步驟三二：所述無監(jiān)督的訓(xùn)練結(jié)束后，使用有監(jiān)督的學(xué)習(xí)對(duì)所述深信度網(wǎng)絡(luò)回歸 預(yù)訓(xùn)練模型進(jìn)行精調(diào)；
[0082] 步驟三三：除了原始輸入X的隱含層，以深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型的輸出作為 監(jiān)督信號(hào)，構(gòu)造損失函數(shù)，采用梯度下降法對(duì)所述深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型的其他隱含 層進(jìn)行有監(jiān)督的訓(xùn)練，得到預(yù)訓(xùn)練模型的序列之間的映射關(guān)系，獲得最終深信度網(wǎng)絡(luò)回歸 模型。
[0083] 深信度網(wǎng)絡(luò)DBN構(gòu)建了一個(gè)生成型的模型，其中包含多層隱含層。輸入觀測(cè)數(shù)據(jù) X，底層的隱含層提取的是輸入的低水平的特征，隨著層數(shù)的向上，輸入被不斷地重新表達(dá)， 其逐漸得到更抽象的特征。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的向上增長(zhǎng)，逐步進(jìn)行重新表達(dá)，提 取更加抽象但易于建模的特征，并把提取出的特征作為下一層的輸入。
[0084] 使用無監(jiān)督的逐層貪心算法進(jìn)行訓(xùn)練，通過其強(qiáng)大的非線性映射能力，旨在學(xué)習(xí) 得到序列之間的映射關(guān)系。具體為：
[0085] 逐層貪心學(xué)習(xí)算法的具體實(shí)現(xiàn)方式如下所示：
[0086] 輸入：訓(xùn)練集，定義學(xué)習(xí)率ε，
[0087] 初始化權(quán)值矩陣％
[0088] %預(yù)訓(xùn)練過程：
[0089] for i = I:I, do
[0090] while預(yù)訓(xùn)練停止準(zhǔn)則沒有滿足do
[0091] 從訓(xùn)練集中選出輸入xt
[0092]
[0093]
[0094]
[0095]
[0096] end for
[0097] 使用：)作為輸入，基于受限玻爾茲曼機(jī)理論對(duì)該層進(jìn)行訓(xùn)練，更新權(quán)矩陣W1 和偏置b1 \ b1:
[0098] end while
[0099] end for
[0100] %精調(diào)過程：
[0101] while精調(diào)過程沒有達(dá)到終止條件
[0102] 從訓(xùn)練集中選擇樣本（xt，yt)
[0103] %前向傳播
[0104] h{Xf)^-Xi
[0105] for i = I: I, do
[0106] O1(Xl)^b' +W1Ji1(Xt)
[0107] h (xt) = sigm(a' (x)))
[0108] end for
[0109] aM (X1) =bM +WMh'(xt)
[0110] 〇(x;) = h (xt) = Cja/+1(x;)+：ci：
[0111] %使用BP算法進(jìn)行誤差反向傳播
[0112] end while。
[0113]
【具體實(shí)施方式】 [0114] 四：本實(shí)施方式對(duì)實(shí)施方式一、二或三作進(jìn)一步說明，步驟二中成熟 路口數(shù)據(jù)為所屬城市的相應(yīng)路口近一年內(nèi)的交通流量數(shù)據(jù)，其數(shù)據(jù)采集時(shí)間間隔為l〇min。
[0115] 本實(shí)施方式中所屬城市的相應(yīng)路口流量數(shù)據(jù)可以采用同一城市不同的幾個(gè)路口 近一年月的交通流量數(shù)據(jù)。
【具體實(shí)施方式】 [0116] 五：本實(shí)施方式對(duì)實(shí)施方式一、二、三或四作進(jìn)一步說明，步驟三中 預(yù)存實(shí)際交通流量數(shù)據(jù)為所述新建路口近1個(gè)月內(nèi)的實(shí)際交通流量數(shù)據(jù)，其數(shù)據(jù)采集時(shí)間 間隔為IOmin。
[0117] 為了驗(yàn)證本發(fā)明方法在交通流量預(yù)測(cè)領(lǐng)域的效果，對(duì)所建的交通日流量預(yù)測(cè)模型 進(jìn)行測(cè)試，測(cè)試結(jié)果的統(tǒng)計(jì)結(jié)果如表1所示。可以看出：采用其它路口數(shù)據(jù)對(duì)模型進(jìn)行預(yù)訓(xùn) 練比僅用短時(shí)間內(nèi)的新建路口數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的所得到的模型預(yù)測(cè)精度要高很多，然而， 當(dāng)其它路口數(shù)據(jù)量達(dá)到一定量以后，模型精度提高的程度變慢。
[0118] 表1測(cè)試集交通流量天前預(yù)測(cè)平均誤差
[0119]
【主權(quán)項(xiàng)】
1. 一種基于生成型深信度網(wǎng)絡(luò)的新建路口交通流量預(yù)測(cè)方法，其特征在于，它包括以 下步驟： 步驟一：基于深度學(xué)習(xí)理論和受限的玻爾茲曼機(jī)，建立一個(gè)具有144輸入與144輸出結(jié) 構(gòu)的生成型深信度網(wǎng)絡(luò)回歸模型； 步驟二：利用所述新建路口所屬城市的成熟路口數(shù)據(jù)對(duì)深信度網(wǎng)絡(luò)回歸模型進(jìn)行預(yù)訓(xùn) 練，獲得深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型；所述成熟路口為交通流量數(shù)據(jù)積累成形的路口； 步驟三：再利用新建路口的預(yù)存實(shí)際交通流量數(shù)據(jù)對(duì)深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型繼續(xù) 進(jìn)行精調(diào)，通過預(yù)訓(xùn)練模型的非線性映射能力，學(xué)習(xí)得到預(yù)訓(xùn)練模型的序列之間的映射關(guān) 系，獲得最終深彳目度網(wǎng)絡(luò)回歸模型； 步驟四：采集新建路口的當(dāng)前實(shí)際交通流量數(shù)據(jù)，采用最終深信度網(wǎng)絡(luò)回歸模型對(duì)新 建路口的交通流量進(jìn)行在線預(yù)測(cè)。2. 根據(jù)權(quán)利要求1所述的基于生成型深信度網(wǎng)絡(luò)的新建路口交通流量預(yù)測(cè)方法，其特 征在于，步驟一中生成型深信度網(wǎng)絡(luò)回歸模型的建立方法為： 通過受限的玻爾茲曼機(jī)的疊置構(gòu)建具有144輸入與144輸出結(jié)構(gòu)的深信度網(wǎng)絡(luò)回歸模 型；該深信度網(wǎng)絡(luò)回歸模型為1層神經(jīng)網(wǎng)絡(luò)，以向量x=h°表示原始輸入，以h\……，h1 1 表不相應(yīng)隱含層的輸入，h1表不輸出層的輸入； 其中，第1-1隱含層使用sigmoid函數(shù)并由受限的玻爾茲曼機(jī)構(gòu)成，頂層激活函數(shù)使用 純線性函數(shù)； 對(duì)于原始輸入X，1-1層隱含層和輸出層的聯(lián)合概率分布P(x，h1，......，h1)為：其中，1為正整數(shù);pOi1U1)為h1 1和h1的聯(lián)合概率分布，pQi1Nh1)為h1 1的后驗(yàn)概 率。3. 根據(jù)權(quán)利要求2所述的基于生成型深信度網(wǎng)絡(luò)的新建路口交通流量預(yù)測(cè)方法，其特 征在于，步驟二中獲得最終深彳目度網(wǎng)絡(luò)回歸模型的具體方法為： 步驟三一：采用逐層貪心方法，將步驟二中獲得的深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型分層，由 下至上，再利用新建路口的預(yù)存實(shí)際交通流量數(shù)據(jù)對(duì)輸入x的那一層進(jìn)行無監(jiān)督的訓(xùn)練； 步驟三二：所述無監(jiān)督的訓(xùn)練結(jié)束后，使用有監(jiān)督的學(xué)習(xí)對(duì)所述深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn) 練豐吳型進(jìn)彳丁精調(diào)； 步驟三三：除了原始輸入X的隱含層，以深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型的輸出作為監(jiān)督 信號(hào)，構(gòu)造損失函數(shù)，采用梯度下降法對(duì)所述深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型的其他隱含層進(jìn) 行有監(jiān)督的訓(xùn)練，得到預(yù)訓(xùn)練模型的序列之間的映射關(guān)系，獲得最終深信度網(wǎng)絡(luò)回歸模型。4. 根據(jù)權(quán)利要求3所述的基于生成型深信度網(wǎng)絡(luò)的新建路口交通流量預(yù)測(cè)方法，其特 征在于，步驟二中成熟路口數(shù)據(jù)為所屬城市的相應(yīng)路口近一年內(nèi)的交通流量數(shù)據(jù)，其數(shù)據(jù) 采集時(shí)間間隔為lOmin。5. 根據(jù)權(quán)利要求1、2、3或4所述的基于生成型深信度網(wǎng)絡(luò)的新建路口交通流量預(yù)測(cè)方 法，其特征在于，步驟三中預(yù)存實(shí)際交通流量數(shù)據(jù)為所述新建路口近1個(gè)月內(nèi)的實(shí)際交通 流量數(shù)據(jù)，其數(shù)據(jù)采集時(shí)間間隔為lOmin。
【專利摘要】基于生成型深信度網(wǎng)絡(luò)的新建路口交通流量預(yù)測(cè)方法，屬于短期交通流量預(yù)測(cè)技術(shù)領(lǐng)域。本發(fā)明是為了解決目前針對(duì)新建路口進(jìn)行交通流量預(yù)測(cè)存在的數(shù)據(jù)少，預(yù)測(cè)精度低的問題。它首先基于深度學(xué)習(xí)理論和受限的玻爾茲曼機(jī)，建立一個(gè)具有144輸入與144輸出結(jié)構(gòu)的生成型深信度網(wǎng)絡(luò)回歸模型；所述新建路口所屬城市的成熟路口數(shù)據(jù)對(duì)深信度網(wǎng)絡(luò)回歸模型進(jìn)行預(yù)訓(xùn)練，獲得深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型；再利用新建路口的預(yù)存實(shí)際交通流量數(shù)據(jù)對(duì)深信度網(wǎng)絡(luò)回歸預(yù)訓(xùn)練模型繼續(xù)進(jìn)行精調(diào)，獲得最終深信度網(wǎng)絡(luò)回歸模型；采集新建路口的當(dāng)前實(shí)際交通流量數(shù)據(jù)，采用最終深信度網(wǎng)絡(luò)回歸模型對(duì)新建路口的交通流量進(jìn)行在線預(yù)測(cè)。本發(fā)明用于新建路口交通流量預(yù)測(cè)。
【IPC分類】G08G1/01, G08G1/065
【公開號(hào)】CN105096614
【申請(qǐng)?zhí)枴緾N201510612951
【發(fā)明人】劉輝, 萬杰, 劉鑫, 任國(guó)瑞, 黃建華, 劉智, 李美蘭, 于乘
【申請(qǐng)人】南京遒涯信息技術(shù)有限公司
【公開日】2015年11月25日
【申請(qǐng)日】2015年9月23日