布p(v，h) ~
]期望。對于給定的RBM，第一個期望值可以直接計算 出來，但是第二項其對應著V和h的所有可能性取值，其組合數(shù)目呈禁止性的指數(shù)式關(guān)系， 無法直接計算得到。針對這一問題，Hinton提出了對比散度法⑶，可實現(xiàn)對第二個期望項 的一種近似。
[0057] 為實現(xiàn)這種近似有兩個關(guān)鍵的要素：第一個是，為了估計第二個期望，需要將梯度 '-'用在某個特定數(shù)對(V，h)處的梯度唯一的表示。這個數(shù)對（V，h)理想情況下 συ 應該由分布P(v，h)采樣得到，這樣可以使得對梯度的估計是無偏的。然而，從一個RBM分 布上準確采樣并不像一個有向圖模型上那樣簡單。事實上，必須依賴馬爾科夫蒙特卡洛一 類的方法。對于一個RBM，可以根據(jù)條件概率分布進行吉布斯采樣Gibbs sampling,然而步 數(shù)較大的吉布斯采樣計算量大效率低。于是第二個關(guān)鍵的因素是只使用較少次迭代的吉布 斯采樣，并使用￥°作為可見層初始的狀態(tài)。經(jīng)驗表明，只是用一次迭代的馬爾科夫鏈在實 際中表現(xiàn)較好。采樣過程可以由下式表示：
[0058]
[0059] 其中外十1，和 <卞）>分別表示從概率POi1Iv1)和p W+1Ih1)上進行采樣 過程。通過以上過程對梯度進行估計即所謂的CD-I方法，當?shù)拇螖?shù)變?yōu)閗時即所謂的 CD-k方法。
[0060] 考慮對權(quán)值矩陣中Wjk的梯度的估計，有：
[0061]
[0062]
[0063]
[0064] 以上的梯度估計過程，可以使用隨機梯度下降法，在訓練集中迭代選擇/進行參 數(shù)的更新。對于偏置向量b和c的更新采用類似的過程，具體算法如下所示：
[0065] 輸入：訓練樣本X，RBM的權(quán)矩陣W1，偏置b1和c \學習率η ;
[0066] 注釋：a~ρ (·)表示a是從概率ρ (·)上得到的隨機采樣；
[0067] %設(shè)置RBM參數(shù)：
[0071] %采樣過程：[0072] h〇~p (h I V 〇)[0073] V1 ~p(v|h〇)
[0068]
[0069]
[0070]
l〇〇79」 具體買施萬a：二：卜m铦甘圖2和圖；η兄明本買施方式，本實施方式對實施方式二 作進一步說明，步驟三中獲得最終深信度網(wǎng)絡回歸模型的具體方法為：
[0080] 步驟三一：采用逐層貪心方法，將步驟二中獲得的深信度網(wǎng)絡回歸預訓練模型分 層，由下至上，再利用新建路口的預存實際交通流量數(shù)據(jù)對輸入X的那一層進行無監(jiān)督的 訓練；
[0081] 步驟三二：所述無監(jiān)督的訓練結(jié)束后，使用有監(jiān)督的學習對所述深信度網(wǎng)絡回歸 預訓練模型進行精調(diào)；
[0082] 步驟三三：除了原始輸入X的隱含層，以深信度網(wǎng)絡回歸預訓練模型的輸出作為 監(jiān)督信號，構(gòu)造損失函數(shù)，采用梯度下降法對所述深信度網(wǎng)絡回歸預訓練模型的其他隱含 層進行有監(jiān)督的訓練，得到預訓練模型的序列之間的映射關(guān)系，獲得最終深信度網(wǎng)絡回歸 模型。
[0083] 深信度網(wǎng)絡DBN構(gòu)建了一個生成型的模型，其中包含多層隱含層。輸入觀測數(shù)據(jù) X，底層的隱含層提取的是輸入的低水平的特征，隨著層數(shù)的向上，輸入被不斷地重新表達， 其逐漸得到更抽象的特征。深度學習神經(jīng)網(wǎng)絡隨著層數(shù)的向上增長，逐步進行重新表達，提 取更加抽象但易于建模的特征，并把提取出的特征作為下一層的輸入。
[0084] 使用無監(jiān)督的逐層貪心算法進行訓練，通過其強大的非線性映射能力，旨在學習 得到序列之間的映射關(guān)系。具體為：
[0085] 逐層貪心學習算法的具體實現(xiàn)方式如下所示：
[0086] 輸入：訓練集，定義學習率ε，
[0087] 初始化權(quán)值矩陣％
[0088] %預訓練過程：
[0089] for i = I:I, do
[0090] while預訓練停止準則沒有滿足do
[0091] 從訓練集中選出輸入xt
[0092]
[0093]
[0094]
[0095]
[0096] end for
[0097] 使用：)作為輸入，基于受限玻爾茲曼機理論對該層進行訓練，更新權(quán)矩陣W1 和偏置b1 \ b1:
[0098] end while
[0099] end for
[0100] %精調(diào)過程：
[0101] while精調(diào)過程沒有達到終止條件
[0102] 從訓練集中選擇樣本（xt，yt)
[0103] %前向傳播
[0104] h{Xf)^-Xi
[0105] for i = I: I, do
[0106] O1(Xl)^b' +W1Ji1(Xt)
[0107] h (xt) = sigm(a' (x)))
[0108] end for
[0109] aM (X1) =bM +WMh'(xt)
[0110] 〇(x;) = h (xt) = Cja/+1(x;)+：ci：
[0111] %使用BP算法進行誤差反向傳播
[0112] end while。
[0113]
【具體實施方式】 [0114] 四：本實施方式對實施方式一、二或三作進一步說明，步驟二中成熟 路口數(shù)據(jù)為所屬城市的相應路口近一年內(nèi)的交通流量數(shù)據(jù)，其數(shù)據(jù)采集時間間隔為l〇min。
[0115] 本實施方式中所屬城市的相應路口流量數(shù)據(jù)可以采用同一城市不同的幾個路口 近一年月的交通流量數(shù)據(jù)。
【具體實施方式】 [0116] 五：本實施方式對實施方式一、二、三或四作進一步說明，步驟三中 預存實際交通流量數(shù)據(jù)為所述新建路口近1個月內(nèi)的實際交通流量數(shù)據(jù)，其數(shù)據(jù)采集時間 間隔為IOmin。
[0117] 為了驗證本發(fā)明方法在交通流量預測領(lǐng)域的效果，對所建的交通日流量預測模型 進行測試，測試結(jié)果的統(tǒng)計結(jié)果如表1所示?？梢钥闯觯翰捎闷渌房跀?shù)據(jù)對模型進行預訓 練比僅用短時間內(nèi)的新建路口數(shù)據(jù)進行預訓練的所得到的模型預測精度要高很多，然而， 當其它路口數(shù)據(jù)量達到一定量以后，模型精度提高的程度變慢。
[0118] 表1測試集交通流量天前預測平均誤差
[0119]
【主權(quán)項】
1. 一種基于生成型深信度網(wǎng)絡的新建路口交通流量預測方法，其特征在于，它包括以 下步驟： 步驟一：基于深度學習理論和受限的玻爾茲曼機，建立一個具有144輸入與144輸出結(jié) 構(gòu)的生成型深信度網(wǎng)絡回歸模型； 步驟二：利用所述新建路口所屬城市的成熟路口數(shù)據(jù)對深信度網(wǎng)絡回歸模型進行預訓 練，獲得深信度網(wǎng)絡回歸預訓練模型；所述成熟路口為交通流量數(shù)據(jù)積累成形的路口； 步驟三：再利用新建路口的預存實際交通流量數(shù)據(jù)對深信度網(wǎng)絡回歸預訓練模型繼續(xù) 進行精調(diào)，通過預訓練模型的非線性映射能力，學習得到預訓練模型的序列之間的映射關(guān) 系，獲得最終深彳目度網(wǎng)絡回歸模型； 步驟四：采集新建路口的當前實際交通流量數(shù)據(jù)，采用最終深信度網(wǎng)絡回歸模型對新 建路口的交通流量進行在線預測。2. 根據(jù)權(quán)利要求1所述的基于生成型深信度網(wǎng)絡的新建路口交通流量預測方法，其特 征在于，步驟一中生成型深信度網(wǎng)絡回歸模型的建立方法為： 通過受限的玻爾茲曼機的疊置構(gòu)建具有144輸入與144輸出結(jié)構(gòu)的深信度網(wǎng)絡回歸模 型；該深信度網(wǎng)絡回歸模型為1層神經(jīng)網(wǎng)絡，以向量x=h°表示原始輸入，以h\……，h1 1 表不相應隱含層的輸入，h1表不輸出層的輸入； 其中，第1-1隱含層使用sigmoid函數(shù)并由受限的玻爾茲曼機構(gòu)成，頂層激活函數(shù)使用 純線性函數(shù)； 對于原始輸入X，1-1層隱含層和輸出層的聯(lián)合概率分布P(x，h1，......，h1)為：其中，1為正整數(shù);pOi1U1)為h1 1和h1的聯(lián)合概率分布，pQi1Nh1)為h1 1的后驗概 率。3. 根據(jù)權(quán)利要求2所述的基于生成型深信度網(wǎng)絡的新建路口交通流量預測方法，其特 征在于，步驟二中獲得最終深彳目度網(wǎng)絡回歸模型的具體方法為： 步驟三一：采用逐層貪心方法，將步驟二中獲得的深信度網(wǎng)絡回歸預訓練模型分層，由 下至上，再利用新建路口的預存實際交通流量數(shù)據(jù)對輸入x的那一層進行無監(jiān)督的訓練； 步驟三二：所述無監(jiān)督的訓練結(jié)束后，使用有監(jiān)督的學習對所述深信度網(wǎng)絡回歸預訓 練豐吳型進彳丁精調(diào)； 步驟三三：除了原始輸入X的隱含層，以深信度網(wǎng)絡回歸預訓練模型的輸出作為監(jiān)督 信號，構(gòu)造損失函數(shù)，采用梯度下降法對所述深信度網(wǎng)絡回歸預訓練模型的其他隱含層進 行有監(jiān)督的訓練，得到預訓練模型的序列之間的映射關(guān)系，獲得最終深信度網(wǎng)絡回歸模型。4. 根據(jù)權(quán)利要求3所述的基于生成型深信度網(wǎng)絡的新建路口交通流量預測方法，其特 征在于，步驟二中成熟路口數(shù)據(jù)為所屬城市的相應路口近一年內(nèi)的交通流量數(shù)據(jù)，其數(shù)據(jù) 采集時間間隔為lOmin。5. 根據(jù)權(quán)利要求1、2、3或4所述的基于生成型深信度網(wǎng)絡的新建路口交通流量預測方 法，其特征在于，步驟三中預存實際交通流量數(shù)據(jù)為所述新建路口近1個月內(nèi)的實際交通 流量數(shù)據(jù)，其數(shù)據(jù)采集時間間隔為lOmin。
【專利摘要】基于生成型深信度網(wǎng)絡的新建路口交通流量預測方法，屬于短期交通流量預測技術(shù)領(lǐng)域。本發(fā)明是為了解決目前針對新建路口進行交通流量預測存在的數(shù)據(jù)少，預測精度低的問題。它首先基于深度學習理論和受限的玻爾茲曼機，建立一個具有144輸入與144輸出結(jié)構(gòu)的生成型深信度網(wǎng)絡回歸模型；所述新建路口所屬城市的成熟路口數(shù)據(jù)對深信度網(wǎng)絡回歸模型進行預訓練，獲得深信度網(wǎng)絡回歸預訓練模型；再利用新建路口的預存實際交通流量數(shù)據(jù)對深信度網(wǎng)絡回歸預訓練模型繼續(xù)進行精調(diào)，獲得最終深信度網(wǎng)絡回歸模型；采集新建路口的當前實際交通流量數(shù)據(jù)，采用最終深信度網(wǎng)絡回歸模型對新建路口的交通流量進行在線預測。本發(fā)明用于新建路口交通流量預測。
【IPC分類】G08G1/01, G08G1/065
【公開號】CN105096614
【申請?zhí)枴緾N201510612951
【發(fā)明人】劉輝, 萬杰, 劉鑫, 任國瑞, 黃建華, 劉智, 李美蘭, 于乘
【申請人】南京遒涯信息技術(shù)有限公司
【公開日】2015年11月25日
【申請日】2015年9月23日