專利名稱：：交通信號(hào)控制系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種用于交叉路口交通信號(hào)燈控制的方法。特別是，本發(fā)明涉及用于實(shí)現(xiàn)交叉路口的信號(hào)群的控制和變換方法的系統(tǒng)和軟件平臺(tái)，該方法用于基于效用函數(shù)來優(yōu)化交通流量。所述信號(hào)群包括通常同時(shí)變換的一組信號(hào)燈，如紅燈、綠燈、黃燈和全滅(沒有信號(hào)燈)。所述方法進(jìn)一步包括，基于來自至少一個(gè)位于停止線處的單環(huán)形天線檢測器的信號(hào)來檢測位于交叉路口的車輛隊(duì)列被完全放行的時(shí)間點(diǎn)的步驟。該方法還使用卡爾曼濾波器估計(jì)平均交通流率。本發(fā)明可以作為交通控制系統(tǒng)的一個(gè)模塊，對(duì)道路交通量進(jìn)行監(jiān)視和控制。
背景技術(shù)：
：隨著道路交通容量的不斷增長，交通信號(hào)控制系統(tǒng)的性能改進(jìn)不失為一種潛在減少由交通阻塞導(dǎo)致的社會(huì)的、經(jīng)濟(jì)的和環(huán)境的影響的低成本的方法。這種改進(jìn)不單延緩交通阻塞的開始，同時(shí)也能減免昂貴費(fèi)時(shí)的附加道路網(wǎng)絡(luò)基礎(chǔ)設(shè)施。在世界范圍內(nèi)有很多使用中的交通控制系統(tǒng)是基于時(shí)間的，并使用通過收集一天中各個(gè)時(shí)段的交通模式人工開發(fā)的變換規(guī)劃。這些規(guī)劃是固定的且不能對(duì)所有未期的交通流的實(shí)時(shí)變化做出反應(yīng)。傳統(tǒng)上，交通控制系統(tǒng)設(shè)置有自適應(yīng)固定階段控制器，其中交通信號(hào)燈通常按照多個(gè)循環(huán)的階段順序變化。常規(guī)的交通控制系統(tǒng)不能對(duì)交叉路口進(jìn)行充分的利用。因此，車輛通過使用常規(guī)交通控制系統(tǒng)的交叉路口時(shí)，平均等待時(shí)間通常很長。自適應(yīng)控制系統(tǒng)，如SCOOT(SplitCycleOffsetOptimizationTechnique,分離循環(huán)偏移最優(yōu)化技術(shù))和SCATS(SydneyCoordinatedAdaptiveTrafficSystem,悉尼坐標(biāo)自適應(yīng)交通系統(tǒng))，在幾十年前被研發(fā)出來，它們使用信號(hào)燈按照循環(huán)順序的幾個(gè)階段變換的自適應(yīng)階段控制。交通工程師手工選擇選擇所述階段并預(yù)先定義其順序。該系統(tǒng)在每個(gè)階段之間進(jìn)行實(shí)時(shí)調(diào)整。所述實(shí)時(shí)調(diào)整是基于對(duì)交通飽和程度的測量。但是，這些自適應(yīng)階段控制系統(tǒng)仍然無法適應(yīng)未曾預(yù)料到的流模式。以前設(shè)計(jì)的自適應(yīng)控制系統(tǒng)沒有一個(gè)能提供比控制單個(gè)信號(hào)群更大程度的靈活性。當(dāng)遭遇到不曾計(jì)劃的交通流情況時(shí)，已知的自適應(yīng)控制系統(tǒng)顯示出明顯的缺陷。這是因?yàn)?，這些已有的自適應(yīng)控制器僅限于在有限數(shù)量預(yù)訂順序的的階段之間進(jìn)行變換。此外，歷史上傳統(tǒng)交通控制系統(tǒng)應(yīng)用的控制方法論引入了不同的方式來估計(jì)隊(duì)列終點(diǎn)時(shí)間和綠燈時(shí)間。例如，首先使用間隙檢測來幫助變換交通信號(hào)燈，SCATS一夸t包和牙呈度(degreeofsaturation,DoS)平tf到一個(gè)目標(biāo)DoS以更#斤各階段的綠燈時(shí)間。這些技術(shù)對(duì)方差很敏感，并且不允許系統(tǒng)對(duì)交通流的高速變化做出快速反應(yīng)。因此，提供一種能夠很好地用于交叉路口的交通信號(hào)燈控制的解決方案是有益的，該方案應(yīng)能在信號(hào)變換約束和交通行為的約束下，為高空間復(fù)雜度的，隨機(jī)的非線性系統(tǒng)規(guī)劃控制策略。同時(shí)，提供為交叉路口的交通信號(hào)燈控制提供改進(jìn)的方法和系統(tǒng)也是有益的。這可以克服本領(lǐng)域當(dāng)前已知途徑中的至少一個(gè)缺陷，或者提供有用的替代。
發(fā)明內(nèi)容根據(jù)本發(fā)明的一個(gè)方面，提供了一種控制道路交叉口交通信號(hào)的方法，所述交通信號(hào)包括多個(gè)信號(hào)群，每個(gè)信號(hào)群控制控制交叉路口中至少一個(gè)方向的交通，所述方法包括以下步驟(i)獲取并使用交通數(shù)據(jù)以計(jì)算當(dāng)前交通狀態(tài)和該交通狀態(tài)的變化率；(ii)作為對(duì)步驟(i)獲得的計(jì)算結(jié)果的響應(yīng)，公式化至少一個(gè)動(dòng)作和所述動(dòng)作的持續(xù)時(shí)間，其中每個(gè)動(dòng)作包括變換至少一個(gè)交通信號(hào)；(iii)根據(jù)步驟(i)獲得的計(jì)算結(jié)果和步驟(ii)公式化的動(dòng)作，決定一個(gè)或多個(gè)策略；使用連續(xù)決策過程來估計(jì)步驟(iii)決定的策略的報(bào)酬；選擇一能最大化所述才艮酬的策略。較佳地，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度、車輛速度、車輛位置、車輛類型和到達(dá)率中的一個(gè)或一個(gè)以上?？蛇x地，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度和所述變化率是交通隊(duì)列的增長率。較佳地，所述連續(xù)決策過程包括一半馬爾可夫決策過程。較佳地，所述連續(xù)決策過程包括一半馬爾可夫決策過程的最優(yōu)化。較佳地，所述最優(yōu)化包括以下步驟生成一包括多條不同路徑的策略途徑，每條路徑具有一個(gè)或多個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)代表至少一個(gè)策略；以及通過估計(jì)和加總在位于沿每一不同路徑的每個(gè)節(jié)點(diǎn)的策略的報(bào)酬，來估計(jì)所述策略途徑中每條路徑的報(bào)酬。較佳地，所述最優(yōu)化適于在策略途徑中的終止條件達(dá)到時(shí)終止。較佳地，所述終止條件選自節(jié)點(diǎn)統(tǒng)計(jì)極限、時(shí)間統(tǒng)計(jì)極限或存儲(chǔ)器統(tǒng)計(jì)極限中的一個(gè)或一個(gè)以上。較佳地，估計(jì)出的報(bào)酬是一個(gè)用于最優(yōu)化至少一個(gè)交通條件的函數(shù)的值。較佳地，所述交通條件是車輛的燃料消耗、污染、車輛停車的次數(shù)、車輛等待時(shí)間和時(shí)間延遲中的任意一個(gè)或一個(gè)以上。較佳地，所述連續(xù)決策過程包括一個(gè)狀態(tài)集合、一個(gè)用于狀態(tài)之間的轉(zhuǎn)移的動(dòng)作的集合，和一個(gè)策略包括將狀態(tài)映射到動(dòng)作，其中，一個(gè)狀態(tài)包括至少一個(gè)信號(hào)群狀態(tài)和一個(gè)交通狀態(tài)。較佳地，所述信號(hào)群狀態(tài)包括多個(gè)信號(hào)和關(guān)于每個(gè)信號(hào)的計(jì)數(shù)器。較佳地，所述信號(hào)包括紅色和綠色信號(hào)。較佳地，所述計(jì)數(shù)器存儲(chǔ)在所述信號(hào)可被改變之前所剩余的時(shí)間量。較佳地，所述交通數(shù)據(jù)通過使用傳感器收集。較佳地，所述傳感器包括環(huán)形天線檢測器，攝像機(jī)、雷達(dá)裝置、紅外傳感器、RFID標(biāo)簽或GPS裝置中的任何一個(gè)或一個(gè)以上。較佳地，所述計(jì)算交通狀態(tài)的步驟包括確定輸入交通的隊(duì)列終點(diǎn)的步驟。較佳地，所述隊(duì)列終點(diǎn)由使用總的間隔時(shí)間和間隔次數(shù)決定。根據(jù)本發(fā)明的另一方面，提供了一種交通信號(hào)控制系統(tǒng)，其包括一用來控制一執(zhí)行器的控制裝置，所述執(zhí)行器用于控制道路交叉口交通信號(hào)，所述交通信號(hào)包括多個(gè)信號(hào)群，每個(gè)信號(hào)群控制交叉路口中至少一個(gè)方向的交通；和一用于從傳感器接收交通數(shù)據(jù)的交通模擬裝置，所述控制裝置執(zhí)行如下操作(i)獲取并使用所述交通數(shù)據(jù)以計(jì)算當(dāng)前交通狀態(tài)和該交通狀態(tài)的變化率；(ii)作為對(duì)步驟(i)獲得的計(jì)算結(jié)果的響應(yīng)，公式化至少一個(gè)動(dòng)作和所述動(dòng)作的持8續(xù)時(shí)間，其中每個(gè)動(dòng)作包括變換至少一個(gè)交通信號(hào)；(iii)根據(jù)步驟(i)獲得的計(jì)算結(jié)果和步驟(ii)公式化的動(dòng)作，決定一個(gè)或多個(gè)策略；使用連續(xù)決策過程來估計(jì)步驟(iii)決定的策略的報(bào)酬；選擇一能最大化所述報(bào)酬的策略。較佳地，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度、車輛速度、車輛位置、車輛類型和到達(dá)率中的一個(gè)或一個(gè)以上。較佳地，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度和所述變化率是交通隊(duì)列的增長率。較佳地，所述連續(xù)決策過程包括一半馬爾可夫決策過程。較佳地，所述連續(xù)決策過程包括一半馬爾可夫決策過程的最優(yōu)化。較佳地，所述最優(yōu)化包括以下步驟生成一包括多條不同路徑的策略途徑，每條路徑具有一個(gè)或多個(gè)節(jié)點(diǎn)，其代表至少一個(gè)策略；以及通過估計(jì)和加總在位于沿每一不同路徑的每個(gè)節(jié)點(diǎn)的策略的報(bào)酬，來估計(jì)所述策略途徑中每條路徑的^艮酬。較佳地，所述最優(yōu)化適于在策略途徑中的終止條件達(dá)到時(shí)終止。較佳地，所述終止條件選自節(jié)點(diǎn)統(tǒng)計(jì)極限、時(shí)間統(tǒng)計(jì)極限或存儲(chǔ)器統(tǒng)計(jì)極限中的一個(gè)或一個(gè)以上。較佳地，估計(jì)出的報(bào)酬是一個(gè)用于最優(yōu)化至少一個(gè)交通條件的函數(shù)的值。較佳地，所述交通條件是車輛的燃料消耗、污染、車輛停車的次數(shù)、車輛等待時(shí)間和時(shí)間延遲中的任意一個(gè)或一個(gè)以上。較佳地，所述連續(xù)決策過程包括一個(gè)狀態(tài)集合、一個(gè)用于狀態(tài)之間的轉(zhuǎn)移的動(dòng)作的集合和一個(gè)策略包括將狀態(tài)映射到動(dòng)作，其中，一個(gè)狀態(tài)包括至少一個(gè)信號(hào)群狀態(tài)和一個(gè)交通狀態(tài)。較佳地，所述信號(hào)群狀態(tài)包括多個(gè)信號(hào)和用于每個(gè)信號(hào)的計(jì)數(shù)器。較佳地，所述信號(hào)包括紅色和綠色信號(hào)。較佳地，所述計(jì)數(shù)器存儲(chǔ)在所述信號(hào)可被改變之前所剩余的對(duì)間量。較佳地，所述交通數(shù)據(jù)通過使用傳感器收集。較佳地，所述傳感器包括環(huán)形天線檢測器，攝像機(jī)、雷達(dá)裝置、紅外傳感器、RFID標(biāo)簽或GPS裝置中的任何一個(gè)或一個(gè)以上。較佳地，所述計(jì)算交通狀態(tài)的步驟包括確定輸入交通的隊(duì)列終點(diǎn)的步驟。較佳地，所述隊(duì)列終點(diǎn)由使用總的間隔時(shí)間和間隔次數(shù)決定。因此，根據(jù)上述內(nèi)容本發(fā)明是有益的。本發(fā)明具有這些和其它優(yōu)點(diǎn)，其在權(quán)利要求部分以更明確的形式提出，且進(jìn)一步揭示了本發(fā)明的可選的和優(yōu)選的特征。這些實(shí)施例并不局限本發(fā)明，本發(fā)明在本文中被充分揭示。下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說明，所述說明僅為示例性的，其中圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的高級(jí)結(jié)構(gòu)的示意圖2a是用于實(shí)施本發(fā)明的實(shí)施例的一個(gè)交叉路口的示意圖2b是本發(fā)明實(shí)施例定義的信號(hào)群移動(dòng)的約束結(jié)合的示意圖3是根據(jù)本發(fā)明的實(shí)施例的交通模型的圖示；圖4是根據(jù)本發(fā)明的實(shí)施例的流搜索的示意圖5是本發(fā)明實(shí)施例中總間隔時(shí)間(T)相對(duì)于用于放行隊(duì)列的間隔數(shù)量(S)的曲線圖6是本發(fā)明實(shí)施例中飽和狀態(tài)的圖示；圖7是根據(jù)本發(fā)明的實(shí)施例的間隔數(shù)量(n)相對(duì)于時(shí)間(t)的曲線圖8是根據(jù)本發(fā)明的實(shí)施例的闊值函數(shù)的曲線圖9是根據(jù)本發(fā)明的實(shí)施例的另一閾值函數(shù)的曲線圖IO是根據(jù)本發(fā)明的實(shí)施例的第三個(gè)閾值函數(shù)的曲線圖；以及圖11是根據(jù)本發(fā)明的累計(jì)間隔時(shí)間關(guān)于累計(jì)間隔計(jì)數(shù)的曲線圖。具體實(shí)施例方式本發(fā)明涉及用于交叉路口交通信號(hào)燈控制的方法和系統(tǒng)。本發(fā)明特別涉及智能交通信號(hào)燈控制系統(tǒng)。交通信號(hào)燈控制系統(tǒng)的設(shè)計(jì)是基于一智能體結(jié)構(gòu)(intelligentagentarchitecture),智能體結(jié)構(gòu)可以通過傳感器感知它的外部環(huán)境并通過執(zhí)行器對(duì)該外部環(huán)境起作用。圖1顯示了根據(jù)本發(fā)明第一實(shí)施例的交通信號(hào)燈控制系統(tǒng)(trafficsignalscontrolsystem,"TSCS")10的高級(jí)結(jié)構(gòu)。該結(jié)構(gòu)是基于一感知-動(dòng)作(sense-act)主體模型。從實(shí)際運(yùn)輸域12到控制主體13的箭頭11代表輸入的傳感器數(shù)據(jù)，而另一個(gè)箭頭14代表執(zhí)行器數(shù)據(jù)。在TSCS10中，傳感器典型地包括環(huán)形天線檢測器和攝像機(jī)、雷達(dá)裝置、紅外傳感器、射頻識(shí)別(RFID)標(biāo)簽或全球定位系統(tǒng)(GPS)裝置或任何其它合適的傳感器，而執(zhí)行器典型地包括對(duì)應(yīng)信號(hào)群的交通信號(hào)燈設(shè)置、可變消息符號(hào)和直接發(fā)送到車輛的通信。給定一連續(xù)的傳感器數(shù)據(jù)流，TSCS10的目標(biāo)是找到在系統(tǒng)約束下優(yōu)化某些準(zhǔn)則的一動(dòng)作序列。這些最優(yōu)化的準(zhǔn)則包括最小化車輛的燃料消耗、最小化污染、最小化停車次數(shù)、最小化等待時(shí)間和最小化延遲，甚或是這些準(zhǔn)則中的一個(gè)或多個(gè)的加權(quán)組合。例如，本發(fā)明的TSCS10的一個(gè)實(shí)施例是設(shè)定為最小化在一個(gè)交叉路口的所有車輛的總等待時(shí)間。TSCS10從環(huán)形天線檢測器接收傳感器數(shù)據(jù)從而生成用于變換交通信號(hào)燈的動(dòng)作事件。控制系統(tǒng)還可擴(kuò)展到使用更復(fù)雜的感知、交通模型和目標(biāo)函數(shù)。如圖1所示，TSCS10包括兩個(gè)主要部分，控制器/優(yōu)化器15形式的控制裝置和交通模型16形式的交通建模裝置。在已知模型狀態(tài)和優(yōu)化準(zhǔn)則時(shí)，控制器/優(yōu)化器15計(jì)算并實(shí)現(xiàn)控制動(dòng)作。所述模型狀態(tài)由交通模型16連續(xù)描述，交通模型16接收關(guān)于交通狀況的傳感器數(shù)據(jù)?？刂破?優(yōu)化器15還基于在模型的每個(gè)狀態(tài)中的可行控制動(dòng)作，通過預(yù)測未來結(jié)果搜索優(yōu)選策略。在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，該策略被存儲(chǔ)以節(jié)約類似的交通狀況再次出現(xiàn)時(shí)的重新計(jì)算?？刂破?優(yōu)化器15還可以規(guī)劃受到信號(hào)變換約束和交通行為的最優(yōu)前向控制策略。這是通過使用前向搜索來估算目標(biāo)函數(shù)實(shí)現(xiàn)的。一種前向搜索算法是基于類似于八*的高效技術(shù)，一種可以在時(shí)間約束條件下返回解的算法。八*是一種最佳優(yōu)先(best-first)的圖搜索算法，用于尋找從一給定起始節(jié)點(diǎn)到一個(gè)目標(biāo)節(jié)點(diǎn)(從一個(gè)或多個(gè)可能目標(biāo)之中出來)的最小代價(jià)(least-cost)路徑。其使用距離加代價(jià)的啟發(fā)式函數(shù)(通常記作f(x))來確定該搜索訪問樹內(nèi)節(jié)點(diǎn)的順序。所述距離加代價(jià)的啟發(fā)式是兩個(gè)函數(shù)的和路徑代價(jià)(path-cost)函數(shù)(通常記作g(x)),其可以是或不是啟發(fā)式，以及到目標(biāo)的距離的容許的"啟發(fā)式估計(jì)值"(通常記作h(x)))。路徑代價(jià)函數(shù)g(x)為從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的代價(jià)。由于函數(shù)f(x)的h(x)部分必須為容許的啟發(fā)式，其必須低估到目標(biāo)的距離。因此對(duì)于像路徑選擇這樣的應(yīng)用，h(x)可以代表到目標(biāo)的直線距離，由于直線距離是物理上任意兩點(diǎn)(或在那個(gè)問題上是節(jié)點(diǎn))間的可能的最短路徑。運(yùn)算和執(zhí)行的接通過程是連續(xù)時(shí)間內(nèi)驅(qū)動(dòng)的事件，且允許運(yùn)算被事后評(píng)估以改變時(shí)間間隔。半馬爾可夫決策過程的公式表示在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，控制器/優(yōu)化器15應(yīng)用馬爾可夫決策過程(Markovdecisionprocesses,MDP)或半馬爾可夫決策過程(semi-Markovdecisionprocesses,SMDP)來確定4空制動(dòng)4乍。MDP包括一狀態(tài)的(有限的或無限的)集合S，和一用于狀態(tài)之間轉(zhuǎn)移的動(dòng)作的(有限的或無限的)集合A。給定任意動(dòng)作aevl,從任意狀態(tài)seS到任意其他狀態(tài)WeS的轉(zhuǎn)移通過一轉(zhuǎn)移函數(shù)Sx^xS—[O，l]定義，其中[O,l]為轉(zhuǎn)移概率。類似地，給定狀態(tài)s,動(dòng)作a,下一狀態(tài)W,報(bào)酬函數(shù)為這一轉(zhuǎn)移提供期望即時(shí)效益定義為Sx5R。在一個(gè)實(shí)施例中，動(dòng)作空間A定義為所有可能信號(hào)群集合中的一個(gè)子集的控制選擇。例如，如圖2a所示，其中示出了一個(gè)具有十二條通路的單交叉路口20,每一條通路由一個(gè)信號(hào)群控制。所述信號(hào)群從1到12順時(shí)針編號(hào)，從最西邊的起點(diǎn)交通流右轉(zhuǎn)開始。圖2b示出了作為交叉路口20的可用目標(biāo)選擇的信號(hào)群移動(dòng)的約束集合。對(duì)于這一路口而言，每一個(gè)信號(hào)群與一交通調(diào)動(dòng)相關(guān)。在此實(shí)施例中，動(dòng)作空間包括八個(gè)約束集合，如圖2b所示。取決于可用的資源，系統(tǒng)可以考慮具有所有可能的有效信號(hào)集合的動(dòng)作空間，其可以在給定約束下同時(shí)運(yùn)4亍。在MDP中，決策階段之間的時(shí)間間隔的數(shù)量是不相關(guān)的。相反地，只有決策過程的順序性是相關(guān)的。MDP是一步動(dòng)作模型，其中每一動(dòng)作均假定為使用固定的單位時(shí)間來在狀態(tài)之間進(jìn)行轉(zhuǎn)移。SMDP廣義化了這一動(dòng)作模式，以使一個(gè)決策和下一個(gè)決策之間的時(shí)間量是可變的。在SMDP中，時(shí)間間隔可以是實(shí)數(shù)也可以是整數(shù)。目標(biāo)是確定在任意狀態(tài)下采取哪一動(dòng)作來最大化未來的報(bào)酬。這一從狀態(tài)到動(dòng)作的映射S—^被稱作策略(policy),記為40="。交通信號(hào)控制可用無窮分界(horizon)或連續(xù)SMDP建模。這意味著狀態(tài)轉(zhuǎn)移不會(huì)終止而是永遠(yuǎn)持續(xù)。減量值函數(shù)和平均報(bào)酬值函數(shù)可以確保要最大化的未來報(bào)酬函數(shù)是有界的。對(duì)于交通信號(hào)控制，一個(gè)狀態(tài)s可以通過信號(hào)群狀態(tài)和交通狀態(tài)的組合來定義。為一交叉路口的每個(gè)信號(hào)群定義一個(gè)信號(hào)群狀態(tài)。其包括一個(gè)信號(hào)顏色和兩個(gè)定時(shí)器。在一個(gè)實(shí)施例中，信號(hào)顏色為綠色或紅色之一，定時(shí)器用于計(jì)減信號(hào)可以在綠色和紅色之間變化之前所剩余的時(shí)間。交通狀態(tài)是與交通網(wǎng)絡(luò)中的任何信息相對(duì)應(yīng)而非信號(hào)群的狀態(tài)。與交通狀態(tài)有關(guān)的其他信息包括交叉路口的每條通路的隊(duì)列長度，車輛類型、其位置和速度，以及平均車輛到達(dá)率。狀態(tài)描述越豐富，搜索空間將越大，處理所需要的資源越多。在本發(fā)明的一個(gè)實(shí)施例中，控制器/優(yōu)化器15使用基于交通模型的流，其對(duì)于每一個(gè)信號(hào)群只使用兩個(gè)變量來描述交通狀態(tài)。所述變量為隊(duì)列長度的增長率和當(dāng)前隊(duì)列長度。使用這兩個(gè)變量有兩個(gè)好處。第一，該模型適于來自環(huán)形天線檢測器的有限的可用數(shù)據(jù)；第二，它減小可用于搜索最優(yōu)策略的假定空間。這可以保持MDP和SMDP的效率，而當(dāng)具有大量的狀態(tài)變量時(shí)則無法很好地衡量。事件驅(qū)動(dòng)的半馬爾可夫決策過程如上文所述，在MDP中，才莫型中定義的狀態(tài)轉(zhuǎn)移可以只用一個(gè)單位時(shí)間。然而，在本發(fā)明中，優(yōu)選的是模型在動(dòng)作之間具有可變的時(shí)間。這些動(dòng)作在SMDP的公式表示中稱為臨時(shí)擴(kuò)展動(dòng)作。臨時(shí)擴(kuò)展動(dòng)作的目的在于在所謂"宏動(dòng)作"中生成一系列所謂"元?jiǎng)幼?，"宏動(dòng)作"減少了與事件有關(guān)的所謂"決策點(diǎn)"的數(shù)量。通過使用臨時(shí)擴(kuò)展動(dòng)作，信號(hào)控制系統(tǒng)變成為一事件驅(qū)動(dòng)的系統(tǒng)，從而顯著減少了做出決策的過程的復(fù)雜度。在這樣的事件驅(qū)動(dòng)系統(tǒng)中，當(dāng)一個(gè)當(dāng)前有效信號(hào)終止時(shí)事件被觸發(fā)。直至有效信號(hào)被終止，控制動(dòng)作不能被中斷。每一個(gè)事件生成一個(gè)決策點(diǎn)，在決策點(diǎn)系統(tǒng)必須決定下一步釆取哪一個(gè)控制動(dòng)作。一個(gè)信號(hào)的開始和終止由施加于該信號(hào)的多個(gè)約束或規(guī)則決定。這些約束中的一部分由交通管理部門規(guī)定，其余的則表現(xiàn)為了減小要搜索的假設(shè)空間的啟發(fā)式。一些可能的約束例舉如下最小化每個(gè)信號(hào)的綠燈時(shí)間；最大化每個(gè)信號(hào)的紅燈時(shí)間；每個(gè)信號(hào)自身置入綠燈時(shí)間；抵觸信號(hào)之間置入綠燈時(shí)間；每個(gè)連續(xù)的綠燈期間放行的交通隊(duì)列；一系列信號(hào)的全部或部分排序；除非其它當(dāng)前活動(dòng)的信號(hào)沒有到達(dá)其綠燈周期的終點(diǎn)，信號(hào)保持綠燈；以及從有效信號(hào)的可能集合的子集中選擇控制動(dòng)作。13在本發(fā)明的一個(gè)實(shí)施例中，控制器/優(yōu)化器15引入近似法以減小狀態(tài)空間的大小，從而提高發(fā)現(xiàn)最優(yōu)策略的效率。TSCSIO據(jù)現(xiàn)有狀態(tài)及時(shí)提前規(guī)劃狀態(tài)轉(zhuǎn)移，探索和評(píng)估各種短時(shí)控制方案，而不是為每個(gè)狀態(tài)尋找策略。通過這種方式，TSCS10只需探索據(jù)當(dāng)前狀態(tài)在短時(shí)控制方案之下可以達(dá)到的狀態(tài)的子集。當(dāng)欠飽和的平均交通流率、飽和交通流率和車輛速度已知時(shí)，可以基于相應(yīng)的信號(hào)是紅和綠的多長時(shí)間來對(duì)一個(gè)交叉路口的通路的排隊(duì)信息和放行解析建模。這一模型被稱為解析的基于流的排隊(duì)模型，或者解析的排隊(duì)模型。這種模型的一個(gè)例子如圖3所示。隊(duì)列增長的速率被稱為排隊(duì)速率，其可以通過流的速率和車輛進(jìn)入隊(duì)列的速度用數(shù)學(xué)方法計(jì)算。類似地，隊(duì)列放行的速率被稱為i吏行速率，并可通過飽和流的速率和車輛離開隊(duì)列的速度用數(shù)學(xué)方法計(jì)算。圖3中三角形的高度表示始于紅燈亮的隊(duì)列的長度，它是接著上一個(gè)綠燈期間所有車輛被從隊(duì)列中放行之后的。使用下述公式1,可以計(jì)算放行隊(duì)列所需的綠燈時(shí)間的期望時(shí)間g。該公式從圖3中模型的幾何結(jié)構(gòu)導(dǎo)出。g=^(1)變量定義單位《隊(duì)列增長的速率米/秒s隊(duì)列放行速率(常數(shù))米/秒V平均交通速度(非常數(shù))米/秒r上一紅燈時(shí)間秒該模型同時(shí)允許系統(tǒng)計(jì)算車輛的總的等待時(shí)間。在圖3中，總的等待時(shí)間用三角形的面積表示?？偟却龝r(shí)間通過隊(duì)列隨時(shí)間積分算出。流速率和隊(duì)列長度都是隨時(shí)間變化的。交通流率是獲得排隊(duì)速率的函數(shù)的一個(gè)變量。因此，由于系統(tǒng)在數(shù)學(xué)上可以從一個(gè)轉(zhuǎn)換另一個(gè)，這兩個(gè)變量中只需有一個(gè)是實(shí)時(shí)的。本發(fā)明的一個(gè)優(yōu)選實(shí)施例設(shè)置為從環(huán)形天線檢測器數(shù)據(jù)跟蹤排隊(duì)速率。在跟蹤排隊(duì)速率的過程中，TSCS10能有效的統(tǒng)計(jì)在紅-綠燈周期中通過的汽車數(shù)量，同時(shí)也能保證隊(duì)列被完全放行和通過卡爾曼濾波器的簡單應(yīng)用更新排隊(duì)速率。排隊(duì)速率是交通狀態(tài)的一部分，并且比之信號(hào)群的紅-綠燈周期，其變化在一個(gè)更長的時(shí)間尺度上。通過前向搜索進(jìn)行交通優(yōu)化直接應(yīng)用MDP對(duì)具有大的狀態(tài)-動(dòng)作空間的交通進(jìn)行建模有很高的資源需求。因此，使用近似函數(shù)以改善系統(tǒng)的效率。通過進(jìn)行前向搜索來對(duì)取值函數(shù)實(shí)時(shí)逼近。該前向搜索在時(shí)間參數(shù)之內(nèi)運(yùn)行，其從當(dāng)前交通狀態(tài)和信號(hào)群狀態(tài)到一"時(shí)間分界(timehorizon)",時(shí)間分界為在未來預(yù)先定義的時(shí)間。該近似取值函數(shù)通過從當(dāng)前交通狀態(tài)執(zhí)行不同的短時(shí)控制策略來生成可達(dá)的可能未來方案樹。該近似取值函數(shù)通過計(jì)算沿該路徑的總累積等待時(shí)間，來求所述樹中每條路徑的"代價(jià)"值。通過這種方式，近似取值函數(shù)實(shí)時(shí)地逼近SMDP動(dòng)作值(action-value)函數(shù)。當(dāng)前狀態(tài)的策略是最小化等待時(shí)間的路徑上的第一動(dòng)作步驟。在最優(yōu)路徑上邁出第一步之后，系統(tǒng)重復(fù)前向搜索以修正信號(hào)變化的調(diào)度。當(dāng)系統(tǒng)沒有對(duì)交通的隨機(jī)性進(jìn)行明確建模時(shí)，頻繁地修正調(diào)度是必需的。這是因?yàn)?，交通模型的未來預(yù)期是不確定的，且受調(diào)度的影響，這在一開始就計(jì)劃定了是有風(fēng)險(xiǎn)的。為了有效地實(shí)現(xiàn)前向搜索，系統(tǒng)引入了AM叟索方法，該方法適于這類可能未來方案的樹的探索。所述搜索A+方法包括以下三個(gè)主要步驟1.擴(kuò)展節(jié)點(diǎn)；2.形成編碼函H;以及3.任何時(shí)間計(jì)算。擴(kuò)展節(jié)點(diǎn)給定搜索樹中的一個(gè)節(jié)點(diǎn)，就有一個(gè)采取哪一控制動(dòng)作的選擇。該節(jié)點(diǎn)被擴(kuò)展到多個(gè)子節(jié)點(diǎn)，其允許系統(tǒng)探索可能的控制動(dòng)作的效果。所述控制動(dòng)作決定了要接通的下一個(gè)信號(hào)群的集合。如前文所述，該算法是事件驅(qū)動(dòng)的，其中通過觸發(fā)的事件引入決策點(diǎn)。搜索樹中的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)決策點(diǎn)。當(dāng)系統(tǒng)擴(kuò)展一個(gè)節(jié)點(diǎn)時(shí)，其子節(jié)點(diǎn)在預(yù)示下一個(gè)觸發(fā)的事件的時(shí)間點(diǎn)被創(chuàng)建。當(dāng)有效信號(hào)之一到達(dá)其綠燈周期的終點(diǎn)時(shí)，事件被觸發(fā)。要接通的有效信號(hào)的集合作為搜索樹內(nèi)要達(dá)到的目標(biāo)。通往這一目標(biāo)的路徑可能在目標(biāo)信號(hào)群集合達(dá)到之前被另一事件中斷。因此，沒有必要暗指在一個(gè)子節(jié)點(diǎn)活動(dòng)的信號(hào)群的集合對(duì)應(yīng)于目標(biāo)中的有效信號(hào)群。例如，如果系統(tǒng)考慮執(zhí)行包括有效信號(hào)群A和B的集合，信號(hào)群A可在B之前接通，并在信號(hào)群B可被接通之前達(dá)到了其綠燈周期的終點(diǎn)。因此，當(dāng)A將要結(jié)束，且在當(dāng)時(shí)只有A在那一瞬間是活動(dòng)的之時(shí)，一個(gè)事件被及時(shí)觸發(fā)。TSCS10從一個(gè)節(jié)點(diǎn)到其子節(jié)點(diǎn)向前演進(jìn)，TSCS隨著相應(yīng)的控制動(dòng)作在子節(jié)點(diǎn)中更新交通狀態(tài)。以此種方式，用解析排隊(duì)模型來表示交通狀態(tài)，隊(duì)列和等待時(shí)間均被更新，以使TSCS10可以對(duì)子節(jié)點(diǎn)求值。之后，TSCSIO通過根據(jù)代價(jià)函數(shù)值未展開的節(jié)點(diǎn)的排序來選擇搜索樹中下一個(gè)要擴(kuò)展的節(jié)點(diǎn)。樹中的具有最小代價(jià)的節(jié)點(diǎn)接著被展開，重復(fù)這一擴(kuò)展過程直至搜索結(jié)束。代價(jià)函數(shù)的公式表示在八*搜索中，通過將到達(dá)當(dāng)前節(jié)點(diǎn)的代價(jià)gO),和之后估算從此節(jié)點(diǎn)到目標(biāo)得到的代價(jià)W"),并將二者相加來對(duì)節(jié)點(diǎn)求值。/(")=洲+一)(2)為了計(jì)算節(jié)點(diǎn)n的g(n),要計(jì)算沿從搜索樹的根到節(jié)點(diǎn)n的路徑的累積總等待時(shí)間的和。應(yīng)用解析排隊(duì)模型，可以獲得等待時(shí)間。其通過公式(3)所示的將隊(duì)列從根到節(jié)點(diǎn)n積分求得。=[《wewe(0tft(3)容許啟發(fā)式/z(")的計(jì)算需要保證A^臾索的時(shí)間最優(yōu)性。因此，只有當(dāng)其沒有高估到達(dá)目標(biāo)的代價(jià)時(shí)，w")才是容許的。由于交通信號(hào)的控制是一項(xiàng)連續(xù)的作業(yè)，并且沒有一個(gè)估計(jì)/z(")要達(dá)到的最終目標(biāo)，所以系統(tǒng)通過在未來設(shè)置一個(gè)時(shí)間分界來人工創(chuàng)造一個(gè)目標(biāo)。如圖4所示。之后，系統(tǒng)最小化到該創(chuàng)造的分界的總等待時(shí)間。因此，/^)成為從節(jié)點(diǎn)n到時(shí)間分界的總等待時(shí)間的估計(jì)值。該估計(jì)值無法直接計(jì)算，因?yàn)門SCSIO不會(huì)具有時(shí)間分界處的精確交通狀態(tài)信息，除非TSCS擴(kuò)展和設(shè)計(jì)該點(diǎn)以外的節(jié)點(diǎn)。由于TSCSIO在搜索樹中尋找一條最小化等待時(shí)間的路徑，因此，如果在時(shí)間分界處能夠達(dá)到一個(gè)比之根處的原始平均總隊(duì)列長度分?jǐn)?shù)級(jí)減小的平均總隊(duì)列長度，TSCS將會(huì)表現(xiàn)良好。在這樣的直覺下，TSCS10通過將平均總隊(duì)列長度與節(jié)點(diǎn)n和時(shí)間界限之間的時(shí)間間隔相乘來估算/^),如公式4所示。盡管可能存在能夠用于該搜索的其它可容許的啟發(fā)式，本發(fā)明的此實(shí)施例的當(dāng)前啟發(fā)式是相對(duì)簡單的。/z(")=拜—ra?！穢wcroix(J—o(4)最后，對(duì)未來時(shí)間的任意時(shí)間點(diǎn)可以及時(shí)設(shè)置時(shí)間界限，只要該點(diǎn)在時(shí)間上足夠遠(yuǎn)以使局部極小值可以避免成為解。任意時(shí)間計(jì)算通過將時(shí)間界限設(shè)定在足夠遠(yuǎn)的未來以至于在實(shí)踐中該時(shí)間界限是無法達(dá)到的，所述A+搜索在理論上對(duì)任何時(shí)間界限都是有界的。搜索在未來進(jìn)行得越遠(yuǎn)，問題的解越理想。然而有兩種方式可以限制搜索。當(dāng)指定的時(shí)間或指定的存儲(chǔ)空間耗盡時(shí)，搜索可以終止。前者稱為任意時(shí)間算法，其可以返回在任意時(shí)間的解，并且通常在有更多的時(shí)間可用時(shí)能返回更好的解。由于該算法需要在實(shí)時(shí)環(huán)境中運(yùn)行，該算法必須能在某些指定的時(shí)間界限內(nèi)算出解。本發(fā)明的一個(gè)實(shí)施例的TSCS10設(shè)置為在節(jié)點(diǎn)極限的基礎(chǔ)上，通過搜索過程超時(shí)限制搜索。當(dāng)節(jié)點(diǎn)計(jì)算到達(dá)該極限，則搜索終止，并且從根到搜索樹上最遠(yuǎn)的節(jié)點(diǎn)之間的路徑作為解返回。同時(shí)也可以用下一個(gè)控制動(dòng)作執(zhí)行之前的時(shí)間剩余作為極限，并與上述相同的形式返回解。八*搜索算法1示出了當(dāng)前實(shí)現(xiàn)的偽碼。算法1使用A*搜索的前向搜索1:前向搜索("Ocfe讚ew)2:ge初始的優(yōu)先隊(duì)列3:時(shí)間分界4:丄仨節(jié)點(diǎn)個(gè)數(shù)極限5:將"0^c證"，插入26:當(dāng)^非空時(shí)，執(zhí)行7:if節(jié)點(diǎn)個(gè)數(shù)達(dá)到丄then8:"0fife，,tof—節(jié)點(diǎn)樹上最遠(yuǎn)的節(jié)點(diǎn)9:返回從m^^_CT(到"o^一^的路徑10:"0&<~從g中彈出一個(gè)具有最小代價(jià)的節(jié)點(diǎn)11:if從到"ocfe的間隔>rthen12:返回從"o&c附加到"otfe的路徑13:cM(irett<~擴(kuò)展14:將c/H'Wrera插入g17提高M(jìn)DP和SMDP性能的進(jìn)一步選擇包括更好的交通流測量，優(yōu)化前向搜索算法或使用更真實(shí)的交通才莫型，例如蜂窩式自動(dòng)才幾(cellarautomata)。關(guān)于圖l描述的智能體結(jié)構(gòu)，本發(fā)明的一實(shí)施例的交通模型16為圖3所示的解析排隊(duì)模型。該模型用于僅僅基于來自位于停止線的單環(huán)形天線檢測器的信號(hào)，來及時(shí)檢測在一交通信號(hào)燈集合下一個(gè)車輛隊(duì)列全部被放行的時(shí)刻。它提供了一種平均交通流率及其方差的測量手段，給定前一紅燈和綠燈的時(shí)間，其使用可變增益卡爾曼濾波器來更新平均交通流率的估計(jì)值。還是關(guān)于圖3，解析排隊(duì)模型描述的環(huán)境狀態(tài)包括車輛位置和速度、交叉路口燈光信號(hào)的顏色和沿網(wǎng)絡(luò)鏈的平均流率。該模型還描述了作為選定控制動(dòng)作的響應(yīng)，其狀態(tài)是如何變化的，并提供了給定每個(gè)狀態(tài)和動(dòng)作時(shí)的期望效用。它包括一傳感器模型，該傳感器模型大體上描迷了傳感器作出的觀測和模型狀態(tài)之間的概率聯(lián)系。該設(shè)計(jì)使用了一個(gè)融合傳感器數(shù)據(jù)和對(duì)車輛運(yùn)動(dòng)建模的貝葉斯濾波器(Bayesianfilter)。貝葉斯濾波器基于TSCS的動(dòng)態(tài)和狀態(tài)的觀測^f直(或測量值)隨時(shí)間對(duì)TSCS10的狀態(tài)進(jìn)行估計(jì)。該濾波器是循環(huán)的，換言之，下一狀態(tài)的估計(jì)和觀察重復(fù)地完成和進(jìn)行。從數(shù)學(xué)上，貝葉斯濾波器描述如下。假定系統(tǒng)的狀態(tài)(離散時(shí)間)在時(shí)間t和t+l分別為st和sw。系統(tǒng)的動(dòng)態(tài)用狀態(tài)轉(zhuǎn)移函數(shù)描述，該狀態(tài)轉(zhuǎn)移函數(shù)給出了給定控制動(dòng)作at條件下，系統(tǒng)狀態(tài)從st移動(dòng)到st+i的概率為Pr(st+ilst,at)。同時(shí)，假設(shè)在時(shí)間t+l的觀測值用變量zw表示。傳感器模型指在系統(tǒng)狀態(tài)為St+1條件下，觀測到zt+i的概率，即Pr(zw|st+i)。則貝葉斯濾波器用如下算法描述。bel(s)表示對(duì)于s的信任度，或者是關(guān)于系統(tǒng)的狀態(tài)的概率密度函數(shù)，bel(sw)是對(duì)過程的下一個(gè)狀態(tài)s的信任度或基于其轉(zhuǎn)移函數(shù)調(diào)整系統(tǒng)狀態(tài)的預(yù)測更新。N是正規(guī)化常數(shù)。算法2貝葉斯濾波器算法、1:貝葉斯濾波器(6e/0,),a,，z,):2:對(duì)所有5(+1執(zhí)行<formula>formulaseeoriginaldocumentpage18</formula>5:返回如圖5所示，當(dāng)綠燈周期的起始被實(shí)時(shí)測量時(shí)，交通模型16(圖1中的)用總的間隔時(shí)間(T)關(guān)于間隔數(shù)量(S)的實(shí)時(shí)累積圖形來確定隊(duì)列終點(diǎn)(End-of-Queue,EoQ)。所述EoQ是該圖形離開飽和流曲線處的那一點(diǎn)，且當(dāng)其與觸發(fā)線交叉時(shí)觸發(fā)。所述EoQ從代表飽和流和非飽和流的線條的交叉估算。從綠燈周期的起點(diǎn)開始，EoQ時(shí)間提供了(1)變化的決策點(diǎn)；以及(2)交通流的車輛/時(shí)間的測量和基于紅燈加上綠燈的時(shí)間長度的方差。為加強(qiáng)估計(jì)，可用卡爾曼濾波器進(jìn)行交通流率估算和實(shí)時(shí)更新飽和流率(t)。交通模型交通模型由如下方程定義《xix-VX(_s—《)(5)變量定義2隊(duì)列增長的速率S隊(duì)列放行速率(常數(shù))r平均交通速度(非常數(shù))上一紅燈時(shí)間g對(duì)應(yīng)所需的綠燈時(shí)間單位米/秒米/秒米/秒秒秒/>式5還可表示為公式6￡《(6)ixv+Gxv_ixs圖3是公式5和6的圖形表現(xiàn)，顯示了排隊(duì)速率(q)和所需的綠燈時(shí)間(G)的重要聯(lián)系。給定了這些，就可以校正常數(shù)放行速率(s)，并保證恒定的速度(v),所以如果已知緊接著的紅燈時(shí)間和當(dāng)前排隊(duì)速率，可以通過使用公式6精確估計(jì)為^:行整個(gè)隊(duì)列所需的綠燈時(shí)間；并且如果上一紅燈時(shí)間和用于放行整個(gè)隊(duì)列的實(shí)際綠燈時(shí)間是已知的，可以通過使用公式5精確推導(dǎo)出排隊(duì)速率的觀測值q'。排隊(duì)速率的更新方程為g''=《x(l-or)+《'xa(7)其中，"是學(xué)習(xí)率。在公式7中，a是一可調(diào)的常數(shù)，用以控制排隊(duì)速率跟蹤器的靈敏度。隊(duì)列終點(diǎn)測量和綠燈時(shí)間對(duì)本文來說，術(shù)語"隊(duì)列終點(diǎn)(End-of-Queue)"(EoQ)是指時(shí)間上的一個(gè)瞬間，在那時(shí)整個(gè)隊(duì)列在接近不飽和交通流的條件下按照近似法在綠燈期間被全部放行?？梢钥闯?，間隔時(shí)間的和隨間隔數(shù)量的和近似呈線性增加，同時(shí)，隊(duì)列被放行。間隔時(shí)間的和與間隔數(shù)量的比值近似為常數(shù)并可以測量。因此其中，T表示總的間隔時(shí)間，N表示總的間隔數(shù)量。符號(hào)t表示校正的常數(shù)。同樣可以看出，排隊(duì)速率q和每個(gè)車輛的總的平均間隔時(shí)間t'之間呈相反關(guān)系。當(dāng)排隊(duì)速率q增大時(shí)，t'減小。應(yīng)用這一關(guān)系，可以從跟蹤的排隊(duì)速率q,計(jì)算每個(gè)車輛的總的平均間隔時(shí)間t'。變量定義d每一排隊(duì)車輛的路面米數(shù)v用米/秒表示的速度(一個(gè)負(fù)的量)/"用車輛/秒表示的交通流率g用車輛/秒表示的排隊(duì)速率丄y用米/車輛表示的平均長度"在速度v下屑米表示的豐輛/可乎均/'曰7隔Ls*飽和時(shí)在速度vT用米表示的豐輛間乎均/'曰7隔JW用米表示的環(huán)形天線檢測器長度t飽和時(shí)每輛車的間隔時(shí)間，其為~^20〃流率f和速度V下的每輛車的間隔時(shí)間，其為0/流率f和速度v下的每輛車的占用時(shí)間，其為—V因此，下述公式9可以從圖3的解析排隊(duì)模型中導(dǎo)出?！?lt;ix/+v等價(jià)地，公式10可以從公式9導(dǎo)出vx《(9)(10)現(xiàn)在由于，T7柳-x-=(Ls*+Zv)x/=(Ls*—Zii+丄d+￡v)x/=(f+v—o'v)x/即，i(ii)公式12可通過將公式11帶入公式9導(dǎo)出?！?(12)其等價(jià)于<formula>formulaseeoriginaldocumentpage0</formula>(13)在優(yōu)選實(shí)施例中，本模型中的變量、d和o'保持恒定，因此，1其中k是常數(shù)。由于々fe和度《(14)《=.(15)或1—(16)因此，該公式可以表示為:——^——(17)由于s和t都是已經(jīng)校正過的，給定當(dāng)前排隊(duì)速率q，我們可以近似估計(jì)t'。這一情況可如圖6所示由圖形表示。當(dāng)隊(duì)列被放行時(shí)，間隔時(shí)間的和隨間隔數(shù)量的和線性增加，但是具有較高的梯度t'.這一情況可如圖7所示由圖形表示。在間隔數(shù)量和隊(duì)列放行時(shí)的計(jì)時(shí)器綠燈時(shí)間之間存在線性關(guān)系。這一關(guān)系的方程可以表述為G=cxv(18)其中，G是計(jì)時(shí)器綠燈時(shí)間，n代表間隔的數(shù)量。它們通過常數(shù)c聯(lián)系在一起。交通流率3艮蹤交通流率定義為在一特定時(shí)間或在一定時(shí)間范圍內(nèi)通過道路上某一點(diǎn)的車輛的平均數(shù)量。但是，這一期望的速率在一天中通常是變化的，在一個(gè)實(shí)施例中，在大約2個(gè)信號(hào)群變換周期的短期規(guī)劃范圍之內(nèi)，假定其保持不變。TSCS10力圖對(duì)交通流進(jìn)行精確估計(jì)，并接著用它來估計(jì)在紅燈階段內(nèi)的排隊(duì)速率和放行交通隊(duì)列所需的期望綠燈時(shí)間。下一步，其結(jié)果被用于預(yù)計(jì)不同控制策略之下的時(shí)間上的前向交通隊(duì)列，目標(biāo)為尋找可以最小化代價(jià)函數(shù)的策略。已知車輛的兩次到達(dá)的間隔率是隨才幾的，/人而可能無法直"l妻〗現(xiàn)測交通流。因此，TSCS10通過整天循環(huán)測量交通流并更新估計(jì)來跟蹤交通流。跟蹤的性能是離散測量(在一個(gè)實(shí)施例中，其為常量)的性能和對(duì)該估計(jì)有貢獻(xiàn)的離散測量的數(shù)量二者的函數(shù)。離散測量的數(shù)量是估計(jì)計(jì)算之前的測量間隔的函數(shù)。因此，TSCS10基于相應(yīng)的測量間隔對(duì)測量的方差進(jìn)行估計(jì)。在一個(gè)實(shí)施例中，該測量間隔是從紅燈的起始，經(jīng)過接下來的綠燈，直到下一個(gè)紅燈的起始的總時(shí)間。在一個(gè)實(shí)施例中，該"反饋方法，，保證了上一個(gè)經(jīng)過的綠燈和其后的上一個(gè)紅燈對(duì)下一個(gè)綠燈(和紅燈)的交通流有預(yù)報(bào)作用。交通流測量的方差越小，紅燈加上綠燈的總時(shí)間越短。TSCS10對(duì)方差進(jìn)行估計(jì)以校正卡爾曼濾波器的增益和顯著改善對(duì)放行交通隊(duì)列所需的綠燈時(shí)間的估計(jì)?？柭鼮V波器理論為每次測量的增益改變計(jì)算提供了可遵循的方法，同時(shí)也是現(xiàn)有的本質(zhì)上使用固定增益的TSCS的改進(jìn)。下一部分推導(dǎo)實(shí)現(xiàn)自適應(yīng)階段控制和可變信號(hào)群控制所需的公式。計(jì)算所用到的變量定義如下<table>tableseeoriginaldocumentpage23</column></row><table>在所述定義中，C的用法不同于傳統(tǒng)的澳大利亞交通工程中作為循環(huán)時(shí)間的使用，而是更多的為基于階段的，因此被認(rèn)為是一個(gè)交叉路口水平的變量。在使用該定義的上下文中，C是作用于信號(hào)群的變量，這樣同一個(gè)交叉路口內(nèi)的兩個(gè)信號(hào)群在任何時(shí)間都可以具有不同的C值。下面的部分將就TSCS10對(duì)交通流及其方差進(jìn)行測量和更新交通流的估計(jì)進(jìn)行闡述。測量交通流率F的測量通過對(duì)環(huán)形天線檢測器在綠燈期間檢測到的間隔數(shù)量進(jìn)行統(tǒng)計(jì)，并除以經(jīng)過的紅燈加上綠燈的時(shí)間C。通過加入一'J、數(shù)(0到1之間)來對(duì)計(jì)數(shù)N進(jìn)行修正，該小數(shù)用以對(duì)隊(duì)列放行時(shí)第一和第二輛車之間可能減少的間隔進(jìn)行計(jì)量。當(dāng)》見測到兩個(gè)間隔時(shí)，計(jì)數(shù)N力口1。對(duì)于4氐的交通流和較短的紅燈時(shí)間，更近似于只有一個(gè)車輛在排隊(duì)。當(dāng)只觀測到一個(gè)間隔時(shí)，TSCS10只引入一個(gè)小于一的小數(shù)。這可以表示為F=(19)C方差隨機(jī)變量F描述了每秒到達(dá)車輛的任意平穩(wěn)分布，其均值為f,方差var(F)=a〖。在一實(shí)施例中，F(xiàn)下面的方差假定為已知，并且可以基于對(duì)逆向交通流量的認(rèn)知進(jìn)行獨(dú)立測量。在一個(gè)實(shí)施例中，其可以與流入速率一起指定，而在另一實(shí)施例中，其可通過觀測流入速率直接測量。目的是跟蹤(估計(jì))平均交通流量f。每一個(gè)綠燈之后，TSCS10對(duì)交通流，即P,進(jìn)4亍一次觀測，并對(duì)平均交通流量f進(jìn)行更新。在一個(gè)實(shí)施例中，假設(shè)在綠燈的終點(diǎn)，隊(duì)列凈皮全部》丈行。因此，被測量的交通流的觀測包括在先的紅燈加上綠燈區(qū)間的交通隊(duì)列。另C為用秒表示的紅燈加上綠燈時(shí)間的時(shí)間和。TSCS10將計(jì)算對(duì)C秒的交通流測量f的方差。在一實(shí)施例中，假設(shè)相繼車輛的抵達(dá)是獨(dú)立均勻分布(MA)的。-r，巧var(尸)=曹(Lg"(20)24c這說明，對(duì)任何平穩(wěn)分布的交通流，測量的方差反比于紅燈加上綠燈的時(shí)間長度c?？勺冊鲆婵柭鼮V波器使用一維卡爾曼濾波器對(duì)f進(jìn)行循環(huán)更新。更新過程包括以下重復(fù)執(zhí)行的四個(gè)步驟:順序步驟更新方程1衰減我們跟蹤的流率的方差P2從觀察到的測量方差計(jì)算新的卡爾曼增益I仁PP+及3應(yīng)用具有更新了新的增益的卡爾曼濾波器4更新新的流率方差5返回步驟1并重復(fù)P是跟蹤的流率的方差。Q是過程噪聲的方差。i-J^是測量方差。大的C值意味著小的R值。小的R值的好處是可以將增益K提高到更接近1。所述增益等價(jià)于強(qiáng)化學(xué)習(xí)的學(xué)習(xí)率，而接近于1的取值意味著更新可以更快地使估計(jì)^i向觀測〗直移動(dòng)。為使對(duì)F的測量有效，典型地，當(dāng)進(jìn)行測量時(shí)將隊(duì)列全部^:行。一種用于檢驗(yàn)它的方法是檢驗(yàn)綠燈期間的飽和度，在飽和度值小于1時(shí)，則假定隊(duì)列已經(jīng)被完全放行。另一種方法是在綠燈信號(hào)期間偵測隊(duì)列終點(diǎn)并在其后的任何時(shí)間進(jìn)行測量。隊(duì)列終點(diǎn)的檢測這里，TSCS10的目標(biāo)是確定當(dāng)一個(gè)隊(duì)列-波全部放行時(shí)的時(shí)間點(diǎn)。所述時(shí)間點(diǎn)定義為當(dāng)一個(gè)放行隊(duì)列的最后一輛車越過停止線之時(shí)。本文所述的隊(duì)列終點(diǎn)測量和交通流率估計(jì)方法是基于前述的交通排隊(duì)模型。在一個(gè)實(shí)施例中，假定車輛在接近隊(duì)列的末尾時(shí)以恒定速度行駛，并以同樣的速度離開隊(duì)列。同時(shí)假定當(dāng)在隊(duì)列中時(shí)，車輛是靜止的。TSCS10能夠訪問來自位于停止線之前的單環(huán)形天線檢測器的占用數(shù)據(jù)。累積間隔-時(shí)間圖我們注意到，對(duì)于在隊(duì)列放行周期內(nèi)給定的綠燈時(shí)間，間隔時(shí)間的和T隨著間隔計(jì)lt的和N近似呈線性增長。間隔時(shí)間的和與間隔計(jì)數(shù)的和之間的比值近似為一常數(shù)t，并且可以標(biāo)準(zhǔn)化。這可以表示如下rf=-iV+l其中，T是總的間隔時(shí)間而N是總的調(diào)整過的間隔數(shù)量。這樣一來，可以用t來表示標(biāo)準(zhǔn)化后的常數(shù)，即每個(gè)放行車輛的平均間隔時(shí)間。當(dāng)?shù)竭_(dá)隊(duì)列終點(diǎn)時(shí)，流率從飽和變回到正常流率。每個(gè)車輛的間隔時(shí)間增加，且間隔時(shí)間累積關(guān)于間隔數(shù)量的圖的軌跡具有更陡的比率t',如圖7所示。閾值觸發(fā)隊(duì)列終點(diǎn)通過觸發(fā)上述實(shí)時(shí)圖表的一個(gè)閾值表征。該閾值觸發(fā)在一T值(總間隔時(shí)間)。假定實(shí)際的總間隔時(shí)間超過閾值線時(shí)，；險(xiǎn)測到隊(duì)列終點(diǎn)。有多種方式來定義閾值函數(shù)。簡單而有效的觸發(fā)機(jī)制為平行的、單調(diào)的和二者混合。閾值函數(shù)的設(shè)計(jì)取決于特定路口的需求，并由交通工程師設(shè)置。系統(tǒng)將誤判的風(fēng)險(xiǎn)和觸發(fā)的不敏感性進(jìn)行加權(quán)。三種閾值觸發(fā)方案分別如圖8、9、IO所示。從圖8、9、IO可以看出，觸發(fā)隊(duì)列終點(diǎn)的時(shí)間點(diǎn)為實(shí)際的隊(duì)列終點(diǎn)之后的某一時(shí)刻。當(dāng)然，控制器可以僅在事件觸發(fā)時(shí)做出反應(yīng)。但是，為了更新交通流率或排隊(duì)速率的目的，可以計(jì)算真實(shí)的隊(duì)列終點(diǎn)綠燈時(shí)間來做出更好的估計(jì)。對(duì)于非飽和的交通條件，該隊(duì)列終點(diǎn)方法總是用于偏移綠燈時(shí)間，來提供比所需更多的綠燈時(shí)間。余量是觸發(fā)機(jī)制的函數(shù)。其結(jié)果是當(dāng)控制器"最大化約束條件"無法適用時(shí)，在飽和度小于一的條件下運(yùn)行控制器，例如，最大化紅燈時(shí)間(或最大化周期時(shí)間)。該方法的顯著進(jìn)步在于，當(dāng)受限于非飽和條件下的非最大化約束時(shí)，控制器總是能夠有機(jī)會(huì)對(duì)流進(jìn)行正確的預(yù)報(bào)。上述方法的優(yōu)點(diǎn)為通過與低級(jí)的交替方法相比較可被最好地理解，所述低級(jí)的交替方法允許控制器在非飽和條件下給出過低的綠燈時(shí)間，即，使得飽和率大于1。這會(huì)導(dǎo)致控制器無法估計(jì)過去所需的綠燈時(shí)間，因而也無法對(duì)當(dāng)前的流做出估計(jì)。非線性短時(shí)段t26注意到，封閉車道的應(yīng)用，例如封閉的右轉(zhuǎn)車道，道路工作狀況以及天氣條件均會(huì)對(duì)累積間隔時(shí)間和間隔計(jì)數(shù)函數(shù)產(chǎn)生影響。在一個(gè)實(shí)施例中，累積間隔時(shí)間是隊(duì)列放行期間的累積間隔計(jì)數(shù)的線性函數(shù)。在另一實(shí)施例中，該函數(shù)是非線性的，且可自動(dòng)在線校正，從而避免了來自人的手工輸入，同時(shí)使隊(duì)列終點(diǎn)的檢測更為精確。短時(shí)段t函數(shù)數(shù)據(jù)可存放在一個(gè)表中，該表格初始填充有反映常量的短時(shí)段t的粉色線條的值。通過反復(fù)為每個(gè)可能的累積間隔計(jì)數(shù)值更新相應(yīng)的累積間隔時(shí)間來進(jìn)行函數(shù)更新。對(duì)于每一次更新，使用減量因子&=0.3。下面的表才各說明了前4次觀測更新的短時(shí)^殳t的更新過程的查詢表。<table>tableseeoriginaldocumentpage27</column></row><table>隊(duì)列終點(diǎn)觸發(fā)函數(shù)可以按照校正的短時(shí)段t表格加入到前述的閾值觸發(fā)機(jī)制。盡管本發(fā)明是參考上述的優(yōu)選實(shí)施例進(jìn)行說明的，本領(lǐng)域技術(shù)人員應(yīng)該明了其不僅局限于這些實(shí)施例，而是可以用多種其他形式實(shí)現(xiàn)。在此說明書中，除非行文特別清楚地指明，否則，詞匯"包括……的"不能視為具有排除意義的詞匯，如"僅由……構(gòu)成，，，而是具有非獨(dú)占的含義，意味"至少包括"。同樣適用于具有相應(yīng)語法變換的其它形式的詞匯，例如"包括"等。產(chǎn)業(yè)實(shí)用性本發(fā)明可作為一種用于交叉路口交通信號(hào)燈控制的方法使用。特別是，本發(fā)明可用于實(shí)現(xiàn)交叉路口的信號(hào)集合的控制和變換方法的系統(tǒng)和軟件平臺(tái)，該方法用于基于效用函數(shù)來優(yōu)化交通流量。類似地，本發(fā)明可用作交通控制系統(tǒng)，其對(duì)道路交通進(jìn)行監(jiān)視和控制。權(quán)利要求1、一種控制道路交叉口交通信號(hào)的方法，所述交通信號(hào)包括多個(gè)信號(hào)群，每個(gè)信號(hào)群控制控制交叉路口中至少一個(gè)方向的交通，所述方法包括以下步驟(i)獲取并使用交通數(shù)據(jù)以計(jì)算當(dāng)前交通狀態(tài)和該交通狀態(tài)的變化率；(ii)作為對(duì)步驟(i)獲得的計(jì)算結(jié)果的響應(yīng)，公式化至少一個(gè)動(dòng)作和所述動(dòng)作的持續(xù)時(shí)間，其中每個(gè)動(dòng)作包括變換至少一個(gè)交通信號(hào)；(iii)根據(jù)步驟(i)獲得的計(jì)算結(jié)果和步驟(ii)公式化的動(dòng)作，決定一個(gè)或多個(gè)策略；(iv)使用連續(xù)決策過程來估計(jì)步驟(iii)決定的策略的報(bào)酬；(v)選擇一能最大化所述報(bào)酬的策略。2、根據(jù)權(quán)利要求1所述的方法，其中，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度、車輛速度、車輛位置、車輛類型和到達(dá)率中的一個(gè)或一個(gè)以上。3、根據(jù)權(quán)利要求1所述的方法，其中，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度，所述變化率是交通隊(duì)列的增長率。4、根據(jù)權(quán)利要求1到3任意一項(xiàng)所述的方法，其中，所述連續(xù)決策過程包括一半馬爾可夫決策過程。5、根據(jù)權(quán)利要求4所述的方法，其中，所述連續(xù)決策過程包括一半馬爾可夫決策過程的最優(yōu)化。6、根據(jù)權(quán)利要求5所述的方法，其中，所述最優(yōu)化包括以下步驟(i)生成一包括多條不同路徑的策略途徑，每條路徑具有一個(gè)或多個(gè)節(jié)點(diǎn)，其代表至少一個(gè)策略；以及(ii)通過估計(jì)和加總在位于沿每一不同路徑的每個(gè)節(jié)點(diǎn)的策略的報(bào)酬，來估計(jì)所述策略途徑中每條路徑的報(bào)酬。7、根據(jù)權(quán)利要求6所述的方法，其中，所述最優(yōu)化適于在策略途徑中的終止條件達(dá)到時(shí)終止。8、根據(jù)權(quán)利要求7所述的方法，其中，所述終止條件選自節(jié)點(diǎn)統(tǒng)計(jì)極限、時(shí)間統(tǒng)計(jì)極限或存儲(chǔ)器統(tǒng)計(jì)極限中的一個(gè)或一個(gè)以上。9、根據(jù)權(quán)利要求6所述的方法，其中，估計(jì)出的報(bào)酬是一個(gè)用于最優(yōu)化至少一個(gè)交通條件的函數(shù)的值。10、根據(jù)權(quán)利要求9所述的方法，其中，所述交通條件是車輛的燃料消耗、污染、車輛停車的次數(shù)、車輛等待時(shí)間和時(shí)間延遲中的任意一個(gè)或一個(gè)以上。11、根據(jù)權(quán)利要求1所述的方法，其中，所述連續(xù)決策過程包括一個(gè)狀態(tài)集合、一個(gè)用于狀態(tài)之間的轉(zhuǎn)移的動(dòng)作的集合，和一個(gè)策略包括將狀態(tài)映射到動(dòng)作，其中，一個(gè)狀態(tài)包括至少一個(gè)信號(hào)群狀態(tài)和一個(gè)交通狀態(tài)。12、根據(jù)權(quán)利要求11所述的方法，其中，所述信號(hào)群狀態(tài)包括多個(gè)信號(hào)和用于每個(gè)信號(hào)的計(jì)數(shù)器。13、根據(jù)權(quán)利要求12所述的方法，其中，所述信號(hào)包括紅色和綠色信號(hào)。14、根據(jù)權(quán)利要求12所述的方法，其中，所述計(jì)數(shù)器存儲(chǔ)在所述信號(hào)可被改變之前所剩余的時(shí)間量。15、根據(jù)上述任一權(quán)利要求所述的方法，其中，所述交通數(shù)據(jù)通過使用傳感器收集。16、根據(jù)權(quán)利要求15所述的方法，其中，所述傳感器包括環(huán)形天線檢測器，攝像機(jī)、雷達(dá)裝置、紅外傳感器、RFID標(biāo)簽或GPS裝置中的任何一個(gè)或一個(gè)以上。17、根據(jù)上述任一權(quán)利要求所述的方法，其中，所述計(jì)算交通狀態(tài)的步驟包括確定輸入交通的隊(duì)列終點(diǎn)的步驟。18、根據(jù)權(quán)利要求17所述的方法，其中，所述隊(duì)列終點(diǎn)由使用總的間隔時(shí)間和間隔次凄t決定。19、一種交通信號(hào)控制系統(tǒng)，其包括一用來控制一執(zhí)行器的控制裝置，所述執(zhí)行器用于控制道路交叉口交通信號(hào)，所述交通信號(hào)包括多個(gè)信號(hào)群，每個(gè)信號(hào)群控制控制交叉路口中至少一個(gè)方向的交通；和一用于從傳感器接收交通數(shù)據(jù)的交通模擬裝置，所述控制裝置執(zhí)行如下操作(i)獲取并使用所述交通數(shù)據(jù)以計(jì)算當(dāng)前交通狀態(tài)和該交通狀態(tài)的變化率；(ii)作為對(duì)步驟(i)獲得的計(jì)算結(jié)果的響應(yīng)，公式化至少一個(gè)動(dòng)作和所述動(dòng)作的持續(xù)時(shí)間，其中每個(gè)動(dòng)作包括變換至少一個(gè)交通信號(hào)；(iii)根據(jù)步驟(i)獲得的計(jì)算結(jié)果和步驟(ii)公式化的動(dòng)作，決定一個(gè)或多個(gè)策略；(iv)使用連續(xù)決策過程來估計(jì)步驟(iii)決定的策略的報(bào)酬；(v)選擇一能最大化所述報(bào)酬的策略。20、根據(jù)權(quán)利要求19所述的交通信號(hào)控制系統(tǒng)，其中，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度、車輛速度、車輛位置、車輛類型和到達(dá)率中的一個(gè)或一個(gè)以上。21、根據(jù)權(quán)利要求19所述的交通信號(hào)控制系統(tǒng)，其中，所述當(dāng)前交通狀態(tài)包括交通隊(duì)列的長度和所述變化率是交通隊(duì)列的增長率。22、根據(jù)權(quán)利要求19到21中任意一項(xiàng)所述的交通信號(hào)控制系統(tǒng)，其中，所述連續(xù)決策過程包括一半馬爾可夫決策過程。23、根據(jù)權(quán)利要求22所述的交通信號(hào)控制系統(tǒng)，其中，所述連續(xù)決策過程包括一半馬爾可夫決策過程的最優(yōu)化。24、根據(jù)權(quán)利要求23所述的交通信號(hào)控制系統(tǒng)，其中，所述最優(yōu)化包括以下步驟(i)生成一包括多條不同路徑的策略途徑，每條路徑具有一個(gè)或多個(gè)節(jié)點(diǎn)，其代表至少一個(gè)策略；以及(ii)通過估計(jì)和加總在位于沿每一不同路徑的每個(gè)節(jié)點(diǎn)的策略的報(bào)酬，來估計(jì)所述策略途徑中每條路徑的報(bào)酬。25、根據(jù)權(quán)利要求24所述的交通信號(hào)控制系統(tǒng)，其中，所述最優(yōu)化適于在策略途徑中的終止條件達(dá)到時(shí)終止。26、根據(jù)權(quán)利要求25所述的交通信號(hào)控制系統(tǒng)，其中，所述終止條件選自節(jié)點(diǎn)統(tǒng)計(jì)極限、時(shí)間統(tǒng)計(jì)極限或存儲(chǔ)器統(tǒng)計(jì)極限中的一個(gè)或一個(gè)以上。27、根據(jù)權(quán)利要求24所述的交通信號(hào)控制系統(tǒng)，其中，估計(jì)出的報(bào)酬是一個(gè)用于最優(yōu)化至少一個(gè)交通條件的函數(shù)的值。28、根據(jù)權(quán)利要求27所述的交通信號(hào)控制系統(tǒng)，其中，所述交通條件是車輛的燃料消耗、污染、車輛停車的次數(shù)、車輛等待時(shí)間和時(shí)間延遲中的任意一個(gè)或一個(gè)以上。29、根據(jù)權(quán)利要求20所述的交通信號(hào)控制系統(tǒng)，其中，所述連續(xù)決策過程包括一個(gè)狀態(tài)集合、一個(gè)用于狀態(tài)之間的轉(zhuǎn)移的動(dòng)作的集合和一個(gè)策略包括將狀態(tài)映射到動(dòng)作，其中，一個(gè)狀態(tài)包括至少一個(gè)信號(hào)群狀態(tài)和一個(gè)交通狀態(tài)。30、根據(jù)權(quán)利要求29所述的交通信號(hào)控制系統(tǒng)，其中，所述信號(hào)群狀態(tài)包括多個(gè)信號(hào)和用于每個(gè)信號(hào)的計(jì)數(shù)器。31、根據(jù)權(quán)利要求30所述的交通信號(hào)控制系統(tǒng)，其中，所述信號(hào)包括紅色和綠色信號(hào)。32、根據(jù)權(quán)利要求30所述的交通信號(hào)控制系統(tǒng)，其中，所述計(jì)數(shù)器存儲(chǔ)在所述信號(hào)可被改變之前所剩余的時(shí)間量。33、根據(jù)權(quán)利要求18到32中任意一項(xiàng)所述的交通信號(hào)控制系統(tǒng)，其中，所述交通數(shù)據(jù)通過使用傳感器收集。34、根據(jù)權(quán)利要求33所述的交通信號(hào)控制系統(tǒng)，其中，所述傳感器包括環(huán)形天線檢測器，攝像機(jī)、雷達(dá)裝置、紅外傳感器、RFID標(biāo)簽或GPS裝置中的任{可一個(gè)或一個(gè)以上。35、根據(jù)權(quán)利要求20-34中任意一項(xiàng)所述的交通信號(hào)控制系統(tǒng)，其中，所述計(jì)算交通狀態(tài)的步驟包括確定輸入交通的隊(duì)列終點(diǎn)的步驟。36、根據(jù)權(quán)利要求35所述的方法，其中，所述隊(duì)列終點(diǎn)由使用總的間隔時(shí)間和間隔次凄t決定。37、如本文附圖中所描述的交通控制系統(tǒng)。38、如本文附圖中所描述的控制交通信號(hào)的方法。全文摘要一種控制道路交叉口交通信號(hào)的方法，所述交通信號(hào)包括多個(gè)信號(hào)群，每個(gè)信號(hào)群控制控制交叉路口中至少一個(gè)方向的交通，所述方法包括以下步驟獲取并使用交通數(shù)據(jù)以計(jì)算當(dāng)前交通狀態(tài)和交通狀態(tài)的變化率。該方法進(jìn)一步包括公式化至少一個(gè)動(dòng)作和所述動(dòng)作的持續(xù)時(shí)間作為對(duì)上述計(jì)算的響應(yīng)。其中每個(gè)動(dòng)作包括變換至少一個(gè)交通信號(hào)?；讷@得的計(jì)算結(jié)果和公式化的動(dòng)作，決定一個(gè)或多個(gè)策略。使用連續(xù)決策過程來估計(jì)決定的策略的報(bào)酬并選擇一能最大化所述報(bào)酬的策略。文檔編號(hào)G08G1/07GK101599219SQ20091014398公開日2009年12月9日申請日期2009年6月4日優(yōu)先權(quán)日2008年6月4日發(fā)明者伯恩哈德·亨斯特,森岡信行,黃恩陽申請人:新南威爾士州道路交通管理局