本發(fā)明涉及信號控制技術(shù)，具體涉及一種交通信號燈控制方法和系統(tǒng)。

背景技術(shù)：

對于十字路口的信號燈，通常有紅、黃、綠和綠閃四種狀態(tài)。其中，信號燈處于紅和綠狀態(tài)時為穩(wěn)定狀態(tài)，處于黃和綠閃時為過渡狀態(tài)。目前應(yīng)用中的交通信號燈的控制采用的是固定周期循環(huán)的控制方式，而沒有考慮到十字路口的車流情況進(jìn)行優(yōu)化和調(diào)整，以至于在有些十字路口車流較少時，沒有任何車輛行駛卻必須在十字路口等紅燈結(jié)束；或者在某個十字路口車流非常多時，由于綠燈的持續(xù)時間固定，導(dǎo)致很多車需要等兩個綠燈以上才能通過該十字路口，在這種情況下，會大大降低用戶的體驗。

技術(shù)實現(xiàn)要素：

為解決現(xiàn)有存在的技術(shù)問題，本發(fā)明實施例提供一種交通信號燈控制方法和系統(tǒng)，能夠基于車流量情況實現(xiàn)交通信號燈的控制優(yōu)化，提升車輛駕駛者的體驗。

為達(dá)到上述目的，本發(fā)明實施例的技術(shù)方案是這樣實現(xiàn)的：

本發(fā)明實施例提供了一種交通信號燈控制方法，所述方法包括：

采集十字路口范圍內(nèi)車輛的狀態(tài)信息，以及所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間；其中，所述狀態(tài)信息包括以下信息的至少之一：車輛類型、位置、速度、加速度；

針對所述十字路口范圍內(nèi)的交通信號燈的所有執(zhí)行動作，基于所述車輛的狀態(tài)信息、所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間確定所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)之和；

選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，以使所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)和最大。

上述方案中，所述所有車輛的體驗參數(shù)之和設(shè)定為目標(biāo)函數(shù)，則所述目標(biāo)函數(shù)滿足以下表達(dá)式：

其中，γ為常數(shù)，γ的取值范圍為大于0小于1；f(T_k)表征車輛通過十字路口的體驗函數(shù)；T表示通過十字路口的時間；a_n表示交通信號燈的執(zhí)行動作；表示執(zhí)行動作a_n執(zhí)行的時間點；Z₀表示在執(zhí)行動作a_n執(zhí)行之后、執(zhí)行動作a_n+1執(zhí)行之前離開十字路口范圍的車輛集合；表示離開十字路口范圍的Z_n結(jié)合中所有車輛的體驗參數(shù)之和；其中，X表示所述十字路口的狀態(tài)；所述十字路口的狀態(tài)包括、車輛類型、車輛的速度信息、車輛的加速度信息、車輛在所述十字路口范圍內(nèi)的持續(xù)時間以及交通信號燈的狀態(tài)。

上述方案中，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)之前，所述方法還包括：

當(dāng)在預(yù)設(shè)控制周期內(nèi)無新車輛進(jìn)入所述十字路口范圍內(nèi)時，對于所述目標(biāo)函數(shù)，設(shè)Q函數(shù)為：

其中，所述Q函數(shù)表示在所述十字路口狀態(tài)X下執(zhí)行控制動作a₀后得到的所述十字路口范圍內(nèi)所有車輛的最大的體驗參數(shù)之和；

將所述Q函數(shù)改寫為：

采用估計函數(shù)對所述Q函數(shù)進(jìn)行估計，則所述估計函數(shù)為：

采用多次迭代方式使所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，v_n(X,a)為在狀態(tài)X下選擇控制動作a的計數(shù)；α_n表示學(xué)習(xí)速度，α_n滿足以下表達(dá)式：

其中，ε表示最小學(xué)習(xí)速度。

上述方案中，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，包括：

當(dāng)在預(yù)設(shè)控制周期內(nèi)有新車輛進(jìn)入所述十字路口范圍內(nèi)時，存在：

其中，π^/表示執(zhí)行動作a1遵循的策略；π^*表示所述目標(biāo)函數(shù)最大時的策略；Z₀表示在執(zhí)行動作a₀執(zhí)行之后、執(zhí)行動作a₁執(zhí)行之前離開十字路口范圍的車輛集合；Φ表示所述執(zhí)行動作a₀執(zhí)行之前所述十字路口范圍內(nèi)的車輛集合；

基于上述表達(dá)式，則設(shè)Q函數(shù)滿足以下表達(dá)式為：

其中，表示無論是否有新車輛進(jìn)入所述十字路口范圍，所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和的數(shù)學(xué)期望；

所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，所述估計函數(shù)的最小值采用指數(shù)滑動平均法獲得，所述指數(shù)滑動平均法滿足以下表達(dá)式：

其中，s_n表示所述十字路口范圍內(nèi)的車輛的體驗參數(shù)的平均值。

上述方案中，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，包括：

對于所述十字路口在交通信號燈的執(zhí)行動作a₀的執(zhí)行時間點所處的狀態(tài)下、所有的執(zhí)行動作a，計算對應(yīng)的估計函數(shù)

基于獲得的所述估計函數(shù)計算所述狀態(tài)下執(zhí)行動作a被選擇執(zhí)行的概率；所述概率滿足以下表達(dá)式：

其中，k為正整數(shù)；

基于獲得的執(zhí)行動作a的概率，選擇所述估計函數(shù)最大的一個執(zhí)行動作執(zhí)行，以使所述執(zhí)行動作對應(yīng)的所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和最大。

上述方案中，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)之后，所述方法還包括：

在下一個執(zhí)行動作執(zhí)行之前，記錄離開所述十字路口范圍的車輛，所述離開所述十字路口范圍的車輛集合記為以及記錄進(jìn)入所述十字路口范圍的車輛，所述進(jìn)入所述十字路口范圍的車輛集合記為

計算獲得離開所述十字路口范圍的車輛的體驗參數(shù)之和，基于所述離開所述十字路口范圍的車輛的體驗參數(shù)之和更新所述估計函數(shù)

上述方案中，所述計算獲得離開所述十字路口范圍的車輛的體驗參數(shù)之和，基于所述離開所述十字路口范圍的車輛的體驗參數(shù)之和更新所述估計函數(shù)包括：

獲得所述下一個執(zhí)行動作執(zhí)行之前、所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和r，當(dāng)執(zhí)行動作的時間點為時：

當(dāng)為非空集合時，r滿足以下表達(dá)式：

當(dāng)為空集時，采用多次迭代方式使估計函數(shù)逼近Q函數(shù)的方式，獲得更新后的估計函數(shù)其中，所述采用多次迭代方式使估計函數(shù)逼近Q函數(shù)滿足以下表達(dá)式：

其中，表示在狀態(tài)X下、執(zhí)行動作a時，估計函數(shù)的下界；表示執(zhí)行動作a₀執(zhí)行的時間點；表示時間點對應(yīng)的十字路口的狀態(tài)；表示累計折算終值；

將集合中所有車輛的體驗參數(shù)之和進(jìn)行折算，存在：

其中，表示累計折算步長；

當(dāng)時，則更新的估計函數(shù)滿足：

上述方案中，當(dāng)集合為空集時，采用以下表達(dá)式更新所述估計函數(shù)

本發(fā)明實施例還提供了一種交通信號燈控制系統(tǒng)，所述系統(tǒng)包括：數(shù)據(jù)采集單元、分析處理單元和控制執(zhí)行單元；其中，

所述數(shù)據(jù)采集單元，用于采集十字路口范圍內(nèi)車輛的狀態(tài)信息，以及所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間；其中，所述狀態(tài)信息包括以下信息的至少之一：車輛類型、位置、速度、加速度；

所述分析處理單元，用于針對所述十字路口范圍內(nèi)的交通信號燈的所有執(zhí)行動作，基于所述車輛的狀態(tài)信息、所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間確定所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)之和；

所述控制執(zhí)行單元，用于選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，以使所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)和最大。

上述方案中，所述分析處理單元，用于設(shè)定所有車輛的體驗參數(shù)之和為目標(biāo)函數(shù)，則所述目標(biāo)函數(shù)滿足以下表達(dá)式：

其中，γ為常數(shù)，γ的取值范圍為大于0小于1；f(T_k)表征車輛通過十字路口的體驗函數(shù)；T表示通過十字路口的時間；a_n表示交通信號燈的執(zhí)行動作；表示執(zhí)行動作a_n執(zhí)行的時間點；Z₀表示在執(zhí)行動作a_n執(zhí)行之后、執(zhí)行動作a_n+1執(zhí)行之前離開十字路口范圍的車輛集合；表示離開十字路口范圍的Z_n結(jié)合中所有車輛的體驗參數(shù)之和；其中，X表示所述十字路口的狀態(tài)；所述十字路口的狀態(tài)包括、車輛類型、車輛的速度信息、車輛的加速度信息、車輛在所述十字路口范圍內(nèi)的持續(xù)時間以及交通信號燈的狀態(tài)。

上述方案中，所述分析處理單元，用于當(dāng)在預(yù)設(shè)控制周期內(nèi)無新車輛進(jìn)入所述十字路口范圍內(nèi)時，對于所述目標(biāo)函數(shù)，設(shè)Q函數(shù)為：

其中，所述Q函數(shù)表示在所述十字路口狀態(tài)X下執(zhí)行控制動作a₀后得到的所述十字路口范圍內(nèi)所有車輛的最大的體驗參數(shù)之和；

將所述Q函數(shù)改寫為：

采用估計函數(shù)對所述Q函數(shù)進(jìn)行估計，則所述估計函數(shù)為：

采用多次迭代方式使所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，v_n(X,a)為在狀態(tài)X下選擇控制動作a的計數(shù)；α_n表示學(xué)習(xí)速度，α_n滿足以下表達(dá)式：

其中，ε表示最小學(xué)習(xí)速度。

上述方案中，所述分析處理單元，用于當(dāng)在預(yù)設(shè)控制周期內(nèi)有新車輛進(jìn)入所述十字路口范圍內(nèi)時，存在：

其中，π^/表示執(zhí)行動作a1遵循的策略；π^*表示所述目標(biāo)函數(shù)最大時的策略；Z₀表示在執(zhí)行動作a₀執(zhí)行之后、執(zhí)行動作a₁執(zhí)行之前離開十字路口范圍的車輛集合；Φ表示所述執(zhí)行動作a₀執(zhí)行之前所述十字路口范圍內(nèi)的車輛集合；

基于上述表達(dá)式，則設(shè)Q函數(shù)滿足以下表達(dá)式為：

其中，表示無論是否有新車輛進(jìn)入所述十字路口范圍，所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和的數(shù)學(xué)期望；

所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，所述估計函數(shù)的最小值采用指數(shù)滑動平均法獲得，所述指數(shù)滑動平均法滿足以下表達(dá)式：

其中，s_n表示所述十字路口范圍內(nèi)的車輛的體驗參數(shù)的平均值。

上述方案中，所述控制執(zhí)行單元，用于對于所述十字路口在交通信號燈的執(zhí)行動作a₀的執(zhí)行時間點所處的狀態(tài)下、所有的執(zhí)行動作a，計算對應(yīng)的估計函數(shù)

基于獲得的所述估計函數(shù)計算所述狀態(tài)下執(zhí)行動作a被選擇執(zhí)行的概率；所述概率滿足以下表達(dá)式：

其中，k為正整數(shù)；

基于獲得的執(zhí)行動作a的概率，選擇所述估計函數(shù)最大的一個執(zhí)行動作執(zhí)行，以使所述執(zhí)行動作對應(yīng)的所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和最大。

上述方案中，所述分析處理單元，還用于所述控制執(zhí)行單元執(zhí)行下一個執(zhí)行動作之前，記錄離開所述十字路口范圍的車輛，所述離開所述十字路口范圍的車輛集合記為以及記錄進(jìn)入所述十字路口范圍的車輛，所述進(jìn)入所述十字路口范圍的車輛集合記為

計算獲得離開所述十字路口范圍的車輛的體驗參數(shù)之和，基于所述離開所述十字路口范圍的車輛的體驗參數(shù)之和更新所述估計函數(shù)

本發(fā)明實施例提供的交通信號燈控制方法和系統(tǒng)，通過采集十字路口范圍內(nèi)車輛的狀態(tài)信息，以及所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間；其中，所述狀態(tài)信息包括以下信息的至少之一：車輛類型、位置、速度、加速度；針對所述十字路口范圍內(nèi)的交通信號燈的所有執(zhí)行動作，基于所述車輛的狀態(tài)信息、所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間確定所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)之和；選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，以使所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)和最大。如此，采用本發(fā)明實施例的技術(shù)方案，通過將車輛通過十字路口的時間與車輛駕駛者的體驗進(jìn)行關(guān)聯(lián)，基于十字路口范圍內(nèi)所有車輛的體驗之和作為所述十字路口的交通信號燈的控制基礎(chǔ)，實現(xiàn)了根據(jù)十字路口的車輛狀況自動學(xué)習(xí)到交通信號燈的最優(yōu)控制流程，使得在十字路口范圍內(nèi)的所有車輛的平均通過時間最短，大大提升了交通信號燈控制系統(tǒng)的智能性，提升了車輛駕駛者的體驗。

附圖說明

圖1為本發(fā)明實施例的交通信號燈控制方法的應(yīng)用場景示意圖；

圖2為現(xiàn)有技術(shù)中交通信號燈的狀態(tài)轉(zhuǎn)移示意圖；

圖3為本發(fā)明實施例的交通信號燈控制方法的流程示意圖；

圖4為本發(fā)明實施例中函數(shù)f(t)的圖樣示意圖；

圖5為本發(fā)明實施例中對十字路口狀態(tài)建模的示意圖；

圖6為本發(fā)明實施例中的一種場景示意圖；

圖7a至圖7h為本發(fā)明實施例的交通信號燈控制方法的狀態(tài)轉(zhuǎn)移示意圖；

圖8為本發(fā)明實施例的交通信號燈控制系統(tǒng)的組成結(jié)構(gòu)示意圖。

具體實施方式

圖1為本發(fā)明實施例的交通信號燈控制方法的應(yīng)用場景示意圖；如圖1所示，為一個典型的十字路口場景。車道數(shù)為雙向六車道，其中單向的三車道分為左轉(zhuǎn)、直行、右轉(zhuǎn)三條導(dǎo)向車道。面向十字路口的四個方向，一共有8個信號燈，分別對應(yīng)控制東南西北四個方向的左轉(zhuǎn)和直行。每個控制燈有紅、黃、綠、綠閃四種狀態(tài)。紅燈表示停止、綠燈表示通行，黃燈表示警示，綠閃燈提示黃燈即將來臨。

按照東南西北四個方向的順序，控制信號燈的狀態(tài)可以被描述為以下表達(dá)式(1)：

L＝(x₁,x₂,...,x₇,x₈) (1)

其中，x₁表示面向東方的左轉(zhuǎn)信號燈，取值可以為紅、黃、綠、綠閃；x₂表示面向東方的直行信號燈，取值可以為紅、黃、綠、綠閃；其他x₃至x₈以此類推，這里不再贅述。

其中，假設(shè)綠閃燈和黃燈的持續(xù)時間都為3s。綠閃燈和黃燈是控制信號燈由綠轉(zhuǎn)紅過程中的過渡狀態(tài)。

根據(jù)表達(dá)式(1)所示的交通信號燈狀態(tài)用多維向量L表示；其中每一個元素的可能取值為紅(Red)、黃(Yellow)、綠(Green)、綠閃(Blink)四種狀態(tài)。則所有可能的狀態(tài)向量如表1表示。

表1

圖2為現(xiàn)有技術(shù)中交通信號燈的狀態(tài)轉(zhuǎn)移示意圖；如圖2所示，圓圈表示狀態(tài)，箭頭表示狀態(tài)轉(zhuǎn)移。實線圓圈表示可持續(xù)的穩(wěn)定狀態(tài)。例如，可以通過空操作(自返操作)保持信號燈的狀態(tài)為L₁，在不限制連續(xù)空操作次數(shù)的情況下，信號燈的狀態(tài)可以一直處于L₁。虛線圓圈表示過渡狀態(tài)。如圖2所示，目前實際應(yīng)用中的交通信號燈的控制采用的是固定周期循環(huán)的控制方式，也就是交通信號燈狀態(tài)從L1～L12這12個狀態(tài)之間按順序不斷地進(jìn)行循環(huán)?；诖耍l(fā)明人發(fā)現(xiàn)，現(xiàn)有技術(shù)的交通信號燈的控制方式的缺點是沒有考慮十字路口的車流量情況，不能根據(jù)車流量情況進(jìn)行優(yōu)化調(diào)整。

本發(fā)明實施例中，

下面結(jié)合附圖及具體實施例對本發(fā)明作進(jìn)一步詳細(xì)的說明。

實施例一

本發(fā)明實施例提供了一種交通信號燈控制方法。圖3為本發(fā)明實施例的交通信號燈控制方法的流程示意圖；如圖3所示，所述方法包括：

步驟101：采集十字路口范圍內(nèi)車輛的狀態(tài)信息，以及所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間；其中，所述狀態(tài)信息包括以下信息的至少之一：車輛類型、位置、速度、加速度。

步驟102：針對所述十字路口范圍內(nèi)的交通信號燈的所有執(zhí)行動作，基于所述車輛的狀態(tài)信息、所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間確定所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)。

步驟103：選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，以使所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)和最大。

具體的，所述所有車輛的體驗參數(shù)之和設(shè)定為目標(biāo)函數(shù)，則所述目標(biāo)函數(shù)滿足以下表達(dá)式：

其中，γ為常數(shù)，γ的取值范圍為大于0小于1；f(T_k)表征車輛通過十字路口的體驗函數(shù)；T表示通過十字路口的時間；a_n表示交通信號燈的執(zhí)行動作；表示執(zhí)行動作a_n執(zhí)行的時間點；Z₀表示在執(zhí)行動作a_n執(zhí)行之后、執(zhí)行動作a_n+1執(zhí)行之前離開十字路口范圍的車輛集合；表示離開十字路口范圍的Z_n結(jié)合中所有車輛的體驗參數(shù)之和；其中，X表示所述十字路口的狀態(tài)；所述十字路口的狀態(tài)包括、車輛類型、車輛的速度信息、車輛的加速度信息、車輛在所述十字路口范圍內(nèi)的持續(xù)時間以及交通信號燈的狀態(tài)。

進(jìn)一步地，作為一種實施方式，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)之前，所述方法還包括：

當(dāng)在預(yù)設(shè)控制周期內(nèi)無新車輛進(jìn)入所述十字路口范圍內(nèi)時，對于所述目標(biāo)函數(shù)，設(shè)Q函數(shù)為：

其中，所述Q函數(shù)表示在所述十字路口狀態(tài)X下執(zhí)行控制動作a₀后得到的所述十字路口范圍內(nèi)所有車輛的最大的體驗參數(shù)之和；

將所述Q函數(shù)改寫為：

采用估計函數(shù)對所述Q函數(shù)進(jìn)行估計，則所述估計函數(shù)為：

采用多次迭代方式使所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，v_n(X,a)為在狀態(tài)X下選擇控制動作a的計數(shù)；α_n表示學(xué)習(xí)速度，α_n滿足以下表達(dá)式：

其中，ε表示最小學(xué)習(xí)速度。

作為另一種實施方式，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，包括：

當(dāng)在預(yù)設(shè)控制周期內(nèi)有新車輛進(jìn)入所述十字路口范圍內(nèi)時，存在：

其中，π^/表示執(zhí)行動作a1遵循的策略；π^*表示所述目標(biāo)函數(shù)最大時的策略；Z₀表示在執(zhí)行動作a₀執(zhí)行之后、執(zhí)行動作a₁執(zhí)行之前離開十字路口范圍的車輛集合；Φ表示所述執(zhí)行動作a₀執(zhí)行之前所述十字路口范圍內(nèi)的車輛集合；

基于上述表達(dá)式，則設(shè)Q函數(shù)滿足以下表達(dá)式為：

其中，表示無論是否有新車輛進(jìn)入所述十字路口范圍，所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和的數(shù)學(xué)期望；

所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，所述估計函數(shù)的最小值采用指數(shù)滑動平均法獲得，所述指數(shù)滑動平均法滿足以下表達(dá)式：

其中，s_n表示所述十字路口范圍內(nèi)的車輛的體驗參數(shù)的平均值。

進(jìn)一步地，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，包括：

對于所述十字路口在交通信號燈的執(zhí)行動作a₀的執(zhí)行時間點所處的狀態(tài)下、所有的執(zhí)行動作a，計算對應(yīng)的估計函數(shù)

基于獲得的所述估計函數(shù)計算所述狀態(tài)下執(zhí)行動作a被選擇執(zhí)行的概率；所述概率滿足以下表達(dá)式：

其中，k為正整數(shù)；

基于獲得的執(zhí)行動作a的概率，選擇所述估計函數(shù)最大的一個執(zhí)行動作執(zhí)行，以使所述執(zhí)行動作對應(yīng)的所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和最大。

作為一種實施方式，所述選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)之后，所述方法還包括：

在下一個執(zhí)行動作執(zhí)行之前，記錄離開所述十字路口范圍的車輛，所述離開所述十字路口范圍的車輛集合記為以及記錄進(jìn)入所述十字路口范圍的車輛，所述進(jìn)入所述十字路口范圍的車輛集合記為

計算獲得離開所述十字路口范圍的車輛的體驗參數(shù)之和，基于所述離開所述十字路口范圍的車輛的體驗參數(shù)之和更新所述估計函數(shù)

進(jìn)一步地，作為一種實施方式，所述計算獲得離開所述十字路口范圍的車輛的體驗參數(shù)之和，基于所述離開所述十字路口范圍的車輛的體驗參數(shù)之和更新所述估計函數(shù)包括：

獲得所述下一個執(zhí)行動作執(zhí)行之前、所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和r，當(dāng)控制周期為時：

當(dāng)為非空集合時，r滿足以下表達(dá)式：

當(dāng)為空集時，采用多次迭代方式使估計函數(shù)逼近Q函數(shù)的方式，獲得更新后的估計函數(shù)其中，所述采用多次迭代方式使估計函數(shù)逼近Q函數(shù)滿足以下表達(dá)式：

其中，表示在狀態(tài)X下、執(zhí)行動作a時，估計函數(shù)的下界；表示執(zhí)行動作a₀執(zhí)行的時間點；表示時間點對應(yīng)的十字路口的狀態(tài)；表示累計折算終值；

將集合中所有車輛的體驗參數(shù)之和進(jìn)行折算，存在：

其中，表示累計折算步長；

當(dāng)時，則更新的估計函數(shù)滿足：

作為另一種實施方式，當(dāng)集合為空集時，采用以下表達(dá)式更新所述估計函數(shù)

具體的，本發(fā)明實施例的交通信號燈的控制方法可首先從問題描述與建模進(jìn)行描述。

設(shè)定車輛通過十字路口的體驗函數(shù)滿足以下表達(dá)式(2)：

f(t)＝-(t-T₀)×|t-T₀| (2)

其中，函數(shù)f(t)為體驗函數(shù)，表示用戶駕駛車輛通過十字路口的體驗值；t表示車輛通過十字路口的時間；T₀表示抱怨發(fā)生的臨界點；圖4為本發(fā)明實施例中函數(shù)f(t)的圖樣示意圖；如圖4所示，第一方面，體驗函數(shù)為單調(diào)遞減函數(shù)，表示車輛通過十字路口的時間越長，體驗值越低，用戶越不滿；第二方面，T₀表示抱怨發(fā)生的臨界點，當(dāng)通過時間t<T₀時，其體驗為正值，當(dāng)t>T₀時，其體驗為負(fù)值；第三方面，f(t)是一個S形函數(shù)，這帶來一個特性，那就是在用戶開始抱怨之前，控制算法偏好于讓后進(jìn)入十字路口的車輛先通過十字路口，在用戶開始抱怨之后，控制算法偏好于讓先進(jìn)入十字路口的車輛先通過十字路口。

進(jìn)一步地，假設(shè)某一時刻十字路口范圍內(nèi)共有N輛車，將這些車的集合記為Φ＝{c₁,c₂,...,c_N}。并假設(shè)從所述時刻開始沒有新的車輛進(jìn)入十字路口。

設(shè)動作a_n執(zhí)行之后，a_n+1執(zhí)行之前，共有Z_n輛車離開十字路口范圍，其集合也記為Z_n，這Z_n輛車的體驗總和為滿足表達(dá)式(3)：

用表示控制動作a_n執(zhí)行的時間點，則存在：

其中，S表示所有車輛離開十字路口范圍所需要的控制步數(shù)，即在a_S執(zhí)行之后，a_S+1執(zhí)行之前，集合Φ中的車輛都會離開十字路口范圍。

則設(shè)定目標(biāo)函數(shù)滿足表達(dá)式(5)：

其中，γ為常數(shù)；0<γ<1，作為一種實施方式，γ＝0.99。

進(jìn)一步地，對十字路口狀態(tài)進(jìn)行建模，具體包括：

圖5為本發(fā)明實施例中對十字路口狀態(tài)建模的示意圖；如圖5所示，將十字路口劃分為特定大小的網(wǎng)格，劃分的原則為每個網(wǎng)格的大小只能容納一輛汽車。則所有車輛在十字路口的狀態(tài)可以被表示為所有網(wǎng)格的狀態(tài)。

其中，每一個網(wǎng)格i的狀態(tài)可以由下面的向量表示：

g_i＝(g₁,g₂,g₃,g₄,g₅,g₆)_i (6)

其中，表達(dá)式(6)中的每個參數(shù)的說明參見表2所示：

表2

假設(shè)所述十字路口范圍內(nèi)共有G個網(wǎng)格，則所述十字路口的全部狀態(tài)可以表示為：

X＝(g₁,g₂,...,g_G,L) (7)

其中，L表示交通信號燈的狀態(tài)。

進(jìn)一步地，考慮到以下兩種情況：無新車輛進(jìn)入十字路口的情況以及有新車輛進(jìn)入十字路口的情況。

當(dāng)無新車輛進(jìn)入時，則表達(dá)式(5)所述的目標(biāo)函數(shù)可以表示為狀態(tài)X和控制策略π:X→a的函數(shù)。則十字路口范圍內(nèi)車輛的集合為Φ＝{c₁,c₂,...,c_N}，假設(shè)已知目標(biāo)函數(shù)，則當(dāng)前最優(yōu)的控制動作可以表示為：

其中，集合Φ作為目標(biāo)函數(shù)的下標(biāo)表示當(dāng)前的目標(biāo)函數(shù)是為了最優(yōu)化Φ集合中車輛的累積折算體驗。用表示控制動作a_n執(zhí)行的時間點。π^*表示最優(yōu)控制策略。之前沒有新車進(jìn)入十字路口范圍，且有集合Z₀輛車離開了十字路口范圍，存在執(zhí)行之后，系統(tǒng)狀態(tài)從轉(zhuǎn)移到記轉(zhuǎn)移概率為在新的狀態(tài)繼續(xù)根據(jù)所述目標(biāo)函數(shù)選擇最優(yōu)動作為：

對于目標(biāo)函數(shù)，設(shè)定Q函數(shù)為：

Q函數(shù)表示在狀態(tài)X執(zhí)行控制動作a₀后，可能得到的目標(biāo)函數(shù)的最大值，也即得到的十字路口范圍內(nèi)所有車輛的體驗之和的最大值。

則存在：

用估計函數(shù)表示對函數(shù)Q的估計，該估計函數(shù)記為：

假設(shè)表達(dá)式(12)能夠準(zhǔn)確地估計Q函數(shù)，則最優(yōu)的控制動作可以表示為：

然而，確切的Q函數(shù)值在決定要采取何種控制動作的時候是很難知道的。原因有以下幾點：

1、只有當(dāng)所有的N輛車全部離開十字路口的時候才能計算得到目標(biāo)函數(shù)的一個樣本值，也就是說目標(biāo)函數(shù)的樣本值產(chǎn)生的時間點相比控制發(fā)生的時間點是延遲的；

2、只有在控制動作a₀之后執(zhí)行的是最優(yōu)控制策略的情況下才能計算得到Q的樣本值；

3、系統(tǒng)是動態(tài)的，當(dāng)有一輛車進(jìn)入十字路口范圍以后，系統(tǒng)控制的最優(yōu)化目標(biāo)變成了使Φ-Z₁+c_N+1輛車的累積體驗最大化，也就是說當(dāng)有車輛進(jìn)入時，系統(tǒng)狀態(tài)轉(zhuǎn)移的馬爾科夫性遭到了破壞，集合Φ-Z₁中的車輛的通過時間會受到第c_N+1輛車的影響而發(fā)生改變，這樣就不可能再通過累積集合Φ-Z₁中車輛的體驗來計算Q的樣本值。

所以要解決的問題是如何讓估計函數(shù)逼近Q函數(shù)。則首先將表達(dá)式(10)改寫為：

若在a₀執(zhí)行之后，a₁執(zhí)行之前，沒有新的車輛進(jìn)入，可以用下面的表達(dá)式更新估計函數(shù)

其中，v_n(X,a)為在狀態(tài)X下選擇控制動作a的計數(shù)；α_n表示學(xué)習(xí)速度，隨著計數(shù)的增加，學(xué)習(xí)速度逐漸減小趨向于零(在此條件下可以證明估計函數(shù)將以概率1收斂至Q函數(shù))。在實際應(yīng)用中，為了保持系統(tǒng)的動態(tài)性，避免學(xué)習(xí)速度α_n等于零的情況，則α_n滿足以下表達(dá)式：

其中，ε表示最小學(xué)習(xí)速度。可以證明當(dāng)0<γ<1時，用表達(dá)式(15)進(jìn)行迭代，只要保證狀態(tài)和動作對被無限頻繁地訪問，估計函數(shù)就可以收斂到Q函數(shù)。雖然表達(dá)式(17)在理論上破壞了算法的收斂性，但是只要選擇一個較小的ε就可以保證算法的實際效果。由于和只相差預(yù)設(shè)控制周期(如6秒)，也就是說在一個控制周期6s內(nèi)，如果沒有新車輛進(jìn)入十字路口范圍，就可以用表達(dá)式(15)給出的方法更新估計函數(shù)從而不斷逼近Q函數(shù)。

作為另一種情況，即當(dāng)有新車輛進(jìn)入十字路口范圍時，在a₀執(zhí)行之后，a₁執(zhí)行之前，有第N+1輛車c_N+1進(jìn)入十字路口范圍，離開十字路口范圍的車輛集合為Z₀。則從執(zhí)行動作a₀之后，最優(yōu)控制策略所要考慮的車輛集合變滿足以下表達(dá)式：

Φ₁＝Φ-Z₀+c_N+1 (18)

由此可以得出，系統(tǒng)的馬爾科夫性被破壞了。所以在時刻最優(yōu)控制策略的目標(biāo)函數(shù)滿足以下表達(dá)式：

其中，π^/表示當(dāng)前的控制策略。

最優(yōu)執(zhí)行動作為：

根據(jù)表達(dá)式(8)和表達(dá)式(20)，真正被執(zhí)行的控制動作序列為顯然的選擇遵循的是控制策略π^*，從a₁開始控制動作選擇遵循的是控制策略π^/。π^*對于表達(dá)式(8)所表示的目標(biāo)函數(shù)是最優(yōu)的，顯然π^/對于表達(dá)式(9)所表示的目標(biāo)函數(shù)就不一定是最優(yōu)的，所以存在：

在表達(dá)式(21)兩邊加上集合Z₀中車輛的體驗，得到：

將不等式(22)的左右兩側(cè)分別改寫，可以得到：

表達(dá)式(23)的右邊是只考慮Φ集合中的車輛并假設(shè)沒有新車輛進(jìn)入十字路口范圍時的目標(biāo)函數(shù)的最大值，當(dāng)有新車輛進(jìn)入十字路口范圍時，表達(dá)式(23)的右邊無法準(zhǔn)確計算。表達(dá)式(23)的左邊的含義是不管后續(xù)是否有新車輛進(jìn)入十字路口范圍，集合Φ中的全部車輛的累積折算體驗的數(shù)學(xué)期望。當(dāng)集合Φ中的全部車輛離開十字路口范圍時，就可計算得到表達(dá)式(23)的左邊的一個樣本值。

根據(jù)表達(dá)式(10)對Q函數(shù)的定義有：

基于表達(dá)式(24)，則有：

表達(dá)式(25)的右邊的含義是不管后續(xù)是否有新車輛進(jìn)入十字路口范圍，集合Φ中的全部車輛的累積折算體驗的數(shù)學(xué)期望。當(dāng)集合Φ中的全部車輛離開十字路口范圍時，就可計算得到表達(dá)式(25)的右邊的一個樣本值。

基于此，可利用表達(dá)式(25)加快估計函數(shù)的收斂，因為估計函數(shù)是對函數(shù)Q的估計，則有：

則可基于表達(dá)式(27)的右邊確定估計函數(shù)的下界。則可通過以下表達(dá)式計算表達(dá)式(26)的右邊：

基于上述兩種情況的算法描述，下面進(jìn)行對本發(fā)明實施例的交通信號燈的控制方法進(jìn)行說明。

圖6為本發(fā)明實施例中的一種場景示意圖；如圖6所示，假設(shè)時間點之前，十字路口范圍內(nèi)的車輛集合表示為Φ＝{c₁,c₂,...,c₉}，狀態(tài)記為在時間點和時間點之間，有車輛c₁和c₂離開所述十字路口范圍，有車輛c₁₀進(jìn)入所述十字路口范圍，則此時，車輛集合記為Φ₁＝{c₃,c₄,...,c₁₀}，此時的狀態(tài)為其他時間點的參數(shù)說明可參照圖6所示，這里不再詳細(xì)說明。

第1步：初始化Q函數(shù)的估計函數(shù)為全零值，即對于所有可能的狀態(tài)和執(zhí)行動作對，初始化初始化初始化累積折算值γ＝0.98，初始化k＝0.1。

第2步：在時刻，記錄此時的車輛集合為初始化時刻對應(yīng)的累積折算終值為初始化時刻對應(yīng)的累積折算步長為十字路口狀態(tài)為

第3步：對于狀態(tài)條件下所有可能的動作a，計算這里，在初始狀態(tài)下，可以理解為無新車輛進(jìn)入的情形，則可參照表達(dá)式(15)計算

第4步：計算X狀態(tài)下動作a被選擇的概率：

第5步：選擇動作。根據(jù)表達(dá)式(28)給出的概率值選擇一個動作來執(zhí)行。具體的，選擇十字路口中所有車輛的體驗參數(shù)之和最大的動作執(zhí)行，也即最大值對應(yīng)的動作執(zhí)行。

第6步：在下一個控制動作之前，即在該動作執(zhí)行后的控制周期(如6s時間)內(nèi)，記錄有哪些車輛離開了十字路口范圍，記這些車輛的集合為并記錄有哪些車輛新進(jìn)入了十字路口范圍，記這些車輛的集合為

第7步：對所有早于a₁^t的控制周期執(zhí)行如下動作，下面以控制周期為例：計算集合中車輛的累積體驗。

若為非空，則計算車輛的體驗和滿足以下表達(dá)式：

若為空集，則用累積折算體驗的終值更新具體為：

第7.1步：將離開車輛的體驗和折算至終值

第7.2步：若則存在：

第8步：若為空集。則用如下公式更新估計函數(shù)

基于上述描述，圖7a至圖7h為本發(fā)明實施例的交通信號燈控制方法的狀態(tài)轉(zhuǎn)移示意圖；如圖7a至圖7h所示，為采用本發(fā)明實施例的交通信號燈控制方法的所有可能的信號燈狀態(tài)及其狀態(tài)轉(zhuǎn)移。其中，實線箭頭表示現(xiàn)有技術(shù)中的狀態(tài)轉(zhuǎn)移，虛線箭頭表示本發(fā)明實施例新增的狀態(tài)轉(zhuǎn)移。實線圓圈表示穩(wěn)定狀態(tài)，與現(xiàn)有技術(shù)相同；間距較小的虛線圓圈(例如圖7a中的L2狀態(tài))表示過渡狀態(tài)，與現(xiàn)有技術(shù)相同；間距較大的虛線圓圈(例如圖7a中的L20狀態(tài))表示本發(fā)明實施例中新增的狀態(tài)。

采用本發(fā)明實施例的技術(shù)方案，通過將車輛通過十字路口的時間與車輛駕駛者的體驗進(jìn)行關(guān)聯(lián)，基于十字路口范圍內(nèi)所有車輛的體驗之和作為所述十字路口的交通信號燈的控制基礎(chǔ)，實現(xiàn)了根據(jù)十字路口的車輛狀況自動學(xué)習(xí)到交通信號燈的最優(yōu)控制流程，使得在十字路口范圍內(nèi)的所有車輛的平均通過時間最短，大大提升了交通信號燈控制系統(tǒng)的智能性，提升了車輛駕駛者的體驗。

實施例二

本發(fā)明實施例還提供了一種交通信號燈控制系統(tǒng)。圖8為本發(fā)明實施例的交通信號燈控制系統(tǒng)的組成結(jié)構(gòu)示意圖；如圖8所示，所述系統(tǒng)包括：數(shù)據(jù)采集單元、分析處理單元和控制執(zhí)行單元；其中，

所述數(shù)據(jù)采集單元，用于采集十字路口范圍內(nèi)車輛的狀態(tài)信息，以及所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間；其中，所述狀態(tài)信息包括以下信息的至少之一：車輛類型、位置、速度、加速度；

所述分析處理單元，用于針對所述十字路口范圍內(nèi)的交通信號燈的所有執(zhí)行動作，基于所述車輛的狀態(tài)信息、所述車輛進(jìn)入所述十字路口范圍的第一時間和離開所述十字路口范圍的第二時間確定所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)之和；

所述控制執(zhí)行單元，用于選擇一個執(zhí)行動作控制所述交通信號燈的狀態(tài)，以使所述十字路口范圍內(nèi)所有車輛的體驗參數(shù)和最大。

其中，所述分析處理單元，用于設(shè)定所有車輛的體驗參數(shù)之和為目標(biāo)函數(shù)，則所述目標(biāo)函數(shù)滿足以下表達(dá)式：

其中，γ為常數(shù)，γ的取值范圍為大于0小于1；f(T_k)表征車輛通過十字路口的體驗函數(shù)；T表示通過十字路口的時間；a_n表示交通信號燈的執(zhí)行動作；表示執(zhí)行動作a_n執(zhí)行的時間點；Z₀表示在執(zhí)行動作a_n執(zhí)行之后、執(zhí)行動作a_n+1執(zhí)行之前離開十字路口范圍的車輛集合；表示離開十字路口范圍的Z_n結(jié)合中所有車輛的體驗參數(shù)之和；其中，X表示所述十字路口的狀態(tài)；所述十字路口的狀態(tài)包括、車輛類型、車輛的速度信息、車輛的加速度信息、車輛在所述十字路口范圍內(nèi)的持續(xù)時間以及交通信號燈的狀態(tài)。

進(jìn)一步地，作為一種實施方式，所述分析處理單元，用于當(dāng)在預(yù)設(shè)控制周期內(nèi)無新車輛進(jìn)入所述十字路口范圍內(nèi)時，對于所述目標(biāo)函數(shù)，設(shè)Q函數(shù)為：

其中，所述Q函數(shù)表示在所述十字路口狀態(tài)X下執(zhí)行控制動作a₀后得到的所述十字路口范圍內(nèi)所有車輛的最大的體驗參數(shù)之和；

將所述Q函數(shù)改寫為：

采用估計函數(shù)對所述Q函數(shù)進(jìn)行估計，則所述估計函數(shù)為：

采用多次迭代方式使所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，v_n(X,a)為在狀態(tài)X下選擇控制動作a的計數(shù)；α_n表示學(xué)習(xí)速度，α_n滿足以下表達(dá)式：

其中，ε表示最小學(xué)習(xí)速度。

作為另一種實施方式，所述分析處理單元，用于當(dāng)在預(yù)設(shè)控制周期內(nèi)有新車輛進(jìn)入所述十字路口范圍內(nèi)時，存在：

其中，π^/表示執(zhí)行動作a1遵循的策略；π^*表示所述目標(biāo)函數(shù)最大時的策略；Z₀表示在執(zhí)行動作a₀執(zhí)行之后、執(zhí)行動作a₁執(zhí)行之前離開十字路口范圍的車輛集合；Φ表示所述執(zhí)行動作a₀執(zhí)行之前所述十字路口范圍內(nèi)的車輛集合；

基于上述表達(dá)式，則設(shè)Q函數(shù)滿足以下表達(dá)式為：

其中，表示無論是否有新車輛進(jìn)入所述十字路口范圍，所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和的數(shù)學(xué)期望；

所述估計函數(shù)逼近所述Q函數(shù)，則所述估計函數(shù)滿足以下表達(dá)式：

其中，所述估計函數(shù)的最小值采用指數(shù)滑動平均法獲得，所述指數(shù)滑動平均法滿足以下表達(dá)式：

其中，s_n表示所述十字路口范圍內(nèi)的車輛的體驗參數(shù)的平均值。

本實施例中，所述控制執(zhí)行單元，用于對于所述十字路口在交通信號燈的執(zhí)行動作a₀的執(zhí)行時間點所處的狀態(tài)下、所有的執(zhí)行動作a，計算對應(yīng)的估計函數(shù)

基于獲得的所述估計函數(shù)計算所述狀態(tài)下執(zhí)行動作a被選擇執(zhí)行的概率；所述概率滿足以下表達(dá)式：

其中，k為正整數(shù)；

基于獲得的執(zhí)行動作a的概率，選擇所述估計函數(shù)最大的一個執(zhí)行動作執(zhí)行，以使所述執(zhí)行動作對應(yīng)的所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和最大。

作為一種實施方式，所述分析處理單元，還用于所述控制執(zhí)行單元執(zhí)行下一個執(zhí)行動作之前，記錄離開所述十字路口范圍的車輛，所述離開所述十字路口范圍的車輛集合記為以及記錄進(jìn)入所述十字路口范圍的車輛，所述進(jìn)入所述十字路口范圍的車輛集合記為

計算獲得離開所述十字路口范圍的車輛的體驗參數(shù)之和，基于所述離開所述十字路口范圍的車輛的體驗參數(shù)之和更新所述估計函數(shù)

具體的，作為一種實施方式，所述分析處理單元，用于獲得所述下一個執(zhí)行動作執(zhí)行之前、所述十字路口范圍內(nèi)的所有車輛的體驗參數(shù)之和r，當(dāng)控制周期為時：

當(dāng)為非空集合時，r滿足以下表達(dá)式：

當(dāng)為空集時，采用多次迭代方式使估計函數(shù)逼近Q函數(shù)的方式，獲得更新后的估計函數(shù)其中，所述采用多次迭代方式使估計函數(shù)逼近Q函數(shù)滿足以下表達(dá)式：

其中，表示在狀態(tài)X下、執(zhí)行動作a時，估計函數(shù)的下界；表示執(zhí)行動作a₀執(zhí)行的時間點；表示時間點對應(yīng)的十字路口的狀態(tài)；表示累計折算終值；

將集合中所有車輛的體驗參數(shù)之和進(jìn)行折算，存在：

其中，表示累計折算步長；

當(dāng)時，則更新的估計函數(shù)滿足：

作為另一種實施方式，當(dāng)集合為空集時，采用以下表達(dá)式更新所述估計函數(shù)

本實施例中，所述交通信號燈系統(tǒng)在實際應(yīng)用中可通過服務(wù)器、個人計算機實現(xiàn)。所述系統(tǒng)中的數(shù)據(jù)采集單元、分析處理單元和控制執(zhí)行單元，在實際應(yīng)用中，均可由所述系統(tǒng)中的中央處理器(CPU，Central Processing Unit)、數(shù)字信號處理器(DSP，Digital Signal Processor)或可編程門陣列(FPGA，F(xiàn)ield－Programmable Gate Array)實現(xiàn)。

采用本發(fā)明實施例的技術(shù)方案，通過將車輛通過十字路口的時間與車輛駕駛者的體驗進(jìn)行關(guān)聯(lián)，基于十字路口范圍內(nèi)所有車輛的體驗之和作為所述十字路口的交通信號燈的控制基礎(chǔ)，實現(xiàn)了根據(jù)十字路口的車輛狀況自動學(xué)習(xí)到交通信號燈的最優(yōu)控制流程，使得在十字路口范圍內(nèi)的所有車輛的平均通過時間最短，大大提升了交通信號燈控制系統(tǒng)的智能性，提升了車輛駕駛者的體驗。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過其它的方式實現(xiàn)。以上所描述的設(shè)備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，如：多個單元或組件可以結(jié)合，或可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口，設(shè)備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。

上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位于一個地方，也可以分布到多個網(wǎng)絡(luò)單元上；可以根據(jù)實際的需要選擇其中的部分或全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。

本領(lǐng)域普通技術(shù)人員可以理解：實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括：移動存儲設(shè)備、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

或者，本發(fā)明上述集成的單元如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實施例的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機、服務(wù)器、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分。而前述的存儲介質(zhì)包括：移動存儲設(shè)備、ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。