本發(fā)明涉及民航信息技術領域，尤其涉及一種旅客航班需求分析方法和系統(tǒng)。

背景技術：

在保持收益最大化的前提下，如何提供最佳的折扣、如何合理的安排倉位的開放是航空公司收益管理者一直在思考的兩個問題，這兩個問題都與航線旅客需求密切相關。隨著民航業(yè)的快速發(fā)展，準確測量市場需求是航空公司市場銷售部門的核心訴求，其中，基于O&D的旅客航班需求對航空公司收益管理者來講至關重要。目前，航空公司能夠輕松的獲得各航線歷史旅客量數(shù)據(jù)，然而，并沒有一個成熟分析方法能夠為航空公司反映航班未來的需求變化。因此，如何能夠敏感有效的反映旅客航班需求的未來變化趨勢、為航空公司收益管理提供決策依據(jù)，是對民航信息服務的新一階段的要求。

目前的技術能夠實現(xiàn)基于O&D的各航班歷史旅客量的查詢功能，數(shù)據(jù)來源于旅客統(tǒng)一視圖中的成形數(shù)據(jù)，忽略了渠道和旅客對需求的影響，數(shù)據(jù)獲取的周期大多以天、周甚至是月為單位，其實時性及敏感性也較差。另一方面，中國航空公司在中長期的銷售管理(一般指二周以后的航班)上，主要使用傳統(tǒng)的市場需求測量方法，短期的銷售管理(一般二周以內)還主要依賴于人的經驗，缺乏對旅客航班需求量的變化趨勢進行準確及時的反映。

基于對航空公司收益管理數(shù)據(jù)支持的完善，本發(fā)明提出一種分布式實時民航旅客航班需求分析方法，基于大數(shù)據(jù)平臺采集各渠道全量查詢數(shù)據(jù)，數(shù)據(jù)來源范圍廣，對市場感知性強，能夠實現(xiàn)以十分鐘為單位對旅客航班查詢數(shù)據(jù)進行收集和解析，并且結合傳統(tǒng)的市場需求測量方法，使用指數(shù)方式更加實時、敏感、準確的反映將來任何一個時間段內的旅客航班需求變化趨勢。

技術實現(xiàn)要素：

為解決現(xiàn)有存在的技術問題，本發(fā)明實施例提供一種旅客航班需求分析方法和系統(tǒng)。

為達到上述目的，本發(fā)明實施例的技術方案是這樣實現(xiàn)的：

一種旅客航班需求分析方法，所述方法包括：

進行數(shù)據(jù)預處理得到航班查詢數(shù)據(jù)；

根據(jù)所述航班查詢數(shù)據(jù)進行旅客查航班行為模式分類；

對所述分類得到的旅客查詢航班行為類別進行權值訓練；

根據(jù)所述權值訓練的結果以及所述分類得到的旅客查詢航班行為類別，計算每個產品集在多個維度下的需求指數(shù)；

將所述需求指數(shù)進行前端展示。

其中，所述進行數(shù)據(jù)預處理得到航班查詢數(shù)據(jù)，包括：對獲取并解析后的旅客查詢航班日志數(shù)據(jù)使用Hadoop分布式數(shù)據(jù)處理平臺進行數(shù)據(jù)預處理，生成航班查詢數(shù)據(jù)并存儲到Hadoop分布式數(shù)據(jù)平臺的Hive組件中。

其中，所述根據(jù)所述航班查詢數(shù)據(jù)進行旅客查航班行為模式分類，包括：從Hadoop分布式數(shù)據(jù)處理平臺的Hive組件中讀取預處理生成的航班查詢數(shù)據(jù)，通過不同渠道各自對應的分類決策樹進行查詢航班行為分類，得到旅客查詢航班行為類別的數(shù)據(jù)。

其中，所述根據(jù)所述航班查詢數(shù)據(jù)進行旅客查航班行為模式分類，還包括：將所述旅客查詢航班行為類別的數(shù)據(jù)存儲到Hadoop分布式數(shù)據(jù)處理平臺的Hive組件中。

其中，所述對所述分類得到的旅客查詢航班行為類別進行權值訓練，包括：使用模式搜索算法，通過迭代計算獲取每個旅客查詢航班行為類別的權重。

其中，所述對所述分類得到的旅客查詢航班行為類別進行權值訓練，包括：獲取訓練樣本數(shù)據(jù)，以訓練樣本中所有產品的各查詢行為類別的加權和與相應的預訂量在給定的時間范圍內變化趨勢一致性最大化為目標，使用模式搜索算法，計算最優(yōu)的權值，最終將得到的所有查詢航班行為類別的權值系數(shù)輸出保存到IndexWeight.txt文件中。

其中，所述計算每個產品集在多個維度下的需求指數(shù)，包括：將分類所得結果按產品集聚合，并使用權值訓練所得的權值系數(shù)，通過線性加權求和的方法計算每個產品集在多個維度下的需求指數(shù)，所述需求指數(shù)包括瞬時需求指數(shù)、和/或累計需求指數(shù)、和/或歷史需求指數(shù)、和/或未來需求指數(shù)。

其中，根據(jù)計算得到的瞬時需求指數(shù)結果計算所述未來需求指數(shù)、歷史需求指數(shù)、歷史細節(jié)指數(shù)；其中，所述未來需求指數(shù)表示以當前日期為界，對一個產品集的所有已計算的瞬時需求指數(shù)進行累加求和；所述歷史需求指數(shù)表示以當前日期為界，對一個產品集在特定時間段內的所有瞬時指數(shù)進行累加求和；所述歷史細節(jié)指數(shù)表示一個產品集在特定時間段內任意一單位時間內的瞬時指數(shù)。

一種旅客航班需求分析系統(tǒng)，所述系統(tǒng)包括：

基礎數(shù)據(jù)處理模塊，用于進行數(shù)據(jù)預處理得到航班查詢數(shù)據(jù)；

行為模式分類模塊，用于根據(jù)所述航班查詢數(shù)據(jù)進行旅客查航班行為模式分類；

權值訓練模塊，用于對所述分類得到的旅客查詢航班行為類別進行權值訓練；

指數(shù)計算模塊，用于根據(jù)所述權值訓練的結果以及所述分類得到的旅客查詢航班行為類別，計算每個產品集在多個維度下的需求指數(shù)；

前端展示模塊，用于將所述需求指數(shù)進行前端展示。

其中，所述基礎數(shù)據(jù)處理模塊，用于：對獲取并解析后的旅客查詢航班日志數(shù)據(jù)使用Hadoop分布式數(shù)據(jù)處理平臺進行數(shù)據(jù)預處理，生成航班查詢數(shù)據(jù)并存儲到Hadoop分布式數(shù)據(jù)平臺的Hive組件中。

其中，所述行為模式分類模塊，用于：從Hadoop分布式數(shù)據(jù)處理平臺的Hive組件中讀取預處理生成的航班查詢數(shù)據(jù)，通過不同渠道各自對應的分類決策樹進行查詢航班行為分類，得到旅客查詢航班行為類別的數(shù)據(jù)。

其中，所述行為模式分類模塊，還用于：將所述旅客查詢航班行為類別的數(shù)據(jù)存儲到Hadoop分布式數(shù)據(jù)處理平臺的Hive組件中。

其中，所述權值訓練模塊，用于：使用模式搜索算法，通過迭代計算獲取每個旅客查詢航班行為類別的權重。

其中，所述權值訓練模塊，具體用于：獲取訓練樣本數(shù)據(jù)，以訓練樣本中所有產品的各查詢行為類別的加權和與相應的預訂量在給定的時間范圍內變化趨勢一致性最大化為目標，使用模式搜索算法，計算最優(yōu)的權值，最終將得到的所有查詢航班行為類別的權值系數(shù)輸出保存到IndexWeight.txt文件中。

其中，所述指數(shù)計算模塊，用于：將分類所得結果按產品集聚合，并使用權值訓練所得的權值系數(shù)，通過線性加權求和的方法計算每個產品集在多個維度下的需求指數(shù)，所述需求指數(shù)包括瞬時需求指數(shù)、和/或累計需求指數(shù)、和/或歷史需求指數(shù)、和/或未來需求指數(shù)。

其中，所述指數(shù)計算模塊，還用于：根據(jù)計算得到的瞬時需求指數(shù)結果計算所述未來需求指數(shù)、歷史需求指數(shù)、歷史細節(jié)指數(shù)；其中，所述未來需求指數(shù)表示以當前日期為界，對一個產品集的所有已計算的瞬時需求指數(shù)進行累加求和；所述歷史需求指數(shù)表示以當前日期為界，對一個產品集在特定時間段內的所有瞬時指數(shù)進行累加求和；所述歷史細節(jié)指數(shù)表示一個產品集在特定時間段內任意一單位時間內的瞬時指數(shù)。

本發(fā)明實施例基于大數(shù)據(jù)平臺，提供一種即時高效的旅客航班需求實時分析方法和系統(tǒng)，能夠敏感快速的反映未來二到四個月內旅客對于航班的需求變化趨勢?；诖髷?shù)據(jù)平臺采集各渠道全量查詢數(shù)據(jù)，數(shù)據(jù)來源范圍廣，對市場感知性強，能夠實現(xiàn)以十分鐘為單位對旅客航班查詢數(shù)據(jù)進行收集和解析，使用指數(shù)方式敏感的反映未來二到四個月旅客航班需求的變化趨勢，對航空公司收益管理數(shù)據(jù)的完善提供了支持。

附圖說明

在附圖(其不一定是按比例繪制的)中，相似的附圖標記可在不同的視圖中描述相似的部件。具有不同字母后綴的相似附圖標記可表示相似部件的不同示例。附圖以示例而非限制的方式大體示出了本文中所討論的各個實施例。

圖1為本發(fā)明實施例民航旅客航班需求分析方法的總體流程圖；

圖2為本發(fā)明實施例民航旅客航班需求分析系統(tǒng)的架構圖；

圖3為本發(fā)明實施例民航旅客航班需求分析方法的數(shù)據(jù)流圖；

圖4為本發(fā)明實施例中民航旅客航班需求權值訓練流程圖。

具體實施方式

本發(fā)明實施例提出一種分布式實時的民航旅客航班需求分析方法和系統(tǒng)，對獲取的查詢數(shù)據(jù)進行解析、預處理，然后對渠道查詢行為模式進行分類與建模，最后進行需求指數(shù)計算，并將計算得出的需求指數(shù)進行了前端展示。

如圖1所示，本發(fā)明實施例提出的民航旅客航班需求分析方法主要包括以下步驟：

(1)數(shù)據(jù)預處理：對獲取并解析后的民航旅客查詢航班日志數(shù)據(jù)使用Hadoop分布式數(shù)據(jù)處理平臺按要求進行數(shù)據(jù)預處理，生成航班查詢數(shù)據(jù)并存儲到Hadoop分布式數(shù)據(jù)平臺的Hive組件中。先獲取HDFS下經過解析后的用戶查詢日志文件數(shù)據(jù)，接著按已設計好的數(shù)據(jù)格式要求對數(shù)據(jù)進行預處理，完成對用戶查詢記錄的預處理工作后，將其結果按IBE、MCSS分別輸出路徑到表。預處理后濾去了旅客查詢日志中對查詢行為分類無用的部分，大大縮減了數(shù)據(jù)量大小，提升了后續(xù)工作處理效率。

(2)旅客查詢航班行為模式分類：從Hadoop分布式數(shù)據(jù)處理平臺的Hive組件中讀取預處理功能模塊生成的航班查詢數(shù)據(jù)，對旅客的查詢航班行為進行分類，實現(xiàn)從預處理完的Hive表中數(shù)據(jù)出發(fā)，分別獲取IBE、MCSS前10分鐘的查詢數(shù)據(jù)，然后IBE和MCSS再按照各自分類決策樹的方法對渠道進行查詢模式分類。分類決策樹算法以不同產品的不同粒度的時間范圍內的查詢次數(shù)、查詢頻率、查詢內容以及與其他產品的查詢行為異常與否為出發(fā)點，對不用維度下的若干指標進行計算和分析，形成分類決策樹算法。得到航班查詢行為分類數(shù)據(jù)并存儲到Hadoop分布式數(shù)據(jù)處理平臺的Hive組件中。

(3)旅客查詢航班行為類別權值訓練：使用模式搜索算法，通過迭代計算獲取每個查詢行為類別的權重。首先獲取訓練樣本數(shù)據(jù)，以訓練樣本中所有產品集(O&D&FD，O&D&flightDate)(指查詢航線在某個起飛日期、從某個出發(fā)地到某個到達地的產品集合)的各查詢行為類別的加權和與相應的預訂(booking)量在給定的時間范圍內變化趨勢一致性最大化為目標，使用模式搜索算法，計算最優(yōu)的權值。最終將得到的所有類別的權值系數(shù)輸出保存到IndexWeight.txt文件中。

(4)需求指數(shù)計算：將分類所得結果按O&D&FD聚合，并使用權值訓練模塊所得的權值系數(shù)，通過線性加權求和的方法計算每個O&D&FD在多個維度下的需求指數(shù)，包括瞬時需求指數(shù)、累計需求指數(shù)、歷史需求指數(shù)以及未來需求指數(shù)。

(5)結果展示：將由需求指數(shù)計算模塊計算得到的瞬時需求指數(shù)結果計算出未來需求指數(shù)、歷史需求指數(shù)、歷史細節(jié)指數(shù)，最后將未來需求指數(shù)、歷史需求指數(shù)、歷史細節(jié)指數(shù)等結果通過網頁或類似的形式進行前端展示。

其中，上述各需求指數(shù)說明如下：

1.未來需求指數(shù)：以當前日期為界，對某個產品集(O&D&FD)的所有已計算的瞬時需求指數(shù)進行累加求和。

2.歷史需求指數(shù)：以當前日期為界，對某個產品集(O&D&FD)在過去某一天的所有瞬時指數(shù)進行累加求和。

3.歷史細節(jié)指數(shù)：某個產品集(O&D&FD)在過去某一天的任意10分鐘的瞬時指數(shù)。

本發(fā)明實施例提出的客航班需求分析系統(tǒng)主要包括：基礎數(shù)據(jù)處理模塊、行為分類模塊、權值訓練模塊、指數(shù)計算模塊和前端展示模塊。其中，基礎數(shù)據(jù)處理模塊對應于本發(fā)明實施例所述方法中的數(shù)據(jù)預處理，完成旅客查詢航班日志數(shù)據(jù)的解析和預處理，以便于后續(xù)計算；行為分類模塊，對應于本發(fā)明實施例所述方法的旅客查詢航班行為模式分類，完成民航旅客查詢航班行為的分類；權值訓練模塊對應于本發(fā)明實施例所述方法中的旅客查詢航班行為類別權值訓練，完成民航旅客查詢航班行為各類別的權值計算；指數(shù)計算模塊，對應于本發(fā)明實施例所述方法中的需求指數(shù)計算，完成指數(shù)計算；前端展示模塊，對應于本發(fā)明實施例所述方法的結果展示，完成指數(shù)計算模塊計算得到的指數(shù)的前端展示。如上述步驟描述，本發(fā)明實施例的系統(tǒng)在基于Hadoop大數(shù)據(jù)處理平臺的技術上，對一個月的民航旅客查詢行為日志數(shù)據(jù)進行處理并計算了民航旅客航班的需求指數(shù)，實際應用中，本發(fā)明實施例旅客航班需求分析系統(tǒng)可以采用如圖2所示的整體架構。

實際應用中，本發(fā)明實施例民航旅客航班需求分析方法的整體數(shù)據(jù)流可以是如圖3所示的過程，包括：獲取當前單位時間查詢數(shù)據(jù)流；通過Hadoop平臺對查詢數(shù)據(jù)流進行基礎數(shù)據(jù)處理并進行基礎數(shù)據(jù)存儲；讀取Hadoop平臺存儲的數(shù)據(jù)并進行需求指數(shù)模型訓練和計算，并將計算結果存儲到關系型數(shù)據(jù)庫；將關系型數(shù)據(jù)庫存儲的需求指數(shù)進行輸出，即進行前端顯示。

具體地執(zhí)行過程如下：

基礎數(shù)據(jù)處理：利用Hadoop大數(shù)據(jù)平臺的Spark組件，并行分布式的對旅客查詢航班日志數(shù)據(jù)進行預處理，即進行格式化解析以及基礎的數(shù)據(jù)轉換，并將解析后的數(shù)據(jù)存入了Hive組件中。

其中，預處理具體算法過程如下：

(1)以行為單位讀取解析后的日志文件；

(2)對每行記錄按逗號分割，并按照規(guī)定格式獲取各個字段，對關鍵字段進行有效性判斷并對不同格式關鍵字段進行轉換。得到key為：IBE，MCSS，SHOP，ERROR；VALUE為：處理后的每行記錄。

(3)過濾得到key為IBE和MCSS的數(shù)據(jù)

(4)將結果注冊成臨時表存入Hive中。

預處理后單條記錄數(shù)據(jù)順序及解釋如下表1所示：

表1

基礎數(shù)據(jù)存儲時還需要進行行為分類獲?。簭腍adoop大數(shù)據(jù)平臺的Hive組件中讀取處理后的數(shù)據(jù)，在Spark組件中對民航旅客查詢航班行為進行了分類，將分類后的結果存儲到了Hive組件中，并且在內存中使用了臨時表，以便后續(xù)能夠快速調用數(shù)據(jù)；

查詢行為分類類別的描述如表2所示：

表2

需求指數(shù)模型的權值訓練：在上一步行為分類之后，抽取部分數(shù)據(jù)成為樣本，結合歷史數(shù)據(jù)，訓練了各類旅客查詢航班行為的權值。具體訓練過程如圖4所示。

需求指數(shù)模型的指數(shù)計算：從Hadoop大數(shù)據(jù)平臺的Hive組件中讀取分類后的數(shù)據(jù)，并且結合權值訓練得到的權值，計算出民航旅客航班需求指數(shù)，并存儲到關系型數(shù)據(jù)庫中。

需求指數(shù)的輸出即前端展示：從關系型數(shù)據(jù)庫中讀取民航旅客航班需求指數(shù)數(shù)據(jù)，計算出未來需求指數(shù)、歷史需求指數(shù)、歷史細節(jié)指數(shù)并進行網頁展示，所展示的內容如表3所示。

表3

本領域內的技術人員應明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產品。因此，本發(fā)明可采用硬件實施例、軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器和光學存儲器等)上實施的計算機程序產品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。