本發(fā)明涉及信息處理技術(shù)，尤其涉及一種日志數(shù)據(jù)處理方法和裝置。

背景技術(shù)：

在信息技術(shù)領(lǐng)域，利用日志來監(jiān)視信息設(shè)備運(yùn)行狀況，是目前比較普遍的手段。

現(xiàn)有的日志數(shù)據(jù)處理流程一般是，收集信息設(shè)備運(yùn)行時(shí)產(chǎn)生的日志，轉(zhuǎn)換成預(yù)定的格式存儲在數(shù)據(jù)庫中。每隔一段時(shí)間，由裝載有處理算法的報(bào)告引擎讀取數(shù)據(jù)庫中預(yù)定的格式的日志，得到日志數(shù)據(jù)處理結(jié)果。這種日志數(shù)據(jù)處理包括日志數(shù)據(jù)診斷、日志數(shù)據(jù)預(yù)測等。由于日志數(shù)據(jù)處理需要每隔一段時(shí)間進(jìn)行，保證不了日志數(shù)據(jù)處理的實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的一個(gè)實(shí)施例解決的問題之一是提高日志數(shù)據(jù)處理的實(shí)時(shí)性。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種日志數(shù)據(jù)處理方法，包括：實(shí)時(shí)收集來自多個(gè)源的日志數(shù)據(jù)；按照實(shí)時(shí)收集的日志數(shù)據(jù)所屬的源，將收集的日志數(shù)據(jù)分至與源對應(yīng)的內(nèi)存隊(duì)列中；通過實(shí)時(shí)將與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)切成日志數(shù)據(jù)切片，對切成的日志數(shù)據(jù)切片采用批處理，對批處理的結(jié)果進(jìn)行匯總來獲得日志數(shù)據(jù)處理結(jié)果。

可選地，該日志數(shù)據(jù)處理方法包括：通知所述日志數(shù)據(jù)處理結(jié)果。

可選地，通知所述日志數(shù)據(jù)處理結(jié)果的步驟包括：將所述日志數(shù)據(jù)處理結(jié)果存儲在云存儲器上供用戶訪問。

可選地，通知所述日志數(shù)據(jù)處理結(jié)果的步驟包括：將所述日志數(shù)據(jù)處理結(jié)果發(fā)送到iOS操作系統(tǒng)的用戶的通知中心，由該通知中心通知到iOS操作系統(tǒng)的用戶。

可選地，該日志數(shù)據(jù)處理方法還包括：判斷與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是需要實(shí)時(shí)處理還是不需要實(shí)時(shí)處理的。所述通過實(shí)時(shí)將與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)切成日志數(shù)據(jù)切片，對切成的日志數(shù)據(jù)切片采用批處理，對批處理的結(jié)果進(jìn)行匯總來獲得日志數(shù)據(jù)處理結(jié)果的步驟是響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是需要實(shí)時(shí)處理的日志數(shù)據(jù)才執(zhí)行的。

可選地，該日志數(shù)據(jù)處理方法還包括：響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是不需要實(shí)時(shí)處理的日志數(shù)據(jù)，在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

可選地，該日志數(shù)據(jù)處理方法還包括：在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

可選地，對切成的日志數(shù)據(jù)切片采用批處理、以及對批處理的結(jié)果進(jìn)行匯總采用機(jī)器學(xué)習(xí)方法。

可選地，機(jī)器學(xué)習(xí)方法包括：將切成的日志數(shù)據(jù)切片作為待處理的日志數(shù)據(jù)，分別發(fā)送到機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)，其中機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)接收待處理的日志數(shù)據(jù)，機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的頂層節(jié)點(diǎn)輸出日志數(shù)據(jù)處理結(jié)果。

可選地，所述日志數(shù)據(jù)處理方法是日志數(shù)據(jù)診斷方法或日志數(shù)據(jù)預(yù)測方法。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種日志數(shù)據(jù)處理裝置，包括：收集單元，被配置為實(shí)時(shí)收集來自多個(gè)源的日志數(shù)據(jù)；隊(duì)列形成單元，被配置為按照實(shí)時(shí)收集的日志數(shù)據(jù)所屬的源，將收集的日志數(shù)據(jù)分至與源對應(yīng)的內(nèi)存隊(duì)列中；日志數(shù)據(jù)處理結(jié)果獲得單元，被配置為通過實(shí)時(shí)將與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)切成日志數(shù)據(jù)切片，對切成的日志數(shù)據(jù)切片采用批處理，對批處理的結(jié)果進(jìn)行匯總來獲得日志數(shù)據(jù)處理結(jié)果。

可選地，該日志數(shù)據(jù)處理裝置包括：通知單元，被配置為通知所述日志數(shù)據(jù)處理結(jié)果。

可選地，通知單元被配置為：將所述日志數(shù)據(jù)處理結(jié)果存儲在云存儲器上供用戶訪問。

可選地，通知單元被配置為：將所述日志數(shù)據(jù)處理結(jié)果發(fā)送到iOS操作系統(tǒng)的用戶的通知中心，由該通知中心通知到iOS操作系統(tǒng)的用戶。

可選地，該日志數(shù)據(jù)處理裝置還包括：判斷單元，被配置為判斷與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是需要實(shí)時(shí)處理還是不需要實(shí)時(shí)處理的；且所述日志數(shù)據(jù)處理結(jié)果獲得單元被配置為響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是需要實(shí)時(shí)處理的日志數(shù)據(jù)，通過實(shí)時(shí)將與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)切成日志數(shù)據(jù)切片，對切成的日志數(shù)據(jù)切片采用批處理，對批處理的結(jié)果進(jìn)行匯總來獲得日志數(shù)據(jù)處理結(jié)果。

可選地，該日志數(shù)據(jù)處理裝置還包括：第一批量處理單元，被配置為響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是不需要實(shí)時(shí)處理的日志數(shù)據(jù)，在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

可選地，該日志數(shù)據(jù)處理裝置還包括：第二批量處理單元，被配置為在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

可選地，對切成的日志數(shù)據(jù)切片采用批處理、以及對批處理的結(jié)果進(jìn)行匯總采用機(jī)器學(xué)習(xí)方法。

可選地，機(jī)器學(xué)習(xí)方法包括：將切成的日志數(shù)據(jù)切片作為待處理的日志數(shù)據(jù)，分別發(fā)送到機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)，其中機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)接收待處理的日志數(shù)據(jù)，機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的頂層節(jié)點(diǎn)輸出日志數(shù)據(jù)處理結(jié)果。

可選地，所述日志數(shù)據(jù)處理方法是日志數(shù)據(jù)診斷裝置或日志數(shù)據(jù)預(yù)測裝置。

由于本發(fā)明實(shí)施例不是將實(shí)時(shí)收集的日志數(shù)據(jù)放到數(shù)據(jù)庫中以后處理，而且直接在內(nèi)存中為每個(gè)日志數(shù)據(jù)源維護(hù)一個(gè)內(nèi)存隊(duì)列，實(shí)時(shí)地從內(nèi)存隊(duì)列中取日志數(shù)據(jù)，切片，對每個(gè)日志數(shù)據(jù)切片采用批處理，并對批處理結(jié)果匯總，這樣，就實(shí)現(xiàn)了一邊實(shí)時(shí)收集日志數(shù)據(jù)，另一邊就實(shí)時(shí)得到了日志數(shù)據(jù)處理結(jié)果，提高了日志數(shù)據(jù)處理的實(shí)時(shí)性，同時(shí)也避免了在數(shù)據(jù)量非常大的情況下采用數(shù)據(jù)庫存儲、事后處理的方式占用大量存儲、計(jì)算空間的硬件瓶頸問題。

附圖說明

本發(fā)明的其它特點(diǎn)、特征、優(yōu)點(diǎn)和益處通過以下結(jié)合附圖的詳細(xì)描述將變得更加顯而易見。

圖1表示根據(jù)本發(fā)明一個(gè)實(shí)施例的云計(jì)算環(huán)境。

圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法的流程圖。

圖3是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法的流程圖。

圖4是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法的流程圖。

圖5是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法的流程圖。

圖6是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法的具體實(shí)施的一個(gè)例子的示意圖。

圖7是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法的具體實(shí)施的另一個(gè)例子的示意圖。

圖8是根據(jù)本發(fā)明的一個(gè)實(shí)施例的日志數(shù)據(jù)處理裝置的框圖。

圖9是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理裝置的框圖。

圖10是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理裝置的框圖。

圖11是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的日志數(shù)據(jù)處理裝置的框圖。

圖12是根據(jù)本發(fā)明的一個(gè)實(shí)施例的日志數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的優(yōu)選實(shí)施方式。雖然附圖中顯示了本公開的優(yōu)選實(shí)施方式，然而應(yīng)該理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了使本公開更加透徹和完整，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

首先應(yīng)當(dāng)理解，盡管本公開包括關(guān)于云計(jì)算的詳細(xì)描述，但其中記載的技術(shù)方案的實(shí)現(xiàn)卻不限于云計(jì)算環(huán)境，而是能夠結(jié)合現(xiàn)在已知或以后開發(fā)的任何其它類型的計(jì)算環(huán)境而實(shí)現(xiàn)。

云計(jì)算是一種服務(wù)交付模式，用于對共享的可配置計(jì)算資源池進(jìn)行方便、按需的網(wǎng)絡(luò)訪問。可配置計(jì)算資源是能夠以最小的管理成本或與服務(wù)提供者進(jìn)行最少的交互就能快速部署和釋放的資源，例如可以是網(wǎng)絡(luò)、網(wǎng)絡(luò)帶寬、服務(wù)器、處理、內(nèi)存、存儲、應(yīng)用、虛擬機(jī)和服務(wù)。

現(xiàn)在參考圖1，其中顯示了示例性的云計(jì)算環(huán)境50。如圖所示，云計(jì)算環(huán)境50包括云計(jì)算消費(fèi)者使用的本地計(jì)算設(shè)備可以與其相通信的一個(gè)或者多個(gè)云節(jié)點(diǎn)10，本地計(jì)算設(shè)備例如可以是個(gè)人數(shù)字助理(PDA)或移動電話54A，臺式電腦54B、筆記本電腦54C和/或汽車計(jì)算機(jī)系統(tǒng)54N。云節(jié)點(diǎn) 10之間可以相互通信?？梢栽诎ǖ幌抻谌缟纤龅乃接性?、共同體云、公共云或混合云或者它們的組合的一個(gè)或者多個(gè)網(wǎng)絡(luò)中將云節(jié)點(diǎn)10進(jìn)行物理或虛擬分組(圖中未顯示)。這樣，云的消費(fèi)者無需在本地計(jì)算設(shè)備上維護(hù)資源就能請求云計(jì)算環(huán)境50提供的基礎(chǔ)架構(gòu)即服務(wù)(IaaS)、平臺即服務(wù)(PaaS)和/或軟件即服務(wù)(SaaS)。應(yīng)當(dāng)理解，圖1顯示的各類計(jì)算設(shè)備54A-N僅僅是示意性的，云節(jié)點(diǎn)10以及云計(jì)算環(huán)境50可以與任意類型網(wǎng)絡(luò)上和/或網(wǎng)絡(luò)可尋址連接的任意類型的計(jì)算設(shè)備(例如使用網(wǎng)絡(luò)瀏覽器)通信。

圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法1的流程圖。

日志是信息設(shè)備或工業(yè)設(shè)備在運(yùn)行時(shí)自動記錄的表示運(yùn)行狀態(tài)的信息或運(yùn)行時(shí)產(chǎn)生的數(shù)據(jù)，它包括出錯(cuò)消息、運(yùn)行數(shù)據(jù)、使用數(shù)據(jù)等。信息設(shè)備是信息網(wǎng)絡(luò)中用于交換、處理信息的設(shè)備，如通信網(wǎng)絡(luò)中的計(jì)算機(jī)節(jié)點(diǎn)。工業(yè)設(shè)備是工業(yè)中使用的設(shè)備，如機(jī)床、馬達(dá)等。出錯(cuò)消息是信息設(shè)備或工業(yè)設(shè)備出錯(cuò)時(shí)自動進(jìn)行的錯(cuò)誤類型、錯(cuò)誤原因、錯(cuò)誤時(shí)間等。例如用戶用計(jì)算機(jī)上網(wǎng)時(shí)突然無法訪問網(wǎng)頁，其錯(cuò)誤類型是無法訪問網(wǎng)頁，錯(cuò)誤原因是目前Wifi信號較弱、錯(cuò)誤時(shí)間是無法訪問網(wǎng)頁的開始時(shí)間。運(yùn)行數(shù)據(jù)是信息設(shè)備或工業(yè)設(shè)備運(yùn)行時(shí)自動記錄的與運(yùn)行有關(guān)的數(shù)據(jù)，例如數(shù)控機(jī)床在運(yùn)行時(shí)要測量機(jī)床上的待加工零件的一些參數(shù)從而決定機(jī)床運(yùn)行時(shí)的一些運(yùn)行參數(shù)，此時(shí)測量的待加工零件的參數(shù)和根據(jù)待加工零件的參數(shù)決定的運(yùn)行參數(shù)，都是運(yùn)行時(shí)產(chǎn)生的運(yùn)行數(shù)據(jù)。使用數(shù)據(jù)是指示信息設(shè)備或工業(yè)設(shè)備使用狀況的數(shù)據(jù)，例如監(jiān)視到的使用人、使用時(shí)間、地點(diǎn)等。日志是以條為單位產(chǎn)生的，例如機(jī)床出錯(cuò)，就新產(chǎn)生一條包括錯(cuò)誤類型、錯(cuò)誤原因等的日志。

日志數(shù)據(jù)是對產(chǎn)生的日志的總稱，它不是以條為單位的。

日志數(shù)據(jù)處理包括日志數(shù)據(jù)診斷或日志數(shù)據(jù)預(yù)測等。日志數(shù)據(jù)診斷是指根據(jù)日志數(shù)據(jù)分析產(chǎn)生日志的信息設(shè)備或工業(yè)設(shè)備是否發(fā)生了故障。日志數(shù)據(jù)預(yù)測是指根據(jù)以前和當(dāng)前的日志數(shù)據(jù)預(yù)測產(chǎn)生日志的信息設(shè)備或工業(yè)設(shè)備以后會產(chǎn)生的日志，從而預(yù)測產(chǎn)生日志的信息設(shè)備或工業(yè)設(shè)備以后的運(yùn)行狀況，以便為其合理安排資源等。

在步驟410中，實(shí)時(shí)收集來自多個(gè)源的日志數(shù)據(jù)。

源是指日志數(shù)據(jù)的來源。它可以是一個(gè)信息設(shè)備或一個(gè)工業(yè)設(shè)備，也可以是多個(gè)信息設(shè)備或工業(yè)設(shè)備的集合，例如將機(jī)床和為機(jī)床供電的馬達(dá)合起來作為一個(gè)源。將一個(gè)信息設(shè)備或一個(gè)工業(yè)設(shè)備作為一個(gè)源，收集產(chǎn)生的開 銷就會比較大。因此，可以將多個(gè)信息設(shè)備或工業(yè)設(shè)備的集合作為一個(gè)源，在這個(gè)源中的多個(gè)信息設(shè)備或工業(yè)設(shè)備產(chǎn)生的日志發(fā)送到一個(gè)統(tǒng)一的收集入口，就可以從該收集入口實(shí)時(shí)收集來自多個(gè)源的日志數(shù)據(jù)。在這種情況下，在日志數(shù)據(jù)中有產(chǎn)生其的信息設(shè)備或工業(yè)設(shè)備的標(biāo)識。

例如，圖6示出了四個(gè)源801-804，例如每個(gè)源分別是一個(gè)機(jī)床及為其供電的馬達(dá)。

在一個(gè)實(shí)施例中，可以使用例如apache公司的flume和sqoop兩個(gè)開發(fā)源代碼應(yīng)用來實(shí)時(shí)收集來自多個(gè)源的日志數(shù)據(jù)。

在步驟420中，按照實(shí)時(shí)收集的日志數(shù)據(jù)所屬的源，將收集的日志數(shù)據(jù)分至與源對應(yīng)的內(nèi)存隊(duì)列中。

例如，在圖6中，由于有四個(gè)源801-804，為四個(gè)源801-804分別維護(hù)與其對應(yīng)的內(nèi)存隊(duì)列811-814。當(dāng)實(shí)時(shí)收集到來自源801的一條日志后，將該條日志分至與源801對應(yīng)的內(nèi)存隊(duì)列811中。當(dāng)實(shí)時(shí)收集到來自源802的一條日志后，將該條日志分至與源802對應(yīng)的內(nèi)存隊(duì)列812中。以此類推。

按照實(shí)時(shí)收集的日志數(shù)據(jù)所屬的源將收集的日志數(shù)據(jù)分至與源對應(yīng)的內(nèi)存隊(duì)列中例如可以通過一種叫作kafka的中間件產(chǎn)品實(shí)現(xiàn)。

該內(nèi)部隊(duì)列實(shí)際上是為每個(gè)源分別維護(hù)的緩存。它例如遵循先進(jìn)先出法。在從內(nèi)部隊(duì)列中取日志進(jìn)行后續(xù)處理時(shí)，先從最先進(jìn)入內(nèi)部隊(duì)列的日志開始取，從內(nèi)部隊(duì)列中取走的日志在內(nèi)存中就不存在了。因此，本發(fā)明實(shí)施例不用存儲器或數(shù)據(jù)庫存儲日志而只使用內(nèi)存的方式，大大降低了日志數(shù)據(jù)的存儲和處理開銷。

在步驟430中，通過實(shí)時(shí)將與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)切成日志數(shù)據(jù)切片，對切成的日志數(shù)據(jù)切片采用批處理，對批處理的結(jié)果進(jìn)行匯總來獲得日志數(shù)據(jù)處理結(jié)果。

日志數(shù)據(jù)切片是若干條日志組成的集合。

可以按照進(jìn)入內(nèi)存隊(duì)列的先后順序?qū)?nèi)存隊(duì)列中的日志數(shù)據(jù)切片。例如，在與源1對應(yīng)的內(nèi)存隊(duì)列中目前有10條日志，按進(jìn)入內(nèi)存隊(duì)列的先后順序分別為日志1、日志2……日志10。對日志數(shù)據(jù)切片的處理是進(jìn)行圖1中云計(jì)算環(huán)境50中的云節(jié)點(diǎn)10進(jìn)行的。假設(shè)云計(jì)算環(huán)境50中目前可以用于對日志數(shù)據(jù)切片進(jìn)行底層處理的云節(jié)點(diǎn)10有5個(gè)，即第一至第五云節(jié)點(diǎn)?？梢詫⑷罩?、2作為一個(gè)日志數(shù)據(jù)切片發(fā)送給第一云節(jié)點(diǎn)，將日志3、4作 為一個(gè)日志數(shù)據(jù)切片發(fā)送給第二云節(jié)點(diǎn)，將日志5、6作為一個(gè)日志數(shù)據(jù)切片發(fā)送給第三云節(jié)點(diǎn)，將日志7、8作為一個(gè)日志數(shù)據(jù)切片發(fā)送給第四云節(jié)點(diǎn)，將日志9、10作為一個(gè)日志數(shù)據(jù)切片發(fā)送給第五云節(jié)點(diǎn)。

可以按照日志的類型對內(nèi)存隊(duì)列中的日志數(shù)據(jù)切片。例如，在與源1對應(yīng)的內(nèi)存隊(duì)列中目前有10條日志，有2條出錯(cuò)消息日志、5條運(yùn)行數(shù)據(jù)日志、3條使用數(shù)據(jù)日志。假設(shè)云計(jì)算環(huán)境50中目前可以用于對日志數(shù)據(jù)切片進(jìn)行底層處理的云節(jié)點(diǎn)10有4個(gè)，即第一至第四云節(jié)點(diǎn)。可以將2條出錯(cuò)消息日志作為一個(gè)日志數(shù)據(jù)切片發(fā)送給第一云節(jié)點(diǎn)，將5條運(yùn)行數(shù)據(jù)日志分成兩個(gè)日志數(shù)據(jù)切片分別發(fā)送給第二、第三云節(jié)點(diǎn)，將3條使用數(shù)據(jù)日志發(fā)送給第四云節(jié)點(diǎn)。

批處理即成批的處理，它是將不同的日志數(shù)據(jù)切片發(fā)送給不同的處理節(jié)點(diǎn)，各不同的處理節(jié)點(diǎn)就可以并行處理這些不同的日志數(shù)據(jù)切片，在處理完后將各不同的處理節(jié)點(diǎn)的處理結(jié)果匯總。由于它不用等到前一個(gè)日志數(shù)據(jù)切片處理完才開始處理下一個(gè)日志數(shù)據(jù)切片，它提高了日志數(shù)據(jù)處理的效率。前述將內(nèi)存隊(duì)列中的10條日志分別分成5或4個(gè)日志數(shù)據(jù)切片發(fā)送給5或4個(gè)用于底層處理的云節(jié)點(diǎn)并行處理，實(shí)際上就是一種批處理。

匯總是指用于底層處理的云節(jié)點(diǎn)處理日志數(shù)據(jù)切片后，將處理結(jié)果上報(bào)到用于上一層處理的云節(jié)點(diǎn)，用于上一層處理的云節(jié)點(diǎn)處理后再將其處理結(jié)果上報(bào)到用于更上一層處理的云節(jié)點(diǎn)，直到上報(bào)到用于最頂層處理的云節(jié)點(diǎn)，由用于最頂層處理的云節(jié)點(diǎn)給出處理結(jié)果。

圖6和9分別輸出了步驟430具體執(zhí)行的兩個(gè)例子。

在圖6中，源801是機(jī)床1及為其供電的馬達(dá)1，源802是機(jī)床2及為其供電的馬達(dá)2，源803是機(jī)床3及為其供電的馬達(dá)3，源804是機(jī)床4及為其供電的馬達(dá)4。內(nèi)存隊(duì)列811-814是分別與源801-804對應(yīng)的內(nèi)存隊(duì)列。云節(jié)點(diǎn)821-835各自相當(dāng)于圖1云計(jì)算環(huán)境50中的云節(jié)點(diǎn)10。按照日志的類型對內(nèi)存隊(duì)列中的日志數(shù)據(jù)切片。例如，在內(nèi)存隊(duì)列811中，將機(jī)床1及為其供電的馬達(dá)1產(chǎn)生的出錯(cuò)消息日志分到一個(gè)日志數(shù)據(jù)切片中發(fā)送到云節(jié)點(diǎn)821，將機(jī)床1及為其供電的馬達(dá)1產(chǎn)生的運(yùn)行數(shù)據(jù)日志分到一個(gè)日志數(shù)據(jù)切片中發(fā)送到云節(jié)點(diǎn)822，將機(jī)床1及為其供電的馬達(dá)1產(chǎn)生的使用數(shù)據(jù)日志分到一個(gè)日志數(shù)據(jù)切片中發(fā)送到云節(jié)點(diǎn)823。云節(jié)點(diǎn)821-823按照預(yù)置的算法分別對出錯(cuò)消息、運(yùn)行數(shù)據(jù)、使用數(shù)據(jù)進(jìn)行初步分析，將各自的初步 分析結(jié)果都發(fā)送給云節(jié)點(diǎn)826-827。云節(jié)點(diǎn)826按照閾值的算法負(fù)責(zé)對機(jī)床1有關(guān)的出錯(cuò)消息、運(yùn)行數(shù)據(jù)、使用數(shù)據(jù)進(jìn)行綜合分析。云節(jié)點(diǎn)827按照閾值的算法負(fù)責(zé)對馬達(dá)1有關(guān)的出錯(cuò)消息、運(yùn)行數(shù)據(jù)、使用數(shù)據(jù)進(jìn)行綜合分析。云節(jié)點(diǎn)826-827分別將對機(jī)床1和馬達(dá)1的出錯(cuò)消息、運(yùn)行數(shù)據(jù)、使用數(shù)據(jù)的綜合分析結(jié)果發(fā)送到云節(jié)點(diǎn)831。云節(jié)點(diǎn)831按照閾值的算法對云節(jié)點(diǎn)826-827的對機(jī)床1和馬達(dá)1的出錯(cuò)消息、運(yùn)行數(shù)據(jù)、使用數(shù)據(jù)的綜合分析結(jié)果進(jìn)行綜合分析，得到對機(jī)床1和馬達(dá)1的整體是否出現(xiàn)故障的診斷結(jié)果。對于內(nèi)存隊(duì)列812-814，可以采取類似的處理。

在圖7中，對切成的日志數(shù)據(jù)切片采用批處理、以及對批處理的結(jié)果進(jìn)行匯總采用機(jī)器學(xué)習(xí)方法。機(jī)器學(xué)習(xí)方法目前已有成熟技術(shù)。

將切成的日志數(shù)據(jù)切片作為待處理的日志數(shù)據(jù)，分別發(fā)送到機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)836-840，其中機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)836-840接收待處理的日志數(shù)據(jù)，機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的頂層節(jié)點(diǎn)847輸出日志數(shù)據(jù)處理結(jié)果。云節(jié)點(diǎn)836-847構(gòu)成一個(gè)機(jī)器學(xué)習(xí)網(wǎng)絡(luò)。云節(jié)點(diǎn)836-847各自相當(dāng)于圖1云計(jì)算環(huán)境50中的云節(jié)點(diǎn)10。在圖7中，云節(jié)點(diǎn)836-840構(gòu)成機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的第一層L1，它們從各自的輸入數(shù)據(jù)中提取出各自一方面的特征(該特征可能是抽象的，不具有現(xiàn)實(shí)意義)作為輸出結(jié)果，向機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的第二層L2的所有云節(jié)點(diǎn)841-844都發(fā)送。云節(jié)點(diǎn)841-844的每一個(gè)接收到來自第一層的所有云節(jié)點(diǎn)836-840的輸出結(jié)果后，對來自第一層的所有云節(jié)點(diǎn)836-840的輸出結(jié)果再綜合提取某一方面的特征(該特征可能是抽象的，不具有現(xiàn)實(shí)意義)作為輸出結(jié)果，向機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的第三層L3的所有云節(jié)點(diǎn)845-846都發(fā)送。以此類推，直到機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的第四層L4的云節(jié)點(diǎn)847輸出其綜合提取的特征，作為最終的日志數(shù)據(jù)處理結(jié)果。該機(jī)器學(xué)習(xí)網(wǎng)絡(luò)是事先用大量日志數(shù)據(jù)切片的樣本訓(xùn)練成的，使得在輸入任何日志數(shù)據(jù)切片后，能夠自適應(yīng)地產(chǎn)生對于其的日志數(shù)據(jù)處理結(jié)果，如日志數(shù)據(jù)診斷結(jié)果或日志數(shù)據(jù)預(yù)測結(jié)果。在圖7中，源801是機(jī)床1及為其供電的馬達(dá)1，源802是機(jī)床2及為其供電的馬達(dá)2，源803是機(jī)床3及為其供電的馬達(dá)3，源804是機(jī)床4及為其供電的馬達(dá)4。內(nèi)存隊(duì)列811-814是分別與源801-804對應(yīng)的內(nèi)存隊(duì)列。目前內(nèi)存隊(duì)列811中例如有10條日志，即日志1-10。按照進(jìn)入內(nèi)存隊(duì)列的先后順序?qū)?nèi)存隊(duì)列中的日志數(shù)據(jù)切片。例如，將日志1、2作為一個(gè)日志數(shù)據(jù)切片發(fā)送給云節(jié)點(diǎn)836，將日志3、4作為一個(gè)日志數(shù)據(jù)切片發(fā)送給 云節(jié)點(diǎn)837，將日志5、6作為一個(gè)日志數(shù)據(jù)切片發(fā)送給云節(jié)點(diǎn)838，將日志7、8作為一個(gè)日志數(shù)據(jù)切片發(fā)送給云節(jié)點(diǎn)839，將日志9、10作為一個(gè)日志數(shù)據(jù)切片發(fā)送給云節(jié)點(diǎn)840。在每個(gè)日志數(shù)據(jù)切片中，可能有出錯(cuò)消息日志，也可能有運(yùn)行數(shù)據(jù)日志，也可能有使用數(shù)據(jù)日志。云節(jié)點(diǎn)836-847構(gòu)成的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)對這些日志數(shù)據(jù)切片進(jìn)行處理，得到最終的日志數(shù)據(jù)處理結(jié)果，例如對機(jī)床1和馬達(dá)1的整體是否出現(xiàn)故障的診斷結(jié)果。對于內(nèi)存隊(duì)列812-814，可以采取類似的處理。

圖3示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法4的流程圖。與圖2相比，圖3還包括步驟440，即通知所述日志數(shù)據(jù)處理結(jié)果。

通知所述日志數(shù)據(jù)處理結(jié)果可以采用直接向需要該日志數(shù)據(jù)處理結(jié)果的用戶發(fā)郵件、短信、或直接顯示在該用戶的專用設(shè)備上的方式。需要該日志數(shù)據(jù)處理結(jié)果的用戶例如是，在上述源是機(jī)床及為其供電的馬達(dá)的情況下，機(jī)床和馬達(dá)的維護(hù)人員。

通知所述日志數(shù)據(jù)處理結(jié)果的一種優(yōu)選的方式是，將所述日志數(shù)據(jù)處理結(jié)果存儲在云存儲器880上供用戶訪問。這樣做的好處是，使眾多用戶能夠共享該日志數(shù)據(jù)處理結(jié)果，提高該日志數(shù)據(jù)處理結(jié)果利用的廣泛性。例如，在上述源是機(jī)床及為其供電的馬達(dá)的情況下，可能不僅是該機(jī)床和馬達(dá)的維護(hù)人員需要該日志數(shù)據(jù)處理結(jié)果，可能該機(jī)床和馬達(dá)所在單位的所有管理層、以及可能會使用該機(jī)床和馬達(dá)的所有工人，都需要該日志數(shù)據(jù)處理結(jié)果。如果逐一去通知，通知效率非常低。存儲在云存儲器880上的方式，提高了通知效率。

通知所述日志數(shù)據(jù)處理結(jié)果的另一種優(yōu)選的方式是，將所述日志數(shù)據(jù)處理結(jié)果發(fā)送到iOS操作系統(tǒng)的用戶的通知中心881，由該通知中心通知到iOS操作系統(tǒng)的用戶890。目前，使用iOS操作系統(tǒng)的終端越來越多。通知中心是iOS5中引入的用于應(yīng)用的通知的中心集合設(shè)備。它不用在各用戶的終端上安裝任何應(yīng)用。只要將消息通知到iOS操作系統(tǒng)的用戶的通知中心，通知中心就會自動將該消息通知到iOS操作系統(tǒng)的各用戶。利用iOS操作系統(tǒng)的用戶的通知中心的這一特點(diǎn)，可以提高本發(fā)明日志數(shù)據(jù)處理結(jié)果被利用的廣泛性。

圖4示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的日志數(shù)據(jù)處理方法4的流程圖。與圖2相比，圖4增加了步驟425，即判斷與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù) 據(jù)的類型是需要實(shí)時(shí)處理的日志數(shù)據(jù)還是不需要實(shí)時(shí)處理的日志數(shù)據(jù)。如前所述，日志包括出錯(cuò)消息日志、運(yùn)行數(shù)據(jù)日志、使用數(shù)據(jù)日志。無論是出錯(cuò)消息日志、運(yùn)行數(shù)據(jù)日志，還是使用數(shù)據(jù)日志都各自有一部分需要實(shí)時(shí)處理，即必須當(dāng)時(shí)給予關(guān)注，另一部分不需要實(shí)時(shí)處理，即事后處理仍然來得及。哪些日志數(shù)據(jù)需要實(shí)時(shí)處理，哪些日志數(shù)據(jù)不需要實(shí)時(shí)處理，是事先由用戶規(guī)定并以程序的形式固化的。

步驟430是響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是需要實(shí)時(shí)處理的日志數(shù)據(jù)才執(zhí)行的。

圖4還增加了步驟431，即響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是不需要實(shí)時(shí)處理的日志數(shù)據(jù)，在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

集中式日志數(shù)據(jù)處理即現(xiàn)有技術(shù)中，每隔一段時(shí)間，由裝載有處理算法的報(bào)告引擎讀取貯存器中存儲的日志數(shù)據(jù)，得到日志數(shù)據(jù)處理結(jié)果的方式。由于日志數(shù)據(jù)處理需要每隔一段時(shí)間進(jìn)行，保證不了日志數(shù)據(jù)處理的實(shí)時(shí)性。但由于本實(shí)施例將日志數(shù)據(jù)分成了需要實(shí)時(shí)處理的日志數(shù)據(jù)和不需要實(shí)時(shí)處理的日志數(shù)據(jù)，只有對于不需要實(shí)時(shí)處理的日志數(shù)據(jù)才采用這種方式，因此綜合利用了兩種日志數(shù)據(jù)處理方式的優(yōu)點(diǎn)。

另外，本發(fā)明實(shí)施例還可以如圖5那樣，省略步驟425。也就是說，對所有的日志數(shù)據(jù)都即采用本發(fā)明的實(shí)時(shí)處理的方式，又采用如現(xiàn)有技術(shù)那樣存儲后集中處理的方式。在步驟432中，在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

圖5的優(yōu)點(diǎn)是，即滿足了日志數(shù)據(jù)處理實(shí)時(shí)性的要求，又滿足了事后查找日志數(shù)據(jù)或進(jìn)行除了已經(jīng)進(jìn)行過的實(shí)時(shí)的日志數(shù)據(jù)處理，事后進(jìn)行另外的日志數(shù)據(jù)處理的需要。

如圖8所示，根據(jù)本發(fā)明的一個(gè)實(shí)施例的一種日志數(shù)據(jù)處理裝置10，包括：收集單元1010，被配置為實(shí)時(shí)收集來自多個(gè)源的日志數(shù)據(jù)；隊(duì)列形成單元1020，被配置為按照實(shí)時(shí)收集的日志數(shù)據(jù)所屬的源，將收集的日志數(shù)據(jù)分至與源對應(yīng)的內(nèi)存隊(duì)列中；日志數(shù)據(jù)處理結(jié)果獲得單元1030，被配置為通 過實(shí)時(shí)將與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)切成日志數(shù)據(jù)切片，對切成的日志數(shù)據(jù)切片采用批處理，對批處理的結(jié)果進(jìn)行匯總來獲得日志數(shù)據(jù)處理結(jié)果。

可選地，如圖9所示，該日志數(shù)據(jù)處理裝置還包括：通知單元1040，被配置為通知所述日志數(shù)據(jù)處理結(jié)果。

可選地，通知單元1040被配置為：將所述日志數(shù)據(jù)處理結(jié)果存儲在云存儲器上供用戶訪問。

可選地，通知單元1040被配置為：將所述日志數(shù)據(jù)處理結(jié)果發(fā)送到iOS操作系統(tǒng)的用戶的通知中心，由該通知中心通知到iOS操作系統(tǒng)的用戶。

可選地，如圖10所示，該日志數(shù)據(jù)處理裝置還包括：判斷單元1025，被配置為判斷與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是需要實(shí)時(shí)處理還是不需要實(shí)時(shí)處理的。所述日志數(shù)據(jù)處理結(jié)果獲得單元1030被配置為響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是需要實(shí)時(shí)處理的日志數(shù)據(jù)，通過實(shí)時(shí)將與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)切成日志數(shù)據(jù)切片，對切成的日志數(shù)據(jù)切片采用批處理，對批處理的結(jié)果進(jìn)行匯總來獲得日志數(shù)據(jù)處理結(jié)果。

可選地，如圖10所示，該日志數(shù)據(jù)處理裝置還包括：第一批量處理單元1031，被配置為響應(yīng)于判斷出與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)是不需要實(shí)時(shí)處理的日志數(shù)據(jù)，在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

可選地，如圖11所示，該日志數(shù)據(jù)處理裝置還包括：第二批量處理單元1032，被配置為在貯存器中貯存與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)，以便以后對貯存的與源對應(yīng)的內(nèi)存隊(duì)列中的日志數(shù)據(jù)進(jìn)行集中式日志數(shù)據(jù)處理。

可選地，對切成的日志數(shù)據(jù)切片采用批處理、以及對批處理的結(jié)果進(jìn)行匯總采用機(jī)器學(xué)習(xí)方法。

可選地，機(jī)器學(xué)習(xí)方法包括：將切成的日志數(shù)據(jù)切片作為待處理的日志數(shù)據(jù)，分別發(fā)送到機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)，其中機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的底層節(jié)點(diǎn)接收待處理的日志數(shù)據(jù)，機(jī)器學(xué)習(xí)網(wǎng)絡(luò)的頂層節(jié)點(diǎn)輸出日志數(shù)據(jù)處理結(jié)果。

可選地，所述日志數(shù)據(jù)處理裝置是日志數(shù)據(jù)診斷裝置或日志數(shù)據(jù)預(yù)測裝置。

圖8-11中的各單元可以采用軟件、硬件(例如集成電路、FPGA等)、 或軟硬件結(jié)合的方式實(shí)現(xiàn)。

現(xiàn)在參考圖12，其示出了按照本發(fā)明一個(gè)實(shí)施例的一種日志數(shù)據(jù)處理設(shè)備14的結(jié)構(gòu)圖。如圖12所示，日志數(shù)據(jù)處理設(shè)備14可以包括存儲器1401和處理器1402。存儲器1401可以存儲可執(zhí)行指令。處理器1402可以根據(jù)存儲器1401所存儲的可執(zhí)行指令，實(shí)現(xiàn)圖8-11中的各個(gè)單元所執(zhí)行的操作。

此外，本發(fā)明實(shí)施例還提供一種機(jī)器可讀介質(zhì)，其上存儲有可執(zhí)行指令，當(dāng)所述可執(zhí)行指令被執(zhí)行時(shí)，使得機(jī)器執(zhí)行處理器1402所實(shí)現(xiàn)的操作。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，上面所公開的各個(gè)實(shí)施例，可以在不偏離發(fā)明實(shí)質(zhì)的情況下做出各種變形和改變。因此，本發(fā)明的保護(hù)范圍應(yīng)當(dāng)由所附的權(quán)利要求書來限定。