本發(fā)明屬于大數(shù)據(jù)技術(shù)及企業(yè)績效管理領(lǐng)域,尤其涉及一種基于kpi的面向風(fēng)機制造過程全方位質(zhì)量考核系統(tǒng)。
背景技術(shù):
近年來,受國內(nèi)大環(huán)境的影響,我國企業(yè)面臨的競爭壓力越來越大,如果想要在競爭中求得生存與發(fā)展,就必須掌握現(xiàn)代企業(yè)管理的理念與技能,通過管理提升自身的核心競爭力??冃Ч芾硎呛饬恳粋€企業(yè)運營指標(biāo)的重要手段。因此,建立健全合理的績效管理體系對企業(yè)的成敗有著重要的影響。kpi,也稱關(guān)鍵績效指標(biāo),是衡量流程績效的一種目標(biāo)式量化指標(biāo)。利用kpi分析,可以明確企業(yè)內(nèi)部資源利用狀況,考核部門及個人的績效情況。然而目前企業(yè)在kpi的技術(shù)層面上主要依據(jù)傳統(tǒng)的數(shù)據(jù)處理模式對績效信息進行收集,傳統(tǒng)的數(shù)據(jù)處理模式采用靜態(tài)信息處理模式,即把企業(yè)績效考核可能需要用到的所有數(shù)據(jù)先儲存在數(shù)據(jù)庫系統(tǒng)中,然后用戶根據(jù)自身的需要編寫數(shù)據(jù)庫條件查詢語句,最終得到查詢結(jié)果,進而進行后續(xù)運算。但是,這種傳統(tǒng)的靜態(tài)信息處理模式,對數(shù)據(jù)庫的存儲性能、數(shù)據(jù)抓取運行時長等都有著諸多限制,在面對海量的數(shù)據(jù)時,這種模式的處理能力就顯得捉襟見肘,主要表現(xiàn)為如下幾個方面:①大量數(shù)據(jù)存放在數(shù)據(jù)庫中,并且某些數(shù)據(jù)只在當(dāng)前具有價值,造成數(shù)據(jù)庫開銷巨大;②數(shù)據(jù)庫管理系統(tǒng)本身不支持按存儲順序排放信息,且實時應(yīng)答能力較差,當(dāng)需要在復(fù)雜關(guān)系的元組之間進行多表查詢時,對其耗時和數(shù)據(jù)庫穩(wěn)定性的要求則更高;③數(shù)據(jù)庫本身不支持近似查詢或計算查詢。針對風(fēng)機制造企業(yè),由于企業(yè)在制造過程中產(chǎn)生的數(shù)據(jù)信息流極其龐大,尤其是績效管理方面更要求系統(tǒng)能根據(jù)數(shù)據(jù)流的變換實時做出反應(yīng),然而現(xiàn)有的靜態(tài)數(shù)據(jù)處理模式會產(chǎn)生較大的延遲,針對上述問題本發(fā)明提出運用流計算,流計算對數(shù)據(jù)流的處理模式不同于傳統(tǒng)的數(shù)據(jù)處理方式,主要區(qū)別有如下幾個方面:(1)流入系統(tǒng)的數(shù)據(jù)流是實時的,實時分析、實時給出結(jié)果;(2)數(shù)據(jù)流是無限地、持續(xù)地產(chǎn)生和流入的;(3)數(shù)據(jù)流的處理是一次性的,與靜態(tài)的存儲后再處理不同,而是動態(tài)的隨到隨時處理。(4)將高級關(guān)系型操作語義引入數(shù)據(jù)流模型中,如針對數(shù)據(jù)流的查找、選擇、連接等。本發(fā)明綜合分析風(fēng)機制造質(zhì)量監(jiān)控過程中各個部門的實際工作情況,建立出一整套相關(guān)質(zhì)量考核指標(biāo)體系,根據(jù)制造流程的特性設(shè)計一個流計算架構(gòu),能動地使用數(shù)據(jù)庫緩存技術(shù)進行查詢優(yōu)化,以實現(xiàn)主動篩選有效數(shù)據(jù)、釋放無用數(shù)據(jù)、提高查詢速度。
技術(shù)實現(xiàn)要素:
針對上述問題與缺陷,本發(fā)明提出了一種基于kpi的面向風(fēng)機制造過程全方位質(zhì)量考核系統(tǒng),包括功能模塊、kpi績效指標(biāo)、kpi分析模塊、數(shù)據(jù)庫、客戶端與服務(wù)器;客戶端通過通信設(shè)備與服務(wù)器相連,kpi績效指標(biāo)以風(fēng)機制造工藝流程為依托融入流程流轉(zhuǎn)過程中,數(shù)據(jù)庫用來存儲數(shù)據(jù),客戶端負責(zé)用戶查看選擇時間段內(nèi)的來料序列統(tǒng)計與來料序列歷史走勢,服務(wù)器負責(zé)工作流信息處理與數(shù)據(jù)存儲,功能模塊負責(zé)對生產(chǎn)過程中的各批次來料合格比率、退換貨比率進行統(tǒng)計與狀態(tài)匯總。kpi分析模塊負責(zé)對來料供應(yīng)商的產(chǎn)品質(zhì)量進行分析比較。
所述系統(tǒng)采用基于b/s模式的三層體系結(jié)構(gòu):表示層、業(yè)務(wù)邏輯層和數(shù)據(jù)訪問層;所述表示層是系統(tǒng)的用戶接口,負責(zé)用戶與整個系統(tǒng)進行交互;業(yè)務(wù)邏輯層用來分析與處理表示層提出的請求,以及調(diào)用數(shù)據(jù)訪問層獲取相應(yīng)的數(shù)據(jù),并返回給表示層;數(shù)據(jù)訪問層封裝了所有對數(shù)據(jù)庫的操作,負責(zé)數(shù)據(jù)庫的訪問。
所述功能模塊包括來料序列餅圖統(tǒng)計模塊與來料序列歷史走勢圖分析模塊;來料序列餅圖統(tǒng)計模塊與來料序列歷史走勢圖分析模塊提供按年顯示、按季顯示與按月顯示三種顯示方式;來料序列餅圖統(tǒng)計模塊用來顯示來料序列各個階段狀態(tài)所占比例;來料序列歷史走勢圖分析模塊用來顯示來料序列在一定時間段內(nèi)合格、特放通過、退換貨通過、退換貨未通過的數(shù)量及所占百分比的走勢圖。
所述數(shù)據(jù)庫采用流計算架構(gòu),通過進行sql查詢優(yōu)化并使用數(shù)據(jù)庫緩存技術(shù),動態(tài)實時的主動篩選有效數(shù)據(jù)、釋放無用數(shù)據(jù),在數(shù)據(jù)流不斷變化的過程中進行分析并從中獲取有用信息傳遞給用戶,具體步驟如下所述:
1)sql查詢優(yōu)化,使用queryanalyzer,查看sql語句的查詢計劃和評估分析是否是優(yōu)化的sql,如果不是優(yōu)化的sql,改變訪問結(jié)構(gòu):首先避免對大表進行全表掃描,在大表的常用且值重復(fù)幾率小的字段上創(chuàng)建索引;其次減少同時對幾個大表的全表掃描,若不可避免同時多表掃描,先在這些表的合適字段建立索引,在表關(guān)聯(lián)時用這些索引的字段進行關(guān)聯(lián);定期縱向、橫向分割表,減少表的尺寸;
2)有效使用緩存技術(shù),減少與數(shù)據(jù)庫的交互,在kpi統(tǒng)計系統(tǒng)中采用服務(wù)器端緩存,將被頻繁訪問且短時間內(nèi)不發(fā)生變化的動態(tài)數(shù)據(jù)存入緩存,在調(diào)用程序時首先檢查緩存介質(zhì)中有無對應(yīng)的數(shù)據(jù),若有對應(yīng)的數(shù)據(jù),則程序根據(jù)緩存信息給出響應(yīng);若無對應(yīng)的數(shù)據(jù),程序轉(zhuǎn)從數(shù)據(jù)庫中獲取相應(yīng)數(shù)據(jù)。
所述流計算架構(gòu)采用storm框架,首先設(shè)計一個用于實時計算的topology,將topology提交給集群,由集群中的主控節(jié)點分發(fā)代碼,將任務(wù)分配給工作節(jié)點執(zhí)行。
所述系統(tǒng)采用面向?qū)ο缶幊趟枷耄瑢L(fēng)機制造的來料序列和裝配序列的相關(guān)屬性封裝成目標(biāo)對象,將各個流程的相關(guān)屬性封裝成流程對象,將需電子表單的相關(guān)內(nèi)容封裝成操作對象,將關(guān)鍵績效指標(biāo)與流程流轉(zhuǎn)相結(jié)合,系統(tǒng)為每一個質(zhì)量考核數(shù)據(jù)附加一個時間屬性,自行獲取所需的質(zhì)量考核數(shù)據(jù),根據(jù)流程流轉(zhuǎn)的深度進行績效分析。
本發(fā)明的有益效果在于:
(1)分析自動化。系統(tǒng)根據(jù)質(zhì)量監(jiān)控流程中各部門的業(yè)務(wù)情況,構(gòu)建出一整套完整的關(guān)鍵績效指標(biāo)體系,在流程流轉(zhuǎn)過程中進行質(zhì)量考核數(shù)據(jù)收集及分析,質(zhì)量考核數(shù)據(jù)以流程流轉(zhuǎn)為依托,系統(tǒng)自行獲取所需的數(shù)據(jù),根據(jù)流程流轉(zhuǎn)的深度進行績效分析,同時系統(tǒng)根據(jù)部門成員的績效情況,自動測算出該部門的績效情況。
(2)體系全面且內(nèi)部具有聯(lián)系性。本系統(tǒng)以風(fēng)機制造質(zhì)量監(jiān)控過程為依托,深入研究出一整套科學(xué)全面、適合于風(fēng)機制造領(lǐng)域的kpi指標(biāo)體系。系統(tǒng)采用工作分解結(jié)構(gòu)對績效目標(biāo)進行逐一分解,以確保根據(jù)界定的關(guān)鍵指標(biāo)與企業(yè)質(zhì)量考核目標(biāo)相一致。
(3)數(shù)據(jù)可視化。系統(tǒng)采用餅圖及走勢圖的形式表述各指標(biāo)數(shù)據(jù),使統(tǒng)計結(jié)果更加直觀,清晰展現(xiàn)各數(shù)據(jù)間關(guān)系及差距,同時可以根據(jù)歷史數(shù)據(jù)推測近期及未來數(shù)據(jù),為實現(xiàn)企業(yè)目標(biāo)提供了可靠保障。
(4)數(shù)據(jù)庫能動的實時處理、能夠快速查詢且提升系統(tǒng)反應(yīng)速度。系統(tǒng)根據(jù)制造流程的特性設(shè)計一個流計算架構(gòu),能動地使用數(shù)據(jù)庫緩存技術(shù)并進行查詢優(yōu)化。由于企業(yè)在制造過程中產(chǎn)生的數(shù)據(jù)信息流極其龐大,系統(tǒng)能夠根據(jù)數(shù)據(jù)流的變換實時做出反應(yīng),運用流計算主動篩選有效數(shù)據(jù)、釋放無用數(shù)據(jù),通過動態(tài)的實時處理模式,避免了靜態(tài)數(shù)據(jù)處理模式產(chǎn)生的較大延遲,不但減少了數(shù)據(jù)存儲,節(jié)約空間,還提升了查詢速度以及系統(tǒng)反應(yīng)速度。
附圖說明
附圖1是質(zhì)量考核系統(tǒng)體系架構(gòu)圖;
附圖2是基于拓撲結(jié)構(gòu)的kpi質(zhì)量考核框架圖;
附圖3是storm架構(gòu)與執(zhí)行流程;
具體實施方式
下面結(jié)合附圖對本發(fā)明作詳細說明。
附圖1為質(zhì)量考核系統(tǒng)體系架構(gòu)圖,如圖1所示,系統(tǒng)采用基于b/s模式的三層體系結(jié)構(gòu):表示層,業(yè)務(wù)邏輯層和數(shù)據(jù)訪問層。所述表示層是系統(tǒng)的用戶接口(ui),負責(zé)使用者與整個系統(tǒng)的交互;業(yè)務(wù)邏輯層是整個系統(tǒng)的核心,用來處理表示層提出的請求,然后對請求具體分析,如果涉及到數(shù)據(jù)庫的訪問,則調(diào)用數(shù)據(jù)訪問層獲取相應(yīng)的數(shù)據(jù),并返回給表示層;數(shù)據(jù)訪問層負責(zé)數(shù)據(jù)庫的訪問,此層封裝了所有對數(shù)據(jù)庫的操作。在本系統(tǒng)中,表示層用來顯示kpi分析餅圖及kpi分析走勢圖,業(yè)務(wù)邏輯層用來進行kpi功能模塊分析,數(shù)據(jù)訪問層用來對目標(biāo)對象、操作對象以及流程歷史記錄產(chǎn)生的數(shù)據(jù)進行管理、維護與更新。這種設(shè)計充分體現(xiàn)了基于web的管理模式的優(yōu)勢,并且實現(xiàn)“高內(nèi)聚低耦合”的特點,邏輯清晰,結(jié)構(gòu)明確,有利于系統(tǒng)的修改,提高安全性。系統(tǒng)包括功能模塊、kpi績效指標(biāo)、kpi分析模塊、數(shù)據(jù)庫、客戶端與服務(wù)器;客戶端通過通信設(shè)備與服務(wù)器相連,kpi績效指標(biāo)以風(fēng)機制造工藝流程為依托融入流程流轉(zhuǎn)過程中,數(shù)據(jù)庫用來存儲數(shù)據(jù),客戶端負責(zé)用戶查看選擇時間段內(nèi)的來料序列統(tǒng)計與來料序列歷史走勢,服務(wù)器負責(zé)工作流信息處理與數(shù)據(jù)存儲,kpi分析模塊負責(zé)對生產(chǎn)過程中的各批次來料合格比率、退換貨比率進行統(tǒng)計與狀態(tài)匯總,功能模塊包括來料序列餅圖統(tǒng)計模塊與來料序列歷史走勢圖分析模塊;來料序列餅圖統(tǒng)計模塊與來料序列歷史走勢圖分析模塊提供按年顯示、按季顯示與按月顯示三種顯示方式;來料序列餅圖統(tǒng)計模塊用來顯示來料序列各個階段狀態(tài)所占比例;來料序列歷史走勢圖分析模塊用來顯示來料序列在一定時間段內(nèi)合格、特放通過、退換貨通過、退換貨未通過的數(shù)量及所占百分比的走勢圖。
進一步的,對于來料序列餅狀圖統(tǒng)計模塊,根據(jù)用戶所選擇的顯示類型(按年顯示、按季顯示或者按月顯示),系統(tǒng)顯示來料序列各個階段狀態(tài)所占比例。每一個顯示子模塊的信息由標(biāo)題、溫馨提示、來料序列所屬階段餅狀圖、按鈕區(qū)域、來料序列特定階段中狀態(tài)餅狀圖所組成。標(biāo)題顯示的是當(dāng)前子模塊顯示的時間,如2016年統(tǒng)計信息。在子模塊左側(cè)是來料序列所屬階段餅狀圖,分別顯示2016年中所有來料序列從屬于未質(zhì)檢階段、質(zhì)檢階段、退換貨階段、特放階段和合格階段的比例情況。子模塊中間是按鈕區(qū)域,其中藍色是詳情查看按鈕,點擊可以看到相應(yīng)階段的來料序列的摘要信息列表;黃色按鈕中的文字代表的是所屬的階段以及屬于該階段來料序列的個數(shù),點擊就會顯示出來料序列特定階段中狀態(tài)餅狀圖。
進一步的,對于來料序列歷史走勢圖分析模塊,根據(jù)用戶所選擇的顯示類型,系統(tǒng)顯示來料序列在一定時間段內(nèi)合格、特放通過、退換貨通過、退換貨未通過的數(shù)量及所占百分比的走勢圖。用戶可以根據(jù)年份選擇下拉列表,選中需要查詢的年份,點擊確定按鈕,就可以顯示相應(yīng)年份的數(shù)據(jù)信息。在歷史走勢圖分析中,按年顯示模塊,系統(tǒng)自動搜索數(shù)據(jù)庫近五年的來料序列相關(guān)數(shù)據(jù),形成相應(yīng)的歷史走勢圖;按季顯示和按月顯示則是根據(jù)用戶選擇的年份,顯示相應(yīng)季度和月份下來料序列的走勢情況。其中,來料序列歷史走勢圖分析包括了八個走勢圖:來料序列合格數(shù)量走勢圖、來料序列特放通過數(shù)量走勢圖、來料序列退換貨通過數(shù)量走勢圖、來料序列退換貨未通過數(shù)量走勢圖、來料序列合格比率走勢圖、來料序列特放通過比率走勢圖、來料序列退換貨通過比率走勢圖、來料序列退換貨未通過比率數(shù)量走勢圖。
所述數(shù)據(jù)庫采用流計算架構(gòu),通過進行sql查詢優(yōu)化并使用數(shù)據(jù)庫緩存技術(shù),動態(tài)實時的主動篩選有效數(shù)據(jù)、釋放無用數(shù)據(jù),在數(shù)據(jù)流不斷變化的過程中進行分析并從中獲取有用信息傳遞給用戶。具體步驟如下所述:
1)sql查詢優(yōu)化,sql語句的執(zhí)行效率最終決定了sqlserver數(shù)據(jù)庫的性能。所以要解決數(shù)據(jù)庫性能瓶頸,首要的手段就是進行sql優(yōu)化。首先使用queryanalyzer,查看sql語句的查詢計劃和評估分析是否是優(yōu)化的sql,如果不是優(yōu)化的sql,改變訪問結(jié)構(gòu):對于基于kpi面向風(fēng)機制造過程的全方位質(zhì)量考核系統(tǒng),以最快響應(yīng)速度為優(yōu)化目標(biāo),提升用戶體驗,實現(xiàn)實時跟蹤的kpi統(tǒng)計分析,其重點在于保證數(shù)據(jù)的訪問速度。由于企業(yè)在制造過程中產(chǎn)生的數(shù)據(jù)量較大,表與表之間的關(guān)系復(fù)雜,在一定程度上造成了sql語句執(zhí)行的緩慢。具體采取以下措施:
首先,避免對大表進行不必要的全表掃描。所謂全表掃描,就是在訪問表時,從磁盤上存儲該表的起始位置開始逐條讀取數(shù)據(jù),直到該表的結(jié)束位置。在大表的常用且值重復(fù)幾率小的字段上創(chuàng)建索引,通過索引訪問獲得記錄,將大大降低物理磁盤讀寫次數(shù),從而降低整個查詢響應(yīng)時間。因為創(chuàng)建合適的索引會影響sql優(yōu)化器對執(zhí)行計劃的選擇。數(shù)據(jù)量的大小以及數(shù)據(jù)分布情況都會影響執(zhí)行計劃。在業(yè)務(wù)邏輯層對kpi數(shù)據(jù)進行計算時,用到的數(shù)據(jù)大多需數(shù)據(jù)層掃描全表來獲取,因此創(chuàng)建索引,減少了查詢響應(yīng)時間。其次,盡可能減少同時對幾個大表的全表掃描。若不可避免同時多表掃描,在這些表的合適字段建立索引,在表關(guān)聯(lián)時用這些索引的字段進行關(guān)聯(lián),加快查找效率,傳遞給業(yè)務(wù)邏輯層有效的數(shù)據(jù)值。在查詢select語句中用where字句限制返回的行數(shù),避免表掃描,節(jié)約服務(wù)器的i/o資源,減輕網(wǎng)絡(luò)的負擔(dān)提高性能;定期縱向、橫向分割表,減少表的尺寸;在獲取統(tǒng)計個數(shù)而非具體數(shù)據(jù)的查詢時使用count函數(shù)來計數(shù),提高kpi統(tǒng)計sql語句的響應(yīng)速度,有效降低影響數(shù)據(jù)庫性能的幾率;將需要查詢的結(jié)果預(yù)先計算好放在表中,查詢的時候再使用select。
2)有效使用緩存技術(shù),減少與數(shù)據(jù)庫的交互。緩存技術(shù)被認為是減輕服務(wù)器負載、降低網(wǎng)絡(luò)擁塞的有效途徑之一。合理有效地設(shè)計和使用緩存是優(yōu)化應(yīng)用系統(tǒng)性能的重要手段。在kpi統(tǒng)計系統(tǒng)中,利用用戶訪問的時間局部性原理,對被頻繁訪問的、短時間內(nèi)不會發(fā)生變化的動態(tài)數(shù)據(jù)存入緩存。在程序調(diào)用時首先檢查緩存介質(zhì)中有無對應(yīng)的數(shù)據(jù),若有,則程序給出的響應(yīng)將來自于緩存信息;若無,程序轉(zhuǎn)從數(shù)據(jù)庫中獲取相應(yīng)數(shù)據(jù)。緩存有效減少了與數(shù)據(jù)庫的交互,不再需要為每個請求生成一次頁面文件,降低系統(tǒng)性能消耗并提供系統(tǒng)穩(wěn)定性。頁面緩存可以在客戶端、服務(wù)器端,在kpi統(tǒng)計系統(tǒng)中,采用服務(wù)器端緩存,如生產(chǎn)序列kpi統(tǒng)計分析頁,用戶登錄系統(tǒng)進入生產(chǎn)序列kpi統(tǒng)計分析頁后,由于頁面中的一次報檢合格率考核時間點,都是動態(tài)數(shù)據(jù),并且短期內(nèi)不會改變;主頁中根據(jù)權(quán)限顯示的菜單,對大部分的普通員工來說,也是短期內(nèi)不會發(fā)生變化的。通過設(shè)計頁面緩存,把頁面內(nèi)容緩存在應(yīng)用服務(wù)器上,因此更容易擴展并獲得更好的性能。
在設(shè)計流計算框架前首先要設(shè)計一個用于實時計算的topology,稱為拓撲,將這個拓撲提交給集群。附圖2為基于拓撲結(jié)構(gòu)的kpi質(zhì)量考核框架圖,在storm框架中,計算任務(wù)的邏輯被封裝到topology對象里面。如圖2所示,topology(拓撲)是由不同的spout和bolt通過數(shù)據(jù)流(stream)連接起來的圖,spout是topology的消息生產(chǎn)者,通常會從外部數(shù)據(jù)源如消息隊列、數(shù)據(jù)文件、網(wǎng)絡(luò)傳輸?shù)茸x取數(shù)據(jù),在本系統(tǒng)中主要包括目標(biāo)對象、操作對象和考核對象三個數(shù)據(jù)源,然后以tuple的形式發(fā)送到stream中。bolt中封裝的是處理邏輯,在本系統(tǒng)主要包括來料序列、生產(chǎn)序列的三種主要的邏輯終點狀態(tài)操作處理:質(zhì)檢合格/不合格、特放通過/未通過、退換貨通過/未通過,接收到tuple后可以執(zhí)行過濾、聚合、計算、函數(shù)操作來進行具體的部門和員工績效分析,最終實現(xiàn)以餅狀圖、走勢圖、表格三種形式為主的統(tǒng)計結(jié)果可視化顯示。spout和bolt各組件之間是訂閱關(guān)系,可以靈活實現(xiàn)數(shù)據(jù)的定向與分流。附圖3是集群架構(gòu)與執(zhí)行流程,如圖3所示,外部數(shù)據(jù)源向nimbus提交任務(wù),nimbus通過zookeeper向集群發(fā)送代碼,分配工作給機器并監(jiān)控狀態(tài),supervisor監(jiān)聽分配給它的機器的工作,根據(jù)需要啟動或關(guān)閉工作進程。
所述系統(tǒng)采用visualstudio.net集成開發(fā)環(huán)境,采用c#開發(fā)語言,后臺數(shù)據(jù)庫選用microsoftsqlserver2005。
此實施例僅為本發(fā)明較佳的具體實施方式,但本發(fā)明的保護范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此,本發(fā)明的保護范圍應(yīng)該以權(quán)利要求的保護范圍為準(zhǔn)。