一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明適用于醫(yī)療數(shù)據(jù)【技術領域】，提供了一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法及系統(tǒng)。在本發(fā)明中，通過獲取醫(yī)院端的源數(shù)據(jù)，將源數(shù)據(jù)保存至數(shù)據(jù)倉庫中的ODS操作型數(shù)據(jù)存儲層，對源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相結(jié)合加載至數(shù)據(jù)倉庫維度表和事實表中，從而減輕了醫(yī)院服務器端的訪問壓力。同時通過設定參數(shù)值替代異常數(shù)據(jù)進行數(shù)據(jù)加載，且當源數(shù)據(jù)的維度數(shù)據(jù)變化后，自動更新已經(jīng)加載的維度數(shù)據(jù)，使得數(shù)據(jù)發(fā)生異常時能自動進行數(shù)據(jù)校驗更新，可以單節(jié)點的處理異常數(shù)據(jù)，不需要重新整批處理，提高了處理效率。
【專利說明】一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法及系統(tǒng)

【技術領域】
[0001] 本發(fā)明屬于醫(yī)療數(shù)據(jù)【技術領域】，尤其涉及一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法 及系統(tǒng)。

【背景技術】
[0002] 當前，人們越來越多的關注民生，其中醫(yī)療衛(wèi)生一直是熱點問題。與此同時，國家 也一直對醫(yī)療進行改革，頒布和實施一些新的政策。醫(yī)療行業(yè)也開始迅猛發(fā)展，數(shù)據(jù)越來越 趨于高度集中化，大規(guī)模區(qū)域醫(yī)療信息系統(tǒng)和大型醫(yī)療數(shù)據(jù)中心將逐步建立，數(shù)據(jù)總量可 達TB (Terabyte，萬億字節(jié)）級。因此，海量醫(yī)療數(shù)據(jù)的處理方法及系統(tǒng)逐步形成，而在海 量醫(yī)療數(shù)據(jù)處理中，海量醫(yī)療數(shù)據(jù)的集成整合是至關重要的一個環(huán)節(jié)。
[0003] 目前，醫(yī)療數(shù)據(jù)的集成整合還存在以下缺陷：1、數(shù)據(jù)倉庫未保留醫(yī)院端源數(shù)據(jù)，直 接從醫(yī)院生產(chǎn)環(huán)境獲取數(shù)據(jù)，造成醫(yī)院服務器端的訪問壓力；2、數(shù)據(jù)倉庫只存儲了標準化 數(shù)據(jù)，數(shù)據(jù)倉庫模型設計時只存儲了經(jīng)過清洗轉(zhuǎn)換后的數(shù)據(jù)，數(shù)據(jù)發(fā)生異常時難以做到數(shù) 據(jù)的還原追溯；3、ETL(Extraction Transformation Loading,提取、轉(zhuǎn)換、加載）處理數(shù)據(jù) 異常時，容錯不足，在數(shù)據(jù)抽取、清洗、轉(zhuǎn)換過程中遇到數(shù)據(jù)異常時，通常記錄異常數(shù)據(jù)，停 止ETL的運行，向管理相關員報告錯誤，這種處理機制會因一個節(jié)點的數(shù)據(jù)異常，導致整個 ETL運行停止，數(shù)據(jù)全部得重新進行清洗裝載，只能由人工干預解決異常，需要花費大量時 間進行數(shù)據(jù)校驗。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明目的在于提供一種將標準化后數(shù)據(jù)與源數(shù)據(jù)相結(jié)合的基于數(shù)據(jù)倉庫的醫(yī) 療數(shù)據(jù)整合方法，旨在解決現(xiàn)有整合方法造成的醫(yī)院服務器端的訪問壓力、數(shù)據(jù)發(fā)生異常 時難以做到數(shù)據(jù)的還原追溯。
[0005] 進一步的，本發(fā)明的目的在于提供一種通過設定參數(shù)值替代異常數(shù)據(jù)進行數(shù)據(jù)加 載旨在解決需要花費大量時間進行數(shù)據(jù)校驗以及不能單節(jié)點的處理異常數(shù)據(jù)，只能由人工 干預解決異常，整批處理的問題。
[0006] 本發(fā)明實施例是這樣實現(xiàn)的，一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法，包括：
[0007] 獲取醫(yī)院端的源數(shù)據(jù)；
[0008] 將所述源數(shù)據(jù)保存至數(shù)據(jù)倉庫中的ODS操作型數(shù)據(jù)存儲層，所述ODS操作型數(shù)據(jù) 存儲層是在數(shù)據(jù)倉庫中增加的；
[0009] 將所述的源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相結(jié)合加載至數(shù)據(jù) 倉庫的維度Dimension表和事實Fact表中。
[0010] 優(yōu)選的，所述的將所述的源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相 結(jié)合加載至數(shù)據(jù)倉庫的維度Dimension表和事實Fact表中，還包括：當出現(xiàn)異常數(shù)據(jù)時，通 過設定參數(shù)值替代異常數(shù)據(jù)進行數(shù)據(jù)加載。
[0011] 優(yōu)選的，所述的將所述的源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相 結(jié)合加載至數(shù)據(jù)倉庫的維度Dimension表和事實Fact表中，還包括：當醫(yī)院端源數(shù)據(jù)發(fā)生 變化后，通過已加載的數(shù)據(jù)與源數(shù)據(jù)進行查找匹配，自動更新已經(jīng)加載的數(shù)據(jù)。
[0012] 本發(fā)明還提供一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合系統(tǒng)，包括：
[0013] 獲取模塊，存儲模塊，轉(zhuǎn)換加載模塊；
[0014] 所述獲取模塊，用于獲取醫(yī)院端的源數(shù)據(jù)；
[0015] 所述存儲模塊，用于將所述源數(shù)據(jù)保存至數(shù)據(jù)倉庫中的ODS操作型數(shù)據(jù)存儲層；
[0016] 所述轉(zhuǎn)換加載模塊，用于將所述的源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與 源數(shù)據(jù)相結(jié)合加載至數(shù)據(jù)倉庫的維度Dimension表和事實Fact表中。
[0017] 優(yōu)選的，所述轉(zhuǎn)換加載模塊還包括：處理模塊，用于當出現(xiàn)異常數(shù)據(jù)時，通過設定 參數(shù)值替代異常數(shù)據(jù)進行數(shù)據(jù)加載。
[0018] 優(yōu)選的，所述轉(zhuǎn)換加載模塊還包括：自動更新模塊，用于當醫(yī)院端源數(shù)據(jù)發(fā)生變化 后，通過已加載的數(shù)據(jù)與源數(shù)據(jù)進行查找匹配，自動更新已經(jīng)加載的數(shù)據(jù)。
[0019] 在本發(fā)明實施例中，通過獲取醫(yī)院端的源數(shù)據(jù)，將源數(shù)據(jù)保存至數(shù)據(jù)倉庫中的ODS 操作型數(shù)據(jù)存儲層，對源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相結(jié)合加載至 數(shù)據(jù)倉庫維度表和事實表中，從而減輕了醫(yī)院服務器端的訪問壓力。同時通過設定參數(shù)值 替代異常數(shù)據(jù)進行數(shù)據(jù)加載，且當源數(shù)據(jù)發(fā)生變化后，通過將已經(jīng)加載的數(shù)據(jù)與變更的源 數(shù)據(jù)進行查找匹配，自動更新已經(jīng)加載的數(shù)據(jù)，使得數(shù)據(jù)發(fā)生異常時能自動進行數(shù)據(jù)校驗 更新，可以單節(jié)點的處理異常數(shù)據(jù)，不需要重新整批處理，提高了效率。

【專利附圖】

【附圖說明】
[0020] 圖1是本發(fā)明實施例提供的基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法的實現(xiàn)流程圖；
[0021] 圖2是本發(fā)明實施例通過設定參數(shù)值替代異常數(shù)據(jù)進行數(shù)據(jù)加載過程實現(xiàn)流程 圖；
[0022] 圖3是本發(fā)明實施例提供的醫(yī)院端源數(shù)據(jù)中維度數(shù)據(jù)的維度標識以及事實數(shù)據(jù) 的維度標識都發(fā)生變化后自動更新已經(jīng)加載的數(shù)據(jù)實現(xiàn)流程圖；
[0023] 圖4是本發(fā)明實施例提供的源數(shù)據(jù)中維度標識由空值更新為非空值后自動更新 已經(jīng)加載的數(shù)據(jù)實現(xiàn)流程圖；
[0024] 圖5是本發(fā)明實施例提供的基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合系統(tǒng)的結(jié)構框圖。

【具體實施方式】
[0025] 為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0026] 圖1示出了本發(fā)明實施例提供的一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法的實現(xiàn) 流程，詳述如下：
[0027] 步驟101、獲取醫(yī)院端的源數(shù)據(jù)。
[0028] 具體的，獲取醫(yī)院服務器端的源數(shù)據(jù)，源數(shù)據(jù)包括后續(xù)系統(tǒng)需要分析的各種數(shù)據(jù)， 包括醫(yī)院科室、醫(yī)務人員、日均就診人數(shù)、就診等候時間、疾病類型、藥品種類、醫(yī)療費用、醫(yī) 務人員工作負荷等等。
[0029] 步驟102、將所述源數(shù)據(jù)保存至數(shù)據(jù)倉庫中的ODS (Operational Data Store,操 作型數(shù)據(jù)存儲）操作型數(shù)據(jù)存儲層，所述ODS操作型數(shù)據(jù)存儲層是在數(shù)據(jù)倉庫中增加的。
[0030] 具體的，在數(shù)據(jù)倉庫中增加 ODS操作型數(shù)據(jù)存儲層，那么所述數(shù)據(jù)倉庫結(jié)構主 要分為五層：〇DS Staging操作型數(shù)據(jù)存儲緩沖層，F(xiàn)act Staging事實緩沖層，ODS層， Dimension 維度、Fact 事實、Dictionary 詞典、Reference 參照層和 Aggregate 聚合、View 視圖層。在數(shù)據(jù)倉庫中增加 ODS操作型數(shù)據(jù)存儲層，能夠保存醫(yī)院端的源數(shù)據(jù)，避免頻繁訪 問醫(yī)院端服務器數(shù)據(jù)庫，降低醫(yī)院服務器端數(shù)據(jù)庫的壓力。
[0031] 將從醫(yī)院獲取的數(shù)據(jù)以1 :1比例保存至ODS層，ETL將使用數(shù)據(jù)倉庫的ODS層作 為源數(shù)據(jù)，進行數(shù)據(jù)抽取清洗轉(zhuǎn)換，ODS層隔開了 ETL集成時對醫(yī)院端的影響，也降低了醫(yī) 院服務器數(shù)據(jù)庫的壓力。
[0032] 步驟103、將所述的源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相結(jié)合加 載至數(shù)據(jù)倉庫的維度Dimension表和事實Fact表中。
[0033] 具體的，通過ETL工具抽取所述保存至數(shù)據(jù)倉庫中的ODS層的源數(shù)據(jù)，然后進行標 準化操作，也就是進行清洗轉(zhuǎn)換。所述數(shù)據(jù)倉庫的數(shù)據(jù)模型將標準化數(shù)據(jù)與非標準化數(shù)據(jù) 相結(jié)合，也就是維度Dimension表和事實Fact表中既包括標準化的數(shù)據(jù)也包括非標準化的 數(shù)據(jù)。所述非標準化數(shù)據(jù)也就是沒做清洗轉(zhuǎn)換的源數(shù)據(jù)。
[0034] 例如，將非標準化后的維度標識如外科一的維度標識AC加載至維度表中，維度表 如表一所不。
[0035] 表 1
[0036]

【權利要求】
1. 一種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合方法，其特征在于，包括： 獲取醫(yī)院端的源數(shù)據(jù)； 將所述源數(shù)據(jù)保存至數(shù)據(jù)倉庫中的ODS操作型數(shù)據(jù)存儲層，所述ODS操作型數(shù)據(jù)存儲 層是在數(shù)據(jù)倉庫中增加的； 將所述的源數(shù)據(jù)進行標準化操作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相結(jié)合加載至數(shù)據(jù)倉庫 維度Dimension表和事實化ct表中。
2. 如權利要求1所述的方法，其特征在于，所述的將所述的源數(shù)據(jù)進行標準化操作，將 標準化后的數(shù)據(jù)與源數(shù)據(jù)相結(jié)合加載至數(shù)據(jù)倉庫的維度Dimension表和事實化ct表中，還 包括： 當出現(xiàn)異常數(shù)據(jù)時，通過設定參數(shù)值替代異常數(shù)據(jù)進行數(shù)據(jù)加載。
3. 如權利要求2所述的方法，其特征在于，所述的當出現(xiàn)異常數(shù)據(jù)時，通過設定參數(shù)值 替代異常數(shù)據(jù)進行數(shù)據(jù)加載，包括： 當維度數(shù)據(jù)中維度標識缺失異常時，加載0DS層源數(shù)據(jù)中包含維度標識的維度數(shù)據(jù)W 及標準化后的維度標識至維度Dimension表中； 加載0DS層源數(shù)據(jù)的事實數(shù)據(jù)至化ct Staging事實緩沖層，所述事實數(shù)據(jù)包括醫(yī)院端 的唯一標識序列號、維度標識、度量值； 根據(jù)化ct Staging事實緩沖層中的事實數(shù)據(jù)中的維度標識查找維度表中是否含有的 所述維度標識，如果是，則在事實數(shù)據(jù)中添加維度表中與所述維度標識對應的標準化后的 維度標識，之后將添加后的事實數(shù)據(jù)加載至數(shù)據(jù)倉庫的事實化ct表中，如果否，則設定一 參數(shù)值，并將所述參數(shù)值作為標準化后維度標識添加到事實數(shù)據(jù)中，再將添加后的事實數(shù) 據(jù)加載至數(shù)據(jù)倉庫的事實化ct表中。
4. 如權利要求1或2所述的方法，其特征在于，所述的將所述的源數(shù)據(jù)進行標準化操 作，將標準化后的數(shù)據(jù)與源數(shù)據(jù)相結(jié)合加載至數(shù)據(jù)倉庫的維度Dimension表和事實化ct表 中，還包括： 當醫(yī)院端源數(shù)據(jù)發(fā)生變化后，通過已加載的數(shù)據(jù)與變化后的源數(shù)據(jù)進行查找匹配，自 動更新已經(jīng)加載的數(shù)據(jù)。
5. 如權利要求4所述的方法，其特征在于，所述的當醫(yī)院端源數(shù)據(jù)發(fā)生變化后，通過已 加載的數(shù)據(jù)與源數(shù)據(jù)進行查找匹配，自動更新已經(jīng)加載的數(shù)據(jù)，包括： 當醫(yī)院端源數(shù)據(jù)的維度標識變化后，使用CDC捕獲變化數(shù)據(jù)技術抓取源數(shù)據(jù)中更新的 維度標識； 更新0DS層中的維度數(shù)據(jù)的維度標識W及事實數(shù)據(jù)中的維度標識； 加載0DS層源數(shù)據(jù)中更新的維度標識W及標準化后的更新的維度標識至維度 Dimension 表中； 加載0DS層源數(shù)據(jù)中更新的事實數(shù)據(jù)至化ct Staging事實緩沖層，所述更新的事實數(shù) 據(jù)包括醫(yī)院端唯一標識序列號、更新后的維度標識、度量值； 根據(jù)化ct Staging事實緩沖層中的事實數(shù)據(jù)中的更新的維度標識查找維度表中含有 的所述更新的維度標識； 在Fact Staging事實緩沖層更新的事實數(shù)據(jù)中添加維度表中的與所述更新的維度標 識對應的標準化后的更新的維度標識； 將化ct staging事實緩沖層添加后的更新的事實數(shù)據(jù)加載至事實化ct表中，替換事 實化ct表中與所述更新的事實數(shù)據(jù)有相同醫(yī)院端唯一標識序列號的事實數(shù)據(jù)。
6. 如權利要求4所述的方法，其特征在于，所述的當醫(yī)院端源數(shù)據(jù)發(fā)生變化后，通過已 加載的數(shù)據(jù)與變化后的源數(shù)據(jù)進行查找匹配，自動更新已經(jīng)加載的數(shù)據(jù)，包括： 當醫(yī)院端源數(shù)據(jù)中維度標識由空值更新為非空值時，使用CDC技術抓取醫(yī)院端源數(shù)據(jù) 中更新的維度標識； 通過ODS Staging層加載醫(yī)院端源數(shù)據(jù)中更新的維度標識，并更新ODS層中維度數(shù)據(jù) 的維度標識； 加載ODS層源數(shù)據(jù)的更新的維度標識W及標準化的更新的維度標識至維度Dimension 表中； 查找事實Fact表中的標準化后的維度標識為設定參數(shù)值的事實數(shù)據(jù)； 在事實表中根據(jù)事實數(shù)據(jù)中的維度標識查找維度表中是否含有所述維度標識，如果有 則將原有的用設定參數(shù)替代的標準化維度標識變更為標準化后的更新的維度標識，否則的 話則正常結(jié)束。
7. 如權利要求3、5、6之一所述的方法，其特征在于，所述方法還包括： 對所述的事實數(shù)據(jù)增加相對應的事實標識。
8. -種基于數(shù)據(jù)倉庫的醫(yī)療數(shù)據(jù)整合系統(tǒng)，其特征在于，包括： 獲取模塊，存儲模塊，轉(zhuǎn)換加載模塊； 所述獲取模塊，用于獲取醫(yī)院端的源數(shù)據(jù)； 所述存儲模塊，用于將所述源數(shù)據(jù)保存至數(shù)據(jù)倉庫中的0DS操作型數(shù)據(jù)存儲層，所述 0DS操作型數(shù)據(jù)存儲層是在數(shù)據(jù)倉庫中增加的； 所述轉(zhuǎn)換加載模塊，用于將所述的源數(shù)據(jù)進行標準化操作，并將標準化后的數(shù)據(jù)與源 數(shù)據(jù)相結(jié)合加載至數(shù)據(jù)倉庫的維度Dimension表和事實化ct表中。
9. 如權利要求8所述的系統(tǒng)，其特征在于，所述轉(zhuǎn)換加載模塊還包括：處理模塊，用于 當出現(xiàn)異常數(shù)據(jù)時，通過設定參數(shù)值替代異常數(shù)據(jù)進行數(shù)據(jù)加載。
10. 如權利要求9所述的系統(tǒng)，其特征在于，所述轉(zhuǎn)換加載模塊還包括： 自動更新模塊，用于當醫(yī)院端源數(shù)據(jù)發(fā)生變化后，通過已加載的數(shù)據(jù)與源數(shù)據(jù)進行查 找匹配，自動更新已經(jīng)加載的數(shù)據(jù)。
【文檔編號】G06F17/30GK104462082SQ201310415629
【公開日】2015年3月25日 申請日期:2013年9月12日 優(yōu)先權日:2013年9月12日
【發(fā)明者】王浩, 陳汝林, 鄭秋芳, 吳曉琳, 李家寶, 陶然, 楊忠波, 王藝元 申請人:深圳中科金證科技有限公司