專利名稱:一種基于多線程技術的excel數據導入的制作方法
技術領域:
本發(fā)明涉及ー種數據導入技術,尤其是ー種基于多線程技術的EXCEL數據導入。本發(fā)明屬于通信技術領域。
背景技術:
信息管理系統(tǒng)是當前信息管理的主要手段和工具,數據庫技術是大多數信息管理系統(tǒng)中重要的組成部分。數據庫技術的不斷進步給各行業(yè)的信息管理工作帶來了極大的方便,但在工作效率提高的同時,隨著技術的發(fā)展,多種不同數據庫之間的數據轉換問題也越來越突出。很多單位在長時間的日常工作中積累了大量數據,并為存儲和管理這些數據不斷投資。然而由于實施數據管理系統(tǒng)的階段性、技術性以及其他經濟和人為因素的影響,以至即使在單獨業(yè)務部門,采用的數據管理系統(tǒng)也大不相同,從簡單的文件數據庫到復雜的網絡數據庫,他們構成了該部門的異構數據源。如何高效的共享這些異構數據源的數據已經成為信息系統(tǒng)建設和集成所面臨的ー個重要問題。而EXECL數據導入技術提供了ー種有效的解決方案。數據的導入、導出是指在不同應用之間按普通格式讀寫數據,從而實現交換的過程。目前流行的主流數據庫和數據庫開發(fā)軟件自帶的數據轉換工具依托強大的技術有事和良好的應用環(huán)境,在一定范圍和應用條件下具有比較強大的功能。但是目前現在主流的數據庫產品太多,不同的產品對其他產品的兼容性都不是很好。管理軟件的復雜程度往往很難讓普通用戶可以自行進行數據導入。而且異構數據源的數據轉換、數據導入的效率都不是十分理想,特別對大批量數據,往往對會服務器造成很大的壓カ。現有的技術存在如下的弊端數據導入的檢驗性差,往往對數據的類型、格式的驗證都比較薄弱。大批量數據導入的速度慢,導致數據在傳輸過程中容易出錯。數據轉換的性能和出錯率高。而且不同的數據源所需要的環(huán)境都不同,服務器的環(huán)境配置比較復雜。本發(fā)明要解決的問題是提供一種多線程技術的EXCEL數據導入。本方法采用了多線程技術更好地利用系統(tǒng)資源。其主要優(yōu)勢在于充分利用了 CPU的空閑時間片,可以用盡可能少的時間來對用戶的要求做出響應,使得進程的整體運行效率得到較大提高,同時增強了應用程序的靈活性。更為重要的是,由于同一進程的所有線程是共享同一內存,所以不需要特殊的數據傳送機制,不需要建立共享存儲區(qū)或共享文件,從而使得不同任務之間的協調操作與運行、數據的交互、資源的分配等問題更加易于解決。很顯然,本發(fā)明更能方便、有效、安全的滿足客戶的需要。
發(fā)明內容
本發(fā)明的目的在于針對以上現有技術存在的不足,實現ー種基于多線程技術的EXCEL數據導入,以克服現有技術的數據轉換差、導入效率低、浪費性能等問題。為了達到以上目的,本發(fā)明包含如下模塊創(chuàng)建模塊——選擇需要導入的EXCEL,創(chuàng)建UI界面。
驗證模塊——對EXCEL的數據類型進行驗證,并給出驗證數據,給下個模塊使用。轉換模塊一對錯誤的數據類型進行轉換,并顯示在n界面上,用戶可以手動進行轉換。創(chuàng)建線程模塊一按照導入數據的大小根據指定的算法創(chuàng)建線程個數。并行導入模塊一線程同時進行導入,導入后生成報告。為實現本發(fā)明的功能,上述功能模塊還包括如下子模塊驗證模塊——驗證數據格式子模塊——驗證數據格式的正確性。并把驗證錯誤的消息發(fā)送到轉換模塊,便于數據的轉換。創(chuàng)建線程模塊一計算子模塊
——按照數據的大小、數據的行數進行線程數的計算,以便創(chuàng)建最高效率的線程數。并行導入模塊——銷毀子模塊、生成日志子模塊——數據導入完,線程自動銷毀。并且釋放資源。——將導入后的結果生成到日志,便于系統(tǒng)的跟蹤和回滾。使用步驟為步驟ー創(chuàng)建組件。系統(tǒng)檢測本組件需要的環(huán)境,并自動配置服務器中的環(huán)境。步驟ニ 用戶選擇需要導入的EXCEL文檔。步驟三導入后的文檔以n的方式顯示給用戶。并提示出驗證數據的結果,和轉換后數據格式的建議。用戶也可以手動的修改數據和數據格式。只要數據和數據格式修改系統(tǒng)會自動驗證。防止用戶誤操作后對數據導入的影響。步驟四按照數據的大小,數據的行數創(chuàng)建線程。各線程以并行的方式進行操作。步驟五數據導入到系統(tǒng)。線程自動銷毀,釋放資源。并生成日志文件。如此,通過本發(fā)明,節(jié)省了導入數據的時間。保證了數據的正確性。便于數據間的交互。
具體實施例方式實施例一使用Microsoft VisualStudio. Net2008開發(fā)工具開發(fā)服務器端和客戶端運行組件,具體方式為創(chuàng)建模塊——選擇需要導入的EXCEL。創(chuàng)建n界面。驗證模塊——對EXCEL的數據類型進行驗證。并給出驗證數據,給下個模塊使用。轉換模塊一對錯誤的數據類型進行轉換。并顯示在n界面上,用戶可以手動進行轉換。創(chuàng)建線程模塊——按照導入數據的大小根據指定的算法創(chuàng)建線程個數。并行導入模塊——線程同時進行導入。導入后生成報告。為實現本發(fā)明的功能,上述功能模塊還包括如下子模塊驗證模塊——驗證數據格式子模塊——驗證數據格式的正確性。并把驗證錯誤的消息發(fā)送到轉換模塊,便于數據的轉換。創(chuàng)建線程模塊——計算子模塊——按照數據的大小、數據的行數進行線程數的計算,以便創(chuàng)建最高效率的線程數。并行導入模塊——生成日志模塊——將導入后的結果生成到日志,便于系統(tǒng)的跟蹤和回滾。使用步驟為步驟ー創(chuàng)建組件。系統(tǒng)檢測本組件需要的環(huán)境,并自動配置服務器中的環(huán)境。步驟ニ 用戶選擇需要導入的EXCEL文檔。
步驟三導入后的文檔以n的方式顯示給用戶。并提示出驗證數據的結果,和轉換后數據格式的建議。用戶也可以手動的修改數據和數據格式。只要數據和數據格式修改系統(tǒng)會自動驗證。防止用戶誤操作后對數據導入的影響。步驟四按照數據的大小,數據的行數,井根據服務器的硬件性能進行計算,并創(chuàng)建線程。各線程以并行的方式進行操作。步驟五數據導入到系統(tǒng)。線程自動銷毀,釋放資源。并生成日志文件。日志文件按照用戶選定的保存地址進行保存。除上述實施例外,本發(fā)明還可以有其他實施方式。凡采用等同替換或等效變換形成的技術方案,均落在本發(fā)明要求的保護范圍。
權利要求
1.一種基于多線程技術的EXCEL數據導入,其特征在于完成多線程技術的EXCEL數據導入需要如下模塊創(chuàng)建模塊——選擇需要導入的EXCEL,創(chuàng)建UI界面;驗證模塊——對EXCEL的數據類型進行驗證,并給出驗證數據,給下個模塊使用;轉換模塊——對錯誤的數據類型進行轉換,并顯示在Π界面上,用戶可以手動進行轉換;創(chuàng)建線程模塊——按照導入數據的大小根據指定的算法創(chuàng)建線程個數;并行導入模塊——線程同時進行導入,導入后生成報告;為實現本發(fā)明的功能,上述功能模塊還包括如下子模塊
2.一種基于多線程技術的EXCEL數據導入,其特征在于要實現多線程技術的EXCEL 數據導入還需要如下步驟步驟一創(chuàng)建組件,系統(tǒng)檢測本組件需要的環(huán)境,并自動配置服務器中的環(huán)境;步驟二 用戶選擇需要導入的EXCEL文檔;步驟三導入后的文檔以Π的方式顯示給用戶,并提示出驗證數據的結果,和轉換后數據格式的建議,用戶也可以手動的修改數據和數據格式,只要數據和數據格式修改系統(tǒng)會自動驗證,防止用戶誤操作后對數據導入的影響;步驟四按照數據的大小,數據的行數創(chuàng)建線程,各線程以并行的方式進行操作; 步驟五數據導入到系統(tǒng),線程自動銷毀,釋放資源,并生成日志文件。
全文摘要
本發(fā)明涉及種數據導入技術,尤其是一種基于多線程技術的EXCEL數據導入。本發(fā)明屬于通信技術領域。本發(fā)明實現的基于多線程技術的EXCEL數據導入,其特征在于通過創(chuàng)建模塊為EXCEL數據導入創(chuàng)建UI界面,通過驗證模塊對EXCEL的數據類型進行驗證并給出驗證數據,通過轉換模塊對錯誤的數據類型進行轉換并顯示在UI界面上,通過創(chuàng)建線程模塊按照導入數據的大小根據指定的算法創(chuàng)建線程個數,通過并行導入模塊進行多線程同時進行導入并生成報告。本方法采用了多線程技術,其主要優(yōu)勢在于充分利用了CPU的空閑時間片,可以用盡可能少的時間來對用戶的要求做出響應,使進程的整體運行效率得到提高,同時增強應用程序的靈活性。
文檔編號G06F17/30GK103034647SQ20111030020
公開日2013年4月10日 申請日期2011年10月9日 優(yōu)先權日2011年10月9日
發(fā)明者朱煒, 王志剛 申請人:鎮(zhèn)江雅迅軟件有限責任公司