本實(shí)用新型涉及一種數(shù)據(jù)處理系統(tǒng),具體為一種非結(jié)構(gòu)數(shù)據(jù)處理系統(tǒng)。
背景技術(shù):
相對(duì)于結(jié)構(gòu)數(shù)據(jù)(即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù))而言,不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)即稱(chēng)為非結(jié)構(gòu)數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言下的子集XML、HTML、各類(lèi)報(bào)表、圖像和音頻/視頻信息等等。
非結(jié)構(gòu)數(shù)據(jù)庫(kù)是指其字段長(zhǎng)度可變,并且每個(gè)字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成的數(shù)據(jù)庫(kù),用它不僅可以處理結(jié)構(gòu)數(shù)據(jù)(如數(shù)字、符號(hào)等信息)而且更適合處理非結(jié)構(gòu)數(shù)據(jù)(全文文本、圖象、聲音、影視、超媒體等信息)。
非結(jié)構(gòu)WEB數(shù)據(jù)庫(kù)主要是針對(duì)非結(jié)構(gòu)數(shù)據(jù)而產(chǎn)生的,與以往流行的關(guān)系數(shù)據(jù)庫(kù)相比,其最大區(qū)別在于它突破了關(guān)系數(shù)據(jù)庫(kù)結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長(zhǎng)的限制,支持重復(fù)字段、子字段以及變長(zhǎng)字段并實(shí)現(xiàn)了對(duì)變長(zhǎng)數(shù)據(jù)和重復(fù)字段進(jìn)行處理和數(shù)據(jù)項(xiàng)的變長(zhǎng)存儲(chǔ)管理,在處理連續(xù)信息(包括全文信息)和非結(jié)構(gòu)信息(包括各種多媒體信息)中有著傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)所無(wú)法比擬的優(yōu)勢(shì)。
結(jié)構(gòu)數(shù)據(jù)即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。
所謂非結(jié)構(gòu)數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類(lèi)報(bào)表、圖像和音頻/視頻信息等等。
所謂半結(jié)構(gòu)數(shù)據(jù),就是介于完全結(jié)構(gòu)數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)中的數(shù)據(jù))和完全無(wú)結(jié)構(gòu)的數(shù)據(jù)(如聲音、圖像文件等)之間的數(shù)據(jù),HTML文檔就屬于半結(jié)構(gòu)數(shù)據(jù)。它一般是自描述的,數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起,沒(méi)有明顯的區(qū)分。
目前傳統(tǒng)的數(shù)據(jù)往往多為結(jié)構(gòu)數(shù)據(jù)和半結(jié)構(gòu)數(shù)據(jù),是原始數(shù)據(jù)的抽象化,類(lèi)型較為單一。傳統(tǒng)的數(shù)據(jù)庫(kù)管理系統(tǒng)不能滿足云數(shù)據(jù)庫(kù)管理系統(tǒng)的需求,集中式的架構(gòu)大部分是40年前設(shè)計(jì)的,不能有效的分布式的存儲(chǔ)在數(shù)據(jù)中心之中。
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,特別是Internet和Intranet技術(shù)的飛快發(fā)展,使得非結(jié)構(gòu)數(shù)據(jù)的數(shù)量日趨增大。因而,數(shù)據(jù)發(fā)展進(jìn)入基于網(wǎng)絡(luò)應(yīng)用的非結(jié)構(gòu)數(shù)據(jù)時(shí)代。如今,這種迅猛增長(zhǎng)的從不使用的數(shù)據(jù)消耗著復(fù)雜而昂貴的一級(jí)存儲(chǔ)的存儲(chǔ)容量,非結(jié)構(gòu)數(shù)據(jù)儲(chǔ)存更為復(fù)雜,涉及的領(lǐng)域較多,規(guī)模又很大,處理起來(lái)也更為不易,還會(huì)產(chǎn)生很多無(wú)用信息,就需要非結(jié)構(gòu)數(shù)據(jù)處理系統(tǒng)更有效快速的篩選和處理具有潛在價(jià)值的不同類(lèi)型的文件。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有技術(shù)中的上述不足,本實(shí)用新型提供一種可對(duì)傳感器采集的數(shù)據(jù)量分析,也能對(duì)圖像、圖形、視頻模型等非結(jié)構(gòu)智能模型分析處理并能夠使非結(jié)構(gòu)數(shù)據(jù)被快速提取篩選出用的信息,并對(duì)信息進(jìn)行有效的處理并上傳云端存儲(chǔ)的非結(jié)構(gòu)數(shù)據(jù)處理系統(tǒng)。
為實(shí)現(xiàn)以上技術(shù)目的,本實(shí)用新型的技術(shù)方案是:一種非結(jié)構(gòu)數(shù)據(jù)處理系統(tǒng),傳感器信號(hào)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集卡和數(shù)據(jù)傳輸端口,所述傳感器信號(hào)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集卡和數(shù)據(jù)傳輸端口依次連接,所述非結(jié)構(gòu)數(shù)據(jù)采集模塊與非結(jié)構(gòu)數(shù)據(jù)采集卡信號(hào)連接,所述非結(jié)構(gòu)數(shù)據(jù)采集卡包括電源模塊、處理器模塊、存儲(chǔ)模塊和I/O接口模塊,所述電源模塊分別與處理器模塊、存儲(chǔ)模塊和I/O接口模塊電連接,所述處理器模塊、存儲(chǔ)模塊和IO接口模塊依次信號(hào)連接,所述非結(jié)構(gòu)數(shù)據(jù)采集模塊與非結(jié)構(gòu)數(shù)據(jù)采集卡信號(hào)連接是指非結(jié)構(gòu)數(shù)據(jù)采集模塊與存儲(chǔ)模塊連接。
作為優(yōu)選,非結(jié)構(gòu)數(shù)據(jù)采集模塊為普通相機(jī)或智能相機(jī)。
作為優(yōu)選,所述非結(jié)構(gòu)化數(shù)據(jù)包括辦公文檔、文本、圖像、XML或HTML各類(lèi)報(bào)表和視頻數(shù)據(jù)。
作為優(yōu)選,所述數(shù)據(jù)傳輸端口為網(wǎng)絡(luò)傳輸端口。
作為優(yōu)選,所述處理器模塊為FPGA或DSP圖像數(shù)據(jù)處理器。
從以上描述可以看出,本實(shí)用新型具備以下優(yōu)點(diǎn):非結(jié)構(gòu)數(shù)據(jù)處理系統(tǒng)可以應(yīng)用于工業(yè)流水線,人臉識(shí)別、智能制造和智能機(jī)器人等諸多場(chǎng)景。還可以實(shí)時(shí)分析多類(lèi)型復(fù)雜數(shù)據(jù),可以從給定的靜態(tài)或動(dòng)態(tài)圖像中提取人臉信息等手段,與數(shù)據(jù)庫(kù)中已知身份人臉進(jìn)行匹配,并能整合與挖掘數(shù)據(jù)資源;可以實(shí)時(shí)對(duì)模型進(jìn)行數(shù)據(jù)處理分析,通過(guò)整合與挖掘數(shù)據(jù)資源,進(jìn)行工業(yè)模型識(shí)別。
同時(shí)本實(shí)用新型專(zhuān)利的非結(jié)構(gòu)化數(shù)據(jù)處理卡能根據(jù)對(duì)傳輸信號(hào)(溫度、濕度和信號(hào)等)的不同處理視屏輸入;其中非結(jié)構(gòu)化數(shù)據(jù)處理卡提取篩選非結(jié)構(gòu)化數(shù)據(jù)中的用的信息(顏色、目標(biāo)外型、目標(biāo)位置、目標(biāo)數(shù)量和測(cè)量信息等);非結(jié)構(gòu)化數(shù)據(jù)處理卡能對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理;非結(jié)構(gòu)化數(shù)據(jù)處理卡在數(shù)據(jù)傳輸過(guò)程中擁有數(shù)據(jù)加解密功能,防止數(shù)據(jù)被非法獲取泄露和外部黑客惡意的竊取和破壞。
附圖說(shuō)明
圖1為本實(shí)用新型的非結(jié)構(gòu)數(shù)據(jù)處理系統(tǒng)的框圖。
具體實(shí)施方式
如圖1所示,一種非結(jié)構(gòu)數(shù)據(jù)處理系統(tǒng),傳感器信號(hào)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集卡和數(shù)據(jù)傳輸端口,所述傳感器信號(hào)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集模塊、非結(jié)構(gòu)數(shù)據(jù)采集卡和數(shù)據(jù)傳輸端口依次連接,所述非結(jié)構(gòu)數(shù)據(jù)采集模塊與非結(jié)構(gòu)數(shù)據(jù)采集卡信號(hào)連接,所述非結(jié)構(gòu)數(shù)據(jù)采集卡包括電源模塊、處理器模塊、存儲(chǔ)模塊和I/O接口模塊,所述電源模塊分別與處理器模塊、存儲(chǔ)模塊和I/O接口模塊電連接,所述處理器模塊、存儲(chǔ)模塊和IO接口模塊依次信號(hào)連接,所述非結(jié)構(gòu)數(shù)據(jù)采集模塊與非結(jié)構(gòu)數(shù)據(jù)采集卡信號(hào)連接是指非結(jié)構(gòu)數(shù)據(jù)采集模塊與存儲(chǔ)模塊連接;非結(jié)構(gòu)數(shù)據(jù)采集模塊為普通相機(jī)或智能相機(jī);所述非結(jié)構(gòu)化數(shù)據(jù)包括辦公文檔、文本、圖像、XML或HTML各類(lèi)報(bào)表和視頻數(shù)據(jù);所述數(shù)據(jù)傳輸端口為網(wǎng)絡(luò)傳輸端口;所述處理器模塊為FPGA或DSP圖像數(shù)據(jù)處理器。
非結(jié)構(gòu)化數(shù)據(jù)處理卡處理器的軟件處理流程大致為:非結(jié)構(gòu)化數(shù)據(jù)處理卡先對(duì)相機(jī)采集到的目標(biāo)進(jìn)行識(shí)別判斷,進(jìn)而篩選得到有效的圖像信息,將有效的圖像信息數(shù)據(jù)經(jīng)過(guò)結(jié)構(gòu)化處理,通過(guò)通訊協(xié)議的轉(zhuǎn)換,得到圖像中的有用信息(例如:目標(biāo)顏色、目標(biāo)外型、目標(biāo)位置、目標(biāo)數(shù)量、測(cè)量信息等等),經(jīng)過(guò)總線接口通信傳輸,組態(tài)下載數(shù)據(jù),組態(tài)執(zhí)行數(shù)據(jù),數(shù)據(jù)經(jīng)過(guò)加解密的數(shù)據(jù)安全保護(hù)通過(guò)I/O(輸入輸出)和AD/DA(即模擬信號(hào)轉(zhuǎn)數(shù)字信號(hào),數(shù)字信號(hào)轉(zhuǎn)模擬信號(hào))上傳云端存儲(chǔ),云中心服務(wù)器實(shí)時(shí)永久性存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù),從而實(shí)現(xiàn)遠(yuǎn)程存儲(chǔ),監(jiān)控。同時(shí)為以后行業(yè)大數(shù)據(jù)分析做鋪墊,可大量節(jié)約非結(jié)構(gòu)化數(shù)據(jù)處理卡內(nèi)存容量。
以上對(duì)本實(shí)用新型及其實(shí)施方式進(jìn)行了描述,該描述沒(méi)有限制性,附圖中所示的也只是本實(shí)用新型的實(shí)施方式之一,實(shí)際的結(jié)構(gòu)并不局限于此??偠灾绻绢I(lǐng)域的普通技術(shù)人員受其啟示,在不脫離本實(shí)用新型創(chuàng)造宗旨的情況下,不經(jīng)創(chuàng)造性的設(shè)計(jì)出與該技術(shù)方案相似的結(jié)構(gòu)方式及實(shí)施例,均應(yīng)屬于本實(shí)用新型的保護(hù)范圍。