采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像jpeg編碼的方法
【專利說明】采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體的說是一種采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法。
【背景技術(shù)】
[0003]JPEG是聯(lián)合圖象專家組(Joint Picture Expert Group)的英文縮寫，是國際標(biāo)準(zhǔn)化組織(ISO)和CCITT聯(lián)合制定的靜態(tài)圖象的壓縮編碼標(biāo)準(zhǔn)。和相同圖象質(zhì)量的其它常用文件格式相比，JPEG是目前靜態(tài)圖象中壓縮比最高的。正是由于JPEG的高壓縮比，使得它廣泛地應(yīng)用于多媒體和網(wǎng)絡(luò)程序中。JPEG有幾種模式，其中最常用的是基于DCT變換的順序型模式。
[0004]DCT壓縮編碼的主要步驟是:8X8的圖象經(jīng)過DCT變換后，其低頻分量都集中在左上角，高頻分量分布在右下角。由于該低頻分量包含了圖象的主要信息，而高頻與之相比不那么重要，所以可以忽略高頻分量，從而達(dá)到壓縮的目的。量化步驟將高頻分量去掉，量化操作，就是將某一個(gè)值除以量化表中對(duì)應(yīng)的值。由于量化表左上角的值較小，右上角的值較大，這樣就起到了保持低頻分量，抑制高頻分量的目的。最后對(duì)64個(gè)字塊編碼，為進(jìn)一步實(shí)現(xiàn)壓縮可用Huffman編碼。
[0005]本發(fā)明主要用到的是分布式集群中的文件管理、任務(wù)管理和分布式存儲(chǔ)技術(shù)。分布式文件系統(tǒng)(Distributed File System)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)的設(shè)計(jì)基于客戶機(jī)/服務(wù)器模式。分布式任務(wù)分配中，主要的部分是任務(wù)分配器。任務(wù)集由外輸入，進(jìn)入任務(wù)分配器中。任務(wù)分配器由多個(gè)隊(duì)列組成，任務(wù)進(jìn)入任務(wù)分配器中的某一個(gè)隊(duì)列。多個(gè)隊(duì)列的權(quán)值不同，權(quán)值高低表示任務(wù)分配的多少，從任務(wù)分配器中出來的任務(wù)進(jìn)入結(jié)點(diǎn)中。分布式列式數(shù)據(jù)庫是將同一個(gè)數(shù)據(jù)列的各個(gè)值存放在一起。插入某個(gè)數(shù)據(jù)行時(shí)，該行的各個(gè)數(shù)據(jù)列的值也會(huì)存放到不同的地方。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)存在的不足之處，本發(fā)明提供一種采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法。
[0007]本發(fā)明所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，解決上述技術(shù)問題采用的技術(shù)方案如下:該方法首先將海量圖像數(shù)據(jù)傳入分布式集群，然后對(duì)存入分布式集群的圖像執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，最后，將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫中，實(shí)現(xiàn)數(shù)據(jù)的持久化。
[0008]優(yōu)選的，每個(gè)DCT基壓縮編碼步驟可作為分布式集群的任務(wù)，提交給集群統(tǒng)一管理。
[0009]優(yōu)選的，所述分布式集群采用Hadoop集群，所述Hadoop集群的HDFS文件系統(tǒng)為集群提供統(tǒng)一的文件命名系統(tǒng)，將傳入的圖像提供冗余備份。
[0010]優(yōu)選的，對(duì)存入Hadoop集群的圖像執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，將DCT基壓縮編碼步驟中各個(gè)步驟作為mapreduce任務(wù)分配給Hadoop集群。
[0011]優(yōu)選的，所述FDCT步驟，將圖像作為map任務(wù)的輸入，map任務(wù)中包括了 FDCT的具體過程，最終將結(jié)果匯總到reduce中，為量化步驟整理數(shù)據(jù)。
[0012]優(yōu)選的，將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式列式數(shù)據(jù)庫hbase，且將各個(gè)步驟的數(shù)據(jù)存到不同的列族中。
[0013]本發(fā)明的采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法與現(xiàn)有技術(shù)相比具有的有益效果是:該方法通過將海量圖像數(shù)據(jù)傳入分布式集群，對(duì)存入分布式集群的圖像執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，并將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫中，提升了讀寫性能，避免了傳統(tǒng)行式數(shù)據(jù)庫中讀寫數(shù)據(jù)緩慢，同時(shí)可實(shí)現(xiàn)海量圖像數(shù)據(jù)的壓縮，解決了傳統(tǒng)系統(tǒng)對(duì)海量圖像數(shù)據(jù)編碼遇到的問題，實(shí)現(xiàn)了數(shù)據(jù)的持久化。
【附圖說明】
[0014]附圖1為采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法的流程圖，；
附圖2為所述列式數(shù)據(jù)庫的示意圖。
【具體實(shí)施方式】
[0015]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參考附圖，對(duì)本發(fā)明所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法進(jìn)一步詳細(xì)說明。
[0016]本發(fā)明所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，首先將海量圖像數(shù)據(jù)傳入分布式集群，然后，對(duì)存入分布式集群的圖像執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，最后，將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫中，實(shí)現(xiàn)數(shù)據(jù)的持久化。并且，該方法中的每個(gè)DCT基壓縮編碼步驟可作為分布式集群的任務(wù)，提交給集群統(tǒng)一管理，保證了任務(wù)執(zhí)行的可靠性。通過本發(fā)明所述方法，可實(shí)現(xiàn)海量圖像數(shù)據(jù)的壓縮，解決了傳統(tǒng)系統(tǒng)對(duì)海量圖像數(shù)據(jù)編碼遇到的問題。
[0017]實(shí)施例:
本實(shí)施例所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，首先將海量圖像數(shù)據(jù)傳入分布式集群，所述分布式集群基于主從結(jié)構(gòu)，具有統(tǒng)一管理數(shù)據(jù)功能，利用分布式集群的冗余備份、故障檢測(cè)功能，可實(shí)現(xiàn)圖像的可靠存儲(chǔ)。
[0018]本實(shí)施例所述方法中，所述分布式集群采用Hadoop集群；所述Hadoop集群的HDFS文件系統(tǒng)為集群提供了統(tǒng)一的文件命名系統(tǒng)，文件可位于多臺(tái)機(jī)器上，但對(duì)外體現(xiàn)為統(tǒng)一的系統(tǒng)；HDFS文件系統(tǒng)將傳入的圖像提供冗余備份，保證了圖像數(shù)據(jù)的安全性。
[0019]該采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，對(duì)存入Hadoop集群的圖像執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，將DCT基壓縮編碼步驟中各個(gè)步驟作為mapreduce任務(wù)分配給Hadoop集群；所述FDCT步驟，將圖像作為map任務(wù)的輸入，map任務(wù)中包括了 FDCT的具體過程，最終將結(jié)果匯總到reduce中，為量化步驟整理數(shù)據(jù)。
[0020]本實(shí)施例所述方法中，最后，將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫中，本實(shí)施例采用分布式列式數(shù)據(jù)庫hbase，可將各個(gè)步驟的數(shù)據(jù)存到不同的列族中，提升了讀寫性能，避免了傳統(tǒng)行式數(shù)據(jù)庫中讀寫數(shù)據(jù)緩慢的現(xiàn)象。
[0021]附圖1為本實(shí)施例采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法的流程圖，如附圖1所示，首先收集海量圖像，將圖像傳入分布式集群Hadoop集群，Hadoop集群的HDFS文件系統(tǒng)為集群提供統(tǒng)一的文件命名系統(tǒng)，然后建立mapreduce任務(wù)，執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)(任務(wù))，最后將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式列式數(shù)據(jù)庫中。
[0022]附圖2為所述列式數(shù)據(jù)庫的示意圖，如附圖2所示，以8*8圖像數(shù)據(jù)為例，其中設(shè)計(jì)列族FDCT、Q、Code、Zip、0，其中FDCT作為FDCT (變換)的數(shù)據(jù)存儲(chǔ)列，Q作為量化步驟的數(shù)據(jù)存儲(chǔ)列，Code作為熵編碼的數(shù)據(jù)存儲(chǔ)列，Zip為壓縮圖像數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)列，O為其他數(shù)據(jù)存儲(chǔ)列。
[0023]實(shí)現(xiàn)本實(shí)施例所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，其具體實(shí)施過程如下:第一、搭建分布式集群hadoop集群，設(shè)置好相應(yīng)參數(shù)，文件塊的大小應(yīng)大于圖像的大小，避免因?yàn)閳D像大小大于設(shè)置的參數(shù)引起圖像分割，導(dǎo)致計(jì)算結(jié)果失真；第二、將DCT基壓縮編碼步驟中各個(gè)步驟作為mapreduce任務(wù)發(fā)布到分布式集群上；第三、將DCT基壓縮編碼步驟中各個(gè)步驟產(chǎn)生的數(shù)據(jù)存儲(chǔ)到分布式列式數(shù)據(jù)庫中，實(shí)現(xiàn)數(shù)據(jù)持久化。
[0024]上述【具體實(shí)施方式】僅是本發(fā)明的具體個(gè)案，本發(fā)明的專利保護(hù)范圍包括但不限于上述【具體實(shí)施方式】，任何符合本發(fā)明的權(quán)利要求書的且任何所屬技術(shù)領(lǐng)域的普通技術(shù)人員對(duì)其所做的適當(dāng)變化或替換，皆應(yīng)落入本發(fā)明的專利保護(hù)范圍。
【主權(quán)項(xiàng)】
1.采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，其特征在于，該方法首先將海量圖像數(shù)據(jù)傳入分布式集群，然后對(duì)存入分布式集群的圖像執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，最后，將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫中，實(shí)現(xiàn)數(shù)據(jù)的持久化。
2.根據(jù)權(quán)利要求1所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，其特征在于，每個(gè)DCT基壓縮編碼步驟可作為分布式集群的任務(wù)，提交給集群統(tǒng)一管理。
3.根據(jù)權(quán)利要求2所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，其特征在于，所述分布式集群采用Hadoop集群，所述Hadoop集群的HDFS文件系統(tǒng)為集群提供統(tǒng)一的文件命名系統(tǒng)，將傳入的圖像提供冗余備份。
4.根據(jù)權(quán)利要求3所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，其特征在于，對(duì)存入Hadoop集群的圖像執(zhí)行DCT基壓縮編碼步驟:FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，將DCT基壓縮編碼步驟中各個(gè)步驟作為mapreduce任務(wù)分配給Hadoop集群。
5.根據(jù)權(quán)利要求4所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，其特征在于，所述FDCT步驟，將圖像作為map任務(wù)的輸入，map任務(wù)中包括了 FDCT的具體過程，最終將結(jié)果匯總到reduce中，為量化步驟整理數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，其特征在于，將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式列式數(shù)據(jù)庫hbase，且將各個(gè)步驟的數(shù)據(jù)存到不同的列族中。
【專利摘要】本發(fā)明公開一種采用分布式大數(shù)據(jù)架構(gòu)實(shí)現(xiàn)圖像JPEG編碼的方法，涉及大數(shù)據(jù)領(lǐng)域，首先將海量圖像數(shù)據(jù)傳入分布式集群，然后對(duì)存入分布式集群的圖像執(zhí)行DCT基壓縮編碼步驟：FDCT、量化、熵編碼、壓縮圖像數(shù)據(jù)，最后，將DCT基壓縮編碼步驟中各個(gè)步驟的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫中。通過本發(fā)明，避免了傳統(tǒng)行式數(shù)據(jù)庫中讀寫數(shù)據(jù)緩慢，同時(shí)可實(shí)現(xiàn)海量圖像數(shù)據(jù)的壓縮，解決了傳統(tǒng)系統(tǒng)對(duì)海量圖像數(shù)據(jù)編碼遇到的問題，實(shí)現(xiàn)了數(shù)據(jù)的持久化。
【IPC分類】H04N19-625, H04N19-423
【公開號(hào)】CN104853218
【申請(qǐng)?zhí)枴緾N201510238551
【發(fā)明人】戴鴻君, 于治樓
【申請(qǐng)人】浪潮集團(tuán)有限公司
【公開日】2015年8月19日
【申請(qǐng)日】2015年5月12日