基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，屬于計(jì)算機(jī)軟件領(lǐng)域，涉及文件系統(tǒng)。
【背景技術(shù)】
[0002]視頻監(jiān)控技術(shù)在智慧交通領(lǐng)域的發(fā)展中一直占據(jù)著重要地位。近年來(lái)視頻監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)技術(shù)隨著前端攝像頭分布的密集化，采集數(shù)據(jù)的高清化而受到越來(lái)越嚴(yán)峻的考驗(yàn)?，F(xiàn)有的視頻監(jiān)控存儲(chǔ)主要采用NVR存儲(chǔ)方案:通過(guò)中心業(yè)務(wù)平臺(tái)進(jìn)行集中管理和控制，以網(wǎng)絡(luò)視頻服務(wù)器和IP攝像機(jī)為前端，以IPSAN/NAS網(wǎng)絡(luò)存儲(chǔ)為后端進(jìn)行部署。作為NVR存儲(chǔ)的前端，IP攝像頭的高清化對(duì)后臺(tái)存儲(chǔ)所帶來(lái)的壓力是顯而易見(jiàn)的。以一路1080P (1920x1080)解析度，30幀/秒的視頻流為例，其所產(chǎn)生的原始視頻數(shù)據(jù)碼率為750Mbit/s。即使使用目前具有較高壓縮比的H.264視頻流壓縮編碼算法進(jìn)行編碼后，所產(chǎn)生的視頻流數(shù)據(jù)碼率也在4Mbit/s ~ 8Mbit/s之間。傳統(tǒng)的NVR存儲(chǔ)中基于NAS的存儲(chǔ)方式對(duì)存儲(chǔ)陣列中磁盤I/O的利用率不高，并且隨著前端接入攝像頭數(shù)目的增加，NVR存儲(chǔ)系統(tǒng)中磁盤的聚合I/O吞吐率急劇下降，其原因在于傳統(tǒng)NVR存儲(chǔ)系統(tǒng)針對(duì)多路視頻流的并發(fā)寫入未進(jìn)行調(diào)控，僅依靠存儲(chǔ)服務(wù)器上操作系統(tǒng)的并發(fā)寫入機(jī)制。
[0003]此外，在視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)場(chǎng)景中，通常要求監(jiān)控7*24小時(shí)不間斷，長(zhǎng)時(shí)間的磁盤I/o將極大地減少磁盤的使用壽命。傳統(tǒng)的NVR存儲(chǔ)系統(tǒng)和現(xiàn)有的云存儲(chǔ)方案中通常缺乏有效的磁盤調(diào)度和視頻流負(fù)載均衡策略，所有磁盤一直保持在工作狀態(tài)，浪費(fèi)能源的同時(shí)也降低了系統(tǒng)可靠性。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，主要解決傳統(tǒng)海量高清視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)中遇到的磁盤I/o吞吐率的瓶頸問(wèn)題和巨大的能源開銷和磁盤損耗問(wèn)題。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，包括步驟:
A、格式化磁盤，在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)初始化時(shí)，預(yù)先在每塊剛進(jìn)行過(guò)格式化的磁盤上建立固定大小的塊文件，再將每個(gè)塊文件劃分成若干個(gè)連續(xù)固定大小的文件片；
B、當(dāng)多路視頻流網(wǎng)絡(luò)I/O到來(lái)時(shí)，每一路視頻流的數(shù)據(jù)按照文件片的大小，在內(nèi)存緩存中合并成一個(gè)或多個(gè)完整的片數(shù)據(jù)；
C、調(diào)度器將片數(shù)據(jù)批量寫入磁盤中的文件片中。
[0006]具體地，所述每個(gè)塊文件具有全局唯一的標(biāo)識(shí)符blk id。所述文件片在所屬的塊文件中有一個(gè)唯一的標(biāo)識(shí)符fragment id。
[0007]塊文件的創(chuàng)建過(guò)程為:在全新的文件系統(tǒng)分區(qū)上，連續(xù)創(chuàng)建并寫入大小固定的普通文件，這些文件稱為塊文件，并對(duì)每個(gè)塊文件進(jìn)行命名和編號(hào)。
[0008]重要地，在塊文件內(nèi)部，劃分為多個(gè)大小固定的文件片。這樣多路視頻流的數(shù)據(jù)各自按照固定長(zhǎng)度，隨機(jī)地存儲(chǔ)在一起。
[0009]所述步驟B中，有網(wǎng)絡(luò)I/O到來(lái)的每一路視頻流的數(shù)據(jù)在內(nèi)存中，都對(duì)應(yīng)一個(gè)文件片大小的緩沖區(qū)域。
[0010]優(yōu)選地，所述步驟C中，每塊磁盤有一個(gè)調(diào)度器。
[0011]優(yōu)選地，所述步驟C中，調(diào)度器從內(nèi)存緩存中調(diào)度多視頻流的片數(shù)據(jù)，形成一個(gè)隊(duì)列。
[0012]優(yōu)選地，調(diào)度器按照FIFO算法，每次調(diào)度隊(duì)列中的一個(gè)片數(shù)據(jù)，一次只寫入磁盤的一個(gè)文件片。因此，一個(gè)文件片就只包含一個(gè)視頻流的數(shù)據(jù)。
[0013]在本發(fā)明中，文件系統(tǒng)的分區(qū)上，視頻流網(wǎng)絡(luò)輸入和分區(qū)寫入之間，由分區(qū)流緩沖區(qū)和調(diào)度器將并發(fā)隨機(jī)寫轉(zhuǎn)換為順序?qū)?。每一路視頻流文件擁有一個(gè)文件片大小的內(nèi)存緩存，多路視頻流的數(shù)據(jù)分別以固定的文件片大小的片在內(nèi)存緩存中合并成一個(gè)或多個(gè)完整的片數(shù)據(jù)。當(dāng)每一路視頻流的數(shù)據(jù)合并完成后，將數(shù)據(jù)交給調(diào)度器統(tǒng)一管理。接下來(lái)到來(lái)的每路視頻流的數(shù)據(jù)，繼續(xù)按照文件片大小在內(nèi)存緩存中進(jìn)行合并。調(diào)度器收到每一路視頻流的數(shù)據(jù)的文件片大小的緩存數(shù)據(jù)后，將其按照FIFO算法，形成一個(gè)調(diào)度隊(duì)列。調(diào)度器每次選取調(diào)度隊(duì)列中的一個(gè)節(jié)點(diǎn)的數(shù)據(jù)，按照f(shuō)ragment id遞增的順序，寫入磁盤中的文件片，保證在一個(gè)文件片內(nèi)，只包含一個(gè)視頻流的數(shù)據(jù)。寫完一個(gè)塊文件，接著寫下一個(gè)塊文件，寫完最后一個(gè)塊文件后，重新返回至第一個(gè)塊文件繼續(xù)寫入。
[0014]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
本發(fā)明提出了一種基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法。在本發(fā)明的細(xì)粒度的連續(xù)存儲(chǔ)模型下，避免了文件頻繁創(chuàng)建和刪除導(dǎo)致磁盤分區(qū)的空間碎片化，提高了磁盤I/o吞吐率，避免了磁盤磁頭在視頻流文件的并發(fā)寫入過(guò)程中的來(lái)回移動(dòng)，提高了磁盤的寫入吞吐率。
【附圖說(shuō)明】
[0015]圖1為視頻流文件基于塊文件下的文件片粒度的數(shù)據(jù)連續(xù)存儲(chǔ)模型。
[0016]圖2為多流并發(fā)隨機(jī)寫入調(diào)制和分塊內(nèi)存緩沖方法的示意圖。
【具體實(shí)施方式】
[0017]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，本發(fā)明的實(shí)施方式包括但不限于下列實(shí)施例。
實(shí)施例
[0018]如圖1和圖2所示，基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法如下:
在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)初始化時(shí)，預(yù)先在每塊剛進(jìn)行過(guò)格式化的磁盤上建立固定大小的塊文件，具體大小可由配置文件指定，之后將多路視頻流的數(shù)據(jù)按順序依次寫入這些塊文件，當(dāng)所有塊文件寫滿后自動(dòng)回到首個(gè)塊文件開始覆蓋寫入。
[0019]本實(shí)施例可實(shí)現(xiàn)多路視頻流的數(shù)據(jù)隨機(jī)并發(fā)寫入，并經(jīng)過(guò)調(diào)制，轉(zhuǎn)換成順序?qū)懭搿?br>[0020]在多個(gè)視頻流同時(shí)對(duì)一塊磁盤寫入的情況下，一個(gè)塊文件內(nèi)可能包含多個(gè)視頻流的數(shù)據(jù)，如果將所有視頻流的數(shù)據(jù)段的詳細(xì)位置作為元數(shù)據(jù)保存，則元數(shù)據(jù)信息會(huì)耗費(fèi)大量存儲(chǔ)空間。為了縮小元數(shù)據(jù)規(guī)模，再將一個(gè)塊文件劃成若干個(gè)連續(xù)固定大小的文件片，文件片大小可通過(guò)配置文件修改。這樣每一文件片在該文件塊中都有一個(gè)對(duì)應(yīng)的序號(hào)，當(dāng)每次向塊文件寫入視頻流的數(shù)據(jù)時(shí)，在一文件片內(nèi)只能包含一個(gè)視頻流的數(shù)據(jù)。如此一來(lái)，該視頻流寫入的文件對(duì)應(yīng)的元數(shù)據(jù)，就只有其寫入的塊文件號(hào)和此塊文件內(nèi)屬于該視頻流的數(shù)據(jù)片序號(hào)。之后可通過(guò)提取這些序號(hào)對(duì)應(yīng)的數(shù)據(jù)，將其組合還原為原始的視頻流的數(shù)據(jù)。由于視頻流的寫入頻率遠(yuǎn)遠(yuǎn)大于讀取頻率，采用此種方案可以在盡可能高效連續(xù)地將視頻流寫入磁盤的情況下，同時(shí)具備將視頻流數(shù)據(jù)讀出的能力。例如，上述附圖1，BLK1、BLK2、BLK5中為塊文件，包含了視頻流A的數(shù)據(jù)。其中對(duì)于BLK5，可以由圖1中看出，其中第O號(hào)和第2號(hào)文件片中，包含著視頻流A的數(shù)據(jù)。
[0021]本實(shí)施例的存儲(chǔ)方法如下:
在文件系統(tǒng)的一個(gè)分區(qū)內(nèi)，可能同時(shí)存在多個(gè)寫入請(qǐng)求，為每個(gè)正在寫入數(shù)據(jù)的客戶端維護(hù)一個(gè)線程來(lái)處理其請(qǐng)求。在每個(gè)分區(qū)的視頻流網(wǎng)絡(luò)數(shù)據(jù)和分區(qū)之間，設(shè)置面向多流并發(fā)寫入的分區(qū)流緩沖區(qū)和一個(gè)調(diào)度器。每一路視頻流文件擁有一個(gè)文件片大小的內(nèi)存緩存，多路視頻流的數(shù)據(jù)分別以固定的文件片大小的片在內(nèi)存緩存中合并成一個(gè)或多個(gè)片數(shù)據(jù)。當(dāng)每一路視頻流的數(shù)據(jù)合并完成后，將數(shù)據(jù)交給調(diào)度器統(tǒng)一管理。接下來(lái)到來(lái)的每路視頻流的數(shù)據(jù)，繼續(xù)按照文件片大小在內(nèi)存緩存中進(jìn)行合并。調(diào)度器收到每一路視頻流的數(shù)據(jù)的文件片大小的緩存后，即片數(shù)據(jù)，將其按照FIFO算法，形成一個(gè)調(diào)度隊(duì)列。調(diào)度器每次選取調(diào)度隊(duì)列中的一個(gè)節(jié)點(diǎn)的數(shù)據(jù)(即片數(shù)據(jù))，按照f(shuō)ragment id遞增的順序，寫入磁盤中的文件片，保證在一個(gè)文件片內(nèi)，只包含一個(gè)視頻流的數(shù)據(jù)。寫完一個(gè)塊文件，接著寫下一個(gè)塊文件，寫完最后一個(gè)塊文件后，重新返回至第一個(gè)塊文件繼續(xù)寫入。
[0022]本發(fā)明提出了一種基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法。在本發(fā)明的細(xì)粒度的連續(xù)存儲(chǔ)模型下，避免了文件頻繁創(chuàng)建和刪除導(dǎo)致磁盤分區(qū)的空間碎片化，提高了磁盤I/o吞吐率，避免了磁盤磁頭在視頻流文件的并發(fā)寫入過(guò)程中的來(lái)回移動(dòng)，提高了磁盤的寫入吞吐率。
[0023]按照上述實(shí)施例，便可很好地實(shí)現(xiàn)本發(fā)明。
【主權(quán)項(xiàng)】
1.基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，其特征在于，包括步驟: A、格式化磁盤，在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)初始化時(shí)，預(yù)先在每塊剛進(jìn)行過(guò)格式化的磁盤上建立固定大小的塊文件，再將每個(gè)塊文件劃分成若干個(gè)連續(xù)固定大小的文件片； B、當(dāng)多路視頻流網(wǎng)絡(luò)I/O到來(lái)時(shí)，每一路視頻流的數(shù)據(jù)按照文件片的大小，在內(nèi)存緩存中合并成一個(gè)或多個(gè)完整的片數(shù)據(jù)； C、調(diào)度器將片數(shù)據(jù)批量寫入磁盤中的文件片中。
2.根據(jù)權(quán)利要求1所述的基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，其特征在于，所述每個(gè)塊文件具有全局唯一的標(biāo)識(shí)符。
3.根據(jù)權(quán)利要求2所述的基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，其特征在于，所述文件片在所屬的塊文件中有一個(gè)唯一的標(biāo)識(shí)符。
4.根據(jù)權(quán)利要求1所述的基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，其特征在于，所述步驟B中，有網(wǎng)絡(luò)I/O到來(lái)的每一路視頻流的數(shù)據(jù)在內(nèi)存中，都對(duì)應(yīng)一個(gè)文件片大小的緩沖區(qū)域。
5.根據(jù)權(quán)利要求1所述的基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，其特征在于，所述步驟C中，每塊磁盤有一個(gè)調(diào)度器。
6.根據(jù)權(quán)利要求1所述的基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，其特征在于，所述步驟C中，調(diào)度器從內(nèi)存緩存中調(diào)度多視頻流的片數(shù)據(jù)，形成一個(gè)隊(duì)列。
7.根據(jù)權(quán)利要求6所述的基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法，其特征在于，調(diào)度器按照FIFO算法，每次調(diào)度隊(duì)列中的一個(gè)片數(shù)據(jù)，一次只寫入磁盤的一個(gè)文件片。
【專利摘要】本發(fā)明公開了基于連續(xù)存儲(chǔ)模型的多視頻流數(shù)據(jù)并發(fā)調(diào)制及緩沖的存儲(chǔ)方法。包括步驟：A、在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)初始化時(shí)，預(yù)先在每塊剛進(jìn)行過(guò)格式化的磁盤上建立固定大小的塊文件，再將每個(gè)塊文件劃分成若干個(gè)連續(xù)固定大小的文件片；B、當(dāng)多路視頻流網(wǎng)絡(luò)I/O到來(lái)時(shí)，每一路視頻流的數(shù)據(jù)按照文件片的大小，在內(nèi)存緩存中合并成一個(gè)或多個(gè)完整的片數(shù)據(jù)；C、調(diào)度器將片數(shù)據(jù)批量寫入磁盤中的文件片中。本發(fā)明針對(duì)海量高清視頻流數(shù)據(jù)的存儲(chǔ)，提出了一種自定義的連續(xù)存儲(chǔ)模型，有效解決了文件頻繁創(chuàng)建和刪除導(dǎo)致的磁盤分區(qū)空間碎片化，避免了磁盤磁頭在視頻流文件并發(fā)寫入過(guò)程中的來(lái)回移動(dòng)，高效利用了磁盤I/O吞吐率，同時(shí)提升了磁盤的寫入速率。
【IPC分類】H04N5-781
【公開號(hào)】CN104811646
【申請(qǐng)?zhí)枴緾N201510245337
【發(fā)明人】段翰聰, 閔革勇, 詹文翰, 郭輝, 程文靜, 張宇露, 李巧梅
【申請(qǐng)人】電子科技大學(xué)
【公開日】2015年7月29日
【申請(qǐng)日】2015年5月15日