本發(fā)明屬于音頻視頻錄播設(shè)備技術(shù)領(lǐng)域,具體涉及一種錄播設(shè)備及錄播方法。
背景技術(shù):
良好的教育對于社會非常重要。好的教學(xué)內(nèi)容應(yīng)當(dāng)被自動錄下來,科學(xué)研究中好的報告也應(yīng)當(dāng)被錄下來,以便好的內(nèi)容可以被更多的人分享。再如,學(xué)生可以用這些課堂內(nèi)容視頻幫助他們做作業(yè),準(zhǔn)備測驗與考試,或補(bǔ)習(xí)缺失的課程以便趕上進(jìn)度。目前蓬勃發(fā)展的慕課、微課、翻轉(zhuǎn)課堂等在線教育服務(wù),對錄播設(shè)備都有強(qiáng)烈的需求。
錄播設(shè)備是近年來出現(xiàn)的新型設(shè)備,廣泛地用于教育、醫(yī)療和視頻會議中。通常的錄播設(shè)備有幾路視頻輸入,每一路視頻是單攝像頭,數(shù)據(jù)放到數(shù)據(jù)采集卡上,并由cpu/gpu進(jìn)行壓縮、編碼、解碼等。
現(xiàn)有技術(shù)中針對課堂上課的錄播設(shè)備,都是使用一個攝像頭錄制黑板上的內(nèi)容。錄制的比例通常是2比1,或者是16比9,錄播的精度為高清或全高清。不過,通常黑板的比例是4比1。為了解決這個問題,現(xiàn)有的方法是進(jìn)行人工操作或者用旋轉(zhuǎn)攝像頭,以選擇錄制的內(nèi)容。但是,人工錄制增加了人力成本、旋轉(zhuǎn)攝像頭則造價成本高,而且兩者都不夠可靠,其鏡頭運動不夠流暢,而且錄制過程中往往會丟掉一些無法復(fù)制的原始內(nèi)容。
同時,現(xiàn)有的這些設(shè)備僅僅滿足了初步的錄播需要,但是造價昂貴并且分辨率低,安裝與操作也很復(fù)雜,碼流較高,不能滿足價廉物美的市場需求,也不符合通過普通互聯(lián)網(wǎng)傳輸常態(tài)課堂的錄播需求。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的正是為了解決現(xiàn)有錄播設(shè)備精度低、成本高、比特率高不能滿足常態(tài)錄播需求等技術(shù)問題,提出了一種新型的多鏡頭錄播設(shè)備,簡化了硬件結(jié)構(gòu),降低了制造成本,大大提高了圖像精度,實現(xiàn)了畫面比例調(diào)整,同時低比特率更利于網(wǎng)絡(luò)傳輸,真正做到了價廉物美。
本發(fā)明提供了一種多鏡頭錄播設(shè)備,主要包括主板、微處理器、網(wǎng)絡(luò)交換機(jī)和攝像頭模塊。所述攝像頭模塊通過網(wǎng)絡(luò)交換機(jī)與主板相連,攝像頭模塊與網(wǎng)絡(luò)交換機(jī)通過網(wǎng)絡(luò)外接口連接。所述微處理器同時連接主板和攝像頭模塊。主板上設(shè)置有內(nèi)裝主系統(tǒng)的中央處理器。所述攝像頭模塊主要包括攝像頭一、攝像頭二、同幀振蕩器、hdmi視頻采集模塊和gpu。
進(jìn)一步地,所述主板上連接有硬盤驅(qū)動器、wifi模塊、usb網(wǎng)口、usb音頻接口和直播模塊。
進(jìn)一步地,所述微處理器連接有紅外接收板、led指示燈和電源適配器。
進(jìn)一步地,所述攝像頭一、攝像頭二為網(wǎng)絡(luò)攝像頭,主板、網(wǎng)絡(luò)攝像頭和hdmi視頻采集模塊通過網(wǎng)絡(luò)交換機(jī)相互連接。
作為進(jìn)一步地優(yōu)選技術(shù)手段,所述gpu集成在主板上。
本發(fā)明還提供了一種錄播方法,基于前述的多鏡頭錄播設(shè)備:
一,直流電源為多鏡頭錄播設(shè)備供電;
二,兩個攝像頭同步采集視頻圖像;
三,hdmi視頻采集模塊將視頻圖像編碼為高比特率流,并將其發(fā)送到gpu;
四,gpu將來自兩個攝像鏡頭的視頻圖像解碼,并將它們拼接在一起;
五,視頻處理模塊處理從gpu接收拼接的視頻流,根據(jù)校準(zhǔn)信息將不同的幀融合成最終視頻圖像,并將融合視頻圖像以原始格式編碼在中央處理器上;
六,融合視頻圖像自動轉(zhuǎn)換為若干種分辨率格式;
七,中央處理器將視頻進(jìn)行直播,或以低比特率存儲在硬盤驅(qū)動器中。
進(jìn)一步地,客戶終端設(shè)備通過主板上設(shè)置的wifi模塊,訪問錄播設(shè)備,實現(xiàn)在線直播、點播。
本發(fā)明另外還提供了一種單鏡頭錄播設(shè)備,主要包括主板、微處理器、網(wǎng)絡(luò)交換機(jī)和攝像頭模塊。所述攝像頭模塊通過網(wǎng)絡(luò)交換機(jī)與主板相連,攝像頭模塊與網(wǎng)絡(luò)交換機(jī)通過網(wǎng)絡(luò)外接口連接。所述微處理器同時連接主板和攝像頭模塊。主板上設(shè)置有內(nèi)裝主系統(tǒng)的中央處理器。所述攝像頭模塊主要包括單攝像頭、hdmi視頻采集模塊和gpu。
以及基于單鏡頭錄播設(shè)備的如下錄播方法:
一,直流電源為單鏡頭錄播設(shè)備供電;
二,攝像頭采集視頻圖像;
三,hdmi視頻采集模塊將視頻圖像編碼為高比特率流,并將其發(fā)送到gpu;
四,gpu將來自攝像鏡頭的視頻圖像解碼,并進(jìn)行形狀和色差校正;
五,視頻處理模塊處理從gpu接收拼接的視頻流,根據(jù)校準(zhǔn)信息將不同的幀融合成最終視頻圖像,并將融合視頻圖像以原始格式編碼在中央處理器上;
六,融合視頻圖像自動轉(zhuǎn)換為若干種分辨率格式;
七,中央處理器將視頻進(jìn)行直播,或以低比特率存儲在硬盤驅(qū)動器中。
本發(fā)明通過多鏡頭攝錄視頻圖像,用以太網(wǎng)傳輸內(nèi)部數(shù)據(jù),視頻圖像經(jīng)gpu拼接,再由cpu進(jìn)行壓縮。本發(fā)明用價格低廉的普通攝像頭和電子部件就能達(dá)到很高的錄播精度,并且網(wǎng)絡(luò)視頻流量低,使得高質(zhì)量常態(tài)錄/直播變?yōu)楝F(xiàn)實。另一種單鏡頭錄播設(shè)備,通過圖像校正和壓縮,同樣能夠達(dá)到上述技術(shù)效果。
附圖說明
圖1是本發(fā)明多鏡頭錄播設(shè)備的總體結(jié)構(gòu)框圖;
圖2是本發(fā)明中攝像頭模塊實施例一的結(jié)構(gòu)示意圖;
圖3是本發(fā)明多鏡頭錄播設(shè)備的工作流程圖;
圖4是本發(fā)明中攝像頭模塊實施例二的結(jié)構(gòu)示意圖;
圖5是本發(fā)明單鏡頭錄播設(shè)備的工作流程圖。
具體實施方式
下面結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)描述:
實施例一
如圖1所示,本發(fā)明的一種多鏡頭錄播設(shè)備,主要包括主板、微處理器(mcu)、網(wǎng)絡(luò)交換機(jī)和攝像頭模塊。所述攝像頭模塊通過網(wǎng)絡(luò)交換機(jī)與主板相連,攝像頭模塊與網(wǎng)絡(luò)交換機(jī)通過網(wǎng)絡(luò)外接口連接。該網(wǎng)絡(luò)外接口具有多個接口。微處理器同時連接主板和攝像頭模塊。作為優(yōu)選,本發(fā)明的主板上設(shè)置有中央處理器(如intelcpu),內(nèi)裝有g(shù)nu/linux操作主系統(tǒng),mcu是一個8位簡單計算機(jī),運行簡單的軟件。
其中,主板上連接有硬盤驅(qū)動器、wifi模塊、usb網(wǎng)口(以太網(wǎng))、usb音頻接口和直播模塊。主板上僅有的一個以太網(wǎng)接口用于連接網(wǎng)絡(luò)交換機(jī),以實現(xiàn)設(shè)備內(nèi)部的數(shù)據(jù)交換,因此本發(fā)明使用了若干usb以太網(wǎng)口用于連接外部設(shè)備。本發(fā)明也提供多路外接視頻采集線,以便采集教室內(nèi)學(xué)生的視頻。設(shè)備提供usb音頻適配器,可以接入音頻線,實現(xiàn)單聲道麥克風(fēng)輸入和音頻輸出。wifi模塊直接連接到主板上,用于實現(xiàn)本地wifi熱點功能。
微處理器連接有紅外接收板和led指示燈,紅外接收板用于接收遙控器信號,并通過led指示燈體現(xiàn)其工作狀態(tài)。電源適配器為微處理器提供合適的直流工作電壓。
本發(fā)明的攝像頭模塊采用多攝像頭結(jié)構(gòu),附圖2示出了其中一個優(yōu)選的實施例,主要包括攝像頭一、攝像頭二、同幀振蕩器、hdmi視頻采集模塊和gpu。攝像頭一和攝像頭二分別同時連接同幀振蕩器、hdmi視頻采集模塊。同幀振蕩器與hdmi視頻采集模塊相連。其中,多攝像頭為網(wǎng)絡(luò)攝像頭,主板(實質(zhì)上是集成在其上的gpu)、網(wǎng)絡(luò)攝像頭和hdmi視頻采集模塊通過網(wǎng)絡(luò)交換機(jī)相互連接。
如圖2所示,本實施例的攝像頭模塊具有共享的同幀振蕩器,各網(wǎng)絡(luò)攝像頭均與該同幀振蕩器相連,以簡化幀同步的過程。因為來自兩個攝像頭的幀被合并成一個圖像,所以兩個攝像頭的幀必須是同步的,即必須保證在同一時刻拍攝。作為一種優(yōu)選的技術(shù)手段,攝像頭模塊的gpu可以集成在前述的主板上。
參見附圖3,本實施例的工作原理和工作過程如下:
當(dāng)設(shè)備由直流電源(如,經(jīng)電源適配器轉(zhuǎn)換為19v)供電時,微控制器(mcu)將一直處于運行狀態(tài)。此后,
1、通過紅外遙控器操作mcu發(fā)送命令,使得主板啟動;
2、主板通過中央處理器加載主系統(tǒng),并啟動內(nèi)部軟件,其中,主系統(tǒng)內(nèi)部具有視頻處理模塊、轉(zhuǎn)換服務(wù)模塊、校準(zhǔn)模塊、mcu通信模塊和web用戶界面等;
3、主系統(tǒng)通過mcu發(fā)送命令為本發(fā)明多鏡頭錄播設(shè)備的各組成部分上電;
4、攝像頭模塊加載子系統(tǒng);
5、攝像頭同步采集視頻圖像;
6、hdmi視頻采集模塊將視頻編碼為高比特率(5m-10m/s)流,并將其發(fā)送到gpu;
7、gpu將來自兩個攝像鏡頭的視頻解碼,并將它們拼接在一起;
8、視頻處理模塊處理從gpu接收拼接的視頻流,根據(jù)校準(zhǔn)信息將不同的幀融合成最終視頻圖像,并將視頻以原始格式編碼在中央處理器上;
9、融合視頻圖像稍后會由轉(zhuǎn)換服務(wù)模塊自動轉(zhuǎn)換為若干種分辨率格式(如mp4、mkv等);
10、中央處理器將視頻進(jìn)行直播,或以低比特率(1m/s)存儲在硬盤驅(qū)動器中供進(jìn)一步使用。
在上述步驟8中,校準(zhǔn)實用程序使用計算機(jī)視覺技術(shù)識別攝像頭圖像中的背景并計算信息,再通過視頻處理軟件將兩個圖像進(jìn)行融合。
在一個具體應(yīng)用中,本發(fā)明采用多鏡頭的目的是獲取更寬的圖像,匹配教室黑板的長寬比,全景展示教室上課時板書畫面。比如通過兩個鏡頭分別采集信號,兩路信號通過圖像拼接技術(shù)實時融合,獲得清晰的全景黑板畫面。融合后圖像分辨率能夠達(dá)到3840*1080,貼近真實黑板比例。通過雙鏡頭采集視頻信號,也大大地降低了達(dá)到高精度錄制的設(shè)備成本。
本實施例中使用雙鏡頭融合技術(shù)獲取的寬幅視頻信號,鏡頭采集到的視頻信號經(jīng)由數(shù)據(jù)采集卡傳遞給數(shù)據(jù)處理模塊,視頻信號通過h.264(或h.265)視頻壓縮技術(shù)進(jìn)行壓縮處理。外設(shè)拾音器采集到的音頻數(shù)據(jù)同步傳遞給數(shù)據(jù)處理模塊,音視頻數(shù)據(jù)經(jīng)過同步、壓縮處理后,存儲到設(shè)備內(nèi)置的硬盤中。h.264(或h.265)視頻編解碼標(biāo)準(zhǔn)有低碼率(lowbitrate)、圖像質(zhì)量高、容錯能力強(qiáng)、網(wǎng)絡(luò)適應(yīng)性強(qiáng)等優(yōu)點。另外可以充分利用h.264(或h.265)的優(yōu)點,把教師和學(xué)生與背景(黑板)分開,大幅度壓縮了視頻數(shù)據(jù)。
本發(fā)明的web用戶界面由web服務(wù)器、后端軟件和客戶端軟件組成。它允許用戶使用不同的設(shè)備(臺式電腦、筆記本電腦、平板電腦、智能手機(jī)等)上的普通瀏覽器軟件操作錄播設(shè)備??蛻艚K端設(shè)備通過主板上設(shè)置的wifi模塊,訪問錄播設(shè)備,實現(xiàn)在線直播、點播。
需要聲明的是,本發(fā)明的網(wǎng)絡(luò)攝像頭不限于兩個,具體數(shù)量視使用場景需要而定。
綜上所述,本發(fā)明通過多鏡頭攝錄視頻圖像,用以太網(wǎng)傳輸內(nèi)部數(shù)據(jù),視頻圖像經(jīng)gpu拼接,再由cpu進(jìn)行壓縮。本發(fā)明用價格低廉的普通攝像頭和電子部件就能達(dá)到很高的錄播精度,并且網(wǎng)絡(luò)視頻流量低,使得高質(zhì)量常態(tài)錄/直播變?yōu)楝F(xiàn)實。
實施例二
參見附圖1、4和5,本實施例二與實施例一在硬件上的區(qū)別在于,提供了一種單攝像頭錄播設(shè)備,其中的攝像頭模塊采用單攝像頭結(jié)構(gòu),主要包括網(wǎng)絡(luò)攝像頭、hdmi視頻采集模塊和gpu。
通常情況下,單攝像頭采集的圖像在邊緣處會存在扭曲和色差。本實施例中,hdmi視頻采集模塊將攝像頭同步采集的視頻圖像編碼為高比特率(5m-10m/s)流,并將其發(fā)送到gpu,然后gpu將對圖像在邊緣處的扭曲和色差進(jìn)行校正,最后視頻處理模塊處理從gpu接收拼接的視頻流,根據(jù)校準(zhǔn)信息將不同的幀融合成最終視頻圖像,并將視頻以原始格式編碼在中央處理器上。
本發(fā)明的錄播設(shè)備內(nèi)置wifi無線模塊,可以用手機(jī)、平板電腦、pc等終端通過wifi連接設(shè)備,進(jìn)而通過內(nèi)置客戶端軟件操控設(shè)備。本錄播設(shè)備錄制的音視頻信號可以通過網(wǎng)絡(luò)交換機(jī)的wan端口進(jìn)行直播,即可以通過互聯(lián)網(wǎng)實時看到錄制的課堂畫面,通過內(nèi)置無線模塊也可在平板、pc等操控終端看到直播畫面。通過互聯(lián)網(wǎng)訪問錄播設(shè)備,可以實現(xiàn)在線直播、點播功能。
本實施例適用于背景寬度不是很大的錄播場景,單攝像頭結(jié)構(gòu)進(jìn)一步降低了設(shè)備成本。
本發(fā)明的錄播設(shè)備在實際錄播過程中,可選擇多種輸出分辨率的視頻信號,當(dāng)選擇4k(3840*1080)分辨率時,錄制9分18秒的視頻文件大小44mb,錄制一小時的視頻占用存儲空間約540mb,音頻同步清晰,可以清楚的看到黑板上板書的文字。
對于本領(lǐng)域技術(shù)人員而言,顯然本發(fā)明不限于上述示范性實施例的細(xì)節(jié),而且在不背離本發(fā)明的精神或基本特征的情況下,能夠以其他的具體形式實現(xiàn)本發(fā)明。因此,無論從哪一點來看,均應(yīng)將實施例看作是示范性的,而且是非限制性的,本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定,因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。
此外,應(yīng)當(dāng)理解,雖然本說明書按照實施方式加以描述,但并非每個實施方式僅包含一個獨立的技術(shù)方案,說明書的這種敘述方式僅僅是為清楚起見,本領(lǐng)域技術(shù)人員應(yīng)當(dāng)將說明書作為一個整體,各實施例中的技術(shù)方案也可以經(jīng)適當(dāng)組合,形成本領(lǐng)域技術(shù)人員可以理解的其他實施方式。
本發(fā)明不限于以上對實施例的描述,本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明揭示的內(nèi)容,在本發(fā)明基礎(chǔ)上不必經(jīng)過創(chuàng)造性勞動所進(jìn)行的改進(jìn)和修改,比如內(nèi)置攝像頭、內(nèi)置主機(jī)分別改為外置攝像頭、外置主機(jī)或者反之等,都應(yīng)該在本發(fā)明的保護(hù)范圍之內(nèi)。