本發(fā)明屬于攝像機(jī)領(lǐng)域,特別涉及無人機(jī)承載的攝像機(jī)。具體是九鏡頭無人機(jī)全景攝像機(jī)及其圖像處理方法。
背景技術(shù):
無人機(jī)攝像搭載的全景相機(jī)系統(tǒng)已經(jīng)廣泛應(yīng)用于國民經(jīng)濟(jì)各個(gè)領(lǐng)域和國防建設(shè)中,在國家建設(shè)和安全保護(hù)方面有著重要作用。隨著科技的不斷進(jìn)步,無人機(jī)全景攝像機(jī)正在不斷提升。但是現(xiàn)有技術(shù)還存在不足,還需要質(zhì)量技術(shù)更進(jìn)一步提高。中國專利cn201610912717.2《一種無人機(jī)搭載的全景相機(jī)系統(tǒng)及其操作方法》利用多面體作為載體,集攝像設(shè)備、gps與bds定位和osd圖像處理為一體的便捷全景定位系統(tǒng),結(jié)構(gòu)簡單,體積較小,省去間接過程環(huán)節(jié),拍攝更全面、更準(zhǔn)確,信息反饋更及時(shí)。不足是對(duì)于拼接存在死角,不能適應(yīng)不同鏡頭與圖像傳感器配合,拼接算法復(fù)雜。中國專利cn201610552295.2《無人機(jī)拍攝全景圖的方法及裝置》能夠控制無人機(jī)自動(dòng)旋轉(zhuǎn)并拍攝圖像,從而在不采用全景相機(jī)的前提下大大提高了拍攝全景圖的操作便捷性。不足是僅采用單鏡頭,拼接圖像存在時(shí)間差,拼接算法復(fù)雜。中國專利cn201320554125.x《全景影像無人機(jī)采集系統(tǒng)》將全景相機(jī)搭載在無人機(jī)上進(jìn)行空中影像采集,具有采集范圍廣、采集效率高的優(yōu)點(diǎn)。全景相機(jī)的鏡頭朝向不同的方向,能夠從不同角度采集一個(gè)物體的影像,具有采集精度高的優(yōu)點(diǎn)。不足是對(duì)于拼接存在死角,不能適應(yīng)不同鏡頭與圖像傳感器配合,拼接算法復(fù)雜。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足,給出一種多鏡頭全景結(jié)構(gòu)系統(tǒng)構(gòu)建方法,并針對(duì)所涉及結(jié)構(gòu)給出圖像處理方法。
本發(fā)明的目的是這樣達(dá)到的:一種九鏡頭無人機(jī)全景攝像機(jī),其特征在于:全景攝像機(jī)由兩部分組成,安裝支架和圖像處理系統(tǒng);圖像處理系統(tǒng)安裝在安裝支架上;安裝支架固定在無人機(jī)底部。
圖像處理系統(tǒng)包含9個(gè)相同的圖像傳感器和9個(gè)相同規(guī)格的定焦鏡頭,設(shè)圖像傳感器感應(yīng)的像素縱向?yàn)閤像素,橫向?yàn)閥像素(x>y),傳感像素的長和寬都為w;設(shè)定焦鏡頭的焦距為z,則圖像傳感器感應(yīng)面的長度為xw,寬度為yw;
即α等于0.5xw/z的反正切函數(shù)的兩倍,β等于0.5yw/z的反正切函數(shù)的兩倍,α和β的單位為度;
安裝支架由多個(gè)平板連接而成,含底板abcdefgh(30)、側(cè)面板、斜面板和固定板;側(cè)面板包括縱向側(cè)面板和橫向側(cè)面板.
固定板包括縱向側(cè)面固定板、斜面固定板和橫向側(cè)面固定板,縱向側(cè)面固定板、斜面固定板和橫向側(cè)面固定板共同構(gòu)成固定板.
側(cè)面板和斜面板構(gòu)成支撐板.
圖像傳感模塊安裝在支撐板和底板上,支撐板連接底板和固定板
固定板安裝支架固定在無人機(jī)底部安裝平面;所有固定板在一個(gè)平面上,并且與底板abcdefgh平行.
設(shè)固定板所在的平面與底板之間的距離為u,u大于2yw;安裝時(shí),底板平行于無人機(jī)底部安裝平面。
所述側(cè)面板包括縱向側(cè)面板和橫向側(cè)面板是指:縱向側(cè)面板abji、縱向側(cè)面板e(cuò)fqr,橫向側(cè)面板ghvd、橫向側(cè)面板cdnm.
所述斜面板是指斜面板hafe、斜面板bclk、斜面板depo、斜面板fgts.
所述固定板包括縱向側(cè)面固定板、斜面固定板和橫向側(cè)面固定板是指:縱向側(cè)面固定板ijji、縱向側(cè)面固定板qrrq,斜面固定板e(cuò)fhg、斜面固定板kllk、斜面固定板oppo、斜面固定板stts,橫向側(cè)面板ghvd、橫向側(cè)面板cdnm,橫向側(cè)面固定板dvvc、橫向側(cè)面固定板mnnm.
支撐板含斜面板hafe、斜面板bclk、斜面板depo、斜面板fgts,縱向側(cè)面板abji、縱向側(cè)面板e(cuò)fqr和橫向側(cè)面板ghvd、橫向側(cè)面板cdnm,圖像傳感模塊安裝在支撐板和底板abcdefgh上,支撐板連接底板和固定板.
所有固定板在一個(gè)平面上,并且與底板abcdefgh平行是指:縱向側(cè)面固定板ijji、縱向側(cè)面固定板qrrq,橫向側(cè)面固定板dvvc、橫向側(cè)面固定板mnnm和斜面固定板e(cuò)fhg、斜面固定板kllk、斜面固定板oppo、斜面固定板stts在一個(gè)平面上,并且與底板abcdefgh平行。
所述底板大小根據(jù)無人機(jī)大小而確定;ab與ef相互平行,abef為矩形,設(shè)ab長度為圖像傳感器感應(yīng)面的長度xw的a倍,即ab=ef=axw,且要求a大于3;cd=hg=ayw;cd邊和hg邊平行,并與ab和ef邊垂直;bedc、ahgf為等腰梯形,ah=gf=bc=ed=aw(x+y)/2;
af=be
縱向側(cè)面板abji、efqr大小相同,以縱向側(cè)面板abji為例來說明,縱向側(cè)面板abji為矩形,其中,ab=ij=axw
橫向側(cè)面板ghvd、cdnm大小相同,以橫向側(cè)面板cdnm35-2為例來說明,
cd=mn=ayw;
斜面板hafe、bclk、depo、fgts的大小相同,都是矩形,以斜面板bclk來說明,
bc=kl=aw(x+y)/2;
縱向側(cè)面固定板ijji、qrrq大小相同,都是矩形;以縱向側(cè)面固定板ijji為例來說明;
ij=j(luò)i=axw;ii=j(luò)i,且ii、jj長度大于3毫米;
橫向側(cè)面固定板dvvc、mnnm大小相同,都是矩形;以橫向側(cè)面固定板mnnm為例來說明;
mn=nm=ayw;mm=nn,且mm、nn長度大于3毫米;
斜面固定板e(cuò)fhg、kllk、oppo、stts大小相同,都是矩形;以斜面固定板kllk為例來說明,
kl=lk=aw(x+y)/2;
kk=ll,且kk、ll長度大于3毫米。
所述圖像處理系統(tǒng)由圖像傳感模塊、可編程門陣列以及外圍電路、無線傳輸模塊、視頻壓縮處理芯片以及其外圍電路構(gòu)成;
九個(gè)圖像傳感模塊分別安裝在底板abcdefgh,橫向側(cè)面板ghvd、cdnm,縱向側(cè)面板abji、efqr,斜面板hafe、bclk、depo、fgts上,通過控制信號(hào)線和像素亮度信號(hào)連接線與可編程門陣列以及外圍電路連接。
可編程門陣列以及外圍電路通過控制信號(hào)線和像素亮度信號(hào)連接線與九個(gè)圖像傳感模塊連接,通過通信連接線與無線傳輸模塊連接,通過視頻輸出信號(hào)連接線與視頻壓縮信號(hào)連接線與視頻壓縮處理芯片以及其外圍電路連接。
無線傳輸模塊通過通信連接線與可編程門陣列以及外圍電路連接,將可編程門陣列以及外圍電路處理后的數(shù)據(jù)通過無線傳輸方式傳輸?shù)竭h(yuǎn)處。
視頻壓縮處理芯片以及其外圍電路通過視頻輸出信號(hào)連接線與視頻壓縮信號(hào)連接線與可編程門陣列以及外圍電路連接。
圖像傳感模塊由鏡頭、安裝盒、傳感電路構(gòu)成。
安裝盒為密封不透光的盒子,為立方體或圓柱體,安裝盒有兩個(gè)平行的平面,一個(gè)平面用于安裝鏡頭,另一個(gè)平面用于固定在底板、側(cè)面板或斜面板上。安裝鏡頭的平面正中央開有安裝鏡頭的圓形內(nèi)絲口,絲口的直徑與鏡頭的外絲口直徑相同。
鏡頭為定焦鏡頭,根據(jù)需要選擇不同焦距鏡頭;九個(gè)鏡頭的規(guī)格完全相同。
傳感電路用于感應(yīng)鏡頭的圖像,在傳感電路上有圖像傳感器,保證傳感電路上的圖像傳感器的感應(yīng)平面與鏡頭平行,并且鏡頭的正中心在圖像傳感器上的投影在圖像傳感器的正中心上;安裝盒安裝在在底板、側(cè)面板或斜面板時(shí),保證圖像傳感器的感應(yīng)平面與與底板、側(cè)面板或斜面板所在平面平行;
安裝在底板abcdefgh上的圖像傳感模塊,圖像傳感器的縱向邊與ab邊平行;圖像傳感器的正中心對(duì)準(zhǔn)底板的正中心。
安裝在2個(gè)縱向側(cè)面板abji、efqr上的2個(gè)圖像傳感模塊,圖像傳感器的縱向邊分別與ab、ef邊平行;圖像傳感器的正中心對(duì)準(zhǔn)側(cè)面板的正中心。
安裝在2個(gè)橫向側(cè)面板ghvd、cdnm上的2個(gè)圖像傳感模塊,圖像傳感器的橫向邊分別與cd、gh邊平行;圖像傳感器的正中心對(duì)準(zhǔn)側(cè)面板的正中心。
安裝在4個(gè)斜面板hafe、bclk、depo、fgts上的4個(gè)圖像傳感模塊,圖像傳感器的縱向邊與其安裝的斜面板的bc邊、de邊、fg邊、ha邊的夾角為arctan(y/x)度;圖像傳感器的正中心對(duì)準(zhǔn)個(gè)斜面板的正中心。
可編程門陣列以及外圍電路統(tǒng)一控制圖像傳感模塊的工作模式,接收圖像傳感模塊信號(hào),對(duì)圖像傳感模塊信號(hào)進(jìn)行處理,將處理后的圖像傳感數(shù)據(jù)送給視頻壓縮處理芯片以及其外圍電路,接收視頻壓縮處理芯片以及其外圍電路壓縮后的圖像數(shù)據(jù),將壓縮后的圖像數(shù)據(jù)送給無線傳輸模塊進(jìn)行無線傳輸。
可編程門陣列程序流程:
第一步:對(duì)九個(gè)圖像傳感器發(fā)出相同的控制信號(hào),所發(fā)出的圖像傳感器控制信號(hào)有:場同步信號(hào),行同步信號(hào),時(shí)鐘信號(hào),驅(qū)動(dòng)時(shí)序信號(hào),曝光控制信號(hào),轉(zhuǎn)到第二步;
第二步:接收九個(gè)圖像傳感器的像素亮度信號(hào),轉(zhuǎn)到第三步;
第三步:對(duì)九個(gè)圖像傳感器的像素亮度信號(hào)進(jìn)行bayer圖像處理和白平衡處理,得到白平衡處理后的每個(gè)像素的rgb信號(hào),轉(zhuǎn)到第四步;
第四步:調(diào)用圖像拼接子程序,轉(zhuǎn)到第五步;
第五步:將拼接后的rgb格式圖像信號(hào)送給視頻壓縮處理芯片,轉(zhuǎn)到第六步;
第六步:從視頻壓縮處理芯片接收壓縮后的圖像數(shù)據(jù),轉(zhuǎn)到第七步;
第七步:將接收到的壓縮后的圖像數(shù)據(jù)送給無線傳輸模塊進(jìn)行無線傳輸,轉(zhuǎn)到第一步。圖像拼接子程序按照如下步驟進(jìn)行:設(shè)定拼接后的圖像縱向像素總共有px個(gè),橫向像素總共有py個(gè),縱向像素從左至右依次按自然數(shù)排序,排序序號(hào)為1、2、3、4、……、px-1、px;橫向像素從上到下依次按自然數(shù)排序,排序?yàn)?、2、3、4、……、py-1、py;像素的圖像拼接子程序:
第一步:px=x+3x,py=3y;進(jìn)入第二步;
第二步:按如下方法拼接圖像:
底板安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從x+1到2x,橫向像素序號(hào)從y+1到2y區(qū)間內(nèi);
縱向側(cè)面板abji安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從x+1到2x,橫向像素序號(hào)從1到y(tǒng)區(qū)間內(nèi);
縱向側(cè)面板e(cuò)fqr安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從x+1到2x,橫向像素序號(hào)從2y+1到3y區(qū)間內(nèi);
斜面板hafe安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從1到x,橫向像素序號(hào)從1到y(tǒng)區(qū)間內(nèi);
斜面板bclk安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從2x+1到3x,橫向像素序號(hào)從1到y(tǒng)區(qū)間內(nèi);
斜面板depo安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從2x+1到3x,橫向像素序號(hào)從2y+1到3y區(qū)間內(nèi);
斜面板fgts安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從1到x,橫向像素序號(hào)從2y+1到3y區(qū)間內(nèi);
橫向側(cè)面板ghvd安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從1到x,橫向像素序號(hào)從y+1到2y區(qū)間內(nèi);
橫向側(cè)面板cdnm安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從2x+1到3x,橫向像素序號(hào)從y+1到2y區(qū)間內(nèi);
第三步:圖像拼接后返回主程序。
本發(fā)明的積極效果是:
1、同時(shí)拍攝大范圍圖像信號(hào),提高無人機(jī)拍攝圖像數(shù)據(jù)的效率。
2、九個(gè)圖像傳感器統(tǒng)一控制,可消除不同快門時(shí)刻以及不同控制模式下造成的圖像拼接噪聲。
3、在無人機(jī)飛行過程中可以從多個(gè)視角拍攝圖像數(shù)據(jù),為圖像數(shù)據(jù)后處理提供更多的拍攝視角和更豐富的圖像數(shù)據(jù)。
附圖說明
圖1是本發(fā)明的總體結(jié)構(gòu)示意圖。
圖2是安裝支架結(jié)構(gòu)示意圖。
圖3是安裝支架立體結(jié)構(gòu)示意圖。
圖4是安裝支架的底板結(jié)構(gòu)示意圖。
圖5是安裝支架的縱向側(cè)面板結(jié)構(gòu)示意圖。
圖6是安裝支架的橫向側(cè)面板結(jié)構(gòu)示意圖。
圖7是安裝支架的斜面固定板結(jié)構(gòu)示意圖。
圖8是安裝支架的縱向側(cè)面固定板結(jié)構(gòu)示意圖。
圖9是安裝支架的橫向側(cè)面固定板結(jié)構(gòu)示意圖。
圖10安裝支架的斜面固定板結(jié)構(gòu)示意圖。
圖11是圖像處理系統(tǒng)結(jié)構(gòu)框圖。
圖12是圖像傳感模塊結(jié)構(gòu)框圖。
圖13是可編程門陣列程序流程圖。
圖14圖像拼接子程序流程圖。
圖15可編程門陣列電路圖第一部分。
圖16是可編程門陣列電路圖第二部分。
圖17是可編程門陣列電路圖第三部分。
圖18是可編程門陣列電路圖第四部分。
圖19圖像壓縮及其外圍電路中視頻壓縮處理電路第一部分。
圖20圖像壓縮及其外圍電路中視頻壓縮處理電路第二部分。
圖21是圖像傳感器及其外圍電路中的圖像傳感器控制電路。
圖22是圖像傳感器電路第一部分。
圖23是圖像傳感器電路第二部分。
圖24是無線通信模塊電路。
圖中,1無人機(jī),2安裝支架,3圖像處理系統(tǒng),4無人機(jī)底部安裝平面,5底板,6-1、6-2固定板,7-1、7-2支撐板,8-1~8-9圖像傳感模塊,9可編程門陣列以及外圍電路,10無線傳輸模塊,11視頻壓縮處理芯片以及其外圍電路,12鏡頭,13安裝盒,14傳感電路,30底板abcdefgh,31-1縱向側(cè)面板abji,31-2縱向側(cè)面板e(cuò)fqr,32-1斜面板hafe,32-2斜面板bclk,32-3斜面板depo,32-4斜面板fgts,33-1縱向側(cè)面固定板ijji,33-2縱向側(cè)面固定板qrrq,34-1斜面固定板e(cuò)fhg,34-2斜面固定板kllk,34-3斜面固定板oppo,34-4斜面固定板stts,35-1橫向側(cè)面板ghvd,35-2橫向側(cè)面板cdnm,36-1橫向側(cè)面固定板dvvc,36-2橫向側(cè)面固定板mnnm;
支撐板7-1、7-2包括斜面板hafe32-1、bclk32-2、depo32-3、fgts32-4,縱向側(cè)面板abji31-1、efqr31-2和橫向側(cè)面板ghvd35-1、cdnm35-2;
固定板6-1、6-2含縱向側(cè)面固定板ijji33-1、qrrq33-2,橫向側(cè)面固定板dvvc36-1、mnnm36-2和斜面固定板e(cuò)fhg34-1、kllk34-2、oppo34-3、stts34-4。
側(cè)面板包括縱向側(cè)面板abji、efqr和橫向側(cè)面板ghvd、cdnm。
具體實(shí)施方式
全景攝像機(jī)由兩部分組成,安裝支架和圖像處理系統(tǒng)。圖像處理系統(tǒng)安裝在安裝支架上。安裝支架固定在無人機(jī)底部。如圖1所示。
參見圖2。安裝支架由多個(gè)平板連接而成,平板由輕質(zhì)材料構(gòu)成,各平板之間連接方式如圖2所示。
支架包括底板abcdefgh30,縱向側(cè)面板abji31-1、縱向側(cè)面板e(cuò)fqr31-2,斜面板hafe32-1、斜面板bclk32-2、斜面板depo32-3、斜面板fgts32-4,縱向側(cè)面固定板ijji33-1、縱向側(cè)面固定板qrrq33-2,斜面固定板e(cuò)fhg34-1、斜面固定板kllk34-2、斜面固定板oppo34-3、斜面固定板stts34-4,橫向側(cè)面板ghvd35-1、橫向側(cè)面板cdnm35-2,橫向側(cè)面固定板dvvc36-1、橫向側(cè)面固定板mnnm36-2。
縱向側(cè)面板abji31-1通過ab邊與底板abcdefgh連接,縱向側(cè)面板e(cuò)fqr31-2通過ef邊與底板abcdefgh連接。
斜面板bclk32-2通過bc邊與底板abcdefgh連接,斜面板depo32-3通過de邊與底板abcdefgh連接,斜面板fgts32-4通過fg邊與底板abcdefgh連接,斜面板hafe32-1通過ah邊與底板abcdefgh30連接。
縱向側(cè)面固定板ijji33-1通過ij邊與縱向側(cè)面板abji31-1連接,縱向側(cè)面固定板qrrq33-2通過qr邊與縱向側(cè)面板e(cuò)fqr31-2連接。
斜面固定板kllk34-2通過kl邊與斜面板bclk32-2連接,斜面固定板oppo34-3通過op邊與斜面板depo32-3連接,斜面固定板stts34-4通過ts邊與斜面板fgts32-4連接,斜面固定板e(cuò)fhg34-1通過ef邊與斜面板hafe32-1連接。
橫向側(cè)面板cdnm35-2通過cd邊與底板abcdefgh30連接,橫向側(cè)面板ghvd35-1通過gh邊與底板abcdefgh30連接。
橫向側(cè)面固定板mnnm36-2通過mn邊與橫向側(cè)面板cdnm35-2連接,橫向側(cè)面固定板dvvc36-1通過dv邊與橫向側(cè)面板ghvd35-1連接。
參見圖3。無人機(jī)底部安裝平面4是指無人機(jī)底部用于安裝全景攝像機(jī)的安裝平面,當(dāng)無人機(jī)水平放置時(shí),無人機(jī)底部安裝平面處于水平面上。
底板abcdefgh30安裝時(shí)平行于無人機(jī)底部安裝平面。
支撐板7-1、7-2含斜面板hafe32-1、bclk32-2、depo32-3、fgts32-4,縱向側(cè)面板abji31-1、efqr31-2和橫向側(cè)面板ghvd35-1、cdnm35-2,圖像傳感模塊安裝在支撐板7-1、7-2上,支撐板7-1、7-2連接底板30和固定板6-1、6-2。
固定板6-1、6-2含縱向側(cè)面固定板ijji33-1、qrrq33-2,橫向側(cè)面固定板dvvc36-1、mnnm36-2和斜面固定板e(cuò)fhg34-1、kllk34-2、oppo34-3、stts34-4,固定板6-1、6-2將安裝支架固定在無人機(jī)底部安裝平面;縱向側(cè)面固定板ijji33-1、qrrq33-2,橫向側(cè)面固定板dvvc36-1、mnnm36-2和斜面固定板e(cuò)fhg34-1、kllk34-2、oppo34-3、stts34-4在一個(gè)平面上,并且與底板abcdefgh30平行。
設(shè)固定板6-1、6-2所在的平面與底板30之間的距離為u,u大于2yw。
參見圖4~圖10。
底板abcdefgh30大小根據(jù)無人機(jī)大小而確定;ab與ef相互平行,設(shè)ab長度為圖像傳感器感應(yīng)面的長度xw的a倍,即ab=ef=axw,且要求a大于3;cd=hg=ayw;cd邊和hg邊平行,并與ab和ef邊垂直;bedc、ahgf為等腰梯形,ah=gf=bc=ed=aw(x+y)/2;
af=be
縱向側(cè)面板abji31-1、efqr31-2大小相同,以橫向側(cè)面板abji31-1為例來說明:縱向側(cè)面板abji31-1為矩形,其中,ab=ij=axw
橫向側(cè)面板ghvd35-1、cdnm35-2大小相同,以橫向側(cè)面板cdnm35-2為例來說明
cd=mn=ayw;
斜面板hafe32-1、斜面板bclk32-2、斜面板depo32-3、斜面板fgts32-4的大小相同,都是矩形,以斜面板bclk32-2來說明,
bc=kl=aw(x+y)/2;
縱向側(cè)面固定板ijji33-1、縱向側(cè)面固定板qrrq33-2大小相同,都是矩形;
以縱向側(cè)面固定板ijji33-1為例來說明;
ij=j(luò)i=axw;ii=j(luò)i,且ii、jj長度大于3毫米;
橫向側(cè)面固定板dvvc36-1、橫向側(cè)面固定板mnnm36-2大小相同,都是矩形;
以側(cè)面固定板mnnm36-2為例來說明;
mn=nm=ayw;mm=nn,且mm、nn長度大于3毫米;斜面固定板e(cuò)fhg34-1、斜面固定板kllk34-2、斜面固定板oppo34-3、斜面固定板stts34-4大小相同,都是矩形;以斜面固定板kllk34-2為例來說明,
kl=lk=aw(x+y)/2;
kk=ll,且kk、ll長度大于3毫米。
參見圖11。圖像處理系統(tǒng)由圖像傳感模塊8-1~8-9、可編程門陣列以及外圍電路9、無線傳輸模塊10、視頻壓縮處理芯片以及其外圍電路11構(gòu)成。
九個(gè)圖像傳感模塊8-1~8-9分別安裝在底板abcdefgh30,橫向側(cè)面板ghvd35-1、cdnm35-2,縱向側(cè)面板abji31-1、efqr31-2,斜面板hafe32-1、bclk32-2、depo32-3、fgts32-4上,通過控制信號(hào)線和像素亮度信號(hào)連接線與可編程門陣列以及外圍電路連接。
可編程門陣列以及外圍電路9通過控制信號(hào)線和像素亮度信號(hào)連接線與九個(gè)圖像傳感模塊8-1~8-9連接,通過通信連接線與無線傳輸模塊10連接,通過視頻輸出信號(hào)連接線與視頻壓縮信號(hào)連接線與視頻壓縮處理芯片以及其外圍電路11連接。
無線傳輸模塊10通過通信連接線與可編程門陣列以及外圍電路9連接,將可編程門陣列以及外圍電路9處理后的數(shù)據(jù)通過無線傳輸方式傳輸?shù)竭h(yuǎn)處。
視頻壓縮處理芯片以及其外圍電路11通過視頻輸出信號(hào)連接線與視頻壓縮信號(hào)連接線與可編程門陣列以及外圍電路9連接。
參見圖12。圖像傳感模塊由鏡頭12、安裝盒13、傳感電路14構(gòu)成。
安裝盒為密封不透光的盒子,為立方體或圓柱體,安裝盒有兩個(gè)平行的平面,一個(gè)平面用于安裝鏡頭,另一個(gè)平面用于固定在底板、側(cè)面板或斜面板上。安裝鏡頭的平面正中央開有安裝鏡頭的圓形內(nèi)絲口,絲口的直徑與鏡頭的外絲口直徑相同。
鏡頭為定焦鏡頭,根據(jù)需要選擇不同焦距鏡頭;九個(gè)鏡頭的規(guī)格完全相同。
傳感電路用于感應(yīng)鏡頭的圖像,在傳感電路上有圖像傳感器,保證傳感電路上的圖像傳感器的感應(yīng)平面與鏡頭平行,并且鏡頭的正中心在圖像傳感器上的投影在圖像傳感器的正中心上;安裝盒安裝在在底板、側(cè)面板或斜面板時(shí),保證圖像傳感器的感應(yīng)平面與與底板、側(cè)面板或斜面板所在平面平行。
安裝在底板abcdefgh30上的圖像傳感模塊,圖像傳感器的縱向邊與ab邊平行。圖像傳感器的正中心對(duì)準(zhǔn)底板的正中心。
安裝在2個(gè)縱向側(cè)面板abji31-1、efqr31-2上的2個(gè)圖像傳感模塊,圖像傳感器的縱向邊分別與ab、ef邊平行;圖像傳感器的正中心對(duì)準(zhǔn)側(cè)面板的正中心。
安裝在2個(gè)橫向側(cè)面板ghvd35-1、cdnm35-2上的2個(gè)圖像傳感模塊,圖像傳感器的橫向邊分別與cd、gh邊平行;圖像傳感器的正中心對(duì)準(zhǔn)側(cè)面板的正中心。
安裝在4個(gè)斜面板hafe32-1、bclk32-2、depo32-3、fgts32-4上的4個(gè)圖像傳感模塊,圖像傳感器的縱向邊與其安裝的斜面板的bc邊、de邊、fg邊、ha邊的夾角為arctan(y/x)度;圖像傳感器的正中心對(duì)準(zhǔn)個(gè)斜面板的正中心。
本實(shí)施例中,圖像傳感器采用sony公司的icx205;x=1360,y=1024,w=4.65um,設(shè)u=4yw=19.0mm。
鏡頭采用日本株式會(huì)社騰龍工業(yè)鏡頭。型號(hào):tamron17hf;焦距:16mm;即:z=16mm;
本實(shí)施例中的安裝支架由輕質(zhì)鋁合金制作,各面板的邊長如下:
安裝支架由輕質(zhì)鋁合金制作,各面板的邊長計(jì)算如下:
a=10;
ab=ij=ef=qr=axw=10*1024*4.65um=63.2mm
cd=mn=hg=vd=bd=ayw=10*1360*4.65um=47.6mm
ah=gf=bc=ed=aw(x+y)/2=55.4mm;
本實(shí)施例的可編程門陣列以及外圍電路中可編程門陣列電路圖第一部分~第四部分參見附圖15~18。可編程門陣列:u1,采用xilnx公司,x3s1200。
圖像壓縮及其外圍電路的視頻壓縮處理電路參見圖19、圖20。視頻壓縮芯片:u12,為tokyo公司生產(chǎn),型號(hào)te3310。
圖21是圖像傳感器及其外圍電路中的圖像傳感器控制電路。
u6:ti公司生產(chǎn),型號(hào):sn74lvc16245。
圖像傳感器電路參見圖22、圖23。其中,uci為sony公司生產(chǎn),型號(hào)icx205。
圖24是無線通信模塊電路。其中,u7為cc2520:無線傳輸芯片/美國texasinstruments公司生產(chǎn)。u14:cc2591:無線傳輸前端芯片/美國texasinstruments公司生產(chǎn)。
本九鏡頭無人機(jī)全景攝像機(jī)的圖像處理方法:
可編程門陣列以及外圍電路9統(tǒng)一控制圖像傳感模塊8-1~8-9的工作模式,接收圖像傳感模塊信號(hào),對(duì)圖像傳感模塊信號(hào)進(jìn)行處理,將處理后的圖像傳感數(shù)據(jù)送給視頻壓縮處理芯片以及其外圍電路11,接收視頻壓縮處理芯片以及其外圍電路壓縮后的圖像數(shù)據(jù),將壓縮后的圖像數(shù)據(jù)送給無線傳輸模塊10進(jìn)行無線傳輸。
參見圖13。
可編程門陣的程序流程:
第一步:對(duì)九個(gè)圖像傳感器發(fā)出相同的控制信號(hào),所發(fā)出的圖像傳感器控制信號(hào)有:場同步信號(hào),行同步信號(hào),時(shí)鐘信號(hào),驅(qū)動(dòng)時(shí)序信號(hào),曝光控制信號(hào),轉(zhuǎn)到第二步;
第二步:接收九個(gè)圖像傳感器的像素亮度信號(hào),轉(zhuǎn)到第三步;
第三步:對(duì)九個(gè)圖像傳感器的像素亮度信號(hào)進(jìn)行bayer圖像處理和白平衡處理,得到白平衡處理后的每個(gè)像素的rgb信號(hào),轉(zhuǎn)到第四步;
第四步:調(diào)用圖像拼接子程序,轉(zhuǎn)到第五步;
第五步:將拼接后的rgb格式圖像信號(hào)送給視頻壓縮處理芯片,轉(zhuǎn)到第六步;
第六步:從視頻壓縮處理芯片接收壓縮后的圖像數(shù)據(jù),轉(zhuǎn)到第七步;
第七步:將接收到的壓縮后的圖像數(shù)據(jù)送給無線傳輸模塊進(jìn)行無線傳輸,轉(zhuǎn)到第一步。
參見圖14。
圖像拼接子程序按照如下步驟進(jìn)行:設(shè)定拼接后的圖像縱向像素總共有px個(gè),橫向像素總共有py個(gè),縱向像素從左至右依次按自然數(shù)排序,排序序號(hào)為1、2、3、4、……、px-1、px;橫向像素從上到下依次按自然數(shù)排序,排序?yàn)?、2、3、4、……、py-1、py;像素的圖像拼接子程序:
第一步:px=x+3x,py=3y;進(jìn)入第二步;
第二步:按如下方法拼接圖像:
底板安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從x+1到2x,橫向像素序號(hào)從y+1到2y區(qū)間內(nèi);
縱向側(cè)面板abji31-1安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從x+1到2x,橫向像素序號(hào)從1到y(tǒng)區(qū)間內(nèi);
縱向側(cè)面板e(cuò)fqr31-2安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從x+1到2x,橫向像素序號(hào)從2y+1到3y區(qū)間內(nèi);
斜面板hafe32-1安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從1到x,橫向像素序號(hào)從1到y(tǒng)區(qū)間內(nèi);
斜面板bclk32-2安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從2x+1到3x,橫向像素序號(hào)從1到y(tǒng)區(qū)間內(nèi);
斜面板depo32-3安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從2x+1到3x,橫向像素序號(hào)從2y+1到3y區(qū)間內(nèi);
斜面板fgts32-4安裝的圖像傳感器得到的rgb數(shù)據(jù),拼接在縱向像素序號(hào)從1到x,橫向像素序號(hào)從2y+1到3y區(qū)間內(nèi);
橫向側(cè)面板ghvd安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從1到x,橫向像素序號(hào)從y+1到2y區(qū)間內(nèi);
橫向側(cè)面板cdnm安裝的圖像傳感器得到的rgb數(shù)據(jù)拼接在縱向像素序號(hào)從2x+1到3x,橫向像素序號(hào)從y+1到2y區(qū)間內(nèi);
第三步:圖像拼接后返回主程序。