本發(fā)明涉及攝像頭技術(shù)領(lǐng)域，具體涉及一種全景攝像頭。

背景技術(shù)：

網(wǎng)絡(luò)直播正在進(jìn)入全民時(shí)代，就連小米科技創(chuàng)始人雷軍、萬達(dá)董事長(zhǎng)王健林等企業(yè)大咖也于近期曝光鏡頭前，親自參與直播。一邊是企業(yè)大咖爭(zhēng)做網(wǎng)紅，另一邊則是資本推手頻頻涌入網(wǎng)絡(luò)直播領(lǐng)域，掀起“燒錢大戰(zhàn)”。行業(yè)報(bào)告顯示，2015年直播行業(yè)市場(chǎng)規(guī)模約為150億元，到2020年，總規(guī)模還將上升至1060億元。

現(xiàn)有的網(wǎng)絡(luò)直播均為一個(gè)普通攝像頭，隨著直播行業(yè)的飛速發(fā)展，迫切需要一個(gè)全新的播放視角，此外，今后的直播將更加真實(shí)化，其必將產(chǎn)生更多的室外直播，于是乎實(shí)時(shí)全景VR直播攝像頭應(yīng)運(yùn)而生。

現(xiàn)有的全景攝像頭非常笨拙，雖然可以提供高清圖像，但是不僅重量大，且能耗高，便攜性差，不適合直播行業(yè)發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的主要是為了解決上述技術(shù)問題，而提供一種全景攝像頭。

本發(fā)明包括殼體和全景攝像頭組件，所述殼體的前后兩面上分別設(shè)有用于安裝攝像頭的開口，所述全景攝像頭組件包括一對(duì)攝像頭座和一對(duì)攝像鏡頭，所述一對(duì)攝像頭座分別螺接在殼體前后兩面上用于安裝攝像頭的開口處，所述攝像鏡頭固定安裝在攝像頭座上。

還有設(shè)置于殼體外部的全景成像模塊，所述全景成像模塊包括一對(duì)CMOS圖像傳感器、PCB驅(qū)動(dòng)電路板和主控芯片，所述一對(duì)CMOS圖像傳感器分別通過有線數(shù)據(jù)傳輸或無線數(shù)據(jù)傳輸?shù)姆绞脚c一對(duì)攝像鏡頭通信連接，接受一對(duì)攝像鏡頭拍攝的圖像信息，并分別通過驅(qū)動(dòng)PCB驅(qū)動(dòng)電路板與主控芯片通訊相連。

所述有線數(shù)據(jù)傳輸方式采用數(shù)據(jù)線，所述無線數(shù)據(jù)傳輸方式采用無線WIFI網(wǎng)絡(luò)或無線4G網(wǎng)絡(luò)傳輸。

所述一對(duì)攝像鏡頭分別是魚眼攝像頭。

所述一對(duì)攝像鏡頭的可視角度為210°-230°

所述殼體由一對(duì)半殼扣合組成。

所述殼體的前后兩面上分別設(shè)有用于擴(kuò)展攝像鏡頭可視角度的工藝凹槽。

還有支桿和底座，所述殼體通過支桿安裝在底座上。

它的圖像處理方法包括以下步驟：

S1.攝像鏡頭獲得圖像數(shù)據(jù)，并分別通過一對(duì)CMOS圖像傳感器傳輸給主控芯片；

S2.主控芯片分別對(duì)攝像鏡頭獲得圖像數(shù)據(jù)進(jìn)行預(yù)處理，并掃描生成其特征點(diǎn)；

S3.從畫面邊緣開始，通過移動(dòng)窗口對(duì)多個(gè)畫面中的特征點(diǎn)進(jìn)行匹配；

S4.對(duì)于匹配到的特征點(diǎn)，使用集束調(diào)整方法進(jìn)行位置估計(jì)、坐標(biāo)變化、融合；

S5.主控芯片拼接度路圖像；

S6.主控芯片對(duì)步驟S5中拼接的圖像進(jìn)行裁剪、矯正和坐標(biāo)系變化；

S7.記錄S1-S6步操作及其參數(shù)，從而加速拼接；

S8.使用多線程、異步操作和向量指令進(jìn)一步加速拼接。

本發(fā)明優(yōu)點(diǎn)是：本發(fā)明提供一種全景攝像頭，全景成像模塊與全景攝像頭組件采用分體式設(shè)計(jì)，在滿足全景攝像需求的同時(shí)，體積小，發(fā)熱少，造價(jià)低，滿足直播市場(chǎng)對(duì)于全景攝像頭的功能需求，具有很好的推廣及應(yīng)用價(jià)值。

附圖說明

圖1是本發(fā)明結(jié)構(gòu)正面結(jié)構(gòu)示意圖。

圖2是圖1的俯視結(jié)構(gòu)示意圖。

圖3是本發(fā)明結(jié)構(gòu)示意圖。

圖4是本發(fā)明魚眼鏡頭原始圖像。

圖5是本發(fā)明魚眼鏡頭映射模型示意圖。

圖6是本發(fā)明視球面到二維平面的轉(zhuǎn)換示意圖。

圖7是本發(fā)明魚眼鏡頭矯正流程示意圖。

圖中：1、殼體；1-1、工藝凹槽。2、一對(duì)攝像頭座；3、一對(duì)攝像鏡頭；4、一對(duì)CMOS圖像傳感器；5、主控芯片；6、支桿；7、底座；8、PCB驅(qū)動(dòng)電路板。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說明。

如圖1、2、3、4、5、6、7所示，本發(fā)明包括殼體1和全景攝像頭組件，所述殼體1的前后兩面上分別設(shè)有用于安裝攝像頭的開口，所述全景攝像頭組件包括一對(duì)攝像頭座2和一對(duì)攝像鏡頭3，所述一對(duì)攝像頭座2分別螺接在殼體1前后兩面上用于安裝攝像頭的開口處，所述攝像鏡頭3固定安裝在攝像頭座2上。

還有設(shè)置于殼體1外部的全景成像模塊，所述全景成像模塊包括一對(duì)CMOS圖像傳感器4、PCB驅(qū)動(dòng)電路板8和主控芯片5，所述一對(duì)CMOS圖像傳感器4分別通過有線數(shù)據(jù)傳輸或無線數(shù)據(jù)傳輸?shù)姆绞脚c一對(duì)攝像鏡頭3通信連接，接受一對(duì)攝像鏡頭3拍攝的圖像信息，并分別通過驅(qū)動(dòng)PCB驅(qū)動(dòng)電路板8與主控芯片5通訊相連。

所述有線數(shù)據(jù)傳輸方式采用數(shù)據(jù)線，所述無線數(shù)據(jù)傳輸方式采用無線WIFI網(wǎng)絡(luò)或無線4G網(wǎng)絡(luò)傳輸。

所述一對(duì)攝像鏡頭3分別是魚眼攝像頭。

所述一對(duì)攝像鏡頭3的可視角度為210°-230°

所述殼體1由一對(duì)半殼扣合組成。

所述殼體1的前后兩面上分別設(shè)有用于擴(kuò)展攝像鏡頭可視角度的工藝凹槽1-1。

還有支桿6和底座7，所述殼體1通過支桿6安裝在底座7上。

它的圖像處理方法包括以下步驟：

S1.攝像鏡頭3獲得圖像數(shù)據(jù)，并分別通過一對(duì)CMOS圖像傳感器4傳輸給主控芯片5；

S2.主控芯片5分別對(duì)攝像鏡頭3獲得圖像數(shù)據(jù)進(jìn)行預(yù)處理，并掃描生成其特征點(diǎn)；

S3.從畫面邊緣開始，通過移動(dòng)窗口對(duì)多個(gè)畫面中的特征點(diǎn)進(jìn)行匹配；

S4.對(duì)于匹配到的特征點(diǎn)，使用集束調(diào)整方法進(jìn)行位置估計(jì)、坐標(biāo)變化、融合；

S5.主控芯片5拼接度路圖像；

S6.主控芯片5對(duì)步驟S5中拼接的圖像進(jìn)行裁剪、矯正和坐標(biāo)系變化；

S7.記錄S1-S6步操作及其參數(shù)，從而加速拼接；

S8.使用多線程、異步操作和向量指令進(jìn)一步加速拼接。

工作方式及原理：一對(duì)攝像頭座2分別分別位于殼體1中心線的兩側(cè)，并分別拍攝210°-230°范圍內(nèi)的半個(gè)區(qū)域，全景成像模塊設(shè)置在殼體1外部，優(yōu)選設(shè)置在電腦主機(jī)上，或者設(shè)置在其他微型主機(jī)上，通過分開布局，可以降低攝像頭的重量及能耗。攝像頭與主機(jī)之間通過數(shù)據(jù)線或者無線WIFI網(wǎng)絡(luò)或者4G網(wǎng)絡(luò)進(jìn)行雙向通訊，主機(jī)可以是家用、商用電腦主機(jī)，也可以是能夠隨身攜帶的微型主機(jī)(surface之類的)。通過此方式實(shí)現(xiàn)了散熱、高效數(shù)據(jù)處理等問題。

PCB驅(qū)動(dòng)電路板8驅(qū)動(dòng)一對(duì)攝像頭座2運(yùn)行，對(duì)攝像頭座2運(yùn)行拍攝的圖像數(shù)據(jù)通過一對(duì)CMOS圖像傳感器4傳輸給主控芯片5，主控芯片5完成拍攝圖像的處理，并拼接成全景圖像后通過數(shù)據(jù)線輸出顯示。

其具體的圖像處理方法如下：

S1.矯正魚眼攝像頭拍攝圖像數(shù)據(jù)；

魚眼鏡頭的成像原理通?？梢杂们蛎嫱敢暢上衲Ｐ蛠砻枋觯呼~眼鏡頭的表面可以看成是一個(gè)球面，外界景物的光線投射到球面上，形成一幅外界景物球面映射圖，景物光線通過光心之后，伴隨光的折射，以不同于入射光線直射的方向投射于相機(jī)的感光部件，從而形成一幅魚眼圖像。

而魚眼鏡頭為獲得大的視場(chǎng)角(本發(fā)明優(yōu)選為220度)，會(huì)使光線經(jīng)歷復(fù)雜的折射過程，從而使感光元件所成的像包含很大的徑向畸變。所以我們首先要對(duì)經(jīng)過畸變的魚眼圖像進(jìn)行矯正，目的是消除其畸變從而獲得一張未經(jīng)畸變的正常圖像。

由于我們已知魚眼鏡頭的映射設(shè)計(jì)模型與折射關(guān)系，據(jù)次可以設(shè)計(jì)魚眼鏡頭的矯正算法。魚眼鏡頭成像的矯正主要可分為三個(gè)步驟：

A.提取魚眼圖像的成像區(qū)域；

由于魚眼鏡頭的成像是圓形的，而感光元件(CCD傳感器)所成的像必須為方形的，所以魚眼鏡頭攝取的原始圖像通常如圖4所示，顯然圓形圖像周邊的黑色區(qū)域沒有我們所需要的圖像信息，所以我們需要首先提取出傳感器獲得的每幀圖像中的圓形區(qū)域。這里我們使用了變角度的線掃描法，從圓形圖像的輪廓(灰度變化最快的地方)開始向圓心方向進(jìn)行掃描，從而獲取到圓心的坐標(biāo)以及園的半徑，接下來我們把提取出的圓形區(qū)域進(jìn)行矯正。

B.利用魚眼鏡頭的成像模型將畸變的圖像還原到單位視球面上；

魚眼鏡頭的投影模型(等立體角投影)為：

r＝2fsin(θ/2)

其映射模型如圖5所示，通過魚眼鏡頭的映射模型，我們可以把傳感器所成的像反向投影到一個(gè)球面上去。具體算法為：魚眼鏡頭的等距映射模型及圖像圓域半徑R已知，有ρ＝r＝fθ，由于魚眼鏡頭的半視場(chǎng)角θ_m是已知的，于是我們可以確定出參數(shù)f＝R/θ_m，因此我們可以得到：

經(jīng)由上式可得到圓形圖像上任一點(diǎn)(u,v)所對(duì)應(yīng)的單位視球上的球面坐標(biāo)參數(shù)α和θ(極坐標(biāo))。

C.將單位視球面通過特定的映射關(guān)系，變換成為我們通常所見的二維圖像。

這一步驟我們使用縱向壓縮柱面投影對(duì)單位視球面上的圖像進(jìn)行再一次的矯正，其基本原理如圖6所示，我們把單位視球面經(jīng)度上的每一個(gè)像素條投影到二位平面中相應(yīng)的豎條上去，這樣就會(huì)得到一個(gè)以經(jīng)緯方式(VR視頻通常所用的存儲(chǔ)方式)儲(chǔ)存的二維圖像。這一步驟類似于把一個(gè)地球儀變成一幅地圖。

魚眼鏡頭的矯正過程可由圖7直觀的表示；

S2.對(duì)多路(兩路)矯正完的圖像進(jìn)行預(yù)處理，并掃描生成其特征點(diǎn)；

由于本發(fā)明需要兩個(gè)魚眼鏡頭同時(shí)獲取視屏幀，所以我們用兩個(gè)線程分別進(jìn)行其中一個(gè)鏡頭的圖像獲取與矯正工作。當(dāng)獲取到兩路經(jīng)矯正的魚眼圖像后，我們首先對(duì)它們分別進(jìn)行預(yù)處理以便提取特征點(diǎn)，這里的預(yù)處理具體為對(duì)圖像進(jìn)行灰度化操作。然后對(duì)生成的灰度圖像進(jìn)行掃描，從而提取它們的特征點(diǎn)。

S3.從畫面邊緣開始，通過移動(dòng)窗口對(duì)多個(gè)畫面中的特征點(diǎn)進(jìn)行匹配

S4.對(duì)于匹配到的特征點(diǎn)，使用集束調(diào)整方法進(jìn)行位置估計(jì)、坐標(biāo)變化、融合

S5.主控芯片5拼接多路圖像；

S6.主控芯片5對(duì)步驟S5中拼接的圖像進(jìn)行裁剪、矯正、坐標(biāo)系變化；

這三個(gè)步驟都是拼接后圖像的一個(gè)后續(xù)處理步驟。

因?yàn)槠唇拥倪^程其實(shí)是通過兩幅圖像上對(duì)應(yīng)的特征點(diǎn)算出這兩幅圖像的仿射矩陣，然后把其中一幅圖像固定，然后把另一幅圖像經(jīng)過仿射變換映射到固定的那幅圖像的坐標(biāo)系上，然后再根據(jù)重疊的特征點(diǎn)進(jìn)行拼接。這樣拼接成的全景圖像在上下邊緣部分會(huì)出現(xiàn)角度很小的彎曲，直觀上來講就是在全景圖像的上下邊緣會(huì)出現(xiàn)黑邊。而裁剪就是為了裁掉多出的黑色區(qū)域，從而保證最終的全景圖像是一個(gè)平直的長(zhǎng)方形。

矯正和坐標(biāo)系變換也是為了保證最終的全景圖像是一個(gè)平直的長(zhǎng)方形，以便顯示。由于匹配的誤差，拼接完的圖像可能會(huì)上下邊緣有一定彎曲的情況，這樣就要根據(jù)彎曲的曲率與上下邊緣的對(duì)應(yīng)關(guān)系，給彎曲的特征點(diǎn)算出一個(gè)變化矩陣，根據(jù)這個(gè)變換矩陣，我們可以把彎曲的線條投影成平直的線條，從而保證最終的全景圖像是一個(gè)平直的長(zhǎng)方形。

S7.記錄S1-S6步操作及其參數(shù)，從而加速拼接；

由第一點(diǎn)矯正原理的說明可知，魚眼圖像的矯正過程就是把原始圓形圖像上的每一個(gè)像素點(diǎn)經(jīng)過特定的映射關(guān)系投影到一副普通的二維圖像上，也就是說原始圖像上的一個(gè)像素點(diǎn)X一定對(duì)應(yīng)矯正后的圖像上的某個(gè)像素點(diǎn)X’，既然它們的映射關(guān)系不變，那么原始圖像上X點(diǎn)的像素永遠(yuǎn)都會(huì)出現(xiàn)在矯正后的圖像的X’點(diǎn)的位置上。既然原始圖像上的每個(gè)像素點(diǎn)的位置與矯正完后圖像上的每個(gè)像素點(diǎn)的位置都有一個(gè)確定的對(duì)應(yīng)關(guān)系，那么我們就可以在初始化的時(shí)候把這個(gè)對(duì)應(yīng)關(guān)系保存下來，以后捕獲到每個(gè)圖像幀后不用再經(jīng)計(jì)算，只要查表就可以知道每個(gè)原始像素點(diǎn)應(yīng)該出現(xiàn)在矯正后圖像的什么位置上，這樣就把大量的運(yùn)算簡(jiǎn)化成了查表操作，從而極大的提升了運(yùn)行速度。

本質(zhì)上兩幅圖像的拼接過程可以看成是先把其中一幅圖像的位置固定，再計(jì)算兩幅圖像的重疊區(qū)域，然后把第二幅圖像覆蓋重疊區(qū)域擴(kuò)展到第一幅圖像上，從而形成一幅完整的全景圖像。只要兩個(gè)攝像頭的相對(duì)位置固定，那么它們所拍攝到的場(chǎng)景的重合區(qū)域也是固定的，那么兩幅待拼接圖像上每個(gè)像素點(diǎn)的位置與拼接后全景圖像上的每個(gè)像素點(diǎn)的位置都有固定的映射關(guān)系，所以同上理，圖像的拼接也可以用查表進(jìn)行。由于拼接過程包含特征點(diǎn)提取、匹配等運(yùn)算量很大的過程，那么用查表法可以極大的減少運(yùn)算量，提高實(shí)時(shí)性。

由上面兩段說明可知，原始圖像經(jīng)矯正獲得正常的二維圖像的過程，以及把這兩幅二維圖像拼接成一幅全景圖像的過程都可以使用查表法來替代大量運(yùn)算，那么我們只要在初始化時(shí)把這兩個(gè)過程的像素映射關(guān)系整理到一個(gè)表上并保持，那么以后從獲取原始魚眼圖像到最終的全景圖像都只要查表就能完成。這大大的提高了運(yùn)行速度與實(shí)時(shí)性。

S8.使用多線程、異步操作和向量指令進(jìn)一步加速拼接。

以上實(shí)施方式僅用于說明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。