本發(fā)明涉及一種能提供均勻光照環(huán)境,并在此光照環(huán)境下對(duì)相機(jī)進(jìn)行同步控制,采集場(chǎng)景360度圖像的圖像采集系統(tǒng)。本發(fā)明屬于圖像采集裝置領(lǐng)域。
背景技術(shù):
近年來(lái),計(jì)算機(jī)視覺(jué)發(fā)展迅速,同時(shí)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的技術(shù)受到了大量的關(guān)注,全景視頻、三維建模技術(shù)逐漸在影視動(dòng)畫(huà)、游戲制作、電子商務(wù)有著越來(lái)越重要的地位。目前,主要的3D重建技術(shù)分為主動(dòng)式重建和被動(dòng)式重建。主動(dòng)式重建是通過(guò)設(shè)備發(fā)射激光或結(jié)構(gòu)光等主動(dòng)光源來(lái)獲取物體的幾何結(jié)構(gòu),而被動(dòng)式重建技術(shù)是通過(guò)采集圖像數(shù)據(jù)后經(jīng)過(guò)算法恢復(fù)出物體的三維信息。主動(dòng)式三維重建技術(shù)可以達(dá)到極高的精度,但是超高精度的主動(dòng)式三維掃描設(shè)備往往效率較低,需要大量時(shí)間來(lái)對(duì)物體進(jìn)行360度的掃描,此類(lèi)掃描設(shè)備常用在工業(yè)逆向工程等對(duì)精度有極高要求的領(lǐng)域。被動(dòng)式三維重建技術(shù)的輸入數(shù)據(jù)通常是一組圖像序列,基于圖像序列的多視角三維重建算法是目前運(yùn)用廣泛的被動(dòng)式三維重建算法,此類(lèi)算法通常由以下步驟組成:使用如SIFT等的特征尋找算法尋找圖像序列中的特征點(diǎn);對(duì)不同圖像中的特征點(diǎn)進(jìn)行匹配;利用光束平差法(Bundle adjustment)計(jì)算出相機(jī)的位置矩陣和內(nèi)部參數(shù),并且得到場(chǎng)景的稀疏電云;使用多視點(diǎn)匹配算法如PMVS,CMVS來(lái)得到重建場(chǎng)景的密集點(diǎn)云;對(duì)點(diǎn)云進(jìn)行網(wǎng)格化處理;紋理貼圖。
2006年S.M.Seitz等人在他們的文章(A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms,2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'06).IEEE,2006,1:519-528.)中比較了當(dāng)前主流的三維重建算法優(yōu)劣,在網(wǎng)站http://vision.middlebury.edu/mview上也有當(dāng)前大量算法的建模效果對(duì)比。他們重建使用的數(shù)據(jù)集是通過(guò)一套旋轉(zhuǎn)平臺(tái)來(lái)采集的,這套平臺(tái)通過(guò)在機(jī)械臂上固定相機(jī)利用旋轉(zhuǎn)機(jī)械臂來(lái)采集物體360度的圖像數(shù)據(jù)。由于采用了單相機(jī)的設(shè)計(jì),這套采集系統(tǒng)只能采集較小體積的靜物。
美國(guó)南加州大學(xué)的ICT圖像實(shí)驗(yàn)室搭建了多套的Light Stage系統(tǒng),他們通過(guò)搭建金屬支架來(lái)架設(shè)相機(jī)和光源,使用計(jì)算機(jī)對(duì)光源和相機(jī)進(jìn)行控制以達(dá)到在受控光源下相機(jī)的同步拍攝。Light Stage系列系統(tǒng)使用了幾臺(tái)到幾十臺(tái)數(shù)量不等的相機(jī),根據(jù)場(chǎng)景的不同來(lái)選擇相機(jī)的數(shù)量。由于他們大多使用了光度立體(Photometric stereo)的算法,因此使用的相機(jī)數(shù)量相對(duì)較少,光源選用的是LED點(diǎn)光源,不能很好的提供均勻的光照條件。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)目前圖像采集系統(tǒng)的采集時(shí)間長(zhǎng)、光照要求苛刻、拍攝非靜物難度大的不足,本發(fā)明提供了一種360度圖像同步采集系統(tǒng),該系統(tǒng)能夠提供一個(gè)有著充足并且均勻光照的拍攝環(huán)境。
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是:
一種360度圖像同步采集系統(tǒng),包括:支撐框架、圖像采集設(shè)備、閃光燈組、機(jī)架、球形云臺(tái)、同步觸發(fā)器和控制主機(jī);在所述支撐框架的表面覆蓋有漫反射攝影紙形成封閉空間,所述閃光燈組安裝于支撐框架上,所述機(jī)架放置在支撐框架內(nèi);所述圖像采集設(shè)備通過(guò)球形云臺(tái)固定于機(jī)架上,每個(gè)圖像采集設(shè)備分別與同步觸發(fā)器和控制主機(jī)連接。
進(jìn)一步地,所述支撐框架為采用桁架結(jié)構(gòu)的圓柱形金屬框架。
進(jìn)一步地,所述閃光燈組的閃光燈設(shè)定為光觸發(fā)模式,閃光燈組通過(guò)光信號(hào)來(lái)實(shí)現(xiàn)同步。所述閃光燈組的閃光燈朝向攝影紙。
進(jìn)一步地,所述機(jī)架采用多組,并在支撐框架內(nèi)按照?qǐng)A周排列;每組機(jī)架上固定若干個(gè)圖像采集設(shè)備。優(yōu)選地,所述機(jī)架采用16組鋁合金機(jī)架,每組機(jī)架上在與其軸線垂直的方向等間距安裝5臺(tái)圖像采集設(shè)備。
所述圖像采集設(shè)備與閃光燈組之間安裝有無(wú)線發(fā)射器和接收器,在圖像采集設(shè)備采集的同時(shí)閃光燈閃光。
所述控制主機(jī)通過(guò)千兆網(wǎng)絡(luò)連接到交換機(jī)組成一個(gè)局域網(wǎng),在局域網(wǎng)里存儲(chǔ)服務(wù)器的一個(gè)存儲(chǔ)路徑在每臺(tái)控制主機(jī)上映射有一個(gè)網(wǎng)絡(luò)驅(qū)動(dòng)器;所述控制主機(jī)將圖像采集設(shè)備獲取數(shù)據(jù)的存儲(chǔ)路徑設(shè)置為所述網(wǎng)絡(luò)驅(qū)動(dòng)器,圖像采集設(shè)備采集的所有圖像數(shù)據(jù)最終匯總于所述存儲(chǔ)服務(wù)器。
優(yōu)選地,所述圖像采集設(shè)備采用單反相機(jī)。所述相機(jī)通過(guò)3.5mm音頻線與同步觸發(fā)器連接,同步觸發(fā)器之間使用RJ45接口使用網(wǎng)線進(jìn)行同步,在其中一臺(tái)同步觸發(fā)器上接入相機(jī)遙控快門(mén)信號(hào)接收器,遙控快門(mén)觸發(fā)時(shí)所有相機(jī)實(shí)現(xiàn)同步拍攝。
本發(fā)明的系統(tǒng)提供了均勻的光照條件,穩(wěn)定的機(jī)械機(jī)構(gòu)和穩(wěn)定的相機(jī)同步,能夠瞬時(shí)、高效地采集360度圖像數(shù)據(jù),適合于人體,靜物等的數(shù)據(jù)采集。其具有以下優(yōu)點(diǎn):
(1)本發(fā)明的系統(tǒng)是在一個(gè)封閉的空間中采集數(shù)據(jù),有效地屏蔽了環(huán)境光對(duì)拍攝的干擾;
(2)通過(guò)高亮度閃光燈的反射光對(duì)場(chǎng)景進(jìn)行照明,光線均勻,同時(shí)亮度充足;
(3)使用單反相機(jī)作為采集圖像的工具,單反的感光元件比一般的工業(yè)相機(jī)大,成像效果好。同時(shí)充足的光照能夠使成像的噪聲降到最低;
(4)相機(jī)通過(guò)有線觸發(fā)同步性能穩(wěn)定;
(5)同步觸發(fā)速度快,能在極短的時(shí)間內(nèi)采集數(shù)據(jù),適用于如人體等的非靜物;
(6)本發(fā)明可安裝80臺(tái)單反相機(jī)(可在此基礎(chǔ)上增減數(shù)量),通過(guò)相機(jī)的同步控制在一秒內(nèi)的時(shí)間里進(jìn)行數(shù)據(jù)采集存儲(chǔ),能夠高效地采集高質(zhì)量的圖像序列;
(7)針對(duì)目前的被動(dòng)重建算法,以及在影視游戲中對(duì)角色三維模型重建的大量使用,本發(fā)明能很好的滿(mǎn)足這些應(yīng)用場(chǎng)景對(duì)所需圖像數(shù)據(jù)采集的要求,廣泛用于影視游戲的模型三維重建、計(jì)算機(jī)視覺(jué)數(shù)據(jù)采集等領(lǐng)域。
附圖說(shuō)明
圖1是系統(tǒng)的外部金屬框架結(jié)構(gòu)示意圖;
圖2是(a)頂圈與(b)底圈閃光燈安裝的剖面示意圖;1-框架,2-燈鉤,3-閃光燈;
圖3是相機(jī)安裝支架結(jié)構(gòu)示意圖,(a)立體圖,(b)側(cè)面圖,(c)正面圖;
圖4是單反相機(jī)安裝示意圖,4-相機(jī)安裝支架,5-球形云臺(tái),6-單反相機(jī);
圖5是系統(tǒng)控制流程示意圖,7-相機(jī)陣列,8-同步觸發(fā)盒,9-USB hub,10-電腦主機(jī),11-交換機(jī),12-服務(wù)器。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。
首先,設(shè)計(jì)一個(gè)圓柱形金屬支撐框架,圖1中金屬框架是由鋁合金桁架搭建,桁架的頂圈和底圈各由8段弧形部件通過(guò)螺栓連接,桁架中有大量的三角形結(jié)構(gòu),能夠在減輕框架重量的同時(shí)保證框架能夠承受大量的拉力,結(jié)構(gòu)穩(wěn)定,搭建方便。圓柱形支架的外徑為6.2m,四根立柱高度為2.7m。在圓柱形框架的四周和頂部均蒙有白色漫反射攝影紙,攝影紙表面接近于理想的朗伯表面,反射的光線在各個(gè)方向上的亮度相同。在框架的頂圈和底圈各等間距安裝16個(gè)閃光燈,拍攝時(shí)閃光燈通過(guò)光信號(hào)同步閃光,閃光燈的朝向是對(duì)著攝影紙。攝影紙表面的發(fā)射光在各個(gè)方向上的強(qiáng)度基本一致,因此通過(guò)攝影紙?jiān)诳蚣軆?nèi)的反射光能對(duì)需要拍攝的場(chǎng)景提供充足和均勻的照明。
在有一個(gè)良好的光照環(huán)境的前提下,上述外部金屬框架提供了這樣的拍攝環(huán)境,需要在此環(huán)境下布置拍攝使用的圖像傳感器。本系統(tǒng)采用了數(shù)碼單反相機(jī)作為圖像采集設(shè)備,由于數(shù)碼單反感光元件較一般的工業(yè)相機(jī)面積大,拍攝時(shí)的成像效果較好。在這個(gè)圓柱形框架內(nèi)安置了16組鋁合金相機(jī)架,每組相機(jī)架在其軸線垂直方向等間距安裝了5臺(tái)數(shù)碼單反相機(jī),總共80臺(tái)相機(jī)。多視點(diǎn)三維重建算法中,輸入圖像序列的重疊部分越大,重建的質(zhì)量就越高,因此相機(jī)的數(shù)量可以在80臺(tái)的基礎(chǔ)上有所浮動(dòng)。相機(jī)架使用工業(yè)鋁型材搭建,標(biāo)準(zhǔn)型材能夠達(dá)到很高的精度要求,同時(shí)保證相機(jī)架的穩(wěn)定和裝卸簡(jiǎn)便。相機(jī)通過(guò)球形云臺(tái)固定在工業(yè)鋁型材側(cè)面凹槽中。球形云臺(tái)能夠360度的調(diào)整位置,相機(jī)的拍攝角度選擇十分靈活。相機(jī)架擺放在一個(gè)以外部圓柱形框架中軸為圓心半徑為2.5m的圓周之上。
圖2中框架的頂部圓周和底部圓周上等間隔的各安裝了16盞高亮度閃光燈。相機(jī)通過(guò)燈鉤2固定于金屬框架1上,頂部閃光燈3固定位置為水平朝上15°左右,底部閃光燈3固定位置為朝向四周攝影紙方向水平朝上45°。閃光燈3不直接朝向框架中心,而是通過(guò)攝影紙的反射光來(lái)對(duì)整個(gè)拍攝環(huán)境進(jìn)行照明。拍攝時(shí),其中一臺(tái)閃光燈3通過(guò)無(wú)線接收器接收相機(jī)上安裝的發(fā)射器的引閃信號(hào)與相機(jī)同步,閃光燈3之間通過(guò)光信號(hào)同步。閃光在框架內(nèi)的反射光能對(duì)需要拍攝的場(chǎng)景提供充足和均勻的照明,均勻的光照能夠有效的消除拍攝物體的高光和陰影部分,而高亮度是相機(jī)的拍攝參數(shù)中ISO的數(shù)值能夠降低這樣可使相機(jī)拍攝時(shí)候的噪聲降低,同時(shí)高亮度能夠允許相機(jī)使用較小的光圈,這樣能夠使拍攝時(shí)候有著更大的景深,保證拍攝物體都在景深范圍內(nèi),在圖像中物體的邊緣足夠銳利。
圖3中的相機(jī)安裝支架由歐標(biāo)4040工業(yè)鋁型材制造,支架高2.5m,寬0.64m,長(zhǎng)1.2m,支架的各部件之間使用強(qiáng)力角件、T型螺栓、法蘭螺母進(jìn)行連接固定。在整個(gè)系統(tǒng)中有16個(gè)相同的支架?chē)@外部圓柱形框架的中軸均勻的放置在外部框架中。這種相機(jī)支架由于是獨(dú)立化設(shè)計(jì),位置的移動(dòng)十分方便,同時(shí)型材的使用也使支架牢固穩(wěn)定。
圖4中的球形云臺(tái)5通過(guò)螺栓和方形螺母固定在型材的凹槽上。本系統(tǒng)中單反相機(jī)6之間的間距為30cm,最低位置離地面50cm,這樣的安裝位置能夠用來(lái)拍攝人體的半身像以及一些就1m高度的物體。單反相機(jī)6通過(guò)快門(mén)線連接相機(jī)同步盒,拍攝時(shí)同步盒同步觸發(fā)相機(jī),相機(jī)同步拍攝360度的場(chǎng)景高清圖片。
圖5中的相機(jī)陣列7,采用10臺(tái)相機(jī)為一組,同一組相機(jī)接到同一臺(tái)電腦主機(jī)10。一組相機(jī)的數(shù)量受到主機(jī)性能的限制,相機(jī)數(shù)量越多控制的穩(wěn)定性越差。相機(jī)的同步觸發(fā)盒8內(nèi)使用并聯(lián)結(jié)構(gòu),觸發(fā)盒子有一個(gè)輸入口接無(wú)線快門(mén)的接收器,接收信號(hào)后將信號(hào)分路通過(guò)快門(mén)線發(fā)送給相機(jī)進(jìn)行同步觸發(fā)。同步觸發(fā)盒每個(gè)擁有16個(gè)輸出口,觸發(fā)盒與觸發(fā)盒之間使用網(wǎng)線連接。同一組相機(jī)通過(guò)USB3.0數(shù)據(jù)線連接到USB hub9,電腦主機(jī)10通過(guò)hub與相機(jī)之間通信,主機(jī)控制相機(jī)的拍攝參數(shù)以及圖片的額保存路徑。電腦主機(jī)10通過(guò)相機(jī)SDK(軟件開(kāi)發(fā)包)來(lái)實(shí)現(xiàn)與相機(jī)之間的通信。所有主機(jī)通過(guò)千兆網(wǎng)線連接到交換機(jī)11,每臺(tái)主機(jī)的IP地址設(shè)置在同一網(wǎng)段內(nèi),交換機(jī)11有一條上傳線路連接到服務(wù)器12。所有采集到的圖像最終都會(huì)通過(guò)交換機(jī)11傳輸?shù)酱鎯?chǔ)服務(wù)器12,服務(wù)器12通過(guò)局域網(wǎng)在每臺(tái)控制相機(jī)的電腦主機(jī)10上映射網(wǎng)絡(luò)驅(qū)動(dòng)器,控制主機(jī)將圖像的存儲(chǔ)路徑設(shè)置為存儲(chǔ)服務(wù)器映射的網(wǎng)絡(luò)驅(qū)動(dòng)器,這樣交換機(jī)11將圖像都傳輸都存儲(chǔ)服務(wù)器12中,用于后期的處理和保存。