本發(fā)明涉及虛擬現(xiàn)實技術(shù)，尤指一種全景圖像的拍攝系統(tǒng)及方法。

背景技術(shù)：

全景視頻能夠為用戶提供全方位視角、浸入式視頻觀看體驗，已逐漸成為虛擬現(xiàn)實和視頻播放的熱點。隨著虛擬現(xiàn)實技術(shù)的不斷成熟，全景內(nèi)容正在普及，并進(jìn)入人們的生活，人們可以通過各種各樣的途徑接觸到種類繁多的全景內(nèi)容。

現(xiàn)有技術(shù)中，為了獲取全景圖像，需要使用全景相機(jī)進(jìn)行拍攝。全景相機(jī)通常設(shè)置有兩個或兩個以上的鏡頭，通過全景相機(jī)拍攝多個方向的圖像，再將兩個或兩個以上鏡頭拍攝的多個方向的圖像過拼接算法進(jìn)行拼接，得到全景圖像，然后通形成全景視頻。

由于全景相機(jī)本身具有全景拍攝、圖像處理、數(shù)據(jù)存儲、傳輸?shù)韧晟频墓δ?，因此，結(jié)構(gòu)復(fù)雜、技術(shù)水平高、實現(xiàn)難度大，這就導(dǎo)致其成本高昂，在很大程度上限制了全景相機(jī)的普及。

技術(shù)實現(xiàn)要素：

為了解決上述技術(shù)問題，本申請?zhí)峁┝艘环N全景圖像的拍攝系統(tǒng)及方法，能夠大大降低全景拍攝設(shè)備的技術(shù)復(fù)雜度及成本，并增加了拍攝設(shè)備的可移植性。

為了達(dá)到本發(fā)明目的，本申請?zhí)峁┝艘环N全景采集裝置，具有兩個相同結(jié)構(gòu)的成像單元以及通信芯片，其中：

兩個成像單元相對設(shè)置且光軸相互重合，每個成像單元均包括超過180度視場角的魚眼鏡頭和用于將魚眼鏡頭的光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像的圖像傳感器，每個圖像傳感器分別與所述通信芯片連接，將電信號魚眼圖像傳輸給所述通信芯片；

所述通信芯片將每個圖像傳感器傳輸?shù)碾娦盘桇~眼圖像通過對外通信接口輸出，以實現(xiàn)圖像處理。

本申請還提供了一種全景處理裝置，包括：應(yīng)用處理器、存儲器和對外通信接口，所述存儲器與應(yīng)用處理器連接，所述對外通信接口設(shè)置在應(yīng)用處理器上，其中：

所述應(yīng)用處理器通過所述對外通信接口與全景采集裝置連接，在連接的狀態(tài)下，接收所述全景采集裝置傳輸?shù)碾娦盘桇~眼圖像，對所述電信號魚眼圖像進(jìn)行圖像處理。

本申請還提供了一種全景圖像的拍攝系統(tǒng)，包括：全景采集裝置和全景處理裝置，所述全景采集裝置與所述全景處理裝置在物理上相互獨立，通過對外通信接口實現(xiàn)連接，其中：

所述全景采集裝置具有兩個相同結(jié)構(gòu)的成像單元以及通信芯片，兩個成像單元相對設(shè)置且光軸相互重合，每個成像單元均包括超過180度視場角的魚眼鏡頭和用于將魚眼鏡頭的光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像的圖像傳感器，每個圖像傳感器分別與所述通信芯片連接，將電信號魚眼圖像傳輸給所述通信芯片；所述通信芯片將每個圖像傳感器傳輸?shù)碾娦盘桇~眼圖像通過對外通信接口輸出給所述全景處理裝置；

所述全景處理裝置通過與全景采集裝置配合使用的對外通信接口與所述全景采集裝置的通信芯片連接，在連接的狀態(tài)下，接收所述通信芯片傳輸?shù)碾娦盘桇~眼圖像，對所述電信號魚眼圖像進(jìn)行圖像處理。

本申請還提供了一種全景圖像的拍攝方法，包括：

通過兩個魚眼鏡頭采集外界圖像，得到兩路光信號魚眼圖像；

將所述光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像，得到兩路電信號魚眼圖像；

將所述兩路電信號魚眼圖像通過對外通信接口輸出，以實現(xiàn)圖像處理。

本申請還提供了一種全景處理裝置，包括：接收單元和圖像處理單元，其中：

所述接收單元，用于接收全景采集裝置傳輸?shù)碾娦盘桇~眼圖像；

所述圖像處理單元，用于對所述電信號魚眼圖像進(jìn)行圖像處理。

與現(xiàn)有技術(shù)相比，本申請包括全景采集裝置和全景處理裝置，全景處理裝置與全景采集裝置在物理上相互獨立，通過對外通信接口實現(xiàn)連接，其中：全景采集裝置具有兩個相同結(jié)構(gòu)的成像單元以及通信芯片，兩個成像單元相對設(shè)置且光軸相互重合，每個成像單元均包括超過180度視場角的魚眼鏡頭和用于將魚眼鏡頭的光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像的圖像傳感器，每個圖像傳感器分別與通信芯片連接，將電信號魚眼圖像傳輸給通信芯片；通信芯片將每個圖像傳感器傳輸?shù)碾娦盘桇~眼圖像通過對外通信接口輸出給全景處理裝置；全景處理裝置通過對外通信接口與全景采集裝置的通信芯片連接，在連接的狀態(tài)下，接收通信芯片傳輸?shù)碾娦盘桇~眼圖像，對電信號魚眼圖像進(jìn)行圖像處理。本申請的全景圖像的拍攝系統(tǒng)將圖像采集與圖像處理劃分為兩個獨立的裝置完成，由相互獨立的兩個裝置分別完成圖像采集與圖像處理，不僅能夠大大簡化全景拍攝裝置的復(fù)雜度，從而降低產(chǎn)品的成本，而且能夠?qū)D像采集裝置遷移到其他設(shè)備上使用，使全景采集裝置具有了可移植性。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

附圖說明

附圖用來提供對本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本申請的實施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對本發(fā)明技術(shù)方案的限制。

圖1為本申請的一實施例提供的全景圖像的拍攝系統(tǒng)的整體結(jié)構(gòu)圖；

圖2為本申請的另一實施例提供的全景采集裝置的電路圖；

圖3為本申請的另一實施例提供的全景處理裝置的電路圖；

圖4為本申請的另一實施例提供的全景圖像的拍攝方法的流程圖；

圖5為本申請的另一實施例提供的全景處理裝置的架構(gòu)圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下文中將結(jié)合附圖對本發(fā)明的實施例進(jìn)行詳細(xì)說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如一組計算機(jī)可執(zhí)行指令的計算機(jī)系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

現(xiàn)有技術(shù)中的全景相機(jī)將全景拍攝、圖像處理、數(shù)據(jù)存儲、數(shù)據(jù)傳輸?shù)雀鞣N功能集于一體。在用戶使用全景相機(jī)進(jìn)行拍攝時，可以由全景相機(jī)完成從拍攝魚眼圖像到輸出拼接后的全景圖像或全景視頻等全部工作，這就導(dǎo)致全景相機(jī)的結(jié)構(gòu)復(fù)雜、實現(xiàn)難度大，并且成本高昂，不僅使全景相機(jī)的制造難度巨大，而且在很大程度上限制了全景相機(jī)的普及。

本申請中考慮到在很多場景下都需要進(jìn)行圖像采集，在全景拍攝逐漸普及的情況下，全景圖像采集已被應(yīng)用到更多的場景中。在很多需要拍攝全景圖像的場景下，如果使用現(xiàn)有的全景相機(jī)進(jìn)行拍攝，不僅成本高昂，而且很多情況下難以滿足不同場景差異化的圖像處理需求。本申請中將圖像采集與圖像處理劃分為兩個獨立的裝置完成，由相互獨立的兩個裝置分別完成圖像采集與圖像處理，不僅能夠大大簡化全景拍攝裝置的復(fù)雜度，從而降低產(chǎn)品的成本，而且能夠?qū)D像采集裝置遷移到其他設(shè)備上使用，滿足多種場景對于全景拍攝的需求，并且能夠適應(yīng)不同場景對于圖像處理的差異化需求。

如圖1所示，本申請一實施例提供的全景圖像的拍攝系統(tǒng)，包括：全景采集裝置1和全景處理裝置2，全景采集裝置1與全景處理裝置2在物理上相互獨立，通過對外通信接口實現(xiàn)連接。

在非工作狀態(tài)下，全景采集裝置1與全景處理裝置2可分離放置，并可單獨與其他設(shè)備配合工作。在全景采集裝置1與全景處理裝置2相配合工作的狀態(tài)下，全景采集裝置1與全景處理裝置2通過對外通信接口連接在一起，全景處理裝置2為全景采集裝置1供電。全景采集裝置1將采集到的光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像，并將電信號魚眼圖像傳輸給全景處理裝置2。全景處理裝置2對電信號魚眼圖像進(jìn)行圖像處理。

本實施例中的全景處理裝置2可以是單獨設(shè)計、制造的裝置，也可以是智能手機(jī)、平板電腦等智能終端，或者是筆記本電腦或PC等設(shè)備。本申請中并不對全景處理裝置的具體形式進(jìn)行限制，任何能夠與全景采集裝置1建立連接，并能夠進(jìn)行圖像處理的終端、設(shè)備均可以作為本申請中的全景處理裝置2。

在不同的應(yīng)用場景中，全景采集裝置1可以遷移到不同的全景處理裝置2上，與不同的全景處理裝置2配合使用。由于不同的全景處理裝置2可能具有不同的圖像處理能力或圖像處理方式，因此，將全景采集裝置1遷移到不同的全景處理裝置2上，可以滿足不同場景中對于圖像處理的差異化需要，解決了一部全景相機(jī)只能提供統(tǒng)一效果的全景圖像且成本高昂的問題。

例如，在家庭監(jiān)控場景中，可以將全景采集裝置1與專為家庭監(jiān)控設(shè)計的全景處理裝置2或筆記本電腦等設(shè)備連接，全景采集裝置1進(jìn)行圖像采集，全景處理裝置2進(jìn)行圖像處理，實現(xiàn)家庭全景監(jiān)控。在戶外公共場所監(jiān)控場景中，可以將全景采集裝置1與專為戶外監(jiān)控設(shè)計的全景處理裝置2連接，實現(xiàn)戶外場所的監(jiān)控。由于家庭監(jiān)控與戶外監(jiān)控可能會有不同的畫質(zhì)要求，因此，可以針對不同的場景設(shè)計不同的全景處理裝置2，滿足不同的圖像處理需要。而對于不同場景下的全景圖像采集需求，通過全景采集裝置1即可滿足。當(dāng)然，本申請中也可以針對不同的場景設(shè)計不同結(jié)構(gòu)的圖像采集裝置1滿足差異化的需求。

本申請中的全景圖像的拍攝系統(tǒng)可以應(yīng)用到各種需要拍攝全景圖像或全景視頻的場景中，不論是風(fēng)景、人物拍攝，還是家庭、戶外監(jiān)控等。相應(yīng)的，本申請中的全景采集裝置可以移植到任何需要進(jìn)行全景采集的場景中，與相應(yīng)場景下適合使用的全景處理裝置配合工作，實現(xiàn)全景圖像或全景視頻的拍攝。

如圖2所示，在本申請的一可選實施例中，全景采集裝置可以是具有兩個相同結(jié)構(gòu)的成像單元以及一通信芯片，兩個成像單元相對設(shè)置且光軸相互重合，每個成像單元均包括超過180度視場角的魚眼鏡頭和用于將魚眼鏡頭的光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像的圖像傳感器，每個圖像傳感器分別與通信芯片連接，將電信號魚眼圖像傳輸給通信芯片；通信芯片將每個圖像傳感器傳輸?shù)碾娦盘桇~眼圖像通過對外通信接口輸出給全景處理裝置。

也就是說，在本實施例中，全景采集裝置1具有第一成像單元11、第二成像單元12和通信芯片13，第一成像單元11包括第一魚眼鏡頭101和第一圖像傳感器102，第二成像單元12包括第二魚眼鏡頭103和第二圖像傳感器104。第一圖像傳感器102與第二圖像傳感器104分別與通信芯片13連接。

第一成像單元11和第二成像單元12的光軸重合。為了能夠獲得周圍環(huán)境水平360度和垂直360度的全景圖像，第一魚眼鏡頭101和第二魚眼鏡頭103的視場角大于180度，特別地，可以選用185度視場角的魚眼鏡頭，或者可以選用視場角為190度的魚眼鏡頭。第一成像單元11的第一魚眼鏡頭101對其周圍半球區(qū)域進(jìn)行成像。第二成像單元12的第二魚眼鏡頭103對其周圍半球區(qū)域進(jìn)行成像。

此外，第一魚眼鏡頭101和第二魚眼鏡頭103采集的外界圖像需保證有部分重疊區(qū)域。

第一圖像傳感器102和第二圖像傳感器104可以是CCD(電荷耦合器件)圖像傳感器，也可以是CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器。第一魚眼鏡頭101和第二魚眼鏡頭103分別設(shè)置在第一圖像傳感器102和第二圖像傳感器104的前面。

通信芯片13可以是WIFI模塊、藍(lán)牙模塊、USB芯片或通用輸入輸出接口芯片等。優(yōu)選的，通信芯片13選擇使用USB芯片，全景采集裝置1這一側(cè)設(shè)置USB公頭作為對外通信接口，全景處理裝置2一側(cè)設(shè)置USB母頭作為與全景采集裝置1配合使用的對外通信接口。全景采集裝置1可以通過通信芯片13連接全景處理裝置2后，將電信號魚眼圖像傳輸給全景處理裝置2，以使全景處理裝置2對電信號魚眼圖像進(jìn)行圖像處理。

與全景采集裝置1相對應(yīng)的，全景處理裝置2通過與全景采集裝置1配合使用的對外通信接口與全景采集裝置1的通信芯片13連接，在連接的狀態(tài)下，接收通信芯片13傳輸?shù)碾娦盘桇~眼圖像，對電信號魚眼圖像進(jìn)行圖像處理。

如圖3所示，全景處理裝置2包括應(yīng)用處理器21、存儲器22和與全景采集裝置1配合使用的對外通信接口23，存儲器22與應(yīng)用處理器21連接，與全景采集裝置1配合使用的對外通信接口23設(shè)置在應(yīng)用處理器21上。

應(yīng)用處理器21通過與全景采集裝置1配合使用的對外通信接口23接收電信號魚眼圖像，對電信號魚眼圖像進(jìn)行圖像處理。圖像處理包括對電信號魚眼圖像進(jìn)行同步和展開處理，得到展開圖像，并對展開圖像進(jìn)行拼接融合得到全景圖像或全景視頻。除此之外，應(yīng)用處理器21還可以對輸入的電信號魚眼圖像進(jìn)行顏色調(diào)整、白平衡處理和鏡頭畸變校正等圖像處理。

存儲器22用于存儲應(yīng)用處理器21進(jìn)行圖像處理后得到的全景圖像或全景視頻，經(jīng)過應(yīng)用處理器21處理后的得到的全景圖像或全景視頻傳入存儲器22中進(jìn)行存儲。存儲器22可以包含SD卡，將用戶拍攝的全景視頻或全景圖像存儲在SD卡中。

不僅如此，應(yīng)用處理器21上還可以設(shè)置網(wǎng)絡(luò)接口，網(wǎng)絡(luò)接口可以是WIFI或藍(lán)牙等無線傳輸接口。應(yīng)用處理器21可以通過網(wǎng)絡(luò)接口接收用戶通過手機(jī)等智能終端對全景處理裝置2的控制，同時，也可以通過網(wǎng)絡(luò)接口向智能終端發(fā)送全景圖像或全景視頻。

請再次參考圖1，對于本申請的全景圖像的拍攝系統(tǒng)的外形形式，針對單獨設(shè)計的全景處理裝置2，可以使全景采集裝置1還包括第一殼體，將全景采集裝置1的電路部分設(shè)置在第一殼體中；使全景處理裝置2還包括第二殼體，將全景處理裝置2的電路部分設(shè)置在第二殼體中。在全景采集裝置1與全景處理裝置2通過通信接口連接的狀態(tài)下，第二殼體支撐起第一殼體。也就是說，在連接狀態(tài)下，可以將保持有全景采集裝置1的電路部分的第一殼體設(shè)置在保持有全景處理裝置2的電路部分的第二殼體的上方。

本申請中不對第一殼體和第二殼體的具體結(jié)構(gòu)形式進(jìn)行限定，任何能夠設(shè)置電路部分并具有一定美感的結(jié)構(gòu)設(shè)計都可以作為殼體的形式。

另外，在全景采集裝置1中還可以設(shè)置音頻采集單元。音頻采集單元可以采集音頻信號，并將音頻信號傳輸至通信芯片13。通信芯片13在向全景處理裝置2傳輸電信號魚眼圖像的同時，還將音頻信號傳輸給全景處理裝置2。在本申請的一可選實施例中，音頻采集單元可以是麥克風(fēng)，也可以為其他的音頻采集裝置。

本申請的全景圖像的拍攝系統(tǒng)能夠應(yīng)用到任何需要進(jìn)行全景拍攝的場景中，并且全景采集裝置1可以遷移到不同的全景處理裝置2上，滿足不同場景中對于圖像處理的差異化需要，解決了一部全景相機(jī)只能提供統(tǒng)一效果的全景圖像且成本高昂的問題。

如圖4所示，本申請的另一實施例提供的全景圖像的拍攝方法，包括：

步驟401：通過兩個魚眼鏡頭采集外界圖像，得到兩路光信號魚眼圖像；

步驟402：將光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像，得到兩路電信號魚眼圖像；

步驟403：將兩路電信號魚眼圖像通過對外通信接口輸出，以實現(xiàn)圖像處理。

本實施例中，通過相對放置的兩組成像單元采集兩路光信號魚眼圖像，再將光信號魚眼圖像轉(zhuǎn)換為電信號魚眼圖像，最后通過對外通信接口將電信號魚眼圖像輸出，以實現(xiàn)圖像處理。

上述每個成像單元包括一個魚眼鏡頭和一個攝取由魚眼鏡頭所形成光信號魚眼圖像的圖像傳感器，每個魚眼鏡頭的視場角超過180度。兩個成像單元背向設(shè)置，保證采集到水平和垂直各360°的全景圖像。全景處理裝置可以將各成像單元采集的電信號魚眼圖像展開并拼接在一起獲得立體角弧度為4π的圖像。

對于電信號魚眼圖像的接收端，也就是全景處理裝置，可以通過對外通信接口接收電信號魚眼圖像，對電信號魚眼圖像進(jìn)行圖像處理。圖像處理包括對兩路電信號魚眼圖像進(jìn)行同步和展開處理，得到展開圖像，并對展開圖像進(jìn)行拼接融合得到全景圖像。

由于兩路成像單元相互獨立，因此，采集到的魚眼圖像有先后時間差異，即使進(jìn)行同步控制，也無法保證拍攝得到的兩路電信號魚眼圖像精確同步。因此，在得到兩路電信號魚眼圖像后，需要對這兩路電信號魚眼圖像先進(jìn)行同步處理。

魚眼鏡頭的視角力求達(dá)到或超出人眼所能看到的范圍。因此，魚眼鏡頭在成像過程中存在較大的畸變，畸變圖像不符合人眼的觀看習(xí)慣，所以畸變圖像需要進(jìn)行校正?；诖?，在對兩路電信號魚眼圖像進(jìn)行同步處理后，需要對每一路電信號魚眼圖像進(jìn)行畸變校正。本實施例在對電信號魚眼圖像進(jìn)行的圖像處理中，可以通過對兩路電信號魚眼圖像展開實現(xiàn)魚眼圖像的畸變校正。

在對電信號魚眼圖像進(jìn)行展開，得到展開圖像后，就可以進(jìn)行重疊區(qū)域的拼接融合處理，得到全景圖像，對于視頻拍攝即可得到全景視頻。本實施例對電信號魚眼圖像進(jìn)行的圖像處理中，在將每一路電信號魚眼圖像展開后，對展開圖像的重疊區(qū)域進(jìn)行拼接融合處理，將兩路展開圖像融合后合二為一，得到全景圖像或全景視頻。

融合的方法可以采用如小波融合、加權(quán)平均融合等。

進(jìn)一步，本實施例提供的方法中，在對兩路展開圖像的重疊區(qū)域進(jìn)行拼接融合處理得到全景圖像或全景視頻后，還可以將拼接后的全景視頻或全景圖像編碼壓縮為標(biāo)準(zhǔn)的數(shù)據(jù)格式，并將壓縮后的全景視頻或全景圖像傳輸給后端設(shè)備進(jìn)行后期處理或顯示。例如，可以通過USB接口、wifi接口等數(shù)據(jù)傳輸接口傳輸壓縮后的全景視頻或全景圖像。

此外，本實施例提供的方法中，在對電信號魚眼圖像進(jìn)行圖像處理后，還可以對得到的全景視頻或全景圖像進(jìn)行移動偵測、笑臉檢測、人形檢測和煙霧檢測等圖像處理工作。

如圖5所示，本申請另一實施例提供的全景處理裝置，包括：接收單元和圖像處理單元，其中：

接收單元，用于接收全景采集裝置傳輸?shù)碾娦盘桇~眼圖像；

圖像處理單元，用于對所述電信號魚眼圖像進(jìn)行圖像處理。

圖像處理單元，具體用于對電信號魚眼圖像進(jìn)行同步和展開處理，得到展開圖像，并對展開圖像進(jìn)行拼接融合得到全景圖像。

雖然本發(fā)明所揭露的實施方式如上，但所述的內(nèi)容僅為便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式及細(xì)節(jié)上進(jìn)行任何的修改與變化，但本發(fā)明的專利保護(hù)范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)。