亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

用于處理來自全方位攝像頭的數(shù)據(jù)的系統(tǒng)的制作方法

文檔序號(hào):12829493閱讀:287來源:國(guó)知局
用于處理來自全方位攝像頭的數(shù)據(jù)的系統(tǒng)的制作方法與工藝

本發(fā)明一般地涉及全方位攝像頭,并且更具體地,涉及用于處理來自具有多個(gè)處理器和/或連接到各個(gè)處理器的多個(gè)傳感器的全方位攝像頭的數(shù)據(jù)的方法和/或系統(tǒng)。



背景技術(shù):

常規(guī)的全方位攝像頭(也稱為虛擬現(xiàn)實(shí)攝像頭、球形攝像頭、全景攝像頭、沉浸式視頻攝像頭或360攝像頭)帶來設(shè)計(jì)挑戰(zhàn)。單個(gè)鏡頭不能捕獲整個(gè)球形視野。全方位攝像頭的用途是沿圍繞攝像頭的所有方向(即,在每個(gè)軸上360度地)捕獲視頻。捕獲的視頻表示觀看該視頻的人周圍的場(chǎng)景的完整視圖。用戶通常使用頭戴式顯示器或者交互式視頻播放器來觀看正在重放的捕獲的視頻。在重放期間,可以沿任意方向改變視頻取向。

以前考慮的常規(guī)解決方案包括在鏡頭前方放置凸面鏡,以捕獲更多的場(chǎng)景。然而,利用在鏡頭前方的凸面鏡只提供360度水平覆蓋,而失去球形視野的頂部和底部。以前考慮的常規(guī)解決方案還包括把來自多個(gè)鏡頭的圖像捕獲成多個(gè)視頻信號(hào)。然而,利用多個(gè)視頻信號(hào)產(chǎn)生多個(gè)問題,諸如利用單個(gè)處理器處理所有視頻信號(hào)、利用單個(gè)處理器產(chǎn)生多個(gè)視頻文件、為每個(gè)視頻信號(hào)提供專用處理器和管理來自各個(gè)處理器的多個(gè)視頻文件和視頻信號(hào)的問題。

商業(yè)產(chǎn)品已經(jīng)嘗試了幾種常規(guī)途徑。大多數(shù)常規(guī)途徑落入幾種類別之一。在一種常規(guī)途徑中,每個(gè)鏡頭安裝在連接到專用處理器的傳感器上。每個(gè)處理器把一個(gè)視頻文件記錄在存儲(chǔ)介質(zhì)上。在記錄完成之后,所有文件從存儲(chǔ)介質(zhì)轉(zhuǎn)出到計(jì)算機(jī)或云。拼接多個(gè)文件以創(chuàng)建球形視野僅作為后期制作處理完成。

在另一種常規(guī)途徑中,每個(gè)鏡頭安裝在傳感器上。系統(tǒng)中的所有傳感器連接到單個(gè)處理器。所述處理器把多個(gè)視頻文件記錄在存儲(chǔ)介質(zhì)上。在記錄完成之后,所有文件從存儲(chǔ)介質(zhì)轉(zhuǎn)出到計(jì)算機(jī)或云。拼接多個(gè)文件以創(chuàng)建球形視野僅作為后期制作處理完成。

理想的將是實(shí)現(xiàn)一種用于處理來自具有多個(gè)處理器和/或連接到各個(gè)處理器的多個(gè)傳感器的全方位攝像頭的數(shù)據(jù)的系統(tǒng)。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明涉及一種包括攝像頭和計(jì)算設(shè)備的系統(tǒng)。所述攝像頭可以包括(a)多個(gè)捕獲設(shè)備和(b)第一接口,所述多個(gè)捕獲設(shè)備被配置成捕獲攝像頭周圍的環(huán)境的圖像,以提供球形視野。所述計(jì)算設(shè)備可以包括(a)處理器和(b)第二接口。攝像頭可以被配置成基于捕獲的圖像來編碼多個(gè)視頻流。第一接口可以被配置成把所述多個(gè)視頻流傳送給第二接口。處理器可以對(duì)所述多個(gè)視頻流執(zhí)行拼接操作,以生成單個(gè)視頻信號(hào)??梢栽趥魉退龆鄠€(gè)視頻流時(shí),實(shí)時(shí)地對(duì)所述多個(gè)視頻流執(zhí)行拼接操作。所述單個(gè)視頻信號(hào)可以被配置成表示基于攝像頭周圍的環(huán)境的全方位視圖。

本發(fā)明還包括一種系統(tǒng),所述系統(tǒng)包括攝像頭,所述攝像頭包括(a)多個(gè)捕獲設(shè)備,所述多個(gè)捕獲設(shè)備被配置成捕獲攝像頭周圍的環(huán)境的圖像,以提供球形視野,和(b)第一接口,以及計(jì)算設(shè)備,所述計(jì)算設(shè)備包括(a)處理器和(b)第二接口,其中(i)所述攝像頭被配置成基于捕獲的圖像來編碼多個(gè)視頻流,(ii)第一接口被配置成把所述多個(gè)視頻流傳送給第二接口,(iii)所述處理器被配置成對(duì)所述多個(gè)視頻流執(zhí)行拼接操作,以生成單個(gè)視頻信號(hào),(iv)在傳送所述多個(gè)視頻流時(shí),實(shí)時(shí)對(duì)所述多個(gè)視頻流執(zhí)行拼接操作,以及(v)所述單個(gè)視頻信號(hào)被配置成表示基于攝像頭周圍的環(huán)境的全方位視圖。

在上述系統(tǒng)方面的一些實(shí)施例中,全方位視圖包括單視場(chǎng)視圖和立體視圖之一。

在上述系統(tǒng)方面的一些實(shí)施例中,計(jì)算設(shè)備(i)還包括第三接口,并且(ii)被配置成經(jīng)由第三接口傳送所述單個(gè)視頻信號(hào)。

在上述系統(tǒng)方面的一些實(shí)施例中,所述設(shè)備被配置成通過第三接口實(shí)時(shí)地把所述單個(gè)視頻信號(hào)傳送給(a)遠(yuǎn)程服務(wù)器和(b)用戶設(shè)備中的至少一個(gè)。

在上述系統(tǒng)方面的一些實(shí)施例中,用戶設(shè)備是(a)臺(tái)式計(jì)算機(jī)、(b)智能電話、(c)平板計(jì)算機(jī)和(d)頭戴式顯示器中的至少一個(gè)。

在上述系統(tǒng)方面的一些實(shí)施例中,第三接口被配置成把所述單個(gè)視頻信號(hào)傳送給(i)網(wǎng)絡(luò)設(shè)備和(ii)顯示器以及(iii)hdmi接口之一。

在上述系統(tǒng)方面的一些實(shí)施例中,網(wǎng)絡(luò)設(shè)備被配置成把所述單個(gè)視頻信號(hào)傳送給最終用戶。

在上述系統(tǒng)方面的一些實(shí)施例中,由攝像頭進(jìn)行的編碼、所述多個(gè)視頻流從第一接口到第二接口的傳送以及由計(jì)算設(shè)備執(zhí)行的拼接操作是實(shí)時(shí)進(jìn)行的。

在上述系統(tǒng)方面的一些實(shí)施例中,所述攝像頭和計(jì)算設(shè)備在分離的外殼中實(shí)現(xiàn)。

在上述系統(tǒng)方面的一些實(shí)施例中,第一接口和第二接口通過單個(gè)電纜連接。

在上述系統(tǒng)方面的一些實(shí)施例中,所述單個(gè)電纜實(shí)現(xiàn)(i)以太網(wǎng)供電(poe)標(biāo)準(zhǔn)和(ii)通用串行總線(usb)標(biāo)準(zhǔn)中的至少一個(gè)。

在上述系統(tǒng)方面的一些實(shí)施例中,由攝像頭進(jìn)行的編碼、所述多個(gè)視頻流從第一接口到第二接口的傳送、以及由計(jì)算設(shè)備執(zhí)行的拼接操作是實(shí)時(shí)進(jìn)行的。

在上述系統(tǒng)方面的一些實(shí)施例中,計(jì)算設(shè)備被實(shí)現(xiàn)為小型便攜式計(jì)算機(jī)。

在上述系統(tǒng)方面的一些實(shí)施例中,計(jì)算設(shè)備被實(shí)現(xiàn)為計(jì)算服務(wù),所述計(jì)算服務(wù)被配置成提供可用處理資源以按需縮放。

在上述系統(tǒng)方面的一些實(shí)施例中,計(jì)算設(shè)備被配置成把所述單個(gè)視頻信號(hào)傳送給內(nèi)容遞送網(wǎng)絡(luò),以允許分發(fā)給多個(gè)最終用戶。

在上述系統(tǒng)方面的一些實(shí)施例中,計(jì)算設(shè)備被配置成(i)在進(jìn)行拼接操作之前,解碼所述多個(gè)視頻流,以及(ii)重新編碼所述單個(gè)視頻信號(hào)。

在上述系統(tǒng)方面的一些實(shí)施例中,所述單個(gè)視頻信號(hào)使用投影方法來表示球形視野。

在上述系統(tǒng)方面的一些實(shí)施例中,(i)所述單個(gè)視頻信號(hào)被傳送給內(nèi)容遞送網(wǎng)絡(luò),(ii)內(nèi)容遞送網(wǎng)絡(luò)被配置成把所述單個(gè)視頻信號(hào)轉(zhuǎn)碼成多個(gè)視頻流,(iii)基于至少一個(gè)因素把視頻流之一表示給一個(gè)或多個(gè)最終用戶,以及(iv)所述因素包括帶寬、qos、訂制等級(jí)和與服務(wù)器的連接的數(shù)目中的至少一個(gè)。

在上述設(shè)備方面的一些實(shí)施例中,內(nèi)容遞送網(wǎng)絡(luò)(i)按需向最終用戶遞送轉(zhuǎn)碼視頻流中的第一視頻流,以及(ii)響應(yīng)于所述因素中的變化,切換成遞送轉(zhuǎn)碼視頻流中的第二視頻流。

在上述系統(tǒng)方面的一些實(shí)施例中,(i)轉(zhuǎn)碼視頻流中的第一視頻流和轉(zhuǎn)碼視頻流中的第二視頻流中的一個(gè)視頻流具有比轉(zhuǎn)碼視頻流中的第一視頻流和轉(zhuǎn)碼視頻流中的第二視頻流中的另一個(gè)視頻流高的質(zhì)量,并且(ii)所述質(zhì)量包括(a)分辨率、(b)幀速率、(c)壓縮比、(d)壓縮方法以及(e)壓縮標(biāo)準(zhǔn)中的至少一個(gè)。

本發(fā)明還包含涉及一種裝置的方面,該裝置包括多個(gè)圖像模塊,每個(gè)圖像模塊包括(i)配置成捕獲圖像的傳感器,和(ii)安裝到所述傳感器的鏡頭以及多個(gè)處理器,每個(gè)處理器被配置成(a)從所述多個(gè)圖像模塊的子集接收?qǐng)D像,并且(b)生成多個(gè)視頻流,其中(i)視頻流中的每一個(gè)視頻流是由處理器之一響應(yīng)于從圖像模塊之一接收的圖像生成的,(ii)所述多個(gè)圖像模塊的所述子集包括所述多個(gè)圖像模塊中的至少兩個(gè)不同的圖像模塊,并且(iii)所述鏡頭被布置成容許圖像提供對(duì)于裝置周圍的場(chǎng)景的球形視野覆蓋。

在上述裝置方面的一些實(shí)施例中,接口被配置成(i)把裝置連接到外部設(shè)備,和(ii)向該裝置提供電力。

在上述裝置方面的一些實(shí)施例中,所述接口遵從(i)以太網(wǎng)供電(poe)標(biāo)準(zhǔn)和(ii)通用串行總線(usb)標(biāo)準(zhǔn)中的至少一個(gè)。

在上述裝置方面的一些實(shí)施例中,所述接口被配置成使用單個(gè)電纜來(i)傳送所述多個(gè)視頻流,以及(ii)為裝置接收電力。

在上述裝置方面的一些實(shí)施例中,通信電路被配置成(i)接收由所述多個(gè)處理器打包的所述多個(gè)視頻流,(ii)把所述多個(gè)視頻流轉(zhuǎn)發(fā)到單個(gè)傳輸中,以及(iii)把所述單個(gè)傳輸傳輸給網(wǎng)絡(luò),其中所述單個(gè)傳輸按先入先出原則傳輸所述多個(gè)視頻流。

在上述裝置方面的一些實(shí)施例中,所述單個(gè)傳輸包括具有與所述多個(gè)視頻流中的每個(gè)視頻流對(duì)應(yīng)的多個(gè)單獨(dú)編碼的子部分的單個(gè)流。

在上述裝置方面的一些實(shí)施例中,所述裝置使用通信電路來傳輸所述單個(gè)傳輸,而不存儲(chǔ)所述多個(gè)視頻流。

在上述裝置方面的一些實(shí)施例中,還被配置成為由外部計(jì)算設(shè)備執(zhí)行的視頻拼接操作,使所述多個(gè)圖像模塊的曝光同步。

在上述裝置方面的一些實(shí)施例中,所述同步由以下中的至少一個(gè)執(zhí)行:(a)統(tǒng)一時(shí)鐘發(fā)生器、(b)配置成通過i2c執(zhí)行協(xié)商操作的電路、(c)配置成通過以太網(wǎng)執(zhí)行協(xié)商操作的電路以及(d)向所述多個(gè)圖像模塊中的其它圖像模塊提供時(shí)鐘信號(hào)的圖像模塊之一。

在上述裝置方面的一些實(shí)施例中,(i)所述裝置還包括連接到所述多個(gè)處理器中的至少一個(gè)處理器的慣性測(cè)量單元,以及(ii)由所述慣性測(cè)量單元記錄的信息是作為(a)具有所述視頻流中的至少一個(gè)視頻流的元數(shù)據(jù)和(b)與視頻流分離的元數(shù)據(jù)信道之一傳送的。

在上述裝置方面的一些實(shí)施例中,所述元數(shù)據(jù)與視頻流共享(i)公共時(shí)鐘和(ii)時(shí)間戳中的一個(gè),其中公共時(shí)鐘或時(shí)間戳是基于公共實(shí)時(shí)時(shí)鐘生成的。

在上述裝置方面的一些實(shí)施例中,(i)所述多個(gè)視頻流共享公共系統(tǒng)時(shí)鐘,以及(ii)一個(gè)或多個(gè)時(shí)間戳是基于公共實(shí)時(shí)時(shí)鐘的。

本發(fā)明還包含涉及一種裝置的方面,所述裝置包括被配置成保護(hù)多個(gè)傳感器的殼體、第一處理器和第二處理器,傳感器中的每個(gè)被配置成捕獲圖像,所述第一處理器被配置成接收(i)來自所述多個(gè)傳感器中的第一傳感器的圖像,以及(ii)來自所述多個(gè)傳感器中的第二傳感器的圖像,所述第二處理器被配置成接收(i)來自所述多個(gè)傳感器中的第三傳感器的圖像,以及(ii)來自所述多個(gè)傳感器中的第四傳感器的圖像,其中(i)第一處理器被配置成(a)響應(yīng)于來自所述多個(gè)傳感器中的第一傳感器的圖像生成第一視頻流,和響應(yīng)于來自所述多個(gè)傳感器中的第二傳感器的圖像生成第二視頻流,以及(b)第二處理器被配置成響應(yīng)于來自所述多個(gè)傳感器中的第三傳感器的圖像生成第三視頻流,和響應(yīng)于來自所述多個(gè)傳感器中的第四傳感器的圖像生成第四視頻流,以及(ii)用于傳感器的鏡頭被布置成容許圖像提供對(duì)于裝置周圍場(chǎng)景的球形視野的覆蓋。

在上述裝置的一些實(shí)施例中,接口被配置成(i)把裝置連接到外部設(shè)備,以及(ii)向裝置提供電力。

在上述裝置方面的一些實(shí)施例中,(a)所述接口遵從(i)以太網(wǎng)供電(poe)標(biāo)準(zhǔn),和(ii)通用串行總線(usb)標(biāo)準(zhǔn)中的至少一個(gè),(b)所述接口被配置成使用單個(gè)電纜(i)傳輸?shù)谝灰曨l流、第二視頻流、第三視頻流和第四視頻流,以及(ii)為裝置接收電力。

在上述裝置方面的一些實(shí)施例中,通信電路被配置成(i)接收由第一處理器和第二處理器打包的第一視頻流、第二視頻流、第三視頻流和第四視頻流,(ii)把第一視頻流、第二視頻流、第三視頻流和第四視頻流轉(zhuǎn)發(fā)到單個(gè)傳輸中,以及(iii)把所述單個(gè)傳輸傳輸給網(wǎng)絡(luò),其中所述單個(gè)傳輸按先入先出規(guī)則傳輸?shù)谝灰曨l流、第二視頻流、第三視頻流和第四視頻流。

在上述裝置方面的一些實(shí)施例中,所述裝置利用通信電路傳輸所述單個(gè)傳輸,而不存儲(chǔ)第一視頻流、第二視頻流、第三視頻流和第四視頻流。

在上述裝置方面的一些實(shí)施例中,還被配置成為由外部計(jì)算設(shè)備執(zhí)行的視頻拼接操作,使所述多個(gè)傳感器的曝光同步。

在上述裝置方面的一些實(shí)施例中,所述同步由以下中的至少一個(gè)執(zhí)行:(a)統(tǒng)一時(shí)鐘發(fā)生器、(b)配置成通過i2c執(zhí)行協(xié)商操作的電路、(c)配置成通過以太網(wǎng)執(zhí)行協(xié)商操作的電路、以及(d)向所述多個(gè)傳感器中的其它傳感器提供時(shí)鐘信號(hào)的傳感器之一。

在上述裝置方面的一些實(shí)施例中,(i)所述裝置還包括連接到第一處理器的慣性測(cè)量單元,以及(ii)由所述慣性測(cè)量單元記錄的信息是作為(a)具有第一視頻流、第二視頻流、第三視頻流和第四視頻流中的至少一個(gè)的元數(shù)據(jù),和(b)與第一視頻流、第二視頻流、第三視頻流和第四視頻流分離的元數(shù)據(jù)通道之一傳輸?shù)摹?/p>

附圖說明

根據(jù)下面的具體實(shí)施例和隨附的權(quán)利要求,以及附圖,本發(fā)明的實(shí)施例將是明顯的,附圖中:

圖1是攝像頭的示圖;

圖2是攝像頭的頂視圖;

圖3是攝像頭的側(cè)視圖;

圖4是攝像頭的另一個(gè)側(cè)視圖;

圖5是例示攝像頭的示例內(nèi)部組件的示圖;

圖6是例示把視頻流傳輸給外部計(jì)算設(shè)備的第一和第二處理器的示圖;

圖7是例示全方位攝像頭的示例6鏡頭實(shí)施例的等距視圖的示圖;

圖8是例示全方位攝像頭的示例6鏡頭實(shí)施例的側(cè)視圖的示圖;

圖9是例示全方位攝像頭的示例6鏡頭實(shí)施例的頂視圖的示圖;

圖10是例示全方位攝像頭的示例8鏡頭實(shí)施例的等距視圖的示圖;

圖11是例示全方位攝像頭的示例8鏡頭實(shí)施例的側(cè)視圖的示圖;

圖12是例示全方位攝像頭的示例8鏡頭實(shí)施例的頂視圖的示圖;

圖13是例示全方位攝像頭的示例多鏡頭實(shí)施例的等距視圖的示圖;

圖14是例示全方位攝像頭的示例多鏡頭實(shí)施例的側(cè)視圖的示圖;

圖15是例示全方位攝像頭的示例多鏡頭實(shí)施例的頂視圖的示圖;

圖16是例示全方位攝像頭的示例實(shí)施例的示例內(nèi)部組件的示圖。

圖17是例示連接到外部計(jì)算設(shè)備的攝像頭的示例的示圖。

圖18是例示連接到網(wǎng)絡(luò)的攝像頭和外部計(jì)算設(shè)備的示例的示圖;

圖19是例示連接到外部計(jì)算設(shè)備和內(nèi)容遞送網(wǎng)絡(luò)的全方位攝像頭的實(shí)施例的示圖;

圖20是例示啟動(dòng)過程的流程圖;

圖21是例示傳感器曝光的同步的流程圖;

圖22是例示由全方位攝像頭執(zhí)行的傳輸同步的流程圖;

圖23是例示由外部計(jì)算設(shè)備執(zhí)行的傳輸同步的流程圖;

圖24是例示交錯(cuò)視頻幀的示例的流程圖。

具體實(shí)施方式

本發(fā)明的實(shí)施例包括提供一種用于處理來自全方位攝像頭的數(shù)據(jù)的系統(tǒng),所述系統(tǒng)可以(i)實(shí)現(xiàn)多個(gè)處理器,(ii)實(shí)現(xiàn)連接到各個(gè)處理器的多個(gè)傳感器,(iii)無本地存儲(chǔ)地處理數(shù)據(jù),(iv)在所有記錄完成之前,實(shí)時(shí)地編碼和傳送多個(gè)視頻流,(v)根據(jù)多個(gè)視頻流,生成表示球形視野的單個(gè)視頻文件,(vi)使來自各個(gè)方向的捕獲視頻流同步,以允許實(shí)時(shí)視頻拼接,和/或(viii)被實(shí)現(xiàn)為一個(gè)或多個(gè)集成電路。

參見圖1,按照本發(fā)明的實(shí)施例,示出了攝像頭100的方框圖。攝像頭100被示出為具有第一鏡頭110a、第二鏡頭110b、接口114、頸部112和框架116。圖1中所示的實(shí)施例示出了鏡頭110a和110b??梢詫?shí)現(xiàn)更多的鏡頭??蚣?或殼體)116可以被配置成保護(hù)鏡頭110a和110b(和其它另外的鏡頭)。例如,鏡頭可以被布置成提供對(duì)于攝像頭100周圍的場(chǎng)景的球形視野的覆蓋。在另一個(gè)示例中,框架116可以包括配置成保護(hù)鏡頭110a和110b(和其它另外的鏡頭)的蓋子和在攝像頭100內(nèi)的芯體(例如,實(shí)心芯體)。在一些實(shí)施例中,鏡頭可以沿所有方向,提供攝像頭100周圍的場(chǎng)景。頸部112可以提供安裝接口。例如,頸部112的底部可以提供把攝像頭100安裝在三角架上的機(jī)械連接。

參見圖2,圖中示出了攝像頭100的頂視圖。攝像頭100的頂視圖示出軸140、軸142和塊(或電路)120。鏡頭110b被示出為沿著軸140,指向方向144。鏡頭110b'被示出為沿著軸140,指向方向144'。通常,鏡頭110b和鏡頭110b'沿著軸140,指向相反的方向。

鏡頭110a被示出為沿著軸142,指向方向146。類似地,鏡頭110b'被示出為沿著軸142,指向方向146'。通常,鏡頭110a和鏡頭110a'沿著軸142,指向相反的方向。

通常,在水平平面中,以90度配置配置軸140和軸142。在一些實(shí)施例中,在水平平面中,可以以90度配置實(shí)現(xiàn)鏡頭110a和鏡頭110a',可以以90度配置實(shí)現(xiàn)鏡頭110b和鏡頭110b'。然而,鏡頭110a和110a'或者鏡頭110b和110b'之間的角度可以更大(例如,如果鏡頭110a和110a'或者110b和110b'相對(duì)于彼此傾斜)。軸140和軸142和/或鏡頭110a-110a'和鏡頭110b-110b'的特定定向可以變化,以滿足特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)。

參見圖3,圖中示出了攝像頭100的第一側(cè)視圖。鏡頭110b的方向144和鏡頭110b'的方向144'按稍微向下的角度示出。鏡頭110b-110b'的稍微向下的角度允許攝像頭100的鏡頭提供對(duì)于攝像頭100周圍場(chǎng)景的球形(或全方位)視野的覆蓋。在一些實(shí)施例中,鏡頭110b-110b'可以沿所有方向,捕獲攝像頭100周圍的場(chǎng)景的一部分。

參見圖4,圖中示出了攝像頭100的第二側(cè)視圖。按稍微向上的角度,示出了鏡頭110a的方向146。按稍微向上的角度,示出了鏡頭110a'的方向146'。鏡頭110a-110a'的稍微向上的角度允許攝像頭100的鏡頭提供對(duì)于攝像頭100周圍場(chǎng)景的球形視野的覆蓋。在一些實(shí)施例中,鏡頭110a-110a'可以沿所有方向,捕獲攝像頭100周圍場(chǎng)景的一部分。例如,組合的鏡頭110a-110a'的向上角度和鏡頭110b-110b'的向下角度可以允許攝像頭100捕獲在攝像頭100的高度之上和之下的圖像。

參見圖5,示出了攝像頭100的示例內(nèi)部組件。攝像頭100的內(nèi)部組件可以包括塊(或電路)122a、塊(或電路)122a'、塊(或電路)122b、塊(或電路)122b'以及電路120。電路122a、122a'、122b和/或122b'可以被實(shí)現(xiàn)為捕獲設(shè)備(例如,圖像模塊)。捕獲設(shè)備122a可以與鏡頭110a關(guān)聯(lián)。捕獲設(shè)備122a'可以與鏡頭110a'關(guān)聯(lián)。類似地,捕獲設(shè)備122b可以與鏡頭110b關(guān)聯(lián)。捕獲設(shè)備122b'可以與鏡頭110b'關(guān)聯(lián)。

捕獲設(shè)備122a通常包括塊(或電路)124a、塊(或電路)126a和塊(或電路)128a。電路124a可以被實(shí)現(xiàn)為傳感器。例如,鏡頭110a可以被安裝到傳感器124a上。電路126a可以被實(shí)現(xiàn)為邏輯。電路128a可以被實(shí)現(xiàn)為緩沖器。捕獲設(shè)備122a'、122b和/或122b'可以具有和捕獲設(shè)備122a類似的組件。例如,傳感器124a的實(shí)現(xiàn)可以類似于傳感器124a'、124b和/或124b'的實(shí)現(xiàn)。在一些實(shí)施例中,捕獲設(shè)備122a、122a'、122b和/或122b'的組件的布置可以具有輕微的變化。

由攝像頭100記錄的場(chǎng)景可以信號(hào)(例如,im_a-im_a'和im_b-im_b')的形式。信號(hào)im_a-im_a'和im_b-im_b'可以表示光。鏡頭110a-110a'和110b-110b'可以捕獲和/或操縱來自周圍的環(huán)境的光im_a-im_a'和im_b-im_b'。例如,鏡頭110a-110a'和110b-110b'可以通過聚焦光、放大光(例如,提供光學(xué)變焦)和/或過濾光(例如,減少眩光、增加藝術(shù)失真效果、應(yīng)用顏色等)來操縱光im_a-im_a'和im_b-im_b'。信號(hào)im_a-im_a'和im_b-im_b'可以表示攝像頭100周圍的環(huán)境的圖像。鏡頭110a-110a'和110b-110b'可以把信號(hào)im_a-im_a'和im_b-im_b'提供給捕獲設(shè)備122a、122a'、122b和/或122b'。

電路124a、電路126a和/或電路128a可以是捕獲設(shè)備122a的用于響應(yīng)信號(hào)im_a(例如,捕獲的圖像)而生成信號(hào)(例如,frames_a)的子組件。例如,鏡頭110a可以把信號(hào)im_a聚焦在傳感器124a上。傳感器124a可以生成信號(hào)frames_a。信號(hào)frame_a可以是原始圖像數(shù)據(jù)。信號(hào)frames_a可以是隨著時(shí)間響應(yīng)信號(hào)im_a而生成的多個(gè)幀。信號(hào)frames_a可以為未壓縮(例如,原始)格式。所述未壓縮格式可以是拜耳(bayer)格式、紅/透明/透明/透明(rccc)格式、紅/綠/藍(lán)/透明(rgbc)格式、rgb格式、yuv格式等。類似地,捕獲設(shè)備122a'、122b和/或122b'的組件可以分別響應(yīng)信號(hào)im_a'、im_b和im_b'生成信號(hào)frames_a'、frames_b和frames_b'。捕獲設(shè)備122a、122a'、122b和/或122b'可以把信號(hào)frames_a-frames_a'和frames_b-frames_b'提供給電路120。

電路120可以包括塊(或電路)150a、塊(或電路)150b和/或塊(或電路)152。電路150a-150b可以是處理器。電路152可以是通信塊。通常,處理器150a可以是與捕獲設(shè)備122-122a'關(guān)聯(lián)的視頻處理器,并且處理器150b可以是與捕獲設(shè)備122b-122b'關(guān)聯(lián)的視頻處理器。例如,捕獲設(shè)備122a可以把信號(hào)frames_a提供給處理器150a,捕獲設(shè)備122a'可以把信號(hào)frames_a'提供給處理器150a,捕獲設(shè)備122b可以把信號(hào)frames_b提供給處理器150b,并且捕獲設(shè)備122b'可以把信號(hào)frames_b'提供給處理器150b。

通常,處理器150a-150b中的每個(gè)不接收來自所有捕獲設(shè)備122a、122a'、122b和/或122b'的全部原始圖像數(shù)據(jù)信號(hào)frames_a-frames_a'和frames_b-frames_b'。處理器150a-150b中的每個(gè)可以接收來自捕獲設(shè)備122a、122a'、122b和/或122b'的子集的原始圖像數(shù)據(jù)。例如,捕獲設(shè)備122a、122a'、122b和/或122b'的一個(gè)子集可以包括捕獲設(shè)備122a和捕獲設(shè)備122a',并且捕獲設(shè)備122a、122a'、122b和/或122b'的另一個(gè)子集可以包括捕獲設(shè)備122b和捕獲設(shè)備122b'。處理器150a可以接收來自包括捕獲設(shè)備122a-122a'的子集的信號(hào)frames_a和信號(hào)frames_a'中的視頻幀(例如,處理器150a不接收來自捕獲設(shè)備122b和122b'的視頻幀)。處理器150b可以接收來自包括捕獲設(shè)備122b-122b'的子集的信號(hào)frames_b和信號(hào)frames_b'中的視頻幀(例如,處理器150b不接收來自捕獲設(shè)備122a和122a'的視頻幀)。

在圖5中所示的實(shí)施例中,捕獲設(shè)備122a、122a'、122b和/或122b'的各個(gè)子集包括兩個(gè)捕獲設(shè)備(例如,包括捕獲設(shè)備122a和122a'的子集,以及包括捕獲設(shè)備122b和122b'的子集)。捕獲設(shè)備122a、122a'、122b和/或122b'的各個(gè)子集可以把對(duì)應(yīng)的原始視頻幀(frames_a-frames_a'和frames_b-frames_b')提供給處理器150a-150b中的關(guān)聯(lián)的處理器。例如,包括捕獲設(shè)備122a和122a'的子集可以與處理器150a關(guān)聯(lián),并且包括捕獲設(shè)備122b和122b'的子集可以與處理器150b關(guān)聯(lián)。在圖5中所示的示例中,捕獲設(shè)備122a、122a'、122b和/或122b'的子集中的每個(gè)包括至少兩個(gè)不同的捕獲設(shè)備。例如,由于捕獲設(shè)備122a是包括捕獲設(shè)備122a和122a'的子集的一部分,因此捕獲設(shè)備122a不是捕獲設(shè)備的任意其它子集的一部分(例如,捕獲設(shè)備122a、122a'、122b和/或122b'中的每個(gè)把信號(hào)frames_a-frames_a'和frames_b-frames_b'之中的相應(yīng)一個(gè)信號(hào)中的視頻幀提供給處理器150a-150b中的僅一個(gè))。捕獲設(shè)備122a、122a'、122b和/或122b'的子集,和/或關(guān)聯(lián)的處理器150a-150b的布置可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

處理器150a-150b可以被配置成處理和/或編碼信號(hào)frames_a-frames_a'和frames_b-frames_b'中的未壓縮視頻幀,以創(chuàng)建作為信號(hào)frames_a-frames_a'和frames_b-frames_b'的編碼版本的視頻流。處理器150a-150b可以被配置成響應(yīng)視頻幀frames_a-frames_a'和frames_b-frames_b'生成信號(hào)(例如,video_a-video_b)。處理器150a-150b中的每個(gè)可以被配置成把信號(hào)video_a-video_b之一提供給通信塊152。

處理器150a-150b可以被配置成實(shí)現(xiàn)tcp/ip棧。tcp/ip??梢詫?duì)來自信號(hào)frames_a-frames_a'和frames_b-frames_b'的編碼版本的數(shù)據(jù)包進(jìn)行打包。tcp/ip??梢员慌渲贸砂研盘?hào)video_a-video_b傳送給通信塊152。

通信塊152可以接收來自處理器150a-150b的信號(hào)video_a-video_b。通信塊152可以被配置成生成信號(hào)(例如,stream),和接收信號(hào)(例如,power)。通信塊152可以把信號(hào)video_a-video_b打包到信號(hào)傳輸(例如,信號(hào)stream)中。通常,可以利用信號(hào)電纜154傳輸信號(hào)stream和信號(hào)power。例如,通信塊152可以包括與單個(gè)電纜154連接的接口114。信號(hào)stream可以被傳輸給外部設(shè)備和/或網(wǎng)絡(luò)。

可以實(shí)時(shí)(或近實(shí)時(shí))地提供信號(hào)stream。實(shí)時(shí)提供信號(hào)stream可以包括處理和/或同步由捕獲設(shè)備122a、122a'、122b和/或122b'捕獲的輸入,而不存在攝像頭100中的本地存儲(chǔ)。例如,攝像頭100可以不必具有獨(dú)立的存儲(chǔ)。與信號(hào)stream關(guān)聯(lián)的數(shù)據(jù)的同步可以確保不需要攝像頭100中的本地存儲(chǔ)??梢栽谒杏涗浲瓿芍埃尚盘?hào)stream(例如,不存儲(chǔ)信號(hào)video_a-video_b中的數(shù)據(jù)的副本)。通過實(shí)時(shí)提供信號(hào)stream,可以按直播視頻饋給的形式,生成和觀看球形視野。

傳感器124a的實(shí)現(xiàn)可以代表傳感器124a、124a'、124b和/或124b'的實(shí)現(xiàn)。傳感器124a可以接收來自鏡頭110a的信號(hào)im_a中的光。傳感器124a可以被配置成把光轉(zhuǎn)換成像素?cái)?shù)據(jù)(例如,圖像數(shù)據(jù))。例如,傳感器124a可以被實(shí)現(xiàn)為配置成檢測(cè)信號(hào)im_a中的輸入光的強(qiáng)度和/或顏色的陣列(例如,具有濾色器陣列的光電傳感器)。來自傳感器124a的像素?cái)?shù)據(jù)可以由邏輯126a檢索。

邏輯126a的實(shí)現(xiàn)可以代表邏輯126a、126a'、126b和/或126b'的實(shí)現(xiàn)。邏輯126a可以被配置成從傳感器124a檢索像素?cái)?shù)據(jù)。邏輯126a可以把來自傳感器124a的像素?cái)?shù)據(jù)轉(zhuǎn)換成特定協(xié)議。例如,邏輯126a可以把像素?cái)?shù)據(jù)轉(zhuǎn)換成原始數(shù)據(jù)格式(例如,bayer格式、rccc格式等)。在一些實(shí)施例中,像素?cái)?shù)據(jù)可以為rgb或yuv格式。邏輯126a實(shí)現(xiàn)的協(xié)議可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。在一些實(shí)施例中,邏輯126a可以被實(shí)現(xiàn)為移位寄存器、串行器、邏輯門和/或其它組件。邏輯126a可以響應(yīng)從傳感器124a檢索的像素?cái)?shù)據(jù),生成信號(hào)frames_a。

在一些實(shí)施例中,邏輯126a可以被配置成對(duì)來自傳感器124a的像素?cái)?shù)據(jù)打包。例如,來自傳感器124a的像素?cái)?shù)據(jù)可以能為20比特格式。邏輯126a可以按12比特格式,對(duì)像素?cái)?shù)據(jù)打包。在一些實(shí)施例中,邏輯126a可以用于控制針對(duì)來自傳感器124a的輸出的增益值。在一些實(shí)施例中,邏輯126a可以被配置成在傳輸frames_a-frames_a'和/或frames_b-frames_b'之前,執(zhí)行高動(dòng)態(tài)范圍(hdr)處理。在一些實(shí)施例中,邏輯126a可以用于傳輸亮度/顏色值(例如,用0-255的值表示)??梢岳胕2c總線,連接捕獲設(shè)備122a和處理器150a??梢詫?shí)現(xiàn)其它類型的連接協(xié)議。邏輯126a的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

在一些實(shí)施例中,邏輯126a可以是傳感器124a的一部分。在一個(gè)示例中,捕獲設(shè)備122a可以只包括傳感器122a,并且邏輯126a可以被嵌入傳感器122a中(例如,傳感器122a和邏輯126a被實(shí)現(xiàn)為一個(gè)組件)。捕獲設(shè)備122a可以進(jìn)一步連接到處理器150a(例如,通過串行或并行接口,諸如i2c總線)。

緩沖器128a的實(shí)現(xiàn)可以代表緩沖器128a、128a'、128b和/或128b'的實(shí)現(xiàn)。緩沖器128a可以是幀緩沖器。緩沖器128a可以提供來自傳感器126a的像素?cái)?shù)據(jù)的臨時(shí)存儲(chǔ)。通過緩沖器128a的像素?cái)?shù)據(jù)的臨時(shí)存儲(chǔ)可以為邏輯126a提供更多的時(shí)間,以把像素?cái)?shù)據(jù)轉(zhuǎn)換成信號(hào)frames_a。例如,隨著通過傳感器124a捕獲的圖像的分辨率增大,邏輯126a需要更多的時(shí)間來生成信號(hào)frames_a。在傳感器124a從信號(hào)im_a捕獲更多新圖像時(shí),緩沖器128a允許邏輯126a訪問先前捕獲的像素?cái)?shù)據(jù)。

圖5中所示的捕獲設(shè)備122a、122a'、122b和/或122b'可以表示一種示例實(shí)現(xiàn)。圖5中所示的捕獲設(shè)備122a、122a'、122b和/或122b'可以代表可以被實(shí)現(xiàn)的組件中的一些。在一些實(shí)施例中,捕獲設(shè)備122a、122a'、122b和/或122b'可以是從制造商購(gòu)買的預(yù)制裝配組件(例如,插入(drop-in)組件)。通常,攝像頭100可以使用各種類型的捕獲設(shè)備122a、122a'、122b和/或122b'操作以生成圖像。例如,電路120可以被配置成接收來自捕獲設(shè)備122a、122a'、122b和/或122b'的特定信號(hào)(例如,frames_a-frames_a'和/或frames_b-frames_b'),并且用于生成信號(hào)frames_a-frames_a'和/或frames_b-frames_b'的捕獲設(shè)備122a、122a'、122b和/或122b'的內(nèi)部組件可能對(duì)攝像頭100的操作無影響。捕獲設(shè)備122a、122a'、122b和/或122b'的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

參見圖6,示出了例示向外部計(jì)算設(shè)備250傳輸視頻流的第一和第二處理器150a-150b的示圖。處理器150a-150b可以被配置成編碼信號(hào)信號(hào)frames_a-frames_a'和frames_b-frames_b'中的視頻幀。在一個(gè)示例中,信號(hào)frames_a-frames_a'和frames_b-frames_b'中的原始幀中的每個(gè)可以由對(duì)應(yīng)處理器150a-150b之一轉(zhuǎn)換成yuv幀,并壓縮成視頻格式。例如,視頻格式可以是信號(hào)frames_a-frames_a'和frames_b-frames_b'中的幀的編碼和/或壓縮版本(例如,諸如h.264、h.265、vp9之類的格式)。由處理器150a-150b執(zhí)行的編碼的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。處理器150a-150b可以響應(yīng)從捕獲設(shè)備122a、122a'、122b和122b'接收的信號(hào)frames_a-frames_a'和frames_b-frames_b',把信號(hào)(例如,rtmp_a-rtmp_a'和rtmp_b-rtmp_b')提供給通信塊152。

信號(hào)rtmp_a-rtmp_a'和rtmp_b-rtmp_b'可以是信號(hào)frames_a-frames_a'和frames_b-frames_b'的編碼版本。信號(hào)rtmp_a-rtmp_a'和rtmp_b-rtmp_b'通??梢园ň幋a視頻數(shù)據(jù)。在一些實(shí)施例中,信號(hào)rtmp_a-rtmp_a'和rtmp_b-rtmp_b'中的一個(gè)或多個(gè)還可以包括另外的數(shù)據(jù)。例如,信號(hào)rtmp_a可以攜帶編碼視頻數(shù)據(jù)(例如,以h.264格式),連同音頻數(shù)據(jù)(例如,以aac格式)和元數(shù)據(jù)(例如,位置和/或移動(dòng)信息),信號(hào)rtmp_a'可以攜帶編碼視頻數(shù)據(jù)(例如,以h.264格式),信號(hào)rtmp_b可以攜帶編碼視頻數(shù)據(jù)(例如,以h.264格式),連同音頻數(shù)據(jù)(例如,以aac格式),并且信號(hào)rtmp_b'可以攜帶編碼視頻數(shù)據(jù)(例如,以h.264格式)。由視頻流之一攜帶的音頻數(shù)據(jù)(例如,信號(hào)rtmp_a中的aac數(shù)據(jù))可以是與相同視頻流子集(例如,由信號(hào)video_a攜帶的視頻流的子集)中的另一個(gè)視頻流(例如,rtmp_a')中的視頻數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)。攜帶在視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'中的每個(gè)中的數(shù)據(jù)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

信號(hào)video_a-video_b中的每個(gè)可以包括多個(gè)視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'。在所示的示例中,信號(hào)video_a包括由處理器150a生成的兩個(gè)視頻流(例如,編碼視頻流rtmp_a-rtmp_a')。信號(hào)video_a中的編碼視頻流之一(例如,rtmp_a)可以是響應(yīng)處理器150a處理視頻幀frames_a(例如,接收自捕獲設(shè)備122a)生成的,并且信號(hào)video_a中的編碼視頻流中的另一個(gè)(例如,rtmp_a')可以是響應(yīng)處理器150a處理視頻幀frames_a'(例如,接收自捕獲設(shè)備122a')生成的。在所示的示例中,信號(hào)video_b可以包括由處理器150b生成的兩個(gè)視頻流(例如,編碼視頻流rtmp_b-rtmp_b')。信號(hào)video_b中的視頻流之一(例如,rtmp_b)可以是響應(yīng)處理器150b處理視頻幀frames_b(例如,接收自捕獲設(shè)備122b)生成的,并且信號(hào)video_b中的視頻流中的另一個(gè)(例如,rtmp_b')可以是響應(yīng)處理器150b處理視頻幀frames_b'(例如,接收自捕獲設(shè)備122b')生成的。

處理器150a-150b可以把信號(hào)video_a-video_b提供給通信塊152。信號(hào)video_a-video_b可以包括視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的數(shù)據(jù)包。通信塊152可以被配置成發(fā)送/接收數(shù)據(jù),和/或接收電力(例如,以給攝像頭100的所有組件提供電力)。通信塊152可以接收來自處理器150a-150b的信號(hào)video_a-video_b中的編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b',并把編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'作為信號(hào)(例如,stream)傳送(例如,轉(zhuǎn)發(fā))給外部設(shè)備250。例如,信號(hào)stream可以是編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的單個(gè)傳輸。在所示的示例中,處理器150a-150b可以生成視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的數(shù)據(jù)包(例如,由處理器150a-150b實(shí)現(xiàn)的tcp/ip棧)。通信塊152可以接收來自信號(hào)video_a的兩個(gè)視頻流(例如,rtmp_a-rtmp_a'),和來自信號(hào)video_b的兩個(gè)視頻流(例如,rtmp_b-rtmp_b'),并作為信號(hào)stream(例如,按先入先出原則)轉(zhuǎn)發(fā)四個(gè)編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'。在一種示例實(shí)施中,通信塊152可以不分析信號(hào)video_a-video_b中的數(shù)據(jù)包的內(nèi)容(例如,通信塊152可以實(shí)現(xiàn)常規(guī)的集線器)。信號(hào)stream可以按先入先出原則傳輸視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'。通信塊152可以被進(jìn)一步配置成接收來自諸如外部計(jì)算設(shè)備250的外部電源的信號(hào)power。信號(hào)power可以向攝像頭100提供電力。例如,攝像頭100可以不必具有獨(dú)立的電源。

可以使與信號(hào)stream中的編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'關(guān)聯(lián)的數(shù)據(jù)同步,以允許攝像頭100周圍場(chǎng)景的球形視野的實(shí)時(shí)(或近實(shí)時(shí))流式傳輸。與信號(hào)stream中的編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'關(guān)聯(lián)的數(shù)據(jù)可以允許外部計(jì)算設(shè)備250執(zhí)行視頻拼接操作,以把編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'變換成球形視野。例如,由外部計(jì)算設(shè)備250執(zhí)行的視頻拼接操作可以用于把四個(gè)視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'變換成表示球形視野的單個(gè)視頻文件(例如,spherefov)。

可以實(shí)現(xiàn)投影方法,以把球形(或全景)圖像表示成平面圖像。投影方法的示例包括圓柱投影(例如,墨卡托(mercator)投影、彌勒(miller)投影、矩形球面展開(equirectangular)投影、蘭伯特(lambert)圓柱等面積投影等)、方位投影(例如,直線性(rectilinear)投影、立體(stereographic)投影、魚眼(fisheye)投影、等固體(equisolid)投影、正交(orthographic)投影等)或其它投影(例如,立方體(cubic)投影、正弦曲線(sinusoidal)投影、橫軸墨卡托(transversemercator)投影、帕尼尼(pannini)投影、建筑學(xué)(architectural)投影等)。實(shí)現(xiàn)的特定投影方法(例如,矩形球面展開投影)可以變化。當(dāng)實(shí)現(xiàn)視頻編碼時(shí),某些投影方法(例如,立方體投影)可以帶來好處。四個(gè)編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'到單個(gè)文件spherefov的變換可以包括編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的處理(例如,展開(dewarping)、剪切、移位等)。球形視野可以允許單個(gè)視頻文件spherefov表示全方位2d圖像。在一些實(shí)施例中,響應(yīng)視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'而生成的球形視野可以與提供另一個(gè)球形視野的另一個(gè)視頻文件組合,以允許觀看者體驗(yàn)三維現(xiàn)實(shí)(例如,視頻文件spherefov和另一個(gè)視頻文件可以提供周圍的環(huán)境的左右視圖,以創(chuàng)建景深知覺)。在一些實(shí)施例中,信號(hào)文件spherefov可以是單視場(chǎng)視圖。在一些實(shí)施例中,信號(hào)文件spherefov可以是立體視圖(例如,每只眼睛一個(gè)視圖)。立體視圖可以被存儲(chǔ)為通常表示單個(gè)場(chǎng)景的單個(gè)視頻文件spherefov。

鏡頭110a-110a'和110b-110b'可以被布置成使得周圍的環(huán)境的重疊區(qū)域由捕獲設(shè)備122a、122a'、122b和/或122b'捕獲??梢詫?shí)現(xiàn)通過攝像頭100的編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的同步,以確保捕獲的重疊區(qū)域同時(shí)表示相同的場(chǎng)景,從而容許外部計(jì)算設(shè)備250執(zhí)行成功的視頻拼接操作。由于多個(gè)處理器150a-150b執(zhí)行處理,并且數(shù)據(jù)信號(hào)stream是通過通信塊152發(fā)送的,因此在數(shù)據(jù)包的傳輸中,可能存在隨機(jī)性和/或延遲。通過同步,可以使隨機(jī)性和/或延遲的影響最小化。

在一些實(shí)施例中,與視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'關(guān)聯(lián)的數(shù)據(jù)包可以由攝像頭100同步(例如,排序)。在一個(gè)示例中,可以使捕獲設(shè)備122a、122a'、122b和/或122b'的曝光定時(shí)同步。在另一個(gè)示例中,可以配置多個(gè)編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的傳輸,以確保使來自信號(hào)stream中的各個(gè)編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的信號(hào)frames_a-frames_a'和frames_b-frames_b'中的視頻幀交錯(cuò)。

在一些實(shí)施例中,數(shù)據(jù)包可以由外部計(jì)算設(shè)備250同步(例如,排序)。在一些實(shí)施例中,數(shù)據(jù)包可以由攝像頭100和外部計(jì)算設(shè)備250兩者同步(例如,排序)。編碼視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的數(shù)據(jù)包的同步的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

外部計(jì)算設(shè)備250可以被配置成執(zhí)行視頻拼接操作,和表示球形視野spherefov。外部計(jì)算設(shè)備250可以實(shí)現(xiàn)給攝像頭100生成信號(hào)power的電源。在一些實(shí)施例中,外部計(jì)算設(shè)備250可以被實(shí)現(xiàn)為小型便攜式計(jì)算機(jī)。在一些實(shí)施例中,外部計(jì)算設(shè)備250可以是微型計(jì)算機(jī)(例如,微型pc(micropc)).在一些實(shí)施例中,外部計(jì)算設(shè)備250可以是臺(tái)式計(jì)算機(jī)(或膝上型計(jì)算機(jī)或筆記本計(jì)算機(jī))。在一些實(shí)施例中,外部計(jì)算設(shè)備250可以是平板計(jì)算設(shè)備。在一些實(shí)施例中,外部計(jì)算設(shè)備250可以是智能電話機(jī)。在一些實(shí)施例中,外部計(jì)算設(shè)備250可以被實(shí)現(xiàn)為頭戴式顯示器(例如,智能眼鏡、虛擬現(xiàn)實(shí)頭盔等)。在一些實(shí)施例中,外部計(jì)算設(shè)備250可以是全息計(jì)算機(jī)。在一些實(shí)施例中,外部計(jì)算設(shè)備250可以是計(jì)算機(jī)云。外部計(jì)算設(shè)備250的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

外部計(jì)算設(shè)備250可以被配置成解碼在信號(hào)stream中到達(dá)的多個(gè)視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b',隨后執(zhí)行拼接操作,以生成由視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'構(gòu)成的單個(gè)視頻流。外部計(jì)算設(shè)備250可以被配置成對(duì)所述單個(gè)視頻流重新編碼,以生成信號(hào)spherefov。

在一些實(shí)施例中,視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'可以都是4k流。然而,實(shí)現(xiàn)的特定分辨率可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。組合的信號(hào)stream可以包括約8k的視頻數(shù)據(jù)(例如,來自四個(gè)視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'中每一個(gè)的4k)。外部計(jì)算設(shè)備250執(zhí)行的拼接操作可以把信號(hào)stream變換成具有約6k-8k的表示球形視野的視頻數(shù)據(jù)的流。在示例實(shí)現(xiàn)中,拼接可以將總共8k的視頻數(shù)據(jù)的重疊部分減少至6k和8k之間的分辨率。在另一個(gè)示例中,攝像頭100可以捕獲約3兆像素(例如2k)的視頻數(shù)據(jù)的4個(gè)視頻流,并且拼接的球形視頻可以為約8兆像素(例如,4k)的視頻數(shù)據(jù)。

信號(hào)stream可以實(shí)時(shí)(或近實(shí)時(shí))傳輸視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'。通常,攝像頭100不存儲(chǔ)視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'。例如,在把視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'打包為信號(hào)stream,以便傳輸之前,攝像頭100不編碼和存儲(chǔ)視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的完整副本。可以按先入先出原則(例如,實(shí)時(shí))傳輸視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'的數(shù)據(jù)包。

參見圖7,示出了例示全方位攝像頭100'的示例6鏡頭實(shí)施例的等距視圖的示圖。6鏡頭全方位攝像頭100'可以包括框架/殼體116'、頸部112'和/或鏡頭110a-110c和110a'-110c'的三個(gè)子集。鏡頭110a-110c和110a'-110c'的3個(gè)子集中的每個(gè)可以包括鏡頭110a-110c和110a'-110c'中的兩個(gè)鏡頭。例如,鏡頭110a-110c和110a'-110c'的子集之一可以是包括鏡頭110a和110a'的子集。在另一個(gè)示例中,鏡頭110a-110c和110a'-110c'的子集之一可以是包括鏡頭110b和110b'的子集。在又一個(gè)示例中,鏡頭110a-110c和110a'-110c'的子集之一可以是包括鏡頭110c和110c'的子集。

鏡頭110a-110c和110a'-110c'的三個(gè)子集中的每個(gè)都包括兩個(gè)不同的鏡頭(例如,鏡頭110a-110c和110a'-110c'中的每個(gè)只屬于鏡頭110a-110c和110a'-110c'的子集之一)。鏡頭110a-110c和110a'-110c'中的哪個(gè)鏡頭屬于鏡頭110a-110c和110a'-110c'的哪個(gè)子集可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。例如,位置、目標(biāo)方向和/或與其它鏡頭110a-110c和110a'-110c'的接近度與鏡頭110a-110c和110a'-110c'中的哪些鏡頭在鏡頭110a-110c和110a'-110c'的哪個(gè)子集中無關(guān)。鏡頭110a-110c和110a'-110c'中的每個(gè)可以與捕獲設(shè)備(例如,捕獲設(shè)備122a-122c和/122a'-122c')關(guān)聯(lián)。

參見圖8,示出了例示全方位攝像頭100'的示例6鏡頭實(shí)施例的側(cè)視圖的示圖。該側(cè)視圖示出鏡頭110a-110c和110a'-110c'被布置成容許由關(guān)聯(lián)捕獲設(shè)備122a-122c和122a'-122c'捕獲的圖像提供對(duì)于全方位攝像頭100'周圍場(chǎng)景的球形視野的覆蓋。

參見圖9,示出了例示全方位攝像頭100'的示例6鏡頭實(shí)施例的頂視圖的示圖。該頂視圖示出鏡頭110a-110c和110a'-110c'被布置成容許由關(guān)聯(lián)捕獲設(shè)備122a-122c和122a'-122c'捕獲的圖像提供對(duì)于全方位攝像頭100'周圍場(chǎng)景的球形視野的覆蓋。

參見圖10,示出了例示全方位攝像頭100″的示例8鏡頭實(shí)施例的等距視圖的示圖。8鏡頭全方位攝像頭100″可以包括框架/殼體116″、頸部112″和/或鏡頭110a-110d和110a'-110d'的四個(gè)子集。鏡頭110a-110d和110a'-110d'的四個(gè)子集中的每個(gè)可以包括鏡頭110a-110d和110a'-110d'中的兩個(gè)鏡頭。例如,鏡頭110a-110d和110a'-110d'的子集之一可以是包括鏡頭110a和110a'的子集。在另一個(gè)示例中,鏡頭110a-110d和110a'-110d'的子集之一可以是包括鏡頭110b和110b'的子集。在又一個(gè)示例中,鏡頭110a-110d和110a'-110d'的子集之一可以是包括鏡頭110c和110c'的子集。在又一個(gè)示例中,鏡頭110a-110d和110a'-110d'的子集之一可以是包括鏡頭110d和110d'的子集。

鏡頭110a-110d和110a'-110d'的四個(gè)子集中的每個(gè)可以包括兩個(gè)不同的鏡頭(例如,鏡頭110a-110d和110a'-110d'中的每個(gè)只屬于鏡頭110a-110d和110a'-110d'的子集之一)。鏡頭110a-110d和110a'-110d'中的哪個(gè)鏡頭屬于鏡頭110a-110d和110a'-110d'的哪個(gè)子集可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。例如,位置、目標(biāo)方向和/或與其它鏡頭110a-110d和110a'-110d'的接近度與鏡頭110a-110d和110a'-110d'中的哪個(gè)鏡頭在鏡頭110a-110d和110a'-110d'的哪個(gè)子集中無關(guān)。鏡頭110a-110d和110a'-110d'中的每個(gè)可以與捕獲設(shè)備(例如,捕獲設(shè)備122a-122d和122a'-122d')關(guān)聯(lián)。

參見圖11,示出了例示全方位攝像頭100″的示例8鏡頭實(shí)施例的側(cè)視圖的示圖。該側(cè)視圖示出鏡頭110a-110d和110a'-110d'被布置成容許由關(guān)聯(lián)捕獲設(shè)備122a-122d和122a'-122d'捕獲的圖像提供對(duì)于全方位攝像頭100″周圍場(chǎng)景的球形視野的覆蓋。

參見圖12,示出了例示全方位攝像頭100″的示例8鏡頭實(shí)施例的頂視圖的示圖。該頂視圖示出鏡頭110a-110d和110a'-110d'被布置成容許由關(guān)聯(lián)捕獲設(shè)備122a-122d和122a'-122d'捕獲的圖像提供對(duì)于全方位攝像頭100″周圍場(chǎng)景的球形視野的覆蓋。

全方位攝像頭100″的8鏡頭實(shí)施例具有比全方位攝像頭100'的6鏡頭實(shí)施例更多的鏡頭。例如,增大鏡頭110a-110d和110a'-110d'的數(shù)目可以允許信號(hào)spherefov中的更高分辨率和/或更高像素密度。在另一個(gè)示例中,增大鏡頭110a-110d和110a'-110d'的數(shù)目可以減小鏡頭110a-110d和110a'-110d'之間的視差。在又一個(gè)示例中,增大鏡頭110a-110d和110a'-110d'的數(shù)目可以允許3d視頻信號(hào)spherefov的創(chuàng)建(例如,如果全方位攝像頭100″周圍的各個(gè)點(diǎn)被鏡頭110a-110d和110a'-110d'中的不止一個(gè)鏡頭捕獲,那么存在足以生成景深圖的信息)。在又一個(gè)示例中,增大鏡頭110a-110d和110a'-110d'的數(shù)目會(huì)增大所需的處理量,和/或增大生成的數(shù)據(jù)量。

參見圖13,示出了例示全方位攝像頭100″'的示例多鏡頭實(shí)施例的等距視圖的示圖。多鏡頭全方位攝像頭100″'可以包括框架/殼體116″'、頸部112″'和/或鏡頭110a-110n和110a'-110n'的多個(gè)子集。鏡頭110a-110n和110a'-110n'的多個(gè)子集中的每個(gè)子集可以包括鏡頭110a-110n和110a'-110n'中的至少兩個(gè)鏡頭。例如,鏡頭110a-110n和110a'-110n'的子集之一可以是包括鏡頭110a和110a'的子集。在另一個(gè)示例中,鏡頭110a-110n和110a'-110n'的子集之一可以是包括鏡頭110n和110n'的子集。

鏡頭110a-110n和110a'-110n'的多個(gè)子集中的每個(gè)可以包括至少兩個(gè)不同的鏡頭(例如,鏡頭110a-110n和110a'-110n'中的每個(gè)鏡頭只屬于鏡頭110a-110n和110a'-110n'的子集之一)。鏡頭110a-110n和110a'-110n'中的哪個(gè)鏡頭屬于鏡頭110a-110n和110a'-110n'的哪個(gè)子集可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。例如,位置、目標(biāo)方向和/或與其它鏡頭110a-110n和110a'-110n'的接近度可以與鏡頭110a-110n和110a'-110n'中的哪個(gè)鏡頭在鏡頭110a-110n和110a'-110n'的哪個(gè)子集中無關(guān)。鏡頭110a-110n和110a'-110n'中的每個(gè)可以與捕獲設(shè)備(例如,捕獲設(shè)備122a-122n和122a'-122n')關(guān)聯(lián)。

參見圖14,示出了例示全方位攝像頭100″'的示例多鏡頭實(shí)施例的側(cè)視圖的示圖。該側(cè)視圖示出鏡頭110a-110n和110a'-110n'被布置成容許由關(guān)聯(lián)捕獲設(shè)備122a-122n和122a'-122n'捕獲的圖像提供對(duì)于全方位攝像頭100″'周圍場(chǎng)景的球形視野的覆蓋。

參見圖15,示出了例示全方位攝像頭100″'的示例多鏡頭實(shí)施例的頂視圖的示圖。該頂視圖示出鏡頭110a-110n和110a'-110n'被布置成容許由關(guān)聯(lián)捕獲設(shè)備122a-122n和122a'-122n'捕獲的圖像提供對(duì)于全方位攝像頭100″'周圍場(chǎng)景的球形視野的覆蓋。

對(duì)于每個(gè)處理器(例如,處理器150a),關(guān)聯(lián)至少兩個(gè)捕獲設(shè)備(例如,122a-122a')可以允許按比例增加或減少鏡頭110a-110n和110a'-110n'的數(shù)目,同時(shí)仍然容許全方位攝像頭100″'能夠提供實(shí)時(shí)的球形視野。

在全方位攝像頭100″'的一些實(shí)施例中,在鏡頭的子集中,可以存在不止兩個(gè)鏡頭。例如,鏡頭的一個(gè)子集可以包括鏡頭110a、110a'、110a″、110a″'、110a(4)'、…、110a(n)'。在另一個(gè)示例中,鏡頭的一個(gè)子集可以包括鏡頭110n、110n'、110n″、110n″'、110n(4)'、…、110n(n)'。對(duì)于與處理器150a關(guān)聯(lián)的組件的示例,鏡頭110a、110a'、110a″、110a″'、110a(4)'、…、110a(n)'中的每個(gè)可以與捕獲設(shè)備122a、122a'、122a″、122a″'、122a(4)'、…、122a(n)'關(guān)聯(lián)。捕獲設(shè)備122a、122a'、122a″、122a″'、122a(4)'、…、122a(n)'中的每個(gè)可以與處理器150a關(guān)聯(lián)?;谕ㄟ^捕獲設(shè)備122a、122a'、122a″、122a″'、122a(4)'、…、122a(n)'捕獲的數(shù)據(jù),處理器150a可以生成視頻流rtmp_a、rtmp_a'、rtmp_a″、rtmp_a″'、rtmp_a(4)'、…、rtmp_a(n)'。類似地,處理器150b可以生成視頻流rtmp_b、rtmp_b'、rtmp_b″、rtmp_b″'、rtmp_b(4)'、…、rtmp_b(n)',并且處理器150n可以生成視頻流rtmp_n、rtmp_n'、rtmp_n″、rtmp_n″'、rtmp_n(4)'、…、rtmp_n(n)'。為了簡(jiǎn)單起見,符號(hào)rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'可以指的是視頻流rtmp_a、rtmp_a'、rtmp_a″、rtmp_a″'、rtmp_a(4)'、...、rtmp_a(n)'、rtmp_b、rtmp_b'、rtmp_b″、rtmp_b″'、rtmp_b(4)'、...、rtmp_b(n)'等(例如,生成許多視頻流的處理器150a-150n中的許多處理器)。當(dāng)提及其它組件時(shí),可以使用類似的符號(hào)(例如,傳感器124a-124a'、...、124n-124n'可以指的是與處理器150a-150n中的每個(gè)關(guān)聯(lián)的許多傳感器124a、124a'、124a″、...、124a(n)'、124b、124b'、124b″、...、125a(n)'等)。

參見圖16,示出了例示全方位攝像頭100″'的示例實(shí)施例的示例內(nèi)部組件的示圖??蚣?殼體116″'的一部分被示出為包括鏡頭110a-110a'和鏡頭110n-110n'。示出了全方位攝像頭100″'的內(nèi)部組件。內(nèi)部組件包括捕獲設(shè)備122a(例如,與鏡頭110a關(guān)聯(lián))、捕獲設(shè)備122a'(例如,與鏡頭110a'關(guān)聯(lián))、捕獲設(shè)備122n(例如,與鏡頭110n關(guān)聯(lián))、捕獲設(shè)備122n'(例如,與鏡頭110n'關(guān)聯(lián))以及電路120。

電路120可以包括處理器150a-150n、塊(或電路)202a-202n和/或塊(或電路)206a-206n。電路202a-202n可以實(shí)現(xiàn)音頻編解碼塊。電路206a-206n可以包括存儲(chǔ)器。通常,音頻編解碼塊202a-202n和存儲(chǔ)器塊206a-206n中的每個(gè)可以與處理器150a-150n之一關(guān)聯(lián)。例如,捕獲設(shè)備120a、捕獲設(shè)備122a'、音頻編解碼塊202a和/或存儲(chǔ)器206a可以與處理器150a關(guān)聯(lián)。

類似地,電路120可以包括通信塊152、塊(或電路)212和/或塊(或電路)214。電路212可以實(shí)現(xiàn)時(shí)鐘發(fā)生器。電路214可以實(shí)現(xiàn)慣性測(cè)量單元??梢詫?shí)現(xiàn)其它組件。全方位攝像頭100″'中的組件的數(shù)目、類型和/或布置可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

音頻編解碼塊202a的實(shí)現(xiàn)可以代表音頻編解碼塊202a、202a'、…、202n和/或202n'(例如,在全方位攝像頭100″'中實(shí)現(xiàn)的所有音頻編解碼塊202)的實(shí)現(xiàn)??梢詫?shí)現(xiàn)音頻編解碼塊202a,以捕獲來自全方位攝像頭100″'周圍的環(huán)境的音頻數(shù)據(jù)。全方位攝像頭100″'可以包括麥克風(fēng)(例如,示出了麥克風(fēng)204a-204a'和204n-204n')。麥克風(fēng)204a-204a'可以代表麥克風(fēng)204a、204a'、…、204n、204n'(例如,全方位攝像頭100″'的所有麥克風(fēng)204)。麥克風(fēng)204a-204a'可以被配置成接收來自全方位攝像頭100″'周圍的環(huán)境的音頻信號(hào)。音頻編解碼塊202a可以從麥克風(fēng)204a-204a'接收音頻輸入。例如,麥克風(fēng)204a可以被設(shè)置在從與鏡頭110a關(guān)聯(lián)的方向捕獲音頻的位置,并且麥克風(fēng)204a'可以被設(shè)置在從與鏡頭110a'關(guān)聯(lián)的方向捕獲音頻的位置。由于捕獲設(shè)備122a和122a',及音頻編解碼塊202a與處理器150a關(guān)聯(lián),因此通過麥克風(fēng)204a和204a'捕獲的音頻數(shù)據(jù)可以對(duì)應(yīng)于通過捕獲設(shè)備122a和122a'捕獲的圖像。麥克風(fēng)204a和204a'的布置可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

音頻編解碼塊202a可以壓縮和/或處理通過麥克風(fēng)204a和204a'從環(huán)境捕獲的音頻數(shù)據(jù)。音頻編解碼塊204a的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。在一些實(shí)施例中,音頻編解碼塊202a可以包括模-數(shù)轉(zhuǎn)換器(adc)(例如,當(dāng)麥克風(fēng)204a和/或204a'被實(shí)現(xiàn)為模擬設(shè)備時(shí))。在一些實(shí)施例中,音頻編解碼塊202a可以不執(zhí)行模-數(shù)操作(例如,當(dāng)麥克風(fēng)204a和/或204a'被實(shí)現(xiàn)為數(shù)字設(shè)備時(shí))。通常,音頻編解碼塊202a可以實(shí)現(xiàn)一些基本邏輯(例如,高通和/或低通濾波、數(shù)字信號(hào)處理等)。在一些實(shí)施例中,音頻編解碼塊202a可以把接收的音頻編碼成特定格式(例如,mp3、aac、flac等)。例如,音頻編解碼塊202a可以把編碼的音頻提供給處理器150a。在一些實(shí)施例中,來自音頻編解碼塊202a的輸出可以是脈沖碼調(diào)制(pcm)和/或其它未壓縮的數(shù)字音頻格式。所述輸出可以通過i2s總線,被提供給關(guān)聯(lián)的處理器150a。例如,關(guān)聯(lián)的處理器150a可以執(zhí)行音頻數(shù)據(jù)的編碼和/或壓縮。

存儲(chǔ)器206a的實(shí)現(xiàn)可以代表存儲(chǔ)器塊206a、206a'、206n和/或206n'(例如,在全方位攝像頭100″'中實(shí)現(xiàn)的所有存儲(chǔ)器塊206)的實(shí)現(xiàn)。存儲(chǔ)器206a可以為處理器150a提供數(shù)據(jù)的非易失性存儲(chǔ)。在一些實(shí)施例中,存儲(chǔ)器206a可以高速緩沖存儲(chǔ)器。在一些實(shí)施例中,存儲(chǔ)器206a可以是用于捕獲設(shè)備122a和122a'捕獲的圖像的緩沖器。例如,處理器150a可以被配置成即時(shí)地(onthefly)基于從捕獲設(shè)備122a和122a'接收的信號(hào)frames_a-frames_a',編碼視頻流rtmp_a-rtmp_a'。存儲(chǔ)器206a可以允許信號(hào)frames_a-frames_a'的臨時(shí)存儲(chǔ),以在通過捕獲設(shè)備122a和122a'捕獲新圖像時(shí),給處理器150a提供更多的時(shí)間來執(zhí)行用于生成視頻流rtmp_a-rtmp_a'的編碼操作。通常,存儲(chǔ)器206a不存儲(chǔ)編碼視頻流rtmp_a-rtmp_a'(例如,當(dāng)數(shù)據(jù)包被編碼時(shí),全方位攝像頭100″'傳輸視頻流rtmp_a-rtmp_a')。

時(shí)鐘發(fā)生器212可以被配置成為處理器150a-150n生成時(shí)鐘信號(hào)。例如,時(shí)鐘發(fā)生器212可以實(shí)現(xiàn)統(tǒng)一時(shí)鐘發(fā)生器。在一些實(shí)施例中,通過時(shí)鐘發(fā)生器212生成的時(shí)鐘信號(hào)可以被用于啟動(dòng)/停用傳感器124a-124a'、...、124n-124n'的曝光。例如,時(shí)鐘發(fā)生器212可以被配置成通過控制傳感器124a-124a'、...、124n-124n'的曝光的定時(shí)(例如,何時(shí)和持續(xù)多長(zhǎng)時(shí)間),使處理器150a-150n生成的數(shù)據(jù)包同步??梢钥刂苽鞲衅?24a-124a'、...、124n-124n'的曝光的定時(shí),以確保按照特定次序(例如,與外部計(jì)算設(shè)備250執(zhí)行的拼接操作相容的次序),生成與視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'關(guān)聯(lián)的數(shù)據(jù)包。

慣性測(cè)量單元(imu)214可以被配置成捕獲與全方位攝像頭100″'關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)。例如,imu可以被實(shí)現(xiàn)為加速度計(jì)、陀螺儀和/或磁力計(jì)中的一個(gè)或多個(gè)。通過imu捕獲的運(yùn)動(dòng)數(shù)據(jù)可以被發(fā)送給處理器150a-150n中的一個(gè)或多個(gè)。來自imu214的信息可以由處理器150a-150n中的至少一個(gè)處理,并作為待在執(zhí)行拼接操作時(shí)使用的元數(shù)據(jù)傳輸給外部計(jì)算設(shè)備250。元數(shù)據(jù)可以連同視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'之一一起傳輸。例如,元數(shù)據(jù)可以提供在特定時(shí)間處通過全方位攝像頭100″'捕獲的圖像的運(yùn)動(dòng)數(shù)據(jù)。例如,視頻流rtmp_a攜帶的元數(shù)據(jù)中的運(yùn)動(dòng)數(shù)據(jù)可以適用于所有視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'的視頻幀。元數(shù)據(jù)中的來自慣性測(cè)量單元214的信息的格式可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。元數(shù)據(jù)可以和視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'中的一個(gè)或多個(gè)一起傳輸。在一種實(shí)現(xiàn)中,元數(shù)據(jù)可以作為與視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'分離的元數(shù)據(jù)信道來傳輸。在示例實(shí)現(xiàn)中,元數(shù)據(jù)可以與視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'共享(i)公共時(shí)鐘和(ii)時(shí)間戳中的一個(gè)或多個(gè)。公共時(shí)鐘可以基于公共實(shí)時(shí)時(shí)鐘生成。在示例實(shí)現(xiàn)中,時(shí)間戳可以基于公共實(shí)時(shí)時(shí)鐘。

通信塊152可以包括接口114'和/或塊(或電路)210。電路210可以是配置成接收來自多個(gè)源的輸入,并把所述輸入串行化成一個(gè)輸出的網(wǎng)絡(luò)設(shè)備(例如,多路復(fù)用器)。例如,多路復(fù)用器210可以是交換機(jī)、集線器、路由器、usb集線器等。接口114'可以與由多路復(fù)用器210實(shí)現(xiàn)的協(xié)議兼容。多路復(fù)用器210可以接收來自處理器150a-150n的信號(hào)video_a-video_n,并經(jīng)接口114'輸出信號(hào)stream。

接口114'可以被配置成傳送數(shù)據(jù)信號(hào)和/或接收電力輸入。例如,接口114'可以實(shí)現(xiàn)以太網(wǎng)供電(poe)標(biāo)準(zhǔn)。在另一個(gè)示例中,接口114'可以實(shí)現(xiàn)usb標(biāo)準(zhǔn)。通過接口114'接收的電力可以用作全方位攝像頭100″'的組件的電源。由接口114'實(shí)現(xiàn)的標(biāo)準(zhǔn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。接口114'可以被配置成連接到電纜154。

全方位攝像頭100″'可以包括指示燈216。指示燈216可以被實(shí)現(xiàn)為led。例如,led216可以通過發(fā)出紅光,指示全方位攝像頭100″'正在記錄。在另一個(gè)示例中,led216可以通過發(fā)出藍(lán)光色,指示全方位攝像頭100″'被通電。led216的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

全方位攝像頭100″'可以包括電源按鈕218。電源按鈕218可以用于使全方位攝像頭100″'通電和/或斷電。電源按鈕218被示出為連接到接口114'。通常,全方位攝像頭100″'經(jīng)由接口114'(例如,以太網(wǎng)供電(poe)、usb等)接收電力。電源按鈕218可以是配置成控制接口114'的開關(guān)。

處理器150a-150n可以被配置成接收來自相關(guān)捕獲設(shè)備122a-122a'、...、122n-122n'、相關(guān)音頻編解碼塊202a-202n、和/或任何其它相關(guān)組件(例如,imu214)的數(shù)據(jù)。處理器150a-150n可以被配置成對(duì)接收的視頻幀(例如,frames_a-frames_n和frames_a'-frames_n')執(zhí)行編碼操作。在一些實(shí)施例中,處理器150a-150n可以被配置成接收來自相關(guān)音頻編解碼塊202a-202n的音頻數(shù)據(jù)。在一些實(shí)施例中,處理器150a-150n可以被配置成實(shí)現(xiàn)tcp/ip棧,以傳輸視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'的數(shù)據(jù)包。

處理器150a-150n可以被配置成生成多個(gè)視頻流(例如,視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n')。處理器150a-150n生成的視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'可以包括來自關(guān)聯(lián)信號(hào)frames_a-frames_a'、...、frames_n-frames_n'的編碼視頻幀、來自關(guān)聯(lián)音頻編解碼塊202a-202n的關(guān)聯(lián)音頻數(shù)據(jù)、以及元數(shù)據(jù)(例如,來自imu214的元數(shù)據(jù))。對(duì)于各個(gè)流來說,視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'中的數(shù)據(jù)的類型可以不同。例如,視頻流rtmp_a可以攜帶編碼視頻數(shù)據(jù)、元數(shù)據(jù)和立體聲音頻數(shù)據(jù),而視頻流rtmp_a'可以只攜帶編碼視頻數(shù)據(jù)。

在一些實(shí)施例中,處理器150a-150n執(zhí)行的編碼可以包括壓縮。處理器150a-150n可以被配置成執(zhí)行各種類型的壓縮技術(shù)(例如,按照h.264格式、h.265格式、vp9等)。h.264和h.265指的是itu-t發(fā)布的推薦標(biāo)準(zhǔn)。等同的國(guó)際標(biāo)準(zhǔn)分別是iso發(fā)布的iso/iec14496-10-mpeg-4part10、高級(jí)視頻編碼、以及iso/iec23008-2、高效視頻編碼。處理器150a-150n執(zhí)行的編碼可以實(shí)時(shí)(或近實(shí)時(shí))地執(zhí)行。例如,一旦接收到數(shù)據(jù)(以及在接收和/或記錄所有數(shù)據(jù)之前),處理器150a-150n就可以對(duì)信號(hào)frames_a-frames_a'、…、frames_n-frames_n'中的數(shù)據(jù)執(zhí)行編碼。當(dāng)處理器150a-150n接收到信號(hào)frames_a-frames_a'、…、frames_n-frames_n'中的新視頻幀時(shí),信號(hào)frames_a-frames_a'、...、frames_n-frames_n'中的初始幀可以作為視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的初始部分被編碼和傳輸。例如,在處理器150a-150n編碼視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'之前,不需要接收(或存儲(chǔ))信號(hào)frames_a-frames_a'、…、frames_n-frames_n'中的所有數(shù)據(jù)。處理器150a-150n執(zhí)行的編碼的類型可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

處理器150a-150n可以被配置成把元數(shù)據(jù)應(yīng)用于視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'。在一個(gè)示例中,元數(shù)據(jù)可以包括來自imu214的運(yùn)動(dòng)數(shù)據(jù)。在另一個(gè)示例中,元數(shù)據(jù)可以包括時(shí)間戳(例如,圖片編號(hào))。時(shí)間戳可以被實(shí)現(xiàn)為表示某條數(shù)據(jù)相對(duì)于某個(gè)已知事件被捕獲的時(shí)間的數(shù)字。在示例實(shí)現(xiàn)中,mp4視頻文件實(shí)現(xiàn)表示從記錄開始以來的時(shí)間的時(shí)間戳(例如,單位為1/90000秒)??梢詫?shí)現(xiàn)其它單位。可以實(shí)現(xiàn)相對(duì)于另一個(gè)事件的時(shí)間。通常實(shí)現(xiàn)時(shí)間戳,以確定事情(或事件)相對(duì)于彼此的定時(shí)。在另一個(gè)示例中,元數(shù)據(jù)可以包括可交換圖像文件格式(exif)數(shù)據(jù)。通常,元數(shù)據(jù)包括與視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'有關(guān)的可以向另一個(gè)系統(tǒng)或最終用戶提供附加信息的信息(例如,位置、攝像頭規(guī)格、日期、攝像頭記錄配置等)。元數(shù)據(jù)的類型可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

處理器150a-150n可以被配置成使視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'中的數(shù)據(jù)包同步。視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'中的數(shù)據(jù)包的同步可以允許視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'被實(shí)時(shí)(或近實(shí)時(shí))地傳輸給其它設(shè)備(例如,外部計(jì)算設(shè)備250)。例如,可以實(shí)現(xiàn)同步,以確保按照適當(dāng)?shù)拇涡蚪邮諗?shù)據(jù),從而確定哪個(gè)視頻幀匹配在特定時(shí)間的攝像頭100″'周圍的環(huán)境的捕獲圖像。處理器150a-150n可以被配置成執(zhí)行曝光同步和/或傳輸同步。處理器150a-150n實(shí)現(xiàn)的同步的類型可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

在一些實(shí)施例中,處理器150a-150n可以控制曝光同步??梢詫?shí)現(xiàn)曝光同步,以確保捕獲的圖像在相同時(shí)間,在所有傳感器124a-124a'、…、124n-124n'上曝光,使得視頻幀可以被無縫拼接在一起(例如,捕獲圖像中的任何對(duì)象在曝光時(shí)間之間未移動(dòng))??梢允共煌瑐鞲衅?24a-124a'、…、124n-124n'的曝光時(shí)間同步,以確保在鏡頭110a-110a'、…、110n-110n'之間的重疊區(qū)域中捕獲的場(chǎng)景是相同場(chǎng)景,并且可以被成功的拼接。實(shí)現(xiàn)的曝光同步的類型可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

在一個(gè)示例中,可以通過單個(gè)時(shí)鐘信號(hào)(例如,來自時(shí)鐘發(fā)生器212的統(tǒng)一時(shí)鐘信號(hào))控制曝光同步。時(shí)鐘發(fā)生器212可以向處理器150a-150n傳輸統(tǒng)一時(shí)鐘信號(hào),并且處理器150a-150n可以把統(tǒng)一時(shí)鐘信號(hào)傳遞給關(guān)聯(lián)傳感器124a-124a'、…、124n-124n'。在另一個(gè)示例中,曝光同步可以是主/從時(shí)鐘配置。在主/從時(shí)鐘配置中,處理器150a-150n可以與捕獲設(shè)備124a-124a'、…、124n-124n'的各個(gè)子集中的捕獲設(shè)備124a-124a'、…、124n-124n'之一(例如,主捕獲設(shè)備)協(xié)商公共定時(shí)信號(hào)。捕獲設(shè)備124a-124a'、…、124n-124n'的各個(gè)子集中的主捕獲設(shè)備124a-124a'、…、124n-124n'可以向捕獲設(shè)備124a-124a'、…、124n-124n'的公共子集中的捕獲設(shè)備124a-124a'、…、124n-124n'中的每個(gè)(例如,從捕獲設(shè)備)發(fā)送公共定時(shí)信號(hào)。在又一個(gè)示例中,時(shí)鐘發(fā)生器212可以向捕獲設(shè)備124a-124a'、…、124n-124n'的子集中的每個(gè)中的主捕獲設(shè)備發(fā)送時(shí)鐘信號(hào),并且捕獲設(shè)備124a-124a'、…、124n-124n'的各個(gè)子集中的主捕獲設(shè)備可以把所述時(shí)鐘信號(hào)發(fā)送給捕獲設(shè)備124a-124a'、…、124n-124n'的關(guān)聯(lián)子集中的從捕獲設(shè)備中的每個(gè)。

可以實(shí)現(xiàn)傳輸同步,以降低處理復(fù)雜性。視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'中的數(shù)據(jù)由處理器150a-150n生成,并且可以配置處理器150a-150n執(zhí)行的傳輸同步,以按照特定次序傳輸數(shù)據(jù)包,從而確??梢杂行У匕岩曨l流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'中的編碼視頻幀拼接在一起。例如,處理器150a-150n可以被配置成通過i2c執(zhí)行協(xié)商操作,以實(shí)現(xiàn)傳輸同步。在另一個(gè)示例中,處理器150a-150n可以被配置成通過以太網(wǎng)執(zhí)行協(xié)商操作,以實(shí)現(xiàn)傳輸同步。

在視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'開始由處理器150a-150n處理和編碼之后,可以對(duì)可以由外部計(jì)算設(shè)備250拼接在一起的視頻流rtmp_a-rtmp_a'、...、rtmp_n-rtmp_n'的數(shù)據(jù)包執(zhí)行傳輸同步。由于存在涉及的多個(gè)處理器150a-150n,并且數(shù)據(jù)是通過聯(lián)網(wǎng)的接口114'發(fā)送的,因此在各個(gè)數(shù)據(jù)包的延遲方面,存在一定的隨機(jī)性。數(shù)據(jù)包可以由發(fā)射器(例如,攝像頭100)和/或接收器(例如,外部計(jì)算設(shè)備250)排序。例如,處理器150a-150n可以被配置成確保來自視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'中的每個(gè)的具有時(shí)間戳k的幀被按順序傳輸,使得視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'中的每個(gè)中的具有時(shí)間戳k的幀大致同時(shí)(或者一個(gè)接一個(gè))地到達(dá)(例如,到達(dá)外部計(jì)算設(shè)備250)。在一些實(shí)施例中,處理器150a-150n可以傳輸視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n',并且外部計(jì)算設(shè)備250可以執(zhí)行傳輸同步。傳輸同步的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

參見圖17,示出了例示連接到外部計(jì)算設(shè)備250的攝像頭100的示例的示圖。攝像頭100被示出為利用電纜154,連接到外部計(jì)算設(shè)備250。外部計(jì)算設(shè)備250被示出為微型計(jì)算機(jī)。微型計(jì)算機(jī)被示出為具有接口260。接口260可以被配置成傳送信號(hào)spherefov。

微型計(jì)算機(jī)250可以包括各種輸入/輸出端口262。例如,輸入/輸出端口262可以實(shí)現(xiàn)音頻輸入/輸出、視頻輸入/輸出接口、通信端口、電源連接器等(例如,以太網(wǎng)、usb、s/pdif、hdmi、displayport、thunderbolt等)。微型計(jì)算機(jī)250的輸入/輸出端口262可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。在示例實(shí)現(xiàn)中,視頻顯示器可以連接到hdmi接口(例如,端口262之一的示例)。

微型計(jì)算機(jī)250可以包括接口264。接口264可以與攝像頭100的接口114兼容。在所示的示例中,接口114、電纜154和接口256可以支持以太網(wǎng)標(biāo)準(zhǔn)。在另一個(gè)示例中,接口114、電纜154和接口256可以支持usb標(biāo)準(zhǔn)。通常,接口114、電纜154和接口256支持能夠通過相同電纜傳送數(shù)據(jù)和提供電力的通信標(biāo)準(zhǔn)。

在一些實(shí)施例中,電纜154可以橫越遠(yuǎn)距離提供攝像頭100和微型計(jì)算機(jī)250之間的直接連接(例如,攝像頭100和微型計(jì)算機(jī)250可以能是分離的外殼)。例如,攝像頭100和微型計(jì)算機(jī)250可以被配置成在相同的房間中工作。在另一個(gè)示例中,攝像頭100可以在室外工作,并且電纜154可以連接到在附近的室內(nèi)位置處的微型計(jì)算機(jī)250。在又一個(gè)示例中,攝像頭100可以在室外工作,并且電纜154可以連接到位于附近的基站(例如,用于新聞報(bào)道的車輛)的微型計(jì)算機(jī)250。攝像頭100和微型計(jì)算機(jī)250的布置和/或位置可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

參見圖18,示出了例示連接到網(wǎng)絡(luò)280的攝像頭100和外部計(jì)算設(shè)備250的示例的示圖。電纜154可以用于連接到能夠連接到網(wǎng)絡(luò)280(例如,諸如因特網(wǎng)的廣域網(wǎng))的通信設(shè)備(例如,交換機(jī)、路由器、集線器等)。在圖18中所示的配置中,通信設(shè)備可以向攝像頭100提供電力。網(wǎng)絡(luò)280可以經(jīng)由電纜154',與微型計(jì)算機(jī)250通信。在圖18中所示的實(shí)施例中,接口114和接口264不需要直接兼容,并且接口264不需要提供電力。

在一些實(shí)施例中,網(wǎng)絡(luò)280可以被配置成在攝像頭100和微型計(jì)算機(jī)250之間傳送信息(例如,信號(hào)stream)。微型計(jì)算機(jī)250可以被配置成執(zhí)行對(duì)于信號(hào)stream的拼接操作,從而生成信號(hào)spherefov。微型計(jì)算機(jī)250可以把信號(hào)spherefov傳輸給網(wǎng)絡(luò)280,以提供球形視野的實(shí)時(shí)流式傳輸。

在一些實(shí)施例中,網(wǎng)絡(luò)280可以包括配置成提供可用處理資源以按需縮放的計(jì)算設(shè)備。例如,網(wǎng)絡(luò)280可以提供基于云的處理。攝像頭100可以把信號(hào)stream傳送給網(wǎng)絡(luò)280,網(wǎng)絡(luò)280可以執(zhí)行對(duì)于信號(hào)stream的拼接操作,以生成信號(hào)spherefov。網(wǎng)絡(luò)280可以把信號(hào)spherefov傳輸給請(qǐng)求設(shè)備,諸如微型計(jì)算機(jī)250。

參見圖19,示出了例示連接到外部計(jì)算設(shè)備250和內(nèi)容遞送網(wǎng)絡(luò)280的全方位攝像頭100″'的實(shí)施例的示圖。外部計(jì)算設(shè)備250的內(nèi)部組件可以包括塊(或電路)252、塊(或電路)254和/或塊(或電路)256。電路252可以是中央處理器(cpu)。電路254可以是圖形處理器(gpu)。電路256可以是存儲(chǔ)器。cpu252可以實(shí)現(xiàn)對(duì)于外部計(jì)算設(shè)備250的一般處理。gpu254可以被配置成執(zhí)行特殊的圖形密集計(jì)算。存儲(chǔ)器256可以提供易失性和/或非易失性數(shù)據(jù)存儲(chǔ)。

cpu252和/或gpu254可以被配置成對(duì)信號(hào)stream轉(zhuǎn)碼,以為輸出信號(hào)spherefov提供不同的分辨率和/或壓縮率(例如,比特率)。cpu252和/或gpu254可以被配置成即時(shí)從一種分辨率/比特率切換到另一種分辨率/比特率。cpu252和/或gpu254執(zhí)行的操作可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

通常,cpu252可以被實(shí)現(xiàn)為高性能處理器。gpu254可以被實(shí)現(xiàn)為高性能(例如,游戲級(jí))圖形處理單元。例如,常規(guī)的移動(dòng)級(jí)處理單元可能未強(qiáng)大到足以執(zhí)行拼接和/或轉(zhuǎn)碼操作。

存儲(chǔ)器256可以被配置成接收信號(hào)stream。例如,存儲(chǔ)器256可以緩沖信號(hào)stream中的輸入數(shù)據(jù)包。在一些實(shí)施例中,存儲(chǔ)器256可以用于使信號(hào)stream中的數(shù)據(jù)包同步。在一些實(shí)施例中,存儲(chǔ)器256可以用于存儲(chǔ)信號(hào)spherefov。例如,在對(duì)信號(hào)rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'執(zhí)行拼接操作之后,外部計(jì)算設(shè)備250可以被配置成編碼信號(hào)rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n',以創(chuàng)建文件spherefov,以便存儲(chǔ)在存儲(chǔ)器256中。在一些實(shí)施例中,文件spherefov可以被轉(zhuǎn)碼成多個(gè)比特流(例如,高分辨率比特流、低分辨率比特流等),并被存儲(chǔ)在存儲(chǔ)器256中。

存儲(chǔ)器256可以包括塊(或電路)258a-258n,和/或塊(或電路)259。電路258a-258n可以實(shí)現(xiàn)隊(duì)列。電路259可以實(shí)現(xiàn)多路復(fù)用器。在一些實(shí)施例中,視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'在被傳輸給外部計(jì)算設(shè)備250之前,可以不在攝像頭100″'中被同步。當(dāng)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'在到達(dá)外部計(jì)算設(shè)備250之前未被同步時(shí),信號(hào)stream的數(shù)據(jù)包可以被緩沖在隊(duì)列258a-258n中。數(shù)據(jù)包可以被交錯(cuò),以使視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'同步。多路復(fù)用器259可以被配置成從隊(duì)列258a-258n接收交錯(cuò)的數(shù)據(jù)包。當(dāng)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'被同步時(shí),cpu252和/或gpu254可以有效地執(zhí)行視頻拼接操作(例如,在減小失真的同時(shí),生成球形視野)。

在一些實(shí)施例中,外部計(jì)算設(shè)備250可以被配置成把信號(hào)spherefov傳送給網(wǎng)絡(luò)280。在一個(gè)示例中,網(wǎng)絡(luò)280可以是內(nèi)容遞送網(wǎng)絡(luò)。在另一個(gè)示例中,網(wǎng)絡(luò)280可以是遠(yuǎn)程服務(wù)器。內(nèi)容遞送網(wǎng)絡(luò)280可以被配置成把信號(hào)spherefov分發(fā)給一個(gè)或多個(gè)最終用戶282a-282n。例如,內(nèi)容遞送網(wǎng)絡(luò)280可以實(shí)時(shí)(或近實(shí)時(shí))地把從外部計(jì)算設(shè)備250接收的視頻文件spherefov流式傳輸給最終用戶282a-282n。

攝像頭100″'可以捕獲圖像,對(duì)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'編碼,并作為信號(hào)stream,把視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'傳送給外部計(jì)算設(shè)備250。外部計(jì)算設(shè)備250可以接收信號(hào)stream,解碼視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n',執(zhí)行視頻拼接操作,生成信號(hào)spherefov,并把信號(hào)spherefov傳送給網(wǎng)絡(luò)280。網(wǎng)絡(luò)280可以把信號(hào)spherefov分發(fā)給最終用戶282a-282n。攝像頭100″'執(zhí)行的捕獲、編碼和傳送操作,外部計(jì)算設(shè)備250執(zhí)行的解碼、視頻拼接和傳送操作,以及網(wǎng)絡(luò)280執(zhí)行的分發(fā)操作中的每個(gè)都可以實(shí)時(shí)(或近實(shí)時(shí))地執(zhí)行。例如,視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'中的初始編碼視頻幀可以被傳送給外部計(jì)算設(shè)備250,以便在攝像頭100″'接收新圖像和為視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'生成接下來的編碼視頻幀的同時(shí),進(jìn)行視頻拼接操作。類似地,網(wǎng)絡(luò)280可以在外部計(jì)算設(shè)備250對(duì)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的接下來的解碼視頻幀執(zhí)行視頻拼接操作時(shí)分發(fā)信號(hào)spherefov的初始視頻幀,以生成信號(hào)spherefov的接下來的視頻幀。

外部計(jì)算設(shè)備250可以接收單個(gè)視頻信號(hào)(例如,stream),字形拼接操作,以及隨后重新編碼拼接的視頻,以創(chuàng)建信號(hào)spherefov。外部計(jì)算設(shè)備250可以把全方位視頻spherefov傳送給內(nèi)容分發(fā)網(wǎng)絡(luò)280。在一些實(shí)施例中,內(nèi)容分發(fā)網(wǎng)絡(luò)280可以實(shí)現(xiàn)云處理(例如,配置成按需縮放的分布式處理)。云處理可以接收信號(hào)spherefov,把信號(hào)spherefov轉(zhuǎn)碼成多個(gè)全方位視頻流(例如,不同的分辨率、不同的壓縮率、不同的比特率等),隨后按需求把轉(zhuǎn)碼的全方位視頻分發(fā)給最終用戶282a-282n。

把哪個(gè)版本的轉(zhuǎn)碼全方位視頻傳輸給最終用戶282a-282n可以基于各種因素。所述因素包括傳輸可用性因素??捎脦捠且粋€(gè)因素。另一個(gè)因素可以是最終用戶設(shè)備解碼能力(例如,支持的編解碼器、屏幕分辨率、cpu能力、專用解碼硬件的有無等)。用戶訂制等級(jí)(例如,用戶支付了hd質(zhì)量或者升級(jí)到4k質(zhì)量的費(fèi)用?)。實(shí)現(xiàn)的內(nèi)容遞送基礎(chǔ)結(jié)構(gòu)可以支持幾種視頻編解碼器和/或多路復(fù)用器,以針對(duì)各種目標(biāo)平臺(tái)。

在一些實(shí)施例中,當(dāng)更多的資源(例如,可用性因素)可用時(shí),可以向最終用戶282a-282n之一傳輸更高分辨率版本的轉(zhuǎn)碼的全方位視頻spherefov。當(dāng)較少的資源(例如,可用性因素)可用時(shí),可以向最終用戶282a-282n傳輸較低分辨率版本的轉(zhuǎn)碼的全方位視頻spherefov。例如,最終用戶282a可以具有很多的可用資源,并且內(nèi)容遞送網(wǎng)絡(luò)282可以開始向最終用戶282a遞送高分辨率版本的轉(zhuǎn)碼的全方位視頻spherefov。在稍后的某個(gè)時(shí)間,較少的資源可以供最終用戶282a使用。對(duì)于最終用戶282a而言,流可以切換到較低分辨率版本的轉(zhuǎn)碼的全方位視頻spherefov(例如,最終用戶282接收的流可以無縫切換,或者響應(yīng)可用資源的變化,稍微破壞觀看體驗(yàn))。視頻流的切換一般導(dǎo)致質(zhì)量的變化。質(zhì)量參數(shù)可以包括分辨率(一般用兆像素測(cè)量)、幀速率(一般以幀/秒測(cè)量)、比特率(一般以比特/秒測(cè)量,或者可選擇地利用壓縮率數(shù)字指定)、像素景深(一般以比特/像素測(cè)量)等。

參見圖20,示出了方法(或處理)300。方法300可以執(zhí)行啟動(dòng)過程。方法300通常包括步驟(或狀態(tài))302、步驟(或狀態(tài))304、步驟(或狀態(tài))306、步驟(或狀態(tài))308、判定步驟(或狀態(tài))310、步驟(或狀態(tài))312、步驟(或狀態(tài))314、步驟(或狀態(tài))316和步驟(或狀態(tài))318。

狀態(tài)302可以開始方法300。之后,在狀態(tài)304,全方位攝像頭100″'的電路120和/或其它組件可以引導(dǎo)(例如,初始化所有組件)。在步驟306中,通信塊152可以獲得ip地址(例如,獲得攝像頭100″'在外部網(wǎng)絡(luò)上的ip地址)。在步驟308,通信塊152可以使得能夠發(fā)現(xiàn)。之后,方法300可以轉(zhuǎn)到判定狀態(tài)310。

在判定狀態(tài)310,通信塊152可以確定是否存在發(fā)現(xiàn)請(qǐng)求和/或連接請(qǐng)求。如果判定狀態(tài)310確定不存在發(fā)現(xiàn)請(qǐng)求和連接請(qǐng)求,那么方法300可以轉(zhuǎn)到狀態(tài)312。在狀態(tài)312,通信塊152可以等待發(fā)現(xiàn)請(qǐng)求和連接請(qǐng)求。之后,方法300可以返回判定狀態(tài)310。如果判定狀態(tài)310確定存在發(fā)現(xiàn)請(qǐng)求和連接請(qǐng)求,那么方法300可以轉(zhuǎn)到狀態(tài)314。

在狀態(tài)314,通信塊152可以與主機(jī)(例如,外部計(jì)算設(shè)備250)建立連接,并配置流式傳輸。在狀態(tài)316,處理器150a-150n可以開始/停止流式傳輸。之后,方法300可以轉(zhuǎn)到狀態(tài)318。狀態(tài)318可以終止方法300。

參見圖21,示出了方法(或處理)350。方法350可以使傳感器曝光同步。方法350通常包括步驟(或狀態(tài))352、步驟(或狀態(tài))354、判定步驟(或狀態(tài))356、步驟(或狀態(tài))358、步驟(或狀態(tài))360、步驟(或狀態(tài))362、步驟(或狀態(tài))364、步驟(或狀態(tài))366和步驟(或狀態(tài))368。

狀態(tài)352可以開始方法350。在狀態(tài)354,傳感器124a-124a'、…、124n-124n'可以等待統(tǒng)一時(shí)鐘信號(hào)(例如,來自時(shí)鐘發(fā)生器212)。之后,方法350可以轉(zhuǎn)到判定狀態(tài)356。在判定狀態(tài)356,傳感器124a-124a'、…、124n-124n'可以確定是否接收到統(tǒng)一時(shí)鐘信號(hào)。

如果判定狀態(tài)356確定未接收到統(tǒng)一時(shí)鐘信號(hào),那么方法350可以返回狀態(tài)354。如果判定狀態(tài)356確定接收到了統(tǒng)一時(shí)鐘信號(hào),那么方法350可以轉(zhuǎn)到狀態(tài)358。在狀態(tài)358,可以對(duì)于所有捕獲設(shè)備,啟動(dòng)傳感器124a-124a'、…、124n-124n'的傳感器曝光。之后,在狀態(tài)360,捕獲設(shè)備122a-122a'、…、122n-122n'可以捕獲圖像。在狀態(tài)362,捕獲設(shè)備122a-122a'、…、122n-122n'可以把原始視頻幀(例如,信號(hào)frames_a-frames_a'、…、frames_n-frames_n')發(fā)送給關(guān)聯(lián)的處理器150a-150n。

在狀態(tài)364,處理器150a-150n可以對(duì)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'編碼。在狀態(tài)366,通信塊152可以傳輸包括同步的視頻數(shù)據(jù)的單個(gè)信號(hào)stream(例如,可以使視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'中的數(shù)據(jù)包同步,以便進(jìn)行高效的視頻拼接)。之后,方法350可以轉(zhuǎn)到狀態(tài)368。狀態(tài)368可以終止方法350。

參見圖22,示出了方法(或處理)400。方法400可以通過全方位攝像頭100,實(shí)現(xiàn)傳輸同步。方法400通常包括步驟(或狀態(tài))402、步驟(或狀態(tài))404、步驟(或狀態(tài))406、步驟(或狀態(tài))408、步驟(或狀態(tài))410、判定步驟(或狀態(tài))412、步驟(或狀態(tài))414和步驟(或狀態(tài))416。

狀態(tài)402可以開始方法400。在狀態(tài)404,捕獲設(shè)備122a-122a'、…、122n-122n'可以捕獲圖像。之后,在狀態(tài)406,捕獲設(shè)備122a-122a'、…、122n-122n'可以把原始視頻幀(例如,frames_a-frames_a'、…、frames_n-frames_n')發(fā)送給關(guān)聯(lián)的處理器150a-150n。在狀態(tài)408,處理器150a-150n可以對(duì)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'進(jìn)行編碼。之后,在狀態(tài)410,處理器150a-150n可以交錯(cuò)來自編碼視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的視頻幀(例如,進(jìn)行傳輸同步)。之后,方法400可以轉(zhuǎn)到判定狀態(tài)412。

在判定狀態(tài)412,處理器150a-150n可以確定來自捕獲設(shè)備122a-122a'、…、122n-122n'中的每個(gè)的編碼視頻幀是否已同步。如果判定狀態(tài)412確定來自捕獲設(shè)備122a-122a'、…、122n-122n'中的每個(gè)的編碼視頻幀未同步,那么方法400可以返回狀態(tài)410。如果判定狀態(tài)412確定來自捕獲設(shè)備122a-122a'、…、122n-122n'中的每個(gè)的編碼視頻幀已同步,那么方法400可以轉(zhuǎn)到狀態(tài)414。在狀態(tài)414,通信塊152可以傳輸同步視頻數(shù)據(jù)的單個(gè)信號(hào)(例如,信號(hào)stream)。之后,方法416可以轉(zhuǎn)到狀態(tài)416。狀態(tài)416可以終止方法400。

參見圖23,示出了方法(或處理)450。方法450可以通過外部計(jì)算設(shè)備250,實(shí)現(xiàn)傳輸同步。方法450一般包括步驟(或狀態(tài)452)、步驟(或狀態(tài))454、步驟(或狀態(tài))456、步驟(或狀態(tài))458、步驟(或狀態(tài))460、步驟(或狀態(tài))462、判定步驟(或狀態(tài))464、步驟(或狀態(tài))466、步驟(或狀態(tài))468、步驟(或狀態(tài))470、步驟(或狀態(tài))472和步驟(或狀態(tài))474。

狀態(tài)452可以開始方法450。在狀態(tài)454,捕獲設(shè)備122a-122a'、…、122n-122n'可以捕獲圖像。在狀態(tài)456,捕獲設(shè)備122a-122a'、…、122n-122n'可以把原始視頻幀(例如,frames_a-frames_a'、…、frames_n-frames_n')發(fā)送給關(guān)聯(lián)的處理器150a-150n。之后,在狀態(tài)458,處理器150a-150n可以對(duì)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'進(jìn)行編碼。在狀態(tài)460,通信塊152可以把來自編碼視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的數(shù)據(jù)包傳輸給計(jì)算設(shè)備250(例如,全方位攝像頭100″'不執(zhí)行任何傳輸同步)。在狀態(tài)462,可以在外部計(jì)算設(shè)備250的隊(duì)列258a-258n中,接收視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的數(shù)據(jù)包。之后,方法450可以轉(zhuǎn)到判定狀態(tài)464。

在判定狀態(tài)464,外部計(jì)算設(shè)備250(例如,利用cpu252、gpu254和存儲(chǔ)器256的組合)可以確定數(shù)據(jù)包是否同步。如果判定狀態(tài)464確定數(shù)據(jù)包不同步,那么方法450可以轉(zhuǎn)到狀態(tài)466。在狀態(tài)466,外部計(jì)算設(shè)備(例如,利用cpu252、gpu254和存儲(chǔ)器256的組合)可以交錯(cuò)編碼視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的幀。之后,方法450可以轉(zhuǎn)到狀態(tài)468。如果判定狀態(tài)464確定數(shù)據(jù)包同步,那么方法450可以轉(zhuǎn)到狀態(tài)468。

在狀態(tài)468,多路復(fù)用器259可以多路復(fù)用交錯(cuò)的視頻幀。之后,在狀態(tài)470,外部計(jì)算設(shè)備250(例如,利用cpu252、gpu254和存儲(chǔ)器256的組合)可以執(zhí)行視頻拼接操作。在狀態(tài)472,外部計(jì)算設(shè)備250可以生成球形視野spherefov。之后,方法450可以轉(zhuǎn)到狀態(tài)472。狀態(tài)472可以終止方法450。

參見圖24,示出了方法(或處理)500。方法500可以實(shí)現(xiàn)交錯(cuò)視頻幀的示例。方法500通常包括步驟(或狀態(tài))502、步驟(或狀態(tài))504、判定步驟(或狀態(tài))506、步驟(或狀態(tài))508、步驟(或狀態(tài))510、判定步驟(或狀態(tài))512、步驟(或狀態(tài))514和步驟(或狀態(tài))516。

狀態(tài)502可以開始方法500。在狀態(tài)504,處理器150a-150n(或者外部計(jì)算設(shè)備250中的隊(duì)列258a-258n)可以接收來自視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的編碼視頻幀。之后,方法500可以轉(zhuǎn)到判定狀態(tài)506。在判定狀態(tài)506,處理器150a-150n(或外部計(jì)算設(shè)備250)可以確定幀編號(hào)(例如,具有相同時(shí)間戳的幀)是否匹配已接收的其它視頻幀。例如,視頻流rtmp_a的幀k應(yīng)匹配來自視頻流rtmp_n'的幀k。

如果判定狀態(tài)506確定視頻幀編號(hào)不匹配已接收的其它視頻幀,那么方法500可以轉(zhuǎn)到狀態(tài)508。在狀態(tài)508,處理器150a-150n可以(例如在存儲(chǔ)器塊206a-206n中)緩沖視頻幀(或者外部計(jì)算設(shè)備250可以利用隊(duì)列258a-258n緩沖視頻幀)。如果判定狀態(tài)506確定視頻幀編號(hào)不匹配已接收的其它視頻幀,那么方法500可以轉(zhuǎn)到狀態(tài)510。在狀態(tài)510,處理器150a-150n(或者隊(duì)列258a-258n)可以基于捕獲設(shè)備122a-122a'、…、122n-122n',對(duì)具有匹配編號(hào)的視頻幀排序。之后,方法500可以轉(zhuǎn)到判定狀態(tài)512。

在判定狀態(tài)512,處理器150a-150n(或者外部計(jì)算設(shè)備250)可以確定該幀編號(hào)的所有視頻幀是否都已接收到。如果未接收到該幀編號(hào)的所有視頻幀,那么方法500返回狀態(tài)508。如果已接收到該幀編號(hào)的所有視頻幀,那么方法500可以轉(zhuǎn)到狀態(tài)514。在狀態(tài)514,處理器150a-150n(或者外部計(jì)算設(shè)備250)可以確定該幀編號(hào)的視頻數(shù)據(jù)已同步。之后,方法500可以轉(zhuǎn)到狀態(tài)516。狀態(tài)516可以終止方法500。

攝像頭100可以實(shí)現(xiàn)靈活的體系結(jié)構(gòu),以允許球形視頻的實(shí)時(shí)視頻拼接和/或流式傳輸。在一些實(shí)施例中,攝像頭100可以把視頻流rtmp_a-rtmp_a'和rtmp_b-rtmp_b'(以及其它的捕獲視頻信號(hào),諸如rtmp_n-rtmp_n')同步到信號(hào)stream中。信號(hào)stream可以在外部計(jì)算設(shè)備250執(zhí)行的拼接操作中使用。拼接的視頻信號(hào)spherefov可以是提供球形視野的視頻(例如,可以在虛擬現(xiàn)實(shí)應(yīng)用和/或360度視頻應(yīng)用中使用的視頻)。

攝像頭100可以被配置成具有連接到各個(gè)處理器的多個(gè)傳感器(例如,連接到處理器150a的傳感器122a-122a')。攝像頭100可以由多個(gè)處理器(例如,150a-150n)組成。在圖5中所示的一個(gè)實(shí)施例中,每個(gè)處理器可以存在兩個(gè)傳感器(例如,傳感器122a-122a'和122b-122b'),并且每個(gè)攝像頭可以存在兩個(gè)處理器(例如,處理器150a-150b)。在一些實(shí)施例中,每個(gè)處理器可以存在四個(gè)傳感器(例如,處理器150a的傳感器122a、122a'、122a″和122a″',處理器150b的傳感器122b、122b'、122b″和122b″',等等),并且每個(gè)攝像頭可以存在三個(gè)處理器(例如,處理器150a-150c)。在一些實(shí)施例中,每個(gè)處理器可以存在許多傳感器(例如,處理器150a的傳感器122a、122a'、122a″、…、122a(n)',等等),并且每個(gè)攝像頭可以存在許多處理器(例如,處理器150a-150n)。

代替等待記錄完成,或者把由處理器150a-150n中的每個(gè)產(chǎn)生的視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'作為文件存儲(chǔ)在存儲(chǔ)介質(zhì)上,可以利用通信塊152,流式傳輸來自處理器150a-150n的輸出視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'(例如,經(jīng)由網(wǎng)絡(luò)接口114的輸出)。在一些實(shí)施例中,攝像頭100可以經(jīng)由網(wǎng)絡(luò)接口114(例如,以太網(wǎng)或usb),把視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'輸出給外部交換機(jī)(或集線器),所述外部交換機(jī)(或集線器)被配置成把視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'組合成單個(gè)傳輸流(例如,轉(zhuǎn)發(fā)數(shù)據(jù)包)。在一些實(shí)施例中,視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'可以由通信塊152組合成信號(hào)傳輸stream,并且信號(hào)stream可以經(jīng)由接口114輸出。信號(hào)stream可以通過單個(gè)電纜(例如,電纜154)被傳輸給專用外部計(jì)算設(shè)備250(例如,微型pc)。外部計(jì)算設(shè)備250可以對(duì)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'執(zhí)行拼接操作,從而創(chuàng)建表示攝像頭100捕獲的球形視野的單個(gè)視頻流spherefov。

外部計(jì)算設(shè)備250可以被配置成通過另一個(gè)網(wǎng)絡(luò)接口260(例如,以太網(wǎng)、wifi、lte等),傳輸作為結(jié)果的球形視頻spherefov(例如,實(shí)時(shí)或近實(shí)時(shí)的流直播)。例如,外部計(jì)算設(shè)備250可以被配置成把單個(gè)視頻流spherefov傳輸給云服務(wù)器(例如,內(nèi)容遞送網(wǎng)絡(luò)280),所述云服務(wù)器可以隨后把單個(gè)視頻流spherefov分發(fā)給多個(gè)最終用戶。在再一個(gè)示例中,外部計(jì)算設(shè)備250可以被配置成把單個(gè)視頻流spherefov傳輸給用戶設(shè)備(例如,與臺(tái)式計(jì)算機(jī)、智能電話機(jī)、平板計(jì)算機(jī)、頭戴式顯示器等的直接連接)。在又一個(gè)示例中,外部計(jì)算設(shè)備250可以被配置成連接到網(wǎng)絡(luò)設(shè)備(例如,交換機(jī)、集線器、路由器等),并經(jīng)由網(wǎng)絡(luò)設(shè)備,連接到最終用戶設(shè)備。拼接的視頻流spherefov的分發(fā)的實(shí)現(xiàn)可以按照特定實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)而變化。

在一些實(shí)施例中,攝像頭100可以不實(shí)現(xiàn)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的獨(dú)立存儲(chǔ)。例如,不實(shí)現(xiàn)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的獨(dú)立存儲(chǔ)可以降低成本,和/或允許實(shí)時(shí)(或近實(shí)時(shí))地傳輸視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'。在一些實(shí)施例中,攝像頭100可以實(shí)現(xiàn)用于視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的存儲(chǔ)器。例如,所述存儲(chǔ)器可以提供對(duì)于高分辨率流的緩沖(例如,如果網(wǎng)絡(luò)無能力把信號(hào)video_a-video_n傳輸給外部計(jì)算設(shè)備250)。

在一些實(shí)施例中,可以無獨(dú)立電源地實(shí)現(xiàn)攝像頭100。通常,給攝像頭100的所有電力由外部計(jì)算設(shè)備250提供。例如,攝像頭100、電纜154和外部計(jì)算設(shè)備可以實(shí)現(xiàn)以太網(wǎng)供電(poe)或通用串行總線(usb)標(biāo)準(zhǔn)。可以實(shí)現(xiàn)電纜154,以把由攝像頭100生成的所有視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'傳輸給外部計(jì)算設(shè)備250,以及把由外部計(jì)算設(shè)備250生成的電力(例如,信號(hào)power)傳輸給攝像頭100。

可以按照一種或多種方式,使通過單個(gè)電纜154傳輸?shù)亩鄠€(gè)視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'同步。在一些實(shí)施例中,可以利用定時(shí)機(jī)構(gòu),使攝像頭100中的多個(gè)傳感器122a-122a'、…、122n-122n'的曝光的定時(shí)同步。例如,時(shí)鐘發(fā)生器212可以實(shí)現(xiàn)單個(gè)統(tǒng)一時(shí)鐘。在另一個(gè)示例中,可以實(shí)現(xiàn)通過i2c和/或通過以太網(wǎng)的協(xié)商方法。

在一些實(shí)施例中,可以實(shí)現(xiàn)多個(gè)流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的傳輸,以確保來自各個(gè)流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的幀被交錯(cuò)。例如,如果來自視頻流rtmp_a的視頻幀k被示出為ak(并且來自視頻流rtmp_a'的視頻幀k被示出為a'k,來自視頻流rtmp_b的視頻幀k被示出為bk,以及來自視頻流rtmp_b'的視頻幀k被示出為b'k,等等),那么通過網(wǎng)絡(luò)電纜154傳輸?shù)臄?shù)據(jù)stream可以被布置為:a1、a'1、b1、b'1、a2、a'2、b2、b'2、…、n'n。

在一些實(shí)施例中,外部計(jì)算設(shè)備250可以實(shí)現(xiàn)多個(gè)隊(duì)列258a-258n(例如,在存儲(chǔ)器256中)和多路復(fù)用器模塊259。所述多個(gè)隊(duì)列258a-258n可以用于使來自視頻流rtmp_a-rtmp_a'、…、rtmp_n-rtmp_n'的視頻幀同步(例如,如果它們還未處于適合于執(zhí)行視頻拼接操作的順序)。

如對(duì)于本領(lǐng)域技術(shù)人員明顯的,在圖1-24的示圖中例示的功能和結(jié)構(gòu)可以利用按照本說明書的教導(dǎo)編程的常規(guī)通用處理器、數(shù)字計(jì)算機(jī)、微處理器、微控制器、分布式計(jì)算機(jī)資源和/或類似的計(jì)算機(jī)器中的一個(gè)或多個(gè)來設(shè)計(jì)、建模、仿真和/或模擬。如對(duì)于本領(lǐng)域技術(shù)人員也明顯的,適當(dāng)?shù)能浖?、固件、編碼、例程、指令、操作碼、微代碼和/或程序模塊可以由本領(lǐng)域程序人員根據(jù)本公開的教導(dǎo)容易地準(zhǔn)備。軟件通常包括在一個(gè)介質(zhì)或多個(gè)介質(zhì)中(例如,非臨時(shí)性存儲(chǔ)介質(zhì)),并且可以由處理器中的一個(gè)或多個(gè)處理器順序或并行地執(zhí)行。

本發(fā)明的實(shí)施例也可以在asic(專用集成電路)、fpga(現(xiàn)場(chǎng)可以編程門陣列)、pld(可編程邏輯器件)、cpld(復(fù)雜可編程邏輯器件)、門海、assp(專用標(biāo)準(zhǔn)產(chǎn)品)和集成電路中的一個(gè)或多個(gè)中實(shí)現(xiàn)??梢愿鶕?jù)一種或多種硬件描述語言,實(shí)現(xiàn)電路系統(tǒng)??梢越Y(jié)合閃存、非易失性存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、磁盤、軟盤、諸如dvd和dvdram的光盤、磁光盤和/或分布式存儲(chǔ)系統(tǒng),利用本發(fā)明的實(shí)施例。

術(shù)語“可以”和“通?!碑?dāng)在本文中結(jié)合“是”和動(dòng)詞使用時(shí)意為傳達(dá)描述是示例性的,并且被認(rèn)為寬到足以包括在本公開中介紹的具體示例,以及基于本公開可以得出的備選示例的意圖。如本文中使用的術(shù)語“可以”和“通?!辈粦?yīng)被解釋成必然意味省略對(duì)應(yīng)元件的合意性或可能性。

盡管參考實(shí)施例,特別示出和描述了本發(fā)明,但是本領(lǐng)域的技術(shù)人員將明白,可以在不脫離本發(fā)明的范圍的情況下作出形式和細(xì)節(jié)方面的各種改變。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1