亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

通過無線通信頻道提供即時圖像的方法及系統(tǒng)與流程

文檔序號:12378648閱讀:255來源:國知局
通過無線通信頻道提供即時圖像的方法及系統(tǒng)與流程

本發(fā)明涉及實(shí)時流的場,更具體地涉及通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的方法及系統(tǒng)。



背景技術(shù):

在全景照相機(jī)中提供高質(zhì)量的光學(xué)器件是具有挑戰(zhàn)性的。目前,業(yè)界已經(jīng)采取不同的方法來解決這個問題。其中,一種方法是移動透鏡并隨著透鏡的移動拍攝一組圖像,隨著時間的推移該組圖像覆蓋一個視場,來自移動透鏡的圖像被合并以形成全景場景;另一種方法是形成多個不同照相機(jī)的透鏡的陣列,并將通過該透鏡陣列所拍攝的圖像合并成單一的圖像,在這種方法中,每個透鏡采集全景景色的一部分,這每一部分通過計算合成在一起以形成全景圖像;還有一種方法是利用超廣角鏡頭(例如,魚眼透鏡)以采集比正常視場寬的場景;還有一種方法是利用全景光學(xué)裝置單次(利用單個鏡頭的離散時間點(diǎn))產(chǎn)生360度水平視場。后一種方法有時被稱作“單次”全景裝置,其利用單個鏡頭在一個時間點(diǎn)采集全景場景。根據(jù)使用情況的不同,這些方法中的每一種都具有優(yōu)缺點(diǎn)。

在使用全景光學(xué)元件的單次解決方案中,根據(jù)情況已經(jīng)采取了多種方法。經(jīng)常地,這些元件允許采集環(huán)境的單一360度圖像,通過這種技術(shù)所采集的圖像經(jīng)常與投影(例如,球體,魚眼)一致,其扭曲環(huán)境中的物體的透視圖,形狀,和尺寸以及環(huán)境本身。通常,利用數(shù)字信號處理(DSP)技術(shù)進(jìn)行軟件修正以減小歪曲并增加圖像保真度。但是,軟件修正時,修正可被限制并且經(jīng)常花費(fèi)時間,導(dǎo)致圖像采集和圖像顯示之間的等待時間較長。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明的一個方面可包括一種用于通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的方法,可360度全景可捕獲真實(shí)世界環(huán)境的圖像,該圖像可以是與立體投影一致的360全景,可以通過沒有顯示器的單次全景視頻采集裝置執(zhí)行該捕獲,可對360度弧形框架(arc frame)進(jìn)行分析,以確定一對一映射到目標(biāo)投影上。該目標(biāo)投影可以是圓柱形或者等矩形投影,立體投影可以在不需要在裝置內(nèi)執(zhí)行數(shù)字拼接操作的情況下即時映射到目標(biāo)投影上,映射造成的目標(biāo)投影中的扭曲可以被校正,目標(biāo)投影可即時通過無線方式傳送至與通訊連接的計算機(jī)設(shè)備的顯示器上。

本發(fā)明的一個方面可包括一種用于通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的系統(tǒng)。全景視頻采集裝置內(nèi)的轉(zhuǎn)換引擎可配置為將視頻饋送的每一幀轉(zhuǎn)換成目標(biāo)投影類型,致使生成用于該視頻饋送的每個相應(yīng)的幀的轉(zhuǎn)換幀,視頻饋送的每一幀可與立體投影一致。目標(biāo)投影類型可以是圓柱形投影或者等矩形投影;該轉(zhuǎn)換可以即時發(fā)生。該全景視頻采集裝置可缺失顯示器;該全景視頻采集裝置可以將轉(zhuǎn)換幀無線地傳送至通訊連接的計算機(jī)設(shè)備,數(shù)據(jù)存儲可配置為存留視頻饋送,映射,以及轉(zhuǎn)換幀。

本發(fā)明的一個方面可包括用于通過無線通信頻道提供即時圖像的全景視頻采集裝置。該全景視頻采集裝置可配置為捕獲真實(shí)世界環(huán)境的連續(xù)的立體圖像,該圖像的場可包括負(fù)15度至正45度的垂直范圍和至少270度的水平范圍。該全景視頻采集裝置可缺失顯示器;該全景視頻采集裝置可包括,能夠?qū)D像無線傳送至通訊連接的計算機(jī)設(shè)備的無線傳送器,光學(xué)透鏡組,二次曲面反射器,圖像傳感器,懸掛的外殼,以及可配置為即時地將真實(shí)世界環(huán)境的立體圖像轉(zhuǎn)換成真實(shí)世界環(huán)境的連續(xù)的等矩形圖像的處理器。

附圖說明

圖1所示為根據(jù)本發(fā)明實(shí)施例所公開的用于通過結(jié)合有全景視頻采集裝置的無限通信頻道提供即時圖像的相關(guān)的實(shí)時轉(zhuǎn)換示意圖。

圖2所示為根據(jù)本發(fā)明實(shí)施例所公開的用于通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的方法的流程圖。

圖3所示為根據(jù)本發(fā)明實(shí)施例所公開的通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的系統(tǒng)的示意圖。

圖4A所示為根據(jù)本發(fā)明實(shí)施例所公開的用于通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的全景光學(xué)裝置的示意圖。

圖4B所示為根據(jù)本發(fā)明實(shí)施例所公開的用于通過結(jié)合有全景視頻捕獲裝置的無線通信頻道提供即時圖像的裝置的圖像堆棧的示意圖。

附圖標(biāo)記說明:100,110-方案,112-真實(shí)世界環(huán)境,114-360°視場,116-全景視頻采集裝置,117-即時圖像,118-360°透視圖,120-計算機(jī)設(shè)備,122-界面,124-無線通道,150-即時變換,152-立體投影,154-映射,158-圓柱形投影,156-校正;

200-通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的方法,205-識別單次全景視頻采集裝置,210-建立與該裝置有關(guān)的觀看對話,215-通過該裝置采集真實(shí)世界環(huán)境的360度圖像,225-對投影進(jìn)行分析以確定圓柱形投影的映射,230-在該裝置內(nèi)即時地以及使用最少的資源執(zhí)行映射轉(zhuǎn)換,235-可選擇地建立圓柱形投影,240-在圓柱形投影上可選擇地執(zhí)行扭曲校正操作,245-建立透視圖,250-將該透視圖通過無線方式即時傳送至計算機(jī)設(shè)備,255-計算機(jī)設(shè)備呈現(xiàn)該透視圖,260-對話終止,265-結(jié)束;

310-全景視頻采集裝置,312-硬件,320-處理器,322-總線,324-易失的存儲器,326-非易失的存儲器,328-無線收發(fā)器,340-圖像傳感器,342-光學(xué)堆棧,314-軟件/固件,330-轉(zhuǎn)換引擎,332-立體投影,334-圓柱形投影,336-映射,370-即時饋送,360-計算機(jī)設(shè)備,362-界面,380-資源閾值,382-延遲閾值;

432-懸掛的外殼,410-間隔圈,430-反射鏡,420-二次曲面反射器,422-孔徑,440-光學(xué)元件,450-圖像傳感器,455-連接器,472-孔徑光闌,474-元件A,476-元件B,478-元件C,480-元件D,482-元件E,484-元件F,486-濾波器,488-視場致平器,490-傳感器。

具體實(shí)施方式

本發(fā)明是一種用于通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的解決方案。在該方案中,全景視頻采集裝置可以捕獲真實(shí)世界環(huán)境的即時圖像;該裝置可以捕獲真實(shí)世界環(huán)境的立體投影,該立體投影可在不進(jìn)行拼接操作的情況下即時或接近即時地變換成圓柱形投影;該裝置可缺失顯示器并可將該圓柱形投影(例如,即時圖像/饋送)傳送至無線通訊連接的計算機(jī)設(shè)備,該計算機(jī)設(shè)備可在顯示器的界面內(nèi)呈現(xiàn)該圓柱形投影。

所屬技術(shù)領(lǐng)域的技術(shù)人員知道,本發(fā)明可以實(shí)現(xiàn)為系統(tǒng)、方法或計算機(jī)程序產(chǎn)品。因此,本發(fā)明可以具體實(shí)現(xiàn)為以下形式,即:可以是完全的硬件、也可以是完全的軟件(包括固件、駐留軟件、微代碼等),還可以是硬件和軟件結(jié)合的形式,本文一般稱為“電路”、“模塊”或“系統(tǒng)”。此外,在一些實(shí)施例中,本發(fā)明還可以實(shí)現(xiàn)為在一個或多個計算機(jī)可讀介質(zhì)中的計算機(jī)程序產(chǎn)品的形式,該計算機(jī)可讀介質(zhì)中包含計算機(jī)可讀的程序代碼。

可以采用一個或多個計算機(jī)可讀的介質(zhì)的任意組合。計算機(jī)可讀介質(zhì)可以是計算機(jī)可讀信號介質(zhì)或者計算機(jī)可讀存儲介質(zhì)。計算機(jī)可讀存儲介質(zhì)例如可以是,但不限于,電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合。計算機(jī)可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個或多個導(dǎo)線的電連接、便攜式計算機(jī)磁盤、硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊磁盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。在本發(fā)明中,計算機(jī)可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì),該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。

計算機(jī)可讀的信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號,其中承載了計算機(jī)可讀的程序代碼,這種傳播的數(shù)據(jù)信號可以采用多種形式,包括但不限于電磁信號、光信號或上述的任意合適的組合。計算機(jī)可讀的信號介質(zhì)還可以是計算機(jī)可讀存儲介質(zhì)以外的任何計算機(jī)可讀介質(zhì),該計算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。

計算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸,包括但不限于無線、電線、光纜、RF等等,或者上述的任意合適的組合,可以以一種或多種程序設(shè)計語言或其組合來編寫用于執(zhí)行本發(fā)明各個方面的操作的計算機(jī)程序代碼,程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言,諸如Java、Smalltalk、C++,還包括常規(guī)的過程式程序設(shè)計 語言,諸如“C”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算機(jī)上執(zhí)行、部分地在用戶計算機(jī)上執(zhí)行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶計算機(jī)上部分在遠(yuǎn)程計算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計算機(jī)的情形中,遠(yuǎn)程計算機(jī)可以通過任意種類的網(wǎng)絡(luò),包括局域網(wǎng)(LAN)或廣域網(wǎng) (WAN)連接到用戶計算機(jī),或者,可以連接到外部計算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。

下面將參照本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當(dāng)理解,流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合,都可以由計算機(jī)程序指令實(shí)現(xiàn)。

這些計算機(jī)程序指令可以提供給通用計算機(jī)、專用計算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器,從而生產(chǎn)出一種機(jī)器,這些計算機(jī)程序指令通過計算機(jī)或其它可編程數(shù)據(jù)處理裝置執(zhí)行,產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的裝置。

也可以把這些計算機(jī)程序指令存儲在能使得計算機(jī)或其它可編程數(shù)據(jù)處理裝置以特定方式工作的計算機(jī)可讀介質(zhì)中,這樣,存儲在計算機(jī)可讀介質(zhì)中的指令就產(chǎn)生出一個包括實(shí)現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的指令的制造品。

也可以把計算機(jī)程序指令加載到計算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上,使得在計算機(jī)、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上執(zhí)行一系列操作步驟,以產(chǎn)生計算機(jī)實(shí)現(xiàn)的過程,從而使得在計算機(jī)或其它可編程裝置上執(zhí)行的指令能夠提供實(shí)現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的過程。

圖1是表示根據(jù)這里所公開的發(fā)明布局實(shí)施例的方案100和用于通過結(jié)合有全景視頻采集裝置的無限通信頻道提供即時圖像的相關(guān)的實(shí)時轉(zhuǎn)換。在方案100中,一旦捕獲到360度視場114,就可立即執(zhí)行實(shí)時轉(zhuǎn)換150,從而提供環(huán)境112的360度透視圖。

如本發(fā)明所用,全景視頻采集裝置116可以是能夠通過一個或多個無線通道124提供環(huán)境112的即時圖像117的硬件/軟件裝置。全景視頻采集裝置116可以包括,但不限于,一個或多個透鏡元件,透鏡組,孔徑,二次曲面反射器等;全景視頻采集裝置116可捕獲符合立體投影,曲線投影等的360°視場。

如本發(fā)明所用,如從極點(diǎn)看去(例如,極地全景),立體投影152可以是球體在平坦表面上的投影(例如,來自360°視圖的光線照到圖像傳感器)。例如,環(huán)境112的360°視圖可作為圓形全景投影到顯示器上,圓形全景的中心缺失圖像信息(例如,被涂黑)。等矩形投影(例如,等間距的圓柱形投影)可以是能夠?qū)⒆游缇€繪制成用于恒定間距的垂直直線的恒定間距的垂直直線的投影,或者將緯度圈繪制成用于恒定的平行間隔的恒定間距的水平直線的投影。

如本發(fā)明所用,術(shù)語即時,接近即時,和/或幾乎即時(NRT),在電信學(xué)和計算機(jī)技術(shù)中,可指代在事件的發(fā)生和所處理的數(shù)據(jù)的使用之間,通過自動數(shù)字處理或網(wǎng)絡(luò)傳播所引入的時間延遲。例如,捕獲360°視場114和在計算機(jī)設(shè)備120上顯示之間的延遲。應(yīng)該理解的是,即時或接近即時圖像117顯示表示時間或狀況如它存在于當(dāng)前時間減去處理時間處,接近現(xiàn)場事件的時間。

應(yīng)該理解的是,實(shí)施例150可在方案110的環(huán)境中執(zhí)行。如本發(fā)明所用,全景視頻采集裝置116可以是在水平面具有360度視場或者具有基本上覆蓋該360度視場的視場的照相機(jī)。全景視頻采集裝置116可以是具有基本上等于或者大于180°的視場和/或大于2:1的縱橫比的全景照相機(jī)。在一個例子中,全景視頻采集裝置116可以是能夠捕獲全景視場的單次照相機(jī)。例如,全景視頻采集裝置116可以是能夠捕獲270°水平和90°垂直區(qū)域的360°照相機(jī);全景視頻采集裝置116可包括靜止相機(jī)模式,攝像機(jī)模式等等。在一個例子中,全景視頻采集裝置116可接近真實(shí)世界環(huán)境112,例如,該裝置16可以是附加在SKYCAM照相機(jī)系統(tǒng)上的全向照相機(jī)。

在一個實(shí)施例中,全景視頻采集裝置116可包括地址編碼性能(比如,位置和/或運(yùn)動追蹤能力)。在該實(shí)施例中,全景視頻采集裝置116可利用本地或非本地設(shè)備(例如:第三方設(shè)備,臨近設(shè)備)來執(zhí)行地址編碼。例如,全景視頻采集裝置116可具有全球定位系統(tǒng)(GPS)以能夠?qū)哂谢趫D像創(chuàng)建位置的元數(shù)據(jù)的圖像進(jìn)行標(biāo)記。在一個例子中,可以利用可替換圖像文件格式(Exif)數(shù)據(jù)來保留位置數(shù)據(jù),標(biāo)準(zhǔn)等;就是,即時圖像117可包括表示圖像/視頻特性的地址編碼元數(shù)據(jù),這些特性包括,但不限于,緯度、長度、高度、方位、距離、精度數(shù)據(jù)、地點(diǎn)名稱,諸如此類。

如本發(fā)明所用,無線通道124可以是一個或多個與無線傳輸和/或無限網(wǎng)絡(luò)相關(guān)的頻率和/或速度,無線網(wǎng)絡(luò)包括,但不限于,蜂窩網(wǎng)絡(luò),無線計算機(jī)網(wǎng)絡(luò)等等。在一個例子中,無線通道124可以直接使用WiFi,藍(lán)牙等。應(yīng)該理解的是,無線通道124可包括多個通道。

在方案110中,可利用全景視頻采集裝置116以捕獲真實(shí)世界環(huán)境的360度視場114。全景視頻采集裝置116可經(jīng)由一個或多個無線通道124通訊連接至計算機(jī)設(shè)備120;真實(shí)世界環(huán)境112的即時圖像可作為360°透視圖118呈現(xiàn)在真實(shí)世界環(huán)境112內(nèi)。就是說,計算機(jī)設(shè)備120可以觀看與通過全景視頻采集裝置116捕獲的一樣的真實(shí)世界環(huán)境的現(xiàn)場饋送。例如,即時圖像117可經(jīng)由無線通道124傳送至計算機(jī)設(shè)備120。

在一個實(shí)施例中,全景視頻采集裝置116可捕獲立體投影152幾何圖形內(nèi)的環(huán)境。例如,立體投影152可呈現(xiàn)真實(shí)世界環(huán)境112的圖像,該圖像看起來像平坦的圓形圖像(比如,圓環(huán)形圖像)。

在一個實(shí)施例中,全景視頻采集裝置116可執(zhí)行一個或多個即時轉(zhuǎn)換150,其改變立體投影152以符合圓柱形投影158的幾何形狀。

在即時轉(zhuǎn)換150中,可對立體投影152進(jìn)行分析以產(chǎn)生可被利用以改變立體投影152的幾何形狀的映射154。應(yīng)該理解的是,因?yàn)闆]有需用于執(zhí)行即時轉(zhuǎn)換150的拼接操作,所以即時轉(zhuǎn)換150可即時或接近即時發(fā)生。在一個實(shí)施例中,映射154可允許立體投影152轉(zhuǎn)換成圓柱形投影158;在一個例子中,可自動調(diào)節(jié)圓柱形投影158中因?yàn)槔糜成?54的轉(zhuǎn)換所帶來的畸變,在該例子中,可執(zhí)行校正156以消除扭曲,數(shù)字假象等;在一個實(shí)施例中,可從校正156中生成真實(shí)世界環(huán)境112的360°透視圖118。應(yīng)該理解的是,校正156可以是在即時轉(zhuǎn)換150中可選擇的操作。

如本發(fā)明所用,圓柱形全景可具有達(dá)到360度的水平視場。在垂直方向上可具有180度的物理限制,和大約120度的應(yīng)用限制,所有垂直的直線都可被保存;對于水平直線而言,在圓柱形全景中,僅有地平線本身是直線。在全景中,所有其他的直線(包括地平線上或下的水平直線)可被投影至曲線。

應(yīng)該理解的是,即時轉(zhuǎn)換150不限于這里所呈現(xiàn)的幾何圖形,可包括傳統(tǒng)和/或非傳統(tǒng)的幾何圖形(例如,曲線的,垂直投影,等矩形投影),就是說,本發(fā)明使得任何的投影類型的轉(zhuǎn)換都是即時的或接近即時的。應(yīng)該理解的是,即時轉(zhuǎn)換150和/或即時圖像117的傳送可包括加密,壓縮等。

這里所呈現(xiàn)的附圖僅用于解釋的目的,在任何方面都不應(yīng)該解釋為對本發(fā)明的限制。應(yīng)該理解的是,本公開可以支持高動態(tài)范圍(HDR)的成像;應(yīng)該理解的是,本公開可利用特征檢測,校準(zhǔn),融合等以生成即時圖像117,其中,即時圖像117可與任意的傳統(tǒng)的和/或?qū)S懈袷揭恢拢@些格式包括,但不限于,聯(lián)合圖象專家組(JPEG),標(biāo)簽圖像文件格式(TIFF),運(yùn)動圖象專家組(MPEG),多媒體文件格式(AVI),可移植的網(wǎng)絡(luò)圖象文件格式(PNG),諸如此類。

圖2是表示根據(jù)這里所公開的發(fā)明布局實(shí)施例的用于通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的方法200的流程圖。

在步驟205中,識別單次全景視頻采集裝置。在步驟210中,建立與該裝置有關(guān)的觀看對話;在步驟215中,通過該裝置采集真實(shí)世界環(huán)境的360度圖像;在步驟220中,在采集過程中建立立體投影;在步驟225中,對該投影進(jìn)行分析以確定圓柱形投影的映射;在步驟230中,在該裝置內(nèi)即時地以及使用最少的資源執(zhí)行映射轉(zhuǎn)換;在步驟235中,可選擇地建立圓柱形投影;在步驟240中,在圓柱形投影上可選擇地執(zhí)行扭曲校正操作;在步驟245中,建立透視圖;在步驟250中,將該透視圖通過無線方式即時傳送至計算機(jī)設(shè)備;在步驟255中,計算機(jī)設(shè)備呈現(xiàn)該透視圖;在步驟260中,如果對話終止,該方法可繼續(xù)至步驟265,否則返回步驟215;在步驟265中,該方法結(jié)束。

圖3是表示根據(jù)這里所公開的發(fā)明布局實(shí)施例的通過結(jié)合有全景視頻采集裝置的無線通信頻道提供即時圖像的系統(tǒng)300的示意圖。在系統(tǒng)300中,全景視頻采集裝置310可無線連接至計算機(jī)設(shè)備360,全景視頻采集裝置310可將即時饋送370傳送至計算機(jī)設(shè)備360,其可以呈現(xiàn)在界面362中。應(yīng)該理解的是,全景視頻采集裝置310可以沒有顯示器;應(yīng)該理解的是即時饋送370可被捕獲并呈現(xiàn)在資源閾值380和/或延遲閾值382中。例如,全景視頻采集裝置310在總延遲小于100毫秒(例如,50毫秒用于處理,50毫秒用于傳送)之內(nèi)可捕獲和傳送即時饋送370。

應(yīng)該理解的是,可利用資源閾值380以確保即時饋送370運(yùn)送和/或展示的低延遲。例如,可利用資源閾值380以確保每一幀在40毫秒之內(nèi)被處理,而利用可用的CPU周期的至少75%。應(yīng)該理解的是資源閾值380是可選擇的限制。

全景視頻采集裝置310可包括硬件312和軟件/固件314。全景視頻采集裝置310可經(jīng)由一個或多個無線網(wǎng)絡(luò)通訊地連接;全景視頻采集裝置310可利用最小的計算機(jī)資源即時或者接近即時地經(jīng)由映射336將立體投影332轉(zhuǎn)換成圓柱形投影334,圓柱形投影334可作為連續(xù)的即時饋送370呈現(xiàn)在計算機(jī)設(shè)備360內(nèi)。

硬件312可包括,但不限于處理器320,總線322,易失的存儲器324,非易失的存儲器326,無線收發(fā)器328,圖像傳感器340,光學(xué)堆棧342等。在一個實(shí)施例中,處理器320可包括一個或多個用于改善映射轉(zhuǎn)換操作的硬件加速器;在一個例子中,存儲器324,326可包括用于使得即時映射和/或饋送370運(yùn)送低延遲的內(nèi)存緩沖器。軟件/固件314可包括,但不限于,轉(zhuǎn)換引擎330,設(shè)置(例如,未示出),諸如此類。在一個例子中,光學(xué)堆棧342可包括多個用于捕獲環(huán)境的360°圖像的透鏡元件(例如,圖4B)。

轉(zhuǎn)換引擎330可以是能夠即時或接近即時地將立體投影轉(zhuǎn)變成圓柱形投影334的硬件/軟件元件。轉(zhuǎn)換引擎330可包括,但不限于,一個或多個轉(zhuǎn)換算法,平滑算法,視頻/圖像校正算法等。例如,矩形或者未加權(quán)的滑動-平均平滑操作可被應(yīng)用以改善視頻的可視性。在一個例子中,轉(zhuǎn)換引擎330可以是即時操作系統(tǒng)(例如,QNX)的組件;在一個實(shí)施例中,轉(zhuǎn)換引擎330可利用一個或多個閾值380,382以確保即時轉(zhuǎn)換和/或饋送運(yùn)送;映射336可以是一個或多個用于將立體投影332轉(zhuǎn)變成圓柱形投影334的數(shù)據(jù)設(shè)置;映射336可包括,但不限于,幀識別器,源元素,目標(biāo)元素等。例如,可利用映射336基于立體投影332內(nèi)的位置重新組織像素(例如,幀內(nèi)的位置)。在一個例子中,映射336可符合高爾立體投影和/或布萊恩立體投影操作。

即時饋送370可符合一個或多個標(biāo)準(zhǔn)清晰度和/或高清規(guī)格,即時饋送370可包括,但不限于,1080p-1920×1080p:每幀2073600個像素(~2.07兆像素),1080i-1920×1080i:每個場1036800個像素(~1.04兆像素)或者每幀2073600個像素(~2.07兆像素),720p -1280×720p:每幀921600個像素 (~0.92兆像素) 。在一個例子中,即時饋送370可符合超高清規(guī)格(例如,UHD),例如,即時饋送370可符合在每秒30幀處具有3840×2160像素分辨率。在一個例子中,即時饋送370包括可被利用以最小化與即時饋送370傳送和/或解碼相關(guān)的延遲的壓縮,例如,即時饋送370可利用高效視頻編碼或者VP9壓縮標(biāo)準(zhǔn)。

在一個實(shí)施例中,全景視頻采集裝置310可利用傳統(tǒng)的和/或?qū)S械臄?shù)據(jù)包傳遞在有損通道算法上補(bǔ)償無線網(wǎng)絡(luò)內(nèi)發(fā)生的丟包;在另一個實(shí)施例中,全景視頻采集裝置310可補(bǔ)償因?yàn)榫嚯x改變,網(wǎng)絡(luò)負(fù)載等造成的帶寬變化。

在一個實(shí)施例中,轉(zhuǎn)換引擎330可將投影生成卸載至計算機(jī)設(shè)備360以確保即時傳送。在該實(shí)施例中,立體投影332可被分解,一個幀(例如,幀_A_立體)分解成兩個或多個部分(例如,部分_A_立體,部分_B_立體),這些部分可被轉(zhuǎn)換成圓柱形投影334的類型(例如,部分_A_圓柱,部分_B_圓柱)。在該實(shí)施例中,每個轉(zhuǎn)換的部分可傳送至計算機(jī)設(shè)備360,計算機(jī)設(shè)備360可執(zhí)行必要的拼接以呈現(xiàn)作為無縫幀(例如,幀_A_圓柱)的圓柱形投影334。

這里所示出的附圖僅僅是為了示意的目的,在任何方面都不應(yīng)該解釋為對本發(fā)明的限制。應(yīng)該理解的是,本公開可以利用傳統(tǒng)的和/或?qū)S型ㄐ艆f(xié)議,其包括,但不限于,RTP控制協(xié)議(RTCP),超文本傳輸協(xié)議(HTTP)等。

參考圖4A,示出全景光學(xué)裝置并根據(jù)本公開的實(shí)施例進(jìn)行描述。全景光學(xué)裝置包括懸掛的外殼432,二次全面反射器420,反射鏡430,以及間隔圈410,光線從其中穿過。其中,所述二次曲面反射器420包括位于它的頂端的孔或孔徑422。

在一個實(shí)施例中,包含在全景光學(xué)裝置的底部的一組元件包括光學(xué)元件440和電連接至連接器455的圖像傳感器450。光學(xué)元件440引導(dǎo)從反射鏡430反射出的光以擊中圖像傳感器450,光學(xué)元件還可過濾不需要的光波長,校正否則會造成不同顏色聚焦在不同平面和位置處的色差,和/或確保光學(xué)圖像基本上位于平坦的焦平面上,盡管存在二次曲面反射器420帶來的失真。

懸掛的外殼432可被利用以限制和/或減小環(huán)境光進(jìn)入孔徑422所發(fā)生的二次反射。在一個實(shí)施例中,懸掛的外殼432的材料可包括聚甲基丙烯酸甲酯(PMMA,或者丙烯酸),熱塑性聚合物等。

二次曲面反射器420是反射的圓錐表面,其可以是拋物線,雙曲線,或者半球形表面,或者橢圓形表面。更具體地,這里所使用的二次曲面反射器420是從寬底部到頂端逐漸變細(xì)的非退化實(shí)二次曲面,其中孔徑422定位在頂端。

圖像傳感器450是將光學(xué)圖像轉(zhuǎn)變成電信號的元件。各種圖像傳感器技術(shù)可用于圖像傳感器450,這些圖像傳感器技術(shù)包括,但不限于,半導(dǎo)體電荷耦合裝置(CCD),互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)中的有源像素傳感器,以及N-型金屬氧化物半導(dǎo)體(NMOS,有源MOS)技術(shù)。

在一個實(shí)施例中,光學(xué)元件440的正性元件可以由聚甲基丙烯酸甲酯(PMMA,或者丙烯酸),其他透明熱塑性塑料,或者其他合適的物質(zhì)構(gòu)成。光學(xué)元件440的負(fù)性元件可以由聚碳酸酯,其他熱塑性塑料聚合物,或者其他合適的物質(zhì)構(gòu)成。

圖4B示出根據(jù)本公開的實(shí)施例的位于孔徑光闌472和圖像傳感器490之間的光學(xué)元件。在圖4B中,孔徑光闌472限制穿過光學(xué)元件的光束,元件A 474捕獲穿過孔徑光闌的光線并減少光線擴(kuò)散。在一個實(shí)施例中,可以由元件B 476和元件C 478形成雙膠合透鏡;元件D 480和元件E 482產(chǎn)生會聚光束并校正色差,否則色差會造成不同顏色聚焦在不同的平面和位置;元件F 484加強(qiáng)光的會聚;平面濾波器486可用于阻止紅外,紫色和紫外輻射。在一些實(shí)施例中,過濾的波長可使圖像模糊并產(chǎn)生演色性誤差,視場致平器488校正二次曲面反射器420內(nèi)的虛像中的極端場曲率,視場致平器488使得發(fā)送至傳感器490的圖像位于焦平面上。 在所有實(shí)施例中,并不是所有的元件472-488是必需的,并且在本公開的不同的設(shè)想的實(shí)施例中還可以包括更多的元件(未示出)。

圖1-4中的流程圖和框圖表示系統(tǒng)的結(jié)構(gòu),功能和可能的實(shí)現(xiàn)方式的操作,與本發(fā)明的各個實(shí)施例對應(yīng)的方法和計算機(jī)程序產(chǎn)品。在這方面,流程圖或框圖中的每個框可表示模塊,部分,代碼部分,其包括一個或多個用于實(shí)現(xiàn)指定的邏輯功能的可執(zhí)行的指令。還應(yīng)該注意的是,在一些可選擇的實(shí)現(xiàn)方式中,框中所標(biāo)注的功能可以不按照途中標(biāo)記的順序發(fā)生。例如,實(shí)際上,取決于所所涉及的功能。對話中所示的兩個框,實(shí)質(zhì)上被同時執(zhí)行,或者有時也可以相反的順序執(zhí)行。還應(yīng)該注意的是,框圖和/或流程說明的每個框,以及框圖和/或流程說明的框的組合,可通過特殊目的的基于硬件的系統(tǒng)或者特殊目的硬件和計算機(jī)指令的組合來實(shí)現(xiàn),該基于硬件的系統(tǒng)執(zhí)行指定功能或行為。

此外,在前面的具體實(shí)施方式中,可以看出,在各個實(shí)施例中,為了精簡本發(fā)明,將各種特征組合在一起。本發(fā)明的這種方法不被解釋為反映所聲稱的實(shí)施例需要的特征比在每個權(quán)利要求中明確敘述的特征要多的意圖;而且,如權(quán)利要求所反映的,發(fā)明的主題在于比單個公開的實(shí)施例的所有特征要少。因此,據(jù)此將權(quán)利要求引入具體實(shí)施例中作為原始公開的一部分,并且即使在本應(yīng)用的起訴過程中從權(quán)利要求中刪除,也能保持如此,每個權(quán)利要求自身作為獨(dú)立要求的主題。此外,沒有示出的主題不應(yīng)該被認(rèn)為是必然存在的,并且在一些例子中,有必要通過使用負(fù)面的限制來定義權(quán)利要求,這里僅僅通過不示出在這樣的負(fù)面限制中否認(rèn)的主題來獲得支持。

當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1