專(zhuān)利名稱(chēng)：實(shí)時(shí)無(wú)失真成像的全景視頻系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體上涉及特殊攝像系統(tǒng)領(lǐng)域，更具體地，涉及一種使用全景環(huán)狀鏡、攝像機(jī)和獨(dú)特展開(kāi)軟件的實(shí)時(shí)360°全景視頻系統(tǒng)，提供了全景圖像的無(wú)縫、無(wú)失真的水平視圖。
本發(fā)明要求2003年7月3日申請(qǐng)的臨時(shí)申請(qǐng)序列號(hào)No.60/485,336的優(yōu)先權(quán)。
背景技術(shù)：
已經(jīng)公知了可以用于提供360°視角的全景光學(xué)系統(tǒng)。作為范例，U.S.專(zhuān)利No.6,459,451公開(kāi)了一種提供360°視角的反射折射鏡頭。可以有利地將這種光學(xué)系統(tǒng)用于攝像機(jī)，來(lái)提供一種能夠使用單個(gè)攝像機(jī)而不需要掃描或縫合多個(gè)圖像來(lái)成像例如整個(gè)房間或從單一位置看到的景色的整個(gè)360°視角的系統(tǒng)。然而，這種鏡頭提供圖像觀察者不易于理解的圖像，除非首先“展開(kāi)”圖像。360°視角鏡頭的圖像是環(huán)狀或圈形的并因此有失真，并且人類(lèi)觀察者不易于辨別它。因此需要將該圖像轉(zhuǎn)換或“展開(kāi)”到相對(duì)二維格式，例如實(shí)際位于薄膜上或電子地位于計(jì)算機(jī)屏幕上等相對(duì)平面介質(zhì)上的水平視圖。展開(kāi)過(guò)程包括例如每一個(gè)畫(huà)面單元或像素的轉(zhuǎn)換的數(shù)學(xué)變換，并且優(yōu)選地按照產(chǎn)生很少或沒(méi)有失真的方式來(lái)完成該過(guò)程，否則將降低產(chǎn)生的平面圖像的質(zhì)量。典型地，這種逐個(gè)像素的轉(zhuǎn)換是非常復(fù)雜的，并且需要復(fù)雜且耗時(shí)的計(jì)算機(jī)程序，尤其是對(duì)于合理水平的分辨率和具有較大數(shù)目像素的圖像。因此，不可能使用全景鏡頭技術(shù)來(lái)提供具有合意分辨率的實(shí)時(shí)展開(kāi)視頻圖像。
一種可以提供由全景鏡頭和攝像機(jī)產(chǎn)生的實(shí)時(shí)展開(kāi)視頻圖像的系統(tǒng)對(duì)于多種有用的應(yīng)用是非常有利的。作為范例，這種系統(tǒng)可以使用只具有一個(gè)觀察者的單位顯示器來(lái)提供連續(xù)全視角的安全監(jiān)視。這種系統(tǒng)還可以被安裝在傳送裝置上，并且用于軍事或治安偵察目的或者用于機(jī)器人成像?？梢孕薷乃蛊渑c因特網(wǎng)發(fā)送、無(wú)線系統(tǒng)兼容，并且可以將其設(shè)計(jì)用于視頻圖像壓縮來(lái)減少發(fā)送帶寬需求。當(dāng)其能夠方便地具有較少或沒(méi)有失真地實(shí)時(shí)“展開(kāi)”具有合意分辨率水平的全景視頻圖像時(shí)，有用和有利的應(yīng)用的主機(jī)成為可行并且易于使用。

發(fā)明內(nèi)容
在其優(yōu)選實(shí)施例中，本發(fā)明組合了全景環(huán)狀透鏡系統(tǒng)(PAL)、單位攝像機(jī)和基于PC的軟件系統(tǒng)，將360°視頻圖像實(shí)時(shí)展開(kāi)為無(wú)縫、無(wú)失真水平圖像。PAL包括兩個(gè)鏡子，即，雙曲面鏡和橢球面鏡，由360°圓形折射前端或入射孔徑透鏡相互連接，并且具有與聚光透鏡相鄰的后方或出射孔徑。優(yōu)選實(shí)施例的PAL系統(tǒng)在40mm直徑的小型組件中具有360°水平視角以及90°垂直視角。本發(fā)明不局限于任意特定類(lèi)型的透鏡系統(tǒng)。實(shí)際上，存在用于提供360°全景視角的各種透鏡系統(tǒng)。攝像機(jī)可以具有1280×1024(高分辨率)或720×480(NTSC)像素分辨率的、基于CCD或CMOS的設(shè)備。展開(kāi)系統(tǒng)是使用計(jì)算機(jī)圖形卡能力來(lái)執(zhí)行的放射射線追蹤程序，以便在使軟件開(kāi)銷(xiāo)最小化的同時(shí)產(chǎn)生高效區(qū)域轉(zhuǎn)換。結(jié)果是從球面失真圖像到笛卡兒坐標(biāo)中的平面全景圖像的實(shí)時(shí)、高分辨率30fps轉(zhuǎn)換。圖形用戶(hù)界面(UI)允許選擇任意的斷點(diǎn)(全景圖像的任意中心線)以及放大和縮小能力以及內(nèi)建校準(zhǔn)。


作為詳細(xì)說(shuō)明的結(jié)果，結(jié)合附圖，可以更完整地理解本發(fā)明的各種實(shí)施例、特點(diǎn)和優(yōu)點(diǎn)，圖中圖1是可以在本發(fā)明中實(shí)現(xiàn)的全景環(huán)狀透鏡結(jié)構(gòu)的示意圖；圖2包括圖2a和2b，分別示出了圖1的透鏡結(jié)構(gòu)的照片頂視圖和側(cè)視圖；圖3是集成了CCD攝像機(jī)的圖1所示的鏡頭的照片視圖；圖4包括圖4a和4b，分別是在裁剪之前和之后的PAL圖像的照片演示；圖5是圖4a和4b的PAL圖像的展開(kāi)版本的照片表示；圖6包括圖6a、6b、6c和6d，分別提供了兩個(gè)不同攝像機(jī)分辨率、盤(pán)繞形式和兩個(gè)相同分辨率、展開(kāi)形式的圖4a和4b的圖像的照片視圖；圖7是反射折射全向超廣角攝像機(jī)的可選實(shí)施例的示意圖；圖8是使用雙拋物面鏡的全景立體成像的簡(jiǎn)化示意圖；圖9是示出了多級(jí)拋物面鏡和攝像機(jī)的設(shè)計(jì)的示意圖；圖10是使用凸反射鏡的全景成像的示意圖；圖11是可用于白天和夜間操作的全景攝像系統(tǒng)的示意圖；圖12是在圖11的系統(tǒng)中使用的環(huán)狀平面鏡的示意圖；圖13是具有第二介質(zhì)波長(zhǎng)的紅外光信道的全景成像器的示意圖；圖14是圓形魚(yú)眼鏡頭的半球視圖圓形投影的示意圖；圖15是圓形魚(yú)眼鏡頭的球坐標(biāo)映射的幾何圖；圖16包括圖16a和16b，分別是球和角映射的幾何表示；圖17包括圖17a和17b，分別是圓形魚(yú)眼鏡頭的原始和轉(zhuǎn)換后的圖像的照片視圖；圖18是本發(fā)明優(yōu)選實(shí)施例的實(shí)時(shí)轉(zhuǎn)換(“展開(kāi)”)軟件的圖形用戶(hù)界面的計(jì)算機(jī)屏幕表示；圖19是由魚(yú)眼攝像系統(tǒng)以30fps按照全幀捕獲的圖像的計(jì)算機(jī)屏幕表示；圖20是使用本發(fā)明的“展開(kāi)”軟件以30fps從圖19的魚(yú)眼圖像轉(zhuǎn)換出的1500×1000笛卡兒計(jì)算機(jī)屏幕圖像；圖21是類(lèi)似于圖19的計(jì)算機(jī)屏幕表示，示出了用于減少失真的各種校準(zhǔn)方法的效果；圖22是對(duì)于像素塊、從輸入平面到輸出平面的放射射線追蹤的圖形表示；圖23包括圖23a、23b和23c，分別是示出了從環(huán)狀圖像到無(wú)失真矩形圖像的轉(zhuǎn)換過(guò)程的圖形表示；圖24是本發(fā)明所使用的實(shí)時(shí)展開(kāi)軟件流程的方框圖；圖25和26是用于解釋使用全景成像器作為測(cè)距儀的示意圖；以及圖27和28是用于解釋為全景成像器附加變焦功能的示意圖。
具體實(shí)施例方式
全景環(huán)狀鏡頭(PAL)PAL鏡頭是根據(jù)光的反射和折射，并且在只有40mm直徑的超小型組件中提供全景360°視角。PAL鏡頭提供例如-40°到+50°的垂直視場(chǎng)。如圖1所示，全景鏡頭是由360°圓形孔徑(R1)、與聚光透鏡相連的后向孔徑(R2)、頂部鏡(H)和圓形鏡(E)組成的一片玻璃?！按怪睌z像機(jī)”的觀察點(diǎn)是在橢球面鏡(E)的平面(O)上。利用這種幾何結(jié)構(gòu)，PAL傳感器可以看見(jiàn)其垂直軸BC周?chē)恼麄€(gè)360°場(chǎng)景。由圓形鏡E和頂部鏡H的有效尺寸和垂直確定位置視場(chǎng)。通常視角是90°垂直。
圖2a和2b示出了PAL。為了保持較廣的攝像機(jī)角度選項(xiàng)，利用適合于大多數(shù)1/3英寸和1/2英寸拾取設(shè)備、包括CMOS和CCD的C型底座來(lái)端接PAL底座。選擇拾取設(shè)備是重要的，因?yàn)槠涠x了最終的圖像質(zhì)量。最重要的特征是分辨率，其應(yīng)該在1000像素每視頻線的數(shù)量級(jí)上。逐行模式拾取設(shè)備是優(yōu)選的，因?yàn)樗麄兿藭r(shí)間視頻場(chǎng)的不同。市場(chǎng)上有多種這種設(shè)備，隨著市場(chǎng)份額進(jìn)入HDTV可攜式攝像機(jī)，例如可以按照720p HD格式(在30fps的逐行掃描中為1024×720像素)錄制視頻的JVC GR-HD1，價(jià)錢(qián)下降很快。圖3中示出了集成有攝像機(jī)的PAL。
如圖4所示，PAL鏡頭產(chǎn)生的圖像是圓對(duì)稱(chēng)的。PAL鏡頭將360°方位角和90°仰角內(nèi)的所有空間映射到環(huán)孔圖像中。仍然可以辨別該圖像，并且相比于其它全景可視化系統(tǒng)，例如基于雙曲面鏡的360°系統(tǒng)，該圖像有相對(duì)較低的幾何失真。PAL的主要優(yōu)點(diǎn)在于其保持了垂直線為筆直，顯著減少了圖像展開(kāi)的計(jì)算復(fù)雜度。如圖4b所示，只有圖4a中圖像的一部分可以被有用地展開(kāi)。圖4a的中心和外部邊緣沒(méi)有攜帶任何有用的視覺(jué)信息，并被丟棄。通過(guò)優(yōu)化PAL和攝像機(jī)之間的中繼鏡，保持覆蓋整個(gè)環(huán)孔圖像的最大分辨率。圖5示出了展開(kāi)到全景笛卡兒坐標(biāo)的展開(kāi)圖像。
在具有各種像素分辨率的多個(gè)攝像機(jī)上廣泛地測(cè)試了PAL組件。開(kāi)始用標(biāo)準(zhǔn)NTSC攝像機(jī)，其具有420×240像素每場(chǎng)。接下來(lái)測(cè)試具有逐行掃描攝像機(jī)的鏡頭，一個(gè)為480×480像素并且一個(gè)為1024×1024像素。對(duì)于每一個(gè)PAL-攝像機(jī)組合，展開(kāi)圖像，并通過(guò)雙三次縮放使其標(biāo)準(zhǔn)化為基準(zhǔn)攝像機(jī)分辨率。圖6比較圖像。圖6a示出了由1024×1024像素的攝像機(jī)捕獲的圖像。圖6b示出了480×480像素的圖像。圖6c示出了1024×1024像素的相應(yīng)展開(kāi)圖像并且圖6d示出了480×480像素的相應(yīng)展開(kāi)圖像。兩個(gè)情況中放大了兩個(gè)圖像的細(xì)節(jié)(墻上的照片)?？梢灶A(yù)見(jiàn)，兩個(gè)圖像的細(xì)節(jié)的近距離觀察示出了高分辨率圖像的更平滑的邊緣和更好的色彩渲染。
具有拋物面鏡的反射折射超廣角攝像機(jī)在可選的全景方法中，反射折射系統(tǒng)利用拋物面鏡產(chǎn)生全向景象。如圖7所示，反射折射全向超廣角攝像機(jī)(CUWMC)由安裝在框架中、并且直接對(duì)準(zhǔn)包圍在透明半球中的拋物面鏡的頂點(diǎn)的微型數(shù)字?jǐn)z像機(jī)組成。圖7中的折光攝像機(jī)鏡頭使拋物面的焦點(diǎn)成像在CCD成像器上。這種攝像機(jī)經(jīng)由拋物面鏡看見(jiàn)半球面中的所有方向。具有折光成像透鏡的CCD攝像機(jī)與鏡子距離幾英寸相對(duì)并且產(chǎn)生反射的圓形圖像。然后將產(chǎn)生的圓形圖像轉(zhuǎn)換到任意方向中的正常視圖。然而，圖像質(zhì)量在視場(chǎng)上變化很大；系統(tǒng)放大倍數(shù)在圖像的中心較大并且隨著圖像高度Y的增加而逐漸減小。這導(dǎo)致在視場(chǎng)邊緣處圖像質(zhì)量的急劇下降。為了克服該缺點(diǎn)，將全景成像概念延伸到曲率不同的兩個(gè)同心拋物面鏡。在圖8所示的兩個(gè)鏡子的系統(tǒng)中，鏡子的軸共線，并且與折光攝像機(jī)的光軸一致。每一個(gè)鏡子具有圍繞該軸的徑向?qū)ΨQ(chēng)的外形。主拋物面鏡產(chǎn)生較小的縮小，并且以較高的分辨率捕獲在較大角度上的半球面的部分。次反射鏡具有較大的曲率以及較大的放大倍數(shù)，并且捕獲該場(chǎng)景的中心部分，即靠近光軸的部分。
CUWAC拋物面光學(xué)系統(tǒng)保證具有單個(gè)有效投影中心、來(lái)自場(chǎng)景的所有光線在前進(jìn)到攝像機(jī)鏡頭的路徑上必須通過(guò)的單個(gè)點(diǎn)。這種設(shè)計(jì)模仿只拍攝線性透視圖的攝像機(jī)，并且允許CUWAC計(jì)算機(jī)軟件產(chǎn)生沒(méi)有失真的線性透視圖像。
具有背靠背安裝的魚(yú)眼鏡頭或拋物面鏡的兩個(gè)攝像機(jī)可以產(chǎn)生360°完整球面的視場(chǎng)，用于監(jiān)視或安全操作。在遠(yuǎn)程電信會(huì)議中，這種全景攝像機(jī)可以同時(shí)按照半球或線性透視圖的方式來(lái)示出坐在桌邊的每一個(gè)參與者。允許移動(dòng)機(jī)器人查看半球場(chǎng)景。被放置在演奏舞臺(tái)的頂上或在運(yùn)動(dòng)賽事期間被放置在中場(chǎng)之上，超廣角攝像機(jī)可以向觀眾提供360°整個(gè)球面的視場(chǎng)。利用操縱桿或鼠標(biāo)，觀眾可以在他們的屏幕上獲得任何視圖，并且不僅看見(jiàn)半球透視圖而且看見(jiàn)正常的、未失真的線性透視圖。
圖9示出了這種多級(jí)拋物面鏡的基本設(shè)計(jì)。雙曲面鏡的投影中心C與焦點(diǎn)F重合。根據(jù)內(nèi)部攝像機(jī)校準(zhǔn)矩陣K來(lái)設(shè)計(jì)透視攝像機(jī)，K使3D坐標(biāo)X＝[x，y，z]T與視網(wǎng)膜坐標(biāo)q＝[qu，qv，1]T相關(guān)q=1zKX.---(1)]]>全景成像系統(tǒng)的分析關(guān)于遙控操作和自動(dòng)系統(tǒng)的研究顯示了可以跨距非常廣視角的成像的有用性。如果代替較小的錐形視圖，攝像機(jī)可以同時(shí)捕獲幾乎整個(gè)半球面的可視信息(“視場(chǎng)球”)，成像系統(tǒng)獲得多個(gè)優(yōu)點(diǎn)。首先，不需要移動(dòng)攝像機(jī)來(lái)使焦點(diǎn)對(duì)準(zhǔn)感興趣的物體上，或者執(zhí)行探測(cè)攝像機(jī)運(yùn)動(dòng)。第二，處理環(huán)境或物體場(chǎng)景的全局圖像不受包含較少信息的圖像區(qū)域的影響。第三，較廣的視場(chǎng)可以輕松地搜索基準(zhǔn)物體，因?yàn)樗麄儧](méi)有從視場(chǎng)中消失；有助于穩(wěn)定追蹤這些特征的圖像處理算法。第四，較廣的視場(chǎng)可以容易地辨別由于攝像機(jī)旋轉(zhuǎn)而導(dǎo)致的圖像偽像和由于物體轉(zhuǎn)換而導(dǎo)致的圖像偽像。在機(jī)械視覺(jué)、監(jiān)視、避免沖突、自我運(yùn)動(dòng)的計(jì)算、環(huán)境中運(yùn)動(dòng)物體的簡(jiǎn)單和容易的檢測(cè)以及機(jī)器人科學(xué)的應(yīng)用范圍中，全景地查看和使環(huán)境成像的能力是有用地。
反射光學(xué)是成本效率較高的并且對(duì)于全局成像是魯棒的。放置于凸反射表面之下的攝像機(jī)可以觀察到較大的視場(chǎng)(見(jiàn)圖10)?？梢詫㈢R子的外形設(shè)計(jì)為角增益的，以便延伸攝像機(jī)觀測(cè)幾何角度。利用適當(dāng)形狀的鏡子，典型地具有～30°可視視場(chǎng)的攝像機(jī)可以將完整的360°成像到方位角θ中，并且將可達(dá)±120°成像到仰角Φ中。圖10示出了如何將從反射表面反射的射線送往攝像機(jī)觀測(cè)錐。這種成像設(shè)備具有明顯的優(yōu)點(diǎn)首先，作為無(wú)源傳感器，其具有最小的功率需求。第二，其可能極其魯棒，因?yàn)閭鞲衅魇峭耆墓腆w狀態(tài)并且沒(méi)有運(yùn)動(dòng)部分。第三，可以使彎曲的鏡子不具有透鏡的典型光學(xué)失真。
具有凸面鏡的攝像機(jī)可以按照視頻速率立即獲得圖像；其可以是緊湊的，并且可以花費(fèi)相對(duì)較少來(lái)制造。商用的“魚(yú)眼”鏡頭則花費(fèi)更多并且比鏡子更龐大。此外，基于凸面鏡的攝像機(jī)光學(xué)可以具有良好定義的數(shù)學(xué)關(guān)系，可以將所述數(shù)學(xué)關(guān)系編碼到圖像處理和數(shù)據(jù)濾波中，將視場(chǎng)球的彎曲形狀映射到2D平面像素陣列。沒(méi)有簡(jiǎn)單且成本有效的完全光學(xué)裝置，用于校正從3D表示變?yōu)?D表示中所發(fā)生的圖像變形。使用彎曲反射表面的全景成像的基本困難在于成像分辨率取決于圖像中的位置。在來(lái)自標(biāo)準(zhǔn)球面凸反射器的圖像中，分辨率取決于仰角。在較高仰角處的可視斑塊(patch)與接近水平的斑塊的分辨率孑然不同，因?yàn)樗麄儽瘸嗟栏浇陌邏K捕獲更少的可視空間的立體角。將鏡子外形設(shè)計(jì)為等角的、將彎曲圖像轉(zhuǎn)換為柱面圓柱投影、相對(duì)于檢測(cè)器陣列中心、保留光入射到鏡面的入射角和反射到攝像機(jī)的反射角之間的線性關(guān)系。這確保攝像機(jī)在垂直平面內(nèi)保持環(huán)境的均勻分辨率，而與仰角無(wú)關(guān)，這對(duì)于高質(zhì)量全景成像是非常重要的。留下兩個(gè)鏡子的設(shè)計(jì)和圖像處理未進(jìn)行解釋?zhuān)怪狈蔷鶆蛐詴?huì)導(dǎo)致給定物體場(chǎng)景中的較差分辨率。
白天/夜間操作的POC全景成像器圖11示出了組合可視/紅外攝像系統(tǒng)。來(lái)自場(chǎng)景的光入射到雙曲面鏡上。按照雙曲面的焦點(diǎn)作為攝像機(jī)投影中心、其中所有光線呈現(xiàn)為交叉的方式來(lái)設(shè)計(jì)該鏡子的表面外形(即錐形常數(shù)、曲率半徑和孔徑大小)。在該系統(tǒng)中，使鏡子與攝像機(jī)對(duì)齊對(duì)于保持仰角和攝像機(jī)觀測(cè)角之間的線性關(guān)系是重要的。滿(mǎn)足單個(gè)觀察點(diǎn)關(guān)系的那些射線被雙曲面鏡表面反射，并且入射到相對(duì)于底點(diǎn)朝向45°的環(huán)形平面鏡(見(jiàn)圖1 2)。擊中環(huán)形平面鏡的光的一半穿過(guò)鏡子中央部分的通光孔徑(觀測(cè)幾何形狀的較低仰角)，并且光的一半(觀測(cè)幾何形狀的較高仰角)以90°被反射。
由變焦透鏡收集沿每一個(gè)光路徑傳播的光。這種光學(xué)系統(tǒng)的視頻變焦透鏡是具有從8mm到48mm的焦距長(zhǎng)度、工作距離從1.2m到∞、以及與1/2英寸格式檢測(cè)器兼容、以及具有F數(shù)為F1.2-16以及角視場(chǎng)從44.6°到8°的商用現(xiàn)貨供應(yīng)產(chǎn)品。兩個(gè)變焦透鏡使我們能夠獨(dú)立地調(diào)整傳感器的每一個(gè)臂。他們不需要被設(shè)置為相同的變焦放大倍數(shù)(即，模糊點(diǎn)大小可以被設(shè)置為填滿(mǎn)像素陣列)；這可以改善可視圖像的每一部分中的分辨率，其具有使系統(tǒng)能夠作為全景成像器的觀測(cè)仰角的函數(shù)來(lái)均衡分辨率的優(yōu)點(diǎn)。估計(jì)具有這種變焦透鏡的全景成像器的最小模糊點(diǎn)尺寸為～1.5到2倍衍射極限。將來(lái)自每一個(gè)變焦透鏡的光成像到商用3百萬(wàn)像素、1/2英寸格式、CMOS硅檢測(cè)器芯片上。每一個(gè)檢測(cè)器陣列中的像素?cái)?shù)目是2048×1520，具有7μm線性斑塊。較大的像素大小將攝像機(jī)芯片的較低光靈敏度提高為～0.05lux并減少固定圖樣噪聲。根據(jù)制造商的說(shuō)明書(shū)，這種攝像機(jī)的SNR是78dB。攝像機(jī)操作在非隔行方式(逐行方式)，并且以30幀每秒的視頻速率產(chǎn)生全幀輸出。以可編程部分掃描(感興趣區(qū)域模式操作)捕獲的完全異步圖像賦與這些攝像機(jī)多種白天/夜間應(yīng)用的靈活性。彩色和單色版本的攝像機(jī)是可用的。在彩色版本中，由Bayer濾色鏡減少了整體分辨率；對(duì)于每一個(gè)原色，分辨率是大約1/3。
因?yàn)楣柙诠庾V的近紅外區(qū)域(700nm到1100nm)敏感，成像器可以被用于夜間監(jiān)視。此外，設(shè)計(jì)全景成像器以便可以容易地引入第二信道來(lái)使夜間視覺(jué)能力延伸到中波紅外(3到10μm)區(qū)域。利用反射率在MWIR光譜范圍內(nèi)＞98％的平面鏡來(lái)實(shí)現(xiàn)該設(shè)計(jì)。平面鏡的45°定向使光線朝向第二光信道(見(jiàn)圖13)。
其它的光路布置類(lèi)似于以上所述，利用PtSi或HgCdTe檢測(cè)器和紅外變焦透鏡組件來(lái)檢測(cè)紅外場(chǎng)景。注意，這些紅外焦面陣列只是QVGA規(guī)模(320×240像素)、具有12μm的直線間隔，因此降低了整體分辨率。然而，在超出基于硅的檢測(cè)器的能力范圍之外的條件下，多色全景成像器可以追蹤目標(biāo)。在夜間，在月光條件下，紅外輻射比可視光譜的輻射大兩個(gè)數(shù)量級(jí)。此外，可以應(yīng)用復(fù)雜的圖像插值技術(shù)來(lái)增加圖像分辨率。
全景圖像展開(kāi)的數(shù)學(xué)基礎(chǔ)如圖14所示，圓形魚(yú)眼鏡頭將環(huán)境的半球視圖投影到圓形圖像中。全景圖像是180°魚(yú)眼投影。投影的全景圖像水平地覆蓋整個(gè)180°，然而因?yàn)閹男藜簦鋵?shí)際上，在垂直方向，覆蓋較少，為～135°。
在構(gòu)成展開(kāi)處理時(shí)，分配給180°魚(yú)眼投影的有限圓形的單位是半徑，并且其中心被選為圖像原點(diǎn)。為圖像中的點(diǎn)分配極坐標(biāo)(r，θ)，并且被變換為具有角坐標(biāo)θ和φ的球坐標(biāo)，如方程(2)所示，其中θ是經(jīng)度并且φ是離開(kāi)投影的軸的角度。圖15幾何學(xué)地示出了圓形魚(yú)眼圖像的球形映射。從極坐標(biāo)到球坐標(biāo)的轉(zhuǎn)換使θ保持相同，并將r變?yōu)棣铡D16示出了映射坐標(biāo)的角度(圖16a)以及角坐標(biāo)變換的幾何表示(圖16b)。
xbybzb=cosα0sinαsinβcosβ-sinαcosβsinβxdyd+sinβ-sinαcosβcosαcosβ---(2)]]>然后，將半立方體映射到魚(yú)眼圖像，并且從該圖像可以將180°魚(yú)眼圖像(見(jiàn)圖17a)變換為正常的透視圖像，在圖17b中示出了結(jié)果。用于坐標(biāo)變換的映射方程是
xvyv=rvcosθrvsinθ---(4)]]> 對(duì)于輸入圖像的連續(xù)操作，映射按照下面的步驟進(jìn)行1.像平面到角坐標(biāo)2.角坐標(biāo)到球坐標(biāo)3.找出逆變換 一些必要的方程涉及球坐標(biāo)。下面方程中的角度θ和φ與規(guī)范笛卡兒(x，y，z)坐標(biāo)框架相關(guān)x＝r·sin(δ)·cos(θ) (7)y＝r·sin(δ)·sin(θ) (8)z＝r·cos(θ)， (9)以及其逆變換r2＝x2+y2+z2(10)cos(θ)=x/x2+y2---(11)]]>sin(θ)=y/x2+y2---(12)]]>cos(φ)＝z/r(13)sin(φ)=x2+y2/r.---(14)]]>實(shí)時(shí)全景視頻轉(zhuǎn)換軟件這部分說(shuō)明視頻映射軟件架構(gòu)的基本原理和設(shè)計(jì)問(wèn)題。對(duì)變換系統(tǒng)進(jìn)行編碼，并根據(jù)微軟視窗視頻技術(shù)和其它視頻操作軟件架構(gòu)來(lái)進(jìn)行調(diào)試。針對(duì)實(shí)時(shí)視頻轉(zhuǎn)換軟件，優(yōu)化軟件的性能和穩(wěn)定性。
視頻映射軟件的設(shè)計(jì)和功能性本發(fā)明的優(yōu)選實(shí)施例包括實(shí)時(shí)全景視頻轉(zhuǎn)換軟件，來(lái)將視頻從圓形極坐標(biāo)變換到30幀每秒、2000×1000視頻分辨率的笛卡兒全景視頻。
在微軟Direct3D和DirectShow中已經(jīng)開(kāi)發(fā)出實(shí)時(shí)全景轉(zhuǎn)換軟件。微軟Direct3D具有實(shí)時(shí)渲染并映射圖像的全部能力。Direct3D可以直接訪問(wèn)并操作視頻存儲(chǔ)器而不需要調(diào)用操作系統(tǒng)服務(wù)，因此可以在硬件中操作圖形。下面的列表總結(jié)了Direct3D的能力。
Direct3D功能性·按照設(shè)備無(wú)關(guān)方式，對(duì)3D視頻顯示硬件進(jìn)行設(shè)備相關(guān)存取·支持3D z-緩沖·可轉(zhuǎn)換/深度緩沖·變換和剪切·對(duì)圖像拉伸硬件已經(jīng)存取·專(zhuān)用硬件存取·對(duì)變換、照明和光柵3D圖形管道的即時(shí)存取·如果硬件加速不可用則軟件仿真Direct3D低級(jí)功能性·3D坐標(biāo)系統(tǒng)和幾何學(xué)·明暗處理技術(shù)·矩陣和變換·向量和頂點(diǎn)·復(fù)制表面·翻頁(yè)和后臺(tái)緩沖·矩形Direct3D應(yīng)用級(jí)功能性·塊映射
·環(huán)境映射·幾何混合·索引頂點(diǎn)混合·補(bǔ)丁·點(diǎn)塊紋理·程序像素著色器·程序頂點(diǎn)著色器·四元數(shù)·聚光燈·補(bǔ)間動(dòng)畫(huà)·頂點(diǎn)混合·立體紋理微軟引入新技術(shù)，將Direct3D應(yīng)用無(wú)粘接地(gluelessly)到視頻應(yīng)用中，利用映射、混合、紋理和陰影實(shí)時(shí)操作視頻。下面強(qiáng)調(diào)了DirectShow技術(shù)。
·流媒體的架構(gòu)·多媒體流的高質(zhì)量回放·基于文件·網(wǎng)絡(luò)流·通用解碼能力·與其它DirectX技術(shù)的無(wú)粘接接口·硬件加速支持的自動(dòng)檢測(cè)·基于公共目標(biāo)模型(COM)的接口圍繞微軟Direct3D和DirectShow的核心功能開(kāi)發(fā)出實(shí)時(shí)視頻軟件，然而該軟件的創(chuàng)新和獨(dú)特的架構(gòu)和層次研發(fā)是多媒體界的第一次，可以實(shí)時(shí)、沒(méi)有明顯等待時(shí)間地變換并顯示全景視頻。
定制微軟視頻混合渲染器視頻混合渲染器(VMR)是新的DirectShow濾波器，只可用于Windows XP Home Edition和XP Professional，代替交疊混合器和視頻渲染器，并添加多個(gè)新的混合特點(diǎn)。在性能和特點(diǎn)的寬度方面，VMR表示渲染視窗平臺(tái)上的視頻中的新生產(chǎn)物。
VMR支持下面的新的特點(diǎn)·多個(gè)視頻流的實(shí)時(shí)混合，利用Direct3D硬件設(shè)備的α混合能力·插入自身編撰的組件，在進(jìn)入VMR的視頻流之間實(shí)現(xiàn)效果和變換的能力。
·真正的無(wú)窗口渲染。不再需要使視頻回放窗口成為應(yīng)用窗口的子窗口來(lái)回放視頻。VMR的新無(wú)窗口渲染模式使應(yīng)用程序容易地將視頻回放駐留在任何窗口中而不需要將窗口消息轉(zhuǎn)發(fā)給渲染器來(lái)實(shí)現(xiàn)渲染器專(zhuān)用處理。
·新的無(wú)渲染回放模式，其中，應(yīng)用程序可以提供自身的分配器組件，在其被顯示在屏幕上之前，獲得對(duì)解碼視頻圖像的存取。
·對(duì)備有多個(gè)監(jiān)視器的PC的改善支持。
·支持微軟新的DirectX視頻加速架構(gòu)。
·同時(shí)支持在多個(gè)窗口中的高質(zhì)量視頻回放。
·支持DirectDraw專(zhuān)用模式。
·與現(xiàn)有應(yīng)用程序的100％向后兼容性。
·支持幀步進(jìn)和用于捕獲正在顯示的當(dāng)前圖像的可靠方式·應(yīng)用程序可以容易地按照平滑無(wú)閃爍的方式α混合其自身的靜態(tài)圖像數(shù)據(jù)(例如信道標(biāo)識(shí)或UI組件)和視頻。
VMR完全取決于計(jì)算機(jī)顯示卡的圖形處理能力；VMR不在主機(jī)處理器上混合或渲染任何視頻，因?yàn)檫@么做將顯著地影響正在顯示的視頻的幀速率和質(zhì)量。VMR提供的新的特點(diǎn)，尤其是多個(gè)視頻流和/或應(yīng)用圖像的混合，極大地取決于圖形卡的能力。與VMR表現(xiàn)良好的圖形卡具有下面的內(nèi)建硬件支持·支持YUV和“非2次冪”Direct3D紋理表面。
·從YUV到RGB DirectDraw表面的StretchBit能力。
·如果要混合多個(gè)視頻流，則至少16MB的視頻存儲(chǔ)器。所需存儲(chǔ)器的實(shí)際量取決于視頻流的圖像大小和顯示模式的分辨率。
·支持RGB交疊或混合為YUV交疊平面的能力。
·硬件加速視頻解碼(支持DirectX加速)。
·高像素填充率。
在我們的轉(zhuǎn)換軟件中，特別定制VMR無(wú)渲染模式來(lái)使軟件的能力和靈活性最大化，以便更好地操作控制參數(shù)。VMR無(wú)渲染模式針對(duì)定制渲染表面展示了定制分配器，并且針對(duì)定制渲染模式展示了定制渲染器。
在無(wú)渲染回放模式中，應(yīng)用程序·管理回放窗口。
·分配DirectDraw目標(biāo)和最終幀緩沖。
·將正在使用的DirectDraw目標(biāo)通知回放系統(tǒng)的其他部分。
·在適當(dāng)?shù)臅r(shí)間“呈現(xiàn)”幀緩沖·處理所有分辨率模式、監(jiān)視變化和“表面損失”-將這些事件告知回放系統(tǒng)的其他部分。
VMR·處理與呈現(xiàn)視頻幀相關(guān)的所有時(shí)序·將質(zhì)量控制信息提供給應(yīng)用程序以及回放系統(tǒng)的其他部分。
·向沒(méi)有意識(shí)到應(yīng)用程序正在執(zhí)行幀緩沖分配以及渲染的、回放系統(tǒng)的上行組件呈現(xiàn)一致的界面。
·執(zhí)行在渲染之前所需的任何視頻流混合。
基本地，轉(zhuǎn)換軟件調(diào)用VMR的各種功能并且定制DirectX表面，使其滿(mǎn)足針對(duì)正在進(jìn)行的流視頻的實(shí)時(shí)非線性圖像轉(zhuǎn)換的特定目的。特意地，只針對(duì)Windows XP利用VMR-7來(lái)編碼該軟件。具有VMR-9編碼移植的DirectX9使軟件與例如Windows 9x和Windows 2K以及Windows XP的其它操作系統(tǒng)兼容。
實(shí)時(shí)全景展開(kāi)軟件實(shí)時(shí)轉(zhuǎn)換軟件執(zhí)行具有幾何關(guān)系的Direct3D即時(shí)模式來(lái)符合任何透視法地將球面圖像變換到笛卡兒圖像。即時(shí)模式的管理方式是基于頂點(diǎn)、多邊形和控制其的命令。允許即時(shí)存取變換、照明和光柵3D圖形管道。圖像變換被應(yīng)用到圖元(primitive)，因此不存在來(lái)自其它界面的中間開(kāi)銷(xiāo)、和直接存取硬件功能。利用Nvidia GeForce、ATIRadeon和Intel low-profile VGA芯片來(lái)測(cè)試軟件。最終的編碼與多數(shù)視頻加速芯片和處理器兼容，因此可以被用于主要的硬件平臺(tái)。圖18示出了轉(zhuǎn)換軟件的圖形用戶(hù)界面(GUI)。圖19示出了GUI中的魚(yú)眼視頻。圖20示出了由球形魚(yú)眼圖像、按照全30幀/秒實(shí)時(shí)轉(zhuǎn)換出的相應(yīng)全景視頻?？梢?xún)?yōu)化展開(kāi)算法來(lái)減少幀邊緣附近的失真。圖21示出了播放器的增強(qiáng)功能。
下面的列表總結(jié)了播放器的能力和功能·通用回放能力(MPEG、AVI及更多)·位圖捕獲(右鍵點(diǎn)擊)·通過(guò)點(diǎn)擊圓上的三點(diǎn)來(lái)校準(zhǔn)(以紅色示出了圓)·針對(duì)非方形像素?cái)?shù)字轉(zhuǎn)換器的高寬比調(diào)整·改變360°全景觀測(cè)模式中的視圖的中心·變焦、平轉(zhuǎn)和傾斜-F1和F2用于放大和縮小-箭頭按鈕用于平轉(zhuǎn)和傾斜·狀態(tài)欄表示電影大小、捕獲設(shè)備、播放時(shí)間、電影和顯示器的分辨率、性能和視角·捕獲(以及DV)設(shè)備屬性。
以及性能參數(shù)是·全景和360°視圖具有抗混疊和各向異性濾波時(shí)為～30幀/秒·180°視圖具有抗混疊和各向異性濾波時(shí)～20幀/秒以上，取決于處理器以及視頻卡·視頻分辨率-全屏為2048×1536像素放射射線-追蹤(R2T)對(duì)于任意連續(xù)光學(xué)介質(zhì)，R2T產(chǎn)生如圖22所示從輸入面到輸出面的亮度(明亮度)的放射量的單值映射。
圖23a、23b和23c中示出了該過(guò)程，從環(huán)狀圖像(a)到失真的展開(kāi)圖像(b)、然后到校正的展開(kāi)圖像(c)。按照R2T從落地窗的失真(b)全景圖像變換到理想的(c)全景圖像，是基于現(xiàn)有射線追蹤，等效于從彎曲的坐標(biāo)系統(tǒng)變換到笛卡兒坐標(biāo)系統(tǒng)。為了實(shí)時(shí)執(zhí)行該操作，將120°水平觀測(cè)區(qū)域劃分為大量的像素塊，10×10或者更大，并且單獨(dú)針對(duì)每一個(gè)塊進(jìn)行均勻變換。
硬件加速傳統(tǒng)的全向視圖系統(tǒng)按照?qǐng)D像變換過(guò)程使用圖像來(lái)產(chǎn)生變換的(或展開(kāi)的)視頻，具有或沒(méi)有硬件加速。然而，逐個(gè)像素地完成傳統(tǒng)的變換(商用現(xiàn)貨供應(yīng)軟件)并且需要巨大的CPU能力來(lái)將球形或柱形圖像變換為笛卡兒或平面視像。本申請(qǐng)人解決該問(wèn)題的方法是加倍地增加性能(典型地大約比當(dāng)前市場(chǎng)中的現(xiàn)有軟件快～30倍)，并且仍然保持圖像或視頻的質(zhì)量。動(dòng)畫(huà)應(yīng)用程序需要巨大的處理能力用于操作圖像，因?yàn)樗麄儽仨毺峁┩敢晥D、變焦水平、漸變、渲染等的實(shí)時(shí)變換。多個(gè)相互競(jìng)爭(zhēng)的視頻卡制造商開(kāi)發(fā)出具有非常高的圖形性能的視頻卡(或圖形處理單元)的3D動(dòng)畫(huà)引擎，用于更好的游戲?？梢园l(fā)現(xiàn)使用這些GPU或3D引擎的高性能特點(diǎn)使得在全向視圖系統(tǒng)上實(shí)現(xiàn)實(shí)時(shí)視頻變換的實(shí)時(shí)性能成為可能。
本發(fā)明的軟件使用基于頂點(diǎn)的變換而不是逐個(gè)像素處理。每一個(gè)頂點(diǎn)包括坐標(biāo)、色彩和用于透視的像平面信息。單個(gè)圖像的頂點(diǎn)數(shù)目限制為65536，因?yàn)閷?duì)于多于65536的頂點(diǎn)沒(méi)有發(fā)現(xiàn)任何質(zhì)量改進(jìn)。將以下圖形處理單元(GPU)內(nèi)部功能用于硬件加速照明、幾何混合、α、用于失真校正的各向異性濾波或線性濾波、3D紋理、立體紋理、箝位、以及頂點(diǎn)和像素管道。
·照明提供詳細(xì)的亮度和光學(xué)校準(zhǔn)·幾何和頂點(diǎn)混合增加變換圖像的真實(shí)性·α混合提供特征并且向主要視頻繪制交疊·各向異性濾波通過(guò)使變換失真最小化來(lái)增加質(zhì)量·3D紋理使3D坐標(biāo)變換更容易·立體紋理用于在任何透視圖上的理想變換·箝位用于邊界外的圖像控制·頂點(diǎn)和像素管道使圖像操作的性能提高多個(gè)數(shù)量級(jí)總之，更具體地，在硬件或在GPU中完成色彩、線、點(diǎn)和透視圖改變的實(shí)際圖像操作。此外，還在硬件中與如頂點(diǎn)的3D操作等其它功能性沒(méi)有干擾地完成視頻呈現(xiàn)。唯一的CPU載入是根據(jù)控制方程計(jì)算頂點(diǎn)坐標(biāo)變化，例如，將球坐標(biāo)變換到笛卡兒坐標(biāo)。
軟件流程如圖24所示，軟件包括四個(gè)模塊1)視頻捕獲，2)圖像變換，3)作為圖像操作模塊呈現(xiàn)圖像，以及4)在視頻表面上渲染圖像。軟件提供多個(gè)視頻捕獲特點(diǎn)，例如DV捕獲、利用任何MicrosoftActiveMovie靈活性(16位)的視頻捕獲、利用WDM(視窗驅(qū)動(dòng)器模型-32位)驅(qū)動(dòng)器針對(duì)視頻流的視頻捕獲、以及可由視窗操作系統(tǒng)識(shí)別的第三方捕獲驅(qū)動(dòng)器。
視頻捕獲模塊通常為軟件引入了顯著的開(kāi)銷(xiāo)和資源。然而，提供適當(dāng)?shù)墓艿篮途彌_可以避免這些問(wèn)題。
圖像轉(zhuǎn)換模塊按照具有多線程(或超管道)的管道方式來(lái)轉(zhuǎn)換輸入位圖，因此在該過(guò)程期間保證了最小延遲。在該模塊中，微軟Direct3D和DirectX功能被用于圖像變換和視頻存儲(chǔ)器的操作。在圖元等級(jí)中而不是在應(yīng)用等級(jí)中完成圖像操作，因此具有最大的可編程性和靈活性。此外，性能的優(yōu)化是可能的，然而編碼是及其沉悶的，因?yàn)樾枰贑++、C和匯編語(yǔ)言中進(jìn)行編程。
呈現(xiàn)模塊負(fù)責(zé)準(zhǔn)備視頻、位圖捕獲、校準(zhǔn)(反饋到圖像轉(zhuǎn)換模塊)并且繪制圓形或在視頻頂部示出性能信息。
最后，渲染模塊極大地取決于硬件(視頻工具)并且主要通過(guò)使用Microsoft DirectShow的內(nèi)建功能來(lái)完成。該模塊將最終圖像流發(fā)送到視頻存儲(chǔ)器中。
圖24示出了當(dāng)前優(yōu)選實(shí)施例的實(shí)時(shí)全向視圖視頻軟件的整體軟件架構(gòu)。
全景測(cè)距儀基于反射鏡的全景全向成像器在垂直軸附近存在盲區(qū)(見(jiàn)圖25)。因此，可以沿相同垂直軸放置兩個(gè)這種成像器，一個(gè)在另一個(gè)之上，沒(méi)有任何共有的視場(chǎng)遮蔽。使用兩個(gè)這種成像器產(chǎn)生立體效果，并且提供根據(jù)視差角、測(cè)量獲得到物體的距離的能力(見(jiàn)圖26)。
具有變焦的全景成像器基于反射鏡的全景成像器按照兩個(gè)步驟形成圖像。在第一步驟中，將全向物體空間轉(zhuǎn)換到鏡子上的中間環(huán)形虛像(見(jiàn)圖27的圖像A’)。在第二步驟中，投影透鏡將中間虛像轉(zhuǎn)換為在接收面處的實(shí)像(見(jiàn)圖27的圖像A”)。區(qū)域0’0可以用于利用變焦能力來(lái)直接查看上部區(qū)域。圖28的額外透鏡(圖28的負(fù)變焦透鏡)在平面0’0處產(chǎn)生上部錐形物體區(qū)域的虛像。然后，投影透鏡填充區(qū)域0”0”，在接收面具有中間圖像的實(shí)像。
因此已經(jīng)公開(kāi)了優(yōu)選實(shí)施例來(lái)示出本發(fā)明的各種獨(dú)特特點(diǎn)，顯而易見(jiàn)的是，可以按照各種方式實(shí)現(xiàn)根據(jù)本發(fā)明的全景視頻系統(tǒng)，其中一些未必在此進(jìn)行說(shuō)明。因此，其范圍不局限于公開(kāi)的特定實(shí)施例，而是只由所附權(quán)利要求書(shū)及其等效物來(lái)定義。
權(quán)利要求
1.一種提供矩形格式的實(shí)時(shí)全景視頻圖像的方法；該方法包括步驟a)提供全景環(huán)狀透鏡系統(tǒng)來(lái)捕獲360°可視環(huán)狀圖像；b)將所述360°可視環(huán)狀圖像聚焦在攝像機(jī)像平面上；c)將從所述攝像機(jī)像平面輸出的數(shù)據(jù)信號(hào)發(fā)送到個(gè)人計(jì)算機(jī)；d)使用所述個(gè)人計(jì)算機(jī)來(lái)將所述環(huán)狀圖像展開(kāi)為至少30fps速率的、實(shí)質(zhì)上無(wú)失真的矩形圖像；以及e)在可視顯示器上呈現(xiàn)所述矩形圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中，在步驟a)提供所述全景環(huán)狀透鏡系統(tǒng)中包括步驟提供雙曲面透鏡和橢球面鏡。
3.根據(jù)權(quán)利要求1所述的方法，其中，在步驟b)提供所述攝像機(jī)中包括步驟提供CCD像平面。
4.根據(jù)權(quán)利要求1所述的方法，其中，在步驟b)提供所述攝像機(jī)中包括步驟提供CMOS像平面。
5.根據(jù)權(quán)利要求1所述的方法，其中，步驟d)包括步驟使用放射射線追蹤首先將所述環(huán)狀圖像變換為失真展開(kāi)圖像，并隨后將所述失真展開(kāi)圖像變換為無(wú)失真展開(kāi)圖像。
6.根據(jù)權(quán)利要求1所述的方法，其中，步驟d)包括步驟使用所述個(gè)人計(jì)算機(jī)的圖形處理單元來(lái)采用基于頂點(diǎn)的變換。
7.根據(jù)權(quán)利要求1所述的方法，其中，步驟d)包括步驟捕獲所述數(shù)據(jù)信號(hào)輸出；變換來(lái)自所述數(shù)據(jù)信號(hào)輸出的所述視頻圖像；操作所述變換后的視頻圖像；并且按照笛卡兒格式渲染所述圖像。
8.根據(jù)權(quán)利要求1所述的方法，其中，步驟d)包括步驟使用所述個(gè)人計(jì)算機(jī)的至少一個(gè)圖形卡來(lái)展開(kāi)所述環(huán)狀圖像。
9.一種提供矩形格式的實(shí)時(shí)全景視頻圖像的設(shè)備；該設(shè)備包括全景環(huán)狀透鏡系統(tǒng)，配置用于捕獲360°可視環(huán)狀圖像；攝像機(jī)，具有像平面，用于接收所述環(huán)狀圖像并且產(chǎn)生相應(yīng)的數(shù)據(jù)信號(hào)輸出；計(jì)算機(jī)，接收所述數(shù)據(jù)信號(hào)輸出；圖形卡和至少一個(gè)軟件模塊，位于所述計(jì)算機(jī)中，用于展開(kāi)所述數(shù)據(jù)信號(hào)輸出，從環(huán)狀圖像展開(kāi)到至少30fps速率的、實(shí)質(zhì)上無(wú)失真的矩形圖像；以及可視顯示器，用于顯示所述矩形圖像。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述全景環(huán)狀透鏡系統(tǒng)具有雙曲面透鏡和橢球面鏡。
11.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述攝像機(jī)具有CCD像平面。
12.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述攝像機(jī)具有CMOS像平面。
13.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述軟件模塊具有放射射線追蹤程序，首先將所述環(huán)狀圖像變換為失真展開(kāi)圖像，并隨后將所述失真展開(kāi)圖像變換為無(wú)失真展開(kāi)圖像。
14.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述軟件模塊具有基于頂點(diǎn)的變換程序，用于展開(kāi)所述環(huán)狀圖像。
15.根據(jù)權(quán)利要求9所述的設(shè)備，其中，還包括用于捕獲所述數(shù)據(jù)信號(hào)輸出的裝置；用于變換來(lái)自所述數(shù)據(jù)信號(hào)輸出的所述視頻圖像的裝置；用于操作所述變換后的視頻圖像的裝置；以及用于按照笛卡兒格式渲染所述圖像的裝置。
16.一種具有實(shí)時(shí)無(wú)失真成像的全景視頻系統(tǒng)；該系統(tǒng)包括全景光學(xué)系統(tǒng)，具有至少一個(gè)光學(xué)元件，用于查看360°視角并且在像平面上聚焦相應(yīng)的圖像；攝像機(jī)，在所述像平面處具有傳感元件，用于將所述圖像變換為相應(yīng)的視頻信號(hào)；計(jì)算機(jī)，接收所述視頻信號(hào)并且具有至少一個(gè)程序，用于以至少30fps速率配置所述圖像的實(shí)質(zhì)上無(wú)失真矩形顯示；以及監(jiān)視器，用于呈現(xiàn)所述顯示。
17.根據(jù)權(quán)利要求16所述的全景視頻系統(tǒng)，其中，所述光學(xué)系統(tǒng)的光學(xué)元件包括環(huán)狀元件，并且所述相應(yīng)圖像是所述360°視角的環(huán)狀圖像。
18.根據(jù)權(quán)利要求16所述的全景視頻系統(tǒng)，其中，所述攝像機(jī)包括CCD傳感元件。
19.根據(jù)權(quán)利要求16所述的全景視頻系統(tǒng)，其中，所述攝像機(jī)包括CMOS傳感元件。
20.根據(jù)權(quán)利要求16所述的全景視頻系統(tǒng)，其中，所述攝像機(jī)傳感元件具有至少1280×1024的像素分辨率。
21.根據(jù)權(quán)利要求16所述的全景視頻系統(tǒng)，其中，所述攝像機(jī)傳感元件具有至少720×480的像素分辨率。
22.根據(jù)權(quán)利要求16所述的全景視頻系統(tǒng)，所述計(jì)算機(jī)包括用于配置所述矩形顯示的至少一個(gè)圖形卡。
全文摘要
一種全景環(huán)狀透鏡系統(tǒng)(PAL)，單位攝像機(jī)和基于PC的軟件系統(tǒng)，將360°視頻圖像實(shí)時(shí)展開(kāi)為無(wú)縫、無(wú)失真水平圖像。優(yōu)選實(shí)施例的PAL系統(tǒng)在40mm直徑小型組件中具有360°水平視角以及90°垂直視角。本發(fā)明不局限于任意特定類(lèi)型的透鏡系統(tǒng)。實(shí)際上，存在用于提供360°全景視圖的各種透鏡系統(tǒng)。攝像機(jī)可以是具有1280×1024(高分辨率)或720×480(NTSC)像素分辨率的、基于CCD或CMOS的設(shè)備。展開(kāi)系統(tǒng)是使用計(jì)算機(jī)圖形卡能力而執(zhí)行的放射射線追蹤程序，在使軟件開(kāi)銷(xiāo)最小化的同時(shí)產(chǎn)生高效區(qū)域變換。結(jié)果是從球形失真圖像到笛卡兒坐標(biāo)中的平面全景圖像的實(shí)時(shí)、高分辨率30fps變換。
文檔編號(hào)H04N5/225GK1856991SQ200480018781
公開(kāi)日2006年11月1日 申請(qǐng)日期2004年7月2日 優(yōu)先權(quán)日2003年7月3日
發(fā)明者安德魯·A·科斯切夫斯基, 魯守康, 伊利亞·阿居羅克, 馬克·本納漢斯 申請(qǐng)人:物理光學(xué)公司