專利名稱：適用于無(wú)活動(dòng)機(jī)構(gòu)攝像機(jī)的圖像形成與處理裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及圖像監(jiān)視系統(tǒng)領(lǐng)域。更具體地，它涉及一個(gè)含有魚眼式鏡頭的圖像形成和處理裝置，其中魚眼式鏡頭大致具有半球形視場(chǎng)。該發(fā)明允許一個(gè)操作人員觀察由魚眼式鏡頭通過(guò)模仿一般鏡頭的掃視、俯仰運(yùn)動(dòng)或圖像放大所形成的圖像的一部分，就象一個(gè)一般鏡頭所形成的圖像一樣。這使得可以不使用鏡頭的活動(dòng)機(jī)構(gòu)來(lái)完成掃視、俯仰運(yùn)動(dòng)或圖像放大。
監(jiān)視攝像機(jī)一般用來(lái)監(jiān)視零售店、工廠、機(jī)場(chǎng)等區(qū)域。為了利用一個(gè)攝像機(jī)來(lái)監(jiān)視一個(gè)比較大的區(qū)域，攝像機(jī)一般具有進(jìn)行掃視、俯仰運(yùn)動(dòng)或圖像放大的機(jī)械機(jī)構(gòu)。這樣的機(jī)械機(jī)構(gòu)增加了攝像機(jī)的復(fù)雜程度，從而增加了其造價(jià)，而且使其可靠性受到了影響。由于活動(dòng)機(jī)構(gòu)的存在，機(jī)械掃視、俯仰運(yùn)動(dòng)或圖像放大裝置受由于溫度、濕度、灰塵極限引起的損壞和性能降低的影響。此外，這樣的機(jī)械系統(tǒng)相對(duì)要消耗大量的能量。因而能夠利用無(wú)活動(dòng)機(jī)構(gòu)的進(jìn)行掃視、俯仰運(yùn)動(dòng)或圖像放大的監(jiān)視攝像機(jī)可以具有明顯優(yōu)于目前存在的監(jiān)視攝像機(jī)的優(yōu)點(diǎn)。
在美國(guó)專利5185667中，Zimmermann提出這樣一種具有無(wú)活動(dòng)機(jī)構(gòu)的攝像機(jī)。在該專利詳細(xì)說(shuō)明的裝置中，一個(gè)魚眼式鏡頭與一個(gè)視頻攝像機(jī)相配合，使該攝像機(jī)產(chǎn)生一個(gè)電子圖像。由于魚眼式鏡頭的本身特性，該圖像失真。通過(guò)一種算法來(lái)修正圖像的失真。
由Zimmermann提出的系統(tǒng)的缺陷是該攝像機(jī)對(duì)有效的圖像放大無(wú)法提供足夠的分辨力。由于魚眼式鏡頭使整個(gè)半球形視場(chǎng)變形，其部分圖像，特別是在其周邊失真。在一個(gè)具有有限像素點(diǎn)數(shù)的電荷耦合器件(CCD)上形成該圖像。為了象一個(gè)正常圖像(無(wú)失真)一樣觀察圖像，必須將其進(jìn)行電子轉(zhuǎn)換。CCD的有限像素點(diǎn)數(shù)造成變換的圖像分辨很差。為了提供可以接受的分辨率，需要一個(gè)由156,000,000個(gè)像素組成的CCD。
可以得到的最好的CCD具有大約16,000,000(4,000×4,000)個(gè)像素，并且它工作在10MHz的時(shí)鐘速率。然而，為了滿足NTSC每秒30個(gè)采樣點(diǎn)的采樣率，需要一個(gè)480MHz的時(shí)鐘速率。因此，利用目前的技術(shù)無(wú)法實(shí)現(xiàn)一個(gè)所希望放大倍率的NTSC畫面所要求的分辨率。
在美國(guó)專利5,200,818中，Neta等描述了一個(gè)通過(guò)安裝在一般的半球形表面上的多個(gè)傳感器陣列來(lái)監(jiān)視寬闊視野的系統(tǒng)。每個(gè)傳感器陣列具有自己的鏡頭系統(tǒng)。這使得可以不需要活動(dòng)機(jī)構(gòu)實(shí)現(xiàn)掃視、俯仰運(yùn)動(dòng)或圖像放大來(lái)監(jiān)視一個(gè)寬闊視場(chǎng)。由于多個(gè)陣列的原因，系統(tǒng)具有相對(duì)較高的分辨率。然而，Neta等描述的這樣一個(gè)系統(tǒng)由于需要許多高性能的器件，在實(shí)現(xiàn)起來(lái)的造價(jià)昂貴。
本發(fā)明的一個(gè)目的是提供一個(gè)監(jiān)視攝像機(jī)裝置，它基本具有半球形視場(chǎng)，能夠不使用鏡頭的活動(dòng)機(jī)構(gòu)來(lái)完成掃視、俯仰運(yùn)動(dòng)或圖像放大，而同時(shí)對(duì)所要求的圖像放大倍率仍具有足夠的分辨率。
本發(fā)明的另外一個(gè)目的是提供一個(gè)大致具有半球形視場(chǎng)的監(jiān)視攝像機(jī)裝置，允許一個(gè)操作人員觀察整個(gè)視場(chǎng)的各個(gè)部分，如同一個(gè)一般鏡頭所獲取的一樣，并能夠進(jìn)行掃視、俯仰運(yùn)動(dòng)或圖像放大。
通過(guò)下面說(shuō)明的發(fā)明可以實(shí)現(xiàn)諸如此類的優(yōu)點(diǎn)。
本發(fā)明是一個(gè)包括下列步驟的視頻監(jiān)視方法。一個(gè)具有圖像平面和一個(gè)魚眼式鏡頭的視頻攝像機(jī)。魚眼式鏡頭具有表示由魚眼式鏡頭造成的失真的鏡頭常數(shù)、一個(gè)主軸和一個(gè)大致半球形視場(chǎng)。攝像機(jī)具有一個(gè)主軸通過(guò)其中心點(diǎn)的圖像平面。攝像機(jī)安裝在一個(gè)垂直于監(jiān)視平面之上的一個(gè)安裝點(diǎn)上，這樣魚眼式鏡頭的主軸大致垂直于監(jiān)視平面。視頻攝像機(jī)形成一個(gè)由魚眼式鏡頭造成失真的魚眼式圖像。魚眼式圖像由許多像素組成，每個(gè)像素具有唯一的魚眼式圖像坐標(biāo)。
通過(guò)模仿一個(gè)具有一個(gè)虛擬軸的虛擬攝像機(jī)提供正確的目標(biāo)坐標(biāo)來(lái)產(chǎn)生視場(chǎng)中的子區(qū)域的修正圖像。虛擬軸通過(guò)中心點(diǎn)，及以一定的掃視、俯仰運(yùn)動(dòng)角位于視場(chǎng)中的目標(biāo)。監(jiān)視人員選擇魚眼式圖像的某個(gè)區(qū)域，該區(qū)域包括魚眼式圖像的像素的一個(gè)子集。子集的每個(gè)像素以角b偏移所述特定掃視角。
通過(guò)包括鏡頭常數(shù)、特定俯仰運(yùn)動(dòng)角和角b的公式確定像素子集的每個(gè)像素的魚眼式坐標(biāo)。通過(guò)將像素的子集映射到正常的坐標(biāo)上形成子區(qū)域的校正圖像。


圖1是一個(gè)實(shí)現(xiàn)該發(fā)明的一個(gè)方框圖；圖2A是一個(gè)表示一個(gè)失真魚眼式圖像的魚眼式鏡頭的圖像平面的平面圖；圖2B是一個(gè)使用本發(fā)明糾正的魚眼式圖像的選擇部分的示意圖；圖3是一個(gè)本發(fā)明的圖像分離器的透視圖；圖4是一個(gè)圖像分離器中的光纖束的透視圖；圖5是一個(gè)本發(fā)明的魚眼式失真糾正系統(tǒng)的方框圖；圖6是一個(gè)說(shuō)明由于魚眼式失真造成的點(diǎn)C以俯仰角b投射到圖像平面的Y軸上的示意圖；圖7是一個(gè)說(shuō)明點(diǎn)C投射到圖像平面的圖像平面X-Y的示意圖，而圖8是一個(gè)說(shuō)明魚眼式鏡頭的主軸、掃視并俯仰運(yùn)動(dòng)指向點(diǎn)C的虛擬相機(jī)的主軸的三維示意圖。
下面是對(duì)本發(fā)明的優(yōu)先實(shí)施方案的說(shuō)明。目的在于對(duì)本發(fā)明加以示例說(shuō)明而不是加以限制。本發(fā)明的范圍將在附加的權(quán)限聲明和與它們類似的范圍內(nèi)加以限定。
本發(fā)明以方框圖的形式示于圖1。一般地，該發(fā)明用于諸如倉(cāng)庫(kù)、商店、公共汽車或火車站等場(chǎng)所的監(jiān)視。為此，系統(tǒng)10具有一個(gè)大致半球形視場(chǎng)的鏡頭20，例如一個(gè)魚眼式鏡頭。優(yōu)選的鏡頭是具有180度的方位視場(chǎng)、90度的天頂視場(chǎng)和一個(gè)無(wú)限深視場(chǎng)的鏡頭。這可以得到大致的半球形視場(chǎng)。優(yōu)選的鏡頭是商業(yè)上可以得到的等距魚眼式鏡頭，焦距為1.9mm，光圈的f指數(shù)為1.8。鏡頭20具有一個(gè)主軸Z，并且在圖像平面13上形成一個(gè)圓形圖像。
由于鏡頭20的特性，圖像14失真。特別地，在圖像14中的目標(biāo)位向相對(duì)于他們的真正位向發(fā)生變化。例如，鏡頭20(見圖8)的視場(chǎng)中的目標(biāo)11在圖像14的周圍出現(xiàn)失真，如圖2所示。
根據(jù)所要求的分辨率和可獲得的技術(shù)，圖像14最好經(jīng)分離器30分解為四個(gè)分量。當(dāng)圖像14被分解為四個(gè)分量時(shí)，每個(gè)分量各自含有一個(gè)由四分之一圓形圖像組成的圖像15、16、17或18。(見圖2)。分離器30由四個(gè)光導(dǎo)線管25、26、27和28組成。光導(dǎo)線管25、26、27和28分別含有相干的光纖束35、36、37和38(見圖4)。這樣，圖像15、16、17和18分別由光纖束35、36、37和38載入光導(dǎo)線管25、26、27和28。
在圖3和圖4中更為詳細(xì)地示出了分離器30。分離器30由與光導(dǎo)線管25、26、27和28相連的屏蔽套32組成。光纖束35、36、37和38從一個(gè)主光纖束分離開，分別裝在光導(dǎo)線管25、26、27和28中，主光纖束以磨光的表面終止于圖像平面13。見圖4。光纖束35、36、37和38各由多根光纖組成。每個(gè)光纖載有由魚眼式鏡頭形成的圖像的采樣信號(hào)，并具有大約10微米的直徑。
圖像15、16、17和18分別沿著各個(gè)光導(dǎo)線管25、26、27和28傳播，并且分別照射到傳感器45、46、47和48上。傳感器45、46、47和48是具有光纖光學(xué)窗口的768×480的CCD，光纖光學(xué)窗口由一個(gè)光纖光學(xué)面板形成，使得CCD與光纖可以直接耦合?？梢詮穆橹菟固乇と鹬?Sturbridge)的加俐略光電公司的CP系列中得到合適的光纖光學(xué)面板。圖像15、16、17和18分別被傳感器轉(zhuǎn)變?yōu)殡娦盘?hào)55、56、57和58。
將電信號(hào)55、56、57和58饋入CCD控制處理器60中，由四個(gè)同樣流行的視頻攝像機(jī)傳感器圖像控制器65、66、67和68組成控制處理器60，控制器65、66、67和68分別與電信號(hào)55、56、57和58一一對(duì)應(yīng)。每個(gè)控制處理器含有一個(gè)定時(shí)電路72、一個(gè)視頻處理電路74和一個(gè)色空間變換器76。色空間變換器76為每個(gè)信號(hào)55、56、57和58產(chǎn)生彩色和亮度信號(hào)Cr、Cb和Y。
控制處理器65、66、67和68分別以適于編碼器100壓縮的亮度和彩色分量的形式產(chǎn)生視頻輸出85、86、87和88。對(duì)視頻信號(hào)85、86、87和88的壓縮使得可以在有限帶寬的信道中傳播大量的圖像采樣信號(hào)。因此如果鏡頭遠(yuǎn)距于校準(zhǔn)電路140，對(duì)視頻輸出信號(hào)壓縮。編碼器100根據(jù)某種壓縮原理，如MPEG或H.261，將視頻信號(hào)85、86、87和88進(jìn)行壓縮。此外，可以使用子帶編碼原理。為了在高速網(wǎng)絡(luò)110上，例如同軸電纜或光纖上傳輸，編碼器100將視頻信號(hào)變?yōu)榇袛?shù)據(jù)流。壓縮的視頻信號(hào)由進(jìn)行與編碼器100相反變換的解碼器120接收。
解碼器120產(chǎn)生一個(gè)饋到校準(zhǔn)電路140的解碼視頻信號(hào)130。校準(zhǔn)電路140的目的是校準(zhǔn)由魚眼式鏡頭造成的失真。根據(jù)下面說(shuō)明的算法進(jìn)行校準(zhǔn)。校準(zhǔn)電路140產(chǎn)生一個(gè)在顯示器160上顯示的校準(zhǔn)信號(hào)150。
下面是對(duì)用于校準(zhǔn)圖像14的魚眼式失真的系統(tǒng)的說(shuō)明。為簡(jiǎn)單起見，假定整個(gè)魚眼式圖像14形成在一個(gè)CCD180的表面上，并且沒(méi)有使用分離器。CCD有X和Y軸。鏡頭20裝在垂直于監(jiān)視平面19的安裝點(diǎn)17上，最好使主軸Z垂直于監(jiān)視平面19。監(jiān)視平面19是房間15的地面。安裝點(diǎn)17在房間15的屋頂上。X、Y、Z軸相交于CCD180的表面的中心點(diǎn)I。CCD180的表面形成平行于監(jiān)視平面19的圖像平面。
將攝像機(jī)和魚眼式鏡頭安裝在監(jiān)視視場(chǎng)的上方(例如在屋頂，而不是在墻上)具有以下一些優(yōu)點(diǎn)。首先，攝像機(jī)在屋頂時(shí)，視場(chǎng)可以覆蓋整個(gè)360度的范圍。這使得可以進(jìn)行360度的掃視模擬，而勝于由于墻的存在造成的掃視限制范圍。在將鏡頭安裝在屋頂?shù)那闆r下，虛擬(仿真)掃視軸是魚眼式鏡頭的主軸Z，而不是安裝在墻上的情況下垂直于主軸的虛擬軸。關(guān)于主軸Z的角從目標(biāo)到圖像保持不變。這便于極坐標(biāo)的計(jì)算，因?yàn)閽咭曒S已是極坐標(biāo)的形式，不再需要進(jìn)行坐標(biāo)轉(zhuǎn)換。
當(dāng)在監(jiān)視器20上監(jiān)視任何目標(biāo)時(shí)，圖像的垂直中心線與圖像平面的中心線I相交。鏡頭的主軸Z穿過(guò)這個(gè)中心點(diǎn)。因此就沒(méi)有必要將圖像旋轉(zhuǎn)，以在正確的位向上觀察它們。在美國(guó)專利5,185,667中提出的校準(zhǔn)算法中，圖像的旋轉(zhuǎn)是單獨(dú)計(jì)算的。根據(jù)本發(fā)明，這樣的單獨(dú)計(jì)算就沒(méi)有必要。
當(dāng)鏡頭放置在墻上時(shí)，所感興趣的目標(biāo)和很遠(yuǎn)處的目標(biāo)勢(shì)必會(huì)位于魚眼式圖像的中心。需要最大的分辨率來(lái)觀察這些目標(biāo)的細(xì)節(jié)。當(dāng)魚眼式鏡頭垂直安裝在監(jiān)視平面的上方時(shí)，處于中心的目標(biāo)總是最靠近鏡頭。對(duì)這些目標(biāo)的觀察不要求高分辨率，而且這些目標(biāo)失真最小。遠(yuǎn)離鏡頭的目標(biāo)出現(xiàn)在魚眼式圖像的周圍。然而，由魚眼式鏡頭形成的圖像的中心部分比周圍部分具有高的密度，因此也具有較低CCD圖像分辨率?？紤]具有半徑為R的魚眼式圖像的一部分。在形成圖像的CCD中像素的密度是均勻的。沿著通過(guò)CCD中心的直線，圖像擴(kuò)展為2R個(gè)像素。在圖像的周圍的圖像比出現(xiàn)在圖像中心的目標(biāo)擴(kuò)展了πR(周長(zhǎng)的一半)-π/2個(gè)像素。因此，將鏡頭垂直安裝于監(jiān)視面的上方可以提供比將鏡頭垂直于監(jiān)視面安裝更高的分辨率。
下面的說(shuō)明將參照?qǐng)D5。魚眼式鏡頭20具有一個(gè)覆蓋區(qū)域?yàn)锳的180度的視場(chǎng)。利用安裝在房間15的屋頂上的鏡頭20，區(qū)域A包括地面和房間的墻。魚眼式鏡頭在圖像平面13上形成區(qū)域A的魚眼式圖像Ad。由唯一的坐標(biāo)(x；y)來(lái)表示的區(qū)域A的任一點(diǎn)，根據(jù)魚眼式鏡頭20的特點(diǎn)被偏移到魚眼式圖像的點(diǎn)(xd；yd)。圖像平面13(CCD的表面)由一個(gè)包括許多像素182的矩陣組成。每個(gè)像素具有唯一的魚眼式坐標(biāo)。因此CCD產(chǎn)生一個(gè)區(qū)域A的電信號(hào)。將這個(gè)電信號(hào)饋于產(chǎn)生彩色和亮度值的CCD控制處理器250(類似于控制處理器60)中，CCD控制處理器250為CCD180中的每一個(gè)像素產(chǎn)生彩色和亮度值。這些顏色和亮度值儲(chǔ)存在雙端口圖像存儲(chǔ)器(DPIM)200中。本發(fā)明使得使用者可以對(duì)魚眼式圖像進(jìn)行電處理，以便實(shí)現(xiàn)掃視、俯仰運(yùn)動(dòng)和圖像放大。因此可以通過(guò)將區(qū)域Ad的子區(qū)域αd從失真魚眼式圖像變換到一個(gè)正常圖像來(lái)觀察區(qū)域A的一個(gè)子區(qū)域。
當(dāng)系統(tǒng)開機(jī)時(shí)，在監(jiān)視器240上出現(xiàn)一個(gè)缺省的校準(zhǔn)子區(qū)域αc。使用者通過(guò)區(qū)域選擇單元210(一個(gè)具有鍵盤和定向裝置的控制工作站)選擇子區(qū)域α。這可以通過(guò)使用定向裝置214來(lái)模擬虛擬傳統(tǒng)攝像機(jī)的掃視和俯仰運(yùn)動(dòng)來(lái)完成。監(jiān)視器240上的圖像如同是由傳統(tǒng)的攝像機(jī)形成的。實(shí)際上，它是通過(guò)魚眼式圖像14部分的校準(zhǔn)來(lái)形成的。子區(qū)域α的選擇提供了一個(gè)位于子區(qū)域α的目標(biāo)的正確(非魚眼式)坐標(biāo)。該操作模仿了虛擬傳統(tǒng)攝像機(jī)主軸(圖8中IC)的目標(biāo)定位。虛擬攝像機(jī)安裝在安裝點(diǎn)17上，其主軸IC通過(guò)中心點(diǎn)I，并通過(guò)子區(qū)域α的中心。通過(guò)輸入裝置214使子區(qū)域α出現(xiàn)在監(jiān)視器的上的虛擬攝像機(jī)的定位，也導(dǎo)致區(qū)域選擇器210產(chǎn)生一個(gè)掃視和俯仰角，這伴隨著虛擬攝像機(jī)定位于虛擬掃視和俯仰角，使得它指向在子區(qū)域α的目標(biāo)。
當(dāng)用戶選擇子區(qū)域α?xí)r，系統(tǒng)自動(dòng)αd(區(qū)域α的失真魚眼式圖像)轉(zhuǎn)換為校準(zhǔn)圖像αc。這使用戶可在監(jiān)視器240上觀察子區(qū)域α，如同它是由已進(jìn)行掃視和俯仰指向子區(qū)域α形成的一樣。
將魚眼式圖像Ad的各個(gè)像素以CCD180產(chǎn)生的亮度和顏色數(shù)據(jù)的形式，通過(guò)控制處理器250儲(chǔ)存在DPIM200中的一個(gè)唯一地址上。因此DPIM200含有區(qū)域A的失真魚眼式圖像Ad的數(shù)字電信號(hào)。對(duì)于區(qū)域A的任何一個(gè)子區(qū)域α，DPIM200含有一個(gè)相應(yīng)于失真子區(qū)域αd的電信號(hào)。
圖像平面13是由如圖6、7和8中的X、Y軸形成的平面。鏡頭20的主軸Z垂直于X、Y軸。如果一個(gè)用戶希望用虛擬非魚眼式鏡頭攝像機(jī)詳細(xì)地觀察位于中心點(diǎn)C的區(qū)域(例如圖2B中所示的子區(qū)域α)，用戶將指令攝像機(jī)相對(duì)于主軸Z轉(zhuǎn)角b。這樣做將改變虛擬攝像機(jī)的位向，使得虛擬主軸(中心線IC)通過(guò)圖像平面13的中心點(diǎn)，并通過(guò)點(diǎn)C。
一旦由虛擬傳統(tǒng)攝像機(jī)捕獲，區(qū)域α將作為一個(gè)中心位于行320、并由水平行的大量像素310組成的圖像300出現(xiàn)在CCD180。(見圖2A)。在特定行上的每一個(gè)像素，以特定的距離x從中心行320偏移。該距離相應(yīng)于一個(gè)相對(duì)于中心線IC(見圖8)的角a或關(guān)于主軸Z的角a′。
圖像14的每個(gè)像素可以由一組直角或極坐標(biāo)來(lái)表示。因此，參照?qǐng)D7和圖8，在中心線IC上的點(diǎn)C的像素可以根據(jù)以俯仰運(yùn)動(dòng)角b(見圖6)和角a--像素偏離中心的量(對(duì)于點(diǎn)C，a等于零，因?yàn)閏位于X軸)的極坐標(biāo)來(lái)定位。同樣地，沿著CCD180的水平線運(yùn)動(dòng)(例如平行于Y軸)，點(diǎn)S的像素可以根據(jù)相對(duì)于主軸Z的俯仰運(yùn)動(dòng)角b′和相對(duì)于中心線IC的掃視角a′來(lái)描述。相應(yīng)的直角坐標(biāo)為xd和yd。
再次參照?qǐng)D2A，可以看出，由于魚眼式鏡頭自身的特點(diǎn)，魚眼式圖像失真。位于靠近魚眼式鏡頭20的主軸的目標(biāo)出現(xiàn)在CCD180上基本是正常的(見區(qū)域182)，而遠(yuǎn)離主軸的目標(biāo)逐漸變得更加失真(見區(qū)域184)。由位于非魚眼式圖像點(diǎn)(x；y)的像素帶有的信息在魚眼式圖像中位于點(diǎn)(xd，yd)，其中(xd，yd)以取決于魚眼式鏡頭20的特性的量從(x，y)偏移。
魚眼式鏡頭的一個(gè)基本特性是，位于相對(duì)于主軸的旋轉(zhuǎn)角b′處的點(diǎn)的圖像根據(jù)下列公式將從主軸投射到圖像平面上的半徑rr＝f.b′其中r是距中心點(diǎn)I的距離；f是以mm/弧度為單位表示的由魚眼式鏡頭造成的失真的鏡頭常數(shù)，而b′是從目標(biāo)到主軸的光線的入射角(單位為弧度)。
從視場(chǎng)中的一個(gè)點(diǎn)到它在圖像平面的投影之間的角度保持不變也是魚眼式鏡頭的一個(gè)基本特性。
這兩個(gè)特性用來(lái)推導(dǎo)一個(gè)新的公式，使得可以如同在一個(gè)視場(chǎng)中感興趣的區(qū)域由傳統(tǒng)的攝像機(jī)掃視、俯仰或圖像放大形成一樣觀察魚眼式圖像的選擇部分。這個(gè)公式將上面描述的虛擬攝像機(jī)的掃視和俯仰角與校準(zhǔn)圖像的直角坐標(biāo)聯(lián)系起來(lái)。下面是如何推導(dǎo)公式和用來(lái)實(shí)現(xiàn)本發(fā)明的目的的描述。
從圖6中可以看出，位于相對(duì)于鏡頭的主軸的俯仰運(yùn)動(dòng)角b處的點(diǎn)C在圖像平面IP的距中心點(diǎn)I的半徑r＝rc處形成圖像。如上所指出的，對(duì)一個(gè)特定的魚眼式鏡頭，俯仰運(yùn)動(dòng)角b和形成點(diǎn)C圖像的半徑之間的關(guān)系是r＝f.b…(1)在圖8中，點(diǎn)C位于y、z軸形成的平面上，并且相對(duì)于主軸的傾角為b。取從圖像平面的中心I到點(diǎn)C的直線IC作為指向點(diǎn)C的虛擬攝像機(jī)鏡頭的主軸。線CS從點(diǎn)C延伸到點(diǎn)S。CS平行于X軸。因此CS代表CCD180中的像素水平線?？紤]在S的一個(gè)像素，它與I有一個(gè)特定的徑向距離r，位于CCD的中心，關(guān)于虛擬攝像機(jī)鏡頭的主軸的掃視角為a′，相對(duì)于魚眼式鏡頭的主軸的俯仰運(yùn)動(dòng)角為b′。該像素的直角坐標(biāo)為x＝f.b′.cos(a′)..(2)y＝f.b′.sin(a′)..(3)公式(2)和(3)將形成在CCD的魚眼式圖像的任一像素的極坐標(biāo)轉(zhuǎn)化為直角坐標(biāo)。點(diǎn)S的像素可以通過(guò)參照俯仰運(yùn)動(dòng)角b′(一個(gè)從偏離主軸Z計(jì)量的角)和掃視角a′(圍繞主軸的旋轉(zhuǎn)角)而定位。
當(dāng)系統(tǒng)開機(jī)時(shí)，對(duì)應(yīng)于虛擬攝像機(jī)指向的初始區(qū)域，將顯示一個(gè)缺省區(qū)域。為方便起見，該區(qū)域位于主軸Z上(因此俯仰運(yùn)動(dòng)角b為零)。掃視角也為零(即線IC位于X軸上)。然后，虛擬攝像機(jī)(其鏡頭的主軸位于線IC)以相對(duì)于魚眼式鏡頭的主軸z的俯仰運(yùn)動(dòng)角b傾斜，使得它指向位于中心C的一個(gè)目標(biāo)。為了使得校準(zhǔn)系統(tǒng)的操作對(duì)于用戶來(lái)講比較明了，相對(duì)于虛擬攝像機(jī)的初始位置來(lái)測(cè)量掃視運(yùn)動(dòng)和俯仰運(yùn)動(dòng)運(yùn)動(dòng)。因此，表示點(diǎn)S的像素的位置將用俯仰運(yùn)動(dòng)角b和S與中心線IC之間的角——角a(從中心線IC到點(diǎn)S的掃視量)來(lái)表示。
下面是對(duì)代表魚眼式圖像中點(diǎn)S的像素的位置可以由角a-距中心線的偏置和角b-虛擬正常攝像機(jī)的俯仰運(yùn)動(dòng)角來(lái)描述的方法的說(shuō)明，虛擬攝像機(jī)可以掃視和俯仰運(yùn)動(dòng)，使其主軸與點(diǎn)C一致。
參照?qǐng)D8，可以看出
tan(a′)＝SC/PCSC＝IS.sin(a)PC＝IC.sin(b)IC＝IS.cos(a)因此，tan(a′)＝IS.sin(a)/IS.cos(a).sin(b)＝tan(a)/sin(b)a′＝tan-1(tan(a)/sin(b))..(4)cos(b′)＝IP/ISIP＝IC.cos(b)IC＝IS.cos(a)因此cos(b′)＝IS.cos(a).cos(b)/IS＝cos(a).cos(b)b′＝cos-1(cos(a).cos(b)) ..(5)由式(2)和(3)，對(duì)于一個(gè)給定的魚眼式鏡頭，Xd＝fb′cos(a′)，而Yd＝fb′sin(a′)。將a′和b′值由式(4)和(5)帶入式(2)和(3)Xd＝f.cos-1(cos(a).cos(b)).cos(tan-1(tan(a)/sin(b))) ..(6)Yd＝f.cos-1(cos(a).cos(b)).sin(tan-1(tan(a)/sin(b))) ..(7)這些公式使得可以根據(jù)以虛擬攝像機(jī)的俯仰運(yùn)動(dòng)角b(距魚眼式圖像的中心的點(diǎn)的距離的計(jì)量)和相對(duì)于中心線IC的像素的角a的形式的角坐標(biāo)知識(shí)計(jì)算位于中心線IC周圍的像素的坐標(biāo)。這個(gè)公式給出了一個(gè)非常簡(jiǎn)單的由魚眼式鏡頭實(shí)現(xiàn)掃視、俯仰運(yùn)動(dòng)和圖像放大的方法。
為了實(shí)現(xiàn)虛擬攝像機(jī)的掃視，掃視角P加以角a′，以形成一個(gè)新的角度a″。這樣，a″＝a′+P。
將其代入式(4)，得到a″＝P+tan-1(tan(a)/sin(b)) ..(8)將式(8)代入式(6)和(7)Xd＝f.cos-1(cos(a).cos(b)).cos(P+tan-1(tan(a)/sin(b)) ..(9)Yd＝f.cos-1(cos(a).cos(b)).sin(P+tan-1(tan(a)/sin(b)) ..(10)當(dāng)驅(qū)動(dòng)定位裝置214來(lái)仿真虛擬攝像機(jī)的掃視和/或俯仰運(yùn)動(dòng)時(shí)，由區(qū)域選擇單元210產(chǎn)生子區(qū)域的像素的每一行的像素的直角坐標(biāo)，并存在查表式表格(LUT)222中。通過(guò)利用式(9)和(10)，系統(tǒng)也自動(dòng)計(jì)算魚眼式圖像的坐標(biāo)(Xd；Yd)。如在DPIM200中提到的一樣，對(duì)于子區(qū)域α中的每一組正常坐標(biāo)(X；Y)，計(jì)算的坐標(biāo)(Xd；Yd)存在LUT222中。
對(duì)魚眼式圖像的所有坐標(biāo)可以預(yù)先進(jìn)行計(jì)算，或僅需當(dāng)某區(qū)域被選擇時(shí)對(duì)特定區(qū)域進(jìn)行計(jì)算。在每種情況下，將坐標(biāo)儲(chǔ)存在LUT222中，并且將相應(yīng)的像素儲(chǔ)存在DPIM200中。這使得對(duì)應(yīng)于那些計(jì)算所得的坐標(biāo)的像素可以從CCD180取得。然后將取得的像素顯示在監(jiān)視器240的位置(X；Y)處，就如同已由一個(gè)正常的攝像機(jī)的掃視和俯仰運(yùn)動(dòng)在坐標(biāo)(X；Y)形成圖像一樣。
可以通過(guò)改變角的數(shù)值實(shí)現(xiàn)圖像放大當(dāng)計(jì)算LUT222的內(nèi)容時(shí)，在像素之間增加角a，在行之間增加b。例如，如果在一個(gè)水平顯示行中有400個(gè)像素，而對(duì)左邊的顯示以0.1度的步長(zhǎng)從-20度遞增a，這樣將得到一個(gè)40度的水平視場(chǎng)。同樣，為顯示保持標(biāo)準(zhǔn)顯示4∶3的高寬比的30度的垂直視場(chǎng)，通過(guò)在每個(gè)顯示行之間以0.062度增加b，可以得到483個(gè)顯示行。
LUT222和DPIM200中的內(nèi)容表示在下表中表一
H＝顯示處理器中每行的像素的數(shù)目通過(guò)在DPIM200中保留多個(gè)圖像可以儲(chǔ)存過(guò)去的記錄圖像。當(dāng)超出存儲(chǔ)空間時(shí)，最早的圖像被當(dāng)前的圖像覆蓋，因此在一個(gè)預(yù)定的時(shí)間周期內(nèi)可保留一個(gè)產(chǎn)生的循環(huán)記錄圖像。因此，通過(guò)由魚眼式地址發(fā)生器在DPIM200中適當(dāng)?shù)剡x擇一個(gè)地址，在預(yù)先確定的時(shí)間間隔內(nèi)可以顯示當(dāng)出現(xiàn)警示事件(例如一個(gè)企圖進(jìn)入監(jiān)視場(chǎng)所并觸發(fā)了傳感器的入侵者)時(shí)捕獲的圖像。
利用360度的圖像，該系統(tǒng)可以不借助于任何移動(dòng)部分實(shí)現(xiàn)掃視和俯仰運(yùn)動(dòng)操作。這在增加了系統(tǒng)的可靠性的同時(shí)，限制了制造和維護(hù)的費(fèi)用。該發(fā)明從而可以通過(guò)覆蓋寬視場(chǎng)的單攝像機(jī)進(jìn)行大區(qū)域的監(jiān)視。
權(quán)利要求
1 一個(gè)包括如下步驟的視頻監(jiān)視方法安裝具有一個(gè)圖像平面和魚眼式鏡頭的視頻攝像機(jī)，魚眼式鏡頭具有一個(gè)表示由于魚眼式鏡頭引起的失真的鏡頭常數(shù)、一個(gè)主軸，并基本具有半球形視場(chǎng)，攝像機(jī)具有一個(gè)圖像平面，圖像平面具有一個(gè)主軸通過(guò)的中心點(diǎn)；將攝像機(jī)安裝在垂直于監(jiān)視平面的上方的安裝點(diǎn)上，使得魚眼式鏡頭的主軸基本垂直于監(jiān)視平面；使視頻攝像機(jī)形成一個(gè)魚眼式圖像，魚眼式圖像由于魚眼式鏡頭造成失真，并包括許多像素，每個(gè)像素具有唯一的魚眼式坐標(biāo)；由以下步驟產(chǎn)生視場(chǎng)中的子區(qū)域的校準(zhǔn)圖像通過(guò)仿真虛擬攝像機(jī)提供視場(chǎng)中的目標(biāo)的角坐標(biāo)，虛擬攝像機(jī)具有虛擬軸，使得虛擬軸通過(guò)中心點(diǎn)和視場(chǎng)中在特定的掃視和俯仰運(yùn)動(dòng)角處的目標(biāo)；選擇魚眼式圖像的某個(gè)區(qū)域，其中該區(qū)域包括許多像素的一個(gè)子集，子集的每個(gè)像素以一定的角度a偏離所述特定的掃視角；通過(guò)包括鏡頭常數(shù)、所述特定俯仰運(yùn)動(dòng)角和角a的公式來(lái)確定多個(gè)像素的子集中的每個(gè)像素的唯一坐標(biāo)；將多個(gè)像素的子集中的像素映射成正常的坐標(biāo)，從而形成子區(qū)域的校準(zhǔn)圖像；
2 權(quán)利要求1中的方法，其中相對(duì)于魚眼式鏡頭的主軸取所述特定的俯仰運(yùn)動(dòng)角；
3 權(quán)利要求1中的方法，其中相對(duì)于一個(gè)相對(duì)于主軸的預(yù)先掃視角取特定的掃視角；
4 權(quán)利要求1中的方法，其中將子集的像素映射成正常的坐標(biāo)包括如下的步驟提供一個(gè)含有根據(jù)公式預(yù)先計(jì)算得到的坐標(biāo)的集合的查表式表，使得所述多個(gè)像素的子集的每一個(gè)像素有一組對(duì)應(yīng)的角坐標(biāo)，并且使得對(duì)于每一組角坐標(biāo)有一組相應(yīng)的預(yù)先計(jì)算的像素坐標(biāo)；將角坐標(biāo)提供給查表式表，作為響應(yīng)，使查表式表輸出一個(gè)預(yù)先計(jì)算的像素坐標(biāo)；
5 權(quán)利要求4中的方法，還包括以下步驟將所述多個(gè)像素儲(chǔ)存在一圖像存儲(chǔ)器中的相應(yīng)于預(yù)先計(jì)算的坐標(biāo)的地址處，提供給圖像存儲(chǔ)器預(yù)先計(jì)算的坐標(biāo)，并接收所述許多像素的子集中的像素作為從圖像存儲(chǔ)器的輸出。
6 權(quán)利要求1中的方法，其中提供所述目標(biāo)角坐標(biāo)的步驟包括通過(guò)用戶輸入接收特定掃視和俯仰運(yùn)動(dòng)角的步驟。
7 權(quán)利要求1中的方法，其中角坐標(biāo)是極坐標(biāo)，并且還包括將極坐標(biāo)轉(zhuǎn)換為特定掃視和俯仰運(yùn)動(dòng)角的步驟。
8 權(quán)利要求1中的方法，其中提供所述目標(biāo)角坐標(biāo)的步驟包括在視頻顯示器上選擇一個(gè)區(qū)域，并基于子區(qū)域的直角坐標(biāo)計(jì)算目標(biāo)的特定掃視和俯仰運(yùn)動(dòng)角的步驟。
9 權(quán)利要求1中的方法，其中公式是Xd＝f.cos-1(cos(a).cos(b)).cos(tan-1(tan(a)/sin(b)))Yd＝f.cos-1(cos(a).cos(b)).sin(tan-1(tan(a)/sin(b)))其中f是鏡頭常數(shù)，而Xd、Yd是唯一的魚眼式坐標(biāo)。
10 權(quán)利要求1中的方法，進(jìn)一步包括顯示子區(qū)域的校準(zhǔn)圖像的步驟。
11 權(quán)利要求1中的方法，進(jìn)一步包括放大子區(qū)域的校準(zhǔn)圖像的步驟。
12 權(quán)利要求11中的方法，其中校準(zhǔn)圖像的放大步驟包括增加角a。
全文摘要
一個(gè)裝有大致具有半球形視場(chǎng)的魚眼式鏡頭(20)的視頻監(jiān)視系統(tǒng)(10)。該系統(tǒng)利用無(wú)活動(dòng)機(jī)構(gòu)實(shí)現(xiàn)等同于傳統(tǒng)攝像機(jī)的掃視、俯仰和圖像放大操作。鏡頭(20)垂直安裝于所監(jiān)視平面的上方。攝像機(jī)產(chǎn)生一個(gè)由許多像素組成的魚眼式圖像(14)。由于魚眼式鏡頭(20)的特性使得魚眼式圖像(14)失真。該系統(tǒng)通過(guò)把魚眼式圖像(14)的像素映射到經(jīng)選擇所觀察的魚眼式圖像的一部分產(chǎn)生的坐標(biāo)下來(lái)進(jìn)行失真校正。
文檔編號(hào)G08B13/196GK1192312SQ96195844
公開日1998年9月2日 申請(qǐng)日期1996年7月26日 優(yōu)先權(quán)日1995年7月27日
發(fā)明者斯蒂文W·希爾茲, 特里L(fēng)·格拉特, 卡爾·庫(kù)帕斯米特 申請(qǐng)人:傳感電子公司