專利名稱：采用可巡視的攝像機陣列的用于比較多個圖像的方法及系統(tǒng)的制作方法
背景技術(shù)：
1.發(fā)明領(lǐng)域本發(fā)明涉及一種遠程出席系統(tǒng)(a telepresence systyem)，更具體地說，涉及一種可巡視的(navigable)攝像機陣列遠程出席系統(tǒng)及用該系統(tǒng)比較兩個或多個圖像的方法。
2.相關(guān)技術(shù)介紹一般來說，需要開發(fā)適用于諸如博物館之類靜態(tài)聚會場所和諸如音樂會之類動態(tài)聚會場所或公共活動的遠程出席系統(tǒng)。觀察這類場所受時間、地理位置和這類場所觀眾容納量的限制。例如，想?yún)⒂^博物館的人可能因為開館時間有限而無法參觀陳列品。同樣，音樂會的主辦者也會因為演出場地座位有限而不得不回絕音樂迷?？傊?，場所使用上的限制會減少收入。
為了提高靜態(tài)和動態(tài)場所的收入，可對這些場所進行拍攝，以便播出或發(fā)行。在某些情況下，也可對動態(tài)場所進行直播。廣播固然能增加對這些場所的參與，但有相當大的制作工作量。通常，在把多部攝像機的場景組合在一起時，拍攝下來的播出節(jié)目必須經(jīng)過剪輯。這些剪輯和制作費用相當昂貴。
在某些情況下，這些剪輯和制作所形成的播出節(jié)目只能給觀看者提供有限的享受。具體地說，這種播出節(jié)目一般是以用預先設(shè)置的數(shù)量有限的幾部攝像機拍攝前述場所為基礎(chǔ)的。因此，這種播出節(jié)目包含有有限的觀看角度和現(xiàn)場視角。而且，播出節(jié)目中的觀看角度和視角是由制作人或?qū)а菰诰庉嫼椭谱鬟^程中選定的，觀看者沒有自主權(quán)。此外，盡管播出節(jié)目經(jīng)常是多鏡頭拍攝的，但播出節(jié)目仍有有限的內(nèi)容，因為每一視野都與第一個相同。由于每一次展示看起來和聽起來相同，故觀看者很少會為多視野而再次觀看。
能夠有幸親臨現(xiàn)場的觀眾會面臨許多同樣的問題。例如，去博物館的人必須站在欄桿后面，從有限的角度和視角觀看展覽。同樣，參加音樂會的人通常被限于劇場內(nèi)特定座位或區(qū)域。即使觀眾能自由地接近整個舞臺來對現(xiàn)場進行攝像，但拍攝的也只是有有限的內(nèi)容，因為每個視野都與第一個相同。所以，存在有對這樣一種遠程出席系統(tǒng)的需求，該遠程出席系統(tǒng)能最佳地使用戶有自主權(quán)，同時能用減少了的制作成本拍攝到更多的內(nèi)容。
顯然，已經(jīng)嘗試開發(fā)出遠程出席系統(tǒng)，以滿足上述需要。1998年1月13日頒發(fā)的美國專利No.5,708,469“采用鋼絲網(wǎng)架來固定多部攝像機相對機位并識別取景范圍的多機位取景遠程出席拍攝系統(tǒng)”中描述了一種遠程出席系統(tǒng)。該文描述的系統(tǒng)包括多部攝像機，其中每臺攝像機均具有在空間上連續(xù)并與至少另一臺攝像機成直角的視野。換言之，最好攝像機的視野彼此不搭接。用戶界面使得用戶可在場景之間進行切換。為了使用戶的視野能覆蓋整個現(xiàn)場或環(huán)境，一活動機架承載著這些攝像機。
然而，這種系統(tǒng)有若干缺點。例如，為了保證觀看者的視角能覆蓋整個現(xiàn)場，必須啟動和控制活動機架。這就會使系統(tǒng)操作復雜化。而且，由于攝像機的取景范圍通常按成直角的方式銜接，因而改變攝像機的取景區(qū)將導致不連續(xù)的圖像。
在提供遠程出席系統(tǒng)方面的其他嘗試是采用360°攝象機系統(tǒng)。1998年4月28日頒布的美國專利No.5,745,305“全景取景設(shè)備”中描述了一種這樣的系統(tǒng)。該文所說明的系統(tǒng)通過在金字塔形狀的反射部件周圍設(shè)置多部攝像機而實現(xiàn)了對環(huán)境的360°取景。共享一個共用虛擬光學中心的每臺攝像機均從金字塔形反射部件的不同側(cè)面接收圖像。其他類型的360°攝像機系統(tǒng)則使用了拋物面鏡頭或旋轉(zhuǎn)攝像機。
這種360°攝象機系統(tǒng)也有缺點。具體地說，這種系統(tǒng)將用戶的視野相對給定的透視點限于360°。換言之，360°攝象機系統(tǒng)從單一位置向用戶提供全景視野。只有把此攝象系統(tǒng)安裝在活動機架上，用戶才能體驗到整個環(huán)境的模擬運動。
1993年2月16日頒發(fā)的美國專利No.5,187,571“遠端位置多角度顯示電視系統(tǒng)”描述了與上述360°攝象機系統(tǒng)相類似的攝像機系統(tǒng)。此系統(tǒng)可讓用戶選取組合視野中任意且連續(xù)變化的片段。多臺攝像機排列成使得每臺攝像機的視野能與相鄰攝像機視野連續(xù)地相并接，從而形成組合視野。組合視野可擴展至覆蓋360°。為了得到組合視野，攝像機的取景范圍必須是連續(xù)的。為了讓攝像機的取景范圍是連續(xù)的，攝像機必須共用一個共同的透視點或頂點。因此，與上述360°攝象機系統(tǒng)相類似，美國專利No.5,187,571的系統(tǒng)也是把用戶的視野限制在單一的透視點上，而不能讓用戶體驗視點在整個環(huán)境中的運動。
還有，就美國專利No.5,187,571的系統(tǒng)而言，為了獲得攝像機取景范圍之間的連續(xù)性，需要有相對復雜的反射鏡結(jié)構(gòu)。此外，每一臺攝像機還必須看上去都安放在同一垂直平面上。
所以，仍需要有一種改進型的遠程出席系統(tǒng)，這種系統(tǒng)最好能時實地更好地模擬觀眾實際出現(xiàn)在聚會場所中。
3.發(fā)明概要本發(fā)明能夠滿足上述和其他需要。本發(fā)明一個實施例的遠程出席系統(tǒng)包括一攝像機陣列，每臺攝像機均具有相關(guān)的環(huán)境景象和代表此景象的相關(guān)輸出。所述系統(tǒng)還包括一第一用戶接口設(shè)備，它具有與沿上述陣列中第一路徑的運動相關(guān)的第一用戶輸入。所述系統(tǒng)還包括一第二用戶接口設(shè)備，它具有與沿上述陣列中第二路徑的運動相關(guān)的第二用戶輸入。一處理器(a processing element)與上述用戶接口設(shè)備相連。所述處理器接收和解釋第一輸入并選擇第一路徑中攝像機的輸出。與此相似，所述處理器也按獨立于第一輸入的方式接收和解釋第二輸入并選擇第二路徑中攝像機的輸出。因此，第一用戶和第二用戶能夠同時且獨立地巡視整個陣列。在另一個實施例中，所述系統(tǒng)還可通過使輸出圖像拼接(mosaicing)或中間化(tweening)而將該輸出混合。在本發(fā)明的另一實施例中，所述遠程出席系統(tǒng)可區(qū)分出陣列中可容許的攝像機和陣列中不可容許的攝像機。在本發(fā)明的又一個實施例中，所述遠程出席系統(tǒng)允許用戶在環(huán)境中的前或向后移動，這就能為用戶提供在環(huán)境中向前或向后移動的機會。
附圖簡述

圖1是本發(fā)明一個實施例的總體示意圖；圖2a是本發(fā)明一個實施例的陣列中攝像機和攝像機軌道部分的透視圖；圖2b-2d是本發(fā)明一個實施例的攝像機和攝像機軌道的側(cè)視平面圖；圖2e是本發(fā)明一個實施例的攝像機軌道的俯視平面圖；圖3是本發(fā)明一個實施例的攝像機陣列的一部分的透視圖；圖4是本發(fā)明另一個實施例的攝像機陣列的一部分的透視圖；圖5是說明本發(fā)明一個實施例的用戶接口一般操作的流程圖；圖6是詳細說明圖5所示操作的一部分的流程圖；圖7a是本發(fā)明一個實施例的一部分的透視圖，它說明攝像機陣列相對被觀察物體的配置；圖7b-7g表示從圖7的陣列中選定一些攝像機的透視圖；圖8是本發(fā)明另一實施例的示意圖；圖9是本發(fā)明一個實施例的服務(wù)器的示意圖；圖10是本發(fā)明另一實施例的服務(wù)器的示意圖；圖11是本發(fā)明又一實施例的俯視平面圖；圖12是詳細說明圖11所示實施例的操作的圖像捕獲部分的流程圖；圖13是說明本發(fā)明一個實施例的陣列的示意圖；圖14是說明本發(fā)明一個實施例的圖像捕獲過程的流程圖；圖15是說明根據(jù)本發(fā)明一個實施例的圖像幀的邏輯結(jié)構(gòu)的示意圖；圖16是說明本發(fā)明一個實施例的播放過程的流程圖；圖17是表示根據(jù)本發(fā)明一個實施例的顯示的示意圖；圖18a-c是說明根據(jù)本發(fā)明一個實施例的幀之間邏輯關(guān)系的示意圖；圖19是說明根據(jù)本發(fā)明一個實施例的幀的邏輯結(jié)構(gòu)的示意圖；圖20是說明根據(jù)本發(fā)明一個實施例的協(xié)調(diào)圖像持續(xù)時間的過程的流程圖。
對最佳實施例的說明1.最佳實施例的一般說明本發(fā)明涉及一種遠程出席系統(tǒng)，在最佳實施例中，該系統(tǒng)使用了模塊化的(modular)互鎖式微型攝像機或攝像機陣列。攝像機安裝在軌道上，每個軌道上均安裝多臺攝像機。每一個攝像機均被鎖定成與陣列中相鄰攝像機有固定的關(guān)系并在一給定的環(huán)境內(nèi)分散布列，這些攝像機將圖像輸出傳給相關(guān)的存儲節(jié)點，從而能使得遠程觀眾按同樣的空間和視覺線索(變化的遠景、移動的光反射和陰影)巡視整個環(huán)境，這就會具有實際的身臨其境變化的特點。
在另一個最佳實施例中，這些微型攝像機的輸出通過一小束(不到頭發(fā)寬度一半的)垂直腔表面發(fā)射激光(VCSEL)與光纖相連，再通過局域網(wǎng)絡(luò)送到集線器緩存到服務(wù)器陣列或服務(wù)器群組上〔以便記錄下來或(瞬時)轉(zhuǎn)發(fā)〕，然后被發(fā)送給遠程終端，互動電視墻(交談式墻壁屏幕)，或移動影像設(shè)備(例如仿真視網(wǎng)膜顯示器)前的觀眾。每一位遠程觀眾均可通過直觀的圖形用戶界面(圖形用戶接口)毫不費力地巡視整個環(huán)境，從而能在整個活動中無縫地移動。
上述系統(tǒng)包括多路電子切換過程(觀眾是看不可見的)，這一過程能將觀眾的視點從一臺攝像機移至另一臺攝像機上。上述系統(tǒng)本身并不依賴于實際上使攝像機作空間移動，而是用多個固定的攝像機，按在陣列所覆蓋的范圍內(nèi)提供給觀眾以有序的視覺和聽覺路徑的方式將觀眾的視點從一臺攝像機節(jié)點移動到相鄰攝像機節(jié)點上。這就會使觀眾能自由地跟蹤或推動攝像機移動車查看一三維的遠端環(huán)境，從而能遍歷活動并就移至什么地方、什么時候逗留實時地自主作出決定。
讓觀眾能夠?qū)嶋H移動自動攝像機會直接限制通過存儲節(jié)點同時控制自已進程和巡視活動的觀眾數(shù)量，所述存儲節(jié)點包含與預先存在的攝像機陣列相關(guān)的環(huán)境的圖像。用戶可在環(huán)境中沿任何方向移動-順時針或逆時針、向上、向下、接近或遠離環(huán)境或它們的某些組合。而且，諸如拼接和中間化之類的圖像輸出混合，會實現(xiàn)在環(huán)境中的銜接完美的運動。
2.最佳實施例的詳細說明以下將參照附圖詳細說明本發(fā)明的某些實施例。應(yīng)該認識到，本文所述的實施例的許多部件的操作和功能對于本領(lǐng)域的技術(shù)人員來說是已知的，所以，本說明書不對這些操作和功能作詳細介紹。
圖1中示出了本發(fā)明的遠程出席系統(tǒng)100。遠程出席系統(tǒng)100通常包括一個由攝像機14構(gòu)成的陣列10，攝像機與服務(wù)器18相連，而服務(wù)器18與一或多個具有用戶接口/顯示設(shè)備24的用戶22相連。本領(lǐng)域技術(shù)人員將會認識到，本文所述實施例的操作和功能部分是由上述服務(wù)器和用戶接口/顯示設(shè)備來提供的。盡管沒有用特定的代碼列表或邏輯圖來說明這些部件的操作，但應(yīng)該認識到，本領(lǐng)域技術(shù)人員能夠根據(jù)本文提供的功能和操作細節(jié)來正確地進行操作。并且，本發(fā)明的范圍不應(yīng)被認為是受限于某一特定代碼或邏輯實施方法。
本實施例中，攝像機陣列10被抽象化成位于一X、Z座標系統(tǒng)內(nèi)。這就使得每臺攝像機均有一個相關(guān)的唯一節(jié)點地址，它包括X和Z坐標(X、Z)。在本實施例中，例如，對應(yīng)于特定攝像機的坐標軸的坐標值，代表該攝像機沿著此坐標軸相對于作為參照物的攝像機的偏移量。本實施例中，從用戶的角度看，X軸是從左到右的，Z軸是上下方向的。每一臺攝像機14均通過其X、Z坐標來加以標識。然而應(yīng)該認識到，也可以采用其他方法來標識攝像機14。例如，可以使用那些表明相對于一個固定參照點的角度偏移量的坐標系統(tǒng)以及表明相對于當前攝像機節(jié)點相對偏移量的坐標系統(tǒng)。在另一個實施例中，所述攝像機陣列是三維的，位于X、Y、Z坐標系統(tǒng)內(nèi)。
陣列10包括多個軌道12，每個軌道12均包括一系列的一或多個攝像機14。攝像機14的輸出通過局域集線器16與服務(wù)器18相連。局域集線器16將上述輸出聚集到一起，在必要時放大這些輸出，以便傳送至服務(wù)器18。在另一個實施例中，局域集線器16對所述輸出進行多路傳輸，以便傳送至服務(wù)器18。盡管附圖將攝像機14和服務(wù)器18之間的通信鏈路15表示為硬連線，但應(yīng)該認識到，也可以使用無線鏈路。因此，采用光纖、電纜、衛(wèi)星、微波傳輸、因特網(wǎng)或其他方式的通信鏈路15均在本發(fā)明的范圍內(nèi)。
連接在服務(wù)器18上的還有一電子儲存設(shè)備20。服務(wù)器18將上述輸出傳送到電子存儲設(shè)備20。電子(大容量)存儲設(shè)備20則將每個攝像機的輸出傳送至諸如CD-ROM，DVD，熒光多層盤(FMD)，磁帶，唱片，磁盤陣列以及諸如此類的存儲介質(zhì)或裝置中。每一臺攝像機14的輸出均被儲存到存儲介質(zhì)中與該攝像機14相關(guān)的具體位置，或者按能表明各存儲輸出與哪臺攝像機14相對應(yīng)的方式加以存儲。例如，每一臺攝像機14的輸出均可存入單獨的碟盤，磁帶，CD-ROM或唱片上的相鄰區(qū)域。正如本技術(shù)領(lǐng)域所周知的那樣，攝像機的輸出可按諸如JPEG，MPEG1，MPEG2等之類的壓縮格式來加以儲存，JPEG是用于以位圖形式存儲靜態(tài)彩色和灰度級照片的標準格式，MPEG1是用于存儲每秒30幀分辨率的視頻輸出的標準格式，MPEG2是用于存儲每秒60幀分辨率的視頻輸出的標準格式(一般用于諸如HDTV和DVD-ROM之類的高帶寬應(yīng)用)。將各輸出存儲起來可使用戶能夠在以后每次按新路徑巡視陣列10時反復觀看前述環(huán)境，如下所述。在本發(fā)明的某些實施例中，諸如在僅能提供實時觀看的系統(tǒng)中，不需要有存儲設(shè)備。
如以下將予以詳細說明的那樣，服務(wù)器18從陣列中的攝像機14中接收輸出。服務(wù)器18對這些輸出進行處理，以便存入電子存儲設(shè)備20、傳至用戶22或兩者都進行。
應(yīng)該認識到，盡管在本實例中將服務(wù)器18設(shè)置成能提供系統(tǒng)100的功能，但應(yīng)當理解，其他處理器也能提供系統(tǒng)100的功能。例如，在其它實施例中，用戶接口設(shè)備是一臺個人電腦，它被編程成能解釋用戶輸入并傳輸對所要求當前節(jié)點地址的指示、緩存陣列的輸出且提供其他所述功能。
如圖所示，系統(tǒng)100可容納多個用戶22(但不是必須的)。每一個用戶22都有與其相連的用戶接口設(shè)備，所述用戶接口設(shè)備包括一個用戶顯示設(shè)備(共同用標號24來表示)。例如，用戶22-1具有一相連的用戶接口設(shè)備和一用戶顯示設(shè)備，該用戶顯示設(shè)備為一臺有顯示器和鍵盤的計算機24-1形式。用戶22-2具有一與其相連的互動電視墻24-2，它可用作用戶接口設(shè)備和用戶顯示設(shè)備。用戶22-3的用戶接口設(shè)備和用戶顯示設(shè)備包括一個移動音頻和圖像設(shè)備24-3。數(shù)字互動電視24-4則是用戶22-4的用戶接口設(shè)備和用戶顯示設(shè)備。與此相似，用戶22-5具有作為用戶接口設(shè)備和顯示設(shè)備的聲音識別單元和監(jiān)視器24-5。應(yīng)當認識到，前述用戶接口設(shè)備和用戶顯示設(shè)備只是舉例而已，例如，其他用戶接口設(shè)備包括鼠標、觸摸屏、生物反饋裝置以及美國臨時專利申請序列號60/080,413所述的設(shè)備和其他類似裝置。
正如以下詳述的那樣，每個用戶接口設(shè)備24均有與其相關(guān)的用戶輸入。這些用戶輸入允許每個用戶22通過陣列10獨立地移動或巡視。換句話說，每位用戶22進行輸入一般都是為了選擇將哪一臺攝像機的輸出傳輸?shù)接脩麸@示設(shè)備上。最好是每個用戶顯示設(shè)備都包括陣列10的圖形顯示。圖形顯示包括表明正在查看陣列中哪一臺攝像機的輸出。用戶輸入不僅允許每位用戶選擇特定的攝像機，還允許用戶選擇在陣列10中的相對運動或巡視路徑。應(yīng)該認識到，正如本文中使用的那樣，用攝像機和時間這兩者來限定路徑。同樣，假設(shè)用戶不同時訪問所有的攝像機，則通過同樣一系列攝像機巡視的兩個用戶可巡視不同的路徑。換句話說，由多個攝像機構(gòu)成的線性系列能提供多個路徑。
如圖1所示，每位用戶22均可以通過獨立的通信鏈路與服務(wù)器18相聯(lián)。而且，每個通信鏈路均可以采用不同的技術(shù)。例如，在其它實施例中，通信鏈路包括互聯(lián)網(wǎng)鏈路、微波信號鏈路、衛(wèi)星鏈路、電纜鏈路、光纖鏈路，無線鏈路等。
應(yīng)該意識到，陣列10提供了若干優(yōu)點。例如，由于陣列10使用了一系列攝像機14，因而不必移動單個攝象機或全部的攝像機陣列10就可連續(xù)地查看周圍環(huán)境。相反，用戶可以通過陣列10巡視，陣列10則策略地設(shè)置在要查看環(huán)境的中間或周圍。此外，由于陣列10的攝像機14實際上位于所要拍攝的環(huán)境不同點上，故用戶能夠從視點上觀察到變化，這一點對僅能改變焦距的單個攝像機來說是無法作到的。
攝像機應(yīng)該認識到，本發(fā)明不依賴于任何特定類型的攝像機并且在另一實施例中同樣包括模擬或數(shù)字、視頻或靜態(tài)或全規(guī)程或微型攝像機—安裝在指甲蓋大小的CMOS主動像素傳感器(APS)微型芯片上的微型鏡頭。微型攝像機中使用的視頻芯片可以是CMOS、CCD等，一些公司將這種芯片作為主流產(chǎn)品生產(chǎn)，其中包括位于加州帕薩迪納的Photobit公司，新澤西州普林斯頓的Sarnoff公司和蘇格蘭愛丁堡的VLSI Vision有限公司。
一種特定的適當攝像機是Sanyo電子公司用VCC-5974商標生產(chǎn)的模擬彩色CCD攝像機，正如本領(lǐng)域技術(shù)熟練人員將會注意到的那樣，連同諸如Matrox Electronic System用Meteor-II商標提供視頻捕獲板之類的視頻捕獲板使用這種模擬攝像機，所述視頻捕獲板包括用于將模擬NTSC轉(zhuǎn)換成視頻的的模擬-數(shù)字轉(zhuǎn)換器。在涉及視頻的多個實施例中，所述捕獲板還如下所述接收視頻同步信號，因此各攝像機的輸出與一個攝像機的各個被捕獲的幀是同步的，而所說的被捕獲的幀則與另一個攝影機的被捕獲的幀相對應(yīng)。此后，從捕獲板將攝像機的輸出提供給一或多個服務(wù)器或處理元件以便處理。
陣列的結(jié)構(gòu)以下將參照圖2-2e詳細說明陣列10的結(jié)構(gòu)。通常，本實施例的攝像機陣列10包括一系列承載攝像機14的模塊化軌道12。以下將參照圖2至2d詳細說明軌道12的結(jié)構(gòu)和攝像機14。每臺攝像機14均包括定位銷(注冊釘)34。在一個實施例中，攝像機14利用VCSEL把其輸出傳至軌道12。但是，應(yīng)該認識到，本發(fā)明并不限于任何特定類型的攝像機14，也不限于只包含一種類型攝像機14的陣列10。
每一軌道12均包括兩個側(cè)面12和12b，其中至少一側(cè)面12b以鉸接的方式與軌道12的基體12c相連接?；w12c包括插銷孔36，它用于接收攝像機14的定位銷34。當攝像機14安裝到軌道12上從而使定位銷34全部嵌入插銷孔36內(nèi)時，軌道12的鉸接側(cè)面12b會向攝像機14的基體32運動，從而將攝像機14固定在軌道12上。
每一軌道12還包括第一端38和第二端44。在本實施例中，第一端38包括兩個鎖定插銷40和一個受保護的傳輸轉(zhuǎn)播端口42，該端口供傳輸攝像機輸出之用。第二端44包括兩個用于接收鎖定插銷40的引導孔46以及一個傳輸接收端口48。因此，軌道12的第一端38可與另一個軌道12的第二端44相接合。所以，每個軌道12都是模塊化的，在功能上可以與另一個軌道相連接，從而構(gòu)成了陣列10。
一旦攝像機14被牢固地安裝到軌道12上，攝像機14就被定位而使該攝像機的輸出可以通過電纜或VCSEL傳輸至軌道12。每一軌道12均包括用于傳輸來自各攝像機14的輸出的通信路徑。另外，電纜將各攝像機與服務(wù)器連接起來。
盡管示出了陣列10具有特定的結(jié)構(gòu)，但是，應(yīng)當認識到，實際上軌道12和攝像機14的任何結(jié)構(gòu)都在本發(fā)明的范圍之內(nèi)。例如，陣列10可以是攝像機14的線性陣列、攝像機14的兩維陣列、攝像機14的三維陣列或它們的任何組合。此外，陣列10不必僅由直線部分構(gòu)成，而是可以包括曲線部分。
再有，在另一實施例中，單獨的軌道支承著單個攝像機并且包括位于軌道各端上的不同自由度的延伸間隔件，以便改變攝像機之間的間隔或者改變相鄰攝像機之間的角度。上述間隔件包括受系統(tǒng)服務(wù)器之一控制的線性或旋轉(zhuǎn)啟動器或電致伸縮的聚合體。
陣列10可由多種支撐裝置中的任何一種來支撐。例如，陣列10可以固定安裝在墻上或天花板上；陣列10可以固定在移動的架子上，所述架子可靠輪子進入環(huán)境中的適當位置或以纜線懸掛。
圖3圖示陣列10的一部分的實例。如圖所示，陣列10包括五行軌道12至12e。每條軌道12-12e都朝向一個中心平面，此平面基本上經(jīng)過中心一行軌道12c。因此，就任何位于與中間一行軌道12c相同位置上的物體而言，用戶可以基本上從底下，前面和上面觀察到此物體。
如上所述，陣列10的軌道12不必有同樣的幾何形狀。例如，某些軌道12可以是平直的，而另一些則可以是彎的。例如，圖4表示采用彎曲軌道形成的攝像機陣列。應(yīng)該注意，圖4中的軌道是透明的，因此可很容地看出攝像機14的結(jié)構(gòu)。
在另一實例中，按階梯的方式或弧形配置各個軌道，每臺攝像機均位于前一攝像機的上面(或下面)和前面。按照這種結(jié)構(gòu)，用戶可以選擇在環(huán)境中向前移動。
應(yīng)當理解，攝像機14的擺放取決于具體的使用情況，包括拍攝何種物體，攝像機14的焦距以及移過陣列10的速度。一般地說，攝像機越靠近且視圖重疊越大，攝像機視圖之間的轉(zhuǎn)換就越銜接完美。在一個實施例中，攝像機14之間的距離可以大致與在環(huán)境中線性移動攝象的運動圖像攝像機所拍攝的外露幀之間的距離相類似。一般來說，放映機在環(huán)境中的移動速度除以每單位時間外露的幀數(shù)即可得出幀數(shù)-距離的比率。
例如，如以下等式所示，在某些應(yīng)用中每英寸即攝取一幀。一個通常的電影攝像機每秒記錄24幀圖像。當這種攝像機按每秒兩英尺的速度線性地在環(huán)境中移動時，每一英寸大約記錄一幀圖像。
2英尺/秒÷24幀/秒＝2英尺/24幀＝1英尺/12幀＝12英寸/12幀＝1英寸/1幀＝每英寸1幀放映機的一幀類似于本發(fā)明中的攝像機14。因此，在每英寸外露一幀可以使電影得到銜接完美的環(huán)境畫的場合下，那么每英寸一臺攝像機14也可以達到相同效果。所以，在本發(fā)明的一個實施例中，各攝像機14大約相隔一英寸，因而能得到銜接完美的環(huán)境視圖。
在另一實施例中，若相鄰攝像機的視野相重疊，則攝像機之間的間隔大于一英寸。再有，重疊程度越大，則相鄰攝像機視圖之間的漸進就更加銜接完美。
正如以下更詳細說明的那樣，可以通過生成連續(xù)攝像機間的合成或混合圖像來進一步地增加攝像機之間的間隔。再有，在攝像機之間的角位移更加重要的場合，攝像機間的線性間隔會在彎曲的陣列中變得不太重要。例如，在一個實施例中，所述陣列位于180°的弧內(nèi)，攝像機按5°間隔設(shè)置，朝向該弧的中心。隨著弧的半徑的增加，攝像機之間的線性距離也增加；但是，視野中的角位移即5°以及重疊會保持相同。由于保留有視野中的重疊，故系統(tǒng)會保持從攝像機到相鄰攝像機的銜接完美的漸進。
在一個實施例中，所述陣列包括由攝像機構(gòu)成的弧。該弧延伸110°度，有9英尺的半徑，并且，所述攝像機沿弧按約7.5°的間隔設(shè)置。在另一個實施例中，所說的弧具有15英尺的半徑，每16英寸設(shè)置有攝像機。
在某些實施例中，校準攝像機以便使攝像機在同一水平和垂直平面內(nèi)對齊是有用的。在各實施例中可用來自各攝像機的激光、疊加在各攝像機視圖上的網(wǎng)格等來實現(xiàn)這種校準，以便使各攝像機相對參照點對齊。
巡視整個系統(tǒng)以下將參照圖5和繼續(xù)參照圖1說明本實施例的一般操作。如步驟110所示，向用戶提供與起始攝像機相對應(yīng)的預定環(huán)境起始視圖。應(yīng)該認識到，該系統(tǒng)的操作部分地受控于駐留在服務(wù)器中的軟件。如上所述，該系統(tǒng)使陣列中的每一臺攝像機均與一坐標相關(guān)聯(lián)。所以，系統(tǒng)能夠注意到開始攝像機節(jié)點的坐標值。只有在收到用戶的輸入時，攝像機的輸出和相應(yīng)的視圖才改變。
當用戶決定要在陣列中移動或巡視時，用戶通過用戶接口設(shè)備24輸入用戶輸入。如下所述，本實施例的用戶輸入一般包括在陣列中向右、向左、向上或向下移動。另外，用戶可以跳轉(zhuǎn)到陣列中的特定攝像機。在其他實施例中，使用了這些或其他輸入的子集，如向前、向后、斜向、上方、下方。在步驟120中，用戶接口設(shè)備將用戶輸入傳送給服務(wù)器。
然后，在步驟130中服務(wù)器接收用戶輸入并繼續(xù)對該輸入解碼。在本實施例中，對輸入進行解碼一般包括確定用戶是否希望在陣列中向右、向左、向上、或向下移動。
另一方面，如果所收到的用戶輸入不是向后的，則服務(wù)器18就繼續(xù)確定輸入是否是通過陣列10向用戶的右邊移動。這個確定過程如步驟140所示。如果所收到的用戶輸入是向右移動，則在步驟150中使當前節(jié)點地址沿X軸增加，以獲得更新后的節(jié)點地址。
如果所收到的用戶輸入并不對應(yīng)于在陣列中向右移動，則在步驟160中服務(wù)器18判斷該輸入是否對應(yīng)于陣列10向用戶的左邊移動。一旦判斷出輸入是向左移動，服務(wù)器18就使當前節(jié)點地址沿X軸減少，以獲得更新后的地址。如步驟170所示。
如果所收到的用戶輸入既不是向右移動也不是向左移動，則服務(wù)器18就判斷該輸入是否通過陣列10向上移動。在步驟180中進行這種判斷。如果用戶輸入是向上移動，則在步驟190中服務(wù)器18會使當前節(jié)點地址沿Z軸增加，以獲得更新后的地址。
然后，服務(wù)器18判斷所收到的用戶輸入是否是通過陣列10向下移動。步驟200中進行這種判斷。如果輸入是在陣列10中向下移動，則在步驟210中服務(wù)器18會使當前節(jié)點地址沿Z軸減少。
最后，在步驟220中，服務(wù)器18判斷所收到的用戶輸入是否是使視野跳轉(zhuǎn)或改變到特定的攝像機14。如圖5所示，如果輸入是跳轉(zhuǎn)到特定的攝像機14，則服務(wù)器18就改變當前節(jié)點地址，以反映所要求的攝像機位置。更新節(jié)點地址的過程如步驟230所示。在另一實施例中，該輸入跳轉(zhuǎn)到陣列10中的特定位置，該位置不是由用戶指定為某一攝像機，而是通過參照諸如舞臺右邊之類的現(xiàn)場而指定的。
應(yīng)當認識到，服務(wù)器18可以用許多方式中的任何一種，包括按照任何次序?qū)λ盏降挠脩糨斎脒M行解碼。例如，在另一個實施例中，服務(wù)器18首先判斷用戶輸入是向上還是向下。在另一個最佳實施例中，用戶的巡視包括在一個三維的陣列中向前、向后、向左、向右、向上、向下移動。
如果所收到的用戶輸入不是任何可以識別的輸入(即通過陣列10向右、向左、向上、向下，或跳轉(zhuǎn)到某一位置)，那么在步驟240中，服務(wù)器18就產(chǎn)生一消息信號傳送到用戶顯示設(shè)備24，使得所收到的輸入信號不能識別的消息顯示給用戶22。然后，系統(tǒng)100的操作從步驟120繼續(xù)，服務(wù)器18等待接收下一個用戶輸入。
在通過沿某一軸提高或降低節(jié)點地址或者通過跳轉(zhuǎn)到特定節(jié)點地址而調(diào)整當前節(jié)點地址之后，服務(wù)器18繼續(xù)步驟250以調(diào)整用戶視圖。一旦調(diào)整完視圖，在服務(wù)器18等待接收下次用戶輸入時，系統(tǒng)100的操作再次從步驟120繼續(xù)。
在另一實施例中，服務(wù)器18繼續(xù)根據(jù)所收到的用戶輸入更新節(jié)點地址并調(diào)整視圖。例如，如果用戶輸入是“向右移動”，那么，系統(tǒng)100的操作將繼續(xù)通過步驟140、150和250循環(huán)，以檢查不同的用戶輸入。當收到不同的用戶輸入時，服務(wù)器18就相應(yīng)地繼續(xù)更新視圖。
應(yīng)當認識到，上述用戶輸入即向右、向左、向上、向下僅大致地說明了在陣列中的移動。盡管本發(fā)明不受此限制，但在本發(fā)明的最佳實施例中，根據(jù)用戶輸入對沿這些大致方向中的每一個的移動作了進一步的限定。
為此，圖6是所述系統(tǒng)按圖5的步驟140、150和250的操作的更詳細的圖。而且，應(yīng)當認識到，盡管圖6只詳細說明了一個方向的移動即向右移動，但同樣詳細的移動也適用于任何其他方向。如圖所示，判斷用戶輸入是否是向右移動實際上包括多個判斷過程。正如以下所詳細說明的那樣，這些判斷包括通過陣列10以不同速度向右移動，以不同速度向右移進復合的其它來源輸出，以及用系統(tǒng)100來代替用戶輸入。
本發(fā)明允許用戶22以不同的速度通過陣列10巡視。根據(jù)用戶通過移動指示設(shè)備(或其他接口設(shè)備)之類的輸入所指示的速度(即每單位時間切換的攝像機節(jié)點數(shù))，服務(wù)器18使用這樣一種算法，該算法可按臨界速度(每單位時間n個節(jié)點)、低于臨界速度(每單位時間n-1個節(jié)點)、高于臨界速度(每單位時間n+1個節(jié)點)控制攝像機輸出之間的轉(zhuǎn)換速度。
應(yīng)該認識到，通過陣列10移動的速度也可表示為從一個攝像機14切換至另一臺攝像機14的時間。
具體地說，如步驟140a所示，服務(wù)器18判斷用戶輸入是否是按臨界速度向右移動。臨界速度最好是由系統(tǒng)操作員或設(shè)計者根據(jù)予先考慮的要拍攝的環(huán)境設(shè)置的通過陣列10的一預定的移動速度。此外，臨界速度還取決于各種其他因素如焦距、攝像機之間的距離、攝像機和被攝物體之間的距離等等。通過陣列10移動的速度受控于在一給定時段來回移動的攝像機14的數(shù)量。因此，以臨界速度通過陣列10移動對應(yīng)于每毫秒來回移動某一數(shù)字“n”個攝像機節(jié)點，或花費一定量的時間“s”從一臺攝像機14切換到另一臺攝像機14。應(yīng)當認識到，在同一個實施例中，通過陣列10在一維上移動的臨界速度不必等于在另一維上移動的臨界速度。因而，服務(wù)器18沿X軸按每毫秒n個節(jié)點增加當前節(jié)點地址。
在上述最佳實施例中，用戶每秒來回移動24個攝像機14。如上所述，電影放映機每秒鐘記錄24幀圖像。電影放映機和本發(fā)明相類似，以臨界速度移動時，用戶每秒來回移動(且服務(wù)器18在攝像機之間切換)大約24臺攝像機14，或每0.04167秒來回移動一臺攝像機14。
如圖6所示，用戶22不僅可以臨界速度前進，也可如步驟140b所示以超臨界速度前進，或以低于臨界速度前進，如步驟140c所示。在用戶輸入“I”表示以超臨界速度通過陣列10移動的情況下，服務(wù)器18沿X軸按大于n的單位(例如按每毫秒n+2個節(jié)點)增加當前節(jié)點地址。步驟150b示出了以每毫秒n+1個節(jié)點沿X軸增加當前節(jié)點地址的步驟。在用戶輸入“I”表示按低于臨界速度通過陣列10移動的情況下，服務(wù)器18繼續(xù)按小于n的變量例如每毫秒n一1個節(jié)點增加當前節(jié)點地址。步驟150c示出了這一操作。
可升級的陣列(scaleable arrays)陣列10的形狀也可以進行電子化調(diào)整(electronically scale)，而且系統(tǒng)100設(shè)計有“重心”，該重心可在用戶22釋放控制權(quán)或在系統(tǒng)100按照程序取代用戶的自主權(quán)時很容易地使用戶圖像路徑回到“開始”或“臨界位置”節(jié)點或節(jié)點環(huán)；也就是說，陣列10的活動參數(shù)或幾何形狀可以予先配置成按指定的時間或時段改變，以便在需要造成戲劇性效果時吸引或集中注意力。系統(tǒng)操作員可通過實時操控或預先設(shè)定的電子代理器按順序激活或關(guān)閉攝像機陣列10的指定部分。這對于在戲劇或娛樂節(jié)目中維護著作權(quán)和保持戲劇性效果具有特別重要的意義，并且對控制用戶22通過陣列10有什么樣的巡視自由度也有特別重要的意義。
在本實施例中，系統(tǒng)100可以由程序控制成使用戶22在特定時間或間段不能使用陣列10的某些部分。因此，服務(wù)器18按照圖6的步驟140d繼續(xù)進行，判斷用戶輸入是否是在陣列中向右移動，但由巡視控制算法控制。巡視控制算法使服務(wù)器18根據(jù)巡視控制因素來判斷是否允許用戶所要求的移動。
更具體的說，已編為程序貯存于服務(wù)器18中的巡視控制算法，可判斷所要求的移動是否會使當前節(jié)點地址超出節(jié)點坐標所允許的范圍。在本實施例中，節(jié)點坐標所允許的范圍已預先確定并取決于服務(wù)器18所示在一天中的時間。所以，在本實施例中，巡視控制因素包括時間。正如本領(lǐng)域的技術(shù)人員理解的那樣，可允許的攝像機節(jié)點與控制因素可以作成關(guān)聯(lián)表格，存于存儲器中。
在另一個實施例中，巡視控制因素包括時間，該時間如服務(wù)器所示從被攝活動的開始計算。在此實施例中，系統(tǒng)操作員可以規(guī)定用戶從陣列中的何處觀察某些場景。在另一個實施例中，巡視控制因素是通過陣列移動的速度。例如，用戶22在陣列中移動或巡視的速度越快，旋轉(zhuǎn)程度就越寬。在其他一些實施例中，節(jié)點坐標所允許的范圍不是預先設(shè)定的。在一個實施例中，巡視控制因素和允許范圍由通過輸入設(shè)備與服務(wù)器聯(lián)系的系統(tǒng)操作員加以動態(tài)控制。
服務(wù)器18在判斷用戶輸入受巡視控制算法控制之后按照步驟150d繼續(xù)，以便沿著預先設(shè)定的路徑增加當前節(jié)點地址。系統(tǒng)操作員通過沿著預先設(shè)定的路徑增加當前節(jié)點地址而將用戶22的注意力吸引或集中到可操作的攝像機14的特定視圖上，因而可在戲劇或娛樂節(jié)目中維護著作權(quán)和保持戲劇性效果。
在另一個實施例中，用戶的輸入受到巡視控制算法的控制，服務(wù)器18不讓用戶沿著預定的路徑移動。相反，服務(wù)器18只等待被允許的用戶輸入，并在當前節(jié)點上保持視圖。只有當服務(wù)器18收到能產(chǎn)生被允許的節(jié)點坐標的用戶輸入時，服務(wù)器18才調(diào)整用戶視圖。
其它來源輸出除了可以通過陣列10移動以外，用戶22還可以在陣列10的預定位置處選擇離開正在拍攝的真實世界環(huán)境。更具體的說，可將諸如電腦圖像、虛擬世界圖像、小程序、電影剪輯以及加工和未加工的攝像機輸出之類的其他來源輸出提供給用戶22。在一個實施例中，將其他來源輸出與真實環(huán)境的圖像結(jié)合在一起。在另一個實施例中，將用戶的圖像從真實環(huán)境完全傳到其他來源輸出所提供的環(huán)境。
更具體地說，其他來源輸出(最好以數(shù)字形式)被儲存到電子存儲設(shè)備20中。當用戶22輸入要觀察其他來源輸出的意愿時，則服務(wù)器18就將其他來源輸出傳送到用戶接口/顯示設(shè)備24。在本實施例中，服務(wù)器18只是僅將其他來源輸出傳送給用戶顯示設(shè)備24。在另一個實施例中，服務(wù)器18首先將其他來源輸出與攝像機的輸出合并到一起，然后將合并的信號傳送給用戶接口/顯示設(shè)備24。
如步驟140e所示，服務(wù)器18判斷用戶輸入是否是從陣列中移進來源輸出。如果用戶22決定進入其他來源輸出，服務(wù)器18就會通過用在步驟150a-d的一個步驟中確認的更新攝像機輸出來代替其他來源輸出而調(diào)整視圖。
一旦在步驟150a-d的一個步驟中更新了當前節(jié)點地址，服務(wù)器就繼續(xù)在步驟250中調(diào)整用戶視圖。在調(diào)整視圖時，服務(wù)器18將現(xiàn)有或當前顯示的攝像機輸出與更新的攝像機節(jié)點地址確認的攝像機14的輸出相“合成”。在本發(fā)明另一些實施例中按不同的方式來合成輸出。在本實施例中，對輸出進行合成包括以特定速度按電子方式從當前攝像機14的輸出轉(zhuǎn)換到有新的當前節(jié)點地址的攝像機輸出。
應(yīng)當認識到，在本文所公開的上述及其它最佳實施例中，攝像機的輸出是同步的。正如本領(lǐng)域所熟知的那樣，來自“同步發(fā)生器”的同步信號被提供給攝像機和/或能捕獲攝像機輸出的處理器。同步發(fā)生器可以是錄象剪輯中采用的同步發(fā)生器，在其他實施例中，同步發(fā)生器可以包括服務(wù)器的一部分、集線器和/或與陣列相連的單獨部件。
如上所述，在臨界速度下服務(wù)器18約按每秒鐘24幀的速率或每0.04167秒1幀轉(zhuǎn)換攝像機輸出。如果用戶22通過陣列10以低于臨界速度移動，那么與用戶以臨界速度移動相比，中間攝像機14的輸出會顯示得相對更長一段時間。與此相似，當用戶以超過臨界速度巡視時，每個輸出都顯示得更短一段時間。換句話說，服務(wù)器18根據(jù)在陣列10中移動的速度來調(diào)整切換速度。
當然，應(yīng)當認識到，在本發(fā)明的簡化實施例中，用戶僅以臨界速度巡視。
在另一實施例中，通過將現(xiàn)有或當前輸出與更新的攝像機節(jié)點輸出組合起來而對輸出進行合成。在又一實施例中，合成包括將現(xiàn)有圖像融入新的圖像。在再一實施例中，對輸出進行合成包括調(diào)整用戶顯示設(shè)備的幀刷新率。另外，根據(jù)經(jīng)過陣列的移動速度，服務(wù)器可以添加動感模糊效果來反映現(xiàn)實的速度感。
在又一個實例中，服務(wù)器會在攝像機圖像之間產(chǎn)生瞬間黑屏。此實施例類似于電影膠片上兩幀之間的空白膠片。此外，盡管并非總是有好處，但這種黑屏可以減少從一幅圖像進入下一幅圖像時生理上的“搭接”感覺。
應(yīng)當認識到，對應(yīng)于按不同速度移過陣列的用戶輸入，可以包括在鍵盤上作不同的鍵擊、操縱桿的不同位置、在一預定長的時間內(nèi)使操縱桿位于給定位置等等。與此相似，也可以通過具體的鍵擊、移動操縱桿等來表明移進其他來源輸出的決定。
在另一個實施例中，通過使中間攝像機14的輸出“拼接化”可以實現(xiàn)混合。授于Peter J.Burt等人的題為“用于自動使圖像對齊以形成拼接圖像的系統(tǒng)”的美國專利N0.5,649,032，公開了一種用于根據(jù)多個圖像生成拼接圖案的系統(tǒng)和方法，在此引用作為參考。服務(wù)器18自動地使一個攝像機輸出與另一個攝像機的輸出相對齊，使攝像機輸出與另一個拼接圖案(由先前出現(xiàn)的攝像機輸出生成的)相對齊，因此，可將輸出增加給拼接圖案或者將現(xiàn)存的拼接圖案增加給攝像機輸出。
一旦完成了拼接圖案對齊，本發(fā)明的實施例就使用拼接圖案合成過程，以便構(gòu)建(或更新)拼接圖案。拼接圖案合成包括選擇過程和組合過程。選擇過程自動地選擇輸出以便合并進拼接圖案中并且可包括掩蔽和剪裁功能，以便選擇拼接圖案中感興趣的區(qū)域。一旦選擇過程選擇了要將哪個(些)輸出包括在拼接圖案內(nèi)，組合過程就將多種輸出組合起來以形成拼接圖案。組合過程使用了多種輸出處理技術(shù)，如合并、融合、過濾、輸出增強等，以實現(xiàn)輸出的銜接完美的組合。最終的拼接圖案是平滑的圖，它將組成的輸出組合起來，使在拼接圖案中的暫時和空間信息冗余減至最少。在本發(fā)明的一個實施例中，可在用戶移過系統(tǒng)且輸出圖像幾乎實時顯示時形成拼接圖案。在另一個實施例中，該系統(tǒng)可根據(jù)預定數(shù)量的輸出或在預定時間間隔過程中形成拼接圖像，然后根據(jù)用戶對環(huán)境的巡視顯示圖像。
在又一個實施例中，服務(wù)器18能通過“中間化”過程來混合輸出。授于Keith J.Hanna題為“用于確定傳感器運動和場景結(jié)構(gòu)的方法以及用于該方法的圖像處理系統(tǒng)”的US專利5,259,040號公開了中間化過程的一個實例，本文引用了該專利。中間化使得服務(wù)器18根據(jù)兩個或多個攝像機的圖像輸出處理圖像的結(jié)構(gòu)。
本文將Hanna的專利應(yīng)用于遠程出席方法/系統(tǒng)，以下說明中間化。服務(wù)器利用諸如一對攝像機輸出的亮度導數(shù)之類的本地場景特征來監(jiān)視中間攝像機14中經(jīng)過場景的運動。將全局攝像機輸出運動限制與本地場景特征恒定性限制結(jié)合起來，以便使本地表面結(jié)構(gòu)與全局攝像機輸出運動模型和本地場景特征相關(guān)聯(lián)。用于確定場景中的全局攝像機輸出運動模型的和在給定圖像分辨率下來自兩個或多個場景輸出的場景結(jié)構(gòu)模型的方法包括下列步驟(a)設(shè)置本地場景模型和全局攝像機輸出運動模型的初始估算值；(b)通過使輸出中的測定誤差與用模型預測出的誤差之間的差值最小化而確定模型之一的新值；(c)用在步驟(b)中所確定的模型之一的新值重置本地場景模型和圖像傳感器運動模型的初始估算值；(d)用在步驟(b)中通過使輸出中的測定誤差與用模型預測出的誤差之間的差值最小化而確定的模型的估算值來確定第二個模型的新值；(e)在給定的圖像分辨率下用模型的當前估算值使朝向另一輸出的輸出之一扭曲；以及(f)重復步驟(b)、(c)、(d)和(e)，直至模型的新值與在先前重復中確定的值之差小于某一個值或者直至進行了固定次數(shù)的重復。
應(yīng)該注意，在Hanna專利通過檢測圖像傳感器(例如視頻攝像機)的運動即實施中間化過程時，本發(fā)明的一個實施例監(jiān)視用戶在有效攝像機或存儲節(jié)點中的運動。
正如本領(lǐng)域普通技術(shù)人員根據(jù)本公開所理解的那樣，可在以本文教導為基礎(chǔ)的任何一個實施例中將其它現(xiàn)有技術(shù)應(yīng)用于對輸出的拼接化和中間化?！坝糜谑箞D像自動對齊以形成拼接圖像的系統(tǒng)”的專利US5,649,032號、“用于電子圖像穩(wěn)定的系統(tǒng)和方法”的US5,629,988號、“根據(jù)被跟蹤的多圖像界標區(qū)域估算圖像目標區(qū)位置的方法”的US5,581,629、“融合圖像的方法和用于該方法的設(shè)備”的US5,488,674、“用于動態(tài)分析連續(xù)圖像幀中兩種運動的三幀技術(shù)”的US5,067,014，說明了上述其它技術(shù)，本文引用上述專利作為參考。
在另一個實施例中，盡管并不總是必要的，但是，為了確保圖像銜接完美的行進，服務(wù)器18還向用戶顯示設(shè)備24傳送來自某些或所有中間攝像機，即位于當前攝像機節(jié)點與更新后的攝像機節(jié)點之間的那些攝像機的輸出。以下參照圖7a-7g說明此實施例。具體說來，圖7a表示一陣列10沿X軸或相對用戶遠景向左右延伸的曲線部分。因此，服務(wù)器18使之與攝像機14相關(guān)聯(lián)的坐標值只在X坐標上有所不同。更具體地說，就此例而言，攝像機14可以被看作順序編號的，最左邊的攝像機14作為第一號開始，編號為“1”。每臺攝像機14的X坐標均是該攝像機在陣列中的位置。為了便于說明，每臺攝像機編號為14-X，其中X為攝像機通過陣列10的位置，因此與X坐標值有關(guān)。
總的來說，圖7a-7g說明了用戶通過陣列10可能的移動方式。拍攝的環(huán)境包括三個物體602、604、606，其中的第一個和第二個包括有帶編號的表面。正如所看到的那樣，這些帶編號的表面使人能更好地注意到用戶遠景的變化。
在圖7a中，具體標出了陣列10中的6臺攝像機14-2、14-7、14-11、14-14、14-20、14-23。每一臺攝像機的視圖邊緣用雙線14-2a、14-7a、14-11a、14-14a、14-20a、14-23a標出，這些雙線分別從標注的攝像機14-2、14-7、14-11、14-14、14-20、14-23向外輻射。如下所述，在此例中，用戶22通過陣列10沿X軸巡視，因此，環(huán)境的圖像或視圖是與標出的攝像機14-2、14-7、14-11、14-14、14-20、14-23相對應(yīng)的圖像或視圖。
此例提供給用戶22始于攝像機14-2的視圖。圖7b中說明了這個視圖。希望獲得物體702的更好視圖的用戶22按鍵盤上的“7”鍵。此項用戶輸入傳至信息服務(wù)器18并由其進行解碼。
由于服務(wù)器18業(yè)已編程為能將“7”鍵識別為是在陣列中移動到或跳轉(zhuǎn)到攝像機14-7。于是服務(wù)器18將當前攝像機的節(jié)點地址的X坐標值改為7、選擇攝像機14-7的輸出并調(diào)整發(fā)送給用戶22的視圖或圖像。如上所述，調(diào)整圖像包括將當前的輸出與更新的攝像機節(jié)點合成。合成輸出則包括將中間攝像機的輸出轉(zhuǎn)換成圖像，以使攝像機14-2至14-7的離散圖像銜接完美地漸進，這就能讓用戶22獲得圍著被攝物體運動的感覺。用戶22現(xiàn)在看到第一個物體702的另一圖像。來自攝像機14-7的圖像示于圖7C中。如上所述，如果攝像機節(jié)點的跳轉(zhuǎn)超出了預先設(shè)定的范圍，服務(wù)器18將忽略某些或全部的中間輸出。
用戶22按鍵盤上的“右箭頭”鍵，向系統(tǒng)100表明要以臨界速度向右巡視。服務(wù)器18收到這條用戶輸入并對該輸入作這種解釋，且將當前攝像機節(jié)點地址增加n＝4。因此，更新的攝像機節(jié)點地址為14-11。服務(wù)器18將攝像機14-11的輸出與攝像機14-7的輸出相合成。此過程亦包括將中間攝像機(即14-8、14-9和14-10)的輸出轉(zhuǎn)換為圖像，從而讓用戶22有圍繞被攝物體巡視的感覺。因此，可向用戶22提供來自攝像機14-11的視圖，如圖7d所示。
用戶22仍對第一個物體702感興趣，他鍵入用戶輸入例如“alt-右箭頭”，表示希望以低于臨界速度向右移動。因此，服務(wù)器18將更新的攝像機節(jié)點地址按n-1個節(jié)點即在本例中為3增加至攝像機14-14。將攝像機14-11至14-14的輸出合成起來，并向用戶22提供與攝像機14-11至14-14相關(guān)的銜接完美的視圖。圖7e示出了攝像機14-14的最終視圖。
由于緊接在第一個物體702之后無可看的物體，故用戶22輸入例如“shift-右箭頭”之類的用戶輸入，表示希望快速即按超過臨界速度在陣列10中移動。服務(wù)器18解釋用戶輸入并將當前節(jié)點地址增加n+2個節(jié)點或在本例中為6個節(jié)點。因此，更新的節(jié)點地址對應(yīng)于攝像機14-20。服務(wù)器18將攝像機14-14和14-20的輸出合成起來，這包括將中間的攝像機14-15至14-19的輸出轉(zhuǎn)換為圖像。將攝像機14-20的最終圖像顯示給用戶22。如圖7f所示，用戶22現(xiàn)在看到第二個物體704。
用戶22對第三個物體704感興趣，希望通過陣列10慢速移動。為此，用戶22健入“alt-右箭頭”，表示以低于臨界速度向右移動。服務(wù)器18一旦解釋了所收到的用戶輸入，就將當前攝像機節(jié)點地址沿X軸按3更新至攝像機14-23。然后，服務(wù)器18將攝像機14-20至14-23的輸出合成起來，從而通過攝像機14-23向用戶22提供銜接完美的漸進視圖。所得到的視圖14-23a如圖7g所示。
其它數(shù)據(jù)設(shè)備應(yīng)當認識到，陣列中也可配置除攝像機之外的其他設(shè)備。諸如動感傳感器和話筒之類的其它設(shè)備可向服務(wù)器提供數(shù)據(jù)以便進行處理。例如，在其它實施例中，將來自動感傳感器或話筒的輸出輸送給服務(wù)器并用來為陣列分級。更具體地說，被允許的攝像機節(jié)點(由存儲在存儲器中的表格所限定)是那些靠近傳感器或話筒的、有所需輸出例如有動感和聲音的節(jié)點。因此，巡視控制因素包括來自其他這類設(shè)備的輸出?；蛘?，將來自傳感器或話筒的輸出提供給用戶。
以下將參照圖8說明另一個實施例，在該實施例中，攝像機陣列包括分布在被攝環(huán)境和攝像機中間的多個話筒。系統(tǒng)800一般包括一個攝像機陣列802，它與服務(wù)器804相連，服務(wù)器804則與一或多個用戶接口和顯示設(shè)備806以及電子存儲設(shè)備808相連。集線器810收集來自陣列802的輸出并將其傳送給服務(wù)器804。更具體地說，陣列802包括相互連接的模塊化軌道812。每一軌道812均承載著多個攝像機814和一個放置在軌道812中央的話筒816。另外，系統(tǒng)800包括實際上與陣列802相分開的話筒818。攝像機814和話筒816、818的輸出都與服務(wù)器804相連，以便進行處理。
一般說來，系統(tǒng)800的操作與圖1-2d和圖5-6所說明的系統(tǒng)100一樣。但是，除前述系統(tǒng)100的操作之外，服務(wù)器804還從話筒816、818中接收聲音輸出并如同攝像機輸出一樣有選擇地將聲音輸出傳送給用戶。服務(wù)器804在更新當前攝像機節(jié)點地址并改變用戶圖像時，還改變傳送給用戶的聲音輸出。在本實施例中，服務(wù)器804將與給定話筒相關(guān)的一系列攝像機節(jié)點存在存儲器中，即每一軌道810上的攝像機814都與該具體軌道810上的話筒816相關(guān)聯(lián)。在用戶試圖在陣列802的端部以外巡視的情況下，服務(wù)器804就會判斷出該攝像機巡視是不被允許的，并且將話筒節(jié)點輸出更新為與陣列802相鄰的話筒818的節(jié)點輸出。
在另一個實施例中，服務(wù)器804可包括一個數(shù)據(jù)庫，在該數(shù)據(jù)庫中，使各具體區(qū)域內(nèi)的攝像機節(jié)點與給定的話筒相關(guān)聯(lián)。例如，(X、Y、Z)坐標值(0、0、0)、(10、0、0)、(10、5、0)、(0、5、0)、(0、0、5)、(10、0、5)、(10、5、5)和(0、5、5)所限定的長方體與一給定話筒相關(guān)聯(lián)。應(yīng)當認識到，根據(jù)用戶在陣列中的位置(或遠景)選定話筒系列中的一個話筒，可為用戶提供與視覺感受相符的環(huán)境聲音感受。
應(yīng)當認識到，上述實施例的服務(wù)器可以采取已知多種結(jié)構(gòu)中的任何一種。以下參照圖9和圖10說明適用于本發(fā)明的服務(wù)器結(jié)構(gòu)的兩個實例。首先參照圖9，其中示出了服務(wù)器902、電子存儲設(shè)備20、陣列10、用戶(1、2、3…N)22-1至22-N以及相聯(lián)的用戶接口/顯示設(shè)備24-1至24-N。
服務(wù)器902連同其它組件包括一處理裝置，它是與相關(guān)的只讀存儲器(ROM)906和隨機存取存儲器(RAM)908相連的一或多個中央處理器(CPU)904。一般來說，ROM906用來儲存指令服務(wù)器902操作的程序，而RAM908則用來存儲CPU904在操作中用到的變量和數(shù)值。CPU904還連接于用戶接口/顯示設(shè)備24。應(yīng)當認識到，在其他實施例中，CPU可包括若干處理單元，每個處理單元均執(zhí)行單獨功能。
存儲器控制器910與CPU904和電子存儲設(shè)備20相連。在CPU904的指令下，存儲器控制器910控制對存儲設(shè)備20的訪問(讀和寫)。雖然將存儲器控制器910被表示為服務(wù)器902的一部分，但應(yīng)該認識到，它可以存在于存儲設(shè)備20內(nèi)。
在操作中，CPU904通過總線912接收來自陣列10的攝像機輸出。如上所述，CPU904將攝像機的輸出進行合成，以便顯示在用戶接口/顯示設(shè)備24上。合成哪些輸出取決于每個用戶22所選取的圖像。具體說來，每個用戶接口/顯示設(shè)備24均在總線914上傳送限定要顯示視圖的用戶輸入。一旦CPU904合成了適當?shù)妮敵?，它就通過總線916將最終輸出輸送給用戶接口/顯示設(shè)備24。如圖所示，在本實施例中，每個用戶22分別獨立地與服務(wù)器902相連接。
總線912還將攝像機的輸出傳給存儲設(shè)備20，以便進行存儲。在存儲攝像機輸出時，CPU904指示存儲器控制器910將各攝像機14的輸出存儲到存儲設(shè)備20中的存儲器的特定存儲位置。
當要顯示的圖像以前已經(jīng)存儲在存儲設(shè)備20中時，CPU904會使存儲器控制器910訪問存儲設(shè)備20，以檢索出適當?shù)臄z像機輸出。因此，將該輸出通過總線918傳送給CPU904進行合成?？偩€918還將其他來源輸出傳給CPU904，以便傳送給用戶22。至于直接從陣列10收到的輸出，CPU904將這些輸出合成起來并將適當?shù)囊晥D傳送給用戶接口/顯示設(shè)備24。
圖10表示依照本發(fā)明另一實施例的服務(wù)器結(jié)構(gòu)。如圖所示，服務(wù)器1002一般包括一個控制中央處理單元(CPU)1004、一個與各個用戶22相聯(lián)的合成CPU1006，以及一個存儲控制器1008。控制CPU1004擁有相聯(lián)的ROM1010和RAM1012。與此相類似，每個合成CPU1006均擁有相聯(lián)的ROM1014和RAM1016。
為了實現(xiàn)上述功能，來自陣列10的攝像機輸出通過總線1018與各合成CPU1至N即1006-1、1006-N相連。在操作中，每個用戶22均在接口/顯示設(shè)備24上鍵入輸入，以便(通過總線1020)傳送到控制CPU1004?？刂艭PU1004對輸入進行解釋并通過總線1022-1和1022-N將控制信號傳送給合成CPU1006-1、1006-N，以指示它們合成在總線1018上收到的那些攝像機輸出。顧名思義，合成CPU1006-1、1006-N對輸出進行合成，以便產(chǎn)生適當?shù)膱D像并將最終圖像通過總線1024-1和1024-N傳送給用戶接口/顯示設(shè)備24-1和24-N。
在另一個相關(guān)實施例中，每個合成CPU1006均將輸出多路傳輸給一個以上的用戶22。關(guān)于將哪些輸出合成起來并傳給各個用戶22的指示，來自控制CPU1004。
總線1018不僅將攝像機輸出連接于合成CPU1006-1和1006-N，而且連接于存儲設(shè)備20。在受控于控制CPU1004的存儲控制器1008的控制下，存儲設(shè)備20將攝像機輸出儲存于已知的存儲位置。在輸入給控制CPU1004的用戶輸入表明用戶22希望觀看儲存的圖像的情況下，控制CPU1004就會使存儲控制器1008從存儲設(shè)備20中檢索出適當?shù)膱D像。這些圖像通過總線1026被調(diào)入合成CPU1006。其他來源輸出也通過總線1026調(diào)到合成CPU1006-1、1006-N?？刂艭PU1004還將控制信號傳給合成CPU1006-1和1006-N，以指示合成和顯示哪些輸出。
在與圖10的實施例相似的實施例中，攝像機的輸出被提供給聯(lián)網(wǎng)(例如通過以太網(wǎng))的個人計算機例如每對相鄰計算機的一個捕獲用計算機和一個控制計算機。在一個實施例中，在使用模擬視頻攝像機時，每個捕獲用計算機還包括兩個視頻捕獲板—每個與捕獲計算機相連的攝像機一個。每個捕獲用計算機還提供諸如中間化之類的在與之相連的攝像機之間的混合功能。此外，控制計算機使得各捕獲用計算機接收來自與捕獲用計算機直接相連的攝像機相鄰的攝像機的輸出，因此，捕獲用計算機可將與捕獲用計算機直接相連的那個攝像機的輸出和相鄰的攝像機的輸出混合起來。例如，如果一個捕獲用計算機與攝像機“1”和“2”相連，并且第二個捕獲用計算機與攝像機“3”和“4”相連，那么第二個捕獲用計算機還接收攝像機“2”的輸出，以致可將此輸出與相鄰攝像機“3”的輸出混合起來。正如本文所述那樣，控制計算機協(xié)調(diào)捕獲用計算機及其它組件的操作。
立體圖像應(yīng)當認識到，使用環(huán)境的立體圖像也屬于本發(fā)明的范圍。為了獲得立體圖像，該系統(tǒng)從陣列(或電子存儲設(shè)備)中檢索出兩臺攝像機的至少一部分輸出并將其同時傳送給用戶。服務(wù)器處理部件將這些攝像機輸出合成，以獲得立體輸出。提供給用戶的每一幅圖像均是以這些立體輸出為基礎(chǔ)的。在一種立體實施例中，來自陣列中兩臺相鄰攝像機的輸出用于產(chǎn)生一個立體圖像。使用圖7a-7g的符號，一個圖像是來自于攝像機14-1和14-2的立體圖像。下一個圖像是以攝像機14-2和14-3或其他兩臺攝像機的立體輸出為基礎(chǔ)的。因此，在這一實施例中，可向用戶提供環(huán)境的銜接完美立體圖像這樣的附加特征。
多用戶如上所述，本發(fā)明允許多個用戶同時彼此獨立地巡視陣列。為容納多個用戶，上述系統(tǒng)區(qū)別對待來自多個用戶的輸入并選擇適合每個用戶輸入的單獨攝像機輸出。在一個實施例中，服務(wù)器通過將每一節(jié)點地址儲存在與該用戶相關(guān)的特定存儲位置中而跟蹤與每個用戶相關(guān)的當前攝像機節(jié)點地址。與此相似，利用由相應(yīng)用戶接口設(shè)備附加給用戶輸入的信息標簽，將每個用戶的輸入?yún)^(qū)別開來，并將該輸入標識為與特定存儲位置相關(guān)聯(lián)。
在另一個實施例中，兩個或兩個以上的用戶可以選擇相互連接，因而可一前一后地移動并擁有相同的環(huán)境圖像。在這一實施例中，每個用戶均可通過他/她的代碼指定另一個用戶為“向?qū)А?。操作時，服務(wù)器將向?qū)в脩羲x擇的輸出和圖像提供給向?qū)Ш瓦x擇該向?qū)У牧硪粋€用戶。另一用戶的輸入會使服務(wù)器斷開與上述用戶的連接，從而能讓各用戶控制他/她自己通過陣列的運動。
多陣列在某些應(yīng)用中，用戶還希望前后巡視環(huán)境，從而移近或遠離目標。盡管使用有變焦能力的攝像機屬于本發(fā)明的范圍，但使用變焦透鏡會伴有單個用戶進行的自動控制并阻礙多個用戶同時觀看攝像機節(jié)點處的不同的視野位置。解決阻礙多個用戶從陣列中相同攝像機位置處同時觀看不同視野的問題的一個實施例，伴有在單個攝像機位置處形成不同的視野選擇。在又一個實施例中，用攝像機集群在陣列中的各位置處形成不同的視野選擇，每個攝像機均具有不同視野的透鏡，但在陣列中有基本相同的頂點。在一個實施例中，同樣位置處的攝像機通過使用分束器和/或反射鏡而具有基本相同的頂點，從而使不同視野的攝像機實際上位于離開陣列中頂點的位置處，而且，每個攝像機均具有來自同樣遠景或頂點的視野。當在陣列中特定節(jié)點處使用多個攝像機時，每個攝像機及其相關(guān)的輸出均具有地址、存儲攝像機輸出的存儲位置，并且可根據(jù)用戶輸入指示用戶要接收哪個視野或相對視野(推或拉變焦鏡頭拍攝)來加以訪問。此外，應(yīng)該認識到，這種陣列中給定節(jié)點或位置處的多個攝像機的用法可用于本文所述的任何一個實施例中。
僅朝目標變焦同時簡化場景的背景和重組不會提供諸如變化的遠景、變化的陰影和光反射之類的視覺線索，這些線索是由實際向前移過環(huán)境的運動提供的。以下將參照圖11并繼續(xù)參照圖1來說明這樣的實施例，在該實施例中，用戶可以在有變化的圖像點遠景的情況下在空間上前后移過環(huán)境。正如本領(lǐng)域普通技術(shù)人員所認識到的那樣，可連同本文所述的任何服務(wù)器、存儲設(shè)備和用戶終端使用參照圖11描述的陣列。
圖11說明了能使用戶向左、向右、向上、向下、向前或向后移過環(huán)境的另一個實施例的俯視圖。多個有不同直徑包括一系列攝像機14的圓柱形陣列(121-1-121-n)位于包括一或多個目標1200的環(huán)境周圍，每次一個圓柱形陣列。位于目標1100周圍的攝像機14沿X和Z座標系統(tǒng)定位。因此，陣列12可包括多個在Z軸上不同位置(高度)處定位的具有同樣周長的環(huán)，以便在目標1100周圍形成一由攝像機14構(gòu)成的圓柱形。這就能使各陣列12中的各攝像機具有相關(guān)的、唯一的存儲節(jié)點地址，包括X和Z坐標—即陣列1(X，Y)。在本實施例中，例如，與特定攝像機的軸線相對應(yīng)的座標值表示沿該軸特定攝像機相對參照攝像機位移的攝像機位置的數(shù)量。在本實施例中，相對用戶的遠景，X軸圍繞陣列12的周邊延伸，Z軸向下和向上延伸。每個存儲節(jié)點均與X、Z座標所標識的攝像機圖像相關(guān)聯(lián)。
如上所述，攝像機14的輸出與一或多個服務(wù)器相連，以便將輸出搜集和傳輸給服務(wù)器18。
在一個實施例中，由于環(huán)境是靜態(tài)的，故每個攝像機僅需要一個存儲位置。攝像機的輸出可存儲在諸如n陣列矩陣之類的邏輯結(jié)構(gòu)內(nèi)，其中每個陣列均具有多個(X，Z)座標。在一個實施例中，節(jié)點地址可以包括陣列中特定的座標，即Array1(Xn，Zn)、Array2(Xn，Zn)至Arrayn(Xn，Zn)。如下所述，在用戶可利用有效攝像機圖像在環(huán)境中巡視時，用戶可以按極相同的方式巡視所存儲的圖像。
以下將參照圖12并繼續(xù)參照圖11說明將圖像輸入進存儲設(shè)備2O以便傳給用戶的一個實施例的總體操作。如在步驟1210所示，一圓柱形攝像機陣列12-1位于環(huán)境1100中目標的周圍。在步驟1220中，將各攝像機14的圖像傳給服務(wù)器18。然后，在步驟1230，服務(wù)器18的電子存儲設(shè)備20將各攝像機14的輸出存儲在與該攝像機14相關(guān)的存儲節(jié)點地址處?？蓮年嚵?2中某時刻的一個攝像機14開始或者通過同時傳送來自各陣列12的所有攝像機14的圖像數(shù)據(jù)而順序地進行圖像存儲。一旦存儲了陣列12-1的各攝像機14的輸出，就從環(huán)境中拆除圓柱形陣列12-1(步驟1240)。在步驟1250中，判斷具有不同直徑的其它圓柱形陣列12對那些已定位的陣列的可用性。如果希望有其它的圓柱形陣列12，則自步驟1210開始重復上述過程。在沒有其它陣列12可用于位于環(huán)境周圍時，就結(jié)束將圖像輸入進存儲設(shè)備20的過程(步驟1260)。在上述過程結(jié)束時，就會存在有可尋址存儲圖像的矩陣。
在存儲了所有與陣列12-1至12-n相關(guān)的輸出時，用戶可巡視環(huán)境?？赏ㄟ^由用戶接口設(shè)備24訪問存儲節(jié)點的輸入而進行巡視。在本實施例中，用戶輸入一般包括通過移向左或右而在環(huán)境或目標1100周圍移動、沿z軸向高處或低處移動、在環(huán)境中移近或遠離目標1100或者在環(huán)境周圍移動和移過環(huán)境的某種組合。例如，用戶可訪問存儲在節(jié)點地址Array3(0，0)中的圖像，以便觀看來自先前定位于Array3的座標(0，0)的攝像機的目標。通過訪問存儲在Array2(0，0)然后訪問Array1(0，0)中的圖像，用戶可直接向前移動，從而更接近目標1100。為了更遠離目標并向右和向上移動，用戶可移離存儲在節(jié)點地址Array1(0，0)內(nèi)的圖像并訪問存儲在節(jié)點地址Array2(1，1)內(nèi)的圖像，然后訪問存儲在節(jié)點地址Array3(2，2)內(nèi)的圖像等等。當然，用戶可通過改變環(huán)境及各節(jié)點的點遠景的任何增量而在陣列和/或座標中移動。此外，用戶可跳轉(zhuǎn)至環(huán)境的特定攝像機圖像。因此，用戶可按與上述就訪問有效攝像機輸出所述那樣相類似的方式移過環(huán)境。但是，這一實施例允許用戶以與訪問有效攝像機相反的方式訪問存儲在存儲節(jié)點中的圖像。而且，這一實施例提供了一種方便的系統(tǒng)和方法，以便允許用戶在環(huán)境中前后移動。
應(yīng)該注意，盡管各存儲節(jié)點與特定陣列的X、Z座標所標識的攝像機圖像相關(guān)聯(lián)，但也可以使用標識攝像機圖像和存儲節(jié)點的其它方法。例如，可以使用諸如指示(noting)相對固定參照點角位移的那些座標系統(tǒng)以及能指示相對當前攝像機節(jié)點的相對位移的座標系統(tǒng)之類的其它座標系統(tǒng)。還應(yīng)該認識到，攝像機陣列12可以是除圓柱形以外的其它形狀。而且，盡管通常是優(yōu)點，但攝像機陣列12包圍著整個環(huán)境并不是關(guān)鍵。
應(yīng)該認識到，前述用戶輸入即順時針運動、逆時針運動、向上、向下、接近環(huán)境和遠離環(huán)境僅僅是對經(jīng)過環(huán)境的運動的總體說明。盡管本發(fā)明不受這種限制，但在本發(fā)明的最佳實施例中，沿上述總體方向中的每個方向的運動還受用戶輸入的限制。而且，在與環(huán)境圖像相關(guān)的相鄰存儲節(jié)點中移動(沿x軸、z軸或在并列陣列中)時，可以混合服務(wù)器所產(chǎn)生給用戶的輸出，以便形成在環(huán)境中的銜接完美的運動。可通過但不限于上述過程來實現(xiàn)混合。
如上所述，本發(fā)明的陣列可用于以虛擬的方式捕獲用于任何目的的任何圖像。本發(fā)明的一個實施例的一種特定用法是比較多個圖像。正如從以下說明中可理解到的那樣，在用于比較圖像時，本發(fā)明可允許根據(jù)在任何給定的時間參照點處的多點遠景中的任何一個進行比較。以下參照圖15-17說明的示例性實施例提供了學習訓練，該幫助比較兩個高爾夫球手的擺動的圖像—一訓練專業(yè)人員和一表演者/新手。
如圖13所示，通常以大地穹頂1305的形式生成陣列，該大地穹頂具有一開口，它用于高爾夫球手進入或擊球。具體地說，上述陣列沿水平條帶延伸約270°、沿垂直條帶并排延伸180°并沿垂直條帶從地面處的后部向前朝所述開口延伸150°。
所述陣列不僅包括攝像機1310，而且包括燈1315、綠光屏背景罩蓋1320、綠光屏背景地板1325以及支承軌道結(jié)構(gòu)1330。正如在本技術(shù)領(lǐng)域中所周知的那樣，可以使用其它顏色的背景。多個攝像機1310填充由綠光屏1320和/或軌道1330支承的穹頂1305的內(nèi)部。如以下詳細描述的那樣，綠色罩蓋1320和地板1325允許更容易處理圖像。
正如以下詳細說明的那樣，攝像機1310可按邏輯組織成行，例如，最低行1335可指定為row0，從底部數(shù)的第二行1340指定為row1，從底部數(shù)的第三行1345指定為row2。此外，可例如從陣列的右側(cè)順時針地向左側(cè)在邏輯上對各行中的攝像機1310編號。如下所述，這種邏輯結(jié)構(gòu)便于處理圖像和在陣列中巡視。在另一個實施例，最好按除行以外的諸如幾何或隨機圖案來安裝攝像機1310，最好是使一個攝像機1310捕獲的圖像會覆蓋各相鄰攝像機1310所捕獲的圖像。
盡管在圖13中僅表示出該陣列，但是應(yīng)該認識到，該陣列也可依據(jù)參照圖1和8-10所述的結(jié)構(gòu)及其等價形式中任何一個連接到一或多個處理部件、存儲設(shè)備、用戶接口設(shè)備和其它組件上。在本實施例中，專業(yè)人員擺動的圖像被存儲在一個存儲設(shè)備中，新手擺動的圖像被存儲在第二存儲設(shè)備中。在另一實施例中，兩個擺動的圖像存儲在諸如熒光多層盤之類的單個存儲設(shè)備中的不同的層、級別或分區(qū)內(nèi)。兩個存儲設(shè)備中的每一個均并行地連接于服務(wù)器并且可由服務(wù)器來并行地訪問。此外，攝像機1310連按于電子存儲設(shè)備，因此可存儲圖像，并且服務(wù)器連接于存儲設(shè)備，因此可從存儲器中檢索出圖像，并對圖像進行處理且重新存儲在存儲設(shè)備內(nèi)。用戶接口設(shè)備還連接于服務(wù)器，因此可將圖像傳給用戶。
以下參照圖14說明圖像的捕獲和存儲。一旦高爾夫球手之一進入穹頂1305且啟動了系統(tǒng)，該系統(tǒng)就捕獲打高夫的人的擺動的圖像(步驟1405)。在本實施例中，各攝像機1310按每秒約30幀進行操作。在另一個實施例中，攝像機1310按每秒60幀捕獲圖像。然后處理來自各攝像機1310和用于各幀的圖像，以便將圖像與背景分開。具體地說，服務(wù)器(或?qū)Ｓ锰幚砥?從立體背景1320(步驟1410)中遮片(motte)出圖像。這種過程通常稱為對圖像作藍屏蔽、遮片、斷開(key)或色度斷開并且可由包括Ultimatte公司用ULTIMATTE商標以及由PixelCom J.V公司用PRIMATTE商標提供多種周知過程中的任何一個來進行。正如本領(lǐng)域普通技術(shù)人員所理解到的那樣，為了更好地顯示圖像，最好是遮片出圖像。然后，服務(wù)器以數(shù)字的形式將從各攝像機1310中遮片或斷開的圖像存儲在電子存儲設(shè)備內(nèi)(步驟1415)。
盡管本實施例并不要求，但是每個攝像機1310中各幀內(nèi)捕獲到的輸出(或圖像)被暫時存儲起來。然后，服務(wù)器處理暫時存儲的幀，以便從各個幀中提取/切取高爾夫球手的圖像并將提取/切取出的圖像存儲起來，最好是寫到原始(未切取)幀上。在另一個實施例中，服務(wù)器處理所說的幀，以便實時地切取出高爾夫球手的圖像。在這一實施例中，無須存儲臨時圖像。在又一個實施例中，不進行提取過程。一旦捕獲了專業(yè)的高爾夫球手的擺動，就重復系統(tǒng)操作以捕獲并存儲新手的擺動(步驟1420)。
圖15示出了一個在不存儲任何混合圖像情況下存儲在一個存儲設(shè)備中的一個高爾夫球手擺動的邏輯圖和尋址方案的實例。在每秒取三十幀并且平均的高爾夫球擺動持續(xù)少于三秒的情況下，就每個攝像機而言，將存儲約九十幀。如圖所示，來自各攝像機的每一幀均存儲在存儲設(shè)備中的獨立存儲單元或地址內(nèi)。在這一實施例中，地址的第一和第二位(最右)數(shù)字表示幀號，第三和第四位數(shù)字表示攝像機號，第五和第六位數(shù)字表示行號。因此，假定用標記rowx(y)表示行x的第y個攝像機且用標記framez表示第z幀，則第一行row1(1)中的第一攝像機所拍攝的第一幀frame1存儲在地址01 01 01處。與此相似，第二行row2(2)中的第二攝像機所拍攝的第三幀frame3存儲在地址02 02 03處。
應(yīng)該認識到，只要播放圖像的軟件能響應(yīng)用戶輸入而識別適當?shù)臄z像機輸出，則基本任何尋址方案均可用于存儲攝像機輸出。在另一個實施例中，可用諸如十六進制或二進制之類的任何標記來表示地址，并且地址可以或者不可以是連續(xù)的。盡管在本實施例中并不需要，但同樣的邏輯結(jié)構(gòu)可用于將第二高爾夫球手的擺動存儲在第二存儲設(shè)備內(nèi)。
業(yè)已說明了圖像的捕獲和存儲，以下將參照圖16和17并繼續(xù)參照圖13和15說明圖像的播放。作為起始步驟，用戶選擇在用戶終端上播放(步驟1605)，播放開始。具體地說，該系統(tǒng)通過將專業(yè)人員和新手的缺少的起始視圖(a default starting view)提供給用戶而開始(步驟1610)。在本實施例中，專業(yè)人員和新手的圖像從幀fame1處的相同攝像機1310被并列顯示，如圖17所示。以下詳細說明對第一幀的判斷。
在顯示了缺少的視圖之后，用戶可開始巡視聽存儲的圖像。同上述實施例一樣，用戶通過用戶輸入設(shè)備輸入用戶輸入，并且服務(wù)器按以上參照圖5和6所述的方式接收并解釋該輸入(步驟1615)。然后，服務(wù)器并行訪問并更新新手的圖像(步驟1620a)和專業(yè)人員的圖像(步驟1620b)。
在本實施例中，用戶輸入包括在陣列中移向左或右以及向上或向下移動，此外，各方向的運動可按時間在同一點上按時間向前或按時間向后。通過訪問并且在適當?shù)厥箶z像機拍攝的幀連貫起來的情況下進行上述運動。具體地說，可以根據(jù)幀的邏輯結(jié)構(gòu)和尋址方案來巡視陣列向左移至向下一個攝像機1310，使要加以觀看的圖像的地址的第三位數(shù)增一；向上移至下一行，使地址的第五位數(shù)增一；按時間向前移至下一幀，使地址的第一位數(shù)增一。
因此，參照圖15，始于row1(1)的第一幀frame1(即存儲在地址01 01 01處的圖像)并按時間連同凍結(jié)在同一點上的圖像向左移動，下一個圖像是與row1(2)的frame1相關(guān)聯(lián)的圖像(即存儲在地址01 02 01處的圖像)，然后是與row1(3)的frame1相關(guān)聯(lián)的圖像(即存儲在地址0103 01處的圖像)。與此相似，始于row1(1)的第一幀frame1(即存儲在地址01 01 01處的圖像)并按時間向上、向左和向前移動，下一個圖像是與row2(2)的frame2相關(guān)聯(lián)的圖像(即存儲在地址02 02 02處的圖像)然后是與row3(3)的frame3相關(guān)聯(lián)的圖像(即存儲在地址03 03 03處的圖像)。
一旦從存儲設(shè)備中訪問到并檢索出新的攝像機輸出，則服務(wù)器就將更新了的視圖提供給用戶(步驟1625)。同步更新專業(yè)人員和新手的圖像。將對用戶視圖的變化應(yīng)用于專業(yè)人員和新手的圖像。通過使用在包含專業(yè)人員圖像的存儲設(shè)備和包含新手圖像的存儲設(shè)備中的相同尋址方案，可有效地進行本實施例的操作。換句話說，將來自各攝像機的每幀存儲在不同存儲設(shè)備內(nèi)的相同地址處。所以，服務(wù)器接收用戶輸入，確定下一個適當?shù)臄z像機幀/輸出和相應(yīng)的地址，混合上一幀與更新的幀并將存儲在各存儲設(shè)備中該地址處的圖像提供給用戶。顯示出視圖以后，服務(wù)器等待下一個用戶輸入(步驟1615)。
在圖13-17的實施例中，服務(wù)器根據(jù)先前輸入的用戶輸入連續(xù)地更新圖像，直至用戶輸入不同輸入。而且，最好在進行圖像捕獲時按相同的速率即在本實施例中每秒三十幀進行播放。所以，在選定的用戶輸入是“按時間向前”(相對任何的攝像機)時，視圖基本上是按擺動的實際速度的視頻播放。應(yīng)該認識到，本發(fā)明獨立于攝像機的類型以及捕獲和播放速率。
因此，本實施例允許對圖像作增強的比較，因此能改進訓練?？砂炊喾N方式將新手的擺動與專業(yè)人員的擺動相比較。例如，可按時間在諸如新手向后擺動的頂部之類的單個點處并且相對陣列提供的諸如前、后、頂部等之類的任何遠景來比較擺動。此外，可在擺動的一部分或整個擺動過程中并相對變化的遠景通過按時間的順序點來比較擺動?？砂磳嶋H速度反復比較擺動，每次都相對新的遠景進行比較?？傊緦嵤├试S相對任何遠景在任何點上比較兩個圖像。
在用于比較多個圖像的另一實施例中，以一個重疊在另一個頂部的方式顯示圖像。在使用重疊圖像的又一個實施例中，用不同的亮度級別來顯示圖像。例如，可捕獲保持恒定的專業(yè)人員的擺動圖像并按亮度級別沒有變化的方式將其存儲起來。另一方面，可用較低的亮度級別來存儲新手的擺動圖像，以致該圖像可疊置在專業(yè)人員的擺動圖像的頂上。在這一實施例中，攝像機輸出暫時存儲在存儲設(shè)備內(nèi)并由服務(wù)器來檢索。服務(wù)器不僅處理輸出以遮片出圖像(如果希望的話)，而且調(diào)整各圖像的亮度級別。然后，服務(wù)器存儲處理過的輸出，以便在以后播放時進行檢索。在相關(guān)的實施例中，可在系統(tǒng)操作過程中諸如在開始從攝像機中檢索或剛好在輸出給用戶接口顯示設(shè)備之前在不同的點調(diào)節(jié)亮度級別。
在又一個實施例中，用戶可獨立地控制專業(yè)人員和新手擺動的視圖。在這一實施例中，服務(wù)器區(qū)分兩組用戶輸入----一組輸入與兩個圖像中的每一個相關(guān)。
在圖13-17的實施例中，穹頂上的開口使得高爾夫球手進行逼真的擺動并擊打?qū)嶋H的球。但是，在希望有更大的視野時，所述陣列不需要包括用于球行進的開口。相反，可將高爾夫球手完全封閉在攝像機的穹頂內(nèi)(通過有攝像機安裝在其上的門進入)，從而能從360°來進行觀看。
在圖13-17所示的實施例中，服務(wù)器通過幀/圖像之間的電子轉(zhuǎn)換而將攝像機幀/圖像混合起來。但是，在其它實施例中，服務(wù)器可按上述任何一種方式來混合幀/圖像。例如，在一個實施例中，混合包括從相鄰攝像機的輸出創(chuàng)建“中間化了”的圖像?？梢詣?chuàng)建和存儲中間化了的圖像，或者，該圖像取決于可用的處理能力，在將視圖呈現(xiàn)給用戶時加以實時創(chuàng)建。
圖18a示出了根據(jù)一個實施例的實際和混合圖像的邏輯關(guān)系，在該實施例中，混合圖像是合成圖像，它們是來自相鄰攝像機的圖像(輸出)的積。在三維圖中可被最好說明包含實際和混合圖像的幀的邏輯結(jié)構(gòu)，在該三維圖中，第一通路(access)表示順序的幀，第二通路表示順序的行，第三通路表示各行中的順序的攝像機。因此，如圖18a所示，沿水平軸(即從左至右)說明了同一攝像機的順序幀，沿垂直通路說明了相鄰的行，沿延伸進頁面的通路說明了相同行中的相鄰攝像機。具體地說，包含實像的幀被說明為方形并且具有與圖15中標識出的相應(yīng)幀相同的邏輯地址。通過按時間混合來自同一行兩個相鄰攝像機的相同點的輸出而創(chuàng)建的合成幀用三角形來表示；通過按時間混合來自相鄰行中相應(yīng)攝像機的相同點的輸出而創(chuàng)建的合成幀用圓來表示；通過按時間混合來自給定行中攝像機和來自相鄰行中下一個攝像機的相同點的輸出而創(chuàng)建的合成幀用菱形來表示。星號表示通過混合來自相鄰行中按時間在順序點處拍攝的相鄰攝像機的輸出而創(chuàng)建的合成幀(即相鄰的幀)。
此外，用邏輯標記來標記混合圖像，其中，與第二或第三對數(shù)字相鄰的單引號(‘)表示圖像是分別通過混合同一行中相鄰攝像機或相鄰行中相應(yīng)攝像機的輸出而形成的。例如，標記01’01 01是指通過混合來自01 01 01和02 01 01的幀而創(chuàng)建的圖像；標記01’01’01是指通過混合幀01 01 01和02 02 01而創(chuàng)建的圖像；標記01’01’01’是指通過混合幀01 01 01和02 02 02而創(chuàng)建的圖像。應(yīng)該認識到，盡管被說明為是兩個特定幀的積，但是，某些混合的幀卻可以是兩個或多個其它幀的積。例如，幀01’01’01’可以通過混合幀02 01 01和01 02 01或者通過混合01 01 01、02 01 01、01 02 01和02 02 01而創(chuàng)建的。
盡管為了簡化起見圖18a僅說明了兩個相鄰行中每一行內(nèi)兩個相鄰攝像機中的每一個攝像機的兩個連續(xù)的幀，但是應(yīng)該認識到，該邏輯說明能很容易地擴展至多個幀、攝像機和行。業(yè)已說明了包含實像的幀與包含混合圖像的合成幀的邏輯關(guān)系，以下參照圖18b和c并繼續(xù)參照圖13來說明示例性用戶巡航，圖18b和c使用了與圖18a相同的標記。
因此，將由幀01 01 01、01 01’01和01 02 01構(gòu)成的圖像順序地提供給從row1中第一攝像機開始巡視陣列并且按時間在同一點上移向左側(cè)的用戶。用戶通過按時間在同一點處向上移動而繼續(xù)巡視陣列，將由幀01’02 01和02 02 01構(gòu)成的圖像順序地提供給用戶。最后，用戶相對相同的攝像機按時間向前移動，將由幀02 02 02和后續(xù)幀02 0203、02 02 04等構(gòu)成圖像順序地提供給用戶。
與此相似，如圖18c所示，將幀01 01 01和01’01’01’順序地提供給按對角線向左和向上巡視陣列同時按時間向前移動的用戶。
在本發(fā)明的某些實施例中，該系統(tǒng)識別擺動的一或多個參照點并且使用這些參照點來使擺動同步和/或調(diào)節(jié)擺動的播放速度。在這些實施例，該系統(tǒng)包括用戶接口設(shè)備，通過該設(shè)備用戶可手動地表示擺動的參照點，或者該系統(tǒng)包括任何數(shù)量的諸如運動檢測器、測距儀、電子追蹤標志(安裝在高爾夫球手或高爾夫球棒上)等之類的運動測定設(shè)備。將這些設(shè)備應(yīng)用于本發(fā)明的實施例，可以標識出擺動中的多個點，包括向回擺動過程中的高爾夫球棒運動起始點、向回擺動結(jié)束時高爾夫球棒方向的變化、高爾夫球棒與高爾夫球的接觸、在高爾夫球棒靜止時擊球動作結(jié)束等等。手動指示以及來自上述運動測定裝置的擺動中各點的指示可用于使專業(yè)人員和新手的擺動同步。
在上述實施例中，該系統(tǒng)開始記錄參照時間t＝0時的擺動。然后，該系統(tǒng)手工或從運動測定裝置接收一指示，以便指示擺動中的參照點。具體地說，該系統(tǒng)自動地標記這種表示t＝x相對于記錄開始的時間。
在有了出現(xiàn)擺動參照點的時間表示(t＝x)的情況下，該系統(tǒng)能基本上通過使出現(xiàn)擺動參照點的時間乘以攝像機的記錄速度[即x秒(30幀/秒)＝30x幀]而識別出與參照點相對應(yīng)的幀。在又一個實施例中，該系統(tǒng)接收上述指示并且基本上是實時地標記相應(yīng)的參照幀。
對于專業(yè)人員擺動和新手擺動兩者都重復上述過程，可將所標識出的兩個參照幀用作擺動的同步點。例如，在參照點是向回擺動的起點的一個實施例中，上述參照幀可用作播放中的第一幀，并且，可相對兩個參照幀執(zhí)行所有巡視。
在擺動的起點是同步的實施例中，用戶可比較擺動，以便確定新手是擺動太快還是太慢。但是，在新手和專業(yè)人員按不同速度擺動的情況下，若擺動出現(xiàn)偏向并缺少同步，則難以進行擺動的逐點比較。但是，使用多個參照點能讓本系統(tǒng)使得擺動同步并且補償不同的擺動速度，從而，能基本上逐點地比較擺動。
以下將參照圖19-20說明一個實施例的操作，其中該系統(tǒng)使用了多個參照點并補償不同速度的擺動。不同擺動速度與擺動的不同持續(xù)時間相對應(yīng)，擺動的不同持續(xù)時間則又與不同數(shù)量的幀相對應(yīng)。因此，補償不同擺動速度的一種方式是調(diào)節(jié)用于擺動之一的幀的數(shù)量。
例如，專業(yè)高爾夫球手可在約兩秒鐘內(nèi)擺動。在兩秒的擺動過程中，按每秒三十幀運行的攝像機可捕獲六十幀。另一方面，新手較慢地擺動超過三秒。因此，新手擺動會占整個九十幀。因此，在按每秒同樣三十幀播放圖像情況下，將三十幀增加給專業(yè)人員的擺動會使專業(yè)人員的擺動有同樣的持續(xù)時間從而有新手的擺動那樣的速度，這兩者在持續(xù)時間上有九十幀。在本實施例中，這些額外的三十幀最好是根據(jù)各攝像機的連續(xù)幀創(chuàng)建的混合圖像，所說的連續(xù)幀均勻地散布在各攝像機的包含實像的幀中。
圖19說明了包含實像的幀和包含上述實例的混合圖像的幀的邏輯結(jié)構(gòu)。散布在包含專業(yè)人員擺動的實像的六十幀內(nèi)的是混合圖像的三十幀。具體地說，上述三十個混合圖像均勻地散布在每隔一對幀之間，在幀1與2之間，不在幀2與3之間、在幀3與4之間、不在幀4與5之間等等創(chuàng)建混合圖像。
應(yīng)該認識到，從來自同一攝像機的連續(xù)幀創(chuàng)建的混合圖像可在同樣實施例中組合成從來自不同攝像機的幀創(chuàng)建的混合圖像。而且，在本發(fā)明的某些實施例中，為調(diào)節(jié)圖像速度而散布的混合圖像可用于創(chuàng)建其它混合圖像。例如，在圖18a的示意圖中，用“X”表示混合圖像，這些圖像是散布的，以便調(diào)整擺動的速度，并且，(用圖18a的標記)混合圖像01 01 01’和02 01 01’用于創(chuàng)建混合圖像01’01 01’。
以下就圖20說明圖19的實施例的圖像捕獲和混合圖像創(chuàng)建。該系統(tǒng)首先捕獲并存儲專業(yè)人員擺動的圖像和新手擺動的圖像(步驟2010)。然后，系統(tǒng)通過用戶接口設(shè)備接收表示用戶希望的用戶輸入，以便協(xié)調(diào)兩種擺動的速度(步驟2020)。然后該系統(tǒng)前進至創(chuàng)建必要的混合圖像。
具體地說，在播放各圖像的過程中，該系統(tǒng)通過與系統(tǒng)(例如服務(wù)器)相連的運動測定設(shè)備接收標記第一擺動開始和結(jié)束的指示(步驟2030)。這些用戶指示相對記錄的開始按時間與特定的點相對應(yīng)，所述記錄的開始則與該系統(tǒng)標記的特定參照幀相對應(yīng)。在又一個實施例中，該系統(tǒng)通過來自諸如運動檢測器、測距儀、電子標記(electronictag)等之類的多個運動測定設(shè)備中的任何一個的輸入自動地識別各擺動的開始和結(jié)束，并且，在其它實施例中在播放圖像過程中通過用用戶接口設(shè)備的手工輸入自動地識別各擺動的開始和結(jié)束。
應(yīng)該認識到，擺動的“開始”和“結(jié)束”點不需要精確地加以限定，而是最好選擇成使這些點與兩種擺動的相同部分相對應(yīng)。例如，開始可以是高爾夫球手的向回擺動的開始，結(jié)束可以是高爾夫球手擊球動作之后高爾夫球棒靜止。
一旦該系統(tǒng)識別出用戶認為是擺動的邊界(即開始和結(jié)束)，該系統(tǒng)就確定第一擺動中的幀的數(shù)量(步驟2040)。在本實施例中，該系統(tǒng)通過記錄參照點之間的相對時間并且通過乘以每單位時間幀的數(shù)量(例如x秒)(30幀/秒)＝30x幀)來確定幀的數(shù)量。在另一實施例中，該系統(tǒng)通過為與擺動的開始與結(jié)束相對應(yīng)的幀之間的鏈接的幀地址表中的各幀地址增加一計數(shù)值而確定幀的數(shù)量。該系統(tǒng)進行同樣的步驟以為第二擺動計算幀的數(shù)量(步驟2050)。
一旦確定了包含實際圖像的各擺動中的幀的數(shù)量，則從較慢擺動中的幀的數(shù)量中減去較快擺動中的幀的數(shù)量，得出要增加給較快擺動的混合圖像的數(shù)量(步驟2060)。在圖19的實例中，由于較慢擺動包括九十幀，較快擺動包括六十幀，故必須將三十個混合幀增加給較快的擺動。
該系統(tǒng)還必須確定混合圖像的組成(步驟2070)。在圖19的邏輯圖的情況下，該系統(tǒng)必須確定混合圖像的“位置”。最好是該系統(tǒng)使包含混合圖像的幀均勻地散布。在本實施例中，通過將要增加的額外混合圖像的數(shù)量分成包含較快擺動的實像的幀的數(shù)量而確定幀的位置。于是在圖19的實例中，六十個原始幀除以三十個額外混合圖像等于每兩個原始幀有一個增加混合圖像。在除法結(jié)果為非整數(shù)的情況下，可通過將結(jié)果取整為下一個最大的整數(shù)而近似得出均勻分布。每個混合的圖像均包括將兩個相鄰的包含實像的幀混合的積。
一且確定的混合圖像的組成，系統(tǒng)就前進至創(chuàng)建和存儲混合圖像(步驟2080)。
應(yīng)該注意，本發(fā)明包括協(xié)調(diào)兩種擺動速度的其它方式。例如，在將混合圖像不插進較快擺動的另一實施例中，其被插入消隱幀或插入重復幀。在又一個實施例中，該系統(tǒng)通過根據(jù)擺動的長度的比例調(diào)節(jié)播放速度，從而計及不同的速度。例如，在圖19的實例中，專業(yè)人員擺動的播放速度(六十幀)比新手的擺動速度(九十幀)是新手擺動速度的三分之二(60幀/90幀)。因此，如果按每秒三十幀播放新手擺動，則按每秒二十幀播放專業(yè)人員的擺動，從而導致持續(xù)三秒[60幀(1秒/20幀)]＝30秒；[90幀(1秒/30幀)]＝3秒的擺動。該系統(tǒng)通過按不同的速度訪問和/或刷新幀而調(diào)節(jié)播放速度。在又一個實施例中，從圖像中丟棄來自較慢擺動的多個幀(等于在上述實施例中增加給較快擺動的數(shù)量)。
而且，應(yīng)該認識到，調(diào)節(jié)擺動速度的系統(tǒng)和方法可獨立地應(yīng)用于一部分擺動，從而使擺動的離散部分相同步。例如，可以協(xié)調(diào)專業(yè)人員和新手的向回擺動的不同的持續(xù)時間，因此，在播放時，兩個圖像會同時到達向回擺動的終點。此外，可按相類似的方式使其余的擺動(即向下擺動和繼續(xù)并完成某動作)同步。為了使得部分擺動同步，根據(jù)要加以同步的各部分擺動的開始和結(jié)束執(zhí)行圖20的過程。
盡管本文中業(yè)已說明了幀的某些邏輯存儲結(jié)構(gòu)，但是，應(yīng)該認識到，本發(fā)明并不局限于任何特定的幀尋址方案。一個示例性的尋址方案是圖5實施例的方案，其中將連續(xù)的圖像存儲在周知、連續(xù)的地址處。在又一個實施例中，該系統(tǒng)包括各種程度的幀地址鏈接表。
在一個這種實施例中，鏈接表中的各數(shù)據(jù)元素指向一幀以及各變量空間中先前和后繼的幀，諸如圖18a所示的幀，包括向上和向下、按對角線、向左和向右以及按時間向前和向后。在另一個這種實施例中，鏈接表中的各數(shù)據(jù)元素指向上述空間的一個子集中的先前或后繼的幀。此外，在陣列邊界處從攝像機獲取的幀最好鏈接于在相對邊界處獲取的幀。例如，將來自圖13的陣列中給定行中上一攝像機的幀鏈接于來自同一行中第一攝像機的幀。
此外，盡管本文就使圖像的速度和持續(xù)時間相協(xié)調(diào)所說明的示例性實施例涉及使兩個圖像相協(xié)調(diào)，但是，本發(fā)明可通過使用參照圖19描述的過程而用于使多個圖像相協(xié)調(diào)，以將幀增加給幾乎最長的圖像。此外，應(yīng)該認識到，盡管本文所述的實施例使包含混合圖像的單個幀散布在包含實像的幀之間，但是，在另一實施例中，包含混合圖像的多個幀也可散布在包含實像的幀之間。
應(yīng)該認識到，依照本發(fā)明捕獲和處理的圖像可以存儲在諸如CD-ROM之類的便攜存儲介質(zhì)上，并且可由用戶在這樣的硬件上播放，所述硬件獨立于用于捕獲和處理圖像的硬件。在這種實施例中，播放硬件包括提供播放功能的軟件，包括能響應(yīng)用戶輸入解釋用戶輸入、確定適當幀的位置并顯示這些幀。播放軟件按多種方式確定幀的位置，包括訪問存儲在存儲介質(zhì)上的幀的映像或鏈接表。
所涵蓋的實施例盡管就某些最佳實施例說明了本發(fā)明，但是，本領(lǐng)域一般技術(shù)人員可以看出的其它實施例也在本發(fā)明的范圍內(nèi)。因此，本發(fā)明的范圍僅限于所附權(quán)利要求。
權(quán)利要求
1.一種用于比較兩個或多個主體的系統(tǒng)，所述系統(tǒng)包括一攝像機陣列，所述陣列包括多個能捕獲來自多個遠景并按時間跨過多個點的圖像的攝像機；與上述陣列相連的一或多個存儲設(shè)備，所述存儲設(shè)備能夠存儲第一組第一主體的圖像以及第二組第二主體的圖像，所述成組圖像是由上述陣列從多個遠景并在按時間的多個點處捕獲的；以及與上述存儲設(shè)備相連的一或多個處理器，所述處理器被編程為有選擇地進行訪問以便顯示；一第一主體的第一圖像，該第一圖像來自所述遠景之一并位于所述按時間的點之一上；以及一第一主體的第二圖像，該第二圖像來自另一遠景、按時間的另一點或者來自另一遠景和按時間的另一點；以及一第二主體的第一圖像，該第一圖像來自所述遠景之一并位于所述按時間的點之一上；以及一第二主體的第二圖像，該第二圖像來自另一遠景、按時間的另一點或者來自另一遠景和按時間的另一點；所述處理器還被編程為能將第一圖像與第二圖像混合起來，從而能根據(jù)變化的遠景或按時間的變化點來比較第一主體和第二主體。
2.如權(quán)利要求1的系統(tǒng)，其特征在于，所述處理器響應(yīng)用戶輸入有選擇地訪問第一和第二圖像，所述用戶輸入指示變化的遠景、按時間的變化的點或者變化的遠景和按時間的變化的點。
3.如權(quán)利要求1的系統(tǒng)，其特征在于，所述第一主體的的第一和第二圖像和第二主體的第一和第二圖像一樣來自相同的遠景及按時間的點。
4.如權(quán)利要求1的系統(tǒng)，其特征在于，所述一或多個存儲設(shè)備包括第一組一或多個設(shè)備，它們用于存儲第一主體的圖像；第二組一或多個獨立設(shè)備，它們用于存儲第二主體的圖像。
5.如權(quán)利要求1的系統(tǒng)，其特征在于所述圖像是幀，所述存儲設(shè)備用于存儲這些幀，這些幀是可獨立訪問的。
6.如權(quán)利要求1的系統(tǒng)，其特征在于所述系統(tǒng)還包括與處理器相連的用戶顯示設(shè)備。
7.如權(quán)利要求6的系統(tǒng)，其特征在于，所述第一主體的第一和第二混合圖像被顯示成與第二主體的第一和第二混合圖像相鄰。
8.如權(quán)利要求6的系統(tǒng)，其特征在于，所述第一主體的第一和第二混合圖像被顯示在第二主體的第一和第二混合圖像之上。
9.如權(quán)利要求8的系統(tǒng)，其特征在于，所述處理器被編程為按第一亮度級別顯示第一主體的圖像，并按第二亮度級別顯示第二主體的圖像。
10.一種比較兩個或多個主體的方法，該方法包括從多個遠景隨時間(over time)捕獲第一主體的圖像；從多個遠景隨時間捕獲第二主體的圖像；存儲第一主體的圖像；存儲第二主體的圖像；訪問第一主體的第一圖像系列，該第一圖像系列來自變化的遠景、按時間的點或者遠景和按時間的點這兩者；訪問第二主體的第二圖像系列，該第二圖像系列來自變化的遠景、按時間的點或者遠景和按時間的點這兩者；混合第一系列的圖像；以及混合第二系列的圖像，所混合的第一系列和所混合的第二系列可用于觀看；
11.一種比較兩個或多個主體的方法，該方法包括從多個遠景隨時間捕獲第一主體的圖像；從多個遠景隨時間捕獲第二主體的圖像；存儲第一主體的圖像；存儲第二主體的圖像；訪問第一主體的第一圖像，該第一主體的第一圖像來自一個遠景和一個按時間的點；訪問第二主體的第一圖像，該第二主體的第一圖像來自一個遠景和一個按時間的點；訪問第一主體的第二圖像，該第一主體的第二圖像來自另一個遠景或另一個按時間的點；訪問第二主體的第二圖像，該第二主體的第二圖像來自另一個遠景或另一個按時間的點；混合第一主體的第一和第二圖像；以及混合第二主體的第一和第二圖像；一或多個處理器與存儲設(shè)備相連，該處理器被編程為能有選擇地進行訪問，以便顯示至少第一組圖像的一部分以及至少第二組圖像的一部分；所述第一組圖像的一部分以及第二組圖像的一部分是來自任何一種遠景和位于按時間的任何一點的圖像，所述的訪問允許從任何的遠景和在按時間的任何點比較第一主體和第二主體。
12.一種使兩個圖像同步的方法，該方法包括確定第一圖像相對第二圖像長度的長度；確定要增加給圖像中較短的一個的幀的數(shù)量，所述幀的數(shù)量是以上述第一與第二圖像長度之差為基礎(chǔ)的；將上述多個幀增加給較短的圖像。
13.一種比較多個圖像的方法，該方法包括確定第一圖像的一部分的長度；確定第二圖像的一部分的長度，所述圖像之一的那部分的長度比另一圖像的那部分的長度要短；將多個幀增加給較短的圖像部分，以使，較短圖像的那部分的長度會接近另一圖像那部分的長度。
14.如權(quán)利要求13的方法，其特征在于該方法還包括利用視頻攝像機陣列捕獲所述第一和第二圖像，每個圖像均在一時間周期由陣列中的多個攝像機捕獲。
15.如權(quán)利要求14的方法，其特征在于確定所述圖像部分的長度，包括接收各部分的邊界的手動指示。
16.如權(quán)利要求14的方法，其特征在于確定所述圖像部分的長度，包括接收所述部分的邊界的電子指示。
17.如權(quán)利要求14的方法，其特征在于，所述較短圖像部分的長度是多個第一幀，所述另一圖像部分的長度是多個第二幀，并且，要增加給較短圖像部分的幀的數(shù)量大致是比第一數(shù)量少的第二數(shù)量。
18.如權(quán)利要求14的方法，其特征在于，所述增加給較短圖像部分的幀包括根據(jù)較短圖像部分的兩個或多個相鄰幀合成的圖像。
19.如權(quán)利要求14的方法，其特征在于，所述增加給較短圖像部分的幀包括較短圖像部分的復制幀。
20.如權(quán)利要求14的方法，其特征在于，所述增加給較短圖像部分的幀包括消隱幀。
21.如權(quán)利要求14的方法，其特征在于該方法還包括確定第一圖像的第二部分的長度；確定第二圖像的第二部分的長度，所述一個圖像的第二部分的長度比另一個圖像的第二部分的長度要短；將多個幀增加給較短圖像的第二部分，以使較短圖像的第二部分的長度會接近另一圖像該部分的長度。
22.一種用于將環(huán)境的第一顯示提供給第一用戶并且將環(huán)境的第二顯示提供給第二用戶的遠程出席系統(tǒng)，所述系統(tǒng)包括多個可移動的攝像機陣列，每個攝像機均具有相關(guān)的環(huán)境視圖，相關(guān)的攝像機輸出表示相關(guān)的視圖；至少一個存儲設(shè)備，該設(shè)備包括多個存儲節(jié)點，其中各攝像機的輸出被存儲在相關(guān)的存儲節(jié)點內(nèi)，所述存儲節(jié)點是可訪問的，以使至少有一個路徑用于觀看環(huán)境；一第一用戶接口設(shè)備，它與上述第一用戶相關(guān)，所述第一用戶具有與沿環(huán)境中第一路徑的運動相關(guān)聯(lián)的第一用戶輸入；一第二用戶接口設(shè)備，它與上述第二用戶相關(guān)，所述第二用戶具有與沿環(huán)境中第二路徑的運動相關(guān)聯(lián)的第二用戶輸入；至少一個處理部件，它與上述用戶接口設(shè)備相連，用于接收用戶輸入，且用戶輸入包括上下運動、繞環(huán)境順時針運動、繞環(huán)境逆時針運動、向前和向后移過環(huán)境；所述處理部件被配置成能解釋所接收的第一輸入并選擇構(gòu)成第一路徑的存儲節(jié)點的輸出、解釋所接收的第二輸入并以獨立于第一輸入的方式選擇構(gòu)成第二路徑的存儲節(jié)點的輸出，從而使第一和第二用戶同時且獨立地巡視環(huán)境。
23.如權(quán)利要求22的遠程出席系統(tǒng)，其特征在于，可通過所述處理部件來訪問上述攝像機的輸出。
24.如權(quán)利要求22的遠程出席系統(tǒng)，其特征在于，每個可移動的陣列均相對環(huán)境住于不同的長度處。
25.如權(quán)利要求23的遠程出席系統(tǒng)，其特征在于，在陣列中的攝像機業(yè)已將輸出傳送給相關(guān)存儲節(jié)點之后拆除各個陣列。
26.如權(quán)利要求25的遠程出席系統(tǒng)，其特征在于，每個陣列均具有圓柱形形狀并且具有可變的直徑。
27.一種用于將環(huán)境的第一顯示提供給第一用戶并且將環(huán)境的第二顯示提供給第二用戶的遠程出席系統(tǒng)，所述系統(tǒng)包括多個可移動的攝像機陣列，每個攝像機均具有相關(guān)的環(huán)境視圖，相關(guān)的攝像機輸出表示相關(guān)的視圖，所述陣列位于相對環(huán)境位于可變的長度處并且包括至少一個用于觀看環(huán)境的路徑，可在陣列中的攝像機業(yè)已將輸出傳送給相關(guān)存儲節(jié)點之后拆除上述陣列；至少一個存儲設(shè)備，該設(shè)備包括多個存儲節(jié)點，其中各攝像機的輸出被存儲在相關(guān)的存儲節(jié)點內(nèi)，所述存儲節(jié)點是可訪問的，以使至少有一個路徑用于觀看環(huán)境；一第一用戶接口設(shè)備，它與上述第一用戶相關(guān)，所述第一用戶具有與沿環(huán)境中第一路徑的運動相關(guān)聯(lián)的第一用戶輸入；一第二用戶接口設(shè)備，它與上述第二用戶相關(guān)，所述第二用戶具有與沿環(huán)境中第二路徑的運動相關(guān)聯(lián)的第二用戶輸入；至少一個處理部件，它與上述用戶接口設(shè)備相連，用于接收用戶輸入，且用戶輸入包括上下運動、繞環(huán)境順時針運動、繞環(huán)境逆時針運動、向前和向后移過環(huán)境；所述處理部件被配置成能解釋所接收的第一輸入并選擇構(gòu)成第一路徑的存儲節(jié)點的輸出、解釋所接收的第二輸入并以獨立于第一輸入的方式選擇構(gòu)成第二路徑的存儲節(jié)點的輸出，從而使第一和第二用戶同時且獨立地巡視環(huán)境。
28.一種用于向用戶提供遠程環(huán)境的視圖的方法，該方法包括接收取自多個攝像機陣列的環(huán)境的電子圖像；將上述環(huán)境的圖像存儲在與各攝像機相關(guān)的存儲節(jié)點內(nèi)，所述存儲節(jié)點是可訪問的，從而使至少有一個路徑用于觀看環(huán)境；在將圖像存儲在相關(guān)存儲節(jié)點內(nèi)之后拆除攝像機陣列；從與第一用戶相關(guān)聯(lián)的第一用戶接口設(shè)備中接收第一輸入，該第一輸入指示沿第一路徑的運動；從與第二用戶相關(guān)聯(lián)的第二用戶接口設(shè)備中接收第二輸入，該第二輸入指示沿第二路徑的運動；通過根據(jù)第一輸入利用第一處理部件將第一圖像與第二圖像混合而獲得第一混合圖像；通過根據(jù)第二輸入利用第二處理部件將第三圖像與第四圖像混合而獲得第二混合圖像；向第一用戶提供所述第一混合圖像，從而模擬沿第一路徑的運動；以及；向第二用戶提供所述第二混合圖像，從而獨立地模擬沿第二路徑的運動。
29.如權(quán)利要求28的方法，其特征在于，某時刻的一個陣列位于環(huán)境周圍。
30.一種用于使第一用戶響應(yīng)至少一個第一輸入沿第一路徑巡視環(huán)境，并且使第二用戶響應(yīng)至少一個第二輸入沿第二路徑以獨立于第一用戶的方式巡視環(huán)境的遠程出席系統(tǒng)，該系統(tǒng)包括一攝像機陣列，該陣列包括第一系列攝像機節(jié)點，它們限定了經(jīng)過環(huán)境的第一路徑，其中每個攝像機節(jié)點均包括至少一個攝像機，并且上述第一系列中的攝像機均具有沿第一路徑的逐漸不同的環(huán)境遠景；以及第二系列攝像機節(jié)點，它們限定了經(jīng)過環(huán)境的第二路徑，其中第二系列中的攝像機均具有沿第二路徑的逐漸不同的環(huán)境遠景；所述攝像機節(jié)點中的至少一個節(jié)點包括多個具有來自基本相同遠景的不同環(huán)境視野；至少一個處理部件，它與所述陣列相連，上述處理部件被配置成根據(jù)第一輸入選擇所述第一系列中的攝像機輸出，并且使選出的第一系列中的攝像機輸出被順序地提供給第一用戶，從而使第一用戶沿第一路徑逐漸地巡視環(huán)境，所述至少一個處理部件還被配置成根據(jù)第二輸入選擇所述第二系列中的攝像機輸出，并且使選出的第二系列中的攝像機輸出被順序地提供給第二用戶，從而使第一用戶和第二用戶沿攝像機限定的路徑同時且獨立地巡視環(huán)境，并且根據(jù)至少一個攝像機節(jié)點處的攝像機視野向前或向后移過環(huán)境。
全文摘要
一種遠程出席系統(tǒng)(100)，利用攝像機(14)陣列(10)向第一用戶(22－1)提供環(huán)境的第一顯示并向第二用戶(22－2)提供環(huán)境的第二顯示。每臺攝像機(14)均有一相關(guān)聯(lián)的環(huán)境圖像。第一用戶接口設(shè)備(24)具有與沿第一路徑的運動相關(guān)聯(lián)的第一用戶輸入，第二用戶接口設(shè)備具有與第二路徑相關(guān)聯(lián)的第二用戶輸入。一處理部件解釋上述第一和第二輸入并獨立地選擇攝像機的輸出，從而使第一用戶和第二用戶同時并獨立地巡視所說的環(huán)境。在另一個實施例中，所述陣列(10)包括位于節(jié)點或遠景上的多個攝像機(14)，所述攝像機(14)具有可由用戶選擇的不同視野，以便在環(huán)境中向前或向后巡視。所述系統(tǒng)還可用于比較多個圖像或圖像一部分。
文檔編號H04N5/225GK1409925SQ00817008
公開日2003年4月9日 申請日期2000年10月16日 優(yōu)先權(quán)日1999年10月15日
發(fā)明者斯科特·索羅肯, 安德魯·H·威伯, 大衛(wèi)·C·沃利 申請人:凱瓦津格公司