專利名稱：攝像控制裝置、沒入位置信息生成裝置、攝像控制方法、沒入位置信息生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及拍攝使用戶融像的視頻的攝像控制裝置、沒入位置信息生成裝置、攝像控制方法、沒入位置信息生成方法。
背景技術(shù)：
在具有左右攝影光學(xué)系統(tǒng)的立體攝像機(jī)中，在最佳的左右兩眼視差調(diào)整上進(jìn)行各種嘗試。例如，基于聚焦信息，通過立體效果調(diào)整機(jī)構(gòu)，利用驅(qū)動(dòng)電動(dòng)機(jī)使左右攝像機(jī)的光軸的交叉位置與被攝體的位置一致，或者根據(jù)變焦倍率信息，進(jìn)行立體圖像攝影裝置的左右攝影光學(xué)系統(tǒng)間的基線長(zhǎng)、輻輳角的控制，作出最佳的兩眼視差(參照專利文獻(xiàn)I至4)。另外，公開了通過將對(duì)變焦倍率變動(dòng)前的基線長(zhǎng)乘以變焦倍率變動(dòng)量的倒數(shù)的值 設(shè)定成新的基線長(zhǎng)，并且將左右攝影光學(xué)系統(tǒng)的光軸的交點(diǎn)設(shè)定成與基線長(zhǎng)變動(dòng)前相同的位置的輻輳角，從而將偏移量抑制成與變焦變動(dòng)前相比幾乎不變，促使觀察者的立體圖像的自然融像(參照專利文獻(xiàn)5)。這里，所謂自然融像，是指觀察者將右眼用的視頻和左眼用的視頻識(shí)別為立體的視頻?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :特開2008-233579號(hào)公報(bào)專利文獻(xiàn)2 :特開1995-322128號(hào)公報(bào)專利文獻(xiàn)3 :特開2009-210957號(hào)公報(bào)專利文獻(xiàn)4 :特開2005-24629號(hào)公報(bào)專利文獻(xiàn)5 :特開2003-107601號(hào)公報(bào)但是，在中、近距離拍攝實(shí)況的立體視頻的攝影時(shí)有效的上述的調(diào)整方法，在作為中、長(zhǎng)距離拍攝實(shí)況的廣播用視頻的情況下，有時(shí)不理想。例如，在作為提供同樣的立體視頻的技術(shù)的CG (Computer Graphics :計(jì)算機(jī)圖形學(xué))中，由于在有視差的視頻構(gòu)圖(rendering)時(shí)能夠設(shè)定從任意的視點(diǎn)起的觀察者視差，因此，無論在什么樣的場(chǎng)景(scene)下，設(shè)定任意的位置作為觀察者的視點(diǎn)，不僅是放大變焦，也能夠播出像觀察者接近對(duì)象物體那樣的變焦(以后，為了區(qū)別，標(biāo)記為沒入變焦，假設(shè)也包含縮小變焦時(shí)的相反動(dòng)作)。這里，“沒入變焦”是指，相對(duì)于僅進(jìn)行通常的視頻放大的變焦，也使視差匹配地變化，從而使得接近觀察者實(shí)際接近或者離開的狀態(tài)的變焦方法。也就是說，相對(duì)于放大遠(yuǎn)處的立體(用雙筒望眼鏡觀看的感覺)有觀察者由于接近了物體而看得大的狀態(tài)(伴隨視點(diǎn)的移動(dòng)的感覺)的表現(xiàn)方面的差異。這里，在中、近距離拍攝實(shí)況中不那么成問題，倒是與通過抑制兩眼的視差而容易地進(jìn)行觀察者的融像的場(chǎng)景不同，在中、長(zhǎng)距離拍攝實(shí)況的場(chǎng)景中，會(huì)產(chǎn)生被攝體的凹凸相對(duì)于至被攝體的距離的比例(在被攝體相對(duì)于視野空間的進(jìn)深上產(chǎn)生的視差)不同導(dǎo)致的沒入感的喪失的問題。例如，如果考慮進(jìn)深I(lǐng)m的3D區(qū)域中的IOcm的凹凸的超出量(10%)和進(jìn)深50m的3D區(qū)域中的IOcm的凹凸的超出量(O. 2%)，在想要表現(xiàn)觀察者感覺到的立體感不同的場(chǎng)景下，不僅是放大變焦，如果不表現(xiàn)與觀察者的(設(shè)想播出方面)站立位置聯(lián)動(dòng)的沒入變焦，則可能損害觀察者感覺到的沒入感、現(xiàn)場(chǎng)感。在僅基于以往的方法的情況下，即使進(jìn)行與距離對(duì)應(yīng)的基線長(zhǎng)設(shè)定、輻輳角設(shè)定也能夠減輕融像時(shí)的失真和偏移，但是雖然變焦，還是存在沒入感輕的問題。另外，即使減輕變焦時(shí)縮短基線長(zhǎng)導(dǎo)致的近像偏移，也存在失去沒入感的問題。另外，在播出沒入感方面，在實(shí)際環(huán)境中，如果接近對(duì)象物，輻輳角應(yīng)該變大，但是如圖11的虛線所示，通過放大變焦得到的圖像并非如此，輻輳角會(huì)無變化或者變小，因此，存在觀察者對(duì)與平常的感覺不同的視覺信息覺得不協(xié)調(diào)，或者難以融像的問題。在再現(xiàn)時(shí)亥IJ，觀察者的視點(diǎn)位置對(duì)于觀察者來說變得不清楚。另外，圖11的直線所示的是以基本的倍率拍攝畫面區(qū)域的情況，表示該情況下的2臺(tái)光學(xué)系統(tǒng)的位置、輻輳角、基線長(zhǎng)、視差圖像。另外，圖11的點(diǎn)劃線表示的是攝像機(jī)接近被攝體的情況，表示該情況下的2臺(tái)光學(xué)系統(tǒng)的位置(正接近)、輻輳角(正變大)、基線長(zhǎng)(無 變化)、視差圖像(被攝體變大且視差變大)。

發(fā)明內(nèi)容
本發(fā)明鑒于上述問題，目的在于提供焦點(diǎn)保持一定而使虛擬視點(diǎn)與變焦位置一致，拍攝能夠?qū)崿F(xiàn)有沒入感的放大變焦的圖像的攝像控制裝置、沒入位置信息生成裝置、攝像控制方法、沒入位置信息生成方法。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明，提供攝像控制裝置，該攝像控制裝置拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的被攝體識(shí)別為立體的至少2個(gè)圖像，具有攝像部件，具有以規(guī)定的基線長(zhǎng)的間隔配置的至少2個(gè)光學(xué)系統(tǒng)，拍攝所述被攝體；計(jì)算部件，在將以所述基線長(zhǎng)間隔配置的所述至少2個(gè)光學(xué)系統(tǒng)的變焦倍率作為基準(zhǔn)變焦倍率時(shí)，基于所述基準(zhǔn)變焦倍率、相對(duì)于所述規(guī)定的基準(zhǔn)變焦倍率的期望的變焦倍率、從所述攝像部件至所述被攝體的距離，計(jì)算從為了實(shí)現(xiàn)所述期望的變焦倍率而應(yīng)配置所述攝像部件的虛擬的位置起至所述攝像部件的現(xiàn)實(shí)的位置為止的距離即沒入距離，基于計(jì)算出的所述沒入距離，計(jì)算在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)的情況下的所述至少2個(gè)個(gè)光學(xué)系統(tǒng)的間隔，所述在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)是為了實(shí)現(xiàn)與在所述虛擬的位置配置攝像控制裝置而實(shí)現(xiàn)所述期望的變焦倍率的情況同樣的期望的變焦倍率；以及控制部件，將所述規(guī)定的基線長(zhǎng)變更為計(jì)算出的所述間隔，配置所述至少2個(gè)光學(xué)系統(tǒng)，所述攝像部件在由所述控制部件配置了所述至少2個(gè)光學(xué)系統(tǒng)的狀態(tài)下，拍攝所述被攝體。根據(jù)該結(jié)構(gòu)，能夠?qū)崿F(xiàn)有沒入感的放大變焦。另外，所謂規(guī)定的距離，是指通過與變焦聯(lián)動(dòng)而使基線長(zhǎng)變長(zhǎng)，從而能夠?qū)崿F(xiàn)有沒入感的變焦的距離。另外，這里的用戶相當(dāng)于后述的觀察者(以下同樣)。另外，根據(jù)本發(fā)明，提供沒入位置信息生成裝置，該沒入位置信息生成裝置基于來自攝像控制裝置的信息，生成用于將被攝體識(shí)別為立體的信息，所述攝像控制裝置拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的所述被攝體識(shí)別為立體的至少2個(gè)圖像，該沒入位置信息生成裝置具有接收部件，從所述攝像控制裝置接收所述用戶的虛擬視點(diǎn)位置的信息；以及生成部件，生成將接收到的所述虛擬視點(diǎn)位置的信息附加到來自所述攝像控制裝置的拍攝視頻的視頻信息。根據(jù)該結(jié)構(gòu)，能夠?qū)崿F(xiàn)有沒入感的放大變焦。另外，根據(jù)本發(fā)明，提供攝像控制方法，該攝像控制方法為拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的被攝體識(shí)別為立體的至少2個(gè)圖像的攝像控制方法，具有計(jì)算步驟，在將以規(guī)定的基線長(zhǎng)的間隔配置的至少2個(gè)光學(xué)系統(tǒng)的變焦倍率作為基準(zhǔn)變焦倍率時(shí)，基于所述基準(zhǔn)變焦倍率、相對(duì)于所述規(guī)定的基準(zhǔn)變焦倍率的期望的變焦倍率、從具有所述至少2個(gè)光學(xué)系統(tǒng)且拍攝所述被攝體的攝像部件至所述被攝體的距離，計(jì)算從為了實(shí)現(xiàn)所述期望的變焦倍率而應(yīng)配置所述攝像部件的虛擬的位置起至所述攝像部件的現(xiàn)實(shí)的位置為止的距離即沒入距離，基于計(jì)算出的所述沒入距離，計(jì)算在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)的情況下的所述至少2個(gè)光學(xué)系統(tǒng)的間隔，所述在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)是為了實(shí)現(xiàn)與在所述虛擬的位置配置攝像控制裝置 而實(shí)現(xiàn)所述期望的變焦倍率的情況同樣的期望的變焦倍率；控制步驟，將所述規(guī)定的基線長(zhǎng)變更為計(jì)算出的所述間隔，配置所述至少2個(gè)光學(xué)系統(tǒng)；以及攝像步驟，在由所述控制步驟配置了所述至少2個(gè)光學(xué)系統(tǒng)的狀態(tài)下，拍攝所述被攝體。根據(jù)該結(jié)構(gòu)，能夠?qū)崿F(xiàn)有沒入感的放大變焦。另外，根據(jù)本發(fā)明，提供沒入位置信息生成方法，該沒入位置信息生成方法基于來自攝像控制裝置的信息，生成用于將被攝體識(shí)別為立體的信息，所述攝像控制裝置拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的所述被攝體識(shí)別為立體的至少2個(gè)圖像，該沒入位置信息生成方法具有接收步驟，從所述攝像控制裝置接收所述用戶的虛擬視點(diǎn)位置的信息；以及生成步驟，生成將接收到的所述虛擬視點(diǎn)位置的信息附加到來自所述攝像控制裝置的拍攝視頻的視頻信息。根據(jù)該結(jié)構(gòu)，能夠?qū)崿F(xiàn)有沒入感的放大變焦。本發(fā)明的拍攝立體圖像的攝像控制裝置、沒入位置信息生成裝置、攝像控制方法、沒入位置信息生成方法能夠?qū)崿F(xiàn)有沒入感的放大變焦。


圖I是用于說明本發(fā)明的實(shí)施方式的概要的圖。圖2是用于說明本發(fā)明的實(shí)施方式中一例通知虛擬視點(diǎn)位置的情形的圖。圖3是用于說明一例應(yīng)用本發(fā)明的實(shí)施方式的攝像控制裝置以及沒入位置信息生成裝置的圖。圖4是用于說明另一例應(yīng)用本發(fā)明的實(shí)施方式的攝像控制裝置以及沒入位置信息生成裝置的圖。圖5是表示一例由本發(fā)明的實(shí)施方式提供的視頻的圖。圖6是表示一例在本發(fā)明的實(shí)施方式的監(jiān)視器上顯示的變焦率的顯示條(bar)(包含當(dāng)前的變焦顯示和當(dāng)前的虛擬視點(diǎn)的位置顯示)的圖。圖7是表示一例本發(fā)明的實(shí)施方式的攝像控制裝置的結(jié)構(gòu)的結(jié)構(gòu)圖。圖8是表示一例本發(fā)明的實(shí)施方式的沒入位置信息生成裝置的結(jié)構(gòu)的結(jié)構(gòu)圖。圖9是表示一例在本發(fā)明的實(shí)施方式的攝像控制裝置中的處理流程的流程圖。圖10是表示一例在本發(fā)明的實(shí)施方式的沒入位置信息生成裝置中的處理流程的流程圖。圖11是用于說明以往的問題的圖。
具體實(shí)施例方式使用圖I至圖10說明本發(fā)明的實(shí)施方式。另外，為了使說明簡(jiǎn)單，以變焦動(dòng)作開始的時(shí)刻的拍攝倍率和視點(diǎn)設(shè)定為基準(zhǔn)。例如，設(shè)定為倍率為I倍、光學(xué)系統(tǒng)的設(shè)置位置為觀察者視點(diǎn)、基線長(zhǎng)為一般的視聽者的兩眼間距離。這里，所謂“基線長(zhǎng)”為光學(xué)系統(tǒng)的間隔(例如默認(rèn)值)，是指若與一般的人眼大致相同地離開，觀察者能夠立體地看到以該狀態(tài)拍攝出的視頻這樣的間隔。另外，假設(shè)在將被攝體捕捉到畫面的中央附近的構(gòu)圖中，將光學(xué)系統(tǒng)的焦點(diǎn)位置設(shè)定為被攝體的位置。圖I中，表示2個(gè)光學(xué)系統(tǒng)101、102，將2個(gè)光學(xué)系統(tǒng)101、102之間的距離作為基線長(zhǎng)。該光學(xué)系統(tǒng)101、102能夠成為后述的攝像部701的一部分。圖I表示光學(xué)系統(tǒng)101、 102分別從光學(xué)系統(tǒng)101、102的位置拍攝的被攝體的像103、104。這里，所謂光學(xué)系統(tǒng)101、102的位置指根據(jù)變焦前的構(gòu)圖下的視差確定的虛擬視點(diǎn)。另外，所謂變焦前的構(gòu)圖下的視差，指右眼用的視頻和左眼用的視頻的觀察方式之差。另外，所謂虛擬視點(diǎn)，指在使變焦倍率變化時(shí)，相對(duì)于作為基準(zhǔn)的倍率，視點(diǎn)移動(dòng)的結(jié)果變成觀察者感覺的大小時(shí)設(shè)想的視點(diǎn)、視點(diǎn)的位置。在攝像控制裝置中，以該光學(xué)系統(tǒng)101、102的位置(視點(diǎn))為基準(zhǔn)進(jìn)行控制，以與畫面放大的變焦倍率匹配，確保使觀察者的視點(diǎn)(虛擬視點(diǎn))移動(dòng)至相適合的位置時(shí)產(chǎn)生的輻輳角(沒入變焦)。這里，所謂輻輳角，指2個(gè)光學(xué)系統(tǒng)101、102相對(duì)于焦點(diǎn)位置所成的角度。具體而言，如圖I的點(diǎn)劃線所示，通過控制使得各個(gè)光學(xué)系統(tǒng)101、102的基線長(zhǎng)變大，從而使得相對(duì)于焦點(diǎn)位置所成的輻輳角與在虛擬視點(diǎn)的位置與放大變焦的倍率對(duì)應(yīng)的情況下所成的(變大)輻輳角一致。圖I表示使其那樣的情況下的像105、106。此時(shí)，在使焦點(diǎn)位置一定，不使捕捉被攝體的構(gòu)圖變化的情況下，或者使其變化為任意的構(gòu)圖的情況下，優(yōu)選還能夠考慮與其對(duì)應(yīng)的光學(xué)系統(tǒng)的朝向變化的情況。這里所謂光學(xué)系統(tǒng)的朝向，指以光學(xué)系統(tǒng)的垂直方向?yàn)檩S的自轉(zhuǎn)角度。另外，這如果用其它觀點(diǎn)的控制方法來表現(xiàn)，用于增大基線長(zhǎng)的變更量，如果是能夠以在各個(gè)光學(xué)系統(tǒng)101、102的自轉(zhuǎn)方向的控制下形成的輻輳角對(duì)應(yīng)、即通過使光學(xué)系統(tǒng)101、102自轉(zhuǎn)能夠加大輻輳角，則能夠僅在光學(xué)系統(tǒng)101、102的自轉(zhuǎn)方向的控制(或者與基線長(zhǎng)的控制組合)下進(jìn)行。即，在多個(gè)光學(xué)系統(tǒng)(至少2個(gè)光學(xué)系統(tǒng))可以自己轉(zhuǎn)動(dòng)的情況下，后述的虛擬視點(diǎn)位置計(jì)算單元704在計(jì)算基線長(zhǎng)的長(zhǎng)度(間隔)時(shí)，在可以通過使多個(gè)光學(xué)系統(tǒng)轉(zhuǎn)動(dòng)而加大輻輳角的情況下，考慮多個(gè)光學(xué)系統(tǒng)的轉(zhuǎn)動(dòng)產(chǎn)生的輻輳角而計(jì)算基線長(zhǎng)的長(zhǎng)度(間隔)。沒入變焦前后的構(gòu)圖的變化根據(jù)拍攝場(chǎng)景而各種各樣，因此，存在應(yīng)該加大的基線長(zhǎng)和光學(xué)系統(tǒng)的自轉(zhuǎn)角度根據(jù)到焦點(diǎn)位置為止的距離、變焦前后的虛擬視點(diǎn)的位置、畫面中主要的被攝體的位置(距離畫面的中心位置的偏移)而不同的情況，其結(jié)果，在進(jìn)行控制使得輻輳角根據(jù)變焦后觀察者的視點(diǎn)移動(dòng)的虛擬視點(diǎn)的位置而變大方面，上述控制方法帶來同樣的效果。這里，在沒入變焦前后的構(gòu)圖的變化中，還包含作為構(gòu)圖，在由畫面的中心捕捉這樣的意義下沒有變更。
另外，作為其它方法，根據(jù)拍攝時(shí)的播出，在能夠忽略變焦動(dòng)作中的變更(通過切換到其它視點(diǎn)攝像機(jī)等可剪切這樣的情況)，或者在固定的多個(gè)虛擬視點(diǎn)位置間切換的情況下，也可以用來自其它光學(xué)系統(tǒng)的視頻來確?；€長(zhǎng)。另外，在其它光學(xué)系統(tǒng)中，還包含作為攝像機(jī)單元分離的結(jié)構(gòu)。特別地，在作為攝像機(jī)單元分離的情況下，優(yōu)選各個(gè)光學(xué)系統(tǒng)的水平位置一致。這是因?yàn)橹辽僮罱K進(jìn)行融像的視頻，如果構(gòu)圖、焦點(diǎn)位置不一致，則難以進(jìn)行觀察者的自然融像。以上這樣控制的結(jié)果，通過以加大光學(xué)系統(tǒng)間的距離而使得變焦時(shí)基線長(zhǎng)變大這樣來進(jìn)行拍攝，從而能夠獲得與接近了的情況同樣的視差視頻，并且能夠進(jìn)行有沒入感的變焦。另外，上述說明表示變焦(放大方向、放大(zoom in))時(shí)的動(dòng)作，但是在縮小方向的變焦(縮小(zoom out)、遠(yuǎn)去(zoom back))時(shí)進(jìn)行相反的動(dòng)作。接著，說明通過攝像控制裝置計(jì)算出的虛擬視點(diǎn)位置(通過變焦看起來接近了的 位置)的通知。另外，后面敘述虛擬視點(diǎn)位置的計(jì)算等攝像控制裝置中的具體的處理。該虛擬視點(diǎn)位置是根據(jù)相對(duì)于焦點(diǎn)位置(到變焦對(duì)象的被攝體為止的距離)和攝像機(jī)位置(實(shí)際視點(diǎn))的變焦倍率求出的視點(diǎn)的位置。實(shí)際上，也有不這樣單純的情況，通過也進(jìn)行輻輳角根據(jù)光學(xué)系統(tǒng)的自轉(zhuǎn)角度等而變化的量的斟酌等，能夠求出更準(zhǔn)確的虛擬視點(diǎn)位置。具體而言，圖2表示一例通知虛擬視點(diǎn)位置的情形。如圖2所示，虛擬視點(diǎn)位置的信息從攝像機(jī)201 (包含攝像控制裝置)發(fā)送到中繼站(也包含廣播臺(tái)等)202等，中繼站202等向視聽者的電視接收機(jī)203等發(fā)送拍攝內(nèi)容和虛擬視點(diǎn)位置的信息。另外，虛擬視點(diǎn)位置的信息傳遞的流程不限于此。通過通知虛擬視點(diǎn)位置，能夠利用于將觀察者在整個(gè)拍攝區(qū)域中的位置顯示在顯示器等。例如，如圖3所示，在提供棒球場(chǎng)的拍攝內(nèi)容的情況下，在拍攝從投手(pitcher)的位置301觀察擊球者(batter)的方式時(shí)，能夠在顯示器等上顯示虛擬視點(diǎn)位置為棒球場(chǎng)內(nèi)的何處(設(shè)想觀察者位于何處)。另外，攝像機(jī)位置302實(shí)際位于棒球場(chǎng)的后方。此外，如圖4所示，在攝像機(jī)未進(jìn)入競(jìng)技場(chǎng)內(nèi)401的情況下，在通過變焦虛擬地從選手的近距離拍攝時(shí)，能夠?qū)⑻摂M視點(diǎn)位置402顯示在顯示器等。另外，攝像機(jī)位置403實(shí)際上位于競(jìng)技場(chǎng)內(nèi)401之外。此外，在拍攝從裁判所在的位置觀看選手的方式時(shí)或者在拍攝從球門位置觀看射門的方式時(shí)，能夠?qū)⑻摂M視點(diǎn)位置顯示在顯示器等。這樣，作為對(duì)觀察者(視聽者)傳遞自然的現(xiàn)場(chǎng)感的方法，通過使觀察者(視聽者)把握自己的位置，從而能夠減輕3D視點(diǎn)頭暈(融像時(shí)的不快感等)。另外，也可以導(dǎo)出從攝像機(jī)的設(shè)定狀態(tài)(變焦倍率等)求出的虛擬視點(diǎn)位置和從視頻得到的沒入感的評(píng)價(jià)值之間的誤差量，并修正虛擬視點(diǎn)位置的信息，或者變更攝像機(jī)的設(shè)定狀態(tài)。這里，所謂從視頻得到的沒入感的評(píng)價(jià)值，指觀察者感覺到的沒入位置。另外，所謂觀察者感覺到的沒入位置，指在觀察者從實(shí)際的攝像機(jī)位置(或者作為基準(zhǔn)的位置)移動(dòng)的情況下，進(jìn)行光學(xué)系統(tǒng)的控制的結(jié)果，設(shè)想有觀察者的位置。人感覺到的不舒適、錯(cuò)覺，未必能夠用僅由攝像機(jī)的設(shè)定狀態(tài)求出的信息來消除，因此，評(píng)價(jià)實(shí)際上拍攝到的視差視頻，校正其誤差量。這里，更具體地說明虛擬視點(diǎn)位置的通知。這里，作為一例視頻內(nèi)容，使用棒球轉(zhuǎn)播進(jìn)行說明。在棒球轉(zhuǎn)播中，考慮從投手的視點(diǎn)觀察擊球者的方式。實(shí)際的攝像機(jī)的位置是中央擋球網(wǎng)后面，從該位置拍攝擊球者(I倍變焦)。從攝像機(jī)的位置至擊球者的距離(進(jìn)深)例如為120m，基線長(zhǎng)例如為6cm。在該狀況下，如果進(jìn)行變焦(4倍變焦)至投手視點(diǎn)，則虛擬視點(diǎn)位置距離焦點(diǎn)(擊球者)為30m地點(diǎn)(距離攝像機(jī)為90m地點(diǎn)),基線長(zhǎng)為24cm。此時(shí)，虛擬視點(diǎn)位置通知給中繼站等。通過虛擬視點(diǎn)位置的通知，如圖5所示，告知視點(diǎn)位于投手土臺(tái)(mound)附近的顯示(例如投手土臺(tái)視野(mound view)顯示501)顯示在TV畫面502上。另外，像是攝像機(jī)進(jìn)入其中一樣顯示虛擬視點(diǎn)位置(攝像機(jī)顯示503)，并能夠?qū)⑶驁?chǎng)中的視點(diǎn)的位置(設(shè)想有視聽者的場(chǎng)所)用疊印字幕等進(jìn)行廣播。另外，為了表示是從哪個(gè)地點(diǎn)起的視點(diǎn)，也可以在TV畫面502上播放字符反射式字幕等。另外，不僅進(jìn)行顯示，還可以用聲音、播音、數(shù)據(jù)指導(dǎo)等來通知。由此，能夠提供與從觀眾席看到的另外不同的現(xiàn)場(chǎng)感。另外，通過視聽者獲知自己的虛擬的位置(獲知自己移動(dòng)到哪里了呢，相當(dāng)于正從哪里看的視頻)，能夠生理性地補(bǔ)償伴隨變焦或攝像機(jī)切換的3D融像的困難性。這類似于，由于有時(shí)例如第一人稱視點(diǎn)的游戲 的操作者(自己自身在虛擬3D空間內(nèi)怎樣操作，并把握要移動(dòng)到哪里)的畫面頭暈與觀看者(觀看操作者操作的結(jié)果的畫面)的頭暈相比較為輕度，因此在觀看者視聽的視頻中，通過理解自身的移動(dòng)或位置，能夠期待降低3D視頻頭暈這樣的情況。另外，也考慮將虛擬視點(diǎn)位置通知給播出者(包含監(jiān)督和攝影師等)。通過通知給播出者，與相適于變焦產(chǎn)生的視點(diǎn)的移動(dòng)的位置一同進(jìn)行實(shí)時(shí)顯示，從而能夠利用為播出時(shí)的參照信息。另外，也能夠獨(dú)立地變更變焦的控制和虛擬視點(diǎn)位置的控制。通過能夠獨(dú)立變更，能夠作為播出時(shí)的效果加以使用。如圖6所示，播出者使用在監(jiān)視器601上顯示的變焦率的顯示條602 (包含當(dāng)前的變焦的顯示603和當(dāng)前的虛擬視點(diǎn)位置的顯示604)，能夠進(jìn)行各種播出。具體而言，相對(duì)于攝像機(jī)的變焦速度(變焦量的變化)，能夠敢具有偏移的同時(shí)追蹤虛擬視點(diǎn)而進(jìn)行特別的播出。即，后述的基線長(zhǎng)控制部705和光學(xué)系統(tǒng)控制部703控制至少2個(gè)光學(xué)系統(tǒng)的配置，以相對(duì)于通過攝像部701拍攝的拍攝視頻的變焦的變化而使虛擬視點(diǎn)延遲追蹤。例如，開始進(jìn)行控制，使得在變焦的開始時(shí)刻，不變更虛擬視點(diǎn)，稍稍延遲之后，移動(dòng)虛擬視點(diǎn)，并加速追蹤使得虛擬視點(diǎn)與最終變焦倍率一致，從而能夠在變焦動(dòng)作方面具有特征。另外，例如，以相對(duì)變焦速度慢的速度，緩慢使虛擬視點(diǎn)追蹤，從而能夠?qū)⒂^察者感覺到的變化抑制得小，能夠減輕視聽者的負(fù)擔(dān)。這樣的變焦動(dòng)作和虛擬視點(diǎn)位置的變更，很可能成為損害觀察者的自然的融像的結(jié)果，因此，作為播出的利用場(chǎng)景和頻度優(yōu)選播出者能夠管理，即使這樣的目的也通知虛擬視點(diǎn)位置以使播出者(有時(shí)也是拍攝者)能夠確認(rèn)，是有效的。接著，使用圖7說明一例本發(fā)明的實(shí)施方式的攝像控制裝置的結(jié)構(gòu)。另外，結(jié)構(gòu)并不限于此，也可以包含其它結(jié)構(gòu)要素。攝像控制裝置700 —邊控制光學(xué)系統(tǒng)，一邊進(jìn)行變更沒入變焦等的虛擬視點(diǎn)位置的拍攝，控制的結(jié)果，輸出設(shè)定的虛擬視點(diǎn)位置。以下，說明攝像控制裝置的結(jié)構(gòu)要素。攝像部701具有拍攝視頻的一般的攝像機(jī)的功能。在本發(fā)明中，特別包含使用一般的多個(gè)光學(xué)系統(tǒng)的攝像機(jī)的功能。攝像部701例如具有由圖I所示的光學(xué)系統(tǒng)101、102。變焦倍率控制部702將用于滿足設(shè)定后的變焦倍率的信息發(fā)送到光學(xué)系統(tǒng)控制部703，并且利用包含來自光學(xué)系統(tǒng)控制部703的控制結(jié)果的反饋信息，反映到控制上。
光學(xué)系統(tǒng)控制部703與變焦倍率控制部702、基線長(zhǎng)控制部705等聯(lián)動(dòng)，機(jī)械/軟控制光學(xué)系統(tǒng)，以導(dǎo)出攝像部701為了拍攝的視頻。另外，光學(xué)系統(tǒng)控制部703將基于各個(gè)控制指示進(jìn)行的控制結(jié)果反饋到指示源。另外，假設(shè)在光學(xué)系統(tǒng)控制部703還包含光學(xué)系統(tǒng)的自轉(zhuǎn)方向的控制、攝像機(jī)晃動(dòng)的控制、亮度的控制等在本發(fā)明中省略詳細(xì)的說明的其它控制。虛擬視點(diǎn)位置計(jì)算部704基于作為基準(zhǔn)的變焦倍率和相對(duì)該基準(zhǔn)倍率的當(dāng)前倍率、以及其它的光學(xué)系統(tǒng)的設(shè)定值，計(jì)算從攝像機(jī)的基準(zhǔn)位置起何種程度接近(或者離開)焦點(diǎn)位置(例如被攝體的位置)的沒入位置(沒入距離)。這里，所謂攝像機(jī)的基準(zhǔn)位置，例如指攝像機(jī)的實(shí)際位置(也可以是光學(xué)系統(tǒng)的實(shí)際位置)。另外，作為基準(zhǔn)的變焦倍率，優(yōu)選以將觀察者在以I倍的變焦(沒有放大、縮小的狀態(tài))為基準(zhǔn)的位置進(jìn)行觀察時(shí)形成適當(dāng)?shù)囊暡?基線長(zhǎng)相當(dāng)于觀察者的兩眼的間隔的狀態(tài))的設(shè)定狀態(tài)作為基準(zhǔn)。明顯的基準(zhǔn)狀態(tài)的設(shè)定例，將攝像機(jī)的設(shè)置位置作為觀察者的位置，將光學(xué)系統(tǒng)的變焦倍率設(shè)定為I倍，將光學(xué)系統(tǒng)間的基線長(zhǎng)設(shè)定為一般的觀察者的兩眼的間隔。
這里，沒入位置不是將視頻放大(或者縮小)設(shè)定的變焦倍率，而是指設(shè)想為觀察者移動(dòng)至看起來如放大(或者縮小)視頻的位置的情況下的移動(dòng)位置(移動(dòng)距離)。例如，在進(jìn)行放大的情況下，在假設(shè)觀察者靠近相當(dāng)于與放大前相比看起來大的量時(shí)的、設(shè)想的移動(dòng)位置(即，沒入位置)，在觀察者從該位置觀看拍攝對(duì)象的情況下，輻輳角變大。但是，實(shí)際上，攝像機(jī)僅放大了視頻，攝像機(jī)本身不移動(dòng)，因此為了獲得相適合的輻輳角的增大量，增大光學(xué)系統(tǒng)的基線長(zhǎng)。另外，例如，在進(jìn)行縮小的情況下，在假設(shè)觀察者遠(yuǎn)離相當(dāng)于與縮小前相比看起來小的量時(shí)的、設(shè)想的移動(dòng)位置，在觀察者從該位置觀看拍攝對(duì)象的情況下，輻輳角變小。但是，實(shí)際上，攝像機(jī)僅縮小了視頻，攝像機(jī)本身不移動(dòng)，因此為了獲得相適合的輻輳角的減少量，減少光學(xué)系統(tǒng)的基線長(zhǎng)。因此，攝像機(jī)自身進(jìn)行變焦，設(shè)想的觀察者視點(diǎn)移動(dòng)到?jīng)]入位置，因此，在從該沒入位置觀看的情況下，變焦倍率正好相當(dāng)于維持I倍。另外，在攝像機(jī)自身在變焦動(dòng)作的方向(不管是正向還是反向)實(shí)際進(jìn)行移動(dòng)的情況下，校正虛擬視點(diǎn)位置，或者預(yù)先將使虛擬視點(diǎn)位置與實(shí)際的位置相對(duì)應(yīng)所需要的信息相關(guān)聯(lián)，以能夠斟酌該移動(dòng)量而變更基線長(zhǎng)。另外，虛擬視點(diǎn)位置計(jì)算部704為了使虛擬視點(diǎn)位置移動(dòng)到計(jì)算出的期望的沒入位置，計(jì)算能夠獲得適當(dāng)?shù)囊暡?輻輳角)的基線長(zhǎng)的量、其它的光學(xué)系統(tǒng)的控制量(光學(xué)系統(tǒng)的自轉(zhuǎn)量、光量等)，傳遞給各個(gè)控制系統(tǒng)。另外，除了進(jìn)行控制以使虛擬視點(diǎn)位置總是與變焦產(chǎn)生的沒入位置一致(沒入變焦)之外，也可以將其變化的程度和變化量與任意的播出模式對(duì)應(yīng)，根據(jù)晃動(dòng)、誤差以及其它的變動(dòng)模式改變虛擬視點(diǎn)位置。另外，也可以根據(jù)攝像機(jī)的操作者等進(jìn)行的手動(dòng)的虛擬視點(diǎn)位置變化輸入來改變?；€長(zhǎng)控制部705控制光學(xué)系統(tǒng)間的距離以實(shí)現(xiàn)由虛擬視點(diǎn)位置計(jì)算部704計(jì)算出的基線長(zhǎng)。另外，基線長(zhǎng)控制部705也可以控制至少2個(gè)光學(xué)系統(tǒng)間的配置(距離)，以相對(duì)于上述那樣的播出、即由攝像部701拍攝的拍攝視頻的變焦的變化，使虛擬視點(diǎn)延遲追蹤。由此，能夠使變焦動(dòng)作具有特征。虛擬視點(diǎn)位置輸出部706取得計(jì)算出的虛擬視點(diǎn)位置，并根據(jù)需要取得光學(xué)系統(tǒng)的控制值。即，取得基于計(jì)算出的沒入距離的信息的觀察者的虛擬視點(diǎn)位置的信息，輸出到外部。例如，虛擬視點(diǎn)位置輸出部706生成通知信息作為映射到對(duì)于拍攝對(duì)象的焦點(diǎn)位置和對(duì)于攝像機(jī)位置的虛擬視點(diǎn)位置的信息并輸出。另外，在可以僅輸出虛擬視點(diǎn)位置即可的情況下，即例如包含其它信息而在后述的沒入位置信息生成裝置中能夠進(jìn)行充分的映射的情況下，虛擬視點(diǎn)位置輸出部706直接輸出虛擬視點(diǎn)位置。另外，虛擬視點(diǎn)位置優(yōu)選與由攝像部701拍攝的拍攝視頻(拍攝內(nèi)容)同步實(shí)時(shí)輸出，或者包含能取得與拍攝視頻同步的時(shí)間戳等的對(duì)應(yīng)的信息。即，在輸出虛擬視點(diǎn)位置的信息時(shí)，使虛擬視點(diǎn)位置的信息與拍攝視頻同步輸出，或者包含能取得與拍攝視頻同步的時(shí)間戳的對(duì)應(yīng)的信息而輸出。由此，是視頻的哪個(gè)場(chǎng)景下的虛擬視點(diǎn)位置變得實(shí)時(shí)一致，收錄(錄像)時(shí)的信息的同步(在哪個(gè)定時(shí)，虛擬視點(diǎn)位于哪里)變得容易。另外，也可以取代總是輸出變焦和虛擬視點(diǎn)位置的信息，而僅在場(chǎng)景的切換、變焦動(dòng)作等、像角、構(gòu)圖變更的情況下，作為追加的數(shù)據(jù)要素輸出。即，在規(guī)定的定時(shí)輸出虛擬視點(diǎn)位置的信息。由此，能夠?qū)⑿枰獋鬏斠曨l、聲音、其它數(shù)據(jù)的情況下的業(yè)務(wù)量抑制得低。另夕卜，也通過匹配輸出攝像機(jī)的位置、焦點(diǎn)位置(距離攝像機(jī)位置的焦點(diǎn)距離)的信息，從而特 別是在各個(gè)位置不固定的情況下，在把握與整體位置的映射(相當(dāng)于拍攝場(chǎng)所的哪里)時(shí)是有用的。接著，使用圖8說明一例本發(fā)明的實(shí)施方式的沒入位置信息生成裝置的結(jié)構(gòu)。另夕卜，結(jié)構(gòu)并不限于此，也包含其它結(jié)構(gòu)要素。沒入位置信息生成裝置800經(jīng)由攝像控制裝置700或者某些通信接口，接收從攝像控制裝置700輸出的虛擬視點(diǎn)位置。這里，從攝像控制裝置700輸出的虛擬視點(diǎn)位置，在包含其它信息的情況下，包含與拍攝對(duì)象的位置關(guān)系上映射的信息的情況。另外，與攝像控制裝置700的位置關(guān)系，考慮作為整體在同一構(gòu)件內(nèi)連接(兩裝置都內(nèi)置于攝像機(jī)的情況)，或者從存在攝像控制裝置700的構(gòu)件經(jīng)由任意的傳輸裝置等傳輸，在接收其的構(gòu)件內(nèi)存在虛擬視點(diǎn)位置取得部801 (在廣播臺(tái)的編輯構(gòu)件內(nèi)，經(jīng)由接收來自攝像機(jī)的信息的裝置連接的情況)。另外，沒入位置信息生成裝置800根據(jù)需要，變更為對(duì)參照顯示拍攝內(nèi)容和虛擬視點(diǎn)位置等的虛擬視點(diǎn)位置顯示裝置的觀察者來說容易理解的顯示方法。例如，如果拍攝者是觀察者，則顯示與變焦倍率的對(duì)比信息。另外，例如，如果視頻的播出、監(jiān)督者為觀察者，則顯示虛擬視點(diǎn)的變化的情形和播出上的變化模式的信息。另外，例如如果視聽者是觀察者，則顯示整體位置中的虛擬視點(diǎn)位置的映射信息。以下，說明沒入位置信息生成裝置800的結(jié)構(gòu)要素。虛擬視點(diǎn)位置取得部801從攝像控制裝置700接受與虛擬視點(diǎn)的位置有關(guān)的信息。由于根據(jù)接受的信息要素的結(jié)構(gòu)，多數(shù)情況下需要變換為對(duì)觀察者能夠直觀理解(容易理解)的信息，因此，接受到的信息發(fā)送到?jīng)]入位置信息通知部803。光學(xué)系統(tǒng)控制值取得部802從攝像控制裝置700接受與虛擬視點(diǎn)的位置有關(guān)的追加的信息。根據(jù)接受的信息要素的結(jié)構(gòu)，多數(shù)情況下，與虛擬視點(diǎn)的位置有關(guān)的信息需要變換為對(duì)觀察者能夠直觀理解(容易理解)的信息，因此追加的信息被發(fā)送到?jīng)]入位置信息通知部803。這里，作為追加取得的信息的例子，考慮能取得與拍攝視頻的時(shí)間戳等的對(duì)應(yīng)這樣的信息(一系列的光學(xué)系統(tǒng)控制的流程和與其對(duì)應(yīng)的時(shí)間戳等)。另外，也可以取得表示場(chǎng)景的切換、變焦動(dòng)作等像角、構(gòu)圖變更的信息。另外，也可以匹配地取得拍攝區(qū)域中的攝像機(jī)的位置、焦點(diǎn)位置(距離攝像機(jī)位置的焦點(diǎn)距離)的信息。
另外，作為與虛擬視點(diǎn)的位置有關(guān)的信息，在能夠一并由虛擬視點(diǎn)位置取得部801取得所需要的信息的情況下，虛擬視點(diǎn)位置取得部801兼做光學(xué)系統(tǒng)控制值取得部802。沒入位置信息通知部803接受來自虛擬視點(diǎn)位置取得部801和光學(xué)系統(tǒng)控制值取得部802的信息，并對(duì)觀察者通知與沒入位置有關(guān)的信息。此時(shí)，例如，也可以生成圖5所示那樣的、將與沒入位置有關(guān)的信息附加到拍攝視頻的視頻。即，沒入位置信息通知部803加上能夠識(shí)別虛擬視點(diǎn)位置的其它信息而生成視頻信息。另外，該信息是除了基于虛擬視點(diǎn)的位置的位置信息之外，還能夠簡(jiǎn)單地通知是哪個(gè)視點(diǎn)的信息(例如，表記為“當(dāng)前是 的視點(diǎn)”的信息等)，或是在拍攝區(qū)域的地圖和示意圖上配上表示沒入位置的記號(hào)的映射信息，或是僅表示沒入位置從此前的狀態(tài)變化了的記號(hào)和聲音所產(chǎn)生的警報(bào)信息，或是中間人(視頻的編輯者、播音員等)能夠再度解說(播音)的通知信息等，優(yōu)選取得與狀況對(duì)應(yīng)的形態(tài)。沒入位置信息通知部803通過組合來自虛擬視點(diǎn)位置取得部801和光學(xué)系統(tǒng)控制值取得部802的信息，能夠變化成觀察者更容易明白的信息。例如，根據(jù)能取得與拍 攝視頻的時(shí)間戳等的對(duì)應(yīng)這樣的信息，是視頻的哪個(gè)場(chǎng)景下的虛擬視點(diǎn)位置實(shí)時(shí)一致，收錄(錄像)時(shí)的信息的同步(在哪個(gè)定時(shí)下，虛擬視點(diǎn)位于哪里)變得容易。即，沒入位置信息通知部803基于能取得與拍攝視頻的時(shí)間戳的對(duì)應(yīng)的信息，將虛擬視點(diǎn)位置的信息附加到拍攝視頻。另外，例如，根據(jù)表示像角、構(gòu)圖變更了的信息，將需要傳輸視頻、聲音以及其它數(shù)據(jù)的情況下的業(yè)務(wù)量抑制得低，同時(shí)能夠通知虛擬視點(diǎn)的切換定時(shí)。另外，例如，根據(jù)攝像機(jī)的實(shí)際的變焦倍率的信息，與變焦倍率并行顯示虛擬視點(diǎn)位置，從而能夠?qū)τ^察者(此時(shí)，為攝像機(jī)操作者或者播出者等)通知拍攝的狀態(tài)。特別地，相對(duì)于攝像機(jī)的變焦倍率，并不總是使沒入變焦追蹤，在播出等目的下進(jìn)行不同的控制的情況下成為有用的信息的通知形態(tài)。另外，根據(jù)拍攝區(qū)域中的攝像機(jī)的位置、焦點(diǎn)位置等信息，特別是在各個(gè)位置不固定的情況下，表示與整體位置的映射(相當(dāng)于拍攝場(chǎng)所的哪里)變?nèi)菀?。例如，虛擬視點(diǎn)位置根據(jù)攝像機(jī)的變焦，設(shè)定為攝像機(jī)和被攝體的中點(diǎn)位置(即，攝像機(jī)和被攝體不動(dòng)，進(jìn)行約I倍的變焦的狀態(tài))。但是，若此時(shí)的焦點(diǎn)距離變更(考慮被攝體移動(dòng)、攝像機(jī)移動(dòng)等各種主要因素)，若不綜合考慮被攝體的位置、攝像機(jī)的位置的信息，則會(huì)無法確定準(zhǔn)確的拍攝區(qū)域內(nèi)的位置。因此，在這樣的情況下，根據(jù)攝像機(jī)的位置和焦點(diǎn)距離確定該中點(diǎn)的位置等，進(jìn)行虛擬視點(diǎn)位置至拍攝區(qū)域的映射。映射所需要的控制值信息(也包含位置信息)根據(jù)拍攝區(qū)域而各種各樣，例如，有時(shí)在需要包含區(qū)域的空間狀態(tài)進(jìn)行通知的情況下，攝像機(jī)朝上和下的仰角也成為需要的信息之一。如果能夠構(gòu)成對(duì)觀察者來說容易理解的信息，則將該信息對(duì)觀察者輸出。通知的方法、通知目的地根據(jù)觀察者各有不同。沒入位置信息通知部803例如在觀察者為現(xiàn)場(chǎng)直播的視聽者的情況下，搭載在廣播波中，經(jīng)由電視接收機(jī)等來通知。另外，例如，在觀察者為錄像素材的視聽者的情況下，通過作為錄像素材(包含視頻本身)、追加到記錄媒體的信息而記錄，從而在再現(xiàn)時(shí)進(jìn)行通知。另外，例如，在觀察者為編輯者、播出者、監(jiān)督等在中繼站、廣播臺(tái)進(jìn)行視頻內(nèi)容的編輯和控制的人的情況下，經(jīng)由換景器(switcher)和編輯機(jī)構(gòu)等的裝置的監(jiān)視器等進(jìn)行通知。另夕卜，例如，觀察者為攝影師等直接操作攝像機(jī)的人的情況下，由攝像機(jī)的取景器和信息顯示部分通知。接著，使用圖9說明一例本發(fā)明的實(shí)施方式的攝像控制裝置中的處理流程。如圖
9所示，虛擬視點(diǎn)位置計(jì)算部704，基于規(guī)定的基準(zhǔn)變焦倍率(例如I倍)、相對(duì)于規(guī)定的基準(zhǔn)變焦倍率的期望的變焦倍率、以及從攝像控制裝置(也可以是攝像部701)至被攝體的距離，計(jì)算從為了實(shí)現(xiàn)期望的變焦倍率而應(yīng)配置攝像控制裝置的虛擬位置至攝像控制裝置的現(xiàn)實(shí)位置的距離、即沒入距離(例如90m)(步驟S901)。虛擬視點(diǎn)位置計(jì)算部704基于計(jì)算出的沒入距離，計(jì)算在連接現(xiàn)實(shí)的位置的延長(zhǎng)線上配置多個(gè)光學(xué)系統(tǒng)的情況下的多個(gè)光學(xué)系統(tǒng)的間隔(應(yīng)設(shè)定的基線長(zhǎng)的長(zhǎng)度)(步驟S902)，所述連接現(xiàn)實(shí)的位置的延長(zhǎng)線上配置多個(gè)光學(xué)系統(tǒng)是為了實(shí)現(xiàn)與在虛擬的位置配置攝像控制裝置以實(shí)現(xiàn)期望的變焦倍率的情況同樣的期望的變焦倍率。基線長(zhǎng)控制部705將規(guī)定的基線長(zhǎng)(例如默認(rèn)值)變更為計(jì)算出的間隔(應(yīng)設(shè)定的基線長(zhǎng)的長(zhǎng)度)，配置多個(gè)光學(xué)系統(tǒng)(步驟S903)。攝像部701在由基線長(zhǎng)控制 部705配置了多個(gè)光學(xué)系統(tǒng)的狀態(tài)下，對(duì)被攝體進(jìn)行攝像(步驟S904)。另外，在播出一環(huán)，基線長(zhǎng)控制部705也可以控制2個(gè)光學(xué)系統(tǒng)的配置，以相對(duì)于由攝像部701拍攝的拍攝視頻的變焦的變化，使虛擬視點(diǎn)延遲追蹤。接著，使用圖10說明一例本發(fā)明的實(shí)施方式的沒入位置信息生成裝置中的處理流程。如圖10所示，虛擬視點(diǎn)位置取得部801從攝像控制裝置接收觀察者的虛擬視點(diǎn)位置的信息(步驟S1001)。沒入位置信息通知部803生成將接收到的虛擬視點(diǎn)位置的信息附加到從攝像控制裝置接收到的拍攝視頻的視頻信息(步驟S1002)。此時(shí)，沒入位置信息通知部803可以加上能夠識(shí)別虛擬視點(diǎn)位置的其它信息(上述記號(hào)、說明等)生成視頻信息，也可以基于能取得與拍攝視頻的時(shí)間戳的對(duì)應(yīng)的信息，將虛擬視點(diǎn)位置的信息附加到拍攝視頻。如至此為止所示那樣，根據(jù)本發(fā)明，能夠與攝像機(jī)的變焦匹配(或者加上某些表現(xiàn)意圖)進(jìn)行沒入變焦，并將該狀態(tài)傳送給觀察者，但是這些主要在從中長(zhǎng)距離拍攝視頻的情況下(特別是體育等)、以及在構(gòu)圖中在近像中不包含障礙物或其它被攝體的情況下有效。另外，在構(gòu)圖中，所謂在近像中不包含障礙物或其它被攝體的情況，指即使是近中距離的拍攝也能夠預(yù)先將構(gòu)圖設(shè)定成能夠僅捕捉焦點(diǎn)位置的被攝體的情況等。另一方面，在不同的條件下，特別是近、中距離的拍攝，在構(gòu)圖中、在近像中包含了障礙物或其它被攝體，或者無法預(yù)先確定構(gòu)圖的情況下，有時(shí)會(huì)過度強(qiáng)調(diào)跟前的被攝體(包含不想要的障礙物)的視差等、成為對(duì)觀察者來說妨礙融像的結(jié)果。在這樣的情況下，優(yōu)選能夠從進(jìn)行本發(fā)明的沒入變焦的狀態(tài)切換至以往的(或者其它的)變焦控制的狀態(tài)。例如，也可以設(shè)置攝像機(jī)的操作者能夠分別切換沒入變焦的模式和其它變焦的模式來拍攝這樣的設(shè)定菜單和開關(guān)?；蛘撸谝曰€長(zhǎng)的變更為目的下使用其它的光學(xué)系統(tǒng)使得在進(jìn)行沒入變焦時(shí)也能并行進(jìn)行普通的拍攝，并且與沒入變焦的拍攝的同時(shí)也拍攝不變更基線長(zhǎng)(或者進(jìn)行其它控制)的視頻。即，基線長(zhǎng)控制部705基于計(jì)算出的基線長(zhǎng)(間隔)，調(diào)整與多個(gè)光學(xué)系統(tǒng)(至少2個(gè)光學(xué)系統(tǒng))不同的光學(xué)系統(tǒng)間的基線長(zhǎng)，使具有不同的光學(xué)系統(tǒng)的攝像部件拍攝被攝體，攝像部701在多個(gè)光學(xué)系統(tǒng)以規(guī)定的基線長(zhǎng)配置的狀態(tài)下拍攝被攝體。最終，優(yōu)選編輯者或播出者能夠基于拍攝的構(gòu)圖等而選擇使用(廣播)哪個(gè)視頻。另外，上述說明的情況是本發(fā)明的實(shí)施方式的一例，并不限于此。例如，也可以通過增大基線長(zhǎng)的以外的方法來進(jìn)行使虛擬視點(diǎn)移動(dòng)的控制。另外，例如，也可以在基線長(zhǎng)長(zhǎng)的地方配備第3視點(diǎn)(第3光學(xué)系統(tǒng))。即，也可以具備與2個(gè)光學(xué)系統(tǒng)不同的光學(xué)系統(tǒng)。具體而言，在用多個(gè)光學(xué)系統(tǒng)(至少2個(gè)光學(xué)系統(tǒng))無法確保計(jì)算出的基線長(zhǎng)(間隔)的情況下，攝像部701使用與多個(gè)光學(xué)系統(tǒng)不同的光學(xué)系統(tǒng)確?；€長(zhǎng)(間隔)的狀態(tài)下拍攝被攝體。由此，即使是2個(gè)光學(xué)系統(tǒng)無法應(yīng)對(duì)的長(zhǎng)的基線長(zhǎng)，也能夠通過使用第3光學(xué)系統(tǒng)(不同的光學(xué)系統(tǒng))實(shí)現(xiàn)本發(fā)明的目的。另外，例如，也可以具有播出動(dòng)作的預(yù)置程序、發(fā)動(dòng)指令、按鈕。由此，無論誰都能夠容易地進(jìn)行各種播出。另外，例如，所提供的視頻內(nèi)容既可以是現(xiàn)場(chǎng)直播的，也可以是預(yù)先收錄的。 另外，在上述的本發(fā)明的實(shí)施方式的說明中使用的各功能塊，典型的被實(shí)現(xiàn)為作為集成電路的LSI (大規(guī)模集成電路)。這些既可以分別實(shí)行單芯片化，也可以包含其中一部分或者是全部而實(shí)行單芯片化。這里為L(zhǎng)SI，但根據(jù)集成度的不同也可以表示為IC(集成電路)、系統(tǒng)LSI、超大LSI、特大LSI等。另外，集成電路化的方法不限于LSI，也可以使用專用電路或通用處理器來實(shí)現(xiàn)。也可以利用LSI制造后能夠編程的FPGA (Field ProgrammableGate Array，現(xiàn)場(chǎng)可編程門陣列)，或可以利用對(duì)LSI內(nèi)部的電路塊的連接或設(shè)定進(jìn)行重新 構(gòu)置的可重構(gòu)處理器(Reconfigurable Processor)。再有,如果隨著半導(dǎo)體技術(shù)的進(jìn)步或者派生的其它技術(shù)，出現(xiàn)了代替LSI集成電路化的技術(shù)，當(dāng)然也可以利用該技術(shù)來實(shí)現(xiàn)功能塊的集成化。例如，還有適用生物技術(shù)等的可能性。產(chǎn)業(yè)上的可利用性本發(fā)明的攝像控制裝置、沒入位置信息生成裝置、攝像控制方法、沒入位置信息生成方法，對(duì)于為了能夠?qū)崿F(xiàn)有沒入感的放大變焦，拍攝使用戶融像的視頻的攝像控制裝置、沒入位置信息生成裝置、攝像控制方法、沒入位置信息生成方法等方面是有用的。
權(quán)利要求
1.攝像控制裝置，拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的被攝體識(shí)別為立體的至少2個(gè)圖像，具有 攝像部件，具有以規(guī)定的基線長(zhǎng)的間隔配置的至少2個(gè)光學(xué)系統(tǒng)，拍攝所述被攝體； 計(jì)算部件，在將以所述基線長(zhǎng)間隔配置的所述至少2個(gè)光學(xué)系統(tǒng)的變焦倍率作為基準(zhǔn)變焦倍率時(shí)，基于所述基準(zhǔn)變焦倍率、相對(duì)于所述規(guī)定的基準(zhǔn)變焦倍率的期望的變焦倍率、從所述攝像部件至所述被攝體的距離，計(jì)算從為了實(shí)現(xiàn)所述期望的變焦倍率而應(yīng)配置所述攝像部件的虛擬的位置起至所述攝像部件的現(xiàn)實(shí)的位置為止的距離即沒入距離，基于計(jì)算出的所述沒入距離，計(jì)算在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)的情況下的所述至少2個(gè)光學(xué)系統(tǒng)的間隔，所述在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)是為了實(shí)現(xiàn)與在所述虛擬的位置配置所述攝像部件而實(shí)現(xiàn)所述期望的變焦倍率的情況同樣的期望的變焦倍率；以及 控制部件，將所述規(guī)定的基線長(zhǎng)變更為計(jì)算出的所述間隔，配置所述至少2個(gè)光學(xué)系統(tǒng)， 所述攝像部件在由所述控制部件配置了所述至少2個(gè)光學(xué)系統(tǒng)的狀態(tài)下，拍攝所述被攝體。
2.如權(quán)利要求I所述的攝像控制裝置，還具有 輸出部件，取得基于計(jì)算出的所述沒入距離的信息的所述用戶的虛擬視點(diǎn)位置的信息，并輸出到外部。
3.如權(quán)利要求2所述的攝像控制裝置， 所述輸出部件在輸出所述虛擬視點(diǎn)位置的信息時(shí)，使所述虛擬視點(diǎn)位置的信息與拍攝視頻同步輸出，或者包含能取得與所述拍攝視頻同步的時(shí)間戳的對(duì)應(yīng)的信息而輸出。
4.如權(quán)利要求2或3所述的攝像控制裝置， 所述輸出部件在規(guī)定的定時(shí)輸出所述虛擬視點(diǎn)位置的信息。
5.如權(quán)利要求I所述的攝像控制裝置， 在用所述至少2個(gè)光學(xué)系統(tǒng)無法確保計(jì)算出的所述間隔的情況下， 所述攝像部件使用與所述至少2個(gè)光學(xué)系統(tǒng)不同的光學(xué)系統(tǒng)確保所述間隔的狀態(tài)下拍攝所述被攝體。
6.如權(quán)利要求I所述的攝像控制裝置， 在能夠?qū)λ鲋辽?個(gè)光學(xué)系統(tǒng)自身進(jìn)行旋轉(zhuǎn)控制的情況下， 所述計(jì)算部件在計(jì)算所述間隔時(shí)，在能夠通過使所述至少2個(gè)光學(xué)系統(tǒng)旋轉(zhuǎn)而加大輻輳角的情況下，考慮所述至少2個(gè)光學(xué)系統(tǒng)的旋轉(zhuǎn)產(chǎn)生的所述輻輳角，計(jì)算所述間隔。
7.如權(quán)利要求I所述的攝像控制裝置， 所述控制部件基于計(jì)算出的所述間隔，調(diào)整與所述至少2個(gè)光學(xué)系統(tǒng)不同的光學(xué)系統(tǒng)間的基線長(zhǎng)，使具有所述不同的光學(xué)系統(tǒng)的攝像部件拍攝所述被攝體， 所述攝像部件在所述至少2個(gè)光學(xué)系統(tǒng)以所述規(guī)定的基線長(zhǎng)的間隔配置的狀態(tài)下，拍攝所述被攝體。
8.如權(quán)利要求I所述的攝像控制裝置， 所述控制部件控制所述至少2個(gè)光學(xué)系統(tǒng)的配置，以相對(duì)于由所述攝像部件拍攝的拍攝視頻的變焦的變化，使虛擬視點(diǎn)延遲追蹤。
9.沒入位置信息生成裝置，基于來自攝像控制裝置的信息，生成用于將被攝體識(shí)別為立體的信息，所述攝像控制裝置拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的所述被攝體識(shí)別為立體的至少2個(gè)圖像，該沒入位置信息生成裝置具有 接收部件，從所述攝像控制裝置接收所述用戶的虛擬視點(diǎn)位置的信息；以及 生成部件，生成將接收到的所述虛擬視點(diǎn)位置的信息附加到來自所述攝像控制裝置的拍攝視頻的視頻信息。
10.如權(quán)利要求9所述的沒入位置信息生成裝置， 所述生成部件加上能夠識(shí)別所述虛擬視點(diǎn)位置的其它信息而生成所述視頻信息。
11.如權(quán)利要求9或10所述的沒入位置信息生成裝置， 所述生成部件基于能取得與所述拍攝視頻的時(shí)間戳的對(duì)應(yīng)的信息，將所述虛擬視點(diǎn)位置的信息附加到所述拍攝視頻。
12.攝像控制方法，為拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的被攝體識(shí)別為立體的至少2個(gè)圖像的攝像控制方法，具有 計(jì)算步驟，在將以規(guī)定的基線長(zhǎng)的間隔配置的至少2個(gè)光學(xué)系統(tǒng)的變焦倍率作為基準(zhǔn)變焦倍率時(shí)，基于所述基準(zhǔn)變焦倍率、相對(duì)于所述規(guī)定的基準(zhǔn)變焦倍率的期望的變焦倍率、從具有所述至少2個(gè)光學(xué)系統(tǒng)且拍攝所述被攝體的攝像部件至所述被攝體的距離，計(jì)算從為了實(shí)現(xiàn)所述期望的變焦倍率而應(yīng)配置所述攝像部件的虛擬的位置起至所述攝像部件的現(xiàn)實(shí)的位置為止的距離即沒入距離，基于計(jì)算出的所述沒入距離，計(jì)算在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)的情況下的所述至少2個(gè)光學(xué)系統(tǒng)的間隔，所述在連接所述至少2個(gè)光學(xué)系統(tǒng)的實(shí)際的位置之間的線的延長(zhǎng)線上配置所述至少2個(gè)光學(xué)系統(tǒng)是為了實(shí)現(xiàn)與在所述虛擬的位置配置所述攝像部件而實(shí)現(xiàn)所述期望的變焦倍率的情況同樣的期望的變焦倍率； 控制步驟，將所述規(guī)定的基線長(zhǎng)變更為計(jì)算出的所述間隔，配置所述至少2個(gè)光學(xué)系統(tǒng)；以及 攝像步驟，在由所述控制步驟配置了所述至少2個(gè)光學(xué)系統(tǒng)的狀態(tài)下，拍攝所述被攝體。
13.如權(quán)利要求12所述的攝像控制方法，還具有 輸出步驟，取得基于計(jì)算出的所述沒入距離的信息的所述用戶的虛擬視點(diǎn)位置的信息，并輸出到外部。
14.如權(quán)利要求13所述的攝像控制方法， 在所述輸出步驟中，在輸出所述虛擬視點(diǎn)位置的信息時(shí)，使所述虛擬視點(diǎn)位置的信息與拍攝視頻同步輸出，或者包含能取得與所述拍攝視頻同步的時(shí)間戳的對(duì)應(yīng)的信息而輸出。
15.如權(quán)利要求13或14所述的攝像控制方法， 在所述輸出步驟中，在規(guī)定的定時(shí)輸出所述虛擬視點(diǎn)位置的信息。
16.如權(quán)利要求12所述的攝像控制方法， 在用所述至少2個(gè)光學(xué)系統(tǒng)無法確保計(jì)算出的所述間隔的情況下， 在所述攝像步驟中，使用與所述至少2個(gè)光學(xué)系統(tǒng)不同的光學(xué)系統(tǒng)確保所述間隔的狀態(tài)下拍攝所述被攝體。
17.如權(quán)利要求12所述的攝像控制方法， 在所述至少2個(gè)光學(xué)系統(tǒng)自身能夠進(jìn)行旋轉(zhuǎn)的情況下， 在所述計(jì)算步驟中計(jì)算所述間隔時(shí)，在能夠通過使所述至少2個(gè)光學(xué)系統(tǒng)旋轉(zhuǎn)而加大輻輳角的情況下，考慮所述至少2個(gè)光學(xué)系統(tǒng)的旋轉(zhuǎn)產(chǎn)生的所述輻輳角，計(jì)算所述間隔。
18.如權(quán)利要求12所述的攝像控制方法， 在所述控制步驟中，基于計(jì)算出的所述間隔，調(diào)整與所述至少2個(gè)光學(xué)系統(tǒng)不同的光學(xué)系統(tǒng)間的基線長(zhǎng)，使具有所述不同的光學(xué)系統(tǒng)的攝像部件拍攝所述被攝體， 在所述攝像步驟中，在所述至少2個(gè)光學(xué)系統(tǒng)以所述規(guī)定的基線長(zhǎng)的間隔配置的狀態(tài)下，拍攝所述被攝體。
19.如權(quán)利要求12所述的攝像控制方法， 還具有控制所述至少2個(gè)光學(xué)系統(tǒng)的配置，以相對(duì)于由所述攝像部件拍攝的拍攝視頻的變焦的變化，使虛擬視點(diǎn)延遲追蹤的步驟。
20.沒入位置信息生成方法，基于來自攝像控制裝置的信息，生成用于將被攝體識(shí)別為立體的信息，所述攝像控制裝置拍攝用于使用戶將從攝像地點(diǎn)離開了規(guī)定的距離以上的所述被攝體識(shí)別為立體的至少2個(gè)圖像，該沒入位置信息生成方法具有 接收步驟，從所述攝像控制裝置接收所述用戶的虛擬視點(diǎn)位置的信息；以及生成步驟，生成將接收到的所述虛擬視點(diǎn)位置的信息附加到來自所述攝像控制裝置的拍攝視頻的視頻信息。
21.如權(quán)利要求20所述的沒入位置信息生成方法， 在所述生成步驟中，加上能夠識(shí)別所述虛擬視點(diǎn)位置的其它信息而生成所述視頻信息。
22.如權(quán)利要求20或21所述的沒入位置信息生成方法， 在所述生成步驟中，基于能取得與所述拍攝視頻的時(shí)間戳的對(duì)應(yīng)的信息，將所述虛擬視點(diǎn)位置的信息附加到所述拍攝視頻。
全文摘要
本發(fā)明公開了提供能夠?qū)崿F(xiàn)有沒入感的放大變焦的攝像控制裝置等的技術(shù)，根據(jù)該技術(shù)，具有攝像部件(701)，具有以規(guī)定的基線長(zhǎng)的間隔配置的至少2個(gè)光學(xué)系統(tǒng)；計(jì)算部件(704)，基于規(guī)定的基準(zhǔn)變焦倍率、相對(duì)于規(guī)定的基準(zhǔn)變焦倍率的期望的變焦倍率、從攝像部件至被攝體的距離，計(jì)算從為了實(shí)現(xiàn)期望的變焦倍率而應(yīng)配置攝像部件的虛擬的位置起至攝像部件的現(xiàn)實(shí)的位置為止的沒入距離，基于沒入距離，計(jì)算在連接至少2個(gè)光學(xué)系統(tǒng)之間的線的延長(zhǎng)線上配置至少2個(gè)光學(xué)系統(tǒng)的情況下的至少2個(gè)光學(xué)系統(tǒng)的間隔，所述在連接至少2個(gè)光學(xué)系統(tǒng)之間的線的延長(zhǎng)線上配置至少2個(gè)光學(xué)系統(tǒng)是為了實(shí)現(xiàn)與在虛擬的位置配置攝像部件而實(shí)現(xiàn)期望的變焦倍率的情況同樣的期望的變焦倍率；以及控制部件(705)，將規(guī)定的基線長(zhǎng)變更為計(jì)算出的間隔，配置至少2個(gè)光學(xué)系統(tǒng)，攝像部件在上述配置的狀態(tài)下，拍攝被攝體。
文檔編號(hào)H04N5/225GK102823231SQ201180016549
公開日2012年12月12日 申請(qǐng)日期2011年3月16日 優(yōu)先權(quán)日2010年3月30日
發(fā)明者平野純 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社