專利名稱：全方位影像輸出方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在全方向攝像的全景圖像等的處理裝置。
人們有如同身臨其境想觀察某個視點周圍環(huán)境的強烈愿望。具體來說，對于旅游點風(fēng)景的圖像如能自由改變視線方向，顯示在其視線方向上延伸的風(fēng)景，便能沉浸在如同身臨其境環(huán)視四周那樣的感覺中。
對于由魚眼透鏡生成的圖像或用反射鏡攝取全方向圖像那種比用通常攝像透鏡攝像時具有格外大的視場的圖像，如能自由地改變視線方向，則更提高其臨場感。
特開平9-62861號公報中揭示了一種裝置，它一邊移動空間一邊以移動的視點為中心，存儲攝取的其周圍的全景圖像和根據(jù)地點的相對移動位置。
這是這樣的一種裝置，在圖像重放時反復(fù)根據(jù)該裝置中存儲的所述全景圖像合成并顯示指定的視線方向的圖像，并當(dāng)用戶指令下一個視點或視線時，據(jù)此調(diào)用并計算下一圖像，并進(jìn)行顯示。
所謂視點是指攝像的位置，所謂視線是表示從視點位置看出去的方向。
圖21為該現(xiàn)有技術(shù)中圖像重放時的處理循環(huán)。
下面沿此循環(huán)加以說明。
S201為反復(fù)進(jìn)行圖像合成與顯示的循環(huán)。
S202計算開始時移動路徑的視點和視線方向。開始循環(huán)以后根據(jù)在S206輸入的相對于現(xiàn)在的視點·視線位置的相對移動量，計算決定下一顯示視點位置、視線方向。
在S203，讀入對應(yīng)于在S202決定的視點位置的全景圖像數(shù)據(jù)。
在S204，根據(jù)全景圖像合成S202中決定的視線方向的圖像。
在S205，顯示S204中合成的圖像。
在S206，用戶觀看在S205中顯示的顯示圖像，并指令視點移動與視角移動的方向。
在S207，返回S201處理，重復(fù)進(jìn)行S202至S206的處理。
這里，在S206可指令的項目是前進(jìn)、后退、停止、左轉(zhuǎn)、右轉(zhuǎn)、上轉(zhuǎn)、下轉(zhuǎn)、擴大、縮小和結(jié)束。
該現(xiàn)有裝置還能通過保持顯示圖像的視點位置·視線方向的履歷來預(yù)測用戶下一次想要指令的視點位置·視線方向，以預(yù)先讀入必要的圖像來進(jìn)行高速的顯示。
在這樣的現(xiàn)有裝置中，利用對于一邊移動一邊攝取全方向運動圖像，在重放時重復(fù)每次調(diào)用并合成按用戶指令的視點位置、視線方向的圖像，將臨場感高的圖像提供給用戶。
但在上述的現(xiàn)有裝置中存在如下的問題。
①事先保持移動空間同時攝像的圖像，用戶確認(rèn)經(jīng)重放的圖像，得到指令圖像上的相對的視點和視線方向的結(jié)果后，合成下一次顯示的圖像。從而，由于在給出視點和視線的信息后，從存儲的全景圖像中調(diào)用必要的圖像，進(jìn)而經(jīng)圖像合成處理后進(jìn)行顯示，因此重放變慢。
特別是在因特網(wǎng)上的另外網(wǎng)址上事先存儲全景圖像與相對移動位置圖像，數(shù)據(jù)往來采用比較低速的通信手段進(jìn)行重放的場合，重放延遲更顯著。
②在保持顯示圖像的視點位置·視線方向的履歷來預(yù)測下一次用戶要指令的視點位置·視線方向的場合中，雖然有望某種程度的重放高速化，但在移動到視點位置不能預(yù)測的方向時，必須調(diào)用或運算新圖像，造成重放速度的劣化，反而缺失重放圖像的時間的平滑度，有損臨場感。
③視點的移動位置是根據(jù)沿移動路徑的相對位置指定的，因此，只是重復(fù)沿邊移動空間邊攝像的圖像的順序前進(jìn)·后退，不可能刪除不必要的路徑的圖像顯示。
④視點的移動位置是根據(jù)沿移動路徑的相對位置指定的，因此在初次訪問地所攝影的圖像中，用戶不知道下一次朝向哪里為好，必須適當(dāng)?shù)刂貜?fù)前進(jìn)后退找到目標(biāo)。
本發(fā)明目的在于，提供重放速度快、獲得臨場感的全方位影像輸出方法。
此外，本發(fā)明的目的在于提供在終端裝置的所希望的移動路徑、視線的輸入操作容易，能僅接受必要的路徑的顯示的全方位影像輸出方法。
本發(fā)明的全方位影像輸出方法，從供給中心向終端裝置一側(cè)發(fā)送表示有全方位圖像的服務(wù)區(qū)的攝像位置數(shù)據(jù)，從終端裝置向供給中心一側(cè)發(fā)送希望的視點信息和視線信息中的至少視點信息。在從終端裝置向供給中心一側(cè)只發(fā)送視點信息的場合，根據(jù)從終端裝置接收到的視點信息，從供給中心向終端裝置一側(cè)只發(fā)送終端裝置希望的移動路徑的圖像信息，在終端裝置一側(cè)按照希望的視點進(jìn)行處理并輸出。在從終端裝置向供給中心一側(cè)發(fā)送視點信息和視線信息的場合，根據(jù)從終端裝置接收到的視點信息和視線信息，按照希望的視線處理后從供給中心向終端裝置一側(cè)只發(fā)送終端裝置希望的移動路徑的圖像信息，在終端裝置一側(cè)輸出。
依照本發(fā)明的結(jié)構(gòu)，通過削減供給中心與終端裝置之間的信息數(shù)據(jù)量，重放速度加快并獲得臨場感。
此外，改善終端裝置的輸入方法從而方便了所希望的移動路徑、視線和輸入操作。
此外，從終端裝置向供給中心指令所希望的視點方面，由供給中心對終端裝置一側(cè)提示攝像的全方向圖像的攝像位置數(shù)據(jù)，據(jù)此，終端裝置從供給中心接受根據(jù)所希望的視點決定的希望的移動路徑的圖像信息，因此，希望的移動路徑的輸入操作性良好，僅將希望的移動路徑的圖像加以連接，能欣賞重放時間平滑的狀態(tài)。
此外，在從終端裝置向供給中心一側(cè)不僅發(fā)送視點信息而且發(fā)送視線信息時，在供給中心一側(cè)根據(jù)視點信息從全方位圖像位置文件提取全方位圖像后，根據(jù)視線信息對該圖像進(jìn)行圖像處理之后，可僅作為必要的圖像向終端裝置側(cè)發(fā)送顯示，不受終端裝置的運算處理速度所控制，能享受有臨場感的全景圖像顯示。


圖1為本發(fā)明(實施形態(tài)1)的全方位影像裝置的框圖。
圖2為實施形態(tài)1的全方位影像裝置的系統(tǒng)結(jié)構(gòu)模式圖。
圖3為實施形態(tài)1的全方位圖像的攝像原理說明圖。
圖4為實施形態(tài)1的全方位圖像的模式圖。
圖5為實施形態(tài)1的影像傳感器的移動路徑說明圖。
圖6為實施形態(tài)1的全方位圖像位置文件的說明圖。
圖7為實施形態(tài)1的全攝像位置的顯示結(jié)果的說明圖。
圖8為實施形態(tài)1的觀察路徑的指令結(jié)果的說明圖。
圖9為實施形態(tài)1的展開圖像的模式圖。
圖10為實施形態(tài)1的展開圖像文件的說明圖。
圖11為實施形態(tài)1的窗口圖像的說明圖。
圖12為實施形態(tài)1的視線指令手段的說明圖。
圖13為本發(fā)明(實施形態(tài)2)的全方位影像裝置的框圖。
圖14為實施形態(tài)2的觀察路徑的指令結(jié)果說明圖。
圖15為本發(fā)明(實施形態(tài)3)的全方位影像裝置的框圖。
圖16為實施形態(tài)3的全攝像位置的顯示結(jié)果的說明圖。
圖17的實施形態(tài)3的觀察路徑的指令結(jié)果的說明圖。
圖18為本發(fā)明(實施形態(tài)4)的全方位影像裝置的框圖。
圖19為實施形態(tài)4的對象物的指令結(jié)果說明圖。
圖20為實施形態(tài)4的觀察路徑的運算結(jié)果的說明圖。
圖21為表示現(xiàn)有裝置的動作順序的框圖。
以下根據(jù)圖1～20說明本發(fā)明的各實施形態(tài)。
(實施形態(tài)1)圖1～圖12示出實施形態(tài)1。
圖1示出實施形態(tài)1的全方位影像裝置。
全方位圖像攝像手段1對視點位置的全方向的圖像進(jìn)行攝像并輸出圖像數(shù)據(jù)。攝像位置取得手段2取得全方位圖像攝像手段攝取圖像時的位置。全方位圖像攝像手段1攝得的圖像和攝像位置取得手段2取得的攝像位置存儲到全方位圖像位置存儲手段3。
全方位圖像位置存儲手段3與攝像位置顯示手段4通過雙向通信手段10預(yù)先連接，全方位圖像位置存儲手段3中存儲的攝像位置顯示于攝像位置顯示手段4。
與攝像位置顯示手段顯示的攝像位置相對，用戶想看的視點的位置由用戶輸入到視點位置指令手段5中加以指定。視點位置指令手段5通過雙向通信手段10預(yù)先連接到圖像變換手段6，圖像變換手段6從全方位圖像位置存儲手段3調(diào)用視點位置指令手段5指令的位置中記錄的圖像，進(jìn)行攝取全方向的圖像的幾何變換及排列替換。
圖像變換手段6通過雙向通信手段10預(yù)先連接到圖像處理手段8，在圖像處理手段8連接對于用圖像變換手段6得到的圖像指令視線方向及視場角的視線指令手段7。
圖像處理手段8按照由視線指令手段指定的視線方向及視場角從得自圖像變換手段6的圖像中切出一部分圖像。圖像處理手段8切出的圖像由圖像顯示手段9顯示。
具體地說，全方位圖像攝像手段1與攝像位置取得手段2設(shè)置在圖2所示系統(tǒng)整體配置圖的影像傳感器裝置11中。全方位圖像位置存儲手段3與圖像變換手段6設(shè)置于供給中心中。攝像位置顯示手段4、視點位置指令手段5、視線指令手段7、圖像處理手段8和圖像顯示手段9設(shè)在終端裝置中。供給中心12與終端裝置13通過雙向通信手段10連接，可雙向信息傳輸。
又，圖2中供給中心12和終端裝置各畫出一臺，但可將多臺連接到雙向通信手段10上。
影像傳感器裝置11將反射鏡14與攝像機15裝在移動裝置17上，并構(gòu)成得使能在垂直于攝像機15的光軸方向上移動。這里說明在水平面上的移動。
攝像機15設(shè)置成其光軸沿鉛垂方向，攝像在反射鏡14上反射的像。攝像機15的光軸與反射鏡14的光軸設(shè)置成一致，通過攝像由反射鏡反射的像，故能一次攝下攝像機15光軸周圍的全方位圖像。
所述反射鏡14是軸對稱曲面，雖然也可以是圓錐或球面形狀，但這是說明雙曲面形狀。14a是將反射鏡14支持在目的位置上用的筒狀透光體。本實施例中對使用反射鏡14將視點位置的視點周圍360度的圖像一次攝影進(jìn)行說明，但如能構(gòu)成視點位置周圍360度的圖像，例如用魚眼透鏡來攝影，或旋轉(zhuǎn)攝像機并合成所攝的圖像來構(gòu)成也可以。
此外，舉例說明在室外使用影像傳感器裝置11的情況。
在室外攝像中，全方位的亮度不一定均勻，用恒定曝光的攝像往往不能良好地攝取全方向的圖像。因此，作為攝像機15，希望得到比一般照相機更為廣角的動態(tài)透鏡的圖像，故以在一幀中合成一般曝光和短時間曝光所得圖像的攝像機為好。
影像傳感器11上裝載有作為攝像位置取得手段2的GPS裝置，能取得影像傳感器裝置11的全球的位置。GBS裝置16是通過衛(wèi)星(未圖示)取得其自身在地球上的位置(緯度、經(jīng)度)的裝置。又，只要能通過檢測與已知徑、緯度的地點的相對位置來得到自身位置的差動GPS裝置就可。
先用圖3、圖4說明利用影像傳感器裝置11攝取的全方位圖像。
圖3為全方位圖像的攝像原理圖，18是攝像對象點。19是攝像機15的成像面。20是攝像機15的焦點。21表示成像面19上攝像對象點的成像位置。22表示用全方向攝像得到的成像圖像的區(qū)域。
坐標(biāo)軸X、Y取攝像機的焦點20為原點，設(shè)定在平行于成像面19的平面上。又，Z軸取攝像機15的焦點20為原點，設(shè)定在與成像面19垂直的方向上。反射鏡14的旋轉(zhuǎn)軸與Z軸一致。這里，攝像對象點18的像由反射鏡14改變方向，通過攝像機焦點20，成像于成像19上的成像位置21上。
反射鏡14的形狀為軸對稱的雙軸面，故從攝像對象點18射向反射鏡14的光線的延長線，即使攝像對象點的位置改變也總是通過Z軸的點23。23稱為假想焦點。
因此，成像圖像22便表示從假想焦點23以Z軸周圍360度方位角觀看到的圖像。對于從假想焦點23的XY平面的傾角方向，隨攝像機15的視場角而變。
這樣，Z軸周圍的方位角方向360度與規(guī)定的仰角方向的圖像便一次成像于成像圖像的區(qū)域22中。這樣得到的圓形成像圖像稱全方位圖像。
圖4示出全方位圖像的例子。
24是全方位圖像，成為圓形的圖像。這是取全方向圖像24的半徑方向為R、圓周方向為θ時，半徑方向R便與從圖3的假想焦點23出發(fā)的視線的傾角方向相對應(yīng)，而圓周方向θ便與從圖3的假想焦點23出發(fā)的視線的方位角方向相對應(yīng)。
下面用圖5與圖6說明存儲在全方位圖像位置存儲手段3中的圖像和位置信息的取得方法和記錄狀態(tài)。
圖5為示出影像傳感器裝置11的移動路徑的圖像。箭頭表示移動方向，出發(fā)點為A，示出以A→B→C→D→E→F→C→D→A的順序移動。25a、25b、25c表示位于路徑上的建筑物位置。
影像傳感器裝置11按圖5示出的移動路徑移動，同時用所裝載的攝像機15與GPS裝置16取得全方位圖像和位置信息，送到供給中心12。從影像傳感器裝置11至供給中心12的全方位圖像和位置信息的傳送，可用無線通信、有線通信或記錄于DVD等記錄媒體上傳送等方式實現(xiàn)。
圖6示出如上作成的存儲于供給中心12的全方位圖像和位置的記錄狀態(tài)的模式圖。
圖6中，26是同一時刻攝得的各個全方位圖像和位置被分配記錄順序號并記錄的全方位圖像位置文件，為便于說明，示出同一記錄全方位圖像和位置信息的情況，但也可以分別記錄全方位圖像和位置再加上同記錄號。
在全方位圖像和位置信息記錄到全方位圖像位置存儲手段3之后的任意時間起，在終端裝置13的命令下通過雙向通信手段供給中心12與終端裝置13之間開始通信。
以下根據(jù)圖7～圖12說明通信開始后全方位影像裝置的動作步驟。
(步驟1-1)圖6示出的全方位圖像位置文件記錄于全方位圖像位置存儲手段3中。首先，取出位置信息與記錄號，通過雙向通信手段將全攝像位置顯示于終端裝置13的攝像位置顯示手段4。
圖7表示顯示于攝像位置顯示手段4中的全攝像位置。圖7的虛線表示攝像位置。
位置信息以GPS裝置16取得的緯度經(jīng)度信息給出，故攝像位置顯示手段4縮尺顯示緯度經(jīng)度信息。圖7中A、B、C、D、E、F為用于說明的文字，在攝像位置顯示手段4中并不顯示。
(步驟1-2)用戶確認(rèn)了(步驟1-1)中攝像位置顯示手段4所顯示的全攝像位置，用視點位置指令手段5在全攝像位置中只指定用戶想要觀看的觀察路徑。圖8是用視點位置指令手段5指令觀察路徑的結(jié)果。圖8中示出指令例如通過A、B、C、D各地點的路徑的結(jié)果。本實施形態(tài)中通過視點位置指令手段5選擇連續(xù)的觀察路徑，但選擇A-B和E-F等不連續(xù)的路徑也無關(guān)系。
作為攝像位置手段4與視點位置指令手段5的具體例子，在終端裝置13識別全攝像位置并以圖7所示的格式顯示終端裝置13的顯示器畫面，在此顯示器畫面上重疊安裝的觸摸屏作為輸入裝置，用戶通過觸摸屏對顯示畫面觸摸全攝像位置的顯示畫面內(nèi)的觀察路徑的指令處，識別該指令處而輸入，或者從終端裝置的鍵盤輸入。
(步驟1-3)在(步驟1-2)中用視點位置指令手段5指令的觀察路徑的位置對應(yīng)的記錄號作為觀看順序，通過雙向通信手段10送到圖像變換手段6。
(步驟1-4)從全方位圖像位置存儲手段3調(diào)用在(步驟1-3)中由視點位置指令手段5送來的記錄號所對應(yīng)的全方位圖像，送到圖像變換手段6。
(步驟1-5)對于在(步驟1-4)中送到圖像變換手段6的全方位圖像實行變換處理。和圖3、4、9、10說明圖像處理手段6中的處理方法。
圖9是將圖4的全方位圖像24經(jīng)變換為從圖3所示的假想焦點23觀看并假定的圖像后的圖像，下面稱此圖像為展開圖像27。
展開圖像27的X方向與從假想焦點23觀看的Z軸周圍的方位角方向相對應(yīng)，得到360度的方位角方向的圖像。圖像的Y方向與從假想焦點23觀看的仰角方向R相對應(yīng)。
因此，如將圖4的全方位圖像24的任意一點(γ1、θ1)變換為展開圖像27的坐標(biāo)(x1、y1)的位置時，則有關(guān)系(x1、y1)=F(γ1、θ1)(1)函數(shù)F為坐標(biāo)變換函數(shù)，由于眾所周知這里省略詳細(xì)說明。
在圖像變換手段6中，調(diào)用(步驟1-4)中由視點位置指令手段5送出的記錄號對應(yīng)的全方位圖像24并變換成展開圖像27，同時對各展開圖像27以用視點位置指定手段5指定的觀察路徑順序排列替換數(shù)據(jù)。
圖10示出如此獲得的展開圖像27的列。如圖10那樣作成以觀測順序排列展開圖像27的展開圖像文件28，通過雙向通信手段送到圖像處理手段8。
(步驟1-6)用圖10、11、12說明用視線指令手段7以及圖像處理手段8的處理方法。
圖11為利用圖像處理手段8從圖9的展開圖像27切出一部分區(qū)域并處理得到的圖像例。下面稱為窗口。
圖11的窗口圖像29是從圖9的展開圖像27中指定視線方向即仰角和方位角，切出一部分區(qū)域并經(jīng)處理而得到的。切出區(qū)域的大小與觀看點的視場角相當(dāng)。
以下詳細(xì)說明(步驟1-6)(步驟1-6-(1))首先，對于在(步驟1-5)中通過雙向通信手段10送出的圖10的展開圖像文件28，圖像處理手段8用預(yù)先設(shè)定的規(guī)定仰角、方位角、視場角作成最初的窗口圖像29并顯示在圖像顯示手段9中。
(步驟1-6-(2))其次，對于圖像顯示手段9所顯示的圖像，用戶利用視線指令手段7變更視線方向和視場角。圖12是視線指令手段7的模式圖。
圖12中，30a、30b為仰角指令鈕，31a、31b為方位角指令鈕，32a、32b為視場角指令鈕。它們顯示于圖像顯示手段9中，用戶用鼠標(biāo)等進(jìn)行指令。也可對鍵盤0～9數(shù)字鍵分配功能來實施。
(步驟1-6-(3))再次，用視線指令手段7變更的視線方向和視場角，送到圖像處理手段8，變更下一個展開圖像的切出處理區(qū)域，作成窗口圖像29，顯示于圖像顯示手段9。重復(fù)進(jìn)行(步驟1-6(2))、(步驟1-6(3))直到完成展開圖像文件28對全部展開圖像27的處理。
如上所述，如采用本實施形態(tài)，則由于能對用戶事先提示攝取全方位圖像24的位置，僅作成除去不需要路徑的信息以外的必要視點位置的圖像，并發(fā)送，故不必發(fā)送攝像的全部區(qū)域的圖像，減少通信數(shù)據(jù)量，借此可降低通信成本。此外能對用戶快速顯示圖像，可減少等待時間。
(實施形態(tài)2)圖13、14示出(實施形態(tài)2)。
圖13示出(實施形態(tài)2)的全方位影像裝置，全方位圖像攝像手段1、攝像位置取得手段2、全方位圖像位置存儲手段3、攝像位置顯示手段4與(實施形態(tài)1)相同。
(實施形態(tài)1)中，在終端裝置13一側(cè)輸入希望的觀點，其后在終端裝置一側(cè)按照希望的視線將從供給中心12接收到的數(shù)據(jù)實行再次數(shù)據(jù)處理，得到目的的顯示圖像，但在本(實施形態(tài)2)中，最初不僅指定希望的視點，而且還指定視線方向，聯(lián)系到供給中心，從供給中心12送回終端裝置13的數(shù)據(jù)也不再處理而得到目的的顯示圖像，這是不同之處。
與攝像位置顯示手段4相同的終端裝置13中設(shè)置的視線向量指令手段33，與攝像位置顯示手段4顯示的攝像位置相對，指定用戶想看的視點的位置和視線的方向。視線向量指令手段33的輸出通過雙向通信手段10輸入到圖像提取變換手段34。
設(shè)于供給中心12一側(cè)的圖像提取變換手段34，從全方位圖像位置存儲手段3中調(diào)用從全方位圖像位置存儲手段3的全方位圖像位置文件26中用視線向量指令手段指令的視點位置中記錄的全方位圖像24，而且生成由視線向量指令手段33指令的視線方向窗口圖像29。
由圖像提取變換手段34作成的窗口圖像29的列，在圖像壓縮手段35中進(jìn)行壓縮，通過雙向通信手段10傳送到終端裝置13一側(cè)，由設(shè)置在終端裝置13一側(cè)的圖像解碼手段對從所述圖像壓縮手段35送來的信號解碼。
由圖像解碼手段36解碼的圖像的列由圖像顯示手段顯示。
(實施形態(tài)2)與(實施形態(tài)1)的不同之處是，(實施形態(tài)2)中供給中心具有全方位圖像位置存儲手段3、圖像提取變換手段34和圖像壓縮手段35，終端裝置13具有攝像位置顯示手段4、視線向量指令手段33、圖像解碼手段36和圖像顯示手段9。
說明通信開始后的全方向影像裝置的動作步驟。
(步驟2-1)圖6所示的全方位圖像位置文件26記錄于全方位圖像位置存儲手段3中。首先，取出位置信息與記錄號，通過雙向通信手段，將攝像位置顯示于終端裝置13的攝像位置顯示手段4。攝像位置顯示手段4所顯示的攝像位置與圖7相同。
(步驟2-2)確認(rèn)了(步驟2-1)中顯示于攝像位置顯示手段的攝像位置后的用戶，利用視線向量指令手段33在全攝像位置中指定用戶想要觀看的觀察路徑和各觀察路徑的視線方向。圖14示出由視線向量指令手段33指令的觀察路徑和視線方向。觀察路徑以實線箭頭41示出，視線方向以空心箭頭42示出。觀察路徑指令輸入，具體從終端裝置13的顯示畫面或鍵盤(未示出)輸入，與(實施形態(tài)1)相同。
(步驟2-3)通過雙向通信手段10，將視線向量指令手段33指令的觀察路徑與視線方向即抑角與方位角送到圖像提取變換手段34。
(步驟2-4)圖像提取變換手段34從全方位圖像位置存儲手段3調(diào)用由視線向量指令手段送來的觀察路徑對應(yīng)的全方位圖像24。
(步驟2-5)圖像提取變換手段34利用(步驟2-4)中得到的全方向圖像與(步驟2-3)中得到的視線方向，作成圖11所示的窗口圖像29。這里，不一定有必要作成圖9那樣的展開圖像27，而可從全方位圖像24直接作為窗口圖像29。
作成的窗口圖像29按觀察路徑順序排列替換，送到圖像壓縮手段35。
(步驟2-6)
對于在(步驟2-5)得到的窗口圖像29，在圖像壓縮手段35中進(jìn)行圖像壓縮，借以削減信號量。由于窗口圖像29按觀察路徑順序即顯示順序排列替換，故能使圖像壓縮進(jìn)行運動圖像壓縮，例如進(jìn)行MPEG運動圖像壓縮。壓縮后的信號通過雙向通信手段送到終端裝置13一側(cè)的圖像解碼手段36。
(步驟2-7)圖像解碼手段36中，將來自圖像壓縮手段35的圖像存入一次緩存(未圖示)進(jìn)行解碼，送到圖像顯示手段9進(jìn)行圖像顯示。
采用這樣的(實施形態(tài)2)，則能對用戶事先提示攝取全方位圖像24的位置，指定除去不需要路徑的信息以外的必要的視點位置和視線方向，借此能僅發(fā)送對顯示必要的圖像。
而且，由于對圖像壓縮并發(fā)送，能更加減少通信的數(shù)據(jù)量。
此外，在用戶側(cè)(終端裝置一側(cè))，由于僅作圖像解碼處理而不發(fā)生由圖像變換處理引起的運算，以均勻的時間間隔進(jìn)行圖像顯示，無損于顯示重放的平滑度，獲得高的臨場感。
(實施形態(tài)3)圖15～17示出(實施形態(tài)3)。
圖15示出(實施形態(tài)3)的全方位影像裝置。
(實施形態(tài)3)在(實施形態(tài)2)的終端裝置13的一側(cè)設(shè)置地圖數(shù)據(jù)存儲手段37與合成位置顯示手段38以取代攝像位置顯示手段4，僅此一點不同，其他均同(實施形態(tài)2)。
(實施形態(tài)3)的地圖數(shù)據(jù)存儲手段37中預(yù)先寫入由全方位圖像攝像手段1攝像的地域的地圖數(shù)據(jù)。合成位置顯示手段38通過雙向通信手段與供給中心12一側(cè)的全方位圖像位置存儲手段3相連接，與(實施形態(tài)1)、(實施形態(tài)2)相同，全方位圖像位置存儲手段3中存儲的攝像位置在終端裝置13一側(cè)顯示，同時，所述地圖數(shù)據(jù)存儲手段37中存儲的地圖信息也合成顯示在相同的畫面上。
圖16示出合成位置顯示手段38中顯示格式。也如圖5中所示，示出25a、25b、25c為位于路徑上的建筑物的位置。這樣，不僅移動路徑，而且附加顯示根據(jù)地圖數(shù)據(jù)的建筑物所在位置等的地圖信息。
圖17示出由視點向量指令手段33指令的觀察路徑與視線方向。圖17的箭頭41是觀察路徑，空白箭頭42是視線方向。例如，用戶在想觀看建筑物25a、25b、25c的場合，由于預(yù)先能確認(rèn)位置，故選擇通A、B、C、D各地點的觀察路徑，并指定指向建筑物25a、25b、25c的方向的視線方向。
采和(實施形態(tài)3)，則將攝取全方位圖像的位置與地圖信息合成并顯示，借此，能預(yù)先認(rèn)識攝像位置的環(huán)境，可正確地指令根據(jù)用戶的喜好的觀察路徑和視線方向。
雖然地圖數(shù)據(jù)存儲手段37位于終端裝置13的內(nèi)部，但即使從供給中心12的內(nèi)部或從與雙向通信裝置相連的其他裝置的內(nèi)部來調(diào)用使用，顯然也能獲得同樣的效果。
(實施形態(tài)4)圖18～20示出(實施形態(tài)4)(實施形態(tài)4)中，設(shè)置地圖數(shù)據(jù)存儲手段37與合成位置顯示手段38取代圖1所示(實施形態(tài)1)的攝像位置顯示手段4，設(shè)置對象物指定手段39與視點位置運算手段40取代視點位置指令手段5，其他均同(實施形態(tài)1)。地圖數(shù)據(jù)存儲手段37與合成位置顯示手段38與(實施形態(tài)3)相同。
對象物指定手段39是從位于由合成位置顯示手段38顯示的全攝像路徑上的對象物43中僅指想要觀看的對象物43的輸入裝置。
視點位置運算手段40是從由對象物指定手段39指定的對象物43的位置中運算最佳路徑的運算手段。
(步驟4-1)通過雙向通信手段10從全方位圖像位置存儲手段3接收到的位置信息與記錄號的合成位置顯示手段38，從地圖數(shù)據(jù)存儲手段37調(diào)用、合成并顯示全方位圖像攝像手段1攝像的地域數(shù)據(jù)。
附加由合成位置顯示手段38顯示的地圖數(shù)據(jù)的路徑圖與圖16相同。如圖5所示，25a、25b、25c表示僅次于路徑上的建筑物的位置。這樣，不僅移動路徑，而且還附加根據(jù)地圖數(shù)據(jù)的建筑物的所在位置等的地圖信息，并顯示。
(步驟4-2-(1))確認(rèn)了(步驟4-1)中合成位置顯示手段38顯示的全攝像位置的用戶，利用對象物指定手段39僅指定合成位置顯示手段38顯示的攝像位置的路徑途中的想要觀看的對象物43。
圖19示出對象物指定手段39指定多個對象物43的結(jié)果?？瞻准^43表示指定的對象物43，表示指定圖19中建筑物25a與25c的情況。
(步驟4-2-(2))圖18的視點位置運算手段40自動運算觀看圖19那樣指定的建筑物25a與25c的路徑。
圖20為表示觀察路徑的運算結(jié)果的結(jié)果。箭頭44表示路徑。路徑的運算，例如運算連結(jié)圖19的建筑物25a與建筑物25c的全部路徑，其中最短距離的路徑?jīng)Q定為觀察路徑。路徑的運算如是可運算多個對象物的路徑的方法，則也可用其他的方法。
為了確定(步驟4-2-(2))中觀察路徑，以下的步驟與(實施形態(tài)1)的(步驟1-3)至(步驟1-6)相同。
采用(實施形態(tài)4)，則將攝取全方位圖像24的位置與地圖信息合成并顯示，借此，能預(yù)先認(rèn)識攝像位置的環(huán)境，因此能正確指令根據(jù)用戶喜好的觀察路徑，而且能僅指定用戶想看的場所，自動作為路徑，因此不必輸入視點位置，能方便地重放要想看的場所。
雖然自動運算觀察路徑，視線方向由用戶指令，但也可從觀察路徑容易地推定從觀察路徑看到的對象物43的方向。因而也可用視點位置運算手段40通過計算得到觀看和視線方向。在這種場合，與(實施形態(tài)2)和(步驟2-3)至(步驟2-7)的處理相同。
具體地說，其構(gòu)成為，在終端裝置中設(shè)置運算手段，運算從對象物指定手段39指定的對象物43的位置連結(jié)到各視點的最佳觀察路徑，輸出視點信息，同時推定從所述觀察路徑看到對象物43的方向，并輸出視線信息；在供給中心設(shè)置圖像提取變換手段34，通過雙向通信手段10，根據(jù)所述運算手段指令的視點信息和視線信息從全方位圖像位置存儲儲手段3調(diào)用必要的圖像數(shù)據(jù)，經(jīng)數(shù)據(jù)變換成展開圖像，同時根據(jù)所述視線信息處理展開圖像27；在終端裝置13中設(shè)置圖像顯示手段，通過雙向通信手段，以從圖像提取變換手段34接收到的信號作為圖像進(jìn)行顯示。
權(quán)利要求
1．一種全方位影像輸出方法，其特征在于，在服務(wù)區(qū)內(nèi)移動的視點位置上攝取所述視點位置周圍的圖像，與攝像的攝像位置數(shù)據(jù)相對應(yīng)記錄為全方位圖像位置文件(26)，就全方向圖像向用戶提示所記錄的攝像位置數(shù)據(jù)，根據(jù)用戶指定的所述服務(wù)區(qū)內(nèi)的視點信息，從所述全方位圖像位置文件(26)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，根據(jù)用戶指定的視線方向(42)處理所調(diào)出的各圖像數(shù)據(jù)來輸出圖像。
2．一種全方位影像輸出方法，其特征在于，供給中心(12)與終端裝置(13)通信，從所述供給中心(12)接收需要的圖像數(shù)據(jù)并輸出圖像時，其具有的全方位圖像位置文件(26)由在服務(wù)區(qū)內(nèi)移動攝取的視點位置的全方向圖像和攝取該圖像的攝像位置數(shù)據(jù)組成的供給中心(12)，向所述終端裝置(13)提示攝取全方向圖像的攝像位置數(shù)據(jù)，將該提示的移動路徑中所希望的視點信息發(fā)送給供給中心(12)，供給中心(12)根據(jù)終端裝置(13)指定的視點信息，從全方位圖像位置文件(26)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，經(jīng)數(shù)據(jù)變換為展開圖像(27)，發(fā)送到終端裝置(13)，終端裝置(13)根據(jù)所希望的視線方向(42)處理所接收的展開圖像(27)來輸出圖像。
3．一種全方位影像輸出方法，其特征在于，供給中心(12)與終端裝置(13)通信，從所述供給中心(12)接收需要的圖像數(shù)據(jù)并輸出圖像時，其具有的全方位圖像位置文件(26)由在服務(wù)區(qū)內(nèi)移動攝取的視點位置的全方向圖像和攝取該圖像的攝像位置數(shù)據(jù)組成的供給中心(12)，向所述終端裝置(13)提示攝取全方向圖像的攝像位置數(shù)據(jù)，將該提示的移動路徑中所希望的視點信息和視線信息發(fā)送給供給中心(12)，供給中心(12)根據(jù)接收到的視點信息，從全方位圖像位置文件(26)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，根據(jù)終端裝置(13)指定的所述視線信息對該圖像數(shù)據(jù)進(jìn)行圖像處理，變換為窗口圖像(29)，發(fā)送到終端裝置(13)，由終端裝置(13)輸出圖像。
4．如權(quán)利要求3所述的全方位影像輸出方法，其特征在于，供給中心(12)向終端裝置(13)就全方向圖像提示所記錄的攝像位置數(shù)據(jù)時，合成顯示服務(wù)區(qū)地圖和所述攝像位置數(shù)據(jù)。
5．如權(quán)利要求2所述的全方位影像輸出方法，其特征在于，供給中心(12)向終端裝置(13)就全方向圖像提示所記錄的攝像位置數(shù)據(jù)時，終端裝置(13)合成顯示服務(wù)區(qū)地圖和所述攝像位置數(shù)據(jù)，終端裝置運算從該顯示的位于整個攝像路徑上的對象物(43)當(dāng)中指定的對象物(43)位置連接各視點的最佳路徑，供給中心(12)根據(jù)該運算結(jié)果，從全方位圖像位置文件(26)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，經(jīng)數(shù)據(jù)變換為展開圖像(27)，發(fā)送到終端裝置(13)；接收到所希望視點位置的展開圖像(27)的終端裝置(13)，根據(jù)所希望的視線方向(42)處理展開圖像(27)來輸出圖像。
6．如權(quán)利要求2所述的全方位影像輸出方法，其特征在于，供給中心(12)向終端裝置(13)就全方向圖像提示所記錄的攝像位置數(shù)據(jù)時，終端裝置(13)合成顯示服務(wù)區(qū)地圖和所述攝像位置數(shù)據(jù)，終端裝置運算從該顯示的位于整個攝像路徑上的對象物(43)當(dāng)中指定的對象物(43)位置連接各視點的最佳路徑，在終端裝置運算從位于所述顯示的全景攝像路徑上的對象物(43)中指定的對象物(43)的位置連接各視點的最佳路徑，以及從該觀察路徑(41)看去的對象物(43)的視線方向(42)，發(fā)送給供給中心(12)，供給中心(12)根據(jù)該運算結(jié)果的觀察路徑(41)，從全方位圖像位置文件(26)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，并根據(jù)所述運算結(jié)果的視線信息對該圖像數(shù)據(jù)進(jìn)行圖像處理，變換為窗口圖像(29)，發(fā)送到終端裝置(13)，由終端裝置(13)輸出圖像。
7．一種全方位影像輸出裝置，供給中心(12)與終端裝置(13)通信，從所述供給中心(12)接收需要的圖像數(shù)據(jù)來輸出圖像，其特征在于，供給中心(12)設(shè)有一全方位圖像位置存儲手段(3)，其具有的全方位圖像位置文件(26)由在服務(wù)區(qū)內(nèi)移動攝像的視點位置的全方向圖像和攝取該圖像的攝像位置數(shù)據(jù)組成，設(shè)有在供給中心(12)和終端裝置(13)之間執(zhí)行信息交換的雙向通信手段(10)，終端裝置(13)設(shè)有一攝像位置顯示手段(4)，就經(jīng)過所述雙向通信手段(10)從所述全方位圖像位置存儲手段(3)當(dāng)中讀出的全方向圖像，顯示攝像的攝像位置數(shù)據(jù)，終端裝置(13)設(shè)有一視點位置指令手段(5)，根據(jù)所述攝像位置顯示手段(4)的顯示，輸出移動路徑中所希望的視點信息，供給中心(12)設(shè)有一圖像變換手段(6)，根據(jù)經(jīng)過所述雙向通信手段(10)由所述視點位置指令手段(5)指令的視點信息，從所述全方位圖像位置存儲手段(3)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，數(shù)據(jù)變換為展開圖像(27)，終端裝置(13)設(shè)有一根據(jù)所希望的視線方向(42)對經(jīng)過所述雙向通信手段(10)從圖像變換手段(6)接收到的展開圖像(27)進(jìn)行處理的圖像處理手段(8)，以及一顯示圖像處理手段(8)輸出的窗口圖像(29)的圖像顯示手段(9)。
8．一種全方位影像輸出裝置，供給中心(12)與終端裝置(13)通信，從所述供給中心(12)接收需要的圖像數(shù)據(jù)來輸出圖像，其特征在于，供給中心(12)設(shè)有一全方位圖像位置存儲手段(3)，其具有的全方位圖像位置文件(26)由在服務(wù)區(qū)內(nèi)移動攝像的視點位置的全方向圖像和攝取該圖像的攝像位置數(shù)據(jù)組成，設(shè)有在供給中心(12)和終端裝置(13)之間執(zhí)行信息交換的雙向通信手段(10)，終端裝置(13)設(shè)有一攝像位置顯示手段(4)，就經(jīng)過所述雙向通信手段(10)從所述全方位圖像位置存儲手段(3)當(dāng)中讀出的全方向圖像，顯示攝像的攝像位置數(shù)據(jù)，終端裝置(13)設(shè)有一視線向量指令手段(33)，根據(jù)所述攝像位置顯示手段(4)的顯示，輸出移動路徑中所希望的視點信息和視線信息，供給中心(12)設(shè)有一圖像提取變換手段(34)，根據(jù)經(jīng)過所述雙向通信手段(10)從所述視線向量指令手段(33)接收的視點信息，從所述全方位圖像位置存儲手段(3)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，根據(jù)從所述視線向量指令手段(33)接收的視線信息對該圖像數(shù)據(jù)進(jìn)行圖像處理和輸出，終端裝置(13)設(shè)有一圖像顯示手段(9)，將經(jīng)過所述雙向通信手段(10)從供給中心(12)一側(cè)接收到的信號作為圖像顯示。
9．一種全方位影像輸出裝置，供給中心(12)與終端裝置(13)通信，從所述供給中心(12)接收需要的圖像數(shù)據(jù)來輸出圖像，其特征在于，供給中心(12)設(shè)有一全方位圖像位置存儲手段(3)，其具有的全方位圖像位置文件(26)由在服務(wù)區(qū)內(nèi)移動攝像的視點位置的全方向圖像和攝取該圖像的攝像位置數(shù)據(jù)組成，設(shè)有在供給中心(12)和終端裝置(13)之間執(zhí)行信息交換的雙向通信手段(10)，終端裝置(13)設(shè)有一登錄服務(wù)區(qū)地圖的地圖數(shù)據(jù)存儲手段(37)，終端裝置(13)設(shè)有一合成位置顯示手段(38)，就經(jīng)過雙向通信手段從所述全方位圖像位置存儲手段(3)讀出的全方向圖像將攝像的攝像位置數(shù)據(jù)與從所述地圖數(shù)據(jù)存儲手段(37)讀出的地圖重疊顯示，終端裝置(13)設(shè)有一視線向量指令手段(33)，根據(jù)所述合成位置顯示手段(38)的顯示，輸出移動路徑中所希望的視點信息和視線信息，供給中心(12)設(shè)有一圖像提取變換手段(34)，根據(jù)經(jīng)過所述雙向通信手段(10)從所述視線向量指令手段(33)接收的視點信息，從所述全方位圖像位置存儲手段(3)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，根據(jù)從所述視線向量指令手段(33)接收的視線信息對該圖像數(shù)據(jù)進(jìn)行圖像處理，變換為窗口圖像(29)，終端裝置(13)設(shè)有一圖像顯示手段(9)，顯示經(jīng)過所述雙向通信手段(10)從供給中心(12)一側(cè)接收到的窗口圖像(29)。
10．一種全方位影像輸出裝置，供給中心(12)與終端裝置(13)通信，從所述供給中心(12)接收需要的圖像數(shù)據(jù)來輸出圖像，其特征在于，供給中心(12)設(shè)有一全方位圖像位置存儲手段(3)，其具有的全方位圖像位置文件(26)由在服務(wù)區(qū)內(nèi)移動攝像的視點位置的全方向圖像和攝取該圖像的攝像位置數(shù)據(jù)組成，設(shè)有在供給中心(12)和終端裝置(13)之間執(zhí)行信息交換的雙向通信手段(10)，終端裝置(13)設(shè)有一登錄服務(wù)區(qū)地圖的地圖數(shù)據(jù)存儲手段(37)，終端裝置(13)設(shè)有一合成位置顯示手段(38)，就經(jīng)過雙向通信手段從所述全方位圖像位置存儲手段(3)讀出的全方向圖像將攝像的攝像位置數(shù)據(jù)與從所述地圖數(shù)據(jù)存儲手段(37)讀出的地圖重疊顯示，終端裝置(13)設(shè)有一對象物指定手段(39)，指定的是從所述合成位置顯示手段(38)顯示的位于整個攝像路徑上的對象物(43)當(dāng)中指定的對象物(43)，終端裝置(13)設(shè)有一視點位置運算手段(40)，運算從所述對象物指定手段(39)指定的對象物(39)的位置連接各視點的最佳路徑，供給中心(12)設(shè)有一圖像變換手段(6)，根據(jù)經(jīng)過所述雙向通信手段(10)由所述視點位置運算手段(40)指令的視點信息，從所述全方位圖像位置存儲手段(3)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，數(shù)據(jù)變換為展開圖像(27)，終端裝置(13)設(shè)有一根據(jù)所希望的視線方向?qū)?jīng)過所述雙向通信手段(10)從圖像變換手段(6)接收到的展開圖像(27)進(jìn)行處理的圖像處理手段(8)，以及一顯示圖像處理手段(8)輸出的窗口圖像(29)的圖像顯示手段(9)。
11．一種全方位影像輸出裝置，供給中心(12)與終端裝置(13)通信，從所述供給中心(12)接收需要的圖像數(shù)據(jù)來輸出圖像，其特征在于，供給中心(12)設(shè)有一全方位圖像位置存儲手段(3)，其具有的全方位圖像位置文件(26)由在服務(wù)區(qū)內(nèi)移動攝像的視點位置的全方向圖像和攝取該圖像的攝像位置數(shù)據(jù)組成，設(shè)有在供給中心(12)和終端裝置(13)之間執(zhí)行信息交換的雙向通信手段(10)，終端裝置(13)設(shè)有一登錄服務(wù)區(qū)地圖的地圖數(shù)據(jù)存儲手段(37)，終端裝置(13)設(shè)有一合成位置顯示手段(38)，就經(jīng)過雙向通信手段從所述全方位圖像位置存儲手段(3)讀出的全方向圖像將攝像的攝像位置數(shù)據(jù)與從所述地圖數(shù)據(jù)存儲手段(37)讀出的地圖重疊顯示，終端裝置(13)設(shè)有一對象物指定手段(39)，指定的是從所述合成位置顯示手段(38)顯示的位于整個攝像路徑上的對象物(43)當(dāng)中指定的對象物(43)，終端裝置(13)設(shè)有一運算手段，運算從所述對象物指定手段(39)指定的對象物(39)的位置連接各視點的最佳觀察路徑(44)輸出視點信息，并推定從所述觀察路徑(44)看去的對象物(43)的方向輸出視線信息，供給中心(12)設(shè)有一圖像變換手段(6)，根據(jù)經(jīng)過所述雙向通信手段(10)由所述運算手段指令的視點信息和視線信息，從所述全方位圖像位置存儲手段(3)當(dāng)中調(diào)出需要的圖像數(shù)據(jù)，數(shù)據(jù)變換為展開圖像(27)，并根據(jù)所述視線信息處理展開圖像(27)，終端裝置(13)設(shè)有一圖像顯示手段(9)，將經(jīng)過所述雙向通信手段(10)從圖像變換手段(6)接收到的信號作為圖像顯示。
全文摘要
從全方位圖像當(dāng)中切出任意視點圖像進(jìn)行重放時,盡可能減小其他裝置存儲全方位圖像時的信息傳輸量。通過雙向通信手段(10)僅將位置信息從全方位圖像位置存儲手段(3)送到終端裝置的攝像位置顯示手段(4)上顯示,利用視點位置指令手段(5)指定必要的視點位置,供給中心的圖像變換手段(6)根據(jù)視點位置指令手段(5)指令的視點位置,從全方位圖像位置存儲手段(3)當(dāng)中提取需要的圖像通過雙向通信手段(10)送至終端裝置進(jìn)行圖像顯示。
文檔編號H04N7/24GK1315114SQ00801197
公開日2001年9月26日 申請日期2000年6月19日 優(yōu)先權(quán)日1999年6月25日
發(fā)明者曾我部靖, 石黑浩, 村田茂樹, 林謙一 申請人:松下電器產(chǎn)業(yè)株式會社, 石黑浩