專利名稱：圖像顯示系統(tǒng)、裝置和方法,圖像發(fā)送裝置和方法,以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適合應(yīng)用于例如監(jiān)視系統(tǒng)的圖像顯示系統(tǒng)、圖像發(fā)送裝 置、圖像發(fā)送方法、圖像顯示裝置、圖像顯示方法、以及程序。具體而 言，本發(fā)明涉及這樣的圖像顯示系統(tǒng)等，其中，在圖像發(fā)送裝置側(cè)，通過 對適配成拾取全景圖像而生成的來自多個相機部分的各個圖像數(shù)據(jù)執(zhí)行處 理，來生成和發(fā)送通過對高分辨率的圖像數(shù)據(jù)進行壓縮編碼而獲得的第一 壓縮圖像數(shù)據(jù)和通過對低分辨率的圖像數(shù)據(jù)進行壓縮編碼而獲得的第二壓 縮圖像數(shù)據(jù)，并且在圖像顯示裝置側(cè)，通過使用多條所接收的第二壓縮圖 像數(shù)據(jù)的解碼數(shù)據(jù)來顯示全景圖像，并且通過使用在多條所接收的第一壓 縮圖像數(shù)據(jù)中的與在全景圖像上確定的預(yù)定位置相對應(yīng)的分割圖像(divided image)的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來顯示高分辨率圖像， 從而減少數(shù)據(jù)發(fā)送和圖像顯示期間的數(shù)據(jù)處理量并減輕處理負荷。
背景技術(shù)：
近年來，數(shù)碼相機和攝像機中提供的像素數(shù)目已經(jīng)增大。大于1000 萬像素的數(shù)碼相機普遍可見，并且用于消費者的HD (高清晰)攝像機也 已投入市場。當傳送通過用這些相機拾取圖像而獲得的圖像數(shù)據(jù)時，為了 減小傳送頻帶而執(zhí)行編碼處理。編碼處理的示例主要包括JPEG、 MPEG-2 和MPEG-4。經(jīng)常進行這樣的嘗試，即，使用這些編碼技術(shù)來將高像素圖像發(fā)布到 諸如因特網(wǎng)之類的網(wǎng)絡(luò)上。例如，日本未審查專利申請公布No.2003-18583和2005-333552描述了使用多個相機來記錄和發(fā)布廣角圖像(廣域 圖像)。但是，日本未審查專利申請公布No.2003-18583或2005-333552中所描述的發(fā)布具有這樣一種類型，其中，圖像數(shù)據(jù)被累積在視頻服務(wù)器 中。由于預(yù)期像素數(shù)目今后將進一步增加，所以這種類型在可擴展性方面受到限制。在向更高的像素數(shù)目的趨勢下，例如，如日本未審查專利申請公布No.2003-162018和No.2002-314867所描述的，提出了在視點一致光學(xué)系統(tǒng) (viewpoint coincident optical system)中使用多個相機的裝置，并因而提 高了圖像傳送時的編碼處理的重要性。作為限制傳送頻帶的對策，可以設(shè) 想根據(jù)傳送路徑的頻帶或者在接收側(cè)的多分辨率編碼或速率控制方法。這 些方法利用基于小波變換的JPEG 2000技術(shù)來實施。此外，構(gòu)想了這樣一種方法，其中，根據(jù)情形的變化的同時減少其中 的數(shù)據(jù)傳送，而僅僅傳送確定為必要的一部分，并且對數(shù)據(jù)分辨率進行改 變(例如，參考日本未審査專利申請公布No.2005-176301)。但是，根據(jù) 日本未審査專利申請公布No.2005-176301所公開的方法，由于確定為不必 要的區(qū)域被預(yù)先發(fā)送，并且必要區(qū)域的圖像隨后被疊加，所以可能生成外 圍區(qū)域和注意區(qū)域(attention area)之間的時間差。在外圍區(qū)域周圍的變 化被認為并不大的情況下，這個方法是有效的，但是在包括外圍區(qū)域的圖 像需要實時顯示的體育廣播或音樂會廣播的情況下，這種方法并不適合。另外，還提出了使用諸如魚眼鏡頭之類的廣角圖像拾取系統(tǒng)的實施 例。但是，在許多情況下，遠處的物體變得較小，并且與正?？s放類型的 監(jiān)視相機相比，可以對進入視野的人執(zhí)行監(jiān)視的距離是不利的。此外，作為用于實時地按多個分辨率來拾取圖像的相機，例如，如日 本未審査專利申請公布No.7-143439所公開的，構(gòu)想了這樣一種相機，其 中，低分辨率運動圖像與高分辨率運動圖像相關(guān)聯(lián)，或者如日本未審查專 利申請公布No.2005-197948所公開的，構(gòu)想了這樣一種相機，其中，基于 高分辨率圖像來生成低分辨率圖像，并且將所述圖像形成為運動圖像。但 是，這兩種裝置都不是用于顯示高分辨率運動圖像的裝置。此外，日本未審査專利申請公布No.2004-62103公開了這樣一種方 法，其中，基于預(yù)先獲得了多個相機的信號的坐標轉(zhuǎn)換表格來分割和顯示 在單個HD (高清晰)圖像上的圖像。這個方法的優(yōu)點在于，當通過使用 坐標轉(zhuǎn)換表格來根據(jù)多個經(jīng)分割的圖像生成全景圖像時，可以實時地獲得 目標圖像。發(fā)明內(nèi)容如上所述，在日本未審査專利申請公布No.7-143439禾P No.2005-197948中記載的技術(shù)并不表示用于顯示高分辨率運動圖像的裝置。此外， 例如，根據(jù)在日本未審査專利申請公布No.2004-62103中公開的方法，多 個相機信號被集合成一個，以獲得最終的輸出。但是，該方法很難應(yīng)對在 顯示全景圖像時的像素數(shù)目的增加和更高的幀速率。希望減少數(shù)據(jù)發(fā)送和圖像顯示期間的處理數(shù)據(jù)量和顯示高分辨率運動 圖像時的處理負荷。根據(jù)本發(fā)明的一個實施例，提供了一種圖像顯示系統(tǒng)，該系統(tǒng)包括圖像發(fā)送裝置；和圖像顯示裝置，通過網(wǎng)絡(luò)連接到圖像顯示裝置的圖像發(fā)送裝置， 該圖像發(fā)送裝置包括，多個相機部分，用于輸出與通過將全景圖像分割成多個片斷而獲得的 各個分割圖像相對應(yīng)的圖像數(shù)據(jù)，多個圖像數(shù)據(jù)處理部分，用于對從各個相機部分輸出的所述圖像數(shù)據(jù) 執(zhí)行處理，從而通過對第一分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第一壓 縮圖像數(shù)據(jù)，并通過對第二分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第二壓 縮圖像數(shù)據(jù)，其中，第二分辨率低于第一分辨率，以及數(shù)據(jù)發(fā)送部分，用于將在各個圖像數(shù)據(jù)處理部分中生成的第一壓縮圖 像數(shù)據(jù)和第二壓縮圖像數(shù)據(jù)發(fā)送到圖像顯示裝置，該圖像顯示裝置包括，數(shù)據(jù)接收部分，用于接收從圖像發(fā)送裝置發(fā)送而來的第一壓縮圖像數(shù) 據(jù)和第二壓縮圖像數(shù)據(jù)，第一圖像數(shù)據(jù)生成部分，用于使用在數(shù)據(jù)接收部分中接收的多條所述 第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示全景圖像的全景圖像數(shù)據(jù)，視角確定部分，用于確定在所述全景圖像上的高分辨率視角，第二圖像數(shù)據(jù)生成部分，用于使用數(shù)據(jù)接收部分所接收的多條第一壓縮圖像數(shù)據(jù)中的與在視角確定部分中確定的所述高分辨率視角相對應(yīng)的分 割圖像的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示高分辨率圖像的高 分辨率圖像數(shù)據(jù)，以及顯示部分，用于在顯示器上顯示基于在第一圖像數(shù)據(jù)生成部分中生成 的全景圖像數(shù)據(jù)的所述全景圖像和基于在第二圖像數(shù)據(jù)生成部分中生成的 高分辨率圖像數(shù)據(jù)的所述高分辨率圖像。根據(jù)本發(fā)明的一個實施例，圖像顯示系統(tǒng)具有這樣的配置，其中，圖 像發(fā)送裝置經(jīng)由網(wǎng)絡(luò)連接到圖像顯示裝置。該圖像發(fā)送裝置包括多個相機 部分。利用該多個相機部分來拾取通過分割全景圖像(廣角圖像，或廣域 圖像)而得到的各個分割圖像，并且可以獲得與各個分割圖像相對應(yīng)的圖 像數(shù)據(jù)。圖像發(fā)送裝置的各個圖像數(shù)據(jù)處理部分對從各個相機部分輸出的圖像 數(shù)據(jù)執(zhí)行處理，從而通過對第一分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第 一壓縮圖像數(shù)據(jù)，并通過對第二分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第 二壓縮圖像數(shù)據(jù)，其中，第二分辨率低于第一分辨率。例如，第一分辨率是UXGA (超級擴展圖形陣列)，而第二分辨率是QVGA (四分之一視頻 圖形陣列)。數(shù)據(jù)發(fā)送部分經(jīng)由網(wǎng)絡(luò)將在各個圖像數(shù)據(jù)處理部分中生成的第一壓縮 圖像數(shù)據(jù)和第二壓縮圖像數(shù)據(jù)發(fā)送到圖像顯示裝置。這樣，根據(jù)本發(fā)明的 一個實施例，與使用從各個相機部分輸出的圖像數(shù)據(jù)來呈遞全景圖像并將 其從圖像發(fā)送裝置發(fā)送到圖像顯示裝置的情況不同，在圖像發(fā)送裝置側(cè)的 處理數(shù)據(jù)量減少了，并且處理負荷減輕了。應(yīng)當注意，根據(jù)本發(fā)明的一個實施例，例如，各個圖像數(shù)據(jù)處理部分 可以生成包括下述檢測信息之一的元數(shù)據(jù)，所述檢測信息是通過對從相機 部分輸出的圖像數(shù)據(jù)進行處理而檢測到的關(guān)于移動物體或靜止物體的檢測 信息以及來自外部傳感器的檢測信息，并且數(shù)據(jù)發(fā)送部分可以經(jīng)由網(wǎng)絡(luò)將 這個元數(shù)據(jù)發(fā)送到圖像顯示裝置。這樣，由于包括元數(shù)據(jù)的檢測信息被發(fā) 送到圖像顯示裝置，所以可以在圖像顯示裝置上顯示關(guān)于全景圖像的檢測 信息，或者進一步地，可以很容易地顯示與檢測位置相對應(yīng)的高分辨率圖像等。此外，根據(jù)本發(fā)明的一個實施例，各個圖像數(shù)據(jù)處理部分可以使用比 用于生成第二壓縮圖像數(shù)據(jù)的幀數(shù)目少的幀來生成第一壓縮圖像數(shù)據(jù)。在 這種情況下，在各個圖像數(shù)據(jù)處理部分中，可以減少高分辨率的第一圖像 數(shù)據(jù)的處理幀的數(shù)目，并且減輕處理負荷。另外，根據(jù)本發(fā)明的一個實施例，各個圖像數(shù)據(jù)處理部分可以從相機 部分所輸出的圖像數(shù)據(jù)中切出預(yù)定圖像區(qū)域處的圖像數(shù)據(jù)，并對所切出的 圖像數(shù)據(jù)執(zhí)行壓縮編碼，從而生成第一壓縮圖像數(shù)據(jù)。例如，基于通過對 從相機部分輸出的圖像數(shù)據(jù)進行處理而檢測到的關(guān)于移動物體或靜止物體 的檢測信息和來自外部傳感器的檢測信息中的一個來確定所述預(yù)定圖像區(qū) 域。此外，例如，基于關(guān)于在信息接收部分所接收的全景圖像上設(shè)定的、 預(yù)定場角的注意區(qū)域的信息來確定所述預(yù)定圖像區(qū)域。在這種情況下，各 個圖像數(shù)據(jù)處理部分執(zhí)行處理，例如，從相機部分所輸出的圖像數(shù)據(jù)中僅 切出在圖像顯示側(cè)有必要的圖像區(qū)域的圖像數(shù)據(jù)，因此處理數(shù)據(jù)量很小， 并且處理負荷減輕了。圖像顯示裝置的數(shù)據(jù)接收部分接收在圖像發(fā)送裝置的各個圖像數(shù)據(jù)處 理部分中生成的第一壓縮圖像數(shù)據(jù)和第二壓縮圖像數(shù)據(jù)。第一圖像數(shù)據(jù)生 成部分對多條第二壓縮圖像數(shù)據(jù)執(zhí)行解碼，并使用該解碼數(shù)據(jù)來生成用于 顯示全景圖像的全景圖像數(shù)據(jù)。在這種情況下，第二壓縮圖像數(shù)據(jù)與上述 的第二分辨率(低分辨率)的數(shù)據(jù)相關(guān)，因此，在第一圖像數(shù)據(jù)生成部分 中，處理數(shù)據(jù)量很小，并且處理負荷減輕了。顯示部分基于該全景圖像數(shù) 據(jù)來在顯示器上顯示全景圖像。例如，在這種情況下，并沒有執(zhí)行將多條 圖像數(shù)據(jù)集合成一條圖像數(shù)據(jù)的這種處理，但是，卻在將各條圖像數(shù)據(jù)布置并保持在與視頻RAM相對應(yīng)的地址中時執(zhí)行顯示。在這種情況下，對策變得很容易應(yīng)對在顯示全景圖像時的像素數(shù)目的增加和更高的幀速率。應(yīng)當注意，根據(jù)本發(fā)明的一個實施例，數(shù)據(jù)接收部分還接收包括下述 檢測信息之一的元數(shù)據(jù)，所述檢測信息是通過對從各個相機部分輸出的圖 像數(shù)據(jù)進行處理而檢測到的關(guān)于移動物體或靜止物體的檢測信息以及來自 為相應(yīng)的相機部分設(shè)置的外部傳感器的檢測信息。第三圖像數(shù)據(jù)生成部分可以使用在數(shù)據(jù)接收部分中接收的多條第二壓縮圖像數(shù)據(jù)中的與檢測信息 所指示的檢測位置相對應(yīng)的分割圖像的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生 成用于顯示檢測位置圖像的檢測位置圖像數(shù)據(jù)，并且顯示部分還可以基于 該檢測位置圖像數(shù)據(jù)來顯示檢測位置圖像。在這種情況下，可以在顯示器 上以索引顯示的形式來顯示與各個檢測位置相對應(yīng)的檢測位置。然后，在 這種情況下，使用了為了顯示全景圖像而已經(jīng)獲得的第二壓縮圖像數(shù)據(jù)的 解碼數(shù)據(jù)，這不會導(dǎo)致處理負荷的實質(zhì)上的增加。此外，根據(jù)本發(fā)明的一個實施例，例如，注意區(qū)域設(shè)定部分在顯示在 顯示器上的全景圖像上設(shè)置注意區(qū)域。第四圖像數(shù)據(jù)設(shè)置部分可以使用數(shù) 據(jù)接收部分所接收的多條第二壓縮圖像數(shù)據(jù)中的與所述注意區(qū)域相對應(yīng)的 分割圖像的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示注意區(qū)域圖像的 注意區(qū)域圖像數(shù)據(jù)，顯示部分還可以基于該注意區(qū)域圖像數(shù)據(jù)來在顯示器 上顯示注意區(qū)域圖像。在這種情況下，可以按索引的形式來顯示與各個注 意區(qū)域相對應(yīng)的注意區(qū)域圖像。然后，在這種情況下，使用了為了顯示全 景圖像而已經(jīng)獲得的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)，這不會導(dǎo)致處理負荷 的實質(zhì)上的增加。視角確定部分確定全景圖像上的高分辨率視角。例如，基于用戶所執(zhí) 行的位置選擇操作來確定所述高分辨率視角。此外，例如，當如上所述在 顯示器上顯示檢測位置圖像時，可以基于用戶所執(zhí)行的檢測位置圖像選擇 操作來確定高分辨率視角。此外，例如，當如上所述在顯示器上顯示注意 區(qū)域圖像時，可以基于用戶所執(zhí)行的注意區(qū)域圖像選擇操作來確定高分辨 率視角。另外，根據(jù)本發(fā)明的一個實施例，例如，第二圖像數(shù)據(jù)生成部分可以 通過按預(yù)定組合比率使用與在視角確定部分中確定的高分辨率視角相對應(yīng) 的分割圖像的第一壓縮圖像數(shù)據(jù)和第二壓縮圖像數(shù)據(jù)來生成用于顯示高分 辨率圖像的高分辨率圖像數(shù)據(jù)。在這種情況下，在第二圖像數(shù)據(jù)生成部分 中，可以減少應(yīng)當解碼的第一壓縮圖像數(shù)據(jù)的幀數(shù)目，并減輕處理負荷。根據(jù)本發(fā)明的一個實施例，提供了一種用于生成在顯示器上顯示的圖 像的圖像處理裝置，該圖像處理裝置包括數(shù)據(jù)接收部分，用于接收多條第一壓縮圖像數(shù)據(jù)和多條第二壓縮圖像 數(shù)據(jù)，其中，第一壓縮圖像數(shù)據(jù)是通過對第一分辨率的圖像數(shù)據(jù)進行壓縮 編碼來獲得的，所述第一分辨率的圖像數(shù)據(jù)是通過對與通過將全景圖像分 割成多個片斷而獲得的分割圖像相對應(yīng)的各條圖像數(shù)據(jù)執(zhí)行處理而生成 的，而第二壓縮圖像數(shù)據(jù)是通過對第二分辨率的圖像數(shù)據(jù)進行壓縮編碼來 獲得的，其中，第二分辨率低于第一分辨率；第一圖像數(shù)據(jù)生成部分，用于使用在數(shù)據(jù)接收部分中接收的多條第二 壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示全景圖像的全景圖像數(shù)據(jù)；視角確定部分，用于確定全景圖像上的高分辨率視角；第二圖像數(shù)據(jù)生成部分，用于使用數(shù)據(jù)接收部分所接收的多條第一壓 縮圖像數(shù)據(jù)中的與在視角確定部分中確定的高分辨率視角相對應(yīng)的分割圖 像的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示高分辨率圖像的高分辨 率圖像數(shù)據(jù)；以及輸出部分，用于在顯示器上輸出在第一圖像數(shù)據(jù)生成部分中生成的全 景圖像數(shù)據(jù)和在第二圖像數(shù)據(jù)生成部分中生成的高分辨率圖像數(shù)據(jù)。根據(jù)本發(fā)明的一個實施例，例如，在圖像發(fā)送裝置側(cè)，通過對來自用 于拍攝全景圖像的多個相機部分的各條圖像數(shù)據(jù)執(zhí)行處理，通過對高分辨 率的圖像數(shù)據(jù)進行壓縮編碼而獲得的第一壓縮圖像數(shù)據(jù)和通過對低分辨率 的圖像數(shù)據(jù)進行壓縮編碼而獲得的第二壓縮圖像數(shù)據(jù)被生成并被發(fā)送，并 且在圖像顯示裝置側(cè)或圖像處理裝置側(cè)，使用所接收的多條第二壓縮圖像 數(shù)據(jù)的解碼數(shù)據(jù)來顯示全景圖像，并且使用所接收的多條第一壓縮圖像數(shù) 據(jù)中的與在全景圖像上確定的預(yù)定位置相對應(yīng)的分割圖像的第一壓縮圖像 數(shù)據(jù)的解碼數(shù)據(jù)來顯示高分辨率圖像，藉此，可以減少圖像顯示期間的數(shù) 據(jù)處理量，并可以減輕處理負荷。


圖1是根據(jù)本發(fā)明一個實施例的圖像顯示系統(tǒng)的配置示例的框圖； 圖2示出了多個相機部分的布局示例；圖3A示出了在生成全景圖像數(shù)據(jù)時使用的鏡頭失真校正；圖3B示出了構(gòu)成在生成全景圖像數(shù)據(jù)時使用的圖像轉(zhuǎn)換信息的相機傾角信息；圖3C示出了關(guān)于相鄰相機的混合(blending)信息，其構(gòu)成了在生成 全景圖像數(shù)據(jù)時使用的圖像轉(zhuǎn)換信息；圖4是圖像發(fā)送裝置的具體示例的框圖； 圖5是圖像顯示裝置的具體示例的框體；圖6示出了與圖像發(fā)送裝置的各個相機部分相對應(yīng)的高分辨率(第一 分辨率)圖像數(shù)據(jù)和低分辨率(第二分辨率)圖像數(shù)據(jù)的配置； 圖7示出了圖像顯示裝置中的圖像數(shù)據(jù)處理部分的功能模塊； 圖8示出了顯示器的屏幕顯示示例；圖9A和9B示出了有關(guān)高分辨率(第一分辨率)的第一壓縮圖像數(shù)據(jù) 和有關(guān)低分辨率(第二分辨率)的第二壓縮圖像數(shù)據(jù)的發(fā)送幀示例；圖IOA和IOB示出了在顯示高分辨率圖像時使用的每一幀中的第一壓縮圖像數(shù)據(jù)和第二壓縮圖像數(shù)據(jù)的組合比率的示例；以及 圖11是圖像發(fā)送裝置的另一個配置示例的框圖。
具體實施方式
以下，將參考附圖來描述本發(fā)明的實施例。圖1示出了根據(jù)本發(fā)明一個實施例的圖像顯示系統(tǒng)100的配置示例。 圖像顯示系統(tǒng)100具有這樣一種配置，其中，圖像發(fā)送裝置110經(jīng)由網(wǎng)絡(luò) 150連接到圖像顯示裝置130。網(wǎng)絡(luò)150由LAN (局域網(wǎng))、因特網(wǎng)等組 成。圖像發(fā)送裝置110具有數(shù)目為n (n是大于等于2的整數(shù))的相機部分 111-1到lll-n。這n個相機部分111-1到lll-n用于通過拾取將作為廣角 圖像(廣域圖像)的全景圖像分割成n個片斷而獲得的各個分割圖像來輸 出圖像數(shù)據(jù)。例如，所述全景圖像是在水平方向上延伸的廣角圖像，并且 該全景圖像水平地被分割成n個片斷。各個相機部分111-1到lll-n用于 輸出第一分辨率的圖像數(shù)據(jù)，例如，UXGA (超級擴展圖形陣列，Ultraextended Graphics Array)。應(yīng)當注意，UXGA表示1600X 1200像素的分 辨率。圖2示出了 n個相機部分111-1到lll-n的布局示例。各個相機部分被 布置以便生成在想要拾取的特定連續(xù)區(qū)域中的全景圖像。這時，雖然將省 略詳細描述，但是當使用來自各個相機部分的圖像數(shù)據(jù)來生成全景圖像 時，圖像轉(zhuǎn)換信息是必要的，包括諸如失真或焦距之類的鏡頭信息(參考 圖3A)、關(guān)于相機傾角的信息(Roll、 Pitch和Yaw)(參考圖3B)、或 者與相鄰相機的外圍混合信息(參考圖3C)。圖像發(fā)送裝置IIO預(yù)先獲得 這種圖像轉(zhuǎn)換信息。圖像轉(zhuǎn)換信息是經(jīng)由網(wǎng)絡(luò)150從圖像發(fā)送裝置110發(fā) 送到圖像顯示裝置130的。這樣，由于圖像轉(zhuǎn)換信息是從圖像發(fā)送裝置 110發(fā)送到圖像顯示裝置130的，所以沒有必要在圖像顯示裝置130上保 存每個不同的圖像發(fā)送裝置IIO的圖像轉(zhuǎn)換信息。圖像發(fā)送裝置IIO用于通過對從各個相機部分111-1到lll-n輸出的 圖像數(shù)據(jù)執(zhí)行處理來壓縮編碼第一分辨率的圖像數(shù)據(jù)，從而生成第一壓縮 圖像數(shù)據(jù)。此外，圖像發(fā)送裝置110還用于通過對從各個相機部分111-1 到lll-n輸出的圖像數(shù)據(jù)執(zhí)行處理來壓縮編碼第二分辨率(第二分辨率低 于第一分辨率)的圖像數(shù)據(jù)，從而生成第二壓縮圖像數(shù)據(jù)。例如，圖像發(fā) 送裝置IIO通過壓縮編碼QVGA (四分之一視頻圖形陣列，Quarter Video Graphics Array)的圖像數(shù)據(jù)來生成第二壓縮圖像數(shù)據(jù)。應(yīng)當注意，QVGA 表示320X240像素的分辨率。如上所述，圖像發(fā)送裝置110用于經(jīng)由網(wǎng) 絡(luò)150將所生成的n條第一壓縮圖像數(shù)據(jù)和n條第二壓縮圖像數(shù)據(jù)發(fā)送到 圖像顯示裝置130。圖像顯示裝置130用于接收從圖像發(fā)送裝置110發(fā)送的n條第一壓縮 圖像數(shù)據(jù)和n條第二壓縮圖像數(shù)據(jù)。然后，圖像顯示裝置130使用所述n 條第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示全景圖像的全景圖像數(shù) 據(jù)，并基于該全景圖像數(shù)據(jù)來在顯示器上顯示該全景圖像。應(yīng)當注意，當 圖像顯示裝置130生成全景圖像數(shù)據(jù)時，如上所述，使用了從圖像發(fā)送裝 置110發(fā)送而來的諸如鏡頭信息、關(guān)于相機傾角的信息、或者與相鄰相機 的混合信息之類的圖像轉(zhuǎn)換信息。確定全景圖像上的高分辨率視角。然后，圖像顯示裝置130使用所述n條第一壓縮圖像數(shù)據(jù)中的與所述高分辨率視角 相對應(yīng)的分割圖像的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示高分辨 率圖像的高分辨率圖像數(shù)據(jù)，并且基于該高分辨率圖像數(shù)據(jù)來在顯示器上 顯示高分辨率圖像。圖4示出了圖像發(fā)送裝置110的配置示例。圖像發(fā)送裝置110具有n 個相機部分111-1到lll-n、 n個圖像數(shù)據(jù)處理部分112-1到112-n、 n個外 部傳感器113-1到113-n，以及數(shù)據(jù)傳送部分114。如上所述，n個相機部分111-1到lll-n拾取通過將作為廣角圖像(廣 域)的全景圖像分割成n個片斷而獲得的各個圖像，并輸出第一分辨率 (例如，UXGA)的圖像數(shù)據(jù)。相機部分111-1具有圖像拾取部分121和圖像拾取信號處理部分 122。圖像拾取部分121具有圖像拾取鏡頭和成像器(imager)元件(未示 出)。圖像拾取部分121拾取在通過將全景圖像分割成n個片斷而獲得的 各個分割圖像中的將由其自身處理的一個分割圖像，并輸出與該分割圖像 相對應(yīng)的圖像拾取信號。成像器元件由CCD (電荷耦合器件)、CMOS (互補金屬氧化物半導(dǎo)體)等構(gòu)成。圖像拾取信號處理部分122對從圖像拾取部分121輸出的圖像拾取信 號(模擬信號)執(zhí)行采樣保持、增益控制轉(zhuǎn)換、和從模擬信號向數(shù)字信號 的轉(zhuǎn)換，以及白平衡調(diào)節(jié)、Y校正等，從而生成第一分辨率(例如， UXGA)的圖像數(shù)據(jù)。除了在圖像數(shù)據(jù)處理部分之前通用相機執(zhí)行的信號 處理之外，圖像拾取信號處理部分122執(zhí)行白平衡調(diào)節(jié)、增益控制和陰影 校正，以便使得與接下來的相機之間沒有差別。圖像數(shù)據(jù)處理部分112-1具有高分辨率編碼器123、尺寸改變部分 124、低分辨率編碼器125、移動物體/靜止物體檢測部分126以及元數(shù)據(jù) 生成部分127。高分辨率編碼器123用于對從相機部分111-1輸出的第一分辨率的圖 像數(shù)據(jù)執(zhí)行壓縮編碼處理，從而生成第一壓縮圖像數(shù)據(jù)V1H。高分辨率編 碼器123例如執(zhí)行基于運動JPEG (聯(lián)合圖像專家組)的壓縮編碼處理。尺寸改變部分124用于對從相機部分111-1輸出的第一分辨率的圖像 數(shù)據(jù)執(zhí)行諸如尺寸調(diào)整或重采樣之類的處理，從而生成第二分辨率(例如，QVGA)的圖像數(shù)據(jù)，其中，第二分辨率低于第一分辨率。低分辨率 編碼器125用于對從尺寸改變部分124輸出的第二分辨率的圖像數(shù)據(jù)執(zhí)行 壓縮編碼處理，從而生成第二壓縮圖像數(shù)據(jù)V1L。類似于上述高分辨率編 碼器123，低分辨率編碼器125例如執(zhí)行基于運動JPEG (聯(lián)合圖像專家 組)的壓縮編碼處理。移動物體/靜止物體檢測部分126用于對從相機部分111-1輸出的第一 分辨率的圖像數(shù)據(jù)執(zhí)行處理，以基于該圖像數(shù)據(jù)、從圖像中檢測出移動物 體區(qū)域(運動區(qū)域)和靜止物體區(qū)域(物體顯現(xiàn)區(qū)域、物體消失區(qū)域)。 元數(shù)據(jù)生成部分127用于生成元數(shù)據(jù)MD1，該元數(shù)據(jù)MD1包括從移動物 體/靜止物體檢測部分126輸出的關(guān)于移動物體或靜止物體的檢測信息和來 自外部傳感器113-1的檢測信息。這里，外部傳感器113-1被配置用于檢 測例如在由相機部分111-1處理的分割圖像上的特定位置處的異常，并且 其由紅外傳感器、溫度傳感器、聲音傳感器等構(gòu)成。雖然省略詳細描述，但是相機部分111-2到lll-n的配置類似于上述 的相機部分111-1。相機部分111-2到lll-n各自用于拾取由其自身處理的 分割圖像，以生成并輸出第一分辨率(例如，UXGA)的與該分割圖像相 對應(yīng)的圖像數(shù)據(jù)。此外，雖然省略了詳細描述，但是圖像數(shù)據(jù)處理部分 112-2到112-n的配置類似于上述的圖像數(shù)據(jù)處理部分112-1。圖像數(shù)據(jù)處 理部分112-2到112-n各自用于對來自相機部分111-2到lll-n的圖像數(shù)據(jù) 執(zhí)行處理，從而生成并輸出第一壓縮圖像數(shù)據(jù)V2H到VnH、第二壓縮圖 像數(shù)據(jù)V2L到VnL、以及包括諸如移動物體和靜止物體之類的檢測信息在 內(nèi)的元數(shù)據(jù)MD2到MDn。數(shù)據(jù)傳送部分114用于經(jīng)由網(wǎng)絡(luò)150來將在各個圖像數(shù)據(jù)處理部分 112-1到112-n中生成的第一壓縮圖像數(shù)據(jù)V1H到VnH、第二壓縮圖像數(shù) 據(jù)V1L到VnL、以及元數(shù)據(jù)MD1到MDn發(fā)送到圖像顯示裝置130。在這 個意義上，數(shù)據(jù)傳送部分114構(gòu)成了數(shù)據(jù)發(fā)送部分。應(yīng)當注意，如隨后將 描述的，數(shù)據(jù)傳送部分114還設(shè)有接收從圖像顯示裝置130發(fā)送而來的注意區(qū)域信息的功能。此外，數(shù)據(jù)傳送部分114還經(jīng)由網(wǎng)絡(luò)150向圖像顯示 裝置130發(fā)送上述的諸如鏡頭信息、相機傾角信息、或與相鄰相機的混合 信息之類的圖像轉(zhuǎn)換信息。將描述圖4所示的圖像發(fā)送裝置110的操作。在用作拾取對象的全景 圖像中，由相機部分111-1的圖像拾取部分121獲得了與由相機部分111-1處理的分割圖像相對應(yīng)的圖像拾取信號(模擬信號)。該圖像拾取信號被提供給圖像拾取信號處理部分122。圖像拾取信號處理部分122對該圖像 拾取信號執(zhí)行諸如采樣保持和增益控制轉(zhuǎn)換、從模擬信號向數(shù)字信號的轉(zhuǎn) 換之類的模擬信號處理，還執(zhí)行諸如白平衡調(diào)節(jié)和Y校正之類的數(shù)字信號 處理，從而生成第一分辨率(例如，UXGA)的圖像數(shù)據(jù)。在相機部分111-1中生成的圖像數(shù)據(jù)被提供給圖像數(shù)據(jù)處理部分112-1 中的高分辨率編碼器123、尺寸改變部分124、和移動物體/靜止物體檢測 部分126。在高分辨率編碼器123中，例如，對從相機部分111-1提供的 圖像數(shù)據(jù)執(zhí)行基于運動JPEG的壓縮編碼處理，以生成第一壓縮圖像數(shù)據(jù) V1H。然后，在尺寸改變部分124中，對從相機部分111-1提供的圖像數(shù)據(jù) 執(zhí)行諸如抽薄或內(nèi)插之類的處理，以生成第二分辨率(例如，QVGA)的 圖像數(shù)據(jù)，其中，第二分辨率低于第一分辨率。該第二分辨率的圖像數(shù)據(jù) 被提供給低分辨率編碼器125。在低分辨率編碼器125中，例如，對從尺 寸改變部分124提供的圖像數(shù)據(jù)執(zhí)行基于運動JPEG的壓縮編碼處理，從 而生成第二壓縮圖像數(shù)據(jù)V1L。此外，在移動物體/靜止物體檢測部分126中，基于從相機部分111-1 提供的圖像數(shù)據(jù)來執(zhí)行關(guān)于移動物體和靜止物體的檢測處理。在移動物體/ 靜止物體檢測部分126中檢測得到的關(guān)于移動物體和靜止物體的檢測信息 被提供給元數(shù)據(jù)生成部分127。此外，還向元數(shù)據(jù)生成部分127提供來自 外部傳感器113-1的檢測信息，以檢測在由相機部分111-1處理的分割圖 像上的特定位置處的異常。元數(shù)據(jù)生成部分127生成元數(shù)據(jù)MD1，該元數(shù) 據(jù)MD1包括從移動物體/靜止物體檢測部分126輸出的關(guān)于移動物體和靜 止物體的檢測信息和外部傳感器113-1的檢測信息。類似于上述相機部分111-1，在相機部分111-2到lll-n中生成與由其 自身處理的分割圖像相對應(yīng)的第一分辨率(例如，UXGA)的圖像數(shù)據(jù)。 這樣，在各個相機部分111-2到lll-n中生成的第一分辨率的圖像數(shù)據(jù)被 提供給相應(yīng)的圖像數(shù)據(jù)處理部分112-2到112-n。類似于上述圖像數(shù)據(jù)處理 部分112-1，在圖像數(shù)據(jù)處理部分112-2到112-n中，對來自相機部分lll-2到lll-n的圖像數(shù)據(jù)等執(zhí)行處理，以生成例如第一壓縮圖像數(shù)據(jù)V2H到 VnH、第二壓縮圖像數(shù)據(jù)V2L到VnL、包括關(guān)于移動物體、靜止物體等的 檢測信息在內(nèi)的元數(shù)據(jù)MD2到MDn。在各個圖像數(shù)據(jù)處理部分112-1到112-n中生成的第一壓縮圖像數(shù)據(jù) V1H到VnH、第二壓縮圖像數(shù)據(jù)V1L到VnL、和包括諸如移動物體和靜 止物體之類的檢測信息在內(nèi)的元數(shù)據(jù)MD1到MDn被提供給數(shù)據(jù)傳送部分 114。在數(shù)據(jù)傳送部分114中，第一壓縮圖像數(shù)據(jù)V1H到VnH、第二壓縮 圖像數(shù)據(jù)V1L到VnL、和元數(shù)據(jù)MD1至l」MDn被轉(zhuǎn)換成文件，并經(jīng)由網(wǎng) 絡(luò)150被發(fā)送到圖像顯示裝置130。此外，還經(jīng)由網(wǎng)絡(luò)150從數(shù)據(jù)傳送部 分114向圖像顯示裝置130發(fā)送圖像轉(zhuǎn)換信息，例如與相機部分111-1到 lll-n相關(guān)的鏡頭信息、相機傾角信息、或與相鄰相機的混合信息。圖5示出了圖像顯示裝置130的具體配置示例。圖像顯示裝置130具 有控制部分13K用戶接口部分132、數(shù)據(jù)傳送部分133、圖像數(shù)據(jù)處理部 分134、 VRAM (視頻隨機存取存儲器)135和顯示器136。控制部分131用于控制圖像顯示裝置130中的各個部分。控制部分 131由CPU和控制程序構(gòu)成?？刂撇糠痔幚韴D像顯示裝置的執(zhí)行的開始和 結(jié)束并且接受用戶接口部分的某種中斷，然后在各個部分中執(zhí)行某種功 能。用戶接口部分132由操作按鍵、遠程控制信號接收設(shè)備等構(gòu)成。用戶 接口部分132與控制部分131相連接。用戶接口部分132用于根據(jù)用戶操 作來生成操作信號，并將該操作信號提供給控制部分131。數(shù)據(jù)傳送部分133用于經(jīng)由網(wǎng)絡(luò)150從圖像發(fā)送裝置IIO接收第一壓 縮圖像數(shù)據(jù)V1H到VnH、第二壓縮圖像數(shù)據(jù)V1L到VnL和元數(shù)據(jù)MD1 到MDn。在這個意義上，數(shù)據(jù)傳送部分133構(gòu)成了數(shù)據(jù)接收部分。此外， 數(shù)據(jù)傳送部分133還接收從圖像發(fā)送裝置IIO發(fā)送而來的與上述相機部分111-1到lll-tl相關(guān)的圖像轉(zhuǎn)換信息，例如，鏡頭信息、相機傾角信息、或 與相鄰相機的混合信息。圖像數(shù)據(jù)處理部分134用于對數(shù)據(jù)傳送部分133所接收的第二壓縮圖 像數(shù)據(jù)V1L到VnL進行解碼，使用各條解碼數(shù)據(jù)，并基于上述圖像轉(zhuǎn)換 信息來生成用于顯示全景圖像的全景圖像數(shù)據(jù)。在這個意義上，圖像數(shù)據(jù) 處理部分134構(gòu)成了第一圖像數(shù)據(jù)生成部分。另外，圖像數(shù)據(jù)處理部分134還對數(shù)據(jù)傳送部分133所接收的第一壓 縮圖像數(shù)據(jù)V1H到VnH中的與全景圖像上的高分辨率視角相對應(yīng)的第一 壓縮圖像數(shù)據(jù)進行解碼，并使用該解碼數(shù)據(jù)來生成用于顯示高分辨率圖像 的高分辨率圖像數(shù)據(jù)。在這個意義上，圖像數(shù)據(jù)處理部分構(gòu)成了第二圖像 數(shù)據(jù)生成部分。全景圖像上的高分辨率視角是在控制部分131中基于用戶 操作來確定的。在這個意義上，控制部分131構(gòu)成了視角確定部分。稍后 將詳細描述在控制部分131中的高分辨率視角的確定處理。圖6示出了與上述圖像發(fā)送裝置110的相機部分111-1到lll-n相對應(yīng) 的高分辨率(第一分辨率)圖像數(shù)據(jù)和低分辨率(第二分辨率)圖像數(shù)據(jù) 的配置。圖6所示的相機部分1到n分別表示相機部分111-1到lll-n。在圖像數(shù)據(jù)處理部分134中，相機部分1的各條低分辨率圖像數(shù)據(jù)被 合成，從而生成在水平方向上具有h像素并且在垂直方向上具有v像素的 全景圖像數(shù)據(jù)。在這種情況下，各個相機部分的低分辨率圖像數(shù)據(jù)具有與 相鄰相機部分的低分辨率圖像數(shù)據(jù)的重疊區(qū)域(陰影區(qū)域)。在圖像數(shù)據(jù) 處理部分134中，執(zhí)行圖像數(shù)據(jù)合成處理，以使得所述區(qū)域相互重疊。此外，相機部分1到n的各條高分辨率圖像數(shù)據(jù)分別對應(yīng)于相機部分 1到n的低分辨率圖像數(shù)據(jù)。這里，相機部分1到n的各條高分辨率圖像 數(shù)據(jù)構(gòu)成了在水平方向上具有H像素并且在垂直方向上具有V像素的全景 圖像。這里，h/H和v/V表示圖像發(fā)送裝置110中的各個圖像數(shù)據(jù)處理部 分112-1到112-n的尺寸改變部分124中的壓縮比。構(gòu)成全景圖像數(shù)據(jù)的各個相機部分的低分辨率圖像數(shù)據(jù)對應(yīng)于各個相 機部分的高分辨率圖像數(shù)據(jù)。由于該原因，圖像數(shù)據(jù)處理部分134可以容 易地生成與使用上述關(guān)系在全景圖像上確定的高分辨率圖像位置相對應(yīng)的高分辨率圖像數(shù)據(jù)。例如，如圖6所示，在確定了低分辨率全景圖像上的用虛線Fa表示的 高分辨率顯示區(qū)域的情況下，使用相機部分1和相機部分2的高分辨率數(shù) 據(jù)來生成高分辨率圖像數(shù)據(jù)。此外，例如，如圖6所示，在確定了低分辨 率全景圖像上的用虛線Fb表示的高分辨率顯示區(qū)域的情況下，使用相機 部分2和相機部分3的高分辨率數(shù)據(jù)來生成高分辨率圖像數(shù)據(jù)。應(yīng)當注意，圖6示出了在水平方向上布置各個相機部分的示例，但 是，也可以想到采用在垂直方向上布置各個相機部分的示例或者在矩陣中 布置各個相機部分的示例。此外，圖像數(shù)據(jù)處理部分134還使用數(shù)據(jù)傳送部分133所接收的第二 壓縮圖像數(shù)據(jù)V1L到VnL中的與數(shù)據(jù)傳送部分133所接收的元數(shù)據(jù)MD1 到MDn中包括的檢測信息所指示的檢測位置相對應(yīng)的分割信息的第二壓 縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示檢測位置信息的檢測位置圖像數(shù) 據(jù)。在這個意義上，圖像數(shù)據(jù)處理部分134構(gòu)成了第三圖像數(shù)據(jù)生成部 分。應(yīng)當注意，如上所述，由于所有的第二壓縮圖像數(shù)據(jù)V1L到VnL都 被解碼用于生成全景圖像數(shù)據(jù)，所以在生成檢測位置圖像數(shù)據(jù)時沒有必要 重新執(zhí)行解碼處理。另外，圖像數(shù)據(jù)處理部分134還使用數(shù)據(jù)傳送部分133所接收的第二 壓縮圖像數(shù)據(jù)V1L到VnL中的與在全景圖像上設(shè)定的注意區(qū)域相對應(yīng)的 分割信息的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示注意區(qū)域圖像的 注意區(qū)域圖像數(shù)據(jù)。在這個意義上，圖像數(shù)據(jù)處理部分134構(gòu)成了第四圖 像數(shù)據(jù)生成部分。應(yīng)當注意，如上所述，由于所有的第二壓縮圖像數(shù)據(jù) VI L到VnL都被解碼用于生成全景圖像數(shù)據(jù)，所以在生成注意區(qū)域圖像 數(shù)據(jù)時沒有必要重新執(zhí)行解碼處理。全景圖像上的注意區(qū)域的設(shè)定是在控 制部分131中基于用戶設(shè)定操作來執(zhí)行的。在這個意義上，控制部分131 構(gòu)成了注意區(qū)域設(shè)定部分。VRAM 135將構(gòu)成全景圖像數(shù)據(jù)的各個像素處的數(shù)據(jù)、高分辨率圖像 數(shù)據(jù)、檢測位置圖像數(shù)據(jù)和在圖像數(shù)據(jù)處理部分134中生成的注意區(qū)域圖 像數(shù)據(jù)保存在與視角相對應(yīng)的地址中，此外，還按掃描行的順序順序地將各個像素的數(shù)據(jù)輸出到顯示器136。顯示器136例如由LCD (液晶顯示 器)、等離子顯示器等構(gòu)成。上述的圖像數(shù)據(jù)處理部分134例如用軟件來構(gòu)成。圖7示出了圖像數(shù) 據(jù)處理部分134的功能模塊。圖像數(shù)據(jù)處理部分134設(shè)有數(shù)據(jù)接收模塊 141、元數(shù)據(jù)分析模塊142、 1/0模塊143、顯示圖像和場角(field angle) 指定模塊144、解碼器線程145-1到145-m以及渲染器線程146-1到146-m。數(shù)據(jù)接收模塊141用于從數(shù)據(jù)傳送部分133接收第一壓縮圖像數(shù)據(jù) V1H至U VnH、第二壓縮圖像數(shù)據(jù)V1L至U VnL、以及元數(shù)據(jù)MD1到 MDn。元數(shù)據(jù)分析模塊142用于對數(shù)據(jù)接收模塊141所接收的元數(shù)據(jù)MD1 到MDn進行分析，以獲得諸如檢測位置或檢測類型之類的信息。1/0模塊 143用于從控制部分131接收諸如設(shè)定的高分辨率顯示區(qū)域或設(shè)定的注意 區(qū)域之類的控制信息。顯示圖像和場角指定模塊144用于基于元數(shù)據(jù)分析模塊142所獲得的 諸如檢測位置或檢測類型之類的信息和I/O模塊143所接收的控制信息來 向解碼器線程145-1到145-m發(fā)送在數(shù)據(jù)接收模塊141所接收的第一壓縮 圖像數(shù)據(jù)V1H到VnH和第二壓縮圖像數(shù)據(jù)V1L到VnL中的必要的壓縮圖 像數(shù)據(jù)。例如，為了生成用于顯示全景圖像的全景圖像數(shù)據(jù)，對第二壓縮圖像 數(shù)據(jù)V1L到VnL執(zhí)行解碼。此外，在第一壓縮圖像數(shù)據(jù)V1H到VnH之 中，執(zhí)行與高分辨率顯示區(qū)域相對應(yīng)的解碼。例如，在高分辨率顯示器區(qū) 域跨第一和第二分割圖像時，對第一壓縮圖像數(shù)據(jù)V1H和第二壓縮圖像數(shù) 據(jù)V2H執(zhí)行解碼。渲染器線程146-1到146-m用于從解碼器線程145-1到145-m所獲得 的解碼數(shù)據(jù)中選擇全景圖像、高分辨率圖像、檢測位置圖像和注意區(qū)域圖 像的像素數(shù)據(jù)，以將該像素數(shù)據(jù)布置在VRAM 135的與全景圖像、高分辨 率圖像、檢測位置圖像和注意區(qū)域圖像的視角相對應(yīng)的地址中。將描述圖5所示的圖像顯示裝置130的操作。數(shù)據(jù)傳送部分133經(jīng)由 網(wǎng)絡(luò)150來接收從圖像發(fā)送裝置IIO發(fā)送而來的第一壓縮圖像數(shù)據(jù)V1H到數(shù)據(jù)V1L到VnL、和元數(shù)據(jù)MD1到MDn，以及諸如 鏡頭信息、相機傾角信息、或與相鄰相機的外圍混合信息之類的圖像轉(zhuǎn)換 信息。第一壓縮圖像數(shù)據(jù)V1H到VnH、第二壓縮圖像數(shù)據(jù)V1L到VnL、 元數(shù)據(jù)MD1到MDn、以及圖像轉(zhuǎn)換信息被提供給圖像數(shù)據(jù)處理部分 134。在圖像數(shù)據(jù)處理部分134中，對第二壓縮圖像數(shù)據(jù)V1L到VnL執(zhí)行 解碼，并基于圖像轉(zhuǎn)換信息，通過使用各條解碼數(shù)據(jù)來生成用于顯示全景 圖像的全景圖像數(shù)據(jù)。然后，在VRAM 135中，構(gòu)成全景圖像的各個像素 的數(shù)據(jù)被布置并保持在與全景圖像的視角相對應(yīng)的地址中。其結(jié)果是，在 顯示器136的屏幕上的全景圖像顯示部分中顯示全景圖像。在這種情況 下，并沒有執(zhí)行用于收集多條圖像數(shù)據(jù)的處理，而是通過將各條圖像數(shù)據(jù) 布置并保持在VRAM 135的相應(yīng)地址中來執(zhí)行顯示。因此，為了應(yīng)對像素 數(shù)目的增加和更高的幀速率，在顯示全景圖像時的對策變得容易了。此外，在圖像數(shù)據(jù)處理部分134中，還對第一壓縮圖像數(shù)據(jù)V1H到 VnH中的有關(guān)與全景圖像上的高分辨率視角相對應(yīng)的分割圖像的第一壓縮 圖像數(shù)據(jù)進行解碼，并使用該解碼數(shù)據(jù)來生成用于顯示高分辨率圖像的高 分辨率圖像數(shù)據(jù)。然后，在VRAM 135中，構(gòu)成高分辨率圖像的各個像素 的數(shù)據(jù)被布置并保持在與高分辨率圖像的視角相對應(yīng)的地址中。其結(jié)果 是，在顯示器136的屏幕上的高分辨率圖像顯示部分中顯示該高分辨率圖 像。另外，在圖像數(shù)據(jù)處理部分134中，通過使用第二壓縮圖像數(shù)據(jù)V1L 到VnL中的有關(guān)與元數(shù)據(jù)MD1到MDn中包括的檢測信息所指示的檢測 位置相對應(yīng)的分割信息的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示檢 測位置圖像的檢測位置圖像數(shù)據(jù)。然后，在VRAM 135中，構(gòu)成檢測位置 圖像的各個像素的數(shù)據(jù)被保存在與檢測位置圖像的視角相對應(yīng)的地址中。 其結(jié)果是，在顯示器136的屏幕上的檢測位置圖像顯示部分203中顯示諸 如移動物體、靜止物體等的檢測位置圖像。應(yīng)當注意，雖然以上沒有描述，但是在與元數(shù)據(jù)MD1到MDn中包括 的檢測信息所指示的檢測位置相對應(yīng)的同時，還在全景圖像上顯示了指示出該檢測位置的框等。此外，取決于檢測類型(例如，移動物體檢測、靜 止物體檢測、或外部傳感器的檢測)來在該框等中產(chǎn)生色差的效果，以使 得用戶可以很容易地區(qū)分檢測類型。此外，在圖像數(shù)據(jù)處理部分134中，還使用第二壓縮圖像數(shù)據(jù)V1L到VnL中的有關(guān)與在全景圖像上設(shè)定的注意區(qū)域相對應(yīng)的分割信息的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示注意區(qū)域圖像的注意區(qū)域圖像數(shù)據(jù)。然后，在VRAM 135中，構(gòu)成注意區(qū)域圖像的各個像素的數(shù)據(jù)被保存在與注意區(qū)域圖像的顯示位置相對應(yīng)的地址中。其結(jié)果是，在顯示器136 的屏幕上的注意區(qū)域圖像顯示部分中顯示該注意區(qū)域圖像。應(yīng)當注意，雖然以上并沒有描述，但是在全景圖像上還顯示了指示出 注意區(qū)域的框等。這里，在控制部分131中基于針對注意區(qū)域的用戶設(shè)定 操作來設(shè)置注意區(qū)域。所述注意區(qū)域可以按任意的場角來設(shè)定。如稍后將 描述的，在基于針對注意區(qū)域圖像的用戶設(shè)定操作來確定高分辨率顯示區(qū) 域的情況下，在顯示器136的屏幕上的高分辨率圖像顯示部分中顯示與所 選擇的注意區(qū)域圖像相對應(yīng)的高分辨率圖像。在這種情況下，由于可以按 任意場角來設(shè)定注意區(qū)域，所以在一些情況下，高分辨率圖像數(shù)據(jù)中的像 素數(shù)目可能大于高分辨率圖像顯示部分中的像素數(shù)目。在這樣的情況下， 例如，通過縮小或修整(trimming)來對高分辨率圖像數(shù)據(jù)執(zhí)行像素數(shù)目 的調(diào)整，從而使其適合高分辨率圖像顯示部分。圖8示出了顯示器136的屏幕顯示示例。全景圖像顯示部分201設(shè)在 屏幕的上方。在全景圖像顯示部分201中顯示了基于在圖像數(shù)據(jù)處理部分 134中生成的全景圖像數(shù)據(jù)的低分辨率的全景圖像。此外，在全景圖像上 還顯示了與諸如移動物體、靜止物體等的檢測位置圖像相對應(yīng)的框211和 與由用戶操作設(shè)定的注意區(qū)域相對應(yīng)的框212。另外，檢測位置圖像顯示部分203和注意區(qū)域圖像顯示部分204設(shè)在 屏幕的左側(cè)。在檢測位置圖像顯示部分203中顯示了諸如移動物體或靜止 物體之類的低分辨率的檢測位置圖像(由全景圖像上的框211圍住的圖 像)。應(yīng)當注意，圍繞諸如移動物體或靜止物體之類的檢測目標物體的框 被顯示在各個檢測位置圖像上。注意區(qū)域中的低分辨率圖像(由全景圖像示在注意區(qū)域圖像顯示部分204中。此外，高分辨率圖像顯示部分202設(shè)在屏幕的從中間到右側(cè)的位置 處。作為在高分辨率圖像顯示部分202中顯示的高分辨率圖像，顯示了在 控制部分131中基于用戶操作來確定的高分辨率顯示區(qū)域中的高分辨率圖現(xiàn)在，將詳細描述在控制部分131中的高分辨率顯示區(qū)域的確定處 理。如上所述，當用戶在顯示在全景圖像顯示部分201上的全景圖像上執(zhí) 行位置選擇操作時，控制部分131基于該位置選擇操作來確定高分辨率顯 示區(qū)域。在這種情況下，用戶使用用戶接口部分132來例如將全景圖像上 的光標移動到所需位置并執(zhí)行點擊操作，藉此可以選擇高分辨率顯示區(qū) 域。然后，在這種情況下，在高分辨率圖像顯示部分202中顯示包括基于 用戶操作來選擇的位置的預(yù)定區(qū)域中的高分辨率圖像。此外，如上所述，當用戶從在檢測位置圖像顯示部分203中顯示的檢 測位置圖像中、針對檢測位置圖像來執(zhí)行選擇操作時，控制部分131基于 該選擇操作來確定高分辨率顯示區(qū)域。換而言之，控制部分131將與基于 用戶操作來選擇的檢測位置圖像(框211所圍住的區(qū)域)相對應(yīng)的位置確 定為高分辨率顯示區(qū)域。在這種情況下，用戶使用用戶接口部分132來例 如將光標移動到所需的檢測位置圖像，并執(zhí)行點擊操作，藉此可以選擇所 需的檢測位置圖像。然后，在這種情況下，在高分辨率圖像顯示部分202 中顯示所選擇的檢測位置圖像(高分辨率圖像)。另外，如上所述，當用戶從在檢測位置圖像顯示部分203中顯示的注 意區(qū)域圖像中、針對所需的注意區(qū)域圖像來執(zhí)行選擇操作時，控制部分 131基于該選擇操作來確定高分辨率顯示區(qū)域。換而言之，控制部分131 將與基于用戶操作來選擇的注意區(qū)域圖像相對應(yīng)的區(qū)域確定為高分辨率顯 示區(qū)域。在這種情況下，用戶使用用戶接口部分132來例如將光標移動到 所需的注意區(qū)域圖像，并執(zhí)行點擊操作，藉此可以選擇所需的注意區(qū)域圖 像。然后，在這種情況下，在高分辨率圖像顯示部分202中顯示所選擇的 注意區(qū)域圖像(高分辨率圖像)。如上所述，在圖l所示的圖像顯示系統(tǒng)100中，基于從圖像發(fā)送裝置110的相機部分111-1到lll-n輸出的圖像數(shù)據(jù)，各個圖像數(shù)據(jù)處理部分 112-1到112-n對第一分辨率(高分辨率)的圖像數(shù)據(jù)執(zhí)行壓縮編碼，從而 生成第一壓縮圖像數(shù)據(jù)V1H到VnH，此外還對低于第一分辨率的第二分 辨率(低分辨率)的圖像數(shù)據(jù)執(zhí)行壓縮編碼，從而生成第二壓縮圖像數(shù)據(jù) V1L到VnL，并且將該第一壓縮圖像數(shù)據(jù)V1H到VnH和第二壓縮圖像數(shù) 據(jù)V1L到VnL經(jīng)由網(wǎng)絡(luò)150來從數(shù)據(jù)傳送部分114發(fā)送到圖像顯示裝置 130。因此，在圖像顯示系統(tǒng)100中，與使用從各個相機部分111-1到lll-ii 輸出的圖像數(shù)據(jù)來生成全景圖像的圖像數(shù)據(jù)的情況不同，在圖像發(fā)送裝 置110側(cè)的處理數(shù)據(jù)量減小了，并且處理負荷減輕了。此外，在圖1所示的圖像顯示系統(tǒng)100中，圖像發(fā)送裝置110的各個 圖像數(shù)據(jù)處理部分112-1到112-n生成了這樣的元數(shù)據(jù)MD1到MDn，該 元數(shù)據(jù)MD1到MDn包括通過對從相機部分111-1到lll-n輸出的圖像數(shù) 據(jù)進行處理而檢測到的關(guān)于移動物體或靜止物體的檢測信息或者來自外部 傳感器113-1到113-n的檢測信息，并且所述元數(shù)據(jù)MD1到MDn還經(jīng)由 網(wǎng)絡(luò)150被從數(shù)據(jù)傳送部分114發(fā)送到圖像顯示裝置130。因此，在圖像 顯示系統(tǒng)100中，在圖像顯示裝置130側(cè)，可以很容易地執(zhí)行在全景圖像 上的檢測位置的顯示，或者更進一步地，與該檢測位置相對應(yīng)的高分辨率 圖像的顯示，等等。另外，在圖1所示的圖像顯示系統(tǒng)100中，圖像數(shù)據(jù)處理部分134對 數(shù)據(jù)傳送部分133所接收的第二分辨率(低分辨率)的第二壓縮圖像數(shù)據(jù) VlL到VnL進行解碼，從而生成全景圖像數(shù)據(jù)，并在顯示器136上顯示該 低分辨率的全景圖像。因此，在圖像顯示系統(tǒng)100中，減小了在圖像顯示 裝置130側(cè)的處理數(shù)據(jù)量，并減輕了處理負荷。此外，在圖1所示的圖像顯示系統(tǒng)100中，圖像數(shù)據(jù)處理部分134使 用數(shù)據(jù)傳送部分133所接收的第一分辨率(高分辨率)的第一壓縮圖像數(shù) 據(jù)V1H到VnH中的、有關(guān)與基于用戶操作來確定的高分辨率顯示區(qū)域相 對應(yīng)的分割圖像的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成高分辨率圖像數(shù) 據(jù)，并在顯示器136上顯示該高分辨率圖像。因此，在圖像顯示系統(tǒng)100 中，圖像顯示裝置130的圖像數(shù)據(jù)處理部分134僅僅解碼并使用第一壓縮圖像數(shù)據(jù)V1H到VnH中的必要的第一壓縮圖像數(shù)據(jù)，于是減小了在圖像 顯示裝置130側(cè)的處理數(shù)據(jù)量，并可以減輕處理負荷。此外，在圖1所示的圖像顯示系統(tǒng)100中，圖像顯示裝置130的圖像 數(shù)據(jù)處理部分134基于數(shù)據(jù)傳送部分133所接收的諸如移動物體或靜止物 體之類的檢測信息、根據(jù)第二壓縮圖像數(shù)據(jù)V1L到VnL的解碼數(shù)據(jù)來生 成檢測位置圖像數(shù)據(jù)，并在顯示器136上顯示低分辨率的檢測位置圖像。 因此，在圖像顯示系統(tǒng)100中，可以在顯示器136上以索引的形式顯示與 各個檢測位置相對應(yīng)的檢測位置圖像。應(yīng)當注意，在這種情況下，由于使 用了為了顯示全景圖像而己經(jīng)獲得的、第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)，所 以不可能顯著地增加處理負荷。另外，在圖1所示的圖像顯示系統(tǒng)100中，在圖像顯示裝置130偵IJ， 用戶可以在用戶接口部分132中、在顯示在顯示器136上的全景圖像上以 任意場角來設(shè)置注意區(qū)域。然后，在圖l所示的圖像顯示系統(tǒng)100中，圖 像顯示裝置130的圖像數(shù)據(jù)處理部分134基于所設(shè)定的注意區(qū)域、根據(jù)第 二壓縮圖像數(shù)據(jù)V1L到VnL的解碼數(shù)據(jù)來生成注意區(qū)域圖像數(shù)據(jù)，并且 在顯示器136上顯示該低分辨率的注意區(qū)域圖像。因此，在圖像顯示系統(tǒng) 100中，可以在顯示器136上以索引的形式來顯示與各個注意區(qū)域相對應(yīng) 的注意區(qū)域圖像。應(yīng)當注意，在這種情況下，由于使用了為了顯示全景圖 像而己經(jīng)獲得的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)，所以不可能顯著增加處理 負荷。此外，在圖1所示的圖像顯示系統(tǒng)100中，基于用戶針對在顯示器 136上顯示的全景圖像執(zhí)行的位置選擇操作、用戶針對在顯示器136上顯 示的檢測位置圖像執(zhí)行的選擇操作、或者用戶針對在顯示器136上顯示的 注意區(qū)域圖像執(zhí)行的選擇操作來確定高分辨率顯示區(qū)域。因此，在圖像顯 示系統(tǒng)100中，在圖像顯示裝置130側(cè)，用戶可以在顯示器B6上以高分 辨率圖像來顯示和觀察任意位置處的全景圖像、任意的檢測位置圖像、或 者任意的注意區(qū)域圖像。應(yīng)當注意，根據(jù)上述實施例，如圖9A所示，圖像發(fā)送裝置110中的 各個圖像數(shù)據(jù)處理部分112-1到112-n在每個幀中生成有關(guān)高分辨率(第一分辨率)的第一壓縮圖像數(shù)據(jù)V1H到VnH和低分辨率(第二分辨率) 的第二壓縮圖像數(shù)據(jù)V1L到VnL,并且數(shù)據(jù)傳送部分114將該數(shù)據(jù)發(fā)送到 圖像顯示裝置130。但是，如圖9B所示，低分辨率(第二分辨率)的各條第二壓縮圖像 數(shù)據(jù)V1L到VnL在每個幀中生成，但是，可以想到可以在間歇幀中生成 有關(guān)高分辨率(第一分辨率)的各條第一壓縮圖像數(shù)據(jù)V1H到VnH。在 圖9B的示例中，每隔一個幀地生成第一壓縮圖像數(shù)據(jù)V1H到VnH，在用 實線指示的幀中生成數(shù)據(jù)。這樣，由于間歇地生成各條第一壓縮圖像數(shù)據(jù)V1H到VnH，所以可 以減輕各個圖像數(shù)據(jù)處理部分112-1到112-n中的處理負荷。此外，可以 減小從數(shù)據(jù)傳送部分114向圖像顯示裝置130的發(fā)送數(shù)據(jù)量，并可以減輕 傳送負荷。應(yīng)當注意，在圖9A和9B中，數(shù)字值表示幀號。另外，根據(jù)上述實施例，圖像顯示裝置130的圖像數(shù)據(jù)處理部分134 使用每個幀中的第一壓縮圖像數(shù)據(jù)V1H到VnH來顯示高分辨率圖像，但 是，也可以想到按預(yù)定的組合比率來使用第一壓縮圖像數(shù)據(jù)V1H到VnH 和第二壓縮圖像數(shù)據(jù)V1L到VnL。圖IOA示出了這樣一個示例，其中， 按1:1的組合比率來使用第一壓縮圖像數(shù)據(jù)V1H到VnH和第二壓縮圖像 數(shù)據(jù)VlL至ljVnL，而圖IOB示出了這樣一個示例，其中，按1:3的組合比 率來使用第一壓縮圖像數(shù)據(jù)V1H到VnH和第二壓縮圖像數(shù)據(jù)V1L到 VnL。應(yīng)當注意，在圖10A和10B中，數(shù)字值表示幀號。在這種情況下，在使用第二壓縮圖像數(shù)據(jù)V1L到VnL的幀中，通過 內(nèi)插等來增加像素數(shù)目。圖像質(zhì)量隨著第二壓縮圖像數(shù)據(jù)V1L到VnL的 比率的增加而降低。這樣，當顯示高分辨率圖像時，通過按適當比率來使 用第二壓縮圖像數(shù)據(jù)V1L到VnL，可以減輕圖像數(shù)據(jù)處理部分134中的處 理負荷。應(yīng)當注意，根據(jù)上述實施例，圖像發(fā)送裝置110的圖像數(shù)據(jù)處理部分 112-1到112-n在高分辨率編碼器123中如其原樣地對從相機部分111-1到 lll-n輸出的第一分辨率(例如，UXGA)的圖像數(shù)據(jù)執(zhí)行壓縮編碼，從 而生成第一壓縮圖像數(shù)據(jù)V1H到VnH。但是，例如，當相機部分111-1到111- n在水平方向上或垂直方向上的像素數(shù)目更大時，在圖像數(shù)據(jù)處理部分112-1到112-n中，還可以想到從相機部分所輸出的圖像數(shù)據(jù)中切出預(yù) 定的圖像區(qū)域，以獲得第一分辨率(例如，UXGA)的圖像數(shù)據(jù)，并且對 該第一分辨率的圖像數(shù)據(jù)進行壓縮編碼，以生成第一壓縮圖像數(shù)據(jù)。圖ll示出了在上述情況下的圖像發(fā)送裝置110的另一個配置示例。在 圖11中，不包括與相機部分U1-2至U lll-n和圖像數(shù)據(jù)處理部分112-2到112- n相對應(yīng)的部分。在圖11中，與圖4中的那些相對應(yīng)的部分被指配了 相同的標號，并且省略對它們的詳細描述。除了高分辨率編碼器123、尺寸改變部分124、低分辨率編碼器125、 移動物體/靜止物體檢測部分126、和元數(shù)據(jù)生成部分127之外，圖像數(shù)據(jù) 處理部分112-1還具有區(qū)域切出部分128。區(qū)域切出部分128用于從相機部分111-1所輸出的圖像數(shù)據(jù)中切出預(yù) 定圖像區(qū)域的圖像數(shù)據(jù)，以獲得第一分辨率(例如，UXGA)的圖像數(shù) 據(jù)。向區(qū)域切出部分128提供在元數(shù)據(jù)生成部分127中生成的元數(shù)據(jù) MD1。此外，還向區(qū)域切出部分128提供數(shù)據(jù)傳送部分114從圖像顯示裝 置BO側(cè)接收的注意區(qū)域信息。在這個意義上，數(shù)據(jù)傳送部分114構(gòu)成了 信息接收部分。在區(qū)域切出部分128中，例如，基于元數(shù)據(jù)MD1中包括的諸如移動 物體或靜止物體之類的檢測信息，將與該移動物體、靜止物體等的檢測位 置相對應(yīng)的圖像區(qū)域設(shè)置為應(yīng)當切出的預(yù)定圖像區(qū)域。此外，在區(qū)域切出 部分128中，例如，基于注意區(qū)域信息，將在圖像顯示裝置BO側(cè)設(shè)定的 注意區(qū)域設(shè)置為應(yīng)當切出的預(yù)定圖像區(qū)域。應(yīng)當注意，在區(qū)域切出部分 128中切出的圖像區(qū)域的數(shù)目依據(jù)諸如移動物體或靜止物體之類的檢測的 數(shù)目和在圖像顯示裝置130側(cè)設(shè)定的注意區(qū)域的數(shù)目而變化。高分辨率編碼器123用于對在區(qū)域切出部分128中切出的各個圖像區(qū) 域中的圖像數(shù)據(jù)執(zhí)行壓縮編碼，以生成第一壓縮圖像數(shù)據(jù)V1H。在這種情 況下，如上所述，在區(qū)域切出部分128中切出的圖像區(qū)域的數(shù)目為2或更 大的情況下，從高分辨率編碼器123中獲得多條第一壓縮圖像數(shù)據(jù)V1H。圖像數(shù)據(jù)處理部分112-1的其它配置和操作類似于圖4所示出的那些。此外，圖中略去的圖像數(shù)據(jù)處理部分112-2到112-n的配置和操作類 似于圖像數(shù)據(jù)處理部分112-1的配置和操作。在如圖ll所示地配置圖像發(fā)送裝置110的情況下，在圖像數(shù)據(jù)處理部 分112-1到112-n中，從相機部分所輸出的圖像數(shù)據(jù)中切出預(yù)定圖像區(qū)域 (例如，諸如移動物體或靜止物體之類的檢測位置區(qū)域或者在圖像顯示裝 置130側(cè)設(shè)定的注意區(qū)域)的圖像數(shù)據(jù)，藉此可以生成第一分辨率的第一 壓縮圖像數(shù)據(jù)。因此，即使當相機部分111-1到lll-n的水平方向或垂直方向上的像 素的數(shù)目很大時，由于選擇性地僅對必要圖像區(qū)域執(zhí)行壓縮編碼以生成第 一壓縮圖像數(shù)據(jù)，所以也可以減輕圖像數(shù)據(jù)處理部分112-1至ij 112-n中的 處理負荷。應(yīng)當注意，在這種情況下，在圖像顯示裝置130中，可以執(zhí)行 在移動物體、靜止物體等的檢測位置中和在設(shè)定的注意區(qū)域處的高分辨率 圖像的顯示，但是可能無法在全景圖像上的任意位置中執(zhí)行高分辨率圖像 的顯示。此外，根據(jù)上述實施例，已經(jīng)描述了這樣一個示例，其中，僅一種類 型的第二分辨率的第二壓縮圖像數(shù)據(jù)被在圖像發(fā)送裝置110側(cè)生成并被發(fā) 送到圖像顯示裝置130。但是，還可以想到，在圖像發(fā)送裝置110側(cè)，作 為第二分辨率的第二壓縮圖像數(shù)據(jù)，多種類型的分辨率逐步變化的數(shù)據(jù)可 以被生成并被發(fā)送到圖像顯示裝置130。在這種情況下，在圖像顯示裝置 130側(cè)，可以選擇性地使用多種類型的第二分辨率，并且可以很容易地執(zhí) 行圖像大小等的改變。在上述實施例中，將要捕獲的圖像并不限于動畫圖像(motion picture image)，而可以是靜止圖像。但是，動畫圖像具有大于靜止圖像的數(shù)據(jù) 容量，因此上述實施例的效果也更加顯著。另外，已經(jīng)作為示例來描述使用多個相機拍攝圖像的裝置，但是并不 限于以上示例。所述裝置可以采用這樣一種配置，即，對一個相機執(zhí)行旋 轉(zhuǎn)控制的同時，可以通過執(zhí)行多次圖像拍攝來獲得一個全景圖像。此外，在圖像顯示裝置130中，上述實施例當然可以應(yīng)用于沒有顯示 器136的圖像處理裝置。本領(lǐng)域技術(shù)人員應(yīng)當了解，在所附權(quán)利要求或其等同物的范圍內(nèi)，根 據(jù)設(shè)計要求和其它因素可以進行各種修改、組合、子組合和變化。相關(guān)申請的交叉引用本發(fā)明包含與2007年3月9日在日本專利局提交的日本專利申請JP 2007-059596相關(guān)的主題，該申請的全部內(nèi)容通過引用而結(jié)合于此。
權(quán)利要求
1.一種圖像顯示系統(tǒng)，包括圖像發(fā)送裝置；和圖像顯示裝置，所述圖像發(fā)送裝置通過網(wǎng)絡(luò)被連接到所述圖像顯示裝置，所述圖像發(fā)送裝置包括多個相機部分，用于輸出與通過將全景圖像分割成多個片斷而獲得的各個分割圖像相對應(yīng)的圖像數(shù)據(jù)，多個圖像數(shù)據(jù)處理部分，用于對從所述各個相機部分輸出的所述圖像數(shù)據(jù)執(zhí)行處理，從而通過對第一分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第一壓縮圖像數(shù)據(jù)，并通過對第二分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第二壓縮圖像數(shù)據(jù)，其中，所述第二分辨率低于所述第一分辨率，以及數(shù)據(jù)發(fā)送部分，用于將在所述各個圖像數(shù)據(jù)處理部分中生成的所述第一壓縮圖像數(shù)據(jù)和所述第二壓縮圖像數(shù)據(jù)發(fā)送到所述圖像顯示裝置，所述圖像顯示裝置包括數(shù)據(jù)接收部分，用于接收從所述圖像發(fā)送裝置發(fā)送的所述第一壓縮圖像數(shù)據(jù)和所述第二壓縮圖像數(shù)據(jù)，第一圖像數(shù)據(jù)生成部分，用于使用在所述數(shù)據(jù)接收部分中接收的多條所述第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示所述全景圖像的全景圖像數(shù)據(jù)，視角確定部分，用于確定在所述全景圖像上的高分辨率視角，第二圖像數(shù)據(jù)生成部分，用于使用所述數(shù)據(jù)接收部分所接收的所述多條第一壓縮圖像數(shù)據(jù)中的與在所述視角確定部分中確定的所述高分辨率視角相對應(yīng)的分割圖像的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示高分辨率圖像的高分辨率圖像數(shù)據(jù)，以及顯示部分，用于在顯示器上顯示基于在所述第一圖像數(shù)據(jù)生成部分中生成的所述全景圖像數(shù)據(jù)的全景圖像和基于在所述第二圖像數(shù)據(jù)生成部分中生成的所述高分辨率圖像數(shù)據(jù)的高分辨率圖像。
2. —種圖像發(fā)送裝置，包括多個相機部分，用于輸出與通過將全景圖像分割成多個片斷而獲得的 各個分割圖像相對應(yīng)的圖像數(shù)據(jù)；多個圖像數(shù)據(jù)處理部分，用于對從所述各個相機部分輸出的所述圖像 數(shù)據(jù)執(zhí)行處理，從而通過對第一分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第 一壓縮圖像數(shù)據(jù)，并通過對第二分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第 二壓縮圖像數(shù)據(jù)，其中，所述第二分辨率低于所述第一分辨率；以及數(shù)據(jù)發(fā)送部分，用于發(fā)送在所述各個圖像數(shù)據(jù)處理部分中生成的所述 第一壓縮圖像數(shù)據(jù)和所述第二壓縮圖像數(shù)據(jù)。
3. 如權(quán)利要求2所述的圖像發(fā)送裝置，其中所述各個圖像數(shù)據(jù)處理部分還生成包括下述檢測信息之一的元數(shù)據(jù)， 所述檢測信息是通過對從所述相機部分輸出的圖像數(shù)據(jù)進行處理而檢測到 的關(guān)于移動物體或靜止物體的檢測信息和來自外部傳感器的檢測信息；并 且除了在所述各個圖像數(shù)據(jù)處理部分中生成的所述第一壓縮圖像數(shù)據(jù)和 第二壓縮圖像數(shù)據(jù)之外，所述數(shù)據(jù)發(fā)送部分還發(fā)送在所述各個圖像數(shù)據(jù)處 理部分中生成的所述元數(shù)據(jù)。
4. 如權(quán)利要求2所述的圖像發(fā)送裝置，其中，所述各個圖像數(shù)據(jù)處理部分使用比用于生成所述第二壓縮圖像數(shù)據(jù)的幀數(shù)目少的幀來生成所述 第一壓縮圖像數(shù)據(jù)。
5. 如權(quán)利要求2所述的圖像發(fā)送裝置，其中，所述各個圖像數(shù)據(jù)處 理部分從所述相機部分所輸出的圖像數(shù)據(jù)中切出預(yù)定圖像區(qū)域處的圖像數(shù) 據(jù)，并對所切出的圖像數(shù)據(jù)執(zhí)行壓縮編碼，從而生成所述第一壓縮圖像數(shù) 據(jù)。
6. 如權(quán)利要求5所述的圖像發(fā)送裝置，其中，所述各個圖像數(shù)據(jù)處 理部分基于所述通過對從所述相機部分輸出的圖像數(shù)據(jù)進行處理而檢測到 的關(guān)于所述移動物體或靜止物體的檢測信息和所述來自外部傳感器的檢測 信息之一來確定所述預(yù)定圖像區(qū)域。
7. 如權(quán)利要求5所述的圖像發(fā)送裝置，其中所述各個圖像數(shù)據(jù)處理部分還包括信息接收部分，用于接收關(guān)于在所 述全景圖像上設(shè)定的注意區(qū)域的信息；并且所述各個圖像數(shù)據(jù)處理部分基于在所述信息接收部分中接收的所述注 意區(qū)域信息來確定所述預(yù)定圖像區(qū)域。
8. 如權(quán)利要求3所述的圖像發(fā)送裝置，其中，所述全景部分是動畫 圖像。
9. 如權(quán)利要求4所述的圖像發(fā)送裝置，其中，所述全景圖像是動畫 圖像。
10. 如權(quán)利要求5所述的圖像發(fā)送裝置，其中，所述全景圖像是動畫 圖像。
11. 一種發(fā)送與全景圖像相對應(yīng)的圖像數(shù)據(jù)的圖像發(fā)送方法， 所述方法包括以下步驟通過使用與通過將所述全景圖像分割成多個片斷而獲得的各個分割圖 像相對應(yīng)的多個相機來捕獲圖像；通過對在所述捕獲時從所述各個相機輸出的圖像數(shù)據(jù)執(zhí)行處理，從而 通過對第一分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第一壓縮圖像數(shù)據(jù)；通過對在所述拾取時從所述各個相機輸出的圖像數(shù)據(jù)執(zhí)行處理，從而 通過對第二分辨率的圖像數(shù)據(jù)進行壓縮編碼來生成第二壓縮圖像數(shù)據(jù)，其 中，所述第二分辨率低于所述第一分辨率；以及發(fā)送所述第一壓縮圖像數(shù)據(jù)和所述第二壓縮圖像數(shù)據(jù)。
12. —種用于生成在顯示器上顯示的圖像的圖像處理裝置， 所述圖像處理裝置包括數(shù)據(jù)接收部分，用于接收多條第一壓縮圖像數(shù)據(jù)和多條第二壓縮圖像 數(shù)據(jù)，其中，所述第一壓縮圖像數(shù)據(jù)是通過對第一分辨率的圖像數(shù)據(jù)進行 壓縮編碼而獲得的，所述第一分辨率的圖像數(shù)據(jù)是通過對與通過將全景圖 像分割成多個片斷而獲得的分割圖像相對應(yīng)的各條圖像數(shù)據(jù)執(zhí)行處理而生 成的，而所述第二壓縮圖像數(shù)據(jù)是通過對第二分辨率的圖像數(shù)據(jù)進行壓縮 編碼來獲得的，所述第二分辨率低于所述第一分辨率；第一圖像數(shù)據(jù)生成部分，用于使用在所述數(shù)據(jù)接收部分中接收的多條所述第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示所述全景圖像的全景圖 像數(shù)據(jù)；視角確定部分，用于確定在所述全景圖像上的高分辨率視角； 第二圖像數(shù)據(jù)生成部分，用于使用所述數(shù)據(jù)接收部分所接收的所述多條第一壓縮圖像數(shù)據(jù)中的與在所述視角確定部分中確定的所述高分辨率視角相對應(yīng)的分割圖像的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示高分辨率圖像的高分辨率圖像數(shù)據(jù)；以及輸出部分，用于在顯示器上輸出在所述第一圖像數(shù)據(jù)生成部分中生成的所述全景圖像數(shù)據(jù)和在所述第二圖像數(shù)據(jù)生成部分中生成的所述高分辨率圖像數(shù)據(jù)。
13. 如權(quán)利要求12所述的圖像處理裝置，其中，所述視角確定部分 基于用戶針對在所述顯示器上顯示的所述全景圖像上的位置的選擇操作來 確定所述高分辨率視角。
14. 如權(quán)利要求12所述的圖像處理裝置，其中所述數(shù)據(jù)接收部分還接收包括下述檢測信息之一的元數(shù)據(jù)，所述檢測 信息是通過對所述各個圖像數(shù)據(jù)進行處理而檢測到的關(guān)于移動物體或靜止 物體的檢測信息，以及來自與所述各個相機部分相對應(yīng)地設(shè)置的外部傳感 器的檢測信息；所述圖像處理裝置還包括第三圖像數(shù)據(jù)生成部分，該第三圖像數(shù)據(jù)生 成部分用于使用在所述數(shù)據(jù)接收部分所接收的所述多條第二壓縮圖像數(shù)據(jù) 中的與所述數(shù)據(jù)接收部分所接收的多條所述元數(shù)據(jù)中包括的所述檢測信息 所指示的檢測位置相對應(yīng)的分割圖像的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生 成用于顯示檢測位置圖像的檢測位置圖像數(shù)據(jù)；并且除了在所述第一圖像數(shù)據(jù)生成部分中生成的所述全景圖像數(shù)據(jù)和在所 述第二圖像數(shù)據(jù)生成部分中生成的所述高分辨率圖像數(shù)據(jù)之外，所述輸出 部分還向所述顯示器輸出在所述第三圖像數(shù)據(jù)生成部分中生成的所述檢測 位置圖像數(shù)據(jù)。
15. 如權(quán)利要求14所述的圖像處理裝置，其中，所述視角確定部分 基于用戶針對在所述顯示器上顯示的所述檢測位置圖像而執(zhí)行的選擇操作來確定所述高分辨率視角。
16. 如權(quán)利要求12所述的圖像處理裝置，還包括注意區(qū)域設(shè)定部分，用于在顯示在所述顯示器上的所述全景圖像上設(shè) 定注意區(qū)域；以及第四圖像數(shù)據(jù)生成部分，用于使用與在所述注意區(qū)域設(shè)定部分中設(shè)定 的所述注意區(qū)域相對應(yīng)的分割圖像的第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成 用于顯示注意區(qū)域圖像的注意區(qū)域圖像數(shù)據(jù)，其中，除了在所述第一圖像數(shù)據(jù)生成部分中生成的所述全景圖像數(shù)據(jù) 和在所述第二圖像數(shù)據(jù)生成部分中生成的所述高分辨率圖像數(shù)據(jù)之外，所 述輸出部分還向所述顯示器輸出在所述第四圖像數(shù)據(jù)生成部分中生成的所 述注意區(qū)域圖像數(shù)據(jù)。
17. 如權(quán)利要求16所述的圖像處理裝置，其中，所述視角確定部分基于用戶針對在所述顯示器上顯示的所述注意區(qū)域圖像而執(zhí)行的選擇操作 來確定所述高分辨率視角。
18. 如權(quán)利要求12所述的圖像處理裝置，其中，所述第二圖像數(shù)據(jù) 生成部分按預(yù)定比率使用與在所述視角確定部分中確定的所述高分辨率視 角相對應(yīng)的分割圖像的所述第一壓縮圖像數(shù)據(jù)和所述第二壓縮圖像數(shù)據(jù)來 生成用于顯示所述高分辨率圖像的高分辨率圖像數(shù)據(jù)。
19. 如權(quán)利要求12所述的圖像處理裝置，其中通過在與通過將所述全景圖像分割成多個片斷而獲得的所述各個分割 圖像相對應(yīng)的所述相機部分中的圖像拾取來獲得所述各條圖像數(shù)據(jù)；并且 所述全景圖像是動畫圖像。
20. 如權(quán)利要求14所述的圖像處理裝置，其中通過在與通過將所述全景圖像分割成多個片斷而獲得的所述各個分割 圖像相對應(yīng)的所述相機部分中的圖像拍攝來獲得所述各條圖像數(shù)據(jù)；并且 所述全景圖像是動畫圖像。
21. 如權(quán)利要求16所述的圖像處理裝置，其中通過在與通過將所述全景圖像分割成多個片斷而獲得的所述各個分割 圖像相對應(yīng)的所述相機部分中的圖像拍攝來獲得所述各條圖像數(shù)據(jù)；并且所述全景圖像是動畫圖像。
22. 如權(quán)利要求19所述的圖像處理裝置，其中，在同一屏幕上顯示所述全景圖像和所述高分辨率圖像。
23. 如權(quán)利要求20所述的圖像處理裝置，其中，在同一屏幕上顯示 所述全景圖像、所述高分辨率圖像和所述檢測位置圖像。
24. 如權(quán)利要求21所述的圖像處理裝置，其中，在同一屏幕上顯示 所述全景圖像、所述高分辨率圖像和所述注意區(qū)域圖像。
25. —種圖像顯示方法，包括以下步驟接收多條第一壓縮圖像數(shù)據(jù)和多條第二壓縮圖像數(shù)據(jù)，其中，所述第 一壓縮圖像數(shù)據(jù)是通過對第一分辨率的圖像數(shù)據(jù)進行壓縮編碼而獲得的， 所述第一分辨率的圖像數(shù)據(jù)是通過在相應(yīng)的相機部分對通過將全景圖像分 割成多個片斷而獲得的分割圖像進行拾取時獲得的各條圖像數(shù)據(jù)執(zhí)行處理 而生成的，而所述第二壓縮圖像數(shù)據(jù)是通過對第二分辨率的圖像數(shù)據(jù)進行 壓縮編碼來獲得的，所述第二分辨率低于所述第一分辨率；使用在所述接收時接收的多條所述第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生 成用于顯示所述全景圖像的全景圖像數(shù)據(jù)；確定所述全景圖像上的高分辨率視角；使用在所述接收時接收的所述多條第一壓縮圖像數(shù)據(jù)中的與在所述確 定時確定的所述高分辨率視角相對應(yīng)的分割圖像的所述第一壓縮圖像數(shù)據(jù) 的解碼數(shù)據(jù)來生成用于顯示高分辨率圖像的高分辨率圖像數(shù)據(jù)；以及在顯示器上輸出基于所生成的全景圖像數(shù)據(jù)的所述全景圖像和基于所 生成的高分辨率圖像數(shù)據(jù)的所述高分辨率圖像。
26. —種程序，用于指示計算機作為下述裝置來進行操作 數(shù)據(jù)接收裝置，用于接收多條第一壓縮圖像數(shù)據(jù)和多條第二壓縮圖像數(shù)據(jù)，其中，所述第一壓縮圖像數(shù)據(jù)是通過對第一分辨率的圖像數(shù)據(jù)進行 壓縮編碼而獲得的，所述第一分辨率的圖像數(shù)據(jù)是通過在相應(yīng)的相機部分 對通過將全景圖像分割成多個片斷而獲得的分割圖像進行拾取時獲得的各 條圖像數(shù)據(jù)執(zhí)行處理而生成的，而所述第二壓縮圖像數(shù)據(jù)是通過對第二分 辨率的圖像數(shù)據(jù)進行壓縮編碼來獲得的，所述第二分辨率低于所述第一分辨率；第一圖像數(shù)據(jù)生成裝置，用于使用所述數(shù)據(jù)接收裝置所接收的多條所 述第二壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示所述全景圖像的全景圖像數(shù)據(jù)；視角確定裝置，用于確定在所述全景圖像上的高分辨率視角； 第二圖像數(shù)據(jù)生成裝置，用于使用所述數(shù)據(jù)接收裝置所接收的所述多條第一壓縮圖像數(shù)據(jù)中的與由所述視角確定裝置確定的所述高分辨率視角相對應(yīng)的分割圖像的第一壓縮圖像數(shù)據(jù)的解碼數(shù)據(jù)來生成用于顯示高分辨率圖像的高分辨率圖像數(shù)據(jù)；以及顯示裝置，用于在顯示器上顯示基于由所述第一圖像數(shù)據(jù)生成裝置生成的所述全景圖像數(shù)據(jù)的全景圖像和基于由所述第二圖像數(shù)據(jù)生成裝置生成的所述高分辨率圖像數(shù)據(jù)的高分辨率圖像。
全文摘要
本發(fā)明提供了圖像顯示系統(tǒng)、裝置和方法，圖像發(fā)送裝置和方法，以及程序。相機部分對通過分割全景圖像而獲得的分割圖像進行拾取，以生成高分辨率的圖像數(shù)據(jù)。圖像數(shù)據(jù)處理部分通過編碼器來對該高分辨率的圖像數(shù)據(jù)執(zhí)行壓縮編碼，以獲得第一壓縮圖像數(shù)據(jù)。圖像數(shù)據(jù)處理部分執(zhí)行尺寸改變來獲得低分辨率的圖像數(shù)據(jù)，并通過另一個編碼器來對該圖像數(shù)據(jù)執(zhí)行壓縮編碼，從而獲得第二壓縮圖像數(shù)據(jù)。數(shù)據(jù)傳送部分通過網(wǎng)絡(luò)將所述第一和第二壓縮圖像數(shù)據(jù)發(fā)送到圖像顯示裝置。
文檔編號H04N5/262GK101262597SQ200810085508
公開日2008年9月10日 申請日期2008年3月10日 優(yōu)先權(quán)日2007年3月9日
發(fā)明者稻熊律夫 申請人:索尼株式會社