專利名稱：處理圖像的裝置、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及處理圖像數(shù)據(jù)的裝置和方法。本發(fā)明還涉及促使圖像處理裝 置執(zhí)行處理圖像的方法的計算機(jī)程序。
背景技術(shù)：
可以將表示圖像采集時圖像采集器件的位置的位置信息附到已采集圖像 數(shù)據(jù)上。
例如，日本待審專利申請第2008-33613號公開了一種技術(shù)，其當(dāng)對照地 理信息檢查該位置信息時接近于或在位置信息處呈現(xiàn)(present)關(guān)于陸標(biāo) (landmark)的4言息。

發(fā)明內(nèi)容
因此期望要提供圖像處理裝置，其將位置信息附到已采集圖像數(shù)據(jù)并且 呈現(xiàn)利用所附到的位置信息的高娛樂質(zhì)量和有效性(high entertainment quality and usefulness )。
按照本發(fā)明的一種實施方式，圖像處理裝置包括視點范圍設(shè)置部件， 用于基于從已采集圖像數(shù)據(jù)中選擇為基準(zhǔn)的基準(zhǔn)圖像數(shù)據(jù)的位置信息設(shè)置視 點范圍，該已采集圖像數(shù)據(jù)至少包含作為附加信息附到其中的、表示采集位 置的位置信息和表示采集方向的方向信息；合成圖像數(shù)據(jù)獲得部件，用于從 存儲具有作為附加信息附到其中的位置信息和方向信息的該已采集圖像數(shù)據(jù) 的存儲器，作為合成圖像數(shù)據(jù)，獲得包含該位置信息和該方向信息的已采集 圖像數(shù)據(jù)，該位置信息和該方向信息滿足這樣的條件以該視點范圍內(nèi)的視 點位置采集該基準(zhǔn)圖像數(shù)據(jù)的成像幀之外的圖像；顯示圖像產(chǎn)生部件，用于 通過在根據(jù)該位置信息和該方向信息設(shè)置的位置上放置和合成來自該基準(zhǔn)圖 像數(shù)據(jù)的基準(zhǔn)圖像和來自該合成圖像數(shù)據(jù)的合成圖像，產(chǎn)生顯示圖像數(shù)據(jù)； 以及顯示控制部件，用于促使該顯示圖像數(shù)據(jù)的部分區(qū)域被顯示在顯示屏幕 上，并促使到目前為止所顯示的該顯示圖像數(shù)據(jù)的該部分區(qū)域響應(yīng)于以顯示
6區(qū)域的移位指令所指定的移位方向而被變更。
利用上述安排，在反映圖像采集時各圖像的位置關(guān)系的狀態(tài)下，將在給
定視場(field of view)內(nèi)采集的基準(zhǔn)圖像和在該基準(zhǔn)圖像的視場之外采集的 合成圖像合成為一段顯示圖像數(shù)據(jù)。當(dāng)顯示該顯示圖像數(shù)據(jù)時，在顯示屏上 顯示部分區(qū)域，然后響應(yīng)于移位指令移動該部分區(qū)域。
收集作為基準(zhǔn)的已采集圖像以及環(huán)繞已采集圖像的圖像，然后以面向真 實性的方式進(jìn)行顯示。因此而在觀察已采集圖像時增強(qiáng)娛樂質(zhì)量和用戶友好 性。


. 圖1圖解按照本發(fā)明的一種實施方式的圖像處理系統(tǒng)的第一示例； 圖2圖解按照本發(fā)明的一種實施方式的圖像處理系統(tǒng)的第二示例； 圖3圖解按照本發(fā)明的一種實施方式的圖像處理系統(tǒng)的操作； 圖4圖解數(shù)字照相機(jī)的結(jié)構(gòu)；
圖5是圖解記錄由數(shù)字照相機(jī)采集的圖像文件的處理的流程圖； 圖6圖解已采集圖像文件的結(jié)構(gòu)； 圖7圖解照片服務(wù)器的結(jié)構(gòu)；
圖8A-8C概略地圖解按照本發(fā)明的 一種實施方式的全景圖像的第 一顯示 模式；
圖9圖解在全景圖像中基準(zhǔn)圖像和合成圖像之間的關(guān)系； 圖10 A-10C概略地圖解按照本發(fā)明的 一種實施方式的全景圖像的第二顯 示模式；
圖IIA和IIB概略地圖解在第二顯示模式的圖像中的被攝物(subject) 的大小的調(diào)節(jié)方法；
圖12概略地圖解按照本發(fā)明的一種實施方式的、為全景圖像顯示而規(guī)定 (define )的畫布(canvas )以及在該畫布上繪畫(plot)基準(zhǔn)圖像的繪畫處 理的示例；
圖13概略地圖解按照本發(fā)明的一種實施方式的、為全景圖像顯示而規(guī)定 的畫布以及在該畫布上繪畫合成圖像的繪畫處理的示例； 圖14A和14B圖解畫布和4見點范圍之間的關(guān)系； 圖15圖解全景圖像的移位控制(shift control)的概念；圖16是圖解這樣一個處理的流程圖，該處理開始于產(chǎn)生顯示全景圖像數(shù) 據(jù)，并結(jié)束于全景圖像的顯示開始；
圖17是圖解縮減(narrow)作為合成圖像的候選者的已采集圖像文件的 縮減處理的流程圖18是圖解顯示和移位全景圖像的處理的流程圖19A和19B圖解本發(fā)明的第一變型；
圖20圖解本發(fā)明的第二變型；以及
圖21圖解本發(fā)明的第三變型。
具體實施例方式
下面描述本發(fā)明的實施方式。
圖1圖解按照本發(fā)明的一種實施方式的圖像處理系統(tǒng)的第一示例。
在該圖像處理系統(tǒng)中，數(shù)字照相機(jī)1和照片服務(wù)器2以可通信方式經(jīng)由 網(wǎng)絡(luò)3相互連接。
圖2圖解按照本發(fā)明的一種實施方式的圖像處理裝置的第二示例。
參考圖2，數(shù)字照相機(jī)1經(jīng)由數(shù)據(jù)接口 5連接到個人計算機(jī)4。數(shù)據(jù)接口 5可以是無線或有線類型的。
個人計算機(jī)4經(jīng)由網(wǎng)絡(luò)3連接到照片服務(wù)器2。更具體地說，數(shù)字照相 機(jī)1使用網(wǎng)絡(luò)3的網(wǎng)絡(luò)通信功能連接到照片服務(wù)器2。在圖l的第一示例中， 數(shù)字照相機(jī)1本身具有網(wǎng)絡(luò)通信功能。在圖2的第二示例中，數(shù)字照相機(jī)1 不具有網(wǎng)絡(luò)通信功能。
在該系統(tǒng)的第二示例的變型中，可以預(yù)期數(shù)字照相機(jī)1和外圍器件(被 稱為支架，用于支撐數(shù)字照相機(jī)1)的組合。如果數(shù)字照相機(jī)1安裝在支架 上，則可以將支架和數(shù)字照相機(jī)1經(jīng)由無線或有線接口相互連接。支架本身 可以具備網(wǎng)絡(luò)通信功能。
參考圖3,簡短地描述在圖1和2中所圖解的圖像處理系統(tǒng)。描述圖1 中所圖解的第一示例。參考圖3中加括號的編號作出第一示例的討論。
持有數(shù)字照相機(jī)1的用戶使用數(shù)字照相機(jī)1采集圖像。將通過圖像采集 獲取的圖像數(shù)據(jù)(已采集圖像數(shù)據(jù))，以諸如聯(lián)合圖像專家組(JPEG)之類的預(yù) 定文件格式，存儲到裝載在數(shù)字照相機(jī)1上的記錄介質(zhì)(存儲器 30)。作 為已采集圖像數(shù)據(jù)的文件被稱為已采集圖像文件。已采集圖像文件伴有元數(shù)據(jù)(附加信息)。該元數(shù)據(jù)包含^f象通過可交換圖
像文件格式(Exif)標(biāo)準(zhǔn)化那樣的、關(guān)于圖像采集日期的信息以及諸如在圖像采 集時的曝光之類的照相機(jī)控制信息。根據(jù)本實施方式，該元數(shù)據(jù)包含表示圖 像采集時數(shù)字照相機(jī)1的位置的位置信息，以及表示在圖像采集期間數(shù)字照 相才幾l已經(jīng)注^L的方向的方向〗言息。
本實施方式的數(shù)字照相機(jī)1以后面描述的模式顯示基于多個已采集圖像 文件的圖像的全景圖像。用戶可能希望顯示全景圖像。然后，用戶選擇作為 數(shù)字照相機(jī)1的全景圖像的基準(zhǔn)的已采集圖像數(shù)據(jù)。以下將作為基準(zhǔn)的已釆 集圖像數(shù)據(jù)稱為"基準(zhǔn)圖像"。
利用被選擇的基準(zhǔn)圖像，用戶操作數(shù)字照相機(jī)1以便發(fā)布指令來顯示全 景圖像。響應(yīng)于該指令，除了基準(zhǔn)圖像外，數(shù)字照相機(jī)1還收集用于形成全 景圖像(以下稱為"合成圖像")的其他已采集圖像數(shù)據(jù)。執(zhí)行步驟(3-l)。如 果未收集到滿足作為合成圖像的條件的已采集圖像文件，則執(zhí)行步驟(3-2)。
在步驟(3-l),數(shù)字照相機(jī)1本地地搜索用于收集的圖像。更具體地說， 數(shù)字照相機(jī)1搜索存儲在存儲卡上的已釆集圖像文件，以尋找滿足作為合成 圖像的條件的已采集圖像文件，其中該存儲卡裝載在數(shù)字照相機(jī)1上。
如果在本地搜索中數(shù)字照相機(jī)1未獲得滿足作為合成圖像的條件的任何 已采集圖像文件，那么數(shù)字照相機(jī)1經(jīng)由網(wǎng)絡(luò)3訪問照片服務(wù)器2。
照片服務(wù)器2存儲和管理經(jīng)由網(wǎng)絡(luò)3從眾多用戶上載的大量已采集圖像 文件。注意到，照片服務(wù)器2所存儲和管理的已采集圖像文件也包含位置信 息和方向信息作為元凄t據(jù)。
然后，數(shù)字照相機(jī)1通過指定與作為合成圖像的條件相對應(yīng)的搜索條件， 來訪問并請求照片服務(wù)器2以執(zhí)行搜索操作。響應(yīng)于該請求，照片服務(wù)器2 從照片服務(wù)器2所存儲和管理的這些已采集圖像文件中，搜索滿足搜索條件 的已采集圖像文件，并傳送找到的已采集圖像文件。按照這種方式，數(shù)字照 相機(jī)1可以經(jīng)由網(wǎng)絡(luò)3從照片服務(wù)器2收集合成圖像。
在步驟(3)中用于合成圖像的收集步驟中，數(shù)字照相機(jī)1可以就像在步驟 (3-2)中那樣，僅從照片服務(wù)器2收集已采集圖像文件，也可以僅僅在步驟(3-l) 中本地地收集已采集圖像文件。
如果執(zhí)行了合成圖像的本地收集，則不需要特殊網(wǎng)絡(luò)連接功能。這種操 作很方便，而且短時間內(nèi)就完成了。如果本地地收集了合成圖像，則可能找到在基準(zhǔn)圖像的圖像采集和記錄時采用(take)的已采集圖像文件。也可能共 同分享涉及圖像采集和記錄期間的周圍環(huán)境的照相機(jī)設(shè)置。這意味著很少有 用戶對合成結(jié)果有特別視覺感的機(jī)會。
另一方面，照片服務(wù)器2存儲大量已采集圖像文件。如果從照片服務(wù)器 2收集了已采集圖像文件，則很可能獲得滿足作為合成圖像的條件的已采集 圖像文件。
根據(jù)本實施方式，本地和從照片服務(wù)器2地收集已采集圖像文件享受到 這兩種情況的好處。首先執(zhí)行本地圖像收集。
數(shù)字照相機(jī)1收集所有需要的合成圖像，并使用所收集到的合成圖像。 然后，數(shù)字照相機(jī)1產(chǎn)生用在數(shù)字照相機(jī)1中的顯示器23的顯示屏23A上 的顯示全景圖像數(shù)據(jù)。
數(shù)字照相機(jī)1使用顯示全景圖像數(shù)據(jù)，來促使顯示屏23A顯示全景圖像。
圖4是圖解本發(fā)明的一種實施方式的數(shù)字照相機(jī)1的結(jié)構(gòu)的塊圖。
光學(xué)系統(tǒng)11包括由幾種透鏡(諸如為變焦透鏡、調(diào)焦透鏡)組成的成像 透鏡組和孔徑光闌，接收入射光束作為圖像光束，并促使該入射光束被調(diào)焦 在圖像傳感器12的光接收表面上。
光學(xué)系統(tǒng)11還包括用于驅(qū)動變焦透鏡、調(diào)焦透鏡和孔徑光闌等的驅(qū)動機(jī) 構(gòu)。這些機(jī)構(gòu)以由控制器17所執(zhí)行的控制搡作進(jìn)行控制，這些控制操作包括 變焦(視角)控制操作、自動調(diào)焦控制操作和自動曝光操作。
圖像傳感器12執(zhí)行光電轉(zhuǎn)換，以將來自光學(xué)系統(tǒng)11的成像光束轉(zhuǎn)換成 電信號。圖像傳感器12在其光電轉(zhuǎn)換器件的光接收表面上接收來自光學(xué)系統(tǒng) 11的成像光束，并以預(yù)定定時接連輸出響應(yīng)于所接收到的光束的光強(qiáng)i累積 的信號電荷。由此輸出響應(yīng)于圖像光束的電信號(已采集圖像信號)。
作為光電轉(zhuǎn)換器(成像器件)的圖像傳感器12不限于任何特殊類型。例 如，圖像傳感器12可以是互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器或電荷耦合 器件(CCD)。如果CMOS傳感器用作圖像傳感器12，則CMOS傳感器可以包 含與在數(shù)字照相機(jī)1中的A/D轉(zhuǎn)換器13對應(yīng)的模-數(shù)(A/D)轉(zhuǎn)換器。
將從圖像傳感器12A輸出的已采集圖像信號輸入到A/D轉(zhuǎn)換器13，以便 被轉(zhuǎn)換成數(shù)字信號。然后將該數(shù)字信號輸入到信號處理器14。
信號處理器14以與一幅靜止圖像(幀圖像)對應(yīng)的單位，獲得從A/D 轉(zhuǎn)換器13輸出的數(shù)字的已采集圖像信號。信號處理器14對以靜止圖像單位
10獲得的已采集圖像信號執(zhí)行預(yù)定信號處理，從而產(chǎn)生已采集圖像數(shù)據(jù)作為與 一幅靜止圖像對應(yīng)的圖像信號數(shù)據(jù)。
如果將信號處理器14所產(chǎn)生的已采集圖像數(shù)據(jù)記錄到作為記錄介質(zhì)的 存儲卡30上，則將與一幅靜止圖像對應(yīng)的已采集圖像數(shù)據(jù)乂人信號處理器14 輸出到編碼器/解碼器15。
編碼器/解碼器15根據(jù)預(yù)定的靜止圖像壓縮編碼方法，壓縮編碼從信號 處理器14輸出的、按照靜止圖像單位的已采集圖像數(shù)據(jù)。在控制器17的控 制下的編碼器/解碼器15將首標(biāo)添加到已采集圖像數(shù)據(jù)，從而將已采集圖像 數(shù)據(jù)轉(zhuǎn)換成以預(yù)定方法壓縮過的已采集圖像數(shù)據(jù)。產(chǎn)生預(yù)定靜止圖像格式的 圖像文件，該預(yù)定靜止圖像格式使得這樣所產(chǎn)生的已采集圖像數(shù)據(jù)作為數(shù)據(jù) 主體。然后，將該圖像文件轉(zhuǎn)移到介質(zhì)控制器16。在控制器17控制下的介 質(zhì)控制器16將所轉(zhuǎn)移的圖像文件的數(shù)據(jù)寫到存儲卡30。
存儲卡30具有以預(yù)定標(biāo)準(zhǔn)規(guī)定的卡形狀，并且包含諸如閃存之類的非易 失半導(dǎo)體存儲器。
通過文件來管理記錄到存儲卡30的已采集圖像數(shù)據(jù)。通過安裝在存儲卡 30的主機(jī)上的文件系統(tǒng)來實現(xiàn)通過文件的管理。
存儲圖像文件的記錄介質(zhì)可以是盤型記錄介質(zhì)，也可以是任何其他不同 類型和不同形狀的記錄介質(zhì)。
數(shù)字照相機(jī)1使用信號處理器14所提供的已采集圖像數(shù)據(jù)，促使顯示器 23顯示圖像。由此，數(shù)字照相機(jī)1顯示目前已采集圖像或貫穿圖像 (through-image )。如上所述，信號處理器14從A/D轉(zhuǎn)換器13獲得已采集信 號，并產(chǎn)生與一幅靜止圖像對應(yīng)的已采集圖像數(shù)據(jù)。通過重復(fù)這種操作，數(shù) 字照相機(jī)1接連產(chǎn)生與運(yùn)動圖像的幀圖像對應(yīng)的已采集圖像數(shù)據(jù)。在控制器 17的控制下，將由此而接連產(chǎn)生的已采集圖像數(shù)據(jù)轉(zhuǎn)移到顯示驅(qū)動器22。
顯示驅(qū)動器22響應(yīng)于從信號處理器14提供的已采集圖像數(shù)據(jù)產(chǎn)生驅(qū)動 顯示器23的驅(qū)動信號，并且將該驅(qū)動信號輸出到顯示器23。顯示器23接連 顯示響應(yīng)于靜止圖像單位下的已采集圖像數(shù)據(jù)的圖像。將已采集的圖像作為 顯示器23的運(yùn)動圖像顯示給用戶。由此而顯示貫穿圖像。
數(shù)字照相機(jī)1也可以再現(xiàn)記錄在存儲卡30的圖像文件，并促使顯示器 23顯示圖像。
至此，通過指定圖像文件，控制器17發(fā)布數(shù)據(jù)讀取指令給介質(zhì)控制器16來從存儲卡30讀取數(shù)據(jù)。響應(yīng)于該指令，介質(zhì)控制器16訪問在記錄所指 定的圖像文件的存儲卡30上的地址，讀取數(shù)據(jù)，然后轉(zhuǎn)移所讀取的數(shù)據(jù)到編 碼器/解碼器15。
在控制器17的控制下，編碼器/解碼器15從介質(zhì)控制器16轉(zhuǎn)移來的圖 像文件中提取數(shù)據(jù)主體作為經(jīng)壓縮的靜止圖像數(shù)據(jù)，對經(jīng)壓縮靜止圖像數(shù)據(jù) 執(zhí)行與壓縮編碼處理對應(yīng)的解碼處理，并獲取與一幅靜止圖像對應(yīng)的圖像數(shù) 據(jù)。然后將該圖像數(shù)據(jù)轉(zhuǎn)移到顯示驅(qū)動器22。顯示器23以這種方式再現(xiàn)和 顯示存儲在存儲卡30上的圖像文件的圖像。
顯示器23可以與圖像文件的貫穿圖像和再現(xiàn)圖像一起顯示用戶界面圖 像。例如，控制器17響應(yīng)于此刻的操作狀態(tài)產(chǎn)生顯示圖像數(shù)據(jù)作為用戶界面 圖像，然后將顯示圖像數(shù)據(jù)輸出到顯示驅(qū)動器22。顯示器23顯示用戶界面 圖像。
可以將用戶界面圖像(諸如特殊菜單屏幕)與已采集圖像數(shù)據(jù)的貫穿圖 像和再現(xiàn)圖像分開地顯示在顯示器23的顯示屏23A。作為選擇，可以將用戶 界面圖像部分地重疊在已采集圖像數(shù)據(jù)的貫穿圖像和再現(xiàn)圖像上。
根據(jù)本實施方式，可以如圖3中所圖示的那樣將全景圖像顯示在顯示器 23的顯示屏23A。
控制器17包括中央處理單元(CPU),并與只讀存儲器(ROM) 18和隨機(jī) 存取存儲器(RAM)19—起形成微型計算機(jī)。除了要由CPU執(zhí)行的程序外， ROM 18還存儲涉及數(shù)字照相機(jī)1的操作的各種設(shè)置信息。
RAM 19用作CPU的主存儲器。
將閃存20安排成非易失存儲器，其存儲將要響應(yīng)于用戶操作或操作歷史 更新的各種設(shè)置信息。
如果將諸如閃存之類的非易失存儲器用來做ROM 18，則ROM 18的部 分可以用作閃存20。
操作單元21包括用于數(shù)字照相機(jī)l的各種控制(control)以及操作信息 信號輸出部件，該操作信息信號輸出部件用于響應(yīng)于每個控制的操作來產(chǎn)生 操作信息信號，并且輸出該操作信息信號到CPU。操作單元21包括觸摸面板 結(jié)構(gòu)(touchpanel structure),其安排在顯示器23的顯示屏的面板(panel)上。
控制器17響應(yīng)于從操作單元21輸入的操作信息信號執(zhí)行預(yù)定處理。
定時器單元24是測量當(dāng)前時間、日期、月和年的定時器部件。
12位置檢測器25檢測數(shù)字照相機(jī)1的位置，并輸出位置信息?？梢詫⑷?定位系統(tǒng)(GPS)接收器或GPS位置固定器件用來做位置檢測器25。如果使用 GPS系統(tǒng)，則位置信息可用作綿度/經(jīng)度信息。方向檢測器26檢測在其上數(shù)字照相機(jī)l采集圖像的采集方向并輸出方向 信息。采集方向是參考光學(xué)系統(tǒng)11的成像透鏡組的光軸而言的。與采集方向 對應(yīng)的方向信息是涉及方位(bearing)、仰角和俯角的信息?？梢詫⑼勇輧x傳 感器用來做方向檢測器26。通信單元27可以包括用于與網(wǎng)絡(luò)通信的通信部件以及用于與由預(yù)定標(biāo) 準(zhǔn)(諸如電氣和電子工程師學(xué)會(正EE)1394和通用串行總線(USB))規(guī)定的 數(shù)據(jù)接口通信的通信部件。下面參考圖5的流程圖來描述這樣構(gòu)造來記錄已采集圖像文件的數(shù)字照 相才幾1的處理。在步驟S101,處于圖像采集和記錄模式下的數(shù)字照相機(jī)1等待釋放執(zhí)行 指令(release execution instruction)。發(fā)布該釋放執(zhí)行指令來記錄已采集圖像 數(shù)據(jù)。響應(yīng)于快門按鈕操作或在自拍器中預(yù)定定時器時間已經(jīng)過去的時刻， 發(fā)布該釋放執(zhí)行指令。響應(yīng)于該釋放執(zhí)行指令,數(shù)字照相機(jī)1進(jìn)入到步驟S102。在步驟S102,數(shù)字照相機(jī)1從位置檢測器25獲得位置信息。位置信息 表示在發(fā)布該釋放執(zhí)行指令的時刻(即，記錄目前的已采集圖像文件的時刻) 數(shù)字照相機(jī)l的位置。在步驟S103, ^t字照相^L 1從方向^r測器26獲得方向信息。該方向信 息表示在發(fā)布該釋放執(zhí)行指令的時刻(即，記錄目前的已采集圖像文件的時 刻)的采集方向(方位、仰角和俯角的信息)。在步驟S104,獲得除位置信息和方向信息之外的元數(shù)據(jù)。所獲得的元數(shù) 據(jù)包括涉及圖像采集日期和時間的日期和時間信息以及各種照相機(jī)控制信息 等。在步驟S105，以在步驟S102-S104中獲得的釋放執(zhí)行指令和元數(shù)據(jù)的定 時、基于從已采集圖像信號提取的靜止圖像數(shù)據(jù)，產(chǎn)生預(yù)定格式下的已采集 圖像文件。在步驟S106,將在步驟S105產(chǎn)生的已采集圖像文件寫到存儲卡30以便 存儲。圖6概略地圖解在步驟S105產(chǎn)生并在步驟S106記錄的已采集圖像文件的結(jié)構(gòu)。圖解在圖6中的已采集圖像文件由元數(shù)據(jù)和主體(body)組成。元數(shù)據(jù) 對應(yīng)于被稱為首標(biāo)(header)的區(qū)域。根據(jù)本實施方式，在步驟S102和S103 中獲得的位置信息和方向信息包含在元數(shù)據(jù)中。以釋放執(zhí)行指令的發(fā)布定時(timing)從已采集圖像信號產(chǎn)生的靜止圖像 數(shù)據(jù)包含在主體中。圖7圖解照片服務(wù)器2的結(jié)構(gòu)。照片服務(wù)器2被構(gòu)成為基于服務(wù)器的計 算機(jī)系統(tǒng)。照片服務(wù)器2包括包括控制器44、存儲器42和網(wǎng)絡(luò)3?？刂破?4執(zhí)行照片服務(wù)器2的各種控制操作和處理。存儲器42存儲經(jīng)由網(wǎng)絡(luò)3上載的(已采集)圖像文件。通信單元43支持經(jīng)由網(wǎng)絡(luò)3的通信。如果經(jīng)由網(wǎng)絡(luò)3從終端上載圖像文件，則照片服務(wù)器2在通信單元43中 接收并獲得圖像文件?？刂破?4轉(zhuǎn)移所接收到的圖像文件到存儲器42以便存儲，而存儲器42 將圖像文件存儲為數(shù)據(jù)庫。當(dāng)將搜索請求經(jīng)由網(wǎng)絡(luò)3發(fā)布給照片服務(wù)器2時，照片服務(wù)器2中的通 信單元43接收搜索請求，并轉(zhuǎn)移所接收到的搜索請求到控制器44?？刂破?4響應(yīng)于由所接收到的搜索請求所指示的搜索條件，搜索存儲器 42來尋找圖像文件，并且提取滿足搜索條件的找到的圖像文件。然后將所提 取的圖像文件的數(shù)據(jù)傳送到搜索請求源。下面描述本實施方式的數(shù)字照相機(jī)1所顯示的全景圖像的第一顯示模式。圖8A圖解在顯示器23的顯示屏23A上由用戶選擇的基準(zhǔn)圖像Ist。關(guān)于 作為基準(zhǔn)的基準(zhǔn)圖像Ist，顯示第一顯示模式下的全景圖像?；趫D8B所圖 解的概念產(chǎn)生顯示圖像數(shù)據(jù)(顯示全景圖像數(shù)據(jù))。如圖8B所示，在基準(zhǔn)圖像1st周圍二維地安排合成圖像。在基準(zhǔn)圖像1st 之上安排合成圖像Icml。在基準(zhǔn)圖像Ist之左安排合成圖像Icm2。在基準(zhǔn)圖 像lst之右安排合成圖像Icm3。在基準(zhǔn)圖像Ist之下安排合成圖像Icm4。合成 圖像Icml覆蓋稍微在基準(zhǔn)圖像1st之上方的域。合成圖像Icm2覆蓋稍微在基 準(zhǔn)圖像1st之左的域。合成圖像Icm3覆蓋稍微在基準(zhǔn)圖像1st之右的域。合成 圖像Icm4覆蓋稍孩i在基準(zhǔn)圖像1st之下的域。如在圖8A-圖8C所概念地圖解的那樣，在稍微偏離(shift)這樣的方向的鄰近(close)圖像采集方向上圍繞基準(zhǔn)圖像Ist采集合成圖像Icm2-Icm4, 其中在該方向上從一個視點(viewpoint)位置P (實際上具有后面將要描述 的某種程度的擴(kuò)展)采集基準(zhǔn)圖像Ist。然后，將合成圖像Icm2-Icm4安排在 近似地反映(reflect)其圖像采集方向的方向上。這種安排暗示了將合成圖像 考慮為這樣一種圖像，其具有在基準(zhǔn)圖像Ist的圖像幀(image frame)的范圍 之外的圖像內(nèi)容。該圖像幀被解釋為數(shù)字照相機(jī)1的視場(fieldofview)，在 該視場中采集基準(zhǔn)圖像1st。合成圖像是四幅合成圖像Icml-Icm4。在實踐中，安排在預(yù)定視場內(nèi)采集 的大量合成圖像。如圖8C所示，在顯示屏23A上顯示從如圖8B所示地安排的基準(zhǔn)圖像Ist 和合成圖像Icm所產(chǎn)生的顯示圖像數(shù)據(jù)。如圖8B中所示，利用近似地被考慮到的采集方向，將合成圖像Icm有 規(guī)律地安排在基準(zhǔn)圖像Ist周圍。當(dāng)顯示為如圖8C所示那樣時，利用水平和 垂直位置調(diào)節(jié)，將合成圖像Icm與基準(zhǔn)圖像Ist對齊。當(dāng)產(chǎn)生顯示全景圖像數(shù) 據(jù)時，還調(diào)節(jié)圖像的相對位置。按照這種方式，在顯示全景圖像時容易進(jìn)行 觀察。參考圖8C，基于顯示全景圖像數(shù)據(jù)在顯示屏23A上顯示全景圖像。 圖8C所示的全景圖像具有在顯示開始時的圖像內(nèi)容。光標(biāo)CR放在基準(zhǔn) 圖像Ist上。可以對全景圖像執(zhí)行操作來向上、下、右和左移位(shift)顯示 區(qū)域。在操作單元21上執(zhí)行這種搡作。例如，可以安排用于向上、下、右和 左移位操作的鍵。作為選擇，可以在顯示屏23A上執(zhí)行觸摸面板操作。例如，如果在顯示屏23A對全景圖像執(zhí)行左移位操作，則將光標(biāo)CR放 在左邊緊跟基準(zhǔn)圖像1st的圖像上，然后將那個圖像移位到近似中心。類似地， 如果執(zhí)行向右、上或下移位操作，則將光標(biāo)CR ^L在所指令的方向上的下一 個圖像上，然后將該下一個圖像移位到近似中心。響應(yīng)于移位指令在上、下、左和右方向上逐步移位全景圖像上的顯示區(qū) 域?？梢园凑者@種方式觀察概略地圖解在圖8B中的整個全景圖像。 參考圖10A-圖IOC以及圖IIA和IIB描述第二顯示模式。 與圖8A—樣，圖10A圖解在顯示屏23A上選擇和顯示的基準(zhǔn)圖像Ist。 也合成第二顯示模式下的圖像來產(chǎn)生顯示全景圖像數(shù)據(jù)，如圖IOB所概念性 地圖解的那樣。15在第 一顯示模式中，在反映其圖像采集方向的其位置上圍繞基準(zhǔn)圖像1st安排合成圖像Icm。相反，在第二顯示模式中，安排合成圖像以使得每個合成圖像Icm都連 接(concatenate)到基準(zhǔn)圖像1st。更具體地說，將各合成圖像Icm連接到在 圖像合成中用作核心圖像的基準(zhǔn)圖像Ist。由此產(chǎn)生一段(piece)顯示全景圖 像數(shù)據(jù)。在圖像合成期間，如圖IIA所示，相鄰圖像11和12在被才聶物(subject) 大小方面可能不同。在這種情況下，可以如圖11B所示那樣擴(kuò)充圖像12 (或 縮小圖像ll),以便被攝物的邊緣相互連續(xù)。這種安排校正由于各圖像(基準(zhǔn) 圖像1st和合成圖像Icm)之間的被攝物距離^ 1起的、圖像上被攝物大小方面的 差。參考圖IOC，基于這樣構(gòu)造的顯示全景圖像數(shù)據(jù)在顯示屏23A上顯示全 景圖像。向上、下、左、右、斜左上、斜右上、斜左下、斜右下八種移位指 令都是可能的。在操作中所指令的方向上，連續(xù)地滾動然后顯示全景圖像。在現(xiàn)有技術(shù)的通用數(shù)字照相機(jī)的觀察器功能中，隨著向前操作或向后操 作邱皮執(zhí)行， 一個一個地觀察多個已采集圖像文件，或者以預(yù)定順序觀察安排 在水平行和垂直列的矩陣中的縮略圖像。如參考圖3所描述的那樣，可以關(guān)于基準(zhǔn)圖像Ist收集并獲得已采集圖像 文件(合成圖像)。如果利用現(xiàn)有技術(shù)的觀察器功能觀察所獲得的圖像，則不可 能實現(xiàn)足夠級別的真實性(realism)。相反，像在本實施方式的第一顯示模式和第二顯示模式之一中那樣顯示 由合成基準(zhǔn)圖像1st和成圖像的組合而產(chǎn)生的全景圖像。實現(xiàn)高標(biāo)準(zhǔn)的真實 性，并且相應(yīng)地增加娛樂質(zhì)量。特別地，如果使用從照片服務(wù)器2收集到的 已采集圖像文件的合成圖像，則可以合成用戶預(yù)料不到的圖像。創(chuàng)造出用戶 驚訝的場景是可能的。增強(qiáng)娛樂質(zhì)量。具體描述根據(jù)本實施方式的、用于顯示全景圖像的圖像處理方法。描述 基于圖8A-圖8C所示的第一顯示模式的圖像處理。當(dāng)根據(jù)本實施方式合成基準(zhǔn)圖像1st和合成圖像Icm時，規(guī)定和設(shè)置在圖 12中所示的畫布(虛擬圖像放置表面)40。畫布40可以是虛擬板(virtual board )，在其上粘帖基準(zhǔn)圖像1st和合成圖 像Icm。將畫布40劃分成如虛線所表示的塊上，每個塊(放置區(qū)域)41具有預(yù) 定水平和垂直尺寸。這里，將畫布40劃分成五行x七列的35個塊41。各塊 41的矩陣包括從頂?shù)降椎腖0-L4行，和從左到右的C0-C6列。僅僅為了顯示的方便而確定塊的數(shù)量和塊的矩陣。在實踐中，塊的數(shù)量 和塊的矩陣可以與圖12中的那些不同。將作為基準(zhǔn)圖像1st的圖像的重心的中心點Cst (例如，圖像幀的矩形的 對角線的交叉點)放(繪畫)在中心塊(L2， C3)。中心塊(L2， C3)是垂直方 向和水平方向兩者的中心。由此確定在畫布40上繪畫基準(zhǔn)圖像Ist的位置。參考圖13，在每個剩下的塊中繪畫每個合成圖像Icm的中心點。如圖13 所示，在塊(L3， C2)中繪畫合成圖像Icml的中心點Ccml，在塊(L3， C5)中 繪畫合成圖像Icm2的中心點Ccm2，而在塊(Ll, C6)中繪畫合成圖像Icm3 的中心點Ccm3。類似地，在每個塊中繪畫一個合成圖像Icm,直到在所有塊 中繪畫了合成圖像Icm的中心點Ccm為止。4安照這種方式，由此而確定一個 基準(zhǔn)圖像1st和34個合成圖像Icm的中心點Cst和Ccm的繪畫位置。當(dāng)在畫布40上繪畫了所有需要的中心點時，執(zhí)行圖像處理，以便關(guān)于各 中心點粘貼基準(zhǔn)圖像和各合成圖像。如圖8C所示，產(chǎn)生顯示全景圖像數(shù)據(jù)。參考圖14A和14B描述要在畫布40中繪畫的圖像(已采集圖像文件)與位置信息和方向信息之間關(guān)系。圖14A對應(yīng)于圖12。更具體地說，僅僅在畫布40上繪畫基準(zhǔn)圖像Ist。 根據(jù)本實施方式，將作為元數(shù)據(jù)包含在基準(zhǔn)圖像1st中的位置信息Pst設(shè) 置為基準(zhǔn)視點位置。用煒度和經(jīng)度表示位置信息。將關(guān)于基準(zhǔn)視點位置Pst 所確定的范圍設(shè)置為視點范圍50。由此而設(shè)置的視點范圍50可以被考慮成 基準(zhǔn)視點位置Pst的擴(kuò)充區(qū)域?？蛇x地，可以將具有匹配基準(zhǔn)視點位置Pst的位置信息的已采集圖像文 件用作合成圖像候選者，而不用設(shè)置視點范圍50。然而，在實踐中，認(rèn)為以 某種程度的采集方向范圍、在相同位置上采集的圖像非常罕見。根據(jù)本實施 方式，通過設(shè)置視點范圍50，確保了容易獲得作為合成圖像候選者的已采集 圖像文件。從基準(zhǔn)視點位置Pst延伸到在畫布40中繪畫的基準(zhǔn)圖像1st的中心位置 Cst的線(圖像采集方向線)由箭頭線表示，對應(yīng)于作為元數(shù)據(jù)包含在基準(zhǔn)圖像 Ist中的方向信息Dst,即，圖像采集方向。圖14B對應(yīng)于圖13。更具體地說，在畫布40上與基準(zhǔn)圖像Ist—起繪畫 合成圖像Icml-Icm3。
在視點范圍50內(nèi)呈現(xiàn)(present)合成圖像Icml的視點位置P1。包含在 作為合成圖像Icml的已采集圖像文件中的、作為元數(shù)據(jù)的位置信息，包含在 4見點范圍50內(nèi)。
從視點位置Pl延伸到畫布40中的合成圖像Icml的中心點Ccml的箭頭 線(采集方向線)指示圖像采集時的采集方向。更具體地說，作為合成圖像Icml 的已采集圖像文件表示作為元數(shù)據(jù)的方向信息Dl。
類似地，在視點范圍50內(nèi)呈現(xiàn)合成圖像Icm2和Icm3的視點位置P2和 P3。從視點位置P2和P3延伸到合成圖像Icm2和Icm3的中心點Ccm2和Ccm3 的各箭頭線分別表示作為合成圖像Icm2和Icm3的已采集圖像文件的、作為 元數(shù)據(jù)的方向信息D2和D3。
作為合成圖像Icm的已采集圖像文件的條件是，已采集圖像文件包含視 點范圍50內(nèi)的位置信息，以及已采集圖像文件包含穿過在畫布40中形成的 特殊塊的方向信息。
當(dāng)收集合成圖像時，本實施方式的數(shù)字照相機(jī)1搜索并收集包含位置信 息和方向信息的已采集圖像文件。
如果已采集圖像文件的元數(shù)據(jù)包含涉及被攝物距離的信息，則在合成圖 像的收集中，除了位置信息和方向信息外，還可以使用被攝物距離信息?；?于被攝物距離信息，可以收集具有接近基準(zhǔn)圖像的被攝物距離的合成圖像。 在圖像合成中，可以收集以近似相同大小采集的圖像。在圖ll所示的被攝物 大小調(diào)節(jié)中，過分?jǐn)U充或縮小可能變得不必要。
如以前參考圖12以及圖14A和14B在第二顯示模式下所討論過的那樣， 粘貼基準(zhǔn)圖像和合成圖像，以便在畫布上的塊中繪畫各圖像的中心點。然后 如圖IOB和IOC所示那樣連接各圖像。
下面描述移位第一顯示模式下的全景圖像的控制處理。以前已經(jīng)參考圖 8C討論了第 一顯示模式下的全景圖像的移位。
在圖15所圖解的畫布40中的所有塊41中繪畫中心點Cst和Ccm。作為 繪畫結(jié)果而產(chǎn)生的顯示全景圖像數(shù)據(jù)允許顯示全景圖像。
這里規(guī)定"目標(biāo)塊"。目標(biāo)塊是這樣的塊，在其中繪畫在全景圖像中光標(biāo) CR放在其上的圖像的中心點?，F(xiàn)在，目標(biāo)塊可以是與基準(zhǔn)圖像Ist對應(yīng)的塊(L2， C3)。利用這種狀態(tài)， 可以執(zhí)行左移位操作。在響應(yīng)于左移位操作的顯示控制中，將目標(biāo)塊設(shè)置成 為靠塊(L2， C3)的左邊的塊(L2， C2)。當(dāng)移位目標(biāo)塊時，將光標(biāo)CR放在圖 像上，該圖像的中心點繪畫在作為新目標(biāo)塊的塊(L2， C2)中。由此而切換顯 示屏23A的有效圖像區(qū)域，以便在顯示屏23A的近似中心上的最前面位置中 顯示具有繪畫在塊(L2， C2)中的中心點的圖像。當(dāng)發(fā)布在右、上或下方向的 移位指令時，將指定方向上接著目標(biāo)塊的塊設(shè)置為新目標(biāo)塊。將在新目標(biāo)塊 中繪畫的圖像顯示在顯示屏23A的近似中心上的最前面位置中。
由此而基于塊執(zhí)行第一顯示模式下的全景圖像的移位操作。
用相互連接的基準(zhǔn)圖像Ist和合成圖像Icm產(chǎn)生第二顯示模式下的顯示全 景圖像數(shù)據(jù)。可以在這樣的滾動顯示控制下執(zhí)行移位操作，在該滾動顯示控 制中響應(yīng)于指定方向和移位量，在顯示屏23A上移位有效圖像區(qū)域。
在圖16所示的流程圖中所圖示的是這樣的處理，在其中數(shù)字照相機(jī)1產(chǎn) 生顯示全景圖傳4"居，并開始顯示全景圖#>，如圖12至14A和14B所示那 樣。該處理是在計算機(jī)程序的控制下由數(shù)字照相機(jī)1中的控制器17(CPU)執(zhí) 行的處理。在這里的討論中，執(zhí)行該處理的每個步驟的實體是控制器17。這 里的處理步驟將顯示在第一顯示模式下的全景圖像。
在步驟S201，控制器17接收響應(yīng)于用戶操作所選擇和輸入的基準(zhǔn)圖像 1st以及全景圖像的顯示開始指令。處理進(jìn)入到步驟S202。
在步驟S202,控制器17讀取和檢索作為做選擇的基準(zhǔn)圖像Ist的已采集 圖像文件的、作為元數(shù)據(jù)的位置信息Pst和方向信息Dst。
在步驟S203，建立視點范圍50(圖.14A和14B)?？刂破?7設(shè)置預(yù)定距 離范圍，該預(yù)定距離范圍是關(guān)于作為基準(zhǔn)點在步驟S202獲得的位置信息(基 準(zhǔn)視點位置Pst)而安排的。這種距離范圍用作視點范圍50。視點范圍50的最 簡單的示例之一就是具有預(yù)定半徑、中心在由方向信息Pst所表示的位置上 的圓。這僅僅是一個示例。例如，視點范圍50可以是在預(yù)定條件下所確定的 橢圓、矩形等。
在步驟S204，規(guī)定畫布40。參考圖12和圖14A和14B，將基準(zhǔn)圖像Ist 的基準(zhǔn)視點位置Pst和方向信息Dst所確定的圖像采集方向線通過的位置設(shè)置 為中心位置Cst。按照這種方式，確定基準(zhǔn)視點位置Pst和畫布40之間的位 置關(guān)系。在步驟S205和后續(xù)步驟中，在畫布40的各塊41中繪畫合成圖像Icm。 在步驟S205和后續(xù)步驟中，畫布40中的各塊41凈皮指定相應(yīng)的編號 (number )。編號(number)每個塊41的規(guī)則不限于任何特殊的規(guī)則。在圖
12所示的畫布中，各塊41被指定編號0-34如下將頂行上的最右邊塊至最
左邊塊按其順序從0至6進(jìn)行編號，然后將從頂起的第二行上的最右邊塊至
最左邊塊按其順序從7至13進(jìn)行編號，以此類推。
在步驟S205，"零，，取代表示每個塊的變量n作為初始值。
在步驟S206,產(chǎn)生讓中心點Ccm繪畫在具有編號n (塊n)的塊中的已
采集圖像文件的搜索條件。
該搜索條件是位置信息和方向信息的組合。
由位置信息指示的位置落入在步驟S203中設(shè)置的視點范圍50。方向信 息表示一方向范圍，該方向范圍允許從與位置信息對應(yīng)的視點位置P延伸出 來的圖像采集方向線穿過塊n的區(qū)域。由AND選通(gating)位置信息的范 圍和方向信息的范圍而產(chǎn)生搜索條件。通過這樣的預(yù)定操作確定方向信息的
范圍，該預(yù)定操作在與視點范圍50對應(yīng)的位置信息和從視點范圍50(基準(zhǔn)視 點位置Pst)到塊n的方向信息的范圍上執(zhí)行。
在步驟S207，控制器17本地地(即，根據(jù)圖3所示的步驟(3-l))搜索 存儲在存儲卡30上的已采集圖像文件，以尋找滿足在步驟S206中產(chǎn)生的搜 索條件的位置信息和方向信息的組合。
在步驟S208，響應(yīng)于來自步驟S207的搜索結(jié)果控制器17確定是否存在 找到的已采集圖像文件。如果針對在步驟S208中的確定的答案是肯定的，則 處理進(jìn)入到步驟S211。如果針對在步驟S208中的確定的答案是否定的，則 處理進(jìn)入到步驟S209。
進(jìn)入到步驟S209意味著不本地地呈現(xiàn)繪畫在塊n中的已采集圖像文件。 在步驟S209，控制器17根據(jù)圖3所示的步驟(3-2)搜索照片服務(wù)器2。
控制器17控制通信單元27，從而連接數(shù)字照相機(jī)1到照片服務(wù)器2。控 制器17合適地將在步驟S206所產(chǎn)生的搜索條件轉(zhuǎn)換成可由照片服務(wù)器2解 釋的格式下的搜索條件，然后將格式已轉(zhuǎn)換的搜索條件傳送到照片服務(wù)器2。 換句換說，控制器17請求控制器17執(zhí)行搜索操作。
響應(yīng)于搜索請求的接收，照片服務(wù)器2中的控制器44搜索存儲器42以 尋找具有滿足與搜索請求一起接收到的搜索條件的位置信息和方向信息的組
20合的已采集圖像文件。如果找到滿足搜索條件的已采集圖像文件，則照片服
務(wù)器2將該找到的已采集圖像文件傳送到數(shù)字照相機(jī)1。如果沒有找到這樣 的已采集圖像文件，則照片服務(wù)器2通知數(shù)字照相機(jī)1，不存在滿足搜索條 件的已采集圖像文件。
在步驟S210,控制器17響應(yīng)于來自照片服務(wù)器2的應(yīng)答確定是否找到 滿足搜索條件的已采集圖像文件。如果針對在步驟S210中的確定的答案是肯 定的，則處理進(jìn)入到步驟S211。如果獲得針對在步驟S210中的確定的否定 答案，則意味著既不本地地也不在照片服務(wù)器2中呈現(xiàn)可在塊n中繪畫的已 采集圖像文件。在這種情況下，處理進(jìn)入到步驟S213,而跳過步驟S211和 S212。
如果針對在步驟S208或210的確定的答案是肯定的，則處理進(jìn)入到步驟 S211。
進(jìn)入到步驟S211意味著存在呈現(xiàn)多個找到的已采集圖像文件的可能性。 可在單塊41中繪畫的中心點的數(shù)量，即，已采集圖像文件的數(shù)量僅僅是一。 在步驟S211,控制器17執(zhí)行縮減(narrowing)處理來根據(jù)規(guī)范將已采集圖 像文件縮減(narrow)到最合適的一個。通過縮減處理而剩下的一個已采集 圖像文件成為對應(yīng)于塊n的合成圖像。
在步驟S212，控制器17在塊n中繪畫在步驟S211中獲得的合成圖像的 中心點，然后進(jìn)入到步驟S213。
在步驟S213，已經(jīng)繪畫了塊0至塊n。如果針對在步驟S210中的確定的 答案是否定的，則控制器17確定不存在要被繪畫的已采集圖像文件。由此而 結(jié)束繪畫處理。
在步驟S213,控制器17確定表示塊編號的變量n是否是最大編號。如 果針對在步驟S213中的確定的答案是否定的，則剩下有必須經(jīng)歷繪畫處理的 塊。在步驟S214，遞增變量n，并將處理返回步驟S206。
如果針對在步驟S213中的確定的答案是肯定的，則執(zhí)行步驟S215和 S216中的搡作。
在步驟S215,畫布40的所有塊41都已經(jīng)經(jīng)歷了繪畫處理。將一段已采 集圖像數(shù)據(jù)指定給每個塊。
如前面所討論的那樣，在步驟S215,產(chǎn)生用于在第一顯示才莫式下用于顯 示的顯示全景圖像數(shù)據(jù)。在步驟S216，基于所產(chǎn)生的顯示全景圖像數(shù)據(jù)，在
21顯示屏23A上顯示全景圖像。
如果處理從步驟S210進(jìn)入到步驟S211，則數(shù)字照相機(jī)1存儲從照片服務(wù)器2獲得的已采集圖像文件的數(shù)據(jù)?？梢詫恼掌?wù)器2獲得的已采集圖像文件存儲在RAM 19上，然后在終止全景圖像的顯示時刪除。作為選擇，可以將已采集圖像文件存儲在存儲卡30上。
參考圖17所示的流程圖描述在圖16所示的步驟S211中執(zhí)行的縮減處理。
參考圖17，控制器17在步驟S301確定在圖16所示的步驟S207或步驟S209中所搜索的已采集圖像數(shù)據(jù)是否一個單位(一幀(frame))。
如果針對在步驟S301中的確定的答案是肯定的，則將一個單位的已采集圖像數(shù)據(jù)處理成合成圖像。不需要執(zhí)行縮減處理。在這種情況下，處理進(jìn)入到步驟S212，而跳過步驟S302-S310。
如果獲得針對在步驟S301中的確定的否定答案，則意味著找到多個已采集圖像文件。處理進(jìn)入到步驟S302。
根據(jù)本發(fā)明的一種實施方式，由基準(zhǔn)圖像和合成圖像形成的全景圖像具有高級別的真實性是很重要的。合成圖像最好在盡可能接近基準(zhǔn)圖像的環(huán)境的環(huán)境下進(jìn)行采集。如果合成圖像的環(huán)境類似于基準(zhǔn)圖像的環(huán)境，則基準(zhǔn)圖像和合成圖像在圖像采集條件(諸如色調(diào)等)方面看起來相互類似，并且容易給全景圖像賦予真實性。
在步驟S302的縮減處理基于下面所描述的理由。
在步驟S302，從找到的已采集圖像文件和作為基準(zhǔn)圖像的已采集圖像文件讀取并獲得表示圖像采集和記錄的日期和時間的日期和時間信息，作為一段元數(shù)據(jù)。日期和時間信息以秒、分、小時、日、月和年表示。
在步驟S302,從找到的已采集圖像文件和作為基準(zhǔn)圖像的已采集圖像文件讀取并獲得作為位置信息的元數(shù)據(jù)。位置信息用在步驟S309中。
在步驟S303,根據(jù)在步驟S302獲得的日期和時間信息中的時間信息(分和小時)執(zhí)行縮減處理。
在縮減處理中，將具有與基準(zhǔn)圖像的時間的較小時間差的已采集圖像文件提取為候選者。
例如，可以才艮據(jù)"30分鐘內(nèi)"、"1小時內(nèi)"、"3小時內(nèi)"、"6小時內(nèi)"......
來分類時間差。然后根據(jù)這些類別分類已采集圖像文件。將分類到最小時間差類別的已采集圖像文件提取為候選者。存在這樣的情況，在其中在白天采集基準(zhǔn)圖像而在夜間采集合成圖像。在這種情況下，即使圖像在圖像采集位置和方向方面相互接近，也合成提供實質(zhì)性不同印象的圖像。
如果根據(jù)時間執(zhí)行縮減處理，則基準(zhǔn)圖像的圖像采集的時間變得更接近
于合成圖像的圖像采集的時間。提取在與基準(zhǔn)圖像相同的時間帶(time band)中采集的合成圖像因此而成為可能。由此導(dǎo)致類似的陽光條件或類似的照明條件。
在步驟S304，控制器17確定在步驟S303中縮減后的已采集圖像文件的數(shù)量是否僅僅一個文件。如果針對在步驟S304中的確定的答案是肯定的，則處理進(jìn)入到步驟S212,而跳過步驟S305和后續(xù)步驟。
如果針對在步驟S304中的確定的答案是否定的，處理進(jìn)入到步驟S305。
在步驟S305,對通過步驟S303而剩下來作為候選者的多個已采集圖像文件執(zhí)行根據(jù)季節(jié)的縮減處理。
如果季節(jié)變化，則甚至在相同位置和方向下采集的圖像也可能是不同的。
在步驟S305,從剩下的候選者中提取在接近于采集基準(zhǔn)圖像的季節(jié)的季節(jié)下采集的圖像文件。
使用關(guān)于在步驟S302中獲得的日期和時間信息中的月的信息。例如，三月到五月設(shè)置為春天、六月到八月設(shè)置為夏天、九月到十一月設(shè)置為秋天而十二月到二月設(shè)置為冬天。將具有與基準(zhǔn)圖像相同的季節(jié)的已采集圖像文件設(shè)置為新候選者。如果不存在這樣的文件，則搜索具有下一個季節(jié)或上一個季節(jié)的已采集圖像文件。按照這種方式，根據(jù)季節(jié)執(zhí)行縮減處理。
在步驟S306，控制器17確定通過步驟S305中的縮減處理，是否一個已采集圖像文件剩下作為候選者。如果針對在步驟S306中的確定的答案是肯定的，則處理進(jìn)入到步驟S212。如果針對在步驟S306中的確定的答案是否定的，則處理進(jìn)入到步驟S307。
在步驟S307，執(zhí)行根據(jù)年的縮減處理。
甚至在相同位置和方向下采集的圖像也隨著年齡而不同。例如，建筑物和環(huán)境隨年齡而變化。在較近年中采集的圖像更合適用作合成圖像。
在步驟S307,從通過步驟S305而剩下的已采集圖像文件中，提取在較接近基準(zhǔn)圖像的年份的年份中采集的已采集圖像文件作為候選者。
在才艮據(jù)年的縮減處理中使用關(guān)于在步驟S302中獲得的日期和時間信息中的年份的信息。分類與基準(zhǔn)圖像的年份的年差，例如，"在5年內(nèi)"、"在IO年內(nèi)"、"在30年內(nèi)"......。由此而根據(jù)年差類別分類已采集圖像文件作為候
選者。將分類在最小年差類別中的已采集圖像文件提取為候選者。
在步驟S308，控制器17確定通過步驟S307中的縮減處理，是否一個已采集圖像文件剩下作為候選者。如果針對在步驟S308中的確定的答案是肯定的，則處理進(jìn)入到步驟S212。如果針對在步驟S308中的確定的答案是否定的，則處理進(jìn)入到步驟S309。
步驟S309和S310涉及根據(jù)天氣的縮減處理。
如果基準(zhǔn)圖像的圖像采集時的天氣不同于合成圖像的圖像采集時的天氣，則全景圖像可能提供不同的印象。如果基準(zhǔn)圖像的圖像采集時的天氣好，則考慮到圖像的一致性，最好在好天氣時采集合成圖像。
在步驟S309，獲得天氣信息。
控制器17通過網(wǎng)絡(luò)3，從天氣信息服務(wù)器(未示出)詢問在基準(zhǔn)圖像上和在目前剩下的多個已采集圖像文件上的天氣。在這種詢問中，以每個圖像為基礎(chǔ)，傳送日期和時間信息和位置信息到天氣信息服務(wù)器。
天氣信息服務(wù)器搜索在日期和時間信息所指示的時間和日期上為位置信息指示的區(qū)域而記錄的天氣，并將關(guān)于找到的天氣的天氣信息傳送到數(shù)字照相機(jī)1。數(shù)字照相機(jī)1可以由此而以每個圖像為基礎(chǔ)獲得天氣信息。
在步驟S310，控制器17基于所獲得的天氣信息，提取具有較接近基準(zhǔn)圖像所指示的天氣的天氣的已采集圖像文件。如果基準(zhǔn)圖像的天氣信息指示好天氣，則提取具有好天氣的已采集圖像文件。如果不呈現(xiàn)這樣的文件，則提取具有較接近好天氣的、稍微有點陰的天氣的已采集圖像文件。如果不存在甚至稍微有點陰的天氣的任何文件，則提取具有下雨天氣的已采集圖像文件。按照這種方式，提取具有較接近基準(zhǔn)圖像的天氣的天氣的已采集圖像文件。
利用根據(jù)天氣的縮減處理來完成該縮減處理。如果通過步驟S310仍然剩下多個已采集圖像文件，則根據(jù)預(yù)定規(guī)則(例如，選擇具有最接近的日期和時間信息的已采集圖像文件)進(jìn)一步將已采集圖像文件縮減到最合適的一個。產(chǎn)'生的文件變成要被繪畫在塊n中的已采集圖像文件，即，合成圖像。
處理/人步驟S310進(jìn)入到步驟S212。
根據(jù)在以下順序下的時間、季節(jié)、年份和天氣的參數(shù)執(zhí)行縮減處理。這是因為以時間、季節(jié)、年和天氣的優(yōu)先順序選擇合成圖像。這里的優(yōu)先順序僅僅是一個示例。其他優(yōu)先順序也可能的?？梢院线m地變更縮減處理中的參數(shù)的順序?？梢圆糠值厥褂脮r間、季節(jié)、年和天氣的參數(shù)。
圖17中所示的縮減處理基于一種構(gòu)思，并且打算獲得提供盡可能接近基準(zhǔn)圖像的印象的印象的合成圖像。
相反，為了增強(qiáng)娛樂質(zhì)量，可以有意合成提供與基準(zhǔn)圖像的印象十分不同的印象的合成圖像，以便允許用戶從與眾不同和難以預(yù)料的觀點出發(fā)來欣賞全景圖像。基于這一構(gòu)思，預(yù)期一種算法，以便在時間、季節(jié)、年和天氣的參數(shù)中至少之一方面，要被選作候選者的已采集圖像文件盡可能遠(yuǎn)離基準(zhǔn)圖像。
圖18所示的流程圖表示在圖16的步驟S216中的開始顯示全景圖像的處理，以及顯示開始處理之后的顯示控制處理。
步驟S401和S402對應(yīng)于步驟S216中的顯示開始處理。
在步驟S401的初始設(shè)置中，控制器17在畫布上設(shè)置與基準(zhǔn)圖像對應(yīng)的塊(即，在其內(nèi)具有基準(zhǔn)圖像的中心點的塊)作為顯示目標(biāo)塊。
在步驟S402，控制器17執(zhí)行控制處理來顯示具有在顯示目標(biāo)塊中的其中心點的圖像作為主圖像。
更具體地說，將與顯示目標(biāo)塊對應(yīng)的圖像顯示在近似中心和顯示屏23A最前面位置上。將光標(biāo)CR放在并顯示在圖像上。
在初始顯示中，將基準(zhǔn)圖像映射到顯示目標(biāo)塊，并顯示為主圖像。
在步驟S403,控制器17確定是否已經(jīng)發(fā)布了用以停止顯示全景圖像的操作。如果針對在步驟S403中的確定的答案是肯定的，則處理進(jìn)入到步驟S412。控制器17執(zhí)行顯示控制處理來從全景圖像顯示切換到標(biāo)準(zhǔn)顯示。在標(biāo)準(zhǔn)顯示中，照常再現(xiàn)存儲在存儲卡30上的圖像，并顯示在顯示屏23A上。
如果針對在步驟S403中的確定的答案是否定的，則處理進(jìn)入到步驟S404。
在步驟S404，控制器17確定是否已經(jīng)發(fā)布了記錄指令。可以當(dāng)在全景圖像的顯示期間選擇快門鍵或者在全景圖像的顯示期間通過調(diào)用顯示屏23A上的菜單屏幕來執(zhí)行用以記錄的操作時，發(fā)布記錄指令。
如果針對在步驟S404中的確定的答案是否定的，沒有發(fā)布的記錄指令，則處理進(jìn)入到步驟S406,而跳過步驟S405。
如果針對在步驟S404中的確定的答案是肯定的，具有發(fā)布的記錄指令，則執(zhí)行在步驟S405中的操作。處理進(jìn)入到步驟S406。
在步驟S405，響應(yīng)于記錄指令將顯示在顯示屏23A上的全景圖像存儲在 存儲卡30上，作為一個已采集圖像文件。
根據(jù)本實施方式，當(dāng)用戶利用進(jìn)程中的顯示和移位操作顯示全景圖像時， 用戶可以發(fā)現(xiàn)感興趣的圖像。然后，用戶執(zhí)行記錄指令操作來將那個圖像存 儲到存儲卡30上，就像是其他已采集圖像文件一樣。用戶不僅可以觀察全景 圖像，而且也可以記錄該圖像。由此而增強(qiáng)娛樂質(zhì)量。
在步驟S406,控制器17確定是否已經(jīng)執(zhí)行了全景圖像的移位操作。如 果針對在步驟S406中的確定的答案是否定的，則該處理返回到步驟S4(B。
如果針對在步驟S406中的確定的答案是肯定的，則處理進(jìn)入到步驟S407。
在步驟S407，控制器17確定移位方向是否是上、下、左和右方向之一。
如果在步驟S407中確定移位方向是上，則處理進(jìn)入到步驟S408。將緊 接在目前為止設(shè)置成顯示目標(biāo)塊的塊之上的塊設(shè)置為新顯示目標(biāo)塊。由此而 將顯示目標(biāo)塊移動到向上緊接的塊。該處理返回在步驟S402。作為全景圖像， 現(xiàn)在將緊接在目前為止已經(jīng)作為主圖像的圖像之上的圖像顯示為新主圖像。
如果在步驟S407中確定移位方向是下，則處理進(jìn)入到步驟S409。由此 而將顯示目標(biāo)塊移動到向下緊接的塊。該處理返回在步驟S402。
類似地，如果在步驟S407中確定移位方向是左，則處理進(jìn)入到步驟S410。 由此而將顯示目標(biāo)塊移動到左邊緊接的塊。該處理返回在步驟S402。
如果在步驟S407中確定移位方向是右，則處理進(jìn)入到步驟S411。由此 而將顯示目標(biāo)塊移動到右邊緊接的塊。該處理返回在步驟S402。
如果在步驟S408-S411中，顯示目標(biāo)塊是最頂上的塊、最底下的塊、最 左邊的塊或最右邊的塊，而不允許有進(jìn)一步的移位，則該處理返回到步驟 S402，而不用移動顯示目標(biāo)塊。
當(dāng)數(shù)字照相機(jī)1中的控制器17執(zhí)行程序時，執(zhí)行參考圖5和圖16~圖18 所示的流程圖所討，論的處理。
這樣的程序可以在數(shù)字照相機(jī)1的制造階段，存儲在由作為CPU的控制 器17用作存儲器的ROM或閃存上。該程序可以存儲在可移動記錄介質(zhì)上， 然后安裝到閃存中。該程序可以在其他主機(jī)裝置的控制下，經(jīng)由預(yù)定數(shù)據(jù)接 口進(jìn)行安裝。該程序可以存儲在網(wǎng)絡(luò)上的服務(wù)器中的存儲器上，然后從服務(wù) 器下載到具有網(wǎng)絡(luò)功能的數(shù)字照相機(jī)1以便安裝。
26下面參考圖19A和19B描述該實施方式的第一種變型。
圖12所示的畫布40具有二維表面。才艮據(jù)該實施方式的第一種變型，如 圖19A和19B所示那樣規(guī)定柱形畫布40A。
所示的柱形畫布40A具有在其內(nèi)表面上的各塊41。柱形畫布40A上的各 塊41具有絕對(absolute)北、東、西和南關(guān)系。
參考圖19A，將柱形畫布40A上的視點位置P建立在柱形畫布40A的底 內(nèi)表面上。將基準(zhǔn)視點位置Pst安排在底圓形表面的中心。
可以將基準(zhǔn)圖像和合成圖像的中心點繪畫在塊41上，如圖12到圖14A 和14B所示。圖19B圖解繪畫到塊上的中心點。
可以在釆集基準(zhǔn)圖像的視點周圍遍及360。上顯示基于因此而產(chǎn)生的柱形 畫布40A所產(chǎn)生的全景圖像。
圖20圖解本發(fā)明的實施方式的第二種變型。
在該第二種變型中，規(guī)定拱頂型畫布(dome-type canvass ) 40B。
將拱頂型畫布40B的4SL點位置P建立在拱頂(dome)的底中。例如，將 基準(zhǔn)視點位置Pst設(shè)置在圓形拱頂?shù)椎闹行狞c上。
同樣在這種情況下，以與參考圖12至圖14A和14B所述的方式相同的 方式繪畫各圖像的中心點。
顯示這樣構(gòu)造的全景圖像，以便該圖像連續(xù)地連接在頂(ceiling)或空 (sky)中。
圖21圖解本發(fā)明的實施方式的第三種變型。
在該第三種變型中，規(guī)定柱形畫布40C。柱形畫布40C在柱形形狀方面 等同于柱形畫布40A。然而，各塊41建立在柱形畫布40C的外表面而不是在 內(nèi)表面。
基準(zhǔn)視點位置Pst建立在柱形畫布40C之外。根據(jù)基準(zhǔn)圖像的方向信息 Dst，執(zhí)行從基準(zhǔn)視點位置Pst到一個塊的繪畫。
例如，建立柱形畫布40A放在其中心上的視點范圍50,以便使預(yù)定區(qū)域 包含基準(zhǔn)視點位置Pst。
柱形畫布40A中繪畫合成圖像的中心點。視點位置位于視點范圍50內(nèi)， 并將具有允許從-f見點位置延伸到柱形畫布40A中的塊的線的方向信息的已采 集圖像文件提取為合成圖像。
在柱形畫布40C上顯示的全景圖像中，利用在360。范圍內(nèi)旋轉(zhuǎn)的視點，
27可以以滾動操作觀察同 一個被:攝物。
也可以預(yù)期其他全景圖像(未示出)作為變型。
選擇基準(zhǔn)圖像并在顯示屏23A上顯示該全景圖像。如果在這種狀態(tài)下執(zhí) 行右或左移位操作，則可以關(guān)于在其上采集基準(zhǔn)圖像的基準(zhǔn)視點位置，在360。 范圍內(nèi)觀察圖像?？梢詧?zhí)行移位操作，以便在視點的當(dāng)前方向上作出向前移 位。響應(yīng)于移位操作，視點位置也移動。如果關(guān)于視點位置執(zhí)行左或右移位 操作，則可以從已移動的視點位置觀察在360。范圍內(nèi)的圖像。類似地，如果 在當(dāng)前方向上向前移動視點位置，則可以從已移動的^L點位置觀察在360°范 圍內(nèi)的圖像。
響應(yīng)于視點的移位操作，改變視點位置，并關(guān)于已改變的視點位置，在 柱形畫布40A上執(zhí)行繪畫操作。
才艮據(jù)上述實施方式，數(shù)字照相機(jī)1顯示全景圖像。本發(fā)明可應(yīng)用于將已 采集圖像記錄為靜止圖像的攝相機(jī)。可以將實現(xiàn)上述處理步驟的程序安裝在 個人計算機(jī)上。這樣的程序可以作為照片觀察器提供為應(yīng)用軟件。
在上述實施方式中，響應(yīng)于用戶觸發(fā)的、用以顯示全景圖像的指令，啟 動全景圖像的產(chǎn)生。本發(fā)明不限于這種方法。例如，可以通過成像器件自動 地產(chǎn)生全景圖像。
本發(fā)明的每個實施方式的數(shù)字照相機(jī)都可以留在處于供電準(zhǔn)備狀態(tài) (power-feed ready state )下的支架上。可以用用作基準(zhǔn)圖像的、存小者在存儲 卡上的某些或所有已采集圖像文件來自動產(chǎn)生全景圖像。
本申請包含涉及于2008年8月19在日本專利局提交的日本優(yōu)先權(quán)專利 申請JP2008-210506中公開的主題的主題，該優(yōu)先權(quán)專利申請的整個內(nèi)容通 過引用合并在這里。
本領(lǐng)域普通技術(shù)人員應(yīng)該理解，在所附權(quán)利要求書或其等同物的范圍內(nèi)， 依據(jù)迄今的設(shè)計要求和其他因素可以呈現(xiàn)各種變型、組合、部分組合和變更。
權(quán)利要求
1、一種圖像處理裝置，包括視點范圍設(shè)置部件，用于基于從已采集圖像數(shù)據(jù)中選擇為基準(zhǔn)的基準(zhǔn)圖像數(shù)據(jù)的位置信息設(shè)置視點范圍，該已采集圖像數(shù)據(jù)至少包含作為附加信息附到其中的、表示采集位置的位置信息和表示采集方向的方向信息；合成圖像數(shù)據(jù)獲得部件，用于從存儲具有作為附加信息附到其中的位置信息和方向信息的該已采集圖像數(shù)據(jù)的存儲器，作為合成圖像數(shù)據(jù)，獲得包含該位置信息和該方向信息的已采集圖像數(shù)據(jù)，該位置信息和該方向信息滿足這樣的條件以該視點范圍內(nèi)的視點位置采集該基準(zhǔn)圖像數(shù)據(jù)的成像幀之外的圖像；顯示圖像產(chǎn)生部件，用于通過在根據(jù)該位置信息和該方向信息設(shè)置的位置上放置和合成來自該基準(zhǔn)圖像數(shù)據(jù)的基準(zhǔn)圖像和來自該合成圖像數(shù)據(jù)的合成圖像，產(chǎn)生顯示圖像數(shù)據(jù)；以及顯示控制部件，用于促使該顯示圖像數(shù)據(jù)的部分區(qū)域被顯示在顯示屏幕上，并促使到目前為止所顯示的該顯示圖像數(shù)據(jù)的該部分區(qū)域響應(yīng)于以顯示區(qū)域的移位指令所指定的移位方向而被變更。
2、 根據(jù)權(quán)利要求1所述的圖像處理裝置，進(jìn)一步包括虛擬圖像放置表面 設(shè)置部件，用于設(shè)置虛擬圖像放置表面，該虛擬圖像放置表面被用來設(shè)置該 基準(zhǔn)圖像和該合成圖像的合成位置，該整個虛擬圖像放置表面被劃分成在其 上分別承載圖像的多個放置區(qū)域，規(guī)定為基準(zhǔn)、來自該放置區(qū)域的基準(zhǔn)放置 區(qū)域包含中心點，并且由該基準(zhǔn)圖像數(shù)據(jù)的該位置信息和該方向信息確定的 采集方向的線穿過該中心點，其中，該合成圖像數(shù)據(jù)獲得部件獲得具有確定該中心點的該位置信息和 該方向信息的該合成圖像數(shù)據(jù)，該中心點放在除該基準(zhǔn)放置區(qū)域之外的每個 放置區(qū)域中，并且其中，該顯示圖像產(chǎn)生部件設(shè)置該基準(zhǔn)圖像的該合成位置，以便將該基 準(zhǔn)圖像數(shù)據(jù)的該中心點放置在該虛擬圖像放置表面的該基準(zhǔn)放置區(qū)域中，并 設(shè)置該合成圖像的該合成位置以便將由該合成圖像數(shù)據(jù)獲得部件獲得的該合 成圖像數(shù)據(jù)的該中心點放置在除該基準(zhǔn)放置區(qū)域之外的每個放置區(qū)域中，并 且該顯示圖像產(chǎn)生部件以設(shè)置的其合成位置合成該基準(zhǔn)圖像和該合成圖像來產(chǎn)生顯示圖像。
3、 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，該顯示控制部件促使放 置在作為用作顯示目標(biāo)的放置區(qū)域的顯示目標(biāo)放置區(qū)域上的圖像在該部分區(qū) 域上被顯示為主圖像，并且促使該圖像響應(yīng)于該移位指令在該顯示目標(biāo)放置 區(qū)i或內(nèi)移動。
4、 根據(jù)權(quán)利要求1所述的圖像處理裝置，進(jìn)一步包括記錄控制部件，用 于促使包含顯示在顯示屏上的該顯示圖像數(shù)據(jù)的該部分區(qū)域的 一段圖像數(shù)據(jù) 響應(yīng)于記錄指令而纟皮記錄在記錄介質(zhì)上。
5、 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，如果呈現(xiàn)具有在一個放 置區(qū)域內(nèi)的該中心點的多段已采集圖像數(shù)據(jù)，則該合成圖像數(shù)據(jù)獲得部件基 于附到該合成圖像數(shù)據(jù)的該附加信息，縮減待設(shè)置為該合成圖像數(shù)據(jù)的該已 采集圖像數(shù)據(jù)。
6、 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，該合成圖像數(shù)據(jù)獲得部 件根據(jù)在其中執(zhí)行由該附加信息所表示的圖像采集的時間，縮減該已采集圖 像數(shù)據(jù)。
7、 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，該合成圖像數(shù)據(jù)獲得部 件才艮據(jù)在其中執(zhí)行由該附加信息所表示的圖像采集的季節(jié)，縮減該已采集圖 像數(shù)據(jù)。
8、 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，該合成圖像數(shù)據(jù)獲得部件根據(jù)在-其-f執(zhí)行iiH多附加信息所表示的圖像采集的年份，縮減該已采集圖 像數(shù)據(jù)。
9、 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，該合成圖像數(shù)據(jù)獲得部 件根據(jù)涉及在其中執(zhí)行圖像采集的天氣的信息，縮減該已采集圖像數(shù)據(jù)，該 天氣信息根據(jù)作為附加信息的該位置信息和涉及圖像采集的該日期的信息而 獲得。
10、 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中該存儲器是在其上采集 圖像的成像采集器件記錄已采集圖像文件的記錄介質(zhì)。
11、 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中該存儲器是呈現(xiàn)在網(wǎng)絡(luò) 上并且存儲和管理已采集圖像文件的服務(wù)器。
12、 一種圖像處理方法，包括以下步驟基于從已采集圖像數(shù)據(jù)中選擇為基準(zhǔn)的基準(zhǔn)圖像數(shù)據(jù)的位置信息設(shè)置視點范圍，該已采集圖像數(shù)據(jù)至少包含作為附加信息附到其中的、表示采集位置的位置信息和表示采集方向的方向信息；從存儲具有作為附加信息附到其中的位置信息和方向信息的該已采集圖 像數(shù)據(jù)的存儲器，作為合成圖像數(shù)據(jù)，獲得包含該位置信息和該方向信息的 已采集圖像數(shù)據(jù)，該位置信息和該方向信息滿足這樣的條件以該視點范圍 內(nèi)的視點位置采集該基準(zhǔn)圖像數(shù)據(jù)的成像幀之外的圖像；通過在根據(jù)該位置信息和該方向信息設(shè)置的位置上放置和合成來自該基 準(zhǔn)圖像數(shù)據(jù)的基準(zhǔn)圖像和來自該合成圖像數(shù)據(jù)的合成圖像，產(chǎn)生顯示圖像數(shù) 據(jù)；以及促使該顯示圖像數(shù)據(jù)的部分區(qū)域被顯示在顯示屏幕上，并促使到目前為 止所顯示的該顯示圖像數(shù)據(jù)的該部分區(qū)域響應(yīng)于以顯示區(qū)域的移位指令所指 定的移〗立方向而^皮變更。
13、 一種促使圖像處理裝置執(zhí)行以下步驟的計算機(jī)程序，基于從已采集圖像數(shù)據(jù)中選擇為基準(zhǔn)的基準(zhǔn)圖像數(shù)據(jù)的位置信息設(shè)置視 點范圍，該已采集圖像數(shù)據(jù)至少包含作為附加信息附到其中的、表示采集位 置的位置信息和表示采集方向的方向信息；從存儲具有作為附加信息附到其中的位置信息和方向信息的該已采集圖 像數(shù)據(jù)的存儲器，作為合成圖像數(shù)據(jù)，獲得包含該位置信息和該方向信息的 已采集圖像數(shù)據(jù)，該位置信息和該方向信息滿足這樣的條件以該視點范圍 內(nèi)的視點位置采集該基準(zhǔn)圖像數(shù)據(jù)的成像幀之外的圖像；通過在根據(jù)該位置信息和該方向信息設(shè)置的位置上放置和合成來自該基 準(zhǔn)圖像數(shù)據(jù)的基準(zhǔn)圖像和來自該合成圖像數(shù)據(jù)的合成圖像，產(chǎn)生顯示圖像數(shù) 據(jù)；以及促使該顯示圖像數(shù)據(jù)的部分區(qū)域被顯示在顯示屏幕上，并促使到目前為 止所顯示的該顯示圖像數(shù)據(jù)的該部分區(qū)域響應(yīng)于以顯示區(qū)域的移位指令所指 定的移4立方向而纟皮變更。
14、 一種圖像處理裝置，包括視點范圍設(shè)置單元，基于從已采集圖像數(shù)據(jù)中選擇為基準(zhǔn)的基準(zhǔn)圖像數(shù) 據(jù)的位置信息設(shè)置視點范圍，該已采集圖像數(shù)據(jù)至少包含作為附加信息附到 其中的、表示采集位置的位置信息和表示采集方向的方向信息；合成圖像數(shù)據(jù)獲得單元，從存儲具有作為附加信息附到其中的位置信息和方向信息的該已采集圖像數(shù)據(jù)的存儲器，作為合成圖像數(shù)據(jù)，獲得包含該 位置信息和該方向信息的已采集圖像數(shù)據(jù)，該位置信息和該方向信息滿足這樣的條件以該視點范圍內(nèi)的視點位置采集該基準(zhǔn)圖像數(shù)據(jù)的成像幀之外的圖像；顯示圖像產(chǎn)生單元，通過在根據(jù)該位置信息和該方向信息設(shè)置的位置上 放置和合成來自該基準(zhǔn)圖像數(shù)據(jù)的基準(zhǔn)圖像和來自該合成圖像數(shù)據(jù)的合成圖像，產(chǎn)生顯示圖像數(shù)據(jù)；以及顯示控制單元，促使該顯示圖像數(shù)據(jù)的部分區(qū)域被顯示在顯示屏幕上， 并促使到目前為止所顯示的該顯示圖像數(shù)據(jù)的該部分區(qū)域響應(yīng)于以顯示區(qū)域 的移位指令所指定的移位方向而被變更。
全文摘要
提供圖像處理裝置和圖像處理方法。該裝置和方法以反映圖像采集時該圖像的位置關(guān)系的方式，將覆蓋該基準(zhǔn)圖像的視場之外的區(qū)域的基準(zhǔn)圖像和合成圖像合成為一段顯示圖像數(shù)據(jù)。利用呈現(xiàn)在顯示屏的其部分區(qū)域顯示顯示圖像數(shù)據(jù)，并且該部分區(qū)域響應(yīng)于移位指令移動。
文檔編號H04N5/00GK101656822SQ20091016343
公開日2010年2月24日 申請日期2009年8月19日 優(yōu)先權(quán)日2008年8月19日
發(fā)明者富田展由 申請人:索尼株式會社