專利名稱：圖像合成裝置、圖像合成方法和圖像合成程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像合成裝置、圖像合成方法和圖像合成程序。更具體地，本技術(shù)通過控制圖像合成來輔助創(chuàng)建具有廣視角的高質(zhì)量合成圖像。
背景技術(shù)：
存在如下的相關(guān)技術(shù)其用于在轉(zhuǎn)動或平行移動成像裝置的同時合成通過多個成像操作所獲得的所拍攝的圖像，以創(chuàng)建具有比通過一個成像操作所獲得的圖像更廣的視角的全景圖像。例如，日本未審查專利申請No. 11-282100通過提取圖像的特征點(diǎn)并組合圖像從而使得特征點(diǎn)彼此對準(zhǔn)來創(chuàng)建全景圖像。當(dāng)圖像被組合以使得其特征點(diǎn)彼此對準(zhǔn)時,縫(seam)可能出現(xiàn)在主要的對象上，因?yàn)閳D像之間的縫被確定，而不管用戶的意圖。因此，在日本未審查專利申請公開No. 2008-176430(對應(yīng)的美國公開US2008_015962)中，如果用于圖像合成的縫出現(xiàn)在由用戶所指定的位置中，則該縫可被用戶所選的圖像覆蓋。

發(fā)明內(nèi)容
當(dāng)全景圖像的縫被用戶所選的圖像覆蓋時，由于應(yīng)當(dāng)選擇覆蓋圖像，因此，不執(zhí)行對不帶有用于圖像合成的在由用戶所指定的位置中的縫的全景圖像的自動創(chuàng)建。另外，當(dāng)多個圖像被自動合成時，高質(zhì)量的合成是不容易的。希望當(dāng)圖像被組合以創(chuàng)建合成圖像時提供通過控制多個圖像的合成而輔助對帶有廣視角的高質(zhì)量合成圖像的創(chuàng)建的圖像合成裝置、圖像合成方法和圖像合成程序。根據(jù)本技術(shù)的實(shí)施例，提供了一種圖像合成裝置，包括對象區(qū)域確定單元，該對象區(qū)域確定單元基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域；以及圖像合成單元，該圖像合成單元通過基于附近對象的區(qū)域的位置來從每個所拍攝圖像中剪切圖像并組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。在本技術(shù)中，在由距離測量在成像期間所生成的多個點(diǎn)處的對象距離信息被與預(yù)設(shè)閾值相比較，并且，基于比較的結(jié)果來確定附近對象的區(qū)域。當(dāng)附近對象的區(qū)域已經(jīng)被確定時，圖像被剪切，使得附近對象的區(qū)域未被分割。當(dāng)還未確定附近對象的區(qū)域時，在中心處的圖像被剪切。當(dāng)附近對象的區(qū)域被冗余地呈現(xiàn)在所拍攝的圖像中時，在附近對象的區(qū)域中的圖像被從圖像被組合的方向上的位于更靠近中心處的所拍攝圖像中剪切出來，以便連續(xù)創(chuàng)建合成圖像。對象距離信息的相關(guān)度被檢測，并且，在所拍攝圖像中的重復(fù)區(qū)域基于檢測結(jié)果被估計(jì)。根據(jù)所估計(jì)的重復(fù)區(qū)域中的對象距離信息的差，圖像被放大或減小。另夕卜，基于對象距離信息，兩個連續(xù)圖像之間的運(yùn)動向量被檢測，并且，基于附近對象區(qū)域的位置和運(yùn)動向量，從已放大或減小的圖像中所剪切出的圖像被組合以創(chuàng)建合成圖像。根據(jù)本技術(shù)的另一實(shí)施例，提供了一種圖像合成方法，包括基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域；基于附近對象的區(qū)域的位置來從每個所拍攝圖像中剪切圖像；以及組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。根據(jù)本技術(shù)的又一實(shí)施例，提供了一種讓計(jì)算機(jī)執(zhí)行用于從多個所拍攝圖像創(chuàng)建帶有廣視角的合成圖像的圖像合成處理的程序，所述處理包括基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域；基于附近對象的區(qū)域的位置來從每個所拍攝圖像中剪切圖像；以及組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。根據(jù)本技術(shù)的實(shí)施例的計(jì)算機(jī)程序可通過存儲介質(zhì)被以可執(zhí)行各種程序代碼的通用計(jì)算機(jī)系統(tǒng)的計(jì)算機(jī)可讀形式提供，諸如，光盤、磁盤或半導(dǎo)體存儲器或諸如網(wǎng)絡(luò)之類的通信介質(zhì)。以計(jì)算機(jī)可讀的形式來提供這種類型的程序使得計(jì)算機(jī)系統(tǒng)能夠根據(jù)程序來執(zhí)行處理。根據(jù)本技術(shù)的實(shí)施例，基于在成像期間由距離測量所生成的多個點(diǎn)的對象距離信息，在所拍攝圖片中的附近對象區(qū)域被確定?；诟浇鼘ο髤^(qū)域的位置，圖像被從所拍攝的 圖像中剪切出來，并且，已剪切出來的圖像被組合，以創(chuàng)建合成圖像。因此，不必選擇覆蓋縫的圖像或用所選的圖像來覆蓋縫，并且，基于附近對象區(qū)域的位置，圖像被剪切出來，并且然后，被合成，因此可容易地創(chuàng)建帶有廣視角的高質(zhì)量合成圖像。


圖I示出了成像裝置的結(jié)構(gòu)。圖2示出了帶有相位對照像素(phase contrast pixels)的CMOS固態(tài)成像設(shè)備的結(jié)構(gòu)。圖3示出了在A系列圖像和B系列圖像之間所導(dǎo)致的移位量(shift amount)和去焦量(defocus amount)之間的關(guān)系。圖4示出了圖像合成單元的結(jié)構(gòu)。圖5是示出了成像裝置的全景成像操作的流程圖。圖6示出了存儲所拍攝的圖像的示例。圖7A和圖7B示出了所拍攝的圖像和其對象對象距離信息。圖8示出了存儲合成圖像的示例。圖9是示出了合成圖像的創(chuàng)建的流程圖。圖10A和圖10B示出了合成圖像的創(chuàng)建。圖IlA至圖IlC示出了運(yùn)動向量和放大和減小處理。
具體實(shí)施例方式以下，將以如下次序來描述本技術(shù)的實(shí)施例。I.包括圖像處理設(shè)備的成像裝置的結(jié)構(gòu)2.包括圖像處理設(shè)備的成像裝置的操作〈I.包括圖像處理設(shè)備的成像裝置的結(jié)構(gòu)>圖I示出了包括本技術(shù)的實(shí)施例中的圖像處理設(shè)備的成像裝置10的結(jié)構(gòu)。成像裝置10包括成像透鏡單元11、成像設(shè)備12、成像設(shè)備驅(qū)動單元13、預(yù)處理單元14 JgWDSP單元20、存儲單元41、顯示單元42、記錄介質(zhì)43、系統(tǒng)控制單元50和操作單元51。成像透鏡單元11用作將對象光引入到成像設(shè)備12的成像光學(xué)系統(tǒng)。成像透鏡單元11包括聚焦透鏡(其調(diào)整在成像設(shè)備12上的成像表面上聚焦的光學(xué)圖像的焦點(diǎn))、縮放透鏡(其變更光學(xué)圖像的比例)等。成像設(shè)備12包括CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)、CXD (電荷耦合設(shè)備)、或其他固態(tài)成像設(shè)備。成像設(shè)備12通過成像透鏡單元11生成對應(yīng)于在接受表面上聚焦的光學(xué)圖像的成像信號，并且，將成像信號輸出到預(yù)處理單元14。成像設(shè)備驅(qū)動單元13生成驅(qū)動信號并將其提供給成像設(shè)備12，以讓成像設(shè)備12生成并輸出成像信號。預(yù)處理單元14向從成像設(shè)備12提供的成像信號應(yīng)用相關(guān)雙采樣(⑶S)、模擬放大或A/D轉(zhuǎn)換，生成圖像數(shù)據(jù)，并且，將圖像數(shù)據(jù)輸出到相機(jī)DSP (數(shù)字信號處理)單元20。相機(jī)DSP單元20記錄或重放從預(yù)處理單元14輸出的圖像數(shù)據(jù)、在稍后所描述的系統(tǒng)控制單元50的控制下，基于圖像數(shù)據(jù)、帶有廣視角的合成圖像等來執(zhí)行與圖像顯示相關(guān)的處理。相機(jī)DSP單元20被連接到存儲器單元41，該存儲器單元41用于相機(jī)DSP單元20的工作區(qū)域，以用于各種處理。相機(jī)DSP單元20包括相機(jī)信號處理單元21、存儲控制單元22、透鏡控制單元23、分辨率轉(zhuǎn)換單元24、顯示控制單元25、編解碼單元26、介質(zhì)控制單元27、對象距離測量單元28，以及圖像合成單元29。相機(jī)DSP單元20的各自組件經(jīng)由內(nèi)部總線30相連接。相機(jī)信號處理單元21在從預(yù)處理單元14提供的圖像數(shù)據(jù)上做出白平衡調(diào)整、伽馬校正等。相機(jī)信號處理單元21從圖像數(shù)據(jù)檢測用于孔徑校正(aperture correction)和自動聚焦調(diào)整的信息，并且，將所檢測到的信息輸出到透鏡控制單元23。存儲器控制單元22控制數(shù)據(jù)到存儲單元41的寫入以及從存儲器單元41對所寫入數(shù)據(jù)的讀取。存儲器控制單元22將從相機(jī)DSP單元20的各自組件所提供的圖像數(shù)據(jù)和已編碼數(shù)據(jù)寫入到存儲器單元41，或讀取寫入到存儲器單元41的圖像數(shù)據(jù)和已編碼數(shù)據(jù)，并且，將數(shù)據(jù)輸出到相機(jī)DSP單元20的各自組件。透鏡控制單元23基于從相機(jī)信號處理單元21所獲得的信息或來自稍后所描述的系統(tǒng)控制單元的控制信號來驅(qū)動成像透鏡單元11執(zhí)行自動聚焦控制、縮放控制、孔徑控制等。 分辨率轉(zhuǎn)換單元24轉(zhuǎn)換存儲在存儲器單元41中的圖像數(shù)據(jù)或從相機(jī)信號處理單元21輸出的圖像數(shù)據(jù)的分辨率。例如，分辨率轉(zhuǎn)換單元24將被應(yīng)用了相機(jī)信號處理的圖像數(shù)據(jù)轉(zhuǎn)換成對應(yīng)于顯示單元42的顯示分辨率的圖像數(shù)據(jù)?？商鎿Q地，分辨率轉(zhuǎn)換單元24將圖像數(shù)據(jù)轉(zhuǎn)換成由用戶所指定的分辨率，使得其可被記錄在記錄介質(zhì)43中。分辨率轉(zhuǎn)換單元24還剪切所拍攝圖像的一部分，并且，執(zhí)行關(guān)于該分辨率轉(zhuǎn)換的處理，以生成已經(jīng)對其應(yīng)用了電子縮放或再現(xiàn)縮放的圖像數(shù)據(jù)。顯示控制單元25驅(qū)動利用從分辨率轉(zhuǎn)換單元24提供的圖像數(shù)據(jù)或存儲在存儲器單元41中的圖像數(shù)據(jù)在成像操作期間顯示監(jiān)視器圖像、記錄在存儲器單元41中的圖像和存儲在記錄介質(zhì)43中的圖像。顯示控制單元25還讓顯示單元42顯示用于選擇將要安裝在成像裝置10中的功能的菜單或成像裝置10的設(shè)置狀態(tài)。
編解碼單元26壓縮圖像數(shù)據(jù)并將所獲得的已編碼數(shù)據(jù)輸出到存儲器控制單元22或介質(zhì)控制單元27，以將已編碼的數(shù)據(jù)記錄在存儲器單元41或記錄介質(zhì)43中。編解碼單元26還執(zhí)行對從存儲器單元41或記錄介質(zhì)43讀取的已編碼數(shù)據(jù)的數(shù)據(jù)解壓縮，并且，將所獲得的圖像數(shù)據(jù)輸出到存儲器控制單元22、顯示控制單元25等。在該數(shù)據(jù)壓縮或解壓縮中，應(yīng)用利用JPEG(聯(lián)合圖像編碼專家組)的方法。在運(yùn)動圖像中，使用利用諸如ISO/IECJTC1/SC29WG11和MPEGl (運(yùn)動圖片專家組I)、MPEG2 (運(yùn)動圖片專家組2)、MPEG4(運(yùn)動圖片專家組4)以及ITU-T的H. 263或H. 264/MPEG4-AVC (高級視頻編碼)之類的運(yùn)動向量的數(shù)據(jù)壓縮方法。存儲器控制單元22控制數(shù)據(jù)到存儲器單元41的寫入以及對所寫入數(shù)據(jù)的讀取。存儲器控制單元22將從相機(jī)DSP單元20的組件所提供的圖像數(shù)據(jù)或已編碼數(shù)據(jù)寫入到存儲器單元41，或讀取寫入到存儲器單元41中的圖像數(shù)據(jù)或已編碼數(shù)據(jù)，并且，將圖像數(shù)據(jù)或已編碼的數(shù)據(jù)輸出到相機(jī)DSP單元20的各自組件。介質(zhì)控制單元27控制數(shù)據(jù)到記錄介質(zhì)43的寫入以及對寫入到記錄介質(zhì)43中的數(shù)據(jù)的讀取。介質(zhì)控制單元27將從相機(jī)DSP單元20的各自組件所提供的圖像數(shù)據(jù)或已編碼數(shù)據(jù)寫入到記錄介質(zhì)43，或讀取寫入到記錄介質(zhì)43中的圖像數(shù)據(jù)或已編碼數(shù)據(jù)，并且，將圖像數(shù)據(jù)或已編碼的數(shù)據(jù)輸出到相機(jī)DSP單元20的各自組件。對象距離測量單元28在成像期間在成像區(qū)域內(nèi)的多個點(diǎn)處測量到對象的距離，并且，生成對應(yīng)于測量結(jié)果的距離信息(以下稱為對象距離信息)。對象距離測量單元28將所生成的對象距離信息輸出到圖像合成單元29。可替換地，對象距離測量單元28將所生成的對象距離信息與所拍攝的圖像的圖像數(shù)據(jù)相關(guān)聯(lián)，并且，將其提供給存儲器單元41或記錄介質(zhì)43。如在日本未審查專利申請公開No. 2010-169709中所示出的，帶有相位對照像素的用于通過對對象光的瞳分割(pupil division)來檢測焦點(diǎn)的CMOS固態(tài)圖像傳感設(shè)備可被用作對象距離測量單元28。圖2示出了帶有相位對照像素的CMOS固態(tài)成像設(shè)備的結(jié)構(gòu)。成像設(shè)備12具有包括二維布置的光電二極管的多個像素的矩陣。例如，各自具有不同光譜特點(diǎn)的紅(R)、綠(G)和藍(lán)(B)顏色過濾器以I比2比I的比率被布置在每個像素的接受表面上，以形成R像素121、G像素122和B像素123。另外，布置了用于通過對象光的瞳分割來檢測焦點(diǎn)的相位對照像素對(以下稱為AF(自動聚焦)像素對)12f。由R像素121、G像素122和B像素123以及AF像素對12f所指示的虛線代表用作聚焦透鏡的宏透鏡(macrolens)。在不帶有瞳分割功能的像素中，可替換地，G像素122和R像素121被布置在水平方向上以形成水平線LI，并且，可替換地，B像素123和G像素122被布置在水平方向上以形成水平線L2。水平線LI和水平線L2被可替換地布置在垂直方向上，以形成拜耳(Bayer)圖樣。AF像素對12f被重復(fù)地布置在水平方向上，以形成AF線Lf。陰影區(qū)域是光遮蔽區(qū)間LS。上述所創(chuàng)建的多個AF線Lf在垂直方向上以預(yù)定數(shù)目的線間隔布置。由AF像素對12f的第一 AF像素12f-a所獲得的感光數(shù)據(jù)被假定為A系列數(shù)據(jù)，而由第二 AF像素12f_b所獲得的感光數(shù)據(jù)被假定為B系列數(shù)據(jù)。 如果A系列圖像被與B系列圖像相比，則隨著解聚焦量的增加，在A系列圖像和B系列圖像之間所導(dǎo)致的在AF線Lf方向(水平方向)上的移位量(位移量)增加。圖3示出了在A系列圖像和B系列圖像之間所導(dǎo)致的移位量和去焦量之間的關(guān)系。在圖3中，水平軸代表A系列圖像的重心位置和B系列圖像的重心位置之間的差(像素間距)，而垂直軸代表去焦量(Pm)。每個圖像的重心位置Xg被從表達(dá)式(I)獲得。在表達(dá)式(I)中，例如，X1至Xn代表在AF線Lf上的左端開始的像素位置，而Y1至Yn代表來自位置X1至Xn處的第一 AF像素12f-a和第二 AF像素12f_b的輸出值。D F = kXC...(2)如圖3中所示，去焦量(Pm)和圖像對的重心位置之間的差(間距)之間的關(guān)系是成比例的。該關(guān)系由表達(dá)式(2)表示，其中，去焦量是DFhm)，而重心位置之間的差是Chm)。表達(dá)式(2)中的系數(shù)k表示梯度Gk(由圖3中的虛線指示)，該梯度Gk可由工廠 測試等預(yù)先獲得。如上所述，從AF線Lf的AF像素對12f獲得的A系列數(shù)據(jù)和B系列數(shù)據(jù)中的重心位置之間的差(相位對照)C被計(jì)算，并且然后，表達(dá)式(2)被計(jì)算，以獲得去焦量DF?；谕ㄟ^這種方式所計(jì)算的去焦量，到對象的距離被計(jì)算。由于AF像素對12f被分散在成像表面上，因此，到對象的距離可在成像范圍內(nèi)的多個點(diǎn)處被測量。對象距離測量單元28無需使用帶有相位對照像素的CMOS固態(tài)成像設(shè)備，只要其可生成對象距離信息即可，該對象距離信息取決于在成像范圍內(nèi)的多個點(diǎn)處到對象的距離。例如，對象距離測量單元28可通過基于來自利用紅外光或無聲的傳感器信號來確定到對象的距離來生成對象距離信息。在圖I中，圖像合成單元29利用從相機(jī)信號處理單元21或存儲器單元41所讀取的圖像數(shù)據(jù)或從已編碼單元26所提供的所讀取的圖像數(shù)據(jù)來合成所拍攝的圖像，并且，生成合成圖像的圖像數(shù)據(jù)。在圖像合成中，圖像合成單元29基于在多個點(diǎn)處的對象距離信息來確定附近對象的區(qū)域，基于附近對象的區(qū)域的位置來將圖像從所拍攝的圖像中剪切出來，并且，組合被剪切出來的圖像。圖4示出了圖像合成單元29的結(jié)構(gòu)。圖像合成單元29包括運(yùn)動向量檢測單元291、放大/減小單元292、對象區(qū)域確定單元293，以及合成單元294。運(yùn)動向量檢測單元291基于對象距離信息的相關(guān)性來檢測連續(xù)拍攝的兩個圖像之間的運(yùn)動向量。放大/減小單元292基于兩個連續(xù)拍攝的圖像中的重復(fù)部分的對象距離信息來放大或減小圖像，以使得相同對象的大小在連續(xù)圖像中相同。放大/減小單元292還根據(jù)已放大或減小的圖像來校正對象距離信息。對象區(qū)域確定單元293基于對象距離信息來確定附近對象的區(qū)域。對象區(qū)域確定單元293比較預(yù)設(shè)閾值和對象距離信息，并且，確定對象距離信息小于附近對象的區(qū)域的閾值處的坐標(biāo)。合成單元294基于對象區(qū)域的檢測結(jié)果來剪切圖像，基于運(yùn)動向量檢測單元291來調(diào)整其位置，并且，合成圖像以創(chuàng)建在縫處的連續(xù)合成圖像。當(dāng)附近對象被指示為檢測對象區(qū)域的檢測結(jié)果時，合成單元294剪切圖像，使得圖像的縫不位于附近對象上。當(dāng)附近對象不被指示為對對象區(qū)域的檢測結(jié)果時，合成單元294剪切中心處的圖像，該元294剪切中心處的圖像更少地受到由成像透鏡單元11等所導(dǎo)致的圖像失真的影響。例如，在附近對象的區(qū)域中的圖像被從圖像被組合的方向中的位于更靠近中心的所拍攝的圖像中剪切出來。另外，圖像可被剪切出來，使得對象被冗余地呈現(xiàn)在縫處，以使得圖像能夠基于對對象區(qū)域的檢測結(jié)果和運(yùn)動向量來在縫處被混合?？商鎿Q地，圖像可被剪切出來，使得在縫處一個圖像切換到另一圖像，使得在縫處的對象變?yōu)檫B續(xù)的。合成單元294組合順序剪切出的圖像，以形成帶有廣視角的合成圖像或全景圖像。合成單元294基于對象距離信息來確定附近對象的區(qū)域是否冗余地呈現(xiàn)在多于一個所拍攝的圖像中。當(dāng)附近對象的區(qū)域被冗余地呈現(xiàn)時，合成單元294剪切位于更靠近中心的附近對象的區(qū)域中的圖像，或更少地受圖像失真影響的區(qū)域中的圖像。在圖I中，顯示單元42包括平面顯示設(shè)備,諸如,液晶顯示器或有機(jī)EL設(shè)備。在顯示控制單元25的控制下，顯示單元42顯示用于選擇將要安裝在成像設(shè)備10中的功能的菜單、成像裝置10的設(shè)定狀態(tài)、所拍攝的圖像、或正在被再現(xiàn)的圖像。記錄介質(zhì)43是半導(dǎo)體存儲卡或利用磁性或光來執(zhí)行記 錄或再現(xiàn)的盤形記錄介質(zhì)。記錄介質(zhì)43記錄由編解碼單元26等所生成的已編碼數(shù)據(jù)。操作單元51被連接至系統(tǒng)控制單元50。操作單元51包括操作開關(guān)和布置在成像裝置10上的操作按鈕、布置在顯示單元42的顯示屏幕上的觸摸屏等，并且，根據(jù)用戶操作，將操作信號輸出到系統(tǒng)控制單元50。系統(tǒng)控制單元50包括CPU (中央處理單元)、R0M(只讀存儲器)、RAM(隨機(jī)訪問存儲器)等。系統(tǒng)控制單元50讀取記錄在ROM中的程序、利用CPU執(zhí)行該程序，并且，控制每個組件的操作，使得成像裝置10根據(jù)操作信號來按照用戶所指示地操作。程序被預(yù)先安裝在成像裝置10中，但是，其可經(jīng)由諸如因特網(wǎng)等之類的網(wǎng)絡(luò)通過安裝來提供?？商鎿Q地，程序可通過各種記錄介質(zhì)來提供，諸如，存儲卡，光盤，磁盤等?！?.包括圖像處理設(shè)備的成像裝置的操作〉圖5是示出了利用包括本技術(shù)的實(shí)施例中的成像處理設(shè)備的成像裝置的全景成像操作的流程圖。在步驟STl中，成像裝置10執(zhí)行一幀成像。成像裝置10執(zhí)行一幀成像操作來生成所拍攝的圖像的一幀的圖像數(shù)據(jù)。另外，成像裝置10利用對象距離測量單元28來計(jì)算到所拍攝圖像中的到對象的距離，以生成對象距離信息。成像裝置10將所拍攝圖像的圖像數(shù)據(jù)和對象信息存儲在例如存儲單元41中，并且，處理進(jìn)行到步驟ST2。圖6示出了將所拍攝的圖像和對象距離信息存儲在存儲單元41中的示例。每幀的圖像數(shù)據(jù)被與其對象距離信息一起存儲。每幀的圖像數(shù)據(jù)被與其成像信息和顯影參數(shù)相關(guān)聯(lián)。對象距離信息例如可被用來識別從在幀圖像上所設(shè)定的多個坐標(biāo)位置到對象的距離。圖7A示出了所拍攝的圖像；圖7B示出了圖7A中的所拍攝的圖像的對象距離信息。對象距離信息指示從在所拍攝圖像上所設(shè)定的多個坐標(biāo)位置到對象的距離值。當(dāng)?shù)綄ο蟮木嚯x更小時，對象距離信息具有更小的值，而當(dāng)?shù)綄ο蟮木嚯x更大時，對象距離信息具有更大值。例如，在圖7B中，當(dāng)坐標(biāo)位置在所拍攝圖像中的最近側(cè)地面上時，該值是10，而當(dāng)坐標(biāo)位置在所拍攝圖像中的空中時，該值是99。在圖6中的成像信息包括相機(jī)設(shè)定，諸如，拍攝日期和時間、曝光控制值、以及縮放比率和透鏡信息。顯影參數(shù)包括白平衡值和用于顯影原始數(shù)據(jù)的Y值。在圖5中，成像裝置10確定成像在步驟ST2中是否完成。當(dāng)成像裝置10繼續(xù)成像操作時，處理返回到步驟STl ;當(dāng)成像裝置10完成成像操作時，處理返回到步驟ST3。成像裝置10繼續(xù)成像，直到成像結(jié)束處理被執(zhí)行為止，并且，當(dāng)成像結(jié)束處理被執(zhí)行時，完成成像。例如當(dāng)所拍攝的圖像的預(yù)定數(shù)目的幀被生成或用于由成像裝置10來生成全景圖像的轉(zhuǎn)動操作或平行運(yùn)動操作被完成時，成像裝置10可確定成像的結(jié)束。成像裝置10在步驟ST3中執(zhí)行合成。成像裝置10通過從多個存儲在存儲器單元41中的所拍攝的圖像中剪切圖像并將其組合來創(chuàng)建帶有廣視角的合成圖像，并且，處理進(jìn)行到步驟ST4。成像裝置10還基于對象距離信息來控制圖像的合成，以創(chuàng)建高質(zhì)量合成圖像。在步驟ST4中，成像裝置10存儲合成圖像。成像裝置10通過將所創(chuàng)建的合成圖像的圖像數(shù)據(jù)記錄在存儲器單元41中或記錄介質(zhì)43中來存儲合成圖像。例如，成像裝置10將合成圖像的圖像數(shù)據(jù)與合成圖像中的對象距離信息、成像信息、顯影參數(shù)、模型信息等相關(guān)聯(lián)，并且如圖8中所示地存儲它們。圖9是示出了合成的流程圖。在步驟STll中，成像裝置10的圖像合成單元29獲 得圖像數(shù)據(jù)和對象距離信息。圖像合成單元29從存儲在存儲器單元41中的圖像數(shù)據(jù)和對象距離信息獲得將要組合的圖像數(shù)據(jù)和與圖像數(shù)據(jù)相關(guān)聯(lián)的對象距離信息，并且，處理進(jìn)行到步驟ST12。在步驟ST12中，圖像合成單元29檢測運(yùn)動向量。圖像合成單元29基于連續(xù)圖像的對象距離信息來檢測連續(xù)圖像之間的運(yùn)動向量。例如，圖像合成單元29檢測帶有更早時間戳的所拍攝的圖像中的在成像裝置的運(yùn)動方向上的結(jié)束區(qū)域的對象距離信息和帶有更晚時間戳和相關(guān)度變?yōu)樽罡咛幍奈恢玫乃臄z圖像的對象距離信息之間的相關(guān)度，并且，檢測運(yùn)動向量。當(dāng)圖像之間的運(yùn)動向量被基于對象距離信息獲得時，如果對象距離信息量很小，則運(yùn)動向量未以高準(zhǔn)確度獲得。因此，圖像合成單元29可基于對象距離信息執(zhí)行圖像之間的運(yùn)動向量的第一檢測，可基于第一檢測的結(jié)果來設(shè)定搜索范圍，并且，可利用搜索范圍中的圖像數(shù)據(jù)來執(zhí)行運(yùn)動向量的第二檢測。即，圖像合成單元29基于對象距離信息粗略地檢測運(yùn)動向量，并且然后，通過基于粗略檢測到的結(jié)果而設(shè)定搜索范圍以檢測搜索范圍中的圖像數(shù)據(jù)。如果運(yùn)動向量通過這種方式獲得，則與僅利用圖像數(shù)據(jù)的情形相比，可容易地檢測到運(yùn)動向量。另外，與僅利用對象距離信息的情形相比，可以以高準(zhǔn)確度來檢測運(yùn)動向量。在步驟ST13中，圖像合成單元29執(zhí)行放大/減小處理。圖像合成單元29基于對象距離信息來估計(jì)所拍攝圖像中的重復(fù)區(qū)域，并且，基于所估計(jì)的重復(fù)區(qū)域中的對象距離信息的差來放大/減小圖像。例如，帶有小對象距離信息的對象位于附近并具有大的圖像大小；帶有大的對象距離信息的對象位于遠(yuǎn)處并具有小的圖像大小。當(dāng)相同的對象具有不同的距離信息時，對象的圖像大小被假定為不同。因此，圖像合成單元29執(zhí)行放大/減小處理，以匹配在連續(xù)圖像中的相同對象的圖像大小，并且，處理進(jìn)行到步驟ST14。對象距離信息和圖像大小取決于成像透鏡單元11等的縮放比率。因此，當(dāng)圖像根據(jù)對象距離信息的差被放大或減小時，基于包括在成像信息中的相機(jī)設(shè)置和透鏡信息，足以確定放大和減小比率。在步驟ST14中，圖像合成單元29確定對象區(qū)域。圖像合成單元29基于對象距離信息來確定在所拍攝的圖像中的附近對象的區(qū)域。例如，假定附近對象的對象距離信息值為大，而遠(yuǎn)對象的對象距離信息值為小。在該情形中，圖像合成單元29假定其對象距離信息小于預(yù)設(shè)閾值的區(qū)域?yàn)楦浇鼘ο蟮膮^(qū)域，并且，處理進(jìn)行到步驟ST15。在所拍攝圖像中的附近對象和遠(yuǎn)對象之間的縫中，對象距離信息的差很大。因此，通過利用帶有周圍對象距離信息的差，可確定附近對象的區(qū)域。另外，由圖像處理所獲得的對象檢測結(jié)果以及對象距離信息可被用于檢測所希望的附近對象。例如，通過執(zhí)行對在基于對象距離信息所檢測的附近對象的區(qū)域中的圖像的臉部識別，可確切地檢測附近的人。如果人臉向后轉(zhuǎn)，則他或她的臉部未被識別，但是，可基于對象距離信息來確定該人是否是附近對象。在步驟ST15中，圖像合成單元29確定是否包括附近對象。當(dāng)對象合成單元29確定包括了附近對象時，處理進(jìn)行到步驟ST16。否則，處理進(jìn)行到步驟ST17。在步驟ST16中，圖像合成單元29剪切圖像，而不分割附近對象的區(qū)域。圖像合成單元29確定剪切位置和剪切寬度(對應(yīng)于合成圖像的縱向方向的大小)，使得在步驟ST14中所檢測到的附近對象的區(qū)域未被剪切圖像所分割，并且，在合成圖像期間，圖像在縫處變?yōu)檫B續(xù)的。如果使用了所檢測到的運(yùn)動向量，則可容易地確定剪切位置和剪切寬度，使得在合成圖像期間，圖像在縫處變?yōu)檫B續(xù)的。圖像合成單元29從所拍攝的圖像剪切出用于合成的圖像，并且，處理進(jìn)行到步驟ST18。圖像合成單元29基于對象距離信息來確定附近對象 的區(qū)域是否冗余地呈現(xiàn)在多于一個所拍攝的圖像中。當(dāng)區(qū)域被冗余地呈現(xiàn)時，圖像被從所拍攝的圖像中剪切出來，在該所拍攝的圖像中，附近對象的區(qū)域更靠近中心。因此，圖像被從更少地受到圖像失真的影響的附近對象的區(qū)域中剪切?；趯?yīng)于附近對象的區(qū)域的對象距離信息的相關(guān)度的檢測結(jié)果，附近對象的區(qū)域是否冗余地呈現(xiàn)被確定。例如，當(dāng)附近對象的區(qū)域彼此匹配時，對應(yīng)于附近對象的區(qū)域的對象距離信息的相關(guān)度變得很高。因此，基于附近對象信息的相關(guān)度，可確定附近對象的區(qū)域是否被冗余地呈現(xiàn)。可以以與稍后描述的運(yùn)動向量相同的方式來檢測相關(guān)度。在步驟ST17中，圖像合成單元29剪切位于中心處的圖像。圖像合成單元29從中心剪切用于合成的圖像，其更少地受由成像透鏡單元11等所導(dǎo)致的失真的影響，并且，處理進(jìn)行到步驟ST18。圖像合成單元29還確定剪切位置和剪切寬度，使得當(dāng)組合圖像時，在縫處的圖像變?yōu)檫B續(xù)的。在步驟ST18中，圖像合成單元29合成圖像。圖像合成單元29通過基于在步驟ST12中所檢測到的運(yùn)動向量來調(diào)整位置從而合成在步驟ST16或步驟ST17中所剪切出的圖像，使得在縫處的圖像變?yōu)檫B續(xù)的，并且，處理進(jìn)行到步驟ST19。在步驟ST19處，圖像合成單元29將對象距離信息與合成圖像相關(guān)聯(lián)。圖像合成單元29將基于對圖像的放大或減小而校正的對象距離信息與合成圖像相關(guān)聯(lián)，并且，處理進(jìn)行到步驟ST20。由于在圖像合成中圖像被基于運(yùn)動向量而剪切或合成，因此，可認(rèn)為在合成圖像中的距離測量點(diǎn)的間隔在縫處變得很短。因此，對應(yīng)于帶有相同間隔的對象距離信息由線性插入等計(jì)算，并且，對象距離信息可與合成圖像相關(guān)聯(lián)。在步驟ST20中的合成被確定為完成之后，可執(zhí)行步驟ST19中的處理?？商鎿Q地，僅有對合成圖像的創(chuàng)建可被執(zhí)行，而無需執(zhí)行步驟ST19中的處理。在步驟ST20中，圖像合成單元29確定是否已經(jīng)合成了最后的圖像。當(dāng)留下了未被以上處理所使用的圖像時，處理返回到步驟ST1。當(dāng)利用所有圖像完成了以上處理時，圖像合成單元29完成了合成。圖IOA和IOB示出了對合成圖像的生成。圖IOA示出了多個所拍攝的圖像Pl至P5 ;圖IOB示出了合成的圖像。圖像合成單元29獲得所拍攝的圖像的圖像數(shù)據(jù)和對象距離信息，以執(zhí)行對象區(qū)域檢測處理。例如假定在所拍攝的圖像Pl中檢測到對象OBl和0B2的區(qū)域，在所拍攝的圖像P2中檢測到對象0B2和0B3的區(qū)域，在所拍攝的圖像P3中檢測到對象0B3的區(qū)域，其被作為在對象區(qū)域監(jiān)測處理中的附近對象的區(qū)域。圖像合成單元29檢測運(yùn)動向量并執(zhí)行放大/減小處理。稍后將參照圖IlA至圖IlC來描述對運(yùn)動向量的檢測和放大/減小處理。當(dāng)包括了附近對象時，圖像合成單元29通過確定剪切位置和剪切寬度來剪切出將要用于合成的圖像，使得附近對象的區(qū)域未被分割，并且，在合成之后，在附近對象的區(qū)域中的圖像未被呈現(xiàn)在縫上。圖像合成單元29基于對象距離信息來確定附近對象的區(qū)域是否被冗余地呈現(xiàn)在所拍攝的圖像上。當(dāng)附近對象的區(qū)域被冗余地呈現(xiàn)在所拍攝的圖像上時，圖像合成單元29剪切位于更靠近中心處的附近對象的區(qū)域中的圖像。假定在所拍攝的圖像Pl中，對象OBl和0B2被檢測為附近對象，在所拍攝的圖像P2中，對象0B2和0B3被檢測為附近對象，并且，在所拍攝的圖像P23中，對象0B3被檢測為附近對象。還假定對象0B2被冗余地呈現(xiàn)在所拍攝的圖像Pl和P2中，而對象0B3被冗余地呈現(xiàn)在所拍攝的圖像P2和P3中。另外，還假定具有布置在其中心處的對象0B2的圖像是所拍攝的圖像P2，而具有 布置在其中心處的對象0B3的圖像是所拍攝的圖像P3。在該情形中，圖像合成單元29從在圖像被組合的方向上的位于更靠近中心的所拍攝的圖像中剪切附近對象的區(qū)域中的圖像。即，圖像合成單元29從所拍攝的圖像P2或之后的圖像中剪切包括在所拍攝的圖像Pl中的對象0B2，并且，設(shè)定剪切區(qū)域AR1，以防止在所拍攝圖像Pl中的對象OBl的區(qū)域被分割。圖像合成單元29還從所拍攝的圖像P3或之后的圖像中剪切包括在所拍攝的圖像P2中的對象0B3的圖像，并且，設(shè)定剪切區(qū)域AR2，以防止所拍攝的圖像P2中的對象0B2的區(qū)域被分割。圖像合成單元29通過由合成而組合剪切區(qū)域ARl和AR2中的圖像來創(chuàng)建合成圖像。對象0B3被冗余地呈現(xiàn)在所拍攝的圖像P3和P4中，并且，具有在圖像被組合的方向上的更靠近中心的對象0B3的圖像是所拍攝的圖像P3。因此，圖像合成單元29通過設(shè)定剪切區(qū)域AR3來執(zhí)行剪切，使得包括在所拍攝圖像P3中的對象0B3的區(qū)域未被分割。另夕卜，圖像合成單元29通過組合剪切區(qū)域AR3中的圖像和通過圖像合成所獲得的合成圖像來創(chuàng)建帶有廣視角的合成圖像。通過重復(fù)相同的處理直到達(dá)到最后所拍攝的圖像為止，可創(chuàng)建帶有廣視角的在圖IOB中所示的合成圖像PG。圖像被以這種方式剪切出來，使得一個圖像切換到圖IOA中的縫處的另一圖像，但是，它們可被以這種方式剪切，使得鄰近圖像的部分在縫處彼此重疊。圖IlA至圖IlC示出了運(yùn)動向量和放大/減小處理。圖IlA示出了用于計(jì)算運(yùn)動向量和放大/減小處理的兩個連續(xù)圖像(例如，所拍攝的圖像Pl和所拍攝的圖像P2)。圖IlB示出了所拍攝的圖像Pl和所拍攝的圖像P2的對象距離信息。例如，當(dāng)檢測所拍攝的圖像Pl和所拍攝的圖像P2之間的運(yùn)動向量時，圖像合成單元29檢測帶有更早時間戳的在成像裝置在所拍攝的圖像Pl中移動的方向上結(jié)束側(cè)DLa的對象距離信息和帶有更晚時間戳的所拍攝圖像P2的對象距離信息之間的相關(guān)度，以獲得相關(guān)度變?yōu)樽罡咛幍奈恢?。如果所拍攝的圖像P2的對象距離信息的區(qū)域DLb中的相關(guān)度變?yōu)樽罡?，則所拍攝圖像Pl和所拍攝圖像P2之間的運(yùn)動向量MV可如圖IlC中所示地從結(jié)束側(cè)區(qū)域DLa和區(qū)域DLb中獲得。如果搜索范圍關(guān)于區(qū)域DLb被設(shè)定并且檢測到在結(jié)束側(cè)區(qū)域DLa中的圖像和在搜索范圍中的圖像之間的相關(guān)度，則可以以高準(zhǔn)確度來檢測運(yùn)動向量，即便當(dāng)由于所測量的點(diǎn)很少而沒有很多對象距離信息時也是如此。圖像合成單元29基于對象距離信息估計(jì)所拍攝的圖像中的重復(fù)區(qū)域，并且，基于所估計(jì)的重復(fù)區(qū)域中的對象距離信息中的差來放大或減小圖像。例如，圖像合成單元29檢測對象距離信息的相關(guān)度，并且，將帶有高相關(guān)度的區(qū)域確定為重復(fù)區(qū)域。如上所述，通過檢測與對象距離的相關(guān)度并獲得帶有最高相關(guān)度的位置，運(yùn)動向量被檢測。由于所拍攝圖像中的重復(fù)區(qū)域被檢測以檢測運(yùn)動向量，因此，根據(jù)所檢測的重復(fù)區(qū)域中的對象距離信息的差，足以放大或減小圖像。即，根據(jù)所拍攝的圖像Pl只弄個的結(jié)束側(cè)區(qū)域DLa的對象距離信息和所拍攝圖像P2中的區(qū)域DLb的對象距離信息之間的差，圖像被放大或減小。在圖IlB中，區(qū)域DLb的對象距離信息值小于結(jié)束側(cè)區(qū)域DLa的對象距離信息值。因此，所拍攝的圖像P2被確定為已經(jīng)在比所拍攝的圖像Pl更靠近對象的位置中被拍攝，并且，所拍攝的圖像P2被減小?；谙鄼C(jī)設(shè)定和透鏡信息，減小比率被確定。如果基于對象距離信息，放
大/減小處理被以這種方式執(zhí)行，則在縫處的連續(xù)性可被確保，即便當(dāng)多個圖像被拍攝，同時成像裝置被保持并移動到院里對象的方向上并轉(zhuǎn)動，并且然后，所拍攝的圖像被組合時也是如此。如果圖像基于運(yùn)動向量被剪切并合成，則當(dāng)運(yùn)動向量與合成圖像的縱向方向反向傾斜時，合成圖像可能不是如圖IlC所示的矩形。因此，圖像合成單元29執(zhí)行對合成圖像的修剪，以形成矩形圖像，并將所修剪的圖像PH作為合成圖像保存。在本規(guī)范中所描述的一系列處理可由硬件、軟件或二者的組合結(jié)構(gòu)執(zhí)行。當(dāng)處理由軟件執(zhí)行時，記錄處理序列的程序可被安裝在嵌入到專用硬件中的計(jì)算機(jī)的存儲器中并且然后被執(zhí)行?？商鎿Q地，程序可被安裝在可執(zhí)行處理并可被執(zhí)行的通用計(jì)算機(jī)中。例如，程序可被預(yù)先記錄在記錄介質(zhì)中，諸如，硬盤或ROM(只讀存儲器)?？商鎿Q地，程序可被暫時或永久地存儲(記錄)在可移除記錄介質(zhì)中，諸如，靈活盤、CD-ROM(緊致盤只讀存儲器)、MO (磁光)盤、DVD (通用盤)、磁盤、半導(dǎo)體存儲器卡等。這種類型的可移除記錄介質(zhì)可被證明為所謂的封裝軟件。除了從可移除記錄介質(zhì)被安裝在計(jì)算機(jī)中以外，通過經(jīng)由諸如LAN(局域網(wǎng))或因特網(wǎng)之類的網(wǎng)絡(luò)的無線或有線連接，程序可被轉(zhuǎn)移到計(jì)算機(jī)。計(jì)算機(jī)可接收通過這種方式轉(zhuǎn)移的程序，并且，將其安裝在諸如硬盤等之類的嵌入式記錄介質(zhì)中。當(dāng)一系列處理被由硬件、軟件或二者的組合結(jié)構(gòu)執(zhí)行時，所拍攝圖像的圖像數(shù)據(jù)和對應(yīng)于所拍攝圖像的對象距離信息可從記錄介質(zhì)中讀取或可經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲得。另外，圖像數(shù)據(jù)和對象距離信息可經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲得，并且，合成圖像可由成像裝置創(chuàng)建。根據(jù)本技術(shù)的實(shí)施例，未經(jīng)分割，附近對象被剪切以用于圖像合成。因此，可以容易地創(chuàng)建帶有廣視角的高質(zhì)量合成圖像，而無需選擇將要被覆蓋的圖像或用所選擇的圖像來覆蓋縫。當(dāng)附近對象被包括在多個所拍攝的圖像中或沒有包括附近對象時，可創(chuàng)建高質(zhì)量合成圖像，因?yàn)閳D像可從一部分中剪切出來，該部分是更少地受圖像失真的影響的部分。另外，相同對象的大小變得相同，因?yàn)榉糯?減小處理根據(jù)重復(fù)部分的對象距離信息中的差而被執(zhí)行。因此，在縫處的連續(xù)性可被確保，即便到對象的距離在成像期間在所拍攝的圖像之間變化也如此。另外,對象距離信息可被用來容易地檢測運(yùn)動向量。本技術(shù)不應(yīng)當(dāng)限制為以上實(shí)施例。例如，在以上實(shí)施例中，圖像被以矩形的方式剪切，但是，它們可根據(jù)附近對象的形狀被剪切。已剪切的圖像可被放大或減小，以確?？p處的連續(xù)性。本技術(shù)的實(shí)施例公開了本技術(shù)的示例，因此，本領(lǐng)域技術(shù)人員可在不偏離技術(shù)的范圍的前提下修改或替換實(shí)施例。因此，本技術(shù)的實(shí)質(zhì)應(yīng)當(dāng)根據(jù)本技術(shù)的實(shí)施例來判斷。本技術(shù)的實(shí)施例還可按照以下所示的來配置。(I) 一種圖像合成裝置，包括對象區(qū)域確定單元，該對象區(qū)域確定單元基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域；以及
圖像合成單元，該圖像合成單元通過基于所述附近對象的區(qū)域的位置從每個所拍攝圖像中剪切圖像并組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。(2)根據(jù)(I)所述的圖像合成裝置，其中，所述圖像合成單元在不分割所述附近對象的區(qū)域的情況下剪切圖像。(3)根據(jù)⑴或⑵所述的圖像合成裝置，其中，所述圖像合成單元在除了所述附近對象的區(qū)域之外的區(qū)域的中心處剪切圖像。(4)根據(jù)(I)至(3)中的任一項(xiàng)所述的圖像合成裝置，其中，所述圖像合成單元基于所述對象距離信息來確定所述附近對象的區(qū)域是否被冗余地呈現(xiàn)在所拍攝的圖像中，并且，當(dāng)所述附近對象的區(qū)域被冗余地呈現(xiàn)時，所述圖像合成單元從一拍攝圖像剪切出所述附近對象的區(qū)域中的圖像，在該拍攝圖像中，所述附近對象的區(qū)域最靠近該拍攝圖像的中心，該拍攝圖像是所拍攝圖像中的一個。(5)根據(jù)(I)至(4)中的任一項(xiàng)所述的圖像合成裝置，其中，所述圖像合成單元從一拍攝圖像剪切出所述附近對象的區(qū)域中的圖像，在該拍攝圖像中，所述附近對象的區(qū)域最靠近該拍攝圖像的中心。(6)根據(jù)(I)至(5)中的任一項(xiàng)所述的圖像合成裝置，其中，所述圖像合成單元基于對應(yīng)于所確定的附近對象的區(qū)域的對象距離信息的相關(guān)度來確定所述附近對象的區(qū)域是否被冗余地呈現(xiàn)在所拍攝圖像中。(7)根據(jù)(I)至￠)中的任一項(xiàng)所述的圖像合成裝置，還包括放大/減小單元，該放大/減小單元基于所述對象距離信息來估計(jì)所拍攝圖像中的重復(fù)區(qū)域，并且，根據(jù)所估計(jì)的重復(fù)區(qū)域中的對象距離信息的差來放大或減小所拍攝圖像；其中，所述圖像合成單元利用根據(jù)所述對象距離信息的差而被放大或減小的所拍攝圖像來創(chuàng)建合成圖像。(8)根據(jù)(7)所述的圖像合成裝置，其中，所述放大/減小單元基于所述對象距離信息的相關(guān)度來估計(jì)所拍攝圖像中的重復(fù)區(qū)域。(9)根據(jù)(I)至(8)中的任一項(xiàng)所述的圖像合成裝置，還包括運(yùn)動向量檢測單元，該運(yùn)動向量檢測單元基于所述對象距離信息來檢測兩個連續(xù)拍攝圖像之間的運(yùn)動向量；其中，所述圖像合成單元基于所檢測到的運(yùn)動向量來創(chuàng)建合成圖像。(10)根據(jù)(9)所述的圖像合成裝置，其中，所述運(yùn)動向量檢測單元基于所述對象距離信息執(zhí)行對所拍攝圖像之間的運(yùn)動向量的第一檢測，基于所述第一檢測的結(jié)果來設(shè)定搜索范圍，并且，利用在所述搜索范圍中的圖像數(shù)據(jù)來執(zhí)行對所述運(yùn)動向量的第二檢測。(11)根據(jù)(I)至(10)中的任一項(xiàng)所述的圖像合成裝置，其中，所述對象區(qū)域確定單元比較預(yù)設(shè)閾值和所述對象距離信息，并且，基于比較的結(jié)果來確定所述附近對象的區(qū)域。
本公開包含與在2011年3月11日遞交到日本專利局的日本在先專利申請JP2011-054033中所公開的主題相關(guān)的主題，該在先申請的全部內(nèi)容通過引用被結(jié)合于此。
權(quán)利要求
1.一種圖像合成裝置，包括 對象區(qū)域確定單元，該對象區(qū)域確定單元基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域；以及 圖像合成単元，該圖像合成単元通過基于所述附近對象的區(qū)域的位置從每個所拍攝圖像中剪切圖像并組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。
2.根據(jù)權(quán)利要求I所述的圖像合成裝置，其中，所述圖像合成単元在不分割所述附近對象的區(qū)域的情況下剪切圖像。
3.根據(jù)權(quán)利要求I所述的圖像合成裝置，其中，所述圖像合成単元在除了所述附近對象的區(qū)域之外的區(qū)域的中心處剪切圖像。
4.根據(jù)權(quán)利要求I所述的圖像合成裝置，其中，所述圖像合成単元基于所述對象距離信息來確定所述附近對象的區(qū)域是否被冗余地呈現(xiàn)在所拍攝的圖像中，并且，當(dāng)所述附近對象的區(qū)域被冗余地呈現(xiàn)時，所述圖像合成單元從一拍攝圖像剪切出所述附近對象的區(qū)域中的圖像，在該拍攝圖像中，所述附近對象的區(qū)域最靠近該拍攝圖像的中心，該拍攝圖像是所拍攝圖像中的ー個。
5.根據(jù)權(quán)利要求4所述的圖像合成裝置，其中，所述圖像合成單元從一拍攝圖像剪切出所述附近對象的區(qū)域中的圖像，在該拍攝圖像中，所述附近對象的區(qū)域最靠近該拍攝圖像的中心。
6.根據(jù)權(quán)利要求4所述的圖像合成裝置，其中，所述圖像合成単元基于對應(yīng)于所確定的附近對象的區(qū)域的對象距離信息的相關(guān)度來確定所述附近對象的區(qū)域是否被冗余地呈現(xiàn)在所拍攝圖像中。
7.根據(jù)權(quán)利要求I所述的圖像合成裝置，還包括 放大/減小單元，該放大/減小單元基于所述對象距離信息來估計(jì)所拍攝圖像中的重復(fù)區(qū)域，并且，根據(jù)所估計(jì)的重復(fù)區(qū)域中的對象距離信息的差來放大或減小所拍攝圖像； 其中，所述圖像合成単元利用根據(jù)所述對象距離信息的差而被放大或減小的所拍攝圖像來創(chuàng)建合成圖像。
8.根據(jù)權(quán)利要求7所述的圖像合成裝置，其中，所述放大/減小單元基于所述對象距離信息的相關(guān)度來估計(jì)所拍攝圖像中的重復(fù)區(qū)域。
9.根據(jù)權(quán)利要求I所述的圖像合成裝置，還包括 運(yùn)動向量檢測單元，該運(yùn)動向量檢測單元基于所述對象距離信息來檢測兩個連續(xù)拍攝圖像之間的運(yùn)動向量； 其中，所述圖像合成単元基于所檢測到的運(yùn)動向量來創(chuàng)建合成圖像。
10.根據(jù)權(quán)利要求9所述的圖像合成裝置，其中，所述運(yùn)動向量檢測單元基于所述對象距離信息執(zhí)行對所拍攝圖像之間的運(yùn)動向量的第一檢測，基于所述第一檢測的結(jié)果來設(shè)定捜索范圍，并且，利用在所述搜索范圍中的圖像數(shù)據(jù)來執(zhí)行對所述運(yùn)動向量的第二檢測。
11.根據(jù)權(quán)利要求I所述的圖像合成裝置，其中，所述對象區(qū)域確定單元比較預(yù)設(shè)閾值和所述對象距離信息，并且，基于比較的結(jié)果來確定所述附近對象的區(qū)域。
12.—種圖像合成方法，包括 基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域；基于所述附近對象的區(qū)域的位置來從每個所拍攝圖像中剪切圖像；以及 組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。
13.—種讓計(jì)算機(jī)執(zhí)行用于從多個所拍攝圖像創(chuàng)建帶有廣視角的合成圖像的圖像合成處理的程序，所述處理包括 基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域； 基于所述附近對象的區(qū)域的位置來從每個所拍攝圖像中剪切圖像；以及 組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。
全文摘要
本發(fā)明公開了圖像合成裝置、圖像合成方法和圖像合成程序。一種圖像合成裝置包括對象區(qū)域確定單元，該對象區(qū)域確定單元基于在成像期間所進(jìn)行的距離測量所生成的多個點(diǎn)的對象距離信息，確定針對每個所拍攝圖像的附近對象的區(qū)域；以及圖像合成單元，該圖像合成單元通過基于附近對象的區(qū)域的位置來從每個所拍攝圖像中剪切圖像并組合針對每個所拍攝圖像的剪切圖像來創(chuàng)建合成圖像。
文檔編號H04N5/232GK102685365SQ20121005913
公開日2012年9月19日 申請日期2012年3月5日 優(yōu)先權(quán)日2011年3月11日
發(fā)明者杉山雅俊, 鹽野徹, 藤井真一 申請人:索尼公司