本發(fā)明涉及分析圖像數(shù)據(jù)，并使用該分析結(jié)果合成圖像數(shù)據(jù)的圖像處理裝置和圖像處理方法。

背景技術(shù)：

通常進(jìn)行如下的攝影手法：利用長(zhǎng)時(shí)間攝影，將伴隨地球的自轉(zhuǎn)的星球的移動(dòng)軌跡或煙花、熒光等的光的軌跡顯現(xiàn)于1張圖片上。

在近些年來銷售的數(shù)字相機(jī)中執(zhí)行如下方法：對(duì)連續(xù)攝影的多幀圖像使用數(shù)字相機(jī)內(nèi)的圖像處理功能、以及在攝影后使用基于pc(personalcomputer：個(gè)人計(jì)算機(jī))的圖像處理軟件的圖像合成功能而實(shí)施相加合成或比較亮合成處理，合成為對(duì)上述的光的軌跡進(jìn)行攝影的1張圖片。

例如，在日本國(guó)公開專利2013-62740號(hào)公報(bào)(以下，稱作“專利文獻(xiàn)1”)中提出了如下的相機(jī)，其對(duì)連續(xù)攝影的多幀圖像實(shí)施比較亮合成處理，能夠?qū)獾能壽E進(jìn)行攝影。該相機(jī)相比使用pc等在攝影后進(jìn)行合成處理的情況而言，相機(jī)在進(jìn)行攝影的同時(shí)就能夠自動(dòng)進(jìn)行合成處理，因此能夠簡(jiǎn)單地對(duì)光的軌跡進(jìn)行攝影。另一方面，利用pc在攝影后進(jìn)行合成處理的情況下，通過變更要合成的幀數(shù)來進(jìn)行合成，從而合成為顯現(xiàn)出希望的長(zhǎng)度的軌跡的圖片，或者能夠使用在內(nèi)置于相機(jī)中的圖像處理程序中不具備的各種圖像處理功能，能夠通過詳細(xì)的畫質(zhì)調(diào)整生成符合攝影者的喜好的圖片。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明欲解決的課題

然而，專利文獻(xiàn)1所公開的相機(jī)中，例如在將星光的軌跡作為被攝體進(jìn)行攝影的過程中，如果在被攝體中映入了飛機(jī)或人造衛(wèi)星等與星不同的光的軌跡，則對(duì)于希望以星光的軌跡為主要被攝體進(jìn)行攝影的攝影者而言會(huì)成為不符合意圖的圖片。另外，不僅對(duì)于星，在將熒光或煙花等星以外的光的軌跡作為主要被攝體進(jìn)行攝影而準(zhǔn)備合成印象類圖片的情況也相同。此外，有些攝影者希望按照每種光的軌跡而進(jìn)行不同的圖像調(diào)整(例如，不變更背景或星光等，以使得煙花的軌跡的顏色更為顯著的方式進(jìn)行畫質(zhì)調(diào)整)，然而由于無法按照每種軌跡加以區(qū)分，因此無法應(yīng)對(duì)這種要求。

本發(fā)明的目的在于，提供一種能夠根據(jù)軌跡的種類檢測(cè)顯現(xiàn)于圖像上的各種光的軌跡的圖像處理裝置和圖像處理方法。

用于解決課題的手段

本發(fā)明的第1方面的圖像處理裝置具有：軌跡提取部，其提取在由多個(gè)像素值構(gòu)成的圖像數(shù)據(jù)中連續(xù)成為規(guī)定值以上的區(qū)域作為軌跡；軌跡判別部，其判別通過上述軌跡提取部提取的上述軌跡的移動(dòng)狀態(tài)；以及軌跡檢測(cè)部，其根據(jù)通過上述軌跡判別部判別的移動(dòng)狀態(tài)，檢測(cè)上述軌跡的種類。

本發(fā)明的第2方面的圖像處理方法包括：提取由多個(gè)像素值構(gòu)成的圖像數(shù)據(jù)的連續(xù)成為規(guī)定值以上的區(qū)域作為軌跡，根據(jù)提取的上述軌跡判別上述軌跡的移動(dòng)狀態(tài)，根據(jù)上述判別出的移動(dòng)狀態(tài)，進(jìn)行檢測(cè)上述各軌跡的種類的處理。

發(fā)明的效果

根據(jù)本發(fā)明，可提供能夠檢測(cè)顯現(xiàn)于合成圖像上的各種光的軌跡的圖像處理裝置和圖像處理方法。

附圖說明

圖1是表示本發(fā)明第1實(shí)施方式的相機(jī)的主要電氣結(jié)構(gòu)圖的圖。

圖2是表示本發(fā)明第1實(shí)施方式的相機(jī)的動(dòng)作序列的流程圖。

圖3是表示本發(fā)明第1實(shí)施方式的相機(jī)中的組分配的動(dòng)作序列的流程圖。

圖4是表示本發(fā)明第1實(shí)施方式的相機(jī)中的檢測(cè)顯現(xiàn)于圖像上的軌跡的動(dòng)作序列的流程圖。

圖5a-圖5d是說明在本發(fā)明第1實(shí)施方式的相機(jī)中檢測(cè)軌跡的原理的圖。

圖6是表示在本發(fā)明第1實(shí)施方式的相機(jī)中合成圖像數(shù)據(jù)的動(dòng)作序列的流程圖。

圖7是表示本發(fā)明第2實(shí)施方式的相機(jī)中的軌跡分析部的結(jié)構(gòu)的圖。

圖8是表示本發(fā)明第2實(shí)施方式的相機(jī)的動(dòng)作序列的流程圖。

圖9是說明在本發(fā)明第2實(shí)施方式的相機(jī)中，分析軌跡的方法的圖。

圖10a-圖10c是表示在本發(fā)明第2實(shí)施方式的相機(jī)中的軌跡的分析結(jié)果的圖。

圖11是表示在本發(fā)明第2實(shí)施方式的相機(jī)中的檢測(cè)軌跡的動(dòng)作序列的流程圖。

圖12是表示在本發(fā)明第2實(shí)施方式的相機(jī)中分析軌跡的方法的變形例及其效果的圖。

圖13是表示在本發(fā)明第2實(shí)施方式的相機(jī)中檢測(cè)軌跡并進(jìn)行圖像合成的方法的變形例的圖。

圖14是表示本發(fā)明第3實(shí)施方式的軌跡分析部、軌跡檢測(cè)部、記錄部的電氣結(jié)構(gòu)圖的圖。

圖15是表示應(yīng)用本發(fā)明第3實(shí)施方式的效果的圖。

具體實(shí)施方式

(實(shí)施方式的概要)

以下參照附圖，對(duì)本發(fā)明的圖像處理裝置的實(shí)施方式進(jìn)行詳細(xì)說明。以下所示的實(shí)施方式是應(yīng)用于使用本發(fā)明的圖像處理裝置的數(shù)字相機(jī)中的示例。

(第1實(shí)施方式)

首先，使用圖1對(duì)本實(shí)施方式的數(shù)字相機(jī)的結(jié)構(gòu)進(jìn)行說明。圖1表示數(shù)字相機(jī)內(nèi)部的框圖。本實(shí)施方式的數(shù)字相機(jī)1具有攝像部12、操作部10、顯示部11、圖像處理部14、記錄部15和控制部13。

雖然沒有圖示，然而攝像部12具有鏡頭、快門、攝像元件等。鏡頭是在攝像元件上使被攝體像成像的攝影光學(xué)系統(tǒng)。此外，鏡頭的內(nèi)部具有光圈機(jī)構(gòu)，利用光圈機(jī)構(gòu)調(diào)節(jié)光圈開口量，從而調(diào)節(jié)射入攝像元件的光量。快門配置于鏡頭與攝像元件之間，通過切換快門的開閉狀態(tài)來控制光向攝像元件的遮光、入射的控制和入射時(shí)間(快門速度)。另外，攝像部12可以利用電子快門等來控制曝光，從而省略快門和/或光圈。

攝像元件是ccd圖像傳感器或cmos圖像傳感器等的圖像傳感器，將入射到配置為二維形狀的多個(gè)像素的光學(xué)像按照每個(gè)像素變換為對(duì)應(yīng)于該光的強(qiáng)度的電氣信號(hào)(影像信號(hào))。并且，將與該各個(gè)像素對(duì)應(yīng)的電氣信號(hào)變換為數(shù)字輸出值，并作為圖像數(shù)據(jù)輸出。

操作部10未進(jìn)行圖示，其是各種的按鈕或基于選擇操作選擇的轉(zhuǎn)盤操作部、以及在顯示部11上一體構(gòu)成的觸摸面板等的操作輸入手段，相當(dāng)于用于供攝影者操作數(shù)字相機(jī)1的輸入if(接口)。顯示部11是液晶面板或有機(jī)el(electroluminescence：電致發(fā)光)顯示器，對(duì)數(shù)字相機(jī)的操作選擇、實(shí)時(shí)取景攝影時(shí)的實(shí)時(shí)取景圖像的顯示和攝影圖像進(jìn)行再現(xiàn)顯示。

圖像處理部14具有圖像合成部16、圖像分析部17、像素地址置換部18和顯像處理部19。

圖像合成部16對(duì)通過攝像部12攝影的多幀圖像數(shù)據(jù)或保存于記錄部15中的多幀的圖像數(shù)據(jù)進(jìn)行合成處理，生成作為合成處理后的圖像數(shù)據(jù)的合成圖像數(shù)據(jù)。圖像合成部16包含進(jìn)行多個(gè)圖像合成處理的單元，具體而言具有比較亮合成部161、比較暗合成部163、相加合成部162和平均合成部164。

比較亮合成部161對(duì)要合成的多幀的圖像數(shù)據(jù)，分別比較各自的相同地址的像素?cái)?shù)據(jù)的輸出，通過比較，實(shí)施將最大的像素?cái)?shù)據(jù)的輸出作為合成后的圖像數(shù)據(jù)的像素輸出的合成處理。在像素輸出相等的情況下將該輸出作為合成后的圖像數(shù)據(jù)。

比較暗合成部163對(duì)要合成的多幀的圖像數(shù)據(jù)，分別比較各自的相同地址的像素?cái)?shù)據(jù)的輸出，通過比較，實(shí)施將最小的像素?cái)?shù)據(jù)的輸出作為合成后的圖像數(shù)據(jù)的像素輸出的合成處理。在像素輸出相等的情況下將該輸出作為合成后的圖像數(shù)據(jù)。

相加合成部162對(duì)要合成的多幀的圖像數(shù)據(jù)，實(shí)施將把各自的相同地址的像素?cái)?shù)據(jù)相加而得到的值作為合成后的圖像數(shù)據(jù)的像素輸出的合成處理。平均合成部164對(duì)要合成的多幀的圖像數(shù)據(jù)，實(shí)施將對(duì)各自的相同地址的像素?cái)?shù)據(jù)求平均而得到的值作為合成后的圖像數(shù)據(jù)的像素輸出的合成處理。

另外，像素地址置換部18利用后述的圖像分析部17的分析結(jié)果，根據(jù)合成前的圖像數(shù)據(jù)(相當(dāng)于從攝像部12依次取得的圖像數(shù)據(jù))或圖像合成部16生成的合成后的圖像數(shù)據(jù)，實(shí)施將不要的光的軌跡置換為背景的像素輸出的處理。后面敘述具體的動(dòng)作。

圖像分析部17由像素地址提取部171、組分配部172、軌跡檢測(cè)部173和軌跡分析部174構(gòu)成。像素地址提取部171從合成前的圖像數(shù)據(jù)或圖像合成部16生成的合成后的圖像數(shù)據(jù)中提取指定的亮度以上的像素。組分配部172進(jìn)行將通過像素地址提取部171提取的像素中的與該像素相鄰的像素群作為一個(gè)組進(jìn)行分配處理。像素地址提取部171和組分配部172作為軌跡提取部發(fā)揮功能。

軌跡分析部174通過后述的方法對(duì)通過組分配部172分配的各組進(jìn)行分析。軌跡分析部174作為軌跡判別部發(fā)揮功能。軌跡檢測(cè)部173根據(jù)軌跡分析部174的分析結(jié)果，檢測(cè)在合成前的圖像數(shù)據(jù)或通過圖像合成部16合成的比較亮合成圖像數(shù)據(jù)或相加合成圖像數(shù)據(jù)上顯現(xiàn)的多個(gè)軌跡。軌跡檢測(cè)部173作為軌跡檢測(cè)部發(fā)揮功能。

顯像處理部19對(duì)通過攝像部12讀出的圖像數(shù)據(jù)或通過圖像合成部16合成的合成圖像數(shù)據(jù)實(shí)施逆馬賽克處理、伽馬校正處理、降噪處理、白平衡增益施加、根據(jù)顯示部11的顯示器件的圖像分辨率變更為圖像尺寸的尺寸調(diào)整處理等的通過一般的數(shù)字相機(jī)進(jìn)行的各種圖像處理。

記錄部15具有通過閃存存儲(chǔ)器、sd卡或cf卡(注冊(cè)商標(biāo))等實(shí)現(xiàn)的能夠拆裝于數(shù)字相機(jī)1上的非易失性存儲(chǔ)器、和作為易失性存儲(chǔ)器的dram存儲(chǔ)器。記錄部15具有圖像數(shù)據(jù)記錄部151、像素地址記錄部152和控制程序記錄部153。

圖像數(shù)據(jù)記錄部151存儲(chǔ)、保存通過攝像部12攝影的圖像數(shù)據(jù)或通過圖像合成部16合成的合成圖像數(shù)據(jù)等的圖像數(shù)據(jù)。像素地址記錄部152記錄通過圖像分析部17檢測(cè)的提取像素地址或通過后述的像素地址置換部18去除不要的光的軌跡時(shí)的該不要的光的軌跡的像素地址等像素地址?？刂瞥绦蛴涗洸?53保持用于利用控制部13控制數(shù)字相機(jī)各部的控制程序。

控制部13具有cpu(centralprocessingunit：中央處理單元)及其周邊電路，其根據(jù)經(jīng)由操作部10輸入的攝影者的操作指示或在控制程序記錄部153中記錄的控制程序，統(tǒng)一進(jìn)行相機(jī)各部的控制。作為具體的示例，進(jìn)行對(duì)于攝像部12的攝像控制、對(duì)于圖像處理部14的處理內(nèi)容的指示、以及對(duì)于記錄部15的動(dòng)作控制等。進(jìn)而，在圖像合成部16與記錄部15之間，作為數(shù)據(jù)信號(hào)的傳遞路徑而連接有總線。

(第1實(shí)施方式的作用說明)

下面，使用圖2至圖6說明本發(fā)明的第1實(shí)施方式的數(shù)字相機(jī)的動(dòng)作。本實(shí)施方式的動(dòng)作序列示出了選擇通過攝像部12對(duì)圖像數(shù)據(jù)連續(xù)進(jìn)行攝影，并將攝影的多幀的圖像數(shù)據(jù)合成的連續(xù)攝影模式的情況下的動(dòng)作。

首先根據(jù)控制部13的指示由攝像部12開始連續(xù)攝影，從攝像部12讀出圖像數(shù)據(jù)，被讀出的圖像數(shù)據(jù)保存于圖像數(shù)據(jù)記錄部151(s1)。

控制部13判定從攝像部12讀出的第n個(gè)圖像是否為連續(xù)攝影開始后第2幀起的攝影圖像數(shù)據(jù)(s2)。如果步驟s2的判定處理的結(jié)果為攝影圖像數(shù)據(jù)是第1幀的圖像數(shù)據(jù)(否)，則成為待機(jī)狀態(tài)，不進(jìn)行接下來(s3、s7起)的處理(再次返回上述s1的處理)，直至讀出第2幀起的圖像數(shù)據(jù)。另一方面，如果步驟s2的判定處理的結(jié)果為從攝像部12讀出第2幀起的圖像數(shù)據(jù)時(shí)(是)，在圖像處理部14中并行實(shí)施此后的s401～s51或s405～s52的處理和s7～s53的處理。

首先說明s3～s51和s3～s52的動(dòng)作。在步驟s3的處理中，在讀出的圖像是第2幀時(shí)(是)，像素地址提取部171針對(duì)第1幀的圖像提取明亮的像素地址。具體而言，提取作為某個(gè)閾值等級(jí)以上的輸出的像素的像素地址(s401)。這里，閾值等級(jí)既可以由攝影者通過操作部10指定，或者也可以使用在相機(jī)內(nèi)事先設(shè)定的初始值。在步驟s401的處理中，關(guān)于明亮的像素地址的提取，例如對(duì)排列為二維狀的像素輸出數(shù)據(jù)從最左上的像素開始進(jìn)行檢查，并向右側(cè)依次檢查。并且，在第1行的檢查結(jié)束后，對(duì)下一行同樣從左端的像素起依次檢查，直到作為最后的像素地址的最下行的右端的像素為止，由此對(duì)全部像素進(jìn)行檢查。

進(jìn)而，在到最后的像素地址為止的檢查完成后(s402是)，對(duì)于第2幀的圖像數(shù)據(jù)通過與s401和s402同樣的處理提取明亮的像素地址(s403、s404)。接著，對(duì)于第1幀、第2幀的圖像數(shù)據(jù)，通過組分配部172分別對(duì)所提取的像素地址進(jìn)行組分配處理(s51)。

這里，使用圖3說明組分配處理(s51)的具體動(dòng)作序列。首先對(duì)所提取的多個(gè)明亮像素地址中的坐標(biāo)最小的像素地址分配組g1(s31)。具體而言，關(guān)于x坐標(biāo)最小的地址，在存在多個(gè)x地址相同的像素的情況下，進(jìn)而優(yōu)先對(duì)y坐標(biāo)小的像素進(jìn)行分配處理。接著，對(duì)于分配給組g1的像素地址的上下左右和斜向的相鄰像素，搜索是否存在尚未進(jìn)行組分配但已被提取的明亮像素(s32)。

在步驟s32的搜索處理中，相鄰像素中存在明亮像素的情況下(s33：是)，對(duì)該相鄰像素也分配相同的組g1(s35)。作為接下來的處理，對(duì)是否存留有未進(jìn)行組分配的明亮像素進(jìn)行判定處理(s36)。在該判定處理中，在存在未被組分配的明亮像素的情況下(s36：否)，再次返回s32的處理，繼續(xù)對(duì)分配了g1的明亮像素的上下左右斜向的相鄰像素檢查是否存在尚未進(jìn)行組分配的明亮像素(s32)。

在步驟s32的檢查處理中，存在尚未進(jìn)行組分配的明亮像素的情況下(s33：是)，對(duì)該像素地址分配組g1。另一方面，在s33的檢查處理中，不存在相鄰的像素的情況下(s33：否)，轉(zhuǎn)移至對(duì)尚未進(jìn)行組分配的明亮像素地址中的x坐標(biāo)最小的像素地址分配組g2作為新組的處理(組g1的下一個(gè)是組g2，gm之后分配gm+1(m是1以上的正數(shù)))(s34)。對(duì)于g2也與g1同樣地，針對(duì)分配給g2的像素地址的相鄰像素檢查是否存在尚未進(jìn)行組分配的明亮像素。

這樣，對(duì)所提取的全部明亮像素地址進(jìn)行組分配。在對(duì)所有的已被提取的明亮像素地址完成了組分配時(shí)(s36：是)，組分配處理完畢。

下面，返回圖2的流程圖，說明步驟s3～s52的動(dòng)作序列。第3幀起的處理的情況下(s3：否)，對(duì)從攝像部12讀出的一幀圖像數(shù)據(jù)(第n幀的圖像數(shù)據(jù))，與s403～s51同樣地提取明亮像素(s405)，并對(duì)所提取的明亮像素進(jìn)行組分配處理(s52)(參照?qǐng)D3)。

此外，說明與s3～s51或s3～s52的處理并行執(zhí)行的s7～s53的處理。首先，對(duì)于在圖像數(shù)據(jù)記錄部151中保存的第n幀的讀出圖像數(shù)據(jù)和第n-1幀的讀出圖像數(shù)據(jù)，由比較暗合成部163來合成圖像數(shù)據(jù)(s7)。

這里，說明比較暗合成處理。比較暗合成指的是對(duì)要合成的多個(gè)圖像數(shù)據(jù)的相同地址的輸出進(jìn)行比較，將最小的輸出作為合成后的像素輸出的圖像合成方法。

在將第n幀的圖像數(shù)據(jù)的地址(x,y)的像素輸出設(shè)定為n(x,y)，將第n-1幀的圖像數(shù)據(jù)的地址(x,y)的像素輸出設(shè)定為n-1(x,y)，并將對(duì)第n幀和第n-1幀的圖像數(shù)據(jù)進(jìn)行了比較暗合成的合成圖像數(shù)據(jù)的地址(x,y)的像素輸出設(shè)定為n_n-1compd(x,y)時(shí)，比較暗合成處理可通過下式(1)表現(xiàn)。

n_n-1compd(x,y)＝min{n(x,y),n-1(x,y)}···(1)

這里，min{a,b}定義為輸出數(shù)值a和數(shù)值b中的小的一方的值的函數(shù)。

接著，通過像素地址提取部171對(duì)比較暗合成圖像n_n-1compd(x,y)提取明亮像素(s407)。具體而言，提取作為規(guī)定的閾值等級(jí)以上的輸出的像素的像素地址。這里，作為閾值等級(jí)既可以使用與在s401、s403、s405的處理中使用的值相同的值，也可以使用由攝影者通過操作部10指定的值，或者還可以使用在相機(jī)內(nèi)事先設(shè)定的值。

接著，與步驟s402、s404、s406同樣地，從圖像的左上開始進(jìn)行檢查，直至作為最后的像素的圖像的右下為止，檢查是否存在明亮像素。在檢查完成后(s408：是)，對(duì)于比較暗合成圖像n_n-1compd(x,y)的明亮像素，通過組分配部172根據(jù)與s51、s52和圖3所示的方法同樣的方法進(jìn)行組分配(s53)。

接著，將對(duì)第n幀的圖像和比較暗合成圖像n_n-1compd(x,y)進(jìn)行了組分配的各組作為光的軌跡，通過軌跡分析部174分析軌跡的移動(dòng)速度，通過軌跡檢測(cè)部173檢測(cè)移動(dòng)速度快和慢(包含不存在移動(dòng))的軌跡(s8)。

使用圖4說明步驟s8的軌跡分析/軌跡檢測(cè)的具體方法。這里，將對(duì)第n幀的圖像進(jìn)行了組分配的各組定義為g1_n,g2_n,g3_n,g4_n,g5_n,···,gm_n(m是1以上的整數(shù)，n表示第n幀)，并將對(duì)第n和第n-1幀的比較暗合成圖像進(jìn)行了組分配的各組定義為g1_ncompd,g2_ncompd,g3_ncompd,···,gl_ncompd(l是1以上的整數(shù))。

首先，在n＝2即第2幀的處理的情況下(s41：是)，將通過比較亮合成部161合成了第1幀的圖像數(shù)據(jù)與第2幀的圖像數(shù)據(jù)而得到的比較亮合成圖像數(shù)據(jù)或通過相加合成部162合成的相加合成圖像數(shù)據(jù)作為第n幀的圖像數(shù)據(jù)進(jìn)行此后的處理(s42)。在是第3幀起的處理的情況下(s41：否)，對(duì)未進(jìn)行合成的第n幀的圖像數(shù)據(jù)進(jìn)行處理。接著，檢測(cè)第n幀的圖像數(shù)據(jù)的組中的通過對(duì)到第n-1幀為止的圖像數(shù)據(jù)進(jìn)行的s44的處理而分類(檢測(cè))為低速度軌跡(s45)或高速度軌跡(s46)的以外的組(未分類的組)(s43)。

接著，通過軌跡分析部174對(duì)第n幀的最初的組g1_n中包含的像素地址，分析是否包含比較暗合成圖像的全部的提取組(g1_ncompd～gl_ncompd)中的任意的像素地址(s44)。這里，在得到了包含根據(jù)比較暗合成圖像數(shù)據(jù)而提取的明亮像素的組的像素地址的分析結(jié)果的情況下(s44：是)，通過軌跡檢測(cè)部173將該組g1_n檢測(cè)為以低速移動(dòng)的軌跡“低速度軌跡”(s45)。

另一方面，在步驟s44的檢查處理中，分析出不包含比較暗合成圖像的提取組的像素地址的情況下(s44：否)，通過軌跡檢測(cè)部173將該組g1_n檢測(cè)為以高速移動(dòng)的軌跡“高速度軌跡”(s46)。后面描述利用該方法檢測(cè)為以低速或高速移動(dòng)的軌跡的理由。

對(duì)于下一組g2_n的像素地址同樣檢查是否包含比較暗合成圖像數(shù)據(jù)的全部的提取組中的任意的像素地址(s44)。對(duì)第n幀的全部的組實(shí)施該檢查，檢測(cè)為“低速度軌跡”或“高速度軌跡”中的任意一個(gè)。直到第n幀的最后的組都結(jié)束了檢測(cè)時(shí)(s47：是)，轉(zhuǎn)移至接下來的處理。

接著，對(duì)第n幀圖像數(shù)據(jù)的各組gl_n(l是1以上的整數(shù))，檢查是否被檢測(cè)為“高速度軌跡”(s48)。步驟s48的檢查處理中，將被檢測(cè)為“高速度軌跡”的(s48：是)像素組的像素地址作為第n幀圖像數(shù)據(jù)的置換像素地址登錄于像素地址記錄部152(s49)

另一方面，步驟s48的檢查處理中，對(duì)于被檢測(cè)為“低速度軌跡”的像素組不特別進(jìn)行登錄而進(jìn)行下一個(gè)像素組的檢查(轉(zhuǎn)移至s410起的處理)。后面描述該處理的詳細(xì)情況，而在s48的檢查處理中，將被檢測(cè)為“高速度軌跡”的以高速移動(dòng)的光的軌跡(飛機(jī)等的軌跡)作為要從最終的合成圖像中排除的對(duì)象，并將像素地址登錄于像素地址記錄部152。直到第n幀的圖像數(shù)據(jù)的最后的組都結(jié)束了檢查后(s410：是)，結(jié)束軌跡的檢測(cè)，返回原本的流程。

另外，以上說明了在n＝2的情況下，將第1幀與第2幀的圖像數(shù)據(jù)的合成圖像數(shù)據(jù)作為第n幀的圖像進(jìn)行處理的內(nèi)容，然而也可以對(duì)第1幀、第2幀的各自的圖像數(shù)據(jù)分別進(jìn)行軌跡分析、檢測(cè)處理，并進(jìn)行置換像素地址的登錄。

下面，使用圖5a至圖5d說明在包含比較暗合成圖像數(shù)據(jù)的組的情況下判斷為以低速度移動(dòng)的軌跡的理由。例如舉例示出了在對(duì)星的軌跡(圖像im5a中的st)進(jìn)行攝影的過程中映入飛機(jī)的光的軌跡(圖像im5a中的ap)的情況。圖像im5a和圖像im5b表示連拍攝影的第n-1幀和第n幀的圖像。相比一般基于地球的自轉(zhuǎn)的星的移動(dòng)而言，飛機(jī)的移動(dòng)速度較快。此外，利用數(shù)字相機(jī)進(jìn)行連拍攝影的情況下會(huì)發(fā)生在第n-1幀的攝影結(jié)束和第n幀的攝影開始前不進(jìn)行攝影的未曝光期間。

具體而言，在第n-1幀攝影結(jié)束后暫時(shí)關(guān)閉機(jī)械快門，而在第n幀的攝影開始時(shí)進(jìn)行打開動(dòng)作，因此會(huì)發(fā)生大約0.1秒的關(guān)閉機(jī)械快門而不進(jìn)行攝影的期間，這就是未曝光期間。

這里示出了將顯現(xiàn)了在圖像im5c上顯現(xiàn)的飛機(jī)的軌跡的部分放大顯示的圖像im5d、以及將顯現(xiàn)出星光的軌跡的部分放大顯示的圖像im5e。進(jìn)而，在圖像im5d、圖像5e上假想性地顯示在第n-1幀、第n幀上顯現(xiàn)的各個(gè)光的軌跡。

首先，在顯現(xiàn)于圖像im5d的第n-1幀上的飛機(jī)的軌跡ap_n-1、顯現(xiàn)于第n幀上的飛機(jī)的軌跡ap_n中，飛機(jī)快速地移動(dòng)，因此由于未曝光期間，會(huì)在ap_n-1與ap_n之間發(fā)生軌跡的中斷部分。

另一方面，圖像im5e上的星的移動(dòng)非常緩慢地移動(dòng)，因此顯現(xiàn)于第n-1幀上的星的軌跡st_n-1與顯現(xiàn)于第n幀上的星的軌跡st_n之間不會(huì)中斷，會(huì)發(fā)生重復(fù)部分st_compd。當(dāng)對(duì)第n-1幀與第n幀的圖像數(shù)據(jù)進(jìn)行了比較暗合成時(shí)會(huì)如圖像im5f所示，在飛機(jī)的軌跡上反映出背景的夜空的亮度，因此不會(huì)顯現(xiàn)出軌跡。

另一方面，對(duì)于星的軌跡而言，第n-1幀與第n幀的星的軌跡中的重復(fù)部分(st_compd)顯現(xiàn)為明亮的點(diǎn)。而在星的軌跡上的不重復(fù)的部分，如果進(jìn)行比較暗合成則會(huì)反映出背景的夜空的亮度。這樣，在移動(dòng)速度較慢的星的軌跡上，如果進(jìn)行比較暗合成則軌跡的重復(fù)部分會(huì)顯現(xiàn)得較亮。另一方面，不會(huì)顯現(xiàn)出移動(dòng)速度快速的飛機(jī)的光的軌跡。

在圖4所示的軌跡的檢測(cè)的流程圖中，利用這種現(xiàn)象，將包含顯現(xiàn)于比較暗合成圖像數(shù)據(jù)上的明亮像素的組(即第n-1幀與第n幀的軌跡的重復(fù)部分)的明亮像素組檢測(cè)為以低速度移動(dòng)的軌跡(星的軌跡或其他不移動(dòng)的明亮被攝體)，并將除此以外的組檢測(cè)為以高速移動(dòng)的軌跡(飛機(jī)等光的軌跡)。

再次返回圖2所示的流程圖，接下來制作所登錄的合成圖像數(shù)據(jù)(圖2的s9)。使用圖6所示的流程圖說明生成合成圖像數(shù)據(jù)的處理的具體動(dòng)作序列。

首先，在第2幀的圖像數(shù)據(jù)的處理的情況下(s61：是)，對(duì)第1幀的各像素地址與在像素地址記錄部152中記錄的對(duì)第1幀與第2幀的合成圖像所登錄的置換像素地址進(jìn)行比較處理，檢查各像素地址與置換像素地址是否一致(s621)。

作為步驟s621中的檢查處理的結(jié)果，對(duì)于兩者的地址一致的像素，通過像素地址置換部18將該像素的輸出置換為第1幀與第2幀的比較暗合成圖像1_2compd(x,y)的相同像素地址的輸出(s622)。接著，在登錄于像素地址記錄部152中的所有的置換像素地址的置換完成后(s623：是)，對(duì)于第2幀的圖像數(shù)據(jù)，也與s621～s623同樣地進(jìn)行置換像素地址的像素輸出的置換(s631～633)。

在記錄于像素地址記錄部152中的所有的置換像素地址的置換完成后(s633是)，轉(zhuǎn)移到接下來的處理。將進(jìn)行了像素輸出的置換的第1幀的圖像數(shù)據(jù)與第2幀的圖像數(shù)據(jù)合成(s65)。這里的合成是用于將光的軌跡留存于合成圖像上的合成處理，進(jìn)行相加合成部162的相加合成處理或比較亮合成部161的比較亮合成處理。后面敘述合成方法的具體情況。合成完畢后將合成圖像數(shù)據(jù)作為累積合成圖像數(shù)據(jù)記錄于圖像數(shù)據(jù)記錄部151，并用于與下一幀(n＝3)的合成。

下面，說明步驟s61的判定結(jié)果是n≧3即第3幀起(s61：否)的處理。比較第n幀的各像素地址與記錄于像素地址記錄部152中的第n幀的置換像素地址是否一致(s641)。該比較處理的結(jié)果是兩者的地址一致的情況下，通過像素地址置換部18將該像素的輸出置換為第n幀與第n-1幀的比較暗合成圖像n_n-1compd(x,y)的相同像素地址的輸出(s642)。

下面，在登錄于像素地址記錄部152中的所有的置換像素地址的置換完成后(s643：是)，轉(zhuǎn)移到接下來的處理。將進(jìn)行了像素輸出的置換的第n幀的圖像數(shù)據(jù)與在圖像數(shù)據(jù)記錄部151中保存的第1幀至第n-1幀的累積合成圖像數(shù)據(jù)進(jìn)行合成(s66)。這里的合成是與步驟s65同樣的相加合成或比較亮合成。合成完成后將合成圖像數(shù)據(jù)作為累積合成圖像數(shù)據(jù)保存于圖像數(shù)據(jù)記錄部151，并用于與下一幀(n+1)的合成。

這里，對(duì)相加合成和比較亮合成說明具體內(nèi)容。相加合成是將把要合成的多個(gè)圖像數(shù)據(jù)的相同地址的像素輸出相加而得到的輸出作為合成后的像素輸出的合成方法，并且是在每次合成時(shí)，包含背景的亮度在內(nèi)圖像整體都逐漸變亮的處理。比較亮合成通過調(diào)節(jié)合成的張數(shù)而能夠?qū)?yīng)于光的軌跡的長(zhǎng)度來調(diào)整圖像整體的亮度。

具體而言，如果將第h幀的圖像數(shù)據(jù)的地址(x,y)的像素輸出設(shè)定為h(x,y)，將第h-1幀與第h幀的相加合成圖像數(shù)據(jù)的地址(x,y)的像素輸出設(shè)定為h_h-1comps(x,y)，則相加合成可通過下式(2)來表現(xiàn)。

h_h-1comps(x,y)＝h-1(x,y)+h(x,y)···(2)

比較亮合成是對(duì)要合成的多個(gè)圖像數(shù)據(jù)的相同地址的像素輸出的大小進(jìn)行比較，并將大的一方的輸出作為合成后的像素輸出的合成方法。如果使用比較亮合成的合成處理，則如果對(duì)合成前的各幀以相同曝光進(jìn)行攝影，則即使合成的幀數(shù)增加，各幀中亮度不變的背景部分的亮度仍保持原樣，僅光的軌跡延伸。在該合成處理中，不同于相加合成，不在意背景的亮度，是能夠?qū)ζ谕拈L(zhǎng)度的光的軌跡進(jìn)行攝影的合成方法。

具體而言，在將第h幀和第h-1幀的比較亮合成圖像數(shù)據(jù)的地址(x,y)的像素輸出設(shè)定為h_h-1compb(x,y)時(shí)，可通過下式(3)來表現(xiàn)。

h_h-1compb(x,y)＝max{h-1(x,y),h(x,y)}···(3)

其中，max{a,b}定義為將數(shù)值a和數(shù)值b中的大的一方的值作為輸出的函數(shù)。

作為合成處理手段，以使得攝影者能夠經(jīng)由操作部10設(shè)定是進(jìn)行相加合成、進(jìn)行比較亮合成或者并行同時(shí)進(jìn)行這兩方的處理的方式，在相機(jī)內(nèi)將控制程序預(yù)先記錄于記錄部15。

這樣，在進(jìn)行第n幀的合成之前，進(jìn)行從第1幀到第n-1幀對(duì)各個(gè)圖像數(shù)據(jù)進(jìn)行了置換像素地址的置換(s622、s632、s642)的圖像數(shù)據(jù)彼此的圖像合成。通過該處理，將從第1幀到第n-1幀的累積合成圖像數(shù)據(jù)與(進(jìn)行了置換像素地址的置換的)第n幀的圖像數(shù)據(jù)合成，生成從第1幀到第n幀的合成圖像數(shù)據(jù)(s65、s66)。合成完成后，作為從第1幀到第n幀的累積合成圖像數(shù)據(jù)記錄在圖像數(shù)據(jù)記錄部151中(將該累積合成圖像數(shù)據(jù)用于后續(xù)的與第n+1幀的合成)。

這里，作為在圖像數(shù)據(jù)記錄部151中的圖像數(shù)據(jù)的記錄，既可以僅保存第1幀至第n幀的合成圖像數(shù)據(jù)，也可以一并保存第1幀至第n幀的各圖像數(shù)據(jù)或合成中途的各合成圖像數(shù)據(jù)。

例如如果將第1幀至第n幀的各圖像數(shù)據(jù)保存于圖像數(shù)據(jù)記錄部151中，由于能夠在攝影結(jié)束后選擇喜歡的圖像數(shù)據(jù)進(jìn)行合成，因此能夠生成攝影者喜歡的合成圖像數(shù)據(jù)。此外，如果記錄合成中途的圖像數(shù)據(jù)，則能夠在攝影后選擇喜歡的軌跡長(zhǎng)度的合成圖像數(shù)據(jù)。另一方面，在僅記錄第1幀至第n幀的合成圖像數(shù)據(jù)的情況下，能夠減小記錄于記錄部中的數(shù)據(jù)量，例如在攝影的中途不再發(fā)生存儲(chǔ)器容量不足等的問題。

此外，以上說明了在圖6的步驟s622、s632、s642中，在置換像素地址置換為比較暗合成圖像數(shù)據(jù)的輸出的方法，然而也可以根據(jù)通過平均合成部164進(jìn)行合成的平均合成圖像數(shù)據(jù)的輸出來進(jìn)行置換。這是一種將進(jìn)行平均合成的多個(gè)圖像數(shù)據(jù)的相同地址的像素輸出的平均值作為合成后的像素輸出的合成方法。

具體而言，如果將第h幀與第h-1幀的平均合成圖像數(shù)據(jù)的地址(x,y)的像素輸出設(shè)定為h_h-1compa(x,y)，則可通過下式(4)來表現(xiàn)。

h_h-1compa(x,y)＝ave{h-1(x,y),h(x,y)}···(4)

其中，ave{a,b}定義為將數(shù)值a與數(shù)值b的平均值作為輸出的函數(shù)。

利用第n幀與第n-1幀的平均輸出進(jìn)行置換，從而能夠利用比光的軌跡更接近背景的亮度的輸出來進(jìn)行置換，因此能夠使得飛機(jī)的光的軌跡變得不顯著，具備與比較暗合成圖像同樣地將飛機(jī)的光的軌跡從合成圖像中排除的效果。例如，在針對(duì)圖像合成部16需要使用asic(applicationspecificintegratedcircuit：專用集成電路)等的無法進(jìn)行內(nèi)部電路的改寫的ic來構(gòu)成數(shù)字相機(jī)的情況下，所使用的asic對(duì)應(yīng)于平均合成處理，而在未對(duì)應(yīng)于比較暗合成等的情況下，能夠利用在asic上搭載了功能的平均合成處理進(jìn)行置換像素地址的置換處理。

在上述的合成完成后(圖2的s9)，如果攝影未結(jié)束(s10：否)，則對(duì)作為下一個(gè)圖像的第n+1幀的圖像數(shù)據(jù)進(jìn)行同樣的處理(s1至s9的處理)。如果攝影者通過操作而使得攝影完成(s10：是)，則在結(jié)束了第n幀的圖像的處理的時(shí)刻，結(jié)束攝影和圖像合成處理。

(第1實(shí)施方式的效果說明)

這樣，在本實(shí)施方式中，根據(jù)光的軌跡的移動(dòng)速度，能夠檢測(cè)高速移動(dòng)的光的軌跡和以低速度移動(dòng)的光的軌跡。此外，對(duì)于所檢測(cè)的光的軌跡，將相當(dāng)于高速移動(dòng)的光的軌跡的像素地址置換為背景的亮度，從而能夠從合成圖像數(shù)據(jù)中除去高速移動(dòng)的軌跡。

另外，本實(shí)施方式中說明了將高速移動(dòng)的飛機(jī)的軌跡排除的方法，然而不限于此，也可以從合成圖像數(shù)據(jù)中將低速的光的軌跡排除。由此，能夠滿足攝影者關(guān)于將例如星光的軌跡或不移動(dòng)的光(建筑物的光)從合成圖像數(shù)據(jù)中排除，希望僅將高速移動(dòng)的飛機(jī)的光的軌跡顯現(xiàn)于合成圖像數(shù)據(jù)上的要求。這種情況下，在圖4的步驟s45至s46的處理中，以將被檢測(cè)為“低速度軌跡”的組(s45：否)登錄為置換像素地址(s46)，并將“低速度軌跡”從合成圖像中排除的方式進(jìn)行置換處理即可。

此外，在本實(shí)施方式中，說明了按照每一幀進(jìn)行軌跡的檢測(cè)、合成處理的方法。通過按照每1幀進(jìn)行合成處理，例如將合成的中途經(jīng)過的圖像數(shù)據(jù)作為攝影的經(jīng)過而顯示于顯示部11上，從而攝影者能夠在進(jìn)行攝影的同時(shí)確認(rèn)攝影經(jīng)過，然而不限于此。

例如，可以按照每i幀(例如i是2以上的整數(shù))使用i幀的圖像數(shù)據(jù)的比較暗合成圖像數(shù)據(jù)，進(jìn)行對(duì)于i幀的比較亮合成圖像數(shù)據(jù)或相加合成圖像數(shù)據(jù)的軌跡檢測(cè)，從而進(jìn)行像素地址的置換。通過如上處理，相比按照每一幀進(jìn)行處理的情況而言，能夠減少處理的次數(shù)，因此能夠減少數(shù)字相機(jī)內(nèi)的各部的驅(qū)動(dòng)次數(shù)以降低電池的消耗，或者在檢測(cè)處理、圖像合成處理趕不上連拍攝影的處理，無法進(jìn)行處理(在第n幀的合成處理結(jié)束前讀出第n+1幀，來不及進(jìn)行n+1幀的處理)等的情況下，能夠來得及進(jìn)行處理。

另外，還可以將i設(shè)為進(jìn)行了攝影的所有幀數(shù)。這種情況下，在所有幀的攝影完成的時(shí)刻，在所有幀的比較暗合成圖像數(shù)據(jù)和比較亮合成圖像數(shù)據(jù)或相加合成圖像數(shù)據(jù)中檢測(cè)軌跡，進(jìn)行像素地址的置換處理，從而能夠通過更少的處理次數(shù)獲得同樣的效果。

此外，在本實(shí)施方式中，對(duì)檢測(cè)飛機(jī)和除此以外的軌跡(星等的低速度移動(dòng)軌跡或建筑物的光等的不移動(dòng)的光)的方法進(jìn)行了描述，然而也可以應(yīng)用于除此以外的各種光的軌跡的檢測(cè)。例如第n-1幀與第n幀的攝影間隔可通過相機(jī)的控制程序來變更，因此如果對(duì)根據(jù)希望檢測(cè)的光的移動(dòng)速度的差來調(diào)整攝影間隔進(jìn)行攝影的多幀的圖像使用本實(shí)施的方法，則還能夠應(yīng)用于例如星的軌跡和煙花的軌跡的檢測(cè)、熒光的軌跡和星的軌跡的檢測(cè)等。與此相同地，例如使用第n-1幀和第n+1幀的圖像數(shù)據(jù)進(jìn)行軌跡的檢測(cè)的情況下，也能夠得到與延長(zhǎng)攝影間隔來連拍的情況下相同的效果。

此外，本實(shí)施方式中說明了從顯現(xiàn)出軌跡的相加合成或比較亮合成圖像數(shù)據(jù)中除去不要的軌跡的方法，然而不限于此，對(duì)于未顯現(xiàn)出光的軌跡的平均合成圖像數(shù)據(jù)或比較暗合成圖像數(shù)據(jù)，也可以通過施加必要的光的軌跡的方式置換像素。這種情況下，通過將必要的光的組的像素地址記錄為置換像素地址，并利用進(jìn)行了相加或比較亮合成的像素?cái)?shù)據(jù)的輸出對(duì)置換像素地址進(jìn)行置換而能夠?qū)崿F(xiàn)。

此外，在本實(shí)施方式中將檢測(cè)的光的軌跡的組中的“低速度軌跡”的組的像素地址記錄為置換像素地址，然而不限于此，也可以將“低速度軌跡”以外的軌跡組的像素地址獨(dú)立于“低速度軌跡”的組而記錄于像素地址記錄部152。通過這樣處理，在攝影后能夠根據(jù)攝影者的判斷，將喜歡的軌跡組從合成圖像中排除或添加，能夠生成符合各種攝影者的多種意圖的合成圖像數(shù)據(jù)。

另外，在本實(shí)施方式中，說明了關(guān)于通過像素地址提取部171提取的明亮像素，通過組分配部172將相鄰的像素群作為一個(gè)組進(jìn)行處理的方法，然而不限于此。用于數(shù)字相機(jī)的一般的圖像傳感器將r(紅)、g(綠)、b(藍(lán))的光電二極管上的濾色器配置為交替配置的(分別為r像素、g像素、b像素)拜爾排列。rgb各色的濾色器的感光度根據(jù)被攝體的顏色不同而不同，因此可以按照每個(gè)r像素、g像素、b像素，通過像素地址提取部171以不同的閾值等級(jí)提取明亮像素。此外，組分配部172中，可以將與按照每個(gè)r像素、g像素、b像素具有相同顏色的濾色器的每個(gè)像素相鄰的像素群作為一個(gè)組而使其形成為組。通過這樣處理，例如在對(duì)綠光的軌跡(熒光等)進(jìn)行了攝影的情況下，g像素會(huì)作為明亮像素而被提取，而在r像素、b像素的輸出較小而未作為明亮像素被檢測(cè)出的情況下也能夠正確地作為光的軌跡進(jìn)行組分配。此外，例如在對(duì)逆馬賽克處理后的各像素的亮度值進(jìn)行明亮像素的提取的情況下也能夠獲得同樣的效果。

(第2實(shí)施方式)

以下根據(jù)附圖，說明將第2實(shí)施方式的圖像處理裝置應(yīng)用于數(shù)字相機(jī)的示例。此外，對(duì)于與第1實(shí)施方式相同的結(jié)構(gòu)、處理省略對(duì)其的說明。

(第2實(shí)施方式的結(jié)構(gòu)說明)

首先，使用圖7說明第2實(shí)施方式的數(shù)字相機(jī)的結(jié)構(gòu)。在本實(shí)施方式中，軌跡分析部174具有速度/方向檢測(cè)部1741。后面會(huì)敘述具體的動(dòng)作，速度/方向檢測(cè)部1741對(duì)顯現(xiàn)于圖像數(shù)據(jù)上的光的軌跡的移動(dòng)速度、移動(dòng)方向等的信息進(jìn)行分析。本實(shí)施方式中，根據(jù)分析結(jié)果而由軌跡檢測(cè)部173檢測(cè)軌跡。除此以外的結(jié)構(gòu)與第1實(shí)施方式相同。

(第2實(shí)施方式的作用說明)

下面，使用圖8至圖11說明本實(shí)施方式的數(shù)字相機(jī)的功能和動(dòng)作。首先，使用圖8說明動(dòng)作序列。本實(shí)施方式與第1實(shí)施方式的動(dòng)作(圖2的流程圖)同樣地將連續(xù)攝影的多幀的圖像數(shù)據(jù)依次合成。本實(shí)施方式與第1實(shí)施方式的不同之處包括后述所示的分析軌跡的速度、方向的處理(s83)。

首先，在從攝像部12讀出圖像時(shí)(s1)，與第1實(shí)施方式同樣地，對(duì)于各像素輸出提取規(guī)定的閾值等級(jí)以上的明亮像素(s81)。在對(duì)所有的像素完成了提取時(shí)(s82：是)，通過組分配部172分配所提取的明亮像素地址的相鄰的像素彼此的組(s6)。

在對(duì)所有的像素完成了組的分配時(shí)，通過速度/方向檢測(cè)部1741對(duì)各組分析移動(dòng)速度或移動(dòng)方向(s83)。具體而言，該分析處理例如圖9所示，對(duì)于明亮像素的組gr＊(＊是表示組的編號(hào)的1以上的整數(shù))，將其長(zhǎng)度le_gr＊數(shù)值化為軌跡的移動(dòng)速度。對(duì)所有的組進(jìn)行該數(shù)值化，并實(shí)施統(tǒng)計(jì)處理，以使得軌跡的長(zhǎng)度長(zhǎng)的一方成為移動(dòng)速度快的軌跡的方式如圖10a所示將相對(duì)于軌跡速度的頻度制作成直方圖。

這里，例如圖9所示，如果星的軌跡st、飛機(jī)的軌跡ap、大廈的窗戶的燈光bl等的明亮像素的多個(gè)組顯現(xiàn)于圖像上(圖9中示出了數(shù)個(gè)，實(shí)際情況下有非常多的星的軌跡、大廈的燈光或飛機(jī))，則如圖10a所示在直方圖上，以大廈的窗戶等的較小的發(fā)亮的點(diǎn)為hist_bl、星的軌跡hist_st相比略長(zhǎng)(快速移動(dòng))、軌跡更長(zhǎng)(高速移動(dòng))的飛機(jī)的軌跡為hist_ap的方式，對(duì)應(yīng)于軌跡的移動(dòng)速度而以不同的長(zhǎng)度產(chǎn)生頻度高的區(qū)域。

下面，通過軌跡檢測(cè)部173對(duì)所分析的各組檢測(cè)軌跡(s84)。在圖10a的大廈的窗口的亮點(diǎn)與星的軌跡的發(fā)生頻度成為最大的長(zhǎng)度之間設(shè)定了閾值等級(jí)th_1，并且在星的軌跡與飛機(jī)的軌跡的發(fā)生頻度成為最大的長(zhǎng)度之間設(shè)定了閾值等級(jí)th_2時(shí)，可以檢測(cè)為，

比th1短的組：大廈等的較小的亮點(diǎn)(固定軌跡)

th1以上且小于th2的長(zhǎng)度的組：星的軌跡(緩慢移動(dòng)的軌跡)

比th2長(zhǎng)的組：飛機(jī)的軌跡(快速移動(dòng)的軌跡)。這里，作為th1、th2，既可以使用通過相機(jī)事先設(shè)定的值，也可以由攝影者通過操作部10任意設(shè)定值。例如，將圖10a的直方圖顯示于顯示部11上，攝影者可以在觀看該直方圖分布的同時(shí)指定th1、th2。

步驟s84的軌跡檢測(cè)部173進(jìn)行的檢測(cè)處理使用該閾值等級(jí)來檢測(cè)軌跡。s84的具體的處理序列在圖11所示的流程圖中示出。

首先，判定組g＊_n的移動(dòng)速度(長(zhǎng)度)是否在規(guī)定的閾值等級(jí)以上(s111)。步驟s111的判定處理中，若組g＊_n的長(zhǎng)度例如在th2以上(s111:是)，則進(jìn)行登錄為置換像素地址的處理(s112)。另一方面，步驟s111的判定處理中，若組g＊_n的長(zhǎng)度例如小于th2(s111:否)，則該組不進(jìn)行登錄為置換像素地址的處理，而轉(zhuǎn)移至下一個(gè)判定處理步驟(s113)。步驟s113的判定處理中，判定是否對(duì)所有的組完成了登錄，對(duì)所有的組完成了登錄后(s113:是)，完成軌跡的檢測(cè)。

這樣，在顯現(xiàn)于圖像數(shù)據(jù)上的軌跡的檢測(cè)完成后(圖8的s84)，制作合成圖像數(shù)據(jù)(s13)。步驟s13的生成合成圖像數(shù)據(jù)的處理例如與第1實(shí)施方式同樣地，在將飛機(jī)的軌跡排除的情況下，將相當(dāng)于圖10a的hist_ap的長(zhǎng)度在th_2以上的組的像素地址作為置換像素地址記錄在像素地址記錄部152中，進(jìn)行與第1實(shí)施方式同樣的像素置換，并進(jìn)行合成處理(圖2的s9處理、圖6的處理)，從而能夠生成將飛機(jī)的軌跡排除的合成圖像數(shù)據(jù)。

(第2實(shí)施方式的效果說明)

這樣，在本實(shí)施方式中，對(duì)明亮像素的組檢測(cè)其的移動(dòng)速度(長(zhǎng)度)或方向等的信息，進(jìn)行統(tǒng)計(jì)處理。使用基于該統(tǒng)計(jì)處理結(jié)果的統(tǒng)計(jì)分布來檢測(cè)組，并使用檢測(cè)結(jié)果，能夠?qū)⒁徊糠止獾能壽E從合成圖像中排除。

另外，在本實(shí)施方式中，說明了按照每一幀進(jìn)行軌跡的檢測(cè)、合成處理的方法，然而與第1實(shí)施方式同樣地不限于此。例如也可以按照每i幀(例如i是2以上的整數(shù))，使用i幀的圖像數(shù)據(jù)的比較暗合成圖像數(shù)據(jù)，進(jìn)行對(duì)于i幀的比較亮合成圖像數(shù)據(jù)或相加合成圖像數(shù)據(jù)的軌跡的檢測(cè)，從而進(jìn)行像素地址的置換。

另外，在本實(shí)施方式中，說明了將軌跡的分析結(jié)果制作為直方圖的處理，然而也可以將攝影圖像和制作直方圖顯示于顯示部11上，從而能夠通過操作部10將用于供攝影者檢測(cè)軌跡的閾值等級(jí)的值變更為任意的值。進(jìn)而，在顯示部11上使閾值等級(jí)以上或以下的軌跡進(jìn)行閃爍顯示等，能夠視覺確認(rèn)顯現(xiàn)于圖像上的軌跡是如何被檢測(cè)的。通過這樣處理，能夠進(jìn)行符合攝影者的意圖的軌跡檢測(cè)。

另外，作為閾值等級(jí)，在本實(shí)施方式中示出了設(shè)定作為一例的2個(gè)值(th1、th2)的示例。其中，可以不僅為2個(gè)值，能夠設(shè)定更多的閾值等級(jí)。由此能夠進(jìn)行更為細(xì)致的軌跡檢測(cè)。

此外，以上對(duì)根據(jù)各組的移動(dòng)速度(長(zhǎng)度)進(jìn)行檢測(cè)的方法進(jìn)行了說明，也可以例如圖10b所示對(duì)各組的移動(dòng)方向進(jìn)行檢測(cè)。在相機(jī)朝向北側(cè)的情況下星會(huì)以北極星為中心在各個(gè)方向上移動(dòng)，而在朝向除此以外的方向進(jìn)行攝影的情況下星的移動(dòng)軌跡大致在相同方向上移動(dòng)，因此能夠檢測(cè)某個(gè)方向上的范圍的組，提取星的移動(dòng)軌跡。

此外，除了軌跡的長(zhǎng)度和方向之外，還可以如圖10c所示通過軌跡的彩度(發(fā)色的良好程度)進(jìn)行檢測(cè)。例如煙花或熒光的軌跡具有飽和度高于星或飛機(jī)的傾向，因此例如對(duì)星和煙花同時(shí)攝影的情況下，能夠?qū)⑿堑姆植紮z測(cè)為hist_st，并將煙花的分布檢測(cè)為hist_fw。另外，除了飽和度以外還可以根據(jù)各組中包含的像素的顏色或亮度的分布制作直方圖并進(jìn)行檢測(cè)。由于設(shè)想的是對(duì)星、煙花、飛機(jī)、熒光或除此以外的各種光的軌跡進(jìn)行攝影、合成，因此通過這樣處理，能夠檢測(cè)這些各種光的軌跡。

此外，還可以不僅根據(jù)上述軌跡的長(zhǎng)度、方向、彩度、顏色等之中的1個(gè)，而是根據(jù)2個(gè)以上的信息檢測(cè)軌跡。由此能夠進(jìn)行更為詳細(xì)的軌跡檢測(cè)。

另外，在本實(shí)施方式中，示出了對(duì)在從攝像部12讀出的1幀的圖像數(shù)據(jù)上顯現(xiàn)的軌跡進(jìn)行檢測(cè)的處理，也可以實(shí)施對(duì)進(jìn)行了相加或比較亮合成處理的合成圖像數(shù)據(jù)檢測(cè)同樣的軌跡的處理。星的軌跡具有快門速度短的情況、以及在通過焦點(diǎn)距離短的鏡頭進(jìn)行攝影時(shí)在像面上的移動(dòng)量變小，不易檢測(cè)為圖示那樣的不同于大廈的窗口的較小亮點(diǎn)的軌跡的情況。只要是合成了數(shù)幀的合成圖像，就能夠較長(zhǎng)地顯現(xiàn)出星的軌跡，因此能夠提高與這些小亮點(diǎn)的檢測(cè)精度。

本實(shí)施方式中說明了將一幀的圖像數(shù)據(jù)的軌跡以及進(jìn)行了上述的相加或比較亮合成的合成圖像數(shù)據(jù)的軌跡形成組并檢測(cè)其移動(dòng)速度(長(zhǎng)度)的方法，例如也可以如圖12所示，使用第n-1幀、第n幀的圖像數(shù)據(jù)的比較暗合成圖像數(shù)據(jù)，檢測(cè)軌跡的長(zhǎng)度。

以下示出使用比較暗合成圖像檢測(cè)軌跡的長(zhǎng)度的作用。例如圖像im12a所示，如果將如星等那樣緩慢移動(dòng)的第n-1幀的光的軌跡lt_n-1與第n幀的光的軌跡lt_n進(jìn)行比較暗合成，則僅重復(fù)部分ltcompd_n-1·n明亮地保留，除此以外的部分都成為與背景的夜空相同的亮度。這里，以ltcompd_n-1·n的像素地址作為端點(diǎn)，利用不包含ltcompd_n-1·n的像素地址而包含于lt_n中的像素地址，檢測(cè)從ltcompd_n-1·n到最遠(yuǎn)像素的長(zhǎng)度，從而能夠求出第n幀的光的軌跡lt_n的長(zhǎng)度le_lt_n。

另一方面，圖像im12b示出不移動(dòng)的建筑物等的明亮像素的組bl。該組bl中的第n-1幀和第n幀都不移動(dòng)而明亮地顯現(xiàn)，因此即便進(jìn)行比較暗合成，大小、亮度也不會(huì)變化。即，關(guān)于組bl及其相鄰像素，不存在根據(jù)比較暗合成圖像數(shù)據(jù)未被提取、而根據(jù)第n幀的圖像數(shù)據(jù)被提取的像素，因此軌跡的長(zhǎng)度為0，能夠檢測(cè)為不移動(dòng)的明亮像素的組。

根據(jù)這種方法檢測(cè)組，從而除了能夠檢測(cè)移動(dòng)的明亮像素組之外，還能夠檢測(cè)不移動(dòng)的明亮像素組。通過將軌跡分析方法與第1實(shí)施方式或上述的第2實(shí)施方式的方法組合，從而能夠檢測(cè)不移動(dòng)的光(例如作為背景顯現(xiàn)的街燈或建筑物的燈光)、以低速度移動(dòng)的光的軌跡(星或熒光)、以高速度移動(dòng)的光的軌跡(飛機(jī)或人工衛(wèi)星)以及更為詳細(xì)的光的軌跡。

另外，如圖13所示，在飛機(jī)的光的軌跡aptr與星光的軌跡sttr重合顯現(xiàn)的情況下，根據(jù)第1和第2實(shí)施方式的圖像合成方法，會(huì)以將飛機(jī)的軌跡排除的方式進(jìn)行像素的置換，因此星與飛機(jī)的軌跡的重復(fù)部分apst被排除，星的軌跡會(huì)中斷顯現(xiàn)。這種情況下，即使星的軌跡的像素地址是飛機(jī)的軌跡的像素地址，也不會(huì)作為置換像素地址而登錄于像素地址登錄部152，從而能夠使得星的軌跡不會(huì)中斷。

另外，本實(shí)施方式中說明了從顯現(xiàn)出軌跡的相加合成圖像數(shù)據(jù)或比較亮合成圖像數(shù)據(jù)中除去不要的軌跡的方法，然而不限于此，也可以對(duì)未顯現(xiàn)出光的軌跡的平均合成圖像數(shù)據(jù)或比較暗合成圖像數(shù)據(jù)以施加必要的光的軌跡的方式來置換像素。這種情況下，可通過將必要光的組的像素地址記錄為置換像素地址，并通過進(jìn)行了相加或比較亮合成的像素的輸出對(duì)置換像素地址進(jìn)行置換來實(shí)現(xiàn)。

(第3實(shí)施方式)

以下根據(jù)附圖，說明將第3實(shí)施方式的圖像處理裝置應(yīng)用于數(shù)字相機(jī)的示例。第3實(shí)施方式中，根據(jù)在攝影時(shí)通過gps等檢測(cè)出的信息，計(jì)算顯現(xiàn)于攝影圖像上的星的軌跡的移動(dòng)速度、移動(dòng)方向，分析顯現(xiàn)于圖像上的光的軌跡是星還是星以外，從而檢測(cè)軌跡。此外，對(duì)于與第1和第2實(shí)施方式相同的結(jié)構(gòu)、處理省略對(duì)其的說明。

(第3實(shí)施方式的結(jié)構(gòu)說明)

第3實(shí)施方式的數(shù)字相機(jī)的基本結(jié)構(gòu)與第1和第2實(shí)施方式相同，僅軌跡分析部174的結(jié)構(gòu)和功能不同。下面使用圖14說明第3實(shí)施方式的軌跡分析部174的內(nèi)部結(jié)構(gòu)。

軌跡分析部174與第2實(shí)施方式同樣地將保存于記錄部15的圖像數(shù)據(jù)和進(jìn)行了組分配的像素的地址信息輸入速度/方向檢測(cè)部1741。速度/方向檢測(cè)部1741通過與第2實(shí)施方式同樣的方法，檢測(cè)各組的速度(長(zhǎng)度)和方向。檢測(cè)出的各組的速度(長(zhǎng)度)和方向的信息被發(fā)送給軌跡分析部174內(nèi)的速度/方向比較部1406和軌跡檢測(cè)部173。另外，軌跡分析部174具有g(shù)ps檢測(cè)部1402、地磁檢測(cè)部1403、加速度檢測(cè)部1404和天體軌跡計(jì)算部1405。

gps檢測(cè)部1403是gps(globalpositioningsystem：全球定位系統(tǒng))信息的接收裝置，其檢測(cè)相機(jī)的攝影時(shí)的緯度信息，并輸出給天體軌跡計(jì)算部1405。地磁檢測(cè)部1403是地磁傳感器，將攝影時(shí)的相機(jī)朝向東西南北的哪個(gè)方位的信息輸出給天體軌跡計(jì)算部1405。加速度檢測(cè)部1404具有加速度傳感器，根據(jù)通過加速度傳感器檢測(cè)出的重力加速度的值和方向，將攝影時(shí)相機(jī)相對(duì)于重力方向(上下的方向)朝向哪個(gè)方向的信息輸出給天體軌跡計(jì)算部1405。

天體軌跡計(jì)算部1405根據(jù)這些攝影時(shí)的緯度、相機(jī)朝向的方位角、方向(東西南北和上下方向)的信息，計(jì)算星在攝影視場(chǎng)內(nèi)向哪個(gè)方向移動(dòng)。進(jìn)而，天體軌跡計(jì)算部1405從記錄部15得到鏡頭的焦點(diǎn)距離、快門速度以作為攝影時(shí)的攝影信息，從而計(jì)算星在攝像面上即在攝影的圖像數(shù)據(jù)上的移動(dòng)長(zhǎng)度和方向。這樣地，在攝影的圖像上計(jì)算星的(移動(dòng)速度)長(zhǎng)度和移動(dòng)方向。

接著，該計(jì)算結(jié)果被輸入速度/方向比較部1406，比較顯現(xiàn)于圖像上的光的軌跡的組的速度/方向的信息與通過天體軌跡計(jì)算部1405計(jì)算的圖像上的星的移動(dòng)方向和移動(dòng)速度，輸出各組是否相當(dāng)于星的軌跡的信息。該輸出結(jié)果被輸入到軌跡檢測(cè)部173。在軌跡檢測(cè)部173中，通過速度/方向檢測(cè)部1741一并考慮不在各組中移動(dòng)的軌跡、以低速度移動(dòng)的光的軌跡、以高速度移動(dòng)的軌跡的信息和檢測(cè)結(jié)果、速度/方向比較部1406得到的各組是否相當(dāng)于星的軌跡的結(jié)果，來檢測(cè)各組。

作為軌跡檢測(cè)部173進(jìn)行的具體的檢測(cè)方法，例如首先將檢測(cè)為相當(dāng)于星的軌跡的組檢測(cè)為“軌跡2”(圖14的1409)，對(duì)于星以外的軌跡，根據(jù)速度/方向檢測(cè)部1741的結(jié)果，將不移動(dòng)的明亮像素的組檢測(cè)為“固定軌跡(圖14的1407)”，將移動(dòng)的軌跡作為星以外的軌跡而檢測(cè)為“軌跡1(圖14的1408)”，在記錄部中記錄各組的像素地址。

(第3實(shí)施方式的效果說明)

這樣，本實(shí)施方式中計(jì)算在實(shí)際的圖像數(shù)據(jù)上顯現(xiàn)的星的移動(dòng)方向、移動(dòng)速度，能夠高精度地檢測(cè)星的移動(dòng)軌跡。如本實(shí)施方式那樣，與第2實(shí)施方式的軌跡分析、檢測(cè)手段組合，進(jìn)而與第1實(shí)施方式的軌跡檢測(cè)手段組合來檢測(cè)軌跡，還能夠檢測(cè)星以外的軌跡。即，本實(shí)施方式中，從合成圖像數(shù)據(jù)中甄選出不要的軌跡、必要軌跡，能夠以不顯現(xiàn)出不要的軌跡，而使得必要的軌跡顯現(xiàn)于合成圖像數(shù)據(jù)上的方式合成圖像數(shù)據(jù)。作為本實(shí)施方式的具體效果，例如在圖15所示的以顯現(xiàn)出北極星pol的方式進(jìn)行攝影的情況下，能夠檢測(cè)星和其他的被攝體。這種情況下，由于北極星不移動(dòng)，因此無論如何提高快門速度以及增加合成幀數(shù)都不會(huì)移動(dòng)。

因此，在使用前述的第2實(shí)施方式2檢測(cè)軌跡時(shí)，北極星不會(huì)被檢測(cè)作為星的軌跡，而是被檢測(cè)為不移動(dòng)的明亮像素。然而，若使用本實(shí)施方式的方法，則通過天體軌跡計(jì)算部1405能夠計(jì)算圖像上的各位置處的星的移動(dòng)方向、移動(dòng)量，因此也能夠檢測(cè)不移動(dòng)的北極星，能夠?qū)⒈睒O星正確地檢測(cè)為星。

另外，在本實(shí)施方式中，檢測(cè)為不移動(dòng)的明亮像素、星以外的軌跡和星的軌跡這3個(gè)組，也可以將明亮像素的組檢測(cè)為星的軌跡和除此以外的軌跡的2種。其原因在于，如果從圖像數(shù)據(jù)中僅提取星的軌跡，則有時(shí)也會(huì)符合攝影者的意圖，這種情況下無需進(jìn)行對(duì)星以外的軌跡的進(jìn)一步檢測(cè)，能夠削減軌跡的分析處理所需的數(shù)據(jù)塊或處理時(shí)間。

此外，本實(shí)施方式中說明了將gps檢測(cè)部設(shè)置于數(shù)字相機(jī)內(nèi)部的結(jié)構(gòu)，然而不限于此，例如也可以與智能手機(jī)等的信息終端進(jìn)行無線通信，通過無線通信取得通過智能手機(jī)內(nèi)部的gps檢測(cè)部檢測(cè)的gps信息。另外，例如攝影者可以對(duì)數(shù)字相機(jī)進(jìn)行操作輸入，從而輸入攝影場(chǎng)所(例如東京都)，以能夠根據(jù)城市名核對(duì)緯度信息。這種情況下，不必在數(shù)字相機(jī)上設(shè)置無線通信部或gps信息檢測(cè)部等也能夠根據(jù)城市名把握緯度信息。

如上所述，在本發(fā)明的各實(shí)施方式或變形例的圖像處理裝置中，在合成多幀的圖像數(shù)據(jù)以生成對(duì)光的軌跡進(jìn)行攝影的照片時(shí)，能夠檢測(cè)顯現(xiàn)于圖像數(shù)據(jù)上的各種光的軌跡。根據(jù)該檢測(cè)結(jié)果能夠進(jìn)行如下圖像處理，通過數(shù)字相機(jī)或pc的圖像處理程序從顯現(xiàn)出各種光的軌跡的圖像數(shù)據(jù)中自動(dòng)地除去不要的光的軌跡，或在未顯現(xiàn)出光的軌跡的合成圖像上添加必要的光的軌跡等。

此外，數(shù)字相機(jī)的攝影者或圖像處理裝置的利用者在攝影中或攝影后，使用軌跡的檢測(cè)結(jié)果，能夠進(jìn)行根據(jù)合成圖像按照通過手動(dòng)操作檢測(cè)的每個(gè)光的軌跡從合成圖像數(shù)據(jù)將其除去的處理，或進(jìn)行施加給合成圖像數(shù)據(jù)的處理，或按照每個(gè)軌跡獨(dú)立地進(jìn)行亮度或顏色等的畫質(zhì)調(diào)整。

進(jìn)而，若將軌跡的檢測(cè)結(jié)果與合成圖像數(shù)據(jù)一起顯示(例如僅使特定的軌跡進(jìn)行反轉(zhuǎn)顯示等而易于視覺確認(rèn))，則本圖像處理裝置的利用者能夠在觀看圖像數(shù)據(jù)的同時(shí)把握顯現(xiàn)于合成圖像數(shù)據(jù)上的各軌跡的檢測(cè)結(jié)果。由此，易于進(jìn)行上述針對(duì)每種軌跡而不同的處理，另外為了在觀看圖像的同時(shí)再次進(jìn)行軌跡的檢測(cè)而變更閾值等級(jí)，還能夠再次檢測(cè)軌跡，能夠?qū)崿F(xiàn)自由度更高的圖像合成、圖像處理。

進(jìn)而，圖像處理部14、圖像合成部16、圖像分析部17、像素地址置換部18等除了構(gòu)成為硬件電路或部件單體之外，還可以通過cpu和程序而構(gòu)成為軟件，還可以構(gòu)成為根據(jù)由verilog描述的程序語言而生成的門極電路等的硬件結(jié)構(gòu)，還可以使用應(yīng)用了dsp(digitalsignalprocessor：數(shù)字信號(hào)處理器)等的軟件的硬件結(jié)構(gòu)。以上方式當(dāng)然可以適當(dāng)進(jìn)行組合。

另外，在本說明書記載的實(shí)施方式中的各實(shí)施方式或變形例中，說明了內(nèi)置于數(shù)字相機(jī)的圖像處理裝置，然而不限于此，作為相機(jī)，既可以是鏡頭交換式的數(shù)字單反相機(jī)，也可以是內(nèi)置鏡頭的緊湊型數(shù)字相機(jī)，還可以是攝像機(jī)或攝影機(jī)等的動(dòng)畫用的相機(jī)，還可以是在移動(dòng)電話、智能手機(jī)、便攜信息終端(pda：personaldigitalaccess：個(gè)人數(shù)字助理)、游戲設(shè)備等中內(nèi)置的相機(jī)，還可以是對(duì)通過相機(jī)攝影的圖像進(jìn)行處理的圖像處理裝置。此外，在不內(nèi)置對(duì)相機(jī)等的圖像數(shù)據(jù)進(jìn)行攝影的設(shè)備的情況下也可以是具備圖像處理功能的pc、智能手機(jī)或便攜信息終端。無論何種情況，只要是能夠進(jìn)行圖像處理的設(shè)備，就能夠應(yīng)用本發(fā)明。

此外，關(guān)于在本說明書說明的技術(shù)中的主要根據(jù)流程圖說明的控制，大多可通過程序進(jìn)行設(shè)定，有時(shí)也收納于記錄介質(zhì)或記錄部中。作為在該記錄介質(zhì)、記錄部中的記錄方式，既可以在產(chǎn)品出廠時(shí)預(yù)先記錄，也可以使用所發(fā)布的記錄介質(zhì)，還可以經(jīng)由因特網(wǎng)下載。

此外，關(guān)于權(quán)利要求書、說明書和附圖中的動(dòng)作流程，為了方便起見而使用“首先”、“下面”等的表現(xiàn)順序的用于進(jìn)行了說明，然而在沒有特別說明的情況下，并非意味必須按照這種順序進(jìn)行實(shí)施。

本發(fā)明不僅限于上述實(shí)施方式，可以在實(shí)施階段不脫離其主旨的范圍內(nèi)變形結(jié)構(gòu)要素使其具體實(shí)現(xiàn)。此外，通過在上述實(shí)施方式中公開的多個(gè)結(jié)構(gòu)要素的適當(dāng)組合，能夠形成各種的發(fā)明。例如，可以刪除實(shí)施方式所示的所有結(jié)構(gòu)要素中的任意幾個(gè)結(jié)構(gòu)要素。進(jìn)而，還可以適當(dāng)組合不同實(shí)施方式中的結(jié)構(gòu)要素。