專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。
背景技術(shù)：
近年來(lái),具有用于連續(xù)拍攝多個(gè)圖4象的連續(xù)成4象功能的成像裝置正得 到廣泛應(yīng)用。此外，使用連續(xù)成像功能拍攝的多個(gè)圖^N^合成為 一個(gè)圖像， 因而，M出了用于以比合成前的圖像更高的圖像質(zhì)量形成圖像的技術(shù)。 這樣的圖像合成處理在所述成像裝置中自動(dòng)執(zhí)行，或通過(guò)傳送圖傳Jt據(jù)到 個(gè)人電腦(下文中稱為pc)而在所述pc上執(zhí)行。例如，日本特開(kāi)第
2000-41170號(hào)公報(bào)公開(kāi)了 一種用于利用成像裝置自動(dòng)合成多個(gè)圖《象并顯 示其合成圖像作為 一個(gè)靜止圖像的技術(shù)。
圖像合成例如被用于通過(guò)合成具有不同成像范圍的圖像來(lái)形成全景 圖像。此外，已知這樣的技術(shù)，其中對(duì)在以不超過(guò)圖像傳感器所具有的像 素大小的移動(dòng)量移動(dòng)時(shí)拍攝的多個(gè)圖4象進(jìn)行合成，因而形成其分辨率高于 所述圖像傳感器分辨率的圖像。順帶提及的是，也存在這樣的情況，其中， 例如，盡管連續(xù)拍攝的圖像沒(méi)有被合成，但是執(zhí)行連續(xù)成像，以幫助攝影 者從多個(gè)連續(xù)拍攝的圖像中選擇符合他/她意圖的圖像。特別地，可以使 用連續(xù)成像，以避免其中在成像時(shí)有人眨眼或者成像范圍中包括了不想要 的對(duì)象的圖像。

發(fā)明內(nèi)容
但是，當(dāng)像集體照那樣在作為對(duì)象的成像目標(biāo)中包括很多人時(shí)，甚至 執(zhí)行連續(xù)拍攝也m^拍攝到其中沒(méi)有人眨眼的圖像。因而，甚至執(zhí)行了連 續(xù)拍攝，也存在其中所拍攝的多個(gè)圖像中不包括攝影者想要的圖像的情 況。這種情況下，攝影者無(wú)法得到符合他/她意圖的圖像。此外，通過(guò)傳 送圖^JL據(jù)到pc，使用圖像處理應(yīng)用程序去修正或合成圖像等，需要高 水平的操作技巧和知識(shí)。因而，圖像修正或合成處理等給攝影者造成了很大的負(fù)擔(dān)。所以，攝影者經(jīng)常放棄得到他/她預(yù)期的圖像的嘗試，而僅僅 是選擇相對(duì)接近于所述預(yù)期圖像的圖像。
因此，考慮到上述問(wèn)題而提出了本發(fā)明，需要提供一種新的改進(jìn)的圖 像處理設(shè)備和圖像處理方法，其可以通過(guò)簡(jiǎn)單的操作，部分地合成多個(gè)圖 像系列，以得到攝影者預(yù)期的圖像。
為了解決上述問(wèn)題,凈峰本發(fā)明的實(shí)施例，提供了一種圖像處理設(shè)備，
其包括顯示屏，用于顯示連續(xù)拍攝的圖像組中包括的第一圖像； 置檢測(cè)器，用于檢測(cè)用戶在所述顯示屏上摩擦的摩擦位置；以及圖像合成 單元，用于合成所述第一圖像中對(duì)應(yīng)于所^Lf擦位置的像素區(qū)域和包括在 所述圖像組中的第二圖像的像素區(qū)域；其中，所述圖像合成單元切換要與 第一圖像合成的第二圖像，以隨著所述用戶摩擦的摩擦量的增加，而增加 所述笫 一圖像和所述第二圖像之間的成像時(shí)間差。
所述圖像合成單元可以隨著所iLt擦量的增加，而增加所述第二圖像 到所述第 一 圖像的合成率，并在所^擦量超過(guò)了預(yù)先確定的閾值的階段 切換所述第二圖像到與所述第 一圖像的成像時(shí)間差更大的圖像，
所述圖像合成單元可以在切換到所述像素區(qū)域前顯示所述第二圖像， 直到所述摩擦量超過(guò)所述預(yù)先確定的閾值達(dá)預(yù)先確定的量為止，并在超過(guò) 所述預(yù)先確定的閾值的階段切換所述第二圖像.
所述摩擦量可以是從所述像素區(qū)域祝學(xué)擦的次數(shù)、摩擦?xí)r的按壓力、 摩擦方向和摩擦速度中選捧的一個(gè)量，或由多個(gè)組合確定的量。
所述圖像組可以是在改變可在成像時(shí)修改的任意參數(shù)時(shí)連續(xù)拍攝的 多個(gè)圖像。
所述M可以是景深、圖像效果或用于控制閃光的控制^。
此外，為了解決上述問(wèn)題，根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種 圖4象處理方法，其包括下述步驟當(dāng)在顯示屏上顯示連續(xù)拍攝的圖4象組中 包括的笫一圖像時(shí)，檢測(cè)用戶在所述顯示屏上摩擦的摩擦位置；以及合成 所述笫 一 圖像中對(duì)應(yīng)于所i^擦位置的像素區(qū)域和包括在所述圖像組中 的第二圖像的像素區(qū)域的圖像；其中，在合成圖像的步驟中，切換要與所 述第一圖像合成的第二圖像，以隨著由所述用戶施加的摩擦量的增加，而 增加所述第 一 圖像和所述第二圖像之間的成像時(shí)間差。
根據(jù)本發(fā)明的以上實(shí)施例，通過(guò)簡(jiǎn)單的操作部分合成多個(gè)連續(xù)拍攝的 圖像變得可能。所以，攝影者可以通過(guò)部分合成多個(gè)圖像得到想要的圖像。


圖l是示出連續(xù)拍攝的對(duì)象圖像的一個(gè)例子的說(shuō)明圖2是示出連續(xù)拍攝的對(duì)象圖像的一個(gè)例子的說(shuō)明圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理技術(shù)的原理說(shuō)明圖4是示出根據(jù)本實(shí)施例的圖像處理設(shè)備的功能配置的說(shuō)明圖5是示出對(duì)應(yīng)于圖像傳感器像素的矩陣的一個(gè)例子的說(shuō)明圖6是示出根據(jù)本實(shí)施例的畫(huà)筆矩陣的一個(gè)例子的說(shuō)明圖7是示出根據(jù)本實(shí)施例的輸入操作的一個(gè)例子的說(shuō)明圖8是根據(jù)本實(shí)施例的深度矩陣的一個(gè)例子；
圖9是示出根據(jù)本實(shí)施例的轉(zhuǎn)換表的一個(gè)例子的說(shuō)明圖10是根據(jù)本實(shí)施例的圖像處理設(shè)備的操作說(shuō)明圖11是示出根據(jù)本實(shí)施例的深度計(jì)算-綠的說(shuō)明圖12A是示出通過(guò)連續(xù)成像拍攝的一個(gè)對(duì)象圖像的例子的說(shuō)明圖12B是示出通過(guò)連續(xù)成像拍攝的一個(gè)對(duì)象圖像的例子的說(shuō)明圖12C是示出根據(jù)本實(shí)施例的合成圖像的一個(gè)例子的說(shuō)明圖13是示出根據(jù)本實(shí)施例的圖像處理技術(shù)的一個(gè)應(yīng)用例子的說(shuō)明
圖14是示出根據(jù)本實(shí)施例的圖像處理設(shè)備(信息處理設(shè)備)的硬件 配置的例子的^兌明圖；以及
圖15是示出根據(jù)本實(shí)施例的成像設(shè)備的硬件配置的例子的說(shuō)明圖。
具體實(shí)施例方式
在下文中，本發(fā)明的優(yōu)選實(shí)施例將參考附圖被詳細(xì)說(shuō)明。請(qǐng)注意，在 本說(shuō)明書(shū)及所述附圖中，具有實(shí)質(zhì)上相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同參 考數(shù)字表示，而且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)的說(shuō)明。
p兌明順序
現(xiàn)在，將簡(jiǎn)要描述下文中將解釋的說(shuō)明的順序。首先，根據(jù)本發(fā)明的實(shí)施例的技術(shù)的目標(biāo)將參考圖l和2簡(jiǎn)單地說(shuō)明。在說(shuō)明中，將說(shuō)明根 據(jù)所述實(shí)施例的技術(shù)要處理的具體問(wèn)題。這之后，將參考圖3說(shuō)明在根據(jù) 所述實(shí)施例的技術(shù)中同樣涉及的原理。隨后，將參考圖4至9說(shuō)明可以實(shí) 現(xiàn)以上技術(shù)的圖像處理設(shè)備100的功能配置。
接下來(lái)，將參考圖10說(shuō)明圖像處理設(shè)備100的操作。進(jìn)而，將參考 圖11說(shuō)明由圖像處理設(shè)備100執(zhí)行的深度計(jì)算處理的流程。然后，將參 考圖12A到12C說(shuō)明關(guān)于根據(jù)所述實(shí)施例的技術(shù)的應(yīng)用的一個(gè)例子。進(jìn) 而，將參考圖13說(shuō)明 flL據(jù)所述實(shí)施例的應(yīng)用的另一個(gè)例子。最后，將參 考圖14和15說(shuō)明根據(jù)所述實(shí)施例的成像裝置200和圖像處理設(shè)備100的 硬件配置例子。
首先，將參考圖1和2簡(jiǎn)單地說(shuō)明將在后面說(shuō)明的根據(jù)實(shí)施例的技術(shù) 的目標(biāo)。圖1和2是說(shuō)明圖，分別示出了連續(xù)拍攝的對(duì)象圖4象的一個(gè)示例。 在下面的說(shuō)明中，圖1中示出的例子被稱為情況l，而圖2中示出的例子 被稱為情況2。
首先，將參考圖l。在圖1中，描繪了在時(shí)間tl拍攝的圖像P (tl) 和在時(shí)間t2拍攝的圖像P (t2 )。但是，在這里，時(shí)間tl和t2是連續(xù)成 像時(shí)間。此外，在圖像P (tl)和P (t2)中，分別包括兩個(gè)對(duì)象圖像(對(duì) 象A和對(duì)象B)。這種情況下，要注意成傳對(duì)象A的"眨眼"。
在情況l中，圖像P(tl)中包括的對(duì)象A是在眨眼的瞬間被拍攝的。 因此，圖像P(tl)中包括的對(duì)象A不處于符合攝影者意圖的狀態(tài)。然而， 圖像P(tl)中包括的對(duì)象B沒(méi)有眨眼，并且處于符合攝影者意圖的狀態(tài) (OK)。
如上所述，包括不想要的對(duì)象圖像的圖像P (tl)不符合攝影者意圖。 另一方面，包括在圖像P(t2)中的對(duì)象A和對(duì)象B沒(méi)有眨眼，因而處于 符合攝影者意圖的狀態(tài)(OK)。因此，圖像P (t2)是符合攝影者意圖的 圖像。在如情況1所示在連續(xù)拍攝的多個(gè)圖像中包括符合攝影者意圖的圖 像(圖像P(t2))的情況下，攝影者可以選擇符合他/她意圖的圖像P(t2)。
接下來(lái)，將參考圖2。類(lèi)似于圖1，在圖2中，描繪了在時(shí)間tl拍攝 的圖像P (tl)和在時(shí)間t2拍攝的圖像P (t2)。此外，在情況2中，tl 和t2也是連續(xù)成像時(shí)間。此外，在圖像P (tl)和P (t2)中，分別包括 兩個(gè)對(duì)象圖像(對(duì)象A和對(duì)象B)。
同樣，在情況2中，圖像P(tl)中包括的對(duì)象A是在眨眼的瞬間被拍攝的。因此，圖像P(tl)中包括的對(duì)象A不處于符合攝影者意圖的狀 態(tài)。但是，在這里，圖像P(tl)中包括的對(duì)象B沒(méi)有眨眼，并且處于符 合攝影者意圖的狀態(tài)(OK)。換言之，包括不符合攝影者意圖的對(duì)象圖像 的圖像P (tl)不是符合攝影者意圖的圖像。
另一方面，圖像P(t2)中包括的對(duì)象A沒(méi)有眨眼，并且處于符合所 述攝影者意圖的狀態(tài)(OK)。但是，在這里，圖像P (t2)中包括的對(duì)象 B是在眨眼的瞬間被拍攝的。因此，圖像P (t2)不是符合攝影者意圖的 圖像。在如情況1所示在連續(xù)拍攝的多個(gè)圖像中包括符合才聶影者意圖的圖 像(圖像P( t2 ))的情況下，攝影者可以選擇符合他/她意圖的圖像P( t2 )。 但是，在情況2中，沒(méi)有可以選擇的圖像。
如情況1所示，當(dāng)通過(guò)短時(shí)間內(nèi)多次釋放快門(mén)連續(xù)拍攝的、諸如逐幀 前進(jìn)(frame advance)的圖像中存在符合所述攝影者意圖的圖像時(shí)，可 以采用選取其中符合所述意圖的圖像的方法。但是，如情況2所示，連續(xù) 拍攝的圖像中不包括所述攝影者想要的對(duì)象圖像，因而不可能采用選<#符 合所述意圖的圖像的技術(shù)了。例如，在像集體照那樣在成像范圍內(nèi)包括4艮 多人的圖像的情況下，很難抓取沒(méi)有人眨眼的時(shí)刻，因而處于像情況2 的狀態(tài)的概率4艮高。
考慮到這樣的實(shí)際情況，使用根據(jù)在下文中將要描述的實(shí)施例的技 術(shù)，甚至對(duì)于情況2也可以得到符合所述攝影者意圖的圖4象。但是，根據(jù) 所述實(shí)施例的技術(shù)不僅可以作為針對(duì)對(duì)象眨眼的對(duì)策使用，也可應(yīng)用于在 下文將描述的應(yīng)用例中所示出的多種情況。此外，才艮據(jù)實(shí)施例的技術(shù)的應(yīng) 用范圍不局限于圖像。例如，所述應(yīng)用范圍也包括構(gòu)成廣播數(shù)據(jù)和視頻數(shù) 據(jù)的運(yùn)動(dòng)畫(huà)面圖像幀和各種靜止圖像。但在下文中，為了方便起見(jiàn)，將稱 之為連續(xù)拍攝的"圖像"。
<實(shí)施例>
下文中將介紹本發(fā)明的一個(gè)實(shí)施例。所述實(shí)施例涉及用于合成連續(xù) 拍攝的多個(gè)圖像的技術(shù)。但是，所述技術(shù)也適用于在改變其預(yù)先設(shè)定的參 數(shù)時(shí)連續(xù)拍攝的多個(gè)圖像。此夕卜，本實(shí)施例涉及用戶摩擦在其上顯示圖像 的屏幕并因而響應(yīng)于摩擦動(dòng)作而合成處理連續(xù)拍攝的其他圖像的技術(shù)。所
以，所述技術(shù)涉及用戶的^Mt系統(tǒng)。 [原理說(shuō)明
首先，將參考圖3說(shuō)明本實(shí)施例中的方法的原理。圖3是用于說(shuō)明根據(jù)本實(shí)施例的技術(shù)原理的原理說(shuō)明圖。
在圖3中，示意性地示出了觸摸面板和連續(xù)拍攝的多個(gè)圖像。這些圖 像代表了在改變參數(shù)時(shí)連續(xù)拍攝的圖像。但是要注意，即使用戶在連續(xù)成 像時(shí)沒(méi)有故意改變關(guān)于成係水構(gòu)的^lfc，"時(shí)間"也是發(fā)生改變的一個(gè)參 數(shù)。例如，關(guān)于所述成像機(jī)構(gòu)的參數(shù)包括景深、效果、背光修正、閃光 等。
景深取決于焦距、光團(tuán)值等而確定。例如，焦距越短，景深越深，且 光圏越小，景深越深。作為效果的例子，有由鏡頭濾光器和多種數(shù)字濾光 器實(shí)現(xiàn)的效果，或者任意背景圖^^L合成的效果，把整個(gè)圖像變?yōu)樯詈稚?的效果。作為所述鏡頭濾光器的效果，有偏振濾光器、中性密度濾光器、 顏色校正濾光器和顏色增強(qiáng)濾光器等。順帶提及的是，例如，關(guān)于閃光， 點(diǎn)亮/熄滅的切換和輝度的調(diào)整值也是參數(shù)值。
在圖3中，改變這些^lt時(shí)拍攝的多個(gè)連續(xù)圖〗象沿所述^t改變方向 (取決于時(shí)間的方向)布置。事實(shí)上，基于成像時(shí)的信息排列圖像數(shù)據(jù)， 因而所述圖像數(shù)據(jù)沿著所述參數(shù)改變的方向排列。但請(qǐng)注意，典型地，所 述圖像數(shù)據(jù)被基于成像時(shí)的信息來(lái)布置和控制，因此不要求用戶進(jìn)行特殊 操作。在觸摸面板上顯示位于這樣排列的圖像數(shù)據(jù)的起始處的圖像。也就 是說(shuō)，在觸摸面板上顯示連續(xù)拍攝的多個(gè)圖像中的第 一個(gè)拍攝圖像。
這種情況下，用戶在查看顯示在所述觸摸面板上的圖像時(shí)，用手指摩 擦所述觸摸面板的表面，因而，對(duì)所述手指摩擦的像素區(qū)域，可以將顯示 的圖像和其他圖像合成。此時(shí)，在本實(shí)施例中，對(duì)于所述圖像的合成處理， 使用諸如所述用戶手指摩擦的區(qū)域或位置、手指在所述位置或所述區(qū)域往 復(fù)的次數(shù)、按壓力、所述手指的數(shù)目、或手指運(yùn)動(dòng)速度等的摩^ft息。在 所述合成處理中，例如，響應(yīng)于手指往復(fù)次數(shù)或按壓力量等，具有大量參 數(shù)的圖像被合成。此時(shí)，只有所述用戶手指摩擦的區(qū)域或位置被合成。因 此，所述用戶可以通過(guò)筒單的操作僅對(duì)所述圖像的一部分執(zhí)行合成處理。
例如，在圖2所示的情況2中，圖4象P (tl)顯示在所述觸摸面板上。 如上所述，由于對(duì)象A眨眼了，圖像P (tl)不符合所述攝影者的意圖。 另一方面，至于圖像P(t2)，對(duì)象B也眨眼了，因而，這個(gè)圖像也不符 合所述攝影者的意圖。
但是，如果在圖像P(tl)中示出的對(duì)象A的一部分(眼睛周?chē)?被 在圖像P(t2)中示出的對(duì)象A中的一部分(眼睛周?chē)?替換，則形成了符合所述攝影者意圖的圖像。因此，用戶在查看顯示在所述觸摸面板上的
圖像P (tl)的同時(shí)，用他/她的手指在對(duì)象A的一部分(眼睛周?chē)?上 執(zhí)行摩擦動(dòng)作。通過(guò)執(zhí)行這個(gè)動(dòng)作，只有圖像P(tl)中的M擦部分被 逐漸地與圖像P (t2)合成，并最終被在圖像P (t2)中示出的對(duì)象A的 一部分所代替。因此，可以得到所需的、其中對(duì)象A和對(duì)象B都沒(méi)有眨 眼的圖像。
如上所述，根據(jù)本實(shí)施例的技術(shù)是，用戶想要的合成位置、合成范圍、 合成程度等通過(guò)所述用戶的摩擦動(dòng)作改變，并因而通過(guò)所述用戶執(zhí)行的一 系列動(dòng)作形成復(fù)合圖像。此外，所述用戶執(zhí)行的操作僅僅M擦所述觸摸 面M面的動(dòng)作，因而與圖像處理應(yīng)用程序等相比，可以用非常簡(jiǎn)單的操 作執(zhí)行所述圖像合成處理。換言之，根據(jù)本實(shí)施例的技術(shù)提供了這樣一種 具有高度便利性的操作系統(tǒng)。
順帶提及的是，在上文描述中，對(duì)所述觸摸面板的描述被用作顯示裝 置和輸入裝置的一個(gè)例子。此外，例如，作為除了使手指摩擦所述觸摸面 板之外的其他方式，、也可以使用觸針等。進(jìn)而，笫一張連續(xù)拍攝的圖像 不一定要顯示在所述觸摸面板的屏幕上，例如，可以顯示在用戶指定的成 像時(shí)間點(diǎn)的圖像和對(duì)應(yīng)于預(yù)先確定的成像時(shí)間點(diǎn)的圖像。此外，當(dāng)多個(gè)用 戶手指摩擦所述觸摸面板時(shí)，可以將所述觸摸面板構(gòu)造成使得所合成的圖 像被重新存儲(chǔ)。如上所述，本實(shí)施例并不局限于此，因此可以做出各種修 改。
如上所述，下面說(shuō)明本實(shí)施例的原理。下文中，將說(shuō)明為實(shí)現(xiàn)根據(jù)本 實(shí)施例的技術(shù)的特定圖像處理設(shè)備100的一系列動(dòng)作和功能配置。所述說(shuō) 明通過(guò)使用"圖像"這一表述作為合成處理對(duì)象來(lái)進(jìn)行以對(duì)其進(jìn)行具體描 述。但是，在下面的說(shuō)明中將使用的"圖像"這一表述包括了更廣泛的含 義。
[圖《象處理i殳備100的功能配置
在這種情況中，根據(jù)本實(shí)施例的圖像處理設(shè)備100的功能配置將參 考圖4說(shuō)明。圖4是示出根據(jù)本實(shí)施例的圖像處理設(shè)備100的功能配置的 說(shuō)明圖。順帶提及的是，圖4中也描繪了向圖像處理設(shè)備100提供連續(xù)拍 攝的圖像數(shù)據(jù)的成像裝置200。由成像裝置200和圖像處理設(shè)備100構(gòu)成 了圖像處理系統(tǒng)。
如圖4所示，圖像處理設(shè)備100主要包括顯示輸入單元110和圖像合成單元130。
(顯示輸入單元110 )
顯示輸入單元110主要包括顯示單元112和摩擦位置檢測(cè)器114。上 述觸摸面板是顯示輸入單元110的一個(gè)例子。
顯示單元112是用于顯示由成像裝置200拍攝的圖像的顯示裝置。此 外，顯示單元112的功能由圖14中所示的硬件資源中的輸出單元918來(lái) 實(shí)現(xiàn)。此外，在顯示單元112中，提供摩擦位置檢測(cè)器114。摩擦位置檢 測(cè)器114可以和顯示單元112 —體地構(gòu)成，或者也可以單獨(dú)地構(gòu)成。但是， 摩擦位置檢測(cè)器114被提供在顯示單元112的屏幕上，并且顯示在顯示單 元112上的圖#^1構(gòu)造為可以被透明地查看。
摩擦位置檢測(cè)器114檢測(cè)用戶摩擦的位置。更具體地，摩擦位置檢測(cè) 器114檢測(cè)在顯示在顯示單元112的屏幕上的圖像中所述用戶摩擦的位置 或區(qū)域。此夕卜，摩^i置檢測(cè)器114可以被構(gòu)造為得能檢測(cè)所述用戶摩擦 時(shí)所用的按壓力。進(jìn)而，摩擦位置檢測(cè)器114還可具有這樣的功能甚至 當(dāng)用戶沒(méi)有直##觸摩擦位置檢測(cè)器114時(shí)，也可檢測(cè)到所述用戶的手指 出現(xiàn)在位于屏幕上方、臨近顯示單元112的空間中，并將其識(shí)別為摩^i 置。換言之，在這種情況中提到的摩擦位置可以包括用戶執(zhí)行的動(dòng)作的位 置信息，以《更用位于顯示單元112的屏幕上方的空曠空間來(lái)描述。
這樣的所檢測(cè)到的摩擦位置信息4擦位置檢測(cè)器114輸入到圖像 合成單元130的摩擦信息檢測(cè)器132。
(圖像合成單元130)
圖像合成單元130主要包括摩擦信息單元132、合成率設(shè)定單元134 和合成處理器136。順便提及的是，圖像合成單元130的功能可以由圖14 所示的硬件資源中的ROM904、 RAM 906、存儲(chǔ)單元920或CPU卯2基 于記錄在可移動(dòng)記錄媒介928中的計(jì)算積一呈序來(lái)實(shí)現(xiàn)。
(摩^息檢測(cè)器132)
摩擦信息檢測(cè)器132基于由顯示輸入單元110的摩擦位置檢測(cè)器114 輸入的所i^t擦位置信息，檢測(cè)各種摩擦信息。作為摩擦信息，例如，可 以包括由用戶摩擦的像素區(qū)域、所述像素區(qū)域的往Jjf擦次數(shù)、摩擦速度、 摩擦方向、摩擦軌跡形狀等。
在摩擦信息檢測(cè)器132中，例如，摩擦位置檢測(cè)器114依次檢測(cè)到的摩擦位置信息被存儲(chǔ)下來(lái)，并且分析存儲(chǔ)的信息，因而可以檢測(cè)出所#
擦信息。由摩擦信息檢測(cè)器132檢測(cè)到的摩擦信息被輸入到合成率設(shè)定單 元134。下文中，為了解釋方4更，在假設(shè)檢測(cè)到"摩擦次數(shù)"和"像素區(qū) 域"作為摩B息的情況下進(jìn)行描述。
(合成率設(shè)定單元134 )
合成率設(shè)定單元134基于由摩擦信息檢測(cè)器132檢測(cè)的摩擦信息， 設(shè)定圖像的合成率。這里提到的圖像的合成率是指當(dāng)顯示在顯示單元112 上的圖像(下文中稱為"顯示圖像")中被摩擦的像素區(qū)域的像素值和將 被合成的圖像的像素值被合成時(shí)的合成率。例如，合成率設(shè)定單元134 設(shè)定所述像素值的合成率，以隨著摩擦次數(shù)的增加而增加要被合成的圖像 的重要性。但是，當(dāng)響應(yīng)于所述摩擦次數(shù)而切換要被合成的圖像時(shí)，合成 率仍然被固定在0或1。
在這種情況中，將通過(guò)具體的例子來(lái)描述所述合成率的設(shè)定方法。首 先，通過(guò)成像裝置200拍攝三個(gè)圖像(圖像P (tl )、圖像P (t2 )和圖像 P(t3)，其中tKt2〈t3)，并將其輸入到圖像處理設(shè)備100。此外，圖像P (tl)顯示在顯示單元112上。這時(shí)，當(dāng)其上顯示有圖像P (tl)的顯示 單元112被用戶摩擦?xí)r，摩擦位置檢測(cè)器114檢測(cè)摩擦位置，并JL^^fT 息檢測(cè)器132將摩擦次數(shù)輸入到合成率設(shè)定單元134。
例如，當(dāng)摩擦次lbl—次時(shí)，圖像P (tl)的被用戶摩擦的像素區(qū)域 的像素值D1和圖像P (t2)的像素區(qū)域的像素值D2按1: l合成，且合 成率被設(shè)定成使得計(jì)算像素值0，= (Dl+D2)/2。例如，當(dāng)摩擦次數(shù)為兩 次時(shí)，圖像P (tl)的被用戶摩擦的像素區(qū)域的像素值D1和圖像P (t2) 的像素區(qū)域的像素值D2按1: 2合成，且合成率被設(shè)定成使得計(jì)算像素 值0，= (D1+2*D2)/3。通過(guò)應(yīng)用這樣的配置，隨著摩擦的增加，顯示圖 像可以逐漸變?yōu)榫哂懈骬lt的將被合成的圖像。
另一方面，當(dāng)響應(yīng)于摩擦次數(shù)而切換將被合成的圖像時(shí)，產(chǎn)生如下情 況。當(dāng)摩擦次M—次時(shí)，圖像P (tl)的被用戶摩擦的像素區(qū)域的像素 值Dl被圖像P (t2)的像素區(qū)域的像素值D2取代。換言之，對(duì)應(yīng)于所 述像素區(qū)域的合成后的像素值D，變?yōu)镈，=D2。使用上W達(dá)式時(shí)，在像 素值D1和像素值D2之間的合成率是0: 1。此外，當(dāng)摩擦次數(shù)是兩次時(shí)， 圖像P (tl)的被用戶摩擦的像素區(qū)域的像素值Dl被圖像P (t3 )的像素 區(qū)域的像素值D3取代。換言之，對(duì)應(yīng)于所述像素區(qū)域的合成后的像素值 D，變?yōu)镈^D3。使用上W達(dá)式時(shí)，在像素值D1和像素值D3之間的合成率是O: 1。
上述設(shè)定方法是一個(gè)例子，且本實(shí)施例不局限于此。但是，通過(guò)4吏用 這樣的設(shè)定方法，可以設(shè)定對(duì)應(yīng)于摩擦信息的摩擦率。此外，下文中將詳 細(xì)描述圖像合成方法。用這樣的方式設(shè)定的合成率被輸入到合成處理器 136。
(合成處理器136)
合成處理器136在顯示單元112上顯示對(duì)應(yīng)于連續(xù)拍攝的圖傳i且中的 第一或預(yù)先確定的成像時(shí)間點(diǎn)的圖像。隨后，用戶在查看顯示在顯示單元 U2上的圖像的同時(shí)，在顯示單元112的屏幕上執(zhí)行摩擦動(dòng)作。響應(yīng)于所 ^f擦動(dòng)作而檢測(cè)到摩擦信息，并由合成率設(shè)定單元134響應(yīng)于所^f擦 信息而設(shè)定合成率。在輸入合成率后，合成處理器136基于由合成率設(shè)定 單元134設(shè)定的合成率，合成由成像裝置200連續(xù)拍攝的圖像與顯示在顯 示單元112上的圖像。進(jìn)而，合成處理器136在顯示單元112上顯示合成 后的圖像，并再次將其顯示給用戶。
(對(duì)圖《象合成處理的詳細(xì)描述)
現(xiàn)在，將參考圖5至9詳細(xì)描述上述圖像合成處理。圖5是示出對(duì)
應(yīng)于圖像的像素?cái)?shù)量的矩陣的說(shuō)明圖。圖6是示出畫(huà)筆矩陣的一個(gè)例子的
說(shuō)明圖。圖7是示出輸入操作的一個(gè)例子的說(shuō)明圖。圖8是示出深度矩陣 的一個(gè)例子的i兌明圖。
首先，將參考圖5。圖像合成單元130保持圖5所示的矩陣的信息。 所述矩陣示出了具有和圖像像素?cái)?shù)目相同大小的數(shù)據(jù)存儲(chǔ)區(qū)域，例如，所 述數(shù)據(jù)存儲(chǔ)區(qū)域是其中每個(gè)單元中都保持深度信息的矩陣數(shù)據(jù)。在這個(gè)情 形中提到的深度是示出了顯示(合成)圖像的深度的指標(biāo)。首先，預(yù)先確 定的值被存儲(chǔ)在所述矩陣中，且存儲(chǔ)在所述矩陣中的深度響應(yīng)于用戶的摩 擦信息而被更新。響應(yīng)于所述深度，確定由圖像合成單元130合成的、待 合成圖像的成像時(shí)間點(diǎn)，^i殳定與顯示圖像合成的待合成圖像的比率。
然后，將參考圖6。圖6是用來(lái)更新與用戶摩擦的像素區(qū)域相對(duì)應(yīng)的 矩陣值的畫(huà)筆矩陣。換言之，所述畫(huà)筆矩陣用來(lái)設(shè)定要加到矩陣值上的深 度。在這個(gè)例子中，設(shè)定畫(huà)筆矩陣具有5像素x5像素的尺寸。此外，所 述畫(huà)筆矩陣具有中心值1.0，且深度被設(shè)定為使得數(shù)值沿向其外部的方向 減少。當(dāng)用戶摩擦的位置被檢測(cè)到時(shí)，對(duì)所述位置進(jìn)行調(diào)整，以使檢測(cè)到 的位置的像素與所述畫(huà)筆矩陣中心重合，且所述畫(huà)筆矩陣的值被加到所述矩陣值上。
首先，如圖7所示，某個(gè)像素區(qū)域被用戶摩擦。在圖7中，被用戶手 指摩擦的位置和所述矩陣位置被象征性地描繪，以闡明兩個(gè)位置之間的對(duì) 應(yīng)關(guān)系。事實(shí)上，所述矩陣是矩陣翁:據(jù)，因而，所述矩陣并非如圖7所示 被直接按壓。但是，與圖7中所示的圖像相類(lèi)似地，圖像合成單元130 獲取用戶按壓的位置的信息，并識(shí)別在所述矩陣上的位置。當(dāng)用戶執(zhí)行了 摩擦動(dòng)作時(shí)，M在畫(huà)筆矩陣中的深度由圖像合成單元130加到所述矩陣 值上。情況如圖8所示。
圖8所示的例子示出了在矩陣的每個(gè)單元中存儲(chǔ)了深度10.0作為初 始值且所述畫(huà)筆矩陣值被加到用戶摩擦的位置上的狀態(tài)下的矩陣。如圖7 所示，當(dāng)所述像素區(qū)域被用戶摩擦后，通過(guò)圖像合成單元130，將所述畫(huà) 筆矩陣的位置調(diào)整為與所述像素區(qū)域重合。然后，圖像合成單元130將存 儲(chǔ)在所述畫(huà)筆矩陣的每個(gè)單元中的深度值加到存儲(chǔ)在所述矩陣的、對(duì)應(yīng)于 所述畫(huà)筆矩陣的每個(gè)單元的每個(gè)單元中的深度值上。當(dāng)畫(huà)筆矩陣如圖6 所示設(shè)定時(shí)，相加后的矩陣如圖8所示。
當(dāng)同一像素區(qū)域被用戶重M擦?xí)r，所摩擦區(qū)域的矩陣值被重復(fù)地相 加。因而，存儲(chǔ)在所述矩陣中的深度值隨著施加摩擦的次數(shù)的增加而增加。 此外，也可以配置為響應(yīng)于用戶繼續(xù)接觸同一〗象素區(qū)域的時(shí)間以及按壓所 述像素區(qū)域的壓力而將所述畫(huà)筆矩陣的值多次相加.進(jìn)而，當(dāng)用戶摩擦某 一像素區(qū)域時(shí)，可以配置為使得摩擦il^小或越大，所述畫(huà)筆矩陣增大 的次數(shù)越大。通過(guò)應(yīng)用這樣的配置，圖像合成單元130可以響應(yīng)于各種摩 ^fT息而控制所述矩陣值。
以這樣的方式得到的每個(gè)像素的深度用于確定顯示的圖像和確定合 成率。在執(zhí)行這些確定的情形中，4吏用例如圖9所示的轉(zhuǎn)換表。圖9中的 轉(zhuǎn)換表用于確定顯示圖像。所述轉(zhuǎn)換表由示出包括所述矩陣值的數(shù)值范圍 的列和示出對(duì)應(yīng)于所述數(shù)值范圍的圖像部分的列組成。
例如，當(dāng)對(duì)應(yīng)于某像素的矩陣數(shù)值(深度)是11.0時(shí)，所述像素被 包括在對(duì)應(yīng)于"圖像1和圖像2"的數(shù)值范圍10.0到20.0中。因而，使 用相互對(duì)應(yīng)的圖像1和圖像2的像素值計(jì)算所述像素的像素值。此外，在 合成圖像1和圖像2的像素的情況下，合成率由合成率設(shè)定單元134響應(yīng) 于所述矩陣值而確定。例如，當(dāng)所述深JLAll.O時(shí)，圖像1的像素值D1 和圖像2的像素值D2之間的合成率被確定為D1: D2 = 9: 1。因而，合 成圖4象的^(象素值D，成為D，=0.9*D1+0.1*D2。當(dāng)像素值D具有對(duì)應(yīng)于三原色的值R、 G和B時(shí)，合成后的像素值 D， (R，、 G，和B，)可以用下面的方程式(1)表示，其中像素值D1具有 值R1、 G1和B1，和像素值D2具有值R2、 G2和B2。結(jié)果，圖像2和 圖像l中的被用戶摩擦的像素區(qū)域通過(guò)以這種方式被阿爾法混合(alpha-blend) 來(lái)顯示。順便提及的是，對(duì)于其他顏色空間表達(dá)、諸如YCbCr、 CMYK等，合成圖像的像素值通過(guò)類(lèi)似地合成像素值來(lái)計(jì)算。
R，=R1*0.9+R2*0.1
G"=G1*0.9+G2*0.1
B，=B1*0.9+B2*0.1
—(1)
然后，將進(jìn)一步解釋圖9所示的轉(zhuǎn)換表。在圖9所示的轉(zhuǎn)換表中，當(dāng) 矩陣值在0.0到10.0的數(shù)值范圍或20.0到30.0的數(shù)值范圍時(shí)，將要顯示 的圖像僅僅被分別設(shè)定為圖像1或圖像2。換言之，即使用戶重^擦動(dòng) 作，并且所述矩陣值逐漸增加，在相加后的深度被包括在所述數(shù)值范圍中 期間，也會(huì)進(jìn)入其中被摩擦的像素區(qū)域中的像素值由將被合成的圖像固定 的狀態(tài)。這個(gè)狀態(tài)被稱為"存儲(chǔ)"。
例如，關(guān)于圖2中所示的情況2，用戶將會(huì)考慮直接用圖像P (tl) 替換在拍攝時(shí)間上略晚的圖像P( t2 )的僅僅一部分(對(duì)象A的眼睛周?chē)?。 若上述"存儲(chǔ)"并未發(fā)生，則用戶在檢查所顯示的合成圖像和重M擦動(dòng) 作時(shí)仔細(xì)搜索圖像P (t2)被單獨(dú)顯示的時(shí)刻。此外，當(dāng)過(guò)了這樣的時(shí)刻 時(shí)，所述像素值變成合成后的值，從而使得圖像質(zhì)量變差。但是，如果設(shè) 定了上述"存儲(chǔ)"，則即4吏在圖〗象P (t2)被單獨(dú)顯示之后在某種程度上 執(zhí)行摩擦動(dòng)作，所述像素值也不會(huì)改變。因此，用戶可以輕松無(wú)憂地在參 考顯示圖像的同時(shí)重M擦動(dòng)作，以查找圖像P (t2 )被單獨(dú)顯示的時(shí)間。
如上所述，圖像合成處理已經(jīng)被詳細(xì)解釋。如上文提到的，由成像裝 置200連續(xù)拍攝的圖像的一部分響應(yīng)于用戶的摩擦動(dòng)作而由圖像合成單 元130的合成率設(shè)定單元134和合成處理器136合成。合成的圖像被輸入 到顯示輸入單元110的顯示單元112，并顯示給用戶。但是，在這里，合 成后的圖像在每次圖像被合成處理器136合成時(shí)都被顯示在顯示單元 112。
如上所述，根據(jù)本實(shí)施例的圖像處理設(shè)備100響應(yīng)于用戶的摩擦動(dòng) 作，而合成多個(gè)連續(xù)拍攝的圖像。更特別地，圖像處理設(shè)備100具有這樣
的配置，其可以響應(yīng)于摩擦信息而切換將被合成的圖像，并調(diào)整合成率。如上所述，通過(guò)應(yīng)用圖像處理設(shè)備100的所述配置，可實(shí)現(xiàn)這樣的操作系
統(tǒng)，其中響應(yīng)于用戶的摩擦動(dòng)作而平滑地合成圖像的一部分，因而用戶可 以通過(guò)簡(jiǎn)單的操作得到符合用戶意圖的圖像。
[成像裝置200的功能配置
現(xiàn)在，將參考圖4簡(jiǎn)單描述成像裝置200的功能配置。但是，成像裝 置200的功能通過(guò)如圖15所示的硬件配置實(shí)現(xiàn)。
在成像裝置200中所包括的功能中，對(duì)于本實(shí)施例而言的一個(gè)重要功 能是^lt改變單元210的功能。^改變單元210的功能是，在成像裝置 200執(zhí)行連續(xù)成像時(shí)，以每個(gè)圖像為單位改變各種可控參數(shù)。作為被^lt 改變單元210控制的參數(shù)，例如可以有景深、效果、背光校正和閃光等。 通過(guò)參數(shù)改變單元210，逐漸改變這些參數(shù)，同時(shí)連續(xù)拍攝對(duì)象圖像。但 是，所述參數(shù)的改變可以由^lt改變單元210自動(dòng)執(zhí)行，或者由用戶人工 執(zhí)行。
[圖像處理設(shè)備100的操作說(shuō)明
然后，將參考圖IO解釋根據(jù)本實(shí)施例的圖像處理設(shè)備IOO的操作說(shuō) 明。圖10是示意性地示出根據(jù)本實(shí)施例的圖像處理設(shè)備100的操作的操 作說(shuō)明圖。但是，在這里，將解釋對(duì)人物圖像中的眨眼進(jìn)行修正的例子。
圖10描繪了在時(shí)間tl拍攝的圖像P (tl)和在時(shí)間t2拍攝的圖像P (t2 )。時(shí)間tl和時(shí)間t2是連續(xù)的成像時(shí)間。此外，圖像P (tl)和P (t2 ) 中示出了兩個(gè)對(duì)象圖《象(對(duì)象A和對(duì)象B)。
圖像P(tl)中包括的對(duì)象A是在眨眼時(shí)刻拍攝的。另一方面，圖像 P (tl)中包括的對(duì)象B沒(méi)有眨眼，因而處于符合攝影者意圖的狀態(tài)(OK， 正常)。此外，圖像P (t2)中包括的對(duì)象A沒(méi)有眨眼，因而處于符合所 述攝影者意圖的狀態(tài)(OK)。另一方面，圖像P (t2)中包括的對(duì)象B是 在眨眼時(shí)拍攝的。這種情況下，用戶將會(huì)考慮將圖像P (t2)所示的對(duì)象 B的眼睛部分用圖1象P (tl)中的相應(yīng)部分替換。
此時(shí)，如圖10所示，用戶可以只通it^擦圖像P (t2)中所示的對(duì) 象B的眼睛周?chē)?，而合成圖像P(tl)中對(duì)應(yīng)于其摩擦區(qū)域的圖像。換言 之，當(dāng)用戶摩擦圖像P (t2)中的像素區(qū)域時(shí)，圖像處理設(shè)備100合成圖 像P (t2)和圖像P (tl)中的、對(duì)應(yīng)于所述像素區(qū)域的圖像(SIOO)。通 過(guò)這樣的合成處理，對(duì)象A和對(duì)象B組成了用戶所期望的、其中沒(méi)有眨 眼的合成圖像如上所述，用戶可以通it^^A物的眨眼了的眼睛周?chē)斑M(jìn)一幀。 如上所述，用戶可以通過(guò)只改變所i^擦區(qū)域而非改變整個(gè)圖〗象，來(lái)按照 用戶所想要的區(qū)域和位置而改變深度。
(合成處理S100的細(xì)節(jié))
現(xiàn)在，將參考圖11詳細(xì)解釋圖像處理設(shè)備100執(zhí)行的合成處理S100 的流程。圖11是示出根據(jù)本實(shí)施例的圖像處理設(shè)備100執(zhí)行的合成處理
的it^呈的說(shuō)明圖。本情況中所示的一系列處理主要通過(guò)包括在圖像處理設(shè)
備100中的功能配置中的圖像合成單元130的功能實(shí)現(xiàn)。
如圖11所示，首先，圖像合成單元130使所述畫(huà)筆矩陣的位置與用 戶摩擦的位置的像素區(qū)域重合，并將存儲(chǔ)在所述畫(huà)筆矩陣的每個(gè)單元中的 深度值加到所述矩陣值上(S102)。然后，圖像合成單元130通過(guò)參考所 述轉(zhuǎn)換表選擇對(duì)應(yīng)于所述矩陣值的圖像，來(lái)選擇要合成(顯示)的圖像 (S104).此后，圖像合成單元130計(jì)算用戶摩擦的像素區(qū)域的像素值， 填充相應(yīng)的像素作為構(gòu)成合成后的顯示圖像的像素值(S106),從而完成 一系列處理。通過(guò)應(yīng)用這些處理，形成對(duì)應(yīng)于用戶摩擦動(dòng)作的合成圖像。
[應(yīng)用例l:焰火成《象
下面，將參考圖12A到12C解釋本實(shí)施例的一個(gè)應(yīng)用例。圖12A到 12C是示出在根據(jù)本實(shí)施例的技術(shù)應(yīng)用到焰火成像場(chǎng)合時(shí)的情況例子的 說(shuō)明圖。在本情況中示出的焰火成像場(chǎng)合是攝影者想要的對(duì)象圖像出現(xiàn)時(shí) 間差的情形的例子。如上所述，根據(jù)本實(shí)施例的圖像處理設(shè)備100也優(yōu)選 地用于不能控制對(duì)象狀態(tài)的場(chǎng)合。
圖12A到12C代表性地示出了意圖在兩個(gè)焰火爆炸時(shí)連續(xù)拍攝的圖 像。順便提及的是，這些圖像示出了左邊的焰火先爆炸，幾分鐘后，右邊 的焰火爆炸的情形。
首先，將參考圖12A。圖12A的成像時(shí)間點(diǎn)是左邊的焰火爆炸時(shí)的 時(shí)刻。關(guān)于左邊的焰火，按照所述攝影者的意圖，所述圖像在所述焰火完 全爆炸時(shí)拍攝。但是，在這個(gè)成像時(shí)間點(diǎn)，右邊的焰火還未爆炸，且該焰 火的直徑小于所述攝影者想要的直徑。
然后，將參考圖12B。圖12B的成像時(shí)間點(diǎn)是右邊的焰火爆炸時(shí)的時(shí) 刻。關(guān)于右邊的焰火，按照所述攝影者的意圖，所述圖〗象在所述焰火完全 爆炸時(shí)拍攝。但是，在這個(gè)成像時(shí)間點(diǎn)，左邊的焰火已經(jīng)消失。因此，攝 影者會(huì)考慮用圖12B中出現(xiàn)的右邊的焰火替換圖12A所示圖像中出現(xiàn)的右邊的焰火。因此，使用了本實(shí)施例的技術(shù)，其中可以通過(guò)所^擦區(qū)域 使時(shí)間前進(jìn)。
首先，攝影者在圖12A所示的圖像中包圍右邊焰火的框中執(zhí)行摩擦 操作。然后，摩擦的框中的時(shí)間前進(jìn)，因而，圖12B所示的右邊焰火的 圖傳被逐漸合成并顯示。當(dāng)繼續(xù)重_1*擦?xí)r，如圖12C所示，圖12B所 示的右邊焰火的圖傳被完全合成，形成了某個(gè)在左邊的焰火和右邊的焰火 都爆炸的時(shí)刻的合成圖像。從根本上說(shuō)，在不同時(shí)間發(fā)射的煙火同時(shí)爆炸 的時(shí)刻不會(huì)被捕捉到。但是，如果使用本實(shí)施例的技術(shù)，可以輕松地形成 這樣的合成圖像。
[應(yīng)用例2:風(fēng)景成《象
下面，將參考圖13解釋本實(shí)施例的一個(gè)應(yīng)用例。圖13是示出根據(jù)本 實(shí)施例的技術(shù)應(yīng)用到風(fēng)景成像場(chǎng)合的情況例子的說(shuō)明圖。在本情況中示出 的風(fēng)景成像場(chǎng)合是對(duì)象出現(xiàn)在前面和后面，因而不可能同時(shí)聚焦在前面和 后面的情形的例子。如上所述，根據(jù)本實(shí)施例的圖像處理設(shè)備100也優(yōu)選 地用于通過(guò)任何方式都很難成像的場(chǎng)合。
圖像P (tl)和圖像P (t2)如圖13所示。圖像P (tl)是以聚焦在 后面的方式拍攝的圖像。另一方面，圖像P (t2)是以聚焦在前面的方式 拍攝的圖像。在拍攝風(fēng)景的情況下，當(dāng)聚焦在后面的建筑、山脈等時(shí)，前 面的葉子等就不在焦點(diǎn)上。相反地，當(dāng)聚焦在前面葉子等時(shí)，后面建筑、 山脈等就焦距未對(duì)準(zhǔn)。甚至在這種情形下，攝影者也將考慮拍攝同時(shí)聚焦 在前面和后面的圖像。因此，使用本實(shí)施例的技術(shù)可以通過(guò)摩擦的區(qū)域改 變M (焦點(diǎn))。
首先，攝影者在改變景深的同時(shí)執(zhí)行連續(xù)拍攝。然后，攝影者在圖像 P(tl)中包圍前面對(duì)象的框中執(zhí)行摩擦操作。然后，在摩擦的框中景深 被向前拉，因而，圖像P (t2)中的圖^^逐漸合成并顯示。當(dāng)繼續(xù)重復(fù) 摩擦?xí)r，如圖13所示，作為合成圖像，包括在圖像P(t2)中的前面圖 像被完全合成，從而形成了同時(shí)聚焦在前面對(duì)象和后面對(duì)象的合成圖像。 從根本上說(shuō)，同時(shí)聚焦在前面和后面的圖像無(wú)法得到。但是，如果使用本 實(shí)施例的技術(shù)，可以輕松地形成這樣的合成圖像。
如上所述，示出了兩個(gè)根據(jù)本實(shí)施例的應(yīng)用例。當(dāng)然，本實(shí)施例的應(yīng) 用范圍不限于此，而是可以響應(yīng)于各種摩擦信息和各種參數(shù)進(jìn)行各種應(yīng) 用。[圖4象處理i殳備100的硬件配置例子
上述圖像處理設(shè)備100中包括的各個(gè)構(gòu)成元件的功能可以由例如具 有如圖14所示的硬件配置的信息處理設(shè)備實(shí)現(xiàn)，并且也可以通過(guò)使用用 于實(shí)現(xiàn)上述功能的計(jì)算枳4呈序來(lái)實(shí)現(xiàn)。圖14是說(shuō)明圖，示出了能夠?qū)崿F(xiàn) 包括在上述圖像處理設(shè)備100的各個(gè)構(gòu)成元件中的功能的信息處理設(shè)備 的硬件配置。所述信息處理設(shè)備的配置是可選的，例如，諸如以下各項(xiàng)的 配置是可選的個(gè)人電腦；諸如移動(dòng)電話、PHS (個(gè)人手持電話系統(tǒng))和 PDA(個(gè)人數(shù)字助理)等的個(gè)人數(shù)字助理；游戲設(shè)備；各種家用信息設(shè)備 等。
如圖14所示，所述信息處理設(shè)備主要包括CPU(中央處理單元)卯2、 ROM (只讀存儲(chǔ)器)904、 RAM (隨機(jī)讀取存儲(chǔ)器)906、主總線908、 橋910、外部總線912、接口 914、輸入單元916、輸出單元918、存儲(chǔ)單 元920、驅(qū)動(dòng)器922、連接端口 924和通信單元926。
CPU902基于各種記錄在ROM904、 RAM卯6、存儲(chǔ)單元920或可 移動(dòng)記錄媒介928上的程序，而用作運(yùn)算處理單元或控制單元，并控制構(gòu) 成元件的整體操作或某些構(gòu)成元件。ROM 904存儲(chǔ)例如栽入在CPU卯2 上的程序，或運(yùn)算操作中使用的數(shù)據(jù)等。RAM卯6臨時(shí)或永久地存儲(chǔ)例 如載入在CPU 902上的程序，或在運(yùn)行所述程序時(shí)任意改變的各種參數(shù) 等。這些構(gòu)成元件通過(guò)例如可以執(zhí)行高速數(shù)據(jù)傳輸?shù)闹骺偩€908相互連 接。主總線908例如通過(guò)橋910連接到數(shù)據(jù)傳輸速度相對(duì)低的外部總線 912'
輸入單元916是例如諸如鼠標(biāo)、鍵盤(pán)、觸摸面板、按鈕、開(kāi)關(guān)或控制 桿的操作單元。輸入單元916可以是能通過(guò)使用紅外線或其他無(wú)線電波傳 輸控制信號(hào)的遠(yuǎn)程控制單元(所謂的M控制器)。輸入單元916包括通 過(guò)輸入信號(hào)將通過(guò)使用操作單元輸入的信息傳輸?shù)紺PU卯2的輸入控制 電路等。
輸出單元918是可以在視覺(jué)或聽(tīng)覺(jué)上向用戶通知所獲取信息的、例如 諸如CRT (陰極射線管)、LCD (液晶顯示器)、PDP (等離子體顯示面 板)或ELD (電致發(fā)光顯示器)的顯示裝置，諸如擴(kuò)音器或耳機(jī)的音頻 輸出裝置，打印機(jī)，移動(dòng)電話或傳真機(jī)。
存儲(chǔ)單元920是存儲(chǔ)各種數(shù)據(jù)的裝置，并且包括例如諸如硬盤(pán)驅(qū)動(dòng)器 (HDD;硬盤(pán)驅(qū)動(dòng)器)的磁存儲(chǔ)裝置、半導(dǎo)體存儲(chǔ)裝置、光學(xué)存儲(chǔ)裝置或磁光存儲(chǔ)裝置等。
驅(qū)動(dòng)器922是讀取記錄在諸如磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器的 可移動(dòng)記錄媒介928中的信息或在可移動(dòng)記錄^^介928中寫(xiě)入信息的裝 置。可移動(dòng)記錄媒介928是例如DVD媒介、藍(lán)光媒介、HD-DVD媒介、 緊湊式閃存(CF; CompactFlash)(注冊(cè)商標(biāo))、記憶棒或SD存儲(chǔ)卡(安 全數(shù)字存儲(chǔ)卡)等?？偟膩?lái)說(shuō)，可移動(dòng)記錄媒介928可以是例如安裝有非 接觸式IC芯片的IC卡(集成電路卡)或電子裝置等。
連接端口 924是諸如USB (通用串行總線)端口 、 IEEE1394端口 、 SCSI (小型計(jì)算機(jī)系統(tǒng)接口 )、 RS-232C端口或光學(xué)音頻終端(叩tical audio terminal)的端口，且連接到外部連接裝置930。外部連接裝置930 是例如打印機(jī)、移動(dòng)音樂(lè)播放器、數(shù)字照相機(jī)、數(shù)字?jǐn)zH^或IC記錄器 等。
通信單元926是連接到網(wǎng)絡(luò)932的通信裝置。例如，使用用于有線或 無(wú)線LAN (局域網(wǎng))的通信卡、藍(lán)牙(注冊(cè)商標(biāo))或WUSB (無(wú)線USB )、 光學(xué)通信路由器、ADSL (非對(duì)稱數(shù)字用戶線)路由器或各種通信調(diào)制解 調(diào)器等。連接到通信單元926的網(wǎng)絡(luò)932包括有線或無(wú)線連接的網(wǎng)絡(luò)。例 如，使用因特網(wǎng)、家用LAN、紅外通信、廣播或衛(wèi)星通信等。
[成像裝置200的硬件配置例子
下面，將解釋上述成像裝置200的硬件配置例子。包括在上述成寸象 裝置200中的各組成元件的功能可以由例如圖15所示的硬件配置實(shí)現(xiàn)。 圖15是示出可以實(shí)現(xiàn)上述成像裝置200的上述各組成元件中包括的功能 的硬件配置的一個(gè)例子的說(shuō)明圖。
如圖15所示，成像裝置200主要包括控制器(例如，CPU;中央處 理單元)802、位置獲取單元804、 RAM (隨機(jī)讀^#儲(chǔ)器)806、 ROM (只讀存儲(chǔ)器)808、總線810、成4象單元812、圖4象處理單元814、顯示 單元816和記錄^^介(例如，閃存等)818。
盡管未在圖中示出，但是接收用戶操作的輸入單元也可以被包括在 內(nèi)。所述輸入單元的功能由操作裝置、例如鼠標(biāo)、鍵盤(pán)、觸摸面板、按鈕、 開(kāi)關(guān)或控制桿等實(shí)現(xiàn)。此外，所述輸入單元可以是能通過(guò)使用紅外線、其 他無(wú)線電波或光波等發(fā)送控制信號(hào)的遠(yuǎn)程控制器。
控制器802可以由例如CPU等實(shí)現(xiàn)，并基于各種記錄在RAM 806、 ROM 808或記錄媒介818等中的程序，控制各組成元件的整體操作或其一部分。ROM 808存儲(chǔ)例如將由控制器802讀取的程序或用于在計(jì)算過(guò) 程中使用的數(shù)據(jù)等。RAM 806臨時(shí)或永久地存儲(chǔ)例如將由控制器802讀 取的程序或在運(yùn)行所述程序時(shí)適當(dāng)修改的^lt等。這些組成元件通過(guò)例如 能高速傳輸數(shù)據(jù)的總線810相互連接。
位置獲取單元804是獲取所述成像裝置的位置信息的裝置。位置信息 獲取單元804可以訪問(wèn)例如可通信基站，并獲取所U站覆蓋的區(qū)域的信 息作為所述位置信息，或者可以從定位衛(wèi)星系統(tǒng)(GPS;全球定位系統(tǒng)) 等獲取位置信息。作為所述位置信息，例如，包括能夠指明緯度、經(jīng)度或 成《象裝置200所位于的區(qū)域的信息。
成像單元812是通過(guò)光學(xué)系統(tǒng)獲M"象圖像的工具。成像單元812 主要包括鏡頭822、 CCD (電荷耦合器件)824、 AF控制器826和AE控 制器828。
鏡頭822組成所述光學(xué)系統(tǒng)，并會(huì)聚由對(duì)象反射到CCD 824的光。 CCD 824是固態(tài)圖像傳感器，其由半導(dǎo)體元件構(gòu)造，通過(guò)每個(gè)元件接收 鏡頭822會(huì)聚的光，對(duì)接收到的光執(zhí)行光電轉(zhuǎn)換并輸出。CCD 824響應(yīng) 于每個(gè)元件接收的光的強(qiáng)度而輸出電信號(hào)，因而，可以基于所述電信號(hào)形 成圖像信號(hào)。順便提及的是，成像裝置200可以使用由其他半導(dǎo)體元件形 成的圖像傳感器來(lái)代替CCD824。 AF控制器826是自動(dòng)對(duì)焦機(jī)構(gòu)，用來(lái) 自動(dòng)調(diào)整焦距。此外，AE控制器828是自動(dòng)曝光(AE;自動(dòng)曝光)控制 機(jī)構(gòu)，用來(lái)自動(dòng)調(diào)整快門(mén)iUL和光圏值。
圖像處理單元814可以將從CCD 824輸出的圖像信號(hào)轉(zhuǎn)換為可以被 顯示在顯示單元816上的圖像數(shù)據(jù)格式。例如，圖像處理單元814可以將 所述圖像信號(hào)轉(zhuǎn)換為對(duì)應(yīng)于諸如BMP (微軟視窗位^象)、GIF (圖形 交換格式)、JPEG (聯(lián)合圖像專家組)、PICT或PING (Packet INternet Gr叩er,因特網(wǎng)包探索器)的編碼格式的圖像數(shù)據(jù)。此外，圖像處理單 元814還改變所述圖像數(shù)據(jù)的大小，調(diào)整輝度和顏色風(fēng)格并調(diào)整伽馬校正 和銳度等。進(jìn)而，圖像處理單元814可以從由成像單元812連續(xù)拍攝的多 個(gè)圖像信號(hào)形成運(yùn)動(dòng)圖像數(shù)據(jù)。
顯示單元816是諸如LCD (液晶顯示器)、PDP (等離子體顯示面板) 或ELD (電致發(fā)光顯示器)等的顯示裝置，并且是可在視覺(jué)上向用戶通 知所獲取信息的裝置。
記錄媒介818是由磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器等構(gòu)造的。例如，記錄:^介818是DVD媒介、藍(lán)光媒介、HD DVD媒介、CompactFlash (注冊(cè)商標(biāo))、記憶棒、SD存儲(chǔ)卡(安全數(shù)字存儲(chǔ)卡)或HDD (硬盤(pán)驅(qū) 動(dòng)器)等。此外，可以將成像裝置200配置為使用例如裝備有非接觸式 IC芯片的IC卡(集成電路卡)和電子裝置等作為記錄媒介818。
[結(jié)論
最后，本實(shí)施例的圖像處理i更備中包括的功能配置和由所述功能配置 實(shí)現(xiàn)的^Mt優(yōu)點(diǎn)被簡(jiǎn)單地整理如下。
首先，根據(jù)本實(shí)施例的圖像處理設(shè)備的功能配置可以如下表示。
所述圖像處理設(shè)備包括顯示屏，其顯示包括在連續(xù)拍攝的圖像組中 的第一圖像；摩擦位置檢測(cè)器，其檢測(cè)用戶在顯示屏上摩擦的摩擦位置； 以及圖像合成單元，其合成第一圖像的對(duì)應(yīng)于所^擦位置的像素區(qū)域和 包括在所述圖像組中的第二圖像的像素區(qū)域。但是，在這里，所述圖像合 成單元具有切換將與所述第 一 圖像合成的第二圖像以隨著用戶摩擦的摩 擦量的增加而增加所述第 一 圖像和所述第二圖像之間的成像時(shí)間差的功 能。
如上所述,上述圖〗象處理設(shè)備具有在顯示屏上顯示包括在連續(xù)拍攝的 圖像組中的第一圖像的功能。對(duì)于所述第一圖像，例如，可以設(shè)置為選擇 所述圖像組中包括的圖像中的、在最近成像時(shí)間點(diǎn)的圖像。此外，上述圖 像處理設(shè)備具有由所述摩擦位置檢測(cè)器檢測(cè)用戶在顯示屏上摩擦的摩擦 位置的功能。所^f擦位置由所^擦位置檢測(cè)器檢測(cè)，由此指出所述用 戶指定的像素區(qū)域。
進(jìn)而，上述圖像處理設(shè)備具有圖像合成單元，由圖像合成單元合成第 一圖像的對(duì)應(yīng)于所i^擦位置的像素區(qū)域和包括在所述圖像組中的第二 圖像的像素區(qū)域。通過(guò)以這種方式進(jìn)行配置，將成像時(shí)間點(diǎn)不同的第二圖 像的一部分與所述第一圖像合成。此時(shí)，只有由所述用戶指定的像素區(qū)域 與所述第一圖像合成，因而，可以形成實(shí)際上m^拍攝到的圖像。進(jìn)而， 由所述圖像合成單元實(shí)現(xiàn)的合成處理通過(guò)用戶的摩擦動(dòng)作實(shí)現(xiàn)，由此提供 具有高度便利性的簡(jiǎn)單操作系統(tǒng)。更特別地，用戶指定像素區(qū)域的操作、 對(duì)圖像合成率的設(shè)定操作以及對(duì)要被合成的圖像的選擇操作可以僅通過(guò) 一系列摩擦動(dòng)作實(shí)現(xiàn)，因而提供了很高的便利性。
此外，上述圖像合成單元切換要與所述第一圖像合成的第二圖像，以 隨著用戶摩擦的摩擦量的增加而增加所述第一圖像和所述第二圖像之間的成像時(shí)間差。通過(guò)以這種方式進(jìn)行配置，用戶可以通過(guò)重復(fù)所^*擦動(dòng) 作而順序地切換要被合成的圖像。因此，要被合成的圖像的切換處理被包 含在所述一 系列摩擦動(dòng)作中，從而實(shí)現(xiàn)了具有更高便利性的操作系統(tǒng)。
此外，所述圖像合成單元可以被配置為隨著所i^擦量的增加而增加 所述第二圖像到所述第一圖像的合成率，并在所^f擦量超過(guò)預(yù)先確定的 閾值的階段切換所述第二圖像到與所述第 一 圖像成像時(shí)間差更大的圖像。 通過(guò)以這種方式進(jìn)行配置，將被合成的圖像的切換處理以及顯示圖像和要 被合成的圖像的合成率的調(diào)整處理可響應(yīng)于一系列摩擦動(dòng)作來(lái)實(shí)現(xiàn)。換言 之，通過(guò)連續(xù)的摩擦動(dòng)作，合成圖像無(wú)縫地從所述顯示圖像變化到要被合 成的圖像。因此，用戶可以通過(guò)更直觀的處理來(lái)形成合成圖像。
此夕卜，所述圖像合成單元可以被配置為在切換到所述像素區(qū)域之前顯 示所述第二圖像，直到所^擦量超過(guò)所述預(yù)先確定的閾值，并在超過(guò)所 述預(yù)先確定的量的階段切換所述第二圖像。通過(guò)以這種方式進(jìn)行配置，在 所述第 一 圖像的 一部分被完全切換到所述第二圖像后，即使所^*擦動(dòng)作 繼續(xù)進(jìn)行，所述第二圖像也不會(huì)在預(yù)先確定的時(shí)間前被切換，因而，可以 輕松地找到完全切換的時(shí)間。結(jié)果，在想要所述第一圖像的部分被所述第 二圖像完全取代的情況下，時(shí)間被正確地捕捉以便進(jìn)行"存儲(chǔ)"，而且用 戶可以無(wú)憂地繼續(xù)摩擦動(dòng)作。
此外，所述摩擦量可以是從所述像素區(qū)域被摩擦的次數(shù)、摩擦?xí)r的按 壓力、摩擦方向和摩擦速度中選出的一個(gè)量，或者是由多個(gè)組合確定的量。 進(jìn)而，所述圖像組可以是在改變?nèi)魏文軌蛟谂臄z時(shí)改變的參數(shù)的同時(shí)連續(xù) 拍攝的多個(gè)圖像。然后，所述參數(shù)可以是景深、圖像效果或用于控制閃光 的控制M。但是，在這里，上述圖像處理設(shè)備的構(gòu)造不限于這些例子， 而是可以響應(yīng)于對(duì)圖像組進(jìn)行成像的成像裝置的功能和構(gòu)造做出各種修 改。
[有利效果
下面，將筒單組合通過(guò)應(yīng)用本實(shí)施例而得到的效果。但是，通過(guò)本 實(shí)施例的相應(yīng)構(gòu)造得到的具體效果已經(jīng)在其說(shuō)明中解釋過(guò)了。因此，本情 況的說(shuō)明是對(duì)這些效果的組合。首先，當(dāng)使用根據(jù)所述實(shí)施例的技術(shù)時(shí)， 可以通過(guò)容易的操作系統(tǒng)得到合成連續(xù)拍攝的圖像的效果。此夕卜，可以允 許通過(guò)一系列摩擦動(dòng)作改變用戶想要的位置、范圍或合成程度，來(lái)合成圖 像。進(jìn)而，實(shí)現(xiàn)了允許輕松地形成實(shí)際上很難拍攝的圖像的效果。本領(lǐng)域技術(shù)人員應(yīng)該理解，可以根據(jù)設(shè)計(jì)和其他因素產(chǎn)生各種修改、 組合、子組合和改變，只要它們?cè)谒綑?quán)利請(qǐng)求或其等同范圍內(nèi)即可。
本申請(qǐng)包括與2008年6月25日在日本專利局申請(qǐng)的日本優(yōu)先權(quán)專利 申請(qǐng)JP2008-165605有關(guān)的主題，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用而合并于 此。
權(quán)利要求
1.一種圖像處理設(shè)備，包括顯示屏，用于顯示連續(xù)拍攝的圖像組中包括的第一圖像；摩擦位置檢測(cè)器，用于檢測(cè)用戶在所述顯示屏上摩擦的摩擦位置；以及圖像合成單元，用于合成所述第一圖像中對(duì)應(yīng)于所述摩擦位置的像素區(qū)域和所述圖像組中包括的第二圖像的像素區(qū)域；其中，所述圖像合成單元切換要與所述第一圖像合成的第二圖像，以隨著所述用戶摩擦的摩擦量的增加而增加所述第一圖像和所述第二圖像之間的成像時(shí)間差。
2. 根據(jù)權(quán)利要求l的圖像處理設(shè)備，其中，所述圖像合成單元隨著所述摩擦量的增加而增加所述第二圖像 到所述第一 圖像的合成率，并在所述摩擦量超過(guò)預(yù)先確定的閾值的階段切 換所述第二圖像到與所述第 一 圖像的成像時(shí)間差更大的圖像。
3. 根據(jù)權(quán)利要求2的圖像處理設(shè)備，其中，所述圖像合成單元在切換到所述像素區(qū)域之前顯示所述第二圖 像，直到所^*擦量超過(guò)所述預(yù)先確定的閾值達(dá)一個(gè)預(yù)先確定的量為止， 并在超過(guò)所述預(yù)先確定的閾值的階段切換所述第二圖像。
4. 根據(jù)權(quán)利要求3的圖像處理設(shè)備，其中，所述摩擦量是從所述像素區(qū)域被摩擦的次數(shù)、摩擦?xí)r的按壓力、 摩擦方向和摩擦速度中選擇的一個(gè)量，或由多個(gè)組合確定的量。
5. 根據(jù)權(quán)利要求l的圖像處理設(shè)備，其中，所述圖像組是在改變?cè)诔上駮r(shí)可修改的任意^的同時(shí)連續(xù)拍 攝的多個(gè)圖像。
6. 根據(jù)權(quán)利要求5的圖像處理設(shè)備，其中，所述M是景深、圖像效果或用于控制閃光的控制M。
7. —種圖像處理方法，包括以下步驟當(dāng)顯示屏上顯示連續(xù)拍攝的圖像組中包括的第 一圖像時(shí)，檢測(cè)用戶在 所述顯示屏上摩擦的摩擦位置；以及合成所述第 一 圖像中對(duì)應(yīng)于所述摩B置的像素區(qū)域和所述圖像組其中，在合成圖像的步驟中，切換要與所述第一圖像合成的第二圖像， 以隨著由所述用戶施加的摩擦量的增加而增加所述第 一 圖像和所述第二 圖《象之間的成^f象時(shí)間差。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備和圖像處理方法。所述圖像處理設(shè)備包括顯示屏，其顯示包括在連續(xù)拍攝的圖像組中的第一圖像；摩擦位置檢測(cè)器，其檢測(cè)在所述顯示屏上被用戶摩擦的摩擦位置；以及圖像合成單元，其合成所述第一圖像中的對(duì)應(yīng)于所述摩擦位置的像素區(qū)域和包括在所述圖像組中的第二圖像的像素區(qū)域；其中，圖像合成單元切換將與所述第一圖像合成的第二圖像，以隨著用戶摩擦的摩擦量的增加而增加所述第一圖像和所述第二圖像之間的成像時(shí)間差。
文檔編號(hào)H04N5/232GK101616258SQ200910149508
公開(kāi)日2009年12月30日 申請(qǐng)日期2009年6月25日 優(yōu)先權(quán)日2008年6月25日
發(fā)明者宮下健, 松田晃一, 梨子田辰志, 池田哲男 申請(qǐng)人:索尼株式會(huì)社