專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置，并且具體地，涉及分析圖像以執(zhí)行圖像處理的圖像處
理裝置和圖像處理方法、以及使得計算機執(zhí)行其方法的程序。
背景技術(shù)：
近年來，如數(shù)字攝像機的成像裝置(例如，集成相機/記錄器)已經(jīng)得到廣泛使 用。例如，游覽各個旅游景點的游客將經(jīng)常在背景中具有著名建筑物或風景等的情況下，使 用成像裝置拍攝一個人或多個人的運動畫面。 例如可以在家中使用播放器播放由此拍攝的運動畫面。然而，在使用播放器來播 放運動畫面的情況下，從開始播放整個運動畫面可能意味著播放時間被延長，并且存在對 運動畫面的興趣可能降低的可能性。而且，播放在多個旅游景點拍攝的多個運動畫面可能 意味著播放時間被進一步延長，并且對于觀看所有運動畫面的興趣可能降低。而且，用于觀 看運動畫面的時間相對長，因此，觀看者通常滿意于觀看已經(jīng)播放和觀看的運動畫面一次， 因此，很少有對于重復(fù)觀看這樣的運動畫面的需求。 因此，例如，已經(jīng)提出了這樣的播放器，其在顯示單元上顯示膠片滾動(roll)圖 像(例如，參見日本未審專利申請公開No. 2008-167155)。該膠片滾動圖像例如是這樣的圖 像，其中表示構(gòu)成運動畫面的場景的靜態(tài)圖像的縮略圖像以對應(yīng)于每個場景的場景的回放 時間點的順序布置。

發(fā)明內(nèi)容
根據(jù)上述現(xiàn)有技術(shù)，在觀看在多個旅游景點拍攝的多個運動畫面的情況下，例如， 用戶可以容易地理解這些運動畫面的整體內(nèi)容。 然而，在顯示表示構(gòu)成運動畫面的每個場景的縮略圖像的情況下，顯示對應(yīng)于其 縮略圖像的成像范圍，但是沒有顯示對應(yīng)于其縮略圖像的場景處的其他成像空間。例如，在 其場景的成像范圍中包括人、并且可以容易地綜合已經(jīng)拍攝其場景的地點、周圍的環(huán)境等 的情況下，可以預(yù)期可促進對其場景的興趣。在此情況下，例如，執(zhí)行對用戶有吸引力的呈 現(xiàn)是重要的，從而促進對其運動畫面的興趣。
已經(jīng)發(fā)現(xiàn)期望提高對運動畫面的興趣。 根據(jù)本發(fā)明實施例，提供了 一種圖像處理裝置和圖像處理方法、以及使得計算機 執(zhí)行該方法的程序，該圖像處理裝置包括最前面圖像的信息存儲單元，配置為存儲關(guān)于最 前面圖像的信息，該最前面圖像是用作構(gòu)成成像的運動畫面的成像的圖像的合成目標的多 個合成目標圖像中的一個圖像；變換信息存儲單元，配置為存儲變換信息，所述變換信息用 于以所述最前面圖像作為參考，變換所述多個合成目標圖像的另一合成目標圖像；圖像變 換單元，配置為基于所述變換信息，從位于時間軸上的最前面或最后的所述合成目標圖像 起，朝向所述最前面圖像順序變換所述多個合成目標圖像；圖像合成單元，配置為順序重寫 合成所述變換的合成目標圖像，以生成合成圖像；以及顯示控制單元，配置為順序地顯示所述合成圖像。因此，提供了這樣的效果基于變換信息，從位于時間軸上的最前面或最后的 所述合成目標圖像起，朝向所述最前面圖像順序變換所述多個合成目標圖像，并且順序重 寫并合成所述變換的合成目標圖像，以順序地顯示合成圖像。 所述最前面圖像可以是位于時間軸上的最前面或最后的所述合成目標圖像以外 的所述合成目標圖像，其中所述圖像變換單元基于所述變換信息，變換鄰近所述最前面圖 像的所述合成目標圖像，此后從位于時間軸上的所變換的合成目標圖像的相對側(cè)的邊緣部 分處的所述合成目標圖像起，朝向所述最前面圖像順序變換所述多個合成目標圖像。因此， 提供了這樣的效果基于所述變換信息，變換鄰近所述最前面圖像的所述合成目標圖像，從 位于時間軸上的所變換的合成目標圖像的相對側(cè)的邊緣部分處的所述合成目標圖像起，朝 向所述最前面圖像順序變換所述多個合成目標圖像。 所述圖像合成單元可以將裝飾圖像添加到所述變換的合成目標圖像的外圍，并且 順序地重寫合成已經(jīng)對其添加裝飾圖像的合成目標圖像，以生成合成圖像。因此，提供了這 樣的效果將裝飾圖像添加到所述變換的合成目標圖像的外圍，并且順序地重寫并合成已 經(jīng)對其添加裝飾圖像的合成目標圖像，以生成合成圖像。 所述圖像處理裝置還可包括操作接受單元，配置為接受指定操作，該指定操作用 于指定是否從時間軸上的哪個邊緣部分起執(zhí)行所述變換，其中所述圖像變換單元從所述指 定的邊緣部分處的所述合成目標圖像起，朝向所述最前面圖像執(zhí)行所述變換。因此，提供了 這樣的效果從所述指定的邊緣部分處的所述合成目標圖像起，朝向所述最前面圖像執(zhí)行 所述變換。 所述圖像處理裝置還可包括對象檢測單元，配置為檢索所述合成目標圖像中包 括的對象，其中在所述對象包括在所述變換的合成目標圖像中的情況下，為了防止下一合 成目標圖像重寫在包括該對象的對象區(qū)域上，所述圖像合成單元移動并且重寫合成該下一 合成目標圖像。因此，提供了這樣的效果在所述對象包括在所述變換的合成目標圖像中的 情況下，為了防止下一合成目標圖像重寫在包括該對象的對象區(qū)域上，所述圖像合成單元 移動并且重寫合成該下一合成目標圖像。 所述多個合成目標圖像可以是基于所述變換信息變換和合成的圖像，從而創(chuàng)建對 應(yīng)于所述成像的運動畫面中包括的成像空間的一部分的全景圖像。因此，提供了這樣的效 果基于所述變換信息變換和合成多個合成目標圖像，從而創(chuàng)建對應(yīng)于所述成像的運動畫 面中包括的成像空間的一部分的全景圖像。 根據(jù)上述配置，提供了可以提高對運動畫面的興趣的出眾的效果。


圖1是圖示根據(jù)本發(fā)明第一實施例的圖像處理裝置的功能配置示例的框圖；
圖2是圖示根據(jù)本發(fā)明第一實施例的相機工作檢測單元的功能配置示例的框圖；
圖3A和3B是示意性圖示根據(jù)本發(fā)明第一實施例、在運動畫面存儲單元和元數(shù)據(jù) 存儲單元中存儲的文件的圖； 圖4是示意性圖示根據(jù)本發(fā)明第一實施例的合成目標圖像元數(shù)據(jù)存儲單元的存 儲內(nèi)容的圖； 圖5A到5C是圖示構(gòu)成運動畫面的圖像的示例的5
圖6A到6C是圖示通過省略關(guān)于構(gòu)成運動畫面的圖像的背景等而簡化的圖像的 圖； 圖7是圖示使用仿射變換參數(shù)而變換矩形的情況的圖； 圖8(a)到(c)是示意性圖示通過根據(jù)本發(fā)明第一實施例的面部檢測單元的面部 檢測方法的圖； 圖9(a)到(c)是概念性圖示用于面部表情評估值的計算的判別(discriminant) 軸信息、以及生成該判別軸信息時的流程的圖； 圖10(a)到(c)是示意性圖示在根據(jù)本發(fā)明第一實施例的PCA處理時要輸入的采 樣圖像的遮蓋處理的圖； 圖11是示意性圖示在像素空間和PCA空間中的判別軸、以及要評估的面部圖像之 間的關(guān)系的圖； 圖12是圖示在根據(jù)本發(fā)明第一實施例的面部表情評估值輸出為數(shù)值的情況下的 計算示例的圖； 圖13是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置的元數(shù)據(jù)記錄處理的過 程的流程圖； 圖14是圖示在通過根據(jù)本發(fā)明第一實施例的圖像處理裝置的元數(shù)據(jù)記錄處理的 過程中包括的仿射變換參數(shù)計算過程的流程圖； 圖15(a)到(c)是圖示通過相機成像的運動畫面的轉(zhuǎn)換的示例的圖； 圖16(a)到(c)是示意性圖示通過根據(jù)本發(fā)明實施例的合成目標圖像選擇單元選
擇的圖像中包括的被攝體的所在地(locus)的圖； 圖17(a)到(c)是圖示在通過根據(jù)本發(fā)明第一實施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖18(a)到(c)是圖示通過相機成像的運動畫面的轉(zhuǎn)換的示例的圖； 圖19(a)到(c)是示意性圖示通過根據(jù)本發(fā)明實施例的合成目標圖像選擇單元選
擇的圖像中包括的被攝體的所在地的圖； 圖20(a)到(c)是圖示在通過根據(jù)本發(fā)明第一實施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖21 (a)到(c)是圖示通過相機成像的運動畫面的轉(zhuǎn)換的示例的圖； 圖22(a)到(c)是示意性圖示通過根據(jù)本發(fā)明實施例的合成目標圖像選擇單元選
擇的圖像中包括的被攝體的所在地的圖； 圖23(a)到(c)是圖示在通過根據(jù)本發(fā)明第一實施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖24(a)和(b)是以時間序列方式圖示通過根據(jù)本發(fā)明第一實施例的相機工作檢 測單元計算的可靠度確定分數(shù)的圖； 圖25(a)和(b)是以時間序列方式圖示用通過根據(jù)本發(fā)明第一實施例的相機工作 檢測單元計算的仿射變換參數(shù)計算的積分變焦分量的圖； 圖26(a)和(b)是以時間序列方式圖示用通過根據(jù)本發(fā)明第一實施例的相機工作 檢測單元計算的仿射變換參數(shù)計算的積分平移分量的圖； 圖27A和27B是以時間序列方式示意性圖示通過根據(jù)本發(fā)明第一實施例的部分選擇單元選擇的圖像合成目標部分中包括的圖像的圖； 圖28 (a)到(d)是示意性圖示在通過根據(jù)本發(fā)明第一實施例的合成目標圖像選擇 單元選擇合成目標圖像的情況下的選擇方法的圖； 圖29(a)到(f)是以時間序列方式示意性圖示通過根據(jù)本發(fā)明第一實施例的部分 選擇單元和合成目標圖像選擇單元確定的運動畫面的圖； 圖30是圖示關(guān)于通過相機成像的運動畫面而選擇的合成目標圖像的示例的圖；
圖31 (a)到(d)是圖示通過根據(jù)本發(fā)明第一實施例的圖像合成單元創(chuàng)建的合成圖 像的轉(zhuǎn)換的圖； 圖32(a)到(d)是圖示通過根據(jù)本發(fā)明第一實施例的圖像合成單元創(chuàng)建的合成圖 像的轉(zhuǎn)換的圖； 圖33(a)到(c)是通過根據(jù)本發(fā)明第一實施例的圖像合成單元創(chuàng)建的合成圖像的 另一合成示例； 圖34是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置的合成目標圖像元數(shù)據(jù) 記錄處理的過程的流程圖； 圖35是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置的合成目標圖像元數(shù)據(jù) 記錄處理的過程中包括的部分提取過程的流程圖； 圖36是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置的合成目標圖像元數(shù)據(jù) 記錄處理的過程中包括的幀選擇過程的流程圖； 圖37是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置的合成圖像顯示處理的 過程的流程圖； 圖38是圖示在通過根據(jù)本發(fā)明第一實施例的圖像處理裝置的合成圖像顯示處理 的過程中包括的圖像合成過程的流程圖； 圖39是圖示根據(jù)本發(fā)明第二實施例的相機工作檢測單元的功能配置示例的框 圖； 圖40 (a)到(c)是圖示在通過根據(jù)本發(fā)明第二實施例的可靠度確定分數(shù)計算單元 計算可靠度確定分數(shù)時的計算方法的概述的圖； 圖41是圖示根據(jù)本發(fā)明第二實施例的相機工作檢測單元的功能配置示例的框 圖； 圖42 (a)到(c)是圖示在通過根據(jù)本發(fā)明第二實施例的可靠度確定分數(shù)計算單元 計算可靠度確定分數(shù)時的計算方法的概述的圖； 圖43是圖示根據(jù)本發(fā)明第三實施例的圖像處理裝置的功能配置示例的框圖；
圖44A和44B是示意性圖示根據(jù)本發(fā)明第三實施例的、在參考信息存儲單元和元 數(shù)據(jù)存儲單元中存儲的內(nèi)容的圖； 圖45是圖示根據(jù)本發(fā)明第三實施例的顯示單元上顯示的選擇屏幕的示例的圖；
圖46是圖示通過根據(jù)本發(fā)明第三實施例的合成目標圖像選擇單元計算選擇確定 分數(shù)使用的分數(shù)的示例的圖； 圖47A和47B是圖示在通過根據(jù)本發(fā)明第三實施例的合成目標圖像選擇單元執(zhí)行 幀選擇的情況下的選擇方法的概述的圖； 圖48A和48B是圖示在通過根據(jù)本發(fā)明第三實施例的合成目標圖像選擇單元執(zhí)行幀選擇的情況下的選擇方法的概述的圖； 圖49是圖示通過根據(jù)本發(fā)明第三實施例的圖像處理裝置的幀選擇處理的過程的 流程圖； 圖50是圖示根據(jù)本發(fā)明第四實施例的圖像處理裝置的功能配置示例的框圖；
圖51是示意性圖示根據(jù)本發(fā)明第四實施例的合成目標圖像元數(shù)據(jù)存儲單元的存 儲內(nèi)容的圖； 圖52A到52C是圖示是被安排來通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元 確定白框的厚度(heaviness)的確定方法的概述的圖； 圖53A到53C是圖示通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元確定的裝飾 圖像的示例的圖； 圖54A到54C是圖示通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元用于裝飾圖 像的確定方法的示例的圖； 圖55A和55B是圖示通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元用于裝飾圖 像的確定方法的示例的圖； 圖56A到56D是圖示合成通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖57A到57D是圖示合成通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖58A到58D是圖示合成通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖59是圖示考慮到面部的、通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元的 裝飾圖像確定方法的示例的圖； 圖60A到60C是圖示通過根據(jù)第四實施例的裝飾圖像確定單元、被確定為要添加 到合成目標圖像的裝飾圖像的陰影的示例的圖； 圖61A和61B是圖示被安排來通過根據(jù)第四實施例的裝飾圖像確定單元確定陰影 的方向的確定方法的概述的圖； 圖62是圖示考慮到面部的、通過根據(jù)第四實施例的裝飾圖像確定單元的陰影確 定方法的示例的圖； 圖63是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置的合成目標圖像元數(shù)據(jù) 記錄處理的過程的流程圖； 圖64是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置的合成目標圖像元數(shù)據(jù) 記錄處理的過程中包括的裝飾圖像確定過程的流程圖； 圖65是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置的合成目標圖像元數(shù)據(jù) 記錄處理的過程中包括的裝飾圖像確定過程的流程圖； 圖66是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置的合成圖像顯示處理的 過程的流程圖； 圖67是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置的合成圖像顯示處理的 過程中包括的圖像合成過程的流程圖； 圖68是圖示根據(jù)本發(fā)明第五實施例的多核處理器的配置示例的 圖69是圖示根據(jù)本發(fā)明第五實施例的控制處理器核心的配置示例的圖；
圖70是圖示根據(jù)本發(fā)明第五實施例的算術(shù)處理器核心的配置示例的圖；
圖71是示意性圖示根據(jù)本發(fā)明第五實施例的多核處理器的計算方法的圖；
圖72是示意性圖示在通過根據(jù)本發(fā)明第五實施例的多核處理器執(zhí)行計算的情況 下的程序和數(shù)據(jù)的流程的圖； 圖73 (a)和(b)是示意性圖示被安排來通過每個對應(yīng)的命令執(zhí)行關(guān)于多個數(shù)據(jù)的 處理的計算方法的概述、以及作為被安排來通過單個命令執(zhí)行關(guān)于多個數(shù)據(jù)的處理的計算 方法的SMD計算的概述的圖； 圖74是圖示通過根據(jù)本發(fā)明第五實施例的控制處理器核心或算術(shù)處理器核心執(zhí) 行的程序的配置示例的圖； 圖75是示意性圖示在根據(jù)本發(fā)明第五實施例的主存儲器中存儲的圖像數(shù)據(jù)使用 Sobel濾波器經(jīng)歷濾波處理的情況下的數(shù)據(jù)結(jié)構(gòu)和處理流程的圖； 圖76是示意性圖示根據(jù)本發(fā)明第五實施例的、在Sobel濾波器用于執(zhí)行關(guān)于主存 儲器中存儲的圖像數(shù)據(jù)的SIMD計算的情況下的數(shù)據(jù)流程的圖； 圖77是示意性圖示在根據(jù)本發(fā)明第五實施例使用Sobel濾波器執(zhí)行濾波處理的 情況下、被安排來從在第一緩沖器中存儲的圖像數(shù)據(jù)創(chuàng)建九個矢量的矢量創(chuàng)建方法的圖；
圖78是示意性圖示在根據(jù)本發(fā)明第五實施例使用Sobel濾波器執(zhí)行濾波處理的 情況下、被安排來使用SIMD計算來執(zhí)行關(guān)于矢量數(shù)據(jù)的矢量計算的矢量計算方法的圖；
圖79是以時間序列方式示意性圖示根據(jù)本發(fā)明第五實施例的相機工作參數(shù)計算 處理的流程的圖；以及 圖80(a)到(c)是示意性圖示作為記錄介質(zhì)的示例的藍光盤、在藍光盤中記錄的 數(shù)據(jù)、以及能夠播放藍光盤的藍光盤播放器的內(nèi)部配置的圖。
具體實施例方式
以下，將以下面的順序關(guān)于執(zhí)行本發(fā)明的優(yōu)選實施例(以下，簡稱為"實施例")進 行描述。 1.第一實施例(合成圖像創(chuàng)建控制從運動畫面選擇合成目標圖像、并且其用于 創(chuàng)建合成圖像的示例) 2.第二實施例(圖像合成目標部分選擇控制其中從運動畫面選擇用于選擇合成 目標圖像的圖像合成目標部分的修改) 3.第三實施例(合成目標圖像選擇控制其中從圖像合成目標部分選擇合成目標 圖像的修改) 4.第四實施例(裝飾圖像確定控制確定要添加到合成目標圖像的裝飾圖像的示 例) 5.第五實施例(特征點提取處理和光學流程計算處理通過多核處理器執(zhí)行的示 例) 1.第一實施例 圖像處理裝置的配置示例 圖1是圖示根據(jù)本發(fā)明第一實施例的圖像處理裝置100的功能配置示例的框圖。圖像處理裝置100包括運動畫面輸入單元110、相機工作檢測單元120、面部檢測單元130、 面部表情評估值計算單元140、判別軸信息存儲單元141、記錄控制單元150、部分選擇單元 160、以及合成目標圖像選擇單元170。此外，圖像處理裝置IOO包括文件獲得單元180、圖像 變換單元190、運動畫面存儲單元200、元數(shù)據(jù)存儲單元210、圖像合成單元220和圖像存儲 器230。此外，圖像處理裝置100包括顯示控制單元240、顯示單元250、操作接受單元260 和合成目標圖像元數(shù)據(jù)存儲單元270。圖像處理裝置IOO可通過個人計算機實現(xiàn)，該個人計 算機可將通過例如如數(shù)字攝像機等的成像裝置成像的運動畫面經(jīng)歷用于提取特征量的視 頻分析，并經(jīng)歷使用該提取的特征量的各種圖像處理。 運動畫面輸入單元110是配置為輸入通過如數(shù)字攝像機等的成像裝置(以下，簡 稱為"相機")成像的運動畫面的運動畫面輸入單元。運動畫面輸入單元iio將輸入的運動 畫面輸出到相機工作檢測單元120、面部檢測單元130、面部表情評估值計算單元140和記 錄控制單元150。 相機工作檢測單元120分析從運動畫面輸入單元110輸出的運動畫面，以檢測 在成像(也稱為"相機工作")時的運動信息，并且基于相機的運動信息計算相機工作參 數(shù)。此外，當計算相機工作參數(shù)時，相機工作檢測單元120計算指示相機工作參數(shù)的似然度 (likelihood)的可靠度確定分數(shù)，并且將計算的相機工作參數(shù)和可靠度確定分數(shù)輸出到記 錄控制單元150。具體地，相機工作檢測單元120從構(gòu)成運動畫面的每個圖像提取特征點， 并且計算關(guān)于該特征點的光流(optical flow)(運動矢量)。相機工作檢測單元120分析 計算的關(guān)于特征點的光流，以選擇展現(xiàn)支配(dominant)運動的特征點，并且基于關(guān)于展現(xiàn) 支配運動的特征點的光流，估計相機的運動。這里，"支配運動"意味著關(guān)于多個特征點的多 個光流當中的相對大量的光流展現(xiàn)的規(guī)則的運動。此外，在圖像內(nèi)的各特征點中，基于展現(xiàn) 支配運動的特征點和除了該特征點以外的特征點之間的比率計算可靠度確定分數(shù)。注意， 將參照圖2詳細描述相機工作檢測單元120的內(nèi)部配置。注意，相機工作檢測單元120是 發(fā)明內(nèi)容中所指的計算單元的示例。 面部檢測單元130檢測構(gòu)成從運動畫面輸入單元110輸出的運動畫面的圖像中 包括的人的面部，并且將關(guān)于檢測的面部的面部檢測信息輸出到面部表情評估值計算單 元140和記錄控制單元150。該面部檢測方法的示例包括通過匹配其中記錄面部輝度 (luminance)分布信息的模板以及實際圖像的面部檢測方法(例如，參見日本未審專利申 請公開No. 2004-133637)、以及基于圖像中包括的皮膚部分、以及人臉的特征量的面部檢測 方法。此外，可采用這樣的面部檢測方法，其中，關(guān)于作為包括面部的圖像的面部圖像，學 習面部圖像上的兩個像素之間的輝度差，從該學習獲得的特征量預(yù)先存儲為面部檢測參考 數(shù)據(jù)，并且使用該面部檢測參考數(shù)據(jù)執(zhí)行面部檢測。將參照圖8詳細描述使用該面部檢測 參考數(shù)據(jù)的面部檢測方法。此外，面部檢測信息包括檢測的面部圖像的位置和大小。面部 檢測信息中包括的面部位置的示例包括圍繞檢測的面部的矩形面部檢測窗口的位置(例 如，面部檢測窗口的左上角的坐標，以下稱為"面部位置信息")。此外，面部檢測信息中包 括的面部大小的示例包括其面部檢測窗口的大小(例如，面部檢測窗口的水平方向和垂直 方向上的像素數(shù))。注意，面部檢測信息可包括指示檢測的面部的朝向的滾動(roll)、傾斜 (pitch)和偏轉(zhuǎn)(yaw)。注意，面部檢測單元130是發(fā)明內(nèi)容中所指的對象檢測單元的示例。
面部表情評估值計算單元140使用在判別軸信息存儲單元141中存儲的判別軸信息，以計算關(guān)于通過面部檢測單元130檢測的面部的面部表情的面部表情評估值，并且將 計算的面部表情評估值輸出到記錄控制單元150。例如，基于從面部檢測單元130輸出的面 部檢測信息(面部的位置和大小)，從構(gòu)成從運動畫面輸入單元110輸出的運動畫面的圖像 提取面部圖像，該面部圖像是至少包括由面部檢測單元130檢測的面部的一部分的矩形區(qū) 域。規(guī)范化(normalized)該提取的面部圖像，并且計算關(guān)于規(guī)范化的面部圖像的面部表情 評估值?；谠撚嬎愕拿娌勘砬樵u估值，可確定要計算的面部的面部表情是否是特定面部 表情。注意，在本發(fā)明第一實施例的情況下，將描述這樣的示例，其中笑臉被確定為特定面 部表情。此外，將參照圖9到12詳細描述面部表情評估值計算。此外，面部表情評估值計 算單元140是發(fā)明內(nèi)容中所指的確定單元的示例。 判別軸信息存儲單元141存儲用于由面部表情評估值計算單元140計算面部表情 評估值的判別軸信息，并且將存儲的判別軸信息提供到面部表情評估值計算單元140。注 意，將參照圖9等詳細描述判別軸信息。 記錄控制單元150執(zhí)行關(guān)于運動畫面存儲單元200、元數(shù)據(jù)存儲單元210、以及合 成目標圖像元數(shù)據(jù)存儲單元270的記錄控制。也就是說，記錄控制單元150將從運動畫面 輸入單元110輸出的運動畫面作為運動畫面文件記錄在運動畫面存儲單元200中。此外， 記錄控制單元150將從相機工作檢測單元120輸出的可靠度確定分數(shù)和仿射變換參數(shù)、從 面部檢測單元130輸出的面部檢測信息、以及從面部表情評估值計算單元140輸出的面部 表情評估值記錄在元數(shù)據(jù)存儲單元210中。這樣的每條信息以與運動畫面和幀(圖像)相 關(guān)的方式記錄在元數(shù)據(jù)存儲單元210中，作為元數(shù)據(jù)文件。此外，記錄控制單元150將從合 成目標圖像選擇單元170輸出的合成目標圖像信息(幀選擇信息)記錄在合成目標圖像元 數(shù)據(jù)存儲單元270中，作為合成目標圖像元數(shù)據(jù)。 部分選擇單元160使用元數(shù)據(jù)存儲單元210中存儲的元數(shù)據(jù)以選擇圖像合成目標 部分，該圖像合成目標部分是用作用于創(chuàng)建關(guān)于存儲在運動畫面存儲單元200中的運動畫 面的合成圖像的目標的部分，并且部分選擇單元160將關(guān)于選擇的圖像合成目標部分的信 息輸出到合成目標圖像選擇單元170。注意，將參照圖24到26詳細描述圖像合成目標部分 的選擇。 合成目標圖像選擇單元170使用存儲在元數(shù)據(jù)存儲單元210中的元數(shù)據(jù)，以從由 部分選擇單元160輸出的圖像合成目標部分中包括的各幀中選擇用于創(chuàng)建合成圖像的幀， 并且將關(guān)于選擇的幀的合成目標圖像信息(幀選擇信息)輸出到記錄控制單元150。具體 地，合成目標圖像選擇單元170首先選擇要重疊和合成在合成的圖像的頂端的最前面的圖 像(最前面的幀)，并且利用所選擇的最前面的圖像作為參考圖像，按順序選擇另一合成目 標圖像。在以最前面的圖像作為參考圖像進行該選擇的時候，計算用于使選擇的合成目標 圖像經(jīng)歷仿射變換的仿射變換參數(shù)。注意，將參照圖27A到29詳細描述合成目標圖像選擇。 此外，部分選擇單元160和合成目標圖像選擇單元170是發(fā)明內(nèi)容中所指的選擇單元的示 例。此外，合成目標圖像選擇單元170是發(fā)明內(nèi)容中所指的圖像選擇單元的示例。
運動畫面存儲單元200基于記錄控制單元150的控制，將從運動畫面輸入單元110 輸出的運動畫面存儲為運動畫面文件。此外，運動畫面存儲單元200響應(yīng)于來自文件獲得 單元180的請求，將運動畫面文件提供到文件獲得單元180，并且響應(yīng)于來自顯示控制單元 240的請求，將運動畫面文件提供到顯示控制單元240。注意，將參照圖3A和3B詳細描述要在運動畫面存儲單元200中存儲的運動畫面文件。 元數(shù)據(jù)存儲單元210基于記錄控制單元150的控制，將從相機工作檢測單元120、面部檢測單元130、和面部表情評估值計算單元140輸出的每條信息以與運動畫面和幀相關(guān)的方式存儲為元數(shù)據(jù)文件。此外，元數(shù)據(jù)存儲單元210將元數(shù)據(jù)文件提供到部分選擇單元160和合成目標圖像選擇單元170。注意，將參照圖3A和3B詳細描述要存儲在元數(shù)據(jù)存儲單元210中的元數(shù)據(jù)文件。 合成目標圖像元數(shù)據(jù)存儲單元270基于記錄控制單元150的控制，將從合成目標圖像選擇單元170輸出的合成目標圖像信息存儲為合成目標圖像元數(shù)據(jù)文件。此外，合成目標圖像元數(shù)據(jù)存儲單元270響應(yīng)于來自文件獲得單元180的請求，將合成目標圖像元數(shù)據(jù)文件提供到文件獲得單元180。注意，將參照圖4詳細描述要存儲在合成目標圖像元數(shù)據(jù)存儲單元270中的元數(shù)據(jù)文件。注意，合成目標圖像元數(shù)據(jù)存儲單元270是發(fā)明內(nèi)容中所指的最前面圖像的信息存儲單元和變換信息存儲單元的示例。 文件獲得單元180響應(yīng)于由操作接受單元260接受的操作輸入，獲得在運動畫面存儲單元200和元數(shù)據(jù)存儲單元210中存儲的每個文件，并且將獲得的每個文件的信息提供到圖像變換單元190。具體地，在操作接受單元260已經(jīng)接受用于顯示合成圖像的指令操作的情況下，文件獲得單元180從運動畫面存儲單元200獲得運動畫面文件。此外，文件獲得單元180從合成目標圖像元數(shù)據(jù)存儲單元270獲得與該運動畫面文件對應(yīng)的合成目標圖像元數(shù)據(jù)文件。隨后，文件獲得單元180使用該合成目標圖像元數(shù)據(jù)文件以從構(gòu)成獲得的運動畫面文件的每個圖像提取要合成的圖像，并且將該提取的圖像、以及對應(yīng)于該圖像的合成目標圖像元數(shù)據(jù)輸出到圖像變換單元190。 圖像變換單元190使用對應(yīng)于該圖像的合成目標圖像元數(shù)據(jù)，使從文件獲得單元180輸出的圖像經(jīng)歷仿射變換，并且將經(jīng)歷仿射變換的圖像輸出到圖像合成單元220。具體地，圖像變換單元190以單個圖像(例如，最前面的圖像)的位置作為參考，使另一圖像按順序經(jīng)歷仿射變換。此外，在操作接受單元260已經(jīng)接受用于顯示合成圖像的指令操作的情況下，圖像變換單元190根據(jù)其指令操作，按照顯示順序使圖像按順序經(jīng)歷仿射變換。注意，將參照圖15到23、31、32等詳細描述該圖像變換。 圖像合成單元220使用圖像存儲器230合成通過圖像變換單元190經(jīng)歷仿射變換的圖像，以創(chuàng)建合成圖像，并且將創(chuàng)建的合成圖像順序地輸出到顯示控制單元240。此外，當合成通過圖像變換單元190經(jīng)歷仿射變換的圖像時，圖像合成單元220通過將白框添加到圖像的外圍來合成圖像。將參照圖31和32以及其他附圖詳細描述該圖像合成。
圖像存儲器230是由圖像合成單元220創(chuàng)建合成圖像時使用的工作緩沖器，保持包括通過圖像變換單元190經(jīng)歷仿射變換的圖像的歷史圖像，并且將保持的歷史圖像提供到圖像合成單元220。圖像存儲器230也稱為"畫布(canvas)"，等效于存儲圖像數(shù)據(jù)的存儲器的一個圖像的量(worth)。 顯示控制單元240根據(jù)通過操作接受單元260接受的操作輸入的內(nèi)容，在顯示單元250上顯示從圖像合成單元220輸出的合成圖像。此外，在操作接受單元260已經(jīng)接受用于播放運動畫面的指令操作的情況下，顯示控制單元240根據(jù)該指令操作從運動畫面存儲單元200獲得運動畫面文件，并且控制顯示單元250顯示構(gòu)成該運動畫面文件的圖像。
顯示單元250基于顯示控制單元240的控制，顯示每個圖像。顯示單元250可例如用個人計算機的顯示器或電視機來實現(xiàn)。注意，將參照圖31到33等詳細描述合成圖像的顯示示例。 操作接受單元260接受從由各類鍵構(gòu)成的鍵盤、鼠標(指向設(shè)備)等的操作，并且將接受的操作輸入的內(nèi)容輸出到文件獲得單元180、圖像變換單元190或顯示控制單元240。 圖2是圖示根據(jù)本發(fā)明第一實施例的相機工作檢測單元120的功能配置示例的框圖。相機工作檢測單元120包括特征點提取單元121、光流計算單元122、相機工作參數(shù)計算單元123和可靠度確定分數(shù)計算單元124。 特征點提取單元121從對應(yīng)于構(gòu)成從運動畫面輸入單元IIO輸出的運動畫面的幀的整個圖像提取特征點，并將提取的特征點輸出到光流計算單元122和可靠度確定分數(shù)計算單元124。這里，特征點提取單元121從關(guān)于構(gòu)成從運動畫面輸入單元IIO輸出的運動畫面的幀的頂部幀的整個圖像提取特征點。此外，特征點提取單元121與對應(yīng)于之前的幀的圖像比較，以從該關(guān)于頂部幀以外的幀的新成像的區(qū)域部分提取特征點。注意，例如，在垂直方向和水平方向上邊緣的梯度強的點可被提取為特征點(通常，稱為"角落點"，以下稱為"角落點")。角落點是關(guān)于光流計算強的特征點，并且可用邊緣檢測獲得。注意，將參照圖5A到6C詳細描述角落點的提取。注意，利用該示例，特征點提取單元121從關(guān)于頂部幀的整個圖像提取特征點，并且與對應(yīng)于之前的幀的圖像比較，以從關(guān)于頂部幀以外的幀的新成像的區(qū)域部分提取特征點。然而，還可以根據(jù)處理能力，從關(guān)于頂部幀以外的每個幀的整個圖像提取特征點。 光流計算單元122計算關(guān)于從特征點提取單元121輸出的每個特征點的光流，并且將計算的光流輸出到相機工作參數(shù)計算單元123。具體地，光流計算單元122比較與構(gòu)成從運動畫面輸入單元IIO輸出的運動畫面的連續(xù)兩個幀(當前幀和緊接在前面的幀)相對應(yīng)的每個圖像，從而計算當前幀的光流。也就是說，光流計算單元122關(guān)于對應(yīng)于緊接在前面的幀的圖像的每個特征點，計算關(guān)于對應(yīng)于當前幀的圖像的光流。該光流對構(gòu)成運動畫面的每個幀計算。注意，可使用如梯度方法、塊匹配方法等的檢測方法作為用于檢測光流的檢測方法。注意，將參照圖5A到6C詳細描述該光流計算。此外，光流計算單元122是發(fā)明
內(nèi)容中所指的運動量計算單元的示例。 相機工作參數(shù)計算單元123執(zhí)行相機工作參數(shù)計算處理，其中對應(yīng)于從光流計算單元122輸出的每個特征點的光流用于計算相機工作參數(shù)。隨后，相機工作參數(shù)計算單元123將計算的相機工作參數(shù)輸出到記錄控制單元150，并且將關(guān)于用于相機工作參數(shù)的計算的特征點的信息輸出到可靠度確定分數(shù)計算單元124。相機工作參數(shù)是關(guān)于連續(xù)兩個幀(當前幀和緊接在前面的幀)的變換信息(相機的運動信息)。 現(xiàn)在，在本發(fā)明第一實施例的情況下，根據(jù)相機的運動變換和合成關(guān)于要播放的運動畫面而選擇的每個合成目標圖像。為了執(zhí)行該圖像變換，使用通過光流計算單元122計算的光流提取相機的運動，并且基于提取的運動計算相機工作參數(shù)(變換參數(shù))。
而且，在本發(fā)明第一實施例的情況下，將關(guān)于使用仿射變換作為用于變換合成目標圖像的圖像變換方法的示例進行描述。此外，將關(guān)于使用基于光流計算的仿射變換參數(shù)作為相機工作參數(shù)的示例進行描述。注意，可采用使用投射變換參數(shù)等作為相機工作參數(shù)的另一圖像變換方法。注意，可通過使用三個點之間的矢量的計算獲得仿射變換參數(shù)。此外，可通過使用四個點之間的矢量的計算獲得投射變換參數(shù)?，F(xiàn)在，相機工作參數(shù)是以構(gòu)成成像的運動畫面的成像的圖像的至少一個成像的圖像作為參考來變換另一成像的圖像的變換信息，并且至少包括在相機的坐標系統(tǒng)中描述的位置信息和姿態(tài)(attitude)信息。也就是說，在通過用戶成像的情況下，相機工作參數(shù)包括關(guān)于相機的位置和姿態(tài)的信息。此外，可基于通過相機工作參數(shù)計算單元123計算的仿射變換參數(shù)估計根據(jù)通過用戶的操作的相機的運動，例如，如放大、縮小、搖動(pan)、傾斜(tilt)、旋轉(zhuǎn)等。注意，將參照圖5A到6C詳細描述仿射變換參數(shù)的計算。也就是說，利用第一實施例，在連續(xù)圖像的單個圖像被取為參考圖像的情況下，進行定義為對應(yīng)于仿射矩陣的仿射變換參數(shù)，該仿射矩陣指示該參考圖像的下一圖像移動到哪兒。注意，相機工作參數(shù)計算單元123是發(fā)明內(nèi)容中所指的運動信息計算單元的示例。 可靠度確定分數(shù)計算單元124基于關(guān)于從特征點提取單元121輸出的特征點、以及從相機工作參數(shù)計算單元123輸出的特征點的信息，計算可靠度確定分數(shù)，并且將計算的可靠度確定分數(shù)輸出到記錄控制單元150。該可靠度確定分數(shù)基于要經(jīng)歷仿射變換參數(shù)的計算的圖像的整個屏幕中的特征點的數(shù)量、與在整個屏幕中展現(xiàn)支配運動的特征點的數(shù)量之間的比率計算。將參照圖5A到6C詳細描述該可靠度確定分數(shù)的計算。
圖3A和3B是示意性圖示根據(jù)本發(fā)明第一實施例的運動畫面存儲單元200和元數(shù)據(jù)存儲單元210中存儲的文件的圖。圖3A圖示存儲在運動畫面存儲單元200中的運動畫面文件201到203、以與運動畫面文件201到203相關(guān)聯(lián)的方式存儲在元數(shù)據(jù)存儲單元210中的元數(shù)據(jù)文件211到213?，F(xiàn)在，假設(shè)作為用于標識存儲在運動畫面存儲單元200中的每個運動畫面文件的標識信息的運動畫面ID附加到每個運動畫面文件。例如，"#1"附加到運動畫面文件201， "#2"附加到運動畫面文件202，并且"fe"附加到運動畫面文件203。
圖3B示意性圖示存儲在運動畫面存儲單元200中的運動畫面文件201、以與運動畫面文件201相關(guān)的方式存儲在元數(shù)據(jù)存儲單元210中的元數(shù)據(jù)文件211?，F(xiàn)在，運動畫面文件201是包括m個幀的運動畫面文件，并且這m個幀示出為幀"l"204到幀"m"207。此外，在元數(shù)據(jù)文件211中，運動畫面ID 214、幀號215、仿射變換參數(shù)216、可靠度確定分數(shù)217、面部檢測信息218、以及面部表情評估值219以相關(guān)方式存儲。 運動畫面ID 214是附加到對應(yīng)的運動畫面文件的運動畫面ID，并且例如存儲附加到運動畫面文件201的"#1"。 幀號215是構(gòu)成對應(yīng)運動畫面文件的每個幀的序列號，并且例如存儲對應(yīng)于構(gòu)成運動畫面文件201的運動畫面的幀"1" 204到幀"m" 207的"1"到"m"。
仿射變換參數(shù)216是關(guān)于對應(yīng)于幀號215的運動畫面的每個幀計算的仿射變換參數(shù)。注意，對應(yīng)于幀號215的"l"的仿射變換參數(shù)216 "al， bl， cl， dl， el， fl"是單位矩陣的仿射變換參數(shù)。此外，例如，對應(yīng)于幀號215的"i(i是2或更大整數(shù))"的"ai， bi， ci，di， ei， f i "的仿射變換參數(shù)216是幀"i "關(guān)于緊接在前面的幀"i-l"的仿射變換參數(shù)。
可靠度確定分數(shù)217是關(guān)于對應(yīng)于幀號215的運動畫面的每個幀計算的可靠度確定分數(shù)，并且例如存儲值0到1。 面部檢測信息218是關(guān)于對應(yīng)于幀號215的運動畫面的每個幀檢測的面部檢測信息，并且存儲從面部檢測單元130輸出的面部檢測信息。注意，圖3B圖示省略其特定內(nèi)容的面部檢測信息。在已經(jīng)從一幀檢測多個面部的情況下，這樣的多個面部檢測信息以與其
14幀相關(guān)的方式存儲。 面部表情評估值219是關(guān)于對應(yīng)于幀號215的運動畫面的每個幀中包括的面部計 算的面部表情評估值，并且存儲從面部表情評估值計算單元140輸出的面部表情評估值。 注意，在對應(yīng)的幀中不包括面部的情況下，面部表情評估值219存儲"O"。例如，在沒有從對 應(yīng)于幀號215的"l"和"m"的幀檢測到面部的情況下，沒有通過面部表情評估值計算單元 140計算面部表情評估值，因此，面部表情評估值219存儲"O"。另一方面，在沒有從對應(yīng)于 幀號215的"i"和"j"的幀檢測到面部的情況下，面部表情評估值219存儲通過面部表情評 估值計算單元140計算的面部表情評估值。例如，對應(yīng)于幀號215的"i"的面部表情評估 值219存儲"124"，并且對應(yīng)于幀號215的"j"的面部表情評估值219存儲"405"。在此情 況下，例如，可以確定下述情況存在高度可能性關(guān)于幀"j"檢測的面部比關(guān)于幀"i"檢測 的面部更類似笑臉。注意，i和j是滿足1 < i < j < m的整數(shù)。此外，在已經(jīng)從一幀檢測 到多個面部的情況下，關(guān)于這多個面部計算的面部表情評估值以與其幀相關(guān)的方式存儲。
圖4是示意性圖示根據(jù)本發(fā)明第一實施例的合成目標圖像元數(shù)據(jù)存儲單元270的 存儲內(nèi)容的圖。運動畫面ID 271、部分號272、幀號273、仿射變換參數(shù)274、最前面的幀275、 以及面部數(shù)據(jù)276以相關(guān)的方式存儲在合成目標圖像元數(shù)據(jù)存儲單元270中。
運動畫面ID 271是附加到對應(yīng)的運動畫面文件的運動畫面ID，并且例如，存儲附 加到運動畫面存儲單元200中存儲的每個運動畫面文件的"#1"、"#2"等。
部分號272是用于標識由部分選擇單元160選擇的圖像合成目標部分的序列號， 并且例如以關(guān)于運動畫面文件201選擇的順序存儲"#101"、"#102"、"#103"等。例如，在 關(guān)于運動畫面文件201創(chuàng)建合成圖像的情況下，對部分號272的每個部分(例如，"#101"、 "#102"、"#103")創(chuàng)建合成圖像。 幀號273是利用通過部分選擇單元160選擇的圖像合成目標部分、由合成目標圖 像選擇單元170選擇的幀的幀號。該幀號對應(yīng)于圖3B中所示的幀號215。例如，在部分號 272的"# 101"的情況下，在已經(jīng)通過合成目標圖像選擇單元170選擇幀"1 "、"6"、"9"和 "17"的情況下，存儲這些幀的幀號"1 "、"6"、"9"和"17"。 仿射變換參數(shù)274是用于使由合成目標圖像選擇單元170選擇的每個幀經(jīng)歷仿射 變換的仿射變換參數(shù)。這里，要存儲在仿射變換參數(shù)274中的仿射變換參數(shù)是用于以相同 圖像合成目標部分中的一個幀作為參考幀、使另一幀經(jīng)歷仿射變換的仿射變換參數(shù)。該參 考幀可以設(shè)置為例如最前面的幀。此外，要以與該參考幀相關(guān)的方式存儲在仿射變換參數(shù) 274中的仿射變換參數(shù)是單位矩陣的仿射變換參數(shù)。 最前面的幀275是指示通過合成目標圖像選擇單元170選擇的最前面的幀的信 息。例如，在已經(jīng)選擇對應(yīng)的幀作為最前面的幀的情況下，最前面的幀275存儲"1"，并且 在對應(yīng)的幀還沒有選擇為最前面的幀的情況下，最前面的幀275存儲"0"。例如，在運動畫 面ID 271 "#1"的部分號272 "#101"的每個幀中，在幀"9"已經(jīng)選擇為最前面的幀的情況 下，幀"9"的最前面的幀275存儲"1"。在此情況下，在部分號272 "#101"的每個幀中，關(guān) 于幀"9"以外的幀，最前面的幀275存儲"0"。 面部數(shù)據(jù)276是關(guān)于在通過合成目標圖像選擇單元170選擇的每個幀中包括的面 部的信息。在面部檢測信息218中包括的面部檢測信息中，存儲例如面部的位置信息和大 小信息作為該信息。在圖4所示的示例的情況下，面部的位置信息示出為(xn，yn)，并且面部的大小信息示出為(Hn， Wn)。這里，n是對應(yīng)于幀號273的數(shù)值。注意，在已經(jīng)從一幀選
擇多個面部的情況下，這樣的多個面部數(shù)據(jù)以與其幀相關(guān)的方式存儲。 相機工作參數(shù)和可靠度確定分數(shù)的計算示例 接下來，將參照附圖，關(guān)于用于計算要用于圖像變換的相機工作參數(shù)(仿射變換 參數(shù))和可靠度確定分數(shù)的計算方法進行詳細的描述。 圖5A到5C是圖示構(gòu)成運動畫面的圖像的示例的圖。圖6A到6C是圖示通過省略 關(guān)于構(gòu)成運動畫面的圖像的背景等而簡化的圖像的圖。圖5A到5C圖示圖像300作為構(gòu)成 運動畫面的圖像的示例。此外，圖6A圖示通過省略關(guān)于對應(yīng)于圖像300的緊接在前面的幀 的圖像的背景等而簡化的圖像320。此外，圖6B和6C圖示通過省略關(guān)于圖像300的背景等 而簡化的圖像330。 圖5A到6C中所示的圖像300、320和330包括人正在騎的馬的圖像301、321和 331、以及馬圖像301、321和331的前端布置的蛇的圖像302、322和332。此外，如圖5A到 5C所示，在這些圖像的背景上提供了旗子、椅子等，并且該旗子正在風中飄揚。
圖6A所示的圖像320是關(guān)于下述圖像簡化的圖像，所述圖像對應(yīng)于與圖5A到5C、 6B和6C中所示的圖像300和330所對應(yīng)的幀的緊接在前面的幀。此外，對應(yīng)于兩個連續(xù)幀 的圖像320和330是指示在屏幕內(nèi)的被攝體的大小逐漸增加的情況下的轉(zhuǎn)換的圖像。也就 是說，在該成像的時候，執(zhí)行放大操作，其中用于增加屏幕內(nèi)的被攝體的大小的操作逐漸增 加。 在本發(fā)明第一實施例的情況下，將關(guān)于下述方法作為示例進行描述，其中從構(gòu)成 運動畫面的圖像檢測特征點，并且使用對應(yīng)于該特征點的光流計算仿射變換參數(shù)。此外，在 該示例的情況下，將關(guān)于角落點用作特征點的情況進行描述。 現(xiàn)在，將利用圖6A到6C關(guān)于下述方法作為示例進行描述，其中使用對應(yīng)于從圖像 320和330檢測的三個角落點的光流計算仿射變換參數(shù)。 例如，在圖6A所示的圖像320的情況下，設(shè)馬圖像321的嘴周圍的角落點323、馬 圖像321的人的臀部周圍的角落點324、以及蛇圖像322的嘴周圍的角落點325被檢測為 特征點。在此情況下，利用圖6B所示的圖像330，根據(jù)梯度方法、塊匹配方法等，檢測關(guān)于 圖像320的角落點323、324和325的光流337、338和339。隨后，基于檢測的光流337、338 和339，檢測對應(yīng)于圖像320的角落點323、324和325的角落點333、334和335。
現(xiàn)在，例如，圖6A和6B中所示的圖像320和330中包括的馬圖像321和331以及 蛇圖像322和332被安裝在地面上，因此，不管相機運動與否都不移動。因此，可基于關(guān)于 下述角落點獲得的光流精確地估計相機的運動，所述角落點是關(guān)于馬圖像321和331以及 蛇圖像322和332檢測的。例如，如圖6C所示，基于在圖像330中檢測的三個光流337到 339，可以估計圖像330是以點336為中心、從圖像320放大的圖像。因此，可確定對圖像 330成像時的相機的運動是以點336為中心的放大操作。因此，關(guān)于不管相機運動與否都不 移動的對象檢測角落點，并且基于關(guān)于該角落點獲得的光流，可以精確地檢測具有特定規(guī) 律的相機的運動。因此，可通過使用關(guān)于這些角落點獲得的光流的計算來獲得仿射變換參 數(shù)。 然而，可預(yù)期這樣的情況，其中不管相機運動與否都移動的對象包括在圖像中，如 在風中飄揚的旗子等。例如，圖5A到5C中所示的圖像300包括在風中飄揚的旗子。在關(guān)于不管相機運動與否都移動的對象檢測角落點、并且使用關(guān)于該角落點獲得的光流估計相 機的運動的情況下，難以精確地估計相機的運動。 例如，圖5B所示的圖像300中檢測的光流以箭頭指示，并且以箭頭頂端的白色圓 圈指示通過光流檢測的角落點。這里，角落點303到305是對應(yīng)于圖6B和6C中所示的角 落點333到335的角落點。此外，角落點306到311是關(guān)于在馬圖像301的背景上布置的 旗子而檢測的角落點。這些旗子在風中飄揚，相應(yīng)地，由于風的影響而導(dǎo)致的每個旗子的運 動已經(jīng)被檢測為光流。也就是說，對應(yīng)于角落點306到311的光流是關(guān)于不管相機運動與 否都移動的旗子檢測的光流。因此，在計算仿射變換參數(shù)的情況下中使用的三個光流包括 與角落點306到311的至少一個角落點對應(yīng)的光流的情況下，難以精確地檢測相機的運動。 在此情況下，難以計算精確的仿射變換參數(shù)。 如上所述，例如，從在一些情況下成像的圖像檢測關(guān)于不管相機運動與否都移動 的對象的光流(對應(yīng)于圖5B中所示的角落點306到311的光流)。此外，從在一些情況下 成像的圖像檢測具有與相機的運動有關(guān)的特定規(guī)律性的光流(除對應(yīng)于圖5B中所示的角 落點306到311的光流以外的光流)。 因此，利用本發(fā)明第一實施例，仿射變換參數(shù)計算處理執(zhí)行多次，其中基于三個光 流計算仿射變換參數(shù)，從而獲得多個仿射變換參數(shù)。將關(guān)于這樣的示例進行描述，其中從該 多個仿射變換參數(shù)選擇最佳仿射變換參數(shù)。注意，利用該示例，設(shè)構(gòu)成運動畫面的每個圖像 中包括的移動對象的大小關(guān)于圖像的區(qū)域相對較小。 現(xiàn)在，將關(guān)于仿射變換進行描述。在二維坐標上移動源的位置設(shè)置為(x，y)、并且 仿射變換后的移動目的地的位置設(shè)置為(x'，y')的情況下，仿射變換的矩陣表達可用表達 式1來表示。注意，表達式1的右側(cè)的3X3的矩陣是仿射矩陣。
<formula>formula see original document page 17</formula> 這里，a到f是仿射變換參數(shù)。此外，仿射變換參數(shù)可用以仿射變換參數(shù)作為矩陣 AM的下述表達式表示。注意，可分別獲得X方向上的變焦分量XZ、Y方向上的變焦分量YZ、 X方向上的平移分量XT、Y方向上的平移分量YT、X方向上的旋轉(zhuǎn)分量9x、以及Y方向上的 旋轉(zhuǎn)分量9 y。注意，在單位矩陣的情況下，保持a二e二l、以及b二c二d二f二0。
<formula>formula see original document page 17</formula>

<formula>formula see original document page 17</formula> 因此，可從仿射變換參數(shù)獲得相機工作的每個分j 移分量、旋轉(zhuǎn)分量)。注意，將參照圖7描述旋轉(zhuǎn)分量。
(X和Y方向上的變焦分量、平
圖7是圖示使用仿射變換參數(shù)變換矩形340的情況的圖。如圖7所示，設(shè)矩形340 的一個頂點為原點，并且利用x-y坐標，其中與對應(yīng)于原點的頂點相鄰的矩形340的兩邊被 取為x軸和y軸，使用預(yù)定的仿射變換參數(shù)變換矩形340后獲得的矩形被取為矩形341 。在 此情況下，設(shè)通過矩形340和341的x軸側(cè)上的各邊形成的角度是旋轉(zhuǎn)分量9 x，并且通過 矩形340和341的y軸側(cè)上的各邊形成的角度是旋轉(zhuǎn)分量9 y。 接下來，將描述用于計算相機工作分量的和值的方法。相機工作分量的和值是通 過將與從用作計算目標的圖像合成目標部分的頂部幀到用作計算目標的當前幀的每個幀 相對應(yīng)的相機工作的每個分量相加而獲得的值。例如，設(shè)從頂部幀到當前幀的幀被取為幀 1到5，并且?guī)?到5的相機工作分量的X方向上的平移分量被取為XT1到XT5。在此情況 下，相機工作分量的X方向上的平移分量的和值可通過"XT1+XT2+XT3+XT4+XT5"計算。此 外，另一相機工作的每個分量的和值可以相同方式計算。 接下來，將描述用于計算仿射變換參數(shù)的方法。首先，利用與作為構(gòu)成運動畫面的 幀的一個幀的當前幀對應(yīng)的圖像，從已經(jīng)檢測其光流的特征點選擇三個特征點。例如，從在 圖5B所示的圖像300中檢測的角落點(以白色圓圈指示)隨機選擇三個角落點。注意，在 投射變換參數(shù)用作相機工作參數(shù)的情況下，隨機選擇四個特征點。 隨后，使用與選擇的三個特征點對應(yīng)的三個光流計算仿射變換參數(shù)。例如，使用與 從圖5B所示的圖像300中的角落點(以白色圓圈指示)對應(yīng)的光流(以連接到白色圓圈 的箭頭指示)計算仿射變換參數(shù)?？墒褂帽磉_式1獲得仿射變換參數(shù)。
隨后，基于獲得的仿射變換參數(shù)，計算仿射變換參數(shù)的分數(shù)。具體地，使用獲得的 仿射變換參數(shù)，獲得與當前幀的緊接在前面的幀對應(yīng)的圖像中的所有特征點的運動目的地 的位置。隨后，比較使用仿射變換參數(shù)獲得的特征點的位置、以及在當前幀檢測的特征點的 位置，并且對每個特征點計算彼此相對應(yīng)的兩個特征點的位置的差值。例如，彼此相對應(yīng)的 兩個特征點的位置之間的絕對距離被計算為差值。隨后，對每個特征點比較計算的差值和 預(yù)定的閾值，并且其差值小于閾值的特征點的數(shù)量被獲得為仿射變換參數(shù)的分數(shù)。因此，從 已經(jīng)檢測其光流的特征點隨機選擇三個特征點。隨后，處理重復(fù)預(yù)定次數(shù)，其中基于與三個 特征點對應(yīng)的光流計算仿射變換參數(shù)的分數(shù)，從而計算仿射變換參數(shù)的多個分數(shù)。該預(yù)定 次數(shù)可根據(jù)要比較的圖像的類型、圖像處理裝置100的處理能力等適當?shù)卦O(shè)置，或可使用 固定值。例如，在考慮圖像處理裝置100的處理能力的情況下，二十次等可設(shè)置為該預(yù)定次 數(shù)。 例如，考慮這樣的情況，其中已經(jīng)從自圖5B所示的圖像300檢測的角落點選擇除 角落點306到311以外的三個角落點。在使用與選擇的三個角落點對應(yīng)的三個光流計算仿 射變換參數(shù)的情況下，如上所述，這三個光流具有特定規(guī)律性。因此，獲得用于根據(jù)一定規(guī) 則變換與緊接在前面的幀對應(yīng)的圖像的仿射變換參數(shù)。此外，相對小的值被計算為使用仿 射變換參數(shù)獲得的角落點的位置、和在當前幀檢測的角落點的位置之間的差值，其關(guān)于除 角落點306到311以外的角落點的獲得。因此，仿射變換參數(shù)的分數(shù)變?yōu)榇蟮闹怠?
另一方面，考慮這樣的情況，其中已經(jīng)從圖5B所示的圖像300選擇包括角落點306 到311的至少一個的三個角落點。在使用與由此檢測的三個角落點對應(yīng)的三個光流計算仿 射變換參數(shù)的情況下，如上所述，這三個光流包括沒有特定規(guī)律性的光流。因此，獲得不用 于根據(jù)一定規(guī)則變換與緊接在前面的幀對應(yīng)的圖像的仿射變換參數(shù)。此外，在任意角落點計算相對大的值，作為關(guān)于使用仿射變換參數(shù)獲得的角落點的位置、以及在當前幀檢測的 角落點的位置獲得的差值。因此，仿射變換參數(shù)的分數(shù)變?yōu)樾〉闹怠?隨后，在獲得的多個仿射變換參數(shù)的分數(shù)中，具有最高分數(shù)值的仿射變換參數(shù)被 選擇為代表仿射變換參數(shù)。隨后，選擇的代表仿射變換參數(shù)用于以緊接在前面的幀作為參 考幀、計算用于使當前幀經(jīng)歷仿射變換的仿射變換參數(shù)，并且仿射變換參數(shù)以與當前幀相 關(guān)的方式記錄在元數(shù)據(jù)存儲單元210中。因此，在構(gòu)成運動畫面的圖像經(jīng)歷仿射變換的情 況下，可使用最佳仿射變換參數(shù)使該圖像經(jīng)歷仿射變換。 此外，利用本發(fā)明第一實施例，使用由此選擇的代表仿射變換參數(shù)的分數(shù)計算可
靠度確定分數(shù)。例如，在用作代表仿射變換參數(shù)的、圖像的整個屏幕檢測的特征點的數(shù)量被
取為N、并且代表仿射變換參數(shù)的分數(shù)取為Nml的情況下，可用下面的表達式計算可靠度確
定分數(shù)SHS。 SHS = Nml/N 這里，代表仿射變換參數(shù)的分數(shù)Nml是在要檢測的圖像的整個屏幕展現(xiàn)支配運動 的特征點的數(shù)量。此外，特征點的數(shù)量N變?yōu)檎宫F(xiàn)支配運動的特征點的數(shù)量Nml、和其他特 征點(展現(xiàn)噪聲狀運動的特征點)的數(shù)量Nm2的總值(S卩，N = Nml+Nm2)。此外，值0到1 計算為可靠度確定分數(shù)SHS。 由此計算的可靠度確定分數(shù)以與當前幀相關(guān)的方式記錄在元數(shù)據(jù)存儲單元210 中。使用該可靠度確定分數(shù)從運動畫面選擇圖像合成目標部分。 如上所述，即使在如人或車等的移動的物體(移動物體)包括在構(gòu)成運動畫面的 每個圖像中的情況下，在其移動物體的大小相對于圖像的面積相對小的情況下，可提取相 機的運動，而不受移動物體的影響。 此外，提取相機的運動，從而可估計被認為是用戶有意的移動的運動(如放大、縮 小、搖動、傾斜、旋轉(zhuǎn)等)。注意，利用表達式l，可基于兩個光流計算仿射變換參數(shù)，其中a =e并且d = -b。例如，在圖像經(jīng)歷使用基于三個光流計算的仿射變換參數(shù)的仿射變換的 情況下，在一些情況下將矩形圖像變換為平行四邊形。另一方面，在圖像經(jīng)歷使用基于兩個 光流計算的仿射變換參數(shù)的仿射變換的情況下，在矩形圖像狀態(tài)下可執(zhí)行平移運動、旋轉(zhuǎn) 和變焦的至少一個變換(x和y方向上的變焦比是相同的)。利用本發(fā)明第一實施例，將關(guān) 于這樣的示例進行描述，其中使用基于三個光流計算的仿射變換參數(shù)變換圖像。然而，本發(fā) 明的第一實施例可類似地應(yīng)用到這樣的情況，其中使用基于兩個光流計算的仿射變換參數(shù) 變換圖像。 面部表情評估值的計算示例 接下來，將參照附圖詳細描述面部表情評估值計算方法，其中計算關(guān)于從圖像檢 測的面部的面部表情評估值。 圖8是示意性圖示通過根據(jù)本發(fā)明第一實施例的面部檢測單元130的面部檢測方 法的圖。在圖8中，(a)和(b)圖示構(gòu)成從運動畫面輸入單元110輸出的運動畫面的圖像 450。此外，設(shè)人451的面部452包括在圖像450中。因此，在面部452包括在圖像450中 的情況下，通過面部檢測單元130從圖像450檢測面部452。注意，在圖8中，將關(guān)于其中使 用面部檢測參考數(shù)據(jù)執(zhí)行面部檢測的情況作為示例進行描述。 例如，如圖8(a)所示，具有一定大小的面部檢測窗口 453布置在圖像450的左上角，并且基于面部檢測參考數(shù)據(jù)計算用于確定面部是否包括在面部檢測窗口 453內(nèi)的圖像 中的估計。隨后，面部檢測窗口在右側(cè)方向(以箭頭454指示的方向)偏移一個像素，并且 類似地計算估計。此后，以相同方式，面部檢測窗口在右側(cè)方向上順序地一次偏移一個像 素，從而順序計算估計。隨后，在面部檢測窗口偏移到圖像450的右邊緣位置、并且計算了 估計時，面部檢測窗口向下端偏移一像素，并且移動到圖像450的左邊緣。隨后，在計算緊 接在移動到圖像450的左邊緣之后的估計后，面部檢測窗口在右側(cè)方向順序地一次偏移一 個像素，從而順序計算估計。此后，以相同方式，順序計算估計。在面部檢測窗口偏移到圖 像450的右下邊緣位置、并且計算了估計時，通過預(yù)定比例(scale)因子減小面部檢測窗 口，并且順序執(zhí)行相同的處理。因此，具有一定大小的面部檢測窗口用于關(guān)于要順序減小的 圖像450順序執(zhí)行估計的計算。隨后，基于計算的每個估計檢測面部，并且獲得作為至少包 括該面部的一部分的矩形區(qū)域的面部區(qū)域。例如，如圖8(b)所示，檢測圖像450中包括的 人451的面部452，并且獲得包括面部452的面部區(qū)域455。此外，獲得關(guān)于檢測的面部的 面部檢測信息(面部的位置、大小等)。例如，如圖8(c)所示，設(shè)置x-y坐標，其中圖像450 的左上角取為原點，水平方向取為x軸，并且垂直方向取為y軸。利用x-y坐標，以面部區(qū) 域455的左上角作為原點的頂點456的坐標(x， y)計算為面部的位置。類似地，利用x-y 坐標，面部區(qū)域455的水平方向的長度W、以及面部區(qū)域455的垂直方向的長度H計算為面 部的大小。面部檢測單元130將這樣的面部檢測信息輸出到面部表情評估值計算單元140 和記錄控制單元150。 隨后，面部表情評估值計算單元140基于從面部檢測單元130輸出的面部檢測信
息，從圖像450提取面部區(qū)域455的圖像(圖像數(shù)據(jù))。也就是說，面部表情評估值計算單
元140訪問存儲器(RAM)，其中暫時存儲了用作面部檢測目標的圖像數(shù)據(jù)，并且僅讀出對應(yīng)
于從面部檢測單元130輸出的面部檢測信息的面部區(qū)域內(nèi)的圖像數(shù)據(jù)。 隨后，面部表情評估值計算單元140將提取的圖像變換為一定大小的圖像，并且
對其規(guī)范化以生成規(guī)范化的面部圖像。也就是說，提取的圖像經(jīng)歷分辨率轉(zhuǎn)換，作為一定大
小(一定分辨率)的圖像，從而生成規(guī)范化的面部圖像。設(shè)規(guī)范化后的圖像大小是用作當
面部表情評估值計算單元140計算關(guān)于面部的面部表情評估值時的處理單元的大小。利用
本發(fā)明第一實施例，例如，設(shè)用于規(guī)范化的一定大小是48像素X48像素的大小。 隨后，面部表情評估值計算單元140基于規(guī)范化的面部圖像和判別軸信息存儲單
元141中存儲的判別軸信息，計算指示規(guī)范化的面部圖像中包括的面部表情的程度的面部
表情評估值。該計算的面部表情評估值輸出到記錄控制單元150。該面部表情評估值是指
示要確定的面部表情類似于兩個不同的面部表情中的哪個的程度的值。利用本發(fā)明第一實
施例，將關(guān)于這樣的示例進行描述，其中兩個不同的面部表情是"笑臉"和"正常面部表情"，
并且做出評估隨著計算的面部表情評估值增加、要確定的面部表情是"笑臉"的程度強。另
一方面，做出評估隨著計算的面部表情評估值減小，要確定的面部表情是"正常面部表情"
的程度強。注意，將關(guān)于圖9到12詳細描述該面部表情評估值計算方法。 圖9是概念性圖示用于計算面部表情評估值的判別軸信息、以及在生成該判別軸
信息時的流程的圖。 利用本發(fā)明第一實施例，將關(guān)于使用Fisher的線性判別分析的面部表情評估值 計算方法作為示例進行描述。利用該面部表情評估值計算方法，首先，預(yù)先準備包括兩個不同面部表情中的一個的大量采樣圖像。隨后，考慮作為兩個不同面部表情之間的兩類問題， 基于這些采樣圖像的數(shù)據(jù)執(zhí)行線性判別分析(LDA)。因此，形成判別軸466(如圖9(c)所 示)，其中這兩個不同的面部表情被很好地判別。隨后，該判別軸466存儲在判別軸信息存 儲單元141中。此外，在面部表情評估時，通過獲得要評估的面部圖像的數(shù)據(jù)和判別軸466 之間的內(nèi)積計算面部表情評估值。下面將參照附圖具體進行描述。 利用本發(fā)明第一實施例，為了使用"笑臉"作為特定面部表情，將關(guān)于笑臉采樣圖 像和正常面部表情采樣圖像用作關(guān)于兩個不同面部表情的采樣圖像的情況作為示例進行 描述。在圖9中，(a)圖示作為笑臉采樣圖像組461的笑臉采樣圖像組，并且圖示作為正常 面部表情采樣圖像組462的正常面部表情采樣圖像組。設(shè)采樣圖像組461和462中包括 的每個采樣圖像是被規(guī)范化、使得面部變?yōu)橐欢ù笮〉木匦螆D像內(nèi)的一定大小(例如，48 像素X48像素)的圖像。采樣圖像組461和462中包括的每個采樣圖像的數(shù)據(jù)被處理為 48 X 48維矢量數(shù)據(jù)，從而執(zhí)行LDA處理。 這里，處理48X48維矢量數(shù)據(jù)的矢量空間是包括48X48坐標軸的極高維空間。因
此，在執(zhí)行LDA處理之前，關(guān)于48 X 48維矢量數(shù)據(jù)執(zhí)行主分量分析(PCA)。隨后，將48 X 48
維矢量數(shù)據(jù)轉(zhuǎn)換(維度壓縮)為僅有效地表示面部的特征的低維空間數(shù)據(jù)。利用該PCA處理，考慮獲得M軸，使得M(例如，M = 300)N維(N = 48X48)輸入
采樣圖像組之間的不規(guī)律性(分散)變得最大。這樣的軸可作為關(guān)于采樣圖像組的協(xié)方差
矩陣的特征值問題的解(特征矢量)而獲得。隨后，僅具有相對大系數(shù)的矢量分量提取為
主分量，從而48X48維矢量數(shù)據(jù)可維度壓縮為僅包括適于表示面部的特征的矢量分量的
N'維(N > N')數(shù)據(jù)。例如，已經(jīng)理解通過設(shè)置N' = 40等維持關(guān)于面部表情判別的足夠
精度。注意，在PCA處理獲得的主分量中，按系數(shù)遞減順序消除若干主分量，從而維數(shù)進一
步減少，同時維持面部表情判別精度，因此，可減少下一 PCA處理的負載?，F(xiàn)在，將參照圖10詳細描述在PCA處理時要輸入的采樣圖像的遮蓋處理。 圖10是示意性圖示根據(jù)本發(fā)明第一實施例、在PCA處理時要輸入的采樣圖像的遮
蓋處理的圖。在圖10中，(a)圖示屬于笑臉采樣圖像組461的采樣圖像470。笑臉475包
括在采樣圖像470中。注意，如上所述，采樣圖像470是規(guī)范化為矩形形狀使得面部475變
為一定大小的圖像。 現(xiàn)在，如圖10(a)所示，在采樣圖像470按原樣用來執(zhí)行PCA處理的情況下，在一 些情況下，由于如面部475的背景、以及頭發(fā)等的影響，阻礙了適當?shù)闹鞣至康倪x擇。因此， 如圖10 (b)所示，除了面部475的皮膚以外的區(qū)域用遮蓋472覆蓋，從而覆蓋采樣圖像470， 使得僅保留皮膚部分的面部區(qū)域。注意，在圖10(b)和(c)的情況下，遮蓋472和474的區(qū) 域用陰影部分指示。在面部的信息密度增強的狀態(tài)下，圖10(b)所示的轉(zhuǎn)換后的采樣圖像 471經(jīng)歷PCA處理，從而可執(zhí)行更高精度的維度壓縮。注意，在面部區(qū)域中，根據(jù)面部表情， 嘴極大地改變，因此，嘴經(jīng)常變?yōu)楦蓴_因子。因此，如圖10(c)所示，面部475的嘴的周圍區(qū) 域也用遮蓋474覆蓋，從而采樣圖像470被轉(zhuǎn)換，使得保留除了嘴的周圍區(qū)域以外的、皮膚 部分的面部區(qū)域。圖10(c)所示的轉(zhuǎn)換后的采樣圖像473用于執(zhí)行PCA處理，從而可以增 強維度壓縮的精度。因此，在本發(fā)明第一實施例的情況下，將關(guān)于在PCA處理時要輸入的采 樣圖像經(jīng)歷圖10(c)所示的遮蓋處理的情況作為示例進行描述。 現(xiàn)在，設(shè)圖9 (b)和(c)所示的PCA空間465是僅包括有效地表示采樣圖像中包括的面部的特征的坐標軸的部分空間。 屬于已經(jīng)通過上述PCA處理維度壓縮的笑臉采樣圖像組461或正常面部表情采樣 圖像組462的每個采樣圖像被轉(zhuǎn)換為PCA空間465上的矢量數(shù)據(jù)，如圖9 (b)所示，其示意 性圖示了這樣的狀態(tài)，其中屬于笑臉采樣圖像組461或正常面部表情采樣圖像組462的每 個采樣圖像投射到PCA空間465上。如圖9(b)所示，在屬于同一采樣圖像組的采樣圖像投 射到PCA空間465上的情況下，采樣圖像之間的距離是相對近的距離。因此，在屬于笑臉采 樣圖像組461的采樣圖像投射到PCA空間465之后，通過其采樣圖像形成的簇取為簇463。 此外，在屬于正常面部表情采樣圖像組462的采樣圖像投射到PCA空間465之后，通過其采 樣圖像形成的簇取為簇464。通過LDA處理形成適當?shù)胤蛛x簇463和464的投射軸(判別 軸466)。這樣的判別軸466稱為"Fisher投射軸"。 通常，根據(jù)LDA處理，獲得判別軸，使得投射到N'維特征矢量上的簇內(nèi)和簇間的分 散變?yōu)樽畲?。也就是說，獲得對應(yīng)于簇內(nèi)和簇間的每個協(xié)方差矩陣的最大特征值的特征矢 量，并且其取為判別軸466上的矢量(Fisher矢量)。每個協(xié)方差矩陣和特征值/特征矢量 之間的關(guān)系如表達式11和12所示。 RB7=又Rw了...表達式ll <4 R^J RB^T =久"J...表達式12 Fisher矢量X^ 4關(guān)于最大特征值A(chǔ) max的特征矢量:
a " max 這里，Rw表示簇內(nèi)協(xié)方差矩陣，Re表示簇間協(xié)方差矩陣，并且A表示特征值。此
外，關(guān)于表達式12的逆矩陣、特征值、和特征矢量的計算，可分別采用下-上(lower-upper,
LU)分解方法、QR分解方法(Q :正交矩陣，R :上三角矩陣)和高斯消除。如Fisher矢量的
每個分量的系數(shù)等的信息存儲在判別軸信息存儲單元141中，作為由此計算的判別軸466
的信息。也就是說，判別軸466的信息是包括指示面部表情的判別軸的矢量的系數(shù)的信息，
通過基于信號分量執(zhí)行線性判別分析獲得該面部表情的判別軸，從關(guān)于兩個不同面部表情
等的大量面部采樣圖像的圖像數(shù)據(jù)中通過主分量分析獲得該信號分量。 圖11是示意性圖示在像素空間和PCA空間中的判別軸和要評估的面部圖像之間
的關(guān)系的圖。 在使用圖9(c)所示的判別軸466計算面部表情評估值的情況下，首先，從成像的 圖像檢測的面部(面部圖像)的圖像數(shù)據(jù)經(jīng)歷PCA處理以提取主分量。對應(yīng)于其圖像數(shù)據(jù) 的面部圖像的面部表情被評估為關(guān)于經(jīng)歷PCA處理的面部圖像矢量(輸入的面部圖像矢 量)的判別軸466 (矢量Ad)的投射分量，如圖11中的PCA空間465中所示。也就是說，如 表達式15所示，面部表情評估值E，可通過輸入面部圖像矢量和Fisher矢量之間的內(nèi)積 而計算。 Pin_pxl《1.45^^+0. 86"72 + 0. 64~73". +0.05^TN, + C. .表達式13
^d_pxl 0. 98^^ +0.4572+0. 38:3... +0. 09^^, + C 表達式14<formula>formula see original document page 23</formula>
表達式16
，nJ)xl:像素空間上的面部圖像矢量 AdJ)xl :像素空間上的Fisher矢量
E
exp
-,A,:主分量的矢量 :面部表情評估值
、5njca :PCA處理后的面部圖像矢量乂 Fisher矢量的信息可轉(zhuǎn)換為像素空間Spxl (PCA處理之前的原始圖像數(shù)據(jù)具有的 維度空間)上的信息。表達式13和14是表示作為像素空間Spxl上的矢量的Fisher矢量 和輸入面部圖像矢量的表達式。圖ll概念性圖示了用表達式13和14表示的關(guān)系。如表 達式13、14和11所示，通過PCA處理獲得的除主分量i^到y(tǒng)『之外的矢量分量可用作為 所有輸入圖像的平均值的常數(shù)C近似。因此，如表達式15所示的內(nèi)積計算可等效地表示為 像素空間Spxl上的矢量內(nèi)積計算，如表達式16所示。 如表達式16所示，可預(yù)先計算像素空間Spxl上的Fisher矢量分量和常數(shù)C之間 的減法結(jié)果。因此，該減法結(jié)果和常數(shù)C存儲在判別軸信息存儲單元141中，作為判別軸信 息。隨后，面部表情評估值計算單元140計算從成像的圖像檢測的面部圖像的矢量，此后執(zhí) 行表達式16的內(nèi)積計算，而不使該矢量經(jīng)歷PCA處理。這里，關(guān)于通過表達式16對一個面 部的面部表情評估值的計算，減法、乘法和加法最多執(zhí)行48X48次，并且實際上，僅執(zhí)行對 應(yīng)于大約40個主分量y工到y(tǒng) N，的系數(shù)的計算。因此，與對PCA空間465執(zhí)行矢量內(nèi)積計 算的情況相比，計算量可以極大地減小，而不劣化面部表情評估的精度，并且在記錄成像的 圖像之前，可以以場角匹配狀態(tài)容易地計算面部表情評估值Erap。 采用了這樣的面部表情評估值計算方法，由此例如與通過大量面部圖像模板和檢 測的面部圖像之間的匹配來評估面部表情的面部表情評估方法相比，可以高精度執(zhí)行面部 表情評估，同時減少處理負載。例如，在使用模板執(zhí)行匹配的情況下，通常，需要從檢測的面 部圖像提取如眼、嘴等的部分，以對每個部分執(zhí)行匹配處理。另一方面，利用用于本發(fā)明第 一實施例的面部表情評估值計算方法，在檢測的面部規(guī)范化到一定大小之后，其面部圖像 用矢量信息替代，從而這可按原樣(或部分遮蓋地)應(yīng)用到內(nèi)積計算。其內(nèi)積計算可以簡 化為包括大約40維減法、乘法和加法的簡單計算。 圖12是圖示在根據(jù)本發(fā)明第一實施例的面部表情評估值輸出為數(shù)值的情況下的 計算示例的圖。 利用本發(fā)明第一實施例，例如，基于采樣圖像的PCA處理，獲得PCA空間上的笑臉圖像的分布481的平均482、以及PCA空間上的正常面部表情面部圖像的分布483的平均 484。隨后，確定關(guān)于平均482和484的判別軸466的投射點。隨后，以平均482和484的 投射點的中點485作為參考，將面部表情評估值E⑩轉(zhuǎn)換為數(shù)值。也就是說，如圖12所示， 關(guān)于面部圖像的判別軸466的投射點486、以及平均482和484的投射點的中點485之間的 距離取為面部表情評估值E，，并且笑臉采樣圖像分布的一側(cè)取為正數(shù)值。因此，檢測的面 部圖像類似于笑臉還是正常面部表情可輸出為連續(xù)的數(shù)值。在此情況下，根據(jù)面部表情評 估值E，的增加，笑臉的程度評估為高。此外，在已經(jīng)通過面部檢測單元130從一個圖像檢 測多個面部的情況下，通過面部表情評估值計算單元140關(guān)于這些面部的每個面部執(zhí)行面 部表情評估值的計算。隨后，關(guān)于其每個面部計算的面部表情評估值存儲在元數(shù)據(jù)存儲單 元210中。 圖像處理裝置的操作示例 接下來，將參照附圖描述根據(jù)本發(fā)明第一實施例的圖像處理裝置100的操作。圖 13是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置100的元數(shù)據(jù)記錄處理的過程的流 程圖。 首先，運動畫面文件輸入到運動畫面輸入單元110(步驟S901)。隨后，解碼輸入到 運動畫面輸入單元110的運動畫面文件，獲得按時間序列順序的一幀的圖像(步驟S902)。 面部檢測單元130執(zhí)行關(guān)于獲得的一幀的面部檢測處理(步驟S903)。面部表情評估值計算 單元140執(zhí)行關(guān)于通過面部檢測處理檢測的面部的面部表情評估值計算處理(步驟S904)。
隨后，確定獲得的一幀是否是輸入到運動畫面輸入單元110的運動畫面文件的頂 部幀(步驟S905)。在獲得的一幀是頂部幀的情況下(步驟S905)，從對應(yīng)于該頂部幀的整 個圖像提取特征點(步驟S906)。隨后，單位矩陣的仿射變換參數(shù)被選擇為仿射變換參數(shù) (步驟S907) ， " 1. 0"計算為可靠度確定分數(shù)，并且流程進行到步驟S913。
另一方面，在獲得的一個幀是頂部幀的情況下(步驟S905)，以對應(yīng)于緊接在前面 的幀的圖像作為參考，從新成像的區(qū)域提取特征點(步驟S905)。也就是說，可通過對應(yīng)于 該特征點的光流獲得已經(jīng)用對應(yīng)于緊接在前面的幀的圖像提取的特征點，因此，不用對應(yīng) 于當前幀的圖像提取該特征點。隨后，保持對應(yīng)于緊接在前面的幀的整個圖像的特征點的 數(shù)量(步驟S910)。 隨后，計算關(guān)于從與緊接在前面的幀對應(yīng)的圖像提取的每個特征點的光流(步驟 S911)。相機工作參數(shù)計算單元123執(zhí)行仿射變換參數(shù)計算處理(步驟S920)。將參照圖 14詳細描述該仿射變換參數(shù)計算處理。注意，步驟S920是發(fā)明內(nèi)容中所指的計算過程的示 例。 隨后，基于保持的整個圖像中的特征點的數(shù)量以及選擇的代表仿射變換參數(shù)的分 數(shù)，計算可靠度確定分數(shù)(步驟S912)。關(guān)于當前幀獲得的每條元數(shù)據(jù)以與當前幀相關(guān)的方 式記錄在元數(shù)據(jù)存儲單元210中(步驟S913)。注意，在當前幀是頂部幀的情況下，選擇的 單位矩陣的仿射變換參數(shù)以與頂部幀相關(guān)的方式記錄在元數(shù)據(jù)存儲單元210中。隨后，對 應(yīng)于當前幀的圖像、以及該圖像的特征點以重寫方式存儲(步驟S914)。
隨后，確定當前幀是否是輸入到運動畫面輸入單元110的運動畫面文件的最后幀 (步驟S915)。在當前幀不是最后幀的情況下(步驟S915)，流程返回到步驟S902，其中重 復(fù)元數(shù)據(jù)記錄處理(步驟S902到S914以及S920)。另一 面，在當前幀是最后幀的情況下(步驟S915)，元數(shù)據(jù)記錄處理結(jié)束。 圖14是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置100的元數(shù)據(jù)記錄處理 的過程中包括的仿射變換參數(shù)計算過程(圖13中所示的步驟S920的過程)的流程圖。
首先，變量i初始化為"l"(步驟S921)。隨后，從已經(jīng)檢測其光流的特征點選擇M 個特征點(步驟S922)。例如，在仿射變換參數(shù)用作相機工作參數(shù)的情況下，隨機選擇三個 特征點。此外，在投射變換參數(shù)用作相機工作參數(shù)的情況下，隨機選擇四個特征點。隨后， 基于對應(yīng)于選擇的M個特征點計算的M個光流計算仿射變換參數(shù)(步驟S923)。
隨后，基于計算的仿射變換參數(shù)，計算仿射變換參數(shù)的分數(shù)(步驟S924)。具體地， 計算的仿射變換參數(shù)用于獲得對應(yīng)于緊接在前面的幀的圖像的所有特征點的運動目的地 的位置。隨后，比較用其仿射變換參數(shù)獲得的特征點的位置、以及對應(yīng)于在計算步驟S911 的光流時獲得的當前幀的圖像的特征點的位置。對每個特征點計算相互對應(yīng)的兩個特征點 的位置之間的差值。例如，相互對應(yīng)的兩個位置之間的絕對距離計算為差值。隨后，對每個 特征點比較計算的差值和預(yù)定閾值，并且獲得其差值小于閾值的特征點的數(shù)量，作為仿射 變換參數(shù)的分數(shù)。 隨后，對變量i加"l"(步驟S925)，并且確定變量i是否大于常數(shù)N(步驟S926)。 在變量i等于或小于常數(shù)N的情況下(步驟S926)，流程返回到步驟S922，其中重復(fù)仿射變 換參數(shù)的分數(shù)計算處理(步驟S922到S925)。例如，20可用作常數(shù)N。
另一方面，在變量i大于常數(shù)N的情況下(步驟S926)，在獲得的仿射變換參數(shù)的 分數(shù)中，具有最高分數(shù)值的仿射變換參數(shù)選擇為代表仿射變換參數(shù)(步驟S927)。
利用本發(fā)明第一實施例，已經(jīng)關(guān)于這樣的示例進行描述，其中基于從構(gòu)成運動畫 面的圖像檢測的光流，將仿射變換參數(shù)檢測為相機工作參數(shù)。然而，例如，為相機提供如加 速度傳感器或回轉(zhuǎn)儀(gyro)傳感器等的傳感器、在執(zhí)行變焦操作時使用的變焦按鈕，并且 在成像時相機的運動量通過該傳感器和變焦按鈕檢測。隨后，可基于相機的運動量獲得相 機工作參數(shù)。替代地，可進行這樣的安排，其中通過相機工作參數(shù)計算單元123預(yù)先檢測多 個相機工作參數(shù)，并且基于在成像時檢測的相機的運動量，從多個相機工作參數(shù)選擇一個 相機工作參數(shù)。 圖像的仿射變換示例 接下來，將參照附圖關(guān)于這樣的情況詳細進行描述，其中通過相機工作檢測單元
120計算的仿射變換參數(shù)用于使構(gòu)成運動畫面的圖像經(jīng)歷仿射變換?，F(xiàn)在，為說明方便，簡
化圖15到23中所示的每個圖像，并且在構(gòu)成運動畫面的圖像中，圖示了其圖像之間的運動
量相對小的圖像。此外，設(shè)圖15到23中的每個圖像是通過合成目標圖像選擇單元170選
擇的圖像。此外，示出了隨后的幀重寫在時間軸上的之前的幀上的情況作為示例。 首先，將關(guān)于這樣的情況進行描述，其中在通過相機成像時，雖然不變焦，但是以
相機的位置作為中心，將相機的鏡頭的方向在四個方向之一上移動。 圖15是圖示通過相機成像的運動畫面的轉(zhuǎn)換的示例的圖。圖15圖示在以山為背 景對人400成像的情況下、構(gòu)成運動畫面的圖像401到403。此外，該示例圖示這樣的情況， 其中用戶正拍攝圖像，同時將相機的鏡頭的方向向用戶右側(cè)和左側(cè)移動。在該示例中，要通 過相機成像的運動畫面中包括的人400從右側(cè)移動到左側(cè)，并且移動到構(gòu)成其運動畫面的 圖像中的下側(cè)。
25
圖16是示意性圖示在通過根據(jù)本發(fā)明實施例的合成目標圖像選擇單元170選擇 的圖像401到403中包括的被攝體的所在地的圖。注意，在圖16(b)和(c)所示的圖像 402和403的情況下，對應(yīng)于之前的幀的圖像用虛線示出。圖16(a)中所示的圖像401與 圖15(a)中示出的圖像401相同。此外，圖16(b)中示出的圖像402的實線部分與圖15(b) 中示出的圖像402相同，并且圖16(b)中示出的圖像402的虛線部分與圖16(a)中示出的 圖像401的實線部分相同。此外，圖16(b)中所示的圖像402的箭頭404到406是指示圖 像401和402中包括的被攝體的所在地的箭頭。此外，圖16(c)中所示的圖像403的實線 部分與圖15(c)中所示的圖像403相同，并且圖16(c)中所示的圖像403的虛線部分與圖 16(b)中所示的圖像402的實線部分相同。此外，圖16(c)中所示的圖像403的箭頭407到 409是指示圖像402和403中包括的被攝體的所在地的箭頭。 如圖16 (b)和(c)所示，圖像中包括的背景的山和人400與相機的運動一起移動。 基于通過該運動檢測的每個光流，可獲得圖像之間的仿射變換參數(shù)。例如，在圖像401取為 參考圖像的情況下，將關(guān)于圖像401和402的每個圖像計算的仿射變換參數(shù)的仿射矩陣相 乘，從而可以獲得用于使圖像402經(jīng)歷仿射變換的仿射變換參數(shù)。此外，關(guān)于圖像401到403 的每個圖像計算的仿射變換參數(shù)的仿射矩陣相乘，從而可以獲得用于使圖像403經(jīng)歷仿射 變換的仿射變換參數(shù)。現(xiàn)在，設(shè)參考圖像的仿射變換參數(shù)是單位矩陣的仿射變換參數(shù)。
圖17是圖示在通過根據(jù)本發(fā)明第一實施例的圖像合成單元220合成圖像的情況 下的圖像合成示例的圖。利用該示例，將關(guān)于這樣的情況進行描述，其中以圖像401為參考 圖像，圖像402和403使用存儲在合成目標圖像元數(shù)據(jù)存儲單元270中的仿射變換參數(shù)經(jīng) 歷仿射變換。 例如，在與圖像401相關(guān)的仿射變換參數(shù)的仿射矩陣取為Al的情況下，圖像變換 單元190以頂部幀的圖像401的位置和大小作為參考，通過矩陣A1使圖像401經(jīng)歷仿射變 換。這里，圖像401是參考圖像，因此，Al是單位矩陣。因此，不變換圖像401的位置和大 小。 隨后，在合成對應(yīng)于下一幀的圖像402的情況下，圖像變換單元190使用與圖像 402相關(guān)的仿射變換參數(shù)，使圖像402經(jīng)歷仿射變換。例如，設(shè)與圖像402相關(guān)的仿射變換 參數(shù)的矩陣是A2。在此情況下，圖像變換單元190以頂部幀的圖像401的位置和大小作為 參考，使圖像402通過矩陣A2經(jīng)歷仿射變換。注意，在圖17(b)所示的示例的情況下，如箭 頭415和416所示，僅變換圖像402的位置。隨后，圖像合成單元220將通過圖像變換單 元190經(jīng)歷仿射變換的圖像402重寫在對應(yīng)于之前的幀的圖像401上，以便在其上重疊并 合成。具體地，在圖像401的區(qū)域中，與圖像402重疊的區(qū)域410通過圖像402的圖像而重 寫。此外，在圖像401的區(qū)域中，不與圖像402重疊的區(qū)域411不用圖像402的圖像重寫。 也就是說，在合成對應(yīng)于第二幀的圖像402的情況下，如圖17 (b)所示，創(chuàng)建這樣的圖像，其 中合成圖像402的整個部分以及對應(yīng)于圖像401的區(qū)域411的部分。 隨后，在顯示對應(yīng)于第二幀的圖像403的情況下，圖像變換單元190使用與圖像 403相關(guān)的仿射變換參數(shù)，使圖像403經(jīng)歷仿射變換。例如，設(shè)對應(yīng)于圖像403的仿射變換 參數(shù)的矩陣是A3。在此情況下，圖像變換單元190以圖像401的位置和大小作為參考，使圖 像403通過矩陣A3經(jīng)歷仿射變換。注意，在圖17(c)所示的圖像的情況下，如箭頭417和 418所示，僅變換圖像403的位置。隨后，圖像合成單元220將通過圖像變換單元190經(jīng)歷仿射變換的圖像403重寫在對應(yīng)于之前的幀的圖像401和402的合成圖像上，以便在其上 重疊并合成。具體地，在圖像401和402的合成圖像的區(qū)域中，與圖像403重疊的區(qū)域413 和414通過圖像403的圖像而重寫。此外，在圖像401和402的合成圖像的區(qū)域中，不與圖 像403重疊的區(qū)域411和412與圖像401和402的合成圖像合成。也就是說，在合成對應(yīng) 于第三幀的圖像403的情況下，如圖17(c)所示，創(chuàng)建這樣的圖像，其中合成圖像403的整 個部分、對應(yīng)于圖像401的區(qū)域411的部分、以及對應(yīng)于圖像402的區(qū)域412的部分。
接下來，將關(guān)于這樣的情況進行描述，其中在通過相機成像時，盡管相機的鏡頭的 方向沒變，但是已經(jīng)變焦。 圖18是圖示通過相機成像的運動畫面的轉(zhuǎn)換的示例的圖。圖18圖示與在以山為
背景對人420成像的情況下的運動畫面中包括的連續(xù)幀對應(yīng)的圖像421到423。該示例圖
示用戶在放大的同時拍攝圖像的情況。在此情況下，通過相機成像的運動畫面中包括的人
420的大小在構(gòu)成其運動畫面的圖像上逐漸增加。注意，盡管在一些情況下在變焦時相機的
位置在一定程度上移動，但是在該示例的情況下，將不考慮相機的位置的移動來進行描述。 圖19是示意性圖示通過根據(jù)本發(fā)明實施例的合成目標圖像選擇單元170選擇的
圖像421到423中包括的被攝體的所在地的圖。注意，圖19中所示的仿射變換參數(shù)計算示
例與圖16中所示的仿射變換參數(shù)計算示例相同，因此，這里將省略其描述。 圖20是圖示在通過根據(jù)本發(fā)明第一實施例的圖像合成單元220合成圖像的情況
下的圖像合成示例的圖。注意，圖20所示的圖像合成示例與圖17中所示的圖像合成示例
相同，因此，這里將省略其描述。 接下來，將關(guān)于這樣的情況進行描述，其中，在通過相機成像時，盡管相機的鏡頭 的方向和焦距沒有變，但是相機已經(jīng)以光軸作為旋轉(zhuǎn)中心而旋轉(zhuǎn)。 圖21是圖示通過相機成像的運動畫面的轉(zhuǎn)換的示例的圖。圖21圖示與在以山為 背景對人440成像的情況下的運動畫面中包括的連續(xù)幀對應(yīng)的圖像441到443。該示例圖 示了這樣的情況，其中用戶正在執(zhí)行成像，同時以光軸方向為旋轉(zhuǎn)中心旋轉(zhuǎn)相機。在此情況 下，通過相機成像的運動畫面中包括的人440在構(gòu)成其運動畫面的圖像上逐漸旋轉(zhuǎn)。注意， 盡管在一些情況下，由于相機的旋轉(zhuǎn)導(dǎo)致相機的位置在一定程度上移動，但是在本示例的 情況下，將不考慮相機的位置的移動而進行描述。 圖22是示意性圖示通過根據(jù)本發(fā)明實施例的合成目標圖像選擇單元170選擇的
圖像441到443中包括的被攝體的所在地的圖。注意，圖22中所示的仿射變換參數(shù)計算示
例與圖16中所示的仿射變換參數(shù)計算示例相同，因此，這里將省略其描述。 圖23是圖示在通過根據(jù)本發(fā)明第一實施例的圖像合成單元220合成圖像的情況
下的圖像合成示例的圖。注意，圖23所示的圖像合成示例與圖17中所示的圖像合成示例
相同，因此，這里將省略其描述。 圖像合成目標部分的選擇示例 接下來，將參照附圖，關(guān)于用于從運動畫面選擇用于選擇合成目標圖像的部分 (圖像合成目標部分)的部分選擇方法詳細進行描述。在本發(fā)明第一實施例的情況下，將關(guān) 于滿足下面條件(1)到(4)的部分選擇為圖像合成目標部分的示例進行描述。
(1)相機工作檢測的可靠度高。
(2)變焦率低，即，變焦改變小。
(3)水平方向或垂直方向上的運動量等于或大于一定像素量。
(4)圖像合成目標部分的長度是在一定范圍內(nèi)(例如，在2秒到20秒的范圍內(nèi))
的長度。 此外，在本發(fā)明第一實施例的情況下，在滿足下面(a)和(b)條件的情況下，確定 上面的條件(1)相機工作檢測的可靠度高。 (a)在圖像的整個屏幕中的特征點中，指示展現(xiàn)支配運動的特征點的比率的值超 過閾值。 (b)各幀之間的改變率在一定范圍內(nèi)。各幀之間的改變率是指示通過與各幀之間 相關(guān)的仿射變換參數(shù)計算的相機工作的每個分量的值。 圖24是以時間序列方式圖示通過根據(jù)本發(fā)明第一實施例的相機工作檢測單元 120計算的可靠度確定分數(shù)的圖。在圖24中，(a)使用矩形示意性圖示用作可靠度確定分 數(shù)計算目標的幀。注意，在圖24(a)中，指示每個幀的幀序列號附加到矩形的內(nèi)部。
在圖24中，(b)圖示表示對每個幀、關(guān)于圖24(a)中所示的幀1到15計算的可靠 度確定分數(shù)的曲線圖。在圖24(b)所示的曲線圖的情況下，水平軸是指示成像的時間的軸， 并且垂直軸是指示關(guān)于每幀計算的可靠度確定分數(shù)的值的軸。此外，在垂直軸的情況下， 設(shè)上述條件(1)的閾值是閾值TH1。這里，例如值0.5到0.8可設(shè)為閾值TH1。注意，在圖 24(b)所示的曲線圖的水平軸的情況下，示出對應(yīng)于成像的時間點的每個幀號。這里，可靠 度確定分數(shù)SHS是通過可靠度確定分數(shù)計算單元124計算的值，并且以與構(gòu)成運動畫面存 儲單元200中存儲的運動畫面文件的每個幀相關(guān)的方式存儲在元數(shù)據(jù)存儲單元210中。
在該示例的情況下，為了說明方便，如圖24(a)所示，設(shè)上述條件(4)中的一定范 圍是K1和K2之間的范圍。此外，在圖24(b)所示的曲線圖的情況下，關(guān)于每幀計算的可靠 度確定分數(shù)用白色圓圈表示。在表示可靠度確定分數(shù)的白色圓圈中，超過閾值TH1的分數(shù) 用粗線圓圈表示。 如圖24(b)所示，例如，幀1和3的可靠度確定分數(shù)低于閾值TH1，因此，幀1和3 沒有確定為圖像合成目標部分候選。此外，幀2的可靠度確定分數(shù)超過閾值TH1，但是相鄰 的幀1和3的可靠度分數(shù)低于閾值TH1，因此，不滿足上述條件(4)。因此，幀2不確定為圖 像合成目標部分候選。另一方面，例如幀4到14的可靠度確定分數(shù)超過閾值TH1。然而，幀 14的長度超過上述條件(4)的一定范圍(K1和K2之間的范圍)。因此，在幀4到14中，在 上述條件(4)的一定范圍內(nèi)的幀4到13被部分選擇單元160確定為圖像合成目標部分候 選500。也就是說，部分選擇單元160提取可靠度確定分數(shù)SHS超過閾值TH1的、包括在上 述條件(4)的一定范圍內(nèi)的連續(xù)幀，作為圖像合成目標部分候選。 隨后，部分選擇單元160確定圖像合成目標部分候選中包括的每個幀(相機工作
的每個分量)的改變率是否滿足下面的條件(11)到(17)。 (ll)XZthl < XZ < XZth2 (12)YZthl < YZ < YZth2 (13)XT<XTth (14)YT<YTth (15)XR<XRth (16)YR<YRth
(17) |XR-YR| < ADRth 這里，XZ表示相機工作的X方向上的變焦分量，并且YZ表示相機工作的Y方向上 的變焦分量。此外，XT表示相機工作的X方向上的平移分量，并且YT表示相機工作的Y方 向上的平移分量。此外，XR表示相機工作的X方向上的旋轉(zhuǎn)分量，并且YR表示相機工作的 Y方向上的旋轉(zhuǎn)分量。此外，XZthl、 XZth2、 YZthl、 YZth2、 XTth、 YTth、 XRth、 YRth和ADRth
表示閾值。 例如，值0. 7到0. 9可設(shè)置為閾值XZthl和YZthl。此夕卜，例如，值1. 1到1. 3可設(shè) 置為閾值XZth2和YZth2。此外，例如，值W/20到W/5可設(shè)置為閾值XTth。注意，W是指示 要處理的圖像的水平方向上的像素的數(shù)量的值。此外，例如，值H/20到H/5可設(shè)置為閾值 YTth。注意，H是指示要處理的圖像的垂直方向上的像素的數(shù)量的值。此外，例如，3度到5 度可設(shè)置為閾值XRth和YRth。此外，例如，O. 5度到1. 0度可設(shè)置為閾值A(chǔ)DRth。
在基于可靠度確定分數(shù)提取的圖像合成目標部分候選中包括的每個幀的相機工 作的每個分量滿足條件(11)到(17)的情況下，確定是否滿足條件(2)和(3)。另一方面， 在圖像合成目標部分候選中包括的每個幀的相機工作的每個分量不滿足條件(11)到(17) 的情況下，其圖像合成目標部分候選不被確定為圖像合成目標部分。 圖25是以時間序列方式圖示用通過根據(jù)本發(fā)明第一實施例的相機工作檢測單元 120計算的仿射變換參數(shù)計算的積分變焦分量的圖。在圖25中，(a)使用矩形示意性圖示 用作積分變焦分量計算目標的幀。注意，圖25(a)中示出的幀l到15與圖24(a)中所示的 幀相同。 在圖25中，(b)圖示表示對于每幀、關(guān)于圖25(a)中所示的幀1到15計算的水平 方向(X方向)上的積分變焦分量的曲線圖。在圖25(b)所示的曲線圖的情況下，水平軸是 指示成像的時間點的軸，并且垂直軸是指示關(guān)于每幀計算的積分變焦分量的值的軸。該積 分變焦分量是通過將與從參考幀到目標幀的每幀相關(guān)的仿射變換參數(shù)的仿射矩陣相乘計 算的仿射矩陣的變焦分量的值?，F(xiàn)在，設(shè)與參考幀相關(guān)的仿射變換參數(shù)是單位矩陣的值。具 體地，參考幀的積分變焦分量的值是1. O，并且目標幀的積分變焦分量的值是關(guān)于參考幀的 相對值。此外，該積分變焦分量關(guān)于相機工作的X方向上的變焦分量和Y方向上的變焦分 量計算。注意，在圖25所示的示例的情況下，關(guān)于X方向上的變焦分量計算的積分變焦分 量圖示為示例。 在圖25(b)所示的曲線圖的情況下，關(guān)于每幀計算的積分變焦分量用白色圓圈圖 示。此外，在指示關(guān)于圖像合成目標部分候選500中包括的每幀計算的積分變焦分量的白 色圓圈中，對應(yīng)于頂部幀的白色圓圈圖示為積分變焦分量501。此外，在指示關(guān)于圖像合成 目標部分候選500中包括的每幀計算的積分變焦分量的白色圓圈中，指示最大值的白色圓 圈圖示為積分變焦分量502，并且指示最小值的白色圓圈圖示為積分變焦分量503。注意， 圖25(b)所示的曲線圖的水平軸指示根據(jù)成像的時間點的每個幀號。此外，在圖25(b)所 示的曲線圖的垂直軸的情況下，指示最大值的積分變焦分量502的值圖示為M2，并且指示 最小值的積分變焦分量503的值圖示為Ml。 現(xiàn)在，用于條件(2)的變焦率是指示積分變焦分量的最大值和最小值之間的比率 的值。該條件(2)基于關(guān)于圖像合成目標部分候選中包括的每幀的變焦率是否包括在一定 范圍內(nèi)而確定。該一定范圍可以是例如低于閾值XZth2的范圍，如下所示。
29
XZml/XZm2 < XZth2 這里，XZml是關(guān)于圖像合成目標部分候選中包括的每幀計算的X方向上的積分變 焦分量的最大值，并且XZm2是其積分變焦分量的最小值。注意，例如，值1. 5到3. 0可設(shè)置 為閾值XZth2 。此外，關(guān)于Y方向上的變焦分量計算的變焦率可基于下面的表達式是否滿足 而確定。 YZml/YZm2 < YZth2 這里，YZml是關(guān)于圖像合成目標部分候選中包括的每幀計算的Y方向上的積分變 焦分量的最大值，并且YZm2是其積分變焦分量的最小值。注意，例如，值1. 5到3. 0可設(shè)置 為閾值YZth2。 在關(guān)于滿足條件(11)到(17)的圖像合成目標部分候選中包括的每幀計算的X方 向和Y方向上的變焦率滿足條件(2)的情況下，確定是否滿足條件(3)。另一方面，關(guān)于圖 像合成目標部分候選中包括的每幀計算的X方向和Y方向上的變焦率不滿足條件(2)，其圖 像合成目標部分候選不確定為圖像合成目標部分。 圖26是以時間序列方式圖示用通過根據(jù)本發(fā)明第一實施例的相機工作檢測單元 120計算的仿射變換參數(shù)計算的積分平移分量的圖。在圖26中，(a)使用矩形示意性圖示 用作積分平移分量計算目標的幀。注意，圖26(a)中示出的幀l到15與圖24(a)中所示的 幀相同。 在圖26中，(b)圖示表示對于每幀、關(guān)于圖26(a)中所示的幀1到15計算的水平 方向(X方向)上的積分平移分量的曲線圖。在圖26(b)所示的曲線圖的情況下，水平軸是 指示成像的時間點的軸，并且垂直軸是指示關(guān)于每幀計算的積分平移分量的值的軸。該積 分平移分量是通過將與從參考幀到目標幀的每幀相關(guān)的仿射變換參數(shù)的仿射矩陣相乘計 算的仿射矩陣的平移分量的值?，F(xiàn)在，設(shè)與參考幀相關(guān)的仿射變換參數(shù)是單位矩陣的值。具 體地，參考幀的積分平移分量的值是0. 0，并且目標幀的積分平移分量的值是關(guān)于參考幀的 相對值。此外，該積分平移分量關(guān)于相機工作的X方向上的平移分量和Y方向上的平移分 量計算。注意，在圖26所示的示例的情況下，關(guān)于X方向上的平移分量計算的積分平移分 量圖示為示例。 在圖26(b)所示的曲線圖的情況下，關(guān)于每幀計算的積分平移分量用白色圓圈圖 示。此外，指示關(guān)于圖像合成目標部分候選500中包括的每幀計算的積分平移分量的白色 圓圈用粗線圖示。注意，圖26(b)所示的曲線圖的水平軸指示根據(jù)成像的時間點的每個幀 號。此外，在圖25(b)所示的曲線圖的垂直軸的情況下，指示用于條件(a)的閾值XTth2 和-XTth2。 這里，基于水平方向或垂直方向上的運動量是否等于或大于一定像素數(shù)而確定條 件(3)。具體地，基于搖動和傾斜的至少一個是否相對大而進行確定。例如，如下所示，基于 積分平移分量XT1的絕對值是否超過閾值XTth2而進行確定。
|XT11 > XTth2 這里，例如，值3W到10W可設(shè)置為閾值XTth2。注意，W是指示圖像的水平方向上 的像素數(shù)的值。此外，關(guān)于Y方向的積分平移分量YT1，也可基于是否滿足下面的表達式而 進行確定。 |YT11 > YTth2
這里，例如，值3H到10H可設(shè)置為閾值YTth2。注意，H是指示圖像的垂直方向上 的像素數(shù)的值。 例如，在圖26所示的示例的情況下，關(guān)于圖像合成目標部分候選500中包括的幀 12和13計算的X方向上的積分平移分量的值超過閾值XTth2。也就是說，在圖26所示的 示例的情況下，關(guān)于圖像合成目標部分候選500中包括的每個幀計算的X方向上的積分平 移分量的絕對值超過閾值XTth2，因此，確定滿足條件(3)。此外，即使在關(guān)于圖像合成目標 部分候選500中包括的每個幀計算的Y方向上的積分平移分量的絕對值超過閾值XTth2的 情況下，也確定滿足條件(3)。因此，通過部分選擇單元160選擇確定為滿足條件(3)的圖 像合成目標部分候選作為圖像合成目標部分。另一方面，在關(guān)于其圖像合成目標部分候選 中包括的每個幀計算的X方向上的積分平移分量和Y方向上的積分平移分量都不滿足條件 (3)的情況下，其圖像合成目標部分候選不被確定為圖像合成目標部分。
在上述示例的情況下，關(guān)于滿足條件(1)和(4)的圖像合成目標部分候選中包括 的每個幀確定是否滿足條件(11)到(17)。隨后，關(guān)于滿足條件(11)和(17)的圖像合成目 標部分候選中包括的每個幀確定是否滿足條件(2)和(3)。然而，這些確定可以以不同順序 進行。此外，在條件(1)到(4)以及條件(11)到(17)中，可省略確定條件之一。此外，例 如，可使用關(guān)于圖像合成目標部分候選中包括的每個幀的另一確定條件選擇圖像合成目標 部分。例如，可利用積分旋轉(zhuǎn)分量，將旋轉(zhuǎn)率小設(shè)為確定條件。 由此選擇的圖像合成目標部分中包括的所有幀用于創(chuàng)建合成圖像。然而，例如，可 以預(yù)期，可通過創(chuàng)建合成圖像將通過運動畫面的簡單回放不能體驗的經(jīng)驗提供給用戶，其 中在相同成像位置處、在相對廣的范圍的空間上成像的多個靜態(tài)圖像被結(jié)合在一起。也就 是說，可向用戶提供通過從運動畫面的回放不能體驗的、由靜態(tài)圖像構(gòu)成的全景式合成圖 像(例如，其中照片結(jié)合在一起的圖像)。因此，在本發(fā)明第一實施例的情況下，從圖像合成 目標部分中包括的每個幀進一步選擇用于合成圖像的創(chuàng)建的幀?，F(xiàn)在，在本發(fā)明第一實施 例的情況下，將描述這樣的示例，其中在圖像合成目標部分優(yōu)選地選擇包括面部的圖像，該 圖像選擇最前面的幀，另一幀基于與該最前面的幀的重疊率而選擇。此外，在存在多個包括 面部的圖像的情況下，在多個面部中，可將具有指示笑臉程度的最高面部表情評估值(笑 臉分數(shù))的圖像選擇為最前面的幀。注意，除了面部表情評估值以外的模糊條件評估值等 可用于確定。 圖27A和27B是以時間序列方式示意性圖示通過根據(jù)本發(fā)明第一實施例的部分選 擇單元160選擇的圖像合成目標部分中包括的圖像的圖。圖27A圖示在以靜態(tài)的狗、人和 車為被攝體、用戶已經(jīng)拍攝圖像同時在水平方向上移動相機的鏡頭的方向的情況下的圖像 的轉(zhuǎn)換。圖27B圖示在以樹和山為被攝體、用戶已經(jīng)拍攝圖像同時在水平方向上移動相機 的鏡頭的方向的情況下的圖像的轉(zhuǎn)換。注意，為了說明方便，簡化了圖27A到27B中示出的 圖像，并且放大圖示了連續(xù)兩個幀之間的運動量。 在圖27A所示的圖像511到518中，圖像512到515包括人臉。此外，設(shè)在圖像 512到515包括的臉中，關(guān)于圖像513中包括的臉計算的面部表情評估值是最高值。在通過 部分選擇單元160選擇的圖像合成目標部分中包括的圖像包括臉的情況下，合成目標圖像 選擇單元170選擇包括臉的圖像作為最前面的幀。此外，如圖27A所示，在多個圖像包括臉 的情況下，包括具有關(guān)于這些臉計算的面部表情評估值的最高值的臉的圖像被選擇為最前
31面的幀。在圖27A所示的示例的情況下，選擇圖像513。 此外，圖27B所示的圖像521到528不包括人臉。因此，在通過部分選擇單元160
選擇的圖像合成目標部分中包括的圖像不包括臉的情況下，合成目標圖像選擇單元170選
擇圖像合成目標部分中包括的圖像的時間軸上的頂部圖像作為最前面的幀。在圖27B所示
的示例的情況下，選擇對應(yīng)于圖像合成目標部分中包括的頂部幀的圖像521。 從圖像合成目標部分如此選擇的最前面的幀被取為參考幀，并且基于該參考幀選
擇另一幀。在本發(fā)明第一實施例的情況下，將關(guān)于這樣的示例進行描述，其中基于圖像合成
目標部分中包括的各圖像之間的重疊區(qū)域選擇幀。 圖28是示意性圖示在通過根據(jù)本發(fā)明第一實施例的合成目標圖像選擇單元170 選擇合成目標圖像的情況下的選擇方法的圖。在該示例的情況下，將關(guān)于這樣的情況進行 描述，其中兩個工作緩沖器用于關(guān)于最前面的幀選擇另一幀。 第一工作緩沖器531和第二工作緩沖器532是通過一位表示構(gòu)成圖像的每個像素 的工作緩沖器。也就是說，在圖像粘貼(pasted)到第一工作緩沖器531和第二工作緩沖器 532的情況下，粘貼位置的位設(shè)置為開。此外，選擇的圖像粘貼到第一工作緩沖器531作為 合成圖像，并且用作選擇確定目標的一個圖像經(jīng)歷仿射變換并粘貼到第二工作緩沖器532。 隨后，計算粘貼到第一工作緩沖器531的合成圖像和粘貼到第二工作緩沖器532的圖像之 間的重疊部分。現(xiàn)在，設(shè)計算的重疊部分的區(qū)域的面積是面積C，粘貼到第一工作緩沖器 531的合成圖像的面積是面積A，并且粘貼到第二工作緩沖器532的圖像的面積是面積B。 在此情況下，計算面積C/面積A的值和面積C/面積B的值，并且在這兩個值中，計算較大 值作為重疊率。 隨后，在計算的重疊率低于閾值的情況下，選擇其圖像。例如，60%可設(shè)置為該閾 值。其中計算的重疊率低于閾值的圖像選擇為合成目標圖像，并且還粘貼到第一工作緩沖 器531。隨后，關(guān)于下一幀執(zhí)行相同的確定處理。 例如，設(shè)選擇為最前面的幀的圖像534和接下來選擇的圖像535之間的合成圖像 已經(jīng)被粘貼到第一工作緩沖器531，如圖28 (a)所示。此外，從圖像534和535創(chuàng)建的合成圖 像的區(qū)域用實線圖示。此外，設(shè)用作確定目標的圖像536已經(jīng)粘貼到第二工作緩沖器532， 如圖28(a)所示。此外，圖像536的區(qū)域用實線矩形圖示?，F(xiàn)在，以圖28 (a)所示的、粘貼 到第一工作緩沖器531的最前面的幀(圖像534)的位置為參考，使用作確定目標的圖像經(jīng) 歷仿射變換，然后粘貼到第二工作緩沖器532。該仿射變換使用元數(shù)據(jù)存儲單元210中存儲 的仿射變換參數(shù)執(zhí)行。注意，圖28所示的示例是這樣的示例，其中在圖像536中，僅變換了 位置，而沒有變換角度和大小。 隨后，如圖28(b)所示，計算粘貼到第一工作緩沖器531的合成圖像(圖像534和 535的合成圖像)和粘貼到第二工作緩沖器532的圖像536之間的重疊部分538。注意， 圖28(b)所示的工作緩沖器范圍533是指示對應(yīng)于第一工作緩沖器531和第二工作緩沖 器532的大小的范圍。在該工作緩沖器范圍533的情況下，計算的重疊部分538用內(nèi)部有 陰影的矩形表示，并且其他圖像部分用虛線表示?，F(xiàn)在，設(shè)計算的重疊部分538的面積是面 積Cl，粘貼到第一工作緩沖器531的合成圖像(圖像534和535的合成圖像)的面積是面 積Al，并且粘貼到第二工作緩沖器532的圖像536的面積是面積Bl。在此情況下，面積Al 的值大于面積Bl的值，因此，面積Cl/面積Bl的值大于面積Cl/面積Al的值。因此，面積CI/面積Bl的值被計算為重疊率。 隨后，在計算的重疊率(面積CI/面積Bl的值)低于閾值的情況下，圖像536選 擇為合成目標圖像。因此，在已經(jīng)選擇合成目標圖像的情況下，計算其中將從最前面的幀到 當前幀的仿射變換參數(shù)的仿射矩陣相乘的矩陣的值。這里，關(guān)于最前面的幀的仿射變換參 數(shù)，使用單位矩陣的值。隨后，計算的矩陣的仿射變換參數(shù)、以及選擇的合成目標圖像的幀 號和面部數(shù)據(jù)記錄在合成目標圖像元數(shù)據(jù)存儲單元270中。注意，關(guān)于選擇為最前面的圖 像的合成目標圖像，指示最前面的幀的信息與這樣的信息一起記錄在合成目標圖像元數(shù)據(jù) 存儲單元270中。 此外，在圖像536已經(jīng)選擇為合成目標圖像的情況下，如圖28(c)所示，圖像536 粘貼到第一工作緩沖器531。具體地，圖像534到536的合成圖像粘貼到第一工作緩沖器 531。隨后，如圖28(d)所示，以相同方式關(guān)于下一圖像537執(zhí)行確定處理。另一方面，在計 算的重疊率不低于閾值的情況下，圖像536不粘貼到第一工作緩沖器531。在此情況下，在 下一圖像、圖像534和535之間執(zhí)行確定處理。 注意，在該示例的情況下，通過使用兩個工作緩沖器順序計算重疊率來選擇合成 目標圖像，但是可通過僅使用存儲在元數(shù)據(jù)存儲單元210中的仿射變換參數(shù)計算重疊率來 選擇合成目標圖像。 圖29是以時間序列方式示意性圖示通過根據(jù)本發(fā)明第一實施例的部分選擇單元 160和合成目標圖像選擇單元170要確定的運動畫面的圖。在圖29中，(a)示意性圖示構(gòu) 成作為存儲在運動畫面存儲單元200中的運動畫面文件的運動畫面文件540的幀。在圖29 中，(b)圖示作為關(guān)于運動畫面文件540選擇的圖像合成目標部分組的圖像合成目標部分 組541。在圖29中，(c)圖示作為指示下述部分的面部檢測部分組的面部檢測部分組544， 在所述部分中，關(guān)于構(gòu)成運動畫面文件540的每個幀檢測面部。在圖29中，(d)圖示作為 指示下述部分的笑臉檢測部分組的笑臉檢測部分組546，在所述部分中，關(guān)于構(gòu)成運動畫面 文件540的每個幀檢測的臉確定為笑臉。在圖29中，(e)圖示在圖像合成目標部分選擇的 最前面的幀、以及作為其中以最前面的幀為參考幀搜索另一幀的方向的搜索方向548。在 圖29中，(f)圖示作為關(guān)于運動畫面文件540選擇的幀(合成目標圖像)的組的選擇幀組 554。注意，構(gòu)成運動畫面文件540的每個幀用在內(nèi)部附上幀號的矩形圖示。此外，每個部 分用內(nèi)部有陰影的矩形圖示。此外，在圖29(e)中，最前面的幀用白色圓圈表示，并且從最 前面的幀起的搜索方向用箭頭表示。 例如，設(shè)部分選擇單元160已經(jīng)關(guān)于運動畫面文件540選擇圖像合成目標部分542 和543。此外，設(shè)在圖像合成目標部分542中包括的幀中，面部檢測部分545已經(jīng)檢測到面 部。此外，設(shè)在面部檢測部分545中包括的幀中，面部表情評估值在笑臉檢測部分547處已 經(jīng)檢測為一定值或更大，并且被確定為笑臉。在該示例的情況下，設(shè)在笑臉檢測部分547中 包括的幀中，具有最高面部表情評估值的幀為幀h。在此情況下，幀h在圖像合成目標部分 542處被選擇為最前面的幀549。隨后，幀選擇處理朝作為時間軸上的前端搜索方向的搜索 方向550和作為時間軸上的后端搜索方向的搜索方向551執(zhí)行。該選擇方法與圖28所示 的選擇方法相同。在此情況下，例如，設(shè)已經(jīng)選擇幀g+2， . . . ， h， . . . ， h+m， . . . ， i。
此外，設(shè)在圖像合成目標部分543中包括的每個幀沒有檢測面部。在此情況下， 在圖像合成目標部分543中包括的幀中，時間軸上的最前端的幀j+l被選擇為最前面的幀552。隨后，朝向作為時間軸上的后端的搜索方向的搜索方向553選擇幀。該選擇方法與圖 28所示的選擇方法相同。在此情況下，例如，設(shè)已經(jīng)選擇幀j+l， . . . ， j+n， . . . ， k-3。
因此，關(guān)于單個運動畫面文件選擇單個或多個圖像合成目標部分，并且從其圖像 合成目標部分選擇多個幀。使用由此選擇的多個幀創(chuàng)建合成圖像。 因此，選擇的圖像合成目標部分中的標識號、以及選擇的每個幀號以相關(guān)方式存 儲在合成目標圖像元數(shù)據(jù)存儲單元270中。同時地，計算的仿射變換參數(shù)、指示最前面的幀 的最前面的幀信息、以及作為與關(guān)于幀檢測的面部相關(guān)的數(shù)據(jù)的面部數(shù)據(jù)以相關(guān)方式記錄 在合成目標圖像元數(shù)據(jù)存儲單元270中。合成圖像可使用在合成目標圖像元數(shù)據(jù)存儲單元 270中存儲的每條信息通過用戶操作而顯示。例如，可以顯示在圖像合成目標部分542選 擇的幀g+2，. . . ， h，. . . ， h+m，. . . ， i的合成圖像。此外，可以顯示在圖像合成目標部分543 選擇的幀j+l， ， j+n， ， k-3的合成圖像。 現(xiàn)在，例如，在構(gòu)成運動畫面的多個幀中包括面部的情況下，并且在關(guān)于每個面部
計算的每個面部表情評估值低于一定值的情況下，可使用面部檢測信息中包括的位置和大
小選擇最前面的幀。例如，可將這樣的圖像選擇為最前面的幀，其中檢測的面部的位置向中
心偏移，并且其大小相對大。 圖像合成示例 接下來，示出關(guān)于通過相機實際成像的運動畫面而選擇的合成目標圖像、以及合 成目標圖像的合成示例。 圖30是圖示關(guān)于通過相機成像的運動畫面選擇的合成目標圖像的示例的圖。圖 30圖示在對以包括巖石的山坡為背景站立的女士成像、同時移動相機的情況下、關(guān)于運動 畫面選擇的圖像561到568。設(shè)以對應(yīng)于時間軸上的前端的幀的圖像為圖像561，沿箭頭方 向按時間序列對該運動畫面成像。此外，設(shè)用作被攝體的女士的位置大致在圖像的中心，并 且用作笑臉的圖像566已經(jīng)選擇為最前面的幀。 圖31和32是圖示通過根據(jù)本發(fā)明第一實施例的圖像合成單元220創(chuàng)建的合成圖 像的轉(zhuǎn)換的圖。圖31和32所示的圖像571到578是這樣的圖像，其中將白框添加到圖30 所示的圖像561到568的外圍，并且與圖像561到568相同，除了為其附加了白框。
例如，以選擇為最前面的幀的圖像576作為參考，使用與其他圖像561到575、577 和568相關(guān)的仿射變換參數(shù)計算要關(guān)于圖像571到578創(chuàng)建的合成圖像的大小?；谌绱?計算的合成圖像的大小，計算最前面幀的位置和大小。隨后，基于最前面的幀的位置和大 小，使其他圖像順序經(jīng)歷仿射變換，并且在圖像存儲器230中合成。例如，如圖31(a)到(d) 所示，并且在圖32(a)中，在同一圖像合成目標部分選擇的幀中，以時間序列順序合成最前 面的圖像的頂部幀到緊接在前面的幀。也就是說，順序合成圖像571到575。隨后，例如， 如圖32(b)和(c)所示，在同一圖像合成目標部分選擇的幀中，以時間序列順序合成最前面 的幀的最后幀到緊接在前面的幀。也就是說，順序合成圖像577和578。隨后，例如，如圖 32(d)所示，合成在同一圖像合成目標部分選擇的最前面的圖像576。因此，從關(guān)于在同一 圖像合成目標部分選擇的每個幀的頂部幀和最后幀的每個重疊圖像，并且最終，選擇為最 前面的幀的圖像重寫在其上。因此，選擇為最前面的幀的圖像在頂端顯示，從而可以創(chuàng)建清 楚合成的圖像。 因此，在合成目標圖像元數(shù)據(jù)存儲單元270中存儲的元數(shù)據(jù)文件用于合成構(gòu)成運動畫面的部分圖像，從而可以創(chuàng)建表示在其運動畫面中包括的一個場景的全景式合成圖 像。在此情況下，將白框添加到滿足一定條件的幀，以不使用構(gòu)成運動畫面的所有連續(xù)幀來 合成幀，從而可顯示合成圖像使得照片連結(jié)在一起。在此情況下，可以提供與在普通運動畫 面回放時觀看的圖像完全不同的令人感興趣的圖像。此外，可關(guān)于運動畫面中包括的每個 場景自動顯示全景式合成圖像，從而用戶可以容易地理解其運動畫面是否包括何種場景。 此外，可選擇性地顯示成像的場景，從而可將重要的圖像提供給用戶。此外，人的笑臉圖像 取為最前面的圖像，并且基于該圖像選擇用作合成目標的另一圖像，從而可提供全景合成 圖像，使得將重點給予其笑臉的人。 到目前已經(jīng)示出了這樣的示例，其中選擇為最前面的幀的圖像以重寫方式合成在 頂部，但是例如，如接下來的附圖所示，可通過用戶選擇按照時間點順序，以重寫方式合成。 圖33是通過根據(jù)本發(fā)明第一實施例的圖像合成單元220創(chuàng)建的合成圖像的另一 合成示例。在圖33中，(a)圖示顯示方法選擇屏幕580，其用于選擇通過圖像合成單元220 創(chuàng)建的合成圖像的顯示方法，并且顯示在顯示單元250上。選取(check)字段581和582、 "全景式合成圖像顯示"按鈕583、以及"取消"按鈕584提供給顯示方法選擇屏幕580。 如圖31和32所示，選取字段581是用于選擇其中最前面的幀重疊并合成在頂部 并且顯示的顯示方法的選取字段。如圖33(b)所示，選取字段582是用于選擇其中每幀合 成并顯示同時以時間序列順序重疊的顯示方法的選取字段。使用光標585來執(zhí)行將選取標 記添加到這些選取字段的操作輸入。"全景式合成圖像顯示"按鈕583是在顯示單元250上顯示合成圖像時按下的按 鈕。也就是說，在將選取標記添加到選取字段581和582之一后，使用光標585按下"全景 式合成圖像顯示"按鈕583，從而順序顯示通過已經(jīng)向其添加選取標記的合成方法合成的圖 像。"取消"按鈕584是在消除添加到選取字段581和582之一的選取標記的情況下要 按下的按鈕。 例如，在選取標記添加到選取字段581的狀態(tài)下已經(jīng)按下"全景式合成圖像顯示" 按鈕583的情況下，如圖32和33所示，順序合成最前面的幀的兩側(cè)的幀，并且最前面的幀 重疊并合成在頂部。此外，在選取標記添加到選取字段582的狀態(tài)下已經(jīng)按下"全景式合成 圖像顯示"按鈕583的情況下，如圖33(b)所示，每個幀通過以時間序列順序重疊而合成并 顯示。 在圖33中，(b)圖示圖像571到578已經(jīng)以時間序列順序合成。注意，圖571到 578與圖31和32所示的圖像571到578相同。因此，在以時間序列順序合成圖像的情況 下，可參照顯示的合成圖像清楚地理解成像的時間。然而，例如，下一圖像重寫到在選擇為 最前面的幀的圖像576中包括的人附近的區(qū)域上，存在該人可能被隱藏的可能性。因此，例 如，使用與圖像576相關(guān)的合成目標圖像元數(shù)據(jù)存儲單元270中存儲的面部數(shù)據(jù)，從而可防 止其他圖像重疊到距面部區(qū)域的一定范圍上。 在圖33中，(c)示意性圖示圖像重寫在距對應(yīng)于最前面的幀的圖像576中包括的 面部區(qū)域586 —定范圍(例如，距離L1)內(nèi)的情況。例如，如圖33(c)所示，在圖像571到 578以時間序列正常地合成的情況下，圖像577重寫在距圖像576中包括的面部區(qū)域586距 離L1內(nèi)。因此，如圖33(c)所示，圖像577在箭頭方向587移動，以便距圖像576中包括的面部區(qū)域586分開距離LI或更多。因此，在移動最前面的圖像的上端重疊的圖像的情況下， 移動的圖像之后的圖像也移動相同距離。也就是說，圖像578被移動與圖像577相同的距 離。因此，例如，如圖33(c)所示，看到圖像576中包括的人臉的周圍，從而可進一步欣賞合 成圖像。 此外，可進行這樣的安排，其中預(yù)先創(chuàng)建并存儲與單個或多個運動畫面有關(guān)的合 成圖像，基于用戶的操作顯示由此存儲的每個合成圖像。替代地，可進行這樣的安排，其中 預(yù)先對每個圖像順序地存儲合成圖像的合成轉(zhuǎn)換，順序顯示這樣的轉(zhuǎn)換。
圖像處理裝置的操作示例 接下來，將參照附圖描述根據(jù)本發(fā)明第一實施例的圖像處理裝置100的操作。
圖34是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置100的合成目標圖像元 數(shù)據(jù)記錄處理的過程的流程圖。 首先，部分選擇單元160執(zhí)行部分提取處理(步驟S930)。將參照圖35詳細描述 該部分選擇處理。隨后，合成目標圖像選擇單元170執(zhí)行幀選擇處理(步驟S950)。將參照 圖36描述該幀選擇處理。注意，步驟S930和S950是發(fā)明內(nèi)容中所指的選擇過程的示例。
圖35是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置100的合成目標圖像元 數(shù)據(jù)記錄處理的過程中包括的部分提取過程(圖34中所示的步驟S930中的過程)的流程 圖。 首先，變量t初始化為"1"(步驟S931)，并且將構(gòu)成運動畫面文件的幀t設(shè)置為 參考幀(步驟S932)。隨后，從元數(shù)據(jù)存儲單元210中存儲的元數(shù)據(jù)文件獲得與幀t對應(yīng)的 仿射變換參數(shù)和可靠度確定分數(shù)(步驟S933)。 隨后，計算從參考幀到幀t過去的時間T (步驟S934)，并且確定過去的時間T是否 超過閾值TM1 (步驟S935)。在過去的時間T超過閾值TM1的情況下(步驟S935)，流程進 行到步驟S946。另一方面，在過去的時間T未超過閾值TM1的情況下(步驟S935)，確定與 幀t對應(yīng)的可靠度確定分數(shù)SHS是否超過閾值TH1 (步驟S936)。在與幀t對應(yīng)的可靠度確 定分數(shù)SHS超過閾值TH1的情況下(步驟S936)，從與幀t對應(yīng)的仿射變換參數(shù)計算相機 工作的每個分量(步驟S937)。隨后，確定是否相機工作的分量的所有值都包括在閾值的 范圍內(nèi)(步驟S938)。在相機工作的分量的所有值都包括在閾值的范圍內(nèi)的情況下(步驟 S938)，計算與從參考幀到幀t的每個幀對應(yīng)的變焦率(步驟S939)。 隨后，確定計算的變焦率是否包括在閾值的范圍內(nèi)(步驟S940)。在計算的變焦 率包括在閾值的范圍內(nèi)的情況下(步驟S940)，計算對應(yīng)于參考幀到幀t的每個幀的運動 量(積分平移分量)(步驟S941)。隨后，確定計算的運動量是否包括在閾值的范圍內(nèi)(步 驟S942)。在計算的運動量包括在閾值的范圍內(nèi)的情況下(步驟S942)，確定幀t是否是構(gòu) 成要處理的運動畫面的幀中的最后的幀(步驟S943)。在幀t不是最后的幀的情況下(步 驟S943)，對變量t加"l"，其中重復(fù)部分選擇處理。另一方面，在幀t是最后的幀的情況下 (步驟S943)，部分選擇處理結(jié)束。 此外，在與幀t對應(yīng)的可靠度確定分數(shù)SHS沒有超過閾值THl的情況下(步驟 S936)，或在不是相機工作的變量的所有值都包括在閾值的范圍內(nèi)的情況下(步驟S938)， 流程進行到步驟S945。此外，在計算的變焦率不包括在閾值的范圍內(nèi)的情況下(步驟 S940)，或在計算的運動量不包括在閾值的范圍內(nèi)的情況下(步驟S942)，流程進行到 驟S945。 隨后，確定過去的時間T是否低于圖像合成目標部分范圍TM2(步驟S945)。在過 去的時間T不低于圖像合成目標部分范圍TM2的情況下(步驟S945)，從參考幀到幀t的部 分選擇為圖像合成目標部分(步驟S946)。另一方面，在過去的時間T低于圖像合成目標 部分范圍TM2的情況下(步驟S945)，對變量t加"1"(步驟S947)，并且流程返回到步驟 S932，其中重復(fù)部分選擇處理。 圖36是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置100的合成目標圖像元 數(shù)據(jù)記錄處理的過程中包括的幀選擇過程(圖34所示的步驟S950中的過程)的流程圖。
首先，從元數(shù)據(jù)存儲單元210中存儲的元數(shù)據(jù)文件獲得與通過部分選擇單元160 選擇的圖像合成目標部分之一中包括的每個幀對應(yīng)的仿射變換參數(shù)、面部檢測信息、和面 部表情評估值(步驟S951)。隨后，使用與獲得的圖像合成目標部分中包括的每個幀對應(yīng)的 仿射變換參數(shù)計算用于合成與每個幀對應(yīng)的圖像的大小，并且確保具有該大小的兩個工作 緩沖器(步驟S952)。 隨后，基于獲得的面部檢測信息確定面部是否包括在與用作選擇目標的圖像合成 目標部分中包括的每個幀對應(yīng)的圖像中(步驟S953)。在面部包括在對應(yīng)于每個幀的圖 像中的情況下(步驟S953)，具有對應(yīng)于包括面部的圖像的面部表情評估值的最高值的圖 像被選擇為最前面的幀(步驟S954)。另一方面，在面部不包括在對應(yīng)于每個幀的圖像的 情況下(步驟S953)，圖像合成目標部分中包括的幀的頂部幀被選擇為最前面的幀(步驟 S955)。 隨后，選擇的最前面的幀粘貼到第一工作緩沖器(步驟S956)，并且將與選擇的最 前面的幀相關(guān)的每條元數(shù)據(jù)記錄在合成目標圖像元數(shù)據(jù)存儲單元270中(步驟S957)。隨 后，計算選擇的最前面的幀、以及與最前面的幀的各方向之一鄰近的幀之間的重疊率(步 驟S958)。也就是說，用作重疊率計算目標的幀粘貼到第二工作緩沖器，并且計算關(guān)于粘貼 到第一工作緩沖器的最前面的幀的重疊率。 隨后，確定計算的重疊率是否低于閾值(步驟S959)。在計算的重疊率低于閾值的 情況下(步驟S959)，選擇用作重疊率計算目標的幀，并且將選擇的幀粘貼到第一工作緩沖 器(步驟S960)。隨后，與選擇的幀相關(guān)的每條元數(shù)據(jù)記錄在合成目標圖像元數(shù)據(jù)存儲單元 270中(步驟S961)，并且流程進行到步驟S962。 另一方面，在計算的重疊率不低于閾值的情況下(步驟S959)，確定是否已經(jīng)完成 關(guān)于用作選擇目標的圖像合成目標部分中包括的每個幀的重疊率的計算(步驟S962)。在 沒有完成關(guān)于每個幀的重疊率的計算的情況下(步驟S962)，計算與緊接在之前已經(jīng)計算 其重疊率的幀相鄰的幀的重疊率(步驟S964)。也就是說，將用作重疊率計算目標的幀粘貼 到第二工作緩沖器，并且計算關(guān)于粘貼到第一工作緩沖器的合成圖像的重疊率。注意，在緊 接在之前已經(jīng)計算其重疊率的幀是圖像合成目標部分的頂部幀或最后幀的情況下，計算與 最前面的幀的其他方向相鄰的幀的重疊率。 在已經(jīng)完成關(guān)于用作選擇目標的圖像合成目標部分中包括的每個幀的重疊率的 計算的情況下(步驟S962)，確定是否已經(jīng)關(guān)于由部分選擇單元160選擇的所有圖像合成目 標部分完成幀選擇處理(步驟S963)。在沒有關(guān)于所有圖像合成目標部分完成幀選擇處理 的情況下(步驟S963)，流程返回到步驟S951，其中重復(fù)幀選擇處理(步驟S951到S964)。
37另一方面，在關(guān)于所有圖像合成目標部分完成幀選擇處理的情況下(步驟S963)，幀選擇處 理的操作結(jié)束。 圖37是圖示通過根據(jù)本發(fā)明第一實施例的圖像處理裝置100的合成圖像顯示處 理的過程的流程圖。在該示例的情況下，最前面的幀重疊并合成在頂端。此外，在本示例的 情況下，將關(guān)于這樣的示例進行描述，其中順序顯示與存儲在運動畫面存儲單元200中的 運動畫面文件相關(guān)的合成圖像。 首先，文件獲得單元180獲得存儲在合成目標圖像元數(shù)據(jù)存儲單元270中存儲的 每條元數(shù)據(jù)(步驟S970)。隨后，文件獲得單元180解碼對應(yīng)于獲得的每條元數(shù)據(jù)的運動 畫面文件，并且獲得構(gòu)成運動畫面文件的每個幀(步驟S971)。隨后，使用用作合成目標的 獲得的圖像合成目標部分之一的元數(shù)據(jù)中包括的每個仿射變換參數(shù)，計算用于合成對應(yīng)于 每幀的圖像的大小，并且在圖像存儲器230中確保具有該大小的工作緩沖器(步驟S972)。 此外，基于由此計算的合成圖像的大小，計算最前面的幀的位置和大小。
隨后，基于獲得的元數(shù)據(jù)中包括的最前面的幀信息確定最前面的幀是否是在圖像 合成目標部分處的頂部幀(步驟S973)。在最前面的幀是在圖像合成目標部分處的頂部幀 的情況下(步驟S973)，在獲得的元數(shù)據(jù)中包括的每個幀中，以幀號的升序提取圖像(步驟 S974)。 隨后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng) 歷仿射變換(步驟S975)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的 外圍，并且將已經(jīng)對其添加白框的圖像保持在圖像存儲器230中(步驟S976)。也就是說， 關(guān)于圖像存儲器230中存儲的歷史圖像，合成已經(jīng)對其添加白框的、經(jīng)歷仿射變換的圖像。 注意，在第一圖像的情況下，僅其圖像保持在圖像存儲器230中。隨后，顯示控制單元240 控制顯示單元250以顯示在圖像存儲器230處保持的合成圖像(步驟S977)。隨后，確定 在圖像存儲器230處保持的圖像是否是用作合成目標的圖像合成目標部分的最后幀(步驟 S978)。在圖像存儲器230處保持的圖像時最后幀的情況下(步驟S978)，確定是否已經(jīng)關(guān) 于所有圖像合成目標部分完成合成圖像顯示處理(步驟S979)。在沒有關(guān)于所有圖像合成 目標部分完成合成圖像顯示處理的情況下(步驟S979)，流程返回到步驟S972，其中重復(fù)合 成圖像顯示處理(步驟S972到S978和S980)。另一方面，在已經(jīng)關(guān)于所有圖像合成目標部 分完成合成圖像顯示處理的情況下(步驟S979)，合成圖像顯示處理的操作結(jié)束。
此外，在最前面的幀不是圖像合成目標部分處的頂部幀的情況下(步驟S973)，執(zhí) 行圖像合成處理(步驟S980)。將參照圖38詳細描述該圖像合成處理。
圖38是圖示在通過根據(jù)本發(fā)明第一實施例的圖像處理裝置100的合成圖像顯示 處理的過程中包括的圖像合成過程(圖37中所示的步驟S980中的過程)的流程圖。在該 示例的情況下，在從圖像合成目標部分的頂部幀朝最前面的幀執(zhí)行圖像合成之后，從最后 的幀朝最前面的幀執(zhí)行圖像合成，并且最終合成最前面的幀。 首先，在獲得的元數(shù)據(jù)中包括的每幀中，以幀號的升序提取圖像(步驟S981)。隨 后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng)歷仿射變換 (步驟S982)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的外圍，并且將 已經(jīng)對其添加白框的圖像保持在圖像存儲器230中(步驟S983)。也就是說，關(guān)于存儲在圖 像存儲器230中的歷史圖像合成已經(jīng)對其添加白框的、經(jīng)歷仿射變換的圖像。注意，在第一圖像的情況下，僅其圖像保持在圖像存儲器230中。隨后，顯示控制單元240控制顯示單元 250以顯示在圖像存儲器230處保持的合成圖像(步驟S984)。隨后，確定圖像存儲器230 處保持的圖像是否是用作合成目標的圖像合成目標部分處的、緊接在最前面的幀之前的幀 (步驟S985)。在圖像存儲器230處保持的圖像不是緊接在最前面的幀之前的幀的情況下 (步驟S985)，流程返回到步驟S981，其中從頂部幀到緊接在最前面的幀之前的幀重復(fù)圖像 合成處理(步驟S981到S984)。 另一方面，在圖像存儲器230處保持的圖像是緊接在最前面的幀之前的幀的情況 下(步驟S985)，在獲得的元數(shù)據(jù)中包括的每個幀中，以幀號的降序順序提取圖像(步驟 S986)。隨后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng)歷 仿射變換(步驟S987)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的外 圍，并且將已經(jīng)對其添加白框的該圖像保持在圖像存儲器230中(步驟S988)。也就是說， 關(guān)于圖像存儲器230處保持的歷史圖像合成已經(jīng)對其添加白框的、經(jīng)歷仿射變換的圖像。 隨后，顯示控制單元240控制顯示單元250顯示在圖像存儲器230處保持的合成圖像(步 驟S989)。隨后，確定圖像存儲器230處保持的圖像是否是用作合成目標的圖像合成目標部 分處的、緊接在最前面的幀之前的幀(步驟S990)。在圖像存儲器230處保持的圖像不是緊 接在最前面的幀之后的幀的情況下(步驟S990)，流程返回到步驟S986，其中從最后幀到緊 接在最前面的幀之后的幀重復(fù)圖像合成處理(步驟S986到S986)。 另一方面，在圖像存儲器230處保持的圖像是緊接在最前面的幀之前的幀的情況 下(步驟S990)，提取最前面的幀的圖像(步驟S991)。隨后，圖像變換單元190使用與最 前面的幀的提取圖像相關(guān)的仿射變換參數(shù)，以使最前面的幀的圖像經(jīng)歷仿射變換(步驟 S992)。注意，與最前面的幀相關(guān)的仿射變換參數(shù)是單位矩陣的值，因此，實際上不變換最前 面的幀的圖像。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的最前面的幀的圖像 的外圍，并且將已經(jīng)對其添加白框的圖像保持在圖像存儲器230中(步驟S993)。也就是 說，關(guān)于圖像存儲器230處保持的歷史圖像合成已經(jīng)對其添加白框的、經(jīng)歷仿射變換的圖 像。隨后，顯示控制單元240控制顯示單元250顯示在圖像存儲器230處保持的合成圖像 (步驟S994)。注意，步驟S975、 S982、 S987和S992是發(fā)明內(nèi)容中所指的圖像變換過程的 示例。此外，步驟S976、 S983、 S988和S993是發(fā)明內(nèi)容中所指的圖像合成過程的示例。此 外，步驟S977、 S984、 S989和S994是發(fā)明內(nèi)容中所指的顯示控制過程的示例。
2.第二實施例
圖像處理裝置的配置示例 在本發(fā)明第一實施例的情況下，已經(jīng)描述了這樣的示例，其中在計算與各幀之間 相關(guān)的仿射變換參數(shù)時，展現(xiàn)支配運動的特征點的比率計算為可靠度確定分數(shù)。下面將參 照附圖關(guān)于這樣的示例詳細進行描述，其中使用另一計算方法計算可靠度確定分數(shù)。這里， 根據(jù)本發(fā)明第二實施例的功能配置通常與圖像處理裝置100的功能配置相同，除了圖1所 示的圖像處理裝置100中包括的相機工作檢測單元120不同。因此，除相機工作檢測單元 120以外的配置將用與本發(fā)明第一實施例中的參考標號相同的參考標號表示，并且將僅描 述具有不同功能的配置，而將省略其他描述。 圖39是圖示根據(jù)本發(fā)明第二實施例的相機工作檢測單元125的功能配置示例的 框圖。相機工作檢測單元125包括特征點計算單元121、光流計算單元122、相機工作參數(shù)計算單元123和可靠度確定分數(shù)計算單元126。這里，特征點計算單元121、光流計算單元 122和相機工作參數(shù)計算單元123與圖2所示的相機工作檢測單元120中的那些相同。因 此，下面將以可靠度確定分數(shù)計算單元126為中心進行描述。此外，在該示例的情況下，將 關(guān)于這樣的示例進行描述，其中使用連續(xù)兩個幀的重疊區(qū)域中包括的各像素之間的輝度差 值來計算可靠度確定分數(shù)。 可靠度確定分數(shù)計算單元126使用從相機工作參數(shù)計算單元123輸出的相機工作
參數(shù)，以計算與構(gòu)成從運動畫面輸入單元110輸出的運動畫面的連續(xù)兩個幀相關(guān)的可靠度
確定分數(shù)，并且將計算的可靠度確定分數(shù)輸出到記錄控制單元150。注意，將參照圖40詳細
描述可靠度確定分數(shù)計算。 可靠度確定分數(shù)計算示例 圖40是圖示在通過根據(jù)本發(fā)明第二實施例的可靠度確定分數(shù)計算單元126計算 可靠度確定分數(shù)時的計算方法的概述的圖。圖40圖示之前的幀590和時間軸上的隨后的 幀，作為構(gòu)成運動畫面的連續(xù)兩個幀。此外，圖40(a)圖示其中以幀590作為參考使幀591 經(jīng)歷仿射變換、并且仿射變換后的幀591關(guān)于幀590重疊的情況。此外，幀590和591之間 的重疊區(qū)域592的范圍用粗線表示。在圖40中，(b)圖示圖40(a)中示出的幀590，并且圖 40(c)圖示圖40(a)中示出的幀591。此外，設(shè)幀590和591中包括的正方形指示構(gòu)成每個 幀的像素。注意，圖40(b)和(c)僅使用正方形圖示重疊區(qū)域592中包括的像素。
在可靠度確定分數(shù)計算單元126計算可靠度確定分數(shù)的情況下，首先，關(guān)于構(gòu)成 從運動畫面輸入單元110輸出的運動畫面的連續(xù)兩個幀，以時間軸上的之前的幀作為參考 幀，使隨后的幀經(jīng)歷仿射變換。該仿射變換使用從相機工作參數(shù)計算單元123輸出的相機 工作參數(shù)執(zhí)行(與之前的幀(參考幀)和隨后的幀相關(guān)的仿射變換參數(shù))。隨后，可靠度確 定分數(shù)計算單元126計算在仿射變換后的重疊區(qū)域中包括的各像素之間的輝度差值的絕 對值。隨后，可靠度確定分數(shù)計算單元126計算對每個像素計算的差值的絕對值的總值，并 且計算通過將計算的總值除以用作計算目標的像素數(shù)獲得的值，作為可靠度確定分數(shù)。
例如，如圖40(a)到(c)所示，設(shè)采用x-y坐標，其中幀590的左上角取為原點，幀 590的上側(cè)的邊取為x軸，并且?guī)?90的左側(cè)的邊取為y軸。利用該x-y坐標，例如，設(shè)幀 590的重疊區(qū)域的坐標(i，j)處的輝度值是Il(i，j)，并且?guī)?91的重疊區(qū)域的坐標(i，j) 處的輝度值是12 (i， j)。此外，如果設(shè)用于差值的計算的像素數(shù)是P皿m，則可靠度確定分數(shù) SHS1可用下面的表達式獲得
Il(i, j)—12(i， j) SHS1 二 S-
i問i2eR Pn咖 這里，R表示幀590和591之間的重疊區(qū)域。也就是說，如圖40(b)和(c)所示 的箭頭593到595，在幀590和591之間的重疊區(qū)域中包括的像素中，順序計算對應(yīng)位置處 布置的兩個像素的輝度差值的絕對值。隨后，使用這些差值的絕對值計算可靠度確定分數(shù) SHS1。 因此，通過可靠度確定分數(shù)計算單元126計算的可靠度確定分數(shù)輸出到記錄控制 單元150，并且記錄在元數(shù)據(jù)存儲單元210中。具體地，可靠度確定分數(shù)記錄在圖3B所示的 元數(shù)據(jù)文件211的可靠度確定分數(shù)217中。注意，可靠度確定分數(shù)217的記錄內(nèi)容具有與圖3B所示的情況不同的數(shù)值。此外，部分選擇單元160使用該可靠度確定分數(shù)，以基于可 靠度確定分數(shù)是否超過閾值來執(zhí)行圖像合成目標部分的選擇。例如，在可靠度確定分數(shù)低 于一定閾值的情況下，可靠度確定為高。 到目前為止已經(jīng)關(guān)于這樣的情況進行了描述，其中使用在連續(xù)兩個幀的重疊區(qū)域 中包括的所有像素計算可靠度確定分數(shù)。然而，例如，可使用與用作相機工作參數(shù)計算單元 123的仿射變換參數(shù)計算目標的特征點相關(guān)的信息計算可靠度確定分數(shù)。
圖像處理裝置的配置示例 圖41是圖示根據(jù)本發(fā)明第二實施例的相機工作檢測單元127的功能配置示例的 框圖。相機工作檢測單元127包括特征點提取單元121、光流計算單元122、相機工作參數(shù) 計算單元123和可靠度確定分數(shù)計算單元128。這里，特征點計算單元121、光流計算單元 122和相機工作參數(shù)計算單元123與圖2所示的相機工作檢測單元120中的那些相同。因 此，下面將以可靠度確定分數(shù)計算單元128為中心進行描述。此外，在該示例的情況下，將 關(guān)于這樣的示例進行描述，其中在連續(xù)兩個幀的重疊區(qū)域中包括的像素中，使用圍繞展現(xiàn) 支配運動的特征點布置的像素的輝度差值計算可靠度確定分數(shù)。 可靠度確定分數(shù)計算單元128使計算與構(gòu)成從運動畫面輸入單元110輸出的運動
畫面的連續(xù)兩個幀相關(guān)的可靠度確定分數(shù)，并且將計算的可靠度確定分數(shù)輸出到記錄控制
單元150。在該可靠度確定分數(shù)計算的情況下，使用通過相機工作參數(shù)計算單元123計算的
相機工作參數(shù)、以及用于該相機工作參數(shù)計算的特征點。注意，將參照圖42詳細描述可靠
度確定分數(shù)計算。 可靠度確定分數(shù)計算 圖42是圖示在通過根據(jù)本發(fā)明第二實施例的可靠度確定分數(shù)計算單元128計算 可靠度確定分數(shù)時的計算方法的概述的圖?，F(xiàn)在，圖42所示的幀590和591之間的關(guān)系、 以及幀590和591之間的重疊區(qū)域與圖40中的那些相同，因此，這里將省略其描述。注意， 圖42(b)和(c)使用虛線圖示重疊區(qū)域592的范圍。此外，在圖42(a)到(c)所示的重疊 區(qū)域592中包括的每個像素(用正方形表示)中，展現(xiàn)支配運動的特征點用正方形內(nèi)加單 個圓圈表示，并且其他特征點用正方形內(nèi)加兩個圓圈表示。例如，圖40(a)到(c)中所示的 重疊區(qū)域592包括展現(xiàn)支配運動的四個特征點以及其他單個特征點。在該示例的情況下， 將關(guān)于這樣的示例進行描述，其中，在重疊區(qū)域592中包括的像素中，圍繞展現(xiàn)支配運動的 四個特征點的像素(例如，八個鄰近像素)用于計算輝度差值。這里，在重疊區(qū)域592中包 括的像素中，不使用圍繞其他單個特征點的像素。此外，例如，在圍繞展現(xiàn)支配運動的四個 特征點的像素和圍繞其他單個特征點的像素共同的情況下，對一個特征點給予優(yōu)先級，并 且這些像素不用于計算。也就是說，在圖42所示的示例的情況下，區(qū)域601到608中包括 的每個像素用作可靠度確定分數(shù)計算目標。 在可靠度確定分數(shù)計算單元128計算可靠度確定分數(shù)的情況下，首先，在構(gòu)成從
運動畫面輸入單元iio輸出的運動畫面的連續(xù)兩個幀中，時間軸上的之前的幀取為參考
幀，并且隨后的幀經(jīng)歷仿射變換。該仿射變換與圖40中所示的示例相同。隨后，可靠度確 定分數(shù)計算單元128計算，在連續(xù)兩個幀中包括的像素中，在包括在仿射變換后的重疊區(qū) 域中的、展現(xiàn)支配運動的特征點周圍的像素的輝度差值的絕對值。隨后，可靠度確定分數(shù)計 算單元128計算對圍繞展現(xiàn)支配運動的特征點的每個像素計算的差值的絕對值的總值，并
41且計算通過將計算的總值除以用作計算目標的像素數(shù)獲得的值，作為可靠度確定分數(shù)。
例如，設(shè)采用x-y坐標，其中幀590的左上角取為原點，幀590的上側(cè)的邊取為x 軸，并且?guī)?90的左側(cè)的邊取為y軸。利用該x-y坐標，例如，設(shè)幀590的重疊區(qū)域的坐標 (i，j)處的輝度值是Ill(i，j)，并且?guī)?91的重疊區(qū)域的坐標(i，j)處的輝度值是I12(i， j)。此外，如果設(shè)用于差值的計算的像素數(shù)是Pl皿m，則可靠度確定分數(shù)SHS2可用下面的表 達式獲得
I I ll(i, j)-I 12(i, j) SHS2 二 S-
Ul印l,I12eRl Pl薩
這里，Rl表示在幀590和591之間的重疊區(qū)域中，圍繞展現(xiàn)支配運動的特征點的 區(qū)域(例如，八個相鄰區(qū)域)。也就是說，在圍繞展現(xiàn)支配運動的特征點的像素、以及圍繞 其他特征點的像素共同的情況下，設(shè)R1取為不包括這樣的像素的區(qū)域。也就是說，關(guān)于圖 42(b)和(c)所示的區(qū)域601到608計算在對應(yīng)位置處布置的兩個像素的輝度差值的絕對 值。隨后，使用這些差值的絕對值計算可靠度確定分數(shù)SHS2。 因此，通過可靠度確定分數(shù)計算單元128計算的可靠度確定分數(shù)輸出到記錄控制 單元150，并且記錄在元數(shù)據(jù)存儲單元210中。具體地，可靠度確定分數(shù)記錄在圖3B所示的 元數(shù)據(jù)文件211的可靠度確定分數(shù)217中。注意，可靠度確定分數(shù)217的記錄內(nèi)容具有與 圖3B所示的情況不同的數(shù)值。此外，部分選擇單元160使用該可靠度確定分數(shù)，以基于可 靠度確定分數(shù)是否超過閾值來執(zhí)行圖像合成目標部分的選擇。例如，在可靠度確定分數(shù)低 于一定閾值的情況下，可靠度可以確定為高。 到目前為止已經(jīng)關(guān)于這樣的情況進行了描述，其中使用輝度差值計算可靠度確定 分數(shù)。然而，可進行這樣的安排，其中，替代輝度差值，例如，可關(guān)于G(綠)、R(紅)和B(藍) 的每個計算差值，并且基于該差值計算可靠度確定分數(shù)。 此外，例如，可進行這樣的安排，其中將高斯濾波器應(yīng)用到對應(yīng)于連續(xù)兩個幀的圖 像，以平滑圖像，減少平滑的圖像，并且將減少的圖像的像素用于以與上面相同的方式計算 可靠度確定分數(shù)。 此外，到目前為止已經(jīng)描述了這樣的示例，其中對應(yīng)于連續(xù)兩個幀的圖像用于計 算可靠度確定分數(shù)，但是例如，相機傳感器信息可用于計算可靠度確定分數(shù)。例如，在通過 包括三維加速度傳感器和三維回轉(zhuǎn)儀傳感器的相機記錄運動畫面的情況下，從這些傳感器 輸出的傳感器信息以與運動畫面相關(guān)的方式記錄為相機運動信息。隨后，與傳感器信息相
關(guān)的運動畫面輸入到運動畫面輸入單元iio，并且計算關(guān)于構(gòu)成該運動畫面的每個幀計算
的運動信息、和用傳感器信息指定的運動信息之間的差值。隨后，該差值可用作可靠度確定
分數(shù)。在此情況下，在可靠度確定分數(shù)不超過閾值的情況下，可靠度可確定為高。也就是說，
可采用這樣的方法，其中，在使用從相機輸出的傳感器信息估計的圖像運動、和從構(gòu)成運動
畫面的圖像計算的圖像運動之間的匹配度高的情況下，可靠度確定為高。 3.第三實施例 圖像處理裝置的操作示例 在本發(fā)明第一實施例的情況下，已經(jīng)關(guān)于這樣的示例進行了描述，其中包括在圖 像中的臉或笑臉用于選擇最前面的幀。在本發(fā)明第三實施例的情況下，將參照附圖關(guān)于這樣的示例進行詳細描述，其中與臉有關(guān)的除了笑臉以外的面部狀態(tài)用于選擇最前面的幀。
圖43是圖示根據(jù)本發(fā)明第三實施例的圖像處理裝置101的功能配置示例的框圖。 圖像處理裝置101包括合成目標圖像選擇單元171、面部屬性狀態(tài)確定單元280、參考信息 存儲單元281、以及元數(shù)據(jù)存儲單元290。注意，其他功能配置與圖1中所示的圖像處理裝 置100中的那些大致相同，因此，對其指示與圖像處理裝置100的參考標號相同的參考標 號，將以具有不同功能的組件為中心進行描述，并且將省略其他描述。 合成目標圖像選擇單元171使用元數(shù)據(jù)記錄單元290中存儲的元數(shù)據(jù)，以從由部 分選擇單元160輸出的圖像合成目標部分中包括的幀選擇用于創(chuàng)建合成圖像的幀，并且將 與選擇的幀有關(guān)的合成目標圖像信息(幀選擇信息)輸出到記錄控制單元150。注意，將參 照圖45到48詳細描述合成目標圖像選擇。 面部屬性狀態(tài)確定單元280使用參考信息存儲單元281中存儲的參考信息，以確 定通過面部檢測單元130檢測的面部的屬性和狀態(tài)，并且將確定結(jié)果輸出到記錄控制單元 150。具體地，面部屬性狀態(tài)確定單元280計算指示面部圖像和參考信息存儲單元281中存 儲的各類數(shù)據(jù)之間的相關(guān)性的相關(guān)值，該面部圖像從構(gòu)成從運動畫面輸入單元110輸出的 運動畫面的圖像提取并規(guī)范化，面部屬性狀態(tài)確定單元280基于計算的相關(guān)值，確定相關(guān) 性的高度，并且提取與規(guī)范化的面部圖像相關(guān)的各種數(shù)據(jù)。這樣的提取處理重復(fù)執(zhí)行，并且 基于提取的各種數(shù)據(jù)，確定規(guī)范化的面部圖像的面部表情等。因此，為了識別人臉，可采用 這樣的技術(shù)，其與綜合了大量人臉的數(shù)據(jù)庫執(zhí)行模板匹配(例如，參見日本未審專利申請 公開No. 2003-271933，日本未審專利申請公開No. 2004-30629等)。例如，預(yù)先從大量笑臉 采樣圖像建立笑臉數(shù)據(jù)庫，從圖像部分提取的該面部圖像經(jīng)歷模板匹配處理，從而可以確 定面部是笑臉還是非笑臉。類似地，還可以關(guān)于其他屬性或狀態(tài)進行確定。注意，可使用本 發(fā)明第一實施例中所示的評估值進行確定。此外，面部屬性狀態(tài)確定單元280是
發(fā)明內(nèi)容
中所指的確定單元的示例。 參考信息存儲單元281存儲如用于性別確定的面部的各部分的參考信息，并將存 儲的參考信息提供到面部屬性狀態(tài)確定單元280。注意，將參考圖44A和44B詳細描述參考 信息存儲單元281中存儲的參考信息。 元數(shù)據(jù)存儲單元290基于記錄控制單元150的控制，以與運動畫面和幀相關(guān)的方 式，將從相機工作檢測單元120、面部檢測單元130和面部屬性狀態(tài)確定單元280輸出的各 種信息存儲為元數(shù)據(jù)文件。此外，元數(shù)據(jù)存儲單元290將元數(shù)據(jù)文件提供到部分選擇單元 160和合成目標圖像選擇單元171。注意，將參照圖44A和44B詳細描述元數(shù)據(jù)存儲單元 290中存儲的元數(shù)據(jù)文件。 圖44A和44B是示意性圖示根據(jù)本發(fā)明第三實施例、在參考信息存儲單元281和 元數(shù)據(jù)存儲單元290中存儲的內(nèi)容的圖。圖44A圖示在參考信息存儲單元281中存儲的 參考信息。該參考信息例如是圖像自身，如眼、嘴等，即，用作人臉的特征數(shù)據(jù)庫、用作與特 定人臉相關(guān)的特征數(shù)據(jù)庫等。例如，如圖44A所示，在參考信息存儲單元281中存儲性別數(shù) 據(jù)庫282、年齡數(shù)據(jù)庫283、笑臉數(shù)據(jù)庫284、閉眼數(shù)據(jù)庫285、以及人物(character)數(shù)據(jù)庫 286。性別數(shù)據(jù)庫282是用于確定面部圖像的性別的數(shù)據(jù)庫，并且年齡數(shù)據(jù)庫283是用于確 定面部圖像的年齡的數(shù)據(jù)庫。此外，笑臉數(shù)據(jù)庫284是用于確定面部圖像的面部笑臉的數(shù) 據(jù)庫，并且閉眼數(shù)據(jù)庫285是用于確定面部圖像的閉眼的數(shù)據(jù)庫。此外，人物數(shù)據(jù)庫286是用于將由用戶確定的人確定為人物的數(shù)據(jù)庫。通常，根據(jù)特征數(shù)據(jù)，與圖像自身相比，可以 以相對小的存儲容量保持大量的各種類型的數(shù)據(jù)庫。 圖44B示意性圖示與存儲在運動畫面存儲單元200中的運動畫面文件201相關(guān)地 存儲在元數(shù)據(jù)存儲單元290中的元數(shù)據(jù)文件291。注意，運動畫面文件201和元數(shù)據(jù)文件 291之間的對應(yīng)關(guān)系與圖3B所示的示例相同，因此，這里將省略其描述。運動畫面ID 292、 幀號293、仿射變換參數(shù)294、可靠度確定分數(shù)295、面部檢測信息296、性別297、年齡298、 笑臉299、閉眼287、以及人物288以相關(guān)方式存儲在元數(shù)據(jù)文件291中。注意，運動畫面ID 292、幀號293、仿射變換參數(shù)294、可靠度確定分數(shù)295和面部檢測信息296與圖3B中示出 的那些相同，因此，這里將省略其描述。 性別297是關(guān)于對應(yīng)于幀號293的圖像的每幀中包括的面部確定的性別，其中存 儲從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對應(yīng)的幀中不包括面部的情況 下，不存儲東西。例如，在對應(yīng)的幀中包括的面部被確定為男性的情況下，在性別297中存 儲"1"。另一方面，在對應(yīng)的幀中包括的面部被確定為女性的情況下，在性別297中存儲 "0"。 年齡298是關(guān)于對應(yīng)于幀號293的運動畫面的每幀中包括的面部確定的年齡，其 中存儲從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對應(yīng)的幀中不包括面部的 情況下，不存儲東西。例如，在對應(yīng)的幀中包括的面部被確定為成年人的情況下，在年齡298 中存儲"1"。另一方面，在對應(yīng)的幀中包括的面部被確定為兒童的情況下，在年齡298中存 儲"0"。 笑臉299是關(guān)于對應(yīng)于幀號293的運動畫面的每幀中包括的面部確定的是否存在 笑臉，其中存儲從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對應(yīng)的幀中不包括 面部的情況下，不存儲東西。例如，在對應(yīng)的幀中包括的面部被確定為笑臉的情況下，在笑 臉299中存儲"1"。另一方面，在對應(yīng)的幀中包括的面部被確定為非笑臉的情況下，在笑臉 299中存儲"O"。 閉眼287是關(guān)于對應(yīng)于幀號293的運動畫面的每幀中包括的面部確定的是否存在 閉眼的臉，其中存儲從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對應(yīng)的幀中不 包括面部的情況下，不存儲東西。例如，在對應(yīng)的幀中包括的面部被確定為閉眼的臉的情況 下，在閉眼287中存儲"1"。另一方面，在對應(yīng)的幀中包括的面部被確定為非閉眼的臉的情 況下，在閉眼287中存儲"O"。 人物288是關(guān)于對應(yīng)于幀號293的運動畫面的每幀中包括的面部確定的是否存在 人物，其中存儲從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對應(yīng)的幀中不包括 面部的情況下，不存儲東西。例如，在對應(yīng)的幀中包括的面部被確定為A先生的情況下，在 人物288中存儲"A"。另一方面，在對應(yīng)的幀中包括的面部被確定為B先生的情況下，在人 物288中存儲"B"。
合成目標圖像的選擇示例 圖45是圖示根據(jù)本發(fā)明第三實施例、在顯示單元250上顯示的選擇屏幕的示例的 圖。選擇部分610是其中用戶執(zhí)行選擇操作以顯示期望的合成圖像的選擇屏幕。選擇屏幕 610例如包括用于選擇性別611、年齡612、人物613、和面部表情614作為面部屬性的選取 字段。此外，選擇屏幕610包括用于選擇合成順序的合成順序615、以及用于選擇重疊率616的下拉按鈕617。此外，選擇屏幕610包括"全景式合成圖像顯示"按鈕619和"取消"按鈕 620。 例如，設(shè)利用選擇屏幕610，光標618用于對性別611的女性字段添加標記、對年 齡612的成年人字段添加標記、并且對面部表情614的笑臉字段添加標記。此外，在對人物 613的人物字段添加標記的情況下，顯示在人物數(shù)據(jù)庫286上登記的人物的姓名(例如，A 先生、B先生和C先生)，對來自這些人物的期望的姓名的字段添加標記。例如，對B先生添 加標記。此外，利用選擇屏幕610，光標618用于對合成順序615的遞增字段添加標記。此 外，光標618用于按下下拉按鈕617，從而如圖45顯示重疊率列表"高"、"中"和"低"?？?從該重疊率列表選擇期望的重疊率。這里，例如，在已經(jīng)選擇"高"的情況下，選擇60%到 70%的重疊率，并且在已經(jīng)選擇"中"的情況下，選擇60%到40%的重疊率，并且在已經(jīng)選 擇"低"的情況下，選擇40%到35%的重疊率。注意，在該示例的情況下，用戶從重疊率列 表選擇期望的重疊率，但是用戶可以直接輸入期望的重疊率。注意，不可以選擇用戶不具體 希望的項。 此外，在已經(jīng)完成通過用戶對于這些項的每個的選擇操作的情況下，用戶使用光 標618來按下"全景式合成圖像顯示"按鈕619。因此，在按下"全景式合成圖像顯示"按鈕 613時選擇的每個項目的選擇信息從操作接受單元260輸出到合成目標圖像選擇單元171。 基于該選擇信息，合成目標圖像選擇單元171執(zhí)行幀選擇處理。注意，在按下"取消"按鈕 620時，釋放每個項目的選擇狀態(tài)。 圖46是圖示通過根據(jù)本發(fā)明第三實施例的合成目標圖像選擇單元171計算選擇 確定分數(shù)使用的分數(shù)的示例的圖。選擇確定分數(shù)是用于選擇幀的值，并且基于與幀中包括 的面部相關(guān)的每條信息而計算。此外，在一個幀中包括多個面部的情況下，對每個面部計算 與這些面部相關(guān)的分數(shù)，并且將對每個面部的分數(shù)相加的值計算為選擇確定分數(shù)。此外，例 如基于如圖45所示的選擇屏幕610處選擇的項目、圖46所示的分數(shù)、和關(guān)于面部的屬性和 狀態(tài)計算選擇確定分數(shù)。使用存儲在元數(shù)據(jù)存儲單元290中的元數(shù)據(jù)作為關(guān)于面部的屬性 和狀態(tài)。 具體地，計算指示確定的面部屬性的屬性值Z1、指示確定的面部狀態(tài)的狀態(tài)值 Jl，并且將屬性值Zl和狀態(tài)值Jl相加，從而計算選擇確定分數(shù)。這里，屬性值Zl是例如用 作為面部屬性的性別621、年齡622、以及是否存在特定人623確定的值。此外，狀態(tài)值Jl 是例如用作為面部狀態(tài)的笑臉624、閉眼625、圖像內(nèi)的面部位置(距圖像中心的距離626)、 圖像內(nèi)的面部大小627確定的值。 例如，關(guān)于性別621、年齡622、以及特定人623，確定圖45所示的選擇屏幕610處 選擇的項目、以及用作選擇確定分數(shù)計算目標的圖像中包括的面部屬性是否匹配。與匹配 的項目相關(guān)的圖46所示的分數(shù)加到屬性值Zl。此外，關(guān)于笑臉624，在圖45所示的選擇屏 幕610處選擇的圖像、以及用作選擇確定分數(shù)計算目標的圖像中包括的面部狀態(tài)(笑臉) 匹配的情況下，圖46所示的分數(shù)加到狀態(tài)值Jl。此外，關(guān)于閉眼625、距圖像中心的距離 626、以及面部大小627，對應(yīng)于元數(shù)據(jù)存儲單元290中存儲的元數(shù)據(jù)的每個分數(shù)加到狀態(tài) 值Jl。隨后，計算的屬性值Zl和狀態(tài)值Jl相加，從而計算選擇確定分數(shù)。
此外，在一個幀中包括多個面部的情況下，對每個面部計算屬性值Z1和狀態(tài)值 J1，并且通過將屬性值Z1和狀態(tài)值Jl相加獲得的值計算為其圖像的選擇確定分數(shù)。注意，在該示例的情況下，在計算每個分數(shù)時將每個值相加，但是，例如可通過將每個值相乘來計 算每個分數(shù)。此外，可進行這樣的安排，其中使用對應(yīng)于面部屬性和狀態(tài)的加權(quán)系數(shù)來替代 圖46所示的每個分數(shù)，從而計算每個分數(shù)。 使用由此計算的選擇確定分數(shù)選擇最前面的圖像(最前面的幀)。也就是說，關(guān)于 通過部分選擇單元160選擇的圖像合成目標部分中包括的每個圖像計算選擇確定分數(shù)，并 且在計算的選擇確定分數(shù)中，具有最高計算值的圖像被選擇為最前面的圖像。隨后，選擇除 了最前面的幀以外的其他幀。將參照圖47A到48B詳細描述該選擇方法。
圖47A和47B是圖示在通過根據(jù)本發(fā)明第三實施例的合成目標圖像選擇單元171 執(zhí)行幀選擇的情況下的選擇方法的概述的圖。圖47A圖示在計算要與已經(jīng)選擇的幀的下端 重疊的幀的選擇確定分數(shù)的情況下的示例。例如，設(shè)幀460是選擇為最前面的幀的幀。在 以幀640作為參考幀選擇另一幀的情況下，排除關(guān)于要與幀640重寫的區(qū)域中包括的面部 的分數(shù)。例如，設(shè)在幀641中包括面部643到646的情況下，在關(guān)于最前面的幀640的重疊 區(qū)域642中包括圖像643和644的至少一部分。在此情況下，例如，在關(guān)于幀641確定需要 選擇的情況下，確定重疊區(qū)域642是否具有預(yù)定范圍內(nèi)的重疊率。設(shè)該重疊率的設(shè)置范圍 是在圖45所示的選擇屏幕610處選擇的內(nèi)容。隨后，在重疊區(qū)域642沒有預(yù)定范圍內(nèi)的重 疊率的情況下，不選擇幀641。在重疊區(qū)域642具有預(yù)定范圍內(nèi)的重疊率的情況下，關(guān)于幀 641計算選擇確定分數(shù)。在此情況下，使用與不包括在幀641中包括的面部643到646的重 疊區(qū)域642中的面部645和646相關(guān)的值計算幀641的選擇確定分數(shù)。
圖47B圖示在計算要與已經(jīng)選擇的幀的下端重疊的幀的選擇確定分數(shù)的情況下 的示例。例如，幀660是用作關(guān)于幀650的重寫合成目標的幀。因此，在以幀650作為參考 幀選擇用作關(guān)于幀650的重寫合成目標的另一幀的情況下，將與除了要關(guān)于幀650重寫的 區(qū)域以外的區(qū)域中包括的面部有關(guān)的分數(shù)相加。例如，設(shè)面部651到653包括在幀650中， 并且面部653的至少一部分包括在關(guān)于幀660的重疊區(qū)域655中。此外，設(shè)面部661至lj 664 包括在幀660中。在此情況下，例如，在關(guān)于幀660確定需要選擇的情況下，確定重疊區(qū)域 665是否具有預(yù)定范圍內(nèi)的重疊率。在確定重疊區(qū)域665沒有預(yù)定范圍內(nèi)的重疊率的情況 下，不選擇幀660。另一方面，在確定重疊區(qū)域665有預(yù)定范圍內(nèi)的重疊率的情況下，關(guān)于幀 660計算選擇確定分數(shù)。在此情況下，使用與幀660的重疊區(qū)域655中不包括的面部651、 652和661、幀650和660中包括的面部651到653、以及663和664相關(guān)的值計算幀660選 擇確定分數(shù)。也就是說，在合成兩個圖像的情況下，與用作顯示目標的區(qū)域中包括的面部相 關(guān)的值計算為選擇確定分數(shù)。 圖48A和48B是圖示在通過根據(jù)本發(fā)明第三實施例的合成目標圖像選擇單元171 執(zhí)行幀選擇的情況下的選擇方法的概述的圖。在圖48A和48B所示的示例下，將關(guān)于這樣 的情況進行描述，其中通過用戶的操作預(yù)先指定重疊序列。在該示例的情況下，在成像的時 間點從舊圖像朝向新圖像重寫合成的情況下(在按遞增順序重寫合成的情況下)的選擇方 法示出為示例。然而，設(shè)選擇為最前面的幀的圖像重寫合成在頂端。 圖48A圖示這樣的示例，其中以最前面的幀671作為參考幀，朝向搜索方向671選 擇圖像。在此情況下，在從最前面的圖像676按時間序列向回追蹤的方向執(zhí)行搜索，因此， 已經(jīng)選擇的圖像重疊在用作選擇目標的圖像上。因此，在考慮重疊區(qū)域的同時計算分數(shù)，并 且在指定的重疊率的范圍內(nèi)包括的圖像中，選擇具有最高分數(shù)的圖像。例如，設(shè)已經(jīng)以圖像676作為對應(yīng)于參考幀670的參考圖像選擇圖像675和674。在以圖像674作為參考圖像 確定需要選擇下一圖像673的情況下，在執(zhí)行圖像673和674之間的重疊區(qū)域677的重疊 率的確定之后，計算關(guān)于圖像673中包括的面部計算的選擇確定分數(shù)。這里，關(guān)于圖像673 中包括的四個面部的面部678，其部分包括在重疊區(qū)域677中。因此，在計算關(guān)于圖像673 中包括的面部的選擇確定分數(shù)的情況下，使用除了圖像673中包括的面部678以外的三個 面部計算選擇確定分數(shù)。 圖48B圖示這樣的示例，其中以最前面的幀680作為參考幀，朝搜索方向682選擇 圖像。在此情況下，從最前面的圖像683起按時間序列方向執(zhí)行搜索，因此，用作選擇目標 的圖像重疊在已經(jīng)選擇的圖像上。然而，僅最前面的圖像683重疊在所有圖像上。因此，關(guān) 于圖像684，以與圖48A所示的情況相同的方式，在考慮關(guān)于圖像683的重疊區(qū)域的同時計 算分數(shù)，并且在指定的重疊率的范圍內(nèi)包括的圖像中，選擇具有最高分數(shù)的圖像。另一方 面，關(guān)于圖像685之后的圖像，選擇這樣的圖像，其中在指定的重疊率的范圍內(nèi)，用作選擇 目標的圖像和與上面的圖像重疊的圖像之間的總分數(shù)盡可能地不減少，并且當前圖像上的 分數(shù)高。也就是說，選擇這樣的圖像，其中關(guān)于已經(jīng)選擇的合成圖像的總分數(shù)、以及關(guān)于當 前圖像的分數(shù)最高。 例如，設(shè)以與參考幀680對應(yīng)的圖像683作為參考圖像，選擇像684和685。 在以圖像685作為參考圖像確定需要選擇下一圖像686的情況下，執(zhí)行圖像685和686之 間的重疊區(qū)域687的重疊率的計算。隨后，計算關(guān)于圖像683到685以及圖像686之間的 合成圖像中包括的每個面部計算的選擇確定分數(shù)。這里，不管圖像686中包括的三個面部 是否包括在重疊區(qū)域687中，這三個面部都變?yōu)橛嬎隳繕恕?此外，例如，在成像的時間點處從新圖像朝向舊圖像執(zhí)行重寫合成的情況下(在 以遞減順序重寫合成的情況下)，以與遞增順序的情況相反的方向執(zhí)行選擇處理。注意，在 不指定合成順序的情況下，以從最前面的圖像按時間順序向回追蹤的方向、和從最前面的 圖像朝時間序列的方向執(zhí)行搜索。因此，在不執(zhí)行合成順序的情況下，即使在任何方向上執(zhí) 行搜索的情況下，也以與圖48A相同的方式執(zhí)行選擇處理。這樣的合成順序用作成像合成 時的合成順序，因此，這樣的合成順序與合成目標圖像元數(shù)據(jù)存儲單元270的圖像合成目 標部分相關(guān)地存儲。 注意，在本發(fā)明第三實施例的情況下，已經(jīng)關(guān)于這樣的示例進行描述，其中與圖 像中包括的面部相關(guān)的唯一的屬性取做面部屬性，與面部狀態(tài)相關(guān)的屬性取做狀態(tài)，并且 使用關(guān)于這樣的面部的每條信息計算選擇確定分數(shù)。然而，可關(guān)于另一對象的每條信息計 算選擇確定分數(shù)。例如，可使用關(guān)于各種對象(如例如貓、狗的寵物、動物、房屋、交通工 具等)的每條信息計算選擇確定分數(shù)。例如，在單獨關(guān)于寵物的情況下，與單獨識別人的 情況相比，可根據(jù)如色彩、模式、耳朵的形狀等的差別容易地識別寵物。此外，可使用特性 (saliency)圖計算選擇確定分數(shù)。該特性圖通過每個像素的分數(shù)表示人類將觀察的區(qū)域。 例如，在使用該特性圖計算圖像的選擇確定分數(shù)的情況下，通過對除了重疊區(qū)域以外的區(qū) 域的每個像素的分數(shù)積分獲得的值可計算為圖像的選擇確定分數(shù)。此外，例如，通過將使用 特性圖計算的分數(shù)和關(guān)于對象的分數(shù)相加獲得的值可計算為選擇確定分數(shù)。
圖像處理裝置的操作示例。 接下來，將參照附圖描述根據(jù)本發(fā)明第三實施例的圖像處理裝置101的操作。
圖49是圖示通過根據(jù)本發(fā)明第三實施例的圖像處理裝置101的幀選擇處理的過 程的流程圖。該過程是圖34中示出的步驟S950的過程的修改。此外，該示例圖示這樣的 示例，其中僅僅元數(shù)據(jù)存儲單元210中存儲的仿射變換參數(shù)用于計算重疊率。此外，該示例 圖示沒有指定合成順序的情況。 首先，從元數(shù)據(jù)存儲單元210中存儲的元數(shù)據(jù)文件獲得對應(yīng)于通過部分選擇單元 160選擇的一個圖像合成目標部分中包括的每幀的元數(shù)據(jù)(步驟SIOOI)。隨后，獲得通過 操作接受單元260接受的每項的選擇信息(步驟S1002)。 隨后，基于獲得的元數(shù)據(jù)，關(guān)于用作選擇目標的圖像合成目標部分中包括的每幀 計算選擇確定分數(shù)，并且在計算的選擇確定分數(shù)中，將具有最高值的幀選擇為最前面的幀 (步驟S1003)。此外，選擇的最前面的幀選擇為代表幀。隨后，將關(guān)于選擇的最前面的幀的 每條元數(shù)據(jù)記錄在合成目標圖像元數(shù)據(jù)存儲單元270中(步驟S1004)。
隨后，從選擇的代表幀起以遞減順序執(zhí)行搜索，提取指定的重疊率的范圍內(nèi)的幀， 并且關(guān)于這些幀計算選擇確定分數(shù)(步驟S1005)。在關(guān)于指定的重疊率的范圍內(nèi)的幀計 算的選擇確定分數(shù)中，具有最高分數(shù)的幀選擇為新的代表幀(步驟S1006)。關(guān)于新選擇的 代表幀的每條元數(shù)據(jù)記錄在合成目標圖像元數(shù)據(jù)存儲單元270中(步驟S1007)。確定選 擇確定分數(shù)的計算是否已經(jīng)執(zhí)行到達用作選擇目標的圖像合成目標部分的頂部幀(步驟 S1008)。在選擇確定分數(shù)的計算沒有執(zhí)行到達用作選擇目標的圖像合成目標部分的頂部幀 的情況下(步驟S1008)，流程返回到步驟S1005，其中重復(fù)代表幀選擇處理(步驟S1005到 S1007)。 另一方面，在選擇確定分數(shù)的計算已經(jīng)執(zhí)行到達用作選擇目標的圖像合成目標部 分的頂部幀的情況下(步驟S1008)，已經(jīng)選擇的最前面的幀選擇為代表幀(步驟S1009)。 隨后，從選擇的代表幀起以遞增順序執(zhí)行搜索，提取指定的重疊率的范圍內(nèi)的幀，并且關(guān)于 這些幀計算選擇確定分數(shù)(步驟SIOIO)。在關(guān)于指定的重疊率的范圍內(nèi)的幀計算的選擇確 定分數(shù)中，具有最高分數(shù)的幀選擇為新的代表幀(步驟SlOll)。關(guān)于新選擇的代表幀的每 條元數(shù)據(jù)記錄在合成目標圖像元數(shù)據(jù)存儲單元270中(步驟S1012)。確定選擇確定分數(shù)的 計算是否已經(jīng)執(zhí)行到達用作選擇目標的圖像合成目標部分的最后幀(步驟S1013)。在選擇 確定分數(shù)的計算沒有執(zhí)行到達用作選擇目標的圖像合成目標部分的最后幀的情況下(步 驟S1013)，流程返回到步驟S1010，其中重復(fù)代表幀選擇處理(步驟S1010到S1012)。
另一方面，在選擇確定分數(shù)的計算已經(jīng)執(zhí)行到達用作選擇目標的圖像合成目標部 分的最后幀的情況下(步驟S1013)，確定是否已經(jīng)關(guān)于通過部分選擇單元160選擇的所有 圖像合成目標部分完成幀選擇處理(步驟S1014)，在還沒有關(guān)于所有圖像合成目標部分完 成幀選擇處理的情況下(步驟S1014)，流程返回到步驟S1001，其中重復(fù)幀選擇處理(步驟 S1001到S1013)。另一方面，在已經(jīng)關(guān)于所有圖像合成目標部分完成幀選擇處理的情況下 (步驟S1014)，幀選擇處理的操作結(jié)束。 因此，與圖像中包括的面部有關(guān)的屬性和狀態(tài)等用于選擇最前面的圖像和合成目 標圖像，從而可以提供關(guān)于運動畫面中包括的人的感興趣的圖像。此外，可根據(jù)用戶的偏好 設(shè)置和顯示如關(guān)于面部的屬性和狀態(tài)等的每個項目，從而可以提供根據(jù)用戶的偏好的合成 圖像。 4.第四實施例
圖像處理裝置的配置示例 在本發(fā)明第一實施例的情況下，已經(jīng)描述了這樣的示例，其中合成在外圍為其添 加一定厚度的白框的圖像以創(chuàng)建全景式合成圖像。在本發(fā)明第四實施例的情況下，將參照 附圖關(guān)于這樣的示例進行詳細描述，其中將除了一定厚度的白框以外的裝飾圖像添加到圖 像的外圍。 圖50是圖示根據(jù)本發(fā)明第四實施例的圖像處理裝置102的功能配置示例的框圖。 圖像處理裝置102包括圖像合成單元221、合成目標圖像元數(shù)據(jù)存儲單元277、以及裝飾圖 像確定單元700。注意，其他功能配置大致與圖1中所示的圖像處理裝置100中的功能配置 相同，因此，將對其指示與圖像處理裝置100的參考標號相同的參考標號，并且將以具有不 同功能的組件為中心進行描述，而將省略其他描述。 記錄控制單元150將與從裝飾圖像確定單元700輸出的裝飾圖像有關(guān)的信息記錄 在合成目標圖像元數(shù)據(jù)存儲單元277中，作為合成目標圖像元數(shù)據(jù)。 合成目標圖像選擇單元170從圖像合成目標部分中包括的幀選擇合成圖像，并且 將與選擇的合成目標圖像有關(guān)的合成目標圖像信息輸出到記錄控制單元150和裝飾圖像 確定單元700。 裝飾圖像確定單元700確定要添加到每個幀的裝飾圖像，所述每個幀對應(yīng)于從合 成目標圖像選擇單元170輸出的合成目標圖像信息，并且裝飾圖像確定單元700將與確定 的裝飾圖像有關(guān)的裝飾圖像信息輸出到記錄控制單元150。例如，裝飾圖像確定單元700基 于元數(shù)據(jù)存儲單元210中記錄的元數(shù)據(jù)確定裝飾圖像。此外，裝飾圖像確定單元700基于 元數(shù)據(jù)存儲單元210中存儲的元數(shù)據(jù)和對應(yīng)于合成目標圖像信息的每幀確定裝置圖像。注 意，將參照圖52A到62詳細描述裝飾圖像確定方法。 合成目標圖像元數(shù)據(jù)存儲單元277基于信號150的控制，將從合成目標圖像選擇 單元170輸出的合成目標圖像信息存儲為合成目標圖像元數(shù)據(jù)文件。此外，合成目標圖像 元數(shù)據(jù)存儲單元277將從裝飾圖像確定單元700輸出的裝飾圖像信息存儲為合成目標圖像 元數(shù)據(jù)文件。此外，合成目標圖像元數(shù)據(jù)存儲單元277響應(yīng)于來自文件獲得單元180的請 求，將合成目標圖像元數(shù)據(jù)文件提供到文件獲得單元180。注意，將參照圖51詳細描述合成 目標圖像元數(shù)據(jù)存儲單元277中存儲的元數(shù)據(jù)文件。 在已經(jīng)通過操作接受單元260接受用于顯示合成圖像的指令操作的情況下，文件 獲得單元180將從合成目標圖像元數(shù)據(jù)存儲單元277獲得的合成目標圖像元數(shù)據(jù)輸出到圖 像合成單元221。 圖像合成單元221使用圖像存儲器230，以將根據(jù)合成目標圖像元數(shù)據(jù)的內(nèi)容的 裝飾圖像添加到通過圖像變換單元190經(jīng)歷仿射變換的圖像，合成已經(jīng)添加裝飾圖像的圖 像，以創(chuàng)建合成圖像。 圖51是示意性圖示根據(jù)本發(fā)明第四實施例的合成目標圖像元數(shù)據(jù)存儲單元277 的存儲內(nèi)容的圖。運動畫面ID 271、部分號272、幀號273、仿射變換參數(shù)274、最前面的幀 275、面部數(shù)據(jù)276、以及裝飾圖像數(shù)據(jù)278以相關(guān)的方式存儲在合成目標圖像元數(shù)據(jù)存儲 單元277中。運動畫面ID 271、部分號272、幀號273、仿射變換參數(shù)274、最前面的幀275 和面部數(shù)據(jù)276與圖4中示出的示例中的那些相同，這里將省略其描述。
裝飾圖像數(shù)據(jù)278是與通過裝飾圖像確定單元700確定的、要添加 合成目標圖像的裝飾圖像相關(guān)的信息。作為該信息，例如存儲要添加到合成目標圖像的裝飾圖像的位 置、大小、模式、色彩、類型等?；谘b飾圖像數(shù)據(jù)278的內(nèi)容，將裝飾圖像添加到對應(yīng)幀的 外圍。注意，圖51中示出的示例以省略方式圖示與裝飾圖像相關(guān)的信息。
白框的確定示例 首先，將關(guān)于這樣的示例進行描述，其中用作對其添加裝飾圖像的目標的圖像經(jīng) 歷仿射變換，重疊在之前的合成圖像上，并且使用關(guān)于仿射變換后的圖像的重疊區(qū)域的信 息執(zhí)行圖像分析，從而確定裝飾圖像。在該示例的情況下，白框?qū)⒚枋鰹檠b飾圖像。
圖52A到52C是圖示安排來通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元700 確定白框的厚度的確定方法的概述的圖。圖52A圖示在通過合成目標圖像選擇單元170選 擇的幀中的按時間序列的連續(xù)的三個幀711到713。合成圖像714指示這樣的圖像，其中按 時間序列的連續(xù)三個幀711到713經(jīng)歷仿射變換，然后合成。此外，幀713是按時間序列臨 近幀712的幀，并且指示仿射變換后的狀態(tài)。裝飾圖像確定單元700基于與通過合成目標 圖像選擇單元170選擇的幀相關(guān)的信息，從運動畫面存儲單元200中存儲的運動畫面文件 獲得這些幀中的每個。此外，裝飾圖像確定單元700包括用于保持合成圖像的工作緩沖器。
如圖52A所示，作為仿射變換后的下一幀的幀714重疊在其中合成了直到選擇的 幀的緊接在前面的幀的合成圖像714之上。此時，關(guān)于合成圖像714和對應(yīng)于幀713的圖像 之間的重疊區(qū)域715，以與本發(fā)明第一實施例中所示的方法相同的方式，從合成圖像714提 取特征點，并且關(guān)于該特征點計算光流。隨后，計算相機工作參數(shù)和可靠度。因此，在不是 關(guān)于整個圖像、而是僅關(guān)于重疊區(qū)域的局部區(qū)域計算相機工作參數(shù)和可靠度的情況下，在 一些情況下，計算結(jié)果與關(guān)于整個圖像計算的相機工作參數(shù)和可靠度不同。此外，通過合成 目標圖像選擇單元170選擇的幀不是構(gòu)成運動畫面的連續(xù)幀，因此，存在由于多個仿射變 換參數(shù)的乘法而可能導(dǎo)致幀間偏移的可能性。注意，在重疊區(qū)域715中，區(qū)域716是幀711 和713之間的重疊區(qū)域，并且在重疊區(qū)域715中，區(qū)域716以外的區(qū)域是幀712和713之間 的重疊區(qū)域。圖52A使用黑色圓圈和白色圓圈示意性圖示從重疊區(qū)域715提取的特征點。 此外，關(guān)于這些特征點計算的光流用以特征點作為原點的箭頭表示。這里，設(shè)重疊區(qū)域715 的用黑色圓圈指示的特征點是展現(xiàn)支配運動的特征點，并且白色圓圈是其他特征點。
圖52B圖示其中關(guān)于圖52A所示的重疊區(qū)域715計算的仿射變換參數(shù)用于使重疊 區(qū)域715經(jīng)歷仿射變換的情況。圖52B使用四個箭頭來圖示仿射變換參數(shù)的運動的轉(zhuǎn)換， 并且圖示重疊區(qū)域715經(jīng)歷仿射變換之后的區(qū)域，作為仿射變換之后的重疊區(qū)域717。此 外，圖52C僅圖示重疊區(qū)域715、以及仿射變換后的重疊區(qū)域717。 因此，在關(guān)于構(gòu)成運動畫面的連續(xù)幀計算的仿射變換參數(shù)用于合成選擇幀的情況 下，存在可能導(dǎo)致偏移的可能性。因此，在該示例的情況下，基于偏移的大小確定白框的厚度。 注意，將使用下面的表達式計算兩個過擴展(over-extension)率DR1和DR2，作為
偏移量。 過擴展率DR1 = (l-(C/A))
過擴展率DR2 = (1- (C/B)) 這里，C表示其中合成了目標圖像的重疊區(qū)域以及該重疊區(qū)域的仿射變換后的區(qū) 域的區(qū)域的面積。此外，A表示目標圖像的重疊區(qū)域的面積，而B表示仿射變換后的目標圖像的重疊區(qū)域的面積。例如，在圖52C所示的示例的情況下，設(shè)其中合成了重疊區(qū)域715和
仿射變換后的重疊區(qū)域717的區(qū)域取為面積C，重疊區(qū)域715的面積取為面積A，并且仿射
變換后的重疊區(qū)域717的面積取為面積B。隨后，計算兩個過擴展率DR1和DR2。 利用由此計算的兩個過擴展率DR1和DR2，選擇較大值。隨后，設(shè)該選擇的過擴展
率取為DR，使用下面的表達式計算用作裝飾圖像的白框的厚度。 要添加到水平方向上的兩端的各邊的白框的厚度SHI = WXDR 要添加到垂直方向上的兩端的各邊的白框的厚度SH2 = HXDR 可為過擴展率提供上限和下限，以便防止白框相對于用作提供目標的圖像變得太
厚。作為過擴展率的上限和下限的范圍，例如可設(shè)置O. 1到0.03。 由此計算的要添加到水平方向和垂直方向的兩端的各邊的厚度SH1和SH2輸出到 記錄控制單元150，并且記錄在合成目標圖像元數(shù)據(jù)存儲單元277的裝飾圖像數(shù)據(jù)278中。
例如，在過擴展率小的情況下，用作添加白框的對象的目標圖像、以及重疊在該圖 像之下的合成圖像之間的偏移小。因此，即使在要添加到其目標圖像的白框的厚度薄的情 況下，也可以預(yù)期形成目標圖像和合成圖像之間的自然的圖像。另一方面，在過擴展率大的 情況下，目標圖像、以及重疊在該圖像之下的合成圖像之間的偏移大。因此，要添加到其目 標圖像的白框的厚度增加，從而可以使其偏移模糊。此外，根據(jù)要添加到圖像的白框，可以 消除由于偏移導(dǎo)致的不自然。注意，添加白框的位置可以是目標圖像的外側(cè)、內(nèi)側(cè)、和邊緣 上之一。在圖56A到58D中示出了添加這樣的白框的示例。 圖53A到53C是圖示通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元700確定的 裝飾圖像的示例的圖。圖53A圖示白框圖像721添加到幀720的外圍的外側(cè)的示例，圖53B 圖示添加白框圖像722以便包括幀720的外圍的示例，并且圖53C圖示白框圖像723添加 到幀720的外圍的內(nèi)側(cè)的示例。注意，在添加白框圖像以便包括圖像的外圍的情況下，可添 加白框圖像，以便斜跨(obliquely straddle)圖像的外圍。注意，圖53A至lj 53C關(guān)于圖像 放大了白框，以方便觀察。此外，圖53A到53C使用粗線圖示了圖像的外圍，以便方便幀720 的大小的觀察。 此外，可對用作計算目標的每個圖像確定由此計算的白框的厚度。然而，為了提供 優(yōu)良的合成圖像，在關(guān)于同一圖像合成目標部分計算的過擴展率中，具有最高值的過擴展 率可用于統(tǒng)一其部分中包括的每幀的白框率。此外，例如，可采用過擴展率的平均值。此外， 如圖54A到54C所示，添加白框的位置可根據(jù)圖像之間的相對位置關(guān)系改變。
圖54A到54C是圖示通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元700對于裝 飾圖像的確定方法的示例的圖。圖54A圖示以幀730作為參考幀使幀740經(jīng)歷仿射變換的 情況。在該示例的情況下，將關(guān)于這樣的示例進行描述，其中確定要添加到幀740的上側(cè)的 外圍的圖像的位置。例如，以運動矢量731和732圖示下述情況下的運動矢量，其中以幀 730作為參考幀，幀740經(jīng)歷仿射變換，并且?guī)?30的上側(cè)的兩角處的點移動。此外，用法線 矢量733和734圖示幀730的上側(cè)的法線矢量。 圖54B圖示運動矢量731和732以及法線矢量733和734之間的關(guān)系。例如，在關(guān) 于幀740的上側(cè)計算添加白框的位置的情況下，計算由通過將運動矢量731和732相加獲 得的矢量735和矢量733形成的角度736。此外，計算由矢量735和734形成的角度737。 隨后，比較角度736的值和角度737的值。作為該比較的結(jié)果，在角度736的值較小的情況下，將白框布置到幀740的外圍的內(nèi)側(cè)。另一方面，在角度737的值較小的情況下，將白框 布置到幀740的外圍的外側(cè)。例如，如圖54B所示，作為角度736的值和角度737的值之間 的比較結(jié)果，角度737的值較小，因此，要添加到幀740的上側(cè)的外圍的白框確定為布置在 其外側(cè)。此外，關(guān)于其他三側(cè)也可以相同方式確定白框的位置。 圖54C圖示用作要添加到幀740的白框的示例的白框圖像741。因此，可根據(jù)關(guān)于 參考幀的相對位置確定白框圖像的位置。注意，在兩個運動矢量的和變?yōu)?的情況下，白框 圖像可確定為布置在外側(cè)或內(nèi)側(cè)。此外，即使在兩個運動矢量的和不為0的情況下，白框圖 像也可確定為不僅布置在外圍的外側(cè)或內(nèi)側(cè)，而且布置為以便跨越其外圍。例如，可根據(jù)由 加法矢量和法線矢量形成的角度改變白框的中心位置。此外，如圖55A和55B所示，要關(guān)于 同一側(cè)布置的白框圖像可在該側(cè)的兩端不同地布置。 圖55A和55B是圖示通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元700的裝飾 圖像的確定方法的示例的圖。圖55A圖示以幀750作為參考幀使幀760經(jīng)歷仿射變換的情 況。例如，設(shè)在由運動矢量751和法線矢量753形成的角度小、并且由運動矢量752和法 線矢量754形成的角度小的情況下，運動矢量751的終點周圍是內(nèi)側(cè)。此外，運動矢量752 的終點周圍可被確定為布置在另一側(cè)。其他側(cè)可以相同方式確定。在由此進行確定的情況 下，例如，可如圖55B所示布置白框圖像。然而，在以這樣的方式布置白框圖像的情況下，存 在可能改變圖像的外形的可能性。例如，如圖55B所示，在幀760是矩形的情況下，在一些 情況下，已經(jīng)添加了白框圖像的圖像變?yōu)槠叫兴倪呅?。此外，例如，在目標幀是矩形的情況 下，假設(shè)其中已經(jīng)添加白框圖像的圖像變?yōu)樘菪蔚那闆r，或者在目標幀是平行四邊形的情 況下，假設(shè)其中已經(jīng)添加白框圖像的圖像變?yōu)樘菪蔚那闆r。
白框的合成示例 圖56A到56D是圖示合成通過根據(jù)第四實施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。圖像合成單元220基于合成目標圖像元數(shù)據(jù)存儲單元277的裝飾 圖像數(shù)據(jù)278的內(nèi)容執(zhí)行該裝飾圖像合成。也就是說，基于合成目標圖像元數(shù)據(jù)存儲單元 277的仿射變換參數(shù)274的內(nèi)容，圖像通過圖像變換單元190經(jīng)歷仿射變換。隨后，基于合 成目標圖像元數(shù)據(jù)存儲單元277的裝飾圖像數(shù)據(jù)278的內(nèi)容，圖像合成單元220通過添加 裝飾圖像到仿射變換后的圖像，執(zhí)行圖像合成。在圖56A至lj56D所示的示例的情況下，將描 述平移方向上的偏移的影響。注意，圖56A到56D圖示白框添加為裝飾圖像的示例。
圖56A圖示合成目標圖像738和739。圖56B圖示以合成目標圖像738為參考圖 像使合成目標圖像739經(jīng)歷仿射變換的示例。在圖56B所示的示例的情況下，圖示了合成目 標圖像739向右下側(cè)偏移的情況。例如，在以圓圈742包圍的圖像區(qū)域的情況下，過度地看 到了合成目標圖像738中包括的屋頂部分。此外，例如在以圓圈743包圍的圖像區(qū)域的情 況下，合成目標圖像738中包括的草的部分被合成目標圖像739隱藏。此外，例如，在以圓 圈744包圍的圖像區(qū)域的情況下，過度地看到了合成目標圖像738中包括的傘的部分。因 此，如圖56C所示，例如，關(guān)于合成目標圖像739合成通過裝飾圖像確定單元700確定的裝 飾圖像745，從而可隱藏用圓圈742至lj 744包圍的區(qū)域部分中包括的不自然的圖像。另一方 面，如圖56D所示，在以由裝飾圖像確定單元700確定的區(qū)域的相反方向上、關(guān)于合成目標 圖像739合成裝飾圖像746的情況下，例如，不能隱藏用圓圈742到744包圍的區(qū)域部分中 的不自然的圖像。
圖57A到57D是圖示合成通過根據(jù)第四實施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。注意，在圖57A到57D所示的示例的情況下，將描述放大/縮小方 向的偏移的影響。 圖57A圖示合成目標圖像747和748。圖57B圖示以合成目標圖像747作為參考 圖像使合成圖像748經(jīng)歷仿射變換的情況的示例。在圖57B所示的示例的情況下，示出了 合成目標圖像747在縮小方向上偏移的情況。例如，在用圓圈749包圍的圖像區(qū)域的情況 下，過度地看見了合成目標圖像747中包括的屋頂?shù)牟糠?。此外，例如，在用圓圈755包圍 的圖像區(qū)域的情況下，過度地看見了合成目標圖像747中包括的電燈的部分。此外，例如， 在用圓圈756包圍的圖像區(qū)域的情況下，過度地看見了合成目標圖像747中包括的傘的部 分。因此，如圖57C所示，例如關(guān)于合成目標圖像748合成通過裝飾圖像確定單元700確定 的裝飾圖像757，從而可隱藏用圓圈749、755和756包圍的區(qū)域部分中包括的不自然的圖 像。另一方面，如圖57D所示，在以由裝飾圖像確定單元700確定的區(qū)域的相反方向上、關(guān) 于合成目標圖像748合成裝飾圖像758的情況下，例如，不能隱藏用圓圈749、755和756包 圍的區(qū)域部分中的不自然的圖像。 圖58A到58D是圖示合成通過根據(jù)第四實施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。注意，在圖58A到58D所示的示例的情況下，將描述旋轉(zhuǎn)方向的偏 移的影響。 圖58A圖示合成目標圖像759和762。圖58B圖示以合成目標圖像759作為參考 圖像使合成圖像762經(jīng)歷仿射變換的情況的示例。在圖58B所示的示例的情況下，示出了 合成目標圖像762在順時針方向上偏移的情況。例如，在用圓圈763包圍的圖像區(qū)域的情 況下，不自然地看見了合成目標圖像759中包括的石階的部分。因此，如圖58C所示，例如 關(guān)于合成目標圖像762合成通過裝飾圖像確定單元700確定的裝飾圖像764，從而可隱藏用 圓圈763包圍的區(qū)域部分中包括的不自然的圖像。另一方面，如圖58D所示，在以由裝飾圖 像確定單元700確定的區(qū)域的相反方向上、關(guān)于合成目標圖像762合成裝飾圖像765的情 況下，例如，不能隱藏用圓圈763包圍的區(qū)域部分中的不自然的圖像。這里，在旋轉(zhuǎn)方向上 簡單地偏移合成目標的情況下，如圖54A到54C所述，兩個運動矢量的和變?yōu)?。因此，白框 圖像不僅可確定為布置在外圍的外側(cè)或內(nèi)側(cè)，而且可布置在其外圍之上。
因此，關(guān)于合成目標圖像合成通過裝飾圖像確定單元700確定的裝飾圖像，從而 可將全景式自然的合成圖像提供給用戶。
考慮面部的同時的白框的確定示例 現(xiàn)在，例如，在合成已經(jīng)添加裝飾圖像的合成目標圖像的情況下，存在可能隱藏重 疊在下側(cè)上的合成圖像中包括的面部的可能性。在這樣的情況下，裝飾圖像的位置可在不 隱藏面部的方向上改變。替代地，可調(diào)節(jié)裝飾圖像的厚度。 圖59是圖示考慮到面部、通過根據(jù)第四實施例的裝飾圖像確定單元700的裝飾圖 像確定方法的示例的圖?，F(xiàn)在，示出了這樣的示例，其中確定合成目標圖像766到768的裝 飾圖像。此外，設(shè)合成目標圖像767和768包括面部，并且包括面部的這些區(qū)域用面部區(qū)域 769和770表示。 例如，設(shè)以合成目標圖像766作為參考圖像，合成目標圖像767和768經(jīng)歷仿射變 換并合成。在此情況下，合成目標圖像768關(guān)于合成目標圖像767重寫并合成，因此，例如，在要添加到合成目標圖像768的裝飾圖像大的情況下(或在添加到外側(cè)的情況下)，存在可 能隱藏面部區(qū)域769中包括的面部的可能性。 現(xiàn)在，例如，可使用合成目標圖像元數(shù)據(jù)存儲單元277的面部數(shù)據(jù)276中存儲的面 部數(shù)據(jù)確定合成目標圖像中包括的面部區(qū)域。因此，例如，裝飾圖像確定單元700計算考慮 面部之前確定的裝飾圖像的區(qū)域和面部區(qū)域是否重疊，并且在裝飾圖像的區(qū)域和面部區(qū)域 重疊的情況下，裝飾圖像的位置改變?yōu)榇_定位置的相對側(cè)。例如，在合成目標圖像767中包 括的面部區(qū)域769、以及被確定為要添加到合成目標圖像768的左端的外側(cè)的裝飾圖像771 重疊的情況下，裝飾圖像771改變?yōu)樘砑拥絻?nèi)側(cè)，S卩，改變?yōu)檠b飾圖像772。此外，例如在合 成目標圖像768中包括的面部區(qū)域770、以及被確定為要添加到合成目標圖像768的上端的 內(nèi)側(cè)的裝飾圖像773重疊的情況下，裝飾圖像773改變?yōu)樘砑拥酵鈧?cè)，即，改變?yōu)檠b飾圖像 774。 現(xiàn)在，例如，即使要添加的位置改變?yōu)楹铣赡繕藞D像的內(nèi)側(cè)或外側(cè)，裝飾圖像和面
部圖像重疊，也可通過計算裝飾圖像和面部區(qū)域之間的距離改變裝飾圖像的厚度。因此，即
使裝飾圖像的厚度改變，在裝飾圖像和面部圖像重疊的情況下，例如，裝飾圖像的位置也改
變到重疊區(qū)域小的位置。然而，例如，在對要重疊在上側(cè)的合成目標圖像給予優(yōu)先級、并且
裝飾圖像和面部區(qū)域重疊的情況下，裝飾可確定為添加到合成目標圖像的外側(cè)。替代地，可
進行這樣的安排，其中對每側(cè)預(yù)先計算面部區(qū)域和裝飾圖像之間的距離，不重疊在面部之
上的裝飾圖像的最大厚度預(yù)先存儲在合成目標圖像元數(shù)據(jù)存儲單元277中，并使用這些值
添加裝飾圖像。 陰影的確定示例 到目前為止已經(jīng)關(guān)于這樣的示例進行了描述，其中將白框添加到合成目標圖像作 為裝飾圖像，但是例如，可將陰影添加到合成目標圖像作為裝飾圖像。 圖60A到60C是圖示通過根據(jù)本發(fā)明第四實施例的裝飾圖像確定單元700確定為 要添加到合成目標圖像的裝飾圖像的陰影的示例的圖。此后，通過在內(nèi)部添加對角線筆劃 來指示要添加到合成目標圖像的陰影。圖60A圖示要添加到合成目標圖像的陰影的基本形 狀。例如，關(guān)于如陰影351的陰影的方向，將首先考慮這樣的情況，其中當從合成目標圖像 正上方施加光時，陰影在所有方向上擴散。此外，類似于陰影352或353，還可產(chǎn)生這樣的效 果，其中光從合成目標圖像的斜上方或斜下方施加。 圖60B圖示這樣的情況，其中產(chǎn)生效果，使得光從合成目標圖像的斜上方施加，以 創(chuàng)建合成圖像。也就是說，順序合成已經(jīng)添加陰影352的合成圖像，從而可以創(chuàng)建圖60B所 示的合成圖像。此外，圖60C圖示產(chǎn)生如下效果的情況，其中光從合成目標圖像的斜下方施 加以創(chuàng)建合成目標。也就是說，順序合成已經(jīng)添加陰影353的合成圖像，從而可以創(chuàng)建圖 60C所示的合成圖像。 現(xiàn)在，例如，在產(chǎn)生光從合成圖像的斜上方或斜下方施加的效果的情況下，期望將 下述方向確定為陰影的方向，其中陰影盡可能多地落在根據(jù)合成圖像的最終重疊方向的較 下方的圖像上。此外，例如，陰影的厚度可設(shè)置為一定值。此外，例如，以與上述白框的情況 相同的方式，可根據(jù)過擴展率確定陰影的厚度。 圖61A和61B是圖示安排來通過根據(jù)第四實施例的裝飾圖像確定單元700確定陰 影的方向的確定方法的概述的圖。圖61A圖示在工作緩沖器358處保持的合成目標圖像354到357。例如，設(shè)計算重寫在另一合成目標圖像的合成目標圖像的各側(cè)的長度，計算其各側(cè) 的外向法線矢量，并且將法線矢量的大小取為各側(cè)的重寫部分的長度。例如，在圖61A所示 的合成目標圖像355到357的情況下，重寫在另一合成目標圖像上的側(cè)用粗線指示。此外， 該側(cè)的外向法線矢量在粗線上指示。積分由此計算的合成目標圖像的所有法線矢量，并且 通過積分獲得的法線矢量的方向確定為添加陰影的方向。圖61B圖示通過添加了由此確定 的陰影的合成目標圖像354到357形成的合成圖像。如此確定陰影的方向，從而將陰影投 射在合成目標圖像上，因此，可以增強陰影的效果。 注意，除了通過上述法線矢量的積分確定陰影的方向之外，可從參照法線矢量的 方向預(yù)先確定的若干方向選擇和確定陰影的方向。替代地，可進行這樣的安排，其中通過將 與每個合成目標圖像相關(guān)的仿射變換參數(shù)相乘獲得的仿射矩陣用于獲得相機工作的積分 平移分量，并且該積分平移分量的方向取為陰影的方向。
考慮面部的同時的陰影的確定示例 現(xiàn)在，例如，在合成已經(jīng)添加陰影的合成目標圖像的情況下，存在可能隱藏重疊在 下側(cè)上的合成圖像中包括的面部的可能性。在這樣的情況下以與上述白框的情況相同的方 式，陰影的方向可改變?yōu)椴浑[藏面部的方向。替代地，在面部區(qū)域被陰影覆蓋的情況下，可 使陰影的顏色變淡。以下將示出這樣的示例，其中面部被陰影覆蓋，該側(cè)的法線矢量的方向 反向，從而改變陰影的方向。 圖62是圖示考慮到面部、通過根據(jù)第四實施例的裝飾圖像確定單元700的陰影確 定方法的示例的圖。圖62所示的示例與圖51A所示的情況相同，除了在保持在工作緩沖器 358的合成目標圖像354到357中，面部區(qū)域359包括在合成目標圖像356中。例如，以與 圖61A所示的情況相同的方式獲得法線矢量，但是在面部區(qū)域被陰影覆蓋的情況下，該側(cè) 的法線矢量的方向反向。例如，在圖62所示的合成目標圖像357的情況下，在重寫在另一 合成目標圖像356之上的各側(cè)中，左邊緣一側(cè)重寫在面部區(qū)域359之上。因此，該側(cè)的法線 矢量的方向反向。也就是說，該法線矢量的方向反向，如法線矢量360。注意，用于確定陰影 的方向的方法與圖61A所示的情況相同，除了法線矢量的方向反向，因此，這里將省略其描 述。 這里，在圖62所示的示例的情況下，在法線矢量的方向反向后計算的法線矢量的 積分矢量的方向幾乎與沒有反向其方向的情況下的相同，因此，面部被陰影隱藏。然而，在 面部被多個合成目標圖像的左側(cè)的陰影覆蓋的情況下，陰影的方向是右上方向，從而可以 防止面部被陰影隱藏。此外，例如，整個陰影的濃度可根據(jù)反向的法線矢量的方向和長度而 變淡。替代地，陰影的厚度可根據(jù)反向的法線矢量的方向和長度而變薄。此外，在面部被陰 影覆蓋的情況下，可使用這樣的陰影改變方法，其中整個陰影的濃度按一定比率變淡，或其 厚度按一定比率變薄。 因此，在可能隱藏重疊在下側(cè)上的合成圖像中包括的面部的情況下，陰影的位置 可改變?yōu)椴浑[藏面部的方向。然而，與白框相比，即使在面部被陰影覆蓋的情況下，也可預(yù) 期沒有那么麻煩的狀態(tài)。因此，在面部區(qū)域被陰影覆蓋的情況下，這樣的改變或調(diào)整完全可 以不執(zhí)行，可執(zhí)行其中的任一個，或可執(zhí)行其組合。 到目前為止已經(jīng)描述了這樣的示例，其中白框或陰影被確定為裝飾圖像，但是本 發(fā)明的第四實施例還可應(yīng)用到這樣的情況，其中白框添加到合成目標圖像的外圍，并且陰影也添加到該白框的外圍。 此外，到目前為止已經(jīng)示出了這樣的示例，其中在幀選擇時確定要添加到合成目
標圖像的裝飾圖像，但是例如，可在合成圖像的顯示時確定要添加到合成目標圖像的裝飾
圖像。替代地，可根據(jù)用戶的操作確定裝飾圖像。例如，可通過用戶的操作指定合成目標圖
像中的是否存在白框、白框的位置、白框的厚度、是否存在陰影、陰影的方向等。 此夕卜，到目前為止已經(jīng)示出了這樣的示例，其中白框或陰影的厚度和方向確定為
裝飾圖像，但是例如，可基于過擴展率或法線矢量確定裝飾圖像的顏色或模式。此外，到目
前為止已經(jīng)示出了這樣的示例，其中基于合成目標圖像之間的相對位置關(guān)系等確定裝飾圖
像，但是例如，可基于合成目標圖像中包括的被攝體的屬性、顏色等確定裝飾圖像。例如，在
框添加為裝飾圖像的情況下，計算合成目標圖像的外圍部分的顏色柱狀圖，并且最頻繁的
顏色的補色可被確定為框的顏色。因此，已經(jīng)添加了白色以外的顏色的框添加到合成目標
圖像，從而可防止合成目標圖像的邊緣變得模糊。例如，如圖32和33中所示的圖像576，在
合成目標圖像的外圍部分包括很多綠色的情況下，紅色采用為關(guān)于綠色的補色。此外，可使
用如本發(fā)明第三實施例中所示的、關(guān)于面部的每條元數(shù)據(jù)確定框的顏色或模式。例如，可根
據(jù)合成目標圖像中包括的人的性別或年齡改變框的顏色。此外，可根據(jù)已經(jīng)成像合成目標
圖像的時間點改變框的顏色。 替代地，在使用通過圖52A到52C所示的方法計算的相機工作參數(shù)和可靠度顯示 合成圖像時，可在校正偏移的同時執(zhí)行合成。例如，通過圖52A到52C所示的方法計算的相 機工作參數(shù)和可靠度預(yù)先存儲在合成目標圖像元數(shù)據(jù)存儲單元277中。隨后，當顯示合成 目標圖像時，關(guān)于具有高可靠度的合成目標圖像，可使用對應(yīng)的相機工作參數(shù)校正用于變 換合成目標圖像的仿射變換參數(shù)。
圖像處理裝置的操作示例 接下來，將參照附圖描述根據(jù)本發(fā)明第四實施例的圖像處理裝置102的操作。
圖63是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置102的合成目標圖像元 數(shù)據(jù)記錄處理的過程的流程圖。該過程是圖34所示的過程的修改，與圖34中所示的過程 相同的過程將用相同的參考標號表示，并且這里將省略其描述。 在通過合成目標圖像選擇單元170的幀選擇處理完成后，裝飾圖像確定單元700 執(zhí)行裝飾圖像確定處理(步驟S1020)。將參照圖64詳細描述該裝飾圖像確定處理。
圖64是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置102的合成目標圖像元 數(shù)據(jù)記錄處理的過程中包括的裝飾圖像確定過程(圖63中所示的步驟S1020的過程)的 流程圖。在該示例的情況下，示出了白框確定為裝飾圖像的示例。此外，示出了要添加到相 同圖像合成目標部分中包括的每個幀的白框具有相同厚度的情況作為示例。
首先，從元數(shù)據(jù)存儲單元210中存儲的元數(shù)據(jù)文件獲得元數(shù)據(jù)，該元數(shù)據(jù)對應(yīng)于 通過合成目標圖像選擇單元170選擇的單個圖像合成目標部分中包括的每個合成目標圖 像(步驟S1021)。隨后，計算用于使用仿射變換參數(shù)合成每個合成目標圖像的大小，所述仿 射變換參數(shù)對應(yīng)于獲得的圖像合成目標部分中包括的每個合成目標圖像，并且確保具有該 大小的兩個工作緩沖器(步驟S1022)。兩個工作緩沖器是通過8位表示構(gòu)成圖像的每個像 素的工作緩沖器，并且在該示例的情況下，這些工作緩沖器指示為第一工作緩沖器和第二 工作緩沖器。
56
隨后，在用作選擇目標的圖像合成目標部分中包括的每個合成目標圖像中，最前面的幀選擇為參考幀(步驟S1023)。參考幀粘貼到第一工作緩沖器(步驟S1024)。鄰近參考幀的幀粘貼到第二工作緩沖器(步驟S1025)。在此情況下，消除緊接在前面粘貼的幀，并且僅將鄰近參考幀的幀粘貼到第二工作緩沖器。隨后，計算粘貼到第一工作緩沖器的歷史圖像和要粘貼到第二工作緩沖器的幀之間的重疊區(qū)域的過擴展率(步驟S1026)。該過擴展率通過圖52A到52C所示的計算方法計算。 隨后，關(guān)于用作選擇目標的圖像合成目標部分中包括的每個合成目標圖像，確定是否已經(jīng)完成過擴展率的計算(步驟S1027)。在還沒有關(guān)于每個合成目標圖像完成過擴展率的計算的情況下(步驟S1027)，緊接在前面已經(jīng)計算其過擴展率的幀選擇為參考幀(步驟S1028)，并且流程返回到步驟S1024。隨后，新選擇的參考幀粘貼到第一工作緩沖器的歷史圖像之上(步驟S1024)。注意，在已經(jīng)緊接在前面計算其過擴展率的幀是圖像合成目標部分的頂部幀或最后幀的情況下，鄰近最前面的幀的其他方向的幀選擇為參考幀。
在關(guān)于每個合成目標圖像完成過擴展率的計算的情況下(步驟S1027)，基于關(guān)于每個合成目標部分計算的過擴展率，計算要添加到用作選擇目標的圖像合成目標部分中包括的每個合成目標圖像的白框的厚度(步驟S1029)。隨后，計算的白框的厚度記錄在合成目標圖像元數(shù)據(jù)存儲單元277中(步驟S1030)。確定是否已經(jīng)關(guān)于通過部分選擇單元160選擇的所有圖像合成目標部分完成裝飾圖像確定處理(步驟S1031)。在還沒有關(guān)于所有圖像合成目標部分完成裝飾圖像確定處理的情況下(步驟S1031)，流程返回到步驟S1021，其中重復(fù)裝飾圖像確定處理(步驟S1021到S1030)。另一方面，在關(guān)于所有圖像合成目標部分完成裝飾圖像確定處理(步驟S1031)，裝飾圖像確定處理操作結(jié)束。
圖65是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置102的合成目標圖像元數(shù)據(jù)記錄處理的過程中包括的裝飾圖像確定過程(圖63中所示的步驟S1020的過程)的流程圖。該示例是其中陰影確定為裝飾圖像的示例，并且是圖64所示的過程的修改。因此，將僅描述與圖64中示出的過程不同的過程，并且將省略其他描述。 在鄰近參考幀的幀被粘貼到第二工作緩沖器之后(步驟S1025)，計算粘貼到第一工作緩沖器的歷史圖像和粘貼到第二工作緩沖器的幀之間的法線矢量(步驟S1041)。該法線矢量通過圖61A和61B中所示的計算方法計算。 此外，在已經(jīng)關(guān)于每個合成目標圖像完成法線矢量的計算的情況下(步驟S1027)，關(guān)于每個合成目標圖像計算計算的法線矢量的積分值，將通過積分獲得的法線矢量的方向計算為添加陰影的方向(步驟S1042)。隨后，計算的添加陰影的方向存儲在合成目標圖像元數(shù)據(jù)存儲單元277中(步驟S1043)。 圖66是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置102的合成圖像顯示處理的過程的流程圖。該過程是圖37所示的過程的修改，因此，與圖37中所示的過程相同的過程將用相同的參考標號表示，并且這里將省略其描述。 圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1051)，并且在圖像存儲器230保持已經(jīng)添加裝飾圖像的圖像(步驟S1052)。也就是說，關(guān)于在圖像存儲器230保持的歷史圖像合成已經(jīng)添加裝飾圖像的、經(jīng)歷仿射變換的圖像。 此外，在最前面的幀不是圖像合成目標部分處的頂部幀的情況下(步驟S973)，執(zhí)行圖像合成處理(步驟S1060)。將參照圖67詳細描述該圖像合成處理。 圖67是圖示通過根據(jù)本發(fā)明第四實施例的圖像處理裝置102的合成圖像顯示處
理的過程中包括的圖像合成過程(圖66中所示的步驟S1060的過程)的流程圖。該過程
是圖38所示的過程的修改，因此，與圖38中所示的過程相同的過程將用相同的參考標號表
示，并且這里將省略其描述。 圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾圖像添 加到經(jīng)歷仿射變換的圖像的外圍(步驟S1061)，并且在圖像存儲器230處保持已經(jīng)添加裝 飾圖像的圖像(步驟S1062)。 此外，圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾 圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1063)，并且在圖像存儲器230處保持已經(jīng) 添加裝飾圖像的圖像(步驟S1064)。 此外，圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾
圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1065)，并且在圖像存儲器230處保持已經(jīng)
添加裝飾圖像的圖像(步驟S1066)。 5.第五實施例 圖像處理裝置的配置示例 接下來，將參照附圖，關(guān)于下述情況詳細進行描述，其中通過多核處理器執(zhí)行根據(jù) 本發(fā)明第五實施例的特征點提取處理和光流計算處理。 圖68是圖示根據(jù)本發(fā)明第五實施例的多核處理器800的配置示例的圖。多核處理 器800是其中以單個CPU(中央處理單元)封裝實現(xiàn)不同類型的處理器核心的處理器。具 體地，在多核處理器800中實現(xiàn)可以處理所有應(yīng)用的兩類處理器核心，以維持每個處理器 核心的處理能力并實現(xiàn)簡單的配置。兩類處理器核心是對于預(yù)定應(yīng)用部分優(yōu)化的一類核心 和另一類核心。 多核處理器800包括控制處理器核心801、算術(shù)處理器核心(#1)811到(#8)818、 以及總線802，并且連接到主存儲器781 。此外，多核處理器800連接到其他設(shè)備，例如圖形 設(shè)備782、I/0設(shè)備783等。作為多核處理器800，例如，可采用作為由本申請人開發(fā)的微處 理器的Cell (單元)(Cell主板引擎)等。 控制處理器801是配置為主要執(zhí)行頻繁的線程切換(如操作系統(tǒng)等)的控制處理 器核心。注意，將參照圖69詳細描述控制處理器核心801。 算術(shù)處理器核心(#1)811到(#8)818是簡單的小算術(shù)處理器核心，其擅長多媒體
系統(tǒng)的處理。注意，將參照圖70詳細描述算術(shù)處理器核心(#1)811到(#8)818。 總線802是成為元件互連總線(EIB)的高速總線。此夕卜，總線802連接到控制處
理器801，并且算術(shù)處理器核心(#1)811到(#8)818的每個、以及通過每個處理器核心的數(shù)
據(jù)訪問經(jīng)由總線802執(zhí)行。 主存儲器781連接到總線802，并且是存儲要由每個處理器核心加載的各類程序、 用于每個處理器核心處理的數(shù)據(jù)、以及通過每個處理器核心處理的時間的主存儲器。
圖形設(shè)備782是連接到總線802的圖形設(shè)備，并且I/O設(shè)備783是連接到總線802 的外部輸入/輸出設(shè)備。 圖69是圖示根據(jù)本發(fā)明第五實施例的控制處理器核心801的配置示例的圖?？刂铺幚砥骱诵?01包括控制處理器單元803、以及控制處理器存儲系統(tǒng)806。
控制處理器單元803是構(gòu)成配置為執(zhí)行控制處理器核心801的算術(shù)處理的核心的單元。此外，控制處理器單元803包括以微處理器的架構(gòu)為基礎(chǔ)的命令集。命令高速緩沖存儲器804和數(shù)據(jù)高速緩沖存儲器805在控制處理器單元803中實現(xiàn)為主高速緩沖存儲器。命令高速緩沖存儲器804是例如32KB的命令高速緩沖存儲器，并且數(shù)據(jù)高速緩沖存儲器805是例如32KB的高速緩沖存儲器。 控制處理器存儲系統(tǒng)806是控制從控制處理器單元803到主存儲器781的數(shù)據(jù)訪問的單元。此外，在控制處理器存儲系統(tǒng)806的情況下，安裝812KB的次級高速緩沖存儲器807，以增加從控制處理器單元803的存儲器訪問速度。 圖70是圖示根據(jù)本發(fā)明第五實施例的算術(shù)處理器核心(#1)811的配置示例的圖。算術(shù)處理器核心(#1)811包括算術(shù)處理器單元820和存儲器流控制器822。注意，算術(shù)處理器核心(#2)812到(#8)818具有與算術(shù)處理器核心(#1)811相同的配置，因此這里將省略其描述。 算術(shù)處理器單元820是用作執(zhí)行算術(shù)處理器核心(#1)811的算術(shù)處理的核心的單元，并且包括與控制處理器核心801的控制處理器單元803不同的原始命令集。此外，本地存儲(Local store, LS)821實現(xiàn)在算術(shù)處理器單元820中。 本地存儲821是算術(shù)處理器單元820的專用存儲器，并且是可直接引用算術(shù)處理器單元820的唯一的存儲器。例如，其容量為256KB的存儲器可用作本地存儲821。注意，算術(shù)處理器單元820必須利用存儲器流控制器822來訪問主存儲器781之上的本地存儲和其他算術(shù)處理器核心(算術(shù)處理器核心(#2)812到(#8)818)。 存儲器流控制器822是用于與主存儲器781或其他算術(shù)處理器核心等交換數(shù)據(jù)的單元，并且是成為存儲器流控制器(MFC)的單元。這里，算術(shù)處理器單元820經(jīng)由稱為信道的接口 ，請求關(guān)于存儲器流控制器822的數(shù)據(jù)傳送等。 已經(jīng)提出了各種模型，作為上述多核處理器800的編程模型。下述模型作為該編程模型的最基本的模型為人熟知，其中在控制處理器核心801上執(zhí)行主程序，并且在算術(shù)處理器核心(#1)811到(#8)818上執(zhí)行子程序。在本發(fā)明第五實施例的情況下，將參照附圖詳細描述使用該模型的多核處理器800的計算方法。 圖71是示意性圖示根據(jù)本發(fā)明第五實施例的多核處理器800的計算方法的圖。在該示例的情況下，示出了這樣的示例，其中在多核處理器800使用數(shù)據(jù)785執(zhí)行任務(wù)784的情況下，控制處理器核心801為作為任務(wù)784的一部分的任務(wù)786的處理，控制每個算術(shù)處理器核心使用數(shù)據(jù)787 (數(shù)據(jù)785的一部分)，以執(zhí)行任務(wù)786。 如圖71所示，在控制處理器核心801使用數(shù)據(jù)785來執(zhí)行任務(wù)784的情況下，控制處理器核心801為作為任務(wù)784的一部分的任務(wù)786的處理，控制每個算術(shù)處理器核心使用數(shù)據(jù)787 (數(shù)據(jù)785的一部分)，以執(zhí)行任務(wù)786。在本發(fā)明第五實施例的情況下，通過構(gòu)成運動畫面的每幀的每個算術(shù)處理器核心執(zhí)行計算處理。 如圖71所示，多核處理器800執(zhí)行計算，從而算術(shù)處理器核心(#1)811到(#8)818并行使用，并且可以以相對小的時間執(zhí)行許多計算。此外，在算術(shù)處理器核心(#1)811到(#8)818上執(zhí)行單指令/多數(shù)據(jù)(SIMD)計算，從而可以以相對小量的命令執(zhí)行相對多的計算。注意，將參照圖75到78詳細描述SIMD計算。
59
圖72是示意性圖示在通過根據(jù)本發(fā)明第五實施例的多核處理器800執(zhí)行的計算的情況下的程序和數(shù)據(jù)流的圖。注意，將關(guān)于算術(shù)處理器核心(#1)811到(#8)818的算術(shù)處理器核心(#1)811作為示例進行描述，但是還可關(guān)于算術(shù)處理器核心(#2)812到(#8)818類似地執(zhí)行計算。 首先，控制處理器核心801向算術(shù)處理器核心(#1)811傳輸將存儲在主存儲器781中的算術(shù)處理器核心程序823加載到算術(shù)處理器核心(#1)811的本地存儲821的指令。因此，算術(shù)處理器核心(#1)811將在主存儲器781中的算術(shù)處理器核心程序823加載到本地存儲821。 隨后，控制處理器核心801指令算術(shù)處理器核心(#1)811執(zhí)行本地存儲821中存儲的算術(shù)處理器核心程序825。 算術(shù)處理器核心(#1)811將用于存儲在本地存儲821中的算術(shù)處理器核心程序825的執(zhí)行處理的數(shù)據(jù)從主存儲器781傳送到本地存儲821。 算術(shù)處理器核心(#1)811基于本地存儲821中存儲的算術(shù)處理器核心程序825，處理從主存儲器781傳送的數(shù)據(jù)826，并且執(zhí)行根據(jù)在本地存儲821中存儲處理結(jié)果的情況的處理。 算術(shù)處理器核心(#1)811將處理結(jié)果從本地存儲821傳送到主存儲器781，該處理
結(jié)果基于本地存儲821中存儲的算術(shù)處理器核心程序825而執(zhí)行。 算術(shù)處理器核心(#1)811向控制處理器核心801通知計算的結(jié)束。 接下來，將參照附圖詳細描述使用多核處理器800執(zhí)行的SMD計算。這里，SMD
計算是其中以單個命令執(zhí)行關(guān)于多個數(shù)據(jù)的處理的計算方法。 在圖73中，(a)是示意性圖示安排來通過每個對應(yīng)的命令執(zhí)行關(guān)于多個數(shù)據(jù)的處理的計算方法的概述的圖。圖73(a)中所示的計算方法是通常的計算方法，并且被稱為例如標量計算。例如，以用于將數(shù)據(jù)"A1"和數(shù)據(jù)"B1"相加的命令獲得數(shù)據(jù)"C1"的處理結(jié)果。此外，關(guān)于其他三個計算，類似地，也關(guān)于每個計算分別執(zhí)行對同一行的數(shù)據(jù)"A2"、 "A3"和"A4"以及數(shù)據(jù)"B2"、"B3"和"B4"相加的命令。根據(jù)該命令，每行的值相加，并且其處理結(jié)果獲得為數(shù)據(jù)"C2"、"C3"和"C4"。因此，在標量計算的情況下，關(guān)于多個數(shù)據(jù)，必須關(guān)于每個處理執(zhí)行命令。 在圖73中，(b)是示意性圖示作為安排來通過單個命令執(zhí)行關(guān)于多個數(shù)據(jù)的處理的計算方法的SIMD計算的概述的圖?，F(xiàn)在，對SIMD計算積分的數(shù)據(jù)(用虛線827和828圍繞的每塊數(shù)據(jù))在一些情況下稱為矢量數(shù)據(jù)。此外，使用這樣的矢量數(shù)據(jù)執(zhí)行的SIMD計算在一些情況下稱為矢量計算。 例如，根據(jù)將用虛線827圍繞的矢量數(shù)據(jù)、以及用虛線828圍繞的矢量數(shù)據(jù)相加的單個命令，獲得對應(yīng)的結(jié)果(用虛線829圍繞的數(shù)據(jù))"C1"、"C2"、"C3"和"C4"。這里，用虛線827圍繞的矢量數(shù)據(jù)是"A1"、"A2"、"A3"和"A4"，并且用虛線828圍繞的矢量數(shù)據(jù)是"B1"、"B2"、"B3"和"B4"。因此，在SIMD計算的情況下，可通過單個命令執(zhí)行關(guān)于多個數(shù)據(jù)的處理，因此，可快速地執(zhí)行計算。此外，多核處理器800的控制處理器核心801執(zhí)行與這些SMD計算相關(guān)的命令，并且算術(shù)處理器核心(#1)811到(#8)818關(guān)于這樣的命令，執(zhí)行關(guān)于多個數(shù)據(jù)的計算的并行處理。 另一方面，例如，通過SMD計算不實現(xiàn)"A1"和"B1"之間相加的處理、"A2"和"B2"之間相減的處理、"A3"和"B3"之間相乘的處理、以及"A4"和"B4"之間相除的處理。也就是說，在關(guān)于多個數(shù)據(jù)的每個執(zhí)行不同處理的情況下，不實現(xiàn)通過SMD計算的處理。
接下來，將參照附圖，詳細描述在執(zhí)行特征點提取處理和光流計算處理的情況下的SMD計算的具體計算方法。 圖74是圖示根據(jù)本發(fā)明的第五實施例、通過控制處理器核心801或算術(shù)處理器核心(#1)811執(zhí)行的程序的配置示例的圖。這里，將僅圖示算術(shù)處理器核心(#1)811，關(guān)于算術(shù)處理器核心(#2)812到(#8)818也將執(zhí)行相同的處理。 控制處理器核心801執(zhí)行作為解碼851的解碼852、交織853，和調(diào)整大小854。解碼852是解碼運動畫面文件的處理。交織853是移除解碼的每幀的交織的處理。調(diào)整大小854是縮小已經(jīng)移除交織的每幀的處理。 此外，控制處理器核心801執(zhí)行作為算術(shù)處理器核心管理856的命令傳輸857和859、以及終止通知接收858和860。命令傳輸857和859是傳輸關(guān)于算術(shù)處理器核心(#1)811到(#8)818的SMD計算的執(zhí)行命令的處理。此外，終止通知接收858和860是用于關(guān)于上述命令、從算術(shù)處理器核心(#1)811到(#8)818接收SMD計算的終止通知的處理。此外，控制處理器核心801執(zhí)行作為相機工作檢測861的相機工作參數(shù)計算處理862。相機工作參數(shù)計算處理862是基于通過算術(shù)處理器核心(#1)811到(#8)818的SMD計算而計算的光流、對每幀計算仿射變換參數(shù)的處理。 算術(shù)處理器核心(#1) 811執(zhí)行作為特征點提取處理863的Sobel濾波器處理864、第二時刻矩陣處理865。此外，算術(shù)處理器核心(#1)811執(zhí)行可分開的濾波器處理866、Harris角落點提取(Calc Harris)處理867、擴張?zhí)幚?68和分類處理869。
Sobel濾波器處理864是計算通過使用(x方向)P2濾波器獲得的X方向上的值dx、以及通過使用Y方向上的濾波器獲得的y方向的值dy的處理。注意，將參照圖75到78詳細描述x方向的值dx的計算。 第二時刻矩陣處理865是通過使用由Sobel濾波器處理864計算的dx和dy計算dx2、 dy2、 dx dy的每個值的處理。 可分開的濾波器處理866是向通過第二時刻矩陣處理865計算的dx2、 dy2、 dx dy的值的圖像應(yīng)用高斯濾波器(模糊處理)的處理。 Harris角落點提取處理867是使用通過可分開的濾波器處理866經(jīng)歷模糊處理的dx2、dy2、dx 的每個值來計算Harris角落的處理。例如通過下面的表達式計算該Harris角落的分數(shù)S。
<formula>formula see original document page 61</formula>
擴張?zhí)幚?68是關(guān)于由通過Harris角落點提取處理867計算的Harris角落的分數(shù)構(gòu)成的圖像執(zhí)行模糊處理的處理。 分類處理869是下述處理，其按通過Harris角落點提取處理867計算的Harris角落的分數(shù)的降序分類像素，從具有最高分數(shù)的像素起按預(yù)定數(shù)量的像素拾取像素，并且提取該拾取的像素作為特征點。 算術(shù)處理器核心(#1) 811執(zhí)行作為光流計算處理870的錐形(pyramid)圖像創(chuàng)建處理871，并執(zhí)行光流計算處理872。 錐形圖像創(chuàng)建處理871是順序創(chuàng)建從在通過相機成像時的圖像大小起、通過預(yù)定數(shù)量的階段縮小的圖像的處理，并且創(chuàng)建的圖像稱為多分辨率圖像。 光流計算處理872是關(guān)于通過錐形圖像創(chuàng)建處理871創(chuàng)建的多分辨率圖像的最小圖像計算光流的處理，并且使用該計算結(jié)果來關(guān)于具有最小圖像的高一級的分辨率的圖像再次計算光流。重復(fù)執(zhí)行該系列的處理，直到要處理的圖像到達最大圖像。
因此，例如，使用多核處理器800與SMD計算并行地執(zhí)行特征點提取處理和光流計算處理，從而可以獲得處理結(jié)果。這里，例如，特征點提取處理是通過圖2等所示的特征點提取單元121執(zhí)行的特征點提取處理，并且光流計算處理是通過光流計算單元122執(zhí)行的光流計算處理。注意，圖74等所示的特征點提取處理和光流計算處理是示例，包括關(guān)于構(gòu)成運動畫面的圖像的各種濾波器處理和閾值處理等的另一處理可用來由多核處理器800執(zhí)行SMD計算。 圖75是示意性圖示在根據(jù)本發(fā)明第五實施例的主存儲器781中存儲的圖像數(shù)據(jù)經(jīng)歷使用Sobel濾波器830的濾波處理的情況下的數(shù)據(jù)結(jié)構(gòu)和處理流程的圖。該圖像數(shù)據(jù)是對應(yīng)于構(gòu)成由相機成像的運動畫面的單個幀的圖像數(shù)據(jù)。注意，圖75中示出的主存儲器781中存儲的數(shù)據(jù)是以水平像素的數(shù)量為32像素的簡化的方式。此外，Sobel濾波器830是3X3邊緣提取濾波器。如圖75所示，主存儲器781中存儲的圖像數(shù)據(jù)經(jīng)歷使用Sobel濾波器830的濾波處理，并且輸出該濾波處理的結(jié)果。在該示例的情況下，將關(guān)于其中使用SIMD計算來一次獲得四個濾波器的結(jié)果的示例進行描述。 圖76是示意性圖示根據(jù)本發(fā)明第五實施例、在Sobel濾波器830用于執(zhí)行關(guān)于主存儲器781中存儲的圖像數(shù)據(jù)的SIMD計算的情況下的數(shù)據(jù)流的圖。首先，包括主存儲器781中存儲的圖像數(shù)據(jù)的第一行的預(yù)定數(shù)量的行以DMA(直接存儲器存取)方式傳送到提供到算術(shù)處理器核心的本地存儲821的第一緩沖器831。此外，預(yù)定數(shù)量的行以DMA方式傳送到第二緩沖器832，在該預(yù)定數(shù)量的行中，以DMA方式傳送到第一緩沖器831的每行向下偏移一行。這里，預(yù)定數(shù)量的行是例如三行。因此，使用雙重緩沖器，從而可以彌補由于DMA傳輸導(dǎo)致的延遲。 圖77是示意性圖示根據(jù)本發(fā)明第五實施例、在使用Sobel濾波器830執(zhí)行濾波處理的情況下、安排來從第一緩沖器830中存儲的圖像數(shù)據(jù)創(chuàng)建九個矢量的矢量創(chuàng)建方法的圖。如圖76所示，在執(zhí)行DMA傳送之后，從第一緩沖器830中存儲的圖像數(shù)據(jù)創(chuàng)建九個矢量。具體地，在第一緩沖器830中存儲的圖像數(shù)據(jù)的第一行的情況下，用來自左邊角落的四條數(shù)據(jù)創(chuàng)建矢量數(shù)據(jù)841，并且根據(jù)通過將上面的四條向右側(cè)移動一個而獲得的四條數(shù)據(jù)，創(chuàng)建矢量數(shù)據(jù)842。類似地，根據(jù)通過將上面的四條向右側(cè)移動一個而獲得的四條數(shù)據(jù)，創(chuàng)建矢量數(shù)據(jù)843。此外，在第二和第三行的情況下，類似地，用四條數(shù)據(jù)創(chuàng)建矢量數(shù)據(jù)844到849。 圖78是示意性圖示根據(jù)本發(fā)明第五實施例、使用Sobel濾波器830執(zhí)行濾波處理的情況下、安排來使用SIMD計算來執(zhí)行關(guān)于矢量數(shù)據(jù)841到849的矢量計算的矢量計算方法的圖。具體地，關(guān)于矢量數(shù)據(jù)841到843順序地執(zhí)行SIMD計算，從而獲得矢量A。在該SMD計算的情況下，首先，執(zhí)行-1X矢量數(shù)據(jù)841的SMD計算。接下來，執(zhí)行OX矢量數(shù)據(jù)842的計算和1X矢量數(shù)據(jù)843的SMD計算。這里，關(guān)于OX矢量數(shù)據(jù)842，計算結(jié)果已經(jīng)確定為O，因此可以省略該計算。此外，關(guān)于1X矢量數(shù)據(jù)843，計算結(jié)果已經(jīng)確定為與矢量數(shù)據(jù)843相同的值，因此可以省略該計算。
62
隨后，用SMD計算執(zhí)行-IX矢量數(shù)據(jù)841的計算結(jié)果和OX矢量數(shù)據(jù)842的計算結(jié)果之間的加法處理。隨后，用SMD計算執(zhí)行上述加法處理的結(jié)果和IX矢量數(shù)據(jù)843的計算結(jié)果之間的加法處理。這里，例如，用作矢量數(shù)據(jù)IX矢量數(shù)據(jù)2+矢量數(shù)據(jù)3的數(shù)據(jù)結(jié)構(gòu)的計算可用SIMD計算實現(xiàn)。因此，關(guān)于矢量A的計算，將省略例如關(guān)于OX矢量數(shù)據(jù)842和IX矢量數(shù)據(jù)843的SMD計算。隨后，可用一次SMD計算執(zhí)行_1X矢量數(shù)據(jù)841+矢量數(shù)據(jù)843。 此外，類似地，關(guān)于矢量數(shù)據(jù)844到846執(zhí)行SMD計算以獲得矢量B，關(guān)于矢量數(shù)據(jù)847到849執(zhí)行S頂D計算以獲得矢量C。 隨后，關(guān)于獲得的矢量數(shù)據(jù)A到C執(zhí)行SMD計算以獲得矢量D。因此，執(zhí)行SMD
計算，從而可以同時獲得等效于矢量元素的數(shù)量(該示例中的四條數(shù)據(jù))的結(jié)果。 在計算矢量D之后，利用圖76所示的第一緩沖器831中存儲的圖像數(shù)據(jù)，重復(fù)執(zhí)
行相同的處理，同時將要提取的數(shù)據(jù)的位置向右側(cè)偏移一個，從而順序執(zhí)行關(guān)于每條圖像
數(shù)據(jù)的矢量D的計算。隨后，在已經(jīng)完成直到圖76所示的第一緩沖器831中存儲的圖像數(shù)
據(jù)的右邊緣的處理的情況下，處理結(jié)果以DMA方式傳送到主存儲器781。 隨后，在主存儲器781中存儲的圖像數(shù)據(jù)中，將以DMA方式傳送到第二緩沖器832
的每行向下偏移一個的預(yù)定數(shù)量的行以DMA方式傳送到第一緩沖器831。與該傳送一起關(guān)
于第二緩沖器832中存儲的圖像數(shù)據(jù)重復(fù)執(zhí)行上述處理。隨后，重復(fù)執(zhí)行相同的處理，直到
要處理的行到達主存儲器781中存儲的圖像數(shù)據(jù)的行當下邊緣的行。 類似地，用SMD計算執(zhí)行特征點提取和光流計算的大多數(shù)處理，從而可以實現(xiàn)速度的提高。 圖79是以時間序列方式示意性圖示根據(jù)本發(fā)明第五實施例的相機工作參數(shù)計算處理的流程的圖。如上所述，例如，使用多核處理器800執(zhí)行SMD計算，從而可以并行執(zhí)行關(guān)于運動畫面的解碼和分析處理。因此，與解碼時間相比，可以減少構(gòu)成運動畫面的一幀的分析時間。 例如，在圖79中，tl表示通過控制處理器核心801對構(gòu)成運動畫面的一幀的解碼處理的時間。此外，t2表示通過算術(shù)處理器核心(#1)811到(#8)818對構(gòu)成運動畫面的一幀的特征點提取處理的時間。此外，t3表示通過算術(shù)處理器核心(#1)811到(#8)818對構(gòu)成運動畫面的一幀的光流計算處理的時間。此外，t4表示通過控制處理器核心801對構(gòu)成運動畫面的一幀的相機工作檢測處理的時間。注意，t5表示通過控制處理器核心801和算術(shù)處理器核心(#1)811到(#8)818關(guān)于構(gòu)成運動畫面的一幀的相機工作檢測處理的時間。此外，t6表示通過控制處理器801用于管理算術(shù)處理器核心(#1)811到(#8)818的處理的時間。例如，可以進行這樣的安排，其中tl設(shè)置為25. Oms， t2設(shè)置為7. 9ms， t3設(shè)置為6. 7ms， t4設(shè)置為1. 2ms，并且t5設(shè)置為15. 8ms。 接下來，將參照附圖，關(guān)于在播放使用根據(jù)本發(fā)明第五實施例的元數(shù)據(jù)文件的運動畫面內(nèi)容的情況詳細進行描述。 在圖80中，(a)是示意性圖示作為記錄介質(zhì)的示例的藍光盤(注冊商標)880的頂視圖，并且圖80(b)是示意性圖示在藍光盤880中的數(shù)據(jù)881到數(shù)據(jù)884的圖。例如，運動畫面內(nèi)容882、字幕883、元數(shù)據(jù)884和Java(注冊商標)程序881記錄在藍光盤880中。例如，運動畫面內(nèi)容882是通過相機等成像的運動畫面，字幕883是運動畫面內(nèi)容882的字幕，并且元數(shù)據(jù)884是通過分析運動畫面內(nèi)容882獲得的元數(shù)據(jù)(例如，圖3、4等中示出的 每條信息)。此外，Java程序881是根據(jù)用本發(fā)明的每個實施例回放的運動畫面的Java程序。 在圖80中，(c)是示意性圖示能夠播放藍光盤880的藍光播放器的內(nèi)部配置的圖。 這里，在能夠播放藍光盤的藍光播放器890的情況下，CPU 891、0S 892、Java VM(Java虛擬 機)以及庫893默認實現(xiàn)，因此，可以執(zhí)行Java程序。因此，藍光盤880安裝在藍光播放器 890上，從而藍光播放器890可以加載和執(zhí)行Java程序881 。因此，在藍光播放器890播放 運動畫面內(nèi)容882的情況下，元數(shù)據(jù)884用于執(zhí)行對應(yīng)于根據(jù)本發(fā)明每個實施例的運動畫 面的全景式圖像的顯示，從多個運動畫面中搜索運動畫面等。也就是說，可以全部用藍光播 放器實現(xiàn)根據(jù)本發(fā)明的每個實施例的運動畫面回放，而不用專用PC軟件等。
如上所述，根據(jù)本發(fā)明實施例，可以準確地傳達成像位置處的環(huán)境、其空間的狀況 等，并且可以識別其成像位置處的成像空間。此外，可以使得其運動畫面看起來更有趣，并 且可以提高與運動畫面相關(guān)的興趣。例如，認為與照片相比，大多數(shù)用戶滿意于運動畫面的 一次成像，并且不重復(fù)觀看成像的運動畫面。因此，在本發(fā)明實施例的情況下，從運動畫面 選擇突出的圖像，并且從該圖像創(chuàng)建合成圖像，從而可以容易地提供再次觀看通過運動畫 面成像的場景的機會。例如，可以以全景式方式合成多個圖像，以創(chuàng)建一個合成圖像，使得 多個紙質(zhì)照片重疊。 此外，在本發(fā)明實施例的情況下，已經(jīng)以在顯示單元上顯示合成圖像的圖像處理 裝置為示例進行了描述，但是本發(fā)明實施例可應(yīng)用于這樣的圖像處理裝置，其中輸出圖像 信息的圖像輸出單元用于在另一圖像顯示裝置上顯示合成圖像。此外，本發(fā)明實施例可應(yīng) 用于能夠播放運動畫面的運動畫面播放器、能夠播放成像的運動畫面的如數(shù)字攝像機等的 成像裝置、能夠顯示基于圖像數(shù)據(jù)的圖像的相框等。 此外，在本發(fā)明實施例的情況下，已經(jīng)以圖像處理裝置為示例進行了描述，但是本 發(fā)明實施例可應(yīng)用到能夠播放運動畫面的運動畫面播放器等。此外，在本發(fā)明實施例的情 況下，已經(jīng)關(guān)于通過相機成像的運動畫面進行了描述，但是本發(fā)明實施例還可應(yīng)用到例如 運動畫面等，其中在編輯通過相機成像的運動畫面的情況下，部分地合成編輯后的運動圖 像或動畫等。 注意，如上所述，本發(fā)明實施例圖示了用于實現(xiàn)本發(fā)明的示例關(guān)于發(fā)明內(nèi)容中的 每個發(fā)明指定組件有對應(yīng)關(guān)系。然而，本發(fā)明不限于上述實施例，并且可以進行各種改變而 不背離本發(fā)明的實質(zhì)和精神。 此外，本發(fā)明實施例中描述的過程可以認為是包括一系列過程的方法，或可以認 為是用于使得計算機執(zhí)行該系列過程的程序，或可以認為是配置為存儲其程序的記錄介 質(zhì)。例如，CD(致密盤)、MD(迷你盤)、DVD(數(shù)字多功能盤)、存儲卡、藍光盤(注冊商標) 等可用作其記錄介質(zhì)。 本申請包含涉及于2008年10月27日向日本專利局提交的日本優(yōu)先權(quán)專利申請 JP 2008-275143中公開的主題，在此通過引用并入其全部內(nèi)容。 本領(lǐng)域技術(shù)人員應(yīng)當理解，依賴于設(shè)計需求和其他因素可以出現(xiàn)各種修改、組合、 子組合和更改，只要它們在權(quán)利要求或其等效物的范圍內(nèi)。
6權(quán)利要求
一種圖像處理裝置，包括最前面圖像的信息存儲單元，配置為存儲關(guān)于最前面圖像的信息，該最前面圖像是用作構(gòu)成成像的運動畫面的成像的圖像的合成目標的多個合成目標圖像中的一個圖像；變換信息存儲單元，配置為存儲變換信息，所述變換信息用于以所述最前面圖像作為參考，變換所述多個合成目標圖像的另一合成目標圖像；圖像變換單元，配置為基于所述變換信息，從位于時間軸上的最前面或最后的所述合成目標圖像起，朝向所述最前面圖像順序變換所述多個合成目標圖像；圖像合成單元，配置為順序重寫合成所述變換的合成目標圖像，以生成合成圖像；以及顯示控制單元，配置為順序地顯示所述合成圖像。
2. 如權(quán)利要求1所述的圖像處理裝置，其中所述最前面圖像是位于時間軸上的最前面 或最后的所述合成目標圖像以外的所述合成目標圖像；并且其中所述圖像變換單元基于所述變換信息，變換鄰近所述最前面圖像的所述合成 目標圖像，此后從位于時間軸上的所述變換的合成目標圖像的相對側(cè)的邊緣部分處的所述 合成目標圖像起，朝向所述最前面圖像順序變換所述多個合成目標圖像。
3. 如權(quán)利要求1所述的圖像處理裝置，其中所述圖像合成單元將裝飾圖像添加到所 述變換的合成目標圖像的外圍，并且順序地重寫合成已經(jīng)對其添加裝飾圖像的合成目標圖 像，以生成合成圖像。
4. 如權(quán)利要求1所述的圖像處理裝置，還包括操作接受單元，配置為接受指定操作，該指定操作用于指定是否從時間軸上的哪個邊 緣部分起執(zhí)行所述變換；其中所述圖像變換單元從位于所述指定的邊緣部分處的所述合成目標圖像起，朝向所 述最前面圖像執(zhí)行所述變換。
5. 如權(quán)利要求l所述的圖像處理裝置，還包括 對象檢測單元，配置為檢測所述合成目標圖像中包括的對象；其中在所述對象包括在所述變換的合成目標圖像中的情況下，為了防止下一合成目標 圖像重寫在包括該對象的對象區(qū)域上，所述圖像合成單元移動并且重寫合成該下一合成目 標圖像。
6. 如權(quán)利要求1所述的圖像處理裝置，其中所述多個合成目標圖像是基于所述變換信 息變換和合成的圖像，從而創(chuàng)建對應(yīng)于所述成像的運動畫面中包括的成像空間的一部分的 全景圖像。
7. —種圖像處理方法，包括下述步驟以用作構(gòu)成成像的運動畫面的成像的圖像的合成目標的多個合成目標圖像中的一個 圖像作為最前面圖像，并且以所述最前面圖像作為參考，基于用于變換所述多個合成目標 圖像的另一合成目標圖像的變換信息，從位于時間軸上的最前面或最后的所述合成目標圖 像起，朝向所述最前面圖像順序變換所述多個合成目標圖像；順序地重寫合成所述變換的合成目標圖像，以生成合成圖像；以及順序地顯示所述合成圖像。
8. —種使得計算機執(zhí)行下述處理的程序以用作構(gòu)成成像的運動畫面的成像的圖像的合成目標的多個合成目標圖像中的一個圖像作為最前面圖像，并且以所述最前面圖像作為參考，基于用于變換所述多個合成目標 圖像的另一合成目標圖像的變換信息，從位于時間軸上的最前面或最后的所述合成目標圖 像起，朝向所述最前面圖像順序變換所述多個合成目標圖像；順序地重寫合成所述變換的合成目標圖像，以生成合成圖像；以及順序地顯示所述合成圖像。
全文摘要
一種圖像處理裝置，包括最前面圖像的信息存儲單元，配置為存儲關(guān)于最前面圖像的信息，該最前面圖像是用作構(gòu)成成像的運動畫面的成像的圖像的合成目標的多個合成目標圖像中的一個圖像；變換信息存儲單元，配置為存儲變換信息，所述變換信息用于以所述最前面圖像作為參考，變換所述多個合成目標圖像的另一合成目標圖像；圖像變換單元，配置為基于所述變換信息，從位于時間軸上的最前面或最后的所述合成目標圖像起，朝向所述最前面圖像順序變換所述多個合成目標圖像；圖像合成單元，配置為順序重寫合成所述變換的合成目標圖像，以生成合成圖像；以及顯示控制單元，配置為順序地顯示所述合成圖像。
文檔編號H04N5/91GK101729784SQ20091020689
公開日2010年6月9日 申請日期2009年10月27日 優(yōu)先權(quán)日2008年10月27日
發(fā)明者鶴見辰吾 申請人:索尼株式會社