專(zhuān)利名稱(chēng)：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置，并且具體地，涉及分析圖像以執(zhí)行圖像處理的圖像處
理裝置和圖像處理方法、以及使得計(jì)算機(jī)執(zhí)行其方法的程序。
背景技術(shù)：
近年來(lái)，如數(shù)字?jǐn)z像機(jī)的成像裝置(例如，集成相機(jī)/記錄器)已經(jīng)得到廣泛使 用。例如，游覽各個(gè)旅游景點(diǎn)的游客將經(jīng)常在背景中具有著名建筑物或風(fēng)景等的情況下，使 用成像裝置拍攝一個(gè)人或多個(gè)人的運(yùn)動(dòng)畫(huà)面。 例如可以在家中使用播放器播放由此拍攝的運(yùn)動(dòng)畫(huà)面。然而，在使用播放器來(lái)播 放運(yùn)動(dòng)畫(huà)面的情況下，從開(kāi)始播放整個(gè)運(yùn)動(dòng)畫(huà)面可能意味著播放時(shí)間被延長(zhǎng)，并且存在對(duì) 運(yùn)動(dòng)畫(huà)面的興趣可能降低的可能性。而且，播放在多個(gè)旅游景點(diǎn)拍攝的多個(gè)運(yùn)動(dòng)畫(huà)面可能 意味著播放時(shí)間被進(jìn)一步延長(zhǎng)，并且對(duì)于觀看所有運(yùn)動(dòng)畫(huà)面的興趣可能降低。而且，用于觀 看運(yùn)動(dòng)畫(huà)面的時(shí)間相對(duì)長(zhǎng)，因此，觀看者通常滿(mǎn)意于觀看已經(jīng)播放和觀看的運(yùn)動(dòng)畫(huà)面一次， 因此，很少有對(duì)于重復(fù)觀看這樣的運(yùn)動(dòng)畫(huà)面的需求。 因此，例如，已經(jīng)提出了這樣的播放器，其在顯示單元上顯示膠片滾動(dòng)(roll)圖 像(例如，參見(jiàn)日本未審專(zhuān)利申請(qǐng)公開(kāi)No. 2008-167155)。該膠片滾動(dòng)圖像例如是這樣的圖 像，其中表示構(gòu)成運(yùn)動(dòng)畫(huà)面的場(chǎng)景的靜態(tài)圖像的縮略圖像以對(duì)應(yīng)于每個(gè)場(chǎng)景的場(chǎng)景的回放 時(shí)間點(diǎn)的順序布置。

發(fā)明內(nèi)容
根據(jù)上述現(xiàn)有技術(shù)，在觀看在多個(gè)旅游景點(diǎn)拍攝的多個(gè)運(yùn)動(dòng)畫(huà)面的情況下，例如， 用戶(hù)可以容易地理解這些運(yùn)動(dòng)畫(huà)面的整體內(nèi)容。 然而，在顯示表示構(gòu)成運(yùn)動(dòng)畫(huà)面的每個(gè)場(chǎng)景的縮略圖像的情況下，顯示對(duì)應(yīng)于其 縮略圖像的成像范圍，但是沒(méi)有顯示對(duì)應(yīng)于其縮略圖像的場(chǎng)景處的其他成像空間。例如，在 其場(chǎng)景的成像范圍中包括人、并且可以容易地綜合已經(jīng)拍攝其場(chǎng)景的地點(diǎn)、周?chē)沫h(huán)境等 的情況下，可以預(yù)期可促進(jìn)對(duì)其場(chǎng)景的興趣。在此情況下，例如，選擇對(duì)用戶(hù)有吸引力的圖 像是重要的，從而促進(jìn)對(duì)其運(yùn)動(dòng)畫(huà)面的興趣。
已經(jīng)發(fā)現(xiàn)期望提高對(duì)運(yùn)動(dòng)畫(huà)面的興趣。 根據(jù)本發(fā)明實(shí)施例，提供了 一種圖像處理裝置和圖像處理方法、以及使得計(jì)算機(jī) 執(zhí)行該方法的程序，該圖像處理裝置包括計(jì)算單元，配置為計(jì)算關(guān)于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面 的兩個(gè)圖像之間的運(yùn)動(dòng)信息；以及選擇單元，配置為基于指示所計(jì)算的運(yùn)動(dòng)信息的似然度 的可靠性，從構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的多個(gè)圖像選擇用作合成目標(biāo)的合成目標(biāo)圖像。因 此，提供了這樣的效果基于關(guān)于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的兩個(gè)圖像的運(yùn)動(dòng)信息的可靠性，從 構(gòu)成運(yùn)動(dòng)畫(huà)面的多個(gè)圖像選擇合成目標(biāo)圖像。 此外，所述選擇單元可包括部分選擇單元，配置為基于所述可靠度，選擇用于從 構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的多個(gè)圖像選擇所述合成目標(biāo)圖像的部分；以及圖像選擇單元，配置為基于所選擇的部分中包括的圖像的相對(duì)位置關(guān)系，從所選擇的部分中包括的多個(gè)圖 像選擇所述合成目標(biāo)圖像。因此，提供了這樣的效果基于所述可靠度，選擇用于選擇所述 合成目標(biāo)圖像的部分，并且基于該部分中包括的圖像的相對(duì)位置關(guān)系，選擇所述合成目標(biāo) 圖像。 在所選擇的合成目標(biāo)圖像取為參考圖像、并且已經(jīng)用所述運(yùn)動(dòng)信息轉(zhuǎn)換作為所選 擇的部分中包括的另一圖像的目標(biāo)圖像和所述參考圖像的每個(gè)的情況下，所述圖像選擇單 元可基于所述目標(biāo)圖像和所述參考圖像之間的重疊率選擇新的合成目標(biāo)圖像。因此，提供 了這樣的效果在用所述運(yùn)動(dòng)信息轉(zhuǎn)換所選擇的部分中包括的目標(biāo)圖像和所述參考圖像的 每個(gè)的情況下，基于重疊率選擇新的合成目標(biāo)圖像。 所述圖像處理裝置還可包括確定單元，配置為確定所述圖像中包括的目標(biāo)的屬 性，其中所述圖像選擇單元基于所確定的屬性選擇所述合成目標(biāo)圖像。因此，提供了這樣的 效果基于所確定的屬性選擇所述合成目標(biāo)圖像。 可進(jìn)行這樣的安排，其中所述圖像選擇單元基于所述圖像中包括的每個(gè)目標(biāo)的所 確定的屬性值計(jì)算評(píng)估值，并且基于對(duì)每個(gè)所述目標(biāo)計(jì)算的評(píng)估值選擇所述合成目標(biāo)圖 像。因此，提供了這樣的效果對(duì)所述圖像中包括的每個(gè)目標(biāo)計(jì)算評(píng)估值，并且基于對(duì)每個(gè) 所述目標(biāo)計(jì)算的評(píng)估值選擇所述合成目標(biāo)圖像。 可進(jìn)行這樣的安排，其中所述圖像選擇單元取所選擇的合成目標(biāo)圖像為參考圖 像，并且基于對(duì)作為所選擇的部分中包括的另一圖像的目標(biāo)圖像中包括的每個(gè)目標(biāo)計(jì)算的 所述評(píng)估值、以及對(duì)所述參考圖像中包括的每個(gè)目標(biāo)計(jì)算的所述評(píng)估值，選擇新的合成目 標(biāo)圖像。因此，提供了這樣的效果基于對(duì)所選擇的部分中包括的目標(biāo)圖像中包括的每個(gè)目 標(biāo)計(jì)算的所述評(píng)估值、以及對(duì)所述參考圖像中包括的每個(gè)目標(biāo)計(jì)算的所述評(píng)估值，選擇新 的合成目標(biāo)圖像。 所述部分選擇單元可選擇包括一定范圍的圖像的部分作為所述部分。因此，提供 了這樣的效果選擇包括一定范圍的圖像的部分。 所述圖像處理裝置還可包括可靠度確定分?jǐn)?shù)計(jì)算單元，配置為基于所計(jì)算的運(yùn) 動(dòng)信息，計(jì)算指示用于確定所述可靠度的分?jǐn)?shù)的可靠度確定分?jǐn)?shù)，其中所述運(yùn)動(dòng)信息包括 關(guān)于放大/縮小、平移運(yùn)動(dòng)和旋轉(zhuǎn)的分量，并且其中所述部分選擇單元基于與所述運(yùn)動(dòng)信 息相關(guān)的所計(jì)算的可靠度確定分?jǐn)?shù)、所述平移分量、所述旋轉(zhuǎn)分量、以及所述放大/縮小分 量，選擇所述部分。因此，提供了這樣的效果基于運(yùn)動(dòng)信息計(jì)算可靠度確定分?jǐn)?shù)，并且基于 與所述運(yùn)動(dòng)信息相關(guān)的可靠度確定分?jǐn)?shù)、所述平移分量、所述旋轉(zhuǎn)分量、以及所述放大/縮 小分量，選擇所述部分。 所述計(jì)算單元可包括特征點(diǎn)提取單元，配置為基于構(gòu)成所成像的運(yùn)動(dòng)畫(huà)面的第 一圖像中包括的像素，提取所述第一圖像的特征點(diǎn)；運(yùn)動(dòng)量計(jì)算單元，配置為基于每個(gè)所提 取的特征點(diǎn)，計(jì)算第二圖像關(guān)于所述第一圖像的運(yùn)動(dòng)量，所述第二圖像是跟隨在構(gòu)成所成 像的運(yùn)動(dòng)畫(huà)面的所述第一圖像之后的圖像；以及運(yùn)動(dòng)信息計(jì)算單元，配置為基于所計(jì)算的 運(yùn)動(dòng)量計(jì)算所述運(yùn)動(dòng)信息，其中所述可靠度確定分?jǐn)?shù)計(jì)算單元計(jì)算指示在所提取的特征點(diǎn) 當(dāng)中、在通過(guò)所述運(yùn)動(dòng)信息計(jì)算單元計(jì)算所述運(yùn)動(dòng)信息時(shí)展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的比率的 值，作為所述可靠度確定分?jǐn)?shù)。因此，提供了這樣的效果提取所述第一圖像的特征點(diǎn)，計(jì)算 第二圖像關(guān)于所述第一圖像的運(yùn)動(dòng)量，計(jì)算所述運(yùn)動(dòng)信息，指示在計(jì)算第一圖像的特征點(diǎn)的所述運(yùn)動(dòng)信息時(shí)展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的比率的值被計(jì)算為所述可靠度確定分?jǐn)?shù)。
可進(jìn)行這樣的安排，其中，以構(gòu)成所成像的運(yùn)動(dòng)畫(huà)面的第一圖像作為參考，在基于 所述運(yùn)動(dòng)信息轉(zhuǎn)換第二圖像的情況下，所述第二圖像是跟隨構(gòu)成所成像的運(yùn)動(dòng)畫(huà)面的所述 第一圖像之后的圖像，所述可靠度確定分?jǐn)?shù)計(jì)算單元計(jì)算所述第一圖像和所述第二圖像的 重疊區(qū)域處的像素的輝度差值，并且基于該差值計(jì)算所述可靠度確定分?jǐn)?shù)。因此，提供了 這樣的效果以第一圖像作為參考，計(jì)算在基于所述運(yùn)動(dòng)信息轉(zhuǎn)換第二圖像的情況下、所述 第一和第二圖像的重疊區(qū)域處的像素的輝度差值，并且基于該差值計(jì)算所述可靠度確定分 數(shù)。 所述計(jì)算單元可包括特征點(diǎn)提取單元，配置為基于所述第一圖像中包括的每個(gè) 像素，提取所述第一圖像的特征點(diǎn)；運(yùn)動(dòng)量計(jì)算單元，配置為基于每個(gè)所提取的特征點(diǎn)，計(jì) 算第二圖像關(guān)于所述第一圖像的運(yùn)動(dòng)量；以及運(yùn)動(dòng)信息計(jì)算單元，配置為基于所計(jì)算的運(yùn) 動(dòng)量計(jì)算所述運(yùn)動(dòng)信息，其中所述可靠度確定分?jǐn)?shù)計(jì)算單元計(jì)算在所述重疊區(qū)域中所提取 的特征點(diǎn)當(dāng)中、在通過(guò)所述運(yùn)動(dòng)信息計(jì)算單元計(jì)算所述運(yùn)動(dòng)信息時(shí)展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn) 周?chē)南袼氐妮x度差值，并且基于該差值計(jì)算所述可靠度確定分?jǐn)?shù)。因此，提供了這樣的效 果提取所述第一圖像內(nèi)的特征點(diǎn)，計(jì)算第二圖像關(guān)于所述第一圖像的運(yùn)動(dòng)量以計(jì)算運(yùn)動(dòng) 信息，并且計(jì)算在轉(zhuǎn)換后的第二圖像和第一圖像之間的重疊區(qū)域中，在第一圖像的特征點(diǎn) 中，在計(jì)算所述運(yùn)動(dòng)信息時(shí)展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)周?chē)南袼氐妮x度差值，并且基于該差 值計(jì)算所述可靠度確定分?jǐn)?shù)。 根據(jù)上述配置，提供了可以提高對(duì)運(yùn)動(dòng)畫(huà)面的興趣的出眾的效果。


圖1是圖示根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的功能配置示例的框圖；
圖2是圖示根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元的功能配置示例的框圖；
圖3A和3B是示意性圖示根據(jù)本發(fā)明第一實(shí)施例、在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元和元數(shù)據(jù) 存儲(chǔ)單元中存儲(chǔ)的文件的圖； 圖4是示意性圖示根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元的存 儲(chǔ)內(nèi)容的圖； 圖5A到5C是圖示構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的示例的圖； 圖6A到6C是圖示通過(guò)省略關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的背景等而簡(jiǎn)化的圖像的 圖； 圖7是圖示使用仿射變換參數(shù)而變換矩形的情況的圖； 圖8(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的面部檢測(cè)單元的面部 檢測(cè)方法的圖； 圖9(a)到(c)是概念性圖示用于面部表情評(píng)估值的計(jì)算的判別(discriminant) 軸信息、以及生成該判別軸信息時(shí)的流程的圖； 圖10(a)到(c)是示意性圖示在根據(jù)本發(fā)明第一實(shí)施例的PCA處理時(shí)要輸入的采 樣圖像的遮蓋處理的圖； 圖11是示意性圖示在像素空間和PCA空間中的判別軸、以及要評(píng)估的面部圖像之 間的關(guān)系的6
圖12是圖示在根據(jù)本發(fā)明第一實(shí)施例的面部表情評(píng)估值輸出為數(shù)值的情況下的 計(jì)算示例的圖； 圖13是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的元數(shù)據(jù)記錄處理的過(guò) 程的流程圖； 圖14是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的元數(shù)據(jù)記錄處理的 過(guò)程中包括的仿射變換參數(shù)計(jì)算過(guò)程的流程圖； 圖15(a)到(c)是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖； 圖16(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元選
擇的圖像中包括的被攝體的所在地(locus)的圖； 圖17(a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖18(a)到(c)是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖； 圖19(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元選
擇的圖像中包括的被攝體的所在地的圖； 圖20(a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖21 (a)到(c)是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖； 圖22(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元選
擇的圖像中包括的被攝體的所在地的圖； 圖23(a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖24(a)和(b)是以時(shí)間序列方式圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢 測(cè)單元計(jì)算的可靠度確定分?jǐn)?shù)的圖； 圖25(a)和(b)是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作 檢測(cè)單元計(jì)算的仿射變換參數(shù)計(jì)算的積分變焦分量的圖； 圖26(a)和(b)是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作 檢測(cè)單元計(jì)算的仿射變換參數(shù)計(jì)算的積分平移分量的圖； 圖27A和27B是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分選 擇單元選擇的圖像合成目標(biāo)部分中包括的圖像的圖； 圖28(a)到(d)是示意性圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像選擇 單元選擇合成目標(biāo)圖像的情況下的選擇方法的圖； 圖29(a)到(f)是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分 選擇單元和合成目標(biāo)圖像選擇單元確定的運(yùn)動(dòng)畫(huà)面的圖； 圖30是圖示關(guān)于通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面而選擇的合成目標(biāo)圖像的示例的圖；
圖31 (a)到(d)是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元?jiǎng)?chuàng)建的合成圖 像的轉(zhuǎn)換的圖； 圖32(a)到(d)是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元?jiǎng)?chuàng)建的合成圖 像的轉(zhuǎn)換的圖； 圖33(a)到(c)是通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元?jiǎng)?chuàng)建的合成圖像的另一合成示例； 圖34是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程的流程圖； 圖35是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的部分提取過(guò)程的流程圖； 圖36是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的幀選擇過(guò)程的流程圖； 圖37是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成圖像顯示處理的 過(guò)程的流程圖； 圖38是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成圖像顯示處理 的過(guò)程中包括的圖像合成過(guò)程的流程圖； 圖39是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元的功能配置示例的框 圖； 圖40 (a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元 計(jì)算可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖； 圖41是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元的功能配置示例的框 圖； 圖42(a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元 計(jì)算可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖； 圖43是圖示根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置的功能配置示例的框圖；
圖44A和44B是示意性圖示根據(jù)本發(fā)明第三實(shí)施例的、在參考信息存儲(chǔ)單元和元 數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的內(nèi)容的圖； 圖45是圖示根據(jù)本發(fā)明第三實(shí)施例的顯示單元上顯示的選擇屏幕的示例的圖；
圖46是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元計(jì)算選擇確定 分?jǐn)?shù)使用的分?jǐn)?shù)的示例的圖； 圖47A和47B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元執(zhí)行 幀選擇的情況下的選擇方法的概述的圖； 圖48A和48B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元執(zhí)行 幀選擇的情況下的選擇方法的概述的圖； 圖49是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置的幀選擇處理的過(guò)程的 流程圖； 圖50是圖示根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的功能配置示例的框圖；
圖51是示意性圖示根據(jù)本發(fā)明第四實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元的存 儲(chǔ)內(nèi)容的圖； 圖52A到52C是圖示是被安排來(lái)通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元 確定白框的厚度(heaviness)的確定方法的概述的圖； 圖53A到53C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的裝飾 圖像的示例的圖； 圖54A到54C是圖示通過(guò)根據(jù)本發(fā)明第 實(shí)施例的裝飾圖像確定單元用于裝飾圖像的確定方法的示例的圖； 圖55A和55B是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元用于裝飾圖 像的確定方法的示例的圖； 圖56A到56D是圖示合成通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖57A到57D是圖示合成通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖58A到58D是圖示合成通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖59是圖示考慮到面部的、通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元的 裝飾圖像確定方法的示例的圖； 圖60A到60C是圖示通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元、被確定為要添加 到合成目標(biāo)圖像的裝飾圖像的陰影的示例的圖； 圖61A和61B是圖示被安排來(lái)通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元確定陰影 的方向的確定方法的概述的圖； 圖62是圖示考慮到面部的、通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元的陰影確 定方法的示例的圖； 圖63是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程的流程圖； 圖64是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程的流程圖； 圖65是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程的流程圖； 圖66是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成圖像顯示處理的 過(guò)程的流程圖； 圖67是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成圖像顯示處理的 過(guò)程中包括的圖像合成過(guò)程的流程圖； 圖68是圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器的配置示例的圖；
圖69是圖示根據(jù)本發(fā)明第五實(shí)施例的控制處理器核心的配置示例的圖；
圖70是圖示根據(jù)本發(fā)明第五實(shí)施例的算術(shù)處理器核心的配置示例的圖；
圖71是示意性圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器的計(jì)算方法的圖；
圖72是示意性圖示在通過(guò)根據(jù)本發(fā)明第五實(shí)施例的多核處理器執(zhí)行計(jì)算的情況 下的程序和數(shù)據(jù)的流程的圖； 圖73 (a)和(b)是示意性圖示被安排來(lái)通過(guò)每個(gè)對(duì)應(yīng)的命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的 處理的計(jì)算方法的概述、以及作為被安排來(lái)通過(guò)單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的計(jì)算 方法的SMD計(jì)算的概述的圖； 圖74是圖示通過(guò)根據(jù)本發(fā)明第五實(shí)施例的控制處理器核心或算術(shù)處理器核心執(zhí) 行的程序的配置示例的圖； 圖75是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例的主存儲(chǔ)器中存儲(chǔ)的圖像數(shù)據(jù)使用Sobel濾波器經(jīng)歷濾波處理的情況下的數(shù)據(jù)結(jié)構(gòu)和處理流程的圖； 圖76是示意性圖示根據(jù)本發(fā)明第五實(shí)施例的、在Sobel濾波器用于執(zhí)行關(guān)于主存 儲(chǔ)器中存儲(chǔ)的圖像數(shù)據(jù)的SIMD計(jì)算的情況下的數(shù)據(jù)流程的圖； 圖77是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例使用Sobel濾波器執(zhí)行濾波處理的 情況下、被安排來(lái)從在第一緩沖器中存儲(chǔ)的圖像數(shù)據(jù)創(chuàng)建九個(gè)矢量的矢量創(chuàng)建方法的圖；
圖78是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例使用Sobel濾波器執(zhí)行濾波處理的 情況下、被安排來(lái)使用SIMD計(jì)算來(lái)執(zhí)行關(guān)于矢量數(shù)據(jù)的矢量計(jì)算的矢量計(jì)算方法的圖；
圖79是以時(shí)間序列方式示意性圖示根據(jù)本發(fā)明第五實(shí)施例的相機(jī)工作參數(shù)計(jì)算 處理的流程的圖；以及 圖80(a)到(c)是示意性圖示作為記錄介質(zhì)的示例的藍(lán)光盤(pán)、在藍(lán)光盤(pán)中記錄的 數(shù)據(jù)、以及能夠播放藍(lán)光盤(pán)的藍(lán)光盤(pán)播放器的內(nèi)部配置的圖。
具體實(shí)施例方式以下，將以下面的順序關(guān)于執(zhí)行本發(fā)明的優(yōu)選實(shí)施例(以下，簡(jiǎn)稱(chēng)為"實(shí)施例")進(jìn)
行描述。 1.第一實(shí)施例(合成圖像創(chuàng)建控制從運(yùn)動(dòng)畫(huà)面選擇合成目標(biāo)圖像、并且其用于 創(chuàng)建合成圖像的示例) 2.第二實(shí)施例(圖像合成目標(biāo)部分選擇控制其中從運(yùn)動(dòng)畫(huà)面選擇用于選擇合成 目標(biāo)圖像的圖像合成目標(biāo)部分的修改) 3.第三實(shí)施例(合成目標(biāo)圖像選擇控制其中從圖像合成目標(biāo)部分選擇合成目標(biāo) 圖像的修改) 4.第四實(shí)施例(裝飾圖像確定控制確定要添加到合成目標(biāo)圖像的裝飾圖像的示 例) 5.第五實(shí)施例(特征點(diǎn)提取處理和光學(xué)流程計(jì)算處理通過(guò)多核處理器執(zhí)行的示 例) 1.第一實(shí)施例 圖像處理裝置的配置示例 圖1是圖示根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的功能配置示例的框圖。 圖像處理裝置100包括運(yùn)動(dòng)畫(huà)面輸入單元110、相機(jī)工作檢測(cè)單元120、面部檢測(cè)單元130、 面部表情評(píng)估值計(jì)算單元140、判別軸信息存儲(chǔ)單元141、記錄控制單元150、部分選擇單元 160、以及合成目標(biāo)圖像選擇單元170。此外，圖像處理裝置100包括文件獲得單元180、圖像 變換單元190、運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200、元數(shù)據(jù)存儲(chǔ)單元210、圖像合成單元220和圖像存儲(chǔ) 器230。此外，圖像處理裝置100包括顯示控制單元240、顯示單元250、操作接受單元260 和合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270。圖像處理裝置IOO可通過(guò)個(gè)人計(jì)算機(jī)實(shí)現(xiàn)，該個(gè)人計(jì) 算機(jī)可將通過(guò)例如如數(shù)字?jǐn)z像機(jī)等的成像裝置成像的運(yùn)動(dòng)畫(huà)面經(jīng)歷用于提取特征量的視 頻分析，并經(jīng)歷使用該提取的特征量的各種圖像處理。 運(yùn)動(dòng)畫(huà)面輸入單元110是配置為輸入通過(guò)如數(shù)字?jǐn)z像機(jī)等的成像裝置(以下，簡(jiǎn) 稱(chēng)為"相機(jī)")成像的運(yùn)動(dòng)畫(huà)面的運(yùn)動(dòng)畫(huà)面輸入單元。運(yùn)動(dòng)畫(huà)面輸入單元iio將輸入的運(yùn)動(dòng) 畫(huà)面輸出到相機(jī)工作檢測(cè)單元120、面部檢測(cè)單元130、面部表情評(píng)估值計(jì)算單元140和記錄控制單元150。 相機(jī)工作檢測(cè)單元120分析從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面，以檢測(cè) 在成像(也稱(chēng)為"相機(jī)工作")時(shí)的運(yùn)動(dòng)信息，并且基于相機(jī)的運(yùn)動(dòng)信息計(jì)算相機(jī)工作參 數(shù)。此外，當(dāng)計(jì)算相機(jī)工作參數(shù)時(shí)，相機(jī)工作檢測(cè)單元120計(jì)算指示相機(jī)工作參數(shù)的似然度 (likelihood)的可靠度確定分?jǐn)?shù)，并且將計(jì)算的相機(jī)工作參數(shù)和可靠度確定分?jǐn)?shù)輸出到記 錄控制單元150。具體地，相機(jī)工作檢測(cè)單元120從構(gòu)成運(yùn)動(dòng)畫(huà)面的每個(gè)圖像提取特征點(diǎn)， 并且計(jì)算關(guān)于該特征點(diǎn)的光流(optical flow)(運(yùn)動(dòng)矢量)。相機(jī)工作檢測(cè)單元120分析 計(jì)算的關(guān)于特征點(diǎn)的光流，以選擇展現(xiàn)支配(dominant)運(yùn)動(dòng)的特征點(diǎn)，并且基于關(guān)于展現(xiàn) 支配運(yùn)動(dòng)的特征點(diǎn)的光流，估計(jì)相機(jī)的運(yùn)動(dòng)。這里，"支配運(yùn)動(dòng)"意味著關(guān)于多個(gè)特征點(diǎn)的多 個(gè)光流當(dāng)中的相對(duì)大量的光流展現(xiàn)的規(guī)則的運(yùn)動(dòng)。此外，在圖像內(nèi)的各特征點(diǎn)中，基于展現(xiàn) 支配運(yùn)動(dòng)的特征點(diǎn)和除了該特征點(diǎn)以外的特征點(diǎn)之間的比率計(jì)算可靠度確定分?jǐn)?shù)。注意， 將參照?qǐng)D2詳細(xì)描述相機(jī)工作檢測(cè)單元120的內(nèi)部配置。注意，相機(jī)工作檢測(cè)單元120是 發(fā)明內(nèi)容中所指的計(jì)算單元的示例。 面部檢測(cè)單元130檢測(cè)構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的圖像中 包括的人的面部，并且將關(guān)于檢測(cè)的面部的面部檢測(cè)信息輸出到面部表情評(píng)估值計(jì)算單 元140和記錄控制單元150。該面部檢測(cè)方法的示例包括通過(guò)匹配其中記錄面部輝度 (luminance)分布信息的模板以及實(shí)際圖像的面部檢測(cè)方法(例如，參見(jiàn)日本未審專(zhuān)利申 請(qǐng)公開(kāi)No. 2004-133637)、以及基于圖像中包括的皮膚部分、以及人臉的特征量的面部檢測(cè) 方法。此外，可采用這樣的面部檢測(cè)方法，其中，關(guān)于作為包括面部的圖像的面部圖像，學(xué) 習(xí)面部圖像上的兩個(gè)像素之間的輝度差，從該學(xué)習(xí)獲得的特征量預(yù)先存儲(chǔ)為面部檢測(cè)參考 數(shù)據(jù)，并且使用該面部檢測(cè)參考數(shù)據(jù)執(zhí)行面部檢測(cè)。將參照?qǐng)D8詳細(xì)描述使用該面部檢測(cè) 參考數(shù)據(jù)的面部檢測(cè)方法。此外，面部檢測(cè)信息包括檢測(cè)的面部圖像的位置和大小。面部 檢測(cè)信息中包括的面部位置的示例包括圍繞檢測(cè)的面部的矩形面部檢測(cè)窗口的位置(例 如，面部檢測(cè)窗口的左上角的坐標(biāo)，以下稱(chēng)為"面部位置信息")。此外，面部檢測(cè)信息中包 括的面部大小的示例包括其面部檢測(cè)窗口的大小(例如，面部檢測(cè)窗口的水平方向和垂直 方向上的像素?cái)?shù))。注意，面部檢測(cè)信息可包括指示檢測(cè)的面部的朝向的滾動(dòng)(roll)、傾斜 (pitch)和偏轉(zhuǎn)(yaw)。 面部表情評(píng)估值計(jì)算單元140使用在判別軸信息存儲(chǔ)單元141中存儲(chǔ)的判別軸信 息，以計(jì)算關(guān)于通過(guò)面部檢測(cè)單元130檢測(cè)的面部的面部表情的面部表情評(píng)估值，并且將 計(jì)算的面部表情評(píng)估值輸出到記錄控制單元150。例如，基于從面部檢測(cè)單元130輸出的面 部檢測(cè)信息(面部的位置和大小)，從構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的圖像 提取面部圖像，該面部圖像是至少包括由面部檢測(cè)單元130檢測(cè)的面部的一部分的矩形區(qū) 域。規(guī)范化(normalized)該提取的面部圖像，并且計(jì)算關(guān)于規(guī)范化的面部圖像的面部表情 評(píng)估值?；谠撚?jì)算的面部表情評(píng)估值，可確定要計(jì)算的面部的面部表情是否是特定面部 表情。注意，在本發(fā)明第一實(shí)施例的情況下，將描述這樣的示例，其中笑臉被確定為特定面 部表情。此外，將參照?qǐng)D9到12詳細(xì)描述面部表情評(píng)估值計(jì)算。此外，面部表情評(píng)估值計(jì) 算單元140是發(fā)明內(nèi)容中所指的確定單元的示例。 判別軸信息存儲(chǔ)單元141存儲(chǔ)用于由面部表情評(píng)估值計(jì)算單元140計(jì)算面部表情 評(píng)估值的判別軸信息，并且將存儲(chǔ)的判別軸信息提供到面部表情評(píng)估值計(jì)算單元140。注
11意，將參照?qǐng)D9等詳細(xì)描述判別軸信息。 記錄控制單元150執(zhí)行關(guān)于運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200、元數(shù)據(jù)存儲(chǔ)單元210、以及合 成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270的記錄控制。也就是說(shuō)，記錄控制單元150將從運(yùn)動(dòng)畫(huà)面 輸入單元110輸出的運(yùn)動(dòng)畫(huà)面作為運(yùn)動(dòng)畫(huà)面文件記錄在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中。此外， 記錄控制單元150將從相機(jī)工作檢測(cè)單元120輸出的可靠度確定分?jǐn)?shù)和仿射變換參數(shù)、從 面部檢測(cè)單元130輸出的面部檢測(cè)信息、以及從面部表情評(píng)估值計(jì)算單元140輸出的面部 表情評(píng)估值記錄在元數(shù)據(jù)存儲(chǔ)單元210中。這樣的每條信息以與運(yùn)動(dòng)畫(huà)面和幀(圖像)相 關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210中，作為元數(shù)據(jù)文件。此外，記錄控制單元150將從合 成目標(biāo)圖像選擇單元170輸出的合成目標(biāo)圖像信息(幀選擇信息)記錄在合成目標(biāo)圖像元 數(shù)據(jù)存儲(chǔ)單元270中，作為合成目標(biāo)圖像元數(shù)據(jù)。 部分選擇單元160使用元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)以選擇圖像合成目標(biāo) 部分，該圖像合成目標(biāo)部分是用作用于創(chuàng)建關(guān)于存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà) 面的合成圖像的目標(biāo)的部分，并且部分選擇單元160將關(guān)于選擇的圖像合成目標(biāo)部分的信 息輸出到合成目標(biāo)圖像選擇單元170。注意，將參照?qǐng)D24到26詳細(xì)描述圖像合成目標(biāo)部分 的選擇。 合成目標(biāo)圖像選擇單元170使用存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中的元數(shù)據(jù)，以從由 部分選擇單元160輸出的圖像合成目標(biāo)部分中包括的各幀中選擇用于創(chuàng)建合成圖像的幀， 并且將關(guān)于選擇的幀的合成目標(biāo)圖像信息(幀選擇信息)輸出到記錄控制單元150。具體 地，合成目標(biāo)圖像選擇單元170首先選擇要重疊和合成在合成的圖像的頂端的最前面的圖 像(最前面的幀)，并且利用所選擇的最前面的圖像作為參考圖像，按順序選擇另一合成目 標(biāo)圖像。在以最前面的圖像作為參考圖像進(jìn)行該選擇的時(shí)候，計(jì)算用于使選擇的合成目標(biāo) 圖像經(jīng)歷仿射變換的仿射變換參數(shù)。注意，將參照?qǐng)D27A到29詳細(xì)描述合成目標(biāo)圖像選擇。 此外，部分選擇單元160和合成目標(biāo)圖像選擇單元170是發(fā)明內(nèi)容中所指的選擇單元的示 例。此外，合成目標(biāo)圖像選擇單元170是發(fā)明內(nèi)容中所指的圖像選擇單元的示例。
運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200基于記錄控制單元150的控制，將從運(yùn)動(dòng)畫(huà)面輸入單元110 輸出的運(yùn)動(dòng)畫(huà)面存儲(chǔ)為運(yùn)動(dòng)畫(huà)面文件。此外，運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200響應(yīng)于來(lái)自文件獲得 單元180的請(qǐng)求，將運(yùn)動(dòng)畫(huà)面文件提供到文件獲得單元180，并且響應(yīng)于來(lái)自顯示控制單元 240的請(qǐng)求，將運(yùn)動(dòng)畫(huà)面文件提供到顯示控制單元240。注意，將參照?qǐng)D3A和3B詳細(xì)描述 要在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中存儲(chǔ)的運(yùn)動(dòng)畫(huà)面文件。 元數(shù)據(jù)存儲(chǔ)單元210基于記錄控制單元150的控制，將從相機(jī)工作檢測(cè)單元120、 面部檢測(cè)單元130、和面部表情評(píng)估值計(jì)算單元140輸出的每條信息以與運(yùn)動(dòng)畫(huà)面和幀相 關(guān)的方式存儲(chǔ)為元數(shù)據(jù)文件。此外，元數(shù)據(jù)存儲(chǔ)單元210將元數(shù)據(jù)文件提供到部分選擇單 元160和合成目標(biāo)圖像選擇單元170。注意，將參照?qǐng)D3A和3B詳細(xì)描述要存儲(chǔ)在元數(shù)據(jù)存 儲(chǔ)單元210中的元數(shù)據(jù)文件。 合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270基于記錄控制單元150的控制，將從合成目標(biāo) 圖像選擇單元170輸出的合成目標(biāo)圖像信息存儲(chǔ)為合成目標(biāo)圖像元數(shù)據(jù)文件。此外，合成 目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270響應(yīng)于來(lái)自文件獲得單元180的請(qǐng)求，將合成目標(biāo)圖像元數(shù) 據(jù)文件提供到文件獲得單元180。注意，將參照?qǐng)D4詳細(xì)描述要存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù) 存儲(chǔ)單元270中的元數(shù)據(jù)文件。
文件獲得單元180響應(yīng)于由操作接受單元260接受的操作輸入，獲得在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200和元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的每個(gè)文件，并且將獲得的每個(gè)文件的信息提供到圖像變換單元190。具體地，在操作接受單元260已經(jīng)接受用于顯示合成圖像的指令操作的情況下，文件獲得單元180從運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200獲得運(yùn)動(dòng)畫(huà)面文件。此外，文件獲得單元180從合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270獲得與該運(yùn)動(dòng)畫(huà)面文件對(duì)應(yīng)的合成目標(biāo)圖像元數(shù)據(jù)文件。隨后，文件獲得單元180使用該合成目標(biāo)圖像元數(shù)據(jù)文件以從構(gòu)成獲得的運(yùn)動(dòng)畫(huà)面文件的每個(gè)圖像提取要合成的圖像，并且將該提取的圖像、以及對(duì)應(yīng)于該圖像的合成目標(biāo)圖像元數(shù)據(jù)輸出到圖像變換單元190。 圖像變換單元190使用對(duì)應(yīng)于該圖像的合成目標(biāo)圖像元數(shù)據(jù)，使從文件獲得單元180輸出的圖像經(jīng)歷仿射變換，并且將經(jīng)歷仿射變換的圖像輸出到圖像合成單元220。具體地，圖像變換單元190以單個(gè)圖像(例如，最前面的圖像)的位置作為參考，使另一圖像按順序經(jīng)歷仿射變換。此外，在操作接受單元260已經(jīng)接受用于顯示合成圖像的指令操作的情況下，圖像變換單元190根據(jù)其指令操作，按照顯示順序使圖像按順序經(jīng)歷仿射變換。注意，將參照?qǐng)D15到23、31、32等詳細(xì)描述該圖像變換。 圖像合成單元220使用圖像存儲(chǔ)器230合成通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像，以創(chuàng)建合成圖像，并且將創(chuàng)建的合成圖像順序地輸出到顯示控制單元240。此外，當(dāng)合成通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像時(shí)，圖像合成單元220通過(guò)將白框添加到圖像的外圍來(lái)合成圖像。將參照?qǐng)D31和32以及其他附圖詳細(xì)描述該圖像合成。
圖像存儲(chǔ)器230是由圖像合成單元220創(chuàng)建合成圖像時(shí)使用的工作緩沖器，保持包括通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像的歷史圖像，并且將保持的歷史圖像提供到圖像合成單元220。圖像存儲(chǔ)器230也稱(chēng)為"畫(huà)布(canvas)"，等效于存儲(chǔ)圖像數(shù)據(jù)的存儲(chǔ)器的一個(gè)圖像的量(worth)。 顯示控制單元240根據(jù)通過(guò)操作接受單元260接受的操作輸入的內(nèi)容，在顯示單元250上顯示從圖像合成單元220輸出的合成圖像。此外，在操作接受單元260已經(jīng)接受用于播放運(yùn)動(dòng)畫(huà)面的指令操作的情況下，顯示控制單元240根據(jù)該指令操作從運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200獲得運(yùn)動(dòng)畫(huà)面文件，并且控制顯示單元250顯示構(gòu)成該運(yùn)動(dòng)畫(huà)面文件的圖像。
顯示單元250基于顯示控制單元240的控制，顯示每個(gè)圖像。顯示單元250可例如用個(gè)人計(jì)算機(jī)的顯示器或電視機(jī)來(lái)實(shí)現(xiàn)。注意，將參照?qǐng)D31到33等詳細(xì)描述合成圖像的顯示示例。 操作接受單元260接受從由各類(lèi)鍵構(gòu)成的鍵盤(pán)、鼠標(biāo)(指向設(shè)備)等的操作，并且將接受的操作輸入的內(nèi)容輸出到文件獲得單元180、圖像變換單元190或顯示控制單元240。 圖2是圖示根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元120的功能配置示例的框圖。相機(jī)工作檢測(cè)單元120包括特征點(diǎn)提取單元121、光流計(jì)算單元122、相機(jī)工作參數(shù)計(jì)算單元123和可靠度確定分?jǐn)?shù)計(jì)算單元124。 特征點(diǎn)提取單元121從對(duì)應(yīng)于構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元IIO輸出的運(yùn)動(dòng)畫(huà)面的幀的整個(gè)圖像提取特征點(diǎn)，并將提取的特征點(diǎn)輸出到光流計(jì)算單元122和可靠度確定分?jǐn)?shù)計(jì)算單元124。這里，特征點(diǎn)提取單元121從關(guān)于構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元IIO輸出的運(yùn)動(dòng)畫(huà)面的幀的頂部幀的整個(gè)圖像提取特征點(diǎn)。此外，特征點(diǎn)提取單元121與對(duì)應(yīng)于之前的幀的圖像比較，以從該關(guān)于頂部幀以外的幀的新成像的區(qū)域部分提取特征點(diǎn)。注意，例如，在垂直方向和水平方向上邊緣的梯度強(qiáng)的點(diǎn)可被提取為特征點(diǎn)(通常，稱(chēng)為"角落點(diǎn)"，以下稱(chēng)為"角落點(diǎn)")。角落點(diǎn)是關(guān)于光流計(jì)算強(qiáng)的特征點(diǎn)，并且可用邊緣檢測(cè)獲得。注意，將參照?qǐng)D5A到6C詳細(xì)描述角落點(diǎn)的提取。注意，利用該示例，特征點(diǎn)提取單元121從關(guān)于頂部幀的整個(gè)圖像提取特征點(diǎn)，并且與對(duì)應(yīng)于之前的幀的圖像比較，以從關(guān)于頂部幀以外的幀的新成像的區(qū)域部分提取特征點(diǎn)。然而，還可以根據(jù)處理能力，從關(guān)于頂部幀以外的每個(gè)幀的整個(gè)圖像提取特征點(diǎn)。 光流計(jì)算單元122計(jì)算關(guān)于從特征點(diǎn)提取單元121輸出的每個(gè)特征點(diǎn)的光流，并且將計(jì)算的光流輸出到相機(jī)工作參數(shù)計(jì)算單元123。具體地，光流計(jì)算單元122比較與構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀(當(dāng)前幀和緊接在前面的幀)相對(duì)應(yīng)的每個(gè)圖像，從而計(jì)算當(dāng)前幀的光流。也就是說(shuō)，光流計(jì)算單元122關(guān)于對(duì)應(yīng)于緊接在前面的幀的圖像的每個(gè)特征點(diǎn)，計(jì)算關(guān)于對(duì)應(yīng)于當(dāng)前幀的圖像的光流。該光流對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的每個(gè)幀計(jì)算。注意，可使用如梯度方法、塊匹配方法等的檢測(cè)方法作為用于檢測(cè)光流的檢測(cè)方法。注意，將參照?qǐng)D5A到6C詳細(xì)描述該光流計(jì)算。此外，光流計(jì)算單元122是發(fā)明
內(nèi)容中所指的運(yùn)動(dòng)量計(jì)算單元的示例。 相機(jī)工作參數(shù)計(jì)算單元123執(zhí)行相機(jī)工作參數(shù)計(jì)算處理，其中對(duì)應(yīng)于從光流計(jì)算單元122輸出的每個(gè)特征點(diǎn)的光流用于計(jì)算相機(jī)工作參數(shù)。隨后，相機(jī)工作參數(shù)計(jì)算單元123將計(jì)算的相機(jī)工作參數(shù)輸出到記錄控制單元150，并且將關(guān)于用于相機(jī)工作參數(shù)的計(jì)算的特征點(diǎn)的信息輸出到可靠度確定分?jǐn)?shù)計(jì)算單元124。相機(jī)工作參數(shù)是關(guān)于連續(xù)兩個(gè)幀(當(dāng)前幀和緊接在前面的幀)的變換信息(相機(jī)的運(yùn)動(dòng)信息)。 現(xiàn)在，在本發(fā)明第一實(shí)施例的情況下，根據(jù)相機(jī)的運(yùn)動(dòng)變換和合成關(guān)于要播放的運(yùn)動(dòng)畫(huà)面而選擇的每個(gè)合成目標(biāo)圖像。為了執(zhí)行該圖像變換，使用通過(guò)光流計(jì)算單元122計(jì)算的光流提取相機(jī)的運(yùn)動(dòng)，并且基于提取的運(yùn)動(dòng)計(jì)算相機(jī)工作參數(shù)(變換參數(shù))。
而且，在本發(fā)明第一實(shí)施例的情況下，將關(guān)于使用仿射變換作為用于變換合成目標(biāo)圖像的圖像變換方法的示例進(jìn)行描述。此外，將關(guān)于使用基于光流計(jì)算的仿射變換參數(shù)作為相機(jī)工作參數(shù)的示例進(jìn)行描述。注意，可采用使用投射變換參數(shù)等作為相機(jī)工作參數(shù)的另一圖像變換方法。注意，可通過(guò)使用三個(gè)點(diǎn)之間的矢量的計(jì)算獲得仿射變換參數(shù)。此外，可通過(guò)使用四個(gè)點(diǎn)之間的矢量的計(jì)算獲得投射變換參數(shù)?，F(xiàn)在，相機(jī)工作參數(shù)是以構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的至少一個(gè)成像的圖像作為參考來(lái)變換另一成像的圖像的變換信息，并且至少包括在相機(jī)的坐標(biāo)系統(tǒng)中描述的位置信息和姿態(tài)(attitude)信息。也就是說(shuō)，在通過(guò)用戶(hù)成像的情況下，相機(jī)工作參數(shù)包括關(guān)于相機(jī)的位置和姿態(tài)的信息。此外，可基于通過(guò)相機(jī)工作參數(shù)計(jì)算單元123計(jì)算的仿射變換參數(shù)估計(jì)根據(jù)通過(guò)用戶(hù)的操作的相機(jī)的運(yùn)動(dòng)，例如，如放大、縮小、搖動(dòng)(pan)、傾斜(tilt)、旋轉(zhuǎn)等。注意，將參照?qǐng)D5A到6C詳細(xì)描述仿射變換參數(shù)的計(jì)算。也就是說(shuō)，利用第一實(shí)施例，在連續(xù)圖像的單個(gè)圖像被取為參考圖像的情況下，進(jìn)行定義為對(duì)應(yīng)于仿射矩陣的仿射變換參數(shù)，該仿射矩陣指示該參考圖像的下一圖像移動(dòng)到哪兒。注意，相機(jī)工作參數(shù)計(jì)算單元123是發(fā)明內(nèi)容中所指的運(yùn)動(dòng)信息計(jì)算單元的示例。 可靠度確定分?jǐn)?shù)計(jì)算單元124基于關(guān)于從特征點(diǎn)提取單元121輸出的特征點(diǎn)、以及從相機(jī)工作參數(shù)計(jì)算單元123輸出的特征點(diǎn)的信息，計(jì)算可靠度確定分?jǐn)?shù)，并且將計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制單元150。該可靠度確定分?jǐn)?shù)基于要經(jīng)歷仿射變換參數(shù)的計(jì)算的圖像的整個(gè)屏幕中的特征點(diǎn)的數(shù)量、與在整個(gè)屏幕中展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的數(shù)量之間的比率計(jì)算。將參照?qǐng)D5A到6C詳細(xì)描述該可靠度確定分?jǐn)?shù)的計(jì)算。
圖3A和3B是示意性圖示根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200和元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的文件的圖。圖3A圖示存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà)面文件201到203、以與運(yùn)動(dòng)畫(huà)面文件201到203相關(guān)聯(lián)的方式存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中的元數(shù)據(jù)文件211到213。現(xiàn)在，假設(shè)作為用于標(biāo)識(shí)存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的每個(gè)運(yùn)動(dòng)畫(huà)面文件的標(biāo)識(shí)信息的運(yùn)動(dòng)畫(huà)面ID附加到每個(gè)運(yùn)動(dòng)畫(huà)面文件。例如，"#1"附加到運(yùn)動(dòng)畫(huà)面文件201， "#2"附加到運(yùn)動(dòng)畫(huà)面文件202，并且"fe"附加到運(yùn)動(dòng)畫(huà)面文件203。
圖3B示意性圖示存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà)面文件201、以與運(yùn)動(dòng)畫(huà)面文件201相關(guān)的方式存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中的元數(shù)據(jù)文件211?，F(xiàn)在，運(yùn)動(dòng)畫(huà)面文件201是包括m個(gè)幀的運(yùn)動(dòng)畫(huà)面文件，并且這m個(gè)幀示出為幀"l"204到幀"m"207。此外，在元數(shù)據(jù)文件211中，運(yùn)動(dòng)畫(huà)面ID 214、幀號(hào)215、仿射變換參數(shù)216、可靠度確定分?jǐn)?shù)217、面部檢測(cè)信息218、以及面部表情評(píng)估值219以相關(guān)方式存儲(chǔ)。 運(yùn)動(dòng)畫(huà)面ID 214是附加到對(duì)應(yīng)的運(yùn)動(dòng)畫(huà)面文件的運(yùn)動(dòng)畫(huà)面ID，并且例如存儲(chǔ)附加到運(yùn)動(dòng)畫(huà)面文件201的"#1"。 幀號(hào)215是構(gòu)成對(duì)應(yīng)運(yùn)動(dòng)畫(huà)面文件的每個(gè)幀的序列號(hào)，并且例如存儲(chǔ)對(duì)應(yīng)于構(gòu)成運(yùn)動(dòng)畫(huà)面文件201的運(yùn)動(dòng)畫(huà)面的幀"1" 204到幀"m" 207的"1"到"m"。
仿射變換參數(shù)216是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀計(jì)算的仿射變換參數(shù)。注意，對(duì)應(yīng)于幀號(hào)215的"l"的仿射變換參數(shù)216 "al， bl， cl， dl， el， fl"是單位矩陣的仿射變換參數(shù)。此外，例如，對(duì)應(yīng)于幀號(hào)215的"i(i是2或更大整數(shù))"的"ai， bi， ci，di， ei， f i "的仿射變換參數(shù)216是幀"i "關(guān)于緊接在前面的幀"i-l"的仿射變換參數(shù)。
可靠度確定分?jǐn)?shù)217是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀計(jì)算的可靠度確定分?jǐn)?shù)，并且例如存儲(chǔ)值0到1。 面部檢測(cè)信息218是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀檢測(cè)的面部檢測(cè)信息，并且存儲(chǔ)從面部檢測(cè)單元130輸出的面部檢測(cè)信息。注意，圖3B圖示省略其特定內(nèi)容的面部檢測(cè)信息。在已經(jīng)從一幀檢測(cè)多個(gè)面部的情況下，這樣的多個(gè)面部檢測(cè)信息以與其幀相關(guān)的方式存儲(chǔ)。 面部表情評(píng)估值219是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀中包括的面部計(jì)算的面部表情評(píng)估值，并且存儲(chǔ)從面部表情評(píng)估值計(jì)算單元140輸出的面部表情評(píng)估值。注意，在對(duì)應(yīng)的幀中不包括面部的情況下，面部表情評(píng)估值219存儲(chǔ)"O"。例如，在沒(méi)有從對(duì)應(yīng)于幀號(hào)215的"l"和"m"的幀檢測(cè)到面部的情況下，沒(méi)有通過(guò)面部表情評(píng)估值計(jì)算單元140計(jì)算面部表情評(píng)估值，因此，面部表情評(píng)估值219存儲(chǔ)"O"。另一方面，在沒(méi)有從對(duì)應(yīng)于幀號(hào)215的"i"和"j"的幀檢測(cè)到面部的情況下，面部表情評(píng)估值219存儲(chǔ)通過(guò)面部表情評(píng)估值計(jì)算單元140計(jì)算的面部表情評(píng)估值。例如，對(duì)應(yīng)于幀號(hào)215的"i"的面部表情評(píng)估值219存儲(chǔ)"124"，并且對(duì)應(yīng)于幀號(hào)215的"j"的面部表情評(píng)估值219存儲(chǔ)"405"。在此情況下，例如，可以確定下述情況存在高度可能性關(guān)于幀"j "檢測(cè)的面部比關(guān)于幀"i "檢測(cè)的面部更類(lèi)似笑臉。注意，i和j是滿(mǎn)足1 < i < j < m的整數(shù)。此外，在已經(jīng)從一幀檢測(cè)到多個(gè)面部的情況下，關(guān)于這多個(gè)面部計(jì)算的面部表情評(píng)估值以與其幀相關(guān)的方式存儲(chǔ)。
圖4是示意性圖示根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270的
存儲(chǔ)內(nèi)容的圖。運(yùn)動(dòng)畫(huà)面ID 271、部分號(hào)272、幀號(hào)273、仿射變換參數(shù)274、最前面的幀275、
以及面部數(shù)據(jù)276以相關(guān)的方式存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。 運(yùn)動(dòng)畫(huà)面ID 271是附加到對(duì)應(yīng)的運(yùn)動(dòng)畫(huà)面文件的運(yùn)動(dòng)畫(huà)面ID，并且例如，存儲(chǔ)附
加到運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中存儲(chǔ)的每個(gè)運(yùn)動(dòng)畫(huà)面文件的"#1"、"#2"等。 部分號(hào)272是用于標(biāo)識(shí)由部分選擇單元160選擇的圖像合成目標(biāo)部分的序列號(hào)，
并且例如以關(guān)于運(yùn)動(dòng)畫(huà)面文件201選擇的順序存儲(chǔ)"#101"、"#102"、"#103"等。例如，在
關(guān)于運(yùn)動(dòng)畫(huà)面文件201創(chuàng)建合成圖像的情況下，對(duì)部分號(hào)272的每個(gè)部分(例如，"#101"、
"#102"、"#103")創(chuàng)建合成圖像。 幀號(hào)273是利用通過(guò)部分選擇單元160選擇的圖像合成目標(biāo)部分、由合成目標(biāo)圖像選擇單元170選擇的幀的幀號(hào)。該幀號(hào)對(duì)應(yīng)于圖3B中所示的幀號(hào)215。例如，在部分號(hào)272的"# 101"的情況下，在已經(jīng)通過(guò)合成目標(biāo)圖像選擇單元170選擇幀"1 "、"6"、"9"和"17"的情況下，存儲(chǔ)這些幀的幀號(hào)"1 "、"6"、"9"和"17"。 仿射變換參數(shù)274是用于使由合成目標(biāo)圖像選擇單元170選擇的每個(gè)幀經(jīng)歷仿射變換的仿射變換參數(shù)。這里，要存儲(chǔ)在仿射變換參數(shù)274中的仿射變換參數(shù)是用于以相同圖像合成目標(biāo)部分中的一個(gè)幀作為參考幀、使另一幀經(jīng)歷仿射變換的仿射變換參數(shù)。該參考幀可以設(shè)置為例如最前面的幀。此外，要以與該參考幀相關(guān)的方式存儲(chǔ)在仿射變換參數(shù)274中的仿射變換參數(shù)是單位矩陣的仿射變換參數(shù)。 最前面的幀275是指示通過(guò)合成目標(biāo)圖像選擇單元170選擇的最前面的幀的信息。例如，在已經(jīng)選擇對(duì)應(yīng)的幀作為最前面的幀的情況下，最前面的幀275存儲(chǔ)"1"，并且在對(duì)應(yīng)的幀還沒(méi)有選擇為最前面的幀的情況下，最前面的幀275存儲(chǔ)"0"。例如，在運(yùn)動(dòng)畫(huà)面ID 271 "#1"的部分號(hào)272 "#101"的每個(gè)幀中，在幀"9"已經(jīng)選擇為最前面的幀的情況下，幀"9"的最前面的幀275存儲(chǔ)"1"。在此情況下，在部分號(hào)272 "#101"的每個(gè)幀中，關(guān)于幀"9"以外的幀，最前面的幀275存儲(chǔ)"O"。 面部數(shù)據(jù)276是關(guān)于在通過(guò)合成目標(biāo)圖像選擇單元170選擇的每個(gè)幀中包括的面部的信息。在面部檢測(cè)信息218中包括的面部檢測(cè)信息中，存儲(chǔ)例如面部的位置信息和大小信息作為該信息。在圖4所示的示例的情況下，面部的位置信息示出為(xn，yn)，并且面部的大小信息示出為(Hn，Wn)。這里，n是對(duì)應(yīng)于幀號(hào)273的數(shù)值。注意，在已經(jīng)從一幀選擇多個(gè)面部的情況下，這樣的多個(gè)面部數(shù)據(jù)以與其幀相關(guān)的方式存儲(chǔ)。
相機(jī)工作參數(shù)和可靠度確定分?jǐn)?shù)的計(jì)算示例 接下來(lái)，將參照附圖，關(guān)于用于計(jì)算要用于圖像變換的相機(jī)工作參數(shù)(仿射變換參數(shù))和可靠度確定分?jǐn)?shù)的計(jì)算方法進(jìn)行詳細(xì)的描述。 圖5A到5C是圖示構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的示例的圖。圖6A到6C是圖示通過(guò)省略關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的背景等而簡(jiǎn)化的圖像的圖。圖5A到5C圖示圖像300作為構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的示例。此外，圖6A圖示通過(guò)省略關(guān)于對(duì)應(yīng)于圖像300的緊接在前面的幀的圖像的背景等而簡(jiǎn)化的圖像320。此外，圖6B和6C圖示通過(guò)省略關(guān)于圖像300的背景等而簡(jiǎn)化的圖像330。 圖5A到6C中所示的圖像300、320和330包括人正在騎的馬的圖像301、321和331、以及馬圖像301、321和331的前端布置的蛇的圖像302、322和332。此外，如圖5A到5C所示，在這些圖像的背景上提供了旗子、椅子等，并且該旗子正在風(fēng)中飄揚(yáng)。 圖6A所示的圖像320是關(guān)于下述圖像簡(jiǎn)化的圖像，所述圖像對(duì)應(yīng)于與圖5A到5C、
6B和6C中所示的圖像300和330所對(duì)應(yīng)的幀的緊接在前面的幀。此外，對(duì)應(yīng)于兩個(gè)連續(xù)幀
的圖像320和330是指示在屏幕內(nèi)的被攝體的大小逐漸增加的情況下的轉(zhuǎn)換的圖像。也就
是說(shuō)，在該成像的時(shí)候，執(zhí)行放大操作，其中用于增加屏幕內(nèi)的被攝體的大小的操作逐漸增加。 在本發(fā)明第一實(shí)施例的情況下，將關(guān)于下述方法作為示例進(jìn)行描述，其中從構(gòu)成 運(yùn)動(dòng)畫(huà)面的圖像檢測(cè)特征點(diǎn)，并且使用對(duì)應(yīng)于該特征點(diǎn)的光流計(jì)算仿射變換參數(shù)。此外，在 該示例的情況下，將關(guān)于角落點(diǎn)用作特征點(diǎn)的情況進(jìn)行描述。 現(xiàn)在，將利用圖6A到6C關(guān)于下述方法作為示例進(jìn)行描述，其中使用對(duì)應(yīng)于從圖像 320和330檢測(cè)的三個(gè)角落點(diǎn)的光流計(jì)算仿射變換參數(shù)。 例如，在圖6A所示的圖像320的情況下，設(shè)馬圖像321的嘴周?chē)慕锹潼c(diǎn)323、馬 圖像321的人的臀部周?chē)慕锹潼c(diǎn)324、以及蛇圖像322的嘴周?chē)慕锹潼c(diǎn)325被檢測(cè)為 特征點(diǎn)。在此情況下，利用圖6B所示的圖像330，根據(jù)梯度方法、塊匹配方法等，檢測(cè)關(guān)于 圖像320的角落點(diǎn)323、324和325的光流337、338和339。隨后，基于檢測(cè)的光流337、338 和339，檢測(cè)對(duì)應(yīng)于圖像320的角落點(diǎn)323、324和325的角落點(diǎn)333、334和335。
現(xiàn)在，例如，圖6A和6B中所示的圖像320和330中包括的馬圖像321和331以及 蛇圖像322和332被安裝在地面上，因此，不管相機(jī)運(yùn)動(dòng)與否都不移動(dòng)。因此，可基于關(guān)于 下述角落點(diǎn)獲得的光流精確地估計(jì)相機(jī)的運(yùn)動(dòng)，所述角落點(diǎn)是關(guān)于馬圖像321和331以及 蛇圖像322和332檢測(cè)的。例如，如圖6C所示，基于在圖像330中檢測(cè)的三個(gè)光流337到 339，可以估計(jì)圖像330是以點(diǎn)336為中心、從圖像320放大的圖像。因此，可確定對(duì)圖像 330成像時(shí)的相機(jī)的運(yùn)動(dòng)是以點(diǎn)336為中心的放大操作。因此，關(guān)于不管相機(jī)運(yùn)動(dòng)與否都不 移動(dòng)的對(duì)象檢測(cè)角落點(diǎn)，并且基于關(guān)于該角落點(diǎn)獲得的光流，可以精確地檢測(cè)具有特定規(guī) 律的相機(jī)的運(yùn)動(dòng)。因此，可通過(guò)使用關(guān)于這些角落點(diǎn)獲得的光流的計(jì)算來(lái)獲得仿射變換參 數(shù)。 然而，可預(yù)期這樣的情況，其中不管相機(jī)運(yùn)動(dòng)與否都移動(dòng)的對(duì)象包括在圖像中，如 在風(fēng)中飄揚(yáng)的旗子等。例如，圖5A到5C中所示的圖像300包括在風(fēng)中飄揚(yáng)的旗子。在關(guān) 于不管相機(jī)的運(yùn)動(dòng)都移動(dòng)的對(duì)象檢測(cè)角落點(diǎn)、并且使用關(guān)于該角落點(diǎn)獲得的光流估計(jì)相機(jī) 的運(yùn)動(dòng)的情況下，難以精確地估計(jì)相機(jī)的運(yùn)動(dòng)。 例如，圖5B所示的圖像300中檢測(cè)的光流以箭頭指示，并且以箭頭頂端的白色圓 圈指示通過(guò)光流檢測(cè)的角落點(diǎn)。這里，角落點(diǎn)303到305是對(duì)應(yīng)于圖6B和6C中所示的角 落點(diǎn)333到335的角落點(diǎn)。此外，角落點(diǎn)306到311是關(guān)于在馬圖像301的背景上布置的 旗子而檢測(cè)的角落點(diǎn)。這些旗子在風(fēng)中飄揚(yáng)，相應(yīng)地，由于風(fēng)的影響而導(dǎo)致的每個(gè)旗子的運(yùn) 動(dòng)已經(jīng)被檢測(cè)為光流。也就是說(shuō)，對(duì)應(yīng)于角落點(diǎn)306到311的光流是關(guān)于不管相機(jī)運(yùn)動(dòng)與 否都移動(dòng)的旗子檢測(cè)的光流。因此，在計(jì)算仿射變換參數(shù)的情況下中使用的三個(gè)光流包括 與角落點(diǎn)306到311的至少一個(gè)角落點(diǎn)對(duì)應(yīng)的光流的情況下，難以精確地檢測(cè)相機(jī)的運(yùn)動(dòng)。 在此情況下，難以計(jì)算精確的仿射變換參數(shù)。 如上所述，例如，從在一些情況下成像的圖像檢測(cè)關(guān)于不管相機(jī)運(yùn)動(dòng)與否都移動(dòng) 的對(duì)象的光流(對(duì)應(yīng)于圖5B中所示的角落點(diǎn)306到311的光流)。此外，從在一些情況下成像的圖像檢測(cè)具有與相機(jī)的運(yùn)動(dòng)有關(guān)的特定規(guī)律性的光流(除對(duì)應(yīng)于圖5B中所示的角 落點(diǎn)306到311的光流以外的光流)。 因此，利用本發(fā)明第一實(shí)施例，仿射變換參數(shù)計(jì)算處理執(zhí)行多次，其中基于三個(gè)光 流計(jì)算仿射變換參數(shù)，從而獲得多個(gè)仿射變換參數(shù)。將關(guān)于這樣的示例進(jìn)行描述，其中從該 多個(gè)仿射變換參數(shù)選擇最佳仿射變換參數(shù)。注意，利用該示例，設(shè)構(gòu)成運(yùn)動(dòng)畫(huà)面的每個(gè)圖像 中包括的移動(dòng)對(duì)象的大小關(guān)于圖像的區(qū)域相對(duì)較小。 現(xiàn)在，將關(guān)于仿射變換進(jìn)行描述。在二維坐標(biāo)上移動(dòng)源的位置設(shè)置為(x，y)、并且 仿射變換后的移動(dòng)目的地的位置設(shè)置為(x'，y')的情況下，仿射變換的矩陣表達(dá)可用表達(dá) 式1來(lái)表示。注意，表達(dá)式1的右側(cè)的3X3的矩陣是仿射矩陣。
X
y
X
y
ad0
b0 表達(dá)式1
cf1 這里，a到f是仿射變換參數(shù)。此外，仿射變換參數(shù)可用以仿射變換參數(shù)作為矩陣 AM的下述表達(dá)式表示。注意，可分別獲得X方向上的變焦分量XZ、Y方向上的變焦分量YZ、 X方向上的平移分量XT、Y方向上的平移分量YT、X方向上的旋轉(zhuǎn)分量9x、以及Y方向上的 旋轉(zhuǎn)分量9 y。注意，在單位矩陣的情況下，保持a二e二l、以及b二c二d二f二0。
AM =
3
d
b
6
xz =
XT = c
a2 + d2 YZ
2 2 b + e
0X= tan
YT l
f d
0 = tan 因此，可從仿射變換參數(shù)獲得相機(jī)工作的每個(gè)分量(X和Y方向上的變焦分量、平 移分量、旋轉(zhuǎn)分量)。注意，將參照?qǐng)D7描述旋轉(zhuǎn)分量。 圖7是圖示使用仿射變換參數(shù)變換矩形340的情況的圖。如圖7所示，設(shè)矩形340 的一個(gè)頂點(diǎn)為原點(diǎn)，并且利用x-y坐標(biāo)，其中與對(duì)應(yīng)于原點(diǎn)的頂點(diǎn)相鄰的矩形340的兩邊被 取為x軸和y軸，使用預(yù)定的仿射變換參數(shù)變換矩形340后獲得的矩形被取為矩形341 。在 此情況下，設(shè)通過(guò)矩形340和341的x軸側(cè)上的各邊形成的角度是旋轉(zhuǎn)分量9 x，并且通過(guò) 矩形340和341的y軸側(cè)上的各邊形成的角度是旋轉(zhuǎn)分量9 y。 接下來(lái)，將描述用于計(jì)算相機(jī)工作分量的和值的方法。相機(jī)工作分量的和值是通 過(guò)將與從用作計(jì)算目標(biāo)的圖像合成目標(biāo)部分的頂部幀到用作計(jì)算目標(biāo)的當(dāng)前幀的每個(gè)幀 相對(duì)應(yīng)的相機(jī)工作的每個(gè)分量相加而獲得的值。例如，設(shè)從頂部幀到當(dāng)前幀的幀被取為幀 1到5，并且?guī)?到5的相機(jī)工作分量的X方向上的平移分量被取為XT1到XT5。在此情況 下，相機(jī)工作分量的X方向上的平移分量的和值可通過(guò)"XT1+XT2+XT3+XT4+XT5"計(jì)算。此 外，另一相機(jī)工作的每個(gè)分量的和值可以相同方式計(jì)算。 接下來(lái)，將描述用于計(jì)算仿射變換參數(shù)的方法。首先，利用與作為構(gòu)成運(yùn)動(dòng)畫(huà)面的
18幀的一個(gè)幀的當(dāng)前幀對(duì)應(yīng)的圖像，從已經(jīng)檢測(cè)其光流的特征點(diǎn)選擇三個(gè)特征點(diǎn)。例如，從在 圖5B所示的圖像300中檢測(cè)的角落點(diǎn)(以白色圓圈指示)隨機(jī)選擇三個(gè)角落點(diǎn)。注意，在 投射變換參數(shù)用作相機(jī)工作參數(shù)的情況下，隨機(jī)選擇四個(gè)特征點(diǎn)。 隨后，使用與選擇的三個(gè)特征點(diǎn)對(duì)應(yīng)的三個(gè)光流計(jì)算仿射變換參數(shù)。例如，使用與 從圖5B所示的圖像300中的角落點(diǎn)(以白色圓圈指示)選擇的三個(gè)角落點(diǎn)對(duì)應(yīng)的光流(以 連接到白色圓圈的箭頭指示)計(jì)算仿射變換參數(shù)?？墒褂帽磉_(dá)式1獲得仿射變換參數(shù)。
隨后，基于獲得的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的分?jǐn)?shù)。具體地，使用獲得的 仿射變換參數(shù)，獲得與當(dāng)前幀的緊接在前面的幀對(duì)應(yīng)的圖像中的所有特征點(diǎn)的運(yùn)動(dòng)目的地 的位置。隨后，比較使用仿射變換參數(shù)獲得的特征點(diǎn)的位置、以及在當(dāng)前幀檢測(cè)的特征點(diǎn)的 位置，并且對(duì)每個(gè)特征點(diǎn)計(jì)算彼此相對(duì)應(yīng)的兩個(gè)特征點(diǎn)的位置的差值。例如，彼此相對(duì)應(yīng)的 兩個(gè)特征點(diǎn)的位置之間的絕對(duì)距離被計(jì)算為差值。隨后，對(duì)每個(gè)特征點(diǎn)比較計(jì)算的差值和 預(yù)定的閾值，并且其差值小于閾值的特征點(diǎn)的數(shù)量被獲得為仿射變換參數(shù)的分?jǐn)?shù)。因此，從 已經(jīng)檢測(cè)其光流的特征點(diǎn)隨機(jī)選擇三個(gè)特征點(diǎn)。隨后，處理重復(fù)預(yù)定次數(shù)，其中基于與這些 特征點(diǎn)對(duì)應(yīng)的光流計(jì)算仿射變換參數(shù)的分?jǐn)?shù)，從而計(jì)算仿射變換參數(shù)的多個(gè)分?jǐn)?shù)。該預(yù)定 次數(shù)可根據(jù)要比較的圖像的類(lèi)型、圖像處理裝置100的處理能力等適當(dāng)?shù)卦O(shè)置，或可使用 固定值。例如，在考慮圖像處理裝置100的處理能力的情況下，二十次等可設(shè)置為該預(yù)定次 數(shù)。 例如，考慮這樣的情況，其中已經(jīng)從自圖5B所示的圖像300檢測(cè)的角落點(diǎn)選擇除 角落點(diǎn)306到311以外的三個(gè)角落點(diǎn)。在使用與選擇的三個(gè)角落點(diǎn)對(duì)應(yīng)的三個(gè)光流計(jì)算仿 射變換參數(shù)的情況下，如上所述，這三個(gè)光流具有特定規(guī)律性。因此，獲得用于根據(jù)一定規(guī) 則變換與緊接在前面的幀對(duì)應(yīng)的圖像的仿射變換參數(shù)。此外，相對(duì)小的值被計(jì)算為使用仿 射變換參數(shù)獲得的角落點(diǎn)的位置、和在當(dāng)前幀檢測(cè)的角落點(diǎn)的位置之間的差值，其關(guān)于除 角落點(diǎn)306到311以外的角落點(diǎn)的獲得。因此，仿射變換參數(shù)的分?jǐn)?shù)變?yōu)榇蟮闹怠?
另一方面，考慮這樣的情況，其中已經(jīng)從圖5B所示的圖像300選擇包括角落點(diǎn)306 到311的至少一個(gè)的三個(gè)角落點(diǎn)。在使用與由此選擇的三個(gè)角落點(diǎn)對(duì)應(yīng)的三個(gè)光流計(jì)算仿 射變換參數(shù)的情況下，如上所述，這三個(gè)光流包括沒(méi)有特定規(guī)律性的光流。因此，獲得不用 于根據(jù)一定規(guī)則變換與緊接在前面的幀對(duì)應(yīng)的圖像的仿射變換參數(shù)。此外，在任意角落點(diǎn) 計(jì)算相對(duì)大的值，作為關(guān)于使用仿射變換參數(shù)獲得的角落點(diǎn)的位置、以及在當(dāng)前幀檢測(cè)的 角落點(diǎn)的位置獲得的差值。因此，仿射變換參數(shù)的分?jǐn)?shù)變?yōu)樾〉闹怠?隨后，在獲得的多個(gè)仿射變換參數(shù)的分?jǐn)?shù)中，具有最高分?jǐn)?shù)值的仿射變換參數(shù)被 選擇為代表仿射變換參數(shù)。隨后，選擇的代表仿射變換參數(shù)用于以緊接在前面的幀作為參 考幀、計(jì)算用于使當(dāng)前幀經(jīng)歷仿射變換的仿射變換參數(shù)，并且仿射變換參數(shù)以與當(dāng)前幀相 關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210中。因此，在構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像經(jīng)歷仿射變換的情 況下，可使用最佳仿射變換參數(shù)使該圖像經(jīng)歷仿射變換。 此外，利用本發(fā)明第一實(shí)施例，使用由此選擇的代表仿射變換參數(shù)的分?jǐn)?shù)計(jì)算可
靠度確定分?jǐn)?shù)。例如，在用作代表仿射變換參數(shù)的、圖像的整個(gè)屏幕檢測(cè)的特征點(diǎn)的數(shù)量被
取為N、并且代表仿射變換參數(shù)的分?jǐn)?shù)取為Nml的情況下，可用下面的表達(dá)式計(jì)算可靠度確
定分?jǐn)?shù)SHS。 SHS = Nml/N
這里，代表仿射變換參數(shù)的分?jǐn)?shù)Nml是在要檢測(cè)的圖像的整個(gè)屏幕展現(xiàn)支配運(yùn)動(dòng) 的特征點(diǎn)的數(shù)量。此外，特征點(diǎn)的數(shù)量N變?yōu)檎宫F(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的數(shù)量Nml、和其他特 征點(diǎn)(展現(xiàn)噪聲狀運(yùn)動(dòng)的特征點(diǎn))的數(shù)量Nm2的總值(S卩，N = Nml+Nm2)。此外，值0到1 計(jì)算為可靠度確定分?jǐn)?shù)SHS。 由此計(jì)算的可靠度確定分?jǐn)?shù)以與當(dāng)前幀相關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210 中。使用該可靠度確定分?jǐn)?shù)從運(yùn)動(dòng)畫(huà)面選擇圖像合成目標(biāo)部分。 如上所述，即使在如人或車(chē)等的移動(dòng)的物體(移動(dòng)物體)包括在構(gòu)成運(yùn)動(dòng)畫(huà)面的 每個(gè)圖像中的情況下，在其移動(dòng)物體的大小相對(duì)于圖像的面積相對(duì)小的情況下，可提取相 機(jī)的運(yùn)動(dòng)，而不受移動(dòng)物體的影響。 此外，提取相機(jī)的運(yùn)動(dòng)，從而可估計(jì)被認(rèn)為是用戶(hù)有意的移動(dòng)的運(yùn)動(dòng)(如放大、縮 小、搖動(dòng)、傾斜、旋轉(zhuǎn)等)。注意，利用表達(dá)式l，可基于兩個(gè)光流計(jì)算仿射變換參數(shù)，其中a =e并且d = -b。例如，在圖像經(jīng)歷使用基于三個(gè)光流計(jì)算的仿射變換參數(shù)的仿射變換的 情況下，在一些情況下將矩形圖像變換為平行四邊形。另一方面，在圖像經(jīng)歷使用基于兩個(gè) 光流計(jì)算的仿射變換參數(shù)的仿射變換的情況下，在矩形圖像狀態(tài)下可執(zhí)行平移運(yùn)動(dòng)、旋轉(zhuǎn) 和變焦的至少一個(gè)變換(x和y方向上的變焦比是相同的)。利用本發(fā)明第一實(shí)施例，將關(guān) 于這樣的示例進(jìn)行描述，其中使用基于三個(gè)光流計(jì)算的仿射變換參數(shù)變換圖像。然而，本發(fā) 明的第一實(shí)施例可類(lèi)似地應(yīng)用到這樣的情況，其中使用基于兩個(gè)光流計(jì)算的仿射變換參數(shù) 變換圖像。 面部表情評(píng)估值的計(jì)算示例 接下來(lái)，將參照附圖詳細(xì)描述面部表情評(píng)估值計(jì)算方法，其中計(jì)算關(guān)于從圖像檢 測(cè)的面部的面部表情評(píng)估值。 圖8是示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的面部檢測(cè)單元130的面部檢測(cè)方 法的圖。在圖8中，(a)和(b)圖示構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的圖像 450。此外，設(shè)人451的面部452包括在圖像450中。因此，在面部452包括在圖像450中 的情況下，通過(guò)面部檢測(cè)單元130從圖像450檢測(cè)面部452。注意，在圖8中，將關(guān)于其中使 用面部檢測(cè)參考數(shù)據(jù)執(zhí)行面部檢測(cè)的情況作為示例進(jìn)行描述。 例如，如圖8(a)所示，具有一定大小的面部檢測(cè)窗口 453布置在圖像450的左上 角，并且基于面部檢測(cè)參考數(shù)據(jù)計(jì)算用于確定面部是否包括在面部檢測(cè)窗口 453內(nèi)的圖像 中的估計(jì)。隨后，面部檢測(cè)窗口在右側(cè)方向(以箭頭454指示的方向)偏移一個(gè)像素，并且 類(lèi)似地計(jì)算估計(jì)。此后，以相同方式，面部檢測(cè)窗口在右側(cè)方向上順序地一次偏移一個(gè)像 素，從而順序計(jì)算估計(jì)。隨后，在面部檢測(cè)窗口偏移到圖像450的右邊緣位置、并且計(jì)算了 估計(jì)時(shí)，面部檢測(cè)窗口向下端偏移一像素，并且移動(dòng)到圖像450的左邊緣。隨后，在計(jì)算緊 接在移動(dòng)到圖像450的左邊緣之后的估計(jì)后，面部檢測(cè)窗口在右側(cè)方向順序地一次偏移一 個(gè)像素，從而順序計(jì)算估計(jì)。此后，以相同方式，順序計(jì)算估計(jì)。在面部檢測(cè)窗口偏移到圖 像450的右下邊緣位置、并且計(jì)算了估計(jì)時(shí)，通過(guò)預(yù)定比例(scale)因子減小面部檢測(cè)窗 口，并且順序執(zhí)行相同的處理。因此，具有一定大小的面部檢測(cè)窗口用于關(guān)于要順序減小的 圖像450順序執(zhí)行估計(jì)的計(jì)算。隨后，基于計(jì)算的每個(gè)估計(jì)檢測(cè)面部，并且獲得作為至少包 括該面部的一部分的矩形區(qū)域的面部區(qū)域。例如，如圖8(b)所示，檢測(cè)圖像450中包括的 人451的面部452，并且獲得包括面部452的面部區(qū)域455。此外，獲得關(guān)于檢測(cè)的面部的
20面部檢測(cè)信息(面部的位置、大小等)。例如，如圖8(c)所示，設(shè)置x-y坐標(biāo)，其中圖像450 的左上角取為原點(diǎn)，水平方向取為x軸，并且垂直方向取為y軸。利用x-y坐標(biāo)，以面部區(qū) 域455的左上角作為原點(diǎn)的頂點(diǎn)456的坐標(biāo)(x， y)計(jì)算為面部的位置。類(lèi)似地，利用x-y 坐標(biāo)，面部區(qū)域455的水平方向的長(zhǎng)度W、以及面部區(qū)域455的垂直方向的長(zhǎng)度H計(jì)算為面 部的大小。面部檢測(cè)單元130將這樣的面部檢測(cè)信息輸出到面部表情評(píng)估值計(jì)算單元140 和記錄控制單元150。 隨后，面部表情評(píng)估值計(jì)算單元140基于從面部檢測(cè)單元130輸出的面部檢測(cè)信
息，從圖像450提取面部區(qū)域455的圖像(圖像數(shù)據(jù))。也就是說(shuō)，面部表情評(píng)估值計(jì)算單
元140訪(fǎng)問(wèn)存儲(chǔ)器(RAM)，其中暫時(shí)存儲(chǔ)了用作面部檢測(cè)目標(biāo)的圖像數(shù)據(jù)，并且僅讀出對(duì)應(yīng)
于從面部檢測(cè)單元130輸出的面部檢測(cè)信息的面部區(qū)域內(nèi)的圖像數(shù)據(jù)。 隨后，面部表情評(píng)估值計(jì)算單元140將提取的圖像變換為一定大小的圖像，并且
對(duì)其規(guī)范化以生成規(guī)范化的面部圖像。也就是說(shuō)，提取的圖像經(jīng)歷分辨率轉(zhuǎn)換，作為一定大
小(一定分辨率)的圖像，從而生成規(guī)范化的面部圖像。設(shè)規(guī)范化后的圖像大小是用作當(dāng)
面部表情評(píng)估值計(jì)算單元140計(jì)算關(guān)于面部的面部表情評(píng)估值時(shí)的處理單元的大小。利用
本發(fā)明第一實(shí)施例，例如，設(shè)用于規(guī)范化的一定大小是48像素X48像素的大小。 隨后，面部表情評(píng)估值計(jì)算單元140基于規(guī)范化的面部圖像和判別軸信息存儲(chǔ)單
元141中存儲(chǔ)的判別軸信息，計(jì)算指示規(guī)范化的面部圖像中包括的面部表情的程度的面部
表情評(píng)估值。該計(jì)算的面部表情評(píng)估值輸出到記錄控制單元150。該面部表情評(píng)估值是指
示要確定的面部表情類(lèi)似于兩個(gè)不同的面部表情中的哪個(gè)的程度的值。利用本發(fā)明第一實(shí)
施例，將關(guān)于這樣的示例進(jìn)行描述，其中兩個(gè)不同的面部表情是"笑臉"和"正常面部表情"，
并且做出評(píng)估隨著計(jì)算的面部表情評(píng)估值增加、要確定的面部表情是"笑臉"的程度強(qiáng)。另
一方面，做出評(píng)估隨著計(jì)算的面部表情評(píng)估值減小，要確定的面部表情是"正常面部表情"
的程度強(qiáng)。注意，將關(guān)于圖9到12詳細(xì)描述該面部表情評(píng)估值計(jì)算方法。 圖9是概念性圖示用于計(jì)算面部表情評(píng)估值的判別軸信息、以及在生成該判別軸
信息時(shí)的流程的圖。 利用本發(fā)明第一實(shí)施例，將關(guān)于使用Fisher的線(xiàn)性判別分析的面部表情評(píng)估值 計(jì)算方法作為示例進(jìn)行描述。利用該面部表情評(píng)估值計(jì)算方法，首先，預(yù)先準(zhǔn)備包括兩個(gè)不 同面部表情中的一個(gè)的大量采樣圖像。隨后，考慮作為兩個(gè)不同面部表情之間的兩類(lèi)問(wèn)題， 基于這些采樣圖像的數(shù)據(jù)執(zhí)行線(xiàn)性判別分析(LDA)。因此，形成判別軸466(如圖9(c)所 示)，其中這兩個(gè)不同的面部表情被很好地判別。隨后，該判別軸466存儲(chǔ)在判別軸信息存 儲(chǔ)單元141中。此外，在面部表情評(píng)估時(shí)，通過(guò)獲得要評(píng)估的面部圖像的數(shù)據(jù)和判別軸466 之間的內(nèi)積計(jì)算面部表情評(píng)估值。下面將參照附圖具體進(jìn)行描述。 利用本發(fā)明第一實(shí)施例，為了使用"笑臉"作為特定面部表情，將關(guān)于笑臉采樣圖 像和正常面部表情采樣圖像用作關(guān)于兩個(gè)不同面部表情的采樣圖像的情況作為示例進(jìn)行 描述。在圖9中，(a)圖示作為笑臉采樣圖像組461的笑臉采樣圖像組，并且圖示作為正常 面部表情采樣圖像組462的正常面部表情采樣圖像組。設(shè)采樣圖像組461和462中包括 的每個(gè)采樣圖像是被規(guī)范化、使得面部變?yōu)橐欢ù笮〉木匦螆D像內(nèi)的一定大小(例如，48 像素X48像素)的圖像。采樣圖像組461和462中包括的每個(gè)采樣圖像的數(shù)據(jù)被處理為 48 X 48維矢量數(shù)據(jù)，從而執(zhí)行LDA處理。
這里，處理48X48維矢量數(shù)據(jù)的矢量空間是包括48X48坐標(biāo)軸的極高維空間。因
此，在執(zhí)行LDA處理之前，關(guān)于48 X 48維矢量數(shù)據(jù)執(zhí)行主分量分析(PCA)。隨后，將48 X 48
維矢量數(shù)據(jù)轉(zhuǎn)換(維度壓縮)為僅有效地表示面部的特征的低維空間數(shù)據(jù)。利用該P(yáng)CA處理，考慮獲得M軸，使得M(例如，M = 300)N維(N = 48X48)輸入
采樣圖像組之間的不規(guī)律性(分散)變得最大。這樣的軸可作為關(guān)于采樣圖像組的協(xié)方差
矩陣的特征值問(wèn)題的解(特征矢量)而獲得。隨后，僅具有相對(duì)大系數(shù)的矢量分量提取為
主分量，從而48X48維矢量數(shù)據(jù)可維度壓縮為僅包括適于表示面部的特征的矢量分量的
N'維(N > N')數(shù)據(jù)。例如，已經(jīng)理解通過(guò)設(shè)置N' = 40等維持關(guān)于面部表情判別的足夠
精度。注意，在PCA處理獲得的主分量中，按系數(shù)遞減順序消除若干主分量，從而維數(shù)進(jìn)一
步減少，同時(shí)維持面部表情判別精度，因此，可減少下一 PCA處理的負(fù)載。 現(xiàn)在，將參照?qǐng)D10詳細(xì)描述在PCA處理時(shí)要輸入的采樣圖像的遮蓋處理。 圖10是示意性圖示根據(jù)本發(fā)明第一實(shí)施例、在PCA處理時(shí)要輸入的采樣圖像的遮
蓋處理的圖。在圖10中，(a)圖示屬于笑臉采樣圖像組461的采樣圖像470。笑臉475包
括在采樣圖像470中。注意，如上所述，采樣圖像470是規(guī)范化為矩形形狀使得面部475變
為一定大小的圖像。 現(xiàn)在，如圖10(a)所示，在采樣圖像470按原樣用來(lái)執(zhí)行PCA處理的情況下，在一 些情況下，由于如面部475的背景、以及頭發(fā)等的影響，阻礙了適當(dāng)?shù)闹鞣至康倪x擇。因此， 如圖10 (b)所示，除了面部475的皮膚以外的區(qū)域用遮蓋472覆蓋，從而覆蓋采樣圖像470， 使得僅保留皮膚部分的面部區(qū)域。注意，在圖10(b)和(c)的情況下，遮蓋472和474的區(qū) 域用陰影部分指示。在面部的信息密度增強(qiáng)的狀態(tài)下，圖10(b)所示的轉(zhuǎn)換后的采樣圖像 471經(jīng)歷PCA處理，從而可執(zhí)行更高精度的維度壓縮。注意，在面部區(qū)域中，根據(jù)面部表情， 嘴極大地改變，因此，嘴經(jīng)常變?yōu)楦蓴_因子。因此，如圖10(c)所示，面部475的嘴的周?chē)鷧^(qū) 域也用遮蓋474覆蓋，從而采樣圖像470被轉(zhuǎn)換，使得保留除了嘴的周?chē)鷧^(qū)域以外的、皮膚 部分的面部區(qū)域。圖10(c)所示的轉(zhuǎn)換后的采樣圖像473用于執(zhí)行PCA處理，從而可以增 強(qiáng)維度壓縮的精度。因此，在本發(fā)明第一實(shí)施例的情況下，將關(guān)于在PCA處理時(shí)要輸入的采 樣圖像經(jīng)歷圖10(c)所示的遮蓋處理的情況作為示例進(jìn)行描述。 現(xiàn)在，設(shè)圖9 (b)和(c)所示的PCA空間465是僅包括有效地表示采樣圖像中包括 的面部的特征的坐標(biāo)軸的部分空間。 屬于已經(jīng)通過(guò)上述PCA處理維度壓縮的笑臉采樣圖像組461或正常面部表情采樣 圖像組462的每個(gè)采樣圖像被轉(zhuǎn)換為PCA空間465上的矢量數(shù)據(jù)，如圖9 (b)所示，其示意 性圖示了這樣的狀態(tài)，其中屬于笑臉采樣圖像組461或正常面部表情采樣圖像組462的每 個(gè)采樣圖像投射到PCA空間465上。如圖9(b)所示，在屬于同一采樣圖像組的采樣圖像投 射到PCA空間465上的情況下，采樣圖像之間的距離是相對(duì)近的距離。因此，在屬于笑臉采 樣圖像組461的采樣圖像投射到PCA空間465之后，通過(guò)其采樣圖像形成的簇取為簇463。 此外，在屬于正常面部表情采樣圖像組462的采樣圖像投射到PCA空間465之后，通過(guò)其采 樣圖像形成的簇取為簇464。通過(guò)LDA處理形成適當(dāng)?shù)胤蛛x簇463和464的投射軸(判別 軸466)。這樣的判別軸466稱(chēng)為"Fisher投射軸"。 通常，根據(jù)LDA處理，獲得判別軸，使得投射到N'維特征矢量上的簇內(nèi)和簇間的分 散變?yōu)樽畲?。也就是說(shuō)，獲得對(duì)應(yīng)于簇內(nèi)和簇間的每個(gè)協(xié)方差矩陣的最大特征值的特征矢量，并且其取為判別軸466上的矢量 之間的關(guān)系如表達(dá)式11和12所示'
(Fisher矢量)。每個(gè)協(xié)方差矩陣和特征值/特征矢〗 <formula>formula see original document page 23</formula>
Fisher矢
<formula>formula see original document page 23</formula>
量:j斗關(guān)于最大特征值A(chǔ)
表達(dá)式11
表達(dá)式12<formula>formula see original document page 23</formula>
這里，Rw表示簇內(nèi)協(xié)方差矩陣，Re表示簇間協(xié)方差矩陣，并且A表示特征值。此 外，關(guān)于表達(dá)式12的逆矩陣、特征值、和特征矢量的計(jì)算，可分別采用下-上(lower-upper, LU)分解方法、QR分解方法(Q :正交矩陣，R :上三角矩陣)和高斯消除。如Fisher矢量的 每個(gè)分量的系數(shù)等的信息存儲(chǔ)在判別軸信息存儲(chǔ)單元141中，作為由此計(jì)算的判別軸466 的信息。也就是說(shuō)，判別軸466的信息是包括指示面部表情的判別軸的矢量的系數(shù)的信息， 通過(guò)基于信號(hào)分量執(zhí)行線(xiàn)性判別分析獲得該面部表情的判別軸，從關(guān)于兩個(gè)不同面部表情 等的大量面部采樣圖像的圖像數(shù)據(jù)中通過(guò)主分量分析獲得該信號(hào)分量。
圖11是示意性圖示在像素空間和PCA空間中的判別軸和要評(píng)估的面部圖像之間 的關(guān)系的圖。 在使用圖9(c)所示的判別軸466計(jì)算面部表情評(píng)估值的情況下，首先，從成像的 圖像檢測(cè)的面部(面部圖像)的圖像數(shù)據(jù)經(jīng)歷PCA處理以提取主分量。對(duì)應(yīng)于其圖像數(shù)據(jù) 的面部圖像的面部表情被評(píng)估為關(guān)于經(jīng)歷PCA處理的面部圖像矢量(輸入的面部圖像矢 量)的判別軸466 (矢量Ad)的投射分量，如圖11中的PCA空間465中所示。也就是說(shuō)，如 表達(dá)式15所示，面部表情評(píng)估值E，可通過(guò)輸入面部圖像矢量和Fisher矢量之間的內(nèi)積 而計(jì)算。
<formula>formula see original document page 23</formula>
表達(dá)式13 表達(dá)式14 E <formula>formula see original document page 23</formula>
表達(dá)式16
表達(dá)式153nj>xl:像素空間上的面部圖像矢量、 Adj)x,:像素空間上的Fisher矢量
A,…，/V:主分量的矢量 后叫面部表情評(píng)估值 、？uu^ :PCA處理后的面部圖像矢量^ Fisher矢量的信息可轉(zhuǎn)換為像素空間Spxl (PCA處理之前的原始圖像數(shù)據(jù)具有的 維度空間)上的信息。表達(dá)式13和14是表示作為像素空間Spxl上的矢量的Fisher矢量 和輸入面部圖像矢量的表達(dá)式。圖ll概念性圖示了用表達(dá)式13和14表示的關(guān)系。如表 達(dá)式13、14和11所示，通過(guò)PCA處理獲得的除主分量i^到y(tǒng)『之外的矢量分量可用作為 所有輸入圖像的平均值的常數(shù)C近似。因此，如表達(dá)式15所示的內(nèi)積計(jì)算可等效地表示為 像素空間Spxl上的矢量?jī)?nèi)積計(jì)算，如表達(dá)式16所示。 如表達(dá)式16所示，可預(yù)先計(jì)算像素空間Spxl上的Fisher矢量分量和常數(shù)C之間 的減法結(jié)果。因此，該減法結(jié)果和常數(shù)C存儲(chǔ)在判別軸信息存儲(chǔ)單元141中，作為判別軸信 息。隨后，面部表情評(píng)估值計(jì)算單元140計(jì)算從成像的圖像檢測(cè)的面部圖像的矢量，此后執(zhí) 行表達(dá)式16的內(nèi)積計(jì)算，而不使該矢量經(jīng)歷PCA處理。這里，關(guān)于通過(guò)表達(dá)式16對(duì)一個(gè)面 部的面部表情評(píng)估值的計(jì)算，減法、乘法和加法最多執(zhí)行48X48次，并且實(shí)際上，僅執(zhí)行對(duì) 應(yīng)于大約40個(gè)主分量y工到y(tǒng) N，的系數(shù)的計(jì)算。因此，與對(duì)PCA空間465執(zhí)行矢量?jī)?nèi)積計(jì) 算的情況相比，計(jì)算量可以極大地減小，而不劣化面部表情評(píng)估的精度，并且在記錄成像的 圖像之前，可以以場(chǎng)角匹配狀態(tài)容易地計(jì)算面部表情評(píng)估值Erap。 采用了這樣的面部表情評(píng)估值計(jì)算方法，由此例如與通過(guò)大量面部圖像模板和檢 測(cè)的面部圖像之間的匹配來(lái)評(píng)估面部表情的面部表情評(píng)估方法相比，可以高精度執(zhí)行面部 表情評(píng)估，同時(shí)減少處理負(fù)載。例如，在使用模板執(zhí)行匹配的情況下，通常，需要從檢測(cè)的面 部圖像提取如眼、嘴等的部分，以對(duì)每個(gè)部分執(zhí)行匹配處理。另一方面，利用用于本發(fā)明第 一實(shí)施例的面部表情評(píng)估值計(jì)算方法，在檢測(cè)的面部規(guī)范化到一定大小之后，其面部圖像 用矢量信息替代，從而這可按原樣(或部分遮蓋地)應(yīng)用到內(nèi)積計(jì)算。其內(nèi)積計(jì)算可以簡(jiǎn) 化為包括大約40維減法、乘法和加法的簡(jiǎn)單計(jì)算。 圖12是圖示在根據(jù)本發(fā)明第一實(shí)施例的面部表情評(píng)估值輸出為數(shù)值的情況下的 計(jì)算示例的圖。 利用本發(fā)明第一實(shí)施例，例如，基于采樣圖像的PCA處理，獲得PCA空間上的笑臉 圖像的分布481的平均482、以及PCA空間上的正常面部表情面部圖像的分布483的平均 484。隨后，確定關(guān)于平均482和484的判別軸466的投射點(diǎn)。隨后，以平均482和484的 投射點(diǎn)的中點(diǎn)485作為參考，將面部表情評(píng)估值E⑩轉(zhuǎn)換為數(shù)值。也就是說(shuō)，如圖12所示， 關(guān)于面部圖像的判別軸466的投射點(diǎn)486、以及平均482和484的投射點(diǎn)的中點(diǎn)485之間的 距離取為面部表情評(píng)估值E，，并且笑臉采樣圖像分布的一側(cè)取為正數(shù)值。因此，檢測(cè)的面 部圖像類(lèi)似于笑臉還是正常面部表情可輸出為連續(xù)的數(shù)值。在此情況下，根據(jù)面部表情評(píng) 估值E，的增加，笑臉的程度評(píng)估為高。此外，在已經(jīng)通過(guò)面部檢測(cè)單元130從一個(gè)圖像檢 測(cè)多個(gè)面部的情況下，通過(guò)面部表情評(píng)估值計(jì)算單元140關(guān)于這些面部的每個(gè)面部執(zhí)行面 部表情評(píng)估值的計(jì)算。隨后，關(guān)于其每個(gè)面部計(jì)算的面部表情評(píng)估值存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中。 圖像處理裝置的操作示例 接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的操作。圖 13是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的元數(shù)據(jù)記錄處理的過(guò)程的流 程圖。 首先，運(yùn)動(dòng)畫(huà)面文件輸入到運(yùn)動(dòng)畫(huà)面輸入單元110(步驟S901)。隨后，解碼輸入到 運(yùn)動(dòng)畫(huà)面輸入單元110的運(yùn)動(dòng)畫(huà)面文件，獲得按時(shí)間序列順序的一幀的圖像(步驟S902)。 面部檢測(cè)單元130執(zhí)行關(guān)于獲得的一幀的面部檢測(cè)處理(步驟S903)。面部表情評(píng)估值計(jì)算 單元140執(zhí)行關(guān)于通過(guò)面部檢測(cè)處理檢測(cè)的面部的面部表情評(píng)估值計(jì)算處理(步驟S904)。
隨后，確定獲得的一幀是否是輸入到運(yùn)動(dòng)畫(huà)面輸入單元110的運(yùn)動(dòng)畫(huà)面文件的頂 部幀(步驟S905)。在獲得的一幀是頂部幀的情況下(步驟S905)，從對(duì)應(yīng)于該頂部幀的整 個(gè)圖像提取特征點(diǎn)(步驟S906)。隨后，單位矩陣的仿射變換參數(shù)被選擇為仿射變換參數(shù) (步驟S907) ， " 1. 0"計(jì)算為可靠度確定分?jǐn)?shù)，并且流程進(jìn)行到步驟S913。
另一方面，在獲得的一個(gè)幀是頂部幀的情況下(步驟S905)，以對(duì)應(yīng)于緊接在前面 的幀的圖像作為參考，從新成像的區(qū)域提取特征點(diǎn)(步驟S905)。也就是說(shuō)，可通過(guò)對(duì)應(yīng)于 該特征點(diǎn)的光流獲得已經(jīng)用對(duì)應(yīng)于緊接在前面的幀的圖像提取的特征點(diǎn)，因此，不用對(duì)應(yīng) 于當(dāng)前幀的圖像提取該特征點(diǎn)。隨后，保持對(duì)應(yīng)于緊接在前面的幀的整個(gè)圖像的特征點(diǎn)的 數(shù)量(步驟S910)。 隨后，計(jì)算關(guān)于從與緊接在前面的幀對(duì)應(yīng)的圖像提取的每個(gè)特征點(diǎn)的光流(步驟 S911)。相機(jī)工作參數(shù)計(jì)算單元123執(zhí)行仿射變換參數(shù)計(jì)算處理(步驟S920)。將參照?qǐng)D 14詳細(xì)描述該仿射變換參數(shù)計(jì)算處理。注意，步驟S920是發(fā)明內(nèi)容中所指的計(jì)算過(guò)程的示 例。 隨后，基于保持的整個(gè)圖像中的特征點(diǎn)的數(shù)量以及選擇的代表仿射變換參數(shù)的分 數(shù)，計(jì)算可靠度確定分?jǐn)?shù)(步驟S912)。關(guān)于當(dāng)前幀獲得的每條元數(shù)據(jù)以與當(dāng)前幀相關(guān)的方 式記錄在元數(shù)據(jù)存儲(chǔ)單元210中(步驟S913)。注意，在當(dāng)前幀是頂部幀的情況下，選擇的 單位矩陣的仿射變換參數(shù)以與頂部幀相關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210中。隨后，對(duì) 應(yīng)于當(dāng)前幀的圖像、以及該圖像的特征點(diǎn)以重寫(xiě)方式存儲(chǔ)(步驟S914)。
隨后，確定當(dāng)前幀是否是輸入到運(yùn)動(dòng)畫(huà)面輸入單元110的運(yùn)動(dòng)畫(huà)面文件的最后幀 (步驟S915)。在當(dāng)前幀不是最后幀的情況下(步驟S915)，流程返回到步驟S902，其中重 復(fù)元數(shù)據(jù)記錄處理(步驟S902到S914以及S920)。另一方面，在當(dāng)前幀是最后幀的情況下 (步驟S915)，元數(shù)據(jù)記錄處理結(jié)束。 圖14是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的元數(shù)據(jù)記錄處理 的過(guò)程中包括的仿射變換參數(shù)計(jì)算過(guò)程(圖13中所示的步驟S920的過(guò)程)的流程圖。
首先，變量i初始化為"l"(步驟S921)。隨后，從已經(jīng)檢測(cè)其光流的特征點(diǎn)選擇M 個(gè)特征點(diǎn)(步驟S922)。例如，在仿射變換參數(shù)用作相機(jī)工作參數(shù)的情況下，隨機(jī)選擇三個(gè) 特征點(diǎn)。此外，在投射變換參數(shù)用作相機(jī)工作參數(shù)的情況下，隨機(jī)選擇四個(gè)特征點(diǎn)。隨后， 基于對(duì)應(yīng)于選擇的M個(gè)特征點(diǎn)計(jì)算的M個(gè)光流計(jì)算仿射變換參數(shù)(步驟S923)。
隨后，基于計(jì)算的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的分?jǐn)?shù)(步驟S924)。具體地， 計(jì)算的仿射變換參數(shù)用于獲得對(duì)應(yīng)于緊接在前面的幀的圖像的所有特征點(diǎn)的運(yùn)動(dòng)目的地
25的位置。隨后，比較用其仿射變換參數(shù)獲得的特征點(diǎn)的位置、以及對(duì)應(yīng)于在計(jì)算步驟S911 的光流時(shí)獲得的當(dāng)前幀的圖像的特征點(diǎn)的位置。對(duì)每個(gè)特征點(diǎn)計(jì)算相互對(duì)應(yīng)的兩個(gè)特征點(diǎn) 的位置之間的差值。例如，相互對(duì)應(yīng)的兩個(gè)位置之間的絕對(duì)距離計(jì)算為差值。隨后，對(duì)每個(gè) 特征點(diǎn)比較計(jì)算的差值和預(yù)定閾值，并且獲得其差值小于閾值的特征點(diǎn)的數(shù)量，作為仿射 變換參數(shù)的分?jǐn)?shù)。 隨后，對(duì)變量i加"1"(步驟S925)，并且確定變量i是否大于常數(shù)N(步驟S926)。 在變量i等于或小于常數(shù)N的情況下(步驟S926)，流程返回到步驟S922，其中重復(fù)仿射變 換參數(shù)的分?jǐn)?shù)計(jì)算處理(步驟S922到S925)。例如，20可用作常數(shù)N。
另一方面，在變量i大于常數(shù)N的情況下(步驟S926)，在獲得的仿射變換參數(shù)的 分?jǐn)?shù)中，具有最高分?jǐn)?shù)值的仿射變換參數(shù)選擇為代表仿射變換參數(shù)(步驟S927)。
利用本發(fā)明第一實(shí)施例，已經(jīng)關(guān)于這樣的示例進(jìn)行描述，其中基于從構(gòu)成運(yùn)動(dòng)畫(huà) 面的圖像檢測(cè)的光流，將仿射變換參數(shù)檢測(cè)為相機(jī)工作參數(shù)。然而，例如，為相機(jī)提供如加 速度傳感器或回轉(zhuǎn)儀(gyro)傳感器等的傳感器、在執(zhí)行變焦操作時(shí)使用的變焦按鈕，并且 在成像時(shí)相機(jī)的運(yùn)動(dòng)量通過(guò)該傳感器和變焦按鈕檢測(cè)。隨后，可基于相機(jī)的運(yùn)動(dòng)量獲得相 機(jī)工作參數(shù)。替代地，可進(jìn)行這樣的安排，其中通過(guò)相機(jī)工作參數(shù)計(jì)算單元123預(yù)先檢測(cè)多 個(gè)相機(jī)工作參數(shù)，并且基于在成像時(shí)檢測(cè)的相機(jī)的運(yùn)動(dòng)量，從多個(gè)相機(jī)工作參數(shù)選擇一個(gè) 相機(jī)工作參數(shù)。 圖像的仿射變換示例 接下來(lái)，將參照附圖關(guān)于這樣的情況詳細(xì)進(jìn)行描述，其中通過(guò)相機(jī)工作檢測(cè)單元
120計(jì)算的仿射變換參數(shù)用于使構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像經(jīng)歷仿射變換。現(xiàn)在，為說(shuō)明方便，簡(jiǎn)
化圖15到23中所示的每個(gè)圖像，并且在構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像中，圖示了其圖像之間的運(yùn)動(dòng)
量相對(duì)小的圖像。此外，設(shè)圖15到23中的每個(gè)圖像是通過(guò)合成目標(biāo)圖像選擇單元170選
擇的圖像。此外，示出了隨后的幀重寫(xiě)在時(shí)間軸上的之前的幀上的情況作為示例。 首先，將關(guān)于這樣的情況進(jìn)行描述，其中在通過(guò)相機(jī)成像時(shí)，雖然不變焦，但是以
相機(jī)的位置作為中心，將相機(jī)的鏡頭的方向在四個(gè)方向之一上移動(dòng)。 圖15是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖。圖15圖示在以山為背 景對(duì)人400成像的情況下、構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像401到403。此外，該示例圖示這樣的情況， 其中用戶(hù)正拍攝圖像，同時(shí)將相機(jī)的鏡頭的方向向用戶(hù)右側(cè)和左側(cè)移動(dòng)。在該示例中，要通 過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面中包括的人400從右側(cè)移動(dòng)到左側(cè)，并且移動(dòng)到構(gòu)成其運(yùn)動(dòng)畫(huà)面的 圖像中的下側(cè)。 圖16是示意性圖示在通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元170選擇 的圖像401到403中包括的被攝體的所在地的圖。注意，在圖16(b)和(c)所示的圖像 402和403的情況下，對(duì)應(yīng)于之前的幀的圖像用虛線(xiàn)示出。圖16(a)中所示的圖像401與 圖15(a)中示出的圖像401相同。此外，圖16(b)中示出的圖像402的實(shí)線(xiàn)部分與圖15(b) 中示出的圖像402相同，并且圖16(b)中示出的圖像402的虛線(xiàn)部分與圖16(a)中示出的 圖像401的實(shí)線(xiàn)部分相同。此外，圖16(b)中所示的圖像402的箭頭404到406是指示圖 像401和402中包括的被攝體的所在地的箭頭。此外，圖16(c)中所示的圖像403的實(shí)線(xiàn) 部分與圖15(c)中所示的圖像403相同，并且圖16(c)中所示的圖 403的虛線(xiàn)部分與圖 16(b)中所示的圖像402的實(shí)線(xiàn)部分相同。此外，圖16(c)中所示的圖像403的箭頭407到409是指示圖像402和403中包括的被攝體的所在地的箭頭。 如圖16(b)和(c)所示，圖像中包括的背景的山和人400與相機(jī)的運(yùn)動(dòng)一起移動(dòng)。 基于通過(guò)該運(yùn)動(dòng)檢測(cè)的每個(gè)光流，可獲得圖像之間的仿射變換參數(shù)。例如，在圖像401取為 參考圖像的情況下，將關(guān)于圖像401和402的每個(gè)圖像計(jì)算的仿射變換參數(shù)的仿射矩陣相 乘，從而可以獲得用于使圖像402經(jīng)歷仿射變換的仿射變換參數(shù)。此外，關(guān)于圖像401到403 的每個(gè)圖像計(jì)算的仿射變換參數(shù)的仿射矩陣相乘，從而可以獲得用于使圖像403經(jīng)歷仿射 變換的仿射變換參數(shù)?，F(xiàn)在，設(shè)參考圖像的仿射變換參數(shù)是單位矩陣的仿射變換參數(shù)。
圖17是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220合成圖像的情況 下的圖像合成示例的圖。利用該示例，將關(guān)于這樣的情況進(jìn)行描述，其中以圖像401為參考 圖像，圖像402和403使用存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中的仿射變換參數(shù)經(jīng) 歷仿射變換。 例如，在與圖像401相關(guān)的仿射變換參數(shù)的仿射矩陣取為Al的情況下，圖像變換 單元190以頂部幀的圖像401的位置和大小作為參考，通過(guò)矩陣A1使圖像401經(jīng)歷仿射變 換。這里，圖像401是參考圖像，因此，Al是單位矩陣。因此，不變換圖像401的位置和大 小。 隨后，在合成對(duì)應(yīng)于下一幀的圖像402的情況下，圖像變換單元190使用與圖像 402相關(guān)的仿射變換參數(shù)，使圖像402經(jīng)歷仿射變換。例如，設(shè)與圖像402相關(guān)的仿射變換 參數(shù)的矩陣是A2。在此情況下，圖像變換單元190以頂部幀的圖像401的位置和大小作為 參考，使圖像402通過(guò)矩陣A2經(jīng)歷仿射變換。注意，在圖17(b)所示的示例的情況下，如箭 頭415和416所示，僅變換圖像402的位置。隨后，圖像合成單元220將通過(guò)圖像變換單 元190經(jīng)歷仿射變換的圖像402重寫(xiě)在對(duì)應(yīng)于之前的幀的圖像401上，以便在其上重疊并 合成。具體地，在圖像401的區(qū)域中，與圖像402重疊的區(qū)域410通過(guò)圖像402的圖像而重 寫(xiě)。此外，在圖像401的區(qū)域中，不與圖像402重疊的區(qū)域411不用圖像402的圖像重寫(xiě)。 也就是說(shuō)，在合成對(duì)應(yīng)于第二幀的圖像402的情況下，如圖17(b)所示，創(chuàng)建這樣的圖像，其 中合成圖像402的整個(gè)部分以及對(duì)應(yīng)于圖像401的區(qū)域411的部分。 隨后，在顯示對(duì)應(yīng)于第二幀的圖像403的情況下，圖像變換單元190使用與圖像 403相關(guān)的仿射變換參數(shù)，使圖像403經(jīng)歷仿射變換。例如，設(shè)對(duì)應(yīng)于圖像403的仿射變換 參數(shù)的矩陣是A3。在此情況下，圖像變換單元190以圖像401的位置和大小作為參考，使圖 像403通過(guò)矩陣A3經(jīng)歷仿射變換。注意，在圖17(c)所示的圖像的情況下，如箭頭417和 418所示，僅變換圖像403的位置。隨后，圖像合成單元220將通過(guò)圖像變換單元190經(jīng)歷 仿射變換的圖像403重寫(xiě)在對(duì)應(yīng)于之前的幀的圖像401和402的合成圖像上，以便在其上 重疊并合成。具體地，在圖像401和402的合成圖像的區(qū)域中，與圖像403重疊的區(qū)域413 和414通過(guò)圖像403的圖像而重寫(xiě)。此外，在圖像401和402的合成圖像的區(qū)域中，不與圖 像403重疊的區(qū)域411和412與圖像401和402的合成圖像合成。也就是說(shuō)，在合成對(duì)應(yīng) 于第三幀的圖像403的情況下，如圖17(c)所示，創(chuàng)建這樣的圖像，其中合成圖像403的整 個(gè)部分、對(duì)應(yīng)于圖像401的區(qū)域411的部分、以及對(duì)應(yīng)于圖像402的區(qū)域412的部分。
接下來(lái)，將關(guān)于這樣的情況進(jìn)行描述，其中在通過(guò)相機(jī)成像時(shí)，盡管相機(jī)的鏡頭的 方向沒(méi)變，但是已經(jīng)變焦。 圖18是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖。圖18圖示與在以山為背景對(duì)人420成像的情況下的運(yùn)動(dòng)畫(huà)面中包括的連續(xù)幀對(duì)應(yīng)的圖像421到423。該示例圖
示用戶(hù)在放大的同時(shí)拍攝圖像的情況。在此情況下，通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面中包括的人
420的大小在構(gòu)成其運(yùn)動(dòng)畫(huà)面的圖像上逐漸增加。注意，盡管在一些情況下在變焦時(shí)相機(jī)的
位置在一定程度上移動(dòng)，但是在該示例的情況下，將不考慮相機(jī)的位置的移動(dòng)來(lái)進(jìn)行描述。 圖19是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元170選擇的
圖像421到423中包括的被攝體的所在地的圖。注意，圖19中所示的仿射變換參數(shù)計(jì)算示
例與圖16中所示的仿射變換參數(shù)計(jì)算示例相同，因此，這里將省略其描述。 圖20是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220合成圖像的情況
下的圖像合成示例的圖。注意，圖20所示的圖像合成示例與圖17中所示的圖像合成示例
相同，因此，這里將省略其描述。 接下來(lái)，將關(guān)于這樣的情況進(jìn)行描述，其中，在通過(guò)相機(jī)成像時(shí)，盡管相機(jī)的鏡頭 的方向和焦距沒(méi)有變，但是相機(jī)已經(jīng)以光軸作為旋轉(zhuǎn)中心而旋轉(zhuǎn)。 圖21是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖。圖21圖示與在以山為 背景對(duì)人440成像的情況下的運(yùn)動(dòng)畫(huà)面中包括的連續(xù)幀對(duì)應(yīng)的圖像441到443。該示例圖 示了這樣的情況，其中用戶(hù)正在執(zhí)行成像，同時(shí)以光軸方向?yàn)樾D(zhuǎn)中心旋轉(zhuǎn)相機(jī)。在此情況 下，通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面中包括的人440在構(gòu)成其運(yùn)動(dòng)畫(huà)面的圖像上逐漸旋轉(zhuǎn)。注意， 盡管在一些情況下，由于相機(jī)的旋轉(zhuǎn)導(dǎo)致相機(jī)的位置在一定程度上移動(dòng)，但是在本示例的 情況下，將不考慮相機(jī)的位置的移動(dòng)而進(jìn)行描述。 圖22是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元170選擇的
圖像441到443中包括的被攝體的所在地的圖。注意，圖22中所示的仿射變換參數(shù)計(jì)算示
例與圖16中所示的仿射變換參數(shù)計(jì)算示例相同，因此，這里將省略其描述。 圖23是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220合成圖像的情況
下的圖像合成示例的圖。注意，圖23所示的圖像合成示例與圖17中所示的圖像合成示例
相同，因此，這里將省略其描述。 圖像合成目標(biāo)部分的選擇示例 接下來(lái)，將參照附圖，關(guān)于用于從運(yùn)動(dòng)畫(huà)面選擇用于選擇合成目標(biāo)圖像的部分 (圖像合成目標(biāo)部分)的部分選擇方法詳細(xì)進(jìn)行描述。在本發(fā)明第一實(shí)施例的情況下，將關(guān) 于滿(mǎn)足下面條件(1)到(4)的部分選擇為圖像合成目標(biāo)部分的示例進(jìn)行描述。
(1)相機(jī)工作檢測(cè)的可靠度高。
(2)變焦率低，即，變焦改變小。
(3)水平方向或垂直方向上的運(yùn)動(dòng)量等于或大于一定像素量。 (4)圖像合成目標(biāo)部分的長(zhǎng)度是在一定范圍內(nèi)(例如，在2秒到20秒的范圍內(nèi))
的長(zhǎng)度。 此外，在本發(fā)明第一實(shí)施例的情況下，在滿(mǎn)足下面(a)和(b)條件的情況下，確定 上面的條件(1)相機(jī)工作檢測(cè)的可靠度高。 (a)在圖像的整個(gè)屏幕中的特征點(diǎn)中，指示展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的比率的值超 過(guò)閾值。 (b)各幀之間的改變率在一定范圍內(nèi)。各幀之間的改變率是指示通過(guò)與各幀之間 相關(guān)的仿射變換參數(shù)計(jì)算的相機(jī)工作的每個(gè)分量的值。
28
圖24是以時(shí)間序列方式圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元 120計(jì)算的可靠度確定分?jǐn)?shù)的圖。在圖24中，(a)使用矩形示意性圖示用作可靠度確定分 數(shù)計(jì)算目標(biāo)的幀。注意，在圖24(a)中，指示每個(gè)幀的幀序列號(hào)附加到矩形的內(nèi)部。
在圖24中，(b)圖示表示對(duì)每個(gè)幀、關(guān)于圖24(a)中所示的幀1到15計(jì)算的可靠 度確定分?jǐn)?shù)的曲線(xiàn)圖。在圖24(b)所示的曲線(xiàn)圖的情況下，水平軸是指示成像的時(shí)間的軸， 并且垂直軸是指示關(guān)于每幀計(jì)算的可靠度確定分?jǐn)?shù)的值的軸。此外，在垂直軸的情況下， 設(shè)上述條件(1)的閾值是閾值TH1。這里，例如值0.5到0.8可設(shè)為閾值TH1。注意，在圖 24(b)所示的曲線(xiàn)圖的水平軸的情況下，示出對(duì)應(yīng)于成像的時(shí)間點(diǎn)的每個(gè)幀號(hào)。這里，可靠 度確定分?jǐn)?shù)SHS是通過(guò)可靠度確定分?jǐn)?shù)計(jì)算單元124計(jì)算的值，并且以與構(gòu)成運(yùn)動(dòng)畫(huà)面存 儲(chǔ)單元200中存儲(chǔ)的運(yùn)動(dòng)畫(huà)面文件的每個(gè)幀相關(guān)的方式存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中。
在該示例的情況下，為了說(shuō)明方便，如圖24(a)所示，設(shè)上述條件(4)中的一定范 圍是K1和K2之間的范圍。此外，在圖24(b)所示的曲線(xiàn)圖的情況下，關(guān)于每幀計(jì)算的可靠 度確定分?jǐn)?shù)用白色圓圈表示。在表示可靠度確定分?jǐn)?shù)的白色圓圈中，超過(guò)閾值TH1的分?jǐn)?shù) 用粗線(xiàn)圓圈表示。 如圖24(b)所示，例如，幀1和3的可靠度確定分?jǐn)?shù)低于閾值TH1，因此，幀1和3 沒(méi)有確定為圖像合成目標(biāo)部分候選。此外，幀2的可靠度確定分?jǐn)?shù)超過(guò)閾值TH1，但是相鄰 的幀1和3的可靠度分?jǐn)?shù)低于閾值TH1，因此，不滿(mǎn)足上述條件(4)。因此，幀2不確定為圖 像合成目標(biāo)部分候選。另一方面，例如幀4到14的可靠度確定分?jǐn)?shù)超過(guò)閾值TH1。然而，幀 14的長(zhǎng)度超過(guò)上述條件(4)的一定范圍(K1和K2之間的范圍)。因此，在幀4到14中，在 上述條件(4)的一定范圍內(nèi)的幀4到13被部分選擇單元160確定為圖像合成目標(biāo)部分候 選500。也就是說(shuō)，部分選擇單元160提取可靠度確定分?jǐn)?shù)SHS超過(guò)閾值TH1的、包括在上 述條件(4)的一定范圍內(nèi)的連續(xù)幀，作為圖像合成目標(biāo)部分候選。 隨后，部分選擇單元160確定圖像合成目標(biāo)部分候選中包括的每個(gè)幀(相機(jī)工作
的每個(gè)分量)的改變率是否滿(mǎn)足下面的條件(11)到(17)。 (ll)XZthl < XZ < XZth2 (12)YZthl < YZ < YZth2 (13)XT<XTth (14)YT<YTth (15)XR<XRth (16)YR<YRth (17) |XR-YR| < ADRth 這里，XZ表示相機(jī)工作的X方向上的變焦分量，并且YZ表示相機(jī)工作的Y方向上 的變焦分量。此外，XT表示相機(jī)工作的X方向上的平移分量，并且YT表示相機(jī)工作的Y方 向上的平移分量。此外，XR表示相機(jī)工作的X方向上的旋轉(zhuǎn)分量，并且YR表示相機(jī)工作的 Y方向上的旋轉(zhuǎn)分量。此外，XZthl、 XZth2、 YZthl、 YZth2、 XTth、 YTth、 XRth、 YRth和ADRth
表示閾值。 例如，值0. 7到0. 9可設(shè)置為閾值XZthl和YZthl。此夕卜，例如，值1. 1到1. 3可設(shè) 置為閾值XZth2和YZth2。此外，例如，值W/20到W/5可設(shè)置為閾值XTth。注意，W是指示 要處理的圖像的水平方向上的像素的數(shù)量的值。此外，例如，值H/20到H/5可設(shè)置為閾值YTth。注意，H是指示要處理的圖像的垂直方向上的像素的數(shù)量的值。此外，例如，3度到5 度可設(shè)置為閾值XRth和YRth。此外，例如，O. 5度到1. 0度可設(shè)置為閾值A(chǔ)DRth。
在基于可靠度確定分?jǐn)?shù)提取的圖像合成目標(biāo)部分候選中包括的每個(gè)幀的相機(jī)工 作的每個(gè)分量滿(mǎn)足條件(11)到(17)的情況下，確定是否滿(mǎn)足條件(2)和(3)。另一方面， 在圖像合成目標(biāo)部分候選中包括的每個(gè)幀的相機(jī)工作的每個(gè)分量不滿(mǎn)足條件(11)到(17) 的情況下，其圖像合成目標(biāo)部分候選不被確定為圖像合成目標(biāo)部分。 圖25是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元 120計(jì)算的仿射變換參數(shù)計(jì)算的積分變焦分量的圖。在圖25中，(a)使用矩形示意性圖示 用作積分變焦分量計(jì)算目標(biāo)的幀。注意，圖25(a)中示出的幀l到15與圖24(a)中所示的 幀相同。 在圖25中，(b)圖示表示對(duì)于每幀、關(guān)于圖25(a)中所示的幀1到15計(jì)算的水平 方向(X方向)上的積分變焦分量的曲線(xiàn)圖。在圖25(b)所示的曲線(xiàn)圖的情況下，水平軸是 指示成像的時(shí)間點(diǎn)的軸，并且垂直軸是指示關(guān)于每幀計(jì)算的積分變焦分量的值的軸。該積 分變焦分量是通過(guò)將與從參考幀到目標(biāo)幀的每幀相關(guān)的仿射變換參數(shù)的仿射矩陣相乘計(jì) 算的仿射矩陣的變焦分量的值?，F(xiàn)在，設(shè)與參考幀相關(guān)的仿射變換參數(shù)是單位矩陣的值。具 體地，參考幀的積分變焦分量的值是1. O，并且目標(biāo)幀的積分變焦分量的值是關(guān)于參考幀的 相對(duì)值。此外，該積分變焦分量關(guān)于相機(jī)工作的X方向上的變焦分量和Y方向上的變焦分 量計(jì)算。注意，在圖25所示的示例的情況下，關(guān)于X方向上的變焦分量計(jì)算的積分變焦分 量圖示為示例。 在圖25(b)所示的曲線(xiàn)圖的情況下，關(guān)于每幀計(jì)算的積分變焦分量用白色圓圈圖 示。此外，在指示關(guān)于圖像合成目標(biāo)部分候選500中包括的每幀計(jì)算的積分變焦分量的白 色圓圈中，對(duì)應(yīng)于頂部幀的白色圓圈圖示為積分變焦分量501。此外，在指示關(guān)于圖像合成 目標(biāo)部分候選500中包括的每幀計(jì)算的積分變焦分量的白色圓圈中，指示最大值的白色圓 圈圖示為積分變焦分量502，并且指示最小值的白色圓圈圖示為積分變焦分量503。注意， 圖25(b)所示的曲線(xiàn)圖的水平軸指示根據(jù)成像的時(shí)間點(diǎn)的每個(gè)幀號(hào)。此外，在圖25(b)所 示的曲線(xiàn)圖的垂直軸的情況下，指示最大值的積分變焦分量502的值圖示為M2，并且指示 最小值的積分變焦分量503的值圖示為Ml。 現(xiàn)在，用于條件(2)的變焦率是指示積分變焦分量的最大值和最小值之間的比率 的值。該條件(2)基于關(guān)于圖像合成目標(biāo)部分候選中包括的每幀的變焦率是否包括在一定 范圍內(nèi)而確定。該一定范圍可以是例如低于閾值XZth2的范圍，如下所示。
XZml/XZm2 < XZth2 這里，XZml是關(guān)于圖像合成目標(biāo)部分候選中包括的每幀計(jì)算的X方向上的積分變 焦分量的最大值，并且XZm2是其積分變焦分量的最小值。注意，例如，值1. 5到3. 0可設(shè)置 為閾值XZth2 。此外，關(guān)于Y方向上的變焦分量計(jì)算的變焦率可基于下面的表達(dá)式是否滿(mǎn)足 而確定。 YZml/YZm2 < YZth2 這里，YZml是關(guān)于圖像合成目標(biāo)部分候選中包括的每幀計(jì)算的Y方向上的積分變 焦分量的最大值，并且YZm2是其積分變焦分量的最小值。注意，例如，值1. 5到3. 0可設(shè)置 為閾值YZth2。
在關(guān)于滿(mǎn)足條件(11)到(17)的圖像合成目標(biāo)部分候選中包括的每幀計(jì)算的X方向和Y方向上的變焦率滿(mǎn)足條件(2)的情況下，確定是否滿(mǎn)足條件(3)。另一方面，關(guān)于圖像合成目標(biāo)部分候選中包括的每幀計(jì)算的X方向和Y方向上的變焦率不滿(mǎn)足條件(2)，其圖像合成目標(biāo)部分候選不確定為圖像合成目標(biāo)部分。 圖26是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元120計(jì)算的仿射變換參數(shù)計(jì)算的積分平移分量的圖。在圖26中，(a)使用矩形示意性圖示用作積分平移分量計(jì)算目標(biāo)的幀。注意，圖26(a)中示出的幀l到15與圖24(a)中所示的幀相同。 在圖26中，(b)圖示表示對(duì)于每幀、關(guān)于圖26(a)中所示的幀1到15計(jì)算的水平方向(X方向)上的積分平移分量的曲線(xiàn)圖。在圖26(b)所示的曲線(xiàn)圖的情況下，水平軸是指示成像的時(shí)間點(diǎn)的軸，并且垂直軸是指示關(guān)于每幀計(jì)算的積分平移分量的值的軸。該積分平移分量是通過(guò)將與從參考幀到目標(biāo)幀的每幀相關(guān)的仿射變換參數(shù)的仿射矩陣相乘計(jì)算的仿射矩陣的平移分量的值?，F(xiàn)在，設(shè)與參考幀相關(guān)的仿射變換參數(shù)是單位矩陣的值。具體地，參考幀的積分平移分量的值是0. 0，并且目標(biāo)幀的積分平移分量的值是關(guān)于參考幀的相對(duì)值。此外，該積分平移分量關(guān)于相機(jī)工作的X方向上的平移分量和Y方向上的平移分量計(jì)算。注意，在圖26所示的示例的情況下，關(guān)于X方向上的平移分量計(jì)算的積分平移分量圖示為示例。 在圖26(b)所示的曲線(xiàn)圖的情況下，關(guān)于每幀計(jì)算的積分平移分量用白色圓圈圖示。此外，指示關(guān)于圖像合成目標(biāo)部分候選500中包括的每幀計(jì)算的積分平移分量的白色圓圈用粗線(xiàn)圖示。注意，圖26(b)所示的曲線(xiàn)圖的水平軸指示根據(jù)成像的時(shí)間點(diǎn)的每個(gè)幀號(hào)。此外，在圖25(b)所示的曲線(xiàn)圖的垂直軸的情況下，指示用于條件(a)的閾值XTth2和-XTth2。 這里，基于水平方向或垂直方向上的運(yùn)動(dòng)量是否等于或大于一定像素?cái)?shù)而確定條件(3)。具體地，基于搖動(dòng)和傾斜的至少一個(gè)是否相對(duì)大而進(jìn)行確定。例如，如下所示，基于積分平移分量XT1的絕對(duì)值是否超過(guò)閾值XTth2而進(jìn)行確定。
|XT11 > XTth2 這里，例如，值3W到10W可設(shè)置為閾值XTth2。注意，W是指示圖像的水平方向上的像素?cái)?shù)的值。此外，關(guān)于Y方向的積分平移分量YT1，也可基于是否滿(mǎn)足下面的表達(dá)式而進(jìn)行確定。 |YT11 > YTth2 這里，例如，值3H到10H可設(shè)置為閾值YTth2。注意，H是指示圖像的垂直方向上的像素?cái)?shù)的值。 例如，在圖26所示的示例的情況下，關(guān)于圖像合成目標(biāo)部分候選500中包括的幀12和13計(jì)算的X方向上的積分平移分量的值超過(guò)閾值XTth2。也就是說(shuō)，在圖26所示的示例的情況下，關(guān)于圖像合成目標(biāo)部分候選500中包括的每個(gè)幀計(jì)算的X方向上的積分平移分量的絕對(duì)值超過(guò)閾值XTth2，因此，確定滿(mǎn)足條件(3)。此外，即使在關(guān)于圖像合成目標(biāo)部分候選500中包括的每個(gè)幀計(jì)算的Y方向上的積分平移分量的絕對(duì)值超過(guò)閾值XTth2的情況下，也確定滿(mǎn)足條件(3)。因此，通過(guò)部分選擇單元160選擇確定為滿(mǎn)足條件(3)的圖像合成目標(biāo)部分候選作為圖像合成目標(biāo)部分。另一方面，在關(guān)于其圖像合成目標(biāo)部分候選中包括的每個(gè)幀計(jì)算的X方向上的積分平移分量和Y方向上的積分平移分量都不滿(mǎn)足條件(3)的情況下，其圖像合成目標(biāo)部分候選不被確定為圖像合成目標(biāo)部分。
在上述示例的情況下，關(guān)于滿(mǎn)足條件(1)和(4)的圖像合成目標(biāo)部分候選中包括的每個(gè)幀確定是否滿(mǎn)足條件(11)到(17)。隨后，關(guān)于滿(mǎn)足條件(11)和(17)的圖像合成目標(biāo)部分候選中包括的每個(gè)幀確定是否滿(mǎn)足條件(2)和(3)。然而，這些確定可以以不同順序進(jìn)行。此外，在條件(1)到(4)以及條件(11)到(17)中，可省略確定條件之一。此外，例如，可使用關(guān)于圖像合成目標(biāo)部分候選中包括的每個(gè)幀的另一確定條件選擇圖像合成目標(biāo)部分。例如，可利用積分旋轉(zhuǎn)分量，將旋轉(zhuǎn)率小設(shè)為確定條件。 由此選擇的圖像合成目標(biāo)部分中包括的所有幀用于創(chuàng)建合成圖像。然而，例如，可以預(yù)期，可通過(guò)創(chuàng)建合成圖像將通過(guò)運(yùn)動(dòng)畫(huà)面的簡(jiǎn)單回放不能體驗(yàn)的經(jīng)驗(yàn)提供給用戶(hù)，其中在相同成像位置處、在相對(duì)廣的范圍的空間上成像的多個(gè)靜態(tài)圖像被結(jié)合在一起。也就是說(shuō)，可向用戶(hù)提供通過(guò)從運(yùn)動(dòng)畫(huà)面的回放不能體驗(yàn)的、由靜態(tài)圖像構(gòu)成的全景式合成圖像(例如，其中照片結(jié)合在一起的圖像)。因此，在本發(fā)明第一實(shí)施例的情況下，從圖像合成目標(biāo)部分中包括的每個(gè)幀進(jìn)一步選擇用于合成圖像的創(chuàng)建的幀?，F(xiàn)在，在本發(fā)明第一實(shí)施例的情況下，將描述這樣的示例，其中在圖像合成目標(biāo)部分優(yōu)選地選擇包括面部的圖像，該圖像選擇最前面的幀，另一幀基于與該最前面的幀的重疊率而選擇。此外，在存在多個(gè)包括面部的圖像的情況下，在多個(gè)面部中，可將具有指示笑臉程度的最高面部表情評(píng)估值(笑臉?lè)謹(jǐn)?shù))的圖像選擇為最前面的幀。注意，除了面部表情評(píng)估值以外的模糊條件評(píng)估值等可用于確定。 圖27A和27B是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分選擇單元160選擇的圖像合成目標(biāo)部分中包括的圖像的圖。圖27A圖示在以靜態(tài)的狗、人和車(chē)為被攝體、用戶(hù)已經(jīng)拍攝圖像同時(shí)在水平方向上移動(dòng)相機(jī)的鏡頭的方向的情況下的圖像的轉(zhuǎn)換。圖27B圖示在以樹(shù)和山為被攝體、用戶(hù)已經(jīng)拍攝圖像同時(shí)在水平方向上移動(dòng)相機(jī)的鏡頭的方向的情況下的圖像的轉(zhuǎn)換。注意，為了說(shuō)明方便，簡(jiǎn)化了圖27A到27B中示出的圖像，并且放大圖示了連續(xù)兩個(gè)幀之間的運(yùn)動(dòng)量。 在圖27A所示的圖像511到518中，圖像512到515包括人臉。此外，設(shè)在圖像512到515包括的臉中，關(guān)于圖像513中包括的臉計(jì)算的面部表情評(píng)估值是最高值。在通過(guò)部分選擇單元160選擇的圖像合成目標(biāo)部分中包括的圖像包括臉的情況下，合成目標(biāo)圖像選擇單元170選擇包括臉的圖像作為最前面的幀。此外，如圖27A所示，在多個(gè)圖像包括臉的情況下，包括具有關(guān)于這些臉計(jì)算的面部表情評(píng)估值的最高值的臉的圖像被選擇為最前面的幀。在圖27A所示的示例的情況下，選擇圖像513。 此外，圖27B所示的圖像521到528不包括人臉。因此，在通過(guò)部分選擇單元160
選擇的圖像合成目標(biāo)部分中包括的圖像不包括臉的情況下，合成目標(biāo)圖像選擇單元170選
擇圖像合成目標(biāo)部分中包括的圖像的時(shí)間軸上的頂部圖像作為最前面的幀。在圖27B所示
的示例的情況下，選擇對(duì)應(yīng)于圖像合成目標(biāo)部分中包括的頂部幀的圖像521。 從圖像合成目標(biāo)部分如此選擇的最前面的幀被取為參考幀，并且基于該參考幀選
擇另一幀。在本發(fā)明第一實(shí)施例的情況下，將關(guān)于這樣的示例進(jìn)行描述，其中基于圖像合成
目標(biāo)部分中包括的各圖像之間的重疊區(qū)域選擇幀。 圖28是示意性圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像選擇單元170選擇合成目標(biāo)圖像的情況下的選擇方法的圖。在該示例的情況下，將關(guān)于這樣的情況進(jìn)行描述，其中兩個(gè)工作緩沖器用于關(guān)于最前面的幀選擇另一幀。 第一工作緩沖器531和第二工作緩沖器532是通過(guò)一位表示構(gòu)成圖像的每個(gè)像素的工作緩沖器。也就是說(shuō)，在圖像粘貼(pasted)到第一工作緩沖器531和第二工作緩沖器532的情況下，粘貼位置的位設(shè)置為開(kāi)。此外，選擇的圖像粘貼到第一工作緩沖器531作為合成圖像，并且用作選擇確定目標(biāo)的一個(gè)圖像經(jīng)歷仿射變換并粘貼到第二工作緩沖器532。隨后，計(jì)算粘貼到第一工作緩沖器531的合成圖像和粘貼到第二工作緩沖器532的圖像之間的重疊部分。現(xiàn)在，設(shè)計(jì)算的重疊部分的區(qū)域的面積是面積C，粘貼到第一工作緩沖器531的合成圖像的面積是面積A，并且粘貼到第二工作緩沖器532的圖像的面積是面積B。在此情況下，計(jì)算面積C/面積A的值和面積C/面積B的值，并且在這兩個(gè)值中，計(jì)算較大值作為重疊率。 隨后，在計(jì)算的重疊率低于閾值的情況下，選擇其圖像。例如，60%可設(shè)置為該閾值。其中計(jì)算的重疊率低于閾值的圖像選擇為合成目標(biāo)圖像，并且還粘貼到第一工作緩沖器531。隨后，關(guān)于下一幀執(zhí)行相同的確定處理。 例如，設(shè)選擇為最前面的幀的圖像534和接下來(lái)選擇的圖像535之間的合成圖像已經(jīng)被粘貼到第一工作緩沖器531，如圖28 (a)所示。此外，從圖像534和535創(chuàng)建的合成圖像的區(qū)域用實(shí)線(xiàn)圖示。此外，設(shè)用作確定目標(biāo)的圖像536已經(jīng)粘貼到第二工作緩沖器532，如圖28(a)所示。此外，圖像536的區(qū)域用實(shí)線(xiàn)矩形圖示?，F(xiàn)在，以圖28 (a)所示的、粘貼到第一工作緩沖器531的最前面的幀(圖像534)的位置為參考，使用作確定目標(biāo)的圖像經(jīng)歷仿射變換，然后粘貼到第二工作緩沖器532。該仿射變換使用元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的仿射變換參數(shù)執(zhí)行。注意，圖28所示的示例是這樣的示例，其中在圖像536中，僅變換了位置，而沒(méi)有變換角度和大小。 隨后，如圖28 (b)所示，計(jì)算粘貼到第一工作緩沖器531的合成圖像(圖像534和535的合成圖像)和粘貼到第二工作緩沖器532的圖像536之間的重疊部分538。注意，圖28(b)所示的工作緩沖器范圍533是指示對(duì)應(yīng)于第一工作緩沖器531和第二工作緩沖器532的大小的范圍。在該工作緩沖器范圍533的情況下，計(jì)算的重疊部分538用內(nèi)部有陰影的矩形表示，并且其他圖像部分用虛線(xiàn)表示?，F(xiàn)在，設(shè)計(jì)算的重疊部分538的面積是面積Cl，粘貼到第一工作緩沖器531的合成圖像(圖像534和535的合成圖像)的面積是面積Al，并且粘貼到第二工作緩沖器532的圖像536的面積是面積Bl。在此情況下，面積Al的值大于面積Bl的值，因此，面積Cl/面積Bl的值大于面積Cl/面積Al的值。因此，面積Cl/面積Bl的值被計(jì)算為重疊率。 隨后，在計(jì)算的重疊率(面積Cl/面積Bl的值)低于閾值的情況下，圖像536選擇為合成目標(biāo)圖像。因此，在已經(jīng)選擇合成目標(biāo)圖像的情況下，計(jì)算其中將從最前面的幀到當(dāng)前幀的仿射變換參數(shù)的仿射矩陣相乘的矩陣的值。這里，關(guān)于最前面的幀的仿射變換參數(shù)，使用單位矩陣的值。隨后，計(jì)算的矩陣的仿射變換參數(shù)、以及選擇的合成目標(biāo)圖像的幀號(hào)和面部數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。注意，關(guān)于選擇為最前面的圖像的合成目標(biāo)圖像，指示最前面的幀的信息與這樣的信息一起記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。 此外，在圖像536已經(jīng)選擇為合成目標(biāo)圖像的情況下，如圖28(c)所示，圖像536粘貼到第一工作緩沖器531。具體地，圖像534到536的合成圖像粘貼到第一工作緩沖器 531。隨后，如圖28(d)所示，以相同方式關(guān)于下一圖像537執(zhí)行確定處理。另一方面，在計(jì) 算的重疊率不低于閾值的情況下，圖像536不粘貼到第一工作緩沖器531。在此情況下，在 下一圖像、圖像534和535之間執(zhí)行確定處理。 注意，在該示例的情況下，通過(guò)使用兩個(gè)工作緩沖器順序計(jì)算重疊率來(lái)選擇合成 目標(biāo)圖像，但是可通過(guò)僅使用存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中的仿射變換參數(shù)計(jì)算重疊率來(lái) 選擇合成目標(biāo)圖像。 圖29是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分選擇單元 160和合成目標(biāo)圖像選擇單元170要確定的運(yùn)動(dòng)畫(huà)面的圖。在圖29中，(a)示意性圖示構(gòu) 成作為存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà)面文件的運(yùn)動(dòng)畫(huà)面文件540的幀。在圖29 中，(b)圖示作為關(guān)于運(yùn)動(dòng)畫(huà)面文件540選擇的圖像合成目標(biāo)部分組的圖像合成目標(biāo)部分 組541。在圖29中，(c)圖示作為指示下述部分的面部檢測(cè)部分組的面部檢測(cè)部分組544， 在所述部分中，關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面文件540的每個(gè)幀檢測(cè)面部。在圖29中，(d)圖示作為 指示下述部分的笑臉檢測(cè)部分組的笑臉檢測(cè)部分組546，在所述部分中，關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面 文件540的每個(gè)幀檢測(cè)的臉確定為笑臉。在圖29中，(e)圖示在圖像合成目標(biāo)部分選擇的 最前面的幀、以及作為其中以最前面的幀為參考幀搜索另一幀的方向的搜索方向548。在 圖29中，(f)圖示作為關(guān)于運(yùn)動(dòng)畫(huà)面文件540選擇的幀(合成目標(biāo)圖像)的組的選擇幀組 554。注意，構(gòu)成運(yùn)動(dòng)畫(huà)面文件540的每個(gè)幀用在內(nèi)部附上幀號(hào)的矩形圖示。此外，每個(gè)部 分用內(nèi)部有陰影的矩形圖示。此外，在圖29(e)中，最前面的幀用白色圓圈表示，并且從最 前面的幀起的搜索方向用箭頭表示。 例如，設(shè)部分選擇單元160已經(jīng)關(guān)于運(yùn)動(dòng)畫(huà)面文件540選擇圖像合成目標(biāo)部分542 和543。此外，設(shè)在圖像合成目標(biāo)部分542中包括的幀中，面部檢測(cè)部分545已經(jīng)檢測(cè)到面 部。此外，設(shè)在面部檢測(cè)部分545中包括的幀中，面部表情評(píng)估值在笑臉檢測(cè)部分547處已 經(jīng)檢測(cè)為一定值或更大，并且被確定為笑臉。在該示例的情況下，設(shè)在笑臉檢測(cè)部分547中 包括的幀中，具有最高面部表情評(píng)估值的幀為幀h。在此情況下，幀h在圖像合成目標(biāo)部分 542處被選擇為最前面的幀549。隨后，幀選擇處理朝作為時(shí)間軸上的前端搜索方向的搜索 方向550和作為時(shí)間軸上的后端搜索方向的搜索方向551執(zhí)行。該選擇方法與圖28所示 的選擇方法相同。在此情況下，例如，設(shè)已經(jīng)選擇幀g+2， . . . ， h， . . . ， h+m， . . . ， i。
此外，設(shè)在圖像合成目標(biāo)部分543中包括的每個(gè)幀沒(méi)有檢測(cè)面部。在此情況下， 在圖像合成目標(biāo)部分543中包括的幀中，時(shí)間軸上的最前端的幀j+l被選擇為最前面的幀 552。隨后，朝向作為時(shí)間軸上的后端的搜索方向的搜索方向553選擇幀。該選擇方法與圖 28所示的選擇方法相同。在此情況下，例如，設(shè)已經(jīng)選擇幀j+l， . . . ， j+n， . . . ， k-3。
因此，關(guān)于單個(gè)運(yùn)動(dòng)畫(huà)面文件選擇單個(gè)或多個(gè)圖像合成目標(biāo)部分，并且從其圖像 合成目標(biāo)部分選擇多個(gè)幀。使用由此選擇的多個(gè)幀創(chuàng)建合成圖像。 因此，選擇的圖像合成目標(biāo)部分中的標(biāo)識(shí)號(hào)、以及選擇的每個(gè)幀號(hào)以相關(guān)方式存 儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。同時(shí)地，計(jì)算的仿射變換參數(shù)、指示最前面的幀 的最前面的幀信息、以及作為與關(guān)于幀檢測(cè)的面部相關(guān)的數(shù)據(jù)的面部數(shù)據(jù)以相關(guān)方式記錄 在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。合成圖像可使用在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元 270中存儲(chǔ)的每條信息通過(guò)用戶(hù)操作而顯示。例如，可以顯示在圖像合成目標(biāo)部分542選擇的幀g+2， . . . ， h， . . . ， h+m， . . . ， i的合成圖像。此外，可以顯示在圖像合成目標(biāo)部分543 選擇的幀j+l， ， j+n， ， k-3的合成圖像。 現(xiàn)在，例如，在構(gòu)成運(yùn)動(dòng)畫(huà)面的多個(gè)幀中包括面部的情況下，并且在關(guān)于每個(gè)面部
計(jì)算的每個(gè)面部表情評(píng)估值低于一定值的情況下，可使用面部檢測(cè)信息中包括的位置和大
小選擇最前面的幀。例如，可將這樣的圖像選擇為最前面的幀，其中檢測(cè)的面部的位置向中
心偏移，并且其大小相對(duì)大。 圖像合成示例 接下來(lái)，示出關(guān)于通過(guò)相機(jī)實(shí)際成像的運(yùn)動(dòng)畫(huà)面而選擇的合成目標(biāo)圖像、以及合 成目標(biāo)圖像的合成示例。 圖30是圖示關(guān)于通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面選擇的合成目標(biāo)圖像的示例的圖。圖 30圖示在對(duì)以包括巖石的山坡為背景站立的女士成像、同時(shí)移動(dòng)相機(jī)的情況下、關(guān)于運(yùn)動(dòng) 畫(huà)面選擇的圖像561到568。設(shè)以對(duì)應(yīng)于時(shí)間軸上的前端的幀的圖像為圖像561，沿箭頭方 向按時(shí)間序列對(duì)該運(yùn)動(dòng)畫(huà)面成像。此外，設(shè)用作被攝體的女士的位置大致在圖像的中心，并 且用作笑臉的圖像566已經(jīng)選擇為最前面的幀。 圖31和32是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220創(chuàng)建的合成圖 像的轉(zhuǎn)換的圖。圖31和32所示的圖像571到578是這樣的圖像，其中將白框添加到圖30 所示的圖像561到568的外圍，并且與圖像561到568相同，除了為其附加了白框。
例如，以選擇為最前面的幀的圖像576作為參考，使用與其他圖像561到575、577 和568相關(guān)的仿射變換參數(shù)計(jì)算要關(guān)于圖像571到578創(chuàng)建的合成圖像的大小。基于如此 計(jì)算的合成圖像的大小，計(jì)算最前面幀的位置和大小。隨后，基于最前面的幀的位置和大 小，使其他圖像順序經(jīng)歷仿射變換，并且在圖像存儲(chǔ)器230中合成。例如，如圖31(a)到(d) 所示，并且在圖32(a)中，在同一圖像合成目標(biāo)部分選擇的幀中，以時(shí)間序列順序合成最前 面的圖像的頂部幀到緊接在前面的幀。也就是說(shuō)，順序合成圖像571到575。隨后，例如， 如圖32(b)和(c)所示，在同一圖像合成目標(biāo)部分選擇的幀中，以時(shí)間序列順序合成最前面 的幀的最后幀到緊接在前面的幀。也就是說(shuō)，順序合成圖像577和578。隨后，例如，如圖 32(d)所示，合成在同一圖像合成目標(biāo)部分選擇的最前面的圖像576。因此，從關(guān)于在同一 圖像合成目標(biāo)部分選擇的每個(gè)幀的頂部幀和最后幀的每個(gè)重疊圖像，并且最終，選擇為最 前面的幀的圖像重寫(xiě)在其上。因此，選擇為最前面的幀的圖像在頂端顯示，從而可以創(chuàng)建清 楚合成的圖像。 因此，在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中存儲(chǔ)的元數(shù)據(jù)文件用于合成構(gòu)成運(yùn) 動(dòng)畫(huà)面的部分圖像，從而可以創(chuàng)建表示在其運(yùn)動(dòng)畫(huà)面中包括的一個(gè)場(chǎng)景的全景式合成圖 像。在此情況下，將白框添加到滿(mǎn)足一定條件的幀，以不使用構(gòu)成運(yùn)動(dòng)畫(huà)面的所有連續(xù)幀來(lái) 合成幀，從而可顯示合成圖像使得照片連結(jié)在一起。在此情況下，可以提供與在普通運(yùn)動(dòng)畫(huà) 面回放時(shí)觀看的圖像完全不同的令人感興趣的圖像。此外，可關(guān)于運(yùn)動(dòng)畫(huà)面中包括的每個(gè) 場(chǎng)景自動(dòng)顯示全景式合成圖像，從而用戶(hù)可以容易地理解其運(yùn)動(dòng)畫(huà)面是否包括何種場(chǎng)景。 此外，可選擇性地顯示成像的場(chǎng)景，從而可將重要的圖像提供給用戶(hù)。此外，人的笑臉圖像 取為最前面的圖像，并且基于該圖像選擇用作合成目標(biāo)的另一圖像，從而可提供全景合成 圖像，使得將重點(diǎn)給予其笑臉的人。 到目前已經(jīng)示出了這樣的示例，其中選擇為最前面的幀的圖像以重寫(xiě)方式合成在頂部，但是例如，如接下來(lái)的附圖所示，可通過(guò)用戶(hù)選擇按照時(shí)間點(diǎn)順序，以重寫(xiě)方式合成。
圖33是通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220創(chuàng)建的合成圖像的另一 合成示例。在圖33中，(a)圖示顯示方法選擇屏幕580，其用于選擇通過(guò)圖像合成單元220 創(chuàng)建的合成圖像的顯示方法，并且顯示在顯示單元250上。選取(check)字段581和582、 "全景式合成圖像顯示"按鈕583、以及"取消"按鈕584提供給顯示方法選擇屏幕580。
如圖31和32所示，選取字段581是用于選擇其中最前面的幀重疊并合成在頂部 并且顯示的顯示方法的選取字段。如圖33(b)所示，選取字段582是用于選擇其中每幀合 成并顯示同時(shí)以時(shí)間序列順序重疊的顯示方法的選取字段。使用光標(biāo)585來(lái)執(zhí)行將選取標(biāo) 記添加到這些選取字段的操作輸入。"全景式合成圖像顯示"按鈕583是在顯示單元250上顯示合成圖像時(shí)按下的按 鈕。也就是說(shuō)，在將選取標(biāo)記添加到選取字段581和582之一后，使用光標(biāo)585按下"全景 式合成圖像顯示"按鈕583，從而順序顯示通過(guò)已經(jīng)向其添加選取標(biāo)記的合成方法合成的圖 像。"取消"按鈕584是在消除添加到選取字段581和582之一的選取標(biāo)記的情況下要 按下的按鈕。 例如，在選取標(biāo)記添加到選取字段581的狀態(tài)下已經(jīng)按下"全景式合成圖像顯示" 按鈕583的情況下，如圖32和33所示，順序合成最前面的幀的兩側(cè)的幀，并且最前面的幀 重疊并合成在頂部。此外，在選取標(biāo)記添加到選取字段582的狀態(tài)下已經(jīng)按下"全景式合成 圖像顯示"按鈕583的情況下，如圖33(b)所示，每個(gè)幀通過(guò)以時(shí)間序列順序重疊而合成并 顯示。 在圖33中，(b)圖示圖像571到578已經(jīng)以時(shí)間序列順序合成。注意，圖571到 578與圖31和32所示的圖像571到578相同。因此，在以時(shí)間序列順序合成圖像的情況 下，可參照顯示的合成圖像清楚地理解成像的時(shí)間。然而，例如，下一圖像重寫(xiě)到在選擇為 最前面的幀的圖像576中包括的人附近的區(qū)域上，存在該人可能被隱藏的可能性。因此，例 如，使用與圖像576相關(guān)的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中存儲(chǔ)的面部數(shù)據(jù)，從而可防 止其他圖像重疊到距面部區(qū)域的一定范圍上。 在圖33中，(c)示意性圖示圖像重寫(xiě)在距對(duì)應(yīng)于最前面的幀的圖像576中包括的 面部區(qū)域586 —定范圍(例如，距離L1)內(nèi)的情況。例如，如圖33(c)所示，在圖像571到 578以時(shí)間序列正常地合成的情況下，圖像577重寫(xiě)在距圖像576中包括的面部區(qū)域586距 離L1內(nèi)。因此，如圖33(c)所示，圖像577在箭頭方向587移動(dòng)，以便距圖像576中包括的 面部區(qū)域586分開(kāi)距離Ll或更多。因此，在移動(dòng)最前面的圖像的上端重疊的圖像的情況下， 移動(dòng)的圖像之后的圖像也移動(dòng)相同距離。也就是說(shuō)，圖像578被移動(dòng)與圖像577相同的距 離。因此，例如，如圖33(c)所示，看到圖像576中包括的人臉的周?chē)?，從而可進(jìn)一步欣賞合 成圖像。 此外，可進(jìn)行這樣的安排，其中預(yù)先創(chuàng)建并存儲(chǔ)與單個(gè)或多個(gè)運(yùn)動(dòng)畫(huà)面有關(guān)的合 成圖像，基于用戶(hù)的操作顯示由此存儲(chǔ)的每個(gè)合成圖像。替代地，可進(jìn)行這樣的安排，其中 預(yù)先對(duì)每個(gè)圖像順序地存儲(chǔ)合成圖像的合成轉(zhuǎn)換，順序顯示這樣的轉(zhuǎn)換。
圖像處理裝置的操作示例 接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的操作。
圖34是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程的流程圖。 首先，部分選擇單元160執(zhí)行部分提取處理(步驟S930)。將參照?qǐng)D35詳細(xì)描述 該部分選擇處理。隨后，合成目標(biāo)圖像選擇單元170執(zhí)行幀選擇處理(步驟S950)。將參照 圖36描述該幀選擇處理。注意，步驟S930和S950是發(fā)明內(nèi)容中所指的選擇過(guò)程的示例。
圖35是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程中包括的部分提取過(guò)程(圖34中所示的步驟S930中的過(guò)程)的流程 圖。 首先，變量t初始化為"1"(步驟S931)，并且將構(gòu)成運(yùn)動(dòng)畫(huà)面文件的幀t設(shè)置為 參考幀(步驟S932)。隨后，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得與幀t對(duì)應(yīng)的 仿射變換參數(shù)和可靠度確定分?jǐn)?shù)(步驟S933)。 隨后，計(jì)算從參考幀到幀t過(guò)去的時(shí)間T (步驟S934)，并且確定過(guò)去的時(shí)間T是否 超過(guò)閾值TM1 (步驟S935)。在過(guò)去的時(shí)間T超過(guò)閾值TM1的情況下(步驟S935)，流程進(jìn) 行到步驟S946。另一方面，在過(guò)去的時(shí)間T未超過(guò)閾值TM1的情況下(步驟S935)，確定與 幀t對(duì)應(yīng)的可靠度確定分?jǐn)?shù)SHS是否超過(guò)閾值TH1 (步驟S936)。在與幀t對(duì)應(yīng)的可靠度確 定分?jǐn)?shù)SHS超過(guò)閾值TH1的情況下(步驟S936)，從與幀t對(duì)應(yīng)的仿射變換參數(shù)計(jì)算相機(jī) 工作的每個(gè)分量(步驟S937)。隨后，確定是否相機(jī)工作的分量的所有值都包括在閾值的 范圍內(nèi)(步驟S938)。在相機(jī)工作的分量的所有值都包括在閾值的范圍內(nèi)的情況下(步驟 S938)，計(jì)算與從參考幀到幀t的每個(gè)幀對(duì)應(yīng)的變焦率(步驟S939)。 隨后，確定計(jì)算的變焦率是否包括在閾值的范圍內(nèi)(步驟S940)。在計(jì)算的變焦 率包括在閾值的范圍內(nèi)的情況下(步驟S940)，計(jì)算對(duì)應(yīng)于參考幀到幀t的每個(gè)幀的運(yùn)動(dòng) 量(積分平移分量)(步驟S941)。隨后，確定計(jì)算的運(yùn)動(dòng)量是否包括在閾值的范圍內(nèi)(步 驟S942)。在計(jì)算的運(yùn)動(dòng)量包括在閾值的范圍內(nèi)的情況下(步驟S942)，確定幀t是否是構(gòu) 成要處理的運(yùn)動(dòng)畫(huà)面的幀中的最后的幀(步驟S943)。在幀t不是最后的幀的情況下(步 驟S943)，對(duì)變量t加"l"，其中重復(fù)部分選擇處理。另一方面，在幀t是最后的幀的情況下 (步驟S943)，部分選擇處理結(jié)束。 此外，在與幀t對(duì)應(yīng)的可靠度確定分?jǐn)?shù)SHS沒(méi)有超過(guò)閾值THl的情況下(步驟 S936)，或在不是相機(jī)工作的變量的所有值都包括在閾值的范圍內(nèi)的情況下(步驟S938)， 流程進(jìn)行到步驟S945。此外，在計(jì)算的變焦率不包括在閾值的范圍內(nèi)的情況下(步驟 S940)，或在計(jì)算的運(yùn)動(dòng)量不包括在閾值的范圍內(nèi)的情況下(步驟S942)，流程進(jìn)行到步驟 S945。 隨后，確定過(guò)去的時(shí)間T是否低于圖像合成目標(biāo)部分范圍TM2(步驟S945)。在過(guò) 去的時(shí)間T不低于圖像合成目標(biāo)部分范圍TM2的情況下(步驟S945)，從參考幀到幀t的部 分選擇為圖像合成目標(biāo)部分(步驟S946)。另一方面，在過(guò)去的時(shí)間T低于圖像合成目標(biāo) 部分范圍TM2的情況下(步驟S945)，對(duì)變量t加"1"(步驟S947)，并且流程返回到步驟 S932，其中重復(fù)部分選擇處理。 圖36是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程中包括的幀選擇過(guò)程(圖34所示的步驟S950中的過(guò)程)的流程圖。
首先，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得與通過(guò)部分選擇單元160選擇的圖像合成目標(biāo)部分之一中包括的每個(gè)幀對(duì)應(yīng)的仿射變換參數(shù)、面部檢測(cè)信息、和面 部表情評(píng)估值(步驟S951)。隨后，使用與獲得的圖像合成目標(biāo)部分中包括的每個(gè)幀對(duì)應(yīng)的 仿射變換參數(shù)計(jì)算用于合成與每個(gè)幀對(duì)應(yīng)的圖像的大小，并且確保具有該大小的兩個(gè)工作 緩沖器(步驟S952)。 隨后，基于獲得的面部檢測(cè)信息確定面部是否包括在與用作選擇目標(biāo)的圖像合成 目標(biāo)部分中包括的每個(gè)幀對(duì)應(yīng)的圖像中(步驟S953)。在面部包括在對(duì)應(yīng)于每個(gè)幀的圖 像中的情況下(步驟S953)，具有對(duì)應(yīng)于包括面部的圖像的面部表情評(píng)估值的最高值的圖 像被選擇為最前面的幀(步驟S954)。另一方面，在面部不包括在對(duì)應(yīng)于每個(gè)幀的圖像的 情況下(步驟S953)，圖像合成目標(biāo)部分中包括的幀的頂部幀被選擇為最前面的幀(步驟 S955)。 隨后，選擇的最前面的幀粘貼到第一工作緩沖器(步驟S956)，并且將與選擇的最 前面的幀相關(guān)的每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S957)。隨 后，計(jì)算選擇的最前面的幀、以及與最前面的幀的各方向之一鄰近的幀之間的重疊率(步 驟S958)。也就是說(shuō)，用作重疊率計(jì)算目標(biāo)的幀粘貼到第二工作緩沖器，并且計(jì)算關(guān)于粘貼 到第一工作緩沖器的最前面的幀的重疊率。 隨后，確定計(jì)算的重疊率是否低于閾值(步驟S959)。在計(jì)算的重疊率低于閾值的 情況下(步驟S959)，選擇用作重疊率計(jì)算目標(biāo)的幀，并且將選擇的幀粘貼到第一工作緩沖 器(步驟S960)。隨后，與選擇的幀相關(guān)的每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元 270中(步驟S961)，并且流程進(jìn)行到步驟S962。 另一方面，在計(jì)算的重疊率不低于閾值的情況下(步驟S959)，確定是否已經(jīng)完成 關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)幀的重疊率的計(jì)算(步驟S962)。在 沒(méi)有完成關(guān)于每個(gè)幀的重疊率的計(jì)算的情況下(步驟S962)，計(jì)算與緊接在之前已經(jīng)計(jì)算 其重疊率的幀相鄰的幀的重疊率(步驟S964)。也就是說(shuō)，將用作重疊率計(jì)算目標(biāo)的幀粘貼 到第二工作緩沖器，并且計(jì)算關(guān)于粘貼到第一工作緩沖器的合成圖像的重疊率。注意，在緊 接在之前已經(jīng)計(jì)算其重疊率的幀是圖像合成目標(biāo)部分的頂部幀或最后幀的情況下，計(jì)算與 最前面的幀的其他方向相鄰的幀的重疊率。 在已經(jīng)完成關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)幀的重疊率的 計(jì)算的情況下(步驟S962)，確定是否已經(jīng)關(guān)于由部分選擇單元160選擇的所有圖像合成目 標(biāo)部分完成幀選擇處理(步驟S963)。在沒(méi)有關(guān)于所有圖像合成目標(biāo)部分完成幀選擇處理 的情況下(步驟S963)，流程返回到步驟S951，其中重復(fù)幀選擇處理(步驟S951到S964)。 另一方面，在關(guān)于所有圖像合成目標(biāo)部分完成幀選擇處理的情況下(步驟S963)，幀選擇處 理的操作結(jié)束。 圖37是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成圖像顯示處 理的過(guò)程的流程圖。在該示例的情況下，最前面的幀重疊并合成在頂端。此外，在本示例的 情況下，將關(guān)于這樣的示例進(jìn)行描述，其中順序顯示與存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的 運(yùn)動(dòng)畫(huà)面文件相關(guān)的合成圖像。 首先，文件獲得單元180獲得存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中存儲(chǔ)的 每條元數(shù)據(jù)(步驟S970)。隨后，文件獲得單元180解碼對(duì)應(yīng)于獲得的每條元數(shù)據(jù)的運(yùn)動(dòng) 畫(huà)面文件，并且獲得構(gòu)成運(yùn)動(dòng)畫(huà)面文件的每個(gè)幀(步驟S971)。隨后，使用用作合成目標(biāo)的獲得的圖像合成目標(biāo)部分之一的元數(shù)據(jù)中包括的每個(gè)仿射變換參數(shù)，計(jì)算用于合成對(duì)應(yīng)于
每幀的圖像的大小，并且在圖像存儲(chǔ)器230中確保具有該大小的工作緩沖器(步驟S972)。
此外，基于由此計(jì)算的合成圖像的大小，計(jì)算最前面的幀的位置和大小。 隨后，基于獲得的元數(shù)據(jù)中包括的最前面的幀信息確定最前面的幀是否是在圖像
合成目標(biāo)部分處的頂部幀(步驟S973)。在最前面的幀是在圖像合成目標(biāo)部分處的頂部幀
的情況下(步驟S973)，在獲得的元數(shù)據(jù)中包括的每個(gè)幀中，以幀號(hào)的升序提取圖像(步驟
S974)。 隨后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng) 歷仿射變換(步驟S975)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的 外圍，并且將已經(jīng)對(duì)其添加白框的圖像保持在圖像存儲(chǔ)器230中(步驟S976)。也就是說(shuō)， 關(guān)于圖像存儲(chǔ)器230中存儲(chǔ)的歷史圖像，合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖像。 注意，在第一圖像的情況下，僅其圖像保持在圖像存儲(chǔ)器230中。隨后，顯示控制單元240 控制顯示單元250以顯示在圖像存儲(chǔ)器230處保持的合成圖像(步驟S977)。隨后，確定 在圖像存儲(chǔ)器230處保持的圖像是否是用作合成目標(biāo)的圖像合成目標(biāo)部分的最后幀(步驟 S978)。在圖像存儲(chǔ)器230處保持的圖像時(shí)最后幀的情況下(步驟S978)，確定是否已經(jīng)關(guān) 于所有圖像合成目標(biāo)部分完成合成圖像顯示處理(步驟S979)。在沒(méi)有關(guān)于所有圖像合成 目標(biāo)部分完成合成圖像顯示處理的情況下(步驟S979)，流程返回到步驟S972，其中重復(fù)合 成圖像顯示處理(步驟S972到S978和S980)。另一方面，在已經(jīng)關(guān)于所有圖像合成目標(biāo)部 分完成合成圖像顯示處理的情況下(步驟S979)，合成圖像顯示處理的操作結(jié)束。
此外，在最前面的幀不是圖像合成目標(biāo)部分處的頂部幀的情況下(步驟S973)，執(zhí) 行圖像合成處理(步驟S980)。將參照?qǐng)D38詳細(xì)描述該圖像合成處理。
圖38是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成圖像顯示 處理的過(guò)程中包括的圖像合成過(guò)程(圖37中所示的步驟S980中的過(guò)程)的流程圖。在該 示例的情況下，在從圖像合成目標(biāo)部分的頂部幀朝最前面的幀執(zhí)行圖像合成之后，從最后 的幀朝最前面的幀執(zhí)行圖像合成，并且最終合成最前面的幀。 首先，在獲得的元數(shù)據(jù)中包括的每幀中，以幀號(hào)的升序提取圖像(步驟S981)。隨 后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng)歷仿射變換 (步驟S982)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的外圍，并且將 已經(jīng)對(duì)其添加白框的圖像保持在圖像存儲(chǔ)器230中(步驟S983)。也就是說(shuō)，關(guān)于存儲(chǔ)在圖 像存儲(chǔ)器230中的歷史圖像合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖像。注意，在第一 圖像的情況下，僅其圖像保持在圖像存儲(chǔ)器230中。隨后，顯示控制單元240控制顯示單元 250以顯示在圖像存儲(chǔ)器230處保持的合成圖像(步驟S984)。隨后，確定圖像存儲(chǔ)器230 處保持的圖像是否是用作合成目標(biāo)的圖像合成目標(biāo)部分處的、緊接在最前面的幀之前的幀 (步驟S985)。在圖像存儲(chǔ)器230處保持的圖像不是緊接在最前面的幀之前的幀的情況下 (步驟S985)，流程返回到步驟S981，其中從頂部幀到緊接在最前面的幀之前的幀重復(fù)圖像 合成處理(步驟S981到S984)。 另一方面，在圖像存儲(chǔ)器230處保持的圖像是緊接在最前面的幀之前的幀的情況 下(步驟S985)，在獲得的元數(shù)據(jù)中包括的每個(gè)幀中，以幀號(hào)的降序順序提取圖像(步驟 S986)。隨后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng)歷仿射變換(步驟S987)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的外 圍，并且將已經(jīng)對(duì)其添加白框的該圖像保持在圖像存儲(chǔ)器230中(步驟S988)。也就是說(shuō)， 關(guān)于圖像存儲(chǔ)器230處保持的歷史圖像合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖像。 隨后，顯示控制單元240控制顯示單元250顯示在圖像存儲(chǔ)器230處保持的合成圖像(步 驟S989)。隨后，確定圖像存儲(chǔ)器230處保持的圖像是否是用作合成目標(biāo)的圖像合成目標(biāo)部 分處的、緊接在最前面的幀之前的幀(步驟S990)。在圖像存儲(chǔ)器230處保持的圖像不是緊 接在最前面的幀之后的幀的情況下(步驟S990)，流程返回到步驟S986，其中從最后幀到緊 接在最前面的幀之后的幀重復(fù)圖像合成處理(步驟S986到S986)。 另一方面，在圖像存儲(chǔ)器230處保持的圖像是緊接在最前面的幀之前的幀的情況
下(步驟S990)，提取最前面的幀的圖像(步驟S991)。隨后，圖像變換單元190使用與最
前面的幀的提取圖像相關(guān)的仿射變換參數(shù)，以使最前面的幀的圖像經(jīng)歷仿射變換(步驟
S992)。注意，與最前面的幀相關(guān)的仿射變換參數(shù)是單位矩陣的值，因此，實(shí)際上不變換最前
面的幀的圖像。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的最前面的幀的圖像
的外圍，并且將已經(jīng)對(duì)其添加白框的圖像保持在圖像存儲(chǔ)器230中(步驟S993)。也就是
說(shuō)，關(guān)于圖像存儲(chǔ)器230處保持的歷史圖像合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖
像。隨后，顯示控制單元240控制顯示單元250顯示在圖像存儲(chǔ)器230處保持的合成圖像
(步驟S994)。 2.第二實(shí)施例 圖像處理裝置的配置示例 在本發(fā)明第一實(shí)施例的情況下，已經(jīng)描述了這樣的示例，其中在計(jì)算與各幀之間 相關(guān)的仿射變換參數(shù)時(shí)，展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的比率計(jì)算為可靠度確定分?jǐn)?shù)。下面將參 照附圖關(guān)于這樣的示例詳細(xì)進(jìn)行描述，其中使用另一計(jì)算方法計(jì)算可靠度確定分?jǐn)?shù)。這里， 根據(jù)本發(fā)明第二實(shí)施例的功能配置通常與圖像處理裝置100的功能配置相同，除了圖1所 示的圖像處理裝置100中包括的相機(jī)工作檢測(cè)單元120不同。因此，除相機(jī)工作檢測(cè)單元 120以外的配置將用與本發(fā)明第一實(shí)施例中的參考標(biāo)號(hào)相同的參考標(biāo)號(hào)表示，并且將僅描 述具有不同功能的配置，而將省略其他描述。 圖39是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元125的功能配置示例的 框圖。相機(jī)工作檢測(cè)單元125包括特征點(diǎn)計(jì)算單元121、光流計(jì)算單元122、相機(jī)工作參數(shù) 計(jì)算單元123和可靠度確定分?jǐn)?shù)計(jì)算單元126。這里，特征點(diǎn)計(jì)算單元121、光流計(jì)算單元 122和相機(jī)工作參數(shù)計(jì)算單元123與圖2所示的相機(jī)工作檢測(cè)單元120中的那些相同。因 此，下面將以可靠度確定分?jǐn)?shù)計(jì)算單元126為中心進(jìn)行描述。此外，在該示例的情況下，將 關(guān)于這樣的示例進(jìn)行描述，其中使用連續(xù)兩個(gè)幀的重疊區(qū)域中包括的各像素之間的輝度差 值來(lái)計(jì)算可靠度確定分?jǐn)?shù)。 可靠度確定分?jǐn)?shù)計(jì)算單元126使用從相機(jī)工作參數(shù)計(jì)算單元123輸出的相機(jī)工作
參數(shù)，以計(jì)算與構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀相關(guān)的可靠度
確定分?jǐn)?shù)，并且將計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制單元150。注意，將參照?qǐng)D40詳細(xì)
描述可靠度確定分?jǐn)?shù)計(jì)算。 可靠度確定分?jǐn)?shù)計(jì)算示例 圖40是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖。圖40圖示之前的幀590和時(shí)間軸上的隨后的 幀，作為構(gòu)成運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀。此外，圖40(a)圖示其中以幀590作為參考使幀591 經(jīng)歷仿射變換、并且仿射變換后的幀591關(guān)于幀590重疊的情況。此外，幀590和591之間 的重疊區(qū)域592的范圍用粗線(xiàn)表示。在圖40中，(b)圖示圖40(a)中示出的幀590，并且圖 40(c)圖示圖40(a)中示出的幀591。此外，設(shè)幀590和591中包括的正方形指示構(gòu)成每個(gè) 幀的像素。注意，圖40(b)和(c)僅使用正方形圖示重疊區(qū)域592中包括的像素。
在可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算可靠度確定分?jǐn)?shù)的情況下，首先，關(guān)于構(gòu)成 從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀，以時(shí)間軸上的之前的幀作為參考 幀，使隨后的幀經(jīng)歷仿射變換。該仿射變換使用從相機(jī)工作參數(shù)計(jì)算單元123輸出的相機(jī) 工作參數(shù)執(zhí)行(與之前的幀(參考幀)和隨后的幀相關(guān)的仿射變換參數(shù))。隨后，可靠度確 定分?jǐn)?shù)計(jì)算單元126計(jì)算在仿射變換后的重疊區(qū)域中包括的各像素之間的輝度差值的絕 對(duì)值。隨后，可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算對(duì)每個(gè)像素計(jì)算的差值的絕對(duì)值的總值，并 且計(jì)算通過(guò)將計(jì)算的總值除以用作計(jì)算目標(biāo)的像素?cái)?shù)獲得的值，作為可靠度確定分?jǐn)?shù)。
例如，如圖40(a)到(c)所示，設(shè)采用x-y坐標(biāo)，其中幀590的左上角取為原點(diǎn)，幀 590的上側(cè)的邊取為x軸，并且?guī)?90的左側(cè)的邊取為y軸。利用該x-y坐標(biāo)，例如，設(shè)幀 590的重疊區(qū)域的坐標(biāo)(i，j)處的輝度值是Il(i，j)，并且?guī)?91的重疊區(qū)域的坐標(biāo)(i，j) 處的輝度值是12 (i， j)。此外，如果設(shè)用于差值的計(jì)算的像素?cái)?shù)是P皿m，則可靠度確定分?jǐn)?shù) SHS1可用下面的表達(dá)式獲得
I Il(i， j)-12(i， j) SHS1 = ￡-
11ER,I2eR P廳
這里，R表示幀590和591之間的重疊區(qū)域。也就是說(shuō)，如圖40(b)和(c)所示 的箭頭593到595，在幀590和591之間的重疊區(qū)域中包括的像素中，順序計(jì)算對(duì)應(yīng)位置處 布置的兩個(gè)像素的輝度差值的絕對(duì)值。隨后，使用這些差值的絕對(duì)值計(jì)算可靠度確定分?jǐn)?shù) SHS1。 因此，通過(guò)可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制 單元150，并且記錄在元數(shù)據(jù)存儲(chǔ)單元210中。具體地，可靠度確定分?jǐn)?shù)記錄在圖3B所示的 元數(shù)據(jù)文件211的可靠度確定分?jǐn)?shù)217中。注意，可靠度確定分?jǐn)?shù)217的記錄內(nèi)容具有與 圖3B所示的情況不同的數(shù)值。此外，部分選擇單元160使用該可靠度確定分?jǐn)?shù)，以基于可 靠度確定分?jǐn)?shù)是否超過(guò)閾值來(lái)執(zhí)行圖像合成目標(biāo)部分的選擇。例如，在可靠度確定分?jǐn)?shù)低 于一定閾值的情況下，可靠度確定為高。 到目前為止已經(jīng)關(guān)于這樣的情況進(jìn)行了描述，其中使用在連續(xù)兩個(gè)幀的重疊區(qū)域 中包括的所有像素計(jì)算可靠度確定分?jǐn)?shù)。然而，例如，可使用與用作相機(jī)工作參數(shù)計(jì)算單元 123的仿射變換參數(shù)計(jì)算目標(biāo)的特征點(diǎn)相關(guān)的信息計(jì)算可靠度確定分?jǐn)?shù)。
圖像處理裝置的配置示例 圖41是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元127的功能配置示例的 框圖。相機(jī)工作檢測(cè)單元127包括特征點(diǎn)提取單元121、光流計(jì)算單元122、相機(jī)工作參數(shù) 計(jì)算單元123和可靠度確定分?jǐn)?shù)計(jì)算單元128。這里，特征點(diǎn)計(jì)算單元121、光流計(jì)算單元 122和相機(jī)工作參數(shù)計(jì)算單元123與圖2所示的相機(jī)工作檢測(cè)單元120中的那些相同。因
41此，下面將以可靠度確定分?jǐn)?shù)計(jì)算單元128為中心進(jìn)行描述。此外，在該示例的情況下，將 關(guān)于這樣的示例進(jìn)行描述，其中在連續(xù)兩個(gè)幀的重疊區(qū)域中包括的像素中，使用圍繞展現(xiàn) 支配運(yùn)動(dòng)的特征點(diǎn)布置的像素的輝度差值計(jì)算可靠度確定分?jǐn)?shù)。 可靠度確定分?jǐn)?shù)計(jì)算單元128使計(jì)算與構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)
畫(huà)面的連續(xù)兩個(gè)幀相關(guān)的可靠度確定分?jǐn)?shù)，并且將計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制
單元150。在該可靠度確定分?jǐn)?shù)計(jì)算的情況下，使用通過(guò)相機(jī)工作參數(shù)計(jì)算單元123計(jì)算的
相機(jī)工作參數(shù)、以及用于該相機(jī)工作參數(shù)計(jì)算的特征點(diǎn)。注意，將參照?qǐng)D42詳細(xì)描述可靠
度確定分?jǐn)?shù)計(jì)算。 可靠度確定分?jǐn)?shù)計(jì)算 圖42是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元128計(jì)算 可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖?，F(xiàn)在，圖42所示的幀590和591之間的關(guān)系、 以及幀590和591之間的重疊區(qū)域與圖40中的那些相同，因此，這里將省略其描述。注意， 圖42(b)和(c)使用虛線(xiàn)圖示重疊區(qū)域592的范圍。此外，在圖42(a)到(c)所示的重疊 區(qū)域592中包括的每個(gè)像素(用正方形表示)中，展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)用正方形內(nèi)加單 個(gè)圓圈表示，并且其他特征點(diǎn)用正方形內(nèi)加兩個(gè)圓圈表示。例如，圖40(a)到(c)中所示的 重疊區(qū)域592包括展現(xiàn)支配運(yùn)動(dòng)的四個(gè)特征點(diǎn)以及其他單個(gè)特征點(diǎn)。在該示例的情況下， 將關(guān)于這樣的示例進(jìn)行描述，其中，在重疊區(qū)域592中包括的像素中，圍繞展現(xiàn)支配運(yùn)動(dòng)的 四個(gè)特征點(diǎn)的像素(例如，八個(gè)鄰近像素)用于計(jì)算輝度差值。這里，在重疊區(qū)域592中包 括的像素中，不使用圍繞其他單個(gè)特征點(diǎn)的像素。此外，例如，在圍繞展現(xiàn)支配運(yùn)動(dòng)的四個(gè) 特征點(diǎn)的像素和圍繞其他單個(gè)特征點(diǎn)的像素共同的情況下，對(duì)一個(gè)特征點(diǎn)給予優(yōu)先級(jí)，并 且這些像素不用于計(jì)算。也就是說(shuō)，在圖42所示的示例的情況下，區(qū)域601到608中包括 的每個(gè)像素用作可靠度確定分?jǐn)?shù)計(jì)算目標(biāo)。 在可靠度確定分?jǐn)?shù)計(jì)算單元128計(jì)算可靠度確定分?jǐn)?shù)的情況下，首先，在構(gòu)成從
運(yùn)動(dòng)畫(huà)面輸入單元iio輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀中，時(shí)間軸上的之前的幀取為參考
幀，并且隨后的幀經(jīng)歷仿射變換。該仿射變換與圖40中所示的示例相同。隨后，可靠度確 定分?jǐn)?shù)計(jì)算單元128計(jì)算，在連續(xù)兩個(gè)幀中包括的像素中，在包括在仿射變換后的重疊區(qū) 域中的、展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)周?chē)南袼氐妮x度差值的絕對(duì)值。隨后，可靠度確定分?jǐn)?shù)計(jì) 算單元128計(jì)算對(duì)圍繞展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的每個(gè)像素計(jì)算的差值的絕對(duì)值的總值，并 且計(jì)算通過(guò)將計(jì)算的總值除以用作計(jì)算目標(biāo)的像素?cái)?shù)獲得的值，作為可靠度確定分?jǐn)?shù)。
例如，設(shè)采用x-y坐標(biāo)，其中幀590的左上角取為原點(diǎn)，幀590的上側(cè)的邊取為x 軸，并且?guī)?90的左側(cè)的邊取為y軸。利用該x-y坐標(biāo)，例如，設(shè)幀590的重疊區(qū)域的坐標(biāo) (i，j)處的輝度值是Ill(i，j)，并且?guī)?91的重疊區(qū)域的坐標(biāo)(i，j)處的輝度值是I12(i， j)。此外，如果設(shè)用于差值的計(jì)算的像素?cái)?shù)是Pl皿m，則可靠度確定分?jǐn)?shù)SHS2可用下面的表 達(dá)式獲得 <formula>formula see original document page 42</formula>
Il線(xiàn)脹Rl Pl讓
這里，Rl表示在幀590和591之間的重疊區(qū)域中，圍繞展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的 區(qū)域(例如，八個(gè)相鄰區(qū)域)。也就是說(shuō)，在圍繞展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的像素、以及圍繞其他特征點(diǎn)的像素共同的情況下，設(shè)R1取為不包括這樣的像素的區(qū)域。也就是說(shuō)，關(guān)于圖 42(b)和(c)所示的區(qū)域601到608計(jì)算在對(duì)應(yīng)位置處布置的兩個(gè)像素的輝度差值的絕對(duì) 值。隨后，使用這些差值的絕對(duì)值計(jì)算可靠度確定分?jǐn)?shù)SHS2。 因此，通過(guò)可靠度確定分?jǐn)?shù)計(jì)算單元128計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制 單元150，并且記錄在元數(shù)據(jù)存儲(chǔ)單元210中。具體地，可靠度確定分?jǐn)?shù)記錄在圖3B所示的 元數(shù)據(jù)文件211的可靠度確定分?jǐn)?shù)217中。注意，可靠度確定分?jǐn)?shù)217的記錄內(nèi)容具有與 圖3B所示的情況不同的數(shù)值。此外，部分選擇單元160使用該可靠度確定分?jǐn)?shù)，以基于可 靠度確定分?jǐn)?shù)是否超過(guò)閾值來(lái)執(zhí)行圖像合成目標(biāo)部分的選擇。例如，在可靠度確定分?jǐn)?shù)低 于一定閾值的情況下，可靠度可以確定為高。 到目前為止已經(jīng)關(guān)于這樣的情況進(jìn)行了描述，其中使用輝度差值計(jì)算可靠度確定 分?jǐn)?shù)。然而，可進(jìn)行這樣的安排，其中，替代輝度差值，例如，可關(guān)于G(綠)、R(紅)和B(藍(lán)) 的每個(gè)計(jì)算差值，并且基于該差值計(jì)算可靠度確定分?jǐn)?shù)。 此外，例如，可進(jìn)行這樣的安排，其中將高斯濾波器應(yīng)用到對(duì)應(yīng)于連續(xù)兩個(gè)幀的圖 像，以平滑圖像，減少平滑的圖像，并且將減少的圖像的像素用于以與上面相同的方式計(jì)算 可靠度確定分?jǐn)?shù)。 此外，到目前為止已經(jīng)描述了這樣的示例，其中對(duì)應(yīng)于連續(xù)兩個(gè)幀的圖像用于計(jì) 算可靠度確定分?jǐn)?shù)，但是例如，相機(jī)傳感器信息可用于計(jì)算可靠度確定分?jǐn)?shù)。例如，在通過(guò) 包括三維加速度傳感器和三維回轉(zhuǎn)儀傳感器的相機(jī)記錄運(yùn)動(dòng)畫(huà)面的情況下，從這些傳感器 輸出的傳感器信息以與運(yùn)動(dòng)畫(huà)面相關(guān)的方式記錄為相機(jī)運(yùn)動(dòng)信息。隨后，與傳感器信息相
關(guān)的運(yùn)動(dòng)畫(huà)面輸入到運(yùn)動(dòng)畫(huà)面輸入單元iio，并且計(jì)算關(guān)于構(gòu)成該運(yùn)動(dòng)畫(huà)面的每個(gè)幀計(jì)算
的運(yùn)動(dòng)信息、和用傳感器信息指定的運(yùn)動(dòng)信息之間的差值。隨后，該差值可用作可靠度確定
分?jǐn)?shù)。在此情況下，在可靠度確定分?jǐn)?shù)不超過(guò)閾值的情況下，可靠度可確定為高。也就是說(shuō)，
可采用這樣的方法，其中，在使用從相機(jī)輸出的傳感器信息估計(jì)的圖像運(yùn)動(dòng)、和從構(gòu)成運(yùn)動(dòng)
畫(huà)面的圖像計(jì)算的圖像運(yùn)動(dòng)之間的匹配度高的情況下，可靠度確定為高。 3.第三實(shí)施例 圖像處理裝置的操作示例 在本發(fā)明第一實(shí)施例的情況下，已經(jīng)關(guān)于這樣的示例進(jìn)行了描述，其中包括在圖 像中的臉或笑臉用于選擇最前面的幀。在本發(fā)明第三實(shí)施例的情況下，將參照附圖關(guān)于這 樣的示例進(jìn)行詳細(xì)描述，其中與臉有關(guān)的除了笑臉以外的面部狀態(tài)用于選擇最前面的幀。
圖43是圖示根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置101的功能配置示例的框圖。 圖像處理裝置101包括合成目標(biāo)圖像選擇單元171、面部屬性狀態(tài)確定單元280、參考信息 存儲(chǔ)單元281、以及元數(shù)據(jù)存儲(chǔ)單元290。注意，其他功能配置與圖1中所示的圖像處理裝 置100中的那些大致相同，因此，對(duì)其指示與圖像處理裝置100的參考標(biāo)號(hào)相同的參考標(biāo) 號(hào)，將以具有不同功能的組件為中心進(jìn)行描述，并且將省略其他描述。 合成目標(biāo)圖像選擇單元171使用元數(shù)據(jù)記錄單元290中存儲(chǔ)的元數(shù)據(jù)，以從由部 分選擇單元160輸出的圖像合成目標(biāo)部分中包括的幀選擇用于創(chuàng)建合成圖像的幀，并且將 與選擇的幀有關(guān)的合成目標(biāo)圖像信息(幀選擇信息)輸出到記錄控制單元150。注意，將參 照?qǐng)D45到48詳細(xì)描述合成目標(biāo)圖像選擇。 面部屬性狀態(tài)確定單元280使用參考信息存儲(chǔ)單元281中存儲(chǔ)的參考信息，以確定通過(guò)面部檢測(cè)單元130檢測(cè)的面部的屬性和狀態(tài)，并且將確定結(jié)果輸出到記錄控制單元 150。具體地，面部屬性狀態(tài)確定單元280計(jì)算指示面部圖像和參考信息存儲(chǔ)單元281中存 儲(chǔ)的各類(lèi)數(shù)據(jù)之間的相關(guān)性的相關(guān)值，該面部圖像從構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的 運(yùn)動(dòng)畫(huà)面的圖像提取并規(guī)范化，面部屬性狀態(tài)確定單元280基于計(jì)算的相關(guān)值，確定相關(guān) 性的高度，并且提取與規(guī)范化的面部圖像相關(guān)的各種數(shù)據(jù)。這樣的提取處理重復(fù)執(zhí)行，并且 基于提取的各種數(shù)據(jù)，確定規(guī)范化的面部圖像的面部表情等。因此，為了識(shí)別人臉，可采用 這樣的技術(shù)，其與綜合了大量人臉的數(shù)據(jù)庫(kù)執(zhí)行模板匹配(例如，參見(jiàn)日本未審專(zhuān)利申請(qǐng) 公開(kāi)No. 2003-271933，日本未審專(zhuān)利申請(qǐng)公開(kāi)No. 2004-30629等)。例如，預(yù)先從大量笑臉 采樣圖像建立笑臉數(shù)據(jù)庫(kù)，從圖像部分提取的該面部圖像經(jīng)歷模板匹配處理，從而可以確 定面部是笑臉還是非笑臉。類(lèi)似地，還可以關(guān)于其他屬性或狀態(tài)進(jìn)行確定。注意，可使用本 發(fā)明第一實(shí)施例中所示的評(píng)估值進(jìn)行確定。此外，面部屬性狀態(tài)確定單元280是
發(fā)明內(nèi)容
中所指的確定單元的示例。 參考信息存儲(chǔ)單元281存儲(chǔ)如用于性別確定的面部的各部分的參考信息，并將存 儲(chǔ)的參考信息提供到面部屬性狀態(tài)確定單元280。注意，將參考圖44A和44B詳細(xì)描述參考 信息存儲(chǔ)單元281中存儲(chǔ)的參考信息。 元數(shù)據(jù)存儲(chǔ)單元290基于記錄控制單元150的控制，以與運(yùn)動(dòng)畫(huà)面和幀相關(guān)的方 式，將從相機(jī)工作檢測(cè)單元120、面部檢測(cè)單元130和面部屬性狀態(tài)確定單元280輸出的各 種信息存儲(chǔ)為元數(shù)據(jù)文件。此外，元數(shù)據(jù)存儲(chǔ)單元290將元數(shù)據(jù)文件提供到部分選擇單元 160和合成目標(biāo)圖像選擇單元171。注意，將參照?qǐng)D44A和44B詳細(xì)描述元數(shù)據(jù)存儲(chǔ)單元 290中存儲(chǔ)的元數(shù)據(jù)文件。 圖44A和44B是示意性圖示根據(jù)本發(fā)明第三實(shí)施例、在參考信息存儲(chǔ)單元281和 元數(shù)據(jù)存儲(chǔ)單元290中存儲(chǔ)的內(nèi)容的圖。圖44A圖示在參考信息存儲(chǔ)單元281中存儲(chǔ)的 參考信息。該參考信息例如是圖像自身，如眼、嘴等，即，用作人臉的特征數(shù)據(jù)庫(kù)、用作與特 定人臉相關(guān)的特征數(shù)據(jù)庫(kù)等。例如，如圖44A所示，在參考信息存儲(chǔ)單元281中存儲(chǔ)性別數(shù) 據(jù)庫(kù)282、年齡數(shù)據(jù)庫(kù)283、笑臉數(shù)據(jù)庫(kù)284、閉眼數(shù)據(jù)庫(kù)285、以及人物(character)數(shù)據(jù)庫(kù) 286。性別數(shù)據(jù)庫(kù)282是用于確定面部圖像的性別的數(shù)據(jù)庫(kù)，并且年齡數(shù)據(jù)庫(kù)283是用于確 定面部圖像的年齡的數(shù)據(jù)庫(kù)。此外，笑臉數(shù)據(jù)庫(kù)284是用于確定面部圖像的面部笑臉的數(shù) 據(jù)庫(kù)，并且閉眼數(shù)據(jù)庫(kù)285是用于確定面部圖像的閉眼的數(shù)據(jù)庫(kù)。此外，人物數(shù)據(jù)庫(kù)286是 用于將由用戶(hù)確定的人確定為人物的數(shù)據(jù)庫(kù)。通常，根據(jù)特征數(shù)據(jù)，與圖像自身相比，可以 以相對(duì)小的存儲(chǔ)容量保持大量的各種類(lèi)型的數(shù)據(jù)庫(kù)。 圖44B示意性圖示與存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà)面文件201相關(guān)地 存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元290中的元數(shù)據(jù)文件291。注意，運(yùn)動(dòng)畫(huà)面文件201和元數(shù)據(jù)文件 291之間的對(duì)應(yīng)關(guān)系與圖3B所示的示例相同，因此，這里將省略其描述。運(yùn)動(dòng)畫(huà)面ID 292、 幀號(hào)293、仿射變換參數(shù)294、可靠度確定分?jǐn)?shù)295、面部檢測(cè)信息296、性別297、年齡298、 笑臉299、閉眼287、以及人物288以相關(guān)方式存儲(chǔ)在元數(shù)據(jù)文件291中。注意，運(yùn)動(dòng)畫(huà)面ID 292、幀號(hào)293、仿射變換參數(shù)294、可靠度確定分?jǐn)?shù)295和面部檢測(cè)信息296與圖3B中示出 的那些相同，因此，這里將省略其描述。 性別297是關(guān)于對(duì)應(yīng)于幀號(hào)293的圖像的每幀中包括的面部確定的性別，其中存 儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括面部的情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為男性的情況下，在性別297中存 儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為女性的情況下，在性別297中存儲(chǔ) "0"。 年齡298是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的年齡 ，其 中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括面部的 情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為成年人的情況下，在年齡298 中存儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為兒童的情況下，在年齡298中存 儲(chǔ)"0"。 笑臉299是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的是否存在 笑臉，其中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括 面部的情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為笑臉的情況下，在笑 臉299中存儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為非笑臉的情況下，在笑臉 299中存儲(chǔ)"O"。 閉眼287是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的是否存在 閉眼的臉，其中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不 包括面部的情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為閉眼的臉的情況 下，在閉眼287中存儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為非閉眼的臉的情 況下，在閉眼287中存儲(chǔ)"O"。 人物288是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的是否存在 人物，其中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括 面部的情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為A先生的情況下，在 人物288中存儲(chǔ)"A"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為B先生的情況下，在人 物288中存儲(chǔ)"B"。
合成目標(biāo)圖像的選擇示例 圖45是圖示根據(jù)本發(fā)明第三實(shí)施例、在顯示單元250上顯示的選擇屏幕的示例的 圖。選擇部分610是其中用戶(hù)執(zhí)行選擇操作以顯示期望的合成圖像的選擇屏幕。選擇屏幕 610例如包括用于選擇性別611、年齡612、人物613、和面部表情614作為面部屬性的選取 字段。此外，選擇屏幕610包括用于選擇合成順序的合成順序615、以及用于選擇重疊率616 的下拉按鈕617。此外，選擇屏幕610包括"全景式合成圖像顯示"按鈕619和"取消"按鈕 620。 例如，設(shè)利用選擇屏幕610，光標(biāo)618用于對(duì)性別611的女性字段添加標(biāo)記、對(duì)年 齡612的成年人字段添加標(biāo)記、并且對(duì)面部表情614的笑臉字段添加標(biāo)記。此外，在對(duì)人物 613的人物字段添加標(biāo)記的情況下，顯示在人物數(shù)據(jù)庫(kù)286上登記的人物的姓名(例如，A 先生、B先生和C先生)，對(duì)來(lái)自這些人物的期望的姓名的字段添加標(biāo)記。例如，對(duì)B先生添 加標(biāo)記。此外，利用選擇屏幕610，光標(biāo)618用于對(duì)合成順序615的遞增字段添加標(biāo)記。此 外，光標(biāo)618用于按下下拉按鈕617，從而如圖45顯示重疊率列表"高"、"中"和"低"?？?從該重疊率列表選擇期望的重疊率。這里，例如，在已經(jīng)選擇"高"的情況下，選擇60%到 70%的重疊率，并且在已經(jīng)選擇"中"的情況下，選擇60%到40%的重疊率，并且在已經(jīng)選 擇"低"的情況下，選擇40%到35%的重疊率。注意，在該示例的情況下，用戶(hù)從重疊率列表選擇期望的重疊率，但是用戶(hù)可以直接輸入期望的重疊率。注意，不可以選擇用戶(hù)不具體 希望的項(xiàng)。 此外，在已經(jīng)完成通過(guò)用戶(hù)對(duì)于這些項(xiàng)的每個(gè)的選擇操作的情況下，用戶(hù)使用光 標(biāo)618來(lái)按下"全景式合成圖像顯示"按鈕619。因此，在按下"全景式合成圖像顯示"按鈕 613時(shí)選擇的每個(gè)項(xiàng)目的選擇信息從操作接受單元260輸出到合成目標(biāo)圖像選擇單元171。 基于該選擇信息，合成目標(biāo)圖像選擇單元171執(zhí)行幀選擇處理。注意，在按下"取消"按鈕 620時(shí)，釋放每個(gè)項(xiàng)目的選擇狀態(tài)。 圖46是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元171計(jì)算選擇 確定分?jǐn)?shù)使用的分?jǐn)?shù)的示例的圖。選擇確定分?jǐn)?shù)是用于選擇幀的值，并且基于與幀中包括 的面部相關(guān)的每條信息而計(jì)算。此外，在一個(gè)幀中包括多個(gè)面部的情況下，對(duì)每個(gè)面部計(jì)算 與這些面部相關(guān)的分?jǐn)?shù)，并且將對(duì)每個(gè)面部的分?jǐn)?shù)相加的值計(jì)算為選擇確定分?jǐn)?shù)。此外，例 如基于如圖45所示的選擇屏幕610處選擇的項(xiàng)目、圖46所示的分?jǐn)?shù)、和關(guān)于面部的屬性和 狀態(tài)計(jì)算選擇確定分?jǐn)?shù)。使用存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元290中的元數(shù)據(jù)作為關(guān)于面部的屬性 和狀態(tài)。 具體地，計(jì)算指示確定的面部屬性的屬性值Z1、指示確定的面部狀態(tài)的狀態(tài)值 Jl，并且將屬性值Zl和狀態(tài)值Jl相加，從而計(jì)算選擇確定分?jǐn)?shù)。這里，屬性值Zl是例如用 作為面部屬性的性別621、年齡622、以及是否存在特定人623確定的值。此外，狀態(tài)值Jl 是例如用作為面部狀態(tài)的笑臉624、閉眼625、圖像內(nèi)的面部位置(距圖像中心的距離626)、 圖像內(nèi)的面部大小627確定的值。 例如，關(guān)于性別621、年齡622、以及特定人623，確定圖45所示的選擇屏幕610處 選擇的項(xiàng)目、以及用作選擇確定分?jǐn)?shù)計(jì)算目標(biāo)的圖像中包括的面部屬性是否匹配。與匹配 的項(xiàng)目相關(guān)的圖46所示的分?jǐn)?shù)加到屬性值Zl。此外，關(guān)于笑臉624，在圖45所示的選擇屏 幕610處選擇的圖像、以及用作選擇確定分?jǐn)?shù)計(jì)算目標(biāo)的圖像中包括的面部狀態(tài)(笑臉) 匹配的情況下，圖46所示的分?jǐn)?shù)加到狀態(tài)值Jl。此外，關(guān)于閉眼625、距圖像中心的距離 626、以及面部大小627，對(duì)應(yīng)于元數(shù)據(jù)存儲(chǔ)單元290中存儲(chǔ)的元數(shù)據(jù)的每個(gè)分?jǐn)?shù)加到狀態(tài) 值Jl。隨后，計(jì)算的屬性值Zl和狀態(tài)值Jl相加，從而計(jì)算選擇確定分?jǐn)?shù)。
此外，在一個(gè)幀中包括多個(gè)面部的情況下，對(duì)每個(gè)面部計(jì)算屬性值Z1和狀態(tài)值 J1，并且通過(guò)將屬性值Z1和狀態(tài)值Jl相加獲得的值計(jì)算為其圖像的選擇確定分?jǐn)?shù)。注意， 在該示例的情況下，在計(jì)算每個(gè)分?jǐn)?shù)時(shí)將每個(gè)值相加，但是，例如可通過(guò)將每個(gè)值相乘來(lái)計(jì) 算每個(gè)分?jǐn)?shù)。此外，可進(jìn)行這樣的安排，其中使用對(duì)應(yīng)于面部屬性和狀態(tài)的加權(quán)系數(shù)來(lái)替代 圖46所示的每個(gè)分?jǐn)?shù)，從而計(jì)算每個(gè)分?jǐn)?shù)。 使用由此計(jì)算的選擇確定分?jǐn)?shù)選擇最前面的圖像(最前面的幀)。也就是說(shuō)，關(guān)于 通過(guò)部分選擇單元160選擇的圖像合成目標(biāo)部分中包括的每個(gè)圖像計(jì)算選擇確定分?jǐn)?shù)，并 且在計(jì)算的選擇確定分?jǐn)?shù)中，具有最高計(jì)算值的圖像被選擇為最前面的圖像。隨后，選擇除 了最前面的幀以外的其他幀。將參照?qǐng)D47A到48B詳細(xì)描述該選擇方法。
圖47A和47B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元171 執(zhí)行幀選擇的情況下的選擇方法的概述的圖。圖47A圖示在計(jì)算要與已經(jīng)選擇的幀的下端 重疊的幀的選擇確定分?jǐn)?shù)的情況下的示例。例如，設(shè)幀460是選擇為最前面的幀的幀。在 以幀640作為參考幀選擇另一幀的情況下，排除關(guān)于要與幀640重寫(xiě)的區(qū)域中包括的面部的分?jǐn)?shù)。例如，設(shè)在幀641中包括面部643到646的情況下，在關(guān)于最前面的幀640的重疊 區(qū)域642中包括圖像643和644的至少一部分。在此情況下，例如，在關(guān)于幀641確定需要 選擇的情況下，確定重疊區(qū)域642是否具有預(yù)定范圍內(nèi)的重疊率。設(shè)該重疊率的設(shè)置范圍 是在圖45所示的選擇屏幕610處選擇的內(nèi)容。隨后，在重疊區(qū)域642沒(méi)有預(yù)定范圍內(nèi)的重 疊率的情況下，不選擇幀641。在重疊區(qū)域642具有預(yù)定范圍內(nèi)的重疊率的情況下，關(guān)于幀 641計(jì)算選擇確定分?jǐn)?shù)。在此情況下，使用與不包括在幀641中包括的面部643到646的重 疊區(qū)域642中的面部645和646相關(guān)的值計(jì)算幀641的選擇確定分?jǐn)?shù)。
圖47B圖示在計(jì)算要與已經(jīng)選擇的幀的下端重疊的幀的選擇確定分?jǐn)?shù)的情況下 的示例。例如，幀660是用作關(guān)于幀650的重寫(xiě)合成目標(biāo)的幀。因此，在以幀650作為參考 幀選擇用作關(guān)于幀650的重寫(xiě)合成目標(biāo)的另一幀的情況下，將與除了要關(guān)于幀650重寫(xiě)的 區(qū)域以外的區(qū)域中包括的面部有關(guān)的分?jǐn)?shù)相加。例如，設(shè)面部651到653包括在幀650中， 并且面部653的至少一部分包括在關(guān)于幀660的重疊區(qū)域655中。此外，設(shè)面部661至lj 664 包括在幀660中。在此情況下，例如，在關(guān)于幀660確定需要選擇的情況下，確定重疊區(qū)域 665是否具有預(yù)定范圍內(nèi)的重疊率。在確定重疊區(qū)域665沒(méi)有預(yù)定范圍內(nèi)的重疊率的情況 下，不選擇幀660。另一方面，在確定重疊區(qū)域665有預(yù)定范圍內(nèi)的重疊率的情況下，關(guān)于幀 660計(jì)算選擇確定分?jǐn)?shù)。在此情況下，使用與幀660的重疊區(qū)域655中不包括的面部651、 652和661、幀650和660中包括的面部651到653、以及663和664相關(guān)的值計(jì)算幀660選 擇確定分?jǐn)?shù)。也就是說(shuō)，在合成兩個(gè)圖像的情況下，與用作顯示目標(biāo)的區(qū)域中包括的面部相 關(guān)的值計(jì)算為選擇確定分?jǐn)?shù)。 圖48A和48B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元171 執(zhí)行幀選擇的情況下的選擇方法的概述的圖。在圖48A和48B所示的示例下，將關(guān)于這樣 的情況進(jìn)行描述，其中通過(guò)用戶(hù)的操作預(yù)先指定重疊序列。在該示例的情況下，在成像的時(shí) 間點(diǎn)從舊圖像朝向新圖像重寫(xiě)合成的情況下(在按遞增順序重寫(xiě)合成的情況下)的選擇方 法示出為示例。然而，設(shè)選擇為最前面的幀的圖像重寫(xiě)合成在頂端。 圖48A圖示這樣的示例，其中以最前面的幀671作為參考幀，朝向搜索方向671選 擇圖像。在此情況下，在從最前面的圖像676按時(shí)間序列向回追蹤的方向執(zhí)行搜索，因此， 已經(jīng)選擇的圖像重疊在用作選擇目標(biāo)的圖像上。因此，在考慮重疊區(qū)域的同時(shí)計(jì)算分?jǐn)?shù)，并 且在指定的重疊率的范圍內(nèi)包括的圖像中，選擇具有最高分?jǐn)?shù)的圖像。例如，設(shè)已經(jīng)以圖像 676作為對(duì)應(yīng)于參考幀670的參考圖像選擇圖像675和674。在以圖像674作為參考圖像 確定需要選擇下一圖像673的情況下，在執(zhí)行圖像673和674之間的重疊區(qū)域677的重疊 率的確定之后，計(jì)算關(guān)于圖像673中包括的面部計(jì)算的選擇確定分?jǐn)?shù)。這里，關(guān)于圖像673 中包括的四個(gè)面部的面部678，其部分包括在重疊區(qū)域677中。因此，在計(jì)算關(guān)于圖像673 中包括的面部的選擇確定分?jǐn)?shù)的情況下，使用除了圖像673中包括的面部678以外的三個(gè) 面部計(jì)算選擇確定分?jǐn)?shù)。 圖48B圖示這樣的示例，其中以最前面的幀680作為參考幀，朝搜索方向682選擇 圖像。在此情況下，從最前面的圖像683起按時(shí)間序列方向執(zhí)行搜索，因此，用作選擇目標(biāo) 的圖像重疊在已經(jīng)選擇的圖像上。然而，僅最前面的圖像683重疊在所有圖像上。因此，關(guān) 于圖像684，以與圖48A所示的情況相同的方式，在考慮關(guān)于圖像683的重疊區(qū)域的同時(shí)計(jì) 算分?jǐn)?shù)，并且在指定的重疊率的范圍內(nèi)包括的圖像中，選擇具有最高分?jǐn)?shù)的圖像。另一方面，關(guān)于圖像685之后的圖像，選擇這樣的圖像，其中在指定的重疊率的范圍內(nèi)，用作選擇 目標(biāo)的圖像和與上面的圖像重疊的圖像之間的總分?jǐn)?shù)盡可能地不減少，并且當(dāng)前圖像上的 分?jǐn)?shù)高。也就是說(shuō)，選擇這樣的圖像，其中關(guān)于已經(jīng)選擇的合成圖像的總分?jǐn)?shù)、以及關(guān)于當(dāng) 前圖像的分?jǐn)?shù)最高。 例如，設(shè)以與參考幀680對(duì)應(yīng)的圖像683作為參考圖像，選擇像684和685。 在以圖像685作為參考圖像確定需要選擇下一圖像686的情況下，執(zhí)行圖像685和686之 間的重疊區(qū)域687的重疊率的計(jì)算。隨后，計(jì)算關(guān)于圖像683到685以及圖像686之間的 合成圖像中包括的每個(gè)面部計(jì)算的選擇確定分?jǐn)?shù)。這里，不管圖像686中包括的三個(gè)面部 是否包括在重疊區(qū)域687中，這三個(gè)面部都變?yōu)橛?jì)算目標(biāo)。 此外，例如，在成像的時(shí)間點(diǎn)處從新圖像朝向舊圖像執(zhí)行重寫(xiě)合成的情況下(在 以遞減順序重寫(xiě)合成的情況下)，以與遞增順序的情況相反的方向執(zhí)行選擇處理。注意，在 不指定合成順序的情況下，以從最前面的圖像按時(shí)間順序向回追蹤的方向、和從最前面的 圖像朝時(shí)間序列的方向執(zhí)行搜索。因此，在不執(zhí)行合成順序的情況下，即使在任何方向上執(zhí) 行搜索的情況下，也以與圖48A相同的方式執(zhí)行選擇處理。這樣的合成順序用作成像合成 時(shí)的合成順序，因此，這樣的合成順序與合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270的圖像合成目 標(biāo)部分相關(guān)地存儲(chǔ)。 注意，在本發(fā)明第三實(shí)施例的情況下，已經(jīng)關(guān)于這樣的示例進(jìn)行描述，其中與圖 像中包括的面部相關(guān)的唯一的屬性取做面部屬性，與面部狀態(tài)相關(guān)的屬性取做狀態(tài)，并且 使用關(guān)于這樣的面部的每條信息計(jì)算選擇確定分?jǐn)?shù)。然而，可關(guān)于另一對(duì)象的每條信息計(jì) 算選擇確定分?jǐn)?shù)。例如，可使用關(guān)于各種對(duì)象(如例如貓、狗的寵物、動(dòng)物、房屋、交通工 具等)的每條信息計(jì)算選擇確定分?jǐn)?shù)。例如，在單獨(dú)關(guān)于寵物的情況下，與單獨(dú)識(shí)別人的 情況相比，可根據(jù)如色彩、模式、耳朵的形狀等的差別容易地識(shí)別寵物。此外，可使用特性 (saliency)圖計(jì)算選擇確定分?jǐn)?shù)。該特性圖通過(guò)每個(gè)像素的分?jǐn)?shù)表示人類(lèi)將觀察的區(qū)域。 例如，在使用該特性圖計(jì)算圖像的選擇確定分?jǐn)?shù)的情況下，通過(guò)對(duì)除了重疊區(qū)域以外的區(qū) 域的每個(gè)像素的分?jǐn)?shù)積分獲得的值可計(jì)算為圖像的選擇確定分?jǐn)?shù)。此外，例如，通過(guò)將使用 特性圖計(jì)算的分?jǐn)?shù)和關(guān)于對(duì)象的分?jǐn)?shù)相加獲得的值可計(jì)算為選擇確定分?jǐn)?shù)。
圖像處理裝置的操作示例。 接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置101的操作。
圖49是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置101的幀選擇處理的過(guò) 程的流程圖。該過(guò)程是圖34中示出的步驟S950的過(guò)程的修改。此外，該示例圖示這樣的 示例，其中僅僅元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的仿射變換參數(shù)用于計(jì)算重疊率。此外，該示例 圖示沒(méi)有指定合成順序的情況。 首先，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得對(duì)應(yīng)于通過(guò)部分選擇單元 160選擇的一個(gè)圖像合成目標(biāo)部分中包括的每幀的元數(shù)據(jù)(步驟SIOOI)。隨后，獲得通過(guò) 操作接受單元260接受的每項(xiàng)的選擇信息(步驟S1002)。 隨后，基于獲得的元數(shù)據(jù)，關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每幀 計(jì)算選擇確定分?jǐn)?shù)，并且在計(jì)算的選擇確定分?jǐn)?shù)中，將具有最高值的幀選擇為最前面的幀 (步驟S1003)。此外，選擇的最前面的幀選擇為代表幀。隨后，將關(guān)于選擇的最前面的幀的 每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S1004)。
隨后，從選擇的代表幀起以遞減順序執(zhí)行搜索，提取指定的重疊率的范圍內(nèi)的幀， 并且關(guān)于這些幀計(jì)算選擇確定分?jǐn)?shù)(步驟S1005)。在關(guān)于指定的重疊率的范圍內(nèi)的幀計(jì) 算的選擇確定分?jǐn)?shù)中，具有最高分?jǐn)?shù)的幀選擇為新的代表幀(步驟S1006)。關(guān)于新選擇的 代表幀的每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S1007)。確定選 擇確定分?jǐn)?shù)的計(jì)算是否已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的頂部幀(步驟 S1008)。在選擇確定分?jǐn)?shù)的計(jì)算沒(méi)有執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的頂部幀 的情況下(步驟S1008)，流程返回到步驟S1005，其中重復(fù)代表幀選擇處理(步驟S1005到 S1007)。 另一方面，在選擇確定分?jǐn)?shù)的計(jì)算已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部 分的頂部幀的情況下(步驟S1008)，已經(jīng)選擇的最前面的幀選擇為代表幀(步驟S1009)。 隨后，從選擇的代表幀起以遞增順序執(zhí)行搜索，提取指定的重疊率的范圍內(nèi)的幀，并且關(guān)于 這些幀計(jì)算選擇確定分?jǐn)?shù)(步驟SIOIO)。在關(guān)于指定的重疊率的范圍內(nèi)的幀計(jì)算的選擇確 定分?jǐn)?shù)中，具有最高分?jǐn)?shù)的幀選擇為新的代表幀(步驟SlOll)。關(guān)于新選擇的代表幀的每 條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S1012)。確定選擇確定分?jǐn)?shù)的 計(jì)算是否已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的最后幀(步驟S1013)。在選擇 確定分?jǐn)?shù)的計(jì)算沒(méi)有執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的最后幀的情況下(步 驟S1013)，流程返回到步驟S1010，其中重復(fù)代表幀選擇處理(步驟S1010到S1012)。
另一方面，在選擇確定分?jǐn)?shù)的計(jì)算已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部 分的最后幀的情況下(步驟S1013)，確定是否已經(jīng)關(guān)于通過(guò)部分選擇單元160選擇的所有 圖像合成目標(biāo)部分完成幀選擇處理(步驟S1014)，在還沒(méi)有關(guān)于所有圖像合成目標(biāo)部分完 成幀選擇處理的情況下(步驟S1014)，流程返回到步驟S1001，其中重復(fù)幀選擇處理(步驟 S1001到S1013)。另一方面，在已經(jīng)關(guān)于所有圖像合成目標(biāo)部分完成幀選擇處理的情況下 (步驟S1014)，幀選擇處理的操作結(jié)束。 因此，與圖像中包括的面部有關(guān)的屬性和狀態(tài)等用于選擇最前面的圖像和合成目 標(biāo)圖像，從而可以提供關(guān)于運(yùn)動(dòng)畫(huà)面中包括的人的感興趣的圖像。此外，可根據(jù)用戶(hù)的偏好 設(shè)置和顯示如關(guān)于面部的屬性和狀態(tài)等的每個(gè)項(xiàng)目，從而可以提供根據(jù)用戶(hù)的偏好的合成 圖像。 4.第四實(shí)施例 圖像處理裝置的配置示例 在本發(fā)明第一實(shí)施例的情況下，已經(jīng)描述了這樣的示例，其中合成在外圍為其添 加一定厚度的白框的圖像以創(chuàng)建全景式合成圖像。在本發(fā)明第四實(shí)施例的情況下，將參照 附圖關(guān)于這樣的示例進(jìn)行詳細(xì)描述，其中將除了一定厚度的白框以外的裝飾圖像添加到圖 像的外圍。 圖50是圖示根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的功能配置示例的框圖。 圖像處理裝置102包括圖像合成單元221、合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277、以及裝飾圖 像確定單元700。注意，其他功能配置大致與圖1中所示的圖像處理裝置100中的功能配置 相同，因此，將對(duì)其指示與圖像處理裝置100的參考標(biāo)號(hào)相同的參考標(biāo)號(hào)，并且將以具有不 同功能的組件為中心進(jìn)行描述，而將省略其他描述。注意，面部檢測(cè)單元130是發(fā)明內(nèi)容中 所指的對(duì)象檢測(cè)單元的示例。
記錄控制單元150將與從裝飾圖像確定單元700輸出的裝飾圖像有關(guān)的信息記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中，作為合成目標(biāo)圖像元數(shù)據(jù)。 合成目標(biāo)圖像選擇單元170從圖像合成目標(biāo)部分中包括的幀選擇合成圖像，并且將與選擇的合成目標(biāo)圖像有關(guān)的合成目標(biāo)圖像信息輸出到記錄控制單元150和裝飾圖像確定單元700。注意，合成目標(biāo)圖像選擇單元170是發(fā)明內(nèi)容中所指的變換信息計(jì)算單元的示例。 裝飾圖像確定單元700確定要添加到每個(gè)幀的裝飾圖像，所述每個(gè)幀對(duì)應(yīng)于從合成目標(biāo)圖像選擇單元170輸出的合成目標(biāo)圖像信息，并且裝飾圖像確定單元700將與確定的裝飾圖像有關(guān)的裝飾圖像信息輸出到記錄控制單元150。例如，裝飾圖像確定單元700基于元數(shù)據(jù)存儲(chǔ)單元210中記錄的元數(shù)據(jù)確定裝飾圖像。此外，裝飾圖像確定單元700基于元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)和對(duì)應(yīng)于合成目標(biāo)圖像信息的每幀確定裝置圖像。注意，將參照?qǐng)D52A到62詳細(xì)描述裝飾圖像確定方法。 合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277基于信號(hào)150的控制，將從合成目標(biāo)圖像選擇單元170輸出的合成目標(biāo)圖像信息存儲(chǔ)為合成目標(biāo)圖像元數(shù)據(jù)文件。此外，合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277將從裝飾圖像確定單元700輸出的裝飾圖像信息存儲(chǔ)為合成目標(biāo)圖像元數(shù)據(jù)文件。此外，合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277響應(yīng)于來(lái)自文件獲得單元180的請(qǐng)求，將合成目標(biāo)圖像元數(shù)據(jù)文件提供到文件獲得單元180。注意，將參照?qǐng)D51詳細(xì)描述合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中存儲(chǔ)的元數(shù)據(jù)文件。 在已經(jīng)通過(guò)操作接受單元260接受用于顯示合成圖像的指令操作的情況下，文件獲得單元180將從合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277獲得的合成目標(biāo)圖像元數(shù)據(jù)輸出到圖像合成單元221。 圖像合成單元221使用圖像存儲(chǔ)器230，以將根據(jù)合成目標(biāo)圖像元數(shù)據(jù)的內(nèi)容的裝飾圖像添加到通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像，合成已經(jīng)添加裝飾圖像的圖像，以創(chuàng)建合成圖像。 圖51是示意性圖示根據(jù)本發(fā)明第四實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的存儲(chǔ)內(nèi)容的圖。運(yùn)動(dòng)畫(huà)面ID 271、部分號(hào)272、幀號(hào)273、仿射變換參數(shù)274、最前面的幀275、面部數(shù)據(jù)276、以及裝飾圖像數(shù)據(jù)278以相關(guān)的方式存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中。運(yùn)動(dòng)畫(huà)面ID 271、部分號(hào)272、幀號(hào)273、仿射變換參數(shù)274、最前面的幀275和面部數(shù)據(jù)276與圖4中示出的示例中的那些相同，這里將省略其描述。
裝飾圖像數(shù)據(jù)278是與通過(guò)裝飾圖像確定單元700確定的、要添加到合成目標(biāo)圖像的裝飾圖像相關(guān)的信息。作為該信息，例如存儲(chǔ)要添加到合成目標(biāo)圖像的裝飾圖像的位置、大小、模式、色彩、類(lèi)型等?；谘b飾圖像數(shù)據(jù)278的內(nèi)容，將裝飾圖像添加到對(duì)應(yīng)幀的外圍。注意，圖51中示出的示例以省略方式圖示與裝飾圖像相關(guān)的信息。
白框的確定示例 首先，將關(guān)于這樣的示例進(jìn)行描述，其中用作對(duì)其添加裝飾圖像的目標(biāo)的圖像經(jīng)歷仿射變換，重疊在之前的合成圖像上，并且使用關(guān)于仿射變換后的圖像的重疊區(qū)域的信息執(zhí)行圖像分析，從而確定裝飾圖像。在該示例的情況下，白框?qū)⒚枋鰹檠b飾圖像。
圖52A到52C是圖示安排來(lái)通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700確定白框的厚度的確定方法的概述的圖。圖52A圖示在通過(guò)合成目標(biāo)圖像選擇單元170選擇的幀中的按時(shí)間序列的連續(xù)的三個(gè)幀711到713。合成圖像714指示這樣的圖像，其中按時(shí)間序列的連續(xù)三個(gè)幀711到713經(jīng)歷仿射變換，然后合成。此外，幀713是按時(shí)間序列臨近幀712的幀，并且指示仿射變換后的狀態(tài)。裝飾圖像確定單元700基于與通過(guò)合成目標(biāo)圖像選擇單元170選擇的幀相關(guān)的信息，從運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中存儲(chǔ)的運(yùn)動(dòng)畫(huà)面文件獲得這些幀中的每個(gè)。此外，裝飾圖像確定單元700包括用于保持合成圖像的工作緩沖器。
如圖52A所示，作為仿射變換后的下一幀的幀714重疊在其中合成了直到選擇的幀的緊接在前面的幀的合成圖像714之上。此時(shí)，關(guān)于合成圖像714和對(duì)應(yīng)于幀713的圖像之間的重疊區(qū)域715，以與本發(fā)明第一實(shí)施例中所示的方法相同的方式，從合成圖像714提取特征點(diǎn)，并且關(guān)于該特征點(diǎn)計(jì)算光流。隨后，計(jì)算相機(jī)工作參數(shù)和可靠度。因此，在不是關(guān)于整個(gè)圖像、而是僅關(guān)于重疊區(qū)域的局部區(qū)域計(jì)算相機(jī)工作參數(shù)和可靠度的情況下，在一些情況下，計(jì)算結(jié)果與關(guān)于整個(gè)圖像計(jì)算的相機(jī)工作參數(shù)和可靠度不同。此外，通過(guò)合成目標(biāo)圖像選擇單元170選擇的幀不是構(gòu)成運(yùn)動(dòng)畫(huà)面的連續(xù)幀，因此，存在由于多個(gè)仿射變換參數(shù)的乘法而可能導(dǎo)致幀間偏移的可能性。注意，在重疊區(qū)域715中，區(qū)域716是幀711和713之間的重疊區(qū)域，并且在重疊區(qū)域715中，區(qū)域716以外的區(qū)域是幀712和713之間的重疊區(qū)域。圖52A使用黑色圓圈和白色圓圈示意性圖示從重疊區(qū)域715提取的特征點(diǎn)。此外，關(guān)于這些特征點(diǎn)計(jì)算的光流用以特征點(diǎn)作為原點(diǎn)的箭頭表示。這里，設(shè)重疊區(qū)域715的用黑色圓圈指示的特征點(diǎn)是展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)，并且白色圓圈是其他特征點(diǎn)。
圖52B圖示其中關(guān)于圖52A所示的重疊區(qū)域715計(jì)算的仿射變換參數(shù)用于使重疊區(qū)域715經(jīng)歷仿射變換的情況。圖52B使用四個(gè)箭頭來(lái)圖示仿射變換參數(shù)的運(yùn)動(dòng)的轉(zhuǎn)換，并且圖示重疊區(qū)域715經(jīng)歷仿射變換之后的區(qū)域，作為仿射變換之后的重疊區(qū)域717。此外，圖52C僅圖示重疊區(qū)域715、以及仿射變換后的重疊區(qū)域717。 因此，在關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的連續(xù)幀計(jì)算的仿射變換參數(shù)用于合成選擇幀的情況下，存在可能導(dǎo)致偏移的可能性。因此，在該示例的情況下，基于偏移的大小確定白框的厚度。 注意，將使用下面的表達(dá)式計(jì)算兩個(gè)過(guò)擴(kuò)展(over-extension)率DR1和DR2，作為
偏移量。 過(guò)擴(kuò)展率DR1 = (l-(C/A))
過(guò)擴(kuò)展率DR2 = (1- (C/B)) 這里，C表示其中合成了目標(biāo)圖像的重疊區(qū)域以及該重疊區(qū)域的仿射變換后的區(qū)
域的區(qū)域的面積。此外，A表示目標(biāo)圖像的重疊區(qū)域的面積，而B(niǎo)表示仿射變換后的目標(biāo)圖
像的重疊區(qū)域的面積。例如，在圖52C所示的示例的情況下，設(shè)其中合成了重疊區(qū)域715和
仿射變換后的重疊區(qū)域717的區(qū)域取為面積C，重疊區(qū)域715的面積取為面積A，并且仿射
變換后的重疊區(qū)域717的面積取為面積B。隨后，計(jì)算兩個(gè)過(guò)擴(kuò)展率DR1和DR2。 利用由此計(jì)算的兩個(gè)過(guò)擴(kuò)展率DR1和DR2，選擇較大值。隨后，設(shè)該選擇的過(guò)擴(kuò)展
率取為DR，使用下面的表達(dá)式計(jì)算用作裝飾圖像的白框的厚度。 要添加到水平方向上的兩端的各邊的白框的厚度SHI = WXDR 要添加到垂直方向上的兩端的各邊的白框的厚度SH2 = HXDR 可為過(guò)擴(kuò)展率提供上限和下限，以便防止白框相對(duì)于用作提供目標(biāo)的圖像變得太
厚。作為過(guò)擴(kuò)展率的上限和下限的范圍，例如可設(shè)置O. 1到0.Q3。
由此計(jì)算的要添加到水平方向和垂直方向的兩端的各邊的厚度SH1和SH2輸出到 記錄控制單元150，并且記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的裝飾圖像數(shù)據(jù)278中。
例如，在過(guò)擴(kuò)展率小的情況下，用作添加白框的對(duì)象的目標(biāo)圖像、以及重疊在該圖 像之下的合成圖像之間的偏移小。因此，即使在要添加到其目標(biāo)圖像的白框的厚度薄的情 況下，也可以預(yù)期形成目標(biāo)圖像和合成圖像之間的自然的圖像。另一方面，在過(guò)擴(kuò)展率大的 情況下，目標(biāo)圖像、以及重疊在該圖像之下的合成圖像之間的偏移大。因此，要添加到其目 標(biāo)圖像的白框的厚度增加，從而可以使其偏移模糊。此外，根據(jù)要添加到圖像的白框，可以 消除由于偏移導(dǎo)致的不自然。注意，添加白框的位置可以是目標(biāo)圖像的外側(cè)、內(nèi)側(cè)、和邊緣 上之一。在圖56A到58D中示出了添加這樣的白框的示例。 圖53A到53C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700確定的 裝飾圖像的示例的圖。圖53A圖示白框圖像721添加到幀720的外圍的外側(cè)的示例，圖53B 圖示添加白框圖像722以便包括幀720的外圍的示例，并且圖53C圖示白框圖像723添加 到幀720的外圍的內(nèi)側(cè)的示例。注意，在添加白框圖像以便包括圖像的外圍的情況下，可添 加白框圖像，以便斜跨(obliquely straddle)圖像的外圍。注意，圖53A至lj 53C關(guān)于圖像 放大了白框，以方便觀察。此外，圖53A到53C使用粗線(xiàn)圖示了圖像的外圍，以便方便幀720 的大小的觀察。 此外，可對(duì)用作計(jì)算目標(biāo)的每個(gè)圖像確定由此計(jì)算的白框的厚度。然而，為了提供 優(yōu)良的合成圖像，在關(guān)于同一圖像合成目標(biāo)部分計(jì)算的過(guò)擴(kuò)展率中，具有最高值的過(guò)擴(kuò)展 率可用于統(tǒng)一其部分中包括的每幀的白框率。此外，例如，可采用過(guò)擴(kuò)展率的平均值。此外， 如圖54A到54C所示，添加白框的位置可根據(jù)圖像之間的相對(duì)位置關(guān)系改變。
圖54A到54C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700對(duì)于裝 飾圖像的確定方法的示例的圖。圖54A圖示以幀730作為參考幀使幀740經(jīng)歷仿射變換的 情況。在該示例的情況下，將關(guān)于這樣的示例進(jìn)行描述，其中確定要添加到幀740的上側(cè)的 外圍的圖像的位置。例如，以運(yùn)動(dòng)矢量731和732圖示下述情況下的運(yùn)動(dòng)矢量，其中以幀 730作為參考幀，幀740經(jīng)歷仿射變換，并且?guī)?30的上側(cè)的兩角處的點(diǎn)移動(dòng)。此外，用法線(xiàn) 矢量733和734圖示幀730的上側(cè)的法線(xiàn)矢量。 圖54B圖示運(yùn)動(dòng)矢量731和732以及法線(xiàn)矢量733和734之間的關(guān)系。例如，在關(guān) 于幀740的上側(cè)計(jì)算添加白框的位置的情況下，計(jì)算由通過(guò)將運(yùn)動(dòng)矢量731和732相加獲 得的矢量735和矢量733形成的角度736。此外，計(jì)算由矢量735和734形成的角度737。 隨后，比較角度736的值和角度737的值。作為該比較的結(jié)果，在角度736的值較小的情況 下，將白框布置到幀740的外圍的內(nèi)側(cè)。另一方面，在角度737的值較小的情況下，將白框 布置到幀740的外圍的外側(cè)。例如，如圖54B所示，作為角度736的值和角度737的值之間 的比較結(jié)果，角度737的值較小，因此，要添加到幀740的上側(cè)的外圍的白框確定為布置在 其外側(cè)。此外，關(guān)于其他三側(cè)也可以相同方式確定白框的位置。 圖54C圖示用作要添加到幀740的白框的示例的白框圖像741。因此，可根據(jù)關(guān)于 參考幀的相對(duì)位置確定白框圖像的位置。注意，在兩個(gè)運(yùn)動(dòng)矢量的和變?yōu)?的情況下，白框 圖像可確定為布置在外側(cè)或內(nèi)側(cè)。此外，即使在兩個(gè)運(yùn)動(dòng)矢量的和不為0的情況下，白框圖 像也可確定為不僅布置在外圍的外側(cè)或內(nèi)側(cè)，而且布置為以便跨越其外圍。例如，可根據(jù)由 加法矢量和法線(xiàn)矢量形成的角度改變白框的中心位置。此外，如圖55A和55B所示，要關(guān)于同一側(cè)布置的白框圖像可在該側(cè)的兩端不同地布置。 圖55A和55B是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700的裝飾 圖像的確定方法的示例的圖。圖55A圖示以幀750作為參考幀使幀760經(jīng)歷仿射變換的情 況。例如，設(shè)在由運(yùn)動(dòng)矢量751和法線(xiàn)矢量753形成的角度小、并且由運(yùn)動(dòng)矢量752和法 線(xiàn)矢量754形成的角度小的情況下，運(yùn)動(dòng)矢量751的終點(diǎn)周?chē)莾?nèi)側(cè)。此外，運(yùn)動(dòng)矢量752 的終點(diǎn)周?chē)杀淮_定為布置在另一側(cè)。其他側(cè)可以相同方式確定。在由此進(jìn)行確定的情況 下，例如，可如圖55B所示布置白框圖像。然而，在以這樣的方式布置白框圖像的情況下，存 在可能改變圖像的外形的可能性。例如，如圖55B所示，在幀760是矩形的情況下，在一些 情況下，已經(jīng)添加了白框圖像的圖像變?yōu)槠叫兴倪呅巍４送?，例如，在目?biāo)幀是矩形的情況 下，假設(shè)其中已經(jīng)添加白框圖像的圖像變?yōu)樘菪蔚那闆r，或者在目標(biāo)幀是平行四邊形的情 況下，假設(shè)其中已經(jīng)添加白框圖像的圖像變?yōu)樘菪蔚那闆r。
白框的合成示例 圖56A到56D是圖示合成通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。圖像合成單元220基于合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的裝飾 圖像數(shù)據(jù)278的內(nèi)容執(zhí)行該裝飾圖像合成。也就是說(shuō)，基于合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元 277的仿射變換參數(shù)274的內(nèi)容，圖像通過(guò)圖像變換單元190經(jīng)歷仿射變換。隨后，基于合 成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的裝飾圖像數(shù)據(jù)278的內(nèi)容，圖像合成單元220通過(guò)添加 裝飾圖像到仿射變換后的圖像，執(zhí)行圖像合成。在圖56A至lj56D所示的示例的情況下，將描 述平移方向上的偏移的影響。注意，圖56A到56D圖示白框添加為裝飾圖像的示例。
圖56A圖示合成目標(biāo)圖像738和739。圖56B圖示以合成目標(biāo)圖像738為參考圖 像使合成目標(biāo)圖像739經(jīng)歷仿射變換的示例。在圖56B所示的示例的情況下，圖示了合成目 標(biāo)圖像739向右下側(cè)偏移的情況。例如，在以圓圈742包圍的圖像區(qū)域的情況下，過(guò)度地看 到了合成目標(biāo)圖像738中包括的屋頂部分。此外，例如在以圓圈743包圍的圖像區(qū)域的情 況下，合成目標(biāo)圖像738中包括的草的部分被合成目標(biāo)圖像739隱藏。此外，例如，在以圓 圈744包圍的圖像區(qū)域的情況下，過(guò)度地看到了合成目標(biāo)圖像738中包括的傘的部分。因 此，如圖56C所示，例如，關(guān)于合成目標(biāo)圖像739合成通過(guò)裝飾圖像確定單元700確定的裝 飾圖像745，從而可隱藏用圓圈742至lj 744包圍的區(qū)域部分中包括的不自然的圖像。另一方 面，如圖56D所示，在以由裝飾圖像確定單元700確定的區(qū)域的相反方向上、關(guān)于合成目標(biāo) 圖像739合成裝飾圖像746的情況下，例如，不能隱藏用圓圈742到744包圍的區(qū)域部分中 的不自然的圖像。 圖57A到57D是圖示合成通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。注意，在圖57A到57D所示的示例的情況下，將描述放大/縮小方 向的偏移的影響。 圖57A圖示合成目標(biāo)圖像747和748。圖57B圖示以合成目標(biāo)圖像747作為參考 圖像使合成圖像748經(jīng)歷仿射變換的情況的示例。在圖57B所示的示例的情況下，示出了 合成目標(biāo)圖像747在縮小方向上偏移的情況。例如，在用圓圈749包圍的圖像區(qū)域的情況 下，過(guò)度地看見(jiàn)了合成目標(biāo)圖像747中包括的屋頂?shù)牟糠帧４送?，例如，在用圓圈755包圍 的圖像區(qū)域的情況下，過(guò)度地看見(jiàn)了合成目標(biāo)圖像747中包括的電燈的部分。此外，例如， 在用圓圈756包圍的圖像區(qū)域的情況下，過(guò)度地看見(jiàn)了合成目標(biāo)圖像747中包括的傘的部分。因此，如圖57C所示，例如關(guān)于合成目標(biāo)圖像748合成通過(guò)裝飾圖像確定單元700確定 的裝飾圖像757，從而可隱藏用圓圈749、755和756包圍的區(qū)域部分中包括的不自然的圖 像。另一方面，如圖57D所示，在以由裝飾圖像確定單元700確定的區(qū)域的相反方向上、關(guān) 于合成目標(biāo)圖像748合成裝飾圖像758的情況下，例如，不能隱藏用圓圈749、755和756包 圍的區(qū)域部分中的不自然的圖像。 圖58A到58D是圖示合成通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。注意，在圖58A到58D所示的示例的情況下，將描述旋轉(zhuǎn)方向的偏 移的影響。 圖58A圖示合成目標(biāo)圖像759和762。圖58B圖示以合成目標(biāo)圖像759作為參考 圖像使合成圖像762經(jīng)歷仿射變換的情況的示例。在圖58B所示的示例的情況下，示出了 合成目標(biāo)圖像762在順時(shí)針?lè)较蛏掀频那闆r。例如，在用圓圈763包圍的圖像區(qū)域的情 況下，不自然地看見(jiàn)了合成目標(biāo)圖像759中包括的石階的部分。因此，如圖58C所示，例如 關(guān)于合成目標(biāo)圖像762合成通過(guò)裝飾圖像確定單元700確定的裝飾圖像764，從而可隱藏用 圓圈763包圍的區(qū)域部分中包括的不自然的圖像。另一方面，如圖58D所示，在以由裝飾圖 像確定單元700確定的區(qū)域的相反方向上、關(guān)于合成目標(biāo)圖像762合成裝飾圖像765的情 況下，例如，不能隱藏用圓圈763包圍的區(qū)域部分中的不自然的圖像。這里，在旋轉(zhuǎn)方向上 簡(jiǎn)單地偏移合成目標(biāo)的情況下，如圖54A到54C所述，兩個(gè)運(yùn)動(dòng)矢量的和變?yōu)?。因此，白框 圖像不僅可確定為布置在外圍的外側(cè)或內(nèi)側(cè)，而且可布置在其外圍之上。
因此，關(guān)于合成目標(biāo)圖像合成通過(guò)裝飾圖像確定單元700確定的裝飾圖像，從而 可將全景式自然的合成圖像提供給用戶(hù)。
考慮面部的同時(shí)的白框的確定示例 現(xiàn)在，例如，在合成已經(jīng)添加裝飾圖像的合成目標(biāo)圖像的情況下，存在可能隱藏重 疊在下側(cè)上的合成圖像中包括的面部的可能性。在這樣的情況下，裝飾圖像的位置可在不 隱藏面部的方向上改變。替代地，可調(diào)節(jié)裝飾圖像的厚度。 圖59是圖示考慮到面部、通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700的裝飾圖 像確定方法的示例的圖?，F(xiàn)在，示出了這樣的示例，其中確定合成目標(biāo)圖像766到768的裝 飾圖像。此外，設(shè)合成目標(biāo)圖像767和768包括面部，并且包括面部的這些區(qū)域用面部區(qū)域 769和770表示。 例如，設(shè)以合成目標(biāo)圖像766作為參考圖像，合成目標(biāo)圖像767和768經(jīng)歷仿射變 換并合成。在此情況下，合成目標(biāo)圖像768關(guān)于合成目標(biāo)圖像767重寫(xiě)并合成，因此，例如， 在要添加到合成目標(biāo)圖像768的裝飾圖像大的情況下(或在添加到外側(cè)的情況下)，存在可 能隱藏面部區(qū)域769中包括的面部的可能性。 現(xiàn)在，例如，可使用合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的面部數(shù)據(jù)276中存儲(chǔ)的面 部數(shù)據(jù)確定合成目標(biāo)圖像中包括的面部區(qū)域。因此，例如，裝飾圖像確定單元700計(jì)算考慮 面部之前確定的裝飾圖像的區(qū)域和面部區(qū)域是否重疊，并且在裝飾圖像的區(qū)域和面部區(qū)域 重疊的情況下，裝飾圖像的位置改變?yōu)榇_定位置的相對(duì)側(cè)。例如，在合成目標(biāo)圖像767中包 括的面部區(qū)域769、以及被確定為要添加到合成目標(biāo)圖像768的左端的外側(cè)的裝飾圖像771 重疊的情況下，裝飾圖像771改變?yōu)樘砑拥絻?nèi)側(cè)，S卩，改變?yōu)檠b飾圖像772。此外，例如在合 成目標(biāo)圖像768中包括的面部區(qū)域770、以及被確定為要添加到合成目標(biāo)圖像768的上端的內(nèi)側(cè)的裝飾圖像773重疊的情況下，裝飾圖像773改變?yōu)樘砑拥酵鈧?cè)，即，改變?yōu)檠b飾圖像 774。 現(xiàn)在，例如，即使要添加的位置改變?yōu)楹铣赡繕?biāo)圖像的內(nèi)側(cè)或外側(cè)，裝飾圖像和面
部圖像重疊，也可通過(guò)計(jì)算裝飾圖像和面部區(qū)域之間的距離改變裝飾圖像的厚度。因此，即
使裝飾圖像的厚度改變，在裝飾圖像和面部圖像重疊的情況下，例如，裝飾圖像的位置也改
變到重疊區(qū)域小的位置。然而，例如，在對(duì)要重疊在上側(cè)的合成目標(biāo)圖像給予優(yōu)先級(jí)、并且
裝飾圖像和面部區(qū)域重疊的情況下，裝飾可確定為添加到合成目標(biāo)圖像的外側(cè)。替代地，可
進(jìn)行這樣的安排，其中對(duì)每側(cè)預(yù)先計(jì)算面部區(qū)域和裝飾圖像之間的距離，不重疊在面部之
上的裝飾圖像的最大厚度預(yù)先存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中，并使用這些值
添加裝飾圖像。 陰影的確定示例 到目前為止已經(jīng)關(guān)于這樣的示例進(jìn)行了描述，其中將白框添加到合成目標(biāo)圖像作 為裝飾圖像，但是例如，可將陰影添加到合成目標(biāo)圖像作為裝飾圖像。 圖60A到60C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700確定為 要添加到合成目標(biāo)圖像的裝飾圖像的陰影的示例的圖。此后，通過(guò)在內(nèi)部添加對(duì)角線(xiàn)筆劃 來(lái)指示要添加到合成目標(biāo)圖像的陰影。圖60A圖示要添加到合成目標(biāo)圖像的陰影的基本形 狀。例如，關(guān)于如陰影351的陰影的方向，將首先考慮這樣的情況，其中當(dāng)從合成目標(biāo)圖像 正上方施加光時(shí)，陰影在所有方向上擴(kuò)散。此外，類(lèi)似于陰影352或353，還可產(chǎn)生這樣的效 果，其中光從合成目標(biāo)圖像的斜上方或斜下方施加。 圖60B圖示這樣的情況，其中產(chǎn)生效果，使得光從合成目標(biāo)圖像的斜上方施加，以 創(chuàng)建合成圖像。也就是說(shuō)，順序合成已經(jīng)添加陰影352的合成圖像，從而可以創(chuàng)建圖60B所 示的合成圖像。此外，圖60C圖示產(chǎn)生如下效果的情況，其中光從合成目標(biāo)圖像的斜下方施 加以創(chuàng)建合成目標(biāo)。也就是說(shuō)，順序合成已經(jīng)添加陰影353的合成圖像，從而可以創(chuàng)建圖 60C所示的合成圖像。 現(xiàn)在，例如，在產(chǎn)生光從合成圖像的斜上方或斜下方施加的效果的情況下，期望將 下述方向確定為陰影的方向，其中陰影盡可能多地落在根據(jù)合成圖像的最終重疊方向的較 下方的圖像上。此外，例如，陰影的厚度可設(shè)置為一定值。此外，例如，以與上述白框的情況 相同的方式，可根據(jù)過(guò)擴(kuò)展率確定陰影的厚度。 圖61A和61B是圖示安排來(lái)通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定陰 影的方向的確定方法的概述的圖。圖61A圖示在工作緩沖器358處保持的合成目標(biāo)圖像354 到357。例如，設(shè)計(jì)算重寫(xiě)在另一合成目標(biāo)圖像的合成目標(biāo)圖像的各側(cè)的長(zhǎng)度，計(jì)算其各側(cè) 的外向法線(xiàn)矢量，并且將法線(xiàn)矢量的大小取為各側(cè)的重寫(xiě)部分的長(zhǎng)度。例如，在圖61A所示 的合成目標(biāo)圖像355到357的情況下，重寫(xiě)在另一合成目標(biāo)圖像上的側(cè)用粗線(xiàn)指示。此外， 該側(cè)的外向法線(xiàn)矢量在粗線(xiàn)上指示。積分由此計(jì)算的合成目標(biāo)圖像的所有法線(xiàn)矢量，并且 通過(guò)積分獲得的法線(xiàn)矢量的方向確定為添加陰影的方向。圖61B圖示通過(guò)添加了由此確定 的陰影的合成目標(biāo)圖像354到357形成的合成圖像。如此確定陰影的方向，從而將陰影投 射在合成目標(biāo)圖像上，因此，可以增強(qiáng)陰影的效果。 注意，除了通過(guò)上述法線(xiàn)矢量的積分確定陰影的方向之外，可從參照法線(xiàn)矢量的 方向預(yù)先確定的若干方向選擇和確定陰影的方向。替代地，可進(jìn)行這樣的安排，其中通過(guò)將與每個(gè)合成目標(biāo)圖像相關(guān)的仿射變換參數(shù)相乘獲得的仿射矩陣用于獲得相機(jī)工作的積分
平移分量，并且該積分平移分量的方向取為陰影的方向。 考慮面部的同時(shí)的陰影的確定示例 現(xiàn)在，例如，在合成已經(jīng)添加陰影的合成目標(biāo)圖像的情況下，存在可能隱藏重疊在下側(cè)上的合成圖像中包括的面部的可能性。在這樣的情況下以與上述白框的情況相同的方式，陰影的方向可改變?yōu)椴浑[藏面部的方向。替代地，在面部區(qū)域被陰影覆蓋的情況下，可使陰影的顏色變淡。以下將示出這樣的示例，其中面部被陰影覆蓋，該側(cè)的法線(xiàn)矢量的方向反向，從而改變陰影的方向。 圖62是圖示考慮到面部、通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700的陰影確定方法的示例的圖。圖62所示的示例與圖51A所示的情況相同，除了在保持在工作緩沖器358的合成目標(biāo)圖像354到357中，面部區(qū)域359包括在合成目標(biāo)圖像356中。例如，以與圖61A所示的情況相同的方式獲得法線(xiàn)矢量，但是在面部區(qū)域被陰影覆蓋的情況下，該側(cè)的法線(xiàn)矢量的方向反向。例如，在圖62所示的合成目標(biāo)圖像357的情況下，在重寫(xiě)在另一合成目標(biāo)圖像356之上的各側(cè)中，左邊緣一側(cè)重寫(xiě)在面部區(qū)域359之上。因此，該側(cè)的法線(xiàn)矢量的方向反向。也就是說(shuō)，該法線(xiàn)矢量的方向反向，如法線(xiàn)矢量360。注意，用于確定陰影的方向的方法與圖61A所示的情況相同，除了法線(xiàn)矢量的方向反向，因此，這里將省略其描述。 這里，在圖62所示的示例的情況下，在法線(xiàn)矢量的方向反向后計(jì)算的法線(xiàn)矢量的積分矢量的方向幾乎與沒(méi)有反向其方向的情況下的相同，因此，面部被陰影隱藏。然而，在面部被多個(gè)合成目標(biāo)圖像的左側(cè)的陰影覆蓋的情況下，陰影的方向是右上方向，從而可以防止面部被陰影隱藏。此外，例如，整個(gè)陰影的濃度可根據(jù)反向的法線(xiàn)矢量的方向和長(zhǎng)度而變淡。替代地，陰影的厚度可根據(jù)反向的法線(xiàn)矢量的方向和長(zhǎng)度而變薄。此外，在面部被陰影覆蓋的情況下，可使用這樣的陰影改變方法，其中整個(gè)陰影的濃度按一定比率變淡，或其厚度按一定比率變薄。 因此，在可能隱藏重疊在下側(cè)上的合成圖像中包括的面部的情況下，陰影的位置可改變?yōu)椴浑[藏面部的方向。然而，與白框相比，即使在面部被陰影覆蓋的情況下，也可預(yù)期沒(méi)有那么麻煩的狀態(tài)。因此，在面部區(qū)域被陰影覆蓋的情況下，這樣的改變或調(diào)整完全可以不執(zhí)行，可執(zhí)行其中的任一個(gè)，或可執(zhí)行其組合。 到目前為止已經(jīng)描述了這樣的示例，其中白框或陰影被確定為裝飾圖像，但是本發(fā)明的第四實(shí)施例還可應(yīng)用到這樣的情況，其中白框添加到合成目標(biāo)圖像的外圍，并且陰影也添加到該白框的外圍。 此夕卜，到目前為止已經(jīng)示出了這樣的示例，其中在幀選擇時(shí)確定要添加到合成目
標(biāo)圖像的裝飾圖像，但是例如，可在合成圖像的顯示時(shí)確定要添加到合成目標(biāo)圖像的裝飾
圖像。替代地，可根據(jù)用戶(hù)的操作確定裝飾圖像。例如，可通過(guò)用戶(hù)的操作指定合成目標(biāo)圖
像中的是否存在白框、白框的位置、白框的厚度、是否存在陰影、陰影的方向等。 此夕卜，到目前為止已經(jīng)示出了這樣的示例，其中白框或陰影的厚度和方向確定為
裝飾圖像，但是例如，可基于過(guò)擴(kuò)展率或法線(xiàn)矢量確定裝飾圖像的顏色或模式。此外，到目
前為止已經(jīng)示出了這樣的示例，其中基于合成目標(biāo)圖像之間的相對(duì)位置關(guān)系等確定裝飾圖
像，但是例如，可基于合成目標(biāo)圖像中包括的被攝體的屬性、顏色等確定裝飾圖像。例如，在框添加為裝飾圖像的情況下，計(jì)算合成目標(biāo)圖像的外圍部分的顏色柱狀圖，并且最頻繁的 顏色的補(bǔ)色可被確定為框的顏色。因此，已經(jīng)添加了白色以外的顏色的框添加到合成目標(biāo) 圖像，從而可防止合成目標(biāo)圖像的邊緣變得模糊。例如，如圖32和33中所示的圖像576，在 合成目標(biāo)圖像的外圍部分包括很多綠色的情況下，紅色采用為關(guān)于綠色的補(bǔ)色。此外，可使 用如本發(fā)明第三實(shí)施例中所示的、關(guān)于面部的每條元數(shù)據(jù)確定框的顏色或模式。例如，可根 據(jù)合成目標(biāo)圖像中包括的人的性別或年齡改變框的顏色。此外，可根據(jù)已經(jīng)成像合成目標(biāo) 圖像的時(shí)間點(diǎn)改變框的顏色。 替代地，在使用通過(guò)圖52A到52C所示的方法計(jì)算的相機(jī)工作參數(shù)和可靠度顯示 合成圖像時(shí)，可在校正偏移的同時(shí)執(zhí)行合成。例如，通過(guò)圖52A到52C所示的方法計(jì)算的相 機(jī)工作參數(shù)和可靠度預(yù)先存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中。隨后，當(dāng)顯示合成 目標(biāo)圖像時(shí)，關(guān)于具有高可靠度的合成目標(biāo)圖像，可使用對(duì)應(yīng)的相機(jī)工作參數(shù)校正用于變 換合成目標(biāo)圖像的仿射變換參數(shù)。
圖像處理裝置的操作示例 接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的操作。
圖63是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程的流程圖。該過(guò)程是圖34所示的過(guò)程的修改，與圖34中所示的過(guò)程 相同的過(guò)程將用相同的參考標(biāo)號(hào)表示，并且這里將省略其描述。 在通過(guò)合成目標(biāo)圖像選擇單元170的幀選擇處理完成后，裝飾圖像確定單元700 執(zhí)行裝飾圖像確定處理(步驟S1020)。將參照?qǐng)D64詳細(xì)描述該裝飾圖像確定處理。
圖64是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程(圖63中所示的步驟S1020的過(guò)程)的 流程圖。在該示例的情況下，示出了白框確定為裝飾圖像的示例。此外，示出了要添加到相 同圖像合成目標(biāo)部分中包括的每個(gè)幀的白框具有相同厚度的情況作為示例。
首先，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得元數(shù)據(jù)，該元數(shù)據(jù)對(duì)應(yīng)于 通過(guò)合成目標(biāo)圖像選擇單元170選擇的單個(gè)圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖 像(步驟S1021)。隨后，計(jì)算用于使用仿射變換參數(shù)合成每個(gè)合成目標(biāo)圖像的大小，所述仿 射變換參數(shù)對(duì)應(yīng)于獲得的圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖像，并且確保具有該 大小的兩個(gè)工作緩沖器(步驟S1022)。兩個(gè)工作緩沖器是通過(guò)8位表示構(gòu)成圖像的每個(gè)像 素的工作緩沖器，并且在該示例的情況下，這些工作緩沖器指示為第一工作緩沖器和第二 工作緩沖器。 隨后，在用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖像中，最前 面的幀選擇為參考幀(步驟S1023)。參考幀粘貼到第一工作緩沖器(步驟S1024)。鄰近 參考幀的幀粘貼到第二工作緩沖器(步驟S1025)。在此情況下，消除緊接在前面粘貼的幀， 并且僅將鄰近參考幀的幀粘貼到第二工作緩沖器。隨后，計(jì)算粘貼到第一工作緩沖器的歷 史圖像和要粘貼到第二工作緩沖器的幀之間的重疊區(qū)域的過(guò)擴(kuò)展率(步驟S1026)。該過(guò)擴(kuò) 展率通過(guò)圖52A到52C所示的計(jì)算方法計(jì)算。 隨后，關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖像，確定 是否已經(jīng)完成過(guò)擴(kuò)展率的計(jì)算(步驟S1027)。在還沒(méi)有關(guān)于每個(gè)合成目標(biāo)圖像完成過(guò)擴(kuò)展 率的計(jì)算的情況下(步驟S1027)，緊接在前面已經(jīng)計(jì)算其過(guò)擴(kuò)展率的幀選擇為參考幀(步驟S1028)，并且流程返回到步驟S1024。隨后，新選擇的參考幀粘貼到第一工作緩沖器的歷史圖像之上(步驟S1024)。注意，在已經(jīng)緊接在前面計(jì)算其過(guò)擴(kuò)展率的幀是圖像合成目標(biāo)部分的頂部幀或最后幀的情況下，鄰近最前面的幀的其他方向的幀選擇為參考幀。
在關(guān)于每個(gè)合成目標(biāo)圖像完成過(guò)擴(kuò)展率的計(jì)算的情況下(步驟S1027)，基于關(guān)于每個(gè)合成目標(biāo)部分計(jì)算的過(guò)擴(kuò)展率，計(jì)算要添加到用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖像的白框的厚度(步驟S1029)。隨后，計(jì)算的白框的厚度記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中(步驟S1030)。確定是否已經(jīng)關(guān)于通過(guò)部分選擇單元160選擇的所有圖像合成目標(biāo)部分完成裝飾圖像確定處理(步驟S1031)。在還沒(méi)有關(guān)于所有圖像合成目標(biāo)部分完成裝飾圖像確定處理的情況下(步驟S1031)，流程返回到步驟S1021，其中重復(fù)裝飾圖像確定處理(步驟S1021到S1030)。另一方面，在關(guān)于所有圖像合成目標(biāo)部分完成裝飾圖像確定處理(步驟S1031)，裝飾圖像確定處理操作結(jié)束。
圖65是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成目標(biāo)圖像元數(shù)據(jù)記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程(圖63中所示的步驟S1020的過(guò)程)的流程圖。該示例是其中陰影確定為裝飾圖像的示例，并且是圖64所示的過(guò)程的修改。因此，將僅描述與圖64中示出的過(guò)程不同的過(guò)程，并且將省略其他描述。 在鄰近參考幀的幀被粘貼到第二工作緩沖器之后(步驟S1025)，計(jì)算粘貼到第一工作緩沖器的歷史圖像和粘貼到第二工作緩沖器的幀之間的法線(xiàn)矢量(步驟S1041)。該法線(xiàn)矢量通過(guò)圖61A和61B中所示的計(jì)算方法計(jì)算。 此外，在已經(jīng)關(guān)于每個(gè)合成目標(biāo)圖像完成法線(xiàn)矢量的計(jì)算的情況下(步驟S1027)，關(guān)于每個(gè)合成目標(biāo)圖像計(jì)算計(jì)算的法線(xiàn)矢量的積分值，將通過(guò)積分獲得的法線(xiàn)矢量的方向計(jì)算為添加陰影的方向(步驟S1042)。隨后，計(jì)算的添加陰影的方向存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中(步驟S1043)。 圖66是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成圖像顯示處理的過(guò)程的流程圖。該過(guò)程是圖37所示的過(guò)程的修改，因此，與圖37中所示的過(guò)程相同的過(guò)程將用相同的參考標(biāo)號(hào)表示，并且這里將省略其描述。 圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1051)，并且在圖像存儲(chǔ)器230保持已經(jīng)添加裝飾圖像的圖像(步驟S1052)。也就是說(shuō)，關(guān)于在圖像存儲(chǔ)器230保持的歷史圖像合成已經(jīng)添加裝飾圖像的、經(jīng)歷仿射變換的圖像。 此外，在最前面的幀不是圖像合成目標(biāo)部分處的頂部幀的情況下(步驟S973)，執(zhí)
行圖像合成處理(步驟S1060)。將參照?qǐng)D67詳細(xì)描述該圖像合成處理。 圖67是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成圖像顯示處
理的過(guò)程中包括的圖像合成過(guò)程(圖66中所示的步驟S1060的過(guò)程)的流程圖。該過(guò)程
是圖38所示的過(guò)程的修改，因此，與圖38中所示的過(guò)程相同的過(guò)程將用相同的參考標(biāo)號(hào)表
示，并且這里將省略其描述。 圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1061)，并且在圖像存儲(chǔ)器230處保持已經(jīng)添加裝飾圖像的圖像(步驟S1062)。 此外，圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1063)，并且在圖像存儲(chǔ)器230處保持已經(jīng) 添加裝飾圖像的圖像(步驟S1064)。 此外，圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾
圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1065)，并且在圖像存儲(chǔ)器230處保持已經(jīng)
添加裝飾圖像的圖像(步驟S1066)。 5.第五實(shí)施例 圖像處理裝置的配置示例 接下來(lái)，將參照附圖，關(guān)于下述情況詳細(xì)進(jìn)行描述，其中通過(guò)多核處理器執(zhí)行根據(jù) 本發(fā)明第五實(shí)施例的特征點(diǎn)提取處理和光流計(jì)算處理。 圖68是圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器800的配置示例的圖。多核處理 器800是其中以單個(gè)CPU(中央處理單元)封裝實(shí)現(xiàn)不同類(lèi)型的處理器核心的處理器。具 體地，在多核處理器800中實(shí)現(xiàn)可以處理所有應(yīng)用的兩類(lèi)處理器核心，以維持每個(gè)處理器 核心的處理能力并實(shí)現(xiàn)簡(jiǎn)單的配置。兩類(lèi)處理器核心是對(duì)于預(yù)定應(yīng)用部分優(yōu)化的一類(lèi)核心 和另一類(lèi)核心。 多核處理器800包括控制處理器核心801、算術(shù)處理器核心(#1)811到(#8)818、 以及總線(xiàn)802，并且連接到主存儲(chǔ)器781 。此外，多核處理器800連接到其他設(shè)備，例如圖形 設(shè)備782、1/0設(shè)備783等。作為多核處理器800，例如，可采用作為由本申請(qǐng)人開(kāi)發(fā)的微處 理器的Cell (單元)(Cell主板引擎)等。 控制處理器801是配置為主要執(zhí)行頻繁的線(xiàn)程切換(如操作系統(tǒng)等)的控制處理 器核心。注意，將參照?qǐng)D69詳細(xì)描述控制處理器核心801。 算術(shù)處理器核心(#1)811到(#8)818是簡(jiǎn)單的小算術(shù)處理器核心，其擅長(zhǎng)多媒體
系統(tǒng)的處理。注意，將參照?qǐng)D70詳細(xì)描述算術(shù)處理器核心(#1)811到(#8)818。 總線(xiàn)802是成為元件互連總線(xiàn)(EIB)的高速總線(xiàn)。此夕卜，總線(xiàn)802連接到控制處
理器801，并且算術(shù)處理器核心(#1)811到(#8)818的每個(gè)、以及通過(guò)每個(gè)處理器核心的數(shù)
據(jù)訪(fǎng)問(wèn)經(jīng)由總線(xiàn)802執(zhí)行。 主存儲(chǔ)器781連接到總線(xiàn)802，并且是存儲(chǔ)要由每個(gè)處理器核心加載的各類(lèi)程序、 用于每個(gè)處理器核心處理的數(shù)據(jù)、以及通過(guò)每個(gè)處理器核心處理的時(shí)間的主存儲(chǔ)器。
圖形設(shè)備782是連接到總線(xiàn)802的圖形設(shè)備，并且I/O設(shè)備783是連接到總線(xiàn)802 的外部輸入/輸出設(shè)備。 圖69是圖示根據(jù)本發(fā)明第五實(shí)施例的控制處理器核心801的配置示例的圖。控 制處理器核心801包括控制處理器單元803、以及控制處理器存儲(chǔ)系統(tǒng)806。
控制處理器單元803是構(gòu)成配置為執(zhí)行控制處理器核心801的算術(shù)處理的核心的 單元。此外，控制處理器單元803包括以微處理器的架構(gòu)為基礎(chǔ)的命令集。命令高速緩沖 存儲(chǔ)器804和數(shù)據(jù)高速緩沖存儲(chǔ)器805在控制處理器單元803中實(shí)現(xiàn)為主高速緩沖存儲(chǔ) 器。命令高速緩沖存儲(chǔ)器804是例如32KB的命令高速緩沖存儲(chǔ)器，并且數(shù)據(jù)高速緩沖存儲(chǔ) 器805是例如32KB的高速緩沖存儲(chǔ)器。 控制處理器存儲(chǔ)系統(tǒng)806是控制從控制處理器單元803到主存儲(chǔ)器781的數(shù)據(jù)訪(fǎng) 問(wèn)的單元。此外，在控制處理器存儲(chǔ)系統(tǒng)806的情況下，安裝812KB的次級(jí)高速緩沖存儲(chǔ)器 807，以增加從控制處理器單元803的存儲(chǔ)器訪(fǎng)問(wèn)速度。
圖70是圖示根據(jù)本發(fā)明第五實(shí)施例的算術(shù)處理器核心(#1)811的配置示例的圖。 算術(shù)處理器核心(#1)811包括算術(shù)處理器單元820和存儲(chǔ)器流控制器822。注意，算術(shù)處理 器核心(#2)812到(#8)818具有與算術(shù)處理器核心(#1)811相同的配置，因此這里將省略 其描述。 算術(shù)處理器單元820是用作執(zhí)行算術(shù)處理器核心(#1)811的算術(shù)處理的核心的單 元，并且包括與控制處理器核心801的控制處理器單元803不同的原始命令集。此外，本地 存儲(chǔ)(Local store, LS)821實(shí)現(xiàn)在算術(shù)處理器單元820中。 本地存儲(chǔ)821是算術(shù)處理器單元820的專(zhuān)用存儲(chǔ)器，并且是可直接引用算術(shù)處理 器單元820的唯一的存儲(chǔ)器。例如，其容量為256KB的存儲(chǔ)器可用作本地存儲(chǔ)821。注意， 算術(shù)處理器單元820必須利用存儲(chǔ)器流控制器822來(lái)訪(fǎng)問(wèn)主存儲(chǔ)器781之上的本地存儲(chǔ)和 其他算術(shù)處理器核心(算術(shù)處理器核心(#2)812到(#8)818)。 存儲(chǔ)器流控制器822是用于與主存儲(chǔ)器781或其他算術(shù)處理器核心等交換數(shù)據(jù)的 單元，并且是成為存儲(chǔ)器流控制器(MFC)的單元。這里，算術(shù)處理器單元820經(jīng)由稱(chēng)為信道 的接口 ，請(qǐng)求關(guān)于存儲(chǔ)器流控制器822的數(shù)據(jù)傳送等。 已經(jīng)提出了各種模型，作為上述多核處理器800的編程模型。下述模型作為該編 程模型的最基本的模型為人熟知，其中在控制處理器核心801上執(zhí)行主程序，并且在算術(shù) 處理器核心(#1)811到(#8)818上執(zhí)行子程序。在本發(fā)明第五實(shí)施例的情況下，將參照附 圖詳細(xì)描述使用該模型的多核處理器800的計(jì)算方法。 圖71是示意性圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器800的計(jì)算方法的圖。在 該示例的情況下，示出了這樣的示例，其中在多核處理器800使用數(shù)據(jù)785執(zhí)行任務(wù)784的 情況下，控制處理器核心801為作為任務(wù)784的一部分的任務(wù)786的處理，控制每個(gè)算術(shù)處 理器核心使用數(shù)據(jù)787 (數(shù)據(jù)785的一部分)，以執(zhí)行任務(wù)786。 如圖71所示，在控制處理器核心801使用數(shù)據(jù)785來(lái)執(zhí)行任務(wù)784的情況下，控 制處理器核心801為作為任務(wù)784的一部分的任務(wù)786的處理，控制每個(gè)算術(shù)處理器核心 使用數(shù)據(jù)787 (數(shù)據(jù)785的一部分)，以執(zhí)行任務(wù)786。在本發(fā)明第五實(shí)施例的情況下，通過(guò) 構(gòu)成運(yùn)動(dòng)畫(huà)面的每幀的每個(gè)算術(shù)處理器核心執(zhí)行計(jì)算處理。 如圖71所示，多核處理器800執(zhí)行計(jì)算，從而算術(shù)處理器核心(#1)811到(#8)818 并行使用，并且可以以相對(duì)小的時(shí)間執(zhí)行許多計(jì)算。此外，在算術(shù)處理器核心(#1)811到 (#8)818上執(zhí)行單指令/多數(shù)據(jù)(SIMD)計(jì)算，從而可以以相對(duì)小量的命令執(zhí)行相對(duì)多的計(jì) 算。注意，將參照?qǐng)D75到78詳細(xì)描述SIMD計(jì)算。 圖72是示意性圖示在通過(guò)根據(jù)本發(fā)明第五實(shí)施例的多核處理器800執(zhí)行的計(jì)算 的情況下的程序和數(shù)據(jù)流的圖。注意，將關(guān)于算術(shù)處理器核心(#1)811到(#8)818的算術(shù) 處理器核心(#1)811作為示例進(jìn)行描述，但是還可關(guān)于算術(shù)處理器核心(#2)812到(#8)818 類(lèi)似地執(zhí)行計(jì)算。 首先，控制處理器核心801向算術(shù)處理器核心(#1)811傳輸將存儲(chǔ)在主存儲(chǔ)器781 中的算術(shù)處理器核心程序823加載到算術(shù)處理器核心(#1)811的本地存儲(chǔ)821的指令。因 此，算術(shù)處理器核心(#1)811將在主存儲(chǔ)器781中的算術(shù)處理器核心程序823加載到本地 存儲(chǔ)821。 隨后，控制處理器核心801指令算術(shù)處理器核心(#1)811執(zhí)行本地存儲(chǔ)821中存儲(chǔ)的算術(shù)處理器核心程序825。 算術(shù)處理器核心(#1)811將用于存儲(chǔ)在本地存儲(chǔ)821中的算術(shù)處理器核心程序825的執(zhí)行處理的數(shù)據(jù)從主存儲(chǔ)器781傳送到本地存儲(chǔ)821。 算術(shù)處理器核心(#1)811基于本地存儲(chǔ)821中存儲(chǔ)的算術(shù)處理器核心程序825，處理從主存儲(chǔ)器781傳送的數(shù)據(jù)826，并且執(zhí)行根據(jù)在本地存儲(chǔ)821中存儲(chǔ)處理結(jié)果的情況的處理。 算術(shù)處理器核心(#1)811將處理結(jié)果從本地存儲(chǔ)821傳送到主存儲(chǔ)器781，該處理
結(jié)果基于本地存儲(chǔ)821中存儲(chǔ)的算術(shù)處理器核心程序825而執(zhí)行。 算術(shù)處理器核心(#1)811向控制處理器核心801通知計(jì)算的結(jié)束。 接下來(lái)，將參照附圖詳細(xì)描述使用多核處理器800執(zhí)行的SMD計(jì)算。這里，SMD
計(jì)算是其中以單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的計(jì)算方法。 在圖73中，(a)是示意性圖示安排來(lái)通過(guò)每個(gè)對(duì)應(yīng)的命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的計(jì)算方法的概述的圖。圖73(a)中所示的計(jì)算方法是通常的計(jì)算方法，并且被稱(chēng)為例如標(biāo)量計(jì)算。例如，以用于將數(shù)據(jù)"A1"和數(shù)據(jù)"B1"相加的命令獲得數(shù)據(jù)"C1"的處理結(jié)果。此外，關(guān)于其他三個(gè)計(jì)算，類(lèi)似地，也關(guān)于每個(gè)計(jì)算分別執(zhí)行對(duì)同一行的數(shù)據(jù)"A2"、"A3"和"A4"以及數(shù)據(jù)"B2"、"B3"和"B4"相加的命令。根據(jù)該命令，每行的值相加，并且其處理結(jié)果獲得為數(shù)據(jù)"C2"、"C3"和"C4"。因此，在標(biāo)量計(jì)算的情況下，關(guān)于多個(gè)數(shù)據(jù)，必須關(guān)于每個(gè)處理執(zhí)行命令。 在圖73中，(b)是示意性圖示作為安排來(lái)通過(guò)單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的計(jì)算方法的SIMD計(jì)算的概述的圖。現(xiàn)在，對(duì)SIMD計(jì)算積分的數(shù)據(jù)(用虛線(xiàn)827和828圍繞的每塊數(shù)據(jù))在一些情況下稱(chēng)為矢量數(shù)據(jù)。此外，使用這樣的矢量數(shù)據(jù)執(zhí)行的SIMD計(jì)算在一些情況下稱(chēng)為矢量計(jì)算。 例如，根據(jù)將用虛線(xiàn)827圍繞的矢量數(shù)據(jù)、以及用虛線(xiàn)828圍繞的矢量數(shù)據(jù)相加的單個(gè)命令，獲得對(duì)應(yīng)的結(jié)果(用虛線(xiàn)829圍繞的數(shù)據(jù))"C1"、"C2"、"C3"和"C4"。這里，用虛線(xiàn)827圍繞的矢量數(shù)據(jù)是"A1"、"A2"、"A3"和"A4"，并且用虛線(xiàn)828圍繞的矢量數(shù)據(jù)是"B1"、"B2"、"B3"和"B4"。因此，在SIMD計(jì)算的情況下，可通過(guò)單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理，因此，可快速地執(zhí)行計(jì)算。此外，多核處理器800的控制處理器核心801執(zhí)行與這些SMD計(jì)算相關(guān)的命令，并且算術(shù)處理器核心(#1)811到(#8)818關(guān)于這樣的命令，執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的計(jì)算的并行處理。 另一方面，例如，通過(guò)SMD計(jì)算不實(shí)現(xiàn)"A1"和"B1"之間相加的處理、"A2"和"B2"之間相減的處理、"A3"和"B3"之間相乘的處理、以及"A4"和"B4"之間相除的處理。也就是說(shuō)，在關(guān)于多個(gè)數(shù)據(jù)的每個(gè)執(zhí)行不同處理的情況下，不實(shí)現(xiàn)通過(guò)SMD計(jì)算的處理。
接下來(lái)，將參照附圖，詳細(xì)描述在執(zhí)行特征點(diǎn)提取處理和光流計(jì)算處理的情況下的SMD計(jì)算的具體計(jì)算方法。 圖74是圖示根據(jù)本發(fā)明的第五實(shí)施例、通過(guò)控制處理器核心801或算術(shù)處理器核心(#1)811執(zhí)行的程序的配置示例的圖。這里，將僅圖示算術(shù)處理器核心(#1)811，關(guān)于算術(shù)處理器核心(#2)812到(#8)818也將執(zhí)行相同的處理。 控制處理器核心801執(zhí)行作為解碼851的解碼852、交織853，和調(diào)整大小854。解碼852是解碼運(yùn)動(dòng)畫(huà)面文件的處理。交織853是移除解碼的每幀的交織的處理。調(diào)整大小854是縮小已經(jīng)移除交織的每幀的處理。 此外，控制處理器核心801執(zhí)行作為算術(shù)處理器核心管理856的命令傳輸857和859、以及終止通知接收858和860。命令傳輸857和859是傳輸關(guān)于算術(shù)處理器核心(#1)811到(#8)818的SMD計(jì)算的執(zhí)行命令的處理。此外，終止通知接收858和860是用于關(guān)于上述命令、從算術(shù)處理器核心(#1)811到(#8)818接收SMD計(jì)算的終止通知的處理。此外，控制處理器核心801執(zhí)行作為相機(jī)工作檢測(cè)861的相機(jī)工作參數(shù)計(jì)算處理862。相機(jī)工作參數(shù)計(jì)算處理862是基于通過(guò)算術(shù)處理器核心(#1)811到(#8)818的SMD計(jì)算而計(jì)算的光流、對(duì)每幀計(jì)算仿射變換參數(shù)的處理。 算術(shù)處理器核心(#1) 811執(zhí)行作為特征點(diǎn)提取處理863的Sobel濾波器處理864、第二時(shí)刻矩陣處理865。此外，算術(shù)處理器核心(#1)811執(zhí)行可分開(kāi)的濾波器處理866、Harris角落點(diǎn)提取(Calc Harris)處理867、擴(kuò)張?zhí)幚?68和分類(lèi)處理869。
Sobel濾波器處理864是計(jì)算通過(guò)使用(x方向)P2濾波器獲得的X方向上的值dx、以及通過(guò)使用Y方向上的濾波器獲得的y方向的值dy的處理。注意，將參照?qǐng)D75到78詳細(xì)描述x方向的值dx的計(jì)算。 第二時(shí)刻矩陣處理865是通過(guò)使用由Sobel濾波器處理864計(jì)算的dx和dy計(jì)算dx2、 dy2、 dx dy的每個(gè)值的處理。 可分開(kāi)的濾波器處理866是向通過(guò)第二時(shí)刻矩陣處理865計(jì)算的dx2、 dy2、 dx dy的值的圖像應(yīng)用高斯濾波器(模糊處理)的處理。 Harris角落點(diǎn)提取處理867是使用通過(guò)可分開(kāi)的濾波器處理866經(jīng)歷模糊處理的dx2、dy2、dx 的每個(gè)值來(lái)計(jì)算Harris角落的處理。例如通過(guò)下面的表達(dá)式計(jì)算該Harris角落的分?jǐn)?shù)S。 S = (dx2 X dy2-dx dy X dx dy) / (dx2+dy2+ e ) 擴(kuò)張?zhí)幚?68是關(guān)于由通過(guò)Harris角落點(diǎn)提取處理867計(jì)算的Harris角落的分?jǐn)?shù)構(gòu)成的圖像執(zhí)行模糊處理的處理。 分類(lèi)處理869是下述處理，其按通過(guò)Harris角落點(diǎn)提取處理867計(jì)算的Harris角落的分?jǐn)?shù)的降序分類(lèi)像素，從具有最高分?jǐn)?shù)的像素起按預(yù)定數(shù)量的像素拾取像素，并且提取該拾取的像素作為特征點(diǎn)。 算術(shù)處理器核心(#1) 811執(zhí)行作為光流計(jì)算處理870的錐形(pyramid)圖像創(chuàng)建處理871，并執(zhí)行光流計(jì)算處理872。 錐形圖像創(chuàng)建處理871是順序創(chuàng)建從在通過(guò)相機(jī)成像時(shí)的圖像大小起、通過(guò)預(yù)定數(shù)量的階段縮小的圖像的處理，并且創(chuàng)建的圖像稱(chēng)為多分辨率圖像。 光流計(jì)算處理872是關(guān)于通過(guò)錐形圖像創(chuàng)建處理871創(chuàng)建的多分辨率圖像的最小圖像計(jì)算光流的處理，并且使用該計(jì)算結(jié)果來(lái)關(guān)于具有最小圖像的高一級(jí)的分辨率的圖像再次計(jì)算光流。重復(fù)執(zhí)行該系列的處理，直到要處理的圖像到達(dá)最大圖像。
因此，例如，使用多核處理器800與SMD計(jì)算并行地執(zhí)行特征點(diǎn)提取處理和光流計(jì)算處理，從而可以獲得處理結(jié)果。這里，例如，特征點(diǎn)提取處理是通過(guò)圖2等所示的特征點(diǎn)提取單元121執(zhí)行的特征點(diǎn)提取處理，并且光流計(jì)算處理是通過(guò)光流計(jì)算單元122執(zhí)行的光流計(jì)算處理。注意，圖74等所示的特征點(diǎn)提取處理和光流計(jì)算處理是示例，包括關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的各種濾波器處理和閾值處理等的另一處理可用來(lái)由多核處理器800執(zhí)行SMD計(jì)算。 圖75是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例的主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù) 經(jīng)歷使用Sobel濾波器830的濾波處理的情況下的數(shù)據(jù)結(jié)構(gòu)和處理流程的圖。該圖像數(shù)據(jù) 是對(duì)應(yīng)于構(gòu)成由相機(jī)成像的運(yùn)動(dòng)畫(huà)面的單個(gè)幀的圖像數(shù)據(jù)。注意，圖75中示出的主存儲(chǔ)器 781中存儲(chǔ)的數(shù)據(jù)是以水平像素的數(shù)量為32像素的簡(jiǎn)化的方式。此外，Sobel濾波器830 是3X3邊緣提取濾波器。如圖75所示，主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)經(jīng)歷使用Sobel 濾波器830的濾波處理，并且輸出該濾波處理的結(jié)果。在該示例的情況下，將關(guān)于其中使用 SIMD計(jì)算來(lái)一次獲得四個(gè)濾波器的結(jié)果的示例進(jìn)行描述。 圖76是示意性圖示根據(jù)本發(fā)明第五實(shí)施例、在Sobel濾波器830用于執(zhí)行關(guān)于主 存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)的SIMD計(jì)算的情況下的數(shù)據(jù)流的圖。首先，包括主存儲(chǔ)器781 中存儲(chǔ)的圖像數(shù)據(jù)的第一行的預(yù)定數(shù)量的行以DMA(直接存儲(chǔ)器存取)方式傳送到提供到 算術(shù)處理器核心的本地存儲(chǔ)821的第一緩沖器831。此外，預(yù)定數(shù)量的行以DMA方式傳送到 第二緩沖器832，在該預(yù)定數(shù)量的行中，以DMA方式傳送到第一緩沖器831的每行向下偏移 一行。這里，預(yù)定數(shù)量的行是例如三行。因此，使用雙重緩沖器，從而可以彌補(bǔ)由于DMA傳 輸導(dǎo)致的延遲。 圖77是示意性圖示根據(jù)本發(fā)明第五實(shí)施例、在使用Sobel濾波器830執(zhí)行濾波處 理的情況下、安排來(lái)從第一緩沖器830中存儲(chǔ)的圖像數(shù)據(jù)創(chuàng)建九個(gè)矢量的矢量創(chuàng)建方法的 圖。如圖76所示，在執(zhí)行DMA傳送之后，從第一緩沖器830中存儲(chǔ)的圖像數(shù)據(jù)創(chuàng)建九個(gè)矢 量。具體地，在第一緩沖器830中存儲(chǔ)的圖像數(shù)據(jù)的第一行的情況下，用來(lái)自左邊角落的四 條數(shù)據(jù)創(chuàng)建矢量數(shù)據(jù)841，并且根據(jù)通過(guò)將上面的四條向右側(cè)移動(dòng)一個(gè)而獲得的四條數(shù)據(jù)， 創(chuàng)建矢量數(shù)據(jù)842。類(lèi)似地，根據(jù)通過(guò)將上面的四條向右側(cè)移動(dòng)一個(gè)而獲得的四條數(shù)據(jù)，創(chuàng) 建矢量數(shù)據(jù)843。此外，在第二和第三行的情況下，類(lèi)似地，用四條數(shù)據(jù)創(chuàng)建矢量數(shù)據(jù)844到 849。 圖78是示意性圖示根據(jù)本發(fā)明第五實(shí)施例、使用Sobel濾波器830執(zhí)行濾波處理 的情況下、安排來(lái)使用SIMD計(jì)算來(lái)執(zhí)行關(guān)于矢量數(shù)據(jù)841到849的矢量計(jì)算的矢量計(jì)算方 法的圖。具體地，關(guān)于矢量數(shù)據(jù)841到843順序地執(zhí)行SIMD計(jì)算，從而獲得矢量A。在該 SMD計(jì)算的情況下，首先，執(zhí)行-1X矢量數(shù)據(jù)841的SMD計(jì)算。接下來(lái)，執(zhí)行0X矢量數(shù) 據(jù)842的計(jì)算和1X矢量數(shù)據(jù)843的SMD計(jì)算。這里，關(guān)于0X矢量數(shù)據(jù)842，計(jì)算結(jié)果已 經(jīng)確定為0，因此可以省略該計(jì)算。此外，關(guān)于1X矢量數(shù)據(jù)843，計(jì)算結(jié)果已經(jīng)確定為與矢 量數(shù)據(jù)843相同的值，因此可以省略該計(jì)算。 隨后，用SMD計(jì)算執(zhí)行-IX矢量數(shù)據(jù)841的計(jì)算結(jié)果和0X矢量數(shù)據(jù)842的計(jì) 算結(jié)果之間的加法處理。隨后，用SMD計(jì)算執(zhí)行上述加法處理的結(jié)果和IX矢量數(shù)據(jù)843 的計(jì)算結(jié)果之間的加法處理。這里，例如，用作矢量數(shù)據(jù)IX矢量數(shù)據(jù)2+矢量數(shù)據(jù)3的數(shù)據(jù) 結(jié)構(gòu)的計(jì)算可用SIMD計(jì)算實(shí)現(xiàn)。因此，關(guān)于矢量A的計(jì)算，將省略例如關(guān)于OX矢量數(shù)據(jù) 842和IX矢量數(shù)據(jù)843的SMD計(jì)算。隨后，可用一次SMD計(jì)算執(zhí)行-IX矢量數(shù)據(jù)841+ 矢量數(shù)據(jù)843。 此外，類(lèi)似地，關(guān)于矢量數(shù)據(jù)844到846執(zhí)行SMD計(jì)算以獲得矢量B，關(guān)于矢量數(shù) 據(jù)847到849執(zhí)行S頂D計(jì)算以獲得矢量C。 隨后，關(guān)于獲得的矢量數(shù)據(jù)A到C執(zhí)行SMD計(jì)算以獲得矢量D。因此，執(zhí)行SMD計(jì)算，從而可以同時(shí)獲得等效于矢量元素的數(shù)量(該示例中的四條數(shù)據(jù))的結(jié)果。 在計(jì)算矢量D之后，利用圖76所示的第一緩沖器831中存儲(chǔ)的圖像數(shù)據(jù)，重復(fù)執(zhí)
行相同的處理，同時(shí)將要提取的數(shù)據(jù)的位置向右側(cè)偏移一個(gè)，從而順序執(zhí)行關(guān)于每條圖像
數(shù)據(jù)的矢量D的計(jì)算。隨后，在已經(jīng)完成直到圖76所示的第一緩沖器831中存儲(chǔ)的圖像數(shù)
據(jù)的右邊緣的處理的情況下，處理結(jié)果以DMA方式傳送到主存儲(chǔ)器781。 隨后，在主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)中，將以DMA方式傳送到第二緩沖器832
的每行向下偏移一個(gè)的預(yù)定數(shù)量的行以DMA方式傳送到第一緩沖器831。與該傳送一起關(guān)
于第二緩沖器832中存儲(chǔ)的圖像數(shù)據(jù)重復(fù)執(zhí)行上述處理。隨后，重復(fù)執(zhí)行相同的處理，直到
要處理的行到達(dá)主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)的行當(dāng)下邊緣的行。 類(lèi)似地，用SMD計(jì)算執(zhí)行特征點(diǎn)提取和光流計(jì)算的大多數(shù)處理，從而可以實(shí)現(xiàn)速度的提高。 圖79是以時(shí)間序列方式示意性圖示根據(jù)本發(fā)明第五實(shí)施例的相機(jī)工作參數(shù)計(jì)算處理的流程的圖。如上所述，例如，使用多核處理器800執(zhí)行SMD計(jì)算，從而可以并行執(zhí)行關(guān)于運(yùn)動(dòng)畫(huà)面的解碼和分析處理。因此，與解碼時(shí)間相比，可以減少構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的分析時(shí)間。 例如，在圖79中，tl表示通過(guò)控制處理器核心801對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的解碼處理的時(shí)間。此外，t2表示通過(guò)算術(shù)處理器核心(#1)811到(#8)818對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的特征點(diǎn)提取處理的時(shí)間。此外，t3表示通過(guò)算術(shù)處理器核心(#1)811到(#8)818對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的光流計(jì)算處理的時(shí)間。此外，t4表示通過(guò)控制處理器核心801對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的相機(jī)工作檢測(cè)處理的時(shí)間。注意，t5表示通過(guò)控制處理器核心801和算術(shù)處理器核心(#1)811到(#8)818關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的相機(jī)工作檢測(cè)處理的時(shí)間。此外，t6表示通過(guò)控制處理器801用于管理算術(shù)處理器核心(#1)811到(#8)818的處理的時(shí)間。例如，可以進(jìn)行這樣的安排，其中tl設(shè)置為25. Oms， t2設(shè)置為7. 9ms， t3設(shè)置為6. 7ms， t4設(shè)置為1. 2ms，并且t5設(shè)置為15. 8ms。 接下來(lái)，將參照附圖，關(guān)于在播放使用根據(jù)本發(fā)明第五實(shí)施例的元數(shù)據(jù)文件的運(yùn)動(dòng)畫(huà)面內(nèi)容的情況詳細(xì)進(jìn)行描述。 在圖80中，(a)是示意性圖示作為記錄介質(zhì)的示例的藍(lán)光盤(pán)(注冊(cè)商標(biāo))880的頂視圖，并且圖80(b)是示意性圖示在藍(lán)光盤(pán)880中的數(shù)據(jù)881到數(shù)據(jù)884的圖。例如，運(yùn)動(dòng)畫(huà)面內(nèi)容882、字幕883、元數(shù)據(jù)884和Java(注冊(cè)商標(biāo))程序881記錄在藍(lán)光盤(pán)880中。例如，運(yùn)動(dòng)畫(huà)面內(nèi)容882是通過(guò)相機(jī)等成像的運(yùn)動(dòng)畫(huà)面，字幕883是運(yùn)動(dòng)畫(huà)面內(nèi)容882的字幕，并且元數(shù)據(jù)884是通過(guò)分析運(yùn)動(dòng)畫(huà)面內(nèi)容882獲得的元數(shù)據(jù)(例如，圖3、4等中示出的每條信息)。此外，Java程序881是根據(jù)用本發(fā)明的每個(gè)實(shí)施例回放的運(yùn)動(dòng)畫(huà)面的Java程序。 在圖80中，(c)是示意性圖示能夠播放藍(lán)光盤(pán)880的藍(lán)光播放器的內(nèi)部配置的圖。這里，在能夠播放藍(lán)光盤(pán)的藍(lán)光播放器890的情況下，CPU 891、0S 892、Java VM(Java虛擬機(jī))以及庫(kù)893默認(rèn)實(shí)現(xiàn)，因此，可以執(zhí)行Java程序。因此，藍(lán)光盤(pán)880安裝在藍(lán)光播放器890上，從而藍(lán)光播放器890可以加載和執(zhí)行Java程序881 。因此，在藍(lán)光播放器890播放運(yùn)動(dòng)畫(huà)面內(nèi)容882的情況下，元數(shù)據(jù)884用于執(zhí)行對(duì)應(yīng)于根據(jù)本發(fā)明每個(gè)實(shí)施例的運(yùn)動(dòng)畫(huà)面的全景式圖像的顯示，從多個(gè)運(yùn)動(dòng)畫(huà)面中搜索運(yùn)動(dòng)畫(huà)面等。也就是說(shuō)，可以全部用藍(lán)光播放器實(shí)現(xiàn)根據(jù)本發(fā)明的每個(gè)實(shí)施例的運(yùn)動(dòng)畫(huà)面回放，而不用專(zhuān)用PC軟件等。
如上所述，根據(jù)本發(fā)明實(shí)施例，可以準(zhǔn)確地傳達(dá)成像位置處的環(huán)境、其空間的狀況等，并且可以識(shí)別其成像位置處的成像空間。此外，可以使得其運(yùn)動(dòng)畫(huà)面看起來(lái)更有趣，并且可以提高與運(yùn)動(dòng)畫(huà)面相關(guān)的興趣。例如，認(rèn)為與照片相比，大多數(shù)用戶(hù)滿(mǎn)意于運(yùn)動(dòng)畫(huà)面的一次成像，并且不重復(fù)觀看成像的運(yùn)動(dòng)畫(huà)面。因此，在本發(fā)明實(shí)施例的情況下，從運(yùn)動(dòng)畫(huà)面選擇突出的圖像，并且從該圖像創(chuàng)建合成圖像，從而可以容易地提供再次觀看通過(guò)運(yùn)動(dòng)畫(huà)面成像的場(chǎng)景的機(jī)會(huì)。例如，可以以全景式方式合成多個(gè)圖像，以創(chuàng)建一個(gè)合成圖像，使得多個(gè)紙質(zhì)照片重疊。 此外，在本發(fā)明實(shí)施例的情況下，已經(jīng)以在顯示單元上顯示合成圖像的圖像處理裝置為示例進(jìn)行了描述，但是本發(fā)明實(shí)施例可應(yīng)用于這樣的圖像處理裝置，其中輸出圖像信息的圖像輸出單元用于在另一圖像顯示裝置上顯示合成圖像。此外，本發(fā)明實(shí)施例可應(yīng)用于能夠播放運(yùn)動(dòng)畫(huà)面的運(yùn)動(dòng)畫(huà)面播放器、能夠播放成像的運(yùn)動(dòng)畫(huà)面的如數(shù)字?jǐn)z像機(jī)等的成像裝置、能夠顯示基于圖像數(shù)據(jù)的圖像的相框等。 此外，在本發(fā)明實(shí)施例的情況下，已經(jīng)以圖像處理裝置為示例進(jìn)行了描述，但是本發(fā)明實(shí)施例可應(yīng)用到能夠播放運(yùn)動(dòng)畫(huà)面的運(yùn)動(dòng)畫(huà)面播放器等。此外，在本發(fā)明實(shí)施例的情況下，已經(jīng)關(guān)于通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面進(jìn)行了描述，但是本發(fā)明實(shí)施例還可應(yīng)用到例如運(yùn)動(dòng)畫(huà)面等，其中在編輯通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的情況下，部分地合成編輯后的運(yùn)動(dòng)圖像或動(dòng)畫(huà)等。 注意，如上所述，本發(fā)明實(shí)施例圖示了用于實(shí)現(xiàn)本發(fā)明的示例關(guān)于發(fā)明內(nèi)容中的每個(gè)發(fā)明指定組件有對(duì)應(yīng)關(guān)系。然而，本發(fā)明不限于上述實(shí)施例，并且可以進(jìn)行各種改變而不背離本發(fā)明的實(shí)質(zhì)和精神。 此外，本發(fā)明實(shí)施例中描述的過(guò)程可以認(rèn)為是包括一系列過(guò)程的方法，或可以認(rèn)為是用于使得計(jì)算機(jī)執(zhí)行該系列過(guò)程的程序，或可以認(rèn)為是配置為存儲(chǔ)其程序的記錄介質(zhì)。例如，CD(致密盤(pán))、MD(迷你盤(pán))、DVD(數(shù)字多功能盤(pán))、存儲(chǔ)卡、藍(lán)光盤(pán)(注冊(cè)商標(biāo))等可用作其記錄介質(zhì)。 本申請(qǐng)包含涉及于2008年10月27日向日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP 2008-275141中公開(kāi)的主題，在此通過(guò)引用并入其全部?jī)?nèi)容。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依賴(lài)于設(shè)計(jì)需求和其他因素可以出現(xiàn)各種修改、組合、子組合和更改，只要它們?cè)跈?quán)利要求或其等效物的范圍內(nèi)。
權(quán)利要求
一種圖像處理裝置，包括計(jì)算單元，配置為計(jì)算關(guān)于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的兩個(gè)圖像之間的運(yùn)動(dòng)信息；以及選擇單元，配置為基于指示所述計(jì)算的運(yùn)動(dòng)信息的似然度的可靠性，從構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的多個(gè)圖像選擇用作合成目標(biāo)的合成目標(biāo)圖像。
2. 如權(quán)利要求1所述的圖像處理裝置，所述選擇單元包括部分選擇單元，配置為基于所述可靠度，選擇用于從構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的多個(gè) 圖像選擇所述合成目標(biāo)圖像的部分；以及圖像選擇單元，配置為基于所述選擇的部分中包括的圖像的相對(duì)位置關(guān)系，從所述選 擇的部分中包括的多個(gè)圖像選擇所述合成目標(biāo)圖像。
3. 如權(quán)利要求2所述的圖像處理裝置，其中在所述選擇的合成目標(biāo)圖像取為參考圖 像、并且已經(jīng)用所述運(yùn)動(dòng)信息轉(zhuǎn)換作為所述選擇的部分中包括的另一圖像的目標(biāo)圖像和所 述參考圖像的每個(gè)的情況下，所述圖像選擇單元基于所述目標(biāo)圖像和所述參考圖像之間的 重疊率選擇新的合成目標(biāo)圖像。
4. 如權(quán)利要求2所述的圖像處理裝置，還包括 確定單元，配置為確定所述圖像中包括的目標(biāo)的屬性； 其中所述圖像選擇單元基于所述確定的屬性選擇所述合成目標(biāo)圖像。
5. 如權(quán)利要求4所述的圖像處理裝置，其中所述圖像選擇單元基于所述圖像中包括的 每個(gè)目標(biāo)的所述確定的屬性值計(jì)算評(píng)估值，并且基于對(duì)每個(gè)所述目標(biāo)計(jì)算的評(píng)估值選擇所 述合成目標(biāo)圖像。
6. 如權(quán)利要求5所述的圖像處理裝置，其中所述圖像選擇單元取所述選擇的合成目標(biāo) 圖像為參考圖像，并且基于對(duì)作為所述選擇的部分中包括的另一圖像的目標(biāo)圖像中包括的 每個(gè)目標(biāo)計(jì)算的所述評(píng)估值、以及對(duì)所述參考圖像中包括的每個(gè)目標(biāo)計(jì)算的所述評(píng)估值， 選擇新的合成目標(biāo)圖像。
7. 如權(quán)利要求2所述的圖像處理裝置，其中所述部分選擇單元選擇包括一定范圍的圖 像的部分作為所述部分。
8. 如權(quán)利要求2所述的圖像處理裝置，還包括可靠度確定分?jǐn)?shù)計(jì)算單元，配置為基于所述計(jì)算的運(yùn)動(dòng)信息，計(jì)算指示用于確定所述可靠度的分?jǐn)?shù)的可靠度確定分?jǐn)?shù)；其中所述運(yùn)動(dòng)信息包括關(guān)于放大/縮小、平移運(yùn)動(dòng)和旋轉(zhuǎn)的分量； 并且其中所述部分選擇單元基于所述計(jì)算的可靠度確定分?jǐn)?shù)、與所述運(yùn)動(dòng)信息相關(guān)的所述平移分量、所述旋轉(zhuǎn)分量、以及所述放大/縮小分量，選擇所述部分。
9. 如權(quán)利要求8所述的圖像處理裝置，所述計(jì)算單元包括特征點(diǎn)提取單元，配置為基于構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的第一圖像中包括的像素，提 取所述第一圖像的特征點(diǎn)；運(yùn)動(dòng)量計(jì)算單元，配置為基于每個(gè)所述提取的特征點(diǎn)，計(jì)算第二圖像關(guān)于所述第一圖 像的運(yùn)動(dòng)量，所述第二圖像是跟隨在構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的所述第一圖像之后的圖 像；以及運(yùn)動(dòng)信息計(jì)算單元，配置為基于所述計(jì)算的運(yùn)動(dòng)量計(jì)算所述運(yùn)動(dòng)信息； 其中所述可靠度確定分?jǐn)?shù)計(jì)算單元計(jì)算指示在所述提取的特征點(diǎn)當(dāng)中、在通過(guò)所述運(yùn)動(dòng)信息計(jì)算單元計(jì)算所述運(yùn)動(dòng)信息時(shí)展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的比率的值，作為所述可靠度確定分?jǐn)?shù)。
10. 如權(quán)利要求8所述的圖像處理裝置，其中，以構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的第一圖像作為參考，在基于所述運(yùn)動(dòng)信息轉(zhuǎn)換第二圖像的情況下，所述第二圖像是跟隨構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的所述第一圖像之后的圖像，所述可靠度確定分?jǐn)?shù)計(jì)算單元計(jì)算所述第一圖像和所述第二圖像的重疊區(qū)域處的像素的輝度差值，并且基于該差值計(jì)算所述可靠度確定分?jǐn)?shù)。
11. 如權(quán)利要求10所述的圖像處理裝置，所述計(jì)算單元包括特征點(diǎn)提取單元，配置為基于所述第一圖像中包括的每個(gè)像素，提取所述第一圖像的特征點(diǎn)；運(yùn)動(dòng)量計(jì)算單元，配置為基于每個(gè)所述提取的特征點(diǎn)，計(jì)算所述第二圖像關(guān)于所述第一圖像的運(yùn)動(dòng)量；以及運(yùn)動(dòng)信息計(jì)算單元，配置為基于所述計(jì)算的運(yùn)動(dòng)量計(jì)算所述運(yùn)動(dòng)信息；其中所述可靠度確定分?jǐn)?shù)計(jì)算單元計(jì)算在所述重疊區(qū)域中所提取的所述特征點(diǎn)當(dāng)中、在通過(guò)所述運(yùn)動(dòng)信息計(jì)算單元計(jì)算所述運(yùn)動(dòng)信息時(shí)展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)周?chē)南袼氐妮x度差值，并且基于該差值計(jì)算所述可靠度確定分?jǐn)?shù)。
12. —種包括下述步驟的圖像處理方法計(jì)算關(guān)于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的兩個(gè)圖像之間的運(yùn)動(dòng)信息；以及基于指示所述計(jì)算的運(yùn)動(dòng)信息的似然度的可靠性，從構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的多個(gè)圖像選擇用作合成目標(biāo)的合成目標(biāo)圖像。
13. —種使得計(jì)算機(jī)執(zhí)行下述處理的程序計(jì)算關(guān)于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的兩個(gè)圖像之間的運(yùn)動(dòng)信息；以及基于指示所述計(jì)算的運(yùn)動(dòng)信息的似然度的可靠性，從構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的多個(gè)圖像選擇用作合成目標(biāo)的合成目標(biāo)圖像。
全文摘要
一種圖像處理裝置，包括計(jì)算單元，配置為計(jì)算關(guān)于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的兩個(gè)圖像之間的運(yùn)動(dòng)信息；以及選擇單元，配置為基于指示所計(jì)算的運(yùn)動(dòng)信息的似然度的可靠性，從構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的多個(gè)圖像選擇用作合成目標(biāo)的合成目標(biāo)圖像。
文檔編號(hào)H04N5/262GK101729792SQ200910206898
公開(kāi)日2010年6月9日 申請(qǐng)日期2009年10月27日 優(yōu)先權(quán)日2008年10月27日
發(fā)明者鶴見(jiàn)辰吾 申請(qǐng)人:索尼株式會(huì)社