專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和程序，具體地說，涉 及用于獲取指示攝影被攝體的運(yùn)動(dòng)序列的靜止圖像或運(yùn)動(dòng)圖像的圖 像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
在曰本專利No. 3449993 、曰本未審專利申請(qǐng)公開No. 2004-180259 (對(duì)應(yīng)于美國專利No. 7123275)、日本未審專利申請(qǐng)公 開No. 2007-259477 (日本未審專利申請(qǐng)公開No. 2004-180259的分案 申請(qǐng))和日本未審專利申請(qǐng)公開No. 2002-359777 (對(duì)應(yīng)于美國專利 No. 7146022)中描述了現(xiàn)有技術(shù)。如圖32所示，在例如運(yùn)動(dòng)訓(xùn)練中使用"運(yùn)動(dòng)序列圖像"。 通過在預(yù)定特征時(shí)間(關(guān)鍵幀時(shí)間)獲取運(yùn)動(dòng)的人或被攝體(運(yùn) 動(dòng)被攝體)的圖像并隨后在空間中布置這些圖像來產(chǎn)生運(yùn)動(dòng)序列圖 像。因此，可以容易地識(shí)別運(yùn)動(dòng)序列。這樣產(chǎn)生運(yùn)動(dòng)序列圖像，使得 即使運(yùn)動(dòng)被攝體在空間上沒有運(yùn)動(dòng)時(shí)，也在空間上布置運(yùn)動(dòng)被攝體的 圖像。通常，通過繪畫圖片來產(chǎn)生運(yùn)動(dòng)序列圖像。然而，在一些情況 中，通過從每一個(gè)照片手動(dòng)地剪切圖像的部分并布置該部分圖像，也 可以產(chǎn)生運(yùn)動(dòng)序列圖像。發(fā)明內(nèi)容為了使用現(xiàn)有方法自動(dòng)產(chǎn)生這種運(yùn)動(dòng)序列圖像，從由攝像機(jī)獲得 或者通過由靜止照相機(jī)執(zhí)行的連續(xù)拍攝獲得的多個(gè)幀的圖像中，提取 表示要處理的關(guān)鍵幀的圖像。隨后，從每一個(gè)關(guān)鍵幀提取目標(biāo)被攝體 的圖像，并且，布置提取的圖像。然而，在現(xiàn)有的運(yùn)動(dòng)序列圖像中，難以在保持對(duì)運(yùn)動(dòng)的充分表示 的同時(shí)擴(kuò)展示出的運(yùn)動(dòng)的范圍。例如，圖32示出使用從由攝像機(jī)捕獲的高爾夫揮桿(golf swing) 的運(yùn)動(dòng)圖像數(shù)據(jù)提取的關(guān)鍵幀F(xiàn)K1至FK20產(chǎn)生的運(yùn)動(dòng)序列圖像的例 子。如果如圖32所示使用多個(gè)關(guān)鍵幀產(chǎn)生一個(gè)合成圖像，則在布置 關(guān)鍵幀圖像時(shí)一個(gè)幀的提取寬度wa變窄。因此，對(duì)于一個(gè)合成圖像， 難以覆蓋運(yùn)動(dòng)被攝體的整個(gè)運(yùn)動(dòng)范圍，從而目標(biāo)運(yùn)動(dòng)被攝體的圖像的 一部分消失。例如，如由圖32所示的圖像所指示的那樣，在揮桿運(yùn) 動(dòng)期間，高爾夫球棒(golf club)的頂部的圖像有時(shí)消失。這在視覺 上是不期望的。另外，合成圖像不會(huì)滿足合成圖像的期望使用，例如， 對(duì)形態(tài)(form)的檢查。為了防止運(yùn)動(dòng)被攝體(例如，揮動(dòng)高爾夫球棒的人和高爾夫球棒) 的圖像的部分從圖像中消失，有必要增加每一個(gè)提取圖像的寬度。圖33示出一個(gè)例子，其中，從關(guān)鍵幀圖像中提取的圖像的寬度 wb增加了。在這種情況下，在一個(gè)圖像中布置的關(guān)鍵幀的數(shù)量減少 了。例如，在圖33中示出的運(yùn)動(dòng)序列圖像是通過從圖32中示出的20 個(gè)關(guān)鍵幀F(xiàn)K1到FK20中選擇八個(gè)關(guān)鍵幀F(xiàn)K1、 FK4、 FK7、 FKIO、 FKll、 FK14、 FK17和FK20生成的。在這種情況下，當(dāng)注視每一個(gè)關(guān)鍵幀時(shí)，運(yùn)動(dòng)被攝體(例如，揮 動(dòng)高爾夫球棒的人和高爾夫球棒)的一部分不會(huì)消失。但是，由于可 布置在一個(gè)圖像中的關(guān)鍵幀的數(shù)量減少，所以運(yùn)動(dòng)的平滑度從運(yùn)動(dòng)序 列圖像消失。也就是說，運(yùn)動(dòng)序列圖像不能充分地指示關(guān)于例如對(duì)形 態(tài)的檢查的運(yùn)動(dòng)的細(xì)節(jié)。如圖32和圖33中示出的例子所示，如果為了覆蓋運(yùn)動(dòng)被攝體的 整個(gè)運(yùn)動(dòng)范圍而增加提取圖像寬度，那么在最終生成的圖像中存在的 關(guān)鍵幀的數(shù)量減少。因此，該運(yùn)動(dòng)序列沒有被充分地視覺化 (visualized)。相反地，如果提取圖像寬度減少，那么可以增加關(guān)鍵 幀的數(shù)量。因此，可以更詳細(xì)地視覺化該運(yùn)動(dòng)序列。但是，很難使圖9像覆蓋運(yùn)動(dòng)被攝體的整個(gè)運(yùn)動(dòng)范圍，因此，運(yùn)動(dòng)被攝體的圖像的部分 可能會(huì)不利地消失。這樣的現(xiàn)有的運(yùn)動(dòng)序列圖像是通過簡單布置和合成多個(gè)關(guān)鍵幀 以便視覺化運(yùn)動(dòng)序列而生成的靜止圖像，但是，目前，出現(xiàn)了對(duì)更加 直觀有效的運(yùn)動(dòng)序列圖像的需求。因此，本發(fā)明提供一種運(yùn)動(dòng)序列圖像，該運(yùn)動(dòng)序列圖像通過使用 多個(gè)幀圖像充分地視覺化運(yùn)動(dòng)的細(xì)節(jié)并覆蓋運(yùn)動(dòng)被攝體的適當(dāng)?shù)倪\(yùn) 動(dòng)范圍。此外，本發(fā)明提供以具有充分的視覺效果的運(yùn)動(dòng)圖像的形式 的運(yùn)動(dòng)序列圖像。根據(jù)本發(fā)明的實(shí)施例， 一種圖像處理設(shè)備包括層分離單元和合成 處理單元，該層分離單元被配置為將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被 攝體層和背景層，該合成處理單元被配置為通過使用輸入幀圖像數(shù)據(jù) 項(xiàng)執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項(xiàng)。在圖像合成處理中，最 高優(yōu)先級(jí)被賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體，第二優(yōu)先 級(jí)被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝 體，并且對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行層圖像合成處理。該圖像處理設(shè)備還可以包括圖像輸出單元，該圖像輸出單元被配 置為以運(yùn)動(dòng)序列靜止圖像數(shù)據(jù)項(xiàng)的形式輸出通過由合成處理單元對(duì) 預(yù)定數(shù)量的幀圖像數(shù)據(jù)項(xiàng)執(zhí)行的圖像合成處理而獲得的合成圖像數(shù) 據(jù)項(xiàng)。該圖像處理設(shè)備還可以包括輸入圖像選擇單元，該輸入圖像選擇 單元被配置為從輸入幀圖像數(shù)據(jù)項(xiàng)中選擇用于生成合成圖像數(shù)據(jù)項(xiàng) 的關(guān)鍵幀。該合成處理單元可以根據(jù)被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)執(zhí) 行圖像合成處理，以便生成運(yùn)動(dòng)序列靜止圖像數(shù)據(jù)項(xiàng)。該圖像處理設(shè)備還可以包括合成圖像保持單元，該合成圖像保持 單元被配置為將合成圖像數(shù)據(jù)項(xiàng)保持作為用于下一個(gè)圖像合成處理 的已有的合成圖像數(shù)據(jù)項(xiàng)。該圖像處理設(shè)備還可以包括圖像輸出單元，該圖像輸出單元被配 置為以運(yùn)動(dòng)序列運(yùn)動(dòng)圖像數(shù)據(jù)項(xiàng)的形式連續(xù)地輸出每當(dāng)生成合成圖10像數(shù)據(jù)項(xiàng)時(shí)由合成處理單元生成的合成圖像數(shù)據(jù)項(xiàng)。
在這種情況下，該圖像處理設(shè)備還可以包括輸入圖像選擇單元和 合成圖像保持單元，該輸入圖像選擇單元被配置為選擇用于從每一個(gè) 輸入幀圖像數(shù)據(jù)項(xiàng)生成合成圖像的關(guān)鍵幀，該合成圖像保持單元被配 置為將通過由合成處理單元根據(jù)關(guān)鍵幀執(zhí)行的合成處理而生成的合 成圖像數(shù)據(jù)項(xiàng)保持作為用于下一個(gè)圖像合成處理的已有的合成圖像 數(shù)據(jù)項(xiàng)。
在不管輸入幀圖像數(shù)據(jù)項(xiàng)是否被選作關(guān)鍵幀的情況下，該合成處 理單元可以通過生成合成圖像數(shù)據(jù)項(xiàng)來生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像數(shù)據(jù) 項(xiàng)，其中通過根據(jù)每個(gè)輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行的圖像合成處理來生成 該合成圖像數(shù)據(jù)項(xiàng)。
另外，通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng) 被攝體層，將第二優(yōu)先級(jí)賦予給與緊鄰以前執(zhí)行的合成處理相關(guān)的幀 圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，將第三優(yōu)先級(jí)賦予給最新的輸入幀圖像 數(shù)據(jù)項(xiàng)的背景層，并且將第四優(yōu)先級(jí)賦予給與緊鄰以前執(zhí)行的合成處 理相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的背景層，該合成處理單元可以對(duì)已有的合成 圖像數(shù)據(jù)項(xiàng)的預(yù)定區(qū)域執(zhí)行圖像合成處理。
此外， 一旦執(zhí)行將最新的輸入幀圖像數(shù)據(jù)項(xiàng)與已有的合成圖像數(shù) 據(jù)項(xiàng)的預(yù)定區(qū)域合成的圖像合成處理，合成處理單元可以根據(jù)要處理
的像素的位置選擇性地執(zhí)行下述處理之一從最新的輸入幀圖像數(shù)據(jù)
項(xiàng)提取的像素被應(yīng)用到預(yù)定區(qū)域的處理；從最新的輸入幀圖像數(shù)據(jù)項(xiàng) 的運(yùn)動(dòng)被攝體層提取的像素被應(yīng)用到預(yù)定區(qū)域的處理；從以前生成的 合成圖像數(shù)據(jù)項(xiàng)之一提取的像素被應(yīng)用到預(yù)定區(qū)域的處理；以及使用 以前生成的合成圖像數(shù)據(jù)項(xiàng)之一和最新的輸入幀圖像數(shù)據(jù)項(xiàng)的層圖 像合成處理。
在這種情況下，在該層圖像合成處理中，最高優(yōu)先級(jí)可以被賦予 給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層的像素，第二優(yōu)先級(jí)可以 被賦予給與以前執(zhí)行的合成處理之一相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被 攝體層的像素，并且第三優(yōu)先級(jí)可以被賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的背景層的像素。
或者，可以通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的
運(yùn)動(dòng)被攝體的像素，將第二到第n優(yōu)先級(jí)賦予給與多個(gè)以前處理的合 成圖像數(shù)據(jù)項(xiàng)相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的像素，將第(n+l)優(yōu)先級(jí)賦予 給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的背景層的像素，來執(zhí)行層圖像合成處 理。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例， 一種圖像處理設(shè)備包括層分離單元 和合成處理單元，該層分離單元被配置為將輸入幀圖像數(shù)據(jù)項(xiàng)分離成 運(yùn)動(dòng)被攝體層和背景層，該合成處理單元被配置為通過使用輸入幀圖 像數(shù)據(jù)項(xiàng)執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項(xiàng)。在圖像合成處理 中，對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行層圖像合成處理，以便 使最高優(yōu)先級(jí)被賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，第 二優(yōu)先級(jí)被賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀圖像數(shù)據(jù)項(xiàng) 的運(yùn)動(dòng)被攝體層，并顯示這些層。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例， 一種圖像處理設(shè)備包括合成處理單 元，該合成處理單元被配置為通過每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)執(zhí)行圖像 合成處理來生成并輸出合成圖像數(shù)據(jù)項(xiàng)，以便顯示這樣的運(yùn)動(dòng)圖像， 在該運(yùn)動(dòng)圖像中，幀圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體圖像沿預(yù)定方向順序 地布置。在該運(yùn)動(dòng)圖像中，被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝 體圖像被連續(xù)地顯示，并且沒有被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng) 被攝體圖像被臨時(shí)顯示。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供一種處理圖像的方法。該方法 包括將輸入圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層、以及使用輸入 幀圖像數(shù)據(jù)項(xiàng)執(zhí)行包括層圖像合成處理的圖4象合成處理的步驟。通過 將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層并將 第二優(yōu)先級(jí)賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的運(yùn) 動(dòng)被攝體層，來對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行該層圖像合 成處理。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供一種處理圖像的方法。該方法
12包括將輸入圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層、以及使用輸入 幀圖像數(shù)據(jù)項(xiàng)執(zhí)行包括層圖像合成處理的圖像合成處理的步驟。通過 將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層并將 第二優(yōu)先級(jí)賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀圖像數(shù)據(jù)項(xiàng) 的運(yùn)動(dòng)被攝體層，對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行層圖像合 成處理，并顯示這些層。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供一種處理圖像的方法。該方法 包括通過每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)執(zhí)行圖像合成處理來生成合成圖 像數(shù)據(jù)項(xiàng)、以及通過重復(fù)生成合成圖像數(shù)據(jù)項(xiàng)來顯示運(yùn)動(dòng)圖像的步 驟，在該運(yùn)動(dòng)圖像中，幀圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體圖像沿預(yù)定方向 順序地布置。在生成合成圖像數(shù)據(jù)項(xiàng)的過程中，執(zhí)行圖像合成處理， 使得被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體圖像被連續(xù)地顯示， 并且沒有被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體圖像被臨時(shí)顯 示。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例，提供一種使算術(shù)處理設(shè)備執(zhí)行用于 處理圖像的這些方法的程序。
也就是說，根據(jù)本發(fā)明，通過在多個(gè)輸入幀圖像數(shù)據(jù)項(xiàng)上執(zhí)行圖 像合成處理來生成運(yùn)動(dòng)序列圖像。請(qǐng)注意，術(shù)語"幀圖像數(shù)據(jù)項(xiàng)"是 指運(yùn)動(dòng)圖像的幀之一或者通過例如連續(xù)拍攝獲得的靜止圖像之一 。也 就是說，術(shù)語"幀圖像數(shù)據(jù)項(xiàng)"廣泛地是指形成每個(gè)獨(dú)立圖像的圖像 數(shù)據(jù)項(xiàng)。
根據(jù)本發(fā)明，當(dāng)通過對(duì)多個(gè)輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行圖像合成處理 來生成運(yùn)動(dòng)序列圖像時(shí)，該幀圖像數(shù)據(jù)項(xiàng)被分離成圖像的運(yùn)動(dòng)被攝體 層和背景層。隨后，每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)，將最新的輸入幀圖像 數(shù)據(jù)項(xiàng)與在輸入該幀圖像數(shù)據(jù)項(xiàng)時(shí)已有的合成圖像數(shù)據(jù)項(xiàng)合成。此 時(shí)，通過減小幀的寬度，可以布置大量的運(yùn)動(dòng)被攝體圖像。但是，在 這種情況下，生成這樣的部分，在該部分中，最新的幀圖像數(shù)據(jù)項(xiàng)中 的運(yùn)動(dòng)被攝體的圖像與前一個(gè)幀圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體的圖像 重疊。因此，通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)
13動(dòng)被攝體層并將第二優(yōu)先級(jí)賦予給與以前執(zhí)行的合成處理相關(guān)的幀 圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，來執(zhí)行層圖像合成處理。以這種方式， 可以生成合成圖像，在該合成圖像中運(yùn)動(dòng)被攝體圖像的部分與前一個(gè) 幀中的運(yùn)動(dòng)被攝體圖像重疊。
另外，該方法也可以應(yīng)用于運(yùn)動(dòng)圖像。在運(yùn)動(dòng)圖像的情況下，對(duì) 每一個(gè)順序地輸入的幀圖像數(shù)據(jù)項(xiàng)執(zhí)行圖像合成處理，并且每一次的 合成處理的結(jié)果都可以作為運(yùn)動(dòng)圖像數(shù)據(jù)(運(yùn)動(dòng)序列運(yùn)動(dòng)圖像)輸出。
根據(jù)上述實(shí)施例，當(dāng)自動(dòng)生成運(yùn)動(dòng)序列圖像時(shí)，運(yùn)動(dòng)被攝體的整 個(gè)圖像可以通過擴(kuò)展運(yùn)動(dòng)范圍來表示。另外，在時(shí)間方向上的運(yùn)動(dòng)序 列的精確表示可以通過布置該運(yùn)動(dòng)被攝體的大量圖像來實(shí)現(xiàn)。
此外，通過以運(yùn)動(dòng)序列運(yùn)動(dòng)圖像的方式在不同的時(shí)間點(diǎn)輸出合成 圖像數(shù)據(jù)項(xiàng)，可以生成具有高視覺效果并提供便于用戶理解的運(yùn)動(dòng)序 列的運(yùn)動(dòng)圖像。


圖l是根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的框圖； 圖2是示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列靜止圖像的視圖； 圖3A到圖3C是根據(jù)本實(shí)施例的運(yùn)動(dòng)序列靜止圖像生成處理的 示意圖4A和圖4B是根據(jù)本實(shí)施例的層分離處理的示意圖5A、圖5B和圖5C示出根據(jù)本實(shí)施例的輸入圖像的區(qū)域設(shè)定
的例子；
圖6A到圖6C示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列有效區(qū)和其余的背
景區(qū)；
圖7A和圖7B示出根據(jù)本實(shí)施例的四個(gè)層的示例性層合成處理；
圖8示出根據(jù)本實(shí)施例的生成處理的第一例中的合成處理；
圖9是根據(jù)本實(shí)施例的生成處理的第一例中的合成處理的流程
圖10是根據(jù)本實(shí)施例的生成處理的第一例中的層分離處理的流
14程圖11示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像；
圖12示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像；
圖13示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像；
圖14示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像；
圖15示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像；
圖16示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像；
圖17示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像；
圖18示出根據(jù)本實(shí)施例的生成處理的第二例中的運(yùn)動(dòng)序列運(yùn)動(dòng) 圖像和合成處理；
圖19示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像和下部復(fù)制處理；
圖20示出根據(jù)本實(shí)施例的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像和最終幀；
圖21是根據(jù)本實(shí)施例的生成處理的第二例的流程圖22是示出根據(jù)本實(shí)施例的生成處理的第二例中執(zhí)行的處理確 定的流程圖23A到圖23C示出根據(jù)本實(shí)施例的生成處理的第二例中在合 成處理中使用的圖像數(shù)據(jù)；
圖24A和圖24B示出根據(jù)本實(shí)施例的生成處理的第二例中選擇 的處理P2和P3;
圖25示出根據(jù)本實(shí)施例的生成處理的第二例中選擇的處理P4;
圖26A到圖26C示出根據(jù)本實(shí)施例的生成處理的第二例中選擇 的處理P5;
圖27A到圖27D示出根據(jù)本實(shí)施例的生成處理的第二例中選擇 的處理P6;
圖28A和圖28B示出使用二進(jìn)制值表示的運(yùn)動(dòng)被攝體信息和使 用多進(jìn)制值(multi-level value)表示的運(yùn)動(dòng)被j聶體信息；
圖29A和圖29B示出使用二進(jìn)制值表示的運(yùn)動(dòng)被攝體信息和使 用多進(jìn)制值表示的運(yùn)動(dòng)被攝體信息；
圖30是當(dāng)生成處理的第一例應(yīng)用到運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)執(zhí)行的處理的流程圖31是當(dāng)生成處理的第二例應(yīng)用到運(yùn)動(dòng)序列靜止圖像時(shí)執(zhí)行的 處理的流程圖32示出現(xiàn)有的合成圖像；并且 圖33示出現(xiàn)有的合成圖像。
具體實(shí)施例方式
下面將在以下的各部分中描述本發(fā)明的示例性實(shí)施例
1. 圖像處理設(shè)備的配置
2. 用于生成運(yùn)動(dòng)序列圖像的處理的第一例
3. 用于生成運(yùn)動(dòng)序列圖像的處理的第二例
4. 運(yùn)動(dòng)被攝體信息
5. 對(duì)運(yùn)動(dòng)圖像的處理的第一例的應(yīng)用
6. 對(duì)運(yùn)動(dòng)圖像的處理的第二例的應(yīng)用
7. 程序
1.圖像處理設(shè)備的配置
圖1示出根據(jù)本示例性實(shí)施例的圖像處理設(shè)備1的示例性配置。 如圖1所示，圖像處理設(shè)備l包括輸入圖像選擇單元2、層處理 單元3、圖像輸出單元4、合成圖像更新保持單元5、圖像輸入單元 10、運(yùn)動(dòng)被攝體信息生成單元11、運(yùn)動(dòng)被攝體信息輸入單元12和輸 出裝置40。
這些單元和裝置不必包括在一個(gè)主體中。特別是，圖像輸入單元 10、運(yùn)動(dòng)被攝體信息生成單元11、運(yùn)動(dòng)被攝體信息輸入單元12和輸 出裝置40可以包含在不同的主體中。另外，只有運(yùn)動(dòng)被攝體信息生 成單元ll和運(yùn)動(dòng)被攝體信息輸入單元12中的一個(gè)可以設(shè)置在圖像處 理設(shè)備1中。
輸入圖像選擇單元2、層處理單元3、圖像輸出單元4和合成圖 像更新保持單元5中的每一個(gè)都可以配置為硬件塊。但是，輸入圖像
16選擇單元2、層處理單元3、圖像輸出單元4和合成圖像更新保持單 元5中的每一個(gè)都可以配置為通過在諸如微型計(jì)算機(jī)的算術(shù)處理單元 中運(yùn)行的軟件程序?qū)崿F(xiàn)的功能塊。
圖像處理設(shè)備1可以被合并在例如圖像拾取設(shè)備(例如，攝像機(jī)) 或視頻重放設(shè)備(video playback apparatus)中?；蛘?，圖像處理設(shè) 備l可以配置為專用圖像處理設(shè)備。此外，或者，圖像處理設(shè)備l可 以配置為具有通過在例如個(gè)人計(jì)算機(jī)中的軟件和硬件的協(xié)作實(shí)現(xiàn)的 圖像處理功能的設(shè)備。
圖像輸入單元10接收用于生成運(yùn)動(dòng)序列圖像(靜止圖像或運(yùn)動(dòng) 圖像)的幀圖像數(shù)據(jù)組。
術(shù)語"幀圖像數(shù)據(jù)項(xiàng)"是指運(yùn)動(dòng)圖像的幀之一或者通過例如連續(xù) 拍攝獲得的靜止圖像之一。也就是說，術(shù)語"幀圖像數(shù)據(jù)項(xiàng)"廣泛地 是指形成每個(gè)獨(dú)立圖像的圖像數(shù)據(jù)項(xiàng)。
當(dāng)圖像處理設(shè)備1被合并在圖像拾取設(shè)備中時(shí)，圖像輸入單元 10對(duì)應(yīng)于透鏡系統(tǒng)、光接收元件和通過圖像信號(hào)處理獲取捕獲的圖像 信號(hào)的圖像捕獲系統(tǒng)。
當(dāng)輸入由外部圖像捕獲設(shè)備獲取的捕獲圖像信號(hào)時(shí)，圖像輸入單 元10可以是用于接收和處理從外部圖像拾取設(shè)備傳輸或下栽的圖像 信號(hào)的系統(tǒng)。例如，圖像輸入單元10可以是外部設(shè)備接口單元，例 如廣播調(diào)諧器單元、通用串行總線(USB)接口或者用于無線通信或 有線通信的網(wǎng)絡(luò)通信單元。
或者，當(dāng)諸如捕獲的圖像數(shù)據(jù)的圖像信號(hào)存儲(chǔ)在諸如存儲(chǔ)卡(固 態(tài)存儲(chǔ)器)或光盤的記錄介質(zhì)中時(shí)，圖像輸入單元10以用于再現(xiàn)存 儲(chǔ)在記錄介質(zhì)中的圖像信號(hào)的再現(xiàn)單元或再現(xiàn)程序的形式實(shí)現(xiàn)。
圖像輸入單元10接收運(yùn)動(dòng)圖像的每一個(gè)幀的圖像數(shù)據(jù)或者通過 連續(xù)拍攝捕獲的多個(gè)幀的靜止圖像數(shù)據(jù)。然后圖像輸入單元10將這 樣的幀圖像數(shù)據(jù)提供給輸入圖像選擇單元2和運(yùn)動(dòng)被攝體信息生成單 元11。
請(qǐng)注意，圖像輸入單元10可以執(zhí)行預(yù)處理。 一旦接收到運(yùn)動(dòng)圖像文件，圖像輸入單元10可以對(duì)該運(yùn)動(dòng)圖像文件執(zhí)行適當(dāng)?shù)霓D(zhuǎn)換。 例如，圖像輸入單元10可以從該運(yùn)動(dòng)圖像文件生成幀。另外， 一旦 接收到隔行掃描圖像(interlace image )，圖像輸入單元10可以將該 隔行掃描圖像轉(zhuǎn)換為逐行掃描圖像(progressive image)。此外，圖 像輸入單元IO還可以放大或縮小圖像的尺寸。
運(yùn)動(dòng)被攝體信息生成單元ll使用從圖像輸入單元IO接收到的原
始圖像組(幀圖像數(shù)據(jù)組)和附加信息(例如，深度信息)生成運(yùn)動(dòng) 被攝體信息。
術(shù)語"運(yùn)動(dòng)被攝體信息，，是指至少指示輸入幀圖像數(shù)據(jù)項(xiàng)的哪個(gè) 部分對(duì)應(yīng)于運(yùn)動(dòng)被攝體以及哪個(gè)部分對(duì)應(yīng)于背景的信息。
運(yùn)動(dòng)被攝體信息生成單元11生成對(duì)應(yīng)于每個(gè)輸入幀圖像數(shù)據(jù)項(xiàng) 的運(yùn)動(dòng)被攝體信息。隨后，運(yùn)動(dòng)被攝體信息生成單元11將生成的運(yùn) 動(dòng)被攝體信息提供給輸入圖像選擇單元2。
該運(yùn)動(dòng)被攝體信息可以被表示為運(yùn)動(dòng)被攝體圖像。在這種情況 下，每個(gè)像素對(duì)應(yīng)于運(yùn)動(dòng)被攝體還是對(duì)應(yīng)于背景由像素值指示。另夕卜，
指示被攝體的位置的信息可以使用數(shù)學(xué)表達(dá)式或者矢量表達(dá)。
運(yùn)動(dòng)被攝體信息生成單元11將運(yùn)動(dòng)被攝體與背景分離。另外， 當(dāng)存在多個(gè)運(yùn)動(dòng)被攝體時(shí)，運(yùn)動(dòng)被攝體信息生成單元11可以針對(duì)每 一個(gè)深度將運(yùn)動(dòng)被攝體彼此分離。在這種情況下，為了使用圖像表示 運(yùn)動(dòng)被攝體信息，該圖像被表示為指示每一個(gè)像素位于哪個(gè)深度的多 進(jìn)制值圖像(或者多通道圖像)，而不是將圖像表示為指示該圖像對(duì) 應(yīng)于運(yùn)動(dòng)被攝體還是對(duì)應(yīng)于背景的二進(jìn)制圖像。在下面參考圖28和 圖29對(duì)本處理進(jìn)行更詳細(xì)的描述。
運(yùn)動(dòng)被攝體信息不必一定在圖像處理設(shè)備l中生成。相反地，圖
像處理設(shè)備1可以接收由不同的設(shè)備或不同的程序生成的運(yùn)動(dòng)被攝體 信息。運(yùn)動(dòng)被攝體信息輸入單元12從外部接收與輸入到圖像輸入單 元10的每一個(gè)幀圖像數(shù)據(jù)項(xiàng)相關(guān)的運(yùn)動(dòng)被攝體信息。然后，運(yùn)動(dòng)被 攝體信息輸入單元12將接收到的運(yùn)動(dòng)被攝體信息提供給輸入圖像選 擇單元2。
18因此，運(yùn)動(dòng)被攝體信息生成單元11和運(yùn)動(dòng)被才聶體信息輸入單元
12中的至少一個(gè)是必要的。但是，由運(yùn)動(dòng)被攝體信息生成單元11生 成的運(yùn)動(dòng)被攝體信息和由運(yùn)動(dòng)被攝體信息輸入單元12接收的運(yùn)動(dòng)被 攝體信息可以同時(shí)被使用。在這種情況下，提供運(yùn)動(dòng)被攝體信息生成 單元11和運(yùn)動(dòng)被攝體信息輸入單元12。
輸入圖像選擇單元2執(zhí)行用于從由圖像輸入單元10順序地提供 的幀圖像數(shù)據(jù)項(xiàng)生成運(yùn)動(dòng)序列圖像的處理。也就是說，輸入圖像選擇 單元2選擇對(duì)于由層處理單元3執(zhí)行的合成處理所必需的圖像數(shù)據(jù) 項(xiàng)。然后，輸入圖像選擇單元2將一組合適的圖像輸出到層處理單元 3。另外，輸入圖像選擇單元2向?qū)犹幚韱卧?輸出與要被輸出到層 處理單元3的幀圖像數(shù)據(jù)項(xiàng)相對(duì)應(yīng)的運(yùn)動(dòng)被攝體信息和諸如坐標(biāo)信息 的合成處理所必需的信息。
如圖1所示，輸入圖像選擇單元2包括關(guān)鍵幀確定子單元21和 坐標(biāo)計(jì)算子單元22。關(guān)鍵幀確定子單元21執(zhí)行關(guān)鍵幀確定處理并基 于關(guān)鍵幀確定處理選擇要被輸出到層處理單元3的幀圖像數(shù)據(jù)項(xiàng)。坐 標(biāo)計(jì)算子單元22計(jì)算合成處理所必需的坐標(biāo)。
如在本文中所使用的，術(shù)語"關(guān)鍵幀"是指充當(dāng)運(yùn)動(dòng)序列的軌跡 并在時(shí)間軸上的不同時(shí)間點(diǎn)保留在最終的輸出圖像(在運(yùn)動(dòng)圖像的情 況中，最終的幀圖像)中的多個(gè)不同的圖像。例如，通常，從時(shí)間上 連續(xù)的幀圖像數(shù)據(jù)項(xiàng)中，在適當(dāng)?shù)膯挝粫r(shí)間期間以均勻間隔捕獲的幀 被選作關(guān)鍵幀。但是，關(guān)鍵幀不限于以均勻間隔捕獲的關(guān)鍵幀。例如， 可以使用適用于將目標(biāo)被攝體的運(yùn)動(dòng)序列視覺化的以不均勻間隔捕 獲的關(guān)鍵幀。
關(guān)鍵幀確定子單元21從由圖像輸入單元10順序地提供的幀圖像 數(shù)據(jù)項(xiàng)中選擇充當(dāng)關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)。如下面更詳細(xì)地描述的那 樣，當(dāng)生成運(yùn)動(dòng)序列靜止圖像時(shí)，關(guān)鍵幀確定子單元21只將所選擇 的關(guān)鍵幀提供給層處理單元3。相反地，當(dāng)生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)， 關(guān)鍵幀確定子單元21將所有的輸入幀圖像數(shù)據(jù)項(xiàng)提供給層處理單元 3。在這種情況下，層處理單元3根據(jù)輸入幀圖像數(shù)據(jù)項(xiàng)是否是關(guān)鍵幀來改變對(duì)合成圖像的處理。
層處理單元3包括層分離子單元31、層處理子單元32和層合成子單元33。層處理單元3生成運(yùn)動(dòng)序列圖像。
層分離子單元31使用運(yùn)動(dòng)被攝體信息將輸入幀圖像數(shù)據(jù)項(xiàng)分離成各層。根據(jù)本實(shí)施例，每一個(gè)幀圖像數(shù)據(jù)項(xiàng)被分離成兩個(gè)層運(yùn)動(dòng)被攝體層和背景層。例如，層分離子單元31使用運(yùn)動(dòng)被攝體信息將輸入圖像和前一個(gè)關(guān)鍵幀圖像分離成背景圖像和運(yùn)動(dòng)被攝體圖像，以便生成對(duì)應(yīng)層中的圖像。當(dāng)存在多個(gè)運(yùn)動(dòng)被攝體圖像時(shí)，并且，如果指示了運(yùn)動(dòng)被攝體圖像的深度，則運(yùn)動(dòng)被攝體圖像被分離成每一個(gè)層都對(duì)應(yīng)于一個(gè)深度的各層。
例如，層處理子單元32切割每個(gè)層上的圖像的部分、放大或縮小每個(gè)層上的圖像，或者移動(dòng)圖像的坐標(biāo)。也就是說，層處理子單元32對(duì)每個(gè)分離層中的圖像執(zhí)行各種處理，以便使圖像可以被合成。通常，層處理子單元32執(zhí)行幾何計(jì)算，例如放大/縮小處理、旋轉(zhuǎn)處理和平移處理。但是，層處理子單元32可以執(zhí)行諸如對(duì)運(yùn)動(dòng)部分的圖像增強(qiáng)的圖像處理?；陉P(guān)鍵幀的數(shù)量和輸出圖像尺寸執(zhí)行放大/縮小處理。
層合成子單元33使用處理層和以前合成的圖像執(zhí)行圖像合成處理。也就是說，層合成子單元33通過使用由層處理子單元32處理的圖像、以前合成的圖像和運(yùn)動(dòng)被攝體信息來生成要被輸出的合成圖像。在這一合成處理中，層合成子單元33基于運(yùn)動(dòng)被攝體信息確定哪個(gè)層包含要被包含在輸出圖像中的像素，并生成輸出圖像。層合成子單元33選擇一個(gè)層，并輸出該層中的像素。或者，層合成子單元33可以選擇多個(gè)層，合成這些層中的像素，并輸出合成的像素。由層處理單元3執(zhí)行的處理將在下面進(jìn)行更詳細(xì)的描述。
圖像輸出單元4向輸出裝置40輸出由層處理單元3生成的合成圖像。輸出裝置40的例子包括可以接收運(yùn)動(dòng)序列圖像的各種單元，例如監(jiān)控器單元或存儲(chǔ)單元。根據(jù)系統(tǒng)的類型，從圖像輸出裝置40輸出的運(yùn)動(dòng)序列圖像可以被顯示，被載入存儲(chǔ)器，或者被寫入外部存
20儲(chǔ)介質(zhì)，例如硬盤、閃存或網(wǎng)絡(luò)上的另一個(gè)設(shè)備。
為了生成運(yùn)動(dòng)序列靜止圖像，圖像輸出單元4向輸出裝置40輸出當(dāng)對(duì)預(yù)定數(shù)量的關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)的合成處理完成時(shí)作為運(yùn)動(dòng)序列靜止圖像生成的一幀圖像數(shù)據(jù)。
相反地，為了生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像，圖像輸出單元4向輸出裝置40輸出通過每當(dāng)幀圖像數(shù)據(jù)項(xiàng)作為運(yùn)動(dòng)圖像的一幀圖像數(shù)據(jù)輸入時(shí)順序地執(zhí)行的合成處理而生成的合成圖像。
當(dāng)生成其中要被合成的所有的幀圖像數(shù)據(jù)項(xiàng)都是關(guān)鍵幀的運(yùn)動(dòng)序列靜止圖像時(shí)，圖像輸出單元4將當(dāng)前的合成圖像數(shù)據(jù)項(xiàng)輸出到合成圖像更新保持單元5，使得合成圖像更新保持單元5更新并存儲(chǔ)該合成圖像，以便在執(zhí)行下一個(gè)處理時(shí)將當(dāng)前的合成圖像數(shù)據(jù)項(xiàng)作為前一個(gè)合成圖像數(shù)據(jù)項(xiàng)使用。
相反地，當(dāng)生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)，并且，如果當(dāng)前處理的幀圖像數(shù)據(jù)是關(guān)鍵幀，則圖像輸出單元4將當(dāng)前的合成圖像數(shù)據(jù)項(xiàng)輸出到合成圖像更新保持單元5，使得合成圖像更新保持單元5更新并存儲(chǔ)該合成圖像，以便在執(zhí)行下一個(gè)處理時(shí)將當(dāng)前的合成圖像數(shù)據(jù)項(xiàng)作為前一個(gè)合成圖像數(shù)據(jù)項(xiàng)使用。
當(dāng)運(yùn)動(dòng)序列靜止圖像正生成時(shí)，合成圖像更新保持單元5保持在每個(gè)圖像數(shù)據(jù)項(xiàng)被輸入時(shí)獲得的合成圖像數(shù)據(jù)項(xiàng)。
例如，為了生成運(yùn)動(dòng)序列靜止圖像，每當(dāng)圖像輸出單元4輸出合成圖像時(shí)，合成圖像更新保持單元5更新合成圖像。然后，合成圖像更新保持單元5保持更新的合成圖像。例如，在合成處理期間，合成圖像更新保持單元5更新前一個(gè)合成圖像數(shù)據(jù)項(xiàng)并將更新的合成圖像數(shù)據(jù)項(xiàng)保持為前一個(gè)合成圖像數(shù)據(jù)項(xiàng)或者最后一個(gè)之前的合成圖像數(shù)據(jù)項(xiàng)。另外，合成圖像更新保持單元5保持在生成每一個(gè)合成圖像時(shí)獲得的關(guān)鍵幀信息和關(guān)于關(guān)鍵幀的運(yùn)動(dòng)被攝體信息。
相反地，當(dāng)正生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)，合成圖像更新保持單元5更新通過關(guān)鍵幀合成處理生成的合成圖像數(shù)據(jù)項(xiàng)并保持該合成圖像數(shù)據(jù)項(xiàng)。與生成運(yùn)動(dòng)序列靜止圖像的情況中一樣，合成圖像更新保持單元5保持在生成每一個(gè)合成圖像時(shí)獲得的關(guān)鍵幀信息和關(guān)于關(guān)鍵幀的運(yùn)動(dòng)被攝體信息。
2.用于生成運(yùn)動(dòng)序列圖像的處理的第一例
下面描述主要由輸入圖像選擇單元2、層處理單元3、圖像輸出單元4和合成圖像更新保持單元5執(zhí)行的用于生成運(yùn)動(dòng)序列圖像的處理的第一例。
在本例中，生成如圖2所示的運(yùn)動(dòng)序列靜止圖像。參考圖2到圖8描述用于生成運(yùn)動(dòng)序列靜止圖像的處理的第一例的概要。參考圖9和圖IO描述處理的具體例子。
首先參考圖2描述由根據(jù)本實(shí)施例的圖像處理設(shè)備1生成的運(yùn)動(dòng)序列靜止圖像。
例如，如圖2所示的運(yùn)動(dòng)序列靜止圖像由通過捕獲人揮動(dòng)高爾夫球棒的視頻圖像或連續(xù)拍攝的靜止圖像而獲得的多個(gè)幀圖像數(shù)據(jù)項(xiàng)生成。
如圖32中示出的圖像一樣，圖2中示出的運(yùn)動(dòng)序列靜止圖像是使用相對(duì)較大數(shù)量的幀圖像數(shù)據(jù)項(xiàng)生成的，從而包含在連續(xù)高爾夫揮桿期間的多個(gè)時(shí)間捕獲的圖像。但是，與圖32所示的圖像不同的是，例如，高爾夫球棒的頂部的圖像沒有消失。盡管右邊和左邊的圖像部分地重疊，但是在每一幀中的整個(gè)運(yùn)動(dòng)被攝體(人和高爾夫球棒)都顯示了。也就是說，運(yùn)動(dòng)序列圖像可以使用多個(gè)幀圖像充分地表示運(yùn)動(dòng)并適當(dāng)?shù)乇硎具\(yùn)動(dòng)被攝體的運(yùn)動(dòng)范圍。這樣的運(yùn)動(dòng)序列圖像可以通過下面的處理生成。
圖3A到圖3C是運(yùn)動(dòng)序列靜止圖像生成處理的示意圖。
圖3A是輸入到輸入圖像選擇單元2的圖像數(shù)據(jù)項(xiàng)的示意圖。例如，該圖像數(shù)據(jù)項(xiàng)為運(yùn)動(dòng)圖像數(shù)據(jù)項(xiàng)。每一個(gè)圖像數(shù)據(jù)項(xiàng)Fl、 F2、F3……表示幀圖像數(shù)據(jù)。
輸入圖像選擇單元2從運(yùn)動(dòng)圖像的這樣的時(shí)間系列幀中選擇關(guān)鍵幀。例如，假定每五幀是關(guān)鍵幀。于是，均由圓圏(o)表示的幀F(xiàn)l、 F6、 Fll、 F16、 F21……都是關(guān)鍵幀。圖3B表示在這些幀中包
22含的圖像。
如下面更詳細(xì)地描述的那樣，當(dāng)生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)，除了
關(guān)鍵幀以外的幀圖像數(shù)據(jù)項(xiàng)(例如，幀F(xiàn)2和幀F(xiàn)3)也用于合成處理。但是，當(dāng)生成運(yùn)動(dòng)序列靜止圖像時(shí)，只有關(guān)鍵幀用于合成處理。
在這種情況下，輸入圖像選擇單元2只提取關(guān)鍵幀并將提取的關(guān)鍵幀提供給層處理單元3。
如下面更詳細(xì)地描述的那樣，每當(dāng)層處理單元3從輸入圖像選擇單元2順序地接收關(guān)鍵幀F(xiàn)l、 F6、 Fll、 F16、 F21……時(shí)，層處理單元3順序地執(zhí)行合成處理。以這種方式，如圖3C所示，最終生成運(yùn)動(dòng)序列靜止圖像。此時(shí)，執(zhí)行層合成處理，以便使包含在要被合成的當(dāng)前關(guān)鍵幀中的運(yùn)動(dòng)被攝體的圖像與以前合成的圖像重疊。
將在下面描述由以這種方式合成圖像的層處理單元3執(zhí)行的處理。
層分離子單元31使用運(yùn)動(dòng)被攝體信息將輸入圖像和前一個(gè)關(guān)鍵幀圖像中的每一個(gè)分離成背景圖像和經(jīng)過層合成處理的范圍內(nèi)的運(yùn)動(dòng)被攝體的圖像。因此，層分離子單元31生成每一個(gè)層中的圖像。
圖4A示出輸入圖像(幀圖像數(shù)據(jù)項(xiàng)之一)和關(guān)于幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體信息。
如前所述，輸入圖像選擇單元2從由圖像輸入單元10順序地提供的幀圖像數(shù)據(jù)項(xiàng)Fl、 F2、 F3……中選擇充當(dāng)關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)(例如，幀圖像數(shù)據(jù)項(xiàng)F1)。然后，輸入圖像選擇單元2將選擇的幀圖像數(shù)據(jù)項(xiàng)輸出到層處理單元3。
另外，輸入圖像選擇單元2接收與從運(yùn)動(dòng)被攝體信息生成單元11或運(yùn)動(dòng)被攝體信息輸入單元12提供的每一個(gè)幀圖像數(shù)據(jù)項(xiàng)相對(duì)應(yīng)的運(yùn)動(dòng)被攝體信息。當(dāng)將充當(dāng)關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)提供給層處理單元3時(shí)，輸入圖像選擇單元2進(jìn)一步將對(duì)應(yīng)于幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體信息提供給層處理單元3。
在圖4A的上部示出提供給層處理單元3的這樣的幀圖像數(shù)據(jù)項(xiàng)，并且在圖4A的下部示出運(yùn)動(dòng)被攝體信息。在本例中，運(yùn)動(dòng)被攝體信息使用二進(jìn)制值表示。也就是說，運(yùn)動(dòng)被攝體的圖像的像素表示
為'T，，背景圖像的像素表示為"0"。在圖4A的下部中，白色部分的每一個(gè)像素表示為'T，。也就是說，該像素表示運(yùn)動(dòng)被攝體。黑色部分的每一個(gè)像素表示為"0"。也就是說，該像素表示背景。
層分離子單元31使用這樣的運(yùn)動(dòng)被攝體信息將輸入幀圖像數(shù)據(jù)分離成各層。
圖4B示出通過分離輸入幀圖像數(shù)據(jù)而生成的運(yùn)動(dòng)被攝體層和背景層。在圖4B的上部中示出的運(yùn)動(dòng)被攝體層包含通過從圖4A所示的輸入圖像中只提取運(yùn)動(dòng)被攝體部分(即，僅僅具有'T，的運(yùn)動(dòng)被攝體信息的像素)而獲得的圖像。
另外，在圖4B的下部中示出的背景層包含通過從如圖4A所示的輸入圖像中只提取背景部分(即，僅僅具有"0"的運(yùn)動(dòng)被攝體信息的像素)而獲得的圖像。
請(qǐng)注意，可以出現(xiàn)多個(gè)運(yùn)動(dòng)被攝體。因此，可以使用表示三個(gè)值或更多個(gè)值的多進(jìn)制值的運(yùn)動(dòng)被攝體信息。這將在下面參考圖28和圖29進(jìn)行更詳細(xì)的描述。在運(yùn)動(dòng)被j聶體信息生成單元11或運(yùn)動(dòng),皮才聶體信息輸入單元12中，根據(jù)多個(gè)運(yùn)動(dòng)被攝體的深度(圖像中的前景/背景關(guān)系)生成(或獲取)表示不同值的運(yùn)動(dòng)被攝體信息。
在這種情況下，層分離子單元31可以將圖像分離成每一個(gè)層都對(duì)應(yīng)于一個(gè)深度的各層。
如上所述，層處理子單元32對(duì)每一個(gè)分離層執(zhí)行各種處理以使其成為可以被合成的形式。
通常，運(yùn)動(dòng)序列圖像不是從輸入幀圖像數(shù)據(jù)項(xiàng)的整個(gè)區(qū)域生成的，而是從輸入幀圖像數(shù)據(jù)項(xiàng)的提取區(qū)域生成的。
另外，運(yùn)動(dòng)被攝體有效區(qū)與保留在最終圖像中的背景的區(qū)域不同。
假設(shè)(Wimg, Himg)表示代表輸入幀圖像數(shù)據(jù)的圖像的寬度和高度。假設(shè)(Wmov， Hmov)表示運(yùn)動(dòng)序列有效區(qū)的寬度和高度，并且，假設(shè)(Wback， Hback)表示其余的背景區(qū)的寬度和高度。于是，
24例如，如圖5A、圖5B或圖5C所示，暗示(suggesting)這些區(qū)域之間的關(guān)系的三種情況之一出現(xiàn)。請(qǐng)注意，圖5A、圖5B或圖5C只是例子。這些情況并不限于此。
在圖5A、圖5B和圖5C中，運(yùn)動(dòng)被攝體有效區(qū)是從其提取主要運(yùn)動(dòng)被攝體的圖像的區(qū)域。其余的背景區(qū)是在合成處理中用作背景圖像的區(qū)域。
對(duì)于運(yùn)動(dòng)序列有效區(qū)的值(Wmov, Hmov)和其余的背景區(qū)的值(Wback， Hback)，根據(jù)衫L攝體運(yùn)動(dòng)方向，即，當(dāng)生成運(yùn)動(dòng)序列圖像時(shí)圖像在時(shí)間上移動(dòng)的方向，寬度的值或者高度的值可以相同。
通常，期望的是，當(dāng)如圖2中示出的運(yùn)動(dòng)序列圖像所指示的那樣運(yùn)動(dòng)序列有效區(qū)布置在水平方向時(shí)，如圖5B所示，高度Hmov和Hback中的每一個(gè)都與原始幀圖像數(shù)據(jù)的高度(Himg)相同。
相反地，通常，期望的是，當(dāng)運(yùn)動(dòng)序列有效區(qū)布置在垂直方向時(shí)，如圖5C所示，寬度Wmov和Wback中的每一個(gè)都與原始幀圖像數(shù)據(jù)的寬度(Wimg)相同。
在檢查運(yùn)動(dòng)中的形態(tài)的情況下，當(dāng)目標(biāo)是站立的人時(shí)，經(jīng)常使用水平運(yùn)動(dòng)序列。相反地，當(dāng)目標(biāo)是躺著的人時(shí)，如同柔道的基本動(dòng)作的情況一樣，經(jīng)常使用垂直運(yùn)動(dòng)序列。如上所述，運(yùn)動(dòng)序列方向和每個(gè)圖像的尺寸大大地依賴于要捕獲的圖像。
圖6A到圖6C示出使用圖5B中所示出的例子設(shè)定實(shí)際幀圖像數(shù)據(jù)的運(yùn)動(dòng)序列有效區(qū)和其余的背景區(qū)的例子。
圖6A示出輸入原始幀圖像數(shù)據(jù)。例如，幀圖像數(shù)據(jù)的尺寸是VGA尺寸(640 x480)。運(yùn)動(dòng)序列有效區(qū)的中心和其余的背景區(qū)的中心與輸入原始幀圖像數(shù)據(jù)的中心一致。
如圖6B所示，運(yùn)動(dòng)序列有效區(qū)具有下述尺寸寬度Wmov-320并且高度Hmov-480。
如圖6C所示，其余的背景區(qū)具有下述尺寸寬度Wback=160并且高度Hback-480。
請(qǐng)注意，這些值只是例子。實(shí)際上，可以根據(jù)被攝體的尺寸和被
25攝體的運(yùn)動(dòng)設(shè)置適當(dāng)?shù)闹?，從而提取用于合成處理的圖像。
例如，層合成子單元33將經(jīng)過由層處理子單元32執(zhí)行的處理的輸入圖像(充當(dāng)當(dāng)前關(guān)鍵幀的幀圖像數(shù)據(jù))、前一個(gè)關(guān)鍵幀圖像、運(yùn)動(dòng)被攝體信息，以及此時(shí)已有的合成圖像數(shù)據(jù)項(xiàng)合成，以便生成要被輸出的圖像。
請(qǐng)注意，前一個(gè)關(guān)鍵幀圖像是從輸入圖像選擇單元2輸入的，并以前被用于合成處理。前一個(gè)關(guān)鍵幀圖像可以存儲(chǔ)在層處理單元3中，直到當(dāng)前處理開始。或者，前一個(gè)關(guān)鍵幀圖像可以存儲(chǔ)在合成圖像更新保持單元5中，并且當(dāng)合成處理開始時(shí)該前一個(gè)關(guān)鍵幀圖像和前一個(gè)合成圖像數(shù)據(jù)項(xiàng)可以一同從合成圖像更新保持單元5被讀取。
下面參考圖7A和圖7B描述輸入圖像(當(dāng)前關(guān)鍵幀)和前一個(gè)關(guān)鍵幀的合成處理的概念。
當(dāng)前輸入關(guān)鍵幀通過由層分離子單元31執(zhí)行的上述處理已經(jīng)被分離成運(yùn)動(dòng)被攝體層和其余的背景層。
另外，前一個(gè)關(guān)鍵幀已經(jīng)被分離成運(yùn)動(dòng)被攝體層和其余的背景層。
圖7A和圖7B示出這四個(gè)層的合成處理。
如圖7A所示，最新的輸入幀圖像數(shù)據(jù)(當(dāng)前關(guān)鍵幀)的運(yùn)動(dòng)被攝體層具有最高優(yōu)先級(jí)。
另外，通過前一個(gè)合成處理生成的幀圖像數(shù)據(jù)(前一個(gè)關(guān)鍵幀)的運(yùn)動(dòng)被攝體層具有第二優(yōu)先級(jí)。
另外，最新的輸入幀圖像數(shù)據(jù)(當(dāng)前關(guān)鍵幀)的其余的背景層具有第三優(yōu)先級(jí)。
另外，通過前一個(gè)合成處理生成的幀圖像數(shù)據(jù)(前一個(gè)關(guān)鍵幀)
的其余的背景層具有第四優(yōu)先級(jí)。
隨后，這四個(gè)層圖像基于優(yōu)先級(jí)被合成，從而獲得如圖7B中所
示的合成圖像。
通過將這樣的合成圖像與已有的合成圖像數(shù)據(jù)項(xiàng)的預(yù)定區(qū)域合成，新的運(yùn)動(dòng)被攝體圖像被加入到包含多個(gè)以前的關(guān)鍵幀的已有的合成圖像中。
例如，圖8示出在運(yùn)動(dòng)序列靜止圖像最終生成之前在某個(gè)時(shí)間的 合成狀態(tài)。也就是說，示出了當(dāng)對(duì)當(dāng)前輸入關(guān)鍵幀F(xiàn)x執(zhí)行合成處理 時(shí)的合成狀態(tài)。
在圖8中示出當(dāng)前輸入關(guān)鍵幀F(xiàn)x的運(yùn)動(dòng)序列范圍和已有的合成 圖像數(shù)據(jù)項(xiàng)的區(qū)域。
為了通過合成處理添加當(dāng)前輸入關(guān)鍵幀F(xiàn)x的圖像，當(dāng)前輸入關(guān) 鍵幀F(xiàn)x的運(yùn)動(dòng)序列有效區(qū)的像素可以直接被復(fù)制到圖8中示出的新 的合成圖像數(shù)據(jù)項(xiàng)中的區(qū)域B中。
另外，已有的合成圖像數(shù)據(jù)項(xiàng)的像素，即，在前一個(gè)關(guān)鍵幀的合 成處理完成時(shí)獲得的合成圖像數(shù)據(jù)項(xiàng)的像素可以被復(fù)制到新的合成 圖像數(shù)據(jù)項(xiàng)中的區(qū)域C中。
在這種情況下，區(qū)域A出現(xiàn)了問題。也就是說，在區(qū)域A中， 在當(dāng)前關(guān)鍵幀F(xiàn)x中的運(yùn)動(dòng)被攝體FxD的圖像與在前一個(gè)關(guān)鍵幀中的 運(yùn)動(dòng)被攝體F(x-l)D的圖像部分地重疊。因此，對(duì)于區(qū)域A，使用如 圖7A所示的優(yōu)先級(jí)合成這些層。
也就是說，對(duì)于區(qū)域A，如圖7所示，層合成子單元33使用當(dāng) 前關(guān)鍵幀F(xiàn)x和前一個(gè)關(guān)鍵幀合成圖像以便生成合成圖像。對(duì)于區(qū)域 B，直接使用對(duì)應(yīng)于區(qū)域B的當(dāng)前關(guān)鍵幀F(xiàn)x的圖像。以這種方式， 從當(dāng)前關(guān)鍵幀圖像和前一個(gè)關(guān)鍵幀圖像獲得對(duì)于區(qū)域(A+B)的合成 圖像。隨后，層合成子單元33將區(qū)域A和區(qū)域B的合成圖像與從合 成圖像更新保持單元5讀取的已有的合成圖像數(shù)據(jù)項(xiàng)合成。也就是說， 層合成子單元33將當(dāng)前生成的區(qū)域(A+B)拼接到已有的合成圖像 數(shù)據(jù)項(xiàng)的區(qū)域C。
以這種方式，可以獲得圖8中示出的合成圖像數(shù)據(jù)項(xiàng)。
所獲得的合成圖像數(shù)據(jù)項(xiàng)被存儲(chǔ)在合成圖像更新保持單元5中， 并以相似方式用于對(duì)下一個(gè)關(guān)鍵幀F(xiàn) (x+l)的下一個(gè)合成處理中。
以這種方式，對(duì)于在合成處理中圖像重疊的區(qū)域A，執(zhí)行在圖 7A和圖7B中示出的層合成處理。因此，在不失去運(yùn)動(dòng)被攝體FxD
27的圖像的任何部分的情況下，將當(dāng)前關(guān)鍵幀加入到已有的合成圖像數(shù)
據(jù)項(xiàng)。作為結(jié)果，如圖2所示，即使在使用多個(gè)關(guān)鍵幀時(shí)，也可以生 成最佳地表示運(yùn)動(dòng)被攝體的運(yùn)動(dòng)的運(yùn)動(dòng)序列圖像。
下面參考圖9和圖10描述由圖像處理設(shè)備1執(zhí)行的處理的具體例子。
圖9是為了生成運(yùn)動(dòng)序列靜止圖像而由輸入圖像選擇單元2、層 處理單元3、圖像輸出單元4和合成圖像更新保持單元5執(zhí)行的處理 的流程圖。
在步驟F101到步驟F104中的處理由輸入圖像選擇單元2執(zhí)行。 如前所述，輸入圖像選擇單元2從圖像輸入單元10接收時(shí)間系 列幀圖像數(shù)據(jù)項(xiàng)。每當(dāng)輸入圖像選擇單元2接收幀圖像數(shù)據(jù)項(xiàng)之一時(shí)， 輸入圖像選擇單元2在步驟F102中進(jìn)一步從運(yùn)動(dòng)被攝體信息生成單 元11 (或者運(yùn)動(dòng)被攝體信息輸入單元12)接收對(duì)應(yīng)于接收到的幀圖 像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體信息。
請(qǐng)注意，在步驟F101中，確定形成運(yùn)動(dòng)序列靜止圖像的所有的 一系列幀圖像數(shù)據(jù)項(xiàng)是否都已經(jīng)被接收到，也就是說，確定從圖像輸 入單元10提供幀圖像數(shù)據(jù)項(xiàng)是否完成。也就是說，本處理從步驟F101 前進(jìn)到步驟F102，直到輸入了用于生成運(yùn)動(dòng)序列靜止圖像的預(yù)定數(shù)量 的關(guān)鍵幀。
在輸入圖像選擇單元2在步驟F102中接收對(duì)應(yīng)于該幀圖像數(shù)據(jù) 項(xiàng)的被攝體圖像信息和幀圖像數(shù)據(jù)項(xiàng)后，輸入圖像選擇單元2在步驟 F103中確定該幀圖像數(shù)據(jù)項(xiàng)是否被選作關(guān)鍵幀。例如，當(dāng)如圖3所示 的那樣選擇關(guān)鍵幀時(shí)，每五幀(第一幀、第六幀、第十一幀……)被 選作關(guān)鍵幀。
如果輸入的幀圖像數(shù)據(jù)項(xiàng)被選作關(guān)鍵幀，那么由輸入圖像選擇單 元2執(zhí)行的處理前進(jìn)到步驟F104。然而，如果輸入幀圖像數(shù)據(jù)項(xiàng)沒有 被選作關(guān)鍵幀，那么處理返回到步驟FIOI,其中，輸入圖像選擇單元 2接收下一個(gè)幀圖像數(shù)據(jù)項(xiàng)。也就是說，在運(yùn)動(dòng)序列靜止圖像的生成 處理中，除了關(guān)鍵幀以外的幀圖像數(shù)據(jù)項(xiàng)不用于合成處理。如果在步驟F102中接收到的幀圖像數(shù)據(jù)項(xiàng)被選作關(guān)鍵幀，那么 輸入圖像選擇單元2執(zhí)行處理，從而使接收到的幀圖像數(shù)據(jù)項(xiàng)可以用 于合成處理。因此，在步驟F104中，輸入圖像選擇單元2執(zhí)行坐標(biāo) 計(jì)算。在坐標(biāo)計(jì)算中，計(jì)算在當(dāng)前幀圖像數(shù)據(jù)項(xiàng)與合成圖像合成時(shí)使 用的當(dāng)前幀圖像數(shù)據(jù)項(xiàng)的像素的位置。也就是說，計(jì)算當(dāng)前幀圖像數(shù) 據(jù)要被合成到其中的最終合成圖像的尺寸(運(yùn)動(dòng)序列靜止圖像的尺 寸)內(nèi)的像素范圍。
輸入圖像選擇單元2將在步驟F104計(jì)算得到的坐標(biāo)與當(dāng)前幀圖 像數(shù)據(jù)項(xiàng)(當(dāng)前關(guān)鍵幀)和運(yùn)動(dòng)被攝體信息一同輸出到層處理單元3。
在步驟F105中，層處理單元3的層分離子單元31使用接收到 的幀圖像數(shù)據(jù)項(xiàng)(當(dāng)前關(guān)鍵幀)、接收到的運(yùn)動(dòng)被攝體信息、前一個(gè) 關(guān)鍵幀圖像和關(guān)于前一個(gè)關(guān)鍵幀圖像的運(yùn)動(dòng)被攝體信息生成四個(gè)層。 也就是說，如圖4A和圖4B所示，層分離子單元31將輸入幀圖像數(shù) 據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層。隨后，如圖7A所示，層分離子 單元31生成當(dāng)前關(guān)鍵幀的運(yùn)動(dòng)被攝體層、前一個(gè)關(guān)鍵幀的運(yùn)動(dòng)被攝 體層、當(dāng)前關(guān)鍵幀的背景層和前一個(gè)關(guān)鍵幀的背景層。
請(qǐng)注意，被存儲(chǔ)并在輸入前一個(gè)關(guān)鍵幀時(shí)在步驟F105中執(zhí)行的 層分離處理中生成的運(yùn)動(dòng)被攝體層和背景層可以用于當(dāng)前處理。
當(dāng)生成四個(gè)層時(shí)，在圖7A中示出的層圖像可以被生成并被存儲(chǔ) 在存儲(chǔ)器區(qū)域中。但是，在本例中，這四個(gè)層是通過生成"層分離信 息"而生成的。
該層分離信息指示哪一個(gè)層最終被選作前一個(gè)關(guān)鍵幀圖像和當(dāng) 前關(guān)鍵幀圖像的運(yùn)動(dòng)序列有效區(qū)的重疊部分，也就是說，被選作在圖 8中示出的要被合成的區(qū)域的像素。
本處理在圖10中示出。在圖10中示出的處理中，在當(dāng)前關(guān)鍵幀 中的運(yùn)動(dòng)序列有效區(qū)的所有像素中的每一個(gè)都成為確定處理的目標(biāo)。
在步驟F200中，層處理單元3選擇當(dāng)前關(guān)鍵幀的運(yùn)動(dòng)序列有效 區(qū)的第一像素作為確定目標(biāo)。隨后，對(duì)該目標(biāo)像素執(zhí)行在步驟F201 至步驟F210中的確定處理。
29直到在步驟F211中對(duì)于當(dāng)前關(guān)鍵幀中的運(yùn)動(dòng)序列有效區(qū)的所有 像素都完成了確定處理，當(dāng)在步驟F212中選擇下一個(gè)目標(biāo)像素作為理。
在步驟F201中，層處理單元3確定目標(biāo)像素是否是在其中圖像 要被合成的區(qū)域中的像素。
如果目標(biāo)像素不是在其中圖像要被合成的區(qū)域中的像素，那么本 處理前進(jìn)到步驟F202，其中，層處理單元3選擇當(dāng)前關(guān)鍵幀中的運(yùn)動(dòng) 序列有效區(qū)的目標(biāo)像素作為要復(fù)制到合成的結(jié)果圖像(層合成圖像) 中的像素。例如，"0"的像素值存儲(chǔ)在于目標(biāo)像素的層分離信息中。 隨后，本處理前進(jìn)到步驟F211。
例如，對(duì)于對(duì)應(yīng)于在圖8中示出的區(qū)域B的像素，本處理從步 驟F201前進(jìn)到步驟F202。
然而，如果目標(biāo)像素是要被合成的區(qū)域中的像素，那么本處理前 進(jìn)到步驟F203，其中，層處理單元3確定該目標(biāo)像素是否是在當(dāng)前關(guān) 鍵幀的運(yùn)動(dòng)被攝體區(qū)域中的像素。如果該目標(biāo)像素是在當(dāng)前關(guān)鍵幀的 運(yùn)動(dòng)被攝體區(qū)域中的像素，那么本處理前進(jìn)到步驟F204,其中，層處 理單元3將'T，的像素值存儲(chǔ)在該目標(biāo)像素的層分離信息中。隨后， 本處理前進(jìn)到步驟F211。如圖7A所示，像素值"1"表示"最高優(yōu) 先級(jí)"。
例如，對(duì)于當(dāng)前關(guān)鍵幀的運(yùn)動(dòng)被攝體區(qū)域中的像素，即，在圖8 中示出的區(qū)域A(要被合成的范圍)中的像素(例如，高爾夫球棒的 頂部的像素)，本處理從步驟F203前進(jìn)到步驟F204。
然而，如果在步驟F203中確定目標(biāo)像素不是在當(dāng)前關(guān)鍵幀的運(yùn) 動(dòng)被攝體區(qū)域中的像素，那么本處理前進(jìn)到步驟F205，其中，層處理 單元3確定該目標(biāo)像素是否對(duì)應(yīng)于前一個(gè)關(guān)鍵幀的運(yùn)動(dòng)被攝體區(qū)域。 如果該目標(biāo)像素對(duì)應(yīng)于前一個(gè)關(guān)鍵幀的運(yùn)動(dòng)被攝體區(qū)域，那么本處理 前進(jìn)到步驟F206，其中，層處理單元3將"2"的像素值存儲(chǔ)在該目 標(biāo)像素的層分離信息中。隨后，本處理前進(jìn)到步驟F211。如圖7A所
30示，像素值"2"表示"第二優(yōu)先級(jí)，，。
例如，對(duì)于前一個(gè)關(guān)鍵幀的運(yùn)動(dòng)被攝體區(qū)域中的像素，即，在圖 8中示出的區(qū)域A (要被合成的范圍)中的像素(例如，形成運(yùn)動(dòng)被 攝體F(x-l)D的像素)，本處理從步驟F205前進(jìn)到步驟F206。
然而，如果在步驟F205中確定目標(biāo)像素不是在前一個(gè)關(guān)鍵幀的 運(yùn)動(dòng)被攝體區(qū)域中的像素，那么本處理前進(jìn)到步驟F207,其中，層處 理單元3確定該目標(biāo)像素是否對(duì)應(yīng)于當(dāng)前關(guān)鍵幀的背景區(qū)域。如果該 目標(biāo)像素對(duì)應(yīng)于當(dāng)前關(guān)鍵幀的背景區(qū)域，那么本處理前進(jìn)到步驟 F208，其中，層處理單元3將"3"的像素值存儲(chǔ)在該目標(biāo)像素的層 分離信息中。隨后，本處理前進(jìn)到步驟F211。如圖7A所示，像素值 "3"表示"第三優(yōu)先級(jí)"。
然而，如果在步驟F207中確定目標(biāo)像素不是在當(dāng)前關(guān)鍵幀的背 景區(qū)域中的像素，那么本處理前進(jìn)到步驟F209，其中，層處理單元3 確定該目標(biāo)像素是否是前一個(gè)關(guān)鍵幀的背景區(qū)域中的像素。如果該目 標(biāo)像素是前一個(gè)關(guān)鍵幀的背景區(qū)域中的像素，那么本處理前進(jìn)到步驟 F210，其中，層處理單元3將"4"的像素值存儲(chǔ)在該目標(biāo)像素的層 分離信息中。隨后，本處理前進(jìn)到步驟F211。如圖7A所示，像素值 "4"表示"第四優(yōu)先級(jí)"。
執(zhí)行上述處理，直到在步驟F211中確定對(duì)當(dāng)前關(guān)鍵幀的運(yùn)動(dòng)序 列有效區(qū)的所有像素所進(jìn)行的確定都完成了 。
如圖7A所示，要被合成的該區(qū)域的四個(gè)層從底部起是"具有第 四優(yōu)先級(jí)的前一個(gè)關(guān)鍵幀圖像的背景層"、"具有第三優(yōu)先級(jí)的當(dāng)前 關(guān)鍵幀圖像的其余的背景層，，、"具有第二優(yōu)先級(jí)的前一個(gè)關(guān)鍵幀圖 像的運(yùn)動(dòng)被攝體層"和"具有最高優(yōu)先級(jí)的當(dāng)前關(guān)鍵幀圖像的運(yùn)動(dòng)被 攝體層，，。這些層從底部起順序地層疊，并從頂部觀看。以這種方式， 生成輸出圖像。也就是說，上層具有優(yōu)先級(jí)。因此，當(dāng)有效像素包含 在兩層的上層中時(shí)，不管下層的像素是否有效或者下層的像素是否具 有任何像素值，下層都無效。
通過在圖10中示出的處理，對(duì)于要被合成的區(qū)域中的每一個(gè)像素，層分離信息包含有效層編號(hào)。
例如，當(dāng)層分離信息中的像素的像素值為"1"時(shí)，從具有最高 優(yōu)先級(jí)的當(dāng)前關(guān)鍵幀圖像的運(yùn)動(dòng)被攝體層提取的像素被置于所得到 的圖像中的該像素的位置處。
另外，例如，當(dāng)層分離信息中的像素的像素值為"2"時(shí)，從具 有第二優(yōu)先級(jí)的前一個(gè)關(guān)鍵幀圖像的運(yùn)動(dòng)被攝體層提取的像素被置 于該像素的位置處。
也就是說，根據(jù)層分離信息表示在圖7A中示出的每一層。
隨后，在圖9中示出的步驟F106中，層處理單元3的層處理子 單元32處理該圖像。也就是說，層處理子單元32執(zhí)行對(duì)層進(jìn)行合成 所必需的處理。處理的例子包括根據(jù)輸入圖像的尺寸和從合成圖像中 的輸入圖像生成的圖像的尺寸放大或縮小該圖像，以及旋轉(zhuǎn)該圖像。 如果輸入圖像的像素直接包含在合成圖像中，那么放大或縮小操作、 或者旋轉(zhuǎn)操作可能是不必要的。
在步驟F107中，層處理單元3合成這些層。在本處理中，當(dāng)前 關(guān)鍵幀和前一個(gè)關(guān)鍵幀被合成，從而生成層合成圖像。如在本文使用 的，術(shù)語"層合成圖像"是指在圖8中示出的區(qū)域(A+B)中的圖像。
對(duì)于在圖10中示出的步驟F202中選擇的具有"0"的像素值的 像素，即，在圖8中示出的區(qū)域B中的像素，從當(dāng)前關(guān)鍵幀提取的像 素被復(fù)制到層合成圖像中。
對(duì)要被合成的區(qū)域(即，區(qū)域A)中的每一個(gè)像素執(zhí)行層合成操作。
在這種情況下，針對(duì)每一個(gè)像素，參考層分離信息。對(duì)于具有"1" 的像素值的像素的位置，對(duì)應(yīng)的像素從當(dāng)前關(guān)鍵幀提取并在這些位置 處被復(fù)制到層合成圖像。對(duì)于具有"2"的像素值的像素的位置，對(duì) 應(yīng)的像素從前一個(gè)關(guān)鍵幀提取并在這些位置處被復(fù)制到層合成圖像。
對(duì)于具有"3"的像素值的像素的位置，對(duì)應(yīng)的像素從當(dāng)前關(guān)鍵 幀提取并在這些位置處被復(fù)制到層合成圖像。另外，對(duì)于具有"4" 的像素值的像素的位置，對(duì)應(yīng)的像素從前一個(gè)關(guān)鍵幀提取并在這些位
32置處被復(fù)制到層合成圖像。
如上所述，層分離信息包括指示選擇四個(gè)層中的哪一個(gè)層的信 息，并且被選層中的像素用于每個(gè)像素位置。因此，對(duì)于每個(gè)位置， 根據(jù)層分離信息中的像素值從當(dāng)前關(guān)鍵幀或前一個(gè)關(guān)鍵幀提取像素，
并且將提取的像素置于該位置處。以這種方式，對(duì)于在圖8中示出的 要被合成的范圍，根據(jù)在圖7A和圖7B中示出的優(yōu)先級(jí)執(zhí)行合成處理。
通過上述處理，生成對(duì)應(yīng)于在圖8中的區(qū)域(A+B)的層合成圖 像。如圖8所示，在該層合成圖像中，當(dāng)前關(guān)鍵幀F(xiàn)x的運(yùn)動(dòng)被攝體 FxD與前一個(gè)關(guān)鍵幀的運(yùn)動(dòng)被攝體F(x-l)D部分地重疊，并且當(dāng)前關(guān) 鍵幀F(xiàn)x的運(yùn)動(dòng)被攝體FxD沒有失去任何圖像地被表示。
請(qǐng)注意，在層合成處理中，最高優(yōu)先級(jí)被賦予給當(dāng)前關(guān)鍵幀的運(yùn) 動(dòng)被攝體層。因此，在當(dāng)前運(yùn)動(dòng)被攝體圖像和前一個(gè)運(yùn)動(dòng)被攝體圖像 的重疊部分，最高優(yōu)先級(jí)總是被賦予給當(dāng)前運(yùn)動(dòng)被攝體圖像(即，在 最新幀中的運(yùn)動(dòng)祐^聶體圖像)。
在步驟F108中，層處理單元3將層合成圖像與已有的前一個(gè)合 成圖像合成。已有的前一個(gè)合成圖像數(shù)據(jù)項(xiàng)存儲(chǔ)在合成圖像更新保持 單元5中。因此，層處理單元3從合成圖像更新保持單元5讀取已有 的前一個(gè)合成圖像數(shù)據(jù)項(xiàng)，并將在步驟F107中生成的層合成圖像與
已有的前一個(gè)合成圖像數(shù)據(jù)項(xiàng)合成。
例如，如圖8所示，此時(shí)，已有的前一個(gè)合成圖像數(shù)據(jù)項(xiàng)包含一 起合成的區(qū)域C和區(qū)域A中的關(guān)鍵幀。隨后，在區(qū)域A和區(qū)域B中 的層合成圖像被復(fù)制到這樣合成的圖像數(shù)據(jù)項(xiàng)。因此，在區(qū)域A中的 圖像被層合成圖像所蓋寫。以這種方式，生成如圖8所示的合成圖像 數(shù)據(jù)項(xiàng)。
在步驟F109中，生成的合成圖像數(shù)據(jù)從層處理單元3傳輸?shù)綀D 像輸出單元4。 一旦接收到該合成圖像數(shù)據(jù)，圖像輸出單元4就將接 收到的合成圖像數(shù)據(jù)提供給合成圖像更新保持單元5。
在步驟F110中，合成圖像更新保持單元5存儲(chǔ)所提供的合成圖 像數(shù)據(jù)，該合成圖像數(shù)據(jù)在下一次合成處理中將被用作已有的合成圖像數(shù)據(jù)項(xiàng)。也就是說，合成圖像更新保持單元5使用當(dāng)前生成的合成 圖像數(shù)據(jù)項(xiàng)替換已有的合成圖像數(shù)據(jù)項(xiàng)。
其后，本處理返回到步驟F101,其中，開始對(duì)下一個(gè)幀圖像數(shù) 據(jù)的處理。
在圖9中示出的例子中，在步驟F107中合成這些層。隨后，在 步驟F108中層合成圖像與已有的合成圖像數(shù)據(jù)項(xiàng)合成。請(qǐng)注意，在 輸入第一關(guān)鍵幀時(shí)執(zhí)行的處理中，合成處理不是必要的。此時(shí)，沒有 發(fā)現(xiàn)已有的合成圖像數(shù)據(jù)項(xiàng)。
在這種情況下，在步驟F107和步驟F108中，在第一關(guān)鍵幀中 的圖像的像素被復(fù)制到具有如圖8所示的尺寸的合成圖像數(shù)據(jù)項(xiàng)的右 上區(qū)域中，從而生成第一合成圖像數(shù)據(jù)項(xiàng)。在步驟F110中，生成的 合成圖像數(shù)據(jù)項(xiàng)存儲(chǔ)在合成圖像更新保持單元5中。
在輸入第二關(guān)鍵幀后，發(fā)現(xiàn)了前一個(gè)關(guān)鍵幀和已有的合成圖像。
因此，可以執(zhí)行上述處理。
為了生成合成圖像數(shù)據(jù)項(xiàng)，可以執(zhí)行除了在步驟F107和步驟 F108中示出的處理以外的各種操作。例如，對(duì)于區(qū)域B中的4象素， 這些像素可以首先被復(fù)制到已有的合成圖像數(shù)據(jù)項(xiàng)中。隨后，可以生 成區(qū)域A的層合成圖像，并且生成的合成圖像可以被復(fù)制到(蓋寫) 已有的合成圖像數(shù)據(jù)項(xiàng)的區(qū)域A。
通過每當(dāng)輸入關(guān)鍵幀時(shí)重復(fù)在步驟F101到步驟F110中執(zhí)行的 上述處理，可以獲得如圖2所示的最終的合成圖像數(shù)據(jù)項(xiàng)。
此時(shí)，在步驟F101中，確定是否輸入了所有的幀。因此，本處 理前進(jìn)到步驟Flll，其中，圖像輸出單元4將當(dāng)前存儲(chǔ)的合成圖像數(shù) 據(jù)項(xiàng)(即，如圖2所示的合成圖像數(shù)據(jù)項(xiàng))以運(yùn)動(dòng)序列靜止圖像數(shù)據(jù) 的形式輸出到輸出裝置40。
以這種方式，根據(jù)本實(shí)施例的圖像處理設(shè)備1生成一個(gè)運(yùn)動(dòng)序列 靜止圖像數(shù)據(jù)項(xiàng)并輸出該運(yùn)動(dòng)序列靜止圖像數(shù)據(jù)項(xiàng)。
如上所述，根據(jù)本實(shí)施例，當(dāng)自動(dòng)生成運(yùn)動(dòng)序列靜止圖像時(shí)，可 以實(shí)現(xiàn)由于可移動(dòng)范圍的擴(kuò)展而引起的對(duì)運(yùn)動(dòng)被攝體的最佳表示和
34由于運(yùn)動(dòng)被攝體的大量圖像的布置而引起的對(duì)時(shí)間系列運(yùn)動(dòng)序列的 精確表示。
特別是，通過合成這些層，每一個(gè)運(yùn)動(dòng)被攝體圖像都可以在不失 去例如高爾夫球棒的頂部的圖像的情況下最佳地表示。另外，由于可 以布置運(yùn)動(dòng)被攝體的大量圖像，因此可以表示較短時(shí)間間隔的運(yùn)動(dòng)序 列。
因此，例如，可以輕易地獲得進(jìn)行運(yùn)動(dòng)的人的形態(tài)、野生動(dòng)物的 復(fù)雜運(yùn)動(dòng)或者在實(shí)驗(yàn)室中發(fā)生的自然現(xiàn)象。另外，由于不需要諸如對(duì) 圖像數(shù)據(jù)的剪切粘貼操作的手動(dòng)操作，因此可以有利地減少用戶的負(fù) 擔(dān)。
此夕卜，可以通過使用圖像拾取設(shè)備捕獲圖像而獲取多個(gè)幀圖像數(shù) 據(jù)項(xiàng)并且可以捕獲連續(xù)的靜止圖像或者運(yùn)動(dòng)圖像的任何圖像處理設(shè) 備都可以用作圖像處理設(shè)備1。例如，圖像處理設(shè)備1可以被合并到 圖像拾取設(shè)備或用于再現(xiàn)多個(gè)捕獲的幀圖像數(shù)據(jù)的再現(xiàn)設(shè)備中。或 者，圖像處理設(shè)備1可以被合并到接收多個(gè)傳輸?shù)牟东@的幀圖像數(shù)據(jù) 的設(shè)備中。
因此，例如，圖像處理設(shè)備l可以廣泛地應(yīng)用于蜂窩電話、個(gè)人
數(shù)字助理(PDA)、個(gè)人計(jì)算機(jī)、視頻重放設(shè)備或者視頻編輯設(shè)備。 3.用于生成運(yùn)動(dòng)序列圖像的處理的第二例
下面描述主要由輸入圖像選擇單元2、層處理單元3、圖像輸出 單元4和合成圖像更新保持單元5執(zhí)行的用于生成運(yùn)動(dòng)序列圖像的處 理的第二例。
在本例中，生成如圖ll到圖20所示的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像。參考 圖21到圖27描述具體的處理例子。
請(qǐng)注意，只有在下面描述的第二例的示例性生成處理中使用的合 成方法與第一例的合成方法不同。生成的運(yùn)動(dòng)序列圖像可以是靜止圖 像或者運(yùn)動(dòng)圖像。
如圖30和圖31所示，可以使用生成處理的第一例生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像。另外，可以使用下面描述的生成處理的第二例生成運(yùn)動(dòng)序 列靜止圖像。
接下來描述通過在本例中使用的圖像處理設(shè)備1生成的運(yùn)動(dòng)序 列運(yùn)動(dòng)圖像。
在上述的靜止圖像的情況下，只使用關(guān)鍵幀。但是，在運(yùn)動(dòng)圖像 的情況下，也使用了除了關(guān)鍵幀以外的幀。請(qǐng)注意，關(guān)鍵幀被包含在 最終的合成圖像中，并且除了關(guān)鍵幀以外的幀被臨時(shí)地包含在輸出圖
像(運(yùn)動(dòng)圖像)中。此外，請(qǐng)注意，關(guān)鍵幀是從如圖3所示的幀圖像 數(shù)據(jù)項(xiàng)中選擇的。
圖ll示出當(dāng)輸入第一幀圖像數(shù)據(jù)項(xiàng)(例如，關(guān)鍵幀)F1時(shí)的合 成圖像數(shù)據(jù)項(xiàng)。在圖11到圖17中，關(guān)鍵幀由附圖標(biāo)記"(k)"表 示。
圖12示出當(dāng)輸入不是關(guān)鍵幀的第二幀圖像數(shù)據(jù)項(xiàng)F2(在下文中 稱為"非關(guān)鍵幀")時(shí)的合成圖像數(shù)據(jù)項(xiàng)。在這種情況下，非關(guān)鍵幀 F2被合成到從關(guān)鍵幀F(xiàn)l移動(dòng)預(yù)定距離的像素范圍中。如果運(yùn)動(dòng)被攝 體部分地重疊，則最高優(yōu)先級(jí)總是被賦予給最新的幀，與上述生成處 理的第一例中一樣。
在圖像合成處理中，輸入幀圖像數(shù)據(jù)項(xiàng)與已有的合成圖像數(shù)據(jù)項(xiàng) 合成。當(dāng)合成非關(guān)鍵幀F(xiàn)2時(shí)，已有的合成圖像數(shù)據(jù)項(xiàng)是如圖11所示 的合成圖像數(shù)據(jù)項(xiàng)。
圖13示出當(dāng)輸入第三非關(guān)鍵幀F(xiàn)3時(shí)的合成圖像數(shù)據(jù)項(xiàng)。在這 種情況下，非關(guān)鍵幀F(xiàn)3被合成到從圖12中示出的非關(guān)鍵幀F(xiàn)2移動(dòng) 預(yù)定距離的像素范圍中。
如上所述，在圖像合成處理中，輸入幀圖像數(shù)據(jù)項(xiàng)與已有的合成 圖像數(shù)據(jù)項(xiàng)合成。但是，當(dāng)輸入非關(guān)鍵幀時(shí)，此時(shí)的合成圖像數(shù)據(jù)項(xiàng) 并不用作已有的合成圖像數(shù)據(jù)項(xiàng)。
因此，當(dāng)輸入非關(guān)鍵幀F(xiàn)3時(shí)，已有的合成圖像數(shù)據(jù)項(xiàng)仍然是在 圖11中示出的合成圖像數(shù)據(jù)項(xiàng)。
也就是說，前一個(gè)非關(guān)鍵幀F(xiàn)2沒有用于合成處理，并且非關(guān)鍵
36幀F(xiàn)3與此時(shí)已有的合成圖像數(shù)據(jù)項(xiàng)合成。因此，如圖13所示，在幀 圖像數(shù)據(jù)項(xiàng)Fl和F3中的運(yùn)動(dòng)被攝體出現(xiàn)在圖像中。
盡管沒有示出，但是，當(dāng)輸入第四非關(guān)鍵幀F(xiàn)4時(shí)，以相似的方 式生成關(guān)鍵幀F(xiàn)1與非關(guān)鍵幀F(xiàn)4的合成圖像數(shù)據(jù)項(xiàng)。此外，當(dāng)輸入第 五非關(guān)鍵幀F(xiàn)5時(shí)，以相似的方式生成關(guān)鍵幀F(xiàn)l與非關(guān)鍵幀F(xiàn)5的合 成圖像數(shù)據(jù)項(xiàng)。也就是說，在任一情況中，輸入幀圖像數(shù)據(jù)與此時(shí)已 有的合成圖像數(shù)據(jù)項(xiàng)合成。
類似地，當(dāng)輸入關(guān)鍵幀F(xiàn)6時(shí)，關(guān)鍵幀F(xiàn)6與已有的合成圖像數(shù) 據(jù)項(xiàng)合成。
圖14示出當(dāng)輸入第二關(guān)鍵幀F(xiàn)6時(shí)生成的合成圖像數(shù)據(jù)項(xiàng)。關(guān) 鍵幀F(xiàn)6與已有的合成圖像數(shù)據(jù)項(xiàng)(在這種情況下，只有關(guān)鍵幀F(xiàn)1) 合成。
但是，此時(shí)，在圖14中示出的合成圖像數(shù)據(jù)項(xiàng)作為已有的圖像 數(shù)據(jù)項(xiàng)存儲(chǔ)。
除了在輸入緊鄰的前一個(gè)關(guān)鍵幀時(shí)生成的合成圖像數(shù)據(jù)項(xiàng)(即， 前一個(gè)合成圖像數(shù)據(jù)項(xiàng))外，還可以使用當(dāng)輸入在緊鄰的前一個(gè)關(guān)鍵 幀之前的關(guān)鍵幀時(shí)生成的合成圖像數(shù)據(jù)項(xiàng)。
例如，在下面的具體處理例子中，使用前一個(gè)合成圖像數(shù)據(jù)項(xiàng)和 最后一個(gè)之前的合成圖像數(shù)據(jù)項(xiàng)。因此，在本例中，也使用前一個(gè)合 成圖像數(shù)據(jù)項(xiàng)和最后一個(gè)之前的合成圖像數(shù)據(jù)項(xiàng)。
請(qǐng)注意，為了在給每個(gè)像素分配優(yōu)先級(jí)時(shí)執(zhí)行合成處理，使用已 有的合成圖像。因此，可以根據(jù)運(yùn)動(dòng)被攝體的重疊程度確定使用多少 個(gè)以前合成的圖像數(shù)據(jù)項(xiàng)。例如，可以在合成處理中使用最后一個(gè)之 前的第二合成圖像數(shù)據(jù)項(xiàng)和最后一個(gè)之前的第三合成圖像數(shù)據(jù)項(xiàng)。
在生成圖14所示的合成圖像數(shù)據(jù)項(xiàng)后，將前一個(gè)合成圖像數(shù)據(jù) 項(xiàng)(在圖14中示出的合成圖像數(shù)據(jù)項(xiàng))和最后一個(gè)之前的合成圖像 數(shù)據(jù)項(xiàng)(在圖11中示出的合成圖像數(shù)據(jù)項(xiàng))存儲(chǔ)，以便用于后面的 合成處理.
圖15示出當(dāng)輸入非關(guān)鍵幀F(xiàn)7時(shí)的合成圖像數(shù)據(jù)項(xiàng)。與在上述
37情況中一樣，在這種情況下，非關(guān)鍵幀F(xiàn)7的圖像與已有的合成圖像 數(shù)據(jù)項(xiàng)合成，從而生成關(guān)鍵幀F(xiàn)l和F6中的圖像與非關(guān)鍵幀F(xiàn)7中的 圖像的合成圖像。
圖16示出當(dāng)進(jìn)一步輸入非關(guān)鍵幀F(xiàn)8時(shí)的合成圖像數(shù)據(jù)項(xiàng)。與 在上述情況中一樣，在這種情況下，非關(guān)鍵幀F(xiàn)8的圖像與已有的合 成圖像數(shù)據(jù)項(xiàng)合成，從而生成關(guān)鍵幀F(xiàn)l和F6中的圖像與非關(guān)鍵幀 F8中的圖像的合成圖像。
隨后，當(dāng)輸入非關(guān)鍵幀F(xiàn)9和F10時(shí)，執(zhí)行相似的操作。
圖17示出當(dāng)輸入第三關(guān)鍵幀F(xiàn)ll時(shí)的合成圖像數(shù)據(jù)項(xiàng)。此時(shí)， 關(guān)鍵幀F(xiàn)6與已有的合成圖像數(shù)據(jù)項(xiàng)合成。
但是，此時(shí)，在圖17中示出的合成圖像數(shù)據(jù)項(xiàng)也作為已有的合 成圖像數(shù)據(jù)項(xiàng)存儲(chǔ)。另外，此時(shí)，前一個(gè)合成圖像數(shù)據(jù)項(xiàng)被更新為在 圖17中示出的合成圖像項(xiàng)，作為已有的合成圖像數(shù)據(jù)項(xiàng)，并且在前 一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前緊鄰的合成圖像數(shù)據(jù)項(xiàng)被更新為在圖14中 示出的合成圖像，作為已有的合成圖像數(shù)據(jù)項(xiàng)。存儲(chǔ)這些更新的合成 圖像。
如圖11到圖17所示，每當(dāng)順序地輸入幀數(shù)據(jù)(關(guān)鍵幀和非關(guān)鍵 幀)時(shí)執(zhí)行合成處理。結(jié)果，在每一個(gè)時(shí)間，獲得在圖11到圖17之 一中示出的合成圖像數(shù)據(jù)項(xiàng)。例如，每一個(gè)合成圖像數(shù)據(jù)項(xiàng)以運(yùn)動(dòng)圖 像的幀的形式輸出。另外，隨后，每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)，以相似 的方式生成合成圖像數(shù)據(jù)項(xiàng)。以這種方式，輸出該運(yùn)動(dòng)圖像，如圖18 到圖20所示。
也就是說，在每一幀(關(guān)鍵幀或非關(guān)鍵幀)中的被攝體圖像被順 序地合成，從而仍然保留以前幀中的被攝體圖像。每當(dāng)生成該幀的合 成圖像數(shù)據(jù)項(xiàng)時(shí)，輸出該合成圖像數(shù)據(jù)項(xiàng)。
以這種方式，輸出表示例如高爾夫揮桿的運(yùn)動(dòng)序列的運(yùn)動(dòng)序列的 運(yùn)動(dòng)圖像，即運(yùn)動(dòng)序列運(yùn)動(dòng)圖像。
接下來，參考圖21到圖27描述基于上述處理生成運(yùn)動(dòng)序列運(yùn)動(dòng) 圖像的具體的第二例。
38圖21是為了生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像而由輸入圖像選擇單元2、 層處理單元3、圖像輸出單元4和合成圖像更新保持單元5執(zhí)行的示 例性處理的流程圖。
在步驟F301到步驟F305中的處理由輸入圖像選擇單元2執(zhí)行。
如上所述，輸入圖像選擇單元2從圖像輸入單元10接收時(shí)間系 列幀圖像數(shù)據(jù)項(xiàng)。每當(dāng)輸入圖像選擇單元2接收幀圖像數(shù)據(jù)項(xiàng)之一時(shí)， 輸入圖像選擇單元2在步驟F302中進(jìn)一步從運(yùn)動(dòng)被攝體信息生成單 元11 (或者運(yùn)動(dòng)被攝體信息輸入單元12)檢索對(duì)應(yīng)于接收到的幀圖 像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體信息。
請(qǐng)注意，在步驟F301中確定是否接收了形成運(yùn)動(dòng)序列靜止圖像 的所有的一系列幀圖像數(shù)據(jù)項(xiàng)，也就是說，確定從圖像輸入單元10 提供幀圖像數(shù)據(jù)項(xiàng)是否完成。也就是說，本處理從步驟F301前進(jìn)到 步驟F302,直到輸入了用于生成運(yùn)動(dòng)序列靜止圖像的預(yù)定數(shù)量的關(guān)鍵 幀。
在輸入圖像選擇單元2在步驟F302中接收幀圖像數(shù)據(jù)項(xiàng)和對(duì)應(yīng) 于該幀圖像數(shù)據(jù)項(xiàng)的被攝體圖像信息之后，輸入圖像選擇單元2在步 驟F303中確定該幀圖像數(shù)據(jù)項(xiàng)是否要被選作關(guān)鍵幀。例如，當(dāng)如圖3 所示的那樣選擇關(guān)鍵幀時(shí)，每五幀(第一幀、第六幀、第十一幀……) 被選作關(guān)鍵幀。
在確定輸入幀圖像數(shù)據(jù)項(xiàng)是否要被選作關(guān)鍵幀之后，本處理前進(jìn) 到步驟F304，其中，輸入圖像選擇單元2從合成圖像更新保持單元5 檢索已有的前一個(gè)合成圖像數(shù)據(jù)項(xiàng)和在已有的前一個(gè)合成圖像數(shù)據(jù) 項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)。
請(qǐng)注意，在對(duì)形成第一關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)執(zhí)行合成處理之 前，不存在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)和在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的 合成圖像數(shù)據(jù)項(xiàng)。另外，在對(duì)形成第二關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)執(zhí)行合 成處理之前，沒有發(fā)現(xiàn)在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成困像數(shù)據(jù) 項(xiàng)。因此，在步驟F304中，如果前一個(gè)合成圖像數(shù)據(jù)項(xiàng)和在前一個(gè) 合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)此時(shí)存儲(chǔ)在合成圖像更新保持單元5中，那么輸入圖像選擇單元2檢索前一個(gè)合成圖像數(shù)據(jù)項(xiàng)和 在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)。
在步驟F305中，輸入圖像選擇單元2執(zhí)行坐標(biāo)計(jì)算。在坐標(biāo)計(jì) 算中，計(jì)算在當(dāng)前幀圖像數(shù)據(jù)項(xiàng)與合成圖像合成時(shí)使用的當(dāng)前幀圖像 數(shù)據(jù)項(xiàng)(關(guān)鍵幀或非關(guān)鍵幀)的像素的位置。也就是說，計(jì)算當(dāng)前幀 圖像數(shù)據(jù)已經(jīng)被合成到其中的最終合成圖像的尺寸(運(yùn)動(dòng)序列運(yùn)動(dòng)圖 像的屏幕尺寸)內(nèi)的像素范圍。
輸入圖像選擇單元2將在步驟F305中計(jì)算的坐標(biāo)與當(dāng)前幀圖像 數(shù)據(jù)項(xiàng)、關(guān)于當(dāng)前幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體信息、已有的前一個(gè)合 成圖像數(shù)據(jù)項(xiàng)和在已有的前一個(gè)合成圖l象數(shù)據(jù)項(xiàng)之前的合成圖像數(shù) 據(jù)項(xiàng)一起輸出到層處理單元3。
在步驟F306中，層處理單元3執(zhí)行處理確定。
在處理確定中，為了執(zhí)行有效的合成處理，確定要對(duì)經(jīng)過合成處 理的像素范圍內(nèi)的每一個(gè)像素、每一個(gè)像素列以及每一個(gè)像素行上執(zhí) 行哪種合成處理。
請(qǐng)注意，當(dāng)如圖11到圖20所示生成其中時(shí)間系列被攝體圖像沿 水平方向布置的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)，可以針對(duì)每一個(gè)像素或每一個(gè) 像素列進(jìn)行處理確定。相反地，盡管沒有示出，但是，當(dāng)生成其中時(shí) 間系列被攝體圖像沿垂直方向布置的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)，可以針對(duì) 每一個(gè)像素或每一個(gè)像素行進(jìn)行處理確定。基于針對(duì)每個(gè)像素列進(jìn)行 的處理確定來進(jìn)行以下描述，以便與圖11到圖20中示出的例子相對(duì) 應(yīng)。
圖22是示出在步驟F306中執(zhí)行的處理選擇的流程圖。 在本例中，在合成處理中使用當(dāng)前幀圖像數(shù)據(jù)項(xiàng)、前一個(gè)合成圖 像數(shù)據(jù)項(xiàng)和在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)。當(dāng)使用 兩個(gè)已有的合成圖像數(shù)據(jù)項(xiàng)時(shí)，要從其中選擇一個(gè)的處理的數(shù)量是六 (處理P1到處理P6)。如果使用的合成圖像數(shù)據(jù)項(xiàng)的數(shù)量增加(例 如，如果也被使用最后一個(gè)之前的第二合成圖像數(shù)據(jù)項(xiàng))，那么處理 的數(shù)量也增加。
40另外，在合成處理中，使用關(guān)于前一個(gè)關(guān)鍵幀的范圍的信息和包 含在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體信息、以及關(guān)于前一個(gè)關(guān) 鍵幀之前的關(guān)鍵幀的范圍的信息和包含在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之 前的合成圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體信息。這些信息項(xiàng)可以與前一個(gè) 合成圖像數(shù)據(jù)項(xiàng)和在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)
一起被存儲(chǔ)在合成圖像更新保持單元5中并可以在步驟F302中被讀 取。
針對(duì)每一個(gè)像素列(關(guān)注的像素列)，進(jìn)行在圖22中示出的處 理選擇。例如，在圖18中，經(jīng)過處理選擇的像素列是在區(qū)域A1到區(qū) 域A7中的像素列。這些區(qū)域中的每一個(gè)像素列(在圖18中的合成圖 像數(shù)據(jù)項(xiàng)的上部中的像素列)被選作關(guān)注的像素列，并針對(duì)關(guān)注的像 素列進(jìn)行處理選擇。
在步驟F401中，層處理單元3選擇像素列之一作為關(guān)注的像素 列，并獲取該像素列的像素位置(在該合成圖像數(shù)據(jù)項(xiàng)中的像素的坐 標(biāo))。
在步驟F402中，確定關(guān)注的像素列的位置是否在前一個(gè)合成圖 像數(shù)據(jù)項(xiàng)的范圍內(nèi)。在本例中，前一個(gè)合成圖像數(shù)據(jù)項(xiàng)的范圍是在圖 18中示出的區(qū)域A3到區(qū)域A7的范圍中。
如果關(guān)注的像素列不在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)的范圍內(nèi)，那么本 處理前進(jìn)到步驟F403，其中，層處理單元3確定關(guān)注的像素列是否在 當(dāng)前運(yùn)動(dòng)序列有效區(qū)內(nèi)。該當(dāng)前運(yùn)動(dòng)序列有效區(qū)是當(dāng)前輸入的幀圖像 數(shù)據(jù)(關(guān)鍵幀或非關(guān)鍵幀)的運(yùn)動(dòng)序列有效區(qū)(參見圖6B),也就 是說，在圖18中示出的區(qū)域A2到區(qū)域A5的范圍。
如果在步驟F403中層處理單元3確定關(guān)注的像素列不在當(dāng)前運(yùn) 動(dòng)序列有效區(qū)內(nèi)，那么層處理單元3確定對(duì)關(guān)注的像素列應(yīng)用處理 Pl。也就是說，確定的是，如果關(guān)注的像素列位于圖18中示出的區(qū) 域A1內(nèi)，那么對(duì)關(guān)注的^f象素列應(yīng)用處理Pl。
然而，如果在步驟F403中層處理單元3確定關(guān)注的像素列在當(dāng) 前運(yùn)動(dòng)序列有效區(qū)內(nèi)，那么層處理單元3確定對(duì)關(guān)注的像素列應(yīng)用處
41理P2。也就是說，確定的是，如果關(guān)注的像素列位于圖18中示出的 區(qū)域A2內(nèi)，那么對(duì)關(guān)注的像素列應(yīng)用處理P2。
然而，如果在步驟F402中確定關(guān)注的像素列的位置在前一個(gè)合 成圖像數(shù)據(jù)項(xiàng)的范圍內(nèi)，那么本處理前進(jìn)到步驟F404，其中，層處理 單元3確定關(guān)注的像素列是否在當(dāng)前運(yùn)動(dòng)序列有效區(qū)內(nèi)。如果在步驟 F404中層處理單元3確定關(guān)注的像素列不在當(dāng)前運(yùn)動(dòng)序列有效區(qū)內(nèi)， 那么層處理單元3確定對(duì)關(guān)注的像素列應(yīng)用處理P3。也就是說，確定 的是，如果關(guān)注的像素列位于圖18中示出的區(qū)域A6和區(qū)域A7所限 定的范圍內(nèi)，那么對(duì)關(guān)注的像素列應(yīng)用處理P3。
然而，如果在步驟F404中層處理單元3確定關(guān)注的像素列在當(dāng) 前運(yùn)動(dòng)序列有效區(qū)內(nèi)，那么本處理前進(jìn)到步驟F405，其中，層處理單 元3確定關(guān)注的像素列是否位于后區(qū)域的范圍內(nèi)。如在本文中使用的， 術(shù)語"后區(qū)域"是指如圖6B所示的在運(yùn)動(dòng)序列方向A (在運(yùn)行序列 從左向右表示的情況下)上的運(yùn)動(dòng)序列有效區(qū)中的后區(qū)域。另外，后 區(qū)域不包含在圖6C中示出的其余的背景區(qū)中。請(qǐng)注意，在運(yùn)動(dòng)序列 從右向左表示的情況下，后區(qū)域是運(yùn)動(dòng)序列有效區(qū)的左側(cè)部分。此外， 在運(yùn)動(dòng)序列向下表示的情況下，后區(qū)域是運(yùn)動(dòng)序列有效區(qū)的上側(cè)部 分。
在圖18中示出的例子中，確定在區(qū)域A5中的像素列在后區(qū)域內(nèi)。
如果在步驟F405中層處理單元3確定關(guān)注的像素列位于后區(qū)域 內(nèi)，那么層處理單元3確定對(duì)關(guān)注的像素列應(yīng)用處理P4。也就是說， 確定的是，如果關(guān)注的像素列位于圖18中示出的區(qū)域A5內(nèi)，那么對(duì) 關(guān)注的像素列應(yīng)用處理P4。
然而，如果在步驟F405中層處理單元3確定關(guān)注的像素列位于 后區(qū)域內(nèi)，那么本處理前進(jìn)到步驟F406，其中，層處理單元3確定關(guān) 注的像素列是否在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)的 范圍內(nèi)。在圖18中，前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng) 的范圍由圖18中示出的區(qū)域A4到區(qū)域A7所限定的范圍。如果層處理單元3確定關(guān)注的像素列是否在前一個(gè)合成圖像數(shù) 據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)的范圍內(nèi)，那么層處理單元3確定對(duì)關(guān)注 的像素列應(yīng)用處理P5。也就是說，確定的是，如果關(guān)注的像素列位于 圖18中示出的區(qū)域A3所限定的范圍內(nèi)，那么對(duì)關(guān)注的像素列應(yīng)用處 理P5。
然而，如果在步驟F406中層處理單元3確定關(guān)注的像素列在前 一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)的范圍內(nèi)，那么層處理單 元3確定對(duì)關(guān)注的像素列應(yīng)用處理P6。也就是說，確定的是，如果關(guān) 注的像素列位于圖18中示出的區(qū)域A6所限定的范圍內(nèi)，那么對(duì)關(guān)注 的《象素列應(yīng)用處理P6。
每當(dāng)層處理單元3在圖21中示出的步驟F306中對(duì)關(guān)注的像素 列執(zhí)行如圖22所示的上述處理確定時(shí)，層處理單元3在步驟F307中 也執(zhí)行合成處理。在步驟F307中，關(guān)注的像素列中的像素被合成， 以便生成合成圖像。另外，如果需要的話，執(zhí)行層分離處理、層加工 處理或?qū)雍铣商幚怼?br> 隨后，重復(fù)步驟F306到步驟F309，直到在步驟F310中確定對(duì) 當(dāng)前輸入的幀圖像數(shù)據(jù)的處理完成(步驟F306到步驟F309在下面描 述)。也就是說，當(dāng)對(duì)每一個(gè)像素列執(zhí)行處理確定時(shí)，重復(fù)處理確定 和合成處理，直到所有的像素列都被處理。
接下來描述根據(jù)處理確定對(duì)關(guān)注的像素執(zhí)行的合成處理。
圖23A到圖23C示出在合成處理中使用的圖像數(shù)據(jù)。
圖23A示出在步驟F302中輸入的當(dāng)前輸入圖像(幀圖像數(shù)據(jù)) 的運(yùn)動(dòng)序列有效區(qū)。
圖23B示出此時(shí)的前一個(gè)合成圖像數(shù)據(jù)項(xiàng)。
圖23C示出此時(shí)的在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)。
請(qǐng)注意，在圖18中示出的輸入圖像、前一個(gè)合成圖像數(shù)據(jù)項(xiàng)和 在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)被用作這些數(shù)據(jù)項(xiàng)。 在處理P1中，沒有執(zhí)行描繪(rendering)。因此，當(dāng)對(duì)關(guān)注的
43像素應(yīng)用處理P1時(shí)，在步驟F307中像素沒有與合成圖像合成。
由于對(duì)圖18中示出的區(qū)域Al中的像素列應(yīng)用處理P1，所以在
區(qū)域A1中沒有進(jìn)行任何描繪。
在處理P2中，在當(dāng)前幀圖像數(shù)據(jù)中的運(yùn)動(dòng)序列有效區(qū)中的像素
數(shù)據(jù)被復(fù)制。
由于對(duì)圖18中示出的區(qū)域A2中的像素列應(yīng)用處理P2，所以區(qū) 域A2充當(dāng)沒有與前一個(gè)合成圖像數(shù)據(jù)項(xiàng)(以及前一個(gè)合成圖像數(shù)據(jù) 項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng))重疊的區(qū)域。因此，可以直接使用當(dāng)前輸 入圖像中的像素。
如圖24A所示，在區(qū)域A2中的像素是輸入圖像的運(yùn)動(dòng)序列有效 區(qū)的陰影部分中的像素列的像素。
該像素列的像素直接應(yīng)用到圖18中示出的區(qū)域A2。
在處理P3中，從前一個(gè)合成圖像數(shù)據(jù)項(xiàng)復(fù)制像素?cái)?shù)據(jù)。
對(duì)其應(yīng)用處理3的像素列是圖18中示出的區(qū)域A6和區(qū)域A7的 像素列。區(qū)域A6和區(qū)域A7沒有與當(dāng)前輸入的幀圖像數(shù)據(jù)的運(yùn)動(dòng)序 列有效區(qū)重疊。因此，可以直接使用前一個(gè)合成圖像數(shù)據(jù)項(xiàng)的像素。
如圖24B所示，區(qū)域A6和區(qū)域A7中的像素是前一個(gè)合成圖像 數(shù)據(jù)項(xiàng)的陰影部分中的像素列的像素。
合成圖像數(shù)據(jù)項(xiàng)的像素列的像素直接被復(fù)制到圖18中示出的區(qū) 域A6和區(qū)域A7中的像素。
在處理P4中，當(dāng)前幀圖像數(shù)據(jù)的運(yùn)動(dòng)被攝體圖像(運(yùn)動(dòng)被攝體 層)的像素?cái)?shù)據(jù)被復(fù)制到前一個(gè)合成圖像數(shù)據(jù)項(xiàng)上。
對(duì)其應(yīng)用處理P4的像素列是圖18中示出的區(qū)域A5的像素列。 區(qū)域A5是當(dāng)前輸入的幀圖像數(shù)據(jù)的后區(qū)域。在該區(qū)域中，只有在當(dāng) 前幀圖像數(shù)據(jù)中的運(yùn)動(dòng)被攝體與前一個(gè)合成圖像數(shù)據(jù)重疊并被顯示。
輸入圖像中的運(yùn)動(dòng)被攝體圖像在圖25的上部示出。該部分充當(dāng) 通過將輸入幀圖像數(shù)據(jù)分離成圖4中示出的各層而獲取的運(yùn)動(dòng)被攝體 層。也就是說，層處理單元3使用層分離子單元31將當(dāng)前輸入的幀 圖像數(shù)據(jù)分離成各層，并生成如圖4所示的只包含運(yùn)動(dòng)被攝體的圖像的圖像(沒有其背景圖像)。
在圖25中，運(yùn)動(dòng)被^[體圖像的陰影部分對(duì)應(yīng)于后區(qū)域。在后區(qū) 域的像素列的像素中，只有形成運(yùn)動(dòng)被攝體圖像的像素被復(fù)制到與前 一個(gè)合成圖像數(shù)據(jù)項(xiàng)的區(qū)域A5相對(duì)應(yīng)的部分(陰影部分)。
以這種方式，在當(dāng)前幀圖像數(shù)據(jù)的后區(qū)域中的運(yùn)動(dòng)被攝體圖像的 被復(fù)制的像素被用作在圖18中示出的區(qū)域A5中的合成圖像數(shù)據(jù)項(xiàng)。
在處理P5中，下述三個(gè)層被合成當(dāng)前輸入的幀圖像數(shù)據(jù)的運(yùn) 動(dòng)被攝體圖像、前一個(gè)關(guān)鍵幀中的運(yùn)動(dòng)被攝體圖像、以及當(dāng)前輸入的 幀圖像數(shù)據(jù)的背景圖像。
例如，對(duì)圖18中示出的區(qū)域A3的每一個(gè)Y象素列應(yīng)用處理P5。 區(qū)域A3是當(dāng)前輸入的幀圖像數(shù)據(jù)的運(yùn)動(dòng)序列有效區(qū)與前一個(gè)合成圖 像數(shù)據(jù)項(xiàng)重疊的區(qū)域。因此，根據(jù)圖26A到圖26C示出的優(yōu)先級(jí)合 成這三個(gè)層。
圖26A示出輸入圖像的運(yùn)動(dòng)被攝體圖像(運(yùn)動(dòng)被攝體層)。圖 26C示出輸入圖像的背景圖像(其余的背景層)。
與處理P4—樣，如圖4所示，層處理單元3使用層分離子單元 31將當(dāng)前輸入的幀圖像數(shù)據(jù)分離成各層，以便獲取運(yùn)動(dòng)被攝體圖像和 背景圖像。
圖26B示出當(dāng)生成前一個(gè)合成圖像數(shù)據(jù)項(xiàng)的關(guān)鍵幀(即，前一 個(gè)關(guān)鍵幀)時(shí)的運(yùn)動(dòng)被攝體圖像(運(yùn)動(dòng)被攝體層)。請(qǐng)注意，前一個(gè) 關(guān)鍵幀圖像包含在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)中。但是，可以使用關(guān)于前 一個(gè)關(guān)鍵幀的運(yùn)動(dòng)被攝體圖像來提取前一個(gè)關(guān)鍵幀的運(yùn)動(dòng)被攝體圖 像。
在圖26A、圖26B和圖26C中，與圖18中的合成圖4象的區(qū)域 A3相對(duì)應(yīng)的部分由陰影表示。
在處理P5中執(zhí)行的合成處理中，在將最高優(yōu)先級(jí)分配給輸入圖 像中的運(yùn)動(dòng)被攝體圖像，將第二優(yōu)先級(jí)分配給前一個(gè)關(guān)鍵幀中的運(yùn)動(dòng) 被攝體圖像，并將第三優(yōu)先級(jí)分配給輸入圖像中的背景圖像時(shí)，對(duì)圖 26A、圖26B和圖26C中的陰影部分的像素列的像素進(jìn)行層合成。
45也就是說，最高優(yōu)先級(jí)被賦予給形成圖26A的陰影部分中的運(yùn) 動(dòng)被攝體的像素。如果在圖26B的陰影部分中發(fā)現(xiàn)形成運(yùn)動(dòng)被攝體的 像素，那么這些像素被置于除了形成圖26A的陰影部分中的運(yùn)動(dòng)被攝 體的像素以外的像素的位置。形成圖26C中示出的背景圖1象的^象素被 置于圖26A的其它像素部分。
這三個(gè)層中的這些像素被用作圖18中示出的區(qū)域A3的合成圖 像數(shù)據(jù)項(xiàng)。
在處理P6中，下述四個(gè)層被合成當(dāng)前輸入的幀圖像數(shù)據(jù)的運(yùn) 動(dòng)被攝體圖像、前一個(gè)關(guān)鍵幀中的運(yùn)動(dòng)被攝體圖像、前一個(gè)合成圖像 數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體圖像、以及當(dāng)前輸入的 幀圖像數(shù)據(jù)的背景圖像。
對(duì)其應(yīng)用處理P6的像素列是圖18中示出的區(qū)域A4的像素列。 區(qū)域A4是這樣的區(qū)域其中，當(dāng)前輸入的幀圖像數(shù)據(jù)的運(yùn)動(dòng)序列有 效區(qū)與前一個(gè)合成圖像數(shù)據(jù)項(xiàng)和在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合 成圖像數(shù)據(jù)項(xiàng)重疊。因此，根據(jù)如圖27A到圖27D中示出的優(yōu)先級(jí) 合成這四個(gè)層。
圖27A示出輸入圖像的運(yùn)動(dòng)被攝體圖像(運(yùn)動(dòng)被攝體層)。圖 27D示出輸入圖像的背景圖像(其余的背景層)。
圖27B示出當(dāng)生成前一個(gè)合成圖像數(shù)據(jù)項(xiàng)時(shí)的關(guān)鍵幀(即，前 一個(gè)關(guān)鍵幀)的運(yùn)動(dòng)被攝體圖像(運(yùn)動(dòng)被攝體層)。
圖27C示出當(dāng)生成前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù) 項(xiàng)時(shí)的關(guān)鍵幀(即，前一個(gè)關(guān)鍵幀)的運(yùn)動(dòng)被攝體圖像(運(yùn)動(dòng)被攝體 層)。
與處理P4—樣，如圖4所示，層處理單元3使用層分離子單元 31將輸入幀圖像數(shù)據(jù)分離成各層，以便獲得運(yùn)動(dòng)被攝體圖像和背景圖 像。另外，層處理單元3使用運(yùn)動(dòng)被攝體信息從前一個(gè)合成圖像數(shù)據(jù) 項(xiàng)提取前一個(gè)關(guān)鍵幀中的運(yùn)動(dòng)被攝體圖像。此外，層處理單元3使用 運(yùn)動(dòng)被攝體信息從前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù)據(jù)項(xiàng)提 取在前一個(gè)關(guān)鍵幀之前的關(guān)鍵幀中的運(yùn)動(dòng)被攝體圖像。
46在圖27A、圖27B、圖27C和圖27D中，與在圖18中示出的合 成圖像的區(qū)域A4相對(duì)應(yīng)的區(qū)域由陰影表示。
如圖27A、圖27B、圖27C和圖27D所示，在處理P6的合成處 理中，通過將最高優(yōu)先級(jí)分配給輸入圖像中的運(yùn)動(dòng)被攝體圖像，將第 二優(yōu)先級(jí)分配給前一個(gè)關(guān)鍵幀中的運(yùn)動(dòng)被攝體圖像、將第三優(yōu)先級(jí)賦 予給前一個(gè)關(guān)鍵幀之前的關(guān)鍵幀、并將第四優(yōu)先級(jí)分配給輸入圖像中 的背景圖像，對(duì)在圖27A、圖27B、圖27C和圖27D中示出的由陰影 表示的列中的像素進(jìn)行層合成。
也就是說，最高優(yōu)先級(jí)賦予給了形成在圖27A中具有陰影的區(qū) 域中的運(yùn)動(dòng)被攝體圖像的像素。如果發(fā)現(xiàn)形成在圖27A中具有陰影的 區(qū)域中的運(yùn)動(dòng)被攝體圖像的像素，那么這些像素被用于除了形成在圖 27A中具有陰影的區(qū)域中的運(yùn)動(dòng)被攝體圖像的像素以外的像素。另夕卜， 如果在圖27A和圖27B中沒有發(fā)現(xiàn)形成運(yùn)動(dòng)被攝體圖像的像素并且在 圖27C中發(fā)現(xiàn)形成運(yùn)動(dòng)被攝體圖像的像素，則使用這些像素。形成在 圖27D中的背景圖像的像素被用于其它像素區(qū)域。
在這四個(gè)層中的這些像素被用作圖18所示的區(qū)域A4的合成圖 像數(shù)據(jù)項(xiàng)。
在處理Pl到處理P6中，如下所述的那樣執(zhí)行合成處理。
在圖21中示出的步驟F307中，根據(jù)步驟F306的處理選擇結(jié)果 對(duì)關(guān)注的像素執(zhí)行上述Pl到P6之一。
請(qǐng)注意，從步驟F306到步驟F309的處理可以逐個(gè)像素地重復(fù)， 而不是逐個(gè)列地重復(fù)。
當(dāng)對(duì)所有列(所有像素)執(zhí)行處理Pl到處理P6之一時(shí)，生成 合成罔像數(shù)據(jù)項(xiàng)(例如，在圖18中示出的合成圖像數(shù)據(jù)項(xiàng))。
此時(shí)，本處理從步驟F310前進(jìn)到步驟F311。
在步驟F311中，層處理單元3將合成圖像數(shù)據(jù)項(xiàng)提供給圖像輸 出單元4。圖像輸出單元4將提供的合成圖像以形成運(yùn)動(dòng)序列運(yùn)動(dòng)圖 像的幀的形式輸出到輸出裝置40。
請(qǐng)注意，根據(jù)合成處理所必需的時(shí)間，來自圖像輸入單元10的
47幀圖像數(shù)據(jù)項(xiàng)的輸入間隔，或者，為了生成其中運(yùn)動(dòng)序列被緩慢表示
的運(yùn)動(dòng)圖像，圖像輸入單元4可以將一個(gè)合成圖像數(shù)據(jù)項(xiàng)以形成運(yùn)動(dòng) 序列運(yùn)動(dòng)圖像的多個(gè)幀的形式連續(xù)地輸出。
在步驟F312中，根據(jù)當(dāng)前處理的幀圖像數(shù)據(jù)是否充當(dāng)關(guān)鍵幀來 對(duì)本處理進(jìn)行分流。也就是說，根據(jù)步驟F303的確定結(jié)果對(duì)處理進(jìn) 行分流。
如果當(dāng)前輸入的幀圖像數(shù)據(jù)充當(dāng)關(guān)鍵幀，那么為了在后續(xù)的處理 中將存儲(chǔ)的合成圖像數(shù)據(jù)項(xiàng)作為前一個(gè)合成圖像數(shù)據(jù)項(xiàng)使用，在步驟 F313中將當(dāng)前生成的合成圖像數(shù)據(jù)項(xiàng)存儲(chǔ)在合成圖像更新保持單元5 中。
合成圖像更新保持單元5將當(dāng)前存儲(chǔ)的前一個(gè)合成圖像數(shù)據(jù)項(xiàng) 改變?yōu)榍耙粋€(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖《象數(shù)據(jù)項(xiàng)。另外，合成圖 像更新保持單元5將當(dāng)前從圖像輸出單元4提供的合成圖像數(shù)據(jù)項(xiàng)存 儲(chǔ)作為前一個(gè)合成圖像數(shù)據(jù)項(xiàng)。請(qǐng)注意，同時(shí)存儲(chǔ)關(guān)鍵幀的運(yùn)動(dòng)被攝 體信息。
隨后，本處理返回到步驟F301，從步驟F301開始對(duì)下一個(gè)幀圖 像數(shù)據(jù)項(xiàng)的處理。
在每當(dāng)輸入幀圖像數(shù)據(jù)時(shí)執(zhí)行從步驟F301到步驟F313的處理 時(shí)，生成如圖11到圖20所示的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像。
也就是說，每當(dāng)輸入幀圖像數(shù)據(jù)并執(zhí)行圖像合成處理時(shí)，在步驟 F311中將合成圖像數(shù)據(jù)項(xiàng)輸出作為形成運(yùn)動(dòng)圖像的幀。以這種方式， 如果輸出裝置40充當(dāng)監(jiān)視器顯示設(shè)備，那么在輸出裝置40上顯示運(yùn) 動(dòng)序列運(yùn)動(dòng)圖像。
或者，如果輸出裝置40充當(dāng)圖像記錄設(shè)備，那么形成運(yùn)動(dòng)序列 運(yùn)動(dòng)圖像的每一幀都以運(yùn)動(dòng)圖像數(shù)據(jù)的形式被記錄在輸出裝置40上。
如果在步驟F301中確定所有的幀都被輸入，那么本處理前進(jìn)到 步驟F314，其中完成合成處理。另外，圖像輸出單元4停止輸出合成 圖像數(shù)據(jù)項(xiàng)?；蛘撸绻敵鲅b置40充當(dāng)監(jiān)視器顯示設(shè)備，那么輸 出裝置40連續(xù)地輸出最終幀的合成閨像數(shù)據(jù)項(xiàng)(例如，圖20中所示的)。在這種情況下，在圖11到圖20中示出的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像被 顯示在監(jiān)視器顯示設(shè)備上之后，連續(xù)地顯示在圖20中示出的最終圖 像。
如上所述，根據(jù)本實(shí)施例，可以生成并輸出運(yùn)動(dòng)序列運(yùn)動(dòng)圖像。 由于每一個(gè)時(shí)間的合成圖像數(shù)據(jù)項(xiàng)都以運(yùn)動(dòng)圖像的形式輸出，因此這
一運(yùn)動(dòng)序列運(yùn)動(dòng)圖像可以具有高的視覺效果，并且用戶可以輕易地識(shí) 別運(yùn)動(dòng)序列。
特別是，在生成處理的第二例中，基于上述處理選擇執(zhí)行合成處 理。因此，實(shí)現(xiàn)有效的處理。也就是說，合成第三層和第四層的合成 處理P5和P6的處理負(fù)擔(dān)相對(duì)較重。但是，只對(duì)所必需的像素區(qū)域執(zhí) 行這些處理。對(duì)于不需要層合成處理的像素區(qū)域，諸如處理P1、處理 P2或處理P3的簡化復(fù)制處理就足夠了。因此，可以提高處理效率， 并且可以減少處理負(fù)擔(dān)。
請(qǐng)注意，與生成處理的第一例中的運(yùn)動(dòng)序列靜止圖像一樣，在生 成處理的第二例中，運(yùn)動(dòng)被攝體可以通過擴(kuò)展被攝體的運(yùn)動(dòng)序列有效 區(qū)來被準(zhǔn)確地表示。另外，運(yùn)動(dòng)序列可以通過布置多個(gè)被攝體圖像來 在時(shí)間方向上被細(xì)微地表示。例如，在不失去高爾夫球棒的頂部的圖 像的情況下，可以精確地顯示高爾夫球棒的頂部。另外，由于可以布 置多個(gè)運(yùn)動(dòng)被攝體圖像，因此可以以較短的時(shí)間間隔表示運(yùn)動(dòng)序列。
此外，與生成處理的第一例一樣，生成并輸出這樣的運(yùn)動(dòng)序列運(yùn) 動(dòng)圖像的圖像處理設(shè)備1可以廣泛地應(yīng)用于各種設(shè)備。
接下來描述在圖21中示出的步驟F308和步驟F309中執(zhí)行的處理。
在步驟F309中執(zhí)行的復(fù)制處理中，如圖19所示，例如，在上 部中的最后一個(gè)運(yùn)動(dòng)被攝體的圖像被復(fù)制為下部中的第一個(gè)運(yùn)動(dòng)被 攝體。
如圖19所示，在上部的右端處的合成圖像數(shù)據(jù)項(xiàng)的預(yù)定區(qū)域(在 被攝體圖像從左向右運(yùn)動(dòng)的情況下)被定義為下部復(fù)制區(qū)域。
在步驟F308中，層處理單元3執(zhí)行處理選擇并確定合成圖像數(shù)
49據(jù)項(xiàng)的每一個(gè)像素列(或像素)是否對(duì)應(yīng)于下部復(fù)制區(qū)域(即，在右 端處的上部的區(qū)域)。如果像素列(或像素)對(duì)應(yīng)于下部復(fù)制區(qū)域，
那么層處理單元3在步驟F309中將該列中的每一個(gè)像素都復(fù)制到下 部中的對(duì)應(yīng)位置。
通過執(zhí)行這些處理，當(dāng)如圖19所示生成上部的下部復(fù)制區(qū)域中 的圖像時(shí)，同一圖像同時(shí)被合成在下部中。
當(dāng)顯示運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)，對(duì)于圖19的上部的右側(cè)的被攝體 區(qū)域中的運(yùn)動(dòng)被攝體圖像和在圖19的下部的左側(cè)的被攝體區(qū)域中的 運(yùn)動(dòng)被攝體圖像，同時(shí)出現(xiàn)相同的圖像。
通過執(zhí)行這些處理，甚至在下部復(fù)制區(qū)域中的運(yùn)動(dòng)被攝體圖像都 可以在不失去圖像的部分的情況下被精確地表示。也就是說，即使當(dāng) 在上部的右側(cè)的被攝體圖像沒有被顯示時(shí)，該被攝體圖像也可以在下 部中被精確地顯示。另外，用戶可以輕易地觀察到從上部中的運(yùn)動(dòng)序 列到下部中的運(yùn)動(dòng)序列的變化。
4.運(yùn)動(dòng)被攝體信息
如上所述，在生成處理的第一例和第二例的層分離處理中，幀圖 像數(shù)據(jù)被分離成運(yùn)動(dòng)被攝體層和其余的背景層。當(dāng)執(zhí)行層分離處理 時(shí)，使用從運(yùn)動(dòng)被攝體信息生成單元11或運(yùn)動(dòng)被攝體信息輸入單元 12接收到的運(yùn)動(dòng)被攝體信息。
在每一個(gè)上述例子中，如圖4A所示，使用二進(jìn)制值表示運(yùn)動(dòng)被 攝體信息。但是，對(duì)于運(yùn)動(dòng)被攝體信息，可以使用表示三個(gè)值或更多 值的多進(jìn)制值。
例如，運(yùn)動(dòng)被纟聶體信息生成單元11或運(yùn)動(dòng)被4聶體信息輸入單元 12可以根據(jù)多個(gè)運(yùn)動(dòng)被攝體的深度(圖像中的前景/背景關(guān)系)生成 (或獲取)表示不同值的運(yùn)動(dòng)被攝體信息。
在這種情況下，層分離子單元31可以將該圖像分離成數(shù)量等于 運(yùn)動(dòng)被攝體的數(shù)量和背景的數(shù)量之和的層。
例如，圖28A和圖28B示出在幀圖像數(shù)據(jù)中存在兩個(gè)人的圖像(兩個(gè)運(yùn)動(dòng)被攝體圖像)的情況。
在圖28A中，使用二進(jìn)制值表示運(yùn)動(dòng)被攝體信息。在圖28B中， 使用多進(jìn)制值(例如，三進(jìn)制值)表示運(yùn)動(dòng)被攝體信息。
在圖28A中，背景由"0"表示，并且運(yùn)動(dòng)被攝體由'T，表示。 在這種情況下，兩個(gè)被攝體都由"1"表示。
相反地，當(dāng)如圖28B所示使用多進(jìn)制值時(shí)，背景可以由"0"表 示，兩個(gè)運(yùn)動(dòng)被攝體中的一個(gè)可以由"1"表示，并且另一個(gè)運(yùn)動(dòng)被 攝體可以由"2"表示。
圖29A和圖29B示出其中兩個(gè)運(yùn)動(dòng)被攝體以前景/背景關(guān)系在屏 幕中重疊的情況。
如圖29A所示，當(dāng)對(duì)于運(yùn)動(dòng)被攝體信息使用二進(jìn)制時(shí)，難以區(qū) 分兩個(gè)運(yùn)動(dòng)被攝體的深度。
但是，如圖29B所示，當(dāng)對(duì)于運(yùn)動(dòng)被攝體信息使用多進(jìn)制值時(shí)， 可以區(qū)分多個(gè)運(yùn)動(dòng)被攝體的前景/背景關(guān)系。
如上所述，如果對(duì)于運(yùn)動(dòng)被攝體信息使用多進(jìn)制值，那么可以對(duì) 多個(gè)運(yùn)動(dòng)被攝體圖像中的每一個(gè)執(zhí)行層分離。因此，例如，可以給一 個(gè)運(yùn)動(dòng)被攝體和另一個(gè)運(yùn)動(dòng)被攝體賦予不同的優(yōu)先級(jí)，并且，將這些 圖像合成。另外，只可以提取一個(gè)運(yùn)動(dòng)被攝體的圖像，并且可以生成 運(yùn)動(dòng)序列圖像。
5.對(duì)運(yùn)動(dòng)圖像的處理的第一例的應(yīng)用
如前所述，甚至可以使用生成處理的第一例生成如圖11到圖20 所示的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像。
圖30示出當(dāng)通過圖9中示出的生成處理的第一例生成并輸出運(yùn) 動(dòng)序列運(yùn)動(dòng)圖像時(shí)執(zhí)行的處理的例子。
請(qǐng)注意，在描述圖30中的處理所使用的編號(hào)方式與上面描述圖 9中所使用的編號(hào)方式相同，對(duì)其描述將不再贅述。在圖30中，由帶 有后綴"A"的附圖標(biāo)記(即，步驟F103A、步驟F109A、步驟F110A、 步驟F111A和步驟F112A)表示的步驟中的處理與在圖9中示出的處
51理不同。
下面將描述與圖9中示出的處理不同之處。
在圖9中示出的處理的步驟F103中，輸入圖像選擇單元2只選 擇關(guān)鍵幀并將選擇的關(guān)鍵幀用于圖像合成處理。但是，如上所述，在 生成處理的第二例中，為了生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像，輸入圖像選擇單 元2使用關(guān)鍵幀和非關(guān)鍵幀用于圖像合成處理。因此，在步驟F103A 中，確定輸入幀圖像數(shù)據(jù)充當(dāng)關(guān)鍵幀還是非關(guān)鍵幀(即，執(zhí)行與圖21 中示出的步驟F303中執(zhí)行的處理相似的處理)。
在圖30中示出的步驟F109A到步驟F108中，對(duì)輸入幀圖像數(shù) 據(jù)進(jìn)行合成處理。在步驟F109A中，圖像輸出單元4以形成運(yùn)動(dòng)序列 運(yùn)動(dòng)圖像的一幀數(shù)據(jù)的形式向輸出裝置40輸出生成的合成圖像數(shù)據(jù) 項(xiàng)(即，執(zhí)行與圖21中示出的步驟F311中執(zhí)行的處理相似的處理)。
另外，在步驟F112A和步驟F110A中，更新前一個(gè)合成圖像數(shù) 據(jù)項(xiàng)。也就是說，這一處理與在圖21中示出的步驟F312和步驟F313 中執(zhí)行的處理相似。如果當(dāng)前輸入的幀圖像數(shù)據(jù)充當(dāng)關(guān)鍵幀，那么更 新在合成圖像更新保持單元5中存儲(chǔ)的前一個(gè)合成圖像數(shù)據(jù)項(xiàng)。
以這種方式，每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)，執(zhí)行在步驟F301到步 驟F110中的處理。在處理期間，每當(dāng)執(zhí)行圖像合成處理時(shí)，以在步 驟F109A中形成運(yùn)動(dòng)圖像的幀的形式輸出合成圖像數(shù)據(jù)項(xiàng)。以這種方 式，例如，如圖ll到圖20所示的運(yùn)動(dòng)序列運(yùn)動(dòng)圖像輸出到輸出裝置 40。
例如，如果輸出裝置40充當(dāng)監(jiān)視器顯示單元，那么顯示運(yùn)動(dòng)序 列運(yùn)動(dòng)圖像?；蛘撸绻敵鲅b置40充當(dāng)圖像記錄單元，那么形成 運(yùn)動(dòng)序列運(yùn)動(dòng)圖像的每一幀被連續(xù)地記錄為運(yùn)動(dòng)圖像數(shù)據(jù)。
如果在步驟FIOI中確定所有幀的輸入都完成，那么本處理前進(jìn) 到步驟F111A，在步驟F111A中完成合成處理。另外，圖像輸出單元 4停止輸出合成圖像數(shù)據(jù)項(xiàng)。或者，當(dāng)輸出裝置40充當(dāng)監(jiān)視器顯示單 元時(shí)，輸出裝置40連續(xù)地輸出最終幀的合成圖像數(shù)據(jù)項(xiàng)(例如，圖 20中所示的)。根據(jù)在圖30中示出的上述處理，使用生成處理的第一例生成運(yùn) 動(dòng)序列運(yùn)動(dòng)圖像并將其輸出。
6.對(duì)運(yùn)動(dòng)圖像的處理的第二例的應(yīng)用
可以使用生成處理的第二例生成運(yùn)動(dòng)序列靜止圖像并將其輸出。
圖31示出使用在圖21中示出的生成處理的第二例生成運(yùn)動(dòng)序列 靜止圖像的處理的例子。
請(qǐng)注意，在描述圖31中的處理所使用的編號(hào)方式與上面描述圖 21中所使用的編號(hào)方式相同，對(duì)其描述將不再贅述。在圖31中，由 帶有后綴"A"的附圖標(biāo)記(即，步驟F303A、步驟F311A、步驟F313A 和步驟F314A)表示的步驟中的處理與在圖21中示出的處理不同。
下面將描述與在圖21中示出的處理不同之處。
當(dāng)如圖21所示生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像時(shí)，如上所述，關(guān)鍵幀和 非關(guān)鍵幀被用于合成處理。但是，如上所述，在生成處理的第一例中， 為了生成運(yùn)動(dòng)序列靜止圖像，對(duì)于圖像合成處理，輸入圖像選擇單元 2只使用關(guān)鍵幀。
因此，在圖31的步驟F303A中，輸入圖像選擇單元2只選擇關(guān) 鍵幀并將選擇的關(guān)鍵幀提供給層處理單元3 (即，執(zhí)行與圖9中示出 的步驟F103中執(zhí)行的處理相似的處理)。
隨后，在步驟F304到步驟F310中，執(zhí)行在圖21中示出的合成處理。
在步驟F311A中，圖像輸出單元4保持生成的合成圖像數(shù)據(jù)項(xiàng) (即，執(zhí)行與圖9中示出的步驟F109中執(zhí)行的處理相似的處理)。
隨后，在步驟F313A中，圖像輸出單元4將合成圖像數(shù)據(jù)項(xiàng)提 供給合成圖像更新保持單元5,并且合成圖像更新保持單元5更新前 一個(gè)合成圖像數(shù)據(jù)項(xiàng)和在前一個(gè)合成圖像數(shù)據(jù)項(xiàng)之前的合成圖像數(shù) 據(jù)項(xiàng)(即，執(zhí)行與圖9中示出的步驟F110中執(zhí)行的處理相似的處理)。
以這種方式，每當(dāng)輸入關(guān)鍵幀時(shí)，執(zhí)行在步驟F301到步驟F313A 中的處理。最終，可以獲得如圖2所示的合成圖像數(shù)據(jù)項(xiàng)。
53此時(shí)，處理從步驟F301前進(jìn)到步驟F314A，其中，圖像輸出單 元4將當(dāng)前保持的合成圖像數(shù)據(jù)項(xiàng)(即，如圖2所示的合成圖像數(shù)據(jù) 項(xiàng))作為運(yùn)動(dòng)序列靜止圖像數(shù)據(jù)輸出到輸出裝置40。
通過在圖31中示出的這樣處理，生成并輸出一個(gè)運(yùn)動(dòng)序列靜止 圖像數(shù)據(jù)項(xiàng)。
7.程序
就圖像處理設(shè)備l已經(jīng)描述了本實(shí)施例。除了充當(dāng)用于生成運(yùn)動(dòng) 序列圖像的專用設(shè)備外，本實(shí)施例的圖像處理設(shè)備1還可以應(yīng)用于執(zhí) 行圖像處理的各種設(shè)備。例如，圖像處理設(shè)備l可以應(yīng)用于圖像再現(xiàn) 設(shè)備、圖像拾取設(shè)備、通信設(shè)備、圖像記錄設(shè)備、游戲機(jī)(game console ) 以及視頻編輯設(shè)備。
另外，圖像處理設(shè)備l可以使用通用個(gè)人計(jì)算機(jī)或者不同于個(gè)人 計(jì)算機(jī)的信息處理設(shè)備來實(shí)現(xiàn)。
例如，通過提供使算術(shù)處理單元以圖像處理應(yīng)用程序軟件的形式 執(zhí)行處理塊的操作(在圖9、圖10、圖21、圖22、圖30和圖31中 的步驟)，可以在例如個(gè)人計(jì)算機(jī)中執(zhí)行適當(dāng)?shù)膱D像處理。
也就是說，實(shí)現(xiàn)由圖像處理設(shè)備1所執(zhí)行的圖像處理的程序是使 得算術(shù)處理單元執(zhí)行下述層分離步驟和合成處理步驟的程序。
在層分離步驟中，當(dāng)輸入幀圖像數(shù)據(jù)時(shí)，對(duì)已有的合成圖像數(shù)據(jù) 項(xiàng)的局部區(qū)域執(zhí)行包括層圖像合成處理的圖像合成處理。在層圖像合 成處理中，最高優(yōu)先級(jí)被賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝 體層，第二優(yōu)先級(jí)被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù) 項(xiàng)的運(yùn)動(dòng)被攝體層。
通過使用這樣的程序，根據(jù)本實(shí)施例的圖像處理可以在個(gè)人計(jì)算 機(jī)、蜂窩電話、個(gè)人數(shù)字助理(PDA)和使用圖像數(shù)據(jù)的其它各種圖 像處理設(shè)備中執(zhí)行。
請(qǐng)注意，程序可以預(yù)先被記錄在例如充當(dāng)包含在諸如個(gè)人計(jì)算機(jī) 的設(shè)備中的記錄介質(zhì)的硬盤驅(qū)動(dòng)器(HDD)、包含中央處理單元(CPU)的微型計(jì)算機(jī)中的只讀存儲(chǔ)器(ROM)、或閃存中。
或者，程序可以臨時(shí)或永久性地存儲(chǔ)(記錄)在諸如軟盤、壓縮 盤只讀存儲(chǔ)器(CD-ROM)、磁光(MO)盤、數(shù)字通用盤(DVD)、 藍(lán)光盤、磁盤、半導(dǎo)體存儲(chǔ)器、或存儲(chǔ)卡的可移動(dòng)介質(zhì)中。這樣的可
移動(dòng)介質(zhì)可以以所謂的封裝軟件的形式提供。
此外，例如，程序可以從可移動(dòng)記錄介質(zhì)安裝在個(gè)人計(jì)算機(jī)中。 此外，程序可以通過諸如局域網(wǎng)(LAN)或互聯(lián)網(wǎng)的網(wǎng)絡(luò)從下載站點(diǎn) 下載。
本申請(qǐng)包含與于2008年8月18日在日本專利局遞交的日本在先 專利申請(qǐng)JP 2008-209931中公開的主題相關(guān)的主題，該專利申請(qǐng)的全 部內(nèi)容以引用的方式并入本文。
本領(lǐng)域技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計(jì)要求和其它因素可以進(jìn)行各 種變形、組合、子組合和替換，只要它們?cè)诒景l(fā)明的范圍內(nèi)即可。
權(quán)利要求
1.一種圖像處理設(shè)備，包括層分離單元，被配置為將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層；以及合成處理單元，被配置為通過使用輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項(xiàng)；其中，在圖像合成處理中，最高優(yōu)先級(jí)被賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，第二優(yōu)先級(jí)被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，并且對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行層圖像合成處理。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括圖像輸出單元，被配置為以運(yùn)動(dòng)序列靜止圖像數(shù)據(jù)項(xiàng)的形式將通 過由合成處理單元對(duì)預(yù)定數(shù)量的幀圖像數(shù)據(jù)項(xiàng)執(zhí)行的圖像合成處理 而獲得的合成圖像數(shù)據(jù)項(xiàng)輸出。
3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括輸入圖像選擇單元，被配置為從輸入幀圖像數(shù)據(jù)項(xiàng)中選擇用于生 成合成圖像數(shù)據(jù)項(xiàng)的關(guān)鍵幀；其中，合成處理單元根據(jù)被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項(xiàng)執(zhí)行圖像 合成處理，以便生成運(yùn)動(dòng)序列靜止圖像數(shù)據(jù)項(xiàng)。
4. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，還包括合成圖像保持單元，被配置為將合成圖像數(shù)據(jù)項(xiàng)保持作為用于下 一個(gè)圖像合成處理的已有的合成圖像數(shù)據(jù)項(xiàng)。
5. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括 圖像輸出單元，被配置為每當(dāng)生成合成圖像數(shù)據(jù)時(shí)以運(yùn)動(dòng)序列運(yùn)動(dòng)圖像數(shù)據(jù)項(xiàng)的形式連續(xù)地輸出由合成處理單元生成的合成圖像數(shù) 據(jù)項(xiàng)。
6. 根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，還包括輸入圖像選擇單元，被配置為從輸入幀圖像數(shù)據(jù)項(xiàng)中選擇用于生 成合成圖像的關(guān)鍵幀；以及合成圖像保持單元，被配置為將通過由合成處理單元根據(jù)關(guān)鍵幀 執(zhí)行的合成處理而生成的合成圖像數(shù)據(jù)項(xiàng)保持作為用于下一個(gè)圖像 合成處理的已有的合成圖像數(shù)據(jù)項(xiàng)。
7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，在不管輸入幀 圖像數(shù)據(jù)項(xiàng)是否被選作關(guān)鍵幀的情況下，合成處理單元通過生成合成 圖像數(shù)據(jù)項(xiàng)來生成運(yùn)動(dòng)序列運(yùn)動(dòng)圖像數(shù)據(jù)項(xiàng)，其中通過根據(jù)每一個(gè)輸 入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行的圖像合成處理來生成合成圖像數(shù)據(jù)項(xiàng)。
8. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，通過將最高優(yōu) 先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，將第二優(yōu)先級(jí) 賦予給與緊鄰以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝 體層，將第三優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的背景層，并且 將第四優(yōu)先級(jí)賦予給與緊鄰以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù) 項(xiàng)的背景層，合成處理單元對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的預(yù)定區(qū)域執(zhí)行 圖像合成處理。
9. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，在執(zhí)行最新的 輸入幀圖像數(shù)據(jù)項(xiàng)與已有的合成圖像數(shù)據(jù)項(xiàng)的預(yù)定區(qū)域合成的圖像 合成處理時(shí)，合成處理單元根據(jù)要處理的像素的位置選擇性地執(zhí)行下 述處理之一 從最新的輸入幀圖像數(shù)據(jù)項(xiàng)提取的像素被應(yīng)用到所述預(yù) 定區(qū)域的處理；從最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層提取的像 素被應(yīng)用到所述預(yù)定區(qū)域的處理；從以前生成的合成圖像數(shù)據(jù)項(xiàng)之一提取的像素被應(yīng)用到所述預(yù)定區(qū)域的處理；以及，使用以前生成的合 成圖像數(shù)據(jù)項(xiàng)之一和最新的輸入幀圖像數(shù)據(jù)項(xiàng)的層圖像合成處理。
10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，在層圖像合成 處理中，最高優(yōu)先級(jí)被賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體 層的像素，第二優(yōu)先級(jí)被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像 數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層的像素，并且第三優(yōu)先級(jí)被賦予給最新的輸入 幀圖像數(shù)據(jù)項(xiàng)的背景層的像素。
11. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層的像素，將第二到第n優(yōu)先級(jí)賦予給與多個(gè)以前處理的合成圖像數(shù)據(jù)項(xiàng)相關(guān)的幀圖像 數(shù)據(jù)項(xiàng)的像素，將第(n+l)優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng) 的背景層的像素，來執(zhí)行層圖像合成處理。
12. —種圖像處理設(shè)備，包括層分離單元，被配置為將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層 和背景層；以及合成處理單元，被配置為通過使用輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行圖像合 成處理來生成合成圖像數(shù)據(jù)項(xiàng)；其中，在圖像合成處理中，對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域 執(zhí)行層圖像合成處理，以便使最高優(yōu)先級(jí)被賦予給最新的輸入幀圖像 數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，第二優(yōu)先級(jí)被賦予給與以前執(zhí)行的合成處理 相關(guān)的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，并且顯示所述層。
13. —種圖像處理設(shè)備，包括合成處理單元，被配置為通過每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)執(zhí)行圖像 合成處理來生成合成圖像數(shù)據(jù)項(xiàng)并將其輸出，以便顯示運(yùn)動(dòng)圖像，在 該運(yùn)動(dòng)圖像中，所述幀圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體圖像沿預(yù)定方向順序地布置；其中，在所述運(yùn)動(dòng)圖像中，被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項(xiàng)的 所述運(yùn)動(dòng)被攝體圖像被連續(xù)地顯示，并且沒有被選作關(guān)鍵幀的所述幀 圖像數(shù)據(jù)項(xiàng)的所述運(yùn)動(dòng)被攝體圖像被臨時(shí)地顯示。
14. 一種用于處理圖像的方法，包括下述步驟 將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層；以及 使用輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行包括層圖像合成處理的圖像合成處理；其中，通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng) 被攝體層，將第二優(yōu)先級(jí)賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像 數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行層 圖像合成處理。
15. —種用于處理圖像的方法，包括下述步驟 將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層；以及 使用輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行包括層圖像合成處理的圖像合成處理；其中，通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng) 被攝體層，將第二優(yōu)先級(jí)賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀 圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，來對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域 執(zhí)行層圖像合成處理，并顯示所述層。
16. —種用于處理圖像的方法，包括下述步驟通過每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)執(zhí)行圖像合成處理來生成合成圖 像數(shù)據(jù)項(xiàng)；并且通過重復(fù)生成合成圖像數(shù)據(jù)項(xiàng)來顯示運(yùn)動(dòng)圖像，在該運(yùn)動(dòng)圖像 中，所述幀圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體圖像沿預(yù)定方向順序地布置；其中，在生成合成圖像數(shù)據(jù)項(xiàng)的過程中，執(zhí)行所述圖像合成處理，使得被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體圖像被連續(xù)地 顯示，并且沒有被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項(xiàng)的所述運(yùn)動(dòng)被攝體 圖像被臨時(shí)地顯示。
17. —種程序，包括用于使得計(jì)算機(jī)執(zhí)行用于處理圖像的方法的程序代碼，所述方法 包括下述步驟將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層； 以及使用輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行包括層圖像合成處理的圖像合成處 理；其中，通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng) 被攝體層，將第二優(yōu)先級(jí)賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像 數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，來對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行 層圖像合成處理。
18. —種程序，包括用于使得計(jì)算機(jī)執(zhí)行用于處理圖像的方法的程序代碼，所述方法 包括下述步驟將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層； 以及使用輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行包括層圖像合成處理的圖像合成處 理；其中，通過將最高優(yōu)先級(jí)賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng) 被攝體層，將第二優(yōu)先級(jí)賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀 圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，來對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域 執(zhí)行層圖像合成處理，并顯示所述層。
19. 一種程序，包括用于使得計(jì)算機(jī)執(zhí)行用于處理圖像的方法的程序代碼，所述方法 包括下述步驟通過每當(dāng)輸入幀圖像數(shù)據(jù)項(xiàng)時(shí)執(zhí)行圖像合成處理來生 成合成圖像數(shù)據(jù)項(xiàng)；以及通過重復(fù)生成合成圖像數(shù)據(jù)項(xiàng)來顯示運(yùn)動(dòng)圖 像，在該運(yùn)動(dòng)圖像中，所述幀圖像數(shù)據(jù)項(xiàng)中的運(yùn)動(dòng)被攝體圖像沿預(yù)定方向順序地布置；其中，在生成合成圖像數(shù)據(jù)項(xiàng)的過程中，執(zhí)行圖像合成處理，使 得被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體圖像被連續(xù)地顯 示，并且沒有被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體圖像被 臨時(shí)地顯示。
全文摘要
本發(fā)明提供一種圖像處理設(shè)備、圖像處理方法和程序。該圖像處理設(shè)備包括層分離單元，被配置為將輸入幀圖像數(shù)據(jù)項(xiàng)分離成運(yùn)動(dòng)被攝體層和背景層；以及合成處理單元，被配置為通過使用輸入幀圖像數(shù)據(jù)項(xiàng)執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項(xiàng)。在圖像合成處理中，最高優(yōu)先級(jí)被賦予給最新的輸入幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，第二優(yōu)先級(jí)被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)被攝體層，并且對(duì)已有的合成圖像數(shù)據(jù)項(xiàng)的局部區(qū)域執(zhí)行層圖像合成處理。
文檔編號(hào)G06T1/00GK101655991SQ20091016578
公開日2010年2月24日 申請(qǐng)日期2009年8月13日 優(yōu)先權(quán)日2008年8月18日
發(fā)明者中尾大輔 申請(qǐng)人:索尼株式會(huì)社