專利名稱：畫面處理設(shè)備、供其使用的處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及畫面處理設(shè)備。更具體地說，本發(fā)明涉及能夠再現(xiàn)運(yùn) 動(dòng)畫面的畫面處理設(shè)備，供所述設(shè)備使用的處理方法，和使計(jì)算機(jī)執(zhí) 行所述方法的程序。
背景技術(shù)：
近年來，再現(xiàn)數(shù)字?jǐn)z像機(jī)等拍攝的運(yùn)動(dòng)畫面的運(yùn)動(dòng)畫面再現(xiàn)設(shè)備 已得到普及。通常使用的數(shù)字?jǐn)z像機(jī)是具有與拍攝畫面的人的興趣一 致地放大或縮小被拍攝對(duì)象的變焦能力的數(shù)字?jǐn)z像機(jī)。在再現(xiàn)利用這 種變焦能力拍攝的運(yùn)動(dòng)畫面的情況下，所拍攝對(duì)象的大小在顯示屏幕 上變化，不過聲音輸出無變化。由此，不能獲得足夠的真實(shí)感。從而 提出了例如通過考慮數(shù)字?jǐn)z像機(jī)拍攝畫面時(shí)的情況，處理聲音的各種 方式。例如，提出了聲音變換處理方法(例如，參見專利文獻(xiàn)1)，借 助所述聲音變換處理方法，根據(jù)在數(shù)字?jǐn)z像機(jī)上進(jìn)行的變焦操作的有 關(guān)信息，控制多個(gè)聲道上的聲級(jí)。
<formula>formula see original document page 21</formula>
(表達(dá)式1)
其中"a"一"f"代表仿射變換參數(shù)。由這些仿射變換參數(shù)構(gòu)成的仿 射變換矩陣AM由下面所示的表達(dá)式定義。這種情況下，X方向變焦 分量XZ， Y方向變焦分量YZ, X方向平移分量XT， Y方向平移分 量YT，和旋轉(zhuǎn)分量R由下面表示的其它表達(dá)式獲得。就單位矩陣來 說，a=e=l, b=c=d=f=0。 [表達(dá)式2 ]
腐=
<3 6 c
i = tan一
^、 、^
下面說明計(jì)算仿射變換參數(shù)的方法。
首先，從依據(jù)其在對(duì)應(yīng)于當(dāng)前幀的畫面中檢測(cè)了光流的特征點(diǎn)中 選擇三個(gè)特征點(diǎn)，所述當(dāng)前幀是構(gòu)成運(yùn)動(dòng)畫面的幀之一。例如，從在 圖2(b)的畫面300中檢測(cè)的角點(diǎn)(用空心圓表示)中，隨便選擇三個(gè)角 點(diǎn)。如果投影變換參數(shù)被用作仿射變換參數(shù)，那么隨便選擇四個(gè)特征
點(diǎn)
隨后，利用與選擇的三個(gè)特征點(diǎn)對(duì)應(yīng)的三個(gè)光流，計(jì)算仿射變換 參數(shù)。例如，利用與從圖2(b)的畫面300中的角點(diǎn)(用空心圓表示)中 選擇的三個(gè)角點(diǎn)對(duì)應(yīng)的光流(用以空心圓為尖端的箭頭表示)，計(jì)算仿 射變換參數(shù)。利用表達(dá)式l可獲得仿射變換參數(shù)。
隨后，根據(jù)上面獲得的仿射變換參數(shù)，計(jì)算參數(shù)的得分。具體地 說，獲得的仿射變換參數(shù)被用于找出所有特征點(diǎn)在與當(dāng)前幀的前一幀 對(duì)應(yīng)的畫面中的移動(dòng)后的位置。通過一方面利用仿射變換參數(shù)獲得的
21特征點(diǎn)的位置，和另一方面在當(dāng)前幀中檢測(cè)的特征點(diǎn)的位置之間的比 較，在兩個(gè)對(duì)應(yīng)特征點(diǎn)的位置之間計(jì)算每個(gè)特征點(diǎn)的差值。例如，特 征點(diǎn)的兩個(gè)對(duì)應(yīng)位置之間的絕對(duì)距離被計(jì)算為所述差值。之后，比較 計(jì)算的差值與每個(gè)特征點(diǎn)的預(yù)定閾值，以得到其差值小于閾值的特征 點(diǎn)的數(shù)目，該數(shù)目被視為所述得分。按照這種方式，從依據(jù)其檢測(cè)了 光流的特征點(diǎn)中隨便選擇三個(gè)特征點(diǎn)。根據(jù)與選擇的特征點(diǎn)對(duì)應(yīng)的光 流，計(jì)算仿射變換參數(shù)得分的處理被重復(fù)預(yù)定次數(shù)，以便計(jì)算多個(gè)仿 射變換參數(shù)得分。所述預(yù)定次數(shù)可被固定為預(yù)定值，或者可按照待比
較的畫面的種類和畫面處理設(shè)備100的吞吐量來確定。例如，在考慮 到畫面處理設(shè)備100的吞吐量的情況下，預(yù)定處理重復(fù)計(jì)數(shù)可以約為 20。
例如，推想除角點(diǎn)306-311外的三個(gè)角點(diǎn)選自在圖2(b)的畫面300 中檢測(cè)的角點(diǎn)的情況。隨后利用與選擇的三個(gè)角點(diǎn)對(duì)應(yīng)的三個(gè)光流計(jì) 算仿射變換參數(shù)。由于如上所述，這三個(gè)光流具有一定的規(guī)律性，因 此能夠獲得達(dá)到按照某些規(guī)則變換對(duì)應(yīng)于前一幀的畫面的程度的仿 射變換參數(shù)。為此，在一方面利用仿射變換參數(shù)獲得的角點(diǎn)的位置， 和另一方面從當(dāng)前幀檢測(cè)的角點(diǎn)的位置之間的差值中，關(guān)于除角點(diǎn) 306-311外的角點(diǎn)獲得的差值較小。從而，仿射變換參數(shù)的得分勢(shì)必 較大。
同時(shí)，推想包括角點(diǎn)306-311至少之一的三個(gè)角點(diǎn)選自在圖2(b) 的畫面300中檢測(cè)的角點(diǎn)的情況。隨后利用與這樣選擇的三個(gè)角點(diǎn)對(duì) 應(yīng)的三個(gè)光流計(jì)算仿射變換參數(shù)。由于這三個(gè)光流包括如上所述不具 有一定規(guī)律性的一個(gè)光流，因此不能獲得達(dá)到按照某些規(guī)則變換對(duì)應(yīng) 于前一幀的畫面的程度的仿射變換參數(shù)。為此，在一方面利用仿射變 換參數(shù)獲得的角點(diǎn)的位置，和另一方面從當(dāng)前幀檢測(cè)的角點(diǎn)的位置之 間的差值中，關(guān)于任意選擇的角點(diǎn)的差值較大。從而，仿射變換參數(shù) 的得分勢(shì)必較小。
隨后，從這樣獲得其得分的多個(gè)仿射變換參數(shù)之中，選擇得分值 最大的仿射變換參數(shù)作為代表性仿射變換參數(shù)。選擇的代表性仿射變換參數(shù)被供給畫面變換部分140。這使得當(dāng)構(gòu)成運(yùn)動(dòng)畫面的畫面將補(bǔ): 仿射變換時(shí)，能夠使用最佳的仿射變換參數(shù)。
如上所述，即^吏畫面運(yùn)動(dòng)畫面的畫面包括移動(dòng)的對(duì)象，比如人、 車或類似物(即，運(yùn)動(dòng)對(duì)象)，只要與畫面的面積相比，所述運(yùn)動(dòng)對(duì)象 的大小相對(duì)較小，就能夠提取成像設(shè)備的移動(dòng)，而不受這樣的運(yùn)動(dòng)對(duì) 象的影響。
通過提取成像設(shè)備的移動(dòng)，能夠估計(jì)拉近、拉遠(yuǎn)、遙攝、傾斜、 旋轉(zhuǎn)、或者被認(rèn)為是拍攝畫面的人有意進(jìn)行的其它操作。
下面參考附圖，說明作為本發(fā)明的一個(gè)實(shí)施例的畫面處理設(shè)備
100的工作。
圖4是表示構(gòu)成作為本發(fā)明的一個(gè)實(shí)施例的畫面處理設(shè)備100 進(jìn)行的仿射變換參數(shù)檢測(cè)處理的步驟的流程圖。
首先，內(nèi)容獲得部分120獲得內(nèi)容文件(步驟S卯0)。隨后，內(nèi)容 獲得部分120獲得的內(nèi)容文件的運(yùn)動(dòng)畫面被解碼，按照時(shí)間順序獲得 一幀的畫面(步驟S901)。隨后進(jìn)行檢查，以確定所獲得的一幀是否是 輸入畫面變換信息供給部分130的運(yùn)動(dòng)畫面的第一幀(步驟S902)。如 果認(rèn)為所獲得的一幀是第一幀(步驟S902)，那么從對(duì)應(yīng)于第一幀的整 個(gè)畫面中提取特征點(diǎn)(步驟S903)。例如，如圖2(b)中所示，從畫面中 提取多個(gè)角點(diǎn)。隨后，單位矩陣仿射變換參數(shù)被選為仿射變換參數(shù)(步 驟S904)，到達(dá)步驟S914。
如果認(rèn)為所獲得的一幀不是第一幀(步驟S卯2)，那么關(guān)于對(duì)應(yīng)于 前一幀的畫面，從新拍攝的區(qū)域中提取特征點(diǎn)(步驟S905)。即，可根 據(jù)與之對(duì)應(yīng)的光流，獲得已從對(duì)應(yīng)于前一幀的畫面中提取的特征點(diǎn)， 從而所述特征點(diǎn)不是提取自對(duì)應(yīng)于當(dāng)前幀的畫面。
隨后，計(jì)算和從對(duì)應(yīng)于前一幀的畫面提取的特征點(diǎn)對(duì)應(yīng)的光流
(步驟S卯6)。即，如圖2(b)中所示，計(jì)算關(guān)于角點(diǎn)的光流。
隨后，變量"i"被初始化為"l"(步驟S907)。隨后，從依據(jù)其檢測(cè) 了光流的那些特征點(diǎn)中選擇多達(dá)M個(gè)特征點(diǎn)(步驟S908)。例如，在 要使用仿射變換參數(shù)的情況下，隨便選擇三個(gè)特征點(diǎn)。如果要使用投影變換參數(shù)，那么隨便選擇四個(gè)特征點(diǎn)。隨后，根據(jù)對(duì)應(yīng)于選擇的M 個(gè)特征點(diǎn)計(jì)算的M個(gè)光流，計(jì)算仿射變換參數(shù)(步驟S909)。
隨后，根據(jù)這樣計(jì)算和獲得的仿射變換參數(shù)，計(jì)算仿射變換參數(shù) 的得分(步驟S910)。具體地說，計(jì)算的仿射變換參數(shù)被用于找出所有 特征點(diǎn)在對(duì)應(yīng)于前一幀的畫面中的移動(dòng)后的位置。通過一方面利用仿 射變換參數(shù)獲得的特征點(diǎn)的位置，和另一方面當(dāng)在步驟S906中計(jì)算 光流時(shí)，獲得的特征點(diǎn)在對(duì)應(yīng)于當(dāng)前幀的畫面中的位置之間的比較， 在兩個(gè)對(duì)應(yīng)特征點(diǎn)的位置之間，計(jì)算關(guān)于每個(gè)特征點(diǎn)的差值。例如， 兩個(gè)對(duì)應(yīng)位置之間的絕對(duì)距離被計(jì)算為所述差值。隨后，比較計(jì)算的 差值和每個(gè)特征點(diǎn)的預(yù)定閾值，以得到其差值小于閾值的特征點(diǎn)的數(shù) 目，該數(shù)目被視為仿射變換參數(shù)的得分。
隨后，變量"i"被加"l"(步驟S911)。進(jìn)行檢查，以確定變量"i" 是否大于常數(shù)N(步驟S912)。如果發(fā)現(xiàn)變量"i"小于常數(shù)N(步驟S912)， 那么再次到達(dá)步驟S908，重復(fù)計(jì)算仿射變換參數(shù)的得分的處理(步驟 S908-S910)。例如，數(shù)字20可被用作常數(shù)N。
同時(shí)，如果發(fā)現(xiàn)變量"i，，大于常數(shù)N(步驟S912),那么從這樣獲 得其得分的仿射變換參數(shù)中，得分值最大的仿射變換參數(shù)被選為代表
性仿射變換參數(shù)(步驟S913)。隨后，選擇的代表性仿射變換參數(shù)被供 給畫面變換部分140(步驟S914)。如果當(dāng)前幀是第一幀，那么選擇的 單位矩陣的仿射變換參數(shù)被供給畫面變換部分140。隨后，通過重寫 保存對(duì)應(yīng)于當(dāng)前幀的畫面和該畫面的特征點(diǎn)(步驟S915)。
隨后進(jìn)行檢查，以確定當(dāng)前幀是否是輸入畫面變換信息供給部分 130的運(yùn)動(dòng)畫面的最后一幀(步驟S916)。如果發(fā)現(xiàn)當(dāng)前幀不是最后一 幀(步驟S916)，那么再次到達(dá)步驟S901，重復(fù)仿射變換參數(shù)檢測(cè)處理 (步驟S901-S916)。如果發(fā)現(xiàn)當(dāng)前幀是最后一幀(步驟S916),那么結(jié)束 仿射變換參數(shù)檢測(cè)處理。
就本發(fā)明的實(shí)施例來說，說明了如何根據(jù)從構(gòu)成運(yùn)動(dòng)畫面的畫面 檢測(cè)的光流，檢測(cè)仿射變換參數(shù)。另一方面，成像設(shè)備可配備諸如加 速度傳感器和陀螺儀傳感器之類的傳感器，或者配備進(jìn)行變焦操作的變焦按鈕。這種傳感器或變焦按鈕可被用于在拍攝畫面時(shí)，檢測(cè)成像 設(shè)備的移動(dòng)量，根據(jù)成像設(shè)備的移動(dòng)量，可計(jì)算仿射變換參數(shù)。拍攝 畫面時(shí)檢測(cè)的成像設(shè)備的這種移動(dòng)量可被用于確定畫面變換信息供
給部分13獲得的仿射變換參數(shù)是否正確。作為另一種備選方案，畫 面變換信息供給部分130可預(yù)先檢測(cè)多個(gè)仿射變換參數(shù)，并根據(jù)拍攝 畫面時(shí)檢測(cè)的成像設(shè)備的移動(dòng)量，選擇所述多個(gè)仿射變換參數(shù)之一。
下面參考附圖，詳細(xì)說明如何利用上述仿射變換參數(shù)再現(xiàn)和顯示 運(yùn)動(dòng)畫面。應(yīng)注意為了^f更于說明，簡(jiǎn)化了圖5-16中所示的畫面，并且 放大表示兩個(gè)連續(xù)幀之間的移動(dòng)量。
首先說明其中在成像設(shè)備拍攝畫面的時(shí)候，縮放系數(shù)保持不變的 情況下，相對(duì)于由設(shè)備的位置構(gòu)成的中心垂直或水平移動(dòng)設(shè)備的透鏡 方向的情況。
圖5是表示成像設(shè)備拍攝的運(yùn)動(dòng)畫面的典型轉(zhuǎn)變的示圖。圖5 包含畫面401-403，所述畫面401-403對(duì)應(yīng)于包括在以山為背景，拍 攝的人400的運(yùn)動(dòng)畫面中的連續(xù)幀。在本例中，在拍攝畫面的時(shí)候， 攝像者向右和向上移動(dòng)成像設(shè)備的透鏡方向。這種情況下，在構(gòu)成該 運(yùn)動(dòng)畫面的畫面中，包括在成l象設(shè)備拍攝的運(yùn)動(dòng)畫面中的人400 #皮顯 示成從右往左，并朝著底部移動(dòng)。
圖6是在圖5中的畫面中用虛線表示與前一幀對(duì)應(yīng)的畫面，并且 表示從這些畫面檢測(cè)的典型光流的視圖。圖6(a)中所示的畫面401和 圖5(a)中所示的畫面401相同。圖6(b)的畫面402中，用實(shí)線表示的 部分和圖5(b)的畫面402中的那些部分相同，圖6(b)的畫面402中， 用虛線表示的部分和圖6(a)的畫面401中，用實(shí)線表示的那些部分相 同。圖6(b)的畫面402中的箭頭404-406表示從畫面402檢測(cè)的典型 光流。同樣地，圖6(c)的畫面403中，用實(shí)線表示的部分和圖5(c)的 畫面403中的那些部分相同，圖6(c)的畫面403中，用虛線表示的部 分和圖6(b)的畫面402中，用實(shí)線表示的那些部分相同。圖6(c)的畫 面403中的箭頭407-409表示從畫面403檢測(cè)的典型光流。
如圖6(b)和(c)中所示，畫面中的人400和背景中的山與成像設(shè)備的移動(dòng)一致地移動(dòng)。根據(jù)通過所述移動(dòng)檢測(cè)的光流，能夠獲得每幀的 仿射變換參數(shù)。
圖7是當(dāng)再現(xiàn)包括在圖5中所示的畫面401-403中的運(yùn)動(dòng)畫面時(shí) 實(shí)際的典型顯示圖的視圖。就本發(fā)明的實(shí)施例來說，構(gòu)成運(yùn)動(dòng)畫面的 每個(gè)畫面被合成。為此，與標(biāo)準(zhǔn)畫面大小相比，隨著再現(xiàn)時(shí)間的過去， 顯示在顯示部分180上的畫面變大。從而，與顯示部分180上的顯示 區(qū)的大小相比，最初顯示的畫面看來較小。用戶可以指定要首先顯示 的畫面的大小、位置等等。
如圖7(a)中所示， 一開始只顯示對(duì)應(yīng)于第一幀的畫面401。如果 對(duì)應(yīng)于畫面401的仿射變換參數(shù)的矩陣(3x3矩陣)用Al表示，那么 Al構(gòu)成單位矩陣，從而畫面401的位置和大小不被變換。如果接連 顯示對(duì)應(yīng)于下一幀的畫面402，那么利用與該幀相關(guān)的仿射變換參數(shù)， 仿射變換畫面402。具體地說，假設(shè)A2代表對(duì)應(yīng)于畫面402的仿射 變換參數(shù)的矩陣，Al表示對(duì)應(yīng)于畫面401的仿射變換參數(shù)的矩陣， 那么獲得"AlxA2，，的值。參考第一幀的畫面401的位置和大小，利用 這樣獲得的矩陣"AlxA2，，仿射變換畫面402。在圖7(b)中所示的畫面 中，畫面402只在位置方面被變換。對(duì)應(yīng)于前一幀的畫面401被利用 仿射變換參數(shù)仿射變換的畫面402重寫。即，在畫面401的區(qū)域中， 與畫面402重疊的區(qū)域410^L畫面402重寫。在畫面401的區(qū)域中， 不與畫面402重疊的區(qū)i或411與畫面401合成。即，當(dāng)要顯示對(duì)應(yīng)于 第二幀的畫面402時(shí)，整個(gè)畫面402和畫面401中與區(qū)域411對(duì)應(yīng)的 區(qū)域被合成為被顯示的畫面，如圖7(b)中所示。另外，可按照環(huán)繞對(duì) 應(yīng)于當(dāng)前幀的畫面的方式顯示像框圖案，以便指示顯示畫面中的最新 畫面。在圖7(b)中，圍繞畫面402顯示像框圖案。依據(jù)其仿射變換畫 面402的仿射變換參數(shù)被保存在畫面變換部分140中。
在接下來要顯示對(duì)應(yīng)于下一幀的畫面403的情況下，利用與該幀 相關(guān)的仿射變換參數(shù)仿射變換畫面403。即，利用通過把對(duì)應(yīng)于畫面 403的仿射變換參數(shù)的矩陣乘以在前一仿射變換中使用的，對(duì)應(yīng)于畫 面402的仿射變換參數(shù)的矩陣而獲得的仿射變換參數(shù)，仿射變換畫面403。具體地說，假設(shè)A3代表對(duì)應(yīng)于畫面403的仿射變換參數(shù)的矩陣， A2表示對(duì)應(yīng)于畫面402的仿射變換參數(shù)的矩陣，Al代表對(duì)應(yīng)于畫面 401的仿射變換參數(shù)的矩陣，那么獲得"AlxA2xA3"的值。參考第一 幀的畫面401的位置和大小，利用這樣獲得的矩陣"AlxA2xA3"仿射 變換畫面403。在圖7(c)中所示的畫面中，只有畫面403在位置方面 被變換。對(duì)應(yīng)于在先幀的從畫面401和402得到的合成畫面被利用仿 射變換參數(shù)仿射變換的畫面403重寫。即，在從畫面401和402得到 的合成畫面中的區(qū)域中，與畫面403重疊的區(qū)域413和414 4皮畫面403 重寫。在從畫面401和402得到的合成畫面中的區(qū)域中，不與畫面403 重疊的區(qū)域411和412與出自畫面401和402的合成畫面合成。即， 當(dāng)要顯示對(duì)應(yīng)于第三幀的畫面403時(shí)，整個(gè)畫面403，畫面401中對(duì) 應(yīng)于區(qū)域411的區(qū)域，和畫面402中對(duì)應(yīng)于區(qū)域412的區(qū)域^皮合成為 顯示的畫面，'如圖7(c)中所示。另外，在將按照環(huán)繞對(duì)應(yīng)于當(dāng)前幀的 畫面的方式，顯示指示顯示的畫面中的最新畫面的像框圖案的情況 下，使像框圖案出現(xiàn)在圖7(c)中所示的畫面403的周圍。依據(jù)其仿射 變換畫面403的仿射變換參數(shù)被保存在畫面變換部分140中。即，通
變換參數(shù)被保存在畫面變換部分140中。這樣，在將仿射變換對(duì)應(yīng)于 當(dāng)前幀的畫面的情況下，通過把對(duì)應(yīng)于當(dāng)前幀的仿射變換參數(shù)的矩陣 乘以與在當(dāng)前幀之前的各幀對(duì)應(yīng)的仿射變換參數(shù)的矩陣，獲得仿射變 換參數(shù)。隨后利用獲得的仿射變換參數(shù)，仿射對(duì)應(yīng)于當(dāng)前幀的畫面。 關(guān)于該仿射變換獲得的仿射變換參數(shù)被保存在畫面變換部分140中， 供下一次仿射變換之用。這同樣適用于圖11和15的情況。
圖8是表示當(dāng)要再現(xiàn)包括圖5中的畫面401-403的運(yùn)動(dòng)畫面時(shí)實(shí) 際的典型顯示圖的示圖。圖7中所示的典型顯示圖表示通過固定與在 當(dāng)前幀之前的各幀對(duì)應(yīng)的合成畫面(第一次是單一的畫面)，并用在仿 射變換之后對(duì)應(yīng)于當(dāng)前幀的畫面重寫固定的合成畫面而獲得的合成 畫面。相反，圖8中所示的典型顯示圖表示通過固定對(duì)應(yīng)于當(dāng)前幀的 畫面的位置，通過沿仿射變換參數(shù)的相反方向仿射變換與在當(dāng)前幀之
27前的各幀對(duì)應(yīng)的合成畫面，并用對(duì)應(yīng)于當(dāng)前幀的畫面重寫仿射變換之
后的合成畫面而獲得的合成畫面。即，圖7和8中所示的顯示圖在顯 示在固定位置的畫面，和要被仿射變換的畫面方面不同，不過在其它 部分是相同的。為此，為了便于說明，用相同的附圖標(biāo)記指定與圖7 共有的各個(gè)部分。
如圖8(a)中所示， 一開始只顯示對(duì)應(yīng)于第一幀的畫面401。當(dāng)隨 后要顯示對(duì)應(yīng)于下一幀的畫面402時(shí)，通過利用與該幀相關(guān)的仿射變 換參數(shù)，沿仿射變換參數(shù)的相反方向仿射變換在前的畫面401。具體 地說，假定A2代表對(duì)應(yīng)于畫面402的仿射變換參數(shù)的矩陣，Al表示 對(duì)應(yīng)于畫面401的仿射變換參數(shù)的矩陣，那么獲得值inv(AlxA2),利 用這樣獲得的矩陣inv(AlxA2)仿射變換畫面401。這里應(yīng)注意invA(A 是矩陣)是A的逆矩陣。在圖8(b)中所示的畫面中，畫面401僅僅位 置被變換。沿仿射變換參數(shù)的相反方向仿射變換的畫面401被對(duì)應(yīng)于 當(dāng)前幀的畫面402重寫。通過用畫面402重寫畫面401而獲得的合成 畫面與圖7(b)中所示的合成畫面相同，從而不再進(jìn)一步討論。
隨后，在要顯示對(duì)應(yīng)于下一幀的畫面403的情況下，通過利用與 所述下一幀相關(guān)的仿射變換參數(shù)，沿仿射變換參數(shù)的相反方向仿射變 換從畫面401和402得到的對(duì)應(yīng)于前一幀的合成畫面。具體地說，假 定A3代表對(duì)應(yīng)于畫面403的仿射變換參數(shù)的矩陣，A2表示對(duì)應(yīng)于畫 面402的仿射變換參數(shù)的矩陣，Al代表對(duì)應(yīng)于畫面401的仿射變換 參數(shù)的矩陣，那么獲得值inv(AlxA2xA3),并刮用這樣獲得的矩陣 inv(AlxA2xA3)仿射變換從畫面401和402獲得的合成畫面。在圖8(c) 中所示的畫面中，從畫面401和402獲得的合成畫面僅僅位置被變換。 沿仿射變換參數(shù)的相反方向仿射變換的得自于畫面401和402的合成 畫面凈皮對(duì)應(yīng)于當(dāng)前幀的畫面403重寫。通過用畫面403重寫畫面401 和402而獲得的合成畫面和圖7(c)中所示的合成畫面相同，從而不再 進(jìn)一步討論。
下面說明在不移動(dòng)成像設(shè)備的透鏡方向的時(shí)候，改變成像設(shè)備在 拍攝畫面時(shí)的縮放系數(shù)的情況。圖9是表示成像設(shè)備拍攝的運(yùn)動(dòng)畫面的典型轉(zhuǎn)變的示圖。圖9 具有畫面421-423，所述畫面421-423對(duì)應(yīng)于包括在以山為背景，拍 攝的人420的運(yùn)動(dòng)畫面中的連續(xù)幀。在本例中，攝像者在增大成像設(shè) 備的透鏡的縮放系數(shù)的同時(shí)拍攝畫面。這種情況下，在構(gòu)成運(yùn)動(dòng)畫面 的畫面中，包括在成像設(shè)備拍攝的運(yùn)動(dòng)畫面中的人420的大小逐漸增 大。盡管當(dāng)增大縮放系數(shù)的時(shí)候，成像設(shè)備的位置可能稍微移動(dòng)，不 過為了便于說明，不考慮成像設(shè)備位置的移動(dòng)。
圖IO是在圖9中的畫面中用虛線表示與前一幀對(duì)應(yīng)的畫面，并 且表示從這些畫面檢測(cè)的典型光流的視圖。圖10(a)中所示的畫面421 和圖9(a)中的畫面421相同。圖10(b)的畫面422中，用實(shí)線表示的部 分和圖9(b)的畫面422相同，圖10(b)的畫面422中，用虛線表示的 部分和圖9(a)的畫面421中，用實(shí)線表示的那些部分相同。另外，圖 10(b)的畫面422中的箭頭424-426表示從畫面422檢測(cè)的典型光流。 同樣地，圖10(c)的畫面423中，用實(shí)線表示的部分和圖9(c)的畫面 423相同，圖10(c)的畫面423中，用虛線表示的部分和圖9(b)的畫面 422中，用實(shí)線表示的那些部分相同。圖10(c)的畫面423中的箭頭 427-429表示從畫面423檢測(cè)的典型光流。
如圖10(b)和(c)中所示，當(dāng)縮放系數(shù),皮改變時(shí)，畫面中的人420 和背景中的山的大小相應(yīng)地被改變。根據(jù)通過這些變化檢測(cè)的光流， 能夠獲得每一幀的仿射變換參數(shù)。
圖11是表示當(dāng)再現(xiàn)包括圖9中所示的畫面421-423的運(yùn)動(dòng)畫面 時(shí)實(shí)際的典型顯示圖。
如圖ll(a)中所示， 一開始只顯示對(duì)應(yīng)于第一幀的畫面421。隨 后當(dāng)顯示對(duì)應(yīng)于下一幀的畫面422時(shí)，利用與該幀相關(guān)的仿射變換參 數(shù)，仿射變換畫面422。在圖ll(b)中所示的畫面中，畫面422僅僅大 小被變換。對(duì)應(yīng)于前一幀的畫面421被利用仿射變換參數(shù)仿射變換的 畫面422重寫。即，在畫面421的區(qū)域中，與畫面422重疊的區(qū)域被 畫面422重寫。這種情況下，畫面421在所有區(qū)域中都與畫面422重 疊，以致畫面421全部4皮畫面422重寫。在畫面421的區(qū)域中，不與畫面422重疊的區(qū)域431與畫面421合成。即，當(dāng)要顯示對(duì)應(yīng)于第二 幀的畫面422時(shí)，整個(gè)畫面422和畫面421中與區(qū)域431對(duì)應(yīng)的區(qū)域 被合成為顯示的畫面，如圖ll(b)中所示。另外，可使指示顯示的畫 面中的最新畫面的像框圖案出現(xiàn)在對(duì)應(yīng)于當(dāng)前幀的畫面周圍。在圖 ll(b)中，圍繞畫面422顯示^"象框圖案。依據(jù)其仿射變換畫面422的仿 射變換參數(shù)被保存在畫面變換部分140中。
隨后，當(dāng)要顯示對(duì)應(yīng)于下一幀的畫面423時(shí)，利用與該幀相關(guān)的 仿射變換參數(shù)仿射變換畫面423。即，利用通過把對(duì)應(yīng)于畫面423的 仿射變換參數(shù)的矩陣乘以在前一仿射變換中使用的對(duì)應(yīng)于畫面422的 仿射變換參數(shù)的矩陣而獲得的仿射變換參數(shù)，仿射變換畫面423。在 圖ll(c)中所示的畫面中，畫面423僅僅大小凈皮變換。與前一幀對(duì)應(yīng)的 從畫面421和422獲得的合成畫面被利用仿射變換參數(shù)仿射變換的畫 面423重寫。即，在構(gòu)成從畫面421和422獲得的合成畫面的區(qū)域中， 與畫面423重疊的那些區(qū)域纟皮畫面423重寫。這種情況下，畫面423 與畫面421和422的所有區(qū)域重疊，以致從畫面421和422得到的合 成畫面全部^皮畫面423重寫。在構(gòu)成從畫面421和422得到的合成畫 面的區(qū)域中，不與畫面423重疊的區(qū)域432和433與從畫面421和422 得到的合成畫面合成。即，當(dāng)要顯示對(duì)應(yīng)于第三幀的畫面423時(shí)，整 個(gè)畫面423，畫面421中對(duì)應(yīng)于區(qū)域432的區(qū)域，和畫面422中對(duì)應(yīng) 于區(qū)域433的區(qū)域被合成為顯示的畫面，如圖ll(c)中所示。當(dāng)要按照
環(huán)繞對(duì)應(yīng)于當(dāng)前幀的畫面的方式顯示指示顯示的畫面中的最新畫面 的像框圖案時(shí)，使像框圖案出現(xiàn)在圖ll(c)中所示的畫面423周圍。另 外，依據(jù)其仿射變換畫面423的仿射變換參數(shù)被保存在畫面變換部分 140中。即，通過把對(duì)應(yīng)于畫面422和423的仿射變換參數(shù)的矩陣相 乘而獲得的仿射變換參數(shù)被保存在畫面變換部分140中。
圖12是表示當(dāng)再現(xiàn)圖9中所示的畫面421-423時(shí)實(shí)際的典型顯 示圖的示圖。圖11和12中的典型顯示圖之間的差別與圖7和8中的 典型顯示圖之間的差別相同；圖11和12中的典型顯示圖在顯示在固 定位置的畫面，和要被仿射變換的畫面方面不同，不過在其它部分是相同的。為此，為了1更于^兌明，用相同的附圖標(biāo)記指定與圖11共有 的各個(gè)部分。
如圖12(a)中所示， 一開始只顯示對(duì)應(yīng)于第一幀的畫面421。當(dāng) 隨后要顯示對(duì)應(yīng)于下一幀的畫面422時(shí)，通過利用與該幀相關(guān)的仿射 變換參數(shù)，沿仿射變換參數(shù)的相反方向仿射變換在前的畫面421。在 圖12(b)中所示的畫面中，畫面421僅僅大小被變換。沿仿射變換參 數(shù)的相反方向仿射變換的畫面421被對(duì)應(yīng)于當(dāng)前幀的畫面422重寫。 應(yīng)注意通過用畫面422重寫畫面421而獲得的合成畫面在大小方面不 同于圖ll(b)中所示的合成畫面，不過在其它方面與后者相同，從而 不再進(jìn)一步討論。
隨后，在要顯示對(duì)應(yīng)于下一幀的畫面423的情況下，通過利用與 所述下一幀相關(guān)的仿射變換參數(shù)，沿仿射變換參數(shù)的相反方向仿射變 換從畫面421和422得到的對(duì)應(yīng)于前一幀的合成畫面。在圖12(c)中所 示的畫面中，從畫面421和422獲得的合成畫面僅僅大小被變換。沿 仿射變換參數(shù)的相反方向仿射變換的得自于畫面421和422的合成畫 面,皮對(duì)應(yīng)于當(dāng)前幀的畫面423重寫。通過用畫面423重寫由畫面421 和422得到的合成畫面而獲得的合成畫面在大小方面不同于圖ll(c) 中所示的合成畫面，不過在其它方面與后者相同，從而不再進(jìn)一步討 論。
下面說明在成像設(shè)備的透鏡方向和縮放系數(shù)保持不變的時(shí)候，在 拍攝畫面期間，繞拍攝畫面的方向旋轉(zhuǎn)成像設(shè)備的情況。
圖13是表示成像設(shè)備拍攝的運(yùn)動(dòng)畫面的典型轉(zhuǎn)變的示圖。圖13 具有畫面441-443，所述畫面441-443對(duì)應(yīng)于包括在以山為背景，拍 攝的人440的運(yùn)動(dòng)畫面中的連續(xù)幀。在本例中，攝像者在圍繞拍攝畫 面的方向旋轉(zhuǎn)成像設(shè)備的同時(shí)拍攝畫面。這種情況下，包括在成像設(shè) 備拍才聶的運(yùn)動(dòng)畫面中的人440在構(gòu)成運(yùn)動(dòng)畫面的畫面中被旋轉(zhuǎn)。盡管 在其旋轉(zhuǎn)過程中，成像設(shè)備的位置可能稍微移動(dòng)，不過為了便于說明， 不考慮成像設(shè)備位置的移動(dòng)。
圖14是虛線表示對(duì)應(yīng)于前一幀，且存在于圖13中所示的畫面中的畫面，并且表示從這些畫面檢測(cè)的典型光流的視圖。圖14(a)中所 示的畫面441和圖13(a)中的畫面441相同。圖14(b)的畫面442中， 用實(shí)線表示的部分和圖13(b)的畫面442相同，圖14(b)的畫面442中， 用虛線表示的部分和圖13(a)的畫面441中，用實(shí)線表示的部分相同。 另夕卜，圖14(b)的畫面442中的箭頭444-446表示從畫面442檢測(cè)的典 型光流。同樣地，圖14(c)的畫面443中，用實(shí)線表示的部分和圖13(c) 的畫面443相同，圖14(c)的畫面443中，用虛線表示的部分和圖13(b) 的畫面442中，用實(shí)線表示的部分相同。圖14(c)的畫面443中的箭頭 447-449表示從畫面443檢測(cè)的典型光流。
如圖14(b)和(c)中所示，當(dāng)成像設(shè)備被旋轉(zhuǎn)時(shí)，包括在畫面中的 人440和背景中的山相應(yīng)地被轉(zhuǎn)動(dòng)。根據(jù)通過所述轉(zhuǎn)動(dòng)檢測(cè)的光流， 能夠獲得每一幀的仿射變換參數(shù)。
圖15是表示當(dāng)再現(xiàn)包括圖13中所示的畫面441-443的運(yùn)動(dòng)畫面 時(shí)實(shí)際的典型顯示圖的示圖。
如圖15(a)中所示， 一開始只顯示對(duì)應(yīng)于第一幀的畫面441。隨 后當(dāng)顯示對(duì)應(yīng)于下一幀的畫面442時(shí)，利用與該幀相關(guān)的仿射變換參 數(shù)，仿射變換畫面442。在圖15(b)中所示的畫面中，畫面442僅僅角 度被變換。對(duì)應(yīng)于前一幀的畫面441被利用仿射變換參數(shù)仿射變換的 畫面442重寫。即，在畫面441的區(qū)域中，與畫面442重疊的區(qū)域450 被畫面442重寫。在畫面441的區(qū)域中，不與畫面442重疊的區(qū)域451 和452與畫面441合成。即，當(dāng)要顯示對(duì)應(yīng)于第二幀的畫面442時(shí)， 整個(gè)畫面442和畫面441中與區(qū)域451及452對(duì)應(yīng)的那些區(qū)域被合成 為顯示的畫面，如圖15(b)中所示。另外，可使指示顯示的畫面中的 最新畫面的像框圖案出現(xiàn)在對(duì)應(yīng)于當(dāng)前幀的畫面周圍。在圖15(b)中， 圍繞畫面442顯示像框圖案。依據(jù)其仿射變換畫面442的仿射變換參 數(shù)被保存在畫面變換部分140中。
隨后，當(dāng)要顯示對(duì)應(yīng)于下一幀的畫面443時(shí)，利用與該幀相關(guān)的 仿射變換參數(shù)仿射變換畫面443。即，利用通過把對(duì)應(yīng)于畫面443的 仿射變換參數(shù)的矩陣乘以在前一仿射變換中使用的對(duì)應(yīng)于畫面442的仿射變換參數(shù)的矩陣而獲得的仿射變換參數(shù)，仿射變換畫面443。在 圖15(c)中所示的畫面中，畫面443僅僅角度被變換。與前一幀對(duì)應(yīng)的 從畫面441和442獲得的合成畫面被利用仿射變換參數(shù)仿射變換的畫 面443重寫。即，在構(gòu)成從畫面441和442獲得的合成畫面的區(qū)域中， 與畫面443重疊的區(qū)&戈453-457 ^皮畫面443重寫。在構(gòu)成從畫面441 和442得到的合成畫面的區(qū)域中，不與畫面443重疊的區(qū)域458-461 進(jìn)一步與從畫面441和442得到的合成畫面合成。即，當(dāng)要顯示對(duì)應(yīng) 于第三幀的畫面443時(shí)，整個(gè)畫面443，畫面441中對(duì)應(yīng)于區(qū)域459 的區(qū)域，和畫面442中對(duì)應(yīng)于區(qū)域458及460的那些區(qū)域^皮合成為顯 示的畫面，如圖15(c)中所示。當(dāng)要圍繞對(duì)應(yīng)于當(dāng)前幀的畫面顯示指示 顯示的畫面中的最新畫面的像框圖案時(shí)，使像框圖案出現(xiàn)在圖15(c) 中所示的畫面443周圍。另外，依據(jù)其仿射變換畫面443的仿射變換 參數(shù)纟皮保存在畫面變換部分140中。即，通過把對(duì)應(yīng)于畫面442和443
換部分140中。
圖16是表示當(dāng)再現(xiàn)包括圖13中所示的畫面441-443的運(yùn)動(dòng)畫面 時(shí)實(shí)際的典型顯示圖的示圖。圖15和16中的典型顯示圖之間的差別 與圖7和8中的典型顯示圖之間的差別相同；圖15和16中的典型顯 示圖在顯示在固定位置的畫面，和要被仿射變換的畫面方面不同，不 過在其它部分是相同的。為此，為了便于說明，用相同的附圖標(biāo)記指 定與圖15共有的各個(gè)部分。
如圖16(a)中所示， 一開始只顯示對(duì)應(yīng)于第一幀的畫面441。當(dāng) 隨后要顯示對(duì)應(yīng)于下一幀的畫面442時(shí)，通過利用與該幀相關(guān)的仿射 變換參數(shù)，沿仿射變換參數(shù)的相反方向仿射變換在前的畫面441。在 圖16(b)中所示的畫面中，畫面441只有角度^皮變換。沿仿射變換參 數(shù)的相反方向仿射變換的畫面441被對(duì)應(yīng)于當(dāng)前幀的畫面442重寫。 通過用畫面442重寫畫面441而獲得的合成畫面在角度方面不同于圖 15(b)中所示的合成畫面，不過在其它方面與后者相同，從而不再進(jìn)一 步討論。隨后，在要顯示對(duì)應(yīng)于下一幀的畫面443的情況下，通過利用與 所述下一幀相關(guān)的仿射變換參數(shù)，沿仿射變換參數(shù)的相反方向仿射變 換對(duì)應(yīng)于前一幀的從畫面441和442得到的合成畫面。在圖16(c)中所 示的畫面中，從畫面441和442獲得的合成畫面僅僅角度被變換。沿 仿射變換參數(shù)的相反方向仿射變換的得自于畫面441和442的合成畫 面被對(duì)應(yīng)于當(dāng)前幀的畫面443重寫。要注意的是通過用畫面443重寫 畫面441和442而獲得的合成畫面在角度方面不同于圖15(c)中所示的 合成畫面，不過在其它方面與后者相同，從而不再進(jìn)一步討論。
上面說明了其中在位置方面，在縮放系數(shù)方面和在角度方面相繼 改變構(gòu)成運(yùn)動(dòng)畫面的畫面的情況。不過，所述說明也適用于組合進(jìn)行 這樣的改變的情況。
下面，說明計(jì)算與當(dāng)前幀對(duì)應(yīng)的畫面的中心位置、角度和縮放系 數(shù)的典型處理。如上所述，利用通過把與從參考畫面的幀一直到當(dāng)前
數(shù)，變換與當(dāng)前幀對(duì)應(yīng)的畫面。為此，利用通過乘法獲得的仿射變換 參數(shù)，可相對(duì)于參考畫面計(jì)算對(duì)應(yīng)于當(dāng)前幀的畫面的移動(dòng)量，旋轉(zhuǎn)角 度或者縮放系數(shù)。具體地說，通過利用表示視為變換基準(zhǔn)的第一幀的 中心位置、角度和縮放系數(shù)，并被保存在畫面變換部分140中的參考 信息，以及通過把與一直到當(dāng)前幀的各幀對(duì)應(yīng)的仿射變換參數(shù)的矩陣 相乘而獲得的仿射變換參數(shù)，可計(jì)算對(duì)應(yīng)于當(dāng)前幀的畫面的中心位 置、角度和縮放系數(shù)。對(duì)應(yīng)于當(dāng)前幀的畫面的中心位置是通過利用在 參考信息中得到的中心位置，和計(jì)算的仿射變換參數(shù)的矩陣，由表達(dá) 式1計(jì)算的。對(duì)應(yīng)于當(dāng)前幀的畫面的角度0和縮放系數(shù)"z"例證地是 通過利用相乘的仿射變換參數(shù)，由下面的表達(dá)式計(jì)算 [表達(dá)式3 ] ^ = tan一
、a乂
圖17是表示本發(fā)明的實(shí)施例中的聲音變換處理部分200的典型 結(jié)構(gòu)的方框圖。在本例中，左右聲道上的輸入聲音被表示成轉(zhuǎn)換成左
34右聲道上的輸出聲音。
音頻控制部分201具有音量放大器203-206。音量放大器203根 據(jù)來自聲音變換信息計(jì)算部分190的聲音變換信息RR，放大右聲道 輸入聲音。音量放大器204根據(jù)來自聲音變換信息計(jì)算部分190的聲 音變換信息RL，放大右聲道輸入聲音。音量放大器203根據(jù)來自聲 音變換信息計(jì)算部分190的聲音變換信息LR,放大左聲道輸入聲音。 音量放大器204根據(jù)來自聲音變換信息計(jì)算部分l卯的聲音變換信息 LL，放大左聲道輸入聲音。這種情況下，聲音變換信息是根據(jù)在顯示 部分180的顯示屏幕上，當(dāng)前幀的中心位置、角度和縮放系數(shù)計(jì)算的， 指示每個(gè)聲道的音量控制值的信息。
聲音相加部分202具有聲音加法器207和208。聲音加法器207 相加音量放大器203放大的右聲道輸入聲音，和音量放大器205放大 的左聲道輸入聲音。聲音加法器207把相加的聲音作為右聲道輸出聲 音輸出給聲音輸出控制部分210。聲音加法器208相加音量放大器204 放大的右聲道輸入聲音，和音量放大器206放大的左聲道輸入聲音。 聲音加法器208把相加的聲音作為左聲道輸出聲音輸出給聲音輸出控 制部分210。這樣，輸入的聲音按照聲音變換信息被轉(zhuǎn)換，并作為輸 出聲音被輸出給聲音輸出控制部分210。
下面參考附圖，詳細(xì)說明與對(duì)應(yīng)于當(dāng)前幀的畫面的移動(dòng)結(jié)合，本 發(fā)明的實(shí)施例執(zhí)行的聲音變換處理。
圖18是表示按照普通的再現(xiàn)方法再現(xiàn)拍攝的運(yùn)動(dòng)畫面的例子的 示圖。圖18(a)表示由成像設(shè)備500拍攝的作為成像對(duì)象，從右往左 移動(dòng)的汽車的一系列畫面511-513。該系列畫面511-513是按照這樣 的方式拍才聶的，以致汽車514-516都位于所述一系列畫面511-513的 中心。為了便于理解附圖，與所攝畫面511-513的面積相比，相對(duì)放 大地表示了汽車514-516。不過，如上參考圖3所述，為了提取成像 設(shè)備的移動(dòng)，而不受移動(dòng)對(duì)象影響，最好應(yīng)與畫面的面積相比，以相 對(duì)較小的尺寸拍攝移動(dòng)對(duì)象。在接下來的說明中，與所述一系列畫面 511-513對(duì)應(yīng)的所:攝畫面將用相同的附圖標(biāo)記511-513表示。成像設(shè)備500具有在拍攝畫面511-513的時(shí)候，獲得右聲道和左聲道輸入聲 音的右麥克風(fēng)501和左麥克風(fēng)502。這樣獲得的輸入聲音通常與出現(xiàn) 在成像設(shè)備500的取景器中的畫面相配合。圖18(b)表示利用普通的 再現(xiàn)方法再現(xiàn)圖18(a)中所示的拍攝畫面511-513的例子。拍攝的畫面 511-513被顯示在顯示部分180的整個(gè)顯示屏幕內(nèi)。在拍攝的畫面 511-513中，汽車514-516被顯示在顯示屏幕的中心。這里，與所攝 畫面511-513的顯示一致地輸出的輸出聲音由未修改地分別輸出給右 揚(yáng)聲器221和左揚(yáng)聲器222的右聲道和左聲道輸入聲音構(gòu)成。按照這 種普通的再現(xiàn)方法，伴隨所攝畫面的輸入聲音可被未修改地輸出，起 配合所攝畫面的輸出聲音的作用。音量指示517和518分別顯示右聲 道和左聲道輸入聲音的音量。用白色表示右聲道輸入聲音的音量，用 黑色表示左聲道輸入聲音的音量。
圖19概述由作為本發(fā)明實(shí)施例的畫面處理設(shè)備進(jìn)行的再現(xiàn)的例 子。在本例子中，在固定從在當(dāng)前幀之前的各個(gè)畫面得到的合成畫面 的時(shí)候，利用從畫面變換信息供給部分130供給的仿射變換參數(shù)，變 換和再現(xiàn)對(duì)應(yīng)于當(dāng)前幀的畫面。圖19中所示的所攝畫面511-513和圖 18(a)中所示的所攝畫面511-513相同。不過，在本例中，根據(jù)從成像 設(shè)備500的移動(dòng)方向521獲得的仿射變換參數(shù)，所攝畫面511-513按 照從右到左的順序被顯示在顯示部分180的顯示屏幕上。在圖19中 為了便于說明，所攝畫面511-513被顯示成其間沒有間隔。這種情況 下，與圖18(b)的情況相反，所攝畫面511-513在顯示屏幕內(nèi)橫移。為 此，如果原樣輸出獲得的輸入聲音，那么不能獲得與所攝畫面511-513 的移動(dòng)相配合的自然音效。從而，作為本發(fā)明的實(shí)施例，畫面處理設(shè) 備IOO控制與所攝畫面511-513在顯示屏幕上的中心位置相一致地相 加左聲道和右聲道輸入聲音，以便按輸出聲道輸出的比率。具體地說， 按照所攝畫面511-513在顯示屏幕上的中心位置，控制右聲道輸入聲 音的音量與左聲道輸入聲音的音量的比率，相加后的音量被輸出給相 應(yīng)的揚(yáng)聲器。如果假定所攝畫面513被顯示在顯示屏幕上，那么具有 表現(xiàn)衰減的右聲道輸入聲音的音量519的聲音作為輸出聲音被輸出給右揚(yáng)聲器221。這里，左聲道輸入聲音被加到衰減的音量519上。但 是，由于所攝畫面513的中心位置位于顯示屏幕的左手一側(cè)，因此左 聲道輸入聲音的比率被設(shè)成"O"。為此，只有右聲道輸入聲音被輸出 給右揚(yáng)聲器221。作為輸出聲音輸出給左揚(yáng)聲器222的是通過把從右 聲道輸入聲音的音量中減去衰減音量519而獲得的音量520和左聲道 輸入聲音的音量518相加得到的聲音。
下面參考附圖，詳細(xì)說明本發(fā)明的實(shí)施例中的聲音變換信息計(jì)算 部分l卯計(jì)算運(yùn)動(dòng)的有關(guān)聲音變換信息的例子。
圖20是表示在本發(fā)明的實(shí)施例中，顯示部分180的顯示屏幕的 坐標(biāo)系的方框圖。本例中，顯示屏幕上的畫面185被用于說明。
假定X軸181和Y軸182分別位于水平方向和垂直方向。假定 這些坐標(biāo)軸的原點(diǎn)位于顯示部分180的顯示屏幕的中心。顯示部分180 的顯示屏幕的水平長(zhǎng)度183和垂直長(zhǎng)度184分別用"寬度"和"高度"表 示。在該坐標(biāo)系中，對(duì)應(yīng)于當(dāng)前幀的畫面185的中心位置186相對(duì)于 原點(diǎn)的移動(dòng)量187用X軸方向的"x"和Y軸方向的"y"表示。畫面185 相對(duì)于X軸的角度189用e表示。
利用這樣定義的坐標(biāo)系，在下面的說明中將提供關(guān)于聲音變換信 息的計(jì)算的圖表和關(guān)系表達(dá)式。
圖21是按照本發(fā)明的實(shí)施例，圖解說明一方面的對(duì)應(yīng)于當(dāng)前幀 的畫面的中心位置和另 一方面的輸出聲音之間的關(guān)系的圖表。在圖 21(a)和(b)中，水平軸代表畫面在顯示屏幕上的移動(dòng)量(x)，垂直軸表 示輸出聲音與輸入聲音的比率。實(shí)線611和621代表右聲道上輸出聲 音的輸出率，虛線612和622表示左聲道上輸出聲音的輸出率。圖21(a) 表示與移動(dòng)量"x，，相一致地把右聲道上的輸入聲音分配給左右聲道上 的輸出聲音的比率。圖21(b)表示與移動(dòng)量"x"相一致地把左聲道上的 輸入聲音分配給相應(yīng)聲道上的輸出聲音的比率。最后，在被輸出之前， 如實(shí)線611和621確定的那樣，右聲道上的輸出聲音被加到左右聲道 的聲音上。同樣在被輸出之前，如虛線612和622確定的那樣，左聲 道上的輸出聲音被中到相應(yīng)聲道的聲音上。利用下述表達(dá)式，可定義一方面沿實(shí)線611的移動(dòng)量"x"和另一 方面輸出聲音與輸入聲音的比率f(x)之間的關(guān)系
/(x)-(a/(寬度/2》"+ l (-寬度/2"<0)
其中"寬度"代表顯示屏幕的水平長(zhǎng)度。最好，參數(shù)a的值介于 0.3和0.4之間。
利用前面的表達(dá)式，虛線612、實(shí)線621和虛線622的關(guān)系表達(dá) 式分別為l-f(x)， l-f(-x)和f(-x)。
這里，以下述表達(dá)式2的形式給出關(guān)于輸入聲音的變換的關(guān)系表
達(dá)式
R'=R.RR+LLR (表達(dá)式2)
L'=RRL+LLL
其中RR-f(x)， RL=(l-f(x))， LR-(l-f(國x))， LL=f(-x); "x"代表 對(duì)應(yīng)于當(dāng)前幀的畫面的移動(dòng)量(即，從水平方向的原點(diǎn)到對(duì)應(yīng)于當(dāng)前幀 的畫面的中心位置的距離)；R'和L'分別代表右聲道和左聲道的輸出 聲音；R和L分別表示右聲道和左聲道的輸入聲音。
上面的RR、 RL、 LR和LL構(gòu)成聲音變換信息。聲音變換信息 計(jì)算部分190根據(jù)對(duì)應(yīng)于當(dāng)前幀的畫面的中心位置，計(jì)算RR、 RL、 LR和LL 。
對(duì)于上面的例子，應(yīng)注意假定了揚(yáng)聲器220被設(shè)置在顯示屏幕的 右側(cè)和左側(cè)。才艮據(jù)在屏幕的水平方向上，對(duì)應(yīng)于當(dāng)前幀的畫面的位置 關(guān)系，說明了如何關(guān)于對(duì)應(yīng)于當(dāng)前幀的畫面，計(jì)算和聲音有關(guān)的聲音 變換信息。另一方面，該實(shí)施例適用于其中揚(yáng)聲器位于顯示屏幕的中 間的揚(yáng)聲器系統(tǒng)，或者適用于其中揚(yáng)聲器位于顯示屏幕的上部和下部 的揚(yáng)聲器系統(tǒng)。例如，如果把該實(shí)施例應(yīng)用于揚(yáng)聲器位于顯示屏幕的 上部和下部的揚(yáng)聲器系統(tǒng)，那么根據(jù)在屏幕的垂直方向上，對(duì)應(yīng)于當(dāng) 前幀的畫面的位置關(guān)系，能夠關(guān)于對(duì)應(yīng)于當(dāng)前幀的畫面，計(jì)算和聲音 有關(guān)的聲音變換信息。如果把該實(shí)施例應(yīng)用于揚(yáng)聲器位于屏幕中間的 揚(yáng)聲器系統(tǒng)，那么根據(jù)在屏幕的水平方向上，對(duì)應(yīng)于當(dāng)前幀的畫面的 位置關(guān)系，能夠關(guān)于對(duì)應(yīng)于當(dāng)前幀的畫面，計(jì)算和聲音有關(guān)的聲音變換信息。即，根據(jù)仿射變換參數(shù)，關(guān)于對(duì)應(yīng)于當(dāng)前幀的畫面，計(jì)算和 聲音有關(guān)的聲音變換信息，通過根據(jù)這樣計(jì)算的聲音變換信息變換聲 音，產(chǎn)生輸出聲音。
下面參考附圖，詳細(xì)說明關(guān)于對(duì)應(yīng)于當(dāng)前幀的畫面的旋轉(zhuǎn)，由本 發(fā)明的實(shí)施例進(jìn)行的聲音變換處理。
圖22是表示成像設(shè)備500和被拍攝的對(duì)象之間的關(guān)系的示圖。 圖22(a)表示當(dāng)開始拍攝畫面時(shí)的實(shí)際狀態(tài)。這里，顯示配有右麥克 風(fēng)501和左麥克風(fēng)502的成像設(shè)備拍攝正在發(fā)聲的人531和正在發(fā)出 聲響的鬧鐘532的畫面。這種情況下，人531的聲音以較高的比率被 輸入右麥克風(fēng)501，鬧鐘532的聲音以較高的比率凈皮輸入左麥克風(fēng) 502。圖22(b)表示在圖22(a)的狀態(tài)下拍攝的畫面551。音量指示543 指示由右麥克風(fēng)501獲得的右聲道輸入聲音的音量，音量指示544指 示由左麥克風(fēng)502獲得的左聲道輸入聲音的音量。作為幫助理解所攝 畫面中，右麥克風(fēng)501和左麥克風(fēng)502之間的位置關(guān)系的符號(hào)，給出 了所攝畫面551中的R標(biāo)記541和L標(biāo)記542。圖22(c)是表示從成 像設(shè)備500之后觀察的圖22(a)的狀態(tài)的示圖。這里，沿順時(shí)鐘方向 545旋轉(zhuǎn)180。的成像設(shè)備500拍攝運(yùn)動(dòng)畫面。這種情況下，右麥克風(fēng) 501獲得的右聲道輸入聲音涉及隨著旋轉(zhuǎn)角的增大，人531的聲音的 比率逐漸降低，和鬧鐘532的鈴聲的比率逐漸增大。相反，左麥克風(fēng) 502獲得的左聲道輸入聲音涉及隨著旋轉(zhuǎn)角的增大，鬧鐘532的鈴聲 的比率逐漸降低，和人531的聲音的比率逐漸增大。下面參考附圖例 證說明再現(xiàn)按照這種方式拍才聶的運(yùn)動(dòng)畫面。
圖23概述由具體體現(xiàn)本發(fā)明的畫面處理設(shè)備100進(jìn)行的再現(xiàn)的 例子。圖23(a)表示當(dāng)再現(xiàn)由圖22中的成像設(shè)備500拍攝的運(yùn)動(dòng)畫面 時(shí)，利用普通的再現(xiàn)方法顯示的一系列畫面551-555。圖23(b)圖解說 明由具體體現(xiàn)本發(fā)明的畫面處理設(shè)備100再現(xiàn)的一系列顯示畫面 561-565。該再現(xiàn)例子涉及在固定合成畫面的情況下，利用由畫面變換 信息供給部分130供給的仿射變換參數(shù)，變換對(duì)應(yīng)于當(dāng)前幀的畫面。 這里，為了簡(jiǎn)化起見，省略了顯示屏幕的框架。所攝畫面均被假定成
39顯示在顯示屏幕的中心。
在圖23(a)中，顯示畫面551-555中R標(biāo)記541和L標(biāo)記542之 間的位置關(guān)系保持不變。為此，可無變化地原樣輸出顯示畫面551-555 的輸入聲音，作為與顯示畫面551-555相配合的輸出聲音。
另一方面，在圖23(b)中，顯示畫面561-565中R標(biāo)記541和L 標(biāo)記542之間的位置關(guān)系被改變，以致如果原樣輸出獲得的輸入聲音 的話，那么獲得的輸入聲音將不提供自然的音效。從而，作為本發(fā)明 的實(shí)施例，畫面處理設(shè)備100與顯示在顯示屏幕中的畫面的角度相一 致地控制相加右聲道和左聲道輸入聲音的比率，之后把相加的聲音輸 出給相應(yīng)的輸出聲道。具體地說，右聲道輸出聲音由音量衰減的右聲 道輸入聲音，和音量逐漸被增大，并被加到音量衰減的右聲道輸入聲 音中的左聲道輸入聲音構(gòu)成，以便與顯示畫面561-565的角度相一致 地輸出。左聲道輸出聲音由右聲道輸出聲音中右聲道的衰減輸入音 量，和右聲道輸出聲音中右聲道的相加音量的剩余音量構(gòu)成，以便輸 出。
圖24是表示按照本發(fā)明的實(shí)施例，圖解說明一方面的對(duì)應(yīng)于當(dāng) 前幀的畫面的角度與另一方面的輸出聲音之間的關(guān)系的圖表的示圖。 在圖24(a)和(b)中，水平軸表示相對(duì)于水平方向的角度(e)，垂直軸表 示輸出聲音與輸入聲音的比率。實(shí)線711和721代表右聲道輸出聲音 的輸出率，虛線712和722表示左聲道輸出聲音的輸出率。圖24(a) 表示與角度e相一致，把右聲道輸入聲音分配給每個(gè)聲道上的輸出聲 音的比率。圖24(b)表示與角度e相一致，把左聲道輸入聲音分配給 每個(gè)聲道上的輸出聲音的比率。最后，右聲道輸出聲音由依據(jù)實(shí)線711 和721確定的比率相加的每個(gè)聲道上的輸入聲音構(gòu)成，以^使輸出。左 聲道輸出聲音同樣由依據(jù)虛線712和722確定的比率相加的每個(gè)聲道 上的輸入聲音構(gòu)成，以便輸出。
一方面由實(shí)線711確定的對(duì)應(yīng)于當(dāng)前幀的畫面的角度e與另一方
義:g(0) = (l + cos^)/2
在使用上述表達(dá)式的情況下，虛線712、實(shí)線721和虛線722的
關(guān)系表達(dá)式分別為i-g(e)、 i-g(e)和g(e)。這里，表達(dá)式2中所示的構(gòu)
成聲音變換信息的RR、 RL、 LR和LL分別被表示成RR- g(e)、
RL=(i-g(e))、 LR-(i-g(e)和LL=g(e)。
應(yīng)注意在上面的例子中，假定揚(yáng)聲器220位于顯示屏幕的右側(cè)和 左側(cè)。另一方面，和圖21的情況一樣，該實(shí)施例適用于揚(yáng)聲器位于 顯示屏幕的上方和下方的揚(yáng)聲器系統(tǒng)。
下面參考附圖，說明關(guān)于對(duì)應(yīng)于當(dāng)前幀的畫面的縮放系數(shù)，本發(fā) 明的實(shí)施例執(zhí)行的聲音變換處理。
圖25概述由具體體現(xiàn)本發(fā)明的畫面處理設(shè)備100執(zhí)行的再現(xiàn)的 例子。圖25(a)和(c)表示其中裝備右麥克風(fēng)501和左麥克風(fēng)502的成 像設(shè)備500正在拍攝人531和鬧鐘532的畫面的狀態(tài)。圖25(b)、 (d) 和(e)表示所顯示的典型拍攝畫面。這里，假定畫面都被顯示在顯示部 分180的顯示屏幕的中心的部分區(qū)域中。圖25(b)顯示由圖25(a)中所 示的成像設(shè)備500拍攝的畫面551。音量指示543指示由右麥克風(fēng)01 獲得的右聲道輸入聲音的音量，音量指示544指示由左麥克風(fēng)502獲 得的左聲道輸入聲音的音量。圖25(c)表示其中圖25(a)中所示的拍攝 畫面的成像設(shè)備500拉近被拍攝的對(duì)象的狀態(tài)。
圖25(d)和25(e)表示由具體體現(xiàn)本發(fā)明的畫面處理設(shè)備100執(zhí)行 的再現(xiàn)的例子。圖25(d)是在固定對(duì)應(yīng)于當(dāng)前幀的畫面的大小的時(shí)^f夷， 利用畫面變換信息供給部分130供給的仿射變換參數(shù)，變換合成畫面 的例子。這種情況下，由于成像設(shè)備500的拉近操作，所攝畫面571 中的人531和鬧鐘532凈皮放大顯示。從而作為本發(fā)明的實(shí)施例，畫面 處理設(shè)備100按照對(duì)應(yīng)于當(dāng)前幀的畫面的縮放系數(shù)，分別以相同的比 率控制左聲道和右聲道輸入聲音的音量，以便輸出給每個(gè)輸出聲道。 具體地說，與所攝畫面571中的被攝對(duì)象相對(duì)于所攝畫面551的縮放 系數(shù)相一致，以相同的比率放大每個(gè)聲道上的輸入聲音的音量543和 544(即，音量指示546和547被相加)以便輸出。另一方面，圖25(e)表示其中在合成畫面被固定的情況下，利用 由畫面變換信息供給部分130供給的仿射變換參數(shù)，變換對(duì)應(yīng)于當(dāng)前 幀的畫面的再現(xiàn)例子。這種情況下，顯示屏幕上的所攝畫面571中的 被攝對(duì)象的大小與圖25(b)中所示的對(duì)象相同。從而作為本發(fā)明的實(shí) 施例，畫面處理設(shè)備100原樣輸出輸入聲音，而不改變輸入聲音的音 量比率。具體地說，當(dāng)該顯示模式有效的時(shí)候，除了縮放系數(shù)之外， 畫面變換部分140把對(duì)應(yīng)于當(dāng)前幀的畫面的中心位置和角度輸出給聲 音變換信息計(jì)算部分l卯。
圖26是按照本發(fā)明的實(shí)施例，圖解說明縮放系數(shù)和對(duì)應(yīng)于當(dāng)前 幀的畫面的輸出聲音之間的關(guān)系的圖表。在圖26(a)和(b)中，水平軸 代表畫面的縮放系數(shù)(z)，垂直軸表示輸出聲音與輸入聲音的比率。圖 26(a)表示與縮放系數(shù)"z，，一致的右聲道輸出聲音和右聲道輸入聲音的 比率，圖26(b)表示與縮放系數(shù)"z，，一致的左聲道輸出聲音和左聲道輸 入聲音的比率。
在該圖中，由實(shí)線713確定的縮放系數(shù)"z"和輸出聲音與輸入聲 音的比率h(z)可利用下面的表達(dá)式來定義
h(z)=l-p ((Xz刻 (2卩/(z2誦zl)).(z畫zl)+l-p (zl^z〈z2) 1+P (z2￡z)
其中"z，，表示對(duì)應(yīng)于當(dāng)前幀的畫面的縮放系數(shù)。為了不大大影響 音量，參數(shù)P的值最好介于0.1和0.2之間?？煽紤]到P的值恰當(dāng)?shù)?確定zl和z2的值。
這里，構(gòu)成聲音變換信息，并示于表達(dá)式2中的RR和LL被表 示成RR=LL=h(z)。上面參考圖25說明了每個(gè)聲道上的輸入聲音不被 加入每個(gè)聲道上的輸出聲音中的情況。如果每個(gè)聲道上的輸入聲音被 加入到每個(gè)聲道上的輸出聲音中，那么每個(gè)相加聲道的輸入聲音的音 量以相同的比率被J故大，以致和RR及LL的情況一樣，RL和LR也 利用h(z)來表述。另一方面，h(z)可用S形函數(shù)給出，其中1+卩和l-p 構(gòu)成由下述表達(dá)式定義的漸近線<formula>formula see original document page 43</formula>
上面說明了接連改變對(duì)應(yīng)于當(dāng)前幀的畫面的中心位置、角度和縮 放系數(shù)的情況。如果組合地發(fā)生這種改變，那么可把相應(yīng)的關(guān)系表達(dá) 式相乘，以提供相似的效果。具體地說，構(gòu)成聲音變換信息，并且示
于表達(dá)式2中的RR、 RL、 LR和LL可被分別表示成RR=f(x)'g(e)'h(z)、 RL=(l-f(x)).(l-g(e))'h(z)、 LR=(l-f(-x))'(l-g(e)).h(z)和 LL=
f(-x)).g(e).h(z)。在前面的例子中，說明了左右聲道上的輸入聲音。另
一方面，該實(shí)施例也可應(yīng)用于附加的中央聲道上的輸入聲音。
下面參考附圖，說明具體體現(xiàn)本發(fā)明的畫面處理設(shè)備100的工作。
圖27是表示構(gòu)成由作為本發(fā)明的實(shí)施例的畫面處理設(shè)備100執(zhí) 行的運(yùn)動(dòng)畫面再現(xiàn)處理的步驟的流程圖。
首先，在畫面存儲(chǔ)器160中分配比運(yùn)動(dòng)畫面的組成畫面的大小大 的工作緩沖區(qū)(步驟S921)。隨后從內(nèi)容存儲(chǔ)部分110獲得內(nèi)容文件(步 驟S922)。隨后解碼內(nèi)容文件，獲得對(duì)應(yīng)于當(dāng)前幀的畫面和聲音(步驟 S923)。之后，畫面變換信息供給部分130把對(duì)應(yīng)于當(dāng)前幀的仿射變換 參數(shù)提供給畫面變換部分140(步驟S924)。這里，如果當(dāng)前幀是第一 幀，那么提供單位矩陣仿射變換參數(shù)。隨后，畫面變換部分140確定 三種再現(xiàn)顯示模式中的哪一種被選擇(步驟S925)。
如果通過固定從與在當(dāng)前幀之前的各幀對(duì)應(yīng)的畫面得到的合成 畫面，再現(xiàn)和顯示運(yùn)動(dòng)畫面，那么除縮放系數(shù)之外，對(duì)應(yīng)于當(dāng)前幀的 畫面的中心位置和角度由畫面變換部分140輸出給聲音變換信息計(jì)算 部分190(步驟S926)。之后，畫面變換部分140利用通過乘法獲得的 仿射變換參數(shù)，仿射變換對(duì)應(yīng)于當(dāng)前幀的畫面(步驟S927)。這里，如 果當(dāng)前幀是第一幀，那么單位矩陣仿射變換參數(shù)被用于仿射變換，以 致實(shí)際上不變換任何畫面。隨后，用對(duì)應(yīng)于當(dāng)前幀的仿射變換畫面重 寫保存在畫面存儲(chǔ)器160中的畫面，并把得到的合成畫面保存在畫面 存儲(chǔ)器160中(步驟S928)。這里，如果當(dāng)前幀是第一幀，那么對(duì)應(yīng)于 第一幀的畫面被保存在畫面存儲(chǔ)器160中。隨后，所得到的合成畫面被顯示在顯示部分180上(步驟S938)。 之后進(jìn)行聲音變換處理(步驟S950)。下面將參考后續(xù)附圖詳細(xì)說明該 聲音變換處理。之后進(jìn)行檢查，以確定當(dāng)前幀是否是構(gòu)成獲得的運(yùn)動(dòng) 畫面的各幀中的最后一幀(步驟S939)。如果當(dāng)前幀不是最后一幀(步驟 S939),那么再次到達(dá)步驟S923，重復(fù)合成畫面顯示處理。
同時(shí)，如果在步驟S925中，發(fā)現(xiàn)選擇的再現(xiàn)顯示模式是通過固 定對(duì)應(yīng)于當(dāng)前幀的畫面，再現(xiàn)和顯示運(yùn)動(dòng)畫面的模式，那么畫面變換 部分140只向聲音變換信息計(jì)算部分190輸出對(duì)應(yīng)于當(dāng)前幀的畫面的 縮放系數(shù)(步驟S929)。從而通過利用相乘獲得的仿射變換參數(shù)，畫面 變換部分140沿仿射變換參數(shù)的相反方向，仿射變換保存在畫面存儲(chǔ) 器160中的合成畫面(步驟S931)。這里，如果當(dāng)前幀是第一幀，那么 不存在保存于畫面存儲(chǔ)器160中的合成畫面，從而不變換任何畫面。 之后，用對(duì)應(yīng)于當(dāng)前幀的畫面重寫沿仿射變換參數(shù)的相反方向仿射變 換的合成畫面，所得到的合成畫面被保存在畫面存儲(chǔ)器160中(步驟 S392)。這里，如果當(dāng)前幀是第一幀，那么對(duì)應(yīng)于第一幀的畫面被保存 在畫面存儲(chǔ)器160中。之后到達(dá)步驟S938。
如果在步驟S925中，發(fā)現(xiàn)選擇的再現(xiàn)顯示模式是通過固定對(duì)應(yīng) 于當(dāng)前幀的畫面的顯示縮放系數(shù)，再現(xiàn)和顯示運(yùn)動(dòng)畫面的模式，那么 畫面變換部分140把對(duì)應(yīng)于當(dāng)前幀的畫面的中心位置、角度和縮放系 數(shù)輸出給聲音變換信息計(jì)算部分190(步驟S933)。把關(guān)于縮放系數(shù)的 元素和由畫面變換信息供給部分130供給的仿射變換信息的元素分開 (步驟S934)。隨后利用這樣分開的與縮放系數(shù)相關(guān)的元素，沿仿射變 換參數(shù)的相反方向仿射變換保存在畫面存儲(chǔ)器160中的合成畫面(步 驟S935)。這里，如果當(dāng)前幀是第一幀，那么不存在保存于畫面存儲(chǔ) 器160中的合成畫面，從而不變換任何畫面。之后，利用分離的關(guān)于 移動(dòng)或旋轉(zhuǎn)的元素，仿射變換對(duì)應(yīng)于當(dāng)前幀的畫面(步驟S936)。這里， 如果當(dāng)前幀是第一幀，那么利用單位矩陣放變換參數(shù)仿射變換畫面， 從而實(shí)際上不變換任何畫面。之后，用對(duì)應(yīng)于當(dāng)前幀的仿射變換畫面 重寫沿仿射變換參數(shù)的相反方向仿射變換的合成畫面，并把得到的合
44成畫面保存在畫面存儲(chǔ)器160中(步驟S937)。之后到達(dá)步驟S938。
如果在步驟S939中，確定當(dāng)前幀是最后一幀(步驟S939),那么 釋放在畫面存儲(chǔ)器160中分配的工作緩沖區(qū)(步驟S941)，并終止運(yùn)動(dòng) 畫面再現(xiàn)處理。
圖28是圖解說明構(gòu)成由作為本發(fā)明的實(shí)施例的畫面處理設(shè)備 IOO執(zhí)行的聲音變換處理(即，步驟S950中的過程)的步驟的流程圖。
首先，聲音變換信息計(jì)算部分190根據(jù)由畫面變換部分140輸出 的對(duì)應(yīng)于當(dāng)前幀的畫面的中心位置、角度或縮放系數(shù)，計(jì)算聲音變換 信息(步驟S951)。隨后，根據(jù)聲音變換信息計(jì)算部分l卯計(jì)算的聲音 變換信息，音量控制部分201控制構(gòu)成由內(nèi)容獲得部分120輸出的聲 音的多個(gè)聲道的音量(步驟S952)。之后，聲音相加部分202相加每個(gè) 聲道的受控音量，以便輸出為每個(gè)聲道的輸出聲音(步驟S953)。隨后， 每個(gè)聲道的相加輸出聲音被輸出給揚(yáng)聲器220(步驟S954)。
下面參考


本發(fā)明的實(shí)施例的第一變體。
圖29是表示作為本發(fā)明的實(shí)施例的畫面處理設(shè)備650的典型功 能結(jié)構(gòu)的方框圖。畫面處理設(shè)備650是圖1中所示的畫面處理設(shè)備650 的局部改變的變體。在畫面處理設(shè)備650中，運(yùn)動(dòng)畫面存儲(chǔ)部分240、 元數(shù)據(jù)存儲(chǔ)部分250和內(nèi)容獲得部分121分別代替畫面處理設(shè)備100 的內(nèi)容存儲(chǔ)部分110、內(nèi)容獲得部分120和畫面變換信息供給部分 130。除運(yùn)動(dòng)畫面存儲(chǔ)部分240、元數(shù)據(jù)存儲(chǔ)部分250和內(nèi)容獲得部分 121外的組件與圖1中的畫面處理i殳備100的組件相同，從而下面不 再討論這些共有組件。
運(yùn)動(dòng)畫面存儲(chǔ)部分240把運(yùn)動(dòng)畫面保存為運(yùn)動(dòng)畫面文件。另夕卜， 運(yùn)動(dòng)畫面存儲(chǔ)部分240依據(jù)內(nèi)容獲得部分121的請(qǐng)求，把運(yùn)動(dòng)畫面文 件供給內(nèi)容獲得部分121 。后面將參考圖30詳細(xì)說明保存在運(yùn)動(dòng)畫面 存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件。
元數(shù)據(jù)存儲(chǔ)部分250把根據(jù)通過分析運(yùn)動(dòng)畫面獲得的運(yùn)動(dòng)信息 計(jì)算的仿射變換參數(shù)保存為元數(shù)據(jù)文件。另外，元數(shù)據(jù)存儲(chǔ)部分250 依據(jù)內(nèi)容獲得部分121的請(qǐng)求，把元數(shù)據(jù)文件提供給內(nèi)容獲得部分121。后面將參考圖30詳細(xì)說明保存在元數(shù)據(jù)存儲(chǔ)部分250中的元數(shù) 據(jù)文件。
響應(yīng)通過操作接受部分230輸入的再現(xiàn)運(yùn)動(dòng)畫面的操作，內(nèi)容獲 得部分121獲得保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件，和 保存在元數(shù)據(jù)存儲(chǔ)部分250中的與該運(yùn)動(dòng)畫面文件相關(guān)的元數(shù)據(jù)文 件。內(nèi)容獲得部分121把獲得的運(yùn)動(dòng)畫面文件的運(yùn)動(dòng)畫面，和元數(shù)據(jù) 文件的仿射變換參數(shù)輸出給畫面變換部分140。另外，內(nèi)容獲得部分 121把與獲得的運(yùn)動(dòng)畫面文件的運(yùn)動(dòng)畫面對(duì)應(yīng)的聲音輸出給聲音變換 處理部分200。
圖30是示意表示在本發(fā)明的實(shí)施例中，記錄在運(yùn)動(dòng)畫面存儲(chǔ)部 分240和元數(shù)據(jù)存儲(chǔ)部分250中的文件的示圖。圖30(a)表示保存在 運(yùn)動(dòng)畫面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件241-244，和與運(yùn)動(dòng)畫面文 件241-244關(guān)聯(lián)地保存在元數(shù)據(jù)存儲(chǔ)部分250中的元數(shù)據(jù)文件 251-253。這里，假定每個(gè)運(yùn)動(dòng)畫面文件具有運(yùn)動(dòng)畫面ID，作為識(shí)別 保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的所考慮的運(yùn)動(dòng)畫面文件的標(biāo)識(shí)信 息。例如，運(yùn)動(dòng)畫面文件241具有ID"#1，，，運(yùn)動(dòng)畫面文件242具有 ID"#2，，，運(yùn)動(dòng)畫面文件244具有ID"弁n"。
圖30(b)是示意表示保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面 文件241，和與運(yùn)動(dòng)畫面文件241關(guān)聯(lián)地保存在元數(shù)據(jù)存儲(chǔ)部分250 中的元數(shù)據(jù)文件251的示圖。這里，運(yùn)動(dòng)畫面文件241由多達(dá)"n，，幀 構(gòu)成，所述"n"幀被表示成幀l(245)-n(248)。
另外，元數(shù)據(jù)文件251包含彼此關(guān)聯(lián)的運(yùn)動(dòng)畫面ID 254，幀編 號(hào)255和仿射變換參數(shù)256。
運(yùn)動(dòng)畫面ID 254 4皮附在對(duì)應(yīng)的運(yùn)動(dòng)畫面文件上。例如，圖30(b) 中包含的是附在運(yùn)動(dòng)畫面文件241上的"#1"。
幀編號(hào)255是構(gòu)成對(duì)應(yīng)運(yùn)動(dòng)畫面文件的運(yùn)動(dòng)畫面的幀的序列號(hào)。 例如，圖30(b)中包含的是與構(gòu)成運(yùn)動(dòng)畫面文件241的運(yùn)動(dòng)畫面的幀 1(245)-n(248)對(duì)應(yīng)的"l"-"n"。
仿射變換參數(shù)256是關(guān)于與幀編號(hào)255對(duì)應(yīng)，并構(gòu)成運(yùn)動(dòng)畫面的每一幀計(jì)算的參數(shù)。對(duì)應(yīng)于幀編號(hào)255"1"的仿射變換參數(shù)256"al、 bl 、 cl 、 dl 、 el 、 fl"是單位矩陣仿射變換參數(shù)。對(duì)應(yīng)于幀編號(hào)255"m"(m 是至少為2的整數(shù))的仿射變換參數(shù)256"am、 bm、 cm、 dm、 em、 fm，， 是與在幀"m"之前的幀"m-l"對(duì)應(yīng)的仿射變換參數(shù)。
上面說明了在對(duì)應(yīng)于當(dāng)前幀的畫面被固定在顯示部分180的中 心的時(shí)候，根據(jù)運(yùn)動(dòng)畫面是否被再現(xiàn)，仿射變換對(duì)應(yīng)于當(dāng)前幀的畫面， 并據(jù)此創(chuàng)建合成畫面的情況，和沿仿射變換參數(shù)的相反方向仿射變換 對(duì)應(yīng)于在前各幀的合成畫面，并據(jù)此創(chuàng)建合成畫面的情況。不過，也 可通過連續(xù)對(duì)對(duì)應(yīng)于當(dāng)前幀的當(dāng)前畫面進(jìn)行仿射變換，創(chuàng)建合成畫 面，把這樣創(chuàng)建的合成畫面保存在畫面存儲(chǔ)器中，并從畫面存儲(chǔ)器中 的合成畫面提取待顯示的顯示區(qū)。這使得能夠改變?cè)谶\(yùn)動(dòng)畫面再現(xiàn)期 間，顯示部分提供其顯示的方式。后面將參考附圖詳細(xì)說明這種運(yùn)動(dòng) 畫面再現(xiàn)處理。
下面參考

本發(fā)明的實(shí)施例的第二變體。 圖31是表示作為本發(fā)明的實(shí)施例的畫面處理設(shè)備680的典型功 能結(jié)構(gòu)的方框圖。畫面處理設(shè)備680是圖29中所示的畫面處理i殳備 650的局部改變的變體。通過用顯示區(qū)提取部分260和顯示存儲(chǔ)器270 補(bǔ)充圖29中的畫面處理i殳備650,并分別用畫面合成部分151，畫面 存儲(chǔ)器161和聲音變換信息計(jì)算部分191代替畫面合成部分150，畫 面存儲(chǔ)器160和聲音變換信息計(jì)算部分190，實(shí)現(xiàn)畫面處理設(shè)備680。 畫面處理設(shè)備680能夠把對(duì)應(yīng)于當(dāng)前幀的畫面放入顯示屏幕中，并據(jù) 此進(jìn)行聲音變換處理。畫面存儲(chǔ)部分240、元數(shù)據(jù)存儲(chǔ)部分250、畫 面變換部分140、聲音變換處理部分200、聲音輸出控制部分210和 揚(yáng)聲器的結(jié)構(gòu)與圖29中所示的畫面處理設(shè)備的相應(yīng)組件相同，從而 不再進(jìn)一步討論。而本例將說明通過部分修改圖29中的畫面處理設(shè) 備650而獲得的本發(fā)明的變體，同樣可對(duì)圖1中所示的畫面處理設(shè)備 進(jìn)行所述修改。
根據(jù)在顯示區(qū)提取部分260輸出的顯示區(qū)中對(duì)應(yīng)于當(dāng)前幀的畫 面的位置，畫面合成部分151用從畫面變換部分140接收的對(duì)應(yīng)于當(dāng)前幀的畫面重寫保存在顯示存儲(chǔ)器270中的合成畫面，以便進(jìn)行畫面 合成。具體地說，在指定固定對(duì)應(yīng)于當(dāng)前幀的畫面的顯示模式的情況 下，畫面合成部分151用對(duì)應(yīng)于當(dāng)前幀，并且還將由畫面變換部分140 仿射變換的畫面重寫保存在顯示存儲(chǔ)器270中的合成畫面的中心部 分，以便進(jìn)行畫面合成。另一方面，在指定固定在對(duì)應(yīng)于當(dāng)前幀的畫 面之前的合成畫面的顯示才莫式的情況下，畫面合成部分151用對(duì)應(yīng)于 當(dāng)前幀，并由畫面變換部分140仿射變換的畫面重寫保存在顯示存儲(chǔ) 器270中的合成畫面，以便根據(jù)在顯示區(qū)提取部分260輸出的顯示區(qū) 中，對(duì)應(yīng)于當(dāng)前幀的畫面的位置進(jìn)行畫面合成。這里，對(duì)應(yīng)于當(dāng)前幀， 并在顯示存儲(chǔ)器270中合成的畫面的大小實(shí)際上由顯示縮放系數(shù)的值 確定。畫面合成部分151具有畫面合成部分150的功能。畫面合成部 分150的功能和上面討論的功能相同，不再進(jìn)一步討論。
畫面存儲(chǔ)器161是保存畫面合成部分151合成的合成畫面的工作 緩沖器。畫面存儲(chǔ)器161把保存于其中的合成畫面提供給畫面變換部 分140，或者提供給顯示區(qū)提取部分260。
從保存在畫面存儲(chǔ)器161中的合成畫面中，顯示區(qū)提取部分260 提取位于被確定為顯示目標(biāo)的顯示區(qū)的范圍內(nèi)的畫面。顯示區(qū)提取部 分260使顯示存儲(chǔ)器270保存提取的畫面。如果保存在畫面存儲(chǔ)器161 中的合成畫面中的對(duì)應(yīng)于當(dāng)前幀的畫面的至少一部分延伸到顯示區(qū) 之外，那么顯示區(qū)提取部分260移動(dòng)顯示區(qū)，以致在從保存在畫面存 儲(chǔ)器161中的合成畫面中提取位于顯示區(qū)的范圍內(nèi)的畫面之前，對(duì)應(yīng) 于當(dāng)前幀的畫面將被完全容納在顯示區(qū)內(nèi)。此外，如果指定固定在當(dāng) 前幀之前的合成畫面的顯示模式，那么顯示區(qū)提取部分260計(jì)算顯示 區(qū)中對(duì)應(yīng)于當(dāng)前幀的畫面的位置，并把計(jì)算的顯示區(qū)中對(duì)應(yīng)于當(dāng)前幀 的畫面的位置輸出給畫面合成部分151。另外，顯示區(qū)提取部分260 參考畫面存儲(chǔ)器161的區(qū)域，計(jì)算關(guān)于當(dāng)前顯示區(qū)的仿射變換參數(shù)， 并把計(jì)算的仿射變換參數(shù)輸出給聲音變換信息計(jì)算部分191。后面將 參考圖32-38及其它附圖，詳細(xì)說明從顯示區(qū)的范圍內(nèi)提取畫面，并 將參考圖33、 34及其它附圖，詳細(xì)說明如何移動(dòng)顯示區(qū)。后面將參
48考圖37詳細(xì)說明如何計(jì)算顯示區(qū)中對(duì)應(yīng)于當(dāng)前幀的畫面的位置。另 外，將參考圖32和35討論如何計(jì)算關(guān)于當(dāng)前顯示區(qū)的仿射變換參數(shù)。
顯示存儲(chǔ)器270是保存顯示區(qū)提取部分260從畫面存儲(chǔ)器161 提取的畫面的顯示緩沖器。保存在顯示存儲(chǔ)器270中的畫面被顯示在 顯示部分180上。
顯示控制部分171使顯示部分180按幀順序顯示保存在顯示存儲(chǔ) 器270中的合成畫面。
在顯示控制部分171的控制下，顯示部分18-顯示保存在顯示存 儲(chǔ)器270中的合成畫面。例如，可以個(gè)人計(jì)算機(jī)顯示器或者電視顯示 器的形式實(shí)現(xiàn)顯示部分180。
聲音變換信息計(jì)算部分191根據(jù)顯示區(qū)中對(duì)應(yīng)于當(dāng)前幀的畫面 的中心位置、角度或縮放系數(shù)，計(jì)算聲音變換信息。具體地說，聲音 變換信息計(jì)算部分191利用顯示區(qū)中對(duì)應(yīng)于當(dāng)前幀的，并在從畫面變 換部分140輸出之后被保存在畫面存儲(chǔ)器161中的畫面的中心位置、 角度和縮放系數(shù)，以及使用顯示區(qū)提取部分260輸出的關(guān)于當(dāng)前顯示 區(qū)的仿射變換參數(shù)的逆矩陣，計(jì)算顯示區(qū)中對(duì)應(yīng)于當(dāng)前幀的畫面的中 心位置、角度和縮放系數(shù)。另外，聲音變換信息計(jì)算部分191具有聲 音變換信息計(jì)算部分190的功能。聲音變換信息計(jì)算部分190的功能 和上面說明的相同，從而不再進(jìn)一步說明。另外，聲音變換信息計(jì)算 部分191可直接從顯示區(qū)提取部分260接收顯示區(qū)中對(duì)應(yīng)于當(dāng)前幀的 畫面的中心位置、角度或縮放系數(shù)。
操作接受部分231具有各種操作按鍵。當(dāng)接受通過這些按鍵輸入 的操作時(shí)，操作接受部分231把包含在接受的操作輸入中的內(nèi)容輸出 給顯示區(qū)提取部分260。例證地，操作接受部分231包括指示運(yùn)動(dòng)畫 面的再現(xiàn)的再現(xiàn)指示按鍵，指示運(yùn)動(dòng)畫面的顯示縮放系數(shù)的顯示縮放 系數(shù)指示按鍵，和設(shè)置再現(xiàn)運(yùn)動(dòng)畫面的顯示模式的設(shè)置按鍵。顯示模 式可以是當(dāng)與當(dāng)前幀之前的各幀對(duì)應(yīng)的合成畫面被固定時(shí)，在仿射變 換的同時(shí)顯示對(duì)應(yīng)于當(dāng)前幀的畫面的模式；或者當(dāng)對(duì)應(yīng)于當(dāng)前幀的畫 面被固定時(shí)，在沿仿射變換參數(shù)的相反方向仿射變換的同時(shí)，顯示合成畫面的模式。即使在運(yùn)動(dòng)畫面的再現(xiàn)期間，也可改變這些顯示模式。
操作接受部分231也具有操作接受部分230的功能。操作接受部分230 的功能和上面所述的相同，從而不再進(jìn)一步討論。
圖32是按照本發(fā)明的實(shí)施例，示意表示一方面的保存在運(yùn)動(dòng)畫 面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面的各幀與另一方面的顯示區(qū)之間的關(guān)系 的示圖。這里，只圖解說明了畫面存儲(chǔ)器161、元數(shù)據(jù)存儲(chǔ)部分250 和操作接受部分231，其它組件被省略。下面說明的是保存在元數(shù)據(jù) 文件251中的仿射變換參數(shù)256被用于在畫面存儲(chǔ)器161中創(chuàng)建關(guān)于 構(gòu)成圖30(b)中所示的運(yùn)動(dòng)畫面文件241的幀"l"-"3"的合成畫面的例 子。圖32表示其中與在當(dāng)前幀之前的各幀對(duì)應(yīng)的合成畫面被固定在 顯示部分180上的情況。
圖32(a)表示其中幀1(245)，即構(gòu)成圖30(b)中所示運(yùn)動(dòng)畫面文件 241的各幀中的第一幀被保存在畫面存儲(chǔ)器161中的情況。例如，操 作接受部分231可以在與位于當(dāng)前幀之前的各幀對(duì)應(yīng)的合成畫面被固 定的時(shí)候，接受指示保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件 241的再現(xiàn)的再現(xiàn)指示操作的輸入。這種情況下，如圖32(a)中所示， 與運(yùn)動(dòng)畫面文件241的幀1(245)對(duì)應(yīng)的畫面351被保存在畫面存儲(chǔ)器 161中。這里，在畫面存儲(chǔ)器中保存對(duì)應(yīng)于第一幀的畫面351的位置 可以預(yù)選確定，或者由操縱操作接受部分231的用戶指定。另一方面， 可利用關(guān)于保存在元數(shù)據(jù)文件251中的運(yùn)動(dòng)畫面文件241的仿射變換 參數(shù)256，計(jì)算從幀"l，，到幀"n，，的合成畫面的大小，并根據(jù)該計(jì)算確 定保存畫面351的位置。對(duì)于本例來說，假定畫面存儲(chǔ)器161中的畫 面351的左上角被設(shè)為原點(diǎn)，水平方向(水平軸)用x軸表示，垂直方 向(垂直軸)用y軸表示。
如圖32(a)中所示，當(dāng)畫面351被放入畫面存儲(chǔ)器161中時(shí)的實(shí) 際顯示區(qū)被認(rèn)為是顯示區(qū)361。例證地，顯示區(qū)361是根據(jù)保持的畫 面351的位置和大小，并按照通過操作接受部分320接受的顯示縮放 系數(shù)的值確定的。例如，如果對(duì)于與當(dāng)前幀對(duì)應(yīng)的畫面的拉遠(yuǎn)操作， 指定了"0.5"的顯示縮放系數(shù)，那么顯示區(qū)361的大小為放置在顯示區(qū)361的中心的畫面351的大小的兩倍。顯示區(qū)361相對(duì)于畫面351的 位置可由仿射變換參數(shù)確定。如果對(duì)于與當(dāng)前幀對(duì)應(yīng)的畫面的拉遠(yuǎn)操 作，指定了"0.5"的顯示縮放系數(shù)，那么利用仿射變換參數(shù)設(shè)置顯示區(qū)， 從而x和y方向上的變焦分量被加倍。在顯示區(qū)將相對(duì)于與當(dāng)前幀對(duì) 應(yīng)的畫面平移或者旋轉(zhuǎn)的情況下，通過使用仿射變換參數(shù)也可確定顯 示區(qū)的位置和范圍。
圖32(b)表示幀2(246)，即構(gòu)成圖30(b)中所示的運(yùn)動(dòng)畫面文件 241的幀之一，被保存在畫面存儲(chǔ)器161中的情況。這種情況下，如 上所述，利用保存與幀編號(hào)"1"和"2"(255)關(guān)聯(lián)地保存在元數(shù)據(jù)文件 251中的仿射變換參數(shù)，變換與幀2(246)對(duì)應(yīng)的畫面352，并用變換 后的畫面352重寫畫面351以便合成。這種情況下，例如，如果對(duì)應(yīng) 于當(dāng)前幀的畫面352未延伸到顯示區(qū)361的范圍之外，那么顯示區(qū)361 的位置和尺寸保持不變。下面參考圖33和34詳細(xì)說明的是對(duì)應(yīng)于當(dāng) 前幀的畫面延伸到當(dāng)前顯示區(qū)的范圍之外的情況?？梢云叫幸苿?dòng)顯示 區(qū)361，或相反與畫面352相對(duì)于畫面351的移動(dòng)一致地操作顯示區(qū) 361。
圖32(c)表示幀3，即，構(gòu)成圖30(b)中所示的運(yùn)動(dòng)畫面文件241 的幀之一，祐J果存在畫面存儲(chǔ)器161中的情況。同樣在這種情況下， 如上所述，利用與幀編號(hào)"l"-"3"(255)關(guān)聯(lián)地保存在元數(shù)據(jù)文件251 中的仿射變換參數(shù)變換對(duì)應(yīng)于幀3的畫面353，并用變換后的畫面353 重寫畫面351和352以<更合成。
下面參考附圖詳細(xì)說明與當(dāng)前畫面的移動(dòng)一致地移動(dòng)顯示區(qū)的處理。
圖33是示意表示當(dāng)對(duì)應(yīng)于當(dāng)前幀的畫面延伸到顯示區(qū)之外時(shí)， 移動(dòng)顯示區(qū)的處理的示圖。圖33(a)是表示一方面的包括對(duì)應(yīng)于當(dāng)前 幀，并4呆存在畫面存儲(chǔ)器161中的畫面760的多個(gè)畫面，和另一方面 的顯示區(qū)759之間的關(guān)系的示圖。由于當(dāng)前畫面760完全包括在顯示 區(qū)759的范圍之內(nèi)，如圖33(a)中所示，因此顯示部分180完整地顯 示當(dāng)前畫面760和其它畫面。圖33(b)是表示一方面的包括保存在畫面存儲(chǔ)器161中的當(dāng)前畫 面762的多個(gè)畫面，和另一方面的顯示區(qū)759之間的關(guān)系的示圖。這 里，當(dāng)前畫面762是與圖33(a)中所示的當(dāng)前畫面760之后的幀對(duì)應(yīng) 的畫面。如果當(dāng)前畫面762部分延伸到顯示區(qū)759的范圍之外，如圖 33(b)中所示，那么當(dāng)前畫面760的一部分不被顯示在顯示部分180上。 在這種情況下，如圖33(b)中所示，顯示區(qū)提取部分260計(jì)算顯示區(qū) 759的一側(cè)和延伸到顯示區(qū)759的范圍之外的當(dāng)前畫面762之間的差 值763。顯示區(qū)759隨后被移動(dòng)通過把附加值764增加到計(jì)算的差值 763中而獲得的值。這里，所述附加值764例如是5個(gè)像素。另一方 面，顯示區(qū)可被僅僅移動(dòng)不添加任何附加值的差值。而圖33(b)表示 當(dāng)前畫面762延伸到顯示區(qū)761的右側(cè)之外的情況，如果當(dāng)前畫面延 伸到顯示區(qū)的上側(cè)、下側(cè)或左側(cè)之外，那么可以使用相同的方法來移 動(dòng)顯示區(qū)。如果當(dāng)前畫面延伸到顯示區(qū)的上側(cè)、下側(cè)、左側(cè)和右側(cè)中 的至少兩個(gè)之外，那么可關(guān)于每個(gè)被超出的側(cè)邊計(jì)算所述差值，并根 據(jù)這樣計(jì)算的差值，沿每個(gè)被超出側(cè)邊的方向移動(dòng)顯示區(qū)。
圖33(c)表示根據(jù)在圖33(b)中的狀態(tài)下計(jì)算的差值763移動(dòng)的顯 示區(qū)765。
圖34是表示當(dāng)借助圖33中所示的移動(dòng)過程移動(dòng)顯示區(qū)時(shí)的實(shí)際 轉(zhuǎn)變的例子的示圖。圖34(a)表示當(dāng)顯示區(qū)被移動(dòng)時(shí)，畫面存儲(chǔ)器161 中的顯示區(qū)的轉(zhuǎn)變例子，圖34(b)表示當(dāng)顯示區(qū)被移動(dòng)時(shí)，顯示在顯 示部分180上的畫面的轉(zhuǎn)變例子。如這些圖中所示，即使當(dāng)在當(dāng)前畫 面767之后的畫面延伸到顯示區(qū)766外時(shí)，也能夠與當(dāng)前畫面的位置 相一致地連續(xù)移動(dòng)顯示區(qū)766。例如，當(dāng)在畫面存儲(chǔ)器161中發(fā)生從 畫面767到當(dāng)前畫面769的移動(dòng)時(shí)，顯示區(qū)766與該移動(dòng)相一致地4皮 移動(dòng)到顯示區(qū)768。這種情況下，當(dāng)畫面^皮顯示在顯示部分180上時(shí)， 實(shí)現(xiàn)從畫面770到畫面771的轉(zhuǎn)變。按照這種方式，當(dāng)顯示在顯示部 分180上的畫面被放大或縮小時(shí)，當(dāng)前畫面總是能夠被完整地顯示在 顯示部分180上。
下面參考

對(duì)應(yīng)于當(dāng)前幀的當(dāng)前畫面被固定在顯示部分180上的情況。
圖35是按照本發(fā)明的實(shí)施例，例證表示一方面的保存在運(yùn)動(dòng)畫 面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件中的幀，和另一方面的顯示區(qū)之間 的關(guān)系的示圖。和圖32—樣，這些視圖僅僅示出了畫面存儲(chǔ)器161、 元數(shù)據(jù)存儲(chǔ)部分250和操作接受部分231，其它組件被省略。下面說 明的是其中利用保存在元數(shù)據(jù)文件21中的仿射變換參數(shù)256，關(guān)于構(gòu) 成圖30(b)中所示的運(yùn)動(dòng)畫面文件241的幀"l，，-"3，，，在畫面存儲(chǔ)器161 中創(chuàng)建合成畫面的例子。
和圖32(a)—樣，圖35(a)表示幀"l，，(245)被保存在畫面存儲(chǔ)器161 中的情況。圖35(a)中所示的畫面351和顯示區(qū)361的位置和大小與 圖32(a)中的相同，從而不再進(jìn)一步詳細(xì)說明。本例中，按照對(duì)應(yīng)于 當(dāng)前幀的畫面的變換，變換顯示區(qū)，則對(duì)應(yīng)于幀1(245)的仿射變換參 數(shù)是單位矩陣參數(shù)。為此，僅僅考慮到通過操作接受部分231指定的 顯示縮放系數(shù)，確定對(duì)應(yīng)于幀1(245)的顯示區(qū)361。
和圖32(b)—樣，圖35(b)表示幀2(246)被保存在畫面存儲(chǔ)器161 中的情況。這種情況下，和圖32(b)中一樣，對(duì)應(yīng)于幀2(246)的畫面 352被變換，畫面351被變換后的畫面352重寫，顯示區(qū)也被仿射變 換。即，參考畫面351的位置和大小，利用與幀編號(hào)"1"和"2"(255) 關(guān)聯(lián)地保存在元數(shù)據(jù)文件251中的仿射變換參數(shù)，變換對(duì)應(yīng)于幀2(246) 的畫面352。利用按照通過操作接受部分231接受的顯示縮放系數(shù)的 值確定的仿射變換參數(shù)，變換畫面352的位置和大小。由變換后的位 置和大小確定的區(qū)域變成顯示區(qū)362。具體地說，如果假定對(duì)應(yīng)于幀 編號(hào)"1，，和"2"(255)的仿射變換參數(shù)矩陣分別用Al和A2表示，并且 由通過操作接受部分231接受的顯示縮放系數(shù)的值確定的仿射變換參 數(shù)矩陣由B表示，那么獲得值"AlxA2xB"。參考畫面351的位置和大 小，利用這樣獲得的矩陣"AlxA2xB"，確定顯示區(qū)362。
和圖32(c)—樣，圖35(c)表示幀3^L保存在畫面存儲(chǔ)器161中的 情況。同樣在這種情況下，如上所述，對(duì)應(yīng)于幀3的畫面353被變換， 畫面351和352被變換后的畫面353重寫，以便合成，顯示區(qū)被仿射變換，以關(guān)于畫面353確定顯示區(qū)363。具體地說，如果假定對(duì)應(yīng)于 幀編號(hào)"l"-"3"(255)的仿射變換參數(shù)矩陣分別用Al-A3表示，并且由 通過操作接受部分231接受的顯示縮放系數(shù)的值確定的仿射變換參數(shù) 矩陣由B表示，那么獲得值"AlxA2xA3xB"。參考畫面351的位置和 大小，利用這樣獲得的矩陣"AlxA2xA3xB"，確定顯示區(qū)363。
圖36概述當(dāng)指定把對(duì)應(yīng)于當(dāng)前幀的畫面固定在顯示部分180上 的顯示;f莫式時(shí)，放大地在顯示部分180上顯示運(yùn)動(dòng)畫面的方法。圖36(a) 是概述當(dāng)放大顯示在顯示部分180上的運(yùn)動(dòng)畫面時(shí)，顯示區(qū)的實(shí)際轉(zhuǎn) 變的示圖。圖36(b)是表示當(dāng)圖36(a)的顯示區(qū)698和699內(nèi)的畫面朝L 顯示在顯示部分180中時(shí)，實(shí)際的典型顯示圖的示圖。
圖36(b)表示在由圖36(a)中所示的顯示區(qū)698從畫面存儲(chǔ)器161 取回之后，顯示在顯示部分180上的畫面730。在顯示圖36(b)的畫面 730的情況下，如果通過操作接受部分231接受指示放大顯示的操作， 那么顯示區(qū)提取部分260與指定放大顯示的操作相一致地減小顯示區(qū) 的尺寸。所述尺寸減小處理是按照使當(dāng)前畫面697停留在顯示區(qū)的中 心的方式進(jìn)行的。即，如上所述，利用由通過操作接受部分231接受 的顯示縮放系數(shù)的值確定的仿射變換參數(shù)，變換畫面679的位置和大 小，依據(jù)變換后的位置和大小確定顯示區(qū)698。由于本例中輸入了擴(kuò) 大顯示縮放系數(shù)的操作，因此與被擴(kuò)大的顯示縮放系數(shù)相一致地確定 仿射變換參數(shù)的變焦分量。
例證地，如圖36(a)中所示，顯示區(qū)698的尺寸^皮減小，從而變 成顯示區(qū)699。圖36(b)表示在由圖36(a)中所示的顯示區(qū)699從畫面 存儲(chǔ)器161取回之后，顯示在顯示部分180上的畫面731。按照這種 方式，當(dāng)顯示畫面時(shí)，僅僅改變顯示區(qū)的大小就能夠放大或縮小包括 對(duì)應(yīng)于當(dāng)前幀的畫面在內(nèi)的畫面。
如上所述，通過顯示存在于顯示區(qū)的范圍之內(nèi)，并且放置在畫面 存儲(chǔ)器161中的畫面，能夠連續(xù)顯示被再現(xiàn)的合成畫面。這里，當(dāng)當(dāng) 前畫面被仿射變換，并被合成到畫面存儲(chǔ)器161中時(shí)，能夠進(jìn)行尺寸 減小處理或類似處理。從而，當(dāng)通過增大顯示縮放系數(shù)，放大地顯示當(dāng)前畫面時(shí)，包括對(duì)應(yīng)于當(dāng)前幀的畫面的合成畫面會(huì)變模糊。在這種
情況下，利用還將被合成到畫面存儲(chǔ)器161中的畫面，顯示包括被再 現(xiàn)的當(dāng)前畫面的合成畫面。下面將參考附圖，詳細(xì)說明這種顯示方法。
圖37和38是示意表示保存在本發(fā)明的實(shí)施例中的運(yùn)動(dòng)畫面存儲(chǔ) 部分240中的運(yùn)動(dòng)畫面文件的幀的流動(dòng)的示圖。在這些附圖中，只圖 解說明了與運(yùn)動(dòng)畫面存儲(chǔ)部分240、元數(shù)據(jù)存儲(chǔ)部分250、畫面存儲(chǔ) 器161和顯示存儲(chǔ)器270相關(guān)的部分，其它組件被省略。圖37表示 與在當(dāng)前幀之前的各幀對(duì)應(yīng)的合成畫面被固定在顯示部分180上的情 況，圖38表示對(duì)應(yīng)于當(dāng)前幀的畫面被固定在顯示部分180上的情況。
圖37(a)是圖30(b)中所示的運(yùn)動(dòng)畫面文件241和元數(shù)據(jù)文件251 的簡(jiǎn)化示圖。下面說明顯示與幀i(247)，即，構(gòu)成運(yùn)動(dòng)畫面文件241 的幀之一對(duì)應(yīng)的畫面的例子。即，假定已創(chuàng)建了與構(gòu)成運(yùn)動(dòng)畫面文件 241的幀l-"i-l"對(duì)應(yīng)的合成畫面。另外^(叚定圖32中所示的顯示區(qū)361 已與當(dāng)前畫面的移動(dòng)相一致地被向右移動(dòng)。
圖37(b)是保持由與構(gòu)成運(yùn)動(dòng)畫面文件241的各幀對(duì)應(yīng)的畫面組 成的合成畫面的畫面存儲(chǔ)器161的示意圖。如圖32(b)中所示，與構(gòu) 成運(yùn)動(dòng)畫面文件241的幀1(245)對(duì)應(yīng)的畫面351首先被保存在畫面存 儲(chǔ)器161中。在畫面351;故保存在畫面存儲(chǔ)器161中之后，利用與幀 2-"i-l"關(guān)聯(lián)地保存在元數(shù)據(jù)文件251中的仿射變換參數(shù)256，連續(xù)仿 射變換與構(gòu)成運(yùn)動(dòng)畫面文件241的幀2-"i-l"對(duì)應(yīng)的畫面，并連續(xù)用仿 射變換的畫面重寫畫面存儲(chǔ)器161;所得到的畫面被保存在該存儲(chǔ)器 中。顯示區(qū)提取部分260從保存在畫面存儲(chǔ)器161中的合成畫面中， 按幀提取存在于按照通過操作接受部分231輸入的指示顯示縮放系數(shù) 的操作確定的顯示區(qū)內(nèi)的畫面。
在從對(duì)應(yīng)于幀l-"i-l"的畫面得到的合成畫面被保存在畫面存儲(chǔ) 器161中的時(shí)候，利用與幀i關(guān)聯(lián)地保存在元數(shù)據(jù)文件251中的仿射 變4灸參數(shù)的值"ai、 bi、 ci、 di、 ei、 fi"，仿射變換與構(gòu)成運(yùn)動(dòng)畫面文 件241的幀i(247)對(duì)應(yīng)的畫面，并用保存在畫面存儲(chǔ)器161中的仿射 變換的當(dāng)前畫面692重寫畫面存儲(chǔ)器161。顯示區(qū)提取部分260從保
55存在畫面存儲(chǔ)器161中的合成畫面中，提取存在于按照通過操作接受 部分231輸入的指示顯示縮放系數(shù)的操作確定的顯示區(qū)690內(nèi)的畫 面，并例證地使顯示存儲(chǔ)器270保存提取的畫面，如圖37(c)中所示。
圖37(c)示意表示保持由顯示區(qū)提取部分260提取的畫面的顯示 存儲(chǔ)器270。這里，顯示區(qū)提取部分260提取的畫面中對(duì)應(yīng)于當(dāng)前幀 的當(dāng)前畫面693不是由顯示區(qū)提取部分260從畫面存儲(chǔ)器161提取的 當(dāng)前畫面692，而是從運(yùn)動(dòng)畫面存儲(chǔ)部分240獲得的，并由畫面變換 部分140仿射變換的畫面。這里，顯示存儲(chǔ)器270中保存當(dāng)前畫面693 的位置可由畫面存儲(chǔ)器161中當(dāng)前畫面692的位置和大小，以及由畫 面存儲(chǔ)器161中顯示區(qū)690的位置和大小確定。例如，如果假定與幀 編號(hào)"l"-"i"(255)關(guān)聯(lián)地保存在元數(shù)據(jù)文件251中的仿射變換參數(shù)矩 陣由Al、 ...Ai表示，并且確定顯示區(qū)6卯的仿射變換參數(shù)矩陣(例如， 關(guān)于畫面存儲(chǔ)器161的矩陣)用C表示，那么對(duì)于畫面351的位置， 可以使用inv(C)x(Alx...xAi),以便確定在顯示存儲(chǔ)器270中，保持 當(dāng)前畫面693的位置。
如圖37(c)中所示，顯示區(qū)提取部分260提取的畫面被保存在顯 示存儲(chǔ)器270中，顯示區(qū)提取部分260提取的畫面被從運(yùn)動(dòng)畫面存儲(chǔ) 部分240獲得的，并由畫面變換部分140仿射變換的畫面重寫；仿射 變換的畫面被保存在顯示存儲(chǔ)器270中。保存在顯示存儲(chǔ)器270中的 畫面被顯示在顯示部分180上。按照這種方式，通過使用在仿射變換 后的縮小或其它處理之后，仍將凈皮保存在畫面存儲(chǔ)器161中的畫面， 能夠顯示較清晰的當(dāng)前畫面。另外，即使當(dāng)通過用戶的操作放大或者 以其它方式處理畫面時(shí)，也能夠清晰地顯示當(dāng)前畫面。
圖38(a)是圖30(b)中所示的運(yùn)動(dòng)畫面文件241和元數(shù)據(jù)文件251 的筒化示圖。圖38(a)中所示的運(yùn)動(dòng)畫面存儲(chǔ)部分240和元數(shù)據(jù)存儲(chǔ) 部分250,以及保存在圖38(b)中所示的畫面存儲(chǔ)器161中的合成畫面 都與圖37(a)和(b)中所示的相同，從而不再進(jìn)一步討論。
圖38(b)示意表示保存圖37(b)中所示的從畫面351到當(dāng)前畫面 692的合成畫面的畫面存儲(chǔ)器161，并用虛線表示圖35(b)中所示的顯示區(qū)361。本例中，如圖35中所示，與當(dāng)前畫面692相一致地通過仿 射變換計(jì)算顯示區(qū)，以4更把對(duì)應(yīng)于當(dāng)前幀的畫面的位置固定在顯示部 分180上。即，參考對(duì)應(yīng)于當(dāng)前幀的畫面351,利用與幀編號(hào)"r，-"i"(255) 關(guān)聯(lián)地保存在元數(shù)據(jù)文件251的仿射變換參數(shù)256，對(duì)應(yīng)于幀i(247) 的畫面^^變換成畫面692，變換后的畫面692^f皮保存在畫面存儲(chǔ)器161 中。就對(duì)應(yīng)于幀i(247)的顯示區(qū)695來i兌，顯示區(qū)692由利用仿射變 換參數(shù)變換的畫面的位置和大小確定，所述仿射變換參數(shù)是由通過操 作接受部分231接受的顯示縮放系數(shù)的值確定的。顯示區(qū)的確定是由 顯示區(qū)提取部分260完成的。
圖38(c)示意表示保存顯示區(qū)提取部分260提取的畫面的顯示存 儲(chǔ)器270。這里，保存在顯示存儲(chǔ)器270的畫面(即，除當(dāng)前畫面696 外的畫面)是由顯示區(qū)提取部分260提取的(即，在顯示區(qū)695的范圍 內(nèi)找到的)，并使用用于變換顯示區(qū)695的仿射變換參數(shù)矩陣的逆矩陣 變換的畫面。即，通過仿射變換，放置在畫面存儲(chǔ)器161中的顯示區(qū) 可被整形成平行四邊形。為了使顯示區(qū)180在這樣仿射變換的顯示區(qū) 內(nèi)顯示合成畫面，利用用于仿射變換當(dāng)前畫面的仿射變換參數(shù)矩陣的 逆矩陣，變換顯示區(qū)內(nèi)的合成畫面。例如，如果假定與幀編號(hào) "l，，-"i，，(255)關(guān)聯(lián)地保存在元數(shù)據(jù)文件251中的仿射變換參數(shù)矩陣用
Al..... Ai表示，并且確定顯示區(qū)695的仿射變換參數(shù)矩陣(例如，
關(guān)于對(duì)應(yīng)于當(dāng)前幀的畫面的矩陣)用B表示，那么inv(Alx…xAixB) 被用作變換顯示區(qū)中的合成畫面的矩陣。按照這種方式，如圖38(c) 中例證所示，變換成平行四邊形的畫面可被進(jìn)一步變換成能夠顯示在 顯示部分180上的矩形。顯示區(qū)提取部分260提取的畫面中對(duì)應(yīng)于當(dāng) 前幀的畫面696不是由顯示區(qū)提取部分260從畫面存儲(chǔ)器161提取的 畫面，而是在采集自運(yùn)動(dòng)畫面存儲(chǔ)部分240之后仍將被仿射變換的畫 面。這里，顯示存儲(chǔ)器270中保存畫面696的位置，和存儲(chǔ)器270中 該畫面696的大小由來自操作接受部分231的顯示縮放系數(shù)確定。
如圖38(c)中所示，顯示區(qū)提取部分260提取的畫面被保存在顯 示存儲(chǔ)器270中，顯示區(qū)提取部分260提取的畫面被從運(yùn)動(dòng)畫面存儲(chǔ)部分240獲得的畫面重寫；獲得的畫面被保存在顯示存儲(chǔ)器270中。 按照這種方式，在指定把對(duì)應(yīng)于當(dāng)前幀的畫面顯示在固定位置的顯示 模式的情況下，通過使用逆矩陣，仿射變換的合成畫面可被恢復(fù)成仍 要被仿射變換的狀態(tài)以便顯示。另外，和圖37的情況一樣，能夠較 清晰地顯示對(duì)應(yīng)于當(dāng)前幀的畫面。
如上所述，待保存在畫面存儲(chǔ)器161中的合成畫面能夠由按照兩 種顯示模式之一，再現(xiàn)運(yùn)動(dòng)畫面的單一方法創(chuàng)建，以致在運(yùn)動(dòng)畫面再 現(xiàn)期間，所述兩種顯示模式能夠從一種模式改變成另一種模式。由此 得出結(jié)論在觀看再現(xiàn)的運(yùn)動(dòng)畫面的時(shí)候，觀眾能夠切換到希望的顯示 模式。例如，假定在按照?qǐng)D37中所示的顯示模式的運(yùn)動(dòng)畫面再現(xiàn)期 間，喜愛的人物出現(xiàn)在當(dāng)前畫面的中間，以致希望把該人物置于顯示 部分180的中心以便觀看。這種情況下，通過操作接受部分231接受 的顯示模式改變操作能夠把運(yùn)動(dòng)畫面再現(xiàn)切換成圖38中所示的顯示 模式。由于當(dāng)前畫面可以是在采集自運(yùn)動(dòng)畫面存儲(chǔ)部分240之后仿射 變換的畫面，而不是保存在畫面存儲(chǔ)器161中的合成畫面，因此能夠 觀看到較清晰的畫面。
圖39和40是表示構(gòu)成由作為本發(fā)明的實(shí)施例的畫面處理設(shè)備 680執(zhí)行的運(yùn)動(dòng)畫面再現(xiàn)處理的步驟的流程圖。在圖39-41中所示的 步驟中，步驟S921、 S926、 S927、 S928、 S939和S941和圖27中的 相應(yīng)步驟相同，從而用相同的附圖標(biāo)記表示這些步驟，不過不再進(jìn)一 步討論。
響應(yīng)通過操作接受部分231輸入的操作，內(nèi)容獲得部分120獲得 保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件，以及與該運(yùn)動(dòng)畫面 文件關(guān)聯(lián)，并保存在元數(shù)據(jù)存儲(chǔ)部分250中的元數(shù)據(jù)(步驟S961)。隨 后，內(nèi)容獲得部分120解碼運(yùn)動(dòng)畫面文件，從中獲得構(gòu)成運(yùn)動(dòng)畫面文 件的當(dāng)前幀的畫面，和對(duì)應(yīng)于該畫面的聲音(步驟S962)。之后，內(nèi)容
(步驟S963)。
隨后，用對(duì)應(yīng)于當(dāng)前幀的變換后畫面重寫合成畫面，所得到的畫面被保存在畫面存儲(chǔ)器161中(步驟S928)。之后，顯示區(qū)提取部分260 確定是否指定了把固定對(duì)應(yīng)于當(dāng)前幀的畫面的顯示模式(步驟S964)。 如果指定了固定對(duì)應(yīng)于當(dāng)前幀的畫面的顯示模式，那么顯示區(qū)提取部 分260利用從第一幀到當(dāng)前幀的仿射變換參數(shù)，和實(shí)際對(duì)應(yīng)于顯示縮 放系數(shù)的仿射變換參數(shù)，確定顯示區(qū)的位置和大小(步驟S965)。隨后， 顯示區(qū)提取部分260從畫面存儲(chǔ)器161提取包括在顯示區(qū)中的合成畫 面(步驟S966)。隨后，顯示區(qū)提取部分260利用用于確定顯示區(qū)的仿 射變換參數(shù)矩陣的逆矩陣，仿射變換從畫面存儲(chǔ)器161提取的合成畫 面(步驟S967)。
隨后，顯示區(qū)提取部分260把從畫面存儲(chǔ)器161提取的仿射變換 后的合成畫面保存在顯示存儲(chǔ)器270中(步驟S968)。之后，畫面合成 部分151用當(dāng)前畫面重寫保存在顯示存儲(chǔ)器270中的合成畫面以便合 成(步驟S969)。之后，顯示部分180顯示保存在顯示存儲(chǔ)器270中的 合成畫面(步驟S970)。之后進(jìn)行聲音變換處理(步驟S980)。
如果在步驟S964中，發(fā)現(xiàn)未指定固定對(duì)應(yīng)于當(dāng)前幀的畫面的顯 示模式，那么顯示區(qū)提取部分260利用對(duì)應(yīng)于縮放系數(shù)的仿射變換參 數(shù)，確定顯示區(qū)的位置和大小(步驟S971)。如果發(fā)現(xiàn)顯示區(qū)與當(dāng)前畫 面的變換相一致地移動(dòng)，那么可以改為使用最近移動(dòng)的顯示區(qū)的位 置。
隨后，顯示區(qū)提取部分260確定保存在畫面存儲(chǔ)器161中的當(dāng)前 畫面是否延伸到顯示區(qū)之外(步驟S972)。如果未發(fā)現(xiàn)保存在畫面存儲(chǔ) 器161中，并對(duì)應(yīng)于當(dāng)前幀的畫面延伸到顯示區(qū)之外(即，整個(gè)當(dāng)前畫 面包含在顯示區(qū)的范圍之內(nèi))，那么顯示區(qū)提取部分260從畫面存儲(chǔ)器 161中提取包括在顯示區(qū)中的合成畫面(步驟S973)。隨后，顯示區(qū)提 取部分260把從畫面存儲(chǔ)器161提取的合成畫面保存在顯示存儲(chǔ)器 270中(步驟S974)。
之后，顯示區(qū)提取部分260利用用于變換對(duì)應(yīng)于當(dāng)前幀的畫面的 仿射變換參數(shù)矩陣，和用于確定顯示區(qū)的仿射變換參數(shù)矩陣的逆矩 陣，確定顯示存儲(chǔ)器270中對(duì)應(yīng)于當(dāng)前幀的畫面的位置(步驟S975)。
59之后，畫面合成部分151用對(duì)應(yīng)于當(dāng)前幀的畫面重寫保存在顯示存儲(chǔ) 器270中的合成畫面，以便合成(步驟S976)。隨后到達(dá)步驟S970。
如果在步驟S972中，發(fā)現(xiàn)保存在畫面存儲(chǔ)器161中的當(dāng)前畫面 延伸到顯示區(qū)之外(即，當(dāng)前畫面的至少一部分未被包括在顯示區(qū)的范 圍內(nèi))，那么顯示區(qū)提取部分260計(jì)算顯示區(qū)的一側(cè)和延伸到顯示區(qū)之 外的當(dāng)前畫面之間的差值(步驟S977)。隨后，顯示區(qū)提取部分260根 據(jù)計(jì)算的差值移動(dòng)顯示區(qū)(步驟S978)。之后到達(dá)步驟S973。
圖41是表示構(gòu)成作為本發(fā)明的實(shí)施例的畫面處理設(shè)備680執(zhí)行 的聲音變換處理(即，步驟S980中的過程)的典型步驟的流程圖。在所 示的步驟中，步驟S952、 S953和S954與圖28中所示的相應(yīng)步驟相 同，從而用相同的附圖標(biāo)記表示它們，但不再進(jìn)一步討論。
首先，顯示區(qū)提取部分260參考畫面顯示區(qū)161的區(qū)域，輸出關(guān) 于當(dāng)前顯示區(qū)的仿射變換參數(shù)(步驟S981)。利用關(guān)于顯示區(qū)的仿射變 換參數(shù)，以及使用畫面變換部分140輸出的對(duì)應(yīng)于當(dāng)前幀的畫面的中 心位置、角度和縮放系數(shù)，計(jì)算聲音變換信息(步驟S982)。
下面參考

本發(fā)明的實(shí)施例的第三變體。
圖42是表示作為本發(fā)明的實(shí)施例的畫面處理設(shè)備740的典型功 能結(jié)構(gòu)的方框圖。這里，畫面處理設(shè)備740是圖31中所示的畫面處 理設(shè)備680的局部改變的變體。通過用目標(biāo)畫面變換信息計(jì)算部分280 和相對(duì)關(guān)系信息存儲(chǔ)部分290補(bǔ)充圖31中的畫面處理設(shè)備680的功 能結(jié)構(gòu)，并分別用內(nèi)容獲得部分121、畫面變換部分141、音量控制 部分630和聲音相加部分640代替內(nèi)容獲得部分120、畫面變換部分 140、音量控制部分201和聲音相加部分202，實(shí)現(xiàn)畫面處理i殳備740。 該結(jié)構(gòu)允許畫面處理設(shè)備740轉(zhuǎn)換與在單一顯示屏幕上再現(xiàn)的多個(gè)運(yùn) 動(dòng)畫面相關(guān)的聲音。運(yùn)動(dòng)畫面存儲(chǔ)部分240、元數(shù)據(jù)存儲(chǔ)部分250、 畫面合成部分151、聲音變換信息計(jì)算部分191、聲音輸出控制部分 210和揚(yáng)聲器220的配置與圖31中所示的畫面處理設(shè)備的相應(yīng)部分的 配置相同，從而不再進(jìn)一步詳細(xì)討論。
響應(yīng)通過操作接受部分232接受的輸入操作，內(nèi)容獲得部分121獲得保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的一個(gè)或多個(gè)運(yùn)動(dòng)畫面文件，與 這些運(yùn)動(dòng)畫面文件關(guān)聯(lián)地保存在元數(shù)據(jù)存儲(chǔ)250中的元數(shù)據(jù)文件，和 與這些運(yùn)動(dòng)畫面文件共同關(guān)聯(lián)地保存在相對(duì)關(guān)系信息存儲(chǔ)部分290中 的至少 一個(gè)相對(duì)關(guān)系元數(shù)據(jù)文件，并把獲得的文件的信息提供給相關(guān) 部分。具體地說，如果操作接受部分232接受指示在合成多個(gè)運(yùn)動(dòng)畫 面的時(shí)候，再現(xiàn)所述多個(gè)運(yùn)動(dòng)畫面的多活動(dòng)畫面合成和再現(xiàn)模式的輸 入操作，那么內(nèi)容獲得部分121獲得保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中 的多個(gè)運(yùn)動(dòng)畫面文件，與這些運(yùn)動(dòng)畫面文件關(guān)聯(lián)地保存在元數(shù)據(jù)存儲(chǔ) 部分250中的元數(shù)據(jù)文件，和與這些運(yùn)動(dòng)畫面文件共同關(guān)聯(lián)地保存在 相對(duì)關(guān)系信息存儲(chǔ)部分290中的一個(gè)相對(duì)關(guān)系元數(shù)據(jù)文件；并把獲得 的運(yùn)動(dòng)畫面文件的運(yùn)動(dòng)畫面，和元數(shù)據(jù)文件的仿射變換參數(shù)輸出給畫 面變換部分141。另外，內(nèi)容獲得部分121把包含在獲得的元數(shù)據(jù)文 件的相對(duì)關(guān)系元數(shù)據(jù)文件中的內(nèi)容輸出給目標(biāo)畫面變換信息計(jì)算部 分280。內(nèi)容獲得部分121具有內(nèi)容獲得部分120的功能。內(nèi)容獲得 部分120的功能和上面討論的功能相同，從而不再進(jìn)一步討論。
畫面變換部分141利用對(duì)應(yīng)于畫面的仿射變換參數(shù)，按幀對(duì)構(gòu)成 內(nèi)容獲得部分121所輸出的運(yùn)動(dòng)畫面文件的運(yùn)動(dòng)畫面的畫面進(jìn)行仿射 變換。畫面變換部分141把仿射變換后的畫面輸出給畫面合成部分 151。這里，如果指示了多運(yùn)動(dòng)畫面合成和再現(xiàn)模式，那么畫面變換 部分141把作為再現(xiàn)目標(biāo)的多個(gè)運(yùn)動(dòng)畫面之一視為參考運(yùn)動(dòng)畫面，并 利用與構(gòu)成該參考運(yùn)動(dòng)畫面的畫面對(duì)應(yīng)的仿射變換參數(shù)，按幀對(duì)該參 考運(yùn)動(dòng)畫面進(jìn)行仿射變換。另一方面，畫面變換部分141利用目標(biāo)畫 面變換信息計(jì)算部分280計(jì)算的目標(biāo)畫面變換信息(仿射變換參數(shù))， 和與構(gòu)成運(yùn)動(dòng)畫面的畫面對(duì)應(yīng)的仿射變4灸參數(shù)，按幀對(duì)除作為再現(xiàn)目 標(biāo)的參考運(yùn)動(dòng)畫面之外的多個(gè)運(yùn)動(dòng)畫面進(jìn)行仿射變換。另外，畫面變 換部分141具有畫面變換部分140的功能。畫面變換部分140的功能 和上面說明的功能相同，從而不再進(jìn)一步討論。后面將參考圖44和 其它附圖詳細(xì)討論變換運(yùn)動(dòng)畫面的另一種方法。
操作接受部分232具有各種輸入按鍵。在接受通過這些按鍵輸入的操作之后，操作接受部分232把包含在輸入的操作中的內(nèi)容輸出給 內(nèi)容獲得部分121、畫面變換部分141、或者顯示區(qū)提取部分260。例 證地，操作接受部分232包括從保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的一 個(gè)或多個(gè)運(yùn)動(dòng)畫面文件中選擇希望的運(yùn)動(dòng)畫面的操作選擇按鍵，指示 普通的運(yùn)動(dòng)畫面再現(xiàn)的再現(xiàn)指示按鍵，停止再現(xiàn)運(yùn)動(dòng)畫面的停止按 鍵，指示運(yùn)動(dòng)畫面的顯示縮放系數(shù)的顯示縮放系數(shù)指示按鍵，及設(shè)置 多運(yùn)動(dòng)畫面合成和再現(xiàn)模式的多運(yùn)動(dòng)畫面合成和再現(xiàn)設(shè)置鍵。這些按 鍵中的每一個(gè)都可被賦予多種功能。另外，至少一部分的操作接受部 分232和顯示部分180可被集成為觸敏面板。
在指示了多運(yùn)動(dòng)畫面合成和再現(xiàn)模式的情況下，目標(biāo)畫面變換信 息計(jì)算部分280根據(jù)內(nèi)容獲得部分121輸出的元數(shù)據(jù)文件和相對(duì)關(guān)系 元數(shù)據(jù)文件中的仿射變換參數(shù)，把構(gòu)成作為再現(xiàn)目標(biāo)的多個(gè)運(yùn)動(dòng)畫面 之一的至少一個(gè)畫面視為參考畫面，并把構(gòu)成其它運(yùn)動(dòng)畫面的畫面視 為目標(biāo)畫面，并計(jì)算供變換目標(biāo)畫面之用的目標(biāo)畫面變換信息。計(jì)算 的目標(biāo)畫面變換信息,皮輸出給畫面變換部分141。例證地，指定運(yùn)動(dòng) 畫面的參考畫面可以是構(gòu)成所考慮的運(yùn)動(dòng)畫面的各個(gè)畫面之中，對(duì)應(yīng) 于第一幀的畫面。目標(biāo)畫面變換信息一般由用于關(guān)于參考畫面，變換 目標(biāo)畫面的仿射變換參數(shù)組成。
圖43是示意表示在本發(fā)明的實(shí)施例中，記錄在運(yùn)動(dòng)畫面存儲(chǔ)部 分240和相對(duì)關(guān)系信息存儲(chǔ)部分290中的文件的示圖。本例中示意表 示的是保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件241-244，和 與運(yùn)動(dòng)畫面文件241-244關(guān)聯(lián)地保存在相對(duì)關(guān)系信息存儲(chǔ)部分290中 的相對(duì)關(guān)系元數(shù)據(jù)文件291-293。本例中說明的是如何與保存在相對(duì) 關(guān)系信息存儲(chǔ)部分290中的相對(duì)關(guān)系元數(shù)據(jù)文件291-293關(guān)聯(lián)地保存 構(gòu)成運(yùn)動(dòng)畫面文件(#1)241的幀"5"741和"8"742，構(gòu)成運(yùn)動(dòng)畫面文件 (#2)242的幀"7"743和"9"744，以及構(gòu)成運(yùn)動(dòng)畫面文件(#3)243的幀 "3"745和"10"746。保存在運(yùn)動(dòng)畫面存儲(chǔ)部分240中的運(yùn)動(dòng)畫面文件 和圖30中所示的相同，從而不再進(jìn)一步討論。
運(yùn)動(dòng)畫面ID 294、幀編號(hào)295和仿射變換參數(shù)296相互關(guān)聯(lián)地分別被保存在相對(duì)關(guān)系元數(shù)據(jù)文件291-293中。
運(yùn)動(dòng)畫面ID 294被附到與其間至少具有三個(gè)疊合點(diǎn)的兩個(gè)畫面 對(duì)應(yīng)的兩個(gè)運(yùn)動(dòng)畫面文件上。例如，附到運(yùn)動(dòng)畫面文件241上的"弁1" 和附到運(yùn)動(dòng)畫面文件242上的"#2"皮保存在相對(duì)關(guān)系元數(shù)據(jù)文件291 中。
幀編號(hào)295是與其間至少具有三個(gè)疊合點(diǎn)的兩個(gè)畫面對(duì)應(yīng)的兩 幀的序列號(hào)。例如，構(gòu)成運(yùn)動(dòng)畫面文件241的運(yùn)動(dòng)畫面的幀的幀編號(hào) "5"和構(gòu)成運(yùn)動(dòng)畫面文件242的運(yùn)動(dòng)畫面的幀的幀編號(hào)"7"皮保存在相 對(duì)關(guān)系元數(shù)據(jù)文件291中。
關(guān)于與運(yùn)動(dòng)畫面ID 294和幀編號(hào)295對(duì)應(yīng)的至少兩個(gè)畫面計(jì)算 仿射變換參數(shù)296。例如，相對(duì)關(guān)系元數(shù)據(jù)文件291包含與構(gòu)成運(yùn)動(dòng) 畫面文件241的運(yùn)動(dòng)畫面的幀"5"，及構(gòu)成運(yùn)動(dòng)畫面文件242的運(yùn)動(dòng) 畫面的幀"7"對(duì)應(yīng)的仿射變換參數(shù)"ao、 bo、 co、 do、 eo、 fo"。對(duì)于本 發(fā)明的該變體來i兌，4叚定在與兩個(gè)運(yùn)動(dòng)畫面ID 294和兩個(gè)幀編號(hào)295 對(duì)應(yīng)的兩個(gè)畫面中，當(dāng)對(duì)應(yīng)于圖43中的下層幀編號(hào)的畫面禍L視為參 考畫面，對(duì)應(yīng)于上層幀編號(hào)的畫面被視為目標(biāo)畫面時(shí)，應(yīng)用仿射變換 參數(shù)296。例如，包含在相對(duì)關(guān)系元數(shù)據(jù)文件291中的仿射變換參數(shù) 296是構(gòu)成運(yùn)動(dòng)畫面文件(#1)241的運(yùn)動(dòng)畫面的幀"5"(741)，及構(gòu)成運(yùn) 動(dòng)畫面文件(#2)242的運(yùn)動(dòng)畫面的幀"7"(743)的仿射變換參數(shù)。
圖44是示意表示合成兩個(gè)運(yùn)動(dòng)畫面的例子的示圖。這些例子是 ^兌明的是如1可合成構(gòu)成運(yùn)動(dòng)畫面370的畫面371-384及構(gòu)成運(yùn)動(dòng)畫面 390的畫面391-397。其內(nèi)部用陰影表示的畫面378和394 ^皮假定為與 包含在關(guān)于運(yùn)動(dòng)畫面370和3卯的相對(duì)關(guān)系元數(shù)據(jù)中的幀編號(hào)對(duì)應(yīng)。
圖44(a)表示通過利用與對(duì)應(yīng)幀關(guān)聯(lián)地保存的仿射變換參數(shù)，構(gòu) 成運(yùn)動(dòng)畫面370的畫面371-384被連續(xù)仿射變換，并被合成到畫面存 儲(chǔ)器161中的情況。例如，對(duì)應(yīng)于第一幀的畫面371首先被保存在畫 面存儲(chǔ)器161中。參考畫面371連續(xù)仿射變換畫面372-384，并將其 合成到畫面存儲(chǔ)器161中。由仿射變換產(chǎn)生的當(dāng)前畫面的流動(dòng)由箭頭 385表示。即，畫面371-384沿著箭頭385被連續(xù)合成。圖44(b)表示通過利用與對(duì)應(yīng)幀關(guān)聯(lián)地保存的仿射變換參數(shù)，構(gòu) 成運(yùn)動(dòng)畫面390的畫面391-397 ,皮連續(xù)仿射變換，并纟皮合成到畫面存 儲(chǔ)器161中的情況。圖44(c)表示利用包括在關(guān)于運(yùn)動(dòng)畫面370和3卯 中的相對(duì)關(guān)系元數(shù)據(jù)中的仿射變換參數(shù)，在畫面391被視為參考畫面 的情況下，對(duì)畫面394進(jìn)行仿射變換產(chǎn)生的畫面378和394之間的相 對(duì)位置關(guān)系。這里，圖44(b)中所示的合成畫面由在圖44(c)中所示的 畫面378和394之間的相對(duì)位置關(guān)系被視為基準(zhǔn)的情況下被合成的畫 面391-397產(chǎn)生。由仿射變換產(chǎn)生的當(dāng)前畫面的流動(dòng)由箭頭398表示。 即，畫面391-397沿著箭頭398被連續(xù)合成。圖44(d)表示如上所述， 在圖44(c)中的畫面378和384之間的相對(duì)位置關(guān)系被視為基準(zhǔn)的情況 下，合成圖44(a)和44(b)中的合成畫面的例子。圖44(d)的例子表示畫 面378和394被同時(shí)再現(xiàn)，就同時(shí)被再現(xiàn)的畫面來說，運(yùn)動(dòng)畫面370 ,皮運(yùn)動(dòng)畫面390重寫。
下面說明關(guān)于保持運(yùn)動(dòng)畫面的具體位置的計(jì)算。首先，確定構(gòu)成 多個(gè)運(yùn)動(dòng)畫面之一的至少一個(gè)運(yùn)動(dòng)畫面的位置。例如，確定與構(gòu)成運(yùn) 動(dòng)畫面370的第一幀對(duì)應(yīng)的畫面371的位置。所述確定的位置可由操 縱操作接受部分232的用戶指定，或者使用通過上述計(jì)算獲得的位置 來確定。隨后計(jì)算保持構(gòu)成另一運(yùn)動(dòng)畫面的至少一個(gè)畫面的位置。例 如，假定與和畫面371-384對(duì)應(yīng)的幀相關(guān)的仿射變換參數(shù)矩陣用 Al-A14表示；與和畫面391-397對(duì)應(yīng)的幀相關(guān)的仿射變換參數(shù)矩陣用 Bl-B7表示；與運(yùn)動(dòng)畫面370和3卯關(guān)聯(lián)地保存的相對(duì)關(guān)系元數(shù)據(jù)的 仿射變換參數(shù)矩陣用Cl表示；并且參考畫面是畫面371。這種情況 下，參考畫面存儲(chǔ)器161中保存畫面371的位置，通過Al-A8的乘法， 即，使用Alx…xA8計(jì)算保存畫面378的位置。參考畫面存儲(chǔ)器161 中保存畫面371的位置，通過Al-A8和Cl的乘法，即，使用 Alx…xA8xCl計(jì)算保存畫面394的位置。這里，例證地通過Al-A8 和Cl 的乘法及Bl-B4 的逆矩陣的乘法，即，使用 "Alx…xA8xClxInv(Blx…xB4)"來計(jì)算保存畫面391的位置，計(jì)算 保存與運(yùn)動(dòng)畫面390的第一幀對(duì)應(yīng)的畫面391的位置。另外，通過利
64用A1-A8和C1，以及B1-B4或B5-B7的逆矩陣，可類似地計(jì)算保存 構(gòu)成運(yùn)動(dòng)畫面390的其它畫面的位置。
構(gòu)成除包含參考畫面的運(yùn)動(dòng)畫面之外的運(yùn)動(dòng)畫面的畫面是利用 用于計(jì)算保存對(duì)應(yīng)于第一幀的畫面的位置的矩陣，和與畫面相關(guān)的仿
射變換參數(shù)仿射變換的。例如，如果運(yùn)動(dòng)畫面390中的畫面392要被 仿射變換，那么對(duì)應(yīng)于畫面392的矩陣B2被用于涉及矩陣 "Alx…xA8xClxInv(B3xB4)"的變換。作為另一例子，同樣地利用矩 陣"Alx…xA8xClxInv(B4)，，仿射變換運(yùn)動(dòng)畫面390中的畫面523。按 照類似的方式，變換運(yùn)動(dòng)畫面390中的每個(gè)畫面。
如上所述，當(dāng)合成和再現(xiàn)多個(gè)運(yùn)動(dòng)畫面時(shí)，可以關(guān)于指定的運(yùn)動(dòng) 畫面首先確定畫面存儲(chǔ)器161中參考畫面的位置和大小。隨后，利用 與每個(gè)運(yùn)動(dòng)畫面相關(guān)的元教據(jù)文件，和與運(yùn)動(dòng)畫面相關(guān)的相對(duì)關(guān)系元 數(shù)據(jù)文件，計(jì)算每個(gè)其它畫面的位置和大小。從而，這使得在合成和 再現(xiàn)多個(gè)運(yùn)動(dòng)畫面的情況下，能夠從任意運(yùn)動(dòng)畫面中的任意位置開始 再現(xiàn)。例如，圖44(d)的例子表示在畫面存儲(chǔ)器161中，首先合成構(gòu) 成運(yùn)動(dòng)畫面370的畫面371-374，隨后合成構(gòu)成運(yùn)動(dòng)畫面390的畫面 391。即，畫面375和391 4皮同時(shí)合成，之后畫面376和392 #皮同時(shí) 合成。后續(xù)畫面同樣如此。盡管本例表示就同時(shí)被再現(xiàn)的畫面來產(chǎn)， 運(yùn)動(dòng)畫面370被運(yùn)動(dòng)畫面3卯重寫，不過可以操縱操作接受部分230， 以指示用其重寫另一運(yùn)動(dòng)畫面的所需運(yùn)動(dòng)畫面。
下面說明由作為本發(fā)明的實(shí)施例的畫面處理設(shè)備740執(zhí)行的聲 音變換處理。
圖45是表示在作為本發(fā)明的實(shí)施例的畫面處理設(shè)備740中的聲 音變換處理部分200的典型結(jié)構(gòu)的方框圖。下面說明的是當(dāng)同時(shí)再現(xiàn) 第一運(yùn)動(dòng)畫面和第二運(yùn)動(dòng)畫面時(shí)，生成左右聲道的輸出聲音的典型變 換處理。假定第一和第二運(yùn)動(dòng)畫面的輸入聲音由左右聲道構(gòu)成。從而， 下面說明其音量控制部分630和聲音相加部分640分別替代圖31中 的音量控制部分201和聲音相加部分202的聲音變換處理部分200的 功能。聲音變換處理部分200的基本結(jié)構(gòu)和圖17中所示的相同，從而下面將簡(jiǎn)要提及其結(jié)構(gòu)。
音量控制部分630具有音量放大器631-638。音量放大器631-634 根據(jù)由聲音變換信息計(jì)算部分191供給的關(guān)于第一運(yùn)動(dòng)畫面的聲音變 換信息RR^ RLp LR和L"，；改大第一運(yùn)動(dòng)畫面的左右聲道的輸 入聲音。音量放大器635-638根據(jù)由聲音變換信息計(jì)算部分191供給 的關(guān)于第二運(yùn)動(dòng)畫面的聲音變換信息RR2、 RL2、 LR2和LL2，》文大 第二運(yùn)動(dòng)畫面的左右聲道的輸入聲音。
聲音相加部分640具有聲音加法器641-646。聲音加法器641和 642相加第一運(yùn)動(dòng)畫面的左右聲道的輸入聲音。聲音加法器643和644 相加第二運(yùn)動(dòng)畫面的左右聲道的輸入聲音。聲音力。法器645相加第一 和第二運(yùn)動(dòng)畫面的右聲道的輸出聲音。聲音加法器646相加第一和第 二運(yùn)動(dòng)畫面的左聲道的輸出聲音。
圖46是表示當(dāng)作為本發(fā)明的實(shí)施例的畫面處理設(shè)備740同時(shí)再 現(xiàn)兩個(gè)運(yùn)動(dòng)畫面時(shí)進(jìn)行的聲音變換處理的例子的示圖。圖46的例子 表明兩個(gè)被再現(xiàn)的運(yùn)動(dòng)畫面651和652被顯示在顯示部分180的顯示 屏幕上。這種情況下，如上所述，首先通過與和對(duì)應(yīng)于^C再現(xiàn)運(yùn)動(dòng)畫 面651和652的當(dāng)前幀對(duì)應(yīng)的畫面的中心位置、角度或縮放系數(shù)相一 致地變換每個(gè)聲道的輸入聲音，產(chǎn)生輸出聲音。隨后在每個(gè)相同的聲 道上，相加關(guān)于被再現(xiàn)的運(yùn)動(dòng)畫面651和652的輸出聲音，之后輸出 給右揚(yáng)聲器221和左揚(yáng)聲器222。關(guān)于這樣產(chǎn)生的輸出聲音的關(guān)系表 達(dá)式如下所示
R'=(Rr+R2')/2
L'=(Ll'+L2')/2
其中 R1^R1.RR!+L1.LR！ ， Ll'-Rl.RI^+Ll'LLi ， R2'=R2RR2+L2.LR2， L2'=R2RL2+L2.LL2。 R1和L1代表第一運(yùn)動(dòng) 畫面的右聲道和左聲道的輸入聲音，R2和L2代表第二運(yùn)動(dòng)畫面的右 聲道和左聲道的輸入聲音。RR!、 RLp L&和LL對(duì)應(yīng)于關(guān)于第一運(yùn) 動(dòng)畫面的聲音變換信息，RR2、 RL2、 LR2和LL2對(duì)應(yīng)于關(guān)于第二運(yùn)動(dòng) 畫面的聲音變換信息。除了在步驟S982中，在每個(gè)相同的聲道上相加多個(gè)運(yùn)動(dòng)畫面的 輸出聲音之外，構(gòu)成由作為本發(fā)明的實(shí)施例的畫面處理設(shè)備740執(zhí)行 的聲音變換處理的典型步驟和上面討論的那些步驟相同。該處理的其 余步驟相同，從而不再進(jìn)一步討論。
上面說明了其中根據(jù)關(guān)于運(yùn)動(dòng)畫面的運(yùn)動(dòng)信息，變換聲音的例 子。不這地，本發(fā)明的實(shí)施例也可適用于根據(jù)除關(guān)于運(yùn)動(dòng)畫面的運(yùn)動(dòng) 信息外的其它信息，變換聲音的情況。作為這種應(yīng)用的一個(gè)例子，下 面參考

本發(fā)明的實(shí)施例的第四變體。在下面的說明中，將只 說明圖1中所示的內(nèi)容獲得部分120和畫面變換部分140的功能；其 它結(jié)構(gòu)和上面討論的那些功能相同，從而不再進(jìn)一步說明。
內(nèi)容獲得部分120獲得表示運(yùn)動(dòng)畫面在顯示部分180上的顯示區(qū) 的模板信息。該模板信息定義在顯示屏幕上顯示多種信息的顯示區(qū)。 例證地，定義顯示運(yùn)動(dòng)畫面的運(yùn)動(dòng)畫面顯示區(qū)和顯示文本字符的字符 顯示區(qū)。
畫面變換部分140根據(jù)內(nèi)容獲得部分120輸入的模板信息，變換 畫面。即，該變換被設(shè)計(jì)成在由模板信息定義的顯示屏幕上的顯示區(qū) 中顯示運(yùn)動(dòng)畫面。在采集自模板信息之后，畫面變換部分140把與當(dāng) 前幀對(duì)應(yīng)的畫面的中心位置、角度或縮放系數(shù)輸出給聲音變換信息計(jì) 算部分190。
圖47是按照本發(fā)明的實(shí)施例，表示根據(jù)除關(guān)于運(yùn)動(dòng)畫面的運(yùn)動(dòng) 信息之外的其它信息，變換聲音的處理的例子的示圖。圖47(a)表示 其中運(yùn)動(dòng)畫面653凈皮顯示在顯示部分180的顯示屏幕的左側(cè)，關(guān)于運(yùn) 動(dòng)畫面的信息以文本形式被顯示在所述顯示屏幕的右側(cè)的例子。這 里，顯示屏幕上運(yùn)動(dòng)畫面653的中心位置位于顯示屏幕的左側(cè)，以致 使左揚(yáng)聲器222的輸出聲音的輸出率高于右揚(yáng)聲器221的輸出聲音的 輸出率。這種情況下，畫面變換部分140從表示運(yùn)動(dòng)畫面的顯示區(qū)的 模板信息獲得運(yùn)動(dòng)畫面653的中心位置和縮放系數(shù)，并把所包含的內(nèi) 容輸出給聲音變換信息計(jì)算部分191。圖47(b)表示其中顯示部分180 的顯示區(qū)被一分為二，以便顯示運(yùn)動(dòng)畫面的例子。這里，運(yùn)動(dòng)畫面654
67被顯示在顯示屏幕的左半部，運(yùn)動(dòng)畫面655被顯示在顯示屏幕的右半 部，以致與運(yùn)動(dòng)畫面654和655的中心位置相一致地產(chǎn)生運(yùn)動(dòng)畫面654 和655的每個(gè)聲道上的輸出聲音。運(yùn)動(dòng)畫面654和655的每個(gè)相同聲 道上的輸出聲音被相加，并被輸出給右揚(yáng)聲器221和左揚(yáng)聲器222。 這種情況下，畫面變換部分140從關(guān)于顯示區(qū)的拆分的模板信息獲得 運(yùn)動(dòng)畫面654和655的中心位置和縮放系數(shù)，并把所包含的內(nèi)容輸出 給聲音變換信息計(jì)算部分191。
下面參考附圖詳細(xì)說明配置成檢測(cè)保存在圖29、 31和42中所示 的元數(shù)據(jù)存儲(chǔ)部分250中的仿射變換參數(shù)的照相機(jī)工作檢測(cè)部分480。 圖1中所示的畫面變換信息供給部分130的結(jié)構(gòu)和照相機(jī)工作檢測(cè)部 分480的結(jié)構(gòu)類似，從而也能夠檢測(cè)仿射變換參數(shù)。
圖48是表示本發(fā)明的實(shí)施例中的照相機(jī)工作檢測(cè)部分480的典 型功能結(jié)構(gòu)的方框圖。照相機(jī)工作檢測(cè)部分480具有特征點(diǎn)提取部分 481、光流計(jì)算部分482和照相機(jī)工作參數(shù)計(jì)算部分483，并與運(yùn)動(dòng)畫 面輸入部分470和記錄控制部分490連接。本例中，只圖解說明與照 相機(jī)工作檢測(cè)部分480相關(guān)的結(jié)構(gòu)；不再進(jìn)一步指示或說明其它結(jié)構(gòu)。
運(yùn)動(dòng)畫面輸入部分470輸入由諸如數(shù)字?jǐn)z像機(jī)之類成像設(shè)備拍 攝的運(yùn)動(dòng)畫面。運(yùn)動(dòng)畫面輸入部分470把輸入的運(yùn)動(dòng)畫面輸出給照相 機(jī)工作檢測(cè)部分480。
記制控制部分4卯與對(duì)應(yīng)的運(yùn)動(dòng)畫面和幀關(guān)聯(lián)地記錄由照相機(jī) 工作檢測(cè)部分480以元數(shù)據(jù)文件的形式輸出給元數(shù)據(jù)存儲(chǔ)部分250的 仿射變換參數(shù)。
特征點(diǎn)提取部分481從與構(gòu)成運(yùn)動(dòng)畫面輸入部分470輸出的運(yùn)動(dòng) 畫面的各幀對(duì)應(yīng)的畫面中提取特征點(diǎn)，并把提取的特征點(diǎn)輸出給光流 計(jì)算部分482。這里，特征點(diǎn)提取部分481從與構(gòu)成運(yùn)動(dòng)畫面輸入部 分470輸出的運(yùn)動(dòng)畫面的各幀中的第一幀對(duì)應(yīng)的整個(gè)畫面中提取特征 點(diǎn)。就與除第一幀外的各幀對(duì)應(yīng)的每個(gè)畫面來說，特征點(diǎn)提取部分481 從與和前一幀對(duì)應(yīng)的畫面相比，新拍攝的各個(gè)畫面區(qū)部分中提取特征
點(diǎn)。例證地，均在垂直方向或水平方向具有過高的邊緣梯度的那些點(diǎn)(通常稱為角點(diǎn))可被提取為特征點(diǎn)(下面稱為角點(diǎn))。角點(diǎn)是非常有益于
計(jì)算光流的特征點(diǎn)，可通過邊緣檢測(cè)來獲得。例如，可利用圖2和3 中所示的提取方法獲得角點(diǎn)。本例中，特征點(diǎn)提取部分481從對(duì)應(yīng)于 第一幀的整個(gè)畫面中提取特征點(diǎn)，并關(guān)于與除第一幀外的各幀對(duì)應(yīng)的 每個(gè)畫面，從與對(duì)應(yīng)于前一幀的畫面相比新拍才聶的各個(gè)畫面區(qū)部分中 提取特征點(diǎn)。不過，取決于可用的吞吐量，也可從與除第一幀外的每 一幀對(duì)應(yīng)的整個(gè)畫面中提取特征點(diǎn)。
光流計(jì)算部分482計(jì)算由特征點(diǎn)提取部分481輸出的特征點(diǎn)的光 流，并把計(jì)算的光流輸出給照相機(jī)工作參數(shù)計(jì)算部分483。具體地說， 比較與構(gòu)成由運(yùn)動(dòng)畫面輸入部分470輸出的運(yùn)動(dòng)畫面的兩個(gè)連續(xù)幀 (當(dāng)前幀和前一幀)對(duì)應(yīng)的畫面，從而獲得和對(duì)應(yīng)于前一幀的畫面中的 特征點(diǎn)對(duì)應(yīng)的光流，作為當(dāng)前幀的光流。關(guān)于構(gòu)成運(yùn)動(dòng)畫面的每一幀 獲得光流。作為檢測(cè)光流的方法，可以使用梯度方法或者塊匹配方法。 例證地，可通過圖2和3中所示的計(jì)算獲得光流。
照相機(jī)工作參數(shù)計(jì)算部分483利用光流計(jì)算部分482輸出的與特 征點(diǎn)對(duì)應(yīng)的光流，進(jìn)行照相機(jī)工作參數(shù)計(jì)算處理，以計(jì)算照相機(jī)工作 參數(shù)。這樣計(jì)算的照相機(jī)工作參數(shù)被保存在元數(shù)據(jù)存儲(chǔ)部分250中。 這里，本發(fā)明的實(shí)施例與成像設(shè)備的運(yùn)動(dòng)相一致地變換和顯示構(gòu)成作 為再現(xiàn)目標(biāo)的多個(gè)運(yùn)動(dòng)畫面的畫面。為了進(jìn)行畫面變換，本實(shí)施例利 用光流計(jì)算部分482計(jì)算的光流，提取成像設(shè)備的運(yùn)動(dòng)，并根據(jù)提取 的運(yùn)動(dòng)計(jì)算照相機(jī)工作參數(shù)(變換參數(shù))。對(duì)于本發(fā)明的實(shí)施例來說， 仿射變換被用作典型的畫面變換方法，這里說明了該方法，該方法變 換構(gòu)成作為再現(xiàn)目標(biāo)的運(yùn)動(dòng)畫面的畫面。和為典型的照相機(jī)工作參 數(shù)，這里說明的是與根據(jù)光流計(jì)算的仿射變換參數(shù)矩陣的逆矩陣對(duì)應(yīng) 的仿射變換參數(shù)。即，按照本發(fā)明的實(shí)施例，用作變換信息的仿射變 換參數(shù)不被定義為表示連續(xù)畫面之間特征點(diǎn)的運(yùn)動(dòng)的仿射矩陣，而是 被定義成與表示在指定參考畫面之后的畫面移動(dòng)到的地方的仿射矩 陣對(duì)應(yīng)的仿射變換參數(shù)，所述參考畫面是所述連續(xù)畫面之一。盡管這 里把仿射變換參數(shù)說明成典型的照相機(jī)工作參數(shù)，不過可以改為利用某種其它的畫面變換方法，比如投影變換。利用三點(diǎn)矢量可計(jì)算和獲 得仿射變換參數(shù)，而利用四點(diǎn)矢量可計(jì)算和獲得投影變換參數(shù)。這里， 照相機(jī)工作參數(shù)構(gòu)成用于參考構(gòu)成所攝運(yùn)動(dòng)畫面的至少 一個(gè)所攝畫 面，變換所攝畫面的變換信息，包括至少在成像設(shè)備的坐標(biāo)系中描述 的位置信息和姿態(tài)信息。即，照相機(jī)工作參數(shù)包括攝像者操控的成像
設(shè)備的位置和姿態(tài)信息。根據(jù)照相機(jī)工作參數(shù)計(jì)算部分483獲得的仿 射變換參數(shù)，還能夠估計(jì)由攝像者的操作，比如拉近、拉遠(yuǎn)、遙攝、 傾斜和旋轉(zhuǎn)引起的成像設(shè)備的運(yùn)動(dòng)。例如，通過圖2和3中所示的計(jì) 算，可獲得仿射變換參數(shù)。
下面參考附圖詳細(xì)說明在本發(fā)明的實(shí)施例中，多核處理器800 是如何進(jìn)行特征點(diǎn)提取處理和光流計(jì)算處理的。這里，將舉例說明由 特征點(diǎn)提取部分481進(jìn)行的特征點(diǎn)提取處理，和由光流計(jì)算部分482 執(zhí)行的光流計(jì)算處理。
圖49是表示本發(fā)明的實(shí)施例中的多核處理器800的典型結(jié)構(gòu)的 方框圖。多核處理器800是在單個(gè)CPU(中央處理器)封裝中包含不同 種類的多個(gè)處理器核芯的處理器。即，為了以簡(jiǎn)化的結(jié)構(gòu)保持各個(gè)處 理器核芯的性能，多核處理器800包含兩種多處理器核芯 一種致力 于通用應(yīng)用，另一種在一定程度上被優(yōu)化，以便更好地處理專用應(yīng)用。
多核處理器800具有控制處理器核芯801，算術(shù)處理器核芯 (#1)811- (#8)818，和總線802，并與主存儲(chǔ)器781連接。另外，多核 處理器800與其它裝置，比如圖形裝置782和I/0裝置783連接。作 為多核處理器800，可以采用由本申請(qǐng)人和其他公司開發(fā)的稱為 "Cell(單元寬帶引擎)"的微處理器。
控制處理器核芯801主要實(shí)現(xiàn)由操作系統(tǒng)進(jìn)行的頻繁線程切換。 后面將參考圖50詳細(xì)說明控制處理器核芯801。
算術(shù)處理器核芯(#1)811-(#8)818是特別適合于多媒體處理的簡(jiǎn) 單的小尺寸算術(shù)處理器核芯。后面將參考圖51詳細(xì)說明算術(shù)處理器 核芯(#1)811-(#8)818。
總線802是稱為EIB(元件互連總線)的高速總線，控制處理器核芯801和算術(shù)處理器核芯(#1)811-(#8)818與之連接。通過總線802實(shí) 現(xiàn)每個(gè)處理器核芯的數(shù)據(jù)訪問操作。
主存儲(chǔ)器781與總線802連接。主存儲(chǔ)器781保存將被載入每個(gè) 處理器核芯的各種程序，和對(duì)將由處理器核芯執(zhí)行的處理來說必需的 數(shù)據(jù)，以及處理器核芯處理的數(shù)據(jù)。
圖形裝置782是與總線802連接的圖形裝置。I/O裝置783是與 總線802連接的外部輸入/輸出裝置。
圖50是表示本發(fā)明的實(shí)施例中的控制處理器核芯801的典型結(jié) 構(gòu)的示圖?？刂铺幚砥骱诵?01具有控制處理器單元803和控制處理 器存儲(chǔ)系統(tǒng)806。
控制處理器單元803是充當(dāng)實(shí)現(xiàn)控制處理器核芯801的算術(shù)處理 的核芯的單元?？刂铺幚砥鲉卧?03具有基于微處理器體系結(jié)構(gòu)的指 令集，并且包含指令高速緩沖存儲(chǔ)器804和數(shù)據(jù)高速緩沖存儲(chǔ)器805， 作為一次高速緩沖存儲(chǔ)器。例證地，指令高速緩沖存儲(chǔ)器804是32KB 指令高速緩沖存儲(chǔ)器，數(shù)據(jù)高速緩沖存儲(chǔ)器805 —般是32KB數(shù)據(jù)高 速緩沖存儲(chǔ)器。
控制處理器存儲(chǔ)系統(tǒng)806是控制從控制處理器單元803對(duì)主存儲(chǔ) 器781進(jìn)行的數(shù)據(jù)訪問操作的單元?？刂铺幚砥鞔鎯?chǔ)系統(tǒng)806包含 512KB 二次高速緩沖存儲(chǔ)器807，以允許來自控制處理器單元803的 高速存儲(chǔ)器訪問。
圖51是表示本發(fā)明的實(shí)施例中的算術(shù)處理器核芯(#1)811的典型 結(jié)構(gòu)的示圖。算術(shù)處理器核芯(#1)811具有算術(shù)處理器單元820和存 儲(chǔ)器流控制器822。算術(shù)處理器核芯(#2)812-(#8)818具有和算術(shù)處理 器核芯(#1)811相同的結(jié)構(gòu)，從而不再進(jìn)一步說明。
算術(shù)處理器單元820是充當(dāng)實(shí)現(xiàn)算術(shù)處理器核芯(#1)811的算術(shù) 處理的核芯的單元。算術(shù)處理器單元820具有其獨(dú)特的指令集，該指 令集不同于控制處理器核芯801中的控制處理器單元803的指令集。 另外，算術(shù)處理器單元820包含本地存儲(chǔ)器(LS)821。
本地存儲(chǔ)器821是算術(shù)處理器單元820的專用存儲(chǔ)器，是算術(shù)處
71理器單元820能夠直接訪問的唯一存儲(chǔ)器。例證地，容量為256KB 的存儲(chǔ)器可被用作本地存儲(chǔ)器821。當(dāng)可以訪問主存儲(chǔ)器781或者任 意其它算術(shù)處理器核芯(即，算術(shù)處理器核芯(#2)812-(#8)818)的本地存 儲(chǔ)器時(shí)，算術(shù)處理器單元820需要使用存儲(chǔ)器流控制器822。
稱為MFC的存儲(chǔ)器流控制器822是與主存儲(chǔ)器781和其它算術(shù) 處理器核芯交換數(shù)據(jù)的單元。算術(shù)處理器單元820通過稱為通道的接 口請(qǐng)求存儲(chǔ)器流控制器822執(zhí)行數(shù)據(jù)傳輸和其它操作。
對(duì)于上面說明的多核處理器800,提出了各種編程模型。最基本 的編程模型涉及使控制處理器核芯801執(zhí)行主程序，使算術(shù)處理器核 芯(#1)811-(#8)818執(zhí)行子程序。下面參考附圖，詳細(xì)說明本本發(fā)明的 實(shí)施例中的多核處理器800利用該模型執(zhí)行其算術(shù)處理的計(jì)算方法。
圖52是示意表示本發(fā)明的實(shí)施例中的多核處理器800的計(jì)算方 法的示圖。在本例中，當(dāng)利用數(shù)據(jù)785執(zhí)行任務(wù)784時(shí)，控制處理器 核芯801使算術(shù)處理器核芯利用處理任務(wù)786所必需的數(shù)據(jù)787(數(shù)據(jù) 785的一部分)，執(zhí)行任務(wù)786,任務(wù)786是任務(wù)784的一部分。
如圖52中所示，當(dāng)利用數(shù)據(jù)785執(zhí)行任務(wù)84時(shí)，控制處理器核 芯801使算術(shù)處理器核芯利用處理任務(wù)786所必需的數(shù)據(jù)787(數(shù)據(jù) 785的一部分)執(zhí)行任務(wù)786，任務(wù)786是任務(wù)784的一部分。按照本 發(fā)明的實(shí)施例，算術(shù)處理器核芯對(duì)構(gòu)成運(yùn)動(dòng)畫面的每一幀，執(zhí)行該處 理。
如圖52中所示，當(dāng)多核處理器800執(zhí)行其處理時(shí)，使算術(shù)處理 器核芯(#1)811-(#8)818并行工作，以便在較短的時(shí)間內(nèi)完成大量的處 理。也可通過在算術(shù)處理器核芯(#1)811-(#8)818上使用SIMD(單指令 /多數(shù)據(jù))計(jì)算，利用數(shù)目更有限的指令完成相對(duì)大量的處理。后面將 參考附圖56-59和其它附圖，詳細(xì)討論SIMD計(jì)算。
圖53是示意表示當(dāng)本發(fā)明的實(shí)施例中的多核處理器800執(zhí)行操 作時(shí)，程序和數(shù)據(jù)的實(shí)際流動(dòng)的示圖。這里，作為例子，挑選了算術(shù) 處理器核芯(#1)811-(#8)818中的算術(shù)處理器核芯(#1)811。相同的流動(dòng) 也適用于算術(shù)處理器核芯(#2)812-(#8)818。首先，控制處理器核芯801向算術(shù)處理器核芯(#1)811發(fā)出把保 存在主存儲(chǔ)器781中的算術(shù)處理器核芯程序823載入算術(shù)處理器核芯 (#1)811的本地存儲(chǔ)器821中的指令。算術(shù)處理器核芯(#1)811再把保 存在主存儲(chǔ)器781中的算術(shù)處理器核芯程序823載入本地存儲(chǔ)器821。
控制處理器核芯801隨后指令算術(shù)處理器核芯(#1)811執(zhí)行保存 到本地存儲(chǔ)器821中的算術(shù)處理器核芯程序825。
算術(shù)處理器核芯(#1)811隨后把數(shù)據(jù)824從主存儲(chǔ)器781傳給本 地存儲(chǔ)器821，執(zhí)行算術(shù)處理器核芯程序825所需的數(shù)據(jù)824被保存 在本地存儲(chǔ)器821中。
隨后，根據(jù)保存在本地存儲(chǔ)器821中的算術(shù)處理器核芯程序825， 算術(shù)處理器核芯(#1)811處理從主存儲(chǔ)器781傳來的數(shù)據(jù)826,在實(shí)際 的條件下執(zhí)行后續(xù)處理，并把處理結(jié)果放入本地存儲(chǔ)器821中。
算術(shù)處理器核芯(#1)811隨后把根據(jù)保存在本地存儲(chǔ)器821中算 術(shù)處理器核芯程序825執(zhí)行的處理的結(jié)果從本地存儲(chǔ)器821傳給主存 儲(chǔ)器781。
算術(shù)處理器核芯(#1)811隨后通知控制處理器核芯801算術(shù)處理 已結(jié)束。
下面參考附圖，詳細(xì)說明利用多核處理器800進(jìn)行的SIMD計(jì)算。 SIMD計(jì)算是通過利用單一指令，執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的計(jì)算方 法。
圖54(a)是示意概述利用相應(yīng)指令，執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的 計(jì)算方法的示圖。圖54(a)中所示的計(jì)算方法是例證稱為標(biāo)量計(jì)算的 普通計(jì)算方法。例如，相加數(shù)據(jù)"A1，，和數(shù)據(jù)"B1，，的指令產(chǎn)生結(jié)果數(shù)據(jù) "C1"。對(duì)于其它三種計(jì)算中的每一個(gè)，執(zhí)行同樣地相加相同行上的每 個(gè)數(shù)據(jù)"A2"、 "A3"和"A4"與每個(gè)數(shù)據(jù)"B2"、 "B3，，和"B4，，的指令，以 獲得結(jié)果數(shù)據(jù)"C2"、 "C3"和"C4"。按照這種方式，對(duì)于將對(duì)多個(gè)數(shù) 據(jù)進(jìn)行的每個(gè)處理，標(biāo)量計(jì)算要求使用單獨(dú)的指令。
圖54(b)是示意概述SIMD計(jì)算的示圖，SIMD計(jì)算是使用單一 指令執(zhí)行對(duì)多個(gè)數(shù)據(jù)的處理的計(jì)算方法。這里，為了 SIMD計(jì)算，編成多組的數(shù)據(jù)(由虛線827和828圍繞)可被稱為矢量數(shù)據(jù)。利用這種 矢量數(shù)據(jù)進(jìn)行的SIMD計(jì)算可被稱為矢量計(jì)算。
例如，相加由虛線827圍繞的矢量數(shù)據(jù)("A1"、"A2"、"A3"、"A4") 和由虛線828圍繞的矢量數(shù)據(jù)("B1"、 "B2"、 "B3"、 "B4")的指令產(chǎn)生 處理結(jié)果"C1"、 "C2"、 "C3，，和"C4"(由虛線829圍繞的數(shù)據(jù))。按照 這種方式，SIMD計(jì)算涉及獲得執(zhí)行對(duì)多個(gè)數(shù)據(jù)的處理的單一指令， 以致能夠高速進(jìn)行算術(shù)處理。用于這種SIMD計(jì)算的指令由多核處理 器800的控制處理器核芯801執(zhí)行，按照這些指令對(duì)多個(gè)數(shù)據(jù)的處理 由算術(shù)處理器核芯(#1)811-(#8)818并行執(zhí)行。
另一方面，例證地涉及數(shù)據(jù)"A1"和"B1"相加，數(shù)據(jù)"A2，，和"B2" 相減，數(shù)據(jù)"A3，，和"B3，，相乘，和數(shù)據(jù)"A4"和"B4"相除的處理不能由 SIMD計(jì)算完成。即，SIMD計(jì)算不能實(shí)現(xiàn)對(duì)多個(gè)數(shù)據(jù)的不同處理。
下面參考附圖，詳細(xì)說明執(zhí)行特征點(diǎn)提取處理和光流計(jì)算處理的 SIMD計(jì)算的具體計(jì)算方法。
圖55是表示由本發(fā)明的實(shí)施例中的控制處理器核芯801或者算 術(shù)處理器核芯(#1)811執(zhí)行的程序的典型結(jié)構(gòu)的示圖。盡管這里只圖 解說明了算術(shù)處理器核芯(#1)811的處理，不過算術(shù)處理器核芯 (#2)812-(#8)818也執(zhí)4亍相同的處理。
控制處理器核芯801執(zhí)行用于解碼851的解碼處理852，交錯(cuò)處 理53，和調(diào)整大小處理854。解碼處理852是解碼運(yùn)動(dòng)畫面文件的處 理。交錯(cuò)處理是對(duì)每個(gè)解碼幀進(jìn)行交錯(cuò)消除的處理。調(diào)整大小處理854 是減小經(jīng)歷交錯(cuò)消除的每一幀的大小的處理。
另外，控制處理器核芯801進(jìn)行用于算術(shù)處理器核芯管理856 的指令傳輸處理857和859，及結(jié)束通知接受處理858和860。指令 傳輸處理857和859是向算術(shù)處理器核芯(#1)811-(#8)818傳送SIMD 計(jì)算執(zhí)行指令的處理。結(jié)束通知接收處理858和860是關(guān)于上面的指 令，從算術(shù)處理器核芯(#1)811-(#8)818接收SIMD計(jì)算結(jié)束通知的處 理。此外，控制處理器核芯801執(zhí)行用于照相機(jī)工作檢測(cè)861的照相 機(jī)工作參數(shù)計(jì)算處理862。照相機(jī)工作參數(shù)計(jì)算處理862是根據(jù)通過算術(shù)處理器核芯(#1)811-(#8)818執(zhí)行的SIMD計(jì)算，計(jì)算的光流，計(jì) 算每一幀的仿射變換參數(shù)的處理。
算術(shù)處理器核芯(#1)811執(zhí)行用于特征點(diǎn)提取處理863的Sobel 濾波處理864， 二次矩矩陣處理865，可分離濾波處理866, Harris 角點(diǎn)提取(Calc Harris)處理867，擴(kuò)張?zhí)幚?68和分類處理869。
Sobel濾波處理864是計(jì)算利用P2濾波器(x方向)獲得的x方向 值dx和利用y方向?yàn)V波器獲得的y方向值dy的處理。后面將參考圖 56-59詳細(xì)討論x方向值dx的計(jì)算。
二次矩矩陣處理865是利用Sobel濾波處理864計(jì)算的值dx和 dy，計(jì)算值dx2， dy2和dx.dy的處理。
可分離濾波處理866是對(duì)二次矩矩陣處理865計(jì)算的dx2, dy2 和dx.dy的畫面應(yīng)用高斯濾波0漠糊)的處理。
Harris角點(diǎn)提取處理867是利用可分離濾波處理866對(duì)其應(yīng)用模 糊的dx2， dyZ和dx.dy的值，計(jì)算Harris角的得分的處理。例證地利 用下述表達(dá)式計(jì)算Harris角的得分S:
擴(kuò)張?zhí)幚?68是對(duì)由Harris角點(diǎn)提取處理867計(jì)算的Harris角 的得分構(gòu)成的畫面應(yīng)用模糊的處理。
分類處理869是按照其得分降序列排列Harris角點(diǎn)提取處理867 計(jì)算的Harris角的像素，并且把得分最高的預(yù)定數(shù)目的像素挑選為特 征點(diǎn)的處理。
算術(shù)處理器核芯處理器(#1)811執(zhí)行用于光流操作870的金字塔 畫面(產(chǎn)生金字塔圖像)處理871和光流計(jì)算(Calc光流)處理872。
金字塔畫面處理871是連續(xù)創(chuàng)建從成像設(shè)備拍攝的畫面的大小 開始，以預(yù)定數(shù)目的步驟減小其大小的畫面的處理。這樣創(chuàng)建的畫 面被稱為多分辨率畫面。
光流計(jì)算處理872是計(jì)算金字塔畫面處理871創(chuàng)建的多分辨率畫 面的最小畫面的光流的處理。通過利用計(jì)算的結(jié)果，光流計(jì)算處理872 再計(jì)算分辨率更高一級(jí)的畫面的光流。重復(fù)所述一系列的計(jì)算，直到
75達(dá)到畫面中的最大者為止。
如上所述，執(zhí)行由圖48中所示的特征點(diǎn)提取部分481執(zhí)行的特 征點(diǎn)提取處理，和由同樣在圖48中的光流計(jì)算部分482執(zhí)行的光流 計(jì)算處理，其結(jié)果例證地由并行執(zhí)行SIMD計(jì)算的多核處理器800獲 得。圖55和其它地方所示的特征點(diǎn)提取處理和光流計(jì)算處理是對(duì)本 發(fā)明的舉例，說明。另一方面，由對(duì)構(gòu)成運(yùn)動(dòng)畫面的畫面的不同濾波處
理和閾值處理構(gòu)成的其它處理可^皮多核處理器800用于執(zhí)行SIMD計(jì)算。
圖56是示意概述當(dāng)利用Sobel濾波器830對(duì)保存在本發(fā)明的實(shí) 施例中的主存儲(chǔ)器781中的畫面數(shù)據(jù)(所述畫面數(shù)據(jù)對(duì)應(yīng)于構(gòu)成成像 設(shè)備拍攝的運(yùn)動(dòng)畫面的幀之一)進(jìn)行濾波處理時(shí)，實(shí)際的數(shù)據(jù)結(jié)構(gòu)和處 理流程的示圖。在圖56中，以簡(jiǎn)化形式表示了保存在主存儲(chǔ)器781 中的畫面數(shù)據(jù)，沿行方向排列32個(gè)像素。Sobel濾波器830是3x3邊 緣提取濾波器。如圖56中所示，利用Sobel濾波器830對(duì)保存在主存 儲(chǔ)器781中的畫面數(shù)據(jù)進(jìn)行濾波處理，并輸出濾波處理的結(jié)果。本例 中說明的是如何利用SIMD計(jì)算，同時(shí)獲得濾波處理的四次迭代的結(jié) 果。
圖57是示意概述利用Sobel濾波器830對(duì)保存在本發(fā)明的實(shí)施 例中的主存儲(chǔ)器781中的畫面數(shù)據(jù)進(jìn)行SIMD計(jì)算時(shí)，實(shí)際的數(shù)據(jù)流 的示圖。首先，在DMA(直接存儲(chǔ)器訪問)操作中，包括保存在主存儲(chǔ) 器781中的第一行的畫面數(shù)據(jù)在內(nèi)的預(yù)定數(shù)目的行(例如，3行)被傳 輸?shù)剿阈g(shù)處理器核芯的本地存儲(chǔ)器821中，從DMA傳輸?shù)降谝痪彌_ 區(qū)831的各行向下移動(dòng)一行的預(yù)定數(shù)目的行被DMA傳輸?shù)降诙彌_ 區(qū)832。這種雙重緩沖器安排的使用有助于隱藏DMA傳輸中的延遲。
圖58是示意概述在本發(fā)明的實(shí)施例中，當(dāng)4吏用Sobel濾波器830 進(jìn)行濾波處理時(shí)，根據(jù)保存在第一緩沖區(qū)831中的畫面數(shù)據(jù)創(chuàng)建9個(gè) 矢量的矢量創(chuàng)建方法的示圖。如圖58中所示，在DMA傳輸之后，根 據(jù)保存在第一緩沖區(qū)831中的畫面數(shù)據(jù)創(chuàng)建9個(gè)矢量。具體地說，根 據(jù)保存在第一緩沖區(qū)831中的畫面數(shù)據(jù)的行1，從最左側(cè)位置開始的四個(gè)數(shù)據(jù)項(xiàng)被用于創(chuàng)建矢量數(shù)據(jù)841;同一行上右移一位的四個(gè)數(shù)據(jù) 項(xiàng)被用于創(chuàng)建矢量數(shù)據(jù)842。同樣再次右移一位的四個(gè)數(shù)據(jù)項(xiàng)被用于 創(chuàng)建矢量數(shù)據(jù)843。從行2和行3，四個(gè)數(shù)據(jù)項(xiàng)^^皮同樣地用于創(chuàng)建矢 量數(shù)據(jù)844-849。
圖59是示意概述在本發(fā)明的實(shí)施例中，當(dāng)利用Sobel濾波器830 進(jìn)行濾波處理時(shí)，使用SIMD指令對(duì)矢量數(shù)據(jù)841-849進(jìn)行矢量運(yùn)算 的矢量運(yùn)算方法的示圖。具體地說，對(duì)矢量數(shù)據(jù)841-849接連進(jìn)行 SIMD計(jì)算，以便獲得矢量A。在SIMD運(yùn)算中，首先，按照SIMD 方式進(jìn)行"-lx矢量數(shù)據(jù)841，，運(yùn)算，之后依次是SIMD運(yùn)算"0x矢量數(shù) 據(jù)842"和"lx矢量數(shù)據(jù)843"。由于運(yùn)算"0x矢量數(shù)據(jù)842"的結(jié)果肯定 為"0"，因此該運(yùn)算可被省略。由于運(yùn)算"lx矢量數(shù)據(jù)843，，的結(jié)果肯定 和矢量數(shù)據(jù)843的值相同，因此該運(yùn)算也可被省略。
隨后，按照SIMD運(yùn)算相加"-lx矢量數(shù)據(jù)841"的結(jié)果和運(yùn)算"0x
矢量數(shù)據(jù)842，，的結(jié)果。之后按照SIMD運(yùn)算，相加上述加法的結(jié)果和 運(yùn)算"lx矢量數(shù)據(jù)843"的結(jié)果。例證地，可按照SIMD方式計(jì)算數(shù)據(jù) 結(jié)構(gòu)"矢量數(shù)據(jù)lx矢量數(shù)據(jù)2+矢量數(shù)據(jù)3"。從而就矢量A的計(jì)算來 說，SIMD運(yùn)算"0x矢量數(shù)據(jù)842"和SIMD運(yùn)算"lx矢量數(shù)據(jù)843"可 被省略，可按照SIMD方式執(zhí)行單次運(yùn)算"-lx矢量數(shù)據(jù)841+矢量數(shù)據(jù) 843"。
同樣地，可按照SIMD方式計(jì)算矢量數(shù)據(jù)844-矢量數(shù)據(jù)846，以 獲得矢量B，按照SIMD方式計(jì)算矢量數(shù)據(jù)847-矢量數(shù)據(jù)849,以獲 得矢量C。
利用SIMD運(yùn)算計(jì)算按照SIMD方式獲得的矢量A-C，以獲得 矢量D。當(dāng)如上所述進(jìn)行SIMD計(jì)算時(shí)， 一起獲得和構(gòu)成矢量的元素 的數(shù)目(本例中，4個(gè)數(shù)據(jù)項(xiàng))一樣多的運(yùn)算的結(jié)果。
在獲得矢量D之后，重復(fù)相同的處理，同時(shí)將從保存在圖57中 的第一緩沖區(qū)831中的畫面數(shù)據(jù)提取的數(shù)據(jù)的位置每次被右移一位， 這使得能夠從該處理的每次迭代，連續(xù)獲得矢量D。當(dāng)一直到保存在 圖57中所示的第一緩沖區(qū)831的畫面數(shù)據(jù)的最右側(cè)位置完成了處理時(shí)，該處理的結(jié)果被DMA傳輸給主存儲(chǔ)器781。
之后，從保存在主存儲(chǔ)器781中的畫面數(shù)據(jù)中，從DMA傳輸給 第二緩沖區(qū)832的各行開始向下移動(dòng)一行的預(yù)定數(shù)目的各行被DMA 傳輸給第一緩沖區(qū)831。另外，對(duì)保存在第二緩沖區(qū)832中的畫面數(shù) 據(jù)反復(fù)進(jìn)行上述處理。重復(fù)相同的處理，直到到達(dá)保存在主存儲(chǔ)器781 中的各行畫面數(shù)據(jù)的最低一行為止。
當(dāng)如上所述主要按照SIMD方式進(jìn)行特征點(diǎn)提取處理和光流計(jì) 算處理時(shí)，能夠?qū)崿F(xiàn)高速處理。
圖60是按照時(shí)間順序概述按照本發(fā)明的實(shí)施例的照相機(jī)工作參 數(shù)計(jì)算處理的流程的示圖。如上所述，例證地，關(guān)于運(yùn)動(dòng)畫面和解碼 和分析處理可由執(zhí)行SIMD計(jì)算的多核處理器800并行進(jìn)行。這使得 能夠使分析構(gòu)成運(yùn)動(dòng)畫面的每一幀所需的時(shí)間短于解碼該幀所需的 時(shí)間。
例如，在圖60中，tl表示控制處理器核芯801解碼構(gòu)成運(yùn)動(dòng)畫 面的每一幀所需的時(shí)間；12表示算術(shù)處理器核芯(#1)811-(#8)818從構(gòu) 成運(yùn)動(dòng)畫面的每一幀中提取特征點(diǎn)所需的時(shí)間；t3代表算術(shù)處理器核 芯(#1)811-(#8)818對(duì)構(gòu)成運(yùn)動(dòng)畫面的每一幀進(jìn)行光流計(jì)算處理所需的 時(shí)間；t4表示控制處理器核芯801對(duì)構(gòu)成運(yùn)動(dòng)畫面的每一幀進(jìn)行照相 機(jī)工作檢測(cè)處理所需的時(shí)間。t5表示控制處理器核芯801和算術(shù)處理 器核芯(#1)811-(#8)818對(duì)構(gòu)成運(yùn)動(dòng)畫面的每一幀進(jìn)行照相機(jī)工作檢測(cè) 處理所需的時(shí)間。另外，t6表示控制處理器核芯801管理算術(shù)處理器 核芯(#1)811-(#8)818所需的時(shí)間。例證地，tl可被設(shè)為"25.0亳秒"， t2可被設(shè)為"7.9亳秒"，t3可被設(shè)為"6.7亳秒"，t4可被設(shè)為"1.2毫秒"， t5可被設(shè)為"15.8毫秒"。
下面參考附圖詳細(xì)說明通過利用元數(shù)據(jù)文件，由本發(fā)明的實(shí)施例 再現(xiàn)運(yùn)動(dòng)畫面內(nèi)容的情況。
圖61(a)是示意表示作為典型記錄介質(zhì)的藍(lán)光光盤(注冊(cè)商標(biāo))880 的頂視圖，圖61(b)是示意表示記錄在藍(lán)光光盤880上的數(shù)據(jù)881 ~ 884 的示圖。例證地，記錄在藍(lán)光光盤880上的是構(gòu)成成像設(shè)備或類似物拍才聶的運(yùn)動(dòng)畫面的運(yùn)動(dòng)畫面內(nèi)容882,運(yùn)動(dòng)畫面內(nèi)容882的字幕883， 通過分析運(yùn)動(dòng)畫面內(nèi)容882獲得的元數(shù)據(jù)(例如，圖30(b)中所示的元 數(shù)據(jù)文件，和圖43中所示的相對(duì)關(guān)系元數(shù)據(jù)文件)884,和與本發(fā)明的 實(shí)施例進(jìn)行的運(yùn)動(dòng)畫面的再現(xiàn)相關(guān)的Java(注冊(cè)商標(biāo))程序881。
圖61(c)是表示能夠再現(xiàn)藍(lán)光光盤880的藍(lán)光播放器890的內(nèi)部 結(jié)構(gòu)的示圖。這里，作為標(biāo)準(zhǔn)，連同CPU891和OS 892 —起，能夠 再現(xiàn)藍(lán)光光盤的藍(lán)光光盤纟番放器卯配有Java(注冊(cè)商標(biāo))VM(Java(注 冊(cè)商標(biāo))虛擬機(jī))加上庫893,以致藍(lán)光光盤播放器890能夠執(zhí)行 Java(注冊(cè)商標(biāo))程序。從而，當(dāng)藍(lán)光光盤880被插入藍(lán)光光盤播放器 890中時(shí)，藍(lán)光光盤播放器890能夠加栽和執(zhí)行Java(注冊(cè)商標(biāo))程序 881。這使得對(duì)于藍(lán)光光盤播放器890來說，當(dāng)再現(xiàn)運(yùn)動(dòng)畫面內(nèi)容882 時(shí)，能夠按照本發(fā)明的實(shí)施例，利用元數(shù)據(jù)884再現(xiàn)運(yùn)動(dòng)畫面。即， 所有藍(lán)光光盤播放器都能夠按照本發(fā)明的實(shí)施例再現(xiàn)運(yùn)動(dòng)畫面，而不 必求助于專用PC軟件或類似物。
按照本發(fā)明的實(shí)施例，如上所述，可按照顯示屏幕上，與運(yùn)動(dòng)畫 面的當(dāng)前幀對(duì)應(yīng)的畫面的位置、角度或縮放系數(shù)，變換輸入的聲音。 這允許觀看運(yùn)動(dòng)畫面的人收聽恰當(dāng)?shù)胤从筹@示屏幕上對(duì)應(yīng)于當(dāng)前幀 的畫面的位置、角度或縮放系數(shù)的聲音。即，觀眾能夠獲得比以前更 真實(shí)的音效。
另外，盡管上面結(jié)合成像設(shè)備拍攝的運(yùn)動(dòng)畫面，說明了本發(fā)明的 實(shí)施例，不過另一方面，本發(fā)明的實(shí)施例可應(yīng)用于合成自動(dòng)畫，或者 合成自由照相機(jī)拍攝，并且隨后被編輯的運(yùn)動(dòng)畫面的運(yùn)動(dòng)畫面等等。
另外，盡管上面結(jié)合諸如個(gè)人計(jì)算機(jī)之類的畫面處理設(shè)備說明了 本發(fā)明的實(shí)施例，不過另一方面，本發(fā)明的實(shí)施例可應(yīng)用于諸如電視 機(jī)之類的運(yùn)動(dòng)畫面再現(xiàn)設(shè)備。
另外，另一方面，本發(fā)明的實(shí)施例可應(yīng)用于例證地組合聲音設(shè)備 和顯示i殳備的運(yùn)動(dòng)畫面Xl看系統(tǒng)。
盡管連同在附加權(quán)利要求中相應(yīng)地要求保護(hù)的上述具體實(shí)施例， 說明了本發(fā)明，不過實(shí)施例不應(yīng)被理解成對(duì)本發(fā)明范圍的限制，相反僅僅提供本發(fā)明的一些目前優(yōu)選的實(shí)施例的舉例說明。從而，在不脫 離下面的權(quán)利要求的精神或范圍的情況下，可做出各種改變和變化。 具體地說，在權(quán)利要求1中，內(nèi)容獲得裝置例證地對(duì)應(yīng)于內(nèi)容獲
得部分120或內(nèi)容獲得部分121。畫面變換信息供給裝置例證地對(duì)應(yīng) 于畫面變換信息供給部分130或元數(shù)據(jù)存儲(chǔ)部分250。畫面變換裝置 例證地對(duì)應(yīng)于畫面變換部分140或者畫面變換部分141。畫面合成裝 置例證地對(duì)應(yīng)于畫面合成部分150或畫面合成部分151。顯示控制裝 置例證地對(duì)應(yīng)于顯示控制部分170或者顯示控制部分171。聲音變換 信息計(jì)算裝置例證地對(duì)應(yīng)于聲音變換信息計(jì)算部分190或者聲音變換 信息計(jì)算部分191。聲音變換處理裝置例證地對(duì)應(yīng)于聲音變換處理部 分200。聲音輸出控制裝置例證地對(duì)應(yīng)于聲音輸出控制部分210。
在權(quán)利要求7中，音量控制裝置例證地對(duì)應(yīng)于音量控制部分201 或者音量控制部分630。聲音相加裝置例證地對(duì)應(yīng)于聲音相加部分202 或者聲音相加部分640。
在權(quán)利要求10中，畫面保存裝置例證地對(duì)應(yīng)于畫面存儲(chǔ)器160 或者畫面存儲(chǔ)器161。
在權(quán)利要求ll中，顯示區(qū)提取裝置例證地對(duì)應(yīng)于顯示區(qū)提取部 分260。
在權(quán)利要求13或14中，內(nèi)容獲得步驟例證地對(duì)應(yīng)于步驟S922。 畫面變換信息供給步驟例證地對(duì)應(yīng)于步驟S924或者S963。畫面變換 步驟例證地對(duì)應(yīng)于步驟S927、 S931、 S935和S936。聲音變換信息計(jì) 算步驟例證地對(duì)應(yīng)于步驟S951或S982。聲音變換處理步驟例證地對(duì) 應(yīng)于步驟S952和S953。
上面作為本發(fā)明的實(shí)施例的一部分討論的一 系列步驟和處理可 被解釋成執(zhí)行這樣的步驟和處理的方法，使計(jì)算機(jī)執(zhí)行這種方法的程 序，或者保存這種程序的記錄介質(zhì)。
權(quán)利要求
1、一種畫面處理設(shè)備，包括內(nèi)容獲得裝置，用于獲得包括運(yùn)動(dòng)畫面和對(duì)應(yīng)于運(yùn)動(dòng)畫面的聲音的內(nèi)容數(shù)據(jù)；畫面變換信息供給裝置，用于根據(jù)構(gòu)成所述運(yùn)動(dòng)畫面的第一畫面和第二畫面，供給關(guān)于所述第二畫面相對(duì)于所述第一畫面的畫面變換信息；畫面變換裝置，用于參考所述第一畫面根據(jù)所述畫面變換信息變換所述第二畫面；畫面合成裝置，用于把變換后的第二畫面和充當(dāng)所述第二畫面的背景的背景畫面合成為合成畫面；顯示控制裝置，用于使顯示裝置顯示所述合成畫面；聲音變換信息計(jì)算裝置，用于根據(jù)所述畫面變換信息計(jì)算關(guān)于所述第二畫面的聲音的聲音變換信息；聲音變換處理裝置，用于通過根據(jù)所述聲音變換信息對(duì)所述聲音進(jìn)行變換處理，來產(chǎn)生輸出聲音；和聲音輸出控制裝置，用于使聲音輸出裝置輸出所述輸出聲音。
2、 按照權(quán)利要求1所述的畫面處理設(shè)備，其中所述畫面變換信 息包括關(guān)于所述第二畫面相對(duì)于所述第一畫面的移動(dòng)的元素。
3、 按照權(quán)利要求1所述的畫面處理設(shè)備，其中所述畫面變換信 息包括關(guān)于所述第二畫面相對(duì)于所述第 一畫面的旋轉(zhuǎn)的元素。
4、 按照權(quán)利要求1所述的畫面處理設(shè)備，其中所述畫面變換信 息包括關(guān)于所述第二畫面相對(duì)于所述第一畫面的縮放系數(shù)的元素。
5、 按照權(quán)利要求l所述的畫面處理設(shè)備，其中所述聲音變換處理裝置包括音量控制裝置和聲音相加裝置； 所述音量控制裝置根據(jù)所述聲音變換信息，控制構(gòu)成所述聲音的 多個(gè)聲道的音量；所述聲音相加裝置相加每個(gè)聲道的受控聲音。
6、 按照權(quán)利要求1所述的畫面處理設(shè)備，其中所述聲音變換處 理裝置通過所述變換處理，生成構(gòu)成所述輸出聲音的右聲道和左聲道 上的聲音。
7、 按照權(quán)利要求1所述的畫面處理設(shè)備，其中所述聲音變換處 理裝置通過所述變換處理，生成構(gòu)成所迷輸出聲音的中央聲道上的聲 音。
8、 按照權(quán)利要求l所述的畫面處理設(shè)備，其中 所述聲音包括右聲道和左聲道上的聲音；所述聲音變換處理裝置通過對(duì)所述右聲道和所述左聲道上的聲 音進(jìn)行所述變換處理，產(chǎn)生所述輸出聲音。
9、 按照權(quán)利要求1所述的畫面處理設(shè)備，其中 所述聲音包括中央聲道上的聲音；所述聲音變換處理裝置通過對(duì)所述中央聲道上的聲音進(jìn)行所述 變換處理，生成所述輸出聲音。
10、 按照權(quán)利要求1所述的畫面處理設(shè)備，還包括畫面保存裝置，以把包括所述第一畫面在內(nèi)的畫面保存為歷史畫 面；其中在所述運(yùn)動(dòng)畫面的時(shí)間線上，所述第一畫面按照時(shí)間順序被;故在 所述第二畫面之前；所述畫面變換裝置根據(jù)所述畫面變換信息，至少變換所述第二畫 面或者保存在所述畫面保存裝置中的所述歷史畫面；所述畫面合成裝置把至少任意之一已被所述畫面變換裝置變換 的所述第二畫面和所述歷史畫面合成為所述合成畫面，并使所述畫面 保存裝置把所述合成畫面保存為新的歷史畫面。
11、 按照權(quán)利要求10所述的畫面處理設(shè)備，還包括 顯示區(qū)提取裝置，用于在提取包括在顯示區(qū)中的畫面作為顯示畫面之前，根據(jù)保存在所述畫面保存裝置中的所述新的歷史畫面，確定 作為所述顯示裝置上的顯示目標(biāo)的顯示區(qū)；其中所述畫面合成裝置用變換后的第二畫面重寫所述顯示畫面，以通過合成獲得新的顯示畫面；所述顯示控制裝置使所述顯示裝置顯示所述新的顯示畫面；所述顯示區(qū)提取裝置在所述畫面保存裝置的保存區(qū)中，產(chǎn)生關(guān)于 所述顯示區(qū)的位置、角度或大小的顯示區(qū)提取信息；所述聲音變換信息計(jì)算裝置根據(jù)所述畫面變換信息和所述顯示 區(qū)提取信息，計(jì)算所述聲音變換信息。
12、按照權(quán)利要求l所述的畫面處理設(shè)備，其中所述畫面變換裝 置根據(jù)指示在所述顯示裝置上顯示所述運(yùn)動(dòng)畫面的顯示區(qū)的模板信 息，變換所述第二畫面。
13 、 一種供具有聲音輸出裝置的畫面處理設(shè)備使用的聲音變換處 理方法，所述聲音輸出裝置輸出對(duì)應(yīng)于運(yùn)動(dòng)畫面的聲音，所述聲音變 換處理方法包括內(nèi)容獲得步驟，用于獲得包括所述運(yùn)動(dòng)畫面和所述聲音的內(nèi)容數(shù)據(jù)；畫面變換信息供給步驟，用于根據(jù)構(gòu)成所述運(yùn)動(dòng)畫面的第一畫面 和第二畫面，供給關(guān)于所述第二畫面相對(duì)于所述第一畫面的畫面變換 信息；畫面變換步驟，用于參考所述第一畫面根據(jù)所述畫面變換信息變 換所述第二畫面；聲音變換信息計(jì)算步驟，用于根據(jù)所述畫面變換信息計(jì)算關(guān)于所 述聲音的聲音變換信息；聲音變換處理步驟，用于通過根據(jù)所述聲音變換信息對(duì)所述聲音 進(jìn)行變換處理，來產(chǎn)生輸出聲音；和聲音輸出控制步驟，用于使所述聲音輸出裝置輸出所述輸出聲音。
14、 一種使計(jì)算機(jī)對(duì)具有聲音輸出裝置的畫面處理設(shè)備執(zhí)行步驟 的程序，所述聲音輸出裝置輸出對(duì)應(yīng)于運(yùn)動(dòng)畫面的聲音，所述步驟包 括內(nèi)容獲得步驟，用于獲得包括所述運(yùn)動(dòng)畫面和所述聲音的內(nèi)容數(shù)據(jù)；畫面變換信息供給步驟，用于根據(jù)構(gòu)成所述運(yùn)動(dòng)畫面的第一畫面 和第二畫面，供給關(guān)于所述第二畫面相對(duì)于所述第一畫面的畫面變換信息；畫面變換步驟，用于參考所述第一畫面根據(jù)所述畫面變換信息變 換所述第二畫面；聲音變換信息計(jì)算步驟，用于根據(jù)所述畫面變換信息計(jì)算關(guān)于所 述聲音的聲音變換信息；聲音變換處理步驟，用于通過根據(jù)所述聲音變換信息對(duì)所述聲音 進(jìn)行變換處理，來產(chǎn)生輸出聲音；和聲音輸出控制步驟，用于使所述聲音輸出裝置輸出所述輸出聲音。
全文摘要
畫面變換信息供給部分130根據(jù)關(guān)于運(yùn)動(dòng)畫面的運(yùn)動(dòng)信息，按幀計(jì)算用于畫面變換的仿射變換參數(shù)。參考參考畫面，畫面變換部分140利用計(jì)算的仿射變換參數(shù)，按幀仿射變換構(gòu)成運(yùn)動(dòng)畫面的畫面。根據(jù)指示和來自畫面變換部分140的變換后的畫面有關(guān)的中心位置、角度或縮放系數(shù)，聲音變換信息計(jì)算部分190計(jì)算聲音變換信息，用于變換對(duì)應(yīng)于畫面的聲音。根據(jù)聲音變換信息，聲音變換處理部分200控制構(gòu)成聲音的每個(gè)聲道的音量，相加每個(gè)聲道的受控聲音，并把結(jié)果作為輸出聲音輸出給揚(yáng)聲器220。
文檔編號(hào)H04N5/93GK101622868SQ20088000237
公開日2010年1月6日 申請(qǐng)日期2008年12月17日 優(yōu)先權(quán)日2008年1月21日
發(fā)明者鶴見辰吾 申請(qǐng)人:索尼株式會(huì)社