專利名稱：處理圖像的設(shè)備和方法及產(chǎn)生再現(xiàn)信息的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理圖像的方法和設(shè)備和用于處理圖像的程序 產(chǎn)品，以及用于產(chǎn)生再現(xiàn)信息的方法和設(shè)備和用于產(chǎn)生再現(xiàn)信息的程 序產(chǎn)品，它們可應用于用于處理與輸入的圖像例如電視廣播節(jié)目和電 影相關(guān)的圖像信號的設(shè)備等
背景技術(shù)：
用于顯示電視廣播節(jié)目、電影等的圖像顯示系統(tǒng)一直使用固定的 圖像幀，其中呈現(xiàn)的圖像的顯示尺寸和圖像幀一致。當產(chǎn)生電視廣播 節(jié)目、電影等中的圖像內(nèi)容時，創(chuàng)建者在以這種固定的圖像幀顯示圖 像的條件下創(chuàng)建所述內(nèi)容。
為了顯示增強其真實性的圖像，近來研發(fā)了多顯示器系統(tǒng)、彎曲 的顯示器、寬視野的顯示器、頭戴顯示器等。多顯示器系統(tǒng)等擴大了 圖像幀，從而顯示寬視野的圖像，借以使得能夠增加其真實性.
日本專利申請公開號2004-15549披露了一種用于處理圖像的 設(shè)備，其處理與輸入的圖像例如電視廣播節(jié)目和電影相關(guān)的圖像信 號。在場景改變的情況下，當在較早幀的輸出信號和關(guān)于輸入圖像的 圖像信號之間的差值不超過設(shè)置值時，這種用于處理圖像的設(shè)備根據(jù) 較早幀的圖像信號把圖像顯示位置設(shè)置到輸入圖像的顯示位置，以便使觀看者能夠容易地領(lǐng)會場景之間的關(guān)系。

發(fā)明內(nèi)容
不過，和上述的圖像顯示系統(tǒng)相關(guān)聯(lián)，當在固定的圖像幀上連續(xù) 地顯示圖像時，可能難于容易地理解例如電視廣播節(jié)目和電影的內(nèi) 容，除非觀看者正確地領(lǐng)會關(guān)于被顯示的圖像的場景的改變。此外， 如果有時發(fā)生場景的改變，可能難于領(lǐng)會這些場景的關(guān)系。此外，如 果觀看者未看到較早場景的任何圖像，可能難于理解下一個場景的內(nèi) 容。
此外，利用在日本專利申請公開號2004 _ 15549中披露的用于處 理圖像的設(shè)備，通過估計在場景改變前后的圖像中的相似性，觀看者 可以領(lǐng)會場景的關(guān)系，不過，觀看者難于根據(jù)圖像的內(nèi)容領(lǐng)會場景的 關(guān)系。
需要提供一種用于處理圖像等的設(shè)備和方法，借以使觀看者能夠 根據(jù)圖像的內(nèi)容容易地領(lǐng)會場景的關(guān)系。
按照本發(fā)明的實施例，提供一種用于處理圖像的設(shè)備，所述設(shè)備 包括場景改變檢測單元，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸 入圖像的場景改變；顯示位置控制單元，用于根據(jù)場景改變檢測單元 的檢測結(jié)果，把場景改變之后圖像的顯示位置確定為與場景改變之前 的圖像相關(guān)的顯示位置；以及顯示位置設(shè)置單元，用于把在顯示位置 控制單元中確定的顯示位置設(shè)置為顯示在場景改變之后的圖像的顯 示位置.所述顯示位置控制單元檢測場景改變前后的圖像的特征值， 并根據(jù)圖像的特征值確定場景改變之后的圖像的顯示位置。
利用按照本發(fā)明的實施例的用于處理圖像的設(shè)備，場景改變檢測 單元根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入困像的場景改變。顯示位 置控制單元根據(jù)場景改變檢測單元的檢測結(jié)果，確定場景改變之后的 圖像的顯示位置為與場景改變之前的圖像相關(guān)的顯示位置。在這個實 施例中，顯示位置控制單元檢測場景改變前后的圖像的特征值，并根 據(jù)這些圖像的特征值確定場景改變之后的圖像的顯示位置。例如，顯示位置控制單元從圖像信號中提取面部圖像的區(qū)域，從面部圖像的這 個區(qū)域檢測眼睛的方向，并根據(jù)這樣檢測的眼睛的方向決定關(guān)于圖像 信號的輸入圖像的顯示方向。顯示位置設(shè)置單元把在顯示位置控制單 元中確定的顯示位置設(shè)置為顯示在場景改變之后的圖像的顯示位置。 這使得觀看者能夠根據(jù)圖像中對象的視線方向容易地領(lǐng)會場景改變 前后圖像的顯示位置之間的關(guān)系。
按照本發(fā)明的另一個實施例，提供一種用于處理圖像的方法。所
述方法包括第一步驟，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入 圖像的場景改變；第二步驟，用于根據(jù)第一步驟的檢測結(jié)果，把場景 改變之后圖像的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示 位置；以及第三步驟，用于把在第二步驟中確定的顯示位置設(shè)置為顯 示在場景改變之后的圖像的顯示位置。在第二步驟中，檢測場景改變 前后的圖像的特征值，并根據(jù)這些圖像的特征值確定顯示在場景改變 之后的圖像的顯示位置。
利用按照本發(fā)明的實施例的用于處理困像的方法，觀看者能夠根 據(jù)圖像的內(nèi)容，容易地領(lǐng)會場景的改變，并領(lǐng)會在場景改變前后圖像 的內(nèi)容的關(guān)系。
按照本發(fā)明的另一個實施例，提供一種程序產(chǎn)品，其允許計算機 通過執(zhí)行上述的用于處理圖像的方法來處理圖像信號。
當計算機實現(xiàn)按照本發(fā)明的實施例的程序產(chǎn)品時，觀看者可以根 據(jù)圖像的內(nèi)容容易地領(lǐng)會場景的改變，并領(lǐng)會場景改變前后的圖像的 內(nèi)容的關(guān)系，
利用按照本發(fā)明的用于處理圖像的設(shè)備和方法以及允許計算機
按照^發(fā)明的實施例，提供一種用于產(chǎn)生再現(xiàn)信息的設(shè)備，該設(shè) 備處理關(guān)于輸入的圖像的圖像信號，從而產(chǎn)生關(guān)于輸入的圖像的再現(xiàn) 信息。所述用于產(chǎn)生再現(xiàn)信息的設(shè)備包括場景改變檢測單元，用于 根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場景改變；以及顯示位 置控制單元，用于根據(jù)場景改變檢測單元的檢測結(jié)果把場景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置。所述 顯示位置控制單元檢測場景改變前后的圖像的特征值，并根據(jù)圖像的 特征值產(chǎn)生再現(xiàn)信息，以便確定場景改變之后的圖像的顯示位置。
利用按照本發(fā)明的這個實施例的用于產(chǎn)生再現(xiàn)信息的設(shè)備，當處 理關(guān)于輸入圖像的圖像信號以產(chǎn)生關(guān)于輸入圖像的再現(xiàn)信息時，場景
變。、顯示位置控制單元根據(jù)場景改變檢測^元的檢測結(jié)果把場景改變 之后圖像的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置. 在這個實施例中，顯示位置控制單元檢測場景改變前后的圖像的特征 值，并根據(jù)圖像的特征值產(chǎn)生再現(xiàn)信息，以便確定場景改變之后的圖 像的顯示位置。這樣，借助于根據(jù)這樣產(chǎn)生的再現(xiàn)信息再現(xiàn)圖像，觀 看者能夠容易地根據(jù)圖像的內(nèi)容領(lǐng)會場景的改變，并能夠領(lǐng)會場景改 變前后圖像的內(nèi)容的關(guān)系。
按照本發(fā)明的另 一個實施例，提供一種通過處理關(guān)于輸入圖像的
圖像信號來產(chǎn)生關(guān)于輸入圖像的再現(xiàn)信息的方法。所述方法包括第 一步驟，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場景改 變；以及第二步驟，用于根據(jù)第一步驟的檢測結(jié)果，把場景改變之后 圖像的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置。所述 第二步驟包括以下子步驟檢測場景改變前后的圖像的特征值，以及 產(chǎn)生再現(xiàn)信息，以根據(jù)圖像的特征值確定在場景改變之后圖像的顯示 位置.
利用按照本發(fā)明的實施例的用于產(chǎn)生再現(xiàn)信息的方法，當根據(jù)這 樣產(chǎn)生的再現(xiàn)信息再現(xiàn)圖像時，觀看者能夠容易地根據(jù)圖像的內(nèi)容領(lǐng) 會場景的改變，并能夠領(lǐng)會場景改變前后的圖像的內(nèi)容的關(guān)系。
按照本發(fā)明的另一個實施例，提供一種程序產(chǎn)品，其允許計算機 通過執(zhí)行上述的用于產(chǎn)生再現(xiàn)信息的方法產(chǎn)生再現(xiàn)信息，用于再現(xiàn)關(guān) 于輸入圖像的圖像信號。
利用按照本發(fā)明的實施例的程序產(chǎn)品，當根據(jù)這樣產(chǎn)生的再現(xiàn)信 息再現(xiàn)圖像時，觀看者能夠容易地根據(jù)圖像的內(nèi)容領(lǐng)會場景的改變，并能夠領(lǐng)會場景改變前后的圖像的內(nèi)容的關(guān)系。
利用按照本發(fā)明的用于產(chǎn)生再現(xiàn)信息的設(shè)備和方法以及用于使 計算機能夠產(chǎn)生再現(xiàn)信息的程序產(chǎn)品的實施例，能夠顯示觀看者能夠 容易理解的圖像。
本說明書的結(jié)束部分具體指出了本發(fā)明的主題并直接要求保護 這些主題。不過，通過結(jié)合附圖閱讀本說明的其余部分，本領(lǐng)域技術(shù) 人員能夠最好地理解本發(fā)明的組織結(jié)構(gòu)及其操作方法，以及本發(fā)明的 其它的優(yōu)點和目的，在附圖中相同的標號表示相同的元件。


圖l是一個示意圖，用于表示一個可以應用按照本發(fā)明的用于處
理圖像的設(shè)備的實施例的圖像顯示系統(tǒng)的配置；
圖2A表示在場景改變前后幀內(nèi)的內(nèi)容和在場景改變前后這些幀 在屏幕上被顯示時的圖像，圖2B表示在場景改變前后幀內(nèi)的內(nèi)容和 在場景改變前后這些幀在屏幕上被顯示時的圖像，圖2C表示在場景 改變前后幀內(nèi)的內(nèi)容和在場景改變前后這些幀在屏幕上被顯示時的
圖像；
圖3是用于表示按照本發(fā)明的用于處理圖像的設(shè)備的實施例的 配置的方塊圖4是用于表示場景改變檢測單元的配置的方塊圖； 圖5是用于說明像素的稀疏化處理的示意圖； 圖6是用于表示場景改變檢測單元的另一種配置的方塊圖； 圖7是用于表示用于確定場景改變前后圖像之間的關(guān)系的單元 (場景改變前后關(guān)系確定單元)的配置的方塊圖8是用于表示面部區(qū)域提取部分的配置的方塊圖9A，9B的每一個用于說明有色皮膚區(qū)域提取部分的操作的例
子；
圖10A，10B的每一個用于說明水平線檢測部分的操作的例子； 圖11A，11B的每一個用于說明垂直線檢測部分的操作的例子；圖12A，12B的每一個用于說明面部區(qū)域提取部分的操作的例子； 圖13A，13B的每一個用于說明面部圖像識別部分的操作的例子； 圖14A-14E的每一個用于說明面部圖像識別部分的另一個操作 的例子；
圖15A-15C的每一個用于說明視線方向檢測部分的操作的例子； 圖16A表示在場景改變前后幀內(nèi)的內(nèi)容和在場景改變前后這些 幀在屏幕上被顯示時的圖像，圖16B表示在場景改變前后幀內(nèi)的內(nèi)容 和在場景改變前后這些幀在屏幕上被顯示時的圖像，以及圖16C表示 在場景改變前后幀內(nèi)的內(nèi)容和在場景改變前后這些幀在屏幕上被顯 示時的圖像；
圖17是用于表示場景改變前后關(guān)系確定單元的另一種配置的方
塊圖18是用于表示場景改變前后關(guān)系確定單元的另一種配置的方
塊圖19是用于表示在以離線方式進行處理的情況下按照本發(fā)明的 用于處理圖像的設(shè)備的另一個實施例的配置的方塊圖20A表示幀內(nèi)的內(nèi)容和該幀在屏幕上被顯示時的圖像，圖20B 表示幀內(nèi)的內(nèi)容和該幀在屏幕上被顯示時的圖像，以及圖20C表示幀 內(nèi)的內(nèi)容和該幀在屏幕上被顯示時的圖像；
圖21是用于表示可以應用本發(fā)明的實施例的計算機的配置的方
塊圖22是用于表示在以實時方式進行處理的情況下圖像處理程序
的整個配置的方塊圖23是用于表示場景區(qū)別的操作的流程圖24是借助于視線方向進行的場景改變前后關(guān)系確定操作的流
程圍；
圖25是借助于運動矢量進行的場景改變前后關(guān)系確定操作的流
程圖26是借助于音量進行的場景改變前后關(guān)系確定操作的流程圖27是用于表示在以離線方式進行處理的情況下圖像處理程序
的整個配置的流程圖28是用于表示按照本發(fā)明用于產(chǎn)生再現(xiàn)信息的設(shè)備的實施例
的配置的方塊圖29是用于表示信息再現(xiàn)設(shè)備的配置的方塊圖；以及
圖30是用于表示在以實時方式進行處理的情況下產(chǎn)生顯示位置
信息的流程圖。
具體實施例方式
下面結(jié)合

按照本發(fā)明的用于處理圖像的設(shè)備和方法、用 于處理圖像的程序產(chǎn)品、用于產(chǎn)生再現(xiàn)信息的設(shè)備和方法以及用于產(chǎn) 生再現(xiàn)信息的程序產(chǎn)品的實施例。
圖1表示可以應用按照本發(fā)明的用于處理圖像的設(shè)備120的實施 例的圖像顯示系統(tǒng)100的配置。圖像顯示系統(tǒng)100包括3個屏幕IIOL， 110C和110R，它們被設(shè)置在用戶101的前方和兩側(cè)，并作為整體構(gòu) 成一個圖像顯示區(qū)域。提供分別對應于屏幕IIOL， 110C和110R的投 射器112L， 112C和112R。投射器112L， 112C和112R被連接到用于 處理圖像的設(shè)備120。投射器112L根據(jù)從用于處理圖像的設(shè)備120 接收的輸出信號SDL在屏幕110L上投射圖像，類似地，投射器112C
SDR在屏幕110C和110R上投射圖像。
用于處理圖像的設(shè)備120接收關(guān)于輸入的圖像的輸入圖像信號 SDin，并檢測場景改變以確定是否發(fā)生了場景改變。如果發(fā)生了場景 改變，則用于處理圖像的設(shè)備120還檢測在場景改變前后的圖像之間 是否具有一定關(guān)系。如果具有一定關(guān)系，則用于處理圖像的設(shè)備120 這樣改變場景改變前后的圖像的圖像顯示位置，使得場景改變前后的 圖像可以具有所述關(guān)系。
圖2A-2C分別表示在圖像顯示系統(tǒng)IOO中的圖像顯示的例子。圖2A表示在幀F(xiàn)(l)和F(2)中的圖像和當幀F(xiàn)(l)、 F(2)被分別在 屏幕110L， 110C以及110R中的任何一個上顯示時的圖像。圖2B表 示在幀F(xiàn)(3)和F(4)中的圖像和當幀F(xiàn)(3)、 F(4)被分別在屏幕IIOL， 110C以及110R中的任何一個上顯示時的圖像。圖2C表示在幀F(xiàn)(5) 和F(6)中的圖像和當幀F(xiàn)(5)、F(6)被分別在屏幕110L， 110C以及110R 中的任何一個上顯示時的圖像。
當輸入圖像中的對象將其眼睛轉(zhuǎn)向幀F(xiàn)(l)的右側(cè)的同時發(fā)生場 景改變時，如圖2A所示，如果關(guān)于幀F(xiàn)(l)的場景改變之前的圖像Ha 被顯示在屏幕110C上，則關(guān)于幀F(xiàn)(2)的場景改變之后的圖像Hb被 顯示在屏幕110R上，這是因為場景改變之后的圖像Hb和對象使其 眼睛轉(zhuǎn)向的方向相關(guān).
當輸入圖像中的對象OB向幀F(xiàn)(3)的左側(cè)運動的同時發(fā)生場景改 變時，如圖2B所示，如果關(guān)于幀F(xiàn)(3)的場景改變之前的圖像Hc被 顯示在屏幕110C上，則關(guān)于幀F(xiàn)(4)的場景改變之后的圖像Hd被顯 示在屏幕110L上，這是因為場景改變之后的圖像Hd和對象OB運 動的方向相關(guān)。
當在關(guān)于幀F(xiàn)(5)的圖像的輸入立體聲音頻的右側(cè)音量大于左側(cè) 音量的時候發(fā)生場景改變時，如圖2C所示(在這種情況下，用八分 音符的數(shù)量表示音量)，如果關(guān)于幀F(xiàn)(5)的場景改變之前的圖像He 被顯示在屏幕110C上，則關(guān)于幀F(xiàn)(6)的場景改變之后的圖像Hf被顯 示在屏幕110C上，這是因為場景改變之后的圖像Hf和產(chǎn)生具有較大 音量的任何聲音的方向相關(guān)。
當如上所述每個場景的顯示位置改變時，用于處理圖像的設(shè)備 120，如圖1所示，便通過以實時的或者離線的方式進行處理改變顯 示位置。在以實時方式進行處理的情況下，用于處理圖像的設(shè)備120， 如圖3所示，便接收關(guān)于輸入困像的圖像信號SDin，并根據(jù)圖像信號 SDin檢測場景的改變，并確定場景改變前后的圖像之間的關(guān)系。用于
圖像之間的關(guān)系的確定結(jié)果實時地昧變輸入圖像的顯示位置(要被顯示的方向)。然后，用于處理圖像的設(shè)備120產(chǎn)生輸出信號SDL，SDC 和SDR，并輸出這些信號，以便在其改變的顯示位置上顯示輸入圖像。
在以離線方式進行處理的情況下，用于處理圖像的設(shè)備120A， 如圖19所示，從存儲介質(zhì)或其類似物中讀出積累的圖像信號SDin， 并從中檢測場景的改變。用于處理圖像的設(shè)備120A確定這樣檢測的 每個場景改變前后的圖像之間的關(guān)系，并由過去的和將來的場景決定 當前場景的顯示位置。用于處理圖像的設(shè)備120A和相關(guān)的圖像信號 SDin —道保持用于指示所決定的顯示位置(要被顯示的方向)的顯示 位置信息JP。
為了顯示圖像，用于處理圖像的設(shè)備120A讀出輸入圖像的圖像 信號SDin和顯示位置信息JP，并產(chǎn)生和輸出輸出信號 SDL，SDC，SDR，以便根據(jù)圖像信號SDin和顯示位置信息JP在其改 變的顯示位置上顯示輸入的圖像。
圖3表示在以實施方式進行處理的情況下按照本發(fā)明的用于處 理圖像的設(shè)備120的實施例的配置。場景改變檢測單元121、用于確 定場景改變前后圖像之間的關(guān)系的單元(下面稱為場景改變前后關(guān)系 確定單元)124、以及顯示位置設(shè)置單元126分別接收關(guān)于輸入圖像 的圖像信號SDin。
場景改變檢測單元121根據(jù)圖像信號SDin檢測場景的改變，即 檢測圖像中中斷的位置，即，在連續(xù)的場景和與該連續(xù)的場景不同的 場景之間的連接部分。
圖4表示通過利用兩個幀的圖像信號檢測場景改變的場景改變 檢測單元121的配置。
在場景改變檢測單元121中的延遲電路211接收輸入的圖像信號 SDin，按照一幀顯示輸入的圖像信號SDin，并作為延遲的圖像信號 SDa將其提供給平均差值計算電路213。平均差值計算電路213接收 圖像信號SDin和延遲的圖像信號SDa，根據(jù)圖像信號SDin和延遲的 圖像信號SDa計算兩幀之間的差的平均值Dav，并把這個差的平均值 Dav提供給標稱化電路217。計算在各個像素上兩幀之間的亮度值的差，并計算所得差的平均值作為差的平均值Dav，其被提供給標稱化 電路217。差的平均值Dav可以按照下式(1)計算<formula>formula see original document page 16</formula>其中N是在一幀圖像內(nèi)的像素數(shù)，YC是基于圖像信號SDin的 像素的亮度值，以及YP是基于延遲的圖像信號SDa的像素的亮度值。差的平均值Dav依照圖像中的亮度值而發(fā)生大的改變。例如， 在以亮色調(diào)顯示圖像的情況下，即使沒有場景改變，僅僅通過把圖像 的一部分改變成暗的也能使差的平均值Dav增加。在以暗色調(diào)顯示圖 像的情況下，即使場景改變，但是由于亮度值的改變小，差的平均值 Dav也不增加。因而，場景改變檢測單元121包含標稱化電路217， 其按照圖像的量度標稱化差的平均值Dav，使得借助于接收由圖像中 的亮度產(chǎn)生的任何小的影響來檢測正確的場景改變。在場景改變檢測單元121中的亮度平均計算電路215根據(jù)圖像信 號SDin中的每個像素的亮度值計算一幀內(nèi)的亮度值的平均值。然后， 亮度平均計算電路215把計算的平均值作為亮度平均值Yav提供給標 稱化電路217。亮度平均值Yav可以根據(jù)下式(2)計算Yav - ,..(2)其中N是一幀圖像內(nèi)的像素數(shù)，YC是基于圖像信號SDin的像 素的亮度值。標稱化電路217標稱化差的平均值Dav。即，標稱化電路217通過按照下式(3)校正表示圖像中的亮度的亮度平均值Yav的差的平均值Dav來產(chǎn)生差的平均值的標稱化值E(以后稱為"標稱化值E，，)<formula>formula see original document page 16</formula>然后標稱化電路217把標稱化值E提供給場景改變檢測單元121 中的判定電路219。判定電路219接收標稱值E，并使標稱值E和一 個閾值比較，該閾值是在判定電路中被預先確定的，如果標稱化值E超過閾值，則判定發(fā)生了場景改變。然而，如果標稱化值E未超過閾 值，則判定電路219判定任何場景未發(fā)生改變。然后判定電路219產(chǎn) 生表示這個判定結(jié)果的場景改變檢測信號SC，并把該場景改變檢測 信號SC提供給圖3所示的場景改變前后關(guān)系確定單元124。這樣，標稱化電路217按照圖像中的亮度對差的平均值Dav進 行了標稱化，判定電路219利用標稱化值E進行了是否發(fā)生了場景改 變的判定，因而，通過接收由圖像中的亮度產(chǎn)生的任何較小的影響， 可以檢測正確的場景改變。雖然在上述的場景改變檢測單元121中利用關(guān)于一幀內(nèi)的所有 像素的信號檢測了場景的改變，但是如果使用所有像素的信號計算差 的平均值Dav和亮度平均值Yav，則花費大量的時間進行計算處理。 如果這種計算以高速進行以便節(jié)省計算時間，則可能為此增加成本。因而，進行關(guān)于像素的稀疏化處理。例如，如圖5所示，把一幀 的圖像分類成為一些區(qū)域，每個區(qū)域包括8x4個像素，并從每個區(qū)域 選擇一個帶有對角線陰影的像素。然后通過利用關(guān)于選擇的像素的信號使得能夠計算差的平均值Dav和亮度平均值Yav。這種稀疏化處理 能夠減少計算量，從而使計算處理得以容易地進行，并避免任何快速 的計算處理，以便避免用于計算處理的費用增加。雖然在上述的場景改變檢測單元121中，利用標稱化值E檢測 場景改變，但是希望獲得兩幀圖像之間的相關(guān)系數(shù)r，并使相關(guān)系數(shù) r和一個閾值比較，借以使得能夠精確地檢測場景的改變。圖6表示利用相關(guān)系數(shù)r的場景改變檢測單元121A的配置。在場景改變檢測單元121A中的延遲電路211接收圖像信號 SDin，將圖像信號SDin延遲一幀，并作為延遲的圖像信號SDa將其 提供給相關(guān)系數(shù)計算電路216。相關(guān)系數(shù)計算電路216接收圖像信號 SDin和延遲的圖像信號SDa，并根據(jù)圖像信號SDin和延遲的圖像信 號SDa計算相關(guān)系數(shù)r?？梢园凑障率?4)計算相關(guān)系數(shù)r:<formula>formula see original document page 18</formula>(4)
其中N是一幀圖像內(nèi)的像素數(shù)，YF是基于第一幀的圖像信號 的像素的亮度值，YS是基于下一幀的圖像信號的像素的亮度值，YFav 是基于笫一幀的圖像信號的像素的平均亮度值，YSav是基于下一幀 的圖像信號的像素的平均亮度值。相關(guān)系數(shù)計算電路216把計算的相關(guān)系數(shù)r提供給場景改變檢測 單元121A中的判定電路219。判定電路219接收相關(guān)系數(shù)r，并將其和一個閾值比較，該閾值 是在其中被預定確定的，如果相關(guān)系數(shù)r未超過該閾值，則判定發(fā)生 了場景改變。但是，如果相關(guān)系數(shù)r超過了該閾值，則判定電路219 判定任何場景均未改變，即該場景是一個連續(xù)的場景。然后判定電路 219產(chǎn)生表示這個判定的結(jié)果的場景改變檢測信號SC，并把該場景改 變檢測信號SC提供給圖3所示的場景改變前后關(guān)系確定單元124。圖7表示場景改變前后關(guān)系確定單元124的配置。場景改變前后 關(guān)系確定單元124構(gòu)成顯示位置控制單元。場景改變前后關(guān)系確定單 元124接收來自場景改變檢測單元121的場景改變檢測信號SC，被 根據(jù)場景改變檢測單元121的場景改變檢測信號SC把場景改變后的 圖像的顯示位置確定到和場景改變前的圖像相關(guān)的顯示位置。在這個 實施例中，場景改變前后關(guān)系確定單元124檢測在場景改變前后的圖 像之間的特征值，并根據(jù)該特征值確定場景改變后的圖像的顯示位 置，在場景改變前后關(guān)系確定單元124中的延遲電路221和第一面部 區(qū)域提取部分224A分別接收關(guān)于輸入的圖像的圖像信號SDin,如圖 7所示，延遲電路221把圖像信號SDin延遲一個幀，從而產(chǎn)生延遲的 圖像信號SDa,延遲電路221把延遲的圖像信號SDa提供給場景改變 前后關(guān)系確定單元124中的第二面部區(qū)域提取部分224B。假定接收 輸入圖像的圖像信號SDin的笫 一 面部區(qū)域提取部分224A具有和接收延遲的圖像信號SDa的第二面部區(qū)域提取部分224B相同的配置。第 一面部區(qū)域提取部分224A從圖像信號SDin中提取面部區(qū)域，第二面 部區(qū)域提取部分224A從延遲的圖像信號SDa中提取面部區(qū)域。
圖8表示面部區(qū)域提取部分224A或224B的配置。圖8所示的 面部區(qū)域提取部分224A的HSV轉(zhuǎn)換部分2241接收圖像信號SDin， 并對圖像信號SDin進行HSV (色調(diào)、飽和度和值)轉(zhuǎn)換，以便利用 HSV顏色空間。
圖9A和9B表示皮膚有色區(qū)域提取部分2243的操作例子。皮膚 有色區(qū)域提取部分2243從圖9A所示的圖像SDc提取具有在其一個 設(shè)置范圍內(nèi)的色調(diào)值的像素，所述設(shè)置范圍例如是大于20小于40 (20<Hu<40)。皮膚有色區(qū)域提取部分2243在提取的像素上進行標 記，并判定這個標記的區(qū)域是皮膚有色區(qū)域Tr (圖9B所示的有陰影 的區(qū)域)，并提取這個皮膚有色區(qū)域Tr,
圖10A，10B表示圖8所示的水平線檢測部分2245的一個操作例 子。水平線檢測部分2245計算每個水平線上的從圖IOA所示的皮膚 有色區(qū)域Tr提取的像素，并檢測皮膚有色區(qū)域Tr內(nèi)的具有含有計算 的最大像素數(shù)的水平長度Lg的水平線，如圖IOB所示.根據(jù)這個水 平線的位置獲得垂直座標(垂直參考點Ver)。把計算的像素的最大 數(shù)量乘以一個預定值，例如0.8。把這個乘積設(shè)置為水平長度Lg，并 使水平長度Lg的中央沿其水平方向?qū)侍崛〉钠つw有色區(qū)域Tr的中 心，
圖11A，11B表示圖8所示的垂直線檢測部分2247的一個操作例 子，垂直線檢測部分2247把檢測的圖11A所示的水平長度Lg乘以一 個預定值，例如1.3，并把乘積設(shè)置為垂直長度Lg2,圖IIB所示的 垂直參考點Ver被設(shè)置為垂直長度Lg2的中央.
圖12A和12B表示圖8所示的幀區(qū)域提取部分2249的一個採作 例子。楨區(qū)域提取部分2249提取由具有在水平線檢測部分2245中檢 測的水平長度Lg和在垂直線檢測部分2247中檢測的垂直長度Lg2 的框圍成的一個圖像區(qū)域，如圖12A所示。在這個實施例中，如圖12B所示，由具有水平長度Lg和垂直長度Lg2的框圍成的圖像區(qū)域 被設(shè)置為要被提取的一個幀圖像區(qū)域。
圖13A和圖13B表示圖8所示的面部圖像辨別部分2250的一個 操作例子。面部圖像辨別部分2250具有如圖13A所示的標準的面部 圖像模板T叩c，并計算例如關(guān)于每個像素的該模板Tnpc和在幀區(qū)域 提取部分2249中提取的圖像區(qū)域Rec之間的差的絕對值的總和。面 部圖像辨別部分2250比較計算的差的絕對值的總和和一個預定的閾 值。如果差的絕對值的總和不超過預定的閾值，則面部圖像辨別部分 2250判定提取的圖像區(qū)域Rec是面部圖像，而如果差的絕對值的總和 超過預定的閾值，則面部圖像辨別部分2250判定提取的圖像區(qū)域Rec 不是面部圖像。
應當注意，當提取的圖像區(qū)域Rec的尺寸和模板Tnpc的尺寸不 匹配時，則通過任何的內(nèi)插或細化對模板Tnpc的尺寸進行合適的調(diào) 整，以便使其尺寸匹配，然后進行上述的處理。
面部圖像辨別部分2250除去辨別面部圖像之外還辨別面部的方 向。圖14A-14E表示面部圖像辨別部分2250的一個操作例子。面部 圖像辨別部分2250除去圖14C所示的面部朝前的標準的面部圖像模 板Tnpc之外還具有一些標準的面部圖像模板。如圖14A-14E所示， 在這個實施例中，面部圖像辨別部分2250具有5個標準的面部圖像 模板，即，圖14A所示的面部朝左的標準面部圖像模板Tpna，困14B 所示的面部向左傾斜的標準面部圖像模板Tpnb，圖14C所示的面部 朝前的標準的面部圖像模板Tnpc，圖14D所示的面部向右傾斜的標 準面部圖像模板Tpnd，以及圖14E所示的面部向右的標準面部圖像 模板Tpne。
當面部圖像辨別部分2250借助于利用模板進行匹配辨別面部圖 像時，面部圖像辨別部分2250可以計算關(guān)于每個像素的面部朝不同 方向的這些模板Tnpa到Tnpe的每一個與在幀區(qū)域提取部分2249中 提取的圖像區(qū)域Rec之間的差的絕對值的總和。面部圖像辨別部分 2250比較計算的差的絕對值的總和和一個閾值。如果計算的差的絕對值的總和不超過所述閾值并且成為最小值，則面部圖像辨別部分2250 將其辨別為面部的方向。應當注意，如果面部不是朝前的，則在皮膚 有色區(qū)域提取部分2243中提取的圖像區(qū)域Rec小于當面部朝前時在 皮膚有色區(qū)域提取部分2243中提取的圖像區(qū)域Rec，因而模板的尺寸 可以較小，在標準面部圖像模板中，除去向右和向左之外，面部還可 以向上和向下。
應當注意，面部圖像辨別部分2250辨別在幀區(qū)域提取部分2249 中提取的所有的圖像區(qū)域REC上的面部圖像。如果面部圖像辨別部 分2250辨別多于一個的面部圖像，則面部圖像辨別部分2250辨別例 如面部圖像當中具有最大圖像區(qū)域Rec的面部圖像。如果沒有面部圖 像被辨別，則結(jié)束處理。
向回參見圖7，第一視線方向檢測部分226A從關(guān)于圖像信號 SDin的在第一面部區(qū)域提取部分224A中提取的面部圖像的圖像區(qū)域 Rec檢測第一視線方向。第二視線方向檢測部分226B從關(guān)于延遲的 圖像信號SDa的在第二面部區(qū)域提取部分224B中提取的面部圖像的 圖像區(qū)域Rec檢測第二視線方向。
圖15A-15C表示圖7所示的視線方向檢測部分226A或226B的 一個操作例子。視線方向檢測部分226A或226B通過利用圖15A所 示的標準面部圖傳j溪板Tpnc中的眼睛的瞳孔區(qū)域Receye檢測眼睛的 方向。假定預先提取了標準面部圖像模板Tpnc中的眼晴瞍孔區(qū)域 Tpnc。計算圖15B所示的面部圖像的圖像區(qū)域Rec2的一個設(shè)置的搜 索范圍內(nèi)關(guān)于對應于眼睛瞳孔區(qū)域Receye的像素的運動矢量。如果 圖15C所示的計算的運動矢量Vtr的絕對值超過預定的閾值，則確定 眼睛的方向和面部的方向不同，此時判定運動矢量Vtr的方向是新的 視線方向，如果圖15C所示的計算的運動矢量Vtr的絕對值未超過預 定的閾值，則判定在面部區(qū)域提取部分224A或224B的面部圖像辨別 部分2250中提取的面部方向是眼睛的方向，
圖7所示的顯示方向判定部分228根據(jù)表示圖像的特征值的第一 和第二視線方向判定關(guān)于圖像信號SDiii的輸入圖像被顯示的方向，并產(chǎn)生和輸出顯示方向信息JP。例如，圖16A到16C分別表示圖像 顯示的操作的例子。在本實施例中，如圖16A所示，如果從關(guān)于延遲 的圖像信號SDa的圖像檢測到眼睛的方向(在幀F(xiàn)(ll)中為右方向)， 而從關(guān)于圖像信號SDin的幀F(xiàn)(12)的圖像未檢測到視線方向，則根據(jù) 關(guān)于延遲的圖像信號SDa的檢測的視線方向顯示關(guān)于圖像信號SDin 的圖像。在本實施例中，關(guān)于延遲的圖像信號SDa的圖像被在屏幕 110C上顯示，關(guān)于圖像信號SDin的圖像被在屏幕110R上顯示。
如圖16B所示，如果從關(guān)于延遲的圖像信號SDa的幀F(xiàn)(13)中的 圖像未檢測到視線方向，而從關(guān)于圖像信號SDin的圖像檢測到眼睛 的方向(在幀F(xiàn)(14)中為左方向)，則關(guān)于圖像信號SDin的圖像被這 樣顯示，使得關(guān)于圖像信號SDin的視線方向可以滿足關(guān)于延遲的圖 像信號SDa的圖像的顯示位置。在本實施例中，關(guān)于延遲的圖像信號 SDa的圖像被顯示在屏幕110C上，關(guān)于圖像信號SDin的圖像被顯示 在屏幕110R上。
如圖16C所示，如果在關(guān)于延遲的圖像信號SDa的幀F(xiàn)(15)中的 圖像和關(guān)于圖像信號SDin的幀F(xiàn)(16)中的圖像中都檢測到視線方向， 則優(yōu)先使用從關(guān)于延遲的圖像信號SDa的圖像檢測到的視線方向。此 時，如果從關(guān)于延遲的圖像信號SDa的圖像檢測到從上到右的視線方 向，從關(guān)于圖像信號SDin的圖,測到從下到左的視線方向，即如 果從關(guān)于延遲的圖像信號SDa的圖像檢測到的視線方向和從關(guān)于圖 像信號SDin的圖像檢測到視線方向彼此相交，則顯示方向判定部分 228可以垂直地改變其顯示位置。例如，顯示方向判定部分228這樣 改變其顯示位置，使得其中檢測到的視線方向從上到右的關(guān)于延遲的 圖像信號SDa的圖像可被顯示在屏幕110C的下部，其中檢測到的視 線方向從下到左的關(guān)于困像信號SDin的圖像可被顯示在屏幕110R的 上部。這使得關(guān)于延遲的圖像信號SDa和圖《象信號SDin的圖像能夠 分別按照彼此的視線方向被布置。
因而，按照本發(fā)明的用于處理圖像的設(shè)備120的實施例包含場景 改變前后關(guān)系確定單元124，其把場景改變后的顯示位置確定到和場景改變前的圖像相關(guān)的顯示位置，并且還檢測場景改變前后圖像的視 線方向，以便根據(jù)眼睛的方向確定場景改變后的圖像的顯示位置。
利用按照本發(fā)明的用于處理圖像的設(shè)備120的實施例，觀看者能 夠容易地領(lǐng)會場景改變，并根據(jù)圖像中的視線方向能夠容易地領(lǐng)會場 景改變前后圖像之間的關(guān)系。
圖17表示場景改變前后關(guān)系確定單元124A的一種配置。場景 改變前后關(guān)系確定單元124A包含延遲電路221A和221B，運動矢量 檢測電路230，運動矢量判定電路232,以及顯示方向判定部分228。
延遲電路221A接收關(guān)于輸入圖像的圖像信號SDin，并將其延遲 一幀，從而產(chǎn)生延遲的圖像信號SDa。延遲電路221A把延遲的圖像 信號SDa提供給顯示電路221B,顯示電路221B接收延遲的圖像信號 SDa，并將其延遲一幀而產(chǎn)生延遲的圖像信號SDb。延遲電路221A 和221B向運動矢量檢測電路230提供延遲的圖4象信號SDa和SDb。 然后運動矢量檢測電路230從延遲的圖像信號SDa，SDb檢測運動矢 量。為了檢測運動矢量，例如把延遲的圖像信號SDa分類成每個具有 8x8個像素的塊，并檢測顯示的圖像信號SDb的所需的搜索區(qū)域內(nèi)的 使得差值的絕對值的和最小的位置作為運動矢量。然后運動矢量檢測 電路230把檢測的運動矢量提供給運動矢量判定電路232。
運動矢量判定電路232接收來自運動矢量檢測電路230的運動矢 量，并由接收的運動矢量判定表示圖像之間的特征值的一個預定運動 矢量。例如，運動矢量判定電路232產(chǎn)生所有接收的運動矢量的直方 圖，在圖像的直方圖中確定具有最高頻率的運動矢量作為背景的運動 矢量，并確定圖像的直方圖上具有次最高頻率的運動矢量作為主要對 象的運動矢量.運動矢量檢測電路232把具有次最高頻率的運動矢量 提供給顯示方向判定部分228.在本實施例中，如果在直方圖中具有 最髙頻率的運動矢量在數(shù)量上和在圖像的直方圖中具有次最高頻率 的運動矢量幾乎相同，則運動矢量判定電路232可以確定圖像直方圖 中具有笫三最大頻率的運動矢量為主要對象的運動矢量。如果圖像的 直方圖中具有最高頻率的運動矢量占據(jù)運動矢量的總數(shù)，則運動矢量判定電路232可以確定這種條件為無運動條件。
顯示方向判定部分228根據(jù)在運動矢量判定電路232中判定的運 動矢量判定關(guān)于圖像信號SDin的輸入圖像的顯示方向。即，如圖2B 所示，例如，在圖像的直方圖中具有次最高頻率的運動矢量Vtr表示 在關(guān)于圖像信號SDin的場景改變之前主要對象的運動(顯示)方向。 顯示方向判定部分228這樣產(chǎn)生顯示方向信息JP，使得關(guān)于圖像信號 SDin的圖像Hd可以按照所述顯示方向被顯示。
因而，按照本發(fā)明的用于處理圖像的設(shè)備120的另 一個實施例包 含這樣一種場景改變前后關(guān)系確定單元124A，其把場景改變后的圖 像的顯示位置確定到和場景改變前的圖像相關(guān)的顯示位置，并檢測場 景改變前的圖像中的運動矢量，以便根據(jù)該運動矢量確定場景改變后 的顯示位置。
因而，利用按照本發(fā)明的用于處理圖像的設(shè)備120的這個實施 例，觀看者能夠容易地領(lǐng)會場景的改變，并根據(jù)圖像中的運動矢量容 易地領(lǐng)會場景改變前后圖像之間的關(guān)系。
圖18表示場景改變前后關(guān)系確定單元124B的配置。場景改變 前后關(guān)系確定單元124B包含延遲電路221C，音量檢測電路240，音 量比較電路242和顯示方向判定部分228。
延遲電路221和顯示方向判定部分228接收關(guān)于輸入圖像的圖像 信號SDin。延遲電路221把圖像信號SDin延遲一幀而產(chǎn)生延遲的圖 像信號SDa。延遲電路221把延遲的圖像信號SDa提供給音量檢測電 路240,音量檢測電路240檢測伴隨著延遲的圖像信號SDa的具有一 個以上的音頻信道的音頻信號的音量。應當注意，為了便于說明本實 施例，假定音頻信號和圖像信號SDin重疊并和雙通道立體聲有關(guān)。
音量檢測電路240檢測立體聲的兩個通道的每個通道的音頻信 號的音量，并把關(guān)于檢測的音量的信息提供給音量比較電路242。
音量比較電路242計算在音量檢測電路240中檢測的雙聲道立體 聲音頻的右聲道和左聲道中的音量之間的差的絕對值，并將表示圖像 的特征值的所述差的絕對值和預定閾值比較。如果差的絕對值超過預定閾值，則確定在左右聲道的音量之間具有顯著的差別。音量比較電
路242向顯示方向判定部分228提供表示具有較大音量的聲道的方向 的信息。如果雙聲道立體聲音頻的左聲道L中的音量大于雙聲道立體 聲音頻的右聲道R的音量，則音量比較電路242向顯示方向判定部分 228提供表示左方向的信息，而如果雙聲道立體聲音頻的右聲道R中 的音量大于雙聲道立體聲音頻的左聲道L的音量，則音量比較電路 242向顯示方向判定部分228提供表示右方向的信息。如果差的絕對 值未超過預定閾值，則確定在左右聲道的音量之間沒有顯著的不同， 因而結(jié)束處理。
顯示方向判定單元228根據(jù)音量比較電路242的確定結(jié)果判定關(guān) 于圖像信號SDin的圖像的顯示方向.例如，當收到來自音量比較電 路242的表示方向的信息時，顯示方向判定單元228輸出收到的作為 關(guān)于圖像信號SDin的輸入圖像的行駛方向信息JP的信息中的方向。 在這個實施例中，例如，如圖2C所示，如果在關(guān)于場景改變前的圖 像的雙聲道立體聲信號的左右聲道中的音量之間具有任何顯著不同， 并且在雙聲道立體聲音頻的右聲道R中的音量大于雙聲道立體聲音 頻的左聲道L中的音量，則顯示方向判定單元228輸出右方向，使得 關(guān)于圖像信號SDin的圖像的Hf可在右屏幕110R上被顯示，如圖2C 所示。
雖然延遲電路221、 221A、 221B和221C使圖像信號SDin或其 類似物延遲一幀，但是可以把要延遲的幀的數(shù)量設(shè)置為一個可選的數(shù) 量，除非被延遲的時間點遠離場景改變的時間點。從其中檢測音量的 幀不限于一幀。例如，可以檢測關(guān)于一幀以上的音量的平均音量。
除去單聲道的音頻信號之外，音頻信號可以包含任何任選的聲 道.例如，本發(fā)明可以應用于5.1聲道環(huán)繞音頻信號。此時，可以根 據(jù)前兩個聲道或后兩個聲道中音量之間的差來應用上述的處理。此 外，可以根據(jù)前兩個聲道和后兩個聲道音量之間的差應用上述的處 理。
雖然場景改變前后關(guān)系確定單元124、 124A和124B分別利用視線方向、運動矢量和音量，在本實施例中，可以利用視線方向、運動 矢量和音量中任何的或所有的組合。在這種情況下，如果關(guān)于視線方 向的顯示位置信息JP和關(guān)于音量的顯示位置信息JP不同，則可以優(yōu) 先使用關(guān)于音量的顯示位置信息JP。或者，可以使用關(guān)于所有判定的 方向中最高頻率的顯示位置信息JP。
回來參看圖3，顯示位置設(shè)置單元126從場景改變前后關(guān)系確定 單元124、 124A或124B的顯示方向判定部分228接收顯示尺寸信息 JP，并根據(jù)輸入圖像的顯示方向信息JP顯示在場景改變前后關(guān)系確 定單元124、 124A或124B中判定的關(guān)于圖像信號SDin的輸入圖像 的顯示位置。然后，顯示位置設(shè)置單元126把對應于投射器 112L，112C，112R的圖像信號分別提供給信號輸出單元142L，142C和 142R。
應當注意，如果沒有設(shè)置輸入圖像的顯示位置，例如，如果在當 前場景的圖像被顯示在右屏幕110R上時下一個場景的圖像被顯示在 右側(cè)，則下一個場景的圖像被顯示在右屏幕110R。
如果即使在場景改變時顯示位置也未改變，則顯示位置可以返回 中央屏110C或者被保持在當前屏。
如果當場景改變時顯示位置被改變，則場景改變前的圖像可被保 持為要作為靜止圖像被顯示的圖像。這使得在場景改變前后的圖像之 間的關(guān)系能夠更可被理解。
因而，按照本發(fā)明的用于處理圖像的設(shè)備120包含這樣一種場景 改變前后關(guān)系確定單元124B，其把場景改變后的圖像的顯示位置確 定到和場景改變前的圖像相關(guān)的顯示位置，并且還檢測場景改變前的 圖像中的音量，以便根據(jù)該音量確定場景改變后的圖像的顯示位置，
因而，利用按照本發(fā)明的用于處理圖像的設(shè)備120的這個實施 例，觀看者能夠容易地領(lǐng)會場景的改變，并根據(jù)圖像中的音量容易地 理解場景改變前后的圖像之間的關(guān)系，從而使得更容易地理解圖像顯 示，
圖19表示當以離線方式進行處理時按照本發(fā)明的用于處理圖像的設(shè)備120A的實施例的配置。和圖3所示的用于處理圖像的設(shè)備120 的相同的標號表示圖19所示的用于處理圖像的設(shè)備120A的相同的元 件，并因而省略其詳細的說明。
在用于處理圖像的設(shè)備120A中的存儲單元130接收并存儲關(guān)于 輸入圖像的圖像信號SDin。存儲單元130還把存儲的圖像信號SDin 提供給場景改變檢測單元121。
和上述以實時方式進行處理的情況類似，場景改變檢測單元121 檢測場景改變，場景改變前后關(guān)系確定單元124 (124A，124B )把場景 改變后的圖像的顯示位置確定到和場景改變前的圖像相關(guān)的顯示位 置。顯示位置設(shè)置單元126然后把場景改變后圖像的顯示位置設(shè)置到 已被確定的和場景改變前的圖像相關(guān)的顯示位置，并把用于顯示場景 改變后的圖像的關(guān)于圖像信號SDin的輸入圖像的顯示位置信息JC提 供給存儲單元130。存儲單元130完全根據(jù)接收的每個場景的顯示位 置信息JC調(diào)節(jié)要顯示的圖像的顯示位置，并把關(guān)于調(diào)節(jié)的顯示位置 的圖像信號提供給信號輸出單元142L，142C和142R。
圖20A-20C表示圖像顯示操作的例子。如圖20A所示，如果在 場景改變前后的圖像的顯示位置被連續(xù)地改變，即，如果圖20B所示 的圖像Hg的顯示位置和圖20C所示的圖像Hh的顯示位置被向右方 改變，并被連續(xù)地向右方改變，存儲單元130的未示出的控制器便把 笫一圖像Ha的顯示位置設(shè)置到左屏幕IIOL，使得圖像Ha，Hg和Hh 可被連續(xù)地顯示。這還使得能夠?qū)崿F(xiàn)任何連續(xù)的顯示位置的改變，
因而，利用按照本發(fā)明的用于處理圖像的設(shè)備120A的實施例， 通過根據(jù)場景改變前后圖像之間的關(guān)系改變困像的顯示位置，觀看者 能夠理解場景之間的關(guān)系。在以離線方式進行處理的情況下，能夠處 理連續(xù)的顯示位置的改變，從而觀看者能夠容易地理解場景的改變. 還能夠作為靜止圖像保持顯示場景改變前的圖像，從而能夠使觀看者 更容易地理解場景的改變。
除去上述的硬件之外，任何軟件也可以實現(xiàn)上述的處理。圖21 表示可以應用按照本發(fā)明的實施例的計算機300的實施例的配置。計算機300包含中央處理單元(CPU)301。只讀存儲器(ROM)302、隨機 存取存儲器(RAM) 303、硬盤驅(qū)動器(HDD) 304以及輸入/輸出接口 305通過總線320和CPU 301相連。輸入單元311、記錄介質(zhì)驅(qū)動單 元312、通信單元313、圖像信號輸入單元314以及圖像信號輸出單 元315被連接到輸入/輸出接口 305。
當外部設(shè)備向計算機300發(fā)送任何指令時，或者由操縱裝置例如 鍵盤和鼠標構(gòu)成的輸入單元311或者音頻輸入裝置例如麥克風輸入任 何指令時，這些指令通過輸入/輸出(I/0)接口 305被提供給CPU301。
CPU 301執(zhí)行在ROM 302、 RAM 303、與/或HDD 304中存儲 的任何程序并根據(jù)接收的指令執(zhí)行任何處理。ROM 302、 RAM 303、 與/或HDD 304預先存儲任何圖像處理程序，這些程序允許計算機300 執(zhí)行類似于上述的用于處理圖像的設(shè)備的任何處理。CPU 301控制 ROM 302、 RAM 303、與/或HDD 304根據(jù)圖像信號輸入單元314接 收的輸入圖像信號SDin讀出其中的信息，并產(chǎn)生輸出信號SDL， SDC 和SDR,并通過圖像信號輸出單元315傳送這些輸出信號。記錄介質(zhì) 可以存儲這種圖像處理程序。記錄介質(zhì)驅(qū)動單元312在記錄介質(zhì)上記 錄圖像處理程序，或者從記錄介質(zhì)中讀出圖像處理程序，借以使計算 機300能夠執(zhí)行圖像處理程序。通信單元313可以通過任何傳輸通路 發(fā)送和接收圖像處理程序，借以使計算機300能夠執(zhí)行接收的圖像處 理程序。
圖22表示在以實時方式進行處理的情況下的圖像處理程序，在 圖22所示的步驟ST1，對場景進行辨別。圖23表示這種場景辨別操 作的例子.在圖23所示的步驟ST 11,幀之間的差的平均值Dva和 每幀中亮度的平均值Yav被計算，并且處理前進到步驟ST12。在步 驟ST12，使用亮度的平均值Yav對差的平均值Dav標稱化，從而計 算標稱值E。
在步驟ST13，通過比較標稱值E和閾值，確定是否具有場景改 變。如果標稱值E未超過閾值，則處理前進到步驟ST14,在該步驟 確定沒有場景改變，圖像被包含在同一個場景中。如果標稱值E超過閾值，則處理前進到步驟ST15，在該步驟確定具有場景改變。因而， 根據(jù)標稱值E進行場景辨別。
或者，在場景辨別的操作中，如上所述，可以計算相關(guān)系數(shù)r， 并可以通過比較相關(guān)系數(shù)r和一個閾值檢測場景改變。在這種情況下， 代替步驟ST11和ST12,按照上述的公式(4)計算相關(guān)系數(shù)r。代替 步驟ST13,通過比較相關(guān)系數(shù)r和所述閾值，確定是否具有場景改 變。如果相關(guān)系數(shù)r不小于所述閾值，則處理前進到步驟ST14，在 該步驟確定沒有場景改變，因而圖像被包含在同一個場景內(nèi)。如果標 稱值E小于所述閾值，則處理前進到步驟ST15,在該步驟確定具有 場景改變。
返回圖22，在步驟ST2，確定是否檢測到場景改變。如果確定 未檢測到場景改變，則處理回到步驟ST1。如果確定在步驟ST2檢測 到場景改變，則處理前進到步驟ST3。在步驟ST3，確定場景改變前 后圖像之間的關(guān)系。
圖24表示在步驟ST3根據(jù)視線方向確定場景改變前后圖像之間 的關(guān)系的操作的例子。在圖24所示的步驟ST311,對關(guān)于輸入圖像 的圖像信號SDin進行HSV轉(zhuǎn)換。在步驟ST312,從這樣進行了 HSV 轉(zhuǎn)換的圖像中提取具有一個預定的色度值的區(qū)域。在步驟ST313，從 提取的區(qū)域提取沿水平線方向的最大連續(xù)像素的值。水平線的這個位 置被設(shè)置為垂直參考點，并檢測通過對連續(xù)像素的數(shù)量進行預定的計 算而獲得的值作為水平線。
在步驟ST314,通過根據(jù)垂直參考點對在步驟ST313檢測的水 平線的值進行預定計算而獲得垂直線的長度。在步驟ST315，提取由 具有在步驟ST313檢測的水平線和在步驟ST314檢測的垂直線的框 圍成的圖像區(qū)域。在步稞ST 316,在步驟ST315提取的圖像區(qū)域和 事先準備的標準面部圖M板比較，從而辨別這是否是面部圖像。此 時，準備具有不同方向的標準面部圖像模板，因而，除去辨別面部圖 像之外還辨別面部的方向。在步驟ST317,確定是否檢測到面部圖像。 如果檢測到面部圖像，則處理前進到步驟ST318，在該步驟由標準面部圖像模板中的眼睛瞳孔區(qū)域內(nèi)的運動矢量檢測眼睛的方向，把檢測 的視線方向設(shè)置為場景改變后的圖像的顯示位置。如果未檢測到面部 圖像，則結(jié)束處理。
圖25表示根據(jù)步驟ST3中的運動矢量確定場景改變前后圖像之 間的關(guān)系的操作的例子。在步驟ST321,例如對于具有8x8個像素的 每個塊，檢測在當前幀的輸入圖像和在當前幀之前緊挨當前幀的一幀 的輸入圖像之間的運動矢量。在步驟ST322，在圖像的直方圖內(nèi)具有 最高頻率的運動矢量被規(guī)定為背景的運動矢量，在圖像的檢測的直方 圖上具有次最高頻率的運動矢量被規(guī)定為主要對象的運動矢量。從檢 測的運動矢量中提取具有次最高頻率的運動矢量。在步驟ST323，檢 查具有次最高頻率的運動矢量對運動矢量的總數(shù)的比率，如果具有次 最高頻率的運動矢量的數(shù)量對于運動矢量的總數(shù)是足夠的，則確定除 去背景的運動矢量之外還有任何的運動矢量。然后處理前進到步驟 ST324。如果具有次最高頻率的運動矢量的數(shù)量對于運動矢量的總數(shù) 不足，則確定除了背景的運動矢量之外沒有運動矢量。處理然后結(jié)束。 在步驟ST324，具有次最高頻率的每個運動矢量的方向被設(shè)置為場景 改變之后的圖像的顯示位置。
圖26表示在步驟ST3根據(jù)音量確定場景改變前后圖像之間的關(guān) 系的操作的例子。在步驟ST331，從輸入的立體聲雙聲道音頻信號檢 測左右聲道的音量.在步驟ST332，使檢測的左右聲道的音量相互比 較。在步驟ST333，確定在左右聲道的音量之間是否具有任何差異。 如果具有任何差異，則處理前進到步驟ST334，在該步猓確定具有較 大音量的聲道的方向作為場景改變后的圖像的顯示位置。如果沒有差 異，則處理結(jié)束.
回到圖22，在步驟ST4，產(chǎn)生用于在步驟ST3確定的顯示位置 上顯示圖像的輸出信號SDL，SDC和SDR。在產(chǎn)生輸出信號時，圖像 被存儲在幀存儲器中，在基于顯示位置的定時從幀存儲器中這樣讀出 圖像信號，使得讀出的圖像信號可對于每個屏幕被劃分從而產(chǎn)生輸出 信號SDL, SDC和SDR。或者，在其中的記錄區(qū)域按照圖像信號的顯示位置對應于圖像顯示區(qū)域的存儲器中存儲圖像信號，借以使得能
夠產(chǎn)生輸出信號SDL，SDC和SDR。
然后處理前進到步驟ST5。在步驟ST5，確定關(guān)于輸入圖像的圖 像信號是否結(jié)束。如果確定圖像信號未結(jié)束，則處理返回步驟ST1， 在該步驟重復所述的圖像處理。如果確定圖像信號結(jié)束，則圖像處理 結(jié)束。
圖27表示在以離線方式進行處理的情況下圖像處理程序的整個配置.
在圖27所示的步驟ST21，場景被辨別。在步驟ST22，確定是 否檢測到場景改變。如果在步驟ST22確定未檢測到場景改變，則處 理返回步驟ST21。如果在步驟ST22確定檢測到場景改變，則程序前 進到步驟ST23，在該步驟確定場景改變前后的圖像之間的關(guān)系。
在步驟ST24，確定是否對于每個場景都進行了場景改變前后圖 像之間的關(guān)系的確定。如果在步驟ST24確定尚未對于每個場景都進 行過場景改變前后圖像之間的關(guān)系的確定，則處理返回步驟ST21繼 續(xù)進行處理。如果在步驟ST24確定對于每個場景都進行了場景改變 前后圖像之間的關(guān)系的確定，則處理前進到步驟ST25。
在步驟ST25，從每個場景前后確定的顯示位置中提取顯示位置 連續(xù)地改變的情況，并這樣設(shè)置顯示位置，使得顯示位置可以連續(xù)地 改變.
在步驟ST26,這樣產(chǎn)生輸出信號SDL，SDC，SDR，使得圖像可 以在步驟ST25確定的顯示位置上被顯示，在產(chǎn)生輸出信號時，圖像 被存儲在幀存儲器中，并且在按照圖像的顯示位置的定時從幀存儲器 中這樣讀出圖像信號，使得讀出的圖像信號對于每個屏幕被劃分，借 以使得能夠產(chǎn)生輸出信號SDL，SDC和SDR?；蛘?，把圖像信號存儲 器其中記錄區(qū)域按照圖像信號的顯示位置對應于圖俸顯示區(qū)域的存 儲器中，并使用在對應于每個屏幕的記錄區(qū)域中存儲的信號，從而使 得能夠產(chǎn)生輸出信號SDL，SDC和SDR。
因而，在按照本發(fā)明的用于處理圖像的方法和圖像處理程序產(chǎn)品的實施例中，檢測場景改變前后的圖像的特征值，并根據(jù)圖像的特征 值確定場景改變后的顯示位置。在這些實施例中，視線方向、運動矢 量和音量被用作圖像的特征值。
因而，觀看者能夠容易地領(lǐng)會場景的改變，并由圖像中的內(nèi)容容 易地領(lǐng)會場景改變前后圖像之間的關(guān)系。這使得能夠?qū)崿F(xiàn)容易理解的 圖像呈現(xiàn)。
應當注意，雖然在上述實施例中說明了一個以上的屏幕和投射 器，它們的數(shù)量和屏幕的尺寸等可被選擇地改變?？梢允褂闷渌N類 的顯示器，例如寬屏顯示器或者彎曲表面顯示器例如圓柱顯示器。
雖然在上述實施例中用于處理圖像的設(shè)備120A內(nèi)含有存儲單元 130,可以使用任何外部信息存儲裝置。當存儲單元130可拆卸時， 借助于利用在這個可拆卸的存儲單元130中存儲的圖像信號SDin和 顯示位置信息JC，具有任何圖像顯示控制功能的另一種圖像顯示系 統(tǒng)也可以顯示具有任何的真實性和可容易理解的圖像。
按照上述的本發(fā)明的實施例，通過使用現(xiàn)有內(nèi)容的圖像信號而不 創(chuàng)建新的圖像源與/或其它格式，可以在顯示位置上顯示場景改變，從 而使得能夠顯示比以前的圖像具有更好的效果并且能夠容易理解的 圖像.
下面參照圖28到30說明按照本發(fā)明的用于產(chǎn)生再現(xiàn)信息的設(shè)備 和方法以及再現(xiàn)信息產(chǎn)生程序產(chǎn)品的實施例。圖28表示按照本發(fā)明 的用于產(chǎn)生再現(xiàn)信息的設(shè)備500的實施例的配置，圖29表示用于再 現(xiàn)信息的設(shè)備600的配置。和圖3所示的用于處理圖像的設(shè)備120的 相同的標號表示設(shè)備500和600的相同的元件，并因而省略對這些元 件的細節(jié)的說明。
用于處理困像的設(shè)備120被劃分以便構(gòu)成設(shè)備500和600。用于 產(chǎn)生再現(xiàn)信息的設(shè)備500對關(guān)于輸入圖像的圖像信號SDin進行任何 處理，并產(chǎn)生關(guān)于視頻的作為再現(xiàn)信息的例子的幀的顯示位置信息 JP。用于產(chǎn)生再現(xiàn)信息的設(shè)備500包含場景改變檢測單元121(121A) 和場景改變前后關(guān)系確定單元124 (124A和124B)。用于再現(xiàn)信息的設(shè)備600根據(jù)顯示位置信息JP對圖像信號SDin進行任何處理并再 現(xiàn)圖像。
在圖28所示的用于產(chǎn)生再現(xiàn)信息的設(shè)備500中的場景改變檢測 單元121接收圖像信號SDin，根據(jù)圖像信號SDin檢測幀內(nèi)的場景改 變，從而產(chǎn)生場景改變檢測信號SC，并把場景改變檢測信號SC提供 給場景改變前后關(guān)系確定單元124。
當收到場景改變檢測信號SC時，場景改變前后關(guān)系確定單元 124根據(jù)表示圖像的特征值的面部方向與/或視線方向確定場景改變 前后圖像間的關(guān)系，并把輸入圖像的顯示位置作為顯示位置信息JP 傳送到輸出端501。
輸出端501可以連接外部存儲介質(zhì)例如USB存儲器，其存儲顯 示位置信息JP。這使得能夠提供用于表示每個場景的顯示位置的顯示 位置信息JP。此外，端子501還可以連接電信線路例如局域網(wǎng)(LAN) 電纜。例如，顯示位置信息JP通過互聯(lián)網(wǎng)通信網(wǎng)絡(luò)被下栽到用戶的 個人計算機(PC)。
圖29所示的用于再現(xiàn)信息的設(shè)備600從外部存儲介質(zhì)中讀出顯 示位置信息JP,或者通過互聯(lián)網(wǎng)獲得顯示位置信息JP，并根據(jù)顯示 位置信息JP對關(guān)于輸入圖像的圖像信號SDin進行任何處理以再現(xiàn)圖 像。用于再現(xiàn)信息的設(shè)備600包含顯示位置設(shè)置單元126和信號輸出 單元142L，142C，142R。
顯示位置設(shè)置單元126接收顯示位置信息JP和圖像信號SDin。 然后顯示位置設(shè)置單元126根據(jù)顯示位置信息JP設(shè)置關(guān)于圖像信號 SDin的輸入圖像的顯示位置，并劃分圖像信號SDin，以便把劃分的 信號分別提供給信號輸出單元142L，142C，142R。
信號輸出單元142L，142C，142R由圖flU!"儲器構(gòu)成。當接收圖像 信號SDin時，信號輸出單元142L連續(xù)地在圖像存儲器上存儲圖像信 號SDin。
然后從信號輸出單元142L讀出圖像信號SDin,并作為輸出信號 SDL提供給投射器112L。當提供劃分的圖像信號SDin時，信號輸出單元142L在其存儲器中存儲該圖像信號，使得不包括內(nèi)容的圖像信 號的部分在屏幕上以黑色被顯示。
信號輸出單元142C和142R具有和信號輸出單元142L相同的配 置，并在其圖像存儲器上連續(xù)地存儲圖像信號SDin。然后從信號輸出 單元142C和142R讀出圖像信號SDin，并作為輸出信號SDC和SDR 分別提供給投射器112C和112R。當提供劃分的圖像信號SDin時， 信號輸出單元142C和142R在其圖像存儲器中這樣存儲圖像信號， 使得不包括內(nèi)容的圖像信號的部分以黑色在屏幕上被顯示。
圖30表示在以實時方式進行處理的情況下顯示位置信息的產(chǎn)生 的例子，其表示再現(xiàn)信息產(chǎn)生程序。
在圖30所示的步驟ST31，場景被辨別。在步驟ST32，確定是 否檢測到場景改變。如果確定未檢測到場景改變，則處理返回步驟 ST1,如果確定檢測到場景改變，則處理前進到步驟ST3。在步驟ST3， 確定場景改變前后圖像間的關(guān)系。例如根據(jù)面部方向與/或圖像中眼睛 的方向、圖像的運動矢量以及圖像中左右聲道的音量之間的差來確定 場景改變前后圖像間的關(guān)系，
在步驟ST34，根據(jù)場景改變前后圖像間的關(guān)系，產(chǎn)生關(guān)于場景 改變后的圖像的顯示位置的顯示位置信息JP，該信息是在步驟ST33 確定的，然后處理前進到步驟ST35。
在步稞ST35，確定關(guān)于輸入圖像的圖像信號SDin是否結(jié)束。如 果確定圖像信號SDin尚未結(jié)束，則處理返回步驟ST1。如果確定圖 像信號結(jié)束，則圖像處理結(jié)束。
因而，利用按照上述本發(fā)明實施例的用于產(chǎn)生再現(xiàn)信息的設(shè)備 500、用于產(chǎn)生再現(xiàn)信息的方法及其程序產(chǎn)品，檢測場景改變前后的 圖像的特征值，并根據(jù)所述特征值，產(chǎn)生這樣的顯示位置信息JP，使 得場景改變后的圖像的顯示位置被設(shè)置到和場景改變前的圖像相關(guān) 的顯示位置。
因而，按照本發(fā)明的實施例，通過根據(jù)產(chǎn)生的顯示位置信息JP 再現(xiàn)圖像，能夠容易地領(lǐng)會場景的改變，并能夠根據(jù)圖像的內(nèi)容領(lǐng)會在場景改變前后圖像間的關(guān)系。這使得圖像能夠以可理解的方式被呈 現(xiàn)。
因而，按照本發(fā)明的上述實施例的用于處理圖像的設(shè)備和方法、 用于處理圖像的程序產(chǎn)品、用于產(chǎn)生再現(xiàn)信息的設(shè)備和方法以及用于 產(chǎn)生再現(xiàn)信息的程序產(chǎn)品，優(yōu)選地被應用于用于處理關(guān)于輸入圖像例 如電視廣播節(jié)目和電影的圖像信號的設(shè)備等。
本領(lǐng)域技術(shù)人員應當理解，根據(jù)迄今為止的設(shè)計要求和其它因 素，可以作出各種改型、組合、子組合以及等同替換，只要它們都落 在所附權(quán)利要求及其等效物的范圍內(nèi)。
權(quán)利要求
1.一種用于處理圖像的設(shè)備，所述設(shè)備包括場景改變檢測單元，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場景改變；顯示位置控制單元，用于根據(jù)場景改變檢測單元的檢測結(jié)果，把場景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置；以及顯示位置設(shè)置單元，用于把在顯示位置控制單元中確定的顯示位置設(shè)置為顯示在場景改變之后的圖像的顯示位置，其中所述顯示位置控制單元檢測場景改變前后的圖像的特征值，并根據(jù)圖像的特征值確定場景改變之后的圖像的顯示位置。
2. 如權(quán)利要求1所述的設(shè)備，其中所述顯示位置控制單元包括 第一面部區(qū)域提取部分，用于從圖像信號中提取面部圖像的區(qū)域；第一視線方向檢測部分，用于從在第一面部區(qū)域提取部分中提取 的面部圖像的區(qū)域中檢測第一視線方向；延遲部分，用于延遲圖像信號以產(chǎn)生延遲的圖像信號； 第二面部區(qū)域提取部分，用于從自延遲部分接收的延遲圖像信號第二視線方向檢測部分，用于從在第二面部區(qū)域提取部分中提取 的面部圖像的區(qū)域中檢測笫二視線方向；以及顯示方向判定部分，用于在第一和第二視線方向被檢測出之后根 據(jù)表示特征值的第一和笫二視線方向判定關(guān)于圖像信號的輸入圖像 的顯示方向。
3.如權(quán)利要求2所述的設(shè)備，其中第一面部區(qū)域提取部分包括 有色皮膚區(qū)域提取部分，用于從圖像信號提取圖像的值在一個設(shè) 置范圍內(nèi)的像素，并把所述像素設(shè)置為有色皮膚的區(qū)域；水平線檢測部分，用于計數(shù)在每個水平線上在有色皮膚區(qū)域提取部分中提取的有色皮膚區(qū)域中的像素的數(shù)量，并檢測具有最大的計數(shù) 像素數(shù)的水平線，以從具有最大的計數(shù)像素數(shù)的水平線的位置獲得參考點;垂直線檢測部分，用于根據(jù)水平線檢測部分中檢測的水平線的長度獲得垂直線的長度，并把參考點設(shè)置為垂直線的中點；幀區(qū)域提取部分，用于根據(jù)在水平線檢測部分中檢測的水平線和在垂直線檢測部分中檢測的垂直線從圖像中提取幀區(qū)域；以及面部圖像辨別部分，包含用于設(shè)置的面部圖像的模板，計算在所述模板和在幀區(qū)域提取部分提取的幀區(qū)域之間的差值，比較所述差值和預定閾值，并根據(jù)比較結(jié)果辨別圖像中的所述幀區(qū)域是否是面部區(qū)域。
4. 如權(quán)利要求2所述的設(shè)備，其中第二面部區(qū)域提取部分包括 有色皮膚區(qū)域提取部分，用于從延遲的圖像信號提取圖像的值在一個設(shè)置范圍內(nèi)的像素，并把所述像素設(shè)置為有色皮膚的區(qū)域；水平線檢測部分，用于計數(shù)在每個水平線上在有色皮膚區(qū)域提取 部分中提取的有色皮膚區(qū)域中的像素的數(shù)量，并檢測具有最大的計數(shù) 像素數(shù)的水平線，以從具有最大的計數(shù)像素數(shù)的水平線的位置獲得參 考點；垂直線檢測部分，用于根據(jù)水平線檢測部分中檢測的水平線的長 度獲得垂直線的長度，并把參考點設(shè)置為垂直線的中點；幀區(qū)域提取部分，用于根據(jù)在水平線檢測部分中檢測的水平線和 在垂直線檢測部分中檢測的垂直線從圖像中提取幀區(qū)域；以及面部圖像辨別部分，包含用于設(shè)置的面部圖像的模板，計算在所 述模板和在幀區(qū)域提取部分提取的幀區(qū)域之間的差值，比較所述差值 和預定閾值，并根據(jù)比較結(jié)果辨別固像中的所述幀區(qū)域是否是面部區(qū) 域。
5. 如權(quán)利要求1所述的設(shè)備，其中顯示位置控制單元包括 第一延遲部分，用于延遲圖像信號，以產(chǎn)生第一延遲圖像信號； 第二延遲部分，用于延遲第一延遲圖像信號，以產(chǎn)生第二延遲圖像信號；運動矢量檢測部分，用于接收第一和第二延遲圖像信號，并從第一和第二延遲圖像信號檢測運動矢量；運動矢量判定部分，用于根據(jù)在運動矢量檢測部分中檢測的運動矢量判定表示特征值的預定的運動矢量；以及顯示方向判定部分，用于根據(jù)在運動矢量判定部分中判定的運動 矢量判定關(guān)于圖像信號的輸入圖像的顯示方向。
6. 如權(quán)利要求1所述的設(shè)備，其中顯示位置控制單元包括 延遲部分，用于延遲圖像信號，以產(chǎn)生延遲的圖像信號； 音量檢測部分，用于檢測關(guān)于伴隨著延遲的圖像信號的具有多個聲道的音頻信號的音量；音量比較部分，用于計算在音量檢測部分中檢測的聲道之間的音 量的差值，比較所述差值和預定的閾值，并根據(jù)其比較結(jié)果辨別在聲 道之間是否具有音量的差異，所述差值表示特征值；以及顯示方向判定部分，用于根據(jù)在音量比較部分中的辨別結(jié)果判定 關(guān)于圖像信號的輸入圖像的顯示方向。
7. 如權(quán)利要求1所述的設(shè)備，還包括積累單元，用于積累關(guān)于輸 入圖像的圖像信號，其中場景改變檢測單元根據(jù)在所述積累單元中積累的圖像信號 檢測輸入圖像的場景改變；其中當檢測到場景改變時，顯示位置控制單元把場景改變后的圖 像的顯示位置確定為與場景改變前的圖像相關(guān)的顯示位置；其中顯示位置設(shè)置單元把在顯示位置控制單元中確定的顯示位 置設(shè)置為用于顯示場景改變后的圖像的顯示位置，并向積累單元提供 用于在該設(shè)置的顯示位置上顯示場景改變后的圖像的顯示位置信息， 以及其中積累單元根據(jù)提供的用于每個場景的顯示位置信息調(diào)整用 于最終顯示場景改變后的圖像的顯示位置。
8. —種用于處理圖像的方法，所述方法包括第 一步驟，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場景改變；第二步驟，用于根據(jù)第一步驟的檢測結(jié)果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置；以及第三步驟，用于把在第二步驟中確定的顯示位置設(shè)置為顯示在場 景改變之后的圖像的顯示位置，其中在第二步驟中，檢測場景改變前后的圖像的特征值，并根據(jù) 這些圖像的特征值確定顯示在場景改變之后的圖像的顯示位置。
9. 一種程序產(chǎn)品，其允許計算機通過執(zhí)行用于處理圖像的方法來 處理圖像信號，所述方法包括第一步驟，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場 景改變；笫二步驟，用于根據(jù)第一步驟的檢測結(jié)果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置；以及第三步驟，用于把在第二步驟中確定的顯示位置設(shè)置為顯示在場 景改變之后的圖像的顯示位置，其中在第二步驟中，檢測場景改變前后的圖像的特征值，并根據(jù) 這些圖像的特征值確定顯示在場景改變之后的圖像的顯示位置。
10. —種用于產(chǎn)生再現(xiàn)信息的設(shè)備，該設(shè)備處理關(guān)于輸入的圖像 的圖像信號，從而產(chǎn)生關(guān)于輸入的圖像的再現(xiàn)信息，所述設(shè)備包括場景改變檢測單元，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入 圖像的場景改變；以及顯示位置控制單元，用于根據(jù)場景改變檢測單元的檢測結(jié)果把場 景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關(guān)的顯 示位置，其中所述顯示位置控制單元檢測場景改變前后的圖像的特征值， 并根據(jù)圖像的特征值產(chǎn)生再現(xiàn)信息，以便確定場景改變之后的圖像的 顯示位置。
11. 一種通過處理關(guān)于輸入圖像的圖像信號來產(chǎn)生關(guān)于輸入圖像的再現(xiàn)信息的方法，所述方法包括第 一步驟，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場 景改變；以及第二步驟，用于根據(jù)第一步驟的檢測結(jié)果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置，其中所述第二步驟包括以下子步驟檢測場景改變前后的圖像的 特征值，以及產(chǎn)生再現(xiàn)信息，以根據(jù)圖像的特征值確定在場景改變之 后圖像的顯示位置.
12.—種程序產(chǎn)品，其允許計算機通過執(zhí)行下述步驟產(chǎn)生用于再 現(xiàn)關(guān)于輸入圖像的圖像信號的再現(xiàn)信息第一步驟，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場 景改變；以及第二步驟，用于根據(jù)第一步驟的檢測結(jié)果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置，其中所述第二步驟包括以下子步驟檢測場景改變前后的圖像的 特征值，以及產(chǎn)生再現(xiàn)信息，以根據(jù)圖像的特征值確定在場景改變之 后圖像的顯示位置。
全文摘要
本發(fā)明公開了處理圖像的設(shè)備和方法及產(chǎn)生再現(xiàn)信息的設(shè)備和方法。一種用于處理圖像的設(shè)備包括場景改變檢測單元，用于根據(jù)關(guān)于輸入圖像的圖像信號檢測輸入圖像的場景改變；顯示位置控制單元，用于根據(jù)場景改變檢測單元的檢測結(jié)果，把場景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關(guān)的顯示位置；以及顯示位置設(shè)置單元，用于把在顯示位置控制單元中確定的顯示位置設(shè)置為顯示在場景改變之后的圖像的顯示位置。所述顯示位置控制單元檢測場景改變前后的圖像的特征值，并根據(jù)圖像的特征值確定場景改變之后的圖像的顯示位置。
文檔編號H04N5/74GK101291392SQ200810092940
公開日2008年10月22日 申請日期2008年4月18日 優(yōu)先權(quán)日2007年4月20日
發(fā)明者山元左近, 近藤哲二郎 申請人:索尼株式會社