專利名稱：圖像顯示控制裝置、圖像顯示控制方法及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及驅(qū)動(dòng)顯示器件的圖像顯示控制裝置、圖像顯示控制方法，以及圖像顯示控制裝置中采用的集成電路。
背景技術(shù)：
以往，在電視播放節(jié)目、數(shù)碼靜態(tài)照相機(jī)或數(shù)字電影等中顯示拍攝到的圖像的圖像顯示控制裝置是以影像顯示在畫面整體上為通常的使用狀態(tài)。但是，隨著近年來圖像顯示控制裝置配備有高清晰度的大畫面，提出了在大于拍攝到的圖像的可顯示區(qū)域內(nèi)移動(dòng)并顯示圖像的技術(shù)。例如，專利文獻(xiàn)1中公開了以下技術(shù)。即，在顯示的圖像中通過圖像處理提取運(yùn)動(dòng)矢量，通過運(yùn)動(dòng)矢量的加權(quán)加算并平均化提取各個(gè)圖像的主要?jiǎng)討B(tài)信息，或者，顯示的圖像以MPEG(Moving Picture Expert Group)等在內(nèi)部存放運(yùn)動(dòng)信息的動(dòng)態(tài)圖像格式記錄時(shí)， 從其動(dòng)態(tài)圖像數(shù)據(jù)中提取運(yùn)動(dòng)矢量，通過上述方法提取各個(gè)圖像的主要?jiǎng)討B(tài)信息，然后，相應(yīng)于其運(yùn)動(dòng)信息，使顯示圖像的位置在可顯示區(qū)域內(nèi)移動(dòng)。但是，由于這一技術(shù)使得圖像的顯示位置根據(jù)被攝體的運(yùn)動(dòng)產(chǎn)生移動(dòng)，從而存在顯示中的圖像從圖像顯示區(qū)域逸出、且無法正確顯示圖像的課題。專利文獻(xiàn)2中公開了解決以上課題的技術(shù)。具體來說，公開了以下技術(shù)。即，檢測(cè)圖像的場(chǎng)景變化，縮小可顯示區(qū)域內(nèi)的移動(dòng)量來進(jìn)行移動(dòng)，使得場(chǎng)景中位于移動(dòng)振幅中心的圖像顯示在可顯示區(qū)域的中心，并且使得圖像顯示在可顯示區(qū)域內(nèi)。專利文獻(xiàn)1 日本特開平10-301556號(hào)公報(bào)專利文獻(xiàn)2 日本特開2003-256846號(hào)公報(bào)但在現(xiàn)有技術(shù)中，由于根據(jù)顯示圖像的運(yùn)動(dòng)矢量移動(dòng)顯示位置，因此雖可再現(xiàn)與拍攝圖像顯示控制裝置顯示的圖像的攝像機(jī)的攝像面平行方向上的被攝體的運(yùn)動(dòng)，但對(duì)于該攝像機(jī)的光軸方向(縱深方向)上的被攝體的運(yùn)動(dòng)卻難以再現(xiàn)。對(duì)其原因，通過圖23 25的具體例子進(jìn)行詳細(xì)說明。圖23示出了拍攝圖像顯示控制裝置顯示的圖像的攝像機(jī)的坐標(biāo)系、和在該坐標(biāo)系中被攝體的移動(dòng)的例子。圖中的X軸表示攝像機(jī)攝像面的右方向，Y軸表示攝像面的下方向，Z軸表示攝像機(jī)的光軸方向(即，縱深方向)，攝像機(jī)以X軸為水平方向、Y軸為垂直向下的方式被固定住。并且，如點(diǎn)線所示，被攝體向攝像機(jī)趨近移動(dòng)。在點(diǎn)線上用黑圓點(diǎn)表示的各時(shí)間點(diǎn)，標(biāo)示出的圖像為被拍攝到的圖像。此外，在圖像的左上角標(biāo)出了用于識(shí)別各圖像的編號(hào)，在后述的圖24、圖25中，同一編號(hào)的圖像為各自相對(duì)應(yīng)的圖像。圖M為將由上述方式取得的圖像用現(xiàn)有技術(shù)顯示的圖像。圖23的例子中，雖可生成與圖像上的被攝體被放大相對(duì)應(yīng)的運(yùn)動(dòng)矢量，但這種運(yùn)動(dòng)矢量的成分分散在多個(gè)方向上，因此，如果以專利文獻(xiàn)1中描述的方式對(duì)運(yùn)動(dòng)矢量進(jìn)行加權(quán)加算并取平均，則大多相互抵消。并且，主要檢測(cè)的是與被攝體的XY方向上的移動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量。在圖23的例子中，由于被攝體沒有進(jìn)行跳躍等上下方向的運(yùn)動(dòng)，所以Y方向上的動(dòng)態(tài)信息從圖像上幾乎檢測(cè)不到。因此，在現(xiàn)有技術(shù)中，盡管被攝體做了向攝像機(jī)趨近的運(yùn)動(dòng)，但如圖M所示，只顯示為似乎圖像主要在大畫面的橫向(X方向)移動(dòng)。并且，在現(xiàn)有技術(shù)中，只部分再現(xiàn)被攝體的運(yùn)動(dòng)，因此在顯示的動(dòng)態(tài)化方面存在問題。

發(fā)明內(nèi)容
因此，本發(fā)明的目的為，針對(duì)大于顯示圖像的可顯示區(qū)域，通過在對(duì)應(yīng)于被攝體的空間中的位置的顯示位置進(jìn)行圖像顯示，再現(xiàn)被攝體的空間中的移動(dòng)，尤其是再現(xiàn)趨向縱深方向的移動(dòng)。更具體為，如圖25所示，通過將縱深方向的移動(dòng)在顯示圖像中以上下方向的移動(dòng)進(jìn)行表現(xiàn)，動(dòng)態(tài)地顯示被攝體。為達(dá)到上述目的，本發(fā)明提供一種圖像顯示控制裝置。本發(fā)明的圖像顯示控制裝置是驅(qū)動(dòng)顯示器件的圖像顯示控制裝置，其包括以下部件內(nèi)容管理部，將動(dòng)態(tài)圖像的圖像數(shù)據(jù)與由以拍攝被攝體的攝像機(jī)為基準(zhǔn)的直角坐標(biāo)系記錄的被攝體的位置信息，以幀單位 (frame unit)進(jìn)行對(duì)應(yīng)并存儲(chǔ)；顯示位置決定部，將所述坐標(biāo)系中縱深方向的被攝體的坐標(biāo)對(duì)應(yīng)于顯示器件的縱軸坐標(biāo)，并將所述坐標(biāo)系中橫軸方向的被攝體的坐標(biāo)對(duì)應(yīng)于顯示器件的橫軸坐標(biāo)，以決定動(dòng)態(tài)圖像的顯示位置；顯示器件控制部，將在所述顯示位置決定部決定的顯示位置顯示動(dòng)態(tài)圖像的信號(hào)發(fā)送到顯示器件。通過上述結(jié)構(gòu)，本發(fā)明不僅可再現(xiàn)顯示與拍攝被攝體的攝像機(jī)的攝像面平行的被攝體的運(yùn)動(dòng)，還可再現(xiàn)顯示相對(duì)攝像機(jī)攝像面垂直的縱深方向的運(yùn)動(dòng)。據(jù)此，用戶可以識(shí)別相對(duì)攝像機(jī)攝像面垂直的縱深方向上的被攝體的移動(dòng)。


圖1是表示本發(fā)明第一實(shí)施方式中圖像顯示控制裝置的結(jié)構(gòu)的方塊圖。圖2示出輸入圖像中被攝體的圖像內(nèi)位置的一個(gè)例子。圖3示出顯示器件的基準(zhǔn)坐標(biāo)的一個(gè)例子。圖4是第一實(shí)施方式中顯示位置決定部106的流程圖。圖5示出顯示圖像中被攝體的圖像內(nèi)位置、及顯示畫面中顯示圖像的顯示位置的一個(gè)例子。圖6示出用本發(fā)明第一實(shí)施方式中的圖像顯示控制裝置對(duì)圖5的顯示位置后進(jìn)行修正并顯示的圖像的一個(gè)例子。圖7示出為檢測(cè)被攝體的位置而測(cè)定的信息的一個(gè)例子。圖8示出位置生成部103生成的、由距離感應(yīng)器和角度感應(yīng)器測(cè)得的被攝體位置信息的一個(gè)例子。圖9示出位置生成部103生成的、攝像機(jī)坐標(biāo)中的被攝體信息的一個(gè)例子。圖10示出圖像解析部102檢測(cè)出的被攝體的圖像內(nèi)位置信息的一個(gè)例子。圖11示出臨時(shí)顯示位置2的一個(gè)例子。圖12示出顯示位置的一個(gè)例子。圖13示出一部分輸入圖像中不包含被攝體時(shí)，用圖標(biāo)替代圖像顯示被攝體的例子。
圖14示出由于手顫等導(dǎo)致圖像中的被攝體位置發(fā)生劇烈變化的狀態(tài)下，被攝體被拍攝時(shí)的被攝體的移動(dòng)軌跡和輸入圖像的一個(gè)例子。圖15示出不考慮圖像中的被攝體位置，而對(duì)應(yīng)于空間中的被攝體位置顯示圖14 的輸入圖像的例子。圖16示出考慮圖像中的被攝體位置來顯示圖像的例子。圖17示出本發(fā)明第二實(shí)施方式中圖像顯示控制裝置的結(jié)構(gòu)。圖18是第二實(shí)施方式中顯示位置決定部1061的流程圖。圖19是第二實(shí)施方式中顯示位置決定部1061進(jìn)行其他動(dòng)作時(shí)的流程圖。圖20示出在場(chǎng)景的一部分進(jìn)行變焦后，被攝體被拍攝時(shí)的被攝體的移動(dòng)軌跡和輸入圖像的一個(gè)例子。圖21示出用本發(fā)明第一實(shí)施方式中的圖像顯示控制裝置顯示圖20的輸入圖像的圖像的一個(gè)例子。圖22示出用本發(fā)明第二實(shí)施方式中的圖像顯示控制裝置顯示圖20的輸入圖像的圖像的一個(gè)例子。圖23示出被攝體被拍攝時(shí)的被攝體的移動(dòng)軌跡和輸入圖像的一個(gè)例子。圖M示出用現(xiàn)有發(fā)明中的圖像顯示控制裝置顯示圖23的輸入圖像的圖像的一個(gè)例子。圖25示出用本發(fā)明第一實(shí)施方式中的圖像顯示控制裝置顯示圖23的輸入圖像的圖像的一個(gè)例子。附圖標(biāo)記說明100 圖像顯示控制裝置；101 圖像輸入部；102 圖像解析部；103 位置生成部； 104 內(nèi)容管理部；1041 圖像存儲(chǔ)部；1042 圖像內(nèi)位置存儲(chǔ)部；1043 被攝體位置存儲(chǔ)部； 1044 變焦值存儲(chǔ)部；1045 圖像內(nèi)位置大小存儲(chǔ)部；105 顯示畫面區(qū)域尺寸取得部；106、 1061 顯示位置決定部；107、1071 顯示器件控制部；108 顯示器件；200、203、204、205、 206 輸入圖像；201 輸入圖像內(nèi)的被攝體；300 顯示畫面；700 被攝體位置檢測(cè)時(shí)的構(gòu)成例；800 用于計(jì)算被攝體位置的計(jì)量數(shù)據(jù)；900 被攝體位置信息；1000 圖像內(nèi)位置信息； 1100 臨時(shí)顯示位置2的計(jì)算結(jié)果；1200 顯示位置的計(jì)算結(jié)果；1300 圖標(biāo)。
具體實(shí)施例方式(第一實(shí)施方式)以下，對(duì)于本發(fā)明第一實(shí)施方式中的圖像顯示控制裝置，參照?qǐng)D面進(jìn)行說明。圖1 是對(duì)本實(shí)施方式中的圖像顯示控制裝置的結(jié)構(gòu)進(jìn)行說明的方塊圖。本實(shí)施方式中的圖像顯示控制裝置100，包括圖像輸入部101、圖像解析部102、位置生成部103、內(nèi)容管理部104、顯示畫面區(qū)域尺寸取得部105、顯示位置決定部106、及顯示器件控制部107。圖像輸入部101輸入并編碼動(dòng)態(tài)圖像的圖像流。圖像輸入部101例如可采用攝像機(jī)等。圖像解析部102解析圖像輸入部101的圖像數(shù)據(jù)，并檢測(cè)被攝體在圖像中的位置。 這種被攝體是指人物、動(dòng)物、車輛等運(yùn)動(dòng)的物體。圖像解析部102解析圖像數(shù)據(jù)的時(shí)機(jī)可以是圖像數(shù)據(jù)的輸入時(shí)，也可以在中央處理裝置檢知到一定時(shí)間以上的空閑狀態(tài)時(shí)，讀取圖像存儲(chǔ)部1041存儲(chǔ)的圖像數(shù)據(jù)，并解析圖像數(shù)據(jù)。作為檢測(cè)方法，例如可以采用預(yù)先學(xué)習(xí)被攝體的臉部圖案，通過臉部識(shí)別處理從圖像數(shù)據(jù)檢測(cè)被攝體的方法等。此外，也可以采用讓用戶指定被攝體的對(duì)象后，在其他圖像中對(duì)同一對(duì)象通過圖像解析進(jìn)行提取，以對(duì)被攝體的位置進(jìn)行確定的方法。此時(shí)，不只依據(jù)被攝體的臉部，也可依據(jù)被攝體的服裝的顏色和式樣對(duì)被攝體進(jìn)行確定。此時(shí)，圖像解析部102檢測(cè)出的被攝體的位置為顯示臉部的區(qū)域的重心、或顯示被攝體對(duì)象的區(qū)域的重心的坐標(biāo)。圖2示出了輸入圖像200中被攝體201的圖像內(nèi)位置。以圖像的橫向?yàn)閁i軸、縱向?yàn)閂i軸的直角坐標(biāo)系表示輸入圖像200時(shí)，圖像尺寸表示為(Wi,印)。這里，輸入圖像為 VGA尺寸時(shí)，則圖像尺寸為(640，480)。這一例子中，將顯示臉部的區(qū)域的重心設(shè)定為被攝體201的位置，圖像內(nèi)位置以(UnV1)的方式表示。位置生成部103輸入通過后述位置檢測(cè)方法檢測(cè)出的被攝體的地理上的位置，并生成以拍攝被攝體的攝像機(jī)為基準(zhǔn)的坐標(biāo)系(以下，稱為攝像機(jī)坐標(biāo)系)中的位置。隨后， 將生成的攝像機(jī)坐標(biāo)系中的被攝體位置輸出到被攝體位置存儲(chǔ)部1043(后述)。作為檢測(cè)被攝體地理上的位置的位置檢測(cè)方法，例如利用距離感應(yīng)器和角度感應(yīng)器取得被攝體與圖像顯示控制裝置的距離和角度，從而對(duì)位置進(jìn)行確定的方法，利用GPS檢測(cè)位置的方法，以及在空間中預(yù)先設(shè)置無線標(biāo)簽的讀取器，通過無線標(biāo)簽檢測(cè)位置的方法等。以下，對(duì)攝像機(jī)坐標(biāo)系進(jìn)行說明。這一坐標(biāo)系如圖23所示，X軸為攝像機(jī)攝像面的右方向，Y軸為攝像面的下方向，Z軸為攝像機(jī)的視線方向(即，縱深方向)。用戶進(jìn)行拍攝時(shí)，攝像機(jī)通常朝著水平方向，因此可以認(rèn)為X軸、Z軸大致在水平面上。因此在本實(shí)施方式中，以下以X軸、Z軸在水平面上進(jìn)行說明。此外，用戶在拍攝一個(gè)場(chǎng)景時(shí)，也有可能多角度轉(zhuǎn)動(dòng)攝像機(jī)以跟蹤拍攝全景。此時(shí)，將某一基準(zhǔn)方位定為Z軸的正方向，將與其垂直的水平面上的軸定為X軸。這一基準(zhǔn)方位例如可以是朝北的方位角度，也可以是記錄開始時(shí)、 記錄結(jié)束時(shí)的攝像機(jī)的光軸方向。位置生成部103，在通過上述位置檢測(cè)方式檢測(cè)出的被攝體的位置信息為經(jīng)度緯度等不同的坐標(biāo)系上的位置信息時(shí)，另行求出該坐標(biāo)系上的攝像機(jī)的位置信息、攝像機(jī)的光軸方向，并進(jìn)行平移、回轉(zhuǎn)來生成攝像機(jī)坐標(biāo)系上的被攝體的位置信息。此外，輸入的被攝體的位置信息雖然是在以攝像機(jī)為基準(zhǔn)的坐標(biāo)系上，但該坐標(biāo)系卻為極坐標(biāo)系時(shí)，也可生成直角坐標(biāo)系的攝像機(jī)坐標(biāo)系上的被攝體的位置信息。內(nèi)容管理部104，包括圖像存儲(chǔ)部1041、圖像內(nèi)位置存儲(chǔ)部1042和被攝體位置存儲(chǔ)部1043。圖像存儲(chǔ)部1041存儲(chǔ)由圖像輸入部101編碼的圖像數(shù)據(jù)。圖像內(nèi)位置存儲(chǔ)部 1042，將圖像解析部102檢測(cè)出的圖像區(qū)域內(nèi)的被攝體的位置信息和圖像數(shù)據(jù)以幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)。被攝體位置存儲(chǔ)部1043，將位置生成部103生成的攝像機(jī)坐標(biāo)系上的位置信息和圖像數(shù)據(jù)以幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)。被攝體位置存儲(chǔ)部1043，如后述例子所示，可以以X坐標(biāo)、Z坐標(biāo)的二維數(shù)值進(jìn)行保存。顯示畫面區(qū)域尺寸取得部105取得顯示器件的畫面尺寸。該取得方法可以是讀取預(yù)先設(shè)置在圖像顯示控制裝置100中的數(shù)據(jù)，也可以通過HDMI (High-Definition Multimedia Interface)等各種界面，從顯示器件108 (后述)取得畫面尺寸。這種顯示畫面區(qū)域尺寸，如圖3所示，在將顯示器件顯示的圖像的橫向?yàn)閁d軸、縱向?yàn)閂d軸的直角坐標(biāo)系中，以(Wd，Hd)的形式表示。例如，在超高清(Super Hi-Vision)規(guī)格的顯示器件，為 (7680,4320)。顯示位置決定部106，利用存儲(chǔ)在圖像內(nèi)位置存儲(chǔ)部1042中的圖像區(qū)域內(nèi)的圖像內(nèi)位置信息、存儲(chǔ)在被攝體位置存儲(chǔ)部1043中的被攝體在攝像機(jī)坐標(biāo)系中的位置信息、以及由顯示畫面區(qū)域尺寸取得部105取得的顯示器件的畫面尺寸信息，決定顯示器件108上的顯示位置。顯示位置決定部106的處理細(xì)節(jié)將在后述。顯示器件控制部107，將在顯示位置決定部106決定的顯示位置上顯示圖像存儲(chǔ)部1041存儲(chǔ)的圖像數(shù)據(jù)的信號(hào)發(fā)送到顯示器件108。顯示器件108指液晶、等離子體、電子射線管、有機(jī)EUElectro-Luminescence)等各種顯示器件。在本實(shí)施例中，雖是將顯示器件108設(shè)置在圖像顯示控制裝置100以外的結(jié)構(gòu)，但也可將顯示器件108加入到圖像顯示控制裝置100的結(jié)構(gòu)要素中。以下，對(duì)本發(fā)明顯示位置決定部106的詳細(xì)處理流程進(jìn)行說明。圖4示出顯示位置決定部106決定顯示位置時(shí)的處理流程。首先，顯示位置決定部106對(duì)存儲(chǔ)在被攝體位置存儲(chǔ)部1043中的被攝體位置的X 坐標(biāo)、Z坐標(biāo)的最大差分進(jìn)行計(jì)算(Ml)。這種X坐標(biāo)的最大差分、Z坐標(biāo)的最大差分以后表示為Dx、Dz。此外，將計(jì)算這種差分時(shí)所需的X坐標(biāo)的最大值、最小值分別用Xmax、Xmin表示，Z坐標(biāo)的最大值、最小值分別用Zmax、Zmin表示。其次，顯示位置決定部106取得顯示畫面區(qū)域尺寸取得部105取得的顯示畫面的區(qū)域尺寸(Wd，Hd)、和存儲(chǔ)在圖像內(nèi)位置存儲(chǔ)部1042中的圖像內(nèi)位置信息。隨后，算出顯示畫面的有效區(qū)域尺寸(Sa2)。圖5示出的是在區(qū)域尺寸為(Wd，Hd)的顯示畫面300整體上， 為了顯示攝像機(jī)坐標(biāo)系中的所有被攝體位置，求出相應(yīng)于被攝體位置的Ud、Vd坐標(biāo)，并將該坐標(biāo)作為被攝體201的圖像內(nèi)位置來顯示各被攝體圖像的例子。圖5中，對(duì)應(yīng)于輸入圖像 203、204、205、206的各被攝體位置，在攝像機(jī)坐標(biāo)系中為X坐標(biāo)最小、Z坐標(biāo)最大、X坐標(biāo)最大、Z坐標(biāo)最小。這些輸入圖像如圖5所示，配置在顯示畫面300的左邊緣、上端、右邊緣、 下端。用這一方式在顯示畫面的區(qū)域整體確定被攝體的顯示位置時(shí)，顯示出來的是缺失顯示圖像203、204、205、206的左半部、上半部、右半部、下半部的圖像。因此，需要基于顯示畫面的區(qū)域尺寸和圖像內(nèi)位置信息，通過縮小顯示畫面的有效區(qū)域來解決顯示圖像缺失的問題。具體來說，對(duì)于顯示圖像203，如圖6所示，只需在Ud軸正向上將區(qū)域尺寸縮小U3, 使開始位置的Ud坐標(biāo)為U3,即可避免顯示圖像的左半部分的缺失。對(duì)于顯示圖像204，在Vd 軸正向上只需以V4幅度縮小區(qū)域尺寸，使開始位置的Vd坐標(biāo)為V4,即可避免顯示圖像的上半部分的缺失。對(duì)于顯示圖像205，在Ud軸負(fù)向上只需以(Wi-U5)幅度縮小區(qū)域尺寸，即可避免顯示圖像的右半部分缺失。對(duì)于顯示圖像206，在Vd軸負(fù)向上只需以(Hi-V6)幅度縮小區(qū)域尺寸，即可避免顯示圖像的下半部分的缺失。將以上處理進(jìn)行通?？紤]，則演算方式如下。對(duì)于所有輸入圖像Ij (j = 1 · · N) (N為場(chǎng)景中的幀數(shù))，將攝像機(jī)坐標(biāo)系中被攝體位置的X坐標(biāo)、Z坐標(biāo)設(shè)為(Xj, Zj) (j = 1 · · N)，圖像內(nèi)位置信息設(shè)為(Uj, Vj) (j = 1 · · N)。計(jì)算有效區(qū)域尺寸時(shí)，首先算出[UrWd · (Xj-Xfflin) /DJ、[Wi-UrWd · (Xfflax-Xj) /DJ、[VrHd · (Zmax-Zj) /Dz]、[Hi-VrHd · (ZrZmin) /Dz]
(j = 1 · · N)的最大值。將這些最大值分別定為MAX [UrWd · (XrXmin) /Dj、MAX [Wi-UrWd · (Xmax-Xj) /Dj、MAX [VrHd · (Zmax-Zj)/Dz]、MAX [Hi-VrHd · (ZrZmin) /Dz]時(shí)，則有效區(qū)域尺寸(We，He)可通過以下公式算出。[數(shù)學(xué)式1]We = Wd-MAX [UrWd · (XrXmin) /Dj -MAX [Wi-UrWd · (Xmax-Xj/Dj[數(shù)學(xué)式2]He = Hd-MAX [VrHd · (Zmax-Zj) /Dz] -MAX [Hi-VrHd · (ZrZmin) /Dz]此夕卜，將U” (Wi-Uj)、Vj, (Hi-Vj) (j = 1 · · N)的最大值分別定為 MAX[Uj]、 MAX [Wi-Uj]、MAX [V」]、MAX [Hi-Vj]時(shí)，有效區(qū)域尺寸(We，Ηε)也可通過以下公式簡(jiǎn)便地算出。[數(shù)學(xué)式3]We = Wd-MAX [Uj] -MAX [Wi-Uj][數(shù)學(xué)式4]He = Hd-MAX [Vj] -MAX [Hi-Vj]其次，顯示位置決定部106基于步驟Sal中算出的Dx、Dz、和步驟中算出的有效區(qū)域尺寸(I，扎)，通過以下公式算出X方向的縮小率Rx、Z方向的縮小率Rz(Sa3)。[數(shù)學(xué)式5]Rx = ffe/Dx[數(shù)學(xué)式6]Rz = EjOz其次，顯示位置決定部106利用步驟中算出的縮小率和被攝體位置信息400， 求出基于顯示畫面尺寸換算出的臨時(shí)顯示位置l(Sa4)。這一臨時(shí)顯示KUjl，Vj,) (j = 1 · ·Ν)可通過以下公式算出。[數(shù)學(xué)式7]Ujl = (Xj-Xfflin) · Rx[數(shù)學(xué)式8]Vjl = (Zfflax-Zj) · Rz其次，顯示位置決定部106為使被攝體的臉部配置在由被攝體位置的X坐標(biāo)、Z坐標(biāo)的值算出的顯示位置上，從步驟Sa4算出的臨時(shí)顯示位置KUjl，Vj,)中減去圖像內(nèi)位置信息的值，通過以下公式算出臨時(shí)顯示位置2(Uj2，Vj2) (j = 1 · · N) (Sa5)。[數(shù)學(xué)式9]Uj2 = Uji-Uj[數(shù)學(xué)式10]Vj2 = Vji-Vj其次，顯示位置決定部106為使顯示位置限制在顯示畫面區(qū)域內(nèi)，對(duì)于所有臨時(shí)顯示位置2，在各Ud坐標(biāo)、Vd坐標(biāo)中分別加算或減去相同數(shù)值，使得臨時(shí)顯示位置2 (UJ2,VJ2) 的Ud坐標(biāo)、Vd坐標(biāo)的最小值為0，從而算出顯示位置(Ujf，Vjf) (j = 1 · · N) (Sa6)。這種顯示位置(Ujf，Vjf)是將圖6中輸入圖像203 206的原點(diǎn)(左上角的像素)的位置用Ud坐標(biāo)、Vd坐標(biāo)示出的值。其次，對(duì)本發(fā)明第一實(shí)施方式中涉及的實(shí)施例進(jìn)行詳細(xì)說明。圖7示出了利用距離感應(yīng)器和角度感應(yīng)器檢測(cè)被攝體的位置時(shí)，所測(cè)定信息的構(gòu)成例700。將圖像顯示控制裝置101與被攝體的距離設(shè)為d，并將相對(duì)于某一基準(zhǔn)方位的、被攝體的位置所在的角度設(shè)為 θ，從而進(jìn)行計(jì)量?；鶞?zhǔn)方位可為向北的方位角，也可將記錄開始時(shí)、結(jié)束時(shí)的攝像機(jī)的光軸方向定為基準(zhǔn)。圖8示出了構(gòu)成例700中計(jì)量的、表示與被攝體的距離d和角度θ的計(jì)量數(shù)據(jù)800。圖9示出了利用計(jì)量數(shù)據(jù)800轉(zhuǎn)換到攝像機(jī)坐標(biāo)系的被攝體位置信息900。由于圖像顯示控制裝置101與被攝體的距離為d、角度為θ，從而被攝體位置信息400可由 (dsin θ ,dcos θ )求算出。例如，由圖8的基準(zhǔn)時(shí)刻開始的經(jīng)過時(shí)間為1時(shí)，由于d = 8. 3、 θ = 14，(9. 0sinl4° ,9. 0cosl4° ) = (2.01,8. 05)為被攝體的位置信息。圖10示出了將VGA尺寸(640X480)的圖像數(shù)據(jù)通過臉部識(shí)別處理進(jìn)行解析，對(duì)圖像內(nèi)被攝體的位置進(jìn)行導(dǎo)出的圖像內(nèi)位置信息500的一個(gè)例子。例如，由基準(zhǔn)時(shí)刻開始的經(jīng)過時(shí)間為1時(shí)，意味著被攝體的臉部位于圖像數(shù)據(jù)的(觀0，360)位置上。圖像內(nèi)位置存儲(chǔ)部1042存放有圖10的數(shù)據(jù)、及被攝體位置存儲(chǔ)部1043存放有圖 9的數(shù)據(jù)時(shí)，顯示位置決定部106進(jìn)行如下操作。首先，在圖4的步驟Sal中，由于X坐標(biāo)的最小值為2. 01、最大值為10. 96，所以X坐標(biāo)的最大差分Dx為8. 95。并且，由于Z坐標(biāo)的最小值為5. 97、最大值為10. 96，所以Z坐標(biāo)的最大差分Dz為4. 99。其次，將顯示畫面的區(qū)域尺寸定為(7680,4320)時(shí)，在步驟中，可采用[數(shù)學(xué)式3][數(shù)學(xué)式4]的簡(jiǎn)易方式，如下算出有效區(qū)域尺寸(We，He)。We = 7680-300-(640-114) = 6854He = 4320-372-(480-357) = 3825隨后，在步驟Sa3中，X方向的縮小率RX、Z方向的縮小率Rz可通過[數(shù)學(xué)式5][數(shù)學(xué)式6]如下算出。Rx = 6854 + 8. 95 = 765. 8Rz = 3825^-4. 99 = 766. 5其次，在步驟Sa4中，利用步驟Sa3中算出的縮小率和被攝體位置信息900，求算出基于顯示畫面尺寸換算的臨時(shí)顯示位置1 (Uf D。例如，由基準(zhǔn)時(shí)刻開始的經(jīng)過時(shí)間為1 時(shí)，由于被攝體位置信息為(2. 01，8. 05)，臨時(shí)顯示位置1 (U11, V11)可通過[數(shù)學(xué)式7][數(shù)學(xué)式8]如下算出。U11 = (2. 01-2. 01) X 765. 8 = 0. 0V11 = (10. 96-8. 05) X 766. 5 = 2230. 5其次，在步驟Sa5中，臨時(shí)顯示位置2( ，Vj2)如下算出。例如，由基準(zhǔn)時(shí)刻開始的經(jīng)過時(shí)間為1時(shí)，由于圖像內(nèi)位置信息為080，120)，臨時(shí)顯示位置2 (U12，V12)可通過[數(shù)學(xué)式9][數(shù)學(xué)式10]如下算出。U12 = 0. 0-280 = -280. 0V12 = 2230. 5-360 = 1870. 5圖11示出了由基準(zhǔn)時(shí)刻開始的經(jīng)過時(shí)間為1至10期間的、算出的臨時(shí)顯示位置2的結(jié)果。其次，在步驟 6中，顯示位置(Ujf，Vjf)如下算出。例如，由基準(zhǔn)時(shí)刻開始的經(jīng)過時(shí)間為1時(shí)，由于臨時(shí)顯示位置2的Ud坐標(biāo)、Vd坐標(biāo)的最小值分別為-280. 0,-372. 0，因此顯示位置(Ulf，Vlf)如下。Ulf = -280. 0+280. 0 = 0Vlf = 1870. 5+372. 0 = 2242. 5圖12示出了由基準(zhǔn)時(shí)刻開始的經(jīng)過時(shí)間為1至10期間的、算出的顯示位置的結(jié)^ ο對(duì)于本發(fā)明第一實(shí)施方式的說明如上，但圖像顯示控制裝置100具有直接檢測(cè)攝像機(jī)坐標(biāo)系中的被攝體位置的功能單元時(shí)，位置生成部103即相當(dāng)于該功能單元。而直接檢測(cè)攝像機(jī)坐標(biāo)系中的被攝體位置的功能單元設(shè)置在圖像顯示控制裝置100的外部、且與圖像顯示控制裝置100相連時(shí)，從外部的位置檢測(cè)功能單元輸入位置信息、且將被攝體的位置寫入被攝體位置存儲(chǔ)部1043的功能，則由位置生成部103承擔(dān)。再者，被攝體的運(yùn)動(dòng)劇烈，以致拍攝的一部分過程中攝像機(jī)沒有捕捉到被攝體時(shí)， 即，被攝體存在于拍攝被攝體的攝像機(jī)的拍攝范圍外時(shí)，也可賦予適當(dāng)?shù)闹底鳛閳D像內(nèi)位置信息，從而對(duì)被攝體與攝像機(jī)拍攝范圍的位置關(guān)系加以明確。例如，通過被攝體位于攝像機(jī)拍攝范圍外的右側(cè)時(shí)賦予(Wi，0)、位于左側(cè)時(shí)賦予(-1，0)、位于上側(cè)時(shí)賦予(0，-1)、位于下側(cè)時(shí)賦予(0，Hi)的設(shè)定，再現(xiàn)顯示圖像的位置和被攝體所在的位置關(guān)系。通過這些處理， 在被攝體從圖像區(qū)域內(nèi)的外側(cè)至進(jìn)入圖像區(qū)域內(nèi)的場(chǎng)景中，可減少圖像的顯示位置產(chǎn)生大幅度變化的情況，從而可使得圖像位置平滑地進(jìn)行遷移。作為檢測(cè)被攝體位于拍攝范圍外的哪一位點(diǎn)的方法，可求出攝像機(jī)的光軸方向， 并算出平行于垂直方向且包含光軸的面與由攝像機(jī)引向被攝體的直線構(gòu)成的角θ、及平行于水平方向且包含光軸的面與由攝像機(jī)引向被攝體的直線構(gòu)成的角Φ，基于角度θ、φ， 通過判斷從攝像機(jī)的畫角偏離至哪一方向來進(jìn)行檢測(cè)?；蛘撸部苫诒粩z體從圖像消失瞬間前的、圖幀中的被攝體位置位于圖像的哪一側(cè)來進(jìn)行檢測(cè)。即，將該瞬間前的圖幀的被攝體位置設(shè)為(Uk，Vk)時(shí)，在UpWi-WJ10Hi-Vk的數(shù)值中求出任一為最小的值，以被攝體在 Uk最小時(shí)位于左側(cè)、Wi-Uk最小時(shí)位于右側(cè)、Vk最小時(shí)位于上側(cè)、Hi-Vk最小時(shí)位于下側(cè)的方式進(jìn)行檢測(cè)。此外，被攝體存在于所述的圖像區(qū)域外時(shí)，由于顯示的圖像中不包含被攝體，因此無法再現(xiàn)拍攝時(shí)的被攝體的運(yùn)動(dòng)。此時(shí)，可在對(duì)應(yīng)于被攝體位置信息的顯示位置上，顯示表示被攝體的圖標(biāo)或卡通形象或臉部圖像等，也可顯示由被攝體看到的、在攝像機(jī)拍攝范圍的方向上拍攝到的圖像。這一示例示于圖13。圖13中，由于拍攝圖像(5)的過程中被攝體突然向左向移動(dòng)，使得圖像(5)的拍攝范圍位于被攝體的右側(cè)，因此在圖標(biāo)1300的右側(cè)顯示圖像(5)。此時(shí)，在[數(shù)學(xué)式9]及[數(shù)學(xué)式10]中使用的圖像內(nèi)位置信息不采用上述的(Wi, 0)、(-1,0)等數(shù)值。如圖13所示，將顯示圖標(biāo)等的圖像的大小設(shè)定為橫向U。(但是使U。 <1)、縱向火(但是使火<印)時(shí)，則可采用(U。/2，V。/2)作為圖像內(nèi)位置信息。并且，在計(jì)算[數(shù)學(xué)式1]至[數(shù)學(xué)式4]的有效區(qū)域尺寸時(shí)，相應(yīng)于畫面內(nèi)信息的位置，對(duì)處理做如下變更。圖像內(nèi)位置信息為％，0)時(shí)，在運(yùn)算[數(shù)學(xué)式1]的MAXtUj-W^ (Xj-Xfflin)/DJ或[數(shù)學(xué)式3]的MAX[Uj]時(shí)，對(duì)使用圖標(biāo)的圖幀，采用化+Wi以替代化。圖像內(nèi)位置信息為 (-1,0)時(shí)，在運(yùn)算[數(shù)學(xué)式 1]的 MAX[Wi-Uj-Wd. (Xmax-XjVDJ 或[數(shù)學(xué)式 3]的 MAXDVi-Uj] 時(shí)，對(duì)使用圖標(biāo)的圖巾貞，采用W#。以替代Wit5圖像內(nèi)位置信息為(0，-1)時(shí)，在運(yùn)算[數(shù)學(xué)式2]的MAXDli-V^V(Zj-Zmin)/Dz]或[數(shù)學(xué)式4]的MAXDli-Vj時(shí)，對(duì)使用圖標(biāo)的圖幀，用 Hi+V。以替代氏。圖像內(nèi)位置信息為(0, )時(shí)，在運(yùn)算[數(shù)學(xué)式2]的MAX[Vj-Hd VZmax-Zj)/ Dz]或[數(shù)學(xué)式4]的MAX[VJ時(shí)，對(duì)使用圖標(biāo)的圖幀，采用、+Hi以替代、。并且，包括沒有對(duì)被攝體進(jìn)行拍攝的時(shí)刻的被攝體位置的(χ—Ρ，如果進(jìn)行[數(shù)學(xué)式1]至[數(shù)學(xué)式8]的運(yùn)算，也可使表示被攝體的圖標(biāo)等不從顯示畫面缺失。根據(jù)本實(shí)施方式，通過上述結(jié)構(gòu)設(shè)定，相對(duì)于現(xiàn)有的圖像顯示控制裝置只能再現(xiàn)在平行于拍攝被攝體的攝像機(jī)的攝像面運(yùn)動(dòng)的被攝體的運(yùn)動(dòng)，可再現(xiàn)相對(duì)于攝像機(jī)攝像面垂直的縱深方向的運(yùn)動(dòng)。例如，顯示自正面方向向跟前趨近的被攝體時(shí)，相對(duì)于現(xiàn)有的圖像顯示控制裝置大體在固定位置進(jìn)行顯示，通過上述結(jié)構(gòu)設(shè)定，可在顯示畫面區(qū)域的上部至下部方向上進(jìn)行移動(dòng)并顯示。再者，根據(jù)本實(shí)施方式，由于考慮了圖像區(qū)域內(nèi)被攝體的位置來確定顯示位置，因此可在忠實(shí)再現(xiàn)被攝體的運(yùn)動(dòng)的前提下顯示被攝體。例如，如圖14所示，自正面方向向跟前趨近的被攝體的拍攝由于手顫動(dòng)等導(dǎo)致顯示位置零亂時(shí)，如果不考慮圖像區(qū)域內(nèi)被攝體的位置，則如圖15所示，被攝體交錯(cuò)顯示，使得用戶觀看圖像時(shí)非常不流暢。與此相對(duì)，在本實(shí)施方式中，如圖16所示，以符合被攝體實(shí)際移動(dòng)的形式流暢地進(jìn)行顯示，從而便于用戶觀看圖像。(第二實(shí)施方式)在第一實(shí)施方式中，是以拍攝被攝體的攝像機(jī)沒有進(jìn)行變焦為前提的處理而設(shè)定。而將被攝體拍攝過程中進(jìn)行變焦的動(dòng)態(tài)圖像以現(xiàn)有技術(shù)或第一實(shí)施方式的方法進(jìn)行顯示時(shí)，由于被攝體在顯示過程中突然變大或變小，就有可能使視聽這些動(dòng)態(tài)圖像的用戶產(chǎn)生不協(xié)調(diào)的感覺。因此在第二實(shí)施方式中，對(duì)被攝體的大小進(jìn)行固定，或者以不使用戶產(chǎn)生不協(xié)調(diào)的感覺的程度放大縮小后進(jìn)行顯示。圖17是對(duì)本發(fā)明第二實(shí)施方式中的圖像顯示控制裝置的結(jié)構(gòu)進(jìn)行說明的方塊圖。圖17中，內(nèi)容管理部104中新設(shè)有變焦值存儲(chǔ)部1044，并設(shè)有圖像內(nèi)位置大小存儲(chǔ)部 1045以替代圖像內(nèi)位置存儲(chǔ)部1042。并且，由于圖像解析部1021、顯示位置決定部1061和顯示器件控制部1071進(jìn)行一部分有異于第一實(shí)施方式的操作，因此賦予了不同的符號(hào)。余下的結(jié)構(gòu)與第一實(shí)施方式相同，因此省略說明。圖像解析部1021解析圖像輸入部101的圖像數(shù)據(jù)，檢測(cè)出圖像區(qū)域內(nèi)的被攝體。 圖像解析部1021解析圖像數(shù)據(jù)的時(shí)機(jī)、以及被攝體的檢測(cè)方法可與第一實(shí)施方式相同。圖像解析部1021不僅可檢測(cè)顯示臉部的區(qū)域的重心、或顯示被攝體對(duì)象的區(qū)域的重心的坐標(biāo)作為被攝體位置，還可檢測(cè)被攝體的大小。這里，被攝體的大小為被攝體的臉部長(zhǎng)度(縱向長(zhǎng)度)、被攝體的臉部寬度(橫向長(zhǎng)度)、或被攝體對(duì)象的高度(縱向長(zhǎng)度)、被攝體對(duì)象的寬度(橫向長(zhǎng)度)中任意一種形式。變焦值存儲(chǔ)部1044，對(duì)應(yīng)于圖像存儲(chǔ)部1041的各圖像，存儲(chǔ)各個(gè)圖像的變焦值。 圖像內(nèi)位置大小存儲(chǔ)部1045，將圖像解析部1021檢測(cè)出的圖像區(qū)域內(nèi)的被攝體的位置信息及其大小與圖像數(shù)據(jù)以幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)。
顯示位置決定部1061利用存儲(chǔ)在變焦值存儲(chǔ)部1044中的各圖像的變焦值、存儲(chǔ)在圖像內(nèi)位置大小存儲(chǔ)部1045中的圖像區(qū)域內(nèi)的圖像內(nèi)位置信息及被攝體的大小、存儲(chǔ)在被攝體位置存儲(chǔ)部1043中的被攝體在攝像機(jī)坐標(biāo)系中的位置信息、由顯示畫面區(qū)域尺寸取得部105取得的顯示器件的畫面尺寸信息，確定對(duì)存儲(chǔ)在變焦值存儲(chǔ)部1044的各圖像的變焦值進(jìn)行修正后的修正變焦值、及顯示器件上的顯示位置。顯示位置決定部106的處理細(xì)節(jié)將在后述。顯示器件控制部1071對(duì)圖像存儲(chǔ)部1041存儲(chǔ)的圖像數(shù)據(jù)參照修正變焦值進(jìn)行放大縮小后，將在顯示位置決定部106決定的顯示位置上顯示經(jīng)放大縮小的圖像數(shù)據(jù)的信號(hào)發(fā)送到顯示器件108。以下，對(duì)本發(fā)明顯示位置決定部1061的詳細(xì)的處理流程進(jìn)行說明。圖18示出了顯示位置決定部1061的處理流程。首先，顯示位置決定部1061提取存儲(chǔ)在圖像內(nèi)位置大小存儲(chǔ)部1045中的被攝體的大小(Sbl)。隨后，基于被攝體的大小算出各圖像的修正變焦值(S132)。這里，將拍寫到各輸入圖像I」(j = 1 · · N) (N為場(chǎng)景中的幀數(shù))中的被攝體的大小設(shè)為L(zhǎng)」(j = 1 · · N) 時(shí)，修正變焦值MSj (j = 1 · · N)可通過以下公式得出。[數(shù)學(xué)式11]MSj = Lj/Lb公式中的Lb為被攝體的大小的基準(zhǔn)值，可以將預(yù)先確定的值存放在圖像顯示控制裝置中，也可以算出各場(chǎng)景中Lj的平均值后，將該平均值作為L(zhǎng)b。隨后，顯示位置決定部1061與第一實(shí)施方式相同，算出存儲(chǔ)在被攝體位置存儲(chǔ)部 1043中的被攝體位置的X坐標(biāo)的最大差分DX、Z坐標(biāo)的最大差分Dz (Sal)。將計(jì)算這些差分時(shí)所需的X坐標(biāo)的最大值、最小值分別用Xmax、Xmin表示，Z坐標(biāo)的最大值、最小值分別用2_、
Zmin表不。隨后，顯示位置決定部1061除算出第一實(shí)施方式中所用的數(shù)值外，還利用修正變焦值算出有效區(qū)域尺寸(We，Hj。對(duì)于所有的輸入圖像I」(j = 1 · · N)，將攝像機(jī)坐標(biāo)系中被攝體位置的X坐標(biāo)、Z坐標(biāo)設(shè)為(X」，Zj) (j = 1 · · N)，圖像內(nèi)位置信息設(shè)為(Uj, Vj) (j = 1 · · N)，修正變焦值設(shè)為Μ。(j = 1 · · N)。在計(jì)算有效區(qū)域尺寸時(shí)，首先算出[Uj/MSj-ff, · (XrXmin) /DJ、[ (Wi-Uj) /MSj-Wd · (Xmax-Xj) /Dj、[Vj/MSj-H, - (Zmax-ZjVDzL[ (Hi-Vj) /MSrHd · (ZrZmin) /Dz](j = 1 · · N)的最大值。將這些最大值分別定為MAX [Uj/MSj-ff, · (XrXmin) /Dj、MAX [ (Wi-Uj) /MSj-Wd · (Xmax-Xj) /Dj、
MAX [Vj/MSj-H, · (Zmax-Zj) /Dz]、MAX [ (Hi-Vj) /MSrHd · (ZrZmin) /Dz]時(shí)，則有效區(qū)域尺寸(We，He)可通過以下公式算出。[數(shù)學(xué)式12]We = Wd-MAX [Uj/MSj-ff, · (XrXmin) /Dj -MAX [ (Wi-Uj) /MSrWd · (Xmax-Xj) /Dj
[數(shù)學(xué)式13]He = Hd-MAX [Vj/MSrHd · (Zmax-Zj) /Dz] -MAX [ (Hi-Vj) /MSrHd · (ZrZmin) /Dz]此夕卜，將U/MSj、(Wi-Uj)/MSj, Vj/MSj, (Hi-Vj)/MSj (j = 1 · · N)的最大值分別定為 MAX [Uj/MSj]、MAX [ (Wi-Uj) /MSj]、MAX [Vj/MSj]、MAX [ (Hi-Vj) /MSj]時(shí)，有效區(qū)域尺寸(We，He) 也可通過以下公式簡(jiǎn)便地算出。[數(shù)學(xué)式14]We = Wd-MAX [Uj/MSj] -MAX [ (Wi-Uj) /MSj][數(shù)學(xué)式15]He = Hd-MAX [Vj/MSj] -MAX [ (Hi-Vj) /MSj]其次，顯示位置決定部1061用與第一實(shí)施方式中同樣的方法，求出X方向的縮小率Rx、Z方向的縮小率Rz、臨時(shí)顯示位置1 (Ujl, Vjl) (j = 1 · · N) (Sa3, Sa4)。其次，顯示位置決定部1061為使被攝體的臉部配置在由被攝體位置的X坐標(biāo)、Z坐標(biāo)的值算出的顯示位置上，從步驟Sa4中算出的臨時(shí)顯示位置KUjl，Vj,)中減去圖像內(nèi)位置信息的值，并通過以下公式算出臨時(shí)顯示位置2(Uj2，Vj2) (j = 1 · · N) (Sb4)。[數(shù)學(xué)式ie]Uj2 = Uji-Uj/MSj[數(shù)學(xué)式I7]Vj2 = Vji-Vj/MSj最后，顯示位置決定部1061用與第一實(shí)施方式中同樣的方法，算出顯示位置(UJf， Vjf) (j = 1 · · N) (Sa6)。此外，本發(fā)明顯示位置決定部1061也可對(duì)輸入圖像進(jìn)行放大縮小的處理，以使用戶不對(duì)顯示圖像產(chǎn)生不協(xié)調(diào)的感覺。圖19示出了這一情況下顯示位置決定部1061的處理流程。這種處理過程只是替代圖18的步驟Sbl、Sl32而實(shí)行步驟&1、&2的點(diǎn)不同，因此以下只對(duì)不同的處理進(jìn)行詳細(xì)的說明。首先，顯示位置決定部1061在場(chǎng)景中的圖幀中選出作為計(jì)算修正變焦值時(shí)的基準(zhǔn)的兩個(gè)圖幀(Scl)。這里，在各輸入圖像I」(j = 1 · ·Ν) (N為場(chǎng)景中的圖幀數(shù))中，將選出的兩個(gè)圖幀設(shè)為Ibl、Ib2(但是使bl < b2)。并且，將對(duì)應(yīng)于輸入圖像Ij的被攝體位置的 Z坐標(biāo)設(shè)為= 1 · · Ν)時(shí)，優(yōu)選將τ、為最小時(shí)的j的值、為最大時(shí)的j的值分別賦予 bl或132，以減小誤差。其次，算出各圖像的修正變焦值(SM)。這里，將拍寫到各輸入圖像I」(j = 1 -·Ν) 的被攝體的大小設(shè)為L(zhǎng)j (j = 1 · ·Ν)、拍攝被攝體的攝像機(jī)的變焦值設(shè)為= 1 · ·Ν)、攝像機(jī)坐標(biāo)系中被攝體位置的Z坐標(biāo)設(shè)為= 1 · ·Ν)、修正變焦值設(shè)為M^(j = 1 · ·Ν)。 此時(shí)，無變焦的被攝體的大小是從被攝體的大小除以變焦值的值，因此輸入圖像Ibl、Ib2、Ij 中無變焦的被攝體的大小分別為L(zhǎng)blAbl、Lb2Ab2、L/Mh。并且，由于進(jìn)行放大縮小以使用戶不產(chǎn)生不協(xié)調(diào)的感覺，因此無變焦的臉部的大小與攝像機(jī)和被攝體的距離成比例地變小。 此時(shí)，由Ibl至Ib2的無變焦的臉部大小的增加分(Lb2Ab2-LblAbl)和由Ibl至Ij的無變焦的臉部大小的增加分(Lj/MSrLbl/Sbl)的比、與由Ibl至I132的Z坐標(biāo)的增加分(Zb2-Zbl)和由Ibl 至Ij的Z坐標(biāo)的增加分(ZjIbl)的比等同，因此成立以下關(guān)系式。[數(shù)學(xué)式18]
(Lb2/Sb2-Lbl/Sbl) (L/MSrLbl/^bl) = (Zb2-Zbl) (ZrZbl)由此，修正變焦值MSjG = 1 · 'N)可由以下方式算出。[數(shù)學(xué)式19]MSj = SblSb2 (Zb2-Zbl) Lj/ [Sbl (ZrZbl) Lb2+Sb2 (Zb2-Zj) Lbl]如上所述，算出修正變焦值MSj (j = 1··Ν),即可通過上述方法算出顯示位置(UJf， Vjf) (j = 1 · · N)。以下，對(duì)本發(fā)明第二實(shí)施方式所涉及的實(shí)施例進(jìn)行詳細(xì)說明。圖20示出拍攝圖像顯示控制裝置顯示的圖像的攝像機(jī)的坐標(biāo)系、及在該坐標(biāo)系中被攝體進(jìn)行移動(dòng)的例子。圖中的XYZ軸表示攝像機(jī)坐標(biāo)系中的XYZ軸，如點(diǎn)線所示，設(shè)定被攝體向攝像機(jī)趨近移動(dòng)。在點(diǎn)線上用黑圓點(diǎn)表示的各時(shí)間點(diǎn)，標(biāo)示出的圖像為被拍攝到的圖像。此外，在圖像的左上角標(biāo)出了用于識(shí)別各圖像的編號(hào)，并且在后述的圖21、圖22中，同一編號(hào)的圖像為各自相對(duì)應(yīng)的圖像。圖20的例子中，將臉部的長(zhǎng)度(縱向長(zhǎng)度)作為被攝體的大小，在畫面中表示為 LjU = 1 · ·9)。并且，由于圖像⑵用1.4倍變焦、圖像⑶用1.3倍變焦拍攝，因此被攝體的大小相比其他圖像稍為放大后示出。圖21為將通過上述方式取得的圖像用第一實(shí)施方式的方法顯示的圖像。圖21中， 在被攝體移動(dòng)過程中，由于在圖像( 、(；3)中突然放大被攝體、以及在圖像(4)中突然縮小被攝體，因此有可能使得視聽這些圖像的用戶產(chǎn)生不協(xié)調(diào)的感覺。圖22是對(duì)如圖20的方式取得的圖像，顯示位置決定部1061實(shí)行圖18的處理，從而將圖像放大縮小后進(jìn)行顯示的圖。圖22的例子中，各圖像進(jìn)行了放大縮小的處理，以使被攝體的大小都被統(tǒng)一在Lb。因此，各圖像中被攝體的大小幾乎相同。從而，可使得視聽這些圖像的用戶不會(huì)如圖21例子的那樣產(chǎn)生不協(xié)調(diào)感。依據(jù)本第二實(shí)施方式，通過上述結(jié)構(gòu)設(shè)定，即便在拍攝被攝體過程中進(jìn)行變焦，也可對(duì)被攝體大小進(jìn)行固定，或者通過放大縮小的處理使得用戶不產(chǎn)生不協(xié)調(diào)的感覺來進(jìn)行顯示。因此，可使用戶在不產(chǎn)生不協(xié)調(diào)的感覺的前提下視聽圖像。以上，本發(fā)明的實(shí)施方式中示出了圖像顯示控制裝置，但以上所述的技術(shù)方案既適用于圖像顯示方法，也適用于記錄圖像顯示程序的記錄介質(zhì)。并且，圖1所示的圖像輸入部101、圖像解析部102、位置生成部103、顯示畫面區(qū)域尺寸取得部105、顯示位置決定部 106、顯示器件控制部107的各功能模塊，典型上可通過集成電路LSI來實(shí)現(xiàn)。這些可個(gè)別地進(jìn)行單芯片化，也可以包含一部分或全部的形式進(jìn)行單芯片化。這里例舉了 LSI，但根據(jù)集成度的不同，也可稱之為IC、系統(tǒng)LSI、超級(jí)LSI (Super LSI)、超大LSI (Ultra LSI)。此外，集成電路化的手法不僅限于LSI，也可通過專用電路或泛用處理器來實(shí)現(xiàn)。也可利用在LSI制造后可編程化的FPGA(Field ProgrammableGate Array)，或利用對(duì)LSI內(nèi)部的電路單元的連接或設(shè)定可進(jìn)行重新設(shè)定的可重構(gòu)處理器(Reconfigurable ft~OCeSSOr)。并且，如果由半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)產(chǎn)生替代LSI的集成電路化的技術(shù)，當(dāng)然也可利用這些技術(shù)來進(jìn)行功能模塊的集成化。其中，生物技術(shù)的應(yīng)用等有望催生下一代替代型技術(shù)。工業(yè)實(shí)用性本發(fā)明可適用于處理數(shù)字?jǐn)?shù)據(jù)的信息裝置，這些信息裝置包括電視和產(chǎn)生將圖像輸出到電視的信號(hào)的各種記錄器、個(gè)人電腦、移動(dòng)電話、PDA等。本發(fā)明尤其適用于在以上裝置的畫面內(nèi)移動(dòng)并顯示所拍攝到的映像的情況。
權(quán)利要求
1.一種圖像顯示控制裝置，用于將拍攝被攝體的動(dòng)態(tài)圖像的圖像數(shù)據(jù)顯示在顯示器件，該圖像顯示控制裝置包括生成由以拍攝被攝體的攝像機(jī)為基準(zhǔn)的直角坐標(biāo)系描述的、被攝體的位置信息的位置生成部；將所述位置生成部生成的被攝體的位置信息，以動(dòng)態(tài)圖像的幀單位進(jìn)行存儲(chǔ)的內(nèi)容管理部；將所述坐標(biāo)系中縱深方向的被攝體的坐標(biāo)與顯示器件的縱軸的坐標(biāo)進(jìn)行對(duì)應(yīng)，并將所述坐標(biāo)系中橫軸方向的被攝體的坐標(biāo)與顯示器件的橫軸的坐標(biāo)進(jìn)行對(duì)應(yīng)，從而決定動(dòng)態(tài)圖像的各幀的顯示位置的顯示位置決定部；以及將在所述顯示位置決定部決定的顯示位置顯示動(dòng)態(tài)圖像的信號(hào)發(fā)送到顯示器件的顯示器件控制部。
2.如權(quán)利要求1所述的圖像顯示控制裝置，其特征在于，所述圖像顯示控制裝置還包括從顯示器件取得可顯示區(qū)域的尺寸的顯示畫面區(qū)域尺寸取得部，以及對(duì)動(dòng)態(tài)圖像的各幀中的被攝體的位置進(jìn)行確定的圖像解析部； 所述內(nèi)容管理部將所述被攝體的位置信息與圖像解析部解析的動(dòng)態(tài)圖像的各幀中被攝體的圖像內(nèi)位置信息，以所述動(dòng)態(tài)圖像的幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)，所述顯示位置決定部利用由所述顯示畫面區(qū)域尺寸取得部取得的可顯示區(qū)域的尺寸、 和所述直角坐標(biāo)系中所述被攝體的位置的最大值及最小值，在決定了位置信息和顯示位置的對(duì)應(yīng)關(guān)系的基礎(chǔ)上，利用所述被攝體的圖像內(nèi)位置信息對(duì)所述動(dòng)態(tài)圖像的顯示位置進(jìn)行修正，以使顯示位置不逸出在可顯示區(qū)域之外。
3.如權(quán)利要求2所述的圖像顯示控制裝置，其特征在于 所述圖像解析部確定所述動(dòng)態(tài)圖像的各幀中的被攝體的大??；所述內(nèi)容管理部將所述動(dòng)態(tài)圖像的圖像數(shù)據(jù)、所述被攝體的位置信息、所述被攝體的圖像內(nèi)位置信息、及所述圖像解析部解析的所述被攝體的大小信息，以幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)；所述顯示位置決定部利用所述圖像解析部輸出的被攝體的大小，算出所述動(dòng)態(tài)圖像的各幀的放大縮小率，從而使得所顯示的被攝體的大小為一定；以及所述顯示器件控制部將在所述顯示位置決定部決定的顯示位置顯示以所述顯示位置決定部決定的放大縮小率放大縮小的動(dòng)態(tài)圖像的信號(hào)發(fā)送到顯示器件。
4.如權(quán)利要求2所述的圖像顯示控制裝置，其特征在于 所述圖像解析部確定所述動(dòng)態(tài)圖像的各幀中的被攝體的大??；所述內(nèi)容管理部將所述動(dòng)態(tài)圖像的圖像數(shù)據(jù)、所述被攝體的位置信息、所述被攝體的圖像內(nèi)位置信息、所述圖像解析部解析的所述被攝體的大小信息、及所述動(dòng)態(tài)圖像的變焦值，以幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)；所述顯示位置決定部利用所述圖像解析部輸出的被攝體的大小和變焦值，算出所述動(dòng)態(tài)圖像的各幀的放大縮小率，從而使得所顯示的被攝體的大小相應(yīng)于拍攝被攝體的攝像機(jī)的距離產(chǎn)生變化；以及所述顯示器件控制部將在所述顯示位置決定部決定的顯示位置顯示以所述顯示位置決定部決定的放大縮小率放大縮小的動(dòng)態(tài)圖像的信號(hào)發(fā)送到顯示器件。
5.如權(quán)利要求2、3、4中任意一項(xiàng)所述的圖像顯示控制裝置，其特征在于所述位置生成部還包括檢測(cè)拍攝被攝體的攝像機(jī)的拍攝范圍與被攝體的位置關(guān)系的位置關(guān)系檢測(cè)部；所述圖像解析部在所述動(dòng)態(tài)圖像內(nèi)沒有檢測(cè)出被攝體時(shí)，基于由位置關(guān)系檢測(cè)部取得的位置關(guān)系信息，將動(dòng)態(tài)圖像數(shù)據(jù)區(qū)域外對(duì)應(yīng)于所述位置關(guān)系的坐標(biāo)設(shè)為被攝體位置信肩、ο
6.如權(quán)利要求5所述的圖像顯示控制裝置，其特征在于所述顯示器件控制部還包括將在表示所述被攝體的位置信息的位置顯示圖標(biāo)的信號(hào)發(fā)送到顯示器件的圖標(biāo)顯示控制部；在所述圖像解析部沒有在動(dòng)態(tài)圖像的各幀內(nèi)檢測(cè)出被攝體時(shí)，所述圖標(biāo)顯示控制部發(fā)送顯示圖標(biāo)的信號(hào)。
7.一種圖像顯示方法，用于將拍攝被攝體的動(dòng)態(tài)圖像的圖像數(shù)據(jù)顯示在顯示器件，其特征在于，該圖像顯示方法包括將動(dòng)態(tài)圖像的各幀與由以拍攝被攝體的攝像機(jī)為基準(zhǔn)的直角坐標(biāo)系描述的位置信息， 以幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)的存儲(chǔ)步驟；將所述坐標(biāo)系中縱深方向的被攝體的坐標(biāo)與顯示器件的縱軸的坐標(biāo)進(jìn)行對(duì)應(yīng)，并將所述坐標(biāo)系中橫軸方向的被攝體的坐標(biāo)與顯示器件的橫軸的坐標(biāo)進(jìn)行對(duì)應(yīng)，從而決定動(dòng)態(tài)圖像的各幀的顯示位置的顯示位置決定步驟；以及將在所述顯示位置決定步驟決定的顯示位置顯示動(dòng)態(tài)圖像的信號(hào)發(fā)送到顯示器件的顯示器件控制步驟。
8.一種集成電路，用于將拍攝被攝體的動(dòng)態(tài)圖像的圖像數(shù)據(jù)顯示在顯示器件，其特征在于，該集成電路包括將動(dòng)態(tài)圖像的各幀與由以拍攝被攝體的攝像機(jī)為基準(zhǔn)的直角坐標(biāo)系描述的位置信息， 以幀單位進(jìn)行對(duì)應(yīng)并存儲(chǔ)的內(nèi)容管理單元；將所述坐標(biāo)系中縱深方向的被攝體的坐標(biāo)與顯示器件的縱軸的坐標(biāo)進(jìn)行對(duì)應(yīng)，并將所述坐標(biāo)系中橫軸方向的被攝體的坐標(biāo)與顯示器件的橫軸的坐標(biāo)進(jìn)行對(duì)應(yīng)，從而決定動(dòng)態(tài)圖像的各幀的顯示位置的顯示位置決定單元；以及將在所述顯示位置決定單元決定的顯示位置顯示動(dòng)態(tài)圖像的信號(hào)發(fā)送到顯示器件的顯示器件控制單元。
全文摘要
本發(fā)明公開了一種圖像顯示控制裝置、圖像顯示控制方法及集成電路，用于檢測(cè)被攝體的空間中的位置，與圖像數(shù)據(jù)進(jìn)行對(duì)應(yīng)后存儲(chǔ)，并在圖像的顯示時(shí)，將垂直于攝像面的縱深方向的被攝體的位置和平行于攝像面的水平方向的被攝體的位置，分別設(shè)定在顯示器件的縱軸和橫軸的坐標(biāo)上，從而對(duì)圖像進(jìn)行顯示。由此，在具有大于所顯示的動(dòng)態(tài)圖像的圖像尺寸的可顯示區(qū)域的顯示器件上，不僅可對(duì)與拍攝被攝體的攝像機(jī)的攝像面平行的被攝體的運(yùn)動(dòng)進(jìn)行再現(xiàn)，還可對(duì)與攝像面垂直的縱深方向的運(yùn)動(dòng)進(jìn)行動(dòng)態(tài)再現(xiàn)。
文檔編號(hào)G09G5/00GK102165516SQ201080002699
公開日2011年8月24日 申請(qǐng)日期2010年6月28日 優(yōu)先權(quán)日2009年8月31日
發(fā)明者添田純一郎 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社