專利名稱：動態(tài)圖像記錄裝置和動態(tài)圖像再現(xiàn)裝置的制作方法
技術領域：
本發(fā)明涉及動態(tài)圖像的記錄和再現(xiàn)的技術。
背景技術：
便攜式攝像機和固定型監(jiān)視用攝像機等用于記錄動態(tài)圖像的動態(tài)圖像記錄裝置可被利用在各種用途中。動態(tài)圖像記錄裝置拍攝的影像被記錄在錄像帶、DVD、HD、存儲器等記錄介質中，可通過動態(tài)圖像再現(xiàn)裝置進行再現(xiàn)。另外，也有具備動態(tài)圖像再現(xiàn)功能的動態(tài)圖像記錄裝置，這種裝置可由自身進行動態(tài)圖像的記錄和再現(xiàn)，并可把影像信號輸出到外部的顯示裝置中。
成為動態(tài)記錄裝置的拍攝對象的最多是人物，其中多為人物的面部。因此，從過去到現(xiàn)在，人們不斷地探討如何提高人物和面部的圖像品質的技術。
例如，在專利文獻1中，提出了一種通過從圖像中檢測出面部和人物的區(qū)域，對該區(qū)域進行局部高畫質編碼或局部擴大編碼，在移動終端的小畫面上能夠清楚地顯示來訪者的面部或可疑人物的技術。另外，在專利文獻2中，提出了一種以下的技術，使用所謂的ROI(Region ofInterest)方式，通過將圖像中的人物的區(qū)域的壓縮率抑制得很低，來提高該部分的畫質，并且，對于其他的背景部分的壓縮率設定得較高，由此，作為全體來說提高了壓縮率減小了壓縮處理后的圖像的整體容量。另外在專利文獻3中，提出了一種通過對圖像的面部區(qū)域進行數(shù)字壓縮處理，對背景區(qū)域使用代表壓縮數(shù)據(jù)進行置換，來減小整體圖像的容量的技術。
這樣，以往的技術為了達到提高畫質和減小容量這兩個相互對立的目的，維持面部或人物的品質，而以犧牲其他部分的品質為代價。
特開2003-219396號公報[專利文獻2]特開2001-145101號公報[專利文獻3]特開平6-6747號公報隨著記錄介質的大容量化和通信速度的高速化，現(xiàn)在，關于動態(tài)圖像的記錄容量的問題已基本得到解決。因此，預測今后將會對畫質的要求越來越高，希望既能夠清晰地記錄包括背景的全體的圖像，又能夠對人或面部進行比現(xiàn)在更清晰的拍攝。例如，在拍攝兒童運動會的場面時，預想人們希望在拍攝自己的孩子與其他孩子們進行競賽的樣子和運動會的場景等的同時，還能夠鮮明地記錄下自己的孩子的賽跑和面部表情的特寫。
但是，以往的動態(tài)圖像記錄裝置在為了拍攝全體圖像而進行廣角拍攝時，人和面部相對地變小，不能鮮明地記錄下其表情等。反之，在為了拍攝特寫而進行長焦拍攝時，又不能拍攝到周圍的場景，不能拍下全體的樣子。因此，即使拍攝孩子們的賽跑，也不能即記錄下賽跑整體的情景又把孩子們的生動的表情拍攝下來，或者用于一味地用特寫鏡頭跟蹤孩子而錯過了孩子超越其他孩子時的場面等，不能拍攝到所希望的場面。特別是，在拍攝正在運動的被攝體的情況下，難于一邊進行變焦的切換和對面部進行特寫攝像一邊跟蹤被攝體的移動。

發(fā)明內容
本發(fā)明就是鑒于上述的問題而提出的，其目的是提供一種能夠簡單地拍攝、記錄并且再現(xiàn)包括全體和特寫的高畫質的動態(tài)圖像的技術。
為了達到上述的目的，本發(fā)明通過以下的裝置和處理進行動態(tài)圖像的攝像、記錄或再現(xiàn)。
本發(fā)明的動態(tài)圖像記錄裝置具有攝像單元、全體圖像生成單元、局部圖像生成單元和記錄單元。攝像單元以高于動態(tài)圖像記錄用像素數(shù)的分辨率進行攝像。這里把通過攝像所得到的圖像稱為“原圖像”。全體圖像生成單元對通過攝像而得到的原圖像進行分辨率轉換，轉換為動態(tài)圖像記錄用像素數(shù)的全體圖像。把由全體圖像生成單元生成的圖像稱為“全體圖像”。另一方面，局部圖像生成單元利用所述原圖像的一部分生成動態(tài)圖像記錄用像素數(shù)的局部圖像。把由局部圖像生成單元生成的圖像稱為“局部圖像”。而且，記錄單元把由所述全體圖像構成的全體動態(tài)圖像和由所述局部圖像構成的局部動態(tài)圖像相關聯(lián)地進行記錄。
根據(jù)這樣的構成，由于只需將全體場景收進視場角內進行攝像，便可自動地記錄下全體和局部(特寫)的2種動態(tài)圖像，所以攝影者不需要進行變焦操作，可實現(xiàn)攝像和記錄的簡單化。并且由于所有圖像都是根據(jù)高分辨率的原圖像生成的，所以可獲得良好的圖像質量。
關于利用原圖像的何處區(qū)域來生成局部圖像，可以設定為固定的區(qū)域，也可以自動地改變。
例如，在如用于監(jiān)視建筑物或場地的入口的動態(tài)圖像記錄裝置(監(jiān)視攝像機)那樣可預先確定希望特寫攝影的區(qū)域的情況下，只要固定地設定生成原圖像中的局部圖像的區(qū)域即可。另外，在存在多個希望特寫攝影的區(qū)域的情況下，也可以以一定的時間間隔對這些區(qū)域進行切換。
另外，也可以通過利用圖像處理技術和圖像識別技術，從原圖像中檢測出需特寫攝影的被攝體(人、面部、或物體)，自動地切換局部圖像的區(qū)域。
具體是，局部圖像生成單元也可以具有從所述原圖像中檢測出人的面部的面部檢測單元，生成包含所檢測出的面部的所述局部圖像。根據(jù)這種結構，只需將成為被攝體的人物收進視場角內進行攝影，便可自動地記錄下跟蹤該人的面部的特寫局部動態(tài)圖像。
這里，優(yōu)選所述局部圖像生成單元具有登錄面部信息的面部信息登錄單元；判斷被檢測出的面部與被登錄在所述面部信息登錄單元中的面部是否一致的面部識別單元，在被檢測出的面部是被登錄的面部的情況下，生成包含該面部的局部圖像。根據(jù)這樣的結構，由于不生成非登錄者的局部動態(tài)圖像，所以其優(yōu)點是，即使在很多人物被收進視場角內的情況下，也可以只記錄所希望的人物(登錄者)的局部圖像。
優(yōu)選所述局部圖像生成單元把從所述原圖像中提取出的相當于動態(tài)圖像記錄用像素數(shù)尺寸的區(qū)域的圖像作為局部圖像。在這種情況下，由于不需要進行分辨率的轉換，所以可實現(xiàn)局部圖像生成處理的簡單化和高速化，并且可防止因轉換分辨率而導致的圖像質量的劣化。
或者，所述局部圖像生成單元也可以在從所述原圖像中提取出與面部的大小大致成比例的區(qū)域后，對該被提取出的圖像進行分辨率轉換，轉換成動態(tài)圖像記錄用像素數(shù)的局部圖像。在這種情況下，局部圖像總的面部的大小為大致一定。即，具有能夠始終以同樣的大小來拍攝面部的優(yōu)點。
優(yōu)選所述局部圖像生成單元從所述原圖像中提取出所述區(qū)域，并使局部圖像中的面部的位置大致固定。由此，可獲得幾乎沒有搖擺的易于觀看的局部動態(tài)圖像。
優(yōu)選所述記錄單元把所述全體動態(tài)圖像和所述局部動態(tài)圖像在時間上相對應地進行記錄。由此，在進行所記錄的動態(tài)圖像的再現(xiàn)時，可容易地進行全體圖像與局部圖像的同步顯示。
另外，優(yōu)選所述記錄單元記錄所述全體圖像中的所述局部圖像的位置。這樣，在進行所記錄的動態(tài)圖像的再現(xiàn)時，可容易地達到把全體圖像與局部圖像相關聯(lián)的各種顯示效果。
優(yōu)選所述記錄單元具有能夠從動態(tài)圖像記錄裝置主機中取出的記錄介質。這樣可容易地將記錄下的動態(tài)圖像轉移到其他機器中。
優(yōu)選動態(tài)圖像記錄裝置具有生成用于將所述全體動態(tài)圖像和局部動態(tài)圖像相互對應地進行顯示的影像信號的圖像合成單元。并且，動態(tài)圖像記錄裝置也可以具有顯示所述影像信號的顯示單元。這里，圖像合成單元和顯示單元可以與動態(tài)圖像記錄裝置構成為一體，也可以構成為分體。
本發(fā)明的動態(tài)圖像記錄裝置，具有讀取單元，從所述動態(tài)圖像記錄裝置中讀取由上述的動態(tài)圖像記錄裝置記錄的全體動態(tài)圖像和局部動態(tài)圖像；圖像合成單元，生成用于將所述全體動態(tài)圖像和局部動態(tài)圖像相互對應地進行顯示的影像信號；和顯示所述影像信號的顯示單元。
動態(tài)圖像記錄裝置或動態(tài)圖像再現(xiàn)裝置在進行動態(tài)圖像的再現(xiàn)顯示時，例如圖像合成單元也可以將表示局部動態(tài)圖像的區(qū)域的標記合成在全體動態(tài)圖像中。這樣，用戶(收看者)可容易地了解何處的區(qū)域被特寫顯示。
另外，在存在多個與全體動態(tài)圖像相關聯(lián)的局部動態(tài)圖像的情況下，優(yōu)選使用戶通過操作操作裝置來選擇希望在畫面上顯示的局部動態(tài)圖像。這樣，可特寫顯示用戶所希望的部分。作為選擇畫面的形式可以由各種形式，例如排列顯示局部動態(tài)圖像的形式、在全體動態(tài)圖像上合成顯示表示各個局部動態(tài)圖像的區(qū)域的多個標記的形式、選擇全體動態(tài)圖像的任意位置，顯示離該選擇位置最近的局部圖像的形式等。
另外，本發(fā)明可以由具有上述結構的至少一部分的動態(tài)圖像記錄裝置或動態(tài)圖像再現(xiàn)裝置構成。另外，本發(fā)明可以由包含上述處理的至少一部分的動態(tài)圖像記錄方法或動態(tài)圖像再現(xiàn)方法構成，或者由用于實現(xiàn)該方法的程序構成。本發(fā)明也可以通過將上述的結構和處理進行有機地組合來構成。
根據(jù)本發(fā)明，可以簡單地拍攝、記錄和再現(xiàn)全體的動態(tài)圖像和特寫動態(tài)圖像。


圖1是表示動態(tài)圖像記錄裝置的功能結構的方框圖。
圖2是表示動態(tài)圖像記錄裝置的機器結構例的圖。
圖3是表示動態(tài)圖像處理的流程的流程圖。
圖4是表示局部圖像列表的作成處理的流程的流程圖。
圖5是表示局部圖像的生成、記錄處理的流程的流程圖。
圖6是表示全體圖像的生成、記錄處理的流程的流程圖。
圖7是表示從原圖像中檢測出的面部矩形的圖。
圖8是表示局部圖像的列表的一例的圖。
圖9是說明全體圖像和局部圖像的生成處理的圖。
圖10是表示全體動態(tài)圖像和局部動態(tài)圖像的流結構的圖。
圖11是表示全體動態(tài)圖像和局部動態(tài)圖像的顯示例的圖。
圖12是表示全體動態(tài)圖像和局部動態(tài)圖像的顯示例的圖。
圖13是表示第2實施方式中的局部圖像列表的作成處理的流程的流程圖。
圖14是用于說明在第2實施方式中所生成的局部動態(tài)圖像的圖。
圖15是表示在第3實施方式中的局部圖像的生成、記錄處理的流程的流程圖。
圖中1-動態(tài)圖像記錄裝置；10-攝像部；11-幀存儲器；12-圖像處理部；13-面部處理部；14-面部信息登錄部；15-全體圖像記錄部；16-局部圖像記錄部；17-圖像合成部；18-顯示部；20、22、27-數(shù)字式攝像機；21-顯示部；23、29-電視接收機；24-攝像機；25-信息處理裝置；26-顯示器；28-播放器；30-半導體存儲器；31-DVD。
具體實施例方式
第1實施方式(動態(tài)圖像記錄裝置的功能結構)圖1表示本發(fā)明的實施方式的動態(tài)圖像的功能結構。動態(tài)圖像記錄裝置1是所謂的數(shù)字式攝像機系統(tǒng)，是把拍攝的影像記錄為數(shù)字形式的動態(tài)圖像或靜態(tài)圖像的裝置。
如圖1所示，本實施方式的動態(tài)圖像記錄裝置1作為圖像處理系統(tǒng)，具有攝像部10、幀存儲器11、圖像處理部12、面部處理部13、面部信息登錄部14、全體圖像記錄部15、局部圖像記錄部16、圖像合成部17和顯示部18。另外，雖然省略了圖示，但還具有麥克風和聲音處理部等的聲音處理系統(tǒng)。
攝像部10大體上是由光學系統(tǒng)和攝像元件構成的攝像單元。攝像元件是CCD或CMOS等的圖像傳感器，使用至少有數(shù)百萬級的有效像素(例如300萬像素)的攝像元件。通過攝像部10拍攝的圖像(稱為“原圖像”)被暫時存儲在幀存儲器11中。
圖像處理部12具有從幀存儲器11讀取原圖像，對該原圖像實施各種圖像處理的功能。作為圖像處理，例如有轉換分辨率、提取、手抖動的修正、銳化、色調修正等。
動態(tài)圖像記錄裝置1的攝像模式中有動態(tài)圖像拍攝模式和靜態(tài)圖像拍攝模式，并且在靜態(tài)圖像拍攝模式中有高清晰度模式和標準模式，高清晰度模式以和原圖像大致相同的約2000×1500像素來記錄靜態(tài)圖像，標準模式以大約1600×1200像素來記錄靜態(tài)圖像。而在動態(tài)圖像拍攝模式下，以640×480像素(VGA尺寸)的動態(tài)圖像的記錄像素數(shù)來記錄動態(tài)圖像。這樣，由于不同的攝像模式的記錄用像素數(shù)不同，所以圖像處理部12通過對應攝像模式對原圖像實施適宜的分辨率的轉換或修整，生成記錄用的圖像。
在本實施方式中，在動態(tài)圖像攝像模式下，根據(jù)約2000×1500像素數(shù)的原圖像生成全體圖像和局部圖像這兩種VGA尺寸(動態(tài)圖像記錄用像素數(shù))的圖像。全體圖像生成單元由圖像處理部12構成。另外，局部圖像生成單元由圖像處理部12、面部處理部13和面部信息登錄部14構成。
這里所謂的全體圖像是指包含呈現(xiàn)在原圖像中的圖像的大致全體的圖像。通過把原圖像的有效區(qū)域全體的分辨率轉換為VGA尺寸(降低分辨率的轉換)來生成該全體圖像。另外，所謂有效區(qū)域是指從原圖像除去了手抖動的修正用的邊緣和寬高比調整用的剩余像素等的部分后的區(qū)域，其實質上相當于原圖像的全體區(qū)域。
另一方面，所謂局部圖像是指只包含呈現(xiàn)在原圖像中的一部分像的圖像。通過從原圖像的有效區(qū)域中提取出VGA尺寸的區(qū)域，來生成該局部圖像。在本實施方式中，提取范圍被決定為包含由面部處理部13檢測出的面部的部分。
全體圖像和局部圖像都是從原圖像中生成的，但是，全體圖像是從原圖像的大致全體區(qū)域中生成的，而局部圖像是從比全體圖像小的區(qū)域生成的。因此，局部圖像是對全體圖像的一部分(面部)進行了特寫的圖像。
面部處理部13具有從原圖像中對人的面部實施面部檢測處理的功能(面部檢測單元)和對被檢測出的面部進行面部識別處理的功能(面部識別單元)。在面部檢測處理中，面部處理部13從原圖像中檢測出具有面部特征的區(qū)域，計算出包圍該面部的矩形(稱為“面部矩形”)的坐標值。另外，在面部識別處理中，面部處理部13從由面部矩形包圍的小圖像中抽出眉、眼、鼻、口輪廓等面部器官的特征量(稱為“面部信息”)，將這些與預先被登錄在面部信息登錄部14中的面部信息進行比較，判斷所檢測出的面部是否與登錄的面部一致。
記錄動態(tài)圖像的記錄單元由全體圖像記錄部15和局部圖像記錄部16構成。全體圖像記錄部15從圖像處理部12順序地接收全體圖像，通過進行動態(tài)圖像編碼處理，生成全體動態(tài)圖像。另外，局部圖像記錄部16從圖像處理部12順序接收局部圖像，通過進行動態(tài)圖像編碼處理，生成局部動態(tài)圖像。而且，全體圖像記錄部15和局部圖像記錄部16把從同一原圖像生成的全體動態(tài)圖像和局部動態(tài)圖像建立相互關聯(lián)，并記錄到記錄介質中。
記錄介質能夠從動態(tài)圖像記錄裝置1的主機中取出來。作為可拆卸的記錄介質，例如是半導體存儲器、CD、DVD、硬盤等。
圖像合成部17具有從記錄介質中讀取全體圖像和局部圖像，通過進行解碼處理來生成影像信號的功能。該影像信號可被顯示在由液晶顯示器等構成的顯示部18上，或者通過外部輸出I/F，被輸出到打印機、顯示裝置、記錄裝置(DVD錄像機、HD錄像機等)等的外部設備中。
(動態(tài)圖像記錄裝置的機器結構)圖2表示動態(tài)圖像記錄裝置的機器結構例。
在結構例1中，動態(tài)圖像記錄裝置由具有顯示部21的附帶動態(tài)圖像再現(xiàn)功能的數(shù)字式攝像機20單獨構成。
在結構例2中，動態(tài)圖像記錄裝置由數(shù)字式攝像機22和電視接收機23構成。在這樣的結構中，由電視接收機23來承擔動態(tài)圖像記錄裝置的構成要素中的顯示部18的功能，其他的功能被設置在數(shù)字式攝像機22內。由數(shù)字式攝像機22拍攝并記錄下的全體動態(tài)圖像和局部動態(tài)圖像被數(shù)字式攝像機22以影像信號的形式輸出，并被顯示在電視接收機23上。
在結構例3中，動態(tài)圖像記錄裝置由攝像機24、信息處理裝置(個人計算機等)25和顯示器26構成。這種結構中，由攝像機24承擔攝像部10的功能，由顯示器26承擔顯示部18的功能，由信息處理裝置25承擔其他構成要素的功能。信息處理裝置25從攝像機24讀取影像，生成并記錄全體動態(tài)圖像和局部動態(tài)圖像。被記錄的動態(tài)圖像由信息處理裝置25進行再現(xiàn)，被顯示在顯示器26上。
在結構例4中，動態(tài)圖像記錄裝置由數(shù)字式攝像機27、播放器28和電視接收機29構成。在該構成中，播放器28承擔圖像合成部17的功能，電視接收機29承擔顯示部18的功能，由數(shù)字式攝像機27承擔其他構成要素的功能。數(shù)字式攝像機27所生成的全體圖像和局部圖像被記錄在半導體存儲器30或DVD31等的記錄介質中。播放器(動態(tài)圖像再現(xiàn)裝置)28從該記錄介質中讀取動態(tài)圖像，生成影像信號。影像信號被顯示在電視接收機29上。通過把動態(tài)圖像記錄在可拆卸的記錄介質中，可容易地把動態(tài)圖像轉移到其他的機器中。
如上所述，動態(tài)圖像記錄裝置即可以是一體的結構(結構例1)，也可以是由多個機器構成的分體的結構(結構例2～4)。另外，不限于在此所舉的例子，也可以適宜地改變結構或進行結構的組合。
(動態(tài)圖像記錄處理)下面，對動態(tài)圖像記錄裝置的動態(tài)圖像記錄處理進行詳細說明。圖3-圖6是表示本發(fā)明第1實施方式中的動態(tài)圖像記錄處理的流程的流程圖。通過使動態(tài)圖像記錄裝置的控制器(CPU)根據(jù)程序進行硬件的控制和運算處理來實現(xiàn)以下所述的處理。
在開始動態(tài)圖像記錄后，執(zhí)行圖3的處理。圖3的流程圖是進行一幀(圖像)的攝像/記錄的處理。在動態(tài)圖像的記錄過程中，以與幀速率同步的定時(例如30次/秒)反復執(zhí)行該處理。
首先，由攝像部10進行攝像(步驟S10)。攝像部10以比動態(tài)圖像記錄用像素數(shù)(VGA尺寸)高的分辨率(300萬像素)進行攝像。通過攝像所得到的原圖像被存儲在幀存儲器11中。
然后，由面部處理部13根據(jù)原圖像作成局部圖像列表(步驟S11)。具體是如圖4所示，面部處理部13從幀存儲器11中讀取出原圖像(步驟S110)，從原圖像中檢測出面部，并計算出面部矩形(步驟S111)。例如，在如圖7所示的原圖像的情況下，可得到2個面部矩形40、41。
得到了面部矩形后，面部處理部13從被面部矩形40包圍的面部圖像中抽出面部信息(步驟S113)。然后，面部處理部13參照被登錄在面部信息登錄部14中的面部信息，檢查被檢測出的面部信息是否與所登錄的面部一致(步驟S114)。在一致的情況下(步驟S115中的“是”)，面部處理部13把該面部的登錄ID和面部矩形追加在局部圖像列表中(步驟S116)。在不一致的情況下(步驟S115中的“否”)，不進行向局部圖像列表的追加。在結束了關于面部矩形40的處理后，對其他的面部矩形41執(zhí)行相同的處理(步驟S112)。
圖8表示局部圖像列表的一例。局部圖像列表是把面部的登錄ID與面部矩形的4點的坐標值相互對應起來的信息。在每次檢測出登錄者的面部時，被追加到局部圖像列表的項目(行)中。在本例中，只追加關于面部矩形40的信息，局部圖像列表的項目數(shù)是1。
由面部處理部13作成的局部圖像列表被轉交給圖像處理部12。圖像處理部12檢查局部圖像列表的項目數(shù)是0、還是比0多(步驟S12)。在項目數(shù)為0的情況下，即，在未檢測到面部的情況下，只生成、記錄全體圖像(步驟S14)。而在項目數(shù)比0多的情況下，即，在至少檢測出一個登錄者的面部的情況下，不僅生成并記錄全體圖像，而且還生成并記錄被檢測出的面部的局部圖像(特寫圖像)(步驟S13、14)。
圖5表示局部圖像的生成和記錄的處理。圖像處理部12針對局部圖像列表的各個項目進行以下的處理(步驟S130)。
首先，圖像處理部12從幀存儲器11中讀取出原圖像(步驟S131)。然后，圖像處理部12從圖像列表中取得面部矩形的坐標，計算出作為局部圖像而被提取出的區(qū)域的坐標(步驟S132)。這里，決定坐標，使面部矩形的中心與局部圖像的區(qū)域的中心相一致。這是為了使局部圖像中的面部的位置為一定。例如在圖9的例中，局部圖像為面部矩形40的中心的周圍640×480像素的區(qū)域42。
圖像處理部12從原圖像中提取出上述區(qū)域，生成如圖9所示的VGA尺寸的局部圖像(步驟S133)。所生成的局部圖像與在步驟S132計算出的坐標和登錄ID一起被轉交到局部圖像處理部16。
局部圖像處理部16首先檢查是否存在與登錄ID一致的局部動態(tài)圖像(只限于記錄中的圖像)。如果存在，則局部圖像記錄部16將接收的局部圖像編碼，并追加到記錄中的局部動態(tài)圖像中。如果不存在，則局部圖像記錄部16重新生成關于該登錄ID的局部動態(tài)圖像。這樣，在本實施方式中，針對每個登錄者(每個面部)進行局部動態(tài)圖像的生成和記錄(步驟S134)。
圖6表示全體圖像的生成和記錄處理。首先，圖像處理部12從幀存儲器11讀取出原圖像(步驟S140)。然后，圖像處理部12把原圖像的分辨率轉換成VGA尺寸的圖像分辨率，生成如圖9所示的全體圖像(步驟S141)。然后，全體圖像記錄部15對全體圖像進行編碼，進行全體動態(tài)圖像的生成和記錄(步驟S142)。
圖10表示全體動態(tài)圖像和局部動態(tài)圖像的數(shù)據(jù)流結構(數(shù)據(jù)結構)的一例。這里，全體動態(tài)圖像數(shù)據(jù)流50和3個局部動態(tài)圖像數(shù)據(jù)流51被相互關聯(lián)地記錄下來。
全體動態(tài)圖像數(shù)據(jù)流50的各個幀由幀數(shù)據(jù)(全體圖像)、指針和時間戳構成。在存在與該幀對應的局部圖像的情況下，在指針中存儲有用于特定局部動態(tài)圖像數(shù)據(jù)流51的信息(例如，文件名或被記錄的磁道等)，在時間戳中存儲有用于特定局部圖像的幀的信息(例如，時間或幀編號等)。另外，在多個局部圖像與1個幀對應的情況下，需存儲對各個局部圖像的指針和時間戳。由此，在全體動態(tài)圖像和局部動態(tài)圖像的數(shù)據(jù)流之間建立了關聯(lián)和時間上的對應關系。
另外，局部動態(tài)圖像數(shù)據(jù)流的各個幀由幀數(shù)據(jù)(局部圖像)和位置信息構成，在位置信息中存儲有表示全體圖像中的局部圖像的位置(區(qū)域)的坐標值。由此，可取得全體動態(tài)圖像與局部動態(tài)圖像的位置的對應關系。
(動態(tài)圖像再現(xiàn)處理)下面，對在使全體動態(tài)圖像與局部動態(tài)圖像對應的同時進行顯示的處理進行說明。
圖像合成部17從記錄介質中讀取出成為顯示對象的全體動態(tài)圖像和局部動態(tài)圖像，實施解碼處理，然后，參照顯示尺寸，對全體動態(tài)圖像和局部動態(tài)圖像分別進行適宜的分辨率轉換處理。然后，圖像合成部17合成全體動態(tài)圖像和局部動態(tài)圖像，生成影像信號，把該影像信號輸出到顯示部18。由此，能夠把全體動態(tài)圖像和局部動態(tài)圖像同步顯示。
圖11表示把局部動態(tài)圖像顯示在全體動態(tài)圖像中，在畫面的左下方縮小顯示了全體動態(tài)圖像的顯示例。該顯示方式適用于主要希望觀察面部表情時。
圖12表示在畫面全體顯示全體動態(tài)圖像，在畫面的左上方縮小顯示局部動態(tài)圖像的顯示例。該顯示方式適用于主要希望觀察全體的場景時。
作為其他的顯示方式，例如有在畫面上以相同的大小顯示全體動態(tài)圖像和局部動態(tài)圖像的方式、只顯示全體動態(tài)圖像或局部動態(tài)圖像的任意一方的顯示方式和在全體動態(tài)圖像中合成顯示2個或2個以上的局部動態(tài)圖像的顯示方式。
收看者可通過操作動態(tài)圖像記錄裝置的按鍵或遙控器等操作裝置，來切換顯示狀態(tài)。在存在多個與顯示中的全體動態(tài)圖像相關聯(lián)的局部動態(tài)圖像的情況下，通過操作操作裝置可切換顯示在畫面上的局部動態(tài)圖像，或同時顯示多個局部動態(tài)圖像。
另外，在圖11、圖12的顯示例中，把表示局部動態(tài)圖像的區(qū)域的標記(框)60與全體動態(tài)圖像合成顯示。該標記60由圖像合成部17根據(jù)在局部動態(tài)圖像數(shù)據(jù)流中的位置信息來生成。通過這樣的標記顯示，能夠使收看者容易地分辨出被特寫顯示的是誰的面部。
根據(jù)以上所述的本實施方式的動態(tài)圖像記錄裝置，由于只需把全體的場景收進視場角進行攝像，便可自動地記錄下全體和部分(特寫)的2種動態(tài)圖像，所以不需要攝像者進行變焦操作等，可實現(xiàn)攝像和記錄的簡單化。并且，由于任意的圖像都是基于高分辨率的原圖像而生成的，所以可得到良好的畫面質量。
另外，在本實施方式中，由于可從原圖像中自動地檢測出應特寫攝像的面部，所以只需把成為被攝體的人物收進視場角內進行攝像，便可自動地記錄下跟蹤該人的面部的特寫局部動態(tài)圖像。并且，由于不生成非登錄者的局部動態(tài)圖像，所以具有即使在視場角內收進很多人物的情況下，也可以只記錄下所希望的人物(登錄者)的局部動態(tài)圖像的優(yōu)點。
另外，在本實施方式中，通過從原圖像中提取出VGA尺寸的區(qū)域來生成局部圖像。因此，不需要進行分辨率的轉換，可實現(xiàn)局部圖像的生成處理的簡單化和高速化，并且可防止由于轉換分辨率而導致的畫質的劣化。
另外，在以往的動態(tài)圖像記錄裝置中，由于被攝體的移動和手的抖動的影響，難于在特寫拍攝面部的同時跟蹤該面部的移動，但本實施方式的動態(tài)圖像記錄裝置由于進行局部圖像的提取，使局部圖像中的面部的位置基本為一定，所以可得到幾乎沒有搖擺的易于觀看的動態(tài)圖像。
第2實施方式下面，對本發(fā)明的第2實施方式進行說明。在第1實施方式中是根據(jù)面部識別來記錄各登錄者的局部動態(tài)圖像，但在本實施方式中，是按照原圖像中的面部尺寸的大小順序來記錄局部動態(tài)圖像。具體是，局部圖像列表的作成處理不同。
圖13表示第2實施方式中的局部圖像列表的作成處理。另外，在圖3中，對于與圖4中相同的處理標注相同的步驟編號。
首先，面部處理部13與第1實施方式相同第從幀存儲器11中讀取出原圖像(步驟S110)，從原圖像中檢測出面部，計算出面部矩形(步驟S111)。
在得到面部矩形后，面部處理部13按照尺寸的大小順序進行排序(步驟S117)。在排序后，也可以通過刪除除上位的2個以外的面部矩形，或刪除小于規(guī)定的閾值的面部矩形，只選出大的面部矩形。
然后，面部處理部13把排序后的面部矩形順序地追加到局部圖像列表中(步驟S118、S119)。在本實施方式中，取代登錄ID，而記錄排序后的順序(1、2、…)。之后的處理與第1實施方式的處理相同。
根據(jù)本實施方式的處理，尺寸大的面部被作為局部動態(tài)圖像的記錄對象而被自動地選擇出來。由于慣例是攝像者對自己想拍攝的被攝體一般都拍攝得比較大，所以局部動態(tài)圖像的記錄對象與被攝體為一致的情況的概率高，即，在本實施方式中，即使不進行面部信息的登錄和面部識別處理，也可以自動地記錄下所希望的被攝體的局部動態(tài)圖像。
另外，如圖14所示，在攝像中，當面部A和面部B的大小形成了置換時，被攝體也被置換，此時，第1個局部動態(tài)圖像52從面部A置換成面部B，第2個局部動態(tài)圖像53從面部B置換成面部A。利用這種置換，可達到能夠顯示表現(xiàn)賽跑時的爭奪第1名的樣子的生動影像的獨特的顯示效果。
第3實施方式下面，對本發(fā)明的第3實施方式進行說明。在第1實施方式中，是從原圖像中提取出VGA尺寸的局部圖像，但在本實施方式中，是使局部圖像中的面部的大小為大致一定地生成局部圖像。
圖15表示第3實施方式中的局部圖像的生成/記錄處理。另外，在圖15中，對于與圖5相同的處理標注相同的步驟編號。
首先，圖像處理部12從幀存儲器11中讀取出原圖像(步驟S131)。然后，圖像處理部12從局部圖像列表中取得面部矩形的坐標，計算出作為面部圖像而提取出的區(qū)域的坐標(步驟S135)。所謂面部圖像是指包含面部(面部矩形)，且具有與面部(面部矩形)大致成比例的大小的圖像。在本實施方式中，將面部圖像的區(qū)域決定為面部矩形的大致1.5～2倍。另外，使面部圖像的高寬比與動態(tài)圖像記錄用的像素數(shù)(VGA尺寸)相匹配。
圖像處理部12在從原圖像中提取出面部圖像后(步驟S136)，通過對該面部圖像進行分辨率轉換，轉換成VGA尺寸的圖像，生成局部圖像(步驟S137)。之后的處理與第1實施方式中的處理相同。
根據(jù)本實施方式的處理，在局部圖像中面部的大小為大致一定。即，具有能夠始終以相同的大小進行拍攝的優(yōu)點。
以上，利用第1～第3實施方式對本發(fā)明的具體例進行了說明，但本發(fā)明的范圍不限于上述的實施方式，能夠在本發(fā)明的技術思想的范圍內進行各種的變更。
例如，上述的實施方式是對把本發(fā)明應用在便攜式攝像機中的示例進行了說明，但本發(fā)明也可以被應用在監(jiān)視攝像機等其他的用途。在如監(jiān)視攝像機那樣的固定型動態(tài)圖像記錄裝置的情況下，也可以把作為局部圖像而抽出的區(qū)域固定。
另外，也可以通過將第1實施方式和第2實施方式的處理組合，只在面部尺寸大、且該面部是被登錄的面部的情況下，記錄局部動態(tài)圖像?；蛘咭部梢詫⒌?實施方式與第3實施方式組合。
另外，在上述的實施方式中，在數(shù)據(jù)流中記錄了使全體動態(tài)圖像與局部動態(tài)圖像相互關聯(lián)的信息，但也可以利用如DVD的多角度軌道那樣的結構使全體動態(tài)圖像與局部動態(tài)圖像相互關聯(lián)。
另外，在上述的實施方式中，是對所有的幀檢查檢測出的面部與登錄者的面部的比較結果，但也可以在例如每60幀進行一次比較，對剩余的幀，跟蹤面部矩形的移動。這樣可實現(xiàn)處理的高速化。
另外，在上述的實施方式中說明的動態(tài)圖像的數(shù)據(jù)流結構和局部圖像列表的結構只是一個示例，可進行適當?shù)淖兏?。對于攝像部10的有效像素數(shù)和動態(tài)圖像記錄用像素數(shù)也可以適宜地變更。
另外，在上述的實施方式中，是把面部部分作為局部圖像來抽出，但也可以例如通過根據(jù)面部或面部矩形的大小推測出其人的身高，把全身或上半身作為局部圖像抽出。
權利要求
1.一種動態(tài)圖像記錄裝置，其特征在于，具有以高于動態(tài)圖像記錄用像素數(shù)的分辨率進行攝像的攝像單元；對通過攝像而得到的原圖像進行分辨率轉換，轉換為動態(tài)圖像記錄用像素數(shù)的全體圖像的全體圖像生成單元；利用所述原圖像的一部分生成動態(tài)圖像記錄用像素數(shù)的局部圖像的局部圖像生成單元；和把由所述全體圖像構成的全體動態(tài)圖像和由所述局部圖像構成的局部動態(tài)圖像相關聯(lián)地進行記錄的記錄單元。
2.根據(jù)權利要求1所述的動態(tài)圖像記錄裝置，其特征在于，所述局部圖像生成單元，具有從所述原圖像中檢測出人的面部的面部檢測單元，生成包含所檢測出的面部的所述局部圖像。
3.根據(jù)權利要求2所述的動態(tài)圖像記錄裝置，其特征在于，所述局部圖像生成單元，具有登錄面部信息的面部信息登錄單元；判斷被檢測出的面部與被登錄在所述面部信息登錄單元中的面部是否一致的面部識別單元，在被檢測出的面部是被登錄的面部的情況下，生成包含該面部的局部圖像。
4.根據(jù)權利要求1所述的動態(tài)圖像記錄裝置，其特征在于，所述局部圖像生成單元把從所述原圖像中提取出的相當于動態(tài)圖像記錄用像素數(shù)尺寸的區(qū)域的圖像作為局部圖像。
5.根據(jù)權利要求2所述的動態(tài)圖像記錄裝置，其特征在于，所述局部圖像生成單元在從所述原圖像中提取出與面部的大小大致成比例的區(qū)域后，對該被提取出的圖像進行分辨率轉換，轉換成動態(tài)圖像記錄用像素數(shù)的局部圖像。
6.根據(jù)權利要求2所述的動態(tài)圖像記錄裝置，其特征在于，所述局部圖像生成單元從所述原圖像中提取出所述區(qū)域，以使局部圖像中的面部的位置大致固定。
7.根據(jù)權利要求1所述的動態(tài)圖像記錄裝置，其特征在于，所述記錄單元把所述全體動態(tài)圖像和所述局部動態(tài)圖像在時間上相對應地進行記錄。
8.根據(jù)權利要求1至7中任意一項所述的動態(tài)圖像記錄裝置，其特征在于，所述記錄單元記錄所述全體圖像中的所述局部圖像的位置。
9.根據(jù)權利要求1所述的動態(tài)圖像記錄裝置，其特征在于，所述記錄單元具有能夠從動態(tài)圖像記錄裝置主機中取出的記錄介質。
10.根據(jù)權利要求1所述的動態(tài)圖像記錄裝置，其特征在于，具有生成用于將所述全體動態(tài)圖像和局部動態(tài)圖像相互對應地進行顯示的影像信號的圖像合成單元。
11.根據(jù)權利要求10所述的動態(tài)圖像記錄裝置，其特征在于，具有顯示所述影像信號的顯示單元。
12.根據(jù)權利要求10所述的動態(tài)圖像記錄裝置，其特征在于，所述圖像合成單元將表示局部動態(tài)圖像的區(qū)域的標記合成在全體動態(tài)圖像中。
13.根據(jù)權利要求10所述的動態(tài)圖像記錄裝置，其特征在于，具有在存在多個與全體動態(tài)圖像相關聯(lián)的局部動態(tài)圖像的情況下，使用戶選擇希望在畫面上顯示的局部動態(tài)圖像的操作裝置。
14.一種動態(tài)圖像再現(xiàn)裝置，其特征在于，具有讀取單元，從所述動態(tài)圖像記錄裝置中讀取由權利要求1～13中任意一項所述的動態(tài)圖像記錄裝置記錄的全體動態(tài)圖像和局部動態(tài)圖像；圖像合成單元，生成用于將所述全體動態(tài)圖像和局部動態(tài)圖像相互對應地進行顯示的影像信號；和顯示所述影像信號的顯示單元。
15.一種動態(tài)圖像記錄方法，其特征在于，使動態(tài)圖像記錄裝置以高于動態(tài)圖像記錄用像素數(shù)的分辨率進行攝像，將通過攝像而得到的原圖像進行分辨率轉換，轉換成動態(tài)圖像記錄用像素數(shù)的全體圖像，利用所述原圖像的一部分生成動態(tài)圖像記錄用像素數(shù)的局部圖像，把由所述全體圖像構成的全體動態(tài)圖像和由所述局部圖像構成的局部動態(tài)圖像相關聯(lián)地進行記錄。
16.一種動態(tài)圖像記錄再現(xiàn)方法，其特征在于，使動態(tài)圖像記錄裝置以高于動態(tài)圖像記錄用像素數(shù)的分辨率進行攝像，將通過攝像而得到的原圖像進行分辨率轉換，轉換成動態(tài)圖像記錄用像素數(shù)的全體圖像，利用所述原圖像的一部分生成動態(tài)圖像記錄用像素數(shù)的局部圖像，把由所述全體圖像構成的全體動態(tài)圖像和由所述局部圖像構成的局部動態(tài)圖像相關聯(lián)地進行記錄，生成用于將所記錄的全體動態(tài)圖像和局部動態(tài)圖像對應顯示的影像信號，在顯示單元中顯示所述影像信號。
17.一種記錄介質，用于在動態(tài)圖像記錄裝置中進行動態(tài)圖像的存儲，該動態(tài)圖像記錄裝置以高于動態(tài)圖像記錄用像素數(shù)的分辨率進行攝像，將通過攝像而得到的原圖像進行分辨率轉換，轉換成動態(tài)圖像記錄用像素數(shù)的全體圖像，利用所述原圖像的一部分生成動態(tài)圖像記錄用像素數(shù)的局部圖像，所述記錄介質相互關聯(lián)地存儲了由所述全體圖像構成的全體動態(tài)圖像和由所述局部圖像構成的局部動態(tài)圖像。
全文摘要
本發(fā)明提供一種動態(tài)圖像的攝像、記錄以及再現(xiàn)的技術，能夠簡單地拍攝、記錄以及再現(xiàn)全體和特寫的高品質的動態(tài)圖像。攝像部(10)以高于動態(tài)圖像記錄用的分辨率進行攝像。圖像處理部(12)一方面將通過攝像而得到的原圖像進行分辨率轉換，轉換為動態(tài)圖像記錄用像素數(shù)的全體圖像，另一方面利用原圖像的一部分生成動態(tài)圖像記錄用像素數(shù)的局部圖像。將由全體圖像構成的全體動態(tài)圖像和由局部圖像構成的局部動態(tài)圖像相互關聯(lián)地記錄。
文檔編號H04N5/93GK1758735SQ20051010587
公開日2006年4月12日 申請日期2005年9月29日 優(yōu)先權日2004年10月6日
發(fā)明者瀧川繪里奈, 櫻木美春, 松岡美希, 吉田陽子 申請人:歐姆龍株式會社