專利名稱：縮略圖生成裝置及縮略圖生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成用于使用戶把握通過再生裝置再生的動態(tài)圖像的內(nèi)容的動態(tài)圖像縮略圖的縮略圖生成裝置及縮略圖生成方法。
背景技術(shù)：
人們熟知具有如下靜態(tài)圖像縮略圖顯示功能的攝像機針對每個記錄的動態(tài)圖像或這些動態(tài)圖像中的每個預(yù)定的段落(chapter)，生成提取出構(gòu)成所拍攝、記錄的動態(tài)圖像的多個幀(frame)或場(field)中的任意一枚后縮小而得的靜態(tài)圖像縮略圖，并將這些生成的多個靜態(tài)圖像縮略圖作為縮略圖一覽畫面，顯示在攝像機主體上具備的顯示器用的液晶屏上。另外，作為使用戶容易把握與靜態(tài)圖像縮略圖對應(yīng)的圖像的內(nèi)容的技術(shù)，例如在專利文獻1中公開了一種圖像處理裝置，其從所拍攝的靜態(tài)圖像中檢測出人臉，與該檢測出的人臉相匹配地生成將所拍攝的靜態(tài)圖像縮小為預(yù)定的尺寸而得的靜態(tài)圖像縮略圖。但是，在專利文獻1中記載的技術(shù)，與通常的靜態(tài)圖像縮略圖顯示功能相比，雖然能夠使用戶容易地把握與靜態(tài)圖像縮略圖對應(yīng)的圖像的內(nèi)容，但是因為顯示的縮略圖是靜態(tài)圖像，所以在與該靜態(tài)圖像縮略圖對應(yīng)的圖像是動態(tài)圖像時，使用者有時無法把握該動態(tài)圖像的內(nèi)容。另一方面，在HDD (Hard Disk Drive)錄影機或 DVD (Digital Versatile Disk)錄影機中大多具有如下運動縮略圖(motion thumbnail)功能當(dāng)在縮略圖一覽畫面中通過用戶操作等使焦點(高亮框)對準(zhǔn)一個靜態(tài)圖像縮略圖時，替換該靜態(tài)圖像縮略圖來顯示動態(tài)圖像縮略圖。該運動縮略圖功能是再生與所選擇的靜態(tài)圖像縮略圖對應(yīng)的預(yù)定期間的動態(tài)圖像，生成使該再生出的動態(tài)圖像縮小到與靜態(tài)圖像縮略圖相同尺寸而得的動態(tài)圖像縮略圖，并將該生成的動態(tài)圖像縮略圖顯示在靜態(tài)圖像縮略圖一覽畫面中對應(yīng)的靜態(tài)圖像縮略圖的區(qū)域。使用者通過觀看通過該運動縮略圖功能所顯示的動態(tài)圖像縮略圖，容易把握動態(tài)圖像的內(nèi)容。現(xiàn)有技術(shù)文獻專利文獻專利文獻1 日本特開2005-269563號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題在此，考慮在攝像機中也應(yīng)用該運動縮略圖功能。但是，在將運動縮略圖功能應(yīng)用到攝像機中時，在主機中具備的顯示器用的液晶屏的畫面比較小，因此在縮略圖一覽畫面中顯示的動態(tài)圖像縮略圖也變小。因此，使用者難以把握該動態(tài)圖像縮略圖的內(nèi)容、即與該動態(tài)圖像縮略圖對應(yīng)的動態(tài)圖像的內(nèi)容。本發(fā)明是鑒于上述問題而提出的，其目的在于提供一種生成使使用者容易把握在記錄再生裝置中所記錄的動態(tài)圖像的內(nèi)容的動態(tài)圖像縮略圖并進行顯示的縮略圖生成裝置及縮略圖生成方法。用于解決課題的手段為了達到上述目的，本發(fā)明的縮略圖生成裝置的第一特征在于，具備動態(tài)圖像提取部，其在動態(tài)圖像的第一預(yù)定期間內(nèi)，每隔比所述第一預(yù)定期間短的第二預(yù)定期間，提取構(gòu)成所述動態(tài)圖像的各圖像；縮小放大率計算部，其對提取出的各圖像中包含的人臉區(qū)域進行積分，決定臉部顯示區(qū)域以包圍該被積分的臉部區(qū)域，計算所述動態(tài)圖像的縮小放大率，使得該所決定的臉部顯示區(qū)域的尺寸與預(yù)先為了顯示動態(tài)圖像縮略圖而決定的預(yù)定的顯示區(qū)域的尺寸大致相同；以及動態(tài)圖像縮略圖生成部，其根據(jù)計算出的所述縮小放大率來縮小或放大所述動態(tài)圖像，生成所述動態(tài)圖像縮略圖。為了達到上述目的，本發(fā)明的縮略圖生成裝置的第二特征在于，還具備縮略圖區(qū)間決定部，其根據(jù)通過所述動態(tài)圖像提取部提取出的各圖像中的、存在人臉區(qū)域的圖像連續(xù)的數(shù)目，決定一個以上所述第一預(yù)定期間。為了達到上述目的，本發(fā)明的縮略圖生成裝置的第三特征在于，所述縮小放大率計算部，在將所述臉部顯示區(qū)域的面積的值作為分母、將所述臉部區(qū)域的合計面積的值作為分子而求出的比值比預(yù)定的閾值小的情況下，將所述臉部區(qū)域中、靠近中心且面積最大的臉部區(qū)域作為代表區(qū)域，計算所述縮小放大率，使得該代表區(qū)域的尺寸與所述顯示區(qū)域的尺寸大致相同。為了達到上述目的，本發(fā)明的縮略圖生成裝置的第四特征在于，還具備臉部特征信息存儲部，其將能夠唯一識別人臉的臉部特征作為臉部特征信息來存儲，所述縮小放大率計算部判定所述臉部區(qū)域內(nèi)存在的臉部特征是否與在所述臉部特征信息存儲部中存儲的臉部特征信息表示的臉部特征一致或近似，當(dāng)判定為一致或近似時，計算所述縮小放大率，使得與該一致或近似的臉部特征對應(yīng)的所述臉部區(qū)域的尺寸與所述顯示區(qū)域的尺寸大致相同。為了達到上述目的，本發(fā)明的縮略圖生成方法的第一特征在于，具備動態(tài)圖像提取步驟，在動態(tài)圖像的第一預(yù)定期間內(nèi)，每隔比所述第一預(yù)定期間短的第二預(yù)定期間，提取構(gòu)成所述動態(tài)圖像的各圖像；縮小率計算步驟，對提取出的各圖像中包含的人臉區(qū)域進行積分，決定臉部顯示區(qū)域以包圍該被積分的臉部區(qū)域，計算所述動態(tài)圖像的縮小放大率，使得該所決定的臉部顯示區(qū)域的尺寸與預(yù)先為了顯示縮略圖而決定的預(yù)定的顯示區(qū)域的尺寸大致相同；以及動態(tài)圖像縮略圖生成步驟，根據(jù)計算出的所述縮小放大率來縮小或放大所述動態(tài)圖像，生成所述動態(tài)圖像縮略圖。發(fā)明的效果通過本發(fā)明的縮略圖生成裝置及縮略圖生成方法，能夠生成使使用者容易把握在記錄再生裝置中所記錄的動態(tài)圖像的內(nèi)容的動態(tài)圖像縮略圖并進行顯示。


圖1是表示將用于供給本發(fā)明實施例1的縮略圖生成裝置的AV流及流管理信息記錄在記錄介質(zhì)中的攝像機的結(jié)構(gòu)的結(jié)構(gòu)圖。圖2是表示本發(fā)明實施例1的縮略圖生成裝置的結(jié)構(gòu)的結(jié)構(gòu)圖。
4
圖3是表示本發(fā)明實施例1的縮略圖生成裝置具備的用戶界面部顯示的畫面的一個例子的圖。圖4是說明在本發(fā)明實施例1的縮略圖生成裝置具備的用戶界面部中的OSD畫面和動態(tài)圖像再生裝置的疊加的圖。(a)是說明將OSD畫面及動態(tài)圖像再生畫面疊加的順序的圖，(b)是分別表示OSD畫面及動態(tài)圖像再生畫面的一個例子的圖，(c)是表示疊加OSD 畫面及動態(tài)圖像再生畫面后的合成畫面的一個例子的圖。圖5是表示在本發(fā)明實施例1的縮略圖生成裝置具備的動態(tài)圖像縮略圖時間存儲部中所存儲的動態(tài)圖像縮略圖時間信息的一個例子的圖。圖6是表示攝像機具備的臉部檢測部中的臉部檢測處理的流程圖。圖7是表示本發(fā)明實施例1的縮略圖生成裝置中的動態(tài)圖像提取處理的流程圖。圖8是說明本發(fā)明實施例1的縮略圖生成裝置中的動態(tài)圖像提取部提取“單位劃分時間的有臉區(qū)間”的處理的圖。圖9是表示本發(fā)明實施例1的縮略圖生成裝置中的動態(tài)圖像縮略圖顯示處理的流程圖。圖10是說明通過本發(fā)明實施例1的縮略圖生成裝置具備的CPU的縮小率計算部計算包圍臉部檢出區(qū)域的縱橫比16 9的矩形區(qū)域的面積A的圖。(a)表示某區(qū)間內(nèi)的 tl時刻 t5時刻的臉部檢出區(qū)域，(b)是已對(a)所示的臉部檢出區(qū)域進行積分時的動態(tài)圖像的圖，(c)是臉部檢出區(qū)域分散于動態(tài)圖像內(nèi)時的動態(tài)圖像的圖，(d)是臉部檢出區(qū)域密集于動態(tài)圖像內(nèi)時的動態(tài)圖像的圖。圖11是說明通過本發(fā)明實施例1的縮略圖生成裝置具備的縮小率計算部計算動態(tài)圖像的縮小率的圖。(a)表示縮小的動態(tài)圖像的一個例子，(b)表示OSD畫面的一個例子。圖12是說明通過本發(fā)明實施例1的縮略圖生成裝置具備的縮小率計算部計算動態(tài)圖像的縮小率的圖。(a)表示縮小的動態(tài)圖像的一個例子，(b)表示OSD畫面的一個例子。圖13是表示本發(fā)明實施例2的縮略圖生成裝置的結(jié)構(gòu)的結(jié)構(gòu)圖。圖14是表示在本發(fā)明實施例2的縮略圖生成裝置具備的臉部特征信息存儲部中所存儲的臉部特征信息的一個例子的圖。圖15是說明通過本發(fā)明實施例2的縮略圖生成裝置具備的縮小率計算部計算動態(tài)圖像的縮小率的圖。(a)表示縮小的動態(tài)圖像的一個例子，(b)表示OSD畫面的一個例子。
具體實施例方式以下參照附圖對本發(fā)明的實施方式進行說明。實施例1在本發(fā)明的實施例1中，舉例說明具有根據(jù)所拍攝的動態(tài)圖像檢測人臉的臉部檢測部的攝像機、和根據(jù)通過該攝像機生成并記錄在記錄介質(zhì)中的AV流及流管理信息生成動態(tài)圖像縮略圖的縮略圖生成裝置。<攝像機的結(jié)構(gòu)>
圖1是表示生成在本發(fā)明實施例1的縮略圖生成裝置中使用的AV流及流管理信息并記錄在記錄介質(zhì)中的攝像機的結(jié)構(gòu)的結(jié)構(gòu)圖。攝像機101具備光學(xué)鏡頭111、攝像元件112、信號處理部113、H. 264編碼器114、 多路復(fù)用器(multiplexer) 115、臉部檢測部116、加法器117、麥克風(fēng)121、A/D變換器122、 AC3編碼器123以及CPU131。光學(xué)鏡頭111對以軸ρ為光軸而入射的光進行聚光。攝像元件112使通過光學(xué)鏡頭111聚光后的光成像，并將成像而得的被拍攝體圖像變換為電信號。信號處理部113根據(jù)CPU131的指示，根據(jù)通過攝像元件112變換而得的電信號生成視頻信號。H. 264編碼器114根據(jù)CPU131的指示，根據(jù)通過信號處理部113所生成的視頻信號生成視頻流及GOP (Group of picture)信息。A/D變換部122根據(jù)CPU131的指示，將通過麥克風(fēng)121采集的聲音從模擬數(shù)據(jù)變換為數(shù)字?jǐn)?shù)據(jù)。AC3編碼器123根據(jù)CPU131的指示，通過對通過A/D變換部122變換后的數(shù)字?jǐn)?shù)
據(jù)進行編碼，生成音頻流及音頻信息。多路復(fù)用器115根據(jù)CPU131的指示，對通過H. 264編碼器114編碼后的視頻流和通過AC3編碼器123編碼后的音頻流進行多路復(fù)用，生成依照AVCHD標(biāo)準(zhǔn)的AV流，并將所生成的AV流記錄在記錄介質(zhì)A中。臉部檢測部116根據(jù)CPU131的指示，根據(jù)通過信號處理部113生成的視頻信號進行臉部檢測。具體來講，臉部檢測部116根據(jù)視頻信號，以預(yù)定的臉部檢測時間間隔對動態(tài)圖像進行取樣，從取樣后的動態(tài)圖像中檢測出人臉，作為臉部檢測信息提供給加法器117。在此，如果使用能夠高速地進行處理的裝置或算法，則能夠針對每一幀來實現(xiàn)臉部檢測處理。但是，如果針對每一幀進行處理，則臉部檢測信息的數(shù)據(jù)量就會無意義地變大。因此，臉部檢測時間例如最好設(shè)定為0.5秒左右。另外，在臉部檢測信息中包含檢測出臉部的臉部檢出區(qū)域的數(shù)目(0 4、0表示沒有檢測出臉)；每個檢測出臉部的臉部檢出區(qū)域的、以動態(tài)圖像的左上部為基準(zhǔn)點的情況下的檢測出臉部的臉部檢出區(qū)域的左上部坐標(biāo)(X，Y)；以及檢測出臉部的臉部檢出區(qū)域的尺寸(寬和高)。另外，動態(tài)圖像由作為連續(xù)的靜態(tài)圖像的幀或場構(gòu)成，本發(fā)明能夠應(yīng)用于任意一種情況，但是以下為了方便說明，將靜態(tài)圖像稱為幀。另外，臉部檢測部116計算檢測出的人臉的可靠性，即表示是人臉的準(zhǔn)確程度有多大的可靠性，并判定該可靠性是否為預(yù)定的可靠性閾值以上。加法器117根據(jù)CPU131的指示，生成包含從H. 264編碼器114提供的GOP信息、 從AC3編碼器123提供的音頻信息以及從臉部檢測部116提供的臉部檢測信息的流管理信息，并將該流管理信息記錄在記錄介質(zhì)A中。CPU131進行攝像機101的中樞控制。具體來講，CPU131控制上述攝像元件112、 信號處理部113、Η. 264編碼器114、多路復(fù)用器115、臉部檢測部116、加法器117、A/D變換部122以及AC3編碼器123。<縮略圖生成裝置的結(jié)構(gòu)>
圖2是表示本發(fā)明實施例1的縮略圖生成裝置的結(jié)構(gòu)的結(jié)構(gòu)圖。如圖2所示，本發(fā)明實施例1的縮略圖生成裝置1具備多路分離器 (demultiplexer) 11、AC3解碼器12、揚聲器13,H. 264解碼器14、縮小放大部15、加法器16、 用戶界面部17、OSD生成部18、CPU20以及動態(tài)圖像縮略圖時間存儲部19。多路分離器11根據(jù)CPU20的指示，讀取在記錄介質(zhì)A中記錄的AV流，對讀取出的 AV流進行多路信號分離，由此生成視頻流和音頻流。AC3解碼器12根據(jù)CPU20的指示，對從多路分離器11所提供的音頻流進行解碼， 由此生成再生聲音數(shù)據(jù)，從揚聲器13輸出聲音。H. 264解碼器14根據(jù)CPU20的指示，對從多路分離器11所提供的視頻流進行解碼，由此生成再生動態(tài)圖像數(shù)據(jù)，并將該生成的再生動態(tài)圖像數(shù)據(jù)提供給縮小放大部15?？s小放大部15根據(jù)CPU20的指示，對從H. 264解碼器14所提供的再生動態(tài)圖像數(shù)據(jù)進行縮小或放大，由此生成用于作為動態(tài)圖像縮略圖來顯示的縮小或放大后的再生動態(tài)圖像數(shù)據(jù)。CPU20進行縮略圖生成裝置1的中樞控制。具體來講，CPU20控制多路分離器11、 AC3解碼器12、揚聲器13、H. 264解碼器14、縮小放大部15、加法器16、用戶界面部17以及 OSD生成部18。另外，CPU20將從記錄介質(zhì)A讀取出的流管理信息提供給OSD生成部18。OSD生成部18根據(jù)CPU20的指示，根據(jù)所提供的流管理信息生成用于顯示OSD畫面的OSD圖像數(shù)據(jù)，提供給加法器16。加法器16根據(jù)CPU20的指示，對從縮小放大部15提供的縮小或放大后的再生動態(tài)圖像數(shù)據(jù)疊加從OSD生成部18提供的OSD圖像數(shù)據(jù)，由此生成合成圖像數(shù)據(jù)，并使用戶界面部17顯示該生成的合成圖像數(shù)據(jù)。用戶界面部17具備由有機EL (electroluminescence)顯示器或液晶顯示器等構(gòu)成的圖像顯示部。并且用戶界面部17根據(jù)CPU20的指示，根據(jù)從加法器17提供的合成圖像數(shù)據(jù)來顯示合成畫面。另外，用戶界面部17也具備由接觸式傳感器等構(gòu)成的操作按鈕或滑塊等操作部。 并且，用戶界面部17在通過使用者操作該操作按鈕或滑塊時，生成與該操作相對應(yīng)的操作信號，并將所生成的操作信號提供給CPU20。動態(tài)圖像縮略圖時間存儲部19將動態(tài)圖像的再生時間和與該再生時間相對應(yīng)的動態(tài)圖像縮略圖的再生時間關(guān)聯(lián)起來進行存儲。后面對該關(guān)聯(lián)進行闡述。圖3表示本發(fā)明實施例1的縮略圖生成裝置1具備的用戶界面部17的外觀和在該用戶界面部17的圖像顯示部上顯示的畫面的一個例子。如圖3所示那樣，用戶界面部17包含圖像顯示部17g、操作按鈕17b以及滑塊17c 而構(gòu)成。在圖像顯示部17g中，將包含基于OSD圖像數(shù)據(jù)而生成的靜態(tài)圖像縮略圖的OSD 畫面、和基于通過縮小放大部15縮小或放大后的再生動態(tài)圖像數(shù)據(jù)所生成的動態(tài)圖像縮略圖進行疊加作為合成畫面來顯示。在圖像顯示部17g中顯示的OSD畫面上，區(qū)域分割為縮略圖顯示區(qū)域17d、操作指導(dǎo)顯示區(qū)域17e以及頁碼顯示區(qū)域17f來顯示?？s略圖顯示區(qū)域17d顯示靜態(tài)圖像縮略圖和動態(tài)圖像縮略圖。后面對該顯示方法進行闡述。在操作指導(dǎo)顯示區(qū)域17e中顯示用于向用戶表示分配給操作按鈕17b的功能的圖標(biāo)等。在頁碼顯示區(qū)域17f中顯示當(dāng)前在縮略圖顯示區(qū)域17d中所顯示的靜態(tài)圖像縮略圖一覽的頁碼。例如，在顯示8/9時，表示全部共9頁、當(dāng)前正在顯示第8頁。在圖3的例子中配置有五個操作按鈕17b。所配置的五個操作按鈕中，左端的操作按鈕是用于生成請求選擇確定動態(tài)圖像縮略圖的操作信號的OK按鈕，右端的操作按鈕是用于生成請求顯示菜單的操作信號的菜單按鈕。另外，這些操作按鈕之間的三個操作按鈕沒有被分配固定的功能，而是由CPU20根據(jù)用戶的操作的遷移來分配各種功能。并且，為了將分配給各操作按鈕的功能表示給用戶，使用上述操作指導(dǎo)顯示區(qū)域17e。在圖3的例子中，對左側(cè)的操作按鈕分配了摘要(digest)再生功能，對中央的操作按鈕分配了縮放再生功能，對右側(cè)的操作按鈕分配了垃圾箱功能?；瑝K17c用于滑動用于顯示后述的動態(tài)圖像縮略圖的顯示區(qū)域、即高亮框17k。當(dāng)使用者向下滑動該滑塊17c時，高亮框Hk從左向右移動，當(dāng)向上滑動時，高亮框Hk從右向左移動。圖4是說明將動態(tài)圖像縮略圖和靜態(tài)圖像縮略圖一起進行一覽顯示的方法的圖。如圖4(a)所示那樣，在將動態(tài)圖像縮略圖和靜態(tài)圖像縮略圖一起進行一覽顯示時，使用動態(tài)圖像再生畫面Hh和OSD畫面17a。首先，如圖4(b)所示，CPU20將縮略圖顯示區(qū)域17d顯示在OSD畫面17a上。在該縮略圖顯示區(qū)域17d中對靜態(tài)圖像縮略圖進行一覽顯示。在此，例如通過提取各動態(tài)圖像的任意位置的1幀后進行解碼，并對其解碼后的圖像進行縮小或放大來生成靜態(tài)圖像縮略圖。在圖4(b)中，通過使用者操作滑塊17c，在縮略圖顯示區(qū)域17d內(nèi)的左上部的靜態(tài)圖像縮略圖上顯示的高亮框Hk移動，以便選擇在縮略圖顯示區(qū)域17d中一覽顯示的靜態(tài)圖像縮略圖中的某一個。然后，在從靜態(tài)圖像縮略圖中選擇了某一個后，例如經(jīng)過0.5秒時，CPU20將由高亮框17k包圍的靜態(tài)圖像縮略圖消除，將高亮框17k內(nèi)變?yōu)橥该鳟嬅妗Ａ硪环矫?，CPU20通過縮小放大部15將再生動態(tài)圖像數(shù)據(jù)縮小或放大到與高亮框 17k同等的尺寸的同時，生成將顯示位置與該高亮框匹配后的動態(tài)圖像縮略圖17j，并作為動態(tài)圖像再生畫面Hh來顯示。然后，如圖4(c)所示那樣，CPU20通過加法器16將動態(tài)圖像再生畫面Hh疊加到 OSD畫面17a的背面，生成合成畫面。由此，在OSD畫面17a中、成為透明畫面的高亮框Hk 內(nèi)顯示背面的動態(tài)圖像再生畫面17h內(nèi)的動態(tài)圖像縮略圖17j。圖5表示在本發(fā)明實施例1的縮略圖生成裝置1具備的動態(tài)圖像縮略圖時間存儲部19中所存儲的動態(tài)圖像縮略圖時間信息的一個例子。如圖5所示，將列名“動態(tài)圖像的再生時間”(符號101)、列名“動態(tài)圖像縮略圖的再生時間”(符號102)以及列名“動態(tài)圖像縮略圖再生區(qū)間數(shù)”(符號103)關(guān)聯(lián)起來，作為動態(tài)圖像縮略圖時間信息來存儲。另外，通過將動態(tài)圖像縮略圖再生區(qū)間數(shù)103與后述的單位劃分時間相乘來計算動態(tài)圖像縮略圖的再生時間102。
另外，CPU20除上述功能外，還具備動態(tài)圖像提取部20a、縮小放大率計算部20b以及縮略圖區(qū)間決定部20d。動態(tài)圖像提取部20a在動態(tài)圖像的第一預(yù)定期間內(nèi)，針對后述的每個比第一預(yù)定期間短的第二預(yù)定期間來提取構(gòu)成動態(tài)圖像的各圖像。縮略圖區(qū)間決定部20d根據(jù)通過動態(tài)圖像提取部20a提取出的各圖像中的、存在人臉區(qū)域的圖像的連續(xù)的數(shù)目來決定一個以上第一預(yù)定期間?？s小放大率計算部20b對所提取出的各圖像中包含的人臉區(qū)域進行積分，包圍該積分后的臉部區(qū)域地決定臉部顯示區(qū)域，計算動態(tài)圖像的縮小放大率，使得該決定的臉部顯示區(qū)域的尺寸與預(yù)先為了顯示動態(tài)圖像縮略圖而決定的預(yù)定的顯示區(qū)域的尺寸大致相同。另外，縮小放大率計算部20b，在與所決定的對象臉部區(qū)域的面積相對應(yīng)的臉部檢出區(qū)域的合計面積比預(yù)定的閾值小時，將靠近中心且面積大的臉部檢出區(qū)域作為代表區(qū)域，計算所述動態(tài)圖像的縮小放大率，使得該代表區(qū)域的尺寸與動態(tài)圖像縮略圖的尺寸大致相同。<攝像機101具備的臉部檢測部116的作用>接下來，對攝像機101具備的臉部檢測部116執(zhí)行的臉部檢測處理進行說明。圖6是表示攝像機101具備的臉部檢測部116中的臉部檢測處理的流程圖。如圖6所述，臉部檢測部116根據(jù)視頻信號，每隔臉部檢測時間(第二預(yù)定期間 此處例如為0. 5秒)，對構(gòu)成動態(tài)圖像的幀進行取樣，從所取樣的幀中檢測人臉，同時生成檢測出臉部的臉部檢出區(qū)域(臉部區(qū)域)的臨時數(shù)(仮數(shù))Np (步驟S201)。接著，臉部檢測部116將初始值“1”代入到檢測出臉部的臉部檢出區(qū)域的計數(shù)器 i的值中，并將初始值“0”代入到有效人臉數(shù)M中(步驟S202)。然后，臉部檢測部116計算檢測出臉部的臉部檢出區(qū)域的臨時數(shù)Np中的第i個檢測出臉部的臉部檢出區(qū)域的可靠性，并判定該可靠性是否為預(yù)定的可靠性閾值以上(步驟 S203)。在此，所謂可靠性表示檢測出臉部的臉為人臉的準(zhǔn)確性有多大程度。當(dāng)在步驟S203中判定出第i個臉部檢出區(qū)域的可靠性小于預(yù)定的可靠性閾值時 (為“否”時)，臉部檢測部116刪除第i個臉部檢出區(qū)域(步驟S204)。另一方面，當(dāng)在步驟S203中判定出第i個臉部檢出區(qū)域的可靠性為預(yù)定的可靠性閾值以上時(為“是”時)，臉部檢測部116將有效人臉數(shù)M的值加“1” (步驟S205)。接著，臉部檢測部116判定計數(shù)器i的值是否超過檢測出臉部的臉部檢出區(qū)域的臨時數(shù)Np (步驟S206)。當(dāng)在步驟S206中判定出計數(shù)器i的值超過檢測出臉部的臉部檢出區(qū)域的臨時數(shù) Np時(為“是”時)，臉部檢測部116判定有效人臉數(shù)M是否超過最大人臉數(shù)Mmax (步驟 S207)。在此，最大人臉數(shù)Mmax例如為“4”那樣，需要預(yù)先由提供者等計算基于實測的適當(dāng)值，并且由提供者或使用者等預(yù)先設(shè)定適當(dāng)值。當(dāng)在步驟S207中判定出有效人臉數(shù)M為最大人臉數(shù)Mmax以下時(為“否”時)， 臉部檢測部116將有效人臉數(shù)M的值代人到臉部評價數(shù)Mval中(步驟S208)。另一方面，當(dāng)在步驟S207中判定出有效人臉數(shù)M超過最大人臉數(shù)Mmax時(為“是” 時)，臉部檢測部116計算有效人臉數(shù)M份的臉部檢出區(qū)域的面積(步驟S208)。
9
接著，臉部檢測部116按照在步驟S208中計算出的臉部檢出區(qū)域的面積從大到小的順序，將有效人臉數(shù)M份的臉部檢出區(qū)域進行排序(步驟S209)。然后，臉部檢測部116從在步驟S209中排序后的有效人臉數(shù)M份的臉部檢出區(qū)域中，從開頭選擇Mmax個(步驟S210)。另外，臉部檢測部116將Mmax的值代入到臉部評價數(shù)Mval中(步驟S211)。接下來，臉部檢測部116生成臉部檢測信息(步驟S2U)。具體來講，臉部檢測部 116將臉部評價數(shù)Mval的值代入到檢測出臉部的臉部檢出區(qū)域的數(shù)量N中，生成包含該檢測出臉部的臉部檢出區(qū)域的數(shù)量N、N份的臉部檢出區(qū)域的坐標(biāo)(X，Y)及尺寸(寬和高)的臉部檢測信息，并將該所生成的臉部檢測信息提供給加法器117。如此，根據(jù)本發(fā)明實施例1的攝像機101具備的臉部檢測部116，通過執(zhí)行臉部檢測處理，臉部檢測部116根據(jù)通過信號處理部113所生成的視頻信號，以臉部檢測時間間隔對動態(tài)圖像(幀)進行取樣，從取樣后的動態(tài)圖像(幀)中檢測出人臉，并作為臉部檢測信息提供給加法器117，因此，如后述那樣，縮略圖生成裝置1能夠根據(jù)該臉部檢測信息生成動態(tài)圖像縮略圖。<縮略圖生成裝置1的作用>接著，對本發(fā)明實施例1的縮略圖生成裝置1的作用進行說明。本發(fā)明實施例1的縮略圖生成裝置1主要按順序執(zhí)行動態(tài)圖像提取處理及動態(tài)圖像縮略圖顯示處理。因此，以下對各個處理進行詳細說明。(動態(tài)圖像提取處理)對本發(fā)明實施例1的縮略圖生成裝置1的動態(tài)圖像提取處理進行詳細說明。圖7是表示本發(fā)明實施例1的縮略圖生成裝置1中的動態(tài)圖像提取處理的流程圖。首先，CPU20的動態(tài)圖像提取部20a根據(jù)來自用戶界面部17的操作信號，從靜態(tài)圖像縮略圖中選擇某一個，然后在判斷出經(jīng)過了預(yù)定時間(例如0.5秒)時(步驟S101)，縮略圖區(qū)間決定部20d根據(jù)從記錄介質(zhì)A中讀出的流管理信息的臉部檢測信息中包含的檢測出臉部的臉部檢出區(qū)域(臉部區(qū)域)的數(shù)量N，從預(yù)定的單位劃分時間(此處設(shè)為5秒)以上連續(xù)的“有臉區(qū)間”中決定“單位劃分時間的有臉區(qū)間(第一預(yù)定期間)，，(步驟S102)。在此，如果單位劃分時間過長，則后述的臉部區(qū)域的積分時間變長，因此無法進行動態(tài)圖像縮略圖的有效的放大顯示，如果過短，則動態(tài)圖像縮略圖的圖像在短時間內(nèi)跳過， 因此使用者難以把握內(nèi)容。因此，例如5秒那樣，需要預(yù)先由提供者等預(yù)先計算基于實測的適當(dāng)值，并且由提供者或使用者等預(yù)先設(shè)定適當(dāng)值。圖8是說明本發(fā)明實施例1的縮略圖生成裝置1的縮略圖區(qū)間決定部20d決定 “單位劃分時間的有臉區(qū)間”，動態(tài)圖像提取部20a提取“單位劃分時間的有臉區(qū)間”的處理的圖。如圖8所示那樣，在從記錄介質(zhì)A中讀出的流管理信息中包含每個臉部檢測時間間隔(0.5秒)的臉部檢測信息，在該臉部檢測信息中包含檢測出臉部的臉部檢出區(qū)域的數(shù)量N。縮略圖區(qū)間決定部20d將檢測出臉部的臉部檢出區(qū)域的數(shù)量N為“0”的區(qū)間超過4個而連續(xù)的區(qū)間、即超過2秒沒有檢測出人臉的區(qū)間作為“無臉區(qū)間”，將其它區(qū)間作為“有臉區(qū)間”。在圖8所示的例子中，將超過2秒沒有檢測出臉部的區(qū)間205作為“無臉區(qū)間”，將沒有檢測出人臉但是為2秒以下的區(qū)間206作為“有臉區(qū)間”。然后，動態(tài)圖像提取部20a從該“有臉區(qū)間”中提取單位劃分時間的有臉區(qū)間207、 208。在此，將通過動態(tài)圖像提取部20a提取出的“單位劃分時間的有臉區(qū)間”的總數(shù)稱為提取區(qū)間數(shù)S。接下來，動態(tài)圖像提取部20a根據(jù)在流管理信息中包含的動態(tài)圖像的再生時間和在動態(tài)圖像縮略圖時間存儲部19中存儲的動態(tài)圖像縮略圖時間信息，判定提取區(qū)間數(shù)S是否小于動態(tài)圖像縮略圖再生區(qū)間數(shù)103(步驟S104)。具體來講，動態(tài)圖像提取部20a根據(jù)圖5所示的、在動態(tài)圖像縮略圖時間存儲部19中存儲的動態(tài)圖像縮略圖時間信息，決定與在流管理信息中包含的動態(tài)圖像的再生時間相對應(yīng)的動態(tài)圖像縮略圖再生區(qū)間數(shù)103，判定提取區(qū)間數(shù)S是否小于該所決定的動態(tài)圖像縮略圖再生區(qū)間數(shù)103。當(dāng)在步驟S104中判定出提取區(qū)間數(shù)S小于動態(tài)圖像縮略圖再生區(qū)間數(shù)103時(為 “是”時)，動態(tài)圖像提取部20a判定除去已經(jīng)提取的“單位劃分時間的有臉區(qū)間，，之外，是否有不到單位劃分時間的“有臉區(qū)間”(步驟S105)。當(dāng)在步驟S105中判定出除去已經(jīng)提取的“單位劃分時間的有臉區(qū)間”之外，有不到單位劃分時間的“有臉區(qū)間”時(為“是”時)，動態(tài)圖像提取部20a除去已經(jīng)提取的“單位劃分時間的有臉區(qū)間”之外，從動態(tài)圖像的先頭提取不足數(shù)量的“有臉區(qū)間”(步驟S106)。然后，動態(tài)圖像提取部20a將在步驟S106中提取出的區(qū)間數(shù)與提取區(qū)間數(shù)S相加，作為確定提取區(qū)間數(shù)Sf (步驟S107)。當(dāng)在步驟S105中判定出除去已經(jīng)提取的“單位劃分時間的有臉區(qū)間”之外，沒有不到單位劃分時間的“有臉區(qū)間”時(為“否”時)，動態(tài)圖像提取部20a將提取區(qū)間數(shù)S代入到確定提取區(qū)間數(shù)Sf中(步驟S120)。另一方面，當(dāng)在步驟S104中判定出提取區(qū)間數(shù)S為動態(tài)圖像縮略圖再生區(qū)間數(shù) 103以上時(為“否”時)，動態(tài)圖像提取部20a判定提取區(qū)間數(shù)S是否與動態(tài)圖像縮略圖再生區(qū)間數(shù)103相同(步驟S108)。當(dāng)在步驟S108中判定出提取區(qū)間數(shù)S與動態(tài)圖像縮略圖再生區(qū)間數(shù)103相同時 (為“是”時)，動態(tài)圖像提取部20a將提取區(qū)間數(shù)S代入到確定提取區(qū)間數(shù)Sf中(步驟 S109)。另一方面，當(dāng)在步驟S108中判定出提取區(qū)間數(shù)S與動態(tài)圖像縮略圖再生區(qū)間數(shù) 103不同時(為“否”時)，動態(tài)圖像提取部20a根據(jù)臉部檢測信息中包含的臉部檢出區(qū)域的尺寸(寬和高)，針對每個“單位劃分時間的有臉區(qū)間”，計算臉部檢出區(qū)域的面積的平均值(步驟Sl 10)。接著，動態(tài)圖像提取部20a按照在步驟SllO中計算出的臉部檢出區(qū)域的面積的平均值從大到小的順序，將提取出的“單位劃分時間的有臉區(qū)間”進行排序(步驟sill)。然后，動態(tài)圖像提取部20a從在步驟Slll中排序后的“單位劃分時間的有臉區(qū)間” 中，從開頭選擇動態(tài)圖像縮略圖再生區(qū)間數(shù)103的量(步驟S112)。接著，動態(tài)圖像提取部20a將動態(tài)圖像縮略圖再生區(qū)間數(shù)103代入到確定提取區(qū)間數(shù)Sf中(步驟Sl 13)。
11
如此，因為從“單位劃分時間的有臉區(qū)間”中的、臉部檢出區(qū)域的面積的平均值高的區(qū)間優(yōu)先進行選擇，所以優(yōu)先選擇人臉被拍攝得較大的區(qū)間。如以上那樣，本發(fā)明實施例1的縮略圖生成裝置1通過執(zhí)行動態(tài)圖像提取處理，動態(tài)圖像提取部20a能夠根據(jù)動態(tài)圖像的再生時間、每隔臉部檢測時間間隔檢測出臉部的臉部檢出區(qū)域的數(shù)量、和檢測出臉部的臉部檢出區(qū)域的尺寸(寬和高)，從除去連續(xù)預(yù)定時間未檢測出臉部的幀的動態(tài)圖像中提取未超過動態(tài)圖像的再生時間的、動態(tài)圖像縮略圖的再生時間量的動態(tài)圖像(幀)。由此，為了生成與所選擇的靜態(tài)圖像縮略圖對應(yīng)的動態(tài)圖像縮略圖，能夠提取構(gòu)成在記錄介質(zhì)A中所記錄的動態(tài)圖像的幀中、適當(dāng)?shù)膮^(qū)間量的幀。(動態(tài)圖像縮略圖生成及顯示處理)對本發(fā)明實施例1的縮略圖生成裝置1的動態(tài)圖像縮略圖生成及顯示處理進行詳細說明。圖9是表示本發(fā)明實施例1的縮略圖生成裝置1中的動態(tài)圖像縮略圖生成及顯示處理的流程圖。首先，CPU20的縮小放大率計算部20b將初始值“0”代入到區(qū)間的計數(shù)器k的值中(步驟S301)，將初始值“1”代入到臉部檢出區(qū)域的計數(shù)器j的值中(步驟S302)。然后，CPU20的縮小放大率計算部20b根據(jù)提取出了確定提取區(qū)間數(shù)Sf量的“有臉區(qū)間”中的、在第k區(qū)間中臉部檢測信息中包含的臉部檢出區(qū)域的尺寸(寬和高)，來計算臉部檢出區(qū)域(臉部區(qū)域)的面積的總和B (步驟S303)。另外，CPU20的縮小放大率計算部20b根據(jù)在第k區(qū)間中、臉部檢測信息中包含的臉部檢出區(qū)域的左上部的坐標(biāo)(X，Y)和臉部檢出區(qū)域的尺寸(寬和高)，來計算與包圍臉部檢出區(qū)域的動態(tài)圖像相同的縱橫比(16 9)的矩形區(qū)域(臉部顯示區(qū)域)的面積A(步驟 S304)。圖10是說明通過本發(fā)明實施例1的縮略圖生成裝置1具備的CPU20的縮小放大率計算部20b計算包圍臉部檢出區(qū)域的縱橫比16 9的矩形區(qū)域的面積A的圖。(a)表示某區(qū)間內(nèi)的tl時刻到t5時刻的臉部檢出區(qū)域，(b)是對(a)所示的臉部檢出區(qū)域進行積分時的幀的圖，(c)是臉部檢出區(qū)域分散于幀內(nèi)時的圖，(d)是臉部檢出區(qū)域密集于幀內(nèi)時的圖。如圖10(a)所示那樣，在tl時刻 t5時刻，隨著時間的經(jīng)過，所檢測出的臉部檢出區(qū)域301 305的位置一點點地移動。另外，如果對這些臉部檢出區(qū)域301 305進行積分，則如圖10(b)所示那樣，成為積分臉部檢出區(qū)域401。縮小放大率計算部20b計算包圍該積分臉部檢出區(qū)域401的縱橫比(16 9)的矩形區(qū)域402的面積A?？s小放大率計算部20b這樣地計算矩形區(qū)域的面積A，因此當(dāng)臉部檢出區(qū)域301 305分散于幀內(nèi)時，如圖10(c)所示那樣，矩形區(qū)域403的面積A變大，當(dāng)臉部檢出區(qū)域 301 305密集于幀內(nèi)時，如圖10(d)所示那樣，矩形區(qū)域403的面積A變小。接著，CPU20的縮小放大率計算部20b判定對應(yīng)于在步驟S304中計算出的矩形區(qū)域的面積A的、在步驟S303中計算出的臉部檢出區(qū)域的面積的總和B是否比預(yù)定的閾值R小(步驟S305)。在此，如果該閾值R過小，則如后述那樣，即使矩形區(qū)域的面積A變大，也使矩形區(qū)域的面積與動態(tài)圖像縮略圖的面積相同地來計算動態(tài)圖像的縮小放大率，因此無法進行動態(tài)圖像縮略圖的有效的放大顯示。另外，如果閾值R過大，則即使矩形區(qū)域的面積A小，想分別放大多個臉部檢出區(qū)域時，也僅對評價值P最大的一個臉部檢出區(qū)域進行放大地計算動態(tài)圖像的縮小放大率，因此，此時也無法進行動態(tài)圖像縮略圖的有效的放大顯示。當(dāng)在步驟S305中判定出對應(yīng)于矩形區(qū)域的面積A的臉部檢出區(qū)域的面積的總和B 為預(yù)定的閾值R以上時(為“否”時)，縮小放大率計算部20b計算動態(tài)圖像的縮小放大率， 使得矩形區(qū)域的尺寸(寬和高)與動態(tài)圖像縮略圖的尺寸(寬和高)相同(步驟S306)。圖11是說明通過本發(fā)明實施例1的縮略圖生成裝置1具備的縮小放大率計算部 20b計算動態(tài)圖像的縮小放大率的圖。(a)表示縮小放大的動態(tài)圖像的幀的一個例子，(b) 表示OSD畫面17a的一個例子。如圖Ila所示那樣，動態(tài)圖像的幀的尺寸為XXY(縱橫比16 9)，矩形區(qū)域501 的尺寸為Χ2ΧΥ2(縱橫比16 9)，如圖11(b)所示那樣，OSD畫面17a的動態(tài)圖像縮略圖的尺寸、即高亮框17k的尺寸為X1XY1(縱橫比16 9)。此時，縮小放大率計算部20b計算動態(tài)圖像的縮小放大率，使得矩形區(qū)域501的尺寸與高亮框Hk的尺寸相同。即如果設(shè)縮小放大率為Q，則使用下面的公式1來計算縮小放大率0。Q = (Xl/X) X (X1/X2). . · (1)另外，(X1/X2)的X2的值表示與圖11 (b)所示的動態(tài)圖像縮略圖匹配后的動態(tài)圖像的幀中的X2的大小，不是圖11(a)所示的原始動態(tài)圖像的幀中的X2的大小。如此，縮小放大率計算部20b使矩形區(qū)域501的尺寸與高亮框Hk的尺寸成為相同地來計算動態(tài)圖像的縮小放大率，因此在(X1/X2)比(X1/X)大時，看起來作為動態(tài)圖像縮略圖進行了放大顯示，但是實際上，該動態(tài)圖像縮略圖的圖像是從原來的動態(tài)圖像縮小或放大后進行顯示的。另一方面，當(dāng)在圖9中的步驟S305中判定出對應(yīng)于矩形區(qū)域的面積A的臉部檢出區(qū)域的面積的總和B小于預(yù)定的閾值R時(為“是”時)，縮小放大率計算部20b使用下面的公式2來計算在第k區(qū)間中、N個檢測出臉部的臉部檢出區(qū)域中的第j個臉部檢出區(qū)域的評價值P(j)(步驟S307)。P(j)=第j個臉部檢出區(qū)域的面積-(從畫面中央到第j個臉部檢出區(qū)域的中央的長度)2X0. 2. . . (2)然后，縮小放大率計算部20b將計數(shù)器j的值加“1”后(步驟S308)，判定計數(shù)器 j的值是否超過了檢測出臉部的臉部檢出區(qū)域的數(shù)量N(步驟S309)。當(dāng)在步驟S309中判定出計數(shù)器j的值超過了檢測出臉部的臉部檢出區(qū)域的數(shù)量N 時(為“是”時)，縮小放大率計算部20b選擇N個檢測出臉部的臉部檢出區(qū)域中的、靠近畫面中心且面積大的臉部檢出區(qū)域、即評價值P的值最高的臉部檢出區(qū)域作為代表區(qū)域(步驟 S310)。接著，縮小放大率計算部20b計算動態(tài)圖像的縮小放大率，使得在步驟S310中所選擇的代表區(qū)域的尺寸(寬和高)與動態(tài)圖像縮略圖的尺寸(寬和高)大致相同(步驟 S311)。
圖12是說明通過本發(fā)明實施例1的縮略圖生成裝置1具備的縮小放大率計算部 20b計算動態(tài)圖像的縮小放大率的圖。(a)表示縮小或放大的動態(tài)圖像的幀的一個例子， (b)表示OSD畫面17a的一個例子。如圖12(a)所示那樣，動態(tài)圖像的幀的尺寸為XXY(縱橫比16 9)，代表區(qū)域502 的尺寸為Χ3XTO (縱橫比16 9)，如圖12(b)所示那樣，OSD畫面17a的動態(tài)圖像縮略圖的尺寸、即高亮框17k的尺寸為X1XY1(縱橫比16 9)。此時，縮小放大率計算部20b計算動態(tài)圖像的縮小放大率，以使代表區(qū)域502的尺寸與高亮框17k的尺寸相同。即如果設(shè)縮小放大率為Q，則通過使用上述的公式1，分別將 X2、Y2置換為X3、Y3，計算縮小放大率Q。如此，縮小放大率計算部20b使在步驟S310中所選擇的代表區(qū)域的尺寸(寬和高)與動態(tài)圖像縮略圖的尺寸(寬和高)大致相同地來計算動態(tài)圖像的縮小放大率，因此， 人臉容易被放大，使用者能夠容易地把握動態(tài)圖像的內(nèi)容。接下來，縮小放大部15根據(jù)通過縮小放大率計算部20b計算出的縮小放大率來縮小或放大動態(tài)圖像，生成動態(tài)圖像縮略圖(步驟S312)。由此，被提供包含該生成的動態(tài)圖像縮略圖的再生圖像數(shù)據(jù)的加法器16根據(jù)OSD 圖像數(shù)據(jù)，使OSD畫面疊加在動態(tài)圖像再生畫面上地合成兩個畫面，并使用戶界面部17顯示該合成后的畫面。接著，CPU20的縮小放大率計算部20b在將計數(shù)器k的值加“1”后(步驟S313)， 判定計數(shù)器k是否為確定提取區(qū)間數(shù)Sf以上(步驟S314)，直到計數(shù)器k為確定提取區(qū)間數(shù)Sf以上為止，重復(fù)執(zhí)行步驟S303 S314的處理。如以上那樣，通過本發(fā)明實施例1的縮略圖生成裝置1，能夠生成使用者容易把握動態(tài)圖像的內(nèi)容的動態(tài)圖像縮略圖并進行顯示。另外，在本發(fā)明實施例1中，舉例說明了經(jīng)由介質(zhì)A從攝像機101被提供與所檢測出的人臉相關(guān)的臉部檢測信息，并根據(jù)所提供的臉部檢測信息生成動態(tài)圖像縮略圖的縮略圖生成裝置，但是并不限于此，也可以經(jīng)由網(wǎng)絡(luò)與攝像機101連接，經(jīng)由該網(wǎng)絡(luò)從攝像機 101提供與檢測出的人臉相關(guān)的臉部檢測信息，并根據(jù)所提供的臉部檢測信息生成動態(tài)圖像縮略圖。實施例2在本發(fā)明實施例1中，舉例說明了通過應(yīng)用了根據(jù)所拍攝的動態(tài)圖像來檢測人臉的臉部檢測裝置的攝像機101經(jīng)由記錄介質(zhì)A提供與檢測出的人臉有關(guān)的臉部檢測信息，并根據(jù)所提供的臉部檢測信息來縮小或放大動態(tài)圖像生成動態(tài)圖像縮略圖的縮略圖生成裝置，但是也可以根據(jù)所登錄的臉部特征信息縮小或放大動態(tài)圖像來生成動態(tài)圖像縮略圖。因此，在本發(fā)明實施例2中，舉例說明通過應(yīng)用了根據(jù)所拍攝的動態(tài)圖像來檢測人臉的臉部檢測裝置的攝像機101經(jīng)由記錄介質(zhì)A提供與檢測出的人臉有關(guān)的臉部檢測信息，并根據(jù)所提供的臉部檢測信息和臉部特征信息來縮小或放大動態(tài)圖像生成動態(tài)圖像縮略圖的縮略圖生成裝置。〈攝像機101的結(jié)構(gòu)〉將用于提供給本發(fā)明實施例2的縮略圖生成裝置的AV流及流管理信息記錄在記錄介質(zhì)A中的攝像機101的結(jié)構(gòu)，與將用于提供給本發(fā)明實施例1的縮略圖生成裝置1的 AV流及流管理信息記錄在記錄介質(zhì)A中的攝像機101具有相同結(jié)構(gòu)，因此省略說明。<縮略圖生成裝置的結(jié)構(gòu)>圖13是表示本發(fā)明實施例2的縮略圖生成裝置IA的結(jié)構(gòu)的結(jié)構(gòu)圖。如圖13所示那樣，本發(fā)明實施例2的縮略圖生成裝置IA具備多路分離器11、AC3 解碼器12、揚聲器13、H. 264解碼器14、縮小放大部15、加法器16、用戶界面部17、0SD生成部18、CPU20A、動態(tài)圖像縮略圖時間存儲部19以及臉部特征信息存儲部21。其中，多路分離器11、AC3解碼器12、揚聲器13、H. 264解碼器14、縮小放大部15、 加法器16、用戶界面部17、OSD生成部18以及動態(tài)圖像縮略圖時間存儲部19分別與本發(fā)明實施例1的縮略圖生成裝置1具備的賦予相同符號的結(jié)構(gòu)相同，因此省略說明。臉部特征信息存儲部21將用于唯一識別人物的人物ID和臉部的特征信息關(guān)聯(lián)起來，作為臉部特征信息來存儲。圖14是表示在本發(fā)明實施例2的縮略圖生成裝置IA具備的臉部特征信息存儲部 21中所存儲的臉部特征信息的一個例子的圖。如圖14所示那樣，將列名“人物ID” (符號601)和列名“特征信息”(符號602) 關(guān)聯(lián)起來，作為臉部特征信息來存儲。另外，所謂臉部特征信息是表示眼、鼻及口等的大小及形狀等能夠唯一識別人臉的臉部特征的信息。CPU20A進行縮略圖生成裝置IA的中樞控制。另外，CPU20A除上述功能外還具備動態(tài)圖像提取部20a和縮小放大率計算部20c。動態(tài)圖像提取部20a根據(jù)動態(tài)圖像的再生時間和每隔臉部檢測時間間隔檢測出的臉部圖像的數(shù)目，從除去連續(xù)預(yù)定時間沒有檢測出人臉的時間外的動態(tài)圖像的幀中，提取未超過動態(tài)圖像縮略圖的再生時間的時間量的動態(tài)圖像的幀?？s小放大率計算部20c在從攝像機101提供包含臉部特征信息的臉部檢測信息時，判定所提供的臉部檢測信息中包含的臉部特征信息是否與臉部特征信息存儲部21中存儲的臉部特征信息一致或近似，當(dāng)判定出一致或近似時，計算動態(tài)圖像的縮小放大率，使得與該一致或近似的臉部特征信息對應(yīng)的臉部檢出區(qū)域為最大。具體來講，縮小放大率計算部20c選擇與一致或近似的臉部特征信息對應(yīng)的臉部檢出區(qū)域作為登錄臉部區(qū)域，并計算動態(tài)圖像的縮小放大率，以使該所選擇的登錄臉部區(qū)域的尺寸與動態(tài)圖像縮略圖的尺寸大致相同。圖15是說明通過本發(fā)明實施例2的縮略圖生成裝置IA具備的縮小放大率計算部 20c計算動態(tài)圖像的縮小放大率的圖。(a)表示縮小或放大的動態(tài)圖像的幀的一個例子， (b)表示OSD畫面17a的一個例子。如圖15a所示那樣，動態(tài)圖像的幀的尺寸為XXY(縱橫比16 9)，登錄臉部區(qū)域 601的尺寸為X4XW(縱橫比16 9)，如圖15(b)所示那樣，OSD畫面17a的動態(tài)圖像縮略圖的尺寸、即高亮框17k的尺寸為X1XY1(縱橫比16 9)。此時，縮小放大率計算部20b計算動態(tài)圖像的縮小放大率，以使登錄臉部區(qū)域601 的尺寸與高亮框17k的尺寸相同。即如果設(shè)縮小放大率為Q，則通過使用上述的公式1，分別將X2、Y2置換為X4、Y4,計算縮小放大率Q0如此，縮小放大率計算部20c使所選擇的登錄臉部區(qū)域的尺寸與動態(tài)圖像縮略圖的尺寸大致相同地來計算動態(tài)圖像的縮小放大率，因此能夠容易地放大所登錄的人臉。由此，使用者關(guān)注所希望的人物的臉部圖像，觀看起來變得容易，所以能夠容易把握動態(tài)圖像的內(nèi)容。如以上那樣，根據(jù)本發(fā)明實施例2的縮略圖生成裝置1A，具備臉部特征信息存儲部21和縮小放大率計算部20c，因此除了本發(fā)明實施例1的縮略圖生成裝置1的效果之外， 還能夠優(yōu)先放大預(yù)先所登錄的一個以上人物，作為動態(tài)圖像縮略圖來顯示。在本實施例2中，當(dāng)在檢測的人臉中檢測出與預(yù)先存儲的臉部特征一致的人臉時，僅將該一致的人臉作為處理對象，由此，例如即使在一起拍攝了他人的孩子與自己的孩子的動態(tài)圖像中，也能夠通過動態(tài)圖像縮略圖僅對自己孩子的臉部進行放大顯示。符號說明
UlA..縮略圖生成裝置；
11..多路分離器；
12..AC3解碼器；
13..揚聲器；
14..H. 264解碼器；
15..縮小放大部；
16..加法器；
17..用戶界面部；
17a..圖像顯示部；
17b. 操作按鈕；
17c..滑塊；
17d..縮略圖顯示區(qū)域；
17e. 操作指導(dǎo)顯示區(qū)域；
17f..頁碼顯示區(qū)域；
17g..圖像顯示部；
17k. 高亮框；
17h..動態(tài)圖像再生畫面；
17j..動態(tài)圖像縮略18..OSD生成部；
19..動態(tài)圖像縮略圖時間
20、20A、131. . . CPU ；
20a..動態(tài)圖像提取部；
20b、20c...縮小放大率計算
20d..縮略圖區(qū)間決定部；
21..臉部特征信息存儲部；
101. 攝像機；
111. 光學(xué)鏡頭；
112. 圖像元件部；
113..信號處理部；
114. H. 264編碼器；
115..多路復(fù)用器；
116..臉部檢測部；
117..加法器；
121. 麥克風(fēng)；
122. A/D變換部；
123..AC3編碼器。
權(quán)利要求
1.一種縮略圖生成裝置，其特征在于，具備動態(tài)圖像提取部，其在動態(tài)圖像的第一預(yù)定期間內(nèi)，每隔比所述第一預(yù)定期間短的第二預(yù)定期間，提取構(gòu)成所述動態(tài)圖像的各圖像；縮小放大率計算部，其對提取出的各圖像中包含的人臉區(qū)域進行積分，決定臉部顯示區(qū)域以包圍該被積分的臉部區(qū)域，計算所述動態(tài)圖像的縮小放大率，使得該所決定的臉部顯示區(qū)域的尺寸與預(yù)先為了顯示動態(tài)圖像縮略圖而決定的預(yù)定的顯示區(qū)域的尺寸大致相同；以及動態(tài)圖像縮略圖生成部，其根據(jù)計算出的所述縮小放大率來縮小或放大所述動態(tài)圖像，生成所述動態(tài)圖像縮略圖。
2.根據(jù)權(quán)利要求1所述的縮略圖生成裝置，其特征在于，還具備縮略圖區(qū)間決定部，其根據(jù)通過所述動態(tài)圖像提取部提取出的各圖像中的、存在人臉區(qū)域的圖像連續(xù)的數(shù)目，決定一個以上所述第一預(yù)定期間。
3.根據(jù)權(quán)利要求1或2所述的縮略圖生成裝置，其特征在于，所述縮小放大率計算部，在將所述臉部顯示區(qū)域的面積的值作為分母、將所述臉部區(qū)域的合計面積的值作為分子而求出的比值比預(yù)定的閾值小的情況下，將所述臉部區(qū)域中、 靠近中心且面積最大的臉部區(qū)域作為代表區(qū)域，計算所述縮小放大率，使得該代表區(qū)域的尺寸與所述顯示區(qū)域的尺寸大致相同。
4.根據(jù)權(quán)利要求1或2所述的縮略圖生成裝置，其特征在于，還具備臉部特征信息存儲部，其將能夠唯一識別人臉的臉部特征作為臉部特征信息來存儲，所述縮小放大率計算部判定所述臉部區(qū)域內(nèi)存在的臉部特征是否與在所述臉部特征信息存儲部中存儲的臉部特征信息表示的臉部特征一致或近似，當(dāng)判定為一致或近似時， 計算所述縮小放大率，使得與該一致或近似的臉部特征對應(yīng)的所述臉部區(qū)域的尺寸與所述顯示區(qū)域的尺寸大致相同。
5.一種縮略圖生成方法，其特征在于，具備動態(tài)圖像提取步驟，在動態(tài)圖像的第一預(yù)定期間內(nèi)，每隔比所述第一預(yù)定期間短的第二預(yù)定期間，提取構(gòu)成所述動態(tài)圖像的各圖像；縮小率計算步驟，對提取出的各圖像中包含的人臉區(qū)域進行積分，決定臉部顯示區(qū)域以包圍該被積分的臉部區(qū)域，計算所述動態(tài)圖像的縮小放大率，使得該所決定的臉部顯示區(qū)域的尺寸與預(yù)先為了顯示縮略圖而決定的預(yù)定的顯示區(qū)域的尺寸大致相同；以及動態(tài)圖像縮略圖生成步驟，根據(jù)計算出的所述縮小放大率來縮小或放大所述動態(tài)圖像，生成所述動態(tài)圖像縮略圖。
全文摘要
縮略圖生成裝置，具備動態(tài)圖像提取部、縮小放大率計算部以及縮小放大部。動態(tài)圖像提取部根據(jù)從檢測動態(tài)圖像中包含的人臉而生成的臉部檢測信息中獲得的臉部檢出區(qū)域的數(shù)量及面積，從動態(tài)圖像中提取比該動態(tài)圖像的再生時間短的時間量的動態(tài)圖像。縮小放大率計算部根據(jù)通過動態(tài)圖像提取部提取出的動態(tài)圖像的臉部檢測信息，每隔預(yù)定的時間間隔對臉部檢出區(qū)域進行積分，并根據(jù)該積分結(jié)果來計算通過動態(tài)圖像提取部提取出的動態(tài)圖像的縮小放大率，以便較大地顯示通過動態(tài)圖像提取部提取出的動態(tài)圖像中包含的人臉。縮小放大部根據(jù)通過縮小放大率計算部計算出的縮小放大率，生成對通過動態(tài)圖像提取部提取出的動態(tài)圖像進行縮小或放大后的動態(tài)圖像縮略圖。
文檔編號H04N5/225GK102362491SQ20108001300
公開日2012年2月22日 申請日期2010年1月28日 優(yōu)先權(quán)日2009年3月25日
發(fā)明者加藤大作 申請人:日本勝利株式會社