專利名稱：圖像數(shù)據(jù)處理裝置、方法、程序及集成電路的制作方法
技術領域：
本發(fā)明涉及計算用于將圖像分類的圖像特征信息的圖像數(shù)據(jù)處理裝置。
背景技術：
數(shù)字靜像攝像機和帶攝像機功能·的移動電話機等數(shù)字圖像攝影設備已經(jīng)得到普及，也能夠低廉地提供用于記錄所拍攝的圖像的硬盤等記錄介質(zhì)。
通常，數(shù)字圖像攝影設備等的用戶(下面簡稱為用戶)將所拍攝的各個圖像存儲在大容量的硬盤等記錄介質(zhì)中。
在所存儲的圖像數(shù)量量大時，很難從所存儲的圖像中找到目標的圖像，因而基于使用戶容易進行圖像的檢索的目的，將各個圖像分類為幾個類別。例如，可以考慮將在運動會中拍攝的圖像分類為運動會這一類別的情況等。
作為將圖像分類的技術，例如公知有如專利文獻I記載的技術，根據(jù)所存儲的各個圖像計算該圖像的特征即圖像特征信息，使用計算出的圖像特征信息將各個圖像分類為各個類別，還公知有如專利文獻2記載的技術，使用被攝入到圖像中的人臉的數(shù)量和大小將該圖像分類。
現(xiàn)有技術文獻
專利文獻
專利文獻I :日本專利第4232774號公報
專利文獻2 :日本專利第4315344號公報發(fā)明概要
發(fā)明要解決的問題
可是，用戶拍攝圖像的機會往往是在例如海水浴場或滑雪旅行這種活動中，并且用戶在欣賞圖像時，往往也是以在某次活動中拍攝的圖像組為單位來欣賞圖像。
因此，期望將屬于在一次活動中拍攝的圖像組的圖像分類為同一個類另IJ。
但是，當在從在互不相同的活動中拍攝的圖像中抽取的圖像特征信息中存在彼此相似的圖像特征信息的情況下，很難將這些圖像的各個圖像分類為本來應該分類的類別。
作為示例來說明如下情況，過去的圖像數(shù)據(jù)處理裝置在根據(jù)圖像中大量包含的主要顏色(例如黑色、藍色、綠色、白色等)計算圖像特征信息的情況下，在海水浴場中拍攝的圖像組A的圖像和在滑雪旅行中拍攝的圖像組B的圖像成為分類圖像。
在于海水浴場中拍攝的圖像中往往攝入了大量的大海的藍色和沙灘的白色，在于滑雪旅行中拍攝的圖像中往往攝入了大量的天空的藍色和雪的白色。因此，由該圖像數(shù)據(jù)處理裝置計算出的在海水浴場中拍攝的圖像的圖像特征信息、和在滑雪旅行中拍攝的圖像的圖像特征信息成為彼此相似的圖像特征信息。
在這種情況下，在根據(jù)由該過去的圖像數(shù)據(jù)處理裝置計算出的圖像特征信息將圖像分類時，很難將在海水浴場中拍攝的圖像組A的圖像和在滑雪旅行中拍攝的圖像組B的圖像分類為彼此不同的類別。發(fā)明內(nèi)容
本發(fā)明正是鑒于上述問題而提出的，其目的在于，提供一種計算用于將圖像分類的圖像特征信息的圖像數(shù)據(jù)處理裝置，在使用由該圖像數(shù)據(jù)處理裝置計算出的圖像特征信息將圖像分類的情況下，相比過去能夠提高將在一次活動中拍攝的圖像組的各個圖像分類為相同的類別的分類精度。
用于解決問題的手段
為了解決上述問題，本發(fā)明的圖像數(shù)據(jù)處理裝置計算用于將圖像分類的圖像特征信息，其特征在于，該圖像數(shù)據(jù)處理裝置具有人臉確定部，確定一張圖像中所包含的人臉的區(qū)域；以及圖像特征計算部，利用根據(jù)一張圖像的至少一部分像素計算出的圖像特征量，計算該圖像中的圖像特征信息，所述圖像特征計算部以如下方式進行所述圖像特征信息的·計算，使根據(jù)由所述人臉確定部確定出的人臉的區(qū)域周圍的一定區(qū)域中所包含的像素計算出的圖像特征量，比根據(jù)不包含在該一定區(qū)域中的像素計算出的圖像特征量更多地體現(xiàn)在所述圖像特征信息中。
發(fā)明效果
通常，圖像的攝影者在某次活動中拍攝包括人的人臉的圖像時，具有以在此人的人臉的周圍的區(qū)域中表現(xiàn)出該活動的特點的方式進行拍攝的傾向。例如，在海水浴場中，攝影者具有以在人的人臉的周圍的區(qū)域中大量表現(xiàn)大海的藍色的方式來拍攝圖像的傾向，而在滑雪旅行中則具有以在人的人臉的周圍的區(qū)域中大量表現(xiàn)雪的白色的方式來拍攝圖像的傾向。
具有上述結構的本發(fā)明的圖像數(shù)據(jù)處理裝置在抽取圖像特征信息時，使相比根據(jù)具有不易表現(xiàn)出活動的特點的傾向的距離人的人臉較遠的區(qū)域的像素計算出的圖像特征量，更多地體現(xiàn)出根據(jù)具有容易表現(xiàn)出活動的特點的傾向的人的人臉周圍的區(qū)域的像素計算出的圖像特征量。由此，與過去的圖像數(shù)據(jù)處理裝置相比，本圖像數(shù)據(jù)處理裝置能夠計算出更多地體現(xiàn)出活動的特點的圖像特征信息。
因此，該圖像數(shù)據(jù)處理裝置相比過去能夠提高使用由該圖像數(shù)據(jù)處理裝置計算出的圖像特征信息將圖像分類時的分類精度。


圖I是表示圖像數(shù)據(jù)處理裝置100的硬件結構的硬件框圖。
圖2是表示圖像數(shù)據(jù)處理裝置100的功能結構的功能框圖。
圖3是表示圖像存儲部231的目錄構造的目錄構造圖。
圖4是從視覺上表示各種區(qū)域的示意圖。
圖5是從視覺上表示特殊狀況下的人周圍區(qū)域的示意圖。
圖6是圖像特征信息的數(shù)據(jù)構造圖。
圖7是圖像家人場景信息的數(shù)據(jù)構造圖。
圖8是圖像集家人場景信息的數(shù)據(jù)構造圖。
圖9是事件特征信息的數(shù)據(jù)構造圖。
圖10是圖像特征信息生成處理的流程圖。
圖11是圖像家人場景信息生成處理的流程圖。
圖12是圖像集家人場景信息生成處理的流程圖。
圖13是圖像集分類處理的流程圖。
圖14是表示在家庭成員參加的活動中拍攝的圖像組的圖。
圖15是過去的圖像數(shù)據(jù)處理裝置生成的圖像集場景信息的數(shù)據(jù)構造圖。
圖16是表示兩張圖像的圖。
圖17是表示圖像數(shù)據(jù)處理裝置1700的功能結構的功能框圖?！?br> 圖18是表示圖像存儲部1731的目錄構造的目錄構造圖。
圖19是事件特征信息的數(shù)據(jù)構造圖。
圖20是變形圖像特征信息生成處理的流程圖。
圖21是圖像分類處理的流程圖。
圖22是表示圖像數(shù)據(jù)處理裝置2200的功能結構的功能框圖。
圖23是表示圖像數(shù)據(jù)處理裝置2300的功能結構的功能框圖。
具體實施方式
<實施方式1>
下面，作為本發(fā)明的圖像數(shù)據(jù)處理裝置的一個實施方式來說明這樣的圖像數(shù)據(jù)處理裝置100，該圖像數(shù)據(jù)處理裝置100計算表示被攝入到圖像中的人物的周圍的像素的特征的人周圍特征量，根據(jù)計算出的人周圍特征量，按照由與一次活動即事件相關聯(lián)地拍攝的多張圖像構成的圖像集單位，將圖像分類為彼此不同的預先設定的多個門類事件中的某一個門類事件。
其中，圖像集是指由用戶指定的多張圖像構成的圖像的集合，例如在2009年冬季去北海道旅行的事件中拍攝的圖像的集合，例如在2010年夏季去沖繩旅行的事件中拍攝的圖像的集合等。另外，門類事件是指作為圖像集的門類的類別，例如作為與滑雪相關的圖像集的門類的類別，例如作為與海水浴場相關的圖像集的門類的類別等。
〈結構〉
〈圖像數(shù)據(jù)處理裝置100的硬件結構〉
圖I是表示圖像數(shù)據(jù)處理裝置100的主要硬件結構的硬件框圖。
圖像數(shù)據(jù)處理裝置100由系統(tǒng)LSI (Large Scale Integrated Circuit :大規(guī)模集成電路)110、硬盤裝置130、外部記錄介質(zhì)讀取寫入裝置140、USB控制裝置150、輸出裝置160、輸入裝置170、通信裝置180構成，其具有將數(shù)字照片即圖像存儲為以JPEG(JointPhotographic Experts Group :運動圖像專家組)方式進行編碼得到的數(shù)據(jù)，并將存儲的圖像分類的功能。
并且，圖像數(shù)據(jù)處理裝置100具有如下功能通過可插拔的USB線纜195與以數(shù)字攝像機192為代表的記錄圖像的設備連接，通過監(jiān)視器線纜196與用于顯示圖像的顯示器193連接，還與網(wǎng)絡194連接，并與受理來自用戶的操作命令的遙控器197進行無線通信，向以SD存儲卡191等為代表的外部記錄介質(zhì)進行數(shù)據(jù)的讀出和寫入。
系統(tǒng)LSI 110是將以下部件集成于一個集成電路中的LSI包括CPU10UR0M 10全文摘要
通常，圖像的攝影者在某次活動中拍攝包括人的人臉的圖像時，具有以在此人的人臉的周圍的區(qū)域中表現(xiàn)出該活動的特點的方式進行拍攝的傾向。本發(fā)明的圖像數(shù)據(jù)處理裝置在抽取圖像特征信息時，使相比根據(jù)具有不易表現(xiàn)出活動的特點的傾向的距離人的人臉較遠的區(qū)域的像素計算出的圖像特征量，更多地體現(xiàn)出根據(jù)具有容易表現(xiàn)出活動的特點的傾向的人的人臉周圍的區(qū)域的像素計算出的圖像特征量。由此，與過去的圖像數(shù)據(jù)處理裝置相比，該圖像數(shù)據(jù)處理裝置能夠計算出更多地體現(xiàn)出活動的特點的圖像特征信息。因此，該圖像數(shù)據(jù)處理裝置相比過去能夠提高使用由該圖像數(shù)據(jù)處理裝置計算出的圖像特征信息將圖像分類時的分類精度。
文檔編號G06T7/00GK102893304SQ20128000101
公開日2013年1月23日 申請日期2012年1月24日 優(yōu)先權日2011年1月28日
發(fā)明者山口晃一郎 申請人:松下電器產(chǎn)業(yè)株式會社