圖像處理裝置、攝像裝置以及圖像處理方法
【專利摘要】本發(fā)明的一方式涉及的圖像處理裝置（110）具備：取得圖像的圖像取得部（11）、取得要在由圖像取得部（11）所取得的圖像內的區(qū)域中嵌入的嵌入信息的嵌入信息取得部（13）、取得對由圖像取得部（11）所取得的圖像的各像素的進深值進行表示的深度信息的深度信息取得部（14）、以及使用深度信息確定嵌入信息被嵌入的區(qū)域即嵌入區(qū)域的嵌入區(qū)域確定部（15）。
【專利說明】圖像處理裝置、攝像裝置以及圖像處理方法
【技術領域】
[0001]本發(fā)明涉及在圖像內的區(qū)域中嵌入信息的圖像處理所用的圖像處理裝置。
【背景技術】
[0002]作為與在圖像內的區(qū)域中嵌入信息的圖像處理有關的技術，有專利文獻I以及專利文獻2所記載的技術。
[0003]現(xiàn)有技術文獻
[0004]專利文獻
[0005]專利文獻1:日本特開2009-200784號公報
[0006]專利文獻2:日本特開2004-104331號公報

【發(fā)明內容】

[0007]發(fā)明要解決的課題
[0008]然而，由于信息被嵌入到不恰當的區(qū)域，可能陷于不易看到圖像或信息的狀態(tài)。
[0009]因此，本發(fā)明提供能夠恰當地確定用于嵌入信息的區(qū)域的圖像處理裝置。
[0010]用于解決課題的手段
[0011]本發(fā)明的一方式涉及的圖像處理裝置具備:圖像取得部，取得圖像；嵌入信息取得部，取得要在所述圖像內的區(qū)域中嵌入的嵌入信息；深度信息取得部，取得深度信息，該深度信息表示所述圖像的各像素的進深值；以及嵌入區(qū)域確定部，使用所述深度信息，確定嵌入所述嵌入信息的所述區(qū)域即嵌入區(qū)域。
[0012]此外，上述總的或具體的方式可以通過系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的CD-ROM等非暫時的記錄介質來實現(xiàn)，也可以通過系統(tǒng)、裝置、方法、集成電路、計算機程序以及記錄介質的任意組合來實現(xiàn)。
[0013]發(fā)明的效果
[0014]本發(fā)明的一方式涉及的圖像處理裝置能夠恰當地確定用于嵌入信息的區(qū)域。
【專利附圖】

【附圖說明】
[0015]圖1是表示嵌入信息被嵌入后的圖像的圖。
[0016]圖2是表示深度圖的圖。
[0017]圖3A是表示嵌入信息不醒目的深度圖的圖。
[0018]圖3B是表示嵌入信息有不協(xié)調感的深度圖的圖。
[0019]圖3C是表示能夠恰當地看到嵌入信息的深度圖的圖。
[0020]圖4是實施方式I涉及的圖像處理裝置的結構圖。
[0021]圖5A是表示第I例涉及的輸入圖像的深度圖的圖。
[0022]圖5B是表示第I例涉及的深度范圍的圖。
[0023]圖5C是表示第I例涉及的搜索區(qū)域的圖。[0024]圖?是表示第I例涉及的嵌入區(qū)域的圖。
[0025]圖6A是表示第2例涉及的輸入圖像的深度圖的圖。
[0026]圖6B是第2例涉及的深度值的直方圖。
[0027]圖6C是表示第2例涉及的嵌入區(qū)域的圖。
[0028]圖7A是表示第3例涉及的輸入圖像的深度圖的圖。
[0029]圖7B是表示第3例涉及的初始的搜索區(qū)域的圖。
[0030]圖7C是表示第3例涉及的新的搜索區(qū)域的圖。
[0031]圖7D是表示第3例涉及的嵌入區(qū)域的圖。
[0032]圖7E是表示第3例涉及的深度范圍的圖。
[0033]圖7F是表示第3例涉及的嵌入后的深度圖的圖。
[0034]圖8A是表示第4例涉及的輸入圖像的深度圖的圖。
[0035]圖8B是表示第4例涉及的攝影所用的通知消息的圖。
[0036]圖8C是表示第4例涉及的校正所用的通知消息的圖。
[0037]圖8D是表示第4例涉及的嵌入區(qū)域的圖。
[0038]圖9A是表示嵌入裝飾構件后的深度圖的圖。
[0039]圖9B是表示嵌入框后的深度圖的圖。
[0040]圖9C是表示文本的一部分增強后的深度圖的圖。
[0041]圖9D是表不相應于聲音的功率而嵌入了文本后的深度圖的圖。
[0042]圖1OA是表示實施方式I涉及的圖像處理裝置的動作的流程圖。
[0043]圖1OB是表示實施方式I涉及的嵌入區(qū)域的搜索處理的流程圖。
[0044]圖11是實施方式2涉及的圖像處理裝置的結構圖。
[0045]圖12A是表示實施方式2涉及的輸入圖像的深度圖的圖。
[0046]圖12B是表示實施方式2涉及的深度圖可靠度的圖。
[0047]圖12C是表示實施方式2涉及的嵌入后的深度圖的第I例的圖。
[0048]圖12D是表示實施方式2涉及的嵌入后的深度圖的第2例的圖。
[0049]圖13是實施方式3涉及的圖像處理裝置的結構圖。
[0050]圖14是表示實施方式3涉及的圖像處理裝置的動作的流程圖。
[0051]圖15是實施方式4涉及的圖像處理裝置的結構圖。
[0052]圖16是表示實施方式4涉及的圖像處理裝置的動作的流程圖。
【具體實施方式】
[0053](成為本發(fā)明的基礎的知識)
[0054]關于在“【背景技術】”一欄記載的與在圖像內的區(qū)域中嵌入信息的圖像處理有關的技術，本
【發(fā)明者】發(fā)現(xiàn)了以下的課題。
[0055]存在具有嵌入功能的圖像處理裝置，其中嵌入功能是指，用于在通過攝影等而獲得的圖像中嵌入文本消息或裝飾構件等的功能。作為這種嵌入功能的假想用途，例如有在生日派對或婚禮等活動中參加者對攝影圖像附加消息的情況等(參照圖1)。
[0056]在此，將在圖像中嵌入的消息等信息稱為嵌入信息。所謂將嵌入信息嵌入到圖像中，意味著在圖像之上配置嵌入信息并使圖像與嵌入信息重合。因此，通過將嵌入信息嵌入到圖像中，圖像的一部分被遮擋。
[0057]為此，在嵌入嵌入信息的位置(嵌入位置)不恰當的情況下，有可能嵌入信息被嵌入到攝影圖像內的主要的被拍體上，從而主要的被拍體被嵌入信息所遮擋。因此，作為恰當地確定恰當的嵌入位置的方法，已知有使用圖像中包含的信息來確定嵌入位置的方法(專利文獻I)。
[0058]該方法涉及的圖像處理裝置使用圖像中包含的信息(聚焦區(qū)域、日期的寫入、臉的位置、文字的位置以及被拍體的輪廓等)來檢測圖像內的主要的位置，并避開主要的位置將嵌入信息嵌入。由此，圖像處理裝置能夠避免對圖像內的主要的位置的嵌入而將嵌入信息嵌入到主要的位置以外的區(qū)域。因此，圖像處理裝置能夠恰當地將嵌入信息嵌入到通常的照片中。
[0059]接著，考慮包含嵌入信息的圖像作為3D圖像而立體地欣賞那樣地、使嵌入功能擴展的情況。作為用于生成3D圖像的主要的方法，有兩種方法。一個是利用從立體相機獲得的左右兩張圖像的視差來生成3D圖像的方法。另一個是按每個像素測量從相機到被拍體的距離并基于該距離生成3D圖像的方法。
[0060]此外，在此，將與上述的視差或距離對應的表示進深的程度的值稱為進深值(深度值)。另外，將與圖像或圖像的區(qū)域中的各像素的進深值有關的信息稱為深度信息。例如，根據左右兩張圖像的視差，能夠獲得上述的圖像的各像素的進深值以及與上述圖像的各像素的進深值有關的深度信息。相反地，通過將平面圖像與對該平面圖像的各像素的進深值進行表示的深度信息組合，能夠獲得具有視差的左右兩張圖像。
[0061]在專利文獻2中，基于測量到的距離生成3D圖像，并在嵌入信息中附加深度信息。由此，可立體地欣賞嵌入了嵌入信息的3D圖像。在此，通過在嵌入信息中附加恰當的深度信息，從而無不協(xié)調感地以3D方式顯示被嵌入到3D圖像中的嵌入信息。
[0062]在專利文獻2中，作為在嵌入信息中附加深度信息的方法，示出了使用用戶界面的方法。在該方法中，用戶能夠通過對“遠”或“近”按鈕進行恰當次數按壓，來在嵌入信息中附加恰當的深度信息。
[0063]基于如專利文獻I那樣確定嵌入位置的方法以及如專利文獻2那樣在嵌入信息中附加深度信息的方法等的技術，嵌入信息被嵌入到3D圖像中。然而，在對3D圖像的嵌入中，存在以下所示的多個課題。
[0064]首先，被嵌入到3D圖像中的嵌入信息可能不能恰當地看到。被嵌入到3D圖像中的嵌入信息從周圍突出(飛K出+)從而醒目地看到為好。為了說明該課題，說明對圖像的各像素的深度值進行表示的深度圖(D印th Map)。
[0065]圖2表示深度圖。深度圖通過通常用如圖2的圖像來表示。圖2等的深度圖表示如下情況，即像素的顏色越白(陰影越淡)則從相機到被拍體的距離越近，像素的顏色越黑(陰影越濃)則從相機到被拍體的距離越遠。在嵌入信息的周圍的深度值表示出與嵌入信息同等的進深的情況下、或嵌入信息的周圍的深度值表示出嵌入信息的跟前側的進深的情況下，不能恰當地看到被嵌入到3D圖像中的嵌入信息。
[0066]例如，如圖3A所示的深度圖那樣、在嵌入信息的深度值表示出與周圍的深度值同等的進深的情況下，嵌入信息的突出量與周圍同等。這種嵌入信息缺乏突出感而給予了布景感(書割感)。并且，這種嵌入信息未增強，并不醒目。[0067]另外，如圖3B所示的深度圖那樣、嵌入信息的深度值表示周圍的深度值的里側的進深的情況下，凹入里側而能看到嵌入信息。這種圖像產生不協(xié)調感。
[0068]另一方面，如圖3C所示的深度圖那樣、嵌入信息的深度值表示周圍的深度值的跟前側的進深的情況下，嵌入信息突出從而能夠恰當地看到。
[0069]在專利文獻I所示的方法中，嵌入位置的確定中未用到深度值。為此，嵌入信息的深度值與嵌入位置的周圍的深度值之間的關系可能不恰當，可能無法恰當地看到嵌入信息。并且，即使在人物的臉被排除在嵌入位置之外的情況下，也可能在人物的身體或人物具有的物體等的區(qū)域中設定嵌入位置從而無法恰當地看到圖像。
[0070]另外，存在對嵌入信息設定深度信息對于利用者而言不方便的情況。在專利文獻2中，通過用戶界面，對嵌入信息附加深度信息。為此，每當利用該功能，就產生利用者調整深度信息的麻煩。
[0071]因此，本發(fā)明的一方式涉及的圖像處理裝置具備:圖像取得部，取得圖像；嵌入信息取得部，取得要在所述圖像內的區(qū)域中嵌入的嵌入信息；深度信息取得部，取得深度信息，該深度信息表示所述圖像的各像素的進深值；以及嵌入區(qū)域確定部，使用所述深度信息，確定嵌入所述嵌入信息的所述區(qū)域即嵌入區(qū)域。
[0072]由此，圖像處理裝置能夠恰當地確定用于嵌入信息的區(qū)域。
[0073]例如，可以是，所述嵌入區(qū)域確定部使用所述深度信息，確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有與規(guī)定的進深值相比表示里側的進深值的多個像素構成。
[0074]由此，圖像處理裝置將里側的區(qū)域確定為嵌入區(qū)域。因此，圖像處理裝置能夠避免圖像的主要的位置被遮擋。
[0075]另外，例如可以是，所述圖像處理裝置還具備:被拍體位置檢測部，通過檢測被拍體位置，取得表示所述被拍體位置的被拍體位置信息，該被拍體位置是所述圖像中包含的規(guī)定的被拍體在所述圖像中的位置，所述嵌入區(qū)域確定部使用所述深度信息以及所述被拍體位置信息，確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有與所述被拍體位置的像素的進深值相比表示里側的進深值的多個像素構成。
[0076]由此，圖像處理裝置將與規(guī)定的被拍體相比為里側的區(qū)域確定為嵌入區(qū)域。因此，圖像處理裝置能夠避免與規(guī)定的被拍體同等的區(qū)域被遮擋。
[0077]另外，例如可以是，所述嵌入區(qū)域確定部使用所述深度信息，確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有距規(guī)定的進深值為規(guī)定的范圍內的進深值的多個像素構成。
[0078]由此，圖像處理裝置將進深值的分散的程度較小的區(qū)域確定為嵌入區(qū)域。進深值的分散的程度較小的區(qū)域為不醒目的區(qū)域的可能性較高。因此，圖像處理裝置能夠將不醒目的可能性高的區(qū)域確定為嵌入區(qū)域。
[0079]另外，例如可以是，所述嵌入區(qū)域確定部使用所述深度信息，確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有距出現(xiàn)頻率為峰值的進深值為規(guī)定的范圍內的進深值的多個像素值構成。
[0080]由此，圖像處理裝置能夠將具有出現(xiàn)頻率較高的進深值的區(qū)域確定為嵌入區(qū)域。具有出現(xiàn)頻率較高的進深值的區(qū)域不醒目的可能性較高。因此，圖像處理裝置能夠將不醒目的可能性高的區(qū)域確定為嵌入區(qū)域。
[0081]另外，例如可以是，所述嵌入區(qū)域確定部使用所述深度信息，確定所述嵌入區(qū)域，所述嵌入區(qū)域是由具有與規(guī)定的進深值相比表示里側的進深值的多個像素構成的區(qū)域，并且是由具有距出現(xiàn)頻率為峰值的進深值為規(guī)定的范圍內的進深值的多個像素構成的區(qū)域。
[0082]由此，圖像處理裝置能夠將不醒目的可能性較高的里側的區(qū)域確定為嵌入區(qū)域。
[0083]另外，例如可以是，所述深度信息取得部取得所述深度信息，所述深度信息包含對所述圖像的各像素的進深值的可靠度進行表示的信息。
[0084]由此，圖像處理裝置能夠使用包含圖像的各像素的深度值的可靠度的深度信息，恰當地確定嵌入區(qū)域。
[0085]另外，例如可以是，所述嵌入區(qū)域確定部使用所述深度信息，確定所述嵌入區(qū)域，所述嵌入區(qū)域包含進深值的可靠度比規(guī)定的可靠度低的像素。
[0086]由此，圖像處理裝置能夠將特定區(qū)域遮擋，該特定區(qū)域包含深度值的可靠度較低的像素。
[0087]另外，例如可以是，所述嵌入區(qū)域確定部使用所述深度信息，從除了所述圖像中包含的規(guī)定的被拍體在所述圖像上的位置即被拍體位置以外的區(qū)域中確定所述嵌入區(qū)域。
[0088]由此，圖像處理裝置能夠從除了主要的被拍體以往的區(qū)域中確定嵌入區(qū)域。即，圖像處理裝置能夠避免主要的被拍體被遮擋。
[0089]另外，例如可以是，所述嵌入區(qū)域確定部使用由所述嵌入信息取得部取得的所述嵌入信息的信息量設定所述嵌入區(qū)域的尺寸，并確定具有所設定的所述尺寸的所述嵌入區(qū)域。
[0090]由此，圖像處理裝置能夠基于嵌入信息恰當地設定嵌入區(qū)域的尺寸。
[0091]另外，例如可以是，在滿足為了使用所述深度信息來確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述嵌入區(qū)域確定部從除了所述圖像中包含的規(guī)定的被拍體在所述圖像上的位置即被拍體位置以外的區(qū)域中確定所述嵌入區(qū)域。
[0092]由此，即使基于深度信息未確定嵌入區(qū)域的情況下，圖像處理裝置也能夠從除了被拍體以外的區(qū)域之中確定嵌入區(qū)域。
[0093]另外，例如可以是，所述圖像處理裝置還具備:進深值確定部，確定所述嵌入信息的進深值；以及嵌入部，使用由所述進深值確定部確定的所述進深值，在所述圖像內的所述嵌入區(qū)域中嵌入所述嵌入信息。
[0094]由此，圖像處理裝置能夠對嵌入信息設定進深值。因此，能夠獲得可立體地觀賞的嵌入信息。
[0095]另外，例如可以是，所述進深值確定部將所述嵌入信息的進深值確定為與所述圖像中包含的規(guī)定的被拍體在所述圖像中的位置即被拍體位置的進深值相同程度的進深值。
[0096]由此，圖像處理裝置能夠設定嵌入信息的進深值，以使嵌入信息與被拍體相同程度地醒目。
[0097]另外，例如可以是，在滿足為了使用所述深度信息來確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述進深值確定部將要在所述嵌入區(qū)域中嵌入的所述嵌入信息的進深值確定為與所述被拍體位置的進深值相比表示跟前側的進深值，其中，所述嵌入區(qū)域是從除了所述圖像中包含的規(guī)定的被拍體在所述圖像上的位置即被拍體位置以外的區(qū)域中確定的。
[0098]由此，圖像處理裝置能夠避免對嵌入信息設定不醒目的進深值。[0099]另外，例如可以是，所述被拍體位置檢測部將所述圖像中包含的人物的臉在所述圖像中的位置檢測為所述被拍體位置，從而取得將所述人物的臉的位置作為所述被拍體位置而表示的所述被拍體位置信息。
[0100]由此，例如，圖像處理裝置將與被拍體的臉相比為里側的區(qū)域確定為嵌入區(qū)域。因此，圖像處理裝置能夠避免與被拍體的臉同等的區(qū)域被遮擋。
[0101]另外，例如可以是，所述嵌入信息取得部取得所述嵌入信息，所述嵌入信息包含文本、裝飾構件、框、以及圖像中的至少一個。
[0102]由此，圖像處理裝置能夠確定用于嵌入文本、裝飾構件、框或圖像等的嵌入區(qū)域。
[0103]另外，例如可以是，所述圖像處理裝置還具備:顯示部，顯示所述圖像，在滿足為了確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述顯示部對利用者顯示表示所述嵌入區(qū)域不存在的通知消息。
[0104]由此，圖像處理裝置能夠通知利用者用于嵌入嵌入信息的區(qū)域在圖像中不存在。
[0105]另外，例如可以是，在滿足為了確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述嵌入區(qū)域確定部使用所述深度信息，判斷所述圖像中包含的規(guī)定的被拍體是否近，在判斷為所述被拍體近的情況下，所述顯示部顯示所述通知消息，該通知消息包含督促利用者遠離所述被拍體來對所述被拍體攝影的消息。
[0106]由此，在用于嵌入嵌入信息的區(qū)域在圖像中不存在的情況下，圖像處理裝置能夠督促利用者遠離被拍體并對被拍體進行攝影。
[0107]另外，本發(fā)明的一方式涉及的攝像裝置具備所述圖像處理裝置，所述圖像取得部通過對被拍體進行攝影來取得所述圖像。
[0108]由此，攝像裝置能夠恰當地確定在通過攝影而獲得的圖像中嵌入的嵌入信息的區(qū)域。
[0109]此外，上述總的或具體的方式可以通過系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的CD-ROM等非暫時的記錄介質來實現(xiàn)，也可以通過系統(tǒng)、裝置、方法、集成電路、計算機程序或記錄介質的任意的組合來實現(xiàn)。
[0110]以下，參照附圖對實施方式進行具體地說明。此外，以下說明的實施方式任一個都表示總的或具體的例子。以下的實施方式所示的數值、形狀、材料、構成要素、構成要素的配置位置以及連接形態(tài)、步驟、步驟的順序等是一例，主旨并不是限定本發(fā)明。另外，對于以下的實施方式的構成要素中的、未被表示最上位概念的獨立權利要求所記載的構成要素，作為任意的構成要素來進行說明。
[0111](實施方式I)
[0112]圖4對本實施方式涉及的圖像處理裝置的結構以及對圖像處理裝置的各構成要素的輸入信息進行表示。如圖4，本實施方式涉及的圖像處理裝置100具有攝像部1、被拍體位置檢測部2、嵌入信息取得部3、深度信息取得部4、嵌入區(qū)域搜索部5、深度信息設定部6以及嵌入部7。
[0113]在此，如上所述，作為生成3D圖像的方法，有兩種方法。一個是利用從立體相機獲得的左右兩張圖像的視差來生成3D圖像的方法。另一個是按每個像素測量從相機到被拍體的距離并基于該距離生成3D圖像的方法。即，通過將平面圖像和與從相機到被拍體的距離對應的深度信息組合來生成3D圖像。[0114]在使用立體相機的情況下，對于通過用立體相機對被拍體進行攝影而獲得的左右兩張圖像嵌入嵌入信息。具體而言，確定嵌入區(qū)域，嵌入信息相應于左圖像的嵌入區(qū)域與右圖像的嵌入區(qū)域的差異而變形，變形后的嵌入信息被嵌入到左右兩張圖像。
[0115]特別地，本實施方式應用于將平面圖像和與從相機到被拍體的距離對應的深度信息組合來生成3D圖像的方法。但是，本實施方式也可以應用于使用立體相機的方法。以下，對各構成要素進行說明。
[0116]攝像部I由裝入了匯集光線的透鏡的透鏡單元和CO) (Charge Coupled Device)或 CMOS (Complementary Metal Oxide Semiconductor)等攝像兀件構成。攝像部 I 對被拍體進行攝像并輸出圖像。
[0117]被拍體位置檢測部2使用攝像前(記錄前)或攝像后(記錄后)的圖像或者這兩方的圖像，檢測圖像內的主要的被拍體的位置(區(qū)域)即被拍體位置(被拍體區(qū)域)。在此，主要的被拍體是最好不讓嵌入信息覆蓋的對象物，例如是人物的臉。另外，主要的被拍體可以是人物以外，也可以是動物，也可以是構造物等。在本實施方式中，被拍體位置檢測部2將人物的臉(臉區(qū)域)作為主要的被拍體來檢測。
[0118]檢測臉區(qū)域的方法未被限定。一般的方法可以用于臉區(qū)域的檢測。另外，在圖像內存在多個人物的情況下，被拍體位置檢測部2檢測多個臉區(qū)域。在圖像內不存在人物的情況下，被拍體位置檢測部2判斷為臉區(qū)域不能檢測。而且，被拍體位置檢測部2將檢測結果輸出至嵌入區(qū)域搜索部5。
[0119]嵌入信息取得部3取得要在由攝像部I獲得的圖像中嵌入的嵌入信息。嵌入信息可以包含文本、裝飾構件或與由攝像部I獲得的圖像不同的圖像等。
[0120]嵌入信息取得部3也可以在剛剛攝影之后或通過攝影獲得的圖像的編輯時，經由附屬于圖像處理裝置100的麥克(未圖示)進行聲音識別處理，由此取得嵌入信息。另外，嵌入信息取得部3也可以經由受理用戶輸入的輸入裝置(未圖示)取得嵌入信息。另外，嵌入信息取得部3也可以讓用戶從預先準備的多個模板文件中選擇嵌入信息。
[0121]此外，嵌入信息取得部3取得嵌入信息的方法不限于上述的方法，也可以是任何方法。
[0122]深度信息取得部4取得與攝像前或攝像后的圖像、或者這兩方的圖像對應的深度信息，并將深度信息輸出至嵌入區(qū)域搜索部5。深度信息包含圖像內的各像素的進深值(深度值)。
[0123]取得深度信息的方法中有用TOF (Time Of Flight)取得深度信息的方法或者如DFF (Depth From Focus)以及DFD (Depth From Defocus)那樣使用多個圖像取得深度信息的方法。深度/[目息也可以通過任一種方法取得。
[0124]另外，在所取得的深度信息作為深度圖表示的情況下，深度圖的尺寸與攝影圖像的尺寸相同為好，但也可以比攝影圖像的尺寸小。即，深度圖的析像度也可以比攝影圖像的析像度低。另外，出于距離的分辨率的觀點，在深度圖中進深的程度的等級(圖2的陰影的濃淡的等級)為8至16左右為好，但也可以是這以下。在本實施方式中，進深的程度的等級為256，深度值以O至255來表示。
[0125]嵌入區(qū)域搜索部5搜索用于嵌入嵌入信息的嵌入區(qū)域。以下，表示獲得了圖5A、圖6A、圖7A以及圖8A的深度圖時的嵌入區(qū)域的搜索方法的例子。然而，嵌入區(qū)域的搜索方法不限于以下的搜索方法，也可以使用其他的搜索方法。
[0126]嵌入區(qū)域搜索部5使用從被拍體位置檢測部2獲得的被拍體位置信息和從深度信息取得部4獲得的深度信息，搜索嵌入區(qū)域。在嵌入區(qū)域的搜索中，嵌入區(qū)域搜索部5首先根據被拍體位置信息取得被拍體位置，并根據深度信息取得被拍體位置的深度值。
[0127]圖5B表示被拍體位置(被拍體區(qū)域)的深度范圍。圖5B所示的深度范圍A表示通過被拍體位置檢測部2檢測為被拍體位置的位置(即，在本實施方式中，臉的位置)處的深度值的范圍。嵌入區(qū)域搜索部5使用深度信息確定出被拍體位置的深度值是深度范圍A。并且，嵌入區(qū)域搜索部5從由具有被拍體位置的深度值的里側的深度范圍B的深度值的多個像素構成的搜索區(qū)域中搜索嵌入區(qū)域(圖5C)。
[0128]嵌入信息本身的深度值與主要的被拍體的深度值為相同程度為好。并且，嵌入區(qū)域的周邊的深度值表示嵌入信息的深度值的里側為好。因此，從與被拍體位置的深度值的里側的深度范圍B對應的搜索區(qū)域中搜索嵌入區(qū)域。
[0129]在此，被拍體位置檢測部2檢測人的臉，所以人的身體未檢測到。然而，臉的深度值與身體的深度值為相同程度。因此，嵌入區(qū)域搜索部5通過將具有與臉的深度值相同程度的深度值的區(qū)域排除在外，從而能夠將身體的區(qū)域也從嵌入區(qū)域排除。即，通過使用深度值，能夠設定更恰當的嵌入區(qū)域。
[0130]另外，在圖5B中，在包含被拍體區(qū)域的深度值的深度范圍A與包含搜索區(qū)域的深度值的深度范圍B之間存在少許區(qū)間。該區(qū)間的寬度越大，在嵌入信息的深度值與嵌入信息的周邊的深度值之間設定越大的差。并且，差越大，嵌入信息越能突出而看到。該區(qū)間的寬度是決定嵌入信息的易突出度的參數，能夠任意設定。
[0131]嵌入區(qū)域搜索部5在如圖5C那樣設定的搜索區(qū)域內將具有恰當的像素數的區(qū)域設定為嵌入區(qū)域。嵌入區(qū)域可以如圖那樣為矩形，也可以不是矩形。另外，嵌入區(qū)域搜索部5也可以以嵌入區(qū)域的重心和通過被拍體位置檢測部2檢測到的多個被拍體位置的重心被包含于規(guī)定的范圍的方式搜索嵌入區(qū)域。另外，嵌入區(qū)域可以是具有嵌入信息在圖像中所占的尺寸的矩形區(qū)域，也可以是圓形的形狀，也可以是表示嵌入信息中包含的形狀的掩模(7 7夕)。
[0132]另外，嵌入區(qū)域搜索部5也可以選擇深度范圍B中的、深度值收于一定深度范圍內的區(qū)域或收于包含出現(xiàn)頻率最高的深度值的深度范圍內的區(qū)域等來作為嵌入區(qū)域。這是由于，在圖像中存在主要的被拍體(人物的臉)以外的其他被拍體(墻或物)的情況下，存在嵌入信息不被其他被拍體覆蓋才容易看到的情況。以下，使用圖6A至圖6C進行詳細地說明。
[0133]圖6A表示人物和人物以外的物體(在該例子中為桌子)進入的圖像的深度圖。圖6B用深度值作為橫軸，用像素數作為縱軸，來表示圖6A的深度圖中包含的深度值的直方圖。
[0134]如圖6A那樣、在人物以外的物體進入的情況，嵌入區(qū)域搜索部5將圖6B的直方圖所示的深度范圍A (被拍體區(qū)域)的里側的深度范圍B的區(qū)域設定為第I搜索區(qū)域。接著，嵌入區(qū)域搜索部5將深度范圍B中的、包含像素數為峰值(極大值)的深度值的深度范圍D的區(qū)域設定為第2搜索區(qū)域。
[0135]如該例子那樣、在被拍體區(qū)域的里側的區(qū)域即第I搜索區(qū)域(深度范圍B)內有多個物體的情況下，嵌入區(qū)域搜索部5在第2搜索區(qū)域(深度范圍D)搜索嵌入區(qū)域為好。[0136]與包含對最里側的峰值進行表示的深度值的深度范圍D對應的第2搜索區(qū)域被推定為背景的區(qū)域。因此，嵌入區(qū)域搜索部5能夠通過從第2搜索區(qū)域之中設定嵌入區(qū)域來從背景區(qū)域之中設定嵌入區(qū)域。
[0137]圖6C表示從第2搜索區(qū)域搜索出的嵌入區(qū)域。即，在圖6C中，桌子的區(qū)域被從嵌入區(qū)域中排除。因此，嵌入區(qū)域搜索部5能夠將圖像中的深度值的變化平坦的區(qū)域恰當地設定為嵌入區(qū)域。
[0138]另外，在由攝像部I獲得與圖7A的深度圖對應的圖像的情況下，圖像中存在多個人物，因此嵌入區(qū)域的搜索區(qū)域較窄(圖7B)。這種情況下，可能無法設定恰當大小的嵌入區(qū)域。為此，嵌入區(qū)域搜索部5除了通過被拍體位置檢測部2獲得的特別重要的被拍體位置即臉位置以外，也可以從臉位置以外的搜索區(qū)域(圖7C)設定嵌入區(qū)域(圖7D)。
[0139]另外，特定的區(qū)域可以事前顯示于圖像處理裝置100的顯示部(未圖示)。并且，圖像處理裝置100可以一邊督促用戶注意避免在特定的區(qū)域照進人物，一邊用攝像部I進行攝像并將該事前確定的特定的區(qū)域設定為嵌入區(qū)域。
[0140]另外，如圖8A那樣、人物的臉占據圖像的大部分的情況下，難以設定恰當的嵌入區(qū)域。在此情況下，如圖8B那樣、圖像處理裝置100也可以將無法設定嵌入區(qū)域的情況作為OSD (On Screen Display)顯示于顯示部來傳達給用戶，并督促再次進行攝影。
[0141]此時，圖像處理裝置100也可以使用深度信息判斷從攝像部I到被拍體的距離是否較近，并且在近的情況可以將遠離并重新攝影的信息作為OSD顯示于顯示部。另外，此時，圖像處理裝置100也可以如圖SC那樣、顯示督促校正圖像尺寸等消息，并如圖8D那樣確保嵌入區(qū)域。
[0142]深度信息設定部6設定嵌入信息的深度值。在如圖以及圖6C那樣、設定了具有被拍體位置的深度值里側的深度值的嵌入區(qū)域的情況下，深度信息設定部6設定圖5B的深度范圍C中包含的深度值，并將與人物的區(qū)域相同程度的深度值附加到嵌入信息中。
[0143]在如圖7D那樣、設定了包含與人物區(qū)域相同程度的深度值的嵌入區(qū)域的情況下，為了避免陷入到嵌入信息不醒目的狀態(tài)，深度信息設定部6如圖7E那樣、從被拍體區(qū)域的深度范圍A跟前的深度范圍E中確定深度值。并且，深度信息設定部6將所確定的深度值附加到嵌入信息中(圖7F)。
[0144]在如圖8D那樣、設定了嵌入區(qū)域的情況下，深度信息設定部6也可以將嵌入區(qū)域的深度值設定得與校正后的圖像的深度值同等或為其以下(里側)。并且，深度信息設定部6也可以將嵌入信息的深度值設定得比嵌入區(qū)域的深度值高(在跟前側)。
[0145]嵌入部7使用由攝像部I獲得的圖像、由嵌入信息取得部3獲得的嵌入信息、由深度信息取得部4獲得的深度信息、由嵌入區(qū)域搜索部5獲得的嵌入區(qū)域、以及由深度信息設定部6所附加的深度值，輸出嵌入后的深度信息和嵌入后的圖像。
[0146]嵌入后的深度信息通過將由深度信息取得部4獲得的深度信息和由深度信息設定部6獲得的深度值合成而生成(圖3C以及圖7F等)。同樣地，嵌入后的圖像也通過將由攝像部I獲得的圖像和由嵌入信息取得部3獲得的嵌入信息合成而生成。
[0147]此外，在圖3A至圖8D中，由嵌入信息取得部3獲得的嵌入信息作為文本信息而示出，但嵌入信息不限于文本信息。例如也可以如圖9A那樣、圖像處理裝置100除了文本信息以外，還將在圖像處理裝置100中預先設定的裝飾構件或框等的嵌入圖像作為嵌入信息粘貼在攝影圖像上。在此情況下，圖像處理裝置100也可以以與文本信息同樣的基準設定嵌入圖像的深度值，并在攝影圖像中嵌入嵌入圖像。
[0148]另外，如圖9B那樣、圖像處理裝置100也可以在嵌入文本信息時配置裝飾框作為其背景。并且，圖像處理裝置100也可以以裝飾框的深度值被設定在人物的深度值與文本信息的深度值之間的方式，設定裝飾框的深度值以及文本信息的深度值。并且，圖像處理裝置100也可以生成嵌入了裝飾框以及文本信息的圖像。
[0149]另外，嵌入信息的深度值也可以不是恒定的值。例如，圖像處理裝置100也可以以預先登記于圖像處理裝置100的詞語進一步突出從而能看到的方式，設定深度值(圖9C)。另外，圖像處理裝置100也可以在使用聲音識別來嵌入嵌入信息的情況下，以越大聲則嵌入信息越突出從而能看到的方式根據聲音的功率設定嵌入信息的深度值(圖9D)。
[0150]另外，在上述中，示出了對靜止圖像的嵌入，但也能夠通過對每幀進行同樣的處理來進行對動畫的嵌入。在對動畫的嵌入中，嵌入區(qū)域搜索部5也可以調整嵌入區(qū)域的位置，以避免嵌入區(qū)域的位置在多個幀之間大幅變化。
[0151]接著，使用圖1OA以及圖10B，對圖4所示的圖像處理裝置100的動作進行說明。圖1OA是對整體的處理的流程進行表示的圖，圖1OB是對搜索嵌入區(qū)域的處理(圖1OA的S105)的流程進行表示的圖。
[0152]攝像部I通過對被拍體進行攝影來生成圖像(S101)。被拍體位置檢測部2使用由攝像部I獲得的圖像，檢測被拍體的位置(人物的臉的位置等)(S102)。嵌入信息取得部3基于聲音信息或來自用戶的輸入等，取得嵌入信息(S103)。深度信息取得部4取得與由攝像部I獲得的圖像對應的深度信息(S104)。
[0153]嵌入區(qū)域搜索部5使用由深度信息取得部4獲得的深度信息，取得由被拍體位置檢測部2獲得的被拍體位置的深度值，并確定被拍體位置的深度值里側的區(qū)域(S201)。
[0154]另外，嵌入區(qū)域搜索部5基于由嵌入信息取得部3獲得的嵌入信息，設定嵌入信息被嵌入的嵌入區(qū)域的矩形尺寸(S202)。
[0155]例如，在嵌入信息為文本信息的情況下，嵌入區(qū)域搜索部5也可以基于嵌入信息的字體尺寸、行數以及配置的方向(縱或橫)等的預先設定的多個設定項目的組合，設定矩形尺寸的多個候補。另外，在嵌入信息是裝飾構件或圖像的情況下，嵌入區(qū)域搜索部5也可以基于預先設定的多個放大/縮小率，設定矩形尺寸的多個候補。并且，嵌入區(qū)域搜索部5也可以從上述多個候補中選擇矩形尺寸。
[0156]嵌入區(qū)域搜索部5從搜索區(qū)域中搜索滿足所設定的條件的嵌入區(qū)域(S203)。然后，嵌入區(qū)域搜索部5判斷是否找到了滿足所設定的條件的嵌入區(qū)域(S204)。
[0157]在此，嵌入區(qū)域搜索部5在找到了滿足所設定的條件的嵌入區(qū)域的情況下，判斷為嵌入區(qū)域存在，并使嵌入區(qū)域的搜索結束。在沒找到滿足所設定的條件的嵌入區(qū)域的情況下，嵌入區(qū)域搜索部5判斷是否以所設定的矩形尺寸的全部候補來搜索了嵌入區(qū)域(S205)。嵌入區(qū)域搜索部5在殘留未搜索的候補的情況下，再次將未搜索的候補設定為搜索條件并搜索嵌入區(qū)域(S202以及S203)。
[0158]嵌入區(qū)域搜索部5在通過矩形尺寸的全部候補搜索到嵌入區(qū)域的情況下，判斷是否不使用深度信息來搜索臉區(qū)域以外的全部區(qū)域作為搜索區(qū)域(參照圖7C) (S206)。
[0159]S卩，首先，嵌入區(qū)域搜索部5使用檢測到的臉區(qū)域和深度信息搜索嵌入區(qū)域。此時，人物的身體的區(qū)域等也被搜索區(qū)域排除在外。并且，在沒找到滿足條件的嵌入區(qū)域的情況下，嵌入區(qū)域搜索部5擴展搜索區(qū)域。
[0160]在嵌入區(qū)域搜索部5已經在臉區(qū)域以外的搜索區(qū)域搜索嵌入區(qū)域的情況下，判斷為嵌入區(qū)域不存在(S209)，并結束嵌入區(qū)域的搜索。在嵌入區(qū)域搜索部5還未在臉區(qū)域以外的搜索區(qū)域搜索嵌入區(qū)域的情況下，使用被拍體位置信息將臉區(qū)域以外的全部區(qū)域設定為搜索區(qū)域(S207)。然后，嵌入區(qū)域搜索部5再次設定矩形尺寸，并搜索嵌入區(qū)域(S202以及 S203)。
[0161]通過上述的步驟，嵌入區(qū)域搜索部5搜索嵌入區(qū)域(S105)，并判斷嵌入區(qū)域是否存在(S106)。在判斷為嵌入區(qū)域不存在的情況下，圖像處理裝置100將嵌入區(qū)域不存在的信息作為OSD來顯示，并督促利用者進行再攝影(S107)(參照圖SB)。在判斷為嵌入區(qū)域存在的情況下，深度信息設定部6對嵌入信息設定深度信息(S108)。
[0162]深度信息設定部6也可以參照將嵌入信息嵌入的位置的周圍的深度值，設定嵌入信息的深度值。深度信息設定部6在周圍的深度值表示人物區(qū)域的里側的情況下，將嵌入信息的深度值設定為與人物區(qū)域相同程度。深度信息設定部6在周圍的深度值表示與人物區(qū)域相同程度的進深的情況下，將表示人物區(qū)域的深度跟前的深度值設定為嵌入信息。嵌入部7在嵌入信息中設定了深度信息之后，嵌入嵌入信息(S109 )。
[0163]以上，本實施方式涉及的圖像處理裝置100使用深度信息，設定嵌入信息被嵌入的位置以及嵌入信息的深度值。為此，在不迫使用戶進行多余的操作的情況下在更恰當的位置顯示嵌入信息。
[0164]此外，在本實施方式中，用于表示深度信息的形式中使用了作為圖像來表現(xiàn)的深度圖。然而，用于表示深度信息的形式不限于這種深度圖。用于表示深度信息的形式中也可以使用其他的形式。
[0165](實施方式2)
[0166]本實施方式涉及的圖像處理裝置在嵌入區(qū)域的確定中使用深度值的可靠度。
[0167]圖11是本實施方式涉及的圖像處理裝置的結構圖。以下，對與圖4所示的構成要素同樣的構成要素使用相同的符號并省略說明，并以與圖4所示的構成要素不同的構成要素為主進行說明。如圖11那樣、本實施方式涉及的圖像處理裝置200與實施方式I涉及的圖像處理裝置100相比較，具備深度可靠度取得部8作為追加的構成要素。
[0168]深度可靠度取得部8取得由深度信息取得部4獲得的深度圖的可靠度即深度圖可靠度。由深度信息取得部4獲得的深度圖通常包含誤差。與深度圖的精度有關的可靠性根據取得深度圖的方法而變動。對于全部像素中的幾個像素，有時深度信息取得部4無法取得正確的距離信息。為此，深度可靠度取得部8為了推定深度圖的誤差，按每個像素計算深度圖的可靠度。
[0169]例如，深度信息取得部4在根據立體相機的左右圖像生成深度圖時，使用像素單位或塊單位的像素值的差分，來求出左圖像與右圖像的對應關系。在差分較小的情況下，在左右兩幅圖像之間，像素或塊的一致度較高。在此情況下，深度可靠度取得部8判斷為該像素或塊的深度值的可靠度較高。另一方面，在差分較大的情況下，深度可靠度取得部8判斷為該像素或塊的深度值的可靠度較低。
[0170]即，深度可靠度取得部8基于左圖像的像素值與右圖像的像素值的差分，計算出差分越小則越高的可靠度。
[0171]另外，例如，深度可靠度取得部8可以在深度值不在規(guī)定的范圍內的情況下，判斷為可靠度較低。在此情況下，深度可靠度取得部8基于圖像的各像素的深度值，計算出與規(guī)定的范圍的背離越大則越低的可靠度。另外，當在相鄰像素間、深度值的差較大的情況下，深度可靠度取得部8也可以判斷為可靠度較低。在此情況下，深度可靠度取得部8基于差的大小，計算出差越大則越低的可靠度。
[0172]圖12A表示由深度信息取得部4獲得的深度圖。圖12A所示的深度圖在人物的附近包含幾個深度值的錯誤。圖12B表示與圖12A所示的深度圖對應的深度圖可靠度。
[0173]圖12B的深度圖可靠度表示如下情況，即，越白(陰影越淡)則表示該像素位置的深度值的可靠度越高，越黑(陰影越濃)則表示該像素位置的深度值的可靠度越低。在深度值的可靠度較低的情況下，深度值是錯誤的可能性較高。深度可靠度取得部8取得如圖12B的深度圖可靠度，并輸出至嵌入區(qū)域搜索部5。
[0174]嵌入區(qū)域搜索部5使用深度圖可靠度，將深度值的可靠度低的區(qū)域優(yōu)先地確定為嵌入區(qū)域。但是，即使在由被拍體位置檢測部2獲得的被拍體位置(人物的臉的位置等)的深度值的可靠度較低的情況下，嵌入區(qū)域搜索部5也可以避開被拍體位置確定嵌入區(qū)域。另外，嵌入區(qū)域搜索部5可以對深度值的可靠度較低的區(qū)域的重心位置進行檢測，并以該重心位置與嵌入區(qū)域的中心一致的方式確定嵌入區(qū)域的位置、尺寸以及形狀。
[0175]圖12C以及圖12D表示在使用圖12B所示的深度圖可靠度所確定的嵌入區(qū)域中嵌入了嵌入信息的狀態(tài)。這樣，深度值的可靠度較低的區(qū)域中被優(yōu)先地嵌入嵌入信息。因此，深度值有錯誤的可能性高的區(qū)域被遮擋。即，作為3D圖像通過遮擋不恰當的區(qū)域，由此圖像處理裝置200能夠生成恰當的3D圖像。
[0176]以上，本實施方式涉及的圖像處理裝置200能夠通過將嵌入信息的嵌入位置設定在深度值的可靠度較低的區(qū)域，來生成恰當的3D圖像。
[0177]此外，在本實施方式中，在用于表示深度值的可靠度的形式中使用作為圖像而表現(xiàn)的深度圖可靠度。然而，用于對深度值的可靠度進行表示的形式不限于這種形式。用于對深度值的可靠度進行表示的形式也可以使用其他的形式。
[0178]另外，實施方式I和實施方式2也可以組合。例如，里側的區(qū)域中的、可靠度較低的區(qū)域可以被設定為嵌入區(qū)域。另外，在可靠度較低的區(qū)域不存在的情況下，里側的區(qū)域可以作為嵌入區(qū)域來設定。能夠組合與實施方式I以及實施方式2所示的嵌入區(qū)域有關的各種條件。
[0179](實施方式3)
[0180]本實施方式確認地表示實施方式I以及實施方式2所示的特征性的結構以及步驟。
[0181]圖13是本實施方式涉及的圖像處理裝置的結構圖。如圖13，本實施方式涉及的圖像處理裝置Iio具備:圖像取得部11、嵌入信息取得部13、深度信息取得部14以及嵌入區(qū)域確定部15。
[0182]圖像取得部11取得圖像。例如，圖像取得部11與實施方式I以及實施方式2涉及的攝像部I對應。
[0183]嵌入信息取得部13取得嵌入信息。嵌入信息是要在圖像內的區(qū)域中嵌入的信息。例如，嵌入信息取得部13與實施方式I以及實施方式2涉及的嵌入信息取得部3對應。
[0184]深度信息取得部14取得深度信息。深度信息對圖像的各像素的進深值進行表示。例如，深度信息取得部14與實施方式I以及實施方式2涉及的深度信息取得部4對應。
[0185]嵌入區(qū)域確定部15使用深度信息來確定嵌入區(qū)域。嵌入區(qū)域是嵌入信息被嵌入的區(qū)域。例如，嵌入區(qū)域確定部15與實施方式I以及實施方式2涉及的嵌入區(qū)域搜索部5對應。
[0186]圖14是對圖13所示的圖像處理裝置110的動作進行表示的流程圖。首先，圖像取得部11取得圖像(S301)。接著，嵌入信息取得部13取得嵌入信息(S302)。接著，深度信息取得部14取得深度信息(S303)。最后，嵌入區(qū)域確定部15使用深度信息來確定嵌入區(qū)域(S304)。
[0187]通過上述的結構以及步驟，圖像處理裝置110能夠恰當地確定用于嵌入信息的區(qū)域。
[0188](實施方式4)
[0189]本實施方式與實施方式3同樣地,確認地表不實施方式I以及實施方式2所不的特征性的結構以及步驟。與實施方式3相比較，在本實施方式中，包含任意追加的結構以及步驟。
[0190]圖15是本實施方式涉及的圖像處理裝置的結構圖。如圖15，本實施方式涉及的圖像處理裝置120具備:圖像取得部21、被拍體位置檢測部22、嵌入信息取得部23、深度信息取得部24、嵌入區(qū)域確定部25、進深值確定部26、嵌入部27以及顯示部28。
[0191]圖像取得部21取得圖像。例如，圖像取得部21與實施方式I涉及的攝像部1、實施方式2涉及的攝像部1、以及實施方式3涉及的圖像取得部21對應。
[0192]被拍體位置檢測部22通過檢測被拍體位置，來取得表示被拍體位置的被拍體位置信息。被拍體位置是圖像中包含的規(guī)定的被拍體在圖像中的位置。例如，被拍體位置檢測部22與實施方式I涉及的被拍體位置檢測部2、以及實施方式2涉及的被拍體位置檢測部2對應。
[0193]嵌入信息取得部23取得嵌入信息。嵌入信息是要在圖像內的區(qū)域中嵌入的信息。例如，嵌入信息取得部23與實施方式I涉及的嵌入信息取得部3、實施方式2涉及的嵌入信息取得部3、以及實施方式3涉及的嵌入信息取得部13對應。
[0194]深度信息取得部24取得深度信息。深度信息表示圖像的各像素的進深值。例如，深度信息取得部24與實施方式I涉及的深度信息取得部4、實施方式2涉及的深度信息取得部4、以及實施方式3涉及的深度信息取得部14對應。
[0195]嵌入區(qū)域確定部25使用深度信息來確定嵌入區(qū)域。嵌入區(qū)域是嵌入信息被嵌入的區(qū)域。例如，嵌入區(qū)域確定部25與實施方式I涉及的嵌入區(qū)域搜索部5、實施方式2涉及的嵌入區(qū)域搜索部5、以及實施方式3涉及的嵌入區(qū)域確定部15對應。
[0196]進深值確定部26確定嵌入信息的進深值。進深值確定部26與實施方式I涉及的深度信息設定部6、以及實施方式2涉及的深度信息設定部6對應。
[0197]嵌入部27使用由進深值確定部26所確定的進深值在嵌入區(qū)域中嵌入嵌入信息。嵌入部27與實施方式I涉及的嵌入部7、以及實施方式2涉及的嵌入部7對應。
[0198]顯示部28顯示圖像。顯示部28可以顯示由圖像取得部21所取得的圖像，可以顯示由嵌入部27嵌入了嵌入信息的圖像。顯示部28可以顯示實施方式I涉及的OSD。
[0199]圖16是對圖15所示的圖像處理裝置120的動作進行表示的流程圖。首先，圖像取得部21取得圖像(S401)。接著，嵌入信息取得部23取得嵌入信息(S402)。接著，深度信息取得部24取得深度信息(S403)。接著，被拍體位置檢測部22通過檢測被拍體位置，來取得表示被拍體位置的被拍體位置信息(S404)。
[0200]接著，嵌入區(qū)域確定部25使用深度信息來確定嵌入區(qū)域(S405)。接著，進深值確定部26確定嵌入信息的進深值(S406)。接著，嵌入部27使用由進深值確定部26所確定的進深值在嵌入區(qū)域中嵌入嵌入信息(S407)。最后，顯示部28顯示由嵌入部27嵌入了嵌入信息的圖像(S408)。
[0201]通過上述的結構以及步驟，圖像處理裝置120能夠恰當地確定用于嵌入信息的區(qū)域。
[0202]此外，嵌入區(qū)域確定部25可以使用深度信息以及被拍體位置信息，來確定嵌入區(qū)域。另外，嵌入區(qū)域確定部25也可以將由具有與規(guī)定的進深值相比表示里側的進深值的多個像素構成的區(qū)域確定為嵌入區(qū)域。規(guī)定的進深值可以是被拍體位置的像素的進深值。
[0203]嵌入區(qū)域確定部25也可以將由具有距規(guī)定的進深值為規(guī)定的范圍內的進深值的多個像素構成的區(qū)域確定為嵌入區(qū)域。規(guī)定的進深值可以是出現(xiàn)頻率為峰值的進深值，也可以是出現(xiàn)頻率為最里側的峰值的進深值。嵌入區(qū)域確定部25也可以將由具有與規(guī)定的進深值相比表示里側的進深值的多個像素中的、具有距出現(xiàn)頻率為峰值的進深值為規(guī)定的范圍內的進深值的多個像素構成的區(qū)域確定為嵌入區(qū)域。
[0204]深度信息取得部24也可以取得包含對圖像的各像素的進深值的可靠度進行表示的信息的深度信息。另外，嵌入區(qū)域確定部25也可以將包含進深值的可靠度比規(guī)定的可靠度低的像素的區(qū)域確定為嵌入區(qū)域。
[0205]嵌入區(qū)域確定部25也可以使用由嵌入信息取得部23所取得的嵌入信息的信息量來設定嵌入區(qū)域的尺寸。并且，嵌入區(qū)域確定部25也可以確定具有所設定的尺寸的嵌入區(qū)域。
[0206]嵌入區(qū)域確定部25也可以使用深度信息從除了被拍體位置以外的區(qū)域之中確定嵌入區(qū)域。嵌入區(qū)域確定部25可以在滿足為了使用深度信息來確定嵌入區(qū)域而使用的條件的嵌入區(qū)域不存在的情況下，不使用深度信息來從除了被拍體位置以外的區(qū)域之中確定嵌入區(qū)域。在此情況下，進深值確定部26也可以將嵌入信息的進深值確定為對被拍體位置中的進深值跟前側進行表示的進深值。
[0207]進深值確定部26也可以將嵌入信息的進深值確定為與被拍體位置的進深值相同程度的進深值。進深值確定部26也可以將嵌入信息的進深值確定為距被拍體位置的進深值為規(guī)定的范圍內的進深值。
[0208]被拍體可以是人物的臉。嵌入信息可以包含文本、裝飾構件、框、以及圖像中的至少一個。
[0209]顯示部28也可以在滿足為了確定嵌入區(qū)域而使用的條件的嵌入區(qū)域不存在的情況下，對利用者顯示對嵌入區(qū)域不存在的情況進行表示的通知消息。
[0210]顯示部28也可以顯示通知消息，該通知消息包含督促利用者遠離被拍體并對被拍體進行攝影的消息。顯示部28也可以在滿足為了確定嵌入區(qū)域而使用的條件的嵌入區(qū)域不存在的情況下，并且在被拍體位置的像素的進深值表示規(guī)定的進深值跟前側的情況下，顯示這種通知消息。
[0211]嵌入區(qū)域確定部25也可以在滿足為了確定嵌入區(qū)域而使用的條件的嵌入區(qū)域不存在的情況下，使用深度信息來判斷圖像中包含的規(guī)定的被拍體是否較近。例如，嵌入區(qū)域確定部25也可以在被拍體位置的像素的進深值表示規(guī)定的進深值跟前的情況下，判斷為被拍體較近。顯示部28也可以在判斷為被拍體較近的情況下，顯示通知消息，該通知消息包含督促利用者遠離被拍體來對被拍體進行攝影的消息。
[0212]圖像處理裝置120可以是相機等攝像裝置，也可以是攝像裝置的一部分。圖像取得部21也可以通過對被拍體進行攝影來取得圖像。
[0213]此外，本發(fā)明涉及的方式可以作為裝置來實現(xiàn)，也可以作為包含構成該裝置的處理部作為步驟的方法來實現(xiàn)。另外，本發(fā)明涉及的方式可以作為用于使計算機執(zhí)行這些步驟的程序來實現(xiàn)，也可以作為記錄了該程序的計算機可讀取的CD-ROM等非暫時的記錄介質來實現(xiàn)。
[0214]另外，本發(fā)明涉及的方式可以作為表示該程序的信息、數據或信號來實現(xiàn)。并且，這些程序、信息、數據以及信號也可以經由因特網等通信網絡來分發(fā)。
[0215](其他的變形例)
[0216]本發(fā)明涉及的方式不限定于上述的多個實施方式。本發(fā)明涉及的方式可以是以下的方式。
[0217](I)上述的圖像處理裝置具體而言是由微處理器、ROM、RAM、硬盤單元、顯示器單元、鍵盤、鼠標等構成的計算機系統(tǒng)。
[0218]RAM或硬盤單元中存儲有計算機程序。微處理器通過按照計算機程序來工作，由此圖像處理裝置實現(xiàn)該功能。在此，計算機程序為了實現(xiàn)規(guī)定的功能，組合多個表示對計算機的指令的命令碼來構成。
[0219](2)構成上述的圖像處理裝置的多個構成要素的一部分或全部可以由一個系統(tǒng)LSI (Large Scale Integration:大規(guī)模集成電路)構成。系統(tǒng)LSI是將多個結構部集成在一個芯片上并制造出來的超大功能LSI，具體而言，是包含微處理器、ROM以及RAM等而構成的計算機系統(tǒng)。
[0220]RAM中存儲有計算機程序。微處理器通過按照計算機程序動作，由此系統(tǒng)LSI實現(xiàn)其功能。
[0221](3)構成上述的圖像處理裝置的構成要素的一部分或全部可以由能夠裝卸于圖像處理裝置的IC卡或單體的模塊來構成。IC卡或模塊是由微處理器、ROM以及RAM等構成的計算機系統(tǒng)。
[0222]IC卡或模塊也可以包含上述的超大功能LSI。微處理器通過按照計算機程序來動作，由此IC卡或模塊實現(xiàn)其功能。IC卡或模塊也可以具有抗干擾性。
[0223](4)本發(fā)明涉及的方式可以是上述所示的方法。另外，本發(fā)明涉及的方式可以是通過計算機實現(xiàn)該方法的計算機程序，也可以是構成計算機程序的數字信號。
[0224]另外，本發(fā)明涉及的方式可以將計算機程序或數字信號記錄于計算機可讀取的記錄介質、例如，軟盤、硬盤、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD (Blu-ray Disc)、或半導體存儲器等。另外，本發(fā)明涉及的方式可以是記錄于上述記錄介質的數字信號[0225]另外，本發(fā)明涉及的方式也可以是經由電通信線路、無線通信線路、有線通信線路、因特網所代表的網絡、或數據廣播等傳送計算機程序或數字信號的結構。
[0226]另外，本發(fā)明涉及的方式可以是具備微處理器和存儲器的計算機系統(tǒng)。并且，存儲器可以存儲上述的計算機程序，微處理器可以按照計算機程序來動作。
[0227]另外，程序或數字信號可以記錄于記錄介質來輸送，也可以經由網絡等來輸送。并且，本發(fā)明涉及的方式可以通過獨立的其他的計算機系統(tǒng)來實施。
[0228](5)也可以將上述的實施方式以及上述的變形例組合。
[0229]此外，在上述各實施方式中，各構成要素由專用的硬件構成，或通過執(zhí)行適于各構成要素的軟件程序來實現(xiàn)。各構成要素可以通過CPU或處理器等的程序執(zhí)行部讀出并執(zhí)行在硬盤或半導體存儲器等記錄介質中記錄的軟件程序來實現(xiàn)。在此，實現(xiàn)上述各實施方式的圖像處理裝置等的軟件是如下的程序。
[0230]S卩，該程序使計算機執(zhí)行如下圖像處理方法，該圖像處理方法取得圖像，取得要在所述圖像內的區(qū)域中嵌入的嵌入信息，取得對所述圖像的各像素的進深值進行表示的深度信息，并使用所述深度信息，確定所述嵌入信息被嵌入的所述區(qū)域即嵌入區(qū)域。
[0231]另外，各構成要素可以是電路。這些電路也可以作為整體構成一個電路，也可以是各個不同的電路。另外，這些電路可以分別是通用的電路，也可以是專用的電路。
[0232]以上，關于本發(fā)明的一個或多個方式涉及的圖像處理裝置，基于實施方式進行了說明，但本發(fā)明并不限定于該實施方式。只要不脫離本發(fā)明的主旨，對本實施方式實施了本領域技術人員想到的各種變形、將不同的實施方式中的構成要素組合而構筑的方式也可以包含于本發(fā)明的一個或多個方式的范圍內。
[0233]例如，在上述的各實施方式中，其他的處理部可以執(zhí)行特定的處理部執(zhí)行的處理。另外，多個處理的順序可以變更，多個處理可以并行執(zhí)行。
[0234]產業(yè)上的可利用性
[0235]本發(fā)明在對圖像嵌入信息中是有用的，例如能夠利用于數字靜像相機、數字錄像機、民生用或業(yè)務用的攝像裝置、數碼相框、電視機、便攜終端或便攜電話等中。
[0236]符號說明
[0237]I攝像部
[0238]2，22被拍體位置檢測部
[0239]3，13，23嵌入信息取得部
[0240]4，14，24深度信息取得部
[0241]5嵌入區(qū)域搜索部
[0242]6深度信息設定部
[0243]7，27 嵌入部
[0244]8深度可靠度取得部
[0245]11，21圖像取得部
[0246]15，25嵌入區(qū)域確定部
[0247]26進深值確定部
[0248]28顯示部
[0249]100，110，120，200 圖像處理裝置
【權利要求】
1.一種圖像處理裝置，具備: 圖像取得部，取得圖像； 嵌入信息取得部，取得要在所述圖像內的區(qū)域中嵌入的嵌入信息； 深度信息取得部，取得深度信息，該深度信息表示所述圖像的各像素的進深值；以及 嵌入區(qū)域確定部，使用所述深度信息，確定嵌入所述嵌入信息的所述區(qū)域即嵌入區(qū)域。
2.如權利要求1所述的圖像處理裝置， 所述嵌入區(qū)域確定部使用所述深度信息確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有與規(guī)定的進深值相比表示里側的進深值的多個像素構成。
3.如權利要求1或2所述的圖像處理裝置， 所述圖像處理裝置還具備:被拍體位置檢測部，通過檢測被拍體位置，取得表示所述被拍體位置的被拍體位置信息，該被拍體位置是所述圖像中包含的規(guī)定的被拍體在所述圖像中的位置， 所述嵌入區(qū)域確定部使用所述深度信息以及所述被拍體位置信息，確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有與所述被拍體位置的像素的進深值相比表示里側的進深值的多個像素構成。
4.如權利要求1至3中任一 項所述的圖像處理裝置， 所述嵌入區(qū)域確定部使用所述深度信息確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有距規(guī)定的進深值為規(guī)定的范圍內的進深值的多個像素構成。
5.如權利要求1至4中任一項所述的圖像處理裝置， 所述嵌入區(qū)域確定部使用所述深度信息確定所述嵌入區(qū)域，所述嵌入區(qū)域由具有距出現(xiàn)頻率為峰值的進深值為規(guī)定的范圍內的進深值的多個像素值構成。
6.如權利要求1至5中任一項所述的圖像處理裝置， 所述嵌入區(qū)域確定部使用所述深度信息確定所述嵌入區(qū)域，所述嵌入區(qū)域是指，由具有與規(guī)定的進深值相比表示里側的進深值的多個像素構成的區(qū)域，并且是由具有距出現(xiàn)頻率為峰值的進深值為規(guī)定的范圍內的進深值的多個像素構成的區(qū)域。
7.如權利要求1至6中任一項所述的圖像處理裝置， 所述深度信息取得部取得所述深度信息，所述深度信息包含對所述圖像的各像素的進深值的可靠度進行表示的信息。
8.如權利要求7所述的圖像處理裝置， 所述嵌入區(qū)域確定部使用所述深度信息確定所述嵌入區(qū)域，所述嵌入區(qū)域包含進深值的可靠度比規(guī)定的可靠度低的像素。
9.如權利要求1至8中任一項所述的圖像處理裝置， 所述嵌入區(qū)域確定部使用所述深度信息，從除了被拍體位置以外的區(qū)域中確定所述嵌入區(qū)域，該被拍體位置是指，所述圖像中包含的規(guī)定的被拍體在所述圖像上的位置。
10.如權利要求1至9中任一項所述的圖像處理裝置， 所述嵌入區(qū)域確定部使用由所述嵌入信息取得部取得的所述嵌入信息的信息量設定所述嵌入區(qū)域的尺寸，確定具有所設定的所述尺寸的所述嵌入區(qū)域。
11.如權利要求1至10中任一項所述的圖像處理裝置， 在滿足為了使用所述深度信息來確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述嵌入區(qū)域確定部從除了被拍體位置以外的區(qū)域中確定所述嵌入區(qū)域，該被拍體位置是指，所述圖像中包含的規(guī)定的被拍體在所述圖像上的位置。
12.如權利要求1至11中任一項所述的圖像處理裝置， 所述圖像處理裝置還具備: 進深值確定部，確定所述嵌入信息的進深值；以及 嵌入部，使用由所述進深值確定部確定的所述進深值，在所述圖像內的所述嵌入區(qū)域中嵌入所述嵌入信息。
13.如權利要求12所述的圖像處理裝置， 所述進深值確定部將所述嵌入信息的進深值確定為與被拍體位置的進深值相同程度的進深值，該被拍體位置是指，所述圖像中包含的規(guī)定的被拍體在所述圖像中的位置。
14.如權利要求12或13所述的圖像處理裝置， 在滿足為了使用所述深度信息來確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述進深值確定部將要在從除了被拍體位置以外的區(qū)域中確定的所述嵌入區(qū)域中嵌入的所述嵌入信息的進深值確定為與所述被拍體位置的進深值相比表示跟前側的進深值，該被拍體位置是指，所述圖像中包含的規(guī)定的被拍體在所述圖像上的位置。
15.如權利要求3所述的圖像處理裝置， 所述被拍體位置檢測部將所述圖像中包含的人物的臉在所述圖像中的位置檢測為所述被拍體位置，從而取得 將所述人物的臉的位置表示為所述被拍體位置的所述被拍體位置信息。
16.如權利要求1至15中任一項所述的圖像處理裝置， 所述嵌入信息取得部取得所述嵌入信息，所述嵌入信息包含文本、裝飾構件、框、以及圖像中的至少一個。
17.如權利要求1至16中任一項所述的圖像處理裝置， 所述圖像處理裝置還具備:顯示部，顯示所述圖像， 在滿足為了確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述顯示部對利用者顯示表示所述嵌入區(qū)域不存在的通知消息。
18.如權利要求17所述的圖像處理裝置， 在滿足為了確定所述嵌入區(qū)域而使用的條件的所述嵌入區(qū)域不存在的情況下，所述嵌入區(qū)域確定部使用所述深度信息，判斷所述圖像中包含的規(guī)定的被拍體是否近， 在判斷為所述被拍體近的情況下，所述顯示部顯示所述通知消息，該通知消息包含督促利用者遠離所述被拍體來對所述被拍體攝影的消息。
19.一種攝像裝置， 具備:權利要求1至18中任一項所述的圖像處理裝置， 所述圖像取得部通過對被拍體進行攝影來取得所述圖像。
20.—種圖像處理方法， 取得圖像， 取得要嵌入到所述圖像內的區(qū)域中的嵌入信息， 取得深度信息，該深度信息表示所述圖像的各像素的進深值， 使用所述深度信息，確定所述嵌入信息被嵌入的所述區(qū)域即嵌入區(qū)域。
【文檔編號】G03B17/24GK103460706SQ201380000983
【公開日】2013年12月18日 申請日期:2013年1月21日 優(yōu)先權日:2012年1月27日
【發(fā)明者】山田整 申請人:松下電器產業(yè)株式會社