專利名稱：圖像處理裝置、影像處理方法、程序、集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤其涉及立體視覺圖像的生成技術(shù)。
背景技術(shù)：
近年來，利用兩眼視網(wǎng)膜像差的立體視覺圖像顯示技術(shù)受到了關(guān)注。該技術(shù)為，由于人通過左眼的視網(wǎng)膜像和右眼的視網(wǎng)膜像的差異來察覺立體圖像，所以通過向視聽者的左眼和右眼獨立地入射存在視差的圖像(左眼用圖像·右眼用圖像)，在兩眼的視網(wǎng)膜中生成的物體像出現(xiàn)偏離，從而感覺到進深。用于上述的立體視覺圖像顯示的左眼用圖像和右眼用圖像，是通過從水平方向(橫向)上彼此離開的多個位置對被攝體進行拍攝而生成的。此外，在專利文獻I中公開有如下技術(shù)由輸入圖像計算視差，將圖像沿水平方向平移計算出的視差量，從而生成左眼用·圖像和右眼用圖像。在先技術(shù)文獻專利文獻專利文獻I :日本特開2005-020606號公報發(fā)明的概要發(fā)明所要解決的技術(shù)課題上述以往技術(shù)都是以左眼和右眼在水平方向上位于不同位置為前提，來生成具有水平方向的視差的左眼用圖像·右眼用圖像。視聽者以正常的姿勢來對上述左眼用圖像·右眼用圖像進行視聽時并沒有問題。但是，在視聽者的頭部向左右傾斜的狀態(tài)下來對上述左眼用圖像·右眼用圖像進行視聽的情況下，由于圖像的偏離方向(視差方向)與將左眼及右眼連結(jié)的方向不一致，所以左眼的視網(wǎng)膜像和右眼的視網(wǎng)膜像產(chǎn)生縱向的偏離。兩眼視網(wǎng)膜像的縱向的偏離對人來說是沒有體驗過的刺激，成為視覺疲勞的原因。此外，將左眼用圖像和右眼用圖像識別為不同的圖像，立體融合比較困難。在電影院等中，視聽者的座位是固定的，視聽者以正常的姿勢來對左眼用圖像 右眼用圖像進行視聽，所以不產(chǎn)生上述問題。但是，在家庭內(nèi)的立體視覺圖像的視聽中，可能以各種姿勢進行視聽，可能產(chǎn)生由視網(wǎng)膜像的縱偏離導(dǎo)致的視覺疲勞或立體融合的困難。存在想要以隨意的姿勢(例如將胳膊支在桌子上而用手托著下巴的狀態(tài))對立體視覺圖像進行視聽的需求，進行立體視覺圖像的視聽時，如果將視聽姿勢固定，對用戶來說并不方便。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而做出的，其目的在于，提供一種圖像處理桌子，即使在視聽者左右傾斜的狀態(tài)下，也能夠進行立體視覺圖像的視聽。解決技術(shù)課題所采用的技術(shù)手段為了達成上述目的，本發(fā)明的圖像處理裝置是對圖像數(shù)據(jù)進行圖像處理的圖像處理裝置，其特征在于，具備傾斜角計算部，計算視聽者的面部的傾斜角；深度信息生成部，生成深度信息，該深度信息表示所述圖像數(shù)據(jù)中的被攝體的進深方向的位置；以及立體圖像數(shù)據(jù)生成部，通過將構(gòu)成所述圖像數(shù)據(jù)的各像素的坐標沿橫向及縱向平移規(guī)定的量，生成與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)，并生成由所述圖像數(shù)據(jù)和與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)的組構(gòu)成的立體圖像數(shù)據(jù)；所述橫向及縱向的規(guī)定的平移量由所述深度信息及所述視聽者的面部的傾斜角決定。發(fā)明的效果根據(jù)本發(fā)明，將構(gòu)成圖像數(shù)據(jù) 的各像素沿橫向及縱向平移由深度信息及視聽者的面部的傾斜角決定的量，從而生成立體圖像數(shù)據(jù)，所以在視聽者的頭部向左右傾斜的狀態(tài)下，能夠生成使圖像的偏離方向(視差方向)與將左眼及右眼連結(jié)的方向一致的立體視覺圖像。視聽者在頭部向左右傾斜而對立體視覺圖像進行視聽的情況下，在左眼的視網(wǎng)膜像和右眼的視網(wǎng)膜像中也只產(chǎn)生水平方向(橫向)的偏離，而不產(chǎn)生垂直方向(縱向)的偏離，所以不會產(chǎn)生由視網(wǎng)膜像的縱偏離導(dǎo)致的視覺疲勞或立體融合的困難，能夠向視聽者提供舒適的立體視覺。此外，能夠提高立體視覺視聽時的視聽姿勢的自由度，所以能夠提高用戶便利性。


圖I是表示實施方式I的圖像處理裝置所進行的處理的概要的圖。圖2是表示實施方式I的圖像處理裝置200的構(gòu)成的一例的框圖。圖3是表示視聽者的面部的傾斜角的計算的圖。圖4是表示飛出立體視覺的情況的像素平移的圖。圖5是表示后退立體視覺的情況的像素平移的圖。圖6是表示顯示畫面的縱向、橫向的每I像素的長度的圖。圖7是表示立體圖像保存部207的保存形式的一例的圖。圖8是表示本實施方式的圖像處理裝置的硬件構(gòu)成的一例的圖。圖9是表示深度信息生成處理的流程的流程圖。圖10是表示立體圖像生成·顯示處理的流程的流程圖。圖11是表示傾斜角計算處理的流程的流程圖。圖12是表示立體圖像再生成處理的流程的流程圖。圖13是表示實施方式2的圖像處理裝置1300的構(gòu)成的一例的框圖。圖14是表示由IR接收部1301進行的傾斜角信息的取得的圖。圖15是表示實施方式2中的傾斜角計算處理的流程的流程圖。圖16是表示施方式3的圖像處理裝置1600的構(gòu)成的一例的框圖。圖17是表示具備本發(fā)明的圖像處理裝置的便攜終端的圖。
具體實施例方式以下，參照

本發(fā)明的實施方式?！秾嵤┓绞絀》<概要>
圖I是表示實施方式I的圖像處理裝置所進行的處理的概要的圖。如本圖所示，圖像處理裝置從攝像機取得視聽者的面部圖像，通過面部圖像的圖像解析，計算視聽者的面部的傾斜角。此外，由輸入圖像生成表示被攝體的進深方向的位置的深度信息(深度圖)。并且，基于面部 的傾斜角和深度信息(深度圖)，將構(gòu)成原圖像的各像素沿水平方向及垂直方向平移，從而生成立體圖像。這樣，不僅是水平方向，還與面部的傾斜角相對應(yīng)地將像素沿垂直方向平移，從而能夠生成將左眼及右眼連結(jié)的方向與圖像的偏離方向(視差方向)一致的、對視聽者來說具有最佳的視差方向的立體圖像。< 構(gòu)成 >首先，說明實施方式I的圖像處理裝置200的構(gòu)成。圖2是表示圖像處理裝置200的構(gòu)成的一例的框圖。如本圖所示，圖像處理裝置200具備操作輸入接受部201、面部圖像取得部202、傾斜角計算部203、立體圖像取得部204、深度信息生成部205、立體圖像再生成部206、立體圖像保存部207、輸出部208。以下說明各構(gòu)成部。<操作輸入接受部201 >操作輸入接受部201具有接受視聽者的操作輸入的功能。具體地說，接受立體視覺內(nèi)容的再生命令等。<面部圖像取得部202 >面部圖像取得部202具有取得由外部的攝像裝置拍攝的視聽者的面部圖像的功倉泛。<傾斜角計算部203 >傾斜角計算部203具有對由面部圖像取得部202取得的視聽者的面部圖像進行解析，并計算視聽者的面部的傾斜角的功能。具體地說，從面部圖像檢測特征點，根據(jù)特征點的位置關(guān)系計算視聽者的面部的傾斜角。另外，視聽者的面部的傾斜角是指，與顯示器面平行的平面上的傾斜角。特征點是指，將圖像的邊界或角等特征點化后的數(shù)據(jù)，在本實施方式中，將邊緣(亮度劇烈變化的部位)或邊緣的交點部位作為所謂的特征點提取。邊緣的檢測通過求出像素間的亮度的差分(一次微分)、并根據(jù)該差分計算邊緣強度來進行。另外，也可以通過其他邊緣檢測方法來提取特征點。圖3是表示視聽者的面部的傾斜角的計算的圖。在本圖所示的例中，通過特征點提取來檢測眼睛，計算兩眼的位置關(guān)系(Δ X, Δ y)。然后,通過a = arctan ( Δ y + Δ χ)的數(shù)式來計算視聽者的面部的傾斜角a。另外，也可以檢測眼睛以外的特征部位(3D眼鏡、鼻、口等)，根據(jù)其位置關(guān)系來檢測面部的傾斜角。<立體圖像取得部204 >立體圖像取得部204具有取得由同析像度的左眼用圖像和右眼用圖像的組構(gòu)成的立體圖像的功能。立體圖像是從不同的視點對被寫界進行攝像而得到的圖像，例如可以是由立體攝像機等攝像裝置攝像的圖像數(shù)據(jù)。此外，也可以是從外部的網(wǎng)絡(luò)、服務(wù)器、記錄介質(zhì)等取得的圖像數(shù)據(jù)。此外，不限于實際拍攝圖像，也可以是設(shè)想不同的虛擬視點而制作的CG (Computer Graphics)等。此外,可以是靜止圖像,也可以是包含時間上連續(xù)的多個靜止圖像的運動圖像。
<深度信息生成部205 >深度信息生成部205具有從由立體圖像取得部204取得的立體圖像生成表示被攝體的進深方向的位置的深度信息(深度圖)的功能。具體地說，首先，對構(gòu)成立體圖像的左眼用圖像·右眼用圖像間的各像素進行對應(yīng)點檢索。然后，根據(jù)左眼用圖像和右眼用圖像的對應(yīng)點的位置關(guān)系，基于三角測量的原理，計算被攝體的進深方向的距離。深度信息(深度圖)是以8位的亮度表示各像素的進深的灰度圖像，深度信息生成部205將計算出的被攝體的進深方向的距離變換為O 255的256級的值。另外，對應(yīng)點檢索大體分為基于區(qū)域的匹配方法和基于特征的匹配方法，該基于區(qū)域的匹配方法是在關(guān)注點的周圍設(shè)置小區(qū)域，基于該區(qū)域中的像素值的濃淡模式而進行的方法，該基于特征的匹配方法是從圖像提取邊緣等特征、并在該特征間進行對應(yīng)建立的方法，可以使用任一方法。<立體圖像再生成部206 >立體圖像再生成部206具有如下功能基于面部的傾斜角和深度信息，將由立體圖像取得部204取得的構(gòu)成左眼用圖像的各像素沿水平方向及垂直方向平移，從而生成與左眼用圖像對應(yīng)的右眼圖像。另外，立體圖像再生成部206在進行像素平移處理之前，參照圖像數(shù)據(jù)的屬性信息而進行圖像數(shù)據(jù)的朝向(拍攝方向)的判別，根據(jù)該朝向來進行旋轉(zhuǎn)處理之后，進行像素平移處理。例如圖像數(shù)據(jù)為JPEG(Joint Photographic Experts Group)形式的情況下，將保存在 Exif (Exchangeable imagefile format)信息中的 Orientation標簽作為屬性信息使用。Orientation標簽是從行和列的觀點觀察的表示圖像數(shù)據(jù)的方向的信息，參照該值，能夠判別圖像數(shù)據(jù)的縱橫的朝向。例如Orientation標簽的值為6 (順時針旋轉(zhuǎn)90° )的情況下，使圖像數(shù)據(jù)旋轉(zhuǎn)90°之后，進行像素平移處理。以下說明像素平移的詳細情況。圖4、圖5是表示本實施方式的像素平移的圖。在立體視覺效果中有飛出效果(飛出立體視覺)和后退效果(后退立體視覺)，圖4表示飛出立體視覺的情況的像素平移，圖5表示后退立體視覺的情況的像素平移。在這些圖中，Px表示向水平方向的平移量，Py表示向垂直方向的平移量，L-View-Point表示左眼瞳孔位置，R-View-Point表示右眼瞳孔位置，L-Pixel表示左眼像素，R-Pixel表示右眼像素，e表示瞳孔間距離，α表示視聽者的傾斜角度，H表示顯示畫面的高度,W表示顯示畫面的橫向?qū)挾?S表示從視聽者到顯示畫面的距離，Z表示視聽者到成像點的距離、即被攝體的進深方向的距離。將左眼像素L-pixel和左眼瞳孔L-view-point連結(jié)的直線是左眼瞳孔L-view-point的視線,將右眼像素R-Pixel和右眼瞳孔R-View-Point連結(jié)的直線是右眼瞳孔R-View-Point的視線，通過3D眼鏡的透光 遮光的切換或使用視差障礙、雙凸透鏡等的視差障壁來實現(xiàn)。在此，R-view-point位于L-view-point的上方向的情況下，將α作為正的值，在R-view-point位于L-view-point的下方向的情況下，將α作為負的值。此外，將右眼像素R-pixel ·左眼像素L-pixel處于圖4的位置關(guān)系的情況下的Px作為負的值，將處于圖5的位置關(guān)系的情況下的Px作為正的值。首先，考慮顯示畫面的高度H和顯示畫面的橫向?qū)挾萕?？紤]顯示畫面為X型的電視機的情況,電視機的型號以畫面的對角線的長度(英寸)表示，所以在電視機的型號X、顯示畫面的高度H、顯示畫面的橫向?qū)挾萕之間，成立X2 = H2+ W2的關(guān)系。此外，顯示畫面的高度H和顯示畫面的橫向?qū)挾萕使用縱橫比m n而表示為W :H = m :n。根據(jù)上述的關(guān)系式，圖4、圖5所示的顯示畫面的高度H以下面的[數(shù)I]表示[數(shù)I]
權(quán)利要求
1.一種圖像處理裝置，對圖像數(shù)據(jù)進行圖像處理，其特征在于，具備 傾斜角計算部，計算視聽者的面部的傾斜角； 深度信息生成部，生成表示所述圖像數(shù)據(jù)中的所拍攝的被攝體的進深方向的位置的深度信息；以及 立體圖像數(shù)據(jù)生成部，通過將構(gòu)成所述圖像數(shù)據(jù)的各像素的坐標沿橫向及縱向平移規(guī)定的量，生成與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)，并生成由所述圖像數(shù)據(jù)和與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)的組構(gòu)成的立體圖像數(shù)據(jù)； 通過所述深度信息及所述視聽者的面部的傾斜角決定所述橫向及縱向的規(guī)定的平移量。
2.如權(quán)利要求I所述的圖像處理裝置，其特征在于， 在檢測出所述視聽者的面部的傾斜角時，用于使其傾斜的面部的兩眼產(chǎn)生立體視覺效果的視差是相對于圖像數(shù)據(jù)的水平軸具有規(guī)定的傾斜角的視差， 所述立體圖像數(shù)據(jù)生成部通過使用所述深度信息所示的進深和表示面部的傾斜角的角度，進行具有規(guī)定的傾斜角的視差的計算，通過將具有該規(guī)定的傾斜角的視差的圖像數(shù)據(jù)上的水平成分變換為像素數(shù)，取得橫向的規(guī)定的平移量，通過將具有該規(guī)定的傾斜角的視差的垂直成分變換為像素數(shù)，取得縱向的規(guī)定的平移量。
3.如權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述立體圖像數(shù)據(jù)生成部通過下面的數(shù)式(I)取得所述橫向的規(guī)定的平移量，通過下面的數(shù)式(2)取得所述縱向的規(guī)定的平移量， [數(shù)5]
4.如權(quán)利要求I所述的圖像處理裝置，其特征在于， 所述傾斜角計算部通過讀視聽者的面部圖像的特征點進行解析，計算視聽者的面部的傾斜角。
5.如權(quán)利要求I所述的圖像處理裝置，其特征在于， 所述傾斜角計算部根據(jù)視聽者所佩戴的3D眼鏡的傾斜角，計算視聽者的面部的傾斜角。
6.如權(quán)利要求I所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備立體圖像數(shù)據(jù)保存部，將所述立體圖像數(shù)據(jù)與用于生成的視聽者的面部的傾斜角建立關(guān)聯(lián)并保存。
7.如權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備顯示部，顯示所述立體圖像， 所述顯示部從所述立體圖像數(shù)據(jù)保存部選擇與所述傾斜角計算部計算出的視聽者的面部的傾斜角對應(yīng)的立體圖像數(shù)據(jù)，并進行顯示。
8.如權(quán)利要求I所述的圖像處理裝置，其特征在于， 由所述傾斜角計算部計算的視聽者的面部的傾斜角是與立體視覺圖像的顯示面平行的平面上的傾斜角。
9.一種圖像處理方法，對圖像數(shù)據(jù)進行圖像處理，其特征在于，具備以下步驟， 傾斜角計算步驟，計算視聽者的面部的傾斜角； 深度信息生成步驟，生成表示所述圖像數(shù)據(jù)中的所拍攝的被攝體的進深方向的位置的深度信息；以及 立體圖像數(shù)據(jù)生成步驟，通過將構(gòu)成所述圖像數(shù)據(jù)的各像素的坐標沿橫向及縱向平移規(guī)定的量，生成與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)，并生成由所述圖像數(shù)據(jù)和與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)的組構(gòu)成的立體圖像數(shù)據(jù)； 通過所述深度信息及所述視聽者的面部的傾斜角決定所述橫向及縱向的規(guī)定的平移量。
10.一種程序，使計算機執(zhí)行針對圖像數(shù)據(jù)的圖像處理，其特征在于，使計算機執(zhí)行以下步驟 傾斜角計算步驟，計算視聽者的面部的傾斜角； 深度信息生成步驟，生成表示所述圖像數(shù)據(jù)中的所拍攝的被攝體的進深方向的位置的深度信息；以及 立體圖像數(shù)據(jù)生成步驟，通過將構(gòu)成所述圖像數(shù)據(jù)的各像素的坐標沿橫向及縱向平移規(guī)定的量，生成與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)，并生成由所述圖像數(shù)據(jù)和與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)的組構(gòu)成的立體圖像數(shù)據(jù)； 通過所述深度信息及所述視聽者的面部的傾斜角決定所述橫向及縱向的規(guī)定的平移量。
11.一種集成電路，用于對圖像數(shù)據(jù)進行圖像處理，其特征在于，具備 傾斜角計算單元，計算視聽者的面部的傾斜角； 深度信息生成單元，生成表示所述圖像數(shù)據(jù)中的所拍攝的被攝體的進深方向的位置的深度信息；以及 立體圖像數(shù)據(jù)生成單元，通過將構(gòu)成所述圖像數(shù)據(jù)的各像素的坐標沿橫向及縱向平移規(guī)定的量，生成與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)，并生成由所述圖像數(shù)據(jù)和與所述圖像數(shù)據(jù)不同的視點的圖像數(shù)據(jù)的組構(gòu)成的立體圖像數(shù)據(jù)； 通過所述深度信息及所述視聽者的面部的傾斜角決定所述橫向及縱向的規(guī)定的平移量。
全文摘要
傾斜角計算部(203)計算視聽者的面部的傾斜角。立體圖像再生成部(206)基于計算出的視聽者的面部的傾斜角和深度信息(深度圖)，將構(gòu)成原圖像的各像素向水平方向及垂直方向平移，生成使圖像的偏離方向(視差方向)與將左眼及右眼連結(jié)的方向一致的立體圖像。
文檔編號H04N13/04GK102884803SQ201280001060
公開日2013年1月16日 申請日期2012年2月24日 優(yōu)先權(quán)日2011年5月11日
發(fā)明者箱田航太郎, 大久保雅文, 山地治 申請人:松下電器產(chǎn)業(yè)株式會社