專利名稱：圖像處理裝置、圖像攝像系統(tǒng)和圖像顯示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能輸出進行立體圖像顯示用的立體圖像數(shù)據(jù)的圖像處理裝置、備有該圖像處理裝置的圖像攝像系統(tǒng)、圖像顯示系統(tǒng)、圖像攝像顯示系統(tǒng)、或者使計算機作為上述圖像處理裝置進行工作的圖像處理程序、以及記錄了該圖像處理程序的計算機能讀取的記錄介質(zhì)。
背景技術(shù)：
迄今，顯示立體圖像的圖像顯示裝置被用于游戲機及CAD(計算機輔助設(shè)計)系統(tǒng)、飛機、醫(yī)療用器械等各種用途中。
將立體圖像呈現(xiàn)給使用者的原理通過將帶有視差的物體像呈現(xiàn)給使用者的兩眼而成為可能。作為將這樣的圖像呈現(xiàn)給使用者的具有代表性的方法，能舉出以下的方法。
第一種是立體照片方式。按照該立體照片方式，使用通常的圖像顯示裝置，對于右眼呈現(xiàn)紅色圖像、對于左眼呈現(xiàn)藍色圖像。而且，使用者戴上粘貼了右眼只能看到紅色圖像的藍色薄膜、左眼只能看到藍色圖像的紅色薄膜的眼鏡。因此，使用者的左右眼只能看到各自對應(yīng)的圖像。
第二種是偏光眼鏡方式。按照該偏光眼鏡方式，使用右眼用圖像顯示裝置和左眼用圖像顯示裝置，將分別互相正交的偏振片配置在各圖像顯示裝置的前面，用半反射鏡將通過了偏振片的各圖像合成后呈現(xiàn)給使用者。而且，使用者戴上粘貼了分別互相正交的偏振片的眼鏡，以便只看見對應(yīng)于各眼的圖像。因此，使用者的左右眼只看見分別對應(yīng)的圖像。
第三種是分時快門方式。在該分時快門方式中，在通常的圖像顯示裝置上每隔一定時間切換并顯示帶視差的圖像。而且，與上述相同，使用者戴上每隔一定時間交替地關(guān)閉左右快門的眼鏡。通過使該快門的切換與圖像的切換同步，使用者的左右眼只看見分別對應(yīng)的圖像。
第四種是視差屏障方式。該視差屏障方式例如已在在美國專利第6,392,690(2002年5月21日發(fā)行)中予以公開?，F(xiàn)根據(jù)圖19及圖20說明該方式的原理。
在該方式中，在液晶顯示元件151等顯示元件的前后面上分別設(shè)置線偏振片162·163，而且，在液晶顯示元件151的顯示面前方設(shè)置視差屏障171，構(gòu)成立體圖像顯示裝置150。另外，在液晶顯示元件151上形成多個由n個像素構(gòu)成的像素組164。這些像素組164中的像素排列如下。
(R1、G2、B3、...、Rn)、(G1、B2、R3、...、Gn)、(B1、R2、G3、...、Bn)、...，其中，同一括號內(nèi)表示的像素是屬于同一像素組的像素。另外，上述R、G、B分別表示用對應(yīng)于紅、綠、藍的色信號驅(qū)動的像素。另外，下標(biāo)表示n個視差像中的任意一個。這樣，在液晶顯示元件151上按照R、G、B的順序配置顯示視差像的各像素。
另外，所謂n個視差像是指從1、2、...、n的方向看某物體時獲得的n個圖像。這樣采用n個圖像的方式一般稱為n眼式。
如圖19所示，視差屏障171由成為開口部172的數(shù)個狹縫和遮光部173構(gòu)成，使液晶顯示元件151的一個像素組164對應(yīng)于一個開口部172配置。
由于這樣構(gòu)成，從液晶顯示元件151的各像素射出的光本來會朝向液晶顯示元件151前方的所有的方向射出，但從屬于同一像素組164內(nèi)的像素射出的光卻如圖19中的箭頭指出的光路所示，透過同一開口部172。
于是，如圖20所示，在立體圖像顯示裝置150的前面，在空間上被分割形成能觀察到1、2、...、n各個圖像的觀察區(qū)域E1、E2、...、En。因此，一旦使使用者的目光例如進入觀察區(qū)域E1內(nèi)，使用者便能觀察到在液晶顯示元件151上顯示的全部“1”的圖像。因此，將視差屏障171夾在中間，位于與液晶顯示元件151相反一側(cè)的使用者通過使各目光進入觀察區(qū)域E1、E2、...、En中的任意的兩個區(qū)域，就能從1至n個圖像中選出任意的圖像，從而能觀察立體圖像。就是說，使用者利用觀察的角度，能觀察各種立體圖像。
第五種是雙凸透鏡方式。該雙凸透鏡方式例如也已在上述的美國專利第6,392,690中予以公開?，F(xiàn)根據(jù)圖21說明該方式的原理。
在該方式中，在液晶顯示元件151的顯示面前方設(shè)置雙凸透鏡181來代替上述的視差屏障171，構(gòu)成立體圖像顯示裝置150。
多個柱面透鏡182排列設(shè)置在基板183上，構(gòu)成雙凸透鏡181，同時使液晶顯示元件151的一個像素組164對應(yīng)于一個柱面透鏡182配置。因此，使用者通過雙凸透鏡181觀察顯示面時，利用柱面透鏡182的作用，選擇根據(jù)觀察的方向而能看到的圖像。
例如，在使用者進入從“1”的方向看到了某物體時從顯示圖像的像素(以下稱像素1)射出的光通過柱面透鏡182的像主點的方向(圖21中用實線箭頭表示的方向)的情況下，使用者只能觀察到在用虛線表示的區(qū)域中顯示的像素1的圖像。因此，通過將雙凸透鏡181配置在液晶顯示元件151的前面，能獲得與配置了視差屏障171同樣的效果。
可是，上述美國專利第6,392,690中雖然公開了顯示立體圖像用的技術(shù)，但是關(guān)于對立體圖像與平面圖像進行切換并顯示的技術(shù)，未進行任何討論。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能對立體圖像顯示與平面圖像顯示進行切換并顯示的圖像處理裝置等。
為了達到上述目的，本發(fā)明的圖像處理裝置備有對與存在視差像的相互關(guān)系的多個圖像對應(yīng)的多個輸入圖像數(shù)據(jù)，進行使各自的圖像沿橫向縮減用的縮減運算的縮減運算部；通過將在上述縮減運算部中進行了縮減運算的縮減圖像數(shù)據(jù)組合起來，生成立體圖像數(shù)據(jù)的立體化處理部；以及作為來自該圖像處理裝置的輸出，輸出在上述立體化處理部中生成的立體圖像數(shù)據(jù)，或輸出用上述多個輸入圖像數(shù)據(jù)中的某個數(shù)據(jù)生成的平面圖像數(shù)據(jù)，而對上述的輸出進行切換的顯示切換控制部。
在上述構(gòu)成的圖像處理裝置中，例如通過用多個通常的攝像裝置，拍攝存在視差像的相互關(guān)系的多個圖像，輸入各自的輸入圖像數(shù)據(jù)，能對立體圖像顯示用的立體圖像數(shù)據(jù)與平面圖像顯示用的平面圖像數(shù)據(jù)進行切換，輸出給圖像顯示裝置。
即，在進行立體圖像顯示的情況下，通過由縮減運算部沿橫向縮減輸入圖像數(shù)據(jù)，生成縮減圖像數(shù)據(jù)，由立體化處理部對該縮減圖像數(shù)據(jù)進行組合，能生成立體圖像數(shù)據(jù)。另一方面，在進行平面圖像顯示的情況下，用輸入圖像數(shù)據(jù)的任何數(shù)據(jù)，都能生成平面圖像數(shù)據(jù)。能用顯示切換控制部切換輸出立體圖像數(shù)據(jù)與平面圖像數(shù)據(jù)兩方中的哪一方。
因此，能用同一個裝置結(jié)構(gòu)實現(xiàn)立體圖像顯示和平面圖像顯示，同時例如能根據(jù)由使用者進行的顯示切換的指示，簡單地切換立體圖像顯示與平面圖像顯示。
本發(fā)明的圖像處理裝置，在上述的圖像處理裝置中，也可以對應(yīng)于上述輸入圖像數(shù)據(jù)的數(shù)目，備有多個上述縮減運算部。
在上述的結(jié)構(gòu)中，能同時并行地進行多個輸入圖像數(shù)據(jù)的縮減運算。因此，在由立體化處理部進行的處理中，不使用要求大容量的幀存儲器等，也能生成立體圖像數(shù)據(jù)。因此，能簡化立體化處理部的裝置結(jié)構(gòu)。
本發(fā)明的一種圖像處理裝置，它可以是在上述的圖像處理裝置中，上述縮減運算部通過在時間上切換進行對各上述多個輸入圖像數(shù)據(jù)的縮減運算，分時地輸出對應(yīng)于上述各輸入圖像數(shù)據(jù)的各縮減圖像數(shù)據(jù)。
在上述的結(jié)構(gòu)中，能用一個縮減運算部在時間上切換進行對多個輸入圖像數(shù)據(jù)的縮減運算。因此，不需要對應(yīng)于輸入圖像數(shù)據(jù)的數(shù)目設(shè)置多個縮減運算部，能減少縮減運算部的個數(shù)。
本發(fā)明的一種圖像處理裝置，在上述圖像處理裝置中，由上述縮減運算部進行的縮減運算也可以是對上述輸入圖像數(shù)據(jù)的數(shù)據(jù)相間運算。
在上述的結(jié)構(gòu)中，由于能減少縮減運算部中的縮減運算量，所以能實現(xiàn)電路規(guī)模小、功耗低的圖像處理裝置。
本發(fā)明的一種圖像處理裝置，它可以是在上述圖像處理裝置中，上述輸入圖像數(shù)據(jù)的數(shù)目為n(n為2以上的整數(shù))，上述立體化處理部通過對與上述n個輸入圖像數(shù)據(jù)中的m個(m為2以上、而且小于n的整數(shù))輸入圖像數(shù)據(jù)對應(yīng)的縮減圖像數(shù)據(jù)進行組合，生成上述立體圖像數(shù)據(jù)。
如上述結(jié)構(gòu)所示，能用與從輸入的輸入圖像數(shù)據(jù)中選擇的規(guī)定數(shù)目的輸入圖像數(shù)據(jù)對應(yīng)的縮減圖像數(shù)據(jù)，生成立體圖像數(shù)據(jù)。
本發(fā)明的圖像攝像系統(tǒng)備有上述的圖像處理裝置；以及將通過存在視差像的相互關(guān)系的多個圖像的拍攝獲得的多個輸入圖像數(shù)據(jù)輸入上述圖像處理裝置中的攝像裝置。
另外，本發(fā)明的圖像顯示系統(tǒng)備有上述的圖像處理裝置；以及根據(jù)從上述圖像處理裝置輸出的立體圖像數(shù)據(jù)及平面圖像數(shù)據(jù)，能進行立體圖像顯示及平面圖像顯示的圖像顯示裝置。
另外，本發(fā)明的圖像攝像顯示系統(tǒng)備有上述的圖像處理裝置；將通過存在視差像的相互關(guān)系的多個圖像的拍攝獲得的多個輸入圖像數(shù)據(jù)輸入上述圖像處理裝置中的攝像裝置；以及根據(jù)從上述圖像處理裝置輸出的立體圖像數(shù)據(jù)及平面圖像數(shù)據(jù)，能進行立體圖像顯示及平面圖像顯示的圖像顯示裝置。
本發(fā)明的一種圖像攝像顯示系統(tǒng)，它可以是在上述的圖像攝像顯示系統(tǒng)中，上述攝像裝置輸入的輸入圖像數(shù)據(jù)的數(shù)目為n(n為2以上的整數(shù))，上述圖像顯示裝置能進行有橫向w條×縱向h條(w、h為正整數(shù))分辨率的n眼式的立體圖像顯示，上述攝像裝置有比橫向w/n條×縱向h條高的分辨率。
在上述的結(jié)構(gòu)中，圖像顯示裝置的分辨率為橫向w條×縱向h條，即使在用具有與該圖像顯示裝置的分辨率不同的分辨率的攝像裝置構(gòu)成圖像攝像顯示系統(tǒng)的情況下，通過使用具有比橫向w/n條×縱向h條高的分辨率的攝像裝置，縮減運算部中的縮減運算成為可能。
本發(fā)明的一種圖像攝像顯示系統(tǒng)，在上述的圖像攝像顯示系統(tǒng)中，上述攝像裝置也可以對上述多個輸入圖像數(shù)據(jù)中的每一數(shù)據(jù)具有不同的分辨率。
本發(fā)明的圖像處理程序是使上述的圖像處理裝置工作的圖像處理程序，用來使計算機具有作為上述圖像處理裝置的各部的功能。另外，本發(fā)明的計算機能讀取的記錄介質(zhì)是記錄了上述的圖像處理程序的記錄介質(zhì)。
本發(fā)明的其他目的、特征以及優(yōu)點通過以下所示的記載，就會充分清楚了。另外，本發(fā)明的優(yōu)點在參照附圖進行的以下說明中就會明白了。
圖1是表示本發(fā)明的第一實施形態(tài)的圖像攝像顯示系統(tǒng)的結(jié)構(gòu)的框圖。
圖2是說明在圖1所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示時的圖像數(shù)據(jù)流用的框圖。
圖3是為了說明視差屏障方式的立體圖像顯示的原理而示出圖像顯示裝置與使用者的關(guān)系的平面圖。
圖4是為了說明雙凸透鏡方式的立體圖像顯示的原理而示出圖像顯示裝置與使用者的關(guān)系的平面圖。
圖5是表示在圖1所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示的情況下圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖。
圖6是說明在圖1所示的圖像攝像顯示系統(tǒng)中進行平面圖像顯示時的圖像數(shù)據(jù)流用的框圖。
圖7是表示本發(fā)明的第二實施形態(tài)的圖像攝像顯示系統(tǒng)的結(jié)構(gòu)的框圖。
圖8是說明在圖7所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示時的圖像數(shù)據(jù)流用的框圖。
圖9是表示在圖7所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示的情況下圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖，特別是表示以右眼用及左眼用的各自的攝像裝置生成輸入圖像數(shù)據(jù)時的框圖。
圖10是表示在圖7所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示的情況下圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖，特別是表示在右眼用的攝像裝置中生成的輸入圖像數(shù)據(jù)在縮減運算部中只沿橫向縮減至1/2后輸出時的框圖。
圖11是表示在圖7所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示的情況下圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖，特別是表示縮減后的右眼用的縮減圖像數(shù)據(jù)在圖像數(shù)據(jù)立體化部中被保存在幀存儲器中、與此同時在左眼用的攝像裝置中生成的輸入圖像數(shù)據(jù)在縮減運算部中只沿橫向縮減至1/2后輸出時的框圖。
圖12是表示在圖7所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示的情況下圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖，特別是表示縮減后的左眼用的縮減圖像數(shù)據(jù)在圖像數(shù)據(jù)立體化部中被保存在幀存儲器中、完成的立體圖像數(shù)據(jù)進入幀存儲器中的狀態(tài)的框圖。
圖13是表示在圖7所示的圖像攝像顯示系統(tǒng)中進行立體圖像顯示的情況下圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖，特別是表示幀存儲器中保存的立體圖像數(shù)據(jù)被輸出給圖像顯示裝置時的框圖。
圖14是說明在圖7所示的圖像攝像顯示系統(tǒng)中進行平面圖像顯示時的圖像數(shù)據(jù)流用的框圖。
圖15是表示關(guān)于本發(fā)明的第三實施形態(tài)的圖像數(shù)據(jù)的處理，圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖。
圖16是表示關(guān)于本發(fā)明的第四實施形態(tài)的圖像數(shù)據(jù)的處理，圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖。
圖17是表示關(guān)于本發(fā)明的第五實施形態(tài)的圖像數(shù)據(jù)的處理，圖像攝像顯示系統(tǒng)的各塊之間的圖像數(shù)據(jù)的變化形態(tài)的框圖。
圖18是表示本發(fā)明的第六實施形態(tài)的圖像攝像顯示系統(tǒng)的結(jié)構(gòu)的框圖。
圖19是表示現(xiàn)有的視差屏障方式的圖像顯示裝置的剖面的剖面圖。
圖20是表示為了說明立體圖像顯示的原理，圖19所示的圖像顯示裝置與使用者的關(guān)系的平面圖。
圖21是表示現(xiàn)有的雙凸透鏡方式的圖像顯示裝置的剖面的剖面圖。
具體實施例方式根據(jù)圖1至圖6，說明本發(fā)明的第一實施形態(tài)如下。
圖1表示本實施形態(tài)的圖像攝像顯示系統(tǒng)1的塊結(jié)構(gòu)。該圖像攝像顯示系統(tǒng)1備有作為攝像單元的攝像裝置11a·11b·11c、作為圖像顯示單元的圖像顯示裝置12、以及作為圖像處理單元的圖像處理裝置1a。另外，這里設(shè)想使用三個攝像裝置11a·11b·11c，但如果攝像裝置為兩個以上，則其數(shù)量不作特別限定。另外，在總稱攝像裝置11a·11b·11c的情況下，有時也記作攝像裝置11。
攝像裝置11a·11b·11c分別備有CCD攝像機和CMOS圖像傳感器等，拍攝各圖像，生成圖像數(shù)據(jù)，輸入到圖像處理裝置1a。特別是攝像裝置11a·11b·11c拍攝三個視差像，能將各自對應(yīng)的圖像數(shù)據(jù)輸入到圖像處理裝置1a。
圖像顯示裝置12如后面所述，通過輸入在圖像處理裝置1a中生成的立體圖像數(shù)據(jù)，能顯示立體圖像，而且，通過輸入由攝像裝置11a·11b·11c中的某一個生成的作為圖像數(shù)據(jù)的平面圖像數(shù)據(jù)，能顯示平面圖像。該圖像顯示裝置12能進行立體圖像顯示及平面圖像顯示這兩種顯示即可，例如能使用圖19或圖21所示的立體圖像顯示裝置150。
圖像處理裝置1a備有分別與攝像裝置11a·11b·11c一一對應(yīng)的圖像數(shù)據(jù)縮減部13a·13b·13c；圖像數(shù)據(jù)立體化部14；以及顯示切換控制部15。另外，在總稱圖像數(shù)據(jù)縮減部13a·13b·13c的情況下，有時記作圖像數(shù)據(jù)縮減部13。
圖像數(shù)據(jù)縮減部13a·13b·13c備有分別作為縮減運算單元的縮減運算部16a·16b·16c；以及選擇器17a·17b·17c。另外，在總稱縮減運算部16a·16b·16c及選擇器17a·17b·17c的情況下，有時分別記作縮減運算部16及選擇器17。
縮減運算部16a·16b·16c對從攝像裝置11a·11b·11c輸入的圖像數(shù)據(jù)，也就是說，對與有視差像的相互關(guān)系的多個圖像所對應(yīng)的多個圖像數(shù)據(jù)(輸入圖像數(shù)據(jù))進行使各自的圖像沿橫向縮減用的縮減運算。假設(shè)攝像裝置11及圖像數(shù)據(jù)縮減部13的個數(shù)為n(這里，n＝3)，縮減運算部16使輸入圖像數(shù)據(jù)沿橫向縮減到1/n。另外，所謂“使圖像數(shù)據(jù)沿橫向縮減”，意味著減少圖像數(shù)據(jù)的橫向的數(shù)據(jù)量，特別是關(guān)于行列狀的圖像數(shù)據(jù)，意味著減少列數(shù)。
在縮減運算部16中，為了使輸入圖像數(shù)據(jù)沿橫向縮減到1/n，可以利用使圖像縮小的熟知的最近鄰法或雙線性法、雙立體法等算法。
選擇器17a·17b·17c選擇被輸入到圖像數(shù)據(jù)縮減部13a·13b·13c中而不進行任何處理的輸入圖像數(shù)據(jù)本身、以及在縮減運算部16a·16b·16c中進行了縮減運算的圖像數(shù)據(jù)(縮減圖像數(shù)據(jù))兩方中的一方后輸出。在選擇器17a·17b·17c中選擇哪一方，要根據(jù)顯示切換控制部15的控制而定。
圖像數(shù)據(jù)立體化部14備有作為立體化處理單元的立體化處理部18；以及選擇器19。從圖像數(shù)據(jù)縮減部13a·13b·13c的選擇器17a·17b·17c輸出的圖像數(shù)據(jù)被輸入該立體化處理部18及選擇器19中。
立體化處理部18對在縮減運算部16a·16b·16c中進行了縮減運算的縮減圖像數(shù)據(jù)進行組合，生成立體圖像數(shù)據(jù)。
選擇器19選擇在立體化處理部18中生成的立體圖像數(shù)據(jù)、以及從圖像數(shù)據(jù)縮減部13a·13b·13c的選擇器17a·17b·17c輸出的三個圖像數(shù)據(jù)中預(yù)定的一個圖像數(shù)據(jù)(代表性的圖像數(shù)據(jù))中的一方，輸出給圖像顯示裝置12。在選擇器19中選擇哪一方，要根據(jù)顯示切換控制部15的控制而定。
另外，由選擇器19進行的選擇和由選擇器17a·17b·17c進行的選擇在顯示切換控制部15的控制的基礎(chǔ)上聯(lián)系在一起，選擇器19在選擇立體圖像數(shù)據(jù)時，選擇器17a·17b·17c選擇縮減圖像數(shù)據(jù)，選擇器19在選擇代表性的圖像數(shù)據(jù)時，選擇器17a·17b·17c選擇未縮減的輸入圖像數(shù)據(jù)。
因此，選擇器19在選擇代表性的圖像數(shù)據(jù)時，從選擇器19輸出的圖像數(shù)據(jù)是未縮減的三個輸入圖像數(shù)據(jù)中的某一個，它是平面圖像數(shù)據(jù)。另外，平面圖像數(shù)據(jù)不必是輸入圖像數(shù)據(jù)本身，例如也可以是對輸入圖像數(shù)據(jù)進行了通常的圖像處理的數(shù)據(jù)。也就是說，平面圖像數(shù)據(jù)是用三個輸入圖像數(shù)據(jù)中的某一個生成的數(shù)據(jù)即可。
顯示切換控制部15根據(jù)來自使用者的立體圖像顯示/平面圖像顯示的切換的指示，如上所述控制選擇器17及選擇器19的選擇。使用者通過操作圖中未示出的顯示切換輸入裝置，來自使用者的立體圖像顯示/平面圖像顯示的切換的指示被從該切換輸入裝置輸送給顯示切換控制部15。
因此，顯示切換控制部15具有作為切換單元的功能，即作為從圖像處理裝置1a的輸出，輸出在立體化處理部18中生成的立體圖像數(shù)據(jù)、或者輸出用多個輸入圖像數(shù)據(jù)中的某一個生成的平面圖像數(shù)據(jù)，而對上述的輸出進行切換。
另外，在輸出平面圖像數(shù)據(jù)的情況下，通過顯示切換控制部15的控制，也能用選擇器19切換使用由攝像裝置11a·11b·11c中的哪一個裝置拍攝的輸入圖像數(shù)據(jù)。
以下，作為一例，說明如圖2所示，圖像攝像顯示系統(tǒng)1備有兩個攝像裝置11a·11b，用該兩個攝像裝置11a·11b分別拍攝右眼用及左眼用的視差像，由此進行立體圖像顯示的情況，也就是說進行兩眼式的立體圖像顯示的情況。
首先，說明兩眼式的立體圖像顯示的原理。圖3及圖4中示出了圖像顯示裝置12與使用者的關(guān)系。
圖3是作為圖像顯示裝置12使用了視差屏障方式的顯示裝置的情況。該圖像顯示裝置12在液晶顯示元件20的顯示面前方，配置有多個開口部21a...的視差屏障21，在該視差屏障21前方的特定的區(qū)域中，使得使用者的右眼ER及左眼EL只能看到各自對應(yīng)的圖像。
為此，將作為右眼用的圖像的Ri、Rj、Rk、Rl、Rm、以及作為左眼用的圖像的Li、Lj、Lk、Ll、Lm交替地配置在液晶顯示元件20中，通過視差屏障21看到它，從而實現(xiàn)使得使用者的左右眼只能看到各自對應(yīng)的圖像。
例如，由于在Ri的圖像與使用者的右眼ER的連線(實線)上有視差屏障21的開口部21a，所以使用者能用右眼ER看到Ri的圖像。另一方面，由于在Ri的圖像與使用者的左眼EL的連線(虛線)上沒有開口部21a，所以使用者的左眼EL看不到Ri。因此，使用者即使不戴眼鏡等裝置，也能使左右眼只看到各自的圖像。
另外，圖4是作為圖像顯示裝置12使用雙凸透鏡方式的顯示裝置的情況。該圖像顯示裝置12在液晶顯示元件20的顯示面前方配置雙凸透鏡22，在雙凸透鏡22前方的特定的區(qū)域中，使得使用者的右眼ER及左眼EL只能看到各自對應(yīng)的圖像。
為此，將作為右眼用的圖像的Ri、Rj、Rk、Rl、Rm、以及作為左眼用的圖像的Li、Lj、Lk、Ll、Lm交替地配置在液晶顯示元件20中，通過雙凸透鏡22看到它，從而實現(xiàn)使得使用者的左右眼只能看到各自對應(yīng)的圖像。
雙凸透鏡22有對右眼用的圖像及左眼用的圖像的一組分配一個透鏡22a的單位結(jié)構(gòu)，該單位結(jié)構(gòu)是重復(fù)的結(jié)構(gòu)。利用該透鏡22a，例如從Rk發(fā)出的光在透鏡22a中折射后只入射到使用者的右眼ER中，從Lk發(fā)出的光在透鏡22a中折射后只入射到使用者的左眼EL中。因此，使用者即使不戴眼鏡等裝置，也能使左右眼只看到各自的圖像。
這樣，在視差屏障方式及雙凸透鏡方式的任何一種方式中，都能在液晶顯示元件20中在每一列中交替地顯示右眼用的圖像和左眼用的圖像。另外，在一般的n眼式的立體圖像顯示的情況下，作為現(xiàn)有的技術(shù)，已根據(jù)圖19至圖21進行了說明。
根據(jù)圖2至圖5說明利用圖像處理裝置1a生成進行這樣的顯示用的立體圖像數(shù)據(jù)的方法。進行立體圖像顯示時，圖像數(shù)據(jù)沿著圖2中的實線部分流動進行處理。這時，不用選擇器選擇圖2中的虛線部分的圖像數(shù)據(jù)流。另外，圖5表示在攝像裝置11至圖像顯示裝置12之間圖像數(shù)據(jù)變化的形態(tài)。
由攝像裝置11a·11b拍攝的分辨率為橫向w條×縱向h條(w、h為正整數(shù))的輸入圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)縮減部13a·13b中，便在各自的縮減運算部16a·16b中只沿橫向縮減到1/2，變成分辨率為橫向v(＝w/2)條×縱向h條的縮減圖像數(shù)據(jù)，通過各自的選擇器17a·17b，輸出給圖像數(shù)據(jù)立體化部14。這些縮減圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)立體化部14中，便在立體化處理部18中各自的列交替地排列組合，變換成立體圖像數(shù)據(jù)，以便成為適合于圖像顯示裝置12的格式。被變換成的立體圖像數(shù)據(jù)通過選擇器19，輸出給圖像顯示裝置12進行立體圖像顯示。這里，假設(shè)圖像顯示裝置12的分辨率為橫向w條×縱向h條，立體圖像數(shù)據(jù)的數(shù)據(jù)尺寸也為橫向w條×縱向h條。
在圖5中，“Rij”表示從右眼用的攝像裝置11a輸送的輸入圖像數(shù)據(jù)中的i行j列的像素的數(shù)據(jù)，“Lij”表示從左眼用的攝像裝置11b輸送的輸入圖像數(shù)據(jù)中的i行j列的像素的數(shù)據(jù)。之所以用“R’ij”、“L’ij”表示通過了圖像數(shù)據(jù)縮減部13a·13b后縮減圖像數(shù)據(jù)中的像素的數(shù)據(jù)，是因為通過縮減運算，各像素的數(shù)據(jù)變成與輸入圖像數(shù)據(jù)的值不同的值的緣故。
在本圖像處理裝置1a中的縮減運算部16中的縮減運算只是圖像的橫向縮減，縱向不縮減，所以與通常的縮減運算電路相比，能使運算電路的規(guī)模變小。
其次，用圖6說明進行平面圖像顯示時的圖像數(shù)據(jù)流。這里，作為一例，設(shè)想用攝像裝置11b拍攝的輸入圖像數(shù)據(jù)進行平面圖像顯示的情況。
進行平面圖像顯示時，圖像數(shù)據(jù)沿著圖6中的實線部分流動進行處理。這時，不用選擇器選擇圖6中的虛線部分的圖像數(shù)據(jù)流。另外，不使用用虛線表示的塊。
由攝像裝置11b拍攝的分辨率為橫向w條×縱向h條的輸入圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)縮減部13b中，便以原來的分辨率通過選擇器17而被輸出。然后，一旦進入圖像數(shù)據(jù)立體化部14，則不進入立體化處理部18而通過選擇器19輸出給圖像顯示裝置12進行平面圖像顯示。
這時，不用選擇器19選擇攝像裝置11a的輸入圖像數(shù)據(jù)，用攝像裝置11b的輸入圖像數(shù)據(jù)進行平面圖像顯示。在對攝像裝置11a拍攝的圖像進行平面圖像顯示的情況下，利用顯示切換控制部15進行切換，以便由選擇器19選擇的圖像數(shù)據(jù)變成圖像數(shù)據(jù)縮減部13a的輸出即可。因此，在兩個攝像裝置11a·11b中，任意一個攝像裝置拍攝的圖像都能進行平面圖像顯示。
這樣，本實施形態(tài)的圖像攝像顯示系統(tǒng)1備有n個攝像裝置11；對用該攝像裝置11取入的各自的圖像數(shù)據(jù)進行立體圖像顯示時，沿橫向縮減到1/n，進行平面圖像顯示時不進行任何處理的n個圖像數(shù)據(jù)縮減部13；進行立體圖像顯示時，使來自各自的圖像數(shù)據(jù)縮減部13的圖像數(shù)據(jù)立體化后傳送給后一級，進行平面圖像顯示時，只將來自一個圖像數(shù)據(jù)縮減部13的圖像數(shù)據(jù)傳送給后一級的圖像數(shù)據(jù)立體化部14；有與攝像裝置11相同的分辨率，能進行立體圖像顯示及平面圖像顯示的圖像顯示裝置12；以及控制進行立體圖像顯示及平面圖像顯示兩者中的哪一種顯示的顯示切換控制部15。
在本實施形態(tài)的圖像攝像顯示系統(tǒng)1中，對應(yīng)于輸入圖像數(shù)據(jù)的數(shù)目，備有多個縮減運算部16。在該結(jié)構(gòu)中，能同時并行地進行對多個輸入圖像數(shù)據(jù)的縮減運算。由此，在由立體化處理部18進行的處理中，不用要求大容量的幀存儲器等，就能生成立體圖像數(shù)據(jù)。因此，能簡化立體化處理部18的裝置結(jié)構(gòu)。
另外，在圖像處理裝置1a中，不一定必須使用全部n個攝像裝置11的圖像數(shù)據(jù)進行立體圖像顯示，也可以有選擇地使用任意的m(2≤m＜n)個。也就是說，在輸入圖像數(shù)據(jù)的數(shù)目為n的情況下，圖像數(shù)據(jù)立體化部14也可以通過將n個輸入圖像數(shù)據(jù)中的m個輸入圖像數(shù)據(jù)所對應(yīng)的縮減圖像數(shù)據(jù)組合起來，生成立體圖像數(shù)據(jù)。因此，能利用從被輸入的輸入圖像數(shù)據(jù)中選擇的規(guī)定數(shù)目的輸入圖像數(shù)據(jù)所對應(yīng)的縮減圖像數(shù)據(jù)，生成立體圖像數(shù)據(jù)。
根據(jù)圖7至圖14，說明本發(fā)明的第二實施形態(tài)如下。
圖7表示本實施形態(tài)的圖像攝像顯示系統(tǒng)2的塊結(jié)構(gòu)。該圖像攝像顯示系統(tǒng)2備有攝像裝置11a·11b·11c、圖像顯示裝置12、以及圖像處理裝置2a。另外，攝像裝置11a·11b·11c及圖像顯示裝置12具有與在實施形態(tài)1中說明過的符號相同的構(gòu)件同樣的功能。
在本實施形態(tài)中，圖像處理裝置2a的結(jié)構(gòu)與實施形態(tài)1的圖像處理裝置1a不同。圖像處理裝置2a備有圖像數(shù)據(jù)縮減部23、圖像數(shù)據(jù)立體化部24、以及顯示切換控制部15。另外，顯示切換控制部15是具有與在實施形態(tài)1中說明過的符號相同的構(gòu)件同樣功能的構(gòu)件。另外，圖像數(shù)據(jù)縮減部23及圖像數(shù)據(jù)立體化部24相當(dāng)于實施形態(tài)1的圖像數(shù)據(jù)縮減部13及圖像數(shù)據(jù)立體化部14，但其結(jié)構(gòu)、功能則有如下不同。
圖像數(shù)據(jù)縮減部23不設(shè)置在每個攝像裝置11a·11b·11c中，而是對全部攝像裝置11a·11b·11c設(shè)置一個。因此，從各個攝像裝置11a·11b·11c輸入給圖像處理裝置2a的輸入圖像數(shù)據(jù)全部進入圖像數(shù)據(jù)縮減部23中。
圖像數(shù)據(jù)縮減部23除了縮減運算部16、選擇器17以外，還備有選擇器31。另外，縮減運算部16及選擇器17分別具有與實施形態(tài)1的縮減運算部16a·16b·16c中的某一個、以及選擇器17a·17b·17c中的某一個相同的功能。選擇器31具有對來自攝像裝置11a·11b·11c的輸入圖像數(shù)據(jù)依次進行切換并傳送給縮減運算部16及選擇器17的功能。
利用該結(jié)構(gòu)，在圖像數(shù)據(jù)縮減部23中，在時間上切換進行用縮減運算部16對從攝像裝置11a·11b·11c輸送的各輸入圖像數(shù)據(jù)的縮減運算，分時輸出對應(yīng)于各輸入圖像數(shù)據(jù)的縮減圖像數(shù)據(jù)。也就是說，在縮減運算部16中，例如，如果來自攝像裝置11a的輸入圖像數(shù)據(jù)的縮減結(jié)束，便將該縮減圖像數(shù)據(jù)傳送給后一級，再進行來自下一個攝像裝置11b的輸入圖像數(shù)據(jù)的處理，使上述處理反復(fù)進行n次，n是攝像裝置的個數(shù)。
為此，用選擇器31依次選擇將分別來自攝像裝置11a·11b·11c的哪一個輸入圖像數(shù)據(jù)傳送給后一級。另外，選擇器31傳送未進行縮減運算的輸入圖像數(shù)據(jù)時，依次選擇將哪一個輸入圖像數(shù)據(jù)傳送給后一級。
圖像數(shù)據(jù)立體化部24除了立體化處理部28、選擇器19以外，還備有幀存儲器32。另外，選擇器19具有與實施形態(tài)1的選擇器19大致相同的功能。
立體化處理部28是相當(dāng)于實施形態(tài)1的立體化處理部18的構(gòu)件，但將在縮減運算部16中進行了縮減運算的縮減圖像數(shù)據(jù)組合起來、生成立體圖像數(shù)據(jù)時，使用幀存儲器32，這一點與實施形態(tài)1的情況不同。即，在立體化處理部28中，將從縮減運算部16傳送的分時的縮減圖像數(shù)據(jù)依次存儲在幀存儲器32中，一邊復(fù)原，一邊生成立體圖像數(shù)據(jù)。因此，幀存儲器32有能存儲對應(yīng)于圖像顯示裝置12的分辨率的立體圖像數(shù)據(jù)的容量。
也就是說，在立體化處理部28中使縮減圖像數(shù)據(jù)立體化的情況下，與來自各攝像裝置11a·11b·11c的輸入圖像數(shù)據(jù)對應(yīng)的縮減圖像數(shù)據(jù)被依次傳送給立體化處理部28，所以立體化處理部28一邊將這些縮減圖像數(shù)據(jù)存儲在幀存儲器32中，一邊形成立體圖像數(shù)據(jù)。然后，如果從圖像數(shù)據(jù)縮減部23傳送來的沿橫向被縮減到1/n的n個縮減圖像數(shù)據(jù)的傳送結(jié)束，則在該時刻完成立體圖像數(shù)據(jù)，該立體圖像數(shù)據(jù)通過選擇器19被傳送給圖像顯示裝置12。
以下，作為一例，如圖8所示，圖像攝像顯示系統(tǒng)2備有兩個攝像裝置11a·11b，用該兩個攝像裝置11a·11b分別拍攝右眼用及左眼用的視差像，據(jù)此說明進行立體圖像顯示的情況，也就是說進行兩眼式的立體圖像顯示的情況。
進行立體圖像顯示時，圖像數(shù)據(jù)沿著圖8中的實線部分流動進行處理。這時，不用選擇器選擇圖8中的虛線部分的圖像數(shù)據(jù)流。另外，在圖9至圖13中按照時間序列表示在攝像裝置11至圖像顯示裝置12之間圖像數(shù)據(jù)變化的形態(tài)。
另外，在圖9至圖13中，“Rij”表示從右眼用的攝像裝置11a輸送的輸入圖像數(shù)據(jù)中的i行j列的像素的數(shù)據(jù)，“Lij”表示從左眼用的攝像裝置11b輸送的輸入圖像數(shù)據(jù)中的i行j列的像素的數(shù)據(jù)。之所以用“R’ij”、“L’ij”表示通過了圖像數(shù)據(jù)縮減部23后縮減圖像數(shù)據(jù)中的像素的數(shù)據(jù)，是因為通過縮減運算，各像素的數(shù)據(jù)變成與輸入圖像數(shù)據(jù)的值不同的值的緣故。
由攝像裝置11a·11b拍攝的分辨率為橫向w條×縱向h條的輸入圖像數(shù)據(jù)，最初由選擇器31選擇攝像裝置11a的輸入圖像數(shù)據(jù)(參照圖9)，進入圖像數(shù)據(jù)縮減部23中，在縮減運算部16中只沿橫向縮減到1/2，變成分辨率為橫向v(＝w/2)條×縱向h條的縮減圖像數(shù)據(jù)，通過選擇器17(圖9中未示出)，輸出給圖像數(shù)據(jù)立體化部24(參照圖10)。
其次，攝像裝置11b的輸入圖像數(shù)據(jù)被選擇器31選擇后進入圖像數(shù)據(jù)縮減部23中，進行與上述同樣的處理后，輸出縮減圖像數(shù)據(jù)(參照圖11)。
這些縮減圖像數(shù)據(jù)依次進入圖像數(shù)據(jù)立體化部24中，由立體化處理部28使各自的列交替地排列組合，保存在幀存儲器32中，以便成為適合于圖像顯示裝置12的格式。這樣處理后在全部縮減圖像數(shù)據(jù)被保存在幀存儲器32中的時刻，完成立體圖像數(shù)據(jù)(參照圖12)。該立體圖像數(shù)據(jù)通過選擇器19，被輸出給圖像顯示裝置12進行立體圖像顯示(參照圖13)。
本圖像處理裝置2a中的縮減運算部16中的縮減運算只是圖像的橫向縮減，縱向不縮減，所以與通常的縮減運算電路相比，能使運算電路的規(guī)模變小。
其次，用圖14說明進行平面圖像顯示時的圖像數(shù)據(jù)流。這里，作為一例，設(shè)想用攝像裝置11b拍攝的輸入圖像數(shù)據(jù)進行平面圖像顯示的情況。
進行平面圖像顯示時，圖像數(shù)據(jù)沿著圖14中的實線部分流動進行處理。這時，不用選擇器選擇圖14中的虛線部分的圖像數(shù)據(jù)流。另外，不使用用虛線表示的塊。
由攝像裝置11b拍攝的分辨率為橫向w條×縱向h條的輸入圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)縮減部23中，便以原來的分辨率通過選擇器31及選擇器17而被輸出。然后，一旦進入圖像數(shù)據(jù)立體化部24，則不進入立體化處理部28而通過選擇器19輸出給圖像顯示裝置12進行平面圖像顯示。
這時，不用選擇器31選擇攝像裝置11a的輸入圖像數(shù)據(jù)，用攝像裝置11b的輸入圖像數(shù)據(jù)進行平面圖像顯示。在對攝像裝置11a拍攝的圖像進行平面圖像顯示的情況下，利用顯示切換控制部15進行切換，以便由選擇器31選擇的輸入圖像數(shù)據(jù)變成攝像裝置11a的輸出即可。因此，在兩個攝像裝置11a·11b中，任意一個攝像裝置拍攝的圖像都能進行平面圖像顯示。
在本實施形態(tài)的圖像處理裝置2a中，與實施形態(tài)1的圖像處理裝置1a相比，不需要設(shè)置多個電路規(guī)模大的縮減運算部16，所以能縮小電路規(guī)模，能降低圖像處理裝置2a的成本及功耗。
這樣，本實施形態(tài)的圖像攝像顯示系統(tǒng)2備有n個攝像裝置11；對用該攝像裝置11取入的各自的圖像數(shù)據(jù)進行立體圖像顯示時，沿橫向縮減到1/n，進行平面圖像顯示時不進行任何處理的n個圖像數(shù)據(jù)縮減部23；進行立體圖像顯示時，一邊使用幀存儲器，一邊使來自圖像數(shù)據(jù)縮減部23的圖像數(shù)據(jù)立體化后傳送給后一級，進行平面圖像顯示時，只將來自一個攝像裝置11的圖像數(shù)據(jù)傳送給后一級的圖像數(shù)據(jù)立體化部24；有與攝像裝置11相同的分辨率，能進行立體圖像顯示及平面圖像顯示的圖像顯示裝置12；以及控制進行立體圖像顯示及平面圖像顯示兩者中的哪一種顯示的顯示切換控制部15。
在本實施形態(tài)的圖像攝像顯示系統(tǒng)2中，縮減運算部16在時間上切換進行對多個輸入圖像數(shù)據(jù)的縮減運算，分時輸出對應(yīng)于各輸入圖像數(shù)據(jù)的各縮減圖像數(shù)據(jù)。在該結(jié)構(gòu)中，能用一個縮減運算部16在時間上切換進行對多個輸入圖像數(shù)據(jù)的縮減運算。因此，沒有必要對應(yīng)于輸入圖像數(shù)據(jù)的數(shù)目設(shè)置多個縮減運算部16，能減少縮減運算部16的個數(shù)。
根據(jù)圖15說明本發(fā)明的第三實施形態(tài)如下。
在本實施形態(tài)中，作為縮減運算部16中的縮減運算，說明采用相間運算的情況。另外，進行本實施形態(tài)中說明的運算用的裝置結(jié)構(gòu)也可以是實施形態(tài)1、2中的任何一種結(jié)構(gòu)。這里，以實施形態(tài)1的裝置結(jié)構(gòu)為前提進行說明。
圖15表示在攝像裝置11至圖像顯示裝置12之間圖像數(shù)據(jù)變化的形態(tài)，對應(yīng)于實施形態(tài)1的圖5。
由攝像裝置11a·11b拍攝的分辨率為橫向w條×縱向h條的輸入圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)縮減部13a·13b中，便在各自的縮減運算部16a·16b中只沿橫向縮減到1/2，變成分辨率為橫向v(＝w/2)條×縱向h條的縮減圖像數(shù)據(jù)，通過各自的選擇器17a·17b，輸出給圖像數(shù)據(jù)立體化部14。
作為該縮減運算部16a·16b中的縮減運算，進行單純的數(shù)據(jù)間插，例如只將由第奇數(shù)列的數(shù)據(jù)構(gòu)成的數(shù)據(jù)作成縮減圖像數(shù)據(jù)。在此情況下，第偶數(shù)列的數(shù)據(jù)不被用于立體圖像顯示。
而且，這些縮減圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)立體化部14中，便在立體化處理部18中將各自的列交替地排列組合，變換成立體圖像數(shù)據(jù)，以便成為適合于圖像顯示裝置12的格式。被變換成的立體圖像數(shù)據(jù)通過選擇器19輸出給圖像顯示裝置12進行立體圖像顯示。這里，假設(shè)圖像顯示裝置12的分辨率為橫向w條×縱向h條，立體圖像數(shù)據(jù)的數(shù)據(jù)尺寸也為橫向w條×縱向h條。
因此，縮減運算部16中的縮減運算量減少，所以能實現(xiàn)電路規(guī)模小、功耗低的圖像處理裝置1a。
根據(jù)圖16說明本發(fā)明的第四實施形態(tài)如下。
在本實施形態(tài)中，作為縮減運算部16中的縮減運算，能沿縱向及橫向兩個方向以任意的縮減率進行縮減；以及在圖像顯示裝置12的分辨率為橫向w條×縱向h條的情況下，攝像裝置11的分辨率具有比橫向w/n條×縱向h條高的分辨率，以上兩點與實施形態(tài)1、2的情況不同。這里，n是立體圖像顯示中用的輸入圖像數(shù)據(jù)的數(shù)目。
另外，進行本實施形態(tài)中說明的運算用的裝置結(jié)構(gòu)，也可以是實施形態(tài)1、2中的任何一種結(jié)構(gòu)。這里，以實施形態(tài)1的裝置結(jié)構(gòu)為前提進行說明。
圖16表示在攝像裝置11至圖像顯示裝置12之間圖像數(shù)據(jù)變化的形態(tài)，對應(yīng)于實施形態(tài)1的圖5。這里，假設(shè)攝像裝置11a·11b的分辨率分別為橫向x條×縱向y條，圖像顯示裝置12的分辨率為橫向w條×縱向h條。
由攝像裝置11a·11b拍攝的分辨率為橫向x條×縱向y條的輸入圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)縮減部13a·13b中，便在各自的縮減運算部16a·16b中沿橫向縮減到w/(2×x)，沿縱向縮減到h/y，變成分辨率為橫向v(＝w/2)條×縱向h條的縮減圖像數(shù)據(jù)，通過各自的選擇器17a·17b，輸出給圖像數(shù)據(jù)立體化部14。這些縮減圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)立體化部14中，便在立體化處理部18中各自的列交替地排列組合，變換成立體圖像數(shù)據(jù)，以便成為適合于圖像顯示裝置12的格式。被變換成的立體圖像數(shù)據(jù)通過選擇器19輸出給圖像顯示裝置12進行立體圖像顯示。因此，立體圖像數(shù)據(jù)的數(shù)據(jù)尺寸為橫向w條×縱向h條。
這樣，在本實施形態(tài)的圖像處理裝置1a中，被輸入圖像處理裝置1a中的輸入圖像數(shù)據(jù)的數(shù)目為n，圖像顯示裝置12能進行分辨率為橫向w條×縱向h條的n眼式的立體圖像顯示，攝像裝置11具有比橫向w條×縱向h條高的分辨率。
這里，攝像裝置11的分辨率之所以需要比橫向w/n條×縱向h條高，是因為攝像裝置11的分辨率需要比縮減運算部16的輸出分辨率大的緣故。
在本實施形態(tài)中，使用具有與圖像顯示裝置12的分辨率不同的分辨率的攝像裝置11，能實現(xiàn)圖像攝像顯示系統(tǒng)。
根據(jù)圖17說明本發(fā)明的第五實施形態(tài)如下。
本實施形態(tài)除了在使用分辨率互相不同的攝像裝置11a和攝像裝置11b這一點與實施形態(tài)4不同以外，都與實施形態(tài)4相同。本實施形態(tài)中的裝置結(jié)構(gòu)雖然也可以是實施形態(tài)1、2中的任何一種結(jié)構(gòu)，但在這里，以實施形態(tài)1的裝置結(jié)構(gòu)為前提進行說明。
圖17表示在攝像裝置11至圖像顯示裝置12之間圖像數(shù)據(jù)變化的形態(tài)，對應(yīng)于實施形態(tài)4的圖16。這里，假設(shè)攝像裝置11a的分辨率為橫向p條×縱向q條，攝像裝置11的分辨率為橫向x條×縱向y條，圖像顯示裝置12的分辨率為橫向w條×縱向h條。
用攝像裝置11a拍攝的分辨率為橫向p條×縱向q條的輸入圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)縮減部13a中，便在縮減運算部16a中沿橫向縮減到w/(2×p)，沿縱向縮減到h/q，變成分辨率為橫向v(＝w/2)條×縱向h條的縮減圖像數(shù)據(jù)，通過選擇器17a，輸出給圖像數(shù)據(jù)立體化部14。
另一方面，用攝像裝置11b拍攝的分辨率為橫向x條×縱向y條的輸入圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)縮減部13b中，便在縮減運算部16b中沿橫向縮減到w/(2×x)，沿縱向縮減到h/y，變成分辨率為橫向v(＝w/2)條×縱向h條的縮減圖像數(shù)據(jù)，通過選擇器17b，輸出給圖像數(shù)據(jù)立體化部14。
這些縮減圖像數(shù)據(jù)一旦進入圖像數(shù)據(jù)立體化部14中，便在立體化處理部18中各自的列交替地排列組合，變換成立體圖像數(shù)據(jù)，以便成為適合于圖像顯示裝置12的格式。被變換成的立體圖像數(shù)據(jù)通過選擇器19輸出給圖像顯示裝置12進行立體圖像顯示。因此，立體圖像數(shù)據(jù)的數(shù)據(jù)尺寸為橫向w條×縱向h條。
根據(jù)圖18說明本發(fā)明的第六實施形態(tài)如下。
用硬件也可以實現(xiàn)實施形態(tài)1～5中的圖像處理裝置1a·2a，也可以通過將圖像處理程序讀入計算機中，使計算機作為圖像處理裝置1a·2a進行工作。在本實施形態(tài)中，根據(jù)圖18說明后一種情況的硬件結(jié)構(gòu)。
本實施形態(tài)的圖像攝像顯示系統(tǒng)4備有攝像裝置11a·11b·11c、圖像顯示裝置12、顯示切換輸入裝置45、以及圖像處理裝置4a。另外，攝像裝置11a·11b·11c及圖像顯示裝置12具有與在實施形態(tài)1、2中說明過的符號相同的構(gòu)件同樣的功能。
在本實施形態(tài)中，圖像處理裝置4a由備有CPU41(中央處理裝置)、存儲器42、輸入輸出裝置43、以及總線44的計算機構(gòu)成。
在該圖像處理裝置4a中，通過讀入圖像處理程序，在CPU41中構(gòu)成圖1所示的圖像數(shù)據(jù)縮減部13、圖像數(shù)據(jù)立體化部14、顯示切換控制部15、或圖7所示的圖像數(shù)據(jù)縮減部23、圖像數(shù)據(jù)立體化部24、顯示切換控制部15。這里，用存儲器42構(gòu)成圖2中的幀存儲器32。
另外，輸入輸出裝置43是對與攝像裝置11、或圖像顯示裝置12、顯示切換輸入裝置45之間的數(shù)據(jù)的輸入輸出進行中介的裝置。另外，總線44是CPU41與存儲器42及輸入輸出裝置43之間的數(shù)據(jù)傳輸線路。它們是通常的計算機所具有的結(jié)構(gòu)構(gòu)件。
另外，顯示切換輸入裝置45雖然在圖1、圖2中未示出，但它是根據(jù)使用者的操作，將立體圖像顯示/平面圖像顯示的切換指令授予顯示切換控制部15的裝置。
在該圖像處理裝置4a中，在進行立體圖像顯示的情況下，CPU41經(jīng)由輸入輸出裝置43及總線44，讀出從攝像裝置11a·11b·11c輸入的輸入圖像數(shù)據(jù)，用存儲器42進行圖像的縮減及立體化，生成立體圖像數(shù)據(jù)。然后，再經(jīng)由總線44及輸入輸出裝置43，將所生成的立體圖像數(shù)據(jù)輸送給圖像顯示裝置12。
另外，在用圖像處理裝置4a進行平面圖像顯示的情況下，CPU41經(jīng)由輸入輸出裝置43及總線44，讀出從攝像裝置11a·11b·11c輸入的輸入圖像數(shù)據(jù)，根據(jù)需要，用存儲器42進行縮減后，作為平面圖像數(shù)據(jù)再經(jīng)由總線44及輸入輸出裝置43，輸送給圖像顯示裝置12。
CPU41根據(jù)來自顯示切換輸入裝置45的輸入，判斷它們是進行立體圖像顯示、還是進行平面圖像顯示？另外，上述圖像處理程序也可以從記錄了該圖像處理程序的記錄介質(zhì)供給圖像處理裝置4a，也可以構(gòu)成為能連接通信網(wǎng)絡(luò)(包括因特網(wǎng)、內(nèi)部網(wǎng)等)和圖像處理裝置4a，通過該通信網(wǎng)絡(luò)供給圖像處理裝置4a。
記錄圖像處理程序的記錄介質(zhì)既可以構(gòu)成為能與圖像處理裝置4a分離，也可以組裝在圖像處理裝置4a中。為了使計算機能直接讀取所記錄的程序碼，該記錄介質(zhì)既可以安裝在圖像處理裝置4a中，也可以作為外部存儲裝置來安裝，以便能通過連接在圖像處理裝置4a上的程序讀取裝置進行讀取。
例如，作為上述記錄介質(zhì)，能使用磁帶或盒式磁帶等帶系介質(zhì)、包括軟盤/硬盤等磁盤或CD-ROM/MO/MD/DVD/CD-R等光盤的盤系介質(zhì)、IC卡(包括存儲卡)/光卡等卡系介質(zhì)、或者掩模ROM/EPROM/EEPROM/閃速ROM等半導(dǎo)體存儲器系介質(zhì)等。
另外，上述程序碼也可以通過通信網(wǎng)絡(luò)供給。作為該通信網(wǎng)絡(luò)，不作特別限定，能適當(dāng)?shù)丶右赃x擇。另外，作為構(gòu)成該通信網(wǎng)絡(luò)的傳輸介質(zhì)，不作特別限定，能適當(dāng)?shù)丶右赃x擇。另外，也能通過以電子方式傳輸上述程序碼而體現(xiàn)的載波或數(shù)據(jù)信號串的形態(tài)來實現(xiàn)本發(fā)明。
以上，如在實施形態(tài)1～6中所述，本發(fā)明的圖像處理裝置(圖像處理裝置1a·2a·4a)備有對與存在視差像的相互關(guān)系的多個圖像對應(yīng)的多個輸入圖像數(shù)據(jù)，進行使各自的圖像沿橫向縮減用的縮減運算的縮減運算單元(縮減運算部16a·16b·16c，即縮減運算部16)；通過將在該縮減運算單元中進行了縮減運算的縮減圖像數(shù)據(jù)組合起來，生成立體圖像數(shù)據(jù)的立體化處理單元(立體化處理部18·28)；以及作為來自該圖像處理裝置的輸出，輸出在立體化處理單元中生成的立體圖像數(shù)據(jù)，或輸出用多個輸入圖像數(shù)據(jù)中的某個數(shù)據(jù)生成的平面圖像數(shù)據(jù)，而對上述的輸出進行切換的切換單元(顯示切換控制部15)。
在上述構(gòu)成的圖像處理裝置中，例如通過用多個通常的攝像裝置11拍攝有視差像的相互關(guān)系的多個圖像，輸入各自的輸入圖像數(shù)據(jù)，能切換立體圖像顯示用的立體圖像數(shù)據(jù)與平面圖像顯示用的平面圖像數(shù)據(jù)并輸出給圖像顯示裝置12。
即，在進行立體圖像顯示的情況下，通過由縮減運算單元沿橫向縮減輸入圖像數(shù)據(jù)，生成縮減圖像數(shù)據(jù)，由立體化處理單元對該縮減圖像數(shù)據(jù)進行組合，能生成立體圖像數(shù)據(jù)。另一方面，在進行平面圖像顯示的情況下，用輸入圖像數(shù)據(jù)的任何數(shù)據(jù)，都能生成平面圖像數(shù)據(jù)。能用切換單元切換輸出立體圖像數(shù)據(jù)與平面圖像數(shù)據(jù)兩方中的哪一方。
因此，能用同一個裝置結(jié)構(gòu)實現(xiàn)立體圖像顯示和平面圖像顯示，同時例如能根據(jù)由使用者進行的顯示切換的指令，簡單地切換立體圖像顯示與平面圖像顯示。
另外，本發(fā)明的圖像攝像系統(tǒng)備有上述的圖像處理裝置；以及將通過存在視差像的相互關(guān)系的多個圖像的拍攝獲得的多個輸入圖像數(shù)據(jù)輸入上述圖像處理裝置中的攝像單元(攝像裝置11a·11b·11c)。另外，本發(fā)明的圖像顯示系統(tǒng)備有上述的圖像處理裝置；以及根據(jù)從該圖像處理裝置輸出的立體圖像數(shù)據(jù)及平面圖像數(shù)據(jù)，能進行立體圖像顯示及平面圖像顯示的顯示單元(圖像顯示裝置12)。
本發(fā)明并不限定于上述的各實施形態(tài)，在權(quán)利要求所述的范圍內(nèi)能進行種種變更，將不同的實施形態(tài)中分別公開的技術(shù)方法適當(dāng)?shù)亟M合起來獲得的實施形態(tài)也包括在本發(fā)明的技術(shù)范圍內(nèi)。
在發(fā)明的詳細的說明事項中說明的具體的實施形態(tài)或?qū)嵤├吘故顷U明本發(fā)明的技術(shù)內(nèi)容的例子，不應(yīng)狹義地解釋為只限定于這樣的具體例子，在本發(fā)明的宗旨和下面記載的權(quán)利要求范圍內(nèi)，能進行種種變更而付諸實施。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，備有對與存在視差像的相互關(guān)系的多個圖像對應(yīng)的多個輸入圖像數(shù)據(jù)，進行使各自的圖像沿橫向縮減用的縮減運算的縮減運算單元(16a、16b、16c，16)；通過將在上述縮減運算單元中進行了縮減運算的縮減圖像數(shù)據(jù)組合起來，生成立體圖像數(shù)據(jù)的立體化處理單元(18、28)；以及作為來自該圖像處理裝置的輸出，輸出在上述立體化處理單元中生成的立體圖像數(shù)據(jù)，或輸出用上述多個輸入圖像數(shù)據(jù)中的某個數(shù)據(jù)生成的平面圖像數(shù)據(jù)，而對上述的輸出進行切換的切換單元(15)。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于對應(yīng)于上述輸入圖像數(shù)據(jù)的數(shù)目，備有多個上述縮減運算單元。
3.如權(quán)利要求2所述的圖像處理裝置，其特征在于備有在上述各縮減運算單元的后級、而且在上述立體化處理單元的前級中，對應(yīng)于上述各縮減運算單元分別設(shè)置、從被輸入前級的縮減運算單元中的輸入圖像數(shù)據(jù)和從前級的縮減運算單元輸出的縮減圖像數(shù)據(jù)中選擇一方并輸出的多個第一選擇器(17a、17b、17c)；以及設(shè)置在上述多個第一選擇器的后級、而且在上述立體化處理單元的后級中，從上述立體化處理單元輸出的立體圖像數(shù)據(jù)和從上述多個第一選擇器分別輸出的多個輸入圖像數(shù)據(jù)中選擇某一個數(shù)據(jù)并輸出的第二選擇器(19)，上述切換單元控制上述第一及第二選擇器的選擇。
4.如權(quán)利要求1所述的圖像處理裝置，其特征在于上述縮減運算單元通過在時間上切換進行對各上述多個輸入圖像數(shù)據(jù)的縮減運算，分時地輸出對應(yīng)于上述各輸入圖像數(shù)據(jù)的各縮減圖像數(shù)據(jù)。
5.如權(quán)利要求4所述的圖像處理裝置，其特征在于備有設(shè)置在上述縮減運算單元的后級、而且在上述立體化處理單元的前級中，從被輸入前級的縮減運算單元中的輸入圖像數(shù)據(jù)和從前級的縮減運算單元輸出的縮減圖像數(shù)據(jù)中選擇一方并輸出的第三選擇器(17)；設(shè)置在上述縮減運算單元的前級、而且在上述第三選擇器的前級中，在時間上依次切換選擇上述多個輸入圖像數(shù)據(jù)后，輸出給上述縮減運算單元及上述第三選擇器的第四選擇器(31)；以及設(shè)置在上述第三選擇器的后級、而且在上述立體化處理單元的后級中，從上述立體化處理單元輸出的立體圖像數(shù)據(jù)和從上述第三選擇器輸出的輸入圖像數(shù)據(jù)中選擇一方并輸出的第五選擇器(19)，上述切換單元控制上述第三至第五選擇器的選擇。
6.如權(quán)利要求4所述的圖像處理裝置，其特征在于上述立體化處理部為了將縮減圖像數(shù)據(jù)組合起來，上述立體化處理部備有存儲圖像數(shù)據(jù)的幀存儲器(32)。
7.如權(quán)利要求1所述的圖像處理裝置，其特征在于由上述縮減運算單元進行的縮減運算是對上述輸入圖像數(shù)據(jù)的數(shù)據(jù)相間運算。
8.如權(quán)利要求1所述的圖像處理裝置，其特征在于上述輸入圖像數(shù)據(jù)的數(shù)目為n(n為2以上的整數(shù))，上述立體化處理單元對與上述n個輸入圖像數(shù)據(jù)中的m個(m為2以上、而且小于n的整數(shù))輸入圖像數(shù)據(jù)對應(yīng)的縮減圖像數(shù)據(jù)進行組合，生成上述立體圖像數(shù)據(jù)。
9.一種圖像攝像系統(tǒng)，其特征在于，備有權(quán)利要求1所述的圖像處理裝置(1a、2a)；以及將通過存在視差像的相互關(guān)系的多個圖像的拍攝獲得的多個輸入圖像數(shù)據(jù)輸入上述圖像處理裝置中的攝像單元(11a、11b、11c)。
10.一種圖像顯示系統(tǒng)，其特征在于，備有權(quán)利要求1所述的圖像處理裝置；以及根據(jù)從上述圖像處理裝置輸出的立體圖像數(shù)據(jù)及平面圖像數(shù)據(jù)，能進行立體圖像顯示及平面圖像顯示的顯示單元(12)。
11.如權(quán)利要求10所述的圖像顯示系統(tǒng)，其特征在于上述顯示單元是視差屏障方式的立體圖像顯示裝置。
12.如權(quán)利要求10所述的圖像顯示系統(tǒng)，其特征在于上述顯示單元是雙凸透鏡方式的立體圖像顯示裝置。
13.一種圖像攝像顯示系統(tǒng)，其特征在于，備有權(quán)利要求1所述的圖像處理裝置；將通過存在視差像的相互關(guān)系的多個圖像的拍攝獲得的多個輸入圖像數(shù)據(jù)輸入上述圖像處理裝置中的攝像單元；以及根據(jù)從上述圖像處理裝置輸出的立體圖像數(shù)據(jù)及平面圖像數(shù)據(jù)，能進行立體圖像顯示及平面圖像顯示的顯示單元。
14.如權(quán)利要求13所述的圖像攝像顯示系統(tǒng)，其特征在于上述攝像單元輸入的輸入圖像數(shù)據(jù)的數(shù)目為n(n為2以上的整數(shù))，上述顯示單元能進行有橫向w條×縱向h條(w、h為正整數(shù))分辨率的n眼式的立體圖像顯示，上述攝像單元有比橫向w/n條×縱向h條高的分辨率。
15.如權(quán)利要求14所述的圖像攝像顯示系統(tǒng)，其特征在于上述攝像單元對上述多個輸入圖像數(shù)據(jù)中的每一數(shù)據(jù)具有不同的分辨率。
全文摘要
本發(fā)明的課題是一種圖像處理裝置，備有對與存在視差像的相互關(guān)系的多個圖像對應(yīng)的多個輸入圖像數(shù)據(jù)，進行使各自的圖像沿橫向縮減用的縮減運算的縮減運算部；通過將在該縮減運算部中進行了縮減運算的縮減圖像數(shù)據(jù)組合起來，生成立體圖像數(shù)據(jù)的立體化處理部；以及作為來自圖像處理裝置的輸出，輸出在立體化處理部中生成的立體圖像數(shù)據(jù)，或輸出用上述多個輸入圖像數(shù)據(jù)中的某個數(shù)據(jù)生成的平面圖像數(shù)據(jù)，而對上述的輸出進行切換的顯示切換控制部。因此，在圖像處理裝置中，能切換并進行立體圖像顯示和平面圖像顯示。
文檔編號H04N13/00GK1532588SQ200410007650
公開日2004年9月29日 申請日期2004年2月27日 優(yōu)先權(quán)日2003年3月24日
發(fā)明者江澤正幸 申請人:夏普株式會社