專(zhuān)利名稱(chēng)：立體圖像處理方法和立體圖像顯示設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種能夠在不需要專(zhuān)用眼鏡的情況下執(zhí)行立體視覺(jué)的立體圖像顯示設(shè)備和立體圖像處理方法。
背景技術(shù)：
按照慣例，作為在不需要專(zhuān)用眼鏡的情況下實(shí)現(xiàn)立體圖像顯示的方法，視差屏障法、雙凸透鏡法等為大眾所知。在這些方法中，例如具有雙目視差的右眼圖像和左眼圖像以垂直條紋形狀相繼地被顯示在屏幕上，該顯示的圖像被視差屏障、雙凸透鏡等分隔，并且被引向觀察者的右眼和左眼的每一只眼睛，從而允許執(zhí)行立體視覺(jué)。
圖11所示為四視點(diǎn)型立體視覺(jué)系統(tǒng)的立體圖像顯示設(shè)備的原理描述圖。在圖11的水平方向上具有雙目視差的圖像①、圖像②、圖像③和圖像④以預(yù)定間距排成列，并且“圖像①、圖像②、圖像③和圖像④”的單位圖像組重復(fù)存在。圖像分隔裝置12的孔徑12a以這樣一種方式存在對(duì)應(yīng)于每個(gè)單位圖像組，并且分隔“圖像①、圖像②、圖像③和圖像④”即每個(gè)單位圖像組，以便作用于觀察者。
圖12顯示了七視點(diǎn)型立體圖像系統(tǒng)的點(diǎn)排列方式和被顯示的點(diǎn)數(shù)據(jù)。由圖12中的粗線包圍的21點(diǎn)的點(diǎn)簇合成一個(gè)象素組，三個(gè)針孔(開(kāi)口)與此相對(duì)應(yīng)，并且從特定觀察位置、同時(shí)看到合成視點(diǎn)1的左上象素的{1；11；R}、{1；11；G}和{1；11；B}三種顏色的點(diǎn)。在此，{i；jk；C}分別代表{視點(diǎn)；象素坐標(biāo)；顏色}。另外，依據(jù)觀察位置的移動(dòng)，關(guān)于相同象素坐標(biāo)11，應(yīng)該看到具有諸如{2；11；G}、{2；11；B}、{2；11；R}…的不同視點(diǎn)的象素。
在采用圖12(a)的點(diǎn)排列方式和被顯示點(diǎn)數(shù)據(jù)的立體圖像處理方法中，只有水平方向上的象素?cái)?shù)量要減少(降低)到1/7。這意味著象素的水平間距變成7倍大，使得水平間距與垂直間距之比值變成7。
如果將該概念應(yīng)用于使用其中針孔在傾斜方向上排成列的圖像分隔裝置(未顯示)的七視點(diǎn)型立體圖像顯示設(shè)備中，則如圖12(b)所示，來(lái)實(shí)現(xiàn)點(diǎn)排列方式和被顯示的點(diǎn)數(shù)據(jù)。雖然象素組的配置是相同的，但是象素組內(nèi)的視點(diǎn)號(hào)的排列改變了。在此，水平方向上的象素?cái)?shù)量也類(lèi)似地降低。在象這樣只在水平方向上存在視差的情況下，一般只要在水平方向上減少(降低)象素?cái)?shù)量。注意，作為其中多個(gè)針孔傾斜地布置的立體圖像顯示設(shè)備，專(zhuān)利申請(qǐng)No.3096613是周知的。
在一般圖像顯示設(shè)備中，一個(gè)象素由相鄰的紅、綠、藍(lán)三種顏色的點(diǎn)合成。在視差屏障系統(tǒng)中，以及在上述專(zhuān)利文獻(xiàn)中披露的如圖12所示的立體圖像顯示設(shè)備中，應(yīng)該合成相同象素的點(diǎn)要代表多個(gè)圖像，該多個(gè)圖像的每一個(gè)具有不同的視點(diǎn)。另外，如果視點(diǎn)數(shù)量增加了，則在合成每個(gè)視點(diǎn)的象素的點(diǎn)的組合中造成了不滿意之處，例如不可能防止水平方向的分辨率降低等。此外，在現(xiàn)有技術(shù)中，沒(méi)有提出適用于立體圖像顯示設(shè)備的圖像處理方法。

發(fā)明內(nèi)容
鑒于上述情況，本發(fā)明的目的是提供一種改進(jìn)的立體圖像處理方法和立體圖像顯示設(shè)備。
為解決上述難題，本發(fā)明的立體圖像處理方法是用于通過(guò)每個(gè)視點(diǎn)圖像從多個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的立體圖像處理方法，并且從每個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)，將這種數(shù)據(jù)的集合定義為象素組，以及設(shè)置象素組中的象素單元的布置，使得立體圖像顯示設(shè)備的屏幕上顯示的象素組的間距的縱橫比變得最接近1∶1。
關(guān)于上述配置，設(shè)置象素組中的象素單元的布置，使得立體圖像顯示設(shè)備的屏幕上顯示的象素組的間距的縱橫比變得最接近1∶1，從而導(dǎo)致合成每個(gè)視點(diǎn)的象素的點(diǎn)彼此接近等的適當(dāng)情形。另外，即使在視點(diǎn)數(shù)增加的情況下，也有可能減輕水平分辨率的降低，從而可以預(yù)期提高圖像質(zhì)量。
本發(fā)明的立體圖像處理方法是用于通過(guò)每個(gè)視點(diǎn)圖像從多個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的立體圖像處理方法，并且從每個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)，將這種數(shù)據(jù)的集合定義為象素組，以及設(shè)置象素組中的象素單元的布置，使得立體圖像顯示設(shè)備的屏幕上顯示的象素組的間距的縱橫比變成在1∶2至2∶1的范圍內(nèi)。
在這種配置中，也設(shè)置象素組中的象素單元的布置，使得立體圖像顯示設(shè)備的屏幕上顯示的象素組的間距的縱橫比變成在1∶2至2∶1的范圍內(nèi)，從而導(dǎo)致合成每個(gè)視點(diǎn)的象素的點(diǎn)彼此接近等的適當(dāng)情形。另外，即使在視點(diǎn)數(shù)增加的情況下，也有可能減輕水平分辨率的降低。
從每個(gè)視點(diǎn)圖像中提取的用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)可以?xún)A斜地布置在位圖上。另外，可以以這樣一種方式來(lái)提供從每個(gè)視點(diǎn)圖像中提取的用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)，以致使其在立體圖像顯示設(shè)備的屏幕上傾斜地排成列。此外，可以生成和提供視頻信號(hào)，使得從每個(gè)視點(diǎn)圖像中提取的用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)在立體圖像顯示設(shè)備的屏幕上傾斜地排成列。
有可能被顯示的象素?cái)?shù)為水平M×垂直N，視點(diǎn)數(shù)為L(zhǎng)，合成一個(gè)象素的點(diǎn)數(shù)為k，每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L×垂直N/k，以及通過(guò)每個(gè)視點(diǎn)圖像中的每個(gè)相應(yīng)圖像區(qū)來(lái)從每個(gè)視點(diǎn)圖像中提取必需點(diǎn)的數(shù)據(jù)。據(jù)此，雖然沒(méi)有將每個(gè)視點(diǎn)圖像的點(diǎn)的坐標(biāo)繼承到立體視覺(jué)用圖像，但是在每個(gè)視點(diǎn)圖像中沒(méi)有要廢棄的點(diǎn)，從而有可能消除生成不用圖像部分的浪費(fèi)。此外，有可能每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L×垂直N/k，并且這樣處理在圖像獲得系統(tǒng)中獲得的圖像，使得圖像縱橫比和被顯示的圖像的縱橫比一致，并獲得每個(gè)視點(diǎn)圖像。據(jù)此，有可能防止被顯示圖像的畸變。另外，有可能使圖像獲得系統(tǒng)的圖像縱橫比變得和被顯示的圖像的縱橫比一致，并獲得每個(gè)視點(diǎn)圖像。據(jù)此，有可能防止被顯示圖像的畸變。
有可能被顯示的象素?cái)?shù)為水平M×垂直N，視點(diǎn)數(shù)為L(zhǎng)，合成一個(gè)象素的點(diǎn)數(shù)為k，每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L×垂直N/k，對(duì)每個(gè)獲得的視點(diǎn)圖像進(jìn)行放大處理以使其變成水平M×垂直N，以及通過(guò)每個(gè)視點(diǎn)圖像中的每個(gè)相應(yīng)圖像區(qū)來(lái)從每個(gè)視點(diǎn)圖像中提取和產(chǎn)生必需點(diǎn)的數(shù)據(jù)。據(jù)此，有可能防止被顯示圖像的畸變。另外，與通過(guò)被顯示圖像(合成圖像)的大小來(lái)開(kāi)始獲得圖像的情況相比，在該處理方法中，雖然在合成時(shí)使用的存儲(chǔ)器增加了，但是圖像獲得系統(tǒng)的費(fèi)用較小。
有可能通過(guò)把一個(gè)至幾個(gè)點(diǎn)添加到屏幕兩側(cè)來(lái)使每個(gè)視點(diǎn)圖像變大，并且將從這些添加的點(diǎn)提取的數(shù)據(jù)用于要出現(xiàn)在屏幕兩側(cè)的非數(shù)據(jù)區(qū)中?；蛘?，有可能將黑數(shù)據(jù)(black data)用于要出現(xiàn)在屏幕兩側(cè)的非數(shù)據(jù)區(qū)中?；蛘?，有可能使用與非數(shù)據(jù)區(qū)相鄰的、具有相同視點(diǎn)的點(diǎn)的復(fù)制數(shù)據(jù)。
另外，有可能產(chǎn)生在垂直方向上也具有視差的立體視覺(jué)用圖像。
此外，本發(fā)明的立體圖像顯示設(shè)備裝備有在上面顯示圖像的屏幕、以及用于分隔能夠看到每個(gè)視點(diǎn)圖像的點(diǎn)的位置的分隔裝置，其特征在于，當(dāng)通過(guò)上述立體圖像處理方法中任何之一獲得的圖像被顯示在屏幕上時(shí)，設(shè)置屏幕點(diǎn)間距的縱橫比，以致使屏幕上顯示的象素組的間距的縱橫比變?yōu)?∶1至近似1∶1?？梢耘渲迷摿Ⅲw圖像顯示設(shè)備，以致如果視點(diǎn)數(shù)為L(zhǎng)并且合成一個(gè)象素的點(diǎn)數(shù)為k，則將被顯示的點(diǎn)的間距設(shè)置為k(水平)∶L(垂直)，并使被顯示的象素組的縱橫比變?yōu)樗健么怪钡扔?＝)1∶1。
在以上配置中，可以配置本發(fā)明的立體圖像顯示設(shè)備，以致紅色用點(diǎn)行、綠色用點(diǎn)行和藍(lán)色用點(diǎn)行在垂直方向上按順序布置。據(jù)此，使合成象素的點(diǎn)的顏色排列變得相同，從而提高了屏幕邊緣的圖像質(zhì)量。另外，本發(fā)明的立體圖像顯示設(shè)備裝備有在上面顯示圖像的屏幕以及用于分隔能夠看到每個(gè)視點(diǎn)圖像的點(diǎn)的位置的分隔裝置，并且配置該立體圖像顯示設(shè)備，以致視點(diǎn)數(shù)為L(zhǎng)，將屏幕點(diǎn)間距的縱橫比設(shè)置為kL∶1至近似kL∶1，提供其中每個(gè)視點(diǎn)圖像的點(diǎn)數(shù)據(jù)在水平方向上按順序被設(shè)置的圖像，以便顯示圖像，以及使屏幕上顯示的象素組的間距的縱橫比變?yōu)?∶1至近似1∶1。在這種配置中，可以接連布置數(shù)量與視點(diǎn)圖像的數(shù)量相當(dāng)?shù)南嗤伾c(diǎn)。據(jù)此，使合成象素的點(diǎn)的顏色排列變得相同，從而提高了屏幕邊緣的圖像質(zhì)量。


圖1所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖2所示為圖1中的屏幕的顏色排列的描述圖；圖3所示為由多片原始圖像合成被顯示圖像的過(guò)程的描述圖；
圖4所示為本發(fā)明實(shí)施例的視圖，以及由多片原始圖像合成被顯示圖像的過(guò)程的描述圖；圖5所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖6所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖7所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖8所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖9所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖10所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖11所示為多視點(diǎn)立體圖像顯示設(shè)備的基本配置的描述圖；圖12(a)和圖12(b)是每一個(gè)都顯示了常規(guī)例子的視圖，并顯示了屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖13所示為本發(fā)明實(shí)施例的視圖，以及由多片原始圖像合成被顯示圖像的過(guò)程的描述圖；圖14所示為本發(fā)明實(shí)施例的視圖，以及由多片原始圖像合成被顯示圖像的過(guò)程的描述圖；圖15所示為本發(fā)明實(shí)施例的視圖，以及從多片原始圖像合成被顯示圖像的過(guò)程的描述圖；圖16所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖17所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖18所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖19所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖20所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖21所示為本發(fā)明實(shí)施例的視圖，以及屏幕上的點(diǎn)的顏色排列、點(diǎn)區(qū)的大小及這些點(diǎn)中顯示的圖像的描述圖；圖22是代表圖14中的過(guò)程的描述圖。
具體實(shí)施例方式
以下，將根據(jù)圖1至圖9及圖13至圖22來(lái)描述本發(fā)明實(shí)施例的立體圖像處理方法和立體圖像顯示設(shè)備。注意，關(guān)于立體圖像顯示設(shè)備的整個(gè)配置，可以采用在現(xiàn)有技術(shù)部分中描述的圖11中的配置，并且為避免由重復(fù)說(shuō)明造成的多余，將省略對(duì)整個(gè)配置的說(shuō)明。
圖1顯示了立體圖像顯示設(shè)備的屏幕上的點(diǎn)的顏色排列(R、G、B列)、點(diǎn)區(qū)的大小以及這些點(diǎn)中顯示的圖像。在此，每個(gè)視點(diǎn)圖像的數(shù)量是7(七視點(diǎn)類(lèi)型)，通過(guò)每個(gè)視點(diǎn)圖像中的每個(gè)相應(yīng)圖像區(qū)從每個(gè)視點(diǎn)圖像提取的、用作象素單元的紅、綠、藍(lán)(RGB)點(diǎn)的數(shù)據(jù)被應(yīng)用于傾斜布置的點(diǎn)，并且例如通過(guò)由圖1中的點(diǎn)線指示的開(kāi)口1來(lái)執(zhí)行圖像分隔。由粗線包圍的21點(diǎn)的點(diǎn)簇合成一個(gè)象素組，開(kāi)口1與此相對(duì)應(yīng)，并且從特定觀察位置、同時(shí)看到合成視點(diǎn)1的左上象素的{1；11；R}、{1；11；G}和{1；11；B}三種顏色的點(diǎn)。在此，{i；jk；C}分別代表{視點(diǎn)；象素坐標(biāo)；顏色}。另外，依據(jù)觀察位置的移動(dòng)，在相同象素坐標(biāo)11上看到具有諸如{2；11；G}、{2；11；B}、{2；11；R}…的不同視點(diǎn)的象素。
將能夠最佳地顯示平面圖像的屏幕用作屏幕(顯示設(shè)備)。作為一個(gè)例子，要使用具有水平3840×垂直2400的象素?cái)?shù)的液晶面板。每個(gè)象素都由紅、綠、藍(lán)三種顏色的點(diǎn)的組合構(gòu)成。如圖2所示，相同顏色的點(diǎn)在垂直方向上排成列，該點(diǎn)間距的縱橫比是3(垂直)∶1(水平)，并且在平面圖像顯示中、象素的水平間距和垂直間距在長(zhǎng)度上是相同的。即，象素間距的縱橫比是1∶1，并且這是平面圖像顯示中所期望的值。
在此，依據(jù)現(xiàn)有技術(shù)部分中的圖12中所示的立體圖像處理方法的水平方向象素組數(shù)量和垂直方向象素組數(shù)量要如下所示，存在于具有水平3840×垂直2400的象素?cái)?shù)的屏幕上。注意，括弧中的值是作為例子的值視點(diǎn)數(shù)L(7)顯示區(qū)中的象素?cái)?shù) 水平M×垂直N(3840×2400)水平方向的象素組數(shù)量M/L(約等于( )548)垂直方向的象素組數(shù)量N(2400)與此相反，在如圖1所示選擇象素組的該實(shí)施例的立體圖像處理方法中，有可能將象素?cái)?shù)的減少(降低)分散到垂直方向上。在此，把在傾斜方向上排成列的三個(gè)點(diǎn)相組合以合成一個(gè)象素，使得象素組的垂直間距為三倍大并且水平間距為7/3倍大。水平間距與垂直間距之比值為接近1的7/9，即原始平面圖像顯示中的象素水平間距與垂直間距之比值。
其一般描述如下。注意，括弧中的值是作為例子的值。
視點(diǎn)數(shù)L(7)顯示區(qū)中的象素?cái)?shù) 水平M×垂直N(3840×2400)合成一個(gè)象素的點(diǎn)數(shù)k(3)水平方向的象素組數(shù)量M×k/L(約等于( )1646)垂直方向的象素組數(shù)量N/k(800)如上所述，這樣設(shè)置被顯示的象素的布置，使得在立體圖像顯示設(shè)備的屏幕上顯示的象素組的間距的縱橫比最接近1∶1，從而合成每個(gè)視點(diǎn)的象素的點(diǎn)彼此合適地接近。結(jié)果，即使在視點(diǎn)數(shù)增加的情況下，也有可能減輕水平分辨率的降低，從而有可能期望提高的圖像質(zhì)量。
在此，將考慮從L個(gè)原始圖像生成以上顯示的圖像的過(guò)程。首先，圖3顯示了這樣一種方法，其中相對(duì)于被顯示圖像的象素?cái)?shù)M×N(3840×2400)，每個(gè)原始圖像(照相機(jī)拍攝的圖像等)的象素?cái)?shù)也是M×N(3840×2400)，并且只有必需的點(diǎn)被選擇和合成。在該方法中，雖然精確地繼承點(diǎn)的坐標(biāo)，但是存在一些廢棄的點(diǎn)，從而有可能消除生成不用圖像部分的浪費(fèi)。具有象素坐標(biāo)“-”的點(diǎn)要被廢棄。與這種立體圖像處理方法相反，將根據(jù)圖4來(lái)描述一種改進(jìn)的立體圖像處理方法。
在圖4所示的方法中，原始圖像(照相機(jī)拍攝的圖像等)的象素?cái)?shù)為kM/L×N/k(1646×800)，并適當(dāng)改變點(diǎn)的排列，以合成圖像。在該方法中，雖然沒(méi)有精確地繼承點(diǎn)的坐標(biāo)，但是沒(méi)有點(diǎn)要廢棄，從而有可能消除生成不用圖像部分的浪費(fèi)。注意，如果圖像獲得系統(tǒng)的圖像縱橫比為M(水平)∶N(垂直)，則圖像不產(chǎn)生畸變。在象素間距的縱橫比為1∶1的情況下，不產(chǎn)生畸變，并且更為一般的是，如果使圖像獲得系統(tǒng)的圖像縱橫比變得和被顯示的圖像的縱橫比一致，則圖像不產(chǎn)生畸變。圖像獲得系統(tǒng)的縱橫比表示實(shí)時(shí)照相機(jī)的電容耦合器件(CCD)的縱橫比，例如在以計(jì)算機(jī)圖形再現(xiàn)的時(shí)候的圖像縱橫比。
雖然在屏幕的兩側(cè)產(chǎn)生沒(méi)有信息的點(diǎn)，但是可以根據(jù)以下步驟之一對(duì)此進(jìn)行處理①通過(guò)把一個(gè)至幾個(gè)點(diǎn)添加到兩側(cè)的必需點(diǎn)(實(shí)際用于立體視覺(jué)的點(diǎn))上，使每個(gè)視點(diǎn)圖像變大，并且把從添加的點(diǎn)提取的數(shù)據(jù)布置到要出現(xiàn)在屏幕兩側(cè)的非數(shù)據(jù)區(qū)中。例如，如果添加的點(diǎn)的象素坐標(biāo)為“10”，則在合成圖像的左上部的非數(shù)據(jù)區(qū)中，布置了{(lán)7；10；R}、{7；10；G}和{6；10；R}；②將黑數(shù)據(jù)(不通光的、不透光的)布置在要出現(xiàn)在屏幕兩側(cè)的非數(shù)據(jù)區(qū)中；以及③布置與非數(shù)據(jù)區(qū)相鄰的具有相同視點(diǎn)的點(diǎn)的復(fù)制數(shù)據(jù)。在圖4的例子中，布置了{(lán)7；11；R}、{7；11；G}和{6；11；R}。
在圖5中，顯示了其點(diǎn)間距的縱橫比不是3(垂直)∶1(水平)的立體圖像顯示設(shè)備。在點(diǎn)間距的縱橫比是3(垂直)∶1(水平)的情況下，根據(jù)上述立體圖像處理方法，被顯示的象素組的水平間距與垂直間距之比值為7/9。與此相反，在圖5中，點(diǎn)間距的縱橫比為7(垂直)∶3(水平)。這使被顯示的象素組的水平間距與垂直間距的比值Ph/Pv等于“1”，即平面圖像顯示中的期望值。由于Ph/Pv為“1”，因此有可能在成像時(shí)的象素間距的縱橫比為1∶1，從而有可能照原樣使用現(xiàn)有設(shè)備或計(jì)算機(jī)程序。
在圖6中，顯示了具有和圖1中所示不同的顏色排列的立體圖像顯示設(shè)備。雖然在圖1的立體圖像顯示設(shè)備中，紅色列、綠色列和藍(lán)色列在水平方向上按順序布置，但是在圖6中，紅色列、綠色列和藍(lán)色列在垂直方向上按順序布置。在這種配置中，合成象素的點(diǎn)的顏色的排列次序是相同的，從而提高了關(guān)于邊緣顯示的圖像質(zhì)量。
在圖7中，顯示了另一個(gè)實(shí)施例的七視點(diǎn)立體圖像顯示設(shè)備。在該立體圖像顯示設(shè)備中，屏幕上的點(diǎn)間距的縱橫比為21(垂直)∶1(水平)(kL∶1)。另外，一個(gè)象素組由在水平方向上排成列的21點(diǎn)合成。這使象素組的水平間距與垂直間距的比值等于“1”，即平面圖像顯示中的期望值。注意，在采用這種點(diǎn)間距的情況下，選擇象素組的方式改變了。此外，取決于視點(diǎn)數(shù)，來(lái)改變點(diǎn)間距的縱橫比。
圖8顯示了類(lèi)似于圖7所示的七視點(diǎn)立體圖像顯示設(shè)備，不同之處在于點(diǎn)的顏色排列。如圖8所示，從左邊起的七個(gè)點(diǎn)是紅色，接著的七個(gè)點(diǎn)是綠色，最后的七個(gè)點(diǎn)是藍(lán)色。這使合成象素的點(diǎn)的顏色的排列次序相同，從而提高了關(guān)于邊緣顯示的圖像質(zhì)量。
在圖9中，圖9(a)中顯示的被顯示象素組中的象素布置和圖9(b)中顯示的被顯示象素組中的象素布置不同。注意，圖9(a)和圖9(b)的每一個(gè)都采用兩視點(diǎn)傾斜點(diǎn)系統(tǒng)(傾斜屏障系統(tǒng))。鑒于兩視點(diǎn)傾斜點(diǎn)系統(tǒng)中的立體圖像顯示設(shè)備中的象素間距(點(diǎn)間距)，使此處顯示的立體圖像處理方法變得能夠?qū)⒈伙@示象素組中的象素布置切換到圖9(a)和圖9(b)之一，以致于使立體圖像顯示設(shè)備的屏幕上顯示的象素組(見(jiàn)圖9中的粗線)的間距的縱橫比變得最接近1∶1。例如，在圖像處理器被配置成既能產(chǎn)生圖9(a)中的圖像又能產(chǎn)生圖9(b)中的圖像的情況下，以及即使在購(gòu)買(mǎi)其象素間距互不相同的液晶顯示面板或等離子顯示設(shè)備、作為連接到該圖像處理顯示設(shè)備的立體圖像顯示設(shè)備的情況下，也有可能通過(guò)產(chǎn)生圖9(a)和圖9(b)中的圖像之一、來(lái)使被顯示象素組的間距的縱橫比變?yōu)?∶1。
在圖10中，顯示了在垂直方向上也存在視差的配置例子。使水平和垂直點(diǎn)間距變得相等，使得水平方向和垂直方向上的視點(diǎn)之間的距離相同。另外，因?yàn)樗椒较蛏系囊朁c(diǎn)數(shù)更大，因此使具有相同顏色的點(diǎn)在垂直方向上排成列。通過(guò)配置這種方式，在水平六視點(diǎn)系統(tǒng)和垂直兩視點(diǎn)系統(tǒng)的情況下，象素組的水平間距與垂直間距的比值為1。也使合成象素的點(diǎn)的顏色的排列次序變得相同。注意，水平方向和垂直方向上的視點(diǎn)之間的距離不必相同。
圖13是圖4所示方法的改進(jìn)例子，并顯示了沒(méi)有圖像畸變的例子。該例子是用于通過(guò)每個(gè)視點(diǎn)圖像中的每個(gè)相應(yīng)圖像區(qū)，來(lái)從每個(gè)視點(diǎn)圖像提取必需點(diǎn)的數(shù)據(jù)的方法，其中被顯示的象素?cái)?shù)為水平M(3840)×垂直N(2400)，視點(diǎn)數(shù)為L(zhǎng)(7)，合成一個(gè)象素的點(diǎn)數(shù)為k(3)，每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L(1646)×垂直N/k(800)。另外，使圖像獲得系統(tǒng)的圖像縱橫比變得與被顯示圖像(2400(垂直)∶3840(水平))的縱橫比相等，并獲得每個(gè)視點(diǎn)圖像。在上述情況下，每個(gè)照相機(jī)的象素縱橫比不是1∶1，而是水平∶垂直之比等于7∶9。
如上所述，如果在圖像獲得系統(tǒng)中獲得了適當(dāng)數(shù)量的點(diǎn)和適當(dāng)?shù)膱D像縱橫比，則防止圖像畸變。然而，在不獲得適當(dāng)數(shù)量的點(diǎn)和適當(dāng)圖像縱橫比的情況下，可以對(duì)每個(gè)視點(diǎn)圖像進(jìn)行壓縮/放大處理，以防止圖像畸變。普通照相機(jī)的點(diǎn)具有等于1∶1的水平∶垂直之比(正方形)，從而可以對(duì)其進(jìn)行壓縮/放大處理。
圖14顯示了壓縮/放大處理的一個(gè)例子。在該例子中，被顯示的象素?cái)?shù)為水平M(3840)×垂直N(2400)，視點(diǎn)數(shù)為L(zhǎng)(7)，合成一個(gè)象素的點(diǎn)數(shù)為k(3)，以及每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L(1646)×垂直N/k(800)。另外，對(duì)在圖像獲得系統(tǒng)中獲得的圖像(點(diǎn)數(shù)為1646(水平)×800(垂直)，圖像縱橫比為1646(水平)∶800(垂直))進(jìn)行處理，使得獲得的圖像的縱橫比等于被顯示的圖像中的縱橫比(3840(水平)∶2400(垂直))，并獲得每個(gè)視點(diǎn)圖像。
將利用圖22來(lái)進(jìn)一步描述上述處理。注意在該圖22中，照相機(jī)(圖像獲得系統(tǒng)中獲得的圖像)的點(diǎn)數(shù)為1024(水平)×768(垂直)，并且視點(diǎn)數(shù)為8。如果使每個(gè)照相機(jī)的圖像在水平方向上放大9/8倍，則獲得1152(水平)×768(垂直)的圖像。由于使這些圖像放大相同的放大倍數(shù)，從而獲得了1500(水平)×1000(垂直)的圖像。如果通過(guò)8片這樣的圖像來(lái)產(chǎn)生被顯示的圖像，則被顯示圖像的象素?cái)?shù)為水平(M＝4000)(即1500×8/3＝4000)，以及垂直(N＝3000)(即1000×3)。顯示設(shè)備的屏幕為4(水平)∶3(垂直)，并且象素間距為1∶1。
在圖15中，顯示了圖3中的處理例子的改進(jìn)型式，并且在把照相機(jī)圖像轉(zhuǎn)換成被顯示的圖像(合成圖像)的大小之后，通過(guò)稀釋(thinning-out)來(lái)進(jìn)行合成過(guò)程。在該例子中，被顯示的象素?cái)?shù)為水平M(3840)×垂直N(2400)，視點(diǎn)數(shù)為L(zhǎng)(7)，合成一個(gè)象素的點(diǎn)數(shù)為k(3)，對(duì)每個(gè)獲得的視點(diǎn)圖像(水平kM/L(1646)×垂直N/k(800))進(jìn)行放大處理、以轉(zhuǎn)變成水平M(3840)×垂直N(2400)，以及通過(guò)每個(gè)相應(yīng)圖像區(qū)從每個(gè)視點(diǎn)圖像提取和產(chǎn)生必需點(diǎn)的數(shù)據(jù)。和如圖3中通過(guò)被顯示圖像(合成圖像)的大小來(lái)獲得數(shù)據(jù)的情況相比，在該處理方法中，雖然在合成時(shí)使用的存儲(chǔ)器增加了，但是從開(kāi)始系統(tǒng)(照相機(jī)或計(jì)算機(jī)圖形處理)獲得圖像的費(fèi)用較小。
圖16顯示了在屏幕(濾色器)為水平條紋的情況下被顯示圖像的布置的例子。被顯示圖像的布置是垂直條紋布置，并且每個(gè)視點(diǎn)的R點(diǎn)、G點(diǎn)和B點(diǎn)被形成在垂直方向上。每個(gè)點(diǎn)的間距的縱橫比為1(水平)∶3(垂直)，并且象素組的縱橫比為水平∶垂直＝7∶9。
圖17顯示了在屏幕(濾色器)為水平條紋的情況下被顯示圖像的布置的例子。被顯示圖像的布置是垂直條紋布置，并且每個(gè)視點(diǎn)的R點(diǎn)、G點(diǎn)和B點(diǎn)被形成在垂直方向上。每個(gè)點(diǎn)的間距的縱橫比為3(水平)∶7(垂直)，并且象素組的縱橫比為水平∶垂直＝1∶1。如果對(duì)此進(jìn)行一般表示，則每個(gè)點(diǎn)的間距為k(水平)∶L(垂直)，并且象素組的縱橫比為水平∶垂直＝1∶1。注意，L為視點(diǎn)數(shù)，k為合成一個(gè)象素的點(diǎn)數(shù)。
圖18顯示了在屏幕(濾色器)為對(duì)角線的情況下被顯示圖像的布置的例子。被顯示圖像的布置是垂直條紋布置，并且每個(gè)視點(diǎn)的R點(diǎn)、G點(diǎn)和B點(diǎn)被形成在垂直方向上。每個(gè)點(diǎn)的間距的縱橫比為1(水平)∶3(垂直)，并且象素組的縱橫比為水平∶垂直＝7∶9。
圖19顯示了在屏幕(濾色器)為對(duì)角線的情況下被顯示圖像的布置的例子。被顯示圖像的布置是垂直條紋布置，并且每個(gè)視點(diǎn)的R點(diǎn)、G點(diǎn)和B點(diǎn)被形成在垂直方向上。每個(gè)象素的間距的縱橫比為3(水平)∶7(垂直)，并且象素組的縱橫比為水平∶垂直＝1∶1。如果對(duì)此進(jìn)行一般表示，則每個(gè)象素的間距為k(水平)∶L(垂直)，并且象素組的縱橫比為水平∶垂直＝1∶1。注意，L為視點(diǎn)數(shù)，k為合成一個(gè)象素的點(diǎn)數(shù)。
圖20顯示了在屏幕(濾色器)為對(duì)角線的情況下被顯示圖像的布置的例子。被顯示圖像的布置是傾斜布置，并且每個(gè)視點(diǎn)的R點(diǎn)、G點(diǎn)和B點(diǎn)被形成在傾斜方向上。每個(gè)象素的間距的縱橫比為1(水平)∶3(垂直)，并且象素組的縱橫比為水平∶垂直＝7∶9。
圖21顯示了在屏幕(濾色器)為對(duì)角線的情況下被顯示圖像的布置的例子。被顯示圖像的布置是傾斜布置，并且每個(gè)視點(diǎn)的R點(diǎn)、G點(diǎn)和B點(diǎn)被形成在傾斜方向上。每個(gè)象素的間距的縱橫比為3(水平)∶7(垂直)，并且象素組的縱橫比為水平∶垂直＝1∶1。如果對(duì)此進(jìn)行一般表示，則每個(gè)象素的間距為k(水平)∶L(垂直)，并且象素組的縱橫比為水平∶垂直＝1∶1。注意，L為視點(diǎn)數(shù)，k為合成一個(gè)象素的點(diǎn)數(shù)。
注意，圖像分隔元件不限于諸如針孔等的開(kāi)口，并且可以使用透鏡元件。另外，可以這樣進(jìn)行配置，以致于使圖像分隔裝置布置在光源側(cè)。此外，雖然合成一個(gè)象素的點(diǎn)是RGB(k＝3)，但是在合成一個(gè)象素的點(diǎn)是RGGB的情況下，可以根據(jù)k等于4進(jìn)行處理。
如上所述，根據(jù)本發(fā)明，合成每個(gè)視點(diǎn)的象素的點(diǎn)彼此接近，從而處于適當(dāng)形勢(shì)。另外，即使在視點(diǎn)數(shù)增加的情況下，也有可能減輕水平分辨率的降低，以及結(jié)果，本發(fā)明產(chǎn)生了所希望的、諸如預(yù)期的改善圖像質(zhì)量的效果等。
權(quán)利要求
1.一種用于通過(guò)每個(gè)視點(diǎn)圖像從多個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的立體圖像處理方法，其中從每個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)，將這種數(shù)據(jù)的集合定義為象素組，以及設(shè)置所述象素組中的象素單元的布置，使得立體圖像顯示設(shè)備的屏幕上顯示的所述象素組的間距的縱橫比變得最接近1∶1。
2.一種用于通過(guò)每個(gè)視點(diǎn)圖像從多個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的立體圖像處理方法，其中從每個(gè)視點(diǎn)圖像中提取用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)，將這種數(shù)據(jù)的集合定義為象素組，以及設(shè)置所述象素組中的象素單元的布置，使得立體圖像顯示設(shè)備的屏幕上顯示的所述象素組的間距的縱橫比變成在1∶2至2∶1的范圍內(nèi)。
3.根據(jù)權(quán)利要求1或2所述的立體圖像處理方法，其中從每個(gè)視點(diǎn)圖像中提取的用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)傾斜地布置在位圖上。
4.根據(jù)權(quán)利要求1或2所述的立體圖像處理方法，其中提供從每個(gè)視點(diǎn)圖像中提取的用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)，以使其在立體圖像顯示設(shè)備的屏幕上傾斜地排成列。
5.根據(jù)權(quán)利要求1或2所述的立體圖像處理方法，其中生成并提供視頻信號(hào)，使得從每個(gè)視點(diǎn)圖像中提取的用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)在立體圖像顯示設(shè)備的屏幕上傾斜地排成列。
6.根據(jù)權(quán)利要求1至5中任一權(quán)利要求所述的立體圖像處理方法，其中被顯示的象素?cái)?shù)為水平M×垂直N，視點(diǎn)數(shù)為L(zhǎng)，合成一個(gè)象素的點(diǎn)數(shù)為k，每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L×垂直N/k，以及通過(guò)每個(gè)視點(diǎn)圖像中的每個(gè)相應(yīng)圖像區(qū)來(lái)從每個(gè)視點(diǎn)圖像中提取必需點(diǎn)的數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的立體圖像處理方法，其中每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L×垂直N/k，并且處理在圖像獲得系統(tǒng)中獲得的圖像，使得圖像縱橫比和被顯示的圖像的縱橫比一致，并獲得每個(gè)視點(diǎn)圖像。
8.根據(jù)權(quán)利要求6所述的立體圖像處理方法，其中使圖像獲得系統(tǒng)的圖像縱橫比變得和被顯示的圖像的縱橫比一致，并獲得每個(gè)視點(diǎn)圖像。
9.根據(jù)權(quán)利要求1至5中任一權(quán)利要求所述的立體圖像處理方法，其中被顯示的象素?cái)?shù)為水平M×垂直N，視點(diǎn)數(shù)為L(zhǎng)，合成一個(gè)象素的點(diǎn)數(shù)為k，每個(gè)視點(diǎn)圖像的象素?cái)?shù)為水平kM/L×垂直N/k，對(duì)每個(gè)獲得的視點(diǎn)圖像進(jìn)行放大處理，以使其變成水平M×垂直N，以及通過(guò)每個(gè)視點(diǎn)圖像中的每個(gè)相應(yīng)圖像區(qū)來(lái)從每個(gè)視點(diǎn)圖像中提取和產(chǎn)生必需點(diǎn)的數(shù)據(jù)。
10.根據(jù)權(quán)利要求6至9中任一權(quán)利要求所述的立體圖像處理方法，其中通過(guò)把一個(gè)至幾個(gè)點(diǎn)添加到屏幕兩側(cè)來(lái)使每個(gè)視點(diǎn)圖像變大，并且將從所述添加的點(diǎn)提取的數(shù)據(jù)用于要出現(xiàn)在屏幕兩側(cè)的非數(shù)據(jù)區(qū)中。
11.根據(jù)權(quán)利要求6至9中任一權(quán)利要求所述的立體圖像處理方法，其中將黑數(shù)據(jù)用于要出現(xiàn)在屏幕兩側(cè)的非數(shù)據(jù)區(qū)中。
12.根據(jù)權(quán)利要求6至9中任一權(quán)利要求所述的立體圖像處理方法，其中在要出現(xiàn)在屏幕兩側(cè)的非數(shù)據(jù)區(qū)中，使用與非數(shù)據(jù)區(qū)相鄰的、具有相同視點(diǎn)的點(diǎn)的復(fù)制數(shù)據(jù)。
13.根據(jù)權(quán)利要求1或2之任一權(quán)利要求所述的立體圖像處理方法，其中產(chǎn)生在垂直方向上也具有視差的立體視覺(jué)用圖像。
14.一種立體圖像顯示設(shè)備，所述立體圖像顯示設(shè)備裝備有在上面顯示圖像的屏幕、以及用于分隔能夠看到每個(gè)視點(diǎn)圖像的點(diǎn)的位置的分隔裝置，其中當(dāng)通過(guò)根據(jù)權(quán)利要求1至13中任一權(quán)利要求的立體圖像處理方法獲得的圖像被顯示在屏幕上時(shí)，設(shè)置屏幕點(diǎn)間距的縱橫比，使得屏幕上顯示的象素組的間距的縱橫比變?yōu)?∶1至近似1∶1。
15.根據(jù)權(quán)利要求14所述的立體圖像顯示設(shè)備，其被配置成如果視點(diǎn)數(shù)為L(zhǎng)并且合成一個(gè)象素的點(diǎn)數(shù)為k，則將被顯示的點(diǎn)的間距設(shè)置為k(水平)∶L(垂直)，并使被顯示的象素組的縱橫比變?yōu)樗健么怪钡扔?＝)1∶1。
16.一種立體圖像顯示設(shè)備，所述立體圖像顯示設(shè)備裝備有在上面顯示圖像的屏幕、以及用于分隔能夠看到每個(gè)視點(diǎn)圖像的點(diǎn)的位置的分隔裝置，配置所述立體圖像顯示設(shè)備，使得被顯示的點(diǎn)的間距為k，視點(diǎn)數(shù)為L(zhǎng)，將屏幕點(diǎn)間距的縱橫比設(shè)置為kL∶1至近似kL∶1，提供其中每個(gè)視點(diǎn)圖像的點(diǎn)數(shù)據(jù)在水平方向上按順序被設(shè)置的圖像，以便顯示圖像，以及使屏幕上顯示的象素組的間距的縱橫比變?yōu)?∶1至近似1∶1。
17.根據(jù)權(quán)利要求1至15中任一權(quán)利要求所述的立體圖像顯示設(shè)備，其中紅色用點(diǎn)行、綠色用點(diǎn)行和藍(lán)色用點(diǎn)行在垂直方向上按順序布置。
18.根據(jù)權(quán)利要求16所述的立體圖像顯示設(shè)備，其中數(shù)量與視點(diǎn)圖像數(shù)量相當(dāng)?shù)南嗤伾c(diǎn)接連地布置。
全文摘要
一種用于通過(guò)每個(gè)視點(diǎn)圖像、從多個(gè)視點(diǎn)圖像中提取多個(gè)點(diǎn)即象素單元的立體圖像處理方法。從每個(gè)視點(diǎn)圖像提取用作象素單元的多個(gè)點(diǎn)的數(shù)據(jù)，并將這種數(shù)據(jù)的集合定義為象素組。由粗線包圍的21點(diǎn)的點(diǎn)簇合成一個(gè)象素組。開(kāi)口1對(duì)應(yīng)于每個(gè)象素組，并且從特定觀察位置、同時(shí)看到合成視點(diǎn)1的左上象素的{1；11；R}、{1；11；G}和{1；11；B}三種顏色的點(diǎn)。設(shè)置象素組中的象素布置，以致使被顯示的象素組的間距的縱橫比變得最接近1∶1。
文檔編號(hào)H04N15/00GK1708995SQ20038010213
公開(kāi)日2005年12月14日 申請(qǐng)日期2003年11月6日 優(yōu)先權(quán)日2002年11月7日
發(fā)明者增谷健, 濱岸五郎 申請(qǐng)人:三洋電機(jī)株式會(huì)社