專利名稱：成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用多個(gè)光學(xué)系統(tǒng)捕獲圖像的復(fù)眼成像裝置，可用于例如 移動(dòng)設(shè)備、車輛、醫(yī)學(xué)應(yīng)用、監(jiān)視應(yīng)用、以及機(jī)器人的應(yīng)用中。
背景技術(shù)：
在近些年中，對成像裝置除了具有更大數(shù)量像素之外，還要具有較小 的尺寸提出了強(qiáng)烈的需求。在很多情況下，光學(xué)透鏡的尺寸和焦距以及成 像裝置的尺寸妨礙了尺寸的減少。
通常，當(dāng)光的波長變化時(shí)，材料的折射率就會(huì)變化，從而焦距也會(huì)變 化。所以，使用單透鏡在成像平面上形成包含具有全部波長的光信息的物 體圖像是不可能的。因此，在普通成像裝置的光學(xué)系統(tǒng)中，沿著光軸方向 排列有多個(gè)光學(xué)透鏡，使得紅色波長光、綠色波長光、以及藍(lán)色波長光的 圖像形成在同一成像平面上。這使得光程更長，導(dǎo)致成像裝置更厚。
因此，作為有效減少成像裝置尺寸，具體地，減少厚度的技術(shù)，提出 復(fù)眼成像裝置，其中多個(gè)具有短焦距的單透鏡被基本上排列在同一平面上 (例如，參見專利文獻(xiàn)1)。在復(fù)眼彩色成像裝置中，用于形成藍(lán)色波長光 圖像的透鏡、用于形成綠色波長光圖像的透鏡、以及用于形成紅色波長光 圖像的透鏡被排列在同一平面上，并且各成像裝置的成像平面被排列在各 個(gè)透鏡的光軸上。因?yàn)槊總€(gè)透鏡處理的光波長范圍被限定地較窄，所以通 過將各個(gè)透鏡的焦距制成相等，使用多個(gè)單透鏡來將多個(gè)物體圖像形成在 多個(gè)排列在同一平面上的成像平面上將變得可能。從而，成像裝置的厚度 能夠大幅度減小。


圖16是一個(gè)透視圖，示出了示例性復(fù)眼成像裝置。數(shù)字500標(biāo)注一個(gè) 透鏡陣列，其包括形成在一起的四個(gè)透鏡501a、 501b、 501c、和501d。透 鏡501a用于形成紅色波長光的圖像，并將物體圖像形成在成像裝置的成像 區(qū)域502a上，該區(qū)域中在成像平面上附著有紅色波長分離濾光鏡(濾色鏡)。透鏡501b和501d用于形成綠色波長光的圖像，并且將物體圖像形成在成 像裝置的成像區(qū)域502b和502d上，該區(qū)域中在成像平面上附著有綠色波 長分離濾光鏡(濾色鏡)。透鏡501c用于形成藍(lán)色波長光的圖像，并將物 體圖像形成在成像裝置的成像區(qū)域502d上，該區(qū)域中在成像平面上附著有 藍(lán)色波長分離濾光鏡(濾色鏡)。成像裝置將各個(gè)成像區(qū)域502a到502d上 形成的物體圖像的光強(qiáng)度轉(zhuǎn)換為圖像數(shù)據(jù)以便輸出。將這些圖像數(shù)據(jù)進(jìn)行 重疊并合成，從而得到彩色圖像。需要注意的是，透鏡的個(gè)數(shù)并不局限為 四個(gè)。
盡管如上文所描述的，復(fù)眼成像裝置能夠?qū)崿F(xiàn)減小厚度，但是與包含 Bayer排列式濾色鏡的普通單眼成像裝置相比，它具有分辨率較低的問題。 下面對此原因進(jìn)行說明。
在具有大量像素的入射面上，單眼成像裝置設(shè)置有Bayer排列式的濾色 鏡，這樣成像裝置中的每個(gè)像素能夠取出預(yù)定顏色信息。換句話說，將透 射綠色光的濾色鏡以方格形式排列，以便與矩陣中排列的大量像素相對應(yīng)， 并且將透射紅色光的濾色鏡和透射藍(lán)色光的濾色鏡交替排列在其余像素 中。以這種方式的濾色鏡排列通常被稱為Bayer排列。成像裝置中的每個(gè)像
素僅僅輸出通過該濾色鏡透射的光波長范圍內(nèi)的顏色信息，不輸出不從該 濾色鏡透射的光波長范圍內(nèi)的顏色信息。然而，因?yàn)橐阎N顏色的圖像 信息在圖像的局部區(qū)域中是相關(guān)的(例如，非專利文獻(xiàn)1)，例如，綠色圖 像信息能夠從紅色或藍(lán)色圖像信息中估計(jì)得出。利用這些特性，丟失顏色 的圖像信息可以內(nèi)插值代替。因此，能夠獲得具有與成像裝置中有效像素 同等數(shù)量像素分辨率的彩色圖像。例如，在使用具有1000000個(gè)有效像素 的成像裝置的情況下，500000個(gè)像素檢測綠色圖像信息，250000個(gè)像素檢 測藍(lán)色圖像信息，以及250000個(gè)像素檢測紅色圖像信息。然而，通過上述 內(nèi)插值方法，能夠獲得對于紅色、綠色和藍(lán)色均具有1000000像素分辨率 的圖像信息。
另一方面，在復(fù)眼成像裝置中，因?yàn)閷?yīng)各個(gè)顏色的每個(gè)成像裝置的 成像區(qū)域獲得任一紅色、綠色和藍(lán)色圖像信息，所以得到具有與該圖像區(qū) 域中像素同等數(shù)量像素分辨率的彩色圖像。例如，為了每個(gè)紅色、綠色和 藍(lán)色對應(yīng)成像區(qū)域都具有250000像素，成像裝置需要具有總共1000000像素，但是通過疊加得到的彩色圖像的分辨率相當(dāng)于250000像素。
作為用于提高圖像分辨率的方法，有一種被稱為"像素位移(pixel shifting)"的技術(shù)，其中，通過使用傳動(dòng)裝置隨時(shí)間改變透鏡和物體的相對 位置來獲得物體圖像和成像裝置中像素之間相對位置關(guān)系相互移位的多個(gè) 圖像，然后對該多個(gè)圖像進(jìn)行合成以便實(shí)現(xiàn)高分辨率圖像(例如，專利文 獻(xiàn)2)。在像素位移技術(shù)中，最佳位移量取決于位移的方向和要獲取的圖像 數(shù)量。例如，在合成兩幅圖像的情況下，當(dāng)物體圖像和像素之間的相對位 置關(guān)系在兩幅圖像之間位移半個(gè)像素排列間距(下文中稱為"像素間距") 時(shí)，能夠得到最高分辨率圖像。只要能夠獲得多個(gè)圖像，且該多個(gè)圖像的 由透鏡形成的物體圖像和成像裝置中的像素之間的相對位置關(guān)系具有相互 位移，就可以應(yīng)用像素位移技術(shù)，并且也能夠?qū)⑾袼匚灰萍夹g(shù)應(yīng)用于復(fù)眼 成像裝置中。然而，盡管將透鏡和物體的相對位置以時(shí)間順序進(jìn)行改變的 像素位移技術(shù)對于靜態(tài)物體圖像是有效的，但是在非靜態(tài)物體圖像情況下， 獲得高分辨率圖像是困難的，因?yàn)橥哥R和物體的相對位置隨時(shí)間的位移延 遲了捕獲圖像的時(shí)間。
此外，例如專利文獻(xiàn)3提出一種用于在復(fù)眼成像裝置中獲得高分辨率 合成圖像的方法，所述復(fù)眼成像裝置使用多個(gè)透鏡通過根據(jù)成像裝置中的 像素放置所述多個(gè)透鏡的光軸，來在多個(gè)成像區(qū)域中形成多個(gè)物體圖像， 以便實(shí)現(xiàn)像素位移，使得在預(yù)定距離形成物體的多個(gè)圖像以便在連接各透 鏡光軸的方向上以預(yù)定的量對這些圖像進(jìn)行位移。即便在非靜態(tài)物體圖像 情況下，只要物體和成像裝置之間的距離是固定的，該方法就能夠?qū)崿F(xiàn)高 分辨率圖像。
專利文獻(xiàn)l: JP2002-204462A
專利文獻(xiàn)2: JP 10(1998)-304235A
專利文獻(xiàn)3: JP2002-209226A
非專利文獻(xiàn)1: HiroakiKOTERA和其他兩位，"利用色相關(guān)從單色圖像 到全色圖象的表示方式"，日本電子圖像工程師研究院1998年會(huì)記錄20， pp.83-86(1998)
發(fā)明內(nèi)容本發(fā)明所要解決的問題
然而，在專利文獻(xiàn)3中描述的方法具有兩個(gè)問題。
第一個(gè)問題是在物體和成像裝置之間的距離不是一個(gè)預(yù)定值，或者由 于溫度變化或其它原因多個(gè)透鏡的光軸之間的距離發(fā)生改變的情況下，像 素位移量發(fā)生變化，這使得不可能獲得高分辨率圖像。下面是對該第一個(gè) 問題的具體描述。
為了確保通過像素位移技術(shù)獲得高分辨率圖像，物體圖像和像素之間 的相對位置關(guān)系必須總是在多個(gè)將被合成的圖像之間改變。圖17A和17B 是示出物體、具有不同光軸的兩個(gè)透鏡、和在復(fù)眼成像裝置中通過這兩個(gè) 透鏡形成的兩幅物體圖像之間位置關(guān)系的視圖。圖17A是在包括這兩個(gè)透 鏡光軸的平面上的橫剖面視圖，圖17B是沿與光軸平行的方向觀察成像裝 置之成像平面的平面視圖。數(shù)字600a和600b標(biāo)注透鏡601 a和601b的光軸， 并且數(shù)字602a和602b標(biāo)注光軸600a和600b與成像裝置的成像區(qū)域603 相交的位置。數(shù)字605a和605b標(biāo)注位于光軸600a上的物體604通過透鏡 601a和601b形成的物體圖像。在復(fù)眼成像裝置中，因?yàn)槎鄠€(gè)透鏡的光軸彼 此不同，所以成像區(qū)域603上物體圖像605b的位置根據(jù)從成像裝置到物體 之間的距離，沿連接透鏡光軸600a和600b的方向(圖中長短交替虛線610 的方向)移動(dòng)。這種現(xiàn)象被稱為"視差"。當(dāng)A表示透鏡601a到物體604 的距離(在下文中，稱為"物體距離")，d表示透鏡601a和601b的光軸 600a和600b之間的距離，并且f表示從透鏡601a和601b到成像區(qū)域603 的距離，則從透鏡的光軸600b與成像區(qū)域603相交的位置602b到物體圖 像位置605b的位移量S表式為(公式l)。
爿0
當(dāng)dy表示光軸105a和光軸105d之間在Y軸方向上的距離時(shí)，在成像 區(qū)域104a和成像區(qū)域104d之間在Y軸方向上物體圖像114的視差Sy表達(dá) 式為(公式3)。從而，距離S矽表達(dá)式為(公式4) [公式4〗
圖像合成部分107利用從形成有相同顏色(綠色)物體圖像的成像區(qū) 域104a和成像區(qū)域104d輸出的兩塊圖像數(shù)據(jù)執(zhí)行計(jì)算，來得到物體圖像 之間的相關(guān)性，以便計(jì)算視差Sx和Sy。盡管像素僅存在于成像裝置103 中的整數(shù)坐標(biāo)上，也能夠通過執(zhí)行插值運(yùn)算如線性插值來計(jì)算小數(shù)級(jí)的視 差Sx禾口 Sy。
因?yàn)楣廨S105a和光軸105d之間在X軸方向上的距離與光軸105a和光 軸105c之間的距離基本相等，所以計(jì)算出的視差Sx用作成像區(qū)域104a和 成像區(qū)域104c之間物體圖像的視差量。光軸105a和光軸105d之間在X軸 方向上的距離與光軸105a和光軸105c之間距離的誤差，通過例如比較位于 無限遠(yuǎn)處的物體(例如，黑色背景上的白點(diǎn)光源)在各個(gè)成像區(qū)域104a、 104c和104d上形成的物體圖像的位置，來得到補(bǔ)償。
類似地，因?yàn)楣廨S105a和光軸105d之間在Y軸方向上的距離與光軸 105a和光軸105b之間的距離基本相等，所以計(jì)算出的視差Sy用作成像區(qū) 域104a和成像區(qū)域104b之間物體圖像的視差量。光軸105a和光軸105d 之間在Y軸方向上的距離與光軸105a和光軸105b之間距離的誤差，通過 與上述用于補(bǔ)償在X軸方向上距離誤差的方法類似的方法得到補(bǔ)償。
使用計(jì)算出的視差Sx和Sy,圖像合成部分107校正來自成像區(qū)域104b 的圖像和來自成像區(qū)域104c的圖像相對于來自成像區(qū)域104a的圖像的位 移，并且合成這三幅圖像，其中成像區(qū)域104b上形成有歸因于紅光成分的 物體圖像，成像區(qū)域104c上形成有歸因于藍(lán)光成分的物體圖像，成像區(qū)域 104a上形成有歸因于綠光成分的物體圖像。在這種方式中，能夠過得物體 圖像的彩色圖像。
接下來，給出圖1中的成像裝置總是與物體距離無關(guān)地輸出高分辨率 圖像的原理的描述。
圖4示出位于單透鏡102之光軸105a上物體距離AO處的物體在成像 區(qū)域104a到104d上形成的物體圖像114a到114d的位置。在成像區(qū)域104a上，物體圖像114a位于光軸105a上。
成像區(qū)域104c中光軸105c的位置相對于成像區(qū)域104a中光軸105a 的位置在Y軸負(fù)方向上位移約0.5像素。物體圖像114c形成在X軸負(fù)方向 上偏離光軸105c視差Sx的位置處，該視差Sx通過(公式2)得到。
成像區(qū)域104b中光軸105b的位置相對于成像區(qū)域104a中光軸105a 的位置在X軸負(fù)方向上位移約0.5像素。物體圖像114b形成在Y軸負(fù)方向 上偏離光軸105b視差Sy的位置處，該視差Sy通過(公式3)得到。
盡管為了簡化描述，在圖4中示出了像素?cái)?shù)量小于實(shí)際數(shù)量的成像裝 置，如成像裝置103，但是在實(shí)際中使用的成像裝置具有很大數(shù)量的像素， 如2000000像素。因此，光軸105a和光軸105c之間在Y軸方向上的位移 量非常小，以致于在Y軸方向上成像區(qū)域104c上物體圖像114c的視差可 以被忽略。類似地，光軸105a和光軸105b之間在X軸方向上的位移量非 常小，以致于在X軸方向上成像區(qū)域104b上物體圖像114b的視差可以被 忽略。
因此，當(dāng)物體距離AO變化時(shí)，物體圖像114c沿X軸方向在成像區(qū)域 104c中移動(dòng)。這時(shí)，物體圖像114c沿X軸方向移動(dòng)，同時(shí)物體圖像114c 總是在相對于光軸105a在Y軸方向上位移約0.5像素的狀態(tài)下。
此外，當(dāng)物體距離AO變化時(shí)，物體圖像114b沿Y軸方向在成像區(qū)域 104b中移動(dòng)。這時(shí)，物體圖像114b沿Y軸方向移動(dòng)，同時(shí)物體圖像114b 總是在相對于光軸105a在X軸方向上位移約0.5像素的狀態(tài)下。
換句話說，成像區(qū)域104c上的物體圖像114c相對于成像區(qū)域104a上 的物體圖像U4a總是在Y軸負(fù)方向上位移約0.5像素，而與物體距離無關(guān)， 并且成像區(qū)域104b上的物體圖像114b相對于成像區(qū)域104a上的物體圖像 114a總是在X軸負(fù)方向上位移約0.5像素，而與物體距離無關(guān)。
利用計(jì)算出的視差Sx和Sy，按照下面方式來執(zhí)行歸因于視差的圖像位 移。如圖5中所示，成像區(qū)域104c在X軸方向上被校正Sx。另外，成像 區(qū)域104b在Y軸方向上被校正Sy。此外，成像區(qū)域104d在X軸方向上被 校正Sx并在Y軸方向上被校正Sy。應(yīng)該注意，因?yàn)楦鱾€(gè)成像區(qū)域的坐標(biāo) 值僅為整數(shù)，當(dāng)校正量Sx和Sy包括小數(shù)部分時(shí)，可以執(zhí)行例如舍入的處 理。成像區(qū)域104a到104d每個(gè)都具有mXn (高X寬)像素。假設(shè)成像區(qū) 域104a中每個(gè)像素的坐標(biāo)為a(x,y)，成像區(qū)域104b中每個(gè)像素的坐標(biāo)為 b(x,y)，成像區(qū)域l(Mc中每個(gè)像素的坐標(biāo)為c(x，y)，以及成像區(qū)域1(Md中 每個(gè)像素的坐標(biāo)為d(x,y)，其中x = 1，2，…，m，和y- 1，2，…，n。成像區(qū)域 104c中像素c(x，y)接收位于相對于成像區(qū)域104a中像素a(x，y)在Y軸正方 向上位移約0.5像素的位置上的物體圖像。此夕卜，成像區(qū)域104b中像素b(x,y) 接收位于相對于成像區(qū)域104a中像素a(x，y)在X軸正方向上位移約0.5像 素的位置上的物體圖像。成像區(qū)域104d中像素d(x，y)所接收的物體圖像相 對于成像區(qū)域104a中像素a(x，y)所接收的物體圖像在X軸方向和Y軸方向 上的位移量隨物體距離而變化。
因此，為了如圖6A中所示，從分別在X軸方向和Y軸方向上位移了 0.5像素的均具有mXn像素的圖像中生成具有2'mX2'n (高X寬)像素 的高分辨率合成圖像h，將像素a(x，y)的亮度值代入合成圖像的坐標(biāo)h(2 x 一l， 2'y—1)，將像素c(x，y)的亮度值代入坐標(biāo)h(2'x—l， 2'y)，將像素 b(x,y)的亮度值代入坐標(biāo)h(2 x， 2'y—l)，并且將四個(gè)鄰近像素的平均亮 度值代入坐標(biāo)h(2'x， 2 y) (x-l，2，…，m，和y=l，2，'",n)。這里，用來替代 四個(gè)鄰近像素的平均亮度值，也可以將使用鄰近像素亮度值通過另一插值 方法計(jì)算出的值代入坐標(biāo)h(2 x, 2 y)。
依據(jù)物體距離，成像區(qū)域104d中像素d(x,y)有時(shí)接收相對于成像區(qū)域 104a中像素a(x,y)在X軸正方向上位移0.5像素并在Y軸正方向上位移0.5 像素的物體圖像114。在這種情況中，如圖6B所示，將像素a(x，y)的亮度 值代入合成圖像的坐標(biāo)h(2 x—l， 2 y—1)，將像素c(x，y)的亮度值代入 坐標(biāo)h(2.x—1， 2'y)，將像素b(x,y)的亮度值代入坐標(biāo)h(2.x， 2'y—l)， 并且將像素d(x,y)的亮度值代入坐標(biāo)h(2 x， 2 y)。
如上所述，通過從成像區(qū)域104a、 104b、 104c和104d中得到的彼此位 移的均具有mXn像素的四幅圖像，能夠生成具有2 mX2 n像素的合成 圖像h。換句話說，通過合成如圖7A中所示的分別從成像區(qū)域104a、 104b、 104c和104d中得到的均具有mXn像素的四幅圖像，能夠得到如圖7B所 示的具有2 mX2 n像素的高分辨率圖像。
在單色物體的情況下，通過上述方法能夠生成高分辨率合成圖像。然而，在彩色物體的情況下，會(huì)生成紅色、綠色和藍(lán)色三幅合成圖像。假定
具有紅色信息的合成圖像為hr，具有綠色信息的合成圖像為hg，以及藍(lán)色 合成圖像為hb。利用紅色、綠色和藍(lán)色圖像信息在圖像的局部區(qū)域中具有 相關(guān)性的特性，能夠生成合成圖像hr、 hg和hb。表示紅色和綠色圖像信息 之間相關(guān)性的矩陣c—rg、表示藍(lán)色和綠色圖像信息之間相關(guān)性的矩陣c一bg、 以及表示藍(lán)色和紅色圖像信息之間相關(guān)性的矩陣cj r由(公式5)計(jì)算。 [公式5]
c—rg(x,y) = b(x，y)/a(x，y) c一bg(x,y) = c(x，y)/a(x，y) c—br(x,y) = c(x，y)/b(x,y) (x=l,2,...,m， y=l，2,...，n)
然后，對通過(公式5)得到的各個(gè)矩陣進(jìn)行中值濾波以便去除噪聲， 如此計(jì)算(公式6)的median—c—rg、 median—c—bg、和median—c—br矩陣。 [公式6]
median一c一rg = median (c—rg) median—c一bg = median (c_bg) median—c一br = median (c_br)
接下來，對通過(公式6)得到的各個(gè)矩陣進(jìn)行具有權(quán)重的低通濾波， 如此計(jì)算(公式7)的LPF—c_rg、 LPF_c—bg和LPF_c—br。 [公式7]
LPF_c__rg = lpf(median_c_rg) LPF_c—bg = lpf(median一c—bg) LPF_c_br = lpf(median一c一br)
使用表示局部區(qū)域中各個(gè)顏色之間相關(guān)性的LPF_c—rg、 LPF—c—bg和 LPF—c一br，可以生成具有紅色信息的合成圖像hr、具有綠色信息的合成圖 像hg以及藍(lán)色合成圖像hb。
具有紅色信息的合成圖像hr使用(公式8)生成。
<formula>formula see original document page 23</formula>hr((2 x— 1 ， 2 y) = c(x，y)/LPF一c—br(x,y) hr(2.x， 2*y):四個(gè)鄰近值的平均值 (x=l，2，".，m, y=l,2，...,n)
具有綠色信息的合成圖像hg使用(公式9)生成。 [公式9]
hg(2'x—1， 2*y—l) = a(x,y) hg(2 x， 2 y— 1) = b(x,y) /LPF—c—rg(x，y) hg((2 x— 1 ， 2 y) = c(x，y)/LPF—c—bg(x，y) hg(2 x， 2 y):四個(gè)鄰近值的平均值 (x=l，2,'"，m， y=l，2，".，n)
具有藍(lán)色信息的合成圖像hb使用(公式IO)生成。 [公式10]
hb(2 x— 1 ， 2 y — 1) = a(x，y) LPF一c一bg(x,y) hb(2 x， 2 y — 1) = b(x，y) LPF_c—br(x，y) hb((2'x—1， 2*y) = c(x，y) hb(2.x， 2*y):四個(gè)鄰近值的平均值 (x=l，2，".,m， y=l，2,'",n)
通過將計(jì)算出的紅色、綠色和藍(lán)色合成圖像hr、hg和hb進(jìn)行彩色合成， 可以得到具有2 mX2 n像素的高分辨率彩色合成圖像h_rgb。考慮到事 實(shí)上成像裝置103中形成的物體圖像通過透鏡102a到102d后發(fā)生反轉(zhuǎn)， 所以如圖8中所示，彩色合成圖像h—rgb的像素排列在Y軸方向上發(fā)生反 轉(zhuǎn)。
下面，將對即便是在由四個(gè)透鏡投射的四個(gè)物體圖像之間的位移量偏 離理想位移量即0.5像素的情況下，圖1中的成像裝置總是能夠輸出具有較 低顏色偏差的高分辨率圖像的原理給出描述。
在很多情況中，由于透鏡102a到102d的形狀誤差、透鏡裝配中的裝 配誤差等等因素，圖1中成像區(qū)域104a到104d上光軸105a到105d的位移 量在各自像素位移方向上不是0.5像素的理想位移量。圖9是示出在成像區(qū) 域104a到104c中的物體圖像114a到114c、光軸105a到105c、以及其附 近像素的放大視圖。圖9示出在視差校正處理之后，物體圖像114a到114c和光軸105a到105c之間的關(guān)系。
成像區(qū)域104c上的物體圖像114c相對于成像區(qū)域104a上的物體圖像 114a在Y軸負(fù)方向上位移0.6像素以及在X軸負(fù)方向上位移0.1像素。當(dāng) 物體距離發(fā)生變化時(shí)，物體圖像114c沿X軸方向移動(dòng)，同時(shí)物體圖像114c 相對于物體圖像114a在Y軸方向上的位移量基本保持在0.6像素。這時(shí)， 當(dāng)物體圖像114c相對于物體圖像114a在Y軸方向上的位移量在0.25像素 到0.75像素范圍內(nèi)時(shí)，能夠得到高分辨率合成圖像。執(zhí)行視差校正處理， 使得成像區(qū)域104c上的物體圖像114c和成像區(qū)域104a上的物體圖像114a 之間在X軸方向上的位移量在士0.5像素范圍內(nèi)。
成像區(qū)域104b上的物體圖像114b相對于成像區(qū)域104a上的物體圖像 114a在Y軸負(fù)方向上位移0.1像素以及在X軸負(fù)方向上位移0.6像素。當(dāng) 物體距離發(fā)生變化時(shí)，物體圖像114b沿Y軸方向移動(dòng)，同時(shí)物體圖像114b 相對于物體圖像114a在X軸方向上的位移量基本保持在0.6像素。這時(shí)， 當(dāng)物體圖像114b相對于物體圖像114a在X軸方向上的位移量在0.25像素 到0.75像素范圍內(nèi)時(shí)，能夠得到高分辨率合成圖像。執(zhí)行視差校正處理， 使得成像區(qū)域104b上的物體圖像114b和成像區(qū)域104a上的物體圖像114a 之間在Y軸方向上的位移量在土0.5像素范圍內(nèi)。
下面將給出對輸出圖像的描述，該輸出圖像是在上述各個(gè)物體圖像位 移量的情況下捕捉具有在垂直方向上延伸邊緣的物體的圖像時(shí)得到的。圖 10A示出在成像裝置103上形成的、三條沿垂直方向延伸的粗線的物體圖 像，圖10B示出通過沿Y軸方向反轉(zhuǎn)由成像區(qū)域104a獲取的圖像的像素排 列所得到的圖像，以及圖10C示出高分辨率彩色合成圖像h一rgb。在圖10A 到10C中，通過線條密度來表現(xiàn)陰影，例如較深顏色通過更高線條密度來 表示，以及較淺顏色通過更低線條密度來表示。
圖10C中的圖像與圖10B中的圖像相比，能夠更容易識(shí)別三條粗線的 物體圖像，并且具有更高的分辨率。然而，由于事實(shí)上成像區(qū)域104c上的 物體圖像114c相對于成像區(qū)域104a上的物體圖像114a在X軸方向和Y軸 方向上的偏移量偏離理想位移量，即X軸方向上0像素和Y軸方向上0.5 像素的，所以在圖10C中的圖像中存在顏色偏差。因此，檢測局部區(qū)域中 物體圖像的邊緣方向，以便根據(jù)邊緣的方向，以下面方式改變用于合成具有紅色信息的合成圖像hr、具有綠色信息的合成圖像hg和具有藍(lán)色信息的 合成圖像hb的方法。
(公式11)用于計(jì)算沿Y軸方向延伸的邊緣的強(qiáng)度，即成像區(qū)域104a 中各個(gè)坐標(biāo)處在X軸方向上的平均差分分量Dy(x,y)。 [公式ll]
Dy(x，y) = a(x—1 ， y—1) + 2 , a(x—1 ， y) + a(x—1， y+l)
—a(x+l， y—1) — 2'a(x+l， y) — a(x+l， y+l) (x=l,2,".,m， y=l，2，..'，n)
(公式12)用于計(jì)算沿X軸方向延伸的邊緣的強(qiáng)度，即成像區(qū)域104a 中各個(gè)坐標(biāo)處在Y軸方向上的平均差分分量Dx(x，y)。 [公式12]
Dx(x，y)-a(x—l， y—l) + 2.a(x， y—1) + a(x+l， y_l)
—a(x—1， y+l) — 2 a(x， y+l) — a(x+l， y+l) (x=l，2,.''，m， y=l,2，'",n)
(公式13)用于計(jì)算沿右上傾斜方向延伸的邊緣的強(qiáng)度，即成像區(qū)域 104a中各個(gè)坐標(biāo)處在左上傾斜方向上的平均差分分量Dsr(x,y)。 [公式13]
Dsr(x,y"a(x—l， y) + 2.a(x—1， y—l) + a(x， y—1)
—a(x, y+l) _ 2*a(x+l, y+l) — a(x+l， y) (x=l，2,...，m， y=l,2，"'，n)
(公式14)用于計(jì)算沿左上傾斜方向延伸的邊緣的強(qiáng)度，即成像區(qū)域 104a中各個(gè)坐標(biāo)處在右上傾斜方向上的平均差分分量Dsl(x，y)。 [公式14]
Dsl(x，y) = a(x， y—1) + 2 a(x+l， y—l) + a(x+l， y)
一 a(x—1， y) — 2.a(x—1， y+l) — a(x， y+l) (x = l,2，.",m， y=l,2,.",n)
在所計(jì)算出的Dx(x，y) 、 Dy(x，y)、 Dsr(x,y)和Dsl(x,y)的絕對值中， Dx(x,y)的絕對值最大的情況下，使用(公式15)生成具有紅色信息的合成 圖像hr。hr(2 x— 1 ， 2 y — 1) = a(x,y) LPF丄rg(x，y) hr(2.x， 2 y—l"hr(2 x—l， 2 y—1) hr(2 x— 1 ， 2 y) = c(x,y)/LPF丄br(x，y) hr(2 x， 2 y) = hr(2 x_ 1 ， 2 y) (x = 1，2，…,m， y = 1，2,…，n)
使用(公式16)生成具有綠色信息的合成圖像hg。<formula>formula see original document page 27</formula>
使用(公式n)生成具有藍(lán)色信息的合成圖像hb。<formula>formula see original document page 27</formula>在Dy(x,y)的絕對值最大的情況下，使用(公式18)生成具有紅色信息 的合成圖像hr。 [公式18]
hr(2 x— 1 ， 2 y — 1) = a(x，y) LPF—c—rg(x,y) hr(2 x， 2 y—l) = b(x，y) hr(2,x—1， 2 y) = hr(2 x—1， 2,y—l) hr(2 x， 2 y) = hr(2 x， 2 y— 1) (x=l,2,"'，m， y-l，2，…，n)
使用(公式19)生成具有綠色信息的合成圖像hg。 [公式19〗
hg(2.x—1, 2*y—l) = a(x，y)hg(2 x， 2 y— 1) = b(x,y)/LPF_c—rg(x,y) hg(2.x—1， 2 y) = hg(2 x—1， 2.y—l) hg(2'x， 2'y) = hg(2'x， 2-y—1) (x = l，2，."，m， y=l,2,".，n)
使用(公式20)生成具有藍(lán)色信息的合成圖像hb。 [公式20]
hb(2 x— 1 ， 2 y— 1) = a(x，y)LPF—c—bg(x,y) hb(2 x， 2 y — 1) = b(x,y) LPF_c_br(x,y) hb(2'x—1， 2'y) = hb(2'x—1， 2'y—1) hb(2*x， 2'y) = hb(2'x， 2,y—1) (x = l，2,".，m, y=l，2，".，n)
在Dsr(x，y)的絕對值最大的情況下，使用(公式21)生成具有紅色信息 的合成圖像hr。 [公式21〗
hr(2 x — 1 ， 2 y — 1) = a(x,y) LPF一c一rg(x,y)
hr(2 x， 2 y—l) = b(x，y)
hr(2'x—1， 2'y) = hr(2'x， 2*y—1)
hr(2 x， 2 y) = hr(2 x+l， 2 y—1)
(x = l,2,."，m， y=l,2,."，n)
使用(公式22)生成具有綠色信息的合成圖像hg。 [公式22]
hg(2'x—1， 2'y—l) = a(x，y) hg(2 x， 2 y— 1) = b(x，y)/LPF一c一rg(x，y) hg(2'x—1， 2'y) = hg(2'x， 2'y—1) hg(2-x， 2'y) = hg(2'x+l， 2'y—1) (x = l,2,'",m， y=l,2,"'，n)
使用(公式23)生成具有藍(lán)色信息的合成圖像hb。 [公式23〗
hb(2 x— 1 ， 2 y — 1) = a(x，y) LPF—c—bg(x,y) hb(2 x， 2 y— 1) = b(x，y) LPF_c_br(x,y)hb(2-x—1， 2 y) = hb(2*x， 2*y—1) hb(2'x， 2 y) = hb(2 x+l， 2'y—1) (x=l，2，"'，m， y=l，2，'.-,n)
在Dsl(x，y)的絕對值最大的情況下，使用(公式24)生成具有紅色信息 的合成圖像hr。 [公式24]
hr(2 *x—1， 2'y—1) = a(x,y) LPF一c一rg(x，y) hr(2,x， 2 y—l) = b(x,y) hr(2'x—l， 2 y) = hr(2 x—2， 2'y—l) hr(2'x， 2 y) = hr(2 x—l， 2'y—1) (x=l，2，"'，m， y=l,2，."，n)
使用(公式25)生成具有綠色信息的合成圖像hg。
hg(2 x—1，2'y—l) = a(x，y)
hg(2 x，2 *y—l) = b(x，y)/LPF_c—一rg(x,y)
hg(2 x—1，2'y) = hg(2*x—2，2.y—1)
hg(2 x，2 y) = hg(2'x—l， 2'y—1)
(x= 1,2,".，m,y= 1，2，".，n)
使用(公式26)生成具有藍(lán)色信息的合成圖像hb。 [公式26]
hb(2 x— 1 ， 2 y — 1) = a(x，y) LPF—c—bg(x,y) hb(2 x， 2 y— 1) = b(x,y) LPF—c_br(x,y) hb(2*x—1， 2 y) = hb(2 x—2， 2-y—1) hb(2*x， 2 y) = hb(2 x—1， 2*y—1) (x=l，2，".，m, y = l,2,"',n)
由于圖10A中的物體圖像具有沿Y軸方向延伸的邊緣，所以使用(公 式18)到(公式20)來生成合成圖像hr、 hg和hb。通過合成所計(jì)算出的 紅色、綠色和藍(lán)色合成圖像hr、 hg和hb，可以如圖IOD所示去除圖10C 的圖像中引起的顏色偏差，得到具有2 "mX2 Ti像素且沒有顏色偏差的高 分辨率彩色圖像h一rgb。在圖IOD中，陰影通過線條密度來表示，例如較深顏色通過更高線條密度來表示，以及較淺顏色通過更低線條密度來表示。
下面是能得到如圖10D中所示的顏色偏差減少的圖像的原因。如圖10A 所示，在具有沿Y軸方向延伸邊緣的局部區(qū)域中，在Y軸方向上鄰近像素 的亮度值之間有高相關(guān)性。如此，即便當(dāng)將Y軸方向上鄰近像素的亮度值 設(shè)置為相等時(shí)，也幾乎不會(huì)對輸出圖像產(chǎn)生影響。因此，如(公式18)到 (公式20)所示，將同一值代入Y軸方向上的鄰近像素中。這樣重新產(chǎn)生 在Y^^方向上延伸邊緣的圖像的線性關(guān)系，從而得到?jīng)]有顏色偏差的圖像， 如圖IOD所示。
盡管在圖中沒有示出，在具有沿X軸方向延伸邊緣的局部區(qū)域中，在 X軸方向上鄰近像素的亮度值之間有高相關(guān)性。如此，即便當(dāng)將X軸方向 上鄰近像素的亮度值設(shè)置為相等時(shí)，也幾乎不會(huì)對輸出圖像產(chǎn)生影響。因 此，如(公式15)到(公式17)所示，將同一值代入X軸方向上的鄰近像 素中。這樣重新產(chǎn)生在X軸方向上延伸邊緣的圖像的線性關(guān)系，從而得到 沒有顏色偏差的圖像。
盡管在圖中沒有示出，在具有沿右上傾斜方向延伸邊緣的局部區(qū)域中， 在右上傾斜方向上鄰近像素的亮度值之間有高相關(guān)性。如此，即便當(dāng)將右 上傾斜方向上鄰近像素的亮度值設(shè)置為相等時(shí)，也幾乎不會(huì)對輸出圖像產(chǎn) 生影響。因此，如(公式21)到(公式23)所示，將同一值代入右上傾斜 方向上的鄰近像素中。這樣重新產(chǎn)生在右上傾斜方向上延伸邊緣的圖像的 線性關(guān)系，從而得到?jīng)]有顏色偏差的圖像。
盡管在圖中沒有示出，在具有沿左上傾斜方向延伸邊緣的局部區(qū)域中， 在左上傾斜方向上鄰近像素的亮度值之間有高相關(guān)性。如此，即便當(dāng)將左 上傾斜方向上鄰近像素的亮度值設(shè)置為相等時(shí)，也幾乎不會(huì)對輸出圖像產(chǎn) 生影響。因此，如(公式24)到(公式26)所示，將同一值代入左上傾斜 方向上的鄰近像素中。這樣重新產(chǎn)生在左上傾斜方向上延伸邊緣的圖像的 線性關(guān)系，從而得到?jīng)]有顏色偏差的圖像。
考慮到事實(shí)上在成像裝置103上形成的物體圖像通過透鏡102a到102d 后發(fā)生反轉(zhuǎn)，所以如圖8中所示，彩色合成圖像h一rgb的像素排列在Y軸 方向上反轉(zhuǎn)。上述的右上傾斜方向和左上傾斜方向均是指反轉(zhuǎn)后圖像中的 方向。根據(jù)上述本發(fā)明的復(fù)眼成像裝置，即便是在四個(gè)單透鏡分別投射的四
幅物體圖像之間的位移量偏離理想位移量即0.5像素的情況下，總是能夠輸 出具有低顏色偏差的高分辨率彩色圖像，而與物體距離無關(guān)。
此外，如圖11中所示，例如，在物體具有變化陰影的情況下，優(yōu)選地， 將(公式15)到(公式26)變?yōu)橄旅姘ú逯倒降?公式27)到(公式 38)。在這種方式中，即便是在四個(gè)單透鏡分別投射的四幅物體圖像之間的 位移量偏離理想位移量即0.5像素的情況下，總是能夠輸出具有低顏色偏差 的高分辨率彩色圖像，而與物體距離無關(guān)，以及能夠平滑地表現(xiàn)變化的陰 影。在圖11中，陰影通過線條密度來表示，例如較深顏色通過更高線條密 度來表示，以及較淺顏色通過更低線條密度來表示。
在(公式15)到(公式26)中，作為合成圖像hr、 hg和hb的像素的 亮度值，將位于該像素在邊緣方向上鄰近一側(cè)的像素的亮度值代入。另一 方面，在(公式27)到(公式38)中，代入通過將位于該像素在邊緣方向 上鄰近兩側(cè)的兩個(gè)像素的亮度值經(jīng)過線性插值得到的數(shù)值。應(yīng)該注意，插 值方法不局限于線性插值，還能夠用位于鄰近兩側(cè)的兩個(gè)像素的亮度值采 用三次插值，等等。
在所計(jì)算出的Dx(x，y) 、 Dy(x,y)、 Dsr(x，y)和Dsl(x,y)的絕對值中， Dx(x，y)的絕對值最大的情況下，分別使用(公式27)、(公式28)和(公式 29)生成合成圖像hr、 hg和hb。<formula>formula see original document page 31</formula><formula>formula see original document page 31</formula>+ hg(2'x+l， 2'y—1)) hg(2 x — 1 ， 2 y) = c(x，y)/LPF一c—bg(x，y) hg(2 x， 2 y)=0.5 (hg(2 x—l， 2 y)
+ hg(2'x+l， 2'y))
(x = 1,2，…，m， y-l,2，…,n) [公式29]
hb(2 x— 1, 2 y— 1) = a(x，y) LPF—c—bg(x，y) hb(2,x， 2 y—1)=0.5 (hb(2 x—1， 2*y—1)
+ hb(2.x+l， 2.y—l》 hb(2 x—1， 2 y) = c(x,y) hb(2 x， 2 y) = 0.5 (hb(2 x—1， 2 y)
+ hb(2.x+l， 2.y)) (x = 1，2，".，m， y = 1,2，…，n)
在Dy(x,y)的絕對值最大的情況下，分別使用(公式30)、(公式31)和 (公式32)生成合成圖像hr、 hg和hb。 [公式30]
hr(2 x— 1 ， 2 y— 1) = a(x,y) LPF—c—rg(x,y)
hr(2 x， 2 y— 1) = b(x,y)
hr(2.x—1， 2 y)=0.5 (hr(2 x—1, 2.y—1)
十hr(2.x—1， 2.y+l)) hr(2 x, 2 y)=0.5 (hr(2 x， 2 y—l)
十hr(2'x， 2'y+l》 (x=l，2，...，m， y=l，2，".，n) [公式31〗
hg(2,x—1， 2,y—l) = a(x，y)
hg(2 x， 2 y — 1) = b(x，y)/LPF—c一rg(x，y)
hg(2'x—l， 2'y) = 0.5*(hg(2'x—l， 2 y—1)
十hg(2'x—1， 2'y+l》 hg(2 x， 2 y) =0.5 ( hg(2 x, 2 y—1)
十hg(2'x， 2'y+l》(x = 1，2,…，m, y = 1,2，…，n) [公式32]
hb(2 x— 1 ， 2 y — 1) = a(x，y) LPF—c一bg(x，y) hb(2 x， 2 y— 1) = b(x,y) LPF—c_br(x,y) hb(2.x—l， 2 y) = 0.5 (hb(2 x—l， 2.y—1)
+ hb(2 x—1， 2 y+l》 hb(2 , x， 2 y) = 0.5 (hb(2 x， 2 y—1)
+ hb(2 x， 2 y+l)) (x^l,2,…，m, y=l，2,.-.,n)
在Dsr(x,y)的絕對值最大的情況下，分別使用(公式33)、(公式34) 和(公式35)生成合成圖像hr、 hg和hb。 [公式33]
hr(2 X— 1 ， 2 y — 1) = a(x，y) LPF—c_rg(x,y) hr(2'x， 2'y—l) = b(x，y) hr(2 x—1， 2 y) =0.5 (hr(2 x， 2 y—l)
+ hr(2 x—2， 2 y+l》 hr(2 x， 2 y)=0.5 (hr(2 x+l， 2 y—1)
十hr(2'x—1， 2'y+l》 (x = l，2,".,m， y=l，2，..',n) [公式34]
hg(2 x— 1 ， 2 y— 1) = a(x,y) hg(2 x， 2 y— 1) = b(x,y)/LPF—c—rg(x，y) hg(2'x—l， 2'y) = 0,5*(hg(2'x， 2'y—1)
十hg(2'x—2， 2'y+l)) hg(2 x， 2 y)=0.5 (hg(2 x+l， 2 y—1)
十hg(2.x—1， 2. y+l)) (x = l,2，".,m, y=l,2,."，n) [公式35]
hb(2 *x—1， 2*y—1) = a(x，y) LPF—c_bg(x，y) hb(2 x， 2 y— 1) = b(x，y) LPF—c_br(x，y)hb(2'x—1， 2 y) = 0.5 (hb(2 x， 2'y—1)
+ hb(2*x—2， 2'y+l》 hb(2 x， 2 y) = 0.5 (hb(2 x+l ， 2 y— 1)
+ hb(2 ,x—1， 2 .y+l》
(x=l,2，'"，m， y=l，2，".,n)
在Dsl(x,y)的絕對值最大的情況下，分別使用(公式36)、(公式37) 和(公式38)生成合成圖像hr、 hg和hb。 [公式36]
hr(2 .x—l， 2.y—1) = a(x，y) LPF一c一rg(x，y)
hr(2 x， 2 y—l)-b(x,y)
hr(2 x— 1 ， 2 y) =0.5 (hr(2 x—2， 2 y— 1)
+ hr(2 x， 2 y+l》 hr(2,x， 2 y)=0.5 (hr(2 x—1， 2'y—1)
+ hr(2 x+l， 2 y+l》 (x=l,2,".，m， y=l，2，...，n) [公式37]
hg(2.x—1， 2.y—l) = a(x，y)
hg(2 x， 2 y— 1) = b(x，y)/LPF一c—rg(x,y)
hg(2-x—1， 2,y) = 0.5*(hg(2'x—2， 2'y—1)
十hg(2'x， 2'y+l》 hg(2 x， 2 y)=0.5 (hg(2 x—1， 2 y—l)
+ hg(2 x+l， 2 y+l)) (x=l,2，."，m， y=l，2，.",n) [公式38]
hb(2 x— 1 ， 2 y — 1) = a(x，y) LPF_c_bg(x,y) hb(2 x， 2 y— 1) = b(x，y) LPF—c_br(x,y) hb(2.x—1， 2 y) = 0.5 (hb(2 x—2， 2.y—l)
+ hb(2*x， 2. y+l)) hb(2'x， 2 y) = 0.5 (hb(2 x—l, 2'y—1)
+ hb(2'x+l, 2* y+l))取決于物體距離，成像區(qū)域104d中像素d(x，y)有時(shí)接收相對于成像區(qū) 域104a中像素a(x，y)在X軸正方向上位移約0.5像素以及在Y軸正方向上 位移約0.5像素的物體圖像114。在這種情況下，優(yōu)選使用(公式39)到(公 式44)來代替(公式27)到(公式32)。在這種方式中，在特定物體距離 下，能夠改善綠色的顏色重現(xiàn)，使得能夠獲得高分辨率亮度信息，以及從 而能夠?qū)崿F(xiàn)視覺上的高分辨率圖像。
在所計(jì)算出的Dx(x,y) 、 Dy(x，y)、 Dsr(x,y)和Dsl(x,y)的絕對值中， Dx(x，y)的絕對值最大的情況下，分別使用(公式39)、(公式40)和(公式 41)生成合成圖像hr、 hg和hb。
hr(2 X— 1 ， 2 , y— 1) = a(x，y) LPF丄rg(x,y) hr(2'x， 2 y—1) = 0.5 (hr(2 x—1， 2 y—1)
+ hr(2'x+l, 2'y—1)) hr(2 x—1 ， 2 y) = 0.5 (hr(2 x， 2 y)
+ hr(2,x—2， 2'y)) hr(2 x， 2 y) = d(x，y) LPF—c一rg(x，y) (x = l，2,'",m， y=l,2,"'，n) [公式40]
hg(2'x—1， 2 *y—l) = a(x,y)
hg(2.x， 2.y—l)=0.5.(hg(2.x—1， 2.y—1)
+ hg(2.x+l, 2.y—1)) hg(2*x—1， 2'y) = 0.5'(hg(2'x， 2 y)
十hg(2'x—2， 2'y)) hg(2 x， 2 y) = d(x，y) (x=l,2，'"，m, y=l,2,"'，n) [公式41]
hb(2 x— 1 ， 2 y — 1) = a(x，y) LPF一c一bg(x，y) hb(2.x， 2 廣1)=0.5 (hb(2 x_l， 2 y—1)
+ hb(2.x+l， 2'y—1)) hb(2'x—1， 2 y) = 0.5 (hb(2 x， 2 y)+ hb(2 x—2， 2 y)) hb(2 x， 2 y) = b(x,y) LPF_c—bg(x,y) (x = l，2,."，m， y=l，2，"'，n)
在Dy(x,y)的絕對值最大的情況下，分別使用(公式42)、(公式43)和 (公式44)生成合成圖像hr、 hg和hb。 [公式42]
hr(2 x_ 1 ， 2 y — 1) = a(x,y) LPF—c_rg(x,y) hr(2 x， 2 y—1) =0.5 (hr(2 x， 2 y)
+ hr(2 x， 2 y—2)) hr(2'x—l， 2'y)-0.5 (hr(2 x—l， 2'y—l)
+ hr(2 'x—1， 2 'y+l)) hr(2 x， 2 y) = d(x,y) LPF—c—rg(x,y) (x = l,2,".,m, y=l,2，".，n) [公式43]
hg(2'x—l， 2'y—l)-a(x,y)
hg(2 x， 2 y—l) = 0.5 (hg(2 x， 2 y)
十hg(2.x， 2.y—2》 hg(2.x—1， 2.y) = 0.5 .(hg(2 .x—1， 2.y—1)
十hg(2'x—1， 2'y+l》 hg(2'x， 2-y"d(x，y) (x-l，2,…，m， y-l，2,…,n) [公式44]
hb(2 x— 1 ， 2 y— 1) = a(x，y) LPF丄bg(x,y) hb(2 x， 2 y—1) = 0.5 (hb(2 x， 2 y)
十hb(2'x， 2*y—2)) hb(2.x—l， 2.y) = 0.5.(hb(2.x—l， 2.y—1)
+ hb(2*x—1, 2*y+l)) hb(2 x， 2 y) = a(x,y) LPF_c—bg(x,y) (x = l，2，".，m， y=l,2,"'，n)
在物體包括曲線的情況下，曲線在合成彩色圖像h一rgb中有時(shí)不是平滑的。此外，由于利用局部區(qū)域中各個(gè)顏色的圖像信息之間相關(guān)性的圖像合 成方法，有時(shí)會(huì)發(fā)生顏色偏差。在這種情況下，優(yōu)選地，從通過對合成圖
像hr、 hg和hb進(jìn)行如(公式45)所示加權(quán)平滑濾波和如(公式46)所示 邊緣增強(qiáng)濾波得到的合成圖像EDGE—hr、 EDGE一hg和EDGE—hb，合成出 彩色圖像hjgb。在這種方式中，即便是在四個(gè)單透鏡分別投射的四幅物體 圖像之間的位移量偏離理想位移量即0.5像素的情況下，總是能夠輸出具有 低顏色偏差的高分辨率彩色圖像，而與物體距離無關(guān)。此外，能夠平滑地 表現(xiàn)變化的陰影，即便在物體包括曲線的情況下，也能夠?qū)⑶€表現(xiàn)為平 滑的曲線，以及能夠降低由于利用局部區(qū)域中各個(gè)顏色的圖像信息之間相 關(guān)性的圖像合成方法而引起的顏色偏差。 [公式45]
LPFJir(x，y) = (hr(x—1 ， y—l) + 2'hr(x， y—l)
+ hr(x+l， y—1) + 2 hr(x—1， y)
+ 4 hr(x， y) + 2 hr(x+l ， y)
+ hr(x— 1 ， y+l) + 2 hr(x， y+l)
+ hr(x+l， y+l))/16 LPF—hg(x，y) = (hg(x—1 ， y—l) + 2'hg(x， y—1)
+ hg(x+l， y—1) + 2 hg(x—1， y)
十4'hg(x， y) + 2*hg(x+l， y)
+ hg(x— 1 ， y+l) + 2 hg(x， y+l)
+ hg(x+l， y+l))/16 LPF—hb(x,y) = (hb(x—1， y—l) + 2*hb(x， y—1)
+ hb(x+l， y—1) + 2 hb(x—1， y)
+ 4 hb(x， y) + 2 hb(x+l ， y)
+ hb(x—1， y+l) + 2'hb(x， y+l)
+ hb(x+l， y+l))/16 (x = 1,2，…，2 m， y = 1，2，…，2 n) [公式46]
EDGE—hr(x，y) - —hr(x—1， y—1) — hr(x, y—1)
—hr(x+l， y—1) _ hr(x—1， y) + 5.hr(x， y)—hr(x+l， y) — hr(x—1， y+l) — hr(x， y+l)
_ hr(x+l， y+l) EDGEJig(x,y) = —hg(x—l， y_l) — hg(x， y—l)
—hg(x+l， y—1) 一 hg(x—1， y) + 5.hg(x， y)
—hg(x+l， y) — hg(x—1， y+l) — hg(x， y+l)
—hg(x+l， y+l) EDGE一hb(x,y) = —hb(x—1， y—l) — hb(x， y—l)
—hb(x+l， y—l) 一 hb(x—1， y) + 5,hb(x， y)
—hb(x+l， y) — hb(x—1， y+l) — hb(x， y+l)
一 hb(x+l， y+l) (x=l，2,".，2'm， y=l，2/",2-n) 在圖像的端部，有時(shí)無法進(jìn)行加權(quán)平滑濾波或其它類似計(jì)算。在這種 情況下，要執(zhí)行適當(dāng)處理，例如防止使用這樣的濾波。
在物體距離基本等于無限遠(yuǎn)距離，以及如圖12中所示，成像區(qū)域104c 中光軸105c的位置相對于成像區(qū)域104a中光軸105a的位置在X軸方向上 位移約0.5像素，并且成像區(qū)域104b中光軸105b的位置相對于成像區(qū)域 104a中光軸105a的位置在Y軸方向上位移約0.5像素的情況下，可以根據(jù) 物體的邊緣方向改變用于對合成圖像hr、 hg和hb進(jìn)行合成的方法，以及基 于上述相似概念使用加權(quán)平滑濾波和邊緣增強(qiáng)濾波。在這種方式中，即便 是在四個(gè)單透鏡分別投射的四幅物體圖像之間的位移量偏離理想位移量即 0.5像素的情況下，總是能夠輸出具有低顏色偏差的高分辨率彩色圖像。此 外，能夠平滑地表現(xiàn)變化的陰影，即便在物體包括曲線的情況下，也能夠 將曲線表現(xiàn)為平滑的曲線，以及能夠降低由于利用局部區(qū)域中各個(gè)顏色的 圖像信息之間相關(guān)性的圖像合成方法而引起的顏色偏差。
此外，在由于視差導(dǎo)致成像區(qū)域104c中的物體圖像的位置相對于成像 區(qū)域104a中的物體圖像的位置在X軸方向上位移約0.5像素，并且成像區(qū) 域104b中的物體圖像的位置相對于成像區(qū)域104a中的物體圖像的位置在Y 軸方向上位移約0.5像素的情況下，能夠根據(jù)物體的邊緣方向改變用于對合 成圖像hr、 hg和hb進(jìn)行合成的方法，以及能夠基于上述相似概念使用加權(quán) 平滑濾波和邊緣增強(qiáng)濾波。在這種方式中，即便是在四個(gè)單透鏡分別投射的四幅物體圖像之間的位移量偏離理想位移量即0.5像素的情況下，總是能 夠輸出具有低顏色偏差的高分辨率彩色圖像。此外，能夠平滑地表現(xiàn)變化 的陰影，即便在物體包括曲線的情況下，也能夠?qū)⑶€表現(xiàn)為平滑的曲線， 以及能夠降低由于利用局部區(qū)域中各個(gè)顏色的圖像信息之間相關(guān)性的圖像 合成方法而引起的顏色偏差。
在圖1中的四個(gè)透鏡102a到102d整體形成透鏡陣列的情況下，由于 溫度的變化，透鏡光軸105a到105d的位置會(huì)發(fā)生移動(dòng)。然而，因?yàn)橥哥R 陣列各向同性的膨脹和收縮，所以當(dāng)物體距離變化時(shí)，透鏡光軸105a到105d 的位置移動(dòng)方向與由于視差導(dǎo)致的物體圖像移動(dòng)方向相同。因此，通過視 差校正處理可以消除溫度變化的影響。從而，根據(jù)本實(shí)施例，即便當(dāng)溫度 變化時(shí)也總是能夠輸出具有較低顏色偏差的高分辨率彩色圖像。此外，能 夠平滑地表現(xiàn)變化的陰影，即便在物體包括曲線的情況下，也能夠?qū)⑶€ 表現(xiàn)為平滑的曲線，以及能夠降低由于利用局部區(qū)域中各個(gè)顏色的圖像信 息之間相關(guān)性的圖像合成方法而引起的顏色偏差。
上述實(shí)施例僅是示例性的，本發(fā)明并不局限于此。例如，利用不同顏 色的圖像信息之間相關(guān)性的圖像合成方法、根據(jù)物體邊緣方向?qū)D像合成 方法的選擇、加權(quán)平滑濾波和邊緣增強(qiáng)濾波的權(quán)重因子值等等，并不局限 于上述實(shí)例。也可以采用能夠?qū)崿F(xiàn)上述相似效果的，基于相似概念的其它 方法或數(shù)值。
在圖1中的成像裝置中，在四個(gè)單透鏡分別投射的四幅物體圖像之間 的位移量偏離理想位移量即0.5像素的情況下，為了減少計(jì)算時(shí)間和存儲(chǔ)量 可以去掉邊緣方向檢測部分108，從而使用(公式8)到(公式IO)來計(jì)算 紅色、綠色和藍(lán)色的合成圖像hr、 hg和hb。在這種情況下，通過將合成圖 像hr、hg和hb經(jīng)過圖1中的平滑濾波部分109和邊緣增強(qiáng)部分110的處理， 能夠降低由于事實(shí)上四幅物體圖像之間的位移量偏離理想位移量即0.5像 素而引起的顏色偏差，從而即使當(dāng)物體距離變化時(shí)，也總是能夠輸出具有 較低顏色偏差的高分辨率彩色圖像。此外，還能夠降低由于利用局部區(qū)域 中各個(gè)顏色的圖像信息之間相關(guān)性的圖像合成方法而引起的顏色偏差。
在本實(shí)施例的成像裝置中，可以去除濾色鏡113a、 113b、 113c和U3d。 在這種情況下，下面通過改變(公式5)到(公式47)，即便是在四個(gè)單透鏡分別投射的四幅物體圖像之間的位移量偏離理想位移量即0.5像素的情 況下，總是能夠輸出沒有顏色偏差的高分辨率單色圖像，而與物體距離或 溫度變化無關(guān)。此外，能夠?qū)崿F(xiàn)用于輸出單色圖像的薄型成像裝置，能夠 平滑地表現(xiàn)變化的陰影，即便在物體包括曲線的情況下，也能夠?qū)⑶€表 現(xiàn)為平滑的曲線。
<formula>formula see original document page 41</formula>只要滿足(公式48)，當(dāng)光軸105c與成像區(qū)域104c的相對位置關(guān)系相 對于光軸105a與成像區(qū)域104a的相對位置關(guān)系在Y軸方向上相對位移約 0.5像素時(shí)，成像區(qū)域104c上的物體圖像與成像區(qū)域104a上的物體圖像之 間在Y軸方向上的位移量總是大于或等于0.25像素且小于或等于0.75像 素，而與物體距離無關(guān)。
此外，只要滿足(公式48)，當(dāng)光軸105b與成像區(qū)域104b的相對位置 關(guān)系相對于光軸105a與成像區(qū)域104a的相對位置關(guān)系在X軸方向上相對位移約0.5像素時(shí)，成像區(qū)域104b上的物體圖像與成像區(qū)域104a上的物體 圖像之間在X軸方向上的位移量總是大于或等于0.25像素且小于或等于 0.75像素，而與物體距離無關(guān)。
也就是，只要滿足(公式48)，即使當(dāng)物體距離變化時(shí)，也能輸出具有 較低顏色偏差的高分辨率彩色和單色圖像。此外，能夠平滑地表現(xiàn)變化的 陰影，即便在物體包括曲線的情況下，也能夠?qū)⑶€表現(xiàn)為平滑的曲線， 以及能夠降低由于利用局部區(qū)域中各個(gè)顏色的圖像信息之間相關(guān)性的圖像 合成方法而引起的顏色偏差。
在本發(fā)明中，盡管需要透鏡102a到102d形成在同一平面上，但是即 使當(dāng)由于形狀誤差等，它們沒有嚴(yán)格形成在同一平面上時(shí)，也能夠?qū)崿F(xiàn)本 發(fā)明的成像裝置。
在本發(fā)明中，當(dāng)成像區(qū)域之間物體圖像位置的位移量為約0.5像素時(shí)， 通過圖像合成能夠得到高分辨率圖像。這里，"約0.5像素"是指大于或等 于0.25像素且小于或等于0.75像素。將參照圖14A到14C，對此進(jìn)行描述。
圖14A示出合成圖像中在X軸方向的一條線上，在成像區(qū)域104b中 形成物體圖像的像素和在成像區(qū)域104a中形成物體圖像的像素之間的位置 關(guān)系，所述合成圖像是在成像區(qū)域104b中的物體圖像和成像區(qū)域104a中 的物體圖像在X軸方向上位移0.5像素并在Y軸方向上位移0像素的情況 下，通過合成從成像區(qū)域104b得到的圖像和從成像區(qū)域104a得到的圖像 所得到的。每個(gè)白色圓圈代表在成像區(qū)域104a中形成物體圖像的像素201， 以及每個(gè)陰影線圓圈代表在成像區(qū)域104b中形成物體圖像的像素202。像 素201在X軸方向上的間距和像素202在X軸方向上的間距均為p。像素 201和像素202之間的距離為0.5p。同樣，合成圖像在X軸方向上的表觀 像素間距為0.5p，而且表觀采樣率加倍，從而在X軸方向上能夠?qū)崿F(xiàn)高分 辨率。
接下來，圖14B和14C示出合成圖像中在X軸方向的一條線上，在成 像區(qū)域104b中形成物體圖像的像素202和在成像區(qū)域104a中形成物體圖 像的像素201之間的位置關(guān)系，所述合成圖像是在成像區(qū)域104b中的物體 圖像和成像區(qū)域104a中的物體圖像在X軸方向上位移a像素(0.5 <a< 1) 并在Y軸方向上位移0像素的情況下，通過合成從成像區(qū)域104b得到的圖像和從成像區(qū)域104a得到的圖像所得到的。像素201在X軸方向上的間距 和像素202在X軸方向上的間距均為p。像素201和像素202之間的較長 距離為"p，其間的較短距離為(l-a"p。在這種情況下，考慮到較長像素 間距表觀為a p，當(dāng)像素間距為p的圖像的采樣頻率為fs時(shí)，圖14B和 14C中圖像的表觀采樣頻率為fs/a。本發(fā)明人通過實(shí)驗(yàn)證實(shí)，為了使得采樣 頻率為fs的圖像具有肉眼能辨別的更高分辨率，優(yōu)選地，將采樣分辨率增 加到4/3.fs或更高。因此，需要a二0.75。也就是在圖14B和14C中，像 素201和像素202之間的較長距離需要為0.75p，并且其間較短距離需要為 0.25p。
由于上述原因，為了獲得更高分辨率的合成圖像，優(yōu)選地，成像區(qū)域 之間物體圖像位置的位移量在0.25像素到0.75像素的范圍內(nèi)，在本發(fā)明中 稱為"約0.5像素"。盡管上文給出了對在X軸方向上實(shí)現(xiàn)更高分辨率的描 述，同樣適用于Y軸方向。
在大規(guī)模生產(chǎn)本發(fā)明成像裝置時(shí)，例如，可以通過對透鏡102a到102d 進(jìn)行精確模制，或者精確確定透鏡102a到102d和成像裝置103的相對位 置，實(shí)現(xiàn)成像區(qū)域104c上的物體圖像相對于成像區(qū)域104a上的物體圖像在 Y軸方向上位移約0.5像素，以及成像區(qū)域104b上的物體圖像相對于成像 區(qū)域104a上的物體圖像在X軸方向上位移約0.5像素?？蛇x地，通過調(diào)整 透鏡102a到102d和成像裝置103圍繞與透鏡光軸105a到105d平行的軸的 相對旋轉(zhuǎn)位置，也能夠?qū)崿F(xiàn)上述像素位移。
以編程語言、HDL (硬件描述語言)等描述圖1中圖像處理部分106 的處理，并且在圖15中示出其流程圖。在數(shù)字信號(hào)輸入步驟301中，輸入 來自圖1中A/D轉(zhuǎn)換器111的數(shù)字信號(hào)，在邊緣方向檢測步驟302中，執(zhí) 行與圖1中邊緣方向檢測部分108相似的處理，在圖像合成步驟303中， 執(zhí)行與圖1中圖像合成部分107相似的處理，在平滑濾波步驟304中，執(zhí) 行與圖1中平滑濾波部分109相似的處理，在邊緣增強(qiáng)步驟305中，執(zhí)行 與圖1中邊緣增強(qiáng)部分110相似的處理，以及在圖像輸出步驟306中，將 所處理的圖像輸出到監(jiān)視器、存儲(chǔ)器等。處理流程圖不局限于圖15中所示 的流程，任何包括相似處理的流程圖都能夠?qū)崿F(xiàn)本發(fā)明的效果。
上文描述的實(shí)施例是本發(fā)明的示例性實(shí)施例，并非限定本發(fā)明的技術(shù)范圍。
通過上述實(shí)施例，本發(fā)明能夠解決上述兩個(gè)問題，并具有如下有益效果。
第一，即使在物體和成像裝置之間的距離變化預(yù)定固定值的情況下， 或者在由于溫度變化等引起多個(gè)透鏡之間距離產(chǎn)生變化的情況下，像素位 移量不會(huì)變化，從而不需使用傳動(dòng)裝置器等進(jìn)行物理調(diào)整，也總能夠得到 高分辨率圖像，而與物體距離或溫度變化無關(guān)。
第二，即使在由于透鏡的形狀誤差或裝配誤差、物體距離、溫度等，
引起不同成像區(qū)域上物體圖像之間的位移量偏離理想位移量即0.5像素的 情況下，能夠得到?jīng)]有可察覺顏色偏差的高質(zhì)量圖像。
利用上述第一和第二有益效果，能夠得到薄型成像裝置，其總是能夠 捕獲具有大量像素的高質(zhì)量圖像，而與透鏡的形狀誤差或裝配誤差、物體 距離、溫度等無關(guān)。
本發(fā)明可以在其它具體形式中實(shí)施，而不偏離本發(fā)明精神或?qū)嵸|(zhì)特征。 在本申請中公開的實(shí)施例在所有方面都被認(rèn)為是示例性的，而非限定性的，
本發(fā)明保護(hù)范圍由所附權(quán)利要求書限定，而非由前文描述限定，在與所附 權(quán)利要求等價(jià)涵義和范圍內(nèi)得出的變化，都包括在本發(fā)明保護(hù)范圍內(nèi)。 工業(yè)實(shí)用性
盡管在沒有具體限定的任何領(lǐng)域中都能夠利用根據(jù)本發(fā)明的成像裝 置，其在例如移動(dòng)設(shè)備、車輛、醫(yī)學(xué)應(yīng)用、監(jiān)視應(yīng)用和機(jī)器人等的應(yīng)用中 是有用的。
權(quán)利要求
1、一種成像裝置，包括排列在同一平面上的多個(gè)透鏡；和多個(gè)成像區(qū)域，用于分別接收由所述多個(gè)透鏡形成的多個(gè)物體圖像；其中，所述多個(gè)成像區(qū)域中每一個(gè)的像素排列的垂直線方向和水平線方向在所述多個(gè)成像區(qū)域之間是彼此相等的，以及將由所述多個(gè)成像區(qū)域中在所述垂直線方向上具有視差的至少一對成像區(qū)域所接收的至少一對物體圖像，在所述水平線方向上相互位移一預(yù)定量。
2、 一種成像裝置，包括 排列在同一平面上的多個(gè)透鏡；和多個(gè)成像區(qū)域，用于分別接收由所述多個(gè)透鏡形成的多個(gè)物體圖像； 其中，所述多個(gè)成像區(qū)域中每一個(gè)的像素排列的垂直線方向和水平線方向在所述多個(gè)成像區(qū)域之間是彼此相等的，以及將由所述多個(gè)成像區(qū)域中在所述水平線方向上具有視差的至少一對成像區(qū)域所接收的至少一對物體圖像，在所述垂直線方向上相互位移一預(yù)定量。
3、 如權(quán)利要求1或2所述的成 述多個(gè)成像區(qū)域中在位移所述預(yù)定〗 倍。
4、 如權(quán)利要求1或2所述的成 多個(gè)成像區(qū)域之間設(shè)置多個(gè)濾色鏡。像裝置，其中，所述預(yù)定量的范圍是所 量的方向上的像素間距的0.25到0.75像裝置，其中，在所述多個(gè)透鏡和所述
5、如權(quán)利要求4所述的成像裝置，其中，所述多個(gè)濾色鏡中的至少兩 個(gè)具有相同的光譜透射特性。
6、 如權(quán)利要求1或2所述的成像裝置，還包括圖像處理部件，其用于處理從所述多個(gè)成像區(qū)域分別輸出的多個(gè)圖像數(shù)據(jù)；其中，所述圖像處理部件包括圖像合成部件，其用于合成所述多個(gè)圖 像數(shù)據(jù)，以生成和輸出分辨率高于所述多個(gè)圖像數(shù)據(jù)的分辨率的合成圖像，所述圖像合成部件包括邊緣方向檢測部件，其用于檢測在所述多個(gè)圖 像數(shù)據(jù)的至少一個(gè)圖像數(shù)據(jù)中包含的局部區(qū)域中的邊緣方向，以及所述圖像合成部件基于由所述邊緣方向檢測部件確定的邊緣方向，改 變用于合成所述多個(gè)圖像數(shù)據(jù)的方法。
7、 如權(quán)利要求6所述的成像裝置，其中，當(dāng)所述邊緣方向檢測部件確 定所述局部區(qū)域中的邊緣方向與所述垂直線方向相同時(shí)，所述圖像合成部 件在所合成圖像數(shù)據(jù)的所述局部區(qū)域中、在垂直方向上連續(xù)排列相同的像 素信號(hào)值。
8、 如權(quán)利要求6所述的成像裝置，其中，當(dāng)所述邊緣方向檢測部件確 定所述局部區(qū)域中的邊緣方向與所述垂直線方向相同時(shí)，所述圖像合成部 件在所述合成圖像數(shù)據(jù)的局部區(qū)域中，在所述水平線方向上排列所述多個(gè) 圖像數(shù)據(jù)中在所述水平線方向上相互位移的至少兩個(gè)圖像數(shù)據(jù)的像素信號(hào) 值，以及在所述垂直線方向上的兩個(gè)鄰近像素之間排列這兩個(gè)像素的像素 信號(hào)值的內(nèi)插值。
9、 如權(quán)利要求6所述的成像裝置，其中，當(dāng)所述邊緣方向檢測部件確 定所述局部區(qū)域中的邊緣方向與所述水平線方向相同時(shí)，所述圖像合成部 件在所述合成圖像數(shù)據(jù)的所述局部區(qū)域中、在水平方向上連續(xù)排列相同的 像素信號(hào)值。
10、 如權(quán)利要求6所述的成像裝置，其中，當(dāng)所述邊緣方向檢測部件 確定所述局部區(qū)域中的邊緣方向與所述水平線方向相同時(shí)，所述圖像合成 部件在所述合成圖像數(shù)據(jù)的局部區(qū)域中，在所述垂直線方向上排列所述多 個(gè)圖像數(shù)據(jù)中在所述垂直線方向上相互位移的至少兩個(gè)圖像數(shù)據(jù)的像素信號(hào)值，以及在所述水平線方向上的兩個(gè)鄰近像素之間排列這兩個(gè)像素的像 素信號(hào)值的內(nèi)插值。
11、 如權(quán)利要求6所述的成像裝置，其中，當(dāng)所述邊緣方向檢測部件 確定所述局部區(qū)域中的邊緣方向關(guān)于所述垂直線方向傾斜時(shí)，所述圖像合 成部件在所述合成圖像數(shù)據(jù)的所述局部區(qū)域中、在所述邊緣方向上連續(xù)排 列相同的像素信號(hào)值。
12、 如權(quán)利要求6所述的成像裝置，其中，當(dāng)所述邊緣方向檢測部件 確定所述局部區(qū)域中的邊緣方向關(guān)于所述垂直線方向傾斜時(shí)，所述圖像合 成部件在所述合成圖像數(shù)據(jù)的所述局部區(qū)域中，排列所述多個(gè)圖像數(shù)據(jù)中 在所述水平線方向上或所述垂直線方向上相互位移的至少兩個(gè)圖像數(shù)據(jù)的 像素信號(hào)值和在所述邊緣方向上的兩個(gè)鄰近像素的像素信號(hào)值的內(nèi)插值。
13、 如權(quán)利要求6所述的成像裝置，還包括圖像處理部件，其用于處 理從所述多個(gè)成像區(qū)域分別輸出的多個(gè)圖像數(shù)據(jù)；其中，所述圖像處理部件包括圖像合成部件，其用于合成所述多個(gè)圖 像數(shù)據(jù)，以生成和輸出分辨率高于所述多個(gè)圖像數(shù)據(jù)的分辨率的合成圖像， 以及所述圖像合成部件根據(jù)所述多個(gè)成像區(qū)域的位移量，從所述多個(gè)圖像 數(shù)據(jù)中選擇用于合成的多個(gè)圖像數(shù)據(jù)。
14、 如權(quán)利要求13所述的成像裝置，其中，所述圖像合成部件從所述 多個(gè)圖像數(shù)據(jù)中選擇這樣的圖像數(shù)據(jù)，該圖像數(shù)據(jù)的位移量最接近預(yù)定值。
15、 如權(quán)利要求13所述的成像裝置，其中，所述圖像合成部件從所述 多個(gè)圖像數(shù)據(jù)中選擇這樣的圖像數(shù)據(jù)，該圖像數(shù)據(jù)的位移量在預(yù)定范圍內(nèi)。
16、 如權(quán)利要求15所述的成像裝置，其中，所述預(yù)定范圍是所述多個(gè) 成像區(qū)域中在位移所述預(yù)定量的方向上的像素間距的0.25到0.75倍的范圍。
17、如權(quán)利要求1或2所述的成像裝置，還包括圖像處理部件，其用 于處理從所述多個(gè)成像區(qū)域分別輸出的多個(gè)圖像數(shù)據(jù)； 其中，所述圖像處理部件包括圖像合成部件，用于合成所述多個(gè)圖像數(shù)據(jù)，以生成和輸出分辨率高 于所述多個(gè)圖像數(shù)據(jù)的分辨率的合成圖像；平滑濾波部件，用于輸出通過基于每個(gè)像素的附近像素的像素信號(hào)值 來平滑所述每個(gè)像素的像素信號(hào)值而獲得的平滑圖像數(shù)據(jù)，所述每個(gè)像素 指所述合成圖像數(shù)據(jù)中的或通過處理所述合成圖像數(shù)據(jù)而獲得的圖像數(shù)據(jù) 中的每個(gè)像素；以及邊緣增強(qiáng)濾波部件，用于輸出通過基于每個(gè)像素的附近像素的像素信 號(hào)值來對所述每個(gè)像素的像素信號(hào)值進(jìn)行邊緣增強(qiáng)而獲得的邊緣增強(qiáng)圖像 數(shù)據(jù)，所述每個(gè)像素指所述平滑圖像數(shù)據(jù)中的或通過處理所述平滑圖像數(shù) 據(jù)而獲得的圖像數(shù)據(jù)中的每個(gè)像素。
全文摘要
排列在同一平面上的多個(gè)透鏡102a到102d在多個(gè)成像區(qū)域104a到104d上形成多個(gè)物體圖像。在所述多個(gè)成像區(qū)域的每一個(gè)中排列像素的垂直線方向和水平線方向是在所述多個(gè)成像區(qū)域之間彼此相等的。此外，將所述多個(gè)成像區(qū)域中在垂直線(或水平線)方向上具有視差的至少一對成像區(qū)域所接收的至少一對物體圖像，在水平線(或垂直線)方向上相互位移一預(yù)定量。通過在與產(chǎn)生視差的方向垂直的方向上進(jìn)行像素位移，即使當(dāng)物體距離變化時(shí)，也總是能夠得到高分辨率圖像。
文檔編號(hào)H04N5/349GK101310539SQ20068004282
公開日2008年11月19日 申請日期2006年11月10日 優(yōu)先權(quán)日2005年11月22日
發(fā)明者大山一朗, 平澤拓, 永島道芳, 飯島友邦 申請人:松下電器產(chǎn)業(yè)株式會(huì)社