圖像處理方法、圖像處理裝置、攝像裝置及圖像處理程序的制作方法
【專利摘要】圖像處理方法，包括：使用第一圖像的左視差像素的像素值在各像素生成臨時左視點圖像步驟，使用第一圖像的右視差像素的像素值在各像素生成臨時右視點圖像的步驟，使用第一圖像的至少無視差像素的像素值在各像素生成基準視點圖像的步驟，對基準視點圖像進行邊緣增強處理并生成被邊緣增強的基準視點圖像的步驟，基于被邊緣增強的基準視點圖像和臨時左視點圖像和臨時右視點圖像分別在各像素生成左方向視點相關的圖像和右方向視點相關的圖像的步驟。
【專利說明】圖像處理方法、圖像處理裝置、攝像裝置及圖像處理程序

【技術領域】
[0001] 本發(fā)明涉及一種圖像處理方法、圖像處理裝置、攝像裝置及圖像處理程序。

【背景技術】
[0002] 已知的攝像裝置利用單個攝像光學系統(tǒng)通過一次拍攝生成彼此具有視差的多個 視差圖像。
[0003] 現(xiàn)有技術文獻
[0004] 專利文獻1 :日本特開2003-7994號公報


【發(fā)明內(nèi)容】

[0005] 發(fā)明要解決的問題：
[0006] 在專利文獻1中并未公開當采用由一臺相機完成的新的立體攝像方式時，實際上 從攝像數(shù)據(jù)生成高清晰的立體彩色圖像的具體方法。通常，已知在由一臺相機進行2D攝像 時的2D彩色圖像生成過程中實施色彩插值、此后進行噪音去除、邊緣增強等而得到高清晰 2D圖像的手法。然而，在新的3D攝像方式中，經(jīng)過何種手續(xù)便能最終得到高清晰的立體圖 像仍處于未知的狀態(tài)。例如，在這種攝像裝置中，有時使用生成的視差圖像生成高分辨率的 視差圖像。在此情形中，對所生成的多個視差圖像單獨實施邊緣增強、噪音去除等濾波處 理，伴隨著各個視差像素采樣密度的不足，反而會在各個視差圖像中產(chǎn)生莫爾贗像。
[0007] 解決問題的方案：
[0008] 本發(fā)明第一形態(tài)中的圖像處理方法，輸入使用攝像元件經(jīng)由一個光學系統(tǒng)輸入將 被拍體像以基準方向視點、左方向視點和右方向視點同時拍攝到各不相同像素中的第一圖 像，轉換為左方向視點相關的圖像和右方向視點相關的圖像，該攝像元件包括在一個像素 具有一個開口掩模的多個像素，并包括配置有具備生成基準方向視點的開口掩模的無視差 像素、具備相對于基準方向生成左方向視差的開口掩模的左視差像素、以及具備相對于基 準方向生成右方向視差的開口掩模的右視差像素的至少三種像素的像素排列，該圖像處理 方法包括：使用第一圖像的左視差像素的像素值在各像素生成臨時左視點圖像的步驟；使 用第一圖像的右視差像素的像素值在各像素生成臨時右視點圖像的步驟；使用第一圖像的 至少無視差像素的像素值在各像素生成基準視點圖像的步驟；對基準視點圖像進行邊緣增 強處理，生成被邊緣增強的基準視點圖像的步驟；以及基于被邊緣增強的基準視點圖像、臨 時左視點圖像和臨時右視點圖像，在各像素分別生成左方向視點相關的圖像和右方向視點 相關的圖像的步驟。
[0009] 本發(fā)明第二形態(tài)中的圖像處理方法輸入使用攝像元件經(jīng)由一個光學系統(tǒng)輸入將 被拍體像以基準方向視點、左方向視點和右方向視點同時拍攝到各不相同像素中的第一圖 像，并將該第一圖像轉換為左方向視點相關的圖像和右方向視點相關的圖像，該攝像元件 包括在一個像素具有一個開口掩模的多個像素，并包括配置有具備生成基準方向視點的開 口掩模的無視差像素、具備相對于基準方向生成左方向視差的開口掩模的左視差像素、以 及具備相對于基準方向生成右方向視差的開口掩模的右視差像素的至少三種像素的像素 排列，該圖像處理方法包括：使用第一圖像的左視差像素的像素值在各像素生成臨時左視 點圖像的步驟；使用第一圖像的右視差像素的像素值在各像素生成臨時右視點圖像的步 驟；使用第一圖像的無視差像素的像素值在各像素生成基準視點圖像的步驟；對基準視點 圖像進行噪音去除處理并生成噪音去除后的基準視點圖像的步驟；基于噪音去除后的基準 視點圖像、臨時左視點圖像和臨時右視點圖像，在各像素分別生成左方向視點相關的圖像 和右方向視點相關的圖像的步驟。
[0010] 本發(fā)明第三形態(tài)中的圖像處理裝置包括：視差圖像數(shù)據(jù)取得部，取得相對于基準 方向向第一方向錯開的視點所對應的第一視差圖像數(shù)據(jù)和相對于基準方向向與第一方向 相反的第二方向錯開的視點所對應的第二視差圖像數(shù)據(jù)；基準圖像數(shù)據(jù)取得部，取得對應 于基準方向且分辨率高于第一視差圖像數(shù)據(jù)及第二視差圖像數(shù)據(jù)的空間頻率分辨率的基 準圖像數(shù)據(jù)；濾波處理部，對基準圖像數(shù)據(jù)實施邊緣調(diào)整及噪音去除的至少之一的濾波處 理；以及視差圖像數(shù)據(jù)生成部，使用實施了濾波處理的基準圖像數(shù)據(jù)、第一視差圖像數(shù)據(jù)及 第二視差圖像數(shù)據(jù)生成向第一方向錯開的視點所對應的第三視差圖像數(shù)據(jù)、向第二方向錯 開的視點所對應的第四視差圖像數(shù)據(jù)。
[0011] 本發(fā)明第四形態(tài)中的攝像裝置包括：攝像元件，輸出第一視差圖像數(shù)據(jù)及第二視 差圖像數(shù)據(jù)的至少之一；以及上述圖像處理裝置。
[0012] 本發(fā)明第五形態(tài)中的圖像處理程序使計算機執(zhí)行：視差圖像數(shù)據(jù)取得步驟，取得 相對于基準方向向第一方向錯開的視點所對應的第一視差圖像數(shù)據(jù)和相對于基準方向向 與第一方向相反的第二方向錯開的視點所對應的第二視差圖像數(shù)據(jù)；基準圖像數(shù)據(jù)取得步 驟，取得對應于基準方向且分辨率高于第一視差圖像數(shù)據(jù)及第二視差圖像數(shù)據(jù)的空間頻率 分辨率的基準圖像數(shù)據(jù)；濾波處理部，對基準圖像數(shù)據(jù)實施邊緣調(diào)整及噪音去除的至少之 一的濾波處理；以及視差圖像數(shù)據(jù)生成步驟，使用實施了濾波處理的基準圖像數(shù)據(jù)、第一視 差圖像數(shù)據(jù)及第二視差圖像數(shù)據(jù)生成向第一方向錯開的的視點所對應的第三視差圖像數(shù) 據(jù)、向第二方向錯開的視點所對應的第四視差圖像數(shù)據(jù)。
[0013] 另外，上述
【發(fā)明內(nèi)容】
并未列舉出本發(fā)明的全部可能特征，所述特征組的子組合也 有可能構成發(fā)明。

【專利附圖】

【附圖說明】
[0014] 圖1是說明數(shù)碼相機10的結構的圖。
[0015] 圖2是說明攝像元件100的截面結構的圖。
[0016] 圖3是說明無視差像素中的散焦的示意圖。
[0017] 圖4是說明視差像素中的散焦的示意圖。
[0018] 圖5是表示無視差像素與視差像素的光強度分布圖。
[0019] 圖6是說明當有兩種視差像素時開口部104的開口形狀的圖。
[0020] 圖7是表示拜耳型G視差像素排列及該排列的頻率空間中的分辨率的圖。
[0021] 圖8是說明視差圖像的莫爾條紋的圖。
[0022] 圖9是表示像素排列圖及該排列的頻率空間中的分辨率的圖。
[0023] 圖10是表示像素排列圖及該排列的頻率空間中的分辨率的圖。
[0024] 圖11是表不當有兩種視差像素時重復圖案110的變形的一例的圖。
[0025] 圖12是用于說明計算增益值的圖。
[0026] 圖13是用于說明增益校正的圖。
[0027] 圖14是用于說明生成臨時視差圖像的圖。
[0028] 圖15是用于說明計算增益值的圖。
[0029] 圖16是用于說明本地增益校正的圖。
[0030] 圖17是說明G分量的插值的圖。
[0031] 圖18是說明色彩視差層數(shù)據(jù)的生成處理的圖。
[0032] 圖19是表示像素值的插值的一例的圖。

【具體實施方式】
[0033] 以下通過發(fā)明實施方式對本發(fā)明進行說明，但以下實施方式并非對權利要求書所 涉及的發(fā)明進行限定。并且，實施方式中說明的特征組合也并非全部為本發(fā)明的必要特征。 [0034] 作為圖像處理裝置及攝像裝置的一形態(tài)的本實施方式所述數(shù)碼相機被構成為針 對一個場景進行一次拍攝便能生成左視點及右視點的圖像。將彼此視點各異的各個圖像稱 為視差圖像。
[0035] 圖1為說明數(shù)碼相機10的結構圖。數(shù)碼相機10具有作為拍攝光學系統(tǒng)的拍攝透 鏡20,將沿光軸21入射的被拍體光束引導至攝像元件100。拍攝透鏡20也可以是相對于 數(shù)碼相機10可裝卸的可換式透鏡。數(shù)碼相機10具備：攝像元件100、控制部201、A/D轉換 電路202、存儲器203、驅(qū)動部204、圖像處理部205、存儲卡IF207、操作部208、顯示部209、 IXD驅(qū)動電路210及AF傳感器211。
[0036] 另外，如圖所示，將與朝向攝像元件100的光軸21相平行的方向定為+Z軸方向， 將在與Z軸相正交的平面中朝向紙背面的方向定為+X軸方向、將紙面上方向定為+Y軸。與 拍攝中的構圖的關系成為：X軸是水平方向、Y軸是垂直方向。在此后的幾個圖中以圖1的 座標軸為基準來表示座標軸，使得各個圖朝向易于理解。
[0037]拍攝透鏡20由多個光學透鏡群構成，使來自于場景的被拍體光束在其焦點面附 近成像。另外，在圖1中為了便于說明拍攝透鏡20,以配置在光瞳附近的一片假想透鏡為代 表進行表示。攝像元件100配置于拍攝透鏡20的焦點面附近。攝像元件100是二維排列 有多個光電轉換元件的例如CCD、CMOS傳感器等圖形傳感器。攝像元件100由驅(qū)動部204 進行定時控制，將在受光面上成像的被拍體像轉換成圖像信號并輸出給A/D轉換電路202。
[0038] A/D轉換電路202將攝像元件100輸出的圖像信號轉換成數(shù)字圖像信號輸出給存 儲器203。圖像處理部205將存儲器203作為工作空間實施各種圖像處理，生成圖像數(shù)據(jù)。 具體地，圖像處理部205具有：插值處理部231、基準圖像數(shù)據(jù)生成部232、濾波處理部233、 及視差圖像數(shù)據(jù)生成部234。
[0039] 插值處理部231基于攝像元件100的輸出生成左視點的左視差圖像數(shù)據(jù)及右視點 的右視差圖像數(shù)據(jù)。由插值處理部231生成的左視差圖像數(shù)據(jù)及右視差圖像數(shù)據(jù)是被用于 進行基準圖像數(shù)據(jù)生成部232及視差圖像數(shù)據(jù)生成部234的處理的數(shù)據(jù)。由插值處理部 231生成的左視差圖像數(shù)據(jù)及右視差圖像數(shù)據(jù)本身并不作為最終的左視差圖像數(shù)據(jù)及右視 差圖像數(shù)據(jù)進行輸出，該左視差圖像數(shù)據(jù)及該右視差圖像數(shù)據(jù)可以認為是用于生成最終的 視差圖像數(shù)據(jù)的臨時視差圖像數(shù)據(jù)。由插值處理部231生成的左視差圖像數(shù)據(jù)及右視差圖 像數(shù)據(jù)的空間頻率分辨率低于由視差圖像數(shù)據(jù)生成部234生成的左視差圖像數(shù)據(jù)及右視 差圖像數(shù)據(jù)的空間頻率分辨率。
[0040] 基準圖像數(shù)據(jù)生成部232采用由插值處理部231生成的左視差圖像數(shù)據(jù)及右視差 圖像數(shù)據(jù)的像素值生成基準圖像數(shù)據(jù)?；鶞蕡D像數(shù)據(jù)的詳細內(nèi)容如所述。基準圖像數(shù)據(jù)的 空間頻率分辨率高于由插值處理部231生成的左視差圖像數(shù)據(jù)及右視差圖像數(shù)據(jù)的空間 頻率分辨率。
[0041] 濾波處理部233對由基準圖像數(shù)據(jù)生成部232生成的基準圖像數(shù)據(jù)實施邊緣調(diào)整 及噪音去除的至少之一的濾波處理。在以下說明中，作為邊緣調(diào)整，主要舉了邊緣增強為例 進行說明。
[0042] 視差圖像數(shù)據(jù)生成部234使用由插值處理部231生成的左視差圖像數(shù)據(jù)及右視差 圖像數(shù)據(jù)以及由濾波處理部233實施了濾波處理的基準圖像數(shù)據(jù)來生成比由視差圖像數(shù) 據(jù)生成部234生成的左視差圖像數(shù)據(jù)及右視差圖像數(shù)據(jù)理更高分辨的左視差圖像數(shù)據(jù)及 更高分辨的右視差圖像數(shù)據(jù)。
[0043] 圖像處理部205承擔依照另外所選的圖像格式調(diào)整圖像數(shù)據(jù)等圖像處理的一般 功能。所生成的圖像數(shù)據(jù)由IXD驅(qū)動電路210轉換成顯示信號顯示在顯示部209中。并保 存在存儲卡IF207上裝設的存儲卡220中。
[0044] AF傳感器211是相對于被拍體空間設定了多個測距點的相位差傳感器，在各個測 距點上檢測被拍體像的散焦量。一連串的拍攝序列是從操作部208接收到用戶操作并將操 作信號輸出給控制部201而開始的。拍攝序列所附帶的AF(自動調(diào)焦，Auto Focus)、AE (自 動曝光，Auto Expose)等各種動作由控制部201控制執(zhí)行。例如，控制部201解析AF傳感 器211的檢測信號，使構成拍攝透鏡20的一部分的聚焦透鏡移動以執(zhí)行對焦控制。
[0045] 以下針對攝像元件100結構進行詳細說明。圖2為表示攝像元件100的截面示意 圖。
[0046] 攝像元件100從被拍體側開始依次順排列有：微型透鏡101、彩色濾光片102、開 口掩模103、布線層105及光電轉換元件108。光電轉換元件108由將入射的光轉換為電信 號的光電二極管構成。光電轉換元件108在基板109的表面上二維排列有多個。
[0047] 由光電轉換元件108轉換的圖像信號、控制光電轉換元件108的控制信號等通過 在布線層105上設置的布線106進行收發(fā)。另外，相對于各光電轉換兀件108 -對一地對 應設置且具有二維重復排列的開口部104的開口掩模103,與布線層相接觸設置。開口部 104如后所述與相應的光電轉換元件108逐個偏移，相對位置被進行嚴格設定。詳細內(nèi)容如 后所述，通過具有該開口部104的開口掩模103的作用，在由光電轉換元件108受光的被拍 體光束上產(chǎn)生視差。
[0048] 另一方面，在不產(chǎn)生視差的光電轉換元件108上不存在開口掩模103。換言之，并 不限制相對于相應光電轉換元件108入射的被拍體光束，即也可以認為設置有具有使全部 入射光束通過的開口部104的開口掩模103。雖然不產(chǎn)生視差，但實際上由于通過布線106 所形成的開口 107規(guī)定了入射的被拍體光束，因此也可以將布線106看作是使不產(chǎn)生視差 的全部入射光束通過的開口掩模。開口掩模103既可以對應于各光電轉換元件108分別獨 立排列，也可以與彩色濾光片102的制造工藝相同地相對于多個光電轉換元件108-起形 成。
[0049] 彩色濾光片102設置于開口掩模103上。彩色濾光片102是使特定波段透過各光 電轉換元件108而被上色的、與光電轉換元件108的每一個一對一對應設置的濾光片。為 了輸出彩色圖像，只要排列彼此互異的至少兩種彩色濾光片即可，但為了得到更高畫質(zhì)的 彩色圖像，最好排列三種以上的彩色濾光片。例如可以以網(wǎng)格狀排列使紅色波段透過的紅 色濾光片（R濾光片）、使綠色波段透過的綠色濾光片（G濾光片）、以及使藍色波段透過的 藍色濾光片（B濾光片）。彩色濾光片不僅可以為原色RGB的組合，也可以為YCM的補色濾 光片組合。
[0050] 微型透鏡101設置于彩色濾光片102上。微型透鏡101是用于將入射的被拍體光 束更多地引導至光電轉換元件108的聚光透鏡。微型透鏡101與光電轉換元件108的每一 個一對一對應設置。微型透鏡101最好考慮拍攝透鏡20的光瞳中心與光電轉換元件108 的相對位置關系來使其光軸偏移，以使得更多的被拍體光束被引導至光電轉換元件108。進 一步地，可以與開口掩模103的開口部104的位置一并調(diào)整配置位置，使得后述的特定被拍 體光束更多地入射。
[0051] 如此一來，將與各個光電轉換元件108--對應設置的開口掩模103、彩色濾光片 102及微型透鏡101的一個單位稱為像素。具體地，將設置有產(chǎn)生視差的開口掩模103的像 素稱為視差像素，將未設置有產(chǎn)生視差的開口掩模103的像素稱為無視差像素。例如，當攝 像元件100的有效像素區(qū)域為24_X 16mm左右時，像素數(shù)量達到1200萬左右。
[0052] 另外，在聚光效率、光電轉換效率良好的圖形傳感器的情形中，也可以不設置微型 透鏡101。另外，在背面照射型圖形傳感器的情形中，布線層105設置于與光電轉換元件108 相反的一側。而且，只要使開口掩模103的開口部104上具有色彩分量，也可以使彩色濾光 片102與開口掩模103 -體形成。另外，如果只輸出黑白圖像信號即可，則不設置彩色濾光 片 102。
[0053] 另外，在本實施方式中，開口掩模103與布線106分體設置，但由布線106承擔視 差像素中的開口掩模103的功能也是可以的。即，由布線106形成所規(guī)定的開口形狀，由該 開口形狀限制入射光束從而僅將特定部分光束引導至光電轉換元件108。此時，形成開口形 狀的布線106最好在布線層105中最靠近光電轉換元件108偵k
[0054] 另外，開口掩模103也可以由重疊設置于光電轉換元件108上的防透射膜形成。此 時，開口掩模103例如將SiN膜和Si02膜依次層疊作為防透射膜，將相當于開口部104的 區(qū)域通過蝕刻去除而形成。
[0055] 以下示意性說明視差Lt像素及視差Rt像素受光時的散焦。首先是針對無視差像 素中的散焦進行簡單示意性說明的圖。圖3為說明無視差像素中的散焦的示意圖。如圖 3 (a)所示，當作為被拍體的物點位于焦點位置時，通過透鏡光瞳到達攝像元件受光面的被 拍體光束表現(xiàn)出以對應像點的像素為中心的陡峭的光強度分布。即，若接收到通過透鏡光 瞳的全部有效光束的無視差像素排列在像點附近，則與像點對應的像素的輸出值最大，排 列于周邊的像素的輸出值急劇下降。
[0056] 另一方面，如圖3(b)所示，如果物點從焦點位置偏移，則與物點位于焦點位置的 情形相比，被拍體光束在攝像元件受光面上表現(xiàn)出平緩的光強度分布。即，表現(xiàn)出對應像點 的像素中的輸出值下降、而且直到周邊像素具有輸出值的分布。
[0057] 而且，如圖3(c)所示，如果物點從焦點位置進一步偏移，則被拍體光束在攝像元 件受光面表現(xiàn)出更加平緩的光強度分布。即，表現(xiàn)出對應像點的像素中的輸出值進一步下 降、且直到更靠周邊像素都具有輸出值的分布。
[0058] 圖4為說明視差像素中的散焦的示意圖。視差Lt像素及視差Rt像素接收到從作 為透鏡光瞳的部分區(qū)域分別設定于于光軸對象上的兩個視差假想光瞳的任一到達的被拍 體光束。在本說明書中，通過接收從單個透鏡光瞳中的互不相同假想光瞳到達的被拍體光 束而對視差圖像進行攝像的方式被稱為單眼光瞳分割攝像方式。
[0059] 如圖4(a)所示，當作為被拍體的物點位于焦點位置時，通過任一視差假想光瞳的 被拍體光束均表現(xiàn)出以對應像點的像素為中心的陡峭的光強度分布。在像點附近排列有視 差Lt像素時，與像點對應的像素的輸出值最大，排列在周邊的像素的輸出值急劇下降。另 夕卜，即使在像點附近排列有視差Rt像素，與像點對應的像素的輸出值也最大，排列于周邊 的像素的輸出值急劇下降。即，被拍體光束通過任一視差假想光瞳時均表現(xiàn)出像點對應像 素的輸出值最大，排列于周邊的像素輸出值急劇下降的分布，各個分布互相一致。
[0060] 另一方面，如圖4(b)所示，當物點從焦點位置偏移時，與物點位于焦點位置的情 形相比，視差Lt像素所表現(xiàn)出的光強度分布的峰值出現(xiàn)在從像點對應像素朝一方向離開 的位置，且該輸出值下降。而且，具有輸出值的像素寬度也展寬。視差Rt像素所表現(xiàn)出的光 強度分布的峰值出現(xiàn)在從像點對應像素朝著與視差Lt像素的一方向的相反方向且等距離 地離開的位置，同樣地，該輸出值下降。而且，同樣地，具有輸出值的像素寬度也展寬。即，與 物點位于焦點位置的情形相比變得平緩的同一光強度分布互相離開等距離地出現(xiàn)。而且， 如圖4(c)所示，如果物點從焦點位置進一步偏移，與圖4(b)的狀態(tài)相比，進一步變得平緩 的同一光強度分布出現(xiàn)在更加遠離的位置。也就是說，可以認為物點從焦點位置偏移的程 度越大，模糊量和視差量就越增加。
[0061] 將圖3所說明的光強度分布的變化與圖4所說明的光強度分布的變化分別進行圖 形化后如圖5所示。在圖中，橫軸表示像素位置，中心位置為像點對應像素的位置?？v軸表 示各像素的輸出值，該輸出值實際上與光強度成正比，因此在圖中作為光強度表示。
[0062] 圖5(a)為表示圖3所說明的光強度分布的變化圖。分布曲線1801表示圖3(a) 所對應的光強度分布，表現(xiàn)出最陡峭的樣子。分布曲線1802表現(xiàn)出與圖3(b)對應的強度 分布，而且，分布曲線1803表現(xiàn)出與圖3(c)對應的光強度分布。與分布曲線1801相比，可 以看到峰值緩慢下降并具有展寬的樣子。
[0063] 圖5(b)為表示圖4所說明的光強度分布的變化圖。分布曲線1804與分布曲線 1805分別表示圖4(b)的視差Lt像素的光強度分布及視差Rt像素的光強度分布。從圖中 可以看出，這些分布相對于中心位置呈線對稱形狀。而且，將他們相加的合成分布曲線1806 表現(xiàn)出處于與圖4(b)同等散焦狀態(tài)的圖3(b)所示分布曲線1802相似的形狀。
[0064] 分布曲線1807和分布曲線1808分別表示圖4(c)的視差Lt像素的光強度分布和 視差Rt像素的光強度分布。從圖中可以看出，這些分布相對于中心位置呈線對稱形狀。而 且，將他們相加后的合成分布曲線1809表現(xiàn)出處于與圖4(c)同等散焦狀態(tài)的圖3(c)所示 分布曲線1803相似的形狀。
[0065] 圖6為說明當視差像素有兩種時開口部104的開口形狀的圖。圖6(a)表示視差 Lt像素的開口部1041的形狀和視差Rt像素的開口部104r的形狀，與用中心線322分割無 視差像素的開口部l〇4n的形狀而得的各個形狀相同的例子。也就是說，在圖6(a)中，無視 差像素的開口部l〇4n的面積成為視差Lt像素的開口部1041的面積與視差Rt像素的開口 部104r的面積之和。在本實施方式中，將無視差像素的開口部104n稱為全開口的開口部， 將開口部1041及開口部104r稱為半開口的開口部。另外，當開口部位于光電轉換元件的 中央時，該開口部朝向基準方向。視差Lt像素的開口部1041及視差Rt像素的開口部104r 相對于通過各自對應的光電轉換元件108的中心（像素中心）的假想的中心線322彼此朝 相反方向移位。因此，視差Lt像素的開口部1041及視差Rt像素的開口部104i分別在相 對于基準方向的一方向以及與該一方向相反的另一方向上產(chǎn)生視差。
[0066] 圖6(b)表不在具有圖6(a)所不各開口部的像素中，物點從焦點位置偏移時的光 強度分布。在圖中，曲線Lt與圖5(b)的分布曲線1804相當，曲線Rt與圖5(b)的分布曲 線1805相當。曲線N與無視差像素相對應，表現(xiàn)出與與圖5(b)的合成分布曲線1806相似 的形狀。另外，各個開口部l〇4n、開口部1041、開口部104r具有孔徑光闌的功能。因此，具 有面積為開口部1041(開口部104r)倍數(shù)的開口部104n的無視差像素的模糊寬度與以圖 5(b)的合成分布曲線1806所表示的將Lt像素與視差Rt像素相加后的曲線的模糊寬度的 程度相同。
[0067] 圖6(c)表示視差Lt像素的開口部1041的形狀、視差Rt像素的開口部104r的形 狀、及視差C像素的開口部104c的形狀均為相同形狀的例子。此處，視差C像素稱為無偏心 像素。視差C像素在僅將光瞳的中心部分作為部分區(qū)域的被拍體光束引導至光電轉換元件 108這一點上，是嚴格地輸出視差圖像的視差像素。然而，此處，將具有基準方向所對應的 開口部的像素定義為無視差像素。因此，作為基準方向，與圖6(a)的無視差像素相同，在光 電轉換元件的中央具有開口部的圖6(c)的視差C像素為無視差像素。另外，開口部1041、 開口部104r、開口部104c為圖6(a)所示開口部104n的一半的面積。與圖6(a)的情形相 同，開口部1041及104r的每一個均與通過光電轉換元件108的中心（像素中心）的假想 中心線322相接觸。
[0068] 圖6(d)表不在具有圖6(c)所不各開口部的像素中，物點從焦點位置偏移時的光 強度分布。在圖中，曲線Lt相當于圖5(b)的分布曲線1804,曲線Rt相當于圖5(b)的分布 曲線1805。另外，各個開口部104c、開口部1041、開口部104r具有孔徑光闌的功能。因此， 具有與開口部1041、開口部104i相同形狀且相同面積的開口部104c的視差C像素的模糊 寬度與視差Lt像素及視差Rt像素的模糊寬度的程度相同。如上所述，通過單眼光瞳分割 攝像方式，與通常的雙眼式立體攝像相比，其特征在于，在模糊中包含視差，在對焦位置得 到與2D攝像相同的光學像。
[0069] 在專利文獻1中公開了由彩色濾光片與僅排列有左右視差像素的像素排列的組 合構成的色彩視差排列。并不限于專利文獻1所示色彩視差排列，例如，也可以使用除左右 視差像素以外，排列有無視差像素的色彩視差排列。這些色彩視差排列所實現(xiàn)的攝像均可 以被稱為采用單眼光瞳分割攝像方式的立體攝像。
[0070] 作為立體圖像的生成方法可以考慮，由圖像處理部205僅收集左視差像素的采樣 點（網(wǎng)格點）并通過對空網(wǎng)格點進行插值來生成左視差圖像，僅收集右視差像素的采樣點 并對空網(wǎng)格點進行插值從而生成右視差圖像。然而，在對左右視差圖像獨立進行插值處理 的方法中，必然存在無法得到超過各個視差像素的采樣分辨率極限的分辨率的問題。
[0071] 另一方面，在使全開口的無視差像素共存的排列的情形中，通過生成無視差的2D 圖像作為中間圖像（以下記為"2D中間圖像")，由此該2D中間圖像能夠在一定條件下在與 進行全像素采樣時的分辨率極限相等的奈奎斯特頻率還具備分辨能力。即，如上所述，作為 單眼光瞳分割攝像方式的固有特性，對焦位置處的被拍體像的點像分布函數(shù)成為無視差像 素、左視差像素及右視差像素均相同的點像分布函數(shù)。因此，能夠在對焦位置附近捕捉到與 2D專用傳感器相同的被拍體像，并將其分辨率導出到最大限度。
[0072] 采用這樣得到的2D中間圖像，相對于對左右視差像素獨立進行臨時插值的低分 辨率的左視差圖像和低分辨率的右視差圖像，當通過后述的視差調(diào)制而重疊2D中間圖像 的高頻分量時，能夠得到超過各視差像素的采樣極限的高分辨率的左視差圖像和高分辨率 的右視差圖像。
[0073] 此處需要注意的是如下問題，在通過視差調(diào)制所得到的高分辨率的左視差圖像和 高分辨率的右視差圖像中，盡管當成為偏離對焦位置的非對焦區(qū)域的被拍體像時反映出2D 中間圖像的高頻分辨率，但在原本的低分辨率的左視差圖像和低分辨率的右視差圖像中存 在的分辨率極限以上的高頻分量成為低頻莫爾條紋而顯示出來。另一方面，在2D中間圖像 中，即使在非對焦區(qū)域也未出現(xiàn)這樣的莫爾條紋分量。即，在2D中間圖像能夠?qū)崿F(xiàn)穩(wěn)定的 高分辨率。
[0074] 因此，基于這樣的事實，如果要在3D圖像進行邊緣增強處理，能夠得到如下結論。 首先，并不對左視差圖像和右視差圖像單獨地進行邊緣增強處理，而是在一旦生成高分辨 率的2D中間圖像之后，對該2D圖像進行邊緣增強處理。此后，通過施加視差調(diào)制，生成完 成了邊緣增強處理的3D圖像。經(jīng)過了如此的圖像處理工序后，能夠得到高清晰且自然的邊 緣增強立體圖像，而不會增強超過視差像素的采樣極限的混疊?莫爾條紋。
[0075] 圖7為表示拜耳型G視差像素排列及其排列的頻率空間中的分辨率的圖。在圖7 所示排列中，左視差像素（Lt)、右視差像素（Rt)及無視差像素（N)混在一起。彩色濾光片 排列形成拜耳排列結構，在一方的G像素上設置有左開口的視差像素作為開口掩模，在另 一方的G像素上設有右開口的視差像素作為開口掩模。進一步地，在R像素和B像素上設 有全開口的無視差像素。這與在后述實施方式1中說明的排列相對應。另外，在圖7中合 并顯示了各色彩分量及表示各個視差相對應的采樣分辨率極限的頻率空間圖（k空間圖）。 然而，在頻率分辨率f?[條/mm]與波數(shù)k之間存在k = 2 f的關系。
[0076] 對焦位置處的單色被拍體（例如，圓形區(qū)域板），當上述2D中間圖像生成時，得到 高達最外側的奈奎斯特頻率極限的分辨率。另一方面，在非對焦區(qū)域中，在內(nèi)側的正方區(qū)域 中頻率分辨率基本不受限制。
[0077] 圖8為說明視差圖像的旲爾條紋的圖。圖8 (a)表不無視差圖像，圖8 (b)表不左 視差圖像，圖8(c)表示右視差圖像。圖8(b)、（c)所示圖像經(jīng)過除了后述實施方式1所示 邊緣增強處理部分的過程后生成。關于從前述對焦位置稍微錯開的被拍體像，在經(jīng)由2D中 間圖像而得到3D圖像的情形中，如圖8(b)、（c)所示，伴隨著視差像素的采樣極限而產(chǎn)生的 莫爾條紋分量出現(xiàn)在左右視差圖像中。因此，在對左視差圖像和右視差圖像單獨地進行邊 緣增強時，也會增加偽分辨率的莫爾條紋分量，從而有損畫質(zhì)。如果對2D中間圖像進行邊 緣增強，則不會增強莫爾條紋分量，從而能夠?qū)崿F(xiàn)高清晰的3D邊緣增強處理。
[0078] 作為左視差像素（Lt)、右視差像素（Rt)和無視差像素（N)混在一起的色彩視差排 列，也可以使用其他排列。例如可以使用：使后述實施方式2所說明的視差像素的密度變 得稀疏后的排列、使后述實施方式3所說明的視差像素的密度變得稀疏且為單色的排列。
[0079] 在以下所示實施方式中，如上所述，首先生成高分辨率的2D中間圖像，將所生成 的2D中間圖像重疊于3D圖像上得到2D、3D均為高分辨率的輸出圖像。互相參照視差像素 與無視差像素的色彩信息，想方設法地利用其相關關系。
[0080] 以下說明噪音去除。噪音去除濾波器隨著圖像的分辨率越高，越能夠精確地判斷 是否是需要保留邊緣結構的區(qū)域。據(jù)此，在應當保留邊緣結構的區(qū)域中，排除圖像結構相關 的信息變得困難。因此，與邊緣增強的情形相同，最好對高分辨率的2D中間圖像實施噪音 去除處理。作為濾波器可以采用公知邊緣保留平滑濾波器（edge-preserving smoothing filter) 〇
[0081] 另外，在噪音去除的情形中，與邊緣增強的情形不同，臨時插值的低分辨率的左視 差圖像與右視差圖像中也同樣出現(xiàn)噪音的波動分量。最好在進行視差調(diào)制之前的低分辨率 的左視差圖像與右視差圖像的階段中消除噪音的波動分量，以便在視差調(diào)制階段不使噪音 傳播。
[0082] 不過，如果考慮后述實施方式2及實施方式3的稀疏的視差像素排列結構，無視差 像素的數(shù)量最多，稀疏的視差像素僅存在于離散的位置。因此，通過對他們之間的點進行平 均插值而算出的插值的值中具有不可能包含最初的高頻噪音分量的特質(zhì)。因此，在稀疏的 視差像素排列的情形中，如果是IS0800?IS06400程度的常用高敏感度區(qū)域程度，則只對 中間2D圖像進行噪音去除處理即可。具體將在后述實施方式4進行說明。在超高敏感度 的IS012800?IS0409600的區(qū)域中，即使是稀疏的視差像素，其波動分量也很明顯。因此 有必要去除波動分量。
[0083] 然而，也可以不對實際分辨率的全部像素進行去除波動分量的處理。在一個像素 中僅包含一個由攝像元件采樣的左視差像素或右視差像素的程度被進行下采樣而成的縮 小圖像中提取出噪音分量，對其進行變倍放大處理恢復實際分辨率，進行減法處理即可。例 如，可以使用與本申請同一發(fā)明人的特開2006-309749號公報中所示多分辨率噪音去除技 術。具體地，通過多分辨率轉換從高分辨率依次縮小到低分辨率，以這些各個分辨率提取出 噪音分量，將他們進行連續(xù)積分恢復實際分辨率的噪音分量，進行該處理可以省略高分辨 率側的多個階段。因此能夠全部省略針對被臨時插值的視差圖像做出的噪音去除處理的運 算規(guī)模最大的高分辨率側的處理。因此，能夠極為簡單地運算，即當采用軟件時能夠進行高 速運算，當采用硬件時能夠減小電路規(guī)模。
[0084] 〈實施方式1>
[0085] 拜耳型G視差像素排列、邊緣增強
[0086] 圖像處理的順序大致如下。
[0087] 1)色彩視差復用馬賽克圖像數(shù)據(jù)輸入
[0088] 2)色彩視差馬賽克圖像的全局增益平衡校正
[0089] 3)生成臨時視差圖像
[0090] 4)由左右局部照度分布校正而生成無視差色馬賽克圖像（本地增益平衡校正）
[0091] 5)生成無視差基準圖像
[0092] 6)對無視差基準圖像進行邊緣增強處理
[0093] 7)生成實際的視差圖像
[0094] 8)向輸出色彩空間轉換
[0095] 以下依次說明。
[0096] 1)輸入色彩視差復用馬賽克圖像數(shù)據(jù)
[0097] 圖7中對色彩和視差進行了復用的單板式馬賽克圖像：M(x，y)
[0098] 灰度為通過A/D轉換而輸出的線性灰度。即，具有與光量成正比的像素值。將其 稱為RAW數(shù)據(jù)。
[0099] 2)色彩視差馬賽克圖像的全局增益平衡校正
[0100] 進入左視差像素的照度與進入右視差像素的照度隨著光圈越是縮小，不光是左右 間的相對分布不同，作為圖像全體的平均信號電平也會產(chǎn)生很大的差從而成為實際的問 題，在此階段進行使全體亮度取得整合的增益校正。為此，原封不動地使用被拍攝的被拍體 像，算出左視差像素的像素值的圖像整體的平均值厶與右視差像素的像素值的圖像整體的 平均值if。這是基于這樣的假設，例如即使認為有視差，由于在左右視差像素捕捉到相同 區(qū)域的被拍體像，因此即使未對同一面進行拍攝也能夠從被拍體像本身取得電平匹配所需 的信號信息。作為左右間的基準點，進行增益校正，以使信號電平與平均值相匹配。此時， 關于基準點的取得方法可以考慮算術平均和幾何平均這兩種。
[0101] 出于方便起見，在馬賽克圖像M(x，y)內(nèi)，將G分量的左視差圖像的信號面表示為

【權利要求】
1. 一種圖像處理方法，輸入使用攝像元件經(jīng)由一個光學系統(tǒng)輸入將被拍體像以基準方 向視點、左方向視點和右方向視點同時拍攝到各不相同像素中的第一圖像，并將該第一圖 像轉換為左方向視點相關的圖像和右方向視點相關的圖像，該攝像元件包括在一個像素具 有一個開口掩模的多個像素，并包括配置有具備生成基準方向視點的開口掩模的無視差像 素、具備相對于基準方向生成左方向視差的開口掩模的左視差像素、以及具備相對于基準 方向生成右方向視差的開口掩模的右視差像素的至少三種像素的像素排列，其特征在于， 圖像處理方法包括： 使用所述第一圖像的左視差像素的像素值在各像素生成臨時左視點圖像的步驟； 使用所述第一圖像的右視差像素的像素值在各像素生成臨時右視點圖像的步驟； 使用所述第一圖像的至少無視差像素的像素值在各像素生成基準視點圖像的步驟； 對所述基準視點圖像進行邊緣增強處理，生成被邊緣增強的基準視點圖像的步驟；以 及 基于所述被邊緣增強的基準視點圖像、所述臨時左視點圖像和所述臨時右視點圖像， 在各像素分別生成左方向視點相關的圖像和右方向視點相關的圖像的步驟。
2. -種圖像處理方法，輸入使用攝像元件經(jīng)由一個光學系統(tǒng)輸入將被拍體像以基準方 向視點、左方向視點和右方向視點同時拍攝到各不相同像素中的第一圖像，并將該第一圖 像轉換為左方向視點相關的圖像和右方向視點相關的圖像，該攝像元件包括在一個像素具 有一個開口掩模的多個像素，并包括配置有具備生成基準方向視點的開口掩模的無視差像 素、具備相對于基準方向生成左方向視差的開口掩模的左視差像素、以及具備相對于基準 方向生成右方向視差的開口掩模的右視差像素的至少三種像素的像素排列，其特征在于， 圖像處理方法包括： 使用所述第一圖像的左視差像素的像素值在各像素生成臨時左視點圖像的步驟； 使用所述第一圖像的右視差像素的像素值在各像素生成臨時右視點圖像的步驟； 使用所述第一圖像的無視差像素的像素值在各像素生成基準視點圖像的步驟； 對所述基準視點圖像進行噪音去除處理并生成噪音去除后的基準視點圖像的步驟； 基于所述噪音去除后的基準視點圖像、所述臨時左視點圖像和所述臨時右視點圖像， 在各像素分別生成左方向視點相關的圖像和右方向視點相關的圖像的步驟。
3. 根據(jù)權利要求1或2所述的圖像處理方法，其中，生成所述基準視點圖像的步驟除了 使用所述第一圖像的無視差像素的像素值以外，還使用左視差像素的像素值和右視差像素 的像素值生成基準視點圖像的像素值。
4. 根據(jù)權利要求1所述的圖像處理方法，其中，當所述第一圖像具有多個色彩分量時， 生成所述基準視點圖像的步驟中對所述多個色彩分量生成基準視點圖像，生成所述被邊緣 增強的基準視點圖像的步驟中對所述基準視點圖像的亮度分量進行邊緣增強處理。
5. 根據(jù)權利要求2所述的圖像處理方法，其中，當所述第一圖像具有多個色彩分量時， 生成所述基準視點圖像的步驟中對所述多個色彩分量生成基準視點圖像，生成所述噪音去 除后的基準視點圖像的步驟中對所述基準視點圖像的亮度分量和色差分量進行噪音去除 處理。
6. 根據(jù)權利要求2所述的圖像處理方法，其中，所述第一圖像是通過攝像元件進行拍 攝而得到的圖像，該攝像元件由像素排列構成，該像素排列配置成無視差像素的密度高于 與將左視差像素和右視差像素合在一起的像素密度。
7. -種圖像處理裝置，包括： 視差圖像數(shù)據(jù)取得部，取得相對于基準方向向第一方向錯開的視點所對應的第一視差 圖像數(shù)據(jù)和相對于所述基準方向向與所述第一方向相反的第二方向錯開的視點所對應的 第二視差圖像數(shù)據(jù)； 基準圖像數(shù)據(jù)取得部，取得對應于所述基準方向且分辨率高于第一視差圖像數(shù)據(jù)及第 二視差圖像數(shù)據(jù)的空間頻率分辨率的基準圖像數(shù)據(jù)； 濾波處理部，對所述基準圖像數(shù)據(jù)實施邊緣調(diào)整及噪音去除的至少之一的濾波處理； 以及 視差圖像數(shù)據(jù)生成部，使用實施了所述濾波處理的所述基準圖像數(shù)據(jù)、所述第一視差 圖像數(shù)據(jù)及所述第二視差圖像數(shù)據(jù)，生成向所述第一方向錯開的視點所對應的第三視差圖 像數(shù)據(jù)、向所述第二方向錯開的視點所對應的第四視差圖像數(shù)據(jù)。
8. 根據(jù)權利要求7所述的圖像處理裝置，其中，所述基準圖像數(shù)據(jù)取得部取得缺失了 部分像素值的臨時基準圖像數(shù)據(jù)，使用與所述基準方向?qū)幕鶞氏袼氐南袼刂祵λ笔?的像素值進行插值，從而生成所述基準圖像數(shù)據(jù)。
9. 根據(jù)權利要求7或8所述的圖像處理裝置，其中，所述基準圖像數(shù)據(jù)取得部使用所述 第一視差圖像數(shù)據(jù)及所述第二視差圖像數(shù)據(jù)的像素值對所缺失的像素值進行插值，從而生 成所述基準圖像數(shù)據(jù)。
10. 根據(jù)權利要求9所述的圖像處理裝置，其中，所述基準圖像數(shù)據(jù)取得部根據(jù)對應于 所述基準圖像數(shù)據(jù)的基準像素、對應于所述第一視差圖像數(shù)據(jù)的第一像素以及對應于所述 第二視差圖像數(shù)據(jù)的第二像素的數(shù)量實施加權。
11. 根據(jù)權利要求7?10中任一項所述的圖像處理裝置，其中，所述基準圖像數(shù)據(jù)取得 部針對與各個像素對應設置的彩色濾光片的每個色彩分量生成所述基準圖像數(shù)據(jù)。
12. 根據(jù)權利要求7?11中任一項所述的圖像處理裝置，其中，所述視差圖像數(shù)據(jù)生成 部生成與所述第一視差圖像數(shù)據(jù)的視點不同的視點的所述第三視差圖像數(shù)據(jù)，生成與所述 第二視差圖像數(shù)據(jù)的視點不同的視點的所述第四視差圖像數(shù)據(jù)。
13. -種攝像裝置，包括： 攝像元件，輸出所述第一視差圖像數(shù)據(jù)及所述第二視差圖像數(shù)據(jù)的至少之一；以及 權利要求7?12中任一項所述的圖像處理裝置。
14. 根據(jù)權利要求13所述的攝像裝置，其中，所述攝像元件還輸出所述基準圖像數(shù)據(jù)。
15. 根據(jù)權利要求14所述的攝像裝置，其中，所述攝像元件所具有的與所述基準圖像 數(shù)據(jù)對應的像素、與所述第一視差圖像數(shù)據(jù)對應的像素、及與所述第二視差圖像數(shù)據(jù)對應 的像素中，與所述基準圖像數(shù)據(jù)對應的像素最多。
16. 根據(jù)權利要求15所述的攝像裝置，其中，所述濾波處理部不對所述第一視差圖像 數(shù)據(jù)及所述第二視差圖像數(shù)據(jù)實施噪音去除的濾波處理。
17. -種圖像處理程序，使計算機執(zhí)行： 視差圖像數(shù)據(jù)取得步驟，取得相對于基準方向向第一方向錯開的視點所對應的第一視 差圖像數(shù)據(jù)和相對于所述基準方向向與所述第一方向相反的第二方向錯開的視點所對應 的第二視差圖像數(shù)據(jù)； 基準圖像數(shù)據(jù)取得步驟，取得對應于所述基準方向且分辨率高于第一視差圖像數(shù)據(jù)及 第二視差圖像數(shù)據(jù)的空間頻率分辨率的基準圖像數(shù)據(jù)； 濾波處理部，對所述基準圖像數(shù)據(jù)實施邊緣調(diào)整及噪音去除的至少之一的濾波處理； 以及 視差圖像數(shù)據(jù)生成步驟，使用實施了所述濾波處理的所述基準圖像數(shù)據(jù)、所述第一視 差圖像數(shù)據(jù)及所述第二視差圖像數(shù)據(jù)，生成向所述第一方向錯開的視點所對應的第三視差 圖像數(shù)據(jù)、和向所述第二方向錯開的視點所對應的第四視差圖像數(shù)據(jù)。
【文檔編號】G03B35/08GK104429056SQ201380036470
【公開日】2015年3月18日 申請日期:2013年8月8日 優(yōu)先權日:2012年8月10日
【發(fā)明者】石賀健一 申請人:株式會社尼康