攝像設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種攝像設(shè)備及其控制方法，尤其涉及一種使用具有的各像素均包括多個光電轉(zhuǎn)換單元的圖像傳感器的攝像設(shè)備及其控制方法。
【背景技術(shù)】
[0002]已知這樣一種圖像傳感器，該圖像傳感器包括的各像素均被配置成通過分開的光電轉(zhuǎn)換單元接收穿過攝像光學系統(tǒng)的出射光瞳的不同部分區(qū)域的光束。這些像素用來獲取具有視差的兩個圖像(以下稱為A圖像和B圖像)的信號?？梢酝ㄟ^獲得A圖像和B圖像之間的相位差來進行基于相位差檢測的焦點檢測。此外，還可以基于A圖像和B圖像生成距離圖像。
[0003]作為A圖像和B圖像的應用例子，已知下面一些技術(shù):在該技術(shù)中，獲得拍攝圖像的各個小的區(qū)域中A圖像和B圖像之間的離焦量，并且應用根據(jù)離焦量的圖像處理(日本特開2008-15754號)，并且在該技術(shù)中，獲得并存儲離焦量的分布(日本特開2009-124313
號)O
[0004]為了計算針對拍攝圖像的各個小的區(qū)域的離焦量，圖像傳感器需要具有大量像素，其中各像素均包括多個光電轉(zhuǎn)換單元，如圖2A和2B所示。然而，可能存在下面的問題:尤其當如在拍攝運動圖像時一樣，拍攝間隔短時，計算離焦量的處理負荷增大使得難以進行離焦量的實時計算。
[0005]此外，為了更精確地獲取各像素的離焦量和距離信息，可能需要高級圖像處理。例如，作為A圖像和B圖像之間的相位差或者視差量，通常獲得具有最高相關(guān)值的相位差(偏移量)，但是在被攝體具有周期性紋理的情況下，多個不同偏移量都具有高的相關(guān)值，并且因此可能難以計算校正值。此外，如果存在僅存在于A圖像和B圖像之一的區(qū)域，則不能獲得相對于該區(qū)域的相位差或者視差量。
[0006]因此，當攝像設(shè)備需要進行這樣龐大的計算時，使用這種攝像設(shè)備的處理能力難以在運動圖像拍攝或者連拍時的進行實時處理。此外，可能存在下面的情況:由于電路規(guī)模等，用于執(zhí)行復雜處理的硬件不能安裝在攝像設(shè)備上。在這類情況下，攝像設(shè)備需要輸出A圖像和B圖像的圖像信號，從而使得外部設(shè)備來進行相位差或者視差量的計算、或者距離圖像的生成等，或者攝像設(shè)備或者外部設(shè)備需要對于所存儲的RAW數(shù)據(jù)執(zhí)行相同的處理。
[0007]然而，當A圖像和B圖像的圖像信號被輸出至外部設(shè)備時，例如，當圖像傳感器的各像素獲取A圖像和B圖像時，需要發(fā)送與像素數(shù)量的兩倍相對應的數(shù)據(jù)量。此外，當存儲該數(shù)據(jù)、以及然后對其進行圖像處理時，還需要節(jié)省存儲容量。因此，需要一種用于在使得能夠進行視差量的計算的同時，減少要發(fā)送或者存儲的數(shù)據(jù)量的技術(shù)。

【發(fā)明內(nèi)容】

[0008]考慮到這一問題，做出本發(fā)明，并且本發(fā)明提供一種攝像設(shè)備和該攝像設(shè)備的控制方法，其中，該攝像設(shè)備包括能夠獲取視差圖像的圖像傳感器，并且可以在使得能夠進行視差量的計算的同時，減少發(fā)送或者存儲的數(shù)據(jù)量。
[0009]根據(jù)本發(fā)明的一個方面，提供一種攝像設(shè)備，其包括:圖像傳感器，其設(shè)置有多個像素，其中，各像素包括多個光電轉(zhuǎn)換單元，各光電轉(zhuǎn)換單元生成光電信號；第一生成部件，用于基于通過各像素的所述多個光電轉(zhuǎn)換單元所生成的所有光電信號來生成針對各像素的第一圖像信號；第二生成部件，用于基于通過各像素的所述多個光電轉(zhuǎn)換單元所生成的所有光電信號中的至少一個、而不是基于所述所有光電信號來生成針對各像素的第二圖像信號；以及輸出部件，用于輸出所述第一圖像信號和所述第二圖像信號，其中，在同一時間段內(nèi)，所述輸出部件輸出所述第二圖像信號的次數(shù)少于輸出所述第一圖像信號的次數(shù)。
[0010]根據(jù)本發(fā)明的一個方面，提供一種攝像設(shè)備的控制方法，其中，所述攝像設(shè)備具有設(shè)置有多個像素的圖像傳感器，各像素包括多個光電轉(zhuǎn)換單元，所述方法包括以下步驟:從各像素的所述多個光電轉(zhuǎn)換單元獲取光電信號；基于通過各像素的所述多個光電轉(zhuǎn)換單元所生成的所有光電信號生成針對各像素的第一圖像信號；基于通過各像素的所述多個光電轉(zhuǎn)換單元所生成的所有光電信號中的至少一個、而不是基于所述所有光電信號來生成針對各像素的第二圖像信號；以及輸出所述第一圖像信號和所述第二圖像信號，其中，在同一時間段內(nèi)，輸出所述第二圖像信號的次數(shù)少于輸出所述第一圖像信號的次數(shù)。
[0011]通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。
【附圖說明】
[0012]圖1是示出根據(jù)本發(fā)明實施例的圖像處理系統(tǒng)的結(jié)構(gòu)的框圖。
[0013]圖2A和2B是示出根據(jù)第一實施例的視差量檢測像素的結(jié)構(gòu)和圖像傳感器的像素陣列的例子的圖。
[0014]圖3A和3B是示出第一實施例的數(shù)字照相機的操作的流程圖。
[0015]圖4A?4D是示意性示出第一實施例的圖像信號發(fā)送單元的操作的圖。
[0016]圖5是示出第一實施例的圖像信號發(fā)送單元的操作的流程圖。
[0017]圖6A和6B是示出圖像信號發(fā)送單元通過圖5的操作所輸出的圖像信號的例子的圖。
[0018]圖7是示出根據(jù)第一實施例使用從外部設(shè)備所接收到的距離信息的操作的流程圖。
[0019]圖8是第一實施例的記錄后圖像處理的流程圖。
[0020]圖9是示出根據(jù)第二實施例的視差量檢測像素的結(jié)構(gòu)的例子的圖。
[0021]圖1OA和1B是示出第二實施例的數(shù)字照相機的操作的流程圖。
[0022]圖1lA和IlB是示出通過第二實施例的圖像信號發(fā)送單元所輸出的圖像信號的圖。
[0023]圖12A和12B是示出根據(jù)第三和第四實施例的圖像信號發(fā)送單元的操作的流程圖。
[0024]圖13A和13B是示出根據(jù)第四實施例的圖像信號發(fā)送單元的操作的圖。
[0025]圖14A?14C是示出根據(jù)第五實施例的圖像信號發(fā)送單元的操作的圖。
[0026]圖15是示出根據(jù)第六實施例的圖像處理系統(tǒng)的結(jié)構(gòu)的框圖。
[0027]圖16A和16B是示出第六實施例的攝像設(shè)備和外部設(shè)備的操作的流程圖。
【具體實施方式】
[0028]現(xiàn)根據(jù)附圖，詳細說明本發(fā)明的典型實施例。注意，下面說明將本發(fā)明應用于用作為攝像設(shè)備的例子的數(shù)字照相機的實施例，但是，本發(fā)明可應用于設(shè)置有照相機的任何電子裝置。
[0029]第一實施例
[0030]圖1是示出根據(jù)本實施例，構(gòu)成圖像處理系統(tǒng)的數(shù)字照相機和外部設(shè)備的功能結(jié)構(gòu)的例子的框圖。數(shù)字照相機120包括光學系統(tǒng)100、攝像單元101、圖像信號生成單元102、視差量計算單元103、圖像信號發(fā)送單元104、圖像處理單元105、記錄單元106、顯示單元107和距離信息接收單元108。注意，在這些附圖中，沒有示出數(shù)字照相機通常所設(shè)置的、與本實施例不直接相關(guān)的結(jié)構(gòu)。
[0031]控制單元110包括例如可編程處理器(MPU)，并且利用MPU執(zhí)行存儲在非易失性存儲器中的程序來控制功能塊，從而實現(xiàn)包括根據(jù)下面所述的實施例的操作的、數(shù)字照相機120的處理。例如，控制單元110包括諸如被用于執(zhí)行這些程序的RAM等的易失性存儲器。在非易失性存儲器中，還存儲各種類型的設(shè)置值和GUI數(shù)據(jù)等。
[0032]光學系統(tǒng)100是攝像光學系統(tǒng)，并且包括調(diào)焦透鏡和光圈/快門等?？刂茊卧?10驅(qū)動調(diào)焦透鏡來控制光學系統(tǒng)100的焦距、或者控制光圈/快門的開口大小或者開放/關(guān)閉操作。
[0033]攝像單元101包括將通過光學系統(tǒng)100在攝像面上所形成的被攝體圖像光電轉(zhuǎn)換成表示該被攝體圖像的電信號(圖像信號)的圖像傳感器。注意，“圖像信號”是在單次拍攝時從各像素所獲取的一組信號(像素信號)。圖像信號生成單元102可以直接輸出從攝像單元101所接收到的圖像信號，或者輸出通過組合多個圖像信號所獲得的圖像信號。視差量計算單元103計算從圖像信號生成單元102所接收到的多個圖像信號之間的視差量。圖像信號發(fā)送單元104接收來自圖像信號生成單元102的圖像信號和來自視差量計算單元103的與視差量有關(guān)的信息，并且可以選擇所要輸出的整個圖像信號或者圖像信號的一部分。
[0034]圖像信號發(fā)送單元104至少包括有線通信接口和無線通信接口中的一個，并且將圖像信號或者與視差量有關(guān)的信息輸出至與數(shù)字照相機120或者記錄單元106通信連接的外部設(shè)備150。外部設(shè)備150是諸如個人計算機或者云計算機等的具有比數(shù)字照相機120更高的處理能力的設(shè)備。
[0035]圖像處理單元105對從圖像信號生成單元102所接收到的圖像信號或者使用記錄單元106記錄在存儲裝置或可拆卸記錄介質(zhì)中的圖像信號應用預定圖像處理。預定圖像處理可以包括例如白平衡處理、諸如降噪處理、邊緣增強處理和伽馬處理等的顯影處理、以及模糊處理等，但是還可以包括其它圖像處理。
[0036]記錄單元106根據(jù)控制單元110的控制，將通過圖像處理單元105所顯影的圖像信號和通過圖像信號發(fā)送單元104所輸出的圖像信號等記錄在諸如硬盤或者半導體裝置等的內(nèi)置存儲裝置或者可拆卸記錄介質(zhì)中。此外，記錄單元106可以根據(jù)控制單元110的控制讀出所記錄的圖像信號。
[0037]顯示單元107基于通過圖像處理單元105所顯影的圖像信號或者記錄在記錄單元106中的圖像信號進行顯示。顯示單元107還顯示用戶在其上向數(shù)字照相機120給出各種類型的指示和設(shè)置的UI。
[0038]距離信息接收單元108至少包括有線通信接口和無線通信接口中的一個，并且接收通過外部設(shè)備150所計算出的距離信息以將該距離信息和基于該距離信息的信息提供給控制單元110。
[0039]操作單元111是用戶向數(shù)字照相機120給出包括拍攝準備指示和拍攝指示的各種類型的指示、或者用戶進行各種類型的設(shè)置所使用的一組輸入裝置，包括按鈕、開關(guān)和觸摸面板等。
[0040]注意，除光學系統(tǒng)100、顯示單元107和操作單元111以外的功能塊中的至少一些還可以通過控制單元110使用軟件來實現(xiàn)。此外，多個功能塊還可以通過一個硬件來實現(xiàn)。
[0041]外部設(shè)備150可以是諸如通用計算機等的能夠與數(shù)字照相機120通信的任意電子裝置，并且經(jīng)由發(fā)送/接收單元151可通信地連接至數(shù)字照相機120。MPU 152經(jīng)由發(fā)送/接收單元151接收來自數(shù)字照相機120的圖像信號等，使用預定方法計算距離信息，并且經(jīng)由發(fā)送/接收單元151將距離信息發(fā)送給數(shù)字照相機120。注意，MPU 152包括RAM和R0M，并且用于與數(shù)字照相機120進行通信和用于執(zhí)行用于計算距離信息的處理的程序存儲在ROM中。當然，這些程序可以被從諸如硬盤驅(qū)動器等的存儲裝置讀取到RAM中、并且被執(zhí)行。
[0042]圖2A示出本實施例的攝像單元101的能夠獲取視差圖像的像素(視差檢測像素)的結(jié)構(gòu)的例子。該像素包括微透鏡203和兩個光電轉(zhuǎn)換單元或者光接收元件204和205，其中，光接收元件204接收穿過出射光瞳區(qū)域201的光束，并且光接收元件205接收穿過出射光瞳區(qū)域202的光束。假定可以通過光接收元件204所獲取的圖像信號是A圖像的圖像信號，并且可以通過光接收元件205所獲取的圖像信號是B圖像的圖像信號，則A圖像和B圖像是視差圖像。通過獲得從多個像素所獲取的A圖像和B圖像之間的相位差，可以進行基于相位差檢測的焦點檢測。此外，還可以基于A圖像和B圖像生成距離圖像。
[0043]當如圖2A所示，在水平方向上分割(配置)像素的光電轉(zhuǎn)換單元時，可以獲得A圖像和B圖像之間在水平方向上的視差量。如果每一像素均具有在垂直方向上被分割的光電轉(zhuǎn)換單元，則可以獲得A圖像和B圖像之間在垂直方向上的視差量。注意，圖2A示出像素具有兩個等分的光電轉(zhuǎn)換單元的結(jié)構(gòu)，但是像素還可以具有三個以上的分割光電轉(zhuǎn)換單元。