本發(fā)明涉及攝像設(shè)備及其控制方法，特別是涉及用于使用基于穿過光學(xué)系統(tǒng)的不同光瞳區(qū)域的光束的一對(duì)圖像信號(hào)來進(jìn)行焦點(diǎn)檢測(cè)和被攝體追蹤的技術(shù)。

背景技術(shù)：

常規(guī)上，用于基于通過具有使用微透鏡光瞳分割的像素的圖像傳感器所獲取的圖像信號(hào)的相位差進(jìn)行焦點(diǎn)檢測(cè)的技術(shù)是已知的(日本專利特開2007-325139)。在日本專利特開2007-325139中，各光瞳分割像素經(jīng)由微透鏡接收穿過成像光學(xué)系統(tǒng)的不同光瞳區(qū)域的光束。并且，可以通過將圖像信號(hào)相加在一起獲取圖像信號(hào)。

在上述的利用相位差方法的焦點(diǎn)檢測(cè)中，對(duì)于檢測(cè)精度和處理速度來說，確定用于焦點(diǎn)調(diào)整將讀出的以及經(jīng)受計(jì)算處理的圖像信號(hào)的量是非常重要的因素。另外，在各像素分成兩個(gè)的圖像傳感器的情況下，如果獲取所有的圖像信號(hào)，那么數(shù)據(jù)量將為拍攝圖像所用的數(shù)據(jù)的數(shù)據(jù)量的兩倍，從而給后段的處理電路帶來大的負(fù)荷。

鑒于此，提出了可以在圖像傳感器中適當(dāng)?shù)卦O(shè)定用于焦點(diǎn)調(diào)整的距離信息獲取區(qū)域以及減少?gòu)膱D像傳感器讀出圖像信號(hào)的時(shí)間的攝像設(shè)備(日本專利特開2012-155095)。并且，提出了可以通過使用從用于焦點(diǎn)調(diào)整的距離信息獲取區(qū)域獲取的圖像信號(hào)在圖像中產(chǎn)生被攝體的距離的分布(距離地圖)的攝像設(shè)備(日本專利特開2014-074891)。通過使用日本專利特開2014-074891的距離地圖，獲取圖像中的主被攝體和另一被攝體的距離信息，并且，可以在諸如主被攝體和另一被攝體相互通過的情況下檢測(cè)出主被攝體，并且，例如，可以進(jìn)行用于調(diào)整各被攝體的白平衡的圖像處理。

但是，在上述的常規(guī)技術(shù)中，如果為了減少與信號(hào)處理等有關(guān)的系統(tǒng)負(fù)荷和功耗而設(shè)定距離信息獲取區(qū)域的間隔剔除，則調(diào)整像素信號(hào)讀出量減少，因此存在被攝體檢測(cè)精度劣化的可能性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是考慮上述問題而提出的，并且本發(fā)明實(shí)現(xiàn)使得即使信號(hào)讀出量減少也能夠抑制被攝體檢測(cè)精度的劣化的技術(shù)。

為了解決上述的問題，本發(fā)明提供一種攝像設(shè)備，包括：圖像傳感器；讀出單元，其被配置為從所述圖像傳感器的像素讀出圖像信號(hào)；讀出控制單元，其被配置為對(duì)所述讀出單元從所述圖像傳感器的像素讀出具有不同視點(diǎn)的多個(gè)圖像信號(hào)的區(qū)域進(jìn)行控制；信息獲取單元，其被配置為使用通過所述讀出單元從所述區(qū)域讀出的所述圖像信號(hào)來獲取深度信息；以及記錄單元，其被配置為記錄圖像信息，其中在所述圖像信息中，所述圖像信號(hào)、所述深度信息和與所述區(qū)域有關(guān)的信息相互關(guān)聯(lián)。

為了解決上述的問題，本發(fā)明提供一種攝像設(shè)備，包括：圖像傳感器；讀出單元，其被配置為從所述圖像傳感器的像素讀出圖像信號(hào)；讀出控制單元，其被配置為對(duì)所述讀出單元從所述圖像傳感器的像素讀出具有不同視點(diǎn)的多個(gè)圖像信號(hào)的區(qū)域進(jìn)行控制；信息獲取單元，其被配置為使用通過所述讀出單元從所述區(qū)域讀出的所述圖像信號(hào)來獲取深度信息；以及插值單元，其被配置為通過對(duì)所述信息獲取單元獲取的所述深度信息進(jìn)行插值來獲得所述區(qū)域以外的、未獲取圖像信號(hào)的區(qū)域中的同一位置的深度信息。

為了解決上述的問題，本發(fā)明提供一種攝像設(shè)備的控制方法，該攝像設(shè)備具有：圖像傳感器；讀出單元，其被配置為從所述圖像傳感器的像素讀出圖像信號(hào)；讀出控制單元，其被配置為對(duì)所述讀出單元從所述圖像傳感器的像素讀出具有不同視點(diǎn)的多個(gè)圖像信號(hào)的區(qū)域進(jìn)行控制，所述方法包括：使用通過所述讀出單元從所述區(qū)域讀出的所述圖像信號(hào)來獲取深度信息；以及記錄圖像信息，其中在所述圖像信息中，所述圖像信號(hào)、所述深度信息和與所述區(qū)域有關(guān)的信息相互關(guān)聯(lián)。

為了解決上述的問題，本發(fā)明提供一種攝像設(shè)備的控制方法，該攝像設(shè)備具有：圖像傳感器；讀出單元，其被配置為從所述圖像傳感器的像素讀出圖像信號(hào)；讀出控制單元，其被配置為對(duì)所述讀出單元從所述圖像傳感器的像素讀出具有不同視點(diǎn)的多個(gè)圖像信號(hào)的區(qū)域進(jìn)行控制，所述方法包括：使用通過所述讀出單元從所述區(qū)域讀出的所述圖像信號(hào)來獲取深度信息；以及通過對(duì)所述深度信息進(jìn)行插值來獲得所述區(qū)域以外的、未獲取圖像信號(hào)的區(qū)域中的同一位置的深度信息。

根據(jù)本發(fā)明，即使信號(hào)讀出量減少，也能夠抑制被攝體檢測(cè)精度的劣化。

根據(jù)以下(參考附圖)對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

圖1是示出本發(fā)明的實(shí)施例的攝像設(shè)備的配置的框圖。

圖2是示意性地示出實(shí)施例的圖像傳感器的像素排列的圖。

圖3是示意性地示出來自攝影鏡頭的出射光瞳的光束與像素之間的關(guān)系的圖。

圖4是實(shí)施例的圖像傳感器的配置圖。

圖5a是示出實(shí)施例的圖像傳感器的單位像素的電路配置的圖。

圖5b是針對(duì)實(shí)施例的圖像傳感器的單位像素列的讀出電路的配置圖。

圖5c是示出針對(duì)實(shí)施例的圖像傳感器的像素陣列設(shè)定的焦點(diǎn)檢測(cè)幀的圖。

圖6a～6c是實(shí)施例的圖像傳感器的單位像素行的讀出操作的時(shí)序圖。

圖7是示出圖像信息的數(shù)據(jù)配置的圖。

圖8a～8d是用于示出相位差插值之前的圖像信息的概念圖。

圖9是示出本實(shí)施例的差值插值處理的流程圖。

圖10是示出相位插值之后的相位差的概念圖。

圖11是示出第二實(shí)施例的攝像設(shè)備的配置的框圖。

圖12是示出第三實(shí)施例的攝像設(shè)備的配置的框圖。

圖13a～13d是示出實(shí)施例的背景的圖。

具體實(shí)施方式

以下詳細(xì)描述本發(fā)明的實(shí)施例。以下的實(shí)施例僅是用于實(shí)施本發(fā)明的示例。應(yīng)根據(jù)應(yīng)用本發(fā)明的設(shè)備的各種條件和結(jié)構(gòu)適當(dāng)?shù)匦薷幕蚋淖儗?shí)施例。本發(fā)明不應(yīng)限于以下的實(shí)施例。并且，在后面描述的實(shí)施例的多個(gè)部分可被適當(dāng)?shù)亟M合。

背景的描述

首先，參照?qǐng)D13a～13c具體描述實(shí)施例的背景。

圖13a～13c示出在圖像拍攝中的ac控制時(shí)在攝像畫面上任意設(shè)定并且對(duì)于焦點(diǎn)調(diào)整和被攝體檢測(cè)(距離地圖數(shù)據(jù)產(chǎn)生)需要的距離信息獲取區(qū)域及其距離地圖。

圖13a示出在整個(gè)攝像畫面上設(shè)定距離信息獲取區(qū)域的情況下的圖像信號(hào)。在圖13a中，附圖標(biāo)記1300表示主被攝體，附圖標(biāo)記1301表示主被攝體以外的被攝體，附圖標(biāo)記1302表示距離信息獲取區(qū)域。

圖13b示出從圖13a中的距離信息獲取區(qū)域1302中獲取的距離地圖。附圖標(biāo)記1303表示主被攝體1300的距離，附圖標(biāo)記1304表示主被攝體以外的被攝體1301的距離。

圖13c示出為了減少系統(tǒng)負(fù)荷和功耗而以在攝像畫面上進(jìn)行離散間隔剔除的方式設(shè)定距離信息獲取區(qū)域。在圖13c中，為了使用距離信息來檢測(cè)主被攝體1300，需要確定主被攝體的周圍的狀態(tài)。因此，需要以可以觀看整個(gè)畫面的方式設(shè)定距離信息獲取區(qū)域。因此，如圖所示，在整個(gè)畫面上離散地設(shè)定距離信息獲取區(qū)域1307。

圖13d示出從圖13c中的距離信息獲取區(qū)域1307獲取的距離地圖。實(shí)黑部分1308在距離信息獲取區(qū)域以外，指示在這些部分中不能獲取距離信息。只能離散地獲取主被攝體1300的距離1309和主被攝體以外的被攝體1301的距離1310。在這種情況下，像素的信號(hào)讀出量以與距離信息獲取區(qū)域以外的區(qū)域1308對(duì)應(yīng)的量減少，因此存在被攝體檢測(cè)精度劣化的可能性。

因此，在以下的實(shí)施例中，使得即使以進(jìn)行離散間隔剔除的方式設(shè)定距離信息獲取區(qū)域，也能夠抑制被攝體檢測(cè)精度的劣化。

第一實(shí)施例

在本實(shí)施例中，描述通過具有采用相位差檢測(cè)方法的自動(dòng)調(diào)焦(af)功能和被攝體檢測(cè)功能(主被攝體追蹤功能)的數(shù)字視頻照相機(jī)來實(shí)現(xiàn)攝像設(shè)備的示例，但是本發(fā)明可以應(yīng)用于諸如作為一種類型的移動(dòng)電話的智能電話和平板終端的電子裝置。

設(shè)備配置

以下參照?qǐng)D1描述本實(shí)施例的攝像設(shè)備100的配置。

在圖1中，光學(xué)系統(tǒng)1包含變焦透鏡、調(diào)焦透鏡和光圈。光學(xué)系統(tǒng)驅(qū)動(dòng)單元2基于從后面描述的af控制單元8輸出的光學(xué)系統(tǒng)驅(qū)動(dòng)信息來控制光學(xué)系統(tǒng)1。圖像傳感器3具有cmos等的光電轉(zhuǎn)換元件，將通過光學(xué)系統(tǒng)1在光接收面上形成的被攝體圖像轉(zhuǎn)換成電信號(hào)，并且輸出圖像信號(hào)。

信號(hào)讀出控制單元4在af控制單元8的控制下、通過基于來自后面描述的焦點(diǎn)檢測(cè)單元6的被攝體距離信息驅(qū)動(dòng)圖像傳感器3來控制圖像信號(hào)讀出。信號(hào)讀出控制單元4還向記錄單元10輸出關(guān)于從圖像傳感器3讀出圖像信號(hào)時(shí)的被攝體距離信息獲取區(qū)域的信息(以下，稱為區(qū)域信息)。注意，本實(shí)施例的圖像傳感器3具有分別接收穿過光學(xué)系統(tǒng)1的不同的光瞳區(qū)域的光束并且輸出光瞳分割圖像信號(hào)的多個(gè)像素部分?？梢酝ㄟ^來自信號(hào)讀出控制單元4的驅(qū)動(dòng)脈沖從各光瞳分割像素單獨(dú)讀出具有不同的視差(或視點(diǎn))的圖像信號(hào)(a圖像信號(hào)和b圖像信號(hào))。將在后面參照?qǐng)D2～6描述圖像傳感器3的電路配置。

焦點(diǎn)檢測(cè)單元6基于來自圖像傳感器3的圖像信號(hào)(a圖像信號(hào)和b圖像信號(hào))計(jì)算用于af控制和被攝體檢測(cè)的距離信息(深度信息和距離地圖數(shù)據(jù))，并且將該距離信息輸出到信號(hào)讀出控制單元4、af控制單元8和記錄單元10。

af控制單元8在系統(tǒng)控制單元13的控制下進(jìn)行相位差af控制。af控制單元8從焦點(diǎn)檢測(cè)單元6獲取距離信息，并且將控制信號(hào)輸出到光學(xué)系統(tǒng)驅(qū)動(dòng)單元2。

信號(hào)處理單元9產(chǎn)生通過將來自圖像傳感器3的圖像信號(hào)相加在一起所獲取的圖像信號(hào)、進(jìn)行預(yù)定的信號(hào)處理、以及輸出用于顯示或用于記錄的圖像信號(hào)。信號(hào)處理單元9還對(duì)產(chǎn)生的圖像信號(hào)進(jìn)行諸如顏色轉(zhuǎn)換、白平衡校正和伽馬校正、分辨率轉(zhuǎn)換處理和圖像壓縮轉(zhuǎn)換等的圖像處理，以及向記錄單元10和顯示單元11輸出用于顯示或用于記錄的圖像信號(hào)。

記錄單元10是記錄由信號(hào)處理單元9產(chǎn)生的圖像信號(hào)以及被讀出已記錄的圖像的存儲(chǔ)器卡或硬盤等。記錄單元10還記錄通過信號(hào)處理單元9處理的圖像信號(hào)、來自信號(hào)讀出控制單元4的區(qū)域信息和來自焦點(diǎn)檢測(cè)單元6的距離信息相互關(guān)聯(lián)的圖像信息。

距離信息插值單元14基于記錄于記錄單元10中的圖像信息對(duì)作為距離信息獲取區(qū)域以外的區(qū)域的間隔剔除區(qū)域的距離信息進(jìn)行插值。注意，將在后面描述距離信息插值單元14的詳細(xì)處理。

顯示單元11是顯示由信號(hào)處理單元9產(chǎn)生的圖像和各種菜單畫面等的液晶面板(lcd)等。操作單元12包括用于接收用戶操作的各種開關(guān)(例如，af開/關(guān)和變焦)，并且將來自用戶的指令傳送給系統(tǒng)控制單元13。

系統(tǒng)控制單元13包含用于一體化控制攝像設(shè)備100的各種功能的cpu、ram和rom和專用電路等。cpu通過將存儲(chǔ)于作為非易失性存儲(chǔ)器的rom中的程序加載到用作工作存儲(chǔ)器的ram并執(zhí)行該程序來執(zhí)行后面描述的控制次序。

圖像傳感器的配置

圖2是示出圖像傳感器3的像素排列的示意圖。單位像素200以矩陣狀排列，并且，r(紅色)/g(綠色)/b(藍(lán)色)濾波器以bayer圖案排列于單位像素200上。另外，子像素a和b被排列于單位像素200中的每一個(gè)中，并且，光電二極管(以下，稱為pd)201a和201b分別排列于子像素a和b中。從子像素a和b輸出的攝像信號(hào)用于焦點(diǎn)檢測(cè)，以及作為通過將從子像素a和子像素b輸出的攝像信號(hào)相加所獲取的信號(hào)的a/b合成信號(hào)用于圖像產(chǎn)生。

圖3示出來自光學(xué)系統(tǒng)1的出射光瞳的不同區(qū)域的光束與單位像素200之間的關(guān)系，對(duì)與圖2類似的構(gòu)成要素分配相同的附圖標(biāo)記。

如圖3所示，在單位像素200中的每一個(gè)上形成濾色器301和微透鏡302。具體而言，將單位像素200中的pd201a和201b分配至一個(gè)微透鏡302。穿過透鏡的出射光瞳303的光入射到以光軸304為中心的單位像素200。穿過作為構(gòu)成出射光瞳303的一部分的區(qū)域的光瞳區(qū)域305的光束穿過微透鏡302，并且被子像素a接收。另一方面，穿過作為構(gòu)成出射光瞳303的另一部分的區(qū)域的光瞳區(qū)域306的光束穿過微透鏡302，并且被子像素b接收。因此，子像素a和b分別接收來自光學(xué)系統(tǒng)1的出射光瞳303的獨(dú)立的光瞳區(qū)域305和306的光。因此，通過比較上述的子像素a的輸出信號(hào)(圖像信號(hào))與具有不同的視差(或視點(diǎn))的子像素b的輸出信號(hào)(b圖像信號(hào))，使得相位差(攝像面)焦點(diǎn)檢測(cè)變?yōu)榭赡堋?/p>

圖4示出圖像傳感器3的電路配置。在像素區(qū)域pa中，如p11～pkn所示，單位像素200以矩陣狀(n行×k列)排列。這里，單位像素200的配置將參照?qǐng)D5a進(jìn)行描述。圖5a是示出圖像傳感器的單位像素的電路配置的圖。

在圖5a中，進(jìn)入上述子像素a和b的pd(光電轉(zhuǎn)換部分)501a和501b的光學(xué)信號(hào)經(jīng)受由pd501a和501b進(jìn)行的光電轉(zhuǎn)換，并且與曝光量對(duì)應(yīng)的電荷累積于pd501a和501b中。通過使分別施加于傳送柵極502a和502b的柵極的信號(hào)txa和txb上升到高電平，累積于pd501a和501b中的電荷被傳送到fd(浮動(dòng)擴(kuò)散)部分503(電荷傳送)。fd部分503與浮動(dòng)擴(kuò)散放大器504(以下，表達(dá)為fd放大器)的柵極連接，并且從pd501a和501b傳送的電荷量通過fd放大器504被轉(zhuǎn)換為電壓量。

通過使施加于fd復(fù)位開關(guān)505的柵極的用于復(fù)位fd部分503的信號(hào)res上升到高電平，fd部分503被復(fù)位。另外，在復(fù)位pd501a和501b的電荷的情況下，信號(hào)res以及信號(hào)txa和txb同時(shí)上升到高電平。這接通傳送柵極502a和502b和fd復(fù)位開關(guān)505，并且pd501a和501b經(jīng)由fd部分503被復(fù)位。通過使施加于像素選擇開關(guān)506的柵極的信號(hào)sel上升到高電平，已通過fd放大器504轉(zhuǎn)換成電壓的像素信號(hào)被輸出到單位像素200的輸出vout。

如圖4所示，垂直掃描電路401向單位像素200中的每一個(gè)供給用于控制單位像素200的上述開關(guān)的諸如res、txa、txb和sel的驅(qū)動(dòng)信號(hào)。對(duì)于各行，這些驅(qū)動(dòng)信號(hào)res、txa、txb和sel是共用的。單位像素200的輸出vout經(jīng)由各列的垂直輸出線402與列共用讀出電路403連接。

這里，參照?qǐng)D5b描述列共用讀出電路403的配置。

對(duì)單位像素200的各列設(shè)置垂直輸出線402，并且該垂直輸出線402與一個(gè)列的單位像素200的輸出vout連接。電流源404與垂直輸出線402連接，并且源跟隨器電路包括電流源404和與垂直輸出線402連接的單位像素200的fd放大器504。

在圖5b中，鉗位電容器601具有c1的電容，反饋電容器602具有c2的電容，并且運(yùn)算放大器603具有與基準(zhǔn)電源vref連接的非反相輸入端子。開關(guān)604用于使反饋電容器602的兩端短路，并且開關(guān)604由信號(hào)cfs控制。

傳送開關(guān)605～608分別用于向信號(hào)存儲(chǔ)電容器609～612傳送從單位像素200讀出的信號(hào)。第一s信號(hào)存儲(chǔ)電容器609存儲(chǔ)通過后面描述的讀出操作從子像素a輸出的像素信號(hào)sa。并且，第二s信號(hào)存儲(chǔ)電容器611存儲(chǔ)作為通過合成(相加)從子像素a輸出的信號(hào)和從子像素b輸出的信號(hào)所獲取的信號(hào)的a/b合成信號(hào)sab。另外，第一n信號(hào)存儲(chǔ)電容器610和第二n信號(hào)存儲(chǔ)電容器612分別存儲(chǔ)單位像素200的噪聲信號(hào)n。信號(hào)存儲(chǔ)電容器609～612分別與列共用讀出電路403的輸出vsa、vna、vsb和vnb連接。

水平傳送開關(guān)405和406分別與列共用讀出電路403的輸出vsa和vna連接。水平傳送開關(guān)405和406由水平掃描電路411的輸出信號(hào)ha*(*是列號(hào))控制。

并且，水平傳送開關(guān)407和408分別與列共用讀出電路403的輸出vsb和vnb連接。水平傳送開關(guān)407和408由水平掃描電路411的輸出信號(hào)hb*(*是列號(hào))控制。水平輸出線409和410與差動(dòng)放大器414的輸入連接，并且差動(dòng)放大器414取得s信號(hào)與n信號(hào)之間的差值，同時(shí)施加預(yù)定的增益，并且將最終的輸出信號(hào)輸出到輸出端子415。

當(dāng)施加于水平輸出線復(fù)位開關(guān)412和413的柵極的信號(hào)chres上升到高電平時(shí)，水平輸出線復(fù)位開關(guān)412和413被接通，并且水平輸出線409和410被復(fù)位到復(fù)位電壓vchres。

以下，描述讀出a圖像信號(hào)的操作和讀出作為a圖像信號(hào)和b圖像信號(hào)的合成信號(hào)的a+b圖像信號(hào)的操作。

圖5c示出在圖像傳感器3的像素區(qū)域pa中設(shè)定的用于焦點(diǎn)調(diào)整的距離信息獲取區(qū)域與用于被攝體檢測(cè)的距離信息獲取區(qū)域之間的關(guān)系。通過焦點(diǎn)檢測(cè)單元6使用來自af控制單元8的區(qū)域信息來設(shè)定焦點(diǎn)檢測(cè)幀620。

在利用k列×n行的像素構(gòu)成的像素區(qū)域pa中，由點(diǎn)線表示的區(qū)域是焦點(diǎn)檢測(cè)幀620。a圖像信號(hào)和a+b圖像信號(hào)從包含于由陰影部分表示的距離信息獲取區(qū)域r1中的單位像素行(像素線)被讀出，并且用于圖像產(chǎn)生、焦點(diǎn)檢測(cè)和被攝體檢測(cè)。僅僅a圖像信號(hào)和b圖像信號(hào)的相加信號(hào)從包含于距離信息獲取區(qū)域r1以外的區(qū)域r2中的單位像素行(像素線)被讀出，并且僅用于圖像產(chǎn)生。

注意，如圖5c所示，如果沿像素區(qū)域的垂直方向設(shè)定多個(gè)區(qū)域r1，那么可以在各區(qū)域r1中以不同的方式設(shè)定單位像素200的行數(shù)。

下面，參照?qǐng)D6a描述圖像傳感器3的讀出操作。圖6a是在上述的區(qū)域r2的各行上進(jìn)行的上述讀出操作的時(shí)序圖。

首先，通過使信號(hào)cfs上升到高電平并且接通開關(guān)604，運(yùn)算放大器603進(jìn)入緩沖狀態(tài)。然后，信號(hào)sel上升到高電平，以及單位像素的像素選擇開關(guān)506被接通。然后，信號(hào)res下降到低電平，以及fd復(fù)位開關(guān)505被關(guān)斷，以解除fd部分503的復(fù)位。

隨后，在信號(hào)cfs返回到低電平且開關(guān)604被關(guān)斷之后，信號(hào)tna和tnb上升到高電平，并且噪聲信號(hào)n經(jīng)由傳送開關(guān)606和608存儲(chǔ)于第一n信號(hào)存儲(chǔ)電容器610和第二n信號(hào)存儲(chǔ)電容器612中。

然后，信號(hào)tna和tnb下降到低電平，并且傳送開關(guān)606和608被關(guān)斷。然后，通過使信號(hào)tsb上升到高電平，傳送開關(guān)607被接通，并且通過使信號(hào)txa和txb上升到高電平，傳送柵極502a和502b被接通。通過該操作，通過合成累積于子像素a的pd501a中的電荷信號(hào)和累積于子像素b的pd501b中的電荷信號(hào)所獲取的信號(hào)經(jīng)由fd放大器504和像素選擇開關(guān)506被輸出到垂直輸出線402。垂直輸出線402的信號(hào)由運(yùn)算放大器603使用同鉗位電容器601的電容c1與反饋電容器602的電容c2的電容比對(duì)應(yīng)的增益被放大，并且經(jīng)由傳送開關(guān)607存儲(chǔ)于第二s信號(hào)存儲(chǔ)電容器611中(a/b復(fù)位信號(hào)sab)。在依次關(guān)斷傳送柵極502a和502b和傳送開關(guān)607之后，信號(hào)res上升到高電平以接通fd復(fù)位開關(guān)505，并且fd部分503被復(fù)位。

然后，由于水平掃描電路411的輸出hb1上升到高電平，水平傳送開關(guān)407和408被接通。因此，第二s信號(hào)存儲(chǔ)電容器611和第二n信號(hào)存儲(chǔ)電容器612的信號(hào)經(jīng)由水平輸出線409和410和差動(dòng)放大器414被輸出到輸出端子415。通過使各列的選擇信號(hào)hb1、hb2、…、hbk依次上升到高電平，水平掃描電路411輸出用于一個(gè)行的a/b合成信號(hào)(a+b圖像信號(hào))。注意，在通過信號(hào)hb1～hbk讀出各列的信號(hào)的同時(shí)，通過使信號(hào)chres上升到高電平而使水平輸出線復(fù)位開關(guān)412和413接通，并且水平輸出線409和410再度被復(fù)位到復(fù)位電壓vchres的電平。

上述的操作是讀出區(qū)域r2中的單位像素的各行的操作。通過該操作讀出了a+b圖像信號(hào)。

下面，參照?qǐng)D6b和圖6c描述讀出區(qū)域r1的各行的操作。圖6b是用于讀出a圖像信號(hào)的操作的時(shí)序圖。首先使信號(hào)cfs上升到高電平、使信號(hào)tna和tnb下降到低電平、以及將n信號(hào)存儲(chǔ)于第一n信號(hào)存儲(chǔ)電容器610和第二n信號(hào)存儲(chǔ)電容器612中的操作與參照?qǐng)D6a描述的操作類似。

當(dāng)噪聲信號(hào)n的存儲(chǔ)結(jié)束時(shí)，通過使信號(hào)tsa上升到高電平來使傳送開關(guān)605接通，以及通過使信號(hào)txa上升到高電平來使傳送柵極502a接通。通過進(jìn)行這種操作，累積于子像素a的pd501a中的信號(hào)經(jīng)由fd放大器504和像素選擇開關(guān)506被輸出到垂直輸出線402。垂直輸出線402的信號(hào)通過運(yùn)算放大器603使用同鉗位電容器601的電容c1與反饋電容器602的電容c2的電容比相對(duì)應(yīng)的增益而放大，并且經(jīng)由傳送開關(guān)605存儲(chǔ)于第一s信號(hào)存儲(chǔ)電容器609中(像素信號(hào)sa)。

然后，由于水平掃描電路411的輸出ha1上升到高電平，水平傳送開關(guān)405和406被接通。因此，第一s信號(hào)存儲(chǔ)電容器609和第一n信號(hào)存儲(chǔ)電容器610的信號(hào)經(jīng)由水平輸出線409和410和差動(dòng)放大器414被輸出到輸出端子415。通過使用于各列的選擇信號(hào)ha1、ha2、…、hak依次上升到高電平，水平掃描電路輸出用于一個(gè)行的子像素a的信號(hào)(a圖像信號(hào))。

當(dāng)信號(hào)res保持處于低電平并且信號(hào)sel保持處于高電平時(shí)，a圖像信號(hào)的讀出結(jié)束。因此，fd部分503上的a圖像信號(hào)被保持而不被復(fù)位。

當(dāng)a圖像信號(hào)的讀出結(jié)束時(shí)，過程依次遷移到圖6c所示的a+b圖像信號(hào)的讀出操作。通過使信號(hào)tsb上升到高電平，傳送開關(guān)607被接通，以及通過使信號(hào)txa和txb上升到高電平，傳送柵極502a和502b被接通。由于這種操作，累積于子像素b的pd501b中的信號(hào)加到存儲(chǔ)于fd部分503中的子像素a的信號(hào)上，并且，相加的信號(hào)經(jīng)由fd放大器504和像素選擇開關(guān)506輸出到垂直輸出線402。操作的剩余部分與參照?qǐng)D6a描述的關(guān)于區(qū)域r2的操作相同。

以這種方式，區(qū)域r1中的各行的讀出操作結(jié)束。因此，在區(qū)域r1中，進(jìn)行a圖像信號(hào)的讀出和a+b圖像信號(hào)的讀出，并且a圖像信號(hào)和a+b圖像信號(hào)依次讀出。

拍攝操作

下面，描述由具有上述的配置的攝像設(shè)備100進(jìn)行的圖像拍攝中的操作。

首先，光學(xué)系統(tǒng)1使用來自光學(xué)系統(tǒng)驅(qū)動(dòng)單元2的驅(qū)動(dòng)信號(hào)來驅(qū)動(dòng)光圈和透鏡，以在圖像傳感器3的光接收面上形成被設(shè)定為合適亮度的被攝體圖像。圖像傳感器3通過來自信號(hào)讀出控制單元4的驅(qū)動(dòng)脈沖來驅(qū)動(dòng)，通過光電轉(zhuǎn)換將被攝體圖像轉(zhuǎn)換成電信號(hào)，并且將電信號(hào)作為圖像信號(hào)輸出。

通過使用與來自焦點(diǎn)檢測(cè)單元6的距離信息5對(duì)應(yīng)的驅(qū)動(dòng)脈沖，信號(hào)讀出控制單元4通過上述的讀出操作從區(qū)域r1讀出a圖像信號(hào)并且讀出a+b圖像信號(hào)，并且從區(qū)域r2讀出a+b圖像信號(hào)。通過以這種方式從區(qū)域的一部分讀出a圖像信號(hào)，處理負(fù)荷減少。而且，在已讀出a圖像信號(hào)的區(qū)域r1中，af控制單元8通過從a+b圖像信號(hào)減去a圖像信號(hào)來獲取b圖像信號(hào)，并且通過使用a圖像信號(hào)和b圖像信號(hào)進(jìn)行af控制。注意，可以通過從區(qū)域r1各自讀出a圖像信號(hào)和b圖像信號(hào)并且從區(qū)域r1以外的區(qū)域r2讀出a+b圖像信號(hào)來進(jìn)行af控制。

焦點(diǎn)檢測(cè)單元6通過使用在信號(hào)讀出控制單元4的控制下從用于af控制的距離信息獲取區(qū)域和用于被攝體檢測(cè)的距離信息獲取區(qū)域中讀出的a圖像信號(hào)和通過從a+b圖像信號(hào)減去a圖像信號(hào)獲取的b圖像信號(hào)來計(jì)算被攝體距離信息(深度信息)。注意，在本實(shí)施例中，距離信息是用于利用(攝像面)相位差方法進(jìn)行af所用的相位差信息(散焦量)。

這里，描述相位差af的概要。焦點(diǎn)檢測(cè)單元6使從a圖像信號(hào)獲取的第一焦點(diǎn)檢測(cè)信號(hào)和從b圖像信號(hào)獲取的第二焦點(diǎn)檢測(cè)信號(hào)在光瞳分割方向相對(duì)偏移，并且計(jì)算指示信號(hào)匹配度的相關(guān)量。使第k個(gè)第一焦點(diǎn)檢測(cè)信號(hào)為a(k)、第k個(gè)第二焦點(diǎn)檢測(cè)信號(hào)為b(k)、針對(duì)距離信息獲取區(qū)域r1的編號(hào)k的范圍為w、由于偏移處理產(chǎn)生的偏移量為s、以及偏移量s的偏移范圍為τ，則通過使用下式計(jì)算相關(guān)量cor。

通過采用偏移量s的偏移處理、第k個(gè)第一焦點(diǎn)檢測(cè)信號(hào)a(k)和第(k-s)個(gè)第二焦點(diǎn)檢測(cè)信號(hào)b(k-s)相互關(guān)聯(lián)，并且進(jìn)行減法以產(chǎn)生偏移減法信號(hào)，并且在與距離信息獲取區(qū)域?qū)?yīng)的范圍w內(nèi)獲得k個(gè)信號(hào)的和以計(jì)算相關(guān)量cor(s)。然后，通過進(jìn)行子像素計(jì)算從相關(guān)量中計(jì)算出相關(guān)量為最小值的實(shí)數(shù)值的偏移量，并且通過圖像偏移量p來表示實(shí)數(shù)值的偏移量。圖像偏移量p乘以焦點(diǎn)檢測(cè)區(qū)域的圖像高度、攝像透鏡(攝像光學(xué)系統(tǒng))的f數(shù)和與出射光瞳距離對(duì)應(yīng)的第一轉(zhuǎn)換系數(shù)k，以檢測(cè)散焦量。

注意，在本實(shí)施例中，描述了焦點(diǎn)檢測(cè)單元6根據(jù)具有不同的視差(或視點(diǎn))的a圖像信號(hào)和b圖像信號(hào)計(jì)算距離(相位差信息)的示例，但是，例如可以使用不被轉(zhuǎn)換成“距離”的“與深度對(duì)應(yīng)的信息”作為被攝體檢測(cè)所用的信息。例如，“與深度對(duì)應(yīng)的信息”可以是以下信息的任何形式：關(guān)于轉(zhuǎn)換成“距離”的處理中所產(chǎn)生的a圖像信號(hào)和b圖像信號(hào)的“視差量(圖像偏移量)”的信息、關(guān)于“散焦量”的信息和關(guān)于“被攝體距離”的信息。另外，在本實(shí)施例中，“與深度對(duì)應(yīng)的信息”中的“被攝體距離”是作為被攝體檢測(cè)所用的信息在分散于整個(gè)畫面的狀態(tài)下而獲取的。注意，被攝體檢測(cè)所用的“與深度對(duì)應(yīng)的信息”可以與圖像相關(guān)聯(lián)地記錄。

本發(fā)明可以作為與圖像中被攝體的深度相對(duì)應(yīng)的信息而應(yīng)用于各種實(shí)施例。因此，由與被攝體的深度對(duì)應(yīng)的數(shù)據(jù)指示的信息(深度信息)是直接指示圖像中的從攝像設(shè)備到被攝體的被攝體距離的信息或指示圖像中的被攝體的被攝體距離與深度之間的相對(duì)關(guān)系的信息就夠了。

具體而言，圖像傳感器3可以從多個(gè)光電轉(zhuǎn)換部分輸出通過穿過光學(xué)系統(tǒng)1的不同光瞳區(qū)域的一對(duì)光束作為光學(xué)圖像形成的圖像，作為成對(duì)的圖像信號(hào)。通過成對(duì)圖像信號(hào)之間的相關(guān)計(jì)算來計(jì)算各區(qū)域的圖像偏移量，并且計(jì)算指示圖像偏移量的分布的圖像偏移地圖。可替代地，將圖像偏移量進(jìn)一步轉(zhuǎn)換成散焦量，并且產(chǎn)生指示散焦量分布(拍攝圖像的二維平面上的分布)的散焦地圖。如果該散焦量基于光學(xué)系統(tǒng)1或圖像傳感器3的條件被轉(zhuǎn)換成被攝體距離，則獲取指示被攝體距離分布的距離地圖數(shù)據(jù)。

如上所述，在本實(shí)施例中，焦點(diǎn)檢測(cè)單元6獲取圖像偏移地圖數(shù)據(jù)、散焦地圖數(shù)據(jù)或從散焦量轉(zhuǎn)換來的被攝體距離的距離地圖數(shù)據(jù)就夠了。注意，可以以塊為單位或以像素為單位來保持各地圖數(shù)據(jù)的數(shù)據(jù)。在這種情況下，如正常圖像數(shù)據(jù)那樣以作為位數(shù)的約8個(gè)位作為最小單位來分配，并且與圖像處理類似，可以通過使用該數(shù)據(jù)作為距離圖像進(jìn)行圖像處理、顯示和記錄等。

af控制單元8采用相位差方法進(jìn)行af。af控制單元8基于來自焦點(diǎn)檢測(cè)單元6的距離信息(與相關(guān)量最小的圖像偏移量或散焦量對(duì)應(yīng))檢測(cè)聚焦位置，并且向光學(xué)系統(tǒng)驅(qū)動(dòng)單元2輸出使得被攝體進(jìn)入聚焦?fàn)顟B(tài)的光學(xué)系統(tǒng)驅(qū)動(dòng)信息。

信號(hào)處理單元9通過將來自圖像傳感器3的圖像信號(hào)轉(zhuǎn)換成亮度信號(hào)和色差信號(hào)產(chǎn)生圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)輸出到記錄單元10和顯示單元11。記錄單元10和顯示單元11記錄和顯示由信號(hào)處理單元9產(chǎn)生的圖像數(shù)據(jù)。

記錄單元10將來自信號(hào)處理單元9的亮度信號(hào)和色差信號(hào)、來自焦點(diǎn)檢測(cè)單元6的距離信息和來自信號(hào)讀出控制單元4的區(qū)域信息作為圖像信息相互關(guān)聯(lián)地進(jìn)行記錄。

下面，參照?qǐng)D7，描述記錄于本實(shí)施例的記錄單元10中的圖像信息和距離信息(相位差信息)的數(shù)據(jù)配置。

在圖7中，附圖標(biāo)記900表示圖像信息的示例。圖像信息900包括頭部分700和數(shù)據(jù)部分800。亮度/色差信號(hào)的頭地址710、亮度/色差信號(hào)的數(shù)據(jù)大小711、距離信息的頭地址720、相位差的數(shù)據(jù)大小721、距離信息獲取區(qū)域的頭地址730和距離信息的數(shù)據(jù)大小731被記錄于頭部分700中。亮度/色差信號(hào)數(shù)據(jù)811、距離信息數(shù)據(jù)821和距離信息獲取區(qū)域數(shù)據(jù)831被記錄于數(shù)據(jù)部分800中。

如上所述，可以通過讀出圖像信息900的頭部分700的頭地址和數(shù)據(jù)大小讀出相互關(guān)聯(lián)的亮度/色差信號(hào)、距離信息和距離獲取區(qū)域數(shù)據(jù)。注意，圖像信息900具有可以相互關(guān)聯(lián)地記錄和讀出亮度/色差信號(hào)、距離信息和距離信息獲取區(qū)域的結(jié)構(gòu)就夠了，并且本發(fā)明不限于該配置。

距離信息插值處理

下面，將參照?qǐng)D8a～10詳細(xì)描述由本實(shí)施例的距離信息插值單元14進(jìn)行的相位差插值處理。

圖8a～8d是在對(duì)距離信息(以下，稱為相位差)進(jìn)行插值之前記錄于本實(shí)施例的記錄單元10中的圖像信息(水平5個(gè)像素，垂直5個(gè)像素)的概念圖。圖8a示出亮度信號(hào)y1～y25。圖8b示出色差信號(hào)u1、v2～v24和u25。圖8c示出對(duì)攝像畫面進(jìn)行離散間隔剔除所設(shè)定的相位差獲取區(qū)域l1、l3和l5，并且來自第一行、第三行和第五行的像素的圖像信號(hào)是光瞳分割圖像信號(hào)。注意，在本實(shí)施例中，描述了沿行(水平)方向設(shè)定相位差獲取區(qū)域，但是可以沿列(垂直)方向設(shè)定相位差獲取區(qū)域。圖8d示出從相位差獲取區(qū)域l1、l3和l5獲取的相位差信息d1～d5、d11～d15和d21～d25。注意，y1、u1和d1表示同一位置的信號(hào)，y2、v2和d2表示同一位置的信號(hào)，并且這適用于剩余的信息。

圖9是示出本實(shí)施例的相位差插值處理的流程圖。

在步驟s900中，距離信息插值單元14從記錄單元10獲取相位差獲取區(qū)域l和相位差信息d。

在步驟s901中，距離信息插值單元14獲取相位差獲取區(qū)域l中的垂直方向的評(píng)價(jià)值v6～v10和v16～v20。例如，在v7的情況下，垂直方向的評(píng)價(jià)值使用v7＝|d2-d12|作為上下方向區(qū)域間的相位差之間的差值的絕對(duì)值來獲得。

在步驟s902中，距離信息插值單元14獲取傾斜方向1的評(píng)價(jià)值p6～p10和p16～p20。例如，在p7的情況下，傾斜方向1的評(píng)價(jià)值使用p7＝|d1-d13|作為左上和右下區(qū)域間的相位差之間的差值的絕對(duì)值來獲得。而且，如果如p6的情況那樣不能獲取必要的相位差，則例如傾斜方向1的評(píng)價(jià)值p6為無窮大。

在步驟s903中，距離信息插值單元14獲取傾斜方向2的評(píng)價(jià)值t6～t10和t16～t20。例如，在t7的情況下，傾斜方向2的評(píng)價(jià)值使用t7＝|d3-d11|作為右上和左下區(qū)域的相位差之間的差值的絕對(duì)值來獲得。而且，如果如t6的情況那樣不能獲取必要的相位差，則例如傾斜方向2的評(píng)價(jià)值t6為無窮大。

在步驟s904中，距離信息插值單元14從相同位置上的三個(gè)評(píng)價(jià)值(垂直方向、傾斜方向1和傾斜方向2)選擇兩個(gè)較小的評(píng)價(jià)值。

在步驟s905中，距離信息插值單元14基于在步驟s904中選擇的兩個(gè)評(píng)價(jià)值獲得比值α6～α10和α16～α20。例如，如果在步驟s904中選擇垂直方向的評(píng)價(jià)值v7和傾斜方向1的評(píng)價(jià)值p7，那么通過使用下式1獲得比值α7。

α7＝(v7-p7)/(2×th)+0.5…(1)

該比值α7為負(fù)表示垂直方向的比值高，以及比值α7為正表示傾斜方向1的比值高。另外，th表示用于判斷比值α7是否滿足0≤α≤1的閾值(垂直方向的比值和傾斜方向1的比值是類似的)，并且事先設(shè)定在存儲(chǔ)器(未示出)中。

在步驟s906中，距離信息插值單元14根據(jù)比值α6～α10和α16～α20獲得通過使用以下的三種方法的任一種進(jìn)行插值的相位差hd6～hd10和hd16～hd20。這里，以比值α7為示例描述三種插值方法。

1.0≤α7≤1的情況

垂直方向的比值和傾斜方向1的比值類似，因此，使用下式2根據(jù)比值α7適應(yīng)性地在垂直方向與傾斜方向1之間切換。具體而言，通過進(jìn)行加權(quán)獲取相位差hd7。

hd7＝(α7(d1+d13)+(1-α7)(d2+d12))/2…(2)

2.α7<0的情況

垂直方向的比值高，因此，通過使用下式3從垂直方向獲取相位差hd7。

hd7＝(d2+d12)/2…(3)

3.α7>1的情況

傾斜方向1的比值高，因此，通過使用下式4獲取水平方向的相位差hd7。

hd7＝(d1+d13)/2…(4)

在步驟s907中，距離信息插值單元14通過使用在步驟s906中獲取的相位差hd6～hd10和hd16～hd20更新記錄單元10中的圖像信息并結(jié)束該處理。這里，距離信息插值單元14將在步驟s906中獲取的相位差hd6～hd10和hd16～hd20與相位差獲取區(qū)域l1、l3和l5以外的區(qū)域l2和l4的位置信息相關(guān)聯(lián)地記錄于記錄單元10中。

圖10示出記錄于記錄單元10中的圖像信息被更新之后(相位差插值之后)的相位差信息。圖10示出相位差獲取區(qū)域l1、l3和l5以外的區(qū)域l2和l4的相位差hd6～hd10和hd16～hd20被插值并添加到圖8d中的插值之前的離散相位差信息d1～d5、d11～d15和d21～d25的狀態(tài)。

如上所述，根據(jù)本實(shí)施例，能夠通過使用相互關(guān)聯(lián)地記錄于記錄單元10中的相位差獲取區(qū)域和相位差信息來對(duì)相位差獲取區(qū)域以外的、未獲取相位差信息的區(qū)域的相位差插值。

注意，在本實(shí)施例中，每隔一行地設(shè)定相位差獲取區(qū)域，但是，如果每隔多個(gè)行設(shè)定相位差獲取區(qū)域，則可以通過使用已知的線性插值或適應(yīng)性插值類似地進(jìn)行插值。另外，在本實(shí)施例中，每隔一行地設(shè)定相位差獲取區(qū)域，但是，可以對(duì)于所有的行設(shè)定相位差獲取區(qū)域，因此可以在不插值的情況下獲取所有像素的相位差。

并且，可以根據(jù)af控制單元8的光學(xué)系統(tǒng)驅(qū)動(dòng)信息選擇相位差獲取區(qū)域。具體而言，可以進(jìn)行動(dòng)態(tài)切換，使得如果驅(qū)動(dòng)量微小(主被攝體聚焦)、則對(duì)所有行設(shè)定相位差獲取區(qū)域并且獲取相位差信息，否則設(shè)定任何適當(dāng)?shù)南辔徊瞰@取區(qū)域。

并且，在本實(shí)施例中，描述了基于相位差獲取區(qū)域和相位差信息對(duì)相位差獲取區(qū)域以外的、未獲取相位差信息的區(qū)域的距離信息插值的情況，但是能夠獲取未獲取相位差信息的區(qū)域的距離信息就夠了，并且本發(fā)明不限于本實(shí)施例。例如，如在日本專利特開2014-150521中描述的那樣，可以通過使用相位差獲取區(qū)域、相位差信息和亮度/色差信號(hào)提高距離信息的分辨率。

第二實(shí)施例

下面，描述第二實(shí)施例。

圖11示出第二實(shí)施例的攝像設(shè)備100的配置。注意，在第二實(shí)施例中，對(duì)與第一實(shí)施例類似的構(gòu)成要素分配相同的附圖標(biāo)記，并且，省略它們的描述。

第二實(shí)施例的攝像設(shè)備具有替代距離信息插值單元14的通信單元15。通信單元15可以通過使用有線通信或無線通信與外部設(shè)備進(jìn)行記錄于記錄單元10中的圖像信號(hào)和圖像信息的傳送/接收。首先，通信單元15向外部設(shè)備傳送包含插值之前的相位差的圖像信息。接收了包含插值之前的相位差的圖像信息的外部設(shè)備進(jìn)行上述的相位差插值處理，并且將包含插值的相位差的圖像信息傳送到攝像設(shè)備100。在經(jīng)由通信單元15接收到圖像信息時(shí)，攝像設(shè)備100將包含插值的相位差的圖像信息記錄于記錄單元10中。

通過以這方式將攝像設(shè)備100配置為可以與外部設(shè)備通信，能夠使外部設(shè)備進(jìn)行相位差插值處理，因此距離信息插值單元14是不必要的，從而使得能夠減少攝像設(shè)備100對(duì)存儲(chǔ)容量的利用。

第三實(shí)施例

下面，描述第三實(shí)施例。

圖12示出第三實(shí)施例的攝像設(shè)備100的配置。注意，在第三實(shí)施例中，對(duì)與第一實(shí)施例類似的構(gòu)成要素分配相同的附圖標(biāo)記，并且省略它們的描述。

在第三實(shí)施例的攝像設(shè)備中，距離信息插值單元14獲取由信號(hào)處理單元9處理的圖像信號(hào)、來自信號(hào)讀出控制單元4的相位差獲取區(qū)域和來自焦點(diǎn)檢測(cè)單元6的相位差信息，并且基于這些信息對(duì)相位差獲取區(qū)域以外的、未獲取相位差信息的區(qū)域的距離信息插值。距離信息插值單元14將插值的相位差輸出到記錄單元10，并且記錄單元10將由信號(hào)處理單元9處理的圖像信號(hào)、來自信號(hào)讀出控制單元4的相位差獲取區(qū)域和由距離信息插值單元14獲取的相位差信息相互關(guān)聯(lián)地作為圖像信息進(jìn)行記錄。

通過這種配置，不需要讀出或?qū)懭胂辔徊畈逯堤幚硭玫膱D像信息，從而使得能夠減少處理時(shí)間。

其它實(shí)施例

本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

盡管已經(jīng)參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。