示出通過圖像信號(hào)發(fā)送單元104對(duì)于各幀所執(zhí)行的操作。
[0100]在步驟S1111，圖像信號(hào)發(fā)送單元104判斷在前一幀中所計(jì)算出的視差量和在當(dāng)前幀中所計(jì)算出的視差量之間的變化是否在閾值以上?？梢曰谂臄z場(chǎng)景或者拍攝時(shí)的F值來定義該閾值。此外，在計(jì)算相對(duì)前一幀的視差量的變化時(shí)，還可以對(duì)畫面中央或者主被攝體所處區(qū)域的視差量變化賦予大的權(quán)重。如果視差量的變化在閾值以上，則圖像信號(hào)發(fā)送單元104使得處理進(jìn)入步驟SI 112，否則，進(jìn)入步驟SI 113。
[0101]在步驟S1112，圖像信號(hào)發(fā)送單元104確定要發(fā)送B?D圖像的圖像信號(hào)。另一方面，在步驟S1113，圖像信號(hào)發(fā)送單元104確定要發(fā)送通過組合A?D圖像所獲得的圖像信號(hào)(基本圖像信號(hào))。例如，當(dāng)在拍攝之后通過外部設(shè)備150或者數(shù)字照相機(jī)120生成距離圖像時(shí)，僅計(jì)算視差量所需的信息就足夠了，并且因此不必發(fā)送相對(duì)前一幀視差量沒有變化(或者幾乎沒有變化)的幀。因此，通過僅在相對(duì)前一幀具有大的視差量變化的幀中，除基本圖像信號(hào)以外，還發(fā)送B?D圖像的圖像信號(hào)，這樣來減少數(shù)據(jù)量。
[0102]圖1lA是示意性示出在步驟S1106通過圖像信號(hào)發(fā)送單元104作為要發(fā)送的對(duì)象所選擇的、并且在步驟S1107按照時(shí)間序列所輸出的圖像信號(hào)的例子的圖。利用要發(fā)送的圖像信號(hào)的種類和幀編號(hào)來表示各幀。例如，如果確定幀1、4、7和10相對(duì)前一幀具有大的視差量變化，則進(jìn)行如圖1lA所示的發(fā)送。
[0103]可選地，如圖1lB所示，還可以以周期方式發(fā)送B?D圖像?？梢愿鶕?jù)例如從圖像信號(hào)發(fā)送單元104向外部設(shè)備150發(fā)送圖像信號(hào)時(shí)的傳輸速率的上限來確定發(fā)送B?D圖像的周期。代替相對(duì)前一幀的視差量的變化，還可以在相對(duì)上一次發(fā)送B圖像(C圖像或者D圖像)的幀的視差量的變化在閾值以上時(shí)，將B圖像(或者C圖像或者D圖像)定義為要發(fā)送的對(duì)象?？蛇x地，還可以在當(dāng)前幀的視差量在閾值以上時(shí)，將B圖像(或者C圖像或者D圖像)定義為要發(fā)送的對(duì)象。
[0104]因此，即使當(dāng)視差量檢測(cè)像素包括被配置成分別接收穿過不同光瞳區(qū)域的光的四個(gè)光接收元件時(shí)，也可以實(shí)現(xiàn)與第一實(shí)施例相同的效果。
[0105]第三實(shí)施例
[0106]下面參考附圖，說明本發(fā)明的第三實(shí)施例。
[0107]本實(shí)施例涉及一種不同于第一實(shí)施例的、用于減少要發(fā)送至外部設(shè)備150的數(shù)據(jù)量的方法。例如，當(dāng)數(shù)字照相機(jī)被安裝在三腳架上、并且進(jìn)行拍攝時(shí)，視差量即距離信息變化的區(qū)域被限制于移動(dòng)被攝體的區(qū)域。因此，在距離信息變化的拍攝圖像的區(qū)域受限時(shí)，僅需要將距離信息變化的區(qū)域的B圖像發(fā)送至外部設(shè)備。
[0108]參考圖12A的流程圖，說明通過圖像信號(hào)發(fā)送單元104基于該原理所進(jìn)行的操作(與在步驟S406所進(jìn)行的選擇處理相對(duì)應(yīng))。
[0109]在步驟S1201，圖像信號(hào)發(fā)送單元104從圖像信號(hào)中選擇區(qū)域。這里，所選擇的區(qū)域，可以是例如在一個(gè)幀中通過在水平方向和垂直方向上分割圖像信號(hào)所獲得的塊中的一個(gè)塊的形狀的區(qū)域(分割區(qū)域)。此外，選擇順序是任意的，只要在步驟S1201最終選擇了所有分割區(qū)域即可，并且可以按照從左端處的分割區(qū)域開始到右端處的分割區(qū)域的順序，從上到下重復(fù)該選擇操作。
[0110]然后，在步驟S1202，圖像信號(hào)發(fā)送單元104計(jì)算所選擇區(qū)域中的圖像的變化量。該變化量可以是例如在圖像信號(hào)值(亮度值或者色差值)的直方圖中與前一幀的相同位置處的分割區(qū)域中的圖像的差、或者從當(dāng)前幀之前和之后的幀所獲得的運(yùn)動(dòng)矢量的大小。可選地，該變化量可以是根據(jù)通過更簡(jiǎn)單的方法所獲得的圖像的變化量的其它特征量。此外，可以通過圖像信號(hào)發(fā)送單元104來計(jì)算該變化量，或者，可以將為其它目的通過圖像處理單元105所計(jì)算出的特征量，諸如在灰度級(jí)控制時(shí)所計(jì)算出的直方圖或者在編碼運(yùn)動(dòng)圖像時(shí)所使用的運(yùn)動(dòng)矢量等用于此目的。
[0111]然后，圖像信號(hào)發(fā)送單元104判斷所選擇區(qū)域中的圖像的變化量是否在閾值以上，并且如果變化量在閾值以上，則處理進(jìn)入步驟S1203，并且如果變化量小于閾值，則處理進(jìn)入步驟S1204。結(jié)果，圖像信號(hào)發(fā)送單元104將圖像中的變化量在閾值以上的區(qū)域中的B圖像和A+B圖像、以及圖像中的變化量小于閾值的區(qū)域中的A+B圖像，確定為要發(fā)送的信號(hào)。
[0112]在步驟S1205，圖像信號(hào)發(fā)送單元104判斷是否完成了對(duì)于一個(gè)幀中的所有分割區(qū)域的處理，并且如果存在仍未處理的分割區(qū)域，則重復(fù)從步驟S1201開始的處理。如果對(duì)于一個(gè)幀中的所有分割區(qū)域，都確定了要發(fā)送的信號(hào)，則圖像信號(hào)發(fā)送單元104結(jié)束該選擇操作。
[0113]在第一實(shí)施例中，將視差量的差在閾值以上的區(qū)域中的B圖像發(fā)送給外部設(shè)備。然而，當(dāng)在數(shù)字照相機(jī)側(cè)不能計(jì)算視差量時(shí)，可以如本實(shí)施例一樣，將表示圖像中的變化量的其它特征量在閾值以上的區(qū)域中的B圖像發(fā)送給外部設(shè)備。
[0114]注意，即使數(shù)字照相機(jī)被安裝在三腳架上，當(dāng)諸如光圈或者焦距(視角)等的拍攝參數(shù)改變時(shí)，在除移動(dòng)被攝體以外的區(qū)域中，視差量也可能變化。因此，對(duì)于拍攝參數(shù)改變的幀，也可以確定需要發(fā)送B圖像。參考圖12B的流程圖，說明通過圖像信號(hào)發(fā)送單元104基于該原理所進(jìn)行的操作(與在步驟S406所進(jìn)行的選擇處理相對(duì)應(yīng))。
[0115]在步驟S1301，圖像信號(hào)發(fā)送單元104判斷與視差量變化有關(guān)的拍攝參數(shù)相對(duì)前一幀是否發(fā)生了變化。與視差量變化有關(guān)的拍攝參數(shù)是指例如F值或者焦距(視角)等。
[0116]然后，如果與視差量變化有關(guān)的拍攝參數(shù)相對(duì)前一幀發(fā)生了變化，則圖像信號(hào)發(fā)送單元104使得處理進(jìn)入步驟S1302，并且如果與視差量變化有關(guān)的拍攝參數(shù)沒有變化，則使得處理進(jìn)入步驟S1303。結(jié)果，如果與視差量變化有關(guān)的拍攝參數(shù)相對(duì)前一幀發(fā)生了變化，則圖像信號(hào)發(fā)送單元104將B圖像和A+B圖像確定為當(dāng)前幀中要發(fā)送的信號(hào)，并且如果與視差量變化有關(guān)的拍攝參數(shù)相對(duì)前一幀沒有發(fā)生變化，則將A+B圖像確定為當(dāng)前幀中要發(fā)送的信號(hào)。
[0117]可以將圖12B的選擇處理與其它實(shí)施例組合。例如，下面的結(jié)構(gòu)是可以的:在該結(jié)構(gòu)中，如果在圖3B所示處理中的步驟S501，判斷結(jié)果為“否”，則執(zhí)行圖12B的處理。此外，下面的結(jié)構(gòu)也是可以的:在該結(jié)構(gòu)中，在進(jìn)行圖12A所示處理之前，進(jìn)行圖12B的處理，并且如果在步驟S1301，判斷結(jié)果為“否”，則執(zhí)行從步驟S1201開始及以后的處理。
[0118]通過對(duì)其添加圖12B的處理，可以減少要發(fā)送的數(shù)據(jù)量，并且可以防止在稍后不能獲取距離信息這一狀態(tài)。
[0119]根據(jù)本實(shí)施例，包括能夠獲取視差圖像的圖像傳感器的數(shù)字照相機(jī)可以通過向外部設(shè)備僅發(fā)送距離信息變化的區(qū)域中的B圖像減少使得能夠計(jì)算視差量所要發(fā)送或者記錄的數(shù)據(jù)量。因此，可以使用外部設(shè)備來實(shí)現(xiàn)實(shí)時(shí)處理，或者可以節(jié)省記錄介質(zhì)的容量。
[0120]此外，如果與視差量變化有關(guān)的拍攝參數(shù)相對(duì)前一幀發(fā)生了變化，則將整個(gè)幀中的B圖像發(fā)送給外部設(shè)備，從而使得可以減少要發(fā)送的數(shù)據(jù)量，并且使得可以防止在稍后不能獲取距離信息這一狀態(tài)。
[0121]第四實(shí)施例
[0122]下面參考附圖，說明本發(fā)明的第四實(shí)施例。
[0123]本實(shí)施例涉及一種通過壓縮(編碼)要發(fā)送的圖像信號(hào)(RAW)來減少要發(fā)送的數(shù)據(jù)量的方法。例如，當(dāng)將圖像信號(hào)發(fā)送給外部設(shè)備150時(shí)，可以考慮在發(fā)送之前通過對(duì)圖像信號(hào)應(yīng)用諸如編碼處理等的壓縮處理來減少數(shù)據(jù)量。然而，當(dāng)應(yīng)用諸如JPEG方式處理等的、減少圖像的高頻成分的壓縮處理時(shí)，由于在壓縮處理時(shí)所丟失的高頻成分，在外部設(shè)備中基于A+B圖像和B圖像計(jì)算的視差量的精度可能劣化。因此，在本實(shí)施例中，當(dāng)要發(fā)送A+B圖像和B圖像時(shí)，不應(yīng)用壓縮處理，而是在僅發(fā)送A+B圖像時(shí)，應(yīng)用壓縮處理，從而實(shí)現(xiàn)要發(fā)送的數(shù)據(jù)量的減少并且防止在外部設(shè)備中計(jì)算的視差量的精度劣化。
[0124]參考圖13A的流程圖，說明本實(shí)施例的這一處理。首先，圖像信號(hào)發(fā)送單元104判斷是僅要發(fā)送A+B圖像、還是要發(fā)送A+B圖像和B圖像兩者。用于判斷要發(fā)送哪一圖像信號(hào)的方法可以是至此所述的方法中的任一方法。
[0125]在步驟S1401，圖像信號(hào)發(fā)送單元104判斷作為發(fā)送對(duì)象的區(qū)域(一個(gè)幀的整個(gè)或者部分區(qū)域)是僅要發(fā)送A+B圖像的區(qū)域、還是要發(fā)送A+B圖像和B圖像兩者的區(qū)域。如果判斷為該區(qū)域是僅要發(fā)送A+B圖像的區(qū)域，則圖像信號(hào)發(fā)送單元104使得處理進(jìn)入步驟S1402，在步驟S1402，對(duì)A+B圖像應(yīng)用用于壓縮數(shù)據(jù)量的處理，并且在步驟S1403，將壓縮后A+B圖像發(fā)送給外部設(shè)備。在步驟S1402所應(yīng)用的壓縮處理沒有特別限制，并且可以使用任何方法。此外，圖像信號(hào)發(fā)送單元104還可以設(shè)置有壓縮處理所用的電路。
[0126]另一方面，如果在步驟S1401判斷為該區(qū)域是要發(fā)送A+B圖像和B圖像兩者的區(qū)域，則圖像信號(hào)發(fā)送單元104使得處理進(jìn)入步驟S1404，在步驟S1404，對(duì)A+B圖像和B圖像不應(yīng)用壓縮處理，并且將A+B圖像和B圖像以未壓縮狀態(tài)發(fā)送給外部設(shè)備150。
[0127]圖13B示意性示出在以幀為單位確定要發(fā)送的信號(hào)時(shí)，通過圖13A的處理所要發(fā)送的數(shù)據(jù)的例子。
[0128]注意，還可以根據(jù)是否需要高精度地進(jìn)行外部設(shè)備150中的視差量的計(jì)算來動(dòng)態(tài)切換是否執(zhí)行圖13A的處理。也就是說，如果不需要在外部設(shè)備150中高精度地計(jì)算視差量，則始終對(duì)于所有幀都應(yīng)用壓縮處理，并且如果需要在外部設(shè)備150中高精度地計(jì)算視差量，則僅需要對(duì)僅要發(fā)送A+B圖像的幀應(yīng)用壓縮處理。
[0129]第五實(shí)施例
[0130]下面參考附圖，說明本發(fā)明的第五實(shí)施例。
[0131]與顯影處理時(shí)所使用的基本圖像信號(hào)的A+B圖像相比，B圖像的圖像信號(hào)主要用于視差量的計(jì)算。因此，如果不需要視差量的精確計(jì)算，則可以通過減少B圖像的圖像信號(hào)來減少要發(fā)送的數(shù)據(jù)量。
[0132]在如圖2A和2B所示僅在水平方向上配置圖像傳感器的分割光電轉(zhuǎn)換單元的情況下，基于A圖像和B圖像具有最高相關(guān)性的水平方向上的偏移量來計(jì)算視差量，并且因而視差量的計(jì)算精度隨著水平方向上的分辨率的增大(像素?cái)?shù)量的增大)而提高。
[0133]因此，為了在抑制視差量的計(jì)算精度下降的同時(shí)減少要發(fā)送的B圖像的數(shù)據(jù)量，僅需要主要在不同于計(jì)算偏移量的方向的方向(這里，例如，垂直方向)上進(jìn)行減少(削減)?？梢酝ㄟ^圖像信號(hào)生成單元102或者圖像信號(hào)發(fā)送單元104來進(jìn)行該減少處理。
[0134]圖14A?14C示出用于減少B圖像的方法的例子。圖14A示出相對(duì)于A+B圖像的分辨率(水平方向上η個(gè)像素X垂直方向上m個(gè)像素)，將B圖像的分辨率在垂直方向上較少至一半(水平方向上η個(gè)像素X垂直方向上m/2個(gè)像素)的例子。在該減少處理中，可以在保持水平方向上的分辨率的同時(shí)，將要發(fā)送的B圖像的數(shù)據(jù)量減少一半。
[0135]圖14B示出下面的例子:在該例子中，當(dāng)僅在垂直方向上配置分割光電轉(zhuǎn)換單元時(shí)，相對(duì)于A+B圖像的分辨率(水平方向上η個(gè)像素X垂直方向上m個(gè)像素)，將B圖像的分辨率在水平方向上減少至一半(水平方向上n/2X垂直方向上m個(gè)像素)。在該減少處理中，可以在保持垂直方向上的分辨率的同時(shí)，將要發(fā)送的B圖像的數(shù)據(jù)量減少一半。
[0136]因此，通過在與配置分割光電轉(zhuǎn)換單元的方向(光瞳分割方向)不同(例如，與其垂直)的方向上減少B圖像的圖像信號(hào)，可以在抑制視差量的計(jì)算精度劣化的同時(shí)，減少要發(fā)送至外部設(shè)備的B圖像的數(shù)據(jù)量。
[0137]注意，如果不需要高精度地計(jì)算視差量，則還可以如圖14C所示，在配置分割光電轉(zhuǎn)換單元的方向上減少B圖像，或者可以將B圖像減少到使得減少方