攝像設(shè)備及其控制方法
【專利摘要】本發(fā)明提供一種攝像設(shè)備及其控制方法。攝像控制單元在第一曝光時(shí)間期間，使用攝像單元的第一像素組進(jìn)行攝像以獲得高曝光圖像。所述攝像控制單元還在短于所述第一曝光時(shí)間的第二曝光時(shí)間期間，使用所述攝像單元的第二像素組進(jìn)行攝像以獲得第一低曝光圖像。所述攝像控制單元還在短于所述第一曝光時(shí)間的第三曝光時(shí)間期間，使用所述第二像素組進(jìn)行攝像以獲得第二低曝光圖像。所述第二曝光時(shí)間和所述第三曝光時(shí)間與所述第一曝光時(shí)間至少部分重疊。檢測單元將所述第一低曝光圖像與所述第二低曝光圖像進(jìn)行比較，以檢測所述被攝體的運(yùn)動(dòng)。
【專利說明】攝像設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種攝像設(shè)備和用于控制攝像設(shè)備的方法。
【背景技術(shù)】
[0002]眾所周知，用來拍攝靜止圖像或運(yùn)動(dòng)圖像所使用的、包括CXD或CMOS圖像傳感器的固態(tài)圖像傳感器，具有通常窄于人眼的動(dòng)態(tài)范圍(可以區(qū)分色階的最小亮度和最大亮度的比)。因此，出現(xiàn)的問題是，難以在照片上忠實(shí)地再現(xiàn)人眼實(shí)際看到的色階。為了解決該問題，已知這樣一種技術(shù)，該技術(shù)用于將多個(gè)不同曝光的圖像(過曝光圖像(即，亮圖像，以下稱為“H圖像”)、正確曝光圖像(以下稱為“M圖像”)、曝光不足圖像(即，暗圖像，以下稱為“L圖像”)等)合成在一起，以獲得具有比標(biāo)準(zhǔn)攝像更寬的動(dòng)態(tài)范圍(以下稱為“HDR”)的圖像。日本特開平6-141229說明了一個(gè)HDR技術(shù)的例子。
[0003]根據(jù)傳統(tǒng)HDR技術(shù)，在開始拍攝之后，順次拍攝多個(gè)不同曝光的圖像(例如，H圖像、M圖像和L圖像，S卩，總共三個(gè)圖像)。此后，將這些圖像合成在一起，從而使得可以通過H和L圖像之間曝光的差來實(shí)現(xiàn)HDR。然而，在這類HDR技術(shù)中，在不同時(shí)刻拍攝要合成的圖像，因此，如果被攝體正在移動(dòng)，則在圖像合成時(shí)出現(xiàn)問題。
[0004]為了解決這一問題，已知這樣一種技術(shù)，該技術(shù)用于將畫面分成多個(gè)區(qū)域，并且在基于區(qū)域而改變曝光的情況下進(jìn)行攝像，以獲得各區(qū)域的不同曝光的圖像，從而減少獲得要合成的多個(gè)圖像的時(shí)刻之間的差(參考日本特開2011-244309)。根據(jù)日本特開2011-244309，可以以行為單位來控制圖像傳感器的曝光時(shí)間，從而使得根據(jù)過曝光行生成亮H圖像，并且根據(jù)曝光不足行生成暗L圖像。可以并行曝光要過曝光的行和要曝光不足的行，因此，減少獲得H和L圖像的時(shí)刻之間的差。
[0005]當(dāng)根據(jù)日本特開2011-244309的技術(shù)生成L和H圖像時(shí)，由于L圖像的曝光時(shí)間短于H圖像的曝光時(shí)間，因而在生成一個(gè)H圖像時(shí)，可以生成兩個(gè)以上的L圖像。(嚴(yán)格地說，如果L圖像的曝光時(shí)間比H圖像的曝光時(shí)間的一半長，則在完成H圖像的曝光時(shí)，未完成第二個(gè)L圖像的曝光。然而，即使在這種情況下，在完成H圖像的曝光之后不久，完成第二個(gè)L圖像的曝光。因此，大體上說，在生成一個(gè)H圖像時(shí)，可以生成兩個(gè)以上的L圖像。)在日本特開2011-244309中，例如，利用在生成一個(gè)H圖像時(shí)所生成的兩個(gè)以上的L圖像，從而使得將一個(gè)H圖像和兩個(gè)以上的L圖像合成在一起。
[0006]順便提及，在不同時(shí)刻獲得第一個(gè)和第二個(gè)L圖像，因此，在第一個(gè)和第二個(gè)L圖像之間可能存在被攝體的運(yùn)動(dòng)。然而，目前仍未提出一種考慮到這一點(diǎn)的利用兩個(gè)以上的L圖像的方案。

【發(fā)明內(nèi)容】

[0007]考慮到上述情況，做出本發(fā)明。本發(fā)明提供一種新的技術(shù)，該技術(shù)利用在使用圖像傳感器的預(yù)定像素組獲得高曝光圖像的時(shí)刻、使用其它預(yù)定像素組所獲得的兩個(gè)低曝光圖像。這里所使用的術(shù)語“高曝光圖像”和“低曝光圖像”，僅意味著相對(duì)曝光度。因此，高曝光圖像并非意味著過曝光，而低曝光圖像也并非意味著曝光不足。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供一種攝像設(shè)備，其包括:攝像單元，用于拍攝被攝體的圖像；攝像控制單元，用于在第一曝光時(shí)間期間使用所述攝像單元的第一像素組進(jìn)行攝像以獲得高曝光圖像，在短于所述第一曝光時(shí)間的第二曝光時(shí)間期間使用所述攝像單元的第二像素組進(jìn)行攝像以獲得第一低曝光圖像，并且在短于所述第一曝光時(shí)間的第三曝光時(shí)間期間使用所述第二像素組進(jìn)行攝像以獲得第二低曝光圖像，其中，所述第二曝光時(shí)間和所述第三曝光時(shí)間與所述第一曝光時(shí)間至少部分重疊；以及檢測單元，用于將所述第一低曝光圖像與所述第二低曝光圖像進(jìn)行比較，以檢測所述被攝體的運(yùn)動(dòng)。
[0009]根據(jù)本發(fā)明的另一方面，提供一種用于攝像設(shè)備的控制方法，其中，所述攝像設(shè)備包括用于拍攝被攝體的圖像的攝像單元，所述控制方法包括以下步驟:攝像控制步驟，用于在第一曝光時(shí)間期間使用所述攝像單元的第一像素組進(jìn)行攝像以獲得高曝光圖像，在短于所述第一曝光時(shí)間的第二曝光時(shí)間期間使用所述攝像單元的第二像素組進(jìn)行攝像以獲得第一低曝光圖像，并且在短于所述第一曝光時(shí)間的第三曝光時(shí)間期間使用所述第二像素組進(jìn)行攝像以獲得第二低曝光圖像，其中，所述第二曝光時(shí)間和所述第三曝光時(shí)間與所述第一曝光時(shí)間至少部分重疊；以及檢測步驟，用于將所述第一低曝光圖像與所述第二低曝光圖像進(jìn)行比較，以檢測所述被攝體的運(yùn)動(dòng)。
[0010]通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將顯而易見。
【專利附圖】

【附圖說明】
[0011]圖1是示出根據(jù)第一實(shí)施例的攝像設(shè)備100的結(jié)構(gòu)的框圖。
[0012]圖2是示出攝像單元103中所包括的圖像傳感器的結(jié)構(gòu)的圖。
[0013]圖3是使用攝像設(shè)備100獲得正常圖像的時(shí)序圖。
[0014]圖4是示出在使用攝像設(shè)備100獲得正常圖像時(shí)，通過垂直驅(qū)動(dòng)電路206所生成的信號(hào)的時(shí)序圖。
[0015]圖5是根據(jù)第一實(shí)施例使用攝像設(shè)備100獲得HDR圖像的時(shí)序圖。
[0016]圖6是示出根據(jù)第一實(shí)施例在使用攝像設(shè)備100獲得用于生成HDR圖像的圖像時(shí)從垂直驅(qū)動(dòng)電路206所生成的信號(hào)的時(shí)序圖。
[0017]圖7是示出用于使用運(yùn)動(dòng)檢測單元108基于兩個(gè)L圖像檢測被攝體的運(yùn)動(dòng)的示例性方法的圖。
[0018]圖8是示出根據(jù)第一實(shí)施例的運(yùn)動(dòng)檢測處理和HDR圖像生成處理的流程圖。
[0019]圖9是根據(jù)第二實(shí)施例的使用攝像設(shè)備100獲得HDR圖像的時(shí)序圖。
[0020]圖10是示出根據(jù)第二實(shí)施例的基于運(yùn)動(dòng)檢測的結(jié)果選擇用于生成HDR圖像的圖像的處理的流程圖。
[0021]圖11是示出如何將要進(jìn)行運(yùn)動(dòng)檢測的L圖像分成多個(gè)塊的圖。
[0022]圖12是用于說明第二實(shí)施例的變形例的圖。
[0023]圖13是根據(jù)第三實(shí)施例，使用攝像設(shè)備100獲得HDR圖像的時(shí)序圖。
[0024]圖14是示出根據(jù)第三實(shí)施例的基于運(yùn)動(dòng)檢測的結(jié)果選擇用于生成HDR圖像的圖像的處理的流程圖。
[0025]圖15A和15B是示出第三實(shí)施例的被攝體的運(yùn)動(dòng)方向的變化的圖?！揪唧w實(shí)施方式】
[0026]現(xiàn)參考【專利附圖】

【附圖說明】本發(fā)明的實(shí)施例。應(yīng)該注意，通過權(quán)利要求書來限定本發(fā)明的技術(shù)范圍，并且不局限于下述實(shí)施例中的任一個(gè)。另外，對(duì)于實(shí)現(xiàn)本發(fā)明，并非必需這些實(shí)施例所述的特征的所有組合。
[0027]第一實(shí)施例
[0028]圖1是示出根據(jù)第一實(shí)施例的攝像設(shè)備100的結(jié)構(gòu)的框圖。攝像設(shè)備100是例如數(shù)字照相機(jī)。鏡頭單元101使得來自被攝體的光會(huì)聚至攝像單元103。鏡頭單元101包括焦距改變單元、遮擋入射光的遮光單元等。光量調(diào)整單元102被設(shè)置在鏡頭單元101和攝像單元103之間。光量調(diào)整單元102包括例如用于插入光衰減濾波器的機(jī)構(gòu)和光圈機(jī)構(gòu)。攝像單元103包括將穿過鏡頭單元101和光量調(diào)整單元102的入射光轉(zhuǎn)換成模擬電信號(hào)的像素單元、將模擬電信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的Α/D轉(zhuǎn)換電路等。
[0029]信號(hào)處理單元104生成用于從攝像單元103所輸入的像素信號(hào)的校正參數(shù)，并且對(duì)像素信號(hào)進(jìn)行必要的圖像信號(hào)校正處理。攝像控制單元105基于來自整體控制/計(jì)算單元106的輸入信號(hào)，生成攝像單元103、信號(hào)處理單元104等所需的定時(shí)信號(hào)、用于設(shè)置用于放大視頻信號(hào)的增益的信號(hào)、用于設(shè)置曝光時(shí)間的信號(hào)和用于其它控制的信號(hào)。
[0030]整體控制/計(jì)算單元106根據(jù)攝像設(shè)備100的操作來進(jìn)行處理和計(jì)算。整體控制/計(jì)算單元106包括臨時(shí)存儲(chǔ)來自信號(hào)處理單元104等的信號(hào)的臨時(shí)存儲(chǔ)單元107、基于來自攝像單元103的信號(hào)而檢測畫面上的運(yùn)動(dòng)被攝體的運(yùn)動(dòng)檢測單元108、以及判斷曝光條件的曝光計(jì)算單元109?；谄毓庥?jì)算單元109的計(jì)算結(jié)果，整體控制/計(jì)算單元106使用光量調(diào)整單元102調(diào)整光的量，或者使用攝像控制單元105調(diào)整曝光時(shí)間或用于放大視頻信號(hào)的增益。
[0031]在本實(shí)施例中，信號(hào)處理單元104與整體控制/計(jì)算單元106分開。可選地，可以將信號(hào)處理單元104包括在整體控制/計(jì)算單元106或攝像單元103中?？梢詫z像控制單元105包括在攝像單元103中。
[0032]操作單元110包括諸如按鈕、撥盤等的人機(jī)接口。用戶使用操作單元110向攝像設(shè)備100輸入操作命令。記錄單元111將由整體控制/計(jì)算單元106所生成的圖像數(shù)據(jù)記錄至記錄介質(zhì)。顯示單元112顯示由整體控制/計(jì)算單元106基于來自信號(hào)處理單元104的信號(hào)所生成的圖像數(shù)據(jù)、與通過操作單元HO所輸入的命令相對(duì)應(yīng)的圖標(biāo)等。
[0033]接著，圖2示出攝像單元103中所包括的圖像傳感器的結(jié)構(gòu)。光接收像素單元201接收來自鏡頭單元101的光，對(duì)入射至其表面的光進(jìn)行光電轉(zhuǎn)換，并且輸出所獲得的電信號(hào)。作為一個(gè)單位(像素)，光接收像素單元201包括光電二極管202、傳輸晶體管203、信號(hào)放大器204和復(fù)位晶體管205。攝像單元103包括二維配置的多個(gè)光接收像素單元(像素)201。
[0034]基于來自圖像傳感器中所包括的垂直驅(qū)動(dòng)電路206的信號(hào)，操作傳輸晶體管203和復(fù)位晶體管205。這里，垂直驅(qū)動(dòng)電路206包括移位寄存器、驅(qū)動(dòng)各像素的信號(hào)生成電路等。由于通過定時(shí)信號(hào)(TXl?TX4、RS1?RS4等)控制傳輸晶體管203和復(fù)位晶體管205，因而可以通過復(fù)位或者讀取光電二極管202的電荷來控制曝光時(shí)間。
[0035]水平驅(qū)動(dòng)電路209包括移位寄存器(未示出)、列放大器電路和Α/D轉(zhuǎn)換電路210、信號(hào)輸出選擇開關(guān)211、輸出電路(未示出)等。這里，通過基于來自攝像控制單元105的信號(hào)而改變列放大器電路和Α/D轉(zhuǎn)換電路210的設(shè)置，可以放大從像素所讀取的信號(hào)。
[0036]接著說明用于使用攝像設(shè)備100獲得正常圖像的處理。圖3是使用攝像設(shè)備100獲得正常圖像的時(shí)序圖?；谟烧w控制/計(jì)算單元106或攝像控制單元105所生成的垂直同步信號(hào)，進(jìn)行曝光和信號(hào)讀取。
[0037]圖4是示出在使用攝像設(shè)備100獲得正常圖像時(shí)，由垂直驅(qū)動(dòng)電路206所生成的信號(hào)的時(shí)序圖。當(dāng)信號(hào)TX和信號(hào)RS上升時(shí)，復(fù)位光電二極管202的電荷，并且開始曝光。在攝像控制單元105所設(shè)置的條件下，按照預(yù)定順序，對(duì)光接收像素單元201順次進(jìn)行該操作。此后，在過去預(yù)定曝光時(shí)間之后，信號(hào)TX再次上升，并且將光電二極管202的電荷讀出至信號(hào)放大器204?；趤碜孕盘?hào)放大器204的信號(hào)來生成視頻信號(hào)，并且通過水平驅(qū)動(dòng)電路209輸出視頻信號(hào)。在攝像控制單元105所設(shè)置的條件下，也進(jìn)行該操作。
[0038]本實(shí)施例的攝像設(shè)備100中所包括的圖像傳感器是CMOS類型的。因此，可以設(shè)置垂直驅(qū)動(dòng)電路206中所包括的移位寄存器，以確定將按照什么順序來驅(qū)動(dòng)傳輸晶體管203的哪些行。另外，可以重復(fù)選擇同一行來讀取信號(hào)。可以設(shè)置水平驅(qū)動(dòng)電路209中所包括的移位寄存器，以確定要在哪一列操作信號(hào)輸出選擇開關(guān)211來讀取信號(hào)，即，要選擇并輸出同一行中的信號(hào)中的哪一個(gè)。因此，可以確定要按照什么順序讀取像素陣列中的哪些像素。使得讀取信號(hào)在信號(hào)處理單元104中經(jīng)過校正處理。此后，整體控制/計(jì)算單元106生成最終圖像。
[0039]接著說明用于使用攝像設(shè)備100檢測被攝體的運(yùn)動(dòng)的處理。本實(shí)施例的運(yùn)動(dòng)檢測處理利用在使用圖像傳感器的預(yù)定像素組(第一像素組)獲得高曝光圖像(H圖像)的時(shí)亥IJ、使用其它預(yù)定像素組(第二像素組)所獲得的兩個(gè)低曝光圖像(L圖像)。這里所使用的術(shù)語“H圖像”和“L圖像”，僅意為相對(duì)曝光度。因此，H圖像并非意為過曝光，并且L圖像并非意為曝光不足。例如，H圖像可以是正確曝光圖像。
[0040]這里假定基于運(yùn)動(dòng)檢測的結(jié)果將高曝光圖像和低曝光圖像合成在一起來生成HDR圖像，來說明用于生成高動(dòng)態(tài)范圍(HDR)圖像的情況下的運(yùn)動(dòng)檢測處理。然而，對(duì)于本實(shí)施例的運(yùn)動(dòng)檢測處理，HDR圖像的生成并非是必要的。在運(yùn)動(dòng)檢測處理之后，可以無需生成HDR圖像，并且除用于生成HDR圖像的處理以外，運(yùn)動(dòng)檢測結(jié)果還可以應(yīng)用于任何目的。例如，攝像設(shè)備100可以拍攝正確曝光圖像，并且作為H圖像將其記錄至記錄介質(zhì)111，從兩個(gè)L圖像檢測被攝體的運(yùn)動(dòng)，并且將運(yùn)動(dòng)檢測結(jié)果記錄至H圖像的頭?？梢栽谝院?，例如，在進(jìn)行圖像校正處理時(shí)等，使用這樣記錄的運(yùn)動(dòng)檢測結(jié)果。
[0041]圖5是在第一實(shí)施例中，使用攝像設(shè)備100獲得HDR圖像的時(shí)序圖。盡管在圖5中，假定獲得30fps的運(yùn)動(dòng)圖像，但是在獲得靜止圖像而不是運(yùn)動(dòng)圖像時(shí)，也可以應(yīng)用本實(shí)施例。即使在獲得運(yùn)動(dòng)圖像時(shí)，幀頻也不局限于30fps。
[0042]在本實(shí)施例中，對(duì)于攝像單元103的圖像傳感器，可以以兩行為一組交替設(shè)置用于獲得L圖像的曝光條件和用于獲得H圖像的曝光條件。通常，以預(yù)定數(shù)量的行為一組，圖像傳感器的像素組交替屬于用于獲得L圖像的像素組或者用于獲得H圖像的像素組。像素組的分配不局限于此?；谕ㄟ^整體控制/計(jì)算單元106每隔1/30秒所生成的垂直同步信號(hào)，以30fps的攝像速率進(jìn)行攝像操作本身。將在過去預(yù)定曝光時(shí)間之后通過圖像傳感器從每一行所輸出的拍攝圖像，臨時(shí)存儲(chǔ)在臨時(shí)存儲(chǔ)單元107中。在準(zhǔn)備了一組L圖像和H圖像之后，整體控制/計(jì)算單元106將L和H圖像合成在一起以生成HDR圖像。
[0043]在用于L圖像的行中，在用于H圖像的行的曝光時(shí)間期間，進(jìn)行兩次曝光和讀取操作以獲得兩個(gè)L圖像。注意，用于L圖像的兩次曝光時(shí)間并非必需完全包括在用于H圖像的一次曝光時(shí)間中，而是可以在允許用于L圖像的兩次曝光時(shí)間與用于H圖像的一次曝光時(shí)間至少部分重疊的時(shí)刻，進(jìn)行兩次用于獲得L圖像的曝光。因此，在用于H圖像的曝光時(shí)間期間，可能沒有完成第二次曝光，并且可能在與用于H圖像的曝光開始的時(shí)刻不同的時(shí)刻，開始第一次曝光。用于L圖像的兩次曝光時(shí)間可以具有不同長度，并且可以在用于H圖像的一個(gè)曝光時(shí)間期間，在用于L圖像的行中進(jìn)行三次以上曝光，以獲得三個(gè)以上的L圖像。除生成HDR圖像以外，還通過運(yùn)動(dòng)檢測單元108使用這樣所獲得的多個(gè)L圖像來檢測畫面的拍攝有運(yùn)動(dòng)被攝體的圖像的區(qū)域?？梢允褂眠\(yùn)動(dòng)檢測單元108的檢測結(jié)果來例如在合成這些圖像期間配準(zhǔn)H和L圖像。在生成HDR圖像時(shí)，可以使用第一個(gè)L圖像，可以使用第二個(gè)L圖像，或者可以使用第一個(gè)和第二個(gè)L圖像兩者。當(dāng)生成三個(gè)以上的L圖像時(shí)，可以使用任意數(shù)量個(gè)L圖像。
[0044]圖6是示出根據(jù)第一實(shí)施例在攝像設(shè)備100中獲得用于生成HDR圖像的圖像時(shí)，通過垂直驅(qū)動(dòng)電路206所生成的信號(hào)的時(shí)序圖。當(dāng)信號(hào)TX和信號(hào)RS上升時(shí)，復(fù)位光電二極管202的電荷，并且開始曝光。在攝像控制單元105所設(shè)置的條件下，按照預(yù)定順序，對(duì)光接收像素單元201順次進(jìn)行該操作。此后，在用于L圖像的行中，在過去了預(yù)定曝光時(shí)間(第二曝光時(shí)間)之后，信號(hào)TXl和TX2順次上升。結(jié)果，將光電二極管202的電荷讀出至信號(hào)放大器204，并且通過水平驅(qū)動(dòng)電路209輸出，因此獲得第一個(gè)L圖像(第一低曝光圖像)。此后，信號(hào)RXl和RX2順次上升，并且復(fù)位用于L圖像的行。此后，類似地，在過去了用于L圖像的預(yù)定曝光時(shí)間(第三曝光時(shí)間，可以等于或者不同于第二曝光時(shí)間)之后，信號(hào)TXl和TX2順次上升。結(jié)果，將光電二極管202的電荷讀出至信號(hào)放大器204，并且通過水平驅(qū)動(dòng)電路209輸出，因此，獲得第二個(gè)L圖像(第二低曝光圖像)。此后，在過去了用于H圖像的預(yù)定曝光時(shí)間(第一曝光時(shí)間)之后，信號(hào)TX3和TX4順次上升，并且將光電二極管202的電荷讀出至信號(hào)放大器204，并且通過水平驅(qū)動(dòng)電路209輸出，因此獲得H圖像。
[0045]接著參考圖7，說明用于使用運(yùn)動(dòng)檢測單元108比較兩個(gè)L圖像來檢測被攝體的運(yùn)動(dòng)的方法。首先，運(yùn)動(dòng)檢測單元108計(jì)算兩個(gè)L圖像之間的差，以判斷在這兩個(gè)L圖像之間是否存在被攝體的運(yùn)動(dòng)。如下實(shí)現(xiàn)該計(jì)算:
[0046]Diff=X L2 (x, y) -L1 (x, y) | 公式(I)
[0047]其中，LN(x，y)表示第N個(gè)L圖像的坐標(biāo)(x，y)處的像素值。因此，整個(gè)圖像的差Diff是所有像素的差的和。
[0048]如果DifT小于閾值Th，則運(yùn)動(dòng)檢測單元108判斷為不存在被攝體的運(yùn)動(dòng)。如果Diff不小于閾值Th，則運(yùn)動(dòng)檢測單元108判斷為存在被攝體的運(yùn)動(dòng)。如果存在運(yùn)動(dòng)，則如圖7所示，運(yùn)動(dòng)檢測單元108通過計(jì)算基準(zhǔn)圖像與在水平和垂直方向上移位預(yù)定數(shù)量的像素(在本實(shí)施例中，在水平方向上移位α個(gè)像素，并且在垂直方向上移位β個(gè)像素)的圖像之間的差，計(jì)算運(yùn)動(dòng)的方向。這里，基準(zhǔn)圖像是第二個(gè)L圖像，并且圖像A?H是通過移位第一個(gè)L圖像所獲得的圖像。運(yùn)動(dòng)檢測單元108將具有最小差的圖像的方向V，指定為被攝體的運(yùn)動(dòng)的方向。這里，存在以A?H所表示的8個(gè)方向V。具有下面的關(guān)系:Α=-Η、B=-G、C=-F 和 D=-E。[0049]可以將整個(gè)畫面分成多個(gè)區(qū)域，可以對(duì)每一區(qū)域進(jìn)行上述運(yùn)動(dòng)檢測處理，并且可以針對(duì)每一區(qū)域判斷是否存在運(yùn)動(dòng)及判斷運(yùn)動(dòng)的方向，從而可以提高檢測的精度。當(dāng)獲得三個(gè)以上的L圖像時(shí)，運(yùn)動(dòng)檢測單元108可以基于這三個(gè)以上的L圖像進(jìn)行運(yùn)動(dòng)檢測。除L圖像以外，運(yùn)動(dòng)檢測單元108還可以使用H圖像進(jìn)行運(yùn)動(dòng)檢測。
[0050]圖8是示出第一實(shí)施例的運(yùn)動(dòng)檢測處理和HDR圖像生成處理的流程圖。在步驟S801，攝像設(shè)備100的整體控制/計(jì)算單元106控制攝像控制單元105獲得一個(gè)H圖像和兩個(gè)L圖像。在步驟S802，運(yùn)動(dòng)檢測單元108比較在步驟S801所獲得的兩個(gè)L圖像來檢測被攝體的運(yùn)動(dòng)。在步驟S803，整體控制/計(jì)算單元106基于在步驟S802檢測到的被攝體的運(yùn)動(dòng)，將H圖像和在步驟S801所獲得的兩個(gè)L圖像中的一個(gè)(或者兩個(gè))合成在一起以生成HDR圖像。從而完成運(yùn)動(dòng)檢測處理和HDR圖像生成處理。
[0051]如上所述，在本實(shí)施例中，攝像設(shè)備100試圖基于在使用圖像傳感器的預(yù)定像素組獲得H圖像的時(shí)刻使用其它預(yù)定像素組所獲得的兩個(gè)L圖像，檢測被攝體的運(yùn)動(dòng)。因此，在本實(shí)施例中，對(duì)于運(yùn)動(dòng)檢測，使用這樣所獲得的兩個(gè)L圖像。
[0052]在本實(shí)施例中，H圖像和L圖像之間的曝光差，源于曝光時(shí)間的差?？梢允褂貌捎霉饬空{(diào)整單元102或攝像控制單元105的放大單元的組合來產(chǎn)生該曝光差。
[0053]第二實(shí)施例
[0054]在第一實(shí)施例中，在同一幀內(nèi)生成HDR圖像。在這種情況下，獲得H和L圖像的時(shí)刻之間的差減小，因而可以減少或者防止在存在被攝體的運(yùn)動(dòng)時(shí)所發(fā)生的圖像質(zhì)量的下降。然而，由于從圖像傳感器的不同像素組獲得H和L圖像，因而出現(xiàn)下面的問題:對(duì)于具有高空間頻率的被攝體，圖像質(zhì)量下降。因此，當(dāng)拍攝具有小的運(yùn)動(dòng)的被攝體的圖像時(shí)，如果使用相同像素組在連續(xù)定時(shí)獲得H和L圖像以生成HDR圖像，則可以進(jìn)一步減少或者防止圖像質(zhì)量的下降。因此，在第二實(shí)施例中，說明這樣一種技術(shù)，該技術(shù)根據(jù)被攝體的運(yùn)動(dòng)的程度，改變生成HDR圖像所要基于的圖像。注意，在第二實(shí)施例中，攝像設(shè)備100具有與第一實(shí)施例的基本結(jié)構(gòu)(參考圖1)相同的基本結(jié)構(gòu)等。這里將說明與第一實(shí)施例的不同。
[0055]圖9是第二實(shí)施例中使用攝像設(shè)備100獲得HDR圖像的時(shí)序圖。如第一實(shí)施例一樣，在攝像單元103的圖像傳感器中，可以以兩行為一組，交替設(shè)置用于獲得L圖像的曝光條件和用于獲得H圖像的曝光條件?；谕ㄟ^整體控制/計(jì)算單元106每1/60秒所生成的垂直同步信號(hào)，以60fps的攝像速率進(jìn)行攝像操作本身。將在過去了預(yù)定曝光時(shí)間之后通過圖像傳感器從各行輸出的拍攝圖像，臨時(shí)存儲(chǔ)在臨時(shí)存儲(chǔ)單元107中。
[0056]在第二實(shí)施例中，與第一實(shí)施例不同，每當(dāng)生成垂直同步信號(hào)時(shí)，都交換用于獲得L圖像的行和用于獲得H圖像的行。因此，在攝像設(shè)備100中，在獲得了 H圖像之后，使用為了生成H圖像而使用的像素組(第一像素組)來獲得第三個(gè)L圖像(第三低曝光圖像)和第四個(gè)L圖像。用于第三個(gè)L圖像的曝光時(shí)間(第四曝光時(shí)間)，可以與用于第一個(gè)、第二個(gè)和第四個(gè)L圖像的曝光時(shí)間相同或者不同。
[0057]當(dāng)獲得了用于運(yùn)動(dòng)檢測的預(yù)定數(shù)量個(gè)L圖像時(shí)，運(yùn)動(dòng)檢測單元108試圖檢測被攝體的運(yùn)動(dòng)。此后，基于運(yùn)動(dòng)檢測單元108的檢測結(jié)果，整體控制/計(jì)算單元106選擇要與H圖像合成的L圖像。具體地，整體控制/計(jì)算單元106選擇在獲得H圖像的相同垂直同步信號(hào)期間所獲得的L圖像(第一個(gè)或第二個(gè)L圖像)、或者在下一垂直同步信號(hào)期間所獲得的L圖像(第三個(gè)或第四個(gè)L圖像)。[0058]圖10是示出用于使用運(yùn)動(dòng)檢測的結(jié)果來選擇用于生成HDR圖像的圖像的處理的流程圖。在步驟S1001，如圖11所示，運(yùn)動(dòng)檢測單元108將要進(jìn)行運(yùn)動(dòng)檢測的L圖像(L-11和L-12)分成多個(gè)塊。在步驟S1002，運(yùn)動(dòng)檢測單元108將作為用于對(duì)具有運(yùn)動(dòng)的塊進(jìn)行計(jì)數(shù)的計(jì)數(shù)器的變量S初始化成O。在步驟S1003，運(yùn)動(dòng)檢測單元108判斷在第一塊(例如，圖11左上角的塊)中是否存在運(yùn)動(dòng)。例如，可以基于第一實(shí)施例所述的公式(I)(注意，在這種情況下，Diff是僅與要處理的塊有關(guān)的差，而不是整個(gè)L圖像)，進(jìn)行步驟S1003的判斷。如果步驟S1003的判斷是肯定的，則在步驟S1004，運(yùn)動(dòng)檢測單元108將變量S增大I。在步驟S1005，運(yùn)動(dòng)檢測單元108判斷是否處理了所有塊。如果步驟S1005的判斷結(jié)果是否定的，則控制返回至步驟S1003，在步驟S1003，處理下一個(gè)塊。換句話說，運(yùn)動(dòng)檢測單元108以預(yù)定大小的塊為單位，對(duì)進(jìn)行運(yùn)動(dòng)檢測的L圖像(L-11和L-12)進(jìn)行比較，來檢測各塊中的被攝體的運(yùn)動(dòng)。
[0059]在步驟S1006中，整體控制/計(jì)算單元106判斷計(jì)數(shù)的結(jié)果(變量S)是否不小于預(yù)定閾值(sth)。如果S≥Sth，則控制進(jìn)入步驟S1007。否則(即，被檢測到被攝體的運(yùn)動(dòng)的塊的數(shù)量小于該閾值)，則控制進(jìn)入步驟S1008。
[0060]在步驟S1007，整體控制/計(jì)算單元106選擇第一 H圖像(H_l)和在獲得該H圖像的同一垂直同步信號(hào)期間所獲得的L圖像(L-1l)，作為要合成在一起的圖像。因此，如果S≥Sth (即，存在被攝體的大的運(yùn)動(dòng))，則進(jìn)行幀內(nèi)HDR圖像生成處理。
[0061]另一方面，在步驟S1008，整體控制/計(jì)算單元106選擇第一 H圖像(H_l)和在下一垂直同步信號(hào)期間所獲得的L圖像(L-21)，作為要合成在一起的圖像。因此，如果S〈Sth(即，僅存在被攝體的小的運(yùn)動(dòng)或者沒有運(yùn)動(dòng))，則進(jìn)行幀間HDR圖像生成處理。
[0062]注意，如第一實(shí)施例一樣，在步驟S1007，可以選擇L圖像L_12，或者可以選擇L圖像L-1l和L-12兩者。這同樣適用于步驟S1008。
[0063]如上所述，在本實(shí)施例中，攝像設(shè)備100根據(jù)被攝體的運(yùn)動(dòng)檢測的結(jié)果，在幀內(nèi)HDR圖像生成處理和幀間HDR圖像生成處理之間切換。結(jié)果,可以提高HDR圖像的圖像質(zhì)量。注意，圖10的選擇處理僅用于示例?？蛇x地，例如，當(dāng)存在被攝體的任何可檢測運(yùn)動(dòng)時(shí)，攝像設(shè)備100可以進(jìn)行幀內(nèi)HDR圖像生成處理。
[0064]注意，攝像設(shè)備100以塊為單位，判斷是要進(jìn)行幀內(nèi)HDR圖像生成處理還是要進(jìn)行幀間HDR圖像生成處理。在這種情況下，例如，如果在塊中檢測到了運(yùn)動(dòng)，則將H圖像(H-1)的該塊與第一個(gè)L圖像(L-1l)的相應(yīng)塊合成，并且如果在塊中沒有檢測到運(yùn)動(dòng)，則將H圖像(H-1)的該塊與第三個(gè)L圖像(L-21)的相應(yīng)塊合成。
[0065]奪形例
[0066]代替在幀內(nèi)HDR圖像生成處理和幀間HDR圖像生成處理之間的切換，根據(jù)被攝體的運(yùn)動(dòng)檢測的結(jié)果，可以改變要合成的L圖像的比例。例如，如圖12所示，攝像設(shè)備100可以通過計(jì)算四個(gè)L圖像的加權(quán)平均值來將該四個(gè)L圖像合成在一起，以生成用于合成的單個(gè)L圖像(要合成的圖像)，并且可以將所獲得的L圖像與H圖像合成在一起。L圖像的加權(quán)系數(shù)(α、β、Y和Θ )均是通過運(yùn)動(dòng)檢測處理所獲得的S (具有運(yùn)動(dòng)的塊的數(shù)量)和V(運(yùn)動(dòng)的方向)的函數(shù)。例如，將該函數(shù)設(shè)計(jì)成使得α和β的值隨著被攝體的運(yùn)動(dòng)的增大而增大。
[0067]注意,在該變形例中，攝像設(shè)備100不需將所有這四個(gè)L圖像合成在一起。例如，可以根據(jù)第一個(gè)和第三個(gè)L圖像(L-11和L-21)生成要合成的L圖像。
[0068]第三實(shí)施例
[0069]在第一和第二實(shí)施例中，假定當(dāng)進(jìn)行幀內(nèi)HDR圖像生成處理時(shí)，可以將多個(gè)L圖像中的任一個(gè)與H圖像合成。然而，當(dāng)存在被攝體的運(yùn)動(dòng)時(shí)，多個(gè)L圖像相互不同，因此，HDR圖像的圖像質(zhì)量根據(jù)L圖像中的哪一個(gè)與H圖像進(jìn)行合成而改變。因此，在第三實(shí)施例中，說明下面的例子:當(dāng)進(jìn)行幀內(nèi)HDR圖像生成處理時(shí)，選擇要合成的L圖像，這樣將提高HDR圖像的圖像質(zhì)量。注意，在第三實(shí)施例中，攝像設(shè)備100具有與第一和第二實(shí)施例的基本結(jié)構(gòu)(參考圖1)相同的基本結(jié)構(gòu)。將主要說明與第一和第二實(shí)施例的不同。
[0070]圖13是第三實(shí)施例中，使用攝像設(shè)備100獲得HDR圖像的時(shí)序圖。如第一實(shí)施例一樣，攝像單元103的圖像傳感器可以以兩行為一組，交替設(shè)置用于獲得L圖像的曝光條件和用于獲得H圖像的曝光條件。基于通過整體控制/計(jì)算單元106每1/60秒所生成的垂直同步信號(hào)，以60fps的攝像速率進(jìn)行攝像操作本身。將在過去了預(yù)定曝光時(shí)間之后通過圖像傳感器從各行所輸出的拍攝圖像，臨時(shí)存儲(chǔ)在臨時(shí)存儲(chǔ)單元107中。
[0071]在本實(shí)施例中，假定在獲得了一個(gè)H圖像的時(shí)刻，獲得了三個(gè)L圖像(L-11、L-12和L-13)。通過在短于H圖像的曝光時(shí)間的預(yù)定曝光時(shí)間(第五曝光時(shí)間)期間所進(jìn)行的攝像，獲得第三個(gè)L圖像(第四低曝光圖像)。當(dāng)獲得了用于運(yùn)動(dòng)檢測的預(yù)定數(shù)量的L圖像時(shí)，運(yùn)動(dòng)檢測單元108試圖檢測被攝體的運(yùn)動(dòng)。具體地，運(yùn)動(dòng)檢測單元108計(jì)算L圖像L-1l和L-12之間和L圖像L-12和L-13之間的具有運(yùn)動(dòng)的塊的數(shù)量S以及運(yùn)動(dòng)的方向V。
[0072]圖14是根據(jù)第三實(shí)施例的使用運(yùn)動(dòng)檢測的結(jié)果來選擇要生成HDR圖像所基于的圖像的處理的流程圖。在步驟S1401和S1402，運(yùn)動(dòng)檢測單元108檢測第一個(gè)L圖像(L-1l)和第二個(gè)L圖像(L-12)之間的運(yùn)動(dòng)，并且計(jì)算具有運(yùn)動(dòng)的塊的數(shù)量S12和該運(yùn)動(dòng)(圖7的A?H中的任一個(gè))的方向V12。此后，在步驟S1403和S1404，運(yùn)動(dòng)檢測單元108檢測第二個(gè)L圖像(L-12)和第三個(gè)L圖像(L-13)之間的運(yùn)動(dòng)，并且計(jì)算具有運(yùn)動(dòng)的塊的數(shù)量S23和該運(yùn)動(dòng)(圖7的A?H中的任一個(gè))的方向V23。
[0073]在步驟S1405和S1406，整體控制/計(jì)算單元106判斷S12和S23是否不小于預(yù)定閾值(Sth)。如果值S12和S23中至少一個(gè)小于Sth，則至少在L-1l和L-12之間或者在L-12和L-13之間，不存在被攝體的運(yùn)動(dòng)。在這種情況下，控制進(jìn)入步驟S1409，在步驟S1409，整體控制/計(jì)算單元106選擇作為最接近這三個(gè)L圖像的時(shí)間的中點(diǎn)的L-12，作為要合成的L圖像。
[0074]如果S12和S23都不小于Sth，則被攝體在獲得L圖像的時(shí)間段期間持續(xù)移動(dòng)。在這種情況下，整體控制/計(jì)算單元106基于L圖像之間的運(yùn)動(dòng)的方向，選擇用于HDR合成的L圖像。具體地，在步驟S1407，整體控制/計(jì)算單元106判斷V12=V23是否成立。如果V12=V23，則如圖15A所示，被攝體正在恒定方向上移動(dòng)。在這種情況下，控制進(jìn)入步驟S1409，在步驟S1409，整體控制/計(jì)算單元106選擇作為最接近這三個(gè)L圖像的時(shí)間的中點(diǎn)的L-12，作為要合成的L圖像。
[0075]如果V12=V23不成立(在V12古V23的情況下)，則在步驟S1408，整體控制/計(jì)算單元106判斷V12=(-V23)是否成立。如果V12=(-V23)不成立(V12和V23不是相反方向)，則被攝體的運(yùn)動(dòng)的方向不是恒定方向。在這種情況下，控制進(jìn)入步驟S1409，在步驟S1409，整體控制/計(jì)算單元106選擇作為最接近這三個(gè)L圖像的時(shí)間的中點(diǎn)的L-12，作為要合成的L圖像。
[0076]如果V12=(_V23)，則如圖15B所示，被攝體的運(yùn)動(dòng)的方向在中途反轉(zhuǎn)。在這種情況下，在步驟S1410，整體控制/計(jì)算單元106判斷S12〈S23是否成立。如果S12〈S23，則控制進(jìn)入步驟S1411，在步驟S1411，整體控制/計(jì)算單元106將L-1l設(shè)置為要合成的L圖像。如果S12〈S23不成立，則控制進(jìn)入步驟S1412，在步驟S1412，整體控制/計(jì)算單元106選擇L-13作為要合成的L圖像。
[0077]注意，步驟S1405?S1410的條件分支僅是為了示例，并且可以在不同條件下選擇L圖像。例如，在步驟S1408，即使V12關(guān)(-V23)，那么當(dāng)(V12=C或E或H)、并且(V23=A或D或F)(參考圖7)時(shí)(S卩，沿X坐標(biāo)的運(yùn)動(dòng)的方向相反時(shí))，控制可以進(jìn)入步驟S1410。
[0078]如上所述，在本實(shí)施例中，攝像設(shè)備100在進(jìn)行幀內(nèi)模式HDR圖像生成處理時(shí)，基于運(yùn)動(dòng)檢測的結(jié)果來選擇要合成的L圖像。結(jié)果，可以提高HDR圖像的圖像質(zhì)量。
[0079]注意，當(dāng)使用在不同幀中所拍攝的L圖像或者H圖像作為要合成的圖像時(shí)，也可應(yīng)用本實(shí)施例。不僅可以基于L圖像，而且還可以基于多個(gè)L圖像和H圖像的組合來進(jìn)行運(yùn)動(dòng)檢測。
[0080]其它實(shí)施例
[0081]本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，S卩，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[0082]盡管參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉泛。
【權(quán)利要求】
1.一種攝像設(shè)備，其包括: 攝像單元，用于拍攝被攝體的圖像； 攝像控制單元，用于在第一曝光時(shí)間期間使用所述攝像單元的第一像素組進(jìn)行攝像以獲得高曝光圖像，在短于所述第一曝光時(shí)間的第二曝光時(shí)間期間使用所述攝像單元的第二像素組進(jìn)行攝像以獲得第一低曝光圖像，并且在短于所述第一曝光時(shí)間的第三曝光時(shí)間期間使用所述第二像素組進(jìn)行攝像以獲得第二低曝光圖像，其中，所述第二曝光時(shí)間和所述第三曝光時(shí)間與所述第一曝光時(shí)間至少部分重疊；以及 檢測單元，用于將所述第一低曝光圖像與所述第二低曝光圖像進(jìn)行比較，以檢測所述被攝體的運(yùn)動(dòng)。
2.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，還包括: 生成單元，用于基于所述檢測單元所檢測到的所述被攝體的運(yùn)動(dòng)，將所述高曝光圖像與所述第一低曝光圖像和所述第二低曝光圖像中的至少一個(gè)進(jìn)行合成，以生成高動(dòng)態(tài)范圍圖像，即，HDR圖像。
3.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其中， 所述攝像控制單元在獲得所述高曝光圖像之后，在短于所述第一曝光時(shí)間的第四曝光時(shí)間期間，使用所述第一像素組進(jìn)行攝像以獲得第三低曝光圖像，以及 在所述檢測單元沒有檢測到所述被攝體的運(yùn)動(dòng)的情況下，所述生成單元將所述高曝光圖像與所述第三低曝光圖像進(jìn)行合成以生成HDR圖像。
4.根據(jù)權(quán)利要求3所述的攝像設(shè)備，其中， 所述檢測單元以預(yù)定大小的塊為單位，將所述第一低曝光圖像與所述第二低曝光圖像進(jìn)行比較，以檢測各塊中所述被攝體的運(yùn)動(dòng)，以及 在被檢測到所述被攝體的運(yùn)動(dòng)的塊的數(shù)量小于閾值的情況下，所述生成單元將所述高曝光圖像與所述第三低曝光圖像進(jìn)行合成以生成HDR圖像。
5.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其中， 所述攝像控制單元在獲得所述高曝光圖像之后，在短于所述第一曝光時(shí)間的第四曝光時(shí)間期間，使用所述第一像素組進(jìn)行攝像以獲得第三低曝光圖像，以及 所述生成單元基于所述檢測單元所檢測到的所述被攝體的運(yùn)動(dòng)，計(jì)算所述第一低曝光圖像、所述第二低曝光圖像和所述第三低曝光圖像的加權(quán)平均值以獲得合成圖像，并且將所述高曝光圖像與所述合成圖像進(jìn)行合成以生成HDR圖像。
6.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其中， 所述攝像控制單元在獲得所述第一低曝光圖像和所述第二低曝光圖像之后，在短于所述第一曝光時(shí)間的第五曝光時(shí)間期間，使用所述第二像素組進(jìn)行攝像以獲得第四低曝光圖像， 所述檢測單元將所述第二低曝光圖像與所述第四低曝光圖像進(jìn)行比較，以檢測所述被攝體的運(yùn)動(dòng)，以及 所述生成單元基于所述檢測單元的檢測的結(jié)果，選擇所述第一低曝光圖像、所述第二低曝光圖像和所述第四低曝光圖像中的一個(gè)，并且將所選擇的低曝光圖像與所述高曝光圖像進(jìn)行合成以生成HDR圖像。
7.根據(jù)權(quán)利要求1~6中任一項(xiàng)所述的攝像設(shè)備，其中，所述攝像單元的像素以預(yù)定數(shù)量的行為一組，交替屬于所述第一像素組或所述第二像素組。
8.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中， 所述第二曝光時(shí)間等于所述第三曝光時(shí)間。
9.一種用于攝像設(shè)備的控制方法，其中，所述攝像設(shè)備包括用于拍攝被攝體的圖像的攝像單元，所述控制方法包括以下步驟: 攝像控制步驟，用于在第一曝光時(shí)間期間使用所述攝像單元的第一像素組進(jìn)行攝像以獲得高曝光圖像，在短于所述第一曝光時(shí)間的第二曝光時(shí)間期間使用所述攝像單元的第二像素組進(jìn)行攝像以獲得第一低曝光圖像，并且在短于所述第一曝光時(shí)間的第三曝光時(shí)間期間使用所述第二像素組進(jìn)行攝像以獲得第二低曝光圖像，其中，所述第二曝光時(shí)間和所述第三曝光時(shí)間與所述第一曝光時(shí)間至少部分重疊；以及 檢測步驟，用于將所述第一低曝光圖像與所述第二低曝光圖像進(jìn)行比較，以檢測所述被攝體的 運(yùn)動(dòng)。
【文檔編號(hào)】H04N5/232GK104010128SQ201410058861
【公開日】2014年8月27日 申請(qǐng)日期:2014年2月20日 優(yōu)先權(quán)日:2013年2月20日
【發(fā)明者】市川茂 申請(qǐng)人:佳能株式會(huì)社