用于獲取由閃光燈照明的圖像集合的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于獲得由閃光燈照明的圖像序列的方法和裝置。具體地，但不排他性地，本發(fā)明涉及用于對(duì)裝備有卷簾快門的相機(jī)中的閃光燈進(jìn)行控制的方法和設(shè)備。
【背景技術(shù)】
[0002]基于數(shù)字圖像傳感器的成像設(shè)備通過捕獲光學(xué)圖像并將其轉(zhuǎn)換成電子信號(hào)的方式進(jìn)行操作。這種設(shè)備能夠捕獲靜止圖像和/或由圖像序列(通常稱為幀)組成的視頻。數(shù)字圖像傳感器通常包括布置成包括行和列的陣列的光敏單元(通常稱為圖素(photosite))。用于成像設(shè)備中的光敏單元通?；谀軌?qū)⒐庾愚D(zhuǎn)換成電子的半導(dǎo)體技術(shù)，比如電荷耦合器件(CXD)或互補(bǔ)型金屬氧化物技術(shù)(CMOS)。這種成像傳感器設(shè)備在從專業(yè)影像工作室相機(jī)到消費(fèi)性設(shè)備(包括專用成像設(shè)備(比如攝像機(jī))以及具有內(nèi)置成像功能的個(gè)人電子設(shè)備(比如移動(dòng)電話、智能電話、個(gè)人數(shù)字助理(PDA)和便攜式計(jì)算機(jī)(包括平板計(jì)算機(jī)、膝上計(jì)算機(jī)、筆記本計(jì)算機(jī)等)))的范圍內(nèi)都有著廣泛的應(yīng)用。
[0003]基于C⑶技術(shù)的成像設(shè)備通常采用全局快門技術(shù)，其中將整個(gè)光敏單元陣列同時(shí)曝光，以捕獲圖像數(shù)據(jù)的幀。另一方面，基于CMOS技術(shù)的成像器通常采用“卷簾快門(rolling shutter)”技術(shù)來捕獲幀。在這種所謂的“卷簾快門”技術(shù)中，傳感器陣列的掃描行(例如排或列)每個(gè)都在不同的時(shí)刻曝光，并逐行地接連(例如，從傳感器陣列的頂排向傳感器陣列的底行排)執(zhí)行從光敏單元的讀取。從光敏單元行的讀取之后被合并在一起，以形成單個(gè)圖像。
[0004]當(dāng)要成像的對(duì)象相對(duì)于成像設(shè)備是固定的或相對(duì)于所有行的處理時(shí)間緩慢移動(dòng)時(shí)，卷簾快門對(duì)圖像質(zhì)量并沒有顯著的影響。如果光照條件相對(duì)于處理時(shí)間是恒定的，則卷簾快門對(duì)圖像質(zhì)量同樣沒有顯著的影響。然而，在對(duì)象快速移動(dòng)和/或光照條件在獲取整個(gè)圖像期間改變的場(chǎng)景中，對(duì)所獲得的圖像的質(zhì)量可能是非常不利的。
[0005]在圖像捕獲過程中，閃光燈通常用來通過在捕獲場(chǎng)景的幀時(shí)使用可見光的突發(fā)或脈沖對(duì)場(chǎng)景進(jìn)行照明來改善圖像質(zhì)量。然而，在裝備有卷簾快門的成像設(shè)備中，由于逐行處理技術(shù)，閃光燈可能對(duì)圖像質(zhì)量有不利的影響。確實(shí)，由于閃光燈的持續(xù)時(shí)間(通常是幾十到幾百μ s的量級(jí))與幀處理時(shí)間(通常是幾十ms的量級(jí))相比很短，所以傳感器的不同行會(huì)以相當(dāng)不同的方式被曝光。這一曝光差別導(dǎo)致諸如部分照明(這將損害所獲得的圖像質(zhì)量)的效果以及圖像失真(比如扭曲效果)。在對(duì)快速移動(dòng)的對(duì)象進(jìn)行幀捕獲的情況中，對(duì)圖像質(zhì)量的損害會(huì)進(jìn)一步加重，導(dǎo)致圖像偽像，諸如扭曲效果。
[0006]考慮到上述問題，設(shè)計(jì)了本發(fā)明。

【發(fā)明內(nèi)容】

[0007]根據(jù)本發(fā)明的第一方面，提供了一種使用電子成像設(shè)備和用來對(duì)場(chǎng)景進(jìn)行照明的閃光燈單元獲得場(chǎng)景的圖像序列的方法，其中成像設(shè)備具有布置成陣列的多個(gè)光敏單元，以形成幀區(qū)域，幀區(qū)域由多個(gè)幀子區(qū)域組成，每個(gè)幀子區(qū)域?qū)?yīng)于光敏單元的子集，光敏單元的每個(gè)子集具有曝光持續(xù)時(shí)間，其中至少一些所述幀子區(qū)域的曝光持續(xù)時(shí)間發(fā)生于幀區(qū)域的總曝光時(shí)間期間的不同時(shí)刻，所述方法包括:
[0008]觸發(fā)閃光燈單元，以按照根據(jù)光敏單元的子集的所述曝光持續(xù)時(shí)間和閃光事件的持續(xù)時(shí)間而設(shè)定的閃光事件延遲對(duì)要成像的場(chǎng)景進(jìn)行照明；
[0009]獲取場(chǎng)景的幀集合，其中逐幀地對(duì)閃光事件在幀內(nèi)發(fā)生的時(shí)刻進(jìn)行時(shí)間移位；以及
[0010]構(gòu)建圖像序列，每個(gè)圖像從所獲取的幀的幀子區(qū)域構(gòu)建。
[0011]按照這種方式對(duì)閃光燈照明進(jìn)行控制有助于消除行內(nèi)失真的問題，從而改善圖像質(zhì)量。光敏單元可以是圖素。
[0012]在一種實(shí)施例中，閃光事件延遲大于或等于光敏單元的子集的曝光持續(xù)時(shí)間和閃光事件的持續(xù)時(shí)間之和。
[0013]在一種具體的實(shí)施例中，閃光事件延遲等于光敏單元的子集的曝光持續(xù)時(shí)間和閃光事件的持續(xù)時(shí)間之和。
[0014]優(yōu)選地，每個(gè)幀子區(qū)域?qū)?yīng)于陣列的光敏單元行，以及對(duì)陣列的曝光是逐行連續(xù)執(zhí)行的。一行對(duì)應(yīng)于一排光敏單元或一列光敏單元
[0015]在一種實(shí)施例中，對(duì)閃光事件進(jìn)行定時(shí)，使得在幀捕獲期間，光敏單元的每個(gè)子集由一個(gè)閃光事件照明。
[0016]在一種實(shí)施例中，對(duì)閃光事件進(jìn)行定時(shí)，使得每個(gè)幀進(jìn)行由至少一個(gè)閃光事件照明。
[0017]在一種實(shí)施例中，通過對(duì)由相同閃光事件照明的連續(xù)幀的幀子區(qū)域進(jìn)行重新組裝以形成重構(gòu)圖像，來形成圖像序列中的每個(gè)圖像。重構(gòu)圖像從而可以包括不同捕獲幀的幀子區(qū)域。
[0018]在一種實(shí)施例中，所述方法包括識(shí)別在兩個(gè)連續(xù)幀之間共享相同閃光事件的幀子區(qū)域，以及向所述子區(qū)域應(yīng)用加權(quán)照明強(qiáng)度以形成重構(gòu)圖像。
[0019]在一種實(shí)施例中，閃光事件的持續(xù)時(shí)間被確定為幀子區(qū)域的曝光持續(xù)時(shí)間的一部分，使得
[0020]曝光時(shí)間=η X閃光持續(xù)時(shí)間，
[0021]其中η是大于O的整數(shù)。
[0022]在一種實(shí)施例中，閃光事件持續(xù)時(shí)間在各幀之間有所改變，以及閃光延遲也在各幀之間相應(yīng)調(diào)整。
[0023]根據(jù)本發(fā)明的第二方面，提供了一種電子成像設(shè)備，其具有布置成陣列的多個(gè)光敏單元，以形成幀區(qū)域，幀區(qū)域由多個(gè)幀子區(qū)域組成，每個(gè)幀子區(qū)域?qū)?yīng)于光敏單元的子集，所述設(shè)備包括:
[0024]陣列控制器，被配置為在曝光持續(xù)時(shí)間期間對(duì)每個(gè)所述幀子區(qū)域進(jìn)行曝光，其中對(duì)至少一些所述幀子區(qū)域的曝光發(fā)生于幀區(qū)域的總曝光時(shí)間期間的不同時(shí)刻；
[0025]閃光燈單元，用于在閃光持續(xù)時(shí)間期間對(duì)要成像的場(chǎng)景進(jìn)行照明；
[0026]觸發(fā)器，用于觸發(fā)閃光燈單元，以按照根據(jù)幀子區(qū)域的所述曝光持續(xù)時(shí)間和閃光燈持續(xù)時(shí)間而確定的閃光事件延遲對(duì)要成像的場(chǎng)景進(jìn)行照明；
[0027]圖像數(shù)據(jù)獲取單元，用于獲取場(chǎng)景的幀集合，其中閃光事件在幀內(nèi)發(fā)生的時(shí)刻逐幀地進(jìn)行時(shí)間移位；以及
[0028]圖像重構(gòu)單元，用于從所獲取的幀的幀子區(qū)域構(gòu)建圖像序列。
[0029]在一種實(shí)施例中，閃光事件延遲大于或等于幀子區(qū)域的曝光持續(xù)時(shí)間和閃光事件的持續(xù)時(shí)間之和。優(yōu)選地，閃光事件延遲等于幀子區(qū)域的曝光持續(xù)時(shí)間和閃光事件的持續(xù)時(shí)間之和。
[0030]在一種實(shí)施例中，對(duì)閃光事件定時(shí)，使得在幀捕獲期間，對(duì)光敏單元的對(duì)應(yīng)于幀子區(qū)域的每個(gè)子集只進(jìn)行一次閃光。
[0031]在一種實(shí)施例中，通過對(duì)由相同閃光事件照明的連續(xù)幀的幀子區(qū)域進(jìn)行重新組裝以形成重構(gòu)圖像，來形成圖像序列中的每個(gè)圖像。
[0032]在一種實(shí)施例中，圖像重構(gòu)單元被配置為識(shí)別在兩個(gè)連續(xù)幀之間共享相同閃光事件的子區(qū)域，以及向所述幀子區(qū)域應(yīng)用加權(quán)照明強(qiáng)度以形成重構(gòu)圖像。
[0033]在一種實(shí)施例中，所述設(shè)備包括用來同步陣列控制器和觸發(fā)器的操作的時(shí)鐘。
[0034]本發(fā)明的又一方面涉及用于控制閃光燈單元以使得在幀獲取期間幀的每個(gè)掃描行只由一個(gè)閃光事件照明的方法或設(shè)備。優(yōu)選地，閃光事件延遲大于或等于光敏單元的子集的曝光持續(xù)時(shí)間與閃光事件的持續(xù)時(shí)間之和。可以對(duì)閃光事件定時(shí)，使得在每幀中發(fā)生至少一個(gè)閃光事件。
[0035]本發(fā)明的又一方面提供了一種用于電子成像設(shè)備的閃光燈控制設(shè)備，電子成像設(shè)備具有布置成陣列的多個(gè)光敏單元，以形成幀區(qū)域，幀區(qū)域由多個(gè)幀子區(qū)域組成，每個(gè)幀子區(qū)域?qū)?yīng)于光敏單元的子集并且在曝光持續(xù)時(shí)間期間被曝光，其中至少一些所述幀子區(qū)域的曝光發(fā)生于幀區(qū)域的總曝光時(shí)間期間的不同時(shí)刻，所述閃光控制設(shè)備包括觸發(fā)器，觸發(fā)器用于觸發(fā)閃光燈單元，以在多個(gè)閃光事件處對(duì)被成像的場(chǎng)景進(jìn)行照明，設(shè)定連續(xù)閃光事件之間的時(shí)間間隔，以逐幀地將閃光事件相對(duì)于幀的開始的發(fā)生時(shí)刻進(jìn)行時(shí)間移位，時(shí)間間隔大于或等于光敏單元的子集的曝光持續(xù)時(shí)間和閃光事件的持續(xù)時(shí)間之和。
[0036]本發(fā)明的又一方面提供了一種用于控制電子成像設(shè)備的閃光燈單元的方法，電子成像設(shè)備具有布置成陣列的多個(gè)光敏單元，以形成幀區(qū)域，幀區(qū)域由多個(gè)幀子區(qū)域組成，每個(gè)幀子區(qū)域?qū)?yīng)于光敏單元的子集并且在曝光持續(xù)時(shí)間期間被曝光，其中至少一些所述幀子區(qū)域的曝光發(fā)生于幀區(qū)域的總曝光時(shí)間期間的不同時(shí)刻，所述方法包括觸發(fā)閃光燈單元，以在多個(gè)閃光事件處對(duì)被成像的場(chǎng)景進(jìn)行照明，其中設(shè)定連續(xù)閃光事件之間的時(shí)間間隔，使得逐幀地將閃光事件相對(duì)于幀的