產(chǎn)生高動(dòng)態(tài)范圍圖像的方法及其圖像傳感器的制造方法
【專利摘要】本發(fā)明提供一種產(chǎn)生高動(dòng)態(tài)范圍圖像的方法及其圖像傳感器，適于處理依據(jù)不同曝光時(shí)間連續(xù)交錯(cuò)拍攝所得的原始圖像。此方法包括：取得原始圖像中的操作區(qū)塊，其包括多個(gè)有第一曝光時(shí)間的第一像素與多個(gè)有第二曝光時(shí)間的第二像素；至少根據(jù)第一像素是否過(guò)曝光與第二像素來(lái)產(chǎn)生對(duì)應(yīng)于第二曝光時(shí)間的第二曝光區(qū)塊：至少根據(jù)第二像素是否過(guò)曝光與第一像素來(lái)產(chǎn)生對(duì)應(yīng)于第一曝光時(shí)間的第一曝光區(qū)塊；以及至少根據(jù)第一曝光區(qū)塊與第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于原始圖像的高動(dòng)態(tài)范圍圖像。據(jù)此，可以產(chǎn)生高品質(zhì)的高動(dòng)態(tài)范圍圖像。
【專利說(shuō)明】產(chǎn)生高動(dòng)態(tài)范圍圖像的方法及其圖像傳感器

【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于一種高動(dòng)態(tài)范圍圖像處理技術(shù)，且特別是有關(guān)于一種具有能產(chǎn)生高動(dòng)態(tài)范圍圖像的方法及其圖像傳感器。

【背景技術(shù)】
[0002]所謂“動(dòng)態(tài)范圍”，是指畫面中的最大亮度值與最小亮度值的范圍或比值。對(duì)于攝影而言，動(dòng)態(tài)范圍又可分為“圖像傳感器的動(dòng)態(tài)范圍”和“場(chǎng)景的動(dòng)態(tài)范圍”。其中，圖像傳感器的動(dòng)態(tài)范圍是指感光元件所能接受亮度變化的范圍。場(chǎng)景的動(dòng)態(tài)范圍是指拍攝場(chǎng)景中的亮度差異范圍，也就是畫面中最亮區(qū)域和最暗區(qū)域的差異。
[0003]當(dāng)場(chǎng)景的動(dòng)態(tài)范圍大于圖像傳感器的動(dòng)態(tài)范圍時(shí)，代表拍攝場(chǎng)景中有極端的売部與暗部，超出了感光元件所能記錄的色階，因此照片中會(huì)出現(xiàn)全黑或全白的區(qū)塊。為了克服此缺陷，高動(dòng)態(tài)范圍(High Dynamic Range, HDR)圖像傳感器通過(guò)圖像處理技術(shù),使得處理后圖像的動(dòng)態(tài)范圍大于一般相機(jī)獲取的單一圖像所提供的動(dòng)態(tài)范圍。
[0004]高動(dòng)態(tài)范圍圖像傳感器的其中一種操作模式為產(chǎn)生同畫面中兩條長(zhǎng)曝光及兩條短曝光連續(xù)交替的圖像。在空間上而言，每一種曝光其垂直方向的解析度只剩下全解析度的一半。且利用長(zhǎng)曝光及短曝光連續(xù)交替拍攝所得的單一圖像中會(huì)產(chǎn)生噪聲等級(jí)不一致、過(guò)曝時(shí)機(jī)不一致的問(wèn)題。據(jù)此，上述的噪聲將影響高動(dòng)態(tài)范圍圖像的品質(zhì)。


【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明提供一種產(chǎn)生高動(dòng)態(tài)范圍圖像的方法及其圖像傳感器，用以提供聞品質(zhì)的聞動(dòng)態(tài)范圍圖像。
[0006]本發(fā)明一實(shí)施例提出一種產(chǎn)生高動(dòng)態(tài)范圍圖像的方法,適于處理依據(jù)第一曝光時(shí)間與第二曝光時(shí)間連續(xù)交錯(cuò)拍攝所得的原始圖像。此方法包括:取得原始圖像中的一操作區(qū)塊，其中操作區(qū)塊包括多個(gè)第一像素與多個(gè)第二像素，第一像素具有第一曝光時(shí)間，并且第二像素具有第二曝光時(shí)間；判斷每一個(gè)第一像素是否過(guò)曝光；至少根據(jù)每一個(gè)第一像素是否過(guò)曝光與第二像素來(lái)產(chǎn)生對(duì)應(yīng)于第二曝光時(shí)間的一個(gè)第二曝光區(qū)塊，其中第二曝光區(qū)塊的大小相同于操作區(qū)塊的大小。此方法還包括:判斷每一個(gè)第二像素是否過(guò)曝光；至少根據(jù)每一個(gè)第二像素是否過(guò)曝光與第一像素來(lái)產(chǎn)生對(duì)應(yīng)于第一曝光時(shí)間的一個(gè)第一曝光區(qū)塊，其中第一曝光區(qū)塊的大小相同于操作區(qū)塊的大??；以及至少根據(jù)第一曝光區(qū)塊與第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于原始圖像的高動(dòng)態(tài)范圍圖像。
[0007]在一實(shí)施例中，上述的第一曝光時(shí)間為長(zhǎng)曝光，并且第二曝光時(shí)間為短曝光。所述判斷每一個(gè)第一像素是否過(guò)曝光的步驟包括:判斷每一個(gè)第一像素的顏色值是否大于一個(gè)第一臨界值以判斷第一像素是否過(guò)曝光。其中判斷每一個(gè)第二像素是否過(guò)曝光的步驟包括:將每一個(gè)第二像素乘上增益；以及判斷每一個(gè)第二像素乘上增益的乘積是否大于一個(gè)第二臨界值以判斷出第二像素是否過(guò)曝光。上述的增益是根據(jù)第一曝光時(shí)間與第二曝光時(shí)間所計(jì)算出。
[0008]在一實(shí)施例中，上述的產(chǎn)生第一曝光區(qū)塊的步驟包括:對(duì)于每一個(gè)過(guò)曝光的第二像素，根據(jù)具有相同通道的第一像素內(nèi)插出一個(gè)第三像素；以及根據(jù)第一像素、未過(guò)曝光的第二像素乘上增益的乘積、以及內(nèi)插出的第三像素產(chǎn)生第一曝光區(qū)塊。上述產(chǎn)生第二曝光區(qū)塊的步驟包括:對(duì)于每一個(gè)過(guò)曝光的第一像素，根據(jù)具有相同通道的第二像素內(nèi)插出一個(gè)第四象素；以及根據(jù)第二像素、未過(guò)曝光的第一像素除以增益的商數(shù)、以及內(nèi)插出的第四像素產(chǎn)生第二曝光區(qū)塊。
[0009]在一實(shí)施例中，上述的第一曝光區(qū)塊與第二曝光區(qū)塊中的一中心像素的位置是對(duì)應(yīng)于一個(gè)第二像素的位置。上述產(chǎn)生高動(dòng)態(tài)范圍圖像的方法還包括:從中心像素所對(duì)應(yīng)的第一曝光區(qū)塊或第二曝光區(qū)塊中取得多個(gè)第五像素，其中這些第五像素與中心像素具有相同的通道，并且第五像素的位置是對(duì)應(yīng)于至少一個(gè)第一像素的位置；根據(jù)這些第五像素的高頻部分來(lái)調(diào)整中心像素的顏色值。
[0010]在一實(shí)施例中，上述的至少根據(jù)第一曝光區(qū)塊與第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于原始圖像的高動(dòng)態(tài)范圍圖像的步驟包括:至少根據(jù)第一曝光區(qū)塊的中心像素與第二曝光區(qū)塊的中心像素來(lái)產(chǎn)生高動(dòng)態(tài)范圍圖像。
[0011]以另外一個(gè)角度來(lái)說(shuō)，本發(fā)明一實(shí)施例提出一種高動(dòng)態(tài)范圍圖像傳感器，包括圖像傳感器、存儲(chǔ)單元與圖像處理器。圖像傳感器會(huì)依據(jù)第一曝光時(shí)間與第二曝光時(shí)間連續(xù)交錯(cuò)拍攝，以產(chǎn)生原始圖像。存儲(chǔ)單元是耦接圖像傳感器，用以存儲(chǔ)原始圖像。圖像處理器是耦接圖像傳感器與存儲(chǔ)單元，用以取得原始圖像中的一操作區(qū)塊。此操作區(qū)塊包括多個(gè)第一像素與多個(gè)第二像素，第一像素具有第一曝光時(shí)間，并且第二像素具有第二曝光時(shí)間。圖像處理器也用以判斷每一個(gè)第一像素是否過(guò)曝光，并且至少根據(jù)每一個(gè)第一像素是否過(guò)曝光與第二像素來(lái)產(chǎn)生對(duì)應(yīng)于第二曝光時(shí)間的一個(gè)第二曝光區(qū)塊。其中第二曝光區(qū)塊的大小是相同于操作區(qū)塊的大小。圖像處理器也用以判斷每一個(gè)第二像素是否過(guò)曝光，并且至少根據(jù)每一個(gè)第二像素是否過(guò)曝光與第一像素來(lái)產(chǎn)生對(duì)應(yīng)于第一曝光時(shí)間的一個(gè)第一曝光區(qū)塊。其中第一曝光區(qū)塊的大小相同于操作區(qū)塊的大小。其中，圖像處理器至少根據(jù)第一曝光區(qū)塊與第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于原始圖像的高動(dòng)態(tài)范圍圖像。
[0012]在一實(shí)施例中，上述的圖像處理器是判斷每一個(gè)第一像素的一顏色值是否大于第一臨界值以判斷每一個(gè)第一像素是否過(guò)曝光。圖像處理器判斷第二像素是否過(guò)曝光的步驟包括:圖像處理器將每一個(gè)第二像素乘上一增益；以及圖像處理器判斷每一個(gè)第二像素乘上增益的乘積是否大于一個(gè)第二臨界值以判斷出每一個(gè)第二像素是否過(guò)曝光。此增益是根據(jù)第一曝光時(shí)間與第二曝光時(shí)間所計(jì)算出。
[0013]在一實(shí)施例中，對(duì)于每一過(guò)曝光的第二像素，圖像處理器會(huì)根據(jù)具有相同通道的第一像素內(nèi)插出一個(gè)第三像素。圖像處理器也會(huì)根據(jù)第一像素、未過(guò)曝光的第二像素乘上該增益的乘積、以及內(nèi)插出的第三像素來(lái)產(chǎn)生第一曝光區(qū)塊。對(duì)于每一個(gè)過(guò)曝光的第一像素，圖像處理器會(huì)根據(jù)具有相同通道的第二像素內(nèi)插出一個(gè)第四象素。圖像處理器會(huì)根據(jù)第二像素、未過(guò)曝光的第一像素除以該增益的商數(shù)、以及內(nèi)插出的第四像素來(lái)產(chǎn)生第二曝光區(qū)塊。
[0014]在一實(shí)施例中，上述的第一曝光區(qū)塊與第二曝光區(qū)塊中的一中心像素的位置是對(duì)應(yīng)于一個(gè)第二像素的位置。圖像處理器還用以從此中心像素所對(duì)應(yīng)的第一曝光區(qū)塊或第二曝光區(qū)塊中取得多個(gè)第五像素。這些第五像素與中心像素具有相同的通道，并且第五像素的位置是對(duì)應(yīng)于第一像素的位置。圖像處理器還用以根據(jù)第五像素的高頻部分來(lái)調(diào)整中心像素的顏色值。
[0015]在一實(shí)施例中，上述的圖像處理器至少是根據(jù)第一曝光區(qū)塊的中心像素與第二曝光區(qū)塊的中心像素來(lái)產(chǎn)生高動(dòng)態(tài)范圍圖像。
[0016]基于上述，本發(fā)明實(shí)施例所提供的產(chǎn)生高動(dòng)態(tài)范圍圖像的方法及其圖像傳感器，可處理有不同曝光時(shí)間的原始圖像并廣生對(duì)應(yīng)的聞動(dòng)態(tài)范圍圖像。
[0017]為讓本發(fā)明的上述特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉實(shí)施例，并配合附圖作詳細(xì)說(shuō)明如下。

【專利附圖】

【附圖說(shuō)明】
[0018]圖1是依照本發(fā)明一實(shí)施例示出的高動(dòng)態(tài)范圍圖像傳感器的方塊圖；
[0019]圖2是依照本發(fā)明一實(shí)施例示出的圖像傳感器采用不同曝光時(shí)間所獲得的原始圖像的不意圖；
[0020]圖3是依照本發(fā)明一實(shí)施例示出的操作區(qū)塊Wl進(jìn)行區(qū)塊處理的過(guò)程示意圖；
[0021]圖4是依照本發(fā)明一實(shí)施例示出產(chǎn)生高動(dòng)態(tài)范圍圖像的方法的流程圖。
[0022]附圖標(biāo)記說(shuō)明:
[0023]100:高動(dòng)態(tài)范圍圖像傳感器；
[0024]110:圖像傳感器；
[0025]120:存儲(chǔ)單元；
[0026]130:圖像處理器；
[0027]200:原始圖像；
[0028]R1 ?R8、R’ I ?R’ 5、R” ！?R” 5:像素列；
[0029]W1Nff3:操作窗口；
[0030]LE:長(zhǎng)曝光時(shí)間；
[0031]SE:短曝光時(shí)間；
[0032]G1 > B2> G3> B4> G5、R6-, G7-, R8-, G9、R10-> G11 > B12、G13-, B14-, B15、R16-> G17-, R18、G19-, R2O> G21 > B22->
n D Γ p，D ^p，D ^P，， D ^ p，， D ^
U23A °24Λ U25A u 11Λ D 12 Λ u 13、D 14Λ u 15、R 16Λ u 17、R 18Λ u 19、R 20Λ u I Λ D 2Λ u 3Λ D 4Λ
廣” t? ” rv” rv” rv nyy rv d ^ rv
Lr 5、K 6Λ U 7、K 8Λ U 9、K 10、\J 21、D 22、\J 23、D 24、\J 25:1 豕系；
[0033]Wl:長(zhǎng)曝光區(qū)塊；
[0034]Ws:短曝光區(qū)塊；
[0035]Ql:長(zhǎng)曝光輸出像素；
[0036]Qs:短曝光輸出像素；
[0037]NR:噪聲抑制；
[0038]S401 ?S408:步驟。

【具體實(shí)施方式】
[0039]現(xiàn)有一種圖像，是由兩條長(zhǎng)曝光及兩條短曝光的像素列交替組成。為了取得高動(dòng)態(tài)范圍圖像，會(huì)先根據(jù)曝光時(shí)間的不同將此類圖像分成多個(gè)子圖像，使每一類別的子圖像各有一致的曝光時(shí)間。然后，對(duì)每一個(gè)子圖像做升取樣，并根據(jù)升取樣后的子圖像產(chǎn)生高動(dòng)態(tài)范圍圖像。一般來(lái)說(shuō)，對(duì)于這類的圖像，可利用下列三種做法的任意組合對(duì)每個(gè)子圖像做升取樣。第一種為內(nèi)插(interpolat1n)法,采用交叉至循序掃描轉(zhuǎn)換(Interlaced-to-Progressive Convers1n, IPC)。第二種會(huì)根據(jù)每個(gè)子圖像的曝光時(shí)間來(lái)產(chǎn)生一個(gè)增益系數(shù)(gain factor)，并且將一個(gè)像素的顏色值來(lái)乘上或是除以此增益系數(shù)。第三種會(huì)同時(shí)使用鄰近線(neighbor line)與增益系數(shù)。
[0040]然而，上述第二種及第三種做法是同時(shí)參考不同曝光時(shí)間的子圖像，因此子圖像彼此之間噪聲等級(jí)不一致的問(wèn)題將在升取樣后的圖像中造成明顯的橫條狀雜紋。而第一種做法因?yàn)橹徊捎脝我灰粡堊訄D像去做升取樣，所以后續(xù)產(chǎn)生的圖像會(huì)比較模糊。
[0041]基此，為了充分利用原始圖像中每個(gè)像素的信息，本案并非單純采用內(nèi)插法去對(duì)具有相同曝光時(shí)間的像素做升取樣，而是采用區(qū)塊處理并且加入平衡噪聲的處理機(jī)制，使得升取樣后的圖像不會(huì)有橫雜紋產(chǎn)生。為了使本發(fā)明的內(nèi)容更為明了，以下列舉實(shí)施例作為本案確實(shí)可據(jù)以實(shí)施的范例。
[0042]圖1是依照本發(fā)明一實(shí)施例所示出的高動(dòng)態(tài)范圍圖像傳感器的方塊圖。請(qǐng)參照?qǐng)D1，高動(dòng)態(tài)范圍圖像傳感器100例如是可產(chǎn)生高動(dòng)態(tài)范圍圖像的數(shù)碼相機(jī)、數(shù)碼單反(Digital Single Lens Reflex,DSLR)相機(jī)、數(shù)碼攝影機(jī)(Digital Video Camcorder,DVC)等。在另一實(shí)施例中，高動(dòng)態(tài)范圍圖像傳感器100可內(nèi)建于智能手機(jī)、平板電腦或筆記本電腦等電子裝置，不限于上述。
[0043]高動(dòng)態(tài)范圍圖像傳感器100包括圖像傳感器110、存儲(chǔ)單元120以及圖像處理器130。其功能分述如下:
[0044]圖像傳感器110包括鏡頭、感光元件以及快門模塊等。感光元件例如是電荷稱合兀件(Charge Coupled Device, CCD)、互補(bǔ)性氧化金屬半導(dǎo)體(ComplementaryMetal-Oxide Semiconductor, CMOS)元件或其他元件?？扉T模塊例如由多數(shù)個(gè)葉片(blades)及驅(qū)動(dòng)模塊所構(gòu)成，而可用以逐條(line-by-line)控制這些感光元件中每條水平感光元件的曝光時(shí)間。
[0045]存儲(chǔ)單元120例如是任意型式的固定式或可移動(dòng)式隨機(jī)存取存儲(chǔ)器(RandomAccess Memory, RAM)、只讀存儲(chǔ)器(Read-Only Memory, ROM)、快閃存儲(chǔ)器(Flash memory)或硬盤等，而可用以存儲(chǔ)圖像及其他數(shù)據(jù)。
[0046]圖像處理器130例如是中央處理機(jī)(Central Processing Unit, CPU),可程序化的一般用途或特殊用途的微處理器(Microprocessor)或數(shù)字信號(hào)處理器(Digital SignalProcessor, DSP)等裝置。
[0047]圖像傳感器110依據(jù)第一曝光時(shí)間(本實(shí)施例舉例為長(zhǎng)曝光時(shí)間，簡(jiǎn)稱長(zhǎng)曝光)與第二曝光時(shí)間(本實(shí)施例舉例為短曝光時(shí)間，簡(jiǎn)稱短曝光)連續(xù)交錯(cuò)拍攝而得到一個(gè)原始圖像。在一實(shí)施例中，圖像傳感器110例如可控制兩條水平像素列為長(zhǎng)曝光進(jìn)行拍攝，兩條水平像素列為短曝光進(jìn)行拍攝，依序交替進(jìn)行。
[0048]舉例來(lái)說(shuō)，圖2是依照本發(fā)明一實(shí)施例所示出的圖像傳感器采用不同曝光時(shí)間所獲得的原始圖像的示意圖。請(qǐng)參照?qǐng)D2，原始圖像200中的第一水平像素列Rl及第二水平像素列R2是采用長(zhǎng)曝光LE ;第三水平像素列R3及第四水平像素列R4是采用短曝光SE ;第五水平像素列R5及第六水平像素列R6是采用長(zhǎng)曝光LE ;第七水平像素列R7及第八水平像素列R8是采用短曝光SE。圖像傳感器110采用長(zhǎng)短曝光交錯(cuò)的方式不限于上述，在另一實(shí)施范例中，圖像傳感器110亦可針對(duì)單數(shù)的水平像素列進(jìn)行長(zhǎng)曝光拍攝，而針對(duì)雙數(shù)的水平像素列進(jìn)行短曝光拍攝?；蛘?，圖像傳感器110可以對(duì)三條水平像素列進(jìn)行長(zhǎng)曝光以后，對(duì)兩條水平像素列進(jìn)行短曝光。
[0049]圖像處理器130是以操作區(qū)塊為單位來(lái)處理原始圖像200。詳細(xì)地說(shuō)，操作區(qū)塊又可稱之為窗口(window)，操作區(qū)塊的尺寸例如為N*N像素，其中N為正整數(shù)，但本發(fā)明并不限制N的數(shù)值。原始圖像200中的操作區(qū)塊W1J2J3的尺寸例如設(shè)定為5*5像素。需說(shuō)明的是，原始圖像200的操作區(qū)塊并不限于3個(gè)，在此僅作為舉例解說(shuō)其作用，實(shí)際應(yīng)用上可針對(duì)每一輸出像素設(shè)定其所屬的操作區(qū)塊。對(duì)于每一個(gè)操作區(qū)塊，圖像處理器130會(huì)產(chǎn)生一個(gè)長(zhǎng)曝光輸出像素與一個(gè)短曝光輸出像素。而所有的長(zhǎng)曝光輸出像素會(huì)組成一個(gè)長(zhǎng)曝光圖像，而所有的短曝光輸出像素會(huì)組成一個(gè)短曝光圖像。長(zhǎng)曝光圖像的大小會(huì)相同于原始圖像200的大小，而短曝光圖像的大小也會(huì)相同于原始圖像200的大小。圖像處理器130會(huì)根據(jù)長(zhǎng)曝光圖像與短曝光圖像來(lái)產(chǎn)生一個(gè)對(duì)應(yīng)于原始圖像200的高動(dòng)態(tài)范圍圖像。在此，將以一個(gè)操作區(qū)塊為例來(lái)說(shuō)明如何產(chǎn)生長(zhǎng)曝光輸出像素與短曝光輸出像素。
[0050]圖3是依照本發(fā)明一實(shí)施例所示出的操作區(qū)塊W1進(jìn)行區(qū)塊處理的過(guò)程示意圖。請(qǐng)參照?qǐng)D3,在本實(shí)施例中，操作區(qū)塊W1包括25個(gè)像素,并且這25個(gè)像素為貝爾排列(bayerarrangement) ?每一個(gè)像素?fù)碛幸粋€(gè)顏色值。例如，像素G1、G3、G5等擁有綠色的顏色值；像素B2、B4等擁有藍(lán)色的顏色值；而像素R6、R8、R1(i等擁有紅色的顏色值。值得注意的是，圖3中的貝爾排列僅是一個(gè)范例，在其他實(shí)施例中，操作區(qū)塊W1可以有其他的排列方式。例如，操作區(qū)塊W1中像素列Rl的第一個(gè)像素可以從藍(lán)色或是紅色的像素開(kāi)始排列，本發(fā)明并不在此限。操作區(qū)塊W1中多個(gè)第一像素具有長(zhǎng)曝光時(shí)間，并且操作區(qū)塊W1中的多個(gè)第二像素具有短曝光時(shí)間。具體來(lái)說(shuō)，像素G1' B2、G3、B4、G5、R6、G7、R8、G9、R10, G21、B22、G23> B24與像素G25具有長(zhǎng)曝光時(shí)間；而像素Gn、B12、G13、B14、G15、R16、G17、R18、G19與像素R2tl具有短曝光時(shí)間。以下稱第一像素為長(zhǎng)曝光像素，稱第二像素為短曝光像素。
[0051]圖像處理器130會(huì)取得操作區(qū)塊巧，判斷每一個(gè)短曝光像素是否過(guò)曝光，并且至少根據(jù)短曝光像素是否過(guò)曝光與所有的長(zhǎng)曝光像素來(lái)產(chǎn)生一個(gè)長(zhǎng)曝光區(qū)塊WJ亦稱第一曝光區(qū)塊)，其中長(zhǎng)曝光區(qū)塊的大小會(huì)相同于操作區(qū)塊W1的大小。具體來(lái)說(shuō)，操作區(qū)塊W1中所有的長(zhǎng)曝光像素的顏色值會(huì)被復(fù)制到長(zhǎng)曝光區(qū)塊中。例如，像素G1是長(zhǎng)曝光，因此圖像處理器130會(huì)復(fù)制像素G1的顏色值至長(zhǎng)曝光區(qū)塊I中。而對(duì)于操作區(qū)塊中W1中所有的短曝光像素，圖像處理器130會(huì)先判斷這些像素是否過(guò)曝光。例如，圖像處理器130會(huì)將像素G11的顏色值乘上一個(gè)增益，并且判斷像素G11的顏色值乘上該增益后的乘積是否大于一個(gè)臨界值(亦稱第二臨界值)。此增益是根據(jù)長(zhǎng)曝光時(shí)間與短曝光時(shí)間計(jì)算出(例如為長(zhǎng)曝光時(shí)間與短曝光時(shí)間的比率)。若此乘積不大于第二臨界值，則圖像處理器130會(huì)判斷像素G11沒(méi)有過(guò)曝光，并且把此乘積復(fù)制到長(zhǎng)曝光區(qū)塊\中(成為像素G’ n)。相反地，若此乘積大于第二臨界值，則圖像處理器130會(huì)判斷像素G11為過(guò)曝光，并且根據(jù)具有相同通道的像素G1與像素G21內(nèi)插出一個(gè)像素(即成為像素G’ n)。對(duì)于操作區(qū)塊W1的每一個(gè)短曝光像素，圖像處理器130都會(huì)執(zhí)行與像素G11相同的處理。換句話說(shuō)，圖像處理器130會(huì)根據(jù)所有的長(zhǎng)曝光像素、未過(guò)曝光的短曝光像素的顏色值乘上該增益的乘積、以及內(nèi)插出的像素(對(duì)應(yīng)于過(guò)曝光的短曝光像素)來(lái)產(chǎn)生長(zhǎng)曝光區(qū)塊
[0052]在此實(shí)施例中，圖像處理器130是用像素G3與G23來(lái)內(nèi)插出G’13。然而，在其他實(shí)施例中，圖像處理器130也可以用像素61、63、65、611、615、621、623與625中的任意組合來(lái)內(nèi)插出G’13。本發(fā)明并不限制如何內(nèi)插出過(guò)曝光的像素。
[0053]圖像處理器130也會(huì)依照類似的方法產(chǎn)生短曝光區(qū)塊Ws。具體來(lái)說(shuō)，圖像處理器130會(huì)將操作區(qū)塊W1中所有的短曝光像素復(fù)制到短曝光區(qū)塊Ws中，并且判斷每一個(gè)長(zhǎng)曝光像素是否過(guò)曝光。例如，圖像處理器130會(huì)判斷像素G1的顏色值是否大于一個(gè)第一臨界值。若像素G1的顏色值大于該第一臨界值，則圖像處理器130會(huì)判斷像素G1為過(guò)曝光。若像素G1沒(méi)有過(guò)曝光，則圖像處理器130會(huì)將像素G1的顏色值除以上述的增益，并且將該顏色值除以增益后的商數(shù)復(fù)制到短曝光區(qū)塊(即成為像素GV。若像素G1為過(guò)曝光，圖像處理器130會(huì)利用具有相同通道的短曝光像素來(lái)內(nèi)插出一個(gè)像素(即，成為像素G')。對(duì)于操作區(qū)塊Wl中所有的長(zhǎng)曝光像素，圖像處理器130都會(huì)執(zhí)行與像素G1相同的處理。換句話說(shuō)，圖像處理器130會(huì)根據(jù)所有的短曝光像素、未過(guò)曝光的長(zhǎng)曝光像素除以該增益后的商數(shù)、以及內(nèi)插出的像素(亦稱第四像素，對(duì)應(yīng)于過(guò)曝光的長(zhǎng)曝光像素)來(lái)產(chǎn)生短曝光區(qū)塊Ws。
[0054]由于長(zhǎng)曝光區(qū)塊％與長(zhǎng)曝光區(qū)塊Ws是對(duì)應(yīng)于不同的曝光時(shí)間，因此圖像處理器130至少可根據(jù)長(zhǎng)曝光區(qū)塊\與短曝光區(qū)塊Ws來(lái)產(chǎn)生高動(dòng)態(tài)范圍圖像。舉例來(lái)說(shuō)，圖像處理器130可以對(duì)長(zhǎng)曝光區(qū)塊Wlj執(zhí)行一個(gè)噪聲抑制(noise reduct1n,NR)的演算法以產(chǎn)生長(zhǎng)曝光輸出像素Qy并且對(duì)短曝光區(qū)塊Ws也執(zhí)行噪聲抑制NR的演算法來(lái)產(chǎn)生短曝光輸出像素Qs。在對(duì)所有的操作區(qū)塊都執(zhí)行上述的步驟以后，所有的長(zhǎng)曝光輸出像素Ql與短曝光區(qū)塊Ws會(huì)分別組成長(zhǎng)曝光圖像與短曝光圖像。接下來(lái)，圖像處理器130便可以根據(jù)長(zhǎng)曝光圖像與短曝光圖像來(lái)產(chǎn)生高動(dòng)態(tài)范圍圖像。
[0055]一般來(lái)說(shuō)，短曝光的像素會(huì)擁有相對(duì)較多的噪聲，而長(zhǎng)曝光的像素會(huì)擁有較少的噪聲。因此，在一實(shí)施例中，圖像處理器130會(huì)在長(zhǎng)曝光區(qū)塊I與短曝光區(qū)塊Ws中，將原本屬于短曝光像素的高頻部分置換為長(zhǎng)曝光像素的高頻部分。在此，“原本屬于短曝光”所指的是，一個(gè)像素所對(duì)應(yīng)于操作區(qū)塊Wl中的位置是在像素列R3與R4內(nèi)。另一方面，“原本屬于長(zhǎng)曝光”所指的是，一個(gè)像素所對(duì)應(yīng)于操作區(qū)塊W1中的位置是在像素列RpR2與R5內(nèi)。例如，長(zhǎng)曝光區(qū)塊I中的像素G’n與像素B’12等原本是屬于短曝光像素；而短曝光區(qū)塊Ws中的像素G'與像素B”2等原本是屬于長(zhǎng)曝光像素。更具體來(lái)說(shuō)，圖像處理器130會(huì)判斷長(zhǎng)曝光區(qū)塊I與短曝光區(qū)塊Ws中的中心像素(S卩，像素G’13與G13)是否原本是屬于短曝光像素。在圖3的實(shí)施例中，長(zhǎng)曝光區(qū)塊I的中心像素G’ 13與短曝光區(qū)塊Ws的中心像素G13原本都屬于短曝光像素。對(duì)于中心像素G’13來(lái)說(shuō)，圖像處理器130會(huì)從長(zhǎng)曝光區(qū)塊I中取得多個(gè)像素(亦稱第五像素)，這些像素原本是屬于長(zhǎng)曝光像素并且會(huì)與像素G’ 13具有相同的通道(例如，像素G7、像素G9、像素G21等)。圖像處理器130會(huì)根據(jù)這些第五像素來(lái)調(diào)整像素G’ 13的顏色值。在一實(shí)施例中，圖像處理器130會(huì)從相鄰于像素G’ 13的像素列R’ 2中取得這些像素，并根據(jù)這些像素的高頻部分來(lái)調(diào)整像素G’ 13的顏色值，使得像素G’ 13的噪聲會(huì)接近像素列R’2上的噪聲。然而，在另一實(shí)施例中，圖像處理器130也可以從像素列R' 1、R’ 2與R’ 5中取得這些第五像素，對(duì)于每一個(gè)像素列都計(jì)算出高頻部分，并且根據(jù)每一個(gè)像素列的高頻部分來(lái)內(nèi)插出像素列R’ 3的高頻部分，藉此來(lái)調(diào)整像素G’ 13的顏色值。最后，圖像處理器130會(huì)將調(diào)整后的像素G’ 13輸出成為長(zhǎng)曝光輸出像素Qp
[0056]在一實(shí)施例中，圖像處理器130是根據(jù)傅立葉轉(zhuǎn)換來(lái)取得像素的高頻部分。然而，本發(fā)明并不在此限，在另一實(shí)施例中，圖像處理器130也可以根據(jù)離散余旋轉(zhuǎn)換(discretecosine transform)、小波轉(zhuǎn)換(wavelet transform)或是其他空間域至頻率域(spatialdomain to frequenc domain)的轉(zhuǎn)換。值得注意的是，圖像處理器130可以預(yù)先計(jì)算傅立葉轉(zhuǎn)換而產(chǎn)生多個(gè)系數(shù)，并且根據(jù)這些系數(shù)與第五像素的顏色值來(lái)調(diào)整中心像素G’ 13的顏色值。也就是說(shuō)，在處理器130不一定會(huì)在執(zhí)行期(run time)作傅立葉轉(zhuǎn)換。
[0057]另一方面，對(duì)于短曝光區(qū)塊Ws的中心像素G13來(lái)說(shuō)，圖像處理器130會(huì)從像素列R'、R”2與R”5中取得多個(gè)像素(亦稱為第五像素)，并且根據(jù)這些像素來(lái)調(diào)整像素G13的顏色值。類似地，圖像處理器130可以根據(jù)鄰近的像素列R”2的高頻部分來(lái)調(diào)整像素G13的顏色值、或是根據(jù)多個(gè)像素列的高頻部分來(lái)內(nèi)插出像素列R”3的高頻部分，在此便不再贅述。最后，圖像處理器130會(huì)將調(diào)整后的像素G13輸出成為短曝光輸出像素Qs。
[0058]如此一來(lái)，在跟據(jù)長(zhǎng)曝光像素％所產(chǎn)生的長(zhǎng)曝光圖像中，所有的像素都會(huì)有接近的噪聲程度，而不會(huì)有橫條狀雜紋。相同地，在根據(jù)短曝光像素Qs所產(chǎn)生的短曝光圖像中也不會(huì)有橫條狀雜紋。然而，在其他實(shí)施例中，噪聲抑制NR的步驟可以是對(duì)長(zhǎng)曝光區(qū)塊\與短曝光區(qū)塊Ws做一個(gè)濾波器運(yùn)算(例如為低通濾波器)，本發(fā)明并不限制噪聲抑制NR所采用的演算法?；蛘撸瑘D像處理器130也可以不做噪聲抑制NR，直接輸出像素G’ 13以成為長(zhǎng)曝光輸出像素Qy并且直接輸出像素G13以成為短曝光輸出像素Qs。
[0059]圖4是根據(jù)本發(fā)明一實(shí)施例示出產(chǎn)生高動(dòng)態(tài)范圍圖像的方法的流程圖。
[0060]請(qǐng)參照?qǐng)D4，在步驟S401中，取得原始圖像中的一操作區(qū)塊，其中操作區(qū)塊包括多個(gè)第一像素與多個(gè)第二像素，第一像素具有第一曝光時(shí)間，并且第二像素具有第二曝光時(shí)間。在步驟S402中，判斷每一個(gè)第一像素是否過(guò)曝光。若有第一像素過(guò)曝光，在步驟S403中，內(nèi)插過(guò)曝光的第一像素。在步驟S404中，至少根據(jù)第一像素是否過(guò)曝光與第二像素來(lái)產(chǎn)生對(duì)應(yīng)于第二曝光時(shí)間的第二曝光區(qū)塊。在步驟S405中，判斷每一個(gè)第二像素是否過(guò)曝光。若有第二像素過(guò)曝光，在步驟S406中，內(nèi)插過(guò)曝光的第二像素。在步驟S407中，至少根據(jù)第二像素是否過(guò)曝光與第一像素來(lái)產(chǎn)生對(duì)應(yīng)于第一曝光時(shí)間的一第一曝光區(qū)塊。在步驟S408中，至少根據(jù)第一曝光區(qū)塊與第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于原始圖像的高動(dòng)態(tài)范圍圖像。在一實(shí)施例中，第一曝光時(shí)間、第一像素、第一曝光區(qū)塊即為上述的長(zhǎng)曝光時(shí)間、長(zhǎng)曝光像素與長(zhǎng)曝光區(qū)塊。但本發(fā)明并不在此限，第一曝光時(shí)間、第一像素、第一曝光區(qū)塊也可以是短曝光時(shí)間、短曝光像素與短曝光區(qū)塊。圖4中各步驟已詳細(xì)說(shuō)明如上，在此不再贅述。值得注意的是，圖4中各步驟可以實(shí)作為多個(gè)程序碼或是電路；此外，圖4的方法可以搭配以上實(shí)施例使用，也可以單獨(dú)使用，本發(fā)明并不在此限。
[0061]綜上所述，在本發(fā)明實(shí)施例所提出的產(chǎn)生高動(dòng)態(tài)范圍圖像的方法及其圖像傳感器采用區(qū)塊處理方式中，對(duì)于有長(zhǎng)曝光像素與短曝光像素的原始圖像會(huì)做過(guò)曝光的檢測(cè)。此夕卜，噪聲抑制的步驟可以避免產(chǎn)生橫雜紋的問(wèn)題。
[0062]最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
【權(quán)利要求】
1.一種產(chǎn)生高動(dòng)態(tài)范圍圖像的方法，其特征在于，適于處理依據(jù)一第一曝光時(shí)間與一第二曝光時(shí)間連續(xù)交錯(cuò)拍攝所得的一原始圖像，包括: 取得該原始圖像中的一操作區(qū)塊，其中該操作區(qū)塊包括多個(gè)第一像素與多個(gè)第二像素，該些第一像素具有該第一曝光時(shí)間，并且該些第二像素具有該第二曝光時(shí)間； 判斷每一該些第一像素是否過(guò)曝光； 至少根據(jù)每一該些第一像素是否過(guò)曝光與該些第二像素來(lái)產(chǎn)生對(duì)應(yīng)于該第二曝光時(shí)間的一第二曝光區(qū)塊，其中該第二曝光區(qū)塊的大小相同于該操作區(qū)塊的大??； 判斷每一該些第二像素是否過(guò)曝光； 至少根據(jù)每一該些第二像素是否過(guò)曝光與該些第一像素來(lái)產(chǎn)生對(duì)應(yīng)于該第一曝光時(shí)間的一第一曝光區(qū)塊，其中該第一曝光區(qū)塊的大小相同于該操作區(qū)塊的大小；以及 至少根據(jù)該第一曝光區(qū)塊與該第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于該原始圖像的一高動(dòng)態(tài)范圍圖像。
2.根據(jù)權(quán)利要求1所述的產(chǎn)生高動(dòng)態(tài)范圍圖像的方法，其特征在于，該第一曝光時(shí)間為長(zhǎng)曝光，該第二曝光時(shí)間為短曝光，并且所述判斷每一該些第一像素是否過(guò)曝光的步驟包括: 判斷每一該些第一像素的一顏色值是否大于一第一臨界值以判斷每一該些第一像素是否過(guò)曝光， 其中判斷每一該些第二像素是否過(guò)曝光的步驟包括: 將每一該些第二像素乘上一增益；以及 判斷每一該些第二像素乘上該增益的一乘積是否大于一第二臨界值以判斷出每一該些第二像素是否過(guò)曝光，其中該增益是根據(jù)該第一曝光時(shí)間與該第二曝光時(shí)間所計(jì)算出。
3.根據(jù)權(quán)利要求2所述的產(chǎn)生高動(dòng)態(tài)范圍圖像的方法，其特征在于，產(chǎn)生該第一曝光區(qū)塊的步驟包括: 對(duì)于每一過(guò)曝光的該些第二像素，根據(jù)具有相同通道的該些第一像素內(nèi)插出一第三像素；以及 根據(jù)該些第一像素、未過(guò)曝光的該些第二像素乘上該增益的該乘積、以及內(nèi)插出的該第三像素產(chǎn)生該第一曝光區(qū)塊， 其中產(chǎn)生該第二曝光區(qū)塊的步驟包括: 對(duì)于每一過(guò)曝光的該些第一像素，根據(jù)具有相同通道的該些第二像素內(nèi)插出一第四象素；以及 根據(jù)該些第二像素、未過(guò)曝光的該些第一像素除以該增益的一商數(shù)、以及內(nèi)插出的該第四像素產(chǎn)生該第二曝光區(qū)塊。
4.根據(jù)權(quán)利要求1所述的產(chǎn)生高動(dòng)態(tài)范圍圖像的方法，其特征在于，該第一曝光區(qū)塊與該第二曝光區(qū)塊中的一中心像素的位置是對(duì)應(yīng)于該些第二像素的其中之一的位置，該產(chǎn)生高動(dòng)態(tài)范圍圖像的方法還包括: 從該中心像素所對(duì)應(yīng)的該第一曝光區(qū)塊或該第二曝光區(qū)塊中取得多個(gè)第五像素，其中該些第五像素與該中心像素具有相同的通道，并且該第五像素的位置是對(duì)應(yīng)于該些第一像素的至少其中之一的位置；以及 根據(jù)該些第五像素的一高頻部分來(lái)調(diào)整該中心像素的一顏色值。
5.根據(jù)權(quán)利要求4所述的產(chǎn)生高動(dòng)態(tài)范圍圖像的方法，其特征在于，至少根據(jù)該第一曝光區(qū)塊與該第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于該原始圖像的一高動(dòng)態(tài)范圍圖像的步驟包括: 至少根據(jù)取得該第一曝光區(qū)塊的該中心像素與該第二曝光區(qū)塊的該中心像素來(lái)產(chǎn)生該高動(dòng)態(tài)范圍圖像。
6.一種高動(dòng)態(tài)范圍圖像傳感器，其特征在于，包括: 一圖像傳感器，依據(jù)一第一曝光時(shí)間與一第二曝光時(shí)間連續(xù)交錯(cuò)拍攝，以產(chǎn)生一原始圖像； 一存儲(chǔ)單元，耦接該圖像傳感器，適于存儲(chǔ)該原始圖像；以及 一圖像處理器，耦接該圖像傳感器與該存儲(chǔ)單元，用以取得該原始圖像中的一操作區(qū)塊，其中該操作區(qū)塊包括多個(gè)第一像素與多個(gè)第二像素，該些第一像素具有該第一曝光時(shí)間，并且該些第二像素具有該第二曝光時(shí)間， 其中，該圖像處理器用以判斷每一該些第一像素是否過(guò)曝光，并且至少根據(jù)每一該些第一像素是否過(guò)曝光與該些第二像素來(lái)產(chǎn)生對(duì)應(yīng)于該第二曝光時(shí)間的一第二曝光區(qū)塊，其中該第二曝光區(qū)塊的大小相同于該操作區(qū)塊的大小， 其中，該圖像處理器用以判斷每一該些第二像素是否過(guò)曝光，并且至少根據(jù)每一該些第二像素是否過(guò)曝光與該些第一像素來(lái)產(chǎn)生對(duì)應(yīng)于該第一曝光時(shí)間的一第一曝光區(qū)塊，其中該第一曝光區(qū)塊的大小相同于該操作區(qū)塊的大小， 其中，該圖像處理器至少根據(jù)該第一曝光區(qū)塊與該第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于該原始圖像的一聞動(dòng)態(tài)范圍圖像。
7.根據(jù)權(quán)利要求6所述的高動(dòng)態(tài)范圍圖像傳感器，其特征在于，該第一曝光時(shí)間為長(zhǎng)曝光，該第二曝光時(shí)間為短曝光，并且該圖像處理器判斷每一該些第一像素是否過(guò)曝光的操作包括: 該圖像處理器判斷每一該些第一像素的一顏色值是否大于一第一臨界值以判斷每一該些第一像素是否過(guò)曝光， 其中該圖像處理器判斷每一該些第二像素是否過(guò)曝光的步驟包括: 該圖像處理器將每一該些第二像素乘上一增益；以及 該圖像處理器判斷每一該些第二像素乘上該增益的一乘積是否大于一第二臨界值以判斷出每一該些第二像素是否過(guò)曝光，其中該增益是根據(jù)該第一曝光時(shí)間與該第二曝光時(shí)間所計(jì)算出。
8.根據(jù)權(quán)利要求7所述的高動(dòng)態(tài)范圍圖像傳感器，其特征在于，該圖像處理器產(chǎn)生該第一曝光區(qū)塊的操作包括: 對(duì)于每一過(guò)曝光的該些第二像素，該圖像處理器根據(jù)具有相同通道的該些第一像素內(nèi)插出一第三像素；以及 該圖像處理器根據(jù)該些第一像素、未過(guò)曝光的該些第二像素乘上該增益的該乘積、以及內(nèi)插出的該第三像素產(chǎn)生該第一曝光區(qū)塊， 其中該圖像處理器產(chǎn)生該第二曝光區(qū)塊的操作包括: 對(duì)于每一過(guò)曝光的該些第一像素，該圖像處理器根據(jù)具有相同通道的該些第二像素內(nèi)插出一第四象素；以及 該圖像處理器根據(jù)該些第二像素、未過(guò)曝光的該些第一像素除以該增益的一商數(shù)、以及內(nèi)插出的該第四像素產(chǎn)生該第二曝光區(qū)塊。
9.根據(jù)權(quán)利要求6所述的高動(dòng)態(tài)范圍圖像傳感器，其特征在于，該第一曝光區(qū)塊與該第二曝光區(qū)塊中的一中心像素的位置是對(duì)應(yīng)于該些第二像素的其中之一的位置， 該圖像處理器還用以從該中心像素所對(duì)應(yīng)的該第一曝光區(qū)塊或該第二曝光區(qū)塊中取得多個(gè)第五像素，其中該些第五像素與該中心像素具有相同的通道，并且該第五像素的位置是對(duì)應(yīng)于該些第一像素的至少其中之一的位置， 該圖像處理器還用以根據(jù)該些第五像素的一高頻部分來(lái)調(diào)整該中心像素的一顏色值。
10.根據(jù)權(quán)利要求9所述的高動(dòng)態(tài)范圍圖像傳感器，其特征在于，該圖像處理器至少根據(jù)該第一曝光區(qū)塊與該第二曝光區(qū)塊來(lái)產(chǎn)生對(duì)應(yīng)于該原始圖像的一高動(dòng)態(tài)范圍圖像的操作包括: 該圖像處理器至少根據(jù)該第一曝光區(qū)塊的該中心像素與該第二曝光塊的該中心像素來(lái)產(chǎn)生該高動(dòng)態(tài)范圍圖像。
【文檔編號(hào)】H04N5/235GK104253946SQ201310263878
【公開(kāi)日】2014年12月31日 申請(qǐng)日期:2013年6月27日 優(yōu)先權(quán)日:2013年6月27日
【發(fā)明者】林慧珊, 趙善隆, 曾家俊 申請(qǐng)人:聚晶半導(dǎo)體股份有限公司