專(zhuān)利名稱(chēng)：成像裝置、成像方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使具有視差的曝光量不同的多個(gè)圖像成像的成像裝置，特別地，涉及具有測(cè)量到對(duì)象的距離和生成由多個(gè)圖像合成的寬動(dòng)態(tài)范圍圖像的功能的成像裝置。
背景技術(shù)：
近年來(lái)，數(shù)碼照相機(jī)的使用在以監(jiān)視照相機(jī)、車(chē)載照相機(jī)等為代表的諸如安全、基礎(chǔ)設(shè)施和保險(xiǎn)的廣泛應(yīng)用中快速增長(zhǎng)。與普通家用數(shù)碼照相機(jī)的性能需求(例如，高圖像質(zhì)量和高分辨率)不同，在這些應(yīng)用中的使用需要例如，寬動(dòng)態(tài)范圍，用于在任何環(huán)境下使對(duì)象可靠地成像而不丟失陰影和高亮細(xì)節(jié)；以及為了傳感(sensing)的目的，測(cè)量到對(duì)象的距離的測(cè)距功能。生成寬動(dòng)態(tài)范圍圖像的常見(jiàn)方式是將以不同曝光量拍攝的多個(gè)圖像合成，并且之前已經(jīng)提出了多種技術(shù)。利用具有視差的多個(gè)圖像來(lái)測(cè)量到圖像中的對(duì)象的距離的常見(jiàn)技術(shù)是在圖像之間對(duì)對(duì)象執(zhí)行匹配并且將三角測(cè)量的原理應(yīng)用于對(duì)象在每個(gè)圖像中的成像位置。之前也已經(jīng)提出了用于在圖像之間進(jìn)行匹配的多種方法。因此，已經(jīng)獨(dú)立地提出了各種用于生成寬動(dòng)態(tài)范圍圖像和測(cè)量距離的技術(shù)，也已經(jīng)提出了用于依據(jù)具有視差的曝光量不同的多個(gè)圖像執(zhí)行寬動(dòng)態(tài)范圍圖像的生成和距離的測(cè)量的技術(shù)。例如，專(zhuān)利文件1中所描述的成像裝置具有使具有視差的曝光量相同的多個(gè)圖像以及沒(méi)有視差的曝光量不同的多個(gè)圖像成像的單元。該成像裝置依據(jù)前者圖像來(lái)測(cè)量到對(duì)象的距離并依據(jù)后者圖像生成寬動(dòng)態(tài)范圍圖像，從而提供距離信息和寬動(dòng)態(tài)范圍圖像兩者?，F(xiàn)有技術(shù)文件專(zhuān)利文件專(zhuān)利文件1 日本專(zhuān)利國(guó)內(nèi)公表公報(bào)特表No. 2003-18617

發(fā)明內(nèi)容
本發(fā)明要解決的問(wèn)題然而，傳統(tǒng)的技術(shù)需要具有視差的曝光量相同的兩個(gè)圖像來(lái)測(cè)量到對(duì)象的距離， 需要沒(méi)有視差的曝光量不同的兩個(gè)圖像來(lái)生成寬動(dòng)態(tài)范圍圖像，所以總共需要至少4個(gè)圖像。假設(shè)圖像由普通的立體照相機(jī)(stereo camera)拍攝，該立體照相機(jī)能夠在一幀畫(huà)面中拍攝具有視差的曝光量相同的兩個(gè)圖像，所以將以曝光量η在給定的時(shí)間在第t幀內(nèi)拍攝圖像，并且以曝光量m在下一個(gè)第(t+Ι)幀內(nèi)拍攝圖像。然后可以依據(jù)在同一幀內(nèi)
4所拍攝的兩個(gè)圖像來(lái)確定距離信息。然而，寬動(dòng)態(tài)范圍圖像的生成需要將第t幀內(nèi)所拍攝的圖像與第(t+Ι)幀內(nèi)所拍攝的圖像合成，所以在要合成的兩個(gè)圖像之間存在成像中的時(shí)滯。在對(duì)象移動(dòng)的場(chǎng)景中，將存在由于移動(dòng)而造成發(fā)生模糊圖像的問(wèn)題。在使用能夠在一幀畫(huà)面中拍攝具有視差的曝光量不同的兩個(gè)圖像的立體照相機(jī)的情況下，將在給定時(shí)間，在第t幀內(nèi)，由照相機(jī)A以曝光量η拍攝圖像并由照相機(jī)B以曝光量m拍攝圖像，并且在第(t+Ι)幀內(nèi)，由照相機(jī)A以曝光量m拍攝圖像并由照相機(jī)B以曝光量η拍攝圖像。然后，可以依據(jù)在同一幀中拍攝的兩個(gè)圖像來(lái)生成寬動(dòng)態(tài)范圍圖像。然而，利用在不同幀中拍攝的圖像來(lái)執(zhí)行距離測(cè)量，因此在成像中存在時(shí)滯。在對(duì)象移動(dòng)的場(chǎng)景中，將存在無(wú)法正確計(jì)算到對(duì)象的距離的問(wèn)題，因?yàn)樵搶?duì)象在幀之間移動(dòng)。為了解決傳統(tǒng)問(wèn)題而作出的本發(fā)明的目的在于，提供一種同時(shí)執(zhí)行寬動(dòng)態(tài)范圍圖像的生成和到對(duì)象的距離的測(cè)量的成像裝置和成像方法。解決問(wèn)題的手段本發(fā)明的成像裝置包括成像單元，利用多個(gè)成像器件以不同曝光量進(jìn)行成像，以生成具有視差的曝光量不同的圖像；圖像亮度調(diào)節(jié)單元，基于用于使每個(gè)圖像成像的曝光量，調(diào)節(jié)由成像單元所成像的多個(gè)圖像的亮度；匹配單元，使用經(jīng)亮度調(diào)節(jié)的具有視差的多個(gè)圖像來(lái)執(zhí)行圖像之間的匹配，并且確定指定具有視差的圖像之間彼此對(duì)應(yīng)的區(qū)域的匹配信息；距離計(jì)算單元，基于關(guān)于構(gòu)成給定對(duì)象的圖像的區(qū)域的匹配信息，確定到給定對(duì)象的距離；位置修正單元，基于匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；以及寬動(dòng)態(tài)范圍圖像生成單元，將經(jīng)位置修正單元修正了位置的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比成像單元所成像的圖像更寬的動(dòng)態(tài)范圍的圖像。本發(fā)明的優(yōu)點(diǎn)本發(fā)明具有主要優(yōu)勢(shì)在于，能夠同時(shí)執(zhí)行寬動(dòng)態(tài)范圍圖像的生成和到對(duì)象的距離的測(cè)量。如下所述，存在本發(fā)明的其他方面。因此，本發(fā)明的公開(kāi)意在提供本發(fā)明的部分方面，而并非意在限制這里所描述和要求的本發(fā)明的范圍。




圖1是示出本發(fā)明實(shí)施例的成像裝置的示意性結(jié)構(gòu)的框圖； 圖2示出本發(fā)明實(shí)施例的通常的曝光量控制； 圖3示出本發(fā)明實(shí)施例的曝光量控制；
圖4示出從本發(fā)明實(shí)施例的成像單元100對(duì)圖像進(jìn)行的圖像曝光量改變； 圖5示出從本發(fā)明實(shí)施例的成像單元101對(duì)圖像進(jìn)行的圖像曝光量改變； 圖6示出本發(fā)明實(shí)施例的圖像匹配的流程； 圖7是本發(fā)明實(shí)施例的匹配內(nèi)插處理的操作流程圖； 圖8Α示出關(guān)于構(gòu)成圖像的每個(gè)像素的匹配信息m ； 圖8B示出關(guān)于構(gòu)成圖像的每個(gè)像素的匹配信息η ； 圖8C示出綜合(integrate)的匹配信息； 圖9是示出本發(fā)明實(shí)施例的匹配信息的內(nèi)插處理的框圖； 圖10是示出本發(fā)明實(shí)施例的圖像中位置修正的框圖；以及
5
圖11是示出本發(fā)明實(shí)施例的生成寬動(dòng)態(tài)范圍圖像的框圖。
具體實(shí)施例方式以下為本發(fā)明的詳細(xì)說(shuō)明。下面所述的實(shí)施例只是本發(fā)明的例子，本發(fā)明可以在多方面改變。因此，以下所公開(kāi)的具體結(jié)構(gòu)和功能并不限制權(quán)利要求。本實(shí)施例的成像裝置包括成像單元，利用多個(gè)成像器件以不同曝光量進(jìn)行成像， 以生成具有視差的曝光量不同的圖像；圖像亮度調(diào)節(jié)單元，基于用于使每個(gè)圖像成像的曝光量，調(diào)節(jié)由成像單元所成像的多個(gè)圖像的亮度；匹配單元，使用經(jīng)亮度調(diào)節(jié)的具有視差的多個(gè)圖像來(lái)執(zhí)行圖像之間的匹配，并且確定指定具有視差的圖像之間彼此對(duì)應(yīng)的區(qū)域的匹配信息；距離計(jì)算單元，基于關(guān)于構(gòu)成對(duì)象的圖像的區(qū)域的匹配信息，確定到給定對(duì)象的距離；位置修正單元，基于匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；以及寬動(dòng)態(tài)范圍圖像生成單元，將經(jīng)位置修正單元修正了位置的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比成像單元所成像的圖像更寬的動(dòng)態(tài)范圍寬的圖像。在該結(jié)構(gòu)中，可以同時(shí)執(zhí)行寬動(dòng)態(tài)范圍圖像的生成和到對(duì)象的距離的測(cè)量。本實(shí)施例的成像裝置具有這樣的結(jié)構(gòu)圖像亮度調(diào)節(jié)單元利用用于使每個(gè)圖像成像的曝光量的比來(lái)調(diào)節(jié)圖像的亮度。在該結(jié)構(gòu)中，可以從具有視差的曝光量不同的多個(gè)圖像獲得由曝光量不同引起的亮度差異經(jīng)調(diào)整的具有視差的圖像。本實(shí)施例的成像裝置具有這樣的結(jié)構(gòu)成像單元成像，從而生成具有視差的曝光量不同的第一和第二圖像；圖像亮度調(diào)節(jié)單元生成經(jīng)調(diào)節(jié)的第一圖像和經(jīng)調(diào)節(jié)的第二圖像，經(jīng)調(diào)節(jié)的第一圖像是基于第二圖像的曝光量而調(diào)節(jié)了亮度的第一圖像，經(jīng)調(diào)節(jié)的第二圖像是基于第一圖像的曝光量而調(diào)節(jié)了亮度的第二圖像；以及匹配單元在第一圖像與經(jīng)調(diào)節(jié)的第二圖像之間執(zhí)行匹配以確定第一匹配信息，在經(jīng)調(diào)節(jié)的第一圖像與第二圖像之間執(zhí)行匹配以確定第二匹配信息，并綜合第一匹配信息和第二匹配信息以確定匹配信息。該結(jié)構(gòu)使得能夠通過(guò)利用第一和第二匹配信息而適當(dāng)?shù)厣善ヅ湫畔?。本?shí)施例的成像裝置具有這樣的結(jié)構(gòu)對(duì)于既未通過(guò)第一圖像與經(jīng)調(diào)節(jié)的第二圖像之間的匹配確定、也未通過(guò)經(jīng)調(diào)節(jié)的第一圖像與第二圖像之間的匹配確定其對(duì)應(yīng)區(qū)域的區(qū)域，匹配單元利用關(guān)于有關(guān)區(qū)域周?chē)膮^(qū)域的對(duì)應(yīng)信息，通過(guò)內(nèi)插處理確定對(duì)應(yīng)關(guān)系。該結(jié)構(gòu)使得也能夠?qū)τ谖赐ㄟ^(guò)圖像亮度經(jīng)調(diào)節(jié)了的圖像之間的匹配而確定其完整的對(duì)應(yīng)關(guān)系的區(qū)域，通過(guò)內(nèi)插關(guān)于周?chē)鷧^(qū)域的匹配信息來(lái)確定匹配信息。本實(shí)施例的成像方法包括步驟利用多個(gè)成像器件以不同曝光量進(jìn)行成像，以生成具有視差的曝光量不同的圖像；基于用于使每個(gè)圖像成像的曝光量，調(diào)節(jié)多個(gè)成像的圖像的亮度；利用經(jīng)亮度調(diào)節(jié)的具有視差的多個(gè)圖像，執(zhí)行圖像之間的匹配，并且確定指定具有視差的圖像之間彼此對(duì)應(yīng)的區(qū)域的匹配信息；基于關(guān)于構(gòu)成對(duì)象的圖像的區(qū)域的匹配信息，確定到給定對(duì)象的距離；基于匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；以及將在位置修正步驟中位置經(jīng)修正的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比所成像的圖像更寬的動(dòng)態(tài)范圍的圖像。本實(shí)施例的程序具有這樣的結(jié)構(gòu)為了基于以不同曝光量成像的具有視差的多個(gè)圖像而生成圖像，使計(jì)算機(jī)執(zhí)行以下步驟基于用于使每個(gè)圖像成像的曝光量，調(diào)節(jié)多個(gè)圖像的亮度；利用經(jīng)亮度調(diào)節(jié)的具有視差的多個(gè)圖像，執(zhí)行圖像之間的匹配，并且確定指定具有視差的圖像之間彼此對(duì)應(yīng)的區(qū)域的匹配信息；基于關(guān)于構(gòu)成對(duì)象的圖像的區(qū)域的匹配信息，確定到給定對(duì)象的距離；基于匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；以及將在位置修正步驟中位置經(jīng)修正的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比所成像的圖像更寬的動(dòng)態(tài)范圍的圖像。在該結(jié)構(gòu)中，本實(shí)施例的成像方法和程序可以同時(shí)生成寬動(dòng)態(tài)范圍圖像和測(cè)量到對(duì)象的距離。本實(shí)施例的成像裝置的各個(gè)結(jié)構(gòu)可應(yīng)用于本實(shí)施例的成像方法和程序?，F(xiàn)在，將參考附圖來(lái)說(shuō)明本發(fā)明實(shí)施例的成像裝置。圖1示出實(shí)施例的成像裝置1的結(jié)構(gòu)。成像裝置1包括照相機(jī)100和101，用于執(zhí)行使對(duì)象成像并輸出畫(huà)面信號(hào)的基本成像功能；曝光量控制單元30，用于分別控制照相機(jī)100和101的曝光量，使得它們提供預(yù)定曝光量比；圖像曝光量改變單元200，用于在圖像緩沖單元中存儲(chǔ)從照相機(jī)100輸出的圖像和該圖像經(jīng)亮度調(diào)節(jié)而得的圖像；圖像曝光量改變單元201，用于在圖像緩沖單元中存儲(chǔ)從照相機(jī)101輸出的圖像和該圖像經(jīng)亮度調(diào)節(jié)而得的圖像；圖像視差修正單元300，用于在由圖像曝光量改變單元200和201存儲(chǔ)的且曝光量實(shí)際上彼此相同的圖像之間執(zhí)行匹配，基于通過(guò)匹配而獲得的匹配信息而對(duì)匹配信息執(zhí)行綜合和內(nèi)插處理，以及基于所綜合的匹配信息而修正由照相機(jī)101成像的圖像中的位置，以便消除它與由照相機(jī)100成像的圖像之間的視差；距離計(jì)算單元31，用于依據(jù)由照相機(jī)100成像的圖像和由圖像視差修正單元300所確定的匹配信息，計(jì)算從成像裝置到圖像中的對(duì)象的距離；以及寬動(dòng)態(tài)范圍圖像生成單元32，用于將由照相機(jī)100成像的圖像與由圖像視差修正單元300修正了位置的圖像進(jìn)行合成，從而生成寬動(dòng)態(tài)范圍圖像。水平地分開(kāi)預(yù)定距離地安裝照相機(jī)100和101。照相機(jī)100和101構(gòu)成本發(fā)明的“成像單元”。照相機(jī)100包括透鏡10、光圈11、成像器件12、A/D轉(zhuǎn)換單元13和畫(huà)面信號(hào)處理單元14。照相機(jī)100調(diào)節(jié)光圈和快門(mén)速度(未示出)以便達(dá)到由曝光量控制單元30指定的曝光量(曝光量m)，并且拍攝圖像。從對(duì)象通過(guò)透鏡10入射的光由光圈11限制，以在成像器件12上形成圖像。成像器件12對(duì)所形成的圖像進(jìn)行光電轉(zhuǎn)換并輸出模擬信號(hào)。A/D 轉(zhuǎn)換單元13將從成像器件12輸出的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。畫(huà)面信號(hào)處理單元14執(zhí)行信號(hào)處理，用以從經(jīng)A/D轉(zhuǎn)換的數(shù)字信號(hào)生成畫(huà)面信號(hào)。畫(huà)面信號(hào)處理單元14執(zhí)行亮度信號(hào)生成、色彩信號(hào)生成、光圈信號(hào)生成和其他信號(hào)處理、以及OB減法(subtraction)、白平衡調(diào)節(jié)、噪聲降低以及其他普通的畫(huà)面信號(hào)處理。照相機(jī)101具有與照相機(jī)100相同的結(jié)構(gòu)。照相機(jī)101調(diào)節(jié)光圈和快門(mén)速度以便達(dá)到由曝光量控制單元30指定的曝光量(曝光量η)，并且拍攝圖像。下面將說(shuō)明用于控制照相機(jī)100和101的曝光量的曝光量控制單元30。首先，將參考圖2說(shuō)明通常的曝光量控制方法。通常，控制曝光量以使得畫(huà)面的亮度值變得與預(yù)定目標(biāo)亮度值相等。例如，在幀t(曝光量a)確定畫(huà)面亮度值?？梢詫⒄麄€(gè)畫(huà)面的平均值或者某種畫(huà)面中心加權(quán)的值用作畫(huà)面亮度值。將畫(huà)面亮度值與預(yù)定目標(biāo)亮度值比較，如果畫(huà)面亮度值小于目標(biāo)亮度值，則將幀 t+Ι的曝光量(曝光量b)設(shè)置為b>a，使得幀t+Ι變得比幀t亮。隨著成像操作，通過(guò)打開(kāi)光圈或者將快門(mén)速度設(shè)置得較低以使得曝光量變大，來(lái)增加曝光量。相反地，如果畫(huà)面亮度值大于目標(biāo)亮度值，則將幀t+Ι的曝光量設(shè)置為b < a,使得幀t+Ι變得比幀t暗。隨著成像操作，通過(guò)縮小光圈或者將快門(mén)速度設(shè)置得較快，來(lái)降低曝光量。如果畫(huà)面亮度值等于目標(biāo)亮度值，則曝光量a是合適的曝光量，因此將幀t+Ι的曝光量設(shè)置為b = a。這是一般的曝光量控制。在該實(shí)施例中，將曝光量不同的圖像合成以生成可以使范圍從亮對(duì)象到暗對(duì)象的對(duì)象成像的寬動(dòng)態(tài)范圍的圖像，所以將照相機(jī)100和101設(shè)置為曝光量彼此不同。圖3示出本實(shí)施例的曝光量控制。例如，如果對(duì)于幀t的照相機(jī)100的曝光量為 mt，則規(guī)定照相機(jī)101的曝光量nt為曝光量mt的1/指定比。該指定比可以是任何值，這里， 為了說(shuō)明的目的，假設(shè)指定比為8，則曝光量nt為mt/8。即，因?yàn)槠毓饬縩t為曝光量mt的 1/8，所以由照相機(jī)101成像的圖像變得比由照相機(jī)100成像的圖像暗8倍。換言之，可以由照相機(jī)101成像的對(duì)象的照度的上限是可以由照相機(jī)100成像的對(duì)象的照度的上限的8 倍。因此，例如，如太陽(yáng)那樣的由于其過(guò)分的亮度導(dǎo)致通過(guò)照相機(jī)100丟失了高亮細(xì)節(jié)的對(duì)象，變得能夠通過(guò)照相機(jī)101以合適的亮度成像。相反地，如樹(shù)和人那樣的能夠通過(guò)照相機(jī)100以合適的亮度成像的對(duì)象，通過(guò)照相機(jī)101成像較暗。因?yàn)檎障鄼C(jī)100執(zhí)行前面所描述的通常的曝光量控制，以便為下一幀t+Ι確定曝光量mt+1，但是，照相機(jī)101的曝光量可以參考照相機(jī)100的曝光量而計(jì)算出，照相機(jī)101不執(zhí)行通常的曝光量控制，而是基于照相機(jī)100所確定的曝光量mt+1，通過(guò)IV1 =mt+1/指定比來(lái)確定曝光量。雖然指定比越大， 可以生成越寬動(dòng)態(tài)范圍的圖像，但是，由于需要將曝光量非常不同的圖像進(jìn)行合成，所以在例如圖像質(zhì)量等某些方面存在問(wèn)題，并且考慮到動(dòng)態(tài)范圍的擴(kuò)展和圖像質(zhì)量惡化的不利影響兩者，需要建立適中的指定比。通過(guò)將在這種亮度關(guān)系中成像的兩個(gè)圖像進(jìn)行合成，可以生成可以使范圍從亮對(duì)象到暗對(duì)象的對(duì)象以合適的亮度成像的寬動(dòng)態(tài)范圍圖像。返回圖1，圖像曝光量改變單元200包括圖像亮度調(diào)節(jié)單元15以及圖像緩沖單元 16 和 17。圖4示出圖像曝光量改變單元200。圖像曝光量改變單元200的圖像亮度調(diào)節(jié)單元15用從曝光量控制單元30輸入的照相機(jī)100和101之間的曝光量比作為增益，來(lái)乘以由照相機(jī)100成像的圖像?，F(xiàn)在，如果照相機(jī)100的曝光量為m而照相機(jī)101的曝光量為 n，則增益為n/m。所以，實(shí)際上可以從由照相機(jī)100以曝光量m所成像的圖像生成與由照相機(jī)101以曝光量η所成像的圖像相當(dāng)?shù)膱D像。這兩個(gè)圖像分別存儲(chǔ)在圖像緩沖單元16和 17中。圖5示出圖像曝光量改變單元201。圖像曝光量改變單元201具有和圖像曝光量改變單元200相同的結(jié)構(gòu)。圖像曝光量改變單元201的圖像亮度調(diào)節(jié)單元15用從曝光量控制單元30輸入的照相機(jī)100和101之間的曝光量比m/n作為增益，來(lái)乘以由照相機(jī)101 成像的圖像。所以，實(shí)際上可以從由照相機(jī)101以曝光量η所成像的圖像生成與由照相機(jī) 100以曝光量m所成像的圖像相當(dāng)?shù)膱D像。這兩個(gè)圖像分別存儲(chǔ)在圖像緩沖單元16和17 中。返回圖1，圖像視差修正單元300包括匹配單元21和22、匹配內(nèi)插單元23和位置修正單元24。圖6示出圖像之間的匹配。由照相機(jī)100成像的圖像(曝光量m)存儲(chǔ)在圖像曝光量改變單元200的圖像緩沖單元16中，而經(jīng)亮度調(diào)節(jié)的圖像(相當(dāng)于曝光量η)存儲(chǔ)在圖像曝光量改變單元200的圖像緩沖單元17中。由照相機(jī)101成像的圖像(曝光量η)存儲(chǔ)在圖像曝光量改變單元201的圖像緩沖單元16中，而經(jīng)亮度調(diào)節(jié)的圖像(相當(dāng)于曝光量 m)存儲(chǔ)在圖像曝光量改變單元201的圖像緩沖單元17中。將這四個(gè)圖像輸入到圖像視差修正單元300。匹配單元21在圖像(曝光量m)和圖像(相當(dāng)于曝光量m)的兩個(gè)圖像之間執(zhí)行圖像匹配，而匹配單元22在圖像(曝光量η)和圖像(相當(dāng)于曝光量η)的兩個(gè)圖像之間執(zhí)行圖像匹配。即，在以相同曝光量成像的具有視差的圖像之間執(zhí)行匹配。這里，應(yīng)用已知方法作為在兩個(gè)圖像之間匹配的技術(shù)，但是本發(fā)明并不局限于特定的匹配技術(shù)。該匹配可以建立圖像之間的像素的對(duì)應(yīng)。顯示這種對(duì)應(yīng)的信息稱(chēng)為匹配信息。在圖像(曝光量m)和圖像(相當(dāng)于曝光量m)之間所執(zhí)行的匹配的結(jié)果稱(chēng)為匹配信息m，而在圖像(曝光量η)和圖像(相當(dāng)于曝光量η)之間所執(zhí)行的匹配的結(jié)果稱(chēng)為匹配信息η。匹配內(nèi)插單元23綜合并內(nèi)插匹配信息m和n，從而為圖像中的每個(gè)像素生成匹配信息ALL。圖7是用于生成匹配信息ALL的流程圖。將參考圖7描述匹配內(nèi)插單元23進(jìn)行的處理。首先，匹配內(nèi)插單元23執(zhí)行基于匹配信息m和η綜合匹配信息的步驟(SlO)。基于所綜合的匹配信息執(zhí)行下列流程。然后，匹配內(nèi)插單元23對(duì)畫(huà)面中的所有像素執(zhí)行下列步驟(Sll到S16)。即，首先選擇像素0作為目標(biāo)像素(Sll)；對(duì)目標(biāo)像素執(zhí)行下列步驟(S12 到S16)；然后按順序遞增將作為目標(biāo)像素的像素，這使得能夠?qū)λ邢袼貓?zhí)行該處理。下面將對(duì)目標(biāo)像素P進(jìn)行說(shuō)明。匹配內(nèi)插單元23判斷是否為目標(biāo)像素P確定匹配信息(S12)，如果已經(jīng)確定了匹配信息，則繼續(xù)為下一個(gè)像素進(jìn)行該處理(S15)。如果還沒(méi)有確定匹配信息，則匹配內(nèi)插單元23搜索目標(biāo)像素ρ周?chē)那乙呀?jīng)確定了匹配信息的像素(S13)，通過(guò)內(nèi)插關(guān)于該周?chē)南袼氐钠ヅ湫畔⒍_定關(guān)于目標(biāo)像素P的匹配信息，并且向目標(biāo)像素P提供通過(guò)內(nèi)插所確定的匹配信息(S14)。因?yàn)檫@使得能夠?yàn)槟繕?biāo)像素ρ確定匹配信息，所以匹配內(nèi)插單元23 繼續(xù)為下一個(gè)像素進(jìn)行該處理(SM)。當(dāng)匹配內(nèi)插單元23已經(jīng)結(jié)束對(duì)作為目標(biāo)像素的所有像素的處理時(shí)，匹配內(nèi)插單元23結(jié)束該處理(S16)。在該處理的結(jié)尾，可以達(dá)到向所有像素提供匹配信息的狀態(tài)。圖8Α到圖8C示出圖7的流程圖中的匹配綜合步驟(SlO)。為了便于描述，圖8Α 到圖8C顯示了將圖像簡(jiǎn)化為包括4個(gè)水平像素乘3個(gè)垂直像素的總共12個(gè)像素的示意圖。 在說(shuō)明中，像素從像素的左上角到右上角按順序稱(chēng)為像素0、像素1、像素2和像素3，并且下
移一行，從左到右按順序進(jìn)一步稱(chēng)為像素4、像素5........像素11。每個(gè)像素中(x，y)的
描述是匹配信息，其表示圖像之間對(duì)應(yīng)像素的坐標(biāo)值或相對(duì)坐標(biāo)值。圖8A示出關(guān)于每個(gè)像素的匹配信息m，S卩，依據(jù)曝光量m的圖像和相當(dāng)于曝光量m 的圖像而確定的匹配的狀態(tài)。圖8A示出為像素0、1、3、4、7和8確定匹配信息m，以及沒(méi)有為其他像素確定匹配信息。圖8B示出關(guān)于每個(gè)像素的匹配信息n，S卩，依據(jù)曝光量η的圖像和相當(dāng)于曝光量η 的圖像確定的匹配的狀態(tài)。圖8Β示出為像素0、2、6、9、10和11確定匹配信息，以及沒(méi)有為其他像素確定匹配信息。圖8C示出綜合以上匹配信息m和η的結(jié)果。在圖8C中所示的匹配信息的綜合中，
9如果只通過(guò)匹配信息m和η中的一個(gè)確定關(guān)于像素的匹配信息，則按其原樣應(yīng)用關(guān)于該像素的匹配信息。在該圖中，像素1、2、3、4、6、7、8、9、10和11對(duì)應(yīng)這種情況。至于通過(guò)m和 η兩個(gè)匹配信息而確定匹配信息的像素，將兩條匹配信息的平均值設(shè)置為綜合后的匹配信息。在圖8C中，像素0對(duì)應(yīng)這種情況。盡管這里使用了平均值，但是可以?xún)?yōu)選地將任一個(gè)匹配信息設(shè)置為綜合后的匹配信息。至于既未通過(guò)匹配信息m也未通過(guò)匹配信息η確定匹配信息的像素，在綜合步驟時(shí)不確定匹配信息。在圖8C中，像素5對(duì)應(yīng)這種情況。圖9示出針對(duì)圖7的流程圖中的匹配信息的內(nèi)插處理(S12到S14)。圖9示出圖 8C中綜合匹配信息的結(jié)果，在匹配信息綜合時(shí)不向像素5提供匹配信息。在匹配信息的內(nèi)插處理中，在未被提供匹配信息的像素周?chē)南袼刂兴阉鞅惶峁┝似ヅ湫畔⒌南袼亍Ｔ趫D9 所示的例子中，像素5周?chē)南袼?、4、6和9被提供了匹配信息。圖9示出基于分別提供給四個(gè)周?chē)袼氐钠ヅ湫畔?，通過(guò)內(nèi)插計(jì)算關(guān)于像素5(x5，y5)的匹配信息的例子。這樣， 通過(guò)內(nèi)插關(guān)于周?chē)袼氐钠ヅ湫畔?，向在匹配信息綜合時(shí)未被提供匹配信息的像素提供匹配信息，因此向所有的像素都提供了匹配信息。以上是對(duì)匹配內(nèi)插單元23的說(shuō)明。盡管這里已經(jīng)示出了通過(guò)使用四個(gè)周?chē)袼貓?zhí)行內(nèi)插的例子，然而可以參考更寬區(qū)域中的像素， 或者，可以簡(jiǎn)單地分配關(guān)于上、下、左、右像素中的一個(gè)像素的匹配信息。圖10示出位置修正單元對(duì)。位置修正單元M修正由照相機(jī)101成像的圖像(曝光量η)中的位置，以便消除它與由照相機(jī)101成像的圖像(曝光量m)之間的視差。由匹配單元21、22和匹配內(nèi)插單元23所進(jìn)行的處理已經(jīng)確定了匹配信息ALL，其中在由照相機(jī) 100和101成像的圖像之間建立逐像素對(duì)應(yīng)，所以使用該匹配信息來(lái)執(zhí)行位置修正。作為位置修正的結(jié)果，由照相機(jī)101成像的圖像(曝光量η)變?yōu)樵谒c由照相機(jī)100成像的圖像 (曝光量m)之間沒(méi)有視差的圖像。即，生成了沒(méi)有視差的曝光量不同的兩個(gè)圖像。然后，距離計(jì)算單元31使用由照相機(jī)100成像的圖像和匹配信息ALL來(lái)計(jì)算從照相機(jī)100到圖像中的對(duì)象的距離。因?yàn)轭A(yù)先將照相機(jī)100和101安裝為水平地分開(kāi)預(yù)定距離，所以可以通過(guò)應(yīng)用已知的三角測(cè)量方法作為計(jì)算到對(duì)象的距離的方法來(lái)確定該距離。 還可以將匹配信息應(yīng)用于由照相機(jī)101成像的圖像、以及由寬動(dòng)態(tài)范圍圖像生成單元32生成的寬動(dòng)態(tài)范圍圖像，所以該圖像并不局限于由照相機(jī)100成像的圖像。寬動(dòng)態(tài)范圍圖像生成單元32將兩個(gè)圖像(即，由照相機(jī)100成像的圖像(曝光量 m)和由照相機(jī)101成像并由位置修正單元對(duì)修正了位置的圖像(曝光量η))進(jìn)行合成，以生成寬動(dòng)態(tài)范圍圖像，其是分別以曝光量m和η的合適的亮度水平成像的圖像(見(jiàn)圖11)。 將已知技術(shù)應(yīng)用于合成兩個(gè)曝光量不同的圖像的方法。已知技術(shù)包括在例如專(zhuān)利文件1中所涉及的日本專(zhuān)利No. 4163353中所描述的技術(shù)。如上所見(jiàn)，本實(shí)施例的成像裝置可以通過(guò)從同時(shí)拍攝的具有視差的曝光量不同的圖像生成實(shí)際上曝光量相同的圖像，同時(shí)執(zhí)行寬動(dòng)態(tài)范圍圖像的生成和到對(duì)象的距離的測(cè)量。在上述實(shí)施例的成像裝置中，可以通過(guò)在計(jì)算機(jī)上執(zhí)行程序來(lái)實(shí)現(xiàn)圖像曝光量改變單元200和201、圖像視差修正單元300、距離計(jì)算單元31和寬動(dòng)態(tài)范圍圖像生成單元 32。這樣的程序包含在本發(fā)明的范圍內(nèi)。盡管已經(jīng)描述了目前被認(rèn)為是本發(fā)明的優(yōu)選實(shí)施例的實(shí)施例，但是可以對(duì)其進(jìn)行各種修改和變化，而且意圖是所附權(quán)利要求涵蓋落在本發(fā)明的真正的精神和范圍之內(nèi)的所有這些修改和變化。工業(yè)適用性如上所述，根據(jù)本發(fā)明的成像裝置具有能夠依據(jù)同時(shí)拍攝的具有視差的曝光量不同的圖像來(lái)同時(shí)執(zhí)行寬動(dòng)態(tài)范圍圖像的生成和到對(duì)象的距離的測(cè)量方面的主要優(yōu)勢(shì)，并且對(duì)需要寬動(dòng)態(tài)范圍圖像和距離信息的傳感類(lèi)(sensing-type)照相機(jī)系統(tǒng)等是有用的。符號(hào)說(shuō)明
1 成像裝置
10 透鏡
11 光圈
12 成像器件
13 :A/D轉(zhuǎn)換單元
14:畫(huà)面信號(hào)處理單元
15:圖像亮度調(diào)節(jié)單元
16、17 圖像緩沖單元
21,22 匹配單元
23 匹配內(nèi)插單元
24 位置修正單元
30 曝光量控制單元
31 距離計(jì)算單元
32:寬動(dòng)態(tài)范圍圖像生成單元
100、101 照相機(jī)
200、201 圖像曝光量改變單元
300:圖像視差修正單元
權(quán)利要求
1.成像裝置，包括成像單元，利用多個(gè)成像器件以不同曝光量進(jìn)行成像，以生成具有視差的曝光量不同的圖像；圖像亮度調(diào)節(jié)單元，基于用于使每個(gè)圖像成像的曝光量，調(diào)節(jié)由所述成像單元所成像的多個(gè)圖像的亮度；匹配單元，使用經(jīng)亮度調(diào)節(jié)的具有視差的多個(gè)圖像來(lái)執(zhí)行圖像之間的匹配，并且確定指定具有視差的圖像之間彼此對(duì)應(yīng)的區(qū)域的匹配信息；距離計(jì)算單元，基于關(guān)于構(gòu)成給定對(duì)象的圖像的區(qū)域的匹配信息，確定到所述給定對(duì)象的距離；位置修正單元，基于所述匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；以及寬動(dòng)態(tài)范圍圖像生成單元，將經(jīng)位置修正單元修正了位置的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比所述成像單元所成像的圖像更寬的動(dòng)態(tài)范圍的圖像。
2.如權(quán)利要求1所述的成像裝置，所述圖像亮度調(diào)節(jié)單元利用用于使每個(gè)圖像成像的曝光量比來(lái)調(diào)節(jié)圖像的亮度。
3.如權(quán)利要求1或2所述的成像裝置，所述成像單元進(jìn)行成像，從而生成具有視差的曝光量不同的第一和第二圖像； 所述圖像亮度調(diào)節(jié)單元生成經(jīng)調(diào)節(jié)的第一圖像和經(jīng)調(diào)節(jié)的第二圖像，經(jīng)調(diào)節(jié)的第一圖像是其亮度基于所述第二圖像的曝光量而調(diào)節(jié)的第一圖像，經(jīng)調(diào)節(jié)的第二圖像是其亮度基于所述第一圖像的曝光量而調(diào)節(jié)的第二圖像；以及所述匹配單元執(zhí)行所述第一圖像與經(jīng)調(diào)節(jié)的第二圖像之間的匹配以確定第一匹配信息，執(zhí)行經(jīng)調(diào)節(jié)的第一圖像與所述第二圖像之間的匹配以確定第二匹配信息，并且綜合所述第一匹配信息和所述第二匹配信息以確定所述匹配信息。
4.根據(jù)權(quán)利要求3所述的成像裝置，對(duì)于既未通過(guò)所述第一圖像與經(jīng)調(diào)節(jié)的第二圖像之間的匹配而確定、也未通過(guò)經(jīng)調(diào)節(jié)的第一圖像與所述第二圖像之間的匹配而確定其對(duì)應(yīng)區(qū)域的區(qū)域，所述匹配單元利用關(guān)于有關(guān)區(qū)域周?chē)膮^(qū)域的對(duì)應(yīng)信息，通過(guò)內(nèi)插處理確定對(duì)應(yīng)關(guān)系。
5.成像方法，包括下列步驟利用多個(gè)成像器件以不同曝光量進(jìn)行成像，以生成具有視差的曝光量不同的圖像； 基于用于使每個(gè)圖像成像的曝光量，調(diào)節(jié)所成像的多個(gè)圖像的亮度； 使用經(jīng)亮度調(diào)節(jié)的具有視差的多個(gè)圖像來(lái)執(zhí)行圖像之間的匹配，并且確定指定具有視差的圖像之間彼此對(duì)應(yīng)的區(qū)域的匹配信息；基于關(guān)于構(gòu)成給定對(duì)象的圖像的區(qū)域的匹配信息，確定到所述給定對(duì)象的距離； 基于所述匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；以及將在位置修正步驟中修正了位置的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比所成像的圖像更寬的動(dòng)態(tài)范圍的圖像。
6.程序，為了基于以不同曝光量成像的具有視差的多個(gè)圖像生成圖像，使計(jì)算機(jī)執(zhí)行下列步驟基于用于使每個(gè)圖像成像的曝光量，調(diào)節(jié)多個(gè)圖像的亮度；使用經(jīng)亮度調(diào)節(jié)的具有視差的多個(gè)圖像來(lái)執(zhí)行圖像之間的匹配，并且確定指定具有視差的圖像之間彼此對(duì)應(yīng)的區(qū)域的匹配信息；基于關(guān)于構(gòu)成給定對(duì)象的圖像的區(qū)域的匹配信息，確定到所述給定對(duì)象的距離； 基于所述匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；以及將在位置修正步驟中修正了位置的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比所成像的圖像更寬的動(dòng)態(tài)范圍的圖像。
全文摘要
一種成像裝置(1)包括照相機(jī)(100)(101)，生成具有視差的曝光量不同的多個(gè)圖像；圖像亮度調(diào)節(jié)單元(200)(201)，基于曝光量調(diào)節(jié)多個(gè)圖像的亮度；匹配單元(21)(22)，利用經(jīng)亮度調(diào)節(jié)的多個(gè)圖像執(zhí)行圖像之間匹配，并確定匹配信息；距離計(jì)算單元(31)，基于匹配信息確定到給定對(duì)象的距離；位置修正單元(24)，基于匹配信息，修正具有視差的圖像中的位置，以便從具有視差的圖像中消除視差；寬動(dòng)態(tài)范圍圖像生成單元(32)，將經(jīng)位置修正單元(24)修正了位置的曝光量不同的多個(gè)圖像進(jìn)行合成，從而生成具有比照相機(jī)(100)(101)成像的圖像更寬的動(dòng)態(tài)范圍的圖像。因此，可以依據(jù)同時(shí)拍攝的具有視差的曝光量不同的圖像，同時(shí)執(zhí)行寬動(dòng)態(tài)范圍圖像的生成和到對(duì)象的距離的測(cè)量。
文檔編號(hào)G01C3/06GK102422124SQ20108001943
公開(kāi)日2012年4月18日 申請(qǐng)日期2010年7月29日 優(yōu)先權(quán)日2010年5月31日
發(fā)明者村松洋一 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社