本發(fā)明從根據(jù)獨立權(quán)利要求所述類型的一種方法或一種設(shè)備出發(fā)。計算機程序也是本發(fā)明的主題。

背景技術(shù)：

由關(guān)于借助于滾動快門(rolling-shutter)攝像機進(jìn)行3d重構(gòu)的現(xiàn)有技術(shù)(在proc.6thomnivisws，2005年中的由c.geyer，m.meingast和s.sastry.所著的geometricmodelsofrolling-shuttercameras和在proc.ismar’09，奧蘭多市，2009年10月中的由g.klein和d.murray.所著的paralleltrackingandmappingonacameraphone)已知這樣的方法，所述方法在假定待重構(gòu)的對象的已知的3d幾何結(jié)構(gòu)(例如額平行平面(fronto-paralleleebenen))的情況下補償滾動快門的影響。此外，由公開文獻(xiàn)“在proc.ieeeint.conf.oncomputervision(iccv)workshops，2011年中的由j.hedborg、e.ringaby、p.-e.forssen和m.felsberg.所著的structureandmotionestimationfromrollingshuttervideo”已知一些更復(fù)雜的方法。

用于解釋圖像序列的基本方法在于場景的基于至少兩個單個圖像的3d重構(gòu)，所述至少兩個單個圖像從不同的攝像機位置提供場景的2d投影。在此，首先從圖像序列數(shù)據(jù)估計攝像機運動并且接著通過三角測量法確定(靜態(tài)的)空間點的3d坐標(biāo)(structurefrommotion，sfm：由運動恢復(fù)結(jié)構(gòu))。用于所觀察的場景的準(zhǔn)確的3d重構(gòu)的重要的前提在于在相應(yīng)的圖像拍攝時刻充分準(zhǔn)確地確定攝像機自身運動、即攝像機姿勢(位置和定向)。然而，當(dāng)今在多種應(yīng)用(駕駛員輔助、安全性技術(shù)、機器人技術(shù)、移動設(shè)備等等)中，此外出于成本原因而通常使用具有滾動快門的攝像機系統(tǒng)(不同于具有全局快門(global-shutter)的高端攝像機系統(tǒng))，從而在不同的時刻曝光并且讀取不同的圖像行的圖像點。

然而，在使用sfm算法用于3d場景重構(gòu)時，這通常不被考慮，由此產(chǎn)生系統(tǒng)性的3d重構(gòu)誤差。在假定待重構(gòu)的對象(例如額平行平面)的已知的3d幾何結(jié)構(gòu)的情況下補償滾動快門的影響的方法構(gòu)成關(guān)于借助滾動快門攝像機進(jìn)行3d重構(gòu)的現(xiàn)有技術(shù)。更復(fù)雜的方案通過使用昂貴的計算方法(束均衡(bündelausgleich))避免包括對關(guān)于場景幾何結(jié)構(gòu)的先驗的假定，所述計算方法不能在嵌入式攝像機系統(tǒng)上(例如用于在機動車中的駕駛員輔助系統(tǒng)的攝像機)高效地實現(xiàn)。

在這里提出的方案能夠?qū)崿F(xiàn)在使用滾動快門攝像機的情況下3d場景重構(gòu)的高效實現(xiàn)。這種方案尤其適合用于具有有限的資源的嵌入式系統(tǒng)并且能夠在沒有系統(tǒng)性的殘留誤差的情況下實現(xiàn)逐點的3d重構(gòu)并且絕不需要關(guān)于場景幾何結(jié)構(gòu)的預(yù)先知識。

技術(shù)實現(xiàn)要素：

在此背景下，借助在此提出的方案提出根據(jù)主權(quán)利要求的一種方法、使用所述方法的設(shè)備以及相應(yīng)的計算機程序。通過在從屬權(quán)利要求中列舉的措施能夠?qū)崿F(xiàn)在獨立權(quán)利要求中說明的設(shè)備的有利的擴(kuò)展方案和改進(jìn)。

在此提出的方案實現(xiàn)一種用于求取車輛的周圍環(huán)境的圖像(在代表或者重構(gòu)的意義上)的方法，其中，所述方法具有以下的步驟：

讀取第一圖像數(shù)據(jù)和至少第二圖像數(shù)據(jù)，其中，所述第一圖像數(shù)據(jù)代表在車輛中或者車輛上的攝像機的第一圖像拍攝區(qū)域的圖像數(shù)據(jù)，并且所述第二圖像數(shù)據(jù)代表來自所述攝像機的不同于所述第一圖像拍攝區(qū)域的第二圖像拍攝區(qū)域的圖像數(shù)據(jù)，其中，所述第二圖像數(shù)據(jù)在時間上在所述第一圖像數(shù)據(jù)之后被拍攝；

在使用車輛參數(shù)和/或行駛參數(shù)的情況下處理所述第二圖像數(shù)據(jù)，以便獲得經(jīng)處理的第二圖像數(shù)據(jù)；以及

將所述第一圖像數(shù)據(jù)與所述經(jīng)處理的第二圖像數(shù)據(jù)組合，以便獲得所述車輛的所述周圍環(huán)境的圖像。

圖像數(shù)據(jù)例如可以理解為部分圖像的數(shù)據(jù)，所述部分圖像在如例如攝像機或者諸如此類的圖像拍攝傳感器的部分區(qū)段中被提供。圖像拍攝區(qū)域可以理解為這樣的部分區(qū)域：在所述部分區(qū)域中，圖像傳感器可以檢測圖像數(shù)據(jù)。例如這樣的圖像接收區(qū)域可以是圖像傳感器的圖像行、圖像列或者像素。車輛參數(shù)可以理解為例如這樣的參數(shù)：所述參數(shù)代表車輛的、對象的或者所述對象相對于車輛的物理參量。行駛參數(shù)理解為在車輛行駛時可檢測的物理參量。車輛的周圍環(huán)境可以理解為對象的存在和/或一個或多個對象在空間中、尤其相對于車輛的布置。

在此提出的方案基于這樣的認(rèn)識：通過使用車輛參數(shù)和/或行駛參數(shù)以及合適的模型構(gòu)建并且考慮圖像拍攝過程在時間上的特性可以創(chuàng)建圖像，在所述圖像中可以補償由于第一圖像數(shù)據(jù)相對于第二圖像數(shù)據(jù)在時間上的偏移而出現(xiàn)的失真。由此可能的是，創(chuàng)建車輛的周圍環(huán)境的圖像，所述圖像可以被用于在車輛的另外的駕駛員輔助系統(tǒng)中的分析處理。在此，在此提出的方案提供這樣的優(yōu)點：可以使用成本更便宜的、技術(shù)上更簡單的圖像拍攝傳感器來產(chǎn)生車輛的周圍環(huán)境的圖像，其中，在分析處理這樣的圖像時由于具有在時間上的偏移的相應(yīng)的部分圖像而出現(xiàn)的誤差可以通過在使用車輛參數(shù)或者行駛參數(shù)的情況下處理第二圖像數(shù)據(jù)來補償。

此外，可以考慮在此提出的方案的一種實施方式，其中，在所述處理的步驟中，在將所述車輛的或者所述攝像機的行駛速度作為行駛參數(shù)使用和/或?qū)⑺鰯z像機在所述車輛中或者所述車輛上的布置高度作為車輛參數(shù)使用的情況下處理所述第二圖像數(shù)據(jù)。行駛參數(shù)的和/或車輛參數(shù)的使用一方面在技術(shù)上可以簡單地被檢測并且另一方面是用于實現(xiàn)車輛的周圍環(huán)境在圖像中的盡可能接近現(xiàn)實的成像的相當(dāng)合適的參量。

根據(jù)另一種實施方式，可以在所述讀取的步驟中，作為第一和/或第二圖像數(shù)據(jù)讀取以下圖像數(shù)據(jù)：所述圖像數(shù)據(jù)代表攝像機的通過掃描行或者掃描列掃描的圖像或者所述圖像數(shù)據(jù)代表所述攝像機的圖像點。在此提出的方案的這樣的實施方式提供對第一和第二圖像數(shù)據(jù)的拍攝在時間上的偏移非常靈活并且因此非常準(zhǔn)確地進(jìn)行補償?shù)膬?yōu)點。同時，可以在技術(shù)上非常簡單并且在沒有大的換算耗費的情況下求取所述第一或者第二圖像數(shù)據(jù)。

在此提出的方案的一種實施方式是特別有利的，其中，在所述處理的步驟中，處理所述第二圖像數(shù)據(jù)，以便將在所述第二圖像拍攝區(qū)域之外的圖像拍攝區(qū)域中的圖像數(shù)據(jù)作為經(jīng)處理的第二圖像數(shù)據(jù)來求取。在此提出的方案的這樣的實施方式提供這樣的優(yōu)點，在圖像的相當(dāng)于第二圖像拍攝區(qū)域的區(qū)域之外也進(jìn)行改變，由此開啟非常靈活的并且因此非常準(zhǔn)確的、用于求取接近現(xiàn)實地成像車輛的周圍環(huán)境的圖像的可能性。

替代地或者附加地，在此提出的方案的另一種實施方式，可以在所述處理的步驟中，為了求取所述經(jīng)處理的第二圖像數(shù)據(jù)，使用在所述車輛的所述周圍環(huán)境中的對象的在所述第一和/或第二圖像數(shù)據(jù)中識別的結(jié)構(gòu)，尤其其中，比較所識別的結(jié)構(gòu)與存儲在存儲器中的比較結(jié)構(gòu)。對象的結(jié)構(gòu)可以理解為例如在第一或第二圖像數(shù)據(jù)中的邊沿或者諸如此類的，所述第一或第二圖像數(shù)據(jù)例如在使用模式識別算法(mustererkennung)的情況下被識別。在此提出的方案的這樣的實施方式提供在將第一圖像數(shù)據(jù)與經(jīng)處理的第二圖像數(shù)據(jù)組合時的可能的可信度檢查的優(yōu)點，從而例如可以避免圖像中的這樣的邊沿斷裂，所述斷裂在物理上可能不存在。

在此提出的方案的一種實施方式也是有利的，其中，在所述讀取的步驟中，至少讀取第三圖像數(shù)據(jù)，所述第三圖像數(shù)據(jù)代表來自所述攝像機的不同于所述第一和所述第二圖像拍攝區(qū)域的第三圖像拍攝區(qū)域的圖像數(shù)據(jù)，其中，所述第三圖像數(shù)據(jù)在時間上在所述第一和所述第二圖像數(shù)據(jù)之后被拍攝，其中，在所述處理的步驟中，在使用所述車輛參數(shù)和/或行駛參數(shù)的情況下處理所述第三圖像數(shù)據(jù)，以便獲得經(jīng)處理的第三圖像數(shù)據(jù)，其中，在所述組合的步驟中，將所述第一圖像數(shù)據(jù)與所述經(jīng)處理的第二圖像數(shù)據(jù)和所述經(jīng)處理的第三圖像數(shù)據(jù)組合，以便獲得所述車輛的所述周圍環(huán)境的圖像。在此提出的方案的這樣的實施方式提供非常靈活并且因此高度準(zhǔn)確的、用于將車輛的周圍環(huán)境成像在圖像中的可能性，因為對于圖像的組合可以使用多個相應(yīng)地經(jīng)處理的圖像數(shù)據(jù)。通過這種方式可以求取由在不同的時刻檢測的部分圖像構(gòu)成的圖像，所述部分圖像通過相應(yīng)的圖像數(shù)據(jù)代表。

在數(shù)值上或者在電路技術(shù)上可以非常高效地實現(xiàn)在此提出的方案的實施方式，其中，在所述處理的步驟中，在使用線性微分方程組的情況下求取所述經(jīng)處理的第二圖像數(shù)據(jù)。

在此提出的方案也實現(xiàn)一種用于識別在車輛的周圍環(huán)境中的對象的方法，其中，所述方法具有以下步驟：

讀取圖像，所述圖像根據(jù)相應(yīng)于在此提出的實施方式的方法地被求??；以及

在使用至少一個模式識別算法的情況下分析處理所讀取的圖像，以便識別在所述車輛的所述周圍環(huán)境中的對象。

通過在此提出的方案的這樣的實施方式也可以快速地并且技術(shù)上高效地實現(xiàn)所述優(yōu)點。

這些方法可以例如以軟件或者硬件形式或者以由軟件和硬件組成的混合形式例如在控制裝置或者設(shè)備中執(zhí)行。

此外，在此提出的方案實現(xiàn)一種設(shè)備，所述設(shè)備構(gòu)造用于在相應(yīng)的裝置中實施、控制或者實現(xiàn)在此提出的方法的變型方案的步驟。通過本發(fā)明的以設(shè)備形式的實施變型方案可以快速和高效地解決本發(fā)明所基于的任務(wù)。

為此，所述設(shè)備可以具有至少一個用于處理信號或者數(shù)據(jù)的計算單元、至少一個用于存儲信號或者數(shù)據(jù)的存儲單元、至少一個用于從傳感器讀取傳感器信號或者用于向致動器輸出數(shù)據(jù)信號或者控制信號的、到傳感器或者致動器的接口和/或用于讀取或者輸出數(shù)據(jù)的至少一個通信接口，所述數(shù)據(jù)嵌入到通信協(xié)議中。計算單元可以是例如信號處理器、微控制器或者諸如此類的，其中，存儲單元可以是閃存、eprom或者磁存儲單元。通信接口可以構(gòu)造用于無線地和/或有線地讀取或者輸出數(shù)據(jù)，其中，可以讀取或者輸出有線的數(shù)據(jù)的通信接口可以例如電學(xué)地或者光學(xué)地從相應(yīng)的數(shù)據(jù)傳輸線路讀取這些數(shù)據(jù)或者輸出這些數(shù)據(jù)到相應(yīng)的數(shù)據(jù)傳輸線路中。

設(shè)備在此可以理解為處理傳感器信號并且據(jù)此輸出控制信號和/或數(shù)據(jù)信號的電設(shè)備。所述設(shè)備可以具有按硬件方式和/或按軟件方式構(gòu)造的接口。在按硬件方式的構(gòu)造中，接口例如可以是所謂的系統(tǒng)asic的包括所述設(shè)備的最不同功能的一部分。然而，也可能的是，接口是單獨的集成電路或至少部分地由分立構(gòu)件組成。在按軟件方式的構(gòu)造中，接口可以是軟件模塊，其例如與其他軟件模塊共存在微控制器上。

在一種有利的構(gòu)型中，通過所述設(shè)備實現(xiàn)圖像處理器的控制，所述圖像處理器應(yīng)用在車輛中，以便分析處理車輛的周圍環(huán)境的攝像機圖像并且由此提供用于另外的駕駛員輔助系統(tǒng)——如例如碰撞識別單元——的圖像信號。為此，設(shè)備可以訪問例如如作為圖像傳感器的攝像機的圖像數(shù)據(jù)這樣的傳感器信號。然后，經(jīng)組合的圖像的輸出可以例如對圖像處理器實現(xiàn)，在所述圖像處理器中實現(xiàn)在所求取的圖像中的對象的識別，所述對象例如在碰撞識別的情況下可以用于控制如安全氣囊或者安全帶張緊裝置這樣的人身安全防護(hù)單元。

具有程序代碼的計算機程序產(chǎn)品或者計算機程序也是有利的，所述程序代碼可以存儲在機器可讀的載體或者存儲介質(zhì)，如半導(dǎo)體存儲器、硬盤存儲器或光學(xué)存儲器上并且尤其用于當(dāng)在計算機或者設(shè)備上執(zhí)行程序產(chǎn)品或者程序時實施、實現(xiàn)和/或控制根據(jù)先前描述的實施方式之一的方法的步驟。

附圖說明

在附圖中示出并且在以下的描述中詳細(xì)地闡述本發(fā)明的實施例。附圖示出：

圖1示出具有用于求取車輛的周圍環(huán)境的圖像的設(shè)備的一個實施例的車輛的框圖；

圖2以滾動快門攝像機作為車輛中的攝像機為例示出用于在時間上相鄰的兩個圖像在時間上的相關(guān)性的和圖像序列的示意性示圖；

圖3根據(jù)兩個幀示出作為圖像的合成場景(在這里建筑工地)，用于說明在此提出的方案；

圖4示出作為圖像的、上下相疊地布置的兩個部分圖像，在所述兩個部分圖像中，上方的部分圖像在不使用在此提出的方案的情況下被重構(gòu)或者組合，并且下方的部分圖像在使用在此提出的方案的情況下被重構(gòu)或者組合；

圖5示出根據(jù)一個實施例的方法的流程圖；以及

圖6示出根據(jù)一個實施例的方法的流程圖。

具體實施方式

在本發(fā)明的有利的實施例的以下描述中，對于在不同的附圖中示出并且類似地起作用的元件使用相同或類似的附圖標(biāo)記，其中，省去對這些元件的重復(fù)描述。

圖1示出具有用于求取車輛100的周圍環(huán)境110的圖像107的設(shè)備105的實施例的車輛100的框圖。此外，車輛100具有作為光學(xué)圖像傳感器的攝像機115，其中，攝像機115構(gòu)造用于提供第一圖像數(shù)據(jù)120和第二圖像數(shù)據(jù)125。在這里，第一圖像數(shù)據(jù)120由第一圖像拍攝區(qū)域130提供，而第二圖像數(shù)據(jù)125由攝像機115的第二圖像拍攝區(qū)域132提供。圖像拍攝區(qū)域130和132為攝像機115的圖像檢測傳感器的不同的部分區(qū)段并且可以將攝像機115到周圍環(huán)境110中的不同的區(qū)段或者視角圖像式地成像在圖像107中。在優(yōu)選在此提出的方案中應(yīng)使用的成本便宜的攝像機115中，也比第二圖像數(shù)據(jù)125更早地提供第一圖像數(shù)據(jù)120。如果現(xiàn)在車輛100以行駛速度135行駛，則以攝像機115到周圍環(huán)境110中的不同的視角拍攝第二圖像數(shù)據(jù)125，從而現(xiàn)在在第一圖像數(shù)據(jù)120與第二圖像數(shù)據(jù)120的組合中出現(xiàn)視角的失真，所述失真使得周圍環(huán)境110的以這樣的方式出現(xiàn)的圖像107的處理例如對于駕駛員輔助系統(tǒng)137而言明顯變得困難或者完全變得不可能。

為了確保在車輛區(qū)域中能夠使用成本便宜的部件如這樣的攝像機115、例如以滾動快門攝像機形式的攝像機，現(xiàn)在使用設(shè)備105用于求取車輛100的周圍環(huán)境110的圖像107，在所述設(shè)備中，進(jìn)行在時間上隨后提供的第二圖像數(shù)據(jù)125的校正，從而現(xiàn)在可以將經(jīng)處理的、也即經(jīng)校正的第二圖像數(shù)據(jù)125’與第一圖像數(shù)據(jù)120組合成圖像107，該圖像然后例如可以提供給駕駛員輔助系統(tǒng)137以供使用。

為了確保該功能性，設(shè)備105具有讀取接口140，通過所述讀取接口讀取第一圖像數(shù)據(jù)120和第二圖像數(shù)據(jù)125。接著，從讀取接口140向處理單元145發(fā)送第一圖像數(shù)據(jù)120和第二圖像數(shù)據(jù)125。然后，在處理單元145中，在使用車輛參數(shù)和/或行駛參數(shù)147的情況下處理第二圖像數(shù)據(jù)125，所述車輛參數(shù)和/或行駛參數(shù)例如從車輛100的存儲單元149加載到處理單元145中。車輛參數(shù)和/或行駛參數(shù)147可以代表例如車輛100的行駛速度135和/或攝像機115在車輛100中、例如相對于行車道的平面的安裝高度150。附加地，對于第二圖像數(shù)據(jù)125的處理，處理單元145可以例如使用持續(xù)時間，所述持續(xù)時間相當(dāng)于第一圖像數(shù)據(jù)的通過攝像機115中的圖像拍攝傳感器的拍攝相對于第二圖像數(shù)據(jù)125的通過攝像機115中的圖像拍攝傳感器的拍攝之間的時間差。由此現(xiàn)在可能的是，如此處理第二圖像數(shù)據(jù)125，使得獲得經(jīng)處理的第二圖像數(shù)據(jù)125’，所述經(jīng)處理的第二圖像數(shù)據(jù)“反算(zurückgerechnet)”到這樣的時刻：在該時刻，第一圖像數(shù)據(jù)120被拍攝。隨后，將經(jīng)處理的第二圖像數(shù)據(jù)125’以及第一圖像數(shù)據(jù)120發(fā)送到組合單元155，在所述組合單元中現(xiàn)在由經(jīng)處理的第二圖像數(shù)據(jù)125’和第一圖像數(shù)據(jù)120求取圖像107，該圖像現(xiàn)在以其整體非常好地接近地在第一圖像數(shù)據(jù)120的通過攝像機115的圖像拍攝傳感器的拍攝時刻非常接近現(xiàn)實地重現(xiàn)周圍環(huán)境110。

現(xiàn)在，可以例如在駕駛員輔助系統(tǒng)137中進(jìn)一步處理圖像107，以便例如借助于模式識別算法158從所述圖像107識別如在車輛100前方的路標(biāo)或者在車輛100前方的道路上的車道這樣的對象157。這現(xiàn)在使得對于駕駛員輔助系統(tǒng)137能夠?qū)崿F(xiàn)：支持或者完全自動地進(jìn)行車輛100的通過轉(zhuǎn)向單元160的轉(zhuǎn)向和/或?qū)τ趶膱D像107中識別出與對象157直接臨近的碰撞的情況能夠?qū)崿F(xiàn)對如例如駕駛員安全氣囊165這樣的人身安全防護(hù)單元的控制。

根據(jù)在此提出的方案的另一個實施例，攝像機115也可以提供來自于與第一圖像拍攝區(qū)域130和第二圖像拍攝區(qū)域132不同的第三圖像拍攝區(qū)域172的第三圖像數(shù)據(jù)170，所述第三圖像數(shù)據(jù)然后由讀取接口140讀取并且轉(zhuǎn)發(fā)到處理單元145上。然后，第三圖像數(shù)據(jù)170例如作為所讀取的第三行或者所讀取的第三像素在時間上在第一圖像數(shù)據(jù)120和第二圖像數(shù)據(jù)125之后被拍攝或者由攝像機115提供。然后，在處理單元145中，在使用車輛參數(shù)和/或行駛參數(shù)147的情況下處理第三圖像數(shù)據(jù)170，以便獲得經(jīng)處理的第三圖像數(shù)據(jù)170’，所述經(jīng)處理的第三圖像數(shù)據(jù)然后被傳送給組合單元155。然后，在組合單元155中，將第一圖像數(shù)據(jù)120與經(jīng)處理的第二圖像數(shù)據(jù)125’和經(jīng)處理的第三圖像數(shù)據(jù)170’組合，以便獲得車輛100的周圍環(huán)境110的圖像107。通過這種方式，可以實現(xiàn)在可供使用的圖像數(shù)據(jù)中的通過在時間上的延遲引起的失真的還進(jìn)一步改善的補償，所述延遲例如通過滾動快門的在時間上偏移的讀取決定。

在此提出的方案的一個方面在于，在使用四元數(shù)的情況下對攝像機自身運動進(jìn)行高效的模型構(gòu)建和基于此對于每個圖像行或者必要時也對于每個圖像點和點狀的3d場景幾何結(jié)構(gòu)同時地估計攝像機自身運動。所述方法導(dǎo)出用于攝像機115的轉(zhuǎn)動和攝像機115的平移的線性微分方程組，所述線性微分方程組可以借助適當(dāng)?shù)臄?shù)值方法穩(wěn)健地并且具有高的收斂速度地解出。與此不同，基于歐拉角(euler-winkel)的經(jīng)典的方案導(dǎo)出具有奇點的非線性微分方程，所述奇點使在數(shù)值積分時的收斂性變差。在此提出的方案提供例如在沒有由于圖像序列的在圖像數(shù)據(jù)120和125中包含的單個圖像或者部分圖像的滾動快門-失真引起的系統(tǒng)性的殘留誤差的情況下對周圍環(huán)境110的所觀察的場景的逐點式的3d重構(gòu)。此外，在此提出的方案能夠?qū)崿F(xiàn)在車輛中從全局快門到滾動/快門攝像機的應(yīng)用的不受約束的過渡，并且提供一種用于對圖像數(shù)據(jù)120或者125中的單個圖像或者部分圖像進(jìn)行修正或者進(jìn)行滾動快門補償?shù)母咝Х椒?，從而在信號流中可以如例如在駕駛員輔助系統(tǒng)137中執(zhí)行后續(xù)的處理方法，而不進(jìn)一步考慮滾動快門效應(yīng)。

圖2以滾動快門攝像機作為車輛100中的攝像機115為例根據(jù)時間t示出用于圖像序列的在時間上相鄰的兩個圖像200和205在時間上的相關(guān)性的示意性示圖。在這里，以對于每個圖像的讀取時間tr讀取圖像，其中，所述讀取時間劃分為持續(xù)時間tf的n個幀時間間隔(rahmenzeitintervalle)。在該實施例中假定，同時曝光并且讀取n＝n個圖像行210中的每一個圖像行的圖像點。然而應(yīng)注意，可以將隨后的實施方案直接轉(zhuǎn)用到滾動快門攝像機的情況，所述滾動快門攝像機具有用于圖像行的部分的或者在邊界情況下用于每個圖像點的不同的曝光時刻或者讀取時刻。在光學(xué)系統(tǒng)的扭曲校正的情況下，在這里考慮的滾動快門攝像機通常也導(dǎo)出圖像點時間戳不但與所考慮的圖像點的行索引而且與列索引的相關(guān)性，然而，所述相關(guān)性又可以通過所描述的方案的簡單擴(kuò)展來直接考慮。

在這種情況下，可以借助

描述攝像機115的轉(zhuǎn)動方程，并且借助

s′＝v′(t′-t)

描述攝像機115的平移方程。

借助在圖2中引入的參量，可以通過線性微分方程組

借助用于描述攝像機轉(zhuǎn)動的單元-四元數(shù)q以及借助平移向量t’完整地描述用于足夠平滑的軌跡(見圖2中下方)的攝像機自身運動，其中假定，根據(jù)量值和方向(n)的角速度以及平移速度的向量(v’)在所考慮的時間間隔內(nèi)是恒定的。在攝像機坐標(biāo)系統(tǒng)中測量的轉(zhuǎn)速的斜對稱的(3x3)矩陣ω在這些假設(shè)下也是恒定的，從而可以解析地解出并且如以上所說明地執(zhí)行所給出的微分方程組。

如在圖2中所說明的那樣，借助該模型構(gòu)建可以將全局快門攝像機的自身運動不受約束地轉(zhuǎn)用到滾動快門攝像機的自身運動上。在滾動快門攝像機(在其中，圖像點時間戳不但與行索引而且與列n索引相關(guān))的上述形式的情況下，可以直接使所說明的、攝像機自身運動的模型一般化，其方式是，擴(kuò)大時間差

δt(n，n′)＝t′(n′)-t(n)

δt(n，m，n′，m′)＝t′(n′，m′)-t(n，m)

攝像機自身運動的所述模型到所觀察的場景的基于sfm的3d重構(gòu)上的應(yīng)用導(dǎo)出逐點的3d重構(gòu)，然而，所述逐點的3d重構(gòu)首先僅僅關(guān)于相應(yīng)的在時間上可變的攝像機坐標(biāo)系統(tǒng)來提供。然而，對于后續(xù)的處理步驟有利的是，使逐點的3d重構(gòu)與具有固定的參考時間戳的共同的參考攝像機坐標(biāo)系統(tǒng)關(guān)聯(lián)。對此，尤其在圖2中說明的參考時間戳(kxtf)適合，所述參考時間戳通過幀的讀取時刻的相應(yīng)的平均值產(chǎn)生。

以下足夠用于參考攝像機坐標(biāo)系統(tǒng)進(jìn)行3d重構(gòu)：即利用所說明的、攝像機自身運動的模型用于將在時刻(t)的3d點(p)反向投影(rückprojektion)到參考時刻(tref＝kхtf)上，其中，以上提到的時間差僅僅必須通過(δt＝t-tref)取代。這借助相應(yīng)的旋轉(zhuǎn)矩陣(r＝r(δt))和所屬的平移向量(s′＝s′(δt))首先導(dǎo)出

p(t)＝r(δt)p(tref)+s′(δt)

并且，最終導(dǎo)出所尋求的反向投影：

p(tref)＝r^t(δt)p(t)-s′(δt)

圖3根據(jù)兩個幀將合成的場景(在這里建筑工地)作為圖像107示出以便說明在此提出的方案，其中，車輛100中的滾動快門攝像機以vcam＝80km/h在具有在側(cè)向上以15m的間距設(shè)置的作為對象157的路標(biāo)的道路上運動。攝像機115的安裝高度150為1.2m，分辨率為1280x720個圖像點并且水平的張角為50°。圖像重復(fù)率為25fps，相當(dāng)于tf＝40ms。滾動快門的讀取時間為tr＝35ms。尤其在圖3的右邊圖像中，可以明顯地看出滾動快門的影響，因為垂直于行車道表面的、作為對象157的路標(biāo)隨著到攝像機115的距離的減小而越來越強地被剪切。在圖4中說明在此提出的方案的效用。

在這里，圖4示出兩個上下相疊地布置的部分圖像作為圖像107，在所述部分圖像中，上方的部分圖像在不使用在此提出的方案的情況下被重構(gòu)或者組合，并且，下方的部分圖像在使用在此提出的方案的情況下被重構(gòu)或者組合。在這里，在右上方的示圖中，在逐行地讀取攝像機115的圖像傳感器時對象157的距離作為與所讀取的行相關(guān)的、對象的距離示出。圖4的在左側(cè)下方示出的部分圖像對于參考時刻tref＝tf示出圖3中的右邊圖像的重構(gòu)。如可看到的這樣，在圖像的整個圖像區(qū)域中作為對象157的路標(biāo)現(xiàn)在具有正確的垂直定向，即滾動快門的影響已經(jīng)完全被補償，從而可以例如在駕駛員輔助系統(tǒng)137中使用后置(nachgelagert)的方法，而不明確地考慮滾動快門影響。現(xiàn)在，在圖4中右下方示出的曲線圖又示出在逐行地讀取攝像機115的圖像傳感器時對象157的距離，其中，現(xiàn)在，在時間上稍晚被讀取的圖像數(shù)據(jù)已被處理并且因此已被反算到相同的讀取時刻。在此，在右下方示圖中，又根據(jù)所讀取的行示出對象的(現(xiàn)在通過計算校正的)距離。

此外，在圖4中示出在具有和沒有滾動快門的補償?shù)那闆r下在右邊的行車道側(cè)上的作為對象157的第一路標(biāo)的基于sfm的3d重構(gòu)。如可預(yù)期的那樣，未經(jīng)補償?shù)?d重構(gòu)(在圖4中在右上方)具有作為對象157的路標(biāo)的距離與所考慮的圖像行的明確的相關(guān)性。反之，在rs補償?shù)膕fm-重構(gòu)(在圖4中在右下方)的情況下，正確地估計作為對象157的路標(biāo)的距離，隨機誤差除外，所述隨機誤差由對圖像點對應(yīng)性的量化造成。

圖5示出用于求取車輛的周圍環(huán)境的圖像的方法500的流程圖。所述方法包括讀取第一圖像數(shù)據(jù)和至少第二圖像數(shù)據(jù)的步驟510，其中，第一圖像數(shù)據(jù)代表在車輛中或者車輛上的攝像機的第一圖像拍攝區(qū)域的圖像數(shù)據(jù)，并且，第二圖像數(shù)據(jù)代表來自攝像機的不同于第一圖像拍攝區(qū)域的第二圖像拍攝區(qū)域的圖像數(shù)據(jù)，其中，第二圖像數(shù)據(jù)在時間上在第一圖像數(shù)據(jù)之后被拍攝。此外，方法520包括在使用車輛參數(shù)和/或行駛參數(shù)的情況下處理第二圖像數(shù)據(jù)以便獲得經(jīng)處理的第二圖像數(shù)據(jù)的步驟。最后，方法500包括將第一圖像數(shù)據(jù)與經(jīng)處理的第二圖像數(shù)據(jù)組合以便獲得車輛的周圍環(huán)境的圖像的步驟530。

圖6示出用于識別在車輛100的周圍環(huán)境110中的對象157的方法600的流程圖。方法600包括讀取圖像的步驟610，所述圖像根據(jù)相應(yīng)于以上描述的實施例的方法500地求取。此外，方法600包括在使用至少一個模式識別算法的情況下分析處理所讀取的圖像以便識別在車輛的周圍環(huán)境中的對象的步驟620。然后，可以例如在駕駛員輔助系統(tǒng)137中實施所述方法600，在所述駕駛員輔助系統(tǒng)中，可借助于模式識別算法158識別包含在圖像107中的對象。

如果一個實施例包括第一特征與第二特征之間的“和/或”關(guān)系，則這可以解讀如下：所述實施例根據(jù)一種實施方式不僅具有第一特征，而且具有第二特征；并且根據(jù)另一種實施方式或者僅僅具有第一特征，或者僅僅具有第二特征。