專利名稱：用于評測圖像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于評測圖像的方法和裝置。具體地，本發(fā)明涉及用于評測 圖像的方法和裝置，其可用于在不同的環(huán)境中，比如在車載駕駛員輔助系統(tǒng) 中或者在監(jiān)測系統(tǒng)中，識別目標對象。
背景技術(shù)：
當前，為了協(xié)助駕駛員控制車輛和/或提高駕駛的安全性，車輛提供了多 種駕駛員輔助功能。就這種駕駛員輔助功能的例子來說，其包括停車輔助設(shè) 備，碰撞預(yù)測功能和安全措施，該安全措施包括安全氣嚢或者由控制邏輯操 控的座位安全帶收縮裝置。這些駕駛員輔助功能中的一些功能可能依賴于， 或者至少利用了，以圖像數(shù)據(jù)形式出現(xiàn)的車輛周圍的信息，其中對該圖像數(shù) 據(jù)被自動地評測以，例如，檢測所接近的障礙物。在一些駕駛員輔助功能中， 不僅可以自動地確定接近車輛的對象的存在性，還可以確定它的"類型，，或 者"分類"，比如車輛或者行人，以便基于所確定的對象分類采取適當?shù)膭?作。這可通過捕獲相應(yīng)于車輛周圍的一部分視域的圖像及評測表示該圖像的 圖像數(shù)據(jù)，以檢測對象并且基于例如，由圖像數(shù)據(jù)所顯示的對象的特有幾何 學特征和其大小，來確定各個對象的對象分類來實現(xiàn)，其中可將圖像數(shù)據(jù)與 參考數(shù)據(jù)相比較。這種常規(guī)的圖像評測方法通常具有與之相關(guān)的缺點。例如， 當直接將圖像數(shù)據(jù)和參考數(shù)據(jù)相比較的時候，對象分類的可靠性可能會取決 于對象相對于安裝了駕駛員輔助功能的車輛的距離。例如，離車輛距離較遠 的卡車可能會被錯誤地識別為離該車輛較近的小汽車，或者相反，距離該車
較近的小汽車可能會被誤認為離該車較遠的卡車，因為卡車具有更大的側(cè)向 尺寸。
相似的問題還存在于其它的情況中，在這些情況中希望自動地識別圖像 中的對象，比如安裝在公共區(qū)域或者私有地產(chǎn)中的監(jiān)控照相機系統(tǒng)。

發(fā)明內(nèi)容
因此，本領(lǐng)域存在著對改進的評測圖像方法和設(shè)備的需要。特別是，存 在著對改進的評測圖像方法和設(shè)備的需要，這種方法和設(shè)備獲得的結(jié)果更不 容易出現(xiàn)由對象相對于捕獲要評測的圖像的照相機距離的變化所引起的誤差。
根據(jù)本發(fā)明，這種需要是由獨立權(quán)利要求所定義的方法和設(shè)備來體現(xiàn) 的。從屬權(quán)利要求定義了優(yōu)選的或者有效的實施例。
根據(jù)本發(fā)明的一個方面，提供了評測圖像的方法，其包括步驟獲取 (retrieve)表示圖像的圖像數(shù)據(jù)，獲取對象相對于圖像的圖像平面的距離的 距離信息，其中至少一部分對象由圖像數(shù)據(jù)表示，并且基于距離信息和預(yù)先 確定的參考距離重新采樣圖像數(shù)據(jù)的至少一部分以產(chǎn)生經(jīng)重新采樣的圖像 數(shù)據(jù)，其中要進行重新采樣的圖像數(shù)據(jù)部分表示至少部分的對象。如同此處 所使用的，術(shù)語"圖像平面"指代的是(通常是虛擬的)由捕獲圖像的光學 系統(tǒng)將要評測的圖像映射到其上的平面。根據(jù)該方法，同時基于對象相對于 圖像平面的距離和預(yù)先確定的參考距離，來對表示感興趣的對象的圖像數(shù)據(jù) 的一部分進行重新采樣。因此，對經(jīng)重新采樣的圖像數(shù)據(jù)的后續(xù)分析將會較 少地受到對象相對于圖像平面距離的影響，其原因在于通過重新釆樣圖像數(shù) 據(jù)的一部分，該方法允許了至少部分地考慮與距離相關(guān)的影響。
在一個實施例中，可基于對象距離和參考距離的比較來確定重新采樣因 子，其中根據(jù)該重新采樣因子來對圖像數(shù)據(jù)的部分重新采樣。例如，當對象 的距離超過大于或者等于參考距離的預(yù)先確定閾值時，對圖像數(shù)據(jù)的部分向 上采樣，和/或當對象的距離比小于或者等于參考距離的另外的預(yù)先確定閾值 小時，對圖像數(shù)據(jù)的部分向下采樣。可將該預(yù)先確定的閾值和另外的預(yù)先確 定的閾值都選擇為近似等于參考距離。例如，在一個示范性的實施例中，當 對象的距離小于參考距離時，可根據(jù)向下采樣因子向下采樣圖像數(shù)據(jù)的部 分，該向下采樣因子近似等于參考距離除以對象的距離，并且當對象的距離 大于參考距離時，可根據(jù)向上采樣因子向上采樣圖像數(shù)據(jù)的部分，該向上采 樣因子近似等于對象的距離除以參考距離。通過基于對象距離和參考距離的 比較來選定重新采樣因子，表示對象的圖像數(shù)據(jù)部分可在尺寸上變大或變 小，以便至少在某種程度上適應(yīng)由于對象距離變化所帶來的對象圖像的大小 改變。例如，可重新采樣圖像數(shù)據(jù)的部分以便使經(jīng)重新采樣的圖像數(shù)據(jù)的像 素對應(yīng)于對象的寬度，該對象寬度近似等于位于離圖像平面參考距離處的對
象的圖像數(shù)據(jù)中每一像素的寬度，由此重新調(diào)節(jié)對象圖像的比例，使對象圖 像的尺寸近似等于當對象在參考距離處成像時其將具有的尺寸。
該方法可進一步包括步驟獲得另外的(fbrther)圖像數(shù)據(jù)，其表示三 維圖像并且包括深度信息，其中三維圖像的視野與圖像的視野相重疊。通過 利用表示三維圖像的另外的圖像數(shù)據(jù)，可方便地識別表示對象的圖像數(shù)據(jù)部 分，并且還可根據(jù)該另外的圖像數(shù)據(jù)來確定對象相對于圖像平面的距離。以 這種方式，可通過同時使用圖像數(shù)據(jù)和另外的圖像數(shù)據(jù)，即，通過組合二維 (2D)圖像和三維(3D)圖像的信息來評測圖像。在本文中使用時，術(shù)語 "深度信息"指代關(guān)于對象距離的信息，該對象位于沿著由三維圖像的像素 所表示的多個觀察方向上。
該方法可包括基于深度信息識別另外的圖像數(shù)據(jù)的一部分，該另外的圖 像數(shù)據(jù)表示至少部分對象。例如，可將相應(yīng)于近似相等的或者至少近似的深 度值的另外的圖像數(shù)據(jù)的若干像素，分配給表示至少部分對象的另外的圖像 數(shù)據(jù)的部分。在一個實施例中，可以用這樣的方式在另外的圖像數(shù)據(jù)中識別 多個對象，以創(chuàng)建包括了不同對象的位置和深度信息的對象列表?？刹捎妙~ 外的邏輯函數(shù)來在另外的圖像數(shù)據(jù)中識別對象，例如，通過評測具有相差不 大的深度值的像素的形狀和/或?qū)ΨQ性來識別對象。例如，如果要在圖像數(shù)據(jù) 中識別車輛，那么可僅僅選擇具有正方形或者梯形形狀的另外的圖像數(shù)據(jù)中 的像素結(jié)構(gòu)來做進一步的處理。用這樣的方式，對圖像數(shù)據(jù)進行的評測可僅 限于圖像數(shù)據(jù)的相關(guān)部分，從而提高了處理速度。
那部分另外的圖像數(shù)據(jù)可用來選擇將被重新采樣的圖像數(shù)據(jù)部分。即， 可基于在另外的圖像數(shù)據(jù)中識別的對象來選擇要被重新采樣的那部分圖像 數(shù)據(jù)。這包括了識別與另外的圖像數(shù)據(jù)的像素相對應(yīng)的圖像數(shù)據(jù)的像素，即， 通過執(zhí)行從另外的圖像數(shù)據(jù)到圖像數(shù)據(jù)的像素映射進行識別，其中該另外的 圖像數(shù)據(jù)的像素包括在表示對象的一部分的另外的圖像數(shù)據(jù)的部分中。
可利用基于光脈沖傳播時間的技術(shù)來捕獲三維圖像，例如，利用PMD (Photonic Mixer Device:光混合器裝置)照相才幾。也可利用立體照相機來 捕獲三維圖像?？衫?D照相機，例如，CMOS或者CCD照相機來捕獲 圖像。
可進一步對經(jīng)重新采樣的圖像數(shù)據(jù)進行分析，例如，對對象進行分類。 在本文中被使用時，對象的"分類"這一術(shù)語用于指代一種處理，在這種處
理中，確定對象是否屬于若干給定的對象類型或分類中的一個對象類型或分 類，給定的對象類型或分類比如是小汽車、卡車、摩托車、交通標志和/或行人。該方法可包括步驟獲取表示多個對象類型的參考對象的參考數(shù)據(jù)，并 且基于該參考數(shù)據(jù)分析經(jīng)重新采樣的圖像數(shù)據(jù)以對對象進行分類。該參考數(shù) 據(jù)可具有不同的形式，并且可相應(yīng)地以多種方式來實現(xiàn)該分析。例如，可采 用所謂的學習算法來分析經(jīng)重新采樣的圖像數(shù)據(jù)，其中可在給定對象類型的 若干有效的或者好的對象上訓練該學習算法，以便隨后對這種對象類型的對 象進行識別。在這種情況下，參考數(shù)據(jù)可包括用于分析重新采樣的圖像數(shù)據(jù) 的參數(shù)，其通過訓練學習算法而獲得。參考數(shù)據(jù)也可包括關(guān)于特定對象類型 的特征形狀和/或色彩的信息，并且通過識別這種特征形狀和/或色彩來分析 經(jīng)重新采樣的圖像數(shù)據(jù)，以將對象與對象類型相匹配。參考數(shù)據(jù)也可包括對 于給定對象類型的一個或幾個對象的圖像數(shù)據(jù)，例如，表示幾種不同小汽車 或者幾種不同卡車的圖像數(shù)據(jù)，并且可將經(jīng)重新采樣的圖像數(shù)據(jù)和這種參考 數(shù)據(jù)相比較，以將該對象與對象類型相匹配。
不考慮分析步驟的具體實現(xiàn)方式，可在離圖像平面的距離近似等于參考 距離處的至少一個參考對象的圖像基礎(chǔ)上產(chǎn)生參考數(shù)據(jù)。然后將分析步驟適 當?shù)卣{(diào)整成適用于基于經(jīng)重新采樣的圖像數(shù)據(jù)對對象進行分類，該經(jīng)重新采 樣的圖像數(shù)據(jù)是通過與距離相關(guān)的重新采樣得到的。
該方法可用于對幾個由圖像數(shù)據(jù)所表示的對象進行分類。例如，可基于 表示三維圖像的另外的圖像數(shù)據(jù)，來產(chǎn)生包括了多個對象以及它們各自的距 離的對象列表，并且可分別對多個對象中的每一個執(zhí)行獲取距離信息、重新 采樣和分析這些步驟。
可將分析步驟的結(jié)果輸出到駕駛員輔助系統(tǒng)。例如，可向駕駛員輔助系 統(tǒng)輸出關(guān)于正在接近的對象的對象類型信息，比如行人、小汽車或者卡車， 該駕駛員輔助系統(tǒng)基于對象類型信息來驅(qū)動安全裝置和/或輸出警報信號。
根據(jù)本發(fā)明的另一個方面，提供了一種數(shù)據(jù)存儲介質(zhì)，其具有存儲在其 上的指令，當由電子計算裝置的處理器執(zhí)行該指令時，控制該計算裝置以執(zhí) 行根據(jù)本發(fā)明任何一個實施例的方法。該電子計算裝置可配置為具有用于接 收圖像數(shù)據(jù)和另外的圖像數(shù)據(jù)的輸入端的通用處理器。該電子計算裝置也可 包括處理器、CMOS或者CCD照相機以及PMD照相機，該處理器從CMOS 或者CCD照相機獲取圖像數(shù)據(jù)并且從PMD照相機獲取另外的圖像數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面，提供了用于評測圖像的設(shè)備，該設(shè)備包括處 理裝置，其具有輸入端以接收表示圖像的圖像數(shù)據(jù)，以及另外的輸入端以接 收對象關(guān)于圖像的圖像平面的距離的距離信息，至少部分對象由該圖像來表 示。該處理裝置配置為，同時基于距離信息和預(yù)先確定的參考距離來重新采 樣圖像數(shù)據(jù)的至少一部分，以產(chǎn)生經(jīng)重新采樣的圖像數(shù)據(jù)，要重新采樣的圖 像數(shù)據(jù)的部分表示了至少部分對象。在這個裝置中，通過同時基于對象相對 于圖像平面的距離以及預(yù)先確定的參考距離，來對表示所感興趣的對象的圖 像數(shù)據(jù)部分重新采樣，在分析經(jīng)重新采樣的圖像數(shù)據(jù)之前可至少部分地考慮 到與距離相關(guān)的影響，例如，對象的分類。
該設(shè)備可包括連接于另一個輸入端的3D照相機裝置，所述3D照相機 裝置配置為捕獲另外的圖像數(shù)據(jù)，其中另外的圖像數(shù)據(jù)表示三維圖像并且包 括深度信息，三維圖像的視野與圖像的視野相重疊。3D照相機裝置可包括 PMD (光混合器裝置)照相機或者立體照相機。該3D照相機裝置可進一步 包括對象識別裝置，其配置為基于另外的圖像數(shù)據(jù)來識別對象以及它們各自 的距離。該對象識別裝置可進一步配置為基于另外的圖像數(shù)據(jù)來確定距離信 息，并向處理裝置提供該距離信息。因為有這種配置的3D照相機，可基于 另外的圖像數(shù)據(jù)來識別對象的存在以及它們各自相對于圖像平面的距離。例 如，3D照相機裝置可向處理裝置提供對象列表，該對象列表包括與對象位 置和距離相關(guān)的信息。
3D照相機裝置可配置為向處理裝置提供與表示至少部分對象的另外的 圖像數(shù)據(jù)的部分相關(guān)的信息，該處理裝置繼而可配置為基于與該另外的圖像 數(shù)據(jù)的部分相關(guān)的信息來選擇圖像數(shù)據(jù)的部分。用這樣的方式，可基于從另 外的圖像數(shù)據(jù)所獲得的對象位置信息來選擇要重新采樣的圖像數(shù)據(jù)的部分。
該設(shè)備可進一步包括連接到處理裝置輸入端并且配置為捕獲圖像的2D 照相機。該2D照相^L可包括CCD照相4幾或者CMOS照相才幾。
處理裝置可配置為通過重新采樣因子來對圖像數(shù)據(jù)的部分進行重新采 樣，其中該重新采樣因子是基于對象距離和參考距離之間的比較來確定的。 基于對象距離和參考距離的比較，重新采樣可包括向上采樣或者向下采樣。 特別是，處理裝置可配置為對圖像數(shù)據(jù)的部分重新采樣，由此經(jīng)重新采樣圖 像數(shù)據(jù)的像素對應(yīng)于對象寬度，該對象寬度近似等于在位于離圖像平面參考 距離處的對象的圖像數(shù)據(jù)中的每一個像素的寬度。用這樣的方式，可重新調(diào)
整在圖像中對象表示的比例，以幫助圖像的進一步評測。
該設(shè)備也可包括存儲裝置，在其上存儲有關(guān)于表示多個對象類型的多個 參考對象的參考數(shù)據(jù)。然后處理裝置可連接到存儲裝置以獲取參考數(shù)據(jù)并且 可配置為基于該參考數(shù)據(jù)來分析經(jīng)重新采樣的圖像數(shù)據(jù)，以將對象分類到多 個對象類型中的一種中。可在離圖像平面的距離近似等于參考距離的至少一 個參考對象的圖像基礎(chǔ)上產(chǎn)生參考數(shù)據(jù)。由于同時基于對象距離和參考距離 對圖像數(shù)據(jù)的部分進行了重新采樣，通過利用參考數(shù)據(jù)來分析經(jīng)重新采樣的 圖像數(shù)據(jù)，可減少由所成像對象中與距離相關(guān)的變化所帶來的影響。
該設(shè)備可被包括在駕駛員輔助系統(tǒng)中。駕駛員輔助系統(tǒng)可進一步包括基 于由該設(shè)備執(zhí)行的圖像評測的結(jié)果來提供至少 一個光學、聲音或者觸覺輸出 信號的輸出設(shè)備。駕駛員輔助系統(tǒng)可，例如，基于圖像評測的結(jié)果來輸出警 報信號。此外或者可供選擇的，駕駛員輔助系統(tǒng)可包括乘坐者和/或行人保護 系統(tǒng)，其與該設(shè)備相連并且配置為基于該設(shè)備執(zhí)行的圖像評測的結(jié)果進行操 控。例如，該保護系統(tǒng)可包括乘坐者安全氣嚢和行人安全氣嚢，當基于圖像 評測結(jié)果預(yù)測到要發(fā)生車輛碰撞時激活該乘坐者安全氣嚢，而在預(yù)測到要與 行人發(fā)生;並撞時激活該行人安全氣嚢。
可以預(yù)料到，本發(fā)明的一個應(yīng)用領(lǐng)域?qū)谲囕d駕駛員輔助系統(tǒng)中。然
找到應(yīng)用，比如對在與安全相關(guān)的應(yīng)用中所捕獲的圖像進行評測，例如公共 場所的監(jiān)視。


通過參考附圖，根據(jù)以下對優(yōu)選的或者有效的實施例的詳細說明，將可
以更容易地理解本發(fā)明的額外特征和優(yōu)點，其中
圖1顯示了駕駛員輔助系統(tǒng)的示意性框圖，其包括根據(jù)本發(fā)明實施例的
用于評測圖像的裝置。
圖2是表示根據(jù)本發(fā)明實施例的方法的流程圖。
圖3是表示根據(jù)本發(fā)明另一個實施例的方法的流程圖。
圖4 (a)是二維圖像的示意性表示，并且圖4(b)示意性地說明了對
圖4 (a)圖像的部分的重新采樣。
圖5是顯示了道路分段的示意性俯視圖，將對其進行參考來說明根據(jù)本
發(fā)明實施例的方法。
圖6示意性地顯示了圖5的道路分段的二維圖像。
圖7示意性地顯示了圖5的道路分段的三維圖像。
圖8 (a)、圖8 (b)以及圖8(c)示意性地顯示了圖6的二維圖像的被 重新采樣的部分。
圖9是表示根據(jù)本發(fā)明另 一個實施例的方法的流程圖。
圖10顯示了駕駛員輔助系統(tǒng)的示意性框圖，其包括根據(jù)本發(fā)明另一個 實施例的用于評測圖像的裝置。
圖11是表示了根據(jù)本發(fā)明另一個實施例的方法的流程圖。
具體實施例方式
在下文中，將參考附圖來說明本發(fā)明示范性的實施例?？梢岳斫猓o出的以 下說明僅僅是為了更好地-說明本發(fā)明，而并不包括限制的意義。還可以理解，除非 MiW旨出，否則如下所述的不同實施例的特征可彼此結(jié)合。
圖l是表示駕駛員輔助系統(tǒng)l的示奮性框圖，其包4封艮據(jù)實施例的用于評測圖 像的設(shè)備2以及輔助裝置12。設(shè)備2包括處理裝置3，其具有用于接4練示了將要 被評測的圖像的圖像數(shù)據(jù)的輸入端4，以賴于接收關(guān)于對斜目對于圖像平面的距 離的距離信息的另外的輸入端5。處理裝置3還與^f諸裝置10相連，在^f諸裝置 10上##了用于對象分類的參考數(shù)據(jù)。
處理裝置3的輸入端4連接到2D照相機6，其捕獲圖像并將表示該圖像的圖 ^!丈據(jù)提供給處理裝置3。該2D照相機6可配置為，例如，CMOS或者CCD照相 機，并且可包括附加電路以在向處理裝置3輸出圖像數(shù)據(jù)之前對其進行處理。例如， 在將該圖mt據(jù)輸出到處理裝置3之tr^對其過濾或者適當i4^扁碼。
處理裝置3另外的輸入端5連接到3D照相機裝置7，其包括3D照相機8和與 該3D照相機8相連的對象識別裝置9。該3D照相機8捕g示三維圖像的另外的 圖像數(shù)據(jù)，該另外的圖像數(shù)據(jù)包括了多個M^方向上的深度信息，即關(guān)于沿著多個 觀察方向其中的一個的視線所定位的最接近障礙物的距離信息。對象識別裝置9從 3D照相機8接4t4示三維圖像的另外的圖^l史據(jù)，并iL^于深度信息確定在該3D 照相機8的^LI予之內(nèi)對象的側(cè)向位置以及它們各自的距離。對象識別裝置9可凈顏己 置為4;y亍分割算法，在該算法中將與3D照相才M目距的距離相差不大的相鄰像素指 定為屬于一個對象?？蓪㈩~外的邏輯功能結(jié)合到對象識別裝置9中。例如，若在圖 mt據(jù)中僅需識別車輛，則只有形狀類似于長方形或者梯形的另外的圖傳教據(jù)中的
像素區(qū)域才可育W皮識別，以便當評測圖像數(shù)據(jù)時不考慮具有的形狀不是車輛通常具 有的形狀的對象。該對象識別裝置9可識別在另外的圖傢數(shù)據(jù)中所感興趣的所有對
象的側(cè)向位置，即，對象所處區(qū)域的坐標，并且可確定抖對f4目對于3D照相機 8的距離。然后將該數(shù)據(jù)提供纟狄理裝置3，該數(shù)據(jù)在下面^i皮稱為"對象列表"。
對2D照相機6和3D照相機裝置7的3D照相機8進行布置和配置，以便2D 照相機6的視野與3D照相機8的禍野有所重疊。在一個實施例中，視野的范圍基 本上重合。為簡單起見，夯汰2D照相機6和3D照相機8設(shè)置為彼ittX夠接近， 使得對于^^對象與2D照相機6的圖像平面相距的距離，3D照相才;U甫獲的深度信 息^U是供了較好的近似值。將理解為，在其它的實施例中，2D照相機6和3D照相 機8也可設(shè)置為彼it促離，在這種情況下當3D照相機8相對于2D照相機6的位 置是已知的時候，對斜目對于2D照相機6的圖像平面的距離可從3D照相機8所 捕獲的^^[言息中導(dǎo)出。
處理裝置3接收來自3D照相機裝置7的對象列表，其包括了在由2D照相機6 所捕獲的圖像中表示的至少一個對象(通常為多個對象)的距離信息。如同在下面 將要參考圖2和3進行更詳細說明的那樣，處理裝置3基于由圖^lt據(jù)所表示的對
象的距離信息并iL^于預(yù)先確定的參考距離對至少"P分圖^H據(jù)重新采樣，以產(chǎn) 生經(jīng)重新采樣的圖傢數(shù)據(jù)，然后對其進行進一步的評測。
裝置2通itl、線11與輔助裝置12相連，以向輔助裝置12提供圖像評測的結(jié) 果。該輔助裝置12包括控制裝置13,和報警裝置14，以及與控制裝置13相連的 乘坐者和/或行人保護裝置15?；谕ㄞ壪ぞ€11/媒置2所接收的信號，控制裝置 13啟動報警裝置14和保護裝置15中的一個或者^卩。
圖2是表示可由設(shè)備2的處理裝置3#1#的方法20的流程圖。在21，獲i^4 示圖像的圖^lt據(jù)?？芍苯訌睦?D照相機6的照相才減者從^(諸介質(zhì)獲取圖像 數(shù)據(jù)。在22，獲取關(guān)于對象離圖像平面的距離的距離信息。該距離信息可能是單個 數(shù)字值，但是也可能是^^可其它適合的形式，例如對象列表的形式，該對象列表包 括關(guān)于一個或者多個對象的側(cè)向位置和距離的信息。在23，選擇要重新采樣的圖像 數(shù)據(jù)部分。可以以多種方式來選擇要重新采樣的圖像數(shù)悟的一部分。如果/錄示三 維圖像的另外的圖^lt據(jù)獲得了距離信息，則步驟23可包4射只別對應(yīng)于-"#分另 外的(三維)圖傢數(shù)據(jù)的一部分圖像數(shù)據(jù)，從而將該圖傳教據(jù)和另外的圖像數(shù)據(jù)相 匹配，該另外的圖^l史據(jù)表示至少部分的對象。在24，同時基于距離信息^f貞先確 定的參考距離對在23所選擇的部^i行重新采樣。在一個實施例中，同時基于距 離信息和參考距離選擇重新采樣因子。如同下面將要參考圖4進行更詳細說明的，
可選擇重新采樣因子以便，在重新采樣的圖像l史據(jù)中，使像素對應(yīng)于成像寸象的寬 度，該成^^"象的 近似等于^^象與圖像平面相距參考距離時所成像的對象的
^"HM象素的H。以這種方式，可至少部分地考慮到受到相對于圖像平面的距離
改變影響的對象尺寸變化。在25,可進一步分析重新釆樣的圖像數(shù)據(jù)。
為了筒單的關(guān)系，上面已經(jīng)參考實例說明了方法20,在該實例中僅僅由圖像lt 據(jù)表示一個感興趣的對象。當多個感興趣的對絲圖像中是可見的時候，可對每個 對象，或者對象的子集^f于步驟22-25，這些對象或?qū)ο笞蛹筛鶕?jù)感興趣的對象 類型來選擇，例如通過丟棄不具有^Jt為長方形或者梯形的輪廓的對象。將理解在 22所獲取的距離信息對于不同的對象可肯沐所變化，而財24處才W亍的重新采樣 可根據(jù)相對于圖像平面不同的距離相應(yīng)地有所變化。當圖像lt據(jù)表示若干對象時， 可對所有對M續(xù)^iW亍步驟22-25,或者先對每個對象才A/f亍步驟22， ^i^對每個 對象擬亍步驟23，及期也步驟。
在步驟25對重新采樣的圖像數(shù)據(jù)進行進一步分析，例如，包括將重新采樣的 圖^!t據(jù)與參考數(shù)據(jù)相比較以對對^ii行分類。重新采樣的圖^!史據(jù)的進一步分析 也可包括利用重新采樣的圖#1《據(jù)來，例如，建立成#^象的數(shù)據(jù)庫，以訓練圖像 識別算法，或者類似的東西。
在一個實施例中，在步驟25的分析包括對對fJi行分類，即，將對象分配到 多個對象類型或者分類中的一個中。參考圖l，裝置2包括^f諸裝置10，其用于存 儲要進行檢索以對對lJi行分類的參考數(shù)據(jù)。該參考數(shù)據(jù)包括關(guān)于多個不同對象類 型的信息，不同的對象類型是從包括了小汽車、卡車、摩托車、行人、交通標志或 者類似物的^l且中選出的。對于這些對象類型中的^^可一個，當對象位于離2D照 相機6圖像平面的距離近似等于預(yù)先確定的參考距離時，通過捕獲具有這個對象類 型(例如小汽車)的對象圖像來產(chǎn)生參考數(shù)據(jù)。以這種方式，該參考數(shù)據(jù)適合于識 別以下這種對象的圖像，這種對象的圖^^口參考對象的圖像具有近乎一樣的大小， 該參考對象位于距離圖像平面預(yù)先確定的參考距離處。
根據(jù)在步驟25中分析步驟的脅實現(xiàn)方式，^f諸^^諸裝置10中的參考數(shù)據(jù) 可具有不同的形式。例如，在25的分析步驟可基于學習算法，該算法通過訓練來 識別特定的對象類型。在這種情況下，參考數(shù)悟可以是一組^lt，其控制學習算法 的運算并且已經(jīng)被訓練來^^]位于與圖像平面相距參考距離處的參考對象的圖像。 在另一個實施例中，在25進行的分析可包括確定由重新采樣的圖像數(shù)據(jù)所表示的 對象是否具有特定的幾何特性、色彩、彩色圖案，或者大小，這些者RT由參考數(shù)據(jù) 來指定。在另一個實施例中，在25進行的分析可包括重新采樣圖傳Jt據(jù)與不同對
象類型的參考對象的多個圖像之間的比特-方式(bit-wise)的比較，其中參考對象 的圖像是在參考對象位于接近于與圖像平面相距參考距離處時獲取的。
可以以^f可適合的方式獲得在22獲取的距離信息，基于該距離信息在24對圖 像的"卩分重新采樣。在圖l的設(shè)備中，通過捕獲和評測包括了深度信息的三維圖 像^^得距離信息。因此，設(shè)備2基于2D照相機6和3D照相機裝置7的傳感器 融合(sensor fUsion)對由2D照相機6捕獲的圖像進4亍i平測。
圖3是表示可由設(shè)備2^^f亍的方法30的^f呈圖說明。在31，捕獲二維圖像， 該二維圖像由圖^lt據(jù)^4示。在32,捕獲三維圖像，其由另外的圖^ft據(jù)^4示。 在33，評測該另外的圖H^t據(jù)以識別另外的圖^l史據(jù)的多^^分，即，在三維圖像 中的區(qū)域，其分別表示圖#^人而產(chǎn)生對象列表，該對象列表分別包括關(guān)于對U巨離 的距離信息?？衫梅指钏惴ɑ谏疃刃畔懋a(chǎn)生對象列表，同時可有選擇地基于 對象的對稱性或者大小采用額外的邏輯函數(shù)?？蓙VA^維圖像的深度信息推斷出距離 信息。在31進行的二維圖像的捕獲以及在32進行的三維圖像的捕獲可同時扭軒或 者兩個動作之間有一定延i^t被續(xù)^^亍，該時間^il足夠短以便在二維圖像和三維
圖像中成像的對象的動作保持較d 、。
在34，基于另外的圖像數(shù)據(jù)^it擇一部分圖像數(shù)據(jù)。在33產(chǎn)生的對象列表包 括了表示對象的另外的圖像數(shù)據(jù)中的關(guān)于像素或者像素區(qū)域的信息。通過識別與在 由對象列表所指定的另外的圖像數(shù)據(jù)中的像素或者像素區(qū)域湘對應(yīng)的圖^!t據(jù)中 的像素^it擇圖像數(shù)據(jù)部分。如果二維圖像和三維圖像具有同樣的^l岸率和同樣的 視野，則在圖傳4t據(jù)中的像素和在另外的圖像數(shù)據(jù)中的像素之間存在一對一的對 應(yīng)。然而，如fc維圖像的^l岸率比二維圖像低，那么圖#|封居的若干像素對應(yīng)于 另外的圖傳^:據(jù)的"HM象素。
如同參考上面方法20的步驟24已經(jīng)說明的，在35，基于知于象列表中所包括 的距離信息禾^f貞先確定的參考距離，對在23已經(jīng)選擇的圖^l封y^分重新采樣， 以產(chǎn)生重新采樣的圖像數(shù)據(jù)。在36，對重新采樣的圖傳教據(jù)進行分析以對由重新采 樣的圖像數(shù)^^分表示的對象進行分類。
當在另外的圖#*據(jù)中識別了具有離圖像平面不同距離處的幾個對象的時候， 基于各自的距離信息以及預(yù)先確定的參考距離，對表示多個對象中的一個對象的圖 微據(jù)的^-"^絲行重新采樣。
如同接下來將要參考圖4進行說明的，通過重新采樣表示多個對象中的一個對 象的部分圖像數(shù)據(jù)，可至少部分地將受到距離變化影響的對象圖像的尺寸變化考慮 ^^"圖像的評測中。圖4 (a)用示意圖說明了顯示it^各41的二維圖像40。由42
示意地表示地平線。四個對象4346，例如，車輛，位于道路上與圖像平面相距四 個不同的距離處，并且對象圖像的大小相應(yīng)地變化。在參考對象上進行學習算法的 訓練，該參考對象與圖像平面的距離近似等于對象44與圖像平面的距離，其中參 考對象與圖像平面之間的距離定義為參考距離，該學習算法可知于象44的對象分 類中提^4交好的結(jié)果，但是由于距離導(dǎo)致的大小差異，可能會導(dǎo)致學習算法知t象 43、 45和46的分類中出現(xiàn)較差的結(jié)果。
如同在圖4 (b)中示奮W也說明，通過向下采樣(downsample)表示對象43 的圖像40的一部分，產(chǎn)生了重新采樣的圖像數(shù)據(jù)53，其在大小上與表示對象44的 圖像40的那部分相當，表示對象44的圖像40的~~#分在圖4 (b)中示意'l^i樣 示為54。類似的，通過向上采樣(upsample)表示對象45和46的圖像40的各部 分，產(chǎn)生重新采樣的圖像數(shù)據(jù)55和56,其在大小上與表示對象44的圖像40的那 部分相當。這樣，通it&于對斜目對于圖像平面的距離和參考距離^it當?shù)叵蛳虏?樣或者向上采樣圖像數(shù)據(jù)的一部分，可產(chǎn)生重新采樣的圖像數(shù)據(jù)，在該重新采樣的 圖^l史據(jù)中，"HM象素對應(yīng)于對象狄，該對象妓近合"也等于知t象位于離圖像 平面預(yù)先確定的參考距離處時由原始圖像所表示的一個對象。因此，倘若對象離圖 像平面的距離并沒有大到使得對象僅僅由原始圖^lt據(jù)的幾^H象素^^示，則即使 當對絲離圖像平面不同的距離處成像時，在重新采樣的圖^lt據(jù)中對象可具有按 像素計量的近如W目等的大小。從而，如在圖4(b)中示意性顯示的，可將對象虛擬 ;NM爭移到相同的對象平面上，其中所有對象53-56 ^扣W也位于離圖像平面參考距 離處。因為重新采樣的圖像數(shù)據(jù)不必與圖像數(shù)據(jù)的剩#^分相結(jié)合以形成新的圖 像，但是可單獨;4i^f亍評測，所以將理解圖4 (b)僅僅是示意性的。
接著將參考圖5-8，更詳細地說明對基于三維圖^^示對象的圖像數(shù)據(jù)的部分 進行的重新采樣。
圖5是it^各的示意性俯視圖60，該道，^P!r有由車道劃線標識64和65所劃定的 三條車道61-63。車輛66位于中央車道62上，在該車輛上設(shè)置了如同在圖1所顯 示的設(shè)備2—樣配置的設(shè)備67。設(shè)備67至少包括3D照相才/^口具有圖像平面71的 2D照相機。其它三個車輛68-70位于車輛66的后方，分別位于與車輛66相距不同 的三個距離處dA、 4和dc。將距離dA、 c!b和dc分別定義為在圖像平面71和對象 平面72-74之間的距離，對象平面72-74相應(yīng)于車輛68-70的最前端部分。圖像平 面71和關(guān)于車輛69的對象平面73之間的距離dB等于參考距離4f,即，車輛69 離圖像平面的距離等于參考距離。
圖6是J]設(shè)備67的2D照相才W斤捕獲的圖^li據(jù)80的示奮f錄示。該圖像
數(shù)據(jù)具有表示車輛68的圖像82的部分81，表示車輛69的圖像84的部分83，和 表示車輛70的圖像86的部分85。由于2D照相機有限的像素分辨率，僅僅示意性 i^示了圖像數(shù)據(jù)的像素。表示車輛68-70的圖像82、 84和86的尺寸隨著車輛離 圖像平面的距離的增加而變小。車輛圖像的尺寸P錄車輛離圖像平面的距離變化而 變化，其取決于設(shè)備67的2D照相機的特定光學特性。為了說明，假定車輛圖像 82、 84和86的尺寸近似地與分別離圖像平面71的距離dA、 4和dc^A比。在示 范性的圖傳Jt據(jù)中，可以在車輛69的圖像84中識別車輛69的特征要素，比如梯 級的夕卜在形狀91、前燈92、車號牌93和輪胎94，其中該車輛69位于與圖像平面 相距參考距離處。M示車輛68的圖像82中所有的這些特征也是可見的。然而， 由于它較小的尺寸和圖^l封居80有限的像素^l辟率，不是所有的這些特站卩肯^ 表示車輛70的圖像86中識別出來的。例如，梯級的夕卜在形狀和車號牌不能由圖像 86表示出來。由于有限的像素^l岸率，比如前燈95和輪胎96的其它特征也變形了 。
圖7是^J^設(shè)備67的3D照相機所捕獲的圖傳Jt據(jù)110的另外的圖傳Jt據(jù)的示 意4錄示。該圖像數(shù)據(jù)具有表示車輛68的圖像112的部分111,表示車輛69的圖 像114的部分113，和表示車輛70的圖像116的部分115。示意'l^i也顯示了由于3D 照相機有限的分辨率產(chǎn)生的圖像數(shù)據(jù)的像素。在所說明的例子中，3D照相機的像 素^l辟,氐于2D照相機的像素^l岸率，三維圖像的"HM象素相當于二維圖像的四 ^M象素的四倍。jtb^卜，在所說明的例子中，2D照相機的^^付口3D照相機的^I予相 同。另外的圖^lt據(jù)包括深度信息，即，與在多個，膝方向上的障石科勿的距離相關(guān) 的信息。在圖7中不同的深度由不同的圖案來示奮f生地顯示。例如，在車輛68的 圖像112中，表示車輛68的客 輪胎的部分121和122相對于3D照相機的距離， 大于表示車輛68引擎蓋的部分123的距離。盡管在車輛68的整個圖像111中的距 離值存在變化，但只要距離的變^RM立于車輛的特征長;tA^之內(nèi)，分割算法就仍能 夠?qū)⒘硗獾膱D像數(shù)據(jù)的部分lll指定到一個車輛。類似的，盡管表示客艙和引擎蓋 的部分124和125，分別與車輛69的圖像114中的圖像平面相距不同的距離，仍可 再一次將另外的圖像數(shù)據(jù)的部分113分西ei^—個車輛。與圖像112相比，如同由圖 像114的不同圖案示意性顯示的，另外的圖像數(shù)據(jù)的深度信息表示車輛69位于比 車輛68更遠的地方。類似的，部分116的像素值指示了由圖像116表示的車輛70 位于比車輛69更遠的地方。
基于另外的圖像數(shù)據(jù)IIO,分割算法識別了部分lll、 113和115,并且將它們 分酉Ei合對象列表中不同的對象。對每個對象，將距離值確定為，例如，分別在圖像 112、 114和116其中一個圖像的最小距離值，或者在*圖像中的距離值的加權(quán)平
均值。
將理解為，雖然為了清楚L沒有在圖7中顯示，但該另外的圖^l丈據(jù)將包括 指示除了車輛68-70 "卜的對象的深度信息，例如，指示車輛所位于的逸洛、在道 路或者類似物兩側(cè)的樹的深度信息?；诶畿囕v的特征形狀或者基于車輛通常包 括垂JJ^伸部分的事實，可以將這種背景信號與指示車輛的信號中區(qū)分開，其中車 輛的垂直延伸部分在幾個相鄰像素中產(chǎn)生相當?shù)木嚯x值。
接著基于在另外的圖像l史據(jù)110中的部分111、 113和115的側(cè)向位置，對圖6 的圖傢數(shù)據(jù)80中的相應(yīng)部分進行重新采樣。重新采樣包括，對另外的圖像數(shù)據(jù)的 部分lll、 113和115中的側(cè)向位置，識別在圖像數(shù)據(jù)80中的相應(yīng)的像素，從而 確定將要重新采樣的圖像數(shù)據(jù)80的部分。在所說明的例子中，圖傳Jt據(jù)的這些部 分，分別地，與部分81、 83和85相對應(yīng)。為圖像數(shù)據(jù)這些部分中的每一部分，確定否對該部分進行重新采樣。如果要對該部分行重新采樣，則基于各自對象的 距離^f貞先確定的參考距離來確定重新采樣因子。
在一個實施例中，當對象的所在之處離圖像平面的距離d大于預(yù)先確定的參考 距離cW時，對表示對象的圖^lt^^^i行向上采樣，向上采樣因子是
sfup=d/dref， ( 1)
而當對象所在之處離圖像平面的距離d小于預(yù)先確定的參考距離cW時，對該 圖像數(shù)據(jù)部分進行向下采樣，向下采樣因子是
sfdown=dref/d ( 2)
在一個實施例中，為了確定向上采樣因子或者向下采樣因子，可用有理數(shù)a
似公式(1)和(2)右側(cè)的分值，其中該有理數(shù)在分子和分母處分別不具有太大的 數(shù)值，或者可用整凄t^i^f以右側(cè)的^H直。
在其它的實施例中，可以以其他方式來分別確定向上采樣因子sfup和向下采樣 因子s^)wn。例如，可將2D照相機的傳JE睹慮狄以才對以圖像尺寸Fitt對^巨離的 變化，并且可通過將相對離圖像平面參考距離處的對象所獲得的以像素為#^立的圖 像尺寸除以相對實際對fj巨離所獲得的以像素為單位的圖像尺寸來確定重新采樣 因子。
返回圖5-7的例子，用因子fdown=dref/dA=2圖像數(shù)據(jù)80的部分81進行向 下采樣，同時用因子3;=^^尸2知于圖#^據(jù)80的部分85進行向上采樣。用整 數(shù)向上采樣因子n對圖像數(shù)據(jù)的部^i行向上采樣可通過，首先3物分中的K亍 復(fù)制n-l次以產(chǎn)生中間圖像，然后將中間圖像的[列復(fù)制n-l次來實現(xiàn)。相似的， 用整數(shù)向下采樣因子n進行向下采樣可通過，僅僅保留該部分的每第n行以產(chǎn)生中
間圖像，然后僅僅保留中間圖像的每第n列以產(chǎn)生重新采樣的圖像數(shù)據(jù)來實現(xiàn)。用
分凄ti^樣因子s^=p/q進行的向上采樣可通過，利用采樣因子p進行向上采樣并且，
^利用采樣因子q進行向下采樣來實現(xiàn)，其中p和q是整數(shù)?？梢韵鄳?yīng)的方式來 實現(xiàn)利用分凄t^樣因子所進行的向下采樣。
圖8示奮&也說明了通必于圖#^:據(jù)80的部分81和85進行重新采樣而獲得 的經(jīng)重新采樣的圖像數(shù)據(jù)。圖8 (a)顯示了通過利用8&,=2對圖像數(shù)據(jù)部分81 進行向下采樣所獲得的經(jīng)重新采樣的圖像數(shù)據(jù)131。由此產(chǎn)生的圖像132以與位于 參考距離處車輛69的圖像84近如a^目同的細節(jié)水平顯示了車輛68，并且圖像132的 尺寸與圖像84近合M目同。如上所述，通過從部分81中除M隔一個的像素^^每 隔一個的像素列來獲得經(jīng)重新采樣的圖像數(shù)據(jù)131。例如，在將列中的每隔一個的 像素移除后，經(jīng)重新采樣的圖^l史據(jù)131的歹'J 141對應(yīng)于部分81的歹'J 101。
圖8 (c)顯示了通過利用sfup=2對圖像數(shù)據(jù)的部分85進行向上采樣所獲得的 經(jīng)重新采樣的圖像數(shù)據(jù)135。在經(jīng)向上采樣的圖傢數(shù)據(jù)中，部分85的每^H象素已經(jīng) 3tt制到兩倍的兩個像素(two times tow pixels )上。例如，通過#^卩分85的列105 的每^f象素都復(fù)制到垂直相鄰的像素上來產(chǎn)生經(jīng)重新采樣的圖像數(shù)據(jù)135的列142， 并且列143A^'J 142的副本。相似的，經(jīng)重新采樣的圖^l史據(jù)的列144和145是從 部分85的列106獲得的。盡管車輛70由此產(chǎn)生的圖像136與原始圖像數(shù)據(jù)中的圖 像86相比不包括額外的細節(jié)，但車輛圖像136總的尺寸和具^HM正，比如前燈146 和輪胎147，變得可與位于相對于圖像平面參考距離處的車輛69的圖像84的總的 尺寸和具^f爭名4目比較。
圖8 (b)顯示了車輛69的圖像84。不需要對部分83進行重新采樣，因為車 輛69位于參考距離處。
如同從圖8 (a)和8 (c)所肯睹見的，通過對圖像數(shù)據(jù)的部分進行重新采樣， 可將車輛68和70的圖像132和136按比例縮放成，使得車輛^^扣"4#移到離圖 像平面參考距離處。通過重新采樣，對圖^^:據(jù)進一步的分析或^^平測變得^方 便，其中對圖^lt據(jù)進一步的分析或;^平測^i負于在車輛位于參考距離處時所捕獲 的參考數(shù)據(jù)。例如，當已鄉(xiāng)錄車輛圖像84上訓練了用于圖像識別的學習算法時， 對該學習算法來說，正確地識別圖像數(shù)椐中的圖像82和86則比較困難，盡管可更 容易i^M夸經(jīng)重新采樣的圖^lt據(jù)中的圖像132和136分類為車輛。
除上面描述的方法o卜也可以用其他方法^y亍對圖俜jt據(jù)部分的向上采樣和
向下采樣。例如，在向下采樣中，可采用&慮器(filter),其才對以車輛位于更加遠離 圖像平面處時所變換的^l岸率。從而，可以更加精確i^W空制在經(jīng)重新采樣的圖mt
據(jù)中仍可以識別的細節(jié)水平。也可通過^j^翻直函教^^添加更多像素時插入，例 如，像素色值，以執(zhí)行向上采樣。也可通過捕獲要進行向上采樣的部分所位于的視
野中的圖像來執(zhí)行向上采樣，即，通過^JI] 2D照相積伴獲新的，更高^l辟率的圖 像將謝卵丈大。
圖9是表示方法150的添f呈圖，該方法150可由圖1的設(shè)備2或者圖5的設(shè)備 67才似亍。在方法150中，在151-153扭肝對二維和三維圖像的捕獲并且基于該三維 圖像產(chǎn)生對象列表?？扇缟厦鎱⒖紙D3已經(jīng)說明的那樣實現(xiàn)這些步驟。
在154， /A^f象列表中選^J^象，并獲^W于f4目對于圖像平面的距離。在155， 表示二維圖像的圖像數(shù)^4[^^皮確定為包括對象的至少一部分。在155進行的確定 也可包括匹酉"維和三維圖像，例如，通過將三維圖像的像素映射到二維圖像的相 應(yīng)像素上。
在156,比較/A^象列表中獲取的距離d與參考距離cW。如果d小于或者等于 cW，則在157,利用向上采樣因子sfup對圖傢數(shù)^^^ii行向上采樣，其中向上采 樣因子sfup可例如通過參考上面公式(1)所說明的那樣來確定。如果d大于cW， 則在156，利用向下采樣因子s&。wn對圖像數(shù)^^^ii行向下采樣，其中向下采樣因 子S&wn可例如通過如以上參考公式(2)所說明的那樣來確定。
在159，接著基于該經(jīng)重新采樣的圖傢數(shù)據(jù)將對象分類?？扇缤瑓⒖紙D3中的 步驟36所說明的來^/fi^f象分類。
在160,/A^"象列表中選出新的對象并獲絲距離信息，然后重復(fù)步驟155-159。
可以規(guī)則的時間間隔重復(fù)方法150。例如，當設(shè)備2裝配于車輛之上時，可每 秒重復(fù)該方法150若干次地，以類似連續(xù)不斷的方式對車輛的周圍進行監(jiān)控。
將理解，在圖1中顯示的用于評測圖像的設(shè)備2的結(jié)構(gòu)僅僅是示范性的，并且 在其它實施例中可以其它不同的結(jié)構(gòu)來實現(xiàn)。
圖10是表示駕駛員輔助系統(tǒng)171的示奮f生框圖，其包括輔助裝置12和根據(jù)另 一個實施例用于評測圖像的設(shè)備172。可如同以上參考圖1所描述的來配置該輔助 裝置12,其通迚€、線181連接到設(shè)備172。
設(shè)備172包括處J錄置173，其具有用于接J)汰示將要進e^平測圖像的圖mt 據(jù)的輸入端174以朋于接收關(guān)于對^巨離的距離信息的另外的輸入端175，該對 象由與圖像平面相關(guān)的圖像^4示。處J1^置173進一步連接到^^者裝置180，在 該^fi者裝置上，了用于對象分類的參考數(shù)據(jù)。
設(shè)備172進一步包括三維照相裝置176,其包括例如立體照相機的3D照相機 177、對象識別裝置179以及圖像處理器178。對象識別裝置179連接到3D照相機
177，以識別在3D照相機177所4財聶的三維圖像中的對象，例如，在由立體照相機 所拍攝的兩個圖像中的對象，以;Sj 于f4目對于3D照相機177的圖像平面的位置， 并JL^輸入端175處將這種信,y是供給處理裝置173。圖像處理器178連接到3D 照相機177，以基于由3D照相機177所4甜聶的三維圖像來產(chǎn)生表示二維圖像的圖 ^!史據(jù)。例如，當3D照相機是立體照相機時，圖像處理器178可通過將由立體照 相機所捕獲的兩個圖像的數(shù)據(jù)合并來產(chǎn)生二維圖像，或者二維圖像可設(shè)置為與由立 體照相才W斤捕獲的兩個圖像中的一個相同。在輸入端174將表示二維圖像的圖^lt 據(jù)提供縫理裝置173。
處理裝置173在輸入端175接4W巨離信息并錄輸入端174接收圖mt據(jù)，然
后基于該距離信息^f貞先確定的參考距離^^圖^l史據(jù)的-"^^i行重新采樣。處 理裝置173可才M居以上參考圖2-9所說明的^[可一個方法來進#^喿作。
圖11是表示方法190的流程圖，該方法可由圖10的設(shè)備171 ^fr。在191， 捕獲由三維圖像數(shù)據(jù)表示的三維圖像。在192,基于三維圖傢數(shù)據(jù)產(chǎn)生包括了由圖 像所表示的對象的距離信息的對象列表。在193，基于三維圖像產(chǎn)生表示二維圖像 的圖#*據(jù)。在194，基于對象列表，即，基于對三維圖^l史據(jù)的分析^^擇圖像 數(shù)據(jù)的^^分。在195，基于距離信息^f貞先確定的參考距離來重新采樣圖^l史據(jù) 的至少"-^分從而產(chǎn)生經(jīng)重新采樣的圖^l史據(jù)。在196，通過例如^Vf^f象分類來 對經(jīng)重新采樣的圖傢數(shù)據(jù)進行評測。
應(yīng)理解，以J^于實施例的說明是說明性的而非限制的，并且在其它的實施例中 可實施不同的修改。例如，盡管設(shè)備2的對象識別裝置9以及設(shè)備172的對象識別 裝置179已經(jīng)被顯示為分別包括在三維照相裝置7和176中，但該對象識別裝置也 可分別與處理裝置3和173^—體化形成。即，對象列表由處理裝置產(chǎn)生。
也可理解，不同的物理實體，比如2D照相機、3D照相機、處理裝置、對象識 別裝置，和設(shè)備的^"j諸裝置可由任何適合的硬件、軟件或者其組合來實現(xiàn)。例如， 2D照相機可為CMOS照相機、CCD照相機，或者^^可其它的照相枳或者提供圖像 數(shù)據(jù)的光學部件的組合。相似的，3D照相機可配置為PMD照相機、立體照相機， 或者^f可其它的適于捕獲深度信息的裝置。處理裝置可為專用電路或者適于編程的 通用處理器。
此外，在圖1和10中所顯示的或者上面所說明的4^f可其它實施例中的設(shè)備裝 置的不同組件，可以一體化形成或者可以組合到""^以形^于預(yù)期應(yīng)用禾踏的設(shè) 備。例如，在一個示范性的實施例中，圖1的處理裝置3和^f諸裝置10可包括在 駕駛員輔助系統(tǒng)12中，或者圖10的處理裝置173和##裝置180可包括在駕駛員
輔助系統(tǒng)12中。但是jtb^卜，對象識J'J裝置9也可包括在駕駛員輔助裝置12中。處 理裝置3、 173可與駕駛員輔助裝置12的控制單元13或處理器一起一體化形成， 即，在駕駛員輔助裝置12中設(shè)置的一個處理器可同時控制#^和/或保護裝置14、 15的才剁乍，并且可根據(jù)^^可一個實施例^Vf亍用于評測圖像的方法。但是此外，駕駛 員輔助裝置的對象識別裝置、處理裝置和控制裝置可一體^i也形成。將理解，在其 它的實施例中可實M它的修改，在這些實施例中可以^f^f可其它適合的辦法設(shè)置和 互連不同的組件。盡管已經(jīng)參考了在駕駛員輔助系統(tǒng)中的應(yīng)用擬苗述了本發(fā)明的實施例，4S^發(fā) 明不局限于這種應(yīng)用并且可容易地JU ]于^f可對圖像進行評測的應(yīng)用上。例如，本 發(fā)明的實施例也可用于公共場所的監(jiān)視，或者用于生物學、醫(yī)學或其它科學應(yīng)用的 圖像分析。
權(quán)利要求
1、一種評測圖像的方法，包括以下步驟:獲取表示所述圖像的圖像數(shù)據(jù)(40；80)，獲取對象(43-46；68-70)相對于所述圖像的圖像平面(71)的距離(dA，dB，dC)的距離信息，所述對象(43-46；68-70)的至少一部分是由所述圖像數(shù)據(jù)(40；80)來表示的，以及基于所述距離信息和預(yù)先確定的參考距離(dref)對所述圖像數(shù)據(jù)(40；80)的至少一部分(43，45，46；81，85)進行重新采樣，以產(chǎn)生經(jīng)重新采樣的圖像數(shù)據(jù)(53，55，56；131，135)，要進行重新采樣的所述圖像數(shù)據(jù)(40；80)的所述部分(43，45，46；81，85)表示所述對象的至少一部分(43，45，46；68，70)。
2、 如權(quán)利要求1所述的方法，其中通過重新采樣因子來對所述圖像數(shù) 據(jù)(40; 80)的所述部分重新采樣，該重新采樣因子是基于所述對象(43, 45， 46; 68, 70)的所述距離(dA， dB, dc)與所述參考距離(dref )之間 的比較來確定的。
3、 如權(quán)利要求1或2所述的方法，其中當所述對象(45, 46; 70)的 所述距離(dc)超過預(yù)先確定的閾值時，對所述圖像數(shù)據(jù)(40; 80)的所述 部分向上采樣，該預(yù)先確定的閾值大于或者等于所述參考距離(dref)。
4、 如前面的權(quán)利要求中任一項所述的方法，其中當所述對象(43; 68) 的所述距離(dA)小于另外的預(yù)先確定的閾值時，對所述圖像數(shù)據(jù)(40; 80)的所述部分向下采樣，該另外的預(yù)先確定的閾^i小于或者等于所述參考距離(dref)。
5、 如前面的權(quán)利要求中任一項所述的方法，其中所述經(jīng)重新采樣的圖 像數(shù)據(jù)(53， 55, 56; 131， 135)的像素對應(yīng)于對象寬度，該對象寬度近似 等于對象(44; 69)的所述圖像數(shù)據(jù)(40; 80)中的每一個像素的寬度，該 對象(44; 69)位于與所述圖像平面(71)相距所述參考距離(dref)處。
6、 如前面的權(quán)利要求中任一項所述的方法，包括以下步驟 獲得另外的圖像數(shù)據(jù)(110),其表示三維圖像并且包括深度信息，所述三維圖像的視野與所述圖像的視野相重疊。
7、 如權(quán)利要求6所述的方法，包括以下步驟基于所述深度信息來識別所述另外的圖像數(shù)據(jù)(110)的一部分(111， 113， 115),該另外的圖像數(shù)據(jù)(110)的一部分(111， 113， 115)表示所述 對象的至少一部分(68-70)。
8、 如權(quán)利要求7所述的方法，包括以下步驟基于所述另外的圖像數(shù)據(jù)(110)的被識別的部分(111， 113， 115)來 選擇要被重新采樣的所述圖像數(shù)據(jù)(40; 80)的所述部分(43， 45, 46; 81， 85 )。
9、 如權(quán)利要求8所述的方法，其中選擇所述圖像數(shù)據(jù)(40; 80)的所 述部分(43， 45， 46; 81， 85)的所述步驟包括識別所述圖像數(shù)據(jù)(40; 80)的至少一個像素，該至少一個像素對應(yīng)于由所述另外的圖像數(shù)據(jù)(110) 的所述部分(lll， 113， 115)所包括的所述另外的圖像數(shù)據(jù)(110)的像素。
10、 如權(quán)利要求6至9中任一項所述的方法，包括以下步驟 基于所述另外的圖像數(shù)據(jù)(110)確定所述距離信息。
11、 如權(quán)利要求6至10中任一項所述方法，包括以下步驟利用PMD (光混合器裝置)照相機(8 )或者立體照相機(177 )來捕 獲所述三維圖像。
12、 如前面的權(quán)利要求中任一項所述的方法，包括以下步驟 利用2D照相機(6; 177， 178)捕獲所述圖像。
13、 如前面的權(quán)利要求中任一項所述的方法，包括以下步驟 在表示多個對象類型的多個參考對象上獲取參考數(shù)據(jù)，以及 基于所述參考數(shù)據(jù)分析所述經(jīng)重新采樣的圖像數(shù)據(jù)(53， 55， 56; 131， 135 )，以將所述對象分類到所述多個對象類型中的一個對象類型中。
14、 如權(quán)利要求13所述的方法，其中所述的多個對象類型是從包括小 汽車、卡車、摩托車、交通標志和行人的分組中選出的。
15、 如權(quán)利要求13或14所述的方法，其中在離所述圖像平面(71)的 距離近似等于所述參考距離(dref)處的所述參考對象中的至少一個參考對象 的圖像的基礎(chǔ)上，產(chǎn)生所述參考數(shù)據(jù)。
16、 如權(quán)利要求13至15中任一項所述的方法，其中對由所述圖像數(shù)據(jù) (40; 80)所表示的多個對象(43， 45, 46; 68, 70)中的每一個對象分別執(zhí)行獲取距離信息、重新采樣和分析的所述步驟。
17、 如權(quán)利要求13至16中任一項所述的方法，包括以下步驟將所述 分析步驟的結(jié)果提供給駕駛員輔助裝置(12)。
18、 一種數(shù)據(jù)存儲介質(zhì)，具有存儲在其上的指令，當由電子計算裝置(2; 172)的處理器(3; 173)執(zhí)行該指令時，指導(dǎo)該計算裝置(2; 172)執(zhí)行 前面權(quán)利要求中的任意一個權(quán)利要求所述的方法。
19、 一種用于評測圖像的設(shè)備，包括處理裝置(3; 173),其具有輸入端(4; 174)以及另外的輸入端(5; 175)，其中輸入端(4; 174)用于接收表示所述圖像的圖像數(shù)據(jù)(40; 80)， 另外的輸入端(5; 175)用于接收對象(43-46; 68-70)相對于所述圖像的 圖像平面(71)的距離(dA， dB， dc)的距離信息，所述對象(43-46; 68-70) 的至少 一部分是由所述圖像表示的，其中所述處理裝置(3; 173)配置為同時基于所述距離信息和預(yù)先確定 的參考距離(dref)對所述圖像數(shù)據(jù)(40; 80)的至少一部分(43， 45， 46; 81, 85)進行重新采樣，以產(chǎn)生經(jīng)重新采樣的圖像數(shù)據(jù)(53， 55， 56; 131, 135)，要進行重新采樣的所述圖像數(shù)據(jù)(40; 80)的所述部分表示所述對象 的至少一部分(43, 45， 46; 68， 70)。
20、 如權(quán)利要求19所述的設(shè)備，包括連接到所述另外的輸入端的3D照 相機裝置(7; 176)，所述3D照相機裝置(7; 176 )配置為捕獲另外的圖像 數(shù)據(jù)(110)，該另外的圖像數(shù)據(jù)(110)表示三維圖像并且包括深度信息， 所述三維圖像的視野與所述圖像的視野相重疊。
21、 如權(quán)利要求20的設(shè)備，其中所述3D照相機裝置(7; 176)包括 PMD (光混合器裝置)照相機(8 )或者立體照相機(177 )。
22、 如權(quán)利要求20或者21所述的設(shè)備，其中所述3D照相機裝置(7; 176)包括對象識別裝置(9; 179)，該對象識別裝置(9; 179)配置為基于 所述另外的圖像數(shù)據(jù)(110)來識別對象(43-46; 68-70)以及它們各自的距 離(dA， dB, dc)。
23、 如權(quán)利要求22所述的設(shè)備，其中所述對象識別裝置(9; 179)配 置為基于所述另外的圖像數(shù)據(jù)(110)確定所述距離信息，并且將所述距離 信息提供給所述處理裝置(3; 173)。
24、 如權(quán)利要求20至23中的任一項所述的設(shè)備，其中所述3D照相機 裝置(7; 176)配置為向所述處理裝置(3; 173)提供關(guān)于所述另外的圖像 數(shù)據(jù)(110)的一部分(111， 113, 115)的信息，該另外的圖像數(shù)據(jù)(110) 的一部分(lll, 113， 115)表示所述對象的至少一部分。
25、 如權(quán)利要求24所述的設(shè)備，其中所述處理裝置(3; 173)配置為 基于所述另外的圖像數(shù)據(jù)(110)的所述部分(111， 113, 115)的所述信息 來選擇所述圖像數(shù)據(jù)(40; 80)的所述部分(43， 45， 46; 81， 85)。
26、 如權(quán)利要求19至25中任一項所述的設(shè)備，包括連接到所述處理裝 置(3; 173)的所述輸入端的2D照相機(6; 177， 178)，并且該2D照相 機(6; 177， 178)配置為捕獲所述圖像。
27、 如權(quán)利要求26所述的設(shè)備，其中所述2D照相機(6 )包括CCD照 相機或者CMOS照相機。
28、 如權(quán)利要求19至27中任一項所述的設(shè)備，其中所述處理裝置(3; 173 )配置為通過重新采樣因子來對所述圖像數(shù)據(jù)(40; 80 )的所述部分(43， 45, 46; 81， 85)重新采樣，該重新采樣因子是基于所述對象的所述距離(dA， dB， dc)與所述參考距離(dref)之間的比較來確定的。
29、 如權(quán)利要求19至28中任一項所述的設(shè)備，其中所述處理裝置(3; 173)配置為在所述對象(45, 46; 70)的所述距離(dc)超過預(yù)先確定的 閾值時對所述圖像數(shù)據(jù)(40; 80)的所述部分(45, 46; 85)向上采樣，該 預(yù)先確定的閾值大于或者等于所述參考距離(dref)，并且所述處理裝置(3; 173)在所述對象(43; 68)的所述距離(dA)小于另外的預(yù)先確定的閾值 時對所述圖像數(shù)據(jù)(40; 80)的所述部分(46; 81 )向下采樣，該另外的預(yù) 先確定的閾值小于或者等于所述參考距離(dref)。
30、 如權(quán)利要求19至29中任一項所述的設(shè)備，其中所述處理裝置(3; 173)配置為對所述圖像數(shù)據(jù)(40; 80)的所述部分(43， 45， 46; 81, 85) 重新采樣，使得所述經(jīng)重新釆樣的圖像數(shù)據(jù)(53, 55， 56; 131, 135)的像 素對應(yīng)于對象寬度，該對象寬度近似等于對象(44; 69)的圖像數(shù)據(jù)(40; 80)中的每一個像素的寬度，所述對象(44; 69)位于與所述圖像平面(71)相距所述參考距離(dref)處。
31、 如權(quán)利要求19至30中任一項所述的設(shè)備，包括 其上存儲有參考數(shù)據(jù)的存儲裝置(10; 180),該參考數(shù)據(jù)是關(guān)于表示多個對象類型的多個參考對象的參考數(shù)據(jù)，所述處理裝置(3; 173)連接到所 述存儲裝置(10; 180)以獲取所述參考數(shù)據(jù)，并且配置為基于所述參考數(shù) 據(jù)分析所述經(jīng)重新采樣的圖像數(shù)據(jù)(53, 55, 56; 131， 135)，以將所述對 象(43-46; 68-70)分類到所述多個對象類型中的一個對象類型中。
32、 如權(quán)利要求31所述的設(shè)備，其中所述的多個對象類型是從包括小 汽車、卡車、摩托車、交通標志和行人的分組中選出的。
33、 如權(quán)利要求31或者32所述的設(shè)備，其中在離所述圖像平面(71) 的距離近甸等于所述參考距離(dref)處的所述參考對象中的至少一個參考對 象的圖像的基礎(chǔ)上，產(chǎn)生所述參考數(shù)據(jù)。
34、 一種駕駛員輔助系統(tǒng)，包括權(quán)利要求19至33中任一項所述的設(shè)備 (2; 172)。
35、 如權(quán)利要求34所述的駕駛員輔助系統(tǒng)，包括輸出單元(14)，該輸 出單元(14 )基于由所述設(shè)備(2; 172 )執(zhí)行的圖像評測的結(jié)果來提供光學、 聲音或者觸覺輸出信號中的至少一個。
36、 如權(quán)利要求34或者35所述的駕駛員輔助系統(tǒng)，包括被連接到所述 設(shè)備(2; 172)的乘坐者和/或行人保護系統(tǒng)(15)，該乘坐者和/或行人保護 系統(tǒng)(15)被配置為基于所述設(shè)備(2; 172)執(zhí)行的圖像評測的結(jié)果來進行 操控。
37、 一種評測圖像的方法，包括 捕獲圖像，捕獲包括深度信息的三維圖像，所述三維圖像的視野與所述圖像的視野 相重疊，以及基于所述三維圖像對所述圖像的至少一部分重新采樣。
38、 如權(quán)利要求37所述的方法，其中利用PMD (光混合器裝置)照 相機捕獲所述三維圖像。
39、 一種用于評測圖像的設(shè)備，包括 照相機裝置，其配置為捕獲圖像，3D照相機裝置，其配置為捕獲包括有深度信息的三維圖像，所述三維 圖像的視野與所述圖像的視野相重疊，以及處理裝置，其連接到所述照相機裝置以從所述照相機裝置接收表示所述圖像的圖像數(shù)據(jù)，并且連接到所述3D照相機裝置以從所述3D照相機裝置 接收表示所述三維圖像的另外的圖像數(shù)據(jù)，該處理裝置配置為基于所述另外 的圖像數(shù)據(jù)來重新采樣所述圖像數(shù)據(jù)的至少 一部分。
40、如權(quán)利要求39的設(shè)備，其中所述3D照相機裝置包括PMD (光混 合器裝置)照相機。
全文摘要
本發(fā)明涉及用于評測圖像的方法和設(shè)備。該設(shè)備包括處理裝置(3)，其具有用于接收表示圖像的圖像數(shù)據(jù)的輸入端(4)，以及用于接收對象相對于圖像的圖像平面的距離的距離信息的另外的輸入端(5)。可基于包括深度信息的三維圖像來確定該距離信息，其中該三維圖像是利用3D照相機裝置(7)來捕獲的。該處理裝置(3)配置為同時基于距離信息和預(yù)先確定的參考距離來對圖像數(shù)據(jù)的至少一部分重新采樣，以產(chǎn)生經(jīng)重新采樣的圖像數(shù)據(jù)，要進行重新采樣的圖像數(shù)據(jù)的部分表示對象的至少一部分。
文檔編號G06K9/20GK101388072SQ20081017691
公開日2009年3月18日 申請日期2008年8月4日 優(yōu)先權(quán)日2007年8月3日
發(fā)明者斯蒂芬·伯格曼, 馬丁·斯蒂芬 申請人:哈曼貝克自動系統(tǒng)股份有限公司