在成對的立體圖像中檢測物體的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺，更具體地講，涉及在立體圖像中檢測物體。
【背景技術(shù)】
[0002] 許多計(jì)算機(jī)視覺應(yīng)用使用通過立體相機(jī)獲取的立體圖像來檢測物體。立體相機(jī)通 常具有多個(gè)鏡頭和傳感器。通常，鏡頭之間的軸內(nèi)距離約與眼睛之間的距離相同以提供交 疊視野。
[0003] 圖1示出用于基于立體的物體檢測的傳統(tǒng)系統(tǒng)。立體相機(jī)101獲取立體圖像102。 檢測方法可包括以下步驟：立體成像100、成本體積（cost volume)確定110、深度/視差圖 估計(jì)120和物體檢測130。
[0004] 基于立體的物體檢測的大多數(shù)傳統(tǒng)方法依賴于交疊區(qū)域120中的每像素深度信 息。此步驟通常被稱作深度/范圍圖估計(jì)。此步驟可通過確定視差值（即，兩個(gè)圖像中的 對應(yīng)像素的平移）、確定深度圖來實(shí)現(xiàn)。然后深度圖可用于物體檢測130,例如，深度圖的梯 度方向直方圖（HoG)用于物體描述。一種方法估計(jì)子圖像區(qū)域中的主要視差，并且使用相 對視差值的共現(xiàn)直方圖來進(jìn)行物體檢測。
[0005] 深度/范圍/視差圖估計(jì)是具有挑戰(zhàn)的問題。局部方法存在深度確定不準(zhǔn)確的問 題，而全局方法需要可觀的計(jì)算資源并且不適合于實(shí)時(shí)應(yīng)用。
[0006] 多種方法通過使用關(guān)注區(qū)域生成的立體提示（stereo cue)來避免深度圖確定步 驟。例如，一種方法確定標(biāo)記潛在物體位置的stixel圖。各個(gè)stixel由相對于相機(jī)的3D 位置來定義，并且垂直地豎立在地平面上。然后將基于彩色圖像內(nèi)容的檢測器應(yīng)用于所述 位置以檢測物體。
[0007] 美國公布20130177237使用范圍圖來確定關(guān)注區(qū)域，并且使用基于強(qiáng)度直方圖的 分類器來檢測物體。
[0008] 關(guān)注區(qū)域方法無法直接應(yīng)用于物體檢測。關(guān)注區(qū)域方法必須與其它物體檢測器結(jié) 合應(yīng)用。另外，當(dāng)關(guān)注區(qū)域沒有覆蓋物體時(shí)，無疑會缺失檢測。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的實(shí)施方式提供一種在立體圖像中檢測物體的方法。從圖像計(jì)算成本體 積。然后，直接對從成本體積獲得的特征應(yīng)用物體檢測。所述檢測使用從訓(xùn)練特征學(xué)習(xí)的 T個(gè)決策樹分類器（Adaboost)。
[0010] 本發(fā)明避免了現(xiàn)有技術(shù)的易于發(fā)生錯(cuò)誤并且計(jì)算上復(fù)雜的深度圖估計(jì)步驟，得到 準(zhǔn)確且高效的物體檢測器。所述方法更加適合于嵌入式系統(tǒng)，因?yàn)樗恍枰獮楂@得良好的 深度圖所需的復(fù)雜的優(yōu)化模塊。另外，所述方法搜索輸入圖像中的所有子圖像以檢測物體。 這避免了存在于關(guān)注區(qū)域生成技術(shù)中的缺失檢測問題。
[0011] 所述檢測準(zhǔn)確，因?yàn)樗龇椒山柚罅康挠?xùn)練數(shù)據(jù)并且利用機(jī)器學(xué)習(xí)過程。其 在檢測準(zhǔn)確度方面勝過關(guān)注區(qū)域生成技術(shù)。
【附圖說明】
[0012] 圖1是傳統(tǒng)的基于立體的物體檢測系統(tǒng)的框圖；
[0013] 圖2是根據(jù)本發(fā)明的實(shí)施方式的基于立體的物體檢測系統(tǒng)的框圖；
[0014] 圖3是圖2的基于立體的物體檢測系統(tǒng)的物體檢測模塊的框圖；
[0015] 圖4是根據(jù)本發(fā)明的實(shí)施方式的學(xué)習(xí)基于立體的物體檢測器的方法的框圖。
[0016] 圖5是根據(jù)本發(fā)明的實(shí)施方式的成本體積確定的示意圖；
[0017] 圖6是根據(jù)本發(fā)明的實(shí)施方式的學(xué)習(xí)的特征的示意圖；以及
[0018] 圖7是占據(jù)子圖像的大部分和小部分的物體的示意圖。
【具體實(shí)施方式】
[0019] 圖2示出根據(jù)本發(fā)明的實(shí)施方式的在一對立體圖像200中檢測物體201的方法和 系統(tǒng)。從這一對立體圖像生成（210)成本體積211。然后選擇并提取（215)特征向量216。 然后，將物體檢測器220應(yīng)用于特征向量體積以檢測物體。物體檢測器使用從訓(xùn)練圖像特 征231學(xué)習(xí)的分類器230。在檢測到物體之后，可對物體進(jìn)行定位，即，可確定物體在圖像中 的位置。如本領(lǐng)域中已知的，所述方法可在連接到存儲器和輸入/輸出接口的處理器250 中執(zhí)行。
[0020] 本發(fā)明基于這樣的認(rèn)識：深度圖中可用的深度信息在成本體積中也可用，因?yàn)樯?度圖是從成本體積獲得的。
[0021] 本發(fā)明的直接使用成本體積的檢測器220理論上能夠基于深度圖使任何檢測器 的性能匹配。此外，成本體積是比傳統(tǒng)深度圖更豐富的表示。深度圖僅提供各個(gè)像素的深 度，而成本體積提供立體圖像中的各個(gè)像素可具有的潛在深度范圍（包括真實(shí)深度）的匹 配成本。因此，檢測器使用從成本體積直接獲得的特征可訪問更多的深度信息，并且實(shí)現(xiàn)更 好的性能。
[0022] 如圖3所示，本發(fā)明的一個(gè)實(shí)施方式包括成本體積生成210、特征提取310、物體檢 測和定位320、學(xué)習(xí)的區(qū)別特征330以及學(xué)習(xí)的物體分類模型340。定位確定在哪里檢測物 體。
[0023] 圖4示出用于學(xué)習(xí)區(qū)別特征的機(jī)器學(xué)習(xí)過程以及學(xué)習(xí)的物體分類模型。從包括成 對的訓(xùn)練立體圖像的訓(xùn)練數(shù)據(jù)400選擇并學(xué)習(xí)（410)特征。
[0024] 成本體積生成
[0025] 圖5示出成本體積C 211的生成。成本體積C: XX YX D是存儲在存儲器中的三維 數(shù)據(jù)結(jié)構(gòu)，其中X和Y表示圖像X和y軸，D表示一組視差值（是兩個(gè)立體圖像L 501和Ir 502中的對應(yīng)像素之間的平移）。假設(shè)IJP IR被調(diào)整，這意味著圖像被變換為使得鏡頭畸 變效果被補(bǔ)償，并且一個(gè)圖像的一行中的像素被映射至另一圖像的同一行中的像素。然后 可通過使成對的立體圖像^和I的像素外觀匹配來確定成本體積。
[0026] 確定成本體積的一個(gè)方式是對于任何（X，y, d) e XXYXD，應(yīng)用由C(x, y, d)= I Il (X, y) -Ir (x-d, y) I 12+ λ I I grad (IL (X, y)) -grad (IR (x-d, y)) I 12給出的映射。
[0027] 其中I I I |2表示歐幾里德范數(shù)，IJx，y)是指込圖像的（x，y)位置的像素顏色值， IR(x，y)是指Ir圖像的（x，y)位置的像素顏色值，grad(IL(x， y))是指Il圖像的（x，y)位 置的梯度，grad(IR(x-d，y))是指Ir圖像的（x，y)位置的梯度，λ是控制梯度信息的重要 性的權(quán)重。需要注意，可應(yīng)用諸如雙邊濾波或引導(dǎo)濾波的圖像平滑技術(shù)，以增強(qiáng)成本體積。
[0028] 特征提取
[0029] 圖6示出圖2的特征選擇和提取215。從各個(gè)子圖像600提取K維特征向量以用 于確定子圖像中是否存在物體。子圖像可被視為例如按照多個(gè)比例針對各個(gè)像素以