稀疏視差圖像處理方法和裝置以及物體檢測(cè)方法和裝置制造方法
【專(zhuān)利摘要】提供了適于物體檢測(cè)的稀疏視差圖像處理方法和裝置和基于此的物體檢測(cè)方法和裝置。該稀疏視差圖像處理方法包括：獲得要從中檢測(cè)預(yù)定物體的視差圖像；確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制；確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；以及確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充。本發(fā)明能夠獲得適于物體檢測(cè)的視差點(diǎn)被填充的圖像，有利于物體檢測(cè)。
【專(zhuān)利說(shuō)明】稀疏視差圖像處理方法和裝置以及物體檢測(cè)方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體地涉及視差圖像處理，更具體地涉及稀疏視差圖像處理方法和裝置和 基于其的物體檢測(cè)方法和裝置。

【背景技術(shù)】
[0002] 已經(jīng)開(kāi)發(fā)了許多基于視差圖像檢測(cè)物體的方法，例如基于視差圖像檢測(cè)道路上的 車(chē)輛、柵欄等。
[0003] 但是，有時(shí)，由于相機(jī)的性能限制或者場(chǎng)景本身的特性等因素，可能會(huì)得到視差點(diǎn) 比較稀疏的視差圖，后文稱(chēng)之為稀疏視差圖。由于稀疏視差圖效應(yīng)，可能使得難于檢測(cè)到物 體如車(chē)輛等。而且，實(shí)踐中，常常需要將原始視差圖進(jìn)行水平方向或垂直方向上的投影來(lái)得 到U視差圖或V視差圖，然后在U視差圖或V視差圖上進(jìn)行物體檢測(cè)，這時(shí)常常由于U或V 投影導(dǎo)致的遮擋或者因?yàn)橐暡铧c(diǎn)稀疏使得U或V視差圖上物體特征很弱，從而使得難以檢 測(cè)物體。例如，在作者為 Zhencheng Hu, Francisco Lamosa and Keiichi Uchimura，題為 "A Complete U-V-Disparity Study for Stereovision Based3D Driving Environment Analysis"發(fā)表于2005年第5屆3D數(shù)字成像和建模世界大會(huì)（Proceedings of the Fifth International Conference on3_D Digital Imaging and Modeling2005)上的文章介紹了 根據(jù)UV視差圖平面特性進(jìn)行物體定位和分割檢測(cè)的方法。
[0004] 在發(fā)明人為 HRL LABORATORIES, LLC 的 Owechko, Yuri 等的題為 "Method and apparatus for three-dimensional shape estimation using constrained disparity propagation"的美國(guó)專(zhuān)利US7561732中公開(kāi)了一種基于受限制的視差圖膨脹方法的估計(jì) 物體三維形狀的方法和裝置，其中從物體特征開(kāi)始估計(jì)視差值，進(jìn)而前進(jìn)到從非物體特征 估計(jì)視差值，接下來(lái)根據(jù)視差值限制進(jìn)行反復(fù)的估計(jì)物體視差值的估計(jì)，直到趨于穩(wěn)定，最 后估計(jì)出物體三維形狀和對(duì)應(yīng)的視差圖。


【發(fā)明內(nèi)容】

[0005] 希望提供更適于物體檢測(cè)的稀疏視差圖像處理方法和裝置和基于此的物體檢測(cè) 方法和裝置。
[0006] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于待檢測(cè)的預(yù)定物體的特性處理稀疏視差 圖像的方法，可以包括：獲得要從中檢測(cè)預(yù)定物體的視差圖像；基于在視差圖像的水平方 向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平 方向上的距離限制和視差差異限制；對(duì)于視差圖中水平方向上的各行，基于水平方向上的 距離限制和視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于 水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn) 之間的空白視差點(diǎn)的填充；基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為 填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制； 以及對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定 垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充。
[0007] 根據(jù)本發(fā)明的另一方面，提供了一種基于稀疏視差圖像的物體檢測(cè)方法，可以包 括：獲得要從中檢測(cè)預(yù)定物體的視差圖像；基于在視差圖像的水平方向上要檢測(cè)的物體的 特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和 視差差異限制；對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制和視差差異 限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填 充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的 填充；基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和 終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；對(duì)于視差圖中垂直 方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定垂直方向上的作為填充 基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn) 行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；分割經(jīng)填充處理后的視差圖 像；以及根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū)域進(jìn)行物體檢測(cè)。
[0008] 根據(jù)本發(fā)明的另一方面，提供了一種基于待檢測(cè)的預(yù)定物體的特性處理稀疏視差 圖像的裝置，可以包括：視差圖像獲得部件，獲得要從中檢測(cè)預(yù)定物體的視差圖像；水平方 向限制確定部件，基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ) 的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制；水平方向 填充部件，對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制和視差差異限制， 確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填充基礎(chǔ) 的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充； 垂直方向限制確定部件，基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填 充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；以 及垂直方向填充部件，對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制和視 差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的 作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視 差點(diǎn)的填充。
[0009] 根據(jù)本發(fā)明的再一方面，提供了一種基于稀疏視差圖像的物體檢測(cè)裝置，可以包 括：視差圖像獲得部件，獲得要從中檢測(cè)預(yù)定物體的視差圖像；水平方向限制確定部件，基 于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的 對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制；水平方向填充部件，對(duì)于視差 圖中水平方向上的各行，基于水平方向上的距離限制和視差差異限制，確定水平方向上的 作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn) 的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；垂直方向限制確定 部件，基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和 終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；垂直方向填充部件， 對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定垂直 方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起始點(diǎn) 和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；分割部件， 分割經(jīng)填充處理后的視差圖像；以及物體檢測(cè)部件，根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū) 域進(jìn)行物體檢測(cè)。
[0010] 根據(jù)本發(fā)明上述實(shí)施例的稀疏視差圖像處理方法、裝置以及包括這樣的稀疏視差 圖像處理的物體檢測(cè)方法和裝置，通過(guò)基于要檢測(cè)的物體在水平方向上的特性和垂直方向 上的特性來(lái)確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上以及垂 直方向上的距離限制和視差差異限制，并基于所確定的水平方向上的限制來(lái)對(duì)視差圖像進(jìn) 行水平方向上的視差點(diǎn)填充，以及基于所確定的垂直方向上的限制來(lái)對(duì)視差圖像進(jìn)行垂直 方向上的視差點(diǎn)填充，使得能夠獲得適于物體檢測(cè)的視差點(diǎn)被填充的圖像，從而適合于在 此填充了視差點(diǎn)的圖像上直接進(jìn)行物體檢測(cè)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011] 在附圖中圖示各種示例實(shí)施例，意圖這些例子不是限制性的。應(yīng)理解，為了圖示的 簡(jiǎn)化和清楚，以下引用的圖中所示的元件不一定被畫(huà)成成比例的。而且，在認(rèn)為適當(dāng)時(shí)，可 以在附圖之間重復(fù)使用附圖標(biāo)記來(lái)指示相同的、對(duì)應(yīng)的或類(lèi)似的元件。在附圖中：
[0012] 圖1示出了根據(jù)本發(fā)明實(shí)施例的示例性稀疏視差圖像處理方法的總體流程。
[0013] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的水平方向上的視差點(diǎn)填充處理方法的流程 圖。
[0014] 圖3的（a)表示一個(gè)示例性的原始視差圖，（b)表示經(jīng)過(guò)示例性的水平方向的視差 填充處理或者說(shuō)x-connect處理后的視差圖。
[0015] 圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的垂直方向上的視差點(diǎn)填充處理方法1500的 流程圖。
[0016] 圖5的（a)表示一個(gè)示例性的原始視差圖，（b)表示經(jīng)過(guò)示例性的垂直方向的視差 填充處理或者說(shuō)y-connect處理后的視差圖。
[0017] 圖6中的（a)是圖4的（b)的x-connect連接后的結(jié)果，圖6中的（b)是對(duì)圖6 中的（a)進(jìn)行示例性y-connect處理后的結(jié)果。
[0018] 圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于稀疏視差圖像的物體檢測(cè)方法2000的 流程圖。
[0019] 圖8中的（a)示意性地示出了原始灰度圖像連同其上檢測(cè)到的視差點(diǎn)，視差點(diǎn)為 其中的淺色毛刺型點(diǎn)；圖8中的（b)示意性地示出了對(duì)原始視差圖進(jìn)行水平方向上的空白 視差點(diǎn)填充后得到的視差圖；圖8中的（c)示意性地示出了對(duì)于圖8(b)中的視差圖進(jìn)行垂 直方向上的空白視差點(diǎn)填充后得到的視差圖；圖8中的（d)示意性地示出了對(duì)于圖8(c)中 的視差圖進(jìn)行水平方向上的空白視差點(diǎn)填充后得到的視差圖；圖8中的（e)示意性地示出 了對(duì)于圖8(d)中的視差圖進(jìn)行垂直方向上的空白視差點(diǎn)填充并且經(jīng)區(qū)域分割后得到的示 意性結(jié)果；圖8中的（f)示意性地示出了在圖像分割后的物體檢測(cè)結(jié)果。
[0020] 圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的稀疏視差圖像處理裝置3000的示例性配置 框圖。
[0021] 圖10示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于稀疏視差圖像的物體檢測(cè)裝置4000的 示例性配置框圖。
[0022] 圖11是示出按照本發(fā)明實(shí)施例的稀疏視差圖像處理/物體檢測(cè)系統(tǒng)6000的硬件 配置的概念圖。

【具體實(shí)施方式】
[0023] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā) 明作進(jìn)一步詳細(xì)說(shuō)明。另外，為了避免混淆本發(fā)明的要點(diǎn)，對(duì)于一些本領(lǐng)域公知的技術(shù)將不 做詳細(xì)說(shuō)明。
[0024] 將按如下順序進(jìn)行描述：
[0025] 1、稀疏視差圖像處理方法示例
[0026] 1. 1、稀疏視差圖像處理方法的總體流程示例
[0027] 1. 2、水平方向上的視差點(diǎn)填充處理方法示例
[0028] 1. 3、垂直方向上的視差點(diǎn)填充處理方法示例
[0029] 2、基于稀疏視差圖像的物體檢測(cè)方法
[0030] 3、稀疏視差圖像處理裝置
[0031] 4、基于稀疏視差圖像的物體檢測(cè)裝置
[0032] 5、系統(tǒng)硬件配置
[0033] 6、總結(jié)
[0034] 1、稀疏視差圖像處理方法不例
[0035] 1. 1、稀疏視差圖像處理方法的總體流程示例
[0036] 下面參考圖1描述根據(jù)本發(fā)明實(shí)施例的稀疏視差圖像處理方法1000的總體流程 示例。
[0037] 圖1示出了根據(jù)本發(fā)明實(shí)施例的示例性稀疏視差圖像處理方法的總體流程。
[0038] 如圖1所示，在步驟S1100中，獲得要從中檢測(cè)預(yù)定物體的視差圖像。
[0039] 任何現(xiàn)有的獲取視差圖的方法均可以用于本發(fā)明。例如，可以通過(guò)雙目相機(jī)、多目 相機(jī)、立體相機(jī)拍攝并計(jì)算得到包括該連續(xù)型道路分割物部分的視差圖，具體地，例如，可 以通過(guò)雙目相機(jī)來(lái)拍得左圖像和右圖像，基于左圖像和右圖像計(jì)算得到視差圖?；蛘撸梢?從立體視圖中獲得深度圖，根據(jù)深度圖得到視差圖。
[0040] 另外，該視差圖也可以是經(jīng)由網(wǎng)絡(luò)如無(wú)線網(wǎng)絡(luò)從本地或遠(yuǎn)程傳送來(lái)的。
[0041] 在步驟S1200中，基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作為 填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制。 [0042] 根據(jù)一個(gè)示例，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間在水平方向上的距 離應(yīng)該小于預(yù)定水平距離上限閾值，以及起始點(diǎn)和終止點(diǎn)的對(duì)之間在視差上的絕對(duì)差應(yīng)該 小于預(yù)定視差差異上限閾值。以雙目相機(jī)對(duì)著汽車(chē)尾部拍攝得到的視差圖為例，此時(shí)考慮 到汽車(chē)尾部左右邊界之間的距離，可以設(shè)置上述預(yù)定水平距離上限閾值對(duì)應(yīng)于汽車(chē)尾部左 右邊界之間距離；同時(shí)考慮到去除例如旗桿、柱子之類(lèi)的堅(jiān)直孤立物體的干擾的目的，這些 干擾通常是寬度較小的物體，可以設(shè)置預(yù)定水平距離下限閾值，即只有作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)之間在水平方向上的距離同時(shí)大于預(yù)定水平距離下限閾值時(shí)，才可能被 選擇作為合格的填充基礎(chǔ)。
[0043] 在步驟S1300中，對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制 和視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向 上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空 白視差點(diǎn)的填充。
[0044] 根據(jù)一個(gè)示例，在進(jìn)行水平方向上的視差點(diǎn)填充之前，可以進(jìn)行垂直方向的邊緣 檢測(cè)以定位物體的垂直邊界；其中，所述水平方向上的視差點(diǎn)填充是在物體的垂直邊界的 范圍內(nèi)進(jìn)行的。這樣可以提到視差填充的效率。
[0045] 后面將參考圖2和圖3詳細(xì)描述水平方向上視差點(diǎn)填充的操作方法示例。
[0046] 在步驟S1400中，基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為 填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制。
[0047] 與上述步驟S1200中的操作類(lèi)似，此步驟的不同在于是針對(duì)垂直方向的視差點(diǎn)填 充來(lái)確定距離限制和視差差異限制。
[0048] 根據(jù)一個(gè)示例，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間在垂直方向上的距 離應(yīng)該小于預(yù)定垂直距離上限閾值，以及起始點(diǎn)和終止點(diǎn)的對(duì)之間在視差上的絕對(duì)差應(yīng)該 小于預(yù)定視差差異上限閾值。以雙目相機(jī)對(duì)著汽車(chē)尾部拍攝得到的視差圖為例，此時(shí)考慮 到汽車(chē)尾部上下邊界之間的距離，可以設(shè)置上述預(yù)定水平距離上限閾值對(duì)應(yīng)于汽車(chē)尾部上 下邊界之間距離；同時(shí)考慮到去除例如車(chē)道線之類(lèi)的物體的干擾的目的，這些干擾通常是 高度較小且視差在垂直方向上漸變的物體，可以設(shè)置預(yù)定垂直距離下限閾值，即只有作為 填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間在垂直方向上的距離同時(shí)大于預(yù)定垂直距離下限閾 值時(shí)，才可能被選擇作為合格的填充基礎(chǔ)。
[0049] 在步驟S1500中，對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制 和視差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向 上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的視 差點(diǎn)的填充。
[0050] 后面將參考圖4、5、6詳細(xì)描述垂直方向上視差點(diǎn)填充的操作方法示例。
[0051] 在一個(gè)示例中，在視差點(diǎn)的填充過(guò)程中，同時(shí)進(jìn)行噪聲的刪除處理。具體地，在確 定水平方向上和/或垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)的過(guò)程中，可以去 除不可能作為填充基礎(chǔ)且作為背景的可能性高于預(yù)定閾值的視差點(diǎn)。例如，以檢測(cè)車(chē)輛為 例，在進(jìn)行垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)的過(guò)程中，如果發(fā)現(xiàn)位于視 差圖較底部的視差在垂直方向上漸變的連續(xù)視差點(diǎn)，可以認(rèn)為其傾向于表示車(chē)道線等物 體，而將其從視差圖上去除。
[0052] 另外，在一個(gè)示例中，所述填充的視差點(diǎn)可以被賦予相關(guān)聯(lián)的置信度值，在進(jìn)行水 平方向上一行或垂直方向上一列的視差點(diǎn)填充時(shí)，如果一個(gè)空白視差點(diǎn)能夠以較多對(duì)起始 點(diǎn)和終止點(diǎn)為基礎(chǔ)進(jìn)行填充，則該填充的視差點(diǎn)被賦予較高的置信度。后面將在結(jié)合圖2、 3的水平方向上的視差填充處理和結(jié)合圖4、5、6的垂直方向上的視差填充處理中具體詳細(xì) 描述為填充的視差點(diǎn)賦予置信度的示例。
[0053] 需要說(shuō)明的是，在圖1中示出為水平方向上的視差點(diǎn)填充步驟S1300位于垂直方 向上的視差點(diǎn)填充步驟S1500之前，不過(guò)這并不是意味著對(duì)兩者實(shí)際執(zhí)行順序上的限制。 實(shí)際上，可以根據(jù)待檢測(cè)物體的特性和視差圖的特點(diǎn)來(lái)決定水平方向視差點(diǎn)填充和垂直方 向視差點(diǎn)填充兩者之間的先后順序。
[0054] 根據(jù)一個(gè)示例，當(dāng)待檢測(cè)的預(yù)定物體在水平方向上特征缺乏時(shí)，如缺乏水平邊界 時(shí)，可以首先進(jìn)行水平方向上的視差點(diǎn)填充，然后進(jìn)行垂直方向上的視差點(diǎn)填充。例如，當(dāng) 雙目相機(jī)正對(duì)著前面一個(gè)車(chē)輛的尾部時(shí)，則所拍攝的車(chē)輛的視差圖通常具有較清晰的垂直 方向的邊緣（即，左右邊界，即物體左側(cè)和右側(cè)的在垂直方向上延伸的邊界）而在水平方向 的邊緣(上下邊界)可能相對(duì)不那么清晰。同時(shí)考慮到這樣的車(chē)輛后部水平方向上的視差值 應(yīng)相近，因此可能較適合對(duì)這樣的檢測(cè)對(duì)象首先進(jìn)行水平方向上的視差點(diǎn)填充，由此可以 確保增加有效視差點(diǎn)。
[0055] 根據(jù)另一個(gè)示例，當(dāng)待檢測(cè)的預(yù)定物體在垂直方向上特征缺乏時(shí)，可以首先進(jìn)行 垂直方向上的視差點(diǎn)填充，然后進(jìn)行水平方向上的視差點(diǎn)填充。
[0056] 另外，需要說(shuō)明的是，水平方向上的視差點(diǎn)填充和/或垂直方向上的視差點(diǎn)填充 可以重復(fù)進(jìn)行，直到獲得較滿(mǎn)意的視差圖像為止。另外，根據(jù)一個(gè)示例，可以針對(duì)每次填充 處理之后獲得的視差圖像進(jìn)行物體檢測(cè)，并基于物體檢測(cè)的結(jié)果來(lái)判定是否繼續(xù)重復(fù)進(jìn)行 水平方向或垂直方向上的視差點(diǎn)填充。
[0057] 根據(jù)本發(fā)明上述實(shí)施例的稀疏視差圖像處理方法，通過(guò)基于要檢測(cè)的物體在水平 方向上的特性和垂直方向上的特性來(lái)確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該 滿(mǎn)足的水平方向上以及垂直方向上的距離限制和視差差異限制，并基于所確定的水平方向 上的限制來(lái)對(duì)視差圖像進(jìn)行水平方向上的視差點(diǎn)填充，以及基于所確定的垂直方向上的限 制來(lái)對(duì)視差圖像進(jìn)行垂直方向上的視差點(diǎn)填充，使得能夠獲得適于物體檢測(cè)的視差點(diǎn)被填 充的圖像，從而適合于在此填充了視差點(diǎn)的圖像上直接進(jìn)行物體檢測(cè)。
[0058] 在得到經(jīng)圖1所示的稀疏視差圖像處理方法處理后的視差圖像后，可以分割經(jīng)填 充處理后的視差圖像；以及根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū)域進(jìn)行物體檢測(cè)。后面將 結(jié)合圖7對(duì)于包括稀疏視差圖填充處理的物體檢測(cè)方法進(jìn)行詳細(xì)描述。
[0059] 在圖8的（a)到（f)中給出了根據(jù)一個(gè)示例的應(yīng)用本發(fā)明實(shí)施例的稀疏視差圖像 處理方法處理結(jié)果以及基于這樣的處理后的圖像進(jìn)行分割和物體檢測(cè)的效果圖。圖8中的 (a)示意性地示出了原始灰度圖像連同其上檢測(cè)到的視差點(diǎn)，視差點(diǎn)為其中的淺色毛刺型 點(diǎn)。圖8中的（b)示意性地示出了對(duì)原始視差圖進(jìn)行水平方向上的視差點(diǎn)填充后得到的視 差圖，可見(jiàn)其中很多橫線缺失的視差點(diǎn)被填充出來(lái)了。圖8中的（c)示意性地示出了對(duì)于 圖8(b)中的視差圖進(jìn)行垂直方向上的視差點(diǎn)填充后得到的視差圖。圖8中的（d)示意性 地示出了對(duì)于圖8(c)中的視差圖進(jìn)行水平方向上的視差點(diǎn)填充后得到的視差圖。圖8中 的（e)示意性地示出了對(duì)于圖8(d)中的視差圖進(jìn)行垂直方向上的視差點(diǎn)填充后得到的視 差圖以及以矩形框示出的圖像分割結(jié)果。圖8中的（f)示意性地示出了在圖像分割后的物 體檢測(cè)結(jié)果。
[0060] 1. 2、水平方向上的視差點(diǎn)填充處理方法示例
[0061] 下面參考圖2描述根據(jù)本發(fā)明一個(gè)實(shí)施例的水平方向上的視差點(diǎn)填充處理方法 1300,該方法1300可以應(yīng)用于圖1所示的步驟S1300。下文為描述方便，水平方向上的視差 點(diǎn)填充處理也稱(chēng)為x-connect處理，S卩如名字所暗示的，水平方向上的視差點(diǎn)填充處理類(lèi) 似于在水平方向即X方向上的起始點(diǎn)和結(jié)束點(diǎn)之間的連接處理。
[0062] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的水平方向上的視差點(diǎn)填充處理方法的流程 圖。
[0063] 如圖2所示，在步驟S1301處，系統(tǒng)開(kāi)始掃描讀取視差圖中的每一行，掃描順序可 以是從頂部到底部或者從底部到頂部。
[0064] 然后在步驟S1302處，判斷是否有新的一行，并且如果有新的一行，新的一行將被 讀取以供后續(xù)處理，否則x-connect處理在此處終止。
[0065] 在步驟S1303處，水平的遍歷每一行的視差點(diǎn)，從左到右或從右到左，來(lái)逐個(gè)判斷 視差點(diǎn)的值，視差值為〇可以視為無(wú)視差值，也可稱(chēng)為無(wú)視差點(diǎn)。在本示例中，掃描順序?yàn)?從左到右。
[0066] 在步驟S1304處，如果一個(gè)視差點(diǎn)存在，則前進(jìn)到步驟S1305,如果沒(méi)有視差點(diǎn)則 返回步驟S1301開(kāi)始新的一行的掃描。
[0067] 在步驟S1305處，將步驟S1304處判定存在的視差點(diǎn)設(shè)置為起始點(diǎn)Ps(i)，此處i 表示成對(duì)的起始點(diǎn)和終止點(diǎn)的對(duì)數(shù)。
[0068] 在步驟S1306處，繼續(xù)水平方向上向右水平搜索以尋找滿(mǎn)足距離和視差差異限制 的相鄰視差點(diǎn)Ptmp。
[0069] 在步驟S1307處判斷是否存在滿(mǎn)足與起始點(diǎn)Ps (i)在距離上和視差值上的限制的 新視差點(diǎn)Ptmp存在。有關(guān)距離限制和視差差異上的限制如前文結(jié)合圖1的步驟S1200所 描述的那樣得到。例如，在一個(gè)示例中，起始點(diǎn)和終止點(diǎn)之間在水平方向上的距離設(shè)定為 應(yīng)該小于等于9個(gè)像素，此處距離的限制可以由待檢測(cè)物體的水平方向上尺寸特征進(jìn)行調(diào) 整。在一個(gè)示例中，起始點(diǎn)和終止點(diǎn)的視差值之間的差設(shè)定為應(yīng)例如小于等于5,此處的視 差值之差的限制可以根據(jù)被檢測(cè)物體的位置和縱深上視差值分布來(lái)調(diào)整。
[0070] 如果在步驟S1307中判定存在滿(mǎn)足與起始點(diǎn)Ps (i)在距離上和視差值上的限制的 新視差點(diǎn)Ptmp，則前進(jìn)到步驟S1308。
[0071] 在步驟S1308處將這個(gè)新視差點(diǎn)Ptmp設(shè)置為對(duì)應(yīng)的終止點(diǎn)Pn(i)，之后返回到步 驟S1306處繼續(xù)向右尋找是否有新的滿(mǎn)足與起始點(diǎn)Ps (i)在距離上和視差值上的限制的可 對(duì)應(yīng)于該起始點(diǎn)的終止點(diǎn)。在本示例中，會(huì)以最后一個(gè)找到的滿(mǎn)足與起始點(diǎn)Ps(i)在距離 上和視差值上的限制的點(diǎn)作為終止點(diǎn)。
[0072] 如果在步驟S1307處判斷未找到滿(mǎn)足與起始點(diǎn)Ps (i)在距離上和視差值上的限制 的新視差點(diǎn)Ptmp，則前進(jìn)到步驟S1309。
[0073] 在步驟S1309,判斷是否找到與起始點(diǎn)Ps(i)對(duì)應(yīng)的終止點(diǎn)Pn(i)。
[0074] 如果在步驟S1309中確定沒(méi)有找到與Ps⑴對(duì)應(yīng)的終止點(diǎn)Pn⑴（步驟S1309中 的否)，則返回到步驟S1303,繼續(xù)在原行上向右(假定掃描方向是從左向右的話）掃描尋找 視差點(diǎn)，在本示例中，從搜索Ps(i)的終止點(diǎn)過(guò)程中最后碰到的點(diǎn)起繼續(xù)向右掃描尋找視 差點(diǎn)。
[0075] 如果在步驟S1309確定找到了與Ps(i)對(duì)應(yīng)的終止點(diǎn)Pn(i)(步驟S1309中的是)， 則前進(jìn)到步驟S1310。
[0076] 在步驟S1310中，將起始點(diǎn)與終止點(diǎn)之間的視差點(diǎn)進(jìn)行填充賦值，賦值可以全部 等于起始點(diǎn)Ps (i)或終止點(diǎn)Pn (i)，或他們中間的一個(gè)值，例如平均值，或者也可以等于漸 變的數(shù)值來(lái)更好的平滑連接的視差值。這里，對(duì)于起始點(diǎn)和終止點(diǎn)之間存在的非空視差點(diǎn)， 可以保留原值不變，或者替代地可以將其視為空視差點(diǎn)同樣進(jìn)行填充處理。在本示例中，對(duì) 于起始點(diǎn)和終止點(diǎn)之間存在的非空視差點(diǎn)，保留原值不變。在步驟S1310后，前進(jìn)到步驟 S1311。
[0077] 在步驟S1311中，將終止點(diǎn)Pn(i)設(shè)置為新起始點(diǎn)，然后返回到步驟S1306,從而繼 續(xù)在該行沿原方向進(jìn)行水平搜索以尋找與此新起始點(diǎn)之間滿(mǎn)足距離和視差差異限制的可 能作為終止點(diǎn)候選的視差點(diǎn)。
[0078] 如此繼續(xù)下去，直到對(duì)所有行都進(jìn)行了掃描和可能的填充操作。
[0079] 為了更好地理解x-connect處理，下面結(jié)合圖3舉了一個(gè)具體操作示例：圖3中的 表格代表一張視差圖，表格中的數(shù)值代表各像素點(diǎn)存在的視差值，任務(wù)目標(biāo)是用x _connect 方法將該視差圖進(jìn)行連接處理。這里，假設(shè)距離限制為小于等于9個(gè)像素，視差值差限制為 5。圖3的（a)表示一個(gè)示例性的原始視差圖，（b)表示經(jīng)過(guò)示例性的水平方向的視差填充 處理或者說(shuō)x-cormect處理后的視差圖。
[0080] 如前所述，在水平方向上的視差點(diǎn)填充前，可以包括一些前處理以提高效率，例 如先進(jìn)行垂直主體邊緣或者強(qiáng)邊緣檢測(cè)，用來(lái)定位物體的垂直邊界，這樣可以幫助去除 噪聲，而且后續(xù)將僅在垂直邊界內(nèi)部進(jìn)行水平方向上的視差點(diǎn)填充處理，從而可以提高 x-connect方法的效率。垂直邊界檢測(cè)例如可以用Sobel邊界檢測(cè)。
[0081] 參照?qǐng)D3,根據(jù)一個(gè)示例，x-connect方法可以如下進(jìn)行：從左上角第一行虛線方 框標(biāo)注的視差值為23的視差點(diǎn)開(kāi)始，也是起始點(diǎn)，開(kāi)始水平向右尋找，先后找到右側(cè)相鄰 的兩個(gè)虛線矩形框?qū)?yīng)的視差值為19和22的點(diǎn)，他們都滿(mǎn)足距離和視差值差的限制，并 且再向右已經(jīng)沒(méi)有滿(mǎn)足要求的視差點(diǎn)，在本示例中可以以值為22的視差點(diǎn)為終止點(diǎn)，起始 點(diǎn)和終止點(diǎn)之間的空的視差值將被填充，填充的值是起始點(diǎn)和終止點(diǎn)的視差的平均值。在 本示例中，假設(shè)距離限制為小于等于9個(gè)像素，視差值差限制為5。在第2行和第5行上的 另外兩個(gè)實(shí)線矩形框標(biāo)注的視差值為61和58的兩個(gè)視差點(diǎn)由于不滿(mǎn)足視差值要求，將不 進(jìn)行處理；還有倒數(shù)第二行的兩個(gè)實(shí)線矩形框標(biāo)注的視差值為19的視差點(diǎn)，由于之間距離 不滿(mǎn)足距離限制，因此不進(jìn)行處理。這里，圈以實(shí)線框的視差值表示在進(jìn)行起始點(diǎn)或終止 點(diǎn)的掃描過(guò)程中該視差值不符合用作起始點(diǎn)或終止點(diǎn)的視差值候選的要求。第一行中的圈 以虛線框的視差值用于舉例指示該視差值符合用作起始點(diǎn)或終止點(diǎn)的視差值候選的要求。 圖3中的橢圓表示檢測(cè)出來(lái)的主要垂直邊界，在本示例中的水平方向上視差點(diǎn)填充處理機(jī) x-connect處理從邊界上開(kāi)始。
[0082] 另外，在一個(gè)示例中，在實(shí)際操作過(guò)程中，為了提高連接性能，可以增加設(shè)置視差 值的置信度。例如，如圖3所示，第一行中的"23/1"表示該點(diǎn)的視差值為23,置信度為1 (即，表示原始存在的視差點(diǎn))，接下來(lái)的"21/0. 6?示該點(diǎn)的視差值為21，置信度為0. 6(經(jīng) 填充得到的視差值，其置信度為〇. 6)。
[0083] 一般地，在進(jìn)行水平方向上一行的視差點(diǎn)填充時(shí)，如果一個(gè)空白視差點(diǎn)能夠以較 多對(duì)起始點(diǎn)和終止點(diǎn)為基礎(chǔ)進(jìn)行填充，則該填充的視差點(diǎn)被賦予較高的置信度。
[0084] 在一個(gè)示例中，置信度的設(shè)置規(guī)則可以是如下所述：從起始點(diǎn)開(kāi)始找到一個(gè)符合 要求的視差點(diǎn)終止點(diǎn)，則中間新連接賦值的視差點(diǎn)被設(shè)置成〇. 5,如果找到終止點(diǎn)后繼續(xù)向 右尋找直到找到距離限制(例如設(shè)置為12個(gè)像素點(diǎn)）處，看是否有新的視差點(diǎn)符合要求，如 果有則設(shè)置新的點(diǎn)為終止點(diǎn)，同時(shí)中間新連接賦值的視差點(diǎn)的置信度增加〇. 1。根據(jù)一個(gè)示 例，也可以設(shè)置懲罰措施，例如不滿(mǎn)足要求置信度下調(diào)，或者其他的調(diào)整方式。原始視差點(diǎn) 的置信度被設(shè)置成1. 〇,并且不會(huì)因?yàn)閤-connect處理而改變。
[0085] 這樣置信度給出了在規(guī)定的距離限制和視差值差限制之內(nèi)新連接出現(xiàn)的視差點(diǎn) 的可靠性的度量。為視差值賦予置信度的一個(gè)好處在于，后續(xù)的處理或者檢測(cè)操作可以根 據(jù)置信度進(jìn)行酌情處理，例如信賴(lài)度高于0. 7的才被用來(lái)檢測(cè)等等。
[0086] 圖8中的（b)示意性地示出了對(duì)原始視差圖進(jìn)行水平方向上的空白視差點(diǎn)填充后 得到的視差圖，可見(jiàn)其中很多橫線缺失的視差點(diǎn)被填充出來(lái)了。
[0087] 1. 3、垂直方向上的視差點(diǎn)填充處理方法示例
[0088] 下面參考圖4描述根據(jù)本發(fā)明一個(gè)實(shí)施例的垂直方向上的視差點(diǎn)填充處理方法 1500,該方法1500可以應(yīng)用于圖1所示的步驟S1500。下文為描述方便，垂直方向上的視差 點(diǎn)填充處理也稱(chēng)為y-connect處理，S卩如名字所暗示的，垂直方向上的視差點(diǎn)填充處理類(lèi) 似于在垂直方向即y方向上的起始點(diǎn)和結(jié)束點(diǎn)之間的連接處理。
[0089] 圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的垂直方向上的視差點(diǎn)填充處理方法1500的 流程圖。圖4所示的示例性的y-connect處理與前文參考圖2描述的x-connect處理類(lèi)似， 不過(guò)是在垂直方向上即y方向上進(jìn)行的。
[0090] 如圖4所示，在步驟S1501處，系統(tǒng)開(kāi)始掃描讀取視差圖中的每一列，掃描順序可 以是從左到右或者從右到左。
[0091] 然后在步驟S1502處，判斷是否有新的一列，并且如果有新的一列，新的一列將被 讀取以供后續(xù)處理，否則x-connect處理在此處終止。
[0092] 在步驟S1503處，垂直地遍歷每一列的視差點(diǎn)，來(lái)逐個(gè)判斷視差點(diǎn)的值，視差值為 〇可以視為無(wú)視差值，也可稱(chēng)為無(wú)視差點(diǎn)。這里，遍歷方向可以是從上到下或從下到上，在本 示例中，假設(shè)遍歷方向是從上到下。
[0093] 在步驟S1504處，如果一個(gè)視差點(diǎn)存在，則前進(jìn)到步驟S1505,如果沒(méi)有視差點(diǎn)則 返回步驟S1501開(kāi)始新的一列的掃描。
[0094] 在步驟S1505處，將步驟S1504處判定存在的視差點(diǎn)設(shè)置為起始點(diǎn)Ps(i)，此處i 表示成對(duì)的起始點(diǎn)和終止點(diǎn)的對(duì)數(shù)。
[0095] 在步驟S1506處，繼續(xù)垂直方向上向下垂直搜索以尋找滿(mǎn)足距離和視差差異限制 的相鄰視差點(diǎn)Ptmp。
[0096] 在步驟S1507處判斷是否存在滿(mǎn)足與起始點(diǎn)Ps (i)在距離上和視差值上的限制的 新視差點(diǎn)Ptmp存在。
[0097] 有關(guān)距離限制和視差差異上的限制如前文結(jié)合圖1的步驟S1200所描述的那樣得 至|J。例如，在一個(gè)示例中，起始點(diǎn)和終止點(diǎn)之間在垂直方向上的距離應(yīng)該小于等于9個(gè)像 素，此處距離的限制可以由待檢測(cè)物體的垂直方向上尺寸特征進(jìn)行調(diào)整。在一個(gè)示例中，起 始點(diǎn)和終止點(diǎn)的視差值之間的差例如小于等于5,此處的視差值之差的限制可以根據(jù)被檢 測(cè)物體的位置和縱深上視差值分布來(lái)調(diào)整。另外，在一個(gè)示例中，垂直方向上距離限制還 包括大于等于4個(gè)像素。此處距離限制設(shè)置不同于上文結(jié)合x(chóng)-connect連接的距離限制， 這是基于針對(duì)檢測(cè)物體要求而變化的：由于視差圖在垂直方向上的會(huì)有地面影響，造成視 差圖縱向上的延伸，因此為了避免地面漸變的視差點(diǎn)被不必要的連接，所以加上大于等于 最小值4這個(gè)限制。一般而言，當(dāng)視差圖上存在不是待檢測(cè)對(duì)象的、視差在垂直方向上漸變 的對(duì)象時(shí)，所述垂直方向上的距離限制包括起始點(diǎn)和終止點(diǎn)的對(duì)之間的垂直距離大于預(yù)定 正數(shù)。類(lèi)似的，如果為了避免垂直的面在x-connect造成的影響，則也可以在前文所述的 x-connect方法中加上距離最小值限制。
[0098] 如果在步驟S1507中判定存在滿(mǎn)足與起始點(diǎn)Ps (i)在距離上和視差值上的限制的 新視差點(diǎn)Ptmp，則前進(jìn)到步驟S1508。
[0099] 在步驟S1508處將這個(gè)新視差點(diǎn)Ptmp設(shè)置為對(duì)應(yīng)的終止點(diǎn)Pn (i)，之后返回到步 驟S1506處繼續(xù)向下尋找是否有新的滿(mǎn)足與起始點(diǎn)Ps (i)在距離上和視差值上的限制的可 對(duì)應(yīng)于該起始點(diǎn)的終止點(diǎn)。在本示例中，會(huì)以最后一個(gè)找到的滿(mǎn)足與起始點(diǎn)Ps(i)在距離 上和視差值上的限制的點(diǎn)作為終止點(diǎn)。
[0100] 如果在步驟S1507處判斷未找到滿(mǎn)足與起始點(diǎn)Ps(i)在距離上和視差值上的限制 的新視差點(diǎn)Ptmp，則前進(jìn)到步驟S1509。
[0101] 在步驟S1509,判斷是否找到與起始點(diǎn)Ps(i)對(duì)應(yīng)的終止點(diǎn)Pn(i)。
[0102] 如果在步驟S1509中確定沒(méi)有找到與Ps(i)對(duì)應(yīng)的終止點(diǎn)Pn(i)(步驟S1509中 的否)，則返回到步驟S1503,繼續(xù)在原列中向下(假定掃描方向是從上向下的話，反之亦然） 掃描尋找視差點(diǎn)，在本示例中從搜索Ps(i)的終止點(diǎn)過(guò)程中最后碰到的點(diǎn)起繼續(xù)向下掃描 尋找視差點(diǎn)。
[0103] 如果在步驟S1509確定找到了與Ps(i)對(duì)應(yīng)的終止點(diǎn)Pn(i)(步驟S1509中的是)， 則前進(jìn)到步驟S1510。
[0104] 在步驟S1510中，將起始點(diǎn)與終止點(diǎn)之間的空視差點(diǎn)進(jìn)行填充賦值。賦值可以全 部等于起始點(diǎn)Ps (i)或終止點(diǎn)Pn (i)，或他們中間的一個(gè)值，例如平均值，或者也可以等于 漸變的數(shù)值來(lái)更好的平滑連接的視差值。這里，在本示例中，在填充過(guò)程中進(jìn)行了去噪的處 理，例如去除不可能作為填充基礎(chǔ)且作為背景的可能性高于預(yù)定閾值的視差點(diǎn)，去除的點(diǎn) 例如可以是那些不滿(mǎn)足連接要求的點(diǎn)，例如孤立的，或者短距離連續(xù)的像白線，而那些起始 點(diǎn)和終止點(diǎn)，以及在它們之間的有效點(diǎn)將被保留。在步驟S1510后，前進(jìn)到步驟S1511。
[0105] 在步驟S1511中，將終止點(diǎn)Pn(i)設(shè)置為新起始點(diǎn)，然后返回到步驟S1506,從而繼 續(xù)在該行沿原方向進(jìn)行垂直搜索以尋找與此新起始點(diǎn)之間滿(mǎn)足距離和視差差異限制的可 能作為終止點(diǎn)候選的視差點(diǎn)。
[0106] 如此繼續(xù)下去，直到對(duì)所有行都進(jìn)行了掃描和可能的填充操作。
[0107] 為了更好地理解y-connect處理，下面結(jié)合圖5舉了一個(gè)實(shí)施例：圖5的表格代表 一張視差圖，里面的數(shù)值代表各像素點(diǎn)存在的視差值，任務(wù)目標(biāo)是用y-connect方法將該 視差圖進(jìn)行連接處理。此處的距離限制為小于等于12個(gè)像素并且大于等于4個(gè)像素，視差 值差限制為5。如前所述，此處距離設(shè)置不同是因?yàn)獒槍?duì)檢測(cè)物體要求而變化的：由于視差 圖在垂直方向上的會(huì)有地面影響，造成視差圖縱向上的延伸，因此為了避免地面漸變的視 差點(diǎn)被不必要的連接，所以加上大于等于最小值4這個(gè)限制。圖5的（a)表示一個(gè)示例性 的原始視差圖，（b)表示經(jīng)過(guò)示例性的垂直方向的視差填充處理或者說(shuō)y-connect處理后 的視差圖，其中實(shí)線框標(biāo)注的視差值表示滿(mǎn)足連接要求的起始點(diǎn)，以及虛線框標(biāo)注的視差 值表示不滿(mǎn)足連接要求的視差點(diǎn)。
[0108] 參照?qǐng)D5,根據(jù)一個(gè)示例，y-connect方法可以如下進(jìn)行：從左上角第2列的實(shí)線方 框標(biāo)注的視差值為20的視差點(diǎn)開(kāi)始，也是起始點(diǎn)，系統(tǒng)開(kāi)始垂直的向下尋找，找到下面實(shí) 線矩形框標(biāo)注的視差值為22的點(diǎn)，滿(mǎn)足距離和視差值差的限制，并且再向下已經(jīng)沒(méi)有滿(mǎn)足 要求的視差點(diǎn)，所以在值為22的視差點(diǎn)為終止點(diǎn)，他們中間的所有視差值將被填充，填充 的值是他們相鄰點(diǎn)的平均值。在第5列的兩個(gè)虛線矩形框標(biāo)注的視差值為61和24的視差 點(diǎn)不滿(mǎn)足距離和數(shù)值的要求；倒數(shù)第3列的兩個(gè)虛線矩形框標(biāo)注的視差值為18的兩個(gè)視差 點(diǎn)超出了距離限制，因此都不被連接處理，而且這樣的不滿(mǎn)足連接要求的原始視差點(diǎn)視為 噪聲不被保留。另外，在實(shí)際操作過(guò)程中，為了提高連接性能，可以增加設(shè)置視差值的置信 度，并且設(shè)置方法可以同x-connect相似，這里不再贅述。
[0109] 前面圖5示出的是在原始視差圖上進(jìn)行y-connect連接的示例。
[0110] 下面參考圖6給出在圖4的（b)的x-connect連接后進(jìn)行y-connect連接的結(jié)果 示例。其中圖6中的（a)是圖4的（b)的x-connect連接后的結(jié)果，其中的實(shí)線框標(biāo)注的 視差值表示滿(mǎn)足連接要求的起始點(diǎn)，虛線框標(biāo)注的視差值表示不滿(mǎn)足連接要求的視差點(diǎn)； 圖6中的（b)是對(duì)圖6中的（a)進(jìn)行y-connect處理后的結(jié)果，其中實(shí)線框標(biāo)注的視差值表 示滿(mǎn)足連接要求的起始點(diǎn)，以及虛線框標(biāo)注的視差值表示不滿(mǎn)足連接要求的視差點(diǎn)，由圖6 中的（b)可見(jiàn)，結(jié)果中去除了不滿(mǎn)足連接要求的視為噪聲的視差點(diǎn)，其中的圖6中的（b)中 的堅(jiān)條形虛線方框表示由于該列中兩個(gè)不滿(mǎn)足要求的點(diǎn)（如圖6中的（a)中的被虛線框標(biāo) 注的61/1和58/1所示）的存在，使得該整列具有很高的概率為噪聲，因此去除了該整列。
[0111] 需要說(shuō)明的是，在本示例中，在檢測(cè)路上車(chē)輛的背景下，在進(jìn)行y-connect處理 時(shí)，將不滿(mǎn)足連接要求的原始視差點(diǎn)作為噪聲去除。不過(guò)這僅為示例，而不是限制?？梢愿?據(jù)檢測(cè)對(duì)象的不同和實(shí)踐的需要，而設(shè)計(jì)不同的噪聲檢測(cè)的準(zhǔn)則并進(jìn)行噪聲去除。
[0112] 這里，與x-connect連接類(lèi)似，也可以增加設(shè)置視差值的置信度，并且一般地，在 進(jìn)行垂直方向上一行的視差點(diǎn)填充時(shí)，如果一個(gè)空白視差點(diǎn)能夠以較多對(duì)起始點(diǎn)和終止點(diǎn) 為基礎(chǔ)進(jìn)行填充，則該填充的視差點(diǎn)被賦予較高的置信度。
[0113] 不過(guò)，由于此處y-connect在x-connect之后，因此此處操作的視差點(diǎn)有的已經(jīng) 是先前經(jīng)過(guò)連接并且有置信度的。在一個(gè)示例中，在y-connect方法中新連接的視差點(diǎn) 的置信度會(huì)乘以原來(lái)的置信度影響，例如當(dāng)前置信度是Cc(i)，上一步方法獲得的起始點(diǎn) 和終止點(diǎn)的置信度分別是Cs(i)和Cn(i)，新的置信度可以是乘以前兩者的平均值，Cc(i) x(Cs(i)+Cn(i))/2。
[0114] 如此步驟下來(lái)操作整個(gè)視差圖，新的視差圖將會(huì)像圖8中的（c)所示，很多垂直的 線被連接起來(lái)，也就是垂直方向上填充了視差點(diǎn)。如圖8中的（c)所示，車(chē)輛的主體部分在 垂直方向上視差店得到了加強(qiáng)，在非車(chē)輛的地方例如車(chē)道線，很多視差點(diǎn)被去掉了。
[0115] 2、基于稀疏視差圖像的物體檢測(cè)方法
[0116] 下面參考圖7描述根據(jù)本發(fā)明一個(gè)實(shí)施例的基于稀疏視差圖像的物體檢測(cè)方法。
[0117] 圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于稀疏視差圖像的物體檢測(cè)方法2000的 流程圖。
[0118] 如圖7所示，在步驟S2100中，獲得要從中檢測(cè)預(yù)定物體的視差圖像。
[0119] 在步驟S2200中，基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作為 填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制。
[0120] 在步驟S2300中，對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制 和視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向 上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空 白視差點(diǎn)的填充。
[0121] 在步驟S2400中，基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為 填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制。
[0122] 在步驟S2500中，對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制 和視差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向 上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空 白視差點(diǎn)的填充。
[0123] 在步驟S2600中，分割經(jīng)填充處理后的視差圖像。分割方法可以為現(xiàn)有的分割方 法中的一種，例如CCA，k-means，等等。作為一個(gè)例子，可以使用一個(gè)基于CCA的分割方法。 圖8中的（e)示出了對(duì)于經(jīng)填充處理的視差圖像進(jìn)行分割后的示意性效果圖，其中各個(gè)矩 形框代表分割結(jié)果，其中最大的矩形框代表作為最終的檢測(cè)結(jié)果的車(chē)輛。在步驟S2600后， 前進(jìn)到步驟S2700。
[0124] 在步驟S2700中，根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū)域進(jìn)行物體檢測(cè)。物體檢 測(cè)方法可以是任何現(xiàn)有的檢測(cè)方法中的一種，例如基于顏色，梯度，對(duì)稱(chēng)性，物體尺寸位置 等等。在一個(gè)示例中，考慮到車(chē)輛視差圖的特殊性，可以采用一個(gè)非常簡(jiǎn)單的尺寸過(guò)濾的方 法：寬度，高度和寬高比滿(mǎn)足要求的分割出的區(qū)域被輸出為檢測(cè)結(jié)果。圖8中的（f)就是視 差圖的檢測(cè)結(jié)果對(duì)應(yīng)在灰度圖上的結(jié)果，其中最大的矩形框代表最終檢測(cè)結(jié)果。
[0125] 上述步驟S2100-S2500與結(jié)合圖1描述的步驟S1100-S1500的功能和實(shí)現(xiàn)類(lèi)似， 這里不再贅述。
[0126] 根據(jù)本發(fā)明上述實(shí)施例的基于稀疏視差圖像的物體檢測(cè)方法，因?yàn)橥ㄟ^(guò)基于要檢 測(cè)的物體在水平方向上的特性和垂直方向上的特性來(lái)確定作為填充基礎(chǔ)的起始點(diǎn)和終止 點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上以及垂直方向上的距離限制和視差差異限制，并基于所 確定的水平方向上的限制來(lái)對(duì)視差圖像進(jìn)行水平方向上的視差點(diǎn)填充，以及基于所確定的 垂直方向上的限制來(lái)對(duì)視差圖像進(jìn)行垂直方向上的視差點(diǎn)填充，使得能夠獲得適于物體檢 測(cè)的視差點(diǎn)被填充的圖像，從而適合于在此填充了視差點(diǎn)的圖像上直接進(jìn)行物體檢測(cè)，結(jié) 果能夠提高物體檢測(cè)準(zhǔn)確度。
[0127] 3、稀疏視差圖像處理裝置
[0128] 下面參考圖9描述根據(jù)本發(fā)明一個(gè)實(shí)施例的稀疏視差圖像處理裝置的示例性配 置。
[0129] 圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的稀疏視差圖像處理裝置3000的示例性配置 框圖。
[0130] 如圖9所示，稀疏視差圖像處理裝置3000可以包括：用于獲得要從中檢測(cè)預(yù)定物 體的視差圖像的視差圖像獲得部件3100和填充處理部件3200。填充處理部件3200可以 包括：水平方向限制確定部件3210,基于在視差圖像的水平方向上要檢測(cè)的物體的特性， 確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差 差異限制；水平方向填充部件3220,對(duì)于視差圖中水平方向上的各行，基于水平方向上的 距離限制和視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于 水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn) 之間的空白視差點(diǎn)的填充；垂直方向限制確定部件3230,基于在視差圖像的垂直方向上要 檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上 的距離限制和視差差異限制；以及垂直方向填充部件3240，對(duì)于視差圖中垂直方向上的各 列，基于垂直方向上的距離限制和視差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始 點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向 上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充。
[0131] 關(guān)于視差圖像獲得部件3100和填充處理部件3200所包括的水平方向限制確定部 件3210、水平方向填充部件3220、垂直方向限制確定部件3230以及垂直方向填充部件3240 的功能和實(shí)現(xiàn)可以參考結(jié)合圖1描述的步驟S1100-S1500的描述，這里省略其描述。
[0132] 4、基于稀疏視差圖像的物體檢測(cè)裝置
[0133] 下面參考圖10描述根據(jù)本發(fā)明一個(gè)實(shí)施例的基于稀疏視差圖像的物體檢測(cè)裝置 的示例性配置。
[0134] 圖10示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于稀疏視差圖像的物體檢測(cè)裝置4000的 示例性配置框圖。
[0135] 如圖10所示，物體檢測(cè)裝置4000可以包括：視差圖像獲得部件4100,用于獲得 要從中檢測(cè)預(yù)定物體的視差圖像；填充處理部件4200 ;分割部件4300,分割經(jīng)填充處理后 的視差圖像；以及物體檢測(cè)部件4400,根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū)域進(jìn)行物體檢 測(cè)。填充處理部件4200可以包括：水平方向限制確定部件4210,基于在視差圖像的水平方 向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平 方向上的距離限制和視差差異限制；水平方向填充部件4220,對(duì)于視差圖中水平方向上的 各行，基于水平方向上的距離限制和視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方 向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；垂直方向限制確定部件4230,基于在 視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之 間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；以及垂直方向填充部件4240,對(duì)于 視差圖中垂直方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定垂直方向 上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終 止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充。
[0136] 關(guān)于視差圖像獲得部件3100和填充處理部件3200所包括的水平方向限制確定 部件3210、水平方向填充部件3220、垂直方向限制確定部件3230以及垂直方向填充部件 3240、分割部件3300和物體檢測(cè)部件3400的功能和實(shí)現(xiàn)可以參考結(jié)合圖7描述的步驟 S2100-S2700的描述，這里省略其描述。
[0137] 5、系統(tǒng)硬件配置
[0138] 本發(fā)明還可以通過(guò)一種能夠?qū)嵤┥鲜鎏幚硐∈枰暡顖D像的方法和物體檢測(cè)方法 的系統(tǒng)來(lái)實(shí)施。圖11是示出按照本發(fā)明實(shí)施例的稀疏視差圖像處理/物體檢測(cè)系統(tǒng)6000 的硬件配置的概念圖。如圖17所示，稀疏視差圖像處理/物體檢測(cè)系統(tǒng)6000可以包括：輸 入設(shè)備6100,用于從外部輸入將要處理的圖像，例如雙目相機(jī)拍攝的左右圖像、立體相機(jī)拍 攝的立體視頻等，該輸入設(shè)備例如可以包括鍵盤(pán)、鼠標(biāo)器、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程 輸入設(shè)備等等；處理設(shè)備6200,用于實(shí)施上述的按照本發(fā)明實(shí)施例的稀疏視差圖像處理方 法和/或物體檢測(cè)方法，或者實(shí)施為上述的按照本發(fā)明實(shí)施例的稀疏視差圖像處理裝置， 例如可以包括計(jì)算機(jī)的中央處理器或其它的具有處理能力的芯片等等，可以連接到諸如因 特網(wǎng)的網(wǎng)絡(luò)(未示出），根據(jù)處理過(guò)程的需要而從網(wǎng)絡(luò)獲取數(shù)據(jù)例如左右圖像等等；輸出設(shè) 備6300,用于向外部輸出實(shí)施上述稀疏視差圖像處理/物體檢測(cè)所得的結(jié)果，例如可以包 括顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等；以及存儲(chǔ)設(shè)備6400,用 于以易失或非易失的方式存儲(chǔ)上述稀疏視差圖像處理/物體檢測(cè)過(guò)程所涉及的圖像、所得 的結(jié)果、命令、中間數(shù)據(jù)等等，例如視差圖像、水平方向上的距離限制和視差差異限制、垂直 方向上的距離限制和視差差異限制、水平填充結(jié)果、垂直填充結(jié)果、區(qū)域分割結(jié)果和物體檢 測(cè)結(jié)果等，例如可以包括隨機(jī)存取存儲(chǔ)器（RAM)、只讀存儲(chǔ)器（ROM)、硬盤(pán)、或半導(dǎo)體存儲(chǔ)器 等等的各種易失或非易失性存儲(chǔ)器。
[0139] 6、總結(jié)
[0140] 上文描述了根據(jù)本發(fā)明實(shí)施例的基于待檢測(cè)的預(yù)定物體的特性處理稀疏視差圖 像的方法、裝置和基于稀疏視差圖像的物體檢測(cè)方法和裝置。
[0141] 根據(jù)本發(fā)明的一個(gè)方面，基于待檢測(cè)的預(yù)定物體的特性處理稀疏視差圖像的方法 可以包括：獲得要從中檢測(cè)預(yù)定物體的視差圖像；基于在視差圖像的水平方向上要檢測(cè)的 物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離 限制和視差差異限制；對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制和視 差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的 作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視 差點(diǎn)的填充；基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；以及對(duì)于視差 圖中垂直方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定垂直方向上的 作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn) 的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充。
[0142] 一種基于稀疏視差圖像的物體檢測(cè)方法可以包括：獲得要從中檢測(cè)預(yù)定物體的視 差圖像；基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn) 和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制；對(duì)于視差圖中水平 方向上的各行，基于水平方向上的距離限制和視差差異限制，確定水平方向上的作為填充 基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn) 行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；基于在視差圖像的垂直方向 上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方 向上的距離限制和視差差異限制；對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距 離限制和視差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂 直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之 間的空白視差點(diǎn)的填充；分割經(jīng)填充處理后的視差圖像；以及根據(jù)待檢測(cè)物體的特性對(duì)于 分割的區(qū)域進(jìn)行物體檢測(cè)。
[0143] 一種基于待檢測(cè)的預(yù)定物體的特性處理稀疏視差圖像的裝置可以包括：視差圖像 獲得部件，獲得要從中檢測(cè)預(yù)定物體的視差圖像；水平方向限制確定部件，基于在視差圖像 的水平方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn) 足的水平方向上的距離限制和視差差異限制；水平方向填充部件，對(duì)于視差圖中水平方向 上的各行，基于水平方向上的距離限制和視差差異限制，確定水平方向上的作為填充基礎(chǔ) 的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水 平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；垂直方向限制確定部件，基于在 視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之 間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；以及垂直方向填充部件，對(duì)于視差 圖中垂直方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定垂直方向上的 作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn) 的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充。
[0144] 一種基于稀疏視差圖像的物體檢測(cè)裝置可以包括：視差圖像獲得部件，獲得要從 中檢測(cè)預(yù)定物體的視差圖像；水平方向限制確定部件，基于在視差圖像的水平方向上要檢 測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的 距離限制和視差差異限制；水平方向填充部件，對(duì)于視差圖中水平方向上的各行，基于水平 方向上的距離限制和視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的 對(duì)，基于水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn) 和終止點(diǎn)之間的空白視差點(diǎn)的填充；垂直方向限制確定部件，基于在視差圖像的垂直方向 上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方 向上的距離限制和視差差異限制；垂直方向填充部件，對(duì)于視差圖中垂直方向上的各列，基 于垂直方向上的距離限制和視差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終 止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于 起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充；分割部件，分割經(jīng)填充處理后的視差圖像；以 及物體檢測(cè)部件，根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū)域進(jìn)行物體檢測(cè)。
[0145] 根據(jù)本發(fā)明上述實(shí)施例的稀疏視差圖像處理方法、裝置以及包括這樣的稀疏視差 圖像處理的物體檢測(cè)方法和裝置，通過(guò)基于要檢測(cè)的物體在水平方向上的特性和垂直方向 上的特性來(lái)確定作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上以及垂 直方向上的距離限制和視差差異限制，并基于所確定的水平方向上的限制來(lái)對(duì)視差圖像進(jìn) 行水平方向上的視差點(diǎn)填充，以及基于所確定的垂直方向上的限制來(lái)對(duì)視差圖像進(jìn)行垂直 方向上的視差點(diǎn)填充，使得能夠獲得適于物體檢測(cè)的視差點(diǎn)被填充的圖像，從而適合于在 此填充了視差點(diǎn)的圖像上直接進(jìn)行物體檢測(cè)。
[0146] 本發(fā)明實(shí)施例的描述僅為示例，本領(lǐng)域技術(shù)人員可以根據(jù)需要進(jìn)行變化、替代或 組合。
[0147] 例如，前文以待檢測(cè)的對(duì)象為車(chē)輛為例說(shuō)明了基于待檢測(cè)的預(yù)定物體的特性填充 稀疏視差圖像的處理，但是，這僅為示例，本發(fā)明并不局限于此，而是可以應(yīng)用于待檢測(cè)的 對(duì)象為諸如柵欄、行人等的其他對(duì)象。
[0148] 前文以先進(jìn)行水平方向的填充（即x-connect)處理然后進(jìn)行垂直方向的填充（即 y-connect)處理為例說(shuō)明了稀疏視差圖像的填充處理。不過(guò)這僅為示例，根據(jù)待檢測(cè)的對(duì) 象和視差圖像的特性等實(shí)際需要，可以先進(jìn)行y-cormect然后進(jìn)行x-connect處理。而且 x-connect和y-connect的重復(fù)次數(shù)也可以根據(jù)需要來(lái)設(shè)定。
[0149] 以上結(jié)合具體實(shí)施例描述了本發(fā)明的基本原理，但是，需要指出的是，對(duì)本領(lǐng)域的 普通技術(shù)人員而言，能夠理解本發(fā)明的方法和裝置的全部或者任何步驟或者部件，可以在 任何計(jì)算裝置(包括處理器、存儲(chǔ)介質(zhì)等）或者計(jì)算裝置的網(wǎng)絡(luò)中，以硬件、固件、軟件或者 它們的組合加以實(shí)現(xiàn)，這是本領(lǐng)域普通技術(shù)人員在閱讀了本發(fā)明的說(shuō)明的情況下運(yùn)用他們 的基本編程技能就能實(shí)現(xiàn)的。
[0150] 因此，本發(fā)明的目的還可以通過(guò)在任何計(jì)算裝置上運(yùn)行一個(gè)程序或者一組程序來(lái) 實(shí)現(xiàn)。所述計(jì)算裝置可以是公知的通用裝置。因此，本發(fā)明的目的也可以?xún)H僅通過(guò)提供包 含實(shí)現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來(lái)實(shí)現(xiàn)。也就是說(shuō)，這樣的程序產(chǎn)品也構(gòu) 成本發(fā)明，并且存儲(chǔ)有這樣的程序產(chǎn)品的存儲(chǔ)介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲(chǔ)介質(zhì)可以 是任何公知的存儲(chǔ)介質(zhì)或者將來(lái)所開(kāi)發(fā)出來(lái)的任何存儲(chǔ)介質(zhì)。
[0151] 還需要指出的是，在本發(fā)明的裝置和方法中，顯然，各部件或各步驟是可以分解和 /或重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。并且，執(zhí)行上述系列 處理的步驟可以自然地按照說(shuō)明的順序按時(shí)間順序執(zhí)行，但是并不需要一定按照時(shí)間順序 執(zhí)行。某些步驟可以并行或彼此獨(dú)立地執(zhí)行。
[0152] 上述【具體實(shí)施方式】，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明 白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何 在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍 之內(nèi)。
【權(quán)利要求】
1. 一種基于待檢測(cè)的預(yù)定物體的特性處理稀疏視差圖像的方法，包括： 獲得要從中檢測(cè)預(yù)定物體的視差圖像； 基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終 止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制； 對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制和視差差異限制，確定 水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充； 基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終 止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制；以及 對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定 垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充。
2. 根據(jù)權(quán)利要求1的處理稀疏視差圖像的方法，還包括： 當(dāng)待檢測(cè)的預(yù)定物體在水平方向上特征缺乏時(shí)，首先進(jìn)行水平方向上的視差點(diǎn)填充， 然后進(jìn)行垂直方向上的視差點(diǎn)填充。
3. 根據(jù)權(quán)利要求1的處理稀疏視差圖像的方法，還包括： 當(dāng)待檢測(cè)的預(yù)定物體在垂直方向上特征缺乏時(shí)，首先進(jìn)行垂直方向上的視差點(diǎn)填充， 然后進(jìn)行水平方向上的視差點(diǎn)填充。
4. 根據(jù)權(quán)利要求1的處理稀疏視差圖像的方法，還包括： 在進(jìn)行水平方向上的視差點(diǎn)填充之前，進(jìn)行垂直方向的邊緣檢測(cè)以定位物體的垂直邊 界； 其中，所述水平方向上的視差點(diǎn)填充是在物體的垂直邊界的范圍內(nèi)進(jìn)行的。
5. 根據(jù)權(quán)利要求1的處理稀疏視差圖像的方法，其中： 當(dāng)視差圖上存在不是待檢測(cè)對(duì)象的、視差在垂直方向上漸變的對(duì)象時(shí)，所述垂直方向 上的距離限制包括起始點(diǎn)和終止點(diǎn)的對(duì)之間的垂直距離大于預(yù)定正數(shù)。
6. 根據(jù)權(quán)利要求1的處理稀疏視差圖像的方法，還包括： 在確定水平方向上和/或垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)的過(guò)程 中，去除不可能作為填充基礎(chǔ)且作為背景的可能性高于預(yù)定閾值的視差點(diǎn)。
7. 根據(jù)權(quán)利要求1的處理稀疏視差圖像的方法，其中： 所述填充的視差點(diǎn)具有相關(guān)聯(lián)的置信度值，在進(jìn)行水平方向上一行或垂直方向上一列 的視差點(diǎn)填充時(shí)，如果一個(gè)空白視差點(diǎn)能夠以較多對(duì)起始點(diǎn)和終止點(diǎn)為基礎(chǔ)進(jìn)行填充，則 該填充的視差點(diǎn)被賦予較高的置信度。
8. -種基于稀疏視差圖像的物體檢測(cè)方法，包括： 獲得要從中檢測(cè)預(yù)定物體的視差圖像； 基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終 止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限制； 對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制和視差差異限制，確定 水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上的作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充； 基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作為填充基礎(chǔ)的起始點(diǎn)和終 止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限制； 對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制和視差差異限制，確定 垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上的作為填充基礎(chǔ)的起 始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白視差點(diǎn)的填充； 分割經(jīng)填充處理后的視差圖像；以及 根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū)域進(jìn)行物體檢測(cè)。
9. 一種基于待檢測(cè)的預(yù)定物體的特性處理稀疏視差圖像的裝置，包括： 視差圖像獲得部件，獲得要從中檢測(cè)預(yù)定物體的視差圖像； 水平方向限制確定部件，基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作 為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限 制； 水平方向填充部件，對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制和 視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上 的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白 視差點(diǎn)的填充； 垂直方向限制確定部件，基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作 為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限 制；以及 垂直方向填充部件，對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制和 視差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上 的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白 視差點(diǎn)的填充。
10. -種基于稀疏視差圖像的物體檢測(cè)裝置，包括： 視差圖像獲得部件，獲得要從中檢測(cè)預(yù)定物體的視差圖像； 水平方向限制確定部件，基于在視差圖像的水平方向上要檢測(cè)的物體的特性，確定作 為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的水平方向上的距離限制和視差差異限 制； 水平方向填充部件，對(duì)于視差圖中水平方向上的各行，基于水平方向上的距離限制和 視差差異限制，確定水平方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于水平方向上 的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行水平方向上位于起始點(diǎn)和終止點(diǎn)之間的空白 視差點(diǎn)的填充； 垂直方向限制確定部件，基于在視差圖像的垂直方向上要檢測(cè)的物體的特性，確定作 為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)之間應(yīng)該滿(mǎn)足的垂直方向上的距離限制和視差差異限 制； 垂直方向填充部件，對(duì)于視差圖中垂直方向上的各列，基于垂直方向上的距離限制和 視差差異限制，確定垂直方向上的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，基于垂直方向上 的作為填充基礎(chǔ)的起始點(diǎn)和終止點(diǎn)的對(duì)，進(jìn)行垂直方向上位于起始點(diǎn)和終止點(diǎn)之間的空白 視差點(diǎn)的填充； 分割部件，分割經(jīng)填充處理后的視差圖像；以及 物體檢測(cè)部件，根據(jù)待檢測(cè)物體的特性對(duì)于分割的區(qū)域進(jìn)行物體檢測(cè)。
【文檔編號(hào)】G06T7/00GK104112268SQ201310141351
【公開(kāi)日】2014年10月22日 申請(qǐng)日期:2013年4月22日 優(yōu)先權(quán)日:2013年4月22日
【發(fā)明者】劉殿超, 劉媛, 陳超, 師忠超, 魯耀杰 申請(qǐng)人:株式會(huì)社理光