用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的技術(shù)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及立體視覺(jué)圖像處理領(lǐng)域，且更具體地，涉及用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析立體圖像中的目標(biāo)的方法和系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)今，基于立體視覺(jué)的3維圖像分析和處理技術(shù)越來(lái)越成為研究的熱點(diǎn)。例如，可靠的3維立體道路環(huán)境理解對(duì)于車輛的自主駕駛十分重要。3維立體道路環(huán)境識(shí)別任務(wù)可以主要包括路面估計(jì)，消失點(diǎn)計(jì)算，目標(biāo)檢測(cè)等，其中，目標(biāo)的分析和檢測(cè)作為最為重要的部分，對(duì)車的自主控制有著直接的影響。
[0003]當(dāng)前基于立體圖像的單幀信息的目標(biāo)分析和檢測(cè)方法主要有兩類:(I)基于滑動(dòng)窗口及其改進(jìn)的相關(guān)方法；(2)基于分割/聚類的方法。第一類方法通常較為簡(jiǎn)單，但計(jì)算量非常大。相比于第一類方法，第二類方法在實(shí)時(shí)性方法有顯著的優(yōu)勢(shì)，并且其對(duì)目標(biāo)外觀變化有較強(qiáng)的魯棒性。但是第二類方法難于采用統(tǒng)一的特征或一致的準(zhǔn)則進(jìn)行準(zhǔn)確的聚類分割:太寬松的聚類條件容易導(dǎo)致相鄰的目標(biāo)錯(cuò)誤的合并在一起形成過(guò)合并的結(jié)果；太嚴(yán)格的聚類條件可能錯(cuò)誤的將一個(gè)目標(biāo)分裂為幾個(gè)小塊形成過(guò)分割的結(jié)果。
[0004]本發(fā)明針對(duì)以上問(wèn)題，采用提出的新方法進(jìn)行目標(biāo)分析和檢測(cè)，以得到更精確的目標(biāo)位置。

【發(fā)明內(nèi)容】

[0005]根據(jù)本公開的一個(gè)方面，提供一種用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的方法，包括:針對(duì)輸入的立體圖像，基于立體圖像中的第一類相關(guān)特征、準(zhǔn)則或模型，來(lái)生成至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖，其中，不同的第一第一級(jí)結(jié)構(gòu)圖是利用該第一類相關(guān)特征、準(zhǔn)則或模型的不同嚴(yán)格程度來(lái)生成的，且所述不同的第一第一級(jí)結(jié)構(gòu)圖在不同第一分割程度上包括目標(biāo)；至少部分地結(jié)合所述至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖來(lái)分析立體圖像中的目標(biāo)，以得到包括目標(biāo)的第一級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖。
[0006]根據(jù)本公開的另一方面，提供一種用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的系統(tǒng)，包括:第一第一級(jí)生成裝置，被配置為針對(duì)輸入的立體圖像，基于立體圖像中的第一類相關(guān)特征、準(zhǔn)則或模型，來(lái)生成至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖，其中，不同的第一第一級(jí)結(jié)構(gòu)圖是利用該第一類相關(guān)特征、準(zhǔn)則或模型的不同嚴(yán)格程度來(lái)生成的，且所述不同的第一第一級(jí)結(jié)構(gòu)圖在不同第一分割程度上包括目標(biāo)；第一第一級(jí)分析裝置，被配置為至少部分地結(jié)合所述至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖來(lái)分析立體圖像中的目標(biāo)，以得到包括目標(biāo)的第一級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖。
【附圖說(shuō)明】
[0007]圖1示出了應(yīng)用本發(fā)明的技術(shù)的示例硬件結(jié)構(gòu)。
[0008]圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的方法的示例流程圖。
[0009]圖3示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的方法的示例流程圖。
[0010]圖4A示出了根據(jù)本發(fā)明的再一個(gè)實(shí)施例的用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的具體方法的示例流程圖。圖4B示出了應(yīng)用圖4A所示的方法的過(guò)程的直觀示意圖。
[0011]圖5示出了如圖4A所示地基于不同類相關(guān)特征、準(zhǔn)則或模型來(lái)生成多系列低級(jí)層疊結(jié)構(gòu)金字塔(CSP)的結(jié)構(gòu)圖的過(guò)程的流程圖。
[0012]圖6A-6E示出了基于一類相關(guān)特征、準(zhǔn)則或模型(S卩，空間相鄰性特征)生成一系列低級(jí)層疊結(jié)構(gòu)金字塔(CSP)的示例結(jié)構(gòu)圖、以及結(jié)合該一系列低級(jí)結(jié)構(gòu)圖來(lái)得到包括目標(biāo)的低級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖的過(guò)程的示意圖。
[0013]圖7A示出了結(jié)合關(guān)于空間相鄰性特征的一系列低級(jí)結(jié)構(gòu)圖以及關(guān)于灰度一致性特征的一系列結(jié)構(gòu)圖來(lái)得到另一種包括目標(biāo)的低級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖的過(guò)程的示意圖。圖7B示出了結(jié)合關(guān)于空間相鄰性特征的一系列低級(jí)結(jié)構(gòu)圖以及關(guān)于灰度一致性特征的一系列結(jié)構(gòu)圖來(lái)得到另一種包括目標(biāo)的低級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖的過(guò)程涉及的圖像例子的示意圖。
[0014]圖8A示出了基于圖7A所示的另一種包括目標(biāo)的低級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖來(lái)生成一系列聞級(jí)結(jié)構(gòu)圖。圖8B TK出了基于圖8A所TK的一系列聞級(jí)結(jié)構(gòu)圖來(lái)得到一系列聞級(jí)層疊結(jié)構(gòu)金字塔(CSP)的結(jié)構(gòu)圖。
[0015]圖9示出了結(jié)合圖8A所示的一系列高級(jí)結(jié)構(gòu)圖來(lái)生成包括目標(biāo)的高級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖。
[0016]圖10示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的系統(tǒng)的示例方框圖。
【具體實(shí)施方式】
[0017]現(xiàn)在將詳細(xì)參照本發(fā)明的具體實(shí)施例，在附圖中例示了本發(fā)明的例子。盡管將結(jié)合具體實(shí)施例描述本發(fā)明，但將理解，不是想要將本發(fā)明限于所述的實(shí)施例。相反，想要覆蓋由所附權(quán)利要求限定的在本發(fā)明的精神和范圍內(nèi)包括的變更、修改和等價(jià)物。應(yīng)注意，這里描述的方法步驟都可以由任何功能塊或功能布置來(lái)實(shí)現(xiàn)，且任何功能塊或功能布置可被實(shí)現(xiàn)為物理實(shí)體或邏輯實(shí)體、或者兩者的組合。
[0018]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0019]圖1示出了應(yīng)用本發(fā)明的技術(shù)的示例硬件結(jié)構(gòu)。
[0020]如圖1所示，立體相機(jī)(例如雙目相機(jī))可以將拍攝到的立體圖像傳輸?shù)浇獯a器，解碼器可以將其解碼并轉(zhuǎn)換為任何需要的圖像、例如視差圖、灰度圖等，數(shù)字信號(hào)處理器則可以將目標(biāo)圖像(包括但不限于視差圖、灰度圖)作為輸入，并與存儲(chǔ)設(shè)備交互來(lái)進(jìn)行處理以輸出檢測(cè)到的目標(biāo)和其他相關(guān)數(shù)據(jù)到車輛控制模塊，而車輛控制模塊可以根據(jù)檢測(cè)到的目標(biāo)和其他相關(guān)數(shù)據(jù)來(lái)進(jìn)行車輛的控制，例如識(shí)別行人、車輛、道路、自主駕駛等。其中，數(shù)字信號(hào)處理器可以連接輸入設(shè)備(雙目相機(jī)與解碼器)、輸出設(shè)備(車輛控制模塊)以及存儲(chǔ)設(shè)備。而本公開提出的方法就可以運(yùn)行于該數(shù)字信號(hào)處理器當(dāng)中。
[0021]圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的方法的示例流程圖。
[0022]圖2所示的用層疊結(jié)構(gòu)來(lái)表示立體圖像以分析圖像中的目標(biāo)的方法200包括:步驟S201，針對(duì)輸入的立體圖像，基于立體圖像中的第一類相關(guān)特征、準(zhǔn)則或模型，來(lái)生成至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖，其中，不同的第一第一級(jí)結(jié)構(gòu)圖是利用該第一類相關(guān)特征、準(zhǔn)則或模型的不同嚴(yán)格程度來(lái)生成的，且所述不同的第一第一級(jí)結(jié)構(gòu)圖在不同第一分割程度上包括目標(biāo)；步驟S202，至少部分地結(jié)合所述至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖來(lái)分析立體圖像中的目標(biāo)，以得到包括目標(biāo)的第一級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖。
[0023]在此，還可以將輸入的立體圖像進(jìn)行預(yù)處理，例如，將其轉(zhuǎn)換為視差圖、灰度圖、或進(jìn)行邊緣檢測(cè)得到邊緣檢測(cè)圖，以便于如上所述地、基于立體圖像中的第一類相關(guān)特征、準(zhǔn)則或模型，來(lái)生成至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖。
[0024]在一個(gè)實(shí)施例中，第一類相關(guān)特征、準(zhǔn)則或模型可以包括用于聚類的基于空間相鄰性特征、灰度一致性特征或邊緣連續(xù)性特征或輪廓特征。在一個(gè)實(shí)施例中，該第一類相關(guān)特征、準(zhǔn)則或模型的不同嚴(yán)格程度包括在空間相鄰性特征的情況下的基于固定視差中心或基于可移動(dòng)視差中心的不同空間視差(或距離或深度)閾值的聚類、在灰度一致性特征的情況下的基于不同灰度差閾值的聚類、或在邊緣連續(xù)性特征的基于不同邊緣連續(xù)性閾值的聚類、在輪廓特征的情況下的基于不同的輪廓包含關(guān)系的聚類等。例如，如果要檢測(cè)的對(duì)象、例如人、車一般是豎直站立的，則可以對(duì)視差圖的視差(或距離或深度)參數(shù)設(shè)置一個(gè)視差(或距離或深度)閾值(該閾值可以比較小，因?yàn)閷?duì)象假設(shè)為豎直的)，并根據(jù)該視差(或距離或深度)閾值，對(duì)視差圖進(jìn)行基于固定視差中心或基于可移動(dòng)視差中心的聚類，來(lái)聚類在視差值(或距離或深度值)上小于視差(或距離或深度)閾值的一些像素點(diǎn)以形成分割區(qū)域。這種分割區(qū)域由于視差(或距離或深度)閾值的取值大小而形成過(guò)分割、過(guò)合并或合適大小的情形。另外，由于選擇是基于固定視差中心還是基于可移動(dòng)視差中心來(lái)進(jìn)行上述聚類，也可以形成更小或更大的聚類分割區(qū)域。
[0025]從而，可見(jiàn)，通過(guò)對(duì)第一類相關(guān)特征、準(zhǔn)則或模型的不同嚴(yán)格程度的選擇，來(lái)得到在不同分割程度上包括目標(biāo)的聚類結(jié)構(gòu)圖，可以形成有層次感的一系列聚類結(jié)構(gòu)圖，它們或多或少、或大或小地包括了要檢測(cè)的對(duì)象。當(dāng)然，除了基于空間相鄰性特征來(lái)進(jìn)行聚類的情況，也可以在灰度一致性特征的情況下的基于不同灰度差閾值、或在邊緣連續(xù)性特征的基于不同邊緣連續(xù)性閾值來(lái)得到另外的幾個(gè)系列的有層次感的聚類結(jié)構(gòu)圖，它們也或多或少、或大或小地包括了要檢測(cè)的對(duì)象。
[0026]如果將這些不同分割程度的結(jié)構(gòu)圖按照分割程度更粗到分割程度更細(xì)的順序從上到下排列，貝1J可以構(gòu)建類似于層疊結(jié)構(gòu)金字塔(Cascade Structure Pyramids, CSP)的結(jié)構(gòu)，其中相對(duì)于金字塔底部的結(jié)構(gòu)圖，位于金字塔頂部的結(jié)構(gòu)圖中的信息通常更少、更抽象。之所以稱其為金字塔，正是因?yàn)榘闯砻鼙硎痉?，位于CSP頂部的結(jié)構(gòu)圖更加抽象、數(shù)據(jù)量更小，比位于CSP底部的結(jié)構(gòu)圖更“小”，正如一個(gè)金字塔形。當(dāng)然，該構(gòu)建金字塔的步驟是可選的，僅是為了更直觀地向讀者表達(dá)本發(fā)明的構(gòu)思而已。
[0027]如此，由于不同的第一第一級(jí)結(jié)構(gòu)圖是利用該第一類相關(guān)特征、準(zhǔn)則或模型的不同嚴(yán)格程度來(lái)生成的，因此這種不同的第一級(jí)結(jié)構(gòu)圖可以包括不同分割程度的目標(biāo)，例如，有個(gè)(些)結(jié)構(gòu)圖可能包括較多過(guò)分割的目標(biāo)(即，一個(gè)實(shí)際對(duì)象可能被分割為過(guò)多小區(qū)域)和較少過(guò)合并的目標(biāo)(即，多個(gè)實(shí)際對(duì)象可能被合并為一個(gè)大區(qū)域)，有個(gè)(些)結(jié)構(gòu)圖可能包括較少過(guò)分割的目標(biāo)和可能包括較多過(guò)合并(即欠分割)的目標(biāo)，當(dāng)然，有個(gè)(些)結(jié)構(gòu)圖也可能包括正好大小合適的包括實(shí)際對(duì)象的分割目標(biāo)和可能的少量過(guò)分割、過(guò)合并的分割目標(biāo)。通過(guò)分析這些不同分割程度的結(jié)構(gòu)圖，可以相互校正一些過(guò)分割和過(guò)合并的分割目標(biāo)，從而得到較為精準(zhǔn)的分割目標(biāo)。
[0028]在一個(gè)實(shí)施例中，可以通過(guò)所述在不同第一分割程度上包括目標(biāo)的至少一個(gè)第一第一級(jí)結(jié)構(gòu)圖互相校正，基于目標(biāo)的特征，來(lái)確定在哪種第一分割程度上分割的目標(biāo)更準(zhǔn)確，從而得到包括在確定的第一分割程度上分割的目標(biāo)的第一級(jí)目標(biāo)分析結(jié)果的結(jié)構(gòu)圖。例如，在基于空間相鄰性特征來(lái)聚類的情況下，不同的第一第一級(jí)結(jié)構(gòu)圖具有不同分割程度的分割目標(biāo)。假設(shè)要檢測(cè)的對(duì)象是公交車，則例如目標(biāo)的特征可以包括典型的公交車的高度、寬度的平均值、公交車背面的各個(gè)像素點(diǎn)的視差值(或距離或深度值)差較小(因?yàn)楣卉嚤趁娴湫偷厥秦Q直的且由于雙目相機(jī)拍攝的前方公交車背面通常是背面面對(duì)著雙目相機(jī)的，因此公交車背面的像素點(diǎn)在視差圖上的視差值(或距離或深度值)大致接近)、和/或公交車側(cè)面的垂直線上的各個(gè)像素點(diǎn)的視差值(或距離或深度值)差較小(同樣因?yàn)楣卉噦?cè)面典型地是豎直的)、分割目標(biāo)的內(nèi)部某些點(diǎn)的視差值(或距離或深度值)與其他點(diǎn)的差異不大等等。如此，可以基于公交車這個(gè)具體對(duì)象的特征，來(lái)確定大小近似于預(yù)定大小