基于多普勒的雷達(dá)圖像分割及光流的制作方法
【專利說明】基于多普勒的雷達(dá)圖像分割及光流 相關(guān)申請的交叉引用
[0001] 本申請是2014年9月19日提交的美國臨時(shí)專利申請序列號為No. 62/052696的 非臨時(shí)申請，其公開內(nèi)容通過引用全部并入本文。
技術(shù)領(lǐng)域
[0002] 本發(fā)明主題設(shè)及使用計(jì)算機(jī)視覺技術(shù)的數(shù)字圖像處理，更具體地設(shè)及處理圖像時(shí) 使用經(jīng)改進(jìn)W使用圖像像素徑向速度信息的計(jì)算機(jī)視覺技術(shù)。
【背景技術(shù)】
[0003] 為了從數(shù)字圖像中提取有用的信息，已有使用多種計(jì)算機(jī)視覺技術(shù)W處理數(shù)字圖 像。例如，圖像分割技術(shù)將圖像分割成多個(gè)區(qū)域來定位圖像中的目標(biāo)和邊界（例如，直線和 曲線）。光流技術(shù)用于研究由觀察者（眼睛或照相機(jī)）和場景之間的相對運(yùn)動(dòng)引起的圖像 中的目標(biāo)、表面和邊緣的運(yùn)動(dòng)。具體地，光流技術(shù)用于估算光流（即，圖像中的一個(gè)像素向 另一圖像中的另一位置運(yùn)動(dòng)的速度）。光流技術(shù)被用于運(yùn)動(dòng)估算、數(shù)據(jù)壓縮、機(jī)器人導(dǎo)航和 目柄跟蹤。

【發(fā)明內(nèi)容】

[0004] 在本發(fā)明的一個(gè)示例性實(shí)施例中，提供一種用于處理圖像序列的方法。所述方法 接收由雷達(dá)生成的圖像序列。每個(gè)圖像包括多個(gè)像素。每個(gè)像素包括徑向速度信息。所述 方法通過將像素的徑向速度信息用作約束來估算圖像序列中的圖像內(nèi)像素的光流。
[0005] 在本發(fā)明的另一個(gè)示例性實(shí)施例中，提供一種用于處理圖像序列的系統(tǒng)。所述系 統(tǒng)包括雷達(dá)，所述雷達(dá)被配置用于生成圖像序列。每個(gè)圖像包括多個(gè)像素。每個(gè)像素包括 徑向速度信息。所述系統(tǒng)還包括圖像處理模塊，所述圖像處理模塊被配置成通過將徑向速 度信息作為約束來估算圖像序列中的圖像內(nèi)像素的光流。
[0006] 在本發(fā)明的另一個(gè)示例性實(shí)施例中，提供一種用于處理圖像序列的計(jì)算機(jī)程序產(chǎn) 品。所述計(jì)算機(jī)程序產(chǎn)品包括存儲有程序指令的計(jì)算機(jī)可讀存儲介質(zhì)。所述程序指令可由 處理電路讀取，使所述處理電路執(zhí)行一種方法。所述方法接收由雷達(dá)生成的圖像序列。每 個(gè)圖像包括多個(gè)像素。每個(gè)像素包括徑向速度信息。所述方法通過將像素的徑向速度信息 作為約束來估算圖像序列中的圖像內(nèi)像素的光流。
[0007] 本發(fā)明還公開了 W下方案。
[000引方案1 :一種用于處理圖像序列的計(jì)算機(jī)實(shí)現(xiàn)方法，包括： 接收由雷達(dá)生成的圖像序列，每個(gè)圖像包括多個(gè)像素，每個(gè)像素包括徑向速度信息；W 及 通過將所述像素的所述徑向速度信息用作約束由計(jì)算機(jī)來估算所述圖像序列中的圖 像內(nèi)的所述像素的光流。
[0009] 方案2 :如方案1所述的方法，其中，所述徑向速度信息表示基于目標(biāo)相對于雷達(dá) 的運(yùn)動(dòng)而由所述雷達(dá)所測量的所述像素的徑向速度。
[0010] 方案3 :如方案1所述的方法，進(jìn)一步包括使用適于使用所述像素的所述徑向速度 信息的光流技術(shù)。 W11] 方案4 :如方案1所述的方法，其中，每個(gè)像素進(jìn)一步包括強(qiáng)度信息，其中，除所述 像素的所述徑向速度信息外，還使用所述強(qiáng)度信息來執(zhí)行所述估算。 陽01引方案5 :如方案1所述的方法，其中，所述像素的所述徑向速度信息被用作約束W 求解所述像素的所述光流的強(qiáng)度恒定約束方程。
[001引方案6 :如方案1所述的方法，其中，所述估算包括假設(shè)與圖像中特定像素在空間 上相鄰的多個(gè)像素的所述徑向速度是恒定的。
[0014] 方案7 :如方案1所述的方法，其中，每個(gè)像素進(jìn)一步包括包括有X坐標(biāo)值、y坐標(biāo) 值和Z坐標(biāo)值的位置信息。
[001引方案8 :-種用于處理圖像序列的系統(tǒng)，包括： 雷達(dá)，其被配置用于生成圖像序列，每個(gè)圖像包括多個(gè)像素，每個(gè)像素包括徑向速度信 息；化及 圖像處理模塊，其被配置成通過將所述像素的所述徑向速度信息用作約束來估算所述 圖像序列中的圖像內(nèi)的所述像素的光流。
[0016] 方案9 :如方案8所述的系統(tǒng)，其中，所述徑向速度信息表示基于目標(biāo)相對于雷達(dá) 的運(yùn)動(dòng)而由所述雷達(dá)所測量的所述像素的徑向速度。
[0017] 方案10 :如方案8所述的系統(tǒng)，其中，所述圖像處理模塊被配置成使用適于使用所 述像素的所述徑向速度信息的光流技術(shù)。
[0018] 方案11 :如方案8所述的系統(tǒng)，其中，每個(gè)像素進(jìn)一步包括強(qiáng)度信息，其中，除所述 像素的所述徑向速度信息外，還使用所述強(qiáng)度信息來執(zhí)行所述估算。
[0019] 方案12 :如方案8所述的系統(tǒng)，其中，所述像素的所述徑向速度信息被用作約束W 求解所述像素的所述光流的強(qiáng)度恒定約束方程。
[0020] 方案13 :如方案8所述的系統(tǒng)，其中，所述圖像處理模塊被配置成通過假設(shè)與圖像 中特定像素在空間上相鄰的多個(gè)像素的所述徑向速度是恒定的進(jìn)行估算。
[0021] 方案14 :如方案8所述的系統(tǒng)，其中，每個(gè)像素進(jìn)一步包括包括有X坐標(biāo)值、y坐標(biāo) 值和Z坐標(biāo)值的位置信息。
[0022] 方案15 :-種用于處理圖像序列的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括： 計(jì)算機(jī)可讀存儲介質(zhì)，其具有實(shí)現(xiàn)在一起的程序指令，所述程序指令可由處理電路讀 取W促使所述處理電路執(zhí)行一種方法，所述方法包括： 接收由雷達(dá)生成的圖像序列，每個(gè)圖像包括多個(gè)像素，每個(gè)像素包括徑向速度信息；W 及 通過將所述像素的所述徑向速度信息用作約束估算所述圖像序列中的圖像內(nèi)的所述 像素的光流。
[002引方案16 :如方案15所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述徑向速度信息表示基于目 標(biāo)相對于雷達(dá)的運(yùn)動(dòng)而由所述雷達(dá)所測量的所述像素的徑向速度。
[0024] 方案17 :如方案15所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述方法進(jìn)一步包括使用適于 使用所述像素的所述徑向速度信息的光流技術(shù)。
[00巧]方案18 :如方案15所述的計(jì)算機(jī)程序產(chǎn)品，其中，每個(gè)像素進(jìn)一步包括強(qiáng)度信息， 其中，除所述像素的所述徑向速度信息外，還使用所述強(qiáng)度信息來執(zhí)行所述估算。
[00%] 方案19 :如方案15所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述像素的所述徑向速度信息 被用作約束W求解所述像素的所述光流的強(qiáng)度恒定約束方程。
[0027] 方案20 :如方案15所述的計(jì)算機(jī)程序產(chǎn)品，其中所述估算包括假設(shè)與圖像中特定 像素在空間上相鄰的多個(gè)像素的所述徑向速度是恒定的。
[0028] 從W下結(jié)合附圖的本發(fā)明的詳細(xì)描述中，可W清楚地得出本發(fā)明的上述特征和優(yōu) 點(diǎn)W及其它特征和優(yōu)點(diǎn)。
【附圖說明】
[0029] 在W下實(shí)施例的詳細(xì)說明中，僅通過舉例的方式示出其它的特征、優(yōu)點(diǎn)和細(xì)節(jié)，該 詳細(xì)說明參照附圖，其中：
[0030] 圖1描述了根據(jù)本發(fā)明實(shí)施例的雷達(dá)和圖像處理系統(tǒng)；
[0031] 圖2是根據(jù)本發(fā)明實(shí)施例的說明處理圖像方法的流程圖；W及
[0032] 圖3是根據(jù)本發(fā)明實(shí)施例的說明處理圖像序列的方法的流程圖。
【具體實(shí)施方式】
[0033] W下描述本質(zhì)上僅是示例性的，而非意在限制本公開、其應(yīng)用或用途。應(yīng)當(dāng)理解， 在整個(gè)附圖中，對應(yīng)的參考標(biāo)記表示相同或相應(yīng)的部件和特征。
[0034] 高分辨率成像雷達(dá)所生成的圖像比常規(guī)雷達(dá)系統(tǒng)所生成的圖像或常規(guī)攝像系統(tǒng) 所生成的圖像攜帶更多的信息。運(yùn)是因?yàn)椋叻直媛食上窭走_(dá)所生成的圖像中示出的目標(biāo) 由顯示所述目標(biāo)更多細(xì)節(jié)的更多數(shù)目的像素來表示，而常規(guī)雷達(dá)系統(tǒng)所生成的圖像中示出 的目標(biāo)為較低分辨率的圖像，其中較少數(shù)量的像素（例如點(diǎn)）表示該目標(biāo)。此外，由于常規(guī) 的攝像系統(tǒng)不捕捉圖像中像素的徑向速度信息，因此高分辨率成像雷達(dá)所生成的圖像比常 規(guī)成像系統(tǒng)所生成的圖像攜帶更多的信息。
[0035] 在實(shí)施例中，除了常規(guī)雷達(dá)所生成的圖像中包括的范圍信息、仰角信息和方位角 信息之外，高分辨率成像雷達(dá)所生成的圖像還包括徑向速度信息。具體地，在實(shí)施例中，高 分辨率成像雷達(dá)所生成的圖像中的每個(gè)像素均包括徑向速度信息、范圍信息、仰角信息、方 位角信息W及所測量的反射強(qiáng)度。像素的徑向速度信息表示基于目標(biāo)相對于雷達(dá)的運(yùn)動(dòng)而 由雷達(dá)所測量的像素的徑向速度。像素的范圍信息表示目標(biāo)和雷達(dá)之間的距離。仰角信息 表示從雷達(dá)到目標(biāo)的仰角。方位角信息表示從雷達(dá)到目標(biāo)的方位角。像素的徑向速度信息、 范圍信息、仰角信息和方位角信息由雷達(dá)使用球面坐標(biāo)系生成。然而，雷達(dá)可被配置成使用 其它坐標(biāo)系，例如笛卡爾坐標(biāo)系，并生成具有根據(jù)其它坐標(biāo)系統(tǒng)的坐標(biāo)信息的像素的圖像。
[0036] 一般而言，本發(fā)明實(shí)施例的方法和系統(tǒng)使得計(jì)算機(jī)視覺技術(shù)適于使用高分辨率成 像雷達(dá)所生成的圖像或帖中的像素的徑向速度信息，并使用所適用的計(jì)算機(jī)視覺技術(shù)處理 一個(gè)或多個(gè)圖像。本發(fā)明實(shí)施例的方法和系統(tǒng)的適于使用徑向速度信息的計(jì)算機(jī)視覺技術(shù) 包括分割技術(shù)和光流技術(shù)。
[0037] 根據(jù)本發(fā)明的示例性實(shí)施例，圖1描繪了圖像處理系統(tǒng)100和雷達(dá)102。在實(shí)施例 中，圖像處理系統(tǒng)100包括一個(gè)或多個(gè)模塊，例如數(shù)據(jù)存儲器104、分割模塊106和光流估算 模塊108。如本文所使用的，術(shù)語"模塊"或"子模塊"是指執(zhí)行一個(gè)或多個(gè)軟件或固件程序 的專用集成電路（ASIC)、電子電路、處理器（共享的、專用的或成組的）和存儲器、組合邏 輯電路和/或其它適合的提供所描述的功能的組件。當(dāng)在軟件中實(shí)現(xiàn)時(shí)，模塊或子模塊可 實(shí)施在存儲器中作為非暫時(shí)性機(jī)器可讀存儲介質(zhì)，其可由處理電路和由所述處理電路執(zhí)行 用于執(zhí)行一種方法的存儲指令來讀取