一種基于三維光場的靜態(tài)場景前景分割方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是指一種基于三維光場的靜態(tài)場景前景分割 方法和裝置。
【背景技術(shù)】
[0002] 圖像分割指把圖像中具有特殊涵義的不同區(qū)域區(qū)分開來。分割產(chǎn)生的每一個(gè)區(qū)域 都是連通的，區(qū)域內(nèi)像素滿足特定的一致性準(zhǔn)則，而不同的圖像區(qū)域互不相交，彼此之間存 在差異性。在分割概念基礎(chǔ)上，可以將圖像抽象為"前景"和"背景"兩個(gè)類別。其中，圖像 "前景"的概念是相對于"背景"而言的，通常指圖片場景中的人們感興趣的區(qū)域。有效的前 景分割是虛擬場景構(gòu)建、智能視頻監(jiān)控和自然人機(jī)交互等高層次應(yīng)用的前提和基礎(chǔ)。
[0003] 現(xiàn)有靜態(tài)場景中的前景分割方法主要分為基于閾值、基于邊緣、基于區(qū)域以及結(jié) 合其他特定理論的方法等幾個(gè)類別。其中，L.Vincent等提出的分水嶺算法把圖像看作拓 撲地貌，以灰度的局部最小點(diǎn)為中心構(gòu)建集水區(qū)，能夠得到連續(xù)的分割邊界，但在實(shí)際應(yīng)用 中常會(huì)出現(xiàn)過分割問題；Felzenszwalb等提出采用貪婪搜索策略的圖分割方法，該方法能 用成對區(qū)域比較方法獲得全局最優(yōu)解；Chan等基于水平集設(shè)計(jì)了幾何主動(dòng)輪廓模型，較好 地實(shí)現(xiàn)了單目標(biāo)輪廓提取，但在邊緣定位仍然不夠精確。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，本發(fā)明的目的在于提出一種能夠有效、高效實(shí)現(xiàn)圖像分割的基于三維 光場的靜態(tài)場景前景分割方法和裝置。
[0005] 基于上述目的本發(fā)明提供的一種基于三維光場的靜態(tài)場景前景分割方法，包括以 下步驟：
[0006] 通過相機(jī)在一條一維直線上等間隔拍攝一場景的序列圖像以構(gòu)建三維光場，并生 成場景的對極平面圖；
[0007] 使用直線檢測算法提取所述對極平面圖中的直線特征并計(jì)算斜率信息，由所述斜 率信息恢復(fù)場景中不同物體的深度信息，并使用快速插值算法生成整個(gè)場景的深度圖像；
[0008] 對所述深度圖像中的不同物體設(shè)定對應(yīng)的深度閾值，并根據(jù)所述深度閾值對不同 物體進(jìn)行快速分割。
[0009] 優(yōu)選的，在所述三維光場中，任意一條光線L表不為：
[0010]L=LF(x,y,t)
[0011] 其中，t為光線的起點(diǎn)，即所述相機(jī)在所述一維直線上的坐標(biāo)；(x，y)代表光線的 方向，對應(yīng)于圖像中的二維坐標(biāo)值；
[0012] 所述對極平面圖為所述序列圖像在相同y值條件下橫向像素的堆疊，即垂直于y 坐標(biāo)的（x，t)切面；場景中同一物體的像素點(diǎn)在所述對極平面圖中形成一條直線軌跡，且 物體與相機(jī)直線運(yùn)動(dòng)軌跡之間的空間距離正比于該物體在所述對極平面圖中對應(yīng)直線的 斜率。
[0013] 優(yōu)選的，生成所述深度圖像的步驟進(jìn)一步包括：
[0014] 選取所述序列圖像的一幅作為深度恢復(fù)和前景分割的目標(biāo)圖像；
[0015] 使用直線檢測算法從所述對極平面圖中提取直線并確定所有直線區(qū)域；
[0016] 根據(jù)所述直線區(qū)域，在所述目標(biāo)圖像生成直線特征點(diǎn)的斜率分布；
[0017] 根據(jù)所述直線特征點(diǎn)的斜率分布，采用插值算法生成所述目標(biāo)圖像所有像素點(diǎn)的 斜率分布；
[0018] 將所述目標(biāo)圖像所有像素點(diǎn)的斜率分布變換深度分布，再線性映射到灰度區(qū)間 上，最終生成所述深度圖像。
[0019] 優(yōu)選的，使用直線檢測算法提取直線前，對所述對極平面圖進(jìn)行高斯縮放，縮放比 為 0.9〇
[0020] 優(yōu)選的，確定所述直線區(qū)域的步驟包括：
[0021] 對所述對極平面圖中的每一個(gè)像素點(diǎn)，計(jì)算其相對顏色一致的臨近點(diǎn)方向和水平 方向的夾角，該夾角相近的像素點(diǎn)構(gòu)成直線候選區(qū)；
[0022] 用近似的矩形覆蓋每一個(gè)所述直線候選區(qū)，構(gòu)造噪聲模型對所述直線候選區(qū)執(zhí)行 驗(yàn)證，得出所述直線候選區(qū)構(gòu)成直線的概率；
[0023] 設(shè)定直線判定的概率閾值，最終確定所述直線區(qū)域。
[0024] 優(yōu)選的，從所述對極平面圖中提取直線的步驟后，還包括對提取結(jié)果的篩選處理 步驟：
[0025] 僅提取端點(diǎn)落在所述對極平面圖在y軸方向上前十個(gè)像素內(nèi)的直線；
[0026] 將沒有與所述對極平面圖上邊界直接相交的直線延長，計(jì)算推測交點(diǎn)；
[0027] 剔除推測交點(diǎn)超出圖像邊界的直線，將由于延長而出現(xiàn)的兩條重合直線合并為單 條直線。
[0028] 本發(fā)明還提供了一種基于三維光場的靜態(tài)場景前景分割裝置，包括：
[0029] 構(gòu)建模塊，用于通過相機(jī)在一條一維直線上等間隔拍攝一場景的序列圖像以構(gòu)建 三維光場，并生成場景的對極平面圖；
[0030] 深度恢復(fù)模塊，用于使用直線檢測算法提取所述對極平面圖中的直線特征并計(jì)算 斜率信息，由所述斜率信息恢復(fù)場景中不同物體的深度信息，并使用快速插值算法生成整 個(gè)場景的深度圖像；
[0031] 分割模塊，用于對所述深度圖像中的不同物體設(shè)定對應(yīng)的深度閾值，并根據(jù)所述 深度閾值對不同物體進(jìn)行快速分割。
[0032] 優(yōu)選的，所述構(gòu)建模塊生成的所述三維光場中，任意一條光線L表不為：
[0033] L=LF(x,y,t)
[0034] 其中，t為光線的起點(diǎn)，即所述相機(jī)在所述一維直線上的坐標(biāo)；(x，y)代表光線的 方向，對應(yīng)于圖像中的二維坐標(biāo)值；
[0035] 所述對極平面圖為所述序列圖像在相同y值條件下橫向像素的堆疊，即垂直于y 坐標(biāo)的（x，t)切面；場景中同一物體的像素點(diǎn)在所述對極平面圖中形成一條直線軌跡，且 物體與相機(jī)直線運(yùn)動(dòng)軌跡之間的空間距離正比于該物體在所述對極平面圖中對應(yīng)直線的 斜率。
[0036] 優(yōu)選的，所述深度恢復(fù)模塊進(jìn)一步用于：選取所述序列圖像的一幅作為深度恢復(fù) 和前景分割的目標(biāo)圖像；使用直線檢測算法從所述對極平面圖中提取直線并確定所有直線 區(qū)域；根據(jù)所述直線區(qū)域，在所述目標(biāo)圖像生成直線特征點(diǎn)的斜率分布；根據(jù)所述直線特 征點(diǎn)的斜率分布，采用插值算法生成所述目標(biāo)圖像所有像素點(diǎn)的斜率分布；將所述目標(biāo)圖 像所有像素點(diǎn)的斜率分布變換深度分布，再線性映射到灰度區(qū)間上，最終生成所述深度圖 像。
[0037] 優(yōu)選的，所述深度恢復(fù)模塊還包括用于在使用直線檢測算法提取直線前，對所述 對極平面圖進(jìn)行高斯縮放的縮放模塊，所述縮放模塊進(jìn)行縮放的縮放比為0. 9。
[0038] 從上面所述可以看出，本發(fā)明提供的基于三維光場的靜態(tài)場景前景分割方法和裝 置，通過在一條直線等間距的不同視點(diǎn)上拍攝場景的序列圖像構(gòu)建三維光場，用直線檢測 算法從對極平面圖中分析提取出場景邊緣及其深度信息；借助快速插值算法恢復(fù)整個(gè)場景 的深度信息，最終通過閾值法實(shí)現(xiàn)對不同深度的前景物體的分割。本發(fā)明能夠較準(zhǔn)確地恢 復(fù)場景中多個(gè)物體之間的空間關(guān)系，前景分割結(jié)果較好地克服了現(xiàn)有基于區(qū)域聚類和數(shù)學(xué) 形態(tài)學(xué)等方法在復(fù)雜場景應(yīng)用中存在的過分割問題，在針對特定目標(biāo)提取時(shí)有較高的分割 效率。
【附圖說明】
[0039] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0040] 圖1為本發(fā)明優(yōu)選實(shí)施例的基于三維光場的靜態(tài)場景前景分割方法流程圖；
[0041] 圖2為本發(fā)明優(yōu)選實(shí)施例的三維光場描述示意圖；
[0042] 圖3為本發(fā)明優(yōu)選實(shí)施例中物體、成像平面、成像中心路徑之間的幾何關(guān)系示意 圖；
[0043] 圖4(a)為本發(fā)明優(yōu)選實(shí)施例確定直線區(qū)域步驟中的原始圖像像素；
[0044] 圖4(b)為本發(fā)明優(yōu)選實(shí)施例確定直線區(qū)域步驟中的計(jì)算過夾角的像素點(diǎn)；
[0045] 圖4(c)為本發(fā)明優(yōu)選實(shí)施例確定直線區(qū)域步驟中的直線候選區(qū)；
[0046] 圖5(a)為本發(fā)明優(yōu)選實(shí)施例中高斯縮放比為0. 5時(shí)的直線檢測結(jié)果；
[0047] 圖5(b)為本發(fā)明優(yōu)選實(shí)施例中高斯縮放比為0. 9時(shí)的直線檢測結(jié)果；
[0048] 圖5(c)為本發(fā)明優(yōu)選實(shí)施例中高斯縮放比為1. 5時(shí)的直線檢測結(jié)果；
[0049] 圖6(a)為本發(fā)明優(yōu)選實(shí)施例中的原始場景圖像；
[0050] 圖6 (b)為本發(fā)明優(yōu)選實(shí)施例中的EPI;
[0051] 圖6(c)為本發(fā)明優(yōu)選實(shí)施例中的深度圖像；
[0052] 圖7為"Mansion"場景深度圖像直方圖統(tǒng)計(jì)；
[0053] 圖8(a)為對"Church"場景應(yīng)用本發(fā)明的方法進(jìn)行分割的分割結(jié)果；
[0054] 圖8(b)為對"Mansion"場景應(yīng)用本發(fā)明的方法進(jìn)行分割的分割結(jié)果；
[0055] 圖8(c)為對"Statue"場景應(yīng)用本發(fā)明的方法進(jìn)行分割的分割結(jié)果；
[0056] 圖9 (a)為對"〇1111'〇11"、"]\&1118；[011"、"3七31：116"三個(gè)場景使用分水嶺分割算法的分 割結(jié)果；
[0057]圖9 (b)為對"〇1111'(：11"、"]\^118；[011"、"3七31：116"三個(gè)場景使用6四。11(]111:分割算法 的分割結(jié)果；
[0058]圖 9 (c)基于K-means聚類的分割算法的）為對 "Churc