專利名稱：圖像的感知分割的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，以及更具體地涉及識別對應(yīng)于天空、人類面部、人類皮膚、 植被和圖像內(nèi)能夠通過一個或多個計(jì)算度量或特性來識別的其他此類經(jīng)常遭遇的類型的 區(qū)域的圖像區(qū)域的方法和系統(tǒng)。
背景技術(shù)：
自動化圖像處理在數(shù)十年來已經(jīng)成為廣泛研究的對象，以及圖像處理方法已經(jīng)被 廣泛和有利地應(yīng)用于很多問題領(lǐng)域。隨著便宜的數(shù)字相機(jī)以及便宜且廣泛可用的用于在消 費(fèi)者之間傳輸數(shù)字圖像以及用于通過因特網(wǎng)向消費(fèi)者傳輸數(shù)字圖像和視頻的裝置的到來， 在現(xiàn)代數(shù)字相機(jī)、個人計(jì)算機(jī)、工作站和其他消費(fèi)者電子設(shè)備和系統(tǒng)中越來越頻繁地包括 圖像處理部件和系統(tǒng)。存在很多不同類型的圖像處理方法和系統(tǒng)，且從在大型分布式高吞吐量計(jì)算機(jī)系 統(tǒng)上執(zhí)行的工業(yè)圖像處理系統(tǒng)到在手持式消費(fèi)者電子設(shè)備中執(zhí)行的圖像處理例程的小集 合，圖像處理系統(tǒng)在復(fù)雜性和費(fèi)用上發(fā)生變化。很多圖像處理方法和系統(tǒng)專用于二維照相 圖像和視頻幀的再現(xiàn)、復(fù)原和增強(qiáng)，而其他類型的圖像處理系統(tǒng)則致力于為了廣泛多種不 同的目的對數(shù)字圖像和視頻流中的對象和事件進(jìn)行自動化辨識，所述廣泛多種不同的目的 包括圖像和視頻分類、存儲、和檢索、自動化監(jiān)測、自動化監(jiān)視和跟蹤系統(tǒng)，以及各種其他目 的。在圖像和視頻幀的復(fù)原和增強(qiáng)中以及對于自動化視覺系統(tǒng)，用于識別和標(biāo)記圖像 中特定類型的區(qū)域和特征的能力通常是有用的，且在某些應(yīng)用中甚至可能是關(guān)鍵的。已經(jīng) 開發(fā)了很多不同的方式和方法，例如用于辨識圖像中的人類面部以及對應(yīng)于天空和其他經(jīng) 常遭遇的對象和特征的圖像的區(qū)域。如在多數(shù)計(jì)算過程中那樣，在用于應(yīng)用圖像處理技術(shù) 的計(jì)算開銷和處理時間與圖像和視頻幀中的自動區(qū)域和對象識別的正確度、精度和魯棒性 之間存在基本權(quán)衡。在某些情況下，需要高精度和正確度，而分析和處理的時間不那么重 要。在這些情況下，能夠應(yīng)用一個或多個計(jì)算上開支高且耗時的分析方法，以及可以重復(fù)分 析和處理并對根據(jù)不同技術(shù)所得的結(jié)果進(jìn)行比較和對照以便獲得最大可能正確度和精度。 在其他情況下，諸如在消費(fèi)者電子設(shè)備中視頻幀的實(shí)時處理中，能夠?qū)Ｓ糜趫D像處理的計(jì) 算開銷和時間的量非常受限，并且主要目標(biāo)是在嚴(yán)格的時間和計(jì)算約束下獲得所能獲得的 最高精度和正確度。圖像處理研究者、消費(fèi)電子設(shè)備和圖像處理系統(tǒng)的制造商和分銷商、和 消費(fèi)電子設(shè)備的用戶以及圖像和圖像相關(guān)服務(wù)的消費(fèi)者，均認(rèn)識到對于下述圖像處理方法 和系統(tǒng)的持續(xù)發(fā)展的需求，所述圖像處理方法和系統(tǒng)能夠提高自動化對象和特征辨識的正 確度和精度，以及能夠以計(jì)算高效和時間高效的方式提供自動化對象和特征辨識。

發(fā)明內(nèi)容
本發(fā)明的方法和系統(tǒng)實(shí)施例旨在提供對于數(shù)字編碼的圖像中的區(qū)域的自動化識 別，所述區(qū)域?qū)?yīng)于在數(shù)字編碼的圖像中捕獲的場景的對象和特征，所述自動化識別是一種稱為圖像的“感知(perc印tual)分割”的過程。首先通過各種區(qū)域識別或分割方法中任 何一種來識別圖像中的區(qū)域或片段。對于每個區(qū)域或片段，采用該區(qū)域或片段中的像素的 特征來計(jì)算一個或多個片段特征。該片段特征又被用于將該區(qū)域或片段識別為屬于特定類 型的區(qū)域或片段，以及然后相應(yīng)地將所述區(qū)域標(biāo)注或標(biāo)記為確定類型的區(qū)域或片段。


圖1和圖2示出本發(fā)明的一個圖像處理方法的應(yīng)用。圖3提供了示出根據(jù)本發(fā)明一個實(shí)施例的、用于識別圖像中特定類型的區(qū)域的一 種方式的控制流程圖。圖4示出典型的數(shù)字編碼的圖像。圖5A-D示出四種不同的顏色模型。圖6示出在圖像的二維空間中和在三維RGB顏色空間中像素的相對位置的概念。圖7示出包括暗方形區(qū)域的圖像的部分。圖8示出在連續(xù)數(shù)學(xué)中利用▽算子生成的梯度矢量的離散的基于圖像的類似物 (analog)ο圖9A-B示出二維矩陣中用于每個像素的一種類型的紋理度量的計(jì)算。圖10示出與二維圖像中的像素的四維矢量表示相關(guān)的某些計(jì)算。圖11示出在兩組矢量之間的距離或相似性的度量。圖12A — C示出本發(fā)明的某些實(shí)施例使用的分割過程的初始迭代。圖13A — C提供了示出被用作本發(fā)明的某些方法和系統(tǒng)實(shí)施例的第一步驟的用于 圖像分割的一種方式的控制流程圖。圖14A — B示出圖像中的天空區(qū)域的特定顏色特性。圖15提供了用于在圖3的步驟306中調(diào)用的例程“標(biāo)記圖像”的高級控制流程圖。圖16A-H提供了用于在圖15的步驟1504中調(diào)用的例程“標(biāo)記天空和雪”的控制 流程圖。圖17示出包括人類面部和人類皮膚區(qū)域的例示圖像。圖18示出包括圖17中所示的圖像中的面部的矩形區(qū)域。圖19示出最初在圖17中示出的圖像的圖18中所示的矩形區(qū)域中的像素的劃分。圖20A-D示出一種用于基于最近鄰居的像素分類分配的方式。圖21示出用于圖18和19中所示的圖像的矩形部分的最近鄰居處理的結(jié)果。圖22示出通過向圖18、19和21中所示的圖像的矩形區(qū)域應(yīng)用面部特定顏色模型 所獲得的面部皮膚圖(map)。圖23示出圖27中所示的原始圖像中的標(biāo)記后的面部和皮膚片段。圖M-27提供用于圖15的步驟1506中調(diào)用的例程“標(biāo)記面部和皮膚”的控制流 程圖。圖28A-B提供在兩種不同類型的圖像區(qū)域中的局部方向性的直方圖。圖四-31提供用于圖15的步驟1508中調(diào)用的例程“標(biāo)記植被”的控制流程圖。圖32示出像素特征的概念。圖33示出各種類型的片段特征。
8
圖34提供了用于表示本發(fā)明的一般實(shí)施例的一般感知分割方法的控制流程圖。圖35示出用于識別圖像中的區(qū)域的例程。
具體實(shí)施例方式本發(fā)明針對辨識和識別數(shù)字編碼圖像中與圖像中捕獲的場景中的特定類型的對 象和特征對應(yīng)的對象和區(qū)域，所述對象和區(qū)域包括天空、人類面部、人類皮膚、植被以及其 他此類對象和區(qū)域。圖1和2示出本發(fā)明的一種圖像處理方法的應(yīng)用。圖1示出一個男人 坐在湖或水灣附近草坪上的公園長凳上的數(shù)字編碼照片的視覺再現(xiàn)。圖2示出圖1中所示 的圖像中對應(yīng)于皮膚、天空和植被的區(qū)域的分類或標(biāo)記。沒有對對應(yīng)于公園長凳和男人衣 著的圖像的區(qū)域202以及對應(yīng)于水的圖像的區(qū)域204進(jìn)行分類。但是，給定適當(dāng)?shù)奶匦约?以及采用特性集的方法，能夠通過本發(fā)明的擴(kuò)展實(shí)施例對對應(yīng)于水、衣著、加工過的木頭以 及其他此類對象和特征的圖像區(qū)域另外進(jìn)行分類。圖像區(qū)域的分類或標(biāo)記，諸如圖2中所示的分類，對于廣泛多種另外的圖像處理 相關(guān)方法以及對于各種計(jì)算機(jī)視覺應(yīng)用和圖像規(guī)類應(yīng)用來說是至關(guān)重要的。例如，圖1中 所示的圖像中的廣闊的天空和植被區(qū)域的存在會允許將圖像自動分類為室外場景。這種分 類在對于圖像和視頻的自動化存儲和檢索以及搜索中是有用的。作為另一示例，能夠采用 各種圖像處理技術(shù)來為消費(fèi)者增強(qiáng)數(shù)字圖像，包括銳化細(xì)節(jié)、執(zhí)行以消除噪聲以及圖像捕 獲相關(guān)像差的平滑操作、以及其他此類處理技術(shù)。通過將圖像的區(qū)域適當(dāng)?shù)胤诸悶閷?yīng)于 皮膚、天空和植被，如圖2中所示，能夠?qū)γ總€分類區(qū)域應(yīng)用適于特定類型的對象和特征的 不同處理技術(shù)。例如，很多消費(fèi)者更喜歡照片中經(jīng)過平滑和藍(lán)色歸一化的天空，但是還更喜 歡植被區(qū)域被銳化以提供精細(xì)、明銳的細(xì)節(jié)。類似地，很多消費(fèi)者更喜歡經(jīng)過平滑的身體皮 膚和面部皮膚區(qū)域，以便削弱或去除圖像捕獲相關(guān)像差，包括色差、噪聲和小細(xì)節(jié)，而同時 又更喜歡保留和增強(qiáng)某些提供關(guān)于情緒和表情的信息的面部特征(諸如眼睛)的精細(xì)細(xì)節(jié)。 因此，圖像中區(qū)域的分類允許向那些區(qū)域應(yīng)用區(qū)域類型特定圖像增強(qiáng)方法。作為又一示例， 可以實(shí)現(xiàn)各種計(jì)算機(jī)視覺應(yīng)用來辨識圖像中的人員甚而特定的個體，以及這些分析可以通 過從對應(yīng)于人類面部的圖像的準(zhǔn)確識別區(qū)域開始而被促進(jìn)。以下討論分為幾個分部。在第一分部中，在高級別概述根據(jù)本發(fā)明的一種用于圖 像的感知分割的方式。在第二分部中，提供數(shù)字編碼的圖像和顏色模型的概述。在第三分 部中，介紹了各種數(shù)學(xué)圖像處理概念。在第四分部中，討論了一種用于初始圖像分割的方 式。在第五部分中，討論了圖像中的藍(lán)色天空區(qū)域的特性，以及還有對于一般的區(qū)域類型特 定顏色模型的討論。在第六部分中，提供在第一分部中概述的、根據(jù)本發(fā)明的用于圖像的感 知分割的方式的詳細(xì)討論。在第七分部中，討論了根據(jù)本發(fā)明的用于感知分割的一般方式。禾艮據(jù)本發(fā)日月的一種用于S像的感知分害I丨的方式 徹既沭
圖3提供了示出根據(jù)本發(fā)明一個實(shí)施例的一種用于識別圖像中的特定類型的區(qū)域的 方式的控制流程圖。如對于熟悉自動化和圖像處理的技術(shù)人員來說應(yīng)顯而易見的是，本發(fā) 明的方法實(shí)施例涉及實(shí)際上僅能夠由在計(jì)算機(jī)系統(tǒng)上執(zhí)行的計(jì)算機(jī)程序執(zhí)行的復(fù)雜的、乏 味的數(shù)值計(jì)算。如熟悉計(jì)算的技術(shù)人員所公知的，計(jì)算機(jī)程序的執(zhí)行將通用計(jì)算機(jī)系統(tǒng)轉(zhuǎn) 換為專用圖像處理系統(tǒng)，其一個部件是提供高級控制和功能的計(jì)算機(jī)程序。在步驟302，通過例程“感知分割和標(biāo)記”來接收待對其應(yīng)用區(qū)域識別方法的一個或多個圖像。除了所述一個或多個圖像之外，該例程還可以接收各種參數(shù)、閾值、規(guī)則和 試探法(heuristics)，其可以控制分割和標(biāo)記以及將所述分析適應(yīng)于特定類型的圖像和區(qū) 域。在某些實(shí)施例中，這些參數(shù)和閾值的值，以及任何提供的規(guī)則和試探法，可以編碼在實(shí) 現(xiàn)圖像的感知分割的例程中，或可以在處理圖像的過程中或在特定訓(xùn)練會話期間由圖像處 理系統(tǒng)來發(fā)現(xiàn)，在所述特定訓(xùn)練會話期間，使用人類反饋來確定和改進(jìn)參數(shù)和閾值的值并 且發(fā)展和改進(jìn)規(guī)則和試探法。在下面的討論中，參數(shù)和閾值以及規(guī)則和試探法，就像被編碼 在特定例程中那樣進(jìn)行了討論。應(yīng)該理解，在本發(fā)明的替代實(shí)施例中，參數(shù)和閾值的值，以 及各種規(guī)則和試探法，可以從數(shù)據(jù)庫獲得，可以從用戶或管理員交互獲得，可以隨著時間及 在訓(xùn)練會話期間進(jìn)行定義、發(fā)展和改進(jìn)，和/或可以替代地指定。在步驟304-308的for循環(huán)中，連續(xù)地對每個接收的圖像進(jìn)行處理。在步驟305 中，根據(jù)如在下文中詳細(xì)描述的顏色和紋理，對當(dāng)前處理的圖像進(jìn)行分割。然后，在步驟306 中，步驟305中構(gòu)建的圖像中的能夠識別為屬于圖像中某些類型的區(qū)域(在所述的實(shí)施例 中包括天空、人類面部、人類皮膚和植被)的那些片段根據(jù)所述識別進(jìn)行標(biāo)記，而那些無法 識別的片段則保持未分類，或等效地保持標(biāo)記為“未知”或“未識別”。通常，在標(biāo)記之后，在 步驟307對標(biāo)記后的區(qū)域的指示進(jìn)行電子存儲，以用于在步驟310中的后續(xù)輸出。但是，在 替代實(shí)施例中，圖像中所識別的區(qū)域的類型的指示可以立即輸出到圖像處理系統(tǒng)的其他部 件或顯示給用戶。數(shù)字編碼圖像和顏餼模型的概述
下面的討論集中于二維數(shù)字編碼圖像。此類圖像構(gòu)成了當(dāng)前由圖像處理系統(tǒng)處理的批 量圖像，以及包括靜態(tài)數(shù)字照片、視頻流中的視頻幀、數(shù)字編碼圖、繪圖和其他藝術(shù)品、以及 其他此類二維圖像。但是，可以對附加類型的數(shù)字編碼圖像采用本發(fā)明的方法和系統(tǒng)實(shí)施 例，所述附加類型的數(shù)字編碼圖像包括存儲為立體像對或按各種類型的真實(shí)三維表示存儲 的三維圖像。圖4示出典型的數(shù)字編碼圖像。該圖像包括像素402的二維陣列。在圖4中，每 個小方塊(諸如方塊404)是像素，其通常定義為圖像的最小粒度部分，其顏色或灰度值能夠 在數(shù)字編碼中進(jìn)行數(shù)值指定。像素尺寸通常與圖像捕獲光學(xué)器件以及顯示和打印機(jī)設(shè)備的 能力相關(guān)。每個像素在圖像中具有位置，其通常表示為分別對應(yīng)于正交的χ軸406和y軸408 的一對數(shù)值。因此，例如，像素404具有x、y坐標(biāo)(39，0)，而像素412具有坐標(biāo)(0，0)。在數(shù) 字編碼中，每個像素與一個或多個數(shù)值相關(guān)聯(lián)，所述一個或多個數(shù)值指定對應(yīng)于該像素的 圖像的區(qū)域在打印時如何再現(xiàn)、在顯示設(shè)備屏幕上如何顯示，或如何由某種其他裝置以其 他方式再現(xiàn)。通常，對于黑白圖像來說，在值的集合{0，1，. . .，255}中的單個數(shù)值用于表示 每個像素，不過在替代數(shù)字編碼中也可以使用值的其他范圍，諸如{0，1，...，65535}。該數(shù) 值指定在其再現(xiàn)像素的灰度級，其中值“0”表示黑色，以及值“255”表示白色。對于彩色圖 像，可以采用各種不同的顏色指定數(shù)值集、顏色空間坐標(biāo)集或顏色分量集中的任何一種。在 一種常見的顏色模型中，如圖4中所示，每個像素與三個值相關(guān)聯(lián)，或與顏色分量(r，g，b) 相關(guān)聯(lián)，所述顏色分量(r，g, b)根據(jù)RGB顏色模型指定要在對應(yīng)于該像素的區(qū)域中顯示的 顏色的紅色、綠色和藍(lán)色分量。圖5A-D示出四種不同的顏色模型。圖5A示出RGB顏色模型的一個版本。如上參考圖4所討論的，顏色的整個譜由三個原色分量(r，g, b)來表示。這些能夠認(rèn)為是三維顏 色空間中的坐標(biāo)。在RGB顏色模型中，不同顏色能夠被認(rèn)為對應(yīng)于由三個正交軸r 504、g 506和b 508定義的三維顏色空間的單位立方體502中的不同點(diǎn)。沿著三個原色軸中的每 個軸，單獨(dú)顏色分量從0. 0變化到1. 0。例如具有可能最大強(qiáng)度和飽和度的純藍(lán)色對應(yīng)于b 軸上坐標(biāo)為(0，0，1)的點(diǎn)510。顏色白色對應(yīng)于坐標(biāo)為(1，1，1)的點(diǎn)512，而顏色黑色對應(yīng) 于坐標(biāo)為(0，0，0)的點(diǎn)514，該點(diǎn)514是坐標(biāo)系統(tǒng)的原點(diǎn)。 圖5B示出不同的顏色模型，稱為“HSI”顏色模型或“色調(diào)-飽和度-強(qiáng)度”顏色模 型。在此顏色模型中，所有可能的顏色被包含于三維三角雙錐522中。完全飽和的顏色紅 色、藍(lán)色和綠色分別對應(yīng)于點(diǎn)525、5沈和527，而白色和黑色分別對應(yīng)于點(diǎn)5M和528。對 于在圖6中由點(diǎn)530表示的任意顏色來說，色調(diào)定義為與從點(diǎn)525到三角雙錐的垂直軸534 的矢量之間的角度532，飽和度由點(diǎn)610距垂直軸614的距離d’除以通過點(diǎn)610的從垂直 軸614到三角雙錐外部的水平線的長度d’，的比值來表示，以及強(qiáng)度是從點(diǎn)610到表示黑 色的點(diǎn)608的水平的垂直距離。HSI顏色模型中的特定顏色的分量或坐標(biāo)(h，s, i)能夠如 下從RGB顏色模型中的顏色分量(r，g, b)獲得
權(quán)利要求
1.一種感知分割系統(tǒng)，包括 計(jì)算機(jī)；以及一個或多個感知分割程序，其存儲在所述計(jì)算機(jī)內(nèi)并由所述計(jì)算機(jī)執(zhí)行，所述感知分 割程序識別圖像中的區(qū)域； 對于每個識別的區(qū)域，為所述區(qū)域中的像素計(jì)算或獲取一個或多個像素特征值中的每一個， 使用為所述區(qū)域中的像素計(jì)算或獲取的該一個或多個像素特征值，計(jì)算一個或多個區(qū) 域特征值，以及使用所述一個或多個區(qū)域特征值，確定所述區(qū)域的區(qū)域類型并將所述區(qū)域類型與所述 區(qū)域相關(guān)聯(lián)；以及存儲所述區(qū)域類型與區(qū)域的關(guān)聯(lián)，以供在后續(xù)圖像處理任務(wù)中使用。
2.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，存儲在所述計(jì)算機(jī)內(nèi)并由所述計(jì)算機(jī) 執(zhí)行的所述一個或多個感知分割程序通過如下步驟來識別圖像中的區(qū)域識別第一組區(qū)域，所述第一組區(qū)域中的每個區(qū)域具有低于初始邊緣度閾值的測量的邊 緣度，其中，將邊緣度測量為對于每個區(qū)域計(jì)算的平均梯度幅值；以及 迭代地，提升所述邊緣度閾值，識別下一組區(qū)域，所述下一組區(qū)域中的每個區(qū)域具有低于當(dāng)前邊緣度閾值的測量的邊 緣度；以及當(dāng)對于任何區(qū)域?qū)?，該對區(qū)域的兩個區(qū)域的相似度的度量大于閾值且該兩個區(qū)域的鄰 近度的度量大于鄰近度閾值時，將所述下一組區(qū)域中的任何區(qū)域成對地與先前識別的區(qū)域 融合，直到圖像的所有部分被合并到區(qū)域內(nèi)。
3.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，存儲在計(jì)算機(jī)內(nèi)并由所述計(jì)算機(jī)執(zhí)行的所述一個或多個感知分割程序進(jìn)一步通 過以下步驟來識別圖像中的區(qū)域 迭代地，為圖像中的每對區(qū)域計(jì)算兩個區(qū)域之間的距離，以及將具有最小的計(jì)算的距離的高達(dá)最大數(shù)量的區(qū)域?qū)θ诤系綄?yīng)的單個區(qū)域內(nèi)，直到獲 得期望數(shù)量η個區(qū)域，η個得到的區(qū)域構(gòu)成初始片段； 其中，所述圖像被數(shù)字編碼為像素的陣列；其中，每個像素與三個顏色模型分量以及計(jì)算為圖像中的該像素的局部熵的紋理分量 相關(guān)聯(lián)，所述三個顏色模型分量和所述紋理分量構(gòu)成四維矢量的分量；以及其中，在兩個區(qū)域之間的距離是馬氏距離、平方馬氏距離、或根據(jù)在為兩個區(qū)域中的每 個區(qū)域計(jì)算的平均四維矢量之間的馬氏距離計(jì)算的值。
4.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，存儲在計(jì)算機(jī)內(nèi)且由所述計(jì)算機(jī)執(zhí)行 的所述一個或多個感知分割程序通過如下步驟來識別圖像中的區(qū)域?yàn)閳D像的每個像素計(jì)算局部梯度幅值；以及 選擇具有最大的局部梯度幅值的像素作為分離區(qū)域的邊界像素。
5.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，存儲在計(jì)算機(jī)內(nèi)且由所述計(jì)算機(jī)執(zhí)行 的所述一個或多個感知分割程序通過如下步驟來識別圖像中的區(qū)域?qū)τ谠S多特定對象識別方法中的每種方法，應(yīng)用所述對象識別方法來定位圖像中特定類型的對象的出現(xiàn)；以及對通過所述對象識別方法識別的兩個或更多對象的重疊的任何區(qū)域進(jìn)行去模糊。
6.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，與像素相關(guān)聯(lián)的像素特征包括以下的 一個或多個一個或多個固有的像素特征，包括 灰度值，以及根據(jù)顏色模型指定像素的顏色的三個值； 一個或多個數(shù)值，其指定圖像中像素的空間位置；根據(jù)所述像素和位于所述像素的鄰域中的附加像素的像素特征值計(jì)算的數(shù)值；以及 通過將一個或多個固有的像素值與像素特征值的模型或分布進(jìn)行比較所計(jì)算的數(shù)值。
7.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，與片段或區(qū)域相關(guān)聯(lián)的片段特征包括 以下的一個或多個根據(jù)在所述片段或區(qū)域中的像素的像素特征值計(jì)算的平均值、中值或其他數(shù)學(xué)值；為所述片段或區(qū)域計(jì)算的面積；為所述片段或區(qū)域計(jì)算的相對面積；指定圖像中的所述片段或區(qū)域的位置的數(shù)值；指示圖像中的區(qū)域的定向的一個或多個數(shù)值；為所述片段或區(qū)域計(jì)算的形態(tài)特性；通過將根據(jù)所述片段或區(qū)域中的像素的像素特征值所計(jì)算的值與模型或分布進(jìn)行比 較所計(jì)算的值；根據(jù)所述像素和位于所述像素的鄰域中的附加像素的像素特征值所計(jì)算的數(shù)值； 通過將一個或多個固有的像素值與像素特征值的模型或分布進(jìn)行比較所計(jì)算的數(shù)值；以及根據(jù)所述片段或區(qū)域和位于所述片段或區(qū)域的鄰域中的附加片段或區(qū)域的片段特征 值所計(jì)算的數(shù)值。
8.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，存儲在計(jì)算機(jī)內(nèi)并由所述計(jì)算機(jī)執(zhí)行的所述一個或多個感知分割程序?yàn)樗鰣D 像計(jì)算全局統(tǒng)計(jì)量；其中，存儲在計(jì)算機(jī)內(nèi)并由所述計(jì)算機(jī)執(zhí)行的所述一個或多個感知分割程序?yàn)閳D像的 每個片段或區(qū)域計(jì)算 每片段統(tǒng)計(jì)量，所述片段對應(yīng)于圖像的藍(lán)色天空區(qū)域的概率P (藍(lán)色天空)， 所述片段對應(yīng)于圖像的灰色天空區(qū)域的概率P (灰色天空)，以及 所述片段對應(yīng)于圖像的雪區(qū)域的概率P(雪)；以及其中存儲在計(jì)算機(jī)內(nèi)并由所述計(jì)算機(jī)執(zhí)行的所述一個或多個感知分割程序使用所計(jì) 算的概率P(藍(lán)色天空)、P(灰色天空)以及P(雪)識別和標(biāo)記圖像中對應(yīng)于天空區(qū)域的片段。
9.根據(jù)權(quán)利要求8所述的感知分割系統(tǒng)，其中，為片段計(jì)算的概率P(藍(lán)色天空)與下述因素相關(guān)圖像中所述片段的位置，片段 中的顏色，片段的尺寸，為所述片段計(jì)算的紋理，為所述片段計(jì)算的強(qiáng)度，以及所述片段內(nèi) 沿著兩條正交跡線的顏色變化與藍(lán)色天空的期望顏色變化的對應(yīng)性；其中，為片段計(jì)算的概率P(灰色天空)與下述因素相關(guān)圖像中所述片段的位置，片段 中的顏色，片段的尺寸，為所述片段計(jì)算的紋理，以及為所述片段計(jì)算的強(qiáng)度；以及其中，為片段計(jì)算的概率P (雪)與下述因素相關(guān)圖像中所述片段的位置，片段中的顏 色，片段的尺寸，為所述片段計(jì)算的紋理，以及為所述片段計(jì)算的強(qiáng)度。
10.根據(jù)權(quán)利要求9所述的感知分割系統(tǒng)，其中，存儲在計(jì)算機(jī)內(nèi)并由所述計(jì)算機(jī)執(zhí) 行的所述一個或多個感知分割程序通過如下步驟使用所計(jì)算的概率P (藍(lán)色天空)、P (灰色 天空)以及P (雪)識別和標(biāo)記圖像中對應(yīng)于天空區(qū)域的片段對于圖像中的每個片段，當(dāng)為所述片段計(jì)算的P(藍(lán)色天空)大于閾值且大于P(灰色天空)和P(雪)時，最初 將所述片段標(biāo)記為“藍(lán)色天空”，否則，當(dāng)為所述片段計(jì)算的P(灰色天空)大于閾值且大于P(雪)時，最初將所述片段 標(biāo)記為“灰色天空”，否則，當(dāng)為所述片段計(jì)算的P(雪)大于閾值時，最初將所述片段標(biāo)記為“雪”，以及 否則，將所述片段留著未標(biāo)記，或等效地標(biāo)記為“未知”，以及選擇主導(dǎo)天空顏色并將表示具有所述主導(dǎo)天空顏色的天空的可能性大于閾值的那些 片段標(biāo)記為天空，而對表示具有所述主導(dǎo)天空顏色的天空的可能性低于所述閾值的先前標(biāo) 記的片段去標(biāo)記。
11.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，還包括，在將區(qū)域類型與所識別的區(qū)域相 關(guān)聯(lián)之后，所述一個或多個感知分割程序，為一個或多個特定區(qū)域類型中的每個類型根據(jù)與所述特定區(qū)域類型相關(guān)聯(lián)的區(qū)域，計(jì)算顏色模型；以及 向所述圖像的其他區(qū)域應(yīng)用所述顏色模型，以識別對應(yīng)于所述特定區(qū)域類型的圖像的 任何附加像素或區(qū)域，如通過在其他片段的顏色與所計(jì)算的顏色模型之間進(jìn)行比較所確定 的。
12.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，存儲在計(jì)算機(jī)中并由所述計(jì)算機(jī)執(zhí) 行的所述一個或多個感知分割程序通過如下步驟來識別對應(yīng)于表示人類皮膚的圖像中的 區(qū)域的圖像中的片段并標(biāo)記所述片段檢測所述圖像中的面部； 對于每個檢測到的面部， 確定包括所述面部的所述圖像的矩形區(qū)域，基于一般皮膚顏色模型和像素位置將所述矩形區(qū)域劃分成面部分類和非面部分類， 基于所述面部分類，為所述面部確定面部特定顏色模型， 為所述矩形區(qū)域生成面部皮膚圖，基于由面部皮膚圖識別為對應(yīng)于面部皮膚的矩形區(qū)域中的像素，生成身體皮膚模型，以及基于所述身體皮膚模型，識別對應(yīng)于身體皮膚區(qū)域的圖像中的附加片段。
13.根據(jù)權(quán)利要求1所述的感知分割系統(tǒng)，其中，存儲在計(jì)算機(jī)中并由所述計(jì)算機(jī)執(zhí) 行的所述一個或多個感知分割程序，通過如下步驟來標(biāo)記對應(yīng)于表示植被的圖像中的區(qū)域 的圖像中的片段對于圖像中的每個未標(biāo)記的片段，基于植被的顏色模型，計(jì)算所述片段對應(yīng)于圖像中的植被的區(qū)域的概率P (植被)， 基于森林的顏色模型，計(jì)算所述片段對應(yīng)于圖像中的森林的區(qū)域的概率P (森林)， 基于森林的顏色模型，計(jì)算所述片段對應(yīng)于圖像中的地面的區(qū)域的概率P (地面)， 當(dāng)P (植被)大于P (森林)和P (地面)之一且大于閾值時，將所述片段標(biāo)記為植被，以及否則，通過如下步驟，基于所述片段對應(yīng)于圖像的自然區(qū)域而非圖像的人造區(qū)域的計(jì) 算的概率P(自然)，對所述片段進(jìn)行標(biāo)記當(dāng)P(自然)大于閾值，P(植被)大于閾值，且為所述片段計(jì)算的強(qiáng)度小于閾值強(qiáng)度時， 將所述片段標(biāo)記為植被，以及當(dāng)P(自然)大于閾值，P(森林)大于閾值，且為所述片段計(jì)算的強(qiáng)度小于閾值強(qiáng)度時， 將所述片段標(biāo)記為植被。
14.一種用于圖像的感知分割的方法，包括 識別圖像中的區(qū)域；對于每個識別的區(qū)域，為所述區(qū)域中的像素計(jì)算或獲取一個或多個像素特征值中的每一個， 使用為所述區(qū)域中的像素計(jì)算或獲取的所述一個或多個像素特征值來計(jì)算一個或多 個區(qū)域特征值，以及使用所述一個或多個區(qū)域特征值來確定所述區(qū)域的區(qū)域類型，并將所述區(qū)域類型與所 述區(qū)域相關(guān)聯(lián)；以及存儲所述區(qū)域類型與區(qū)域的關(guān)聯(lián)，以供后續(xù)圖像處理任務(wù)中使用。
15.根據(jù)權(quán)利要求14所述的方法，其中，與像素相關(guān)聯(lián)的像素特征包括以下的一個或多個 一個或多個固有的像素特征，包括 灰度值，以及根據(jù)顏色模型指定像素的顏色的三個值， 一個或多個數(shù)值，其指定圖像中的像素的空間位置，根據(jù)所述像素和位于所述像素的鄰域中的附加像素的像素特征值計(jì)算的數(shù)值，以及通過將一個或多個固有的像素值與像素特征值的模型或分布比較所計(jì)算的數(shù)值；以及其中，與片段或區(qū)域相關(guān)聯(lián)的片段特征包括以下的一個或多個根據(jù)在所述片段或區(qū)域中的像素的像素特征值計(jì)算的平均值、中值或其他數(shù)學(xué)值；為所述片段或區(qū)域計(jì)算的面積；為所述片段或區(qū)域計(jì)算的相對面積；指定圖像中的所述片段或區(qū)域的位置的數(shù)值；指示圖像中的區(qū)域的定向的一個或多個數(shù)值；為所述片段或區(qū)域計(jì)算的形態(tài)特性；通過將根據(jù)所述片段或區(qū)域中的像素的像素特征值所計(jì)算的值與模型或分布比較所 計(jì)算的值；根據(jù)所述像素和位于所述像素的鄰域中的附加像素的像素特征值所計(jì)算的數(shù)值； 通過將一個或多個固有的像素值與像素特征值的模型或分布比較所計(jì)算的數(shù)值；以及 根據(jù)所述片段或區(qū)域和位于所述片段或區(qū)域的鄰域中的附加片段或區(qū)域的片段特征 值所計(jì)算的數(shù)值。
全文摘要
本發(fā)明的方法和系統(tǒng)實(shí)施例旨在提供對于數(shù)字編碼的圖像中的區(qū)域的自動化識別，所述區(qū)域?qū)?yīng)于在數(shù)字編碼的圖像中捕獲的場景的對象和特征，所述自動化識別是一種稱為圖像的“感知分割”的過程。首先通過各種區(qū)域識別或分割方法中任何一種來識別圖像中的區(qū)域或片段。對于每個區(qū)域或片段，采用該區(qū)域或片段中的像素的特征來計(jì)算一個或多個片段特征。該片段特征又被用于將該區(qū)域或片段識別為屬于特定類型的區(qū)域或片段，以及然后相應(yīng)地將所述區(qū)域標(biāo)注或標(biāo)記為確定類型的區(qū)域或片段。
文檔編號G06T7/00GK102113014SQ200880130640
公開日2011年6月29日 申請日期2008年7月31日 優(yōu)先權(quán)日2008年7月31日
發(fā)明者G·拉肯施泰因, H·納赫利利, R·伯格曼 申請人:惠普開發(fā)有限公司