專利名稱：：基于照片位置對圖像區(qū)域分類的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明的領(lǐng)域涉及數(shù)字圖像捕捉裝置以及基于記錄的拍照位置信息對圖像區(qū)域分類。
背景技術(shù)：
：圖像理解中的一基本任務(wù)是計算確定圖像的區(qū)域(連接的像素位置的組)或像素表示特定材料的可能性，也被稱為區(qū)域分類或區(qū)域標記。這可以是非常困難的，尤其當計算機缺乏關(guān)于圖像的上下文信息時。當前技術(shù)將得自圖像的特征用于生成置信圖(briefmap)(例如，在天空檢測的情形中，共同轉(zhuǎn)讓的美國專利申請序號10/747,597)。例如，圖像中的白色區(qū)域可能或可能不表示雪。因為難以產(chǎn)生可被用于魯棒分類的特征，主要因為許多材料共享類似的顏色和紋理特性(例如，雪和云)，這種技術(shù)經(jīng)常產(chǎn)生不正確的結(jié)果。在相關(guān)的任務(wù)中，有時有必要將整個圖像分類到已知的分類之一。例如，在許多情況下，將數(shù)字圖像分類為或者室外圖像或者室內(nèi)圖像是有用的。通過單獨使用圖像數(shù)據(jù)執(zhí)行這種任務(wù)也是非常困難的并且易于出錯。在美國專利6，504,571中，圖像具有相關(guān)聯(lián)的地理捕捉信息。將查詢轉(zhuǎn)換成綿度和經(jīng)度查詢。例如，對于在沙灘上捕捉的圖像的搜索使系統(tǒng)顯示沙灘的列表。用類似的方式處理例如體育館、公園或湖的位置。盡管這種方法確實提供了用于找到在特定位置捕捉的圖像的效用，其并不幫助確定在圖像自身內(nèi)的內(nèi)容即區(qū)域標記。例如，系統(tǒng)將不區(qū)分在海灘上的房子內(nèi)捕捉的圖像和在相同位置捕捉的海洋的圖像。此外，例如美國專利號5，506，644和5,247，356的描述與圖像相關(guān)聯(lián)的位置信息的其他系統(tǒng)，類似地并不有助于確定圖像內(nèi)容或在圖像內(nèi)表示的材料。例如，系統(tǒng)將不定位圖像內(nèi)的房子或沙。因此，需要設(shè)計用于在利用連同圖像一起捕捉的地理位置信息的同時對數(shù)字圖像中的特定材料和對象的區(qū)域分類的方法。
發(fā)明內(nèi)容本發(fā)明的一個目的在于方便采用捕捉的地理位置信息對通過數(shù)字圖像捕捉裝置捕捉的數(shù)字圖像的區(qū)域分類。通過對圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法來實現(xiàn)該目的，該方法包括提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置，將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時間測量圖像捕捉位置，以及基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個或多個類。圖1是表示可實施本發(fā)明的數(shù)字圖像捕捉裝置的框圖2是表示圖1中的數(shù)字圖像捕捉裝置的操作的框圖，該操作用于產(chǎn)生多個類標記的材料置信圖3是表示將圖2中的數(shù)字圖像捕捉裝置的輸出用于改善數(shù)字圖像的操作的框圖4是表示對數(shù)字圖像中的區(qū)域分類的操作的框圖；以及圖5是表示用于集成地理位置信息的場景配置模型的圖。具體實施例方式圖1示出了例如數(shù)字照相機、數(shù)字攝像機或照相手機的現(xiàn)有技術(shù)數(shù)字圖像捕捉裝置10。圖像捕捉裝置包括用戶輸入22。如所示的，用戶輸入22是按鈕，但用戶輸入22還可以是例如操縱桿或觸摸屏。用戶通過用戶輸入22來命令圖像捕捉裝置10的操作，例如通過選擇圖像捕捉裝置10的操作模式。圖像捕捉裝置IO還包括顯示器30,用戶可以在其上預(yù)覽當壓下捕捉按鈕15時圖像捕捉裝置IO捕捉的圖像。還與用戶輸入22—起使用顯示器30以便用戶可以導(dǎo)航通過菜單。如在數(shù)字圖像捕捉裝置上通常使用的，顯示器30可以是例如液晶顯示器(LCD)或有機發(fā)光二極管(OLED)屏幕。菜單允許用戶選擇圖像捕捉裝置的操作的偏好。圖像捕捉裝置可捕捉或者靜止圖像或者例如視頻流的快速連續(xù)的圖像。在圖1中示出的一般控制計算機40將本發(fā)明存儲為計算機可讀存儲介質(zhì)中的計算機程序，計算機可讀存儲介質(zhì)可包括例如例如磁盤(例如軟盤)或磁帶的磁存儲介質(zhì)；例如光盤、光帶或機器可讀條形碼的光學(xué)存儲介質(zhì)；或例如隨機存取存儲器(RAM)或只讀存儲器(ROM)的固態(tài)電子存儲裝置。本發(fā)明的相關(guān)計算機程序?qū)崿F(xiàn)還可以被存儲在由存儲裝置70指示的任何其他用于存儲計算機程序的物理裝置或介質(zhì)上?？刂朴嬎銠C40負責(zé)控制在圖像捕捉裝置10的元件之間的數(shù)據(jù)的傳輸。例如，控制計算機40確定用戶壓下捕捉按鈕15并啟動通過圖像傳感器34的圖像捕捉。圖像處理器36用于處理數(shù)字圖像，以使得圖像顯示裝置30產(chǎn)生樣子合意的圖像的方式，進行數(shù)字圖像的總亮度、色調(diào)等級(tonescale)或圖像結(jié)構(gòu)的調(diào)整。那些本領(lǐng)域的技術(shù)人員將認識到本發(fā)明不受限于僅這些提及的圖像處理功能。數(shù)據(jù)處理器20用于處理源自數(shù)字圖像的圖像信息以及源自地理位置確定器325的位置信息363,以便產(chǎn)生用于圖像處理器36或用于控制計算機40的元數(shù)據(jù)。在以下將更詳細地描述數(shù)據(jù)處理器20的操作。還應(yīng)當指出，本發(fā)明可以被實現(xiàn)于軟件或硬件的組合中并且不限于物理連接的或位于相同物理位置內(nèi)的裝置。在圖1中例示的裝置中的一個或多個可以位于遠程，并且可通過無線連接來連接。數(shù)字圖像由一個或多個數(shù)字圖像通道構(gòu)成。每個數(shù)字圖像通道由像素的二維陣列構(gòu)成。每個像素值與圖像捕捉裝置接收的對應(yīng)于像素的物理區(qū)域的光量相關(guān)。對于彩色成像應(yīng)用來說，數(shù)字圖像將通常由紅色、綠色和藍色數(shù)字圖像通道構(gòu)成。運動成像應(yīng)用可被認為是數(shù)字圖像的序列。那些本領(lǐng)域的技術(shù)人員將認識到本發(fā)明可以被應(yīng)用于但不局限于以上提及的應(yīng)用中的任何應(yīng)用的數(shù)字圖像通道。盡管將數(shù)字圖像通道描述為按照行和列布置的像素值的二維陣列，那些本領(lǐng)域的技術(shù)人員將認識到本發(fā)明可以被應(yīng)用于非直線陣列而具有同等效果。那些本領(lǐng)域的技術(shù)人員還將認識到對于以下描述的數(shù)字圖像處理步驟來說，用經(jīng)處理的像素值代替原像素值在功能上相當于，產(chǎn)生具有經(jīng)處理的像素值的新數(shù)字圖像，而同時保留原像素值。圖像捕捉裝置10包括位置確定器325。該位置確定器325或地理位置確定裝置包括接收位置信息363的位置信息接收器。隨后與圖像相關(guān)聯(lián)地存儲位置信息363。優(yōu)選地，將位置信息363存儲為在將被使用的地圖上直接可讀的坐標；例如，一般方便地用纟韋度和經(jīng)度單位存儲地理6地圖位置。轉(zhuǎn)換器可包括使表示位置的不同方法相關(guān)的轉(zhuǎn)換地理數(shù)據(jù)庫327。例如使地名(例如Dora阿姨的房子)、緯度和經(jīng)度、和街道地址相關(guān)。轉(zhuǎn)換地理數(shù)據(jù)庫327可位于圖像捕捉裝置自身上，或利用通過例如雞站(dock)接口362或無線調(diào)制解調(diào)器350的網(wǎng)絡(luò)接口的遠程訪問，外部于圖像捕捉裝置。雞站接口可被連接到雞站充電器364。位置確定器325可附加地或可選地包括源自例如麥克風(fēng)或鍵盤的用戶接口22的輸入，該用戶接口22允許用戶輸入地圖位置或位置信息363。位置信息363可定義圖像捕捉時確定的確切位置(在適當?shù)娜菹迌?nèi))，但如果該信息不可獲得，可以基于最佳的可獲得數(shù)據(jù)(以下討論)設(shè)定位置。與捕捉記錄的收集相關(guān)聯(lián)的位置的容限可以都是一樣的或可以變化?？梢砸栽囂椒樘囟ㄓ猛敬_定可接受的容限和不同容限范圍的混合。位置信息363還可定義物理位置的不同大小。例如，GPS坐標定義小的地理區(qū)域，而電信小區(qū)定義的地理區(qū)域相對大，取決于例如輸出或天線配置的因素。用戶輸入位置信息可定義例如兩條街道的交叉口的小區(qū)域，或例如城市或縣的大區(qū)域。可以用數(shù)據(jù)傳輸?shù)男问皆诓蹲綍r提供位置信息363。數(shù)據(jù)傳輸是指出在捕捉時捕捉裝置或捕捉主題的位置的信息的任何傳輸。數(shù)據(jù)傳輸?shù)念愋桶ū镜鼗蜻h程傳送的位置坐標、基站的標識、有線和無線網(wǎng)絡(luò)地址、和遠程傳送的和用戶輸入的標識。作為標識小的地理區(qū)域的特定坐標，GPS(全球定位系統(tǒng))坐標是尤其方便的?？梢酝ㄟ^多種方法中的任何方法來確定由位置確定器325確定的位置信息363。例如，可以通過從著名的全球定位衛(wèi)星(GPS)接收通信來確定地理位置。在一些管轄區(qū)中，蜂窩式電話可獲得可用于提供地圖位置的GPS或其他定位數(shù)據(jù)。可選地，可以通過傳輸塔的標識和三角測量的使用來指示位置信息363。傳輸塔的特征可被保存于數(shù)據(jù)庫中，可以在從接收的傳輸確定位置信息363的過程中參考該數(shù)據(jù)庫。網(wǎng)絡(luò)節(jié)點信息可用于標識地圖位置。在這種情況下，通過例如塢站接口362或無線調(diào)制解調(diào)器350的網(wǎng)絡(luò)接口提供位置信息363。例如，塢站接口可使用IEEE802.11無線接口協(xié)議之一以便連接到無線網(wǎng)絡(luò)。位置確定器還可以使用無線接入點的MAC(媒體訪問控制)地址以提供位置信息，可采用使MAC地址與地圖位置相關(guān)的數(shù)據(jù)庫將該位置信息轉(zhuǎn)換成地圖位置。MAC地址凈皮永久記錄在無線接入點設(shè)備的硬件中。例如，MAC地址48-3F-0A-91-00-BB可與位置43.15度N,77.62度W相關(guān)聯(lián)。這種方法依據(jù)數(shù)據(jù)庫中的地圖位置與提供MAC地址的設(shè)備的實際位置相對應(yīng)的假定。用類似的方式，如在此引入作為參考的Parekh等人的美國專利號6,757,740中所描述的，可以-使用"traceroute"工具，確定從客戶端計算機到遠程主機的，攜帶跨互聯(lián)網(wǎng)的特定消息的所有路由器的IP地址(由TCP/IP協(xié)議定義)，以便得到地理位置的近似概念。用戶可附加地或可選地提供地圖位置或位置信息363。例如，用戶可輸入緯度和經(jīng)度信息或郵政編碼來定義與圖像相關(guān)聯(lián)的地理位置?？蓪⑽恢眯畔?63表示為概率分布而不是單個點。即使以上描述的最精確的位置確定系統(tǒng)(GPS)(當前可用的)也容易受到至少若干米的誤差?？梢詫⒌乩砦恢帽硎緸辄c和相關(guān)聯(lián)的不確定性，或表示為概率分布。例如，當?shù)乩砦恢檬青]政編碼時，可以使用在由該郵政編碼定義的區(qū)域上的均勻概率分布。在其他實施例中，圖像捕捉裝置或其他捕捉裝置具有，從與圖像捕捉裝置10分離的外部位置感知裝置329接收和存儲與捕捉的圖像相關(guān)聯(lián)的位置信息的位置確定器325。在這種情況下，地理位置由位置感知裝置329確定并且隨后通過塢站接口362或無線調(diào)制解調(diào)器350被傳送到圖像捕捉裝置10。位置感知裝置329是借助于例如內(nèi)置到汽車中的GPS接收器的位置信息接收器知道其位置的裝置，或是例如射頻信標的知道其位置的固定物體。位置確定器325可以或者為其位置輪詢外部位置感知裝置329,或者位置確定器325可以為其位置在特定時間(例如，特定時間是圖像捕捉時間)輪詢外部位置感知裝置329。當位置感知裝置329緊靠圖像捕捉裝置10時，例如當位置感知裝置329是將位置信號傳送給圖像捕捉裝置的汽車中的GPS接收器時，這種替代方案是有效的。在特定實施例中，位置確定器325估計否則將缺乏地圖位置的捕捉記錄的地圖位置。例如，當室內(nèi)時GPS接收器經(jīng)常未能檢測到信號。包括這種接收器的位置確定器325可使用在時間上最接近的可用位置信息，或者在圖像捕捉時間之前或之后的時間處的多個地理位置之間的插值。作為選擇，數(shù)字處理器可連續(xù)地存儲由位置確定器325確定的地理位置，而不是僅與圖像捕捉時間上相關(guān)地存儲。這種方法提供用于當不可獲得數(shù)據(jù)傳輸時估計位置的數(shù)據(jù)，并且具有允許圖像捕捉裝置不僅顯示捕捉的圖像的位置，而且顯示用戶在圖像捕捉之間采取的路徑的附加優(yōu)點。圖像捕捉裝置10在捕捉圖像或視頻時確定位置信息363L,并且使該位置信息363L與該圖像或視頻相關(guān)聯(lián)。當圖像捕捉裝置10捕捉視頻流時，可有用于視頻流中的每個數(shù)字圖像的位置信息363L?；蚩捎杏糜谝曨l流的若干幀的一個位置信息363L。還可以有用于視頻流中的每個幀的若干位置信息363矢量L。內(nèi)部地，圖像捕捉裝置10整體包括用于在任意時間記錄拍照位置信息363的位置確定器325。將測量的空氣特性表示為矢量A。在不需要捕捉圖像的情況下，環(huán)境空氣傳感器(未示出)能夠確定環(huán)繞圖像捕捉裝置的環(huán)境空氣的特性。這些空氣特性被與數(shù)字圖像相關(guān)聯(lián)，并且被本發(fā)明用于改善圖像噪聲特性、依據(jù)區(qū)域表示的材料對圖像的區(qū)域分類、將圖像分類為室內(nèi)或室外、將相關(guān)的圖像聚集成事件、以及搜索特定圖像。參見圖2，與圖像捕捉裝置10成整體的附加方向傳感器44可選地可被用于確定圖像捕捉裝置相對于地球指向的方向，即相機朝向的方向。方向傳感器44優(yōu)選地確定圖像捕捉裝置的光軸的傾斜和羅盤定向。一般，位置感知裝置329不提供這種方向信息。當環(huán)境在給定地理位置遠非各向同性時，這種附加信息可以是有用的，例如如果一個人在邁阿密沙灘上朝東他將主要看到天空和海洋，而當朝西時他將看到建筑物和樹木。再次參見圖2,圖像傳感器34捕捉數(shù)字圖像102并且產(chǎn)生被傳送給圖像處理器36的原始圖像。圖像處理器36準備原始圖像，以便通過對圖像傳感器34的缺失的像素值插值來查看、應(yīng)用顏色校正矩陣、和渲染圖像等等。此外，數(shù)據(jù)處理器20分析位置信息363、源自方向傳感器44的方向信息、以及可能數(shù)字圖像102(或者源自圖像處理器36的數(shù)字圖像的部分校正版本)，以產(chǎn)生材料置信圖124。材料置信圖124用于表示用于圖像中的每個材料區(qū)域的標記和相關(guān)聯(lián)的概率。其是圖像區(qū)域分類的結(jié)果，并且對于包括圖像增強和圖像檢索的廣泛的多種應(yīng)用來說是有用的。在圖3中，材料置信圖用于控制選擇的圖像變換60,以產(chǎn)生增強或改善的圖像120。例如，應(yīng)將較重的去噪應(yīng)用到晴朗的天空區(qū)域而應(yīng)不管草地區(qū)域以便保留所期望的紋理。在Luo等人的標題為"用于選擇性將增強應(yīng)用到圖像的方法和系統(tǒng)"的2001年12月10日提交的美國專利申請序號10/016,601中可以找到關(guān)于如何將這種地圖用于圖像增強和操作的更多細節(jié)。那些本領(lǐng)域的技術(shù)人員將認識到本發(fā)明不限于上述的圖像增強并且可以包括其他圖像增強、操作、搜索、索引、檢索、和組織應(yīng)用。例如，區(qū)域分類可通過采用例如"查找具有藍天的圖像"或"查找具有藍天和綠草的圖像"的上述技術(shù)來促進對數(shù)據(jù)庫的圖像搜索。元數(shù)據(jù)是不包括像素數(shù)據(jù)的與圖像相關(guān)的信息。在拍照時刻的圖像捕捉裝置10的地理位置363是元數(shù)據(jù)的實例。還將若干附加元數(shù)據(jù)項輸入到數(shù)據(jù)處理器20。包括數(shù)字圖像102的捕捉的時間和日期、例如在圖像捕捉時的曝光時間(按秒)和焦距f,(按像素)的例如與數(shù)字圖像的捕捉相關(guān)的其他數(shù)據(jù)。此外，元數(shù)據(jù)包括例如菜單項狀態(tài)或如用戶選擇的操作模式的當前圖像捕捉裝置設(shè)置。可將與數(shù)字圖像102相關(guān)聯(lián)的所有這種信息存儲為與數(shù)字圖像102相關(guān)聯(lián)的元數(shù)據(jù)，并且在后繼的圖像處理中變得有用。在表1(在以下示出)中給出了包括天空、草地、地表水和雪地的一些最有用的材料的定義。本領(lǐng)域技術(shù)人員將想到例如云、路面和墻壁的其他材料。在Luo等人的共同轉(zhuǎn)讓的美國專利號7，062，085中可找到對材料區(qū)域分類的細節(jié)。圖像處理器36基于為圖像102的區(qū)域或像素計算的特征，例如圖像內(nèi)的顏色、紋理、形狀或位置，分配類概率(也被認為為置信值)，并且用前述的置信圖124的形式輸出結(jié)果。表l一些材料的定義_<table>tableseeoriginaldocumentpage10</column></row><table>一般，存在于圖像處理器36中的所有材料檢測器(或區(qū)域分類器或區(qū)域標記器)遵循與在圖4中例示的方法類似的方法。首先，在輸入圖像102的低分辨率即256x384的版本上提取顏色特征401和紋理特征402。優(yōu)選地，計算的特征在區(qū)分有關(guān)材料的像素和其他材料類的像素中將是有效的。隨后將這些特征饋給至例如經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的分類器403,該分類器403依據(jù)材料的顏色和紋理特性產(chǎn)生使類概率或置信值與圖像中的每個像素相關(guān)聯(lián)的像素置信圖404。接下來，閾值被用于從像素置信圖獲得空間上連續(xù)的同質(zhì)區(qū)域。最后，依據(jù)涉及的材料類的某些獨特的基于區(qū)域的特性，和其中每個區(qū)域與統(tǒng)一的置信值相關(guān)聯(lián)的源自初始區(qū)域置信圖406的確認的區(qū)域，來進一步分析405每個空間上連續(xù)的區(qū)域。可以在美國專利號7，062，085中找到關(guān)于區(qū)域分類器的細節(jié)。在推斷過程方面，因為沒有施加上下文模型，這些方法采用基本上自下而上的策略。不幸地，僅采用圖像特征可導(dǎo)致模糊的結(jié)果。例如，假設(shè)區(qū)域的亮度是明亮的，飽和度非常低并且紋理低。該區(qū)域表示雪的概率是P(區(qū)域=雪1特征)，其中特征例如是該區(qū)域的平均亮度、飽和度和紋理大小。然而，當它們的分布例如P(特征1區(qū)域=雪)和P(特征1區(qū)域=白地毯)重疊時，即使最復(fù)雜的分類系統(tǒng)也不能準確地區(qū)分這些類。需要自上而下的策略來提供調(diào)整機制以便減少模糊的量和與個別地對材料區(qū)域分類相關(guān)聯(lián)的結(jié)果誤分類。自上而下的推理可通過上下文信息的使用來促進，并且可幫助區(qū)分具有類似的顏色和紋理的"混淆的"材料類。上下文信息可源自整個場景的總的描述即場景上下文，或者在沒有確切地知道場景類型的情況下，源自在場景中的不同材料的位置之間的常規(guī)關(guān)系，即空間上下文。在場景上下文的情況下，知道室外或沙灘場景可對在場景中可呈現(xiàn)什么樣的材料類以及這些材料可能出現(xiàn)于場景中的什么位置施加強的限制。由空間上下文的使用施加的限制比場景上下文的使用施加的限制弱，但在許多情況下仍然足以減少在相沖突的材料檢測器之間的模糊并且消除材料檢測中的不可能的空間結(jié)構(gòu)。其優(yōu)點在于其不取決于知道確切的場景類型。另一方面，如果知道關(guān)于場景的更多信息，例如在這種情況下的拍照位置，可以豐富上下文模型以便將更強的限制提供給材料區(qū)域分類。在自然圖像中存在至少兩種空間上下文關(guān)系。首先，關(guān)系在自然圖像中的特定材料的共同出現(xiàn)之間存在；ii例如，具有高概率的對草地的檢測將暗示低的雪可能性。其次，關(guān)系在圖像中的材料的空間位置之間存在；天空趨向于出現(xiàn)在草地上方、葉在草地上方、或天空在雪上方。為了將空間上下文用于評估和調(diào)整從低層次材料檢測器獲得的材料置信，本發(fā)明依靠圖模型來表示在圖像中的所有區(qū)域之間的空間限制信息，并且最后產(chǎn)生表示在空間限制和原始材料置信值之間的最佳折衷的新的材料置信值。在本發(fā)明的一實施例中，成對的空間關(guān)系的集合包括(高于、遠高于、低于、遠低于、旁邊、被圍繞和圍繞)。關(guān)于在兩個區(qū)域的最近的像素之間的距離的閾值被用于區(qū)分高于和遠高于(同樣用于低于和遠低于)。通過獲悉與上述空間關(guān)系相對應(yīng)的概率密度函數(shù)來構(gòu)建空間上下文模型。從包括收集的用于各種材料類的廣泛的地面實況的數(shù)據(jù)庫中，簡單的頻率計數(shù)方法足以產(chǎn)生所有空間關(guān)系P(空間關(guān)系l位置)的離散概率密度函數(shù)。用表2(在以下示出)中的遠高于成對關(guān)系的概率密度函數(shù)作為實例，可做出以下觀察1.如果一區(qū)域遠高于天空區(qū)域，其僅可以是另一天空區(qū)域、葉區(qū)域或背景(其他類的)區(qū)域；2.如果一區(qū)域遠高于草地區(qū)域，其最可能是葉或天空區(qū)域；3.如果一區(qū)域遠高于葉區(qū)域，其最可能是天空區(qū)域；4.如果一區(qū)域遠高于雪區(qū)域，其最可能是另一雪區(qū)域或天空區(qū)域；5.如果一區(qū)域遠高于背景(其他)區(qū)域，其實質(zhì)上可以是任何區(qū)域，其中最可能是天空區(qū)域。12表2當位置未知時，關(guān)系"遠高于"的CPM<table>tableseeoriginaldocumentpage13</column></row><table>可以用類似的方式構(gòu)建和解釋其他概率密度函數(shù)。概率密度函數(shù)可被用于構(gòu)建描述在圖像中的所有區(qū)域之間的空間關(guān)系的概率圖網(wǎng)絡(luò)，并且可被求解以說明與空間上下文模型相關(guān)聯(lián)的條件概率。表2中的模型的優(yōu)點在于該模型可適用于任何位置。然而，其沒有利用地理位置信息并且基本上通過假定位置是未知的而忽視位置。表3(以下示出)示出了對于美國的基韋斯特(KeyWest)的特定于位置的條件概率模型的實例。從位置未知模型的最顯著改變包括1.如果一區(qū)域遠高于天空區(qū)域，與葉區(qū)域或背景(其他類的)區(qū)域相比其略微更可能是另一天空區(qū)域；2.如果一區(qū)域遠高于草地區(qū)域，與葉區(qū)域相比其略微更可能是天空區(qū)域，并且其也更可能是水區(qū)域；3.如果一區(qū)域遠高于水區(qū)域，與葉區(qū)域相比其略微更可能是天空區(qū)域；4.一區(qū)域是否遠高于雪區(qū)域是不適用的，因為幾乎不可能以雪區(qū)域來開始；5.如果一區(qū)域遠高于背景(其他)區(qū)域，其更可能是天空區(qū)域或水區(qū)域并且?guī)缀醪豢赡苁茄﹨^(qū)域。表3當位置已知時(基韋斯特，美國)，關(guān)系"遠高于"的CPM\A天空草地葉水:雪背景天空O.卯0.000.050.00■0.00'0.05草地'0.47.0.060.350.080-000.02葉0.680.050.230.020.00:0.02.水.0.600,060.220.100,00:0.02雪N/A嵐脆直N/A:跳背景0.48.0,090,210.20o.oo10.02此外，地理位置信息還影響看到特定材料類的先驗概率，即p(材料l位置)。表4(以下示出)示出了在消費者照片中的各種材料類的統(tǒng)計。具體來說，1.31%的照片包括可見天空的顯著的塊，并且對于室外圖像來說可能性甚至更高到55%。2.29%的所有圖像和52%的室外圖像包括草地；3.35%的所有圖像和65°/的室外圖像包括葉；4.10%的所有圖像和19%的室外圖像包括地表水；5.2.4%的所有圖像和4.5%的室外圖像包括積雪。14表4當位置是未知的時，材料的概率材料所有像素的％所有圖像的％室內(nèi)圖像的％室外圖像的％天空53.155草地4.1291.852葉1.2359.565水2.1101.019雪/水0.332.40.84.5表5(以下示出)示出了用于美國的基韋斯特的特定于位置的先驗概率模型的實例。從位置未知模型的最顯著改變包括1.75%的照片包括可見天空的顯著的塊，并且對于室外圖像來說可能性甚至更高到95%,而在室內(nèi)圖像中看到天空的可能性也從3.1%增加到10%;2.草地的可能性是類似的；3.葉的可能性降低(更可能代之以看到天空)；4.地表水的可能性顯著增加；5.雪的可能性降低到幾乎不存在。表5當位置是已知時(基韋斯特，美國)，材料的概率材料所有像素的％所有圖像的％室內(nèi)圖像的％室外圖像的％天空20751095草地5,0302.050葉1.0301050水15301,080雪/冰0.010,010.00.01注意，位置還對圖像內(nèi)的每種材料類的像素的百分比具有類似的影15響。在本發(fā)明的變型實施例中，當環(huán)境在一天或季節(jié)的進程中在給定地理位置由于例如草地、葉、雪、水和水的特定材料對氣候敏感而改變時，關(guān)于時間的附加信息是有用的。例如，在夏季期間在度假位置處山上的積雪可能融化掉，并且相似地僅可以在不是冬季的季節(jié)在那里看到葉?？梢匀菀椎赝ㄟ^相應(yīng)修改例如在表3和5中示出的概率值，將這種信息構(gòu)造成先驗概率P(材料l位置，季節(jié)-時間)和條件概率P(空間關(guān)系I位置，季節(jié)-時間)二者。在這種情況下，還將圖像捕捉時間和位置信息363提供給數(shù)據(jù)處理器20,以便產(chǎn)生置信圖124。這種信息幫助巨大。作為直觀的實例，再次考慮在前段中描述的區(qū)域。如果位置信息363表示在佛羅里達的邁阿密捕捉數(shù)字圖像102,并且圖像捕捉時間指示在2002年6月26日的中午捕捉該數(shù)字圖像102,則圖像包含任何表示雪的材料的像素或區(qū)域的概率非常小?？蛇x地，因為可用類似的方式得到和利用先驗概率P(材料l季節(jié)-時間)和條件概率P(空間關(guān)系l季節(jié)-時間)二者，圖像捕捉時間可被單獨用于產(chǎn)生置信圖124。現(xiàn)在參見圖5,其中示出了表示用于結(jié)合先驗概率(P(材料l位置)和條件概率P(材料的空間布置l位置))地理位置信息二者的場景結(jié)構(gòu)模型的圖。該圖通常被稱為因子圖。先驗因素節(jié)點P501采用上述的先驗概率，場景節(jié)點S502結(jié)合場景上下文模型，空間因素節(jié)點F503由個體的區(qū)域之間的成對關(guān)系構(gòu)成。對于圖像中的n個區(qū)域中的每一個來說，存在區(qū)域節(jié)點R504。在n個區(qū)域之間存在(]2個對，因此存在一樣多的空間因素節(jié)點。圖的底層包括檢測器因素D505并且同樣存在n個這種節(jié)點。首先用先驗概率和條件概率對該圖模型的節(jié)點初始化，并且隨后用源自材料檢測器的材料置信值產(chǎn)生該圖模型的節(jié)點的實例。對于每個區(qū)域，稱為置信傳播的過程被用于計算后驗概率，即最終置信值，組合所有的輸入(也被稱為證據(jù)，包括初始類概率、先驗概率和條件概率)。一般，每個區(qū)域被標記到給出最高后驗概率的材料類。可以在ProceedingsofComputerVisionandPatternRecognition,PP.235-341,2003中Singhal,Luo，和Zhu的"用于場景內(nèi)容理解的概率空間上下文模型"中找到關(guān)于上述概率如何影響區(qū)域分類的細節(jié)。本領(lǐng)域的技術(shù)人員將認識到本發(fā)明不限于上述特定的圖模型。再參見圖2,在本方面的變型實施例中，當環(huán)境在給定地理位置遠非各向同性時，來自方向傳感器44的附加信息可以是有用的，例如如果一個人在邁阿密沙灘上朝東他將主要看到天空和海洋，而當朝西時他將看到建筑物和樹木。可以容易地通過相應(yīng)修改例如在表3和5中示出的概率值，將這種信息構(gòu)造成先驗概率P(材料l位置，方向)和條件概率P(材料的空間布置l位置，方向)二者。附圖標記10圖像捕捉裝置15捕捉按鈕20數(shù)據(jù)處理器22用戶輸入裝置30顯示裝置34圖像傳感器36圖像處理器40控制計算機44方向傳感器60變換70存儲裝置102數(shù)字圖像120改善的數(shù)字圖像124材料置信圖325位置確定器327地理數(shù)據(jù)庫329外部位置感知裝置350無線調(diào)制解調(diào)器362雞站接口363位置信息364雞站/充電器401顏色變換402計算紋理特征403神經(jīng)網(wǎng)絡(luò)分類器404像素置信圖405區(qū)域分析406區(qū)域置信圖501先驗因素502場景節(jié)點503空間因素504區(qū)域節(jié)點505檢測器因素18權(quán)利要求1.一種對通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法，包括a)提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；b)將位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時間測量圖像捕捉位置；c)基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個或多個類。2.如權(quán)利要求l所述的方法，其中一個或多個類包括天空、草地、水、云、3各面、雪或墻壁。3.如權(quán)利要求l所述的方法，其中步驟(c)還包括i)從捕捉的數(shù)字圖像或視頻的幀中獲得同質(zhì)區(qū)域；ii)從同質(zhì)區(qū)域提取特征；以及iii)基于圖像捕捉位置和提取的特征將區(qū)域分類到具有相關(guān)聯(lián)的類概率的一個或多個類。其中提取的特征包括與區(qū)域相關(guān)聯(lián)其中步驟(c)還包括將圖像捕捉時其中步驟(ii)還包括將圖像捕捉其中步驟(c)還包括將相機朝向方其中步驟(ii)還包括將相機朝向其中步驟(iii)包括依據(jù)地理位置關(guān)聯(lián)類的先驗概率，以及將這種先驗概率用于確定區(qū)域的類。4.如權(quán)利要求3所述的方法,的顏色或紋理特征。5.如權(quán)利要求l所述的方法，間用于對數(shù)字圖像的區(qū)域分類。6.如權(quán)利要求3所述的方法，時間用于對數(shù)字圖像的區(qū)域分類。7.如權(quán)利要求l所述的方法，向用于對數(shù)字圖像的區(qū)域分類。8.如權(quán)利要求3所述的方法,方向用于對數(shù)字圖像的區(qū)域分類。9.如權(quán)利要求3所述的方法，10.如權(quán)利要求3所述的方法，其中步驟(iii)包括依據(jù)地理位置關(guān)聯(lián)類之間的條件概率，以及將這種條件概率用于確定每個區(qū)域各自的類。11.如權(quán)利要求10所述的方法，其中依據(jù)多個空間關(guān)系中的一個或多個，將類之間的條件概率指定為成對的概率，該多個空間關(guān)系包括高于、遠高于、低于、遠低于、旁邊、被圍繞或圍繞。12.如權(quán)利要求3所述的方法，其中步驟(iii)還包括(i)僅基于提取的特征產(chǎn)生初始類概率；(ii)將圖模型用于修改初始類概率，以便響應(yīng)于依據(jù)地理位置的先驗概率和類之間的條件概率產(chǎn)生后驗類概率。13.如權(quán)利要求3所述的方法，還包括將區(qū)域標記為具有最高后驗類概率的類。14.一種增強通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻幀中的區(qū)域的方法，包"l舌a)提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；b)將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時間測量圖像捕捉位置；c)基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個或多個類；以及d)依據(jù)每個區(qū)域的類將圖像增強應(yīng)用到經(jīng)分類的區(qū)域。15.—種在數(shù)據(jù)庫中搜索通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻幀的方法，包括a)提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；b)將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時間測量圖像捕捉位置；c)基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個或多個類；以及d)在數(shù)據(jù)庫中搜索包括一個或多個預(yù)定類的區(qū)域的圖像。16.—種對通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法，包括a)提供與圖像捕捉裝置相關(guān)聯(lián)的時間確定裝置；b)將時間確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時間測量圖像捕捉時間；c)基于圖像捕捉時間將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個或多個類。全文摘要一種對通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法，包括提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時間測量圖像捕捉位置；以及基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個或多個類。文檔編號G06K9/00GK101479741SQ200780024301公開日2009年7月8日申請日期2007年6月14日優(yōu)先權(quán)日2006年6月26日發(fā)明者A·C·加拉赫爾,J·羅申請人:伊斯曼柯達公司