專利名稱：圖像處理方法及圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對像素值飽和的區(qū)域或者產(chǎn)生偽色的區(qū)域進(jìn)行校正的圖像處理方法及圖像處理裝置。
背景技術(shù)：
在攝像的各種用途中，由于鏡面反射的影響，有可能在攝像圖像內(nèi)產(chǎn)生亮點 (glare spot)。這種亮點將導(dǎo)致攝像場景的構(gòu)成不清楚，致使攝像圖像的視覺識別性下降。如果將這種攝像圖像中的亮點作為像素值來考慮，則其值飽和。例如，在利用8比特表現(xiàn)灰度圖像的各個像素的情況下，作為像素值能夠取0 255的值，但在亮點處成為 255或者與其接近的值。在攝像處理中，傳感器捕捉從拍攝的場景反射的光。通常，用語“光”不一定是指可見范圍的光，也可以是任何電磁波。用語“鏡面反射”通常是指光的大部分原則上在被拍攝的被攝體的表面向相同的方向反射、并且是指原則上從相同的方向傳播過來的光的反射。 用語“反射”是指波入射到表面上的角度與該波在表面反射的角度相等的、不同的兩個物質(zhì)的邊界面處的光線的波面方向的變化。關(guān)于是否產(chǎn)生鏡面反射，受被攝體的表面的性質(zhì)和光源相對于被攝體表面的特性及位置的影響。具體地講，使光在大的范圍內(nèi)反射的、濕潤的表面等具有光澤的物質(zhì)，在攝像時有可能成為亮點的起因。尤其是在點狀光源的情況下，與光澤面接觸的較強(qiáng)的光線沿相同的方向反射，在這種情況下拍攝到的圖像有可能產(chǎn)生極度的亮點。鏡面反射使得攝像圖像的質(zhì)量下降的示例有許多。例如，鏡面反射的影響有時能夠在反射太陽光的水面上看到。在拍攝被印刷到光澤紙上的文檔(document)的情況下，或者在拍攝佩戴眼鏡的人臉或窗戶或鏡子等玻璃面的情況下，也會產(chǎn)生鏡面反射。這種鏡面反射的不良結(jié)果是被亮點阻擋的部分的信息丟失。由于這種信息的缺失，觀賞該攝像圖像的人有時會感覺不舒服。并且，鏡面反射很可能會引發(fā)文檔攝影等用途中的重大問題。具體地講，所拍攝的文檔的文本或者圖由于鏡面反射而被阻擋，有可能使得拍攝到的文檔不完整。并且，在拍攝明亮部位和暗部位混合存在的場景時，也會產(chǎn)生與鏡面反射相同的情況。例如，在進(jìn)行諸如從室內(nèi)拍攝室內(nèi)的風(fēng)景和窗戶外面的風(fēng)景雙方的攝影的情況下，由于窗戶外面相比室內(nèi)非常明亮，因而拍攝了窗戶外面的部分的像素值成為飽和。鏡面反射很容易成為重大的問題的領(lǐng)域是醫(yī)用圖像領(lǐng)域。眾所周知的醫(yī)用圖像用途之一是內(nèi)窺鏡檢查。用語“內(nèi)窺鏡檢查”是指為了醫(yī)學(xué)原因而拍攝體內(nèi)區(qū)域。內(nèi)窺鏡檢查的結(jié)果即攝像圖像以及/或者視頻序列被用來支持診斷和手術(shù)。內(nèi)窺鏡檢查通常使用內(nèi)窺鏡進(jìn)行，該內(nèi)窺鏡包括標(biāo)準(zhǔn)撓性管、對觀察對象的體內(nèi)區(qū)域進(jìn)行照射的光源、拍攝期望的區(qū)域的攝像機(jī)等檢測設(shè)備。通常，光是從與內(nèi)窺鏡連接的體外的光源通過光纖輸送到體內(nèi)。 在內(nèi)窺鏡檢查中拍攝到的圖像尤其容易受到鏡面反射的影響。由于濕潤而成為高反射面的內(nèi)窺鏡的被攝體是其主要原因之一，另一個原因是，由于照射體內(nèi)的光源具有點狀特征，因而光線原則上從同一方向照射表面，并且在與該原則不同的另一種原則上是在同一方向反射。在內(nèi)窺鏡檢查中作為鏡面反射的結(jié)果而產(chǎn)生的亮點使得畫質(zhì)明顯下降。尤其在過飽和的亮點區(qū)域中沒有圖像信息，因而醫(yī)師有可能在攝像圖像的診斷中漏看了異常。并且， 通常內(nèi)窺鏡相對于被拍攝的被攝體進(jìn)行相對運動。其原因是內(nèi)窺鏡自身有可能產(chǎn)生的隨機(jī)或者受控制的運動、以及/或者例如由于患者的呼吸循環(huán)或心搏而造成的攝像場景的運動。與這種恒定的運動相對應(yīng)，由于鏡面反射而產(chǎn)生的亮點也在運動。在內(nèi)窺鏡檢查裝置的顯示器上運動的亮點成為診斷和手術(shù)中的醫(yī)師的障礙，尤其是在使用內(nèi)窺鏡進(jìn)行手術(shù)的情況下，也許會轉(zhuǎn)移醫(yī)師的注意力。為了對鏡面反射進(jìn)行校正，專利文獻(xiàn)1公開了在子宮頸癌檢測用的裝置內(nèi)使用兩個光源。由于鏡面反射而產(chǎn)生的亮點，根據(jù)光源而產(chǎn)生于圖像內(nèi)的不同位置。因此，通過對使用其它光源拍攝到的圖像進(jìn)行組合來去除亮點。專利文獻(xiàn)2涉及通過對分開獨立設(shè)置的多個攝像機(jī)的圖像進(jìn)行組合，降低攝影文檔的鏡面反射。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1美國專利第6，088，612號專利文獻(xiàn)2美國專利公開第2008/0165266號
發(fā)明概要發(fā)明要解決的問題這些現(xiàn)有技術(shù)的解決方案的一個缺點是，由于光源和光檢測器是2倍數(shù)量，使得這種裝置花費的費用和復(fù)雜性增加。在現(xiàn)有技術(shù)的解決方案中，其前提條件是兩個光源或者光檢測器的位置是已知的。因此，鏡面反射校正也是攝像系統(tǒng)特有的，不能適用于利用其它系統(tǒng)拍攝到的圖像。

發(fā)明內(nèi)容
本發(fā)明就是為了應(yīng)對上述課題而提出的，其目的在于提供一種圖像處理方法等， 能夠有效降低鏡面反射等的像素值飽和的飽和區(qū)域的影響。用于解決問題的手段本發(fā)明是利用獨立權(quán)利要求記載的特征實現(xiàn)的。優(yōu)選的實施方式是從屬權(quán)利要求的主題。本發(fā)明特有的方法是指如下所述的方法根據(jù)參照圖像與鏡面反射區(qū)域周邊的圖像區(qū)域之間的匹配，估計參照圖像的鏡面反射區(qū)域的位置，由此利用用于確定置換圖像區(qū)域的參照圖像的圖像區(qū)域，來至少置換對象圖像的鏡面反射區(qū)域部分。根據(jù)本發(fā)明的方式，圖像處理方法包括檢測步驟，在第1圖像中檢測包含飽和區(qū)域和鄰接區(qū)域的擴(kuò)大區(qū)域，該飽和區(qū)域是像素值為規(guī)定閾值以上的像素區(qū)域，該鄰接區(qū)域是至少部分地包圍該飽和區(qū)域的區(qū)域；以及置換步驟，對在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的至少所述鄰接區(qū)域所包含的像素的像素值，使用第2圖像中的所述擴(kuò)大區(qū)域的對應(yīng)位置的像素的像素值或者該對應(yīng)位置的鄰接像素的像素值來進(jìn)行置換。
優(yōu)選地，所述圖像處理方法還包括估計步驟，從所述第2圖像中搜索與至少部分地包圍在所述檢測步驟檢測到的所述擴(kuò)大區(qū)域的周邊區(qū)域相匹配的圖像區(qū)域，由此估計所述擴(kuò)大區(qū)域在所述第2圖像中的對應(yīng)位置，在所述置換步驟中，利用在所述估計步驟估計到的所述擴(kuò)大區(qū)域在所述第2圖像中的對應(yīng)位置的像素的像素值，來置換在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的至少所述鄰接區(qū)域所包含的像素的像素值。根據(jù)本發(fā)明的另一個方式，圖像處理裝置包括檢測部，在第1圖像中檢測包含飽和區(qū)域和鄰接區(qū)域的擴(kuò)大區(qū)域，該飽和區(qū)域是像素值為規(guī)定閾值以上的像素區(qū)域，該鄰接區(qū)域是至少部分地包圍該飽和區(qū)域的區(qū)域；以及置換部，對在所述檢測部中檢測到的所述擴(kuò)大區(qū)域之中的至少所述鄰接區(qū)域所包含的像素的像素值，使用第2圖像中的所述擴(kuò)大區(qū)域的對應(yīng)位置的像素的像素值或者該對應(yīng)位置的鄰接像素的像素值來進(jìn)行置換。其中，用語“鏡面反射區(qū)域”是指通過平面上的光的反射而產(chǎn)生的、由攝像機(jī)拍攝到的圖像內(nèi)的亮點的區(qū)域?！扮R面反射區(qū)域”是飽和區(qū)域的一種形態(tài)。第1圖像和第2圖像也可以是由在不同時刻拍攝到的圖像構(gòu)成的視頻序列的一部分。并且，第1圖像和第2圖像也可以是由多個攝像機(jī)在相同時刻拍攝到的多個圖像。本發(fā)明能夠適用于正在拍攝實質(zhì)上相同的場景或者被攝體的圖像組。例如，可以將利用立體攝像機(jī)拍攝到的視頻序列等在時間上和空間上不同的圖像進(jìn)行組合。另外，第1圖像和第 2圖像也可以是相同的圖像。優(yōu)選通過所述估計步驟，在第1圖像中確定周邊區(qū)域，來作為至少部分地包圍所檢測到的鏡面反射區(qū)域(擴(kuò)大區(qū)域)的圖像區(qū)域，在第2圖像中搜索與該周邊區(qū)域匹配、而且適合于置換第1圖像的鏡面反射圖像區(qū)域(擴(kuò)大區(qū)域)的圖像區(qū)域。該適合性可以根據(jù)規(guī)定的基準(zhǔn)進(jìn)行評價。在進(jìn)行匹配之后，從搜索到的圖像區(qū)域中選擇最適合于置換鏡面反射圖像區(qū)域(擴(kuò)大區(qū)域)的候選。周邊區(qū)域也可以是所檢測到的鏡面反射區(qū)域(擴(kuò)大區(qū)域)的邊界或者邊界的一部分等。該邊界可以是一個以上的像素厚度，也可以按照矩形、三角形、六邊形或者其它形狀等預(yù)先定義的幾何構(gòu)造進(jìn)行選擇，以便使其一致。并且，例如也可以采用鏡面反射圖像區(qū)域(擴(kuò)大區(qū)域)的形狀的拷貝、即由預(yù)先定義的像素厚度的邊界構(gòu)成的形狀。優(yōu)選所述規(guī)定的基準(zhǔn)包括以下中的至少一個，具體地講是指搜索到的圖像區(qū)域的飽和像素量；搜索到的圖像區(qū)域的平均亮度；搜索到的圖像區(qū)域的空間信息量；搜索到的圖像區(qū)域的噪聲量；搜索到的圖像區(qū)域與檢測到的周邊區(qū)域之間的轉(zhuǎn)變區(qū)域的平滑度；或者第1圖像與第2圖像之間的時間距離；或者第1圖像的視點與第2圖像的視點之間的投影距離(例如多視點設(shè)定時的基線距離)。這些基準(zhǔn)可以獨立使用也可以組合使用，以便選擇最適合作為置換對象圖像的鏡面反射(擴(kuò)大區(qū)域)的任意的參照圖像的候選?？臻g信息通常是指圖像的邊緣(構(gòu)成)量，可以利用搜索到的圖像區(qū)域的分散方法或者邊緣檢測方法或者同樣的方法進(jìn)行檢測。該空間信息量相當(dāng)于頻率信息、構(gòu)成量、以及/或者紋理量， 因而能夠作為頻率信息、構(gòu)成量、以及/或者紋理量進(jìn)行表述以及/或者評價。對于鏡面反射(擴(kuò)大區(qū)域)的相對運動或周邊區(qū)域的運動等置換區(qū)域的適合性，也可以采用其它基準(zhǔn)。采用本發(fā)明的圖像處理方法，能夠有利于在對象圖像(第1圖像)中盡可能檢測一個以上的鏡面反射區(qū)域(擴(kuò)大區(qū)域)，能夠?qū)z測到的各個鏡面反射區(qū)域(擴(kuò)大區(qū)域)執(zhí)行估計步驟以及置換步驟。另外，優(yōu)選對視頻序列的圖像或者由多個攝像機(jī)拍攝到的圖像等多個參照圖像(第2圖像)反復(fù)執(zhí)行該估計步驟。優(yōu)選通過檢測第1圖像的飽和像素來進(jìn)行所述鏡面反射圖像區(qū)域(飽和區(qū)域)的檢測。具體地講，可以通過將第1圖像的各個像素分類為飽和或者不飽和來進(jìn)行。在像素值超過預(yù)先設(shè)定的閾值的情況下，該像素被分類為飽和，在像素值不超過預(yù)先設(shè)定的閾值的情況下，該像素被分類為不飽和。另外，該檢測包括將被分類為飽和像素的鄰接像素進(jìn)行分組，由此確定一個或者多個鏡面反射圖像區(qū)域(飽和區(qū)域)的步驟。另外，該分組步驟也可以包括如下步驟即使是被分類為不飽和的像素，在該像素被既定數(shù)量的被分類為飽和的像素包圍的情況下，也將該像素包含在被分類為飽和的像素組中。由此，能夠進(jìn)行被進(jìn)一步壓縮且連續(xù)的鏡面反射區(qū)域(飽和區(qū)域)的檢測。另外，也可以將確定出的鏡面反射區(qū)域(飽和區(qū)域)擴(kuò)大，以便覆蓋有可能在鏡面反射邊界附近產(chǎn)生的光環(huán)狀的偽影(偽色區(qū)域)。例如，可以通過擴(kuò)展的形態(tài)圖像操作或者其它相同的操作/過濾來進(jìn)行。例如，可以將邊界自動地擴(kuò)大一個或者多個像素。優(yōu)選所述鏡面反射的置換包括以下步驟從置換區(qū)域候選組中選擇用于置換第1 圖像的鏡面反射圖像區(qū)域的置換區(qū)域的步驟；使所選擇的置換區(qū)域的亮度適合于第1圖像的亮度的步驟；利用適合的置換區(qū)域置換鏡面反射圖像區(qū)域的步驟。具體地講，候選組可以從不同的參照圖像中包含多個最佳的置換候選。也可以進(jìn)行不同于亮度適合的、對象圖像與置換區(qū)域之間的轉(zhuǎn)變區(qū)域的平滑處理。本發(fā)明能夠適用于有可能產(chǎn)生鏡面反射的攝像用途。該用途可以是靜止/視頻攝像機(jī)的攝影、使用顯微鏡的攝影、內(nèi)窺鏡檢查等醫(yī)用圖像、文檔的攝影等。根據(jù)本發(fā)明的另一個方式提供一種進(jìn)行內(nèi)窺鏡檢查的系統(tǒng)，該系統(tǒng)具有至少一個光源，對攝像對象的被攝體進(jìn)行照射；至少一個攝像機(jī)，拍攝被照射的被攝體的多個圖像；內(nèi)窺鏡，使至少一個攝像機(jī)的光學(xué)部分位于攝像對象的被攝體附近；以及諸如上述的鏡面反射校正裝置，檢測所拍攝到的多個圖像中的鏡面反射并降低鏡面反射。所述內(nèi)窺鏡檢查系統(tǒng)還具有輸出被校正后的圖像的輸出部。在此，輸出部可以是顯示器或者存儲裝置。 攝像機(jī)的光學(xué)部分是指光進(jìn)入攝像機(jī)傳感器的單元。也可以將攝像機(jī)傳感器設(shè)置在內(nèi)窺鏡的前面?；蛘撸部梢岳霉饫w將光輸送到攝像機(jī)傳感器。另外，根據(jù)本發(fā)明的另一個方式提供一種具有計算機(jī)可讀的介質(zhì)的計算機(jī)程序產(chǎn)品，該介質(zhì)安裝了用于執(zhí)行本發(fā)明而構(gòu)成的計算機(jī)可讀的程序。發(fā)明效果根據(jù)本發(fā)明，能夠有效降低鏡面反射等的像素值飽和的飽和區(qū)域的影響。


圖1是產(chǎn)生鏡面反射的內(nèi)窺鏡圖像示例的照片(出處=Wikipedia, http:// en.wikipedia. org/wiki/File :Am_ulcer. gif)。圖2是本發(fā)明的鏡面反射的降低方法的流程圖。圖3是本發(fā)明的實施方式1的、檢測圖像的鏡面反射區(qū)域的方法示例的流程圖。圖4是本發(fā)明的實施方式1的表示位移估計的示意圖。圖5是能夠適用于本發(fā)明的鏡面反射降低的位移估計方法示例的流程圖。圖6是置換鏡面反射區(qū)域的方法示例的流程圖。
圖7是本發(fā)明的實施方式1的、表示鏡面反射區(qū)域的置換的示意圖。圖8是表示⑴參照圖像中的置換區(qū)域與(ii)參照圖像中的置換對象的鏡面反射周圍的區(qū)域之間的轉(zhuǎn)變區(qū)域的示意圖。圖9是表示進(jìn)行亮度校正的示例的示意圖。圖10是表示在用于置換鏡面反射區(qū)域的圖像區(qū)域與其鄰接區(qū)域之間的轉(zhuǎn)變區(qū)域的平滑處理中使用的加權(quán)函數(shù)的示例的示意圖。圖11是表示本發(fā)明的鏡面反射校正裝置的功能塊的框圖。
圖12是表示在本發(fā)明中使用的內(nèi)窺鏡檢查系統(tǒng)的示意圖。
圖13是表示本發(fā)明的實施方式2的圖像處理裝置的結(jié)構(gòu)的框圖。
圖14是本發(fā)明的實施方式2的圖像處理裝置執(zhí)行的處理的流程圖。
圖15是用于說明偽色區(qū)域的檢測方法的圖。
圖16是用于說明偽色區(qū)域的邊界位置的確定方法的圖。
圖17是用于說明針對第1圖像的處理的圖。
圖18是用于說明偽色區(qū)域的像素值插補處理的圖。
圖19是用于說明偽色區(qū)域的校正處理的處理結(jié)果的圖。
圖20是用于說明偽色區(qū)域的校正處理的其它處理結(jié)果的圖。
圖21是用于說明針對第2圖像的處理的圖。
圖22是表示本發(fā)明的實施方式3的圖像處理裝置的結(jié)構(gòu)的框圖。
圖23是本發(fā)明的實施方式3的圖像處理裝置執(zhí)行的處理的流程圖。
圖24是用于說明第2圖像的選擇方法的圖。
圖25是表示本發(fā)明的實施方式4的圖像處理裝置的結(jié)構(gòu)的框圖。
圖26是本發(fā)明的實施方式4的圖像處理裝置執(zhí)行的處理的流程圖。
圖27是用于說明第2圖像的選擇方法的圖。
具體實施例方式(實施方式1)圖1是使用內(nèi)窺鏡檢查裝置(內(nèi)窺鏡)拍攝到的圖像100的示例。如根據(jù)圖像 100可知的，區(qū)域110、120和130這些部分的稍微較小的飽和圖像區(qū)域是通過鏡面反射而形成的。因此，在鏡面反射的位置不存在有效的信息。圖2是在本發(fā)明的拍攝到的視頻序列中檢測及降低鏡面反射的方法的流程圖。 在本發(fā)明的鏡面反射降低方法中，首先檢測攝像圖像內(nèi)的鏡面反射區(qū)域(S300)。在之后的S500，從另一個圖像或者多個圖像中搜索與通過攝像圖像內(nèi)的鏡面反射而被覆蓋的圖像區(qū)域?qū)?yīng)的區(qū)域。最后，利用來自單個的或者多個圖像的信息置換攝像圖像內(nèi)的鏡面反射 (S700)。在此，成為搜索對象的圖像是，相對于檢測到鏡面反射區(qū)域的圖像的幀，在時間上處于前面或者后面的另一個幀的圖像。圖3是基于本發(fā)明的實施方式的鏡面反射圖像區(qū)域檢測處理(S300)。通常，根據(jù)鏡面反射的影響作為圖1所示的區(qū)域110、120和130等飽和像素值的區(qū)域而出現(xiàn)在圖像內(nèi)這種觀點，檢測鏡面反射區(qū)域。這樣，根據(jù)本發(fā)明的實施方式，首先檢測飽和像素(S310)。在S320，將被確定為飽和的鄰接像素進(jìn)行結(jié)合來形成鏡面反射區(qū)域。該區(qū)域在后面的本說明書中被表述為σ。也可以通過各個像素值與規(guī)定的第1閾值的比較，進(jìn)行飽和像素的檢測處理(S310)。因此，第1閾值以上的值的像素被分類為飽和。在此，用語“像素”是指任意的顏色空間中的圖像像素值。鏡面反射的檢測也可以在諸如YUV 或者YCbCr這樣的顏色空間的亮度通道(channel)等一個顏色通道中進(jìn)行。但是，如果使用更多的顏色通道檢測飽和像素，則有可能達(dá)到更好的結(jié)果，因此也可以取而代之，在求出 RGB顏色空間的R、G、B這些顏色成分圖像的平均值而得到的平均圖像中進(jìn)行檢測。并且， 也可以對圖像的各個像素值進(jìn)行閾值化處理，1表示被分類為飽和的像素，0表示除此之外的像素(或者，進(jìn)行相反的表示也同樣)，由此得到二值圖像。與存儲亮度圖像的拷貝相比， 存儲這種二值圖像所需要的存儲器比較少，而且比較簡單，因而對這種二值圖像進(jìn)一步進(jìn)行處理也成為優(yōu)點。在將圖像的像素分類為飽和或者不飽和之后，確定飽和圖像區(qū)域。這種飽和圖像區(qū)域的確定也可以通過簡單地將被分類為飽和的像素進(jìn)行結(jié)合來執(zhí)行。為了得到盡可能連續(xù)的飽和區(qū)域，提供了各種規(guī)則。例如，在被分類為飽和的像素至少有k個像素位于周圍的情況下，也可以將被分類為不飽和的像素附加在飽和區(qū)域σ中。其中，k是范圍[1，8]中的整數(shù)值。為了使只包含由被分類為飽和的像素從至少三個方向包圍的不飽和像素，優(yōu)選 k大于5?；蛘?，在檢測飽和像素的S310中提供小于第1閾值的第2閾值，以便有利于至少存在一個(或者其它數(shù)量)已經(jīng)被確定為飽和的鄰接像素，而且具有大于第2閾值的值的像素也被確定為飽和。若提供第2閾值，則即使在鏡面反射區(qū)域的紋理(texture)中存在稍微暗的像素，也能夠檢測連續(xù)的鏡面反射區(qū)域。并且，也有可能在鏡面反射區(qū)域的邊界周圍存在變形的圖像圖片(picture)，并形成偽影(artifact)那樣的光環(huán)(corona)。因此，將這些邊界周圍包含在所檢測到的鏡面反射區(qū)域中更有利。這例如可以通過適用利用S來表示的成為對應(yīng)的擴(kuò)大后的鏡面反射區(qū)域的形態(tài)擴(kuò)展操作(S330)來實現(xiàn)。形態(tài)擴(kuò)展操作用于對圖像的像素分配其鄰接區(qū)域的像素的最大值。通常，所謂鄰接區(qū)域，被定義為左右的像素或者上下的像素。但是，該鄰接區(qū)域可以適當(dāng)定義，也可以包括更多的鄰近像素、即根據(jù)情況可以包括全部8個鄰近像素。通常，飽和圖像不一定全部是從鏡面反射產(chǎn)生的。例如，在內(nèi)窺鏡圖像中，由于人體的脂肪是白色的，有可能被誤認(rèn)為鏡面反射。也許圖像或者視頻序列的白色部分都被錯誤地檢測為鏡面反射區(qū)域。并且，也許與光源較近的部分被認(rèn)為是過飽和。圖像內(nèi)的這種區(qū)域不需要校正，不會無用地浪費計算機(jī)的處理能力，因而優(yōu)選將這種區(qū)域和真正的鏡面反射進(jìn)行區(qū)分。但是，通常如果良好地設(shè)計了選擇候選的條件和閾值，則本發(fā)明的位移估計和置換不會導(dǎo)致置換錯誤的鏡面反射區(qū)域。為了將圖像的白色區(qū)域和從真正的鏡面反射產(chǎn)生的飽和區(qū)域進(jìn)行區(qū)分，也可以考慮鏡面反射的運動的特征。具體地講，在場景中有運動的情況下，鏡面反射通常是在背景的近前運動。即使運動稍微較小、且不能利用鄰接幀的數(shù)據(jù)對反射進(jìn)行完全校正，也能夠檢測該運動。與鏡面反射相對照的，屬于圖像的內(nèi)容的白色區(qū)域不在背景的近前運動。通過檢測這種運動，能夠?qū)崿F(xiàn)高效地區(qū)分鏡面反射和白色區(qū)域的方法。在區(qū)域被可靠地分類為鏡面反射區(qū)域(與白色的圖像區(qū)域區(qū)分)的時刻，能夠在時間上跟蹤該區(qū)域，因而不需要對每個幀反復(fù)進(jìn)行分類。除了鏡面反射區(qū)域之外的飽和圖像區(qū)域的其它示例有文本、時間戳、LOGO等圖像 /視頻的疊加。當(dāng)在該疊加中包含白色區(qū)域的情況下，該區(qū)域也許會被錯誤地檢測為鏡面反射。但是，疊加具有幾個特定的特征，并被用來與真正的鏡面反射區(qū)域進(jìn)行區(qū)分。并且，這些特征中的幾個特征也與圖像的普通的白色區(qū)域相符合。例如，疊加中的白色的像素數(shù)通常遠(yuǎn)遠(yuǎn)地多于鏡面反射的像素數(shù)。并且，疊加與鏡面反射不同，相對于場景的運動是完全獨立的。也可以利用這些特征按照上面所述將圖像的白色區(qū)域可靠地分類為鏡面反射或者圖像內(nèi)容。在這種分類中，能夠在進(jìn)行了分類的圖像的下一個(或者前一個)圖像中跟蹤鏡面反射。另外，疊加通常呈現(xiàn)出有特征的形狀。例如，能夠利用諸如OCR (Optical Character Recognition :光學(xué)字符識別)那樣的圖像的字符檢測，對疊加的類型和鏡面反射進(jìn)行區(qū)分。通過檢測而盡可能擴(kuò)大的飽和區(qū)域S可以按照實現(xiàn)本發(fā)明的該實施方式的系統(tǒng)的數(shù)據(jù)流程原樣進(jìn)行處理(參照位移估計處理(S500)和置換處理(S700))，或者為了便于今后的處理而存儲在緩沖器中。圖4 (a)表示此后將要檢測鏡面反射區(qū)域的攝像圖像400。鏡面反射區(qū)域410與在進(jìn)行飽和像素的檢測處理(S310)和飽和區(qū)域的確定處理(S320)之后取得的飽和區(qū)域σ 相對應(yīng)。圖4(b)表示具有通過擴(kuò)展操作(S330)而得到的已擴(kuò)大的鏡面反射區(qū)域420 (已擴(kuò)大的鏡面反射區(qū)域幻的相同攝像圖像400。在圖4(a)和圖4(b)中只示出了一個所檢測到的鏡面反射區(qū)域410和作為結(jié)果而產(chǎn)生的已擴(kuò)大的鏡面反射區(qū)域420。但是，通常在單一圖像中包含在進(jìn)行檢測之后依次或者同時處理的多個鏡面反射。另外，在權(quán)利要求書中，將從已擴(kuò)大的鏡面反射區(qū)域420中去除鏡面反射區(qū)域410后的區(qū)域定義為鄰接區(qū)域。在確定出鏡面反射區(qū)域420后，馬上存儲這些區(qū)域以及/或者攝像圖像400內(nèi)的這些區(qū)域的位置。具體地講，所檢測到的鏡面反射區(qū)域表示攝像圖像400的全部像素，而且可以存儲為具有針對哪個鏡面反射區(qū)域都不屬于的像素的二進(jìn)值、和針對屬于鏡面反射區(qū)域的像素的另一個二進(jìn)值的位圖形式。或者，也可以存儲攝像圖像400內(nèi)的位置以及鏡面反射區(qū)域的形狀以及/或者大小。但是，也可以使用能夠確定鏡面反射區(qū)域的其它信息進(jìn)行相同的存儲。圖5是本發(fā)明的位移估計處理(S500)的流程圖。對通過S300的處理來檢測攝像圖像而得到的每個鏡面反射區(qū)域進(jìn)行位移估計(S500)。在位移估計中，搜索與被所檢測到的鏡面反射區(qū)域阻擋的圖像部位相對應(yīng)的、不同的幀的圖像區(qū)域。為了容易進(jìn)行搜索，針對任意的鏡面反射區(qū)域420，定義大于該鏡面反射區(qū)域420、而且充分包含該鏡面反射區(qū)域 420的圖像區(qū)域——即被覆區(qū)域430。該被覆區(qū)域430利用下式表示數(shù)式1并呈現(xiàn)為塊形狀或三角形等其它幾何學(xué)形狀。包含所檢測到的鏡面反射區(qū)域420 的矩形形狀的被覆區(qū)域430如圖4(c)所示。但是，本發(fā)明不局限于這些形式的被覆區(qū)域 430。通常，被覆區(qū)域430例如也可以是拷貝所檢測到的鏡面反射區(qū)域的輪廓而具有規(guī)定的像素數(shù)的厚度的形狀等不固定的形狀。圖4(d)表示周邊區(qū)域440。該周邊區(qū)域利用D表示，是作為不包含鏡面反射區(qū)域 420的被覆區(qū)域430而得到的區(qū)域。周邊區(qū)域被定義如下
數(shù)式2
權(quán)利要求
1.一種圖像處理方法，包括檢測步驟，在第1圖像中檢測包含飽和區(qū)域和鄰接區(qū)域的擴(kuò)大區(qū)域，該飽和區(qū)域是像素值為規(guī)定閾值以上的像素區(qū)域，該鄰接區(qū)域是至少部分地包圍該飽和區(qū)域的區(qū)域；以及置換步驟，對在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的至少所述鄰接區(qū)域所包含的像素的像素值，使用第2圖像中的所述擴(kuò)大區(qū)域的對應(yīng)位置的像素的像素值或者該對應(yīng)位置的鄰接像素的像素值來進(jìn)行置換。
2.根據(jù)權(quán)利要求1所述的圖像處理方法， 所述圖像處理方法還包括估計步驟，從所述第2圖像中搜索與至少部分地包圍在所述檢測步驟檢測到的所述擴(kuò)大區(qū)域的周邊區(qū)域相匹配的圖像區(qū)域，由此估計所述擴(kuò)大區(qū)域在所述第2圖像中的對應(yīng)位置，在所述置換步驟中，利用在所述估計步驟估計到的所述擴(kuò)大區(qū)域在所述第2圖像中的對應(yīng)位置的像素的像素值，來置換在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的至少所述鄰接區(qū)域所包含的像素的像素值。
3.根據(jù)權(quán)利要求2所述的圖像處理方法， 所述估計步驟包括如下步驟確定周邊區(qū)域的步驟，該周邊區(qū)域至少部分地包圍在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域；在所述第2圖像中，根據(jù)規(guī)定的基準(zhǔn)來搜索與所述周邊區(qū)域匹配、而且適合于置換滿足規(guī)定的基準(zhǔn)的所述第1圖像的擴(kuò)大區(qū)域的圖像區(qū)域的步驟；以及從搜索到的所述圖像區(qū)域中選擇與規(guī)定的尺度最符合的圖像區(qū)域的位置，來作為所述擴(kuò)大區(qū)域在所述第2圖像中的對應(yīng)位置的步驟。
4.根據(jù)權(quán)利要求3所述的圖像處理方法， 所述規(guī)定的基準(zhǔn)包括以下中的至少一個 搜索到的所述圖像區(qū)域的飽和像素量； 搜索到的所述圖像區(qū)域的平均亮度；搜索到的所述圖像區(qū)域的空間信息量、頻率信息、構(gòu)成量、邊緣量或者紋理量； 搜索到的所述圖像區(qū)域的噪聲量；搜索到的所述圖像區(qū)域與檢測到的所述周邊區(qū)域之間的轉(zhuǎn)變區(qū)域的平滑度； 所述第1圖像與所述第2圖像之間的時間距離；以及所述第1圖像的所述擴(kuò)大區(qū)域、與適合于置換所述第1圖像的所述擴(kuò)大區(qū)域的所述第 2圖像的所述圖像區(qū)域之間的空間距離。
5.根據(jù)權(quán)利要求2 4中任意一項所述的圖像處理方法，在所述估計步驟中，將視頻序列的圖像作為所述第2圖像，或者將包括利用多個攝像機(jī)拍攝到的圖像的多個圖像分別作為所述第2圖像，進(jìn)行所述估計處理。
6.根據(jù)權(quán)利要求2 5中任意一項所述的圖像處理方法，在所述置換步驟中，還對所述置換處理后的、所述第1圖像中的所述擴(kuò)大區(qū)域與所述周邊區(qū)域之間的轉(zhuǎn)變區(qū)域所包含的像素的像素值進(jìn)行平滑處理。
7.根據(jù)權(quán)利要求1 6中任意一項所述的圖像處理方法，在所述檢測步驟中，在所述第1圖像中將像素值飽和的像素區(qū)域作為所述飽和區(qū)域。
8.根據(jù)權(quán)利要求1 6中任意一項所述的圖像處理方法， 所述檢測步驟包括以下步驟在所述第1圖像中，將像素值為所述規(guī)定閾值以上的像素分類為飽和像素的步驟；以及對相互鄰接的被分類為飽和像素的像素彼此進(jìn)行分組，由此確定所述飽和區(qū)域的步驟。
9.根據(jù)權(quán)利要求1 8中任意一項所述的圖像處理方法，所述鄰接區(qū)域是在所述飽和區(qū)域的周邊產(chǎn)生偽色的區(qū)域即偽色區(qū)域。
10.根據(jù)權(quán)利要求9所述的圖像處理方法，在所述置換步驟中，利用所述第2圖像中的所述擴(kuò)大區(qū)域所包含的所述飽和區(qū)域的對應(yīng)位置的像素的像素值，置換在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域所包含的所述飽和區(qū)域的像素的像素值，并且利用所述第2圖像中的所述擴(kuò)大區(qū)域所包含的所述偽色區(qū)域的對應(yīng)位置的像素的藍(lán)色成分的像素值，置換在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域所包含的所述偽色區(qū)域的像素的藍(lán)色成分的像素值。
11.根據(jù)權(quán)利要求9所述的圖像處理方法，在所述置換步驟中，利用所述第2圖像中的所述擴(kuò)大區(qū)域的對應(yīng)位置所包含的所述偽色區(qū)域的對應(yīng)位置的像素的藍(lán)色成分的像素值，置換在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的所述偽色區(qū)域所包含的像素的藍(lán)色成分的像素值，在該置換之后，利用所述第2 圖像中的所述擴(kuò)大區(qū)域的對應(yīng)位置所包含的所述飽和區(qū)域的對應(yīng)位置的像素的像素值，置換在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的所述飽和區(qū)域所包含的像素的像素值， 在所述檢測步驟中還進(jìn)行如下處理當(dāng)在所述置換步驟對所述偽色區(qū)域所包含的像素的藍(lán)色成分的像素值進(jìn)行置換之后，在對所述飽和區(qū)域所包含的像素的像素值進(jìn)行置換之前，在所述第1圖像中檢測包含飽和區(qū)域和鄰接區(qū)域的擴(kuò)大區(qū)域，該飽和區(qū)域是像素值為規(guī)定閾值以上的像素區(qū)域，該鄰接區(qū)域是至少部分地包圍該飽和區(qū)域的區(qū)域。
12.根據(jù)權(quán)利要求1所述的圖像處理方法，所述鄰接區(qū)域是在所述飽和區(qū)域的周邊產(chǎn)生偽色的區(qū)域即偽色區(qū)域， 所述第1圖像和所述第2圖像是相同的圖像，在所述置換步驟中，使用所述第2圖像中的所述鄰接區(qū)域的外側(cè)的藍(lán)色成分的像素值，對在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的所述鄰接區(qū)域所包含的像素的藍(lán)色成分的像素值進(jìn)行內(nèi)插插補，由此置換所述鄰接區(qū)域所包含的像素的藍(lán)色成分的像素值。
13.根據(jù)權(quán)利要求12所述的圖像處理方法， 所述圖像處理方法還包括估計步驟，從第3圖像中搜索與至少部分地包圍在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域的周邊區(qū)域相匹配的圖像區(qū)域，由此估計所述擴(kuò)大區(qū)域在所述第3圖像中的對應(yīng)位置，在所述置換步驟中，利用在所述估計步驟估計到的所述擴(kuò)大區(qū)域在所述第3圖像中的對應(yīng)位置的像素的像素值，置換在所述檢測步驟中檢測到的所述擴(kuò)大區(qū)域之中的所述飽和區(qū)域所包含的像素的像素值。
14.根據(jù)權(quán)利要求9 13中任意一項所述的圖像處理方法， 所述檢測步驟還進(jìn)行如下處理在針對所述飽和區(qū)域的周邊的區(qū)域、沿遠(yuǎn)離所述飽和區(qū)域的邊界的方向跟蹤了各個像素的藍(lán)色成分的像素值的情況下，在該像素值達(dá)到極大后，將該像素值為規(guī)定值以下的位置確定為所述偽色區(qū)域的邊界位置，由此確定所述偽色區(qū)域。
15.一種圖像處理裝置，包括檢測部，在第1圖像中檢測包含飽和區(qū)域和鄰接區(qū)域的擴(kuò)大區(qū)域，該飽和區(qū)域是像素值為規(guī)定閾值以上的像素區(qū)域，該鄰接區(qū)域是至少部分地包圍該飽和區(qū)域的區(qū)域；以及置換部，對在所述檢測部中檢測到的所述擴(kuò)大區(qū)域之中的至少所述鄰接區(qū)域所包含的像素的像素值，使用第2圖像中的所述擴(kuò)大區(qū)域的對應(yīng)位置的像素的像素值或者該對應(yīng)位置的鄰接像素的像素值來進(jìn)行置換。
16.一種程序，用于使計算機(jī)執(zhí)行權(quán)利要求1 14中任意一項所述的圖像處理方法。
全文摘要
一種圖像處理方法及圖像處理裝置。圖像處理裝置包括鏡面反射檢測器(1110)，在第1圖像中檢測包含飽和區(qū)域和鄰接區(qū)域的擴(kuò)大區(qū)域，該飽和區(qū)域是像素值為規(guī)定閾值以上的像素區(qū)域，該鄰接區(qū)域是至少部分地包圍該飽和區(qū)域的區(qū)域；以及置換部(1130)，對在鏡面反射檢測器(1110)中檢測到的擴(kuò)大區(qū)域之中的至少鄰接區(qū)域所包含的像素的像素值，使用第2圖像中的擴(kuò)大區(qū)域的對應(yīng)位置的像素的像素值或者該對應(yīng)位置的鄰接像素的像素值來進(jìn)行置換。
文檔編號H04N5/232GK102301694SQ20108000600
公開日2011年12月28日 申請日期2010年11月18日 優(yōu)先權(quán)日2009年11月18日
發(fā)明者F·尼克, S·維特曼, T·帕爾夫納, T·韋迪 申請人:松下電器產(chǎn)業(yè)株式會社