專利名稱:圖像處理系統(tǒng)、圖像處理程序以及圖像處理方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像處理系統(tǒng)、圖像處理程序以及圖像處理方
法。更具體地,本發(fā)明涉及精確地提取圖像中存在的重復(fù)圖案的圖像處理系統(tǒng)、圖像處理程序以及圖像處理方法。
背景技術(shù):
被稱為紋理映射的將圖像施加到物體上的方法在計(jì)算機(jī)圖形學(xué)(下文稱為CG)領(lǐng)域是廣為人知的,并且用于多種CG系統(tǒng)中。為了增強(qiáng)逼真性,在一些情況下圖案被重復(fù)地施加到物體上。然而,如果不考慮這種重復(fù),圖案之間的接縫部分可能是不自然的,并且可能減少逼真性。當(dāng)圖像中的重復(fù)圖案被提取或生成時(shí),可以使用圖像編輯軟件來手工地完成工作。然而,當(dāng)圖案復(fù)雜時(shí),需要大量的時(shí)間。例如,作為一種提取圖像中的重復(fù)圖案的方法的實(shí)例,提出了在日本專利申請(qǐng)公開第2002-198406 ( JP-A-2002-198406 )號(hào)中描述的技術(shù)。在JP-A-2002-198406中描述的技術(shù)說明了使用諸如傅立葉變換或自相關(guān)函數(shù)的數(shù)學(xué)方法,從通過經(jīng)由攝像元件使物體成像所獲得的圖像中得出重復(fù)圖案的重復(fù)間距,并且具有該重復(fù)間距的區(qū)域被視為包含重復(fù)圖案的區(qū)域。
然而,關(guān)于JP-A-2002-198406中描述的技術(shù),盡管文中描述 的是使用數(shù)學(xué)方法得出重復(fù)間距,但是不存在對(duì)計(jì)算周期的特定方法
的說明,因此該:技術(shù)缺乏可行性。本發(fā)明的目標(biāo)是精確地提取重復(fù)圖案。
發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方案的圖像處理系統(tǒng)包括多個(gè)用于提取 重復(fù)圖案的器件,提取器件使用當(dāng)提取包含在圖像中的重復(fù)圖案時(shí)所 用的相互不同的確定重復(fù)周期的方法;以及根據(jù)包含在圖像中的重復(fù) 圖案的重復(fù)次數(shù)而在多個(gè)重復(fù)圖案提取器件之間執(zhí)行切換的器件。根據(jù)本發(fā)明的第 一方案,多個(gè)用于提取重復(fù)圖案的器件中的 一個(gè)提取包含在圖像中的重復(fù)圖案。多個(gè)重復(fù)圖案提取器件使用當(dāng)提 取重復(fù)圖案時(shí)所用的互不相同的確定重復(fù)周期的各自的方法。例如, 圖像處理系統(tǒng)可以包括用于提取具有相互不同的提取精度的重復(fù)圖案 的多個(gè)器件,這取決于重復(fù)圖案的重復(fù)次數(shù)。切換器件取決于包含在圖像中的重復(fù)圖案的重復(fù)次數(shù)在重 復(fù)圖案提取器件之間執(zhí)行切換。具體地,能夠使用適應(yīng)于重復(fù)圖案的 重復(fù)次數(shù)的最優(yōu)提取器件來提取重復(fù)圖案。因此,能夠從輸入圖像處 理系統(tǒng)的圖像中精確地提取重復(fù)圖案。圖像處理系統(tǒng)可以進(jìn)一步包括用于生成隨機(jī)重復(fù)圖案的器 件,其中,當(dāng)圖像中沒有包含重復(fù)圖案時(shí),所述生成器件生成隨機(jī)重 復(fù)圖案。
所述多個(gè)重復(fù)圖案提取器件可以包括第一提取器件,用于 通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確定圖像中的重復(fù)圖案的重 復(fù)周期來提取重復(fù)圖案;以及第二提取器件,用于通過以下步驟來提 取所述重復(fù)圖案構(gòu)建圖像金字塔,圖像金字塔被構(gòu)建為從高分辨率 圖像到低分辨率圖像的具有不同分辨率的一組圖像;計(jì)算圖像金字塔 的最深層圖像的每個(gè)像素的高階局部自相關(guān)特征值,以基于計(jì)算出的 高階局部自相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間 的自相關(guān)系數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí)行這種 高階局部自相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中, 對(duì)于當(dāng)前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的層的圖 像中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所
述計(jì)算;將前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān) 系數(shù)的局部最大值來確定所述圖像中的重復(fù)圖案的重復(fù)周期。根據(jù)本發(fā)明的第二方案的圖像處理系統(tǒng)包括第一提取器 件,用于通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確定圖像中的重復(fù) 圖案的重復(fù)周期來從圖像中提取重復(fù)圖案;第二提取器件,用于通過 以下步驟來提取所述重復(fù)圖案構(gòu)建圖像金字塔,所述圖像金字塔被 構(gòu)建為從高分辨率圖像到低分辨率圖像的具有不同分辨率的 一組圖 像;計(jì)算圖像金字塔的最深層圖像的每個(gè)像素的高階局部自相關(guān)特征 值,以基于計(jì)算出的高階局部自相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每 個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別 的層的圖像執(zhí)行這種高階局部自相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其 中,在每次重復(fù)中,對(duì)于當(dāng)前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層 深一個(gè)級(jí)別的層的圖像中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì)算;將所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù); 以及使用最淺層的自相關(guān)系數(shù)的局部最大值來確定所述圖像中的重復(fù) 圖案的重復(fù)周期;以及用于生成隨機(jī)重復(fù)圖案的器件。當(dāng)?shù)谝惶崛∑?件對(duì)重復(fù)圖案的提取結(jié)果是提取了重復(fù)次數(shù)等于或大于預(yù)定次數(shù)的重 復(fù)圖案時(shí),輸出由第一提取器件提取的重復(fù)圖案。當(dāng)沒有重復(fù)圖案被 所述第一提取器件提取時(shí),或當(dāng)沒有重復(fù)次數(shù)等于或大于所述預(yù)定次 數(shù)的重復(fù)圖案被第一提取器件提取時(shí),重復(fù)圖案的提取由第二提取器 件執(zhí)行。如果重復(fù)圖案被第二提取器件提取,則輸出所述重復(fù)圖案。 如果沒有重復(fù)圖案被第二提取器件提取,則隨機(jī)重復(fù)圖案被生成器件 生成并輸出。根據(jù)第二方案的圖像處理系統(tǒng),第 一提取器件通過將圖像中 的像素值轉(zhuǎn)換為頻率系數(shù)而確定所述圖像中的重復(fù)圖案的重復(fù)周期來 提取所述圖像中的重復(fù)圖案。第二提取器件通過以下步驟來提取重復(fù) 圖案構(gòu)建圖像金字塔,所述圖像金字塔被構(gòu)建為從高分辨率圖像到 低分辨率圖像的具有不同分辨率的 一組圖像;計(jì)算圖像金字塔的最深 層圖像的每個(gè)像素的高階局部自相關(guān)特征值,以基于計(jì)算出的高階局 部自相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相 關(guān)系數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí)行這種高階局 部自相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì)于當(dāng) 前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一 個(gè)級(jí)別的層的圖像中的 局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì) 算;將所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān) 系數(shù)的局部最大值來確定所述圖像中的重復(fù)圖案的重復(fù)周期。生成器 件生成隨機(jī)重復(fù)圖案。
ii
當(dāng)?shù)谝惶崛∑骷?duì)重復(fù)圖案的提取結(jié)果是提取了重復(fù)次數(shù)
等于或大于預(yù)定次數(shù)的重復(fù)圖案時(shí),輸出由第 一提取器件提取的重復(fù) 圖案。當(dāng)沒有重復(fù)圖案被所述第一提取器件提取時(shí),或當(dāng)沒有重復(fù)次 數(shù)等于或大于所述預(yù)定次數(shù)的重復(fù)圖案被第一提取器件提取時(shí),重復(fù) 圖案的提取由第二提取器件執(zhí)行。如果重復(fù)圖案被第二提取器件提取, 則輸出所述重復(fù)圖案。如果沒有重復(fù)圖案被第二提取器件提取,則隨 機(jī)重復(fù)圖案被生成器件生成并輸出。因此,能夠從輸入圖像處理系統(tǒng) 的圖像中精確地提取重復(fù)圖案。此外,通過所述結(jié)構(gòu),能夠從輸入圖 像處理系統(tǒng)的圖像中自動(dòng)地提取重復(fù)圖案。根據(jù)本發(fā)明的第三方案的圖像處理程序是使計(jì)算機(jī)執(zhí)行以 下圖像處理過程的圖像處理程序。所述圖像處理程序包括多個(gè)提取 重復(fù)圖案的步驟,所述步驟使用當(dāng)提取包含在圖像中的重復(fù)圖案時(shí)所 用的相互不同的確定重復(fù)周期的方法;以及根據(jù)包含在所述圖像中的 重復(fù)圖案的重復(fù)次數(shù)而在多個(gè)重復(fù)圖案提取步驟之間執(zhí)行切換的切換 步驟。根據(jù)第三方案的圖像處理程序,多個(gè)重復(fù)圖案提取步驟提 取包含在圖像中的重復(fù)圖案。多個(gè)重復(fù)圖案提取步驟使用用于提取重 復(fù)圖案的相互不同的判斷重復(fù)周期的方法。圖像處理過程可以包括多 個(gè)提取重復(fù)圖案的步驟,所述步驟取決于重復(fù)圖案的重復(fù)次數(shù)而具有 相互不同的提取精度。切換步驟根據(jù)圖像中的重復(fù)圖案的重復(fù)次數(shù)在重復(fù)圖案提 取器件之間進(jìn)行切換。由于能夠使用適應(yīng)于重復(fù)圖案的重復(fù)次數(shù)的最 優(yōu)提取步驟來提取重復(fù)圖案。因此,能夠從輸入圖像處理系統(tǒng)的圖像 中精確地提取重復(fù)圖案。
圖像處理過程可以進(jìn)一 步包括生成隨機(jī)重復(fù)圖案的生成步
驟,其中,當(dāng)所述圖像中沒有包含重復(fù)圖案時(shí),生成步驟生成隨機(jī)重 復(fù)圖案。例如,多個(gè)重復(fù)圖案提取步驟可以包括第一提取步驟,通 過將所述圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確定所述圖像中的重復(fù)圖 案的重復(fù)周期來提取所述重復(fù)圖案;以及第二提取步驟,通過以下步 驟來提取重復(fù)圖案構(gòu)建圖像金字塔,圖像金字塔被構(gòu)建為從高分辨 率圖像到低分辨率圖像的具有不同分辨率的 一組圖像;計(jì)算圖像金字 塔的最深層圖像的每個(gè)像素的高階局部自相關(guān)特征值,以基于所述計(jì) 算出的高階局部自相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū) 域之間的自相關(guān)系數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí) 行這種高階局部自相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重 復(fù)中,對(duì)于當(dāng)前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的 層的圖像中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域 執(zhí)行所述計(jì)算;將所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺 層的自相關(guān)系數(shù)的局部最大值來確定所述圖像中的所述重復(fù)圖案的所 述重復(fù)周期。根據(jù)本發(fā)明的第四方案的圖像處理程序是使計(jì)算機(jī)執(zhí)行以 下圖像處理過程的圖像處理程序。所述圖像處理過程包括第一提取 步驟,通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確定所述圖像中的重 復(fù)圖案的重復(fù)周期來從所述圖像中提取重復(fù)圖案;第二提取步驟,通 過以下步驟來提取重復(fù)圖案構(gòu)建圖像金字塔,圖像金字塔被構(gòu)建為 從高分辨率圖像到低分辨率圖像的具有不同分辨率的 一組圖像;計(jì)算 圖像金字塔的最深層圖像的每個(gè)像素的高階局部自相關(guān)特征值,以基于所述計(jì)算出的高階局部自相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì) 象像素區(qū)域之間的自相關(guān)系數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層 的圖像執(zhí)行這種高階局部自相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中, 在每次重復(fù)中,對(duì)于當(dāng)前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一 個(gè)級(jí)別的層的圖像中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象
像素區(qū)域執(zhí)行所述計(jì)算;將所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及 使用最淺層的自相關(guān)系數(shù)的局部最大值來確定所述圖像中的所述重復(fù) 圖案的所述重復(fù)周期;以及生成隨機(jī)重復(fù)圖案的生成步驟。當(dāng)?shù)谝惶?取步驟中對(duì)重復(fù)圖案的提取結(jié)果是提取了重復(fù)次數(shù)等于或大于預(yù)定次 數(shù)的重復(fù)圖案時(shí),輸出提取的所述重復(fù)圖案。當(dāng)沒有重復(fù)圖案在第一 提取步驟中被提取時(shí),或當(dāng)沒有重復(fù)次數(shù)等于或大于所述預(yù)定次數(shù)的 重復(fù)圖案在第 一提取步驟中被提取時(shí),重復(fù)圖案的提取在第二提取步 驟中執(zhí)行。如果重復(fù)圖案在第二提取步驟中被提取,則輸出所述重復(fù) 圖案。如果沒有重復(fù)圖案在第二提取步驟中被提取,則隨機(jī)重復(fù)圖案 在生成步驟中被生成并輸出。根據(jù)第四方案,第一提取步驟通過將圖像中的像素值轉(zhuǎn)換為 頻率系數(shù)而確定所述圖像中的重復(fù)圖案的重復(fù)周期來從所述圖像中提 取重復(fù)圖案。第二提取步驟通過以下步驟來提取重復(fù)圖案構(gòu)建圖像 金字塔,圖像金字塔被構(gòu)建為從高分辨率圖像到低分辨率圖像的具有 不同分辨率的一組圖像;計(jì)算圖像金字塔的最深層圖像的每個(gè)像素的 高階局部自相關(guān)特征值,以基于所述計(jì)算出的高階局部自相關(guān)特征值 來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系數(shù);對(duì)于比 前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí)行這種高階局部自相關(guān)特征值 和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì)于當(dāng)前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的層的圖像中的局部最大值的對(duì)
象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì)算;將所述前次計(jì) 算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān)系數(shù)的局部最大值 來確定所述圖像中的所述重復(fù)圖案的所述重復(fù)周期。生成步驟生成隨 機(jī)重復(fù)圖案。當(dāng)?shù)?一提取步驟中對(duì)重復(fù)圖案的提取結(jié)果是提取了重復(fù)次 數(shù)等于或大于預(yù)定次數(shù)的重復(fù)圖案時(shí),輸出提取的所述重復(fù)圖案。當(dāng) 沒有重復(fù)圖案在第 一 提取步驟中被提取時(shí),或當(dāng)沒有重復(fù)次數(shù)等于或 大于所述預(yù)定次數(shù)的重復(fù)圖案在第一提取步驟中被提取時(shí),重復(fù)圖案 的提取在第二提取步驟中執(zhí)行。如果重復(fù)圖案在第二提取步驟中被提 取,則輸出所述重復(fù)圖案。如果沒有重復(fù)圖案在第二提取步驟中被提 取,則隨機(jī)重復(fù)圖案在生成步驟中被生成并輸出。因此,能夠從輸入 圖像處理系統(tǒng)的圖像中精確地提取重復(fù)圖案。此外,通過執(zhí)行這種過 程,能夠從輸入圖像處理系統(tǒng)的圖像中自動(dòng)地提取重復(fù)圖案。根據(jù)本發(fā)明的第五方案的圖像處理方法包括執(zhí)行第一次提 取,其中通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確定所述圖像中的 重復(fù)圖案的重復(fù)周期來從所述圖像中提取所述重復(fù)圖案;當(dāng)重復(fù)次數(shù) 等于或大于預(yù)定次數(shù)的重復(fù)圖案在第一次提取中被提取時(shí),輸出在第 一次提取中被提取的所述重復(fù)圖案;當(dāng)沒有重復(fù)圖案在第一次提取中 被提取時(shí),或當(dāng)沒有重復(fù)次數(shù)等于或大于所述預(yù)定次數(shù)的重復(fù)圖案在 第一次提取中被提取時(shí),執(zhí)行第二次提取,在第二次提取中重復(fù)圖案 通過以下步驟被提取構(gòu)建圖像金字塔;計(jì)算所述圖像金字塔的最深 層圖像的每個(gè)像素的高階局部自相關(guān)特征值,以基于所述計(jì)算出的高 階局部自相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí)行這種高
階局部自相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì) 于當(dāng)前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的層的圖像 中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述
計(jì)算;將所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相 關(guān)系數(shù)的局部最大值來確定所述圖像中的所述重復(fù)圖案的所述重復(fù)周 期;如果重復(fù)圖案在第二次提取中被提取,則輸出在第二次提取中被 提取的所述重復(fù)圖案;以及如果在第一次提取和第二次提取中都沒有 重復(fù)圖案被提取,則生成隨機(jī)重復(fù)圖案。根據(jù)本發(fā)明的第五方案的圖像處理方法,具有能夠根據(jù)圖像 中的重復(fù)圖案的重復(fù)次數(shù)通過在多個(gè)重復(fù)圖案提取過程之間執(zhí)行切換 來從圖像中精確地提取重復(fù)圖案的優(yōu)點(diǎn),多個(gè)重復(fù)圖案提取過程使用 當(dāng)提取包含在圖像中的重復(fù)圖案時(shí)所用的相互不同的確定重復(fù)周期的 方法。
通過以下參照附圖對(duì)示例性實(shí)施例的詳細(xì)描述,本發(fā)明的上 述和進(jìn)一步的目的、特征及優(yōu)點(diǎn)將變得明顯,其中圖中相似的附圖標(biāo) 記用于表示相似的元件,并且其中
圖1A和1B為用于說明根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)的概 況的圖2為顯示由根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)執(zhí)行的包括提 取過程和生成過程的程序流的實(shí)例的流程圖;圖3為用于說明通過將像素值轉(zhuǎn)換為頻率系數(shù)而確定重復(fù)周期的
方法的流程圖4為顯示計(jì)算沿樣本圖像的豎直方向的像素的像素值的平均數(shù) 的結(jié)果的圖5為顯示在樣本圖像的情況下的功率譜的圖6為顯示通過提取在樣本圖像的功率譜中滿足關(guān)系式S ( )〉 S ((D)的平均值的頻率分量來確定加權(quán)值的結(jié)果的圖7為顯示執(zhí)行從樣本圖像的功率譜到時(shí)域數(shù)據(jù)的逆變換的結(jié)果 的圖8為說明通過使用自相關(guān)系數(shù)的局部最大值來執(zhí)行劃分而確定 重復(fù)周期的方法的流程圖9為顯示圖像金字塔的概況的圖IO為用于說明圖像金字塔的圖11顯示用于計(jì)算高階局部自相關(guān)特征的25個(gè)局部圖案;
圖12為顯示計(jì)算高階局部自相關(guān)特征值的實(shí)例的圖13為顯示對(duì)于每個(gè)水平線和豎直線的特征值的平均值、方差以 及標(biāo)準(zhǔn)偏差的計(jì)算的圖示的圖14A為顯示相對(duì)于水平基準(zhǔn)線的相關(guān)系數(shù)的計(jì)算的圖示的圖14B為顯示相對(duì)于豎直基準(zhǔn)線的相關(guān)系數(shù)的計(jì)算的圖示的圖15A為顯示在水平方向上計(jì)算相關(guān)系數(shù)的結(jié)果的圖;圖15B為顯示在豎直方向上計(jì)算相關(guān)系數(shù)的結(jié)果的圖16A為顯示圖15A中所示的局部最大點(diǎn)的回歸線的圖16B為顯示圖15B中所示的局部最大點(diǎn)的回歸線的圖17為用于說明通過執(zhí)行將圖像劃分為圖像塊來生成隨機(jī)重復(fù)圖 案的方法的流程圖18為用于說明將原始圖像劃分為圖像塊的圖19A為用于說明當(dāng)放置圖像塊以便與無縫圖像的下邊緣部重疊 時(shí)執(zhí)行的計(jì)算相似度的圖19B為用于說明當(dāng)放置圖像塊以便與無縫圖像的右邊緣部重疊 時(shí)執(zhí)行的計(jì)算相似度的圖20A為用于說明當(dāng)圖像塊被以圖像塊延伸超過無縫圖像的下邊 緣的狀態(tài)放置時(shí)執(zhí)行的計(jì)算相似度的圖20B為用于說明當(dāng)圖像塊被以圖像塊延伸超過無縫圖像的右邊 緣的狀態(tài)放置時(shí)執(zhí)行的計(jì)算相似度的圖20C和20D均為顯示設(shè)置圖像塊的方式的實(shí)例的圖21A為用于說明將被組合的圖像塊的圖21B為用于說明對(duì)將被組合的圖像塊的上邊緣部重疊的區(qū)域進(jìn) 行的處理的圖21C為用于說明對(duì)將被組合的圖像塊的左邊緣部重疊的區(qū)域進(jìn) 行的處理的圖;圖22A為說明無縫圖像和將被組合的圖像塊不重疊的區(qū)域的圖22B為用于說明對(duì)將被組合的圖像塊進(jìn)行組合的方法的圖23A為用于說明將被組合的圖像塊超出了無縫圖像的右邊緣的 情況的圖23B為用于說明將被組合的圖像塊超出了無縫圖像的下邊緣的 情況的圖23C為用于說明完成線被設(shè)定在對(duì)應(yīng)于最小縱坐標(biāo)的水平線處 的過程的圖24A和24B為顯示包括由改進(jìn)的圖像處理系統(tǒng)執(zhí)行的上述提取 和生成過程的程序流的實(shí)例的流程圖。
具體實(shí)施例方式以下將參照附圖對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行說明。圖1為 用于說明根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)的概況的圖。如圖1所示,根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)10由包 括諸如監(jiān)視器12的顯示器件以及諸如鍵盤14和鼠標(biāo)或類似物的輸入 器件的普通個(gè)人電腦或類似物構(gòu)成。圖像處理系統(tǒng)IO提取輸入圖像16 中存在的重復(fù)圖案,或使用輸入圖像16生成重復(fù)圖案,然后輸出所述 重復(fù)圖案。具體地,當(dāng)輸入圖1B所示的圖像時(shí),圖像處理系統(tǒng)10自 動(dòng)地提取圖像中存在的重復(fù)圖案18,或生成適于所述圖像的重復(fù)圖案, 并輸出所述重復(fù)圖案。當(dāng)輸入圖像中存在重復(fù)圖案時(shí),根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)IO執(zhí)行從輸入圖像中提取重復(fù)圖案的提取過程。當(dāng)輸入圖像
中不存在重復(fù)圖案時(shí),圖像處理系統(tǒng)10使用輸入圖像16執(zhí)行生成重
復(fù)圖案的生成過程。圖像處理系統(tǒng)IO基于經(jīng)由鍵盤14提供的輸入來判斷是執(zhí)行 提取過程還是執(zhí)行生成過程。首先,操作者4企查在監(jiān)視器12上顯示的 圖像,并且通過鍵盤14將檢查結(jié)果輸入圖像處理系統(tǒng)10。然后,圖像 處理系統(tǒng)IO基于經(jīng)由鍵盤14輸入的檢查結(jié)果判斷輸入圖像中是否存 在重復(fù)圖案。然后,圖像處理系統(tǒng)IO判斷是執(zhí)行提取過程還是執(zhí)行生 成過程。在圖像處理系統(tǒng)10中執(zhí)行的提取過程有兩種。所執(zhí)行的提 取過程的不同取決于輸入圖像中的重復(fù)圖案的重復(fù)次數(shù)是否為2x2或 更多。當(dāng)操作者檢查在監(jiān)視器12上顯示的圖像,并且通過鍵盤14將 檢查結(jié)果輸入圖像處理系統(tǒng)10中時(shí),圖像處理系統(tǒng)IO基于經(jīng)由鍵盤 14輸入的檢查結(jié)果來判斷輸入圖像中的重復(fù)圖案的重復(fù)次數(shù)是否為 2x2或更多,以從兩種提取過程中選出將執(zhí)行的提取過程。在該實(shí)施例中,當(dāng)輸入圖像中的重復(fù)圖案的重復(fù)次數(shù)為2x2 或更多時(shí),通過將像素值轉(zhuǎn)換為頻率系數(shù)而確定重復(fù)圖案的周期來提 取重復(fù)圖案。當(dāng)輸入圖像中的重復(fù)圖案的重復(fù)次數(shù)小于2x2時(shí),通過 使用自相關(guān)系數(shù)的局部最大值進(jìn)行劃分而確定重復(fù)周期來提取重復(fù)圖 案。因此,由圖像處理系統(tǒng)IO執(zhí)行的兩種提取過程在確定重復(fù)周期的 方法上是不同的。下文將描述兩種提取過程中的每一種中確定重復(fù)周 期的方法的細(xì)節(jié)。
當(dāng)執(zhí)行生成重復(fù)圖案的生成過程時(shí),圖像處理系統(tǒng)10將輸 入圖像劃分為規(guī)定的圖像塊,并且隨機(jī)排列具有相似性的圖像塊以生 成重復(fù)圖案。下文還將描述通過將圖像劃分為圖像塊來生成隨機(jī)重復(fù) 圖案的方法的細(xì)節(jié)。接下來,將描述由如上構(gòu)造的根據(jù)本發(fā)明的實(shí)施例的圖像處 理系統(tǒng)IO執(zhí)行的過程。圖2為表示由根據(jù)本發(fā)明的實(shí)施例的圖像處理 系統(tǒng)10執(zhí)行的包括上述提取和生成過程的過程流程的實(shí)例的流程圖。首先,在步驟100中,判斷輸入圖像中是否存在重復(fù)圖案。 所述判斷是基于操作者在觀察監(jiān)視器12上顯示的圖像之后經(jīng)由鍵盤14 輸入的輸入結(jié)果(檢查輸入圖像中是否存在重復(fù)圖案的結(jié)果)作出的。 當(dāng)判斷為肯定時(shí),過程前進(jìn)到步驟102。在步驟102中,判斷圖像中的重復(fù)圖案的重復(fù)次數(shù)是否為 2x2或更多。所述判斷也是基于操作者在觀察監(jiān)視器12上顯示的圖像 之后經(jīng)由鍵盤14輸入的輸入結(jié)果(檢查輸入圖像中的重復(fù)圖案的重復(fù) 次數(shù)是否為2x2或更多的結(jié)果)作出的。當(dāng)判斷為肯定時(shí),過程前進(jìn) 到步驟104。當(dāng)判斷為否定時(shí),過程前進(jìn)到步驟106。在步驟104中,基于上述通過將像素值轉(zhuǎn)換為頻率系數(shù)而確 定重復(fù)周期的結(jié)果來提f^重復(fù)圖案,并且輸出所述重復(fù)圖案。在步驟106中,基于上述使用自相關(guān)系數(shù)的局部最大值來進(jìn) 行劃分而確定重復(fù)周期的結(jié)果來提取重復(fù)圖案。另一方面,當(dāng)步驟100中的判斷為否定時(shí),也就是說,當(dāng)判 斷出輸入圖像中不存在重復(fù)圖案時(shí),過程前進(jìn)到步驟108。在步驟108中,上述圖像被劃分為圖像塊,得到的圖像塊用于生成隨機(jī)重復(fù)圖案, 然后輸出生成的重復(fù)圖案。在該實(shí)施例中,這樣進(jìn)行處理能夠僅僅通過輸入檢查輸入圖 像中是否存在重復(fù)圖案的結(jié)果并且輸入檢查重復(fù)圖案的重復(fù)次數(shù)是否
為2x2或更多的結(jié)果而從輸入圖像中自動(dòng)地提取重復(fù)圖案或生成重復(fù) 圖案。此外,由于提取方法根據(jù)重復(fù)圖案的存在和重復(fù)圖案的重復(fù)次 數(shù)來進(jìn)行切換,因此能夠精確地提取重復(fù)圖案。關(guān)于該實(shí)施例,盡管操作者經(jīng)由鍵盤輸入了是否存在重復(fù)圖 案,并且當(dāng)不存在重復(fù)圖案時(shí)圖像處理系統(tǒng)生成重復(fù)圖案,但本發(fā)明 不限于該實(shí)施例。例如,當(dāng)在步驟104和106中均沒有重復(fù)圖案被提 取時(shí)可以執(zhí)行步驟108中的生成重復(fù)圖案?,F(xiàn)在將詳細(xì)描述兩種確定重復(fù)周期的方法。首先,將描述通 過將像素值轉(zhuǎn)換為頻率系數(shù)而確定重復(fù)周期的方法。圖3為用于說明 通過將像素值轉(zhuǎn)換為頻率系數(shù)而確定重復(fù)周期的方法的流程圖。在步驟200中,單獨(dú)計(jì)算輸入圖像的豎直方向和水平方向上 的像素值的平均值,并且過程前進(jìn)到步驟202。在輸入圖像被轉(zhuǎn)化為灰 度圖像之后進(jìn)行在豎直方向和水平方向上的像素值的平均值的計(jì)算。 作為實(shí)例,圖4示出了沿樣本圖像的豎直方向計(jì)算像素的像素值的平 均值的結(jié)果。對(duì)豎直方向和水平方向中的每一個(gè)執(zhí)行以下描述的步驟 202至208。然而,以下的描述通過說明的方式僅對(duì)豎直方向的情況進(jìn) 行說明。在步驟202中,使用傅立葉變換將平均像素值轉(zhuǎn)化為頻率系 數(shù)。傅立葉變換是表示如何將時(shí)域函數(shù)轉(zhuǎn)換為頻域函數(shù)的表達(dá)式。例如,當(dāng)給定特定時(shí)序數(shù)據(jù)(f(t): t=l,N}(在這種情況下是像素值)時(shí),
離散傅立葉變換公式如下。 (表達(dá)式1 )在所述表達(dá)式中,co是角頻率,t是時(shí)間(每個(gè)像素的指標(biāo)), f(t)是t處的像素值,N是樣本數(shù)(目標(biāo)像素的數(shù)量),i是虛數(shù)單位。例如,在樣本圖像用于獲得圖4所示的結(jié)果的情況下,co=0, 1,…,73, 74,并且t=0, 1,…,73, 74 (N (樣本的數(shù)量)=75)。功率譜被表示為
(表達(dá)式2)圖5示出在樣本圖像用于獲得圖4所示的結(jié)果的情況中的功率譜。
然后,在步驟204中消減那些作用較小的頻帶,并且過程前 進(jìn)到步驟206。具體地,僅使用滿足S(co)〉S(co)的平均4直的關(guān)系式的頻 帶(co)。為此,滿足S(o)〈S(co)的平均值的關(guān)系式的頻帶(co)的S(co)被 設(shè)定為零。在步驟206中,執(zhí)行取得近似值的逆變換(時(shí)序變換)。具 體地,首先,計(jì)算加權(quán)值以便相對(duì)于在步驟204中計(jì)算的功率譜的總 和變?yōu)橐?。這樣,能夠確定組成頻譜的頻率的比例。圖6表示確定在 樣本圖像中滿足S (co) >S (co)的平均值的關(guān)系式的功率譜峰值的加 權(quán)值的結(jié)果。利用傅立葉變換(頻域)的實(shí)部由余弦函數(shù)表示這一事實(shí), 功率譜峰值的加權(quán)值被分配給頻域函數(shù)的實(shí)部以執(zhí)行逆變換。當(dāng)使用所述方法時(shí),假定重復(fù)圖案的重復(fù)次數(shù)為2x2或更 多。此外,余弦函數(shù)的幅值取當(dāng)時(shí)域中t=0時(shí)的最大值。因此,1=0和
tmax之間的間隔被大約視為一個(gè)周期,tmax是0和N/2之間不包括端點(diǎn) 值的時(shí)間t并且此處幅<直變?yōu)樽畲蟆Mǔ?,傅立葉逆變換(變換到時(shí)序)通過以下公式確定。
(表達(dá)式3)
<formula>formula see original document page 24</formula>
圖7示出了步驟206中的逆變換的結(jié)果(將樣本圖像的頻域 數(shù)據(jù)變換為時(shí)域數(shù)據(jù)的結(jié)果)。隨后,在步驟208中確定重復(fù)周期,并且過程前進(jìn)到步驟 210。具體地,基于使用上述逆變換獲得的結(jié)果來確定重復(fù)周期。重復(fù) 周期r由公式FVfl (像素)表示。例如,在上述圖7的情況下,重復(fù) 周期『=17-1=16。在步驟210中,使用這樣在水平方向上獲得的重復(fù)周期,以 及按與在水平方向上的重復(fù)周期相似的方法獲得的在豎直方向上的重
復(fù)周期來提取重復(fù)圖案。通過將像素值轉(zhuǎn)換為頻率系數(shù)而確定重復(fù)周期,能夠自動(dòng)地 提取重復(fù)圖案。接下來,將描述通過使用自相關(guān)系數(shù)的局部最大值進(jìn)行劃分 來確定重復(fù)周期的方法。圖8為說明通過使用自相關(guān)系數(shù)的局部最大 值進(jìn)行劃分來確定重復(fù)周期的方法的流程圖。在步驟300中,構(gòu)建圖像金字塔。圖像金字^t荅被構(gòu)建為從高 分辨率圖像到低分辨率圖像的具有不同分辨率的一組圖像。如圖9所 示,為了構(gòu)建圖像金字塔,輸入圖像被劃分為沒有重疊的小區(qū)域,并 且每個(gè)小區(qū)域由該小區(qū)域中的像素值的平均值代替。重復(fù)該過程以構(gòu) 建圖像金字塔。具體地,如圖10所示,當(dāng)為9x9像素的圖像構(gòu)建圖像 金字塔時(shí),在金字塔中低(深) 一個(gè)級(jí)別的層由每一個(gè)均為NxxNy像 素的像素值的平均值表示。例如,如圖10所示,在金字塔中低一個(gè)級(jí) 別 的 層 中 , A'l=(Al+Bl+A2+B2)/(NxxNy), D'4=(G7+H7+G8+H8)/(NxxNy)。 Nx是當(dāng)生成金字塔中低一個(gè)級(jí)別的層時(shí)像素值被累加的在X方向上的像素的數(shù)量,Ny是當(dāng)生成金字塔中低 一個(gè)級(jí)別的層時(shí)像素值被累加的在Y方向上的像素的^:量。在圖10所 示的情況下,Nx=Ny=2,因此不使用A9、 B9、 C9、 D9、 E9、 F9、 G9、
H9和I!至l9的像素。當(dāng)從構(gòu)成圖像金字塔的圖像中提取基于高階局部自相關(guān)系 數(shù)的特征時(shí),這組特征包括從對(duì)象的特定信息到粗略信息的信息。對(duì) 象變換的恒定性被特征繼承。因此,這些特征在整體上被認(rèn)為是良好 的初始特4正。在步驟302中,計(jì)算高階局部自相關(guān)特征。現(xiàn)在將描述高階 局部自相關(guān)特征的計(jì)算。已知的是自相關(guān)函數(shù)對(duì)于變換是恒定的。自 相關(guān)函數(shù)擴(kuò)展到高階就是高階自相關(guān)函數(shù)。當(dāng)圖像中的對(duì)象由f(r)表示時(shí),相對(duì)于位移(ai, a2,…,aN), N 階自相關(guān)函數(shù)被定義為
(表達(dá)式4)
xN(ai,a2"."aN)= J"f(r)f(r+ai)...f(r+aN)dr因此,可以存在取決于所采用的階數(shù)和位移的無限個(gè)高階自 相關(guān)函數(shù)。然而,為了滿足關(guān)于屏幕的相加性的條件,位移需要限制 在圍繞基準(zhǔn)點(diǎn)r的局部區(qū)域內(nèi)。為了簡(jiǎn)便,高階自相關(guān)函數(shù)的階數(shù)N被限制為最多是2。此 外,位移被限制為圍繞基準(zhǔn)點(diǎn)r的局部的3x3像素區(qū)域內(nèi)。在這種情況下,當(dāng)排除掉變換之下的等同特征時(shí),關(guān)于二進(jìn)制圖像的特征的總 數(shù)為25。圖11顯示了高階局部自相關(guān)特征的25個(gè)局部圖案。可以通過計(jì)算對(duì)應(yīng)于每個(gè)局部區(qū)域內(nèi)的局部圖案的像素的
像素值的乘積,并且對(duì)整個(gè)圖像內(nèi)的乘積求和來進(jìn)行特征的計(jì)算。例 如,通過計(jì)算在每個(gè)局部區(qū)域內(nèi)的基準(zhǔn)點(diǎn)的灰度值和該基準(zhǔn)點(diǎn)的右側(cè) 相鄰像素的灰度值的乘積,并且對(duì)整個(gè)圖像內(nèi)的乘積求和來計(jì)算對(duì)應(yīng)
于圖11所示的2號(hào)局部圖案的特征。這樣計(jì)算的特征對(duì)于對(duì)象的變換
明顯是恒定的,并且滿足與圖像有關(guān)的相加性的條件。因此,對(duì)于圖像金字塔的最深層(最小)圖l象的每個(gè)像素計(jì) 算高階局部自相關(guān)特征值(以下被簡(jiǎn)稱為"特征值")。例如,如圖12 所示,關(guān)于基準(zhǔn)點(diǎn)B2的高階局部自相關(guān)函數(shù)為 B2+B2*C2+C 1 *B2+B 1 *B2+A1 *B2+ ... + B1 *B2*C2+ Al *C1 *B2 。接下來,在步驟304中,計(jì)算出自相關(guān)系數(shù)。自相關(guān)系數(shù)的 計(jì)算如下執(zhí)行。當(dāng)給定符合概率分布的一系列樣本(xi: i=l, ... , N)時(shí),樣本 均值被定義為
(表達(dá)式5)
1 N 一 1 V"^
x= —〉 x' N卄樣本方差^皮定義為
(表達(dá)式6)均值是表示隨機(jī)變量的分布中心在何處的指標(biāo)。方差是表示 隨機(jī)變量圍繞均值分散的范圍的指標(biāo)。這些是從一系列樣本中計(jì)算出來的典型數(shù)據(jù),并且同時(shí),是 用于圖像處理領(lǐng)域中的多種應(yīng)用中的基本數(shù)據(jù)。樣本的方差的平方根被如下定義。
(表達(dá)式7 )這被稱為標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差是表示全部數(shù)據(jù)是圍繞平均值集中還是廣泛分散的 指標(biāo)。較小的標(biāo)準(zhǔn)差意味著數(shù)據(jù)更多地集中在平均值周圍。另一方面, 較大的標(biāo)準(zhǔn)差意味著數(shù)據(jù)更多地廣泛地分散在平均值周圍。當(dāng)給定兩個(gè)系列的樣本(xi: i=l, ... , N},以及(yi: i=l, ... , N} 時(shí),存在相關(guān)系數(shù),相關(guān)系數(shù)是測(cè)量樣本系列之間的相似度的統(tǒng)計(jì)數(shù) 據(jù),相關(guān)系數(shù)^^皮定義如下。
28
(表達(dá)式8)<formula>formula see original document page 29</formula>應(yīng)該注意的是ox和(jy是兩個(gè)樣本系列的標(biāo)準(zhǔn)差,并且相關(guān) 系數(shù)p的范圍被表示為-BpSl。 p越接近-l,相似度越低。p越接近l, 相似度越高。更具體地,從在步驟302中計(jì)算出的特征值4要以下方法計(jì)算 相關(guān)系數(shù)。如圖13所示,首先,計(jì)算每一條水平線和豎直線的特征值 的平均值、方差以及標(biāo)準(zhǔn)差。如圖13所示,由于缺少像素因而不能夠 計(jì)算出相對(duì)于最上方的像素和最左側(cè)的像素的特征值,因此,使用從 最上方的線和最左側(cè)的線移位的一條線H象素)計(jì)算出相對(duì)于最左上 方像素的特征值。然后,如圖14A和14B所示, <吏用計(jì)算出的特征值表示豎 直基準(zhǔn)線和每條豎直線之間,以及水平基準(zhǔn)線和每條水平線之間的相 關(guān)系數(shù)。圖14A表示相對(duì)于水平基準(zhǔn)線的相關(guān)系數(shù)的計(jì)算的說明。圖 14B表示相對(duì)于豎直基準(zhǔn)線的相關(guān)系數(shù)的計(jì)算的說明。在如上所述計(jì)算出相關(guān)系數(shù)之后,在步驟306中提取圖15A 和15B所示的局部最大點(diǎn),并且過程前進(jìn)到步驟308。局部最大點(diǎn)是像素值(i)滿足像素值(i-l)〈像素值(i)以及像素值(i+l)〈像素值(i)的關(guān) 系式之處的點(diǎn),其中像素值(i)是基準(zhǔn)線的特征值和第i條線的特征值之 間的相關(guān)系數(shù)的值。圖15A示出在水平方向上計(jì)算的相關(guān)系數(shù)的結(jié)果。 圖15B示出在豎直方向上計(jì)算的相關(guān)系數(shù)的結(jié)果。應(yīng)注意的是,關(guān)于 離基準(zhǔn)線最近的線,與基準(zhǔn)線的相關(guān)性自然高,因此在以下的過程中 忽略了對(duì)應(yīng)于這條線的相關(guān)系數(shù)的局部最大點(diǎn)。在步驟308中,計(jì)算局部最大點(diǎn)的回歸線,也就是局部最大 值,并且確定對(duì)應(yīng)于在圖16A和16B中所示的回歸線的上方有值的相 關(guān)性的局部最大值。然后,過程前進(jìn)到步驟310,并且對(duì)圖像金字塔的 較淺層重復(fù)所述查找。也就是說,在步驟310中,判斷是否已進(jìn)行相 對(duì)于最淺層的局部最大值的計(jì)算。當(dāng)判斷是否定時(shí),圖像金字塔中的 級(jí)別轉(zhuǎn)換到比前一級(jí)別淺一個(gè)級(jí)別的級(jí)別,然后過程返回到步驟302 以重復(fù)上述程序。當(dāng)在步驟310中的判斷是肯定時(shí),過程前進(jìn)到步驟 302。在步驟312中,如圖16B所示,使用在圖像金字塔的最淺層 圖像中具有最大值的自相關(guān)系數(shù)之處的線的位置來提取重復(fù)圖案以確 定重復(fù)周期。因此,也能夠通過使用自相關(guān)系數(shù)的局部最大值來進(jìn)行劃分 而確定重復(fù)周期來自動(dòng)地提取重復(fù)圖案。當(dāng)使用將像素值轉(zhuǎn)換為頻率系數(shù)來確定重復(fù)周期的方法時(shí), 使用了傅立葉變換和傅立葉逆變換。如果重復(fù)圖案的數(shù)目小,嘗試使 用傅立葉逆變換使余弦波與非周期性圖像的像素值相關(guān)聯(lián),存在不能 夠確定重復(fù)周期的情況。然而,當(dāng)重復(fù)圖案的數(shù)目小時(shí),利用通過使
30用自相關(guān)系數(shù)的局部最大值進(jìn)行劃分來確定重復(fù)周期的方法,能夠精 確地提取重復(fù)圖案?,F(xiàn)在將描述使用將圖像劃分為圖像塊的過程來生成隨機(jī)重
復(fù)圖案的上述方法。圖17為用于說明通過使用將圖像劃分為圖像塊的
過程來生成隨機(jī)重復(fù)圖案的方法的流程圖。在說明圖17所示的流程圖之前,將描述使用將圖像劃分為 圖像塊的過程來生成隨機(jī)重復(fù)圖案的方法的概要。在該實(shí)施例中,當(dāng)在輸入圖像中不存在重復(fù)圖案時(shí),輸入圖 像被劃分為多個(gè)圖像塊,在多個(gè)圖像塊中隨機(jī)地選中 一個(gè)圖像塊作為 將要放置的圖像塊,并且放置所選中的圖像塊。然后,在輸入圖像被 劃分成的多個(gè)圖像塊中查找具有與已放置的圖像塊的邊緣部分相似的 邊緣部分的圖像塊,并且放置找到的圖像塊以與已放置的圖像塊以預(yù)
定像素線重疊。相似地,接連地查找具有相似的邊緣部分的圖像塊, 并且放置該圖像塊以與已放置的圖像塊以預(yù)定像素線重疊,從而生成 重復(fù)圖案。例如,首先,隨機(jī)選中的一個(gè)像素塊被放置在圖像的左上 方。然后,從隨機(jī)選中的多個(gè)圖像塊中查找其左邊緣部分與放置在左 上位置的圖像塊的右邊緣部分相似的圖像塊,并且放置找到的圖像塊 以與已放置的圖像塊重疊。這種查找是建立在相似度的基礎(chǔ)上的,并 且找到的圖像塊依次放置,從而布置一行圖像塊。當(dāng)布置下一行圖像 塊時(shí),首先,從隨機(jī)選中的多個(gè)圖像塊中查找其上邊緣部分與已放置 在最左側(cè)的圖像塊的下邊緣部分相似的圖像塊,并且放置找到的圖像 塊以與已放置的圖像塊重疊。當(dāng)查找下一個(gè)相鄰圖像塊時(shí),從隨機(jī)選 中的多個(gè)圖像塊中查找其上邊緣部分和左邊緣部分分別與已放置的圖像塊的下邊緣部分和右邊緣部分相似的圖像塊,并且放置找到的圖像 塊以便依次與已放置的圖像塊重疊,從而生成重復(fù)圖案。具體地,首先,在步驟400中,輸入圖像處理系統(tǒng)10的圖 像被劃分為預(yù)定尺寸的圖像塊。為了將圖像劃分為圖像塊,在輸入圖 像中掃描每個(gè)像素以找出基準(zhǔn)像素,并且從基準(zhǔn)像素?cái)U(kuò)展的其尺寸為 (預(yù)定像素)x (預(yù)定像素)的區(qū)域被定義為圖像塊,并且輸入圖像被 劃分為多個(gè)圖像塊以便每對(duì)相鄰的圖像塊彼此重疊。輸入圖像被劃分 以便通過將輸入圖像劃分為圖像塊而制備的全部圖像塊具有相同的預(yù) 定尺寸,并且圖像塊的尺寸在輸入圖像的邊緣處不變化。此外,為了 減少占用的內(nèi)存,不是通過制備圖像塊本身來進(jìn)行輸入圖像到圖像塊 的劃分,而是通過指定輸入圖像中的圖像塊的位置和尺寸而獲得圖像 塊。例如,圖像處理系統(tǒng)被設(shè)計(jì)為,通過指定圖18所示的原始圖像20 中的圖像塊的位置以及豎直和水平尺寸來讀取圖像塊22的數(shù)據(jù)。接下來,在步驟402中,隨機(jī)讀取圖像塊,計(jì)算圖像塊的相 似度,并且過程前進(jìn)到步驟404。在步驟404中,判斷非相似程度是否 小于預(yù)定閾值。當(dāng)判斷為否定時(shí),過程前進(jìn)到步驟406,并且判斷是否 已對(duì)全部圖像塊進(jìn)行了非相似程度的計(jì)算。當(dāng)判斷為否定時(shí),過程返 回到步驟402,隨機(jī)讀取圖像塊,并且計(jì)算該圖像塊的非相似程度。當(dāng) 找到非相似程度小于預(yù)定閾值的圖像塊,也就是具有特定相似度的圖 像塊時(shí),過程前進(jìn)到步驟408。當(dāng)每個(gè)圖像塊的非相似程度不小于預(yù)定 閾值時(shí),選中具有最小的非相似程度的圖像塊,過程前進(jìn)到步驟408。具體地,通過使用以下表達(dá)式計(jì)算平方誤差來計(jì)算非相似程度。
這樣,在根據(jù)該實(shí)施例的圖像處理系統(tǒng)10中,計(jì)算隨機(jī)選 中的圖像塊相對(duì)于已放置的圖像塊的非相似程度,并且放置非相似程 度最小的圖像塊以與已放置的圖像塊重疊。在步驟408中,通過基于非相似程度進(jìn)行插入來生成重復(fù)圖 案。在該實(shí)施例中,當(dāng)通過如上所述放置圖像塊來生成重復(fù)圖案時(shí), 制備具有較小的非相似程度的圖像塊作為將被組合的圖像塊30,并且 放置該圖像塊以便如圖21A所示與無縫圖像24重疊以組合這些圖像。具體地,當(dāng)放置將被組合的圖像塊30以使其上邊緣部分與 無縫圖像24重疊時(shí),在坐標(biāo)軸的負(fù)方向上的像素的像素值被設(shè)定為相 應(yīng)的無縫圖像24的像素的像素值,并且在坐標(biāo)軸的正方向上的像素的 像素值被設(shè)定為將被組合的圖像塊30的在重疊的上邊緣部分中的圖像 塊的相應(yīng)的像素的像素值(圖21B)。關(guān)于組合像素,使用以下表達(dá)式 來計(jì)算像素值。
(表達(dá)式10)
<formula>formula see original document page 35</formula>
二(組合像素的坐標(biāo)y的值+0.5) 07 = 重疊線的數(shù)目同樣當(dāng)放置將被組合的圖像塊30以便其左邊緣部分與無縫 圖像24重疊(圖21C)時(shí),使用相似的過程。
關(guān)于如圖22A所示的其中無縫圖像24與將被組合的圖像塊 30不重疊的區(qū)域,每個(gè)像素值被設(shè)定為將被組合的圖像塊30的相應(yīng)的 像素值。因此,如圖22B所示,通過依次使用起始點(diǎn)(xs,ys)作為基準(zhǔn) 點(diǎn)將被組合的圖像塊30和無縫圖像24進(jìn)行組合來生成重復(fù)圖案。如圖23A所示當(dāng)將被組合的圖像塊30延伸超過包括已放置 的圖像塊的重復(fù)圖案的框架26的右邊緣時(shí),突出部分與包括已放置的 圖像塊的重復(fù)圖案的左邊緣部分組合。如圖23B所示當(dāng)將被組合的圖 像塊30延伸超過包括已放置的圖像塊的重復(fù)圖案的框架26的下邊緣 時(shí),突出部分與包括已放置的圖像塊的重復(fù)圖案的上邊緣部分組合。當(dāng)完成上述組合過程時(shí),在對(duì)應(yīng)于最小豎直坐標(biāo)的水平線處 設(shè)定完成線,在完成線上已確定全部像素的像素值。這樣,產(chǎn)生重復(fù) 圖案。因此,消除了豎直方向上的不均勻度,因而能夠減小在組合圖 像過程中的異常處理。接下來將描述根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)10的改 進(jìn)。在上述實(shí)施例中,操作者檢查在監(jiān)視器12上顯示的輸入圖像,并 且判斷是否存在重復(fù)圖案,以及重復(fù)圖案的重復(fù)次數(shù)是否為2x2或更 多。在該改進(jìn)中,自動(dòng)地作出這兩個(gè)判斷。圖像處理系統(tǒng)的硬件結(jié)構(gòu) 與上述實(shí)施例相同,因此將省略其詳細(xì)說明。圖24A和24B為表示由改進(jìn)的圖像處理系統(tǒng)執(zhí)行的包括上 述提取過程和生成過程的過程流程的實(shí)例的流程圖。
在該改進(jìn)中,在步驟500中,使用通過將像素值轉(zhuǎn)換為頻率 系數(shù)來確定重復(fù)周期的上述方法來執(zhí)行從輸入圖像中提取重復(fù)圖案的 過程。然后過程前進(jìn)到步驟502。如上所述,在通過將像素值轉(zhuǎn)換為頻率系數(shù)來確定重復(fù)周期 的方法的情況下,在一些情況下當(dāng)重復(fù)圖案的重復(fù)次數(shù)的數(shù)目小時(shí)不 能夠確定重復(fù)周期,并且當(dāng)不存在重復(fù)圖案時(shí)不能夠確定重復(fù)周期。 為此,在步驟502中,判斷在圖像中是否存在重復(fù)圖案。當(dāng)判斷為否 定時(shí),過程前進(jìn)到步驟504。在步驟504中,使用通過利用上述自相關(guān)系數(shù)的局部最大值 進(jìn)行劃分而確定重復(fù)周期的方法來執(zhí)行提取重復(fù)圖案的過程。然后, 過程前進(jìn)到步驟506。在步驟506中,判斷在圖像中是否存在重復(fù)圖案。當(dāng)判斷為 肯定時(shí),過程前進(jìn)到步驟508。當(dāng)判斷為否定時(shí),過程前進(jìn)到步驟510。在步驟508中,輸出使用通過利用上述自相關(guān)系數(shù)的局部最 大值進(jìn)行劃分而確定重復(fù)周期的方法所提取的重復(fù)圖案。在步驟510中,通過執(zhí)行上述將圖像劃分為圖像塊來生成隨 機(jī)重復(fù)圖案,然后輸出所述重復(fù)圖案。當(dāng)在步驟502中的判斷為肯定時(shí),過程前進(jìn)到步驟512,并 且判斷重復(fù)次數(shù)是否等于或大于2x2。當(dāng)判斷為否定時(shí),過程前進(jìn)到上 述步驟504。當(dāng)判斷為肯定時(shí),過程前進(jìn)到步驟514。在步驟514中,使用通過將像素值轉(zhuǎn)換為頻率系數(shù)來確定重 復(fù)周期的上述方法來提取圖案。
37
利用這種改進(jìn),通過執(zhí)行上述程序,當(dāng)輸入圖像中存在重復(fù) 圖案時(shí),能夠自動(dòng)地從輸入圖像中提取重復(fù)圖案,另一方面,當(dāng)輸入 圖像中不存在重復(fù)圖案時(shí),能夠自動(dòng)地生成重復(fù)圖案,其中操作者不 需要判斷輸入圖像中是否存在重復(fù)圖案,也不需要當(dāng)存在重復(fù)圖案時(shí)
判斷重復(fù)次數(shù)是否為2x2或更多。盡管結(jié)合示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述,但是應(yīng)該理解 的是本發(fā)明不限于所描述的實(shí)施例或結(jié)構(gòu)。相反,本發(fā)明旨在覆蓋多 種改進(jìn)和等同配置。此外,盡管在多種組合和配置中示出了示例性實(shí) 施例的多種元件,但是包括更多、更少或只包括單個(gè)元件的其它組合 和配置也在本發(fā)明的精神和范圍內(nèi)。
權(quán)利要求
1、一種圖像處理系統(tǒng),其特征在于包括多個(gè)用于提取包含在圖像中的重復(fù)圖案的器件,所述多個(gè)重復(fù)圖案提取器件使用相互不同的確定重復(fù)周期的方法;以及根據(jù)包含在所述圖像中的所述重復(fù)圖案的重復(fù)次數(shù)而在所述多個(gè)重復(fù)圖案提取器件之間執(zhí)行切換的器件。
2、 根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng),其特征在于進(jìn)一步包括 用于生成隨機(jī)重復(fù)圖案的器件,其中,當(dāng)所述圖像中沒有包含重復(fù)圖案時(shí),所述生成器件生成所述隨機(jī) 重復(fù)圖案。
3、 根據(jù)權(quán)利要求1或2所述的圖像處理系統(tǒng),其中 所述多個(gè)重復(fù)圖案提取器件包括第一提取器件,用于通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確 定所述圖像中的所述重復(fù)圖案的重復(fù)周期來提f^所述重復(fù)圖案;第二提取器件,用于通過以下步驟來提取所述重復(fù)圖案構(gòu)建圖 像金字塔,所述圖像金字塔被構(gòu)建為從高分辨率圖像到低分辨率圖像 的具有不同分辨率的一組圖像;計(jì)算所述圖像金字塔的最深層圖像的 每個(gè)像素的高階局部自相關(guān)特征值,以基于所述計(jì)算出的高階局部自 相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系 數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí)行這種高階局部自 相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì)于當(dāng)前層 的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的層的圖像中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì)算;將 所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān)系數(shù)的 局部最大值來確定所述圖像中的所述重復(fù)圖案的所述重復(fù)周期。
4、 一種圖像處理系統(tǒng),其特征在于包括第一提取器件,用于通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確 定所述圖像中的重復(fù)圖案的重復(fù)周期來從所述圖像中提取所述重復(fù)圖 案;第二提取器件,用于通過以下步驟來提取所述重復(fù)圖案構(gòu)建圖 像金字塔,所述圖像金字塔被構(gòu)建為從高分辨率圖像到低分辨率圖像 的具有不同分辨率的一組圖像;計(jì)算所述圖像金字塔的最深層圖像的 每個(gè)像素的高階局部自相關(guān)特征值,以基于所述計(jì)算出的高階局部自 相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系 數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí)行這種高階局部自 相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì)于當(dāng)前層 的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深 一 個(gè)級(jí)別的層的圖像中的局部 最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì)算;將 所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān)系數(shù)的 局部最大值來確定所述圖像中的所述重復(fù)圖案的所述重復(fù)周期;以及用于生成隨機(jī)重復(fù)圖案的器件,其中當(dāng)所述第 一提取器件對(duì)重復(fù)圖案的提取結(jié)果是提取了重復(fù) 次數(shù)等于或大于預(yù)定次數(shù)的重復(fù)圖案時(shí),輸出由所述第一提取器件提 取的所述重復(fù)圖案;以及當(dāng)沒有重復(fù)圖案被所述第 一提取器件提取時(shí),或當(dāng)沒有重復(fù)次數(shù) 等于或大于所述預(yù)定次數(shù)的重復(fù)圖案被所述第一提取器件提取時(shí),重 復(fù)圖案的提取由所述第二提取器件執(zhí)行,并且,如果重復(fù)圖案被所述 第二提取器件提取,則輸出所述重復(fù)圖案,并且如果沒有重復(fù)圖案被 所述第二提取器件提取,則所述隨機(jī)重復(fù)圖案被所述生成器件生成并 輸出。
5、 一種使計(jì)算機(jī)執(zhí)行圖像處理過程的圖像處理程序,其特征在于 所述圖像處理過程包括多個(gè)提取包含在圖像中的重復(fù)圖案的步驟,所述多個(gè)重復(fù)圖案提 取步驟使用相互不同的確定重復(fù)周期的方法;以及根據(jù)包含在所述圖像中的所述重復(fù)圖案的重復(fù)次數(shù)而在所述多個(gè) 重復(fù)圖案提取步驟之間執(zhí)行切換的切換步驟。
6、 根據(jù)權(quán)利要求5所述的圖像處理程序,其中 所述圖像處理過程進(jìn)一步包括 生成隨機(jī)重復(fù)圖案的生成步驟,其中,當(dāng)所述圖像中沒有包含重復(fù)圖案時(shí),所述生成步f^生成所述隨機(jī) 重復(fù)圖案。
7、 根據(jù)權(quán)利要求5或6所述的圖像處理程序,其中 所述多個(gè)重復(fù)圖案提取步驟包括第 一提取步驟,通過將所述圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確 定所述圖像中的所述重復(fù)圖案的重復(fù)周期來提取所述重復(fù)圖案;以及第二提取步驟,通過以下步驟來提取所述重復(fù)圖案構(gòu)建圖像金字塔,所述圖像金字塔被構(gòu)建為從高分辨率圖像到低分辨率圖像的具有不同分辨率的一組圖像;計(jì)算所述圖像金字塔的最深層圖像的每個(gè) 像素的高階局部自相關(guān)特征值,以基于所述計(jì)算出的高階局部自相關(guān) 特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系數(shù); 對(duì)于比前次計(jì)算的層淺 一個(gè)級(jí)別的層的圖像執(zhí)行這種高階局部自相關(guān) 特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì)于當(dāng)前層的與 自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的層的圖像中的局部最大 值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì)算;將所述 前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān)系數(shù)的局部 最大值來確定所述圖像中的所述重復(fù)圖案的所述重復(fù)周期。
8、 一種使計(jì)算機(jī)執(zhí)行圖像處理過程的圖像處理程序,其特征在于所述圖像處理過程包括第一提取步驟,通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而確定所 述圖像中的所述重復(fù)圖案的重復(fù)周期來從所述圖像中提取重復(fù)圖案;第二提取步驟,通過以下步驟來提取所述重復(fù)圖案構(gòu)建圖像金 字塔,所述圖像金字塔被構(gòu)建為從高分辨率圖像到低分辨率圖像的具 有不同分辨率的一組圖像;計(jì)算所述圖像金字塔的最深層圖像的每個(gè) 像素的高階局部自相關(guān)特征值,以基于所述計(jì)算出的高階局部自相關(guān) 特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系數(shù); 對(duì)于比前次計(jì)算的層淺 一個(gè)級(jí)別的層的圖像執(zhí)行這種高階局部自相關(guān) 特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì)于當(dāng)前層的與 自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的層的圖像中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì)算;將所述 前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān)系數(shù)的局部 最大值來確定所述圖像中的所述重復(fù)圖案的所述重復(fù)周期;以及生成隨機(jī)重復(fù)圖案的生成步驟,其中當(dāng)所述第一提取步驟中對(duì)重復(fù)圖案的提取結(jié)果是提取了重 復(fù)次數(shù)等于或大于預(yù)定次數(shù)的重復(fù)圖案時(shí),輸出提取的所述重復(fù)圖案; 以及當(dāng)沒有重復(fù)圖案在所述第一提取步驟中被提取時(shí),或當(dāng)沒有重復(fù) 次數(shù)等于或大于所述預(yù)定次數(shù)的重復(fù)圖案在所述第一提取步驟中被提 取時(shí),重復(fù)圖案的提取在所述第二提取步驟中執(zhí)行,并且,如果重復(fù) 圖案在所述第二提取步驟中被提取,則輸出所述重復(fù)圖案,而如果沒 有重復(fù)圖案在所述第二提取步驟中被提取,則所述隨機(jī)重復(fù)圖案在所 述生成步驟中被生成并輸出。
9、 一種圖像處理方法,其特征在于包括執(zhí)行第一次提取,其中通過將圖像中的像素值轉(zhuǎn)換為頻率系數(shù)而 確定所述圖像中的重復(fù)圖案的重復(fù)周期來從所述圖像中提取所述重復(fù) 圖案;當(dāng)重復(fù)次數(shù)等于或大于預(yù)定次數(shù)的重復(fù)圖案在所述第一次提取中 被提取時(shí),輸出在所述第 一次提取中被提取的所述重復(fù)圖案;當(dāng)沒有重復(fù)圖案在所述第 一次提取中被提取時(shí),或當(dāng)沒有重復(fù)次 數(shù)等于或大于所述預(yù)定次數(shù)的重復(fù)圖案在所述第一次提取中被提取 時(shí),執(zhí)行第二次提取,在所述第二次提取中重復(fù)圖案通過以下步驟被提取構(gòu)建圖像金字塔,所述圖像金字塔被構(gòu)建為從高分辨率圖像到低分辨率圖像的具有不同分辨率的一組圖像;計(jì)算所述圖像金字塔的最深層圖像的每個(gè)像素的高階局部自相關(guān)特征值,以基于所述計(jì)算出的高階局部自相關(guān)特征值來計(jì)算基準(zhǔn)像素區(qū)域和每個(gè)對(duì)象像素區(qū)域之間的自相關(guān)系數(shù);對(duì)于比前次計(jì)算的層淺一個(gè)級(jí)別的層的圖像執(zhí)行這種高階局部自相關(guān)特征值和自相關(guān)系數(shù)的計(jì)算,其中,在每次重復(fù)中,對(duì)于當(dāng)前層的與自相關(guān)系數(shù)是比所述當(dāng)前層的層深一個(gè)級(jí)別的層的圖像中的局部最大值的對(duì)象像素區(qū)域相對(duì)應(yīng)的每個(gè)對(duì)象像素區(qū)域執(zhí)行所述計(jì)算;將所述前次計(jì)算步驟重復(fù)預(yù)定的次數(shù);以及使用最淺層的自相關(guān)系數(shù)的局部最大值來確定所述圖像中的所述重復(fù)圖案的所述重復(fù)周期;如果重復(fù)圖案在所述第二次提取中被提取,則輸出在所述第二次提取中被提取的所述重復(fù)圖案;以及如果在所述第一次提取和所述第二次提取中都沒有重復(fù)圖案被提取,則生成隨機(jī)重復(fù)圖案。
10、 一種圖像處理系統(tǒng),包括多個(gè)用于提取包含在圖像中的重復(fù)圖案的部件,所述多個(gè)重復(fù)圖案提取部件使用相互不同的確定重復(fù)周期的方法;以及根據(jù)包含在所述圖像中的所述重復(fù)圖案的重復(fù)次數(shù)而在所述多個(gè)重復(fù)圖案提取部件之間執(zhí)行切換的部件。
全文摘要
判斷在圖像中是否存在重復(fù)圖案(100)。當(dāng)不存在重復(fù)圖案時(shí),所述圖像被劃分為圖像塊,得到的圖像塊被用于生成隨機(jī)重復(fù)圖案,并且輸出所述隨機(jī)重復(fù)圖案(108)。此外,當(dāng)所述圖像中的所述重復(fù)圖案的重復(fù)次數(shù)為2×2或更多時(shí)(102),通過將像素值轉(zhuǎn)換為頻率系數(shù)而確定重復(fù)周期,并且基于確定所述重復(fù)周期的結(jié)果來提取所述重復(fù)圖案,并且輸出所述重復(fù)圖案(104)。當(dāng)所述圖像中的所述重復(fù)圖案的所述重復(fù)次數(shù)小于2×2時(shí),通過使用自相關(guān)系數(shù)的局部最大值執(zhí)行劃分來確定所述重復(fù)周期,并且基于確定所述重復(fù)周期的結(jié)果來提取所述重復(fù)圖案(106)。
文檔編號(hào)G06T7/40GK101479768SQ200780024675
公開日2009年7月8日 申請(qǐng)日期2007年6月28日 優(yōu)先權(quán)日2006年6月29日
發(fā)明者佐藤晉介, 高木淳 申請(qǐng)人:豐田自動(dòng)車株式會(huì)社