專(zhuān)利名稱(chēng)：電子設(shè)備、模糊圖像分揀方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠存儲(chǔ)并且輸出多個(gè)靜止圖像的電子設(shè)備、該電子設(shè)備中 的模糊圖像分揀方法和程序。
背景技術(shù)：
過(guò)去已經(jīng)存在了具有用于組織諸如已經(jīng)被拍攝并存儲(chǔ)的圖片之類(lèi)的圖像 的相簿創(chuàng)建功能以及用于圖像的幻燈片功能的電子設(shè)備。在由電子設(shè)備執(zhí)行 這些功能的情況下，用戶(hù)需要選擇想要圖像來(lái)進(jìn)行存儲(chǔ)或顯示，但用戶(hù)很難 從大量圖像中分揀想要的圖像。
在這點(diǎn)上，從多個(gè)圖像中選擇所謂最佳照片(shot)(也就是被假定為值
得用戶(hù)觀看的圖像)的技術(shù)，已知一種從通過(guò)連續(xù)拍攝獲得的多個(gè)圖像中選
擇最佳照片的技術(shù)(例如，請(qǐng)看日本專(zhuān)利申請(qǐng)公開(kāi)No， 2006-311340;此后稱(chēng) 其為專(zhuān)利文檔1)。
另外，還已知一種基于圖像的清晰度(sharpness )、面部圖像的質(zhì)量以及 閃光存在/不存在來(lái)評(píng)價(jià)作為圖片的圖像的質(zhì)量的技術(shù)(例如，請(qǐng)看日本專(zhuān)利 翻譯公開(kāi)No. 2005-521927;此后稱(chēng)其為專(zhuān)利文檔2)。此外，還已知一種從圖 像中檢測(cè)面部并且依照檢測(cè)結(jié)果選擇和剪輯出最佳作品(composition )的技 術(shù)(例如，請(qǐng)看日本專(zhuān)利申請(qǐng)公開(kāi)No. 2007-27971;此后稱(chēng)其為專(zhuān)利文檔3 )。

發(fā)明內(nèi)容
然而，在上述技術(shù)中，關(guān)于圖像是否被假定為值得用戶(hù)觀看，也就是說(shuō)， 圖像的被攝體(subject)是否模糊，很難可靠地評(píng)價(jià)一個(gè)評(píng)價(jià)目標(biāo)圖像，然 后分揀它。
例如，在從通過(guò)連續(xù)拍攝獲得的圖像中選擇最佳照片的技術(shù)，即在專(zhuān)利 文檔1中描述的技術(shù)中，評(píng)價(jià)了整個(gè)圖像中的模糊度和曝光量。然而，即使 當(dāng)對(duì)不是通過(guò)連續(xù)拍攝獲得的普通圖像執(zhí)行了模糊度和曝光量評(píng)價(jià)，也不是 總能分揀出模糊圖像。換句話(huà)說(shuō)， 一般地，其中被攝體處于焦點(diǎn)位置而背景是模糊的圖片可能是適當(dāng)?shù)乇慌臄z的照片或者所謂的最佳照片，因?yàn)楸粩z體 被拍攝得很清晰。然而，當(dāng)專(zhuān)利文檔1的技術(shù)用于不是通過(guò)連續(xù)拍攝獲得的 圖像時(shí)，存在這樣的風(fēng)險(xiǎn)，將其中被攝體處于焦點(diǎn)位置而背景是模糊的圖像 判斷為模糊圖像。
在專(zhuān)利文檔2所述的技術(shù)中，假定被攝體是人臉來(lái)評(píng)價(jià)圖像的質(zhì)量，并 且在未從圖像中檢測(cè)到面部的情況下，基于清晰度和閃光的存在/不存在評(píng)價(jià) 圖像的質(zhì)量。因此，同樣在這樣的情況下，將其中被攝體處于焦點(diǎn)位置而背 景是模糊的圖像判斷為模糊圖像。
另外，在專(zhuān)利文檔3中描述的技術(shù)中，可剪裁出最佳作品，但很難評(píng)價(jià)
圖像是否模糊。在這種技術(shù)中，在人臉不作為被攝體存在在圖像中的情況下，
剪裁出最佳作品也許是不可能的。
考慮到上述狀況，存在對(duì)能夠可靠地分揀出其中吸引注意的被攝體是模
糊的、用戶(hù)不需要的圖像的電子設(shè)備、模糊圖像分揀方法和程序的要求。
根據(jù)本發(fā)明的實(shí)施方式，提供了包括提取裝置、第一計(jì)算裝置、第二計(jì)
算裝置和分揀裝置的電子設(shè)備。
提取裝置從圖像中提取在圖像中具有預(yù)定特征的被攝體區(qū)域。
第 一計(jì)算裝置計(jì)算指示所提取的被攝體區(qū)域的模糊度的第 一模糊度。
當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，第二計(jì)
算裝置基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度。另外，當(dāng) 從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，第二計(jì)算裝置 基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第一^f^莫糊度執(zhí)行加權(quán)平均而獲得 的值，計(jì)算第二模糊度。
分揀裝置從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的第二模 糊度圖像作為模糊圖像。
利用這種結(jié)構(gòu)，通過(guò)基于被攝體區(qū)域的尺寸計(jì)算在圖像中的被攝體的模 糊度(第一模糊度)和整個(gè)圖像的模糊度(第二模糊度)，電子設(shè)備可以從 多個(gè)圖像中分揀出模糊圖像。具有預(yù)定特征的被攝體是各種對(duì)象，包括人、 動(dòng)物、植物和建筑物。例如，第一模糊度由被攝體區(qū)域內(nèi)的邊緣強(qiáng)度計(jì)算。 具有預(yù)定特征的被攝體區(qū)域是圖像中吸引觀眾注意的區(qū)域。也就是說(shuō)，當(dāng)吸 引注意的區(qū)域是一個(gè)時(shí)，電子設(shè)備基于該區(qū)域的模糊度計(jì)算整個(gè)圖像的模糊 度。另外，當(dāng)存在吸引注意的多個(gè)區(qū)域時(shí)，電子設(shè)備通過(guò)依照各個(gè)區(qū)域的尺寸對(duì)各個(gè)區(qū)域的模糊度執(zhí)行加權(quán)平均，來(lái)計(jì)算整個(gè)圖像的模糊度。這是因?yàn)?更大的尺寸更可能吸引注意。通過(guò)這種處理，電子設(shè)備可以精確地計(jì)算圖像 的模糊度并且分揀出用戶(hù)不需要的模糊圖像。用戶(hù)可以依照分揀結(jié)果，刪除 模糊圖像并且從原始電影或類(lèi)似的素材中移除它們。從而提升用戶(hù)的便捷性。 電子設(shè)備可能還包括優(yōu)化裝置，用于優(yōu)化所提取的被攝體區(qū)域，以使得 所提取的被攝體區(qū)域具有足夠第一模糊度的計(jì)算的預(yù)定大小。
這里，優(yōu)化指的是大到需要花費(fèi)很長(zhǎng)時(shí)間計(jì)算第 一模糊度的區(qū)域的大小 減小，以及小到以至于不能精確地計(jì)算第一模糊度的區(qū)域的移除。利用這種 優(yōu)化，電子設(shè)備可以更精確地計(jì)算第一模糊度，并且作為其結(jié)果，可以更精 確地計(jì)算第二模糊度。
提取裝置可以計(jì)算指示被攝體區(qū)域的提取的確定性的得分。
在這種情況下，當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是 多個(gè)時(shí)，第二計(jì)算裝置可以基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸和所算出的 得分對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均而獲得的值，計(jì)算第二模糊度。
這里，得分是指示與其他區(qū)域比較，被攝體區(qū)域的特征的度的評(píng)價(jià)值， 該特征包括亮度、色彩、邊緣(方向)和面部。 一般^人為，隨著得分越來(lái)越 高，該得分的被攝體區(qū)域越可能吸引觀眾的注意。在第一模糊度是從多個(gè)被 攝體區(qū)域中所算出的情況下，除了多個(gè)被攝體區(qū)域的尺寸以外，電子設(shè)備還 依照得分對(duì)第一模糊度執(zhí)行加權(quán)平均。從而，有可能更精確地計(jì)算第二模糊 度并且更精確地分揀出模糊圖像。
此外，提取裝置還包括面部識(shí)別裝置和特征識(shí)別裝置。
面部識(shí)別裝置識(shí)別人臉的面部區(qū)域作為被攝體區(qū)域，并且計(jì)算指示識(shí)別 出的面部區(qū)域的得分的第 一得分。
特征識(shí)別裝置識(shí)別視覺(jué)上顯著的特征區(qū)域作為被攝體區(qū)域，并且計(jì)算指 示識(shí)別出的特征區(qū)域的得分的第二得分。
在從其計(jì)算出第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)的情況 下，當(dāng)面部區(qū)域通過(guò)面部識(shí)別裝置被識(shí)別為被-懾體區(qū)域時(shí)，第二計(jì)算裝置可 以在加權(quán)平均中不使用第一得分來(lái)計(jì)算第二模糊度。另外，當(dāng)特征區(qū)域通過(guò) 特征識(shí)別裝置被識(shí)別為被攝體區(qū)域時(shí)，第二計(jì)算裝置可以在加權(quán)平均中使用 第二得分來(lái)計(jì)算第二模糊度。
在這種結(jié)構(gòu)中，當(dāng)多個(gè)面部被識(shí)別為被攝體區(qū)域時(shí) 電子設(shè)備通過(guò)僅依照面部區(qū)域的尺寸對(duì)第 一模糊度執(zhí)行加權(quán)平均來(lái)計(jì)算第二模糊度。另 一方面， 當(dāng)多個(gè)面部被識(shí)別為被攝體區(qū)域時(shí)，電子設(shè)備通過(guò)依照面部區(qū)域的尺寸和區(qū) 域的得分，對(duì)第一模糊度執(zhí)行加權(quán)平均來(lái)計(jì)算第二模糊度。也就是說(shuō)，當(dāng)所 提取的被攝體區(qū)域是面部區(qū)域時(shí)，電子設(shè)備僅依照尺寸執(zhí)行加權(quán)平均，而與 面部的得分無(wú)關(guān)，并且當(dāng)所提取的被攝體區(qū)域是特征區(qū)域時(shí)，電子設(shè)備依照 特征區(qū)域的得分及其尺寸執(zhí)行加權(quán)平均。在這種方式下的處理中提供差值， 因?yàn)檎J(rèn)為面部區(qū)域無(wú)條件地比特征區(qū)域吸引觀眾的更多注意。因此，利用電 子設(shè)備可更精確地計(jì)算整個(gè)圖像的模糊度的結(jié)果，電子設(shè)備更精確地區(qū)分在 圖像中吸引注意的區(qū)域并且執(zhí)行操作，以使得當(dāng)吸引注意的區(qū)域越模糊時(shí)整 個(gè)圖像的模糊度變得越高。
當(dāng)沒(méi)有被攝體區(qū)域被提取時(shí)，第 一計(jì)算裝置可以以整個(gè)圖像為被攝體區(qū) 域，計(jì)算第一模糊度。
從而，即使當(dāng)圖像中吸引注意的區(qū)域不存在時(shí)，電子設(shè)備也可以通過(guò)將 整個(gè)圖像認(rèn)為被攝體區(qū)域來(lái)計(jì)算整個(gè)圖像的模糊度。
電子設(shè)備還可以包括用于接收用戶(hù)的操作的操作接收裝置，以及用于顯 示多個(gè)圖像的顯示裝置。
在這種情況下，分揀裝置可以依照用戶(hù)的預(yù)定操作分揀出模糊圖像。
在這種情況下，當(dāng)接收到預(yù)定操作時(shí)，顯示裝置可以?xún)H顯示多個(gè)顯示圖 像中被分揀出的模糊圖像。
從而，僅通過(guò)執(zhí)行預(yù)定操作，用戶(hù)就可以分揀并且僅看到多個(gè)圖像中的 模糊圖像，并輕而易舉地刪除和移除不需要的模糊圖像。預(yù)定操作指諸如按
鈕的圖標(biāo)之類(lèi)的GUI,但不僅限于此。
根據(jù)本發(fā)明的另 一種實(shí)施方式，提供包括從圖像中提取具有圖像中的預(yù)
定特征的被攝體區(qū)域的模糊圖像分揀方法。
在這種方法中，計(jì)算指示所提取的被攝體區(qū)域的模糊度的第一模糊度。 當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第
一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度。當(dāng)從其計(jì)算第一模糊度 的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺 寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均而獲得的值，計(jì)算第二模糊度。
然后，從多個(gè)圖像中分揀出具有等于或大于預(yù)定閾值的所算出的第二模 糊度的圖像作為模糊圖像。根據(jù)這種方法，有可能可靠地計(jì)算出圖像的模糊度并且分揀出用戶(hù)不需要的模糊圖像。
根據(jù)本發(fā)明的再另 一種實(shí)施方式，提供包括優(yōu)化具有預(yù)定特征的被攝體區(qū)域的模糊圖像分揀方法，該被攝體區(qū)域被從圖像中提取以使得該被攝體區(qū)域具有預(yù)定大小。
在這種方法中，獲取了從經(jīng)優(yōu)化的被攝體區(qū)域中所算出的、指示被攝體區(qū)域的模糊度的第 一模糊度。
當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第
一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度。另外，當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均而獲得的值，計(jì)算第二模糊度。
然后，從多個(gè)圖像中分揀出具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
根據(jù)這種方法，通過(guò)優(yōu)化每一個(gè)所提取的被攝體區(qū)域的大小并且基于從被攝體區(qū)域中所算出的模糊度來(lái)計(jì)算整個(gè)圖像的模糊度，可以可靠地分揀出模糊圖像。
根據(jù)本發(fā)明的再另一種實(shí)施方式，提供使電子設(shè)備執(zhí)行提取步驟、第一計(jì)算步驟、第二計(jì)算步驟和分揀步驟的程序。
在提取步驟中，從圖像中提取在圖像中具有預(yù)定特征的被攝體區(qū)域。在第一計(jì)算步驟中，計(jì)算指示所提取的被攝體區(qū)域的模糊度的第一模糊度。
在第二計(jì)算步驟中，當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度。另外，在第二計(jì)算步驟中，當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均而獲得的值，計(jì)算第二模糊度。
在分揀步驟中，從多個(gè)圖像中分揀出具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
根據(jù)這種程序，有可能精確地計(jì)算出圖像的模糊度并且分揀出用戶(hù)不需要的模糊圖像。
根據(jù)本發(fā)明的再另一種實(shí)施方式，提供使電子設(shè)備執(zhí)行優(yōu)化步驟、獲取步驟、計(jì)算步驟和分揀步驟的程序。
在優(yōu)化步驟中，優(yōu)化具有預(yù)定特征的被攝體區(qū)域，該被攝體區(qū)域從圖像中提取以使得其具有預(yù)定大小。
在獲取步驟中，獲取從經(jīng)優(yōu)化的被攝體區(qū)域中所算出的、并且指示被攝體區(qū)域的模糊度的第 一模糊度。
在計(jì)算步驟中，當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度。另外，在計(jì)算步驟中，當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第 一模糊度執(zhí)行加權(quán)平均而獲得的值，計(jì)算第二模糊度。
在分揀步驟中，從多個(gè)圖像中分揀出具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
根據(jù)這種程序，通過(guò)優(yōu)化每一個(gè)所提取的被攝體區(qū)域的大小并且基于從被攝體區(qū)域中所算出的模糊度來(lái)計(jì)算整個(gè)圖像的模糊度，可以可靠地分揀出模糊圖像。
根據(jù)本發(fā)明的再另一種實(shí)施方式，提供包括提取部件、第一計(jì)算部件、第二計(jì)算部件和分揀部件的電子設(shè)備。
提取部件從圖像中提取具有圖像中預(yù)定特征的^皮攝體區(qū)域。第 一計(jì)算部件計(jì)算指示所提取的被攝體區(qū)域的模糊度的第 一模糊度。第二計(jì)算部件當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，并且當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第一^f莫糊度執(zhí)行加權(quán)平均而獲得的值，計(jì)算第二模糊度。
分揀部件從多個(gè)圖像中分揀出具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像來(lái)作為模糊圖像。
如上所述，根據(jù)本發(fā)明的實(shí)施方式，有可能可靠地分揀出在其中吸引注意的被攝體是模糊的、用戶(hù)不需要的模糊圖像。
根據(jù)如圖所示的最佳模式實(shí)施方式的以下詳細(xì)描述，本發(fā)明的這些和其他目的、特征以及優(yōu)點(diǎn)將變得更加明顯。


圖1是示出根據(jù)本發(fā)明的實(shí)施方式的PC的硬件配置的簡(jiǎn)圖；圖2是用于描述根據(jù)本發(fā)明的實(shí)施方式的PC的圖像分揀功能的簡(jiǎn)圖；圖3是示出根據(jù)本發(fā)明的實(shí)施方式的PC的元數(shù)據(jù)分析部件的粗略操作流程的流程圖4是示出在本發(fā)明的實(shí)施方式中的特征識(shí)別處理的流程的流程圖；圖5是詳細(xì)示出由本發(fā)明的實(shí)施方式中的特征識(shí)別引擎執(zhí)行的特征識(shí)別
處理的流程的流程圖6是示出在本發(fā)明的實(shí)施方式中的模糊識(shí)別處理的流程的流程圖；圖7是詳細(xì)示出由本發(fā)明的實(shí)施方式中的特征識(shí)別引擎執(zhí)行的模糊識(shí)別
處理的流程的流程圖8A到8D是用于描述在本發(fā)明的實(shí)施方式中檢測(cè)到的邊緣的類(lèi)型的簡(jiǎn)
圖9是示出在本發(fā)明的實(shí)施方式中的圖像模糊指數(shù)的計(jì)算處理的流程的流程圖10是示出在本發(fā)明的實(shí)施方式中所算出的圖像模糊指數(shù)的計(jì)算公式的簡(jiǎn)圖11是示出在本發(fā)明的實(shí)施方式中的模糊圖像分揀部件和圖像顯示部件的處理的流程的流程圖；并且
圖12A和圖12B是示出在本發(fā)明的實(shí)施方式中的素材選擇屏幕的簡(jiǎn)圖。
具體實(shí)施例方式
以下將參考附圖描述本發(fā)明的實(shí)施方式。(PC的硬件配置)
圖1是示出根據(jù)本發(fā)明的實(shí)施方式的PC的硬件配置的簡(jiǎn)圖。
如圖1所示，PC 100包括CPU (中央處理器)1、 ROM (只讀存儲(chǔ)器)2和RAM (隨機(jī)存取存儲(chǔ)器)3，并且由數(shù)據(jù)傳輸總線(xiàn)4將這些彼此連接。
PC 100還包括輸入輸出(I/O)接口 5、輸入部件6、輸出部件7、存儲(chǔ)部件8、通信部件9和驅(qū)動(dòng)器10。在PC 100中，輸入部件6、輸出部件7、存儲(chǔ)部件8、通信部件9和驅(qū)動(dòng)器10都連接到輸入輸出接口 5。
當(dāng)執(zhí)行各種操作時(shí)，CPU 1根據(jù)需要存取RAM3等并且集中控制PC 100的整個(gè)塊。ROM 2是非易失性存儲(chǔ)器，其固定地存儲(chǔ)OS (操作系統(tǒng))、程序、固件，諸如由CPU 1執(zhí)行的各種參數(shù)。RAM3用作用于CPU 1的工作區(qū)域等，并且臨時(shí)存儲(chǔ)操作系統(tǒng)、正在執(zhí)行的各種程序和正在處理的各種數(shù)據(jù)片段。
輸入部件6是鍵盤(pán)、鼠標(biāo)、觸摸墊、按鈕等，并且接收用戶(hù)的各種操作和輸出輸入的操作信號(hào)給CPU 1 。輸出部件7是輸出各種內(nèi)容的視頻信號(hào)的顯示部件(如LCD (液晶顯示屏)和OEL (有機(jī)電致發(fā)光)顯示器)以及輸出各種內(nèi)容的音頻信號(hào)的揚(yáng)聲器。
例如，存儲(chǔ)部件8是非易失性存儲(chǔ)器(如HDD(硬盤(pán)驅(qū)動(dòng)器)和閃存)。存儲(chǔ)部件8在其內(nèi)置硬盤(pán)或存儲(chǔ)器裝置中存儲(chǔ)操作系統(tǒng)、各種程序和應(yīng)用以及各種數(shù)據(jù)片段。此外，存儲(chǔ)部件8讀取那些程序和數(shù)據(jù)片段給RAM3。
特別地，在這種實(shí)施方式中，存儲(chǔ)部件8存儲(chǔ)電影創(chuàng)作應(yīng)用。存儲(chǔ)部件8也存儲(chǔ)變成用于創(chuàng)作電影的素材的運(yùn)動(dòng)圖像文件、靜止圖像文件和音樂(lè)文件以及已創(chuàng)作的電影文件。電影創(chuàng)作應(yīng)用是用于使用包含用戶(hù)已經(jīng)拍攝并存儲(chǔ)在存儲(chǔ)部件8的圖像的運(yùn)動(dòng)圖像文件和靜止圖像文件以及音樂(lè)文件作為素材，創(chuàng)作用戶(hù)自己的原始運(yùn)動(dòng)圖像(電影)的應(yīng)用。具體地說(shuō)，電影創(chuàng)作應(yīng)用通過(guò)插入由用戶(hù)選擇的運(yùn)動(dòng)圖像或靜止圖像到擁有預(yù)先設(shè)定的運(yùn)動(dòng)圖像幀、靜止圖像幀等的模板并且組合圖像為文件來(lái)創(chuàng)作電影。
例如，通信部件9包括網(wǎng)絡(luò)接口卡和調(diào)制解調(diào)器，并且與其他設(shè)備通過(guò)網(wǎng)絡(luò)(如因特網(wǎng))通信。例如，通信部件9可以經(jīng)由網(wǎng)絡(luò)從其他設(shè)施接收程序和數(shù)據(jù)。
驅(qū)動(dòng)器IO加載可移動(dòng)介質(zhì)11來(lái)讀取記錄在可移動(dòng)介質(zhì)11上的程序和數(shù)據(jù)，并且在存儲(chǔ)單元8中存儲(chǔ)它們或者由輸出部件7經(jīng)由輸入輸出接口 5再
現(xiàn)它們。
可移動(dòng)介質(zhì)ll是包括光盤(pán)(如DVD、 BD和CD)和半導(dǎo)體存儲(chǔ)器(如存儲(chǔ)卡)的介質(zhì)。
(電影創(chuàng)作應(yīng)用的功能)
電影創(chuàng)作應(yīng)用具有這樣的功能，其在創(chuàng)作電影前，從存儲(chǔ)在存儲(chǔ)部件8的多個(gè)靜止圖像中分揀出用戶(hù)不需要并且難以成為電影的素材的模糊的圖像(此后稱(chēng)作模糊圖像)。以下將描述模糊圖像分揀功能。圖2是用于描述模糊圖像分揀功能的簡(jiǎn)圖。如圖2所示，電影創(chuàng)作應(yīng)用20包括元數(shù)據(jù)分析部件21、元數(shù)據(jù)累積部 件22、模糊圖像分揀部件23和圖像顯示部件24。此外，PC100存儲(chǔ)面部識(shí) 別引擎120和特征識(shí)別引擎130作為電影創(chuàng)作應(yīng)用20的外部引擎。
面部識(shí)別引擎120從由電影創(chuàng)作應(yīng)用20提供的素材圖像中識(shí)別人臉作為 被攝體區(qū)域并且提取包括人臉在內(nèi)的矩形區(qū)域(面部區(qū)域)。然后，人臉識(shí) 別引擎120輸出元數(shù)據(jù)給電影創(chuàng)作應(yīng)用20，其中該元數(shù)據(jù)包括人臉區(qū)域的數(shù) 據(jù)、其大小信息(高度、寬度、傾斜度)、指示識(shí)別的確定性的面部識(shí)別得 分等。
在面部識(shí)別引擎120中將各種已知技術(shù)作為面部識(shí)別技術(shù)。例如，面部 識(shí)別引擎120可以使用特征過(guò)濾器識(shí)別面部的特征。特征過(guò)濾器是這樣的過(guò) 濾器，其在圖像中檢測(cè)矩形的特定部分并且屏蔽矩形的不同部分。通過(guò)特征 過(guò)濾器，檢測(cè)面部中的眼睛、眉毛、鼻子、臉頰等之間的位置關(guān)系作為圖像 中包括面部的面部特征，并且4企測(cè)對(duì)象除面部外的形狀和對(duì)象的組成元素之 間的位置關(guān)系作為圖像中不包括面部的非面部特征。面部識(shí)別引擎120用特 征過(guò)濾器過(guò)濾圖像，同時(shí)改變特征過(guò)濾器的幀(frame)的大小和位置。然后， 面部識(shí)別引擎120識(shí)別當(dāng)獲得最確定的檢測(cè)值時(shí)得到的特征過(guò)濾器的大小作 為面部區(qū)域的大小，并提取面部區(qū)域。作為特征過(guò)濾器，除矩形過(guò)濾器外， 特征過(guò)濾器還可以在特殊方向上用檢測(cè)圓形特征(circular feature )的可分離 性過(guò)濾器和通過(guò)邊緣檢測(cè)各面部部分的位置關(guān)系的Gabor過(guò)濾器。此外，例 如，作為面部識(shí)別技術(shù)，除了特征過(guò)濾器之外，也可以使用圖像中的亮度分 布信息和膚色信息。
特征識(shí)別引擎130有特征區(qū)域識(shí)別功能和模糊識(shí)別功能。特征區(qū)域識(shí)別 功能從電影創(chuàng)作應(yīng)用20給定的圖像中識(shí)別并提取視覺(jué)上顯著的特征區(qū)域作 為被攝體區(qū)域。模糊識(shí)別功能在所給圖像中確定模糊度。
作為特征區(qū)域識(shí)別功能，特征識(shí)別引擎130識(shí)別所給圖像的特征，以產(chǎn) 生特征映像，然后整合特征映像以產(chǎn)生顯著映像(saliencymap)，因此識(shí)別 并且提取矩形特征區(qū)域。識(shí)別出的特征包括亮度特征、色彩特征和邊緣(方 向)特征。特征識(shí)別引擎130分別從圖像的亮度特征、色彩特征和邊緣特征 產(chǎn)生亮度映像、色彩映像和邊緣映像，將這些映像經(jīng)歷線(xiàn)性結(jié)合來(lái)產(chǎn)生顯著 映像。然后，圖像識(shí)別引擎130基于顯著映像提取矩形特征區(qū)域，并且輸出 元數(shù)據(jù)給電影創(chuàng)作應(yīng)用20，其中該元數(shù)據(jù)包括所提取的特征區(qū)域的數(shù)據(jù)、其大小信息(高度、寬度、傾斜度)、指示識(shí)別的確定性的特征識(shí)別得分等。
另外，作為模糊識(shí)別功能，特征識(shí)別引擎130按照需要使用顯著映像從 所給面部區(qū)域和特征區(qū)域提取邊緣點(diǎn)，并分析邊緣點(diǎn)來(lái)計(jì)算各個(gè)區(qū)域的模糊
指數(shù)。然后，特征識(shí)別引擎130輸出所算出的模糊指數(shù)給電影創(chuàng)作應(yīng)用20。
元數(shù)據(jù)分析部分21包括分別與面部識(shí)別引擎120和特征識(shí)別引擎130合 作的面部識(shí)別插件和特征識(shí)別插件。元數(shù)據(jù)分析部分21提供素材圖像(靜止 圖像)給面部識(shí)別引擎120和特征識(shí)別引擎130,并且獲得關(guān)于素材圖像的 面部區(qū)域和特征區(qū)域的元數(shù)據(jù)。此外，元數(shù)據(jù)分析部分21針對(duì)用于模糊識(shí)別 處理的足夠大小，處理所獲得的面部區(qū)域和特征區(qū)域，然后將它們提供給特 征識(shí)別引擎130，以基于作為模糊識(shí)別的結(jié)果獲得的各模糊指數(shù)計(jì)算整個(gè)圖 像的模糊指數(shù)。此后，將由特征識(shí)別引擎130所算出的每個(gè)面部區(qū)域和特征 區(qū)域的模糊指數(shù)稱(chēng)為區(qū)域模糊指數(shù)，并且將由元數(shù)據(jù)分析部分21所算出的整 個(gè)圖像的模糊指數(shù)將稱(chēng)為圖像模糊指數(shù)。
元數(shù)據(jù)累積部件22累積關(guān)于從面部識(shí)別引擎120和特征識(shí)別引擎130獲 得的面部區(qū)域和特征區(qū)域的元數(shù)據(jù)。元數(shù)據(jù)累積部件22也累積由元數(shù)據(jù)分析 部件21所算出的圖像模糊指數(shù)。
模糊圖像分揀部件23基于上述模糊指數(shù)、根據(jù)用戶(hù)的操作，從多個(gè)素材 圖像中分揀模糊圖像。圖像顯示部件24顯示多個(gè)素材圖像的列表，并且才艮據(jù) 用戶(hù)的操作僅顯示由模糊圖像分揀部件23分揀出的模糊圖像。 (PC的操作)
下面，將描述這樣配置的PC IOO的操作。此后，將電影創(chuàng)作應(yīng)用20、 面部識(shí)別引擎120和特征識(shí)別引擎130中的每一個(gè)軟件作為操作的主要構(gòu)成 進(jìn)行描述，但整個(gè)操作是在硬件(如CPU1等)的控制下執(zhí)行。 (元數(shù)據(jù)分析部分的操作概要)
圖3是示出這種實(shí)施方式中的元數(shù)據(jù)分析部件21的粗略操作流程的流程圖。
如圖3所示，首先，元數(shù)據(jù)分析部分21的面部識(shí)別插件提供在存儲(chǔ)部件 8中累積的素材圖像給面部識(shí)別引擎120 (步驟31 )。
面部識(shí)別引擎120關(guān)于輸入的素材圖像執(zhí)行面部識(shí)別處理，并且作為處 理的結(jié)果，輸出各個(gè)元數(shù)據(jù)(如所提取的面部區(qū)域的數(shù)據(jù)、面部區(qū)域的大小 和面部識(shí)別得分)給面部識(shí)別插件(步驟32)。面部識(shí)別插件判斷矩形區(qū)域是否在面部識(shí)別引擎120提供的元數(shù)據(jù)中存 在(步驟33)。如果矩形區(qū)域存在(是)，則面部識(shí)別插件在元數(shù)據(jù)累積部 件22中登記矩形區(qū)域上的所有元數(shù)據(jù)(步驟34)。
接下來(lái)，特征識(shí)別插件與特征識(shí)別引擎130合作，以使用素材圖像來(lái)執(zhí) 行特征識(shí)別處理(步驟35)。后面將詳細(xì)描述特征識(shí)別處理。
隨后，特征識(shí)別插件通過(guò)特征識(shí)別處理判斷矩形區(qū)域是否在從特征識(shí)別 引擎130提供的元數(shù)據(jù)中存在(步驟36)。如果矩形區(qū)域存在(是)，則特 征識(shí)別插件在元數(shù)據(jù)累積部件22中登記矩形區(qū)域上的所有元數(shù)據(jù)(步驟37 )。
然后，特征識(shí)別插件提供登記在元數(shù)據(jù)累積部件22中的矩形區(qū)域給特征 識(shí)別引擎130，并且對(duì)矩形區(qū)域執(zhí)行模糊識(shí)別處理(步驟38)。后面也將詳 細(xì)描述模糊識(shí)別處理。
特征識(shí)別插件基于模糊識(shí)別處理的結(jié)果，計(jì)算每個(gè)圖像(整個(gè)圖像)的 圖像模糊指數(shù)(步驟39)。后面將詳細(xì)描述這種處理。然后，特征識(shí)別插件 在元數(shù)據(jù)累積部件22中登記計(jì)算出的每個(gè)素材圖像的圖像模糊指數(shù)(步驟 40)。
(元數(shù)據(jù)分析部件的特征識(shí)別處理)
圖4是詳細(xì)示出上述步驟35中的特征識(shí)別處理的流程的流程圖。 如圖4所示，特征識(shí)別插件首先判斷從存儲(chǔ)部件8中獲得的素材圖像的 圖像大小是否等于或大于特征識(shí)別引擎130的特征識(shí)別處理中的最小有效大 小(步驟41)。例如，最小有效大小是256 x 256 (像素)，但不僅限于此。 在該處理中，判斷素材圖像是否大到足夠容許(tolerate)特征識(shí)別處理。
這之后，特征識(shí)別插件判斷素材圖像的大小是否等于或小于在特征識(shí)別 引擎130的特征識(shí)別處理中的最大分析對(duì)象大小(步驟42)。例如，最大分 析對(duì)象大小是3200 x3200 (像素)，但不僅限于此。在素材圖像的大小大于 最大分析對(duì)象大小的情況下(否)，特征識(shí)別插件減小素材圖像的大小，以 使得其變成等于或小于最大分析對(duì)象大小的大小(步驟43)。素材圖像的大 小減小的原因如下。在素材圖像具有等于或大于最大分析對(duì)象大小的大小的 情況下，特征識(shí)別引擎130可以自行執(zhí)行特征識(shí)別處理，但消耗過(guò)長(zhǎng)時(shí)間以 致于不能完成處理。換句話(huà)說(shuō)，通過(guò)減小處理，可以減輕特征識(shí)別引擎130 上的處理負(fù)荷。
然后，特征識(shí)別插件提供具有根據(jù)需要減小了的大小的素材圖像給特征識(shí)別引擎130 (步驟44)。特征識(shí)別引擎130對(duì)所提供的素材圖像執(zhí)行特征 識(shí)別處理(步驟45)。然后，特征識(shí)別插件從特征識(shí)別引擎130獲取特征區(qū) 域上的元數(shù)據(jù)作為特征處理的結(jié)果(步驟46)。 (特征識(shí)別引擎的特征識(shí)別處理)
圖5是詳細(xì)示出在上述步驟45中、由特征識(shí)別引擎130執(zhí)行的特征識(shí)別 處理的流程的流程圖。
如圖5所示，特征識(shí)別引擎130首先根據(jù)提供的素材圖像產(chǎn)生亮度映像 (步驟51)。
具體地說(shuō)，特征識(shí)別引擎130產(chǎn)生具有素材圖像的各個(gè)像素的亮度值作 為像素值的亮度圖像。然后，通過(guò)使用亮度圖像，特征識(shí)別引擎130產(chǎn)生每 個(gè)都具有不同分辨率的多個(gè)亮度圖像(漸變圖像(pyramid image))。例如， 根據(jù)劃分為8個(gè)分辨率等級(jí)L1到L8的分辨率層次產(chǎn)生漸變圖像。Ll等級(jí)的 漸變圖像具有最高的分辨率，并且以從L1到L8的升序降低分辨率。將在特 定等級(jí)的漸變圖像中包含的一個(gè)像素的像素值設(shè)置為在緊接在該等級(jí)之上的 等級(jí)的漸變圖像中包含的四個(gè)相鄰像素的像素值的平均值。
隨后，特征識(shí)別引擎130從多個(gè)漸變圖像中選擇兩個(gè)不同等級(jí)的漸變圖 像，并且獲得這兩個(gè)漸變圖像之間的差值來(lái)產(chǎn)生關(guān)于亮度的差值圖像。該差 值圖像的像素值指示在不同等級(jí)的漸變圖像中的亮度值之間的差值，也就是 在素材圖像中的預(yù)定像素的亮度與素材圖像中的該像素周?chē)钠骄炼戎g 的差值。然后，特征識(shí)別引擎130基于這樣算出的預(yù)定數(shù)量的差值圖像產(chǎn)生 亮度映像。
接下來(lái)，特征識(shí)別引擎130從素材圖像產(chǎn)生色彩映像(步驟52)。色彩
映像的產(chǎn)生也基本由與亮度映像類(lèi)似的方法來(lái)執(zhí)行。
首先，特征識(shí)別引擎130產(chǎn)生RG差值圖像和BY差值圖像。在RG差值 圖像中，將素材圖像中的像素的R (紅色)成份和G (綠色)成份之間的差 值設(shè)置為像素值。在BY差值圖像中，將素材圖像中的像素的B (藍(lán)色)成 份和Y(黃色)成份之間的差值設(shè)置為像素值。
然后，通過(guò)使用RG差值圖像，特征識(shí)別引擎130產(chǎn)生每個(gè)都具有不同 分辨率的多個(gè)RG特征圖像(漸變圖像)。特征識(shí)別引擎130從多個(gè)漸變圖 像中選擇不同等級(jí)的兩個(gè)漸變圖像，并且獲得漸變圖像之間的差值來(lái)產(chǎn)生關(guān) 于RG差值的差值圖像。對(duì)BY差值圖像執(zhí)行相同的處理。這樣，特征識(shí)別引擎130基于這樣算出的預(yù)定數(shù)量的差值圖像，產(chǎn)生關(guān)于RG和BY的色彩映像。
接下來(lái)，特征識(shí)別引擎130從素材圖像產(chǎn)生邊緣映像(步驟53)。邊緣 映像的產(chǎn)生也基本上由與亮度映像和色彩映像類(lèi)似的方法來(lái)執(zhí)行。
首先，特征識(shí)別引擎130通過(guò)Gabor過(guò)濾器對(duì)素材圖像執(zhí)行過(guò)濾，并且 產(chǎn)生在其中將各個(gè)方向例如O度、45度、90度和135度上的邊緣強(qiáng)度設(shè)置為 像素值的邊緣圖像。
然后，通過(guò)使用每個(gè)方向上的邊緣圖像，特征識(shí)別引擎130產(chǎn)生每個(gè)都 具有不同分辨率的多個(gè)邊緣圖像(漸變圖像)。隨后，特征識(shí)別引擎130從 多個(gè)漸變圖像中選擇不同等級(jí)的兩個(gè)漸變圖像，并且獲得這些漸變圖像之間 的差值來(lái)產(chǎn)生關(guān)于每個(gè)方向上的邊緣的差值圖像。這樣，特征識(shí)別引擎130 基于這樣算出的預(yù)定數(shù)量的差值圖像，產(chǎn)生關(guān)于各個(gè)方向的邊緣映像。
然后，特征識(shí)別引擎130對(duì)從素材圖像產(chǎn)生的亮度映像、色彩映像和邊 緣映像執(zhí)行線(xiàn)性整合，并且產(chǎn)生顯著映像。換句話(huà)說(shuō)，特征識(shí)別引擎130關(guān) 于在相同位置(重疊區(qū)域)上的每個(gè)區(qū)域?qū)α炼扔诚?、色彩映像和邊緣映?的每個(gè)區(qū)域的信息(特征量)執(zhí)行加權(quán)求和，從而產(chǎn)生顯著映像(步驟54 )。
這里，在加權(quán)求和中使用的權(quán)重通過(guò)例如神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)獲得。具體地說(shuō)， 特征識(shí)別引擎130通過(guò)與上述相同的處理，對(duì)于預(yù)定學(xué)習(xí)圖像(learning image)產(chǎn)生顯著映像。然后，特征識(shí)別引擎130使用在產(chǎn)生顯著映像的處理 中使用的權(quán)重來(lái)獲得權(quán)重差值和圖像標(biāo)簽，并且將權(quán)重差值加到在產(chǎn)生被攝 體映像(subject map)的處理中使用的權(quán)重上，從而更新權(quán)重。圖像標(biāo)簽是 這樣的標(biāo)簽，其中以像素為基礎(chǔ)的學(xué)習(xí)圖像中的實(shí)際特征(被攝體(subject)) 的存在/不存在由0和1來(lái)指示。也就是說(shuō)，圖像標(biāo)簽是理想的顯著映像。特 征識(shí)別引擎130重復(fù)更新權(quán)重的處理和產(chǎn)生顯著映像的處理，從而最終確定 合適的權(quán)重。
基于顯著映像，特征識(shí)別引擎130從素材圖像中提取具有高特征數(shù)量的 區(qū)域作為矩形區(qū)域(步驟55)。然后，特征識(shí)別引擎130輸出元數(shù)據(jù)(如矩 形區(qū)域的數(shù)據(jù)、其大小和特征識(shí)別得分)到元數(shù)據(jù)分析部分21的特征識(shí)別插 件(步驟56 )。
(元數(shù)據(jù)分析部件的模糊識(shí)別處理)
圖6是詳細(xì)示出在上述步驟38中的模糊識(shí)別處理的流程的流程圖。如圖6所示，特征識(shí)別插件首先判斷作為模糊識(shí)別的目標(biāo)的素材圖像的
大小是否等于或大于由特征識(shí)別引擎130的模糊識(shí)別處理中的最小有效大小 (步驟61)。例如，最小有效大小是64 x 64 (像素)，但不僅限于此。從而， 判斷素材圖像是否足夠大以致容許模糊識(shí)別處理。在已經(jīng)在上述特征識(shí)別處 理中減小素材圖像的大小的情況下，將已減小的圖像當(dāng)做模糊識(shí)別的目標(biāo)圖像。
在素材圖像的大小低于模糊識(shí)別處理的最小有效大小的情況下(否)， 因?yàn)榧俣嗽撍夭膱D像是模糊不能識(shí)別的圖像，所以特征識(shí)別插件停止素材 圖像的模糊識(shí)別處理。
在素材圖像的大小等于或大于模糊識(shí)別處理的最小有效大小的情況下 (是)，特征識(shí)別插件從元數(shù)據(jù)累積部件22獲取面部區(qū)域上的元數(shù)據(jù)(步驟 62)。這里，在作為面部區(qū)域的提取源的素材圖像的大小在特征識(shí)別處理中 已經(jīng)減小的情況下，面部區(qū)域的大小依照素材圖像的原始大小進(jìn)行轉(zhuǎn)換。
隨后，特征識(shí)別插件判斷面部區(qū)域是否是特征識(shí)別引擎130的模糊識(shí)別 處理中的有效矩形(步驟63 )。這里，有效矩形指的是滿(mǎn)足特征識(shí)別引擎130 的模糊識(shí)別處理的最小有效大小的矩形，或者其中其短邊上的像素?cái)?shù)量是作 為該矩形的提取源的素材圖像的短邊上的像素?cái)?shù)量的20%或更多的矩形。
如果面部區(qū)域是有效矩形(是)，則特征識(shí)別插件提供面部區(qū)域給特征 識(shí)別引擎130 (步驟67 )并且使特征識(shí)別引擎130對(duì)面部區(qū)域執(zhí)行模糊識(shí)別 處理(步驟68)。在這種情況下，不使用顯著映像來(lái)執(zhí)行特征識(shí)別引擎130 的模糊識(shí)別處理。
如果面部區(qū)域不是有效矩形(否)，則特征識(shí)別插件判斷作為面部區(qū)域 的提取源的素材圖像的大小是否等于或大于特征識(shí)別引擎130的特征識(shí)別處 理的最小有效大小(256x256像素)(步驟64)。
如果素材圖像的大小等于或大于特征識(shí)別處理的最小有效大小(是)， 則特征識(shí)別插件從數(shù)據(jù)累積部件22獲取關(guān)于特征區(qū)域的元數(shù)據(jù)(步驟65)。 這里，在作為特征區(qū)域的提取源的素材圖像的大小在特征識(shí)別處理中已經(jīng)減 小的情況下，特征區(qū)域的大小依照素材圖像的原始大小進(jìn)行轉(zhuǎn)換。
隨后，特征識(shí)別插件判斷特征區(qū)域是否是特征識(shí)別引擎130的模糊識(shí)別 處理中的有效矩形(步驟66)。這里，有效矩形指的是滿(mǎn)足特征識(shí)別引擎130 的模糊識(shí)別處理的最小有效大小的矩形。如果特征區(qū)域是有效矩形(是)，則特征識(shí)別插件提供特征區(qū)域給特征
識(shí)別引擎130 (步驟67 )并且使特征識(shí)別引擎130對(duì)面部區(qū)域執(zhí)行;f莫糊識(shí)別 處理(步驟68)。在這種情況下，使用顯著映像來(lái)執(zhí)行特征識(shí)別引擎130的 模糊識(shí)別處理。
如果特征區(qū)域不是有效矩形(否)，則特征識(shí)別插件將作為特征區(qū)域的 提取源的素材圖像作為矩形區(qū)域，提供給特征識(shí)別引擎130 (步驟69)，并 且使特征識(shí)別引擎130對(duì)素材圖像執(zhí)行模糊識(shí)別處理(步驟70 )。也就是說(shuō)， 對(duì)整個(gè)素材圖像而不是特征區(qū)域執(zhí)行模糊識(shí)別處理。使用顯著映像執(zhí)行在這 種情況下的特征識(shí)別引擎130的模糊識(shí)別處理。
在上述步驟64中，如果素材圖像的大小低于特征識(shí)別處理的最小有效大 小(否)，則特征識(shí)別插件提供素材圖像給特征識(shí)別引擎130 (步驟71)并 且使特征識(shí)別引擎130對(duì)整個(gè)素材圖像執(zhí)行模糊識(shí)別處理(步驟72)。不用 顯著映像執(zhí)行在這種情況下的特征識(shí)別引擎130的模糊識(shí)別處理。 (特征識(shí)別引擎的模糊識(shí)別處理的細(xì)節(jié))
圖7是詳細(xì)示出在上述步驟68、 70和72中的、特征識(shí)別引擎130執(zhí)行
的模糊識(shí)別處理的流程的流程圖。
如圖7所示，特征識(shí)別引擎130首先從所提供的面部區(qū)域、特征區(qū)域或 素材圖像產(chǎn)生邊緣映像(步驟81)。如果所提供的圖像是面部區(qū)域，則顯著 映像不用于邊緣映像的產(chǎn)生。如果所提供的圖像是特征區(qū)域，則顯著映像用 于邊緣映像的產(chǎn)生。此外，如果所提供的圖像是整個(gè)素材圖像，則在素材圖 像具有等于或大于特征識(shí)別處理的最小有效大小的大小的情況下，顯著映像
用于邊緣映像的產(chǎn)生，而在素材圖像具有小于特征識(shí)別處理的最小有效大小 的大小的情況下，顯著映像不用于邊緣映像的產(chǎn)生。以下，將從特征識(shí)別插 件提供的包括面部區(qū)域的圖像、特征區(qū)域和整個(gè)素材圖像統(tǒng)稱(chēng)為"被攝體區(qū) 域，，。
具體地說(shuō)，特征識(shí)別引擎130將所提供的被攝體區(qū)域劃分為每個(gè)具有2x2 個(gè)像素的大小的塊。然后，特征識(shí)別引擎130計(jì)算每個(gè)塊內(nèi)的各像素的像素 值之間的差值的絕對(duì)值，并且隨后計(jì)算這些絕對(duì)值的平均值。該平均值指示 塊內(nèi)的垂直、水平和傾斜方向上的邊緣強(qiáng)度的平均值。然后，特征識(shí)別引擎 130按與^皮攝體區(qū)域中的相對(duì)應(yīng)塊相同的順序排列這樣算出的平均值，從而 產(chǎn)生比例(scale) SC1的邊緣映像。另外，特征識(shí)別引擎130基于其中將比例SC1的塊內(nèi)的像素值的平均值設(shè)置為一個(gè)像素值的平均圖像，產(chǎn)生比例 SC2的邊緣圖像。類(lèi)似地，特征識(shí)別引擎130基于其中將一塊內(nèi)的像素值的 平均值設(shè)置為一個(gè)像素值的平均圖像，產(chǎn)生比例SC3的邊緣圖像，其中該塊 是通過(guò)劃分比例SC2的平均圖像為具有2x2像素的大小的區(qū)域而獲得的。 因此，為了抑制邊緣強(qiáng)度的變化，基于不同大小的塊產(chǎn)生不同比例的邊緣映 像。
隨后，特征識(shí)別引擎130使用邊緣映像檢測(cè)被攝體區(qū)域的動(dòng)態(tài)范圍(步 驟82 )。具體地說(shuō)，特征識(shí)別引擎130從上述比例SC1到SC3的邊^(qū)彖映像中 檢測(cè)像素值的最大值和最小值，并且檢測(cè)最大值和最小值之間的差值作為被 攝體區(qū)域的邊緣強(qiáng)度的動(dòng)態(tài)范圍。
這之后，特征識(shí)別引擎130依照檢測(cè)到的動(dòng)態(tài)范圍設(shè)置操作參數(shù)的初始 值(步驟83)。這里，操作參數(shù)包括邊緣參考值和提取參考值。邊緣參考值 用于邊緣點(diǎn)的判斷。提取參考值用于判斷邊緣點(diǎn)提取量是否合適。
換句話(huà)說(shuō)，特征識(shí)別引擎130依照動(dòng)態(tài)范圍是否超過(guò)預(yù)定闞值，將被攝 體區(qū)域劃分為低動(dòng)態(tài)范圍的圖像和高動(dòng)態(tài)范圍的圖像，并且為每個(gè)圖像的操 作參數(shù)設(shè)置初始值。假定用于低動(dòng)態(tài)范圍的圖像的操作參數(shù)小于用于高動(dòng)態(tài) 范圍的圖像的操作參數(shù)。這是因?yàn)?，低?dòng)態(tài)范圍的圖像具有比高動(dòng)態(tài)范圍的 圖像更小數(shù)量的邊緣并且具有更小量的所提取的邊緣點(diǎn)，所以也從低動(dòng)態(tài)范 圍的圖像中提取足夠保持模糊識(shí)別的準(zhǔn)確性的邊緣點(diǎn)。
然后，特征識(shí)別引擎130使用所產(chǎn)生的邊緣映像產(chǎn)生局部最大值(步驟 84 )。具體地說(shuō)，特征識(shí)別引擎130將比例SC1的邊緣映像劃分為具有2x2 像素的大小的塊。特征識(shí)別引擎130提取邊緣映像的每一個(gè)塊的最大值，并 且按與對(duì)應(yīng)的塊相同的順序排列這樣提取的最大值，從而產(chǎn)生比例SC1的局 部最大值LM1。也就是說(shuō)，提取各個(gè)塊中的像素值的最大值。
類(lèi)似地，特征識(shí)別引擎130將比例SC2的邊緣映像劃分為具有4 x 4像 素的大小的塊，提取每個(gè)塊的最大值，并且按與對(duì)應(yīng)的塊相同的順序排列這 樣提取的最大值。這樣，產(chǎn)生比例SC2的局部最大值LM2。通過(guò)同樣的方式， 特征識(shí)別引擎130將比例SC3的邊緣映像劃分為具有8 x 8像素的大小的塊， 并且從各個(gè)塊的最大值產(chǎn)生比例SC3的局部最大值LM3。
然后，使用以上產(chǎn)生的局部最大值，特征識(shí)別引擎130從被攝體區(qū)域提 取邊緣點(diǎn)。對(duì)于邊緣點(diǎn)提取處理，如上所述，依照被攝體區(qū)域是面部區(qū)域和特征區(qū)域的哪一個(gè)來(lái)使用顯著映像。此外，在被攝體區(qū)域是整個(gè)素材圖像的 情況下，依照被攝體區(qū)域是否具有等于或大于特征識(shí)別處理的最小有效大小， 一起使用顯著映像。
具體地說(shuō)，特征識(shí)別引擎130選擇被攝體區(qū)域內(nèi)的一個(gè)像素并且將其設(shè) 置為焦點(diǎn)像素。使用顯著映像的情況下，從在被攝體區(qū)域中高度顯著并且像 素值等于或高于預(yù)定值的特征區(qū)域中選擇焦點(diǎn)像素。
此外，特征識(shí)別引擎130通過(guò)下面的表達(dá)式(1 ),獲得與焦點(diǎn)像素相應(yīng) 的局部最大值LM1的像素的坐標(biāo)(xl， yl)，假設(shè)在包括所選焦點(diǎn)像素的被 攝體區(qū)域上的x-y坐標(biāo)系統(tǒng)的坐標(biāo)是(x， y)。
(xl,yl) = (x/4, y/4)...(l)
從被攝體區(qū)域的4x4像素塊中產(chǎn)生局部最大值LMl的一個(gè)像素。因此， 與被攝體區(qū)域的焦點(diǎn)像素相應(yīng)的局部最大值LM1的像素的坐標(biāo)值是焦點(diǎn)像 素的x坐標(biāo)和y坐標(biāo)的1/4。
類(lèi)似地，特征識(shí)別引擎130通過(guò)下面的表達(dá)式(2)獲得與焦點(diǎn)像素相應(yīng) 的局部最大值LM2的像素的坐標(biāo)(x2， y2)，以及通過(guò)下面的表達(dá)式(3) 獲得與焦點(diǎn)像素相應(yīng)的局部最大值LM3的像素的坐標(biāo)(x3， y3)。
(x2,y2) = (x/16，y/16)...(2)
(x3， y3) = (x/64, y/64)...(3)
在坐標(biāo)(xl, yl) 、 (x2, y2)和(x3， y3 )的各個(gè)像素值等于或大于 邊緣參考值的情況下，特征識(shí)別引擎130在局部最大值LM1 、局部最大值LM2 和局部最大值LM3下提取焦點(diǎn)像素作為邊緣點(diǎn)(步驟85)。然后，特征識(shí)別引 擎130彼此關(guān)聯(lián)地存儲(chǔ)局部像素的坐標(biāo)(x, y)與局部最大值LM1、 LM2和 LM3的坐標(biāo)(xl， yl)、 (x2， y2)和(x3, y3)的像素值。特征識(shí)別引擎130重復(fù)上 述處理直到被攝體區(qū)域內(nèi)的所有像素均已被當(dāng)做焦點(diǎn)像素為止。
從而，基于局部最大值LMl,提取包括在來(lái)自被攝體區(qū)域中的4x4像 素塊的、其中邊緣強(qiáng)度等于或大于邊緣參考值的塊中的像素作為邊緣點(diǎn)。
類(lèi)似地，基于局部最大值LM2，提取包括在來(lái)自被攝體區(qū)域中的16x16 像素塊的、其中邊緣強(qiáng)度等于或大于邊緣參考值的塊中的像素作為邊緣點(diǎn)。 另外，基于局部最大值LM3，提取包括在來(lái)自被攝體區(qū)域中的64x 64像素 塊的、其中邊緣強(qiáng)度等于或大于邊緣參考值的塊中的像素作為邊緣點(diǎn)。
從而，提取包括在其中邊緣強(qiáng)度等于或大于邊緣參考值的被攝體區(qū)域的4x4像素塊、16xl6像素塊、64x 64像素塊中的至少一個(gè)中的像素作為邊緣點(diǎn)。
特征識(shí)別引擎130產(chǎn)生邊緣點(diǎn)表格ET1作為這樣的表格，在其中基于局 部最大值LM1提取的邊緣點(diǎn)的坐標(biāo)(x, y)和與邊緣點(diǎn)相應(yīng)的局部最大值 LM1的像素值彼此關(guān)聯(lián)。
類(lèi)似地，特征識(shí)別引擎130產(chǎn)生邊緣點(diǎn)表格ET2，在其中基于局部最大 值LM2提取的邊緣點(diǎn)的坐標(biāo)(x， y)和與邊緣點(diǎn)相應(yīng)的局部最大值LM2的 像素值彼此關(guān)聯(lián)。另外，特征識(shí)別引擎130還產(chǎn)生邊緣點(diǎn)表格ET3，在其中 基于局部最大值LM3提取的邊緣點(diǎn)的坐標(biāo)(x， y)和與邊緣點(diǎn)相應(yīng)的局部最 大值LM3的像素值彼此關(guān)聯(lián)。
然后，使用以上產(chǎn)生的邊緣點(diǎn)表格ET1到ET3 ，特征識(shí)別引擎130判斷 邊緣點(diǎn)提取量是否合適(步驟86)。例如，在所提取邊緣點(diǎn)的總數(shù)，即邊緣 點(diǎn)表格ET1到ET3的數(shù)據(jù)項(xiàng)的總數(shù)小于提取參考值的情況下，判斷邊緣點(diǎn)提 取量不合適。
當(dāng)判斷邊緣點(diǎn)提取量不合適(否)時(shí)，特征識(shí)別引擎130調(diào)整操作參數(shù) (步驟87)。例如，特征識(shí)別引擎130設(shè)置邊緣參考值為小于當(dāng)前時(shí)間設(shè)置 的預(yù)定值，以提取比當(dāng)前更大數(shù)量的邊緣點(diǎn)。當(dāng)調(diào)整了操作參數(shù)，處理返回 到上述步驟85。這以后，重復(fù)上述處理直到判斷為邊緣點(diǎn)提取數(shù)量合適為止。 為了通過(guò)以上處理提高模糊識(shí)別的精確度，關(guān)于低動(dòng)態(tài)范圍的圖像，也 從具有低邊緣強(qiáng)度的塊中提取邊緣點(diǎn)，以便可以確保足夠數(shù)量的邊緣點(diǎn)來(lái)保 持模糊識(shí)別精確度在確定級(jí)別之上。另一方面，關(guān)于高動(dòng)態(tài)范圍的圖像，從 具有盡可能高的邊緣強(qiáng)度的塊中提取邊緣點(diǎn)，以使得提取構(gòu)成具有更高強(qiáng)度 的邊緣的邊緣點(diǎn)。
在判斷為邊緣點(diǎn)提取量合適(是)的情況下，特征識(shí)別引擎130使用邊 緣參考值、邊緣點(diǎn)表格和局部最大值執(zhí)行邊緣分析(步驟88)。
具體地說(shuō)，基于邊緣點(diǎn)表格ET1到ET3，特征識(shí)別引擎130設(shè)置從被攝 體區(qū)域提取的一個(gè)邊緣點(diǎn)作為焦點(diǎn)像素。然后，利用像(x， y)的焦點(diǎn)像素 的x-y坐標(biāo)系統(tǒng)的坐標(biāo)，特征識(shí)別引擎130通過(guò)上述表達(dá)式(1 )到(3)， 獲得關(guān)于與焦點(diǎn)像素相應(yīng)的局部最大值LM1到LM3的像素的坐標(biāo)(xl， yl ) 到(x3， y3)。
特征識(shí)別引擎130給局部最大值l(xl， yl )設(shè)置在其中局部最大值LM1的坐標(biāo)(xl， yl )的像素處于左上角的、具有mxm像素(例如，4 x 4像素) 的局部最大值LM1的塊中的像素的像素值的最大值。類(lèi)似地，特征識(shí)別引擎 130給局部最大值2 (x2， y2)設(shè)置其中局部最大值LM2的坐標(biāo)(x2， y2 ) 的像素處于左上角的、具有nxn像素(例如，2x2像素)的局部最大值LM2 的塊中的像素的像素值的最大值。另外，特征識(shí)別引擎130給局部最大值3 (x3， y3)設(shè)置局部最大值LM3的坐標(biāo)(x3, y3 )的像素的像素值。
這里，用于局部最大值l (xl, yl)的設(shè)置的參數(shù)(mxm)和用于局部 最大值2 (x2， y2)的設(shè)置的參數(shù)(nxn)中的每一個(gè)都是用于調(diào)整被攝體 區(qū)域的塊的大小的差值的參數(shù)，該參數(shù)與局部最大值LM1到LM3中的一個(gè) 像素相應(yīng)。
特征識(shí)別引擎130判斷局部最大值1 (xl, yl)、局部最大值2(x2， y2 ) 和局部最大值3 (x3, y3)是否滿(mǎn)足下面的條件表達(dá)式(4)。 局部最大值1 (xl， yl ) >邊緣參考值或 局部最大值2 (x2， y2) >邊緣參考值或 局部最大值3 (x3， y3) >邊緣參考值...(4)
在局部最大值l(xl， yl)、局部最大值2(x2， y2)和局部最大值3(x3， y3)滿(mǎn)足條件表達(dá)式(4)的情況下，特征識(shí)別引擎130按一遞增變量Nedge的值。
假定滿(mǎn)足條件表達(dá)式(4)的邊緣點(diǎn)為構(gòu)成具有確定等級(jí)或更高等級(jí)的強(qiáng)
度的邊緣的邊緣點(diǎn)，而不管與邊緣點(diǎn)結(jié)構(gòu)如何。
圖8A到8D是用于描述邊緣種類(lèi)的簡(jiǎn)圖。圖8A中示出的邊緣是陡峭的
脈沖式(impulse-like)邊緣，圖8B示出的邊緣是具有比圖8A中示出的邊緣
更緩和的坡度的脈搏式(pulse-like)邊緣，圖8C所示的邊緣是階梯型邊緣，
其具有基本上垂直的坡度，而圖8D中示出的邊緣是具有比圖8C中示出的邊
緣更緩和的坡度的階梯型邊緣。
當(dāng)局部最大值1 (xl, yl )、局部最大值2(x2, y2)和局部最大值3 (x3,
y3)滿(mǎn)足條件表達(dá)式(4)時(shí)，特征識(shí)別引擎130進(jìn)一步判斷它們滿(mǎn)足下面的
條件表達(dá)式(5)還是(6)。
局部最大值l(xl, yl )〈局部最大值2(x2， y2)〈最大值3(x3, y3 )…(5) 局部最大值2 (x2, y2) >局部最大值1 (xl， yl)以及 局部最大值2 (x2, y2) >局部最大值3 (x3， y3 )…(6)當(dāng)局部最大值l(xl, yl)、局部最大值2(x2, y2)和局部最大值3(x3， y3 )滿(mǎn)足條件表達(dá)式(5 )或(6 )時(shí)，特征識(shí)別引擎130按一遞增變量Nsmallblur 的值。
假定滿(mǎn)足條件表達(dá)式(4)和條件表達(dá)式(5)或(6)的邊緣點(diǎn)為構(gòu)成具 有擁有確定等級(jí)或更高等級(jí)的強(qiáng)度但該強(qiáng)度低于圖8A或8C的邊緣強(qiáng)度的圖 8B或8D的結(jié)構(gòu)的邊緣的邊緣點(diǎn)。
當(dāng)局部最大值l(xl， yl)、局部最大值2(x2， y2)和局部最大值3(x3, y3)滿(mǎn)足條件表達(dá)式(4)和條件表達(dá)式(5)或(6)時(shí)，特征識(shí)別引擎130 進(jìn)一步判斷局部最大值l (xl, yl)是否滿(mǎn)足下面的條件表達(dá)式(7)。
局部最大值l (xl， yl)〈邊緣參考值…(7)
當(dāng)局部最大值1 (xl, yl)滿(mǎn)足條件表達(dá)式(7)時(shí)，特征識(shí)別引擎130 才姿一遞增變量Nlargeblur的值。
假定滿(mǎn)足條件表達(dá)式(4)、條件表達(dá)式(5)或(6)和條件表達(dá)式(7) 的邊緣點(diǎn)為構(gòu)成來(lái)自具有確定等級(jí)或更高等級(jí)的強(qiáng)度的、在其中引起模糊并 且摜失清晰度的邊緣和圖8B或8D的結(jié)構(gòu)的邊緣點(diǎn)。換句話(huà)說(shuō)，假定在邊緣 點(diǎn)引起模糊。
特征識(shí)別引擎130重復(fù)以上處理直到從被攝體區(qū)域提取的所有邊緣點(diǎn)都 是焦點(diǎn)像素為止。通過(guò)該處理，從提取的邊緣點(diǎn)獲得Nedge邊緣點(diǎn)數(shù)量Nedge、 邊緣點(diǎn)數(shù)量Nsmallblur和邊緣點(diǎn)數(shù)量Nlargeblur。
這里，數(shù)量Ndege是滿(mǎn)足條件表達(dá)式(5 )的邊緣點(diǎn)數(shù)量，而數(shù)量Nsmallblur 是滿(mǎn)足條件表達(dá)式(4 )和條件表達(dá)式(5 )或(6 )的邊緣點(diǎn)數(shù)量。數(shù)量Nlargeblur 是滿(mǎn)足條件表達(dá)式(4)、條件表達(dá)式(5)或(6)以及條件表達(dá)式(7)的 邊緣點(diǎn)數(shù)量。
隨后，特征識(shí)別引擎130使用所算出的數(shù)量Nsmallblur和數(shù)量Nlargeblur 并且計(jì)算條件表達(dá)式(8)來(lái)計(jì)算成為被攝體區(qū)域的模糊度的指標(biāo)(indicator) 的區(qū)域模糊指數(shù)(步驟89 )。
區(qū)域模糊指數(shù)二Nlargeblur/Nsmallblur…(8 )
這就是說(shuō)，區(qū)域模糊指數(shù)是被假定為構(gòu)成引起模糊的邊緣的邊緣點(diǎn)，與 被假定為構(gòu)成具有確定等級(jí)或更高等級(jí)的強(qiáng)度和圖8B或8D的結(jié)構(gòu)的邊緣的 邊緣點(diǎn)的比率。因而，假定隨著區(qū)域模糊指數(shù)越來(lái)越高，被攝體區(qū)域的模糊 度越來(lái)越大，并且隨著區(qū)域模糊指數(shù)越來(lái)越小，被攝體區(qū)域的模糊度越來(lái)越小。將區(qū)域模糊指數(shù)計(jì)算為例如在o到iooo變化的一個(gè)值。
特征識(shí)別引擎130輸出所算出的區(qū)域模糊指數(shù)到特征識(shí)別插件，并且終 止模糊識(shí)別處理。
(元數(shù)據(jù)分析部件的圖像模糊指數(shù)的計(jì)算處理)
接下來(lái)，元數(shù)據(jù)分析部分21的特征識(shí)別插件基于從特征識(shí)別引擎130獲 取的被攝體區(qū)域的區(qū)域模糊指數(shù)，計(jì)算整個(gè)圖像的圖像模糊指數(shù)(圖3的步 驟38)。圖9是詳細(xì)示出圖像模糊指數(shù)的計(jì)算處理的流程的流程圖。
如圖9所示，特征識(shí)別插件從特征識(shí)別引擎130獲取單個(gè)素材圖像中的 被攝體區(qū)域的區(qū)域模糊指數(shù)(步驟91 )，然后判斷是否已經(jīng)獲取了有效的模 糊識(shí)別結(jié)果(步驟92)。
在沒(méi)有獲取有效地模糊識(shí)別結(jié)果的情況下(否)，特征識(shí)別插件設(shè)置圖 像模糊指數(shù)為無(wú)效值"-l"(步驟97)。這里，還沒(méi)有獲取有效的模糊識(shí)別 結(jié)果的情況指的是從特征識(shí)別引擎130獲取的區(qū)域模糊指數(shù)是異常值的情 況，或在如圖6中的步驟64的情況(否)所示，首先未將矩形區(qū)域提供給特 征識(shí)別引擎130。圖像模糊指數(shù)登記在元數(shù)據(jù)累積部件22中。
在已經(jīng)獲取有效模糊識(shí)別結(jié)果的情況下(是)，特征識(shí)別插件判斷是否 已經(jīng)從一個(gè)素材圖像的多個(gè)被攝體區(qū)域獲取了有效的模糊識(shí)別結(jié)果(步驟 92)。
在已經(jīng)從一個(gè)素材圖像的僅一個(gè)被攝體區(qū)域獲取了有效模糊識(shí)別結(jié)果的 情況下(否)，特征識(shí)別插件設(shè)置所獲取的區(qū)域模糊指數(shù)作為圖像模糊指數(shù) (步驟98)。在這種情況下，雖然圖像模糊指數(shù)被計(jì)算為從O到100變化的 值，但由特征識(shí)別引擎130所算出的區(qū)域模糊指數(shù)從O到1000變化。因此， 特征識(shí)別插件將通過(guò)把區(qū)域模糊指數(shù)除以10得到的值設(shè)置為圖像模糊指數(shù)。 這種圖像模糊指數(shù)也被登記在元數(shù)據(jù)部件22中。
在已經(jīng)從一個(gè)素材圖像的多個(gè)被攝體區(qū)域獲取了有效模糊識(shí)別結(jié)果的情 況下(是)，特征識(shí)別插件判斷來(lái)自被攝體區(qū)域的模糊識(shí)別結(jié)果是否是從面 部區(qū)域或特征區(qū)域獲取的(步驟94)。
在已經(jīng)從多個(gè)面部區(qū)域獲取了模糊識(shí)別結(jié)果的情況下(是)，特征識(shí)別 插件與面部區(qū)域的尺寸成比例地對(duì)面部區(qū)域的區(qū)域模糊指數(shù)執(zhí)行加權(quán)平均。
作為結(jié)果，計(jì)算關(guān)于作為區(qū)域模糊指數(shù)的計(jì)算源的一個(gè)素材圖像的一個(gè)圖像 模糊指數(shù)(步驟95 )。在已經(jīng)從多個(gè)特征區(qū)域獲取模糊識(shí)別結(jié)果的情況下(否)，特征識(shí)別插件與特征區(qū)域的尺寸和其特征識(shí)別得分成比例地對(duì)特征區(qū)域的區(qū)域模糊指數(shù)執(zhí)行加權(quán)平均。作為結(jié)果，計(jì)算關(guān)于作為特征識(shí)別得分的計(jì)算源的一個(gè)素材
圖像的一個(gè)圖像模糊指數(shù)(步驟96)。
圖10是示出在上述步驟96和96中計(jì)算的圖像模糊指數(shù)的計(jì)算公式的筒圖。
如圖10所示，通過(guò)使用被攝體區(qū)域n的尺寸(Sn )和被攝體區(qū)域n的識(shí)別得分(Dn)作為權(quán)重，對(duì)一個(gè)素材圖像中的被攝體區(qū)域n的區(qū)域模糊指數(shù)(Bn)執(zhí)行加權(quán)求和，并且求和結(jié)果除以權(quán)重的總和，來(lái)計(jì)算圖像模糊指數(shù)。當(dāng)被攝體區(qū)域是特征區(qū)域時(shí)，Dn是特征區(qū)域的區(qū)域模糊指數(shù)。當(dāng)被攝體區(qū)域使面部區(qū)域時(shí)，Dn固定為l。也就是說(shuō)，當(dāng)被攝體區(qū)域是面部區(qū)域時(shí)，不執(zhí)行與面部識(shí)別得分成比例的加權(quán)。這里，n是用于標(biāo)識(shí)從一個(gè)素材圖像中識(shí)別的多個(gè)被攝體區(qū)域的值。應(yīng)當(dāng)注意的是，因?yàn)槿缟纤?，從表示在值?到IOOO的范圍的區(qū)域模糊指數(shù)中所算出的圖像模糊指數(shù)被表達(dá)在從O到100的范圍內(nèi)，因此在這個(gè)計(jì)算公式中，分母被乘以10。
因?yàn)橐话阏J(rèn)為，隨著每個(gè)被攝體區(qū)域的尺寸越大，被攝體區(qū)域越有可能吸引觀眾的注意，因此與各個(gè)被攝體區(qū)域的尺寸成比例地執(zhí)行加權(quán)。另外，關(guān)于面部區(qū)域，不與面部識(shí)別得分成比例地執(zhí)行加權(quán)。這是因?yàn)?，通常認(rèn)為，當(dāng)識(shí)別到被攝體是面部時(shí)，觀眾有很大可能無(wú)條件地盯著面部區(qū)域，而不管面部區(qū)域的識(shí)別得分(特征量)如何。另一方面，關(guān)于特征區(qū)域，因?yàn)樘卣髯R(shí)別插件可能很難識(shí)別特征區(qū)域的被攝體是什么以及該被攝體是否易于吸引注意，所以在計(jì)算圖像模糊指數(shù)時(shí)與特征識(shí)別得分成比例地執(zhí)行加權(quán)。
圖像識(shí)別指數(shù)的計(jì)算處理在素材圖像被裝入(take in) PC 100的存儲(chǔ)部件8中時(shí)開(kāi)始。在元數(shù)據(jù)累積部件22中與素材圖像關(guān)聯(lián)地登記所算出的圖像模糊指數(shù)。在下述的模糊圖像分揀處理中，基于已經(jīng)所算出的圖像模糊指數(shù)執(zhí)行模糊圖像的分揀。
(模糊圖像分揀處理)
接下來(lái)，將描述基于如上述所算出的圖像模糊指數(shù)的模糊圖像分揀處理。
圖11是示出模糊圖像分揀部件23和圖像顯示部件24的處理的流程的流程圖。 .
如圖ll所示，圖像顯示部件24顯示素材選擇屏幕，其用于使得用戶(hù)在由電影創(chuàng)作應(yīng)用20執(zhí)行的電影創(chuàng)作步驟的開(kāi)始選擇電影的素材(步驟101 )。圖12A和12B是示出素材選擇屏幕的簡(jiǎn)圖。如圖12A和12B所示，素材選擇屏幕110包括模糊圖像分揀按鈕111,其用于僅僅分揀和顯示來(lái)自在存儲(chǔ)部件8中存儲(chǔ)并且可以成為用于電影的素材的多個(gè)靜止圖像的模糊圖像。素材選擇屏幕110還包括人圖像分揀按鈕112、微笑圖像分揀按鈕113、聲音圖像分揀按鈕114、語(yǔ)音圖像分揀按鈕115、運(yùn)動(dòng)圖像分揀按鈕116和靜止圖像分揀按鈕117。人圖像分揀按鈕112是用于按圖像內(nèi)的人的數(shù)量，僅僅分揀并顯示有人在其內(nèi)的靜止圖像的按鈕。微笑圖像分揀按鈕113是用于僅僅分揀并顯示有人的微笑在其內(nèi)的靜止圖像的按鈕。聲音圖像分揀按鈕114是用于僅僅分揀并且顯示包括除人語(yǔ)音以外的聲音的運(yùn)動(dòng)圖像的按鈕。語(yǔ)音圖像分揀按鈕115是用于僅僅分揀并且顯示包括人的語(yǔ)音的運(yùn)動(dòng)圖像的按鈕。運(yùn)動(dòng)圖像分揀按鈕116和靜止圖像分揀按4丑117是用于僅僅分揀并且顯示來(lái)自多個(gè)素材(運(yùn)動(dòng)圖像和靜止圖像)中的運(yùn)動(dòng)圖像或靜止圖像的按鈕。圖12A示出了由靜止圖像分揀按鈕117顯示僅僅靜止圖像118的列表的情況。在顯示的多個(gè)靜止圖像118中，靜止圖像118a和118b是模糊圖像。
返回圖11，模糊圖像分揀部件23判斷用戶(hù)是否按下模糊圖像分揀按鈕111 (步驟102)。當(dāng)判斷已經(jīng)按下了模糊圖像分揀按鈕lll時(shí)(是)，模糊圖像分揀部件23從元數(shù)據(jù)累積部件22獲取每一個(gè)靜止圖像的上述圖像模糊指數(shù)(步驟103 )。
隨后，模糊圖像分揀部件23關(guān)于多個(gè)靜止圖像一個(gè)一個(gè)地判斷所獲取的圖像模糊指數(shù)是否等于或大于預(yù)定閾值(步驟104)。例如，預(yù)定閾值是60，但不僅限于此。
當(dāng)靜止圖像的圖像模糊指數(shù)小于閾值時(shí)(否)，模糊圖像分揀部件23對(duì)下一個(gè)靜止圖像執(zhí)行判斷。
當(dāng)靜止圖像的圖像模糊指數(shù)等于或大于閾值(是)，模糊圖像分揀部件23分揀靜止圖像作為模糊圖像，并且指令圖像顯示部件24僅顯示分揀出的模糊圖像(步驟105)。
然后，按照來(lái)自模糊圖像分揀部件23的指令，圖像顯示部件24切換顯示以?xún)H顯示從到目前為止已經(jīng)顯示的多個(gè)靜止圖像中的模糊圖像(步驟106)。
圖12B示出由正在按下模糊圖像分揀按鈕111僅僅分揀出模糊圖像的情形。如圖12B所示，在圖12A所示的靜止圖像118中，僅僅分揀并顯示模糊圖像118a和118b。
用戶(hù)可以通過(guò)刪除它們或在不同于其他靜止圖像的存儲(chǔ)區(qū)域存儲(chǔ)它們，來(lái)從用于電影的素材中移除已經(jīng)分揀出并顯示了的模糊圖像118 a和118b 。也就是說(shuō)，用戶(hù)可以?xún)H通過(guò)在素材選擇屏幕110上按下模糊圖像分揀按鈕111，立即抓取不需要的模糊圖像。(總結(jié))
如上所述，在本實(shí)施方式中，PC 100可以基于素材圖像內(nèi)的一個(gè)或多個(gè)被攝體區(qū)域(面部區(qū)域或特征區(qū)域)的一個(gè)區(qū)域模糊指數(shù)或多個(gè)區(qū)域模糊指數(shù)，為一個(gè)素材圖像計(jì)算一個(gè)圖像模糊指數(shù)。在從素材圖像內(nèi)的多個(gè)被攝體區(qū)域計(jì)算有效區(qū)域模糊指數(shù)的情況下，將各個(gè)區(qū)域模糊指數(shù)與被攝體區(qū)域的尺寸(和識(shí)別得分)成比例地經(jīng)歷加權(quán)平均，從而計(jì)算圖像模糊指數(shù)。然后，當(dāng)在素材選擇屏幕110上按下模糊圖像分揀按鈕111時(shí)，基于圖像模糊指數(shù)僅分揀并顯示模糊圖像。從而，利用可以更精確地分揀出模糊圖像的結(jié)果，PC 100區(qū)分在更可能吸引觀眾的注意的素材圖像中的被攝體區(qū)域，另外
還處理被攝體區(qū)域以使得當(dāng)更吸引注意的被攝體區(qū)域變得更模糊時(shí)，整個(gè)圖像的模糊指數(shù)變的更高。(變型)
本發(fā)明不僅限于上述實(shí)施方式，可以做出各種變型，而不偏離本發(fā)明的主旨。
在上述的實(shí)施方式中，當(dāng)在素材選擇屏幕110上按下模糊圖像分揀按鈕
111，并分揀出并在其上顯示模糊圖像時(shí)，用戶(hù)適當(dāng)?shù)刈龀龈鞣N處理，如刪除。
然而，當(dāng)素材圖像被裝入PC 100中時(shí)，電影創(chuàng)作應(yīng)用20可以執(zhí)行圖像模糊指數(shù)計(jì)算處理和模糊圖像的分揀處理，并且自動(dòng)刪除模糊圖像。此外，在這種情況下，電影創(chuàng)作應(yīng)用20可以為用戶(hù)顯示確認(rèn)信息，例如，"裝入的圖像包括模糊圖像。刪除模糊圖像？"，并且依照用戶(hù)的指令刪除模糊圖像。當(dāng)裝入素材圖像時(shí)，電影創(chuàng)作應(yīng)用20可以執(zhí)行模糊圖像的分揀處理，并且關(guān)于模糊圖像，停止提取它們到PC 100中。同樣在這個(gè)情況下，可以顯示用戶(hù)用于確認(rèn)停止裝入模糊圖像的信息。此外，電影創(chuàng)作應(yīng)用20可以有規(guī)律地執(zhí)行模糊圖像的分揀處理，例如， 一天一次或一周一次，而不是在裝入素材圖像的時(shí)間，并且依照用戶(hù)的指令自動(dòng)地刪除模糊圖像。
在上述實(shí)施方式中，特征識(shí)別引擎130通過(guò)產(chǎn)生顯著映像從圖像中提取特征區(qū)域。然而，特征區(qū)域的提取不僅限于使用顯著映像的情況。例如，可以將在以所謂黃金分割的比率劃分圖像的線(xiàn)上存在的對(duì)象檢測(cè)為被攝體。
在上述實(shí)施方式中，特征識(shí)別引擎130基于亮度映像、色彩映像和邊緣
映像產(chǎn)生顯著映像。然而，顯著映像也可以基于關(guān)于其他特征的映像，例如，從連續(xù)圖像的運(yùn)動(dòng)矢量上的特征產(chǎn)生的運(yùn)動(dòng)矢量映像來(lái)產(chǎn)生。
在上述實(shí)施方式中，電影創(chuàng)作應(yīng)用20從多個(gè)靜止圖像執(zhí)行模糊圖像分揀。然而，電影創(chuàng)作應(yīng)用20也可以通過(guò)相似的方式從多個(gè)運(yùn)動(dòng)圖像中分揀模糊圖像。在這種情況下，電影創(chuàng)作應(yīng)用20可以通過(guò)將構(gòu)成多個(gè)運(yùn)動(dòng)圖像的幀處理成上述靜止圖像，來(lái)分揀出包含模糊圖像的視頻作為模糊視頻。在這種情況下，在所有幀中，可以分揀出包括預(yù)定幀比率或更高的模糊圖像的運(yùn)動(dòng)圖像作為模糊圖像。
在上述實(shí)施方式中，已經(jīng)描述了模糊圖像分揀功能作為電影創(chuàng)作應(yīng)用的功能。然而，除電影創(chuàng)作應(yīng)用外的應(yīng)用可能包括上述模糊圖像分揀功能，或者僅具有模糊圖像分揀功能的通用應(yīng)用可以獨(dú)立存在。在這種情況下，面部識(shí)別引擎120和特征識(shí)別引擎130可以作為與具有模糊圖像分揀功能的應(yīng)用相分離的外部引擎存在，或者可以作為內(nèi)部引擎存在。
在上述實(shí)施方式中，對(duì)存儲(chǔ)在作為PC 100的局部存儲(chǔ)部件的存儲(chǔ)部件8中的靜止圖像執(zhí)行模糊圖像分揀。然而，PC IOO可以對(duì)存儲(chǔ)在經(jīng)由通信部件9連接的網(wǎng)絡(luò)上的存儲(chǔ)部件中的靜止圖像執(zhí)行模糊圖像分揀處理。
在上述實(shí)施方式中，由軟件執(zhí)行在模糊圖像分揀處理中的各個(gè)處理。然而，包括面部識(shí)別處理、特征識(shí)別處理、模糊識(shí)別處理和模糊圖像分揀處理在內(nèi)的各個(gè)處理可以由各種硬件(諸如實(shí)現(xiàn)那些處理的電路板)執(zhí)行。
在上述實(shí)施方式中，PC作為電子設(shè)備的示范。然而，本發(fā)明可以以相同方式，應(yīng)用于其他電子設(shè)備，包括電視設(shè)備、使用記錄介質(zhì)(如HDD (硬盤(pán)驅(qū)動(dòng)器)、DVD和BD(藍(lán)光盤(pán)))的記錄/再現(xiàn)設(shè)備、數(shù)字照相機(jī)、數(shù)字錄像機(jī)、便攜式AV設(shè)備、便攜式電話(huà)以及游戲設(shè)備。
本申請(qǐng)包含涉及于2008年9月24在日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP 2008-244816中公開(kāi)的主題的主題，該優(yōu)先權(quán)專(zhuān)利申請(qǐng)的完整內(nèi)容通過(guò)引用合并在這里。
本領(lǐng)域普通技術(shù)人員應(yīng)該理解，在所附權(quán)利要求書(shū)或其等同物的范圍內(nèi)，依據(jù)迄今的設(shè)計(jì)要求和其他因素可以呈現(xiàn)各種變型、組合、部件組合和變更。
權(quán)利要求
1、一種電子設(shè)備，包括提取裝置，用于從圖像中提取在圖像中具有預(yù)定特征的被攝體區(qū)域；第一計(jì)算裝置，用于計(jì)算指示所提取的被攝體區(qū)域的模糊度的第一模糊度；第二計(jì)算裝置，用于當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，而當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均獲得的值，計(jì)算第二模糊度；以及分揀裝置，用于從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
2、 如權(quán)利要求1所述的電子設(shè)備，還包括優(yōu)化裝置，用于優(yōu)化所提取的被攝體區(qū)域，以使所提取的被攝體區(qū)域?qū)?具有足夠第一模糊度的計(jì)算的預(yù)定大小。
3、 如權(quán)利要求2所述的電子設(shè)備，其中，該提取裝置計(jì)算得分，其指示被攝體區(qū)域的提取的確定性，以及 其中，當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)， 該第二計(jì)算裝置基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸和所算出的得分對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均而獲得的值，計(jì)算第二模糊度。
4、 如權(quán)利要求3所述的電子設(shè)備， 其中，該提取裝置包括面部識(shí)別裝置，用于識(shí)別人臉的面部區(qū)域作為被攝體區(qū)域，并且計(jì) 算指示識(shí)別出的面部區(qū)域的得分的第一得分，和特征識(shí)別裝置，用于識(shí)別視覺(jué)上顯著的特征區(qū)域作為被攝體區(qū)域， 并且計(jì)算指示識(shí)別出的特征區(qū)域的得分的第二得分，以及其中，在從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)的情 況下，當(dāng)面部區(qū)域被面部識(shí)別裝置識(shí)別為被攝體區(qū)域時(shí)，該第二計(jì)算裝置在 加權(quán)平均中不使用第 一得分來(lái)計(jì)算第二模糊度，而當(dāng)特征區(qū)域被特征識(shí)別裝 置識(shí)別為被攝體區(qū)域時(shí)，第二計(jì)算裝置在加權(quán)平均中使用第二得分來(lái)計(jì)算第二才莫糊度。
5、 如權(quán)利要求2所述的電子設(shè)備，其中，當(dāng)沒(méi)有提取到被攝體區(qū)域時(shí)，該第一計(jì)算裝置用整個(gè)圖像作為被 攝體區(qū)域來(lái)計(jì)算第 一模糊度。
6、 如權(quán)利要求2所述的電子設(shè)備，還包括 操作接收裝置，用于接收用戶(hù)的操作；以及 顯示裝置，用于顯示多個(gè)圖像，其中，分揀裝置依照用戶(hù)的預(yù)定操作分揀出模糊圖像，以及 其中，當(dāng)接收到預(yù)定操作時(shí)，顯示裝置僅顯示該多個(gè)顯示圖像中被分揀 出的才莫糊圖^象。
7、 一種模糊圖像分揀方法，包括從圖像中提取在圖像中具有預(yù)定特征的被攝體區(qū)域；計(jì)算指示所提取的被攝體區(qū)域的模糊度的第 一模糊度；當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，而當(dāng)從其計(jì)算第一模糊 度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的 尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均獲得的值，計(jì)算第二模糊度；以及從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖 像作為模糊圖像。
8、 一種模糊圖像分揀方法，包括優(yōu)化具有預(yù)定特征的被攝體區(qū)域，其從圖像中被提取以使該被攝體區(qū)域 具有預(yù)定大小；獲取從經(jīng)優(yōu)化的被攝體區(qū)域中算出并且指示被攝體區(qū)域的模糊度的第一 模糊度；當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第 一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，而當(dāng)從其計(jì)算第一模糊 度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的 尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均獲得的值，計(jì)算第二模糊度；以及從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
9、 一種使電子設(shè)備執(zhí)行以下步驟的程序，這些步驟包括從圖像中提取在圖像中具有預(yù)定特征的被攝體區(qū)域； 計(jì)算指示所提取的被攝體區(qū)域的模糊度的第 一模糊度； 當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第 一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，而當(dāng)從其計(jì)算第一模糊 度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的 尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均獲得的值，計(jì)算第二模糊度；以及從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
10、 一種使電子設(shè)備執(zhí)行以下步驟的程序，這些步驟包括優(yōu)化具有預(yù)定特征的被攝體區(qū)域，其從圖像中被提取以使該被攝體區(qū)域 具有預(yù)定大?。猾@取從經(jīng)優(yōu)化的被攝體區(qū)域中算出并且指示被攝體區(qū)域的模糊度的第一 模糊度；當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，而當(dāng)從其計(jì)算第一模糊 度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的 尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均獲得的值，計(jì)算第二模糊度；以及 從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
11、 一種電子設(shè)備，包括提取部件，用于從圖像中提取在圖像中具有預(yù)定特征的被攝體區(qū)域； 第一計(jì)算部件，用于計(jì)算指示所提取的被攝體區(qū)域的模糊度的第一模糊度；第二計(jì)算部件，用于當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，而 當(dāng)從其計(jì)算第 一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第 一模糊度執(zhí)行加權(quán)平均獲得的值，計(jì)算第二模糊度；以及分揀部件，用于從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的 第二模糊度的圖像作為模糊圖像。
全文摘要
提供電子設(shè)備以及模糊圖像分揀方法。該電子設(shè)備包括提取部件，用于從圖像中提取在圖像中具有預(yù)定特征的被攝體區(qū)域；第一計(jì)算部件，用于計(jì)算指示所提取的被攝體區(qū)域的模糊度的第一模糊度；第二計(jì)算部件，用于當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是一個(gè)時(shí)，基于第一模糊度計(jì)算指示整個(gè)圖像的模糊度的第二模糊度，而當(dāng)從其計(jì)算第一模糊度的圖像中的被攝體區(qū)域的個(gè)數(shù)是多個(gè)時(shí)，基于通過(guò)依照多個(gè)被攝體區(qū)域的尺寸對(duì)多個(gè)第一模糊度執(zhí)行加權(quán)平均獲得的值，計(jì)算第二模糊度；以及分揀部件，用于從多個(gè)圖像中分揀具有等于或大于預(yù)定閾值的所算出的第二模糊度的圖像作為模糊圖像。
文檔編號(hào)G06F17/30GK101685542SQ20091017865
公開(kāi)日2010年3月31日 申請(qǐng)日期2009年9月24日 優(yōu)先權(quán)日2008年9月24日
發(fā)明者保坂尚, 奧村光男, 成瀬國(guó)一郎, 木村光佑, 豬狩一真, 番場(chǎng)定道, 秋山由希子, 菊池章, 鹿島秀文 申請(qǐng)人:索尼株式會(huì)社