圖像處理裝置以及圖像處理方法
圖像處理裝置以及圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理裝置以及圖像處理方法。幀存儲(chǔ)器存儲(chǔ)拍攝得到的多個(gè)圖像。圖像選擇部從幀存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像，從多個(gè)圖像中的拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像。合成處理部對(duì)由圖像選擇部選擇的基準(zhǔn)圖像合成由圖像選擇部選擇的合成對(duì)象圖像而生成合成圖像。
【專利說明】圖像處理裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理裝置、圖像處理方法以及程序。
【背景技術(shù)】
[0002]以往，已知以下方法:在合成多個(gè)圖像而去除時(shí)間方向的噪聲的處理中，在幀存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中設(shè)定拍攝時(shí)間最早的圖像作為基準(zhǔn)圖像，僅使用該基準(zhǔn)圖像的拍攝時(shí)間之后的圖像進(jìn)行合成；將拍攝時(shí)間最晚的圖像設(shè)定為基準(zhǔn)圖像，僅使用該基準(zhǔn)圖像的拍攝時(shí)間之前的圖像進(jìn)行合成(例如，參照日本特開2012-186593號(hào)公報(bào))。
[0003]然而，在專利文獻(xiàn)I所記載的技術(shù)中，針對(duì)基準(zhǔn)圖像僅使用在時(shí)間上在之前拍攝到的圖像或者在之后拍攝到的圖像。因此，在時(shí)間上接近基準(zhǔn)圖像的圖像中存在不能使用的圖像。因而，有時(shí)適合于合成的圖像少而無(wú)法得到所需的合成個(gè)數(shù)(所需的噪聲降低效果)。另外，用于得到所需合成個(gè)數(shù)的圖像所需的處理時(shí)間有可能增加。
【發(fā)明內(nèi)容】
[0004]本發(fā)明是鑒于上述問題而完成的，目的在于提供一種能夠使用更適合于合成的圖像來(lái)生成合成圖像的圖像處理裝置、圖像處理方法以及程序。
[0005]本發(fā)明的第一方式的圖像處理裝置，具備:存儲(chǔ)器，其存儲(chǔ)拍攝得到的多個(gè)圖像；圖像選擇部，其在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及合成處理部，其對(duì)由上述圖像選擇部選擇的上述基準(zhǔn)圖像合成由上述圖像選擇部選擇的上述合成對(duì)象圖像來(lái)生成合成圖像。
[0006]根據(jù)本發(fā)明的第二方式，也可以是在上述第一方式中，上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作上述合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
[0007]根據(jù)本發(fā)明的第三方式，也可以是在上述第二方式中，上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
[0008]根據(jù)本發(fā)明的第四方式，也可以是在上述第二方式中，上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
[0009]根據(jù)本發(fā)明的第五方式，也可以是在上述第二方式中，上述圖像處理裝置還具備運(yùn)動(dòng)量估計(jì)部，該運(yùn)動(dòng)量估計(jì)部估計(jì)上述圖像內(nèi)的被攝體的運(yùn)動(dòng)量，上述圖像選擇部根據(jù)由上述運(yùn)動(dòng)量估計(jì)部估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
[0010]根據(jù)本發(fā)明的第六方式，也可以是在上述第五方式中，上述運(yùn)動(dòng)量估計(jì)部通過比較多個(gè)圖像來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
[0011]根據(jù)本發(fā)明的第七方式，也可以是在上述第五方式中，上述運(yùn)動(dòng)量估計(jì)部通過對(duì)拍攝上述多個(gè)圖像的攝像元件的運(yùn)動(dòng)量進(jìn)行檢測(cè)，來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
[0012]根據(jù)本發(fā)明的第八方式，也可以是在上述第五方式中，上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述基準(zhǔn)圖像。
[0013]根據(jù)本發(fā)明的第九方式，也可以是在上述第五方式中，上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中，將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
[0014]根據(jù)本發(fā)明的第十方式，也可以是在上述第五方式中，上述圖像選擇部從圖像區(qū)間中選擇上述基準(zhǔn)圖像，該圖像區(qū)間由個(gè)數(shù)比上述存儲(chǔ)器內(nèi)存儲(chǔ)的圖像的個(gè)數(shù)少且按照拍攝時(shí)間順序連續(xù)的規(guī)定個(gè)數(shù)的圖像構(gòu)成，上述圖像區(qū)間是構(gòu)成上述圖像區(qū)間的多個(gè)圖像中的上述估計(jì)運(yùn)動(dòng)量的累加值最小的區(qū)間。
[0015]根據(jù)本發(fā)明的第十一方式，也可以是在上述第十方式中，上述圖像選擇部在構(gòu)成上述圖像區(qū)間的多個(gè)圖像中將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
[0016]根據(jù)本發(fā)明的第十二方式，也可以是在上述第五至上述第十一方式中的任一方式中，上述圖像選擇部將上述估計(jì)運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
[0017]根據(jù)本發(fā)明的第十三方式，也可以是在上述第二方式中，上述圖像選擇部在連續(xù)規(guī)定個(gè)數(shù)的圖像判斷為沒有用作上述合成對(duì)象圖像的情況下，結(jié)束上述合成對(duì)象圖像的判斷處理。
[0018]根據(jù)本發(fā)明的第十四方式，也可以是在上述第一至上述第十三方式中的任一方式中，還具備噪聲量估計(jì)部，該噪聲量估計(jì)部對(duì)上述存儲(chǔ)器內(nèi)存儲(chǔ)的上述多個(gè)圖像的噪聲量進(jìn)行估計(jì)，上述圖像選擇部根據(jù)由上述噪聲量估計(jì)部估計(jì)出的上述噪聲量來(lái)決定生成上述合成圖像所需的圖像的個(gè)數(shù)、即所需合成個(gè)數(shù)。
[0019]根據(jù)本發(fā)明的第十五方式，也可以是在上述第十四方式中，上述圖像選擇部對(duì)所選擇的基準(zhǔn)圖像的個(gè)數(shù)和所選擇的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)進(jìn)行計(jì)數(shù)，如果其計(jì)數(shù)結(jié)果達(dá)到上述所需合成個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
[0020]根據(jù)本發(fā)明的第十六方式，也可以是在上述第一至上述第十三方式中的任一方式中，上述圖像選擇部預(yù)先決定上述合成對(duì)象圖像的個(gè)數(shù)，判斷所選擇的上述合成對(duì)象圖像的個(gè)數(shù)是否達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，如果達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
[0021]根據(jù)本發(fā)明的第十七方式，也可以是在上述第五方式中，上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
[0022]本發(fā)明的第十八方式是一種圖像處理方法，對(duì)存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像進(jìn)行合成而生成合成圖像，該圖像處理方法包括以下步驟:基準(zhǔn)圖像選擇步驟，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像；合成對(duì)象圖像選擇步驟，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及合成處理步驟，通過對(duì)在上述基準(zhǔn)圖像選擇步驟中選擇出的基準(zhǔn)圖像合成在上述合成對(duì)象圖像選擇步驟中選擇出的上述合成對(duì)象圖像，來(lái)生成上述合成圖像。
[0023]根據(jù)本發(fā)明的第十九方式的圖像處理方法，也可以是在上述第十八方式中，在上述合成對(duì)象圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
[0024]根據(jù)本發(fā)明的第二十方式的圖像處理方法，也可以是在上述第十九方式中，在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
[0025]根據(jù)本發(fā)明的第二i^一方式的圖像處理方法，也可以是在上述第十九方式中，在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
[0026]根據(jù)本發(fā)明的第二十二方式，也可以是在上述第十九方式中，上述圖像處理方法還包括運(yùn)動(dòng)量估計(jì)步驟，在該運(yùn)動(dòng)量估計(jì)步驟中將其它圖像與本圖像進(jìn)行比較來(lái)估計(jì)上述本圖像內(nèi)的被攝體的運(yùn)動(dòng)量，在上述基準(zhǔn)圖像選擇步驟中，根據(jù)在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
[0027]根據(jù)本發(fā)明的第二十三方式，也可以是在上述第二十二方式中，在上述基準(zhǔn)圖像選擇步驟中，將在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)得到的運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
[0028]根據(jù)本發(fā)明的第二十四方式，也可以是在上述第二十二方式中，在上述合成對(duì)象圖像選擇步驟中，從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
[0029]本發(fā)明的第二十五方式是一種對(duì)存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像進(jìn)行合成而生成合成圖像的程序，該程序使計(jì)算機(jī)執(zhí)行以下步驟:基準(zhǔn)圖像選擇步驟，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像；合成對(duì)象圖像選擇步驟，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及合成處理步驟，通過對(duì)在上述基準(zhǔn)圖像選擇步驟中選擇出的基準(zhǔn)圖像合成在上述合成對(duì)象圖像選擇步驟中選擇出的上述合成對(duì)象圖像，來(lái)生成上述合成圖像。
[0030]根據(jù)上述各方式，在存儲(chǔ)器中存儲(chǔ)拍攝得到的多個(gè)圖像。另外，圖像選擇部在存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外成為合成基準(zhǔn)的基準(zhǔn)圖像，在多個(gè)圖像中從拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與該基準(zhǔn)圖像合成的合成對(duì)象圖像。另外，合成處理部對(duì)由圖像選擇部選擇出的基準(zhǔn)圖像合成由圖像選擇部選擇出的合成對(duì)象圖像來(lái)生成合成圖像。由此，能夠使用更適合于合成的圖像來(lái)生成合成圖像。
【專利附圖】
【附圖說明】
[0031]圖1是表示第一實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0032]圖2是表示第一實(shí)施方式中的幀存儲(chǔ)器所存儲(chǔ)的幀的例子的概要圖。
[0033]圖3是表示在第一實(shí)施方式中攝像元件拍攝圖像的定時(shí)與攝像元件的位置的關(guān)系的概要圖。
[0034]圖4A是表示以往公知的合成幀F(xiàn)。與幀F(xiàn)n而生成合成圖像時(shí)的處理過程的概要圖。
[0035]圖4B是表示以往公知的合成幀F(xiàn)tl與幀F(xiàn)n而生成合成圖像時(shí)的處理過程的概要圖。
[0036]圖4C是表示以往公知的合成Ftl與幀F(xiàn)n而生成合成圖像時(shí)的處理過程的概要圖。
[0037]圖5是表示在第一實(shí)施方式中將在時(shí)刻h拍攝得到的幀F(xiàn)tl設(shè)為基準(zhǔn)圖像的情況下的允許的攝像元件的運(yùn)動(dòng)量X的圖表。
[0038]圖6是表示在第一實(shí)施方式中將在時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2設(shè)為基準(zhǔn)圖像的情況下的允許的攝像元件的運(yùn)動(dòng)量X的圖表。
[0039]圖7是表示第一實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0040]圖8是表示第二實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0041]圖9是表示第二實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0042]圖10是表示第二實(shí)施方式的攝像元件的動(dòng)作的一例的概要圖。
[0043]圖11是表示第二實(shí)施方式中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0044]圖12是表示第二實(shí)施方式中的攝像元件的動(dòng)作的一例的概要圖。
[0045]圖13是表示第二實(shí)施方式中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0046]圖14是表示第三實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0047]圖15是表示第三實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0048]圖16是表示第四實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0049]圖17是表示第四實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0050]圖18是表示第四實(shí)施方式中的幀存儲(chǔ)器內(nèi)的各幀中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0051]圖19是表示第四實(shí)施方式中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0052]圖20是表示第四實(shí)施方式中的基準(zhǔn)圖像的選擇例的概要圖。
[0053]圖21是表示第五實(shí)施方式中的內(nèi)窺鏡裝置的結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0054](第一實(shí)施方式)
[0055]以下，參照【專利附圖】
].gif)
【附圖說明】本發(fā)明的第一實(shí)施方式。圖1是表示本實(shí)施方式中的圖像處理裝置10的結(jié)構(gòu)的框圖。在圖1中，圖像處理裝置10具備合成控制部11和幀存儲(chǔ)器(存儲(chǔ)器)12。合成控制部11具備圖像選擇部13和合成處理部14，生成合成圖像。幀存儲(chǔ)器12存儲(chǔ)所輸入的影像信號(hào)(拍攝得到的多個(gè)圖像)。影像信號(hào)例如為運(yùn)動(dòng)圖像，包含連續(xù)拍攝得到的幀。
[0056]當(dāng)被輸入合成指示時(shí)，圖像選擇部13從幀存儲(chǔ)器12所存儲(chǔ)的影像信號(hào)所包含的幀中選擇成為合成基準(zhǔn)的基準(zhǔn)圖像以及與基準(zhǔn)圖像合成的多個(gè)合成對(duì)象圖像。合成處理部14對(duì)由圖像選擇部13選擇的基準(zhǔn)圖像合成合成對(duì)象圖像，生成合成圖像。由合成處理部14生成的合成圖像是去除了基準(zhǔn)圖像的時(shí)間方向的噪聲的圖像。即，合成處理部14通過對(duì)基準(zhǔn)圖像合成合成對(duì)象圖像，來(lái)進(jìn)行基準(zhǔn)圖像的噪聲去除處理。
[0057]接著，說明幀存儲(chǔ)器12所存儲(chǔ)的幀的例子。圖2是表示本實(shí)施方式中的幀存儲(chǔ)器12所存儲(chǔ)的幀的例子的概要圖。在圖2中，幀存儲(chǔ)器12存儲(chǔ)有拍攝時(shí)間t不同的N個(gè)幀F(xiàn)0, F1, F2...Fm^1 , Fm, Fm+1...FN_2，F(xiàn)N_1，F(xiàn)N(N為自然數(shù)，M為0以上N以下的整數(shù))。另夕卜，在圖2中，從幀F(xiàn)tl至幀F(xiàn)n按順序進(jìn)行拍攝，幀F(xiàn)tl的拍攝時(shí)間最早，幀F(xiàn)n的拍攝時(shí)間最晚。例如，幀F(xiàn)tl的拍攝時(shí)間為V幀F(xiàn)1的拍攝時(shí)間tlt)其它幀F(xiàn)2?Fn的拍攝時(shí)間也同樣地為t2--ν。
[0058]接著，說明輸入到幀存儲(chǔ)器12的影像信號(hào)。例如，輸入到幀存儲(chǔ)器12的影像信號(hào)是由內(nèi)窺鏡裝置的前端部所具備的攝像元件拍攝到的影像信號(hào)。圖3是表示設(shè)置于內(nèi)窺鏡裝置的前端部的攝像元件104拍攝圖像的定時(shí)與攝像元件104的位置的關(guān)系的概要圖。在圖3中，攝像兀件104在從時(shí)刻t。至?xí)r刻tN的期間拍攝被攝體。而且，攝像兀件104在時(shí)刻h輸出幀F(xiàn)tl,在時(shí)刻Tn輸出幀F(xiàn)n (參照?qǐng)D2)。另外，在時(shí)刻h與時(shí)刻tN攝像元件104的位置不同。在圖3中，時(shí)刻tQ處的攝像元件104與時(shí)刻tN處的攝像元件104之間的、攝像元件104的運(yùn)動(dòng)量為Xn。
[0059]因而，在被攝體處于靜止的情況下，由于攝像元件104動(dòng)作，因此幀F(xiàn)。的被攝體的位置與幀F(xiàn)n的被攝體的位置不同。因而，在合成幀F(xiàn)tl與幀F(xiàn)n而生成合成圖像的情況下，需要在進(jìn)行對(duì)位使幀F(xiàn)tl的被攝體的位置與幀F(xiàn)n的被攝體的位置變?yōu)橄嗤恢弥筮M(jìn)行合成處理。
[0060]圖4A?圖4C是表示合成幀F(xiàn)。與幀F(xiàn)n而生成合成圖像時(shí)的現(xiàn)有處理過程的概要圖。在圖4A?圖4C中，將由圖3示出的攝像元件104輸出的幀F(xiàn)。設(shè)為基準(zhǔn)圖像，將幀F(xiàn)n設(shè)為合成對(duì)象圖像(關(guān)于幀，參照?qǐng)D2)。另外，作為被攝體，拍攝了“A”這種字符。另外，在幀F(xiàn)tl與幀F(xiàn)n中均包含噪聲。
[0061 ] 圖4A是表示將幀F(xiàn)tl與幀F(xiàn)n重疊所得到的圖像的概要圖。在拍攝幀F(xiàn)tl的時(shí)刻tQ與拍攝幀F(xiàn)n的時(shí)刻、攝像元件104的位置不同。因此，在圖4A中，幀F(xiàn)。中的被攝體“A” 401的位置與幀F(xiàn)n中的被攝體“A”402的位置相差運(yùn)動(dòng)量XN。將合成對(duì)象圖像(幀F(xiàn)n)中的被攝體“A”從基準(zhǔn)圖像(幀F(xiàn)tl)中的被攝體“A”偏移的量設(shè)為模糊量。
[0062]圖4B是表示使幀F(xiàn)n的被攝體“A”的位置與幀F(xiàn)tl的被攝體“A”的位置一致的狀態(tài)的、彼此的幀的概要圖。在合成處理部14中進(jìn)行使作為合成對(duì)象圖像的幀F(xiàn)n中的被攝體“A”402的位置與作為基準(zhǔn)圖像的幀F(xiàn)。中的被攝體“A”401的位置一致的處理。這樣，使幀F(xiàn)n的位置進(jìn)行移動(dòng)，因此在進(jìn)行被攝體的對(duì)位的情況下，產(chǎn)生幀F(xiàn)tl與幀F(xiàn)n重復(fù)的區(qū)域以及不重復(fù)的區(qū)域。
[0063]圖4C是表示對(duì)進(jìn)行了對(duì)位的幀F(xiàn)。與幀F(xiàn)n進(jìn)行加權(quán)平均而生成的合成圖像500的概要圖。合成圖像500的區(qū)域與作為基準(zhǔn)圖像的幀F(xiàn)。的區(qū)域相同。在圖4C中，幀F(xiàn)。與幀F(xiàn)n重復(fù)的區(qū)域的噪聲有所降低。然而，合成圖像500是通過對(duì)幀F(xiàn)tl與幀F(xiàn)n進(jìn)行加權(quán)平均而生成的，因此幀F(xiàn)tl與幀F(xiàn)n不重復(fù)的區(qū)域501的亮度變暗。
[0064]因而，根據(jù)所允許的區(qū)域501的大小來(lái)確定合成對(duì)象圖像的最大模糊量。例如在使所允許的區(qū)域501的大小大的情況下，在生成合成圖像500時(shí)能夠使用模糊量大的合成對(duì)象圖像，因此，能夠使用更多的圖像。因此，能夠提高噪聲去除效果，但是亮度不下降的有效圖像大小變小。另外，在使所允許的區(qū)域501的大小窄的情況下，在生成合成圖像500時(shí)無(wú)法使用模糊量大的合成對(duì)象圖像，因此能夠合成的圖像變少。因此，噪聲去除效果降低，但是不產(chǎn)生亮度下降的有效圖像的大小變大。鑒于這些來(lái)確定所允許的合成對(duì)象圖像的最大模糊量。當(dāng)攝像元件104的運(yùn)動(dòng)量Xn變大時(shí)，合成對(duì)象圖像的模糊量變大。因而，根據(jù)區(qū)域501的允許范圍來(lái)確定所允許的攝像元件104的運(yùn)動(dòng)量XN。
[0065]接著，說明基準(zhǔn)圖像、所允許的攝像元件104的每單位時(shí)間的運(yùn)動(dòng)量X、作為合成對(duì)象圖像而允許選擇的范圍的關(guān)系。
[0066]圖5是表示將幀存儲(chǔ)器12內(nèi)存儲(chǔ)的多個(gè)幀中拍攝時(shí)間最早的時(shí)刻h拍攝的幀F(xiàn)tl設(shè)定為基準(zhǔn)圖像的情況下的、所允許的攝像元件104的每單位時(shí)間的運(yùn)動(dòng)量X的圖表。圖5的圖表的縱軸為攝像元件104的每單位時(shí)間的運(yùn)動(dòng)量，如果多個(gè)幀的拍攝間隔固定，則也能夠視為每個(gè)幀間的運(yùn)動(dòng)量。此外，以下，僅稱為運(yùn)動(dòng)量X。另外，圖5的圖表的橫軸為時(shí)刻t。此外，攝像元件104進(jìn)行勻速直線運(yùn)動(dòng)。另外，將所允許的攝像元件104的運(yùn)動(dòng)量X設(shè)為Xa。
[0067]在圖5中，攝像元件104的運(yùn)動(dòng)量X在超過時(shí)刻tM的時(shí)間點(diǎn)超過運(yùn)動(dòng)量Xa。因而，在生成合成圖像500時(shí)能夠用作合成對(duì)象圖像的幀F(xiàn)為從時(shí)刻h至?xí)r刻tM為止拍攝得到的幀F(xiàn)tl?Fm(參照?qǐng)D2)。S卩，在將幀F(xiàn)tl設(shè)定為基準(zhǔn)圖像的情況下，在時(shí)刻tM之后拍攝得到的幀F(xiàn)m+1?Fn無(wú)法用作合成對(duì)象圖像。
[0068]圖6是表示本實(shí)施方式中將在時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2設(shè)定為基準(zhǔn)圖像的情況下的、所允許的攝像元件104的運(yùn)動(dòng)量X的圖表。圖6的圖表的縱軸、橫軸、所允許的攝像元件104的運(yùn)動(dòng)量Xa與圖5相同。
[0069]在本實(shí)施方式中，作為基準(zhǔn)圖像，從幀存儲(chǔ)器12內(nèi)在除了拍攝時(shí)間最早的拍攝時(shí)間h時(shí)拍攝得到的幀F(xiàn)tl以及在拍攝時(shí)間最晚的拍攝時(shí)間tN時(shí)拍攝得到的幀F(xiàn)n以外的其余的幀中進(jìn)行選擇。更具體地說，將在最接近幀F(xiàn)tl的拍攝時(shí)間與幀F(xiàn)n的拍攝時(shí)間的中間(正中間)的時(shí)刻的時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2選擇為基準(zhǔn)圖像。
[0070]在將在時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2設(shè)定為基準(zhǔn)圖像的情況下，基于拍攝基準(zhǔn)圖像的時(shí)刻tN/2的攝像元件104的位置和時(shí)刻h的攝像元件104的位置的運(yùn)動(dòng)量X不超過所允許的運(yùn)動(dòng)量Xa。另外，基于拍攝基準(zhǔn)圖像的時(shí)刻tN/2的攝像元件104的位置和時(shí)刻tN的攝像元件104的位置的運(yùn)動(dòng)量X也不超過所允許的運(yùn)動(dòng)量Xa。因而，在生成合成圖像500時(shí)，能夠?qū)⒆鳛榛鶞?zhǔn)圖像的幀F(xiàn)n/2之前的全部幀以及作為基準(zhǔn)圖像的幀F(xiàn)n/2之后的全部幀用作合成對(duì)象圖像。即，從時(shí)刻h至?xí)r刻tN為止拍攝得到的全部幀F(xiàn)tl?Fn能夠用作合成對(duì)象圖像。
[0071]這樣，通過從幀存儲(chǔ)器12所存儲(chǔ)的多個(gè)幀中將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間的時(shí)刻tN/2的時(shí)刻拍攝得到的幀F(xiàn)n72用作基準(zhǔn)圖像，能夠?qū)鎯?chǔ)器12所存儲(chǔ)的更多的幀用作合成對(duì)象圖像。通過對(duì)更多的幀進(jìn)行合成，能夠期望得到的高噪聲降低效果。特別是，在幀存儲(chǔ)器12內(nèi)，從比基準(zhǔn)圖像的拍攝時(shí)間早的拍攝時(shí)間的幀群以及比該基準(zhǔn)圖像的拍攝時(shí)間晚的拍攝時(shí)間的幀群兩者中選擇合成對(duì)象圖像，由此能夠?qū)⒏嗟膸米骱铣蓪?duì)象圖像。
[0072]在本實(shí)施方式中，將在最接近時(shí)刻tN/2的時(shí)刻拍攝得到的幀F(xiàn)n/2用作基準(zhǔn)圖像，但是并不限定于此，也可以從幀存儲(chǔ)器12內(nèi)在除了在拍攝時(shí)間最早的拍攝時(shí)間h拍攝得到的幀F(xiàn)tl以及在拍攝時(shí)間最晚的拍攝時(shí)間tN拍攝得到的幀F(xiàn)n以外的其余的幀中選擇基準(zhǔn)圖像。
[0073]接著，說明圖像處理裝置10生成合成圖像的過程。圖7是表示本實(shí)施方式中的圖像處理裝置10生成合成圖像的過程的流程圖。在本實(shí)施方式中，從外部對(duì)幀存儲(chǔ)器12逐個(gè)地輸入幀。
[0074](步驟S101)圖像處理裝置10將所輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器I2。之后，進(jìn)入到步驟S102的處理。
[0075](步驟S102)合成控制部11判斷是否接收到合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S103的處理，在除此以外的情況下，返回到步驟SlOl的處理。在以后的說明中，以在幀存儲(chǔ)器12中存儲(chǔ)有多個(gè)幀為前提進(jìn)行說明。
[0076](步驟S103)圖像選擇部13從圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中，首先從除了在拍攝時(shí)間最早的拍攝時(shí)間拍攝得到的幀以及在拍攝時(shí)間最晚的拍攝時(shí)間拍攝得到的幀以外的其余的幀的群中選擇基準(zhǔn)圖像。此外，在本實(shí)施方式中，將在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間時(shí)刻的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。之后，進(jìn)入到步驟S104的處理。
[0077](步驟S104)圖像選擇部13從作為基準(zhǔn)圖像而選擇的幀以外的多個(gè)幀中，作為參照?qǐng)D像而選擇最接近作為基準(zhǔn)圖像而選擇的幀的拍攝時(shí)間的一個(gè)幀。參照?qǐng)D像是作為選擇合成對(duì)象圖像時(shí)的合成對(duì)象圖像候選的圖像。之后，進(jìn)入到步驟S105的處理。此外，在經(jīng)由后述的步驟S106的處理而再次進(jìn)行步驟S104的處理的情況下，圖像選擇部13從尚未進(jìn)行步驟S105的判斷處理的幀中選擇最接近作為基準(zhǔn)圖像而選擇的幀的拍攝時(shí)間的一個(gè)幀。此外，對(duì)于基準(zhǔn)圖像，圖像選擇部13從拍攝時(shí)間早的幀和拍攝時(shí)間晚的幀兩者中依次選擇參照?qǐng)D像。
[0078](步驟S105)圖像選擇部13判斷是否能夠?qū)⒃诓襟ES104的處理中選擇的作為參照?qǐng)D像的幀用作合成對(duì)象圖像。圖像選擇部13將判斷為能夠用作合成對(duì)象圖像的幀設(shè)定為合成對(duì)象圖像。之后，進(jìn)入到步驟S106的處理。例如通過以下方法來(lái)進(jìn)行是否能夠?qū)⒂蓤D像選擇部13選擇的幀用作合成對(duì)象圖像的判斷。圖像選擇部13對(duì)基準(zhǔn)圖像中的被攝體與參照?qǐng)D像中的被攝體進(jìn)行對(duì)位。然后，圖像選擇部13計(jì)算參照?qǐng)D像的被攝體相對(duì)于基準(zhǔn)圖像的被攝體的模糊量。而且，在計(jì)算出的模糊量小于閾值的情況下，圖像選擇部13判斷為能夠?qū)⑺x擇的幀用作合成對(duì)象圖像。然后，圖像選擇部13將被判斷為能夠用作合成對(duì)象圖像的幀設(shè)定為合成對(duì)象圖像。另一方面，在計(jì)算出的模糊量為閾值以上的情況下，圖像選擇部13判斷為無(wú)法將所選擇的幀用作合成對(duì)象圖像。此外，例如根據(jù)圖4C示出的區(qū)域501的允許范圍來(lái)設(shè)定閾值。另外，閾值可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。
[0079](步驟S106)圖像選擇部13判斷是否對(duì)圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的幀中的除了作為基準(zhǔn)圖像而選擇的幀以外的全部幀進(jìn)行了步驟S105的判斷處理。在圖像選擇部13判斷為對(duì)除了作為基準(zhǔn)圖像而選擇的幀以外的全部幀進(jìn)行了步驟S105的處理的情況下，進(jìn)入到步驟S107的處理，在除此以外的情況下返回到步驟S104的處理。
[0080](步驟S107)合成處理部14對(duì)通過步驟S103的處理而選擇的基準(zhǔn)圖像合成通過步驟S105的處理而設(shè)定的全部合成對(duì)象圖像，生成合成圖像。之后，結(jié)束處理。
[0081]如上所述，在本實(shí)施方式中，圖像選擇部13從幀存儲(chǔ)器12所存儲(chǔ)的多個(gè)幀中，作為基準(zhǔn)圖像而選擇在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀。另外，圖像選擇部13能夠從拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前的幀群和之后的幀群兩者中選擇作為參照?qǐng)D像的幀。而且，圖像選擇部13將作為參照?qǐng)D像而選擇的幀中能夠用作合成對(duì)象圖像的幀設(shè)定為合成對(duì)象圖像。即，能夠從拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前的幀群和之后的幀群兩者中選擇作為合成對(duì)象圖像的幀。因此，根據(jù)本實(shí)施方式，能夠?qū)D像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的更多的幀用作合成對(duì)象圖像而生成合成圖像，因此能夠期望得到更高的噪聲降低效果。
[0082]此外，在本實(shí)施方式中，作為從幀存儲(chǔ)器12內(nèi)在除了在拍攝時(shí)間最早的拍攝時(shí)間h拍攝得到的幀F(xiàn)tl以及在拍攝時(shí)間最晚的拍攝時(shí)間tN拍攝得到的幀F(xiàn)n以外的其余的幀中選擇基準(zhǔn)圖像的優(yōu)選例，從幀存儲(chǔ)器12所存儲(chǔ)的多個(gè)幀中，作為基準(zhǔn)圖像而選擇在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀，但是并不限定于此。例如，也可以以使在設(shè)定為基準(zhǔn)圖像的幀的拍攝時(shí)間之前拍攝并存儲(chǔ)的幀的個(gè)數(shù)與在設(shè)定為基準(zhǔn)圖像的幀的拍攝時(shí)間之后拍攝并存儲(chǔ)的幀的個(gè)數(shù)最接近的方式、更優(yōu)選使其相同的方式，來(lái)選擇基準(zhǔn)圖像。
[0083]此外，在上述例子中，作為參照?qǐng)D像，圖像選擇部13選擇和設(shè)定幀存儲(chǔ)器12所存儲(chǔ)的全部幀(除了基準(zhǔn)圖像以外)，判斷是否能夠?qū)⒃搮⒄請(qǐng)D像全部用作合成對(duì)象圖像，但是并不限定于此。例如，還能夠預(yù)先決定合成對(duì)象圖像的個(gè)數(shù)。在該情況下，在步驟S106中，對(duì)設(shè)定為合成對(duì)象圖像的個(gè)數(shù)進(jìn)行計(jì)數(shù)，判斷其計(jì)數(shù)結(jié)果是否達(dá)到預(yù)先決定的合成對(duì)象圖像個(gè)數(shù)。而且，設(shè)為即使殘留尚未進(jìn)行是否用作合成對(duì)象圖像的判斷的參照?qǐng)D像、但是在設(shè)定為合成對(duì)象圖像的個(gè)數(shù)達(dá)到預(yù)先決定的個(gè)數(shù)的時(shí)間點(diǎn)進(jìn)入到步驟S107的處理即可。
[0084]另外，這樣，在預(yù)先決定合成對(duì)象圖像的個(gè)數(shù)的情況下，特別是，從拍攝時(shí)間接近基準(zhǔn)圖像的拍攝時(shí)間的幀中按順序選擇參照?qǐng)D像，在后級(jí)的合成處理的有效化方面是有用的。拍攝時(shí)間接近基準(zhǔn)圖像的拍攝時(shí)間的參照?qǐng)D像是相對(duì)于基準(zhǔn)圖像模糊量小的幀的可能性極高。因此所設(shè)定的合成對(duì)象圖像從與基準(zhǔn)圖像的模糊量小的幀中優(yōu)先設(shè)定的可能性提高。因此，在生成合成圖像時(shí)能夠?qū)崿F(xiàn)有效化。
[0085](第二實(shí)施方式)
[0086]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第二實(shí)施方式。在本實(shí)施方式中，根據(jù)由后述的運(yùn)動(dòng)量估計(jì)部21估計(jì)的被攝體的運(yùn)動(dòng)量來(lái)選定基準(zhǔn)圖像。
[0087]圖8是表示本實(shí)施方式中的圖像處理裝置20的結(jié)構(gòu)的框圖。在圖8中，圖像處理裝置20具備合成控制部11、幀存儲(chǔ)器12以及運(yùn)動(dòng)量估計(jì)部21。合成控制部11和幀存儲(chǔ)器12與第一實(shí)施方式中的各部相同。運(yùn)動(dòng)量估計(jì)部21估計(jì)被攝體的運(yùn)動(dòng)量X。此外，被攝體的運(yùn)動(dòng)量的估計(jì)方法存在幾個(gè)。例如，考慮以下方法:通過對(duì)新輸入的幀與該幀的前一幀輸入的幀的亮度值進(jìn)行比較來(lái)對(duì)新輸入的幀內(nèi)的被攝體的運(yùn)動(dòng)量進(jìn)行估計(jì)；以及在被攝體本身幾乎不動(dòng)作的環(huán)境中使用傳感器來(lái)檢測(cè)攝像元件104的運(yùn)動(dòng)量X，將檢測(cè)出的攝像元件的運(yùn)動(dòng)量X視為被攝體的運(yùn)動(dòng)量等，但是本實(shí)施方式中的運(yùn)動(dòng)量估計(jì)部21也可以采用任意的估計(jì)方法。
[0088]在此，以幀處理進(jìn)行了說明，但是在通過隔行掃描進(jìn)行處理的情況下，也可以使用根據(jù)新輸入的隔行掃描圖像和前一輸入的隔行掃描圖像進(jìn)行插值所得到的圖像來(lái)估計(jì)被攝體的運(yùn)動(dòng)量X。
[0089]以下，說明本實(shí)施方式中的合成圖像的生成過程。圖9是表示本實(shí)施方式中的圖像處理裝置20生成合成圖像的過程的流程圖。模糊量與上述實(shí)施方式的說明重復(fù)，因此省略詳細(xì)說明。
[0090](步驟S201)圖像處理裝置10將從外部逐個(gè)地輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器12。之后，進(jìn)入到步驟S202的處理。
[0091](步驟S202)運(yùn)動(dòng)量估計(jì)部21對(duì)拍攝通過步驟S201的處理而圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的幀時(shí)的被攝體的運(yùn)動(dòng)量X進(jìn)行估計(jì)。之后，進(jìn)入到步驟S203的處理。此夕卜，被攝體的運(yùn)動(dòng)量X例如能夠如上所述那樣，通過對(duì)通過步驟S201的處理而圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的幀與該幀的前一幀進(jìn)行比較來(lái)進(jìn)行估計(jì)。
[0092](步驟S203)圖像處理裝置10將通過步驟S202的處理而由運(yùn)動(dòng)量估計(jì)部21估計(jì)出的運(yùn)動(dòng)量X與通過步驟S201的處理而存儲(chǔ)的幀相關(guān)聯(lián)地存儲(chǔ)。之后，進(jìn)入到步驟S204的處理。
[0093](步驟S204)合成控制部11判斷是否接收到合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S205的處理，在除此以外的情況下，返回到步驟S201的處理。
[0094](步驟S205)圖像選擇部13從在被攝體的運(yùn)動(dòng)量X為作為閾值的規(guī)定的運(yùn)動(dòng)量Xa以下時(shí)拍攝得到的多個(gè)幀中選擇基準(zhǔn)圖像。在本實(shí)施方式中，圖像選擇部13首先在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以下時(shí)拍攝得到的多個(gè)幀中排除拍攝時(shí)間最早的幀F(xiàn)tl和拍攝時(shí)間最晚的幀F(xiàn)n。然后，圖像選擇部13從其余的多個(gè)幀中，將在被攝體的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀選擇為基準(zhǔn)圖像。在存在多個(gè)符合上述條件的幀的情況下，將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間(正中間)的時(shí)刻tN/2的時(shí)刻拍攝得到的幀用作基準(zhǔn)圖像。之后，進(jìn)入到步驟S206的處理。
[0095](步驟S206)圖像選擇部13從圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中選擇一個(gè)參照?qǐng)D像。詳細(xì)地說，圖像選擇部13首先排除作為基準(zhǔn)圖像而選擇的幀以及已經(jīng)進(jìn)行了步驟S207的處理的幀。然后，圖像選擇部13從其余幀中選擇最接近基準(zhǔn)圖像的拍攝時(shí)間的幀。然后，如果所選擇的該幀的估計(jì)運(yùn)動(dòng)量X小于后述的成為閾值的確認(rèn)的既定的規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將所選擇的該幀選擇為參照?qǐng)D像。也就是說，從估計(jì)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的幀群中選擇合成對(duì)象圖像。換言之，圖像選擇部13讀出與各幀相關(guān)聯(lián)地存儲(chǔ)的估計(jì)運(yùn)動(dòng)量X，將該估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀不選擇為參照?qǐng)D像、即合成對(duì)象圖像。通過該處理，能夠減輕后述的是否為合成對(duì)象圖像的判斷處理的負(fù)荷。之后，進(jìn)入到步驟S207的處理。
[0096](步驟S207)圖像選擇部13判斷是否能夠?qū)⑼ㄟ^步驟S206的處理而選擇的參照?qǐng)D像用作合成對(duì)象圖像。是否能夠用作合成對(duì)象圖像的判斷和合成對(duì)象圖像的設(shè)定處理與第一實(shí)施方式相同，因此省略說明。之后，進(jìn)入到步驟S208的處理。
[0097](步驟S208)圖像選擇部13判斷是否對(duì)圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中的除了作為基準(zhǔn)圖像而選擇的幀和估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀以外的全部幀進(jìn)行了步驟S207的處理。在圖像選擇部13判斷為對(duì)全部幀進(jìn)行了步驟S207的處理的情況下，進(jìn)入到步驟S208的處理，在除此以外的情況下返回到步驟S206的處理。
[0098](步驟S209)合成處理部14對(duì)所選擇的基準(zhǔn)圖像合成通過步驟S207的處理而設(shè)定的合成對(duì)象圖像，由此生成合成圖像。之后，結(jié)束處理。
[0099]在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的情況下,被攝體的模糊量超過允許值而進(jìn)行拍攝。因此，從合成處理的有效化的觀點(diǎn)出發(fā)，期望不將在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的幀使用于參照?qǐng)D像。也就是說，從合成處理的有效化的觀點(diǎn)出發(fā)，期望圖像處理裝置20僅使用在被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀來(lái)判斷是否用作合成對(duì)象圖像。進(jìn)一步換言之，圖像處理裝置20從在被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀中選擇合成對(duì)象圖像，因此從合成處理的有效化的觀點(diǎn)出發(fā)是期望的。
[0100]因此，在本實(shí)施方式中，不將在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的幀選擇為參照?qǐng)D像，由此減輕了是否為合成對(duì)象圖像的判斷處理的負(fù)荷。
[0101]此外，作為閾值的規(guī)定運(yùn)動(dòng)量Xa可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。例如，在快門速度快的情況下，即使攝像元件104的速度快，被攝體的運(yùn)動(dòng)量也小而不容易變模糊。另外，在快門速度慢的情況下，即使攝像元件104的速度慢，被攝體的運(yùn)動(dòng)量也變大而容易變模糊。因此，也可以在快門速度快的情況下，將規(guī)定運(yùn)動(dòng)量Xa設(shè)定為更慢的速度，在快門速度慢的情況下，將規(guī)定運(yùn)動(dòng)量Xa設(shè)定為更快的速度。這樣，根據(jù)拍攝幀時(shí)的快門速度不同而規(guī)定運(yùn)動(dòng)量Xa不同，因此也可以根據(jù)快門速度而變更規(guī)定運(yùn)動(dòng)量Xa。
[0102]為了促進(jìn)對(duì)本實(shí)施方式的理解，理解為被攝體的動(dòng)作原因在于攝像元件的動(dòng)作，使用以下參考例來(lái)說明根據(jù)攝像元件104的動(dòng)作方法如何應(yīng)用本實(shí)施方式。
[0103]首先,說明攝像元件104進(jìn)行有規(guī)則的振動(dòng)的參考例I。圖10是表示攝像元件104的動(dòng)作的一例的概要圖，圖11是表示在攝像元件104進(jìn)行圖10示出那樣的振動(dòng)運(yùn)動(dòng)的情況下的、拍攝各幀時(shí)的攝像元件104的運(yùn)動(dòng)量Xn與拍攝時(shí)間t的關(guān)系的圖表。在圖示的例子中，攝像元件104在時(shí)刻h?tN期間進(jìn)行有規(guī)則的振動(dòng)。
[0104]在圖11中，從時(shí)刻tQ至?xí)r刻tN為止攝像元件104的運(yùn)動(dòng)量X始終小于規(guī)定運(yùn)動(dòng)量X3O因而，圖像選擇部13判斷為能夠?qū)⒃趶臅r(shí)刻h至?xí)r刻tN為止拍攝得到的全部幀F(xiàn)。?Fn用作基準(zhǔn)圖像和參照?qǐng)D像。
[0105]接著，說明本參考例I中的基準(zhǔn)圖像的選擇方法。如圖9的步驟S205中說明那樣，圖像選擇部13首先在攝像元件104的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以下時(shí)拍攝得到的巾貞中排除拍攝時(shí)間最早的巾貞F0與拍攝時(shí)間最晚的巾貞Fn。然后，圖像選擇部13從其余的巾貞中選擇在攝像元件104的運(yùn)動(dòng)量最低時(shí)拍攝得到的幀F(xiàn)x與幀F(xiàn)z，將這些幀設(shè)定為基準(zhǔn)圖像的候選幀。
[0106]這樣，在存在多個(gè)符合基準(zhǔn)圖像的選定條件的幀的情況下，將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間(正中間)的時(shí)刻tN/2的時(shí)刻拍攝得到的幀用作基準(zhǔn)圖像。因而，在本參考例I中，圖像選擇部13將幀F(xiàn)z選擇為基準(zhǔn)圖像。而且，在從時(shí)刻h至?xí)r刻tN為止拍攝得到的全部幀F(xiàn)tl?Fn中排除基準(zhǔn)圖像(幀F(xiàn)z)后的幀群成為參照?qǐng)D像的候選。
[0107]接著說明參照?qǐng)D像的選擇方法。在本參考例I中，如圖11所示，成為參照?qǐng)D像的候選的全部幀均是在低于規(guī)定運(yùn)動(dòng)量Xa的運(yùn)動(dòng)量時(shí)拍攝的。因此，能夠?qū)⒊嘶鶞?zhǔn)圖像以外的幀存儲(chǔ)器12內(nèi)的全部幀選擇為參照?qǐng)D像。
[0108]接著,說明攝像元件104不規(guī)則地動(dòng)作的參考例2。圖12是表示攝像元件104的動(dòng)作的一例的概要圖，圖13是表示攝像元件104進(jìn)行了圖12示出那樣的不規(guī)則的運(yùn)動(dòng)的情況下的、拍攝各幀時(shí)的攝像元件104的運(yùn)動(dòng)量X與拍攝時(shí)間t的關(guān)系的圖表。在圖12中，攝像元件104在時(shí)刻&?tN期間不規(guī)則地動(dòng)作。
[0109]如圖13所示，在從幀F(xiàn)。到幀F(xiàn)n的期間，存在攝像元件104的運(yùn)動(dòng)量為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的巾貞。例如，巾貞Fy是在攝像元件104的運(yùn)動(dòng)量為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的幀，如圖13所示，幀F(xiàn)y中的被攝體“A” 403的模糊量大。
[0110]另外，例如幀F(xiàn)x與幀F(xiàn)z是在攝像元件104的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀。因而，圖像選擇部13判斷為能夠?qū)⒃跀z像元件104的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀群(包含幀F(xiàn)x與幀F(xiàn)z)用作基準(zhǔn)圖像和參照?qǐng)D像。
[0111]接著，說明本參考例2中的基準(zhǔn)圖像的選擇方法。如圖9的步驟S205中說明那樣，圖像選擇部13首先從在攝像元件104的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的巾貞中排除拍攝時(shí)間最早的巾貞F0與拍攝時(shí)間最晚的巾貞Fn。然后，圖像選擇部13從其余的巾貞中選擇攝像元件104的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀F(xiàn)x，將該幀選擇并設(shè)定為基準(zhǔn)圖像。
[0112]接著，說明參照?qǐng)D像的選擇方法。圖像選擇部13從接近基準(zhǔn)圖像的拍攝時(shí)間的幀起按順序判斷估計(jì)運(yùn)動(dòng)量X是否小于規(guī)定運(yùn)動(dòng)量Xa并且選擇參照?qǐng)D像。在本參考例2中，如圖13所示，在幀存儲(chǔ)器12內(nèi)的多個(gè)幀中存在估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀。例如為幀F(xiàn)y。
[0113]圖像選擇部13讀出與各幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12內(nèi)的各幀的估計(jì)運(yùn)動(dòng)量X，不將幀F(xiàn)y那樣的估計(jì)運(yùn)動(dòng)量X為預(yù)定運(yùn)動(dòng)量Xa以上的幀選擇為參照?qǐng)D像而確認(rèn)下一幀或者其它幀。其結(jié)果，圖像選擇部13僅將估計(jì)運(yùn)動(dòng)量X小于既定的運(yùn)動(dòng)量Xa的幀選擇為參照?qǐng)D像。因此，在本參考例2的情況下，作為參照?qǐng)D像而選擇的幀的個(gè)數(shù)與上述參考例I相比減少。然而，估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀不能成為合成對(duì)象圖像是明顯的，因此將這樣的幀轉(zhuǎn)到是否為合成對(duì)象圖像的判斷處理會(huì)招致處理速度下降、處理高負(fù)荷。因此，通過不將這樣的不適合的幀轉(zhuǎn)到是否為合成對(duì)象圖像的判斷處理而在作為其前級(jí)的處理的參照?qǐng)D像的選擇處理時(shí)不選擇為參照?qǐng)D像，減輕了是否為合成對(duì)象圖像的判斷處理的負(fù)荷，實(shí)現(xiàn)了處理的有效化。
[0114]如上所述,在本實(shí)施方式中，圖像選擇部13從被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的多個(gè)幀中選擇基準(zhǔn)圖像。更優(yōu)選從被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的多個(gè)幀中排除拍攝時(shí)間最早的幀F(xiàn)tl和拍攝時(shí)間最晚的幀F(xiàn)n，并且從其余的多個(gè)幀中將在被攝體的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀選擇為基準(zhǔn)圖像。如果存在多個(gè)在被攝體的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀的情況下，圖像選擇部13將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間的時(shí)刻tN/2的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。
[0115]另外，圖像選擇部13從拍攝時(shí)間在基準(zhǔn)圖像的拍攝時(shí)間之如和之后的巾貞兩者中僅將在被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀選擇為參照?qǐng)D像。也就是說，不將明顯不適合作為合成對(duì)象圖像的為規(guī)定運(yùn)動(dòng)量Xa以上的幀轉(zhuǎn)到判斷是否為合成對(duì)象圖像的處理。即，通過設(shè)為圖像選擇部13無(wú)法將明顯不適合的幀選擇為合成對(duì)象圖像，能夠減輕處理負(fù)荷。
[0116]在上述例子中，圖像選擇部13對(duì)選擇為參照?qǐng)D像的全部幀判斷是否能夠用作合成對(duì)象圖像，但是并不限定于此。例如，也可以預(yù)先設(shè)定規(guī)定的個(gè)數(shù)，在設(shè)定為合成對(duì)象圖像的幀數(shù)達(dá)到其規(guī)定個(gè)數(shù)的時(shí)間點(diǎn)，即使殘留尚未判斷的參照?qǐng)D像，也進(jìn)入到步驟S209的處理。特別是，在該情況下，通過從更接近基準(zhǔn)圖像的拍攝時(shí)間的參照?qǐng)D像起優(yōu)先地進(jìn)行是否為合成對(duì)象圖像的判斷處理，能夠更有效地進(jìn)行合成圖像的生成處理。
[0117]此外，對(duì)被攝體的運(yùn)動(dòng)量進(jìn)行估計(jì)的方法也可以使用現(xiàn)有的技術(shù)。例如，也可以通過對(duì)連續(xù)的兩幀各自的亮度值進(jìn)行比較或者使用傳感器檢測(cè)攝像元件的運(yùn)動(dòng)量來(lái)估計(jì)被攝體的動(dòng)作。并且，可以直接求出被攝體的運(yùn)動(dòng)量，也可以求出包含代替被攝體的運(yùn)動(dòng)量的其它運(yùn)動(dòng)量的要素。例如，在預(yù)先決定了幀的拍攝間隔的情況下，代替運(yùn)動(dòng)量，也可以求出速度，即被攝體、攝像元件的速度。
[0118](第三實(shí)施方式)
[0119]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第三實(shí)施方式。在本實(shí)施方式中，根據(jù)各幀所包含的噪聲量來(lái)設(shè)定基準(zhǔn)圖像與合成對(duì)象圖像的合計(jì)的所需最低限度個(gè)數(shù)(以下，稱為所需合成個(gè)數(shù))。
[0120]圖14是表示本實(shí)施方式中的圖像處理裝置30的結(jié)構(gòu)的框圖。在圖示的例子中，圖像處理裝置30具備合成控制部11、幀存儲(chǔ)器12以及噪聲量估計(jì)部31。合成控制部11和幀存儲(chǔ)器12與第二實(shí)施方式中的各部相同。
[0121]噪聲量估計(jì)部31估計(jì)幀的噪聲量。作為噪聲量的估計(jì)方法，例如根據(jù)增益值來(lái)估計(jì)。噪聲量估計(jì)部31使用通過AE (Automatic Exposure:自動(dòng)曝光)控制等確定的增益值。通常，增益值越高則噪聲量越增加，增益值越低則噪聲量越減少。因此，例如在增益值高的情況下，由噪聲量估計(jì)部31估計(jì)的噪聲量變得更大，在增益值低的情況下，由噪聲量估計(jì)部31估計(jì)的噪聲量變得更少。此外，如果是能夠估計(jì)幀的噪聲量的方法，則也可以使用任意的方法。
[0122]通常，要合成的幀(合成對(duì)象圖像)的個(gè)數(shù)越多則噪聲的去除量也越多。因而，在本實(shí)施方式中，在由噪聲量估計(jì)部31估計(jì)的噪聲量大的情況下，圖像選擇部13將合成對(duì)象圖像的個(gè)數(shù)設(shè)定得多。另外，在由噪聲量估計(jì)部31估計(jì)出的噪聲量小的情況下，圖像選擇部13將合成對(duì)象圖像的個(gè)數(shù)設(shè)定得少。以下，將根據(jù)噪聲量而設(shè)為所需的合成對(duì)象圖像的個(gè)數(shù)加上基準(zhǔn)圖像的個(gè)數(shù)(一個(gè))得到的個(gè)數(shù)稱為所需合成個(gè)數(shù)K。
[0123]接著，說明本實(shí)施方式中的合成圖像的生成過程。圖15是表示本實(shí)施方式中的圖像處理裝置30生成合成圖像的過程的流程圖。
[0124]此外，在與由第一、第二實(shí)施方式說明的內(nèi)容重復(fù)的情況下，省略詳細(xì)說明。
[0125](步驟S301)圖像處理裝置10將從外部逐個(gè)地輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器12。
[0126](步驟S302)噪聲量估計(jì)部31對(duì)圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的各幀的噪聲量進(jìn)行估計(jì)。之后，進(jìn)入到步驟S303的處理。
[0127](步驟S303)圖像處理裝置10將通過步驟S302的處理而由噪聲量估計(jì)部31估計(jì)出的噪聲量與通過步驟S301的處理而存儲(chǔ)的幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12。之后，進(jìn)入到步驟S304的處理。
[0128](步驟S304)合成控制部11判斷是否接收到了合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S305的處理，在除此以外的情況下，返回到步驟S301的處理。
[0129](步驟S305)噪聲量估計(jì)部31根據(jù)幀存儲(chǔ)器12所存儲(chǔ)的各幀的噪聲量來(lái)計(jì)算幀存儲(chǔ)器12所存儲(chǔ)的幀的噪聲量的平均值。之后，進(jìn)入到步驟S306的處理。
[0130](步驟S306)圖像選擇部13根據(jù)通過步驟S305的處理而計(jì)算出的噪聲量的平均值來(lái)計(jì)算所需合成個(gè)數(shù)K。之后，進(jìn)入到步驟S307的處理。
[0131](步驟S307)圖像選擇部13將圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。
[0132]該處理與圖7的步驟S103相同。之后，進(jìn)入到步驟S308的處理。
[0133](步驟S308)圖像選擇部13從圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中選擇一個(gè)參照?qǐng)D像。詳細(xì)地說，除了作為基準(zhǔn)圖像而選擇的幀和已經(jīng)進(jìn)行了步驟S309的處理的幀以外，從其余的幀中，從最接近基準(zhǔn)圖像的拍攝時(shí)間的幀中優(yōu)先選擇參照?qǐng)D像。該處理與圖9的步驟S206相同。即，后述的合成對(duì)象圖像的選擇是從最接近基準(zhǔn)圖像的拍攝時(shí)間的幀中優(yōu)先選擇的。之后，進(jìn)入到步驟S309的處理。
[0134](步驟S309)圖像選擇部13判斷是否能夠?qū)⑼ㄟ^步驟S308的處理而選擇的參照?qǐng)D像用作合成對(duì)象圖像。判斷處理的方法與圖7的步驟S105相同，因此在此省略說明。圖像選擇部13將判斷為能夠用作合成對(duì)象圖像的參照?qǐng)D像設(shè)定為合成對(duì)象圖像。
[0135]之后，進(jìn)入到步驟S310的處理。
[0136](步驟S310)圖像選擇部13判斷基準(zhǔn)圖像的個(gè)數(shù)與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)是否與通過步驟S306的處理而求出的所需合成個(gè)數(shù)K相同。在圖像選擇部13判斷為個(gè)數(shù)“相同”的情況下，即使在幀存儲(chǔ)器12中殘留尚未選擇為參照?qǐng)D像的幀，也結(jié)束用于判斷是否能夠用作合成對(duì)象圖像的處理。然后，進(jìn)入到步驟S311的處理。另外，在圖像選擇部13判斷為“不同(沒有達(dá)到K)”的情況下，返回到步驟S308的處理，直到基準(zhǔn)圖像的個(gè)數(shù)與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)達(dá)到所需合成個(gè)數(shù)K為止反復(fù)進(jìn)行步驟S308、S309的處理。
[0137](步驟S311)合成處理部14對(duì)通過步驟S307的處理而選擇的基準(zhǔn)圖像合成通過步驟S309的處理而選擇的合成對(duì)象圖像((K-1)個(gè))，生成合成圖像。之后，結(jié)束處理。
[0138]如上所述，根據(jù)本實(shí)施方式，圖像選擇部13將圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。
[0139]另外，噪聲量估計(jì)部31估計(jì)各幀的噪聲量，并求出其平均值。
[0140]另外，圖像選擇部13根據(jù)由噪聲量估計(jì)部31求出的噪聲量的平均值來(lái)決定用于生成合成圖像的幀的個(gè)數(shù)(所需合成個(gè)數(shù)K)。而且，僅使用該所需合成個(gè)數(shù)K的幀進(jìn)行合成處理。因而，合成處理部14僅使用與噪聲量相應(yīng)個(gè)數(shù)的幀、即所需最低限度個(gè)數(shù)的幀來(lái)生成合成圖像，因此能夠減輕合成處理的負(fù)荷。
[0141]另外，通過圖像選擇部13選擇的合成對(duì)象圖像是從接近基準(zhǔn)圖像的拍攝時(shí)間的模糊量較小的幀中優(yōu)先設(shè)定的，因此能夠更有效地進(jìn)行合成圖像的生成處理。
[0142](第四實(shí)施方式)
[0143]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第四實(shí)施方式。在本實(shí)施方式中，在選擇基準(zhǔn)圖像之前，根據(jù)被攝體的估計(jì)運(yùn)動(dòng)量X來(lái)設(shè)定由多個(gè)(少于幀存儲(chǔ)器所存儲(chǔ)的幀個(gè)數(shù)的個(gè)數(shù))幀構(gòu)成的幀區(qū)間。換言之，根據(jù)被攝體的估計(jì)運(yùn)動(dòng)量X來(lái)設(shè)定由按照拍攝時(shí)間順序連續(xù)的多個(gè)幀構(gòu)成的基準(zhǔn)圖像選定幀區(qū)間，從構(gòu)成該基準(zhǔn)圖像選定幀區(qū)間的多個(gè)幀中選擇基準(zhǔn)圖像。
[0144]此外，在本實(shí)施方式中，以構(gòu)成幀區(qū)間的幀的個(gè)數(shù)為所需合成個(gè)數(shù)K且基準(zhǔn)圖像選定幀區(qū)間為估計(jì)運(yùn)動(dòng)量的累加值最小的幀區(qū)間來(lái)進(jìn)行說明。
[0145]圖16是表示本實(shí)施方式中的圖像處理裝置40的結(jié)構(gòu)的框圖。在圖16中，圖像處理裝置40具備合成控制部11、幀存儲(chǔ)器12、運(yùn)動(dòng)量估計(jì)部21以及噪聲量估計(jì)部31。合成控制部11、幀存儲(chǔ)器12以及運(yùn)動(dòng)量估計(jì)部21與第二實(shí)施方式中的各部相同。噪聲量估計(jì)部31與第三實(shí)施方式中的噪聲量估計(jì)部31相同。
[0146]圖17是表示本實(shí)施方式中的圖像處理裝置40生成合成圖像的過程的流程圖。此夕卜，在與通過第一、第二、第三實(shí)施方式說明的內(nèi)容重復(fù)的情況下，省略詳細(xì)說明。
[0147](步驟S401)圖像處理裝置10將從外部逐個(gè)地輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器12。
[0148](步驟S402、S403)運(yùn)動(dòng)量估計(jì)部21對(duì)于通過步驟S401的處理而存儲(chǔ)到幀存儲(chǔ)器12的各幀，對(duì)拍攝該幀時(shí)的被攝體的運(yùn)動(dòng)量X進(jìn)行估計(jì)。之后，圖像處理裝置10將所估計(jì)出的運(yùn)動(dòng)量X與幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12。此外，該處理與圖9的步驟S202、S203相同。
[0149](步驟S404、S405)噪聲量估計(jì)部31對(duì)幀存儲(chǔ)器12所存儲(chǔ)的各幀的噪聲量進(jìn)行估計(jì)。之后，圖像處理裝置10將所估計(jì)出的噪聲量與幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12。此外，該處理與圖15的步驟S302、S303相同。
[0150](步驟S406)合成控制部11判斷是否接收到了合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S407的處理，在除此以外的情況下，返回到步驟S401的處理。
[0151](步驟S407)噪聲量估計(jì)部31根據(jù)幀存儲(chǔ)器12所存儲(chǔ)的各幀的噪聲量，來(lái)計(jì)算幀存儲(chǔ)器12所存儲(chǔ)的幀的噪聲量的平均值。之后，進(jìn)入到步驟S408的處理。
[0152](步驟S408)圖像選擇部13根據(jù)通過步驟S407的處理而由噪聲量估計(jì)部31計(jì)算出的噪聲量的平均值，來(lái)計(jì)算用于生成合成圖像的所需最低限度的幀個(gè)數(shù)、即作為基準(zhǔn)圖像與各合成對(duì)象圖像的合計(jì)個(gè)數(shù)的所需合成個(gè)數(shù)K。之后，進(jìn)入到步驟S409的處理。此夕卜，該處理與圖15的步驟S306相同。
[0153](步驟S409)圖像選擇部13在選擇基準(zhǔn)圖像時(shí)，首先從幀存儲(chǔ)器12內(nèi)的多個(gè)幀中確定包含K個(gè)運(yùn)動(dòng)量X小于作為閾值的規(guī)定運(yùn)動(dòng)量Xa的幀的幀區(qū)間。幀區(qū)間是以拍攝時(shí)間早的幀為開頭的多個(gè)幀的群。而且，通過將幀區(qū)間的開頭幀每次向后錯(cuò)開一個(gè)幀來(lái)依次確定多個(gè)幀區(qū)間。參照?qǐng)D18說明該處理。
[0154]圖18是表示幀存儲(chǔ)器12內(nèi)的各幀中的攝像元件104的運(yùn)動(dòng)量X與時(shí)刻t的關(guān)系的一例的圖表。圖表內(nèi)的圓圈表不巾貞，黑色圓圈表不運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的巾貞，白色圓圈表示規(guī)定運(yùn)動(dòng)量Xa以上的幀。
[0155]圖像選擇部13首先確定以拍攝時(shí)間最早的拍攝時(shí)間h時(shí)拍攝得到的幀F(xiàn)tl為開頭的幀區(qū)間I。從幀存儲(chǔ)器12讀出作為開頭幀的幀F(xiàn)tl的估計(jì)運(yùn)動(dòng)量X，判斷該估計(jì)運(yùn)動(dòng)量X是否小于規(guī)定運(yùn)動(dòng)量Xa。如果估計(jì)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將幀F(xiàn)tl作為小于規(guī)定運(yùn)動(dòng)量Xa的幀而進(jìn)行計(jì)數(shù)。如果幀F(xiàn)tl的判斷結(jié)束，則圖像選擇部13判斷接著幀F(xiàn)tl拍攝得到的幀F(xiàn)1的估計(jì)運(yùn)動(dòng)量X是否小于規(guī)定運(yùn)動(dòng)量Xa，如果估計(jì)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將幀F(xiàn)1作為小于規(guī)定運(yùn)動(dòng)量Xa的幀而進(jìn)行計(jì)數(shù)。直到計(jì)數(shù)得到的個(gè)數(shù)達(dá)到所需合成個(gè)數(shù)K為止反復(fù)進(jìn)行該處理。而且，在計(jì)數(shù)結(jié)果達(dá)到所需合成個(gè)數(shù)K時(shí)，將作為第K個(gè)而計(jì)數(shù)的幀設(shè)為幀區(qū)間Ttl的最后幀。這樣確定幀區(qū)間I；。此外，在圖18中示出了 K = 9的例子,巾貞區(qū)間Tci為從巾貞Fci至巾貞F11為止的區(qū)間。
[0156]如果確定出了幀區(qū)間Ttl，則圖像選擇部13確定下一個(gè)幀區(qū)間。將作為開頭的幀錯(cuò)開到接在幀F(xiàn)tl之后拍攝得到的幀F(xiàn)1，過渡到以該幀匕為開頭幀的幀區(qū)間T1的確定處理。以后，與幀區(qū)間Ttl的確定處理同樣地，進(jìn)行運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的幀的搜索及其個(gè)數(shù)的計(jì)數(shù)，在計(jì)數(shù)結(jié)果達(dá)到所需合成個(gè)數(shù)K的時(shí)間點(diǎn)將該幀設(shè)定為幀區(qū)間的最后幀，確定幀區(qū)間！\。圖像選擇部13直到將幀存儲(chǔ)器12內(nèi)所存儲(chǔ)的幀中拍攝時(shí)間最晚的幀F(xiàn)n成為幀區(qū)間的末尾為止反復(fù)進(jìn)行該幀區(qū)間的確定處理。而且，圖像選擇部13對(duì)于幀區(qū)間內(nèi)沒有包含K個(gè)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的幀的區(qū)間，不將該區(qū)間設(shè)定為幀區(qū)間。通過進(jìn)行上述處理，確定幀區(qū)間TQ，T1, T2, T3...。
[0157](步驟S410)接著，圖像選擇部13從確定的多個(gè)幀區(qū)間TQ，T1,T2, T3...中確定被攝體的運(yùn)動(dòng)量X的累加值最小的基準(zhǔn)圖像選定幀區(qū)間。圖像選擇部13根據(jù)各幀區(qū)間內(nèi)包含的小于規(guī)定運(yùn)動(dòng)量Xa的幀，按每個(gè)幀區(qū)間來(lái)計(jì)算各自的估計(jì)運(yùn)動(dòng)量的累加值。而且，圖像選擇部13對(duì)通過步驟S409而求出的全部幀區(qū)間Ttl, T1, T2, T3...進(jìn)行該計(jì)算處理。而且，圖像選擇部13將計(jì)算出的運(yùn)動(dòng)量的累加值最小的幀區(qū)間確定為基準(zhǔn)圖像選定幀區(qū)間。
[0158]圖19示出從多個(gè)幀區(qū)間中僅顯示以幀F(xiàn)tl為開頭的幀區(qū)間Ttl以及以幀F(xiàn)s為開頭的幀區(qū)間Ts的圖表。
[0159]幀區(qū)間Ts內(nèi)的運(yùn)動(dòng)量的累加值小于幀區(qū)間Ttl內(nèi)的運(yùn)動(dòng)量的累加值。在這種情況下，圖像選擇部13將幀區(qū)間Ts確定為基準(zhǔn)圖像選定幀區(qū)間。
[0160](步驟S411)圖像選擇部13從所確定的基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)包含的多個(gè)幀中選擇基準(zhǔn)圖像。具體地說，圖像選擇部13首先將基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的、拍攝時(shí)間最早的幀以及拍攝時(shí)間最晚的幀從基準(zhǔn)圖像的候選中排除。而且，從其余的幀中，將在被攝體的估計(jì)運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀選擇為基準(zhǔn)圖像。
[0161]參照?qǐng)D20說明該處理。在圖20中，關(guān)于由圖19示出的基準(zhǔn)圖像選定幀區(qū)間Ts，在圖表內(nèi)用黑色圓圈示出幀。圖像選擇部13首先將基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的開頭幀F(xiàn)s和最后幀F(xiàn)t從基準(zhǔn)圖像的候選中排除。然后，圖像選擇部13從幀存儲(chǔ)器12讀出基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的其余幀的估計(jì)運(yùn)動(dòng)量，搜索估計(jì)運(yùn)動(dòng)量最小的幀。然后，圖像選擇部13將在拍攝時(shí)間tm時(shí)拍攝得到的幀F(xiàn)m選擇為基準(zhǔn)圖像。
[0162](步驟S412)圖像選擇部13在結(jié)束基準(zhǔn)圖像的選擇處理之后，接著過渡到參照?qǐng)D像的選擇處理。圖像選擇部13首先從幀存儲(chǔ)器12內(nèi)的多個(gè)幀中排除基準(zhǔn)圖像以及已經(jīng)進(jìn)行了后述的步驟S413的處理的幀。然后，從其余幀中將最接近基準(zhǔn)圖像的拍攝時(shí)間的幀選擇為參照?qǐng)D像的候選。接著，如果作為參照?qǐng)D像的候選而選擇的幀的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將所選擇的幀選擇為參照?qǐng)D像。如果在作為參照?qǐng)D像的候選而選擇的幀的運(yùn)動(dòng)量為規(guī)定運(yùn)動(dòng)量Xa以上的情況下，將該幀判斷為不是參照?qǐng)D像，并且將接在該幀之后的接近基準(zhǔn)圖像的拍攝時(shí)間的幀選擇為參照?qǐng)D像的候選。該處理與圖9的步驟S206相同。
[0163]圖像選擇部13也可以在作為參照?qǐng)D像的候選而選擇的幀被判斷為不是參照?qǐng)D像、下一個(gè)選擇的參照?qǐng)D像的候選也被判斷為不是參照?qǐng)D像而結(jié)果是規(guī)定次數(shù)連續(xù)地判斷為不是參照?qǐng)D像的情況下，結(jié)束參照?qǐng)D像的選擇處理，過渡到S415的處理。規(guī)定次數(shù)可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。
[0164]另外，在此選擇的參照?qǐng)D像從預(yù)先求出的基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的幀中優(yōu)先選擇，但是也可以從基準(zhǔn)圖像選定幀區(qū)間Ts外的幀中選擇。圖像選擇部13將基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的全部幀選擇為參照?qǐng)D像，判斷是否為合成對(duì)象圖像，在結(jié)果是在設(shè)定為合成對(duì)象圖像的幀數(shù)包括基準(zhǔn)圖像在內(nèi)沒有達(dá)到所需合成個(gè)數(shù)K的情況下，圖像選擇部13將基準(zhǔn)圖像選定幀區(qū)間外的、最接近基準(zhǔn)圖像的拍攝時(shí)間且小于規(guī)定運(yùn)動(dòng)量Xa的幀選擇為參照?qǐng)D像。之后，進(jìn)入到步驟S413的處理。
[0165](步驟S413)圖像選擇部13判斷是否能夠?qū)⑼ㄟ^步驟S412的處理而選擇的參照?qǐng)D像用作合成對(duì)象圖像，如果判斷為能夠?qū)⑺x擇的參照?qǐng)D像用作合成對(duì)象圖像，則將該選擇為參照?qǐng)D像的幀設(shè)定為合成對(duì)象圖像。判斷處理的方法與圖9的步驟S207相同。之后，進(jìn)入到步驟S414的處理。
[0166]此外，圖像選擇部13也可以在規(guī)定次數(shù)連續(xù)判斷為無(wú)法將選擇為參照?qǐng)D像的幀用作合成對(duì)象圖像的情況下，進(jìn)行是否用于合成對(duì)象圖像的判斷處理，過渡到S415的處理。此外，規(guī)定次數(shù)可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。
[0167](步驟S414)圖像選擇部13判斷基準(zhǔn)圖像的個(gè)數(shù)(I個(gè))與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)是否與通過步驟S408而求出的所需合成個(gè)數(shù)K相同。在圖像選擇部13判斷為個(gè)數(shù)為“相同”的情況下，進(jìn)入到步驟S415的處理，在除此以外的情況下，返回到步驟S412的處理，直到基準(zhǔn)圖像的個(gè)數(shù)與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)達(dá)到所需合成個(gè)數(shù)K為止反復(fù)進(jìn)行步驟S412和S413的處理。
[0168](步驟S415)合成處理部14將設(shè)定為合成對(duì)象圖像的幀與基準(zhǔn)圖像合成，生成合成圖像。
[0169]如上所述，根據(jù)本實(shí)施方式，從被攝體的運(yùn)動(dòng)量為最小的幀區(qū)間(基準(zhǔn)圖像選定幀區(qū)間)內(nèi)的多個(gè)幀中選擇基準(zhǔn)圖像，并且從拍攝時(shí)間接近該基準(zhǔn)圖像的幀中優(yōu)先設(shè)定合成對(duì)象圖像。因此能夠優(yōu)先設(shè)定相對(duì)于基準(zhǔn)圖像的模糊量、運(yùn)動(dòng)量較小的合成對(duì)象圖像。由此，能夠使用更適合于合成的幀來(lái)生成合成圖像，因此能夠?qū)崿F(xiàn)合成處理的有效化。
[0170](第五實(shí)施方式)
[0171]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第五實(shí)施方式。圖21是表示本實(shí)施方式中的內(nèi)窺鏡裝置的結(jié)構(gòu)的框圖。在圖示的例子中，內(nèi)窺鏡裝置101具有細(xì)長(zhǎng)的插入部102、主體部103以及LCD(Liquid Crystal Display,液晶顯示器)130。另外，能夠?qū)χ黧w部103安裝記錄介質(zhì)132，在記錄介質(zhì)132中能夠記錄由內(nèi)窺鏡裝置101拍攝得到的靜止圖像、運(yùn)動(dòng)圖像等。
[0172]插入部102具有物鏡127、攝像元件(CCD(Charge Coupled Device,電荷耦合元#))104, LED (Light Emitting D1de，發(fā)光二極管)106 以及引線固定部 119。物鏡 127、攝像元件104、LED 106以及引線固定部119被配置在插入部102的前端部128 (內(nèi)窺鏡前端部)。
[0173]主體部103具有攝像元件驅(qū)動(dòng)電路105、前置放大器131、圖像處理單元107、AFE (Analog Front End，模擬前端)109、系統(tǒng)控制單元110、用戶接口 111、LED驅(qū)動(dòng)電路113、UD (上下)彎曲電動(dòng)機(jī)120、RL (左右)彎曲電動(dòng)機(jī)121、彎曲控制單元122、圖像記錄單元115以及IXD控制器117。另外，內(nèi)窺鏡裝置101具有四個(gè)引線123?126，該四個(gè)引線123?126用于使插入部102的前端部128向上下左右彎曲。
[0174]用戶接口 111具備開關(guān)、用于使內(nèi)窺鏡的前端彎曲的操縱桿等，接收來(lái)自用戶的指示的輸入，將基于接收到的輸入的信號(hào)輸出到系統(tǒng)控制單元110。作為來(lái)自用戶的指示，例如存在變焦倍率的指示、要拍攝的圖像的明亮度的指示、LED 106的點(diǎn)亮和熄滅的指示、插入部102的前端部128的彎曲的指示、使記錄介質(zhì)132記錄圖像的指示、向IXD 130顯示圖像的顯不指不等。
[0175]系統(tǒng)控制單元110對(duì)內(nèi)窺鏡裝置101所具有的各部進(jìn)行控制，以執(zhí)行基于從用戶接口 111輸入的信號(hào)的處理。例如，在用戶接口 111接收到用于指示變焦倍率的輸入、用于指示要拍攝的圖像的明亮度的輸入的情況下，系統(tǒng)控制單元110控制圖像處理單元107，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。另外，在用戶接口 111接收到用于指示LED106的點(diǎn)亮和熄滅的輸入的情況下，系統(tǒng)控制單元110控制LED驅(qū)動(dòng)電路113，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。另外，在用戶接口 111接收到用于指示插入部102的前端部128的彎曲的輸入的情況下，系統(tǒng)控制單元110控制彎曲控制單元122，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。另外，在用戶接口 111接收到用于指示向記錄介質(zhì)132記錄圖像的輸入、用于指示向IXD 130顯示圖像的輸入的情況下，系統(tǒng)控制單元110控制圖像記錄單元115，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。
[0176]引線固定部119固定四個(gè)引線123?126，該四個(gè)引線123?126用于使插入部102的前端部128上下左右彎曲。四個(gè)引線123?126中用于使插入部102的前端部128向上下方向彎曲的兩個(gè)引線123、124與UD彎曲電動(dòng)機(jī)120相連接。另外，用于使插入部102的前端部128向左右方向彎曲的兩個(gè)引線125、126與RL彎曲電動(dòng)機(jī)121相連接。
[0177]UD彎曲電動(dòng)機(jī)120和RL彎曲電動(dòng)機(jī)121與彎曲控制單元122相連接。彎曲控制單元122與系統(tǒng)控制單元110相連接。彎曲控制單元122根據(jù)從系統(tǒng)控制單元110輸入的與上下方向有關(guān)的彎曲指示信號(hào)來(lái)控制UD彎曲電動(dòng)機(jī)120的驅(qū)動(dòng)，根據(jù)從系統(tǒng)控制單元110輸入的與左右方向有關(guān)的彎曲指示信號(hào)來(lái)控制RL彎曲電動(dòng)機(jī)121的驅(qū)動(dòng)。UD彎曲電動(dòng)機(jī)120根據(jù)彎曲控制單元122的控制，通過牽引兩個(gè)引線123、124使插入部102的前端部128向上下方向彎曲。另外，RL彎曲電動(dòng)機(jī)121根據(jù)彎曲控制單元122的控制，通過牽引兩個(gè)引線125、126使插入部102的前端部128向左右方向彎曲。
[0178]通過該結(jié)構(gòu)，當(dāng)用戶使用戶接口 111所具備的操縱桿向上下方向傾斜時(shí)，系統(tǒng)控制單元110對(duì)彎曲控制單元122發(fā)送與上下方向有關(guān)的彎曲指示信號(hào)。彎曲控制單元122根據(jù)接收到的彎曲指不彳目號(hào)來(lái)驅(qū)動(dòng)控制UD彎曲電動(dòng)機(jī)120，牽引與UD彎曲電動(dòng)機(jī)120相連接的引線123、124。由此，內(nèi)窺鏡裝置101能夠使插入部102的前端部128向上下方向彎曲。左右方向的彎曲也相同，當(dāng)用戶使操縱桿向左右方向傾斜時(shí)，系統(tǒng)控制單元110對(duì)彎曲控制單元122發(fā)送與左右方向有關(guān)的彎曲指示信號(hào)。彎曲控制單元122根據(jù)接收到的彎曲指示信號(hào)，驅(qū)動(dòng)控制RL彎曲電動(dòng)機(jī)121，牽引與RL彎曲電動(dòng)機(jī)121相連接的引線。由此，內(nèi)窺鏡裝置101能夠使插入部102的前端部128向左右方向彎曲。
[0179]LED 106通過線纜與LED驅(qū)動(dòng)電路113相連接。LED驅(qū)動(dòng)電路113與系統(tǒng)控制單元110相連接。LED驅(qū)動(dòng)電路113根據(jù)從系統(tǒng)控制單元110輸入的LED點(diǎn)亮信號(hào)來(lái)控制LED106的點(diǎn)亮和熄滅。LED 106根據(jù)LED驅(qū)動(dòng)電路113的控制來(lái)進(jìn)行點(diǎn)亮和熄滅。
[0180]物鏡127將由LED 106照明的被攝體的像成像在攝像元件104的受光面。攝像元件104通過復(fù)合同軸線纜與攝像元件驅(qū)動(dòng)電路105和前置放大器131相連接。攝像元件驅(qū)動(dòng)電路105從設(shè)置于圖像處理單元107內(nèi)的定時(shí)發(fā)生器接收用于驅(qū)動(dòng)攝像元件104的定時(shí)信號(hào)。而且，攝像元件驅(qū)動(dòng)電路105對(duì)接收到的定時(shí)信號(hào)實(shí)施與到攝像元件104為止的傳送長(zhǎng)度(復(fù)合同軸線纜的長(zhǎng)度)相應(yīng)的驅(qū)動(dòng)處理，將處理后的定時(shí)信號(hào)作為攝像元件驅(qū)動(dòng)信號(hào)而傳送到攝像元件104。
[0181]攝像元件104根據(jù)所傳送的攝像元件驅(qū)動(dòng)信號(hào)的定時(shí)，對(duì)成像在受光面的光進(jìn)行光電變換，將光電變換得到的信號(hào)作為攝像元件輸出信號(hào)而輸出。由攝像元件104輸出的攝像元件輸出信號(hào)經(jīng)由復(fù)合同軸線纜被輸入到前置放大器131。前置放大器131放大攝像元件輸出信號(hào)，以補(bǔ)充由于復(fù)合同軸線纜的傳送而衰減的信號(hào)電平。被前置放大器131放大的攝像元件輸出信號(hào)被輸入到AFE 1090 AFE 109對(duì)所輸入的攝像元件輸出信號(hào)進(jìn)行⑶S處理(相關(guān)雙采樣處理)、AGC處理(自動(dòng)增益處理)、AD變換處理(模擬/數(shù)字變換處理)。被AFE 109處理過的攝像元件輸出信號(hào)(幀)被輸入到圖像處理單元107。
[0182]圖像處理單元107具備第一實(shí)施方式中的圖像處理裝置10、第二實(shí)施方式中的圖像處理裝置20、第三實(shí)施方式中的圖像處理裝置30以及第四實(shí)施方式中的圖像處理裝置40中的一個(gè)或者多個(gè)。圖像處理單元107根據(jù)系統(tǒng)控制單元110的控制，使用所輸入的攝像元件輸出信號(hào)(幀)來(lái)生成合成圖像，由此進(jìn)行噪聲去除處理。此外，本實(shí)施方式中的圖像處理單元107根據(jù)自身所具備的圖像處理裝置10、20、30、40，使用第一實(shí)施方式?第四實(shí)施方式中的多個(gè)生成方法中任一生成方法來(lái)生成合成圖像。
[0183]另外，圖像處理單元107也可以進(jìn)行白平衡校正、伽馬校正、輪廓校正、電子變焦處理、顏色校正、對(duì)比度校正、AE控制等各種照相機(jī)信號(hào)處理。另外，圖像處理單元107將所生成的合成圖像作為圖像數(shù)據(jù)而輸出到圖像記錄單元115。
[0184]圖像記錄單元115將所輸入的圖像數(shù)據(jù)輸出到IXD控制器117。另外，圖像記錄單元115進(jìn)行將顯示在IXD 130中的圖像設(shè)為靜止圖像的定格處理。另外，圖像記錄單元115用編碼器來(lái)壓縮所輸入的圖像數(shù)據(jù)，作為靜止圖像數(shù)據(jù)或者運(yùn)動(dòng)圖像數(shù)據(jù)而記錄到記錄介質(zhì)132。在根據(jù)來(lái)自用戶接口 111的輸入而系統(tǒng)控制單元110將記錄信號(hào)發(fā)送到圖像記錄單元115且圖像記錄單元115接收到記錄信號(hào)的情況下，進(jìn)行該圖像記錄動(dòng)作。
[0185]此外，內(nèi)窺鏡裝置101在圖像記錄單元115進(jìn)行定格處理之后進(jìn)行圖像的記錄的情況下進(jìn)行靜止圖像的拍攝，在不進(jìn)行定格處理而進(jìn)行圖像的記錄的情況下進(jìn)行運(yùn)動(dòng)圖像的拍攝。另外，圖像記錄單元115進(jìn)行圖像再現(xiàn)動(dòng)作，從記錄介質(zhì)132讀出靜止圖像數(shù)據(jù)、運(yùn)動(dòng)圖像數(shù)據(jù)，用解碼器進(jìn)行解壓縮而輸出到LCD控制器117。在系統(tǒng)控制單元110從用戶接口 111接收到圖像顯示信號(hào)的情況下進(jìn)行該圖像再現(xiàn)動(dòng)作。
[0186]IXD控制器117對(duì)于從圖像記錄單元115輸入的各種圖像數(shù)據(jù)，實(shí)施最適合于所連接的IXD 130的圖像處理(伽馬校正、縮放、RGB變換等)，輸出到IXD 130。IXD 130根據(jù)所輸入的圖像數(shù)據(jù)來(lái)顯示圖像。
[0187]如上所述，內(nèi)窺鏡裝置101的圖像處理單元107具備第一實(shí)施方式中的圖像處理裝置10、第二實(shí)施方式中的圖像處理裝置20、第三實(shí)施方式中的圖像處理裝置30以及第四實(shí)施方式中的圖像處理裝置40中的一個(gè)或者多個(gè)。因而，圖像處理單元107能夠使用由內(nèi)窺鏡裝置101的攝像元件104拍攝得到的幀中的更適合于合成的幀來(lái)生成合成圖像。另外，圖像處理單元107能夠根據(jù)自身所具備的圖像處理裝置10、20、30、40來(lái)得到與各圖像處理裝置10、20、30、40相同的效果。
[0188]以上，參照附圖詳細(xì)說明了本發(fā)明的多個(gè)實(shí)施方式，但是具體結(jié)構(gòu)并不限定于上述多個(gè)實(shí)施方式，還包含不脫離本發(fā)明的宗旨的范圍的設(shè)計(jì)等。
[0189]此外，對(duì)于上述實(shí)施方式中的圖像處理裝置10、20、30、40所具備的各部的功能整體或者其一部分，也可以將用于實(shí)現(xiàn)這些功能的程序記錄到計(jì)算機(jī)可讀取的記錄介質(zhì)，使計(jì)算機(jī)系統(tǒng)讀取并執(zhí)行記錄到該記錄介質(zhì)的程序，由此來(lái)實(shí)現(xiàn)。此外，在此所指的“計(jì)算機(jī)系統(tǒng)”包含OS、外圍設(shè)備等硬件。
[0190]另外，典型地，“計(jì)算機(jī)可讀取的記錄介質(zhì)”包含軟盤、光磁盤、ROM、⑶-ROM等便攜式介質(zhì)、內(nèi)置于計(jì)算機(jī)系統(tǒng)的硬盤等記錄部，但是并不必須限定于這些。
[0191]還可以代替“計(jì)算機(jī)可讀取的記錄介質(zhì)”而使用以下單元。例如，也可以使用如經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)、電話線路等通信線路來(lái)發(fā)送程序的情況下的通信線那樣在短時(shí)間內(nèi)動(dòng)態(tài)地保持程序的介質(zhì)。另外，也可以使用成為該情況下的服務(wù)器、客戶端的計(jì)算機(jī)系統(tǒng)內(nèi)部的非易失性存儲(chǔ)器那樣在固定時(shí)間內(nèi)保持程序的介質(zhì)。另外，上述程序可以實(shí)現(xiàn)上述功能的一部分，并且也可以通過與已經(jīng)記錄在計(jì)算機(jī)系統(tǒng)中的程序進(jìn)行組合來(lái)實(shí)現(xiàn)上述功能。
[0192]以上，說明了本發(fā)明的優(yōu)選實(shí)施例，但是本發(fā)明并不限定于這些實(shí)施例。在不脫離本發(fā)明的宗旨的范圍內(nèi)，能夠進(jìn)行結(jié)構(gòu)的附加、省略、替換以及其它變更。本發(fā)明并不是由上述說明限定，而由附加權(quán)利要求的范圍限定。
【權(quán)利要求】
1.一種圖像處理裝置，具備: 存儲(chǔ)器，其存儲(chǔ)拍攝得到的多個(gè)圖像； 圖像選擇部，其在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及 合成處理部，其對(duì)由上述圖像選擇部選擇的上述基準(zhǔn)圖像合成由上述圖像選擇部選擇的上述合成對(duì)象圖像來(lái)生成合成圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作上述合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 還具備運(yùn)動(dòng)量估計(jì)部，該運(yùn)動(dòng)量估計(jì)部估計(jì)上述圖像內(nèi)的被攝體的運(yùn)動(dòng)量， 上述圖像選擇部根據(jù)由上述運(yùn)動(dòng)量估計(jì)部估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述運(yùn)動(dòng)量估計(jì)部通過比較多個(gè)圖像來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
7.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述運(yùn)動(dòng)量估計(jì)部通過對(duì)拍攝上述多個(gè)圖像的攝像元件的運(yùn)動(dòng)量進(jìn)行檢測(cè)，來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
8.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述基準(zhǔn)圖像。
9.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中，將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
10.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從圖像區(qū)間中選擇上述基準(zhǔn)圖像，該圖像區(qū)間由個(gè)數(shù)比上述存儲(chǔ)器內(nèi)存儲(chǔ)的圖像的個(gè)數(shù)少且按照拍攝時(shí)間順序連續(xù)的規(guī)定個(gè)數(shù)的圖像構(gòu)成， 上述圖像區(qū)間是構(gòu)成上述圖像區(qū)間的多個(gè)圖像中的上述估計(jì)運(yùn)動(dòng)量的累加值最小的區(qū)間。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于， 上述圖像選擇部在構(gòu)成上述圖像區(qū)間的多個(gè)圖像中將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
12.根據(jù)權(quán)利要求5?11中的任一項(xiàng)所述的圖像處理裝置，其特征在于， 上述圖像選擇部將上述估計(jì)運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
13.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 上述圖像選擇部在連續(xù)規(guī)定個(gè)數(shù)的圖像判斷為沒有用作上述合成對(duì)象圖像的情況下，結(jié)束上述合成對(duì)象圖像的判斷處理。
14.根據(jù)權(quán)利要求1?4中的任一項(xiàng)所述的圖像處理裝置，其特征在于， 還具備噪聲量估計(jì)部，該噪聲量估計(jì)部對(duì)上述存儲(chǔ)器內(nèi)存儲(chǔ)的上述多個(gè)圖像的噪聲量進(jìn)行估計(jì)， 上述圖像選擇部根據(jù)由上述噪聲量估計(jì)部估計(jì)出的上述噪聲量來(lái)決定生成上述合成圖像所需的圖像的個(gè)數(shù)、即所需合成個(gè)數(shù)。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于， 上述圖像選擇部對(duì)所選擇的基準(zhǔn)圖像的個(gè)數(shù)和所選擇的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)進(jìn)行計(jì)數(shù)，如果其計(jì)數(shù)結(jié)果達(dá)到上述所需合成個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
16.根據(jù)權(quán)利要求1?4中的任一項(xiàng)所述的圖像處理裝置，其特征在于， 上述圖像選擇部預(yù)先決定上述合成對(duì)象圖像的個(gè)數(shù)，判斷所選擇的上述合成對(duì)象圖像的個(gè)數(shù)是否達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，如果達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
17.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
18.一種圖像處理方法，對(duì)存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像進(jìn)行合成而生成合成圖像，該圖像處理方法包括以下步驟: 基準(zhǔn)圖像選擇步驟，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像； 合成對(duì)象圖像選擇步驟，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及 合成處理步驟，通過對(duì)在上述基準(zhǔn)圖像選擇步驟中選擇出的基準(zhǔn)圖像合成在上述合成對(duì)象圖像選擇步驟中選擇出的上述合成對(duì)象圖像，來(lái)生成上述合成圖像。
19.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于， 在上述合成對(duì)象圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
20.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于， 在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
21.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于， 在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
22.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于， 還包括運(yùn)動(dòng)量估計(jì)步驟，在該運(yùn)動(dòng)量估計(jì)步驟中將其它圖像與本圖像進(jìn)行比較來(lái)估計(jì)上述本圖像內(nèi)的被攝體的運(yùn)動(dòng)量， 在上述基準(zhǔn)圖像選擇步驟中，根據(jù)在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
23.根據(jù)權(quán)利要求22所述的圖像處理方法，其特征在于， 在上述基準(zhǔn)圖像選擇步驟中，將在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)得到的運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
24.根據(jù)權(quán)利要求22所述的圖像處理方法，其特征在于， 在上述合成對(duì)象圖像選擇步驟中，從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
【文檔編號(hào)】H04N5/232GK104427246SQ201410413162
【公開日】2015年3月18日 申請(qǐng)日期:2014年8月20日 優(yōu)先權(quán)日:2013年8月22日
【發(fā)明者】浜田裕介 申請(qǐng)人:奧林巴斯株式會(huì)社
【專利摘要】本發(fā)明提供一種圖像處理裝置以及圖像處理方法。幀存儲(chǔ)器存儲(chǔ)拍攝得到的多個(gè)圖像。圖像選擇部從幀存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像，從多個(gè)圖像中的拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像。合成處理部對(duì)由圖像選擇部選擇的基準(zhǔn)圖像合成由圖像選擇部選擇的合成對(duì)象圖像而生成合成圖像。
【專利說明】圖像處理裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理裝置、圖像處理方法以及程序。
【背景技術(shù)】
[0002]以往，已知以下方法:在合成多個(gè)圖像而去除時(shí)間方向的噪聲的處理中，在幀存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中設(shè)定拍攝時(shí)間最早的圖像作為基準(zhǔn)圖像，僅使用該基準(zhǔn)圖像的拍攝時(shí)間之后的圖像進(jìn)行合成；將拍攝時(shí)間最晚的圖像設(shè)定為基準(zhǔn)圖像，僅使用該基準(zhǔn)圖像的拍攝時(shí)間之前的圖像進(jìn)行合成(例如，參照日本特開2012-186593號(hào)公報(bào))。
[0003]然而，在專利文獻(xiàn)I所記載的技術(shù)中，針對(duì)基準(zhǔn)圖像僅使用在時(shí)間上在之前拍攝到的圖像或者在之后拍攝到的圖像。因此，在時(shí)間上接近基準(zhǔn)圖像的圖像中存在不能使用的圖像。因而，有時(shí)適合于合成的圖像少而無(wú)法得到所需的合成個(gè)數(shù)(所需的噪聲降低效果)。另外，用于得到所需合成個(gè)數(shù)的圖像所需的處理時(shí)間有可能增加。
【發(fā)明內(nèi)容】
[0004]本發(fā)明是鑒于上述問題而完成的，目的在于提供一種能夠使用更適合于合成的圖像來(lái)生成合成圖像的圖像處理裝置、圖像處理方法以及程序。
[0005]本發(fā)明的第一方式的圖像處理裝置，具備:存儲(chǔ)器，其存儲(chǔ)拍攝得到的多個(gè)圖像；圖像選擇部，其在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及合成處理部，其對(duì)由上述圖像選擇部選擇的上述基準(zhǔn)圖像合成由上述圖像選擇部選擇的上述合成對(duì)象圖像來(lái)生成合成圖像。
[0006]根據(jù)本發(fā)明的第二方式，也可以是在上述第一方式中，上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作上述合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
[0007]根據(jù)本發(fā)明的第三方式，也可以是在上述第二方式中，上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
[0008]根據(jù)本發(fā)明的第四方式，也可以是在上述第二方式中，上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
[0009]根據(jù)本發(fā)明的第五方式，也可以是在上述第二方式中，上述圖像處理裝置還具備運(yùn)動(dòng)量估計(jì)部，該運(yùn)動(dòng)量估計(jì)部估計(jì)上述圖像內(nèi)的被攝體的運(yùn)動(dòng)量，上述圖像選擇部根據(jù)由上述運(yùn)動(dòng)量估計(jì)部估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
[0010]根據(jù)本發(fā)明的第六方式，也可以是在上述第五方式中，上述運(yùn)動(dòng)量估計(jì)部通過比較多個(gè)圖像來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
[0011]根據(jù)本發(fā)明的第七方式，也可以是在上述第五方式中，上述運(yùn)動(dòng)量估計(jì)部通過對(duì)拍攝上述多個(gè)圖像的攝像元件的運(yùn)動(dòng)量進(jìn)行檢測(cè)，來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
[0012]根據(jù)本發(fā)明的第八方式，也可以是在上述第五方式中，上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述基準(zhǔn)圖像。
[0013]根據(jù)本發(fā)明的第九方式，也可以是在上述第五方式中，上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中，將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
[0014]根據(jù)本發(fā)明的第十方式，也可以是在上述第五方式中，上述圖像選擇部從圖像區(qū)間中選擇上述基準(zhǔn)圖像，該圖像區(qū)間由個(gè)數(shù)比上述存儲(chǔ)器內(nèi)存儲(chǔ)的圖像的個(gè)數(shù)少且按照拍攝時(shí)間順序連續(xù)的規(guī)定個(gè)數(shù)的圖像構(gòu)成，上述圖像區(qū)間是構(gòu)成上述圖像區(qū)間的多個(gè)圖像中的上述估計(jì)運(yùn)動(dòng)量的累加值最小的區(qū)間。
[0015]根據(jù)本發(fā)明的第十一方式，也可以是在上述第十方式中，上述圖像選擇部在構(gòu)成上述圖像區(qū)間的多個(gè)圖像中將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
[0016]根據(jù)本發(fā)明的第十二方式，也可以是在上述第五至上述第十一方式中的任一方式中，上述圖像選擇部將上述估計(jì)運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
[0017]根據(jù)本發(fā)明的第十三方式，也可以是在上述第二方式中，上述圖像選擇部在連續(xù)規(guī)定個(gè)數(shù)的圖像判斷為沒有用作上述合成對(duì)象圖像的情況下，結(jié)束上述合成對(duì)象圖像的判斷處理。
[0018]根據(jù)本發(fā)明的第十四方式，也可以是在上述第一至上述第十三方式中的任一方式中，還具備噪聲量估計(jì)部，該噪聲量估計(jì)部對(duì)上述存儲(chǔ)器內(nèi)存儲(chǔ)的上述多個(gè)圖像的噪聲量進(jìn)行估計(jì)，上述圖像選擇部根據(jù)由上述噪聲量估計(jì)部估計(jì)出的上述噪聲量來(lái)決定生成上述合成圖像所需的圖像的個(gè)數(shù)、即所需合成個(gè)數(shù)。
[0019]根據(jù)本發(fā)明的第十五方式，也可以是在上述第十四方式中，上述圖像選擇部對(duì)所選擇的基準(zhǔn)圖像的個(gè)數(shù)和所選擇的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)進(jìn)行計(jì)數(shù)，如果其計(jì)數(shù)結(jié)果達(dá)到上述所需合成個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
[0020]根據(jù)本發(fā)明的第十六方式，也可以是在上述第一至上述第十三方式中的任一方式中，上述圖像選擇部預(yù)先決定上述合成對(duì)象圖像的個(gè)數(shù)，判斷所選擇的上述合成對(duì)象圖像的個(gè)數(shù)是否達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，如果達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
[0021]根據(jù)本發(fā)明的第十七方式，也可以是在上述第五方式中，上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
[0022]本發(fā)明的第十八方式是一種圖像處理方法，對(duì)存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像進(jìn)行合成而生成合成圖像，該圖像處理方法包括以下步驟:基準(zhǔn)圖像選擇步驟，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像；合成對(duì)象圖像選擇步驟，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及合成處理步驟，通過對(duì)在上述基準(zhǔn)圖像選擇步驟中選擇出的基準(zhǔn)圖像合成在上述合成對(duì)象圖像選擇步驟中選擇出的上述合成對(duì)象圖像，來(lái)生成上述合成圖像。
[0023]根據(jù)本發(fā)明的第十九方式的圖像處理方法，也可以是在上述第十八方式中，在上述合成對(duì)象圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
[0024]根據(jù)本發(fā)明的第二十方式的圖像處理方法，也可以是在上述第十九方式中，在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
[0025]根據(jù)本發(fā)明的第二i^一方式的圖像處理方法，也可以是在上述第十九方式中，在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
[0026]根據(jù)本發(fā)明的第二十二方式，也可以是在上述第十九方式中，上述圖像處理方法還包括運(yùn)動(dòng)量估計(jì)步驟，在該運(yùn)動(dòng)量估計(jì)步驟中將其它圖像與本圖像進(jìn)行比較來(lái)估計(jì)上述本圖像內(nèi)的被攝體的運(yùn)動(dòng)量，在上述基準(zhǔn)圖像選擇步驟中，根據(jù)在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
[0027]根據(jù)本發(fā)明的第二十三方式，也可以是在上述第二十二方式中，在上述基準(zhǔn)圖像選擇步驟中，將在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)得到的運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
[0028]根據(jù)本發(fā)明的第二十四方式，也可以是在上述第二十二方式中，在上述合成對(duì)象圖像選擇步驟中，從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
[0029]本發(fā)明的第二十五方式是一種對(duì)存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像進(jìn)行合成而生成合成圖像的程序，該程序使計(jì)算機(jī)執(zhí)行以下步驟:基準(zhǔn)圖像選擇步驟，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像；合成對(duì)象圖像選擇步驟，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及合成處理步驟，通過對(duì)在上述基準(zhǔn)圖像選擇步驟中選擇出的基準(zhǔn)圖像合成在上述合成對(duì)象圖像選擇步驟中選擇出的上述合成對(duì)象圖像，來(lái)生成上述合成圖像。
[0030]根據(jù)上述各方式，在存儲(chǔ)器中存儲(chǔ)拍攝得到的多個(gè)圖像。另外，圖像選擇部在存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外成為合成基準(zhǔn)的基準(zhǔn)圖像，在多個(gè)圖像中從拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與該基準(zhǔn)圖像合成的合成對(duì)象圖像。另外，合成處理部對(duì)由圖像選擇部選擇出的基準(zhǔn)圖像合成由圖像選擇部選擇出的合成對(duì)象圖像來(lái)生成合成圖像。由此，能夠使用更適合于合成的圖像來(lái)生成合成圖像。
【專利附圖】
【附圖說明】
[0031]圖1是表示第一實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0032]圖2是表示第一實(shí)施方式中的幀存儲(chǔ)器所存儲(chǔ)的幀的例子的概要圖。
[0033]圖3是表示在第一實(shí)施方式中攝像元件拍攝圖像的定時(shí)與攝像元件的位置的關(guān)系的概要圖。
[0034]圖4A是表示以往公知的合成幀F(xiàn)。與幀F(xiàn)n而生成合成圖像時(shí)的處理過程的概要圖。
[0035]圖4B是表示以往公知的合成幀F(xiàn)tl與幀F(xiàn)n而生成合成圖像時(shí)的處理過程的概要圖。
[0036]圖4C是表示以往公知的合成Ftl與幀F(xiàn)n而生成合成圖像時(shí)的處理過程的概要圖。
[0037]圖5是表示在第一實(shí)施方式中將在時(shí)刻h拍攝得到的幀F(xiàn)tl設(shè)為基準(zhǔn)圖像的情況下的允許的攝像元件的運(yùn)動(dòng)量X的圖表。
[0038]圖6是表示在第一實(shí)施方式中將在時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2設(shè)為基準(zhǔn)圖像的情況下的允許的攝像元件的運(yùn)動(dòng)量X的圖表。
[0039]圖7是表示第一實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0040]圖8是表示第二實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0041]圖9是表示第二實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0042]圖10是表示第二實(shí)施方式的攝像元件的動(dòng)作的一例的概要圖。
[0043]圖11是表示第二實(shí)施方式中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0044]圖12是表示第二實(shí)施方式中的攝像元件的動(dòng)作的一例的概要圖。
[0045]圖13是表示第二實(shí)施方式中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0046]圖14是表示第三實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0047]圖15是表示第三實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0048]圖16是表示第四實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)的框圖。
[0049]圖17是表示第四實(shí)施方式中的圖像處理裝置生成合成圖像的過程的流程圖。
[0050]圖18是表示第四實(shí)施方式中的幀存儲(chǔ)器內(nèi)的各幀中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0051]圖19是表示第四實(shí)施方式中的攝像元件的運(yùn)動(dòng)量與時(shí)刻t的關(guān)系的一例的圖表。
[0052]圖20是表示第四實(shí)施方式中的基準(zhǔn)圖像的選擇例的概要圖。
[0053]圖21是表示第五實(shí)施方式中的內(nèi)窺鏡裝置的結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0054](第一實(shí)施方式)
[0055]以下，參照【專利附圖】
【附圖說明】本發(fā)明的第一實(shí)施方式。圖1是表示本實(shí)施方式中的圖像處理裝置10的結(jié)構(gòu)的框圖。在圖1中，圖像處理裝置10具備合成控制部11和幀存儲(chǔ)器(存儲(chǔ)器)12。合成控制部11具備圖像選擇部13和合成處理部14，生成合成圖像。幀存儲(chǔ)器12存儲(chǔ)所輸入的影像信號(hào)(拍攝得到的多個(gè)圖像)。影像信號(hào)例如為運(yùn)動(dòng)圖像，包含連續(xù)拍攝得到的幀。
[0056]當(dāng)被輸入合成指示時(shí)，圖像選擇部13從幀存儲(chǔ)器12所存儲(chǔ)的影像信號(hào)所包含的幀中選擇成為合成基準(zhǔn)的基準(zhǔn)圖像以及與基準(zhǔn)圖像合成的多個(gè)合成對(duì)象圖像。合成處理部14對(duì)由圖像選擇部13選擇的基準(zhǔn)圖像合成合成對(duì)象圖像，生成合成圖像。由合成處理部14生成的合成圖像是去除了基準(zhǔn)圖像的時(shí)間方向的噪聲的圖像。即，合成處理部14通過對(duì)基準(zhǔn)圖像合成合成對(duì)象圖像，來(lái)進(jìn)行基準(zhǔn)圖像的噪聲去除處理。
[0057]接著，說明幀存儲(chǔ)器12所存儲(chǔ)的幀的例子。圖2是表示本實(shí)施方式中的幀存儲(chǔ)器12所存儲(chǔ)的幀的例子的概要圖。在圖2中，幀存儲(chǔ)器12存儲(chǔ)有拍攝時(shí)間t不同的N個(gè)幀F(xiàn)0, F1, F2...Fm^1 , Fm, Fm+1...FN_2，F(xiàn)N_1，F(xiàn)N(N為自然數(shù)，M為0以上N以下的整數(shù))。另夕卜，在圖2中，從幀F(xiàn)tl至幀F(xiàn)n按順序進(jìn)行拍攝，幀F(xiàn)tl的拍攝時(shí)間最早，幀F(xiàn)n的拍攝時(shí)間最晚。例如，幀F(xiàn)tl的拍攝時(shí)間為V幀F(xiàn)1的拍攝時(shí)間tlt)其它幀F(xiàn)2?Fn的拍攝時(shí)間也同樣地為t2--ν。
[0058]接著，說明輸入到幀存儲(chǔ)器12的影像信號(hào)。例如，輸入到幀存儲(chǔ)器12的影像信號(hào)是由內(nèi)窺鏡裝置的前端部所具備的攝像元件拍攝到的影像信號(hào)。圖3是表示設(shè)置于內(nèi)窺鏡裝置的前端部的攝像元件104拍攝圖像的定時(shí)與攝像元件104的位置的關(guān)系的概要圖。在圖3中，攝像兀件104在從時(shí)刻t。至?xí)r刻tN的期間拍攝被攝體。而且，攝像兀件104在時(shí)刻h輸出幀F(xiàn)tl,在時(shí)刻Tn輸出幀F(xiàn)n (參照?qǐng)D2)。另外，在時(shí)刻h與時(shí)刻tN攝像元件104的位置不同。在圖3中，時(shí)刻tQ處的攝像元件104與時(shí)刻tN處的攝像元件104之間的、攝像元件104的運(yùn)動(dòng)量為Xn。
[0059]因而，在被攝體處于靜止的情況下，由于攝像元件104動(dòng)作，因此幀F(xiàn)。的被攝體的位置與幀F(xiàn)n的被攝體的位置不同。因而，在合成幀F(xiàn)tl與幀F(xiàn)n而生成合成圖像的情況下，需要在進(jìn)行對(duì)位使幀F(xiàn)tl的被攝體的位置與幀F(xiàn)n的被攝體的位置變?yōu)橄嗤恢弥筮M(jìn)行合成處理。
[0060]圖4A?圖4C是表示合成幀F(xiàn)。與幀F(xiàn)n而生成合成圖像時(shí)的現(xiàn)有處理過程的概要圖。在圖4A?圖4C中，將由圖3示出的攝像元件104輸出的幀F(xiàn)。設(shè)為基準(zhǔn)圖像，將幀F(xiàn)n設(shè)為合成對(duì)象圖像(關(guān)于幀，參照?qǐng)D2)。另外，作為被攝體，拍攝了“A”這種字符。另外，在幀F(xiàn)tl與幀F(xiàn)n中均包含噪聲。
[0061 ] 圖4A是表示將幀F(xiàn)tl與幀F(xiàn)n重疊所得到的圖像的概要圖。在拍攝幀F(xiàn)tl的時(shí)刻tQ與拍攝幀F(xiàn)n的時(shí)刻、攝像元件104的位置不同。因此，在圖4A中，幀F(xiàn)。中的被攝體“A” 401的位置與幀F(xiàn)n中的被攝體“A”402的位置相差運(yùn)動(dòng)量XN。將合成對(duì)象圖像(幀F(xiàn)n)中的被攝體“A”從基準(zhǔn)圖像(幀F(xiàn)tl)中的被攝體“A”偏移的量設(shè)為模糊量。
[0062]圖4B是表示使幀F(xiàn)n的被攝體“A”的位置與幀F(xiàn)tl的被攝體“A”的位置一致的狀態(tài)的、彼此的幀的概要圖。在合成處理部14中進(jìn)行使作為合成對(duì)象圖像的幀F(xiàn)n中的被攝體“A”402的位置與作為基準(zhǔn)圖像的幀F(xiàn)。中的被攝體“A”401的位置一致的處理。這樣，使幀F(xiàn)n的位置進(jìn)行移動(dòng)，因此在進(jìn)行被攝體的對(duì)位的情況下，產(chǎn)生幀F(xiàn)tl與幀F(xiàn)n重復(fù)的區(qū)域以及不重復(fù)的區(qū)域。
[0063]圖4C是表示對(duì)進(jìn)行了對(duì)位的幀F(xiàn)。與幀F(xiàn)n進(jìn)行加權(quán)平均而生成的合成圖像500的概要圖。合成圖像500的區(qū)域與作為基準(zhǔn)圖像的幀F(xiàn)。的區(qū)域相同。在圖4C中，幀F(xiàn)。與幀F(xiàn)n重復(fù)的區(qū)域的噪聲有所降低。然而，合成圖像500是通過對(duì)幀F(xiàn)tl與幀F(xiàn)n進(jìn)行加權(quán)平均而生成的，因此幀F(xiàn)tl與幀F(xiàn)n不重復(fù)的區(qū)域501的亮度變暗。
[0064]因而，根據(jù)所允許的區(qū)域501的大小來(lái)確定合成對(duì)象圖像的最大模糊量。例如在使所允許的區(qū)域501的大小大的情況下，在生成合成圖像500時(shí)能夠使用模糊量大的合成對(duì)象圖像，因此，能夠使用更多的圖像。因此，能夠提高噪聲去除效果，但是亮度不下降的有效圖像大小變小。另外，在使所允許的區(qū)域501的大小窄的情況下，在生成合成圖像500時(shí)無(wú)法使用模糊量大的合成對(duì)象圖像，因此能夠合成的圖像變少。因此，噪聲去除效果降低，但是不產(chǎn)生亮度下降的有效圖像的大小變大。鑒于這些來(lái)確定所允許的合成對(duì)象圖像的最大模糊量。當(dāng)攝像元件104的運(yùn)動(dòng)量Xn變大時(shí)，合成對(duì)象圖像的模糊量變大。因而，根據(jù)區(qū)域501的允許范圍來(lái)確定所允許的攝像元件104的運(yùn)動(dòng)量XN。
[0065]接著，說明基準(zhǔn)圖像、所允許的攝像元件104的每單位時(shí)間的運(yùn)動(dòng)量X、作為合成對(duì)象圖像而允許選擇的范圍的關(guān)系。
[0066]圖5是表示將幀存儲(chǔ)器12內(nèi)存儲(chǔ)的多個(gè)幀中拍攝時(shí)間最早的時(shí)刻h拍攝的幀F(xiàn)tl設(shè)定為基準(zhǔn)圖像的情況下的、所允許的攝像元件104的每單位時(shí)間的運(yùn)動(dòng)量X的圖表。圖5的圖表的縱軸為攝像元件104的每單位時(shí)間的運(yùn)動(dòng)量，如果多個(gè)幀的拍攝間隔固定，則也能夠視為每個(gè)幀間的運(yùn)動(dòng)量。此外，以下，僅稱為運(yùn)動(dòng)量X。另外，圖5的圖表的橫軸為時(shí)刻t。此外，攝像元件104進(jìn)行勻速直線運(yùn)動(dòng)。另外，將所允許的攝像元件104的運(yùn)動(dòng)量X設(shè)為Xa。
[0067]在圖5中，攝像元件104的運(yùn)動(dòng)量X在超過時(shí)刻tM的時(shí)間點(diǎn)超過運(yùn)動(dòng)量Xa。因而，在生成合成圖像500時(shí)能夠用作合成對(duì)象圖像的幀F(xiàn)為從時(shí)刻h至?xí)r刻tM為止拍攝得到的幀F(xiàn)tl?Fm(參照?qǐng)D2)。S卩，在將幀F(xiàn)tl設(shè)定為基準(zhǔn)圖像的情況下，在時(shí)刻tM之后拍攝得到的幀F(xiàn)m+1?Fn無(wú)法用作合成對(duì)象圖像。
[0068]圖6是表示本實(shí)施方式中將在時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2設(shè)定為基準(zhǔn)圖像的情況下的、所允許的攝像元件104的運(yùn)動(dòng)量X的圖表。圖6的圖表的縱軸、橫軸、所允許的攝像元件104的運(yùn)動(dòng)量Xa與圖5相同。
[0069]在本實(shí)施方式中，作為基準(zhǔn)圖像，從幀存儲(chǔ)器12內(nèi)在除了拍攝時(shí)間最早的拍攝時(shí)間h時(shí)拍攝得到的幀F(xiàn)tl以及在拍攝時(shí)間最晚的拍攝時(shí)間tN時(shí)拍攝得到的幀F(xiàn)n以外的其余的幀中進(jìn)行選擇。更具體地說，將在最接近幀F(xiàn)tl的拍攝時(shí)間與幀F(xiàn)n的拍攝時(shí)間的中間(正中間)的時(shí)刻的時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2選擇為基準(zhǔn)圖像。
[0070]在將在時(shí)刻tN/2拍攝得到的幀F(xiàn)n/2設(shè)定為基準(zhǔn)圖像的情況下，基于拍攝基準(zhǔn)圖像的時(shí)刻tN/2的攝像元件104的位置和時(shí)刻h的攝像元件104的位置的運(yùn)動(dòng)量X不超過所允許的運(yùn)動(dòng)量Xa。另外，基于拍攝基準(zhǔn)圖像的時(shí)刻tN/2的攝像元件104的位置和時(shí)刻tN的攝像元件104的位置的運(yùn)動(dòng)量X也不超過所允許的運(yùn)動(dòng)量Xa。因而，在生成合成圖像500時(shí)，能夠?qū)⒆鳛榛鶞?zhǔn)圖像的幀F(xiàn)n/2之前的全部幀以及作為基準(zhǔn)圖像的幀F(xiàn)n/2之后的全部幀用作合成對(duì)象圖像。即，從時(shí)刻h至?xí)r刻tN為止拍攝得到的全部幀F(xiàn)tl?Fn能夠用作合成對(duì)象圖像。
[0071]這樣，通過從幀存儲(chǔ)器12所存儲(chǔ)的多個(gè)幀中將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間的時(shí)刻tN/2的時(shí)刻拍攝得到的幀F(xiàn)n72用作基準(zhǔn)圖像，能夠?qū)鎯?chǔ)器12所存儲(chǔ)的更多的幀用作合成對(duì)象圖像。通過對(duì)更多的幀進(jìn)行合成，能夠期望得到的高噪聲降低效果。特別是，在幀存儲(chǔ)器12內(nèi)，從比基準(zhǔn)圖像的拍攝時(shí)間早的拍攝時(shí)間的幀群以及比該基準(zhǔn)圖像的拍攝時(shí)間晚的拍攝時(shí)間的幀群兩者中選擇合成對(duì)象圖像，由此能夠?qū)⒏嗟膸米骱铣蓪?duì)象圖像。
[0072]在本實(shí)施方式中，將在最接近時(shí)刻tN/2的時(shí)刻拍攝得到的幀F(xiàn)n/2用作基準(zhǔn)圖像，但是并不限定于此，也可以從幀存儲(chǔ)器12內(nèi)在除了在拍攝時(shí)間最早的拍攝時(shí)間h拍攝得到的幀F(xiàn)tl以及在拍攝時(shí)間最晚的拍攝時(shí)間tN拍攝得到的幀F(xiàn)n以外的其余的幀中選擇基準(zhǔn)圖像。
[0073]接著，說明圖像處理裝置10生成合成圖像的過程。圖7是表示本實(shí)施方式中的圖像處理裝置10生成合成圖像的過程的流程圖。在本實(shí)施方式中，從外部對(duì)幀存儲(chǔ)器12逐個(gè)地輸入幀。
[0074](步驟S101)圖像處理裝置10將所輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器I2。之后，進(jìn)入到步驟S102的處理。
[0075](步驟S102)合成控制部11判斷是否接收到合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S103的處理，在除此以外的情況下，返回到步驟SlOl的處理。在以后的說明中，以在幀存儲(chǔ)器12中存儲(chǔ)有多個(gè)幀為前提進(jìn)行說明。
[0076](步驟S103)圖像選擇部13從圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中，首先從除了在拍攝時(shí)間最早的拍攝時(shí)間拍攝得到的幀以及在拍攝時(shí)間最晚的拍攝時(shí)間拍攝得到的幀以外的其余的幀的群中選擇基準(zhǔn)圖像。此外，在本實(shí)施方式中，將在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間時(shí)刻的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。之后，進(jìn)入到步驟S104的處理。
[0077](步驟S104)圖像選擇部13從作為基準(zhǔn)圖像而選擇的幀以外的多個(gè)幀中，作為參照?qǐng)D像而選擇最接近作為基準(zhǔn)圖像而選擇的幀的拍攝時(shí)間的一個(gè)幀。參照?qǐng)D像是作為選擇合成對(duì)象圖像時(shí)的合成對(duì)象圖像候選的圖像。之后，進(jìn)入到步驟S105的處理。此外，在經(jīng)由后述的步驟S106的處理而再次進(jìn)行步驟S104的處理的情況下，圖像選擇部13從尚未進(jìn)行步驟S105的判斷處理的幀中選擇最接近作為基準(zhǔn)圖像而選擇的幀的拍攝時(shí)間的一個(gè)幀。此外，對(duì)于基準(zhǔn)圖像，圖像選擇部13從拍攝時(shí)間早的幀和拍攝時(shí)間晚的幀兩者中依次選擇參照?qǐng)D像。
[0078](步驟S105)圖像選擇部13判斷是否能夠?qū)⒃诓襟ES104的處理中選擇的作為參照?qǐng)D像的幀用作合成對(duì)象圖像。圖像選擇部13將判斷為能夠用作合成對(duì)象圖像的幀設(shè)定為合成對(duì)象圖像。之后，進(jìn)入到步驟S106的處理。例如通過以下方法來(lái)進(jìn)行是否能夠?qū)⒂蓤D像選擇部13選擇的幀用作合成對(duì)象圖像的判斷。圖像選擇部13對(duì)基準(zhǔn)圖像中的被攝體與參照?qǐng)D像中的被攝體進(jìn)行對(duì)位。然后，圖像選擇部13計(jì)算參照?qǐng)D像的被攝體相對(duì)于基準(zhǔn)圖像的被攝體的模糊量。而且，在計(jì)算出的模糊量小于閾值的情況下，圖像選擇部13判斷為能夠?qū)⑺x擇的幀用作合成對(duì)象圖像。然后，圖像選擇部13將被判斷為能夠用作合成對(duì)象圖像的幀設(shè)定為合成對(duì)象圖像。另一方面，在計(jì)算出的模糊量為閾值以上的情況下，圖像選擇部13判斷為無(wú)法將所選擇的幀用作合成對(duì)象圖像。此外，例如根據(jù)圖4C示出的區(qū)域501的允許范圍來(lái)設(shè)定閾值。另外，閾值可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。
[0079](步驟S106)圖像選擇部13判斷是否對(duì)圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的幀中的除了作為基準(zhǔn)圖像而選擇的幀以外的全部幀進(jìn)行了步驟S105的判斷處理。在圖像選擇部13判斷為對(duì)除了作為基準(zhǔn)圖像而選擇的幀以外的全部幀進(jìn)行了步驟S105的處理的情況下，進(jìn)入到步驟S107的處理，在除此以外的情況下返回到步驟S104的處理。
[0080](步驟S107)合成處理部14對(duì)通過步驟S103的處理而選擇的基準(zhǔn)圖像合成通過步驟S105的處理而設(shè)定的全部合成對(duì)象圖像，生成合成圖像。之后，結(jié)束處理。
[0081]如上所述，在本實(shí)施方式中，圖像選擇部13從幀存儲(chǔ)器12所存儲(chǔ)的多個(gè)幀中，作為基準(zhǔn)圖像而選擇在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀。另外，圖像選擇部13能夠從拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前的幀群和之后的幀群兩者中選擇作為參照?qǐng)D像的幀。而且，圖像選擇部13將作為參照?qǐng)D像而選擇的幀中能夠用作合成對(duì)象圖像的幀設(shè)定為合成對(duì)象圖像。即，能夠從拍攝時(shí)間為基準(zhǔn)圖像的拍攝時(shí)間之前的幀群和之后的幀群兩者中選擇作為合成對(duì)象圖像的幀。因此，根據(jù)本實(shí)施方式，能夠?qū)D像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的更多的幀用作合成對(duì)象圖像而生成合成圖像，因此能夠期望得到更高的噪聲降低效果。
[0082]此外，在本實(shí)施方式中，作為從幀存儲(chǔ)器12內(nèi)在除了在拍攝時(shí)間最早的拍攝時(shí)間h拍攝得到的幀F(xiàn)tl以及在拍攝時(shí)間最晚的拍攝時(shí)間tN拍攝得到的幀F(xiàn)n以外的其余的幀中選擇基準(zhǔn)圖像的優(yōu)選例，從幀存儲(chǔ)器12所存儲(chǔ)的多個(gè)幀中，作為基準(zhǔn)圖像而選擇在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀，但是并不限定于此。例如，也可以以使在設(shè)定為基準(zhǔn)圖像的幀的拍攝時(shí)間之前拍攝并存儲(chǔ)的幀的個(gè)數(shù)與在設(shè)定為基準(zhǔn)圖像的幀的拍攝時(shí)間之后拍攝并存儲(chǔ)的幀的個(gè)數(shù)最接近的方式、更優(yōu)選使其相同的方式，來(lái)選擇基準(zhǔn)圖像。
[0083]此外，在上述例子中，作為參照?qǐng)D像，圖像選擇部13選擇和設(shè)定幀存儲(chǔ)器12所存儲(chǔ)的全部幀(除了基準(zhǔn)圖像以外)，判斷是否能夠?qū)⒃搮⒄請(qǐng)D像全部用作合成對(duì)象圖像，但是并不限定于此。例如，還能夠預(yù)先決定合成對(duì)象圖像的個(gè)數(shù)。在該情況下，在步驟S106中，對(duì)設(shè)定為合成對(duì)象圖像的個(gè)數(shù)進(jìn)行計(jì)數(shù)，判斷其計(jì)數(shù)結(jié)果是否達(dá)到預(yù)先決定的合成對(duì)象圖像個(gè)數(shù)。而且，設(shè)為即使殘留尚未進(jìn)行是否用作合成對(duì)象圖像的判斷的參照?qǐng)D像、但是在設(shè)定為合成對(duì)象圖像的個(gè)數(shù)達(dá)到預(yù)先決定的個(gè)數(shù)的時(shí)間點(diǎn)進(jìn)入到步驟S107的處理即可。
[0084]另外，這樣，在預(yù)先決定合成對(duì)象圖像的個(gè)數(shù)的情況下，特別是，從拍攝時(shí)間接近基準(zhǔn)圖像的拍攝時(shí)間的幀中按順序選擇參照?qǐng)D像，在后級(jí)的合成處理的有效化方面是有用的。拍攝時(shí)間接近基準(zhǔn)圖像的拍攝時(shí)間的參照?qǐng)D像是相對(duì)于基準(zhǔn)圖像模糊量小的幀的可能性極高。因此所設(shè)定的合成對(duì)象圖像從與基準(zhǔn)圖像的模糊量小的幀中優(yōu)先設(shè)定的可能性提高。因此，在生成合成圖像時(shí)能夠?qū)崿F(xiàn)有效化。
[0085](第二實(shí)施方式)
[0086]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第二實(shí)施方式。在本實(shí)施方式中，根據(jù)由后述的運(yùn)動(dòng)量估計(jì)部21估計(jì)的被攝體的運(yùn)動(dòng)量來(lái)選定基準(zhǔn)圖像。
[0087]圖8是表示本實(shí)施方式中的圖像處理裝置20的結(jié)構(gòu)的框圖。在圖8中，圖像處理裝置20具備合成控制部11、幀存儲(chǔ)器12以及運(yùn)動(dòng)量估計(jì)部21。合成控制部11和幀存儲(chǔ)器12與第一實(shí)施方式中的各部相同。運(yùn)動(dòng)量估計(jì)部21估計(jì)被攝體的運(yùn)動(dòng)量X。此外，被攝體的運(yùn)動(dòng)量的估計(jì)方法存在幾個(gè)。例如，考慮以下方法:通過對(duì)新輸入的幀與該幀的前一幀輸入的幀的亮度值進(jìn)行比較來(lái)對(duì)新輸入的幀內(nèi)的被攝體的運(yùn)動(dòng)量進(jìn)行估計(jì)；以及在被攝體本身幾乎不動(dòng)作的環(huán)境中使用傳感器來(lái)檢測(cè)攝像元件104的運(yùn)動(dòng)量X，將檢測(cè)出的攝像元件的運(yùn)動(dòng)量X視為被攝體的運(yùn)動(dòng)量等，但是本實(shí)施方式中的運(yùn)動(dòng)量估計(jì)部21也可以采用任意的估計(jì)方法。
[0088]在此，以幀處理進(jìn)行了說明，但是在通過隔行掃描進(jìn)行處理的情況下，也可以使用根據(jù)新輸入的隔行掃描圖像和前一輸入的隔行掃描圖像進(jìn)行插值所得到的圖像來(lái)估計(jì)被攝體的運(yùn)動(dòng)量X。
[0089]以下，說明本實(shí)施方式中的合成圖像的生成過程。圖9是表示本實(shí)施方式中的圖像處理裝置20生成合成圖像的過程的流程圖。模糊量與上述實(shí)施方式的說明重復(fù)，因此省略詳細(xì)說明。
[0090](步驟S201)圖像處理裝置10將從外部逐個(gè)地輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器12。之后，進(jìn)入到步驟S202的處理。
[0091](步驟S202)運(yùn)動(dòng)量估計(jì)部21對(duì)拍攝通過步驟S201的處理而圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的幀時(shí)的被攝體的運(yùn)動(dòng)量X進(jìn)行估計(jì)。之后，進(jìn)入到步驟S203的處理。此夕卜，被攝體的運(yùn)動(dòng)量X例如能夠如上所述那樣，通過對(duì)通過步驟S201的處理而圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的幀與該幀的前一幀進(jìn)行比較來(lái)進(jìn)行估計(jì)。
[0092](步驟S203)圖像處理裝置10將通過步驟S202的處理而由運(yùn)動(dòng)量估計(jì)部21估計(jì)出的運(yùn)動(dòng)量X與通過步驟S201的處理而存儲(chǔ)的幀相關(guān)聯(lián)地存儲(chǔ)。之后，進(jìn)入到步驟S204的處理。
[0093](步驟S204)合成控制部11判斷是否接收到合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S205的處理，在除此以外的情況下，返回到步驟S201的處理。
[0094](步驟S205)圖像選擇部13從在被攝體的運(yùn)動(dòng)量X為作為閾值的規(guī)定的運(yùn)動(dòng)量Xa以下時(shí)拍攝得到的多個(gè)幀中選擇基準(zhǔn)圖像。在本實(shí)施方式中，圖像選擇部13首先在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以下時(shí)拍攝得到的多個(gè)幀中排除拍攝時(shí)間最早的幀F(xiàn)tl和拍攝時(shí)間最晚的幀F(xiàn)n。然后，圖像選擇部13從其余的多個(gè)幀中，將在被攝體的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀選擇為基準(zhǔn)圖像。在存在多個(gè)符合上述條件的幀的情況下，將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間(正中間)的時(shí)刻tN/2的時(shí)刻拍攝得到的幀用作基準(zhǔn)圖像。之后，進(jìn)入到步驟S206的處理。
[0095](步驟S206)圖像選擇部13從圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中選擇一個(gè)參照?qǐng)D像。詳細(xì)地說，圖像選擇部13首先排除作為基準(zhǔn)圖像而選擇的幀以及已經(jīng)進(jìn)行了步驟S207的處理的幀。然后，圖像選擇部13從其余幀中選擇最接近基準(zhǔn)圖像的拍攝時(shí)間的幀。然后，如果所選擇的該幀的估計(jì)運(yùn)動(dòng)量X小于后述的成為閾值的確認(rèn)的既定的規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將所選擇的該幀選擇為參照?qǐng)D像。也就是說，從估計(jì)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的幀群中選擇合成對(duì)象圖像。換言之，圖像選擇部13讀出與各幀相關(guān)聯(lián)地存儲(chǔ)的估計(jì)運(yùn)動(dòng)量X，將該估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀不選擇為參照?qǐng)D像、即合成對(duì)象圖像。通過該處理，能夠減輕后述的是否為合成對(duì)象圖像的判斷處理的負(fù)荷。之后，進(jìn)入到步驟S207的處理。
[0096](步驟S207)圖像選擇部13判斷是否能夠?qū)⑼ㄟ^步驟S206的處理而選擇的參照?qǐng)D像用作合成對(duì)象圖像。是否能夠用作合成對(duì)象圖像的判斷和合成對(duì)象圖像的設(shè)定處理與第一實(shí)施方式相同，因此省略說明。之后，進(jìn)入到步驟S208的處理。
[0097](步驟S208)圖像選擇部13判斷是否對(duì)圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中的除了作為基準(zhǔn)圖像而選擇的幀和估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀以外的全部幀進(jìn)行了步驟S207的處理。在圖像選擇部13判斷為對(duì)全部幀進(jìn)行了步驟S207的處理的情況下，進(jìn)入到步驟S208的處理，在除此以外的情況下返回到步驟S206的處理。
[0098](步驟S209)合成處理部14對(duì)所選擇的基準(zhǔn)圖像合成通過步驟S207的處理而設(shè)定的合成對(duì)象圖像，由此生成合成圖像。之后，結(jié)束處理。
[0099]在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的情況下,被攝體的模糊量超過允許值而進(jìn)行拍攝。因此，從合成處理的有效化的觀點(diǎn)出發(fā)，期望不將在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的幀使用于參照?qǐng)D像。也就是說，從合成處理的有效化的觀點(diǎn)出發(fā)，期望圖像處理裝置20僅使用在被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀來(lái)判斷是否用作合成對(duì)象圖像。進(jìn)一步換言之，圖像處理裝置20從在被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀中選擇合成對(duì)象圖像，因此從合成處理的有效化的觀點(diǎn)出發(fā)是期望的。
[0100]因此，在本實(shí)施方式中，不將在被攝體的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的幀選擇為參照?qǐng)D像，由此減輕了是否為合成對(duì)象圖像的判斷處理的負(fù)荷。
[0101]此外，作為閾值的規(guī)定運(yùn)動(dòng)量Xa可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。例如，在快門速度快的情況下，即使攝像元件104的速度快，被攝體的運(yùn)動(dòng)量也小而不容易變模糊。另外，在快門速度慢的情況下，即使攝像元件104的速度慢，被攝體的運(yùn)動(dòng)量也變大而容易變模糊。因此，也可以在快門速度快的情況下，將規(guī)定運(yùn)動(dòng)量Xa設(shè)定為更慢的速度，在快門速度慢的情況下，將規(guī)定運(yùn)動(dòng)量Xa設(shè)定為更快的速度。這樣，根據(jù)拍攝幀時(shí)的快門速度不同而規(guī)定運(yùn)動(dòng)量Xa不同，因此也可以根據(jù)快門速度而變更規(guī)定運(yùn)動(dòng)量Xa。
[0102]為了促進(jìn)對(duì)本實(shí)施方式的理解，理解為被攝體的動(dòng)作原因在于攝像元件的動(dòng)作，使用以下參考例來(lái)說明根據(jù)攝像元件104的動(dòng)作方法如何應(yīng)用本實(shí)施方式。
[0103]首先,說明攝像元件104進(jìn)行有規(guī)則的振動(dòng)的參考例I。圖10是表示攝像元件104的動(dòng)作的一例的概要圖，圖11是表示在攝像元件104進(jìn)行圖10示出那樣的振動(dòng)運(yùn)動(dòng)的情況下的、拍攝各幀時(shí)的攝像元件104的運(yùn)動(dòng)量Xn與拍攝時(shí)間t的關(guān)系的圖表。在圖示的例子中，攝像元件104在時(shí)刻h?tN期間進(jìn)行有規(guī)則的振動(dòng)。
[0104]在圖11中，從時(shí)刻tQ至?xí)r刻tN為止攝像元件104的運(yùn)動(dòng)量X始終小于規(guī)定運(yùn)動(dòng)量X3O因而，圖像選擇部13判斷為能夠?qū)⒃趶臅r(shí)刻h至?xí)r刻tN為止拍攝得到的全部幀F(xiàn)。?Fn用作基準(zhǔn)圖像和參照?qǐng)D像。
[0105]接著，說明本參考例I中的基準(zhǔn)圖像的選擇方法。如圖9的步驟S205中說明那樣，圖像選擇部13首先在攝像元件104的運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以下時(shí)拍攝得到的巾貞中排除拍攝時(shí)間最早的巾貞F0與拍攝時(shí)間最晚的巾貞Fn。然后，圖像選擇部13從其余的巾貞中選擇在攝像元件104的運(yùn)動(dòng)量最低時(shí)拍攝得到的幀F(xiàn)x與幀F(xiàn)z，將這些幀設(shè)定為基準(zhǔn)圖像的候選幀。
[0106]這樣，在存在多個(gè)符合基準(zhǔn)圖像的選定條件的幀的情況下，將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間(正中間)的時(shí)刻tN/2的時(shí)刻拍攝得到的幀用作基準(zhǔn)圖像。因而，在本參考例I中，圖像選擇部13將幀F(xiàn)z選擇為基準(zhǔn)圖像。而且，在從時(shí)刻h至?xí)r刻tN為止拍攝得到的全部幀F(xiàn)tl?Fn中排除基準(zhǔn)圖像(幀F(xiàn)z)后的幀群成為參照?qǐng)D像的候選。
[0107]接著說明參照?qǐng)D像的選擇方法。在本參考例I中，如圖11所示，成為參照?qǐng)D像的候選的全部幀均是在低于規(guī)定運(yùn)動(dòng)量Xa的運(yùn)動(dòng)量時(shí)拍攝的。因此，能夠?qū)⒊嘶鶞?zhǔn)圖像以外的幀存儲(chǔ)器12內(nèi)的全部幀選擇為參照?qǐng)D像。
[0108]接著,說明攝像元件104不規(guī)則地動(dòng)作的參考例2。圖12是表示攝像元件104的動(dòng)作的一例的概要圖，圖13是表示攝像元件104進(jìn)行了圖12示出那樣的不規(guī)則的運(yùn)動(dòng)的情況下的、拍攝各幀時(shí)的攝像元件104的運(yùn)動(dòng)量X與拍攝時(shí)間t的關(guān)系的圖表。在圖12中，攝像元件104在時(shí)刻&?tN期間不規(guī)則地動(dòng)作。
[0109]如圖13所示，在從幀F(xiàn)。到幀F(xiàn)n的期間，存在攝像元件104的運(yùn)動(dòng)量為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的巾貞。例如，巾貞Fy是在攝像元件104的運(yùn)動(dòng)量為規(guī)定運(yùn)動(dòng)量Xa以上時(shí)拍攝得到的幀，如圖13所示，幀F(xiàn)y中的被攝體“A” 403的模糊量大。
[0110]另外，例如幀F(xiàn)x與幀F(xiàn)z是在攝像元件104的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀。因而，圖像選擇部13判斷為能夠?qū)⒃跀z像元件104的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀群(包含幀F(xiàn)x與幀F(xiàn)z)用作基準(zhǔn)圖像和參照?qǐng)D像。
[0111]接著，說明本參考例2中的基準(zhǔn)圖像的選擇方法。如圖9的步驟S205中說明那樣，圖像選擇部13首先從在攝像元件104的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的巾貞中排除拍攝時(shí)間最早的巾貞F0與拍攝時(shí)間最晚的巾貞Fn。然后，圖像選擇部13從其余的巾貞中選擇攝像元件104的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀F(xiàn)x，將該幀選擇并設(shè)定為基準(zhǔn)圖像。
[0112]接著，說明參照?qǐng)D像的選擇方法。圖像選擇部13從接近基準(zhǔn)圖像的拍攝時(shí)間的幀起按順序判斷估計(jì)運(yùn)動(dòng)量X是否小于規(guī)定運(yùn)動(dòng)量Xa并且選擇參照?qǐng)D像。在本參考例2中，如圖13所示，在幀存儲(chǔ)器12內(nèi)的多個(gè)幀中存在估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀。例如為幀F(xiàn)y。
[0113]圖像選擇部13讀出與各幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12內(nèi)的各幀的估計(jì)運(yùn)動(dòng)量X，不將幀F(xiàn)y那樣的估計(jì)運(yùn)動(dòng)量X為預(yù)定運(yùn)動(dòng)量Xa以上的幀選擇為參照?qǐng)D像而確認(rèn)下一幀或者其它幀。其結(jié)果，圖像選擇部13僅將估計(jì)運(yùn)動(dòng)量X小于既定的運(yùn)動(dòng)量Xa的幀選擇為參照?qǐng)D像。因此，在本參考例2的情況下，作為參照?qǐng)D像而選擇的幀的個(gè)數(shù)與上述參考例I相比減少。然而，估計(jì)運(yùn)動(dòng)量X為規(guī)定運(yùn)動(dòng)量Xa以上的幀不能成為合成對(duì)象圖像是明顯的，因此將這樣的幀轉(zhuǎn)到是否為合成對(duì)象圖像的判斷處理會(huì)招致處理速度下降、處理高負(fù)荷。因此，通過不將這樣的不適合的幀轉(zhuǎn)到是否為合成對(duì)象圖像的判斷處理而在作為其前級(jí)的處理的參照?qǐng)D像的選擇處理時(shí)不選擇為參照?qǐng)D像，減輕了是否為合成對(duì)象圖像的判斷處理的負(fù)荷，實(shí)現(xiàn)了處理的有效化。
[0114]如上所述,在本實(shí)施方式中，圖像選擇部13從被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的多個(gè)幀中選擇基準(zhǔn)圖像。更優(yōu)選從被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的多個(gè)幀中排除拍攝時(shí)間最早的幀F(xiàn)tl和拍攝時(shí)間最晚的幀F(xiàn)n，并且從其余的多個(gè)幀中將在被攝體的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀選擇為基準(zhǔn)圖像。如果存在多個(gè)在被攝體的運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀的情況下，圖像選擇部13將在最接近拍攝時(shí)間最早的幀F(xiàn)tl的拍攝時(shí)間h與拍攝時(shí)間最晚的幀F(xiàn)n的拍攝時(shí)間tN的中間的時(shí)刻tN/2的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。
[0115]另外，圖像選擇部13從拍攝時(shí)間在基準(zhǔn)圖像的拍攝時(shí)間之如和之后的巾貞兩者中僅將在被攝體的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa時(shí)拍攝得到的幀選擇為參照?qǐng)D像。也就是說，不將明顯不適合作為合成對(duì)象圖像的為規(guī)定運(yùn)動(dòng)量Xa以上的幀轉(zhuǎn)到判斷是否為合成對(duì)象圖像的處理。即，通過設(shè)為圖像選擇部13無(wú)法將明顯不適合的幀選擇為合成對(duì)象圖像，能夠減輕處理負(fù)荷。
[0116]在上述例子中，圖像選擇部13對(duì)選擇為參照?qǐng)D像的全部幀判斷是否能夠用作合成對(duì)象圖像，但是并不限定于此。例如，也可以預(yù)先設(shè)定規(guī)定的個(gè)數(shù)，在設(shè)定為合成對(duì)象圖像的幀數(shù)達(dá)到其規(guī)定個(gè)數(shù)的時(shí)間點(diǎn)，即使殘留尚未判斷的參照?qǐng)D像，也進(jìn)入到步驟S209的處理。特別是，在該情況下，通過從更接近基準(zhǔn)圖像的拍攝時(shí)間的參照?qǐng)D像起優(yōu)先地進(jìn)行是否為合成對(duì)象圖像的判斷處理，能夠更有效地進(jìn)行合成圖像的生成處理。
[0117]此外，對(duì)被攝體的運(yùn)動(dòng)量進(jìn)行估計(jì)的方法也可以使用現(xiàn)有的技術(shù)。例如，也可以通過對(duì)連續(xù)的兩幀各自的亮度值進(jìn)行比較或者使用傳感器檢測(cè)攝像元件的運(yùn)動(dòng)量來(lái)估計(jì)被攝體的動(dòng)作。并且，可以直接求出被攝體的運(yùn)動(dòng)量，也可以求出包含代替被攝體的運(yùn)動(dòng)量的其它運(yùn)動(dòng)量的要素。例如，在預(yù)先決定了幀的拍攝間隔的情況下，代替運(yùn)動(dòng)量，也可以求出速度，即被攝體、攝像元件的速度。
[0118](第三實(shí)施方式)
[0119]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第三實(shí)施方式。在本實(shí)施方式中，根據(jù)各幀所包含的噪聲量來(lái)設(shè)定基準(zhǔn)圖像與合成對(duì)象圖像的合計(jì)的所需最低限度個(gè)數(shù)(以下，稱為所需合成個(gè)數(shù))。
[0120]圖14是表示本實(shí)施方式中的圖像處理裝置30的結(jié)構(gòu)的框圖。在圖示的例子中，圖像處理裝置30具備合成控制部11、幀存儲(chǔ)器12以及噪聲量估計(jì)部31。合成控制部11和幀存儲(chǔ)器12與第二實(shí)施方式中的各部相同。
[0121]噪聲量估計(jì)部31估計(jì)幀的噪聲量。作為噪聲量的估計(jì)方法，例如根據(jù)增益值來(lái)估計(jì)。噪聲量估計(jì)部31使用通過AE (Automatic Exposure:自動(dòng)曝光)控制等確定的增益值。通常，增益值越高則噪聲量越增加，增益值越低則噪聲量越減少。因此，例如在增益值高的情況下，由噪聲量估計(jì)部31估計(jì)的噪聲量變得更大，在增益值低的情況下，由噪聲量估計(jì)部31估計(jì)的噪聲量變得更少。此外，如果是能夠估計(jì)幀的噪聲量的方法，則也可以使用任意的方法。
[0122]通常，要合成的幀(合成對(duì)象圖像)的個(gè)數(shù)越多則噪聲的去除量也越多。因而，在本實(shí)施方式中，在由噪聲量估計(jì)部31估計(jì)的噪聲量大的情況下，圖像選擇部13將合成對(duì)象圖像的個(gè)數(shù)設(shè)定得多。另外，在由噪聲量估計(jì)部31估計(jì)出的噪聲量小的情況下，圖像選擇部13將合成對(duì)象圖像的個(gè)數(shù)設(shè)定得少。以下，將根據(jù)噪聲量而設(shè)為所需的合成對(duì)象圖像的個(gè)數(shù)加上基準(zhǔn)圖像的個(gè)數(shù)(一個(gè))得到的個(gè)數(shù)稱為所需合成個(gè)數(shù)K。
[0123]接著，說明本實(shí)施方式中的合成圖像的生成過程。圖15是表示本實(shí)施方式中的圖像處理裝置30生成合成圖像的過程的流程圖。
[0124]此外，在與由第一、第二實(shí)施方式說明的內(nèi)容重復(fù)的情況下，省略詳細(xì)說明。
[0125](步驟S301)圖像處理裝置10將從外部逐個(gè)地輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器12。
[0126](步驟S302)噪聲量估計(jì)部31對(duì)圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的各幀的噪聲量進(jìn)行估計(jì)。之后，進(jìn)入到步驟S303的處理。
[0127](步驟S303)圖像處理裝置10將通過步驟S302的處理而由噪聲量估計(jì)部31估計(jì)出的噪聲量與通過步驟S301的處理而存儲(chǔ)的幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12。之后，進(jìn)入到步驟S304的處理。
[0128](步驟S304)合成控制部11判斷是否接收到了合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S305的處理，在除此以外的情況下，返回到步驟S301的處理。
[0129](步驟S305)噪聲量估計(jì)部31根據(jù)幀存儲(chǔ)器12所存儲(chǔ)的各幀的噪聲量來(lái)計(jì)算幀存儲(chǔ)器12所存儲(chǔ)的幀的噪聲量的平均值。之后，進(jìn)入到步驟S306的處理。
[0130](步驟S306)圖像選擇部13根據(jù)通過步驟S305的處理而計(jì)算出的噪聲量的平均值來(lái)計(jì)算所需合成個(gè)數(shù)K。之后，進(jìn)入到步驟S307的處理。
[0131](步驟S307)圖像選擇部13將圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。
[0132]該處理與圖7的步驟S103相同。之后，進(jìn)入到步驟S308的處理。
[0133](步驟S308)圖像選擇部13從圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中選擇一個(gè)參照?qǐng)D像。詳細(xì)地說，除了作為基準(zhǔn)圖像而選擇的幀和已經(jīng)進(jìn)行了步驟S309的處理的幀以外，從其余的幀中，從最接近基準(zhǔn)圖像的拍攝時(shí)間的幀中優(yōu)先選擇參照?qǐng)D像。該處理與圖9的步驟S206相同。即，后述的合成對(duì)象圖像的選擇是從最接近基準(zhǔn)圖像的拍攝時(shí)間的幀中優(yōu)先選擇的。之后，進(jìn)入到步驟S309的處理。
[0134](步驟S309)圖像選擇部13判斷是否能夠?qū)⑼ㄟ^步驟S308的處理而選擇的參照?qǐng)D像用作合成對(duì)象圖像。判斷處理的方法與圖7的步驟S105相同，因此在此省略說明。圖像選擇部13將判斷為能夠用作合成對(duì)象圖像的參照?qǐng)D像設(shè)定為合成對(duì)象圖像。
[0135]之后，進(jìn)入到步驟S310的處理。
[0136](步驟S310)圖像選擇部13判斷基準(zhǔn)圖像的個(gè)數(shù)與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)是否與通過步驟S306的處理而求出的所需合成個(gè)數(shù)K相同。在圖像選擇部13判斷為個(gè)數(shù)“相同”的情況下，即使在幀存儲(chǔ)器12中殘留尚未選擇為參照?qǐng)D像的幀，也結(jié)束用于判斷是否能夠用作合成對(duì)象圖像的處理。然后，進(jìn)入到步驟S311的處理。另外，在圖像選擇部13判斷為“不同(沒有達(dá)到K)”的情況下，返回到步驟S308的處理，直到基準(zhǔn)圖像的個(gè)數(shù)與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)達(dá)到所需合成個(gè)數(shù)K為止反復(fù)進(jìn)行步驟S308、S309的處理。
[0137](步驟S311)合成處理部14對(duì)通過步驟S307的處理而選擇的基準(zhǔn)圖像合成通過步驟S309的處理而選擇的合成對(duì)象圖像((K-1)個(gè))，生成合成圖像。之后，結(jié)束處理。
[0138]如上所述，根據(jù)本實(shí)施方式，圖像選擇部13將圖像處理裝置10存儲(chǔ)到幀存儲(chǔ)器12的多個(gè)幀中在最接近拍攝時(shí)間最早的幀的拍攝時(shí)間與拍攝時(shí)間最晚的幀的拍攝時(shí)間的中間的時(shí)刻的時(shí)刻拍攝得到的幀選擇為基準(zhǔn)圖像。
[0139]另外，噪聲量估計(jì)部31估計(jì)各幀的噪聲量，并求出其平均值。
[0140]另外，圖像選擇部13根據(jù)由噪聲量估計(jì)部31求出的噪聲量的平均值來(lái)決定用于生成合成圖像的幀的個(gè)數(shù)(所需合成個(gè)數(shù)K)。而且，僅使用該所需合成個(gè)數(shù)K的幀進(jìn)行合成處理。因而，合成處理部14僅使用與噪聲量相應(yīng)個(gè)數(shù)的幀、即所需最低限度個(gè)數(shù)的幀來(lái)生成合成圖像，因此能夠減輕合成處理的負(fù)荷。
[0141]另外，通過圖像選擇部13選擇的合成對(duì)象圖像是從接近基準(zhǔn)圖像的拍攝時(shí)間的模糊量較小的幀中優(yōu)先設(shè)定的，因此能夠更有效地進(jìn)行合成圖像的生成處理。
[0142](第四實(shí)施方式)
[0143]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第四實(shí)施方式。在本實(shí)施方式中，在選擇基準(zhǔn)圖像之前，根據(jù)被攝體的估計(jì)運(yùn)動(dòng)量X來(lái)設(shè)定由多個(gè)(少于幀存儲(chǔ)器所存儲(chǔ)的幀個(gè)數(shù)的個(gè)數(shù))幀構(gòu)成的幀區(qū)間。換言之，根據(jù)被攝體的估計(jì)運(yùn)動(dòng)量X來(lái)設(shè)定由按照拍攝時(shí)間順序連續(xù)的多個(gè)幀構(gòu)成的基準(zhǔn)圖像選定幀區(qū)間，從構(gòu)成該基準(zhǔn)圖像選定幀區(qū)間的多個(gè)幀中選擇基準(zhǔn)圖像。
[0144]此外，在本實(shí)施方式中，以構(gòu)成幀區(qū)間的幀的個(gè)數(shù)為所需合成個(gè)數(shù)K且基準(zhǔn)圖像選定幀區(qū)間為估計(jì)運(yùn)動(dòng)量的累加值最小的幀區(qū)間來(lái)進(jìn)行說明。
[0145]圖16是表示本實(shí)施方式中的圖像處理裝置40的結(jié)構(gòu)的框圖。在圖16中，圖像處理裝置40具備合成控制部11、幀存儲(chǔ)器12、運(yùn)動(dòng)量估計(jì)部21以及噪聲量估計(jì)部31。合成控制部11、幀存儲(chǔ)器12以及運(yùn)動(dòng)量估計(jì)部21與第二實(shí)施方式中的各部相同。噪聲量估計(jì)部31與第三實(shí)施方式中的噪聲量估計(jì)部31相同。
[0146]圖17是表示本實(shí)施方式中的圖像處理裝置40生成合成圖像的過程的流程圖。此夕卜，在與通過第一、第二、第三實(shí)施方式說明的內(nèi)容重復(fù)的情況下，省略詳細(xì)說明。
[0147](步驟S401)圖像處理裝置10將從外部逐個(gè)地輸入的幀(影像信號(hào))存儲(chǔ)到幀存儲(chǔ)器12。
[0148](步驟S402、S403)運(yùn)動(dòng)量估計(jì)部21對(duì)于通過步驟S401的處理而存儲(chǔ)到幀存儲(chǔ)器12的各幀，對(duì)拍攝該幀時(shí)的被攝體的運(yùn)動(dòng)量X進(jìn)行估計(jì)。之后，圖像處理裝置10將所估計(jì)出的運(yùn)動(dòng)量X與幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12。此外，該處理與圖9的步驟S202、S203相同。
[0149](步驟S404、S405)噪聲量估計(jì)部31對(duì)幀存儲(chǔ)器12所存儲(chǔ)的各幀的噪聲量進(jìn)行估計(jì)。之后，圖像處理裝置10將所估計(jì)出的噪聲量與幀相關(guān)聯(lián)地存儲(chǔ)到幀存儲(chǔ)器12。此外，該處理與圖15的步驟S302、S303相同。
[0150](步驟S406)合成控制部11判斷是否接收到了合成指示的輸入。在合成控制部11判斷為接收到了合成指示的輸入的情況下，進(jìn)入到步驟S407的處理，在除此以外的情況下，返回到步驟S401的處理。
[0151](步驟S407)噪聲量估計(jì)部31根據(jù)幀存儲(chǔ)器12所存儲(chǔ)的各幀的噪聲量，來(lái)計(jì)算幀存儲(chǔ)器12所存儲(chǔ)的幀的噪聲量的平均值。之后，進(jìn)入到步驟S408的處理。
[0152](步驟S408)圖像選擇部13根據(jù)通過步驟S407的處理而由噪聲量估計(jì)部31計(jì)算出的噪聲量的平均值，來(lái)計(jì)算用于生成合成圖像的所需最低限度的幀個(gè)數(shù)、即作為基準(zhǔn)圖像與各合成對(duì)象圖像的合計(jì)個(gè)數(shù)的所需合成個(gè)數(shù)K。之后，進(jìn)入到步驟S409的處理。此夕卜，該處理與圖15的步驟S306相同。
[0153](步驟S409)圖像選擇部13在選擇基準(zhǔn)圖像時(shí)，首先從幀存儲(chǔ)器12內(nèi)的多個(gè)幀中確定包含K個(gè)運(yùn)動(dòng)量X小于作為閾值的規(guī)定運(yùn)動(dòng)量Xa的幀的幀區(qū)間。幀區(qū)間是以拍攝時(shí)間早的幀為開頭的多個(gè)幀的群。而且，通過將幀區(qū)間的開頭幀每次向后錯(cuò)開一個(gè)幀來(lái)依次確定多個(gè)幀區(qū)間。參照?qǐng)D18說明該處理。
[0154]圖18是表示幀存儲(chǔ)器12內(nèi)的各幀中的攝像元件104的運(yùn)動(dòng)量X與時(shí)刻t的關(guān)系的一例的圖表。圖表內(nèi)的圓圈表不巾貞，黑色圓圈表不運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的巾貞，白色圓圈表示規(guī)定運(yùn)動(dòng)量Xa以上的幀。
[0155]圖像選擇部13首先確定以拍攝時(shí)間最早的拍攝時(shí)間h時(shí)拍攝得到的幀F(xiàn)tl為開頭的幀區(qū)間I。從幀存儲(chǔ)器12讀出作為開頭幀的幀F(xiàn)tl的估計(jì)運(yùn)動(dòng)量X，判斷該估計(jì)運(yùn)動(dòng)量X是否小于規(guī)定運(yùn)動(dòng)量Xa。如果估計(jì)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將幀F(xiàn)tl作為小于規(guī)定運(yùn)動(dòng)量Xa的幀而進(jìn)行計(jì)數(shù)。如果幀F(xiàn)tl的判斷結(jié)束，則圖像選擇部13判斷接著幀F(xiàn)tl拍攝得到的幀F(xiàn)1的估計(jì)運(yùn)動(dòng)量X是否小于規(guī)定運(yùn)動(dòng)量Xa，如果估計(jì)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將幀F(xiàn)1作為小于規(guī)定運(yùn)動(dòng)量Xa的幀而進(jìn)行計(jì)數(shù)。直到計(jì)數(shù)得到的個(gè)數(shù)達(dá)到所需合成個(gè)數(shù)K為止反復(fù)進(jìn)行該處理。而且，在計(jì)數(shù)結(jié)果達(dá)到所需合成個(gè)數(shù)K時(shí)，將作為第K個(gè)而計(jì)數(shù)的幀設(shè)為幀區(qū)間Ttl的最后幀。這樣確定幀區(qū)間I；。此外，在圖18中示出了 K = 9的例子,巾貞區(qū)間Tci為從巾貞Fci至巾貞F11為止的區(qū)間。
[0156]如果確定出了幀區(qū)間Ttl，則圖像選擇部13確定下一個(gè)幀區(qū)間。將作為開頭的幀錯(cuò)開到接在幀F(xiàn)tl之后拍攝得到的幀F(xiàn)1，過渡到以該幀匕為開頭幀的幀區(qū)間T1的確定處理。以后，與幀區(qū)間Ttl的確定處理同樣地，進(jìn)行運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的幀的搜索及其個(gè)數(shù)的計(jì)數(shù)，在計(jì)數(shù)結(jié)果達(dá)到所需合成個(gè)數(shù)K的時(shí)間點(diǎn)將該幀設(shè)定為幀區(qū)間的最后幀，確定幀區(qū)間！\。圖像選擇部13直到將幀存儲(chǔ)器12內(nèi)所存儲(chǔ)的幀中拍攝時(shí)間最晚的幀F(xiàn)n成為幀區(qū)間的末尾為止反復(fù)進(jìn)行該幀區(qū)間的確定處理。而且，圖像選擇部13對(duì)于幀區(qū)間內(nèi)沒有包含K個(gè)運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa的幀的區(qū)間，不將該區(qū)間設(shè)定為幀區(qū)間。通過進(jìn)行上述處理，確定幀區(qū)間TQ，T1, T2, T3...。
[0157](步驟S410)接著，圖像選擇部13從確定的多個(gè)幀區(qū)間TQ，T1,T2, T3...中確定被攝體的運(yùn)動(dòng)量X的累加值最小的基準(zhǔn)圖像選定幀區(qū)間。圖像選擇部13根據(jù)各幀區(qū)間內(nèi)包含的小于規(guī)定運(yùn)動(dòng)量Xa的幀，按每個(gè)幀區(qū)間來(lái)計(jì)算各自的估計(jì)運(yùn)動(dòng)量的累加值。而且，圖像選擇部13對(duì)通過步驟S409而求出的全部幀區(qū)間Ttl, T1, T2, T3...進(jìn)行該計(jì)算處理。而且，圖像選擇部13將計(jì)算出的運(yùn)動(dòng)量的累加值最小的幀區(qū)間確定為基準(zhǔn)圖像選定幀區(qū)間。
[0158]圖19示出從多個(gè)幀區(qū)間中僅顯示以幀F(xiàn)tl為開頭的幀區(qū)間Ttl以及以幀F(xiàn)s為開頭的幀區(qū)間Ts的圖表。
[0159]幀區(qū)間Ts內(nèi)的運(yùn)動(dòng)量的累加值小于幀區(qū)間Ttl內(nèi)的運(yùn)動(dòng)量的累加值。在這種情況下，圖像選擇部13將幀區(qū)間Ts確定為基準(zhǔn)圖像選定幀區(qū)間。
[0160](步驟S411)圖像選擇部13從所確定的基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)包含的多個(gè)幀中選擇基準(zhǔn)圖像。具體地說，圖像選擇部13首先將基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的、拍攝時(shí)間最早的幀以及拍攝時(shí)間最晚的幀從基準(zhǔn)圖像的候選中排除。而且，從其余的幀中，將在被攝體的估計(jì)運(yùn)動(dòng)量X最低時(shí)拍攝得到的幀選擇為基準(zhǔn)圖像。
[0161]參照?qǐng)D20說明該處理。在圖20中，關(guān)于由圖19示出的基準(zhǔn)圖像選定幀區(qū)間Ts，在圖表內(nèi)用黑色圓圈示出幀。圖像選擇部13首先將基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的開頭幀F(xiàn)s和最后幀F(xiàn)t從基準(zhǔn)圖像的候選中排除。然后，圖像選擇部13從幀存儲(chǔ)器12讀出基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的其余幀的估計(jì)運(yùn)動(dòng)量，搜索估計(jì)運(yùn)動(dòng)量最小的幀。然后，圖像選擇部13將在拍攝時(shí)間tm時(shí)拍攝得到的幀F(xiàn)m選擇為基準(zhǔn)圖像。
[0162](步驟S412)圖像選擇部13在結(jié)束基準(zhǔn)圖像的選擇處理之后，接著過渡到參照?qǐng)D像的選擇處理。圖像選擇部13首先從幀存儲(chǔ)器12內(nèi)的多個(gè)幀中排除基準(zhǔn)圖像以及已經(jīng)進(jìn)行了后述的步驟S413的處理的幀。然后，從其余幀中將最接近基準(zhǔn)圖像的拍攝時(shí)間的幀選擇為參照?qǐng)D像的候選。接著，如果作為參照?qǐng)D像的候選而選擇的幀的運(yùn)動(dòng)量X小于規(guī)定運(yùn)動(dòng)量Xa，則圖像選擇部13將所選擇的幀選擇為參照?qǐng)D像。如果在作為參照?qǐng)D像的候選而選擇的幀的運(yùn)動(dòng)量為規(guī)定運(yùn)動(dòng)量Xa以上的情況下，將該幀判斷為不是參照?qǐng)D像，并且將接在該幀之后的接近基準(zhǔn)圖像的拍攝時(shí)間的幀選擇為參照?qǐng)D像的候選。該處理與圖9的步驟S206相同。
[0163]圖像選擇部13也可以在作為參照?qǐng)D像的候選而選擇的幀被判斷為不是參照?qǐng)D像、下一個(gè)選擇的參照?qǐng)D像的候選也被判斷為不是參照?qǐng)D像而結(jié)果是規(guī)定次數(shù)連續(xù)地判斷為不是參照?qǐng)D像的情況下，結(jié)束參照?qǐng)D像的選擇處理，過渡到S415的處理。規(guī)定次數(shù)可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。
[0164]另外，在此選擇的參照?qǐng)D像從預(yù)先求出的基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的幀中優(yōu)先選擇，但是也可以從基準(zhǔn)圖像選定幀區(qū)間Ts外的幀中選擇。圖像選擇部13將基準(zhǔn)圖像選定幀區(qū)間Ts內(nèi)的全部幀選擇為參照?qǐng)D像，判斷是否為合成對(duì)象圖像，在結(jié)果是在設(shè)定為合成對(duì)象圖像的幀數(shù)包括基準(zhǔn)圖像在內(nèi)沒有達(dá)到所需合成個(gè)數(shù)K的情況下，圖像選擇部13將基準(zhǔn)圖像選定幀區(qū)間外的、最接近基準(zhǔn)圖像的拍攝時(shí)間且小于規(guī)定運(yùn)動(dòng)量Xa的幀選擇為參照?qǐng)D像。之后，進(jìn)入到步驟S413的處理。
[0165](步驟S413)圖像選擇部13判斷是否能夠?qū)⑼ㄟ^步驟S412的處理而選擇的參照?qǐng)D像用作合成對(duì)象圖像，如果判斷為能夠?qū)⑺x擇的參照?qǐng)D像用作合成對(duì)象圖像，則將該選擇為參照?qǐng)D像的幀設(shè)定為合成對(duì)象圖像。判斷處理的方法與圖9的步驟S207相同。之后，進(jìn)入到步驟S414的處理。
[0166]此外，圖像選擇部13也可以在規(guī)定次數(shù)連續(xù)判斷為無(wú)法將選擇為參照?qǐng)D像的幀用作合成對(duì)象圖像的情況下，進(jìn)行是否用于合成對(duì)象圖像的判斷處理，過渡到S415的處理。此外，規(guī)定次數(shù)可以是預(yù)先決定的，也可以設(shè)為能夠任意地設(shè)定。
[0167](步驟S414)圖像選擇部13判斷基準(zhǔn)圖像的個(gè)數(shù)(I個(gè))與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)是否與通過步驟S408而求出的所需合成個(gè)數(shù)K相同。在圖像選擇部13判斷為個(gè)數(shù)為“相同”的情況下，進(jìn)入到步驟S415的處理，在除此以外的情況下，返回到步驟S412的處理，直到基準(zhǔn)圖像的個(gè)數(shù)與所設(shè)定的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)達(dá)到所需合成個(gè)數(shù)K為止反復(fù)進(jìn)行步驟S412和S413的處理。
[0168](步驟S415)合成處理部14將設(shè)定為合成對(duì)象圖像的幀與基準(zhǔn)圖像合成，生成合成圖像。
[0169]如上所述，根據(jù)本實(shí)施方式，從被攝體的運(yùn)動(dòng)量為最小的幀區(qū)間(基準(zhǔn)圖像選定幀區(qū)間)內(nèi)的多個(gè)幀中選擇基準(zhǔn)圖像，并且從拍攝時(shí)間接近該基準(zhǔn)圖像的幀中優(yōu)先設(shè)定合成對(duì)象圖像。因此能夠優(yōu)先設(shè)定相對(duì)于基準(zhǔn)圖像的模糊量、運(yùn)動(dòng)量較小的合成對(duì)象圖像。由此，能夠使用更適合于合成的幀來(lái)生成合成圖像，因此能夠?qū)崿F(xiàn)合成處理的有效化。
[0170](第五實(shí)施方式)
[0171]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第五實(shí)施方式。圖21是表示本實(shí)施方式中的內(nèi)窺鏡裝置的結(jié)構(gòu)的框圖。在圖示的例子中，內(nèi)窺鏡裝置101具有細(xì)長(zhǎng)的插入部102、主體部103以及LCD(Liquid Crystal Display,液晶顯示器)130。另外，能夠?qū)χ黧w部103安裝記錄介質(zhì)132，在記錄介質(zhì)132中能夠記錄由內(nèi)窺鏡裝置101拍攝得到的靜止圖像、運(yùn)動(dòng)圖像等。
[0172]插入部102具有物鏡127、攝像元件(CCD(Charge Coupled Device,電荷耦合元#))104, LED (Light Emitting D1de，發(fā)光二極管)106 以及引線固定部 119。物鏡 127、攝像元件104、LED 106以及引線固定部119被配置在插入部102的前端部128 (內(nèi)窺鏡前端部)。
[0173]主體部103具有攝像元件驅(qū)動(dòng)電路105、前置放大器131、圖像處理單元107、AFE (Analog Front End，模擬前端)109、系統(tǒng)控制單元110、用戶接口 111、LED驅(qū)動(dòng)電路113、UD (上下)彎曲電動(dòng)機(jī)120、RL (左右)彎曲電動(dòng)機(jī)121、彎曲控制單元122、圖像記錄單元115以及IXD控制器117。另外，內(nèi)窺鏡裝置101具有四個(gè)引線123?126，該四個(gè)引線123?126用于使插入部102的前端部128向上下左右彎曲。
[0174]用戶接口 111具備開關(guān)、用于使內(nèi)窺鏡的前端彎曲的操縱桿等，接收來(lái)自用戶的指示的輸入，將基于接收到的輸入的信號(hào)輸出到系統(tǒng)控制單元110。作為來(lái)自用戶的指示，例如存在變焦倍率的指示、要拍攝的圖像的明亮度的指示、LED 106的點(diǎn)亮和熄滅的指示、插入部102的前端部128的彎曲的指示、使記錄介質(zhì)132記錄圖像的指示、向IXD 130顯示圖像的顯不指不等。
[0175]系統(tǒng)控制單元110對(duì)內(nèi)窺鏡裝置101所具有的各部進(jìn)行控制，以執(zhí)行基于從用戶接口 111輸入的信號(hào)的處理。例如，在用戶接口 111接收到用于指示變焦倍率的輸入、用于指示要拍攝的圖像的明亮度的輸入的情況下，系統(tǒng)控制單元110控制圖像處理單元107，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。另外，在用戶接口 111接收到用于指示LED106的點(diǎn)亮和熄滅的輸入的情況下，系統(tǒng)控制單元110控制LED驅(qū)動(dòng)電路113，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。另外，在用戶接口 111接收到用于指示插入部102的前端部128的彎曲的輸入的情況下，系統(tǒng)控制單元110控制彎曲控制單元122，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。另外，在用戶接口 111接收到用于指示向記錄介質(zhì)132記錄圖像的輸入、用于指示向IXD 130顯示圖像的輸入的情況下，系統(tǒng)控制單元110控制圖像記錄單元115，以執(zhí)行基于由用戶接口 111接收到的輸入的處理。
[0176]引線固定部119固定四個(gè)引線123?126，該四個(gè)引線123?126用于使插入部102的前端部128上下左右彎曲。四個(gè)引線123?126中用于使插入部102的前端部128向上下方向彎曲的兩個(gè)引線123、124與UD彎曲電動(dòng)機(jī)120相連接。另外，用于使插入部102的前端部128向左右方向彎曲的兩個(gè)引線125、126與RL彎曲電動(dòng)機(jī)121相連接。
[0177]UD彎曲電動(dòng)機(jī)120和RL彎曲電動(dòng)機(jī)121與彎曲控制單元122相連接。彎曲控制單元122與系統(tǒng)控制單元110相連接。彎曲控制單元122根據(jù)從系統(tǒng)控制單元110輸入的與上下方向有關(guān)的彎曲指示信號(hào)來(lái)控制UD彎曲電動(dòng)機(jī)120的驅(qū)動(dòng)，根據(jù)從系統(tǒng)控制單元110輸入的與左右方向有關(guān)的彎曲指示信號(hào)來(lái)控制RL彎曲電動(dòng)機(jī)121的驅(qū)動(dòng)。UD彎曲電動(dòng)機(jī)120根據(jù)彎曲控制單元122的控制，通過牽引兩個(gè)引線123、124使插入部102的前端部128向上下方向彎曲。另外，RL彎曲電動(dòng)機(jī)121根據(jù)彎曲控制單元122的控制，通過牽引兩個(gè)引線125、126使插入部102的前端部128向左右方向彎曲。
[0178]通過該結(jié)構(gòu)，當(dāng)用戶使用戶接口 111所具備的操縱桿向上下方向傾斜時(shí)，系統(tǒng)控制單元110對(duì)彎曲控制單元122發(fā)送與上下方向有關(guān)的彎曲指示信號(hào)。彎曲控制單元122根據(jù)接收到的彎曲指不彳目號(hào)來(lái)驅(qū)動(dòng)控制UD彎曲電動(dòng)機(jī)120，牽引與UD彎曲電動(dòng)機(jī)120相連接的引線123、124。由此，內(nèi)窺鏡裝置101能夠使插入部102的前端部128向上下方向彎曲。左右方向的彎曲也相同，當(dāng)用戶使操縱桿向左右方向傾斜時(shí)，系統(tǒng)控制單元110對(duì)彎曲控制單元122發(fā)送與左右方向有關(guān)的彎曲指示信號(hào)。彎曲控制單元122根據(jù)接收到的彎曲指示信號(hào)，驅(qū)動(dòng)控制RL彎曲電動(dòng)機(jī)121，牽引與RL彎曲電動(dòng)機(jī)121相連接的引線。由此，內(nèi)窺鏡裝置101能夠使插入部102的前端部128向左右方向彎曲。
[0179]LED 106通過線纜與LED驅(qū)動(dòng)電路113相連接。LED驅(qū)動(dòng)電路113與系統(tǒng)控制單元110相連接。LED驅(qū)動(dòng)電路113根據(jù)從系統(tǒng)控制單元110輸入的LED點(diǎn)亮信號(hào)來(lái)控制LED106的點(diǎn)亮和熄滅。LED 106根據(jù)LED驅(qū)動(dòng)電路113的控制來(lái)進(jìn)行點(diǎn)亮和熄滅。
[0180]物鏡127將由LED 106照明的被攝體的像成像在攝像元件104的受光面。攝像元件104通過復(fù)合同軸線纜與攝像元件驅(qū)動(dòng)電路105和前置放大器131相連接。攝像元件驅(qū)動(dòng)電路105從設(shè)置于圖像處理單元107內(nèi)的定時(shí)發(fā)生器接收用于驅(qū)動(dòng)攝像元件104的定時(shí)信號(hào)。而且，攝像元件驅(qū)動(dòng)電路105對(duì)接收到的定時(shí)信號(hào)實(shí)施與到攝像元件104為止的傳送長(zhǎng)度(復(fù)合同軸線纜的長(zhǎng)度)相應(yīng)的驅(qū)動(dòng)處理，將處理后的定時(shí)信號(hào)作為攝像元件驅(qū)動(dòng)信號(hào)而傳送到攝像元件104。
[0181]攝像元件104根據(jù)所傳送的攝像元件驅(qū)動(dòng)信號(hào)的定時(shí)，對(duì)成像在受光面的光進(jìn)行光電變換，將光電變換得到的信號(hào)作為攝像元件輸出信號(hào)而輸出。由攝像元件104輸出的攝像元件輸出信號(hào)經(jīng)由復(fù)合同軸線纜被輸入到前置放大器131。前置放大器131放大攝像元件輸出信號(hào)，以補(bǔ)充由于復(fù)合同軸線纜的傳送而衰減的信號(hào)電平。被前置放大器131放大的攝像元件輸出信號(hào)被輸入到AFE 1090 AFE 109對(duì)所輸入的攝像元件輸出信號(hào)進(jìn)行⑶S處理(相關(guān)雙采樣處理)、AGC處理(自動(dòng)增益處理)、AD變換處理(模擬/數(shù)字變換處理)。被AFE 109處理過的攝像元件輸出信號(hào)(幀)被輸入到圖像處理單元107。
[0182]圖像處理單元107具備第一實(shí)施方式中的圖像處理裝置10、第二實(shí)施方式中的圖像處理裝置20、第三實(shí)施方式中的圖像處理裝置30以及第四實(shí)施方式中的圖像處理裝置40中的一個(gè)或者多個(gè)。圖像處理單元107根據(jù)系統(tǒng)控制單元110的控制，使用所輸入的攝像元件輸出信號(hào)(幀)來(lái)生成合成圖像，由此進(jìn)行噪聲去除處理。此外，本實(shí)施方式中的圖像處理單元107根據(jù)自身所具備的圖像處理裝置10、20、30、40，使用第一實(shí)施方式?第四實(shí)施方式中的多個(gè)生成方法中任一生成方法來(lái)生成合成圖像。
[0183]另外，圖像處理單元107也可以進(jìn)行白平衡校正、伽馬校正、輪廓校正、電子變焦處理、顏色校正、對(duì)比度校正、AE控制等各種照相機(jī)信號(hào)處理。另外，圖像處理單元107將所生成的合成圖像作為圖像數(shù)據(jù)而輸出到圖像記錄單元115。
[0184]圖像記錄單元115將所輸入的圖像數(shù)據(jù)輸出到IXD控制器117。另外，圖像記錄單元115進(jìn)行將顯示在IXD 130中的圖像設(shè)為靜止圖像的定格處理。另外，圖像記錄單元115用編碼器來(lái)壓縮所輸入的圖像數(shù)據(jù)，作為靜止圖像數(shù)據(jù)或者運(yùn)動(dòng)圖像數(shù)據(jù)而記錄到記錄介質(zhì)132。在根據(jù)來(lái)自用戶接口 111的輸入而系統(tǒng)控制單元110將記錄信號(hào)發(fā)送到圖像記錄單元115且圖像記錄單元115接收到記錄信號(hào)的情況下，進(jìn)行該圖像記錄動(dòng)作。
[0185]此外，內(nèi)窺鏡裝置101在圖像記錄單元115進(jìn)行定格處理之后進(jìn)行圖像的記錄的情況下進(jìn)行靜止圖像的拍攝，在不進(jìn)行定格處理而進(jìn)行圖像的記錄的情況下進(jìn)行運(yùn)動(dòng)圖像的拍攝。另外，圖像記錄單元115進(jìn)行圖像再現(xiàn)動(dòng)作，從記錄介質(zhì)132讀出靜止圖像數(shù)據(jù)、運(yùn)動(dòng)圖像數(shù)據(jù)，用解碼器進(jìn)行解壓縮而輸出到LCD控制器117。在系統(tǒng)控制單元110從用戶接口 111接收到圖像顯示信號(hào)的情況下進(jìn)行該圖像再現(xiàn)動(dòng)作。
[0186]IXD控制器117對(duì)于從圖像記錄單元115輸入的各種圖像數(shù)據(jù)，實(shí)施最適合于所連接的IXD 130的圖像處理(伽馬校正、縮放、RGB變換等)，輸出到IXD 130。IXD 130根據(jù)所輸入的圖像數(shù)據(jù)來(lái)顯示圖像。
[0187]如上所述，內(nèi)窺鏡裝置101的圖像處理單元107具備第一實(shí)施方式中的圖像處理裝置10、第二實(shí)施方式中的圖像處理裝置20、第三實(shí)施方式中的圖像處理裝置30以及第四實(shí)施方式中的圖像處理裝置40中的一個(gè)或者多個(gè)。因而，圖像處理單元107能夠使用由內(nèi)窺鏡裝置101的攝像元件104拍攝得到的幀中的更適合于合成的幀來(lái)生成合成圖像。另外，圖像處理單元107能夠根據(jù)自身所具備的圖像處理裝置10、20、30、40來(lái)得到與各圖像處理裝置10、20、30、40相同的效果。
[0188]以上，參照附圖詳細(xì)說明了本發(fā)明的多個(gè)實(shí)施方式，但是具體結(jié)構(gòu)并不限定于上述多個(gè)實(shí)施方式，還包含不脫離本發(fā)明的宗旨的范圍的設(shè)計(jì)等。
[0189]此外，對(duì)于上述實(shí)施方式中的圖像處理裝置10、20、30、40所具備的各部的功能整體或者其一部分，也可以將用于實(shí)現(xiàn)這些功能的程序記錄到計(jì)算機(jī)可讀取的記錄介質(zhì)，使計(jì)算機(jī)系統(tǒng)讀取并執(zhí)行記錄到該記錄介質(zhì)的程序，由此來(lái)實(shí)現(xiàn)。此外，在此所指的“計(jì)算機(jī)系統(tǒng)”包含OS、外圍設(shè)備等硬件。
[0190]另外，典型地，“計(jì)算機(jī)可讀取的記錄介質(zhì)”包含軟盤、光磁盤、ROM、⑶-ROM等便攜式介質(zhì)、內(nèi)置于計(jì)算機(jī)系統(tǒng)的硬盤等記錄部，但是并不必須限定于這些。
[0191]還可以代替“計(jì)算機(jī)可讀取的記錄介質(zhì)”而使用以下單元。例如，也可以使用如經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)、電話線路等通信線路來(lái)發(fā)送程序的情況下的通信線那樣在短時(shí)間內(nèi)動(dòng)態(tài)地保持程序的介質(zhì)。另外，也可以使用成為該情況下的服務(wù)器、客戶端的計(jì)算機(jī)系統(tǒng)內(nèi)部的非易失性存儲(chǔ)器那樣在固定時(shí)間內(nèi)保持程序的介質(zhì)。另外，上述程序可以實(shí)現(xiàn)上述功能的一部分，并且也可以通過與已經(jīng)記錄在計(jì)算機(jī)系統(tǒng)中的程序進(jìn)行組合來(lái)實(shí)現(xiàn)上述功能。
[0192]以上，說明了本發(fā)明的優(yōu)選實(shí)施例，但是本發(fā)明并不限定于這些實(shí)施例。在不脫離本發(fā)明的宗旨的范圍內(nèi)，能夠進(jìn)行結(jié)構(gòu)的附加、省略、替換以及其它變更。本發(fā)明并不是由上述說明限定，而由附加權(quán)利要求的范圍限定。
【權(quán)利要求】
1.一種圖像處理裝置，具備: 存儲(chǔ)器，其存儲(chǔ)拍攝得到的多個(gè)圖像； 圖像選擇部，其在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及 合成處理部，其對(duì)由上述圖像選擇部選擇的上述基準(zhǔn)圖像合成由上述圖像選擇部選擇的上述合成對(duì)象圖像來(lái)生成合成圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作上述合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 上述圖像選擇部在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 還具備運(yùn)動(dòng)量估計(jì)部，該運(yùn)動(dòng)量估計(jì)部估計(jì)上述圖像內(nèi)的被攝體的運(yùn)動(dòng)量， 上述圖像選擇部根據(jù)由上述運(yùn)動(dòng)量估計(jì)部估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述運(yùn)動(dòng)量估計(jì)部通過比較多個(gè)圖像來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
7.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述運(yùn)動(dòng)量估計(jì)部通過對(duì)拍攝上述多個(gè)圖像的攝像元件的運(yùn)動(dòng)量進(jìn)行檢測(cè)，來(lái)估計(jì)上述多個(gè)圖像內(nèi)的被攝體的運(yùn)動(dòng)量。
8.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述基準(zhǔn)圖像。
9.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中，將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
10.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從圖像區(qū)間中選擇上述基準(zhǔn)圖像，該圖像區(qū)間由個(gè)數(shù)比上述存儲(chǔ)器內(nèi)存儲(chǔ)的圖像的個(gè)數(shù)少且按照拍攝時(shí)間順序連續(xù)的規(guī)定個(gè)數(shù)的圖像構(gòu)成， 上述圖像區(qū)間是構(gòu)成上述圖像區(qū)間的多個(gè)圖像中的上述估計(jì)運(yùn)動(dòng)量的累加值最小的區(qū)間。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于， 上述圖像選擇部在構(gòu)成上述圖像區(qū)間的多個(gè)圖像中將拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像從上述基準(zhǔn)圖像的備選項(xiàng)中排除。
12.根據(jù)權(quán)利要求5?11中的任一項(xiàng)所述的圖像處理裝置，其特征在于， 上述圖像選擇部將上述估計(jì)運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
13.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 上述圖像選擇部在連續(xù)規(guī)定個(gè)數(shù)的圖像判斷為沒有用作上述合成對(duì)象圖像的情況下，結(jié)束上述合成對(duì)象圖像的判斷處理。
14.根據(jù)權(quán)利要求1?4中的任一項(xiàng)所述的圖像處理裝置，其特征在于， 還具備噪聲量估計(jì)部，該噪聲量估計(jì)部對(duì)上述存儲(chǔ)器內(nèi)存儲(chǔ)的上述多個(gè)圖像的噪聲量進(jìn)行估計(jì)， 上述圖像選擇部根據(jù)由上述噪聲量估計(jì)部估計(jì)出的上述噪聲量來(lái)決定生成上述合成圖像所需的圖像的個(gè)數(shù)、即所需合成個(gè)數(shù)。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于， 上述圖像選擇部對(duì)所選擇的基準(zhǔn)圖像的個(gè)數(shù)和所選擇的合成對(duì)象圖像的個(gè)數(shù)的合計(jì)進(jìn)行計(jì)數(shù)，如果其計(jì)數(shù)結(jié)果達(dá)到上述所需合成個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
16.根據(jù)權(quán)利要求1?4中的任一項(xiàng)所述的圖像處理裝置，其特征在于， 上述圖像選擇部預(yù)先決定上述合成對(duì)象圖像的個(gè)數(shù)，判斷所選擇的上述合成對(duì)象圖像的個(gè)數(shù)是否達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，如果達(dá)到預(yù)先決定的上述合成對(duì)象圖像的個(gè)數(shù)，則結(jié)束合成對(duì)象圖像的判斷處理。
17.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 上述圖像選擇部從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
18.一種圖像處理方法，對(duì)存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像進(jìn)行合成而生成合成圖像，該圖像處理方法包括以下步驟: 基準(zhǔn)圖像選擇步驟，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中選擇除了拍攝時(shí)間最早的圖像和拍攝時(shí)間最晚的圖像以外的成為合成基準(zhǔn)的基準(zhǔn)圖像； 合成對(duì)象圖像選擇步驟，在上述多個(gè)圖像中從拍攝時(shí)間為上述基準(zhǔn)圖像的拍攝時(shí)間之前和之后的圖像的群中選擇與上述基準(zhǔn)圖像合成的合成對(duì)象圖像；以及 合成處理步驟，通過對(duì)在上述基準(zhǔn)圖像選擇步驟中選擇出的基準(zhǔn)圖像合成在上述合成對(duì)象圖像選擇步驟中選擇出的上述合成對(duì)象圖像，來(lái)生成上述合成圖像。
19.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于， 在上述合成對(duì)象圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中從在接近上述基準(zhǔn)圖像的拍攝時(shí)間的時(shí)刻拍攝得到的圖像起按順序判斷是否用作合成對(duì)象圖像，將判斷為用作上述合成對(duì)象圖像的圖像選擇為上述合成對(duì)象圖像。
20.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于， 在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中將最接近拍攝時(shí)間最早的圖像的拍攝時(shí)間與拍攝時(shí)間最晚的圖像的拍攝時(shí)間的中間的拍攝時(shí)間的圖像選擇為上述基準(zhǔn)圖像。
21.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于， 在上述基準(zhǔn)圖像選擇步驟中，在上述存儲(chǔ)器內(nèi)存儲(chǔ)的多個(gè)圖像中以使在上述基準(zhǔn)圖像的拍攝時(shí)間之前拍攝得到的圖像的個(gè)數(shù)與在上述基準(zhǔn)圖像的拍攝時(shí)間之后拍攝得到的圖像的個(gè)數(shù)最接近的方式選擇上述基準(zhǔn)圖像。
22.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于， 還包括運(yùn)動(dòng)量估計(jì)步驟，在該運(yùn)動(dòng)量估計(jì)步驟中將其它圖像與本圖像進(jìn)行比較來(lái)估計(jì)上述本圖像內(nèi)的被攝體的運(yùn)動(dòng)量， 在上述基準(zhǔn)圖像選擇步驟中，根據(jù)在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)出的估計(jì)運(yùn)動(dòng)量來(lái)選擇上述基準(zhǔn)圖像。
23.根據(jù)權(quán)利要求22所述的圖像處理方法，其特征在于， 在上述基準(zhǔn)圖像選擇步驟中，將在上述運(yùn)動(dòng)量估計(jì)步驟中估計(jì)得到的運(yùn)動(dòng)量最低的圖像選擇為上述基準(zhǔn)圖像。
24.根據(jù)權(quán)利要求22所述的圖像處理方法，其特征在于， 在上述合成對(duì)象圖像選擇步驟中，從上述估計(jì)運(yùn)動(dòng)量為預(yù)先決定的閾值以下的多個(gè)圖像中選擇上述合成對(duì)象圖像。
【文檔編號(hào)】H04N5/232GK104427246SQ201410413162
【公開日】2015年3月18日 申請(qǐng)日期:2014年8月20日 優(yōu)先權(quán)日:2013年8月22日
【發(fā)明者】浜田裕介 申請(qǐng)人:奧林巴斯株式會(huì)社
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊！
1