專利名稱：攝像處理裝置以及攝像裝置、圖像處理方法以及計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明所涉及動(dòng)態(tài)圖像的圖像處理。具體來說，涉及生成利用圖像處 理將所攝影的動(dòng)態(tài)圖像的分辨率以及幀率的至少一方提高后的動(dòng)態(tài)圖像 的技術(shù)。
背景技術(shù)：
在近年的影像輸入領(lǐng)域中，移動(dòng)電話用照相機(jī)、數(shù)字靜物照相機(jī)的多 像素化、像素間距的小型化有所進(jìn)展。
根據(jù)與圖像攝像機(jī)器所需要的像質(zhì)，將空間分辨率劃分為跨度多路而
使用。例如TV電話的分辨率是QCIF (Quarter Common Intermediate Format,橫176像素，縱144像素)程度，或者，QVGA (Quarter Video Gr鄰hics Array,橫320像素，縱144像素)程度的比較低的像素?cái)?shù)。另 一方面，數(shù)字一眼反射照相機(jī)的分辨率超過1000萬像素。
時(shí)間分辨率也分割為跨度多路使用。例如，對(duì)于直到HDTV的像素 數(shù)的時(shí)間分辨率，能夠?qū)崿F(xiàn)利民用機(jī)器的視頻率(30幀/秒)的攝像。然 而，對(duì)于其以上的像素?cái)?shù)的攝像，其幀率，局限于基于搭載于數(shù)字靜物照 相機(jī)的連拍功能的每秒數(shù)幀。
另一方面，影像顯示的技術(shù)領(lǐng)域中，平板電視(7，、;/卜亍k匕')以 急劇的勢(shì)頭普及。與此相伴，可以預(yù)測(cè)通過今后各種分辨率的照相機(jī)和顯 示器的組合，用戶能夠?qū)τ跋襁M(jìn)行視聽。
若將輸入側(cè)的照相機(jī)的時(shí)空分辨率(表示"時(shí)間分辨率以及空間分辨 率"，以下同樣)和輸出側(cè)的顯示器的時(shí)空分辨率進(jìn)行比較，現(xiàn)階段的民 用機(jī)器中輸出側(cè)的顯示器一方較高。為此，成為如下狀況即一般用戶能 夠輕易地輸入最大限度地發(fā)揮了輸出側(cè)的性能的影像。
作為成為這種狀況的理由，至此可以列舉出讀出速度是瓶頸。高空間 分辨率的攝影限于每秒5幀左右，相反，每秒30幀的攝影限于H D T V的空間分辨率。因此，難于以較高空間分辨率圖像且較高幀率進(jìn)行攝像。
對(duì)于上述的課題，例如在專利文獻(xiàn)1到3中，作為用于將高空間分辨 率和高幀率的攝像兼顧的方式，提案了如下的方式即利用2系統(tǒng)的照相 機(jī)輸入時(shí)間分辨率和空間分辨率不同的圖像，并通過信號(hào)處理生成高空間 分辨率且高幀率的圖像。在這些專利文獻(xiàn)中記載了圖18所示的構(gòu)成。
圖18示出了以往的攝像裝置的構(gòu)成。入射到攝像裝置的光的一部分
透過半反射鏡171，而入射到第1照相機(jī)172。結(jié)果，對(duì)低分辨率、高幀
率的動(dòng)態(tài)圖像進(jìn)行攝影。另一方面，入射到攝像裝置的光中，由半反射鏡
171所反射的光，入射到第2照相機(jī)173。結(jié)果，對(duì)高分辨率、低幀率的 動(dòng)態(tài)圖像進(jìn)行攝影。
向上變換器(7、77?！硑八一夕)174，對(duì)由第1照相機(jī)172以及第2 照相機(jī)173所攝影的各動(dòng)態(tài)圖像進(jìn)行受理，而進(jìn)行圖像處理，從而輸出高 分辨率、高幀率的動(dòng)態(tài)圖像。
專利文獻(xiàn)1特開平7_143439號(hào)公報(bào)
專利文獻(xiàn)2特表2005 — 515675號(hào)公報(bào)
專利文獻(xiàn)3特開2005 — 318548號(hào)公報(bào)
然而，上述的攝像裝置中，基本上假定是針對(duì)單色圖像的處理而構(gòu)成， 因此若適用于由紅色(R)、綠色(G)、藍(lán)色(B)這3信道(于卞才W) 構(gòu)成的彩色圖像，則需要3倍處理量。另外，在處理后的圖像中的邊緣附 近變得與R、 G、 B的各色不相關(guān)，因此產(chǎn)生偽色，引起像質(zhì)降低。
本發(fā)明旨在解決上述的課題，目的在于在不降低運(yùn)算量的情況下，抑 制偽色的產(chǎn)生，而進(jìn)行彩色圖像的高分辨率化。

發(fā)明內(nèi)容
基于本發(fā)明的攝像處理裝置，具有分離部，其將可見光分離為第l 色成分、第2色成分以及第3色成分；第1攝像部，其對(duì)所述第l色成分 以及第3色成分的動(dòng)態(tài)圖像進(jìn)行攝影，以第1電荷蓄積期間進(jìn)行曝光，并 以第1空間分辨率、第1時(shí)間分辨率對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝 影；第2攝像部，其對(duì)所述第2色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并以比所述 第1電荷蓄積期間長(zhǎng)的第2電荷蓄積期間進(jìn)行曝光，并以比所述第1空間分辨率高的第2空間分辨率、比所述第1時(shí)間分辨率低的第2時(shí)間分辨率
對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；控制部，其對(duì)所述第l攝像部以
及所述第2攝像部中的攝像條件進(jìn)行控制；第l向上變換器，其基于所述
第1色成分的動(dòng)態(tài)圖像的信息以及所述第2色成分的動(dòng)態(tài)圖像的信息，生
成提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像；第2向上變換器，其
基于所述第1色成分和所述第3色成分的各動(dòng)態(tài)圖像的信息，以及提高了 時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的信息，生成提高了空間分辨率 后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像。
也可以是，所述第2向上變換器，具有向下變換器，其對(duì)提高了時(shí) 空分辨率后的所述第2成分的動(dòng)態(tài)圖像空間地進(jìn)行低分辨率化；系數(shù)推定
部，其基于降低了空間分辨率后的所述第2成分的動(dòng)態(tài)圖像以及提高了時(shí) 空分辨率后的所述第2成分的動(dòng)態(tài)圖像的關(guān)系，對(duì)用于從分辨率較低的動(dòng) 態(tài)圖像生成分辨率較高的動(dòng)態(tài)圖像的復(fù)原濾波器的系數(shù)進(jìn)行推定；其利用 所推定的所述系數(shù)，提高了所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖 像的空間分辨率而輸出。
也可以是，所述第2向上變換器，備有對(duì)提高了時(shí)空分辨率后的所述 第2成分的動(dòng)態(tài)圖像空間地進(jìn)行低分辨率化的向下變換器，所述第2向上 變換器，對(duì)利用所述向下變換器降低了空間分辨率后的所述第2成分的動(dòng) 態(tài)圖像以及提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的關(guān)系進(jìn)行學(xué) 習(xí)，并基于學(xué)習(xí)結(jié)果，提高所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖 像的空間分辨率而輸出。
也可以是，所述第2向上變換器，還具有對(duì)提高了時(shí)空分辨率后的所 述第2成分的動(dòng)態(tài)圖像空間地進(jìn)行低分辨率的向下變換器， 所述第2向上變換器，基于預(yù)先確定的、與由所述向下變換器降低了空間 分辨率后的所述第2成分的動(dòng)態(tài)圖像以及提高了時(shí)空分辨率后的所述第2 成分的動(dòng)態(tài)圖像的關(guān)系相關(guān)的學(xué)習(xí)模式，提高所述第1色成分以及所述第 3色成分的動(dòng)態(tài)圖像的空間分辨率而輸出。
也可以是，所述第2向上變換器，具有向下變換器，其對(duì)提高了時(shí) 空分辨率后的所述第2成分的動(dòng)態(tài)圖像空間地進(jìn)行低分辨率化；插補(bǔ)放大 部，其對(duì)所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像空間地進(jìn)行插補(bǔ)放大；相關(guān)運(yùn)算部，其對(duì)表示插補(bǔ)放大后的所述第1色成分以及所述第3 色成分的動(dòng)態(tài)圖像的局部性相關(guān)的相關(guān)值進(jìn)行運(yùn)算，并基于提高了時(shí)空分 辨率后的所述第2成分的動(dòng)態(tài)圖像的廣域成分以及所述相關(guān)值，生成與所 述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像相對(duì)應(yīng)的廣域成分，并重疊 于插補(bǔ)放大后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像，且輸出 提高了空間分辨率后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像。
也可以是，所述第2向上變換器，對(duì)利用所述向下變換器降低了空間 分辨率后的所述第2成分的動(dòng)態(tài)圖像和提高了時(shí)空分辨率后的所述第2成 分的動(dòng)態(tài)圖像的差進(jìn)行運(yùn)算，而生成提高了時(shí)空分辨率后的所述第2成分 的動(dòng)態(tài)圖像的廣域成分。
也可以是，所述第2向上變換器，通過對(duì)提高了時(shí)空分辨率后的所述 第2成分的動(dòng)態(tài)圖像的廣域成分和所述相關(guān)值進(jìn)行乘算，而生成與所述第 1色成分以及所述第3色成分的動(dòng)態(tài)圖像相對(duì)應(yīng)的廣域成分。
也可以是，所述第2向上變換器，具有對(duì)所述第l色成分以及所述第 3色成分的動(dòng)態(tài)圖像的各幀空間地進(jìn)行插補(bǔ)放大的插補(bǔ)放大部。
也可以是，所述第2向上變換器，具有向下變換器，其對(duì)提高了時(shí) 空分辨率后的所述第2成分的動(dòng)態(tài)圖像空間地進(jìn)行低分辨率化；插補(bǔ)放大 部，其對(duì)所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像空間地進(jìn)行插補(bǔ) 放大；輝度計(jì)算部，其基于提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖 像，以及插補(bǔ)放大后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像， 而計(jì)算輝度成分；色差計(jì)算部，其基于空間地低分辨率化后的所述第2成 分的動(dòng)態(tài)圖像以及插補(bǔ)放大后的所述第1色成分以及所述第3色成分的動(dòng) 態(tài)圖像，而計(jì)算色差成分。
也可以是，所述第2色成分是綠色。
也可以是，所述第2色成分能夠從紅色、綠色以及藍(lán)色的其中之一選擇。
基于本發(fā)明的圖像處理方法，對(duì)由攝像裝置所攝影的動(dòng)態(tài)圖像的信息 進(jìn)行處理，所述攝像裝置，具有分離部，其將可見光分離為第1色成分、 第2色成分以及第3色成分；第1攝像部，其對(duì)所述第1色成分以及第3
色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并在第1電荷蓄積期間進(jìn)行曝光，并以第l空間分辨率、第1時(shí)間分辨率對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；第 2攝像部，其對(duì)所述第2色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并在比所述第1電 荷蓄積期間長(zhǎng)的第2電荷蓄積期間進(jìn)行曝光，以比所述第1空間分辨率高 的第2空間分辨率、比所述第1時(shí)間分辨率低的第2時(shí)間分辨率，對(duì)構(gòu)成
所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；控制部，其對(duì)所述第l攝像部以及所述 第2攝像部中的攝像條件進(jìn)行控制，所述圖像處理方法包括基于所述第 1色成分的動(dòng)態(tài)圖像的信息以及所述第2色成分的動(dòng)態(tài)圖像的信息，生成 提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的步驟；基于所述第1色 成分和所述第3色成分的各動(dòng)態(tài)圖像的信息，以及提高了時(shí)空分辨率后的 所述第2成分的動(dòng)態(tài)圖像的信息，生成提高了空間分辨率后的所述第1色 成分以及所述第3色成分的動(dòng)態(tài)圖像的步驟。
基于本發(fā)明的計(jì)算機(jī)程序，使設(shè)于圖像處理裝置中的處理器，處理利 用攝像裝置攝影的動(dòng)態(tài)圖像的信息，所述攝像裝置，具有
分離部，其將可見光分離為第1色成分、第2色成分以及第3色成分；第
l攝像部，其對(duì)所述第1色成分以及第3色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并 在第1電荷蓄積期間進(jìn)行曝光，以第1空間分辨率、第1時(shí)間分辨率對(duì)構(gòu) 成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；第2攝像部，其對(duì)所述第2色成分的 動(dòng)態(tài)圖像進(jìn)行攝影，并以比所述第1電荷蓄積期間長(zhǎng)的第2電荷蓄積期間 進(jìn)行曝光，以比所述第1空間分辨率高的第2空間分辨率、比所述第l時(shí) 間分辨率低的第2時(shí)間分辨率對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；控 制部，其對(duì)所述第1攝像部以及所述第2攝像部中的攝像條件進(jìn)行控制， 所述計(jì)算機(jī)程序使所述處理器執(zhí)行如下步驟基于所述第1色成分的動(dòng)態(tài) 圖像的信息以及所述第2色成分的動(dòng)態(tài)圖像的信息，而生成提高了時(shí)空分 辨率后的所述第2成分的動(dòng)態(tài)圖像的步驟；基于所述第1色成分以及所述 第3色成分的各動(dòng)態(tài)圖像的信息，以及提高了時(shí)空分辨率后的所述第2成 分的動(dòng)態(tài)圖像的信息，生成提高了空間分辨率后的所述第1色成分以及所 述第3色成分的動(dòng)態(tài)圖像的步驟。
根據(jù)本發(fā)明的攝像處理裝置，能夠從分辨率和幀率不同的多個(gè)色成分 的動(dòng)態(tài)圖像，生成分辨率和幀率均較高的多色動(dòng)態(tài)圖像。對(duì)多個(gè)的色成分 的動(dòng)態(tài)圖像的每個(gè)，不使用半反射鏡等，而使用例如二向色反射鏡，將入射光分離為每個(gè)色成分而進(jìn)行攝影。為此，能夠達(dá)到將以H D T V以上高 分辨率化后的彩色圖像作為動(dòng)畫而得到的效果、并能夠?qū) D T V用彩色 照相機(jī)進(jìn)一步小型化。


圖1是表示基于實(shí)施方式1的攝像處理裝置1的構(gòu)成的圖。
圖2是更詳細(xì)地對(duì)G用向上變換器106的構(gòu)成進(jìn)行表示的圖。
圖3 ( a )以及(b )，是表示對(duì)利用區(qū)段匹配進(jìn)行移動(dòng)檢測(cè)時(shí)的基準(zhǔn)
幀和參照幀的圖。
圖4是表示構(gòu)成2X2像素的彩色圖像的R、 G、 B像素組的圖。
圖5是表示構(gòu)成較大的圖像中的局部區(qū)域的像素i ， i +1， i + w
以及i +w + l的圖。
圖6是對(duì)R和B的局部性相關(guān)p和權(quán)重W的關(guān)系進(jìn)行表示的圖。 圖7是對(duì)R、 B用向上變換器107的構(gòu)成更詳細(xì)地進(jìn)行表示的圖。 圖8是更詳細(xì)地對(duì)其他的例的R、 B用向上變換器107的構(gòu)成進(jìn)行表
示的圖。
圖9是對(duì)相關(guān)值p和權(quán)重W2的關(guān)系的例進(jìn)行表示的圖。 圖IO是對(duì)R、 B用向上變換器107的構(gòu)成的變形例進(jìn)行表示的圖。 圖11是對(duì)基于實(shí)施方式1的變形例的攝像處理裝置11的構(gòu)成進(jìn)行表 示的圖。
圖12是表示將攝像處理裝置1 一般化后的攝像處理裝置13的構(gòu)成的圖。
圖13是對(duì)由基于實(shí)施方式2的攝像裝置901、網(wǎng)絡(luò)902以及處理裝置 903所構(gòu)成的圖像處理系統(tǒng)的例進(jìn)行表示的圖。
圖14是表示由計(jì)算機(jī)構(gòu)成的圖像處理裝置的硬件的圖。 圖15是表示本發(fā)明的處理過程的流程圖。
圖16是對(duì)圖15中所示的步驟S103的詳細(xì)的處理過程進(jìn)行表示的流程圖。
圖17是對(duì)其他例的步驟S 103中的詳細(xì)處理過程進(jìn)行表示的流程圖。 圖18是對(duì)以往的攝像裝置的構(gòu)成進(jìn)行表示的圖。圖19是對(duì)構(gòu)成2X2X2像素的彩色圖像的R、 G、 B像素組進(jìn)行表
示的圖。
圖20是對(duì)構(gòu)成著眼像素和其近旁3像素的彩色圖像的R、 G、 B像 素組進(jìn)行表示的圖。 圖中
101 透鏡系統(tǒng)
102 二向色反射鏡(夕、V夕口,:y夕S，一) 103第l攝像部
104第2攝像部 105圖像處理部
106 G用向上變換器
107 R、 B用向上變換器 120控制部
具體實(shí)施例方式
以下，參照附圖對(duì)基于本發(fā)明的攝像處理裝置的實(shí)施方式進(jìn)行說明。 (實(shí)施方式1)
圖1表示基于本實(shí)施方式的攝像處理裝置1的構(gòu)成。攝像處理裝置1, 具有透鏡系統(tǒng)101、 二向色反射鏡102、第1攝像部103、第2攝像部104、 圖像處理部105、以及控制部120。
以下，首先對(duì)各構(gòu)成元素的功能進(jìn)行概說，其后，與攝像處理裝置1 的動(dòng)作相關(guān)聯(lián)地對(duì)各構(gòu)成元素的動(dòng)作進(jìn)行詳述。
透鏡系統(tǒng)101，將從攝像處理裝置1的外部入射的光即被拍攝體的像
進(jìn)行會(huì)聚。
二向色反射鏡102將光的紅色(R)成分以及藍(lán)色(B)成分透過， 并將光的綠色(G)成分反射。g卩，二向色反射鏡102，將入射的光分離 為紅色(R)成分和藍(lán)色(B)成分，以及綠色(G)成分。另外，在以 下中，將紅色成分記述為"R成分"，綠色成分"G成分"，將藍(lán)色成分 記述為"B成分"。
第1攝像部103，基于入射光(這里為光的R成分以及B成分)，以短時(shí)間的曝光時(shí)間、低分辨率以及高幀率對(duì)R成分以及B成分的動(dòng)態(tài)圖像分 別進(jìn)行攝影。并且，輸出所得到的數(shù)據(jù)。另外，為了分別取得R成分的動(dòng) 態(tài)圖像以及B成分的動(dòng)態(tài)圖像，第1攝像部103也可以在內(nèi)部具有二向色 反射鏡，并且，備有對(duì)R成分以及B成分進(jìn)行檢測(cè)的攝像元件。
第2攝像部104，基于入射光(這里為光的G成分)，以長(zhǎng)時(shí)間的曝光 時(shí)間、高分辨率以及低幀率對(duì)動(dòng)態(tài)圖像進(jìn)行攝影，并輸出G成分的動(dòng)態(tài)圖 像的數(shù)據(jù)。
圖像處理部105，對(duì)與R成分以及B成分的光對(duì)應(yīng)的動(dòng)態(tài)圖像的數(shù)據(jù) 以及與G成分的光對(duì)應(yīng)的動(dòng)態(tài)圖像的數(shù)據(jù)進(jìn)行受理(受rt取i9)，并利用 圖像處理將各自變換為高分辨率以及高幀率的動(dòng)態(tài)圖像而輸出。
圖像處理部105備有G用向上變換器(7:y7。^:/A—夕)106以及 R、 B用向上變換器107。
G用向上變換器106生成將G成分的幀率提高后的高分辨率、高幀率 的動(dòng)態(tài)圖像的數(shù)據(jù)。R、 B用向上變換器107，提高R成分以及B成分的 分辨率，并生成高分辨率、高幀率的動(dòng)態(tài)圖像的數(shù)據(jù)。動(dòng)態(tài)圖像，將1枚 或者多枚的圖像以規(guī)定的幀率連續(xù)地進(jìn)行切換而顯示?；赗、 B用向上 變換器107的提高分辨率的處理，表示將構(gòu)成動(dòng)態(tài)圖像的各圖像的像素?cái)?shù) 增加。
G用向上變換器106以及R、 B用向上變換器107的詳細(xì)如后述。 控制部120，對(duì)利用第1攝像部103以及第2攝像部104攝影動(dòng)態(tài)圖 像時(shí)的攝像條件進(jìn)行控制。并且將其控制信息輸出到G用向上變換器106 以及R、 B用向上變換器107。
接下來，對(duì)攝像處理裝置1的動(dòng)作與各構(gòu)成元素的動(dòng)作一起進(jìn)行詳述。 透鏡系統(tǒng)101中，以被拍攝體的像成像在第1攝像部103以及第2攝 像部104的攝像元件上的方式，對(duì)其位置進(jìn)行調(diào)整。通過透鏡系統(tǒng)101的 光，由二向色反射鏡102分離為R成分、G成分、B成分。
對(duì)上述R成分以及B成分的動(dòng)態(tài)圖像，按照由控制部120指示的攝像 條件即短時(shí)間曝光、低分辨率、高幀率，利用第1攝像部103進(jìn)行攝影。 這里，所謂"低分辨率"，是指例如NTSC的1幀的像素?cái)?shù)(水平720像素 X垂直480像素)左右，或者，其以下的VGA (Video Graphics Array:水平640像素X垂直480像素)左右的像素?cái)?shù)的分辨率。所謂"高幀率"， 是指30fps (幀/秒)至60fps左右。所謂"短時(shí)間曝光"，是指即使最長(zhǎng) 也以幀率所決定的上限值(本實(shí)施方式的情況，30分之一秒至60分之一 秒)以下的時(shí)間進(jìn)行曝光。
對(duì)于上述G成分的動(dòng)態(tài)圖像，也按照由控制部120所指示的攝像條 件即長(zhǎng)時(shí)間曝光、高分辨率、低幀率的攝像條件，利用第2攝影部104進(jìn) 行攝影。這里，所謂"高分辨率"，是指例如通常的數(shù)字靜物照相機(jī)的像 素?cái)?shù)(例如水平約4000像素，垂直約3000像素)的分辨率。所謂"低幀 率"，是指從第1攝像部103的數(shù)分之1到10分之1乃至20分之1的程 度的幀率(例如3fps (幀/秒))。所謂"長(zhǎng)時(shí)間曝光"，是指由將所述低 幀率的值所決定的時(shí)間(例如1 / 3秒)作為上限而進(jìn)行曝光。
在本實(shí)施方式中，第1攝像部103以及第2攝像部104，由控制部120 進(jìn)行同步控制而動(dòng)作。然而，也并不必須同步而動(dòng)作。
另外，上述的曝光時(shí)間的長(zhǎng)短、分辨率的高低、幀率的高低，表示第 1攝像部103以及第2攝像部104中的相對(duì)性攝像條件。彩色圖像的R成 分以及B成分的曝光時(shí)間，可以比G成分的曝光時(shí)間短。R成分以及B成 分的分辨率(這里與像素?cái)?shù)對(duì)應(yīng))可以比G成分的分辨率低。R成分以及 B成分的幀率可以比G成分分辨率高。不限定于例示的上述的數(shù)值范圍。
以下，本說明書中，把分辨率高(H)幀率低(L)的G的色成分的 動(dòng)態(tài)圖像表記為G^，將分辨率低(L)幀率高(H)的R以及B的色成 分的動(dòng)態(tài)圖像分別表記為I^h， B,h。第l個(gè)文字表示色成分，第2個(gè)文字 (第l下標(biāo))表示分辨率，第3文字(第2下標(biāo))表示幀率。
G用向上變換器106，將按照長(zhǎng)時(shí)間曝光、高分辨率進(jìn)行低幀率攝像 的G圈像Gh,，和按照短時(shí)間曝光、低分辨率進(jìn)行高幀率攝像的R圖像以 及B圖像R,h、 Bu,的數(shù)據(jù)作為攝像條件而受理，并將G^高分辨率化，作 為Gnu而輸出。
也即，G用向上變換器106，生成以相同的分辨率高幀率化后的合成 動(dòng)態(tài)圖像。這表示以綠色的合成動(dòng)態(tài)圖像的主觀像質(zhì)最好的方式進(jìn)行處理。
如此處理的理由，是因?yàn)槿艘曈X靈敏度相對(duì)于綠色比相對(duì)于紅色、藍(lán)色高特性，通常希望綠色的合成動(dòng)態(tài)圖像的主觀像質(zhì)最佳的緣故。
為了優(yōu)化綠色的合成動(dòng)態(tài)圖像的主觀像質(zhì)，大多數(shù)情況下認(rèn)為以高分 辨率低幀率對(duì)綠色的動(dòng)態(tài)圖像進(jìn)行攝影是合適的情況。例如，在圖像中的 被拍攝體是靜止或者活動(dòng)較小的情況下，若以高分辨率低幀率對(duì)綠色的動(dòng) 態(tài)圖像進(jìn)行攝影，則相對(duì)于紅色、藍(lán)色的合成動(dòng)態(tài)圖像，綠色的合成動(dòng)態(tài) 圖像的分辨率較高，結(jié)果主觀像質(zhì)變高。并且，與紅色、藍(lán)色相比，進(jìn)一 步提高了綠色的動(dòng)態(tài)圖像的幀率，因此能夠期待主觀像質(zhì)優(yōu)化。
圖2更詳細(xì)地表示G用向上變換器106的構(gòu)成。在圖2中，對(duì)于與圖 1的攝像處理裝置的構(gòu)成元素共通的構(gòu)成元素附加相同的參照符號(hào)，而省
略其說明。
G用向上變換器106，具有移動(dòng)檢測(cè)部108以及時(shí)間分辨率向上變換 器109。
移動(dòng)檢測(cè)部108，利用區(qū)段匹配、梯度法、相位相關(guān)法等的既存的公 知技術(shù)，根據(jù)FU、 B^對(duì)移動(dòng)(光學(xué)流才7。亍^力，:7口一)進(jìn)行檢測(cè)。 作為公知技術(shù)，周知的有例如J. L. Barron， D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt."Performance of Optical Flow Techniques" , In Proc. Computer Vision and Pattern Recognition, pp. 236-242， 1992。
圖3 ( a )以及(b )，表示由區(qū)段匹配進(jìn)行移動(dòng)檢測(cè)時(shí)的基準(zhǔn)幀和參 照幀。移動(dòng)檢測(cè)部108，在作為基準(zhǔn)的幀(為了求取移動(dòng)而著眼的時(shí)刻t 中的圖像)內(nèi)，設(shè)定圖3(a)所示的窗區(qū)域A。并且，在參照幀內(nèi)對(duì)與 窗區(qū)域內(nèi)的圖案類似的圖案進(jìn)行探索。作為參照幀，較多地利用例如著眼 幀的下一個(gè)幀。
探索范圍，以在圖3(b)所示的那樣，通常，以移動(dòng)量零的位置B 為基準(zhǔn)而預(yù)先設(shè)定一定的范圍(同圖3 (b)中的C)。另外，圖案的類似 度(程度)，通過將由(數(shù)學(xué)式l)所示的殘差平方和(平飽和)(S S D: Sum of Square Differrences)、(數(shù)學(xué)式2) 所示的殘差絕對(duì)值和(SAD: Sum ofAbsoluted D i f f e r e n c e s )作為評(píng)價(jià)值進(jìn)行計(jì)算而評(píng)價(jià)。數(shù)學(xué)式l卿=J] (/(""，"v，"A/)-/(x，W))數(shù)學(xué)式2
雄=Z 1/(則j + v,"A/)-/(:c，y，/)1
在(數(shù)學(xué)式1)以及(數(shù)學(xué)式2)中，x、 yEW，表示在基準(zhǔn)幀的 窗區(qū)域內(nèi)包含的像素的坐標(biāo)值。
移動(dòng)檢測(cè)部108，通過在探索范圍內(nèi)使(u， v)變化，而探索將上 述評(píng)價(jià)值最小化(u， v)的組，并將此作為幀間的移動(dòng)向量V。通過使 窗區(qū)域的設(shè)定位置順次移動(dòng)，能夠針對(duì)每像素或者每區(qū)段(例如8像素X8 像素)求算移動(dòng)。
再次參照?qǐng)D2。時(shí)間分辨率向上變換器109，對(duì)由第1攝像部103所 攝像的R圖像Rw和B圖像BLH，由第2攝影部104所攝像的G圖像Ga, 以及由移動(dòng)檢測(cè)部108所檢測(cè)的移動(dòng)向量V的各數(shù)據(jù)進(jìn)行受理(受〖t取<9 )， 將Gm.高分辨率化，并作為GHH輸出。
這里，G^的高分辨率化，通過求算將下述的(數(shù)學(xué)式3)最小化的G
"H而進(jìn)行。
數(shù)學(xué)式3
/ = (HfG冊(cè)- G肌)2 + & (Q,G冊(cè))2 + & (Q加G冊(cè))2 + 4 (QAG朋)2
這里，GHH、GH,是以動(dòng)態(tài)圖像的各像素為元素的縱向量，Ht是將基
于長(zhǎng)時(shí)間曝光的光的加算模型化后的矩陣，入s是針對(duì)平滑度約束的權(quán)重， Qs是平滑度約束，、是針對(duì)移動(dòng)約束的權(quán)重，(^是移動(dòng)約束，入。是針 對(duì)色相關(guān)約束的權(quán)重，Hs是將高分辨率圖像和低分辨率圖像的關(guān)系模型化 后的矩陣，Q。表示色相關(guān)約束。利用控制部120在第2攝像部104設(shè)定的 攝影條件至少反映在上述HT， Qs、 GL以及Q。中。
所謂將上述(數(shù)學(xué)式3)最小化的Ghh，表示完全滿足所賦予的約束條 件的淺性和的Ghh。另外，數(shù)學(xué)式3的左邊是數(shù)量(7力，一 scalar)。 右邊的各項(xiàng)的導(dǎo)出過程如后述。
時(shí)間分辨率提高變換器109，基于下述(數(shù)學(xué)式4)而得到將(數(shù)學(xué) 式3)最小化的Ghh。數(shù)學(xué)式4
} = 2H纟(H^冊(cè)-G戰(zhàn))十24QrQ'G冊(cè)+ 2^Q:QmG冊(cè)+24^<^< 凡6冊(cè)=0
結(jié)果，時(shí)間分辨率向上變換器109，通過求解(數(shù)學(xué)式5)所示的聯(lián)
立方程式而得到Ghh。
數(shù)學(xué)式5
通過利用共軛梯度法、最急下降法等的既存的數(shù)值計(jì)算法(聯(lián)立方程 式的解法)而求解(數(shù)學(xué)式5)。
時(shí)間分辨率向上變換器109通過上述的過程對(duì)所輸入的GH,進(jìn)行高分 辨率化從而求取GHH的處理，是增加幀數(shù)的處理，也即不僅是提高時(shí)間分 辨率的處理，也包含將模糊后的圖像更換為明銳的(、乂卞一7。 sharp) 圖像的處理。G成分的動(dòng)態(tài)圖像，通過第2攝像部104而以高分辨率進(jìn)行 攝影，但是也可能存在因?yàn)殚L(zhǎng)時(shí)間曝光的影響而使得圖像的一部模糊的情 況。因此，也包含圖像的銳化處理而稱作'高分辨率化'。
以下，對(duì)(數(shù)學(xué)式3)的各項(xiàng)的含義，針對(duì)作用而更詳細(xì)地進(jìn)行說明。
(數(shù)學(xué)式3)的第一項(xiàng)表示根據(jù)高分辨率化后的GHH而預(yù)測(cè)的長(zhǎng)時(shí)間曝 光圖像與實(shí)際觀測(cè)的長(zhǎng)時(shí)間曝光圖像GH,差異。這里，表示高分辨率化后 的GHH和長(zhǎng)時(shí)間曝光圖像G^圖像間的時(shí)間空間的對(duì)應(yīng)關(guān)系。這里，Ht中 行數(shù)比列數(shù)少。這可以從如下情況理解G^是長(zhǎng)時(shí)間曝光圖像，幀率比 G,ni低(也即，總的像素?cái)?shù)較少)。為此，假若僅將(數(shù)學(xué)式3)的左邊作 為第一項(xiàng)，則成為應(yīng)該求解的問題(也即聯(lián)立方程式)不能唯一地得到求 解的不良設(shè)定問題。
為了將該不良設(shè)定問題變更為良好設(shè)定問題，在(數(shù)學(xué)式3)的第一 項(xiàng)附加第二項(xiàng)以下的項(xiàng)。(數(shù)學(xué)式3)的第二項(xiàng)，表示圖像通常滿足的特性， 也即近旁像素間的局部的平滑度。設(shè)動(dòng)態(tài)圖像為I (x， y， t)，則局部
的平滑度能夠作為數(shù)學(xué)式6,2/(一『血辦說=J
。2
St
3:
而表示。這里，積分范圍是動(dòng)態(tài)圖像所占的時(shí)空間全體，數(shù)學(xué)式6的被積 分函數(shù)中的l卜ll表示向量的范數(shù)(乂少厶)。(數(shù)學(xué)式3)的第二項(xiàng)，是 對(duì)(數(shù)學(xué)式6)進(jìn)行差分展開，將I置換為G，并以矩陣Qs和向量GHH的 積的形式進(jìn)行表示。
(數(shù)學(xué)式3)的第三項(xiàng)，是與圖像中的移動(dòng)相關(guān)的約束。這里，假定 動(dòng)態(tài)圖像中的各點(diǎn)沒有改變亮度而移動(dòng)。第三項(xiàng)中的矩陣Qm，是與動(dòng)態(tài) 圖像中檢測(cè)到的移動(dòng)向量的始點(diǎn)和終點(diǎn)的像素相關(guān)的元素，并分別成為1 和_1。為此，(QmG^2成為與移動(dòng)向量的始點(diǎn)和終點(diǎn)間的殘差的平方(2
乗)的動(dòng)態(tài)圖像全體相關(guān)的總和。
(數(shù)學(xué)式3)的第四項(xiàng)是與R、 G、 B間的局部性相關(guān)有關(guān)的約束。 與在(數(shù)學(xué)式3)的第二項(xiàng)假定局部的平滑度同樣，這里，假定局部的R、 G、 B的像素值之間的相關(guān)(色相關(guān))。
現(xiàn)在，為了簡(jiǎn)單化，以圖4所示的例子進(jìn)行考慮。圖4，表示構(gòu)成2X2 像素的彩色圖像的R、 G、 B像素組。這里，假定在R、 G、 B間存在相 關(guān)。也即，各像素中的R、 G、 B的比是同樣的。這樣的，下述的(數(shù)學(xué) 式7)成立。
數(shù)學(xué)式7
若從這些各4個(gè)的比選擇2個(gè)， 得到(數(shù)學(xué)式8)。數(shù)學(xué)式8
根據(jù)其選擇如4C2二6所示，能夠
一- I-
ii =
I- --叫-
G,廣 G,廣
G,廣 G254
G2i 1=0 G4A = 0
G4J^ = 0
_G352=0 一0 4爲(wèi)=0
-Gj瑪=0 —G4B2=0
若以矩陣和向量表示(數(shù)學(xué)式8),數(shù)學(xué)式9
j成為(數(shù)學(xué)式9),<formula>formula see original document page 19</formula>
作為局部的區(qū)域考慮2X2像素的情況，RGB間的相關(guān)，能夠由(數(shù)學(xué) 式9)的左邊的范數(shù)(數(shù)學(xué)式IO)所評(píng)價(jià)。數(shù)學(xué)式10<formula>formula see original document page 20</formula>這里，qTq能夠(數(shù)學(xué)式ll)由所表示'數(shù)學(xué)式ll
qTq =
、、《+《+《 《 -械-賦 --M-"A
——烏A—《+《+《十g'+《+ ^ -&天4 —AA
5,S4 -AA—— 《+/ +《+《+《+《
接下來，作為比2X2像素大的圖像中的局部區(qū)域考慮2X2像素的區(qū) 域。圖5表示構(gòu)成較大的圖像中的局部區(qū)域的像素i 、 i +1、 i十w以 及i + w + l。如在圖5中所示的那樣，若設(shè)局部區(qū)域的左上的像素為第i 個(gè)像素，右上的像素是第i +1個(gè)，左下的像素是第i + w個(gè)(這里，w是 圖像的寬度的像素?cái)?shù))，右下的像素為第i +w + l的像素。為此，該情況 (數(shù)學(xué)式ll)如(數(shù)學(xué)式12)那樣被變形。數(shù)學(xué)式12
^d+《,+K 阜-祧'
—狄"-W +《,+《+ ^
第i列
第i+l列
-站d
-^A' -n
-耿w -多Atrn
"代"&W1曙及W及WW1
- 《+&-+fl'，+乾'+1
第i+w列
第i+w+l列
第i列 第i+l列 第i+w列 葛i+w+l歹廿
為了對(duì)圖像全體計(jì)算Q。TQ。，在將Q。TQ。的全元素置為0后， 一邊順 次移動(dòng)局部區(qū)域的左上的像素的位置(即i )， 一邊將(數(shù)學(xué)式10)所示 的局部的系數(shù)加算到較大區(qū)域的系數(shù)矩陣Q。TQ。即可。此時(shí)，也可以將局部區(qū)域的位置分別沿縱橫每1像素地移動(dòng)而互相地重疊的方式進(jìn)行配置， 或者，也可以按照沿縱橫分別每2像素進(jìn)行移動(dòng)而互相地不重疊而鄰接的 方式進(jìn)行配置。對(duì)于后者的情況，也可能存在在局部區(qū)域邊界產(chǎn)生偽跡(7 一于7 7夕卜)情況，但能夠以更少的運(yùn)算量得到大致同等的效果。
通過以上述的過程，能夠計(jì)算HT、 Qs、 Qm、 Q。TQ。。另外，在(數(shù) 學(xué)式3)的第4項(xiàng)中包含的Hs，是將GHH空間地低分辨率化的算子(作用 素)。這是為了在GHn的中域和R,h， B,h之間施加上述的色相關(guān)約束而使用的。
另外，關(guān)于各約束的權(quán)重入s、入》、、的各值，按照所生成的圖像G
hh的像質(zhì)變好的方式進(jìn)行設(shè)定。例如(數(shù)學(xué)式3)中，作為在這些參數(shù)中進(jìn)
行加權(quán)的各項(xiàng)(包含前頭的項(xiàng)的4項(xiàng))的大小量級(jí)(才一夕'一)大致一致，
成為設(shè)定權(quán)重AS、 Am、、的值時(shí)的一個(gè)目標(biāo)。相反，若這些4項(xiàng)的大小
的量級(jí)不一致，則值大的項(xiàng)作為約束條件而成為支配性的，值小的項(xiàng)不作 為約束條件發(fā)揮效力。
使用如以上的那樣所計(jì)算的矩陣和權(quán)重，能夠通過對(duì)所觀測(cè)的圖像G 求解(數(shù)學(xué)式5)的聯(lián)立方程式，而生成Ghh。
另外，與(數(shù)學(xué)式12)所示的局部的區(qū)域中的R和B的相關(guān)相對(duì)應(yīng)地， 以(數(shù)學(xué)式13)的方式進(jìn)行加權(quán)，能夠與RB間的相關(guān)相對(duì)應(yīng)地通過視覺 性而再現(xiàn)自然的G,數(shù)學(xué)式13
I1L
『
第i列
《 +《L+d+A)+《+ L,
第i + l列
第i列
第i+l列 第i+w列 第i+w+l歹ij
第i + w列
第i+w+l列
這里，作為權(quán)重W的分布，與局部區(qū)域內(nèi)的R和B的相關(guān)值(從一l 到1)相對(duì)應(yīng)地，采用從0到1的值而進(jìn)行設(shè)定。例如圖6表示R和B的 局部性相關(guān)P和權(quán)重W的關(guān)系。與圖4所示的2X2像素的區(qū)域相關(guān)地， R和B的局部性相關(guān)值p由(數(shù)學(xué)式14)所表示。數(shù)學(xué)式14若得到R和B的局部性相關(guān)值p ，則能夠基于圖6的關(guān)系決定權(quán)重W。
另外，局部的R和B的相關(guān)，并不一定必須對(duì)于2X2像素的區(qū)域進(jìn) 行求取，也可以針對(duì)3X3像素、4X4像素、5X5像素等的更寬范圍的矩 形區(qū)域而求取。另外，也可以對(duì)于圓形、4邊形以上的多邊形等的區(qū)域進(jìn) 行求取，利用高斯(力、，、》)函數(shù)等附加對(duì)著眼像素位置近旁進(jìn)行重視 那樣的權(quán)重而進(jìn)行計(jì)算。利用這種計(jì)算方法，能夠針對(duì)圖像的圖案，使相 關(guān)值的計(jì)算更加各向同性化。
另外，本實(shí)施方式中，使用R、 G、 B的等級(jí)(k《》)本身計(jì)算與 色相關(guān)有關(guān)的約束Q。，但是作為等級(jí)本身的替代，也能夠使用R、 G、 B 的梯度(二5配)得到同樣的效果。針對(duì)這樣的例子在以下進(jìn)行說明。
與動(dòng)態(tài)圖像中的移動(dòng)相關(guān)地，若假定對(duì)應(yīng)點(diǎn)間亮度一定，則可知對(duì) 于圖像中的移動(dòng)向量(u， v)，光學(xué)流的關(guān)系近似成立。對(duì)于R、 G、 B各個(gè)的光學(xué)流的式為(數(shù)學(xué)式15)。數(shù)學(xué)式15
朋 戰(zhàn) 朋 n ——w+——v+——=U
ac * 溈 ao 3c n
——《 +——v+-= 0
Sx 汾
朋朋朋 A
ac * 改
這里，若假定圖像中的移動(dòng)向量
得到(數(shù)學(xué)式16)。數(shù)學(xué)式16
(u， v)在R、 G、 B間相同，則<formula>formula see original document page 23</formula>(數(shù)學(xué)式16)中，R、 G是針對(duì)1像素的值而考慮的。然而，由于d 3x， d/dy能夠通過差分展開而作為矩陣表現(xiàn)，因此若將R、 G作為向 :而考慮，則對(duì)于動(dòng)態(tài)圖像全體得到(數(shù)學(xué)式17)。數(shù)學(xué)式17
<formula>formula see original document page 23</formula>
對(duì)于圖像全體，為了使(數(shù)學(xué)式17)的各式盡可能同時(shí)成立，而求取 將(數(shù)學(xué)式18)最小化的G,數(shù)學(xué)式18<formula>formula see original document page 23</formula>為了求取使(數(shù)學(xué)式18)最小化的Ghh，也可以求取將利用Ghh対(數(shù) 學(xué)式18)迸行偏微分而得到的式置零的Ghh。由此得到(數(shù)學(xué)式19)。數(shù)學(xué)式19
pR"i-^#'「〖lR"H")H'l'*4 .「〖!^K)Hf|^HB"i>f|g"U)Hfr"。。
通過(數(shù)學(xué)式19)和(數(shù)學(xué)式3)的第4項(xiàng)的比較，而得到(數(shù)學(xué)式
20)。
數(shù)學(xué)式20
另外，局部性相關(guān)關(guān)系，也沒有必要限于與至此所說明的空間的近旁 有關(guān)的相關(guān)關(guān)系，針對(duì)時(shí)間的、空間的近旁進(jìn)行考慮當(dāng)然也可以。例如， 作為其一例，通過針對(duì)圖19那樣的近旁區(qū)域而進(jìn)行考慮，能夠得到更穩(wěn) 定的效果。圖19表示構(gòu)成2X2X2像素的彩色圖像的R、 G、 B像素組。 這里，假定在R、 G、 B間存在相關(guān)。也即，假定各像素中的R、 G、 B 的比一樣。如此，下述(數(shù)學(xué)式21)成立。數(shù)學(xué)式21
<formula>formula see original document page 24</formula>
若從這些各8個(gè)的比選擇2個(gè)，則其選擇方法按照8(:2 = 28。結(jié)果， 得到(數(shù)學(xué)式22)以及(數(shù)學(xué)式23)。數(shù)學(xué)式22<formula>formula see original document page 25</formula><formula>formula see original document page 26</formula><formula>formula see original document page 27</formula><formula>formula see original document page 28</formula>在作為局部的區(qū)域考慮2X2X2像素的情況下，RGB間的相關(guān)，能夠 由(數(shù)學(xué)式25)的左邊的范數(shù)(乂》厶)(數(shù)學(xué)式27)所評(píng)價(jià)。數(shù)學(xué)式27
q
"'、
G5 G6 G7 、G"
,G2 G3 G4 G5 G6 G7 G8)qrq
、G"
作為比2 X 2 X2像素大的圖像中的局部區(qū)域，在考慮2 X2 X 2像素的 區(qū)域的情況下，先與針對(duì)2X2像素的空間上近旁區(qū)域進(jìn)行考慮的情況同 樣，通過將局部的關(guān)系順次加算到大域的關(guān)系式，而能夠得到大域的關(guān)系式。
另外，也可以代替針對(duì)上述2X2X2像素的近旁區(qū)域考慮局部性相關(guān) 關(guān)系，而如圖20所示那樣，僅對(duì)著眼像素和與著眼像素在時(shí)間上、空間 上鄰接的3像素的合計(jì)4像素考慮局部性相關(guān)關(guān)系進(jìn)行考慮。該情況，能 夠以比針對(duì)2X2X2像素的近旁區(qū)域考慮局部性相關(guān)關(guān)系更少的運(yùn)算量， 得到大致同樣的效果。
此外，作為按照如上述那樣的形式對(duì)時(shí)間方向的近旁區(qū)域考慮局部性 相關(guān)關(guān)系的替代，而沿光學(xué)流的方向也即移動(dòng)向量的方向假定局部性相關(guān) 關(guān)系，而正確地求得了光學(xué)流(移動(dòng)向量場(chǎng))的情況下，能夠得到更穩(wěn)定 的效果。此外，在以子像素(廿:/匕。夕ir/VO精度得到移動(dòng)向量的情況下， 能夠通過使用了小數(shù)學(xué)式點(diǎn)以下的移動(dòng)向量的值的權(quán)重，有效地使用子像 素精度的移動(dòng)信息。
關(guān)于上述的(數(shù)學(xué)式3)，從右邊第1項(xiàng)到第4項(xiàng)的約束條件，并不一 定同時(shí)需要全部這些。也可以使用以下的那樣的變形例。也即，也可以是 僅僅能夠利用(數(shù)學(xué)式l)的第1項(xiàng)和第2項(xiàng)。數(shù)學(xué)式287 冊(cè)-Gffl)2 +諷6甜)2
或者，也可以利用僅僅基于(數(shù)學(xué)式3)的第1項(xiàng)和第4項(xiàng)的(數(shù)學(xué) 式29)。
數(shù)學(xué)式29
/ = (H ,G冊(cè)-Gffl)2 + A(QcH,G朋)2
或者，也可以利用僅僅基于(數(shù)學(xué)式3)的第1項(xiàng)和第2項(xiàng)以及第3 項(xiàng)的(數(shù)學(xué)式30)。數(shù)學(xué)式30
= (HrG^ -G肌)2 +4 (Q,G冊(cè))2 +人(CLG冊(cè))2
或者，也可以利用僅僅基于第1項(xiàng)和第2項(xiàng)以及第4項(xiàng)的(數(shù)學(xué)式31 )。數(shù)學(xué)式31
7 = (HrGm —Gffl)2 ", (Q,G冊(cè))2十4(QAG朋)2
根據(jù)這些變形例，能夠以比使用(數(shù)學(xué)式3)所示的4項(xiàng)全部的約束 條件(數(shù)學(xué)式1)而計(jì)算更少的運(yùn)算量實(shí)現(xiàn)G成分的高分辨率化。但是， 為了緩和約束條件，所生成的圖像的高分辨率感會(huì)多少有所降低。
另外，移動(dòng)檢測(cè)較難的場(chǎng)景中，通過不使用移動(dòng)檢測(cè)的結(jié)果的數(shù)學(xué)式 ((數(shù)學(xué)式28)、(數(shù)學(xué)式29)或者(數(shù)學(xué)式31))而進(jìn)行高分辨率化處理， 能夠與所輸出的圖像的像質(zhì)相關(guān)地，抑制由移動(dòng)的誤檢測(cè)引起的偽跡(圖 像的紊亂、噪聲)的產(chǎn)生。根據(jù)場(chǎng)景的移動(dòng)檢測(cè)是否較難，可以(a )根 據(jù)時(shí)間上在雙方向上進(jìn)行移動(dòng)檢測(cè)的結(jié)果的差異進(jìn)行判斷，(b )根據(jù)(數(shù) 學(xué)式1)、(數(shù)學(xué)式2)所示的移動(dòng)檢測(cè)時(shí)的評(píng)價(jià)值的探索范圍內(nèi)的最小值 進(jìn)行判斷。
前者(a)的情況，若假設(shè)基準(zhǔn)幀的圖像中的(x， y)中，時(shí)間上 順方向的移動(dòng)檢測(cè)結(jié)果為(u， v)，則以接下來順方向的移動(dòng)檢測(cè)時(shí)的 參照幀為基準(zhǔn)而逆方向進(jìn)行移動(dòng)檢測(cè)，若(x + u， y + v)中的移動(dòng)檢 測(cè)結(jié)果是(一u， 一v)，則雙方向的移動(dòng)檢測(cè)中具有一貫性，可以信頼。 另一方面，與(一u， 一v)不同的情況，例如在存在一定的閾值以上的 差異的情況下，能夠判斷為是移動(dòng)檢測(cè)較難的狀況。
另外，與后者(b)的情況同樣，在對(duì)于SSD、 SAD的移動(dòng)檢測(cè)時(shí)的評(píng)價(jià)值的探索范圍內(nèi)的最小值，例如予定的閾值以上的情況下，能夠 判斷為是移動(dòng)檢測(cè)較難的狀況。
另外，對(duì)于沒有色相關(guān)的場(chǎng)景，也可以使用(數(shù)學(xué)式28)、(數(shù)學(xué)式
30)。根據(jù)(數(shù)學(xué)式13)所示的加權(quán)方法，若對(duì)沒有色相關(guān)的場(chǎng)景進(jìn)行處 理，則權(quán)重變得較小。因此，在該情況下，自動(dòng)地使用(數(shù)學(xué)式30)。
另外，參照?qǐng)D1。 R、 B用向上變換器107，使用通過G用向上變換 器106而進(jìn)行了高分辨率化的G成分的動(dòng)態(tài)圖像，利用第1攝像部103， 而對(duì)以短時(shí)間曝光、低分辨率、高幀率的攝像條件進(jìn)行攝像的R、 B成分 的動(dòng)態(tài)圖像進(jìn)行高分辨率化。
以下， 一邊參照?qǐng)D7， 一邊詳細(xì)地說明對(duì)R、 B成分的動(dòng)態(tài)圖像進(jìn)行 高分辨率化的處理。
圖7更詳細(xì)地表示R、 B用向上變換器107的構(gòu)成。圖7中，對(duì)于與 圖1的攝像處理裝置的構(gòu)成元素共通的構(gòu)成元素附加相同的參照符號(hào)，并 省略其說明。
R、 B用向上變換器107，具有向下變換器IIO、系數(shù)推定部lll、復(fù) 原濾波器112。
向下變換器110，對(duì)利用G用向上變換器106進(jìn)行了高分辨率化后的 G成分(GHH)空間地進(jìn)行低分辨化，并輸出G,系數(shù)推定部111，從G nn和GLH推定復(fù)原濾波器112 (復(fù)原濾波器H + )的濾波器系數(shù)。作為復(fù)原 濾波器112，能夠使用威納(々^一于)濾波器、 一般逆濾波器等公知的 濾波器。這些復(fù)原濾波器，能夠使用G皿和G,h的關(guān)系，從低分辨率側(cè)的信 號(hào)推定高分辨率側(cè)的信號(hào)。復(fù)原濾波器U2，使用由系數(shù)推定部111推定 的濾波器系數(shù)，從Rlh， Bm復(fù)原R冊(cè)，BHH。
另外，R、 B用向上變換器107中的R、 B的高分辨率化處理，不限 于上述那樣的所謂的再構(gòu)成型的處理，也可以通過其他的高分辨率化處理 進(jìn)行。以下說明基于其他例的高分辨率化處理。
圖8對(duì)基于其他例的R、 B用向上變換器107的構(gòu)成詳細(xì)地進(jìn)行表示。 這里，R、 B用向上變換器107，根據(jù)R和B的相關(guān)而將G的高域成分重 疊于插補(bǔ)放大后的R成分以及B成分，從而對(duì)R成分以及B成分進(jìn)行高分 辨率化。圖8所示的R、 B用向上變換器107，具有向下變換器113、插補(bǔ)放 大部114、局部相關(guān)運(yùn)算部115、權(quán)重生成部116、計(jì)數(shù)器117、圖像存儲(chǔ) 器118、標(biāo)準(zhǔn)化部119。
R、 B用向上變換器107,以構(gòu)成動(dòng)態(tài)圖像的幀單位進(jìn)行處理。首先， 在各幀處理之初，用例如0填充計(jì)數(shù)器117的內(nèi)容和圖像存儲(chǔ)器118的內(nèi) 容而進(jìn)行清零。
低分辨率化部113對(duì)利用G用向上變換器106高分辨率化后的G成分 (GHH)空間地進(jìn)行低分辨化，而輸出G,h。
插補(bǔ)放大部114，對(duì)以低分辨率、高幀率攝像的RuK B』和攝影條件 進(jìn)行受理，并進(jìn)行插補(bǔ)放大以使得R w和B lh與Ghh具有相同像素?cái)?shù)。
局部相關(guān)運(yùn)算部115,與2X2像素、3X3像素程度的局部的區(qū)域相 關(guān)，對(duì)R吣B^的局部性相關(guān)值進(jìn)行計(jì)算。在對(duì)于2X2像素計(jì)算局部性 相關(guān)值P時(shí)，局部相關(guān)運(yùn)算部115，能夠利用例如(數(shù)14)。
權(quán)重生成部116，生成與由局部相關(guān)運(yùn)算部115所計(jì)算的相關(guān)值對(duì)應(yīng) 的權(quán)重。圖9表示相關(guān)值P和權(quán)重W2的關(guān)系。權(quán)重生成部116，基于相 關(guān)值P和圖9所示的關(guān)系，求取權(quán)重W2。
如圖8所示那樣，將由權(quán)重生成部116生成并輸出的權(quán)重，和Ghh與 Ga的差(也即G的高域成分)進(jìn)行乘算，對(duì)圖像存儲(chǔ)器118進(jìn)行更新。 更詳細(xì)地說，進(jìn)行乘算后，對(duì)與圖像存儲(chǔ)器118內(nèi)的像素?cái)?shù)據(jù)的存儲(chǔ)位置 對(duì)應(yīng)的地址進(jìn)行特定。并且，對(duì)乘算結(jié)果和保持于其地址的值加算，其地 址值被改寫為加算結(jié)果。
此時(shí)，對(duì)圖像存儲(chǔ)器118進(jìn)行寫入的對(duì)象，可以是1像素，或者，也 可以是計(jì)算局部性相關(guān)值的范圍。但是，在如后者那樣對(duì)多像素重疊高域 成分的情況下，利用對(duì)局部相關(guān)進(jìn)行計(jì)算的區(qū)域的設(shè)定的方法(也即圖像 內(nèi)的增加的方法)，對(duì)于同一像素重疊多次、高域成分?？紤]這樣的情況， 而在圖8的R、 B用向上變換器107中，利用計(jì)數(shù)器117。計(jì)數(shù)器117，
針對(duì)各像素對(duì)重疊了高域成分后的次數(shù)進(jìn)行存儲(chǔ)。
標(biāo)準(zhǔn)化部119，將多次重疊后的高域成分，除以針對(duì)每1個(gè)像素而寫 入計(jì)數(shù)器117中的次數(shù)值。標(biāo)準(zhǔn)化后的高域成分，被重疊于由插補(bǔ)放大部 114所插補(bǔ)放大后的r、 B圖像，并作為rhh、 Bhh而瑜出。利用以上所述的方法，能夠?qū)、 B進(jìn)行高分辨率化，從而能夠在保 持局部的色離散狀態(tài)中對(duì)R和B進(jìn)行高分辨率化，結(jié)果，能夠進(jìn)行抑制偽 色的發(fā)生的高分辨率化。
另外，在圖9，作為相關(guān)值和權(quán)重的關(guān)系的一例示出了線性的關(guān)系的 情況。可是，這是例子，也可以考慮攝像時(shí)、顯示時(shí)的Y特性而成為非
線性的關(guān)系。另外，對(duì)于R，利用(R的局部平均)/ (G的局部平均) 對(duì)所述的權(quán)重進(jìn)行標(biāo)準(zhǔn)化，對(duì)于B利用(B的局部平均)/ (G的局部平 均)對(duì)所述的權(quán)重進(jìn)行標(biāo)準(zhǔn)化。利用該標(biāo)準(zhǔn)化，能夠與R、 G、 B的像素 值相對(duì)應(yīng)，對(duì)R和B所重疊的G的高域成分的振幅進(jìn)行調(diào)節(jié)，并能夠降低 由過度的高域的重疊引起的觀察時(shí)的不適感。這里，作為R、 G、 B的局 部平均，也可以利用插樸放大后的Rlh、 B,h、圖8的向下變換器113對(duì) G冊(cè)進(jìn)行向下變換(^夕y〕:/A—卜)后的Glh的像素信。
另外，若以針對(duì)每1個(gè)像素進(jìn)行對(duì)插補(bǔ)放大后的R、 B圖像的高域成 分重疊的方式而動(dòng)作，則不需要圖8的圖像存儲(chǔ)器118、計(jì)數(shù)器117、標(biāo) 準(zhǔn)化部119，能夠采用圖IO所示的構(gòu)成。圖10表示R、 B用向上變換器 107的構(gòu)成的變形例。如圖10所示那樣，若與圖8比較，能夠以更簡(jiǎn)單構(gòu) 成實(shí)現(xiàn)R、 B用向上變換器107，并且能夠得到同樣的效果。
另外，R、 B用向上變換器107中的R、 B的高分辨率化處理，并沒 有必要限于在上述的所謂的再構(gòu)成型的超分辨處理、將G的高域成分重疊 于R以及B成分的處理。也可以，對(duì)高分辨率化后的G成分與將其低分辨 率化后的成分(上述G,h和Ghh)之間的關(guān)系進(jìn)行學(xué)習(xí)，并基于學(xué)習(xí)結(jié)果對(duì) R成分、B成分進(jìn)行高分辨率化。
另外，學(xué)習(xí)不限于所輸入的圖像的處理過程中所進(jìn)行的，也可以預(yù)先 事前準(zhǔn)備學(xué)習(xí)模式而進(jìn)行。該情況下，不僅是學(xué)習(xí)低分辨率的G成分和高 分辨率的G成分的關(guān)系的方法，而且也能夠?qū)W習(xí)低分辨的RGB成分和高分 辨率的RGB成分的關(guān)系。
至此的說明中，輸出信號(hào)是R、 G、 B的各色成分。以下中，說明將 RGB的各輸出信號(hào)變換為輝度成分和色差成分而輸出的攝像處理裝置。
圖11表示基于本實(shí)施方式的變形例的攝像處理裝置11的構(gòu)成。圖11 中，對(duì)于與上述的攝像處理裝置的構(gòu)成元素共通的構(gòu)成元素附加相同的參照符號(hào)，并省略其說明。
圖像處理部105，除了具有G用向上變換器106、插補(bǔ)放大部114、以 及向下變換器113，還具有色差計(jì)算部129以及輝度計(jì)算部130。
控制部120，對(duì)通過插補(bǔ)放大部114插補(bǔ)放大后的R成分、B成分的 信號(hào)，以及由低分辨率化部113低分辨率化的G成分的信號(hào)進(jìn)行受理，而 利用(數(shù)學(xué)式32)的計(jì)算變換為色差信號(hào)(C b信號(hào)，C r信號(hào))并輸出。數(shù)學(xué)式32
C6 =0.5640 —= —0.169及—0.331G +0.5005 O = 0.713(/ —y) = 0.500i -0.419G-0.0815
輝度計(jì)算部130,對(duì)利用插補(bǔ)放大部114插補(bǔ)放大后的R成分、B成 分的信號(hào)，以及利用G用向上變換器而高分辨率化后的G成分的信號(hào)進(jìn)行 受理，而利用(數(shù)學(xué)式33)的計(jì)算變換為輝度信號(hào)(Y信號(hào))并輸出。數(shù)學(xué)式33
r = 0.299J + 0.587G+0.1145
如從上述的色差計(jì)算部129以及輝度計(jì)算部130的說明所理解的那 樣，在色差成分Cb、 C r的計(jì)算中使用低分辨率化的G，另一方面，在 輝度成分Y的計(jì)算中使用高分辨率化后的G。由此，能夠一邊抑制偽色的
發(fā)生， 一邊實(shí)現(xiàn)輸出的圖像的高分辨率化。
另外，也可以，在圖像處理部105的后級(jí)，進(jìn)一步設(shè)置將Y、 Cb、 C r的各信號(hào)變換為RGB的各信號(hào)的模塊，而做成將RGB成分的信號(hào)輸出 的構(gòu)成。
另外，基于本實(shí)施方式的攝像處理裝置以及基于其變形例的攝像處理 裝置，以高分辨率、長(zhǎng)時(shí)間曝光、低幀率對(duì)G成分進(jìn)行攝像，并以低分辨 率、短時(shí)間曝光、高幀率對(duì)R成分以及B成分進(jìn)行攝像。然而，這是示例。 關(guān)于以高分辨率、長(zhǎng)時(shí)間曝光、低幀率對(duì)哪個(gè)色成分(波長(zhǎng)帶)進(jìn)行攝像， 可以采用其他的例。
例如，如對(duì)海、游泳池等水中的場(chǎng)景進(jìn)行攝像的情況的那樣，在事先 明白場(chǎng)景中B成分較強(qiáng)地出現(xiàn)的情況下，以高分辨率、長(zhǎng)時(shí)間曝光、低幀 率對(duì)B成分進(jìn)行攝像，并以低分辨率、短時(shí)間曝光、高幀率對(duì)R成分以及 G成分進(jìn)行攝像，而向觀察者顯示具有高分辨率感的圖像。例如圖12表示將攝像處理裝置1 一般化后的攝像處理裝置13的構(gòu)成。
圖12中，對(duì)于與圖1的攝像處理裝置的構(gòu)成元素共通的構(gòu)成元素附加相
同的參照符號(hào)，而省略其說明。
攝像處理裝置13，具有R成分?jǐn)z像部131、 G成分?jǐn)z像部132、 B成 分?jǐn)z像部133、控制部134、切換部135、 HL用向上變換器136、 L H用 向上變換器137、輸出部138。以下，與攝像處理裝置13的動(dòng)作一起說明 各構(gòu)成元素的功能。
通過光學(xué)系統(tǒng)101的可見光，由二向色棱鏡(夕V夕口,y夕7。y乂 厶)所波長(zhǎng)分解，并被R成分?jǐn)z像元件131、 G成分?jǐn)z像元件132、 B成 分?jǐn)z像元件133所攝像。RGB各成分的攝像部131、 132、 133的讀出像素 數(shù)，能夠利用binning(tf二y夕')讀出方法，個(gè)別且動(dòng)態(tài)地設(shè)定。所謂 "binning讀出方法"，是對(duì)鄰接的像素中蓄積電荷進(jìn)行加算而讀出的方法。 另外，各攝像部131、 132、 133中，對(duì)于曝光時(shí)間、幀率也能夠同樣地能 夠設(shè)定。讀出時(shí)的條件設(shè)定，由控制部134進(jìn)行。
控制部134，與場(chǎng)景中的色成分的分布相對(duì)應(yīng)地，將R成分?jǐn)z像元件 131、 G成分?jǐn)z像元件132、 B成分?jǐn)z像元件133的其中之一設(shè)定為高分辨 率、長(zhǎng)時(shí)間曝光、低幀率(相當(dāng)于實(shí)施方式1中的G)，并將其余設(shè)定為 低分辨率、短時(shí)間曝光、高幀率(相當(dāng)于實(shí)施方式l中的R、 B)。
另外，由于攝像開始時(shí)場(chǎng)景中的色成分的分布是未知的，因此也可以 將例如G設(shè)定為高分辨率、長(zhǎng)時(shí)間曝光、低幀率那樣。
切換部135，與基于控制部的RGB各成分的攝像部131、 132、 133的
設(shè)定相對(duì)應(yīng)地，將對(duì)以高分辨率、長(zhǎng)時(shí)間曝光、低幀率的攝像進(jìn)行設(shè)定的 成分的攝像數(shù)據(jù)輸入到HL用向上變換器136，并將其余成分的數(shù)據(jù)輸入 到L H用向上變換器137而進(jìn)行切換動(dòng)作。
HL用向上變換器136，進(jìn)行與G用向上變換器106 (例如圖l)相同 的處理，并對(duì)以高分辨率、長(zhǎng)時(shí)間曝光、低幀率攝像的成分的動(dòng)態(tài)圖像， 空間地進(jìn)行高分辨化。
LH用向上變換器137，對(duì)以低分辨率、短時(shí)間曝光、高幀率進(jìn)行攝 像所得到的2系統(tǒng)(2個(gè)的色成分)的動(dòng)態(tài)圖像，和利用H L用向上變換 器136高分辨率化后的動(dòng)態(tài)圖像進(jìn)行受理，而進(jìn)行與R、 B用向上變換器107 (例如圖1)相同的處理，并對(duì)該2系統(tǒng)的動(dòng)態(tài)圖像空間地進(jìn)行高分辨 化。
輸出部138對(duì)利用H L用向上變換器136和L H用向上變換器137分 別高分辨率化后的動(dòng)態(tài)圖像進(jìn)行受理，并根據(jù)基于控制部134的設(shè)定，而 輸出RGB三系統(tǒng)的動(dòng)畫。當(dāng)然，輸出部138也可以變換為輝度信號(hào)(Y) 以及色差信號(hào)(C b ， C r)信號(hào)等其他的信號(hào)形式而輸出。 (實(shí)施方式2)
上述的實(shí)施方式l中，對(duì)利用同一的系統(tǒng)進(jìn)行攝像處理和高分辨率化 處理的例子進(jìn)行了說明。然而，兩處理并不一定必須在同一的系統(tǒng)中進(jìn)行。
本實(shí)施方式中，對(duì)攝像處理和高分辨率化處理在不同的系統(tǒng)中進(jìn)行的 例子進(jìn)行說明。
圖13表示基于由本實(shí)施方式的攝像裝置901、網(wǎng)絡(luò)902以及處理裝 置903構(gòu)成的圖像處理系統(tǒng)的例。也可以替代網(wǎng)絡(luò)902，而使用介質(zhì)906， 構(gòu)成基于本實(shí)施方式的圖像處理系統(tǒng)。圖14中，對(duì)于與實(shí)施方式1的攝 像處理裝置(例如圖1)的構(gòu)成元素共通的構(gòu)成要素附加相同的參照符號(hào)，
而省略其說明。
攝像裝置901，具有透鏡系統(tǒng)101、 二向色反射鏡102、第1攝像部 103、第2攝像部104、攝影模式設(shè)定部904。
第1攝像部103以短時(shí)間的曝光時(shí)間、低分辨率且高幀率對(duì)彩色圖像 的R成分和B成分進(jìn)行攝像，并輸出R圖像R^以及B圖像B,H。第2攝像 部104以長(zhǎng)時(shí)間的曝光時(shí)間、高分辨率且低幀率對(duì)彩色圖像的G成分進(jìn)行 攝像，并輸出G圖像G吣
攝影模式設(shè)定部904，對(duì)例如第2攝像部104中的幀率、曝光時(shí)間等 設(shè)定可變的攝影條件進(jìn)行設(shè)定，并將表示設(shè)定的條件表示的信息向影像信 號(hào)的標(biāo)題(八、7夕')中的評(píng)論(二^y卜)區(qū)域?qū)懭?，或者，另外作為?shù) 據(jù)通過輸出部905而輸出到網(wǎng)絡(luò)902。
輸出部905將由攝像裝置901攝像的G圖像GHh R圖像R^、 B圖像 BUI、以及它們的攝影條件的信息輸出到網(wǎng)絡(luò)902或者介質(zhì)906。
處理裝置903具有圖像處理部105。圖像處理部105,通過網(wǎng)絡(luò)902 或者介質(zhì)906，而對(duì)上述Gi R吣B^以及其攝影條件的信息進(jìn)行受理，并通過實(shí)施方式l中說明的處理，輸出將它們空間地、時(shí)間地高分辨率化
S6tl GHH、 Fl冊(cè)、B hh。
通過以上的構(gòu)成，攝像裝置和處理裝置另體構(gòu)成，即使空間上離開而
存在，也能夠通過構(gòu)成為通過網(wǎng)絡(luò)902或者介質(zhì)906而能夠發(fā)送接收動(dòng)態(tài) 圖像信號(hào)以及攝影條件的信息，而使得輸出處理裝置輸出高時(shí)空分辨率的 動(dòng)態(tài)圖像。
另外，網(wǎng)絡(luò)902也可以是在家庭內(nèi)構(gòu)筑的L A N ( L o c a 1A r eaNetwork),互聯(lián)網(wǎng)乂夕一氺y卜)等WAN (W i d eAreaNetwork )?；蛘撸部梢允荱 S B標(biāo)準(zhǔn)、I E E E1394標(biāo)準(zhǔn)的的通信線路。此外，可以是無線，也可以是有線。上述的介 質(zhì)906，包括光盤、可取出的硬盤等可移動(dòng)盤，F(xiàn)lash (:7，、;/、乂二)存儲(chǔ) 器卡。
在上述的各實(shí)施方式中，作為具有圖示的各種的構(gòu)成而說明了攝像處 理裝置。例如，各構(gòu)成中包含的圖像處理部等，作為功能性表現(xiàn)的模塊而 記載。這些的功能模塊，在硬件方面，能夠由數(shù)字信號(hào)處理器(DSP) 那樣的1個(gè)的半導(dǎo)體芯片或者I C所實(shí)現(xiàn)，并能夠利用例如計(jì)算機(jī)和軟件 (計(jì)算機(jī)程序)而實(shí)現(xiàn)。
例如，圖14表示計(jì)算機(jī)構(gòu)成的圖像處理裝置的硬件。 各實(shí)施方式的圖像處理裝置的各功能模塊和圖14所示的硬件的對(duì)應(yīng) 關(guān)系如下。以下作為例子，主要例舉圖l所示的圖像處理裝置l而進(jìn)行說 明。
攝像處理裝置1的透鏡系統(tǒng)101、 二向色反射鏡102、第1攝像部103 以及第2攝像部104，與圖14所示的照相機(jī)151以及A / D變換器152相 對(duì)應(yīng)。另外，圖像處理部105在實(shí)際的處理中利用的暫時(shí)緩存器(未圖示)、 介質(zhì)906，與圖15所示的幀存儲(chǔ)器153或者硬盤驅(qū)動(dòng)器(H D D ) 160相 對(duì)應(yīng)。并且，控制部120以及圖像處理部105,由執(zhí)行計(jì)算機(jī)程序的圖14 的C PU154實(shí)現(xiàn)。
使圖14的計(jì)算機(jī)動(dòng)作的計(jì)算機(jī)程序，保持在例如R 0 M155中?；蛘?， 也可以存儲(chǔ)在光盤、磁盤中。另外，也可以通過有線、無線的網(wǎng)絡(luò)、廣播 等而傳送，并取入到計(jì)算機(jī)的RAM156。計(jì)算機(jī)程序由作為處理器的C PU154而讀出到RAM156中被展開。 CPU154執(zhí)行作為計(jì)算機(jī)程序的實(shí)態(tài)的編碼化后的各命令。作為命令的 執(zhí)行結(jié)果而得到的數(shù)字圖像信號(hào)，被發(fā)送到幀存儲(chǔ)器157而暫時(shí)地保持， 并利用D/A變換器158變換為模擬信號(hào)，并被發(fā)送到顯示器159，而被顯示。
實(shí)現(xiàn)了圖像處理部105的計(jì)算機(jī)程序的處理，根據(jù)例如接下來說明的 流程圖而記載。
例如圖15是表示本發(fā)明的處理的過程的流程圖。該處理，作為基于 實(shí)施方式1的處理而說明，但是也能夠作為利用實(shí)施方式2的攝像裝置901 以及處理裝置903而個(gè)別地進(jìn)行的處理而把握。
首先S 101中，第1攝像部103以及第2攝像部104，對(duì)長(zhǎng)時(shí)間曝光 高分辨率低幀率的G圖像G^和短時(shí)間曝光低分辨率高幀率的R圖像Rlh， B圖像B,h進(jìn)行攝像。步驟S102中，圖像處理部105的G用向上變換器 106，對(duì)G成分的動(dòng)態(tài)圖像進(jìn)行高分辨率化。更具體來說，能夠分為步驟 S104和S105。步驟S104中，G用向上變換器106的移動(dòng)檢測(cè)部108進(jìn) 行移動(dòng)檢測(cè)。步驟S105中，時(shí)間分辨率向上變換器109，利用移動(dòng)檢測(cè) 的結(jié)果等，而求取基于(數(shù)學(xué)式4)將(數(shù)學(xué)式3)最小化的Ghh。
在接下來的步驟S103中，R、 B用向上變換器107，對(duì)R成分以及 B成分的各動(dòng)態(tài)圖像進(jìn)行高分辨率化。其后，控制部120，判定攝像是否 結(jié)束，若判斷為沒有結(jié)束，則從步驟S101重復(fù)進(jìn)行處理，若判定為結(jié)束， 則結(jié)束處理。
圖16是表示圖15所示的步驟S103的詳細(xì)的處理的過程的流程圖。 該處理與圖7所示的R、 B用向上變換器107的處理相對(duì)應(yīng)。
圖16的步驟S106中，向下變換器IIO，基于擾像條件而將Ghh低分 辨率化。步驟S107中，系數(shù)推定部111對(duì)旨在適用復(fù)原濾波器112的系 數(shù)進(jìn)行推定。步驟S108中，推定的系數(shù)被適用于復(fù)原濾波器112，復(fù)原 濾波器112，將R^以及Bw高分辨率化，而瑜出Rhh以及B冊(cè)。
圖17是表示基于其他例的步驟S 103的詳細(xì)的處理的過程的流程圖。 該處理，與圖8所示的R、 B用向上變換器107的處理相對(duì)應(yīng)。
步驟S109中，向下變換器113，基于擾像條件而將Ghh低分辨率化。步驟S110中，從Ghh減算Glh。
另一方面，步驟Slll中，若插補(bǔ)放大部114基于攝像條件而對(duì)Rw
以及B,h進(jìn)行插補(bǔ)放大，則基于該信號(hào)，在步驟S112中局部相關(guān)運(yùn)算部 115計(jì)算局部性相關(guān)值。
并且，步驟S113中，若權(quán)重生成部116生成權(quán)重，則步驟S114中 計(jì)數(shù)器117針對(duì)各像素存儲(chǔ)將高域成分重疊后的次數(shù)。步驟S115中，將 由權(quán)重生成部116生成并輸出的權(quán)重，和Ghh與G^的差(也即G的高域成 分)乘算，并在步驟S116中對(duì)圖像存儲(chǔ)器118進(jìn)行更新。
步驟S117中，將保持在標(biāo)準(zhǔn)化部119、圖像存儲(chǔ)器118中的多次重 疊的高域成分，除以針對(duì)每1像素寫入在計(jì)數(shù)器117中的次數(shù)值，而進(jìn)行 標(biāo)準(zhǔn)化。
并且，步驟S118中，標(biāo)準(zhǔn)化后的高域成分，被疊加在通過插補(bǔ)放大 部114被插補(bǔ)放大后的R、 B圖像，并作為R吣Bhh瑜出。
以上，說明了本發(fā)明的各實(shí)施方式。實(shí)施方式l以及2中，針對(duì)將R、 G、 B的3成分由二向色反射鏡分離的情況進(jìn)行了說明，但是色成分的分
離的形態(tài)不限于此。例如通過以下處理也能夠得到同樣的效果即利用在 單一的元件中在深度方向順次分為R+G+B、 R+G、 R這3層地進(jìn)行
攝像的攝像元件，受理以高分辨率、長(zhǎng)時(shí)間曝光、低幀率對(duì)R + G或者R 十G + B進(jìn)行攝像，并以低分辨率、短時(shí)間、低幀率對(duì)其他進(jìn)行攝像的圖像。
產(chǎn)業(yè)上的利用可能性
本發(fā)明的攝像裝置以及處理裝置作為由將攝像元件尺寸小型化的照 相機(jī)所進(jìn)行的高精細(xì)圖像的攝像及其再生裝置、系統(tǒng)是有用的。另外，也 能夠作為計(jì)算機(jī)程序而實(shí)現(xiàn)。
權(quán)利要求
1、一種攝像處理裝置，其特征在于，具有分離部，其將可見光分離為第1色成分、第2色成分以及第3色成分；第1攝像部，其對(duì)所述第1色成分以及第3色成分的動(dòng)態(tài)圖像進(jìn)行攝影，攝像處理裝置比所述第1空間分辨率高的第2空間分辨率、比所述第1時(shí)間分辨率低的第2時(shí)間分辨率對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；控制部，其對(duì)所述第1攝像部以及所述第2攝像部中的攝像條件進(jìn)行控制；第1向上變換器，其基于所述第1色成分的動(dòng)態(tài)圖像的信息以及所述第2色成分的動(dòng)態(tài)圖像的信息，生成提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像；第2向上變換器，其基于所述第1色成分和所述第3色成分的各動(dòng)態(tài)圖像的信息，以及提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的信息，生成提高了空間分辨率后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像。
2、 根據(jù)權(quán)利要求1所述的攝像處理裝置，其特征在于， 所述第2向上變換器，具有向下變換器，其對(duì)提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像，空 間地進(jìn)行低分辨率化；系數(shù)推定部，其基于降低了空間分辨率后的所述第2成分的動(dòng)態(tài)圖像以 及提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的關(guān)系，對(duì)用于從分辨率 較低的動(dòng)態(tài)圖像生成分辨率較高的動(dòng)態(tài)圖像的復(fù)原濾波器的系數(shù)進(jìn)行推定；復(fù)原濾波器，其利用所推定的所述系數(shù)，提高了所述第l色成分以及所 述第3色成分的動(dòng)態(tài)圖像的空間分辨率而輸出。
3、 根據(jù)權(quán)利要求l所述的攝像處理裝置，其特征在于，所述第2向上變換器，備有對(duì)提高了時(shí)空分辨率后的所述第2成分的動(dòng) 態(tài)圖像空間地進(jìn)行低分辨率化的向下變換器，所述第2向上變換器，對(duì)由所述向下變換器降低了空間分辨率后的所述 第2成分的動(dòng)態(tài)圖像以及提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的關(guān)系進(jìn)行學(xué)習(xí)，并基于學(xué)習(xí)結(jié)果，提高所述第1色成分以及所述第3色成分 的動(dòng)態(tài)圖像的空間分辨率而輸出。
4、 根據(jù)權(quán)利要求1所述的攝像處理裝置，其特征在于，所述第2向上變換器，還具有對(duì)提高了時(shí)空分辨率后的所述第2成分的 動(dòng)態(tài)圖像空間地進(jìn)行低分辨率的向下變換器，所述第2向上變換器，基于預(yù)先確定的、與由所述向下變換器降低了空 間分辨率后的所述第2成分的動(dòng)態(tài)圖像以及提高了時(shí)空分辨率后的所述第2 成分的動(dòng)態(tài)圖像的關(guān)系相關(guān)的學(xué)習(xí)模式，提高所述第1色成分以及所述第3 色成分的動(dòng)態(tài)圖像的空間分辨率而輸出。
5、 根據(jù)權(quán)利要求1所述的攝像處理裝置，其特征在于， 所述第2向上變換器，具有向下變換器，其對(duì)提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像空間 地進(jìn)行低分辨率化；插補(bǔ)放大部，其對(duì)所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像空間 地進(jìn)行插補(bǔ)放大；相關(guān)運(yùn)算部，其對(duì)表示插補(bǔ)放大后的所述第1色成分以及所述第3色成 分的動(dòng)態(tài)圖像的局部性相關(guān)的相關(guān)值進(jìn)行運(yùn)算，并基于提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的廣域成分以及 所述相關(guān)值，生成與所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像相對(duì)應(yīng) 的廣域成分，并重疊于插補(bǔ)放大后的所述第1色成分以及所述第3色成分的 動(dòng)態(tài)圖像，且輸出提高了空間分辨率后的所述第1色成分以及所述第3色成 分的動(dòng)態(tài)圖像。
6、 根據(jù)權(quán)利要求5所述的攝像處理裝置，其特征在于，所述第2向上變換器，對(duì)由所述向下變換器降低了空間分辨率后的所述 第2成分的動(dòng)態(tài)圖像和提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像之差 進(jìn)行運(yùn)算，而生成提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的廣域成 分。
7、 根據(jù)權(quán)利要求6所述的攝像處理裝置，其特征在于，所述第2向上變換器，通過對(duì)提高了時(shí)空分辨率后的所述第2成分的動(dòng) 態(tài)圖像的廣域成分和所述相關(guān)值進(jìn)行乘算，而生成與所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像相對(duì)應(yīng)的廣域成分。
8、 根據(jù)權(quán)利要求1所述的攝像處理裝置，其特征在于，所述第2向上變換器，具有對(duì)所述第1色成分以及所述第3色成分的動(dòng) 態(tài)圖像的各幀空間地進(jìn)行插補(bǔ)放大的插補(bǔ)放大部。
9、 根據(jù)權(quán)利要求1所述的攝像處理裝置，其特征在于，所述第2向上變換器，具有向下變換器，其對(duì)提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像空間 地進(jìn)行低分辨率化；插補(bǔ)放大部，其對(duì)所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像空間 地進(jìn)行插補(bǔ)放大；輝度計(jì)算部，其基于提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像， 以及插補(bǔ)放大后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像，而計(jì)算 輝度成分；色差計(jì)算部，其基于空間地低分辨率化后的所述第2成分的動(dòng)態(tài)圖像以 及插補(bǔ)放大后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像，而計(jì)算色差成分。
10、 根據(jù)權(quán)利要求1所述的攝像處理裝置，其特征在于， 所述第2色成分是綠色。
11、 根據(jù)權(quán)利要求1所述的攝像處理裝置，其特征在于， 所述第2色成分能夠從紅色、綠色以及藍(lán)色的其中之一選擇。
12、 一種圖像處理方法，其特征在于， 對(duì)由攝像裝置所攝影的動(dòng)態(tài)圖像的信息進(jìn)行處理， 所述攝像裝置，具有分離部，其將可見光分離為第1色成分、第2色成分以及第3色成分； 第1攝像部，其對(duì)所述第1色成分以及第3色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并在第1電荷蓄積期間進(jìn)行曝光，并以第1空間分辨率、第1時(shí)間分辨率對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；第2攝像部，其對(duì)所述第2色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并在比所述第1電荷蓄積期間長(zhǎng)的第2電荷蓄積期間進(jìn)行曝光，以比所述第1空間分辨率 高的第2空間分辨率、比所述第1時(shí)間分辨率低的第2時(shí)間分辨率，對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；控制部，其對(duì)所述第1攝像部以及所述第2攝像部中的攝像條件進(jìn)行控制，所述圖像處理方法包括基于所述第1色成分的動(dòng)態(tài)圖像的信息以及所述第2色成分的動(dòng)態(tài)圖像 的信息，生成提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的步驟；基于所述第1色成分和所述第3色成分的各動(dòng)態(tài)圖像的信息，以及提高 了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的信息，生成提高了空間分辨率 后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像的步驟。
13、 一種計(jì)算機(jī)程序，其特征在于，使設(shè)于圖像處理裝置中的處理器，處理由攝像裝置所攝影的動(dòng)態(tài)圖像的"(曰息，所述攝像裝置，具有分離部，其將可見光分離為第1色成分、第2色成分以及第3色成分； 第1攝像部，其對(duì)所述第1色成分以及第3色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并在第1電荷蓄積期間進(jìn)行曝光，以第1空間分辨率、第1時(shí)間分辨率對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；第2攝像部，其對(duì)所述第2色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并在比所述第1電荷蓄積期間長(zhǎng)的第2電荷蓄積期間進(jìn)行曝光，以比所述第1空間分辨率 高的第2空間分辨率、比所述第1時(shí)間分辨率低的第2時(shí)間分辨率對(duì)構(gòu)成所 述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；控制部，其對(duì)所述第1攝像部以及所述第2攝像部中的攝像條件進(jìn)行控制，所述計(jì)算機(jī)程序使所述處理器執(zhí)行如下步驟基于所述第1色成分的動(dòng)態(tài)圖像的信息以及所述第2色成分的動(dòng)態(tài)圖像 的信息，而生成提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的步驟；基于所述第1色成分以及所述第3色成分的各動(dòng)態(tài)圖像的信息，以及提高了時(shí)空分辨率后的所述第2成分的動(dòng)態(tài)圖像的信息，生成提高了空間分辨 率后的所述第1色成分以及所述第3色成分的動(dòng)態(tài)圖像的步驟。
全文摘要
本發(fā)明公開一種攝像處理裝置以及方法，具有分離部，其將可見光至少分離為第1色成分以及第2色成分；第1攝像部，其對(duì)所述第1色成分的動(dòng)態(tài)圖像進(jìn)行攝影，在第1電荷蓄積期間進(jìn)行曝光，并以第1空間分辨率、第1時(shí)間分辨率對(duì)構(gòu)成所述動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；第2攝像部，其對(duì)第2色成分的動(dòng)態(tài)圖像進(jìn)行攝影，并在比第1電荷蓄積期間長(zhǎng)的第2電荷蓄積期間進(jìn)行曝光，并以比第1空間分辨率高的第2空間分辨率、比第1時(shí)間分辨率低的第2時(shí)間分辨率對(duì)構(gòu)成動(dòng)態(tài)圖像的各圖像進(jìn)行攝影；控制部，其對(duì)第1攝像部以及第2攝像部中的攝像條件進(jìn)行控制；處理部，其基于第1色成分和第2色成分的各動(dòng)態(tài)圖像的信息而生成提高了時(shí)空分辨率后的第2成分的動(dòng)態(tài)圖像。從而能夠在不降低向各照相機(jī)入射的光量的降低的情況下，生成高分辨率、且高幀率的動(dòng)態(tài)圖像。
文檔編號(hào)H04N5/232GK101578886SQ20088000191
公開日2009年11月11日 申請(qǐng)日期2008年7月25日 優(yōu)先權(quán)日2007年8月7日
發(fā)明者吾妻健夫, 廣瀨良文, 本村秀人, 登一生 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社