專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及圖像處理方法。
背景技術(shù)：
眾所周知，在現(xiàn)有技術(shù)下利用照相機(jī)等拍攝的拍攝圖像會(huì)發(fā)生圖像 劣化的情況。作為該圖像劣化的主要原因，存在拍攝時(shí)的晃動(dòng)、光學(xué)系 統(tǒng)的各種像差、鏡頭的偏斜等。
為了矯正拍攝時(shí)的晃動(dòng)，巳知的有移動(dòng)攝影鏡頭中的規(guī)定的鏡頭的 方法和進(jìn)行電路處理的方法。例如，作為移動(dòng)鏡頭的方法，已知的有通 過在拍攝時(shí)檢測(cè)出晃動(dòng)，使規(guī)定的鏡頭對(duì)應(yīng)于該檢測(cè)出的晃動(dòng)進(jìn)行移動(dòng)， 從而進(jìn)行矯正的方法(參照專利文獻(xiàn)1)。
另外，作為進(jìn)行電路處理的方法，已知的有利用角加速度傳感器檢 測(cè)出照相機(jī)光軸的變動(dòng)，從檢測(cè)出的角速度等取得表示拍攝時(shí)的模糊狀 態(tài)的傳遞函數(shù)，并對(duì)拍攝圖像進(jìn)行所取得的傳遞函數(shù)的逆變換，從而將
圖像復(fù)原的方法(參照專利文獻(xiàn)2)。
專利文獻(xiàn)1:日本公開公報(bào)、特開平6-317824號(hào)(參照說明書摘要) 專利文獻(xiàn)2:日本公開公報(bào)、特開平11-24122號(hào)(參照說明書摘要)

發(fā)明內(nèi)容
發(fā)明所要解決的課題
采用專利文獻(xiàn)1記載的晃動(dòng)矯正的照相機(jī)，由于需要電動(dòng)機(jī)等驅(qū)動(dòng) 鏡頭的硬件的配置空間而導(dǎo)致大型化。另外，由于需要這種硬件自身或 驅(qū)動(dòng)該硬件的驅(qū)動(dòng)電路，因此成本增加。
另外，專利文獻(xiàn)2記載的晃動(dòng)矯正的情況，雖然可以解決上述的問 題點(diǎn)，但是存在以下那樣的問題。即，雖然通過所取得的傳遞函數(shù)的逆 變換進(jìn)行圖像復(fù)原在理論上是成立的，但是作為實(shí)際問題，由于以下兩 點(diǎn)理由導(dǎo)致圖像復(fù)原是困難的。
第一，取得的傳遞函數(shù)對(duì)于噪音或晃動(dòng)信息誤差等非常弱，這些稍 有變動(dòng)，傳遞函數(shù)的值便發(fā)生很大的變動(dòng)。因此，通過逆變換得到的復(fù) 原圖像，與在未發(fā)生晃動(dòng)的狀態(tài)下拍攝的圖像相差甚遠(yuǎn)，實(shí)際上并不能利用。第二，在進(jìn)行考慮了噪音等的逆變換的情況下，也可以采用通過 聯(lián)立方程的解的奇異值分解等而推算解的方法，但是用于該推算的計(jì)算 值有天文數(shù)字那么大，實(shí)際上無法解答的危險(xiǎn)性高。
如上所述，本發(fā)明的課題在于提供一種在復(fù)原圖像時(shí)防止裝置的大 型化，同時(shí)，設(shè)有具有現(xiàn)實(shí)性的電路處理方法的圖像處理裝置及圖像處 理方法。
解決課題的手段
為了解決上述課題，本發(fā)明的圖像處理裝置，設(shè)有處理彩色圖像的 處理部，該處理部，從作為成為處理對(duì)象的原圖像的數(shù)據(jù)的原圖像數(shù)據(jù)， 分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)，并將原圖像亮度數(shù)據(jù)和原圖 像色差數(shù)據(jù)分別作為處理對(duì)象的數(shù)據(jù)，對(duì)于原圖像亮度數(shù)據(jù)，通過進(jìn)行 重復(fù)同樣的處理的重復(fù)處理，生成作為原圖像變化之前的圖像的基礎(chǔ)圖 像的基礎(chǔ)圖像亮度數(shù)據(jù)、或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被復(fù)原后的復(fù)原 圖像亮度數(shù)據(jù)，其中，所述同樣的處理為，利用作為圖像變化主要原因 的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的圖像亮度數(shù)據(jù)的任意圖像亮度數(shù) 據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后的比較用的比較圖像亮度數(shù)據(jù)， 求出作為將原圖像亮度數(shù)據(jù)和比較圖像亮度數(shù)據(jù)進(jìn)行比較后的差分的數(shù) 據(jù)的差分亮度數(shù)據(jù)，生成將差分亮度數(shù)據(jù)根據(jù)上述變化要因數(shù)據(jù)分配于 任意圖像亮度數(shù)據(jù)后的復(fù)原圖像亮度數(shù)據(jù)，代替任意圖像亮度數(shù)據(jù)而使
用復(fù)原圖像亮度數(shù)據(jù)；對(duì)于原圖像色差數(shù)據(jù)，通過進(jìn)行重復(fù)同樣的處理 的重復(fù)處理，生成作為原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色 差數(shù)據(jù)、或與基礎(chǔ)圖像色差數(shù)據(jù)近似的被復(fù)原后的復(fù)原圖像色差數(shù)據(jù)， 其中，所述同樣的處理為，利用變化要因數(shù)據(jù)，從作為任意的圖像色差 數(shù)據(jù)的任意圖像色差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用 的比較圖像色差數(shù)據(jù)，求出作為將原圖像色差數(shù)據(jù)和比較圖像色差數(shù)據(jù) 進(jìn)行比較后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)，生成將差分色差數(shù)據(jù)根據(jù)上 述變化要因數(shù)據(jù)分配于任意圖像色差數(shù)據(jù)后的復(fù)原圖像色差數(shù)據(jù)，代替 任意圖像色差數(shù)據(jù)而使用復(fù)原圖像色差數(shù)據(jù)。
在這樣構(gòu)成圖像處理裝置的情況下，由于僅通過利用圖像變化的要 因信息生成規(guī)定的數(shù)據(jù)，而生成與原圖像的亮度數(shù)據(jù)及色差數(shù)據(jù)近似的 復(fù)原圖像亮度數(shù)據(jù)及復(fù)原圖像色差數(shù)據(jù)，因此硬件上的增加幾乎不存在， 裝置不會(huì)大型化。另外，由于是從復(fù)原圖像亮度數(shù)據(jù)及復(fù)原圖像色差數(shù) 據(jù)分別作成比較亮度數(shù)據(jù)及比較色差數(shù)據(jù)，并重復(fù)進(jìn)行將該比較亮度數(shù)據(jù)與處理對(duì)象的原圖像的亮度數(shù)據(jù)進(jìn)行比較這樣的處理，或重復(fù)進(jìn)行將
比較色差數(shù)據(jù)與處理對(duì)象的原圖像的色差數(shù)據(jù)進(jìn)行比較這樣的的處理，
而逐漸得到與作為原圖像的基礎(chǔ)的變化前的圖像近似的復(fù)原圖像亮度數(shù)
據(jù)及復(fù)原圖像色差數(shù)據(jù)，因此成為現(xiàn)實(shí)的復(fù)原處理作業(yè)。因此，在圖像
的復(fù)原處理時(shí)能夠形成為設(shè)有具有現(xiàn)實(shí)性的電路處理方法的圖像處理裝置。
另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，進(jìn)行將復(fù)原圖像亮度數(shù) 據(jù)與復(fù)原圖像色差數(shù)據(jù)合成，生成基礎(chǔ)圖像的基礎(chǔ)圖像數(shù)據(jù)、或與基礎(chǔ) 圖像數(shù)據(jù)近似的被復(fù)原后的復(fù)原圖像數(shù)據(jù)的處理。
在這樣構(gòu)成圖像處理裝置的情況下，能夠形成為設(shè)有具有現(xiàn)實(shí)性的 電路處理方法的圖像處理裝置。
另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，將原圖像色差數(shù)據(jù)形成 為關(guān)于不同顏色的兩個(gè)數(shù)據(jù)，對(duì)于各數(shù)據(jù)分別進(jìn)行重復(fù)處理。
在這樣構(gòu)成圖像處理裝置的情況下，由于對(duì)不同的顏色分別生成復(fù) 原圖像色差數(shù)據(jù)，因此能夠提高復(fù)原精度。
另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，對(duì)原圖像色差數(shù)據(jù)進(jìn)行 壓縮處理，并對(duì)被壓縮后的壓縮圖像色差數(shù)據(jù)進(jìn)行重復(fù)處理而生成復(fù)原 圖像色差數(shù)據(jù)。
在這樣構(gòu)成圖像處理裝置的情況下，能夠謀求復(fù)原處理的高速化。 另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，原圖像色差數(shù)據(jù)的壓縮 為，將原圖像色差數(shù)據(jù)的數(shù)據(jù)進(jìn)行間隔剔除的間隔剔除處理。
在這樣構(gòu)成圖像處理裝置的情況下，能夠謀求復(fù)原處理的高速化。 另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，圖像色差數(shù)據(jù)的壓縮為， 將生成復(fù)原圖像色差數(shù)據(jù)的處理，以比進(jìn)行生成復(fù)原圖像亮度數(shù)據(jù)的處 理位數(shù)少的位數(shù)進(jìn)行處理。
在這樣構(gòu)成圖像處理裝置的情況下，能夠謀求復(fù)原處理的高速化。 為了解決上述課題，本發(fā)明的圖像處理裝置，在處理彩色圖像的圖 像處理方法中，在執(zhí)行從作為成為處理對(duì)象的原圖像的數(shù)據(jù)的原圖像數(shù) 據(jù)，分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)的步驟之后，將原圖像亮 度數(shù)據(jù)和原圖像色差數(shù)據(jù)分別作為處理對(duì)象的數(shù)據(jù)，對(duì)于原圖像亮度數(shù) 據(jù)，通過進(jìn)行重復(fù)同樣的處理的重復(fù)處理，生成作為原圖像變化之前的 圖像的基礎(chǔ)圖像的基礎(chǔ)圖像亮度數(shù)據(jù)、或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被 復(fù)原后的復(fù)原圖像亮度數(shù)據(jù)，其中，所述同樣的處理為，在執(zhí)行利用作 為圖像變化主要原因的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的圖像亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后的比較用的 比較圖像亮度數(shù)據(jù)的步驟，求出作為將原圖像亮度數(shù)據(jù)和比較圖像亮度 數(shù)據(jù)進(jìn)行比較后的差分的數(shù)據(jù)的差分亮度數(shù)據(jù)的步驟，以及生成將差分 亮度數(shù)據(jù)根據(jù)上述變化要因數(shù)據(jù)分配于任意圖像亮度數(shù)據(jù)后的復(fù)原圖像
亮度數(shù)據(jù)的步驟之后，代替任意圖像亮度數(shù)據(jù)而使用復(fù)原圖像亮度數(shù)據(jù)； 對(duì)于圖像色差圖像數(shù)據(jù)，通過進(jìn)行重復(fù)同樣的處理的重復(fù)處理，生成作 為原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色差數(shù)據(jù)、或與基礎(chǔ)圖 像色差數(shù)據(jù)近似的被復(fù)原后的復(fù)原圖像色差數(shù)據(jù)，其中，所述同樣的處 理為，在執(zhí)行利用變化要因數(shù)據(jù)，從作為任意的圖像色差數(shù)據(jù)的任意圖 像色差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用的比較圖像色 差數(shù)據(jù)的步驟，求出作為將原圖像色差數(shù)據(jù)和比較圖像色差數(shù)據(jù)進(jìn)行比 較后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)的步驟，以及生成將差分色差數(shù)據(jù)根 據(jù)上述變化要因數(shù)據(jù)分配于任意圖像色差數(shù)據(jù)后的復(fù)原圖像色差數(shù)據(jù)的 步驟之后，代替任意圖像色差數(shù)據(jù)而使用復(fù)原圖像色差數(shù)據(jù)。
采用這樣的圖像處理方法的情況下，由于僅通過利用圖像變化的要 因信息生成規(guī)定的數(shù)據(jù)，而生成與原圖像的亮度數(shù)據(jù)及色差數(shù)據(jù)近似的 復(fù)原圖像亮度數(shù)據(jù)及復(fù)原圖像色差數(shù)據(jù)，因此硬件上的增加幾乎不存在， 采用了該方法的裝置不會(huì)大型化。另外，由于是從復(fù)原圖像亮度數(shù)據(jù)及 復(fù)原圖像色差數(shù)據(jù)分別作成比較亮度數(shù)據(jù)及比較色差數(shù)據(jù)，并重復(fù)進(jìn)行 將該比較亮度數(shù)據(jù)與處理對(duì)象的原圖像的亮度數(shù)據(jù)進(jìn)行比較這樣的處 理，或重復(fù)進(jìn)行將比較色差數(shù)據(jù)與處理對(duì)象的原圖像的色差數(shù)據(jù)進(jìn)行比 較這樣的處理，而逐漸地得到與成為原圖像的基礎(chǔ)的變化前的圖像近似 的復(fù)原圖像亮度數(shù)據(jù)及復(fù)原圖像色差數(shù)據(jù)，因此成為現(xiàn)實(shí)的復(fù)原處理方 法。因此，在圖像的復(fù)原處理時(shí)能夠形成為具有現(xiàn)實(shí)性的圖像處理方法。
發(fā)明效果
采用本發(fā)明的話，能夠形成在復(fù)原發(fā)生了劣化的圖像時(shí)能夠防止裝 置的大型化，同時(shí)，設(shè)有具有現(xiàn)實(shí)性的電路處理方法的圖像處理裝置及 圖像處理方法。


圖1是表示本發(fā)明實(shí)施形態(tài)涉及的圖像處理裝置的主要構(gòu)成的方框圖。
圖2是表示圖1所示的圖像處理裝置的概要的外觀立體圖，是用于說明角速度傳感器的配置位置的圖。
圖3是用于說明利用圖1所示圖像處理裝置的處理部進(jìn)行的處理方 法(處理程序)、且為基本觀點(diǎn)的處理流程圖。
圖4是用于說明圖3所示的處理方法的概念的圖。
圖5是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是表 示未發(fā)生晃動(dòng)時(shí)的能量集中的表。
圖6是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是表 示未發(fā)生晃動(dòng)時(shí)的有關(guān)亮度信息的光能分布的圖。
圖7是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是表 示發(fā)生了晃動(dòng)時(shí)的有關(guān)亮度信息的光能能量分散的圖。
圖8是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是用 于說明從任意的圖像亮度數(shù)據(jù)生成比較圖像亮度數(shù)據(jù)的狀況的圖。
圖9是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是用 于說明將比較圖像亮度數(shù)據(jù)與成為處理對(duì)象的模糊原圖像的亮度數(shù)據(jù)進(jìn) 行比較而生成差分亮度數(shù)據(jù)的狀況的圖。
圖10是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是 用于說明通過將差分亮度數(shù)據(jù)分配并添加于任意的圖像亮度數(shù)據(jù)而生成 復(fù)原圖像亮度數(shù)據(jù)的狀況的圖。
圖11是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是 用于說明由被生成的復(fù)原圖像亮度數(shù)據(jù)生成新的比較圖像亮度數(shù)據(jù)，并 將該數(shù)據(jù)與成為處理對(duì)象的模糊原圖像的亮度數(shù)據(jù)進(jìn)行比較而生成差分 亮度數(shù)據(jù)的狀況的圖。
圖12是以晃動(dòng)為例子具體地說明圖3所示的處理方法用的圖，是 用于說明將新生成的差分亮度數(shù)據(jù)進(jìn)行分配，生成新的復(fù)原圖像亮度數(shù) 據(jù)的狀況的圖。
符號(hào)說明 1 4
Img' YImg'
UImg' 、 VImg G
YI0
圖像處理裝置
處理部
原圖像數(shù)據(jù)
原圖像亮度數(shù)據(jù)
原圖像色差數(shù)據(jù)
變化要因數(shù)據(jù)
任意圖像亮度數(shù)據(jù)<formula>formula see original document page 10</formula>
比較圖像亮度數(shù)據(jù) 差分亮度數(shù)據(jù)
<formula>formula see original document page 10</formula>
復(fù)原圖像亮度數(shù)據(jù) 基礎(chǔ)圖像亮度數(shù)據(jù) 任意圖像色差數(shù)據(jù) 比較圖像色差數(shù)據(jù) 差分色差數(shù)據(jù)
復(fù)原圖像色差數(shù)據(jù) 基礎(chǔ)圖像色差數(shù)據(jù)
具體實(shí)施例方式
以下，參照附圖對(duì)本發(fā)明第一實(shí)施形態(tài)涉及的圖像處理裝置1進(jìn)行 說明。另外，該圖像處理裝置1是作為在拍攝部使用CCD( Charge Coupled Device)的民用的、所謂的數(shù)碼相機(jī)，但是，也可以作為在拍攝部使用 CCD等的攝像器件的監(jiān)視用照相機(jī)、電視用照相機(jī)用、內(nèi)窺鏡用照相機(jī) 等其他用途的照相機(jī)，或者也可以適用于顯微鏡用、雙筒望遠(yuǎn)鏡用、進(jìn) 而核磁共振拍攝用等的圖像診斷裝置等、照相機(jī)以外的儀器中。另外， 對(duì)于圖像處理方法，與圖像處理裝置1一并進(jìn)行說明。
圖像處理裝置1，設(shè)有拍攝人物等的影像的拍攝部2、驅(qū)動(dòng)該拍攝 部2的控制系統(tǒng)部3、以及將通過拍攝部2拍攝的圖像進(jìn)行處理的處理 部4。另外，該實(shí)施形態(tài)涉及的圖像處理裝置1，進(jìn)而設(shè)有記錄被處理部 4處理后的圖像的記錄部5，由角速度傳感器等構(gòu)成、檢測(cè)成為被拍攝圖 像的變化(劣化)主要原因的變化要因信息的檢測(cè)部6，以及保存使圖 像的劣化等發(fā)生的已知的變化要因信息的要因信息保存部7。
拍攝部2，是設(shè)有將通過了具有鏡頭的攝影光學(xué)系統(tǒng)或鏡頭的光轉(zhuǎn) 換為電信號(hào)的CCD或CMOS (Complementary Metal Oxide Semiconductor) 等攝像器件的部分。該拍攝部2生成并輸出R(紅)、G(綠)、B(藍(lán)) 三色的彩色圖像信號(hào)。拍攝部2可以是使用一個(gè)將按照RGB區(qū)分的濾光 器層疊排列于拍攝面上的攝像器件的所謂單板式的類型，或者是將通過 了攝影光學(xué)系統(tǒng)的攝影光利用二向色棱鏡分離為RGB三色的各色光、對(duì) 每個(gè)色光都設(shè)置攝像器件的所謂三板式的類型中的、任意一種類型(單 板式/三板式)?？刂葡到y(tǒng)部3，是控制拍攝部2、處理部4、記錄部5、 檢測(cè)部6、以及要因信息保存部7等、圖像處理裝置1內(nèi)各部的部分。
處理部4由圖像處理器構(gòu)成，并由ASIC (Application SpecificIntegrated Circuit、專用集成電路)那樣的硬件構(gòu)成。該處理部4中，也 存在保存有成為生成下述比較用圖像的圖像亮度數(shù)據(jù)(以下稱為"比較 圖像亮度數(shù)據(jù)")或比較用圖像的圖像色差數(shù)據(jù)(以下稱為"比較圖像 色差數(shù)據(jù)")時(shí)的基礎(chǔ)的圖像的情況。處理部4也可以是利用軟件進(jìn)行 處理的構(gòu)成，而不是作為ASIC那樣的硬件構(gòu)成。記錄部5由半導(dǎo)體存 儲(chǔ)器構(gòu)成，但是也可以采用硬盤驅(qū)動(dòng)等的磁記錄手段、或使用DVD等 的光記錄手段等。
檢測(cè)部6如圖2所示，是設(shè)有檢測(cè)相對(duì)于作為圖像處理裝置1的光 軸的Z軸為垂直方向的X軸、Y軸的旋轉(zhuǎn)速度的兩個(gè)角速度傳感器的部 分。但是，利用照相機(jī)拍攝時(shí)的晃動(dòng)，也會(huì)發(fā)生向X方向、Y方向、Z 方向的各方向的移動(dòng)或圍繞Z軸的轉(zhuǎn)動(dòng)，相對(duì)于各變動(dòng)所受到的影響最 大的是圍繞Y軸的旋轉(zhuǎn)和圍繞X軸的旋轉(zhuǎn)。這兩種變動(dòng)僅變動(dòng)一點(diǎn)點(diǎn)， 拍攝出的圖像便會(huì)很模糊。因此，在該實(shí)施形態(tài)中，僅配置有圖2的圍 繞X軸和圍繞Y軸的兩個(gè)角速度傳感器。但是，為了期望更加完善，也 可以進(jìn)一步附加圍繞Z軸的角速度傳感器，或者附加檢測(cè)向X方向或Y 方向的移動(dòng)的傳感器。另外，作為使用的傳感器也可以是角加速度傳感 器，而不是角速度傳感器。
要因信息保存部7，保存有作為使拍攝圖像變化的變化要因的信息、 且在開始拍攝前已判斷出的已知的變化要因數(shù)據(jù)。作為已知的變化要因 的信息，例如為光學(xué)系統(tǒng)的像差等。另外，在該實(shí)施形態(tài)中，要因信息 保存部7中保存有光學(xué)系統(tǒng)的像差或鏡頭的偏斜的信息，但是在下述的 晃動(dòng)的模糊的復(fù)原時(shí)未利用這些信息。
接下來，對(duì)如以上那樣構(gòu)成的圖像處理裝置1的處理部4的處理方 法的概要進(jìn)行說明。
在處理部4中，首先從作為成為處理對(duì)象的拍攝圖像數(shù)據(jù)的原圖像 數(shù)據(jù)Img'中分離YUV( —種顏色編碼方法)的信號(hào)。即，從原圖像數(shù)據(jù) Img'中分離作為拍攝圖像的亮度信息的原圖像亮度數(shù)據(jù)YImg'、作為拍 攝圖像的有關(guān)藍(lán)色的色差信息的原圖像色差數(shù)據(jù)UImg'、以及作為有關(guān) 紅色的色差信息的原圖像色差數(shù)據(jù)VImg'。在進(jìn)行相關(guān)分離的處理歩驟 之后，分別對(duì)原圖像亮度數(shù)據(jù)YImg'、原圖像色差數(shù)據(jù)UImg'、以及原 圖像色差數(shù)據(jù)VImg'進(jìn)行圖3所示的復(fù)原處理。圖3是對(duì)原圖像亮度數(shù) 據(jù)YImg'的處理(復(fù)原處理)進(jìn)行說明的流程圖，但是對(duì)于原圖像色差 數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'也進(jìn)行同樣的復(fù)原處理。
在圖3中，"YIo"是作為任意圖像的亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，該任意圖像亮度數(shù)據(jù)YIo事先被保存于處理部4的記錄部。"YV"表 示該任意圖像亮度數(shù)據(jù)YI。的變化圖像的數(shù)據(jù)，是用于比較的圖像亮度 數(shù)據(jù)(以下稱為"比較圖像亮度數(shù)據(jù)")。"G"是成為利用檢測(cè)部6 所檢測(cè)出的變化要因的信息(-劣化要因的信息(點(diǎn)像函數(shù)))的變化 要因數(shù)據(jù)，是被保存于處理部4的記錄部的數(shù)據(jù)。另外，原圖像亮度數(shù) 據(jù)YImg'是從拍攝圖像數(shù)據(jù)分離出來的數(shù)據(jù)。即，是從由于拍攝時(shí)的晃 動(dòng)等造成的變化要因而變化的原圖像數(shù)據(jù)Img'(拍攝圖像數(shù)據(jù))分離的 亮度數(shù)據(jù)，該原圖像亮度數(shù)據(jù)YImg'也由于變化要因而變化。
"Y5"是作為原圖像亮度數(shù)據(jù)YImg'與比較圖像亮度數(shù)據(jù)YI。'的差 分的數(shù)據(jù)的差分亮度數(shù)據(jù)。"k"是基于變化要因數(shù)據(jù)G的分配比。
"YIQ + n"是將差分亮度數(shù)據(jù)Y5根據(jù)變化要因數(shù)據(jù)分配于任意圖像亮度 數(shù)據(jù)YI。而新生成的復(fù)原圖像亮度數(shù)據(jù)。"YImg"是關(guān)于成為原圖像數(shù) 據(jù)Img'的基礎(chǔ)的、發(fā)生變化前的原本的圖像的圖像數(shù)據(jù)(以下稱為"基 礎(chǔ)圖像數(shù)據(jù)")的亮度數(shù)據(jù)(以下稱為"基礎(chǔ)圖像亮度數(shù)據(jù)")。在此， YImg與YImg'的關(guān)系以下面的式(1)表示。
<formula>formula see original document page 12</formula>
"x"為表示疊加積分的算符。
另外，差分亮度數(shù)據(jù)YS也可以為對(duì)應(yīng)像素的單純的差分，但是， 一般根據(jù)變化要因數(shù)據(jù)G的不同而不同，以下面的式(2)表示。 YS=f (YImg'， YI0， G) ...... (2)
處理部4的處理程序，首先從將任意圖像亮度數(shù)據(jù)YIo作為初始數(shù) 據(jù)而進(jìn)行準(zhǔn)備開始(步驟S101)。作為該初始數(shù)據(jù)的任意圖像亮度數(shù)據(jù) YIo，可以使用作為拍攝圖像的數(shù)據(jù)的原圖像數(shù)據(jù)Img'的亮度數(shù)據(jù)，另 外也可以使用全黑、全白、全灰、黑白相間的方格花紋等那樣的圖像的 亮度數(shù)據(jù)。在步驟S102中，替代式(1)中的YImg而代入任意圖像亮 度數(shù)據(jù)YIQ，求出該任意圖像亮度數(shù)據(jù)YI。根據(jù)變化要因數(shù)據(jù)G而變化 后的比較圖像亮度數(shù)據(jù)YV。接著，將原圖像亮度數(shù)據(jù)YImg'和比較圖 像亮度數(shù)據(jù)YV進(jìn)行比較，算出差分亮度數(shù)據(jù)YS (步驟S103)。
接下來，在步驟S104中判斷該差分亮度數(shù)據(jù)YS是否在規(guī)定值以上， 若為規(guī)定值以上，則在步驟S105中進(jìn)行生成新的任意圖像亮度數(shù)據(jù)(= 復(fù)原圖像亮度數(shù)據(jù))Ylo + n的處理。即，根據(jù)變化要因數(shù)據(jù)G將差分亮度數(shù)據(jù)YS分配于任意圖像亮度數(shù)據(jù)YI。，而生成復(fù)原圖像亮度數(shù)據(jù)YIo + n。然后，以復(fù)原圖像亮度數(shù)據(jù)Yl。+n代替步驟S102中的任意圖像亮度 數(shù)據(jù)YI。，重復(fù)步驟S102、 S103、 S104。
在步驟S104中，在差分亮度數(shù)據(jù)Y5小于規(guī)定值時(shí)結(jié)束處理(步驟 S106)。然后，將結(jié)束了處理的時(shí)點(diǎn)上的復(fù)原圖像亮度數(shù)據(jù)Yl。 + n推斷 為正確的亮度數(shù)據(jù)、即未發(fā)生劣化的基礎(chǔ)圖像數(shù)據(jù)Img的亮度數(shù)據(jù)，并 將該亮度數(shù)據(jù)記錄于記錄部5。另外，也可以在記錄部5中預(yù)先記錄任 意圖像亮度數(shù)據(jù)YI?；蜃兓驍?shù)據(jù)G，并根據(jù)需要輸送至處理部4。
將以上的處理方法的觀點(diǎn)進(jìn)行概括的話如下所述。即，在該處理方 法中，不是將處理的解作為逆問題去解決，而是作為求出合理的解的最 佳化問題而進(jìn)行解決。作為逆問題解決時(shí)，也如專利文獻(xiàn)2的記載那樣 理論上是可能的，但作為現(xiàn)實(shí)問題是困難的。
作為最佳化問題進(jìn)行解決，以以下的條件為前提。
艮P， (1)相對(duì)于輸入的輸出，規(guī)定為唯一值。
(2) 若輸出相同，則輸入也相同。
(3) 為了使輸出相同，通過在更新輸入的同時(shí)進(jìn)行反復(fù)處理， 而使解逐漸收斂。
換句話說，如圖4 (A) 、 (B)所示，如果能夠生成與原圖像亮度 數(shù)據(jù)YImg'近似的比較圖像亮度數(shù)據(jù)YI。' (YIc + n')的話，則成為該生 成的基礎(chǔ)數(shù)據(jù)的任意圖像亮度數(shù)據(jù)YI?；驈?fù)原圖像亮度數(shù)據(jù)Yl。+n，成為 與作為原圖像亮度數(shù)據(jù)YImg'的基礎(chǔ)的基礎(chǔ)圖像亮度數(shù)據(jù)YImg近似的 數(shù)據(jù)。
另外，在該實(shí)施形態(tài)中，角速度檢測(cè)傳感器每隔5Hsec便檢測(cè)角速 度。另外，成為差分亮度數(shù)據(jù)Y5的判斷標(biāo)準(zhǔn)的值，在將各數(shù)據(jù)以八位 (0-255)進(jìn)行表示的情況下，在該實(shí)施形態(tài)中為"6" 。 B卩，在小于6、 也就是為5以下時(shí)，結(jié)束處理。另外，通過角速度檢測(cè)傳感器檢測(cè)出的 晃動(dòng)的原始數(shù)據(jù)，在傳感器自身的校準(zhǔn)不充分時(shí)，與實(shí)際的晃動(dòng)是不對(duì) 應(yīng)的。因此，為了與實(shí)際的晃動(dòng)對(duì)應(yīng)，在傳感器未被校準(zhǔn)時(shí)，必須進(jìn)行 對(duì)通過傳感器檢測(cè)出的原始數(shù)據(jù)乘以規(guī)定倍率的矯正。
接下來，根據(jù)圖5、圖6、圖7、圖8、圖9、圖10、圖11以及圖 12，對(duì)圖3及圖4所示的處理方法的詳細(xì)情況進(jìn)行說明。 (晃動(dòng)的復(fù)原算法)
在未發(fā)生晃動(dòng)時(shí)，對(duì)應(yīng)于規(guī)定像素的光能在曝光時(shí)間中集中于該像 素。另外，在拍攝時(shí)的曝光時(shí)間中由于晃動(dòng)而圖像處理裝置1發(fā)生了閃動(dòng)時(shí)，光能在曝光時(shí)間中分散于晃動(dòng)的像素中。進(jìn)而，由于若知道曝光 時(shí)間中的晃動(dòng)的話，便知道曝光時(shí)間中的光能的分散方式，因此能夠從 模糊的圖像作出不模糊的圖像。
以下，為了簡便以橫向一維進(jìn)行說明。將像素從左開始依次設(shè)為…、 n-l、 n、 n+l、 n+2、 n+3、…，并注意某一像素n。由于在未發(fā)生晃動(dòng)時(shí) 曝光時(shí)間中的光能集中于該像素，因此光能的集中度為"1.0"。該狀態(tài) 表示于圖5。將此時(shí)的各像素的有關(guān)亮度信息的光能分布表示于圖6的 表中。該圖6所示的數(shù)據(jù)，成為不存在因晃動(dòng)引起的劣化的基礎(chǔ)圖像數(shù) 據(jù)Img的有關(guān)亮度信息的基礎(chǔ)圖像亮度數(shù)據(jù)YImg。另外，各數(shù)據(jù)以八 位(0 255 )的數(shù)據(jù)表示。
曝光時(shí)間中存在晃動(dòng)，且分別為曝光時(shí)間中的50%的時(shí)間在第11號(hào) 的像素中發(fā)生晃動(dòng)，30%的時(shí)間在第n+l號(hào)的像素中發(fā)生晃動(dòng)，20%的 時(shí)間在第n+2號(hào)的像素中發(fā)生晃動(dòng)。光能的分散方式如圖7所示的表所 記載。這成為變化要因數(shù)據(jù)G。
由于晃動(dòng)在所有的像素中都是相同的，因此如果沒有上方晃動(dòng)(縱 向晃動(dòng))的話，晃動(dòng)的情況如圖8所示的表所記載。圖8中的作為"理 想圖像"而表示的數(shù)據(jù)，是基礎(chǔ)圖像數(shù)據(jù)Img的基礎(chǔ)圖像亮度數(shù)據(jù)YImg， 作為"模糊圖像"而表示的數(shù)據(jù)，成為作為被拍攝圖像的原圖像數(shù)據(jù)Img '的原圖像亮度數(shù)據(jù)YImg'。具體地說，例如"n-3"像素的"120"，按 照有關(guān)作為圖像變化主要原因的晃動(dòng)的變化要因數(shù)據(jù)G的"0.5" "0.3" "0.2"的分配比，在"n-3"的像素中分散"60" 、 "n-2"的像素中分 散"36" 、 "n-l"的像素中分散"24"。同樣地，作為"n-2"像素的 數(shù)據(jù)"60"，在"n-2"中分散"30" 、 "n-l"中分散"18" 、 "n"中 分散"12"。由該原圖像亮度數(shù)據(jù)YImg'和圖7所示的變化要因數(shù)據(jù)G， 算出不模糊的拍攝圖像。
作為歩驟S101中所示的任意圖像亮度數(shù)據(jù)YIQ，可以采用任意的數(shù) 據(jù)，在進(jìn)行該說明時(shí)使用原圖像亮度數(shù)據(jù)YImg'。即，作為YI^YImg' 而開始進(jìn)行處理。圖9的表中的"輸入"相當(dāng)于任意圖像亮度數(shù)據(jù)YI0。 通過步驟S102使變化要因數(shù)據(jù)G作用于該任意圖像亮度數(shù)據(jù)YIC、即原 圖像亮度數(shù)據(jù)YImg'。即，例如任意圖像數(shù)據(jù)YI0的"n-3"像素的"60"， 分別在"n-3"的像素中分配"30" 、 "n-2"的像素中分配"18" 、 "n-l" 的像素中分配"12"。對(duì)其他的像素也同樣地分配，生成作為"輸出" 而表示的比較圖像亮度數(shù)據(jù)YI。'。其結(jié)果是，步驟S103的差分亮度數(shù) 據(jù)YS如圖9的最下面一欄所示。在這之后，通過步驟S104判斷差分亮度數(shù)據(jù)YS的大小。具體地說， 在所有差分亮度數(shù)據(jù)Y5的絕對(duì)值全變?yōu)椴蛔?時(shí)結(jié)束處理，但是，由 于圖9所示的差分亮度數(shù)據(jù)Y5不符合該條件，因此進(jìn)入步驟S105。艮卩， 使用變化要因數(shù)據(jù)G將差分亮度數(shù)據(jù)Y5分配于任意圖像亮度數(shù)據(jù)YIo， 生成作為圖10中的"下一次輸入"而表示的復(fù)原圖像亮度數(shù)據(jù)YI。+n。 此時(shí)，由于是第一次，因此在圖10中作為n=l而表示為YI。+1。
差分亮度數(shù)據(jù)Y5的分配是，例如將在"n-3"的像素的數(shù)據(jù)"30" 上乘以作為其自身(="n-3"的像素)分配比的0.5所得的"15"分配 于"n-3"的像素，另外，分配在"n-2"的像素的數(shù)據(jù)"15"上乘以作 為應(yīng)產(chǎn)生于該"n-2"像素的分配比0.3所得的"4.5"，進(jìn)而，分配在"n-l" 的像素的數(shù)據(jù)"9.2"上乘以作為應(yīng)產(chǎn)生于該"n-l"的像素的分配比0.2 所得的"1.84"。分配于"n-3"的像素中的總量為"21.34"，將該值與 任意圖像亮度數(shù)據(jù)YIQ (在此使用作為拍攝圖像的亮度數(shù)據(jù)的原圖像亮 度數(shù)據(jù)YImg')相加，生成復(fù)原圖像亮度數(shù)據(jù)YI。+1。該復(fù)原圖像亮度 數(shù)據(jù)Yl。+i是相當(dāng)于圖IO的表中的"下一次輸入"的數(shù)據(jù)。
如圖11所示，該復(fù)原圖像亮度數(shù)據(jù)YIo+,成為步驟S102的輸入圖 像的數(shù)據(jù)(=任意圖像亮度數(shù)據(jù)YIQ)，執(zhí)行步驟S102。圖ll的表中的 "輸入"，相當(dāng)于復(fù)原圖像亮度數(shù)據(jù)YIQ+1。然后，向步驟S103過渡并 得到新的差分亮度數(shù)據(jù)YS。通過步驟S104判斷該新的差分亮度數(shù)據(jù)Y5 的大小，在為規(guī)定值以上時(shí)，通過步驟S105將新的差分亮度數(shù)據(jù)Y5分 配于上一次的復(fù)原圖像亮度數(shù)據(jù)YIo+1，生成新的復(fù)原圖像亮度數(shù)據(jù)YI0 + 2。該復(fù)原圖像亮度數(shù)據(jù)YIo+2是相當(dāng)于圖12的表中的"下一次輸入" 的數(shù)據(jù)。然后，通過步驟S102的執(zhí)行，由復(fù)原圖像亮度數(shù)據(jù)YI。 + 2生成 新的比較用圖像亮度數(shù)據(jù)YIQ+2'。這樣，在執(zhí)行步驟S102、 S103之后 進(jìn)入步驟S104，并通過步驟S104中的判斷向步驟S105前進(jìn)或向步驟 S106過渡。重復(fù)這樣的處理。
在該圖像處理裝置1中，進(jìn)行處理時(shí)，在步驟S104中能夠事先設(shè) 定處理次數(shù)和差分亮度數(shù)據(jù)YS的判斷標(biāo)準(zhǔn)值中的任意一方或雙方。例 如，作為處理次數(shù)，可以設(shè)定二十次、五十次等任意的次數(shù)。另外，能 夠?qū)⑹固幚硗Ｖ沟牟罘至炼葦?shù)據(jù)Y5的值設(shè)定為八位(0 255)中的"5"， 變?yōu)?以下的話使處理結(jié)束，或者設(shè)定為"0.5"，變?yōu)?.5以下的話使 處理結(jié)束。能夠任意地設(shè)定該設(shè)定值。在輸入了處理次數(shù)和判斷標(biāo)準(zhǔn)值 的雙方的情況下，在滿足任意一方時(shí)停止處理。另外，在能夠進(jìn)行雙方 的設(shè)定時(shí)，以判斷標(biāo)準(zhǔn)值為優(yōu)先，通過規(guī)定次數(shù)的處理未進(jìn)入判斷標(biāo)準(zhǔn)值內(nèi)時(shí)，也可以再次地重復(fù)規(guī)定次數(shù)的處理。
對(duì)于原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'，也分別進(jìn)行 上述的圖3所示的處理。此時(shí)，在對(duì)原圖像色差數(shù)據(jù)UImg'進(jìn)行處理的 情況下，圖3所示的從步驟S101至步驟S105的內(nèi)容如下所示。
首先，在步驟S101中，代替任意圖像亮度數(shù)據(jù)YI。而準(zhǔn)備任意圖像 色差數(shù)據(jù)UI。。該任意圖像色差數(shù)據(jù)UI。可以事先被保存于處理部4的記 錄部，在此利用作為原圖像數(shù)據(jù)Img'的色差數(shù)據(jù)的原圖像色差數(shù)據(jù) UImg'。
在步驟S102中，使變化要因數(shù)據(jù)G作用于任意圖像色差數(shù)據(jù)UIo， 求出比較圖像色差數(shù)據(jù)UIQ'。然后，在步驟S103中，將原圖像色差數(shù) 據(jù)UImg'和比較圖像色差數(shù)據(jù)UV進(jìn)行比較，算出差分色差數(shù)據(jù)U5。
在步驟S104中判斷差分色差數(shù)據(jù)US是否在規(guī)定值以上，若為規(guī)定 值以上，則在步驟S105中進(jìn)行生成新的任意圖像色差數(shù)據(jù)(-復(fù)原圖像 色差數(shù)據(jù))UI。+1的處理。然后，將復(fù)原圖像色差數(shù)據(jù)UIe+1作為步驟 S102中的任意圖像色差數(shù)據(jù)UI(j，重復(fù)步驟102、步驟103、步驟104。
而且，在步驟S104中，在差分色差數(shù)據(jù)US小于規(guī)定值時(shí)結(jié)束處理
(si06)。將在該處理結(jié)束的時(shí)點(diǎn)上的復(fù)原圖像色差數(shù)據(jù)1;1()+/推斷為
正確的色差數(shù)據(jù)、即未劣化的基礎(chǔ)圖像數(shù)據(jù)Img的有關(guān)藍(lán)色的色差信息 的數(shù)據(jù)，并將該復(fù)原圖像色差數(shù)據(jù)111()+11'記錄于記錄部5。
接著，說明對(duì)原圖像色差數(shù)據(jù)VImg'進(jìn)行圖3所示的步驟S101至 步驟S105的處理的情況。
首先，在步驟S101中，代替任意圖像亮度數(shù)據(jù)YI。而準(zhǔn)備任意圖像 色差數(shù)據(jù)VI。。該任意圖像色差數(shù)據(jù)VI。也可以事先保存于處理部4的記 錄部，在此利用作為原圖像數(shù)據(jù)Img'的色差數(shù)據(jù)的原圖像色差數(shù)據(jù) VImg'。
在步驟S102中，使變化要因數(shù)據(jù)G作用于任意圖像色差數(shù)據(jù)VI0， 求出比較圖像色差數(shù)據(jù)VIo'。然后，在步驟S103中，將原圖像色差數(shù) 據(jù)VImg'和比較圖像數(shù)據(jù)VV進(jìn)行比較，算出差分色差數(shù)據(jù)V5。
在步驟S104中判斷差分色差數(shù)據(jù)VS是否在規(guī)定值以上，若為規(guī)定 值以上，則在步驟S105中進(jìn)行生成新的任意圖像色差數(shù)據(jù)(=復(fù)原圖像 色差數(shù)據(jù))VI。+1的處理。然后，將復(fù)原圖像色差數(shù)據(jù)VI。+1作為步驟 S102中的任意圖像色差數(shù)據(jù)VI。，重復(fù)步驟102、步驟103、步驟104。
而且，在步驟S104中，在差分色差數(shù)據(jù)VS小于規(guī)定值時(shí)結(jié)束處理 (S106)。將在該處理結(jié)束的時(shí)點(diǎn)上的復(fù)原圖像色差數(shù)據(jù)VIo化'推斷為正確的色差數(shù)據(jù)、即未劣化的基礎(chǔ)圖像數(shù)據(jù)Img的有關(guān)紅色的色差信息 的數(shù)據(jù)，并將該復(fù)原圖像色差數(shù)據(jù)Vl。+n'記錄于記錄部5。
另外，圖3所示處理的變形例、或參照?qǐng)D4 圖12而進(jìn)行說明的原 圖像亮度數(shù)據(jù)的處理，可以原封不動(dòng)地適用于原圖像色差數(shù)據(jù)UImg'及 原圖像色差數(shù)據(jù)VImg'的處理。
通過將如以上那樣被求出且記錄于記錄部5的復(fù)原圖像亮度數(shù)據(jù) YI0 + n'、復(fù)原圖像色差數(shù)據(jù)UIQ+n'以及復(fù)原圖像色差數(shù)據(jù)Vl。 + n'轉(zhuǎn)換為 RGB的信號(hào)并進(jìn)行合成，而生成模糊被消除或大致被消除的復(fù)原圖像數(shù) 據(jù)l。 + n'。然后，將該復(fù)原圖像數(shù)據(jù)1。+ '推斷為基礎(chǔ)圖像數(shù)據(jù)Img，顯 示于未圖示的顯示器等的顯示部、或者記錄于記錄部5。
但是，YUV的信號(hào)(即，原圖像亮度數(shù)據(jù)YImg'、原圖像色差數(shù)據(jù) UImg'以及原圖像色差數(shù)據(jù)VImg')從原圖像數(shù)據(jù)Img'的分離，例如通 過以下的式進(jìn)行。
YImg'= 0.29891XR十0.58661xG +0.11448xB ... (3) UImg'= -0:16974xR畫0.33126xG十0.50000xB ... (4) VImg'- 0.50000xR-0."869xG十0.08131xB ... (5)
在此，R、 G、 B是原圖像數(shù)據(jù)Img'的有關(guān)R (紅)、G (綠)、B (藍(lán))的顏色成分的光能量(亮度)的數(shù)據(jù)。然后，將通過上述圖3的 處理而被復(fù)原的復(fù)原圖像亮度數(shù)據(jù)YIQ + n'、復(fù)原圖像色差數(shù)據(jù)UIo + Z 以及復(fù)原圖像亮度數(shù)據(jù)VI。+n'，例如通過以下的式轉(zhuǎn)換為RGB的信號(hào)。
R= YI0+n'+1.40200xVI0+n'... (6)
G= YI0+n'-0.34414xUI0+n'-0.71414xVI0+n' ... (7)
B= YI0+n'+1.77200xUI0+n' ".(8)
然后，通過將利用上述式求出的RGB的信號(hào)進(jìn)行合成，求出復(fù)原圖 像1。+/。另外，上述式(3)至(8)為例示，也可以采用其他的轉(zhuǎn)換式。 在此，在作為從RGB信號(hào)向"UImg'"以及"VImg'"轉(zhuǎn)換的轉(zhuǎn)換 式的式(4) 、 (5)中，存在進(jìn)行減法運(yùn)算的項(xiàng)目。因此，存在"UImg'"、 "VImg'"成為負(fù)值的情況。該情況下，將八位設(shè)定為0 255時(shí)，圖3 的處理出現(xiàn)障礙。因此，通過將八位的值設(shè)定為-128 127，即使"UImg '"、"VImg'"成為負(fù)值也能夠?qū)?yīng)。另外，在原圖像色差數(shù)據(jù)UImg'、原圖像色差數(shù)據(jù)VImg'的復(fù)原處理中，對(duì)于在重復(fù)處理的中途"UIo + n'"或"VI。+n'"超出-128 127的范圍的情況，將超出負(fù)值側(cè)(負(fù)數(shù)
(minus)側(cè))的部分作為-128而進(jìn)行處理，相反地，將超出正值側(cè)(正 數(shù)(plus)側(cè))的部分作為127而進(jìn)行處理。另外，對(duì)于"YIG+n'"， 在超過255的值被復(fù)原時(shí)，也進(jìn)行限制于255的處理。通過這樣處理， 能夠防止被實(shí)施異常的處理或被復(fù)原為奇怪的顏色。
另外，在式(6) 、 (7) 、 (8)中，根據(jù)"UIo+n'" 、 "VIo + n'" 的值而存在有在計(jì)算式上RGB的值成為負(fù)值的情況，但是實(shí)際上RGB 的值成為負(fù)值的情況是不存在的。此時(shí)，對(duì)于超出0 255的范圍的部分， 也是將超出負(fù)值側(cè)(負(fù)數(shù)側(cè))的部分矯正為0后的值作為RGB的值、相 反地，將超出正值側(cè)(正數(shù)側(cè))的部分矯正為255后的值作為RGB的值， 并以該RGB進(jìn)行處理?；蛘?，進(jìn)而通過式(3) 、 (4) 、 (5)由矯正 后的RGB的值算出"YImg' " 、 "UImg' " 、 "VImg'"，根據(jù)這些"YImg '"、"UImg'" 、 "VImg'"進(jìn)行圖3所示的復(fù)原處理，并再次通過式
(6)、 (7)、 (8)算出RGB。然后，也可以重復(fù)進(jìn)行RGB的值的矯 正、基于該被矯正后的RGB值的"YImg'" 、 "UImg'" 、"VImg'" 的算出、圖3所示的復(fù)原處理、以及接下來的RGB的算出這樣的處理， 直至RGB的值變?yōu)檎禐橹埂?br> 但是，人的眼睛對(duì)于顏色變化的感度，相比對(duì)于亮度變化的感度要 低。即，看到所拍攝的圖像后的人的感覺，與對(duì)于亮度變化的感度相比， 對(duì)于顏色變化的感度遲鈍。因此，存在即使減少關(guān)于色差的信息量，人 的視覺也無法辨別的情況。因此，通過對(duì)于作為與色差有關(guān)的數(shù)據(jù)的原 圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'，進(jìn)行壓縮處理使數(shù)據(jù)量 減少，并對(duì)被壓縮處理后的原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù) VImg'進(jìn)行上述的復(fù)原處理，而能夠加快復(fù)原處理的處理速度。另外， 由于通過進(jìn)行壓縮處理數(shù)據(jù)量變少，因此能夠減少記錄部5或處理部4 的記錄部的記錄容量。根據(jù)這樣壓縮后的數(shù)據(jù)而被復(fù)原處理后的復(fù)原圖 像色差數(shù)據(jù)111() + /及復(fù)原圖像亮度數(shù)據(jù)VIQ+n'，成為復(fù)原精度低的數(shù) 據(jù)。
但是，對(duì)于對(duì)人的眼睛敏感的與亮度有關(guān)的原圖像亮度數(shù)據(jù)YImg'， 不實(shí)施壓縮處理便進(jìn)行復(fù)原處理。即，復(fù)原圖像數(shù)據(jù)Io + n'中的關(guān)于亮度 的成分被高精度地復(fù)原。因此，根據(jù)復(fù)原圖像數(shù)據(jù)Io+:/而被顯示的影像， 在人的眼睛中能夠作為被良好地復(fù)原的圖像而加以認(rèn)識(shí)。
另外，作為壓縮的方法，除了相對(duì)于對(duì)原圖像數(shù)據(jù)亮度數(shù)據(jù)YImg'以八位進(jìn)行處理，對(duì)原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'以 六位進(jìn)行處理這樣的、使數(shù)據(jù)的位數(shù)降低而進(jìn)行處理的方法之外，還存 在將處理像素進(jìn)行間隔剔除(例如，使處理像素每隔一個(gè)或每隔兩個(gè)) 的方法。在將處理像素進(jìn)行了間隔剔除的情況下，在轉(zhuǎn)換為RGB的信號(hào) 后，利用被處理的像素補(bǔ)充未被處理過的像素的RGB的信號(hào)。
另外，在步驟S104中，對(duì)差分亮度數(shù)據(jù)Y5以及差分色差數(shù)據(jù)U5、 VS設(shè)定有判斷標(biāo)準(zhǔn)值的情況下，對(duì)于原圖像色差數(shù)據(jù)UImg'及原圖像色 差數(shù)據(jù)VImg'的復(fù)原處理，也可以通過構(gòu)成為，即使對(duì)于差分色差數(shù)據(jù) U5、 V5的判斷標(biāo)準(zhǔn)值相比對(duì)于差分亮度數(shù)據(jù)Y6的判斷標(biāo)準(zhǔn)值為差分的 數(shù)據(jù)大的值，也使復(fù)原處理結(jié)束(步驟S106)，而謀求縮短復(fù)原處理的 處理時(shí)間。關(guān)于原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'，由于 是與色差有關(guān)的數(shù)據(jù)，即使沒有像原圖像亮度數(shù)據(jù)YImg'那樣高精度地 復(fù)原，根據(jù)復(fù)原圖像數(shù)據(jù)I。 + n'而顯示的影像，也能夠在人的眼睛中作為 被良好地復(fù)原的圖像而加以認(rèn)識(shí)。因此，例如在上述的說明中構(gòu)成為在 差分亮度數(shù)據(jù)Y5變?yōu)椴蛔?的情況下結(jié)束處理(步驟S106)，但是對(duì) 于原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'的復(fù)原處理，也可以 通過構(gòu)成為在差分色差數(shù)據(jù)U5、 VS變?yōu)椴蛔?0的情況下結(jié)束處理(步 驟S106)，而謀求原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'的復(fù) 原處理的短時(shí)間化。
另外，在步驟S104中，事先設(shè)定處理次數(shù)的情況下，相對(duì)于對(duì)原 圖像亮度數(shù)據(jù)YImg'例如作為處理次數(shù)而設(shè)定為二十次，對(duì)于原圖像色 差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'的復(fù)原處理，作為處理次數(shù)也可 以設(shè)定為十次。通過這樣構(gòu)成，能夠謀求原圖像色差數(shù)據(jù)UImg'及原圖 像色差數(shù)據(jù)VImg'的復(fù)原處理的短時(shí)間化，進(jìn)而，能夠縮短原圖像數(shù)據(jù) Img'的復(fù)原處理的時(shí)間。另外，也可以使對(duì)于兩個(gè)原圖像色差數(shù)據(jù)UImg '、VImg'的重復(fù)處理回?cái)?shù)不同。
在以上所說明的實(shí)施形態(tài)的說明中，未利用保存于要因信息保存部 7的信息，但是也可以使用保存于要因信息保存部7的已知的變化要因、 例如光學(xué)像差或鏡頭的偏斜等的數(shù)據(jù)。該情況下，例如在先前的例子(圖 3)的處理方法中，以將晃動(dòng)的信息和光學(xué)像差的信息進(jìn)行組合而作為一 個(gè)變化要因取得并進(jìn)行處理為佳，但是，也可以在利用晃動(dòng)的信息進(jìn)行 的處理結(jié)束后進(jìn)行利用光學(xué)像差的信息的矯正。另外，也可以不設(shè)置該 要因信息保存部7，而僅通過拍攝時(shí)的動(dòng)態(tài)要因、例如晃動(dòng)而將圖像進(jìn) 行矯正或復(fù)原。以上對(duì)本發(fā)明的實(shí)施形態(tài)所涉及的圖像處理裝置1進(jìn)行了說明，但 是只要不脫離本發(fā)明的主旨各種變更實(shí)施也是可能的。例如，利用處理
部4進(jìn)行的處理是由軟件構(gòu)成的，但是也可以利用由分別承擔(dān)一部分處 理的部件組成的硬件構(gòu)成。
另外，作為成為處理對(duì)象的原圖像除拍攝圖像之外，也可以是將該 拍攝圖像進(jìn)行補(bǔ)色或傅里葉變換等、實(shí)施了加工的圖像。進(jìn)而，作為比 較用圖像數(shù)據(jù)，除使用變化要因數(shù)據(jù)G生成的數(shù)據(jù)以外，也可以作為對(duì) 使用變化要因數(shù)據(jù)G而生成的數(shù)據(jù)施加了補(bǔ)色、或進(jìn)行了傅里葉變換后 的數(shù)據(jù)。另外，作為變化要因數(shù)據(jù)，除由于晃動(dòng)引起的圖像劣化的主要 原因的數(shù)據(jù)(信息)之外，也可以為包含有僅使圖像變化的信息、或與 劣化相反地使圖像變好的信息的數(shù)據(jù)。
另外，上述的各處理方法也可以被程序化。另外，也可以將被程序 化的處理方法存入存儲(chǔ)介質(zhì)，例如CD、 DVD、 USB存儲(chǔ)器，并能夠通 過電腦進(jìn)行讀取。該情況下，圖像處理裝置1具有讀入該存儲(chǔ)介質(zhì)內(nèi)的 程序的讀入手段。進(jìn)而，也可以將該被程序化的處理方法存入圖像處理 裝置l外部的服務(wù)器，根據(jù)需要下載并使用。該情況下，圖像處理裝置 1具有下載該存儲(chǔ)介質(zhì)內(nèi)的程序的通信手段。
權(quán)利要求
1.一種圖像處理裝置，設(shè)有處理彩色圖像的處理部，其特征在于，所述處理部，從作為成為處理對(duì)象的原圖像的數(shù)據(jù)的原圖像數(shù)據(jù)，分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)，并將所述原圖像亮度數(shù)據(jù)和所述原圖像色差數(shù)據(jù)分別作為處理對(duì)象的數(shù)據(jù)，對(duì)于所述原圖像亮度數(shù)據(jù)，通過進(jìn)行重復(fù)同樣的處理的重復(fù)處理，生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像亮度數(shù)據(jù)、或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被復(fù)原后的復(fù)原圖像亮度數(shù)據(jù)，其中，所述同樣的處理為，利用作為圖像變化主要原因的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的圖像亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后的比較用的比較圖像亮度數(shù)據(jù)，求出作為將所述原圖像亮度數(shù)據(jù)和所述比較圖像亮度數(shù)據(jù)進(jìn)行比較后的差分的數(shù)據(jù)的差分亮度數(shù)據(jù)，生成將所述差分亮度數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任意圖像亮度數(shù)據(jù)后的復(fù)原圖像亮度數(shù)據(jù)，代替所述任意圖像亮度數(shù)據(jù)而使用所述復(fù)原圖像亮度數(shù)據(jù)；對(duì)于所述原圖像色差數(shù)據(jù)，通過進(jìn)行重復(fù)同樣的處理的重復(fù)處理，生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色差數(shù)據(jù)、或與基礎(chǔ)圖像色差數(shù)據(jù)近似的被復(fù)原后的復(fù)原圖像色差數(shù)據(jù)，其中，所述同樣的處理為，利用所述變化要因數(shù)據(jù)，從作為任意的圖像色差數(shù)據(jù)的任意圖像色差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用的比較圖像色差數(shù)據(jù)，求出作為將所述原圖像色差數(shù)據(jù)和所述比較圖像色差數(shù)據(jù)進(jìn)行比較后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)，生成將所述差分色差數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任意圖像色差數(shù)據(jù)后的復(fù)原圖像色差數(shù)據(jù)，代替所述任意圖像色差數(shù)據(jù)而使用所述復(fù)原圖像色差數(shù)據(jù)。
2. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 進(jìn)行將所述復(fù)原圖像亮度數(shù)據(jù)與所述復(fù)原圖像色差數(shù)據(jù)合成，生成所述基礎(chǔ)圖像的基礎(chǔ)圖像數(shù)據(jù)、或與基礎(chǔ)圖像數(shù)據(jù)近似的被復(fù)原后的復(fù) 原圖像數(shù)據(jù)的處理。
3. 如權(quán)利要求1或2所述的圖像處理裝置，其特征在于， 將所述原圖像色差數(shù)據(jù)形成為兩個(gè)，對(duì)兩個(gè)所述原圖像色差數(shù)據(jù)分別進(jìn)行所述重復(fù)處理。
4. 如權(quán)利要求1 3中任意一項(xiàng)所述的圖像處理裝置，其特征在于， 對(duì)所述原圖像色差數(shù)據(jù)進(jìn)行壓縮處理，并對(duì)被壓縮后的壓縮圖像色差數(shù)據(jù)進(jìn)行所述重復(fù)處理，生成所述復(fù)原圖像色差數(shù)據(jù)。
5. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述原圖像色差數(shù)據(jù)的壓縮，是將所述原圖像色差數(shù)據(jù)的數(shù)據(jù)進(jìn)行間隔剔除的間隔剔除處理。
6. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述圖像色差數(shù)據(jù)的壓縮，是將生成所述復(fù)原圖像色差數(shù)據(jù)的處理，以比進(jìn)行生成所述復(fù)原圖像亮度數(shù)據(jù)的處理位數(shù)少的位數(shù)進(jìn)行處理。
7. —種圖像處理方法，對(duì)彩色圖像進(jìn)行處理，其特征在于， 在執(zhí)行從作為成為處理對(duì)象的原圖像的數(shù)據(jù)的原圖像數(shù)據(jù)，分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)的歩驟之后，將所述原圖像亮度數(shù)據(jù)和所述原圖像色差數(shù)據(jù)分別作為處理對(duì)象的 數(shù)據(jù)，對(duì)于所述原圖像亮度數(shù)據(jù)，通過進(jìn)行重復(fù)同樣的處理的重復(fù)處理， 生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像亮度數(shù)據(jù)、 或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被復(fù)原后的復(fù)原圖像亮度數(shù)據(jù)，其中，所 述同樣的處理為，在執(zhí)行利用作為圖像變化主要原因的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的 圖像亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后 的比較用的比較圖像亮度數(shù)據(jù)的步驟，求出作為將所述原圖像亮度數(shù)據(jù)和所述比較圖像亮度數(shù)據(jù)進(jìn)行比較 后的差分的數(shù)據(jù)的差分亮度數(shù)據(jù)的步驟，以及生成將所述差分亮度數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任 意圖像亮度數(shù)據(jù)后的復(fù)原圖像亮度數(shù)據(jù)的歩驟，之后代替所述任意圖像亮度數(shù)據(jù)而使用所述復(fù)原圖像亮度數(shù)據(jù)；對(duì)于所述圖像色差圖像數(shù)據(jù)，通過進(jìn)行重復(fù)同樣的處理的重復(fù)處 理，生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色差數(shù) 據(jù)、或與基礎(chǔ)圖像色差數(shù)據(jù)近似的被復(fù)原后的復(fù)原圖像色差數(shù)據(jù)，其中，所述同樣的處理為，在執(zhí)行利用所述變化要因數(shù)據(jù)，從作為任意的圖像色差數(shù)據(jù)的任意圖像色 差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用的比較圖像色差數(shù) 據(jù)的步驟，求出作為將所述原圖像色差數(shù)據(jù)和所述比較圖像色差數(shù)據(jù)進(jìn)行比較 后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)的步驟，以及生成將所述差分色差數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任 意圖像色差數(shù)據(jù)后的復(fù)原圖像色差數(shù)據(jù)的步驟，之后代替所述任意圖像色差數(shù)據(jù)而使用所述復(fù)原圖像色差數(shù)據(jù)。
全文摘要
為了提供在防止裝置的大型化的同時(shí)，具有現(xiàn)實(shí)性的、用于圖像復(fù)原的電路處理方法，在該圖像處理裝置中，通過重復(fù)同樣的處理，而生成變化前(發(fā)生劣化等之前)的基礎(chǔ)圖像的亮度數(shù)據(jù)、或與基礎(chǔ)圖像的亮度數(shù)據(jù)近似的復(fù)原圖像亮度數(shù)據(jù)(YI_0+n)；其中，所述同樣的處理為，通過利用成為圖像變化主要原因的變化要因數(shù)據(jù)(G)，從任意圖像亮度數(shù)據(jù)(YI₀)生成比較圖像亮度數(shù)據(jù)(YI₀′)，然后，將成為處理對(duì)象的原圖像亮度數(shù)據(jù)(YImg′)和比較圖像亮度數(shù)據(jù)(YI₀′)進(jìn)行比較，并將得到的差分亮度數(shù)據(jù)(Yδ)根據(jù)變化要因數(shù)據(jù)(G)分配于任意圖像數(shù)據(jù)(YI₀)而生成復(fù)原圖像亮度數(shù)據(jù)(YI_0+n)，之后，代替任意圖像亮度數(shù)據(jù)(YI₀)而使用該復(fù)原圖像亮度數(shù)據(jù)(YI_0+n)。
文檔編號(hào)H04N9/04GK101632309SQ20088000256
公開日2010年1月20日 申請(qǐng)日期2008年1月22日 優(yōu)先權(quán)日2007年1月23日
發(fā)明者小松廣明, 高橋史紀(jì) 申請(qǐng)人:日東光學(xué)株式會(huì)社