專利名稱：攝像設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在使用CCD傳感器或CMOS傳感器等圖像 傳感器的攝像設(shè)備中抑制由附著至光學(xué)低通濾波器等的表面上 的異物所引起的圖像劣化的技術(shù)。
背景技術(shù)：
在傳統(tǒng)的鏡頭可互換的數(shù)字照相機(jī)中，灰塵或塵埃等的異 物(下文中簡稱為灰塵)有時(shí)附著至光學(xué)系統(tǒng)或布置在圖像傳感 器前方的圖像傳感器保護(hù)玻璃或光學(xué)濾波器(將被統(tǒng)稱為圖像 傳感器光學(xué)組件)的表面上。當(dāng)灰塵附著至圖像傳感器光學(xué)組件 時(shí)，該灰塵阻擋了光，并且位于光阻擋部分的圖像未被拍攝到， 從而降低了所拍攝圖像的質(zhì)量。
通常圖像傳感器上的這種灰塵并非附著至該圖像傳感器的 表面而是附著至保護(hù)玻璃或光學(xué)濾波器的表面。成像狀態(tài)根據(jù) 攝像鏡頭的光圈值或光瞳位置(pupil position)而改變。更具體 地，當(dāng)光圈值幾乎為全光圏(full-aperture)值時(shí)，灰塵圖像模糊， 并且即使附著了小的灰塵，也無影響。當(dāng)光圈值大時(shí)，形成了 清晰的灰塵圖像，并且甚至小的灰塵也不利地影響了整個(gè)圖像。 為了解決該問題，已知一種使灰塵不太顯著的方法。根據(jù)該方 法，通過在將鏡頭設(shè)置為大的光圈值時(shí)拍攝白墻等預(yù)先準(zhǔn)備了 只有圖像傳感器上的灰塵的圖像。將該圖像與所拍攝到的靜止 圖像結(jié)合使用(參見日本特開2004-222231號(hào)公報(bào))。
近來已經(jīng)提出的數(shù)字照相機(jī)除具有靜止圖像拍攝功能以 外，還具有運(yùn)動(dòng)圖像拍攝功能。當(dāng)鏡頭可互換的數(shù)字照相機(jī)具 有運(yùn)動(dòng)圖像拍攝功能時(shí)，攝像鏡頭的光圈值和光瞳位置在運(yùn)動(dòng)圖像拍攝期間根據(jù)鏡頭操作(例如，變焦操作)而改變。結(jié)果， 圖像傳感器上的灰塵的成像狀態(tài)在運(yùn)動(dòng)圖像的每個(gè)幀中改變。 需要注意為灰塵檢測而拍攝到的圖像和與之相關(guān)聯(lián)的實(shí)際拍攝
到的圖像之間的對(duì)應(yīng)關(guān)系。如果將日本特開2004-222231號(hào)公報(bào) 中說明的方法簡單地應(yīng)用于運(yùn)動(dòng)圖像拍攝，則對(duì)于運(yùn)動(dòng)圖像的 各幀，必須繁瑣地4企查該對(duì)應(yīng)關(guān)系。

發(fā)明內(nèi)容
本發(fā)明用以克服傳統(tǒng)缺陷，并抑制附著至布置在圖像傳感 器前方的保護(hù)玻璃、濾波器等上的灰塵等異物對(duì)運(yùn)動(dòng)圖像的影 響。
根據(jù)本發(fā)明的第一方面，提供了一種攝像設(shè)備，包括攝 像單元，其具有對(duì)通過攝像鏡頭形成的被攝體圖像進(jìn)行光電轉(zhuǎn) 換的圖像傳感器；光學(xué)構(gòu)件，其布置在所述圖像傳感器的前方； 異物檢測單元，其從包括附著至所述光學(xué)構(gòu)件的表面的異物的 圖像的異物檢測圖像中檢測異物信息，所述異物信息是包括至 少與所述異物的位置和大小有關(guān)的信息的信息；記錄單元，用 于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像單元連續(xù)輸出的圖 像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相 關(guān)聯(lián)的方式記錄包括所述異物信息、所述攝像鏡頭的光圈值的 信息以及光瞳位置的信,包、的鏡頭信息；以及鏡頭信息獲得單元， 用于當(dāng)在運(yùn)動(dòng)圖像拍攝期間通過用戶操作所述攝像鏡頭而更新 了所述鏡頭信息時(shí)，獲得更新后的鏡頭信息，其中，當(dāng)所述鏡 頭信息獲得單元獲得了所述更新后的鏡頭信息時(shí)，所述記錄單 元以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄所述更新后的鏡頭 信息。
7所述攝像設(shè)備包括攝像單元，其具有對(duì)通過攝像鏡頭形成的 被攝體圖像進(jìn)行光電轉(zhuǎn)換的圖像傳感器；以及光學(xué)構(gòu)件，其布 置在所述圖像傳感器的前方，所述控制方法包括以下步驟異 物檢測步驟，用于從包括附著至所述光學(xué)構(gòu)件的表面的異物的
圖像的異物檢測圖像中檢觀'J異物信息，所述異物信息是包括至 少與所述異物的位置和大小有關(guān)的信息的信息；記錄步驟，用
于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像單元連續(xù)輸出的圖 像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相 關(guān)聯(lián)的方式記錄包括所述異物信息、所述攝像鏡頭的光圈值的 信息以及光瞳位置的信息的鏡頭信息；以及鏡頭信息獲得步驟， 用于當(dāng)在運(yùn)動(dòng)圖像拍攝期間通過用戶操作所述攝像鏡頭而更新 了所述鏡頭信息時(shí)，獲得更新后的鏡頭信息，其中，在所述記 錄步驟中，當(dāng)在所述鏡頭信息獲得步驟中獲得了所述更新后的 鏡頭信息時(shí)，以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄所述更 新后的鏡頭信息。
根據(jù)本發(fā)明的第三方面，提供了一種攝像設(shè)備，包括攝 像單元，用于對(duì)被攝體圖像進(jìn)行光電轉(zhuǎn)換以生成圖像信號(hào)；異 物檢測單元，用于從由所述攝像單元獲得的異物檢測圖像信號(hào) 中檢測異物信息，所述異物信息是至少與所述攝像單元的攝像 幀中的所述異物的位置和大小有關(guān)的信息；鏡頭信息獲得單元， 用于獲得用于拍攝被攝體的鏡頭的鏡頭信息；以及記錄單元， 用于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像單元連續(xù)輸出的 圖像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所述運(yùn)動(dòng)圖像數(shù)據(jù) 相關(guān)聯(lián)的方式記錄由所述異物檢測單元檢測到的所述異物信息 和由所述鏡頭信息獲得單元獲得的所述鏡頭信息，其中，所述 記錄單元對(duì)所述運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行分割，記錄片斷，將由所述 鏡頭信息獲得單元所獲得的鏡頭信息添加至各片斷，并記錄所 述鏡頭信息。所述攝像設(shè)備具有用于對(duì)被攝體圖像進(jìn)行光電轉(zhuǎn)換以生成圖像
信號(hào)的攝像單元，所述控制方法包括以下步驟異物檢測步驟， 用于從由所述攝像單元獲得的異物檢測圖像信號(hào)中檢測異物信 息，所述異物信息是至少與所述攝像單元的攝像幀中的所述異 物的位置和大小有關(guān)的信息；鏡頭信息獲得步驟，用于獲得用 于拍攝被攝體的鏡頭的鏡頭信息；以及記錄步驟，用于在拍攝 運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像單元連續(xù)輸出的圖像信號(hào)而 生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方 式記錄在所述異物檢測步驟中檢測到的所述異物信息以及在所 述鏡頭信息獲得步驟中獲得的所述鏡頭信息，其中，在所述記 錄步驟中，對(duì)所述運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行分割以記錄片斷，并且將 在所述鏡頭信息獲得步驟中獲得的所述鏡頭信息添加至各片 斷，并記錄所述鏡頭信息。
通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特 征將變得明顯。


圖l是示出鏡頭可互換的單鏡頭反光數(shù)字照相機(jī)的外觀的 透視圖2是示出鏡頭可互換的單鏡頭反光數(shù)字照相機(jī)的內(nèi)部結(jié)
構(gòu)的垂直截面圖3是示出鏡頭可互換的單鏡頭反光數(shù)字照相機(jī)的電路結(jié)
構(gòu)的框圖4是用于說明灰塵檢測處理的流程圖5是示出灰塵校正數(shù)據(jù)的數(shù)據(jù)格式的示例的圖6是用于說明圖4的步驟S27中的灰塵區(qū)域獲得例程的細(xì)節(jié)的流程圖7是示出圖6的步驟S62中的灰塵區(qū)域判斷處理的處理單 位的圖8是示出在圖6的步驟S63中計(jì)算灰塵區(qū)域的大小的概要 的圖9是用于說明圖4的步驟S24中的攝像處理例程的細(xì)節(jié)的 流程圖IO是用于說明灰塵去除處理的細(xì)節(jié)的流程圖； 圖ll是用于說明插值例程的細(xì)節(jié)的流程和媒體數(shù)據(jù)的概念的圖13是用于說明片斷動(dòng)畫(Fragmented Movie)的概念的圖； 圖14是第一實(shí)施例中的基本處理的流程圖； 圖15是示出灰塵位置校正數(shù)據(jù)的數(shù)據(jù)格式的示例的圖； 圖16是示出第一實(shí)施例中的運(yùn)動(dòng)圖像文件分割/生成處理
的圖17A和17B是第一實(shí)施例中的基本文件結(jié)構(gòu)的示意圖； 圖18A和18B是示出第一實(shí)施例中的文件結(jié)構(gòu)的第二示例 的示意圖19A和19B是示出第 一 實(shí)施例中的文件結(jié)構(gòu)的第三示例 的示意圖20A和20B是示出第 一 實(shí)施例中的文件結(jié)構(gòu)的第四示例 的示意圖21是示出圖像處理設(shè)備的示意系統(tǒng)結(jié)構(gòu)的框圖22是示出圖像處理設(shè)備中的GUI的示例的圖23是第二實(shí)施例中的基本處理的流程圖24是示出第三實(shí)施例中在變焦驅(qū)動(dòng)時(shí)的分割方法的流程圖25是示出第四實(shí)施例中在變焦驅(qū)動(dòng)時(shí)的分割方法的流程 圖；以及
圖26是示出第五實(shí)施例中在變焦驅(qū)動(dòng)時(shí)的分割方法的流程圖。
具體實(shí)施例方式
現(xiàn)在將參考附圖詳細(xì)說明本發(fā)明的實(shí)施例。 第一實(shí)施例
圖1是示出本發(fā)明的全部實(shí)施例通用的數(shù)字照相機(jī)12 0的外 觀的透視圖。圖2是圖1的垂直截面圖。
參考圖l，照相機(jī)體100的上部包括附件插座110、光學(xué)取景 器104、 AE(Auto Exposure,自動(dòng)曝光)鎖定4安4丑111 、 AF距離測 量點(diǎn)選擇按鈕113和用于進(jìn)行拍攝操作的釋放按鈕114。照相機(jī) 體100的上部還包括電子撥盤411、模式撥盤60和外部顯示器 409。電子撥盤411是用于與其它操作按鈕相結(jié)合地將數(shù)值輸入 至照相機(jī)或者切換拍攝模式的多功能信號(hào)輸入裝置。外部顯示 器409由液晶顯示器形成并且顯示拍攝條件(例如，快門速度、 光圏值和拍攝模式)以及其它種類的信息。
照相機(jī)體100的背面包括用于顯示所拍攝圖像和各種設(shè)置 窗口的LCD監(jiān)視器417、用于在LCD監(jiān)視器417上重放所拍攝圖 像的重放開關(guān)66、單拍/連拍開關(guān)68、十字選擇器開關(guān)116、菜 單按4丑124和電源開關(guān)72。
單拍/連拍開關(guān)68可以設(shè)置單拍模式和連拍模式，在單拍模 式下，當(dāng)用戶按下(后面要說明的)快門開關(guān)SW2 64時(shí)，進(jìn)行一 幀的拍攝然后照相機(jī)待機(jī)；在連拍模式下，當(dāng)用戶按下快門開 關(guān)SW2 64時(shí)連續(xù)進(jìn)4亍拍才聶。十字選擇器開關(guān)116包括布置在上下右左的四個(gè)按鈕和布 置在中央的設(shè)置按鈕117。用戶使用十字選擇器開關(guān)116來指示 照相機(jī)選擇或執(zhí)行顯示在LCD監(jiān)視器417上的菜單項(xiàng)等。
用戶使用菜單按鈕124以將用于進(jìn)行照相機(jī)的各種設(shè)置的 菜單窗口顯示在LCD監(jiān)視器417上。例如，當(dāng)選擇和設(shè)置拍攝模 式時(shí)，用戶按下菜單按鈕124,并操作十字選擇器開關(guān)116的上 下右左按鈕以選擇該用戶想要的模式。當(dāng)選擇了模式時(shí)，用戶 按下設(shè)置按鈕117,從而完成設(shè)置。
實(shí)施例中的LCD監(jiān)視器417是透過型的。通過僅驅(qū)動(dòng)LCD 監(jiān)視器，用戶不能夠看見圖像。如圖2所示，LCD監(jiān)視器417需 要位于其后面的背光照明單元416。如圖3所示，LCD監(jiān)視器417 和背光照明單元416構(gòu)成圖像顯示單元2 8 。
如圖2所示，根據(jù)實(shí)施例的攝像設(shè)備主要包括照相機(jī)體100 和鏡頭可互換的鏡頭單元300。在圖2中，附圖標(biāo)記401表示攝像 光軸。
鏡頭單元300包括由多個(gè)透鏡形成的攝像鏡頭310、光圈312 和機(jī)械地將鏡頭單元300連接至照相機(jī)體100的鏡頭座306。鏡頭 單元300可通過鏡頭座306從照相機(jī)體100卸下。
在照相機(jī)體100中，將反射鏡130插入至攝像光路中，并且 反射鏡130可以在反射鏡130將來自鏡頭單元300的被攝體光引 導(dǎo)至光學(xué)取景器系統(tǒng)的位置(將被稱為傾斜反射鏡位置的圖2所 示的位置)與反射鏡130從攝像光路撤出的位置(稱為撤出位置) 之間移動(dòng)。反射4竟130還可以是快速復(fù)原4竟(quick return mirror) 或半鏡(half mirror)。
參考圖2,從反射鏡130引導(dǎo)至光學(xué)取景器104的被攝體光在 聚焦屏204上形成圖像。聚光透鏡205提高了取景器的可視性。 五角屋脊棱鏡(pentagonal roof prism)l32將已經(jīng)通過了聚焦屏
12204和聚光透鏡205的被攝體光引導(dǎo)至用于取景器觀察的目鏡透 鏡208和光學(xué)取景器104。
第二簾幕209和第一簾幕210構(gòu)成快門。打開第二簾幕209 和第 一簾幕210以對(duì)布置在第二簾幕209和第 一簾幕210后方的 用于對(duì)被攝體圖像進(jìn)行光電轉(zhuǎn)換的圖像傳感器14曝光必要時(shí) 間。光學(xué)低通濾波器418布置在圖像傳感器14的前方，并調(diào)整要 形成在圖像傳感器14上的被攝體圖像的空間頻率。不利地影響 所拍攝圖像的灰塵(異物)附著至光學(xué)低通濾波器418。該灰塵在 形成于圖像傳感器14上的被攝體圖像中顯現(xiàn)為陰影，從而降低 了所拍攝圖像的質(zhì)量。
印刷板21 l保持圖像傳感器14。作為其它印刷板的顯示板 215布置在印刷板211的后方。LCD監(jiān)視器417和背光照明單元 416布置在與印刷板211相對(duì)的顯示板215的表面上。
記錄介質(zhì)200記錄圖像數(shù)據(jù)。照相機(jī)使用電池(便攜式電 源)86。記錄介質(zhì)200和電池86可從照相機(jī)體卸下。
圖3是示出本發(fā)明的全部實(shí)施例通用的鏡頭可互換的數(shù)字 照相機(jī)的電3各結(jié)構(gòu)的框圖。
將說明鏡頭單元300的結(jié)構(gòu)。
鏡頭座306包括用于將鏡頭單元300電連接至照相機(jī)體100 的各種功能。在鏡頭座306中，接口 320將鏡頭單元300連接至照 相機(jī)體IOO。連接器322將鏡頭單元300電連接至照相機(jī)體100。
連接器322還具有用于在照相機(jī)體1 OO和鏡頭單元300之間 交換控制信號(hào)、狀態(tài)信號(hào)和數(shù)據(jù)信號(hào)以及接收各種電壓的電流 的功能。連接器322還可以通過電信、光學(xué)通信或語音通信進(jìn)行 通信。
光圏控制單元340基于來自測光控制單元46的測光信息，與 控制照相機(jī)體IOO的快門12的(后面要說明的)快門控制單元40協(xié)作地控制光圏312 。調(diào)焦控制單元3 42控制攝像鏡頭310的調(diào) 焦。變焦控制單元3 44控制攝像鏡頭310的變焦。
鏡頭系統(tǒng)控制電路350控制整個(gè)鏡頭單元300。鏡頭系統(tǒng)控 制電路350具有用于存儲(chǔ)動(dòng)作用的常量、變量和程序的存儲(chǔ)器。 鏡頭系統(tǒng)控制電路3 5 0還具有用于保持識(shí)別信息(例如，鏡頭單 元300固有的編號(hào))、管理信息、功能信息(例如，全光圈值、最 小光圈值和焦距)以及當(dāng)前和過去的設(shè)置值的非易失性存儲(chǔ)器。
接著將說明照相機(jī)體100的結(jié)構(gòu)。
鏡頭座10 6將照相機(jī)體10 0機(jī)械地連接至鏡頭單元3 0 0 ?？扉T 12包括第二簾幕209和第一簾幕210。 4艮據(jù)單4竟頭反光方法，通 過用作光量限制單元的光圏312、鏡頭座306和106、反射鏡130 和快門12引導(dǎo)已進(jìn)入攝像鏡頭310的光束，并在圖像傳感器14 上形成光學(xué)圖像。
A / D轉(zhuǎn)換器16將從圖像傳感器14輸出的模擬信號(hào)轉(zhuǎn)換成數(shù) 字信號(hào)。時(shí)序發(fā)生器18將時(shí)鐘信號(hào)和控制信號(hào)提供給圖像傳感 器14、 A/D轉(zhuǎn)換器16和D/A轉(zhuǎn)換器26。存儲(chǔ)器控制電路22和系統(tǒng) 控制電路50控制時(shí)序發(fā)生器18。
圖像處理電路20對(duì)來自A/D轉(zhuǎn)換器16的數(shù)據(jù)或來自存儲(chǔ)器 控制電路22的數(shù)據(jù)執(zhí)行預(yù)定的像素插值處理和顏色轉(zhuǎn)換處理。 若有必要，圖像處理電路20使用從A/D轉(zhuǎn)換器16輸出的圖像數(shù) 據(jù)進(jìn)行預(yù)定的運(yùn)算處理?；谒@得的運(yùn)算結(jié)果，系統(tǒng)控制電 路50可以執(zhí)行TTL(Through The Lens,通過鏡頭)方案的自動(dòng)調(diào) 焦(AF)處理、自動(dòng)曝光(AE)處理和預(yù)電子閃光(EF)處理以控制 快門控制單元40和焦點(diǎn)調(diào)節(jié)單元42。圖像處理電路20還使用從 A/D轉(zhuǎn)換器16輸出的圖像數(shù)據(jù)執(zhí)行預(yù)定的運(yùn)算處理，并基于所 獲得的運(yùn)算結(jié)果進(jìn)行TTL方案的自動(dòng)白平衡(AWB)處理。
在實(shí)施例中的圖3所示的例子中，提供專用的焦點(diǎn)調(diào)節(jié)單元42和測光控制單元46。因此，還可以不使用圖^象處理電路20而 使用焦點(diǎn)調(diào)節(jié)單元42和測光控制單元46來進(jìn)行AF處理、AE處 理和EF處理?？蛇x地，還可以首先4吏用焦點(diǎn)調(diào)節(jié)單元42和測光 控制單元46然后再使用圖像處理電路20來進(jìn)行AF處理、AE處 理和EF處理。
存儲(chǔ)器控制電路22控制A/D轉(zhuǎn)換器16、時(shí)序發(fā)生器18、圖 像處理電路20、圖像顯示存儲(chǔ)器24、 D/A轉(zhuǎn)換器26、存儲(chǔ)器30 和壓縮/解壓縮電路32。通過圖像處理電路20和存儲(chǔ)器控制電路 22或者僅通過存儲(chǔ)器控制電路22將從A/D轉(zhuǎn)換器16輸出的圖像 數(shù)據(jù)寫入圖像顯示存儲(chǔ)器24或存儲(chǔ)器30中。
圖像顯示單元28包括LCD監(jiān)視器417和背光照明單元416。 通過D/A轉(zhuǎn)換器26將寫入圖像顯示存儲(chǔ)器24中的顯示圖像數(shù)據(jù) 顯示在圖像顯示單元28上。圖像顯示單元28順序顯示所拍攝到 的圖像數(shù)據(jù)，從而實(shí)現(xiàn)電子取景器(EVF)功能。圖像顯示單元 28可以根據(jù)來自系統(tǒng)控制電路50的指令任意打開/關(guān)閉 (ON/OFF)其顯示。當(dāng)顯示為OFF時(shí)，可以極大地降低照相機(jī)體 IOO的功壽毛。
存儲(chǔ)器30存儲(chǔ)所拍攝到的靜止圖像并具有足夠存儲(chǔ)預(yù)定數(shù) 量的靜止圖像的存儲(chǔ)容量。即使在用于連續(xù)拍攝多個(gè)靜止圖像 的連拍或全景拍攝中，存儲(chǔ)器30也允許將多個(gè)圖像高速寫入其 內(nèi)。在運(yùn)動(dòng)圖像拍攝時(shí)，存儲(chǔ)器30用作用于以預(yù)定速率連續(xù)寫 入圖像的幀緩沖器。存儲(chǔ)器3 0還可用作系統(tǒng)控制電路5 0的工作 區(qū)。
壓縮/解壓縮電路32使用已知的壓縮方法對(duì)圖像數(shù)據(jù)進(jìn)行 壓縮/解壓縮。壓縮/解壓縮電路32從存儲(chǔ)器30讀出圖像，對(duì)該 圖像進(jìn)行壓縮或解壓縮并將處理后的數(shù)據(jù)再次寫入存儲(chǔ)器30。
快門控制單元40基于來自測光控制單元46的測光信息，與控制光圈312的光圏控制單元3 4 0協(xié)作地控制快門12 。焦點(diǎn)調(diào)節(jié) 單元42執(zhí)行AF(Auto Focus，自動(dòng)調(diào)焦)處理。根據(jù)單鏡頭反光 方法，通過光圈312、鏡頭座306和106、反射鏡130和焦點(diǎn)調(diào)節(jié) 副鏡(未示出)引導(dǎo)已進(jìn)入鏡頭單元300的攝像鏡頭310的光束。 焦點(diǎn)調(diào)節(jié)單元42檢測作為光學(xué)圖像的由該光束所形成的圖像的 聚焦?fàn)顟B(tài)。
測光控制單元46執(zhí)行AE(Auto Exposure,自動(dòng)曝光)處理。 根據(jù)單鏡頭反光方法，通過光圏312、鏡頭座306和106、反射鏡 130和測光副鏡(未示出)引導(dǎo)已進(jìn)入鏡頭單元300的攝像鏡頭 310的光束。測光控制單元4 6測量作為光學(xué)圖像的由該光束所形 成的圖像的曝光狀態(tài)。電子閃光燈4 8具有A F輔助光投射功能和 電子閃光控制功能。測光控制單元46與電子閃光燈48協(xié)作還具 有EF(Electronic Flash control,電子閃光控制)處理功能。
還可以使用焦點(diǎn)調(diào)節(jié)單元42的測量結(jié)果和通過由圖像處理 電路20對(duì)來自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù)進(jìn)行運(yùn)算處理所獲得的 運(yùn)算結(jié)果，進(jìn)行AF控制。還可以使用測光控制單元46的測量結(jié) 果和通過由圖像處理電路20對(duì)來自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù)進(jìn) 行運(yùn)算處理所獲得的運(yùn)算結(jié)果，進(jìn)行曝光控制。
系統(tǒng)控制電路50控制整個(gè)照相機(jī)體IOO并且包括已知的 CPU。存儲(chǔ)器52存儲(chǔ)系統(tǒng)控制電路50的動(dòng)作用的常量、變量和 程序。
通知單元54根據(jù)系統(tǒng)控制電路50對(duì)程序的執(zhí)行，使用文本、 圖像和聲音向外部通知工作狀態(tài)和消息。通知單元54是例如用 于提供視覺顯示的LCD或LED等的顯示單元或者用于通過聲音 生成通知的聲音生成元件。通知單元54包括它們中的一個(gè)或其 組合。特別在通知單元54是顯示單元時(shí)，與外部顯示器409—樣， 將通知單元54布置在位于照相機(jī)體100的纟喿作單元70附近的用說明書第12/43頁
戶能夠容易地看見通知的一個(gè)或多個(gè)位置處。通知單元54的一 些功能配置在光學(xué)取景器104中。
在通知單元54的顯示內(nèi)容中，LCD等圖像顯示單元28呈現(xiàn) 與包括單拍/連拍以及自拍在內(nèi)的拍攝模式相關(guān)聯(lián)的顯示。圖像 顯示單元28還呈現(xiàn)與包括壓縮率、記錄像素?cái)?shù)、已記錄圖像的 數(shù)量和可記錄圖像的數(shù)量在內(nèi)的記錄相關(guān)聯(lián)的顯示。此外，圖 像顯示單元28呈現(xiàn)與包括快門速度、光圈值、曝光補(bǔ)償、亮度 校正、外部閃光燈發(fā)光量和紅眼緩和在內(nèi)的拍攝條件相關(guān)聯(lián)的 顯示。圖像顯示單元28還顯示微距拍攝、蜂鳴器設(shè)置、電池水 平、錯(cuò)誤消息、多個(gè)數(shù)字的信息以及記錄介質(zhì)200和PC 210的安 裝/拆卸狀態(tài)。另外，圖像顯示單元28顯示鏡頭單元300的安裝/ 拆卸狀態(tài)、通信I/F操作、日期和時(shí)間以及外部計(jì)算機(jī)的連接狀 態(tài)。
在通知單元54的顯示內(nèi)容中，光學(xué)取景器104顯示以下內(nèi) 容對(duì)焦、準(zhǔn)備拍攝、照相機(jī)抖動(dòng)警告、閃光燈充電、閃光燈 充電完成、快門速度、光圏值、曝光補(bǔ)償和記錄介質(zhì)寫入操作。
非易失性存儲(chǔ)器56是EEPROM等的電可擦除/可編程存儲(chǔ) 器，并且存儲(chǔ)(后面要說明的)程序等。
附圖標(biāo)記60、 62、 64、 66、 68和70表示用于將各種類型的 操作指令輸入至系統(tǒng)控制電路5 0的操作單元。各個(gè)操作單元包 括開關(guān)、撥盤、觸摸面板、通過視線檢測的指示和語音識(shí)別裝 置中的一個(gè)或其組合。
這里將詳細(xì)說明這些操作單元。
模式撥盤開關(guān)60可以選擇性地設(shè)置諸如自動(dòng)拍攝模式、編 程拍攝模式、快門速度優(yōu)先拍攝模式、光圈優(yōu)先拍攝模式、手 動(dòng)拍攝模式或焦深優(yōu)先(深度)拍攝模式等的拍攝模式。模式撥 盤開關(guān)6 0還可以選擇性地設(shè)置諸如肖像拍攝模式、風(fēng)景拍攝模式、特寫拍攝模式、運(yùn)動(dòng)拍攝模式、夜景拍攝模式、全景拍攝 模式和運(yùn)動(dòng)圖像拍攝模式等的拍攝模式。
通過操作釋放按鈕114一半(即，半程)接通快門開關(guān)SW1 62,以指定開始AF處理、AE處理、AWB處理或EF處理等的操作。
通過完全操作釋放按鈕114(即，全程)接通快門開關(guān)SW2 64,以指定開始包括曝光、顯影和記錄的一系列處理。在曝光 處理中，通過A/D轉(zhuǎn)換器16和存儲(chǔ)器控制電路22將從圖像傳感 器14讀出的信號(hào)寫入存儲(chǔ)器30中。然后，使用通過圖像處理電 路20或存儲(chǔ)器控制電路22的計(jì)算進(jìn)行顯影處理。在記錄處理中， 從存儲(chǔ)器30讀出圖像數(shù)據(jù)，由壓縮/解壓縮電路32對(duì)該圖像數(shù)據(jù) 進(jìn)行壓縮并將其寫入或發(fā)送至記錄介質(zhì)200或PC 210。
重放開關(guān)66指定開始以下重放操作從存儲(chǔ)器30、記錄介 質(zhì)200或PC 210讀出在拍攝模式下拍攝到的圖像并將該圖像顯 示在圖像顯示單元28上。重放開關(guān)66可以設(shè)置諸如重放模式、 多窗口重放/擦除模式或PC連接模式等的功能模式。
單拍/連拍開關(guān)68可以設(shè)置單拍模式和連拍模式，在單拍模 式下，當(dāng)用戶按下快門開關(guān)SW2 64時(shí)，進(jìn)行一幀的拍攝然后照 相機(jī)待機(jī)，在連拍模式下，當(dāng)用戶按下快門開關(guān)SW2 64時(shí)連續(xù) 進(jìn)行拍攝。
操作單元70包括各種按鈕和觸摸面板。例如，操作單元70 包括實(shí)時(shí)取景開始/停止按鈕、動(dòng)畫記錄開始/停止按鈕、菜單 按鈕124、設(shè)置按鈕117、多窗口重放/換頁按鈕、電子閃光燈設(shè) 置按鈕、單拍/連拍/自拍開關(guān)按鈕、十字選擇器開關(guān)116、 AE(自 動(dòng)曝光)鎖定按鈕111、 AF距離測量點(diǎn)選擇按鈕113和電子撥盤 411。此外，操作單元70包括重放圖像移動(dòng)+(加)按鈕、重放圖 像移動(dòng)-(減)按鈕、拍攝圖像質(zhì)量選擇按鈕、曝光補(bǔ)償按鈕、亮度校正按鈕、外部閃光燈發(fā)光量設(shè)置按鈕和日期/時(shí)間設(shè)置按 鈕。當(dāng)將旋轉(zhuǎn)撥盤開關(guān)用于十字選擇器開關(guān)116的上下右左按鈕 時(shí)，允許用戶更容易地選擇數(shù)值和功能。
另外，操作單元70包括用于打開/關(guān)閉圖像顯示單元28的圖 像顯示ON/OFF開關(guān)和用于對(duì)在拍攝之后立即自動(dòng)重放所拍攝 到的圖像數(shù)據(jù)的快速回放功能進(jìn)行設(shè)置的快速回放ON/OFF開 關(guān)。操作單元70還包括壓縮模式開關(guān)，該壓縮模式開關(guān)用于選 擇JPEG壓縮的壓縮率或選擇對(duì)來自圖像傳感器的信號(hào)進(jìn)行直 接數(shù)字化并將其記錄在記錄介質(zhì)上的RAW模式。此外，操作單 元70包括能夠設(shè)置單拍AF模式或伺服AF模式的AF模式設(shè)置開 關(guān)。在單拍AF模式下，當(dāng)用戶按下快門開關(guān)SW1 62時(shí)，自動(dòng)調(diào) 焦操作開始。 一旦獲得對(duì)焦?fàn)顟B(tài)，則一直保持該狀態(tài)。在伺服 AF模式下，當(dāng)用戶按下快門開關(guān)SW1 62時(shí)，自動(dòng)調(diào)焦操作繼續(xù) 進(jìn)行。操作單元70還包括能夠設(shè)置如后面所述的用于拍攝灰塵 檢測圖像并獲得灰塵信息的灰塵信息獲得模式的設(shè)置開關(guān)。
電源開關(guān)72可以選擇性地設(shè)置照相才幾體100的電源4妻通 (ON)模式或電源斷開(OFF)模式。電源開關(guān)72還可以選擇性地 設(shè)置包括連接至照相機(jī)體100的鏡頭單元300、外部閃光燈112、 記錄介質(zhì)200和PC 210在內(nèi)的各種附件各自的電源ON或電源 OFF模式。
電源控制單元80包括電池檢測電路、DC/DC轉(zhuǎn)換器和用于 切換要通電的塊的切換電。電源控制單元8 0 測電池的安裝/ 拆卸、電池的類型和電池水平。電源控制單元80基于檢測結(jié)果 和來自系統(tǒng)控制電路50的指令，控制DC/DC轉(zhuǎn)換器。電源控制 單元8 0在必要的時(shí)間段內(nèi)將必需電壓供給至包括記錄介質(zhì)在內(nèi) 的各單元。
附圖標(biāo)記82和84表示連接器，并且附圖標(biāo)記86表示由一次電池(例如，石威性電池或鋰(lithium)電池)、二次電池(例如，錯(cuò): 鎘(NiCd)電池、鎳氫(NiMH)電池、Li離子(Li-ion)電池或Li聚合 物電池)或者AC適配器形成的電源單元。
附圖標(biāo)記90和94表示與PC和存儲(chǔ)卡或硬盤等存儲(chǔ)介質(zhì)的 接口 ；并且附圖標(biāo)記92和96表示用于連接PC和存儲(chǔ)卡或硬盤等 記錄介質(zhì)的連接器。記錄介質(zhì)安裝檢測電路98檢測記錄介質(zhì)200 和/或PC 210是否連接至連接器92和/或96。
在本實(shí)施例中，照相才幾具有用于連"l妄記錄介質(zhì)的兩個(gè)4妄口 和兩個(gè)連接器。然而，用于連接記錄介質(zhì)的接口和連接器的數(shù) 量是任意的，并且照相機(jī)可以具有一個(gè)或多個(gè)接口或連接器。 還可以組合不同標(biāo)準(zhǔn)的接口和連接器。
可以應(yīng)用符合各種存儲(chǔ)介質(zhì)標(biāo)準(zhǔn)的接口和連接器。例子包 括PCMCIA(Personal Computer Memory Card International Association, 個(gè)人計(jì)算機(jī)存儲(chǔ)卡國際協(xié)會(huì))卡、CF(Compact Flash ,緊致型閃存)卡和SD卡。當(dāng)接口90和94以及連接器92 和96符合PCMCIA卡或CF⑧卡的標(biāo)準(zhǔn)時(shí)，它們可以連接各種類 型的通信卡。通信卡的例子包括LAN卡、調(diào)制解調(diào)器卡、 USB(Universal Serial Bus,通用串行總線)卡和IEEE(Institute of Electrical and Electronic Engineers,電器電子工程師協(xié)會(huì))1394 卡。還可使用P1284卡、SCSI (Small Computer System Interface, 小型計(jì)算機(jī)系統(tǒng)接口 )卡和PHS。可以連接各種類型的通信卡以 將圖像數(shù)據(jù)和與該圖像數(shù)據(jù)相關(guān)聯(lián)的管理信息傳送至其它計(jì)算 機(jī)或打印機(jī)等外圍裝置。
光學(xué)取景器104可以顯示由已進(jìn)入攝像鏡頭310并且通過單 鏡頭反光方法經(jīng)由光圈312、鏡頭座306和106以及反射鏡130和 132引導(dǎo)的光束所形成的光學(xué)圖像。用戶可以在不使用圖像顯示 單元28的電子取景器功能的情況下，僅利用光學(xué)取景器來拍攝圖片。光學(xué)取景器104顯示通知單元54的一部分功能，如對(duì)焦?fàn)?態(tài)、照相機(jī)抖動(dòng)警告、閃光燈充電、快門速度、光圏值和曝光 補(bǔ)償?shù)取?br> 通過附件插座110安裝外部閃光燈112。
在鏡頭座106中，接口 121將照相機(jī)體100連接至鏡頭單元
300。
連接器122將照相機(jī)體100電連接至鏡頭單元300。鏡頭安裝 檢測單元(未示出)檢測鏡頭單元300是否安裝至鏡頭座106和連 接器122。連接器122還具有用于在照相4幾體100和4竟頭單元300 之間傳輸控制信號(hào)、狀態(tài)信號(hào)和數(shù)據(jù)信號(hào)等并且還供給各種電 壓的電流的功能。
照相機(jī)體100的存儲(chǔ)器30存儲(chǔ)通過連接器122而通信的鏡頭 單元300的各種類型的光學(xué)信息(例如，光圈值、變焦位置、光 瞳距離和焦距)。在一些情況下，照相機(jī)請(qǐng)求信息的通信。每次 更新信息時(shí)，鏡頭可以通信該信息。
連接器122還可以不僅通過電信而且通過光學(xué)通信或語音 通信進(jìn)行通信。
記錄介質(zhì)200是例如存儲(chǔ)卡或硬盤。記錄介質(zhì)200包括由半 導(dǎo)體存儲(chǔ)器或磁盤等形成的記錄單元202、與照相機(jī)體100的接 口 204以及用于連接照相機(jī)體100的連接器206。
記錄介質(zhì)200可以是存儲(chǔ)卡(例如，PCMCIA卡或緊致型閃 存(Compact Flash⑧))或者硬盤。記錄介質(zhì)200還可以是微DAT、 磁光盤、光盤(例如，CD-R或CD-RW)或相變光盤(例如，DVD)。
PC 210包括由》茲盤(HD)形成的記錄單元212、與照相機(jī)體 IOO的接口 214和連4妄照相4幾體100的連4妻器216。接口 214可以是 USB或IEEE1394接口 ，但并未特別限定接口 214。
接著，將說明在具有上述結(jié)構(gòu)的攝像設(shè)備中進(jìn)行圖像處理以消除位于布置在圖像傳感器前方的低通濾波器或保護(hù)玻璃等
光學(xué)構(gòu)件上的灰塵的影響的處理。
在實(shí)施例中，照相機(jī)拍攝灰塵檢測圖像(異物檢觀'J圖像)以 獲得作為與灰塵(異物)的附著位置和大小有關(guān)的信息的灰塵信
息(異物信息)。然后，提取灰塵檢測圖像以生成灰塵數(shù)據(jù)。優(yōu) 選通過拍攝盡可能為均勻亮度的表面來獲得灰塵檢測圖像。然 而，由于期望在熟悉的場所容易地拍攝圖像，因此均勻性無需 嚴(yán)格。例如，本實(shí)施例假定拍攝藍(lán)色天空或白墻。
將參考圖4的流程圖來說明用于檢測附著在攝像光學(xué)系統(tǒng)
中的灰塵的位置的處理的示例。系統(tǒng)控制電路5 0通過執(zhí)行非易
在灰塵檢測處理中，拍攝灰塵檢測圖像。當(dāng)進(jìn)行灰塵檢測 處理時(shí)，用戶通過設(shè)置照相機(jī)以將鏡頭單元300的"t聶像光軸401 指向表面光源的出射面或者如白墻等的具有均勻顏色的表面， 來準(zhǔn)備灰塵檢測。用戶還通過將灰塵檢測光單元(代替透鏡而安 裝的緊致型點(diǎn)光源)安裝至鏡頭座106來準(zhǔn)備灰塵檢測。光單元 的光源是例如白色LED，并且期望調(diào)節(jié)光發(fā)射面的大小以符合 預(yù)定光圈j直(例如，F(xiàn)32)。
本實(shí)施例將說明使用普通攝像鏡頭的灰塵檢測。還可以通 過將光單元安裝至鏡頭座106來進(jìn)行灰塵檢測。在本實(shí)施例中， 灰塵檢測圖像是具有均勻顏色的圖像。
在準(zhǔn)備結(jié)束之后，當(dāng)用戶通過十字選擇器開關(guān)116指示照相 機(jī)開始灰塵檢測處理時(shí)，系統(tǒng)控制電路50首先設(shè)置光圏。圖像 傳感器附近的灰塵的成像狀態(tài)根據(jù)鏡頭的光圈值而改變，并且 灰塵的位置根據(jù)鏡頭光瞳位置而改變。由于該原因，除灰塵的 位置和大小以外，灰塵校正數(shù)據(jù)還需要保持檢測時(shí)的光圈值和 鏡頭光瞳位置。如果即使對(duì)于不同的鏡頭 也設(shè)置為總是使用相同的光圈值，則灰塵校正數(shù)據(jù)無需總是保 持光圏值。對(duì)于光瞳位置，如果使用了光單元或者僅允許使用 特定鏡頭，則灰塵校正數(shù)據(jù)無需總是保持該光瞳位置。
換言之，如果在創(chuàng)建灰塵校正數(shù)據(jù)時(shí)允許使用多種類型的 鏡頭或者適當(dāng)?shù)馗淖兞斯馊χ?，則灰塵校正數(shù)據(jù)需要保持檢測
時(shí)的光圈值和鏡頭光瞳位置。注意，光瞳位置表示離出瞳(exit pupil)的攝像面(焦平面)的距離。 例如，指定了F32(步驟S21)。
然后，系統(tǒng)控制電路50通過連接器122使光圈控制單元340 控制鏡頭單元3 00的光圈葉片并將光圈設(shè)置為在步驟S 21中所 指定的光圈值(步驟S22)。系統(tǒng)控制電路5 0使調(diào)焦控制單元342 將聚焦位置設(shè)置為無限遠(yuǎn)(步驟S23)。
在設(shè)置了攝像鏡頭的光圏值和聚焦位置之后，系統(tǒng)控制電 路50在灰塵檢測模式下執(zhí)行拍攝(步驟S24)。將參考圖9說明步 驟S24中的攝像處理例程的細(xì)節(jié)。存儲(chǔ)器30存儲(chǔ)所拍攝到的圖 像數(shù)據(jù)。
在結(jié)束拍攝之后，系統(tǒng)控制電路50獲得拍攝時(shí)的光圏值和 鏡頭光瞳位置(步驟S25)。系統(tǒng)控制電路50將與存儲(chǔ)器30中所存 儲(chǔ)的所拍攝圖像的各像素相對(duì)應(yīng)的數(shù)據(jù)讀出至圖像處理電路2 0 (步驟S26)。圖像處理電路20進(jìn)行圖6所示的處理，從而獲得存 在灰塵的像素的位置和大小(步驟S27)。非易失性存儲(chǔ)器56登記 在步驟S27中已獲得的存在灰塵的像素的位置和大小以及在步 驟S25中已獲得的光圈值和鏡頭光瞳位置信息(步驟S28)。當(dāng)使 用前述光單元時(shí)，不能獲得鏡頭信息。當(dāng)不能獲得鏡頭信息時(shí)， 系統(tǒng)控制電路50判斷為已經(jīng)使用了光單元。然后，非易失性存 儲(chǔ)器56登記預(yù)定的鏡頭光瞳位置信息以及根據(jù)光單元的光源直徑而計(jì)算出的光圈值。
在步驟S28中，系統(tǒng)控制電路50將預(yù)先記錄在非易失性存 儲(chǔ)器56中的制造時(shí)的缺陷像素(像素缺陷)的位置與讀出的像素 數(shù)據(jù)的位置進(jìn)行比較，并判斷目標(biāo)像素是否有缺陷。非易失性 存儲(chǔ)器56還可以僅登記被判斷為不具有像素缺陷的區(qū)域的位置。
圖5示出非易失性存儲(chǔ)器5 6中所存儲(chǔ)的灰塵校正數(shù)據(jù)的數(shù) 據(jù)格式的示例。如圖5所示，灰塵校正數(shù)據(jù)存儲(chǔ)當(dāng)拍攝檢測圖像 時(shí)所獲得的鏡頭信息、灰塵位置和大小信息。
更具體地，將用于拍攝檢測圖像的實(shí)際光圏值(F值)和此時(shí) 的鏡頭光瞳位置作為當(dāng)拍攝檢測圖像時(shí)所獲得的鏡頭信息而存 儲(chǔ)。然后，將檢測到的灰塵區(qū)域的數(shù)量(整數(shù)值)存儲(chǔ)在存儲(chǔ)區(qū) 域中。隨后，將各灰塵區(qū)域的具體參數(shù)重復(fù)存儲(chǔ)灰塵區(qū)域的數(shù) 量次。各灰塵區(qū)域的參數(shù)是以下3個(gè)數(shù)值的集合灰塵的半徑(例 如，2字節(jié))、有效圖像區(qū)域中的中心的x坐標(biāo)(例如，2字節(jié))和 該中心的y坐標(biāo)(例如，2字節(jié))。
如果灰塵校正數(shù)據(jù)大小受非易失性存儲(chǔ)器56的容量等限 制，則優(yōu)選從在步驟S27中所獲得的灰塵區(qū)域的開頭開始存儲(chǔ) 數(shù)據(jù)。這是因?yàn)樵诤竺鎸⒄f明的步驟S27的灰塵區(qū)域獲得例程 中，從最明顯的灰塵開始按順序?qū)覊m區(qū)域進(jìn)行排序。
將參考圖6 8說明圖4的步驟S27中的灰塵區(qū)域獲得例程的 細(xì)節(jié)。
如圖7所示，在存儲(chǔ)器30中對(duì)讀出的圖像數(shù)據(jù)進(jìn)行光柵化， 并且以預(yù)定塊為單位對(duì)該讀出的圖像數(shù)據(jù)進(jìn)行處理以應(yīng)對(duì)由于 鏡頭或傳感器特性而產(chǎn)生的臨邊昏暗(limb darkening)。臨邊昏 暗是鏡頭周邊處的亮度變得低于中心處的亮度的現(xiàn)象。已知可 以通過將鏡頭設(shè)置為大的光圈值而一定程度地減輕臨邊昏暗。然而，即使將鏡頭設(shè)置為大的光圏值，當(dāng)基于預(yù)定閾值確定所 拍攝圖像中灰塵的位置時(shí)，也可能不能基于鏡頭精確地檢測到 周邊處的灰塵。據(jù)此，通過將圖像分割成塊來減輕臨邊昏暗的 影響。
如果將圖像簡單地分割成塊，則當(dāng)閾值在塊之間改變時(shí)， 灰塵檢測結(jié)果在這些塊之間也可能改變。為了防止該問題，使 塊相互重疊。將重疊區(qū)域的任一塊中的被判斷為具有灰塵的像 素作為灰塵區(qū)域而處理。
根據(jù)圖6所示的處理序列執(zhí)行對(duì)塊中灰塵區(qū)域的判斷。計(jì)算 各個(gè)塊中的最大亮度Lmax和平均亮度Lave。通過下式計(jì)算出各 塊中的閾值T1:
Tl = Lave x 0.6 + Lmax x 0.4
將亮度不超過閾值的像素確定為灰塵像素(步驟S61)。將由 灰塵像素形成的各個(gè)孤立區(qū)域定義為灰塵區(qū)域di (i = 0， l，...， n) (步驟S62)。如圖8所示，獲得了落入灰塵區(qū)域的像素的水平坐 標(biāo)的最大值Xmax和最小值Xmin以及它們的垂直坐標(biāo)的最大值 Ymax和最小值Ymin。計(jì)算表示灰塵區(qū)域di的大小的半徑ri (步 驟S63):
ri = V[((Xmax - Xmin)/2}2 + {(Ymax - Ymin)/2}2 ] 圖8示出Xmax、 Xmin、 Ymax、 Ymin和ri之間的關(guān)系。 在步驟S64,計(jì)算各個(gè)灰塵區(qū)域的平均亮度值。 灰塵校正數(shù)據(jù)的大小有時(shí)受非易失性存儲(chǔ)器56的容量等限 制。為了應(yīng)對(duì)該情況，按灰塵區(qū)域的大小或平均亮度值對(duì)多個(gè) 灰塵位置信息進(jìn)行排序(步驟S65)。在本實(shí)施例中，按ri的降序 來排序多個(gè)灰塵位置信息。如果全部的灰塵區(qū)域都具有相同的 ri，則按平均亮度值的升序?qū)覊m區(qū)域進(jìn)行排序。結(jié)果，優(yōu)選 可以將明顯的灰塵登記在灰塵校正數(shù)據(jù)中。Di表示排序后的灰塵區(qū)域并且Ri表示灰塵區(qū)域Di的半徑。
如果存在大于預(yù)定大小的灰塵區(qū)域，則還可以從排序?qū)ο?排除該灰塵區(qū)域并將其添加至排序后的灰塵區(qū)域列表的末尾。 如果大的灰塵區(qū)域經(jīng)過了稍后的插值處理，則該大的灰塵區(qū)域 可能使圖像質(zhì)量下降。期望最后校正這種大的灰塵區(qū)域。
將參考圖9所示的流程圖來說明圖4的步驟S 2 4中的攝像處 理例程的細(xì)節(jié)。系統(tǒng)控制電路50通過執(zhí)行非易失性存儲(chǔ)器56中 所存儲(chǔ)的攝像處理程序來進(jìn)行該處理。
當(dāng)攝像處理例程開始時(shí)，在步驟S201中系統(tǒng)控制電路50操 作圖3所示的反射鏡130以使反射鏡130上翻并且將反射鏡130從 攝像光路撤出。
在步驟S202中，圖像傳感器14開始累積電荷。在步驟S203 中，圖3所示的快門12行進(jìn)以進(jìn)行曝光。在步驟S204中，圖像 傳感器14的電荷累積結(jié)束。在步驟S205中，從圖像傳感器14讀 出圖像信號(hào)，并且將由A/D轉(zhuǎn)換器16和圖像處理電路20處理后 的圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)器30中。
在步驟S206中，從圖像傳感器對(duì)全部圖像信號(hào)的讀取結(jié) 束。在步驟S207中，使反射鏡130下翻并且返回至傾斜反射鏡 位置。然后， 一系列的攝像操作結(jié)束。
在步驟S208中，系統(tǒng)控制電路50判斷拍攝模式是靜止圖像 拍攝還是灰塵檢測圖像拍攝。如果拍攝模式是靜止圖像拍攝， 則處理進(jìn)入步驟S209以將所拍攝到的靜止圖像記錄在記錄介 質(zhì)200上。
第 一 實(shí)施例涉及 一 種在拍攝運(yùn)動(dòng)圖像時(shí)進(jìn)行圖像處理以校 正因灰塵而劣化的圖像質(zhì)量的方法。在說明運(yùn)動(dòng)圖像處理之前， 先說明靜止圖像處理。
將參考圖IO來說明使用上述灰塵校正數(shù)據(jù)通過圖像處理對(duì)靜止圖像文件進(jìn)行灰塵去除的操作的序列。
指定要經(jīng)過灰塵去除處理的靜止圖像文件并將其加載至用 于進(jìn)行灰塵去除處理的設(shè)備(可以是照相機(jī)中的圖像處理電路
20或者照相機(jī)外部的圖像處理設(shè)備)(步驟S1801)。
用于進(jìn)行灰塵去除處理的設(shè)備獲得在圖6的步驟S65中所 創(chuàng)建的灰塵校正數(shù)據(jù)(步驟S1802)。
從在步驟S1802中獲得的灰塵校正數(shù)據(jù)中獲得坐標(biāo)序列Di (i = 1, 2，...， n)、半徑序列Ri (i = 1， 2，...， n)、光圏值fl和鏡頭光 瞳位置L1(步驟S1803)。 Ri表示位于圖6的步驟S65中計(jì)算出的坐 標(biāo)Di處的灰塵的大小。在步驟S1804中，獲得拍攝時(shí)的光圏值f2 和鏡頭光瞳位置L2。在步驟S1805中，通過以下等式對(duì)Di進(jìn)行 轉(zhuǎn)換。通過下式來定義轉(zhuǎn)化后的坐標(biāo)Di，和轉(zhuǎn)換后的半徑Ri， Di' (x， y) = (L2 x (Ll - H) x d/((L2國H) x Ll)) x Di (x， y)
Ri' = (Ri x fl/f2 + 3) …(l)
其中，d是從圖像中心至坐標(biāo)Di的距離，并且H是從圖像傳 感器14的表面至灰塵的距離。
單位為像素，并且Ri，的"+3"表示余量。
在步驟S1806中，檢測由坐標(biāo)Di，和半徑Ri，所定義的區(qū)域中 的灰塵，并且若有必要，則應(yīng)用插值處理。后面將說明插值處 理的細(xì)節(jié)。在步驟S1807中，判斷全部的坐標(biāo)是否都經(jīng)過了灰 塵去除處理。如果判斷為已經(jīng)處理了全部的坐標(biāo)，則處理結(jié)束。 如果判斷為未處理全部的坐標(biāo)，則處理返回到步驟S1806。
將說明灰塵區(qū)域插值處理的細(xì)節(jié)。圖1 l是示出插值例程的 序列的流程圖。
在步驟S1901中，進(jìn)行灰塵區(qū)域的判斷。該灰塵區(qū)域是滿 足以下全部條件的區(qū)域用落入由在圖IO的步驟 S1805中計(jì)算出的中心坐標(biāo)Di，和半徑Ri，(通過等式(l)計(jì)算出的 Di，和Ri，)所限定的區(qū)域內(nèi)的像素的平均亮度Yave和最大亮度 Ymax來計(jì)算該閾值T2:
T2 = Yave x 0.6 + Ymax x 0.4
(2) 與由中心坐標(biāo)Di，和半徑Ri，所限定的圓不4妄觸的區(qū)域。
(3) 在基于條件(l)而選擇出的并且由低亮度像素形成的孤 立區(qū)域中，由與圖6的步驟S63相同的方法計(jì)算出的半徑值等于 或大于xl個(gè)像素并且小于x2個(gè)像素的區(qū)域。
(4) 包含該圓的中心坐標(biāo)Di的區(qū)域。
在第一實(shí)施例中，xl表示3個(gè)像素，并且x2表示30個(gè)像素。 利用該設(shè)置，僅能夠?qū)⑿〉墓铝^(qū)域作為灰塵區(qū)域而處理。當(dāng) 不能夠精確地獲得鏡頭光瞳位置時(shí)，還可以放寬條件(4)。例如， 當(dāng)感興趣的區(qū)域包含在X方向和Y方向上與坐標(biāo)Di距離土3個(gè)4象 素的范圍內(nèi)的坐標(biāo)時(shí)，將該區(qū)域確定為灰塵區(qū)域。
如果在步驟S1902中存在這種區(qū)域，則處理進(jìn)入步驟S1903 以進(jìn)行灰塵區(qū)域插值。如果不存在這種區(qū)域，則處理結(jié)束。在 步驟S1903中執(zhí)行的灰塵區(qū)域插值處理采用已知的缺陷區(qū)域插 值方法。已知的缺陷區(qū)域插值方法的例子是在日本特開 2001 -223894號(hào)7>才艮中所公開的才莫式替換(pattern replacement)。 在日本特開2001-223894號(hào)公報(bào)中，使用紅外光指定缺陷區(qū)域。 在本實(shí)施例中，將在步驟S1901中檢測到的灰塵區(qū)域作為缺陷 區(qū)域而處理，并且通過使用正常周圍像素進(jìn)行模式替換來進(jìn)行 插值。對(duì)于不能通過模式替換進(jìn)行插值的像素，從已經(jīng)經(jīng)過了 模式校正的圖像數(shù)據(jù)中最接近要插值的像素的像素中順序選擇 p個(gè)正常像素，并且使用它們的平均色對(duì)目標(biāo)像素進(jìn)行插值。
接著，將說明MP4。 MP4是近來的數(shù)字照相機(jī)、數(shù)字?jǐn)z像的運(yùn)動(dòng)圖像文件格式。
MP4文件才各式(參見ISO/IEC 14496-14 ; "Information technology-Coding of audio-visual objects-Part 14: MP4 file format"; ISO/IEC; 2003-1 l-24)從通用文件格式"ISO基本媒體文 件格式，，(參見 ISO/IEC 14496-12 ; "Information technology-Coding of audio-visual objects-Part 12: ISO base media file format"; ISO/IEC; 2004-01-23)擴(kuò)展而來。MP4文件 格式目的在于記錄由ISO/IEC JTCl/SC29/WGll(International Organization for Standardization/International Engineering Consortium,國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì))標(biāo)準(zhǔn)化的MPEG 數(shù)據(jù)等運(yùn)動(dòng)圖像/音頻內(nèi)容數(shù)據(jù)的文件。第 一 實(shí)施例不僅可應(yīng)用 于MP4，還可應(yīng)用于其它類似的文件格式。例如，ISO已經(jīng)建立 了標(biāo)準(zhǔn)"運(yùn)動(dòng)JPEG 2000文件格式"(ISO/IEC 15444-3)和"AVC文 件格式"(ISO/IEC 14496-15)作為具有與MP4相同的基本結(jié)構(gòu)的 文件，各式標(biāo)準(zhǔn)。
圖12是用于說明MP4文件格式的數(shù)據(jù)結(jié)構(gòu)的概念圖。
M P 4文件10 01包含表示 一見頻和音頻數(shù)據(jù)的物理位置、時(shí)間 位置和特性信息的元數(shù)據(jù)(頭信息)10 02和表示編碼后的視頻和 音頻數(shù)據(jù)的實(shí)體的々某體數(shù)據(jù)1003。在MP4格式中，將全體內(nèi)容 的呈現(xiàn)稱為"動(dòng)畫(movie)",并且將形成內(nèi)容的媒體流的呈現(xiàn)稱 為"軌道(track)"。元^t據(jù)1002通常包含用于邏輯地處理全體運(yùn) 動(dòng)圖像數(shù)據(jù)的視頻軌道1004和用于邏輯地處理全體音頻數(shù)據(jù)的 音頻軌道1005。視頻軌道1004和音頻軌道1005具有幾乎相同的 結(jié)構(gòu)內(nèi)容。更具體地，各個(gè)軌道記錄了實(shí)際媒體數(shù)據(jù)的各種類 型的元數(shù)據(jù)信息。內(nèi)容根據(jù)媒體數(shù)據(jù)的特性而略有不同。
視頻軌道1004中所包含的數(shù)據(jù)例如包括用于對(duì)編碼數(shù)據(jù)進(jìn) 行解碼的所謂的解碼器的結(jié)構(gòu)信息以及與運(yùn)動(dòng)圖像的矩形大小有關(guān)的信息。另外，該數(shù)據(jù)包括表示實(shí)際記錄媒體數(shù)據(jù)的文件
中的位置的偏移量1006和表示媒體數(shù)據(jù)的各個(gè)幀數(shù)據(jù)(還稱為 圖片)的大小的樣本大小1007。視頻軌道1004還記錄表示各個(gè)幀 數(shù)據(jù)的解碼時(shí)間的時(shí)間戳1008。
媒體數(shù)據(jù)1003將運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)的實(shí)體記錄在數(shù) 據(jù)結(jié)構(gòu)"組塊(chunk)"中，該數(shù)據(jù)結(jié)構(gòu)"組塊"連續(xù)記錄 一 個(gè)或多 個(gè)表示編碼數(shù)據(jù)的基本單位的"樣本"。根據(jù)元數(shù)據(jù)1002的軌道， 組塊包括包含運(yùn)動(dòng)圖像的媒體數(shù)據(jù)的視頻組塊1009和包含音頻 數(shù)據(jù)的媒體數(shù)據(jù)的音頻組塊1010。
在圖12所示的結(jié)構(gòu)中，交替記錄(交插)視頻組塊1009和音 頻組塊IOIO，但記錄位置和順序不限于圖12所示的記錄位置和 順序。圖12所示的記錄位置和順序僅是 一 般記錄格式的示例。 然而，由于要幾乎同時(shí)重放的運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)布置在 接近的位置處，因此該交插布置能夠提高對(duì)文件中所記錄的數(shù) 據(jù)的易訪問性。因而，該交插布置非常流行。
組塊包含各媒體數(shù)據(jù)的一個(gè)或多個(gè)樣本。例如，如圖12所 示，視頻組塊1009順序記錄視頻樣本(幀)1011。通常，各視頻 樣本(幀)1011與視頻數(shù)據(jù)的一個(gè)幀數(shù)據(jù)(圖片)相對(duì)應(yīng)。各個(gè)軌道 和各個(gè)組塊如下相互關(guān)聯(lián)。
例如，對(duì)于運(yùn)動(dòng)圖像數(shù)據(jù)，視頻軌道1004中所包含的信息 包括與4某體數(shù)據(jù)1003中所包含的各個(gè)^L頻組塊1009有關(guān)的信 息。偏移量1006由表示視頻組塊1009在相應(yīng)文件中的相對(duì)位置 的信息的表組成。通過查找該表的各個(gè)條目，不管4見頻組塊祐: 記錄在何處，都可以指定實(shí)際視頻組塊的位置。樣本大小1007 在表中描述了各個(gè)樣本即多個(gè)組塊中所包含的視頻幀的大小。 視頻軌道1004還描述了與各組塊中所包含的樣本的數(shù)量有關(guān)的 信息。根據(jù)該信息，可以精確地獲得各視頻組塊1009中所包含異而記錄在表中。通過查找該表，可以通過計(jì)算累積時(shí)間來獲 得各樣本的所謂的時(shí)間戳。軌道和組塊之間的關(guān)系定義成即使
在音頻軌道1005和音頻組塊1010之間也同樣成立。在MP4文件 格式和IS0基本4某體文件格式中，元數(shù)據(jù)1002和媒體數(shù)據(jù)1003 可以連同時(shí)間戳等的附加信息 一 起從任意位置以所需單位來提 供編碼數(shù)據(jù)。為了說明方便，并未描述全部的標(biāo)準(zhǔn)化記錄信息。 可以從ISO/IEC 14496的相應(yīng)部分獲取該標(biāo)準(zhǔn)的定義內(nèi)容的細(xì)
節(jié)
在MP4文件格式中，在數(shù)據(jù)結(jié)構(gòu)"存儲(chǔ)箱(BOX)"中描述了 文件中所記錄的數(shù)據(jù)。將各存儲(chǔ)箱的數(shù)據(jù)記錄在文件中。存儲(chǔ) 箱由以下字段形成
大小包括大小字段本身的整個(gè)存儲(chǔ)箱的大小。
類型表示存儲(chǔ)箱的類型的4字節(jié)的類型識(shí)別符。通常，類 型識(shí)別符包括4個(gè)字母數(shù)字字符。
其它字段是依賴于存儲(chǔ)箱的選項(xiàng)，因此將省略對(duì)其的說明。
根據(jù)數(shù)據(jù)的類型將文件中所記錄的數(shù)據(jù)保持在不同類型的 存儲(chǔ)箱中。例如，將媒體數(shù)據(jù)1003記錄為媒體數(shù)據(jù)存儲(chǔ)箱(類型 字段^mdat，當(dāng)在以下說明中使用表示存儲(chǔ)箱類型的識(shí)別符 時(shí)，其表示這種類型的存儲(chǔ)箱)。將元數(shù)據(jù)1002記錄為存儲(chǔ)全體 內(nèi)容的元數(shù)據(jù)信息的動(dòng)畫存儲(chǔ)箱'moov，。同樣，針對(duì)各軌道將 與上述組塊和樣本有關(guān)的信息作為具有固有識(shí)別符的存儲(chǔ)箱而 記錄在moov中。
MP4文件格式不僅將全部元數(shù)據(jù)記錄在moov中，而且允許 按時(shí)間序列將元數(shù)據(jù)分割成多個(gè)區(qū)域并記錄這些區(qū)域。該格式 被稱為"片斷動(dòng)畫"。
圖13示出片斷動(dòng)畫4各式的文件結(jié)構(gòu)。片斷動(dòng)畫才各式允許以任意時(shí)間對(duì)內(nèi)容的媒體數(shù)據(jù)和元數(shù)據(jù)進(jìn)行分割。按時(shí)間序列從
文件的開頭起記錄"片斷"。例如，在圖13中，moovll01表示第 一片斷的元數(shù)據(jù)，并且保持與mdat 1102中所包含的數(shù)據(jù)有關(guān)的 信息。位于mdat 1102之后的moof 1003表示第二片斷的元數(shù)據(jù)， 并且保持關(guān)于mdat 1104的信息。以這種方式來記錄片斷。當(dāng)采 用片斷動(dòng)畫格式時(shí)，需要將表示存在片斷的動(dòng)畫擴(kuò)展存儲(chǔ)箱 ('mvex，) 1105添力p至moov 1101。 mvex 1105中所包含的信息是 例如包括全部片斷的全體內(nèi)容的持續(xù)時(shí)間(時(shí)間長度)。在MP4 文件格式的文件中，將與媒體數(shù)據(jù)相關(guān)聯(lián)的各種屬性作為元數(shù) 據(jù)區(qū)域與該媒體數(shù)據(jù)分離保持。因而，不管如何物理地存儲(chǔ)媒 體數(shù)據(jù)，都能夠容易地訪問期望的樣本數(shù)據(jù)。
在以下說明中，如圖13所示，第一實(shí)施例中用于記錄運(yùn)動(dòng) 圖像數(shù)據(jù)和音頻數(shù)據(jù)的運(yùn)動(dòng)圖像文件格式是MP4片斷動(dòng)畫格 式。將說明在運(yùn)動(dòng)圖像記錄時(shí)將上述灰塵校正數(shù)據(jù)與視頻樣本 (幀)1101相關(guān)聯(lián)的方法。
根據(jù)第一實(shí)施例的方法還可應(yīng)用于采用與在MP4中定義的 文件格式和結(jié)構(gòu)類似的文件格式和結(jié)構(gòu)的標(biāo)準(zhǔn)，如標(biāo)準(zhǔn)"運(yùn)動(dòng) JPEG 2000文件格式"(ISO/IEC 15444-3)和"AVC文件格 式"(ISO/IEC 14496-15)以及用作在包括第三代蜂窩式電話的無 線終端上使用的前提下受到制約的運(yùn)動(dòng)圖像文件的3GPP(3rd Generation Partnership Project, 第三代合作^火伴項(xiàng)目)文件格式 (參見3GPP TS 26.244 "Technical Specification Group Services and System Aspects Transparent end-to-end packet switched streaming service (PSS); 3GPP file format (3GP) (Release 6)" 3rd Generation Partnership Project; 2003-02-28)。
圖14是示出用于將灰塵校正數(shù)據(jù)與幀1011相關(guān)聯(lián)并記錄運(yùn) 動(dòng)圖像的處理的流程圖。系統(tǒng)控制電路5 0通過執(zhí)行非易失性存儲(chǔ)器56中所存儲(chǔ)的運(yùn)動(dòng)圖像記錄處理程序而進(jìn)行該處理。假定 非易失性存儲(chǔ)器56存儲(chǔ)灰塵校正數(shù)據(jù)。還假定存儲(chǔ)器30已經(jīng)將 光圏值(F值)和鏡頭光瞳位置作為在開始運(yùn)動(dòng)圖像拍攝時(shí)所安 裝的鏡頭的鏡頭信息而存儲(chǔ)。在開始運(yùn)動(dòng)圖像記錄時(shí)，將鏡頭 信息復(fù)制至存儲(chǔ)器52。系統(tǒng)控制電路50通過與鏡頭單元300通信 而獲得該鏡頭信息。
為了拍攝運(yùn)動(dòng)圖像，用戶需要使用菜單按鈕124或模式撥盤 6 0將拍攝模式從靜止圖像拍攝模式改變至運(yùn)動(dòng)圖像拍攝模式。 當(dāng)設(shè)置了運(yùn)動(dòng)圖像拍攝模式時(shí)，系統(tǒng)控制電路50使反射鏡130 上翻以將其從攝像光路撤出。系統(tǒng)控制電路50打開快門12以將 圖像傳感器14暴露至被攝體光。將通過曝光所獲得的圖像數(shù)據(jù) 以預(yù)定速率連續(xù)寫入用作幀緩沖器的存儲(chǔ)器30。LCD監(jiān)視器417 用作電子取景器(EVF)以順序顯示所寫入的圖像數(shù)據(jù)。在運(yùn)動(dòng) 圖像拍攝模式下，操作單元70檢測用戶是否已按下了運(yùn)動(dòng)圖像 記錄開始按鈕(例如，在運(yùn)動(dòng)圖像拍攝模式下用戶是否已按下了 設(shè)置按鈕117)。如果是，則運(yùn)動(dòng)圖像拍攝開始以將圖像數(shù)據(jù)以 MP4文件一各式順序記錄在記錄介質(zhì)200上。
返回參考圖14,當(dāng)在運(yùn)動(dòng)圖像拍攝模式下按下運(yùn)動(dòng)圖像記 錄開始按鈕時(shí)運(yùn)動(dòng)圖像拍攝開始時(shí)，首先生成新的文件。創(chuàng)建 用作第 一 片斷的元數(shù)據(jù)的存儲(chǔ)箱的moov和用作媒體數(shù)據(jù)的存 儲(chǔ)箱的mdat(步驟S1201)。然后，創(chuàng)建灰塵位置校正數(shù)據(jù)(步驟 S1202)。圖15示出所創(chuàng)建的灰塵位置校正數(shù)據(jù)的數(shù)據(jù)格式的示 例。
如圖15所示，灰塵位置校正數(shù)據(jù)存儲(chǔ)作為在運(yùn)動(dòng)圖像拍攝 時(shí)所使用的鏡頭的鏡頭信息的光圈值和鏡頭光瞳位置信,氛-以及 圖5所示的灰塵校正數(shù)據(jù)。存儲(chǔ)器52存儲(chǔ)所創(chuàng)建的灰塵位置校正數(shù)據(jù)。在步驟S1203中，讀取存儲(chǔ)器52中所存儲(chǔ)的灰塵位置校正 數(shù)據(jù)，并象圖17A的灰塵位置校正數(shù)據(jù)1502那樣將其寫入當(dāng)前 片斷的元數(shù)據(jù)的moov中。在這種情況下，系統(tǒng)控制電路50用作 信息記錄單元和片斷信息存儲(chǔ)單元。注意，后面將說明圖17A 和17B中的數(shù)據(jù)結(jié)構(gòu)。
在運(yùn)動(dòng)圖像拍攝、圖像處理和壓縮處理(步驟S1204)之后， 將運(yùn)動(dòng)圖像數(shù)據(jù)寫入當(dāng)前片斷的mdat中(步驟S1205)。在這種情 況下，系統(tǒng)控制電^各5 0用作片斷記錄單元。
然后，判斷用戶是否已請(qǐng)求了結(jié)束運(yùn)動(dòng)圖像記錄，即，用 戶是否已按下了運(yùn)動(dòng)圖像記錄停止按鈕(例如，在運(yùn)動(dòng)圖像記錄 期間用戶是否已按下了設(shè)置按鈕117)(步驟S1206)。如果用戶已 經(jīng)請(qǐng)求了結(jié)束運(yùn)動(dòng)圖像記錄，則處理結(jié)束(步驟S1210)。如果用 戶未請(qǐng)求結(jié)束，則檢查鏡頭信息是否已更新(步驟S1207)。在用 戶操作鏡頭以放大/縮小被攝體圖像時(shí)鏡頭光瞳位置變化時(shí)或 者在用戶利用電子撥盤411等的操作構(gòu)件改變光圈值時(shí)，更新鏡 頭信息。變焦控制單元344通過連接器322和122向系統(tǒng)控制電路 50通知光瞳位置的變化。此外，向系統(tǒng)控制電^各50通知作為包 括電子撥盤411的多個(gè)開關(guān)的信號(hào)的光圏值的變化。在這種情況 下，變焦控制單元344和操作單元70用作4竟頭信息更新通知單 元。
在接收到該通知時(shí)，系統(tǒng)控制電路50用作鏡頭信息獲得單 元。系統(tǒng)控制電路50將所通知的當(dāng)前鏡頭信息存儲(chǔ)在存儲(chǔ)器30 中，并在存儲(chǔ)器52中所存儲(chǔ)的鏡頭信息上覆蓋所通知的當(dāng)前鏡 頭信息。當(dāng)測光控制單元46檢測到被攝體的亮度的急劇變化時(shí)， 向系統(tǒng)控制電^各50通知該變化。然后，系統(tǒng)控制電^各5(H吏光圏 控制單元340驅(qū)動(dòng)并控制光圈葉片。系統(tǒng)控制電路50獲得所通知 的鏡頭信息。當(dāng)鏡頭光瞳位置在鏡頭的自動(dòng)調(diào)焦(AF)驅(qū)動(dòng)、用于防止照相機(jī)抖動(dòng)的防振動(dòng)偏移鏡頭的驅(qū)動(dòng)等時(shí)變化時(shí)，變焦
控制單元344和調(diào)焦控制單元342向系統(tǒng)控制電路50通知該變 化，并且系統(tǒng)控制電路50獲得鏡頭信息。
如果檢測到鏡頭信息的更新，則要存儲(chǔ)在存儲(chǔ)器52中的鏡 頭信息覆蓋當(dāng)獲得灰塵位置校正數(shù)據(jù)(圖15)時(shí)所使用的光圏值 和鏡頭光瞳位置(步驟S1208)。將用作新片斷的元數(shù)據(jù)的存儲(chǔ)箱 的moof和用作媒體數(shù)據(jù)的存儲(chǔ)箱的mdat添加至寫入期間的當(dāng) 前片斷，從而更新創(chuàng)建了寫入位置的片斷(步驟S1209)。在這種 情況下，系統(tǒng)控制電路50用作片斷創(chuàng)建單元和片斷改變控制單 元。之后，處理返回步驟S1203以象圖17A的灰塵位置校正數(shù)據(jù) 1503那樣，將在步驟S1208中更新后的灰塵位置校正數(shù)據(jù)寫入 所添加的片斷的元數(shù)據(jù)的moof中。
如果在步驟S1207中未檢測到鏡頭位置的更新，則進(jìn)行運(yùn) 動(dòng)圖像拍攝、圖像處理和壓縮處理(步驟S1204)而無需進(jìn)行分 割。將運(yùn)動(dòng)圖像數(shù)據(jù)寫入當(dāng)前片斷的mdat中(步驟S1205)。
重復(fù)這一 系列處理(步驟S1203、 S1204、 S1205、 S1206、 S1207、 S1208和S1209),直到用戶發(fā)出結(jié)束請(qǐng)求為止。
盡管未詳細(xì)說明，但在接收到結(jié)束請(qǐng)求(步驟S1210)時(shí)所創(chuàng) 建的運(yùn)動(dòng)圖像文件記錄了各片斷的moov和moof中的各種類型 的元數(shù)據(jù)信息、片斷格式所必需的mvex以及mdat中的媒體數(shù) 據(jù)，以便與標(biāo)準(zhǔn)相兼容。
在該例子中，針對(duì)各個(gè)片斷記錄了灰塵位置校正數(shù)據(jù)。然 而，灰塵校正數(shù)據(jù)在運(yùn)動(dòng)圖像拍攝期間不改變。由于該原因， 還可以將灰塵位置才交正數(shù)據(jù)以圖15的才各式僅記錄在第一元數(shù)據(jù) 的moov中。在這種情況下，僅將在運(yùn)動(dòng)圖像拍攝期間變化的拍 攝期間的光圈值和鏡頭光瞳位置記錄在分割之后的元數(shù)據(jù)的 moof中。圖16是示出所生成的運(yùn)動(dòng)圖像文件的分割的示例的圖。記 錄在時(shí)刻1301開始并在時(shí)刻1304停止。在時(shí)刻1302和1303，發(fā) 生當(dāng)在檢測到放大/縮小等鏡頭信息的變化和光圈值的變化時(shí) 的分割事件。第一片斷1305存儲(chǔ)從記錄開始時(shí)刻1301至當(dāng)?shù)谝?分割事件發(fā)生時(shí)的時(shí)刻13 0 2的包括鏡頭信息的灰塵位置校正數(shù) 據(jù)和運(yùn)動(dòng)圖像數(shù)據(jù)。
當(dāng)?shù)谝环指钍录l(fā)生時(shí)(時(shí)刻1302)，生成第二片斷1306作 為新的片斷。第二片斷1306存儲(chǔ)從第一分割事件發(fā)生時(shí)刻1302 至第二分割事件發(fā)生時(shí)刻1303的包括鏡頭信息的灰塵位置校正 數(shù)據(jù)和運(yùn)動(dòng)圖像數(shù)據(jù)。
當(dāng)?shù)诙指钍录l(fā)生時(shí)(時(shí)刻1303)，生成第三片斷1307作 為新的片斷。第三片斷1307存儲(chǔ)從第二分割事件發(fā)生時(shí)刻1303 至當(dāng)用戶請(qǐng)求停止記錄時(shí)的時(shí)刻13 0 4的包括鏡頭信息的灰塵位 置校正數(shù)據(jù)和運(yùn)動(dòng)圖像數(shù)據(jù)。
這樣，創(chuàng)建了這樣一個(gè)運(yùn)動(dòng)圖像文件該運(yùn)動(dòng)圖像文件具 有每當(dāng)鏡頭信息變化時(shí)生成的第一片斷1305、第二片斷1306和 第三片斷1307等的多個(gè)片斷。
代替一個(gè)運(yùn)動(dòng)圖像文件，還可以在分割事件的定時(shí)(時(shí)刻 1302和時(shí)刻1303)不創(chuàng)建新的片斷而創(chuàng)建新的運(yùn)動(dòng)圖像文件。當(dāng) 創(chuàng)建新的運(yùn)動(dòng)圖^象文件時(shí)，在步驟S1209中創(chuàng)建新的文件。在 步驟S1203中，總是將灰塵位置校正數(shù)據(jù)添加至元數(shù)據(jù)的moov。 在步驟S1210中，生成了多個(gè)運(yùn)動(dòng)圖像文件。
圖17A和17B是用于說明第 一 實(shí)施例中的MP4文件格式的 數(shù)據(jù)結(jié)構(gòu)的示意圖。圖17A和17B是當(dāng)圖16所示的兩個(gè)分割事件 (時(shí)刻1302和1303)發(fā)生以改變鏡頭信息并在運(yùn)動(dòng)圖像文件中生 成3個(gè)片斷時(shí)的示意圖。
參考圖17A，將灰塵位置校正數(shù)據(jù)1502添加至—見頻軌道1004以將灰塵校正數(shù)據(jù)與運(yùn)動(dòng)圖像的各幀相關(guān)聯(lián)。MP4文件格 式允許通過使用類型為'uuid，的擴(kuò)展存儲(chǔ)箱或使用用戶數(shù)據(jù)存 儲(chǔ)箱('udta，)來記錄系統(tǒng)固有的數(shù)據(jù)，
利用該才幾制，如圖17A所示，將uuid 150H殳置在各片斷的 moov或moof的視頻軌道中以將灰塵位置校正數(shù)據(jù)作為固有數(shù) 據(jù)而寫入。與直到更新了鏡頭信息為止的各幀相關(guān)聯(lián)地存儲(chǔ)該 灰塵位置校正數(shù)據(jù)。
MP4文件格式還不僅允許將'uuid，記錄在moov和 moof的視 頻軌道中，而且允許象18A中的'uuid，2001那樣，與媒體數(shù)據(jù)和 元數(shù)據(jù)并4亍地記錄'uuid，。還可以如圖18A和18B所示，記錄灰 塵位置校正數(shù)據(jù)。
如圖19B所示，還可以將'uuid，210H殳置在運(yùn)動(dòng)圖^象文件的 末尾。在這種情況下，按時(shí)間序列描述與第一、第二和第三片 斷相對(duì)應(yīng)的灰塵位置校正數(shù)據(jù)2102、 2103和2104。
還可以象圖20A中的灰塵位置校正數(shù)據(jù)文件2201那樣，將 灰塵位置校正數(shù)據(jù)作為單獨(dú)的文件而存儲(chǔ)。在這種情況下，如 圖20A和20B所示，為了將MP4文件1001與灰塵位置校正數(shù)據(jù)文 件2201相關(guān)聯(lián)，它們需要具有擴(kuò)展名不同的相同文件名?？蛇x 地，MP4文件1001需要將灰塵位置校正數(shù)據(jù)文件的名稱作為固 有數(shù)據(jù)udta而描述。不用說，udta還可以記錄灰塵位置校正數(shù)據(jù)。
將說明用于對(duì)包含灰塵位置校正數(shù)據(jù)的運(yùn)動(dòng)圖像文件進(jìn)行 灰塵去除處理的序列。將說明在單獨(dú)準(zhǔn)備的圖像處理設(shè)備中將 圖10中的灰塵去除處理應(yīng)用于運(yùn)動(dòng)圖像的情況。將僅說明當(dāng)對(duì) 具有圖17A和17B中的文件格式的運(yùn)動(dòng)圖像文件進(jìn)行圖10中的 去除處理時(shí)的不同之處。
圖21是示出圖像處理設(shè)備的示意系統(tǒng)結(jié)構(gòu)的框圖。CPU 1601控制整個(gè)系統(tǒng)，并且執(zhí)行主存儲(chǔ)裝置1602中所存儲(chǔ)的程序。說明
主存儲(chǔ)裝置1602主要是存儲(chǔ)器。主存儲(chǔ)裝置1602從次存儲(chǔ)裝置 1603加載程序并存^f諸該程序。次存^f諸裝置1603例如是硬盤。通 常，主存儲(chǔ)裝置在容量上小于次存儲(chǔ)裝置。次存儲(chǔ)裝置存儲(chǔ)不 能完全存儲(chǔ)在主存儲(chǔ)裝置中的程序、數(shù)據(jù)等。次存儲(chǔ)裝置還存 儲(chǔ)需要長時(shí)間存儲(chǔ)的數(shù)據(jù)。在第一實(shí)施例中，次存儲(chǔ)裝置1603 存儲(chǔ)程序。當(dāng)執(zhí)行程序時(shí)，將該程序加載至主存儲(chǔ)裝置1602并 且由CPU 1601寺丸4亍該程序。
輸入裝置1604包括用于控制系統(tǒng)的鼠標(biāo)和鍵盤以及輸入圖 像數(shù)據(jù)所必需的卡讀取器、掃描器和膠片掃描器。輸出裝置16 0 5 是例如監(jiān)視器或打印機(jī)。該設(shè)備還可以采用其它各種結(jié)構(gòu)，但 這不是本發(fā)明的主旨并且將省略對(duì)其的說明。
圖像處理設(shè)備包含能夠并行執(zhí)行多個(gè)程序的操作系統(tǒng)。用 戶可以4吏用GUI(Graphical User Interface,圖形用戶界面)以梯: 作在該設(shè)備上運(yùn)行的程序。
圖22是示出圖像處理設(shè)備中的圖像編輯程序的GUI的圖。 該窗口具有關(guān)閉按4丑1700和標(biāo)題欄1701。用戶通過按下關(guān)閉按 鈕結(jié)束該程序。用戶通過將要校正的運(yùn)動(dòng)圖像文件拖放至圖像 顯示區(qū)域1702來指定要校正的運(yùn)動(dòng)圖像文件。當(dāng)確定了要校正 的圖像時(shí)，標(biāo)題欄1701顯示文件名。當(dāng)用戶指定了要校正的運(yùn) 動(dòng)圖像文件時(shí)，圖像顯示區(qū)域1702將各片斷的第一幀2301作為 縮略圖并排顯示。用戶點(diǎn)擊并選擇所顯示的片斷的第一幀。然 后，圖像顯示區(qū)域1702將片斷中的包括第一幀的全部幀作為縮 略圖并排顯示。用戶在作為縮略圖而顯示的全部幀中點(diǎn)擊并指 定要經(jīng)過灰塵去除處理的幀。顯示要校正的幀以適合圖像顯示 區(qū)域1702。當(dāng)用戶按下執(zhí)行按鈕1703時(shí)，^丸行(后面要說明的) 灰塵去除處理。圖像顯示區(qū)域1702顯示處理后的圖像。當(dāng)用戶 按下步驟執(zhí)行按鈕1704時(shí)，執(zhí)行(后面要說明的)灰塵去除處理的步驟。在處理全部的灰塵區(qū)域結(jié)束時(shí)，圖像顯示區(qū)域1702顯 示處理后的圖像。當(dāng)用戶按下保存按鈕1705時(shí)，將目標(biāo)幀替換 為處理后的幀以保存由此得到的運(yùn)動(dòng)圖像文件。
用于指定要通過灰塵去除處理校正的幀的方法不限于此。 例如，當(dāng)用戶指定了要校正的運(yùn)動(dòng)圖像文件時(shí)，還可以將全部 幀象第 一 幀2301那樣，首先作為縮略圖進(jìn)行顯示以提示用戶選 擇要校正的幀。用戶還可以在將片斷顯示為縮略圖時(shí)指定片斷。 在這種情況下，自動(dòng)逐一地提取所指定的片斷中的全部幀。所 提取出的幀作為要校正的幀順序經(jīng)過灰塵去除處理?？蛇x地， 用戶可以指定運(yùn)動(dòng)圖像文件。同樣在這種情況下，自動(dòng)逐一地 提取全部的幀。所提取出的幀作為要校正的幀順序經(jīng)過灰塵去 除處理。
如上所述，用戶指定要通過灰塵去除處理校正的幀。這與 圖IO中的步驟S1801相對(duì)應(yīng)。然后，獲得添加至包含要校正的 指定幀在內(nèi)的片斷的灰塵位置校正數(shù)據(jù)1502。這與步驟S1802 相對(duì)應(yīng)。從所獲得的灰塵位置校正數(shù)據(jù)1502中提取灰塵校正數(shù) 據(jù)以進(jìn)行步驟S1803中的處理。在步驟S1804中，從灰塵位置校 正數(shù)據(jù)獲得拍攝時(shí)的光圏值和鏡頭光瞳位置?；谠撔?I;執(zhí)行 步驟S1805。在步驟S1806中，重復(fù)進(jìn)行校正處理直到完成了灰 塵去除為止(步驟S1807)。
已經(jīng)說明了使用單獨(dú)準(zhǔn)備的圖像處理設(shè)備的灰塵去除處 理，但還可以在數(shù)字照相機(jī)體內(nèi)進(jìn)行該灰塵去除處理。當(dāng)在數(shù) 字照相才凡體內(nèi)進(jìn)4亍灰塵去除處理時(shí)，系統(tǒng)控制電^各50通過導(dǎo)丸行 非易失性存儲(chǔ)器56中所存儲(chǔ)的灰塵去除處理程序來執(zhí)行與圖10 的流程圖所示的處理相同的處理。例如，當(dāng)用戶利用十字選擇 器開關(guān)116指定開始灰塵去除處理時(shí)，系統(tǒng)控制電路50將存儲(chǔ)器 30中所存儲(chǔ)的靜止圖像數(shù)據(jù)讀出至圖像處理電路20。圖像處理電路20進(jìn)行圖IO所示的處理，并且執(zhí)行灰塵像素插值處理。最 后，記錄介質(zhì)200將插值處理結(jié)果作為新的運(yùn)動(dòng)圖像文件而記錄。
如上所述，在光圈值或鏡頭光瞳位置等的鏡頭信息變化時(shí) 的定時(shí)，對(duì)運(yùn)動(dòng)圖像文件進(jìn)行分割。將包括拍攝期間的鏡頭信 息和灰塵位置信息的灰塵位置校正數(shù)據(jù)添加至各片斷。該結(jié)構(gòu) 使得不必注意灰塵位置校正數(shù)據(jù)和運(yùn)動(dòng)圖像文件中的各幀之間 的對(duì)應(yīng)關(guān)系?；覊m位置校正數(shù)據(jù)是由灰塵位置、大小和轉(zhuǎn)換數(shù) 據(jù)(光圈值和鏡頭光瞳位置信息)所形成的緊致型數(shù)據(jù)，并且并 未過度增加moov和moof等的媒體數(shù)據(jù)的大小。僅對(duì)包含由灰塵 位置校正數(shù)據(jù)所指定的像素的區(qū)域進(jìn)行插值處理，因此可以極 大降低檢測錯(cuò)誤的概率。
第二實(shí)施例
在第 一 實(shí)施例中，每當(dāng)在運(yùn)動(dòng)圖像拍攝期間進(jìn)行鏡頭操作 時(shí)更新了鏡頭信息時(shí)，對(duì)運(yùn)動(dòng)圖像文件進(jìn)行分割。第二實(shí)施例 將說明根據(jù)鏡頭信息的變化量對(duì)運(yùn)動(dòng)圖像文件進(jìn)行分割的方 法。
圖23是示出用于根據(jù)鏡頭信息的變化量對(duì)運(yùn)動(dòng)圖像文件進(jìn) 行分割的控制的流程圖。與圖14中的步驟編號(hào)相同的步驟編號(hào) 表示與圖14中的操作相同的操作，并且將主要說明與圖14的不 同之處。
當(dāng)運(yùn)動(dòng)圖像拍攝開始時(shí)，創(chuàng)建新的文件(步驟S1201),并且 創(chuàng)建灰塵位置校正數(shù)據(jù)(步驟S2301)。此時(shí)，存儲(chǔ)器52將當(dāng)前鏡 頭信息中的鏡頭光瞳位置存儲(chǔ)為P。
該文件存儲(chǔ)所創(chuàng)建的灰塵位置校正數(shù)據(jù)(步驟S1203)。在步 驟S1204中，進(jìn)行運(yùn)動(dòng)圖像拍攝、圖像處理和壓縮處理以將運(yùn) 動(dòng)圖像存儲(chǔ)在該文件中(步驟S1205)。在步驟S1206中，檢查用戶是否已請(qǐng)求結(jié)束運(yùn)動(dòng)圖像記錄。 如果用戶未請(qǐng)求結(jié)束，則檢查鏡頭信息是否已更新(步驟 S1207)。
如果鏡頭信息已更新，則將更新后的鏡頭信息中的鏡頭光 瞳位置與在步驟S 2 3 01中所存儲(chǔ)的P進(jìn)行比較以#r查鏡頭光瞳 位置的變化量是否等于或大于預(yù)定值PO，即變化量^P0 (步驟 S2302)。 PO是任意值，或者是當(dāng)在圖10的步驟S1804中使用等式 (l)計(jì)算灰塵的中心坐標(biāo)時(shí)中心坐標(biāo)Di，在光瞳位置P與更新后 的光瞳位置之間差別不大的范圍。當(dāng)變化量^PO時(shí)，如果在步 驟S1804中使用P進(jìn)行計(jì)算則中心坐標(biāo)Di，發(fā)生很大變化。在灰塵 區(qū)域判斷(圖ll中的步驟S1901)中，未滿足任何條件，并且盡管 灰塵實(shí)際存在但仍判斷為灰塵不存在。為了防止該問題，覆蓋 灰塵位置校正數(shù)據(jù)中的鏡頭位置以將當(dāng)前鏡頭光瞳位置設(shè)置為 P(步驟S2303)。
在步驟S1209中，更新片斷位置，并且處理返回步驟S1203。 如果變化量〈PO，則不執(zhí)行分割，并且處理返回步驟S1204以進(jìn) 行運(yùn)動(dòng)圖像拍攝、圖像處理和壓縮處理。
在上述說明中，獲得鏡頭光瞳位置的變化量。替代地，還 可以獲得鏡頭光圈值的變化量或這兩個(gè)變化量的組合。
如上所述，根據(jù)鏡頭信息的變化量對(duì)運(yùn)動(dòng)圖像文件進(jìn)行分 割。這能夠防止運(yùn)動(dòng)圖像文件大小的增加并防止在重放時(shí)由不 必要的文件分割引起的文件易訪問性的下降。
第三實(shí)施例
在第三實(shí)施例中，參考圖1 13所述的內(nèi)容與第一實(shí)施例中 的內(nèi)容相同。
將說明第三實(shí)施例的操作。 運(yùn)動(dòng)圖像拍攝例程將說明第三實(shí)施例中在運(yùn)動(dòng)圖像拍攝時(shí)的操作。
系統(tǒng)控制電路5 0通過執(zhí)行非易失性存儲(chǔ)器5 6中所存儲(chǔ)的運(yùn) 動(dòng)圖像拍攝處理程序而進(jìn)行該處理。
為了拍攝運(yùn)動(dòng)圖像，用戶需要使用模式撥盤6 0等將拍攝模 式從靜止圖像拍攝模式改變?yōu)檫\(yùn)動(dòng)圖像拍攝模式。
當(dāng)運(yùn)動(dòng)圖像拍攝例程開始時(shí)，系統(tǒng)控制電路50操作圖3所示 的快速復(fù)原鏡130以使其上翻并且將其從攝像光路撤出。系統(tǒng)控 制電路50打開快門12以將圖像傳感器14暴露至被攝體光。將通 過曝光圖像傳感器14所獲得的圖像數(shù)據(jù)以預(yù)定速率順序?qū)懭胗?作幀緩沖器的存儲(chǔ)器30中。LCD監(jiān)視器417用作電子取景器 (E V F)以順序顯示所寫入的圖像數(shù)據(jù)。在運(yùn)動(dòng)圖像拍攝模式下， 檢測用戶是否已按下了運(yùn)動(dòng)圖像記錄開始按鈕(例如，在運(yùn)動(dòng)圖 像拍攝模式下用戶是否已按下了設(shè)置按鈕117)。如果是，則運(yùn) 動(dòng)圖像拍攝開始以將圖像數(shù)據(jù)以MP4文件格式順序記錄在記錄 介質(zhì)200上。
當(dāng)在運(yùn)動(dòng)圖像拍攝模式下按下運(yùn)動(dòng)圖像記錄開始按鈕時(shí)運(yùn) 動(dòng)圖像拍攝開始時(shí)，首先生成新的文件。創(chuàng)建用作第一片斷的 元數(shù)據(jù)的存儲(chǔ)箱的moov和用作媒體數(shù)據(jù)的存儲(chǔ)箱的mdat。
然后，創(chuàng)建灰塵位置校正數(shù)據(jù)。該灰塵位置校正數(shù)據(jù)存儲(chǔ) 作為在運(yùn)動(dòng)圖像拍攝時(shí)所使用的鏡頭的鏡頭信息的光圏值和鏡 頭光瞳位置信息以及圖5所示的灰塵校正數(shù)據(jù)。存儲(chǔ)器52存儲(chǔ)所 創(chuàng)建的灰塵位置校正數(shù)據(jù)。讀取存儲(chǔ)器52中所存儲(chǔ)的灰塵位置 校正數(shù)據(jù)并將其寫入當(dāng)前片斷的元數(shù)據(jù)的moov中。
圖24是示出當(dāng)在運(yùn)動(dòng)圖像拍攝期間驅(qū)動(dòng)鏡頭單元300以進(jìn) 行變焦時(shí)的操作的流程圖。
在第三實(shí)施例中，當(dāng)系統(tǒng)控制電路50檢測到在運(yùn)動(dòng)圖像拍 攝期間變焦控制單元3 44已開始變焦驅(qū)動(dòng)時(shí)，系統(tǒng)控制電路5 0進(jìn)行以下處理。
在檢測到變焦驅(qū)動(dòng)開始時(shí)，系統(tǒng)控制電路50新創(chuàng)建片斷(步 驟S1401)。對(duì)拍攝到的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行分割以記錄片斷。
然后，系統(tǒng)控制電路50曝光圖像傳感器14以進(jìn)行運(yùn)動(dòng)圖像 拍攝處理。存儲(chǔ)器30存儲(chǔ)所生成的運(yùn)動(dòng)圖像數(shù)據(jù)。圖像處理電 路2 0對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的各幀順序進(jìn)行圖像處理，并且存儲(chǔ)器3 0 記錄這些幀(步驟S1402)。
系統(tǒng)控制電路50從變焦控制單元344接收表示鏡頭是否處 于變焦驅(qū)動(dòng)期間的信息。系統(tǒng)控制電路50判斷鏡頭單元300是否 處于變焦驅(qū)動(dòng)(變焦操作)期間(步驟S1403)。
如果在步驟S1403中系統(tǒng)控制電路50判斷為鏡頭單元300 處于變焦驅(qū)動(dòng)期間，則系統(tǒng)控制電路50獲得鏡頭信息(步驟 S1404)。該鏡頭信息包括光圏值和光瞳位置。
系統(tǒng)控制電路50判斷在步驟S1404中已獲得的當(dāng)前幀的鏡 頭信息是否已從前一幀的鏡頭信息而改變(步驟S1405)。
如果在步驟S140 5中系統(tǒng)控制電路5 0判斷為鏡頭信息已改 變，則系統(tǒng)控制電路50將當(dāng)前幀的鏡頭信息記錄在當(dāng)前片斷的 元數(shù)據(jù)的moof中(步驟S1406)。
如果在步驟S1405中系統(tǒng)控制電路50判斷為鏡頭信息未改 變，則系統(tǒng)控制電路50在未分割的情況下進(jìn)行運(yùn)動(dòng)圖像拍攝、 圖像處理和壓縮處理，并將該運(yùn)動(dòng)圖像數(shù)據(jù)寫入當(dāng)前片斷的 mdat中。
在變焦驅(qū)動(dòng)期間，將改變后的鏡頭信息附加寫入一個(gè)片斷 的元數(shù)據(jù)的moof中。在將鏡頭信息記錄在頭中的同時(shí)，還寫入 了與表示與相同的鏡頭信息相對(duì)應(yīng)的幀的范圍的幀的數(shù)量等有
關(guān)的信息。表示與相同的鏡頭信息相對(duì)應(yīng)的幀的范圍的信息不 限于幀的數(shù)量，并且還可以是其它信息，只要其能夠指定鏡頭信息和相應(yīng)的幀即可。
如果在步驟S1403中系統(tǒng)控制電路50判斷為鏡頭單元300 不處于變焦驅(qū)動(dòng)期間，則系統(tǒng)控制電路50進(jìn)行分割以新創(chuàng)建片 斷，并且結(jié)束變焦驅(qū)動(dòng)期間的操作。
重復(fù)這一 系列處理(步驟S1402 S1406)，直到系統(tǒng)控制電^各 50判斷為變焦驅(qū)動(dòng)已結(jié)束為止。
在運(yùn)動(dòng)圖像重放時(shí)，當(dāng)在圖IO的灰塵去除處理中的步驟 S1805中轉(zhuǎn)換灰塵校正參數(shù)時(shí)，從片斷的moof中讀出與各幀相 對(duì)應(yīng)的鏡頭信息以進(jìn)行灰塵去除。
第三實(shí)施例提供了以下效果。
由于以上述方式將灰塵校正數(shù)據(jù)附加至圖像，因此這使得 不必注意灰塵校正圖像數(shù)據(jù)與所拍攝到的圖像數(shù)據(jù)之間的對(duì)應(yīng) 關(guān)系?；覊m校正數(shù)據(jù)是由位置、大小和轉(zhuǎn)換數(shù)據(jù)(光圏值和鏡頭 光瞳位置信息)形成的緊致型數(shù)據(jù)，并且沒有過度增加拍攝到的 圖像數(shù)據(jù)的大小。僅對(duì)包含由灰塵校正數(shù)據(jù)所指定的像素的區(qū) 域進(jìn)行插值處理，因此能夠極大降低檢測錯(cuò)誤的概率。
在鏡頭的變焦驅(qū)動(dòng)期間，不執(zhí)行分割，并且將多個(gè)鏡頭信 息記錄在一個(gè)片斷中。由于沒有不必要地執(zhí)行分割，因而減少 了數(shù)據(jù)量。
由于未進(jìn)行不必要的分割，因此運(yùn)動(dòng)文件重放處理的負(fù)擔(dān) 減輕。
第四實(shí)施例
在第三實(shí)施例中，當(dāng)在鏡頭的變焦驅(qū)動(dòng)期間記錄運(yùn)動(dòng)圖像 的各幀時(shí)，獲得了鏡頭信息。如果鏡頭信息變化，則記錄該鏡 頭信息。
相反，在第四實(shí)施例中，僅在開始和結(jié)束鏡頭的變焦驅(qū)動(dòng) 時(shí)記錄4竟頭信息。圖25是示出第四實(shí)施例中在變焦驅(qū)動(dòng)期間的運(yùn)動(dòng)圖像記錄 處理的流程圖。
在第四實(shí)施例中，當(dāng)系統(tǒng)控制電路50^r測到在運(yùn)動(dòng)圖像拍 攝期間變焦控制單元3 44已開始變焦驅(qū)動(dòng)時(shí)，系統(tǒng)控制電路5 0 進(jìn)^f亍以下處理。
在檢測到變焦驅(qū)動(dòng)已開始時(shí)，系統(tǒng)控制電路5 0新創(chuàng)建片斷 (步驟S1501)。
然后，系統(tǒng)控制電路50獲得鏡頭信息。將所獲得的鏡頭信 息作為在開始變焦驅(qū)動(dòng)時(shí)的鏡頭信息記錄在當(dāng)前片斷的元數(shù)據(jù) 的moof中(步驟S1502)。鏡頭信息包括光圈值和光瞳位置。
系統(tǒng)控制電路5 0曝光圖像傳感器14以進(jìn)行運(yùn)動(dòng)圖像拍攝處 理。存儲(chǔ)器30存儲(chǔ)所拍攝到的運(yùn)動(dòng)圖像。圖像處理電路20對(duì)所 拍攝到的運(yùn)動(dòng)圖像的各幀順序進(jìn)行圖像處理，并且存儲(chǔ)器3 0記 錄這些幀(步驟S1503)。
系統(tǒng)控制電路50從變焦控制單元344接收表示鏡頭是否處 于變焦驅(qū)動(dòng)期間的信息。系統(tǒng)控制電路5 0判斷鏡頭是否處于變 焦驅(qū)動(dòng)期間(步驟S1504)。重復(fù)步驟S1503和S1504中的處理，直 到系統(tǒng)控制電路5 0判斷為鏡頭不處于變焦驅(qū)動(dòng)期間為止。
如果在步驟S15 04中系統(tǒng)控制電路5 0判斷為鏡頭不處于變 焦驅(qū)動(dòng)期間，即變焦驅(qū)動(dòng)已結(jié)束，則系統(tǒng)控制電路50獲得鏡頭 信息(步驟S1505)。將所獲得的鏡頭信息作為在結(jié)束變焦驅(qū)動(dòng)時(shí) 的鏡頭信息記錄在當(dāng)前片斷的元數(shù)據(jù)的moof中。鏡頭信息包括 光圈值和光瞳位置。
系統(tǒng)控制電路50進(jìn)行分割以新創(chuàng)建片斷，并且結(jié)束變焦驅(qū) 動(dòng)期間的序列(步驟S15 0 6)。
當(dāng)在圖IO的灰塵去除處理中的步驟S1805中轉(zhuǎn)換灰塵校正 參數(shù)時(shí)，從片斷的moof中讀出在開始和結(jié)束變焦驅(qū)動(dòng)時(shí)的多個(gè)鏡頭信息。對(duì)于在變焦驅(qū)動(dòng)期間的中間幀，基于多個(gè)鏡頭信息 之間的差異對(duì)鏡頭信息進(jìn)行插值，從而進(jìn)行灰塵去除。
第四實(shí)施例可以實(shí)現(xiàn)與第三實(shí)施例的效果幾乎相同的效果。
此外，由于僅在開始和結(jié)束變焦驅(qū)動(dòng)時(shí)記錄鏡頭信息，因 此第四實(shí)施例可以減少數(shù)據(jù)量。 第五實(shí)施例
將說明第五實(shí)施例。在第五實(shí)施例中，在鏡頭的變焦驅(qū)動(dòng) 期間以預(yù)定的幀間隔將鏡頭信息連同運(yùn)動(dòng)圖像 一 起記錄。
圖26是示出第五實(shí)施例中在變焦驅(qū)動(dòng)期間的運(yùn)動(dòng)圖像記錄 處理的流程圖。
在第五實(shí)施例中，當(dāng)系統(tǒng)控制電路50檢測到在運(yùn)動(dòng)圖像拍 攝期間變焦控制單元3 44已開始變焦驅(qū)動(dòng)時(shí)，系統(tǒng)控制電路5 0 進(jìn)行以下處理。
在檢測到變焦驅(qū)動(dòng)已開始時(shí)，系統(tǒng)控制電路50新創(chuàng)建片斷 (步驟S1601)。
然后，系統(tǒng)控制電路50獲得鏡頭信息，并將該鏡頭信息記 錄在當(dāng)前片斷的元數(shù)據(jù)的moof中(步驟S1602)。鏡頭信息包括光 圏值和光瞳位置。
系統(tǒng)控制電路50開始對(duì)幀間隔進(jìn)行計(jì)數(shù)。更具體地，系統(tǒng) 控制電路50將"1 "代入計(jì)數(shù)值(步驟S1603)。
系統(tǒng)控制電路50曝光圖像傳感器14以進(jìn)行運(yùn)動(dòng)圖像拍攝處 理。存儲(chǔ)器30存儲(chǔ)所拍攝到的運(yùn)動(dòng)圖像。圖像處理電路20對(duì)所 拍攝到的運(yùn)動(dòng)圖像的各幀順序進(jìn)行圖像處理，并且存儲(chǔ)器3 0記 錄這些幀(步驟S1604)。
在拍攝運(yùn)動(dòng)圖像的一幀時(shí)，系統(tǒng)控制電路50使用于對(duì)幀間 隔進(jìn)行計(jì)數(shù)的計(jì)數(shù)值增加1(步驟S1605)。系統(tǒng)控制電路50從變焦控制單元344接收表示鏡頭是否處 于變焦驅(qū)動(dòng)期間的信息。系統(tǒng)控制電路5 0判斷鏡頭是否處于變 焦驅(qū)動(dòng)期間(步驟S1606)。
重復(fù)這一系列處理(步驟S1602 S1607)，直到系統(tǒng)控制電路 50判斷為鏡頭不處于變焦驅(qū)動(dòng)期間為止。
在步驟S1607中，系統(tǒng)控制電路50判斷計(jì)數(shù)值是否已達(dá)到 預(yù)定的幀計(jì)數(shù)(圖26中為10幀)。重復(fù)這 一 系列處理(步驟 S1604 S1607),直到計(jì)數(shù)值達(dá)到預(yù)定的幀計(jì)數(shù)為止。如果計(jì)數(shù) 值達(dá)到了預(yù)定的幀計(jì)數(shù)，則系統(tǒng)控制電路50在步驟S1602中記 錄鏡頭信息，在步驟S1603中再次開始計(jì)數(shù)并且進(jìn)行一系列的 處理(步驟S1604 S1607)。
如果在步驟S1606中系統(tǒng)控制電路50判斷為鏡頭不處于變 焦驅(qū)動(dòng)期間，即變焦驅(qū)動(dòng)已結(jié)束，則在步驟S1608中系統(tǒng)控制 電路50進(jìn)行分割以新創(chuàng)建片斷，并且結(jié)束變焦驅(qū)動(dòng)期間的序列。
當(dāng)在圖IO的灰塵去除處理中的步驟S1805中轉(zhuǎn)換灰塵校正 參數(shù)時(shí)，從片斷的moov中讀出預(yù)定間隔的幀的多個(gè)鏡頭信息。 對(duì)于未記錄有鏡頭信息的中間幀，基于多個(gè)鏡頭信息的前后鏡 頭信息之間的差異對(duì)鏡頭信息進(jìn)行插值，從而進(jìn)行灰塵去除。
如上所述，第五實(shí)施例可以實(shí)現(xiàn)與第三實(shí)施例的效果幾乎 相同的效果。另外，由于以預(yù)定的幀間隔記錄鏡頭信息，因此 第五實(shí)施例能夠減少數(shù)據(jù)量。
其它實(shí)施例
還通過以下方法實(shí)現(xiàn)實(shí)施例的目的。向系統(tǒng)或設(shè)備^是供存 儲(chǔ)有用于實(shí)現(xiàn)上述實(shí)施例的功能的軟件程序代碼的存儲(chǔ)介質(zhì) (或記錄介質(zhì))。該系統(tǒng)或設(shè)備的計(jì)算機(jī)(或CPU或MPU)讀出并執(zhí) 行存儲(chǔ)介質(zhì)中所存儲(chǔ)的程序代碼。在這種情況下，從存儲(chǔ)介質(zhì) 讀出的程序代碼實(shí)現(xiàn)了上述實(shí)施例的功能。存儲(chǔ)程序代碼的存儲(chǔ)介質(zhì)構(gòu)成了本發(fā)明。通過由計(jì)算機(jī)執(zhí)行讀出的程序代碼實(shí)現(xiàn)
上述實(shí)施例的功能。本發(fā)明還包括以下情況運(yùn)行在計(jì)算機(jī)上 的操作系統(tǒng)(OS)等基于程序代碼的指令執(zhí)行部分或全部實(shí)際處 理，從而實(shí)現(xiàn)上述實(shí)施例的功能。
本發(fā)明還包括以下情況。更具體地，將從存儲(chǔ)介質(zhì)讀出的 程序代碼寫入插入至計(jì)算機(jī)的功能擴(kuò)展卡的存儲(chǔ)器或連接至計(jì) 算機(jī)的功能擴(kuò)展單元的存儲(chǔ)器中。功能擴(kuò)展卡或功能擴(kuò)展單元 的CPU基于程序代碼的指令執(zhí)行部分或全部實(shí)際處理，從而實(shí) 現(xiàn)了上述實(shí)施例的功能。
當(dāng)將本發(fā)明應(yīng)用于存儲(chǔ)介質(zhì)時(shí)，該存儲(chǔ)介質(zhì)存儲(chǔ)與上述過 程相對(duì)應(yīng)的程序代碼。
盡管已經(jīng)參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解， 本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符 合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種攝像設(shè)備，包括攝像單元，其具有對(duì)通過攝像鏡頭形成的被攝體圖像進(jìn)行光電轉(zhuǎn)換的圖像傳感器；光學(xué)構(gòu)件，其布置在所述圖像傳感器的前方；異物檢測單元，其從包括附著至所述光學(xué)構(gòu)件的表面的異物的圖像的異物檢測圖像中檢測異物信息，所述異物信息是包括至少與所述異物的位置和大小有關(guān)的信息的信息；記錄單元，用于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像單元連續(xù)輸出的圖像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄包括所述異物信息、所述攝像鏡頭的光圈值的信息以及光瞳位置的信息的鏡頭信息；以及鏡頭信息獲得單元，用于當(dāng)在運(yùn)動(dòng)圖像拍攝期間通過用戶操作所述攝像鏡頭而更新了所述鏡頭信息時(shí)，獲得更新后的鏡頭信息，其中，當(dāng)所述鏡頭信息獲得單元獲得了所述更新后的鏡頭信息時(shí)，所述記錄單元以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄所述更新后的鏡頭信息。
2. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，所述記 錄單元將至少一個(gè)異物信息記錄在所述運(yùn)動(dòng)圖像數(shù)據(jù)中。
3. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，所述記 錄單元針對(duì)各片斷記錄所述運(yùn)動(dòng)圖像數(shù)據(jù)，并且當(dāng)更新了所述 鏡頭信息時(shí)，所述記錄單元?jiǎng)?chuàng)建新的片斷，并且以與所述新的 片斷相關(guān)聯(lián)的方式記錄所述更新后的鏡頭信息。
4. 一種攝像設(shè)備的控制方法，所述攝像設(shè)備包括攝像單 元，其具有對(duì)通過攝像鏡頭形成的被攝體圖像進(jìn)行光電轉(zhuǎn)換的 圖像傳感器；以及光學(xué)構(gòu)件，其布置在所述圖像傳感器的前方， 所述控制方法包括以下步驟異物檢測步驟，用于從包括附著至所述光學(xué)構(gòu)件的表面的 異物的圖像的異物檢須'J圖像中檢測異物信息，所述異物信息是包括至少與所述異物的位置和大小有關(guān)的信息的信息；記錄步驟，用于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像 單元連續(xù)輸出的圖像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所 述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄包括所述異物信息、所述攝 像鏡頭的光圈值的信息以及光瞳位置的信息的鏡頭信息；以及 鏡頭信息獲得步驟，用于當(dāng)在運(yùn)動(dòng)圖像拍攝期間通過用戶 操作所述攝像鏡頭而更新了所述鏡頭信息時(shí)，獲得更新后的鏡 頭信息，其中，在所述記錄步驟中，當(dāng)在所述鏡頭信息獲得步驟中 獲得了所述更新后的鏡頭信息時(shí)，以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān) 聯(lián)的方式記錄所述更新后的鏡頭信息。
5. —種攝像設(shè)備，包括攝像單元，用于對(duì)被攝體圖像進(jìn)行光電轉(zhuǎn)換以生成圖像信號(hào)；異物檢測單元，用于從由所述攝像單元獲得的異物檢測圖 像信號(hào)中檢觀'J異物信息，所述異物信息是至少與所述攝像單元 的攝像幀中的所述異物的位置和大小有關(guān)的信息；鏡頭信息獲得單元，用于獲得用于拍攝被攝體的鏡頭的鏡 頭信息；以及記錄單元，用于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像單元連續(xù)輸出的圖像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄由所述異物檢測單元檢測到 的所述異物信息和由所述鏡頭信息獲得單元獲得的所述鏡頭信自其中，所述記錄單元對(duì)所述運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行分割，記錄片斷，將由所述鏡頭信息獲得單元所獲得的鏡頭信息添加至各 片斷，并記錄所述鏡頭信息。
6. 根據(jù)權(quán)利要求5所述的攝像設(shè)備，其特征在于，當(dāng)用于 拍攝被攝體的所述鏡頭處于變焦操作期間時(shí)，所述記錄單元不 對(duì)所述運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行分割。
7. 根據(jù)權(quán)利要求6所述的攝像設(shè)備，其特征在于，當(dāng)所述 鏡頭信息在所述鏡頭的所述變焦操作期間發(fā)生變化時(shí)，所述記 錄單元將所述鏡頭信息記錄在所述片斷中。
8. 根據(jù)權(quán)利要求6所述的攝像設(shè)備，其特征在于，所述記 錄單元在開始和結(jié)束所述鏡頭的所述變焦操作時(shí)將所述鏡頭信 息記錄在所述片斷中。
9. 根據(jù)權(quán)利要求6所述的攝像設(shè)備，其特征在于，在所述 鏡頭的所述變焦操作期間，所述記錄單元將所述鏡頭信息以預(yù) 定幀間隔記錄在所述片斷中。
10. —種攝像設(shè)備的控制方法，所述攝像設(shè)備具有用于對(duì) 被攝體圖像進(jìn)行光電轉(zhuǎn)換以生成圖像信號(hào)的攝像單元，所述控 制方法包括以下步驟異物檢測步驟，用于從由所述攝像單元獲得的異物檢測圖 像信號(hào)中檢觀'j異物信息，所述異物信息是至少與所述攝像單元 的攝像幀中的所述異物的位置和大小有關(guān)的信息；鏡頭信息獲得步驟，用于獲得用于拍攝被攝體的鏡頭的鏡 頭信息；以及記錄步驟，用于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從所述攝像 單元連續(xù)輸出的圖像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與所 述運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄在所述異物檢測步驟中檢測 到的所述異物信息以及在所述鏡頭信息獲得步驟中獲得的所述 鏡頭信息，其中，在所述記錄步驟中，對(duì)所述運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行分割 以記錄片斷，并且將在所述鏡頭信息獲得步驟中獲得的所述鏡 頭信息添加至各片斷，并記錄所述鏡頭信息。
全文摘要
本發(fā)明涉及一種攝像設(shè)備及其控制方法。該攝像設(shè)備包括攝像單元，其具有圖像傳感器；光學(xué)構(gòu)件，其布置在圖像傳感器的前方；異物檢測單元，用于從包括附著至光學(xué)構(gòu)件的表面的異物的圖像的異物檢測圖像中檢測異物信息；記錄單元，用于在拍攝運(yùn)動(dòng)圖像時(shí)，記錄基于從攝像單元連續(xù)輸出的圖像信號(hào)而生成的運(yùn)動(dòng)圖像數(shù)據(jù)，并且以與該運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄異物信息和鏡頭信息；以及鏡頭信息獲得單元，用于當(dāng)在運(yùn)動(dòng)圖像拍攝期間通過用戶操作攝像鏡頭而更新了鏡頭信息時(shí)，獲得更新后的鏡頭信息。當(dāng)鏡頭信息獲得單元獲得了更新后的鏡頭信息時(shí)，記錄單元以與運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的方式記錄更新后的鏡頭信息。
文檔編號(hào)H04N5/225GK101600046SQ20091014696
公開日2009年12月9日 申請(qǐng)日期2009年6月5日 優(yōu)先權(quán)日2008年6月5日
發(fā)明者工藤圭介, 行德崇 申請(qǐng)人:佳能株式會(huì)社