專利名稱：圖像處理器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于從運(yùn)動(dòng)圖像產(chǎn)生靜止圖像的圖像處理器，尤其涉及一種將從運(yùn)動(dòng)圖像提取的幀圖布置在靜止圖像幀上并輸出該靜止圖像的圖像處理器、圖像處理方法和數(shù)字照相機(jī)。
背景技術(shù)：
按照常規(guī)，作為一種使運(yùn)動(dòng)圖像變?yōu)殪o止圖像的設(shè)備，例如，日本專利申請KOKAI公開No.09-130591公開了一種打印機(jī)設(shè)備。該打印機(jī)設(shè)備從壓縮的運(yùn)動(dòng)圖像數(shù)據(jù)中自動(dòng)選擇關(guān)鍵幀作為構(gòu)成單獨(dú)完成的靜止圖像的幀數(shù)據(jù)，由此生成其中其幀圖以預(yù)定布局排列的靜止圖像數(shù)據(jù)，并且每隔預(yù)定時(shí)間間隔還從未壓縮的運(yùn)動(dòng)圖像數(shù)據(jù)中自動(dòng)選擇幀數(shù)據(jù)，由此生成其中其幀圖以預(yù)定布局排列的靜止圖像。
根據(jù)上述的打印機(jī)設(shè)備，可以容易地獲得與運(yùn)動(dòng)圖像對(duì)應(yīng)的靜止圖像，但是自動(dòng)選擇的幀圖不總是適當(dāng)?shù)厥境鲞\(yùn)動(dòng)圖像的全部特征的圖像。此外，即使自動(dòng)選擇的幀圖對(duì)于示出運(yùn)動(dòng)圖像的全部特征是適當(dāng)?shù)?，其布局形?排列的幀的數(shù)量和布局的位置)對(duì)于示出運(yùn)動(dòng)圖像的全部特征也不總是適當(dāng)?shù)模@已經(jīng)成為現(xiàn)有技術(shù)中的問題。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的實(shí)施例，圖像處理器包括存儲(chǔ)器，其存儲(chǔ)運(yùn)動(dòng)圖像；布局信息存儲(chǔ)器，其存儲(chǔ)多項(xiàng)布局信息，其表示包括在運(yùn)動(dòng)圖像中的多個(gè)幀圖的多個(gè)布局形式；獲取單元，其從存儲(chǔ)在存儲(chǔ)器中的運(yùn)動(dòng)圖像中獲取運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；選擇器，其基于獲取單元獲取的運(yùn)動(dòng)圖像信息，選擇存儲(chǔ)在布局信息存儲(chǔ)器中的配置信息之一；以及靜止圖像產(chǎn)生單元，其產(chǎn)生靜止圖像，其中，包括在存儲(chǔ)于存儲(chǔ)器中的運(yùn)動(dòng)圖像中的幀圖，排列成由選擇器選擇的布局信息示出的布局形式。
根據(jù)本發(fā)明另一實(shí)施例，一種圖像處理方法包括獲取運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；基于所獲取的運(yùn)動(dòng)圖像信息選擇布局信息之一；以及產(chǎn)生靜止圖像，其中包括在運(yùn)動(dòng)圖像的幀圖排列成由所選的布局信息示出的布局形式。
根據(jù)本發(fā)明另一實(shí)施例，一種包括計(jì)算機(jī)可用介質(zhì)的制造品，所述計(jì)算機(jī)可用介質(zhì)中嵌入了計(jì)算機(jī)可讀程序代碼方法，所述計(jì)算機(jī)可讀程序代碼方法包括用于使計(jì)算機(jī)獲取運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息的計(jì)算機(jī)可讀程序代碼方法；用于使計(jì)算機(jī)基于所獲取的運(yùn)動(dòng)圖像信息選擇布局信息之一的計(jì)算機(jī)可讀程序代碼方法；以及用于使計(jì)算機(jī)產(chǎn)生靜止圖像的計(jì)算機(jī)可讀程序代碼方法，所述靜止圖像中，包括在所述運(yùn)動(dòng)圖像中的幀圖排列成由所選的布局信息示出的布局形式。
在以下的說明書中將闡述本發(fā)明的其它目的和優(yōu)點(diǎn)，并且從說明書中將逐漸變得明顯，或者可以通過本發(fā)明的實(shí)踐而知曉。
借助于下文中特別指出的手段和組合，可以實(shí)現(xiàn)并獲得本發(fā)明的目的和優(yōu)點(diǎn)。


合并在說明書中并組成其一部分的附圖，示出了本發(fā)明的實(shí)施例，并且與上文給出的基本說明和下文中給出的實(shí)施例的詳細(xì)說明一起用于解釋本發(fā)明的原理，其中圖1是示出根據(jù)本發(fā)明實(shí)施例的數(shù)字照相機(jī)的框圖；圖2A、2B和2C是示出靜止圖像的設(shè)計(jì)實(shí)例的視圖；圖3是示出布局?jǐn)?shù)據(jù)的具體數(shù)據(jù)結(jié)構(gòu)的實(shí)例的說明圖；
圖4是示出第一實(shí)施例中靜止圖像產(chǎn)生過程的內(nèi)容的流程圖；圖5A是示出高亮幀(highlight frame)的選擇屏的視圖；圖5B是示出包括所選高亮幀的靜止圖像的視圖；圖6是示出靜止圖像產(chǎn)生過程生成的另一靜止圖像的實(shí)例的視圖；圖7是示出指定高亮幀之前或之后的時(shí)間值時(shí)顯示的時(shí)間設(shè)置屏的實(shí)例的視圖；圖8是示出第二實(shí)施例中靜止圖像產(chǎn)生過程的內(nèi)容的流程圖；圖9是示出設(shè)計(jì)選擇屏的視圖；以及圖10A和10B是示出幀圖布局形式(設(shè)計(jì))的變化實(shí)例的視圖。
具體實(shí)施例方式
第一實(shí)施例圖1是是示出根據(jù)本發(fā)明的實(shí)施例通用的數(shù)字照相機(jī)的框圖。該數(shù)字照相機(jī)具有靜止圖像記錄模式和運(yùn)動(dòng)圖像記錄模式作為記錄模式。該數(shù)字照相機(jī)還具有用于從運(yùn)動(dòng)圖像產(chǎn)生靜止圖像(使運(yùn)動(dòng)圖像變?yōu)殪o止圖像)并且記錄該靜止圖像的靜止圖像產(chǎn)生模式，作為用于通過記錄而顯示所記錄的圖像(靜止圖像或運(yùn)動(dòng)圖像)的再現(xiàn)模式的從屬模式，并且具有以下結(jié)構(gòu)。
具體地，數(shù)字照相機(jī)包括照相機(jī)主體1和記錄介質(zhì)，例如半導(dǎo)體存儲(chǔ)卡20，其可從照相機(jī)主體1上分離并可連接到照相機(jī)主體1。包括變焦透鏡和聚焦透鏡的光學(xué)系統(tǒng)2以及CCD3布置在照相機(jī)主體1中。該CCD3作為成像模塊運(yùn)作，并且由從定時(shí)脈沖發(fā)生器7發(fā)送的驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)，而且光電地將對(duì)象的光學(xué)圖像轉(zhuǎn)換成其輸出成像信號(hào)。來自CCD3的輸出信號(hào)在CDS(相關(guān)雙采樣)電路4中經(jīng)受相關(guān)雙采樣和增益調(diào)整，并且然后由A/D轉(zhuǎn)換電路5轉(zhuǎn)換成數(shù)字信號(hào)。AD—轉(zhuǎn)換的成像信號(hào)被輸入到DSP(數(shù)字信號(hào)處理)單元6，其中在DSP單元6中在該輸入信號(hào)上執(zhí)行包括消隱脈沖電平鉗位(pedestal clamping)的處理，并且然后由該單元中的亮度/色差矩陣電路轉(zhuǎn)換成亮度(Y)信號(hào)和色差(UV)信號(hào)。在DSP單元6中，還執(zhí)行諸如自動(dòng)光圈、自動(dòng)白平衡和邊緣增強(qiáng)的用于提高圖像質(zhì)量的過程。
通過分辨率轉(zhuǎn)換模塊8，將由DSP單元6轉(zhuǎn)換的YUV數(shù)據(jù)轉(zhuǎn)換成預(yù)置的圖像大小，并且然后，在內(nèi)置存儲(chǔ)器14(例如，SDRAM)中順序地存儲(chǔ)用于一幀的數(shù)據(jù)。存儲(chǔ)在內(nèi)置存儲(chǔ)器14中的用于一幀的YUV數(shù)據(jù)被發(fā)送到顯示器控制器11，并且在其中被轉(zhuǎn)換成視頻信號(hào)。其后，由液晶顯示器(LCD)12將所轉(zhuǎn)換的信號(hào)作為通過圖像(through image)，即運(yùn)動(dòng)圖像顯示。DSP單元6和分辨率轉(zhuǎn)換模塊8作為圖像產(chǎn)生模塊運(yùn)作，并且LCD12作為運(yùn)動(dòng)圖像顯示模塊運(yùn)作。
在以靜止圖像模式記錄時(shí)存儲(chǔ)在內(nèi)置存儲(chǔ)器14中的用于一幀的YUV數(shù)據(jù)，借助數(shù)據(jù)壓縮和擴(kuò)展模塊9被壓縮成為JPEG格式等，并且然后被編碼并成為內(nèi)置存儲(chǔ)器14中的文件。其后，該數(shù)據(jù)經(jīng)由介質(zhì)控制器10作為靜止圖像數(shù)據(jù)(靜止圖像文件)被記錄到作為記錄和保存模塊運(yùn)作的記錄介質(zhì)20上。
在以運(yùn)動(dòng)圖像模式時(shí)存儲(chǔ)在內(nèi)置存儲(chǔ)器14中的YUV數(shù)據(jù)，被發(fā)送到數(shù)據(jù)壓縮和擴(kuò)展模塊9，并通過預(yù)定運(yùn)動(dòng)圖像記錄格式(例如，Motion-JPEG或MPEG)的編解碼器壓縮并且然后編碼。最后，該數(shù)據(jù)經(jīng)用介質(zhì)控制器10作為運(yùn)動(dòng)圖像文件記錄在記錄介質(zhì)20中。在記錄運(yùn)動(dòng)圖像中的幀頻由定時(shí)脈沖發(fā)生器生成的定時(shí)信號(hào)確定，并且將要編碼的數(shù)據(jù)的壓縮率由數(shù)據(jù)壓縮和擴(kuò)展模塊9中的量化表值確定。
在再現(xiàn)靜止圖像或運(yùn)動(dòng)圖像的時(shí)候，數(shù)據(jù)壓縮和擴(kuò)展模塊9將從記錄介質(zhì)20讀取的靜止圖像或運(yùn)動(dòng)圖像的數(shù)據(jù)擴(kuò)展，并且將在內(nèi)置存儲(chǔ)器14中的數(shù)據(jù)展開為靜止圖像數(shù)據(jù)和運(yùn)動(dòng)圖像的幀數(shù)據(jù)。該展開的圖像被發(fā)送到顯示器控制器11，并且在其中被轉(zhuǎn)換成視頻信號(hào)，然后由LCD12作為再現(xiàn)圖像顯示。在LCD12上，如果需要，不僅顯示通過圖像和再現(xiàn)圖像，還顯示用于選擇和設(shè)置各種功能的菜單屏和設(shè)置屏。
音頻處理模塊15將記錄運(yùn)動(dòng)圖像時(shí)對(duì)照相機(jī)主體1中內(nèi)置的擴(kuò)音器16的音頻輸入轉(zhuǎn)換成數(shù)字信號(hào)，壓縮該數(shù)字信號(hào)，并且然后將壓縮的信號(hào)作為音頻數(shù)據(jù)發(fā)送到內(nèi)置存儲(chǔ)器14。發(fā)送到內(nèi)置存儲(chǔ)器14的音頻數(shù)據(jù)和幀數(shù)據(jù)一起，作為數(shù)據(jù)流順序地寫入記錄介質(zhì)20。在再現(xiàn)運(yùn)動(dòng)圖像的時(shí)候，音頻處理模塊15解碼從內(nèi)置存儲(chǔ)器14發(fā)送的音頻信號(hào)，將該音頻信號(hào)轉(zhuǎn)換成模擬音頻信號(hào)，并且然后將該數(shù)據(jù)作為來自照相機(jī)主體1中的內(nèi)置揚(yáng)聲器17的音頻輸出。
鍵輸入模塊18包括諸如電源鍵、模式切換鍵、快門鍵、菜單鍵和設(shè)置鍵的操作鍵，并且向CPU13輸出與用戶的鍵操作對(duì)應(yīng)的鍵輸入信號(hào)?？扉T鍵用于指示以靜止圖像模式記錄，用于指示以正常運(yùn)動(dòng)圖像模式記錄的開始/結(jié)束，并且也用于指示以過去的放映模式(past movie mode)記錄和保存。
每一個(gè)上述模塊由CPU13控制，CPU13控制各個(gè)模塊所需的程字和數(shù)據(jù)存儲(chǔ)在作為可編程非易失性存儲(chǔ)器的程序存儲(chǔ)器19中，例如EEPROM或閃存。通過根據(jù)上述程序和鍵輸入信號(hào)執(zhí)行其操作，CPU13包括獲取模塊、選擇模塊、靜止圖像產(chǎn)生模塊和控制模塊的功能。由用戶設(shè)置的與系統(tǒng)和各個(gè)功能相關(guān)的設(shè)置數(shù)據(jù)，也存儲(chǔ)在程序存儲(chǔ)器19中。
程序存儲(chǔ)器19作為布局信息存儲(chǔ)模塊操作，并且在靜止圖像產(chǎn)生模式的該操作中使用的布局?jǐn)?shù)據(jù)存儲(chǔ)在程序存儲(chǔ)器19中。布局?jǐn)?shù)據(jù)是示出將要在使運(yùn)動(dòng)圖像變?yōu)殪o止圖像中產(chǎn)生的靜止圖像的設(shè)計(jì)的數(shù)據(jù)，即，構(gòu)成運(yùn)動(dòng)圖像的多幀圖像(多幀)的數(shù)量、大小、布局等。圖2A和2C是示出上述設(shè)計(jì)的實(shí)例的視圖。
圖3是示出相應(yīng)于圖2B中示出的設(shè)計(jì)的布局?jǐn)?shù)據(jù)101的具體數(shù)據(jù)結(jié)構(gòu)的說明圖。如圖所示，布局?jǐn)?shù)據(jù)101包括每隔多項(xiàng)數(shù)據(jù)ID00到ID17確定的多項(xiàng)設(shè)置信息。在示出的數(shù)據(jù)項(xiàng)中，ID00“布局號(hào)”是示出設(shè)計(jì)類型的標(biāo)識(shí)號(hào)。ID04“高亮幀”和ID05到ID13“幀”是靜止圖像中的幀圖的布局區(qū)域(位置和大小)?！案吡翈笔鞘境霾季謪^(qū)域大于其它幀的布局區(qū)域的、作為本發(fā)明的代表性幀的高亮幀圖像的布局區(qū)域Fa的數(shù)據(jù)，而“幀”是示出其它幀中的圖像的布局區(qū)域Fb(相對(duì)于代表性幀稱作普通幀)的數(shù)據(jù)。同時(shí)，在一些設(shè)計(jì)類型中，可能沒有“高亮幀”，并且“幀”數(shù)據(jù)項(xiàng)的數(shù)量根據(jù)設(shè)計(jì)類型增加和減少。此外，ID14到ID17“位圖”是示出裝飾圖像和其布局的數(shù)據(jù)。
接下來，將說明具有上述結(jié)構(gòu)的數(shù)字照相機(jī)中設(shè)置靜止圖像產(chǎn)生模式時(shí)的操作。圖4是示出由CPU13執(zhí)行的靜止圖像產(chǎn)生過程的內(nèi)容的流程圖。
當(dāng)靜止圖像產(chǎn)生過程開始時(shí)，CPU13使LCD12顯示預(yù)定指示屏，并且允許用戶指定用于將要產(chǎn)生的靜止圖像的設(shè)計(jì)的選擇標(biāo)準(zhǔn)和用于高亮幀的選擇標(biāo)準(zhǔn)(步驟SA1)。用于設(shè)計(jì)的選擇標(biāo)準(zhǔn)包括“放映時(shí)間”和“運(yùn)動(dòng)圖像內(nèi)容”兩種類型，并且用于高亮幀的選擇標(biāo)準(zhǔn)包括“手動(dòng)”和“自動(dòng)”兩種類型。指定的選擇標(biāo)準(zhǔn)與數(shù)字照相機(jī)中的其它設(shè)置信息一起存儲(chǔ)在程序存儲(chǔ)器19中。
CPU13使LCD12顯示例如存儲(chǔ)在記錄介質(zhì)20中的運(yùn)動(dòng)圖像的第一幀的略圖列表，并且允許用戶通過預(yù)定的鍵操作選擇所需的運(yùn)動(dòng)圖像(步驟SA2)。當(dāng)選擇標(biāo)準(zhǔn)是“放映時(shí)間”時(shí)(步驟SA3中為是)，相應(yīng)于所選運(yùn)動(dòng)圖像的時(shí)間長度的設(shè)計(jì)的布局?jǐn)?shù)據(jù)101被從程序存儲(chǔ)器19中讀出(步驟SA4)。即，隨著放映時(shí)間變長，讀出其中排列有更多幀圖的設(shè)計(jì)的布局?jǐn)?shù)據(jù)101。
當(dāng)選擇標(biāo)準(zhǔn)是“運(yùn)動(dòng)圖像內(nèi)容”(步驟SA3中為否)時(shí)，CPU13在所選運(yùn)動(dòng)圖像的剪輯中獲取改變點(diǎn)的數(shù)量，例如，其中剪輯中的改變不少于預(yù)定標(biāo)準(zhǔn)的部分的數(shù)量，如其中音頻被打斷的時(shí)間周期是預(yù)定的時(shí)間周期的部分，或者其中色調(diào)的改變程度是預(yù)定的程度或更大的部分(步驟SA5)。然后，相應(yīng)于所獲取的改變點(diǎn)的數(shù)量的設(shè)計(jì)的布局?jǐn)?shù)據(jù)101被從程序存儲(chǔ)器19中讀出(步驟SA6)。即，隨著改變點(diǎn)的數(shù)量變大，讀出其中排列有更多幀圖的設(shè)計(jì)的布局?jǐn)?shù)據(jù)101。
在步驟SA7中確定步驟SA4或步驟SA6中讀出的布局?jǐn)?shù)據(jù)101是否包括高亮幀的信息，即自動(dòng)選擇的設(shè)計(jì)是否包括高亮幀。如果沒有高亮幀(步驟SA7中為否)，在通過用自動(dòng)選擇的設(shè)計(jì)中排列的幀圖的數(shù)量平分用戶所選的運(yùn)動(dòng)圖像的時(shí)間長度而獲得的時(shí)間點(diǎn)處的多個(gè)幀圖，被確定為用于產(chǎn)生靜止圖像的幀圖(步驟SA8)。產(chǎn)生其中所確定的多個(gè)幀圖根據(jù)布局?jǐn)?shù)據(jù)101排列的靜止圖像(步驟SA14)，并將產(chǎn)生的靜止圖像(靜止圖像文件)記錄在記錄介質(zhì)20中(步驟SA15)。
如果步驟SA7中的確定結(jié)果為是，并且在自動(dòng)選擇的設(shè)計(jì)中有高亮幀且用于前述高亮幀的選擇標(biāo)準(zhǔn)為“手動(dòng)”(步驟SA9中為否)，提示用戶選擇高亮幀(步驟SA10)。更具體地，在LCD12上顯示提示用戶選擇高亮幀的消息，以及根據(jù)用戶鍵操作而以單一幀前進(jìn)步驟或單一幀后退步驟顯示所選運(yùn)動(dòng)圖像的選擇屏110(參考圖5A)，并且在用戶執(zhí)行用于確定的鍵操作時(shí)的時(shí)間點(diǎn)處顯示的任意幀圖被確定為高亮幀。在確定的高亮幀之前和之后的若干幀，即由布局?jǐn)?shù)據(jù)101示出的用于與排列的幀的數(shù)量對(duì)應(yīng)的幀的幀圖，確定作為普通幀(步驟SA11)。
產(chǎn)生其中基于布局?jǐn)?shù)據(jù)101排列確定的高亮幀和普通幀的靜止圖像(步驟SA14)，并且產(chǎn)生的靜止圖像(靜止圖像文件)記錄在記錄介質(zhì)20中(步驟SA15)。圖5B示出了在圖5A中示出的幀圖被選作高亮幀的情況下產(chǎn)生和記錄的靜止圖像111。
如果在步驟SA7中的確定結(jié)果為是，并且在自動(dòng)選擇的設(shè)計(jì)中有高亮幀，且用于前述高亮幀的選擇標(biāo)準(zhǔn)是“自動(dòng)”(在步驟SA9中為是)，那么在所選運(yùn)動(dòng)圖像中剪輯的改變程度最大的幀上進(jìn)行確定，即相應(yīng)于預(yù)定的判斷標(biāo)準(zhǔn)的幀，并且該幀的圖像被確定為高亮幀的圖像(步驟SA12)。按照自動(dòng)選擇的設(shè)計(jì)中排列的幀圖數(shù)量平分的時(shí)間位置處的多個(gè)幀圖被確定為普通幀圖(步驟SA13)。產(chǎn)生其中基于布局?jǐn)?shù)據(jù)101排列確定的高亮幀和普通幀的靜止圖像(步驟SA14)，并且將所產(chǎn)生的靜止圖像(靜止圖像文件)記錄在記錄介質(zhì)20中(步驟SA15)。圖6示出了另一靜止圖像112，其基于與圖5B中所示的數(shù)據(jù)不同的布局?jǐn)?shù)據(jù)101被產(chǎn)生和記錄。
如上所述，在本實(shí)施例中，當(dāng)從運(yùn)動(dòng)圖像產(chǎn)生靜止圖像時(shí)，將要產(chǎn)生的靜止圖像中的幀圖的布局形式(排列的幀的數(shù)量和布局位置)，即，將要產(chǎn)生的靜止圖像的設(shè)計(jì)，根據(jù)位置的數(shù)量設(shè)置，其中運(yùn)動(dòng)圖像中的剪輯改變是預(yù)定的標(biāo)準(zhǔn)或更多。結(jié)果，運(yùn)動(dòng)圖像的全部特征反映在幀圖的布局形式上。因此，可能產(chǎn)生和記錄更適合的靜止圖像，其示出了運(yùn)動(dòng)圖像的全部特征。
同時(shí)，自動(dòng)選擇幀圖的布局形式中的標(biāo)準(zhǔn)不局限于上述的運(yùn)動(dòng)圖像中的幀之間的剪輯的改變程度，而是代替其，可以使用諸如將要變?yōu)殪o止圖像的運(yùn)動(dòng)圖像的時(shí)間長度的其它運(yùn)動(dòng)圖像信息。
另外，在該實(shí)施例中，當(dāng)在自動(dòng)選擇的設(shè)計(jì)中有高亮幀時(shí)，在自動(dòng)確定高亮幀的圖像中的判斷標(biāo)準(zhǔn)，是剪輯中具有最大改變的幀的圖像，但是代替其，判斷標(biāo)準(zhǔn)可以如下執(zhí)行。例如，可以用其對(duì)比度是最清晰的具有豐富色彩的幀圖，其音頻等級(jí)最高的幀的圖像，或者用戶事先指定的時(shí)間位置處的幀的圖像作為判斷標(biāo)準(zhǔn)。同樣在這些情況下，可能將運(yùn)動(dòng)圖像的全部特征反映在幀圖的布局形式上。
此外，在該實(shí)施例中，當(dāng)在自動(dòng)選擇的設(shè)計(jì)中有高亮幀并且提示用戶選擇高亮幀時(shí)，普通幀的圖像是用于指定的高亮幀之前和之后的若干幀的幀圖。然而，代替其，將要用作普通幀的范圍可以由用戶指定。在該情況下，例如，在上面的步驟SA10中選擇高亮圖像的時(shí)間點(diǎn)處，前述選擇屏110(圖5A)可以改變成如圖7中所示的時(shí)間設(shè)置屏113，并且用戶可以通過預(yù)定的鍵操作在高亮幀之前和之后指定時(shí)間(或幀的數(shù)量)。
而且，在將要成為靜止圖像的運(yùn)動(dòng)圖像以MPEG格式壓縮和編碼的情況下，普通幀的圖像可以從I圖(內(nèi)編碼圖幀內(nèi)編碼的圖像)中選出，作為不依賴于其它幀圖的獨(dú)立幀圖。在這種情況下，可以減少將要用作普通幀的恢復(fù)圖像的過程所需的負(fù)擔(dān)。
此外，當(dāng)在自動(dòng)選擇的設(shè)計(jì)中有高亮幀時(shí)，由高亮幀自動(dòng)設(shè)置的情況和高亮幀由用戶指定的情況之間的不同方法，設(shè)置普通幀的圖像。然而代替其，普通幀的圖像可以由兩種情況中的相同方法設(shè)置。另外，設(shè)置普通幀的圖像的上述方法可以在高亮幀自動(dòng)設(shè)置的情況和高亮幀由用戶指定的情況之間轉(zhuǎn)換。
第二實(shí)施例將描述根據(jù)本發(fā)明的數(shù)字照相機(jī)的第二實(shí)施例。與第一實(shí)施例相同的那些部分將用相同的附圖標(biāo)記表示并且它們的詳細(xì)描述將省略。在第二實(shí)施例中，在具有上述結(jié)構(gòu)的數(shù)字照相機(jī)中，CPU13具有獲取模塊、提取模塊、控制模塊、改變模塊和布局調(diào)整模塊的功能，由此，當(dāng)選擇靜止圖像產(chǎn)生放映模式時(shí)，執(zhí)行圖8中所示的下列靜止圖像產(chǎn)生過程。
更具體地，當(dāng)靜止圖像產(chǎn)生過程開始時(shí)，CPU13允許用戶從預(yù)先準(zhǔn)備的多個(gè)設(shè)計(jì)中選擇所需設(shè)計(jì)作為靜止圖像的設(shè)計(jì)(步驟SB1)。此時(shí)，CPU13使LCD12顯示提示用戶選擇設(shè)計(jì)的消息，和包括示出由存儲(chǔ)在程序存儲(chǔ)器19中的多個(gè)布局?jǐn)?shù)據(jù)101示出的布局形式的設(shè)計(jì)樣本的設(shè)計(jì)選擇屏210，如圖9中所示，并且允許用戶通過預(yù)定的鍵操作選擇所需設(shè)計(jì)(步驟SB1)。然后，相應(yīng)于所選設(shè)計(jì)的布局?jǐn)?shù)據(jù)101被從程序存儲(chǔ)器19中讀出(步驟SB2)。
例如，CPU13使LCD12顯示存儲(chǔ)在記錄介質(zhì)20中的運(yùn)動(dòng)圖像的頭幀(head frames)的略圖列表，并且允許用戶通過預(yù)定的鍵操作選擇所需的運(yùn)動(dòng)圖像(步驟SB3)。然后，CPU13在所選運(yùn)動(dòng)圖像的剪輯中獲取改變點(diǎn)的數(shù)量，例如，其中剪輯的改變不少于預(yù)定標(biāo)準(zhǔn)的部分的數(shù)量，如其中音頻被打斷的時(shí)間周期超過預(yù)定時(shí)間周期的部分，或者其中色調(diào)的改變程度是預(yù)定的程度或更大的部分(步驟SB4)。
當(dāng)獲取的改變點(diǎn)的數(shù)量大于步驟SB1中所選的設(shè)計(jì)中排列的幀圖的數(shù)量時(shí)(在步驟SB5中為是)，所選的設(shè)計(jì)自動(dòng)改變成排列的幀圖的數(shù)量超過上述改變點(diǎn)的數(shù)量并且最接近其的設(shè)計(jì)(步驟SB6)。相反地，當(dāng)獲取的改變點(diǎn)的數(shù)量小于步驟SB1中所選的設(shè)計(jì)中排列的幀圖的數(shù)量時(shí)(在步驟SB5中為否，在步驟SB7中為是)，在步驟SB2中讀出的布局?jǐn)?shù)據(jù)101示出的設(shè)計(jì)中排列的幀圖的數(shù)量改變成改變點(diǎn)的數(shù)量，并且執(zhí)行用于根據(jù)其擴(kuò)展布局間隔的數(shù)據(jù)校正(調(diào)整)(步驟SB8)。
圖10A和10B是示出改變布局間隔的實(shí)例的視圖，其中圖10A示出改變前的設(shè)計(jì)，而圖10B示出改變后的設(shè)計(jì)。
確定步驟SB2中讀出的布局?jǐn)?shù)據(jù)101、步驟SB5中改變的布局?jǐn)?shù)據(jù)101或者在步驟SB8中校正的布局?jǐn)?shù)據(jù)101是否包括高亮幀的信息。如果包括高亮幀的信息(步驟SB9中為是)，那么提取在這些部分的幀圖，這些部分是其中所選運(yùn)動(dòng)圖像的剪輯中改變點(diǎn)的改變程度是確定標(biāo)準(zhǔn)或更大，例如，在其中音頻被打斷的時(shí)間周期是預(yù)定的時(shí)間周期或更大的部分，或者其中色調(diào)的改變程度是預(yù)定的程度或更大的部分。然后，在幀圖中改變程度最大的幀圖被確定作為高亮幀，而其它幀被確定為普通圖像(步驟SB10)。產(chǎn)生其中確定的高亮幀和普通幀根據(jù)布局?jǐn)?shù)據(jù)101排列的靜止圖像(步驟SB12)，并且將產(chǎn)生的靜止圖像(靜止圖像文件)記錄在記錄介質(zhì)20中(步驟SB13)。
如果高亮幀的信息未包括(步驟SB9中為否)，提取在其中所選運(yùn)動(dòng)圖像的剪輯中改變點(diǎn)的改變程度是確定標(biāo)準(zhǔn)或更大的部分處的多個(gè)幀圖，并且它們被確定作為用于靜止圖像產(chǎn)生的幀圖(步驟SB11)。其中多個(gè)幀圖根據(jù)布局?jǐn)?shù)據(jù)101排列(步驟SB12)的靜止圖像和產(chǎn)生的靜止圖像(靜止圖像文件)記錄在記錄介質(zhì)20中(步驟SB13)。
如上所述，在該實(shí)施例中，當(dāng)從運(yùn)動(dòng)圖像產(chǎn)生靜止圖像時(shí)，在所選運(yùn)動(dòng)圖像的剪輯中改變點(diǎn)的改變程度是預(yù)定標(biāo)準(zhǔn)或更大的幀圖被自動(dòng)提取(選擇)作為排列在將要產(chǎn)生的靜止圖像幀中的幀圖。因此，可以使排列在靜止圖像中的多個(gè)幀圖成為示出運(yùn)動(dòng)圖像的全部特征的幀圖。因此，可以產(chǎn)生和記錄示出運(yùn)動(dòng)圖像的全部特征的更適合的靜止圖像。
在該實(shí)施例中，根據(jù)在剪輯中改變點(diǎn)的改變程度，從所選運(yùn)動(dòng)圖像中提取將要產(chǎn)生的靜止圖像中排列的幀圖。然而代替其，根據(jù)諸如例如對(duì)比度的清晰度(clearness of contrast)、色調(diào)豐富度和音頻等級(jí)的高度的其它運(yùn)動(dòng)圖像信息，可以提取將要產(chǎn)生的靜止圖像中排列的幀圖。同樣在這些情況下，可以使在靜止圖像中排列的多個(gè)幀圖成為顯示運(yùn)動(dòng)圖像的全部特征的幀圖。
例如，將要成為靜止圖像的運(yùn)動(dòng)圖像以MPEG格式被壓縮和編碼時(shí)，可以從I圖中提取在將要產(chǎn)生的靜止圖像中排列的幀圖。在該情況下，可以減少提取幀圖中所需的恢復(fù)幀圖的過程所需的負(fù)擔(dān)。
第一和第二實(shí)施例說明了具有從存儲(chǔ)在視頻記錄中的運(yùn)動(dòng)圖像產(chǎn)生靜止圖像，顯示并記錄(輸出)所產(chǎn)生的靜止圖像的功能的數(shù)字照相機(jī)。然而，本發(fā)明不局限于此，而是可以應(yīng)用到下列設(shè)備中。具體地，本發(fā)明可以應(yīng)用到根據(jù)經(jīng)由諸如各種類型的存儲(chǔ)卡的記錄介質(zhì)提供，或經(jīng)由來自數(shù)字照相機(jī)等的通信提供的運(yùn)動(dòng)圖像數(shù)據(jù)打印靜止圖像的打印機(jī)，和應(yīng)用到具有運(yùn)動(dòng)圖像記錄功能的內(nèi)置照相機(jī)的蜂窩電話。此外，本發(fā)明可以由普通的個(gè)人計(jì)算機(jī)通過使用用于執(zhí)行上述靜止圖像產(chǎn)生過程的程序來實(shí)現(xiàn)。
權(quán)利要求
1.一種圖像處理器，包括存儲(chǔ)器，其存儲(chǔ)運(yùn)動(dòng)圖像；布局信息存儲(chǔ)器，其存儲(chǔ)多項(xiàng)布局信息，所述布局信息表示包括在所述運(yùn)動(dòng)圖像中的多個(gè)幀圖的多個(gè)布局形式；獲取單元，其從存儲(chǔ)在所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中獲取所述運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；選擇器，其基于所述獲取單元獲取的所述運(yùn)動(dòng)圖像信息，選擇存儲(chǔ)在所述布局信息存儲(chǔ)器中的所述布局信息之一；以及靜止圖像產(chǎn)生單元，其產(chǎn)生靜止圖像，其中，包括在存儲(chǔ)于所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中的幀圖，排列成由所述選擇器選擇的所述布局信息示出的布局形式。
2.根據(jù)權(quán)利要求1所述的圖像處理器，其中所述運(yùn)動(dòng)圖像專有的所述運(yùn)動(dòng)圖像信息包括所述運(yùn)動(dòng)圖像的時(shí)間長度。
3.根據(jù)權(quán)利要求1所述的圖像處理器，其中所述運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息包括改變點(diǎn)的數(shù)量，所述改變點(diǎn)中，在所述運(yùn)動(dòng)圖像中包括的幀圖中的兩個(gè)相鄰幀圖之間的內(nèi)容的改變程度是閾值或更大。
4.根據(jù)權(quán)利要求1所述的圖像處理器，其中所述靜止圖像產(chǎn)生單元包括控制器，當(dāng)所述選擇器選擇的所述布局信息示出的所述布局形式包括這樣一種布局形式，其中該布局形式包括其大小大于其它幀圖的的大小的代表性幀圖時(shí)，所述控制器使用戶選擇將要用作所述代表性幀圖的幀圖。
5.根據(jù)權(quán)利要求4所述的圖像處理器，其中所述靜止圖像產(chǎn)生單元產(chǎn)生包括所述代表性幀圖的靜止圖像，和用于所述代表性幀圖之前和之后的預(yù)定時(shí)間周期的幀的多個(gè)幀圖。
6.根據(jù)權(quán)利要求5所述的圖像處理器，其中所述控制器允許用戶選擇所述代表性幀圖之前和之后的預(yù)定時(shí)間周期。
7.根據(jù)權(quán)利要求1所述的圖像處理器，其中所述靜止圖像產(chǎn)生單元包括控制器，當(dāng)所述選擇器選擇的所述布局信息示出的所述布局形式包括這樣一種布局形式，其中該布局形式包括大小大于其它幀圖的大小的代表性幀圖時(shí)，所述控制器基于預(yù)定的判斷標(biāo)準(zhǔn)從所述運(yùn)動(dòng)圖像的所有幀中確定將要用作所述代表性幀圖的幀圖。
8.根據(jù)權(quán)利要求7所述的圖像處理器，其中所述靜止圖像產(chǎn)生單元產(chǎn)生包括所述代表性幀圖的靜止圖像，和用于所述代表性幀圖之前和之后的預(yù)定時(shí)間周期的幀的多個(gè)幀圖。
9.根據(jù)權(quán)利要求8所述的圖像處理器，其中所述控制器允許用戶選擇所述代表性幀圖之前和之后的預(yù)定時(shí)間周期。
10.一種圖像處理方法，包括獲取運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；基于所獲取的運(yùn)動(dòng)圖像信息選擇布局信息之一；以及產(chǎn)生靜止圖像，其中包括在所述運(yùn)動(dòng)圖像中的幀圖排列成由所選的布局信息示出的布局形式。
11.一種包括計(jì)算機(jī)可用介質(zhì)的制造品，所述計(jì)算機(jī)可用介質(zhì)中嵌入了計(jì)算機(jī)可讀程序代碼模塊，所述計(jì)算機(jī)可讀程序模塊方法包括用于使計(jì)算機(jī)獲取運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息的計(jì)算機(jī)可讀程序代碼模塊；用于使計(jì)算機(jī)基于所獲取的運(yùn)動(dòng)圖像信息選擇布局信息之一的計(jì)算機(jī)可讀程序代碼模塊；以及用于使計(jì)算機(jī)產(chǎn)生靜止圖像的計(jì)算機(jī)可讀程序代碼模塊，所述靜止圖像中，包括在所述運(yùn)動(dòng)圖像中的幀圖排列成由所選的布局信息示出的布局形式。
12.一種照相機(jī)，包括圖像捕獲單元，其捕獲對(duì)象的運(yùn)動(dòng)圖像；存儲(chǔ)器，其存儲(chǔ)所述圖像捕獲單元捕獲的所述運(yùn)動(dòng)圖像；布局信息存儲(chǔ)器，其存儲(chǔ)多項(xiàng)布局信息，所述布局信息示出包括在所述運(yùn)動(dòng)圖像中的多個(gè)幀圖的多個(gè)布局形式；獲取單元，其從存儲(chǔ)在所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中獲取所述運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；選擇器，其基于所述獲取單元獲取的所述運(yùn)動(dòng)圖像信息，選擇存儲(chǔ)在所述布局信息存儲(chǔ)器中的所述布局信息之一；以及靜止圖像產(chǎn)生單元，其產(chǎn)生靜止圖像，其中，包括在存儲(chǔ)于所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中的幀圖，排列成由所述選擇器選擇的所述布局信息示出的布局形式。
13.一種圖像處理器，包括存儲(chǔ)器，其存儲(chǔ)運(yùn)動(dòng)圖像；獲取單元，其從存儲(chǔ)在所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中獲取所述運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；提取單元，其基于所述獲取單元獲取的所述運(yùn)動(dòng)圖像信息，從存儲(chǔ)在所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中提取幀圖；以及靜止圖像產(chǎn)生單元，其產(chǎn)生靜止圖像，其中所述提取單元提取的所述幀圖排列成預(yù)定的布局形式。
14.根據(jù)權(quán)利要求13所述的圖像處理器，其中所述運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息包括改變點(diǎn)的數(shù)量，所述改變點(diǎn)中，在包括于所述運(yùn)動(dòng)圖像中的幀圖中的兩個(gè)相鄰幀圖之間的內(nèi)容的改變程度是閾值或更大。
15.根據(jù)權(quán)利要求13所述的圖像處理器，還包括布局信息存儲(chǔ)器，其存儲(chǔ)多項(xiàng)布局信息；控制器，其使用戶選擇存儲(chǔ)在所述布局信息存儲(chǔ)器中的所述多項(xiàng)布局信息中的任意一項(xiàng)；以及改變單元，當(dāng)通過所述控制器選擇的所述布局信息示出的布局形式中的幀圖的數(shù)量低于由所述提取單元提取的所述幀圖的數(shù)量時(shí)，所述改變單元將所述靜止圖像產(chǎn)生單元產(chǎn)生所述靜止圖像過程中使用的所述布局信息改變?yōu)榇鎯?chǔ)在所述信息存儲(chǔ)器中的并且與所述幀圖的數(shù)量相應(yīng)的其它布局信息。
16.根據(jù)權(quán)利要求13所述的圖像處理器，其中所述靜止圖像產(chǎn)生單元包括布局調(diào)整單元，當(dāng)由所述提取單元提取的所述幀圖的數(shù)量低于由預(yù)定的布局信息示出的所述布局形式中的幀圖的數(shù)量時(shí)，所述布局調(diào)整單元基于所述提取單元提取的所述幀圖的數(shù)量，改變所述幀圖的數(shù)量和預(yù)定的布局信息的各個(gè)幀圖的布局間隔。
17.一種圖像處理方法，包括獲取運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；基于所獲取的運(yùn)動(dòng)圖像信息從所述運(yùn)動(dòng)圖像中提取幀圖；以及產(chǎn)生靜止圖像，其中所提取的幀圖排列成預(yù)定的布局形式。
18.一種包括計(jì)算機(jī)可用介質(zhì)的制造品，所述計(jì)算機(jī)可用介質(zhì)中嵌入了計(jì)算機(jī)可讀程序代碼模塊，所述計(jì)算機(jī)可讀程序代碼模塊包括用于使計(jì)算機(jī)獲取運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息的計(jì)算機(jī)可讀程序代碼模塊；用于使計(jì)算機(jī)基于所獲取的運(yùn)動(dòng)圖像信息從所述運(yùn)動(dòng)圖像提取幀圖的計(jì)算機(jī)可讀程序代碼模塊；以及用于使計(jì)算機(jī)產(chǎn)生靜止圖像的計(jì)算機(jī)可讀程序代碼模塊，所述靜止圖像中，所提取的幀圖排列成預(yù)定的布局形式。
19.一種照相機(jī)，包括圖像捕獲單元，其捕獲對(duì)象的運(yùn)動(dòng)圖像；存儲(chǔ)器，其存儲(chǔ)由所述圖像捕獲單元捕獲的所述運(yùn)動(dòng)圖像；獲取單元，其從存儲(chǔ)在所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中獲取所述運(yùn)動(dòng)圖像專有的運(yùn)動(dòng)圖像信息；提取單元，其基于所述獲取單元獲取的所述運(yùn)動(dòng)圖像信息，從存儲(chǔ)在所述存儲(chǔ)器中的所述運(yùn)動(dòng)圖像中提取幀圖；以及靜止圖像產(chǎn)生單元，其產(chǎn)生靜止圖像，其中，由所述提取單元提取的所述幀圖排列成預(yù)定的布局形式。
全文摘要
從用戶選擇的運(yùn)動(dòng)圖像中，獲取包括運(yùn)動(dòng)圖像的時(shí)間長度和運(yùn)動(dòng)圖像中剪輯的改變點(diǎn)的數(shù)量的運(yùn)動(dòng)圖像信息。示出將要產(chǎn)生的靜止圖像的設(shè)計(jì)(構(gòu)成運(yùn)動(dòng)圖像的多個(gè)幀圖的數(shù)量、大小、布局等)的布局?jǐn)?shù)據(jù)，根據(jù)所獲取的運(yùn)動(dòng)圖像信息，被可選擇地從存儲(chǔ)器中讀出。產(chǎn)生和輸出靜止圖像，其中預(yù)定的幀圖基于布局?jǐn)?shù)據(jù)排列。預(yù)定的幀圖根據(jù)設(shè)置規(guī)則自動(dòng)設(shè)置，所述設(shè)置規(guī)則根據(jù)是否存在關(guān)于高亮幀的數(shù)據(jù)而不同，所述高亮幀的大小大于所述數(shù)據(jù)中其它幀圖的大小。還可以指定高亮幀。
文檔編號(hào)G06F17/30GK1981305SQ20058002271
公開日2007年6月13日 申請日期2005年12月13日 優(yōu)先權(quán)日2004年12月17日
發(fā)明者今村圭一 申請人:卡西歐計(jì)算機(jī)株式會(huì)社