專利名稱：數(shù)字照相機裝置及其記錄方法
本申請是1999年8月24日提出的申請?zhí)枮?9118124.7，名稱為“數(shù)字照相機裝置及其記錄方法”的申請的分案申請。
本發(fā)明涉及向記錄介質(zhì)記錄拍攝的靜止圖象的照相機裝置及其記錄方法。
向記錄介質(zhì)，如軟盤和半導體存儲器等，記錄數(shù)字圖象信息的數(shù)字照相機正在變得普遍。數(shù)字照相機將拍攝的圖象轉(zhuǎn)換為數(shù)字圖象信號，壓縮該數(shù)字圖象信號，并將壓縮的圖象信息記錄到記錄介質(zhì)上。除了靜止圖象外數(shù)字照相機也能記錄活動圖象。
壓縮靜止圖象格式的JPEG(聯(lián)合圖象專家組Joint Photographic ExpertsGroup)格式和MPEG(活動圖象專家組MovingPicture ExpertGroup)格式是國際標準組織ISO采用的通用編碼格式。這些格式適用于數(shù)字照相機拍攝的圖象數(shù)據(jù)并在個人計算機中使用。在JPEG格式中，彩色靜止圖象由DCT(離散余弦變換)方法壓縮編碼。系數(shù)數(shù)據(jù)被量化。量化后的輸出以可變長度碼編碼。與此相對，在MPEG中，彩色活動圖象是壓縮編碼。即，在輸入圖象和活動補償預圖象間的幀差由DCT方法壓縮編碼。在數(shù)字照相機能記錄一個靜止圖象和一個與它相伴的聲信號時，靜止圖象的備忘可作為一聲信號被記錄。但是，因為JPEG格式的設(shè)計是記錄和傳送靜止圖象信息，與靜止圖象相伴的聲信息不能同時記錄和傳送。同樣地，在另外的靜止圖象格式中(GIF，TIFF，BMP等)，靜止圖象和與它相伴的聲信息不能同時記錄和傳送。雖然已知允許靜止圖象和相伴聲信息同時記錄和傳送的軟件(如ExifV.20)，但它應(yīng)用不普遍。即使帶有聲的靜止圖象數(shù)據(jù)以這種軟件的格式產(chǎn)生，再現(xiàn)帶聲靜止圖象數(shù)據(jù)的重現(xiàn)裝置的軟件不容易得到。
在MPEG格式中，有三類圖象，它們是I圖象(內(nèi)編碼圖象)、P圖象(預編碼圖象)和B圖象(雙向預編碼圖象)。
在MPEG格式中，當處理P圖象或B圖象時，因為這些圖象使用幀間運動補償預處理，編碼器/解碼器的電路尺寸變得大，并且軟件處理步驟顯著增加。因此，這個處理不適于小的輕的廉價的記錄/再現(xiàn)裝置，如數(shù)字照相機。為了解決這個問題，必須產(chǎn)生僅由I圖象構(gòu)成的MPEG流。但是，MPEG1(國際標準ISO-1172-2)標準限定，最小幀頻是23.97兆赫。因此，由于幀頻的限制，形成沒有P和B圖象僅由I圖象構(gòu)成的流是困難的。
因此，本發(fā)明的目的是提供與MPEG格式相應(yīng)的一種照相機裝置及其記錄方法，它不增加電路規(guī)模和處理步驟。
本發(fā)明另一目的是提供一種照相機裝置及其記錄方法，它將靜止圖象和與它相伴的聲以通用的MPEG格式編碼。
本發(fā)明另一目的是提供一種照相機裝置及其記錄方法，它能夠使以MPEG格式編碼活動圖象信號并以JPEG格式編碼靜止圖象信號的編碼器/解碼器結(jié)構(gòu)簡化。
本發(fā)明另一目的是提供一種照相機裝置及其記錄方法，它同時記錄拍攝的靜止圖象和相伴的聲信息。
為了達到上述目的，本發(fā)明的第一方面是一種照相機裝置，它以MPEG圖象格式或等同格式編碼從拍攝裝置接受的圖象信號，以MPEG圖象格式或等同格式編碼從聲輸入裝置接受的聲信號，將編碼的MPEG圖象信號和編碼的MPEG聲信號復合，向存儲裝置存儲復合的數(shù)據(jù)，所述照相機裝置包括I圖象生成裝置，與幀間intra-frame編碼處理相應(yīng)，將從的拍攝裝置接受的圖象信號編碼，以便產(chǎn)生MPEG圖象格式或等同格式的I圖象；控制裝置，控制向存儲裝置存儲復合數(shù)據(jù)的過程，其中所述控制裝置產(chǎn)生MPEG圖象格式或等同格式的P圖象或B圖象，使得活動圖象所有宏塊活動矢量為0，而按時間順序的前圖象作為編碼圖象被拷貝，其中所述控制裝置以MPEG聲格式或等同格式編碼從聲輸入裝置接受的聲信號，以產(chǎn)生MPEG聲數(shù)據(jù)，其中所述控制裝置將I圖象、P圖象或B圖象和MPEG聲數(shù)據(jù)復合，產(chǎn)生復合數(shù)據(jù)。
本發(fā)明的第二方面是一種照相機裝置，它對從拍攝裝置接受的圖象信號和從聲輸入裝置接受的聲信號進行編碼，向存儲裝置存儲編碼的信號，所述照相機裝置包括圖象編碼裝置，相應(yīng)于第一編碼方法或第二編碼方法將從拍攝裝置接受的圖象信號編碼，并相應(yīng)產(chǎn)生第一編碼圖象數(shù)據(jù)或第二編碼圖象數(shù)據(jù)；控制裝置，控制向存儲裝置存儲數(shù)據(jù)的過程，并相應(yīng)于一個選擇的記錄模式選擇第一編碼方法或第二編碼方法，其中所述控制裝置控制所述圖象編碼裝置，使得在照相機裝置中選擇了僅記錄圖象數(shù)據(jù)的方式時，相應(yīng)于第一編碼方法編碼圖象信號，并且其中所述控制裝置控制所述圖象編碼裝置，使得在照相機裝置中選擇了既記錄圖象數(shù)據(jù)又記錄聲數(shù)據(jù)的模式時，相應(yīng)于第二編碼方法編碼圖象信號。
本發(fā)明第三方面是照相機裝置的記錄方法，以MPEG圖象格式或等同格式將從拍攝裝置接受的圖象信號編碼，以MPEG聲音格式或等同格式將從聲輸入裝置接受的聲信號編碼，復合編碼的MPEG圖象信號和編碼的的MPEG聲信號，向存儲裝置存儲復合的數(shù)據(jù)，所述記錄方法包括步驟相應(yīng)幀間編碼處理，將從拍攝裝置接受的圖象信號編碼，以產(chǎn)生MPEG圖象格式或等同格式的I圖象，產(chǎn)生MPEG圖象格式或等同格式的P圖象或B圖象，使得所有宏塊的活動矢量為0，并且按時間順序的前圖象被作為編碼圖象拷貝，以MPEG聲音格式或等同格式將從聲輸入裝置接受的聲信號編碼，以產(chǎn)生MPEG聲數(shù)據(jù)，將I圖象、P圖象或B圖象與MPEG聲數(shù)據(jù)復合，產(chǎn)生復合數(shù)據(jù)，并將復合數(shù)據(jù)存儲在存儲裝置中。
本發(fā)明的第四方面是照相機裝置的記錄方法，它對從拍攝裝置接受的圖象信號和從聲輸入裝置接受的聲信號進行編碼，向存儲裝置存儲編碼的信號，所述記錄方法包括步驟當在照相機裝置中選擇了僅記錄圖象數(shù)據(jù)的方式時，相應(yīng)于第一編碼方法將從拍攝裝置接受的圖象信號編碼并向存儲裝置存儲編碼的圖象數(shù)據(jù)，以及當在照相機裝置中選擇了既記錄圖象數(shù)據(jù)又記錄聲數(shù)據(jù)的方式時，相應(yīng)于第二編碼方法編碼從拍攝裝置接受的圖象信號并向存儲裝置與編碼聲數(shù)據(jù)一起存儲編碼圖象數(shù)據(jù)。
根據(jù)本發(fā)明第一和第三方面，因為不進行動補償幀間預測處理，硬件規(guī)模和軟件處理步驟顯著減少。另外，因為能夠獲得MPEG格式或等同格式的編碼輸出數(shù)據(jù)，個人計算機易于使用編碼輸出數(shù)據(jù)。硬件規(guī)模小或軟件處理步驟少的同時，活動圖象記錄功能夠與靜止圖象記錄功能一起提供作為靜止數(shù)字照相機功能。另外，因產(chǎn)生的編碼數(shù)量少，拍攝的活動圖象能夠記錄到一外部存儲介質(zhì)上。
根據(jù)本發(fā)明第二和第四方面，數(shù)字照相機能實現(xiàn)同時記錄靜止圖象和聲信號的功能。另外，在記錄帶聲的靜止圖象時，僅能記錄靜止圖象。因此，能夠根據(jù)希望使用記錄的數(shù)據(jù)。
通過以下圖示的本發(fā)明優(yōu)選實施例的詳細說明，會更加明了本發(fā)明的所有目的、特征和優(yōu)點。


圖1是本發(fā)明實施例的數(shù)字照相機的整體結(jié)構(gòu)框圖；圖2是說明本發(fā)明實施例的圖象尺寸的示意圖；圖3是本發(fā)明編碼裝置結(jié)構(gòu)一例的框圖；圖4是本發(fā)明編碼裝置輸出信號幀結(jié)構(gòu)的示意圖；圖5是在帶聲活動圖象拍攝操作中，從編碼裝置輸出的系統(tǒng)流數(shù)據(jù)結(jié)構(gòu)的例子的示意圖；圖6是在帶聲靜止圖象拍攝操作中，從編碼裝置輸出的系統(tǒng)流數(shù)據(jù)結(jié)構(gòu)的例子的示意圖；圖7是本發(fā)明實施例的編碼器/解碼器結(jié)構(gòu)框圖。
下面說明本發(fā)明實施例的數(shù)字照相機。根據(jù)本發(fā)明實施例的數(shù)字照相機能拍攝并記錄靜止圖象，帶聲的靜止圖象和帶聲的活動圖象。圖1示出本發(fā)明實施例的數(shù)字照相機的整個結(jié)構(gòu)。見圖1，拍攝部分由鏡頭部分1和CCD(電荷偶合裝置)2構(gòu)成。從CPU12向鏡頭部分1供給控制信號。在鏡頭部分1中，根據(jù)從CPU12接受的控制信號進行自動光圈控制和自動聚焦控制操作。CCD2具有一個拍攝模式和線變稀模式line thin-out(稱為E-to-E模式)。在拍攝模式，讀所有象素。在線變稀模式中，線數(shù)被變稀1/3。CCD2根據(jù)CPU12的控制信號選擇拍攝模式和線變稀模式之一。CCD2的象素數(shù)是與XGA(擴展圖象矩陣Extended Graphics Array)相應(yīng)的1024×768。
下面說明CCD2實際操作。在靜止圖象拍攝模式中，信號電荷不混合，而是直接從光傳感器讀入垂直電荷轉(zhuǎn)移寄存器。所有象素的信號電荷連續(xù)地轉(zhuǎn)移到水平電荷轉(zhuǎn)移寄存器。在E-to-E模式或活動圖象拍攝模式(下面說明)，因為通過其向轉(zhuǎn)移門供給光傳感器的信號電荷的線數(shù)被等分，線數(shù)變稀到例如1/3。
應(yīng)理解本發(fā)明不限于上述結(jié)構(gòu)。即，可使用將線變稀的固態(tài)圖象傳感器(不限于CCD)，或?qū)⑺椒较蛳笏財?shù)變稀的固態(tài)圖象傳感器，或?qū)⒋怪狈较蚓€數(shù)和將水平方向象素變稀的固態(tài)圖象傳感器。
在E-to-E模式中，拍攝的圖象數(shù)據(jù)在一顯示部分(LCD8)上顯示，不存儲在存儲器中(DRAM9)。在E-to-E模式中，當拍攝圖象時，使用者設(shè)定視角。另外，在E-to-E模式中，聚焦點，曝光和白色平衡都被適當?shù)卣{(diào)節(jié)。即，使用者在按壓快門前檢查目標的狀態(tài)是E-to-E模式。在E-to-E模式中，從CCD2獲得1024×256象素的拍攝信號。例如，在拍攝模式，輸出16.67幀/秒的拍攝信號。相比，在E-to-E模式中，輸出50幀/秒的拍攝信號。
CCD2的輸出信號供給取樣保持和A/D轉(zhuǎn)換部分3。取樣保持和A/D轉(zhuǎn)換部分3產(chǎn)生每取樣10bits的拍攝數(shù)字信號。取樣和A/D轉(zhuǎn)換部分3由一相關(guān)雙重取樣電路構(gòu)成，以消除雜音、整形波形并補償有缺陷的象素。
數(shù)字拍攝信號供給照相機信號處理部分4。照相機信號處理部分4包括數(shù)字箝位電路、亮度信號處理電路、彩色信號處理電路、輪廓補償電路、缺陷補償電路、自動光圈控制電路、自動聚焦控制電路、自動白色平衡補償電路等。照相機信號處理部分4產(chǎn)生RGB信號轉(zhuǎn)換成的數(shù)字分量信號(由亮度信號和色差信號構(gòu)成)。
數(shù)字拍攝信號的分量由照相機信號處理部分4供給到存儲器控制器5。存儲器控制器5連接到顯示緩沖存儲器6和CUP12的總線14。緩沖存儲器6處理分量信號，產(chǎn)生RGB信號并將RGB信號輸出到D/A轉(zhuǎn)換器7。D/A轉(zhuǎn)換器7向LCD8供給模擬信號。緩沖存儲器6在相應(yīng)于LCD8的顯示定時的定時輸出RGB信號。
總線14連接DRAM(動態(tài)隨機訪問存儲器)9、CPU12、編碼器/解碼器15和接口10。DRAM9根據(jù)分別從存儲控制器5或CPU12來的地址信號或控制信號被控制。存儲控制器5具有象素數(shù)目轉(zhuǎn)換功能，以相應(yīng)于使用者設(shè)定的圖象大小或操作方式轉(zhuǎn)換象素數(shù)目。
例如，如圖2所示，用圖1所示的數(shù)字照相機，一個圖象可以以XGA、VGA(圖象矩陣640×480象素)、CIF(普通中間格式320×240象素)和QCIF(四分之一CIF160×120象素)圖象格式之一記錄。然而，因為MPEG格式中每個宏塊的尺寸是16×16象素，在圖象格式QCIF中的圖象是由160×112象素構(gòu)成。即，在圖象格式QCIF中圖象的上部和下部被除去。在圖象格式XGA中，CCD2的拍攝信號直接被記錄。圖象格式XGA和VGA適用于記錄靜止圖象。圖象格式CIF適用于記錄帶聲的靜止圖象。圖象格式CIF和QCIF適用于記錄帶聲的活動圖象。
編碼器/解碼器15壓縮(編碼)或解壓縮(解碼)圖象數(shù)據(jù)。例如，在處理靜止圖象時，使用JPEG(聯(lián)合圖象專家組)格式。在處理活動圖象時，使用MPEG(活動圖象專家組)格式。編碼器/解碼器15具有與兩個編碼格式相應(yīng)的功能。實際上，使用MPEG1格式作為壓縮活動圖象的格式。
在MPEG1格式中有三類圖象I圖象、P圖象和B圖象。在I圖象編碼時，僅使用它的信息。此時，一個I圖象僅可用它的信息解碼。在P圖象編碼時，使用在現(xiàn)有P圖象時間順序前解碼的I圖象作為預圖象(即獲得差別的參考圖象)。另外，P圖象僅用它的信息編碼。在一個P圖象編碼時，對任何一個有效的宏塊選擇這些編碼處理中的一個。在B圖象編碼時，使用在現(xiàn)有B圖象時間順序前解碼的I圖象或P圖象作預圖象，或使用在現(xiàn)有B圖象時間順序后解碼的I圖象或P圖象作預圖象，或使用這些預圖象的一個插入圖象?；蛘撸珺圖象僅用它的信息編碼。對每個宏塊選擇這四個編碼處理最有效的之一。
這樣，有四類宏塊內(nèi)宏塊(僅用幀內(nèi)信息編碼)；向前幀間預宏塊，前面宏塊用過去的宏塊預測；向后的幀間預宏塊，過去宏塊用前面的宏塊預測；和一插入幀間預宏塊，當前宏塊用前面宏塊和過去宏模預測。I圖象的所有宏塊是內(nèi)宏塊。P圖象含有內(nèi)宏塊、向前幀間預宏塊。B圖象含有所有這四類宏塊。
在MPEG1格式中，對每個(8×8象素的)宏塊進行DCT處理。一個宏塊由四個亮度(Y)模塊和兩個色差(Cb和Cr)模塊構(gòu)成。一個片層由預定數(shù)目的宏塊構(gòu)成。一圖象層由多個片層構(gòu)成。一個宏塊含有一個代表一宏塊類型的編碼，一個代表宏塊地址增加的編碼，一個運動矢量的水平分量和垂直分量，一個代表當前宏塊的六塊是否有系數(shù)的編碼等。MPEG1格式限定片的第一宏塊和最后宏塊不能跳過。片層含有代表當前片層開始的編碼。
根據(jù)本發(fā)明的實施例，在記錄帶聲靜止圖象或帶聲活動圖象時，以MPEG格式編碼圖象數(shù)據(jù)。如下說明的，根據(jù)本發(fā)明實施例的數(shù)字照相機的編碼器/解碼器15進行MPEG編碼處理，省略運動補償幀間預處理，以減少產(chǎn)生編碼的量。
接口10是外存儲介質(zhì)11和CPU12間的接口。盤形記錄介質(zhì)(如軟盤)和存儲卡是此類外存儲介質(zhì)的例子。從操作和輸入部分13向CPU12供給一個操作信號。操作和輸入部分13包括一個快門按鈕和使用者操縱的各開關(guān)。另外，操作和輸入部分13包括一數(shù)字照相機的拍攝(記錄)模式開關(guān)和向外部存儲介質(zhì)指定存儲圖象大小的圖象尺寸開關(guān)。操作和輸入部分13檢測每個按鈕和開關(guān)的操作，并向CPU12供給檢測信號作為操作信號?？扉T速度和光圈根據(jù)目標和拍攝狀態(tài)自動設(shè)定。除自動模式外數(shù)字照相機可以有多種拍攝模式。
在數(shù)字照相機拍攝圖象時，CCD2設(shè)定到E-to-E模式。在E-to-E模式，設(shè)定視角。而且，在E-to-E模式，正確設(shè)定聚焦和曝光。在E-to-E模式，CCD2輸出拍攝信號(1024×256象素)，所述拍攝信號是通過鏡頭部分1聚焦的圖象信號在垂直方向變稀到3。拍攝信號通過S/H和H/D轉(zhuǎn)換部分3供給照相機信號處理部分4。數(shù)字分量信號從照相機信號處理部分4供到存儲控制器5。通過存儲控制器5拍攝信號寫入到緩沖存儲器6。根據(jù)LCD8的顯示定時讀出拍攝信號，并供給D/C轉(zhuǎn)換器7。D/C轉(zhuǎn)換器7將數(shù)字信號的拍攝信號轉(zhuǎn)換成模擬信號。模擬信號在LCD8上顯示。此時，數(shù)字照相機從寫入到緩沖器6的1024×256象素區(qū)域剪切一個960×240象素區(qū)，從緩沖存儲器6以雙倍速度讀出剪切區(qū)域的數(shù)據(jù)，并向LCD8顯示從緩沖存儲器6讀出的數(shù)據(jù)。
接下來，在快門被按時，圖象被拍攝。在靜止圖象拍攝模式(圖象格式XGA或VGA)為拍攝模式時，當快門被按下，數(shù)字照相機處于拍攝靜止圖象的靜止圖象拍攝模式。在靜止圖象拍攝模式，CPU12使CCD2在拍攝模式工作。因此，CCD2以10幀/秒的速度輸出高分辨率圖象(圖象格式XGA)。在存儲控制器5控制下，拍攝的圖象(原始圖象)數(shù)據(jù)(圖象格式XGA或VGA)直接存儲到DRAM9中。
在原始圖象數(shù)據(jù)存儲到DRAM9中時，在CPU12控制下，原始圖象數(shù)據(jù)由編碼器/解碼器15壓縮。壓縮的圖象數(shù)據(jù)(JPEG數(shù)據(jù))存儲到DRAM9。此時，JPEG數(shù)據(jù)存儲到與原始圖象數(shù)據(jù)的區(qū)域不同的區(qū)域。然后，在CPU12控制下，JPEG數(shù)據(jù)被從DRAM9讀出。JPEG數(shù)據(jù)通過接口10寫入到外存儲介質(zhì)11(例如，軟盤)的特殊區(qū)域。
此外，根據(jù)本發(fā)明實施例的數(shù)字照相機具有記錄/再現(xiàn)與拍攝的靜止圖象或活動圖象相伴的聲信號的功能。作為觸發(fā)在快門按下時，在預定時間段記錄聲數(shù)據(jù)。在圖1中，數(shù)碼16是話筒。聲信號通過放大器17從話筒16供到A/D轉(zhuǎn)換器18。A/D轉(zhuǎn)換器18以32kHz的頻率對聲信號取樣，將模擬信號的取樣信號轉(zhuǎn)換成數(shù)字聲信號。數(shù)字聲信號從A/D轉(zhuǎn)換器18供到存儲控制器5。數(shù)字聲信號臨時存儲到存儲控制器5的緩沖存儲器。
CPU12通過中斷處理讀出緩沖存儲器的內(nèi)容，并通過軟件處理將數(shù)字聲信號壓縮為MPEG聲層2格式(國際標準1172-3)或等同格式。MPEG聲層2格式的編碼處理包括一個子帶編碼處理、比例處理和比特分配處理。此時，編碼處理可在MPEG聲層1格式或MPEG聲層3格式進行。由軟件壓縮處理產(chǎn)生的MPEG聲流寫入到DRAM9。在MPEG聲流寫入到DRAM9時，在CPU12控制下，進行MPEG聲流和MPEG圖象流復合處理，得到的流作為一個系統(tǒng)流寫入到DRAM9。從DRAM9讀出的系統(tǒng)流通過接口10，如一軟盤控制器，以通用格式記錄到外存儲介質(zhì)如軟盤中。
在帶聲活動圖象拍攝模式中，在快門按下時，數(shù)字照相機處于拍攝活動圖象的活動圖象拍攝模式中。在活動圖象拍攝模式中，CCD2以一種不同于上述靜止圖象拍攝的E-to-E模式工作。CCD2輸出拍攝信號，它的線數(shù)變稀到1/3。這是因為在活動圖象拍攝模式中，必須跟蹤圖象的運動，并防止圖象數(shù)據(jù)量增加。在活動圖象拍攝模式中，當按下快門按鈕時，以預定時間段(如5秒)拍攝圖象。然而，用快門按鈕操作可以延長拍活動圖象的時間段。
活動圖象拍攝模式中，圖象格式CIF和QCIF之一設(shè)定為圖象尺寸。存儲控制器5根據(jù)選擇的尺寸進行象素數(shù)轉(zhuǎn)換處理。編碼器/解碼器15壓縮從存儲控制器5接受的圖象數(shù)據(jù)。壓縮的圖象數(shù)據(jù)(MPEG數(shù)據(jù))存儲到DRAM9。在圖象壓縮和存儲處理完成后，在活動圖象拍攝模式中，在CPU12控制下，MPEG數(shù)據(jù)寫入外存儲介質(zhì)11的預定區(qū)域。如在CIF圖象格式(大小)中，15秒的活動圖象可記錄在軟盤上。在QCIF圖象格式中，60秒的活動圖象可記錄在軟盤上。
在從外存儲介質(zhì)11再現(xiàn)靜止圖象(XGA或VGA圖象格式)時，CPU12通過接口10從外存儲介質(zhì)11讀出JPEG數(shù)據(jù)。編碼器/解碼器15將JPEG數(shù)據(jù)解壓縮。CPU12向DRAM9寫入解壓縮的靜止圖象數(shù)據(jù)。存儲控制器5從DRAM9讀出靜止圖象數(shù)據(jù)。靜止圖象數(shù)據(jù)轉(zhuǎn)移到緩沖存儲器26，并在LCD8上顯示。此時，存儲控制器5轉(zhuǎn)換靜止圖象的象素數(shù)。因此，再現(xiàn)的圖象以與E-to-E模式相同的象素數(shù)顯示。
在從外存儲介質(zhì)11再現(xiàn)活動圖象(圖象格式XGA或VGA)時，CPU12向DRAM9寫入從軟盤讀出的MPEG數(shù)據(jù)(活動圖象文件)。CPU12使編碼器/解碼器15解壓從DRAM9以MPEG格式讀出的數(shù)據(jù)。存儲控制器5相應(yīng)于已記錄的圖象尺寸轉(zhuǎn)換解壓圖象數(shù)據(jù)的象素數(shù)目。產(chǎn)生的數(shù)據(jù)在LCD8上顯示。在活動圖象(CIF或QCIF圖象格式)再現(xiàn)并顯示時，減小尺寸的活動圖象在LCD8上顯示。
在靜止圖象或活動圖象和與它們相伴的聲信號再現(xiàn)時，CPU12向DRAM9存儲從外存儲介質(zhì)11再現(xiàn)的系統(tǒng)流。CPU12將聲流從DRAM9讀出的系統(tǒng)流分開，以MPEG聲音格式解碼聲流。造成的聲流轉(zhuǎn)移到存儲控制器5的緩沖存儲器。一個D/A轉(zhuǎn)換器19將存儲在緩沖存儲器中的聲數(shù)據(jù)轉(zhuǎn)成模擬聲信號。得到的模擬聲信號通過放大器20由揚聲器21再現(xiàn)。
根據(jù)本發(fā)明的實施例，在拍攝靜止圖象時，原始圖象數(shù)據(jù)存儲到DRAM9。然后，編碼器/解碼器15以JPEG格式壓縮圖象數(shù)據(jù)，并將得到的數(shù)據(jù)作為JPEG數(shù)據(jù)存儲到DRAM9的另一區(qū)域。然后，數(shù)字照相機將JPEG數(shù)據(jù)存儲到外存儲介質(zhì)11。在拍攝活動圖象時，數(shù)字照相機將一個拍攝的圖象存儲到DRAM9的一工作區(qū)域。編碼器/解碼器15以MPEG1格式壓縮圖象。產(chǎn)生的壓縮數(shù)據(jù)作為MPEG數(shù)據(jù)存儲到DRAM9的另一區(qū)域。對活動圖象的每幀進行這種處理。數(shù)字照相機向外存儲介質(zhì)11存儲MPEG數(shù)據(jù)。在拍攝活動圖象時，能進行帶聲的活動圖象拍攝，與活動圖象一起記錄聲音。
此外，數(shù)字照相機能進行帶聲靜止圖象拍攝。即，在靜止圖象拍攝時，用在快門被按壓后預定時間段或正在按壓時的聲信號，數(shù)字照相機產(chǎn)生一MPEG聲流。而且，數(shù)字照相機向DRAM9寫入由MPEG聲流和MPEG圖象流復合的系統(tǒng)流，并也向外存儲介質(zhì)11記錄該系統(tǒng)流。
下面說明帶聲靜止圖象拍攝。以拍攝模式由CCD2拍攝的一個高分辨率(XGA或VGA圖象格式)圖象的圖象數(shù)據(jù)存儲到DRAM9。CPU12從DRAM9讀出原始圖象數(shù)據(jù)，轉(zhuǎn)換圖象數(shù)據(jù)象素數(shù)并產(chǎn)生以CIF圖象格式減小的圖象。編碼器/解碼器15以MPEG格式壓縮減小的圖象。編碼器/解碼器15以原始的減小圖象產(chǎn)生I圖象，并向DRAM9寫入I圖象。
在I圖象后，作為P或B圖象的固定數(shù)據(jù)被置于一數(shù)據(jù)流中。固定數(shù)據(jù)代表一個整幀的所有宏塊的活動矢量為0。另外，固定數(shù)據(jù)代表前幀的預編碼。P或B圖象的時間段大致等于聲信號時間段。在這樣的圖象流解碼并顯示時，前幀圖象被拷貝并顯示。因此，顯然，在P或B圖象的時間段，能夠顯示一靜止圖象。
在快門按下(如正在按快門時)作為觸發(fā)后的預定時間段的聲信號通過話筒16、放大器17和A/D轉(zhuǎn)換器18供給存儲控制器5的緩沖存儲器。CPU12根據(jù)MPEG聲音格式編碼在緩沖存儲器存儲的聲數(shù)據(jù)，產(chǎn)生MPEG聲流。
CPU12將MPEG圖象流和MPEG聲流復合，產(chǎn)生作為MPEG系統(tǒng)流的流。CPU12向DRAM9的記錄數(shù)據(jù)區(qū)域存儲MPEG系統(tǒng)流。DRAM9的記錄數(shù)據(jù)區(qū)域存儲的系統(tǒng)流通過接口10記錄到外存儲介質(zhì)(如軟盤)。
在MPEG系統(tǒng)流記錄到外存儲介質(zhì)11后，CPU12從DRAM9讀出原始圖象數(shù)據(jù)(XGA或VGA圖象格式)，并使編碼器/解碼器15以JPEG格式壓縮原始圖象數(shù)據(jù)。然后，CPU12向DRAM9的記錄數(shù)據(jù)區(qū)域重寫JPEG靜止圖象流。在DRAM9中的記錄數(shù)據(jù)區(qū)域存儲的靜止圖象流通過接口10記錄到外存儲介質(zhì)11(如軟盤)。因此，在帶聲靜止圖象拍攝中，僅含有靜止圖象的JPEG文件和含有I圖象(與靜止圖象同時拍攝的)和聲信息的MPEG文件同時產(chǎn)生。
下面參照圖3詳細說明在帶聲靜止圖象拍攝中使用的MPEG編碼處理。一個靜止圖象(CIG或QCIF圖象格式，是轉(zhuǎn)換XGA或VGA格式靜止圖象信號的象素數(shù)而成的)的圖象信號從圖象信號處理裝置輸入端子23向I圖象編碼器24輸入。I圖象編碼器24根據(jù)MPEG圖象格式將輸入圖象信號轉(zhuǎn)換成I圖象。另外，聲信號從話筒16或線路輸入端子輸入到輸入端子25。從輸入端子25來的聲信號供給MPEG聲編碼器26。MPEG聲編碼器26將聲信號轉(zhuǎn)換成相應(yīng)于MPEG聲音格式的信號。
P/B圖象生成器27產(chǎn)生與圖象尺寸相應(yīng)的固定數(shù)據(jù)，不進行運動補償幀間預處理，如運動檢測處理。因此，不必須向P/B圖象生成器27供給圖象信號。如上所述，固定數(shù)據(jù)代表一整幀的宏塊的活動矢量為0。另外，固定數(shù)據(jù)代表前幀的預編碼。因此，固定數(shù)據(jù)是前幀的圖象。更具體的是，CIF或QCIF格式的圖象被作為一片處理。除了片的第一和最后宏塊外的所有宏塊都被跳過。編碼第一和最后宏塊使得它們的活動矢量為0。雖然一個圖象可以分成多片，但頭標信息將增加。
因為要跳過的宏塊數(shù)被編碼，P/B圖象生成器27產(chǎn)生的圖象數(shù)據(jù)量相應(yīng)于圖象尺寸變化。實際上，在相應(yīng)于CIF圖象格式中的MPEG1格式的P圖象的數(shù)據(jù)量是28字節(jié)。在相應(yīng)于QCIF圖象格式中的MPEG1格式的P圖象的數(shù)據(jù)量是19字節(jié)。因此，在相同圖象反復處在流中，并且解碼的圖象顯然作為一靜止圖象顯示時，這樣的P或B圖象，數(shù)據(jù)量可顯著降低。
在圖3中，數(shù)碼28是MPEG系統(tǒng)編碼器。MPEG系統(tǒng)編碼器28根據(jù)MPEG系統(tǒng)格式，復合從I圖象編碼器24、P/B圖象生成器27和MPEG聲編碼器26接受的信號，并且將復合的信號作為MPEG系統(tǒng)流供給輸出端子29。如上所述，MPEG系統(tǒng)流存儲到DRAM9。I圖象編碼器24包含在編碼器/解碼器15中。P/B圖象生成器27，MPEG聲編碼器26和MPEG系統(tǒng)編碼器28通過CPU12的軟件處理完成工作。
圖3示出的結(jié)構(gòu)可用于帶聲靜止圖象拍攝和帶聲活動圖象拍攝。帶聲活動圖象拍攝中，與拍攝的活動圖象一幀相等的圖象信號(CCD2拍攝信號象素數(shù)轉(zhuǎn)換的CIF或QCIF圖象格式)供給到I圖象編碼器24。另外，P/B圖象生成器27產(chǎn)生固定數(shù)據(jù)，不進行運動補償幀間預處理。
圖4示出，在帶聲活動圖象拍攝中，從P/B圖象生成器27接受的P或B圖象處于從I圖象編碼器24接受的I圖象后的幀結(jié)構(gòu)的例子。每個I圖象由兩個P圖象跟隨。這兩個P圖象是由P/B圖象生成器27產(chǎn)生。P圖象數(shù)據(jù)量比I圖象的少的多。在圖4的例中，三幀中的一幀被變稀。因此，幀頻減少到1/3。因此，能達到滿足MPEG標準的最小幀頻的例如25Hz的幀頻。然而，位于I圖象間的P或B圖象的數(shù)取決于希望的幀頻。在至少一個P或B圖象位于I圖象間時，幀頻即可減少。
下面參照圖5和6說明由MPEG系統(tǒng)編碼器28產(chǎn)生的系統(tǒng)流的結(jié)構(gòu)(組結(jié)構(gòu))例子。圖5示出在帶聲活動圖象拍攝中的組結(jié)構(gòu)。圖6示出在帶聲靜止圖象拍攝中的組結(jié)構(gòu)。在活動圖象拍攝中的組結(jié)構(gòu)是基于與MPEG1格式一致的系統(tǒng)流。另外，為了有效復合數(shù)據(jù)流，組結(jié)構(gòu)具有以下特征。
一個組的大小是固定的。一個組包含聲訪問部分和圖象訪問部分，使得聲訪問部分和圖象訪問部分的時間段相等。MPEG系統(tǒng)編碼器28在一個組中放置例如10聲幀信息和9圖象幀信息。一圖象幀時間段是1/25秒。MPEG聲層2格式中的訪問部分包含每幀1152取樣數(shù)據(jù)。聲取樣頻率是32kHz。因此，上述信息的時間段等于0.36秒。
另外，MPEG系統(tǒng)編碼器28在一個分組中放置多個訪問部分的數(shù)據(jù)。另外，MPEG系統(tǒng)編碼器28在組開始設(shè)置帶固定長度的聲分組。而且MPEG系統(tǒng)編碼器28，對每三個圖象幀(如一個I圖象和兩個P圖象)置一個分組。MPEG系統(tǒng)編碼器28在每個組端部置一填充流分組(空數(shù)據(jù))，使組長度固定。
如圖5所示，第一分組有10幀聲信息。第二、第三和第四分組每一個有三幀圖象信息。最后分組有填充流。
在這樣的組結(jié)構(gòu)中，在一圖象拍攝時，從聲編碼器輸出的數(shù)據(jù)和從圖象編碼器輸出的數(shù)據(jù)能夠以實時為基礎(chǔ)復合，不被緩沖。另外，一個I圖象由速度控制包含在固定長度的一組中。因組長度固定，SCR(系統(tǒng)時鐘參考)和PST(表示時戳presentation time stamp)的值能以簡單的加法處理實現(xiàn)。
下面參照圖6說明帶聲靜止圖象拍攝中的組結(jié)構(gòu)。組1(第一組)包含一靜止圖象(I圖象)。即，組1包含有一聲分組；一圖象分組，它有靜止圖象已被編碼的I圖象；和具有相同PTS的P或B圖象(至少一個)。組2有一聲分組和一P或B圖象(至少一個)。
在圖象編碼時，MPEG系統(tǒng)編碼器28用組1對圖象進行編碼處理，使得解碼器能再現(xiàn)一靜止圖象和一聲信號。在后來的組中，為了減少數(shù)據(jù)量，MPEG系統(tǒng)編碼器28設(shè)置組2結(jié)構(gòu)。因此，在一靜止圖象正顯示時，相伴的聲信號能再現(xiàn)。因為在與要記錄的聲信息相等的時間段內(nèi)需要圖象信息，MPEG系統(tǒng)編碼器28以組2的結(jié)構(gòu)對該時間段設(shè)置圖象分組。然而在不心須減小編碼量時，MPEG系統(tǒng)編碼器28可僅以組1的結(jié)構(gòu)形成系統(tǒng)流。
作為組的結(jié)構(gòu)一例，對于圖6所示的組3，每個組的分組數(shù)可以是一個，而不同于組1和2的結(jié)構(gòu)。對于組4和5，一I圖象和一P或B圖象可以置于兩個連續(xù)的組中。另外，可以有多個靜止圖象顯示。此時，在組1以預定時間段間隔被置于一流中時，再現(xiàn)不同的靜止圖象的同時，相伴的聲數(shù)據(jù)可再現(xiàn)，作為幻燈顯示。
根據(jù)本發(fā)明實施例，編碼器/解碼器15應(yīng)相應(yīng)于JPEG格式和MPEG格式編碼解碼圖象。圖7示出編碼器/解碼器15結(jié)構(gòu)的例子。在本發(fā)明實施例中，當相應(yīng)于MPEG格式編碼圖象時，不進行幀間運動補償預處理。結(jié)果在JPEG編碼器和MPEG編碼器間共用DCT處理的結(jié)構(gòu)可有效地利用。
在圖7中，作為塊(每個由(8×8象素)構(gòu)成)的圖象數(shù)據(jù)供給輸入端子31。從輸入端子31向DCT部分32供給圖象數(shù)據(jù)。DCT部分32進行圖象數(shù)據(jù)的余弦變換處理，并相應(yīng)于每個塊的單個象素數(shù)據(jù)產(chǎn)生64個系數(shù)(一個DC分量和63個AC分量)。系數(shù)數(shù)據(jù)供給掃描部分33。掃描部分33根據(jù)兩個掃描法(鋸齒掃描法和交替掃描法)之一掃描系數(shù)數(shù)據(jù)。
掃描部分33的輸出信號供給量化部分34a和34b。量化部分34a和34b用相應(yīng)的比例因數(shù)量化系數(shù)數(shù)據(jù)。一個量化輸出由開關(guān)電路SW1選擇。在進行JPEG編碼處理時，開關(guān)電路SW1選擇量化部分34a的量化輸出。在進行MPEG編碼處理時，開關(guān)電路SW1選擇量化部分34b的量化輸出。
開關(guān)電路SW1選擇的量化輸出供給JPEG可變長度碼編碼部分35a和MPEG可變長度碼編碼部分35b。因為JPEG可變長度碼編碼和MPEG可變長度碼編碼處理彼此使用不同的霍夫曼表，提供兩個霍夫曼表36a和36b。在進行JPEG編碼處理時，系數(shù)數(shù)據(jù)的AC分量由可變長度碼編碼部分35a和霍夫曼表36a以可變長度碼編碼。開關(guān)電路SW2選擇編碼輸出。在進行MPEG編碼處理時，系數(shù)數(shù)據(jù)的AC分量由可變長度碼編碼部分35b和霍夫曼表36b以可變長度碼編碼。開關(guān)電路SW2選擇編碼輸出。
開關(guān)電路SW2連接到頭標附加部分37a和37b。頭標附加部分37a向流附加相應(yīng)于JPEG格式的頭標。頭標附加部分37b向流附加相應(yīng)于MPEG格式的頭標。通過開關(guān)SW3從輸出端子38獲得產(chǎn)生的流，開關(guān)SW3是根據(jù)進行JPEG編碼或MPEG編碼處理相應(yīng)地進行工作。
雖然量化部分34a和34b是作為不同結(jié)構(gòu)件示出，但它們的很多部分可作為共用的硬件部分構(gòu)成。同樣，頭標附加部分37a和37b，JPEG可變長度編碼和MPEG可變長度編碼部分35a和35b的許多部分也能構(gòu)成共用的硬件部分。另一方面，霍夫曼表36a和36b應(yīng)作當不同硬件部分分開設(shè)置。圖7示出編碼器/解碼器15編碼器部分的結(jié)構(gòu)。解碼器部分是由頭標分開部分、可變長度碼解碼部分、逆向量化部分和逆向DCT部分構(gòu)成。解碼器部分的很多部分可與編碼器部分一起作為共用硬件部分構(gòu)成。因為從MPEG格式編碼處理中省去幀間運動補償預處理，編碼器/解碼器硬件規(guī)?？梢詼p小。因此，編碼器/解碼器的集成電路易于設(shè)計。
根據(jù)本發(fā)明，作為外存儲介質(zhì)11的例子，可用各型盤介質(zhì)，如可卸下的卡和軟盤。另外，根據(jù)本發(fā)明的編碼處理可用到向一網(wǎng)絡(luò)、RS232C、非接觸型IrDA等的數(shù)據(jù)傳輸。
根據(jù)本發(fā)明第一和第三方面，因為不進行幀間運動補償預處理，硬件規(guī)模和處理步驟可顯著減少。另外，可獲得MPEG格式或等同格式的編碼輸出數(shù)據(jù)，編碼輸出數(shù)據(jù)可容易地為個人計算機使用。在小的硬件規(guī)?；蛏俚能浖幚聿襟E的同時，作為靜止數(shù)字照相機的功能，可與靜止圖象記錄功能一同提供活動圖象記錄功能。而且，因為產(chǎn)生的編碼數(shù)量少，拍攝的活動圖象可記錄到外存儲介質(zhì)上。
根據(jù)本發(fā)明第二和第四方面，數(shù)字照相機可同時記錄靜止圖象和聲信號。而且在記錄帶聲靜止圖象時，可以僅記錄一靜止圖象。因此可根據(jù)所希望的用途使用記錄的數(shù)據(jù)。
已就優(yōu)選實施例說明了本發(fā)明，業(yè)內(nèi)人士應(yīng)理解，不偏離本發(fā)明的實質(zhì)和范圍在形式和細節(jié)上可做出種種改變、刪除和添加。
權(quán)利要求
1.一種照相機裝置的記錄方法，它對從拍攝裝置接受的圖象信號和從聲輸入裝置接受的聲信號進行編碼，向存儲裝置存儲編碼的信號，所述記錄方法包括步驟相應(yīng)于第一編碼方法將從拍攝裝置接受的圖象信號編碼，當在照相機裝置中選擇了僅記錄圖象數(shù)據(jù)的模式時，向存儲裝置存儲編碼圖象數(shù)據(jù)；并且當在照相機裝置中選擇了既記錄圖象數(shù)據(jù)又記錄聲數(shù)據(jù)的模式時，相應(yīng)于第二編碼方法編碼從拍攝裝置接受的圖象信號，并向存儲裝置與編碼聲數(shù)據(jù)一起存儲編碼圖象數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的記錄方法，其中第一編碼方法是與JPEG格式或等同格式相應(yīng)的編碼方法，第二編碼方法是與MPEG圖象格式或等同格式相應(yīng)的編碼方法。
3.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟編碼聲數(shù)據(jù)信號，復合編碼的圖象信號和聲信號，并當在照相機裝置中選擇既記錄圖象數(shù)據(jù)又記錄聲數(shù)據(jù)的模式時，向存儲裝置存儲復合的信號。
4.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟使存儲裝置向存儲裝置的第一區(qū)域存儲從拍攝裝置接受的圖象信號，并向存儲裝置的第二區(qū)域存儲編碼圖象數(shù)據(jù)或編碼的圖象數(shù)據(jù)和聲數(shù)據(jù)的復合數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟向存儲裝置寫入復合數(shù)據(jù)，從存儲裝置讀出復合數(shù)據(jù)，向記錄介質(zhì)記錄從存儲裝置讀的復合數(shù)據(jù)，相應(yīng)于第一編碼方法編碼圖象信號，向存儲裝置寫入作為第一編碼圖象數(shù)據(jù)的編碼信號，從存儲裝置讀出第一編碼圖象數(shù)據(jù)，并當在照相機中選擇了既記錄圖象數(shù)據(jù)又記錄聲數(shù)據(jù)模式時，向記錄介質(zhì)記錄第一編碼圖象數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的記錄方法，其中所述圖象編碼步驟有(a)進行輸入圖象信號的余弦變換處理；(b)量化在步驟(a)接受的系數(shù)數(shù)據(jù)；(c)用第一編碼表或第二編碼表，以可變長度碼編碼步驟(b)的輸出信號，其中，步驟(c)的第一編碼表或第二編碼表，相應(yīng)于選擇的編碼方法進行選擇。
7.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟相應(yīng)于選擇的編碼方法，附加第一頭標或第二頭標之一。
8.根據(jù)權(quán)利要求3所述的記錄方法，其中復合數(shù)據(jù)是由固定長度的組構(gòu)成，每個組含有編碼圖象數(shù)據(jù)和聲數(shù)據(jù)，編碼圖象數(shù)據(jù)的時間段與編碼聲數(shù)據(jù)的時間段相同。
9.根據(jù)權(quán)利要求8所述的記錄方法，其中每個組有N個圖象幀和/或N個聲幀(N是任意整數(shù))。
10.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟向記錄介質(zhì)記錄編碼圖象數(shù)據(jù)或編碼聲數(shù)據(jù)。
11.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟在使照相機裝置進行記錄的操作裝置被按壓的時間段中編碼聲信號，產(chǎn)生編碼聲數(shù)據(jù)。
12.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟在從使照相機裝置進行記錄的操作裝置被按壓后到預定時間段過去前，編碼聲信號，產(chǎn)生編碼聲數(shù)據(jù)。
13.根據(jù)權(quán)利要求1所述的記錄方法，還包括步驟將從一記錄介質(zhì)再現(xiàn)的編碼圖象數(shù)據(jù)或編碼聲數(shù)據(jù)存儲到存儲裝置，并解碼在存儲裝置中存儲的編碼聲數(shù)據(jù)；解碼在存儲裝置中存儲的編碼圖象數(shù)據(jù)；顯示解碼圖象數(shù)據(jù)；輸出解碼聲數(shù)據(jù)。
14.根據(jù)權(quán)利要求1所述的記錄方法，其中當在照相機裝置中選擇了靜止圖象拍攝模式時，拍攝裝置輸出XGA或VGA格式的圖象信號，其中當在照相機裝置中選擇了活動圖象拍攝模式時，拍攝裝置輸出已變稀到約1/3的圖象信號。
全文摘要
一種照相機裝置，它以MPEG圖象格式或等同格式編碼從拍攝裝置接受的圖象信號，以MPEG聲格式或等同格式編碼從聲輸入裝置接受的聲信號，將編碼的MPEG圖象信號和編碼的MPEG聲信號復合，向存儲裝置存儲復合的數(shù)據(jù)。
文檔編號H04N5/92GK1700758SQ20051007797
公開日2005年11月23日 申請日期1999年8月24日 優(yōu)先權(quán)日1998年8月24日
發(fā)明者冨田芳紀, 石塚茂樹, 上野克彥, 小野佳弘 申請人:索尼公司