專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。更具體地講，本發(fā)明涉及這樣的圖像處理設(shè)備和圖像處理方法當(dāng)由在連續(xù)的不同定時捕獲的來自多個視點(diǎn)的圖像所組成的立體圖像按照在連續(xù)的不同定時顯示來自各個視點(diǎn)的圖像的方式被顯示時，允許顯示看起來自然的立體圖像。
背景技術(shù)：
近年來，支持諸如運(yùn)動圖像專家組(MPEG)的壓縮方案的設(shè)備已越來越普遍地應(yīng)用于廣播站的信息分發(fā)以及一般消費(fèi)者家中的信息接收，其中為了實現(xiàn)信息的高效傳輸和累積，通過利用圖像信息特定的冗余，圖像信息被作為數(shù)字信號進(jìn)行處理并且使用諸如離散余弦變換的正交變換和運(yùn)動補(bǔ)償進(jìn)行壓縮。具體地講，例如，在經(jīng)諸如衛(wèi)星廣播、有線電視(TV)或互聯(lián)網(wǎng)接收到使用編碼方案壓縮的圖像信息(比特流)或者在諸如光盤、磁盤或閃存的存儲介質(zhì)上處理所述圖像信息時使用的編碼設(shè)備和解碼設(shè)備已越來越普遍，其中所述編碼方案利用諸如離散余弦變換或Karhunen-Loeve變換的正交變換和運(yùn)動補(bǔ)償(諸如MPEG或H. 26x)。例如，MPEG-2 (國際標(biāo)準(zhǔn)化組織(ISO)/國際電エ委員會(IEC) 13818-2)被定義為通用圖像編碼方法，并且是覆蓋隔行掃描圖像(隔行圖像)和逐行掃描圖像(逐行圖像)以及標(biāo)準(zhǔn)清晰度圖像和高清晰度圖像的標(biāo)準(zhǔn)，其如今已廣泛用于包括專業(yè)應(yīng)用和消費(fèi)應(yīng)用的很多種應(yīng)用。MPEG-2壓縮方案通過例如將4至8Mbps的碼率(比特率)分配給橫向和縱向上具有720X480像素的標(biāo)準(zhǔn)清晰度隔行掃描圖像，或者將18至22Mbps的碼率分配給橫向和縱向上具有1920X 1088像素的聞清晰度隔行掃描圖像來促進(jìn)圖像的聞壓縮比和尚品質(zhì)實現(xiàn)。MPEG-2主要提供適合于廣播的高品質(zhì)編碼，但是不支持比MPEG-I的碼率(比特率)更低的碼率(即，更高壓縮比)的編碼系統(tǒng)。隨著移動終端越來越普及，未來對這樣的編碼系統(tǒng)的需求將増加。為了滿足這種需求，MPEG-4編碼已標(biāo)準(zhǔn)化。至于圖像編碼，已在1998年12月通過了 IS0/IEC 14496-2標(biāo)準(zhǔn)作為國際標(biāo)準(zhǔn)。另夕卜，高級視頻編碼(AVC) (MPEG-4第10章，IS0/IEC14496-10，國際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組(ITU-T)H. 264)也已標(biāo)準(zhǔn)化。AVC標(biāo)準(zhǔn)是由聯(lián)合視頻編碼組(JVT)開發(fā)的，JVT由ITU-T和IS0/IEC聯(lián)合組建以促進(jìn)圖像編碼的標(biāo)準(zhǔn)化。與MPEG-2或MPEG-4 —祥，AVC也是包括運(yùn)動補(bǔ)償編碼和離散余弦變換編碼的混合編碼方案。通常，與諸如MPEG-2和MPEG-4的現(xiàn)有編碼方案相比，AVC包含更大量的用于編碼和解碼的計算，但是能夠?qū)崿F(xiàn)更高的編碼效率。同吋，隨著近來能夠?qū)崿F(xiàn)立體視覺的立體圖像捕獲和顯示技術(shù)的進(jìn)歩，除了ニ維圖像內(nèi)容之外，將使用上述編碼方案編碼的圖像內(nèi)容還可能包括立體圖像內(nèi)容。具體地講，開發(fā)了對立體圖像進(jìn)行編碼的擴(kuò)展AVC，并且開發(fā)了能夠?qū)κ褂枚鄠€圖像捕獲設(shè)備捕獲的形成立體圖像的多視點(diǎn)圖像進(jìn)行編碼的多視點(diǎn)視頻編碼(MVC)的標(biāo)準(zhǔn)化。在例如日本未審查專利申請公布No. 2008-182669中公開了ー種對多視點(diǎn)圖像進(jìn)行編碼和解碼的方法。在下文中，作為例子，將在由視點(diǎn)數(shù)最少的雙視圖像組成的三維(3D)圖像(立體圖像)的情況下描述形成立體圖像的多視點(diǎn)圖像。
形成3D圖像的左眼圖像(以下，稱作“ L圖像”)和右眼圖像(以下，稱作“ R圖像”)可以是在相同捕獲定時捕獲的圖像，或者是在連續(xù)的不同捕獲定時捕獲的圖像，所述L圖像是用左眼觀察到的圖像，所述R圖像是用右眼觀察到的圖像。另外，使用專用圖像顯示設(shè)備顯示立體圖像。該圖像顯示設(shè)備的顯示方法可以是在連續(xù)的不同定時顯示形成3D圖像的L圖像和R圖像的方法，或者是同時顯示L圖像和R圖像的方法。

發(fā)明內(nèi)容
在現(xiàn)有的被構(gòu)造為在連續(xù)的不同定時顯示L圖像和R圖像的圖像顯示設(shè)備中，無論L圖像和R圖像被拍攝時的捕獲定時如何，均按照預(yù)定次序顯示L圖像和R圖像。因此，以連續(xù)的不同捕獲定時捕獲的L圖像和R圖像可能按照與實際圖像捕獲次序不同的次序顯示。這會使用戶覺得所得圖像不自然。因此，期望當(dāng)由在連續(xù)的不同定時捕獲的來自多個視點(diǎn)的圖像所組成的立體圖像按照來自各個視點(diǎn)的圖像在連續(xù)的不同定時顯示的方式被顯示時，能夠顯示看起來自然的立體圖像。本發(fā)明的第一實施例提供ー種圖像處理設(shè)備，包括接收裝置，用于接收編碼流、圖像捕獲類型和圖像捕獲次序信息，所述編碼流通過對形成立體圖像的包括來自多個視點(diǎn)的圖像的多視點(diǎn)圖像的圖像數(shù)據(jù)進(jìn)行編碼而產(chǎn)生，所述圖像捕獲類型指示多視點(diǎn)圖像是在不同的定時捕獲的，所述圖像捕獲次序信息指示多視點(diǎn)圖像被捕獲的圖像捕獲次序；解碼裝置，用于對接收裝置所接收到的編碼流進(jìn)行解碼，以生成圖像數(shù)據(jù)；以及控制裝置，用于依據(jù)接收裝置所接收到的圖像捕獲類型和圖像捕獲次序信息，控制顯示設(shè)備按照與圖像捕獲次序相同的次序顯示與解碼裝置所生成的圖像數(shù)據(jù)對應(yīng)的多視點(diǎn)圖像。本發(fā)明的第一實施例還提供一種與根據(jù)本發(fā)明第一實施例的所述圖像處理設(shè)備對應(yīng)的圖像處理方法。根據(jù)本發(fā)明的第一實施例，接收編碼流、圖像捕獲類型和圖像捕獲次序信息，所述編碼流通過對形成立體圖像的包括來自多個視點(diǎn)的圖像的多視點(diǎn)圖像的圖像數(shù)據(jù)進(jìn)行編碼而產(chǎn)生，所述圖像捕獲類型指示多視點(diǎn)圖像是在不同的定時捕獲的，所述圖像捕獲次序信息指示多視點(diǎn)圖像被捕獲的圖像捕獲次序；對編碼流進(jìn)行解碼，以生成圖像數(shù)據(jù)；以及依據(jù)接收到的圖像捕獲類型和圖像捕獲次序信息，按照與圖像捕獲次序相同的次序在顯示設(shè)備上顯示與生成的圖像數(shù)據(jù)對應(yīng)的多視點(diǎn)圖像。本發(fā)明的第二實施例提供ー種圖像處理設(shè)備，包括編碼裝置，用于對形成立體圖像的包括來自多個視點(diǎn)的圖像的多視點(diǎn)圖像的圖像數(shù)據(jù)進(jìn)行編碼以生成編碼流；發(fā)送裝置，用于按照將圖像捕獲類型和圖像捕獲次序信息與編碼裝置所生成的編碼流相連接的方式發(fā)送所述編碼流，所述圖像捕獲類型指示形成立體圖像的多視點(diǎn)圖像是在不同的定時捕獲的，所述圖像捕獲次序信息指示多視點(diǎn)圖像被捕獲的圖像捕獲次序。本發(fā)明的第二實施例還提供一種與根據(jù)本發(fā)明第二實施例的所述圖像處理設(shè)備對應(yīng)的圖像處理方法。根據(jù)本發(fā)明的第二實施例，對形成立體圖像的、包括來自多個視點(diǎn)的圖像的多視點(diǎn)圖像的圖像數(shù)據(jù)進(jìn)行編碼以生成編碼流；按照將圖像捕獲類型和圖像捕獲次序信息與編碼流相連接的方式發(fā)送編碼流，所述圖像捕獲類型指示形成立體圖像的多視點(diǎn)圖像是在不同的定時捕獲的，所述圖像捕獲次序信息指示多視點(diǎn)圖像被捕獲的圖像捕獲次序。本發(fā)明的第三實施例提供ー種圖像處理設(shè)備，包括接收裝置，用于接收形成立體圖像的、包括來自多個視點(diǎn)的圖像的多視點(diǎn)圖像的圖像數(shù)據(jù)、圖像捕獲類型和圖像捕獲次序信息，所述圖像捕獲類型指示多視點(diǎn)圖像是在不同的定時捕獲的，所述圖像捕獲次序信息指示多視點(diǎn)圖像被捕獲的圖像捕獲次序；以及控制裝置，用于依據(jù)接收裝置所接收到的 圖像捕獲類型和圖像捕獲次序信息，控制顯示設(shè)備按照與圖像捕獲次序相同的次序顯示與接收裝置所接收到的圖像數(shù)據(jù)對應(yīng)的多視點(diǎn)圖像。本發(fā)明的第三實施例還提供一種與根據(jù)本發(fā)明第三實施例的所述圖像處理設(shè)備對應(yīng)的圖像處理方法。根據(jù)本發(fā)明的第三實施例，接收多視點(diǎn)圖像的圖像數(shù)據(jù)、圖像捕獲類型和圖像捕獲次序信息，所述多視點(diǎn)圖像包括形成立體圖像的來自多個視點(diǎn)的圖像，所述圖像捕獲類型指示多視點(diǎn)圖像是在不同的定時捕獲的，所述圖像捕獲次序信息指示多視點(diǎn)圖像被捕獲的圖像捕獲次序；以及依據(jù)接收到的圖像捕獲類型和圖像捕獲次序信息，按照與圖像捕獲次序相同的次序在顯示設(shè)備上顯示與接收到的圖像數(shù)據(jù)對應(yīng)的多視點(diǎn)圖像。根據(jù)第一和第二實施例的圖像處理設(shè)備或者根據(jù)第二和第三實施例的圖像處理設(shè)備可以是獨(dú)立的設(shè)備，或者可以是形成單個設(shè)備的內(nèi)部模塊。另外，根據(jù)第一至第三實施例的圖像處理設(shè)備可以通過使計算機(jī)運(yùn)行程序來實現(xiàn)。根據(jù)本發(fā)明的第一和第三實施例，當(dāng)由在連續(xù)的不同定時捕獲的來自多個視點(diǎn)的圖像所組成的立體圖像按照來自各個視點(diǎn)的圖像以連續(xù)的不同定時顯示的方式被顯示吋，可以顯示看起來自然的立體圖像。根據(jù)本發(fā)明的第二實施例，如果形成立體圖像的多視點(diǎn)圖像是在連續(xù)的不同定時捕獲的圖像，則可把多視點(diǎn)圖像的圖像捕獲類型和圖像捕獲次序告知處理所述多視點(diǎn)圖像的圖像數(shù)據(jù)的設(shè)備。因此，例如，被構(gòu)造為按照在連續(xù)的不同定時顯示來自各個視點(diǎn)的圖像的方式顯示由來自多個視點(diǎn)的圖像所組成的立體圖像的圖像處理設(shè)備可顯示看起來自然的立體圖像。


圖I是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)的示例構(gòu)造的框圖；圖2是示出編碼系統(tǒng)中的圖像捕獲類型的示圖；圖3是示出編碼系統(tǒng)中的圖像捕獲類型的示圖4是示出圖I所示多視點(diǎn)編碼設(shè)備的示例構(gòu)造的框圖；圖5是示出MVC編碼方案的示圖；圖6是示出圖4所示視頻編碼電路的示例構(gòu)造的框圖；圖7是示出圖4所示從屬流(dependent steam)編碼電路的示例構(gòu)造的框圖；圖8是示出VS_TYPE的語法的示例的示圖；圖9是示出顯示時刻信息的語法的實例的示圖；圖10是示出由多視點(diǎn)編碼設(shè)備執(zhí)行的編碼處理的流程圖；圖11是示出由VS_TYPE生成電路執(zhí)行的VS_TYPE生成處理的流程圖；
圖12是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)的另一示例構(gòu)造的框圖；圖13是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)的另一示例構(gòu)造的框圖；圖14是示出從組合單元輸出的圖像信號的示圖；圖15是示出圖13所示的多視點(diǎn)編碼設(shè)備的示例構(gòu)造的框圖；圖16是示出由VS_TYPE生成電路執(zhí)行的VS_TYPE生成處理的流程圖；圖17是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)的另一示例構(gòu)造的框圖；圖18是示出從組合單元輸出的圖像信號的示圖；圖19是示出解碼系統(tǒng)的示例構(gòu)造的框圖；圖20是示出圖19所示多視點(diǎn)解碼設(shè)備的示例構(gòu)造的框圖；圖21是示出圖20所示視頻解碼電路的示例構(gòu)造的框圖；圖22是示出圖20所示從屬流解碼電路的示例構(gòu)造的框圖；圖23是示出由控制器執(zhí)行的顯示控制處理的流程圖；圖24是示出根據(jù)本發(fā)明第二實施例的編碼系統(tǒng)的示例構(gòu)造的框圖；圖25是示出圖24所示視頻編碼設(shè)備的示例構(gòu)造的框圖；圖26是示出圖25所示編碼電路的示例構(gòu)造的框圖；圖27是示出由視頻編碼設(shè)備執(zhí)行的編碼處理的流程圖；圖28是示出解碼系統(tǒng)的示例構(gòu)造的框圖；圖29是示出圖28所示視頻解碼設(shè)備的示例構(gòu)造的框圖；圖30是示出圖29所示解碼電路的示例構(gòu)造的框圖；圖31是示出根據(jù)本發(fā)明實施例的計算機(jī)的示例構(gòu)造的框圖；圖32是示出根據(jù)本發(fā)明實施例的電視接收機(jī)的主要部件的示例構(gòu)造的框圖；圖33是示出根據(jù)本發(fā)明實施例的移動電話的主要部件的示例構(gòu)造的框圖；圖34是示出根據(jù)本發(fā)明實施例的硬盤記錄器的主要部件的示例構(gòu)造的框圖；以及圖35是示出根據(jù)本發(fā)明實施例的相機(jī)的主要部件的示例構(gòu)造的框圖。
具體實施例方式第一實施例根據(jù)第一實施例的編碼系統(tǒng)的示例構(gòu)造圖I是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)10的示例構(gòu)造的框圖。圖I所示的編碼系統(tǒng)10包括左眼圖像捕獲設(shè)備11、右眼圖像捕獲設(shè)備12和多視點(diǎn)編碼設(shè)備13。左眼圖像捕獲設(shè)備11是被構(gòu)造為用于捕獲L圖像的圖像捕獲設(shè)備，右眼圖像捕獲設(shè)備12是被構(gòu)造為用于捕獲R圖像的圖像捕獲設(shè)備。同步信號從左眼圖像捕獲設(shè)備11輸入到右眼圖像捕獲設(shè)備12，左眼圖像捕獲設(shè)備11和右眼圖像捕獲設(shè)備12彼此同歩。左眼圖像捕獲設(shè)備11和右眼圖像捕獲設(shè)備12以預(yù)定的捕獲定時捕獲圖像。多視點(diǎn)編碼設(shè)備13接收由左眼圖像捕獲設(shè)備11捕獲的L圖像的圖像信號以及由右眼圖像捕獲設(shè)備12捕獲的R圖像的圖像信號。多視點(diǎn)編碼設(shè)備13依據(jù)MVC編碼方案對L圖像和R圖像的圖像信號進(jìn)行編碼。多視點(diǎn)編碼設(shè)備13將通過對L圖像的圖像信號進(jìn)行編碼而獲得的編碼數(shù)據(jù)(編碼流)以及通過對R圖像的圖像信號進(jìn)行編碼而獲得的編碼數(shù)據(jù)復(fù)用，并輸出單個比特流。編碼系統(tǒng)的圖像捕獲方法
圖2和圖3是示出編碼系統(tǒng)10中的圖像捕獲類型的示圖。在編碼系統(tǒng)10中，第一圖像捕獲類型可以是形成3D圖像的L圖像和R圖像(以下，稱作“L-R對”)的捕獲定時相同的類型。在第一圖像捕獲類型中，如圖2所示，左眼圖像捕獲設(shè)備11和右眼圖像捕獲設(shè)備12在相同的捕獲定時捕獲圖像，從而在相同的定時獲得L圖像和R圖像的圖像信號。第二圖像捕獲類型是L-R對的捕獲定時是連續(xù)的不同定時的類型。在第二圖像捕獲類型中，例如，如圖3所示，左眼圖像捕獲設(shè)備11和右眼圖像捕獲設(shè)備12交替地捕獲圖像，交替地獲得L圖像和R圖像的圖像信號。多視點(diǎn)編碼設(shè)備的示例構(gòu)造圖4是示出圖I所示多視點(diǎn)編碼設(shè)備13的示例構(gòu)造的框圖。圖4所示的多視點(diǎn)編碼設(shè)備13包括VS_TYPE生成電路21、顯示時刻信息生成電路22、視頻編碼電路23、從屬流編碼電路24和復(fù)用電路25。從左眼圖像捕獲設(shè)備11輸入到多視點(diǎn)編碼設(shè)備13的L圖像的圖像信號被提供給VS_TYPE生成電路21、顯示時刻信息生成電路22和視頻編碼電路23。從右眼圖像捕獲設(shè)備12輸入到多視點(diǎn)編碼設(shè)備13的R圖像的圖像信號被提供給VS_TYPE生成電路21、顯示時刻イM息生成電路22和從屬流編碼電路24。VS_TYPE生成電路21依據(jù)L-R對的圖像信號的輸入定時來識別圖像捕獲類型。當(dāng)圖像捕獲類型是第二圖像捕獲類型吋，VS_TYPE生成電路21依據(jù)L-R對的圖像信號的輸入定時生成指示L-R對的圖像捕獲次序的圖像捕獲次序信息。當(dāng)圖像捕獲類型是第一圖像捕獲類型吋，VS_TYPE生成電路21將第一圖像捕獲類型設(shè)置為VS_TYPE。當(dāng)圖像捕獲類型是第二圖像捕獲類型吋，VS_TYPE生成電路21將第二圖像捕獲類型和圖像捕獲次序信息設(shè)置為VS_TYPE。VS_TYPE生成電路21將VS_TYPE提供給視頻編碼電路23和從屬流編碼電路24。顯示時刻信息生成電路22基于L-R對的圖像信號的輸入定時來確定L-R對的顯示時刻。顯示時刻信息生成電路22將指示L-R對中的L圖像的顯示時刻的顯示時刻信息提供給視頻編碼電路23，將指示R圖像的顯示時刻的顯示時刻信息提供給從屬流編碼電路24。視頻編碼電路23依據(jù)MVC編碼方案將從左眼圖像捕獲設(shè)備11輸入的L圖像的圖像信號編碼為基礎(chǔ)流(base stream)的圖像信號，所述基礎(chǔ)流的圖像信號不參考其他流的圖像信號。然后，視頻編碼電路23將來自VS_TYPE生成電路21的VS_TYPE和來自顯示時刻信息生成電路22的顯示時刻信息添加到通過編碼獲得的L圖像的編碼數(shù)據(jù)，并將所得數(shù)據(jù)提供給復(fù)用電路25。另外，視頻編碼電路23將用于編碼的解碼圖像提供給從屬流編碼電路24。從屬流編碼電路24依據(jù)MVC編碼方案，利用來自視頻編碼電路23的解碼圖像將從右眼圖像捕獲設(shè)備12輸入的R圖像的圖像信號編碼為從屬流的圖像信號。然后，從屬流編碼電路24將來自VS_TYPE生成電路21的VS_TYPE和來自顯示時刻信息生成電路22的顯示時刻信息添加到通過編碼獲得的R圖像的編碼數(shù)據(jù)，并將所得數(shù)據(jù)提供給復(fù)用電路25。復(fù)用電路25將視頻編碼電路23提供的L圖像的編碼數(shù)據(jù)與從屬流編碼電路24提供的R圖像的編碼數(shù)據(jù)復(fù)用，并輸出單個比特流。MVC編碼方案的描述 圖5是示出MVC編碼方案的示圖。如圖5所示，視頻編碼電路23以與正常AVC編碼方案(例如，AVC高級規(guī)格(HighProfile))類似的方式執(zhí)行編碼，并且獲得L圖像的編碼數(shù)據(jù)作為基礎(chǔ)流。因此，可使用AVC編碼方案的已有解碼設(shè)備對L圖像的編碼數(shù)據(jù)進(jìn)行解碼。另ー方面，在使用從屬流編碼電路24對R圖像進(jìn)行編碼的過程中，如圖5所示，除了與正常AVC編碼方案類似在相同視點(diǎn)沿時間方向進(jìn)行預(yù)測之外，還執(zhí)行在相同時刻從另一視點(diǎn)的預(yù)測。即，除了在R圖像內(nèi)沿時間方向進(jìn)行預(yù)測之外，還執(zhí)行從同一 3D圖像中的L圖像的預(yù)測。因此，即使沿時間方向的預(yù)測不令人滿意，編碼效率也可提高。視頻編碼電路的示例構(gòu)造圖6是示出圖4所示視頻編碼電路23的示例構(gòu)造的框圖。視頻編碼電路23依據(jù)例如AVC高級規(guī)格(High Profile)執(zhí)行編碼。更具體地講，模擬-數(shù)字(A/D)轉(zhuǎn)換單元41對圖像信號(左眼圖像捕獲設(shè)備11提供的L圖像的模擬信號)執(zhí)行A/D轉(zhuǎn)換，并獲得作為數(shù)字信號的圖像數(shù)據(jù)。然后，A/D轉(zhuǎn)換単元41將所述圖像數(shù)據(jù)提供給圖像重排緩沖器42。圖像重排緩沖器42臨時存儲A/D轉(zhuǎn)換單元41所提供的圖像數(shù)據(jù)，并根據(jù)需要讀取所述圖像數(shù)據(jù)以執(zhí)行重排，其中依據(jù)從視頻編碼電路23輸出的編碼數(shù)據(jù)的畫面組(GOP)結(jié)構(gòu)按照編碼次序重排圖像數(shù)據(jù)的畫面(幀)(場)。在從圖像重排緩沖器42讀取的畫面中將經(jīng)受幀內(nèi)編碼的幀內(nèi)畫面被提供給計算單元43。計算單元43根據(jù)需要用圖像重排緩沖器42所提供的幀內(nèi)畫面的像素值減去幀內(nèi)預(yù)測單元53所提供的預(yù)測圖像的像素值，并將所得值提供給正交變換單元44。正交變換單元44對幀內(nèi)畫面(或者對通過用幀內(nèi)畫面的像素值減去預(yù)測圖像的像素值而獲得的減法值)應(yīng)用諸如離散余弦變換或Karhunen-Lo6ve變換的正交變換,并將所得變換系數(shù)提供給量化単元45。由正交變換單元44執(zhí)行的離散余弦變換可以是近似實數(shù)離散余弦變換的整數(shù)變換。另外，離散余弦變換的變換方法可以利用用4X4塊大小執(zhí)行整數(shù)系數(shù)變換的方法來實現(xiàn)。量化単元45將正交變換單元44所提供的變換系數(shù)量化，并將所得量化值提供給無損編碼單元46。無損編碼單元46對量化単元45所提供的量化值執(zhí)行諸如可變長度編碼或算術(shù)編碼的無損編碼，并將所得L圖像的編碼數(shù)據(jù)提供給累積緩沖器47。累積緩沖器47臨時存儲無損編碼單元46所提供的L圖像的編碼數(shù)據(jù)，并以預(yù)定速率輸出L圖像的編碼數(shù)據(jù)。速率控制單元48監(jiān)控累積緩沖器47中累積的編碼數(shù)據(jù)的量，并依據(jù)累積數(shù)據(jù)的量來控制量化単元45的行為(例如量化単元45的量化步驟)。量化単元45獲得的量化值被提供給無損編碼單元46，并且還被提供給解量化單元49。解量化単元49將量化単元45所提供的量化值解量化為變換系數(shù)，并將所述變換系數(shù)提供給逆正交變換單元50。逆正交變換單元50對解量化単元49所提供的變換系數(shù)執(zhí)行逆正交變換，并將結(jié) 果提供給計算單元51。計算單元51根據(jù)需要將幀內(nèi)預(yù)測單元53所提供的預(yù)測圖像的像素值與逆正交變換單元50所提供的數(shù)據(jù)相加，以獲得幀內(nèi)畫面的解碼圖像，并將該解碼圖像提供給幀存儲器52。幀存儲器52臨時存儲計算単元51所提供的解碼圖像，并根據(jù)需要將該解碼圖像提供給幀內(nèi)預(yù)測單元53或運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54，作為用于生成預(yù)測圖像的參考圖像。另外，幀存儲器52還將存儲的解碼圖像提供給從屬流編碼電路24。幀內(nèi)預(yù)測單元53利用幀內(nèi)畫面內(nèi)靠近將由計算單元43處理的部分(塊)的像素中已存儲在幀存儲器52中的像素來生成預(yù)測圖像，并將該預(yù)測圖像提供給計算単元43和51。對于將經(jīng)受幀內(nèi)編碼的畫面，如上所述，當(dāng)將預(yù)測圖像從幀內(nèi)預(yù)測單元53提供給計算單元43吋，計算單元43用圖像重排緩沖器42所提供的畫面減去幀內(nèi)預(yù)測單元53所提供的預(yù)測圖像。另外，計算單元51將計算単元43所減去的預(yù)測圖像與逆正交變換單元50所提供的數(shù)據(jù)相加。相反，將經(jīng)受幀間編碼的非幀內(nèi)畫面從圖像重排緩沖器42提供給計算単元43和運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54。運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54從幀存儲器52讀取解碼圖像的畫面作為參考圖像，所述解碼圖像的畫面被參考以用于圖像重排緩沖器42所提供的非幀內(nèi)畫面的運(yùn)動預(yù)測。另外，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54使用幀存儲器52所提供的參考圖像來檢測圖像重排緩沖器42所提供的非幀內(nèi)畫面的運(yùn)動矢量。然后，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54通過依據(jù)運(yùn)動矢量對參考圖像應(yīng)用運(yùn)動補(bǔ)償來生成非幀內(nèi)畫面的預(yù)測圖像，并將該預(yù)測圖像提供給計算単元43和51。運(yùn)動補(bǔ)償期間的塊大小可以是固定的或可變的。計算單元43用圖像重排緩沖器42所提供的非幀內(nèi)畫面減去幀內(nèi)預(yù)測單元53所提供的預(yù)測圖像，隨后以與幀內(nèi)畫面相似的方式執(zhí)行編碼。幀內(nèi)預(yù)測模式是幀內(nèi)預(yù)測單元53生成預(yù)測圖像的模式，幀內(nèi)預(yù)測單元53將該幀內(nèi)預(yù)測模式提供給無損編碼單元46。另外，運(yùn)動補(bǔ)償預(yù)測模式是運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54執(zhí)行運(yùn)動補(bǔ)償?shù)哪Ｊ?，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54所獲得的運(yùn)動矢量以及所述運(yùn)動補(bǔ)償預(yù)測模式被運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54提供給無損編碼單元46。另外，VS_TYPE生成電路21所提供的VS_TYPE以及顯示時刻信息生成電路22所提供的顯示時刻信息也被提供給無損編碼單元46。無損編碼單元46對幀內(nèi)預(yù)測模式、運(yùn)動矢量、運(yùn)動補(bǔ)償預(yù)測模式以及解碼所需的其他信息(例如，每ー畫面的畫面類型)進(jìn)行無損編碼，所述信息被包括在L圖像的編碼數(shù)據(jù)的報頭(header)中。另外，無損編碼單元46將VS_TYPE和顯示時刻信息添加到L圖像的編碼數(shù)據(jù)中。從屬流編碼電路的示例構(gòu)造圖7是示出圖4所示從屬流編碼電路24的示例構(gòu)造的框圖。圖7所示的從屬流編碼電路24包括A/D轉(zhuǎn)換單元61、圖像重排緩沖器62、計算單 元63、正交變換單元64、量化単元65、無損編碼單元66、累積緩沖器67、速率控制單元68、解量化單元69、逆正交變換單元70、計算單元71、巾貞存儲器72、巾貞內(nèi)預(yù)測單元73和運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74。圖7所示的從屬流編碼電路24中的各個單元的處理與視頻編碼電路23中的那些單元類似，不同之處在于幀存儲器72和運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74的處理。因此，將僅描述這些不同的處理。從屬流編碼電路24的幀存儲器72臨時存儲計算単元71所提供的解碼圖像，井根據(jù)需要將該解碼圖像提供給幀內(nèi)預(yù)測單元73或運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74，作為用于生成預(yù)測圖像的參考圖像。運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74從幀存儲器72讀取解碼圖像的畫面作為參考圖像，該解碼圖像的畫面被參考以用于圖像重排緩沖器62所提供的非幀內(nèi)畫面的運(yùn)動預(yù)測。運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74還從視頻編碼電路23的幀存儲器52讀取解碼圖像的畫面作為參考圖像，該解碼圖像的畫面被參考以用于非幀內(nèi)畫面的運(yùn)動預(yù)測。然后，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74使用幀存儲器72和52所提供的參考圖像來檢測圖像重排緩沖器62所提供的非幀內(nèi)畫面的運(yùn)動矢量。然后，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74通過依據(jù)運(yùn)動矢量對參考圖像應(yīng)用運(yùn)動補(bǔ)償來生成非幀內(nèi)畫面的預(yù)測圖像，并將該預(yù)測圖像提供給計算単元63和71。另外，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元74將運(yùn)動矢量和運(yùn)動補(bǔ)償預(yù)測模式提供給無損編碼單元66。VS_TYPE的語法的實例圖8是示出VS_TYPE的語法的實例的示圖。如圖8所不，VS_TYPE包括I比特圖像捕獲類型(stereo_3d_capturing_type)和2比特傳輸流(TS)類型(TS_type)。例如，當(dāng)圖像捕獲類型是第一圖像捕獲類型時，圖像捕獲類型的值為0，或者當(dāng)圖像捕獲類型是第二圖像捕獲類型時，圖像捕獲類型的值為I。BP,圖像捕獲類型用作指示L-R對的捕獲定時是否不同的標(biāo)志。另外，TS類型是顯示時刻信息的附加類型。這里，提供四種TS類型“非TS類型”，其中沒有顯示時刻信息被添加到L-R對中任何一個的編碼數(shù)據(jù)中；“相同時刻類型”，其中相同的顯示時刻信息被添加到L-R對中兩個圖像的編碼數(shù)據(jù)中；“任ー類型”，其中相同的顯示時刻信息僅被添加到L-R對中L圖像的編碼數(shù)據(jù)中；以及“不同時刻類型”，其中不同的顯示時刻信息被添加到L-R對的編碼數(shù)據(jù)中。
依據(jù)顯示時刻信息生成電路22的功能設(shè)置“相同時刻類型”和“不同時刻類型”。具體地講，當(dāng)顯示時刻信息生成電路22具有將L-R對的顯示時刻設(shè)置為相同值的功能吋，TS類型被設(shè)置為“相同時刻類型”。當(dāng)顯示時刻信息生成電路22具有將L-R對的顯示時刻設(shè)置為不同值的功能吋，TS類型被設(shè)置為“不同時刻類型”。另外，“非TS類型”和“任ー類型”由例如用戶來設(shè)置。如圖8所示，當(dāng)圖像捕獲類型是第二類型吋，VS_TYPE還包括I比特圖像捕獲次序信息(is_left_first)。例如，當(dāng)圖像捕獲次序信息指示先L圖像后R圖像的次序吋，圖像捕獲次序信息的值為1，或者當(dāng)圖像捕 獲次序信息指示先R圖像后L圖像的次序吋，圖像捕獲次序信息的值為O。即，圖像捕獲次序信息用作指示按照圖像捕獲次序，L-R對中的L圖像是否較早的標(biāo)志。顯示時刻信息的語法的實例圖9是示出顯示時刻信息的語法的實例的示圖。在圖9中，從上面開始第六行之后的行中的部分表示顯示時刻信息。多視點(diǎn)編碼設(shè)備的處理的描述圖10是示出由多視點(diǎn)編碼設(shè)備13執(zhí)行的編碼處理的流程圖。參照圖10，在步驟Sll中，VS_TYPE生成電路21基于L-R對的圖像信號的輸入定時來生成VS_TYPE。后面將參照圖11描述生成VS_TYPE的VS_TYPE生成處理的細(xì)節(jié)。另外，在步驟Sll中，顯示時刻信息生成電路22依據(jù)L-R對的圖像信號的輸入定時生成關(guān)于L-R對的顯示時刻信息，該信息指示顯示時刻相同還是不同。具體地講，顯示時刻信息生成電路22基于L-R對的圖像信號的輸入定時，確定一個顯示時刻作為L-R對的顯示時刻，或者確定兩個不同的顯示時刻作為L-R對中的L圖像的顯示時刻和R圖像的顯示時刻，以使得L-R對的圖像捕獲次序與L-R對的顯示次序相同。然后，顯示時刻信息生成電路22生成指示確定的L-R對中的L圖像的顯示時刻的顯示時刻信息和指示確定的R圖像的顯示時刻的顯示時刻信息。在步驟S12中，視頻編碼電路23的無損編碼單兀46和從屬流編碼電路24的無損編碼單元66確定VS_TYPE生成電路21提供的VS_TYPE中所包括的TS類型是否是“非TS
類型”。如果在步驟S12中確定TS類型是“非TS類型”，則處理進(jìn)行到步驟S13。在步驟S13中，視頻編碼電路23對左眼圖像捕獲設(shè)備11所提供的L圖像的圖像信號進(jìn)行編碼，將VS_TYPE生成電路21所提供的VS_TYPE添加到編碼信號，并將所得信號輸出給復(fù)用電路25。在步驟S14，從屬流編碼電路24對右眼圖像捕獲設(shè)備12所提供的R圖像的圖像信號進(jìn)行編碼，將VS_TYPE生成電路21所提供的VS_TYPE添加到編碼信號，并將所得信號輸出給復(fù)用電路25。如果在步驟S12中確定TS類型不是“非TS類型”，則處理進(jìn)行到步驟S15。在步驟S15，視頻編碼電路23對L圖像的圖像信號進(jìn)行編碼，將VS_TYPE生成電路21所提供的VS_TYPE和顯示時刻信息生成電路22所提供的顯示時刻信息添加到編碼信號，并將所得信號輸出給復(fù)用電路25。在步驟S16，從屬流編碼電路24的無損編碼單元66確定VS_TYPE生成電路21提供的VS_TYPE中所包括的TS類型是否是“相同時刻類型”或“不同時刻類型”。如果在步驟S16確定TS類型是“相同時刻類型”或“不同時刻類型”，則處理進(jìn)行到步驟S17。在步驟S17，從屬流編碼電路24對R圖像的圖像信號進(jìn)行編碼，將VS_TYPE生成電路21所提供的VS_TYPE和顯示時刻信息生成電路22所提供的顯示時刻信息添加到編碼信號，并將所得信號輸出給復(fù)用電路25。如果在步驟S16中確定TS類型不是“相同時刻類型”或“不同時刻類型”，即，TS類型是“任ー類型”，則處理進(jìn)行到步驟S18。在步驟S18，從屬流編碼電路24對R圖像的圖像信號進(jìn)行編碼，將VS_TYPE生成電路21所提供的VS_TYPE添加到編碼信號，并將所得信號輸出給復(fù)用電路25。在步驟S14、S17或S18的處理之后，在步驟S19，復(fù)用電路25將視頻編碼電路23所提供的L圖像的編碼數(shù)據(jù)與從屬流編碼電路24所提供的R圖像的編碼數(shù)據(jù)復(fù)用。然后，復(fù)用電路25輸出通過復(fù)用而獲得的單個比特流，處理結(jié)束。 圖11是示出由VS_TYPE生成電路21執(zhí)行的VS_TYPE生成處理的流程圖。在步驟S31，VS_TYPE生成電路21確定L-R對中的L圖像的圖像信號是否比R圖像的圖像信號提供得早。如果在步驟S31中確定L圖像的圖像信號比R圖像的圖像信號提供得早，則在步驟S32，VS_TYPE生成電路21生成指示先L圖像后R圖像的次序的圖像捕獲次序信息以及第ニ圖像捕獲類型作為VS_TYPE，處理結(jié)束。如果在步驟S31中確定L圖像的圖像信號并未比R圖像的圖像信號提供得早，則在步驟S33中，確定L-R對中的R圖像的圖像信號是否比L圖像的圖像信號提供得早。如果在步驟S33確定R圖像的圖像信號比L圖像的圖像信號提供得早，則在步驟S34, VS_TYPE生成電路21生成指示先R圖像后L圖像的次序的圖像捕獲次序信息以及第ニ圖像捕獲類型作為VS_TYPE，處理結(jié)束。如果在步驟S33中確定R圖像的圖像信號并未比L圖像的圖像信號早提供，即，L-R對的圖像信號在相同的定時提供，則處理進(jìn)行到步驟S35。在步驟S35，VS_TYPE生成電路21生成第一圖像捕獲類型作為VS_TYPE，處理結(jié)束。根據(jù)第一實施例的編碼系統(tǒng)的另一示例構(gòu)造圖12是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)10的另ー示例構(gòu)造的框圖。在圖12所示的構(gòu)造中，與圖I中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋觥D12所示編碼系統(tǒng)10的構(gòu)造與圖I所示構(gòu)造的不同之處在于設(shè)置公共圖像捕獲設(shè)備101來代替左眼圖像捕獲設(shè)備11和右眼圖像捕獲設(shè)備12。在圖12所示的編碼系統(tǒng)10中，利用單個圖像捕獲設(shè)備101以分時方式捕獲L圖像和R圖像，L圖像和R圖像的圖像信號并行輸入到多視點(diǎn)編碼設(shè)備13。具體地講，圖像捕獲設(shè)備101包括圖像捕獲單元111、分割単元112和兩個圖像捕獲處理単元113和114。圖像捕獲單元111在圖像捕獲處理単元113的控制下捕獲圖像，并經(jīng)分割単元112將獲得的圖像信號提供給圖像捕獲處理単元113。圖像捕獲單元111還在圖像捕獲處理単元114的控制下捕獲圖像，并經(jīng)分割単元112將獲得的圖像信號提供給圖像捕獲處理單元114。圖像捕獲處理単元113控制圖像捕獲單元111以在與圖像捕獲處理単元114的捕獲定時相同的捕獲定時來捕獲圖像，或者在與圖像捕獲處理単元114的捕獲定時連續(xù)的不同的捕獲定時來捕獲圖像。圖像捕獲處理単元113將從分割単元112提供的圖像信號提供給多視點(diǎn)編碼設(shè)備13，作為L圖像的圖像信號。圖像捕獲處理単元114控制圖像捕獲單元111以在與圖像捕獲處理単元113的捕獲定時相同的捕獲定時來捕獲圖像，或者在與圖像捕獲處理単元113的捕獲定時連續(xù)的不同的捕獲定時來捕獲圖像。圖像捕獲處理単元114將從分割単元112提供的圖像信號提供給多視點(diǎn)編碼設(shè)備13，作為R圖像的圖像信號。根據(jù)第一實施例的編碼系統(tǒng)的另一示例構(gòu)造圖13是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)10的另ー示例構(gòu)造的框圖。圖13所示的編碼系統(tǒng)10包括圖像捕獲設(shè)備121和多視點(diǎn)編碼設(shè)備122。圖像捕獲設(shè)備121包括圖像捕獲單元111、分割単元112、圖像捕獲處理単元131和132、組合單元 133和134以及圖像捕獲類型設(shè)置單元135。在編碼系統(tǒng)10中，使用單個圖像捕獲設(shè)備121捕獲L圖像和R圖像，L圖像和R圖像的圖像信號按照預(yù)定次序串行輸入到多視點(diǎn)編碼設(shè)備 122。在圖13所示的構(gòu)造中，與圖12中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋?。圖像捕獲設(shè)備121的圖像捕獲處理単元131依據(jù)圖像捕獲類型設(shè)置單元135所設(shè)置的圖像捕獲類型，控制圖像捕獲單元111在與圖像捕獲處理単元132的捕獲定時相同的捕獲定時捕獲圖像，或者在與圖像捕獲處理単元132的捕獲定時連續(xù)的不同的捕獲定時捕獲圖像。圖像捕獲處理単元131將所得圖像信號提供給組合単元133，作為L圖像的圖像信號。另外，圖像捕獲處理単元131將圖像捕獲時刻提供給組合単元134。圖像捕獲處理単元132依據(jù)圖像捕獲類型設(shè)置單元135所設(shè)置的圖像捕獲類型，控制圖像捕獲單元111在與圖像捕獲處理単元131的捕獲定時相同的捕獲定時捕獲圖像，或者在與圖像捕獲處理単元131的捕獲定時連續(xù)的不同的捕獲定時捕獲圖像。圖像捕獲處理單元132將所得圖像信號提供給組合単元133，作為R圖像的圖像信號。另外，圖像捕獲處理單元132將圖像捕獲時刻提供給組合単元134。組合單元133按照預(yù)定的次序?qū)D像捕獲處理単元131所提供的L圖像的圖像信號和圖像捕獲處理単元132所提供的R圖像的圖像信號輸出給多視點(diǎn)編碼設(shè)備122。組合單元134按照預(yù)定的次序?qū)D像捕獲處理単元131所提供的圖像捕獲時刻和圖像捕獲處理単元132所提供的圖像捕獲時刻輸出給多視點(diǎn)編碼設(shè)備122。圖像捕獲類型設(shè)置單元135設(shè)置圖像捕獲類型，并將該圖像捕獲類型提供給圖像捕獲處理單元131、圖像捕獲處理單元132和多視點(diǎn)編碼設(shè)備122。多視點(diǎn)編碼設(shè)備122對組合単元133所提供的L圖像的圖像信號和R圖像的圖像信號進(jìn)行編碼。多視點(diǎn)編碼設(shè)備122將VS_TYPE和顯示時刻信息添加到通過編碼而獲得的L圖像的編碼數(shù)據(jù)和R圖像的編碼數(shù)據(jù)中，其中所述VS_TYPE基于組合単元134所提供的圖像捕獲時刻以及圖像捕獲類型設(shè)置單元135所提供的圖像捕獲類型。然后，多視點(diǎn)編碼設(shè)備122將添加了 VS_TYPE和顯示時刻信息的L圖像的編碼數(shù)據(jù)和R圖像的編碼數(shù)據(jù)復(fù)用，并輸出復(fù)用數(shù)據(jù)。圖14是示出從組合單元133輸出的圖像信號的示圖。
如圖14所示，圖像捕獲設(shè)備121以高的幀率(frame rate)按照預(yù)定的次序(在圖14的實例中，按照先L圖像后R圖像的次序)從組合單元133輸出在圖像捕獲處理單元131的控制下捕獲的L圖像的圖像信號以及在圖像捕獲處理単元132的控制下捕獲的R圖像的圖像信號。多視點(diǎn)編碼設(shè)備的示例構(gòu)造圖15是示出圖13所示的多視點(diǎn)編碼設(shè)備122的示例構(gòu)造的框圖。圖15所示的多視點(diǎn)編碼設(shè)備122的構(gòu)造與圖4所示構(gòu)造的不同之處在于還設(shè)置有分離電路150，并且設(shè)置VS_TYPE生成電路151和顯示時刻信息生成電路152來分別代替VS_TYPE生成電路21和顯示時刻信息生成電路22。在圖15所示的構(gòu)造中，與圖4中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋觥?br> 分離電路150將組合単元134所提供的圖像信號中L圖像的圖像信號和R圖像的圖像信號分別提供給視頻編碼電路23和從屬流編碼電路24。當(dāng)圖像捕獲類型設(shè)置單元135所提供的圖像捕獲類型是第一圖像捕獲類型吋，VS_TYPE生成電路151將第一圖像捕獲類型作為VS_TYPE提供給視頻編碼電路23和從屬流編碼電路24。當(dāng)圖像捕獲類型設(shè)置單元135所提供的圖像捕獲類型是第二圖像捕獲類型吋，VS_TYPE生成電路151基于組合單元134所提供的L-R對的圖像捕獲時刻生成圖像捕獲次序信息。然后，VS_TYPE生成電路151將第二圖像捕獲類型和圖像捕獲次序信息作為VS_TYPE提供給視頻編碼電路23和從屬流編碼電路24。顯示時刻信息生成電路152依據(jù)組合単元134所提供的L-R對的圖像捕獲時刻確定L-R對中的L圖像的顯示時刻和R圖像的顯示時刻。然后，顯示時刻信息生成電路152將指示L-R對中的L圖像的顯示時刻的顯示時刻信息提供給視頻編碼電路23，將指示R圖像的顯示時刻的顯示時刻信息提供給從屬流編碼電路24。VS_TYPE生成處理的描述圖16是示出由VS_TYPE生成電路151執(zhí)行的VS_TYPE生成處理的流程圖。參照圖16，在步驟S50中，VS_TYPE生成電路151確定圖像捕獲類型設(shè)置單元135所提供的圖像捕獲類型是否是第二圖像捕獲類型。如果在步驟S50中確定圖像捕獲類型是第二圖像捕獲類型，則在步驟S51，VS_TYPE生成電路151確定組合単元134所提供的L-R對中的L圖像的圖像捕獲時刻是否早于R圖像的圖像捕獲時刻。如果在步驟S51中確定L圖像的圖像捕獲時刻早于R圖像的圖像捕獲時刻，則處理進(jìn)行到步驟S52。在步驟S52中，VS_TYPE生成電路151生成指示先L圖像后R圖像的次序的圖像捕獲次序信息以及第ニ圖像捕獲類型作為VS_TYPE，處理結(jié)束。如果在步驟S51中確定L圖像的圖像捕獲時刻并不早于R圖像的圖像捕獲時刻，即，R圖像的圖像捕獲時刻早于L圖像的圖像捕獲時刻，則處理進(jìn)行到步驟S53。在步驟S53，VS_TYPE生成電路151生成指示先R圖像后L圖像的次序的圖像捕獲次序信息以及第ニ圖像捕獲類型作為VS_TYPE，處理結(jié)束。如果在步驟S50中確定圖像捕獲類型是第一圖像捕獲類型，則在步驟S54，VS_TYPE生成電路151生成第一圖像捕獲類型作為VS_TYPE，處理結(jié)束。盡管圖13所示的編碼系統(tǒng)10被構(gòu)造為使得圖像捕獲類型從圖像捕獲設(shè)備121輸入到多視點(diǎn)編碼設(shè)備122，但是圖像捕獲類型并非必須輸入到多視點(diǎn)編碼設(shè)備122。在這種情況下，VS_TYPE生成電路151基于L-R對的圖像捕獲時刻確定圖像捕獲類型。根據(jù)第一實施例的編碼系統(tǒng)的另一示例構(gòu)造圖17是示出根據(jù)本發(fā)明第一實施例的編碼系統(tǒng)10的另ー示例構(gòu)造的框圖。圖17所示的編碼系統(tǒng)10的構(gòu)造與圖13所示構(gòu)造的不同之處在于設(shè)置左眼圖像捕獲設(shè)備171和右眼圖像捕獲設(shè)備172來代替圖像捕獲設(shè)備121，并且在圖像捕獲設(shè)備171和172外部設(shè)置組合単元133和134。具體地講，在編碼系統(tǒng)10中，使用不同的圖像捕獲設(shè)備捕獲L圖像和R圖像，L圖像和R圖像的圖像信號按照預(yù)定次序串行輸入到多視點(diǎn)編碼 設(shè)備122。在圖17所示的構(gòu)造中，與圖13中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋?。編碼系統(tǒng)10中的左眼圖像捕獲設(shè)備171是構(gòu)造用于捕獲L圖像的圖像捕獲設(shè)備，右眼圖像捕獲設(shè)備172是構(gòu)造用于捕獲R圖像的圖像捕獲設(shè)備。同步信號從左眼圖像捕獲設(shè)備171輸入到右眼圖像捕獲設(shè)備172，左眼圖像捕獲設(shè)備171和右眼圖像捕獲設(shè)備172彼此同步。左眼圖像捕獲設(shè)備171在與右眼圖像捕獲設(shè)備172的捕獲定時相同的捕獲定時捕獲圖像，或者在與右眼圖像捕獲設(shè)備172的捕獲定時連續(xù)的不同的捕獲定時捕獲圖像，并將所得圖像信號提供給組合単元133作為L圖像的圖像信號。另外，左眼圖像捕獲設(shè)備171將圖像捕獲時刻提供給組合単元134。左眼圖像捕獲設(shè)備171還將圖像捕獲類型提供給多視點(diǎn)編碼設(shè)備122。右眼圖像捕獲設(shè)備172在與左眼圖像捕獲設(shè)備171的捕獲定時相同的捕獲定時捕獲圖像，或者在與左眼圖像捕獲設(shè)備171的捕獲定時連續(xù)的不同的捕獲定時捕獲圖像，并將所得圖像信號提供給組合単元133，作為R圖像的圖像信號。另外，右眼圖像捕獲設(shè)備172將圖像捕獲時刻提供給組合単元134。右眼圖像捕獲設(shè)備172還將圖像捕獲類型提供給多視點(diǎn)編碼設(shè)備122。從右眼圖像捕獲設(shè)備172輸出的圖像捕獲類型與從左眼圖像捕獲設(shè)備171輸出的圖像捕獲類型相同。因此，可從左眼圖像捕獲設(shè)備171和右眼圖像捕獲設(shè)備172之ー輸出圖像捕獲類型。圖18是示出從組合單元133輸出的圖像信號的示圖。如圖18所示，通過左眼圖像捕獲設(shè)備171的圖像捕獲而獲得的L圖像的圖像信號以及通過右眼圖像捕獲設(shè)備172的圖像捕獲而獲得的R圖像的圖像信號以高的幀率按照預(yù)定次序(在圖18的實例中，按照先L圖像后R圖像的次序)從組合單元133輸出。在前面的描述中，L圖像的編碼數(shù)據(jù)和R圖像的編碼數(shù)據(jù)被復(fù)用為單個比特流。然而，L圖像的編碼數(shù)據(jù)和R圖像的編碼數(shù)據(jù)可被復(fù)用為兩個或更多個比特流。解碼系統(tǒng)的示例構(gòu)造圖19是示出解碼系統(tǒng)200的示例構(gòu)造的框圖，該解碼系統(tǒng)200被構(gòu)造為對上述編碼系統(tǒng)10所輸出的比特流進(jìn)行解碼。
圖19所示的解碼系統(tǒng)200包括多視點(diǎn)解碼設(shè)備201和3D視頻顯示設(shè)備202。多視點(diǎn)解碼設(shè)備201使用與MVC編碼方案對應(yīng)的方案對編碼系統(tǒng)10所輸出的比特流進(jìn)行解碼。所得L-R對的圖像信號為模擬信號，多視點(diǎn)解碼設(shè)備201在連續(xù)的不同定時將所述L-R對的圖像信號輸出給3D視頻顯示設(shè)備202。3D視頻顯示設(shè)備202基于從多視點(diǎn)解碼設(shè)備201輸入的L圖像或R圖像的圖像信號顯示圖像。因此，在連續(xù)的不同定時將L-R對顯示在3D視頻顯示設(shè)備202上。因此，用戶可看到立體圖像。L圖像和R圖像可逐場地顯示或者逐幀地顯示。多視點(diǎn)解碼設(shè)備的示例構(gòu)造圖20是示出圖19所示多視點(diǎn)解碼設(shè)備201的示例構(gòu)造的框圖。
如圖20所示，多視點(diǎn)解碼設(shè)備201包括解復(fù)用電路211、視頻解碼電路212、從屬流解碼電路213、幀存儲器214、圖像大小轉(zhuǎn)換電路215、幀率轉(zhuǎn)換電路216、數(shù)字-模擬(D/A)轉(zhuǎn)換電路217和控制器218。解復(fù)用電路211接收從編碼系統(tǒng)10輸出的比特流。解復(fù)用電路211從比特流中將復(fù)用的L圖像的編碼數(shù)據(jù)和R圖像的編碼數(shù)據(jù)解復(fù)用。解復(fù)用電路211將L圖像的編碼數(shù)據(jù)提供給視頻解碼電路212，將R圖像的編碼數(shù)據(jù)提供給從屬流解碼電路213。視頻解碼電路212使用與MVC編碼方案對應(yīng)的方案將解復(fù)用電路211所提供的L圖像的編碼數(shù)據(jù)解碼為基礎(chǔ)流。通過解碼獲得的L圖像的圖像數(shù)據(jù)是數(shù)字信號，視頻解碼電路212將該圖像數(shù)據(jù)提供給從屬流解碼電路213和幀存儲器214。視頻解碼電路212還將通過解碼獲得的VS_TYPE和顯示時刻信息提供給控制器218。從屬流解碼電路213使用與MVC編碼方案對應(yīng)的方案，通過利用視頻解碼電路212所提供的L圖像的圖像數(shù)據(jù)將解復(fù)用電路211所提供的R圖像的編碼數(shù)據(jù)解碼為從屬流。通過解碼獲得的R圖像的圖像數(shù)據(jù)是數(shù)字信號，從屬流解碼電路213將該圖像數(shù)據(jù)提供給幀存儲器214。從屬流解碼電路213還將通過解碼獲得的VS_TYPE和顯示時刻信息提供給控制器218。幀存儲器214存儲視頻解碼電路212所提供的L圖像的圖像數(shù)據(jù)和從屬流解碼電路213所提供的R圖像的圖像數(shù)據(jù)。幀存儲器214依據(jù)控制器218的控制連續(xù)地讀取存儲在幀存儲器214中的L-R對中的L圖像的圖像數(shù)據(jù)和R圖像的圖像數(shù)據(jù)，并將L圖像的圖像數(shù)據(jù)和R圖像的圖像數(shù)據(jù)輸出給圖像大小轉(zhuǎn)換電路215。圖像大小轉(zhuǎn)換電路215將幀存儲器214所提供的L圖像或R圖像的圖像數(shù)據(jù)的圖像大小増大或減小至預(yù)定大小，并將放大或縮小的L圖像或R圖像的圖像數(shù)據(jù)提供給幀率轉(zhuǎn)換電路216。幀率轉(zhuǎn)換電路216依據(jù)控制器218的控制在輸出圖像尺寸轉(zhuǎn)換電路215所提供的L圖像和R圖像的圖像數(shù)據(jù)的同時，控制L圖像和R圖像的圖像數(shù)據(jù)的輸出定時，以使得L圖像和R圖像的幀率可變?yōu)轭A(yù)定速率?？刂破?18依據(jù)視頻解碼電路212和從屬流解碼電路213所提供的VS_TYPE和顯示時刻信息來確定L圖像的顯示時刻和R圖像的顯示時刻。控制器218控制幀存儲器214，以使得L圖像和R圖像的圖像數(shù)據(jù)在基于L圖像的顯示時刻和R圖像的顯示時刻的定時從幀存儲器214輸出?？刂破?18還依據(jù)L圖像的顯示時刻和R圖像的顯示時刻控制幀率轉(zhuǎn)換電路216，以將圖像尺寸轉(zhuǎn)換電路215所輸出的L圖像和R圖像的圖像數(shù)據(jù)的幀率轉(zhuǎn)換為預(yù)定幀率，并輸出所得圖像數(shù)據(jù)。D/A轉(zhuǎn)換電路217對幀率轉(zhuǎn)換電路216所輸出的L圖像或R圖像的圖像數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換，并將作為所得模擬信號的圖像信號輸出給3D視頻顯示設(shè)備202。幀存儲器214、圖像尺寸轉(zhuǎn)換電路215、幀率轉(zhuǎn)換電路216和D/A轉(zhuǎn)換電路217并非必須設(shè)置在多視點(diǎn)解碼設(shè)備201中，其也可設(shè)置在3D視頻顯示設(shè)備202中。視頻解碼電路的示例構(gòu)造圖21是示出圖20所示視頻解碼電路212的示例構(gòu)造的框圖。解復(fù)用電路211所提供的L圖像的編碼數(shù)據(jù)被提供給累積緩沖器271。累積緩沖 器271臨時存儲所提供的編碼數(shù)據(jù)，并將該編碼數(shù)據(jù)提供給無損編碼/解碼單元272。無損編碼/解碼單元272依據(jù)編碼數(shù)據(jù)的格式對累積緩沖器271所提供的編碼數(shù)據(jù)執(zhí)行諸如可變長度解碼或算術(shù)解碼的處理，以解碼包括在編碼數(shù)據(jù)的報頭中的量化值和信息，所述信息包括幀內(nèi)預(yù)測模式、運(yùn)動矢量、運(yùn)動補(bǔ)償預(yù)測模式以及對圖像進(jìn)行解碼所需的其他信息，例如每個畫面的畫面類型。 通過無損編碼/解碼單元272獲得的量化值被提供給解量化単元273，幀內(nèi)預(yù)測模式被提供給幀內(nèi)預(yù)測單元277。另外，通過無損編碼/解碼單元272獲得的運(yùn)動矢量(MV)、運(yùn)動補(bǔ)償預(yù)測模式和畫面類型被提供給運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元278。另外，無損編碼/解碼單元272從編碼數(shù)據(jù)提取VS_TYPE和顯示時刻信息，并將VS_TYPE和顯示時刻信息提供給控制器218。解量化単元273、逆正交變換單元274、計算單元275、幀存儲器276、幀內(nèi)預(yù)測單元277和運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元278分別執(zhí)行與圖6所示的解量化単元49、逆正交變換單元50、計算單元51、巾貞存儲器52、巾貞內(nèi)預(yù)測單元53和運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元54的處理類似的處理。因此，圖像被解碼(獲得解碼圖像)。S卩，解量化単元273將無損編碼/解碼單元272所提供的量化值解量化為變換系數(shù)，并將該變換系數(shù)提供給逆正交變換單元274。逆正交變換單元274依據(jù)編碼數(shù)據(jù)的格式對解量化単元273所提供的變換系數(shù)執(zhí)行諸如逆離散余弦變換或逆Karhunen-Lc^ve變換的逆正交變換，并將所得數(shù)據(jù)提供給計算單元275。計算單元275根據(jù)需要將幀內(nèi)預(yù)測單元277所提供的預(yù)測圖像的像素值與逆正交變換單元274所提供的數(shù)據(jù)中的幀內(nèi)畫面的數(shù)據(jù)相加，以獲得幀內(nèi)畫面的解碼圖像。另外，計算單元275將運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元278所提供的預(yù)測圖像的像素值與逆正交變換單元274所提供的數(shù)據(jù)中的非幀內(nèi)畫面的數(shù)據(jù)相加，以獲得非幀內(nèi)畫面的解碼圖像。由計算單元275獲得的解碼圖像根據(jù)需要被提供給幀存儲器276，并且還被提供給圖像重排緩沖器279。幀存儲器276臨時存儲計算単元275所提供的解碼圖像，并根據(jù)需要將該解碼圖像提供給幀內(nèi)預(yù)測單元277或運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元278，作為用于生成預(yù)測圖像的參考圖像。另外，幀存儲器276將存儲的解碼圖像提供給從屬流解碼電路213，作為用于使用從屬流解碼電路213生成預(yù)測圖像的參考圖像。當(dāng)將由計算單元275處理的數(shù)據(jù)是幀內(nèi)畫面的數(shù)據(jù)時，幀內(nèi)預(yù)測單元277根據(jù)需要使用作為幀存儲器276所提供的參考圖像的解碼圖像為幀內(nèi)畫面生成預(yù)測圖像，并將該預(yù)測圖像提供給計算単元275。具體地講，幀內(nèi)預(yù)測單元277依據(jù)無損編碼/解碼單元272所提供的幀內(nèi)預(yù)測模式，從靠近將由計算單元275處理的部分(塊)的像素中已存儲在幀存儲器276中的像素來生成預(yù)測圖像，并將該預(yù)測圖像提供給計算単元275。另ー方面，當(dāng)將由計算單元275處理的數(shù)據(jù)是非幀內(nèi)畫面的數(shù)據(jù)時，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償単元278為非幀內(nèi)畫面生成預(yù)測圖像，并將該預(yù)測圖像提供給數(shù)據(jù)単元275。具體地講，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元278依據(jù)無損編碼/解碼單元272所提供的畫面類型等，從幀存儲器276讀取用于生成預(yù)測圖像的解碼圖像的畫面，作為參考圖像。運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元278還依據(jù)無損編碼/解碼單元272所提供的運(yùn)動矢量和運(yùn)動補(bǔ)償預(yù)測模式對幀存儲器276所提供的參考圖像執(zhí)行運(yùn)動補(bǔ)償，以生成預(yù)測圖像，并將該預(yù)測圖像提供給計算単元275。 計算單元275將幀內(nèi)預(yù)測單元277或運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元278以上述方式提供的預(yù)測圖像與逆正交變換單元274所提供的數(shù)據(jù)相加。因此，畫面(其像素值)被解碼。圖像重排緩沖器279臨時存儲計算単元275所提供的畫面(解碼圖像)，并讀取畫面以將所述畫面重排為原始排列方式(顯示次序)。然后，圖像重排緩沖器279將重排的畫面提供給幀存儲器214。從屬流解碼電路的示例構(gòu)造圖22是示出圖20所示從屬流解碼電路213的示例構(gòu)造的框圖。如圖22所示，從屬流解碼電路213包括累積緩沖器291、無損編碼/解碼單元292、解復(fù)用單元293、逆正交變換單元294、計算單元295、幀存儲器296、幀內(nèi)預(yù)測單元297、運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元298和圖像重排緩沖器299。圖22所示的從屬流解碼電路213中的各個單元的處理與視頻解碼電路212中的那些單元的處理類似，不同之處在于幀存儲器296和運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元298的處理。因此，將僅描述這些不同的處理。從屬流解碼電路213的幀存儲器296臨時存儲計算単元295所提供的解碼圖像，并根據(jù)需要將該解碼圖像提供給幀內(nèi)預(yù)測單元297或運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元298，作為用于生成預(yù)測圖像的參考圖像。運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元298依據(jù)無損編碼/解碼單元292所提供的畫面類型等，從幀存儲器296讀取用于生成預(yù)測圖像的解碼圖像的畫面作為參考圖像。另外，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元298還依據(jù)無損編碼/解碼單元292所提供的畫面類型等，從視頻解碼電路212的幀存儲器276讀取用于生成預(yù)測圖像的解碼圖像的畫面作為參考圖像。然后，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償單元298依據(jù)無損編碼/解碼單元292所提供的運(yùn)動矢量和運(yùn)動補(bǔ)償預(yù)測模式，通過對幀存儲器296和276所提供的參考圖像執(zhí)行運(yùn)動補(bǔ)償來生成預(yù)測圖像，并將該預(yù)測圖像提供給計算単元295。解碼系統(tǒng)的處理的描述圖23是示出由解碼系統(tǒng)200中的控制器218執(zhí)行的顯示控制處理的流程圖。當(dāng)提供給控制器218的L-R對的VS_TYPE中所包括的圖像捕獲類型是第二圖像捕獲類型吋，針對例如姆個L-R對執(zhí)行所述顯示控制處理。
在步驟S71，控制器218確定視頻解碼電路212和從屬流解碼電路213所提供的L-R對的VS_TYPE中所包括的TS類型是否是“非TS類型”。如果在步驟S71中確定TS類型是“非TS類型”，則在步驟S72中，控制器218依據(jù)圖像捕獲次序信息確定L-R對的顯示時刻，以使得圖像捕獲次序與顯示次序相同。具體地講，當(dāng)圖像捕獲次序信息指示先L圖像后R圖像的次序時，控制器218確定L-R對的顯示時刻，以使得L-R對中的L圖像的顯示時刻可比R圖像的顯示時刻早預(yù)定時間段。當(dāng)圖像捕獲次序信號指示先R圖像后L圖像的次序時，控制器218確定L-R對的顯示時刻，以使得L-R對中的R圖像的顯示時刻可比L圖像的顯示時刻早預(yù)定時間段。如果在步驟S71中確定TS類型不是“非TS類型”，則步驟S73中，控制器218確定TS類型是否是“相同時刻類型”。如果在步驟S73中確定TS類型是“相同時刻類型”，則在步驟S74，控制器218依據(jù)圖像捕獲次序信息和顯示時刻信息確定L-R對的顯示時刻，以使得圖像捕獲次序與顯示 次序相同。具體地講，當(dāng)圖像捕獲次序信息指示例如先L圖像后R圖像的次序時，控制器218將L圖像的顯示時刻設(shè)置為由顯示時刻信息指示的顯示時刻，將R圖像的顯示時刻設(shè)置為比該顯示時刻晚預(yù)定時間段的顯示時刻。當(dāng)圖像捕獲次序信號指示例如先R圖像后L圖像的次序時，控制器218將R圖像的顯示時刻設(shè)置為由顯示時刻信息指示的顯示時刻，將L圖像的顯示時刻設(shè)置為比該顯示時刻晚預(yù)定時間段的顯示時刻。如果在步驟S73中確定TS類型不是“相同時刻類型”，則在步驟S75中，控制器218確定TS類型是否是“任ー類型”。如果在步驟S75中確定TS類型是“任ー類型”，則在步驟S76中，控制器218依據(jù)圖像捕獲次序信息和關(guān)于L圖像的顯示時刻信息來確定L-R對的顯示時刻，以使得圖像捕獲次序與顯示次序相同。具體地講，當(dāng)圖像捕獲次序信息指示先L圖像后R圖像的次序時，控制器218將L圖像的顯示時刻設(shè)置為由關(guān)于L圖像的顯示時刻信息所指示的顯示時刻，將R圖像的顯示時刻設(shè)置為比該顯示時刻晚預(yù)定時間段的顯示時刻。當(dāng)圖像捕獲次序信息指示先R圖像后L圖像的次序時，控制器218將L圖像的顯示時刻設(shè)置為由關(guān)于L圖像的顯示時刻信息所指示的顯示時刻，將R圖像的顯示時刻設(shè)置為比該顯示時刻早預(yù)定時間段的顯示時刻。如果在步驟S75中確定TS類型不是“任ー類型”，即，TS類型是“不同時刻類型”，則處理進(jìn)行到步驟S77。在步驟S77中，控制器218依據(jù)關(guān)于L圖像的顯示時刻信息來確定L圖像的顯示時刻，并依據(jù)關(guān)于R圖像的顯示時刻信息來確定R圖像的顯示時刻。在步驟S72、S74、S76或S77的處理之后，處理進(jìn)行到步驟S78。在步驟S78，控制器218控制幀存儲器214以在基于步驟S72、S74、S76或S77中所確定的L-R對的顯示時刻的定時來讀取并輸出L圖像的圖像數(shù)據(jù)和R圖像的圖像數(shù)據(jù)。然后，處理結(jié)束。如上所述，編碼系統(tǒng)10將第二圖像捕獲類型和圖像捕獲次序信息添加到在連續(xù)的不同定時捕獲的L-R對的編碼數(shù)據(jù)中。因此，解碼系統(tǒng)200可依據(jù)添加到編碼數(shù)據(jù)的第ニ圖像捕獲類型和圖像捕獲次序信息，按照與圖像捕獲次序相同的次序顯示在連續(xù)的不同定時捕獲的L-R對。因此，可顯示圖像捕獲期間的自然運(yùn)動被忠實地再現(xiàn)的看起來自然的立體圖像。因此，可獲得真實感改善的立體圖像。第二實施例根據(jù)第二實施例的編碼系統(tǒng)的示例構(gòu)造圖24是示出根據(jù)本發(fā)明第二實施例的編碼系統(tǒng)300的示例構(gòu)造的框圖。在圖24所示的構(gòu)造中，與圖I中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋觥D24所示的編碼系統(tǒng)300的構(gòu)造與圖I所示構(gòu)造的不同之處在于設(shè)置視頻編碼設(shè)備301來代替多視點(diǎn)編碼設(shè)備13。在圖24所示的編碼系統(tǒng)300中，依據(jù)AVC編碼方案(而非MVC編碼方案)來對L圖像和R圖像的圖像信號進(jìn)行編碼。
更具體地講，視頻編碼設(shè)備301依據(jù)AVC編碼方案，按照預(yù)定次序?qū)κ褂米笱蹐D像捕獲設(shè)備11捕獲的L圖像的圖像信號和使用右眼圖像捕獲設(shè)備12捕獲的R圖像的圖像信號進(jìn)行編碼。視頻編碼設(shè)備301把通過編碼獲得的編碼數(shù)據(jù)作為比特流輸出。視頻編碼設(shè)備的示例構(gòu)造圖25是示出圖24所示視頻編碼設(shè)備301的示例構(gòu)造的框圖。如圖25所示，視頻編碼設(shè)備301包括VS_TYPE生成電路21、顯示時刻信息生成電路22、視頻組合電路311和編碼電路312。在圖25所示的構(gòu)造中，與圖4中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋?。針對每ー個L-R對，視頻組合電路311按照預(yù)定次序?qū)⑹褂米笱蹐D像捕獲設(shè)備11捕獲的L圖像的圖像信號和使用右眼圖像捕獲設(shè)備12捕獲的R圖像的圖像信號連續(xù)地提供給編碼電路312。編碼電路312依據(jù)AVC編碼方案對從視頻組合電路311輸入的圖像信號進(jìn)行編碼。即，編碼電路312按照預(yù)定次序?qū)-R對中的L圖像和R圖像的圖像信號連續(xù)地編碼。然后，編碼電路312將VS_TYPE生成電路21所提供的VS_TYPE和顯示時刻信息生成電路22所提供的顯示時刻信息添加到通過編碼獲得的編碼數(shù)據(jù)，并將結(jié)果作為比特流輸出。編碼電路的示例構(gòu)造圖26是示出圖25所示編碼電路312的示例構(gòu)造的框圖。在圖26所示的構(gòu)造中，與圖6中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋觥D26所示的編碼電路312的構(gòu)造與圖6所示的視頻編碼電路23的構(gòu)造的不同之處在于設(shè)置幀存儲器321來代替幀存儲器52。圖26所示的編碼電路312被構(gòu)造為使得解碼圖像僅在編碼電路312中使用。視頻編碼設(shè)備的處理的描述圖27是示出由視頻編碼設(shè)備301執(zhí)行的編碼處理的流程圖。參照圖27，在步驟S101，與圖10的步驟Sll的處理一祥，VS_TYPE生成電路21基于L-R對的圖像信號的輸入定時來生成VS_TYPE。另外，與步驟Sll中的處理一祥，顯示時刻信息生成電路22基于L-R對的圖像信號的輸入定時生成關(guān)于L-R對的顯示時刻信息，該顯示時刻信息指示相同的顯示時刻或不同的顯示時刻。在步驟S102，編碼電路312的無損編碼單元46確定VS_TYPE生成電路21提供的VS_TYPE中所包括的TS類型是否是“非TS類型”。如果在步驟S102中確定TS類型是“非TS類型”，則在步驟S103中，編碼電路312對視頻組合電路311所提供的圖像信號進(jìn)行編碼，并添加VS_TYPE生成電路21所提供的VS_TYPE。然后，編碼電路312將所得編碼數(shù)據(jù)作為比特流輸出，處理結(jié)束。如果在步驟S102中確定TS類型不是“非TS類型”，則處理進(jìn)行到步驟S104。在步驟S104中，編碼電路312的無損編碼單元46確定VS_TYPE生成電路21提供的VS_TYPE中所包括的TS類型是否是“相同時刻類型”或“不同時刻類型”。如果在步驟S104中確定TS類型是“相同時刻 類型”或“不同時刻類型”，則處理進(jìn)行到步驟S105。在步驟S105，編碼電路312對視頻組合電路311所提供的圖像信號進(jìn)行編碼，并添加VS_TYPE生成電路21所提供的VS_TYPE和顯示時刻信息生成電路22所提供的顯示時刻信息。然后，編碼電路312將所得編碼數(shù)據(jù)作為比特流輸出，處理結(jié)束。如果在步驟S104中確定TS類型不是“相同時刻類型”或“不同時刻類型”，即，TS類型是“任一類型”，則處理進(jìn)行到步驟S106。在步驟S106，編碼電路312確定視頻組合電路311所提供的圖像信號是否是L圖像的圖像信號。如果在步驟S106中確定圖像信號是L圖像的圖像信號，則處理進(jìn)行到如上所述的步驟S105，編碼電路312對視頻組合電路311所提供的L圖像的圖像信號進(jìn)行編碼，并添加VS_TYPE和顯示時刻信息。然后，編碼電路312將所得編碼數(shù)據(jù)作為比特流輸出，處理結(jié)束。如果在步驟S106中確定圖像信號不是L圖像的圖像信號，即，圖像信號是R圖像的圖像信號，則處理進(jìn)行到步驟S107。在步驟S107中，編碼電路312對視頻組合電路311所提供的R圖像的圖像信號進(jìn)行編碼，并添加VS_TYPE生成電路21所提供的VS_TYPE。然后，編碼電路312將所得編碼數(shù)據(jù)作為比特流輸出，處理結(jié)束。在編碼系統(tǒng)300中，分別設(shè)置用于捕獲L圖像的圖像捕獲設(shè)備和用于捕獲R圖像的圖像捕獲設(shè)備。然而，與圖12所示的情況一樣，可使用單個圖像捕獲設(shè)備來捕獲L圖像和R圖像。另外,在編碼系統(tǒng)300中，L圖像和R圖像從圖像捕獲設(shè)備并行輸出。然而,與圖13或圖17所示的情況一樣，L圖像和R圖像可被串行輸出。在這種情況下，視頻編碼設(shè)備301不設(shè)有視頻組合電路311。解碼系統(tǒng)的示例構(gòu)造圖28是示出解碼系統(tǒng)400的示例構(gòu)造的框圖，該解碼系統(tǒng)400被構(gòu)造為對上述編碼系統(tǒng)300所輸出的比特流進(jìn)行解碼。在圖28所示的構(gòu)造中，與圖19中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋觥D28所示的解碼系統(tǒng)400的構(gòu)造與圖19所示構(gòu)造的不同之處在于設(shè)置視頻解碼設(shè)備401來代替多視點(diǎn)解碼設(shè)備201。在圖28所示的解碼系統(tǒng)400中，依據(jù)與AVC編碼方案(而非MVC編碼方案)對應(yīng)的方案來對比特流進(jìn)行解碼。視頻解碼設(shè)備401使用與AVC編碼方案對應(yīng)的方案對編碼系統(tǒng)300所輸出的比特流進(jìn)行解碼。視頻解碼設(shè)備401在連續(xù)的不同定時將L-R對的圖像信號(所得到的是模擬信號)輸出給3D視頻顯示設(shè)備202。視頻解碼設(shè)備的示例構(gòu)造圖29是示出圖28所示視頻解碼設(shè)備401的示例構(gòu)造的框圖。如圖29所示，視頻解碼設(shè)備401包括解碼電路411、幀存儲器412、圖像大小轉(zhuǎn)換電路215、幀率轉(zhuǎn)換電路216、D/A轉(zhuǎn)換電路217和控制器218。在圖29所示的構(gòu)造中，與圖20中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋觥＝獯a電路411使用與AVC編碼方案對應(yīng)的方案對編碼系統(tǒng)300所輸出的比特流進(jìn)行解碼。通過解碼獲得的圖像數(shù)據(jù)是數(shù)字信號，解碼電路411將該圖像數(shù)據(jù)提供給幀存儲器412。另外，解碼電路411將通過解碼獲得的VS_TYPE和顯示時刻信息提供給控制器218。幀存儲器412存儲解碼電路411所提供的圖像數(shù)據(jù)。幀存儲器412依據(jù)控制器218的控制，順序讀取存儲在幀存儲器412中的L-R對中的L圖像的圖像數(shù)據(jù)和R圖像的圖 像數(shù)據(jù)，并將L圖像的圖像數(shù)據(jù)和R圖像的圖像數(shù)據(jù)輸出給圖像大小轉(zhuǎn)換電路215。解碼電路的示例構(gòu)造圖30是示出圖29所示解碼電路411的示例構(gòu)造的框圖。在圖30所示的構(gòu)造中，與圖21中的部件相同或相似的部件分配了相同的標(biāo)號。適當(dāng)?shù)厥÷远嘤嗟拿枋?。圖30所示的解碼電路411的構(gòu)造與圖21所示的視頻解碼電路212的構(gòu)造的不同之處在于設(shè)置幀存儲器421來代替幀存儲器276。圖30所示的解碼電路411被構(gòu)造為使得解碼圖像僅在解碼電路411中使用。本發(fā)明的實施例可提供這樣的解碼設(shè)備，只有構(gòu)造為在連續(xù)的不同定時顯示L-R對的3D視頻顯示設(shè)備才可連接到該解碼設(shè)備，本發(fā)明的實施例還可提供這樣的解碼設(shè)備，構(gòu)造為在連續(xù)的不同定時顯示L-R對的3D視頻顯示設(shè)備以及構(gòu)造為同時顯示L-R對的3D視頻顯示設(shè)備都可連接到該解碼設(shè)備。在這種情況下，解碼設(shè)備從3D視頻顯示設(shè)備獲得指示3D視頻顯示設(shè)備的顯示方法的信息，并在顯示方法是在連續(xù)的不同定時顯示L-R對的方法時，執(zhí)行上述顯示控制處理。另外，在本實施例中，VS_TYPE和顯示時刻信息被添加到編碼數(shù)據(jù)中(在編碼數(shù)據(jù)中描述)。然而，VS_TYPE和顯示時刻信息可與圖像數(shù)據(jù)(或比特流)分開傳輸(記錄)。作為另外一種選擇，VS_TYPE和顯示時刻信息可與圖像數(shù)據(jù)(或比特流)相連接。在本實施例中，術(shù)語“連接”如下定義。術(shù)語“連接”表示將圖像數(shù)據(jù)(或比特流)與VS_TYPE和顯示時刻信息鏈接在一起。將與VS_TYPE和顯示時刻信息相連接的圖像數(shù)據(jù)可以經(jīng)與VS_TYPE和顯示時刻信息的傳輸路徑不同的傳輸路徑傳輸。作為另外一種選擇，將與VS_TYPE和顯示時刻信息相連接的圖像數(shù)據(jù)(或比特流)可被記錄在與VS_TYPE和顯示時刻信息的記錄介質(zhì)不同的記錄介質(zhì)(或同一記錄介質(zhì)的不同記錄區(qū))中。圖像數(shù)據(jù)(或比特流)可以以例如編碼處理為單位(例如，以幀為單位或者以幀組為單位)來與VS_TYPE和顯示時刻信息鏈接。根據(jù)本發(fā)明實施例的計算機(jī)的描述上述一系列處理可通過硬件或軟件來執(zhí)行。當(dāng)通過軟件執(zhí)行所述一系列處理時，構(gòu)成軟件的程序被安裝到通用計算機(jī)等中。圖31是示出根據(jù)實施例的計算機(jī)的示例構(gòu)造的框圖，其中用于執(zhí)行上述一系列處理的程序安裝在所述計算機(jī)中。所述程序可預(yù)先記錄在用作計算機(jī)的內(nèi)置記錄介質(zhì)的存儲單元608或只讀存儲器(ROM) 602 中。作為另外一種選擇，所述程序可存儲在(記錄在)可移除介質(zhì)611中?？梢瞥橘|(zhì)611可作為所謂的軟件包提供?？梢瞥橘|(zhì)611的例子包括軟盤、緊湊盤只讀存儲器(⑶-ROM)、磁光(MO)盤、數(shù)字多功能盤(DVD)、磁盤和半導(dǎo)體存儲器。所述程序可經(jīng)驅(qū)動器610從上述可移除介質(zhì)611安裝到計算機(jī)中，或者還可經(jīng)通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)下載到計算機(jī)，然后安裝到設(shè)置在計算機(jī)中的存儲單元608中。SP，例如，所述程序可經(jīng)用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星通過無線連接從下載地點(diǎn)傳輸?shù)接嬎銠C(jī)中，或者可經(jīng)諸如局域網(wǎng)(LAN)或互聯(lián)網(wǎng)的網(wǎng)絡(luò)通過有線連接傳輸?shù)接嬎銠C(jī)中。所述計算機(jī)包括中央處理單元(CPU) 601，CPU 601經(jīng)總線604連接到輸入/輸出接口 605。 響應(yīng)于用戶通過對輸入單元606等的操作經(jīng)輸入/輸出接口 605輸入的指令，CPU601相應(yīng)地執(zhí)行存儲在ROM 602中的程序。作為另外一種選擇，CPU 601將存儲在存儲單元608中的程序載入隨機(jī)存取存儲器(RAM) 603中，并執(zhí)行該程序。因此，CPU 601執(zhí)行根據(jù)上述流程圖的處理或者用上述框圖中的構(gòu)造執(zhí)行的處理。然后，CPU 601使得處理結(jié)果根據(jù)需要通過例如輸入/輸出接口 605被發(fā)送，以例如從輸出單元607輸出，從通信單元609發(fā)送,或者記錄在存儲單元608上。輸入單元606可包括鍵盤、鼠標(biāo)和麥克風(fēng)。輸出單元607可包括液晶顯示器(IXD)和揚(yáng)聲器。所述計算機(jī)并非必須按照本文中以流程圖的形式描述的次序根據(jù)所述程序順序執(zhí)行處理。由計算機(jī)根據(jù)所述程序執(zhí)行的處理還可包括并行或單獨(dú)執(zhí)行的處理(例如，并行處理或基于對象的處理)。另外，所述程序可使用單個計算機(jī)(處理器)來處理，或者可使用多個計算機(jī)以分布式方式來處理。所述程序還可被傳輸至遠(yuǎn)程計算機(jī)，然后可被執(zhí)行。如本文所用，術(shù)語“系統(tǒng)”表示包括多個裝置的整個設(shè)備。本發(fā)明的實施例不限于上述實施例，在不脫離本發(fā)明的范圍的情況下，可進(jìn)行各種修改。例如，上述編碼系統(tǒng)10 (300)和解碼系統(tǒng)200 (400)可應(yīng)用于任何所需電子設(shè)備。下面將描述這樣的電子設(shè)備的實例。電視接收機(jī)的示例構(gòu)造圖32是示出根據(jù)本發(fā)明實施例的包括解碼系統(tǒng)的電視接收機(jī)700的主要部件的示例構(gòu)造的框圖。圖32所示的電視接收機(jī)700獲得由上述編碼系統(tǒng)10 (300)產(chǎn)生的比特流作為用于數(shù)字廣播的至少一部分廣播信號或內(nèi)容數(shù)據(jù)，并通過執(zhí)行與解碼系統(tǒng)200 (400)的處理類似的處理來顯示立體圖像。電視接收機(jī)700的地面調(diào)諧器713經(jīng)天線接收地面模擬廣播的廣播波信號，對廣播波信號進(jìn)行解調(diào)，獲得圖像信號，并將該圖像信號提供給視頻解碼器715。視頻解碼器715對地面調(diào)諧器713所提供的視頻信號執(zhí)行解碼處理，并將所得數(shù)字分量信號提供給視頻信號處理電路718。視頻信號處理電路718對視頻解碼器715所提供的視頻數(shù)據(jù)執(zhí)行諸如去噪的預(yù)定處理，并將所得視頻數(shù)據(jù)提供給圖形生成電路719。圖形生成電路719生成將顯示在顯示面板721上的節(jié)目的視頻數(shù)據(jù)、基于經(jīng)網(wǎng)絡(luò)提供的應(yīng)用通過處理產(chǎn)生的圖像數(shù)據(jù)、等等，并將生成的視頻數(shù)據(jù)或圖像數(shù)據(jù)提供給面板驅(qū)動電路720。圖形生成電路719還適當(dāng)?shù)貓?zhí)行例如如下處理生成視頻數(shù)據(jù)(圖形數(shù)據(jù))以便于顯示用戶用來選擇項目等的屏幕，將生成的視頻數(shù)據(jù)疊加在節(jié)目視頻數(shù)據(jù)上以產(chǎn)生視頻數(shù)據(jù)，并將所得視頻數(shù)據(jù)提供給面板驅(qū)動電路720。面板驅(qū)動電路720依據(jù)圖形生成電路719所提供的數(shù)據(jù)來驅(qū)動顯示面板721，以在顯示面板721上顯示節(jié)目視頻或上述各種屏幕。節(jié)目視頻等依據(jù)面板驅(qū)動電路720的控制顯示在顯示面板721上。
電視接收機(jī)700還包括音頻A/D轉(zhuǎn)換電路714、音頻信號處理電路722、回聲消除/音頻組合電路723、音頻放大電路724和揚(yáng)聲器725。地面調(diào)諧器713通過對接收的廣播波信號進(jìn)行解調(diào)來獲得視頻信號和音頻信號。地面調(diào)諧器713將獲得的音頻信號提供給音頻A/D轉(zhuǎn)換電路714。音頻A/D轉(zhuǎn)換電路714對地面調(diào)諧器713所提供的音頻信號執(zhí)行A/D轉(zhuǎn)換處理，并將所得數(shù)字音頻信號提供給音頻信號處理電路722。音頻信號處理電路722對音頻A/D轉(zhuǎn)換電路714所提供的音頻數(shù)據(jù)執(zhí)行諸如去噪的預(yù)定處理，并將所得音頻數(shù)據(jù)提供給回聲消除/音頻組合電路723?；芈曄?音頻組合電路723將音頻信號處理電路722所提供的音頻數(shù)據(jù)提供給音頻放大電路724。音頻放大電路724對回聲消除/音頻組合電路723所提供的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換處理和放大處理，以將音量調(diào)節(jié)至預(yù)定音量，然后從揚(yáng)聲器725輸出音頻。電視接收機(jī)700還包括數(shù)字調(diào)諧器716和MPEG解碼器717。數(shù)字調(diào)諧器716經(jīng)天線接收數(shù)字廣播的廣播波信號(地面數(shù)字廣播、廣播衛(wèi)星(BS) /通信衛(wèi)星(CS)數(shù)字廣播)，對廣播波信號進(jìn)行解調(diào)，獲得運(yùn)動圖像專家組-傳輸流(MPEG-TS )，并將該MPEG-TS提供給MPEG解碼器717。MPEG解碼器717將數(shù)字調(diào)諧器716所提供的加擾的MPEG-TS解擾，并提取包括將被再現(xiàn)(觀看)的節(jié)目數(shù)據(jù)的流。MPEG解碼器717對形成提取的流的音頻包進(jìn)行解碼，并將獲得的音頻數(shù)據(jù)提供給音頻信號處理電路722。另外，MPEG解碼器717對形成所述流的視頻包進(jìn)行解碼，并將獲得的視頻數(shù)據(jù)提供給視頻信號處理電路718。MPEG解碼器717還經(jīng)路徑(未示出)將從MPEG-TS提取出的電子節(jié)目指南(EPG)數(shù)據(jù)提供給CPU 732。利用視頻信號處理電路718以與視頻解碼器715所提供的視頻數(shù)據(jù)的處理類似的方式使MPEG解碼器717所提供的視頻數(shù)據(jù)經(jīng)受預(yù)定處理。然后，根據(jù)需要利用圖形生成電路719將生成的視頻數(shù)據(jù)等疊加在經(jīng)受過所述預(yù)定處理的視頻數(shù)據(jù)上，并經(jīng)面板驅(qū)動電路720將所得視頻數(shù)據(jù)提供給顯示面板721。對應(yīng)的圖像被顯示。以這樣的方式，電視接收機(jī)700以與上述多視點(diǎn)解碼設(shè)備201或視頻解碼設(shè)備401的處理類似的方式執(zhí)行對視頻包進(jìn)行解碼并且在顯示面板721上顯示圖像的處理。因此，可以顯示例如節(jié)目的看起來自然的立體圖像。
利用音頻信號處理電路722以與音頻A/D轉(zhuǎn)換電路714所提供的音頻數(shù)據(jù)的處理類似的方式使MPEG解碼器717所提供的音頻數(shù)據(jù)經(jīng)受預(yù)定處理。然后，經(jīng)受過所述預(yù)定處理的音頻數(shù)據(jù)經(jīng)回聲消除/音頻組合電路723被提供給音頻放大電路724，并經(jīng)受D/A轉(zhuǎn)換處理或放大處理。因此，從揚(yáng)聲器725輸出調(diào)節(jié)至預(yù)定音量的音頻。電視接收機(jī)700還包括麥克風(fēng)726和A/D轉(zhuǎn)換電路727。A/D轉(zhuǎn)換電路727接收由設(shè)置在電視接收機(jī)700中的、用于口頭交談的麥克風(fēng)726捕獲的用戶的語音信號。A/D轉(zhuǎn)換電路727對接收的音頻信號執(zhí)行A/D轉(zhuǎn)換處理，并將獲得的數(shù)字音頻數(shù)據(jù)提供給回聲消除/音頻組合電路723。當(dāng)從A/D轉(zhuǎn)換電路727提供電視接收機(jī)700的用戶(用戶A)的音頻數(shù)據(jù)時，回聲消除/音頻組合電路723對用戶A的音頻數(shù)據(jù)執(zhí)行回聲消除。然后，在回聲消除之后，回聲消除/音頻組合電路723使得通過例如將該音頻數(shù)據(jù)與其他音頻數(shù)據(jù)組合而獲得的音頻數(shù) 據(jù)經(jīng)音頻放大電路724從揚(yáng)聲器725輸出。電視接收機(jī)700還包括音頻編解碼器728、內(nèi)部總線729、同步動態(tài)隨機(jī)存取存儲器(SDRAM) 730、閃存 731、CPU 732、通用串行總線(USB)接口(I/F) 733 和網(wǎng)絡(luò) I/F 734。A/D轉(zhuǎn)換電路727接收由設(shè)置在電視接收機(jī)700中的、用于口頭交談的麥克風(fēng)726捕獲的用戶的語音信號。A/D轉(zhuǎn)換電路727對接收的音頻信號執(zhí)行A/D轉(zhuǎn)換處理，并將獲得的數(shù)字音頻數(shù)據(jù)提供給音頻編解碼器728。音頻編解碼器728將A/D轉(zhuǎn)換電路727所提供的音頻數(shù)據(jù)轉(zhuǎn)換為預(yù)定格式的數(shù)據(jù)，以便于經(jīng)網(wǎng)絡(luò)進(jìn)行傳輸，并且將所得音頻數(shù)據(jù)經(jīng)內(nèi)部總線729提供給網(wǎng)絡(luò)I/F 734。網(wǎng)絡(luò)I/F 734經(jīng)附連到網(wǎng)絡(luò)端口 735的線纜連接到網(wǎng)絡(luò)。網(wǎng)絡(luò)I/F 734將音頻編解碼器728所提供的音頻數(shù)據(jù)發(fā)送給例如連接到網(wǎng)絡(luò)的另一設(shè)備。網(wǎng)絡(luò)I/F 734經(jīng)網(wǎng)絡(luò)端口 735接收例如經(jīng)網(wǎng)絡(luò)連接的另一設(shè)備所發(fā)送來的音頻數(shù)據(jù)，并將該音頻數(shù)據(jù)經(jīng)內(nèi)部總線729提供給音頻編解碼器728。音頻編解碼器728將網(wǎng)絡(luò)I/F 734所提供的音頻數(shù)據(jù)轉(zhuǎn)換為預(yù)定格式的數(shù)據(jù)，并將所得音頻數(shù)據(jù)提供給回聲消除/音頻組合電路723?；芈曄?音頻組合電路723對音頻編解碼器728所提供的音頻數(shù)據(jù)執(zhí)行回聲消除，并使得通過例如將該音頻數(shù)據(jù)與其他音頻數(shù)據(jù)組合而獲得的音頻數(shù)據(jù)經(jīng)音頻放大電路724從揚(yáng)聲器725輸出。SDRAM 730存儲CPU 732執(zhí)行處理所需的各種數(shù)據(jù)。閃存731存儲CPU 732所執(zhí)行的程序。CPU 732在預(yù)定的定時(例如，當(dāng)電視接收機(jī)700開啟時)讀取存儲在閃存731中的程序。閃存731還存儲經(jīng)數(shù)字廣播獲得的EPG數(shù)據(jù)、經(jīng)網(wǎng)絡(luò)從預(yù)定服務(wù)器獲得的數(shù)據(jù)等。例如，閃存731在CPU 732的控制下存儲包括經(jīng)網(wǎng)絡(luò)從預(yù)定服務(wù)器獲得的內(nèi)容數(shù)據(jù)的MPEG-TS。例如，閃存731在CPU 732的控制下經(jīng)內(nèi)部總線729將該MPEG-TS提供給MPEG解碼器717。MPEG解碼器717以與數(shù)字調(diào)諧器716所提供的MPEG-TS的處理類似的方式處理該MPEG-TS。以這樣的方式，電視接收機(jī)700可經(jīng)網(wǎng)絡(luò)接收包括視頻和音頻的內(nèi)容數(shù)據(jù)，使用MPEG解碼器717對該內(nèi)容數(shù)據(jù)進(jìn)行解碼，并顯示視頻或輸出音頻。電視接收機(jī)700還包括光接收單元737，所述光接收單元737接收從遙控器751發(fā)送來的紅外信號。光接收單元737從遙控器751接收紅外信號，對該紅外信號進(jìn)行解調(diào)以獲得指示用戶操作的內(nèi)容的控制碼，并將該控制碼輸出給CPU 732。CPU 732執(zhí)行存儲在閃存731中的程序，并依據(jù)光接收單元737等所提供的控制碼來控制電視接收機(jī)700的總體操作。CPU 732經(jīng)路徑(未示出)連接到電視接收機(jī)700的各個單元。USB I/F 733將數(shù)據(jù)發(fā)送到電視接收機(jī)700外部的裝置并從電視接收機(jī)700外部的裝置接收數(shù)據(jù)，所述電視接收機(jī)700外部的裝置經(jīng)附連到USB端口 736的USB線纜連接。網(wǎng)絡(luò)I/F 734經(jīng)附連到網(wǎng)絡(luò)端口 735的線纜連接到網(wǎng)絡(luò)，并且還將除了音頻數(shù)據(jù)之外的數(shù)據(jù)發(fā)送給連接到網(wǎng)絡(luò)的各種設(shè)備并從所述連接到網(wǎng)絡(luò)的各種設(shè)備接收除了音頻數(shù)據(jù)之外的數(shù)據(jù)。移動電話的示例構(gòu)造 圖33是示出包括根據(jù)本發(fā)明實施例的編碼系統(tǒng)和解碼系統(tǒng)的移動電話800的主要部件的示例構(gòu)造的框圖。圖33所示的移動電話800執(zhí)行與上述編碼系統(tǒng)10 (300)的處理類似的處理，并獲得用于顯示立體圖像的比特流。另外，移動電話800接收通過上述編碼系統(tǒng)10 (300)獲得的比特流，執(zhí)行與上述解碼系統(tǒng)200 (400)的處理類似的處理，并顯示立體圖像。圖33所示的移動電話800包括構(gòu)造用于總的控制各個單元的主控制單元850、電源電路單元851、操作輸入控制單元852、圖像編碼器853、相機(jī)I/F單元854、IXD控制單元855、圖像解碼器856、復(fù)用/解復(fù)用單元857、記錄/再現(xiàn)單元862、調(diào)制/解調(diào)電路單元858和音頻編解碼器859。主控制單元850、電源電路單元851、操作輸入控制單元852、圖像編碼器853、相機(jī)I/F單元854、LCD控制單元855、圖像解碼器856、復(fù)用/解復(fù)用單元857、記錄/再現(xiàn)單元862、調(diào)制/解調(diào)電路單元858和音頻編解碼器859經(jīng)總線860彼此連接。移動電話800還包括操作鍵819、電荷耦合器件(CXD)相機(jī)816、液晶顯示器818、存儲單元823、發(fā)送/接收電路單元863、天線814、麥克風(fēng)821和揚(yáng)聲器817。當(dāng)通話結(jié)束，并且通過用戶操作打開電源鍵時，電源電路單元851將能量從電池組提供給各個單元，因此允許移動電話800操作。移動電話800在包括CPU、ROM和RAM的主控制單元850的控制下在諸如通話模式和數(shù)據(jù)通信模式的各種模式下執(zhí)行各種操作，例如發(fā)送和接收音頻信號，發(fā)送和接收電子郵件或圖像數(shù)據(jù)，拍攝圖像，以及記錄數(shù)據(jù)。在移動電話800中，例如在通話模式下，音頻編解碼器859將麥克風(fēng)821所拾取的音頻信號轉(zhuǎn)換為數(shù)字音頻數(shù)據(jù)，調(diào)制/解調(diào)電路單元858對該音頻數(shù)據(jù)執(zhí)行展頻處理。另夕卜，發(fā)送/接收電路單元863對音頻數(shù)據(jù)執(zhí)行數(shù)字-模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話800經(jīng)天線814將通過所述轉(zhuǎn)換處理獲得的發(fā)送信號發(fā)送給基站(未示出)。發(fā)送給基站的發(fā)送信號(音頻信號)經(jīng)公共電話網(wǎng)絡(luò)被提供給通話另一端的移動電話。另外，在移動電話800中，例如在通話模式下，發(fā)送/接收電路單元863將通過天線814接收的接收信號放大，并且還執(zhí)行頻率轉(zhuǎn)換處理和模擬-數(shù)字轉(zhuǎn)換處理。另外，調(diào)制/解調(diào)電路單元858執(zhí)行逆展頻處理，音頻編解碼器859將所得信號轉(zhuǎn)換為模擬音頻信號。移動電話800從揚(yáng)聲器817輸出通過轉(zhuǎn)換獲得的模擬音頻信號。
另外，例如，為了在數(shù)據(jù)通信模式下發(fā)送電子郵件，移動電話800的操作輸入控制單元852接收通過操作鍵819的操作輸入的電子郵件的文本數(shù)據(jù)。在移動電話800中，主控制單元850處理文本數(shù)據(jù)，并且該文本數(shù)據(jù)經(jīng)IXD控制單元855作為圖像顯示在液晶顯示器818上。另外，在移動電話800中，主控制單元850依據(jù)通過操作輸入控制單元852接收的文本數(shù)據(jù)、用戶指令等生成電子郵件數(shù)據(jù)。在移動電話800中，調(diào)制/解調(diào)電路單元858對電子郵件數(shù)據(jù)執(zhí)行展頻處理，發(fā)送/接收電路單元863執(zhí)行數(shù)字-模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話800將通 過所述轉(zhuǎn)換處理獲得的發(fā)送信號經(jīng)天線814發(fā)送給基站(未示出)。發(fā)送給基站的發(fā)送信號(電子郵件)經(jīng)網(wǎng)絡(luò)被提供給預(yù)定目的地、郵件服務(wù)器等。另外，例如，當(dāng)在數(shù)據(jù)通信模式下接收到電子郵件時，移動電話800的發(fā)送/接收電路單元863經(jīng)天線814接收從基站發(fā)送來的信號，放大該信號，并且還執(zhí)行頻率轉(zhuǎn)換處理和模擬-數(shù)字轉(zhuǎn)換處理。在移動電話800中，調(diào)制/解調(diào)電路單元858對接收的信號執(zhí)行逆展頻處理，以恢復(fù)原始電子郵件數(shù)據(jù)。在移動電話800中，恢復(fù)的電子郵件數(shù)據(jù)經(jīng)LCD控制單元855顯示在液晶顯示器818上。移動電話800還可被構(gòu)造為經(jīng)記錄/再現(xiàn)單元862將接收的電子郵件數(shù)據(jù)記錄(或存儲)在存儲單元823上。存儲單元823可以是任何可重寫存儲介質(zhì)。存儲單元823可以是諸如RAM或內(nèi)置閃存的半導(dǎo)體存儲器、硬盤、或者諸如可移除介質(zhì)，例如磁盤、磁光盤、光盤、USB存儲器或存儲卡。應(yīng)該理解的是,也可使用任何其他存儲介質(zhì)。另外，例如，當(dāng)在數(shù)據(jù)通信模式下發(fā)送圖像數(shù)據(jù)時，移動電話800的CXD相機(jī)816通過捕獲圖像來生成圖像數(shù)據(jù)。CXD相機(jī)816包括諸如鏡頭和光圈的光學(xué)器件和用作光電轉(zhuǎn)換部件的CCD傳感器，并且被構(gòu)造為捕獲對象的圖像，將接收的光的強(qiáng)度轉(zhuǎn)換為電信號，并生成對象的圖像的圖像數(shù)據(jù)。經(jīng)相機(jī)I/F單元854利用圖像編碼器853，通過使用諸如MVC或AVC的預(yù)定編碼方案進(jìn)行壓縮和編碼來將該圖像數(shù)據(jù)轉(zhuǎn)換為編碼的圖像數(shù)據(jù)。在上述方式中，作為對通過圖像捕獲生成的圖像數(shù)據(jù)進(jìn)行壓縮和編碼的處理，移動電話800執(zhí)行與上述多視點(diǎn)編碼設(shè)備13 (122)或視頻編碼設(shè)備301的處理類似的處理。因此，在解碼期間可顯示捕獲圖像的看起來自然的立體圖像。在移動電話800中，復(fù)用/解復(fù)用單元857使用預(yù)定方案將圖像編碼器853所提供的編碼圖像數(shù)據(jù)與音頻編解碼器859所提供的數(shù)字音頻數(shù)據(jù)復(fù)用。在移動電話800中，調(diào)制/解調(diào)電路單元858對所得復(fù)用數(shù)據(jù)執(zhí)行展頻處理，發(fā)送/接收電路單元863執(zhí)行數(shù)字-模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話800將通過所述轉(zhuǎn)換處理獲得的發(fā)送信號經(jīng)天線814發(fā)送給基站(未示出)。發(fā)送給基站的發(fā)送信號(圖像數(shù)據(jù))經(jīng)網(wǎng)絡(luò)等被提供給通話另一端。 當(dāng)沒有圖像數(shù)據(jù)被發(fā)送時，移動電話800可經(jīng)IXD控制單元855在液晶顯示器818上顯示由CXD相機(jī)816等生成的圖像數(shù)據(jù)，而不需使用圖像編碼器853。另外，例如，當(dāng)在數(shù)據(jù)通信模式下接收到鏈接到簡單主頁等的運(yùn)動圖像文件的數(shù)據(jù)時，在移動電話800中，發(fā)送/接收電路單元863經(jīng)天線814接收從基站發(fā)送來的信號，放大該信號，并且還執(zhí)行頻率轉(zhuǎn)換處理和模擬-數(shù)字轉(zhuǎn)換處理。在移動電話800中，調(diào)制/解調(diào)電路單元858對接收的信號執(zhí)行逆展頻處理，以恢復(fù)原始復(fù)用數(shù)據(jù)。在移動電話800中，復(fù)用/解復(fù)用單元857將復(fù)用數(shù)據(jù)解復(fù)用為編碼圖像數(shù)據(jù)和音頻數(shù)據(jù)。在移動電話800中，圖像解碼器856使用諸如MVC或AVC的預(yù)定編碼方案對編碼圖像數(shù)據(jù)進(jìn)行解碼，以生成再現(xiàn)運(yùn)動圖像數(shù)據(jù)，并經(jīng)IXD控制單元855在液晶顯示器818上顯示該再現(xiàn)運(yùn)動圖像數(shù)據(jù)。因此，例如，鏈接到簡單主頁的運(yùn)動圖像文件中所包括的運(yùn)動圖像數(shù)據(jù)被顯示在液晶顯示器818上。在上述方式中，移動電話800以與上述多視點(diǎn)解碼設(shè)備201或視頻解碼設(shè)備401的處理類似的方式執(zhí)行將編碼圖像數(shù)據(jù)解碼并在液晶顯示器818上顯示解碼圖像數(shù)據(jù)的處理。因此，例如可顯示與鏈接到簡單主頁的運(yùn)動圖像文件對應(yīng)的看起來自然的立體圖像。與電子郵件的情況一樣，移動電話800還可被構(gòu)造為經(jīng)記錄/再現(xiàn)單元862將接收的鏈接到簡單主頁等的數(shù)據(jù)記錄(或存儲)在存儲單元823上。另外，移動電話800可被構(gòu)造為使得主控制單元850分析由CXD相機(jī)816通過圖像捕獲而獲得的二維碼，從而獲得記錄在二維碼中的信息。 另外，移動電話800可被構(gòu)造為利用紅外通信單元881經(jīng)紅外傳輸與外部裝置通 目。盡管已經(jīng)描述了包括CXD相機(jī)816的移動電話800，但是移動電話800可包括基于互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)的圖像傳感器(CMOS圖像傳感器)來代替CXD相機(jī)816。在這種情況下，與使用CXD相機(jī)816的情況一樣，移動電話800也可捕獲對象的圖像，并且可生成對象的圖像的圖像數(shù)據(jù)。盡管上面描述了移動電話800，但是具有與移動電話800的功能類似的圖像捕獲功能或通信功能的任何設(shè)備，例如個人數(shù)字助理(PDA)、智能電話、超便攜個人計算機(jī)(UMPC)、上網(wǎng)本或筆記本PC均可以與移動電話800的系統(tǒng)類似的方式采用上述編碼系統(tǒng)和解碼系統(tǒng)。硬盤記錄器的示例構(gòu)造圖34是示出包括根據(jù)本發(fā)明實施例的解碼系統(tǒng)的硬盤記錄器(HD記錄器)900的主要部件和監(jiān)視器960的示例構(gòu)造的框圖。圖34所示的硬盤記錄器900獲得由上述編碼系統(tǒng)10 (300)產(chǎn)生的比特流，作為由調(diào)諧器接收以及使用衛(wèi)星或地面天線或者任何其他合適的裝置發(fā)送的一部分廣播波信號(電視信號)等，并將該比特流保存在內(nèi)置硬盤中。然后，硬盤記錄器900使用保存的比特流在根據(jù)用戶指令的定時執(zhí)行與解碼系統(tǒng)200 (400)的處理類似的處理，從而在監(jiān)視器960上顯示立體圖像。硬盤記錄器900包括接收單元921、解調(diào)單元922、解復(fù)用器923、音頻解碼器924、視頻解碼器925和記錄器控制單元926。硬盤記錄器900還包括EPG數(shù)據(jù)存儲器927、程序存儲器928、工作存儲器929、顯示轉(zhuǎn)換器930、屏幕顯示(OSD)控制單元931、顯示控制單元932、記錄/再現(xiàn)單元933、D/A轉(zhuǎn)換器934和通信單元935。顯示轉(zhuǎn)換器930包括視頻編碼器941。記錄/再現(xiàn)單元933包括編碼器951和解碼器952。接收單元921從遙控器(未示出)接收紅外信號，將該紅外信號轉(zhuǎn)換為電信號，并將該電信號輸出給記錄器控制單元926。記錄器控制單元926可以由例如微處理器等形成，并且依據(jù)存儲在程序存儲器928中的程序執(zhí)行各種處理。在這種情況下，記錄器控制單元926根據(jù)需要使用工作存儲器929。通信單元935連接到網(wǎng)絡(luò)，并經(jīng)網(wǎng)絡(luò)與另一設(shè)備執(zhí)行通信處理。例如，通信單元935受記錄器控制單元926控制以與調(diào)諧器(未示出)通信，并且將頻道選擇控制信號主要輸出給調(diào)諧器。解調(diào)單元922對調(diào)諧器所提供的信號進(jìn)行解調(diào)，并將解調(diào)信號輸出給解復(fù)用器923。解復(fù)用器923將解調(diào)單元922所提供的數(shù)據(jù)解復(fù)用為音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)，并將音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)分別輸出給音頻解碼器924、視頻解碼器925和記錄器控制單元926。音頻解碼器924使用例如MPEG方法對輸入的音頻數(shù)據(jù)進(jìn)行解碼，并將解碼的音頻數(shù)據(jù)輸出給記錄/再現(xiàn)單元933。視頻解碼器925使用例如MPEG方法對輸入的視頻數(shù)據(jù)進(jìn)行解碼，并將解碼的視頻數(shù)據(jù)輸出給顯示轉(zhuǎn)換器930。記錄器控制單元926將輸入的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲器927，從而將EPG數(shù)據(jù)存儲在EPG數(shù)據(jù)存儲器927中。
顯示轉(zhuǎn)換器930使用視頻編碼器941將視頻解碼器925或記錄器控制單元926所提供的視頻數(shù)據(jù)編碼為例如美國國家電視標(biāo)準(zhǔn)委員會(NTSC)視頻數(shù)據(jù)，并將該視頻數(shù)據(jù)輸出給記錄/再現(xiàn)單元933。以上述方式，作為對視頻數(shù)據(jù)進(jìn)行編碼的處理，硬盤記錄器900執(zhí)行與上述多視點(diǎn)編碼設(shè)備13 (122)或視頻編碼設(shè)備301的處理類似的處理。因此，在解碼和再現(xiàn)期間可顯示節(jié)目的看起來自然的立體圖像。另外，顯示轉(zhuǎn)換器930將視頻解碼器925或記錄器控制單元926所提供的視頻數(shù)據(jù)的屏幕大小轉(zhuǎn)換至與監(jiān)視器960的大小對應(yīng)的大小。顯示轉(zhuǎn)換器930還使用視頻編碼器941來將屏幕大小已經(jīng)被轉(zhuǎn)換的視頻數(shù)據(jù)轉(zhuǎn)換為NTSC視頻數(shù)據(jù)，將該視頻數(shù)據(jù)轉(zhuǎn)換為模擬信號，并將所得信號輸出給顯示控制單元932。在記錄器控制單元926的控制下，顯示控制單元932將從OSD控制單元931輸出的OSD信號疊加在從顯示轉(zhuǎn)換器930輸出的視頻信號上，并將所得視頻信號輸出給監(jiān)視器960的顯示器，以顯示相應(yīng)的圖像。在上述方式中，作為對視頻數(shù)據(jù)進(jìn)行解碼并在監(jiān)視器960上顯示圖像的處理，硬盤記錄器900執(zhí)行與上述多視點(diǎn)解碼設(shè)備201或視頻解碼設(shè)備401的處理類似的處理。因此，可顯示節(jié)目的看起來自然的立體圖像。使用D/A轉(zhuǎn)換器934將從音頻解碼器924輸出的音頻數(shù)據(jù)轉(zhuǎn)換為模擬信號，并將該模擬信號提供給監(jiān)視器960。監(jiān)視器960從內(nèi)置揚(yáng)聲器輸出該音頻信號。記錄/再現(xiàn)單元933包括作為存儲介質(zhì)的硬盤，其上記錄有視頻數(shù)據(jù)、音頻數(shù)據(jù)
坐寸ο記錄/再現(xiàn)單元933通過使用編碼器951利用MPEG方法對例如音頻解碼器924所提供的音頻數(shù)據(jù)進(jìn)行編碼。另外，記錄/再現(xiàn)單元933通過使用編碼器951利用MPEG方法對顯示轉(zhuǎn)換器930的視頻編碼器941所提供的視頻數(shù)據(jù)進(jìn)行編碼。記錄/再現(xiàn)單元933利用復(fù)用器將編碼音頻數(shù)據(jù)與編碼視頻數(shù)據(jù)組合。記錄/再現(xiàn)單元933對組合的數(shù)據(jù)執(zhí)行信道編碼，放大所得數(shù)據(jù)，并使用記錄頭將放大的數(shù)據(jù)寫入硬盤中。記錄/再現(xiàn)單元933使用再現(xiàn)頭來再現(xiàn)記錄在硬盤上的數(shù)據(jù)，放大再現(xiàn)的數(shù)據(jù)，并使用解復(fù)用器將放大的數(shù)據(jù)解復(fù)用為音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/再現(xiàn)單元933通過使用解碼器952利用MPEG方法對音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。記錄/再現(xiàn)單元933對解碼的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換，并將所得音頻數(shù)據(jù)輸出給監(jiān)視器960的揚(yáng)聲器。另外，記錄/再現(xiàn)單元933對解碼的視頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換，并將所得視頻數(shù)據(jù)輸出給監(jiān)視器960的顯示器。記錄器控制單元926依據(jù)由經(jīng)接收單元921從遙控器接收的紅外信號指示的用戶指令，從EPG數(shù)據(jù)存儲器927讀取最新日期的EPG數(shù)據(jù)，并將該EPG數(shù)據(jù)提供給OSD控制單元931。OSD控制單元931生成與輸入EPG數(shù)據(jù)對應(yīng)的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)輸出給顯示控制單元932。顯示控制單元932將從OSD控制單元931輸入的視頻數(shù)據(jù)輸出給監(jiān)視器960的顯示器，以顯示圖像。因此，在監(jiān)視器960的顯示器上顯示EPG。
硬盤記錄器900還可被構(gòu)造為獲得由其他設(shè)備經(jīng)諸如互聯(lián)網(wǎng)的網(wǎng)絡(luò)提供的諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)的各種數(shù)據(jù)。通信單元935受記錄器控制單元926控制，以獲得從其他設(shè)備經(jīng)網(wǎng)絡(luò)發(fā)送來的視頻數(shù)據(jù)、音頻數(shù)據(jù)、EPG數(shù)據(jù)等的編碼數(shù)據(jù)，并將獲得的編碼數(shù)據(jù)提供給記錄器控制單元926。例如，記錄器控制單元926將獲得的編碼視頻或音頻數(shù)據(jù)提供給記錄/再現(xiàn)單元933，以將該編碼數(shù)據(jù)存儲在硬盤中。在這種情況下，記錄器控制單元926和記錄/再現(xiàn)單元933可根據(jù)需要執(zhí)行諸如再編碼的處理。另外，記錄器控制單元926對獲得的編碼視頻或音頻數(shù)據(jù)進(jìn)行解碼，將獲得的視頻數(shù)據(jù)提供給顯示轉(zhuǎn)換器930。顯示轉(zhuǎn)換器930以與視頻解碼器925所提供的視頻數(shù)據(jù)的處理類似的方式處理記錄器控制單元926所提供的視頻數(shù)據(jù)，并經(jīng)顯示控制單元932將該視頻數(shù)據(jù)提供給監(jiān)視器960以顯示視頻數(shù)據(jù)的圖像。另外，依據(jù)圖像的顯示，記錄器控制單元926可經(jīng)D/A轉(zhuǎn)換器934將解碼音頻數(shù)據(jù)提供給監(jiān)視器960，并可從揚(yáng)聲器輸出音頻數(shù)據(jù)的聲音。另外，記錄器控制單元926對獲得的編碼EPG數(shù)據(jù)進(jìn)行解碼，并將解碼的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲器927。盡管已經(jīng)描述了被構(gòu)造為將視頻數(shù)據(jù)或音頻數(shù)據(jù)記錄在硬盤上的硬盤記錄器900,但是可使用任何記錄介質(zhì)。使用除了硬盤之外的記錄介質(zhì)(例如，閃存、光盤或錄像帶)的記錄器也可以與硬盤記錄器900類似的方式采用上述編碼系統(tǒng)和解碼系統(tǒng)。相機(jī)的示例構(gòu)造圖35是示出包括根據(jù)本發(fā)明實施例的編碼系統(tǒng)和解碼系統(tǒng)的相機(jī)1000的主要部件的示例構(gòu)造的框圖。圖35所示的相機(jī)1000執(zhí)行與編碼系統(tǒng)10 (300)的處理類似的處理，并獲得比特流。相機(jī)1000還執(zhí)行與解碼系統(tǒng)200 (400)的處理類似的處理，并使用所述比特流顯示立體圖像。相機(jī)1000的鏡頭模塊1011允許光(即，對象的視頻)進(jìn)入(XD/CM0S 1012。CXD/CMOS 1012可以是基于CCD或CMOS的圖像傳感器，并且被構(gòu)造為將接收的光的強(qiáng)度轉(zhuǎn)換為電信號，并將該電信號提供給相機(jī)信號處理單元1013。相機(jī)信號處理單元1013將(XD/CM0S 1012所提供的電信號轉(zhuǎn)換為色差信號，即Y、Cr和Cb信號，并將所述色差信號提供給圖像信號處理單元1014。在控制器1021的控制下，圖像信號處理單元1014對相機(jī)信號處理單元1013所提供的圖像信號執(zhí)行預(yù)定圖像處理，或者利用編碼器1041使用諸如AVC或MVC的方案對圖像信號進(jìn)行編碼。在上述方式中，作為對通過圖像捕獲生成的圖像信號進(jìn)行編碼的處理，相機(jī)1000執(zhí)行與上述多視點(diǎn)編碼設(shè)備13 (122)或視頻編碼設(shè)備301的處理類似的處理。因此，在解碼期間可顯示捕獲圖像的看起來自然的立體圖像。圖像信號處理單元1014將通過對圖像信號進(jìn)行編碼而生成的編碼數(shù)據(jù)提供給解碼器1015。圖像信號處理單元1014還獲得由0SD1020生成的顯示數(shù)據(jù)，并將該顯示數(shù)據(jù)提供給解碼器1015。在上述處理中，相機(jī)信號處理單元1013適當(dāng)?shù)厥褂媒?jīng)總線1017連接的動態(tài)隨機(jī)存取存儲器(DRAM) 1018，并將圖像數(shù)據(jù)、通過對圖像數(shù)據(jù)編碼而產(chǎn)生的編碼數(shù)據(jù)等保存在DRAM 1018 中。解碼器1015對圖像信號處理單元1014所提供的編碼數(shù)據(jù)進(jìn)行解碼，并將獲得的 圖像數(shù)據(jù)(解碼的圖像數(shù)據(jù))提供給LCD 1016。另外，解碼器1015將圖像信號處理單元1014所提供的顯示數(shù)據(jù)提供給IXD 1016。IXD 1016適當(dāng)?shù)貙⒔獯a器1015所提供的解碼圖像數(shù)據(jù)的圖像與解碼器1015所提供的顯示數(shù)據(jù)的圖像組合，并顯示所得的組合圖像。在上述方式中，作為對編碼數(shù)據(jù)進(jìn)行解碼并在IXD 1016上顯示所得圖像的處理，相機(jī)1000執(zhí)行與上述多視點(diǎn)解碼設(shè)備201或視頻解碼設(shè)備401的處理類似的處理。因此，例如，可顯示捕獲圖像的看起來自然的立體圖像。在控制器1021的控制下，OSD 1020將諸如菜單屏幕或圖標(biāo)的顯示數(shù)據(jù)(包括符號、字符和數(shù)字)經(jīng)總線1017提供給圖像信號處理單元1014?？刂破?021依據(jù)指示用戶利用操作單元1022給出的指令的信號執(zhí)行各種處理，并經(jīng)總線1017控制圖像信號處理單元1014、DRAM 1018、外部接口 1019、OSD 1020、介質(zhì)驅(qū)動器1023和其他合適的裝置。閃速ROM 1024存儲程序、數(shù)據(jù)以及控制器1021執(zhí)行各種處
理所需的其他/[目息。另外，代替圖像信號處理單元1014或解碼器1015，控制器1021可對存儲在DRAM1018中的圖像數(shù)據(jù)進(jìn)行編碼，或者可對存儲在DRAM 1018中的編碼數(shù)據(jù)進(jìn)行解碼。在這種情況下，控制器1021可使用與圖像信號處理單元1014或解碼器1015的編碼和解碼處理的方案類似的方案執(zhí)行編碼和解碼處理，或者可使用圖像信號處理單元1014或解碼器1015所不支持的方案執(zhí)行編碼和解碼處理。另外，例如，當(dāng)從操作單元1022發(fā)出開始打印圖像的指令時，控制器1021從DRAM1018讀取圖像數(shù)據(jù)，并經(jīng)總線1017將該圖像數(shù)據(jù)提供給連接到外部接口 1019的打印機(jī)1034，以打印與該圖像數(shù)據(jù)對應(yīng)的圖像。另外，例如，當(dāng)從操作單元1022發(fā)出記錄圖像的指令時，控制器1021從DRAM 1018讀取編碼數(shù)據(jù)，并經(jīng)總線1017將該編碼數(shù)據(jù)提供給附連到介質(zhì)驅(qū)動器1023的記錄介質(zhì)1033，以將該編碼數(shù)據(jù)存儲在記錄介質(zhì)1033中。記錄介質(zhì)1033可以是任何可讀和可寫的可移除介質(zhì)，例如磁盤、磁光盤、光盤或半導(dǎo)體存儲器。記錄介質(zhì)1033可以是任何類型的可移除介質(zhì)，并且可以是磁帶裝置、盤或存儲卡。還可使用非接觸式IC卡等。另外，介質(zhì)驅(qū)動器1023和記錄介質(zhì)1033可以集成為例如非便攜式存儲介質(zhì)，例如內(nèi)置硬盤驅(qū)動器或固態(tài)驅(qū)動器(SSD)。
外部接口 1019可以由例如USB輸入/輸出端口等形成，并且可以在打印圖像時連接到打印機(jī)1034。另外，驅(qū)動器1031還可根據(jù)需要連接到外部接口 1019。諸如磁盤、光盤或磁光盤的可移除介質(zhì)1032可根據(jù)需要附連至驅(qū)動器1031，以使得從可移除介質(zhì)1032讀取的計算機(jī)程序根據(jù)需要被安裝到閃速ROM 1024中。外部接口 1019還包括連接到諸如LAN或互聯(lián)網(wǎng)的預(yù)定網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。例如，依據(jù)來自操作單元1022的指令，控制器1021可從DRAM 1018讀取編碼數(shù)據(jù)，并且可將讀取的數(shù)據(jù)從外部接口 1019提供給經(jīng)網(wǎng)絡(luò)連接的另一設(shè)備。控制器1021還可通過外部接口 1019經(jīng)網(wǎng)絡(luò)獲得從另一設(shè)備提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并可將獲得的數(shù)據(jù)保持在DRAM 1018中或?qū)@得的數(shù)據(jù)提供給圖像信號處理單元1014。由相機(jī)1000捕獲的圖像數(shù)據(jù)可以是運(yùn)動圖像或靜止圖像。應(yīng)該理解的是，上述編碼系統(tǒng)10 (300)和解碼系統(tǒng)200 (400)還可用在除了上述設(shè)備之外的設(shè)備中或系統(tǒng)中。
本申請包含的主題涉及2009年10月16日提交到日本專利局的日本優(yōu)先權(quán)專利申請JP2009-239708中公開的主題內(nèi)容，所述申請的全部內(nèi)容通過弓I用合并于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，在不脫離所附權(quán)利要求或其等同物的范圍的情況下，根據(jù)設(shè)計要求和其他因素可進(jìn)行各種修改、組合、子組合和替代。
權(quán)利要求
1.ー種圖像處理設(shè)備，包括 編碼裝置，所述編碼裝置用于對多視點(diǎn)圖像的圖像數(shù)據(jù)進(jìn)行編碼以生成編碼流，所述多視點(diǎn)圖像包括形成立體圖像的來自多個視點(diǎn)的圖像； 發(fā)送裝置，所述發(fā)送裝置用于按照將圖像捕獲類型和圖像捕獲次序信息與所述編碼裝置所生成的編碼流相連接的方式發(fā)送所述編碼流，所述圖像捕獲類型指示形成立體圖像的所述多視點(diǎn)圖像是在不同的定時被捕獲的，所述圖像捕獲次序信息指示所述多視點(diǎn)圖像被捕獲的圖像捕獲次序。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中所述發(fā)送裝置按照將顯示與所述圖像數(shù)據(jù)對應(yīng)的圖像的顯示時刻的附加類型以及與所述附加類型對應(yīng)的顯示時刻與所述編碼裝置所生成的編碼流相連接的方式發(fā)送所述編碼流， 其中所述附加類型包括 顯示時刻沒有被添加到立體圖像中的來自所述多個視點(diǎn)中任一個的圖像的圖像數(shù)據(jù)的類型； 相同的顯示時刻被添加到立體圖像中的來自全部所述多個視點(diǎn)的圖像的圖像數(shù)據(jù)的類型； 顯示時刻被添加到立體圖像中的來自所述多個視點(diǎn)之一的圖像的圖像數(shù)據(jù)的類型；以及 不同的顯示時刻被添加到立體圖像中來自所述多個視點(diǎn)的圖像的圖像數(shù)據(jù)的類型。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括 圖像捕獲信息生成裝置，所述圖像捕獲信息生成裝置用于依據(jù)從圖像捕獲設(shè)備針對各個視點(diǎn)輸入圖像數(shù)據(jù)的輸入定時，生成所述圖像捕獲類型和所述圖像捕獲次序信息，所述圖像捕獲設(shè)備在不同的定時捕獲所述多視點(diǎn)圖像； 顯示時刻生成裝置，所述顯示時刻生成裝置用于依據(jù)所述輸入定時生成所述顯示時亥IJ。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括 圖像捕獲次序信息生成裝置，所述圖像捕獲次序信息生成裝置用于依據(jù)各個視點(diǎn)的圖像被捕獲的圖像捕獲時刻生成所述圖像捕獲次序信息，所述圖像捕獲時刻是從圖像捕獲設(shè)備輸入的，所述圖像捕獲設(shè)備在不同的定時捕獲所述多視點(diǎn)圖像； 顯示時刻生成裝置，所述顯示時刻生成裝置用于依據(jù)所述圖像捕獲時刻生成所述顯示時刻。
5.ー種用于圖像處理設(shè)備的圖像處理方法，該方法包括以下步驟 對多視點(diǎn)圖像的圖像數(shù)據(jù)進(jìn)行編碼以生成編碼流，所述多視點(diǎn)圖像包括形成立體圖像的來自多個視點(diǎn)的圖像； 按照將圖像捕獲類型和圖像捕獲次序信息與在編碼步驟中生成的編碼流相連接的方式發(fā)送所述編碼流，所述圖像捕獲類型指示形成立體圖像的所述多視點(diǎn)圖像是在不同的定時被捕獲的，所述圖像捕獲次序信息指示所述多視點(diǎn)圖像被捕獲的圖像捕獲次序。
6.ー種圖像處理設(shè)備，包括 接收裝置，所述接收裝置用于接收多視點(diǎn)圖像的圖像數(shù)據(jù)、圖像捕獲類型和圖像捕獲次序信息，所述多視點(diǎn)圖像包括形成立體圖像的來自多個視點(diǎn)的圖像，所述圖像捕獲類型指示所述多視點(diǎn)圖像是在不同的定時被捕獲的，所述圖像捕獲次序信息指示所述多視點(diǎn)圖像被捕獲的圖像捕獲次序；以及 控制裝置，所述控制裝置用于依據(jù)所述接收裝置所接收到的圖像捕獲類型和圖像捕獲次序信息，控制顯示設(shè)備按照與所述圖像捕獲次序相同的次序顯示與所述接收裝置所接收到的圖像數(shù)據(jù)對應(yīng)的多視點(diǎn)圖像。
7.ー種用于圖像處理設(shè)備的圖像處理方法，該方法包括以下步驟 接收多視點(diǎn)圖像的圖像數(shù)據(jù)、圖像捕獲類型和圖像捕獲次序信息，所述多視點(diǎn)圖像包括形成立體圖像的來自多個視點(diǎn)的圖像，所述圖像捕獲類型指示所述多視點(diǎn)圖像是在不同的定時被捕獲的，所述圖像捕獲次序信息指示所述多視點(diǎn)圖像被捕獲的圖像捕獲次序；以及 依據(jù)在接收步驟中接收到的圖像捕獲類型和圖像捕獲次序信息，控制顯示設(shè)備按照與所述圖像捕獲次序相同的次序顯示與所述接收步驟中接收到的圖像數(shù)據(jù)對應(yīng)的多視點(diǎn)圖像。
全文摘要
本發(fā)明公開了圖像處理設(shè)備和圖像處理方法。一種圖像處理設(shè)備，包括接收單元，被構(gòu)造為接收編碼流、圖像捕獲類型和圖像捕獲次序信息，所述編碼流通過對多視點(diǎn)圖像的圖像數(shù)據(jù)進(jìn)行編碼而產(chǎn)生，所述多視點(diǎn)圖像包括形成立體圖像的來自多個視點(diǎn)的圖像，所述圖像捕獲類型指示多視點(diǎn)圖像是在不同的定時被捕獲的，所述圖像捕獲次序信息指示多視點(diǎn)圖像被捕獲的圖像捕獲次序；解碼單元，被構(gòu)造為對接收單元所接收到的編碼流進(jìn)行解碼，以生成圖像數(shù)據(jù)；以及控制單元，被構(gòu)造為依據(jù)接收單元所接收到的圖像捕獲類型和圖像捕獲次序信息，控制顯示設(shè)備按照與圖像捕獲次序相同的次序顯示與解碼單元所生成的圖像數(shù)據(jù)對應(yīng)的多視點(diǎn)圖像。
文檔編號H04N13/00GK102833564SQ20121028784
公開日2012年12月19日 申請日期2010年9月29日 優(yōu)先權(quán)日2009年10月16日
發(fā)明者鈴木輝彥, 高橋良知, 北村卓也 申請人:索尼公司