專利名稱：三維圖像生成裝置、三維圖像再現(xiàn)裝置、三維圖像處理裝置、三維圖像處理程序及記錄該 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于在生成三維顯示的圖像數(shù)據(jù)時(shí)向圖像數(shù)據(jù)添加屬性信息的三維圖像生成裝置，還涉及用于再現(xiàn)該數(shù)據(jù)的三維圖像再現(xiàn)裝置。
本發(fā)明還涉及三維圖像處理裝置、三維圖像處理程序及記錄有該程序的記錄介質(zhì)，其目的在于當(dāng)由于三維圖像的尺寸放大或縮小造成視差量改變，以致?lián)淖兊秒y以將放大的三維圖像表示為立體圖像，或顯現(xiàn)立體效果時(shí)警告使用者，并且如果能夠改善立體效果則進(jìn)行校正。
背景技術(shù)：
按常規(guī)，已經(jīng)提出了顯示三維圖像的各種方法。其中，通常采用使用雙目視差的“雙目方法”。具體地講，通過提供具有雙目視差的左和右眼圖像，并將它們分別分開投射到左和右眼來實(shí)現(xiàn)立體視圖。
圖16是說明作為典型的雙目方法之一的“隔行掃描系統(tǒng)(altemating-field system)”的概念圖。
在該隔行掃描系統(tǒng)中，左眼圖像和右眼圖像在如圖16所示的一個(gè)像素的交替水平行上被交錯(cuò)，以致左眼圖像和右眼圖像被交替地切換和顯示。因此，與正常的2維顯示模式中的垂直分辨率相比，左眼圖像和右眼圖像具有一半的垂直分辨率。觀察者應(yīng)該戴上與顯示的切換周期同步地打開和關(guān)閉的光柵鏡。當(dāng)在此使用的光柵在顯示左眼圖像時(shí)打開左眼側(cè)并關(guān)閉右眼側(cè)，而在顯示右眼圖像時(shí)關(guān)閉左眼圖像并打開右眼圖像。利用這種安排，僅用左眼觀察左眼圖像，同時(shí)僅用右眼觀察右眼圖像，以實(shí)現(xiàn)立體視圖。
圖17是用于說明雙目方法的另一種典型方案，即“視差阻擋系統(tǒng)”的概念圖。
圖17(a)是表示造成視差的原理的示意圖。圖17(b)是表示在視差阻擋系統(tǒng)中顯示的圖像幀的示意圖。
在圖17(a)中，在圖像顯示面板401上顯示左眼圖像和右眼圖像在如圖17(b)所示一個(gè)像素的交替垂直行上被交錯(cuò)的圖像，同時(shí)，具有間隙的視差阻擋402被放置在圖像顯示面板401前，間隙的寬度小于同視點(diǎn)的像素之間的間隔，由此僅用左眼觀察左眼圖像，同時(shí)僅用右眼觀察右眼圖像，以實(shí)現(xiàn)立體視圖。
順便指出，還有另一種方法，即用于實(shí)現(xiàn)如圖17(b)所示的圖像的三維顯示的“雙凸透鏡系統(tǒng)”該系統(tǒng)與視差阻擋系統(tǒng)類似。日本專利申請(qǐng)公開Hei 11-41627揭示了雙凸透鏡系統(tǒng)中使用的記錄數(shù)據(jù)格式的一個(gè)實(shí)例。
圖18是表示雙凸透鏡系統(tǒng)的記錄數(shù)據(jù)格式的一個(gè)實(shí)例的概念圖。如圖18(a)中所示的左眼圖像501和如圖18(b)所示的右眼圖像502相對(duì)于水平方向各變薄一半，并形成和記錄如圖18(c)所示的一幀復(fù)合圖像503。在再現(xiàn)時(shí)，重新排列該復(fù)合圖像503，以形成如圖17(b)所示的合成圖像。
雖然不限于三維圖像，日本專利申請(qǐng)公開No.2001-337994公開了一種存儲(chǔ)小圖片圖像的標(biāo)識(shí)的附加信息，并在顯示設(shè)備上顯示位于小圖片圖像上的附加信息的方法。
在上述方式中，在通過使左和右眼觀察不同圖像來實(shí)現(xiàn)立體視圖的方法中，當(dāng)左和右圖像的對(duì)應(yīng)點(diǎn)的距離(下文稱之為“視差”)落入某個(gè)固定范圍時(shí)，能夠?qū)崿F(xiàn)舒服的立體視圖。然而，隨著視差變大，兩眼的圖像將不合并成立體圖像。該點(diǎn)的視差幅度在例如The Mechanical SocialSystem Foundation于2002年出版的“三維圖像指南的計(jì)劃草案”中已經(jīng)報(bào)告。
日本專利公開2000-78615和日本專利公開Hei 10-221775公開了便于實(shí)現(xiàn)三維圖像顯示的方法，當(dāng)其雙目圖像由于上面的視差的大小而造成難以合并成立體視圖時(shí)，通過在立體顯示器移位左和右圖像的顯示位置來調(diào)節(jié)視差。
如上所述，在傳統(tǒng)的三維顯示系統(tǒng)中，以固定的記錄數(shù)據(jù)格式進(jìn)行數(shù)據(jù)的記錄，以便適合于在播放裝置側(cè)確定的顯示方案，因此沒有考慮記錄數(shù)據(jù)的通用性。
三維顯示包括除顯示方案外的各種所需要的信息，例如圖像的變薄方法，所謂的“多視圖方案”中視點(diǎn)的數(shù)量等，在使用單個(gè)顯示方案時(shí)，這些信息沒有被作為記錄數(shù)據(jù)記錄。如果總是僅使用一種相同的顯示方案確實(shí)是這樣，不需要總是記錄這些信息，但是記錄數(shù)據(jù)的通用性由于這個(gè)原因而明顯降低。僅參考要記錄視差阻擋系統(tǒng)(或雙凸透鏡系統(tǒng))的數(shù)據(jù)的有限情況，左眼圖像和右眼圖像可以被作為分開的序列記錄，該數(shù)據(jù)可以被作為混合圖像記錄，其中左眼圖像和右眼圖像在如圖18(c)所示的一幀中被一半一半地水平排列，或者該數(shù)據(jù)可以被作為合成圖像記錄，其中左眼圖像和右眼圖像在如圖17(b)中所示的一個(gè)像素的交替垂直行上被交錯(cuò)。當(dāng)然，不同的記錄格式應(yīng)該用不同的顯示過程來處理，但是由于不能從記錄的數(shù)據(jù)中了解數(shù)據(jù)的格式，存在著當(dāng)?shù)谌说玫皆摂?shù)據(jù)時(shí)，不能了解為了顯示應(yīng)該如何處理該數(shù)據(jù)的問題。
另外，在現(xiàn)有技術(shù)中，沒有考慮從彼此獨(dú)立的不同視點(diǎn)來記錄圖像數(shù)據(jù)以便于只讀出和再現(xiàn)所需視點(diǎn)的圖像。
在現(xiàn)有技術(shù)中，也沒有充分地考慮與現(xiàn)有裝置之間的可互換性。具體地講，在日本專利申請(qǐng)公開2001-337994中公開的系統(tǒng)中，已經(jīng)處理了能夠解譯單獨(dú)的附加信息的顯示系統(tǒng)，但是該附加信息對(duì)不能對(duì)其進(jìn)行解譯的顯示系統(tǒng)沒有用途。
此外，當(dāng)放大或縮小基于上述現(xiàn)有技術(shù)的三維圖像時(shí)，三維圖像的隆起量和縱深量改變，因此，出現(xiàn)了不能獲得所希望的立體效果的問題。
下面首先參考圖39和40，通過針對(duì)左和右眼顯示分開的圖像對(duì)表現(xiàn)立體視圖的立體顯示原理進(jìn)行簡(jiǎn)要說明。這兩幅圖是表示雙目距離為d的使用者正在觀察立體顯示器1的情況的頂視圖。
通常，假設(shè)d[m]表示使用者兩眼之間的距離，D[m]表示從使用者到立體顯示器1的距離，W[m]表示顯示器的寬度，P[dot]表示顯示器的分辯率，l(字母l)[dot]表示三維圖像的左和右對(duì)應(yīng)點(diǎn)之間的距離。
三維圖像向外突出的隆起量z[m]則由下面的等式1給出z＝(1*W/P)*D/(d+(1*W/P))...等式(1)。
當(dāng)三維圖像收縮的縱深量z[m]由下面的等式(2)給出z＝(1*W/P)*D/(d-(1*W/P))...等式(2)。
視差θ由等式(3)給出θ＝tan-1(1/2D)*2 ...等式(3)。
對(duì)于該立體顯示器，當(dāng)放大或縮小三維圖像時(shí)，左和右圖像之間的不一致的程度改變，因此所得到的圖像的立體效果也被改變。參考圖39(a)中放大前的三維圖像和圖39(b)中放大后的三維圖像對(duì)此進(jìn)行說明。當(dāng)放大如圖39(a)所示具有從立體顯示器向前隆起的三維圖像時(shí)，隆起量如圖39(b)所示變得更大。在此，1’表示放大之后的左和右對(duì)應(yīng)點(diǎn)，z’表示放大后的隆起量。
另一方面，當(dāng)放大和顯示如圖40(a)所示從立體顯示器向內(nèi)收縮的三維圖像時(shí)，縱深量變得更大，對(duì)于某些放大率，由于左和右眼的視圖沒有聚焦，變得不能表現(xiàn)立體視圖。相反，當(dāng)減小三維圖像的尺寸時(shí)，左和右圖像之間的不一致變得更小，隆起量或縱深量變得更小，表現(xiàn)出較弱的立體效果。
這樣，在放大或縮小三維圖像時(shí)，隨著圖像被放大時(shí)由于視差變得更大，隆起因此變得更大，相反圖像被縮小時(shí)由于視差變得更小，縱深變得更小，因此立體效果改變。因此，如果以與通常的二維圖像相同的方式放大和縮小三維圖像，則會(huì)出現(xiàn)不能獲得希望的立體視圖，造成模糊，或不舒適的立體視圖造成眼睛緊張的問題。
為了解決上述問題設(shè)計(jì)了本發(fā)明，因此，本發(fā)明的一個(gè)目的是提供一種三維圖像生成裝置，能夠使用于三維顯示的圖像數(shù)據(jù)通用，并允許有效選擇任意視點(diǎn)的圖像，以及用于再現(xiàn)該數(shù)據(jù)的三維圖像再現(xiàn)裝置。
本發(fā)明的另一個(gè)目的是提供一種三維圖像處理裝置，三維圖像處理程序和記錄有該程序的記錄介質(zhì)，能夠向使用者發(fā)出警告并進(jìn)行校正，以便在因三維圖像的尺寸放大或縮小造成視差量改變，以致?lián)碾y以獲得立體視圖或立體效果時(shí)，提供舒適的立體視圖。

發(fā)明內(nèi)容
本發(fā)明的三維圖像生成裝置包括主圖像生成器，用于針對(duì)多視點(diǎn)生成圖像信息的主圖像；小圖片圖像生成器，用于生成小圖片圖像；三維控制信息生成器，用于生成實(shí)施主圖像的三維顯示的三維控制信息；和多路復(fù)用器，用于多路復(fù)用主圖像，小圖片圖像和三維控制信息。
在此，小圖片圖像生成器的特征在于通過縮小主圖像來生成小圖片圖像，通過從主圖像提取一個(gè)視點(diǎn)圖像片段來生成小圖片圖像，把指示包括三維圖像的符號(hào)嵌入小圖片圖像，或生成由主圖像的縮小圖像和從主圖像提取的一個(gè)視點(diǎn)圖像的縮小圖像并以畫中畫的方式貼在其中而構(gòu)成的小圖片圖像。
另外，本發(fā)明提供一種三維圖像再現(xiàn)裝置，去復(fù)用器，用于從輸入的圖像數(shù)據(jù)中分離主圖像數(shù)據(jù)，小圖片數(shù)據(jù)和三維控制信息；和小圖片生成器，用于在主圖像數(shù)據(jù)表示三維圖像時(shí)，輸出具有疊加在小圖片數(shù)據(jù)上、指示包括三維圖像的符號(hào)的小圖片。
本發(fā)明還提供一種三維圖像處理裝置，包括視差范圍獲取裝置，用于獲取能夠有立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；和決定裝置，用于決定三維圖像的視差量是否落入視差范圍之內(nèi)。
另外，本發(fā)明還提供一種三維圖像處理裝置，包括視差范圍獲取裝置，用于獲取能夠有立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；比例獲取裝置，用于獲取三維圖像放大或縮小的比例；和決定裝置，用于決定已經(jīng)根據(jù)該比例被放大或縮小的三維圖像的視差量是否落入視差范圍之內(nèi)。
在此，決定裝置的特征在于根據(jù)三維圖像的部分區(qū)域作出決定處理過程。
本發(fā)明的特征在于包括警告裝置，用于警告使用者，或視差調(diào)節(jié)裝置，用于在決定裝置確定視差量超出視差區(qū)域時(shí)調(diào)節(jié)三維圖像的視差量。
在此，視差量獲取裝置的特征在于使用用于顯示三維圖像的立體顯示器的分辯率和/或尺寸。另外，視差范圍獲取裝置的特征在于使用用于顯示三維圖像的立體顯示器分離左和右圖像的能力。另外，視差量獲取裝置的特征在于使用預(yù)先標(biāo)記到三維圖像的數(shù)據(jù)。
另外，本發(fā)明還提供一種三維圖像處理程序，其特征在于使計(jì)算機(jī)起到上述每一個(gè)裝置的作用。
此外，本發(fā)明還提供一種計(jì)算機(jī)可讀記錄介質(zhì)，其中記錄有上述程序。
根據(jù)本發(fā)明，為了主圖像的三維顯示而生成三維控制信息，將其小圖片圖像和三維控制信息多路復(fù)用，由此能夠輸出小圖片圖像，以便在主圖像是三維圖像時(shí)輸出用于有效地檢驗(yàn)圖像內(nèi)容的小圖片圖像。
根據(jù)本發(fā)明，通過直接縮小主圖像來生成小圖片圖像使其能夠以三維提供小圖片圖像的顯示。
根據(jù)本發(fā)明，通過從主圖像提取一個(gè)視點(diǎn)圖像的片段來生成小圖片圖像，使其能夠顯示小圖片圖像而不失真。
根據(jù)本發(fā)明，將表示包括三維圖像的符號(hào)嵌入小圖片圖像，甚至使不能解譯三維控制信息的傳統(tǒng)三維圖像再現(xiàn)裝置能夠從小圖片鑒別所選擇的文件是3D文件。
根據(jù)本發(fā)明，生成由主圖像的縮小圖像和從主圖像提取的一個(gè)視點(diǎn)圖像、并以畫中畫的方式將其粘貼在其中的縮小圖像構(gòu)成的小圖片圖像，使其能夠同時(shí)從無(wú)失真圖像檢驗(yàn)圖像內(nèi)容和主圖像的實(shí)際記錄的圖像配置二者。
根據(jù)本發(fā)明，當(dāng)主圖像的數(shù)據(jù)表示三維圖像時(shí)，輸出具有指示包括重疊在小圖片數(shù)據(jù)上的三維圖像的符號(hào)的圖像。從而能夠從其小圖片表明所選擇的文件是2D還是3D。
根據(jù)本發(fā)明，由于其決定三維圖像的視差量是否落入能夠產(chǎn)生立體視圖的視差范圍，能夠針對(duì)不能生成立體視圖的情況采取對(duì)應(yīng)的措施。對(duì)應(yīng)措施的例子包括警告使用者和三維圖像的視差量調(diào)節(jié)。另外，放大或縮小三維圖像時(shí)，決定三維圖像的視差量是否落入允許生成立體視圖的視差范圍，如果結(jié)果表明難以提供立體視圖，能夠采取該措施。
此外，當(dāng)難以實(shí)現(xiàn)立體視圖時(shí)，能夠調(diào)節(jié)視差，以便通過從全部或部分三維圖像來考慮視差量(例如，隆起最大量和縱深最大量)以及允許在立體顯示器上顯示舒適的立體視圖的視差范圍來提供盡可能舒適的立體視圖。
如上所述，根據(jù)本發(fā)明，允許使用者正確地檢驗(yàn)三維圖像的內(nèi)容，并且向使用者顯現(xiàn)三維圖像的內(nèi)容，即使它們被放大或縮小，從而能夠提供能夠舒適地觀察三維圖像的三維圖像再現(xiàn)裝置，或圖像數(shù)據(jù)處理裝置。


圖1是表示第一實(shí)施例的三維圖像生成裝置的示意圖。
圖2是表示針對(duì)多視點(diǎn)的成像設(shè)備的設(shè)置實(shí)施例的示意圖。
圖3是表示如何分配視點(diǎn)編號(hào)的實(shí)施例的示意圖。
圖4是表示結(jié)合兩個(gè)視點(diǎn)的實(shí)施例的示意圖。
圖5是表示多視像的格柵狀布置的示意圖。
圖6是表示3D信息的格式實(shí)施例的示意圖。
圖7是表示圖像數(shù)據(jù)的文件格式的示意圖。
圖8是表示在現(xiàn)有格式的文件中存儲(chǔ)圖像數(shù)據(jù)時(shí)的一個(gè)格式實(shí)例的示意圖。
圖9是表示在新格式的文件中存儲(chǔ)圖像數(shù)據(jù)時(shí)的一種格式實(shí)例的示意圖。
圖10是表示在分開的文件中記錄在多視點(diǎn)的圖像數(shù)據(jù)時(shí)的圖像數(shù)據(jù)的存儲(chǔ)實(shí)例的示意圖。
圖11是表示3D信息格式實(shí)例的示意圖。
圖12是表示3D信息設(shè)置值的一個(gè)實(shí)施例的示意圖。
圖13是表示管理信息格式實(shí)例的示意圖。
圖14是表示在分開的文件中記錄在多視點(diǎn)的圖像數(shù)據(jù)時(shí)的一個(gè)實(shí)例的示意圖。
圖15是表示第三實(shí)施例中三維圖像再現(xiàn)裝置的配置示意圖。
圖16是表示隔行掃描系統(tǒng)中圖像顯示格式的示意圖。
圖17是說明視差阻擋系統(tǒng)的概念示意圖。
圖18是說明視差阻擋系統(tǒng)的圖像顯示格式的示意圖。
圖19是表示第二實(shí)施例中三維圖像生成裝置的配置的示意圖。
圖20是表示第四實(shí)施例中三維圖像再現(xiàn)裝置的配置的示意圖。
圖21是表示記錄三維顯示的小圖片圖像數(shù)據(jù)的圖像文件格式的示意圖。
圖22是表示主圖像和縮小到160像素*120像素的小圖片圖像的組合的示意圖。
圖23是表示其中嵌入有指示包括3D圖像數(shù)據(jù)的符號(hào)的小圖片圖像的示意圖。
圖24是表示主圖像與嵌入有指示包括3D圖像數(shù)據(jù)的符號(hào)的小圖片圖像的示意圖。
圖25表示以畫中畫方式再現(xiàn)的小圖片的實(shí)施例的示意圖。
圖26是表示第六實(shí)施例中用于再現(xiàn)記錄有小圖片的文件的三維圖像再現(xiàn)裝置的配置的示意圖。
圖27是表示第七實(shí)施例中可在3D顯示和2D顯示之間切換的三維圖像再現(xiàn)裝置的配置的示意圖。
圖28是表示第五實(shí)施例中將小圖片圖像記錄到文件中的三維圖像生成裝置的配置的示意圖。
圖29是表示第八實(shí)施例中三維圖像的GUI圖像幀的示意圖。
圖30是表示第八實(shí)施例中的處理過程的流程圖。
圖31是表示第九實(shí)施例中三維圖像的GUI圖像幀的示意圖。
圖32是表示第九實(shí)施例中的處理過程的流程圖。
圖33是表示校正過程中三維圖像的視差量的示意圖。
圖34是解釋通過改變左和右圖像之間的位移量來校正立體效果的示意圖。
圖35是表示在第十實(shí)施例中的處理過程的流程圖。
圖36是表示在第十實(shí)施例中的步驟17的處理過程的流程圖。
圖37是解釋改變區(qū)域以獲取視差量的方法的示意圖。
圖38是表示第十一實(shí)施例中三維圖像處理裝置的方框圖。
圖39是解釋三維圖像的隆起的示意圖。
圖40是解釋三維圖像的縱深的示意圖。
具體實(shí)施例下面參考附圖描述本發(fā)明的實(shí)施例。
<第一實(shí)施例>
圖1是表示根據(jù)第一實(shí)施例的三維圖像生成裝置的配置的方框圖。在圖1中，三維圖像生成裝置100包括圖像結(jié)合單元101，用于確定從多個(gè)視點(diǎn)看到的圖像1到K的布置模式(K表示視點(diǎn)的編號(hào)，在此K是等于或大于2的整數(shù))，并通過將這些連續(xù)的圖像相互結(jié)合來產(chǎn)生結(jié)合圖像；控制器102，用于選擇是否要結(jié)合圖像1到K(結(jié)合的有/無(wú))，是否縮小圖像1到K的尺寸(縮小的有/無(wú))，要用于2D顯示的一個(gè)圖像(2D選擇)，以及視點(diǎn)的數(shù)量和圖像布置順序；3D信息生成單元103，用于通過格式化縮小的有/無(wú)，結(jié)合的有/無(wú)，圖像布置模式，2D選擇和視點(diǎn)數(shù)量的信息來生成3D信息；和多路復(fù)用器104，具有存取記錄介質(zhì)和通信線路，并多路復(fù)用圖像信息和3D信息以及輸出圖像數(shù)據(jù)的裝置。
下面描述所構(gòu)成的三維圖像生成裝置100的操作。
由連續(xù)幀組成的圖像信號(hào)被逐幀地輸入到三維圖像生成裝置。在此，在一個(gè)平面內(nèi)以格柵狀的形式排列將圖像輸入到三維圖像生成裝置100的成像設(shè)備，其中水平排列M個(gè)單元，垂直排列N個(gè)單元，向每個(gè)成像設(shè)備分配一個(gè)編號(hào)(視點(diǎn)編號(hào))(在此，M和N是等于或大于1的整數(shù))。
圖2示出了8個(gè)視點(diǎn)的設(shè)置實(shí)施例(從后上方看去排成陣列的成像設(shè)備的視圖)。在此，從左向右和從上向下分配視點(diǎn)編號(hào)。具體地講，1分配給成像設(shè)備301，2分配給成像設(shè)備302，3分配給成像設(shè)備303，4分配給成像設(shè)備304。與此相似，將5至8分別分配給成像設(shè)備305至308。在所有實(shí)施例中，由視點(diǎn)編號(hào)k指定的成像設(shè)備攝取的圖像應(yīng)該被稱為圖像k(k是等于或大于1的整數(shù))。
控制器102指定縮小的有/無(wú)，結(jié)合的有/無(wú)，2D選擇，水平方向的視點(diǎn)數(shù)量M，和垂直方向的視點(diǎn)數(shù)量N，以及圖像布置順序。在此，縮小的有/無(wú)取值為“縮小”或“未縮小”，結(jié)合的有/無(wú)取值為“未結(jié)合”或“結(jié)合”。2D選擇取視點(diǎn)編號(hào)的值或取值為“未指定的”。對(duì)于圖像布置順序，利用視點(diǎn)編號(hào)指定圖像的順序。在圖2的實(shí)例中，視點(diǎn)的數(shù)量應(yīng)該為M＝4和N＝2。
假設(shè)從控制器102輸入的結(jié)合的有/無(wú)指示“未結(jié)合”時(shí)，圖像結(jié)合單元101應(yīng)該根據(jù)由控制器102指定的圖像布置順序依次輸出已經(jīng)并行輸入的圖像1至K。作為替換，也可以這樣設(shè)置，即視點(diǎn)圖像的輸出總是從由2D選擇指定的視點(diǎn)編號(hào)的輸出開始。
當(dāng)結(jié)合的有/無(wú)指示指示為“結(jié)合”時(shí)，圖像結(jié)合單元101選擇輸入圖像1至K的布置順序?？梢杂腥N布置模式水平排列多視像的水平布置；在上下方向排列多視像的垂直布置；在水平和垂直兩個(gè)方向排列多視像的格柵狀布置。
在此，圖像的布置模式可以與成像設(shè)備的設(shè)置方式一致或不一致。當(dāng)圖像的布置與成像設(shè)備的設(shè)置方式一致時(shí)，M＝1和N≥2產(chǎn)生垂直布置，M≥2和N＝1產(chǎn)生水平布置，其他情況產(chǎn)生格柵狀布置。對(duì)于布置不一致的情況，能夠進(jìn)行自適應(yīng)，以致在M＝1和N≥2或M≥2和N＝1時(shí)能夠選擇垂直布置或水平布置中的一種。
一旦確定了布置，根據(jù)從控制器102輸入的圖像布置順序結(jié)合這些圖像。圖3示出了當(dāng)通過成像設(shè)備如圖2所示提取的圖像以格柵狀方式排列時(shí)圖像布置順序的實(shí)例。在圖3中，每個(gè)單元表示一個(gè)圖像，數(shù)字表示視點(diǎn)編號(hào)。圖3(a)示出了將圖像布置順序指定為1，2，3，4，5，6，7和8的情況，或者該順序與分配給成像設(shè)備的視點(diǎn)編號(hào)的順序相同。圖3(b)示出了將圖像布置順序指定為2，3，1，4，6，7，5和8的情況。
如果從控制器輸入的縮小的有/無(wú)表示“縮小”。則縮小每個(gè)視點(diǎn)的輸入圖像?？s小圖像時(shí)，不固定縮小比率，但應(yīng)該根據(jù)視點(diǎn)的數(shù)量確定。具體地講，圖像在水平方向縮小到1/M，在垂直方向縮小到1/N。
圖4和5示出了由圖像結(jié)合單元101結(jié)合的結(jié)果的例子。圖4示出了由圖2所示的成像設(shè)備中的例如視點(diǎn)編號(hào)為1和2設(shè)備指定的兩個(gè)視點(diǎn)的情況。圖5示出了使用所有成像設(shè)備的情況。
圖4(a)示出了“未縮小”和“未結(jié)合”的情況；圖4(b)示出了“未縮小”和“結(jié)合(水平布置)”的情況；圖4(c)示出了“未縮小”和“結(jié)合(垂直布置)”的情況；圖4(d)示出了“縮小”和“未結(jié)合”的情況；圖4(e)示出了“縮小”和“結(jié)合(水平布置)”的情況；圖4(f)示出了“縮小”和“結(jié)合(垂直布置)”的情況。在此，對(duì)于“縮小”的情況，通過使像素變薄而將水平或垂直分辨率縮小到一半。
圖5示出了多視像的格柵狀布置的實(shí)例，特別是，圖5(a)示出了縮小的有/無(wú)指示“無(wú)縮小”的情況。在此，H和V表示縮小前每個(gè)視點(diǎn)圖像的水平方向中的像素?cái)?shù)量，和垂直方向的行數(shù)。圖5(b)示出了縮小的有/無(wú)指示“縮小”的情況?？s小比例相對(duì)于水平方向是1/4，相對(duì)于垂直方向是1/2，縮小后的圖像由寬度為H像素和高度為V行構(gòu)成，以使其尺寸與縮小前的每個(gè)視點(diǎn)圖像的尺寸相同。對(duì)于圖像布置，以與設(shè)置成像設(shè)備相同的方式排列圖像，在水平方向具有四個(gè)圖像，在垂直方向具有兩個(gè)圖像。在此，附連到圖像的數(shù)字指示視點(diǎn)編號(hào)。以視點(diǎn)編號(hào)上升的順序排列圖像左上是由成像單元301攝取的圖像(視點(diǎn)編號(hào)1)，右下是由成像單元308攝取的圖像(視點(diǎn)編號(hào)8)。
在此以水平和垂直方向固定的縮小比例來進(jìn)行說明，但是可以對(duì)此進(jìn)行改變。當(dāng)縮小比可變時(shí)，應(yīng)該將其記錄在3D信息中。當(dāng)結(jié)合的有/無(wú)指示“未結(jié)合”時(shí)，可以在每個(gè)視點(diǎn)針對(duì)每個(gè)圖像指定縮小比。
三維信息生成單元103通過格式化縮小的有/無(wú)，結(jié)合的有/無(wú)，2D選擇，水平方向的視點(diǎn)數(shù)量和垂直方向的視點(diǎn)數(shù)量，圖像布置順序和布置模式來生成3D信息。
圖6示出了這種情況下的3D信息的一個(gè)實(shí)例。在此，圖像的順序指示以“視點(diǎn)編號(hào)順序”或“任意順序”中的一種方式排列圖像。此后，記錄多個(gè)視點(diǎn)編號(hào)。這些視點(diǎn)編號(hào)指示當(dāng)結(jié)合的有/無(wú)指示“結(jié)合”時(shí)在結(jié)合的圖像中排列圖像的方式。在圖3(b)所示的實(shí)例中，第一視點(diǎn)編號(hào)是2，隨后是3，1，4，6，7，5，和8。當(dāng)結(jié)合的有/無(wú)指示“未結(jié)合”時(shí)，該順序指示多路復(fù)用信息的圖像的順序。當(dāng)圖像的順序指示“視點(diǎn)編號(hào)順序”時(shí)，可以省略這些視點(diǎn)編號(hào)。為了生成3D信息，可以按原樣使用設(shè)定值，或者可以通過固定長(zhǎng)度編碼或可變長(zhǎng)度編碼來進(jìn)行編碼。
多路復(fù)用器104以預(yù)定格式將圖像信息，3D信息和管理信息轉(zhuǎn)換成數(shù)據(jù)，并向外輸出。在未結(jié)合圖像時(shí)，從圖像結(jié)合單元101輸出的順序與如上所述由控制器102指定的圖像布置順序一致。因此，在圖像布置順序中也被多路復(fù)用在圖像信息。雖然圖1中沒有表示，如果要對(duì)話音和音樂進(jìn)行多路復(fù)用，這些內(nèi)容的數(shù)據(jù)也在多路復(fù)用器104中被多路復(fù)用。
<第二實(shí)施例>
在此，到多路復(fù)用器104的輸入可以是編碼的圖像信息。圖19示出了涉及這種情況的三維圖像生成裝置110的配置。三維圖像生成裝置110與圖1所示的三維圖像生成裝置100的區(qū)別在于包括編碼器105。
來自多路復(fù)用器104的輸出被連接到諸如IC存儲(chǔ)器、磁光盤、磁帶、硬盤之類的記錄設(shè)備，和/或諸如LAN、調(diào)制解調(diào)器之類的通信設(shè)備。在此，假設(shè)IC存儲(chǔ)器連接到多路復(fù)用器104。接下來，說明這種情況下使用的記錄格式。
通常，在使用IC存儲(chǔ)器作為記錄介質(zhì)時(shí)，諸如FAT(文件分配表)等之類的文件系統(tǒng)被構(gòu)成在IC存儲(chǔ)器上，并將數(shù)據(jù)作為文件記錄。對(duì)于在此使用的文件格式，可以使用現(xiàn)有的文件格式或新定義的特有的格式。
圖7是表示用于記錄圖像數(shù)據(jù)的文件格式的示意圖。在圖7中，假設(shè)以圖中所示的從上到下的順序?qū)?shù)據(jù)記錄到文件中。圖7(a)示出了使用現(xiàn)有格式的情況；圖7(b)示出了使用新格式的一個(gè)實(shí)例。
當(dāng)使用現(xiàn)有格式時(shí)，3D信息被記錄為現(xiàn)有的首部部分的一部分，使用擴(kuò)展為現(xiàn)有格式提供的首部部分的一般功能。在此，擴(kuò)展的首部被稱為擴(kuò)展首部。例如，文件首部對(duì)應(yīng)于JPEG中的應(yīng)用數(shù)據(jù)段，因此，新應(yīng)用數(shù)據(jù)段被定義到3D信息。在MPEG-4中，文件首部對(duì)應(yīng)可視對(duì)象序列或/和視頻對(duì)象層，以便將3D信息作為使用者數(shù)據(jù)記錄在其中。
當(dāng)使用現(xiàn)有格式時(shí)，應(yīng)該直接采用通常使用的擴(kuò)展名。例如，在JPEG文件的情況下通常使用擴(kuò)展名“.jpg”；在MPEG文件的情況下體通常使用擴(kuò)展名“.mpg”或“.mp4”；在MWV(Window(R)Media Video)的情況下通常使用“.wmv”。這樣使其能夠甚至對(duì)沒有3D圖像顯示功能的傳統(tǒng)播放器也能將該文件識(shí)別為現(xiàn)有格式的文件，并作為二維圖像顯示。
另一方面，當(dāng)采用新格式時(shí)，可以將3D信息記錄在如圖7(b)所示的文件的開始處。另外，為了使該文件被理解為新格式，應(yīng)該添加使其區(qū)別于現(xiàn)有格式的文件的特有的擴(kuò)展名。應(yīng)該用圖7(a)和7(b)中的管理信息來記錄諸如生成日期，生成器等之類不直接涉及三維圖像的一些信息。
首先，描述結(jié)合的有/無(wú)指示“未結(jié)合”時(shí)如何存儲(chǔ)多視像。當(dāng)使用圖7(a)所示的具有現(xiàn)有格式的文件時(shí)，從多個(gè)視點(diǎn)看到的多個(gè)圖像被分開記錄在圖7(a)中的圖像信息區(qū)中。在記錄運(yùn)動(dòng)畫面時(shí)，針對(duì)每個(gè)視點(diǎn)記錄多個(gè)數(shù)據(jù)幀。圖8示出了這種情況下存儲(chǔ)的一個(gè)實(shí)例。對(duì)于運(yùn)動(dòng)畫面，針對(duì)每個(gè)視點(diǎn)記錄多個(gè)數(shù)據(jù)幀。這種情況下，可以相互獨(dú)立地將每幀編碼在運(yùn)動(dòng)JPEG中，或者利用幀間預(yù)測(cè)將畫面之間的差別編碼為MPEG-4。
下面說明使用具有圖7(b)所示的新格式的文件的情況。在新格式的使用中，存在兩種情況，一種是采用針對(duì)圖7(b)中的文件首部和圖像信息部分采用現(xiàn)有的格式(JPEG，位圖等)，另一種是采用特有的新格式。因此，為了澄清格式中的差別，應(yīng)該在3D信息中記錄分類信息(稱為圖像類型)。
參考記錄圖像數(shù)據(jù)的方式，在圖7(b)的圖像信息區(qū)中記錄在多個(gè)視點(diǎn)的多個(gè)圖像數(shù)據(jù)。在運(yùn)動(dòng)畫面的情況下，針對(duì)每個(gè)視點(diǎn)記錄多個(gè)數(shù)據(jù)幀。圖9示出當(dāng)結(jié)合的有/無(wú)指示“未結(jié)合”時(shí)的存儲(chǔ)實(shí)例和3D信息的實(shí)例。格式化圖9中的文件首部和圖像信息的K個(gè)片段，以便能夠?qū)⒚總€(gè)部分識(shí)別為現(xiàn)有格式的文件。當(dāng)具體描述其采取位圖文件的實(shí)例時(shí)，圖像1至K分別被記錄為獨(dú)立的位圖文件，并配置格式，以便依次連接3D信息，管理信息，圖像1的位圖到圖像K的位圖。
在此，當(dāng)結(jié)合的有/無(wú)指示“未結(jié)合”時(shí)，可以將有關(guān)多個(gè)視點(diǎn)的圖像信息記錄為分開的圖像數(shù)據(jù)文件。這種情況下，當(dāng)使用現(xiàn)有格式時(shí)可以以圖7(a)所示的格式記錄每個(gè)視點(diǎn)的圖像信息，當(dāng)使用新格式時(shí)可以以圖7(b)所示的格式記錄每個(gè)視點(diǎn)的圖像信息。在記錄這些文件時(shí)，可以單獨(dú)使用現(xiàn)有格式或新格式，或者將兩種格式混合并使用。圖10示出了采用現(xiàn)有格式的一個(gè)實(shí)例。由于有K個(gè)視點(diǎn)，生成了K個(gè)文件。
這種情況下，3D信息生成單元103生成與視點(diǎn)的數(shù)量一樣多的3D信息。在此，由于一個(gè)圖像信息被記錄在單個(gè)文件中，省略圖像的順序，并記錄表明文件和視點(diǎn)編號(hào)之間的對(duì)應(yīng)關(guān)系的視點(diǎn)編號(hào)。圖11示出了這種情況下的3D信息的一個(gè)實(shí)例。
圖12是表示當(dāng)視點(diǎn)數(shù)量是2時(shí)3D信息的一個(gè)實(shí)例的示意圖。在此，假設(shè)在圖2所示的成像設(shè)備中，使用由視點(diǎn)編號(hào)1和2指定的成像設(shè)備。由于視點(diǎn)的數(shù)量是2，因此生成了圖12(a)和(b)中所示的兩個(gè)3D信息?！埃健钡淖髠?cè)表示3D信息的項(xiàng)，右側(cè)表示對(duì)應(yīng)的設(shè)定值。對(duì)布置模式，水平方向的視點(diǎn)數(shù)量和垂直方向的視點(diǎn)數(shù)量，以及2D選擇這些所有項(xiàng)，在圖12(a)和(b)二者中記錄了相同的值。除上述項(xiàng)之外的其它項(xiàng)是不同的具體地講，圖12(a)示出了該圖像的視點(diǎn)數(shù)量為1并且沒有縮小尺寸，圖12(b)示出該圖像的視點(diǎn)數(shù)量為2并且縮小了尺寸。
當(dāng)將多個(gè)視點(diǎn)的圖像信息記錄為分開的文件時(shí)，在記錄的文件數(shù)量中，需要識(shí)別與來自相同的成像裝置攝取的多視像的視點(diǎn)對(duì)應(yīng)的文件。在此，例如，能夠使多路復(fù)用器104適應(yīng)于把用于識(shí)別由相同的成像裝置攝取的不同視點(diǎn)的圖像的文件的信息記錄到上述管理信息。圖13是表示這種情況的管理信息的一個(gè)實(shí)例的示意圖，其中記錄了表示記錄介質(zhì)上記錄的多視像文件和名稱之間的關(guān)系的信息。在圖13中，文件配置取值為“分開”或“整合”“分開”表示每個(gè)視點(diǎn)圖像被作為分開的文件記錄，而“整合”表示所有的視點(diǎn)圖像被記錄在一個(gè)文件中。為了從視點(diǎn)編號(hào)獲取圖像數(shù)據(jù)的文件名的知識(shí)，與文件名對(duì)應(yīng)地記錄每個(gè)視點(diǎn)編號(hào)。
另外，為了表示成像設(shè)備采取的多視像屬于相同的組，可以根據(jù)預(yù)定的命名規(guī)則分配文件名。例如，在上述具有兩個(gè)視點(diǎn)的情況下，由圖像1和圖像2構(gòu)成的一組可以被分配給文件名“stereo1_1.jpg”和“stereo1_2.jpg”，另一組圖像可以被分配給文件名“stereo2_1.jpg”和“stereo2_2.jpg”，以便相互區(qū)分。
另外，關(guān)聯(lián)文件中記錄的3D信息或管理信息中存在著冗余。例如，在如圖12所示的3D信息的例子中，除縮小的有/無(wú)和視點(diǎn)編號(hào)外，出現(xiàn)了同樣的信息。在圖13所示的管理信息的實(shí)例中，管理信息的內(nèi)容對(duì)所有文件的共同的。
因此，這些共同信息(共同信息)可以只記錄在一個(gè)文件中，其它文件可以用于記錄圖像數(shù)據(jù)本身所固有的信息(單獨(dú)的信息)。圖14示出了這種情況的一個(gè)實(shí)例。圖14(a)示出了其中記錄有單獨(dú)信息和共同信息的文件。圖14(b)示出了僅具有單獨(dú)信息的文件。在該實(shí)例中，以現(xiàn)有格式記錄圖14(a)的文件，以新格式記錄圖14(b)的文件，以便能夠使用文件擴(kuò)展名從僅記錄有單獨(dú)信息的其它文件中區(qū)分出記錄有共同信息的文件，另外，記錄有共同信息的文件的文件名可以被記錄為如圖14(b)所示記錄有單獨(dú)管理信息。該結(jié)構(gòu)便于從僅記錄有單獨(dú)信息的文件區(qū)分記錄有共同信息的文件。
在此，除上面說明的之外，也可以通過使用上述命名規(guī)則以便可從其它內(nèi)容區(qū)分出每個(gè)視點(diǎn)的圖像文件，把共同信息記錄到例如由2D選擇指定的具有特點(diǎn)視點(diǎn)編號(hào)的圖像文件來實(shí)現(xiàn)這些文件之間的區(qū)分。
作為替換，可以整合冗余信息以生成管理文件，同時(shí)使每個(gè)圖像文件適應(yīng)于僅記錄有固有信息。管理文件應(yīng)該具有與圖像文件不同的特有擴(kuò)展名。
另外，諸如上述FAT之類的文件系統(tǒng)使用目錄，以便管理所有文件。還可以把不同視點(diǎn)生成的一組圖像文件(可以包括其管理文件，如果有的話)記錄在相同目錄中。
當(dāng)結(jié)合的有/無(wú)指示“結(jié)合”時(shí)，將一個(gè)整合圖像的圖像信息記錄在圖7(a)和圖7(b)中的圖像信息區(qū)中。對(duì)于運(yùn)動(dòng)畫面，記錄各由與多視像對(duì)應(yīng)的結(jié)合幀構(gòu)成的多個(gè)圖像。
通過配置上述實(shí)施例，使得圖像的布置順序可以被任意改變，同時(shí)固定視點(diǎn)編號(hào)的分配方式，并且可以任意改變視點(diǎn)編號(hào)的分配方式，同時(shí)固定圖像的布置順序。另外，成像設(shè)備的排列不限于格柵狀排列，而是可以任意排列。這種情況下，選擇參考成像設(shè)備(其視點(diǎn)被設(shè)置為1)，并用以參考設(shè)備的位置作為原點(diǎn)的坐標(biāo)系統(tǒng)表示該位置。把成像設(shè)備在每個(gè)視點(diǎn)的位置坐標(biāo)按視點(diǎn)編號(hào)的順序記錄到3D信息中。
在上面的實(shí)施例中，配置新格式的文件，使得3D信息和管理信息被記錄在文件的開始。然而，新格式的文件不限于此。它們的位置可以位于文件首部之后，或圖像信息之后，或者可以與圖7(a)中所示的現(xiàn)有格式相同。
<第三實(shí)施例>
接下來，描述顯示由三維圖像生成裝置100生成的圖像數(shù)據(jù)作為三維圖像的再現(xiàn)裝置。
圖15是表示根據(jù)本發(fā)明實(shí)施例的三維圖像再現(xiàn)裝置的配置的方框圖。在圖15中，三維圖像再現(xiàn)裝置包括去復(fù)用器201，3D信息分析器202和圖像轉(zhuǎn)換器203。
去復(fù)用器201從記錄設(shè)備或通信設(shè)備讀取已經(jīng)以預(yù)定格式多路復(fù)用的圖像數(shù)據(jù)，并將其分離成圖像信息，3D信息和管理信息。雖然圖15中沒有表示，當(dāng)已經(jīng)多路復(fù)用了話音和/或音樂時(shí)，也通過去復(fù)用器201分離這些數(shù)據(jù)。
三維信息分析器202以預(yù)定格式分析3D信息，并提取對(duì)每一項(xiàng)設(shè)定值。
可以將具有不同顯示格式的各種顯示設(shè)備連接到圖像轉(zhuǎn)換器203，例如使用普通CRT的二維顯示設(shè)備，液晶面板，使用透鏡技術(shù)的立體顯示設(shè)備，視差阻擋技術(shù)，時(shí)分方法等。
下面說明有關(guān)所配置的三維圖像再現(xiàn)裝置200的操作。在此，假設(shè)IC存儲(chǔ)器連接到去復(fù)用器201。正如已經(jīng)描述的。呈現(xiàn)有格式和新格式的圖像文件以及管理被記錄在IC存儲(chǔ)器中。圖像文件和管理文件之間的區(qū)別由其文件擴(kuò)展名來區(qū)分。在此，假設(shè)使用者選擇通過未示出的選擇裝置選擇一個(gè)圖像文件或管理文件。
首先，說明所選擇的文件是圖像文件的情況。這種情況下，由于可從文件的擴(kuò)展名區(qū)分現(xiàn)有格式和新格式，當(dāng)要再現(xiàn)的文件是圖7(a)所示的現(xiàn)有文件格式文件時(shí)，去復(fù)用器201從文件首部的擴(kuò)展區(qū)讀取3D信息。當(dāng)文件格式是圖7(b)所示的新格式時(shí)，從文件的開始處讀出3D信息。
三維信息分析器202分析3D信息，并提取縮小的有/無(wú)，視點(diǎn)的數(shù)量，布置模式，2D選擇和其它的設(shè)定值。還確定用于顯示三維圖像的圖像視點(diǎn)編號(hào)。為了從多視像數(shù)據(jù)顯示三維圖像，應(yīng)該從多視像選擇表現(xiàn)視差的兩個(gè)視點(diǎn)的圖像并且可以用作左眼和右眼圖像。例如，在由圖2所示的成像設(shè)備記錄的數(shù)據(jù)的圖像的情況下，可以選擇水平排列的設(shè)備對(duì)，例如，1和2，1和3，1和4，2和3，2和4，以及其它排列。如果在顯示時(shí)將圖像旋轉(zhuǎn)90度，可以選擇設(shè)備對(duì)1和5，2和6，3和7，以及4和8，以實(shí)現(xiàn)三維圖像顯示。
當(dāng)結(jié)合的有/無(wú)指示“未結(jié)合”時(shí)，所選擇的文件記錄有如圖10所示僅在一個(gè)視點(diǎn)的圖像信息，或記錄如圖8所示針對(duì)所有視點(diǎn)的未結(jié)合的分開圖像信息。
通過根據(jù)3D信息的分析結(jié)果檢驗(yàn)3D信息是否包含有關(guān)圖像順序的信息能夠在這些文件之間進(jìn)行區(qū)分。如果3D信息包含圖像順序，該文件是后一種情況，并且應(yīng)該從3D信息中記錄的第一到第K個(gè)視點(diǎn)編號(hào)選擇能夠有立體視圖的任意視點(diǎn)組合。否則，文件是前一種情況，選擇能夠與3D信息中記錄的視點(diǎn)編號(hào)i(在此i是一個(gè)等于或大于1的整數(shù))的組合以產(chǎn)生立體視圖的另一個(gè)視點(diǎn)編號(hào)。所選擇的視點(diǎn)編號(hào)輸出到去復(fù)用器201。
去復(fù)用器201從文件中讀出由輸入的視點(diǎn)編號(hào)指定的圖像信息，并將其輸出到圖像轉(zhuǎn)換器203。如果在文件中沒有找到輸入的視點(diǎn)編號(hào)的圖像信息，應(yīng)該借助管理信息和如上所述的命名規(guī)則定位具有其中記錄的圖像信息的文件，并讀出。
還可以參考管理信息中的文件配置，以便檢驗(yàn)該文件是否僅具有一個(gè)視點(diǎn)圖像的記錄或具有所有視點(diǎn)的圖像的記錄。如果文件配置表明是“分開的”，則記錄一個(gè)視點(diǎn)圖像的圖像信息，如果表明是“整合的”，則記錄所有視點(diǎn)的圖像信息。
另一方面，當(dāng)結(jié)合的有/無(wú)指示“結(jié)合”時(shí)，該文件具有僅有一個(gè)結(jié)合圖像的記錄，因此能夠選擇任意的視點(diǎn)編號(hào)。這種情況下，將視點(diǎn)編號(hào)輸出到圖像轉(zhuǎn)換器203。
<第四實(shí)施例>
此時(shí)，在已經(jīng)對(duì)圖像信息編碼時(shí)，應(yīng)該在去復(fù)用后對(duì)數(shù)據(jù)解碼。圖20示出了這種情況下的三維圖像再現(xiàn)裝置210的配置。三維圖像再現(xiàn)裝置210與圖15中的三維圖像再現(xiàn)裝置200區(qū)別在于包括了解碼器204。
圖像轉(zhuǎn)換器203根據(jù)從3D信息分析器202輸入的結(jié)合的有/無(wú)，縮小的有/無(wú)，2D選擇和視點(diǎn)編號(hào)，把去復(fù)用器201分開的圖像信息轉(zhuǎn)換成顯示格式。在該過程中，如果結(jié)合的有/無(wú)指示“未結(jié)合”，該轉(zhuǎn)換在已經(jīng)提取視點(diǎn)編號(hào)指定的所有圖像信息時(shí)開始。如果因文件刪除或其它原因造成不能獲得任何圖像信息，可以使用在最靠近原始編號(hào)的視點(diǎn)編號(hào)指定的圖像代替，或可以實(shí)施二維顯示。當(dāng)結(jié)合的有/無(wú)指示“結(jié)合”時(shí)，從結(jié)合的圖像裁剪出由視點(diǎn)編號(hào)指定的視點(diǎn)圖像，并轉(zhuǎn)換。
參考向顯示格式的轉(zhuǎn)換，例如，如果視差阻擋顯示設(shè)備連接到三維圖像再現(xiàn)裝置200，圖4(e)所示的形式最容易處理。這種情況下，來自左和右圖像的一個(gè)像素的垂直行在水平方向被重新排列。在圖4(b)所示的情況下，左和右圖像相對(duì)于在水平方向交替地重新排列一個(gè)像素的垂直行之前的水平方向各變薄一半。在兩種情況中的任何一種情況下，圖像數(shù)據(jù)附連有3D信息，以便能夠把該數(shù)據(jù)轉(zhuǎn)換成適合于該顯示設(shè)備的顯示格式。
在此，以參考編碼圖像信息的視差阻擋系統(tǒng)的情況為例，當(dāng)對(duì)具有圖4(e)所示的排列的圖像執(zhí)行編碼時(shí)，能夠明顯地改善編碼效率，即使要顯示的實(shí)際圖像是如圖17(b)中所示的圖像。這是由于圖4(e)所示的狀態(tài)在相鄰像素之間的相關(guān)比圖17(b)中所示狀態(tài)的相關(guān)高。為了把圖4(e)的圖像的編碼數(shù)據(jù)應(yīng)用到視差阻擋系統(tǒng)，在圖20的三維圖像再現(xiàn)裝置210中，應(yīng)該由解碼器204首先將該數(shù)據(jù)解碼成其圖形形式，然后應(yīng)該由圖像轉(zhuǎn)換器203將該圖像重新排列成圖17(b)所示的形式。
如果操作模式切換到二維顯示模式，同時(shí)正在顯示三維圖像，則顯示由2D選擇指定的視點(diǎn)編號(hào)的圖像。此刻，如果縮小的有/無(wú)表示“未縮小”，直接顯示該圖像。在“縮小”的情況下，圖像被放大兩倍并顯示。然而。當(dāng)該圖像未被正在顯示時(shí)，選擇并顯示正在被顯示的圖像之一。該選擇可以通過例如選擇具有最后或最大的視點(diǎn)編號(hào)的方法，相對(duì)于成像設(shè)備的排列或結(jié)合的圖像中與2D選擇指定的視點(diǎn)編號(hào)的圖像距離最接近的方法，用于左眼圖像的方法，用于右眼圖像的方法，或任何其它方法來進(jìn)行。在此，對(duì)該選擇沒有特定的限制。如果2D選擇沒有選擇到用于二維顯示的圖像，則利用預(yù)定的方法選擇要顯示的圖像。
當(dāng)連接到二維顯示裝置時(shí)，顯示由2D選擇指定的圖像。以與三維顯示設(shè)備中的二維顯示相同的方式進(jìn)行顯示。
當(dāng)使用者選擇的文件是管理文件時(shí)，3D信息中記錄的結(jié)合的有/無(wú)肯定表示“未結(jié)合”；可以并且應(yīng)該選擇能夠有立體視圖的視點(diǎn)編號(hào)的任意組合。從由圖像文件讀出圖像數(shù)據(jù)到轉(zhuǎn)換成顯示格式的操作與如上所述的操作相同，因此在此省略對(duì)其的描述。
現(xiàn)在參考將視點(diǎn)編號(hào)和文件名記錄到管理信息中的情況解釋上述實(shí)施例，也可以提供下面的配置。就是說，配置三維圖像生成裝置100將指示圖像信息屬于相同的成像裝置攝取的多視像組的識(shí)別編號(hào)記錄到共同信息和單獨(dú)信息二者中，和配置三維圖像再現(xiàn)裝置200僅在文件名和識(shí)別編號(hào)二者一致時(shí)讀出圖像信息?？梢詫⑾嗤淖R(shí)別變化分配給多視像組，或?qū)⒉煌木幪?hào)分配給每個(gè)視點(diǎn)。該配置能夠防止因?yàn)槲募奶摌?gòu)而造成的誤操作。
如上所述，由于可以用統(tǒng)一的方式處理由不同的三維成像方案生成的各種數(shù)據(jù)，并且由于能夠在沒有三維圖像顯示功能的傳統(tǒng)播放器上正確地顯示二維圖像，因此能夠提供通用性。
存在著將小圖片圖像記錄在如圖21(a)所示的圖像文件中的一些情況。根據(jù)DCF(Design rule for Camera File System攝像文件系統(tǒng)的設(shè)計(jì)規(guī)則)標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的建立是為了確保圖像文件之間的可互換性，以便在不能再現(xiàn)主圖像(圖像信息)的情況下保證為了再現(xiàn)的最小可互換性，約定小圖片圖像的存儲(chǔ)。在DCF標(biāo)準(zhǔn)中，對(duì)主圖像的像素尺寸沒有限制，但小圖片圖像的像素尺寸被限定為一種，即160像素×120像素。
為了記錄沿著該思路進(jìn)行三維顯示的信息的文件，可以考慮圖21(b)所示的格式。就是說，該文件具有把3D信息加到具有圖21(a)的格式的圖像文件的形式，圖21(b)中的主圖像被假設(shè)為3D圖像。
在此，假設(shè)如圖4(e)所示，該圖像由兩個(gè)視點(diǎn)圖像構(gòu)成，每個(gè)圖像在水平方向縮小到一半并相互結(jié)合，在圖21(b)中該圖像作為主圖像存儲(chǔ)，像素尺寸是640像素×480像素。還假設(shè)用從主圖像直接縮小到160像素×120像素的圖像作為小圖片圖像。在上述假設(shè)下，所得到的文件包含如圖22(a)中所示的圖像。這種情況下，可以說主圖像和小圖片圖像是以3D圖像的形式給出的。
因此，當(dāng)給出具有如圖22(a)所示的圖像的文件時(shí)，能夠解譯3D信息并實(shí)現(xiàn)3D顯示的三維圖像再現(xiàn)裝置通過在小圖片圖像上重寫指示該文件支持3D數(shù)據(jù)的信息來提供如圖23(c)所示的小圖片顯示。當(dāng)以3D顯示小圖片時(shí)，還可以通過以與轉(zhuǎn)換主圖像相同的方式轉(zhuǎn)換小圖片圖像來以3D顯示小圖片。此外，當(dāng)指示包括3D圖像的符號(hào)(例如，圖23(c)中的字符“3D”)被提供有視差以實(shí)現(xiàn)3D顯示時(shí)，能夠增強(qiáng)通用性。
當(dāng)以3D顯示給出小圖片時(shí)，與縮小解碼的主圖像并用于3D顯示相比，使用圖22(a)所示的小圖片圖像能夠高速表現(xiàn)。這是由于小圖片圖像較小，因此能夠被快速解碼，而與大圖像，即主圖像的情況不同，最初需要被解碼。
在此，由于小圖片圖像不必是從主圖像直接縮小的圖像，也可以是主圖像與小圖片圖像的組合，如圖22(b)所示。圖22(b)中的主圖像與圖22(a)中的相同，而小圖片圖像是通過從主圖像提取一個(gè)視點(diǎn)圖像的片段并將其縮小到160像素×120像素獲得的圖像。在圖22(b)中，由于主圖像在水平方向縮小到一半，或換句話說，水平比例與垂直比例之間的比率是1∶2，應(yīng)該通過提取一個(gè)視點(diǎn)圖像的片段并在水平方向?qū)⑵浞糯笠槐秮砩尚D片圖像。
當(dāng)給出具有如圖22(b)所示的圖像的文件時(shí)，能夠解譯3D信息并實(shí)現(xiàn)3D顯示的三維圖像再現(xiàn)裝置通過在小圖片圖像上重寫指示該文件支持3D數(shù)據(jù)的信息來提供如圖23(b)所示的小圖片顯示。通過從如圖22(b)所示的主圖像提取一個(gè)視點(diǎn)圖像的片段來準(zhǔn)備小圖片圖像能夠迅速無(wú)失真地顯示小圖片。
即使在給出如圖22(a)所示的小圖片圖像時(shí)，通過根據(jù)小圖片顯示提取一個(gè)視點(diǎn)的片段能夠顯示如圖23(b)所示的小圖片，在水平方向?qū)⑵浞糯笠槐?，然后在小圖片圖像上重寫用于存儲(chǔ)3D指示的信息。
雖然圖22示出了主圖像中結(jié)合的有/無(wú)指示“結(jié)合”的情況，主圖像可以由如圖4(a)所示的“未結(jié)合”的圖像組成。當(dāng)主圖像的結(jié)合的有/無(wú)表示“未結(jié)合”時(shí)，可以縮小為主圖像記錄的多個(gè)圖像之一并記錄為小圖片圖像。作為替換，無(wú)論主圖像的結(jié)合的有/無(wú)表示“結(jié)合”或“未結(jié)合”，可以提取由已經(jīng)解釋的“2D選擇”指定的一個(gè)視點(diǎn)圖像來生成其小圖片圖像或提供小圖片顯示。
如至此所描述的，只要三維圖像再現(xiàn)裝置能夠解譯3D信息，當(dāng)接收到如圖21(b)所示的文件時(shí)，能夠正確地處理該文件。現(xiàn)在，應(yīng)該考慮不能解譯3D信息的老式三維圖像再現(xiàn)裝置。該三維圖像再現(xiàn)裝置沒有圖20中的3D信息分析器202和圖像轉(zhuǎn)換器，并且不能連接到三維顯示器。該三維圖像再現(xiàn)裝置不能解譯3D信息，因此不能告知文件中存儲(chǔ)的圖像信息是2D圖像還是3D圖像。即使通過一些未規(guī)定的裝置已經(jīng)發(fā)現(xiàn)該文件支持3D圖像，由于該裝置沒有圖像轉(zhuǎn)換器，因此它也不能正確地再現(xiàn)該圖像信息。
即使在這種情況下，如果已經(jīng)根據(jù)上述DCF標(biāo)準(zhǔn)或類似思路記錄了小圖片圖像，至少能夠期待小圖片圖像的顯示。
因此，在本發(fā)明中，記錄了嵌入有指示該文件包含3D圖像的符號(hào)的小圖片圖像。例如，如圖23(a)所示，可以使用在圖像右下方重寫有圖示符號(hào)“3D”的圖像作為小圖片圖像，或如圖23(b)所示，可以使用在其角部嵌入透明的文本“3D”的圖像作為小圖片圖像。作為替換，如果將如圖23(c)所示的圖像記錄為小圖片圖像，至少能夠識(shí)別該文件是包含3D圖像的文件。
當(dāng)把表示3D內(nèi)容的符號(hào)嵌入小圖片圖像時(shí)，能夠允許使用者在記錄時(shí)選擇嵌入符號(hào)的位置和尺寸。另外，還能夠從預(yù)先準(zhǔn)備的多個(gè)符號(hào)中選擇所希望的符號(hào)。此外，在生成小圖片圖像時(shí)自動(dòng)定位背景區(qū)，以使符號(hào)可以被寫入背景區(qū)。另外，當(dāng)把表示3D內(nèi)容的符號(hào)自動(dòng)嵌入如上所述的小圖片圖像時(shí)，能夠允許使用者檢驗(yàn)曾經(jīng)記錄的小圖片圖像，并且如果符號(hào)的位置和/或尺寸不是優(yōu)選的，可以重新生成小圖片。
圖24示出了主圖像和所記錄的圖像文件的小圖片圖像的組合的實(shí)例。在此，與圖22的情況類似，假設(shè)由兩個(gè)視點(diǎn)圖像構(gòu)成、如圖4(e)所示在水平方向縮小一半的結(jié)合的圖像被作為主圖像存儲(chǔ)，其像素尺寸是640像素×480像素。另外，還假設(shè)從主圖像縮小到160像素×120像素并且嵌入指示包括3D圖像的符號(hào)的圖像，并用該圖像作為小圖片圖像。利用該假設(shè)，存儲(chǔ)如圖23(c)所示的小圖片圖像產(chǎn)生了如圖24(a)的組合，存儲(chǔ)圖23(b)所示的小圖片圖像產(chǎn)生圖24(b)所示的組合。
符號(hào)本身可以是文本，標(biāo)記，或特定圖像，只要其能夠指示3D內(nèi)容的存在。另外，對(duì)符號(hào)在小圖片圖像中的位置沒有限制。然而，在任何一種情況下，應(yīng)該記錄該符號(hào)作為小圖片圖像的一部分。相反，符號(hào)不與小圖片圖像分開記錄。
這是很關(guān)鍵的。為了在不能解譯3D信息的三維圖像再現(xiàn)裝置中提供有效的小圖片顯示，需要在文件中預(yù)先記錄圖23中所示的圖像作為小圖片圖像。該排列使得三維圖像再現(xiàn)裝置能夠通過再現(xiàn)其小圖片圖像，以與2D圖像文件相同的方式來檢驗(yàn)3D圖像的文件的圖像內(nèi)容，并由此在2D圖像文件和3D圖像文件之間進(jìn)行區(qū)分。
順便指出，即使是能夠解譯3D信息的三維圖像再現(xiàn)裝置也不總是支持各種數(shù)據(jù)格式。例如，對(duì)于僅支持四透鏡系統(tǒng)的3D圖像的三維圖像再現(xiàn)裝置，如果其接收到雙透鏡系統(tǒng)的3D圖像數(shù)據(jù)，則不能提供正確的顯示。這種情況下，能夠通過小圖片圖像的顯示來檢驗(yàn)圖像內(nèi)容。由于能夠解譯3D信息的三維圖像再現(xiàn)裝置能夠通過分析3D信息來判斷文件中包含的主圖像是否能夠被正確地再現(xiàn)，如果文件具有不能被正確再現(xiàn)的無(wú)效數(shù)據(jù)格式，可以配置該裝置顯示小圖片圖像，并且還顯示消息或類似內(nèi)容，通知“該文件具有不支持的3D數(shù)據(jù)格式”。
<第五實(shí)施例>
現(xiàn)在，圖28示出了用于在文件中記錄小圖片圖像的三維圖像生成裝置的實(shí)例。圖28中的三維圖像生成裝置120具有小圖片圖像生成器106，并通過在多路復(fù)用器104中將小圖片數(shù)據(jù)與編碼數(shù)據(jù)(或未壓縮的圖像信息)一起3D信息多路復(fù)用來生成文件。文件的輸出可以被傳送到諸如IC存儲(chǔ)器，磁光盤，磁帶，硬盤等之類的記錄設(shè)備，和/或諸如LAN，調(diào)制解調(diào)器等之類的通信設(shè)備。雖然在DCF標(biāo)準(zhǔn)中將小圖片圖像的尺寸定義為160像素×120像素，通常，小圖片圖像的尺寸不限于該尺寸。
<第六實(shí)施例>
接下來，圖26示出了三維圖像再現(xiàn)裝置的實(shí)例，該三維圖像再現(xiàn)裝置從如圖22所示的小圖片圖像實(shí)現(xiàn)如圖23所示的小圖片顯示。在圖26中，與圖20中的三維圖像再現(xiàn)裝置210具有相同功能的部件被分配相同的參考標(biāo)號(hào)并且省略對(duì)其的描述。在如圖26所示的三維圖像再現(xiàn)裝置220中，由去復(fù)用器221分離小圖片數(shù)據(jù)。如果要再現(xiàn)的數(shù)據(jù)表示3D圖像，小圖片生成器225根據(jù)來自3D信息分析器202的指示，對(duì)從小圖片數(shù)據(jù)解碼(如果該數(shù)據(jù)未被壓縮則不需要解碼)的小圖片圖像實(shí)現(xiàn)小圖片顯示，所述小圖片數(shù)據(jù)是通過疊加指示3D圖像存在的符號(hào)形成的。如果以3D顯示小圖片，小圖片生成器225對(duì)小圖片圖像實(shí)施與圖像轉(zhuǎn)換器對(duì)主圖像進(jìn)行的轉(zhuǎn)換方式相同的處理。
<第七實(shí)施例>
圖27示出了能夠以可切換的方式輸出3D顯示圖像和2D顯示圖像的三維圖像再現(xiàn)裝置的實(shí)例。在圖27中，與圖26中的三維圖像再現(xiàn)裝置220具有相同功能的部件被分配相同的參考標(biāo)號(hào)并且省略對(duì)其的描述。在圖27所示的三維圖像再現(xiàn)裝置230中，當(dāng)輸入如圖24所示的主圖像和小圖片圖像的編碼圖像數(shù)據(jù)時(shí)，由解碼器204解碼的圖像信息被發(fā)送到圖像轉(zhuǎn)換器203以及小圖片生成器225。控制器226給出向圖像轉(zhuǎn)換器203和小圖片生成器225輸出3D顯示圖像還是2D顯示圖像的指示。當(dāng)以2D顯示小圖片時(shí)，小圖片生成器225可以直接輸出如圖24所示的小圖片圖像(這種情況下，還顯示表示3D的符號(hào))，或者可以通過縮小輸入的主圖像和實(shí)施與圖像轉(zhuǎn)換器203類似的處理來輸出小圖片圖像，而沒有指示3D存在的符號(hào)。如果以3D顯示小圖片，可以并且應(yīng)該縮小輸入的主圖像，并且受到與圖像轉(zhuǎn)換器203中相同的處理。
在至此的描述中，配置3D文件以便利用疊加的、指示3D存在的符號(hào)來顯示其小圖片圖像。然而，也可以照3D文件的原樣顯示小圖片圖像，同時(shí)可以通過疊加指示2D的符號(hào)來執(zhí)行2D文件的小圖片圖像的顯示。
另外，不僅可以將在3D文件的小圖片圖像上指示3D的符號(hào)的顯示，而且可以將3D信息中包含的諸如視點(diǎn)的數(shù)量，視點(diǎn)編號(hào)等之類的數(shù)據(jù)的顯示疊加在小圖片圖像上。此外，3D信息中包含的數(shù)據(jù)和指示3D存在的符號(hào)的顯示可以被疊加在小圖片圖像上，但可以在小圖片圖像附近的預(yù)定位置給出。
圖25示出了該文件中存儲(chǔ)的小圖片圖像的其它實(shí)例。小圖片圖像由第一圖像和第二圖像組成。第一圖像由來自不同視點(diǎn)的兩個(gè)或多個(gè)圖像構(gòu)成，第二圖像是通過裁剪出一個(gè)視點(diǎn)圖像，然后將兩個(gè)圖像以畫中畫的方式粘貼而生成的。在圖25(a)中，第一圖像是主要圖像，第二圖像是子圖像。如圖26(b)所示，主要圖像和子圖像可以互換。圖25(c)和圖25(d)示出了圖25(a)和圖25(b)的各個(gè)圖像，每個(gè)圖像嵌入有指示3D存在的符號(hào)。對(duì)于圖25(c)和(d)，可以輸出指示3D存在的符號(hào)并在小圖片顯示時(shí)疊加，而不是將其記錄在小圖片圖像中。使用如圖25所示的小圖片顯示允許無(wú)圖像失真地檢驗(yàn)圖像內(nèi)容并且確認(rèn)記錄為主圖像的實(shí)際圖像形式。
下面參考

本發(fā)明的實(shí)施例。
<第八實(shí)施例>
在本發(fā)明的第八實(shí)施例中，使用用于三維圖像顯示的GUI應(yīng)用軟件，個(gè)人計(jì)算機(jī)(下文縮寫為PC)實(shí)施立體顯示處理，以便在立體顯示器上實(shí)現(xiàn)立體顯示。具體地講，PC上的CPU根據(jù)諸如CE-ROM，硬盤等之類的記錄介質(zhì)上記錄的立體顯示應(yīng)用軟件執(zhí)行運(yùn)動(dòng)畫面和?；蜢o止圖像的處理，以便在立體顯示器上實(shí)現(xiàn)立體顯示。另外，隨著使用者通過鼠標(biāo)或鍵盤給出進(jìn)行立體處理的指示，CPU根據(jù)這些指示來執(zhí)行處理。
圖29是解釋第八實(shí)施例的立體顯示器上的顯示圖像的示意圖，其中三維圖像顯示應(yīng)用將管理顯示圖像2顯示在顯示器1上。三維圖像顯示應(yīng)用的管理顯示圖像2由三維圖像顯示區(qū)3，放大比例調(diào)節(jié)條4和警告顯示區(qū)5構(gòu)成。
從用于描述現(xiàn)有技術(shù)的圖39和40可以理解，當(dāng)放大并顯示三維圖像時(shí)，從立體顯示器向外突出的隆起量和相對(duì)于立體顯示器向內(nèi)降低的縱深量都被放大，當(dāng)他們大于其對(duì)應(yīng)的某個(gè)閾值時(shí)，不能產(chǎn)生立體視圖。這種情況下，如果預(yù)先知道三維圖像的隆起和縱深的最大量，能夠從等式(1)和(2)根據(jù)放大比例確定三維圖像的隆起和縱深量在什么程度上改變。在本實(shí)施例中，例如，如果三維圖像的隆起變得較強(qiáng)，因此長(zhǎng)時(shí)間的觀看會(huì)給使用者造成負(fù)擔(dān)，將給予使用者一個(gè)警告。
下面參考圖30所示的流程圖，描述第八實(shí)施例的處理流程。
在步驟S1，獲取顯示信息。在此提到的顯示信息包括顯示器的寬度W[m]，顯示器的分辨率P[dot]，和使用者與顯示器之間的距離D[m]。使用者與顯示器之間的距離可以利用位置傳感器等準(zhǔn)確地獲得。然而，使用來自數(shù)據(jù)庫(kù)的、預(yù)先已經(jīng)累積的值更方便，該值記錄了使用者相對(duì)于顯示器的尺寸和類型的一般距離，如果顯示器的尺寸是15英寸，作為到使用者的距離的例子，該距離可以是1米。
對(duì)于通過在左和右眼上投射不同的圖像來產(chǎn)生立體效果的立體顯示器，如同在HMD的情況，當(dāng)把絕對(duì)獨(dú)立的顯示設(shè)備用于左和右眼時(shí)，左和右圖像之間不發(fā)生混合。然而，在基于視差阻擋系統(tǒng)和雙凸系統(tǒng)的立體顯示器中，針對(duì)使用者的右眼的圖像的微小成分可以與左眼看到的圖像混合。將此稱為串?dāng)_。一般情況下，串?dāng)_越少，立體顯示越好。隨著串?dāng)_變大，能夠產(chǎn)生舒適的立體視圖的范圍變窄。為此，有關(guān)串?dāng)_的信息被包括在顯示信息中，如下面要描述的，當(dāng)串?dāng)_較強(qiáng)時(shí)，視差的范圍可以變得較小，以便在立體顯示器上提供舒適的立體圖像。
為此目的，在步驟S2獲取能夠有立體視圖的視差范圍。
PC的CPU根據(jù)左和右圖像之間的差異，利用等式(1)，(2)和(3)，計(jì)算能夠產(chǎn)生舒適的立體視圖的范圍中的視差量，以便確定落在能夠有舒適的立體視圖的范圍中的隆起量th_f[dot]和縱深量th_b[dot]。在此，由立體顯示屏幕上左和右對(duì)應(yīng)點(diǎn)之間的距離(視差)來把th_f和th_b。如從圖39和40看到的，在從屏幕向外突出的圖像中，左眼圖像相對(duì)于右眼圖像位于右側(cè)，而在從屏幕向后的圖像中，左眼圖像相對(duì)于右眼圖像位于左側(cè)。因此，在本發(fā)明中，確定右眼圖像與左眼圖像之間不一致的程度作為參考，以使視差的正值表示隆起(左眼圖像位于右側(cè))，和視差的負(fù)值表示縱深(左眼圖像位于左側(cè))。
視差的值落入從th_f到th_b的范圍可以說是能夠有舒適立體視圖的立體顯示器的最大視差范圍，并且th_f到th_b表示最大視差范圍的閾值。
通過各種研究已經(jīng)憑經(jīng)驗(yàn)確定了允許舒適立體視圖的視差量θ，并且了解到它與立體顯示器和尺寸和串?dāng)_相關(guān)。例如，當(dāng)假設(shè)在15英寸的立體顯示器中能夠有舒適立體視圖的視差量θ的范圍針對(duì)隆起和縱深二者是35分鐘，并且使用者的眼睛之間的距離是60mm，規(guī)定立體顯示器的最大視差范圍的閾值是大約th_f＝25和th_b＝-25[dot]。因此，能夠有立體視圖的視差范圍是-25≤θ≤25。當(dāng)然，這些值根據(jù)在步驟S1獲取的有關(guān)顯示的信息而改變。另外，由于這些值最多是憑經(jīng)驗(yàn)確定的，而不是用等式(1)，(2)和(3)確定的，自然會(huì)考慮CPU可以使用憑經(jīng)驗(yàn)獲得的立體顯示器的顯示性能的測(cè)量值，這些測(cè)量值已經(jīng)預(yù)先存儲(chǔ)在數(shù)據(jù)庫(kù)等中。
在步驟S3，顯示三維圖像的最大隆起量f[dot]和最大縱深量b[dot]，一句話，從三維圖像的標(biāo)記信息獲取三維圖像的最大視差量。在此，標(biāo)記信息是指分開地附連到三維圖像的附加信息，例如當(dāng)攝取圖像時(shí)的拍攝條件。在本實(shí)施例中，假設(shè)有關(guān)三維圖像的隆起最大量和縱深最大量的信息被作為標(biāo)記信息預(yù)先給出。然而，存在著通過立體匹配自動(dòng)確定有關(guān)f和b的信息的方法，這意味著獲取方法不限于使用標(biāo)記信息。還是在這種情況下，將f和b表示為立體顯示器屏幕上的視差量。這些值表示三維圖像的視差(視差范圍)的范圍。
在步驟S4，使用者利用放大比例調(diào)節(jié)條4輸入三維圖像的放大或縮小比例E[％]。放大比例的輸入不限于使用放大比例調(diào)節(jié)條，而是可以通過按下特定的盤鍵修改，或通過鼠標(biāo)利用滾動(dòng)條。另外，假設(shè)本發(fā)明不僅涉及放大處理，而且涉及縮小處理，并假設(shè)在步驟S5獲得放大或縮小比例。
在步驟S5，確定三維圖像的視差量是否落入能夠有立體視圖的視差范圍。按在步驟S4獲得的放大比例E[％]來乘以都是在步驟S3確定的隆起f的最大量和縱深b的最大量，以便確定放大的三維圖像的隆起的最大量f’＝Ef[dot]，和放大的三維圖像的縱深的最大量b’＝Eb[dot]。將所得到的值與在步驟S3確定的th_f和th_b比較，以便在步驟S5決定這些值是否落入能夠有立體視圖的視差范圍。如果三維圖像的視差量落入上述的視差范圍，該過程結(jié)束。如果三維圖像的視差量超出該視差范圍，操作進(jìn)行到步驟S6。
在步驟S6，PC的CPU根據(jù)三維圖像的視差量脫離能夠有立體視圖的視差范圍的程度，確定諸如“隆起太強(qiáng)”，“縱深太強(qiáng)”，“隆起太弱”，“縱深太弱”之類的消息，并將其顯示在警告顯示區(qū)5上。在此，通過話音消息，通過改變?nèi)S圖像顯示區(qū)3的顏色或通過任何其它方法向使用者發(fā)出警告，而不應(yīng)該限于在警告顯示區(qū)5上顯示消息。
在本實(shí)施例中，雖然根據(jù)視差量[dot]或左和右圖像的對(duì)應(yīng)點(diǎn)之間的差異來決定三維圖像的隆起量，很顯然，可以將從如圖39和40所示的顯示器給出的隆起量z[m]用于該決定。
<第九實(shí)施例>
下面描述本發(fā)明的第九實(shí)施例。
第九實(shí)施例中的立體顯示器的管理顯示圖像6由三維圖像顯示區(qū)3，放大比例調(diào)節(jié)條4和警告顯示區(qū)5構(gòu)成，如圖31所示。
下面參考圖32的流程圖描述第九實(shí)施例的操作流程。步驟S1至步驟S5與第八實(shí)施例中的相同。
在步驟S16，如圖33所示對(duì)隆起的量進(jìn)行校正(視差量調(diào)節(jié))。圖33(a)示出了放大前的三維圖像的視差范圍，(b)示出了放大后的三維圖像的視差范圍，(c)示出了校正處理后的三維圖像的視差范圍。在圖33中，橫軸表示左和右圖像的立體對(duì)應(yīng)點(diǎn)之間的差異，影線表示獲得舒適的立體視圖的視差范圍。關(guān)于符號(hào)，f和b表示放大前的三維圖像的隆起和縱深的最大量，f’和b’表示放大后的三維圖像的隆起和縱深的最大量，th_f和th_b表示能夠在立體顯示器上獲得舒適的立體視圖之間的隆起和縱深的最大量。即使放大后的圖像的隆起最大量f’比th_f大，如果f’-b’小于th_f-th_b，右眼圖像作為整體可以被移位f-th_f’，如圖34所示，以便相對(duì)于立體顯示器將三維圖像作為整體的顯現(xiàn)位置向后設(shè)置，從而校正立體效果。在圖34中，由虛線包圍的部分6表示原始圖像，由實(shí)線包圍的部分7表示移位后的圖像。然而，如果f’-b’大于th_f-th_b，不再能夠通過將右眼圖像作為整體簡(jiǎn)單地移位來校正隆起。
同樣，在處理縱深的情況下，當(dāng)圖像放大后的縱深b’的最大量小于th_f-th_b時(shí)，將右眼圖像作為整體移位b’-th_b，以顯示從立體顯示器突出的整個(gè)三維圖像，使其能夠提供舒適的立體視圖。應(yīng)該指出，當(dāng)移位量為正時(shí)，右眼圖像作為整體被向右移位，當(dāng)移位量為負(fù)時(shí)，右眼圖像作為整體被向左移位。
在本實(shí)施例中，雖然是通過移位右眼圖像來校正整個(gè)三維圖像的隆起量，移位方式不限于右眼圖像，而是可以固定右眼圖像移位左眼圖像，或者同時(shí)移位兩眼的圖像。
另外，當(dāng)f’-b’大于th_f-th_b時(shí)，在警告區(qū)顯示“太強(qiáng)而不能校正”，或者左和右圖像之一在三維圖像顯示區(qū)中的顯示使其能夠向使用者表明三維圖像不舒適，雖然不強(qiáng)迫提供警告顯示區(qū)或任何其它警告。
本實(shí)施例不限于根據(jù)放大來校正立體效果，也可以在作為縮小尺寸的結(jié)果導(dǎo)致三維圖像缺乏立體效果時(shí)，通過將圖像作為整體隆起或收縮來增強(qiáng)三維圖像的立體效果。例如，當(dāng)在步驟S4確定放大比例小于1時(shí)，在步驟S6將縮小后的三維圖像移位f-f’，以使圖像相對(duì)于顯示器向外突出，并相對(duì)于縮小前均衡縮小后的最大隆起的位置，由此使得縮小后的三維圖像給出從屏幕向外隆起或突出更大的感覺。相反，還可以均衡縱深量，以使隆起的最大位置不保持固定，而固定縱深的最大位置。
<第十實(shí)施例>
下面描述本發(fā)明的第十實(shí)施例。
本發(fā)明的第十實(shí)施例是第九實(shí)施例的改進(jìn)，其中改進(jìn)了在步驟S16的隆起校正處理(視差量調(diào)節(jié))。
本實(shí)施例即使在通過三維圖像的總移位也不能獲得舒適的立體視圖時(shí)，通過對(duì)三維圖像的中央部分給予優(yōu)先來調(diào)節(jié)立體效果，能夠使顯示器容易地被觀察到立體視圖。該實(shí)施例利用了人的視覺感受的特征，或人的視覺在中央周圍比視野外圍更清楚的事實(shí)。
除了用步驟S17的視差量調(diào)節(jié)代替不步驟S16的視差量調(diào)節(jié)外，第十實(shí)施例從步驟S1到步驟S5與圖32中所示的第九實(shí)施例的流程相同。
圖示說明，實(shí)施圖35中所示的從步驟S21到步驟S26的過程。參考圖35所示的流程圖描述該處理的流程。
在步驟S21，以整個(gè)圖像初始化要處理的目標(biāo)三維圖像中的視差量獲取區(qū)。
在步驟S22，針對(duì)視差量獲取區(qū)中每個(gè)像素比較bidashi量和縱深量，以獲取該視差量獲取區(qū)隆起的最大量f’和縱深的最大量b’。在本實(shí)施例中，假設(shè)有關(guān)圖像的每個(gè)像素的隆起量和縱深量的信息被預(yù)先作為標(biāo)記信息給出。然而，存在著通過立體匹配自動(dòng)確定每個(gè)像素的量的方法，意味著獲取方法不限于標(biāo)記信息的使用。作為替換，不需要獲得所有像素的隆起和縱深量；可以從視差量獲取區(qū)中的一些區(qū)分像素提取這些值。
在步驟S23，確定通過將三維圖像作為整體移位來調(diào)節(jié)視差量是否能夠獲得立體視圖。通過從如圖34所示的具有f-th_f’移位的立體顯示收縮整個(gè)三維圖像，能夠生成舒適的立體視圖顯示。然而，當(dāng)f’-b’大于f-th_b時(shí)，僅簡(jiǎn)單地左或右移動(dòng)整個(gè)圖像不能很好地校正隆起。
因此，當(dāng)f’-b’大于f-th_b時(shí)，PC的CPU通過調(diào)節(jié)視差量，在步驟S24去掉視差量獲取區(qū)，并重復(fù)從步驟S22起的過程，確定不能獲得立體視圖。在本實(shí)施例中，如圖37所示，整個(gè)三維圖像被設(shè)置為初始范圍L1(寬度w1，和高度h2)。當(dāng)沒有以L1進(jìn)行校正處理時(shí)，設(shè)置用于校正的修改范圍L2(寬度w2，和高度h2)。當(dāng)沒有以L2進(jìn)行校正處理時(shí)，重復(fù)地設(shè)置用于校正的修改范圍L3(寬度w3，和高度h3)。在此假設(shè)wn＝0.9×wn-1，和hn＝0.9×hn-1，但是重復(fù)公式不應(yīng)該局限于此。
這樣，當(dāng)在步驟S23確定通過調(diào)節(jié)視差量能夠獲得立體視圖時(shí)，PC的CPU通過在步驟S25移位三維圖像來進(jìn)行視差量調(diào)節(jié)。
代替圖像幀的中央，作為進(jìn)行立體效果調(diào)節(jié)的區(qū)，預(yù)先指定具有最大隆起的對(duì)象或最具有標(biāo)記價(jià)值的對(duì)象作為可觀察的點(diǎn)，并且對(duì)可觀察的點(diǎn)和其附近給予優(yōu)先來進(jìn)行有關(guān)立體視圖的調(diào)節(jié)，由此能夠生成舒適的立體顯示。
<第十一實(shí)施例>
至此描述的任何實(shí)施例不限于在PC上的應(yīng)用程序上執(zhí)行，而是可以在電視裝置，PDA，蜂窩電話或其它設(shè)備上執(zhí)行。下面描述對(duì)這些設(shè)備的應(yīng)用作為本發(fā)明的第十一實(shí)施例。
如圖38所示，第四實(shí)施例由三維圖像數(shù)據(jù)源10，臨時(shí)數(shù)據(jù)處理存儲(chǔ)器11，三維圖像顯示單元12，放大比例選擇器13，視差調(diào)節(jié)單元14和警告決定單元15，以及警告顯示單元16構(gòu)成。
首先，傳送來自三維圖像數(shù)據(jù)源10的每個(gè)像素的三維圖像數(shù)據(jù)的顏色數(shù)據(jù)和視差數(shù)據(jù)，來自三維圖像顯示單元12的顯示設(shè)備的尺寸和分辯率以及串?dāng)_的幅度，并存儲(chǔ)在數(shù)據(jù)處理存儲(chǔ)器11中。在此，作為三維圖像數(shù)據(jù)源10，可以考慮磁盤，半導(dǎo)體存儲(chǔ)器，經(jīng)有線或無(wú)線網(wǎng)絡(luò)的數(shù)據(jù)傳輸或其它方式。作為臨時(shí)數(shù)據(jù)處理存儲(chǔ)裝置，可以考慮半導(dǎo)體存儲(chǔ)器，磁盤和內(nèi)置于PDA，蜂窩電話等其它方式。
接下來，使用者通過放大比例選擇器13選擇用于三維圖像顯示的放大比例，作為放大比例選擇器13，可以考慮按鈕，刻度盤，或放大和縮小的其它方式。
在視差調(diào)節(jié)單元14中，對(duì)數(shù)據(jù)處理存儲(chǔ)裝置11中存儲(chǔ)的三維圖像數(shù)據(jù)進(jìn)行與第八實(shí)施例中的步驟S1至S5相同的處理。具體地講，獲取數(shù)據(jù)處理存儲(chǔ)裝置11中存儲(chǔ)的顯示信息以便獲取能夠獲得三維圖像數(shù)據(jù)的立體視圖的視差范圍，然后將三維圖像的視差量與該視差范圍進(jìn)行比較，由此決定三維圖像的視差量是否落入允許立體視覺的視差范圍。
如果落在能夠有立體視圖的視差范圍之外，警告處理器15在三維圖像顯示單元12上給出警告。顯示警告的文字存儲(chǔ)在數(shù)據(jù)處理存儲(chǔ)裝置12中，警告處理器15根據(jù)三維圖像的視差量脫離能夠有立體視圖的視差范圍的程度進(jìn)行判斷。以這種方式，將警告文字存儲(chǔ)在數(shù)據(jù)處理存儲(chǔ)裝置11中并且疊加顯示在三維圖像顯示單元12上以給出警告。
除了三維圖像顯示單元12外，可以使用分開的專用警告指示符來給出警告，或者可以利用揚(yáng)聲器或耳機(jī)通過聲音等方式給出警告。
工業(yè)實(shí)用性本發(fā)明提供用于顯示三維圖像的三維圖像生成裝置和三維圖像處理裝置，能夠使使用者以適當(dāng)?shù)姆绞酱_認(rèn)三維圖像的內(nèi)容，并且使裝置適合于向使用者呈現(xiàn)三維圖像的內(nèi)容，即使三維圖像被放大或縮小。
權(quán)利要求
1.一種三維圖像生成裝置，包括主圖像生成器，用于針對(duì)多個(gè)視點(diǎn)生成圖像信息的主圖像；小圖片生成器，用于生成小圖片；三維控制信息生成器，用于生成用以實(shí)現(xiàn)主圖像的三維顯示的三維控制信息；和多路復(fù)用器，用于對(duì)主圖像、小圖片圖像和三維控制信息進(jìn)行多路復(fù)用。
2.根據(jù)權(quán)利要求1所述的三維圖像生成裝置，其中小圖片圖像生成器通過直接縮小該主圖像來生成小圖片圖像。
3.根據(jù)權(quán)利要求1所述的三維圖像生成裝置，其中小圖片圖像生成器通過從主圖像提取一個(gè)視點(diǎn)圖像的片段來生成小圖片圖像。
4.根據(jù)權(quán)利要求1所述的三維圖像生成裝置，其中小圖片圖像生成器把指示包括三維圖像的符號(hào)嵌入所述小圖片圖像。
5.根據(jù)權(quán)利要求1所述的三維圖像生成裝置，其中小圖片圖像生成器生成由主圖像的縮小圖像，從主圖像提取的、并以畫中畫方式貼在其中的一個(gè)視點(diǎn)圖像的縮小圖像構(gòu)成的小圖片圖像。
6.一種三維圖像再現(xiàn)裝置，包括去復(fù)用器，用于從輸入的圖像數(shù)據(jù)中分離主圖像數(shù)據(jù)，小圖片數(shù)據(jù)和三維控制信息；和小圖片生成器，用于在主圖像數(shù)據(jù)表示三維圖像時(shí)，用于輸出具有疊加在小圖片數(shù)據(jù)上、指示包括三維圖像的符號(hào)的小圖片。
7.一種三維圖像處理裝置，包括視差范圍獲取裝置，用于獲取能夠有立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；和決定裝置，用于決定三維圖像的視差量是否落入視差范圍。
8.一種三維圖像處理裝置，包括視差范圍獲取裝置，用于獲取能夠有立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；比例獲取裝置，用于獲取三維圖像的放大或縮小比例；和決定裝置，用于決定已經(jīng)根據(jù)所述比例被放大或縮小的三維圖像的視差量是否落入視差范圍。
9.根據(jù)權(quán)利要求7或8所述的三維圖像處理裝置，其中決定裝置根據(jù)三維圖像的部分區(qū)域進(jìn)行決定處理過程。
10.根據(jù)權(quán)利要求7至9中的任何一項(xiàng)所述的三維圖像處理裝置，進(jìn)一步包括警告裝置，用于在決定裝置確定視差量落在視差區(qū)之外時(shí)警告使用者。
11.根據(jù)權(quán)利要求7至9中的任何一項(xiàng)所述的三維圖像處理裝置，進(jìn)一步包括視差調(diào)節(jié)裝置，用于在決定裝置確定視差量落在視差范圍之外時(shí)調(diào)節(jié)三維圖像的視差量。
12.根據(jù)權(quán)利要求7至11中的任何一項(xiàng)所述的三維圖像處理裝置，其中視差量獲取裝置使用用于顯示三維圖像的立體顯示器的分辨率，用于顯示三維圖像的立體顯示器的尺寸，或用于顯示三維圖像的立體顯示器的分辨率和尺寸。
13.根據(jù)權(quán)利要求7至11中的任何一項(xiàng)所述的三維圖像處理裝置，其中視差范圍獲取裝置使用用于顯示三維圖像的立體顯示器分開左和右圖像的能力。
14.根據(jù)權(quán)利要求7至11中的任何一項(xiàng)所述的三維圖像處理裝置，其中視差量獲取裝置使用預(yù)先標(biāo)記到三維圖像的數(shù)據(jù)。
15.一種三維圖像處理程序，其特征在于使計(jì)算機(jī)起到下列裝置的作用視差范圍獲取裝置，用于獲取能夠有立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；和決定裝置，用于決定三維圖像的視差量是否落入視差范圍。
16.一種三維圖像處理程序，其特征在于使計(jì)算機(jī)起到下列裝置的作用視差范圍獲取裝置，用于獲取能夠有立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；比例獲取裝置，用于獲取三維圖像的放大或縮小比例；和決定裝置，用于決定已經(jīng)根據(jù)所述比例被放大或縮小的三維圖像的視差量是否落入視差范圍。
17.根據(jù)權(quán)利要求15或16所述的三維圖像處理程序，其中決定裝置根據(jù)三維圖像的部分區(qū)域進(jìn)行決定處理過程。
18.根據(jù)權(quán)利要求15至17中的任何一項(xiàng)所述的三維圖像處理程序，其特征在于使計(jì)算機(jī)起到警告裝置的作用，用于在決定裝置確定視差量落在視差區(qū)之外時(shí)警告使用者。
19.根據(jù)權(quán)利要求15至17中的任何一項(xiàng)所述的三維圖像處理程序，其特征在于使計(jì)算機(jī)起到視差調(diào)節(jié)裝置的作用，用于在決定裝置確定視差量落在視差范圍之外時(shí)調(diào)節(jié)三維圖像的視差量。
20.根據(jù)權(quán)利要求15至19中的任何一項(xiàng)所述的三維圖像處理程序，其中視差量獲取裝置使用用于顯示三維圖像的立體顯示器的分辨率，用于顯示三維圖像的立體顯示器的尺寸，或用于顯示三維圖像的立體顯示器的分辨率和尺寸。
21.根據(jù)權(quán)利要求15至19中的任何一項(xiàng)所述的三維圖像處理程序，其中視差范圍獲取裝置使用用于顯示三維圖像的立體顯示器分開左和右圖像的能力。
22.根據(jù)權(quán)利要求15至19中的任何一項(xiàng)所述的三維圖像處理程序，其中視差量獲取裝置使用預(yù)先標(biāo)記到三維圖像的數(shù)據(jù)。
23.一種計(jì)算機(jī)可讀記錄介質(zhì)，其中記錄有根據(jù)權(quán)利要求15至22中的任何一項(xiàng)所述的程序。
全文摘要
將由一序列幀組成的圖像信號(hào)逐幀輸入到三維圖像生成裝置?？刂破?102)指定縮小的有/無(wú)，結(jié)合的有/無(wú)以及2D選擇。圖像轉(zhuǎn)換器(101)按由縮小的有/無(wú)和結(jié)合的有/無(wú)指定的格式生成圖像數(shù)據(jù)。3D信息生成器(103)通過格式化縮小的有/無(wú)，結(jié)合的有/無(wú)以及2D選擇來生成用于顯示作為三維圖像的圖像所需的3D信息。多路復(fù)用器(104)按預(yù)定格式轉(zhuǎn)換圖像數(shù)據(jù)和3D信息，并向外部輸出。以這種方式，能夠使圖像數(shù)據(jù)通用于三維顯示，并且有效地選擇任意視點(diǎn)圖像。
文檔編號(hào)H04N15/00GK1774937SQ20048001033
公開日2006年5月17日 申請(qǐng)日期2004年4月16日 優(yōu)先權(quán)日2003年4月17日
發(fā)明者野村敏男, 矢部博明, 北浦龍二, 大原一人, 鹽井正宏, 內(nèi)海端 申請(qǐng)人:夏普株式會(huì)社