專利名稱：用于經(jīng)編碼的立體圖像/視頻數(shù)據(jù)的文件格式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編解碼器，并且特別地，涉及用于經(jīng)編碼的立體圖像或 視頻數(shù)據(jù)的文件格式。
背景技術(shù)：
雙眼立體圖像(在下文中被稱為立體圖像)包括通過(guò)使用左側(cè)相機(jī)和右 側(cè)相機(jī)對(duì)對(duì)象進(jìn)行拍攝而獲取的一對(duì)左側(cè)圖像和右側(cè)圖像，所述左側(cè)相機(jī)和 右側(cè)相機(jī)彼此之間相距一段預(yù)定的距離。由于所述左側(cè)圖像和右側(cè)圖像是通 過(guò)對(duì)同一對(duì)象從不同的拍攝角度進(jìn)行拍攝而獲取的，它們中的圖像信息可能 會(huì)略有不同，這取決于對(duì)象的表面性質(zhì)、光源位置等等。從同一對(duì)象獲取的 左側(cè)圖像與右側(cè)圖像之間的圖像信息的差別被稱為視差。
立體圖像指的是通過(guò)使用左側(cè)相機(jī)和右側(cè)相機(jī)而分別獲取的圖像，但還 廣義地包括通過(guò)對(duì)平面圖像應(yīng)用預(yù)定的轉(zhuǎn)換算法而獲取的三維圖像。立體圖 像通常用于給將被顯示的對(duì)象帶來(lái)三維效果。
有多種通過(guò)使用立體圖像給由諸如液晶顯示(LCD)裝置和等離子顯示 面板(PDP)裝置的平面顯示設(shè)備進(jìn)行重現(xiàn)(reproduce)的圖像帶來(lái)三維效 果的方法。其中一種方法是使用柵格(barrier)型顯示設(shè)備。柵格型顯示設(shè) 備由于其能夠顯示平面圖像和立體圖像兩者而成為引起廣泛關(guān)注的下一代 顯示設(shè)備。
拼接(merge)組合圖像指的是以圖線為單位對(duì)一對(duì)左側(cè)圖像和右側(cè)圖 像的像素進(jìn)行交替編排而構(gòu)成的圖像。例如，如圖l所示，拼接組合圖像12 可以通過(guò)提取并交替編排左側(cè)圖像10a的奇數(shù)垂直圖線像素和右側(cè)圖像10b 的偶數(shù)垂直圖線像素而構(gòu)成。所述拼接組合圖像可以通過(guò)從左側(cè)圖像10a提
5取偶數(shù)垂直圖線像素以及從右側(cè)圖像10b提取奇數(shù)垂直圖線像素而構(gòu)成，或 通過(guò)從左側(cè)圖像10a和右側(cè)圖像10b提取水平圖線像素而非垂直圖線像素來(lái) 實(shí)現(xiàn)。
圖2是描繪柵格型顯示設(shè)備的示意圖。如圖2所示，在所述柵格型顯示 設(shè)備中，由偏振薄膜或偏振玻璃構(gòu)成的柵格偏振板被附加或提供到顯示設(shè)備 20的前表面上。線型柵格圖案22形成于柵格偏振板上。這類柵格圖案能夠 被簡(jiǎn)單地劃分為垂直圖線類和水平圖線類。所述柵格圖案還可被劃分為直線 形、鋸齒形、對(duì)角線形等等，這取決于所述垂直圖線或水平圖線的細(xì)微形狀。 所述柵格圖案的細(xì)微圖線形狀的不同會(huì)引起將被顯示的圖像之間三維效果 的差別。
當(dāng)拼接組合圖像由這種柵格型顯示設(shè)備20來(lái)顯示時(shí)，柵格偏振板22使 得左眼24a只能看到左側(cè)圖像的像素圖線，并使得右眼24b看到右側(cè)圖像的 像素圖線。由此，通過(guò)使用所述柵格型顯示設(shè)備，觀看者可以在不使用任何 輔助工具的情況下用肉眼看到具有三維效果的圖像。近年來(lái)，柵格型顯示設(shè) 備被廣泛地應(yīng)用于使用3D電視或諸如移動(dòng)電話、PMP和DMB接收機(jī)的移 動(dòng)電子裝置來(lái)顯示三維圖像。
需要有一種能夠有效地對(duì)立體圖像進(jìn)行編碼的方法以使用諸如柵格型 顯示設(shè)備的平面顯示設(shè)備來(lái)顯示三維圖像。這種方法的一個(gè)實(shí)例是使用 MPEG-2格式的多視角配置(multiviewprofile) (MVP)。在這種方法中，左 側(cè)圖像和右側(cè)圖像中的一者、例如左側(cè)圖像，通過(guò)使用對(duì)平面圖像進(jìn)行編碼 的相同方法作為基本層被編碼，并且只對(duì)另一圖像、例如右側(cè)圖像中與左側(cè) 圖像的關(guān)聯(lián)信息進(jìn)行編碼，其中所述右側(cè)圖像被用作增強(qiáng)層。然后，平面顯 示設(shè)備從接收到的比特流中解碼所述左側(cè)圖像和右側(cè)圖像，并通過(guò)使用經(jīng)解 碼的左側(cè)圖像和右側(cè)圖像來(lái)創(chuàng)建及顯示拼接合并圖像，或可選地顯示左側(cè)圖 像和右側(cè)圖像。
6已知另一種用于對(duì)立體圖像進(jìn)行編碼的方法是以幀為單位而不是使用 左側(cè)圖像和右側(cè)圖像來(lái)對(duì)拼接合并圖像進(jìn)行編碼。該方法與上面提到的方法 的不同之處在于編碼器提取和創(chuàng)建拼接組合圖像，并通過(guò)使用任何己知的編 碼方法來(lái)以幀為單位對(duì)所創(chuàng)建的拼接組合圖像進(jìn)行編碼。已知的編碼方法的
實(shí)例可以包括按照J(rèn)PEG格式對(duì)靜止圖像進(jìn)行編碼的方法以及按照MPEG-1 、 MPEG-2、 MPEG-4、 H.264/AVC和VC-1格式對(duì)移動(dòng)圖像進(jìn)行編碼的方法。
通過(guò)已知的對(duì)靜止圖像或移動(dòng)圖像進(jìn)行編碼的方法來(lái)進(jìn)行編碼的圖像 數(shù)據(jù)被傳送到支持這種編碼方法的顯示設(shè)備，并由該顯示設(shè)備進(jìn)行重現(xiàn)，或 者被存儲(chǔ)在存儲(chǔ)介質(zhì)中并隨后由顯示設(shè)備重現(xiàn)。在這種情況下，可能會(huì)需要 在圖像數(shù)據(jù)被傳送到顯示設(shè)備之前對(duì)由左側(cè)相機(jī)和右側(cè)相機(jī)獲取的圖像執(zhí) 行修正工作或編輯工作。例如，涉及安全性的數(shù)據(jù)、涉及版權(quán)的數(shù)據(jù)等等可 以被插入到所述圖像數(shù)據(jù)中?？商鎿Q地，通過(guò)使用該立體圖像，可能會(huì)產(chǎn)生 特定的內(nèi)容，或者由于考慮到顯示設(shè)備的特性，可能會(huì)需要對(duì)所獲取的立體 圖像進(jìn)行必要的修正操作。
一般來(lái)講，顯示設(shè)備為了解碼并重現(xiàn)經(jīng)編碼的圖像數(shù)據(jù)，還需要用于指 示解碼和顯示經(jīng)編碼的圖像數(shù)據(jù)所必需的各種附加信息的數(shù)據(jù)以及用于指 示諸如亮度和色度等圖像信息的數(shù)據(jù)。由此，傳送到顯示設(shè)備的數(shù)據(jù)包括各 種附件數(shù)據(jù)和圖像數(shù)據(jù)。
圖3是描述將要傳送到顯示設(shè)備的常規(guī)的經(jīng)編碼的圖像數(shù)據(jù)的文件格式 的示意圖。參見圖3，常規(guī)的經(jīng)編碼的圖像數(shù)據(jù)的文件格式30大致包括基本 報(bào)頭子單元32和圖像數(shù)據(jù)單元34。這里，所述圖像數(shù)據(jù)單元34可以包含諸 如亮度和色度的紋理(texture)信息、作為關(guān)于背景或?qū)ο蟮男畔⒌男螤钚?息、動(dòng)作信息以及各種在編碼標(biāo)準(zhǔn)中定義的圖像信息?；緢?bào)頭子單元32 可以包含不同于被包含在圖像數(shù)據(jù)單元34中的各種圖像信息的元數(shù)據(jù)，該 元數(shù)據(jù)是顯示設(shè)備用以對(duì)被包含在圖像數(shù)據(jù)單元34中的圖像信息進(jìn)行解碼和重現(xiàn)所需的信息。
使用圖3中所示的經(jīng)編碼的圖像數(shù)據(jù)的己知文件格式32在不經(jīng)過(guò)改變 的情況下對(duì)立體圖像數(shù)據(jù)進(jìn)行重現(xiàn)是有很大的限制性的。這是因?yàn)橐阎獢?shù)據(jù) 結(jié)構(gòu)通常用于顯示平面圖像，而且包含在基本報(bào)頭子單元32中并被傳送到 顯示設(shè)備的信息不能包括對(duì)三維圖像進(jìn)行解碼及重現(xiàn)所需的所有信息，其中 所述三維圖像是立體圖像。由此，需要有一種新的文件格式，該文件格式可 以包含所有對(duì)立體圖像數(shù)據(jù)進(jìn)行解碼和重現(xiàn)所需的信息。

發(fā)明內(nèi)容
與平面圖像情況不同的是，獲取立體圖像通常需要使用兩個(gè)相機(jī)來(lái)完 成。左側(cè)圖像和右側(cè)圖像具有在亮度和色度上不同的圖像信息，這是由在獲 取立體圖像時(shí)刻光源的不同位置所決定的。諸如柵格型顯示設(shè)備的特殊顯示 設(shè)備被用于重現(xiàn)三維圖像。然而，由于立體圖像的特性和/或顯示設(shè)備的特性， 通過(guò)使用經(jīng)編碼的圖像數(shù)據(jù)的常規(guī)文件格式將重現(xiàn)逼真三維圖像所需的所 有信息傳送到解碼器并不容易。
因此，本發(fā)明的技術(shù)目的是提供一種經(jīng)編碼的立體圖像或視頻數(shù)據(jù)的文
件格式，該文件格式使得能夠?qū)哂兴鎏匦缘牧Ⅲw圖像進(jìn)行有效的編碼，
由此使得能夠生成適于從所獲取的立體圖像重現(xiàn)三維圖像的內(nèi)容，并使得能 夠向立體圖像的顯示設(shè)備傳送重現(xiàn)逼真三維圖像所需的信息。
為了完成上述技術(shù)目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于經(jīng)編 碼的立體圖像的文件格式，該文件格式包括圖像數(shù)據(jù)單元，包含所述經(jīng)編 碼的立體圖像的圖像信息；以及報(bào)頭單元，包含用以對(duì)被包含在所述圖像數(shù) 據(jù)單元內(nèi)的經(jīng)編碼的立體圖像的圖像信息進(jìn)行解碼和重現(xiàn)的元數(shù)據(jù)。
在上述方面中，所述報(bào)頭單元可以包括下列中的至少一者相機(jī)報(bào)頭子 單元，該相機(jī)報(bào)頭子單元包含關(guān)于用以獲取所述立體圖像的左側(cè)相機(jī)和右側(cè)相機(jī)的信息；編解碼器報(bào)頭子單元，該編解碼器報(bào)頭子單元包含關(guān)于對(duì)所述 立體圖像進(jìn)行編碼的信息；以及顯示報(bào)頭子單元，該顯示報(bào)頭子單元包含關(guān) 于用以接收和重現(xiàn)所述經(jīng)編碼的立體圖像的數(shù)據(jù)的柵格型顯示設(shè)備的信息。 在這種情況中，所述相機(jī)報(bào)頭子單元可以包含構(gòu)成所述立體圖像的左側(cè) 圖像和右側(cè)圖像之間的視差信息、關(guān)于所述左側(cè)相機(jī)與右側(cè)相機(jī)之間的距離
幀速率的信息、以及關(guān)于用以獲取所述立體圖像的左側(cè)相機(jī)和右側(cè)相機(jī)的類 型的信息中的一者或多者。
所述編解碼器報(bào)頭子單元可以包含用于指示被包含在所述圖像數(shù)據(jù)單 元中的圖像信息是否與立體圖像或不同類型的圖像相對(duì)應(yīng)的信息、關(guān)于構(gòu)造 被包含在所述圖像數(shù)據(jù)單元中的圖像信息的方法的信息、以及關(guān)于用以獲取 被包含在所述圖像數(shù)據(jù)單元中的圖像信息的編碼方法的信息中的一者或多 者。
所述顯示報(bào)頭子單元可以包含下列中的一者或兩者用于指示所述柵格 型顯示設(shè)備的柵格圖案的類型的信息，其中被包含在所述圖像數(shù)據(jù)單元中的 圖像信息被優(yōu)化；以及用于指示所述柵格型顯示設(shè)備的柵格圖案的柵距的信 息，其中被包含在所述圖像數(shù)據(jù)單元中的圖像信息被優(yōu)化。
將被傳送到顯示設(shè)備的經(jīng)編碼的圖像數(shù)據(jù)的常規(guī)文件格式通常關(guān)注的 是平面圖像而并不考慮立體圖像的性質(zhì)。由此，常規(guī)文件格式不能包含顯示 設(shè)備重現(xiàn)逼真立體圖像所需的所有信息。根據(jù)本發(fā)明，由于提出了適用于能 夠重現(xiàn)立體圖像或既能重現(xiàn)平面圖像又能重現(xiàn)立體圖像的顯示設(shè)備的編碼 立體圖像數(shù)據(jù)的新文件格式，因此用于重現(xiàn)立體圖像的顯示設(shè)備可以重現(xiàn)逼 真的三維圖像。
特別地，根據(jù)本發(fā)明，所述文件格式中可以包含關(guān)于柵格型顯示設(shè)備的 柵格圖案的信息，并且顯示設(shè)備通過(guò)使用關(guān)于柵格圖案的信息能夠重現(xiàn)針對(duì)所述柵格圖像而優(yōu)化的三維圖像。


圖1是描述從左側(cè)圖像的奇數(shù)垂直圖線和右側(cè)圖像的偶數(shù)垂直圖線來(lái)創(chuàng)
建拼接合并圖像的方法的示意圖2是描述通過(guò)使用柵格型顯示設(shè)備來(lái)顯示立體圖像的原理的示意圖3是描述經(jīng)編碼圖像數(shù)據(jù)的常規(guī)文件格式的框圖4是描述根據(jù)本發(fā)明的一種實(shí)施方式的經(jīng)編碼的立體圖像數(shù)據(jù)的文件 格式的框圖5是描述圖4中所示的文件格式中的相機(jī)報(bào)頭子單元的詳細(xì)配置的框
圖6是描述圖4中所示的文件格式中的編解碼器報(bào)頭子單元的詳細(xì)配置 的框圖7是描述圖4中所示的文件格式中的顯示報(bào)頭子單元的詳細(xì)配置的框圖。
具體實(shí)施例方式
在下文中，本發(fā)明的示例性實(shí)施方式將會(huì)參考附圖進(jìn)行具體描述。隨后 將要描述的實(shí)施方式只意在解釋本發(fā)明的技術(shù)本質(zhì)，由此本發(fā)明的技術(shù)本質(zhì) 不應(yīng)被限于這些實(shí)施方式。
圖4是描述根據(jù)本發(fā)明的一種實(shí)施方式的經(jīng)編碼的立體圖像數(shù)據(jù)的文件 格式的框圖。
參見圖4，根據(jù)該實(shí)施方式的文件格式100除了包括基本報(bào)頭子單元110 和圖像數(shù)據(jù)單元150之外，還包括相機(jī)報(bào)頭子單元120、編解碼器報(bào)頭子單 元130和顯示報(bào)頭子單元140中的至少一者。根據(jù)該實(shí)施方式的文件格式100
10在不修改的情況下使用按照J(rèn)PEG、 MPEG、 H.264/AVC格式進(jìn)行編碼的圖像 (平面圖像或按照諸如多視角配置的已知編碼協(xié)議進(jìn)行編碼的多視角圖像) 的數(shù)據(jù)的常規(guī)文件格式(基本報(bào)頭子單元110和圖像數(shù)據(jù)單元150)，并且還 包括包含對(duì)立體圖像進(jìn)行解碼和/或重現(xiàn)所需的附加信息的報(bào)頭單元(相機(jī)報(bào) 頭子單元120、編解碼器報(bào)頭子單元130和/或顯示報(bào)頭子單元140)。
在經(jīng)編碼的圖像的數(shù)據(jù)的常規(guī)文件格式中，不同于包含像素圖像信息等 等的圖像數(shù)據(jù)單元150的部分可被認(rèn)為是報(bào)頭單元A。由此，在根據(jù)這種實(shí) 施方式的文件格式100中，相機(jī)報(bào)頭子單元120、編解碼器報(bào)頭子單元130 以及顯示報(bào)頭子單元140同基本報(bào)頭子單元110 —起組成一個(gè)報(bào)頭單元A。 然而，報(bào)頭單元IIO、 120、 130和140是為了解釋方便的目的而任意劃分的。
在這種實(shí)施方式中使用的報(bào)頭單元的名稱也是為了解釋方便的目的而 任意使用的。根據(jù)本實(shí)施方式，在報(bào)頭子單元120、 130和140中包含什么 數(shù)據(jù)(隨后會(huì)參照附圖4、 5、 6和7作詳細(xì)說(shuō)明)是非常重要的，并且其中 的具體名稱可以根據(jù)包含在報(bào)頭子單元中的信息的性質(zhì)或其它相關(guān)法則而 被適當(dāng)?shù)男薷摹?br> 根據(jù)本實(shí)施方式的文件格式100中的報(bào)頭單元A除了包括基本報(bào)頭子單 元IIO之外還包括相機(jī)報(bào)頭子單元120、編解碼器報(bào)頭子單元130以及顯示 報(bào)頭子單元140。例如，在一些實(shí)例中，報(bào)頭單元A可以包括基本報(bào)頭子單 元120和編解碼器報(bào)頭子單元130，可以包括基本報(bào)頭子單元110、相機(jī)報(bào) 頭子單元120和編解碼器報(bào)頭子單元130，或者可以包括基本報(bào)頭子單元 110、相機(jī)報(bào)頭子單元120、編解碼器報(bào)頭子單元130以及顯示報(bào)頭子單元 140。所述報(bào)頭單元可以包括不同的組合。
在圖4中，相機(jī)報(bào)頭子單元120、編解碼器報(bào)頭子單元130和/或顯示報(bào) 頭子單元140與基本報(bào)頭子單元110被相互區(qū)分并以預(yù)定的順序被安排，這 同樣只是為了解釋方便的目的。由此，在一些實(shí)例中，包含在報(bào)頭單元A中
ii的組成元素的安排順序可以被改變。在一些情況下，報(bào)頭子單元110、 120、 130和140的信息可以連同其它報(bào)頭子單元的信息一起被包含在相同的報(bào)頭 子單元中。
現(xiàn)在將參考附圖4-7對(duì)包含在根據(jù)本實(shí)施方式的經(jīng)編碼的立體圖像的數(shù) 據(jù)的文件格式100中的信息進(jìn)行具體描述。這里，圖5、 6和7是示出了如 圖4中所示的文件格式100中的相機(jī)報(bào)頭子單元120、編解碼器報(bào)頭子單元 130和顯示報(bào)頭子單元140的具體配置的框圖。
首先，與經(jīng)編碼的圖像的數(shù)據(jù)的常規(guī)文件格式(例如，參見圖3)中的 基本報(bào)頭子單元和圖像數(shù)據(jù)單元中包含的信息相似或基本相同的信息被包 含在基本報(bào)頭子單元110和圖像數(shù)據(jù)單元150中。在對(duì)平面圖像進(jìn)行編碼的 過(guò)程中得到的各種元數(shù)據(jù)或在對(duì)根據(jù)多視角配置的多視角圖像進(jìn)行編碼的 過(guò)程中得到的各種元數(shù)據(jù)可被包含在基本報(bào)頭子單元110中。然而，正如隨 后將要描述的一樣，用于指示包含在圖像數(shù)據(jù)單元150中的圖像信息是否與 常規(guī)平面圖像或立體圖像相對(duì)應(yīng)的信息還可以被包含在基本報(bào)頭子單元110 中。
關(guān)于以立體圖像的像素或塊為單位的亮度、色度和形狀的信息以及動(dòng)作 信息被包含在圖像數(shù)據(jù)單元150中。包含在圖像數(shù)據(jù)單元150中的信息可以 是通過(guò)使用預(yù)定的編碼方法對(duì)平面圖像進(jìn)行編碼而獲取的圖像信息、通過(guò)使 用預(yù)定的編碼方法對(duì)拼接合并圖像進(jìn)行編碼而獲取的圖像信息、或使用已知 的多視角配置進(jìn)行編碼的圖像信息。
關(guān)于用于獲取立體圖像的左側(cè)相機(jī)和右側(cè)相機(jī)的信息被包含在相機(jī)報(bào) 頭子單元120中。例如，圖6a中示出的五種信息類型(塊Cal到塊Ca5， 具體細(xì)節(jié)將在隨后介紹)可以都被包含在相機(jī)報(bào)頭子單元120中，或者由于 所述信息類型是關(guān)于左側(cè)相機(jī)和右側(cè)相機(jī)的獨(dú)立信息，由此五種信息類型中 的一部分可以被包含在報(bào)頭子單元120中。
12用于指示左側(cè)圖像與右側(cè)圖像之間的圖像信息的差別的信息，比如亮度
(Y)的差別、色度Cb和Cr的差別或RGB值的差別，也就是視差信息， 被包含在塊Cal中。 一般來(lái)講，當(dāng)立體圖像是通過(guò)使用互相之間相距預(yù)定的 距離的左側(cè)相機(jī)和右側(cè)相機(jī)從同一對(duì)象獲取的時(shí)，在左側(cè)圖像與右側(cè)圖像之 間可以存在圖像信息的差別，這取決于照明器具(光源)的位置。例如，左 側(cè)和右側(cè)圖像中的一個(gè)可能會(huì)比另一個(gè)明亮或灰暗。關(guān)于圖像信息的差別的 信息被包含在塊Cal中。
優(yōu)選地，立體圖像的圖像信息中的差別應(yīng)當(dāng)被考慮用于提高編碼效率
(壓縮效率)或重現(xiàn)逼真的三維圖像。這是由于當(dāng)圖像信息中的差別并未體 現(xiàn)出來(lái)時(shí)，整個(gè)數(shù)據(jù)量會(huì)增加，并且立體圖像的三維效果可能會(huì)被破壞。
在一種對(duì)左側(cè)圖像與右側(cè)圖像之間的圖像信息中的差別進(jìn)行編碼的方 法中，所述差別作為包含在圖像數(shù)據(jù)單元150中的圖像信息而被編碼。例如， 當(dāng)左側(cè)圖像和右側(cè)圖像根據(jù)多視角配置而被編碼時(shí)，視差信息作為兩個(gè)圖像 之間的關(guān)聯(lián)信息而被包含在圖像數(shù)據(jù)單元150中，并以塊、畫面或幀為單位 被編碼。然而，這種編碼方法會(huì)增加圖像數(shù)據(jù)單元150中的數(shù)據(jù)量以減少數(shù) 據(jù)壓縮率。另一方面，由于用于對(duì)視差信息進(jìn)行編碼的單元還在己知的編碼 器中提供，所述編碼器的配置可以是復(fù)雜的。應(yīng)用這種編碼方法來(lái)對(duì)拼接合 并圖像進(jìn)行編碼將是非常復(fù)雜的。解碼器具有的剛度(stiffness)使得將不 考慮顯示設(shè)備分辨率或性能而總是考慮視差信息而對(duì)立體圖像進(jìn)行重現(xiàn)。
由此，在這種實(shí)施方式中，視差信息被包含在相機(jī)報(bào)頭子單元120的塊 Cal中，并作為報(bào)頭信息被傳送。由于在通常的靜止圖像或運(yùn)動(dòng)圖像中照明 器具并不會(huì)隨著時(shí)間的流逝而快速改變，因此能夠以預(yù)定時(shí)間間隔通過(guò)在相 機(jī)報(bào)頭子單元120中包含視差信息來(lái)盡可能地增強(qiáng)編碼效率。根據(jù)本實(shí)施方 式，由于可以在考慮到顯示設(shè)備的分辨率或性能的情況下使用解碼器對(duì)畫面 進(jìn)行修正，在具有不同性質(zhì)的顯示設(shè)備中可使用相同的解碼器?？梢砸远喾N方式來(lái)表述所述視差信息。例如，在存在亮度(或色度)視 差的情況中，左側(cè)圖像與右側(cè)圖像之間的平均亮度值的相對(duì)差別(例如，右 側(cè)圖像的平均亮度值相對(duì)于左側(cè)圖像的平均亮度值)或絕對(duì)差別(例如，左 側(cè)圖像與右側(cè)圖像之間的平均亮度差別)可以被表述為視差信息。左側(cè)圖像 與右側(cè)圖像之間的亮度差別能夠以預(yù)定的時(shí)間間隔進(jìn)行測(cè)量，并可以周期性
地被包含在相機(jī)報(bào)頭子單元的塊Cal中。
關(guān)于左側(cè)相機(jī)與右側(cè)相機(jī)之間的距離的信息被包含在塊Ca2中。左側(cè)相 機(jī)與右側(cè)相機(jī)之間的距離可以是左側(cè)相機(jī)的中心與右側(cè)相機(jī)的中心之間的 距離，但并不僅限于此。左側(cè)相機(jī)與右側(cè)相機(jī)之間的距離通常是固定的。然 而，這取決于用于獲取立體圖像的圖像采集裝置的性質(zhì)，所述距離也可以周 期性地或任意地增加或減少。在這種情況下，所述距離信息可以周期性地或 自由地被包含在塊Ca2中。
關(guān)于左側(cè)相機(jī)與右側(cè)相機(jī)之間的距離的信息被包含在塊Ca2中使得立 體圖像的中點(diǎn)在具有解碼器的顯示設(shè)備對(duì)立體圖像進(jìn)行重現(xiàn)的過(guò)程中能夠 被識(shí)別。所述距離信息提供相機(jī)與對(duì)象之間的距離，從而為重現(xiàn)將被顯示的 立體圖像的逼真三維效果做出貢獻(xiàn)。例如，所述距離信息可以向觀看立體圖 像的觀看者提供用于觀看立體圖像或?qū)ο笈c相機(jī)之間的實(shí)際距離信息的最 適宜的距離信息。
關(guān)于通過(guò)使用左側(cè)相機(jī)和右側(cè)相機(jī)進(jìn)行捕捉的圖像的每秒幀數(shù)(幀/秒， fps)的信息、即關(guān)于幀速率的信息被包含在塊Ca3中。關(guān)于幀速率的信息 可以是用于指示左側(cè)相機(jī)和右側(cè)相機(jī)的幀速率的信息或用于指示與特定基 準(zhǔn)(比如每秒30幀)之間的差別的信息(例如，IO表示當(dāng)左側(cè)相機(jī)每秒捕 捉10幀時(shí)的幀速率，或20，它是與基準(zhǔn)值之間的差別)?？商鎿Q地，在一些 實(shí)例中，左側(cè)相機(jī)與右側(cè)相機(jī)之間的幀速率的差別值(例如20，它是當(dāng)假設(shè) 左側(cè)相機(jī)的每秒幀數(shù)是30而右側(cè)相機(jī)的每秒幀數(shù)是10時(shí)的差別)可以被包含在塊Ca3中。關(guān)于幀速率的信息可以周期性地被包含在塊Ca3中，或可以 根據(jù)需要被添加到塊Ca3中。
被更廣泛使用的數(shù)字相機(jī)包括諸如CMOS圖像傳感器或電荷耦合裝置 (CCD)的圖像采集裝置。數(shù)字相機(jī)通常被配置為以每秒30幀的速度捕捉 圖像。然而，當(dāng)照明器具比較暗時(shí)，數(shù)字相機(jī)可以以每秒15幀或每秒10幀 或更小的速度來(lái)捕捉較少數(shù)目的圖像。特別地，當(dāng)照明工具(光源)偏離到 一側(cè)時(shí)，比如當(dāng)偏離到左側(cè)時(shí)，左側(cè)相機(jī)具有高照明度并從而以每秒30幀 來(lái)創(chuàng)建圖像。然而，右側(cè)相機(jī)具有低照明度并從而以每秒15幀來(lái)創(chuàng)建圖像。
在這種情況中，由左側(cè)相機(jī)和右側(cè)相機(jī)所捕捉的立體圖像的每秒幀數(shù)互 不相同。當(dāng)立體圖像由顯示設(shè)備在不考慮這種差別的情況下進(jìn)行重現(xiàn)時(shí)，很 難重現(xiàn)自然且逼真的三維圖像。由此，編碼器可以在修正每秒幀數(shù)之后執(zhí)行 編碼過(guò)程，但在這種情況下所要傳輸?shù)臄?shù)據(jù)量會(huì)增長(zhǎng)?？商鎿Q地，解碼器需 要修正每秒幀數(shù)的差別來(lái)重新構(gòu)造立體圖像并通過(guò)使用顯示設(shè)備來(lái)重現(xiàn)立 體圖像。由此，關(guān)于相機(jī)的每秒幀數(shù)的信息需要被傳輸?shù)骄哂薪獯a器的顯示 設(shè)備。
以包含在Ca3中的關(guān)于每秒幀數(shù)的信息為基礎(chǔ)的在顯示設(shè)備中修正立 體圖像的方法可以使用多種方式嵌入，而且本發(fā)明不只限于該方法。例如， 當(dāng)左側(cè)相機(jī)的每秒幀數(shù)是30而右側(cè)相機(jī)的每秒幀數(shù)是15時(shí)，可以通過(guò)重復(fù) 右側(cè)圖像的前一幀或通過(guò)使用前一圖像和隨后圖像來(lái)改寫(interpolate)右側(cè) 圖像的幀來(lái)重現(xiàn)不足的右側(cè)圖像。
關(guān)于左側(cè)圖像與右側(cè)圖像之間的同步的信息被包含在塊Ca4中。例如， 如上所述，當(dāng)左側(cè)相機(jī)和右側(cè)相機(jī)的每秒幀數(shù)互不相同時(shí)，需要左側(cè)圖像和 右側(cè)圖像的同步來(lái)重現(xiàn)準(zhǔn)確的立體圖像。當(dāng)左側(cè)圖像和右側(cè)圖像的數(shù)據(jù)量互 不相同時(shí)，左側(cè)圖像與右側(cè)圖像之間的編碼次數(shù)(times)會(huì)有所不同。當(dāng)存 儲(chǔ)在存儲(chǔ)介質(zhì)中的內(nèi)容隨后在顯示設(shè)備中被使用時(shí)，需要關(guān)于左側(cè)圖像與右
15側(cè)圖像之間的同步的信息。由此，包含在塊Ca4中的關(guān)于左側(cè)圖像與右側(cè)圖 像之間的同步的信息通過(guò)在顯示設(shè)備中修正左側(cè)圖像與右側(cè)圖像之間的暫 時(shí)(temporal)錯(cuò)誤來(lái)為重現(xiàn)精確的立體圖像做出貢獻(xiàn)。
關(guān)于用于捕捉立體圖像的左側(cè)相機(jī)和右側(cè)相機(jī)的類型的信息被包含在 塊Ca5中。關(guān)于相機(jī)類型的信息可以是用于指示相機(jī)是完全高清(FullHD) 相機(jī)、HD-級(jí)相機(jī)、或是SD-級(jí)相機(jī)的關(guān)于相機(jī)的圖像質(zhì)量的信息，和/或關(guān) 于諸如CCD圖像傳感器或CMOS圖像傳感器的圖像采集單元的信息，但并 不局限于此。關(guān)于左側(cè)相機(jī)和右側(cè)相機(jī)的類型的信息對(duì)顯示設(shè)備中的立體圖 像重現(xiàn)過(guò)程中的增強(qiáng)圖像質(zhì)量的精確度或增強(qiáng)三維效果有所貢獻(xiàn)。
根據(jù)本發(fā)明的一種實(shí)施方式的經(jīng)編碼的立體圖像的數(shù)據(jù)的文件格式100 中的編解碼器報(bào)頭子單元130將參考圖4和圖6進(jìn)行描述。
關(guān)于立體圖像的編碼的信息被包含在文件格式100的編解碼器報(bào)頭子單 元130中。例如，圖6中示出的三種信息類型(塊Col到Co3，細(xì)節(jié)將在下 文中描述)都被包含在編解碼器報(bào)頭子單元130中，或者由于所述信息類型 是關(guān)于立體圖像的編碼的獨(dú)立信息，由此所述三種信息類型中的一部分將被 包含在編解碼器報(bào)頭子單元130中。
關(guān)于將被顯示的圖像類型的信息將被包含在塊Col中。例如，包含在塊 Col中的信息可以是指示包含在圖像數(shù)據(jù)單元150中的圖像信息是用于顯示 平面圖像或立體圖像或用于顯示平面圖像或立體圖像兩者的信息。
塊Col中的信息用以允許顯示設(shè)備識(shí)別包含在圖像數(shù)據(jù)單元150中的圖
像信息的類型。優(yōu)選地，顯示設(shè)備盡可能快地判斷出接收到的圖像信息或?qū)?被重現(xiàn)的圖像信息是平面圖像還是立體圖像。在這種情況下，塊Col的信息 可以被盡可能地置于根據(jù)本實(shí)施方式的文件格式100或數(shù)據(jù)結(jié)構(gòu)的前端。例 如，在一些實(shí)例中，包含在塊Col中的信息可以被包含在基本報(bào)頭子單元 110中。
16關(guān)于構(gòu)造將要被顯示的圖像的方法的信息被包含在塊Co2中。例如，當(dāng) 包含在塊Co2中的信息指示包含在圖像數(shù)據(jù)單元150中的圖像信息是立體圖 像時(shí)，用于指示如何構(gòu)造立體圖像的信息可被包含在塊Co2中。如上所述， 可以使用諸如使用已知編碼方法對(duì)拼接合并圖像進(jìn)行編碼和使用多視角配 置對(duì)左側(cè)圖像和右側(cè)圖像兩者進(jìn)行編碼的各種方法來(lái)對(duì)立體圖像進(jìn)行編碼。 所述信息可被包含在塊Co2中。當(dāng)拼接合并圖像由柵格型顯示設(shè)備顯示時(shí)， 可以使用多種方法(例如， 一種左側(cè)圖像和右側(cè)圖像的垂直圖線交替編排的 類型或一種水平圖線交替編排的類型)來(lái)構(gòu)造所述拼接合并圖像，并且所述 信息可以同樣被包含在塊Co2中。
假設(shè)由顯示設(shè)備接收的內(nèi)容是通過(guò)對(duì)整個(gè)左側(cè)圖像和右側(cè)圖像的偶數(shù) 垂直圖線進(jìn)行拼接而獲取的立體圖像。在這種情況下，可以在顯示設(shè)備重現(xiàn) 左側(cè)圖像時(shí)觀看平面圖像并且在顯示設(shè)備重現(xiàn)接收到的整個(gè)內(nèi)容時(shí)觀看立 體圖像。也就是說(shuō)，柵格型顯示設(shè)備既可以顯示平面圖像又可以顯示立體圖 像。在這種情況下，關(guān)于構(gòu)造平面圖像和立體圖像的方法的信息應(yīng)當(dāng)被包含 在接收到的信息中。由此，關(guān)于構(gòu)造平面圖像和立體圖像的方法的信息可以 被包含在塊Co2中。
關(guān)于用以對(duì)立體圖像進(jìn)行編碼的方法的信息、例如用于指示一類編解碼 器的信息被包含在塊Co3中。此處，立體圖像的編碼可能意味著對(duì)左側(cè)圖像 和右側(cè)圖像進(jìn)行單獨(dú)編碼或?qū)ζ唇雍喜D像進(jìn)行編碼?？梢允褂弥T如JPEG、 MPEG-1、 MPEG-2、 MPEG-4、 H.264/AVC和VC-1的各種編解碼方法來(lái)對(duì) 立體圖像進(jìn)行編碼，并且所述信息被包含在塊Co3中。塊Co3能被用以指 示編解碼方法，該方法用于在支持多種編解碼方法的解碼器中重新構(gòu)造立體 圖像或確定接收到的圖像數(shù)據(jù)是否是可被只支持特定編解碼方法的解碼器 解碼的數(shù)據(jù)。由此，塊Co3的信息可以被盡可能地置于根據(jù)本實(shí)施方式的文 件格式100或數(shù)據(jù)結(jié)構(gòu)的前端，這與塊Col中的信息類似。根據(jù)本發(fā)明的一種實(shí)施方式的經(jīng)編碼的立體圖像的數(shù)據(jù)的文件格式100 中的顯示報(bào)頭子單元140將參考圖4和圖7進(jìn)行描述。
關(guān)于用于顯示立體圖像的顯示設(shè)備的信息被包含在根據(jù)本實(shí)施方式的 文件格式100中的顯示報(bào)頭子單元140中。例如，圖7中示出的兩種信息類 型(塊D1和塊D2，細(xì)節(jié)將在隨后描述)都包含在顯示報(bào)頭子單元140中， 或者由于所述信息類型是關(guān)于經(jīng)編碼的立體圖像的性質(zhì)的獨(dú)立信息，由此兩 種信息類型中可以只有一種信息類型被包含在顯示報(bào)頭子單元140中。顯示 報(bào)頭子單元140可以包含關(guān)于柵格型顯示設(shè)備的柵格圖案的信息。
關(guān)于柵格圖案的類型的信息被包含在塊D1中，針對(duì)柵格圖案的類型， 立體圖像被優(yōu)化。如上所述，柵格圖案的類型可被歸類為"1"形、鋸齒形 以及對(duì)角線形，并且該信息被包含在塊D1中。關(guān)于用于優(yōu)化立體圖像的柵 格圖案的柵距(pitch)的信息被包含在塊D2中。柵格圖案的柵距可以在整 個(gè)屏幕上是常量，或者屏幕邊緣處的柵格圖案的柵距可以大于或小于屏幕中 心處的柵格圖案的柵距。該信息被包含在塊D2中。
一般來(lái)講，在使用通過(guò)左側(cè)圖像和右側(cè)圖像獲取的立體圖像來(lái)加工內(nèi)容 的過(guò)程中，會(huì)執(zhí)行考慮到顯示設(shè)備的柵格圖案的處理或修正圖像信息的過(guò) 程，也就是針對(duì)加工內(nèi)容的調(diào)整過(guò)程。這意在通過(guò)考慮各種存在的柵格圖案 的類型和柵格圖案的柵距來(lái)優(yōu)化針對(duì)特定柵格圖案的相應(yīng)內(nèi)容。當(dāng)所述內(nèi)容 的柵格圖案不同于顯示設(shè)備的柵格圖案時(shí)，仍然可能觀看立體圖像。然而， 當(dāng)柵格圖案不互相匹配時(shí)，立體圖像的三維效果或動(dòng)態(tài)效果將會(huì)被破壞。由 此，包含在塊D1和/或塊D2中的信息指示用于優(yōu)化由顯示設(shè)備接收到的內(nèi) 容(也就是包含在圖像數(shù)據(jù)單元150中的圖像信息)的柵格圖案。當(dāng)顯示設(shè) 備的柵格圖案不同于由包含在塊D1和/或塊D2中的信息指示的柵格圖案時(shí)， 包含在圖像數(shù)據(jù)單元150中的圖像信息可以被修正和顯示，由此可適用于顯 示設(shè)備的柵格圖案。
18雖然本發(fā)明的實(shí)施方式已被具體描述，但對(duì)于本領(lǐng)域技術(shù)人員而言，這 些實(shí)施方式顯然是對(duì)本發(fā)明的一些例證，本發(fā)明的技術(shù)本質(zhì)可以以多種變形 來(lái)體現(xiàn)。
本發(fā)明有利于在用于編碼和/或解碼立體圖像的裝置、具有這種裝置的 顯示設(shè)備以及諸如移動(dòng)電話的移動(dòng)裝置的整個(gè)工業(yè)領(lǐng)域中使用。
權(quán)利要求
1. 一種用于經(jīng)編碼的立體圖像的數(shù)據(jù)的文件格式，該文件格式包括圖像數(shù)據(jù)單元，該圖像數(shù)據(jù)單元包含所述經(jīng)編碼的立體圖像的圖像信息；以及報(bào)頭單元，該報(bào)頭單元包含用以對(duì)被包含在所述圖像數(shù)據(jù)單元內(nèi)的經(jīng)編碼的立體圖像的圖像信息進(jìn)行解碼和重現(xiàn)的元數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的文件格式，其中所述報(bào)頭單元包括相機(jī)報(bào)頭子單元，該相機(jī)報(bào)頭子單元包含關(guān)于用以獲取所述立體圖像的左側(cè)相機(jī)和右 側(cè)相機(jī)的信息。
3. 根據(jù)權(quán)利要求2所述的文件格式，其中所述相機(jī)報(bào)頭子單元包含左 側(cè)圖像和右側(cè)圖像之間的視差信息，所述左側(cè)圖像和右側(cè)圖像用于構(gòu)成所述 立體圖像。
4. 根據(jù)權(quán)利要求2所述的文件格式，其中所述相機(jī)報(bào)頭子單元包含關(guān) 于所述左側(cè)相機(jī)與右側(cè)相機(jī)之間的距離的信息。
5. 根據(jù)權(quán)利要求2所述的文件格式，其中所述相機(jī)報(bào)頭子單元包含關(guān) 于分別由所述左側(cè)相機(jī)和右側(cè)相機(jī)捕捉的左側(cè)圖像和右側(cè)圖像的幀速率的"f曰息。
6. 根據(jù)權(quán)利要求2所述的文件格式，其中所述相機(jī)報(bào)頭子單元包含關(guān) 于左側(cè)圖像和右側(cè)圖像之間的同步的信息，所述左側(cè)圖像和右側(cè)圖像用于構(gòu) 成所述立體圖像。
7. 根據(jù)權(quán)利要求2所述的文件格式，其中所述相機(jī)報(bào)頭子單元包含關(guān)于左側(cè)相機(jī)和右側(cè)相機(jī)的種類的信息，所述左側(cè)相機(jī)和右側(cè)相機(jī)用于獲取所 述立體圖像。
8. 根據(jù)權(quán)利要求1所述的文件格式，其中所述報(bào)頭單元包括編解碼器 報(bào)頭子單元，該編解碼器報(bào)頭子單元包含關(guān)于對(duì)所述立體圖像進(jìn)行編碼的信 息。
9. 根據(jù)權(quán)利要求8所述的文件格式，其中所述編解碼器報(bào)頭子單元包 含用于指示被包含在所述圖像數(shù)據(jù)單元中的圖像信息是否與立體圖像或不 同類型的圖像相對(duì)應(yīng)的信息。
10. 根據(jù)權(quán)利要求8所述的文件格式，其中所述編解碼器報(bào)頭子單元包 含關(guān)于構(gòu)造被包含在所述圖像數(shù)據(jù)單元中的圖像信息的方法的信息。
11. 根據(jù)權(quán)利要求8所述的文件格式，其中所述編解碼器報(bào)頭子單元包 含關(guān)于用以獲取被包含在所述圖像數(shù)據(jù)單元中的圖像信息的編碼方法的信 息。
12. 根據(jù)權(quán)利要求1所述的文件格式，其中所述報(bào)頭單元包括顯示報(bào)頭 子單元，該顯示報(bào)頭子單元包含關(guān)于用以接收和重現(xiàn)所述經(jīng)編碼的立體圖像 的數(shù)據(jù)的柵格型顯示設(shè)備的信息。
13. 根據(jù)權(quán)利要求12所述的文件格式，其中所述顯示報(bào)頭子單元包含 用于指示所述柵格型顯示設(shè)備的柵格圖案的類型的信息，針對(duì)所述柵格圖案 的類型，被包含在所述圖像數(shù)據(jù)單元中的圖像信息被優(yōu)化。
14.根據(jù)權(quán)利要求12所述的文件格式，其中所述顯示報(bào)頭子單元包含 用于指示所述柵格型顯示設(shè)備的柵格圖案的柵距的信息，針對(duì)所述柵格圖案 的柵距，被包含在所述圖像數(shù)據(jù)單元中的圖像信息被優(yōu)化。
全文摘要
提供了一種用于經(jīng)編碼的圖像數(shù)據(jù)的文件格式，該經(jīng)編碼的圖像數(shù)據(jù)可通過(guò)用于顯示立體圖像的顯示設(shè)備而被重現(xiàn)為逼真的立體圖像。該用于經(jīng)編碼的圖像數(shù)據(jù)的文件格式包括圖像數(shù)據(jù)單元和報(bào)頭單元，所述圖像數(shù)據(jù)單元包含經(jīng)編碼的立體圖像的圖像信息，而所述報(bào)頭單元包含用于解碼和重現(xiàn)被包含在圖像數(shù)據(jù)單元中的經(jīng)編碼的立體圖像的圖像信息的元數(shù)據(jù)。報(bào)頭單元可以包括相機(jī)報(bào)頭子單元、編解碼器報(bào)頭子單元和顯示報(bào)頭子單元中的至少一者，其中所述相機(jī)報(bào)頭子單元包含關(guān)于用于獲取立體圖像的左側(cè)相機(jī)和右側(cè)相機(jī)的信息，所述編解碼器報(bào)頭子單元包含關(guān)于立體圖像的編碼的信息，而所述顯示報(bào)頭子單元包含關(guān)于用于接收和重現(xiàn)經(jīng)編碼的立體圖像數(shù)據(jù)的柵格型顯示設(shè)備的信息。
文檔編號(hào)H04N13/00GK101513077SQ200780032745
公開日2009年8月19日 申請(qǐng)日期2007年8月29日 優(yōu)先權(quán)日2006年9月4日
發(fā)明者丁泰燮, 千勝文, 吳镕協(xié), 徐德榮, 樸光勛, 金奎憲 申請(qǐng)人:升級(jí)芯片技術(shù)公司;慶熙大學(xué)校算學(xué)協(xié)力團(tuán)