專利名稱：用于處理立體圖像流的壓縮圖像流的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及一種用于編碼和解碼對偶節(jié)目(dual program)圖像序列的過 程和系統(tǒng)，更具體地說，本發(fā)明涉及一種用于對一個視頻信號上的圖像序列信號進(jìn)行壓縮 并解碼所述一個視頻信號，以便以多種取景格式(viewing format)，再現(xiàn)兩個圖像序列節(jié) 目或三維立體節(jié)目的過程和系統(tǒng)。盡管將參考諸如電影的三維立體節(jié)目的處理過程對本發(fā) 明進(jìn)行說明，但是應(yīng)該認(rèn)為在本發(fā)明的范圍內(nèi)，可以應(yīng)用于對任何視頻序列對進(jìn)行處理，而 不考慮每個序列的相應(yīng)視頻內(nèi)容的任何差別。應(yīng)該明白，在本說明中，正如可互換使用術(shù)語 “編碼”和“壓縮” 一樣，可互換使用術(shù)語“解碼”和“解壓縮”。
背景技術(shù)：
自從1947年發(fā)明了立體照相機，已經(jīng)開發(fā)了幾種系統(tǒng)，以通過再現(xiàn)觀眾的左眼要 觀看的第一節(jié)目序列并再現(xiàn)僅由觀眾的右眼觀看的、同時相對于第一圖像序列存在視差 的、同一個場景圖像的第二序列，從而復(fù)制自然三維視覺的原理，使觀眾觀看三維(3D)節(jié) 目。從1950年開始，制作了許多電影，通過利用對偶攝像頭系統(tǒng)攝取時間同步而具有視差 的立體像，以在再現(xiàn)時使觀眾感覺到深度效果，從而提供更完整、刺激的視覺體驗。當(dāng)前，家庭影院系統(tǒng)迅速滲透到家用市場，而且非常復(fù)雜，根據(jù)家庭對高質(zhì)量電影 體驗的需求，普遍使用高質(zhì)量系統(tǒng)。然而，現(xiàn)有的立體再現(xiàn)系統(tǒng)仍不如觀眾所望，而且仍不 能集成到市售的最高級家庭影院系統(tǒng)中。原因主要在于，圖像質(zhì)量較差(衰落顏色和/或 階梯對角)以及因為通常閃爍和缺少空間真實感產(chǎn)生的疲勞和不舒服。的確，由于利用用 于一個視頻節(jié)目放映的設(shè)備，例如電視機，放映兩個不同節(jié)目，所以兩個視頻信號之間共享 技術(shù)資源導(dǎo)致喪失圖像空間分辨率和閃爍，因為對于每個眼睛的幀顯示速率以及像域與黑 色背景之間的對比度降低了 一半?，F(xiàn)有的典型立體再現(xiàn)技術(shù)包括對交錯視頻信號的偶數(shù)行掃描場上的第一圖像序 列信息以及該信號的奇數(shù)行掃描場上的第二圖像序列信息進(jìn)行編碼。在回放時，在顯示偶 數(shù)行期間，利用遮光眼鏡(shutter spectacle)遮擋觀眾的眼睛之一，而在顯示奇數(shù)行期 間，遮擋觀眾的另一只眼睛。由于通常在兩個連續(xù)的l/60s的掃描周期內(nèi)，顯示包括偶數(shù)行 和奇數(shù)行的正常圖像，所以每只眼睛分別觀看立體節(jié)目，因為l/60s圖像序列之后是l/60s 的截止周期，以使每只眼睛每秒觀看30幀(fps)。此外，通過使圖像行與黑色行(black line)交替，形成每個再現(xiàn)圖像。顯然，這樣再現(xiàn)的、喪失了其一半拓?fù)湫畔⒍艺伎找驍?shù)為 50% (在空間和時間方面)的立體圖像導(dǎo)致亮度降低而且閃爍，正如經(jīng)驗已經(jīng)確定的那樣。這些局限性、缺陷以及缺點的解決方案是以至少60fps (每只眼睛每秒觀看30全 幀)的速率顯示整個立體圖像，這樣所需的帶寬通常至少是非立體(平面)節(jié)目所需信號 帶寬的兩倍。在在顯示的圖像與環(huán)境照明之間顯示較高對比度的室內(nèi)，消除閃爍進(jìn)一步要求最高120Hz的垂直掃描(以及遮光眼鏡)頻率，以便對每只眼睛每秒顯示至多60全清晰 度圖像。在不廣泛使用這種頻率時，利用當(dāng)前制造的、每個分別以30fps的連續(xù)速率接收 立體節(jié)目的第一圖像序列和第二圖像序列的兩個數(shù)字視頻投影儀，可以無閃爍顯示立體節(jié) 目。利用光學(xué)方法，對每個投影儀的輸出進(jìn)行濾光，以在噴涂銀的特殊屏幕上，以良好時間 同步，配準(zhǔn)產(chǎn)生垂直和水平偏光輸出投影圖像。觀眾可以佩戴包括不同偏光玻璃的護(hù)目鏡， 以表現(xiàn)三維效果。顯然，該解決方案非常昂貴，而且不能滿足家庭影院系統(tǒng)的市場預(yù)期。然而，現(xiàn)在在市售采用DLP (數(shù)字光處理)技術(shù)的非常快速而且較有力投影儀，該 投影儀可以提供至多120fps的顯示速率，因此一個投影儀可以以足夠高的速率交替顯示 立體序列，從而即使在高對比度環(huán)境下，仍可以基本消除閃爍。此外，高端CRT投影儀和計 算機監(jiān)視器可以提供這種兼容清晰度和更新率。然而，這種系統(tǒng)的主要局限性在于，用于存儲和廣播視頻節(jié)目信息的大多數(shù)當(dāng)前 標(biāo)準(zhǔn)將全幀圖像的流速限制為30fps，30fps約是存儲和顯示初始包括兩個M (美洲運動圖 像)、25(PAL或SECAM)或30fps (NTSC視頻)節(jié)目的高質(zhì)量立體節(jié)目所要求能力的一半。此 外，由于始終以每秒M幀的速率捕獲和記錄運動圖像電影，所以必須解決使兩個Mfpb節(jié) 目包括在一個30fps信號中，然后為了分別以30至60fps的速率顯示兩個節(jié)目而擴展該信 號，產(chǎn)生的問題。因此，3D家庭影院的未來取決于根據(jù)當(dāng)前制造的、用于處理利用諸如MAIN 提問文件(profile)(與MVP相比)的MPEG-I或MPEG-2 (運動圖像專家組)壓縮/解壓縮 協(xié)議的協(xié)議壓縮和解壓縮的30fps信號的標(biāo)準(zhǔn)編碼器、播放器以及廣播設(shè)備，編碼和解碼 立體視頻信號的能力，因此在整個過程中產(chǎn)生可忽略不計的信息丟失或失真。現(xiàn)有技術(shù)中有幾種技術(shù)描述了可以克服上述一個或者多個缺陷和局限性的解決 方案。首先，根據(jù)Mfbs交錯圖像序列，3:2下拉壓縮方法可以用于產(chǎn)生30fbs立體交錯信 號。利用該方法，通過建立一個新圖像并在每4個原始序列圖像之后插入一個該新圖像，對 原始圖像序列進(jìn)行時間擴展。新圖像在一個域內(nèi)包括偶數(shù)行先前圖像，而在其另一個域內(nèi) 包括奇數(shù)行的下一個圖像。顯然，原始節(jié)目的每個圖像分別包括第一域，包括部分左視圖 像；以及第二域，包括立體節(jié)目的部分右視圖像。因此，根據(jù)Mfps左眼序列和Mfps的右 眼序列，可以獲得30fps立體節(jié)目。然而，利用這種技術(shù)，所獲得的30fps節(jié)目過時了，而且 顯示拓?fù)涫д?，因為屬于在不同時間捕獲的圖像的各行的特定圖像的組合。這樣產(chǎn)生糟糕 的結(jié)果，缺少真實感，而且使觀眾的眼睛疲勞、不舒服。在用于顯示立體節(jié)目時，這種技術(shù)也 存在與上面對交錯信號壓縮技術(shù)描述的相同的局限性和缺陷。此外，已經(jīng)開發(fā)了許多使用互相不兼容并要求不同傳輸(存儲或分配)格式(交 錯的列、交錯的行、同時對偶顯示、頁閃爍、立體影片等)的不同輸入信號的立體顯示裝置。 在允許進(jìn)行2D觀看的同時，使立體視頻節(jié)目進(jìn)入不同系統(tǒng)的解決方案將全部以現(xiàn)有格式 同時廣播或者存儲在幾個物理介質(zhì)上。顯然，既不實際，又不經(jīng)濟。因此，未來的家用立體 視頻需要能夠產(chǎn)生與當(dāng)前和未來立體顯示裝置兼容，并允許正常2D觀看的多種/通用立體 輸出格式的立體視頻信號和視頻處理設(shè)備。許多專利還描述了減小通過具有30fps能力的一個頻道承載的2個30fps信號的 壓縮技術(shù)，某些這種技術(shù)對于MPEG壓縮/解壓縮過程是顯而易見的。然而，這些技術(shù)不能 在保持圖像質(zhì)量并提供舒服觀看感受的同時，為了產(chǎn)生丟失的幀，將例如Mfps序列變換 為30fps，或者將30fps序列變換為48、60、72、96或120fps序列，而根據(jù)需要特征化時間內(nèi)插。此外，它們不能由同樣的視頻信號和視頻處理設(shè)備，產(chǎn)生多種立體輸出格式。例如1997年5月6日授予Muramoto等人的第5，626，582號美國專利描述了一種 基于時間的壓縮方法，在該方法中，以給定的時鐘頻率數(shù)字化兩個30fps視頻信號并將它 存儲到DRAM存儲器中。然后，以兩倍的寫頻率讀該存儲器，可以以1/30的間隔，并置1/30 時間周期的兩個采樣。然而，根據(jù)選擇的采樣頻率，最終信號或者丟失清晰度，因為在一個 數(shù)字?jǐn)?shù)據(jù)上排列兩個相鄰像素的信息，或者超過諸如DVD或廣播頻道的數(shù)據(jù)存儲介質(zhì)的容 量。該發(fā)明還不能根據(jù)給定的原始格式，產(chǎn)生多個輸出格式，而且為了重構(gòu)原始序列需要2 個并聯(lián)電路。此外，在Briede提交的、于1997年11月20日公開的第WO 97/43863號國際申請 中，對根據(jù)圖像的第一序列和第二序列的圖像進(jìn)行十取一處理，并利用2個連續(xù)原始行的 互補像素，重定向各像素，以形成一行，然后，從左眼和右眼交錯新產(chǎn)生的行以形成要通過 頻道發(fā)送的組合立體圖像序列。在接收端，從立體圖像序列多路分解并列域(juxtaposed field)，然后，將并列域發(fā)送到用于同時復(fù)原像素并重新產(chǎn)生其相應(yīng)立體視頻序列(右和 左)的丟失圖像單元的并聯(lián)擴展電路。然后，將這樣重構(gòu)的第一和第二圖像序列輸出到兩 個用肉眼觀看的顯示器。盡管這種技術(shù)提供了一種用于空間壓縮/解壓縮全幀的感興趣方法，但是為了利 用有限容量頻道(傳送介質(zhì))進(jìn)行存儲或分布，它未解決將兩個M或25fps圖像序列變換 為30fps立體序列或者升高回放速率以防止閃爍的問題。此外，該方法不允許利用一個顯 示監(jiān)視器或投影儀，通過時間排序重新建立的第一和第二圖像序列，以包括頁面交換(page flipping)模式的其它立體格式進(jìn)行回放。此外，關(guān)于上面的例子，再要求兩個并聯(lián)電路對 兩個圖像序列進(jìn)行重構(gòu)處理，因為在重構(gòu)圖像之前，首先必須對該信號進(jìn)行第一多路分解。盡管上面的例子說明已知用于將兩個視頻信號或圖像序列編碼為一個信號并用 于解碼這種合成信號，以順序檢索原始信號或序列的不同方法和系統(tǒng)，然而，現(xiàn)有技術(shù)的這 些方法和系統(tǒng)沒有提供，例如根據(jù)滿足3D電影再現(xiàn)的家庭影院市場的需要，利用一個頻道 和當(dāng)前制造的傳統(tǒng)記錄、回放以及顯示設(shè)備，可以進(jìn)行高保真記錄、廣播和回放兩個Mfps 運動圖像電影以及25或30fps立體視頻節(jié)目的功能系統(tǒng)的重要特征。因此，需要一種可以容易地仍以可承受成本利用現(xiàn)有家庭影院裝置提供高質(zhì)量立 體再現(xiàn)，同時允許以多種輸出格式回放特定立體視頻傳送信號的新穎立體節(jié)目編碼和回放 方法和系統(tǒng)。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種用于解碼編碼圖像流的方法，所述圖像流包括多 個幀，每個幀包括合并圖像，該合并圖像包括左圖像中的像素和右圖像中的像素，該方法包 括步驟(a)接收每個合并圖像；(b)將原始輸入信號中的時鐘域變更為內(nèi)部域；(c)對于每個合并圖像，將至少兩個相鄰像素裝入輸入緩沖器，并內(nèi)插中間像素， 以根據(jù)所述相鄰像素的出處，形成重構(gòu)左幀和重構(gòu)右?guī)灰约?d)根據(jù)所述左圖像幀和右圖像幀，重構(gòu)立體圖像流。
本發(fā)明還提供了一種用于解碼編碼圖像流的系統(tǒng)，該系統(tǒng)包括(a)輸入端，用于接收壓縮圖像流；(b)空間內(nèi)插模塊，可操作地連接到所述輸入端，用于將每個合并圖像空間內(nèi)插到 重構(gòu)右?guī)椭貥?gòu)左幀內(nèi)；(c)輸入存儲控制器；(d)右與左存儲器緩沖區(qū)，用于存儲所述重構(gòu)右?guī)椭貥?gòu)左幀；(e)輸出存儲控制器；(f)速率控制器；(g)同步模塊，用于使立體顯示裝置同步；以及(h)輸出端，用于輸出重構(gòu)右圖像和重構(gòu)左圖像流。更具體地說，本發(fā)明的系統(tǒng)和方法包括步驟1-利用拓?fù)浞椒?，將具有第一顯示速率的第一和第二運動圖像序列十取一為減少 的鑲嵌(mosaics)，以形成具有第二顯示速率的第三圖像序列的相鄰域，該第二顯示速率比 所述第一顯示速率小兩倍。2-通過數(shù)據(jù)傳送介質(zhì)，編碼并傳送所述第三圖像序列；3-從所述數(shù)據(jù)傳送介質(zhì)上檢索所述第三圖像序列；以及4-利用拓?fù)浞椒?，?nèi)插所述第三圖像序列的各域中的減少的圖像，以從本質(zhì)上重 新建立所述第一和第二圖像序列的圖像。該過程優(yōu)選地包括附加步驟5，其中按時間排序所述第一和第二重新建立圖像序 列，以形成輸出圖像序列，該輸出圖像序列分別由所述第一和第二重新建立圖像序列(頁 面交換模式)中的連續(xù)交替圖像構(gòu)成。根據(jù)第一和第二重新建立圖像序列的實時交替讀取 模式，可以設(shè)置輸出序列格式，以便與頁面交換、行交叉、列交叉、立體影片或二維顯示模式一致。還公開了根據(jù)本發(fā)明的處理過程的另一個實施例，其中步驟4進(jìn)一步包括通過時間內(nèi)插重新建立的第一和第二圖像序列的連續(xù)圖像，建立新圖像對，并將 每個所述時間內(nèi)插圖像對中的一個圖像內(nèi)插到每個所述第一和第二重新建立圖像序列中， 從而提高其顯示速率。還公開了根據(jù)本發(fā)明的處理過程的另一個實施例，其中步驟4進(jìn)一步包括重復(fù)圖像對，以形成所述第一和第二重新建立圖像序列，從而提高其顯示速率。還公開了根據(jù)本發(fā)明的處理過程的另一個實施例，其中在執(zhí)行上述處理過程的步 驟1之前，通過插入新時間內(nèi)插(建立的)的或重復(fù)(讀取兩次)的圖像對，第一和第二運 動圖像序列具有升高的顯示速率。根據(jù)本發(fā)明的另一個實施例，所述輸出圖像序列具有每秒R個圖像的常規(guī)顯示速 率，而且所述輸出圖像序列包括從第一和第二圖像序列開始的每秒12個圖像、從第一和第 二圖像序列的減小鑲嵌開始空間內(nèi)插的每秒36個圖像以及R-48個插入圖像。插入圖像可 以是重復(fù)圖像或時間內(nèi)插圖像。如果R等于每秒96個圖像，則所述輸出圖像序列包括第一 和第二圖像序列中的每秒12個圖像、從第一和第二圖像序列的減小鑲嵌開始空間內(nèi)插的 每秒36個圖像，每個圖像被重復(fù)兩次。根據(jù)本發(fā)明的又一個實施例，所述輸出圖像序列具有每秒R個圖像的常規(guī)顯示速
6率，而且所述輸出圖像序列包括從第一和第二圖像序列的減小的鑲嵌開始空間內(nèi)插的每秒 60個圖像以及R-60個插入圖像。插入圖像可以是重復(fù)圖像或時間內(nèi)插圖像。如果R等于 每秒120個圖像，作為所述輸出圖像序列包括重復(fù)兩次的60個空間內(nèi)插圖像。還公開了一種根據(jù)本發(fā)明的系統(tǒng)，該系統(tǒng)包括數(shù)字視盤播放器、解碼器以及視頻 顯示裝置，其中所述解碼器從視盤播放器接收表示具有左域和右域的圖像序列的信號，左域和右域分別表示 減小的圖像鑲嵌；禾_拓?fù)浞椒?，從所述圖像序列的各域開始內(nèi)插減小的圖像鑲嵌，以形成 第一序列和第二序列的重新建立圖像；通過時間內(nèi)插重新建立的第一和第二圖像序列的連 續(xù)圖像，建立新圖像；按時間排序重新建立的圖像和建立的圖像，以形成輸出圖像序列，該 輸出圖像序列包括從每個所述第一和第二重新建立圖像序列開始的連續(xù)交替圖像；以及將 表示所述輸出圖像序列的信號輸出到所述視頻顯示裝置。通過閱讀下面的詳細(xì)說明，更加容易明白，本發(fā)明克服了上述現(xiàn)有技術(shù)解決方案 的局限性和缺陷，著重指出下面的內(nèi)容以及其它優(yōu)點特征一本發(fā)明提供了一種編碼方法和實現(xiàn)這種方法的系統(tǒng)，該方法和系統(tǒng)可以以適于 存儲到傳統(tǒng)數(shù)字視盤(DVD)上的格式，壓縮兩個對或3(^ 8圖像序列或者利用傳統(tǒng)設(shè)備進(jìn) 行廣播，而不顯著感覺到丟失了空間信息和時間信息。一本發(fā)明提供了一種回放方法和系統(tǒng)，通過以漸進(jìn)模式或交錯模式，重構(gòu)原始序 列并使顯示速率從M到60提高每只眼睛每秒的全分辨率圖像，該回放方法和系統(tǒng)以高視 覺質(zhì)量再現(xiàn)立體節(jié)目。一本發(fā)明提供了一種編碼和回放方法以及系統(tǒng)，該方法和系統(tǒng)的特征在于，與市 售的數(shù)據(jù)存儲介質(zhì)回放設(shè)備以及顯示設(shè)備完全兼容，更具體地說，與MPEG主視圖提問文件 壓縮/解壓縮協(xié)議以及商業(yè)電路兼容。一本發(fā)明提供了一種立體節(jié)目回放方法和系統(tǒng)，該方法和系統(tǒng)提供通用輸出信 號，可以直接使用該通用輸出信號，或者對該通用輸出信號進(jìn)行變換，以利用諸如頭戴顯示 器(HMD)、IXD、DLP以及CRT背投或正投TV的現(xiàn)有技術(shù)進(jìn)行再現(xiàn)，利用遮光眼鏡、偏振護(hù)目 鏡或立體影片眼睛，直接觀看在任何通用標(biāo)準(zhǔn)(NTSC、PAL、SECAM、SDTV、HDTV等)下工作的 TV和計算機監(jiān)視器。一本發(fā)明提供了一種編碼和回放方法和系統(tǒng)，該方法和系統(tǒng)可以消除或者顯著減 少利用現(xiàn)有技術(shù)方法和設(shè)備觀看立體電影時遇到的閃爍(flicking)和疲勞。一本發(fā)明還提供了一種可以編碼和解碼可能表示不同的無關(guān)場景的兩個獨立圖 像序列的方法和系統(tǒng)。


圖Ia是根據(jù)本發(fā)明用于將兩個平面圖像序列壓縮編碼為立體圖像序列的原理 圖，將該立體圖像序列存儲到數(shù)據(jù)存儲介質(zhì)或通過一個頻道廣播該立體圖像序列。圖Ib是用于說明解碼并回放先前利用諸如圖Ia所示系統(tǒng)編碼的立體圖像序列的 過程的根據(jù)本發(fā)明系統(tǒng)的原理圖。圖加是利用拓?fù)浞椒ǚ蛛x為兩個互補鑲嵌圖像單元以形成合并圖像60的域A和 域B的部分?jǐn)?shù)字化圖像60的原理圖。
圖2b是利用拓?fù)浞椒ㄊ∫?decimate)為減少鑲嵌以分別形成合并圖像60的 域A和域B的兩個數(shù)字化圖像50和50，的一部分的原理圖。圖2c是空間內(nèi)插一對包括在合并圖像60上的十取一圖像以重新建立兩個清晰度 圖像72和72的過程的原理圖。圖2d是在具有時間延遲的情況下，根據(jù)兩個圖像50. 4和50. 5建立新圖像52的 時間內(nèi)插過程的原理圖。圖3a是根據(jù)本發(fā)明用于將兩個平面圖像序列壓縮編碼為立體組合圖像序列的壓 縮過程的第一實施例的原理圖。圖北是根據(jù)本發(fā)明用于重構(gòu)并時間擴展先前根據(jù)圖3a所示過程編碼的立體圖像 序列的解壓縮過程的第一實施例的原理圖。圖如是根據(jù)本發(fā)明用于將兩個平面圖像序列壓縮編碼為立體圖像序列的壓縮過 程的第二實施例的原理圖。圖4b是根據(jù)本發(fā)明用于重構(gòu)并時間擴展先前根據(jù)圖如所示過程編碼的立體圖像 序列的解壓縮過程的第二實施例的原理圖。圖5是根據(jù)本發(fā)明優(yōu)選實施例的解碼器的原理圖。在各附圖中，同樣的參考編號表示同樣的部件。
具體實施例方式現(xiàn)在，將參考附圖詳細(xì)說明根據(jù)本發(fā)明用于編碼并回放立體視頻序列的方法及其 相關(guān)系統(tǒng)的優(yōu)選實施例。參考圖1，圖1示出根據(jù)本發(fā)明建立的用于將兩個平面圖像序列壓縮編碼為立體 圖像序列的典型系統(tǒng)。將攝像機3和6表示的第一和第二圖像序列源存儲到公用或各自的 數(shù)字?jǐn)?shù)據(jù)存儲介質(zhì)4和7內(nèi)。作為一種選擇，根據(jù)數(shù)字化電影片或者存儲在數(shù)字?jǐn)?shù)據(jù)存儲 介質(zhì)上的或者基于微處理器的系統(tǒng)作為適于讀取的數(shù)字視頻信號實時輸入的任何其它數(shù) 字圖像文件源，可以提供圖像序列。在其中其相應(yīng)捕獲圖像序列對并列場景100顯示不同 視圖的位置示出攝像機3和6，根據(jù)立體原理，刺激觀眾的左眼和右眼的感覺。因此，正確再 現(xiàn)第一和第二捕獲圖像序列可以使觀眾感覺到場景100的三維視圖。然后，利用諸如5和8的處理器，將通常在諸如Betacam 4:2:2(運動圖像)的 Mfps數(shù)字YUV格式下可用的存儲的數(shù)字圖像序列變換為RGB格式，并將它們送到運動圖像 混合單元1的輸入端四和30，運動圖像混合單元1是本發(fā)明的編碼系統(tǒng)的主要部件。然 而，應(yīng)該注意，為了降低成本，根據(jù)時間共享原則，公用處理器可以交替變換兩個圖像序列。 混合器1將這兩個平面RGB輸入信號壓縮為30fbs立體RGB信號，在輸出端31發(fā)送該立體 RGB信號，然后，在輸出端32，處理器9將該立體RGB信號變換為betacam 4:2:2格式，接著， 典型電路10將它壓縮為標(biāo)準(zhǔn)MPEG2位流格式。然后，可以將獲得的MPEG2編碼立體節(jié)目記 錄到諸如數(shù)字視盤(DVD) 11上，或者利用例如發(fā)射機13和天線14，通過一個標(biāo)準(zhǔn)頻道廣播 它。例如，替換節(jié)目傳送介質(zhì)可以是電纜分布網(wǎng)絡(luò)或互聯(lián)網(wǎng)?，F(xiàn)在參考圖lb，圖Ib示出根據(jù)本發(fā)明利用圖1所示系統(tǒng)解碼并回放被編碼或被廣 播的立體節(jié)目的典型系統(tǒng)。立體DVD 11 (3DVD)包括由第一和第二圖像序列獲得的壓縮信 息，利用當(dāng)前制造的傳統(tǒng)播放器15播放該立體DVD 11，將NTSC串行模擬信號送到立體圖像解碼器2的輸入端觀，該立體圖像解碼器2是本發(fā)明的解碼/回放系統(tǒng)的主要部件。作為 一種選擇，可以接收其模擬格式和數(shù)字格式的任何ATSC DTV信號。在輸出端23和對，解碼器2產(chǎn)生同步的RGB信號對，即第一和第二圖像序列，以驅(qū) 動諸如頭戴顯示器(HMD) 16的對偶輸入立體順序顯示裝置。此外，解碼器2還在輸出端25 產(chǎn)生時序立體RGB信號，以將它送到諸如投影儀17、IXD顯示器22、CRT監(jiān)視器或SDTV或 HDTV 21的單輸入順序顯示裝置，從而以交替頁面交換模式，顯示由第一圖像序列和第二圖 像序列獲得的圖像。作為一種選擇，可以將輸出端25輸出的立體RGB信號變換為待被模擬 CRT電視機再現(xiàn)的或者處于其它立體格式的交錯NTSC信號(送到(ex)用于自動立體透鏡 式顯示器的列交錯)。此外，還在內(nèi)部這樣配置解碼器2，以在RGB輸出端23或M之一輸 出立體RGB信號，因此可以刪除輸出端25。解碼器2還在輸出端沈產(chǎn)生同步定時信號，以驅(qū)動紅外遮光眼鏡驅(qū)動器20，從而 驅(qū)動眼鏡19。通過使觀眾利用一只眼睛看第一圖像序列的圖像，而利用其另一只眼睛看第 二圖像序列的圖像進(jìn)行交替觀看，觀眾可以佩戴遮光眼鏡19觀看例如立體輸出端25提供 的、由投影儀17投影到屏幕18上的三維節(jié)目。如上所述，兩個原始圖像序列含有的信息太多，以致不能直接存儲到傳統(tǒng)DVD上， 或者不能利用以30fps的速率處理信息的MPEG2或等效復(fù)用協(xié)議，通過傳統(tǒng)頻道進(jìn)行廣播。 因此，混合器1進(jìn)行十取一處理，以將每個圖像的信息減半?，F(xiàn)在，將參考圖加和2b說明混合器1執(zhí)行的空間十取一處理過程。圖加示出混合器1和解碼器2處理的RGB視頻信號確定的一部分圖像50?？梢?看出，圖像50包括多個像素(交替的實心點和空心點)。在RGB格式中，分別表示紅、綠和 藍(lán)光強的3個數(shù)字?jǐn)?shù)的矢量確定每個像素。本發(fā)明以3個相鄰像素在水平方向，或者在垂 直方向具有不顯著不同的光強為根據(jù)。因此，有利的是，本發(fā)明便于進(jìn)行可以將圖像的大小 減小50 %而不顯著破壞圖像的壓縮，或者十取一，或者分離的處理過程。在原理圖中，圖加示出這是如何實現(xiàn)的。如上所述，圖像50包括多個像素。將整 個圖像上，在每行上從左到右，從上面的行到下面的行，以圖像的第一像素(行1的像素1) 開始的、后面是第三像素等等的序列像素(利用黑點表示)設(shè)置到幀緩沖器的一半上，以形 成鑲嵌A。將剩余的像素，即，偶數(shù)編號像素(利用空心點表示)設(shè)置在鑲嵌B上。在圖加 所示的例子中，所示的圖像50的兩個互補鑲嵌被分別存儲到公用合并圖像60的鑲嵌A和 鑲嵌B上。然而，實際上，優(yōu)選地利用可以例如僅讀取奇數(shù)編號像素或偶數(shù)編號像素并將它 們直接存儲到幀緩沖器內(nèi)的適當(dāng)硬件和軟件自動進(jìn)行這種“分離”。正如圖2b更清楚地示出的那樣，通過僅保持諸如圖像50的第一序列(擴展的左 眼序列)圖像的鑲嵌A以及諸如50’的第二序列(擴展右眼序列)圖像，基本上可以在空 間上將圖像壓縮50%。當(dāng)?shù)谝缓偷诙蛄斜硎就粋€場景的不同視圖時，對每個序列保持 不同類型的鑲嵌有助于在回放時具有更高保真度。作為一種選擇，對于兩個輸入序列，通過 保存偶數(shù)編號圖像的鑲嵌A和奇數(shù)編號圖像的鑲嵌B，進(jìn)行空間壓縮，因此可以根據(jù)可能以 同一種壓縮格式存儲的不同類型的鑲嵌，重新建立同一只眼睛的兩個連續(xù)圖像。通過在某個時間將一個像素的數(shù)據(jù)輸入到三像素輸入緩沖器55中，可以完成上 面的操作，如圖2b所示。然后，將像素信息傳送到一個或者多個(各)幀緩沖器的正確存 儲位置，分別存儲它們以記錄不同合并圖像。使不同輸入圖像的鑲嵌成對并排連接在一起
9以形成諸如60的原始尺寸的新系列合并幀的兩個相鄰域(左域和右域)。在圖2b所示的 例子中，當(dāng)前處理圖像50’，而在完成處理圖像50時，產(chǎn)生完成類型A鑲嵌，將該A鑲嵌存 儲到合并圖像60的左域(A)中。然而，應(yīng)該指出，合并幀不必包括第一序列的圖像和第二 序列的圖像，或者同時捕獲的圖像，根據(jù)對壓縮/編碼(混合)方法的優(yōu)選實施例進(jìn)行詳細(xì) 說明可以明白。事實上，在圖加所示的例子中，合并圖像60的域A和域B分別填充同一個 圖像50的鑲嵌A和鑲嵌B。盡管為了簡化說明而選擇這種情況，而且這種情況對應(yīng)于根據(jù) 在此設(shè)想的本發(fā)明實施例之一的實際情況，應(yīng)該相信，諸如60的合并圖像可以包括由輸入 圖像之任一產(chǎn)生的鑲嵌。并排壓縮傳送格式最明顯，而且在該處理過程中，不受用于特征化 MPEG2主視圖下游協(xié)議的壓縮/解壓縮處理過程的影響。解碼合并圖像后，通過空間內(nèi)插由位于諸如60的合并圖像的域上的被壓縮的一 半大小的圖像(鑲嵌)產(chǎn)生的丟失像素，可以重構(gòu)完整圖像。如圖2c所示，在將解碼器2 解碼的輸入合并幀60的每個像素傳送到存儲器，或者從存儲器傳送出來時，優(yōu)選地實時完 成該過程。如上所述，本發(fā)明系統(tǒng)的優(yōu)選地前提是相鄰像素的值不這樣不相同。因此，為了 根據(jù)鑲嵌重構(gòu)圖像，對相鄰像素進(jìn)行加權(quán)，以內(nèi)插丟失的像素。在本發(fā)明的優(yōu)選實施例中，將某個時間的一個像素的數(shù)據(jù)存儲到三像素輸入緩沖 器65中。如圖所示，將輸入圖像60的陰影部分存儲到輸入緩沖器65中，將由同一個鑲嵌 獲得的兩個相鄰像素識別為Pi和Pi+1。然后，作為相鄰像素(Pi和Pi+1)的RGB矢量的3個 分量中每個分量的算術(shù)平均值，計算第三像素的數(shù)據(jù)Pj。例如，如果像素Pi具有(10，0，30) 的光強矢量，而像素Pj具有O0，0，60)的光強矢量，則作為(15，0，45)計算像素P」。因此， 兩個相同像素的平均值是另一個相同像素。根據(jù)諸如50的以使圖像序列產(chǎn)生鑲嵌后，該計 算(拓?fù)鋬?nèi)插的)的像素代替在被十取一的丟失像素。然后，將原始像素和內(nèi)插像素存儲到幀緩沖器內(nèi)要重構(gòu)相應(yīng)圖像的正確存儲位置 (本例中的圖像72)。通過合并圖像60的每行的中心(進(jìn)入右域)，將數(shù)據(jù)存儲在第二幀緩 沖器72’上，以根據(jù)存儲在立體圖像的右域上的鑲嵌重新建立圖像。從左到右，逐行進(jìn)行該 處理，直到在其相應(yīng)緩沖區(qū)中，在空間上重構(gòu)這兩個圖像。盡管上面的實施例內(nèi)插像素，作為鑲嵌的兩個相鄰像素的平均值，但是本發(fā) 明不止對兩個像素進(jìn)行加權(quán)。例如，如果要內(nèi)插像素P」，則可以對從鑲嵌開始的兩個 或者3個前面的像素和后面的像素應(yīng)用不同系數(shù)。更具體地說，參考圖2c，可以利用 0. 6Pi+1+0. ΘΡ^-Ο. lPi+2-0. HV2，內(nèi)插P」。當(dāng)然，根據(jù)優(yōu)選結(jié)果，可以使用各種不同的系數(shù)和 公式。此外，在同樣的處理過程之后，不進(jìn)行水平內(nèi)插，而進(jìn)行垂直內(nèi)插，或者組合進(jìn)行水平 內(nèi)插與垂直內(nèi)插。為了確保不閃爍觀看，該解碼方法進(jìn)一步包括圖像序列的時域擴展(temporal expansion)，正如下面所詳細(xì)說明的那樣。當(dāng)完全填充幀緩沖器，以便重新建立或者暫時內(nèi) 插圖像(在重構(gòu)過程和重構(gòu)系統(tǒng)的任何實施例中均所需的幀緩沖器不超過4個。)時，根據(jù) 不同模式讀取它們，以提供不同類型的要求輸出信號。附圖中的圖3a示出根據(jù)本發(fā)明的混合器1執(zhí)行的混合方法的第一實施例的原理 圖，現(xiàn)在，將詳細(xì)說明該第一實施例。通過每隔原始序列50的四個圖像產(chǎn)生并插入新圖像52，第一次使被識別為Ll至 L4的RGB 24fps格式50的圖像的第一序列擴展25%，以形成諸如51的30fps的圖像序列。根據(jù)緊接在前圖像和在后圖像的拓?fù)湫畔?，時間內(nèi)插(time-interpolated)新圖像52(右 視圖像50的#4和#5)。以與上面說明的空間內(nèi)插技術(shù)相同的方式，利用在前圖像和狀態(tài)下 中的相應(yīng)像素的算術(shù)平均值，計算新圖像52的每個像素。圖2d具體說明時間內(nèi)插過程，其 中根據(jù)輸入圖像系列50的兩個時間連續(xù)圖像50. 4和50. 5，產(chǎn)生新圖像52。通常，根據(jù)該 技術(shù)，完成產(chǎn)生本發(fā)明的新圖像的過程，從而與簡單重復(fù)各幀的例子相比，在回放時實現(xiàn)改 進(jìn)的保真度，這樣幾乎不需要處理功率。作為一種選擇，可以利用諸如基于運動預(yù)測方法的 任何已知方法時間內(nèi)插圖像。然后，根據(jù)圖2b所示的技術(shù)，空間壓縮時間擴展序列51的圖像，并在下面的說明 中詳細(xì)描述時間擴展序列51的圖像，以形成新序列53表示的鑲嵌。同樣，將第二輸入圖像 系列50，時間內(nèi)插為30fps的序列51’，然后，將它空間壓縮為利用序列53，表示的鑲嵌。 在該特定實施例中，分別使第一序列53和第二序列53’的壓縮圖像(鑲嵌)對連續(xù)，以形 成30fps RGB序列60的合并圖像的左域和右域。將序列60編碼為流62，以傳送到遠(yuǎn)程位 置。值得注意的是，盡管圖3a示出原理圖，但是優(yōu)選地不并行而且不與長序列圖像一 起對圖像序列進(jìn)行處理。實際上，在給定時間，僅緩存少量圖像，以便臨時內(nèi)插，根據(jù)第一和 第二(左和右)序列交替引入圖像，而且與圖2b和2d所示處理步驟非常類似，逐個像素地 對該圖像進(jìn)行處理?，F(xiàn)在，將參考圖;3b、2c和2d說明根據(jù)本發(fā)明第一實施例的解碼器2執(zhí)行的解碼過 程和重構(gòu)過程。在圖北所示的例子中，從DVD中讀取立體MPEG信號62，然后，DVD播放器15 (圖 lb)將它變換為模擬NTSC信號70，解碼器2輸入該模擬NTSC信號70。首先，將NTSC信號 70變換為RGB格式，以再生諸如序列60的合并圖像。然后，通過空間內(nèi)插鑲嵌并逐個像素地 使鑲嵌與序列60中的合并圖像的左域和右域分離，開始重構(gòu)第一和第二原始序列50、50’， 正如上面參考圖2c所述，以諸如72和72，的30fps解壓縮緩沖圖像。因此，實際上，同時 進(jìn)行空間內(nèi)插和分離?？梢灾苯虞敵鯮GB圖像72和72’的序列，并將它顯示在對偶輸入裝 置上，從而以60fps (每個眼睛30)的顯示速率，產(chǎn)生原始節(jié)目或立體節(jié)目信號。還可以進(jìn) 一步進(jìn)行處理，從而以交錯方式或以序列(頁面交換模式)、立體影片、交叉的列、傳統(tǒng)2D模 式等，使圖像序列顯示在多個現(xiàn)有單輸入顯示裝置上。然而，為了在觀看時舒服而且不疲勞，通過以每秒每只眼睛36全清晰度幀的典型 速率提供輸出信號，解碼器2顯著減小閃爍，而利用高清晰度幀以每只眼睛30fps獲得滿意 的結(jié)果，從而與例如SDTV或HDTV的更新速率匹配。相反，對于非常高保真度再現(xiàn)過程，解碼器2可以提供最高120fps (每只眼睛每秒 60幅圖像)的輸出信號，然而，這種輸出與諸如DLP投影儀以及有限數(shù)量的高端裝置的顯 示裝置兼容。根據(jù)經(jīng)驗，正如在此設(shè)想的那樣，如果在編碼/解碼過程中保持圖像質(zhì)量，則 72fps的回放速率的效果非常好，該頻率是家庭影院系統(tǒng)當(dāng)前使用的大多數(shù)顯示裝置的標(biāo) 準(zhǔn)頻率。因此，解碼器2執(zhí)行的回放處理優(yōu)選地包括用于提高序列72和72’的顯示速率的 附加步驟。采用參考圖3a和2c對混合處理過程所做的描述中已經(jīng)說明的時間內(nèi)插技術(shù)， 以規(guī)則間隔在圖像序列中插入附加圖像。利用混合時存儲到輸入序列60的空白行上的幀數(shù)信息，仔細(xì)控制插入位置。作為一種選擇，可以重復(fù)(讀兩次)序列72和72’中的圖像， 以提高顯示速率。例如，可以讀取兩次該序列上的各圖像，以使顯示速率加倍。在圖北所示的例子中，分別利用序列72和72’的圖像#2和#3中的信息時間內(nèi)插 一個新中間圖像對73、73’，并將它插在圖像#2與#3之間，從而將獲得的序列74和74’的 速率提高到36fps (對于立體節(jié)目總共72fps)。圖2c示出該過程的一部分，其中利用72. 2 和72. 3識別序列72的圖像#2和#3。作為一種選擇，可以時間內(nèi)插并插入其它圖像，以便 對于總共96fps的速率，提供比方說每個序列每秒48幀的速率。每個序列(眼睛)60fps 的速率(對于立體節(jié)目總共120fps)也是一種令人感興趣的情況，在這種情況下，不需要進(jìn) 行內(nèi)插。僅復(fù)制序列72和72’的所有圖像，以使圖像數(shù)量加倍。在回放時，以120Hz的速 率驅(qū)動遮光眼鏡，而且以l/30s的速率，對相應(yīng)眼睛，使給定序列的所有圖像顯示兩次。因 此，可以提供最高清晰度，但是，當(dāng)前，只有非常有限的顯示裝置可以處理這種高更新速率。應(yīng)該注意，上面的說明基于以提供輸入序列的事實，24fps的速率是運動圖像電影 的常見速率。然而，人們?nèi)菀酌靼祝梢匀菀椎貙@種情況采用混合過程，從而通過跳躍圖 3a所示的時間擴展序列51和51’表示的時間內(nèi)插的初始步驟，可以提供兩個30fps序列 (擴展的TV節(jié)目)。顯然，由于解碼過程始終對30fps輸入序列進(jìn)行處理，所以不要求對該 處理部分進(jìn)行實質(zhì)修改。作為一種選擇，如圖如所示，本發(fā)明的編碼過程不需要在產(chǎn)生鑲嵌之前進(jìn)行時間 內(nèi)插。在圖如所示的例子中，通過正確分離各幀，使兩個Mfps序列混合，以提供30fps序 列。由于可以將時間內(nèi)插的圖像插入該序列中(當(dāng)輸入序列包括Mfps時)，壓縮序列80 變得沒有規(guī)律。因此，根據(jù)本發(fā)明的當(dāng)前實施例的編碼(混合)過程進(jìn)一步包括在壓縮序 列60內(nèi)插入信息，以識別重構(gòu)過程所需的幀數(shù)，從而識別圖像內(nèi)容，并以該序列的適當(dāng)位 置的正確序貫順序(時序)重新建立序列?？梢詫⑦@種信息存儲到例如合并圖像的空白行 上。在閱讀了下面對解碼過程所做的說明后，該過程的好處更加明顯。這樣本身可以完成 混合器1執(zhí)行的混合過程。此外，在該過程中，正如參考圖Ia所述，在被多路分解為MPEG2 位流，或者被直接變換為圖3a中的編號62標(biāo)記的MPEG2格式之前，可以將RGB合并圖像序 列60 (擴展AVI文件)變換為數(shù)字Y U V格式。圖4b示出為了提供2個36fps流，如何利用空間內(nèi)插和時間內(nèi)插，解碼壓縮的立 體序列80。圖5更具體示出本發(fā)明的解碼器2。然而，應(yīng)該明白，例如，根據(jù)是選擇全部軟件、 全部硬件還是它們二者的組合解決方案，可以有各種變型?？梢钥闯?，該解碼器具有兩個輸入端模擬輸入端和數(shù)字輸入端。如果信號是模擬 信號，則利用ADC 101，將它變換為數(shù)字信號。FIFO緩沖器103將輸入信號的時鐘域(clock domain)變更為該解碼器使用的時鐘域。實際上，以不同于RGB信號使用的頻率的頻率， 確定廣播信號或DVD信號的時鐘，因此，需要FIFO緩沖器103。然后，使該信號通過變換器 105，變換器105將該信號從Y Cb Cb信號變換為IX720X480(像素)的RGB信號。然后， 利用空間內(nèi)插器107，根據(jù)本發(fā)明內(nèi)容空間內(nèi)插該信號，結(jié)果是對偶流的720X480像素。然 后，換算器對該對偶流進(jìn)行換算，以提供兩個640X480圖像流(始終為RGB格式)。作為一 種選擇，本發(fā)明的系統(tǒng)可以支持其它解決方案。然后，將各幀裝入幀緩沖器113，一個幀緩沖 器113用于右?guī)硪粋€幀緩沖器113用于左幀，輸入存儲控制器111控制其內(nèi)容。
12
輸出存儲控制器115控制幀緩沖器的輸出，而且如果需要，利用時間內(nèi)插器控制 幀緩沖器的輸出，以提高幀速率。優(yōu)選地設(shè)置速率控制器119。速率控制器的用途是適應(yīng)時鐘信號的變化，該變化盡 管微小，但是仍使系統(tǒng)不同步。速率控制器監(jiān)測速率的差別，并通過在該幀的無效行上增加 或者刪除某個數(shù)量的像素，校正輸出頻率。例如，對于某個幀，需要增加少量像素，以便人為 降低內(nèi)部時鐘，并使時鐘正確同步。解碼器2的另一個有利部件是防閃爍濾波器(anti-flicker filter) 121。當(dāng)在 圖像與頭部顯示器的光閘附近存在對比度時，在佩戴遮光眼鏡時，產(chǎn)生閃爍。我們驚奇地發(fā) 現(xiàn)，通過評估每個RGB像素中的綠電平的值，并且在綠電平高于某個值時，通過成比例降低 相應(yīng)像素的顏色，可以顯著進(jìn)行閃爍。因此，該輸出直接是數(shù)字的，或者利用DAC 123將它變換為模擬信號。為了在正確 時間打開或者關(guān)閉光閘，同步模塊125使頭部顯示器與輸出信號同步。此外，優(yōu)選地進(jìn)一步設(shè)置調(diào)節(jié)器127。在顯示裝置包括其自己的幀緩沖器時，使用 該調(diào)節(jié)器，否則，這樣將導(dǎo)致光閘與實際顯示器的同步信號之間不同步。為了減小圖像的串 音/重影，用戶可以進(jìn)行手工調(diào)節(jié)?，F(xiàn)在，將參考附圖中的圖4a，詳細(xì)說明根據(jù)本發(fā)明的混合器1執(zhí)行的混合方法的 第二實施例。該第二實施例對于解決對Mfps格式下可用的兩個圖像序列進(jìn)行變換，以產(chǎn) 生完全兼容序列的30fps MPEG2(主視圖提問文件)的問題特別有利。分別利用LiAB和IiiAB識別包括定義的鑲嵌A和B的兩個Mfps序列50和50，中 的全清晰度圖像，索引“i”表示時間t時給定圖像的順序號。圖如和4b中的虛線表示幀 序列。以與上面描述的第一實施例類似的方式，對8個輸入圖像進(jìn)行空間壓縮和時間擴展， 以在新30fps序列80上形成5個新合并圖像。應(yīng)該注意，在本發(fā)明的實施例中，保留要記 錄或廣播的25%以上的原始圖像信息。的確，8個原始圖像中的兩個(所示例子中的圖像 Ll和I^)均具有其鑲嵌A和B，該鑲嵌A和B保存在壓縮序列80的域上，而非根據(jù)第一實 施例的域上。然而，通過在連續(xù)圖像之間提供某種暫時冗余度，以存儲在并排合并圖像域內(nèi)的 互補鑲嵌的形式，編碼這些全部保存的圖像，以確定編碼序列的均勻性(homogeneity)和 與MPEG2壓縮/解壓縮協(xié)議的兼容性。因此，對于先前說明的實施例，在回放時，通常可以 獲得良好的清晰度和保真度，但是其代價是提高了處理功率的要求和系統(tǒng)硬件成本。對于 上述第一實施例，根據(jù)本發(fā)明當(dāng)前實施例的編碼(混合)處理過程還進(jìn)一步包括在壓縮序 列80內(nèi)插入信息，以根據(jù)重構(gòu)過程的需要，識別幀數(shù)，從而識別圖像內(nèi)容，并以正確序貫順 序，重新建立序列，然后，在該序列上的適當(dāng)位置插入內(nèi)插圖像。此外，還可以將這種信息存 儲到例如合并圖像的空白行上。圖4b示出根據(jù)本發(fā)明的解碼器2執(zhí)行的相應(yīng)解碼過程的原理圖，該解碼過程的操 作過程如下。將表示30fps RGB輸入序列80的5個合并圖像81至85擴展為12個圖像(每個 頻道6個)，該12個圖像提供總共36fbs的回放序列90和100 (對于三維立體節(jié)目，每只 眼睛36，總共7 ?？傊?，根據(jù)虛線110表示的幀序列，以頁面交換模式顯示的回放序列90 和100的12個連續(xù)圖像的每個組包括兩個完整原始圖像、6個空間內(nèi)插圖像以及4個時間內(nèi)插圖像。作為一種選擇，根據(jù)諸如頭戴裝置或自動立體裝置的一些顯示裝置的要求，可以 通過兩個單獨頻道，分別并行輸出序列90和100。在所示的例子中1.根據(jù)存儲在序列80的幀81的左域上的鑲嵌L1A和存儲在其右域上的鑲嵌L1B, 全部重新建立圖像91 (L1AB)；2.從在序列80的幀82的左域獲取的鑲嵌R1A開始，空間內(nèi)插圖像IOl(R1AX)；3.從在序列80的幀82的右域獲取的鑲嵌開始，空間內(nèi)插圖像103 (R2BX)；4.從圖像101和圖像103開始，時間內(nèi)插圖像102 ；5.根據(jù)存儲在序列80的幀83的左域上的鑲嵌圖像L2A和存儲在其右域上的鑲嵌 L2B,全部重新建立圖像93 (L2AB)；6.從圖像91 (L1AB)和圖像93 (L2AB)開始，時間內(nèi)插圖像92 ；7.從存儲在序列80的幀84的左域上的鑲嵌L3A開始，空間內(nèi)插圖像94 (L3AX)；8.從存儲在序列80的幀84的右域上的鑲嵌L4B開始，空間內(nèi)插圖像96 (L4BX)；9.從圖像94和圖像96開始，時間內(nèi)插圖像95 ；10.從存儲在序列80的幀85的左域上的鑲嵌R3A開始，空間內(nèi)插圖像104 (R3AX)；11.從存儲在序列80的幀85的右域上的鑲嵌R4B開始，空間內(nèi)插圖像106 (R4BX)； 以及12.從圖像 104和圖像 106 開始，時間內(nèi)插(temporally interpolated)圖像 105。顯然，我們?nèi)菀桌斫?，這種重構(gòu)過程要求正確識別構(gòu)成輸入序列80的5幀序列中 的幀順序。因此，在解碼器2中設(shè)置幀識別電路，以解釋混合器1存儲到合并圖像序列80 內(nèi)的幀數(shù)信息。從該后者實施例以及上面的描述中公開的第一實施例中可以看出，全部獨立編碼 和解碼第一圖像序列和第二圖像序列，而互相不產(chǎn)生任何干擾，從而對涉及獨立場景的原 始視頻序列進(jìn)行處理。上面描述的第二實施例的例子以Mfps的速率處理信源，以產(chǎn)生72fps的顯示速 率，該例子僅示出可以應(yīng)用于M至30fps信源以諸如60、72、96或120fps的顯示速率產(chǎn)生 立體輸出的更一般處理過程。下面的表格列出M或30fps信源以及60、72、96或120fps 顯示速率的附加典型排列
權(quán)利要求
1.一種用于編碼包括多個右圖像幀和左圖像幀的立體圖像流的方法，該方法包括步驟(a)讀取每個所述右?guī)乃銎鏀?shù)編號像素或偶數(shù)編號像素，并將它們裝入幀緩沖器 的一半上；(b)讀取對應(yīng)于所述右?guī)拿總€所述左幀的所述偶數(shù)編號像素或奇數(shù)編號像素，并將 它們裝入幀緩沖器的另一半上，以形成鑲嵌，因此所述鑲嵌的一側(cè)包括所述右?guī)钠鏀?shù)編 號像素或偶數(shù)編號像素，而所述鑲嵌的另一側(cè)包括所述左幀的互補偶數(shù)編號像素或奇數(shù)編 號像素。
2.根據(jù)權(quán)利要求1所述的方法，其中所述方法進(jìn)一步包括時間內(nèi)插所述圖像，以在進(jìn) 行步驟(a)之前提高幀速率的步驟。
3.一種根據(jù)權(quán)利要求1所述的方法解碼被編碼的立體圖像流的系統(tǒng)，該系統(tǒng)包括(a)輸入端，用于接收壓縮圖像流；(b)空間內(nèi)插模塊，可操作地連接到所述輸入端，用于將每個合并圖像空間內(nèi)插到重構(gòu) 右?guī)椭貥?gòu)左幀內(nèi)；(c)輸入存儲控制器；(d)右與左存儲器緩沖區(qū)，用于存儲所述重構(gòu)右?guī)椭貥?gòu)左幀；(e)輸出存儲控制器；(f)速率控制器；(j)同步模塊，用于使立體顯示裝置同步；以及 (h)輸出端，用于輸出重構(gòu)右圖像和重構(gòu)左圖像流。
全文摘要
一種用于處理立體圖像流的壓縮圖像流的方法，該圖像流具有多個幀，每個幀包括合并圖像，該合并圖像包括左圖像中的像素和右圖像中的像素，該方法包括步驟接收每個合并圖像；將原始輸入信號中的時鐘域變更為內(nèi)部域；對于每個合并圖像，將至少兩個相鄰像素裝入輸入緩沖器，并內(nèi)插中間像素，以根據(jù)相鄰像素的出處，形成重構(gòu)左幀和重構(gòu)右?guī)灰约案鶕?jù)左圖像幀和右圖像幀，重構(gòu)立體圖像流。本發(fā)明還公開了一種用于處理立體圖像流的壓縮圖像流的系統(tǒng)。
文檔編號H04N13/04GK102098529SQ20111004303
公開日2011年6月15日 申請日期2003年4月9日 優(yōu)先權(quán)日2002年4月9日
發(fā)明者丹尼爾·馬盧安, 克勞德·蒂博, 吉恩·貝爾齊勒, 尼古拉斯·魯?shù)侔? 皮埃爾-保羅·卡彭蒂耶, 馬丁·達(dá)萊爾 申請人:森西歐技術(shù)公司