一種多視點無鏡立體圖像渲染方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種多視點無鏡立體圖像渲染方法和系統(tǒng)，該系統(tǒng)包括輸入模塊，圖像數(shù)據(jù)預(yù)處理模塊、多視點渲染模塊和輸出模塊。該系統(tǒng)對原始圖像數(shù)據(jù)進行縮放處理，再對原始圖像數(shù)據(jù)進行去塊效應(yīng)和濾波等處理，然后對預(yù)處理圖像深度信息進行三維重建生成N視點圖像，最后按照多視點合成的映射方式來合成最終的多視點無鏡立體圖像。該系統(tǒng)能夠提供一種高效的實時多視點無鏡立體圖像渲染技術(shù)，支持大部分圖像數(shù)據(jù)輸入輸出，滿足不同分辨率的多視點無鏡立體圖像渲染，集成度高成本低廉。
【專利說明】
一種多視點無鏡立體圖像渲染方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種多視點無鏡立體圖像渲染方法和系 統(tǒng)。
【背景技術(shù)】
[0002] 近年來，3D視覺技術(shù)高速發(fā)展，越來越多的設(shè)備具備3D顯示功能?，F(xiàn)今主要的3D顯 不技術(shù)分為眼鏡式系統(tǒng)和非眼鏡式系統(tǒng)。
[0003] 眼鏡式系統(tǒng)需要觀看者佩戴額外的輔助顯示設(shè)備，這嚴重影響了觀看者的視覺體 驗。非眼鏡式系統(tǒng)不需要觀看者佩戴額外的輔助顯示設(shè)備，并且能夠達到同樣的立體視覺 效果，因此非眼鏡式設(shè)備越來越受到觀看者的青睞。
[0004] 多視點無鏡立體圖像顯示技術(shù)就是非眼鏡式系統(tǒng)中一種主要的顯示方法。多視點 圖像的立體視覺效果非常優(yōu)秀，不僅可以讓觀看者產(chǎn)生立體視覺以此帶給觀看者真實的現(xiàn) 場感受，還可以讓觀看者觀看到更加豐富的內(nèi)容信息。因此多視點圖像在廣告?zhèn)髅?，電影?樂，醫(yī)療教育等領(lǐng)域都有廣泛的應(yīng)用。
[0005] 然而，現(xiàn)有的多視點無鏡立體圖像渲染技術(shù)還存在渲染計算效率不高，成本昂貴， 分辨率低等問題。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種多視點無鏡立體圖像渲染 方法和系統(tǒng)。其特征主要包括： a. 設(shè)定多視點圖像的相關(guān)參數(shù)，得到適應(yīng)匹配不同顯示設(shè)備不同分辨率的多視點圖 像，并且可以校準多視點圖像的立體視覺效果； b. 對原始圖像數(shù)據(jù)進行縮放處理，處理后保證原始圖像和輸出圖像分辨率一致； c. 對原始圖像數(shù)據(jù)進行去塊效應(yīng)和濾波等處理，用以保留完整的圖像邊緣信息和對應(yīng) 的準確圖像深度信息； d. 對深度信息進行分層平滑，再分別計算出每個視點相對應(yīng)的深度信息以便后面多視 點圖像渲染模塊使用； e. 對預(yù)處理圖像深度信息進行三維重建，生成N視點圖像； f. 按照多視點合成的映射方式來合成最終的多視點圖像。
[0007] 該系統(tǒng)包括:輸入模塊，圖像數(shù)據(jù)預(yù)處理模塊，多視點無鏡立體圖像渲染模塊，輸 出豐吳塊。
[0008] 根據(jù)本發(fā)明的一個實例中，所述輸入模塊是用來接收并存儲圖像數(shù)據(jù)的模塊。輸 入模塊存儲圖像的原始序列圖和對應(yīng)的深度序列圖像數(shù)據(jù)。
[0009] 根據(jù)本發(fā)明的一個實例中，所述的圖像數(shù)據(jù)預(yù)處理模塊包含了多視點參數(shù)單元， 圖像縮放單元，去塊效應(yīng)單元，深度圖預(yù)處理單元。圖像數(shù)據(jù)預(yù)處理模塊將輸入圖像數(shù)據(jù)經(jīng) 過預(yù)處理得到渲染多視點圖像的參考信息，并對參考信息進一步篩選用以后面多視點渲染 模塊使用。
[0010] 根據(jù)本發(fā)明的一個實例中，所述的多視點參數(shù)單元可以設(shè)定多視點圖像的相關(guān)參 數(shù)，得到適應(yīng)匹配不同顯示設(shè)備不同分辨率的多視點圖像，并且可以校準多視點圖像的立 體視覺效果。
[0011] 根據(jù)本發(fā)明的一個實例中，所述的圖像縮放單元可以對原始圖像數(shù)據(jù)進行縮放處 理，處理后保證原始圖像和輸出圖像分辨率一致。
[0012] 由于在圖像或視頻壓縮編碼中普遍存在塊效應(yīng)和噪聲等問題，所以圖像數(shù)據(jù)預(yù)處 理模塊需要進行去塊效應(yīng)和濾波等處理，用以保留完整的圖像邊緣信息和準確的圖像深度 信息。所以圖像數(shù)據(jù)預(yù)處理模塊中在多視點參數(shù)單元后，需要去塊效應(yīng)單元和深度圖預(yù)處 理單元。
[0013] 根據(jù)本發(fā)明的一個實例中，所述的去塊效應(yīng)單元可以有效去除圖片和視頻壓縮中 出現(xiàn)的塊效應(yīng)現(xiàn)象。去塊效應(yīng)單元將原始圖像數(shù)據(jù)劃分為塊的原始圖像塊。確定對每一塊 單獨的塊效應(yīng)強度，根據(jù)強度來設(shè)置相應(yīng)的去塊效應(yīng)濾波器，來對每一塊原始圖像塊進行 濾波。去塊效應(yīng)單元可以根據(jù)不同的強度自適應(yīng)去除原始數(shù)據(jù)中出現(xiàn)的塊效應(yīng)現(xiàn)象，以獲 得更加準確的圖像數(shù)據(jù)信息。
[0014] 根據(jù)本發(fā)明的一個實例中，所述的深度圖預(yù)處理單元可以對輸入數(shù)據(jù)中的深度信 息進行進一步優(yōu)化以滿足多視點圖像的渲染。深度圖預(yù)處理單元提取深度信息，對深度信 息進行分層平滑，再分別計算出每個視點相對應(yīng)的深度信息以便后面多視點圖像渲染模塊 使用。
[0015] 根據(jù)本發(fā)明的一個實例中，所述多視點無鏡立體渲染模塊對預(yù)處理后的圖像數(shù)據(jù) 進行計算，最終生成滿足觀看者需求的多視點圖像視頻。多視點圖像渲染模塊包含了視差 重建單元和視差渲染合成單元。多視點渲染模塊可以渲染出N個視點的立體圖像，N可以是 常見的4,5,7,8,9等各種多視點數(shù)。
[0016] 根據(jù)本發(fā)明的一個實例中，所述的視差重建單元可以對預(yù)處理圖像深度信息進行 三維重建。
[0017] 如果要生成N視點圖像，則總共需要有N個不同視點的虛擬視圖，視差重建單元則 重建出N個視點的深度信息。按照基于深度圖繪制方法確定深度信息相對每個視差的行相 對位移，視差重建單元重建出多個視點的深度信息，然后再對每個視點的深度信息中的不 完整信息進行圖像修復(fù)，最終重建出完整的視差信息。
[0018] 據(jù)本發(fā)明的一個實例中，所述的視差渲染合成單元可以根據(jù)重建的視差信息渲染 出不同視點的虛擬圖像，再按照多視點合成的映射方式來合成最終的多視點圖像。
[0019] 據(jù)本發(fā)明的一個實例中，所述的輸出模塊可以將多視點圖像輸出給3D顯示設(shè)備， 輸出模塊可以實時的將滿足不同分辨率的多視點圖像進行排列，輸出多視點圖像數(shù)據(jù)。
[0020] 本發(fā)明所要解決的技術(shù)問題:提供一種多視點無鏡立體圖像渲染方法和系統(tǒng)。該 系統(tǒng)能夠提供一種高效的實時多視點圖像渲染技術(shù)，支持大部分圖像數(shù)據(jù)輸入輸出，滿足 不同分辨率的多視點圖像渲染，集成度高成本低廉。
【附圖說明】
[0021] 下面結(jié)合附圖和具體例子對本發(fā)明作進一步詳細的描述。
[0022] 附圖1為本發(fā)明實例中的實施多視點無鏡立體圖像渲染系統(tǒng)的結(jié)構(gòu)示意圖。
[0023] 附圖2為本發(fā)明實例中的實施圖像數(shù)據(jù)預(yù)處理模塊的示意圖。
[0024] 附圖3為本發(fā)明實例中的實施多視點無鏡立體渲染模塊的示意圖。
【具體實施方式】
[0025]下面結(jié)合附圖和實施例對本發(fā)明作進一步詳細說明。
[0026]圖1中的101模塊是輸入模塊，輸入模塊首先獲取圖像Img和圖像所對應(yīng)的深度信 息Dep。圖像和深度信息可以是任意分辨率，圖像和深度信息也可以是各種常見排列方式， 例如左右拼，上下拼等。
[0027]圖1中的102模塊是圖像數(shù)據(jù)預(yù)處理模塊，本模塊是對圖像數(shù)據(jù)做預(yù)處理:在圖像 數(shù)據(jù)預(yù)處理模塊中有4個單元:多視點參數(shù)單元，圖像縮放單元，去塊效應(yīng)單元，深度圖預(yù)處 理單元。
[0028]圖2中的201模塊是對深度圖進行去塊效應(yīng)，圖3中模塊301是將原始深度圖Dep劃 分為塊的深度圖像塊，302中計算每一塊的塊效應(yīng)強度和塊邊緣強度，其中是塊的水平梯 度，是塊內(nèi)像素均值，其中是邊緣強度系數(shù)，i是塊內(nèi)水平像素總數(shù)，是深度信息，是塊內(nèi)深 度值平均落差。
[0029] 然后303根據(jù)判斷每個塊是否是潛在的塊效應(yīng)邊緣，如果不是塊效應(yīng)邊緣那么對 這個塊內(nèi)進行中值濾波305,如果是塊效應(yīng)邊緣那么進行下一步304。304中根據(jù)強度設(shè)置相 應(yīng)的去塊效應(yīng)濾波器，對每一塊原始深度圖像塊進行濾波，如果是弱塊強度那么進行弱濾 波306,如果是強塊強度那么進行強濾波307。
[0030] 圖2中模塊202是深度圖的層內(nèi)平滑，利用一階微分算子進行邊緣檢測可以將深度 圖劃分為不同的深度層，利用邊緣檢測將分為η層，得到不同層次的深度信息，然后對不同 深度層內(nèi)進行平滑濾波，最后得到層次分明的深度信息。
[0031] 預(yù)處理后的深度圖通過圖1中103模塊重建渲染出滿足要求的多視差深度圖：對于 生成多視點視頻，總共需要有V個視點圖像，則重建出V個視點的深度信息。設(shè)置視差偏移參 數(shù)scale，按照基于深度圖繪制方法確定深度信息相對每個視差的行相對位移w，重建出多 個視點的深度圖，其中F(i)為第i個視差的相對偏移系數(shù)，就是重建的多視點深度信息。 [0032]圖1中104模塊是對多視差深度圖進行后處理。401在中依次統(tǒng)計空洞區(qū)域并標記。 402然后對標記的區(qū)域檢測邊緣，如果不是邊緣那么繼續(xù)檢測下一個點，如果是邊緣那么再 在403中判斷當前區(qū)域是否為背景區(qū)域。如果是背景區(qū)域，404中根據(jù)圖像的深度值約束方 程得到相對偏移的深度信息，以此來填充空洞區(qū)域。其中是待修復(fù)信息的參考點偏移量，是 橫軸上點X與最近參考點的偏移量，是縱軸上y與最近參考點的偏移量，step是深度信息零 平面。如果不是背景區(qū)域，那么對深度值進行重采樣405,采用三次卷積內(nèi)插法可以得到平 滑且準確的深度信息。
[0033]圖1中105模塊是根據(jù)處理后的深度信息合成多視點無鏡立體圖像。由之前得到的 深度信息按照多視點合成的映射方式來合成最終的多視點無鏡立體圖像。
【主權(quán)項】
1. 一種多視點無鏡立體圖像渲染方法和系統(tǒng)，其特征包括： a. 設(shè)定多視點圖像的相關(guān)參數(shù)，得到適應(yīng)匹配不同顯示設(shè)備不同分辨率的多視點圖 像，并且可以校準多視點圖像的立體視覺效果； b. 對原始圖像數(shù)據(jù)進行縮放處理，處理后保證原始圖像和輸出圖像分辨率一致； c. 對原始圖像數(shù)據(jù)進行去塊效應(yīng)和濾波等處理，用以保留完整的圖像邊緣信息和對應(yīng) 的準確圖像深度信息； d. 對深度信息進行分層平滑，再分別計算出每個視點相對應(yīng)的深度信息以便后面多視 點圖像渲染模塊使用； e. 對預(yù)處理圖像深度信息進行三維重建，生成N視點圖像； f. 按照多視點合成的映射方式來合成最終的多視點圖像。2. 如權(quán)利要求1所述的一種多視點無鏡立體圖像渲染方法和系統(tǒng)，其特征為：步驟a中 獲取匹配不同顯示設(shè)備不同分辨率的多視點圖像相關(guān)參數(shù)時，首先獲取圖像Img和圖像所 對應(yīng)的深度信息Dep，原始圖像和對應(yīng)的深度信息可以是任意分辨率，其可按照左右或上下 拼接格式進行排列。3. 如權(quán)利要求1所述的一種多視點無鏡立體圖像渲染方法和系統(tǒng)，其特征為：步驟c中 對原始圖像進行塊效應(yīng)和濾波處理時，將原始深度圖Dep劃分為m*?塊的深度圖像塊，302 中計算每一塊的塊效應(yīng)強度block(取II)和塊邊緣強度sdgefm, η)。4. 如權(quán)利要求1所述的一種多視點無鏡立體圖像渲染方法和系統(tǒng)，其特征為：步驟d中 對深度信息進行分層處理時，利用一階微分算子進行邊緣檢測可以將深度圖劃分為不同的 深度層，S:__是深度圖的深度信息，利用邊緣檢測將分為η層，得到不同層次的深度 信息，然后對不同深度層內(nèi)進行平滑濾波。5. 如權(quán)利要求1所述的一種多視點無鏡立體圖像渲染方法和系統(tǒng)，其特征為：步驟e中 對預(yù)處理的深度圖像進行三維重建時，將多個視點的深度圖中依次統(tǒng)計空洞區(qū)域 并標記，然后對標記的區(qū)域檢測邊緣，如果不是邊緣那么繼續(xù)檢測下一個點，如果是邊緣那 么再判斷當前區(qū)域是否為背景區(qū)域;如果是背景區(qū)域，中根據(jù)圖像的深度值約束方程得到 相對偏移的深度信息，以此來填充空洞區(qū)域。6. 如權(quán)利要求1所述的一種多視點無鏡立體圖像渲染方法和系統(tǒng)，其特征為：步驟f由 之前得到的深度信息進行多視點虛擬視點繪制，然后按照多視點合成的映射方式來合成最 終的多視點圖像。
【文檔編號】H04N13/00GK105898266SQ201510819863
【公開日】2016年8月24日
【申請日】2015年11月24日
【發(fā)明人】王吉林
【申請人】徐州維林苑文化傳媒有限公司