專利名稱：一種圖像處理方法、編解碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像編解碼處理技術(shù)。
背景技術(shù)：
在多視圖像編解碼技術(shù)領(lǐng)域中，經(jīng)常需要利用參考圖像對(duì)當(dāng)前編解碼圖像進(jìn)行編解碼 處理，以提高編解碼性能。但是，在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中，由于在 進(jìn)行視間預(yù)測(cè)時(shí)，對(duì)于參考視的圖像并不進(jìn)行優(yōu)化處理而是直接用來(lái)作為編解碼過(guò)程中的 參考圖像。這種實(shí)現(xiàn)方法對(duì)于編碼一些不關(guān)鍵或不重要的視圖像時(shí)仍需使用較多的比特?cái)?shù) 來(lái)編碼，并且也會(huì)占用比較多的編碼和解碼資源。
另外，對(duì)于攝像機(jī)移動(dòng)的情況，攝像機(jī)移動(dòng)之后，首先拍攝到的幾幀圖像只能和攝像 機(jī)移動(dòng)之前拍攝的圖像互相參考。但是，在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中， 由于攝像機(jī)移動(dòng)前后的圖像可能差別較大，因此，在攝像機(jī)移動(dòng)前后的圖像互為參考時(shí)， 預(yù)測(cè)的效果會(huì)較差。這種情況下前后內(nèi)容聯(lián)系不緊密的圖像仍使用原始分辨率或尺寸進(jìn)行 編碼也會(huì)導(dǎo)致占用較多的比特?cái)?shù)，影響編碼效率，并且也會(huì)占用比較多的編碼和解碼資 源。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種圖像處理方法、編解碼方法及裝置，從而可以提高視頻編解碼 的性能。
一種圖像處理方法，包括
獲取至少兩個(gè)視的圖像和攝像機(jī)參數(shù)信息，以及物體的深度信息；
根據(jù)所述至少兩個(gè)視的圖像、攝像機(jī)參數(shù)信息和物體的深度信息對(duì)至少一個(gè)視的圖像
進(jìn)行更新。
一種圖像處理裝置，包括
圖像獲取單元，用于獲取至少兩個(gè)視的圖像；
8參數(shù)獲取單元，用于獲取物體的深度信息及各個(gè)視的攝像機(jī)參數(shù)信息； 更新單元，根據(jù)所述參數(shù)獲取單元獲取的攝像機(jī)參數(shù)信息和物體的深度信息有所述圖 像獲取單元獲取的至少兩個(gè)視的圖像對(duì)至少-'個(gè)視的圖像進(jìn)行更新處理。 一種編碼方法，包括
獲取編碼當(dāng)前視的圖像的參考圖像，采用上述圖像處理方法對(duì)所述參考圖像進(jìn)行處 理，獲得輸出圖像；
在對(duì)當(dāng)前視的圖像進(jìn)行編碼過(guò)程中，采用所述輸出圖像作為參考圖像進(jìn)行編碼操作。 一種編碼裝置，包括
參考圖像獲取單元，用于獲取編碼當(dāng)前視的圖像的參考圖像；
上述圖像處理裝置，用于對(duì)所述參考圖像獲取單元獲取的參考圖像進(jìn)行處理，獲得輸 出圖像；
編碼單元，用于在對(duì)當(dāng)前視的圖像進(jìn)行編碼過(guò)程中，采用所述圖像處理單元提供的輸 出圖像作為參考圖像進(jìn)行編碼操作。 一種解碼方法，包括
獲取待解碼視的圖像的參考圖像，采用上述圖像處理方法對(duì)所述參考圖像進(jìn)行處理， 獲得輸出圖像；
在對(duì)當(dāng)前視的圖像進(jìn)行解碼過(guò)程中，采用所述輸出圖像作為參考圖像進(jìn)行解碼操作。 一種解碼裝置，包括
參考圖像獲取單元，用于獲取解碼當(dāng)前視的圖像的參考圖像；
上述圖像處理裝置，用于對(duì)所述參考圖像獲取單元獲取的參考圖像進(jìn)行處理，獲得輸 出圖像；
解碼單元，用于在對(duì)當(dāng)前視的圖像進(jìn)行解碼過(guò)程中，采用所述圖像處理單元提供的輸 出圖像作為參考圖像進(jìn)行解碼操作。
一種實(shí)現(xiàn)圖像上采樣的方法，包括 獲取需要進(jìn)行上采樣處理的圖像；
將該圖像中的整像素位置的像素保留在輸出圖像中，對(duì)于該圖像中的亞像素位置，則 采用上述圖像處理方法進(jìn)行處理，獲得該亞像素位置對(duì)應(yīng)的像素值；
將獲得的亞像素位置對(duì)應(yīng)的像素值添加到輸出圖像中，獲得經(jīng)過(guò)上采樣處理后的圖像。
一種實(shí)現(xiàn)圖像上采樣的裝置，包括
9圖像獲取單元，用于獲取需要進(jìn)行上采樣處理的圖像；
整像素處理單元，用于將所述圖像獲取單元獲取的圖像屮的整像素位置的像素保留在 輸出圖像中；
上述圖像處理裝置，用于對(duì)于所述圖像獲取單元獲取的圖像中的亞像素位置，進(jìn)行處 理，獲得該亞像素位置對(duì)應(yīng)的像素值；
采樣結(jié)果生成單元，用于將所述圖像處理裝置獲得的亞像素位置對(duì)應(yīng)的像素值添加到 所述整像素處理單元獲得的輸出圖像中，獲得經(jīng)過(guò)上采樣處理后的圖像。
由上述本發(fā)明實(shí)施例提供的技術(shù)方案可以看出，本發(fā)明實(shí)施例可以用于根據(jù)獲取圖像 的攝像機(jī)參數(shù)、物體的深度信息及至少兩個(gè)視的圖像對(duì)至少一個(gè)視的圖像進(jìn)行更新處理， 以獲得編碼或解碼過(guò)程中期望的輸出圖像。由于使用了深度信息和攝像機(jī)參數(shù)，兩個(gè)視之 間圖像內(nèi)容的相關(guān)性能夠較精確獲得。通過(guò)上述處理可以使得當(dāng)前待編碼圖像或待解碼圖 像的部分或全部?jī)?nèi)容使用其它視的圖像進(jìn)行預(yù)測(cè)，從而減少當(dāng)前待編碼圖像的編碼比特 數(shù)，降低待編解碼圖像的計(jì)算負(fù)擔(dān)。


圖l為本發(fā)明實(shí)施例的實(shí)現(xiàn)原理示意圖； 圖2為本發(fā)明實(shí)施例的應(yīng)用場(chǎng)景示意圖3為本發(fā)明實(shí)施例中的攝像機(jī)移動(dòng)過(guò)程示意圖4為本發(fā)明實(shí)施例提供的圖像處理裝置的結(jié)構(gòu)示意圖5為本發(fā)明實(shí)施例提供的編碼裝置結(jié)構(gòu)示意圖6為本發(fā)明實(shí)施例提供的解碼裝置結(jié)構(gòu)示意圖7為本發(fā)明實(shí)施例提供的實(shí)現(xiàn)圖像上采樣的裝置結(jié)構(gòu)示意圖8為本發(fā)明實(shí)施例中的上采樣示意圖9為本發(fā)明實(shí)施例中的下采樣示意圖。
具體實(shí)施例方式
本發(fā)明實(shí)施例如圖l所示，具體可以通過(guò)利用物體的深度信息和各個(gè)視的攝像機(jī)參數(shù)信 息，對(duì)至少一個(gè)視的圖像進(jìn)行上采樣或下采樣等更新處理，以獲得符合預(yù)定要求的更新后 的圖像；例如，使得更新后的圖像能夠很好地滿足視間預(yù)測(cè)的需要，或者，使得更新后的圖像能夠滿足各個(gè)視不同空間分辨率的顯不需要，或者，實(shí)現(xiàn)攝像機(jī)移動(dòng)前后的圖像之間 的轉(zhuǎn)換等。參照?qǐng)D1所示，其屮，相應(yīng)的輸入圖像可以為更新參照視的圖像，相應(yīng)的輸出圖 像則可以為更新后的圖像，更新后的圖像在更新前則稱為待更新視的圖像。輸入圖像可以 是一個(gè)視的圖像，也可以是多個(gè)視對(duì)應(yīng)的多個(gè)圖像，輸出圖像可以是一個(gè)視的圖像(一對(duì) 一，或多對(duì)一)，也可以是多個(gè)視的圖像(多對(duì)多)，即當(dāng)前待更新視的圖像可以從輸入 視的圖像中獲得信息以更新當(dāng)前待更新視的圖像。如果是多對(duì)多或多對(duì)一的情況，則待更 新的視可以是輸入視中的任一視，也可以是其他視。所述待更新的圖像還可以是圖像中的 內(nèi)容會(huì)發(fā)生變化的圖像，具體可為圖像中部分點(diǎn)或圖像塊像素值發(fā)生變化但更新的圖像尺 寸與更新前的圖像尺寸一致。
以下對(duì)相關(guān)的術(shù)語(yǔ)做一下介紹
上述上采樣的定義為假設(shè)原始假設(shè)圖像原始尺寸為MxN，那么上采樣后，圖像尺寸縮 小為raM x nN， ra， n為自然數(shù)。如圖8所示，m = n = 2，則原圖像每?jī)蓚€(gè)像素(圖中黑色 點(diǎn))之間要插入一個(gè)像素(圖中白色點(diǎn))，插入的像素值由原圖像的像素值計(jì)算所得。
上述下采樣的定義為假設(shè)圖像原始尺寸為MxN，那么下采樣后，圖像尺寸縮小為M/m x N/n, m， n為自然數(shù)。如圖9所示，m=n = 2，則橫坐標(biāo)和縱坐標(biāo)為21 (l為0， 1, 2…) 的像素點(diǎn)(圖中黑色點(diǎn))保留，其他位置的點(diǎn)(圖中白色點(diǎn))則丟棄。
通過(guò)下采樣后再編碼，很大程度降低了多視編碼的復(fù)雜度。下采樣后再進(jìn)行視間預(yù)測(cè) 時(shí)，參考的是其他視的圖像。作為參考視的圖像，其大小可能視原來(lái)的MxN,也可能是下采 樣后的M/m x N/n, m， n為自然數(shù)。目前的多視編碼方法對(duì)參考視圖像不作任何處理，直 接用作參考。
本發(fā)明實(shí)施例中，物體的深度信息是指能夠提供或者能夠推導(dǎo)出空間物體和攝像機(jī)之 間距離的信息；例如，可以采用8位的深度圖來(lái)表示物體的深度信息，具體可以為通過(guò)均 勻量化的方式將空間物體和攝像機(jī)之間距離轉(zhuǎn)換成為0 — 255之間的整數(shù)，并用8位二進(jìn)制數(shù) 表示，每個(gè)視對(duì)應(yīng)一張深度圖；而且，相應(yīng)的深度信息，可以是原始的深度信息，也可以 是編碼重建之后的深度信息。該物體的深度信息可以由實(shí)際測(cè)量獲得，也可以通過(guò)算法估 算獲得。
本發(fā)明實(shí)施例中，攝像機(jī)參數(shù)則包括外部參數(shù)(Extrinsic parameters)、內(nèi)部參 數(shù)(Intrinsic parameters)或光學(xué)平面參數(shù)(Sensor plane parameters)。其中，夕卜部 參數(shù)又包括旋轉(zhuǎn)矩陣R、平移矩陣T ，內(nèi)部參數(shù)包括焦距(Focal length)、畸變參數(shù)(例 如徑向畸變(Radical distortion))和光學(xué)平移量，光學(xué)平面參數(shù)則包括縱橫比(aspect ratio)禾口焦點(diǎn)(principal point)。
其屮，攝像機(jī)模型(即攝像機(jī)參數(shù))涉及世界坐標(biāo)系(world coordinated相機(jī)坐標(biāo) 系(camera coordinate)及成像平面(imaging plane)等概念。世界坐標(biāo)系是指以三維空間 中一事先定義好的三維點(diǎn)為坐標(biāo)系原點(diǎn)，以一事先定義好的方向?yàn)閄軸(或?yàn)閅軸，Z軸也可 以)的三維坐標(biāo)系；相機(jī)坐標(biāo)系是指以攝像機(jī)(或照相機(jī))光學(xué)中心為原點(diǎn)，通常以光學(xué) 主軸為Z軸的三維坐標(biāo)系；光學(xué)平面是指攝像機(jī)(或照相機(jī))的光學(xué)成像平面，通常情況下 與相機(jī)坐標(biāo)系的XY平面重合，但其坐標(biāo)系原點(diǎn)不一定與相機(jī)坐標(biāo)系原點(diǎn)重合。
相應(yīng)的攝像機(jī)參數(shù)中的旋轉(zhuǎn)矩陣R反映了世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)關(guān)系，矩 陣R包含了三個(gè)分量Rx， Ry和Rz，其中Rx為世界坐標(biāo)系與相機(jī)坐標(biāo)系在X軸的旋轉(zhuǎn)角度，Ry 為世界坐標(biāo)系與相機(jī)坐標(biāo)系在Y軸的旋轉(zhuǎn)角度，Rz為世界坐標(biāo)系與相機(jī)坐標(biāo)系在Z軸的旋轉(zhuǎn) 角度。
相應(yīng)的平移矩陣T反映了世界坐標(biāo)系與相機(jī)坐標(biāo)系的平移關(guān)系，其包含了Tx， Ty和Tz三 個(gè)分量，其中Tx為世界坐標(biāo)系與相機(jī)坐標(biāo)系在X軸的平移量，Ty為世界坐標(biāo)系與相機(jī)坐標(biāo)系 在Y軸的平移量，Tz為世界坐標(biāo)系與相機(jī)坐標(biāo)系在Z軸的平移量。由于普通攝像機(jī)(或相 機(jī))成像時(shí)其在成像平面X軸和Y軸的每個(gè)像素點(diǎn)所占用單位長(zhǎng)度不完全一致，為保證計(jì)算 精確度，引入了基于成像平面X軸的焦距fx和基于成像平面Y軸的焦距fy。
攝像機(jī)參數(shù)中的畸變參數(shù)可表示為s，通常情況下存在于帶有光學(xué)球面的攝像機(jī)(或相 機(jī)中)。光學(xué)成像平面原點(diǎn)與相機(jī)坐標(biāo)系XY平面原點(diǎn)的偏移量記為px和py。攝像機(jī)的內(nèi)部 參數(shù)和光學(xué)參數(shù)可一起表示為攝像機(jī)的內(nèi)部參數(shù)矩陣K。
上述攝像機(jī)參數(shù)可以矩陣形式表示如下
K =
0 炒 00 1
其中，&，i ，分別為世界坐標(biāo)系繞x， y， z軸的旋轉(zhuǎn)矩陣，其表現(xiàn)形式可以為:
1 0 0 0 cos ^ — sin《 0 sin(9v cos《
12<formula>formula see original document page 13</formula>
根據(jù)上述攝像機(jī)參數(shù)便可以實(shí)現(xiàn)本發(fā)明實(shí)施例。
導(dǎo)致同一時(shí)刻兩視之間產(chǎn)生視差矢量的原因?yàn)閮蓚€(gè)攝像機(jī)參數(shù)的差異，如攝像機(jī)擺放 的位置以及攝像機(jī)的內(nèi)部參數(shù)等不同。在獲知物體的深度信息和攝像機(jī)參數(shù)的情況下，則 可以通過(guò)立體成像和投射原理計(jì)算獲得當(dāng)前視的某個(gè)點(diǎn)在其他視的映射位置，進(jìn)而求出其 他視對(duì)應(yīng)位置的像素值，以實(shí)現(xiàn)針對(duì)圖像的濾波(即更新)處理獲得期望的輸出圖像。
本發(fā)明實(shí)施例中，將具體以輸入視的圖像作為更新參照視的圖像，輸出視的圖像作為 待更新視的圖像，對(duì)各處理過(guò)程的具體實(shí)現(xiàn)進(jìn)行說(shuō)明。
本發(fā)明實(shí)施例具體可以采用的更新處理包括根據(jù)所述攝像機(jī)參數(shù)信息、物體的深度 信息及物體在輸出視的圖像中的二維坐標(biāo)計(jì)算物體的三維坐標(biāo)；利用所述攝像機(jī)參數(shù)信息 和所述三維坐標(biāo)計(jì)算物體在輸入視的圖像中的二維坐標(biāo)，并確定該二維坐標(biāo)對(duì)應(yīng)的像素 值；再根據(jù)該二維坐標(biāo)對(duì)應(yīng)的像素值確定物體在輸出視的圖像中對(duì)應(yīng)的二維坐標(biāo)的像素 值，并更新輸出視的圖像中對(duì)應(yīng)的二維坐標(biāo)的像素值，獲得所述處理后的輸出圖像?？蛇x 地，相應(yīng)的輸出圖像可用于視圖像間的預(yù)測(cè)及同一視中不同圖像之間的預(yù)測(cè)。
當(dāng)更新前輸出圖像的尺寸與更新后輸出圖像尺寸不一致時(shí)，將更新前輸出圖像的尺寸 擴(kuò)展至與更新后輸出圖像尺寸一致。具體方法為計(jì)算當(dāng)前更新后輸出圖像尺寸與更新前 輸出圖像的尺寸的比例系數(shù)，將更新前圖像中已有像素點(diǎn)坐標(biāo)乘上該比例系數(shù)，將更新前 輸出圖像中相應(yīng)像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐標(biāo)所對(duì)應(yīng)的位置。若計(jì)算 所得的坐標(biāo)值不為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入規(guī)則取整。例如，更新前 輸出圖像尺寸為MxN，更新后輸出圖像為aMxbN，則更新后與更新前輸出圖像橫縱方向的比 例分別為a和b。若更新前輸出圖像上一點(diǎn)坐標(biāo)為(u， v)，其對(duì)應(yīng)的像素值為G，則擴(kuò)展后的 圖像中坐標(biāo)為(gu， gv)的點(diǎn)的像素值為G，若gu或gv不為整數(shù)，則對(duì)其進(jìn)行四舍五入取整。當(dāng)更新前輸出圖像的尺寸若與其它視圖像尺寸不一致時(shí)，將更新前輸出圖像的尺寸擴(kuò) 展至與其它視圖像尺寸一致。具體方法為計(jì)算其它視圖像尺寸與更新前輸出圖像的尺寸 的比例系數(shù)，將更新前圖像中已有像素點(diǎn)坐標(biāo)乘.卜.該比例系數(shù)，將更新前輸出圖像中相應(yīng) 像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐標(biāo)所對(duì)應(yīng)的位置。若計(jì)算所得的坐標(biāo)值不 為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入規(guī)則取整。例如，更新前輸出圖像尺寸為
MxN，其它視圖像為aMxbN，則其它視圖像與更新前輸出圖像橫縱方向的比例分別為a和b。 若更新前輸出圖像上一點(diǎn)坐標(biāo)為(u， v)，其對(duì)應(yīng)的像素值為G，則擴(kuò)展后的圖像中坐標(biāo)為 (gu, gv)的點(diǎn)的像素值為G，若gu或gv不為整數(shù)，則對(duì)其進(jìn)行四舍五入取整。
上述計(jì)算所得的物體的三維坐標(biāo)反映的為物體的各點(diǎn)之間在三維空間的實(shí)際距離或在 三維空間的近似距離。上述三維坐標(biāo)還可以為物體的點(diǎn)在三維空間的實(shí)際位置或近似位 置。這里所說(shuō)的三維空間可以表示為前述的世界坐標(biāo)系，也可以表示為任意數(shù)學(xué)上使用的 三維坐標(biāo)系。
上述物體的深度信息可以為三維空間中物體各點(diǎn)距離攝像機(jī)的實(shí)際距離；也可以為三 維空間中物體各點(diǎn)距離攝像機(jī)的近似值。物體的深度信息可以表示為一個(gè)灰度值為0-255的 深度圖，其大小與視圖像一致。深度圖中每一點(diǎn)的灰度值反映了視圖像中對(duì)應(yīng)點(diǎn)所對(duì)應(yīng)的 在三維空間中的距離攝像機(jī)的遠(yuǎn)近。例如，深度圖中灰度值為255的點(diǎn)可代表示視圖像中對(duì) 應(yīng)點(diǎn)所對(duì)應(yīng)的在三維空間中的點(diǎn)距離攝像機(jī)最近；深度圖中灰度值為O的點(diǎn)可代表示視圖像 中對(duì)應(yīng)點(diǎn)所對(duì)應(yīng)的在三維空間中的點(diǎn)距離攝像機(jī)最遠(yuǎn)。
上述更新處理過(guò)程，可以用于計(jì)算物體在輸出視的圖像中的所有點(diǎn)或圖像塊的像素 值，或者，也可以用于計(jì)算物體在輸出視的圖像中的部分點(diǎn)或部分圖像塊的像素值。可選 地，相應(yīng)的在計(jì)算物體在輸出視的圖像中的部分點(diǎn)或部分圖像塊的像素值時(shí)，相應(yīng)的分點(diǎn) 或部分圖像塊可以按等距離間隔方式取自于輸出視的圖像，即輸出視圖像中的點(diǎn)的橫坐標(biāo) 或列坐標(biāo)每隔一定點(diǎn)或圖像塊即有一點(diǎn)或一圖像塊使用相應(yīng)的更新過(guò)程計(jì)算其所對(duì)應(yīng)的像 素值。其中，圖像塊的二維坐標(biāo)可以為圖像塊左上角點(diǎn)對(duì)應(yīng)的二維坐標(biāo)；圖像塊的三維坐 標(biāo)可以為圖像塊左上角點(diǎn)在三維空間坐標(biāo)系中對(duì)應(yīng)的坐標(biāo)值。
本發(fā)明實(shí)施例中，攝像機(jī)參數(shù)可以為通用針孔攝像機(jī)模型中的參數(shù)，或者，也可以為 其它常用攝像機(jī)模型中的參數(shù)。
本發(fā)明實(shí)施例中的物體的深度信息可表示為一幅像素值為0 255的灰度圖，灰度中每 一點(diǎn)對(duì)應(yīng)視圖像中每一點(diǎn)或每一個(gè)圖像塊的深度信息?；叶戎邢袼刂禐镺 (或?yàn)?55)表示 其所對(duì)應(yīng)的點(diǎn)或圖像塊在三維空間的位置離攝像機(jī)距離最近；灰度中像素值為255 (或?yàn)?br> 140)表示其所對(duì)應(yīng)的點(diǎn)或圖像塊在三維空間的位置離攝像機(jī)距離最遠(yuǎn)。且相應(yīng)的點(diǎn)在三維空 間與攝像機(jī)的距離可表示為歐兒里德距離，或數(shù)學(xué)屮常用的距離度量單位。
本發(fā)明實(shí)施例中的三維坐標(biāo)則對(duì)應(yīng)物體在-坐標(biāo)系中的坐標(biāo)值，該坐標(biāo)系為編碼前已 確定的坐標(biāo)系；相應(yīng)的所求得的三維坐標(biāo)反映的是視圖像中多數(shù)點(diǎn)之間的近似三維空間位 置關(guān)系。
進(jìn)一步地，木發(fā)明實(shí)施例提供的針對(duì)輸入圖像的更新處理過(guò)程具體可以包括以下步
驟
步驟l，讀取各個(gè)視的攝像機(jī)參數(shù)。
步驟2，利用各個(gè)視的攝像機(jī)參數(shù)計(jì)算求出各個(gè)視的映射矩陣；
其中，所述的映射矩陣為各個(gè)視對(duì)應(yīng)的視圖像中的各點(diǎn)的二維坐標(biāo)與三維坐標(biāo)之間映 射轉(zhuǎn)換系數(shù)，即通過(guò)該映射矩陣可以在已知視圖像中某點(diǎn)(被攝物體對(duì)應(yīng)的點(diǎn))的二維坐 標(biāo)及該點(diǎn)對(duì)應(yīng)的物體在空間內(nèi)的三維坐標(biāo)中的一分量，可以計(jì)算獲得三維坐標(biāo)的其他分 量，或者，通過(guò)該映射矩陣可以在已經(jīng)視圖像中某點(diǎn)對(duì)應(yīng)的物體在空間內(nèi)的三維坐標(biāo)各分 量的情況下，能夠計(jì)算獲得對(duì)應(yīng)的該點(diǎn)在視圖像中的二維坐標(biāo)值；
所述映射矩陣的計(jì)算采用的計(jì)算公式可以為P =《'[A I ，在該計(jì)算公式中，K 為攝像機(jī)內(nèi)部參數(shù)矩陣，R為攝像機(jī)的旋轉(zhuǎn)參數(shù)矩陣，T為攝像機(jī)的平移參數(shù)矩陣；
步驟3，利用求出的映射矩陣，將輸出視圖像(即輸出圖像)中的已知其深度信息的某 一點(diǎn)(其在當(dāng)前視下的二維坐標(biāo)已知)映射成為立體空間的一個(gè)點(diǎn)，并將該點(diǎn)在輸出視下 的二維坐標(biāo)轉(zhuǎn)換成空間三維坐標(biāo)；
步驟4，利用輸入視的映射矩陣，將上述點(diǎn)的空間三維坐標(biāo)，轉(zhuǎn)換成為輸入圖像下的 二維坐標(biāo)；
步驟5，將輸入圖像中的該二維坐標(biāo)對(duì)應(yīng)的像素值賦給輸出圖像的對(duì)應(yīng)坐標(biāo)的點(diǎn)或者將 計(jì)算所得的像素值用于計(jì)算輸出圖像的對(duì)應(yīng)坐標(biāo)的點(diǎn)的像素值，獲得期望的輸出圖像；
其中，若輸入圖像為一個(gè)視的圖像，則將該視(即輸入視)的某一點(diǎn)的像素值賦給輸 出圖像中的對(duì)應(yīng)坐標(biāo)點(diǎn)的像素值；若輸入圖像為多個(gè)視的圖像，則可以將多個(gè)視(即多個(gè) 輸入視)的對(duì)應(yīng)點(diǎn)的像素值加權(quán)平均或進(jìn)行數(shù)學(xué)運(yùn)算，并將加權(quán)平均或進(jìn)行數(shù)學(xué)運(yùn)算后的 值賦給輸出圖像中的對(duì)應(yīng)坐標(biāo)點(diǎn)的像素值；所述的數(shù)學(xué)運(yùn)算可以為加法、減法、乘法、除 法、移位、求冪等數(shù)學(xué)操作的組合。
在上述步驟5中，如果輸出圖像的某一點(diǎn)在輸入視圖像找不到對(duì)應(yīng)點(diǎn)(超出邊界)，或
15者，對(duì)應(yīng)的位置不在整像素位置，則通過(guò)輸入視對(duì)應(yīng)位置周圍點(diǎn)的像素值，計(jì)算得出輸出 圖像屮的某一點(diǎn)的像素值，例如，可以是對(duì)周圍點(diǎn)的像素值加權(quán)后平均，或者，也可以采 用其他計(jì)算方法。例如，當(dāng)前像素點(diǎn)(ul，vl)經(jīng)過(guò)計(jì)算后得到它在參考圖像的對(duì)應(yīng)位置為 (u2，v2)。由于計(jì)算過(guò)程精度可以達(dá)到小數(shù)，此時(shí)，u2， v2可能未必是整數(shù)，那么需要通 過(guò)一定的四舍五入，將u2， v2取整到最近的整象像素或亞象像素上去。如果(u2，v2)對(duì)應(yīng) 位置已經(jīng)超出圖像邊界，那么也需要對(duì)u2， v2進(jìn)行一定的調(diào)整。除了 (u2，v2)對(duì)應(yīng)的是整 像素點(diǎn)且在圖像內(nèi)的情況，其他情況都需要通過(guò)一定的計(jì)算規(guī)則來(lái)獲得(u2， v2)指向位 置的參考像素值。
重復(fù)執(zhí)行上述步驟3、 4、 5，則可以得到各個(gè)輸出圖像中所有各點(diǎn)的像素值，進(jìn)而得到 輸出圖像，從而可選地獲得期望的輸出圖像。
上述處理方法由于直接將相鄰視圖像的像素值經(jīng)簡(jiǎn)單數(shù)學(xué)運(yùn)算后賦值給當(dāng)前點(diǎn)，節(jié)省 了大量的計(jì)算開銷，例如節(jié)省了變換、反變換、量化、反量化模塊的計(jì)算開銷。另外，如 果當(dāng)前時(shí)圖像進(jìn)行下采樣或上采樣后當(dāng)前視圖像所需的編碼比特?cái)?shù)大量減少，從而提高了 編碼效率。
具體地，在本發(fā)明實(shí)施例提供的更新處理過(guò)程中，計(jì)算輸出視的圖像中的點(diǎn)或圖像塊 的像素值及獲得輸出圖像的處理過(guò)程具體可以包括以下任一種實(shí)現(xiàn)方案
(1) 確定輸出視的圖像中一點(diǎn)或一圖像塊的坐標(biāo)，利用輸出視的映射矩陣、物體的深 度信息計(jì)算出該點(diǎn)或圖像塊的三維坐標(biāo)，利用一個(gè)輸入視的映射矩陣和所述三維坐標(biāo)計(jì)算 物體在輸入視中的二維坐標(biāo)，并確定該二維坐標(biāo)對(duì)應(yīng)的像素值；將計(jì)算所得的像素值賦給 所述輸出視圖像中該點(diǎn)或圖像塊，以獲得輸出圖像；
(2) 確定輸出視的圖像中一點(diǎn)或一圖像塊的坐標(biāo)，利用輸出視的映射矩陣、物體的深 度信息計(jì)算出該點(diǎn)或圖像塊的三維坐標(biāo)，利用至少兩個(gè)輸入視的映射矩陣和所述三維坐標(biāo) 計(jì)算物體在輸入視中的二維坐標(biāo)，并確定該二維坐標(biāo)對(duì)應(yīng)的像素值；將計(jì)算所得的像素值 進(jìn)行數(shù)學(xué)運(yùn)算后的值賦給所述輸出視圖像中該點(diǎn)或圖像塊；所述數(shù)學(xué)運(yùn)算可為加法、減 法、乘法、除法、移位、求冪等數(shù)學(xué)操作的組合；
(3) 確定輸出視的圖像中一點(diǎn)或一圖像塊的坐標(biāo)，利用輸出視的映射矩陣、物體的深 度信息計(jì)算出該點(diǎn)或圖像塊的三維坐標(biāo)，利用至少兩個(gè)輸入視的映射矩陣和所述三維坐標(biāo) 計(jì)算物體在輸入視中的二維坐標(biāo)，并確定該二維坐標(biāo)對(duì)應(yīng)的像素值；將計(jì)算所得的像素值 進(jìn)行數(shù)學(xué)運(yùn)算后得到數(shù)值l;對(duì)所述輸出視圖像中該點(diǎn)或圖像塊鄰近的可獲得的點(diǎn)或圖像塊 的像素值進(jìn)行數(shù)學(xué)運(yùn)算得到數(shù)值2;將數(shù)值1與數(shù)值2進(jìn)行數(shù)學(xué)運(yùn)算所得值賦給所述輸出視圖像中該點(diǎn)或圖像塊；所述數(shù)學(xué)運(yùn)算可為加法、減法、乘法、除法、移位、求冪等數(shù)學(xué)操作 的組合。
下面將對(duì)本發(fā)明實(shí)施例應(yīng)用于多視編解碼過(guò)程中的實(shí)現(xiàn)過(guò)程進(jìn)行說(shuō)明。 木發(fā)明實(shí)施例是在已知多視圖像編碼過(guò)程中的物體的深度信息后，根據(jù)所述的深度信
息，以及已知的各個(gè)攝像機(jī)參數(shù)，對(duì)輸入視的圖像進(jìn)行處理，獲得接近于輸出各視原始圖
像的圖像，并應(yīng)用于視間預(yù)測(cè)和解碼后的顯示。
(1) 相應(yīng)的在編碼端的處理包括 確定多視圖像編碼過(guò)程中的物體的深度信息，并根據(jù)所述的深度信息，以及已知的各
攝像機(jī)參數(shù)，計(jì)算獲得輸出各個(gè)視的各個(gè)像素點(diǎn)在輸入視的對(duì)應(yīng)位置，其中
若該對(duì)應(yīng)位置處于輸入視圖像的整像素點(diǎn)上，則直接將輸入視對(duì)應(yīng)點(diǎn)的像素值賦給輸
出視的對(duì)應(yīng)像素點(diǎn)，且若有多個(gè)輸入視，則將多個(gè)輸入視對(duì)應(yīng)點(diǎn)的像素值加權(quán)平均或數(shù)學(xué)
運(yùn)算之后賦給輸出視的對(duì)應(yīng)像素點(diǎn)；
若該對(duì)應(yīng)位置在輸入視找不到對(duì)應(yīng)像素點(diǎn)，或者，不在整像素位置上，則用周圍像素
點(diǎn)的像素值計(jì)算得出對(duì)應(yīng)位置的像素值。
之后，用于進(jìn)行更新處理的濾波器的輸出圖像將被用作視間預(yù)測(cè)時(shí)的參考視；
例如，如果濾波器的輸入視是視1和視2，輸出視是視3，且正在編碼的當(dāng)前視是視3，
則濾波器的輸出圖像被用來(lái)作為當(dāng)前視的參考視，以進(jìn)行下一步的視間預(yù)測(cè)和編碼。
(2) 相應(yīng)地在解碼端的處理過(guò)程包括
在解碼端，同樣要進(jìn)行和編碼端同樣的濾波操作，以視1和視2為輸入視，視3為輸出 視，根據(jù)物體的深度信息和各個(gè)視的攝像機(jī)參數(shù)得到輸出圖像，并以輸出圖像作為參考， 對(duì)視3進(jìn)行解碼操作，最后得到視3解碼重建的圖像。
本發(fā)明實(shí)施例還可以應(yīng)用于解碼端，以對(duì)相應(yīng)的輸入圖像進(jìn)行處理獲得期望的輸出圖 像，相應(yīng)的處理包括
步驟l，接收碼流，解析獲取物體的深度信息及各個(gè)攝像機(jī)參數(shù)，并重建各個(gè)視的圖像。
步驟2，以重建獲得的各個(gè)視圖像中的其中某幾個(gè)視的圖像，以及物體的深度信息及各 個(gè)攝像機(jī)參數(shù)作為濾波器的輸入，對(duì)應(yīng)的輸出視可以為已經(jīng)存在的視，也可以為并沒有解 碼出來(lái)的虛擬視，其中
對(duì)于輸出視為虛擬視的情況根據(jù)所述物體的深度信息，以及已知的各攝像機(jī)參數(shù)，
17計(jì)算獲得輸出視的各個(gè)像素點(diǎn)在輸入視的對(duì)應(yīng)位置若該對(duì)應(yīng)位置處于輸入視圖像的整像 素點(diǎn)上，則直接將輸入視對(duì)應(yīng)點(diǎn)的像素值賦給輸出視的對(duì)應(yīng)像素點(diǎn)，且若有多個(gè)輸入視， 則將多個(gè)輸入視對(duì)應(yīng)點(diǎn)的像素值加權(quán)平均后賦給輸出視的對(duì)應(yīng)像素點(diǎn)；若在輸入視找不到 對(duì)應(yīng)像素點(diǎn)，或者，不在整像素位置上，則用周圍像素點(diǎn)的像素值計(jì)算得出對(duì)應(yīng)位置的像 素值；對(duì)于輸出視為虛擬視情況，相應(yīng)的輸出圖像可以用于作為參考圖像；
對(duì)于輸出視為已經(jīng)存在的視，則解碼端已經(jīng)重建該視的圖像，此時(shí)，若需要對(duì)該視圖 像進(jìn)行上采樣，則需要求出該視圖像整像素中間位置的像素點(diǎn)的像素值(例如，圖8中白色 點(diǎn)位置)，相應(yīng)的求解該圖像視中間位置的像素點(diǎn)的像素值的處理過(guò)程包括根據(jù)物體的 深度信息，以及己知的各攝像機(jī)參數(shù)，計(jì)算獲得輸出該點(diǎn)在輸入視的對(duì)應(yīng)位置，若該對(duì)應(yīng) 位置處于輸入視圖像的整像素點(diǎn)上，則將輸入視對(duì)應(yīng)點(diǎn)的像素值賦給輸出視的對(duì)應(yīng)像素 點(diǎn)，如果輸入視有多個(gè)，則將多個(gè)輸入視對(duì)應(yīng)點(diǎn)的像素值加權(quán)平均或數(shù)學(xué)運(yùn)算之后，賦給 輸出視的對(duì)應(yīng)像素點(diǎn)；若輸入視找不到對(duì)應(yīng)點(diǎn)，或者，不在整像素位置上，則用周圍像素 點(diǎn)的像素值計(jì)算得出對(duì)應(yīng)位置的像素值。
步驟3，獲得輸出視的圖像，用于多視圖像的顯示。
下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施例提供的編解碼實(shí)現(xiàn)方案的具體實(shí)現(xiàn)過(guò)程進(jìn)行詳細(xì)說(shuō)明。
編解碼實(shí)現(xiàn)方案一
如圖2所示，在該具體實(shí)施例中，B視為當(dāng)前要編碼的視，可以稱為當(dāng)前視或編碼視， 且A視作為B視的參考視。其中，對(duì)B視的圖像編碼以塊為單位進(jìn)行，塊的大小為MxN，具體 可以為M=16， 8， 4， N=16， 8， 4， B視圖像共有若干個(gè)塊，相應(yīng)的編碼順序可以為從左 到右，從上到下。
在進(jìn)行多視編碼的實(shí)現(xiàn)過(guò)程中，A視為濾波器輸入視，B視為濾波器的輸出視，相應(yīng)的 實(shí)現(xiàn)過(guò)程具體可以包括
步驟31，得到各個(gè)攝像機(jī)參數(shù)，并利用所述攝像機(jī)參數(shù)求出輸入視和輸出視對(duì)應(yīng)的映 射矩陣，以用于通過(guò)該映射矩陣進(jìn)行物體的空間三維坐標(biāo)與對(duì)應(yīng)的各個(gè)視圖像下的二維坐 標(biāo)的轉(zhuǎn)換；
相應(yīng)的映射矩陣P-K^J;其中，K為攝像機(jī)內(nèi)部參數(shù)矩陣，R為旋轉(zhuǎn)參數(shù)矩陣，T 為平移參數(shù)矩陣。
步驟32，利用物體的深度信息，得出物體的三維坐標(biāo)中的z分量；由于物體的深度信息只是物體實(shí)際深度的一個(gè)表不，并不直接是物體的實(shí)際深度，所 以需耍轉(zhuǎn)化一下，以獲得物體的實(shí)際深度；例如，如果將物體深度的最小值和最大值之間 量化為256個(gè)等級(jí)，用8bit來(lái)表示，稱為物體的深度信息，為此需要對(duì)物體的深度信息進(jìn)行 相應(yīng)的反向處理，以將物理的深度信息轉(zhuǎn)化為物體的實(shí)際深度，即三維坐標(biāo)中的z分量。
需要說(shuō)明的是，上述步驟31和步驟32的執(zhí)行順序不分先后。
步驟33，利用步驟31所得映射矩陣和步驟32所得的物體對(duì)應(yīng)的三維坐標(biāo)中的z分量的信 息，求得物體的三維坐標(biāo)中的x和y分量；
具體可以根據(jù)三維投影原理求解物體的三維坐標(biāo)中的x和y分量，艮P-
Vl 1
output
少 1
，其中，^output為步驟31求出的輸出視的投影矩陣(即映
射矩陣)，Uil，vl)為物體在輸出視的成像平面上的坐標(biāo)，(x,y,z)為物體在空間上的三維 坐標(biāo)。
根據(jù)上式，在己知化l，vl)， J output和z的情況下，便可以求出物體在空間上的三維 坐標(biāo)的x和y分量。
步驟34，利用步驟31所得輸入視的映射矩陣和步驟32、 33所得物體在空間上的三維坐 標(biāo)，得到物體在輸入視圖像上的對(duì)應(yīng)的二維坐標(biāo)； 在該步驟中，具體可以采用的計(jì)算方式如下
V 1
input
X 少
1
，其中，input為步驟31求出的輸入視的投影矩陣(即映射矩
陣)，(u，W為物體在輸入視的成像平面上的二維坐標(biāo)，通過(guò)該公式便可以求解出相應(yīng)的 {u， v} 5
歩驟35，根據(jù)相應(yīng)的{u, W對(duì)應(yīng)的像素值確定輸出視圖像中坐標(biāo)為{ul， vl}的像素值，
其中，具體可以為若步驟34求出的u， v均為整數(shù)，則可以直接將坐標(biāo)(u， v)所指向的輸入視圖像中的對(duì)應(yīng)
像素值作為輸出視圖像屮坐標(biāo)為Ull， Vl}的像素值；
若步驟34求出的u， v并非均為整數(shù)，則取距離坐標(biāo)(u, vl所指向位置符合預(yù)定要求的多 個(gè)像素進(jìn)行加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算，并將計(jì)算獲得的加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算結(jié)果賦給
輸出視圖像中坐標(biāo)為仏1，V1)的像素；其中，預(yù)定要求可以為距離最近或者也可以為距離小
于預(yù)定值等等，相應(yīng)的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等；
步驟36，重復(fù)步驟32至35，便可以得到輸出視圖像所有像素點(diǎn)的像素值，并將所得到
的輸出視圖像作為當(dāng)前要編碼視的參考圖像，進(jìn)行下一步的預(yù)測(cè)和編碼操作。 基于上述編碼處理過(guò)程，對(duì)應(yīng)的解碼過(guò)程具體包括 步驟37，解析編碼碼流，得到攝像機(jī)參數(shù)以及物體的深度信息； 步驟38，解析編碼碼流，得到輸入視A視的重建圖像，并以當(dāng)前解碼視為輸出視；
步驟39，利用攝像機(jī)參數(shù)求出各個(gè)視的映射矩陣；
歩驟310，利用物體的深度信息，得出物體三維坐標(biāo)的z分量；
步驟311，利用步驟39所得映射矩陣和步驟310所得的物體三維坐標(biāo)的z分量，求得物體 三維坐標(biāo)的x和y分量；
具體可以采用的計(jì)算公式如下
Vl 1
=尸
output
1
，其中，^^utput為步驟39求出的輸出視的投影矩陣(即映
射矩陣)，(ul，vl)為物體在輸出視的成像平面上的坐標(biāo)，(x，y,^為物體在空間上的三維 坐標(biāo)。
步驟312，利用步驟39所得映射矩陣和步驟310、 311所得物體在空間上的三維坐標(biāo)，得 到物體在輸入視圖像上的對(duì)應(yīng)坐標(biāo)(u, v};
步驟313，根據(jù)Ui，vl所指向的輸入視圖像中的對(duì)應(yīng)像素值確定輸出視圖像中坐標(biāo)為 lul,vl)的像素值，其中，具體可以包括
若步驟312求出的u， v均為整數(shù)，則直接將坐標(biāo)Ui,v)所指向的輸入視圖像中的對(duì)應(yīng)像
素值作為輸出視圖像中坐標(biāo)為{Ul， Vl}的像素值；
20若步驟312求出的u， v并非均為整數(shù)，則取距離坐標(biāo)(u, W所指向位置符合預(yù)定要求的 多個(gè)像素進(jìn)行加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算，并將計(jì)算獲得的加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算結(jié)果賦 給輸出視圖像中坐標(biāo)為仏l，vl)的像素；其中，預(yù)定要求可以為距離最近或者也可以為距離 小于預(yù)定值等等，相應(yīng)的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等；
重復(fù)執(zhí)行歩驟310至313，便可以得到輸出視圖像所有像素點(diǎn)的像素值，將所得到的輸 出視圖像作為當(dāng)前要解碼視的參考圖像，則可以進(jìn)行下一步解碼操作。 編解碼實(shí)現(xiàn)方案二
在該具體實(shí)施例中，A視為濾波器的輸入視，B視圖像大小為MxN，需要上采樣為大小 為2Mx2N的圖像作為濾波器的輸出視。
相應(yīng)的進(jìn)行多視解碼顯示的實(shí)現(xiàn)過(guò)程具體可以包括
步驟41，獲取各個(gè)攝像機(jī)參數(shù)，并利用所述攝像機(jī)參數(shù)求出各個(gè)視的映射矩陣，還解 析碼流得到各個(gè)視的重建圖像，其中，A視的重建圖像作為濾波器的輸入，B視為濾波器的 輸出視；
步驟42，利用獲得的物體的深度信息，得出物體在空間上的三維坐標(biāo)的z分量；
步驟43，利用步驟41所得映射矩陣和步驟42所得的物體在空間上的三維坐標(biāo)的z分量， 求得物體在空間上的三維坐標(biāo)的x和y分量；
步驟44，對(duì)于輸出視圖像，整像素位置的像素保留；對(duì)于亞像素位置Uil,vll的像素， 利用步驟41所得映射矩陣和步驟42、 43所得物體在空間上的三維坐標(biāo)計(jì)算獲得該位置在輸 入視圖像上的對(duì)應(yīng)坐標(biāo)(u， vh
其中，整像素位置是指拍攝到的離散位置的象素點(diǎn)為整象素，亞像素位置是指兩個(gè) 整象素點(diǎn)正中間位置的點(diǎn)叫半象素點(diǎn)，兩個(gè)半象素點(diǎn)正中位置的點(diǎn)叫做l/4精度亞象素點(diǎn)；
步驟45 ，根據(jù){u, v}所指向的輸入視圖像中的對(duì)應(yīng)像素值確定輸出視圖像中坐標(biāo)為
仏1，V1)的像素值，其中，具體可以為
若步驟44求出的u， v均為整數(shù)，則直接將坐標(biāo)仏,W所指向的輸入視圖像中的對(duì)應(yīng)像素 值作為輸出視圖像中坐標(biāo)為{Ul, vl}的像素值；
若步驟44求出的u， v并非均為整數(shù)，則取距離坐標(biāo)仏，W所指向位置符合預(yù)定要求的多 個(gè)像素進(jìn)行加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算，并將計(jì)算獲得的加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算結(jié)果賦給 輸出視圖像中坐標(biāo)為Un，vil的像素；其中，預(yù)定要求可以為距離最近或者也可以為距離小 于預(yù)定值等等，相應(yīng)的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等；
步驟46，重復(fù)步驟44、 45，直到獲得輸出視圖像所有亞像素點(diǎn)的像素值，之后，將所
21得到的大小為2Mx2N的輸出視圖像顯示出來(lái)。 編解碼實(shí)現(xiàn)方案三
在該具體實(shí)施例中，如圖3所示，B圖像為攝像機(jī)位置移動(dòng)到位置2時(shí)拍攝的圖像，稱 為編碼圖像。A圖像為攝像機(jī)在位置l時(shí)拍攝的圖像，稱為參考圖像。對(duì)B圖像編碼以塊為單 位進(jìn)行，塊的大小為MxN (M二16, 8， 4， N=16， 8， 4) ， B圖像共有R個(gè)塊，編碼順序從左到 右，從上到下。
其中，A圖像為濾波器輸入圖像，濾波器的輸出圖像為接近于B圖像的輸出圖像，相應(yīng) 的處理過(guò)程具體可以包括
步驟51，得到攝像機(jī)在各個(gè)位置的攝像機(jī)參數(shù)，并利用所述攝像機(jī)參數(shù)求出各個(gè)位置 對(duì)應(yīng)的映射矩陣；
相應(yīng)的映射矩陣P二K，i 'r，其中，K為攝像機(jī)內(nèi)部參數(shù)矩陣，R為旋轉(zhuǎn)參數(shù)矩陣，T 為平移參數(shù)矩陣。
步驟52，利用物體的深度信息，得出物體在空間上的三維坐標(biāo)的z分量； 步驟53，利用步驟51所得映射矩陣和步驟52所得的物體在空間上的三維坐標(biāo)的z分量， 求得物體在空間上的三維坐標(biāo)的x和y分量；
根據(jù)三維投影原理，具體可以采用的計(jì)算公式如下<formula>formula see original document page 22</formula>，其中，^^outpiit為步驟51求出的位置2的投影矩陣(即映
射矩陣)，(ul,vll為物體在B圖像像平面上的坐標(biāo)，h，y，z)為物體在空間上的三維坐標(biāo)。 步驟54，利用步驟51所得位置1的映射矩陣和步驟52、 53所得物體在空間上的三維坐
標(biāo)，得到物體在A圖像上的對(duì)應(yīng)的二維坐標(biāo)； 具體的計(jì)算公式如下<formula>formula see original document page 23</formula>，其中，mPut為歩驟51求出的攝像機(jī)在位置A的投影矩陣(即
映射矩陣)，iu,v)為物體在輸入視的成像平面上的二維坐標(biāo)；
步驟55，將坐標(biāo){u, v}所指向的輸入視圖像屮的對(duì)應(yīng)像素值賦給輸出視圖像中坐標(biāo)為
(Ul,vl)的像素;
若步驟54求出的u， v均為整數(shù)，則直接將坐標(biāo)(u,W所指向的輸入視圖像中的對(duì)應(yīng)像素
值賦給輸出視圖像中坐標(biāo)為{Ul， Vl}的像素；
若步驟54求出的u， v不都是整數(shù)，則取距離坐標(biāo)Ui，v)所指向位置符合預(yù)定要求的多 個(gè)像素進(jìn)行加權(quán)平均計(jì)算，并將計(jì)算獲得的加權(quán)平均計(jì)算結(jié)果賦給輸出視圖像中坐標(biāo)為
Uil，vll的像素；其中，預(yù)定要求可以為距離最近或者也可以為距離小于預(yù)定值等等，相應(yīng)
的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等；
步驟56，重復(fù)執(zhí)行步驟52至55，直到獲得輸出視圖像所有像素點(diǎn)的像素值，便可以獲 得相應(yīng)的輸出視圖像，該輸出視圖像可以作為當(dāng)前編碼視的參考圖像，以用于進(jìn)行下--步 的預(yù)測(cè)和編碼。
基于上述編碼過(guò)程，對(duì)應(yīng)的解碼過(guò)程具體可以包括
步驟57，解析編碼碼流，得到攝像機(jī)在各個(gè)位置對(duì)應(yīng)的攝像機(jī)參數(shù)以及物體的深度信
息；
步驟58，解析編碼碼流，得到A圖像的重建圖像，并以A圖像作為濾波器輸入圖像，當(dāng) 前解碼圖像為B圖像，濾波器輸出為接近于B原始圖像的圖像，該輸出圖像可以作為當(dāng)前解 碼圖像的參考圖像；
步驟59，利用步驟57得到的各個(gè)攝像機(jī)參數(shù)求出攝像機(jī)各個(gè)位置對(duì)應(yīng)的映射矩陣； 步驟510，利用物體的深度信息，確定物體在空間上的三維坐標(biāo)的z分量； 步驟511，利用步驟59所得映射矩陣和步驟510所得的物體在空間上的三維坐標(biāo)的z分 量，求得物體在空間上的三維坐標(biāo)的x和y分量； 根據(jù)三維投影原理，相應(yīng)的計(jì)算公式如下
23<formula>formula see original document page 24</formula>
，其中，^^output為步驟59求出的攝像機(jī)在位置2的投影矩
陣(即映射矩陣)，Uil,vl)為物體在B圖像平面上的坐標(biāo)，h,y,z)為物體在空間上的三維 坐標(biāo)。
步驟512，利用步驟59所得映射矩陣和步驟510、 511所得物體在空間上的三維坐標(biāo)，得 到物體在輸入視圖像上的對(duì)應(yīng)坐標(biāo){u, v};
步驟513，根據(jù)坐標(biāo)Ui，v)所指向的輸入視圖像中的對(duì)應(yīng)像素值計(jì)算輸出視圖像中坐標(biāo) 為"l，vl)的像素值，其中具體可以為
若步驟512求出的u， v均為整數(shù)，則直接將坐標(biāo)仏,W所指向的輸入視圖像中的對(duì)應(yīng)像 素值作為輸出視圖像中坐標(biāo)為{ul， vl}的像素值；
若步驟512求出的u， v不都是整數(shù)，則取距離坐標(biāo)ki，v)所指向位置符合預(yù)定要求的多 個(gè)像素進(jìn)行加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算，并將計(jì)算獲得的加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算結(jié)果賦給 輸出視圖像中坐標(biāo)為(ul，vl)的像素；其中，預(yù)定要求可以為距離最近或者也可以為距離小 于預(yù)定值等等，相應(yīng)的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等；
步驟514，重復(fù)執(zhí)行步驟510至513，便可以得到輸出視圖像所有像素點(diǎn)的像素值，進(jìn)而 得到相應(yīng)的輸出視圖像，該輸出視圖像可以作為當(dāng)前要解碼視的參考圖像，以用于進(jìn)行下 一步的解碼操作，提高解碼效率及性能。 編解碼實(shí)現(xiàn)方案四
在該具體實(shí)施例中，A視為濾波器的輸入視，B視圖像大小為MxN，需要上采樣為大小 為2Mx2N的圖像作為濾波器的輸出視。
相應(yīng)的進(jìn)行多視解碼顯示的實(shí)現(xiàn)過(guò)程具體可以包括
步驟61，獲取各個(gè)攝像機(jī)參數(shù)，并利用所述攝像機(jī)參數(shù)求出各個(gè)視的映射矩陣，還解 析碼流得到各個(gè)視的重建圖像，其中，A視的重建圖像作為濾波器的輸入，B視為濾波器的 輸出視；
步驟62，利用獲得的物體的深度信息，得出物體在空間上的三維坐標(biāo)的z分量； 步驟63,利用步驟41所得映射矩陣和步驟42所得的物體在空間上的三維坐標(biāo)的z分量，求得物體在空間上的三維坐標(biāo)的x和y分量；
歩驟64，對(duì)于輸山視圖像，整像素位置的像素保留；對(duì)于亞像素位置仏l,vl)的像素， 利用步驟41所得映射矩陣和步驟42、 43所得物體在空間上的三維坐標(biāo)計(jì)算獲得該位置在輸 入視圖像上的對(duì)應(yīng)坐標(biāo)仏，vh
其中，整像素位置是指拍攝到的離散位置的象素點(diǎn)為整象素，亞像素位置是指兩個(gè) 整象素點(diǎn)正中間位置的點(diǎn)叫半象素點(diǎn)，兩個(gè)半象素點(diǎn)正中位置的點(diǎn)叫做l/4精度亞象素點(diǎn)；
步驟65，根據(jù)仏,vi所指向的輸入視圖像中的對(duì)應(yīng)像素值用于計(jì)算輸出視圖像中坐標(biāo)為 (ul，vll的像素值，其中，具體可以為
若步驟64求出的u， v均為整數(shù)，則直接將坐標(biāo)仏,W所指向的輸入視圖像中的對(duì)應(yīng)像素 值用于計(jì)算輸出視圖像中坐標(biāo)為{ul， vl}的像素值；
若步驟64求出的u， v并非均為整數(shù)，則取距離坐標(biāo)仏，vl所指向位置符合預(yù)定要求的多 個(gè)像素進(jìn)行加權(quán)平均計(jì)算，并將計(jì)算獲得的加權(quán)平均或數(shù)學(xué)運(yùn)算結(jié)果用于計(jì)算輸出視圖像 中坐標(biāo)為Uil，vll的像素；其中，預(yù)定要求可以為距離最近或者也可以為距離小于預(yù)定值等 等，相應(yīng)的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等；上述計(jì)算結(jié)果記為 數(shù)值l;
步驟66，獲取輸出視圖像中坐標(biāo)為Uil，vl)鄰近點(diǎn)的像素值，對(duì)所獲得像素值進(jìn)行加權(quán) 平均或數(shù)學(xué)運(yùn)算，計(jì)算結(jié)果記為數(shù)值2;
步驟67，將數(shù)值1和數(shù)值2進(jìn)行加權(quán)平均或數(shù)學(xué)計(jì)算，將計(jì)算結(jié)果作為輸出圖像中坐標(biāo)
為(U1,V1)的像素值；
步驟68，重復(fù)步驟64、 65， 66， 67，直到獲得輸出視圖像所有亞像素點(diǎn)的像素值，之 后，將所得到的大小為2Mx2N的輸出視圖像顯示出來(lái)。 編解碼實(shí)現(xiàn)方案五
如圖2所示，在該具體實(shí)施例中，B視為當(dāng)前要編碼的視，可以稱為當(dāng)前視或編碼視， 且A視作為B視的參考視。其中，對(duì)B視的圖像編碼以塊為單位進(jìn)行，塊的大小為MxN，具體 可以為M=16， 8， 4， N=16， 8， 4， B視圖像共有若干個(gè)塊，相應(yīng)的編碼順序可以為從左 到右，從上到下。
在進(jìn)行多視編碼的實(shí)現(xiàn)過(guò)程中，A視為濾波器輸入視，B視為濾波器的輸出視，相應(yīng)的 實(shí)現(xiàn)過(guò)程具體可以包括
步驟71，得到各個(gè)攝像機(jī)參數(shù)，并利用所述攝像機(jī)參數(shù)求出輸入視和輸出視對(duì)應(yīng)的映 射矩陣，以用于通過(guò)該映射矩陣進(jìn)行物體的空間三維坐標(biāo)與對(duì)應(yīng)的各個(gè)視圖像下的二維坐
25標(biāo)的轉(zhuǎn)換；
相應(yīng)的映射矩陣P二WJ;其中，K為攝像機(jī)內(nèi)部參數(shù)矩陣，R為旋轉(zhuǎn)參數(shù)矩陣，T 為平移參數(shù)矩陣。
步驟72，利用物體的深度信息，得出物體的三維坐標(biāo)中的Z分量；
由于物體的深度信息只是物體實(shí)際深度的- 個(gè)表示，并不直接是物體的實(shí)際深度，所 以需要轉(zhuǎn)化一下，以獲得物體的實(shí)際深度；例如，如果將物體深度的最小值和最大值之間 量化為256個(gè)等級(jí)，用8bit來(lái)表示，稱為物體的深度信息，為此需要對(duì)物體的深度信息進(jìn)行 相應(yīng)的反向處理，以將物理的深度信息轉(zhuǎn)化為物體的實(shí)際深度，即三維坐標(biāo)中的z分量。
需要說(shuō)明的是，上述步驟71和步驟72的執(zhí)行順序不分先后。
步驟73，利用步驟71所得映射矩陣和步驟72所得的物體對(duì)應(yīng)的三維坐標(biāo)中的z分量的信 息，求得物體的三維坐標(biāo)中的x和y分量；
具體可以根據(jù)三維投影原理求解物體的三維坐標(biāo)中的x和y分量，即
1
=尸一
output
少 1
，其中，^mtput為步驟71求出的輸出視的投影矩陣(即映
射矩陣)，(ul,vl)為物體在輸出視的成像平面上的坐標(biāo)，k，y,^為物體在空間上的三維 坐標(biāo)。
根據(jù)上式，在已知(ul，vlh [output和z的情況下，便可以求出物體在空間上的三維 坐標(biāo)的x和y分量。
步驟74，利用步驟71所得輸入視的映射矩陣和步驟72、 73所得物體在空間上的三維坐 標(biāo)，得到物體在輸入視圖像上的對(duì)應(yīng)的二維坐標(biāo)； 在該步驟中，具體可以采用的計(jì)算方式如下-
V 1
input
X 1
，其中，input為步驟71求出的輸入視的投影矩陣(即映射矩陣)，Ui,v)為物體在輸入視的成像平面上的二維坐標(biāo)，通過(guò)該公式便可以求解出相應(yīng)的
步驟75，根據(jù)相應(yīng)的化,vl對(duì)應(yīng)的像素值用于計(jì)算輸出視圖像中坐標(biāo)為Uil，vl)的像素 值，其中，具體可以為
若步驟74求出的u， v均為整數(shù)，則可以直接將坐標(biāo)仏，v)所指向的輸入視圖像中的對(duì)應(yīng) 像素值用于計(jì)算輸出視圖像中坐標(biāo)為{ul， vl}的像素值；
若步驟74求出的u， v并非均為整數(shù)，則取距離坐標(biāo)(u,vl所指向位置符合預(yù)定要求的多 個(gè)像素進(jìn)行加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算，并將計(jì)算獲得的加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算結(jié)果用于 計(jì)算輸出視圖像中坐標(biāo)為仏l，vl)的像素值；其中，預(yù)定要求可以為距離最近或者也可以為 距離小于預(yù)定值等等，相應(yīng)的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等； 上述計(jì)算結(jié)果記為數(shù)值l;
步驟76，獲取輸出視圖像中坐標(biāo)為Uil,vl)鄰近點(diǎn)的像素值，對(duì)所獲得像素值進(jìn)行加權(quán) 平均或數(shù)學(xué)運(yùn)算，計(jì)算結(jié)果記為數(shù)值2;
步驟77，將數(shù)值1和數(shù)值2進(jìn)行加權(quán)平均或數(shù)學(xué)計(jì)算，將計(jì)算結(jié)果作為輸出圖像中坐標(biāo) 為kil，vU的像素值；
步驟78，重復(fù)步驟72至75，便可以得到輸出視圖像所有像素點(diǎn)的像素值，并將所得到 的輸出視圖像作為當(dāng)前要編碼視的參考圖像，進(jìn)行下一步的預(yù)測(cè)和編碼操作。 基于上述編碼處理過(guò)程，對(duì)應(yīng)的解碼過(guò)程具體包括 步驟79，解析編碼碼流，得到攝像機(jī)參數(shù)以及物體的深度信息； 步驟710，解析編碼碼流，得到輸入視A視的重建圖像，并以當(dāng)前解碼視為輸出視； 步驟711，利用攝像機(jī)參數(shù)求出各個(gè)視的映射矩陣； 步驟712，利用物體的深度信息，得出物體三維坐標(biāo)的z分量；
步驟713，利用步驟711所得映射矩陣和步驟712所得的物體三維坐標(biāo)的z分量，求得物 體三維坐標(biāo)的x和y分量；
具體可以采用的計(jì)算公式如下
27<formula>formula see original document page 28</formula>，其中，^^utput為歩驟711求出的輸出視的投影矩陣(即
映射矩陣)，Uil，vl)為物體在輸出視的成像平面上的坐標(biāo)，k，y,zl為物體在空間上的三 維坐標(biāo)。
步驟714，利用步驟711所得映射矩陣和步驟712、 713所得物體在空間上的三維坐標(biāo)， 得到物體在輸入視圖像上的對(duì)應(yīng)坐標(biāo)仏，v};
步驟715，根據(jù)h,W所指向的輸入視圖像中的對(duì)應(yīng)像素值確定輸出視圖像中坐標(biāo)為 Uil，vl)的像素值，其中，具體可以包括
若步驟714求出的u， v均為整數(shù)，則直接將坐標(biāo)Ui,v)所指向的輸入視圖像中的對(duì)應(yīng)像
素值用于計(jì)算輸出視圖像中坐標(biāo)為{Ul， Vl}的像素值；
若步驟714求出的u， v并非均為整數(shù)，則取距離坐標(biāo)Ui,W所指向位置符合預(yù)定要求的 多個(gè)像素進(jìn)行加權(quán)平均計(jì)算或數(shù)學(xué)運(yùn)算，并將計(jì)算獲得的加權(quán)平均或數(shù)學(xué)運(yùn)算計(jì)算結(jié)果用
于輸出視圖像中坐標(biāo)為(U1，V1)的像素；其中，預(yù)定要求可以為距離最近或者也可以為距離
小于預(yù)定值等等，相應(yīng)的多個(gè)像素可以為4個(gè)像素或者也可以6個(gè)像素或8個(gè)像素等等；上述
計(jì)算結(jié)果記為數(shù)值l;
步驟71S，獲取輸出視圖像中坐標(biāo)為(ul，vll鄰近點(diǎn)的像素值，對(duì)所獲得像素值進(jìn)行加
權(quán)平均或數(shù)學(xué)運(yùn)算，計(jì)算結(jié)果記為數(shù)值2;
步驟717，將數(shù)值1和數(shù)值2進(jìn)行加權(quán)平均或數(shù)學(xué)計(jì)算，將計(jì)算結(jié)果作為輸出圖像中坐標(biāo) 為Uil,vl)的像素值；
重復(fù)執(zhí)行步驟712至717，便可以得到輸出視圖像所有像素點(diǎn)的像素值，將所得到的輸 出視圖像作為當(dāng)前要解碼視的參考圖像，則可以進(jìn)行下一步解碼操作。
本發(fā)明實(shí)施例還提供了一種圖像處理裝置，其具體實(shí)現(xiàn)結(jié)構(gòu)如圖5所示，可以包括以下
單元
圖像獲取單元，用于獲取至少兩個(gè)視的圖像；
參數(shù)獲取單元，用于獲取物體的深度信息及各個(gè)視的攝像機(jī)參數(shù)信息；
更新處理單元，根據(jù)所述參數(shù)獲取單元獲取的攝像機(jī)參數(shù)信息和物體的深度信息，以及所述圖像獲取單元獲取的至少兩個(gè)視的圖像對(duì)至少一個(gè)視的圖像進(jìn)行濾波(即更新)處 理，獲得更新處理后的圖像。
可選地，該更新處理單元具體可以包括以下單元
映射矩陣計(jì)算單元，用于根據(jù)所述參數(shù)獲取單元獲取的各個(gè)視的攝像機(jī)參數(shù)信息，計(jì) 算各個(gè)視對(duì)應(yīng)的映射矩陣，所述映射矩陣為各個(gè)視的圖像中的各點(diǎn)或圖像塊的二維坐標(biāo)與 三維坐標(biāo)之間的對(duì)應(yīng)關(guān)系；該映射矩陣計(jì)算單元可以采用的映射矩陣計(jì)算公式包括 p二io; -r，其中，P為映射矩陣，K為攝像機(jī)內(nèi)部參數(shù)矩陣，R為攝像機(jī)的旋轉(zhuǎn)參數(shù)矩 陣，T為攝像機(jī)的平移參數(shù)矩陣。
像素值計(jì)算單元，用于根據(jù)所述映射矩陣計(jì)算單元確定的輸出視(待更新視的圖像對(duì) 應(yīng)的視)的映射矩陣，以及所述參數(shù)獲取單元獲取的物體的深度信息，結(jié)合物體在輸出視 的圖像(即待更新視的圖像)中的二維坐標(biāo)計(jì)算物體的三維坐標(biāo)；再利用輸入視(更新參 照視的圖像對(duì)應(yīng)的視)的映射矩陣和所述三維坐標(biāo)計(jì)算物體在輸入視的圖像(即更新視的 圖像)中的二維坐標(biāo)，并確定該二維坐標(biāo)對(duì)應(yīng)的像素值；
更新圖像生成單元，用于將所述像素值計(jì)算單元計(jì)算確定的二維坐標(biāo)對(duì)應(yīng)的像素值賦 值給物體在輸出視中的二維坐標(biāo)，獲得所述輸出圖像；該更新圖像生成單元具體可以包括 以下兩單元
第一賦值單元，用于在所述二維坐標(biāo)為整數(shù)時(shí)，直接將其對(duì)應(yīng)的像素值作為物體在輸 出視中的二維坐標(biāo)對(duì)應(yīng)的像素值；
第二賦值單元，用于在所述二維坐標(biāo)為并非均為整數(shù)時(shí)，將距離該二維坐標(biāo)符合預(yù)定 要求的預(yù)定數(shù)量的像素的加權(quán)平均值作為物體在輸出視中的二維坐標(biāo)對(duì)應(yīng)的像素值。
或者，該更新圖像生成單元具體還可以包括以下任一單元
第一生成單元，用于將所述像素值計(jì)算單元確定的輸入視的圖像中的二維坐標(biāo)對(duì)應(yīng)的 像素值賦給所述輸出視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn)或圖像塊，獲得輸出圖像； 或者，
第二生成單元，用于對(duì)所述像素值計(jì)算單元確定的至少兩個(gè)輸入視的圖像中的二維坐 標(biāo)對(duì)應(yīng)的像素值進(jìn)行數(shù)學(xué)運(yùn)算，并運(yùn)算后的結(jié)果賦給所述輸出視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn)或 圖像塊，獲得輸出圖像；
或者，
第三生成單元，用于對(duì)所述像素值計(jì)算單元確定的至少兩個(gè)輸入視的圖像中的二維坐 標(biāo)對(duì)應(yīng)的像素值進(jìn)行數(shù)學(xué)運(yùn)算后得到第一數(shù)值；對(duì)所述輸出視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn)或圖像塊鄰近的可獲得的點(diǎn)或圖像塊的像素值進(jìn)行數(shù)學(xué)運(yùn)算得到第二數(shù)值；將第一數(shù)但與第二
數(shù)值進(jìn)行數(shù)學(xué)運(yùn)算，并將該運(yùn)算結(jié)果賦給所述輸山視的圖像屮對(duì)應(yīng)的坐標(biāo)點(diǎn)或圖像塊，獲得輸出圖像。
需要說(shuō)明的是，上述映射矩陣計(jì)算單元為可選單元，即也可以采用其他單元代替相應(yīng)的映射矩陣計(jì)算單元，以通過(guò)其他計(jì)算方式實(shí)現(xiàn)二維坐標(biāo)與三維坐標(biāo)之間的轉(zhuǎn)換處理。
可選地，本發(fā)明實(shí)施例提供的裝置中還可以包括尺寸擴(kuò)展操作單元，用于在所述待更新視的圖像的尺寸與更新后圖像尺寸不一致時(shí)，將待更新視的圖像的尺寸擴(kuò)展至與更新后
圖像尺寸一致，該擴(kuò)展方式包括計(jì)算當(dāng)前更新后圖像尺寸與待更新視的圖像的尺寸的比
例系數(shù)，將待更新視的圖像中已有像素點(diǎn)坐標(biāo)乘上該比例系數(shù)，將待更新視的圖像中相應(yīng)
像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐標(biāo)所對(duì)應(yīng)的位置；若計(jì)算所得的坐標(biāo)值不為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入規(guī)則取整；或者，用于在待更新視的圖像的尺寸與其它視圖像尺寸不一致時(shí)，將待更新視的圖像的尺寸擴(kuò)展至與其它視圖像尺寸一致，該擴(kuò)展方式包括計(jì)算其它視圖像尺寸與待更新視的圖像的尺寸的比例系數(shù)，將待更新視的圖像中己有像素點(diǎn)坐標(biāo)乘上該比例系數(shù)，將待更新視的圖像中相應(yīng)像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐標(biāo)所對(duì)應(yīng)的位置；若計(jì)算所得的坐標(biāo)值不為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入規(guī)則取整。
本發(fā)明實(shí)施例提供的裝置中，相應(yīng)的輸入視和輸出視為不同的攝像機(jī)對(duì)應(yīng)的視，或者，所述輸入視和輸出視為同一攝像機(jī)在不同位置上對(duì)應(yīng)的視。
上述圖像處理裝置可以應(yīng)用于相應(yīng)的編碼裝置或解碼裝置中，其中
相應(yīng)的編碼裝置，如圖6所示，可以包括
參考圖像獲取單元，用于獲取編碼當(dāng)前視的圖像的參考圖像；
圖像處理裝置，用于對(duì)所述參考圖像獲取單元獲取的參考圖像進(jìn)行處理，獲得輸出圖
像；
編碼單元，用于在對(duì)當(dāng)前視的圖像進(jìn)行編碼過(guò)程中，采用所述圖像處理單元提供的輸出圖像作為參考圖像進(jìn)行編碼操作。
相應(yīng)的解碼裝置，如圖7所示，可以包括參考圖像獲取單元，用于獲取解碼當(dāng)前視的圖像的參考圖像；
圖像處理裝置，用于對(duì)所述參考圖像獲取單元獲取的參考圖像進(jìn)行處理，獲得輸出圖
像；
解碼單元，用于在對(duì)當(dāng)前視的圖像進(jìn)行解碼過(guò)程中，采用所述圖像處理單元提供的輸
30出圖像作為參考圖像進(jìn)行解碼操作。
本發(fā)明實(shí)施例提供的圖像處理裝置還可以用于實(shí)現(xiàn)圖像上采樣的裝置屮，其具體實(shí)現(xiàn) 結(jié)構(gòu)如圖8所示，具體可以包括
圖像獲取單元，用于獲取需要進(jìn)行上采樣處理的圖像；
整像素處理單元，用于將所述圖像獲取單元獲取的圖像中的整像素位置的像素保留在 輸出圖像中；
圖像處理裝置，用于對(duì)于所述圖像獲取單元獲取的圖像中的亞像素位置，進(jìn)行處理， 獲得該亞像素位置對(duì)應(yīng)的像素值；
采樣結(jié)果生成單元，用于將所述圖像處理裝置獲得的亞像素位置對(duì)應(yīng)的像素值添加到 所述整像素處理單元獲得的輸出圖像中，獲得經(jīng)過(guò)上采樣處理后的圖像。
綜上所述，本發(fā)明實(shí)施例可以用于根據(jù)獲取圖像的各個(gè)攝像機(jī)參數(shù)以及物體的深度信 息對(duì)輸入視圖像(如參考圖像或需要進(jìn)行上采樣處理的圖像等)進(jìn)行處理，可以減少不關(guān) 鍵或不重要的圖像編碼比特?cái)?shù)，從而提高多視編解碼的性能，并簡(jiǎn)化多視編解碼的處理過(guò) 程，同時(shí)由于編碼比特?cái)?shù)的減少，還可以降低編解碼時(shí)所需的計(jì)算資源。再者，本發(fā)明實(shí) 施例還可以運(yùn)用于攝像機(jī)移動(dòng)的情況，提高在該情況下的預(yù)測(cè)和編解碼效率。
以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都 應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為 準(zhǔn)。
權(quán)利要求
1、一種圖像處理方法，其特征在于，包括獲取至少兩個(gè)視的圖像和攝像機(jī)參數(shù)信息，以及物體的深度信息；根據(jù)所述至少兩個(gè)視的圖像、攝像機(jī)參數(shù)信息和物體的深度信息對(duì)至少一個(gè)視的圖像進(jìn)行更新。
2、 根據(jù)權(quán)利要求l所述的方法，其特征在于，所述的更新包括根據(jù)所述攝像機(jī)參數(shù)信息、物體的深度信息及物體在待更新視的圖像中的二維坐標(biāo)計(jì) 算物體的三維坐標(biāo)；利用所述攝像機(jī)參數(shù)信息和所述三維坐標(biāo)計(jì)算物體在更新參照視的圖像中的二維坐 標(biāo)，并確定該二維坐標(biāo)對(duì)應(yīng)的像素值；根據(jù)該二維坐標(biāo)對(duì)應(yīng)的像素值確定物體在待更新視的圖像中對(duì)應(yīng)的二維坐標(biāo)的像素 值，并更新所述待更新視的圖像中對(duì)應(yīng)的二維坐標(biāo)的像素值。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，該方法還包括若所述待更新視的圖像的尺寸與更新后圖像尺寸不一致，則將待更新視的圖像的尺寸 擴(kuò)展至與更新后圖像尺寸一致，該擴(kuò)展方式包括:計(jì)算當(dāng)前更新后圖像尺寸與待更新視的圖像的尺寸的比例系數(shù)，將待更新視的圖像中已有像素點(diǎn)坐標(biāo)乘上該比例系數(shù)，將待更新視的圖像中相應(yīng)像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐標(biāo)所對(duì)應(yīng)的位置；若計(jì)算 所得的坐標(biāo)值不為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入規(guī)則取整； 或者，若待更新視的圖像的尺寸與其它視圖像尺寸不一致，則將待更新視的圖像的尺寸擴(kuò)展 至與其它視圖像尺寸一致，該擴(kuò)展方式包括計(jì)算其它視圖像尺寸與待更新視的圖像的尺 寸的比例系數(shù)，將待更新視的圖像中已有像素點(diǎn)坐標(biāo)乘上該比例系數(shù)，將待更新視的圖像 中相應(yīng)像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐標(biāo)所對(duì)應(yīng)的位置；若計(jì)算所得的坐 標(biāo)值不為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入規(guī)則取整。
4、 根據(jù)權(quán)利要求2所述的方法，其特征在于，該方法還包括對(duì)物體在待更新視的圖像中的所有點(diǎn)或圖像塊的像素值執(zhí)行所述更新處理，或者，對(duì) 物體在待更新視的圖像中的部分點(diǎn)或部分圖像塊的像素值執(zhí)行所述更新處理。
5、 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述的部分點(diǎn)或部分圖像塊為待更新視的圖像中按等距離間隔方式確定的點(diǎn)或圖像塊。
6、 根據(jù)權(quán)利要求2所述的方法，其特征在于，計(jì)算待更新視屮點(diǎn)或圖像塊的像素值的 方法具體為將確定的更新參照視的圖像中的二維坐標(biāo)對(duì)應(yīng)的像素值賦給所述待更新視的圖像中對(duì) 應(yīng)的坐標(biāo)點(diǎn)或圖像塊； 或者，對(duì)確定的至少兩個(gè)更新參照視的圖像中的二維坐標(biāo)對(duì)應(yīng)的像素值進(jìn)行數(shù)學(xué)運(yùn)算，并運(yùn) 算后的結(jié)果賦給所述待更新視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn)或圖像塊； 或者，對(duì)確定的至少兩個(gè)更新參照視的圖像中的二維坐標(biāo)對(duì)應(yīng)的像素值進(jìn)行數(shù)學(xué)運(yùn)算后得到 第--數(shù)值；對(duì)所述待更新視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn)或圖像塊鄰近的可獲得的點(diǎn)或圖像塊的 像素值進(jìn)行數(shù)學(xué)運(yùn)算得到第二數(shù)值；將第一數(shù)值與第二數(shù)值進(jìn)行數(shù)學(xué)運(yùn)算，并將該運(yùn)算結(jié) 果賦給所述待更新視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn)或圖像塊。
7、 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述的數(shù)學(xué)運(yùn)算包括加法、減法、乘 法、除法、移位或求冪運(yùn)算中的一項(xiàng)或若干項(xiàng)的組合。
8、 根據(jù)權(quán)利要求2至7任一項(xiàng)所述的方法，其特征在于，所述利用所述攝像機(jī)參數(shù)信息 和所述三維坐標(biāo)計(jì)算物體在更新參照視的圖像中的二維坐標(biāo)包括利用映射矩陣將所述三 維坐標(biāo)轉(zhuǎn)換成在更新參照視的圖像中的二維坐標(biāo)，所述映射矩陣用于表示各個(gè)視的圖像中 的各點(diǎn)或圖像塊的二維坐標(biāo)與三維坐標(biāo)之間的對(duì)應(yīng)關(guān)系，所述映射矩陣根據(jù)所述攝像機(jī)參 數(shù)信息計(jì)算得到。
9、 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述攝像機(jī)參數(shù)信息包括外部參數(shù)和內(nèi) 部參數(shù)，所述外部參數(shù)包括旋轉(zhuǎn)矩陣R和平移矩陣T，內(nèi)部參數(shù)包括焦距、畸變參數(shù)和光學(xué) 參數(shù)；所述映射矩陣的計(jì)算采用的計(jì)算公式包括P-K'i 'r，其中，P為所述映射矩 陣，K為攝像機(jī)內(nèi)部參數(shù)矩陣，R為攝像機(jī)的旋轉(zhuǎn)參數(shù)矩陣，T為攝像機(jī)的平移參數(shù)矩陣。
10、 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述的圖像塊的二維坐標(biāo)為圖像塊左上 角點(diǎn)對(duì)應(yīng)的二維坐標(biāo)；所述圖像塊的三維坐標(biāo)為圖像塊左上角點(diǎn)在三維空間坐標(biāo)系中對(duì)應(yīng) 的坐標(biāo)值。
11、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定物體在待更新視中的對(duì)應(yīng)的二 維坐標(biāo)的像素值的處理包括若更新參照視中的二維坐標(biāo)為整數(shù)，則直接將其對(duì)應(yīng)的像素值作為物體在待更新視中的二維坐標(biāo)對(duì)應(yīng)的像素值；若更新參照視屮的二維坐標(biāo)為并:卄:均為整數(shù)，則將距離更新參照視屮的二維坐標(biāo)符合 預(yù)定要求的預(yù)定數(shù)量的像素的加權(quán)平均值作為物體在待更新視中的二維坐標(biāo)對(duì)應(yīng)的像素值。
12、 根據(jù)權(quán)利要求1至7任一項(xiàng)或11所述的方法，其特征在于，所述更新參照視的圖像 和待更新視的圖像為不同的攝像機(jī)對(duì)應(yīng)的視圖像，或者，所述更新參照視的圖像和待更新 視的圖像為同一攝像機(jī)的不同圖像。
13、 根據(jù)權(quán)利要求1至7任一項(xiàng)或11所述的方法，其特征在于，所述的物體的深度信息 表示為 一幅像素值為0 255的灰度圖，灰度中每一點(diǎn)對(duì)應(yīng)視圖像中每一點(diǎn)或每一個(gè)圖像 塊的深度信息；灰度中像素值為0或?yàn)?55表示其所對(duì)應(yīng)的點(diǎn)或圖像塊在三維空間的位置離 攝像機(jī)距離最近，灰度中像素值為255或?yàn)?表示其所對(duì)應(yīng)的點(diǎn)或圖像塊在三維空間的位置 離攝像機(jī)距離最遠(yuǎn)。
14、 根據(jù)權(quán)利要求1至7任一項(xiàng)或11所述的方法，其特征在于，所述的三維坐標(biāo)為物體 各點(diǎn)之間在三維空間的實(shí)際距離或在三維空間的近似距離，或者，所述的三維坐標(biāo)為物體 的點(diǎn)在三維空間的實(shí)際位置或近似位置；其中，三維空間表示為世界坐標(biāo)系，或表示為任 意數(shù)學(xué)上使用的三維坐標(biāo)系。
15、 根據(jù)權(quán)利要求1至7任一項(xiàng)或11所述的方法，其特征在于，所述攝像機(jī)參數(shù)信息包 括通用針孔攝像機(jī)模型中的參數(shù)或其它常用攝像機(jī)模型中的參數(shù)。
16、 一種圖像處理裝置，其特征在于，包括 圖像獲取單元，用于獲取至少兩個(gè)視的圖像；參數(shù)獲取單元，用于獲取物體的深度信息及各個(gè)視的攝像機(jī)參數(shù)信息；更新單元，根據(jù)所述參數(shù)獲取單元獲取的攝像機(jī)參數(shù)信息和物體的深度信息有所述圖 像獲取單元獲取的至少兩個(gè)視的圖像對(duì)至少一個(gè)視的圖像進(jìn)行更新處理。
17、 根據(jù)權(quán)利要求16所述的裝置，其特征在于，所述更新單元包括 像素值計(jì)算單元，用于根據(jù)所述參數(shù)獲取單元獲取的攝像機(jī)參數(shù)信息，以及物體的深度信息，結(jié)合物體在待更新視中的二維坐標(biāo)計(jì)算物體的三維坐標(biāo)；再利用所述三維坐標(biāo)計(jì)算物體在所述圖像獲取單元獲取的更新參照視的圖像中的二維坐標(biāo)，并確定該二維坐標(biāo)對(duì)應(yīng)的像素值；更新圖像生成單元，用于根據(jù)所述像素值計(jì)算單元計(jì)算確定的二維坐標(biāo)對(duì)應(yīng)的像素值 確定物體在待更新視的圖像中的對(duì)應(yīng)二維坐標(biāo)的像素值，更新所述待更新視的圖像中的像素值。
18、 根據(jù)權(quán)利耍求17所述的裝置，其特征在于，該裝置還包括尺寸擴(kuò)展操作單元，用于在所述待更新視的圖像的尺寸與更新后圖像尺寸不致時(shí)， 將待更新視的圖像的尺寸擴(kuò)展至與更新后圖像尺寸一致，該擴(kuò)展方式包括計(jì)算當(dāng)前更新 后圖像尺寸與待更新視的圖像的尺寸的比例系數(shù)，將待更新視的圖像中已有像素點(diǎn)坐標(biāo)乘 上該比例系數(shù)，將待更新視的圖像中相應(yīng)像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐 標(biāo)所對(duì)應(yīng)的位置；若計(jì)算所得的坐標(biāo)值不為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入 規(guī)則取整；或者，用于在待更新視的圖像的尺寸與其它視圖像尺寸不一致時(shí)，將待更新視 的圖像的尺寸擴(kuò)展至與其它視圖像尺寸一致，該擴(kuò)展方式包括計(jì)算其它視圖像尺寸與待更新視的圖像的尺寸的比例系數(shù)，將待更新視的圖像中已有像素點(diǎn)坐標(biāo)乘上該比例系數(shù)， 將待更新視的圖像中相應(yīng)像素點(diǎn)的像素值賦給擴(kuò)展圖像中計(jì)算所得的新坐標(biāo)所對(duì)應(yīng)的位置；若計(jì)算所得的坐標(biāo)值不為整數(shù)則將坐標(biāo)值小數(shù)部分去除或者按四舍五入規(guī)則取整。
19、 根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述更新圖像生成單元具體包括以下 任一單元第一生成單元，用于根據(jù)所述像素值計(jì)算單元確定的更新參照視的圖像中的二維坐標(biāo)對(duì)應(yīng)的像素值更新所述待更新視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn)或圖像塊的像素值； 或者，第二生成單元，用于對(duì)所述像素值計(jì)算單元確定的至少兩個(gè)更新參照視的圖像中的二 維坐標(biāo)對(duì)應(yīng)的像素值進(jìn)行數(shù)學(xué)運(yùn)算，并根據(jù)運(yùn)算后的結(jié)果更新所述待更新視的圖像中對(duì)應(yīng) 的坐標(biāo)點(diǎn)或圖像塊'的像素值；或者，第三生成單元，用于對(duì)所述像素值計(jì)算單元確定的至少兩個(gè)更新參照視的圖像中的二 維坐標(biāo)對(duì)應(yīng)的像素值進(jìn)行數(shù)學(xué)運(yùn)算后得到第一數(shù)值；對(duì)所述待更新視的圖像中對(duì)應(yīng)的坐標(biāo) 點(diǎn)或圖像塊鄰近的可獲得的點(diǎn)或圖像塊的像素值進(jìn)行數(shù)學(xué)運(yùn)算得到第二數(shù)值；將第一數(shù)值 與第二數(shù)值進(jìn)行數(shù)學(xué)運(yùn)算，并利用將該運(yùn)算結(jié)果更新所述待更新視的圖像中對(duì)應(yīng)的坐標(biāo)點(diǎn) 或圖像塊的像素值。
20、 根據(jù)權(quán)利要求17、 18或19所述的裝置，其特征在于，該裝置還包括 映射矩陣計(jì)算單元，用于根據(jù)所述參數(shù)獲取單元獲取的各個(gè)視的攝像機(jī)參數(shù)信息，計(jì)算各個(gè)視對(duì)應(yīng)的映射矩陣，所述映射矩陣用于表示各個(gè)視的圖像中的各點(diǎn)的二維坐標(biāo)與三 維坐標(biāo)之間的對(duì)應(yīng)關(guān)系，用于為所述像素值計(jì)算單元提供二維坐標(biāo)與三維坐標(biāo)之間的對(duì)應(yīng)關(guān)系。
21、 根據(jù)權(quán)利要求20所述的裝置，其特征在于，所述攝像機(jī)參數(shù)信息包括外部參數(shù)和 內(nèi)部參數(shù)，所述外部參數(shù)包括旋轉(zhuǎn)矩陣R和平移矩陣T,內(nèi)部參數(shù)包括焦距、畸變參數(shù)和光 學(xué)參數(shù)，且所述映射矩陣計(jì)算單元采用的映射矩陣計(jì)算公式包括P二K.i .r，其中，P 為映射矩陣，K為攝像機(jī)內(nèi)部參數(shù)矩陣，R為攝像機(jī)的旋轉(zhuǎn)參數(shù)矩陣，T為攝像機(jī)的平移參數(shù) 矩陣。
22、 根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述的更新圖像生成單元具體包括 第一賦值單元，用于在所述二維坐標(biāo)為整數(shù)時(shí)，直接將其對(duì)應(yīng)的像素值作為物體在待更新視中的二維坐標(biāo)對(duì)應(yīng)的像素值；第二賦值單元，用于在所述二維坐標(biāo)為并非均為整數(shù)時(shí)，將距離該二維坐標(biāo)符合預(yù)定 要求的預(yù)定數(shù)量的像素的加權(quán)平均值作為物體在待更新視中的二維坐標(biāo)對(duì)應(yīng)的像素值。
23、 根據(jù)權(quán)利要求16至19任一項(xiàng)或22所述的裝置，其特征在于，所述更新參照視和待 更新視為不同的攝像機(jī)對(duì)應(yīng)的視，或者，所述更新參照視和待更新視為同一攝像機(jī)在不同 位置上對(duì)應(yīng)的視。
24、 一種編碼方法，其特征在于，包括獲取編碼當(dāng)前視的圖像的參考圖像，采用權(quán)利要求1至15任一種圖像處理方法對(duì)所述參 考圖像進(jìn)行處理，獲得輸出圖像；在對(duì)當(dāng)前視的圖像進(jìn)行編碼過(guò)程中，采用所述輸出圖像作為參考圖像進(jìn)行編碼操作。
25、 一種編碼裝置，其特征在于，包括參考圖像獲取單元，用于獲取編碼當(dāng)前視的圖像的參考圖像；權(quán)利要求16至23任一種圖像處理裝置，用于對(duì)所述參考圖像獲取單元獲取的參考圖像 進(jìn)行處理，獲得輸出圖像；編碼單元，用于在對(duì)當(dāng)前視的圖像進(jìn)行編碼過(guò)程中，采用所述圖像處理單元提供的輸 出圖像作為參考圖像進(jìn)行編碼操作。
26、 一種解碼方法，其特征在于，包括獲取待解碼視的圖像的參考圖像，采用權(quán)利要求1至15任一種圖像處理方法對(duì)所述參考 圖像進(jìn)行處理，獲得輸出圖像；在對(duì)當(dāng)前視的圖像進(jìn)行解碼過(guò)程中，采用所述輸出圖像作為參考圖像進(jìn)行解碼操作。
27、 一種解碼裝置，其特征在于，包括參考圖像獲取單元，用于獲取解碼當(dāng)前視的圖像的參考圖像；權(quán)利要求1'6至23任一種圖像處理裝置，用于對(duì)所述參考圖像獲取單元獲取的參考圖像 進(jìn)行處理，獲得輸出圖像；解碼單元，用于在對(duì)當(dāng)前視的圖像進(jìn)行解碼過(guò)程中，采用所述圖像處理單元提供的輸 出圖像作為參考圖像進(jìn)行解碼操作。
28、 一種實(shí)現(xiàn)圖像上采樣的方法，其特征在于，包括 獲取需要進(jìn)行上采樣處理的圖像；將該圖像中的整像素位置的像素保留在輸出圖像中，對(duì)于該圖像中的亞像素位置，則 采用權(quán)利要求1至15任一種圖像處理方法進(jìn)行處理，獲得該亞像素位置對(duì)應(yīng)的像素值；將獲得的亞像素位置對(duì)應(yīng)的像素值添加到輸出圖像中，獲得經(jīng)過(guò)上采樣處理后的圖像。
29、 一種實(shí)現(xiàn)圖像上采樣的裝置，其特征在于，包括 圖像獲取單元，用于獲取需要進(jìn)行上采樣處理的圖像；整像素處理單元，用于將所述圖像獲取單元獲取的圖像中的整像素位置的像素保留在 輸出圖像中；權(quán)利要求16至23任一項(xiàng)所述圖像處理裝置，用于對(duì)于所述圖像獲取單元獲取的圖像中 的亞像素位置，進(jìn)行處理，獲得該亞像素位置對(duì)應(yīng)的像素值；采樣結(jié)果生成單元，用于將所述圖像處理裝置獲得的亞像素位置對(duì)應(yīng)的像素值添加到 所述整像素處理單元獲得的輸出圖像中，獲得經(jīng)過(guò)上采樣處理后的圖像。
全文摘要
一種圖像處理方法、編解碼方法及裝置，其主要包括獲取至少兩個(gè)視的圖像和攝像機(jī)參數(shù)信息，以及物體的深度信息；根據(jù)所述至少兩個(gè)視的圖像、攝像機(jī)參數(shù)信息和物體的深度信息對(duì)至少一個(gè)視的圖像進(jìn)行更新處理。本發(fā)明實(shí)施例可以用于根據(jù)獲取的圖像的攝像機(jī)參數(shù)以及物體的深度信息對(duì)待更新視的圖像進(jìn)行更新處理，以獲得編碼或解碼過(guò)程中期望的圖像，從而減少待更新圖像的編碼比特?cái)?shù)，降低待編碼和待解碼的計(jì)算負(fù)擔(dān)。
文檔編號(hào)H04N7/24GK101483765SQ200810056088
公開日2009年7月15日 申請(qǐng)日期2008年1月11日 優(yōu)先權(quán)日2008年1月11日
發(fā)明者蕓 何, 史舒娟, 剛 朱, 平 楊, 許曉中, 鄭建鏵, 鄭蕭楨 申請(qǐng)人:華為技術(shù)有限公司;清華大學(xué)