專利名稱：雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺和視頻處理技術(shù)領(lǐng)域，特別涉及一種雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法和裝置。
背景技術(shù)：
近年來，隨著三維立體應(yīng)用的普及，對(duì)立體圖像和視頻的研究開始成為熱點(diǎn)。由于原始圖像和視頻的數(shù)據(jù)量非常大，而帶寬不可無限制的增大，為了利用有限的網(wǎng)絡(luò)帶寬完成大數(shù)據(jù)量的圖像傳輸，有效的視頻壓縮技術(shù)開始成為國(guó)內(nèi)外研究的熱點(diǎn)之一。對(duì)于雙拼的立體視頻編碼，現(xiàn)有技術(shù)仍保持單視圖的編碼模式，還沒有規(guī)范的有針對(duì)性的統(tǒng)一編碼模式。目前標(biāo)準(zhǔn)中普遍采用單視點(diǎn)編碼的框架進(jìn)行處理，實(shí)際并沒有考慮信號(hào)源雙拼屬性的特點(diǎn)，由此，導(dǎo)致雙拼立體視頻編碼的性能很低。而運(yùn)動(dòng)估計(jì)方法的好壞直接影響到雙拼立體視頻編碼的性能。運(yùn)動(dòng)估計(jì)是根據(jù)先前編碼的一幀或者多幀(參考幀)數(shù)據(jù)產(chǎn)生當(dāng)前幀的一個(gè)模型。運(yùn)動(dòng)估計(jì)方法和運(yùn)動(dòng)補(bǔ)償算法的好壞直接關(guān)系著匹配過程中殘差幀的能量，在可以接受的計(jì)算復(fù)雜度內(nèi)，其能量越低，匹配越精確。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的一個(gè)目的在于提出一種雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法，該方法彌補(bǔ)了拼接格式的雙目視頻序列在進(jìn)行編碼時(shí)，其初始階段的下采樣過程以及后期處理的上采樣重構(gòu)過程對(duì)視頻編碼性能的影響，從而在保證編碼效率的同時(shí)，提高編碼的精度， 進(jìn)而提高編碼的壓縮性能。本發(fā)明的另一目的在于提出一種雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置，該裝置彌補(bǔ)了拼接格式的雙目視頻序列在進(jìn)行編碼時(shí)，其初始階段的下采樣過程以及后期處理的上采樣重構(gòu)過程對(duì)視頻編碼性能的影響，從而在保證編碼效率的同時(shí)，提高編碼的精度，進(jìn)而提高編碼的壓縮性能。另外，該裝置結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面實(shí)施例提出的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法，包括以下步驟提供雙目立體視頻序列的第一路視頻序列和第二路視頻序列；分別對(duì)所述第一路視頻序列和所述第二路視頻序列進(jìn)行下采樣以得到第一路下采樣圖像序列和第二路下采樣圖像序列，對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接以得到雙拼立體視頻序列；在所述雙拼立體視頻序列的當(dāng)前幀圖像上選擇當(dāng)前塊 al，并獲取所述當(dāng)前塊al在所述雙拼立體視頻序列中預(yù)設(shè)的參考幀圖像上的初始匹配塊集合；對(duì)所述當(dāng)前塊al和所述初始匹配塊集合中每個(gè)初始匹配塊進(jìn)行上采樣，并在所述第一路視頻序列或第二路視頻序列的相應(yīng)幀圖像上尋找與所述上采樣后的當(dāng)前塊al對(duì)應(yīng)的當(dāng)前塊a2 ；分別計(jì)算所述當(dāng)前塊a2與所述初始匹配塊集合中上采樣后的每一個(gè)匹配塊的差值和能量，并獲得全部能量中最小的一個(gè)能量對(duì)應(yīng)的上采樣后的匹配塊與所述當(dāng)前塊a2之間的運(yùn)動(dòng)矢量；計(jì)算所述當(dāng)前塊al與所述匹配塊1^2相關(guān)聯(lián)的初始匹配塊之間的差值塊，并對(duì)全部差值塊和所述全部運(yùn)動(dòng)矢量進(jìn)行編碼以得到重構(gòu)雙拼視頻序列；以及對(duì)所述重構(gòu)雙拼視頻序列進(jìn)行拆分以得到第三路下采樣圖像序列和第四路下采樣圖像序列，并對(duì)所述第三路下采樣圖像序列和所述第四路下采樣圖像序列進(jìn)行上采樣，以得到與所述第一路視頻序列和所述第二路視頻序列對(duì)應(yīng)的重構(gòu)雙目視頻序列，其中，所述上采樣為所述下采樣的逆向采樣，所述拆分為與所述拼接相反。根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法，考慮到解碼部分的上采樣重構(gòu)過程對(duì)運(yùn)動(dòng)匹配精確性的影響，因此在編碼部分中，在進(jìn)行運(yùn)動(dòng)估計(jì)匹配時(shí)，采用與本發(fā)明所用到的下采樣方式相反的上采樣方式進(jìn)行對(duì)圖像或者當(dāng)前塊和匹配塊的上采樣， 從而彌補(bǔ)了拼接格式的雙目視頻序列在進(jìn)行編碼時(shí)，其初始階段的下采樣過程以及后期處理的上采樣重構(gòu)過程對(duì)視頻編碼性能的影響，進(jìn)而在保證編碼效率的同時(shí)，提高編碼的精度以及編碼的壓縮性能。另外，根據(jù)本發(fā)明的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法還可以具有如下附加的技術(shù)特征在本發(fā)明的一個(gè)實(shí)施例中，對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接的方式包括第一路下采樣圖像序列和所述第二路下采樣圖像序列的左右拼接方式、上下拼接方式和交錯(cuò)拼接方式的其中之一。在本發(fā)明的一個(gè)實(shí)施例中，通過左右拼接方式對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接。在本發(fā)明的一個(gè)實(shí)施例中，所述第一路視頻序列為所述雙目立體視頻序列的左視圖序列，所述第二路視頻序列為所述雙目立體視頻序列的右視圖序列。在本發(fā)明的一個(gè)實(shí)施例中，所述下采樣采用奇數(shù)列下采樣、偶數(shù)列下采樣、奇數(shù)行下采樣和偶數(shù)行下采樣方式的其中之一。在本發(fā)明的一個(gè)實(shí)施例中，所述下采樣采用奇數(shù)列下采樣的方式。在本發(fā)明的一個(gè)實(shí)施例中，所述雙目編碼序列的編碼格式為H. 26UH. 263,H. 264, MPEG-I、MPEG-2、MPEG-4 的其中之一。根據(jù)本發(fā)明第二方面實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置，包括圖像獲取模塊，用于提供雙目立體視頻序列的第一路視頻序列和第二路視頻序列；下采樣模塊，所述下采樣模塊用于分別對(duì)所述第一路視頻序列和所述第二路視頻序列進(jìn)行下采樣以得到第一路下采樣圖像序列和第二路下采樣圖像序列，對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接以得到雙拼立體視頻序列；匹配塊獲取模塊，用于在所述雙拼立體視頻序列的當(dāng)前幀圖像上選擇當(dāng)前塊al，并獲取所述當(dāng)前塊al在所述雙拼立體視頻序列中預(yù)設(shè)的參考幀圖像上的初始匹配塊集合；上采樣模塊，用于對(duì)所述當(dāng)前塊al和所述初始匹配塊集合中每個(gè)初始匹配塊進(jìn)行上采樣，并在所述第一路視頻序列或第二路視頻序列的相應(yīng)幀圖像上尋找與所述上采樣后的當(dāng)前塊al對(duì)應(yīng)的當(dāng)前塊a2 ；第一計(jì)算模塊，用于分別計(jì)算所述當(dāng)前塊a2與所述初始匹配塊集合中上采樣后的每一個(gè)匹配塊的差值和能量，并獲得全部能量中最小的一個(gè)能量對(duì)應(yīng)的上采樣后的匹配塊與所述當(dāng)前塊a2之間的運(yùn)動(dòng)矢量；第二計(jì)算模塊，用于計(jì)算所述當(dāng)前塊al與所述匹配塊1^2相關(guān)聯(lián)的初始匹配塊之間的差值塊，并對(duì)全部差值塊和所述全部運(yùn)動(dòng)矢量進(jìn)行編碼以得到重構(gòu)雙拼視頻序列；以及重構(gòu)模塊，用于對(duì)所述重構(gòu)雙拼視頻序列進(jìn)行拆分以得到第三路下采樣圖像序列和第四路下采樣圖像序列，并對(duì)所述第三路下采樣圖像序列和所述第四路下采樣圖像序列進(jìn)行上采樣，以得到與所述第一路視頻序列和所述第二路視頻序列對(duì)應(yīng)的重構(gòu)雙目視頻序列， 其中，所述上采樣為所述下采樣的逆向采樣，所述拆分為與所述拼接相反。根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置，考慮到解碼部分的上采樣重構(gòu)過程對(duì)運(yùn)動(dòng)匹配精確性的影響，因此在編碼部分中，在進(jìn)行運(yùn)動(dòng)估計(jì)匹配時(shí)，采用與本發(fā)明所用到的下采樣方式相反的上采樣方式進(jìn)行對(duì)圖像或者當(dāng)前塊和匹配塊的上采樣， 從而彌補(bǔ)了拼接格式的雙目視頻序列在進(jìn)行編碼時(shí)，其初始階段的下采樣過程以及后期處理的上采樣重構(gòu)過程對(duì)視頻編碼性能的影響，進(jìn)而在保證編碼效率的同時(shí)，提高編碼的精度以及編碼的壓縮性能。另外，該裝置結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。另外，根據(jù)本發(fā)明的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置還可以具有如下附加的技術(shù)特征在本發(fā)明的一個(gè)實(shí)施例中，所述下采樣模塊對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接的方式包括第一路下采樣圖像序列和所述第二路下采樣圖像序列的左右拼接方式、上下拼接方式和交錯(cuò)拼接方式的其中之一。在本發(fā)明的一個(gè)實(shí)施例中，通過左右拼接方式對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接。在本發(fā)明的一個(gè)實(shí)施例中，所述圖像獲取模塊獲取的所述第一路視頻序列為所述雙目立體視頻序列的左視圖序列，所述第二路視頻序列為所述雙目立體視頻序列的右視圖序列。在本發(fā)明的一個(gè)實(shí)施例中，所述下采樣采用奇數(shù)列下采樣、偶數(shù)列下采樣、奇數(shù)行下采樣和偶數(shù)行下采樣方式的其中之一。在本發(fā)明的一個(gè)實(shí)施例中，所述下采樣采用奇數(shù)列下采樣的方式。在本發(fā)明的一個(gè)實(shí)施例中，所述重構(gòu)模塊對(duì)所述雙目編碼序列的編碼采用如下格式:H. 261、H. 263、H. 264、MPEG-1、MPEG-2、MPEG-4 的其中之一。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖1為本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法的流程圖；圖2為本發(fā)明實(shí)施例的雙拼立體視頻的拼接示意圖；圖3為本發(fā)明實(shí)施例的圖1中步驟S103的詳細(xì)流程示意圖；圖4為本發(fā)明實(shí)施例的圖1中步驟S104的詳細(xì)流程示意圖；和圖5為本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置的結(jié)構(gòu)圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、 “后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。以下結(jié)合附圖1-4首先描述根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法。如圖1所示，根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法，包括如下步驟步驟SlO 1，提供雙目立體視頻序列的第一路視頻序列和第二路視頻序列。在本發(fā)明的一個(gè)實(shí)施例中，結(jié)合圖1，所述第一路視頻序列為所述雙目立體視頻序列的左視圖，相應(yīng)地，第二路視頻序列為右視圖。步驟S102，拼接。具體而言，包括(1)分別對(duì)所述第一路視頻序列(左視圖)和所述第二路視頻序列(右視圖)進(jìn)行下采樣以得到第一路下采樣圖像序列和第二路下采樣圖像序列。如圖2所示，作為一個(gè)具體的示例，可以分別對(duì)第一路視頻序列(左視圖)和所述第二路視頻序列(右視圖)進(jìn)行隔列并對(duì)奇數(shù)列進(jìn)行下采樣。當(dāng)然，本發(fā)明的實(shí)施例并不限于此，例如還可以采用偶數(shù)列下采樣、奇數(shù)行下采樣和偶數(shù)行下采樣，這些均不失一般性， 因此，都可以作為對(duì)本發(fā)明后續(xù)處理的前提，在本發(fā)明的以下示例中，下采樣均指對(duì)奇數(shù)列的下采樣。(2)對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接以得到雙拼立體視頻序列。再次結(jié)合圖2，本發(fā)明實(shí)施例中采用對(duì)第一路下采樣圖像序列和第二路下采樣圖像序列進(jìn)行左右拼接的方式進(jìn)行拼接。但是，本發(fā)明的實(shí)施例并不限于此并不限于此，例如還可以通過上下拼接方式、行交錯(cuò)或者列交錯(cuò)的方式對(duì)第一路下采樣圖像序列和第二路下采樣圖像序列進(jìn)行拼接，無論何種拼接方式，均可采用本發(fā)明后續(xù)處理方式進(jìn)行處理，因此，本發(fā)明對(duì)于何種拼接方式并沒有限制。步驟S103，對(duì)拼接得到的雙拼立體視頻序列進(jìn)行編碼。對(duì)全部差值塊和所述全部運(yùn)動(dòng)矢量進(jìn)行編碼以得到編碼序列。具體地，結(jié)合圖3，包括如下步驟
(1)更新當(dāng)前塊。例如在所述雙拼立體視頻序列的當(dāng)前幀圖像上選擇當(dāng)前塊al， 并獲取所述當(dāng)前塊al在所述雙拼立體視頻序列中預(yù)設(shè)的參考幀圖像上的初始匹配塊集
I=I O(2)更新匹配塊，例如對(duì)所述當(dāng)前塊al和所述初始匹配塊集合中每個(gè)初始匹配塊進(jìn)行上采樣，并在所述第一路視頻序列或第二路視頻序列的相應(yīng)幀圖像上尋找與所述上采樣后的當(dāng)前塊al對(duì)應(yīng)的當(dāng)前塊a2。C3)利用當(dāng)前塊a2與匹配塊1^2計(jì)算最佳匹配位置，獲得運(yùn)動(dòng)矢量。更為具體地，分別計(jì)算所述當(dāng)前塊a2與所述初始匹配塊集合中上采樣后的每一個(gè)匹配塊的差值和能量， 并獲得全部能量中最小的一個(gè)能量對(duì)應(yīng)的上采樣后的匹配塊與所述當(dāng)前塊a2之間的運(yùn)
動(dòng)矢量。(4)從當(dāng)前塊al中減去最佳匹配位置的上采樣前匹配塊得到差值塊。也就是說計(jì)算所述當(dāng)前塊al與所述匹配塊1^2相關(guān)聯(lián)的初始匹配塊之間的差值塊。(5)編碼運(yùn)動(dòng)矢量和差值塊。通過迭代獲得全部差值塊和所述全部運(yùn)動(dòng)矢量，并對(duì)全部差值塊和所述全部運(yùn)動(dòng)矢量進(jìn)行編碼以得到重構(gòu)雙拼視頻序列。這樣，通過上述步驟，可以將雙目立體視頻序列編碼為符合H. 261, H. 263, H. 264, MPEG-1、MPEG-2、MPEG-4的其中之一格式的碼流。步驟S104，拆分。結(jié)合圖4，具體而言，對(duì)所述重構(gòu)雙拼視頻序列進(jìn)行拆分以得到第三路下采樣圖像序列和第四路下采樣圖像序列，并對(duì)所述第三路下采樣圖像序列和所述第四路下采樣圖像序列進(jìn)行上采樣，以得到與所述第一路視頻序列和所述第二路視頻序列對(duì)應(yīng)的重構(gòu)雙目視頻序列。對(duì)于編碼后的碼流，當(dāng)被傳送到播放端或者解碼端后，首先需要對(duì)該碼流進(jìn)行解碼，將該碼流解碼為雙拼的立體視頻序列形式，接著采用上述實(shí)施中的與拼接方式相對(duì)應(yīng)的拆分方式將該雙拼的立體視頻拆分為兩路視頻序列(尚未進(jìn)行上采樣)，接著對(duì)拆分的兩路視頻進(jìn)行上采樣，以還原為最終的第一路視頻序列和第二路視頻序列。這樣，最終對(duì)本發(fā)明方法的碼流實(shí)現(xiàn)解碼。需理解，上述實(shí)施例中所提及的上采樣、下采樣、拆分和拼接的解釋如下所述上采樣為所述下采樣的逆向采樣，所述拆分為與所述拼接相反。而下采樣和拼接已經(jīng)在前述實(shí)施例中進(jìn)行解釋，為了減少冗余，對(duì)上采樣和拆分的含義不做贅述。根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法，考慮到解碼部分的上采樣重構(gòu)過程對(duì)運(yùn)動(dòng)匹配精確性的影響，因此在編碼部分中，在進(jìn)行運(yùn)動(dòng)估計(jì)匹配時(shí)，采用與本發(fā)明所用到的下采樣方式相反的上采樣方式進(jìn)行對(duì)圖像或者當(dāng)前塊和匹配塊的上采樣， 從而彌補(bǔ)了拼接格式的雙目視頻序列在進(jìn)行編碼時(shí)，其初始階段的下采樣過程以及后期處理的上采樣重構(gòu)過程對(duì)視頻編碼性能的影響，進(jìn)而在保證編碼效率的同時(shí)，提高編碼的精度以及編碼的壓縮性能。以下結(jié)合圖5描述根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置。如圖5所示，根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置500，包括 圖像獲取模塊510、下采樣模塊520、匹配塊獲取模塊530、上采樣模塊M0、第一計(jì)算模塊 550、第二計(jì)算模塊560以及重構(gòu)模塊570。
以下對(duì)每個(gè)功能模塊的功能進(jìn)行詳細(xì)描述。具體地圖像獲取模塊510用于提供雙目立體視頻序列的第一路視頻序列和第二路視頻序列。在本發(fā)明的一個(gè)實(shí)施例中，結(jié)合圖1，所述第一路視頻序列為所述雙目立體視頻序列的左視圖，相應(yīng)地，第二路視頻序列為右視圖。所述下采樣模塊520用于分別對(duì)所述第一路視頻序列和所述第二路視頻序列進(jìn)行下采樣以得到第一路下采樣圖像序列和第二路下采樣圖像序列，對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接以得到雙拼立體視頻序列。更為具體地，包括(1)分別對(duì)所述第一路視頻序列(左視圖)和所述第二路視頻序列(右視圖)進(jìn)行下采樣以得到第一路下采樣圖像序列和第二路下采樣圖像序列。作為一個(gè)具體的示例，可以分別對(duì)第一路視頻序列(左視圖)和所述第二路視頻序列(右視圖) 進(jìn)行隔列并對(duì)奇數(shù)列進(jìn)行下采樣。當(dāng)然，本發(fā)明的實(shí)施例并不限于此，例如還可以采用偶數(shù)列下采樣、奇數(shù)行下采樣和偶數(shù)行下采樣，這些均不失一般性，因此，都可以作為對(duì)本發(fā)明后續(xù)處理的前提，在本發(fā)明的以下示例中，下采樣均指對(duì)奇數(shù)列的下采樣。(2)對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接以得到雙拼立體視頻序列。本發(fā)明實(shí)施例中采用對(duì)第一路下采樣圖像序列和第二路下采樣圖像序列進(jìn)行左右拼接的方式進(jìn)行拼接。但是，本發(fā)明的實(shí)施例并不限于此并不限于此，例如還可以通過上下拼接方式、行交錯(cuò)或者列交錯(cuò)的方式對(duì)第一路下采樣圖像序列和第二路下采樣圖像序列進(jìn)行拼接，無論何種拼接方式，均可采用本發(fā)明后續(xù)處理方式進(jìn)行處理，因此，本發(fā)明對(duì)于何種拼接方式并沒有限制。匹配塊獲取模塊530用于在所述雙拼立體視頻序列的當(dāng)前幀圖像上選擇當(dāng)前塊 al，并獲取所述當(dāng)前塊al在所述雙拼立體視頻序列中預(yù)設(shè)的參考幀圖像上的初始匹配塊集合。上采樣模塊540用于對(duì)所述當(dāng)前塊al和所述初始匹配塊集合中每個(gè)初始匹配塊進(jìn)行上采樣，并在所述第一路視頻序列或第二路視頻序列的相應(yīng)幀圖像上尋找與所述上采樣后的當(dāng)前塊al對(duì)應(yīng)的當(dāng)前塊a2。第一計(jì)算模塊550用于分別計(jì)算所述當(dāng)前塊a2與所述初始匹配塊集合中上采樣后的每一個(gè)匹配塊的差值和能量，并獲得全部能量中最小的一個(gè)能量對(duì)應(yīng)的上采樣后的匹配塊1^2與所述當(dāng)前塊a2之間的運(yùn)動(dòng)矢量。第二計(jì)算模塊560用于計(jì)算所述當(dāng)前塊al與所述匹配塊M相關(guān)聯(lián)的初始匹配塊之間的差值塊，并對(duì)全部差值塊和所述全部運(yùn)動(dòng)矢量進(jìn)行編碼以得到重構(gòu)雙拼視頻序列。重構(gòu)模塊570用于對(duì)所述重構(gòu)雙拼視頻序列進(jìn)行拆分以得到第三路下采樣圖像序列和第四路下采樣圖像序列，并對(duì)所述第三路下采樣圖像序列和所述第四路下采樣圖像序列進(jìn)行上采樣，以得到與所述第一路視頻序列和所述第二路視頻序列對(duì)應(yīng)的重構(gòu)雙目視頻序列。這樣，通過上述功能模塊，可以將雙目立體視頻序列編碼為符合H.沈1、H.沈3、 H. 264, MPEG-1、MPEG-2、MPEG-4的其中之一格式的碼流。并能夠?qū)崿F(xiàn)對(duì)上述實(shí)施例中得到的碼流進(jìn)行解碼。需理解，上述實(shí)施例中所提及的上采樣、下采樣、拆分和拼接的解釋如下所述上采樣為所述下采樣的逆向采樣，所述拆分為與所述拼接相反。而下采樣和拼接已經(jīng)在前述實(shí)施例中進(jìn)行解釋，為了減少冗余，對(duì)上采樣和拆分的含義不做贅述。根據(jù)本發(fā)明實(shí)施例的雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置，考慮到解碼部分的上采樣重構(gòu)過程對(duì)運(yùn)動(dòng)匹配精確性的影響，因此在編碼部分中，在進(jìn)行運(yùn)動(dòng)估計(jì)匹配時(shí)，采用與本發(fā)明所用到的下采樣方式相反的上采樣方式進(jìn)行對(duì)圖像或者當(dāng)前塊和匹配塊的上采樣， 從而彌補(bǔ)了拼接格式的雙目視頻序列在進(jìn)行編碼時(shí)，其初始階段的下采樣過程以及后期處理的上采樣重構(gòu)過程對(duì)視頻編碼性能的影響，進(jìn)而在保證編碼效率的同時(shí)，提高編碼的精度以及編碼的壓縮性能。另外，該裝置結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同限定。
權(quán)利要求
1.一種雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法，其特征在于，包括以下步驟提供雙目立體視頻序列的第一路視頻序列和第二路視頻序列；分別對(duì)所述第一路視頻序列和所述第二路視頻序列進(jìn)行下采樣以得到第一路下采樣圖像序列和第二路下采樣圖像序列，對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接以得到雙拼立體視頻序列；在所述雙拼立體視頻序列的當(dāng)前幀圖像上選擇當(dāng)前塊al，并獲取所述當(dāng)前塊al在所述雙拼立體視頻序列中預(yù)設(shè)的參考幀圖像上的初始匹配塊集合；對(duì)所述當(dāng)前塊al和所述初始匹配塊集合中每個(gè)初始匹配塊進(jìn)行上采樣，并在所述第一路視頻序列或第二路視頻序列的相應(yīng)幀圖像上尋找與所述上采樣后的當(dāng)前塊al對(duì)應(yīng)的當(dāng)前塊a2 ；分別計(jì)算所述當(dāng)前塊a2與所述初始匹配塊集合中上采樣后的每一個(gè)匹配塊的差值和能量，并獲得全部能量中最小的一個(gè)能量對(duì)應(yīng)的上采樣后的匹配塊與所述當(dāng)前塊a2之間的運(yùn)動(dòng)矢量；計(jì)算所述當(dāng)前塊al與所述匹配塊1^2相關(guān)聯(lián)的初始匹配塊之間的差值塊，并對(duì)全部差值塊和所述全部運(yùn)動(dòng)矢量進(jìn)行編碼以得到重構(gòu)雙拼視頻序列；對(duì)所述重構(gòu)雙拼視頻序列進(jìn)行拆分以得到第三路下采樣圖像序列和第四路下采樣圖像序列，并對(duì)所述第三路下采樣圖像序列和所述第四路下采樣圖像序列進(jìn)行上采樣，以得到與所述第一路視頻序列和所述第二路視頻序列對(duì)應(yīng)的重構(gòu)雙目視頻序列，其中，所述上采樣為所述下采樣的逆向采樣，所述拆分為與所述拼接相反。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)方法，其特征在于，對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接的方式包括第一路下采樣圖像序列和所述第二路下采樣圖像序列的左右拼接方式、上下拼接方式和交錯(cuò)拼接方式的其中之一。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)估計(jì)方法，其特征在于，通過左右拼接方式對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接。
4.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述第一路視頻序列為所述雙目立體視頻序列的左視圖序列，所述第二路視頻序列為所述雙目立體視頻序列的右視圖序列。
5.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述下采樣采用奇數(shù)列下采樣、 偶數(shù)列下采樣、奇數(shù)行下采樣和偶數(shù)行下采樣方式的其中之一。
6.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述下采樣采用奇數(shù)列下采樣的方式。
7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述雙目編碼序列的編碼格式為 H. 26UH263.H. 264, MPEG-U MPEG-2, MPEG-4 的其中之一。
8.一種雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)裝置，其特征在于，包括圖像獲取模塊，用于提供雙目立體視頻序列的第一路視頻序列和第二路視頻序列；下采樣模塊，所述下采樣模塊用于分別對(duì)所述第一路視頻序列和所述第二路視頻序列進(jìn)行下采樣以得到第一路下采樣圖像序列和第二路下采樣圖像序列，對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接以得到雙拼立體視頻序列；匹配塊獲取模塊，用于在所述雙拼立體視頻序列的當(dāng)前幀圖像上選擇當(dāng)前塊al，并獲取所述當(dāng)前塊al在所述雙拼立體視頻序列中預(yù)設(shè)的參考幀圖像上的初始匹配塊集合；上采樣模塊，用于對(duì)所述當(dāng)前塊al和所述初始匹配塊集合中每個(gè)初始匹配塊進(jìn)行上采樣，并在所述第一路視頻序列或第二路視頻序列的相應(yīng)幀圖像上尋找與所述上采樣后的當(dāng)前塊al對(duì)應(yīng)的當(dāng)前塊a2;第一計(jì)算模塊，用于分別計(jì)算所述當(dāng)前塊a2與所述初始匹配塊集合中上采樣后的每一個(gè)匹配塊的差值和能量，并獲得全部能量中最小的一個(gè)能量對(duì)應(yīng)的上采樣后的匹配塊1^2 與所述當(dāng)前塊a2之間的運(yùn)動(dòng)矢量；第二計(jì)算模塊，用于計(jì)算所述當(dāng)前塊al與所述匹配塊1^2相關(guān)聯(lián)的初始匹配塊之間的差值塊，并對(duì)全部差值塊和所述全部運(yùn)動(dòng)矢量進(jìn)行編碼以得到重構(gòu)雙拼視頻序列；以及重構(gòu)模塊，用于對(duì)所述重構(gòu)雙拼視頻序列進(jìn)行拆分，以得到第三路下采樣圖像序列和第四路下采樣圖像序列，并對(duì)所述第三路下采樣圖像序列和所述第四路下采樣圖像序列進(jìn)行上采樣，以得到與所述第一路視頻序列和所述第二路視頻序列對(duì)應(yīng)的重構(gòu)雙目視頻序列，其中，所述上采樣為所述下采樣的逆向采樣，所述拆分為與所述拼接相反。
9.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)估計(jì)裝置，其特征在于，所述下采樣模塊對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接的方式包括第一路下采樣圖像序列和所述第二路下采樣圖像序列的左右拼接方式、上下拼接方式和交錯(cuò)拼接方式的其中之一。
10.根據(jù)權(quán)利要求9所述的運(yùn)動(dòng)估計(jì)裝置，其特征在于，通過左右拼接方式對(duì)所述第一路下采樣圖像序列和所述第二路下采樣圖像序列進(jìn)行拼接。
11.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)估計(jì)裝置，其特征在于，所述圖像獲取模塊獲取的所述第一路視頻序列為所述雙目立體視頻序列的左視圖序列，所述第二路視頻序列為所述雙目立體視頻序列的右視圖序列。
12.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)估計(jì)裝置，其特征在于，所述下采樣采用奇數(shù)列下采樣、偶數(shù)列下采樣、奇數(shù)行下采樣和偶數(shù)行下采樣方式的其中之一。
13.根據(jù)權(quán)利要求12所述的運(yùn)動(dòng)估計(jì)裝置，其特征在于，所述下采樣采用奇數(shù)列下采樣的方式。
14.根據(jù)權(quán)利要求8-13任一項(xiàng)所述的運(yùn)動(dòng)估計(jì)裝置，其特征在于，所述重構(gòu)模塊對(duì)所述雙目編碼序列的編碼采用如下格式H. 261、H. 263、H. 264、MPEG-1、MPEG-2、MPEG-4 的其中之一。
全文摘要
本發(fā)明提出一種雙拼立體視頻編碼的運(yùn)動(dòng)估計(jì)方法和裝置，該方法包括對(duì)第一路和第二路視頻序列下采樣，對(duì)下采樣后的第一路和第二路下采樣圖像序列拼接；選擇當(dāng)前塊a1，并獲取初始匹配塊集合；對(duì)a1和初始匹配塊集合上采樣，并尋找與a1對(duì)應(yīng)的當(dāng)前塊a2；計(jì)算a2與每一個(gè)匹配塊的差值和能量，并獲得與所述當(dāng)前塊a2之間的運(yùn)動(dòng)矢量；計(jì)算a1與匹配塊b2之間的差值塊，并編碼；和對(duì)重構(gòu)雙拼視頻序列進(jìn)行拆分，并對(duì)拆分后的圖像序列進(jìn)行上采樣，以得到與所述第一路視頻序列和所述第二路視頻序列對(duì)應(yīng)的重構(gòu)雙目視頻序列。應(yīng)用本發(fā)明實(shí)施例方法編碼更為精確，編碼壓縮性能更為好。該裝置結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。
文檔編號(hào)H04N13/00GK102271255SQ20111022744
公開日2011年12月7日 申請(qǐng)日期2011年8月9日 優(yōu)先權(quán)日2011年8月9日
發(fā)明者季向陽, 戴瓊海, 馬茜 申請(qǐng)人:清華大學(xué)