視頻信號的編碼系統(tǒng)以及編碼方法
【專利摘要】提供一種通過對視頻磚塊流的編碼方式進行努力，能夠抑制對于服務器的負荷，并且生成結合流的技術。接受到成為編碼對象的視頻信號后，使用適宜的預測參照信息，將視頻信號編碼，從而生成磚塊流。輸出通過編碼而得到的視頻磚塊流。在此，在視頻信息的編碼中，使用預測參照信息限制方式或者預測參照信息固定方式，使得即使將視頻磚塊流中的幀的各MB線所構成的流進行任意地連接，也不產(chǎn)生由于信號的預測關系的不一致而發(fā)生的誤差。在磚塊流的結合時，能夠避免編碼時決定并寫入到流中的預測信息的不一致。
【專利說明】視頻信號的編碼系統(tǒng)以及編碼方法
【技術領域】
[0001]本發(fā)明涉及視頻信號的編碼系統(tǒng)以及編碼方法。尤其，本發(fā)明涉及適合將多個磚塊流(tile stream)中的各MB線以各MB線為單位任意地連接,構成單一的結合比特流的編碼技術。
【背景技術】
[0002]對于活動圖像信息的高分辨率化、寬視角化、高功能化，進行了大量的研究開發(fā)。例如，下述非專利文獻I提出了將從多個攝像機、全方位攝像機取得的視頻在磚塊(tile)上分割、編碼，僅將用戶要求的視點位置的磚塊視頻解碼、顯示的系統(tǒng)。進而，下述非專利文獻2提出了基于作為H.264/AVC的擴展標準的Mult1-View Coding (多視角編碼)，實現(xiàn)對于從多個攝像機得到的高分辨率全景視頻的存取的系統(tǒng)。在該技術中，也在發(fā)送側(服務器側)，將輸入視頻分割并編碼，根據(jù)用戶(客戶終端)要求的視聽區(qū)域而傳輸多個編碼流。在用戶側(即客戶終端)，能夠將該編碼流解碼，進行全景視頻的顯示。另外，以下，有時將客戶終端簡單地稱作客戶。
[0003]可是，在上述的非專利文獻I以及2的技術中，都需要在客戶中將多個流同時解碼以及同步顯示。雖然在非專利文獻I中沒有提及傳輸方式，但在非專利文獻2中，需要用于同時取得多個流的多個會話控制?？梢哉J為這些使客戶中的處理的復雜性增加，因此尤其是在智能手機等的計算資源受限制的環(huán)境中，多視覺服務(Mult1-vision service)的利用變得困難。
[0004]因此，提出了不進行多個流的傳輸，在服務器側結合多個流而生成了單一流之后，進行該單一流的傳輸?shù)南到y(tǒng)(下述非專利文獻3以及專利文獻I)。以后，設為將結合前的多個流稱作磚塊流，將結合后的單一流稱作結合流。
[0005]非專利文獻3以及專利文獻I的技術中，僅將從分發(fā)服務器取得的結合流在客戶中解碼以及顯示。因此，在該技術中，能夠在客戶側避免多個流的同時解碼、解碼后的視頻信號的同步顯示那樣的復雜的處理。由此，在客戶系統(tǒng)中，能夠利用以往的視頻再現(xiàn)系統(tǒng)，同時再現(xiàn)多個磚塊的視頻。
[0006]若以MPEG-2或者MPEG-4的規(guī)格為前提，能夠通過將某個磚塊流的幀的MB (宏方塊)線的右端和、其他的磚塊流的幀的MB線的左端進行結合來完成結合流生成。即使進行這樣的結合，若為MPEG-2或者MPEG-4的規(guī)格，不會產(chǎn)生特殊的矛盾。
[0007]可是，根據(jù)編碼方式，存在若進行所述的單純的結合，則由于各個MB (或者MB中包含的方塊、分區(qū))參照的信息的不一致，從而發(fā)生畫質劣化(所謂誤差)的情況。
[0008]以下，表示依照作為標準編碼規(guī)格的H.264/AVC基本配置(BaselineProfile)的編碼的例子。在H.264/AVC中，作為內部(intra)(畫面內)預測編碼，能夠選擇“以4X4像素方塊為單位參照鄰接像素的4X4畫面內預測編碼”和“以16X 16像素方塊為單位參照鄰接像素的16X16畫面內預測編碼”的其中一個。例如在“4X4畫面內預測編碼”中，存在為了該4X4像素方塊的編碼，參照鄰接的4X4像素方塊的模式。假設使用這樣的模式而編碼磚塊流，在磚塊流結合時，若與磚塊流編碼時不同的方塊之間鄰接，則發(fā)生像素的參照信息不一致引起的畫質劣化。這樣的不匹配即使在編碼中的其他的場面(例如針對DCT后的非零系數(shù)的個數(shù)的可變長度編碼時等)也會發(fā)生。
[0009]在非專利文獻3中，提出了為了避免該問題，進行預測差分信息的修正的方法。具體而言，將產(chǎn)生不一致的一部分的MB解碼直至像素區(qū)域，進行像素信號的修正(該MB的可變長度解碼、系數(shù)的逆量化、逆DCT、基于來自鄰接像素值的再預測的殘差信號的再生成、DCT、量化)以及來自鄰接MB的預測信息的修正。
[0010]現(xiàn)有技術文獻 [0011]非專利文獻
[0012]非專利文獻1: [I] S.Heymann, A.Smolic, K.Muller, Y.Guo, J.Rurainski, P.Eisert, and T.Wiegand, 〃Representaion, Coding and Interactive Rendering orHigh-Resolution Panoramic Images and Video using MPEG-4, 〃Proc.PanoramicPhotogrammetry Workshop, Berlin, Germany, Feb.2005.[0013]非專利文獻2: [2]Η.Kimata, S.Shimizu, Y.Kunita, M.1sogai andY.0htani，"Panorama video coding for user-driven interactive videoapplication, ^IEEE International Symposium on Consumer Electronics(ISCE2009), Kyoto, 2009.[0014]非專利文獻3: [3]N.Uchihara and H.Kasai, "Fast H.264/AVC stream joinerfor interactive free view-area multivision video, 〃IEEE Transactions on ConsumerElectronics, vol.57, n0.3, pp.1311-1319，August2011.[0015]非專利文獻4: [4]E.Kaminsky, D.Grois, 0.Hadar, "Efficient real-timevideo-1n-video insertion into a pre-encoded video stream for the H.264/AVC, 〃IEEE International Conference on Imaging Systems and Techniques (1ST), pp.436-441， l-2July2010.[0016]專利文獻
[0017]專利文獻1:[5](日本)特開2011-24018號公報
【發(fā)明內容】

[0018]發(fā)明要解決的課題
[0019]假設在實際環(huán)境中提供服務的情況，分發(fā)服務器需要處理來自多個客戶的要求，因此需要減少分發(fā)服務器的負荷，實現(xiàn)高速化?？墒牵菍＠墨I3中的所述的預測差分信息的修正處理伴隨多個流的一部分解碼處理，因此服務器的處理量增加。此外，非專利文獻4是大致涉及在I個視頻的畫面內重疊I個不同的視頻的視頻輸入視頻(Video-1n-Video)的技術。在該技術中，在這2個視頻的重合處理中，為了極力抑制2個編碼比特流的解碼處理，采用了將與編碼模式的控制、編碼有關的各種信息保存到不同文件的方法?？墒?，在所述重合處理中假設運動向量、非零系數(shù)的再計算處理以及再編碼處理，因此存在由此引起的服務器的處理增加的課題。
[0020]本發(fā)明鑒于所述的狀況而完成。本發(fā)明的一個目的是，提供一種通過對視頻磚塊流的編碼方式進行努力，能夠抑制對于服務器的負荷，并且生成結合流的技術。本發(fā)明的另一個目的是，提供一種將視頻磚塊流中的MB線任意地連接，而構成單一比特流的技術。
[0021]用于解決課題的手段
[0022]解決所述的課題的手段能夠記載為以下項目。
[0023](項目I)
[0024]一種編碼系統(tǒng)，用于進行視頻磚塊流的編碼，使得能夠將多個視頻磚塊流中的各MB線以所述各MB線為單位任意地連接，構成單一的結合流，
[0025]該編碼系統(tǒng)的特征在于，具備:視頻信號接受部、編碼處理部、以及視頻磚塊流輸出部，
[0026]所述視頻信號接受部接受成為編碼對象的視頻信號，
[0027]所述編碼處理部構成為使用適宜的預測參照信息，將所述視頻信號編碼，從而生成視頻磚塊流，
[0028]并且，所述編碼處理部構成為在所述編碼中，使用預測參照信息限制方式或者預測參照信息固定方式，使得即使將所述視頻磚塊流中的各MB線任意地連接，也不產(chǎn)生由于信號的預測關系的不一致而發(fā)生的誤差，
[0029]所述流輸出部構成為輸出通過所述編碼處理部中的編碼而得到的所述視頻磚塊流。
[0030](項目2)
[0031]如項目I所述的編碼系統(tǒng)，
[0032]所述預測參照信息限制方式設為是以不同的視頻磚塊流中的MB線之間，不依賴由相互鄰接的MB保持的編碼信息的組合的方式，對編碼信息進行了限制的預測方式。
[0033](項目3)
[0034]如項目I所述的編碼系統(tǒng)，所述預測參照信息限制方式具備以下的處理:
[0035](I)通過幀內預測編碼和幀間預測編碼的2種類的編碼模式之中的其中一種，將構成所述視頻信號的幀進行編碼的處理；
[0036](2)在進行幀內預測編碼的幀內的多個MB中，在不同的視頻磚塊流中的MB線之間，使用參照不依賴相互鄰接的MB的內容的像素值的預測模式而進行編碼的處理。
[0037](項目4)
[0038]如項目I所述的編碼系統(tǒng)，
[0039]所述預測參照信息固定方式是使用固定為預先設定的值的預測信息的方式。
[0040](項目5)
[0041]如項目I所述的編碼系統(tǒng)，所述預測參照信息固定方式具備以下的處理:
[0042](I)在構成所述視頻磚塊流的MB且位于所述視頻磚塊流的幀的周邊部分的MB之中至少一部分MB中，將MB中的至少一部分的亮度系數(shù)串以及色差系數(shù)串的非零的系數(shù)的個數(shù)作為預先設定的固定值而進行編碼的處理；
[0043](2)在參照應與所述視頻磚塊流的幀的周邊部分鄰接的MB的所述非零系數(shù)的個數(shù)的MB的情況下，假設具有所述固定值的所述非零系數(shù)的個數(shù)的鄰接MB存在，進行編碼的處理。
[0044](項目6)
[0045]如項目I所述的編碼系統(tǒng)，所述預測參照信息固定方式具備以下的處理:[0046](I)在位于視頻磚塊流的幀的周邊部分的MB內的至少一部分的MB中，將由MB保持的運動向量固定為既定的運動向量，進行幀間預測編碼的處理；
[0047](2)在參照應與所述視頻磚塊流的幀的周邊部分鄰接的MB的運動向量的MB的情況下，假設具有所述既定的運動向量的鄰接MB存在，進行幀間預測編碼的處理。
[0048](項目7)
[0049]如項目I?6的任一項所述的編碼系統(tǒng)，
[0050]所述編碼處理部具備MB線代碼量插入部，該MB線代碼量插入部構成為在所述編碼時，生成用于確定所述視頻磚塊流中的所述MB線的位置的附加信息。
[0051]能夠在MB線的結合時利用用于確定所述視頻磚塊流中的所述MB線的位置的附加信息。
[0052](項目8)
[0053]一種結合系統(tǒng)，用于結合構成通過項目I?6的任一項所述的系統(tǒng)進行了編碼的視頻磚塊流的MB線，
[0054]該結合系統(tǒng)具備:視頻磚塊流接受部、結合處理部、以及結合流輸出部，
[0055]所述視頻磚塊流接受部構成為接收所述視頻磚塊流，
[0056]所述結合處理部構成為通過進行以下的處理，生成結合流:
[0057](I)在所述視頻磚塊流中，檢測所述MB線的端部，并且取得與所述MB線相當?shù)牧鞯奶幚恚?br> [0058](2)以與作為所述視頻磚塊流進行了結合的狀態(tài)的結合流中成為幀的周邊的位置鄰接的方式，將周邊調整用MB插入到所述MB線的端部的處理，其中，在此，一部分所述周邊調整用MB設為是通過項目I?7的任一項所述的編碼系統(tǒng)進行了編碼的MB ；
[0059]所述結合流輸出部構成為輸出通過所述結合處理部生成了的所述結合流。
[0060]在此，MB線的端部的檢測包含通過讀取項目7記載的由MB線代碼量插入部生成以及嵌入的MB線的代碼量，從而檢測MB線的端部的處理。
[0061](項目9)
[0062]一種編碼方法，用于進行視頻磚塊流的編碼，使得能夠將多個視頻磚塊流中的各MB線以所述各MB線為單位任意地連接，構成單一的結合流，
[0063]該編碼方法的特征在于，具備:
[0064](I)接受成為編碼對象的視頻信號的步驟；
[0065](2)使用適宜的預測參照信息，編碼所述視頻信號，從而生成磚塊流的步驟；以及
[0066](3)輸出通過編碼得到的所述視頻磚塊流的步驟，
[0067]在所述視頻信息的編碼中，使用所述預測參照信息限制方式或者所述預測參照信息固定方式，使得即使將所述視頻磚塊流中的幀的各MB線所構成的流任意地連接，也不產(chǎn)生由于信號的預測關系的不一致而發(fā)生的誤差。
[0068](項目10)
[0069]一種計算機程序，用于使計算機執(zhí)行項目9所述的各步驟。
[0070](項目11)
[0071]一種數(shù)據(jù)結構，將與構成通過項目I?7的任一項所述的系統(tǒng)進行了編碼的磚塊流的MB線相當?shù)牧鬟M行結合而生成，[0072]以與作為所述視頻磚塊流進行了結合的狀態(tài)的結合流中成為幀的周邊的位置鄰接的方式，周邊調整用MB插入到所述MB線的端部，
[0073]至少一部分所述周邊調整用MB通過項目I?7的任一項所述的編碼系統(tǒng)進行了編碼。
[0074]另外，關于所述的計算機程序以及/或者數(shù)據(jù)結構，能夠存儲在適宜的記錄介質、例如電的、磁的、或者光學的介質中，通過計算機而利用。此外，該記錄介質也可以是能夠經(jīng)由網(wǎng)絡而利用的、例如云計算(Cloud Computing)上的記錄介質。
[0075]發(fā)明的效果
[0076]根據(jù)本發(fā)明，能夠抑制用于生成結合流的服務器等的處理器的負荷。此外，根據(jù)本發(fā)明，能夠將視頻磚塊流中的MB線任意地連接,構成單一比特流。
【專利附圖】

【附圖說明】
[0077]圖1是表示裝入了本發(fā)明的一實施方式中的編碼系統(tǒng)以及結合系統(tǒng)的視頻提供系統(tǒng)的概略的結構的方框圖。
[0078]圖2是表示本發(fā)明的一實施方式中的磚塊流編碼部的概略的結構的方框圖。
[0079]圖3是表示本發(fā)明的一實施例中的編碼處理部的概略的結構的方框圖。
[0080]圖4是表示本發(fā)明的一實施例中的結合流生成部的概略的結構的方框圖。
[0081]圖5是用于說明圖1的視頻提供系統(tǒng)的整體的動作的流程圖。
[0082]圖6是用于說明本實施方式中的編碼處理的流程圖。
[0083]圖7是用于說明本實施方式中的編碼模式?jīng)Q定處理的流程圖。
[0084]圖8是用于說明本實施方式中的活動探索/補償?shù)奶幚淼牧鞒虉D。
[0085]圖9是用于說明分區(qū)的尺寸的說明圖。
[0086]圖10是用于說明分區(qū)中的運動向量的編碼的說明圖。
[0087]圖11是用于說明本實施方式中的內部預測模式?jīng)Q定的處理的說明圖。
[0088]圖12是用于說明在圖11的處理中所采用的內部預測模式的說明圖。
[0089]圖13是用于說明本實施方式中的系數(shù)調整的處理的流程圖。
[0090]圖14是用于說明本實施方式中的可變長度編碼的處理的流程圖。
[0091]圖15是用于說明通過磚塊流的幀的集合而形成結合流的幀的情況的說明圖。
[0092]圖16是用于說明本實施方式中的結合流的生成處理的流程圖。
[0093]圖17是用于說明在結合流的幀的周圍插入周邊調整用MB的情況的說明圖。
[0094]圖18是用于說明周邊調整用MB的編碼條件的說明圖。
[0095]圖19是用于說明插入了周邊調整用MB的結合流的數(shù)據(jù)結構的說明圖。
[0096]圖20是用于說明插入MB線代碼量的步驟的流程圖。
【具體實施方式】
[0097]以下，參照附圖，說明本發(fā)明的實施方式的編碼系統(tǒng)。
[0098](本實施方式的結構)
[0099]首先，參照圖1說明使用本實施方式的編碼系統(tǒng)的視頻信號提供系統(tǒng)整體的概略的結構。[0100]該系統(tǒng)由視頻輸入部1、服務器2、客戶終端3以及網(wǎng)絡4構成。
[0101](視頻輸入部)
[0102]視頻輸入部I具備攝像機11或者外部視頻分發(fā)服務器12。作為攝像機11，優(yōu)選為能夠取得高精細的活動圖像的攝像機。在外部視頻分發(fā)服務器12中，積蓄有已進行了編碼的視頻比特流，服務器2是能夠根據(jù)要求從服務器12取得視頻比特流的服務器。作為視頻輸入部1，能夠利用現(xiàn)有的攝像機或者視頻分發(fā)服務器，因此省略更加詳細的說明。
[0103](服務器)
[0104]服務器2具備磚塊流編碼部21、比特流群積蓄部22、結合流生成部23、客戶狀態(tài)(states)管理服務器24、結合流發(fā)送部25、以及視頻流解碼部26。
[0105]視頻流解碼部26將從外部視頻分發(fā)服務器12送出的視頻比特流進行解碼并生成視頻信號，將該視頻信號送出到磚塊流編碼部21。此外，在此視頻信號是指未壓縮的信號。
[0106]磚塊流編碼部21是與本發(fā)明的編碼系統(tǒng)的一例對應的功能要素。磚塊流編碼部21從攝像機11或者視頻流解碼部26接受作為編碼對象的視頻信號。如后述那樣，本實施方式的磚塊流編碼部21進行視頻磚塊流的編碼，使得能夠將多個視頻磚塊流中的各MB線以各MB線為單位任意地連接，構成單一的結合流。另外，在本說明書中MB是宏方塊的意思。
[0107]如圖2所示那樣，磚塊流編碼部21具備視頻信號接受部211、編碼處理部212、以及視頻磚塊流輸出部213。
[0108]視頻信號接受部211接受從視頻輸入部I的攝像機或者視頻流解碼部26送出的、成為編碼對象的視頻信號。
[0109]編碼處理部212構成為使用適宜的預測參照信息，將視頻信號編碼，從而生成視頻磚塊流。進而，編碼處理部212構成為在編碼中，使用預測參照信息限制方式或者預測參照信息固定方式，使得即使將視頻磚塊流中的各MB線任意地連接，也不產(chǎn)生由于信號的預測關系的不一致而發(fā)生的誤差。關于預測參照信息限制方式或者預測參照信息固定方式在后面敘述。進而，編碼處理部212構成為在編碼中使用MB線代碼量插入方式。MB線代碼量插入方式是為了高速地執(zhí)行各個視頻磚塊流的結合處理，在流中保持全部的幀中的各個MB線代碼串的比特量(在該說明書中稱作MB線代碼量)的方式。其中，所述MB線代碼量也可以不保持在磚塊流中，而是作為其他的文件、信息而保持。
[0110]在此，本實施方式中的預測參照信息限制方式設為是以不同的視頻磚塊流中的MB線之間，不依賴由相互鄰接的MB保持的編碼信息的組合的方式，限制了編碼信息的預測方式。
[0111]更具體地是，本實施方式中的預測參照信息限制方式具備以下的處理:
[0112](I)按每個幀，以幀內預測編碼和幀間預測編碼的2種編碼模式將視頻信號編碼，幀內預測幀以周期的或者非周期的方式進行插入；
[0113](2)并且，在幀內預測幀內的多個MB中，在不同的視頻磚塊流中的MB線之間，使用參照不依賴相互鄰接的MB的內容的像素值的預測模式而進行編碼。
[0114]預測參照信息限制方式的具體例在后面敘述。
[0115]本實施方式中的預測參照信息固定方式是使用固定為預先設定的值的預測信息的方式。
[0116]更具體地是，預測參照信息固定方式具備以下的處理:[0117](I)在構成視頻磚塊流的MB且位于視頻磚塊流的幀的周邊部分的MB之中至少一部分的MB中，將MB中至少一部分亮度系數(shù)串以及色差系數(shù)串的非零的系數(shù)的個數(shù)(后述的非零系數(shù)個數(shù))作為預先設定的固定值而進行編碼的處理；
[0118](2)在參照應與視頻磚塊流的幀的周邊部分鄰接的MB的非零系數(shù)的個數(shù)的MB的情況下，假設具有固定值的“非零系數(shù)的個數(shù)”的鄰接MB存在，進行編碼的處理。
[0119]進而，本實施方式的預測參照信息固定方式具備以下的處理:
[0120](I)在位于視頻磚塊流的幀的周邊部分的MB內至少一部分的MB中，將由MB保持的運動向量固定為既定的運動向量，進行幀間預測編碼的處理；
[0121](2)在參照應與視頻磚塊流的幀的周邊部分鄰接的MB的運動向量的MB的情況下，假設具有既定的運動向量的鄰接MB存在，進行幀間預測編碼的處理。預測參照信息固定方式的具體例在后面敘述。
[0122]如圖3所示那樣，編碼處理部212具備正交變換部2121a、量化部2121b、系數(shù)調整部2122、可變長度編碼部2123、逆量化部2124a、逆正交變換部2124b、幀存儲器2125、幀位置以及MB位置管理部2126、編碼模式?jīng)Q定部2127、活動探索/補償部2128、內部預測模式?jīng)Q定部2129、以及MB線代碼量插入部21291。這些當中，正交變換部2121a、量化部2121b、逆量化部2124a、逆正交變換部2124b、幀存儲器2125的結構以及動作和以往的(例如H.264中的)部件相同即可，因此省略詳細的說明。關于剩余的各功能要素的動作，在后述的編碼處理方法的說明中詳細地說明。
[0123]磚塊流輸出部213構成為將通過編碼處理部212的編碼而得到的視頻磚塊流輸出到比特流群積蓄部22。
[0124]比特流群積蓄部22是用于積蓄由磚塊流編碼部21生成了的視頻磚塊流的部分。比特流群積蓄部22能夠根據(jù)來自結合流生成部23的要求，將視頻磚塊流的一部分即規(guī)定的MB比特流串(視頻磚塊流)送出到結合流生成部23。
[0125]結合流生成部23是用于將構成通過磚塊流編碼部21進行了編碼的視頻磚塊流的MB線進行結合的結合系統(tǒng)的一例。如圖4所示那樣，結合流生成部23具備視頻磚塊流接受部231、結合處理部232、以及結合流輸出部233。
[0126]視頻磚塊流接受部231構成為從比特流群積蓄部22接收視頻磚塊流。
[0127]結合處理部232具備周邊調整用MB信息插入部2321、MB線代碼量讀取部2322、MB線提取部2323、以及結合流標頭信息生成/插入部2324。
[0128]周邊調整用MB信息插入部2321為了生成結合流，進行以下的處理:
[0129].以與作為視頻磚塊流進行了結合的狀態(tài)的結合流中成為幀的周邊的位置鄰接的方式，將周邊調整用MB插入到至少MB線的端部的處理。其中，在此，周邊調整用MB通過所述的編碼系統(tǒng)進行了編碼。
[0130]MB線代碼量讀取部2322是用于讀入通過編碼處理部212的MB線代碼量插入部21291而插入了的MB線代碼量的部分。通過讀入MB線代碼量，從而能夠高速檢測出MB線的端部。
[0131 ] MB線提取部2323僅對通過MB線代碼量讀取部2322取得的MB線代碼串的比特量的量，進行從磚塊流提取代碼串的處理。由此，能夠避免對于得到MB線代碼串比特量原本需要的可變長度解碼處理。其中，當然也能夠通過進行可變長度解碼處理，從而不使用所述MB線代碼串的比特量而提取代碼串。
[0132]結合流標頭信息生成/插入部2324生成用于結合流的標頭信息并插入。關于結合流標頭(header)的生成、插入，與以往的處理相同即可，因此省略詳細的說明。
[0133]結合流輸出部233構成為輸出由結合處理部232生成了的結合流。所生成的結合流的例在后面敘述。
[0134]客戶狀態(tài)管理服務器24接收從客戶終端3送出的要求、例如用戶期望視聽的視頻區(qū)域的信息(具體例在后面敘述)。
[0135]結合流發(fā)送部25將由結合流生成部23生成了的結合流，經(jīng)由網(wǎng)絡4而送出到客戶終端3。
[0136](客戶終端)
[0137]客戶終端3是用于用戶對服務器2送出需要的指令，或者接收從服務器2送出的信息的終端。通常，客戶終端3由用戶進行操作，但是也可以不需要用戶操作而自動地動作。作為客戶終端3，能夠使用例如便攜電話(包括所謂智能手機)、移動計算機、臺式計算機等。
[0138](網(wǎng)絡)
[0139]網(wǎng)絡4用于進行服務器2和客戶終端3之間的信息的發(fā)送接收。作為網(wǎng)絡4，通常是因特網(wǎng)，但是也可以是LAN、WAN等的網(wǎng)絡。作為網(wǎng)絡，能夠進行必要的信息的發(fā)送接收即可，所使用的協(xié)議、物理的介質沒有特別的限定。
[0140](本實施方式的動作)
[0141]接著，主要參照圖5，說明本實施方式的系統(tǒng)中的編碼方法。
[0142](圖5的步驟SA-1?2)
[0143]首先，從視頻輸入部I，將視頻信號取入到服務器2的編碼處理部21。基于圖6說明編碼處理部21的編碼處理的細節(jié)。另外，基本上，以后的編碼處理全部成為MB單位的處理。在此，如非專利文獻3以及專利文獻I說明那樣，由MB構成MB線，由MB線構成磚塊流的幀、由磚塊流的幀構成結合流的幀。
[0144](圖6 的步驟 SB-1)
[0145]在編碼處理部21中，首先，決定每個MB的編碼模式。編碼模式是幀內預測編碼(所謂內部(intra)編碼)、或幀間預測編碼(所謂外部(inter)編碼)的其中一個。
[0146]在圖7中表示編碼模式?jīng)Q定處理算法的一例。
[0147](圖7的步驟SC-1)
[0148]首先，判定處理對象MB所屬的幀是否是更新幀。本判定利用從幀位置以及MB位置管理部2126得到的處理幀數(shù)。即，幀位置以及MB位置管理部2126在其內部保持按每個處理對幀數(shù)以及MB數(shù)進行計數(shù)的變量，參照該變量，從而能夠取得處理對象的幀數(shù)和MB數(shù)。然后，關于應更新哪個定時的幀，在編碼處理部21中預先把握，因此使用處理對象的幀數(shù)和既定的定時信息，能夠進行更新幀的判定。此外，通常，更新幀是周期地(即按每個規(guī)定的時間間隔)插入，但是周期性并非必須。
[0149](圖7的步驟SC-2)
[0150]步驟SC-1中的判定為是時(即更新幀的情況)，該MB決定為應幀內編碼。
[0151](圖7的步驟SC-3)[0152]步驟SC-1中的判定為否時，關于該MB，決定為應幀間預測編碼。
[0153]通過以上的算法，能夠決定各MB的編碼模式。
[0154](圖6 的步驟 SB-2)
[0155]接著，主要參照圖8說明基于活動探索/補償部2128的、活動探索/補償?shù)氖址ā?br> [0156]作為在此的說明的前提，說明H.264中的活動探索/補償?shù)母乓Ｔ贖.264中，以MB之中的稱作“分區(qū)”的像素的劃分為單位，進行活動探索/補償。在H.264中，分區(qū)的像素尺寸有 16X16、8X16、16X8、8X8、4X8、8X4、4X4 的 7 種類(參照圖 9)。
[0157]然后，在H.264中，圖10(a)中表示的分區(qū)E保持的運動向量信息，作為與鄰接的分區(qū)A、B、C保持的運動向量的中間值的差分值而進行編碼。另外，圖10(a)示出了各分區(qū)的尺寸相同的情況。其中，如圖10(b)所示，鄰接的分區(qū)的尺寸也可以不同，該情況的編碼方法也與前述相同。
[0158](圖8 的步驟 SD-1)
[0159]作為初始化處理將標記(flag)設為O。在以后的處理中，基于從幀位置以及MB位置管理部2126得到的MB位置來判定處理MB屬于幀的哪個位置。
[0160](圖8 的步驟 SD-1-1 ?SD-1-3)
[0161]接著，判定作為處理對象的分區(qū)所屬的MB是否是幀的左端的幀。
[0162]若判定結果為是，則接著判定該分區(qū)是否是在MB中(即在幀中)左端的分區(qū)。若結果為是，則將標記設為I。
[0163](圖8的步驟SD-2?4)
[0164]步驟SD-1-1中的判定結果為否時，判定作為處理對象的分區(qū)所屬的MB是否是幀的右端的MB。
[0165]若判定結果為是，則接著判定分區(qū)是否是在MB中(即在幀中)右端的分區(qū)。若結果為是，則將標記設為I。
[0166](圖8的步驟SD-5?7)
[0167]步驟SD-2中的判定結果為否時，判定作為處理對象的分區(qū)所屬的MB是否是幀的下端的MB。
[0168]若判定結果為是，則接著判定該分區(qū)是否是在MB中(即在幀中)下端的分區(qū)。若結果為是，則將標記設為I。
[0169](圖8的步驟SD-8?9)
[0170]當對MB附加的標記不為I (即仍然為O)時，以參照幀內的方塊信息的方式來進行預測參照信息的限制，基于從幀存儲器得到的前幀的像素值進行活動探索。本手法是預測參照信息限制方式的一例。
[0171]具體而言，“以參照幀內的方塊信息的方式來進行預測信息的限制”是通過設置將運動向量的探索范圍設為幀內那樣的限制而實現(xiàn)。另外，運動向量的探索范圍的限制在文獻(特開2011-55219號公報的0074?0084段落)中也被指出?？墒?，在該文獻中，以抑制錯誤(error)的傳播為目的，通過僅將進行了錯誤修正的MB線設為運動向量探索限制范圍，從而控制為在這以外的存在含有錯誤的可能性的區(qū)域中不參照。對此，在本實施方式中，將運動向量探索限制范圍設為幀內而不是對象MB線內。
[0172](圖8 的步驟 SD-10)[0173]若步驟SD-8中的判定結果為是，則設定固定運動向量值。即，取出在系統(tǒng)側保存的固定值。固定運動向量值的設定與預測參照信息固定方式的一例對應。具體地是，設為參照前幀的相同部位(運動向量固定為(0、0)的情況)。
[0174](圖8 的步驟 SD-1 I)
[0175]接著，活動探索/補償部2128使用探索到的運動向量值或者固定了的運動向量值，進行活動補償處理。該活動補償處理本身可以與H.264中的通常處理相同，因此省略詳細的說明。
[0176]在所述的算法中，能夠將“因位于磚塊流的幀的右端、左端或者下端，存在從鄰接的分區(qū)進行參照的可能性的分區(qū)的運動向量值”設為固定值。這樣的話，即使鄰接的MB在編碼時和結合時不同的情況下，也能夠不影響鄰接MB的內容，進行正確的解碼。
[0177](圖6 的步驟 SB-3)
[0178]接著，參照圖11說明內部預測模式?jīng)Q定部2129中的處理算法。
[0179](圖11 的步驟 SE-1)
[0180]首先，內部預測模式?jīng)Q定部2129根據(jù)MB的位置，設定在圖12中表示的預測模式。如圖12所示那樣，在該模式中，在視頻磚塊流內左端的多個MB中，使用參照與各MB的上部相接的MB的像素值的預測模式，在上端的多個MB中，使用參照與各MB的左部相接的MB的像素值的預測模式。此外在右端MB中，使用“從右上的MB進行預測的2個模式(參照圖12)以外的預測模式”，進而，在同幀內的左上端的MB中，使用其他的任何MB都不參照的預測模式(IPCM模式) 。這樣的預測模式的限制與預測參照信息限制方式的一例對應。通過這樣設定，能夠不參照鄰接的幀的MB的值而進行編碼，因此，即使設為在各個磚塊流的幀中在編碼時和結合時參照的預測信息不同，也能夠進行正確的解碼。即，在該圖中進行
[0181]▲:設為 intra_I_PCM mode 的 MB
[0182]#:設為 Intra_16 X 16_Horizontal mode 的 MB
[0183]X:設為 Intra_16 X 16_Vertical mode 的 MB
[0184]:設為 Intra_4X4_Diagonal_Down_Left mode,
[0185]Intra_4X 4_Vertical_Left 以外的 mode 的 MB
[0186]那樣的預測模式限制。
[0187](圖11 的步驟 SE-2)
[0188]根據(jù)由步驟SE-1設定的預測模式，根據(jù)“已進行了編碼以及解碼的鄰接像素信號”以及“從幀存儲器取得的之前的幀的像素信號”的其中一個，來生成預測參照像素值并輸出預測參照像素值。該處理與通常的H.264中的處理相同即可，因此省略詳細的說明。
[0189](圖6的步驟SB-4以及SB-5)
[0190]接著，利用所述的步驟SB-2以及SB-3的處理的結果，生成與輸入信號的預測差分信號。進而，進行正交變換以及量化。預測差分信號的生成、正交變換以及量化的手法與通常的H.264中的處理相同即可，因此省略詳細的說明。
[0191](圖6 的步驟 SB-6)
[0192]接著，通過系數(shù)調整部2122以及可變長度編碼部2123(參照圖3)，進行可變長度編碼。在該可變長度編碼中，在通常的可變長度編碼處理之前，進行用于系數(shù)調整的處理。因此，在以下的說明中，首先，基于圖13，說明系數(shù)調整部2122中的系數(shù)調整處理，其后，基于圖14，說明可變長度編碼部2123中的可變長度編碼處理。
[0193](圖13 的步驟 SF-1)
[0194]基于MB位置以及其中的方塊位置而判定系數(shù)調整對象方塊，因此將其標記設為
O。在此，MB的位置信息設為從幀位置以及MB位置管理部2126取得。另外，系數(shù)調整以及可變長度編碼的處理以作為MB內的變換系數(shù)的集合的方塊為單位來進行。以方塊為單位進行處理的點與H.264中的通常的處理相同，因此省略詳細的說明。
[0195](圖13 的步驟 SF-2 ?SF-4)
[0196]作為處理對象的MB位于幀的右端的情況下，判定處理方塊是否位于方塊的右端(即幀的右端)，若為是，則將標記設為I。
[0197](圖13 的步驟 SF-5 ?SF-7)
[0198]步驟SF-5中的判定為否時，前進至步驟SF-5。在此，作為處理對象的MB位于幀的下端的情況下，判定處理方塊是否位于方塊的下端(即幀的下端)，若為是，則將標記設為
1
[0199](圖13 的步驟 SF-8)
[0200]其后，判定該MB中的標記是否為1，若為否，則轉移至可變長度編碼處理。
[0201](圖13 的步驟 SF-9 ?10)
[0202]步驟SF-8中的判定結果為是，則比較該方塊中的非零系數(shù)個數(shù)與預先設定的(即系統(tǒng)側保持的)非零系數(shù)個數(shù)。另外，預先設定的非零系數(shù)個數(shù)在YUV信號中的亮度空間(Y)和色差空間(UV)中也可以不同。當該方塊中的非零系數(shù)個數(shù)比預先設定的非零系數(shù)個數(shù)小時，從非零系數(shù)個數(shù)的高頻分量側起插入具有值O以外的系數(shù)。由此，能夠將非零系數(shù)個數(shù)調整為既定值。即使在高頻分量側插入具有值O以外的系數(shù)，對于畫質的影響也小。
[0203](圖13 的步驟 SF-1l ?12)
[0204]當該方塊中的非零系數(shù)個數(shù)比預先設定的非零系數(shù)個數(shù)大時，從非零系數(shù)個數(shù)的高頻分量側起，代替具有值O以外的系數(shù)，而插入具有值O的系數(shù)。由此，能夠將非零系數(shù)個數(shù)調整為既定值。在高頻分量側中，即使代替具有值O以外的系數(shù)，而插入具有值O的系數(shù)，對于畫質的影響也小。另外，使用固定的非零系數(shù)個數(shù)的情況與預測參照信息固定方式的一例對應。
[0205](圖14 的步驟 SG-1)
[0206]以下，參照圖14說明可變長度編碼處理的具體例。在此，根據(jù)來自幀位置以及MB位置管理部2126的指令，系數(shù)調整結束的MB被作為可變長度編碼的對象。首先，通過將用于成為對象的MB的處理的判定的標記I和標記2的值都設為0，從而進行初始化。
[0207](圖14 的步驟 SG-1-1 ?SG-1-3)
[0208]當作為處理對象的MB為幀的右端，且MB中成為處理對象的分區(qū)為MB的右端時，將標記I設為I。
[0209](圖14的步驟SG-2?6)
[0210]當處理對象作為MB為幀的左端，且MB中成為處理對象的方塊為MB的左端時，將標記I設為I。進而，當成為處理對象的分區(qū)為左端時，將標記2設為I。
[0211](圖14 的步驟 SG-7 ?11)
[0212]當處理對象的MB為幀的上端，且MB中成為處理對象的方塊為MB的上端時，將該標記I設為I。進而，當成為處理對象的分區(qū)為上端時，將該MB的標記2設為I。在此，當步驟SG-7中的判定結果為否時，進行通常的可變長度編碼處理，因此省略了圖示。SG-1O的判定為否的情況下，將處理轉移至步驟SG-12。
[0213](圖14 的步驟 SG-12)
[0214]接著，進行跳過(skip)信息以及MB編碼模式等的編碼。該處理與以往的H.264中的處理相同，因此省略詳細的說明。
[0215](圖14 的步驟 SG-13 ?15)
[0216]接著，在標記2不為I且該MB為幀間預測編碼的MB的情況下，將由處理對象的分區(qū)保持的運動向量通過通常的手法進行編碼。該MB為幀內編碼的MB的情況下，將處理轉移至SG-17。
[0217](圖14 的步驟 SG-16)
[0218]步驟SG-13中的判定結果為是，則假設作為處理對象的分區(qū)的左、上或者右上的鄰接分區(qū)。然后，在該分區(qū)保持的運動向量為既定的固定值的前提下，將作為處理對象的分區(qū)的運動向量進行編碼。在此，在該分區(qū)保持的運動向量的編碼時，如圖10記載那樣，根據(jù)左、上、以及右上的鄰接分區(qū)生成預測參照信息，與它的差分值被進行編碼。因此，為了抑制在結合時的預測參照信息不一致，假設這些分區(qū)存在并且進行運動向量的編碼。
[0219](圖14 的步驟 SG-17)
[0220]接著，將其他的MB信息編碼。
[0221](圖14 的步驟 SG-18 ?19)
[0222]接著，若作為處理對象的MB的標記I不為I，則基于與左或者上鄰接的方塊中的非零系數(shù)個數(shù)的平均值，選擇可變長度表。該處理與通常的H.264中的處理相同，省略詳細的說明。
[0223](圖14 的步驟 SG-20)
[0224]若作為處理對象的MB的標記I為1，則假設不存在的左或者上鄰接方塊。在此之上，在這些左或者上鄰接方塊的非零系數(shù)個數(shù)為固定值的前提下，選擇可變長度表。由此，即使磚塊流的幀在編碼時和結合時不同，也能夠選擇正確的可變長度表，能夠正常地進行可變長度解碼。
[0225](圖14 的步驟 SG-21 ?22)
[0226]步驟SG-19或者步驟SG-20之后，進行可變長度編碼處理。其中，優(yōu)選為調整方塊系數(shù)串，使得將輸出的MB線的最終方塊的系數(shù)串進行編碼而得到的比特流以字節(jié)為單位被劃分。此外的可變長度編碼處理與H.264中的通常的處理相同，因此省略詳細的說明。這樣，能夠生成進行了可變長度編碼的比特流。
[0227](圖6 的步驟 SB-6-1)
[0228]接著，進一步參照圖20說明基于MB線代碼量插入部21291的MB線代碼量的插入步驟。
[0229](圖2O 的步驟 SJ-1)
[0230]首先，取得通過可變長度編碼部2123進行了處理的MB的比特量(以下設為CurrentMBBit)。
[0231](圖20的步驟SJ-2?4)[0232]接著，若該MB的位置為幀左端，則將作為處理對象的MB線中包含的全MB的比特量(設為MBLinebit)設為O。否則，則在直到那時的MBLinebit上加上CurrentMBBit，設為新的 MBLinebit。
[0233](圖20的步驟SJ-5?6)
[0234]若作為處理對象的MB位置到達幀的右端，將直到那時的累加得到的MBLinebit插入到MB線代碼串的標頭，設為比特流。在未到達右端的期間，每次取得新的MB時，從所述的步驟SJ-1的處理開始重復。
[0235](圖6的步驟SB-7?9)
[0236]接著，為了預測將進行了編碼的比特流進行逆變換，并存儲在幀存儲器中。這些處理與通常的H.264中的處理相同即可，因此省略詳細的說明。接著，處理步驟返回至步驟SB-L.其后，若沒有應處理的MB，結束處理。
[0237](圖5 的步驟 SA-3)
[0238]接著，磚塊流編碼部21將所述的步驟所生成了的比特流積蓄在比特流群積蓄部22。
[0239](圖5 的步驟 SA-4)
[0240]其后，用戶利用客戶終端3，指定視頻區(qū)域。在此，關于視頻區(qū)域的指定，參照圖15進行說明。作為前提，構成視頻的各個幀由磚塊流的幀(存在設為分割區(qū)域的情況)Αρ00?Apmn而構成。關于由磚塊流的巾貞ApOO?Apmn構成的視頻巾貞整體,稱作結合流的巾貞或者整體區(qū)域Aw。
[0241]各磚塊流的巾貞ApOO?Apmn是由MBOO?MBpq所表示的MB的組而構成。這些結構與本發(fā)明人們的所述非專利文獻3、專利文獻I中記載的結構相同即可，因此省略詳細的說明。
[0242]用戶通過客戶終端3指定希望視聽的區(qū)域。例如，在圖15的例中，設為磚塊流的幀ApOO和幀ApOl所示的視頻區(qū)域被進行了指定。另外，在本實施方式中，以磚塊流的幀的MB的線為單位，進行結合。在此，來自用戶的指定經(jīng)由客戶狀態(tài)管理服務器24，送出到結合流生成部23。另外，用戶的視頻區(qū)域的指定方法與本發(fā)明人們的所述非專利文獻3、專利文獻I相同即可，因此省略更加詳細的說明。例如，在本實施方式中，以磚塊流的幀的MB的線為單位進行結合，但是視聽區(qū)域的指定也可以是比其更窄的范圍。
[0243](圖5 的步驟 SA-5)
[0244]接著，結合流生成部23結合MB線而生成結合流。主要參照圖4以及圖16說明該生成的步驟。
[0245](圖16 的步驟 SH-1)
[0246]結合流生成部23的磚塊流接受部231從積蓄通過已說明的步驟進行了編碼的比特流群的比特流群積蓄部22，接收應對用戶發(fā)送的磚塊流(在本例中，ApOO和ApOI的流)。
[0247](圖16 的步驟 SH-2)
[0248]接著，結合處理部232的周邊調整用MB信息插入部2321將周邊調整用MB信息插入到應結合的磚塊流的幀的周圍。在圖17中表示具體的一例。在該例中，以結合4個磚塊流的幀為前提。此時，將周邊調整用MB信息插入到除了其下邊的3邊。在此，周邊調整用MB信息是用于確保編碼的匹配性的MB，其數(shù)據(jù)內容以及編碼方法在結合處理部232中成為已知。即，如所述那樣，在各磚塊流的幀的編碼中，采用即使在各個磚塊流的幀中在編碼時和結合時參照的預測信息不同，也能適當?shù)剡M行解碼的算法。如與該編碼條件匹配的那樣，將周邊調整用MB插入到磚塊流的幀的周圍。
[0249]在本實施方式中，周邊調整用MB的像素值全部設為黑色。其中，能夠采用其他的
像素值。
[0250]另外，在圖18中表示本實施方式的周邊調整用MB中的具體的編碼條件。如圖示那樣，關于周邊調整用MB的編碼條件如下。
[0251].:通過intra_16xl6的MB模式,且以下端方塊成為固定非零系數(shù)個數(shù)的方式，幀內編碼(更新幀的情況)；
[0252].:以下端方塊成為固定非零系數(shù)個數(shù)且固定運動向量的方式幀間編碼(更新幀以外的情況)；
[0253]Δ:沒有編碼限制；
[0254]X:通過Intra_16xl6的MB模式，以右端方塊成為固定非零系數(shù)個數(shù)的方式幀內編碼(更新幀的情況)；
[0255]X:以右端方塊成為固定非零系數(shù)個數(shù)且固定運動向量的方式幀間編碼(更新幀以外的情況)；
[0256]:假設與該MB的左側鄰接的邊界方塊的非零系數(shù)個數(shù)為固定值的情況而幀內編碼(更新幀的情況)；
[0257]:假設與該MB的左側鄰接的邊界方塊的非零系數(shù)個數(shù)為固定值，且邊界分區(qū)保持的運動向量為固定運動向量的情況，以該MB本身也具有固定運動向量的方式幀間編碼(更新幀以外的情況)。
[0258](圖16的步驟SH-3~4)
[0259]接著，對寫入到比特流的標頭的MB線代碼量進行讀取，基于該MB線代碼量，提取MB線。這樣，通過預先將MB線代碼量寫入到標頭，從而能夠不進行可變長度解碼，而檢測出MB線的端部。這減輕對于系統(tǒng)的負荷，并且在安裝上重要。
[0260](圖16 的步驟 SH-5)
[0261]接著，在結合流標頭信息生成/插入部2324中，生成關于結合流的標頭信息。生成的標頭信息被插入到所提取到的MB線代碼串。在圖19表示插入了標頭的結合流的概念圖。在該例中，從開頭起成為如下結構:SPS、PPS標頭，片段(slice)標頭、上端(第O行)的周邊調整用MB代碼串、第I行的左端的MB代碼串、應結合的磚塊流ApOO的MB線代碼串(第I行)、應結合的磚塊流ApOl的MB線代碼串(第I行)、第I行右端的周邊調整用MB代碼串、第2行左端的周邊調整用MB代碼串、應結合的磚塊流ApOO的MB線代碼串(第2行)、應結合的磚塊流ApOl的MB線代碼串(第2行)…第m行的左端的周邊調整用MB代碼串、應結合的磚塊流ApOO的MB線代碼串(第m行)、應結合的磚塊流ApOl的MB線代碼串(第m行)、第m行右端的周邊調整用MB代碼串…。
[0262]關于SPS、PPS標頭和片段標頭，能夠設為與以往相同的結構，省略詳細的說明。
[0263](圖16 的步驟 SH-6)
[0264]接著，將生成了的結合流從結合流輸出部233送出到結合流發(fā)送部25。
[0265]通過以上處理，本實施方式的編碼方法進行視頻磚塊流的編碼，使得能夠將多個視頻磚塊流中的各MB線以各MB線為單位任意地連接，構成單一的結合流。然后該方法具備以下步驟:
[0266](I)接受成為編碼對象的視頻信號的步驟；
[0267](2)使用適宜的預測參照信息，對所述視頻信號進行編碼，從而生成磚塊流的步驟；以及
[0268](3)輸出通過編碼得到的所述視頻磚塊流的步驟。
[0269]在視頻信息的編碼中，使用預測參照信息限制方式或者預測參照信息固定方式，使得即使將視頻磚塊流中的幀的各MB線構成的流任意地連接，也不產(chǎn)生由于信號的預測關系的不一致而發(fā)生的誤差。
[0270]此外，本實施方式的結合方法是用于結合構成通過所述的本實施方式的編碼系統(tǒng)進行了編碼的視頻磚塊流的MB線的結合方法。然后，該方法具有以下步驟:
[0271](I)在視頻磚塊流中，檢測MB線的端部，且取得與MB線相當?shù)牧鞯牟襟E；以及
[0272](2)以與作為視頻磚塊流進行了結合的狀態(tài)的結合視頻流中成為幀的周邊的位置鄰接的方式，將周邊調整用MB插入到MB線的端部的步驟。
[0273]在此，一部 分的周邊調整用MB通過所述的編碼方法進行編碼，結合視頻流輸出部25構成為輸出通過結合處理部232生成了的結合流。
[0274]此外，在圖19表示的數(shù)據(jù)結構是將與構成通過所述的編碼系統(tǒng)進行了編碼的磚塊流的MB線相當?shù)牧鬟M行結合而生成了的數(shù)據(jù)結構的一例。然后，在該數(shù)據(jù)結構中，以與作為視頻磚塊流進行了結合的狀態(tài)的結合流中成為幀的周邊的位置鄰接的方式，將周邊調整用MB插入到MB線的端部。進而，至少一部分的周邊調整用MB通過所述的編碼系統(tǒng)進行了編碼。
[0275](圖5 的步驟 SA-6)
[0276]結合流發(fā)送部25經(jīng)由網(wǎng)絡4將結合流發(fā)送到客戶終端3。
[0277]在客戶終端3中，能夠解碼結合流，顯示圖像。該解碼處理與通常的H.264的情況相同即可，省略詳細的說明。
[0278]通過本實施方式的手法進行了結合的流通過通常的H.264用所安裝的解碼器，能夠正確地進行解碼處理。此外，將進行了解碼的圖像數(shù)據(jù)顯示在客戶終端3，從而能夠提示至用戶。即，根據(jù)本實施方式的手法，即使將磚塊流任意地進行了結合的情況下，也能夠防止由客戶終端表示的畫質的劣化。而且，在本實施方式的手法中，不需要為了修正預測參照信息的不匹配，而解碼至像素級別，因此能夠減輕在服務器側的處理的負擔。
[0279]此外，在本實施方式的手法中，關于應幀內編碼的MB，限制了預測模式，因此在各個磚塊流的幀中在編碼時和結合時參照的預測信息成為相同，能夠在客戶中進行正常的解碼。
[0280]通過采用以上的編碼步驟，在結合了磚塊流的情況下，能夠避免在編碼時決定并寫入到流中的預測信息的不一致。因此，根據(jù)本實施方式，有以下優(yōu)點，例如不需要為了避免預測信息的不一致而所需的代碼的可變長度解碼、解碼信息的再計算、再計算結果的再編碼的處理。此外，通過將MB線代碼量預先寫入到標頭中，從而能夠省略用于檢測MB線的端點的可變長度解碼等的解碼處理。因此，根據(jù)本實施方式，能夠高速地實現(xiàn)多個磚塊流的
口口 ?[0281]此外，本發(fā)明不限定于所述的實施的方式，能夠在不脫離本發(fā)明的宗旨的范圍內施加各種變更。
[0282]例如，所述的各結構要素作為功能方塊存在即可，可以不作為獨立的硬件而存在。此外，作為安裝方法，可以使用硬件也可以使用計算機軟件。進而，本發(fā)明中的一個功能要素可以通過多個功能要素的集合來實現(xiàn)，本發(fā)明中的多個功能要素也可以通過一個功能要素來實現(xiàn)。
[0283]此外，構成本發(fā)明的各功能要素可以離散地存在。在離散地存在的情況下，能夠經(jīng)由例如網(wǎng)絡而交接需要的數(shù)據(jù)。各部的內部中的各功能也同樣能夠離散地存在。也能夠使用例如網(wǎng)格計算、云計算，實現(xiàn)本實施方式中的各功能要素或者其一部分。
【權利要求】
1.一種編碼系統(tǒng)，用于進行視頻磚塊流的編碼，使得能夠將多個視頻磚塊流中的各MB線以所述各MB線為單位任意地連接，構成單一的結合流，其特征在于，具備: 視頻信號接受部；編碼處理部；以及視頻磚塊流輸出部， 所述視頻信號接受部接受成為編碼對象的視頻信號， 所述編碼處理部構成為，使用適宜的預測參照信息，將所述視頻信號編碼，從而生成視頻磚塊流， 并且，所述編碼處理部構成為，在所述編碼中，使用預測參照信息限制方式或者預測參照信息固定方式，使得即使將所述視頻磚塊流中的各MB線任意地連接，也不產(chǎn)生由于信號的預測關系的不一致而發(fā)生的誤差， 所述流輸出部構成為，輸出通過所述編碼處理部中的編碼而得到的所述視頻磚塊流。
2.如權利要求1所述的編碼系統(tǒng)， 所述預測參照信息限制方式設為是以不同的視頻磚塊流中的MB線之間，不依賴由相互鄰接的MB保持的編碼信息的組合的方式，對編碼信息進行了限制的預測方式。
3.如權利要求1所述的編碼系統(tǒng)，所述預測參照信息限制方式具備以下的處理: (1)通過幀內預測編碼 和幀間預測編碼的兩種編碼模式之中的其中一種，將構成所述視頻信號的幀進行編碼的處理； (2)在進行幀內預測編碼的幀內的多個MB中，在不同的視頻磚塊流中的MB線之間，使用參照不依賴相互鄰接的MB的內容的像素值的預測模式而進行編碼的處理。
4.如權利要求1所述的編碼系統(tǒng)， 所述預測參照信息固定方式是使用固定為預先設定的值的預測信息的方式。
5.如權利要求1所述的編碼系統(tǒng)，所述預測參照信息固定方式具備以下的處理: (1)在構成所述視頻磚塊流的MB且位于所述視頻磚塊流的幀的周邊部分的MB之中至少一部分MB中，將MB中的至少一部分的亮度系數(shù)串以及色差系數(shù)串的非零的系數(shù)的個數(shù)作為預先設定的固定值而進行編碼的處理； (2)在參照應與所述視頻磚塊流的幀的周邊部分鄰接的MB的所述非零系數(shù)的個數(shù)的MB的情況下，假設具有所述固定值的所述非零系數(shù)的個數(shù)的鄰接MB存在，進行編碼的處理。
6.如權利要求1所述的編碼系統(tǒng)，所述預測參照信息固定方式具備以下的處理: (1)在位于視頻磚塊流的幀的周邊部分的MB內的至少一部分的MB中，將由MB保持的運動向量固定為既定的運動向量，進行幀間預測編碼的處理； (2)在參照應與所述視頻磚塊流的幀的周邊部分鄰接的MB的運動向量的MB的情況下，假設具有所述既定的運動向量的鄰接MB存在，進行幀間預測編碼的處理。
7.如權利要求1~6的任一項所述的編碼系統(tǒng)， 所述編碼處理部具備MB線代碼量插入部，該MB線代碼量插入部構成為，在所述編碼時，生成用于確定所述視頻磚塊流中的所述MB線的位置的附加信息。
8.一種結合系統(tǒng)，用于結合構成通過權利要求1~6的任一項所述的系統(tǒng)進行了編碼的視頻磚塊流的MB線,具備: 視頻磚塊流接受部、結合處理部、以及結合流輸出部， 所述視頻磚塊流接受部構成為收取所述視頻磚塊流，所述結合處理部構成為通過進行以下的處理，生成結合流: (1)在所述視頻磚塊流中，檢測所述MB線的端部，并且取得與所述MB線相當?shù)牧鞯奶幚恚? (2)以與作為所述視頻磚塊流進行了結合的狀態(tài)的結合流中成為幀的周邊的位置鄰接的方式，將周邊調整用MB插入到所述MB線的端部的處理，其中，在此，一部分所述周邊調整用MB設為是通過權利要求1~7的任一項所述的編碼系統(tǒng)進行了編碼的MB ； 所述結合流輸出部構成為，輸出通過所述結合處理部生成了的所述結合流。
9.一種編碼方法，用于進行視頻磚塊流的編碼，使得能夠將多個視頻磚塊流中的各MB線以所述各MB線為單位任意地連接，構成單一的結合流，其特征在于，具備: (1)接受成為編碼對象的視頻信號的步驟； (2)使用適宜的預測參照信息，編碼所述視頻信號，從而生成磚塊流的步驟；以及 (3)輸出通過編碼得到的所述視頻磚塊流的步驟， 在所述視頻信息的編碼中，使用所述預測參照信息限制方式或者所述預測參照信息固定方式，使得即使將所述視頻磚塊流中的幀的各MB線所構成的流任意地連接，也不產(chǎn)生由于信號的預測關系的不一致而發(fā)生的誤差。
10.一種計算機程序，用于使計算機執(zhí)行權利要求9所述的各步驟。
11.一種數(shù)據(jù)結構，將與構成通過權利要求1~7的任一項所述的系統(tǒng)進行了編碼的磚塊流的MB線相當?shù)牧鬟M行結合而生成， 以與作為所述視頻磚塊流進行了結合的狀態(tài)的結合流中成為幀的周邊的位置鄰接的方式，周邊調整用MB插入到所述MB線的端部， 至少一部分的所述周邊調整用MB通過權利要求1~7的任一項所述的編碼系統(tǒng)進行了編碼。
【文檔編號】H04N19/134GK103947212SQ201280057252
【公開日】2014年7月23日 申請日期:2012年10月17日 優(yōu)先權日:2011年10月24日
【發(fā)明者】笠井裕之, 宇地原直史 申請人:株式會社Gnzo