專利名稱:運(yùn)動圖像編碼方法、裝置、程序、以及集成電路的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及運(yùn)動圖像編碼方法及運(yùn)動圖像編碼裝置。特別涉及使用MPEG(M0ving Picture Experts Group 運(yùn)動圖像專家組)-4AVC方式(別稱ITU-TH. 264方式),將圖像 信號分割為由多個塊構(gòu)成的片,并以塊為單位將各片編碼的運(yùn)動圖像編碼方法及運(yùn)動圖像 編碼裝置。
背景技術(shù):
近年來,迎來了將聲音、圖像及其他像素值綜合處理的多媒體時代,以往的信息媒 體、即報紙、雜志、電視、收音機(jī)及電話等將信息傳遞給人的手段已被采納為多媒體的對象。 一般而言,所謂多媒體,是指不僅將字符、還將圖形或聲音、特別是圖像等同時相互建立關(guān) 聯(lián)來表現(xiàn)。為了將上述以往的信息媒體作為多媒體的對象,將該信息作為數(shù)字形式表現(xiàn)成 為必要條件。但是,如果將上述各信息媒體所具有的信息量估計為數(shù)字信息量,則在字符的 情況下,每一個字符的信息量是1 2字節(jié)。相對于此,在聲音的情況下,需要每1秒 64Kbits(電話品質(zhì)),進(jìn)而在運(yùn)動圖像的情況下,需要每1秒IOOMbits(當(dāng)前電視接收品 質(zhì))以上的信息量。因此,在上述信息媒體中,以數(shù)字形式原樣處理該龐大的信息是并不 現(xiàn)實(shí)的。例如,電視電話已由具有64Kbit/s 1. 5Mbit/s的傳送速度的服務(wù)綜合數(shù)字網(wǎng) (ISDN =Integrated Services Digital Network)來實(shí)用。但是,不可能將電視 攝像機(jī)的 影像以原本的數(shù)字信息量、即沒有壓縮的情況下的信息量通過ISDN傳送。所以,信息壓縮技術(shù)是必要的。例如,在電視電話的情況下,采用由ITU_T(國際電 氣通信聯(lián)合電氣通信標(biāo)準(zhǔn)化組織)推薦的H. 261或H. 263標(biāo)準(zhǔn)的運(yùn)動圖像壓縮技術(shù)。此 外,在MPEG-I標(biāo)準(zhǔn)的信息壓縮技術(shù)中,還能夠?qū)D像信息與聲音信息一起裝入到通常的音 樂用⑶(光盤)中。這里,所謂MPEG (Moving Picture Experts Group),是由 IS0/IEC(國際標(biāo)準(zhǔn)化機(jī) 構(gòu)國際電氣標(biāo)準(zhǔn)會議)標(biāo)準(zhǔn)化的運(yùn)動圖像信號壓縮的國際標(biāo)準(zhǔn)。MPEG-I是將運(yùn)動圖像信號 壓縮到1. 5Mbit/s,即將電視信號的信息壓縮到約100分之1的標(biāo)準(zhǔn)。此外,在MPEG-I標(biāo) 準(zhǔn)中,將作為對象的品質(zhì)設(shè)為中等程度的品質(zhì)、即設(shè)為以傳送速度為主、能夠以約1. 5Mbit/ s實(shí)現(xiàn)的程度的品質(zhì),所以為了滿足更高畫質(zhì)化的要求而標(biāo)準(zhǔn)化了 MPEG-2。在MPEG-2中, 將運(yùn)動圖像信號以2 15Mbit/s壓縮,實(shí)現(xiàn)TV廣播品質(zhì)。進(jìn)而,在現(xiàn)狀下由推進(jìn)了 MPEG-I、MPEG-2和標(biāo)準(zhǔn)化的工作組(IS0/IECJTC1/SC29/ WGl 1)將MPEG-4標(biāo)準(zhǔn)化。在該MPEG-4中,達(dá)到了超過MPEG-I、MPEG_2的壓縮率,還能夠以物 體單位進(jìn)行編碼、解碼、操作,實(shí)現(xiàn)多媒體時代所需要的新的功能。MPEG-4達(dá)到超過MPEG-I 及MPEG-2的壓縮率,還能夠以物體單位進(jìn)行編碼、解碼及操作。在決定該MPEG-4的標(biāo)準(zhǔn)的工作中,最初以低比特率的編碼方法的標(biāo)準(zhǔn)化為目標(biāo) 推進(jìn)了工作,但標(biāo)準(zhǔn)的內(nèi)容擴(kuò)展到還包含還包括隔行(interlace)圖像在內(nèi)的高比特率 的編碼方法的、更通用的編碼。此外,目前,由IS0/IEC和ITU-T共同將MPEG-4AVC(ITU-TH. 264)標(biāo)準(zhǔn)化為更高壓縮率的圖像編碼方式。這里,可以認(rèn)為圖像信號是作為同一時刻的像素的集合的圖片(也稱作幀或場) 連續(xù)的信號。此外,對于像素,由于與圖片內(nèi)的附近像素的相關(guān)性強(qiáng),所以進(jìn)行利用圖片內(nèi) 的像素的相關(guān)性的壓縮。進(jìn)而,由于在連續(xù)的兩個(多個)圖片間,像素的相關(guān)性也強(qiáng),所 以還進(jìn)行利用這些圖片間的像素的相關(guān)性的壓縮。這里,將利用多個圖片間的像素的相關(guān) 性、和圖片內(nèi)的像素的相關(guān)性的壓縮稱作幀間編碼,將不利用圖片間的像素的相關(guān)性、但利 用圖片內(nèi)的像素的相關(guān)性的壓縮稱作幀內(nèi)編碼。該幀間編碼由于利用圖片間的相關(guān)性,所 以能夠?qū)崿F(xiàn)比幀內(nèi)編碼下的壓縮率高的壓縮率。此外,在MPEG-l、MPEG-2、MPEG-4、MPEG-4 AVC(H. 264)中,構(gòu)成 2 維矩形區(qū)域的像 素的集合即塊(或者聚集了多個塊的上位概念塊即宏塊),能夠以塊單位切換幀內(nèi)編碼和 幀間編碼。另一方面,ADSL或使用光纖的高速網(wǎng)絡(luò)環(huán)境已普及,由此,在一般家庭也能夠以超 過幾Mbit/s的比特率進(jìn)行收發(fā)。進(jìn)而,今后幾年中,預(yù)計能夠進(jìn)行幾十Mbit/s下的收發(fā)。 由此,可以預(yù)想到,通過采用上述圖像編碼技術(shù),不僅是在使用專用線路的企業(yè),在一般家 庭也可推進(jìn)TV廣播品質(zhì)及HDTV廣播品質(zhì)下的TV電話及TV會議系統(tǒng)的導(dǎo)入。在經(jīng)由網(wǎng)絡(luò)傳送編碼后的圖像數(shù)據(jù)即流時,流的一部分有可能因網(wǎng)絡(luò)擁擠等而消 失。在流的一部分消失的情況下,在接收側(cè)不能將與消失的流(的一部分)對應(yīng)的部分的 圖像正確地解碼,所以發(fā)生畫質(zhì)劣化。所以,定義了聚集了多個塊的編碼單位即片(slice)。 片是能夠獨(dú)立地進(jìn)行編碼及解碼處理的最小單位,即使流的一部分消失,也能夠以片為單 位進(jìn)行解碼處理。圖22是說明使用MPEG標(biāo)準(zhǔn)的片分割方法的情況下的片S與塊MB (宏塊)的關(guān)系 的圖。圖22所示的圖片P(1幀)由多個塊MB(宏塊)構(gòu)成。此夕卜,在構(gòu)成圖片P的塊MB 之中,同一行的塊MB構(gòu)成1個片S。即,片S由在該片S的行中包含的多個塊MB構(gòu)成。圖 片P具有各個行由1個片S構(gòu)成的多個行。例如,添加了斜線的片S是I片IS,其他各片 是P片PSm。I片IS是僅由幀內(nèi)編碼的塊構(gòu)成的片。P片PSm是由幀間編碼的塊構(gòu)成的片。 另外,在MPEG-2中,必須將片S僅用相同的行的塊(僅1個行的塊)構(gòu)成,但在MPEG-4或 H. 264中,進(jìn)行了還能夠?qū)⑵琒用多個行構(gòu)成的擴(kuò)展。此外,在H. 264標(biāo)準(zhǔn)中,可以在1個圖片(圖片P)中同時包含I片和P片兩種片。 一般而言,I片是指僅利用片內(nèi)的像素的相關(guān)性來進(jìn)行編碼的片。P片是指利用片內(nèi)的像 素相關(guān)性和片間的像素相關(guān)性來進(jìn)行編碼的片。這里,所謂片間,是該片與該片以外的其他 片之間。該片以外的其他片也可以是與包含該片的圖片不同的其他圖片所包含的片。換言 之,I片是不使用根據(jù)周圍(該片的外側(cè))的圖像信號的(基于該圖像信號的)預(yù)測編碼 的片,即僅聚集了要幀內(nèi)編碼的幀內(nèi)宏塊的片。并且,P片是通過預(yù)測編碼提高了壓縮效率 的片,即要幀間編碼的幀間宏塊、和幀內(nèi)宏塊混合而構(gòu)成的片。另外,在H. 264標(biāo)準(zhǔn)中,還存在應(yīng)用程序運(yùn)用標(biāo)準(zhǔn)中的限制、MPEG-2等禁止在1個 圖片內(nèi)混合有I片和P片的限制。所以,本說明書的I片設(shè)為還包括以下的片。即,在本 說明書中,為了方便,打算將僅利用片內(nèi)的像素的相關(guān)性進(jìn)行了編碼的特殊的P片也稱作I 片。
圖23是用來說明圖片P中的多個塊的編碼順序的圖。圖22所示的圖片P中的塊MB以圖23所示的順序、即在圖片P內(nèi)、在片單位內(nèi)從 左向右、并且以片單位從上向下的順序被編碼,生成流。但是,即使沒有以某個圖片的全部的片單位正確地進(jìn)行解碼處理,也不一定能夠 將該圖片的已解碼處理的像素正確地解碼。例如,即使在流中發(fā)生了消失,在對因消失而發(fā) 生了畫質(zhì)劣化的圖片的下一個圖片進(jìn)行解碼時,在下一個圖片被幀內(nèi)編碼了的情況下,僅 通過(僅基于)幀內(nèi)編碼后的片的流就能夠?qū)⑾袼卣_地解碼。但是,在對因消失而發(fā)生 了畫質(zhì)劣化的圖片的下一個圖片進(jìn)行解碼時,在下一個圖片被幀間編碼了的情況下,下一 個圖片利用與之前被解碼的圖片、即因流的消失而存在畫質(zhì)劣化的圖片的相關(guān)性(參照在 緊前解碼的圖片)進(jìn)行解碼,所以在消失的流的下一個圖片中,即使在全部的片中正確地 進(jìn)行了解碼處理,也不能將原本的像素值正確地解碼。這樣,存在如下問題在流消失的情況下,如果因消失而發(fā)生了畫質(zhì)劣化的圖片的 下一個圖片已被幀間編碼,則不能將下一個圖片正確地解碼,進(jìn)而遞歸地不能將比下一個 圖片更靠后的、后續(xù)的圖片也正確地進(jìn)行解碼。在MPEG-2中,在每當(dāng)將P圖片編碼一定數(shù)量時,將包括僅幀內(nèi)編碼的塊的I圖片 進(jìn)行編碼,從而防止由流消失帶來的畫質(zhì)劣化的影響傳播。但是,對I圖片進(jìn)行編碼而得到 的編碼后的數(shù)據(jù)的比特數(shù)為對P圖片進(jìn)行編碼而得到的編碼后的數(shù)據(jù)的比特數(shù)的幾倍至 十幾倍的比特數(shù)。因此,為了用僅能夠以一定的比特率傳送的傳送路徑進(jìn)行傳送,經(jīng)由具有 較大的緩沖器的傳送比特率平滑裝置傳送。這里,傳送比特率平滑裝置的傳送延遲時間為 幾個圖片 十幾個圖片的時間,較大,為了以低延遲時間傳送圖像信號,不適合使用傳送比 特率平滑裝置。所以,在以下說明的方法中,通過進(jìn)行使圖片單位的比特數(shù)大致為一定的編 碼,實(shí)現(xiàn)低延遲,并且防止畫質(zhì)劣化遞歸性地傳播。圖M是表示以時間順序連續(xù)的圖片((a) (1))的片分割例的圖。這里,添加了斜線的片與圖22同樣,是I片IS,其他片是P片PSm。這里,片與上 述例子同樣是行單位。此外,圖對的(a) (1)是以時間順序連續(xù)的多個圖片。即,在圖 24中,(a)是在時間順序上最初的圖片,⑴是在時間順序上最后的圖片。在圖M中,I片 IS的位置在時間上為下一個的圖片中向下移動1行,移動到最下行后接著回到最上行(圖 24 的(j)到(k))。這樣,由流消失較強(qiáng)的I片IS、和包括流消失較弱但壓縮率較好的幀間編碼的P片 PSm構(gòu)成圖片P,將I片IS的位置(設(shè)定的位置)以時間順序在圖片P內(nèi)循環(huán)。由此,即使 在某個時點(diǎn)流消失、P片PSm的畫質(zhì)劣化,當(dāng)流消失的P片PSm的位置的片在時間順序上靠 后的圖片中為I片IS時,也將圖片P正確地解碼。即,能夠?qū)⒋嬖趫D像劣化的流恢復(fù)。因 此,能夠防止畫質(zhì)劣化無限地傳播。但是,僅通過周期性地插入I片IS,不能防止畫質(zhì)劣化傳播。圖25是用來說明在以往的沒有制約運(yùn)動搜索范圍的情況下發(fā)生的畫質(zhì)劣化的 圖。即使因流的消失而發(fā)生了畫質(zhì)劣化,也能夠通過I片IS循環(huán),將畫質(zhì)劣化的傳播 停止(將圖片刷新)。由于I片IS從上向下移動,所以將圖片從上方的片起依次刷新。在圖片N中,在I片IS的位置和I片IS的上方的位置的像素中,能夠?qū)D片正確地解碼。但是,在I片IS的下方的位置的像素中,存在畫質(zhì)劣化。即,假設(shè)在存在因傳送錯 誤而發(fā)生的畫質(zhì)劣化之后,在還沒有將I片IS進(jìn)行解碼的圖片N中的、I片IS的下方的位 置的像素中,存在畫質(zhì)劣化。將該基于I片的畫質(zhì)劣化的傳播停止的區(qū)域稱作刷新完成區(qū) 域RR (參照圖25),將還沒有以I片編碼(解碼)、存在畫質(zhì)劣化的區(qū)域稱作未刷新區(qū)域NR。刷新完成區(qū)域RR是由I片IS、和I片IS的上方的各個片構(gòu)成的區(qū)域。這里,所謂 I片IS的上方,是相對于I片IS,與以I片IS編碼的位置(設(shè)定I片IS的位置)的行進(jìn) 方向相反的方向上的位置。未刷新區(qū)域NR是由I片IS的下方的各個片構(gòu)成的區(qū)域。這里,所謂I片IS的下 方,是相對于I片IS,以I片IS編碼的位置的行進(jìn)方向上的位置。這里,在幀間編碼中,由于以塊單位將與相關(guān)性高的像素的差進(jìn)行編碼,所以將編 碼對象塊C(圖25的圖片N+1)與比較對象圖片(圖25的圖片N)的像素塊比較,將與像素 的相關(guān)性最大的位置的像素值的差以塊單位進(jìn)行編碼。將搜索該像素的相關(guān)性大的位置的 動作稱作運(yùn)動搜索。將參照目標(biāo)的圖片(圖片N)中的、在該運(yùn)動搜索中搜索到的塊的位置 的范圍稱作運(yùn)動搜索范圍。并且,如果該運(yùn)動搜索范圍是參照目標(biāo)的圖片中的刷新完成區(qū)域RR內(nèi),則在解碼 裝置中,參照沒有由傳送錯誤帶來的畫質(zhì)劣化的像素值來進(jìn)行解碼,所以即使將幀間編碼 后的像素解碼,也沒有畫質(zhì)劣化。此外,即使運(yùn)動搜索范圍是未刷新區(qū)域NR內(nèi),只要圖片N+1的編碼對象塊C是未 刷新區(qū)域NR內(nèi)(編碼對象塊C3)也沒有問題。這是因為,在解碼裝置中,在后續(xù)的圖片(參 照圖片N+2等)中將其編碼對象塊C3的位置的片作為I片解碼時,由傳送錯誤帶來的畫質(zhì) 劣化被消除。另一方面,在圖片N+1的編碼對象塊雖然是刷新完成區(qū)域RR的塊(編碼對象塊 Cl)、但參照圖片N的未刷新區(qū)域NR進(jìn)行編碼的情況下成為問題。即,在此情況下,在解碼 裝置中,該塊在后續(xù)的圖片(參照圖片N+2)中不能以I片(內(nèi)編碼)進(jìn)行解碼,所以在該 塊和參照該塊的解碼中,不能將由傳送錯誤帶來的畫質(zhì)劣化消除,而成為問題。即,如果進(jìn) 行從編碼的對象圖片(圖片N+1)的刷新完成區(qū)域RR的塊向參照目標(biāo)圖片(圖片N)的未 刷新區(qū)域NR的塊的參照,則發(fā)生畫質(zhì)劣化的傳播。圖沈是表示制約了搜索范圍的情況下的處理的圖。作為用來防止該問題的一個方法,如圖沈所示,已知如下方法在圖片N+1的刷 新完成區(qū)域RR的塊(編碼對象塊Cl、C2)的編碼中,將圖片N的刷新完成區(qū)域RR(以I片 的編碼完成的區(qū)域)為止的區(qū)域作為運(yùn)動搜索范圍,停止由傳送錯誤帶來的畫質(zhì)劣化的傳播。作為這樣的以往的技術(shù),已知有例如專利文獻(xiàn)1中記載的技術(shù)?,F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 日本特開2008-258953號公報發(fā)明的概要發(fā)明要解決的課題但是,在上述以往的編碼方法中,在刷新完成區(qū)域RR的塊的編碼中的運(yùn)動搜索中,需要動態(tài)地限制運(yùn)動搜索范圍,以使運(yùn)動搜索范圍不包括未刷新區(qū)域NR。即,需要根據(jù) 編碼的位置(編碼對象塊C的位置)變更運(yùn)動搜索范圍的大小而進(jìn)行運(yùn)動搜索。即,例如 在圖沈的以塊Bl的運(yùn)動搜索中,進(jìn)行與塊B2的運(yùn)動搜索中的運(yùn)動搜索范圍不同的運(yùn)動搜 索范圍中的處理。因此,在以往的編碼方法中,有控制變得復(fù)雜的問題。例如,根據(jù)位置而 運(yùn)動搜索范圍的大小變化,運(yùn)動搜索的處理的時間變化。由此,運(yùn)動搜索的流水線處理的控 制變得復(fù)雜,需要復(fù)雜的電路。由此,處理的速度下降,關(guān)于高解析度的數(shù)據(jù)等,不能以需要 的速度進(jìn)行處理。例如,不能將高清晰度的數(shù)據(jù)適當(dāng)?shù)靥幚怼?br>
發(fā)明內(nèi)容
本發(fā)明用于解決上述以往的問題,目的是提供一種不用動態(tài)地限制運(yùn)動搜索范 圍、不進(jìn)行未刷新區(qū)域的參照,來防止錯誤傳播的運(yùn)動圖像編碼裝置、方法等。即,使得能夠 通過簡單的處理,實(shí)現(xiàn)防止從未刷新區(qū)域向刷新區(qū)域的錯誤傳播,并且能夠通過簡單的結(jié) 構(gòu)的裝置實(shí)現(xiàn)。并且由此還提供一種即使是高清晰度的數(shù)據(jù)等的高解析度的數(shù)據(jù)也能夠適 當(dāng)?shù)靥幚淼难b置等。用于解決課題的手段為了達(dá)到上述目的,本發(fā)明的編碼方法是一種運(yùn)動圖像編碼方法,在一個圖片中 包括I片和P片,所包含的上述I片的上述圖片內(nèi)的位置按照圖片沿圖片的垂直方向移動, 該運(yùn)動圖像編碼方法包括第一編碼步驟,將第一 P片不使用運(yùn)動矢量而進(jìn)行幀間編碼,該 第一P片是在與上述I片相鄰且在與上述垂直方向的移動的方向相反的方向上相鄰的第一 區(qū)域中包含的片;第二編碼步驟,將在上述第一區(qū)域以外的第二區(qū)域中包含的第二 P片使 用運(yùn)動矢量進(jìn)行幀間編碼。另外,所謂在1個圖片中包括I片和P片,是指在同一圖片中包括I片和P片,意 味著包含I片的圖片與包含P片的圖片是同一個。另外,這樣也可以將進(jìn)行刷新的I片之上的位置的片的運(yùn)動搜索停止。發(fā)明效果根據(jù)本發(fā)明,不用進(jìn)行動態(tài)地限制運(yùn)動搜索范圍的復(fù)雜的處理,如圖5所示,在I 片之上的位置的P片中禁止運(yùn)動搜索功能。僅通過這樣的簡單的處理,即使在網(wǎng)絡(luò)傳送時 流消失,也能夠通過在后續(xù)的圖片中將I片進(jìn)行解碼,正確地解碼為沒有畫質(zhì)劣化的圖片。 即,第一P片區(qū)域是在與上述移動的方向相反的方向上與I片相鄰的刷新完成區(qū)域的最下 部。在該最下部的幀間編碼中,不使用運(yùn)動矢量,而利用不考慮運(yùn)動的相同位置上的圖像。 由此,能夠防止向參照目標(biāo)圖片中的未刷新區(qū)域(相對于I片在上述移動方向上相鄰的區(qū) 域)的參照。由此,能夠防止從未刷新區(qū)域向刷新完成區(qū)域的畫質(zhì)劣化的傳播。并且,僅僅 是利用相同的位置上的圖像,所進(jìn)行的處理較簡單。即,能夠同時實(shí)現(xiàn)不適當(dāng)?shù)漠嬞|(zhì)劣化的 傳播的防止、和所進(jìn)行的處理的簡單。
圖1是實(shí)施方式1的運(yùn)動圖像編碼裝置的模塊圖。圖2是實(shí)施方式1的片分割方法與參照的關(guān)系的說明圖。圖3是實(shí)施方式1的片分割及片類型判斷的動作說明圖。
圖4是用于實(shí)施方式1的動作說明的流程圖。圖5是用來說明本發(fā)明的運(yùn)動搜索范圍的制約的圖。圖6是與片的種類對應(yīng)的處理的流程圖。圖7是實(shí)施方式2的運(yùn)動圖像編碼裝置的模塊圖。圖8是表示實(shí)施方式2的I片插入次數(shù)的差異的例子的圖。圖9是運(yùn)動圖像編碼裝置IA的流程圖。圖10是實(shí)施方式2的片插入次數(shù)設(shè)定部的流程圖。圖11是實(shí)施方式3的片分割方法與參照的關(guān)系的說明圖。圖12是實(shí)施方式3的片分割及片類型判斷的動作說明圖。圖13是用來說明實(shí)施方式3中的運(yùn)動搜索范圍的制約的圖。圖14是關(guān)于用來保存用來通過計算機(jī)系統(tǒng)實(shí)現(xiàn)各實(shí)施方式的運(yùn)動圖像編碼裝置 的程序的記錄介質(zhì)的說明圖。圖15是關(guān)于用來保存用來通過計算機(jī)系統(tǒng)實(shí)現(xiàn)各實(shí)施方式的運(yùn)動圖像編碼裝置 的程序的記錄介質(zhì)的說明圖。圖16是關(guān)于用來保存用來通過計算機(jī)系統(tǒng)實(shí)現(xiàn)各實(shí)施方式的運(yùn)動圖像編碼裝置 的程序的記錄介質(zhì)的說明圖。圖17是表示多個圖片的圖。
圖18是表示多個圖片的圖。
圖19是表示多個NoMC-P片的圖。
圖20是表示多個圖片的圖。
圖21是表示多個圖片的圖。
圖22是MPEG的片與塊的關(guān)系的說明圖。
圖23是圖片的多個塊的編碼順序的說明圖。
圖24是表示以時間順序連續(xù)的圖片的片分割例的圖。
圖25是用來說明以往的沒有制約運(yùn)動搜索范圍的情況的圖。
圖26是用來說明以往的運(yùn)動搜索范圍的制約的圖。
圖27是運(yùn)動圖像編碼裝置的模塊圖。
圖28是運(yùn)動圖像編碼裝置的模塊圖。
圖29是運(yùn)動圖像編碼裝置的流程圖。
圖30是運(yùn)動圖像編碼裝置的流程圖。
具體實(shí)施例方式以下,參照
實(shí)施本發(fā)明的方式。實(shí)施方式的運(yùn)動圖像編碼方法是如下的運(yùn)動圖像編碼方法(Al),在一個圖片(圖 5的編碼的對象圖片PS、參照目標(biāo)圖片ra、后續(xù)的圖片PT等)中包括I片(I片冊2、圖2的 I片41)和P片(編碼對象區(qū)域PSA的片、圖2的NoMC-P片42、MC_P片43),所包含的上述 I片的上述圖片內(nèi)的位置(設(shè)定I片的位置)按照圖片沿圖片的垂直方向(圖5的向下的 方向)移動,該運(yùn)動圖像編碼方法包括第一編碼步驟(S3001 =NoMC-P時的步驟),將第一 P片(NoMC-P片42)不使用運(yùn)動矢量進(jìn)行幀間編碼(通過進(jìn)行參照具有與要編碼的塊的位置相同的位置的第二預(yù)測圖像的編碼(與該第二預(yù)測圖像之間的差的編碼),進(jìn)行幀間編 碼),該第一 P片(NoMC-P片42)是包含在與上述I片相鄰的第一區(qū)域(第一 P片區(qū)域)、 且與上述垂直方向的移動方向相反的方向上相鄰(相對于I片PS2、與刷新完成區(qū)域PSl的 內(nèi)部側(cè)(圖5的上部側(cè))相鄰)的第一區(qū)域(第一區(qū)域Rl (圖5)、第一 P片區(qū)域、NoMC-P 片42的區(qū)域、編碼對象區(qū)域PSA^中(包含在刷新完成區(qū)域PSl中,并且包含在關(guān)于該第 一區(qū)域的塊的搜索范圍(參照圖25的搜索范圍&cl)與未刷新區(qū)域PR3重疊的第一區(qū)域Rl 中);以及第二編碼步驟(S3001 =MC-P時的步驟),將第二 P片(MC-P片44、MC_P片43)使 用運(yùn)動矢量進(jìn)行幀間編碼(參照從搜索范圍中搜索到的(由通過搜索得到的運(yùn)動矢量確定 的位置的)第二預(yù)測圖像進(jìn)行幀間編碼),該第二 P片(MC-P片44、MC-P片43)包含在上 述第一區(qū)域(上述第一 P片區(qū)域)以外的第二區(qū)域(第二區(qū)域R2、第二 P片區(qū)域、MC-P片 44及MC-P片43 (MC-P片43x)的區(qū)域)中。另外,將第一區(qū)域(第一區(qū)域Rl)也適當(dāng)稱作第一 P (幀間)片區(qū)域,將第二區(qū)域 (第二區(qū)域R2)也適當(dāng)稱作第二 P片區(qū)域。另外,即第一區(qū)域Rl是要進(jìn)行編碼的對象的圖片PS(例如圖2的(e))的、比1(幀 內(nèi))片41靠上部的、由預(yù)先設(shè)定的范圍構(gòu)成的區(qū)域。另外,關(guān)于該范圍在后面更詳細(xì)地敘 述。并且,在第二編碼步驟中,對于在要進(jìn)行編碼的對象的圖片PS (例如圖2的(e)) 中包含的塊,進(jìn)行參照了從參照目標(biāo)圖片(圖2的(d)、圖片PR)的搜索范圍中搜索的圖像 (第二預(yù)測圖像)的編碼。并且,在第二編碼步驟中,具體而言,僅在該塊不是第一區(qū)域Rl的NoMC-P片42的 塊的情況下進(jìn)行該編碼,在是NoMC-P片42的塊的情況下不進(jìn)行(圖27的第一幀間編碼部 191、圖29的步驟Ml)。并且,在第一編碼步驟中,對于對象圖片PS的塊進(jìn)行參照了參照目標(biāo)圖片PR(圖 2的(d))中的、與該塊的位置相同的位置的圖像(第一預(yù)測圖像)的編碼。并且,在第一編碼步驟中,具體而言,在該塊不是第一區(qū)域Rl的MC-P片43x (圖2) 的塊的情況下,不進(jìn)行該編碼,僅在是NoMC-P片42的塊的情況下進(jìn)行該編碼(第一幀間編 碼部191、步驟Ml)。S卩,在以往例中,對于第一區(qū)域中的相互不同的多個塊(圖沈的塊B1、B2等)進(jìn) 行相互不同的搜索范圍(參照圖26的搜索范圍SXh)中的搜索。因此,需要復(fù)雜的電路 等,構(gòu)成變得復(fù)雜,處理變慢。相對于此,在本運(yùn)動圖像編碼方法中,對于第一區(qū)域的相互不同的多個塊(圖5的 塊B1、B2等),避免僅使用相同的位置的第一預(yù)測圖像進(jìn)行搜索。由此,還避免進(jìn)行相互不 同的多個搜索范圍中的搜索,由于不需要復(fù)雜的電路等,能夠使結(jié)構(gòu)變得簡單,能夠高速地 進(jìn)行處理。由此,能夠避免畫質(zhì)劣化從未刷新區(qū)域向刷新區(qū)域傳播,并且同時實(shí)現(xiàn)結(jié)構(gòu)的簡 單化(處理的快速)。這里,由于I片的位置移動,所以多個圖片中的I片的位置是相互不同的位置。并 且,第一P片區(qū)域是后述的指定區(qū)域。指定區(qū)域是對象圖片(對象圖片re)中的刷新完成區(qū) 域(刷新完成區(qū)域PSl)中的、距參照目標(biāo)圖片(參照目標(biāo)圖片PR)中的未刷新區(qū)域(未刷新區(qū)域冊3)的距離為預(yù)先設(shè)定的距離以下的區(qū)域。即,該區(qū)域是上述預(yù)先設(shè)定的距離以下 的區(qū)域中的、對象的圖片的I片以外的其他區(qū)域(后述的指定區(qū)域、NoMC-P片42的區(qū)域)。 第一P片區(qū)域的垂直方向的寬度具有大于O的預(yù)先設(shè)定的大小。并且,所謂與上述垂直方 向的移動方向相反的方向,是從I片(I片冊2)向刷新完成區(qū)域的方向。所謂在相反的方 向上相鄰,是指在該方向側(cè)與I片相鄰。這樣,通過該結(jié)構(gòu),關(guān)于有可能發(fā)生從未刷新區(qū)域向刷新區(qū)域的畫質(zhì)劣化的傳播 的上述區(qū)域(指定區(qū)域),將該區(qū)域的片的圖像不使用運(yùn)動矢量進(jìn)行幀間編碼。實(shí)施方式的圖像編碼方法具體而言也可以是以下的運(yùn)動圖像編碼方法,例如還包 括第三編碼步驟(&ι3,第三幀間編碼部19 ,在該第三編碼步驟中,將在上述第一區(qū)域(第 一 P片區(qū)域)中包含的P片使用運(yùn)動矢量進(jìn)行幀間編碼;在反復(fù)插入I片的情況下(S41 是,S4000 是,在S2005A、S2005C中是規(guī)定次數(shù)(規(guī)定的次數(shù))以上的情況下),將在上述 第一區(qū)域(第一 P片區(qū)域)中包含的P片使用運(yùn)動矢量進(jìn)行幀間編碼,在將I片僅插入規(guī) 定次數(shù)(僅規(guī)定次數(shù))的情況下(S41 否,S4000 否,在S2005A、S2005C中小于規(guī)定次數(shù)的 情況下),將在上述第一區(qū)域(第一 P片區(qū)域)中包含的P片不使用運(yùn)動矢量進(jìn)行幀間編 碼。S卩,例如所謂反復(fù)插入,是指插入閾值以上的個數(shù),所謂(僅)插入規(guī)定次數(shù),是指 插入小于該閾值的個數(shù)。實(shí)施方式的運(yùn)動圖像編碼裝置(運(yùn)動圖像編碼裝置1)是執(zhí)行上述運(yùn)動圖像編碼 方法的裝置,在一個圖片中包括I片和P片,所包含的上述I片的上述圖片內(nèi)的位置按照圖 片沿圖片的垂直方向移動,該運(yùn)動圖像編碼裝置具備片類型決定部(片類型設(shè)定部103, 設(shè)定部103a、MOb),為了將第一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼、且將第二 P片使用運(yùn) 動矢量進(jìn)行幀間編碼,決定片類型,上述第一 P片是在與上述I片相鄰且在與上述垂直方向 的移動的方向相反方向上相鄰的第一區(qū)域中包含的片,上述第一 P片是在上述第一區(qū)域以 外的第二區(qū)域中包含的片;第一幀間編碼部(參照圖像復(fù)制部2003),將上述第一區(qū)域的第 一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼;以及第二幀間編碼部(搜索部2002a),將上述第二 區(qū)域的第二 P片使用運(yùn)動矢量進(jìn)行幀間編碼。由此,執(zhí)行上述的運(yùn)動圖像編碼方法,能夠同時實(shí)現(xiàn)所進(jìn)行的處理的簡單化、以及 不適當(dāng)?shù)漠嬞|(zhì)劣化的傳播的防止。另外,例如也可以判斷塊是否為第一區(qū)域Rl的NoMC-P片42的塊。并且,也可以 在判斷為不是NoMC-P片42的塊的情況下,進(jìn)行使第二幀編碼部將該塊進(jìn)行編碼的控制,在 判斷為NoMC-P片42的塊的情況下,進(jìn)行使第一幀編碼部進(jìn)行編碼的控制(設(shè)定部103a,圖 30的步驟SaOb)。實(shí)施方式的運(yùn)動圖像編碼裝置也可以是,具備判斷I片的插入次數(shù)是否為規(guī)定值 以上的片插入次數(shù)設(shè)定部(片插入次數(shù)設(shè)定部105、MOa),上述片類型決定部在通過上述 片插入次數(shù)設(shè)定判斷為上述插入次數(shù)小于規(guī)定值的情況下(S41 否,S4000 否,在S2005C 中小于規(guī)定次數(shù)的情況下),使用上述第一區(qū)域(第一 P片區(qū)域)及上述第二區(qū)域(第二 P 片區(qū)域)的兩者,在判斷為規(guī)定值以上的情況下(S41 是,S4000 是,在S2005C中為規(guī)定次 數(shù)以上的情況下,S2005A),僅使用上述第二區(qū)域(第二 P片區(qū)域)。由此,能夠避免在I片的插入次數(shù)多到規(guī)定值以上的情況下還執(zhí)行上述Al的運(yùn)動圖像編碼方法。這里,在插入次數(shù)多的情況下,即使發(fā)生不適當(dāng)?shù)漠嬞|(zhì)劣化的傳播,也通過 發(fā)生后的插入,通常能夠抑制由傳播帶來的影響,由傳播帶來的畫質(zhì)劣化在較短的時間內(nèi) 消失。因此,即使不執(zhí)行Al的方法,也不易發(fā)生畫質(zhì)的下降。另一方面,如果不執(zhí)行Al的 方法,則能夠進(jìn)行使用運(yùn)動矢量的幀間編碼,能夠減小編碼后的數(shù)據(jù)的數(shù)據(jù)量。即,能夠在 維持高畫質(zhì)的同時使編碼后的數(shù)據(jù)的數(shù)據(jù)量更小。(實(shí)施方式1)(結(jié)構(gòu))圖1是表示本發(fā)明的實(shí)施方式1的運(yùn)動圖像編碼裝置1的結(jié)構(gòu)的模塊圖。圖片數(shù)計數(shù)部100計測要編碼的圖片數(shù)。此外,圖片數(shù)計數(shù)部100將圖片數(shù)通知 給片類型設(shè)定部103。塊數(shù)計數(shù)部102計測要編碼的圖片中的塊數(shù)。此外,塊數(shù)計數(shù)部102將塊數(shù)通知 給片類型設(shè)定部103。運(yùn)動搜索判斷部104從片類型設(shè)定部103接收片類型的通知。運(yùn)動搜索判斷部104 在接收到通知的片類型是P片的情況下,決定編碼對象片是進(jìn)行運(yùn)動預(yù)測的P片即MC-P片 (第一 P片)、還是不進(jìn)行運(yùn)動搜索的P片即NoMC-P片(第二 P片)。運(yùn)動搜索判斷部104 將I片、MC-P片、NoMC-P片的識別通知給片類型設(shè)定部103。片類型設(shè)定部103根據(jù)從塊數(shù)計數(shù)部102通知的塊數(shù),決定編碼部200要編碼的 編碼對象的片是I片還是P片。片類型設(shè)定部103對運(yùn)動搜索判斷部104通知所決定的片 類型。此外,片類型設(shè)定部103在所決定的片類型是P片的情況下,從運(yùn)動搜索判斷部 104接受是MC-P片還是NoMC-P片的識別。此外,片類型設(shè)定部103根據(jù)圖像的高度、I片的高度、P片的高度、和運(yùn)動搜索的 搜索范圍的高度,分別決定I片的位置、NoMC-P片的位置、圖片內(nèi)的P片分割位置和高度。進(jìn)而,如果從圖片數(shù)計數(shù)部100通知的圖片數(shù)被更新,則片類型設(shè)定部103決定所 設(shè)定的I片的位置向下移動I片的高度量的片分割位置。由片類型設(shè)定部103決定的片類型由片類型設(shè)定部103分別通知給編碼部200 內(nèi)的運(yùn)動搜索部2001、運(yùn)動補(bǔ)償部2002、參照圖像復(fù)制部2003、幀內(nèi)預(yù)測部2004、選擇部 2005。另外,將運(yùn)動搜索部2001及運(yùn)動補(bǔ)償部2002的整體稱作搜索部2002a。幀內(nèi)預(yù)測部2004根據(jù)同一圖片內(nèi)的、已經(jīng)編碼后的像素(未圖示)預(yù)測輸入圖像 信號(像素值),將所預(yù)測的像素值作為預(yù)測圖像(第三預(yù)測圖像)輸出給選擇部2005。另外,幀內(nèi)預(yù)測部2004例如也可以在同一圖片內(nèi)的各像素中、僅根據(jù)預(yù)測圖像的 位置的片的像素進(jìn)行預(yù)測。此外,幀內(nèi)預(yù)測部2004例如也可以在包含于該片中的適合作為 預(yù)測圖像的多個位置的圖像中,確定距預(yù)測圖像的位置最近的圖像,將所確定的圖像確定 為第三預(yù)測圖像。運(yùn)動搜索部2001搜索與輸入圖像信號相關(guān)性最高的像素位置,將該位置(運(yùn)動矢 量)通知給運(yùn)動補(bǔ)償部2002。運(yùn)動補(bǔ)償部2002從參照圖像保持部2011保持的參照圖像讀出由運(yùn)動搜索部2001 通知的運(yùn)動矢量的位置的像素值,作為預(yù)測圖像(第二預(yù)測圖像)輸出給選擇部2005。參照圖像復(fù)制部2003將參照圖像保持部2011保持的該塊位置的圖像作為預(yù)測圖像(第一預(yù)測圖像)輸出給選擇部2005。另外,這樣,例如也可以由參照圖像復(fù)制部2003輸出第一預(yù)測圖像、由運(yùn)動補(bǔ)償 部2002輸出第二預(yù)測圖像、由幀內(nèi)預(yù)測部2004輸出第三預(yù)測圖像。另外,換言之,例如第三預(yù)測圖像是用于運(yùn)動圖像編碼裝置1在空間壓縮和時間 壓縮中僅進(jìn)行空間壓縮的預(yù)測圖像。此外,第二預(yù)測圖像是用來進(jìn)行兩種壓縮的預(yù)測圖像。 此外,第一預(yù)測圖像是用來僅進(jìn)行時間壓縮的預(yù)測圖像。另外,第三預(yù)測圖像例如是用來將 圖像進(jìn)行幀內(nèi)編碼的預(yù)測圖像。此外,第二預(yù)測圖像例如是用來將圖像進(jìn)行幀間編碼的預(yù) 測圖像。選擇部2005被從片類型設(shè)定部103通知片類型(I片、MC-P片、NoMC-P片)。如 果被通知的片類型是I片,則選擇部2005選擇幀內(nèi)預(yù)測部2004生成的預(yù)測圖像(第三預(yù) 測圖像)。此外,如果是MC-P片,則選擇部2005在幀內(nèi)預(yù)測部2004和運(yùn)動補(bǔ)償部2002生成 的預(yù)測圖像(第三預(yù)測圖像、第二預(yù)測圖像)中選擇編碼比特數(shù)小的圖像。此外,如果是NoMC-P片,則選擇部2005在幀內(nèi)預(yù)測部2004和參照圖像復(fù)制部 2003生成的預(yù)測圖像(第三預(yù)測圖像、第一預(yù)測圖像)中選擇編碼比特數(shù)少的預(yù)測圖像。 另外,如果是MC-P片,則例如也可以從第一預(yù)測圖像、第二預(yù)測圖像、第三預(yù)測圖像的3個 之中選擇。減法器2006進(jìn)行輸入圖像與選擇部2005選擇的預(yù)測圖像(選擇預(yù)測圖像)之間 的減法,輸出預(yù)測誤差(減法后圖像)。DCT/量化部2007對預(yù)測誤差(減法后圖像)進(jìn)行從時間區(qū)域向頻率區(qū)域的變換 (正交變換)及量化,將量化值分別對熵編碼部2012和逆量化/逆DCT部2008輸出。逆量化/逆DCT部2008對從DCT/量化部2007輸出的量化值進(jìn)行逆量化、以及從 頻率區(qū)域向時間區(qū)域的逆變換(逆正交變換),輸出差分圖像。加法器2009將從選擇部2005輸出的預(yù)測圖像(選擇預(yù)測圖像)與從逆量化/逆 DCT部2008輸出的差分圖像相加而生成重構(gòu)圖像。濾波部2010對從加法器2009輸出的重構(gòu)圖像加以塊失真除去的去塊濾波。參照圖像保持部2011將從濾波部2010輸出的圖像例如保持在作為參照圖像保持 部2011的至少一部分的存儲器等的存儲器中。并且,將保持的保持圖像作為參照圖像,從 運(yùn)動搜索部2001、運(yùn)動補(bǔ)償部2002及參照圖像復(fù)制部2003分別參照。另外,濾波部2010在H. 264中是需要的,而在MPEG-1、MPEG_2、MPEG_4等的圖像編 碼中不需要。熵編碼部2012將作為DCT/量化部2007的輸出的量化值通過可變長編碼或算術(shù) 編碼變換為位列,將變換后的位列輸出給打包部300。打包部300將作為熵編碼部2012的輸出的位列構(gòu)成為以規(guī)定的比特數(shù)單位分割 的包。將所構(gòu)成的包經(jīng)由網(wǎng)絡(luò)傳送給圖像解碼裝置。(方法)圖2是表示運(yùn)動圖像編碼裝置1進(jìn)行的片分割方法中的數(shù)據(jù)的圖。使用圖2說明片分割方法。圖2所示的圖片(1幀)由多個塊構(gòu)成。在構(gòu)成圖片的多個塊之中,添加了斜線的塊的區(qū)域(I片41)是I片。并且,添加了縱線的區(qū)域(NoMC-P片4 和白色區(qū)域(沒有陰 影的區(qū)域,MC-P片44)是刷新完成后的P片,添加了橫線的區(qū)域(MC-P片43)是包括因傳 送錯誤帶來的畫質(zhì)劣化的P片。另外,由I片41、NoMC-P片42、和MC-P片44構(gòu)成刷新完成區(qū)域PR4(圖5)。此 外,由MC-P片43構(gòu)成未刷新區(qū)域PR3 (圖5)。下面,對于片分割決定部,將幀的高度設(shè)定為Y塊行,將I片41的高度設(shè)定為L塊 行,將P片的高度設(shè)定為M塊行,將運(yùn)動搜索的垂直方向的搜索范圍設(shè)定為士w像素(-W像 素 +w像素)。于是,片分割決定部將能夠包括w像素的W塊行決定為NoMC-P片行。艮口, 片分割決定部確定W塊行的高度的區(qū)域,作為NoMC-P片42的區(qū)域。例如,在1塊行=16 像素的情況下,W是w/16以上的正數(shù)。除此以外的P片(白色區(qū)域的片(MC-P片44)、添加 了橫線的區(qū)域的片(MC-P片43))是MC-P片。另外,這里,片分割決定部例如也可以是圖1 的片類型設(shè)定部103(設(shè)定部103a)的至少一部分。圖2的(a)到(ρ)是以該順序按時間順序連續(xù)的多個圖片。片類型設(shè)定部103進(jìn)行片分割,以使從圖片數(shù)計數(shù)部100對片類型設(shè)定部103通 知的圖片數(shù)每增加1個、就將圖片中的I片41的位置向下移動I片41的高度量(在本實(shí) 施方式中是L行)。片類型設(shè)定部103將I片41的正上方的、添加了縱線的區(qū)域即P片決 定為 NoMC-P 片(NoMC-P 片 42)。另外,片類型設(shè)定部103如圖2的(b) (d)所示,在NoMC-P片42能夠確保高度 W塊行為止的期間(不能確保的期間),將從畫面的上端到I片41之間(的全部的區(qū)域) 決定為NoMC-P片42。此外,片類型設(shè)定部103隨著I片41的移動,將剩余的區(qū)域用P片分 割,在畫面的最上端及最下端不能確保P片的高度M塊行量時,使畫面端的P片的高度比M 塊行小。另外,比M塊行小的片例如由(e)的最上端的MC-P片44及(d)的最下端的MC-P 片43等例示。由此,圖2的(η)的片#Slc_n的塊(塊44x)的搜索范圍不包括(m)的添加了橫 線的、包括因傳送錯誤帶來的畫質(zhì)劣化的P片(MC-P片43,未刷新區(qū)域)。由此,能夠防止 錯誤傳播。這是因為,當(dāng)將#81(_11的塊(塊44x)通過解碼器解碼時,解碼后的#81(_11的 塊的圖像是解碼器通過僅參照過去刷新的區(qū)域(圖5中的刷新完成區(qū)域PR4 圖2的(m)的 I片41、NoMC-P片42、MC-P片44的區(qū)域)來生成的圖像。(動作)圖3是表示片分割及片類型判斷的動作的圖。圖4是運(yùn)動圖像編碼裝置1的流程圖。在圖3中,說明片類型設(shè)定部103、運(yùn)動搜索判斷部104的片分割及片類型判斷動 作,在圖4中,說明運(yùn)動圖像編碼裝置1的流程圖。在以下的例子中,設(shè)I片41的高度L = UMC-P片(MC-P片43,MC-P片44)的高 度M = 4、NoMC-P片42的高度W = 3而進(jìn)行說明。片分割決定部(例如,片類型設(shè)定部103)根據(jù)I片行、MC-P片行、NoMC-P片行的 大小、和畫面的高度求出1個圖片的片的分割尺寸,保持在存儲器中。并且,如果從圖片數(shù)計數(shù)部100通知的圖片數(shù)增加1,則片分割決定部將片的分割 位置和尺寸更新。具體而言,如圖3所示,片分割決定部將排列和各片的大小保存。并且,從開頭指針到末端指針之間的各個片的數(shù)字為構(gòu)成圖片的、該片的宏塊行數(shù)。此外,對于各 片,將該片的片類型建立了關(guān)聯(lián)。并且,圖片數(shù)每增加1個,就以圖3中的(a) (j)的順 序,保存在片分割決定部101中的數(shù)據(jù)的內(nèi)容轉(zhuǎn)移。另外,圖3(a) (j)分別對應(yīng)于圖2 的(a) (j)。片分割決定部如果圖片號碼增加1個,則將在開頭指針?biāo)傅奈恢玫呐帕兄斜4?的值+1,將在末端指針?biāo)傅奈恢玫呐帕兄斜4娴闹?1。片分割決定部關(guān)于開頭指針,如 果該片(開頭指針?biāo)傅钠?的高度成為該片(開頭指針?biāo)傅钠?的片類型的最大值 (MC-P片是M,NoMC-P片是W),則將指針移動1。即,將開頭指針?biāo)傅钠兏鼮楫?dāng)前所指 的片的下一個片。此外,片分割決定部關(guān)于末端指針,如果值為O (即末端指針?biāo)傅钠母叨葹?0),則將指針移動1。即,將所指的片變更為移動了 1之后的片。片分割決定部這樣一邊將開頭指針和末端指針的位置分別錯移,一邊決定片的高 度和片類型(S1001)。另外,由圖3表示的數(shù)據(jù)例如由片分割決定部存儲。首先,塊數(shù)計數(shù)部102將塊數(shù)計數(shù)器(由塊數(shù)計數(shù)部102計測的值)設(shè)為 0(S1002)。接著,片類型設(shè)定部103從圖3的排列中讀出編碼對象片的片類型和片的大小 (宏塊行數(shù))(S1003)。宏塊行數(shù)與一行(line)的宏塊數(shù)的乘積成為該片的最大塊數(shù)。根據(jù)從排列讀出的片類型,選擇部2005切換預(yù)測圖像生成方法(S1004)。S卩,變更 將哪個預(yù)測圖像選擇為選擇預(yù)測圖像。選擇部2005在編碼對象片是I片或P片的情況下,將編碼部200的幀內(nèi)預(yù)測部 2004的輸出(第三預(yù)測圖像)作為選擇預(yù)測圖像的候選(S1005)。此外,選擇部2005在編碼對象片是NoMC-P片的情況下,將參照圖像復(fù)制部2003 的輸出(第一預(yù)測圖像)作為選擇預(yù)測圖像的候選(S1006)。選擇部2005在編碼對象片是MC-P片的情況下,將由編碼部200的運(yùn)動搜索部 2001、運(yùn)動補(bǔ)償部2002生成的第二預(yù)測圖像作為選擇預(yù)測圖像的候選(S1007)。另外,也可以不管所讀出的片類型如何,都進(jìn)行確定第一預(yù)測圖像的處理、確定第 二預(yù)測圖像的處理、和確定第三預(yù)測圖像的處理全部。并且,也可以僅將3個處理中的、對 應(yīng)于類型的1或2個以上的處理的結(jié)果通過選擇部2005作為選擇預(yù)測圖像的候選,將其他 處理的結(jié)果不由選擇部2005作為候選。并且,選擇部2005更具體地講,從S1005、S1006、S1007中的預(yù)測圖像之中選擇1 個。即,從它們之中選擇1個將與編碼對象塊的誤差進(jìn)行編碼后的比特數(shù)(最)少的圖像、 或者預(yù)測將誤差進(jìn)行編碼后的比特數(shù)少的圖像、或者誤差的大小(最)小的圖像,作為選擇 預(yù)測圖像。并且,選擇部2005將其誤差(減法后圖像)用DCT/量化部2007及熵編碼部 2012 (后段部200a)進(jìn)行編碼(S1008)。塊數(shù)計數(shù)部102如果編碼部200中的塊單位的編碼完成,則將塊數(shù)增加1 (S1009)。 進(jìn)而,如果增加1后的塊數(shù)不是該片的最大塊數(shù),即在設(shè)定部103a等判斷為編碼塊不是片 的最后的塊的情況下(S1010的“否”),在S1004 S1010中,運(yùn)動圖像編碼裝置1對下一 個塊進(jìn)行編碼。如果塊數(shù)是該片的最大塊數(shù),則運(yùn)動圖像編碼裝置1進(jìn)行以下的片的編碼 (S1010 的“是”)。設(shè)定部103a等判斷是否圖片的全部片的編碼已完成(SlOll)。在判斷在圖片中有未編碼片的情況下,片分割決定部(片類型設(shè)定部103)將圖3的排列的讀出位置更新 (S1013)。接著,片類型設(shè)定部103等進(jìn)行下一個片的排列的讀出(S1003)。另一方面,當(dāng)設(shè) 定部103a等判斷為圖片的全部片的編碼已完成時(S1011的“是”),圖片數(shù)計數(shù)部100將圖 片數(shù)增加1(S1012)。接著,例如設(shè)定部103a等判斷是否全部圖片的編碼已完成(S1014)。 如果有編碼沒有完成的圖片,則運(yùn)動圖像編碼裝置1在S1001 SlOll中對下一個圖片進(jìn) 行編碼。另夕卜,實(shí)施方式的說明中的P片(MC-P片、NoMC-P片)的全部或一部分也可以不 是僅參照過去的圖像。即,全部或一部分也可以是參照過去的圖像、并且還參照未來的圖像 的片(B片)。如上所述,根據(jù)實(shí)施方式1,即使在網(wǎng)絡(luò)傳送時流消失而畫質(zhì)劣化,也能夠在將后 面接收的I片接收了 1個圖片量的時點(diǎn)、防止畫質(zhì)劣化無限地(長時間)傳播。并且,能夠 不用動態(tài)變更運(yùn)動搜索的范圍而實(shí)現(xiàn)該防止。圖5是表示編碼的對象圖片PS、參照目標(biāo)圖片PR、對象圖片PS之后的后續(xù)的圖片 PT的間的關(guān)系的圖。參照目標(biāo)圖片ra是在將編碼的對象圖片PS編碼之前由編碼部200編碼的圖片。 即,參照目標(biāo)圖片ra是對于對象圖片PS進(jìn)行參照該圖片的編碼的圖片。參照目標(biāo)圖片ra具有刷新完成區(qū)域PR4和未刷新區(qū)域冊3。刷新完成區(qū)域PR4在 I片的行進(jìn)方向(下方向)的最后部具有I片冊2。未刷新區(qū)域PR3在I片的行進(jìn)方向的 最前部具有有可能通過被參照而產(chǎn)生錯誤傳播的區(qū)域PR31。對象圖片PS具有刷新完成區(qū)域PSl和未刷新區(qū)域PS3。另外,I片PR2包含在刷 新完成區(qū)域PSl—方。另夕卜,圖5的后續(xù)的圖片PT例如是對象圖片PS的下一個圖片。并且,在編碼的對象塊不是NoMC-P片的塊(編碼對象區(qū)域PSA2的塊)的情況下, 進(jìn)行基于運(yùn)動補(bǔ)償部2002的第一預(yù)測圖像的編碼。由此,避免對刷新完成區(qū)域PSl的圖像 進(jìn)行參照未刷新區(qū)域PR3的圖像的編碼,并且能夠充分自由地選擇利用的預(yù)測圖像。由此, 防止畫質(zhì)劣化從未刷新區(qū)域冊3向刷新完成區(qū)域PSl傳播,并且將數(shù)據(jù)充分地壓縮。另一方面,在編碼的對象塊是NoMC-P片的塊(編碼對象區(qū)域PSA2的塊)的情況 下,不進(jìn)行基于運(yùn)動補(bǔ)償部2002的第二預(yù)測圖像的編碼,而僅進(jìn)行基于參照圖像復(fù)制部 2003的第一預(yù)測圖像的編碼。由此,通過基于第一預(yù)測圖像的簡單的處理進(jìn)行編碼,并且防 止畫質(zhì)劣化從未刷新區(qū)域冊3向刷新完成區(qū)域PSl傳播。由此,將數(shù)據(jù)充分地壓縮。并且,能夠同時實(shí)現(xiàn)處理的簡單化、和避免畫質(zhì)劣化從 未刷新區(qū)域冊3向刷新完成區(qū)域PSl傳播。另外,這里,如上所述,在編碼的對象塊不是NoMC-P片的塊的情況下,在不滿足上 述的比特數(shù)的條件時,也可以適當(dāng)進(jìn)行基于第一預(yù)測圖像的編碼、或基于第二預(yù)測圖像的 編碼。此外,在編碼的對象塊是NoMC-P片的塊的情況下,也可以適當(dāng)?shù)剡M(jìn)行基于第二預(yù)測 圖像的編碼。由此,能夠更充分地將數(shù)據(jù)壓縮。另外,I片PR2中的、距未刷新區(qū)域冊3的距離為預(yù)先設(shè)定的距離(例如5個像素) 以下的區(qū)域優(yōu)選為不在基于第一預(yù)測圖像的編碼中參照的重復(fù)(O D代)區(qū)域。這里,在運(yùn)動圖像編碼裝置1中,例如進(jìn)行去塊濾波器的處理及小數(shù)精度的運(yùn)動補(bǔ)償?shù)奶幚怼片PR2中的、距未刷新區(qū)域PR3的距離是預(yù)先設(shè)定的第一距離(例如兩個像素) 以下的區(qū)域是具有受基于未刷新區(qū)域PR3的像素進(jìn)行的去塊濾波器的處理的影響的像素 的區(qū)域。此外,通過在運(yùn)動圖像編碼裝置1中進(jìn)行像素的小數(shù)精度運(yùn)動補(bǔ)償(使用以比像 素小的單位檢測到的運(yùn)動矢量的運(yùn)動補(bǔ)償)的處理,距一個像素的距離是預(yù)先設(shè)定的第二 距離(例如3個像素)以下的另一像素對該一個像素帶來影響。由此,I片PR2中的、距未刷新區(qū)域PR3的距離是3+2 = 5個像素的距離(預(yù)先設(shè) 定的距離)以下的區(qū)域是具有受未刷新區(qū)域PR3的像素的影響的像素的區(qū)域。這樣的預(yù)先設(shè)定的距離(5個像素)以下的區(qū)域優(yōu)選為不在基于第一預(yù)測圖像的 編碼中參照的重復(fù)區(qū)域。即,NoMC-P片42 (圖2)的寬度在上述預(yù)先設(shè)定的距離以下的區(qū) 域(重復(fù)區(qū)域)中,優(yōu)選為足夠大到不進(jìn)行基于第一預(yù)測圖像的編碼中的參照的程度的寬 度。另外,這樣表示以下所示的運(yùn)動圖像編碼方法。該運(yùn)動圖像編碼方法是用來解決 以下的問題的運(yùn)動圖像編碼方法。即,為了使用I片防止由傳送錯誤造成的流消失所帶來 的畫質(zhì)劣化傳播,需要動態(tài)地限制運(yùn)動搜索范圍,以使得在刷新完成區(qū)域的運(yùn)動搜索中不 包括未刷新區(qū)域。即,需要根據(jù)正在編碼的位置變更搜索范圍的大小、進(jìn)行運(yùn)動搜索。因此, 有控制較復(fù)雜的問題。用于該問題的運(yùn)動圖像編碼方法是如下方法將進(jìn)行刷新的I片之 上的位置的片(NoMC-P片42)的運(yùn)動搜索停止,從而不用動態(tài)地限制運(yùn)動搜索范圍,不進(jìn)行 未刷新區(qū)域的參照而防止錯誤傳播。接著,進(jìn)一步進(jìn)行說明。但是,以下的說明是單純的一例。圖6是對應(yīng)于片的種類(片類型)的處理的流程圖。在圖4的處理中,更詳細(xì)地 講也可以進(jìn)行例如由該圖6表示的動作。選擇部2005在由片類型設(shè)定部103確定MC-P片作為片的種類時(S3001 =MC-P), 選擇基于運(yùn)動補(bǔ)償部2002的第二預(yù)測圖像(S3004C)作為選擇預(yù)測圖像(S3005C)。另外, 選擇部2005即使確定了 MC-P片,在一定的例外的情況下,也可以選擇基于參照圖像復(fù)制部 2003的第一預(yù)測圖像(S3003C)、或者選擇基于幀內(nèi)預(yù)測部2004的第三預(yù)測圖像(S3002C)。 另外,在該例外的情況下,也可以僅選擇第三預(yù)測圖像。選擇部2005在由片類型設(shè)定部103確定NoMC-P片作為片的種類時(S3001 NoMC-P),選擇第一預(yù)測圖像(S3003B) (S3005B)。另外,選擇部2005即使確定了 NoMC-P片, 在一定的例外的情況下也可以選擇第三預(yù)測圖像(S3002B)。選擇部2005在由片類型設(shè)定部103確定I片作為片的種類時(S3001 :1),選擇第 三預(yù)測圖像(S3002A) (S3005A)。并且,幀內(nèi)預(yù)測部2004進(jìn)行的處理、參照圖像復(fù)制部2003進(jìn)行的處理、和運(yùn)動搜 索部2001及運(yùn)動補(bǔ)償部2002進(jìn)行的處理的3個處理具體而言例如也可以相互并行地進(jìn)行。這里,在確定了片的種類時(S3001),也可以不論所確定的種類如何都進(jìn)行3 個處理的全部。例如在確定了 MC-P片時(S3001 :MC-P),也可以進(jìn)行3個處理的全部 (S3002C(S1005)、S3003C (S1006)、S3004C (S1007))。另一方面,在確定了 NoMC-P 片時(S3001 =NoMC-P),也可以僅進(jìn)行幀內(nèi)預(yù)測部2004的處理、和參照圖像復(fù)制部2003的處理的 兩個處理(S3002B(S1005)、S3003B(S1006)),而不進(jìn)行運(yùn)動補(bǔ)償部2002的處理(S1007)。同 樣,在確定了 I片時(S3001 :1),也可以僅進(jìn)行幀內(nèi)預(yù)測部2004的處理(S3002A(S1005)), 而不進(jìn)行其他兩個處理(S1006,S1007)。接著,進(jìn)行更詳細(xì)的說明。但是,以下的說明也是單純的一例。這樣,運(yùn)動圖像編碼裝置(運(yùn)動圖像編碼裝置1)具備片類型設(shè)定部(片類型設(shè)定 部103、設(shè)定部103a)、選擇部(選擇部2005)、和差分處理部(后段部200a)。并且,后段部 200a具備減法器2006、DCT/量化部2007、和熵編碼部2012等。另外,具體而言,片類型設(shè) 定部103等也可以分別是例如通過電路實(shí)現(xiàn)的功能的功能塊。片類型設(shè)定部決定圖片(參照目標(biāo)圖片PR、對象圖片PS、更后續(xù)的圖片PT等)中 的I片(I片PR2、I片PS2、I片PTl)的位置。片類型設(shè)定部作為多個圖片中的I片的位置 而決定相互不同的位置。差分處理部對于運(yùn)動圖像的圖片的各個塊,通過將該塊與關(guān)于該塊的選擇預(yù)測圖 像的差分進(jìn)行編碼而編碼運(yùn)動圖像。選擇部選擇選擇預(yù)測圖像,將所選擇的選擇預(yù)測圖像在差分處理部中使用。并且,具體而言,選擇部在選擇預(yù)測圖像作為選擇預(yù)測圖像時,如以下這樣選擇作 為在將編碼對象的圖片(對象圖片PS)編碼之前被編碼的參照目標(biāo)圖片(參照目標(biāo)的圖片 PR)的圖像的過去圖像。S卩,選擇部根據(jù)編碼對象的圖片中的、在后面詳細(xì)敘述的指定區(qū)域(NoMC-P片42 的區(qū)域(第一區(qū)域Rl))如以下這樣進(jìn)行選擇。這里,指定區(qū)域是對象圖片PS的刷新完成區(qū)域PSl中的、有可能參照參照目標(biāo)圖 片(參照目標(biāo)圖片PR)的未刷新區(qū)域PR3的部分的區(qū)域(NoMC-P片42的區(qū)域)。這里,刷新完成區(qū)域PSl是該圖片(對象圖片PS)以前的各圖片中的I片41(1片 PR2)的位置聚集而成的區(qū)域。此外,未刷新區(qū)域PR3是比該圖片(參照目標(biāo)的圖片PR)更 靠后的各圖片中的I片41 (I片PTl)的位置聚集而成的區(qū)域。并且,選擇部關(guān)于指定區(qū)域以外的其他區(qū)域的片的塊,選擇上述參照目標(biāo)圖片中 的該塊的位置以外的其他位置的塊(第二預(yù)測圖像)作為選擇預(yù)測圖像。另一方面,選擇 部關(guān)于指定區(qū)域的塊(NoMC-P片42的塊),在上述參照目標(biāo)圖片的各塊中,不選擇上述其他 位置的塊(第二預(yù)測圖像)。并且,選擇部關(guān)于指定區(qū)域的塊,選擇與該塊的位置相同的位 置的塊(第一預(yù)測圖像)作為選擇預(yù)測圖像。由此,通過插入I片,能夠避免一部分圖片的數(shù)據(jù)量變得非常大,并且實(shí)現(xiàn)畫質(zhì)的 提高。并且,關(guān)于指定區(qū)域,通過利用第一預(yù)測圖像,能夠防止畫質(zhì)劣化從未刷新區(qū)域冊3 向刷新完成區(qū)域PSl傳播。由此,僅僅通過利用相同的位置的第二預(yù)測圖像,防止畫質(zhì)劣化 的傳播,能夠同時實(shí)現(xiàn)傳播的防止和處理的簡單化。由此,能夠高速地進(jìn)行處理,能夠同時 實(shí)現(xiàn)傳播的防止、和能夠處理高清晰度的數(shù)據(jù)等的高解析度的數(shù)據(jù)。另外,關(guān)于其他區(qū)域的塊,也可以有例外地選擇第二預(yù)測圖像以外(例如第一預(yù) 測圖像等)的圖像的情況。同樣,關(guān)于指定區(qū)域的塊,也可以有例外地選擇第一預(yù)測圖像以 外的圖像的情況。另外,片類型設(shè)定部例如保持確定在圖片中包含的各個片的種類的數(shù)據(jù) (圖3)。并且,例如,片類型設(shè)定部將所保持的數(shù)據(jù)的內(nèi)容變更為確定為NoMC-P片42的內(nèi)容而變更上述指定區(qū)域的片的種類。并且,選擇部例如也可以基于所保持的數(shù)據(jù)的內(nèi)容進(jìn) 行上述處理。另外,這里所保持的數(shù)據(jù)的內(nèi)容也可以包括例如確定圖片的各個片的位置、范 圍、及種類的信息、和確定圖片的開頭的圖片及末端的圖片的信息。另外,運(yùn)動圖像編碼裝置1更具體地講,也可以設(shè)置于例如在第一據(jù)點(diǎn)與第二據(jù) 點(diǎn)之間傳送電視會議的運(yùn)動圖像的電視會議系統(tǒng)中。并且,運(yùn)動圖像編碼裝置1也可以將 所傳送的電視會議的運(yùn)動圖像編碼。即,例如,該運(yùn)動圖像也可以是例如電視會議中的全高 清晰度(full high definition)的運(yùn)動圖像。S卩,例如,也可以通過如上述那樣減少所傳送的數(shù)據(jù)的、各傳送單位的數(shù)據(jù)量的變 動幅度,避免傳送的延遲,避免將所傳送的運(yùn)動圖像的顯示延遲或?qū)@示中斷。由此,能夠 提高基于該運(yùn)動圖像的電視會議的臨場感。這樣,例如也可以進(jìn)行對應(yīng)于第一區(qū)域Rl (圖5)、第二區(qū)域R2的處理。另外,以下 的處理是單純的一例。此外,以下的處理也可以僅在某個場合下進(jìn)行。S卩,在多個圖片中的各個圖片(例如,圖2的(a) (ρ)的圖片)中,也可以在該 圖片(例如(d))之前的圖片((c))中設(shè)定的I片41的位置的下一個位置通過設(shè)定部103a 設(shè)定該圖片((d))的I片41。這里,例如下一個位置是在比之前的圖片中的位置更靠I片41的行進(jìn)方向的一側(cè) (圖2的下側(cè)),與之前的圖片的I片41的位置相鄰的位置。S卩,也可以通過設(shè)定部103a將設(shè)定I片41的位置按照圖片向其行進(jìn)方向的方向 移動。并且,也可以將編碼的對象圖片PS (圖5)的塊(MC-P片43、44的塊)利用參照目 標(biāo)圖片ra中的、該塊的搜索范圍(搜索范圍SA)內(nèi)的預(yù)測圖像(第二預(yù)測圖像)由第二幀 間編碼部192編碼。具體而言,在編碼時,也可以生成進(jìn)行編碼的塊與預(yù)測圖像之間的差分,并將所生 成的差分進(jìn)行編碼,從而將該塊進(jìn)行編碼。并且,更具體地講,預(yù)測圖像也可以是例如參照目標(biāo)圖片ra中的、從搜索范圍中 搜索到的位置上的第二預(yù)測圖像。另外,第二幀間編碼部192例如也可以是后段部200a的功能的一部分或全部。并且,第二區(qū)域R2(圖5)的塊中的搜索范圍(參照圖25的搜索范圍SX2)也可 以不具有與未刷新區(qū)域PR3的重疊。另一方面,第一區(qū)域Rl的塊中的搜索范圍(參照圖25 的搜索范圍SXl)也可以具有與未刷新區(qū)域PR3的重疊。因此,即使在第二區(qū)域R2的塊的編碼中利用第二預(yù)測圖像,也不會發(fā)生劣化的傳 遞。另一方面,在第一區(qū)域Rl的塊的編碼中,如果利用第二預(yù)測圖像,則會發(fā)生劣化的傳 遞。這里,關(guān)于第一區(qū)域Rl的塊(塊B1、B2)的(基于參照圖像復(fù)制部2003的)第一 預(yù)測圖像是參照目標(biāo)圖片冊中的與該塊的位置相同的位置的圖像。并且,第一區(qū)域Rl的位置在對象圖片PS中的刷新完成區(qū)域PSl內(nèi)。因此,參照目 標(biāo)圖片ra中的與第一區(qū)域Rl的位置相同的位置在刷新完成區(qū)域PR4內(nèi)。S卩,關(guān)于區(qū)域Rl的位置的塊的第一預(yù)測圖像的位置在對象圖片PS中的刷新完成 區(qū)域PSl內(nèi)。
所以,也可以僅在第二區(qū)域R2的塊的編碼中利用第二預(yù)測圖像(第二幀間編碼部 192),在第一區(qū)域Rl的塊的編碼中利用第一預(yù)測圖像(第一幀間編碼部191)。換言之,也可以通過第二幀間編碼部192僅對第二區(qū)域R2的塊進(jìn)行利用第二預(yù)測 圖像的編碼,而對第一區(qū)域Rl的塊不進(jìn)行。并且,也可以通過第一幀間編碼部191對第二 區(qū)域R2的塊不進(jìn)行利用第一預(yù)測圖像的編碼,而僅對第一區(qū)域Rl的塊進(jìn)行。由此,在第一區(qū)域Rl的塊的編碼中,能夠利用參照目標(biāo)圖片ra中的、刷新完成區(qū) 域PR4中的預(yù)測圖像(第一預(yù)測圖像),使得不發(fā)生劣化的傳遞。并且,在第一區(qū)域Rl中的任一個塊(塊Bi、B2 圖5)的編碼的處理中,都利用第
一預(yù)測圖像,不進(jìn)行相互差異較大的處理。由此,例如作為進(jìn)行這些塊的編碼的處理的電路(硬件),不需要復(fù)雜的電路,能 夠使利用的電路變得簡單,能夠使結(jié)構(gòu)變得簡單、或使處理變快。另外,在以往例中,在第一區(qū)域Rl的兩個塊(塊B1、B2 參照圖26)的編碼的處理 中,進(jìn)行相互不同的兩個搜索范圍中的處理,搜索范圍會動態(tài)地變更(上面已敘述)。因此, 在以往例中,需要復(fù)雜的電路等,結(jié)構(gòu)變得復(fù)雜或處理變慢。另外,如上所述,也可以通過設(shè)定部103a在第一區(qū)域Rl中設(shè)定NoMC-P片42。并 且,也可以將所設(shè)定的NoMC-P片42以外的其他P片(MC-P片43x)利用第二預(yù)測圖像編碼, 將所設(shè)定的NoMC-P片42利用第一預(yù)測圖像編碼。(實(shí)施方式2)(結(jié)構(gòu))圖7是表示本發(fā)明的實(shí)施方式2的運(yùn)動圖像編碼裝置IA的結(jié)構(gòu)的模塊圖。在以 下的說明中,關(guān)于與實(shí)施方式1的運(yùn)動圖像編碼裝置1的結(jié)構(gòu)相同的結(jié)構(gòu)適當(dāng)省略說明。片插入次數(shù)設(shè)定部105(例如選擇部105x(圖28)的一部分)在發(fā)生了傳送錯 誤的情況下,在運(yùn)動圖像編碼裝置IA中決定用來進(jìn)行用于防止畫質(zhì)劣化傳播的畫面刷新 的、I片的由運(yùn)動圖像編碼裝置IA進(jìn)行插入的插入次數(shù)。并且,片插入次數(shù)設(shè)定部105將 所決定的插入次數(shù)分別通知給片類型設(shè)定部103和運(yùn)動搜索判斷部104。插入次數(shù)的決 定由片插入次數(shù)設(shè)定部105基于編碼結(jié)果的發(fā)送方法(圖10的S2001)、發(fā)送的網(wǎng)絡(luò)的比 特率(S2002)、在接收側(cè)發(fā)生了傳送錯誤的通知的有無(S2003)等來進(jìn)行。具體而言,在 該決定的處理中,選擇將I片重復(fù)插入無限次數(shù)(圖10的S2005A)、還是僅插入規(guī)定次數(shù) (S2005B),在僅插入規(guī)定次數(shù)的情況下相應(yīng)地指定插入次數(shù)。另外,如在后面詳細(xì)說明,在 該處理中,也可以在一定的情況下(S2004 :N0),將插入次數(shù)指定為0次而選擇不進(jìn)行插入。圖8是表示I片插入次數(shù)不同的例子的圖。圖8的(a)表示插入無限次數(shù)的情況, (b)表示僅插入1次I片的情況。圖9是表示運(yùn)動圖像編碼裝置IA進(jìn)行的、對應(yīng)于插入次數(shù)的處理的流程圖。運(yùn)動搜索判斷部104根據(jù)從片插入次數(shù)設(shè)定部105通知的插入方法及插入次數(shù), 如果插入方法是無限次數(shù)插入的情況、或者插入方法是規(guī)定次數(shù)的插入但該插入為插入次 數(shù)是規(guī)定次數(shù)以上的插入的情況中的某一個情況(圖8的S41 是,S41a),則進(jìn)行以下的處 理。即,所進(jìn)行的處理為將I片的正上方的片設(shè)為MC-P片的(圖9的S4000:是,S4001)的 處理。并且,如果插入方法是規(guī)定次數(shù)的插入、并且插入次數(shù)小于規(guī)定次數(shù)(閾值的次數(shù)) (S41 否,S41b),則運(yùn)動搜索判斷部104將I片的正上方的片決定為NoMC-P片(圖9的S4000 否,S4002)。此外,運(yùn)動搜索判斷部104在從片插入次數(shù)設(shè)定部105通知的循環(huán)方法 是有限次數(shù)插入的情況下(圖10的S2005C),每當(dāng)圖片的最下位置的片成為I片時,使所保 持的循環(huán)次數(shù)減少1,如果所保持的循環(huán)次數(shù)成為0,則將全部的片設(shè)為MC-P片。另外,I片的插入次數(shù)的判斷的規(guī)定值(規(guī)定次數(shù))例如也可以是取決于圖片的 大小(垂直行數(shù))的固定值。(動作)如果不進(jìn)行運(yùn)動搜索而進(jìn)行幀間編碼,則與進(jìn)行運(yùn)動搜索而進(jìn)行幀間編碼的情況 相比,編碼后的數(shù)據(jù)的比特數(shù)增加。這是因為,所謂運(yùn)動搜索是以使編碼對象圖像與預(yù)測圖 像之間的差分值的大小變小的方式進(jìn)行搜索的。即,是因為不進(jìn)行運(yùn)動搜索相當(dāng)于與進(jìn)行 運(yùn)動搜索的情況的幀間編碼相比對大小較大的差分值進(jìn)行編碼。另一方面,如果進(jìn)行伴隨著運(yùn)動搜索的幀間編碼,則不能保證通過由I片的插入 帶來的刷新將網(wǎng)絡(luò)中的包消失帶來的畫質(zhì)劣化的傳播停止。但是,在頻繁地實(shí)施基于I片 的插入的刷新的情況下(圖8的S41 是,圖9的S4000 是),即使使用MC-P片進(jìn)行編碼, 至少發(fā)生1次僅根據(jù)刷新完成區(qū)域(圖5的刷新完成區(qū)域PR4)進(jìn)行預(yù)測的可能性較高。 即使是1次,也只要根據(jù)刷新完成區(qū)域進(jìn)行預(yù)測,錯誤傳播就停止,所以在頻繁地實(shí)施基于 I片的插入的刷新的情況下(圖8的S41 是,圖9的S4000 是),優(yōu)選的是不使用NoMC-P 片而僅使用MC-P片來減少編碼的比特數(shù)(圖9的S4001)。所以,在實(shí)施方式2的運(yùn)動圖像編碼裝置IA中,在基于I片的插入進(jìn)行的刷新的 頻度是規(guī)定值以上(包括無限次)的情況下(圖9的S4000:是),將P片都設(shè)為MC-P片
(54001),在小于規(guī)定值的情況下(S4000否),如實(shí)施方式1那樣并用NoMC-P片和MC-P片
(54002)。這樣,在本運(yùn)動圖像編碼裝置中,在將I幀的插入進(jìn)行無限次(周期性地插入)的 情況下(S4000 是),進(jìn)行S4001的處理。此外,在發(fā)生了包消失的情況下等,雖然將插入 進(jìn)行預(yù)先設(shè)定的次數(shù),但在該次數(shù)較多時(在周期性的效果較大時)也進(jìn)行S4001的處理。 另一方面,在將插入進(jìn)行預(yù)先設(shè)定的次數(shù)(僅僅限于非周期性地進(jìn)行插入,周期性的效果 較小)時(S4000:否),進(jìn)行S4002的處理。即,即使發(fā)生從未刷新區(qū)域冊3向刷新完成區(qū) 域PSl的畫質(zhì)劣化的傳播,在對象圖片PS之后的圖片中插入了許多I片的情況下(S4000 是),該傳播的影響僅持續(xù)較短的時間。所以,在此情況下,不進(jìn)行NoMC-P片的利用,而利用 第二預(yù)測圖像,數(shù)據(jù)被壓縮得更小。另一方面,在所插入的I片較少的情況下(S400:否), 傳播的影響較長地持續(xù)。所以,進(jìn)行NoMC-P片的利用而防止傳播。由此,能夠同時實(shí)現(xiàn)由 傳播帶來的畫質(zhì)劣化的抑制和較小的數(shù)據(jù)量。即,在較多的情況下進(jìn)行插入,在較少的情況 下不進(jìn)行插入,相應(yīng)于是否插入I片來變更所進(jìn)行的處理。這樣,也可以進(jìn)行如下的處理,該處理依賴于發(fā)送對圖片進(jìn)行編碼后的數(shù)據(jù)的網(wǎng) 絡(luò)的帶寬、從接收到所發(fā)送的數(shù)據(jù)的接收側(cè)向進(jìn)行編碼的編碼裝置的、在上述接收側(cè)發(fā)生 了解碼錯誤的情況的通知的有無,以及對其他接收機(jī)一次進(jìn)行分發(fā)的發(fā)送方法。也可以依 賴于這些,在從反復(fù)插入I片的第一插入方法、和僅插入規(guī)定次數(shù)(規(guī)定的次數(shù))的第二插 入方法中選擇插入I片的插入方法。并且,本運(yùn)動圖像編碼方法包括設(shè)定這樣選擇的插入 方法的設(shè)定步驟,在第三編碼步驟中,在所設(shè)定的插入方法是上述第一插入方法的情況下, 也可以進(jìn)行上述幀間編碼。并且,在第4編碼步驟中,也可以在所設(shè)定的插入方法是上述第二插入方法的情況下進(jìn)行上述幀間編碼。另外,例如更詳細(xì)地講,在第三編碼步驟中,也可以在所設(shè)定的插入方法是上述第 二插入方法的情況中的預(yù)先設(shè)定的情況下(插入次數(shù)是規(guī)定數(shù)以上的次數(shù)的情況下)也進(jìn) 行處理。并且,在第4編碼步驟中,也可以僅在所設(shè)定的插入方法是上述第二插入方法的情 況中的、不是上述預(yù)先設(shè)定的情況的情況下(插入次數(shù)小于規(guī)定數(shù)的情況下)進(jìn)行處理。圖10是片插入次數(shù)設(shè)定部105的流程圖。使用圖3的片類型設(shè)定部103的動作說明圖、圖4的運(yùn)動圖像編碼裝置(運(yùn)動圖 像編碼裝置1A)的流程圖、圖10的片插入次數(shù)設(shè)定部105的流程圖進(jìn)行說明。片插入次數(shù)設(shè)定部105如圖10所示,在下述情況下決定為將I片插入無限次數(shù) (S2005A,圖9的S4000 是,圖8的S41 是)。片插入次數(shù)設(shè)定部105將該決定通知給片類 型設(shè)定部103和運(yùn)動搜索判斷部104。(1)對許多(比預(yù)先設(shè)定的個數(shù)多)圖像解碼裝置一齊進(jìn)行分發(fā)(S2001的分發(fā)), 難以實(shí)現(xiàn)從各個圖像解碼裝置接收到包消失信息的刷新動作的情況(S2001的“是”)。(2)如果發(fā)送的網(wǎng)絡(luò)的比特率較低、頻繁地插入壓縮率較低(比特率較高)的I 片(插入并進(jìn)行錯誤控制)、則由網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)的數(shù)據(jù)量較大、畫質(zhì)劣化較顯著的情況 (S2002 的“否”)。(3)運(yùn)動圖像編碼裝置IA與不能將在通信路徑中發(fā)生包消失的情況通知給運(yùn)動 圖像編碼裝置IA的圖像解碼裝置連接的情況(S2003的“否”)。此外,在與能夠通知包消失的圖像解碼裝置連接、在傳送網(wǎng)絡(luò)中發(fā)生了包消失的 情況下(S2004的“是”),片插入次數(shù)設(shè)定部105將I片的插入決定為有限次數(shù)(在本實(shí)施 方式中設(shè)為1進(jìn)行說明)(S2005C)。片插入次數(shù)設(shè)定部105將該決定通知給運(yùn)動搜索判斷 部104。在網(wǎng)絡(luò)中沒有包消失的情況下,片插入次數(shù)設(shè)定部105不將I片的插入通知給運(yùn)動 搜索判斷部104(S2004的“否”)。另外,在網(wǎng)絡(luò)是NGN(Next Generation Network 下一代 網(wǎng)絡(luò))的情況下,由網(wǎng)絡(luò)的提供者保證沒有包消失。片插入次數(shù)設(shè)定部105在網(wǎng)絡(luò)是NGN 的情況下也可以進(jìn)行S2005B的處理。以上,根據(jù)實(shí)施方式2,運(yùn)動圖像編碼裝置IA決定I片的插入頻度。即,根據(jù)進(jìn)行 分發(fā)的圖像解碼裝置的數(shù)量(S2001)、比特率(S2002)、有無所連接的圖像解碼裝置的流、 包的消失的通知可否(S2003)、網(wǎng)絡(luò)中的包消失有無的狀態(tài)(S2004)進(jìn)行決定。由此,變更 I片的插入的方式,構(gòu)成進(jìn)行考慮了壓縮率的劣化的編碼的運(yùn)動圖像編碼裝置1A。(實(shí)施方式3)實(shí)施方式3的運(yùn)動圖像編碼方法是如下的運(yùn)動圖像編碼方法在上述第一編碼步 驟中,將在上述第一區(qū)域(圖19的第一 Rl)中包含的多個上述第一 P片(NoMC-P片42Aa、 42Ab) (NoMC-P片42A)分別不使用運(yùn)動矢量而進(jìn)行幀間編碼,所包含的多個上述第一 P片 (NoMC-P片42Aa、42Ab)中的、上述第一 P片的大小的最大值(例如NoMC-P片42Aa的大小) 比上述第二 P片(圖19的MC-P片43、44)的大小的最大值(圖19的MC-P片43的大小) 小。這里,上述第一 P片(NoMC-P片42A)的大小的上述最大值(例如NoMC-P片42Aa 的大小)也可以是包括具有該最大值的大小的上述第一 P片(NoMC-P片42Aa、42Ab)在內(nèi) 的上述圖片(圖19的圖片PS)中的上述I片(圖19的I片41)的大小以上。
圖11 圖13是用來說明實(shí)施方式3的圖。另外,實(shí)施方式的運(yùn)動圖像編碼裝置例如也可以具有與圖1的結(jié)構(gòu)同樣的結(jié)構(gòu)。 并且,例如既可以進(jìn)行與圖4的流程圖的處理同樣的處理,也可以進(jìn)行與圖6的處理同樣的處理。如上所述,也可以利用運(yùn)動搜索將輸入圖像信號與相關(guān)性最高的像素位置之間的 差分值編碼。與這樣的使用運(yùn)動搜索編碼的情況相比,在沒有運(yùn)動搜索而進(jìn)行編碼的情況 下,差分值的大小變大。并且,由于差分值的大小變大,所以在編碼中需要的比特數(shù)變多。這 意味著無運(yùn)動搜索的范圍(NoMC-P片)的片的編碼比特數(shù)變多。并且,比特數(shù)較大的片容易消失。即,通過使片的編碼比特數(shù)的大小為一定值(通 過使比特數(shù)的變動幅度(離差)變小),能夠減小網(wǎng)絡(luò)傳送中的、消失的頻度。進(jìn)而,在根據(jù) 網(wǎng)絡(luò)的容量以一定的比特率向網(wǎng)絡(luò)進(jìn)行傳送的情況下,如果片的編碼比特數(shù)的大小一定, 則只要以一定的時間間隔將片的流傳送就可以,所以網(wǎng)絡(luò)控制也變得簡單。所以,將編碼比特數(shù)變多的片即無運(yùn)動搜索時的片(NoMC-P片)的大小(塊數(shù))設(shè) 為比使用運(yùn)動搜索時的片(MC-P片)的大小(塊數(shù))小。由此,優(yōu)選使片的編碼比特數(shù)一 定。并且,在應(yīng)設(shè)為無運(yùn)動搜索的范圍(第一區(qū)域Rl)比無運(yùn)動搜索的片(NoMC-P片)的 大小大的情況下,通過將無運(yùn)動搜索的片的個數(shù)設(shè)為多個,實(shí)現(xiàn)所需要的大小的、應(yīng)設(shè)為無 運(yùn)動搜索的范圍(第一區(qū)域Rl)。S卩,例如也可以進(jìn)行以下的動作。通過圖13表示編碼對象區(qū)域PSA2。通過圖11表示多個NoMC-P片42A。編碼對象區(qū)域PSA2由第一編碼對象區(qū)域PSAa和第二編碼對象區(qū)域PSA2b (2以上 的部分)構(gòu)成。第一編碼對象區(qū)域PSAa是設(shè)定第一 NoMC-P片42Aa(圖11、圖19)的區(qū)域。第二編碼對象區(qū)域PSAb是設(shè)定第二 NoMC-P片42Ab (圖11、圖19)的區(qū)域。這里,將NoMC-P片(NoMC-P片42、42A)不利用第二預(yù)測圖像而進(jìn)行編碼。因此, 編碼了 NoMC-P片42的、編碼后的數(shù)據(jù)的數(shù)據(jù)量較大。即,例如可以想到這樣的較大的數(shù)據(jù) 量是將NoMC-P片42以外的其他片(例如MC-P片)利用第二預(yù)測圖像來編碼的、編碼后的 數(shù)據(jù)的數(shù)據(jù)量的10倍的數(shù)據(jù)量等。這里,在許多情況下,1個片是1個傳送單位。因此,有可能NoMC-P片42的傳送單位的數(shù)據(jù)量成為10倍的數(shù)據(jù)量等較大的數(shù)據(jù) 量、每傳送單位的數(shù)據(jù)量的變動幅度變大。S卩,在這樣每傳送單位的變動幅度變大的情況下,例如可以想到在進(jìn)行傳送的網(wǎng) 絡(luò)中容易發(fā)生數(shù)據(jù)的丟失等。所以,如圖11所示,也可以通過片類型設(shè)定部103將各個NoMC-P片42A為較小的 尺寸的多個NoMC-P片42A設(shè)定到第一區(qū)域Rl中(SlOOl)。另外,這樣的較小的尺寸例如也可以是實(shí)施方式1的、圖2的NoMC-P片42的尺寸 的約1/2等。由此,抑制了每傳送單位的數(shù)據(jù)量的變動幅度變大,能夠更適當(dāng)?shù)貍魉?。并且,具體而言,例如也可以使用圖12的數(shù)據(jù)構(gòu)造。S卩,例如也可以將第一NoMC-P片42Aa的高度((a) (j)的各自的第一行的數(shù)據(jù))、和第二 NoMC-P片42Ab的高度(第二 行的數(shù)據(jù))分別存儲。并且,也可以對第一 NoMC-P片42Aa和第二 NoMC-P片42Ab的兩個NoMC-P片42A 分別判斷該 NoMC-P 片 42A 的種類是 NoMC-P (S3001 =NoMC-P, S1004 =NoMC-P)。并且,由此,也可以對各個NoMC-P片42A進(jìn)行S3002B S3005B (S1006)的處理。(實(shí)施方式4)實(shí)施方式4的運(yùn)動圖像編碼方法是如下的運(yùn)動圖像編碼方法將第一時刻(例如 圖17的⑴時刻)的包括I片和P片的第一上述圖片(圖17的⑴的圖片)、和比上述第 一時刻靠后的第二時刻((k)時刻)的包括I片和P片的第二上述圖片(圖17的(k)的圖 片)分別進(jìn)行編碼,進(jìn)而,將上述第一時刻與上述第二時刻之間的中間的時刻((j)時刻) 的不包括I片的第三圖片(圖17的(j))進(jìn)行編碼。這里,例如在該運(yùn)動圖像編碼方法中,也可以是,上述第三圖片(圖17的(j))包 括由上述第一圖片(圖17的(i))中的上述第一區(qū)域(圖17(i)的NoMC-P片42的區(qū)域, 第一區(qū)域Rl)、和上述I片(圖17的(i)的I片冊2)的區(qū)域兩者構(gòu)成的區(qū)域R3,在上述第 一編碼步驟(第一幀間編碼部191,Sal)中,將上述第三圖片(圖17的(j))的該區(qū)域R3 中的第一 P片(NoMC-P片)42M不使用運(yùn)動矢量進(jìn)行幀間編碼,在上述第二編碼步驟(第二 幀間編碼部192,Sa2)中,將上述第三圖片((j)的圖片)中的、該區(qū)域R3以外的其他區(qū)域 的第二 P片PMx使用運(yùn)動矢量進(jìn)行幀間編碼。此外,在該運(yùn)動圖像編碼方法中,也可以是,上述第三圖片(圖18的(j))包括與 上述第二圖片(圖18的(k))中的上述第一區(qū)域(I片41的區(qū)域)相同的區(qū)域(圖18的 區(qū)域R3),在上述第一編碼步驟中,將上述第三圖片(圖18的(j))的該相同的區(qū)域R3中的 第一 P片(NoMC-P片)42N不使用運(yùn)動矢量而進(jìn)行幀間編碼,在上述第二編碼步驟中,將上 述第三圖片(圖18的(j))的、該相同的區(qū)域R3以外的其他區(qū)域的第二 P片PNx使用運(yùn)動 矢量進(jìn)行幀間編碼。此外,在該運(yùn)動圖像編碼方法中,也可以是,在上述第一編碼步驟中,將在上述第 三圖片(圖20的(j))中包含的上述區(qū)域R3的多個上述第一 P片(NoMC-P片)42B分別不 使用運(yùn)動矢量而進(jìn)行幀間編碼,在上述第三圖片(圖20的(j))中包含的多個上述第一 P 片42B中的上述第一 P片42B的大小的最大值比在該第三圖片(圖20的(j))中包含的上 述第二 P片PMx的大小的最大值小。此外,在該運(yùn)動圖像編碼方法中,也可以是,在上述第一編碼步驟中,將在上述第 三圖片(圖21的(j))中包含的上述區(qū)域R3的多個上述第一 P片(NoMC-P片)42C分別不 使用運(yùn)動矢量而進(jìn)行幀間編碼,在上述第三圖片(圖21的(j))中包含的多個上述第一 P 片42C中的上述第一 P片42C的大小的最大值比在該第三圖片(圖21的(j))中包含的上 述第二 P片PNx的大小的最大值小。以下,詳細(xì)地進(jìn)行說明。圖17是表示NoMC-P片42M等的圖。具體而言,例如,如圖17所示,也可以有不設(shè)定I片的圖片PM。圖片PM例如是中間的時刻的圖片。所謂中間的時刻,是設(shè)定I片PR2的圖片I3R(圖 17的(i))的較早的時刻與設(shè)定I片PS2的圖片PS(圖17的(k))的較遲的時刻之間的中間的時刻。具體而言,中間的時刻的圖片PM是圖片ra的緊后的圖片,并且是圖片PS的緊 前的圖片等。g卩,圖片ra也可以是圖片PM之前的圖片,圖片PS也可以是下一個圖片。另外,較早的時刻的圖片ra例如也可以是中間的圖片PM被處理時的、過去被設(shè)定 了 I片的各圖片中的最新的、最遲的時刻的圖片。并且,對于中間的時刻的圖片PM,也可以通過設(shè)定部103a設(shè)定NoMC-P片42M(步 驟 SaOb)。所設(shè)定的NoMC-P片42M例如如圖17所示,是由較早的時刻的圖片I3R中的NoMC-P 片42的區(qū)域和I片PR2的區(qū)域兩者構(gòu)成的區(qū)域R3的片。由此,也可以將從較早的時刻的圖片I3R的未刷新區(qū)域(I片冊2、NoMC-P片42及 MC-P片44的區(qū)域)向中間的時刻的圖片PM的刷新完成區(qū)域(NoMC-P片42M及MC-P片44 的區(qū)域)的劣化的傳遞消除。并且,這樣,通過消除中間的時刻的圖片PM的刷新完成區(qū)域中的劣化,能夠可靠 地避免發(fā)生從中間的時刻的圖片PM中的刷新完成區(qū)域向較遲的時刻的圖片PS的刷新完成 區(qū)域(參照圖5等)的劣化的傳遞。由此,能夠可靠地消除向較遲的時刻的圖片PS的刷新 完成區(qū)域傳遞的劣化。并且,更具體地講,例如如圖17所示,較早的時刻的圖片ra也可以除了 NoMC-P片 42和I片PR2以外,還由設(shè)定部103a設(shè)定1個以上的MC-P片PRx(MC_P片44、43)。并且,在中間的時刻的圖片PM中,如圖17所示,也可以在與各個MC-P片PRx的位 置相同的位置上設(shè)定與該MC-P片PRx的寬度相同的寬度的MC-P片PMx。S卩,也可以對中間 的時刻的圖片PM設(shè)定與各個MC-P片PRx的區(qū)域相同的區(qū)域的MC-P片PMx。S卩,在中間的時刻的圖片PM中,關(guān)于NoMC-P片42M的區(qū)域以外的其他區(qū)域,也可 以由設(shè)定部103a設(shè)定與較早的時刻的圖片PR中的片的分割相同的片的分割。這樣,中間的時刻的圖片PM中的片的分割也可以是與較早的時刻的圖片I3R中的 片的分割對應(yīng)(類似)的分割。由此,能夠使片的分割的處理變得簡單。另外,中間的時刻的圖片PM(圖17)也可以有多個。即,也可以關(guān)于圖片I3R的較早 的時刻和圖片PS的較遲的時刻之間的、兩個以上的時刻分別具有該時刻的中間的圖片PM。 并且也可以對各個中間的圖片PM進(jìn)行與上述處理同樣的處理。另外,這樣,例如中間的時刻的圖片PM中的、設(shè)定NoMC-P片42M的區(qū)域R3也可以 由中間的時刻的圖片PM的緊前的、設(shè)定有I片(I片PS2)的圖片ra中的I片的區(qū)域、和 NoMC-P片42的區(qū)域構(gòu)成。圖18是表示NoMC-P片42N等的圖。另一方面,如圖18所示,在中間的時刻的圖片PN中,也可以設(shè)定NoMC-P片42N。所設(shè)定的NoMC-P片42N是與較遲的時刻的圖片PS中的NoMC-P片42的區(qū)域相同 的區(qū)域中的片。并且,在中間的時刻的圖片PN中,也可以設(shè)定具有與較遲的時刻的圖片PS中的I 片41的區(qū)域相同的區(qū)域的MC-P片PNy。另外,這樣,例如該相同的區(qū)域也可以被設(shè)定通常的MC-P片(MC-P片PNy)。并且,在中間的時刻的圖片PN中,也可以設(shè)定具有與較遲的時刻的圖片PS中的各個MC-P片PSx的區(qū)域相同的區(qū)域的MC-P片PNx。即,這樣,中間的時刻的圖片PN中的片的分割對于MC-P片PNy的區(qū)域(較遲的時 刻的圖片PS中的I片41的區(qū)域)以外的其他區(qū)域,也可以與較遲的時刻的圖片PS中的分 割相同。并且,這樣,對于MC-P片PNy的區(qū)域,也可以僅片的種類(MC-P片,I片)不同。這樣,中間的時刻的圖片PN中的片的分割也可以是與較遲的時刻的圖片PS中的 分割對應(yīng)(類似)的分割。由此,能夠使片的分割的處理變得簡單。并且,圖18的NoMC-P片42N比圖17中的NoMC-P片42M小。即,例如圖18的 NoMC-P片42N也可以比圖17的NoMC-P片42M小相當(dāng)于I片從較早的時刻的圖片I3R中的 I片41的位置向較遲的時刻的圖片PS中的I片PS2中的位置移動的寬度的量。并且,在NoMC-P片42N的塊的編碼中,不利用第一預(yù)測圖像,編碼后的數(shù)據(jù)的數(shù)據(jù)
量變得較大。即,通過這樣使NoMC-P片42N變得較小,減小編碼后的數(shù)據(jù)量變大的片,能夠提高 編碼效率。圖20是表示中間的時刻的圖片PMB等的圖。在中間的時刻的圖片PMB中,與上述圖17中的例子同樣,進(jìn)行與較早的時刻的圖 片PR中的分割對應(yīng)的分割。并且,與圖11等中的例子等同樣,設(shè)定多個NoMC-P片42B。由此,能夠使設(shè)定的各個NoMC-P片42B的尺寸變小。由此,也與圖11中的例子等 同樣,能夠更適當(dāng)?shù)貍魉?。另外,在多個NoMC-P片42B中包含的NoMC-P片42B的個數(shù)例如可以是2個,也可 以是3個,也可以是其他個數(shù)。圖21是表示中間的時刻的圖片PMC等的圖。在中間的時刻的圖片PMC中,與上述圖18中的例子同樣,進(jìn)行與較遲的時刻的圖 片PS中的分割對應(yīng)的分割。并且,與圖11等中的例子等同樣,設(shè)定多個NoMC-P片42C。由此,能夠更適當(dāng)?shù)剡M(jìn)行傳送。另外,在多個NoMC-P片42B中包含的NoMC-P片42B的個數(shù)可以是2個,也可以是 3個,也可以是其他個數(shù)。另外,如圖19中說明那樣,也可以如以下這樣。即,在NoMC-P片的編碼中,不進(jìn)行運(yùn)動補(bǔ)償,編碼后的比特數(shù)有可能變得比與進(jìn) 行編碼的該NoMC-P片的塊數(shù)相同的塊數(shù)的其他片的編碼中的編碼后的比特數(shù)大。所以,也可以將NoMC-P片(NoMC-P片42A)的塊數(shù)設(shè)為比通常的P片(MC-P片43) 中的塊數(shù)小的塊數(shù)。由此,能夠避免NoMC-P片的編碼后的比特數(shù)變得特別大的情況。并且, 由此還能夠使得傳送編碼后的數(shù)據(jù)的傳送路中的包丟失不易發(fā)生。另外,這里,例如在標(biāo)準(zhǔn)的傳送規(guī)格中,一個片是一個傳送單位(也可以是1個 包)。并且,如果一個傳送單位的大小超過一定的大小,則容易發(fā)生包丟失。即,如上所述,也可以通過減少NoMC-P片42A的塊數(shù),避免(減少)例如一個傳送單位的大小超過該一定的大小的情況,由此能夠使得包丟失不易發(fā)生。(實(shí)施方式5)在本發(fā)明的實(shí)施方式5中,將用來實(shí)現(xiàn)在上述實(shí)施方式1 4中所示的運(yùn)動圖像 編碼裝置(運(yùn)動圖像編碼裝置1、運(yùn)動圖像編碼裝置1A)的程序記錄到軟磁盤等的記錄介 質(zhì)。并且,由此在獨(dú)立的計算機(jī)系統(tǒng)中實(shí)施在上述實(shí)施方式1 4中所示的處理。對進(jìn)行 這樣的實(shí)施的例子進(jìn)行說明。圖14 圖16是將上述各實(shí)施方式的運(yùn)動圖像編碼裝置,由計算機(jī)系統(tǒng)使用記錄 在軟磁盤等的記錄介質(zhì)中的程序來實(shí)施的情況下的說明圖。圖14是表示作為記錄介質(zhì)主體的軟磁盤(參照圖15)的盤FD的物理格式的例子 的圖。圖15是表示從正面觀察軟磁盤的外觀(左圖)、軟磁盤的截面構(gòu)造(中間圖)、以 及盤FD的圖(右圖)。軟磁盤具備殼體F、和內(nèi)置在殼體F內(nèi)的盤FD。在盤FD的表面上,以同心圓狀從外 周朝向內(nèi)周形成有多個磁道(tradOTr。各磁道Tr在角度方向上被分割為16個扇區(qū)Se。 因而,在盤FD上分配的區(qū)域中記錄著上述程序。此外,圖16是表示計算機(jī)系統(tǒng)Cs的結(jié)構(gòu)的圖,該計算機(jī)系統(tǒng)Cs進(jìn)行向軟磁盤的 上述程序的記錄、以及從軟磁盤的上述程序的讀出及再現(xiàn)。例如,在將實(shí)現(xiàn)運(yùn)動圖像編碼裝 置的上述程序記錄到軟磁盤中的情況下,計算機(jī)系統(tǒng)Cs將上述程序經(jīng)由軟磁盤驅(qū)動器FDD 寫入到軟磁盤(的盤FD)中。此外,也可以由計算機(jī)系統(tǒng)Cs執(zhí)行軟磁盤內(nèi)的程序。并且,由此,在將運(yùn)動圖像編 碼裝置的功能構(gòu)建在計算機(jī)系統(tǒng)Cs中的情況下,通過軟磁盤驅(qū)動器FDD將程序從軟磁盤讀 出,將讀出后的程序從軟磁盤驅(qū)動器FDD轉(zhuǎn)送給計算機(jī)系統(tǒng)Cs。計算機(jī)系統(tǒng)Cs通過執(zhí)行轉(zhuǎn) 送來的程序,實(shí)現(xiàn)上述運(yùn)動圖像編碼裝置的功能。另外,在上述說明中,作為記錄介質(zhì),以盤(軟磁盤)FD為例進(jìn)行了說明,但使用光 盤也同樣能夠進(jìn)行。此外,記錄介質(zhì)并不限定于此,只要是IC卡、ROM盒、USB (Universal Serial Bus)存儲器、存儲器卡(Memory Card)等能夠記錄程序的介質(zhì)就同樣能夠?qū)嵤4?外,并不限于相對于計算機(jī)系統(tǒng)Cs可拆裝的記錄介質(zhì),也可以由計算機(jī)系統(tǒng)Cs執(zhí)行記錄在 計算機(jī)系統(tǒng)Cs所具備的HDD (硬盤驅(qū)動器)、非易失性存儲器、RAM及R0M、SDD (Solid State Drive)等中的程序。進(jìn)而,計算機(jī)系統(tǒng)Cs也可以執(zhí)行經(jīng)由有線或無線的通信網(wǎng)從計算機(jī)系 統(tǒng)Cs的外部取得的程序。此外,關(guān)于在上述實(shí)施方式1 4中所示的運(yùn)動圖像編碼裝置,也同樣能夠由計算 機(jī)系統(tǒng)Cs實(shí)現(xiàn)。另外,在運(yùn)動圖像編碼裝置中包含的各功能塊也可以作為集成電路即LSI實(shí)現(xiàn)。 它們既可以單獨(dú)地作為一個芯片,也可以包括一部分或全部地做成一個芯片。例如也可以 將存儲器以外的功能塊做成一個芯片。這里設(shè)為LSI,但根據(jù)集成度的不同,也有稱作IC、 系統(tǒng)LSI、超級LSI、超大規(guī)模LSI的情況。此外,集成電路化的方法并不限于LSI,也可以由專用電路或通用處理器來實(shí)現(xiàn)。 也可以利用在LSI制造后能夠編程的FPGA(Field Programmable Gate Array 現(xiàn)場可編程 門陣列)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。
進(jìn)而,如果因半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)出現(xiàn)代替LSI的集成電路化的 技術(shù),則當(dāng)然也可以使用該技術(shù)進(jìn)行功能塊的集成化。有可能是生物技術(shù)的應(yīng)用等。此外,也可以緊將各功能塊中的、對作為編碼的對象的數(shù)據(jù)進(jìn)行保存的機(jī)構(gòu)做成 一個芯片,而做成別的結(jié)構(gòu)。另外,如上所述,例如上述第一 P片區(qū)域的上述垂直方向的寬度(NoMC-P片42的 垂直方向的寬度)也可以是“上述第二編碼步驟中的運(yùn)動檢測的搜索范圍一I片的寬度”以 上。由此,能夠使從刷新區(qū)域參照的參照目標(biāo)的范圍的更多的部分不在參照目標(biāo)圖片 (參照目標(biāo)圖片PR)的未刷新區(qū)域中。并且,也可以構(gòu)建包括如下選擇步驟的運(yùn)動圖像編碼方法,該選擇步驟中,根 據(jù)發(fā)送將圖片編碼后的數(shù)據(jù)的網(wǎng)絡(luò)的帶寬(S2002),從將I片反復(fù)插入的第一插入方法 (S2005A)和僅插入規(guī)定次數(shù)(規(guī)定的次數(shù))的第二插入方法(S2005C)中選擇插入I片的 插入方法。此外,也可以構(gòu)建包括如下選擇步驟的運(yùn)動圖像編碼方法,該選擇步驟中,根據(jù)是 否從接收被發(fā)送的數(shù)據(jù)的接收側(cè)向進(jìn)行編碼的編碼裝置通知在上述接收側(cè)發(fā)生了解碼錯 誤(S2003)。從將I片反復(fù)插入的第一插入方法和僅插入規(guī)定次數(shù)(規(guī)定的次數(shù))的第二 插入方法中選擇插入I片的插入方法。此外,也可以構(gòu)建包括如下選擇步驟的運(yùn)動圖像編碼方法,該選擇步驟中,根據(jù)對 其他接收機(jī)一次進(jìn)行分發(fā)的發(fā)送方法(S2001),從將I片反復(fù)插入的第一插入方法和僅插 入規(guī)定次數(shù)(規(guī)定的次數(shù))的第二插入方法中選擇插入I片的插入方法。此外,也可以構(gòu)建如下運(yùn)動圖像編碼方法,即,還包括進(jìn)行去塊濾波處理的濾波步 驟(濾波部2010,Sa4),上述第一 P片區(qū)域的上述垂直方向的寬度比在上述去塊濾波處理 中一個像素給另一個像素帶來影響的兩個像素的距離的最大值的距離(例如兩個像素的 距離)大。此外,將上述運(yùn)動矢量以小于像素的單位檢測(進(jìn)行小數(shù)精度的運(yùn)動補(bǔ)償?shù)奶?理),上述第一 P片區(qū)域的上述垂直方向的寬度比在基于上述運(yùn)動矢量進(jìn)行的運(yùn)動補(bǔ)償?shù)?處理中一個像素給另一個像素帶來影響的兩個像素的距離的最大值的距離(例如3個像素 的距離)大。另外,上述垂直方向的寬度例如也可以具有從未刷新區(qū)域(未刷新區(qū)域冊3) 向上述濾波步驟及上述小數(shù)精度的處理的兩個上述最大值的合計的距離的空白區(qū)域的、能 防止從刷新完成區(qū)域(刷新完成區(qū)域PSl)的參照的最低的大小以上的大小。另外,S卩,具體而言,例如垂直方向的寬度也可以為對僅考慮了這些濾波步驟等的 影響以外的寬度,再加上考慮了這些濾波步驟等的影響的寬度后的寬度以上。另外,上述第一 P片區(qū)域的上述垂直方向的寬度也可以是上述第二編碼步驟的運(yùn) 動檢測的搜索范圍以上。由此,搜索范圍的下端是比編碼的對象的圖片(對象圖片PS)的I片的上端更靠 上側(cè)。S卩,在對象圖片的I片的上端的位置與參照目標(biāo)圖片(參照目標(biāo)圖片PR)的I片的 下端的位置相同等時,與參照目標(biāo)圖片的I片的下端相比,搜索范圍的下端更靠上側(cè)。艮口, 搜索范圍的下端比參照目標(biāo)圖片的未刷新區(qū)域的上端更靠上側(cè)。由此,能夠更充分地避免 不適當(dāng)?shù)漠嬞|(zhì)劣化的傳播。
另外,在上述中,有“上述第二編碼步驟中的運(yùn)動檢測的搜索范圍一 I片的寬度”。 另一方面,圖2的(η)的NoMC-P片42的寬度例如也可以與(m)所示的搜索范圍的大小W 相同。即,該寬度既可以與W相同或W以上,也可以比W小。這樣,通過比W小,也可以僅避 免將從未刷新區(qū)域冊3向刷新完成區(qū)域PSl的多個劣化的傳遞中的一部分傳遞。由此,能 夠避免傳遞,另一方面使NoMC-P片42的寬度變小,而使將NoMC-P片42進(jìn)行了編碼的編碼 后的數(shù)據(jù)變小。由此,能夠同時實(shí)現(xiàn)傳遞的避免和編碼后的數(shù)據(jù)的減小。另外,所謂搜索范圍的寬度,例如是向圖2的下方向、即向I片的行進(jìn)方向的寬度 (W),也可以是進(jìn)行向行進(jìn)方向的搜索的距離的最大值。此外,第一 P片區(qū)域的寬度具體而言例如也可以是上述搜索范圍(搜索的距離的 最大值)以上。由此,能夠充分地避免不適當(dāng)?shù)漠嬞|(zhì)劣化的傳播。進(jìn)而,第一P片區(qū)域的寬 度更具體地講,也可以是搜索的距離的上述最大值與去塊濾波的距離的最大值的上述距離 的合計以上。上述第一 P片區(qū)域的寬度具體而言,也可以是搜索的距離的上述最大值與小 數(shù)精度的運(yùn)動補(bǔ)償?shù)奶幚淼木嚯x的最大值的上述距離的合計以上。第一P片區(qū)域的寬度具 體而言也可以是上述3個長度的合計以上。另外,這樣例如如圖3的“開頭”、“末端”的字符所示,也可以從多個片(圖3的
[6])之中選擇圖片中的開頭的片(及末端的片)。并且,由此也可以確定各個片(例 如W]的NoMC-P片)在圖片之中的位置。由此,也可以在所確定的位置上設(shè)定該片(
的 NoMC-P 片)。并且,由此,也可以將各個時刻(例如(d)時刻)的設(shè)定I片([1])的位置設(shè)為緊 前的時刻((c)的時刻)的位置的下一個位置,來移動設(shè)定I片的位置。另外,關(guān)于單純的細(xì)節(jié),例如既可以具有采用公知的技術(shù)的方式,也可以具有實(shí)施 了進(jìn)一步的改良發(fā)明的方式等其他方式。以上,基于實(shí)施方式對本發(fā)明的運(yùn)動圖像編碼方法及運(yùn)動圖像編碼裝置進(jìn)行了說 明,但本發(fā)明并不限定于該實(shí)施方式。只要不脫離本發(fā)明的主旨,則對本實(shí)施方式施加本領(lǐng) 域的技術(shù)人員能夠想到的各種變形的方式、或者將不同的實(shí)施方式的構(gòu)成要素組合而構(gòu)建 的方式也包含在本發(fā)明的范圍內(nèi)。工業(yè)實(shí)用性本發(fā)明能夠在運(yùn)動圖像編碼裝置中使用,特別是能夠在利用網(wǎng)絡(luò)的運(yùn)動圖像雙向 通信或運(yùn)動圖像分發(fā)、監(jiān)視攝像機(jī)等、將運(yùn)動圖像編碼的通信設(shè)備或成套設(shè)備中使用。符號說明100圖片數(shù)計數(shù)部102塊數(shù)計數(shù)部103片類型設(shè)定部104運(yùn)動搜索判斷部105片插入次數(shù)設(shè)定部200編碼部300打包部2001運(yùn)動搜索部2002運(yùn)動補(bǔ)償部
2003參照圖像復(fù)制部2004幀內(nèi)預(yù)測部2005 選擇部2006 減法器2007 DCT/量化部2008逆量化/逆DCT部2009 加法器2010 濾波部2011參照圖像保持部2012熵編碼部
權(quán)利要求
1.一種運(yùn)動圖像編碼方法,在一個圖片中包含I片和P片,所包含的上述I片的上述圖 片內(nèi)的位置按照圖片沿圖片的垂直方向移動,該運(yùn)動圖像編碼方法包括第一編碼步驟,將第一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼,該第一 P片是在與上述I片 相鄰且在與上述垂直方向的移動方向相反的方向上相鄰的第一區(qū)域中包含的片;以及第二編碼步驟,將第二 P片使用運(yùn)動矢量進(jìn)行幀間編碼,該第二 P片是在上述第一區(qū)域 以外的第二區(qū)域中包含的片。
2.如權(quán)利要求1所述的運(yùn)動圖像編碼方法,其中,上述第一區(qū)域的上述垂直方向的寬度是“上述第二編碼步驟中的運(yùn)動檢測的搜索范圍 一 I片的寬度”以上。
3.如權(quán)利要求1所述的運(yùn)動圖像編碼方法,其中,還包括第三編碼步驟,將在上述第一區(qū)域中包含的上述第一 P片使用運(yùn)動矢量進(jìn)行 幀間編碼;在上述第三編碼步驟中,在將I片反復(fù)插入的情況下,將在上述第一區(qū)域中包含的上 述第一 P片使用運(yùn)動矢量進(jìn)行幀間編碼;在上述第一編碼步驟中,在將I片插入規(guī)定的次數(shù)的情況下,將在上述第一區(qū)域中包 含的上述第一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼。
4.如權(quán)利要求3所述的運(yùn)動圖像編碼方法,其中,包括選擇步驟,根據(jù)發(fā)送圖片被編碼后的數(shù)據(jù)的網(wǎng)絡(luò)的帶寬,從將I片反復(fù)插入的第 一插入方法和插入規(guī)定的次數(shù)的第二插入方法中選擇插入I片的插入方法。
5.如權(quán)利要求3所述的運(yùn)動圖像編碼方法,其中,包括選擇步驟,根據(jù)是否從接收所發(fā)送的數(shù)據(jù)的接收側(cè)向進(jìn)行編碼的編碼裝置通知 在上述接收側(cè)發(fā)生了解碼錯誤,從將I片反復(fù)插入的第一插入方法和插入規(guī)定的次數(shù)的第 二插入方法中選擇插入I片的插入方法。
6.如權(quán)利要求3所述的運(yùn)動圖像編碼方法,其中,包括選擇步驟,根據(jù)對其他接收機(jī)一次進(jìn)行分發(fā)的發(fā)送方法,從將I片反復(fù)插入的第 一插入方法和插入規(guī)定的次數(shù)的第二插入方法中選擇插入I片的插入方法。
7.如權(quán)利要求1所述的運(yùn)動圖像編碼方法,其中,還包括進(jìn)行去塊濾波處理的濾波步驟;上述第一區(qū)域的上述垂直方向的寬度比在上述去塊濾波處理中一個像素對另一個像 素帶來影響的兩個像素的距離的最大值的距離大。
8.如權(quán)利要求1所述的運(yùn)動圖像編碼方法,其中,以比像素小的單位檢測上述運(yùn)動矢量;上述第一區(qū)域的上述垂直方向的寬度比在基于上述運(yùn)動矢量的運(yùn)動補(bǔ)償處理中一個 像素對另一個像素帶來影響的兩個像素的距離的最大值的距離大。
9.如權(quán)利要求1所述的運(yùn)動圖像編碼方法,其中,在上述第一編碼步驟中,將在上述第一區(qū)域中包含的多個上述第一 P片分別不使用運(yùn) 動矢量進(jìn)行幀間編碼;所包含的多個上述第一P片中的上述第一P片的大小的最大值比上述第二P片的大小 的最大值小。
10.如權(quán)利要求9所述的運(yùn)動圖像編碼方法,其中,上述第一 P片的大小的上述最大值是包含具有該最大值的大小的上述第一 P片在內(nèi)的 上述圖片中的上述I片的大小以上。
11.如權(quán)利要求1所述的運(yùn)動圖像編碼方法,其中,在該運(yùn)動圖像編碼方法中,將第一時刻的包含I片和P片的第一上述圖片、和比上述第一時刻遲的第二時刻的包 含I片和P片的第二上述圖片分別進(jìn)行編碼;并且,將上述第一時刻和上述第二時刻之間的中間的時刻的不包含I片的第三圖片進(jìn) 行編碼。
12.如權(quán)利要求11所述的運(yùn)動圖像編碼方法,其中,上述第三圖片包含由上述第一圖片中的上述第一區(qū)域和上述I片的區(qū)域兩者構(gòu)成的 區(qū)域;在上述第一編碼步驟中,將上述第三圖片的該區(qū)域中的第一 P片不使用運(yùn)動矢量進(jìn)行 幀間編碼;在上述第二編碼步驟中,將上述第三圖片中的該區(qū)域以外的其他區(qū)域的第二 P片使用 運(yùn)動矢量進(jìn)行幀間編碼。
13.如權(quán)利要求11所述的運(yùn)動圖像編碼方法,其中,上述第三圖片包含與上述第二圖片中的上述第一區(qū)域相同的區(qū)域;在上述第一編碼步驟中,將上述第三圖片的該相同的區(qū)域中的第一 P片不使用運(yùn)動矢 量進(jìn)行幀間編碼;在上述第二編碼步驟中,將上述第三圖片的、該相同的區(qū)域以外的其他區(qū)域的第二 P 片使用運(yùn)動矢量進(jìn)行幀間編碼。
14.如權(quán)利要求12所述的運(yùn)動圖像編碼方法,其中,在上述第一編碼步驟中,將在上述第三圖片中包含的上述區(qū)域的多個上述第一 P片分 別不使用運(yùn)動矢量進(jìn)行幀間編碼;在上述第三圖片中包含的多個上述第一P片中的上述第一P片的大小的最大值比在該 第三圖片中包含的上述第二 P片的大小的最大值小。
15.如權(quán)利要求13所述的運(yùn)動圖像編碼方法,其中,在上述第一編碼步驟中,將在上述第三圖片中包含的上述區(qū)域的多個上述第一 P片分 別不使用運(yùn)動矢量進(jìn)行幀間編碼;在上述第三圖片中包含的多個上述第一P片中的上述第一P片的大小的最大值比在該 第三圖片中包含的上述第二 P片的大小的最大值小。
16.一種運(yùn)動圖像編碼裝置,在1個圖片中包含I片和P片,所包含的上述I片的上述 圖片內(nèi)的位置按照圖片沿圖片的垂直方向移動,該運(yùn)動圖像編碼裝置具備片類型決定部,為了將第一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼、將第二 P片使用運(yùn)動矢 量進(jìn)行幀間編碼,決定片類型,上述第一 P片是在與上述I片相鄰且在與上述垂直方向的移 動方向相反的方向上相鄰的第一區(qū)域中包含的片,上述第二 P片是在上述第一區(qū)域以外的 第二區(qū)域中包含的片;第一幀間編碼部,將上述第一區(qū)域的上述第一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼;以及第二幀間編碼部,將上述第二區(qū)域的上述第二 P片使用運(yùn)動矢量進(jìn)行幀間編碼。
17.如權(quán)利要求16所述的運(yùn)動圖像編碼裝置,其中,具備片插入次數(shù)設(shè)定部,判斷I片的插入次數(shù)是否為規(guī)定值以上;上述片類型決定部在由上述片插入次數(shù)設(shè)定部判斷為上述插入次數(shù)小于規(guī)定值的情 況下,使用上述第一區(qū)域及上述第二區(qū)域兩者,在判斷為是規(guī)定值以上的情況下,僅使用上 述第二區(qū)域。
18.一種計算機(jī)程序,當(dāng)在1個圖片中包含I片和P片、所包含的上述I片的上述圖片 內(nèi)的位置按照圖片沿圖片的垂直方向移動時,用于計算機(jī)將多個圖片編碼,該計算機(jī)程序 使上述計算機(jī)執(zhí)行如下步驟第一編碼步驟,將第一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼,上述第一 P片是在與上述I 片相鄰且在與上述垂直方向的移動方向相反的方向上相鄰的第一區(qū)域中包含的片;以及第二編碼步驟,將第二 P片使用運(yùn)動矢量進(jìn)行幀間編碼,該第二 P片是在上述第一區(qū)域 以外的第二區(qū)域中包含的片。
19.一種集成電路,在1個圖片中包含I片和P片,所包含的上述I片的上述圖片內(nèi)的 位置按照圖片沿圖片的垂直方向移動,將多個圖片進(jìn)行編碼,該集成電路具備第一編碼部,將第一 P片不使用運(yùn)動矢量進(jìn)行幀間編碼,上述第一 P片是在與上述I片 相鄰且在與上述垂直方向的移動方向相反的方向上相鄰的第一區(qū)域中包含的片;以及第二編碼部,將第二 P片使用運(yùn)動矢量進(jìn)行幀間編碼,該第二 P片是在上述第一區(qū)域以 外的第二區(qū)域中包含的片。
全文摘要
一種運(yùn)動圖像編碼方法,在圖片中包含的I片的位置沿垂直方向移動,將第一P片不使用運(yùn)動矢量進(jìn)行幀間編碼(Sa1),將第二P片使用運(yùn)動矢量進(jìn)行幀間編碼(Sa2),上述第一P片是在與上述I片相鄰的第一區(qū)域、并且是與上述垂直方向的移動方向相反的方向上相鄰的第一區(qū)域中包含的片,上述第二片是在上述第一區(qū)域以外的第二區(qū)域中包含的片。
文檔編號H04N7/32GK102077597SQ201080001989
公開日2011年5月25日 申請日期2010年7月7日 優(yōu)先權(quán)日2009年7月10日
發(fā)明者尾關(guān)英克, 角野真也, 間宮靖裕 申請人:松下電器產(chǎn)業(yè)株式會社