視頻處理設備、方法及系統(tǒng)以及視頻再現(xiàn)設備和方法
【專利摘要】本發(fā)明涉及一種視頻處理設備，包括一個其配置成生成第二移動圖像的圖像生成單元，所述第二移動圖像被配置為具有與具有第一圖像質量的第一移動圖像相同的內容、具有被配置為高于第一圖像質量的質量的第二圖像質量、并且具有相應于第一移動圖像的部分區(qū)域的尺寸；以及一個其配置成生成再現(xiàn)信息的再現(xiàn)信息生成單元，所述再現(xiàn)信息被配置為在以第二移動圖像取代第一移動圖像的一部分之后用于同時再現(xiàn)第一移動圖像和第二移動圖像。
【專利說明】視頻處理設備、方法及系統(tǒng)以及視頻再現(xiàn)設備和方法

【技術領域】
[0001] 本發(fā)明專利涉及一種視頻處理設備、視頻再現(xiàn)設備、視頻處理方法、視頻再現(xiàn)方 法、以及視頻處理系統(tǒng)。

【背景技術】
[0002] 現(xiàn)有提出了許多用于再現(xiàn)圖像質量再現(xiàn)移動圖像的技術。例如，JP2010-11448A等 公開了一種通過分析所再現(xiàn)移動圖像的單一單位的被編碼信息和像素信息來提高所再現(xiàn) 移動圖像的質量的技術。另外，JP2010-193117A等公開了一種通過在多個不同移動圖像上 進行幀內插提高所再現(xiàn)移動圖像的質量的技術。


【發(fā)明內容】

[0003] 當經由網絡接收從服務器分布的移動圖像，并且在客戶機終端中加以再現(xiàn)時，所 再現(xiàn)移動圖像的質量取決于客戶機終端的處理能力、屏面尺寸、或者網絡的傳輸率。因此， 如果客戶機終端不具有足夠的處理能力，則難以再現(xiàn)具有高圖像質量的移動圖像，而且如 果網絡的傳輸率不高，即使希望使用客戶機終端的足夠的處理能力以高質量再現(xiàn)移動圖 像，也難以再現(xiàn)具有高質量的圖像。所以，當客戶機終端的處理能力和網絡的傳輸率不充分 時，難以增強用戶的觀看感受。
[0004] 于是，可望本發(fā)明專利提供一種甚至當客戶機終端的處理能力和網絡的傳輸率不 充分時，也能夠增強用戶的觀看感受的新型與改進的視頻處理設備、視頻再現(xiàn)設備、視頻處 理方法、視頻再現(xiàn)方法、以及視頻處理系統(tǒng)。
[0005] 根據本發(fā)明專利的一個實施例，提供了一種視頻處理設備，包含：圖像生成單元， 配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具有第一圖像質量的第一移 動圖像相同的內容、具有被配置為高于第一圖像質量的質量的第二圖像質量、并且具有相 應于第一移動圖像的部分區(qū)域的尺寸；以及再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述 再現(xiàn)信息被配置為在第一移動圖像的一部分被替換為第二移動圖像之后被用于同時再現(xiàn) 第一移動圖像和第二移動圖像。
[0006] 根據本發(fā)明專利的一個實施例，提供了一種視頻再現(xiàn)設備，包含：圖像獲取單元， 配置成獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具有 第一圖像質量，所述第二移動圖像被配置為具有與第一移動圖像相同的內容、具有被配置 為比第一圖像質量高的質量的第二圖像質量、并且具有與第一移動圖像的部分區(qū)域對應的 尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像替換之后同時再現(xiàn) 第一移動圖像和第二移動圖像；以及圖像組合單元，被配置為基于圖像獲取單元所獲取的 再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替換之后致使第一移動圖像和第二移 動圖像同時再現(xiàn)。
[0007] 根據本發(fā)明專利的一個實施例，提供了一種視頻處理方法，包含：生成第二移動圖 像，所述第二移動圖像被配置為具有與具有第一圖像質量的第一移動圖像相同的內容、具 有被配置為比第一圖像質量高的質量的第二圖像質量、并且具有與第一移動圖像的部分區(qū) 域對應的尺寸；以及成生成再現(xiàn)信息，所述再現(xiàn)信息在第一移動圖像的一部分被替換為第 二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
[0008] 根據本發(fā)明專利的一個實施例，提供了一種視頻再現(xiàn)方法，包含：獲取第一移動圖 像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具有第一圖像質量，所述第二 移動圖像被配置為具有與第一移動圖像相同的內容、具有被配置為比第一圖像質量高的質 量的第二圖像質量、并且具有與第一移動圖像的部分區(qū)域對應的尺寸，并且所述再現(xiàn)信息 用于在第一移動圖像的一部分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移 動圖像；以及基于獲取步驟所獲取的再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替 換之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
[0009] 根據本發(fā)明專利的一個實施例，提供了一種視頻處理系統(tǒng)，包含視頻處理設備以 及視頻再現(xiàn)設備。視頻處理設備包括：圖像生成單元，配置成生成第二移動圖像，所述第 二移動圖像被配置為具有與具有第一圖像質量的第一移動圖像相同的內容、具有被配置為 高于第一圖像質量的質量的第二圖像質量、并且具有相應于第一移動圖像的部分區(qū)域的尺 寸；以及再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖像 的一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。視頻 再現(xiàn)設備包括：圖像獲取單元，配置成從視頻處理設備至少獲取第二移動圖像和再現(xiàn)信息； 以及圖像再現(xiàn)單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的一部 分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像。
[0010] 根據以上所描述的本發(fā)明專利的一個實施例，能夠提供一種甚至當客戶機終端的 處理能力和網絡的傳輸率不充分時，也能夠增強用戶的觀看感受的新型與改進的視頻處理 設備、視頻再現(xiàn)設備、視頻處理方法、視頻再現(xiàn)方法、以及視頻處理系統(tǒng)。

【專利附圖】

【附圖說明】
[0011] 圖1描述了根據本發(fā)明專利一個實施例的移動圖像再現(xiàn)系統(tǒng)1的一個總配置實 例；
[0012] 圖2描述了根據本發(fā)明專利一個實施例的內插移動圖像生成單元120的一個功能 配置實例；
[0013] 圖3描述了根據本發(fā)明專利一個實施例的內插移動圖像傳輸單元130的一個功能 配置實例；
[0014] 圖4描述了包括在根據本發(fā)明專利一個實施例的再現(xiàn)設備200中的內插單元210 的一個功能配置實例；
[0015] 圖5為描述根據本發(fā)明專利一個實施例的內插移動圖像生成單元120的一個操作 實例的流程圖；
[0016] 圖6為描述根據本發(fā)明專利一個實施例的內插移動圖像傳輸單元130的一個操作 實例的流程圖；
[0017] 圖7為描述根據本發(fā)明專利一個實施例的內插移動圖像傳輸單元130的另一個操 作實例的流程圖；
[0018] 圖8為描述包括在根據本發(fā)明專利一個實施例的再現(xiàn)設備200中的內插單元210 的一個操作實例的流程圖；
[0019] 圖9為描述包括在根據本發(fā)明專利一個實施例的再現(xiàn)設備200中的內插單元210 的另一個操作實例的流程圖；
[0020] 圖10描述了再現(xiàn)移動圖像傳輸單元110、內插移動圖像生成單元120、以及內插移 動圖像傳輸單元130所保存的移動圖像數(shù)據組；
[0021] 圖11描述了所生成移動圖像和被內插移動圖像的放大與縮小過程；
[0022] 圖12描述了根據本發(fā)明專利一個實施例的實例1的內插單元210的一個功能配 置實例；
[0023] 圖13為描述根據實例1的內插移動圖像生成單元120的一個操作實例的流程圖；
[0024] 圖14為描述根據實例1的內插移動圖像生成單元120的所述操作實例的流程圖；
[0025] 圖15為描述根據實例1的內插移動圖像生成單元120的所述操作實例的流程圖；
[0026] 圖16為描述包括在根據實例1的內插單元210中的內插處理部件218的一個操 作實例的流程圖；
[0027] 圖17描述了根據實例1的內插移動圖像vl2的內插區(qū)域的圖像尺寸和移動圖像 屏面的改變的一個實例；
[0028] 圖18描述了內插移動圖像vl2的移動圖像屏面和內插區(qū)域的坐標之間的關系；
[0029] 圖19描述了當內插單元210從內插移動圖像vl2的移動圖像屏面抽取內插區(qū)域 的圖像時所執(zhí)行的一個過程；
[0030] 圖20為描述根據實例2的內插移動圖像生成單元120的一個操作實例的流程圖；
[0031] 圖21為描述根據實例2的內插移動圖像生成單元120的所述操作實例的流程圖；
[0032] 圖22為描述根據實例2的內插移動圖像生成單元120的所述操作實例的流程圖；
[0033] 圖23為描述根據實例2的內插單元210的一個操作實例的流程圖；
[0034] 圖24描述了根據實例2的內插移動圖像vl2的移動圖像屏面和內插區(qū)域之間的 關系的一個實例；
[0035] 圖25為描述當把實例2的內容施用于實例1時所執(zhí)行的內插移動圖像生成單元 120的一個操作實例的流程圖；
[0036] 圖26描述了當把實例2的內容施用于實例1時所展現(xiàn)的效果；
[0037] 圖27描述了根據本發(fā)明專利一個實施例的實例3的內插移動圖像生成單元120 的一個功能配置實例；
[0038] 圖28描述了根據本發(fā)明專利所述實施例的實例3的內插移動圖像傳輸單元130 的一個功能配置實例；
[0039] 圖29描述了根據本發(fā)明專利所述實施例的實例3的內插單元210的一個功能配 置實例；
[0040] 圖30描述了根據本發(fā)明專利所述實施例的實例3的內插移動圖像生成單元120 的一個操作實例；
[0041] 圖31描述了根據本發(fā)明專利所述實施例的實例3的內插單元210的一個操作實 例；
[0042] 圖32描述了實例3的操作梗概；
[0043] 圖33描述了實例3的另一操作梗概；以及
[0044] 圖34描述了實例3的另一操作梗概。

【具體實施方式】
[0045] 以下，將參照附圖詳細描述本發(fā)明專利的優(yōu)選實施例。注意，在本說明書與附圖 中，將使用相同的參照數(shù)字表示那些具有基本相同功能與結構的結構圖元，而且省略了對 這些結構圖元的重復解釋。
[0046] 將按下列次序進行描述。
[0047] < 1.本發(fā)明專利的一個實施例>
[0048] [概述]
[0049] [總配置實例]
[0050][被內插移動圖像生成單元的功能配置實例]
[0051] [被內插移動圖像傳輸單元的功能配置實例]
[0052] [內插單元的功能配置實例]
[0053] [被內插移動圖像生成單元的操作實例]
[0054] [被內插移動圖像傳輸單元的操作實例]
[0055] [內插單元的操作實例]
[0056] [結論]
[0057] < 2.實例 1 >
[0058] < 3.實例 2 >
[0059] < 4.實例 3 >
[0060] < 5.結論>
[0061] < 1.本發(fā)明專利的一個實施例>
[0062] [概述]
[0063] 在詳細描述本發(fā)明專利一個實施例之前，將給出本發(fā)明專利的概述。
[0064] 再現(xiàn)移動圖像的移動圖像再現(xiàn)設備的顯示屏面的分辨率已變得越來越高。另一方 面，存在著通過網絡流、廣播波、以及其它傳輸媒體分布的移動圖像的分辨率始終不適合移 動圖像再現(xiàn)設備的所顯示屏面的分辨率的問題。
[0065] 即使當移動圖像再現(xiàn)設備的顯示分辨率為所謂的HD、4K、或者2K時，例如，也需要 使用高編碼率的分辨率對移動圖像進行編碼，以在維持其質量的同時對移動圖像進行編碼 與傳輸。無論有線傳輸還是無線傳輸，都存在著這樣一些情況：其中，由于通信線傳輸率的 原因，難以按如此高的編碼率實時地傳輸所編碼的移動圖像。
[0066] 另外，還存在著這樣的一種情況：其中，移動圖像再現(xiàn)設備具有不充分的解碼能 力，在這樣的情況下，需要花費時間對按高編碼率編碼的移動圖像進行解碼。在這一情況 下，按低編碼率接收以低分辨率傳輸?shù)囊苿訄D像，然后加以放大，以適合移動圖像再現(xiàn)設備 顯示屏面的尺寸。而且，當在諸如寫字板的設備或者配有大屏面的電視機中再現(xiàn)移動圖像， 即再現(xiàn)諸如在針對一段廣播或者針對移動設備的移動圖像流(分布于主要配有小屏面的設 備）中降低了其針對移動設備的分辨率或者編碼率的內容的移動圖像時，按相同的方式放 大和顯示移動圖像。如果在大尺寸屏面上放大和再現(xiàn)適合于小尺寸屏面的所再現(xiàn)圖像，則 所再現(xiàn)圖像的質量劣化。
[0067] 對于這一問題，存在著這樣一種技術：通過在移動圖像再現(xiàn)設備中分析所接收的 所再現(xiàn)圖像，并且在其上進行向上轉換計算，降低針對某一屏面放大時移動圖像的劣化程 度。然而，對于小屏面，在基于主要具有少量信息的移動圖像的計算中，存在對圖像質量改 進的限制，計算過程成為再現(xiàn)設備上的一個負擔，或者必須安裝一個用于計算的獨立電路。
[0068] 另一方面，這樣的一種移動圖像流系統(tǒng)已廣泛得以使用：其中，提供在Internet 上的多個移動圖像分布服務器針對一段移動圖像內容準備按多種圖像尺寸提供的、并且按 多個編碼率進行編碼的移動圖像文件組，再現(xiàn)設備選擇一個具有符合傳輸率或者再現(xiàn)能力 的圖像尺寸和編碼率的移動圖像文件。
[0069] 然而，在所述流系統(tǒng)中，預先決定了可以選擇的圖像尺寸和編碼率，因此不能夠指 定任意圖像尺寸或者編碼率。例如，當分布服務器提供具有l(wèi)Mbps、3Mbps、以及5Mbps傳輸 率的移動圖像文件以及移動圖像再現(xiàn)設備的傳輸率為4Mbps時，如果移動圖像再現(xiàn)設備選 擇和接收3Mbps的移動圖像，則所述設備可以再現(xiàn)具有最高圖像質量的移動圖像，但不使 用1Mbps的傳輸頻帶。
[0070] 如果使屏面的部分區(qū)域提供高圖像質量，當放大和再現(xiàn)針對小尺寸屏面再現(xiàn)的移 動圖像時，存在著許多其中不能夠增強用戶觀看感受的情況。例如，如果使圖像中的可以提 高其識別的一個區(qū)域(例如，體育廣播中的一個球或者運動員、電影中演員的面部等)、或者 僅移動圖像中被認為是重要的一個區(qū)域具有高圖像質量，則在許多情況下可以增強用戶的 觀看感受。
[0071] 因此，根據本發(fā)明專利的一個實施例，一個服務器生成具有高圖像質量的一個部 分屏面的移動圖像，其中，僅把屏面的部分區(qū)域設置為具有高圖像質量。在本實施例中，把 這樣的具有高圖像質量的一個部分屏面的移動圖像稱為"內插移動圖像"。所述服務器把所 生成的內插移動圖像傳輸于移動圖像再現(xiàn)設備。當放大和再現(xiàn)一個具有低圖像質量的移動 圖像時，把具有高圖像質量的一個部分屏面的內插移動圖像與其合成，并且同時加以再現(xiàn)。 在本實施例中，把放大和再現(xiàn)具有低圖像質量的移動圖像時所執(zhí)行的合成具有高圖像質量 的一個部分屏面的內插移動圖像的過程稱為"內插處理"。在以下所描述的本發(fā)明專利的一 個實施例中，可以通過使屏面的部分區(qū)域具有高圖像質量增強用戶的觀看感受，甚至是當 放大和再現(xiàn)具有低圖像質量的移動圖像時。
[0072] 移動圖像的分布側預先創(chuàng)建具有高分辨率的高質量移動圖像，并且按高編碼率對 它們進行編碼，然后把所述圖像作為用作將加以分布的再現(xiàn)移動圖像(具有低圖像質量）的 基礎的原始移動圖像加以保存。移動圖像的分布側考慮到移動圖像再現(xiàn)設備的通信頻帶或 者能力，從而能夠根據具有高圖像質量的移動圖像創(chuàng)建和分布其分辨率或者編碼率為低的 所再現(xiàn)移動圖像。
[0073] 具有1?圖像質量的原始移動圖像以及所分布和所再現(xiàn)移動圖像為具有相同移動 圖像內容、不同圖像尺寸、以及基于相同內容的編碼率的圖像項(移動圖像文件等)。于是， 把兩個移動圖像設置為具有相同的內容名（標題等）或者相同的內部管理標識符，以將它們 互相關聯(lián)。用戶可以根據兩個移動圖像的內容名（標題等）認出：就同樣內容而言，所再現(xiàn) 移動圖像(具有低圖像質量）和具有高圖像質量的原始移動圖像被互相關聯(lián)，移動圖像再現(xiàn) 設備可以使用內部管理標識符把兩個移動圖像加以關聯(lián)。
[0074] 以上，描述了本發(fā)明專利的梗概。以下，將描述根據本發(fā)明專利一個實施例的移動 圖像再現(xiàn)系統(tǒng)的一個總配置實例。
[0075] [總配置實例]
[0076] 圖1描述了根據本發(fā)明專利一個實施例的移動圖像再現(xiàn)系統(tǒng)1的一個總配置實 例。以下，將參照圖1描述根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1的總配置實 例。
[0077] 如圖1中所示，把根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1配置為包括 再現(xiàn)移動圖像傳輸單元110、內插移動圖像生成單元120、內插移動圖像傳輸單元130、以及 再現(xiàn)設備200。再現(xiàn)移動圖像傳輸單元110、內插移動圖像生成單元120、以及內插移動圖像 傳輸單元130為移動圖像分布側的部件，可以把所述部件提供在同一設備中，也可以經由 一條諸如網絡的傳輸路徑將它們互相連接。當經由諸如網絡的傳輸路徑將這些部件互相連 接時，傳輸路徑可以相同也可以不同。例如，可以把再現(xiàn)移動圖像傳輸單元110、內插移動圖 像生成單元120、以及內插移動圖像傳輸單元130全部在同一網絡或者在不同的傳輸路徑 上互相連接，以使再現(xiàn)移動圖像傳輸單元110和再現(xiàn)設備200之間的傳輸路徑為廣播波，內 插移動圖像傳輸單元130和再現(xiàn)設備200之間的傳輸路徑為網絡。
[0078] 在以下所提供的描述中，把再現(xiàn)移動圖像傳輸單元110、內插移動圖像生成單元 120、以及內插移動圖像傳輸單元130設置為經由諸如圖1中所示的網絡的傳輸路徑互相連 接，然而，本發(fā)明專利并不局限于這一實例。
[0079] 圖10描述了再現(xiàn)移動圖像傳輸單元110、內插移動圖像生成單元120、以及內插移 動圖像傳輸單元130所保存的移動圖像數(shù)據組。將參照圖10中所示的移動圖像數(shù)據組描述 再現(xiàn)移動圖像傳輸單元110、內插移動圖像生成單元120、以及內插移動圖像傳輸單元130。
[0080] 再現(xiàn)移動圖像傳輸單元110經由諸如網絡或者廣播波的傳輸路徑把再現(xiàn)移動圖 像vio傳輸于再現(xiàn)設備200。把再現(xiàn)移動圖像V10傳輸于所有客戶機，并且將其配置為將在 客戶機中加以再現(xiàn)的移動圖像文件。再現(xiàn)設備200可以接收、再現(xiàn)、或者存儲從再現(xiàn)移動圖 像傳輸單元110傳輸?shù)脑佻F(xiàn)移動圖像vl〇。
[0081] 內插移動圖像生成單元120保存其內容與再現(xiàn)移動圖像vio的內容相同，并且質 量1?于再現(xiàn)移動圖像vl〇的質量的1?質量移動圖像vll。注意，質量1?意味著圖像尺寸大或 者編碼率高。把高質量移動圖像Vll配置為一個其內容與再現(xiàn)移動圖像vio的內容相同， 并且諸如圖像尺寸或者編碼率的質量高的移動圖像文件。高質量移動圖像Vll是一個用作 再現(xiàn)移動圖像vio的基礎的移動圖像。可以由用戶，也可以在系統(tǒng)中，根據顯示名、內部管 理標識符等把所再現(xiàn)移動圖像和高質量移動圖像加以關聯(lián)。內插移動圖像生成單元120決 定再現(xiàn)設備200中將加以再現(xiàn)的移動圖像中的一個內插區(qū)域，從高質量移動圖像vll抽取 內插區(qū)域，并且生成一個內插移動圖像vl2和內插信息ilO。例如，內插移動圖像生成單元 120可以為分布移動圖像的服務提供商或者提供在網絡上的服務器設備所提供的移動圖像 創(chuàng)作設備。
[0082] 內插移動圖像vl2為一個從高質量移動圖像vll的移動圖像屏面通過抽取獲得的 移動圖像文件，僅為一個可以使用其提高對再現(xiàn)移動圖像vlO的內容的識別的區(qū)域或者一 個被視為重要的區(qū)域的內插區(qū)域，換句話說，為高質量移動圖像vll的一個部分屏面的一 個移動圖像。把內插移動圖像vl2配置為一個通過從高質量移動圖像vll幀圖像抽取由以 下將加以描述的內插指令單元121所保存的信息所指示的內插區(qū)域的一個部分圖像，并且 將該部分圖像編碼為幀圖像所獲得的移動圖像文件。
[0083] 內插信息Π 0為本發(fā)明專利再現(xiàn)信息的一個實例。內插信息Π 0為內插移動圖像 生成單元120所生成的信息，并且將其配置為一個其中針對每一個幀表示原始高質量移動 圖像vll的移動圖像屏面中內插移動圖像vl2的每一個幀圖像的坐標、寬度、以及高度的文 件。根據以下將加以描述的內插指令單元121所保存的信息生成內插信息ilO。另外，在內 插信息i 10中，也可以記錄原始高質量移動圖像vll的總圖像尺寸。
[0084] 對于一段移動圖像內容(再現(xiàn)移動圖像vlO和高質量移動圖像vll)，可以創(chuàng)建多 段內插移動圖像vl2和內插信息Π 0。例如，對于為一段移動圖像內容的體育移動圖像，可 能存在多段內插移動圖像vl2和內插信息ilO,例如，用于內插運動員A的一個區(qū)域的內插 移動圖像vl2和內插信息i 10以及用于內插運動員B的一個區(qū)域的內插移動圖像vl2和內 插信息il〇。在這一方式下,通過為一個移動圖像內容項創(chuàng)建所述多段內插移動圖像vl2和 內插信息il〇,用戶可以選擇其最喜歡的運動員的一或多段內插移動圖像vl2和內插信息 il〇,并且在再現(xiàn)設備200中再現(xiàn)移動圖像。另外，例如，可以把用于內插一個其中顯示文本 信息(例如，得分）的區(qū)域的內插移動圖像vl2和內插信息Π 0設計為針對一個為一段移動 圖像內容的體育移動圖像加以生成。
[0085] 把內插移動圖像生成單元120配置為包括內插指令單元121，如圖1中所示。內插 指令單元121保存指示應該把高質量移動圖像vll的屏面的哪一部分指定為內插區(qū)域的信 息。1?質量移動圖像vll的屏面為具有與再現(xiàn)移動圖像vl〇和1?質量移動圖像vll相同內 容以及在圖像尺寸和編碼率而言為高質量的屏面。在內插指令單元121所保存的信息中， 針對每一個幀列舉了每一個被指示為內插區(qū)域的幀圖像中一個區(qū)域的坐標、寬度、以及高 度。例如，內插指令單元121所保存的信息可以為再現(xiàn)再現(xiàn)移動圖像vlO的用戶或者分布 再現(xiàn)移動圖像vl〇的分布服務提供商方面的人(例如，為編輯再現(xiàn)移動圖像vl〇的編輯，或 者，如果再現(xiàn)移動圖像vlO為體育移動圖像，為對體育比賽進行解說的體育解說員）所指示 的區(qū)域以及移動圖像的時間，并且將其變?yōu)橐粋€計算機文件，也可以為一個通過移動圖像 識別自動檢測的區(qū)域，并且將其變?yōu)橐粋€計算機文件?？梢园褍炔逯噶顔卧?21所保存的 信息作為內插信息il〇提交于內插移動圖像傳輸單兀130。
[0086] 圖1描述了執(zhí)行移動圖像識別的移動圖像分析單元300。移動圖像分析單元300 通過移動圖像識別，決定每一個幀的內插區(qū)域，并且把所決定的內插區(qū)域的信息傳送于內 插指令單兀121。
[0087] 內插移動圖像傳輸單元130保存內插移動圖像生成單元120所生成的內插移動圖 像vl2和內插信息ilO,并且經由諸如網絡的傳輸路徑把移動圖像和所述信息傳輸于再現(xiàn) 設備200。例如，內插移動圖像傳輸單元130可以為網絡上的服務器設備。
[0088] 再現(xiàn)設備200接收和再現(xiàn)從再現(xiàn)移動圖像傳輸單元110傳輸?shù)脑佻F(xiàn)移動圖像vlO。 另外，再現(xiàn)設備200還接收從內插移動圖像傳輸單元130傳輸?shù)膬炔逡苿訄D像vl2和內插 信息il〇,并且在再現(xiàn)再現(xiàn)移動圖像vlO時使用內插信息ilO,通過用內插移動圖像vl2取 代移動圖像的一部分再現(xiàn)再現(xiàn)移動圖像vlO。
[0089] 如圖1中所示，再現(xiàn)設備200包括內插單元210和再現(xiàn)單元220。內插單元210 從再現(xiàn)移動圖像傳輸單元110接收再現(xiàn)移動圖像vio,并且還從內插移動圖像傳輸單元130 接收內插移動圖像vl2和內插信息ilO。內插單元210使用再現(xiàn)移動圖像vlO上的內插移 動圖像vl2,致使再現(xiàn)移動圖像vlO的一個內插區(qū)域具有高質量，從而生成被內插移動圖像 vl3。再現(xiàn)單元220再現(xiàn)內插單元210所生成的被內插移動圖像vl3。把再現(xiàn)單元220所再 現(xiàn)的被內插移動圖像vl3顯示在顯示屏面(未在圖中加以顯示）上。
[0090] 可以把內插單元210和再現(xiàn)單元220設置在再現(xiàn)設備200的內部，如圖1中所示， 也可以在諸如網絡的傳輸路徑上將它們互相連接。
[0091] 以上，已經參照圖1描述了根據本發(fā)明專利一個實施例的移動圖像再現(xiàn)系統(tǒng)1的 總配置實例。以下，將描述根據本發(fā)明專利一個實施例的內插移動圖像生成單元120的一 個功能配置實例。
[0092] [內插移動圖像生成單元的功能配置實例]
[0093] 圖2描述了根據本發(fā)明專利一個實施例的內插移動圖像生成單元120的一個功能 配置實例。以下，將參照圖2描述根據本發(fā)明專利一個實施例的內插移動圖像生成單元120 的所述功能配置實例。
[0094] 如圖2中所示，把根據本發(fā)明專利一個實施例的內插移動圖像生成單元120配置 為包括內插指令單元121、解碼單元122、內插信息處理單元123、幀圖像抽取單元124、以及 編碼單元125。
[0095] 內插指令單元121保存指示應該把高質量移動圖像vll的屏面的哪一部分設置為 內插區(qū)域，如以上所描述的。如果需要的話，把內插指令單元121所保存的信息適當?shù)靥峤?于內插信息處理單元123。
[0096] 解碼單元122對所編碼的高質量移動圖像vll進行解碼。當對高質量移動圖像 vll進行解碼時，解碼單元122把高質量移動圖像vll的每一個幀的時間信息和圖像尺寸傳 送于內插信息處理單元123,并且把高質量移動圖像vll的移動圖像屏面的幀圖像傳送于 幀圖像抽取單元124。
[0097] 內插信息處理單元123根據內插指令單元121所保存的信息針對高質量移動圖像 vll的每一個巾貞，決定抽取內插移動圖像vl2的坐標（內插移動圖像vl2的移動圖像屏面的 坐標）及其尺寸，并且把坐標和尺寸的信息傳送于幀圖像抽取單元124。另外，內插信息處 理單元123還根據內插指令單元121所保存的信息生成內插信息Π 0。把內插信息處理單 兀123所生成的內插信息ilO提交于內插移動圖像傳輸單兀130。
[0098] 幀圖像抽取單元124從解碼單元122所給出的高質量移動圖像vll的一個所解碼 的幀圖像抽取內插信息處理單元123指示的一個區(qū)域的一個像素組(一個部分圖像)，并且 把該像素組設置為內插移動圖像屏面的一個幀圖像。把幀圖像抽取單元124所抽取的內插 移動圖像屏面的幀圖像提交于編碼單元125。
[0099] 編碼單元125對幀圖像抽取單元124所抽取的內插移動圖像屏面的幀圖像進行編 碼，并且生成內插移動圖像vl2。把編碼單元125所生成的內插移動圖像vl2提交于內插移 動圖像傳輸單元130。
[0100] 內插移動圖像生成單元120可以使用具有圖2中所示配置的內插移動圖像vl2, 根據用于內插再現(xiàn)移動圖像vlO的高質量移動圖像vll和內插信息i 10生成內插移動圖像 vl2〇
[0101] 以上，已經參照圖2描述了根據本發(fā)明專利所述實施例的內插移動圖像生成單元 120的所述功能配置實例。以下，將描述根據本發(fā)明專利一個實施例的內插移動圖像傳輸單 元130的一個功能配置實例。
[0102] [內插移動圖像傳輸單元的功能配置實例]
[0103] 圖3描述了根據本發(fā)明專利所述實施例的內插移動圖像傳輸單元130的一個功能 配置實例。以下，將參照圖3描述根據本發(fā)明專利所述實施例的內插移動圖像傳輸單元130 的所述功能配置實例。
[0104] 如圖3中所示，把根據本發(fā)明專利所述實施例的內插移動圖像傳輸單元130配置 為包括接收單元131、內插記錄單元132、內插列表管理單元133、以及傳輸單元134。
[0105] 接收單元131接收內插移動圖像生成單元120所生成的內插移動圖像vl2和內插 信息il〇。當接收到內插移動圖像生成單元120所生成的內插移動圖像vl2和內插信息ilO 時，接收單元131把所接收的內插移動圖像vl2和內插信息i 10提交于內插記錄單元132。
[0106] 內插記錄單元132把從接收單元131所提交的內插移動圖像vl2和內插信息ilO 相關聯(lián)地加以保存。內插記錄單元132還保存一對兒內插移動圖像vl2和內插信息ilO涉 及哪一移動圖像內容的信息。當斷定所述內插移動圖像V12和內插信息Π 0對兒涉及哪一 移動圖像內容的信息時，使用內插移動圖像生成單元120在內插信息Π 0中所描述的移動 圖像內容的一個標識符，如以下將加以描述的。圖3描述了內插記錄單元132所保存的內 插管理信息的一個實例。移動圖像內容X包括用于內插運動員A和運動員B的信息，移動 圖像內容Y包括用于內插汽車a的內插管理信息。在所述內插管理信息中，把內插移動圖 像vl2與內插信息i 10相關聯(lián)。
[0107] 內插列表管理單元133根據來自再現(xiàn)設備200的內插單元210的詢問，返回相應 于內插記錄單元132所保存的內插移動圖像組的移動圖像內容的一個列表。另外，當內插 單元210指定移動圖像內容時，內插列表管理單元133返回內插記錄單元132所保存的內 插移動圖像vl2和內插信息i 10對兒的一個列表。
[0108] 在圖3中所示的實例中，內插列表管理單元133根據來自再現(xiàn)設備200的內插單 元210的詢問返回作為相應于內插記錄單元132所保存的內插移動圖像組的移動圖像內容 的一個列表的內容X和內容y。另外，在圖3中所示的實例中，當在再現(xiàn)設備200中指定內 容X時，內插列表管理單元133返回作為內容X中所呈現(xiàn)的內插移動圖像vl2和內插信息 Π 0對兒的一個列表的"運動員A"和"運動員B"。而且，當再現(xiàn)設備200指示內插移動圖 像vl2和內插信息ilO對兒時，內插列表管理單元133指示傳輸單元134傳輸內插移動圖 像vl2和內插信息ilO對兒。
[0109] 傳輸單元134從內插記錄單元132獲取內插列表管理單元133指示其傳輸?shù)膬炔?移動圖像vl2和內插信息ilO對兒，并且將所述對兒傳輸于再現(xiàn)設備200。
[0110] 內插移動圖像傳輸單元130可以把根據用于使用內插移動圖像vl2內插再現(xiàn)移動 圖像vio的高質量移動圖像vll和再現(xiàn)移動圖像vio生成的內插移動圖像V12傳輸于具有 圖3中所示配置的再現(xiàn)設備200。
[0111] 以上，已經參照圖3描述了根據本發(fā)明專利所述實施例的內插移動圖像傳輸單元 130的功能配置實例。以下，將描述包括在根據本發(fā)明專利一個實施例的再現(xiàn)設備200中內 插單元210的一個功能配置實例。
[0112] [內插單元的功能配置實例]
[0113] 圖4描述了包括在根據本發(fā)明專利所述實施例的再現(xiàn)設備200中的內插單元210 的所述功能配置實例。以下，將參照圖4描述包括在根據本發(fā)明專利所述實施例的再現(xiàn)設 備200中的內插單元210的所述功能配置實例。
[0114] 如圖4中所示，把包括在根據本發(fā)明專利一個實施例的再現(xiàn)設備200中的內插單 元210配置為包括接收部件211、212、以及213、內插移動圖像選擇部件214、解碼部件215 和216、時間控制部件217、以及內插處理部件218。
[0115] 接收部件211、212、以及213為本發(fā)明專利的圖像獲取單元的一個實例。接收部件 211、212、以及213分別接收再現(xiàn)移動圖像vlO、內插移動圖像vl2、以及內插信息ilO。從再 現(xiàn)移動圖像傳輸單元110傳輸再現(xiàn)移動圖像vlO,從內插移動圖像傳輸單元130傳輸內插 移動圖像vl2和內插信息ilO。把接收部件211接收的再現(xiàn)移動圖像vlO提交于解碼部件 215,把接收部件212接收的內插移動圖像vl2提交于解碼部件216,以及把接收部件213接 收的內插信息il〇提交于內插處理部件218。
[0116] 在圖4中所示的實例中，把接收部件211、212、以及213描述為獨立的構成部件，然 而，本發(fā)明專利并不局限于這一實例。也可以把接收部件211、212、以及213作為一個構成 部件加以提供。
[0117] 內插移動圖像選擇部件214從內插移動圖像傳輸單元130獲取相應于從再現(xiàn)移動 圖像傳輸單元110所接收的再現(xiàn)移動圖像VlO的內插移動圖像的一個列表，并且決定用于 再現(xiàn)移動圖像vio的內插的內插移動圖像V12和內插信息Π 0。把內插移動圖像選擇部件 214所決定的內插移動圖像vl2和內插信息Π 0傳輸于內插移動圖像傳輸單元130。
[0118] 解碼部件215和216分別針對每一個幀對處于編碼的狀態(tài)的再現(xiàn)移動圖像vlO和 內插移動圖像vl2進行解碼，然后輸出幀圖像(像素組)。解碼部件215和216向內插處理 部件218輸出再現(xiàn)移動圖像vlO和內插移動圖像vl2的幀圖像。另外，解碼部件215和216 還輸出再現(xiàn)移動圖像vl〇和內插移動圖像vl2的幀圖像幀時間(幀序號)。
[0119] 在內插處理部件218中所執(zhí)行的內插處理期間，時間控制部件217使用從解碼部 件215和216所獲取的幀時間（幀序號）信息進行控制，以使再現(xiàn)移動圖像vlO的幀時間與 內插移動圖像vl2的幀時間相匹配。
[0120] 內插處理部件218為本發(fā)明專利圖像合成單元的一個實例。內插處理部件218使 用內插移動圖像vl2執(zhí)行再現(xiàn)移動圖像vlO的內插處理。內插處理部件218從時間控制部 件217取出從對再現(xiàn)移動圖像vlO進行解碼的解碼部件215所接收的再現(xiàn)移動圖像vlO的 幀圖像的當前幀的幀時間以及從對內插移動圖像vl2進行解碼的解碼部件216所接收的內 插移動圖像vl2的幀圖像。另外，內插處理部件218還從接收部件213所接收的內插信息 Π 0獲取所述幀時間的一個內插區(qū)域的坐標，并且組合處于再現(xiàn)移動圖像vlO的幀圖像的 坐標位置的內插移動圖像vl2的幀圖像。然后，內插處理部件218輸出通過使用內插移動 圖像vl2制作再現(xiàn)移動圖像vlO的移動圖像屏面的一個高質量部分區(qū)域（內插區(qū)域)所獲得 的被內插移動圖像vl3。
[0121] 可以在再現(xiàn)設備200的屏面上再現(xiàn)被內插移動圖像vl3,通過由編碼單元230將其 編碼為移動圖像將其存儲在傳輸與記錄單元240中，或者將其傳輸于另一個設備。
[0122] 內插單元210可以通過圖4中所示配置執(zhí)行內插處理，其中，使用用于內插再現(xiàn)移 動圖像vio的內插移動圖像V12和內插信息i 10、以高質量的內插移動圖像V12內插再現(xiàn)移 動圖像vlO的一部分。內插單元210可以通過執(zhí)行其中向高質量內插移動圖像vl2內插再 現(xiàn)移動圖像vio的一部分的內插處理增強用戶的觀看感受。
[0123] 以上，已經參照圖4描述了包括在根據本發(fā)明專利所述實施例的再現(xiàn)設備200中 內插單元210的所述功能配置實例。以下，將描述根據本發(fā)明專利一個實施例的內插移動 圖像生成單元120的一個操作實例。
[0124] [內插移動圖像生成單元的操作實例]
[0125] 圖5為描述根據本發(fā)明專利所述實施例的內插移動圖像生成單元120的所述操作 實例的流程圖。圖5中所示的流程圖為針對生成內插移動圖像vl2和內插信息Π 0時根據 本發(fā)明專利所述實施例的內插移動圖像生成單元120的所述操作實例。以下，將參照圖5 描述根據本發(fā)明專利所述實施例的內插移動圖像生成單元120的所述操作實例。
[0126] 首先，內插移動圖像生成單元120對(所編碼的)高質量移動圖像vll進行解碼，從 而生成一個所解碼的幀圖像(步驟S101)。幀圖像為其中設置了一個屏面的像素組的數(shù)據。
[0127] 當在步驟S101中生成高質量移動圖像vll的幀圖像時，內插移動圖像生成單元 120的內插指令單元121接下來獲取被指示為所解碼的幀圖像中的一個內插區(qū)域的信息 (步驟S102)。例如，用戶可以看到幀圖像，然后指示內插區(qū)域的坐標、寬度、以及高度。此 處，"用戶"可以包括再現(xiàn)再現(xiàn)移動圖像vl〇的用戶、來自分布再現(xiàn)移動圖像vl〇的分布服 務提供商的人(例如，為編輯再現(xiàn)移動圖像vl〇的編輯，或者，如果再現(xiàn)移動圖像vl〇為體育 移動圖像，為對體育比賽進行解說的體育解說員）等。另外，可以把用戶事先指示的或者通 過移動圖像識別過程自動抽取內插區(qū)域所獲得的區(qū)域的信息按行形式存儲在一個文件中， 其中，所述行包括內插區(qū)域的幀時間(幀序號)、坐標、寬度、以及高度。當生成內插移動圖像 時，讀取指示為內插區(qū)域的信息，并且獲取相應于每一個所解碼的幀的幀時間（幀序號）的 內插區(qū)域的信息。
[0128] 例如，移動圖像分析單元300可以通過使用面部識別、移動體識別、透視識別等技 術分析高質量移動圖像vll，自動地決定內插區(qū)域。另外，可以把用戶（再現(xiàn)再現(xiàn)移動圖像 V10的用戶、來自分布再現(xiàn)移動圖像V10的分布服務提供商的人等)的指定與移動圖像分析 單元300對移動圖像的分析相結合。存在著跟蹤用戶指示的對象的移動的移動圖像分析技 術。使用跟蹤對象的移動的移動圖像分析技術，例如，當用戶指示體育比賽的移動圖像中的 運動員時，移動圖像分析單元300可以跟蹤所指示的運動員的移動，并且可以把通過跟蹤 所獲得的一個區(qū)域設置為內插區(qū)域。
[0129] 內插指令單元121把根據用戶（再現(xiàn)再現(xiàn)移動圖像vlO的用戶、來自分布再現(xiàn)移動 圖像vio的分布服務提供商的人等）的指定或者圖像識別的結果所生成的內插區(qū)域的信息 (坐標、寬度、以及高度）提交于內插信息處理單元123。內插信息處理單元123把從內插指 令單元121傳送的內插區(qū)域的信息傳送于幀圖像抽取單元124。
[0130] 接下來，內插移動圖像生成單元120從幀圖像抽取單元124中所解碼的高質量移 動圖像vll的幀圖像抽取內插指令單元121所指定的(坐標、寬度、以及高度的)區(qū)域的像素 組(步驟S103)。
[0131] 當在步驟S103中從高質量移動圖像vll的幀圖像抽取所指定的(坐標、寬度、以及 高度的)區(qū)域的像素組時，內插移動圖像生成單元120接下來把所抽取的像素組設置為內插 區(qū)域的幀圖像，令編碼單元125對幀圖像進行編碼，然后把幀圖像寫入一個文件，從而生成 內插移動圖像vl2 (步驟S104)。
[0132] 在步驟S104的編碼期間，可以把編碼率決定為低于原始高質量移動圖像vll的編 碼率。在移動圖像的通常的編碼中，如果圖像尺寸(屏面中像素的面積，或者數(shù)目）小，則需 要維持相同圖像質量的編碼率可以低。因此，例如，可以根據高質量移動圖像vll與內插區(qū) 域的幀圖像的尺寸(面積)的比率決定編碼率。例如，如果面積比率為10:1，則編碼單元125 可以按商質量移動圖像vll的編碼率的10%的編碼率進行編碼。另外，編碼單兀125還可 以使用表面系統(tǒng)的S/N比特征決定編碼率。
[0133] 而且，內插移動圖像生成單元120致使內插信息處理單元123把高質量移動圖像 vll的幀圖像上的內插區(qū)域的幀時間（幀序號）和坐標、寬度、以及高度的信息記錄在文件 中，從而記錄了內插信息il〇 (步驟S105)。
[0134] 通過內插移動圖像生成單元120重復圖5中所示的操作系列至高質量移動圖像 vl 1的最后一個幀，生成通過從高質量移動圖像vl 1和內插信息i 10僅抽取內插區(qū)域所獲得 的內插移動圖像vl2,內插信息ilO中記錄了應該把內插移動圖像vl2設置其中的每一個 幀中的坐標。在其頂部，在內插信息i 10中，也可以記錄高質量移動圖像vll的整個圖像尺 寸、移動圖像內容的標題和標識符、以及有關內插移動圖像的內插名和內插標識符的信息。 如以上所描述的，與移動圖像內容一樣，把高質量移動圖像vll和再現(xiàn)移動圖像vl〇互相關 聯(lián)。于是，通過使用作內插移動圖像vl2的基礎的1?質量移動圖像vll的標題和標識符包 括在內插信息i 1 〇中，可以把所生成的內插移動圖像v 12與將內插的再現(xiàn)移動圖像v 10相 互關聯(lián)。另外，當針對一段移動圖像內容創(chuàng)建多個內插移動圖像vl2和多段內插信息Π 0 時，用戶可以通過使內插移動圖像v 12的內插名和內插標識符包括在內插信息i 10中，選擇 內插移動圖像。
[0135] 以上，已經參照圖5描述了根據本發(fā)明專利所述實施例的內插移動圖像生成單元 120的所述操作實例。以下，將描述根據本發(fā)明專利一個實施例的內插移動圖像生成單元 120的操作實例。
[0136] [內插移動圖像傳輸單元的操作實例]
[0137] 圖6和7為描述根據本發(fā)明專利所述實施例的內插移動圖像傳輸單元130的操作 實例的流程圖。圖6和7中所示的流程圖針對把內插移動圖像vl2和內插信息Π 0傳輸于 再現(xiàn)設備200時根據本發(fā)明專利所述實施例的內插移動圖像傳輸單元130的操作實例。以 下，將參照圖6和7描述根據本發(fā)明專利所述實施例的內插移動圖像傳輸單元130的操作 實例。
[0138] 首先，將描述把內插移動圖像vl2和內插信息ilO的一個列表傳輸于再現(xiàn)設備200 時執(zhí)行的內插移動圖像傳輸單元130的一個操作實例。內插移動圖像傳輸單元130的內插 列表管理單元133從再現(xiàn)設備200的內插單元210接收一個對內插移動圖像vl2和內插信 息i 10的請求(步驟S111)。從再現(xiàn)設備200所接收的請求包括一個用于表示移動圖像內容 的內容標識符。
[0139] 當在步驟S111中從內插單元210接收到所述請求時，內插列表管理單元133指定 從再現(xiàn)設備200所傳輸?shù)膬热輼俗R符，并且從內插記錄單元132獲取所保存的內插移動圖 像v 12和內插信息i 10的列表(步驟S112 )。把內插移動圖像v 12和內插信息i 10的列表包 括在內插名和內插標識符的行中。
[0140] 當在步驟S112中從內插記錄單元132獲取到內插移動圖像vl2和內插信息ilO 的列表時，內插列表管理單元133把所獲取的列表返回至再現(xiàn)設備200的內插單元210(步 驟 S113)。
[0141] 以下，將描述把內插移動圖像vl2和內插信息Π 0傳輸于再現(xiàn)設備200時所執(zhí)行 的內插移動圖像傳輸單元130的另一個操作實例。已經接收到內插移動圖像vl2和內插信 息i 10的列表的內插單元210決定應該獲取哪一內插移動圖像vl2和內插信息i 10,指定內 插標識符，然后請求內插移動圖像vl2和內插信息Π 0向內插移動圖像傳輸單元130的傳 輸。內插列表管理單兀133接收從內插單兀210所傳輸?shù)膫鬏攦炔逡苿訄D像vl2和內插信 息Π 0的請求(步驟S121)。
[0142] 當在步驟S121中接收到所述傳輸請求時，內插列表管理單元133指定傳輸單元 134中的內插單元210已經指定的內插標識符，然后指示內插移動圖像vl2和內插信息ilO 的傳輸(步驟S122)。
[0143] 當在以上所描述的步驟S122中內插列表管理單元133指示內插移動圖像vl2和 內插信息Π 0的傳輸時，傳輸單元134指定針對內插記錄單元132當內插區(qū)域，并且獲取內 插移動圖像vl2和內插信息ilO的文件，然后把所獲取的文件傳輸于內插單元210 (步驟 S123)。
[0144] 內插移動圖像傳輸單元130可以通過執(zhí)行圖6和7中所示的操作把使用內插移動 圖像vl2根據用于內插再現(xiàn)移動圖像vlO的高質量移動圖像vll和內插信息i 10所生成的 內插移動圖像vl2傳輸于再現(xiàn)設備200。
[0145] 以上，已經參照圖6和7描述了根據本發(fā)明專利所述實施例的內插移動圖像傳輸 單元130的操作實例。以下，將描述包括在根據本發(fā)明專利一個實施例的再現(xiàn)設備200中 的內插單元210的操作實例。
[0146] [內插單元的操作實例]
[0147] 圖8和9為描述包括在根據本發(fā)明專利所述實施例的再現(xiàn)設備200中的內插單元 210的操作實例的流程圖。圖8和9中所示的流程圖針對使用內插移動圖像vl2執(zhí)行再現(xiàn) 移動圖像vl〇的內插處理時包括在根據本發(fā)明專利所述實施例的再現(xiàn)設備200中的內插單 元210的操作實例。以下，將參照圖8和9描述包括在根據本發(fā)明專利所述實施例的再現(xiàn) 設備200中的內插單元210的操作實例。
[0148] 當再現(xiàn)設備200的用戶決定了在再現(xiàn)設備200中將加以再現(xiàn)的再現(xiàn)移動圖像vlO 時(步驟S131)時，內插移動圖像選擇部件214決定相應于所決定的再現(xiàn)移動圖像vlO的內 插移動圖像vl2和內插信息ilO (步驟S132)。內插移動圖像選擇部件214指定針對內插 移動圖像傳輸單元130的再現(xiàn)移動圖像vlO的內容標識符，并且獲取內插移動圖像傳輸單 元130所保存的內插移動圖像vl2和內插信息i 10的列表。內插移動圖像選擇部件214根 據所獲取的列表決定將用于內插處理的內插移動圖像vl2。例如，通過顯示內插移動圖像選 擇部件214所獲取的內插名的一個列表，以允許用戶從所獲取的列表選擇一個內插名，決 定將在內插處理中使用的內插移動圖像v 12。內插移動圖像選擇部件214請求所決定的內 插移動圖像vl2和內插信息ilO向內插移動圖像傳輸單兀130的傳輸。
[0149] 當內插移動圖像傳輸單元130根據所述請求傳輸了內插移動圖像vl2和內插信息 il〇時，內插單元210使用所傳輸?shù)膬炔逡苿訄D像v 12和內插信息i 10執(zhí)行從再現(xiàn)移動圖像 傳輸單元110傳輸?shù)脑佻F(xiàn)移動圖像vlO的內插處理(步驟S133)。圖9為描述步驟S133的 內插處理的細節(jié)的流程圖。
[0150] 接收再現(xiàn)移動圖像vl〇的接收部件211把所接收的再現(xiàn)移動圖像vlO提交于解碼 部件215,并且令解碼部件215對再現(xiàn)移動圖像vlO進行解碼。接收內插移動圖像vl2的接 收部件212把所接收的內插移動圖像vl2提交于解碼部件216,并且令解碼部件216對內插 移動圖像vl2進行解碼。接收內插信息ilO的接收部件213把所接收的內插信息Π 0提交 于內插處理部件218。
[0151] 對再現(xiàn)移動圖像vlO進行解碼的解碼部件215對再現(xiàn)移動圖像vlO的一個幀進行 解碼，從而生成所解碼的幀圖像(步驟S141 )。另外，解碼部件215還把此次所解碼的幀的幀 時間(幀序號）傳送于時間控制部件217。
[0152] 對內插移動圖像vl2進行解碼的解碼部件216對內插移動圖像vl2的一個幀進行 解碼，從而生成所解碼的幀圖像(步驟S144)。另外，解碼部件216還把此次所解碼的幀的幀 時間(幀序號）傳送于時間控制部件217。
[0153] 時間控制部件217比較再現(xiàn)移動圖像vlO和內插移動圖像vl2的幀時間（步驟 S142和S145)。如果幀時間與比較再現(xiàn)移動圖像vlO和內插移動圖像vl2的幀時間的結果 相同，則時間控制部件217把幀時間傳送于內插處理部件218。另一方面，當幀時間與比較 再現(xiàn)移動圖像vl〇和內插移動圖像vl2的幀時間的結果不相同時，時間控制部件217令幀 的解碼重復，直至幀時間變?yōu)橄嗤?。例如，時間控制部件217參照較晚幀時間(較高幀序號） 遺棄具有較早幀時間（較低幀序號）的移動圖像的幀圖像。然后，時間控制部件217指示解 碼部件215和216執(zhí)行下一個幀的解碼，并且重復比較過程，直至輸出具有與參照幀時間 (較晚幀時間）的時間相同時間的所解碼的幀圖像。
[0154] 如果再現(xiàn)移動圖像vlO和內插移動圖像vl2的幀時間相同，則內插處理部件218 放大或者縮小再現(xiàn)移動圖像vlO和內插移動圖像vl2的所解碼的幀圖像，以使所解碼的幀 圖像適合以下將加以描述的標準圖像尺寸(步驟S143和S146)。內插處理部件218決定每 一個所解碼的幀圖像的量值，以使再現(xiàn)移動圖像vlO的所解碼的幀圖像的尺寸與用作內插 移動圖像vl2的基礎的1?質量移動圖像vll的尺寸變?yōu)榕c標準圖像尺寸相同。內插處理部 件218可以從內插信息Π 0獲取用作內插移動圖像vl2的基礎的高質量移動圖像vll的尺 寸。
[0155] 圖11描述了步驟S143和S146中的放大與縮小過程。如圖11中所示，內插處理 部件218放大或者縮小再現(xiàn)移動圖像vlO和內插移動圖像vl2的所解碼的幀圖像，以使所 解碼的幀圖像適合標準圖像尺寸。
[0156] 例如，假設標準圖像尺寸為移動圖像的顯示屏面尺寸，而且，就屏面尺寸而言，關 系所再現(xiàn)移動圖像屏面〈顯示屏面〈原始高質量移動圖像屏面成立。在這一情況下，對于 每一個屏面尺寸的寬度和高度，針對標準圖像尺寸(此處，為移動圖像的顯示屏面的尺寸） 設置寬度BWX高度BH，針對再現(xiàn)移動圖像屏面尺寸設置寬度PWX高度PH，針對原始高質 量移動圖像屏面尺寸設置寬度HWX高度HH。例如，假設所再現(xiàn)移動圖像屏面的寬度PW為 640個像素，其高度PH為360個像素，標準圖像尺寸的寬度BW為1280個像素，其高度BH為 720個像素，以及原始高質量移動圖像屏面尺寸的寬度HW為1920個像素，其高度HH為1080 個像素。另外，針對內插移動圖像屏面尺寸設置寬度MWX高度MH。
[0157] 在這樣的情況下，內插處理部件218把再現(xiàn)移動圖像vlO的幀圖像放大至顯示屏 面尺寸。在以上所描述的實例中，由于就寬度和高度而言，像素的數(shù)目相差兩倍（BW=PXX2, BH=PHX 2)，所以內插處理部件218通過在兩個位置上垂直和水平排列再現(xiàn)移動圖像vlO的 幀圖像的每一個像素，把再現(xiàn)移動圖像vl〇的幀圖像放大至顯示屏面尺寸。
[0158] 另一方面，內插處理部件218縮小內插移動圖像vl2的幀圖像。按用作內插移動 圖像vl2的基礎的高質量移動圖像vll的圖像尺寸與顯示屏面尺寸之間的比率設置縮小的 量值。在以上所描述的實例中，垂直與水平像素的數(shù)目之間的比率為高質量移動圖像屏面 尺寸：標準圖像尺寸=3:2 (換句話說，BW=HWX2/3，BH=HHX2/3)。于是，內插處理部件218 通過把垂直和水平像素的數(shù)目減少為2/3縮小內插移動圖像vl2的幀圖像。例如，當內插 移動圖像vl2的幀圖像的寬度麗為192個像素以及高度MH為108個像素時，內插處理部 件218分別把內插移動圖像vl2的幀圖像的寬度縮小至128個像素，把其高度縮小至72個 像素。
[0159] 通過放大或者縮小幀圖像，如以上所描述的，內插處理部件218可以按標準圖像 尺寸（BWXBW的圖像尺寸中的面積）的相同坐標軸上的像素行處理再現(xiàn)移動圖像vlO的幀 圖像和內插移動圖像vl2的幀圖像。
[0160] 接下來，內插處理部件218從內插信息ilO獲取相應于從時間控制部件217給出 的幀時間的內插區(qū)域的坐標、寬度、以及高度信息。如以上所描述的，針對內插信息中的每 一幀時間描述了內插坐標，但坐標、寬度、以及高度為就原始高質量移動圖像Vll的圖像尺 寸而言的值。因此，內插處理部件218按與步驟S143和S146相同的方式把每一幀時間的 內插坐標的值改變?yōu)闃藴蕡D像尺寸的坐標、寬度、以及高度(步驟S147)。如以上所描述的， 例如，當高質量移動圖像vll小的圖像尺寸和標準圖像大的垂直與水平像素的數(shù)目的比率 為3:2時，如果高質量移動圖像vll中的內插區(qū)域的坐標[x，y]為[90, 60]時，內插處理部 件218把標準圖像尺寸上的內插區(qū)域的坐標設置為通過把內插區(qū)域的坐標值乘以2/3獲得 的[60, 40]。
[0161] 接下來，內插處理部件218在再現(xiàn)移動圖像vlO的幀圖像上執(zhí)行內插移動圖像vl2 的幀圖像的覆蓋描繪(像素的重寫）（步驟S148)。把覆蓋描繪在再現(xiàn)移動圖像vlO的幀圖 像上的內插移動圖像vl2的幀圖像的坐標設置為通過把內插信息ilO的相應幀時間的坐標 轉換為標準圖像尺寸上的坐標所獲得的坐標。由于進行量值改變和坐標轉換旨在使再現(xiàn)移 動圖像vlO的幀圖像、內插移動圖像vl2的幀圖像、以及內插坐標全都變?yōu)橄嗤瑯藴蕡D像尺 寸上的圖像(像素組）和像素坐標，所以內插處理部件218能夠處理以上按像素組和相同坐 標上的坐標位置描述的再現(xiàn)移動圖像vlO的幀圖像、內插移動圖像vl2的幀圖像、以及內插 坐標。
[0162] 內插單元210可以通過使用用于內插內插移動圖像vl2和再現(xiàn)移動圖像vlO的內 插信息il〇執(zhí)行圖8和9中所示的過程，執(zhí)行使用內插移動圖像vl2內插一部分再現(xiàn)移動 圖像vlO的內插處理。內插單元210可以通過執(zhí)行使用高質量內插移動圖像vl2內插所述 一部分再現(xiàn)移動圖像vlO的內插處理增強用戶的觀看感受。
[0163] [結論]
[0164] 在如以上所描述的根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1中，其中再 現(xiàn)移動圖像VlO為低質量的的顯示屏面的部分區(qū)域(例如，在體育廣播的情況下，其識別在 廣播的移動圖像中應該加以提高的運動員的面貌、得分顯示等的一個區(qū)域，或者在移動圖 像中其被視為重要的一個區(qū)域）被內插有高質量的內插移動圖像vl2。通過使用高質量的 內插移動圖像vl2內插低質量的再現(xiàn)移動圖像vlO,根據本發(fā)明專利所述實施例的移動圖 像再現(xiàn)系統(tǒng)1可以增強用戶的觀看感受。
[0165] 由于根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1僅傳輸包括從高質量移 動圖像vll而不是從整個原始高質量移動圖像vll所抽取的一個內插區(qū)域部分的內插移動 圖像vl2,所以移動圖像識別系統(tǒng)可以減少內插移動圖像vl2的信息量，并且可以降低編碼 率(傳輸率)。另外，由于在根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1中可以把再 現(xiàn)設備200配置為能夠在未被配置為具有對再現(xiàn)移動圖像vlO進行上變換的運算操作負載 和專用運算操作電路的情況下對坐標執(zhí)行運算操作以及對圖像進行組合，甚至是在再現(xiàn)設 備200的處理能力不強的情況下，所以能夠在不使再現(xiàn)設備200上過載的情況下，在再現(xiàn)設 備200中內插再現(xiàn)移動圖像vlO。
[0166] 在以上所描述的實例中，預先生成內插移動圖像vl2和內插信息i 10,并且作為一 個文件將它們存儲在內插移動圖像生成單元120中。本發(fā)明專利并不局限于這一實例?？?以把內插移動圖像vl2和內插信息Π0設置為能夠動態(tài)地加以生成。
[0167] 例如，再現(xiàn)設備200的再現(xiàn)單元220可以配有包括在內插移動圖像生成單元120 中的內插指令單元121。將示范性地描述其中用戶指示一個內插于再現(xiàn)移動圖像vlO的內 插區(qū)域，同時觀看再現(xiàn)移動圖像vlO的情況。內插指令單元121把內插區(qū)域的坐標、寬度、 以及高度和再現(xiàn)單元220中所再現(xiàn)的再現(xiàn)移動圖像vlO的內插屏面的圖像尺寸傳輸于內插 移動圖像生成單元120。針對從再現(xiàn)設備200所接收的內插區(qū)域的寬度、以及高度，內插移 動圖像生成單元120對也從再現(xiàn)設備200接收的內插屏面的尺寸進行坐標轉換，將其轉換 為相應于再現(xiàn)移動圖像vlO的高質量移動圖像vll的屏面的尺寸。這一過程是以上所描述 的步驟S143和S146的坐標轉換的逆轉換。然后，內插移動圖像生成單元120從高質量移動 圖像vll抽取所指定的一個區(qū)域(或者轉換之后的一個區(qū)域)，從而生成內插移動圖像vl2, 其還經由內插移動圖像傳輸單元130把內插移動圖像傳輸于內插單元210。
[0168] 另外，例如，將示范性地描述其中分布商在使用現(xiàn)場攝像機等的實時分布過程中 實時指示內插區(qū)域的情況。在這一情況下，實時移動圖像（由現(xiàn)場攝像機等生成的）相應于 以上所描述的高質量移動圖像Vll (原始移動圖像)。盡管移動圖像的分布商按小圖像尺寸 以低分布編碼率傳輸再現(xiàn)移動圖像vio,但分布商針對現(xiàn)場攝像機移動圖像實時生成的移 動圖像幀向內插移動圖像生成單元120指示一個作為內插區(qū)域的、可望觀看者對其加以關 注的區(qū)域。每次內插移動圖像生成單元120從現(xiàn)場攝像機接收移動圖像文件時，內插移動 圖像生成單元從所指示的區(qū)域抽取幀圖像，并且把幀圖像設置為內插移動圖像vl2的幀圖 像，然后把巾貞圖像和其內插信息il〇傳輸于內插移動圖像傳輸單兀130。內插移動圖像傳輸 單元130把內插移動圖像vl2的幀和再現(xiàn)移動圖像vlO實時地傳輸于內插單元210。
[0169] 為了在接收相應于再現(xiàn)屏面的內插移動圖像vl2的過程中減少內插單元210的 延遲，可以通過令再現(xiàn)移動圖像傳輸單元110和內插移動圖像傳輸單元130互相配合以匹 配移動圖像的傳輸時間，或者通過把再現(xiàn)移動圖像傳輸單元110和內插移動圖像傳輸單元 130安裝在同一設備中，使再現(xiàn)移動圖像vlO和內插移動圖像vl2的傳輸時間相匹配。另外， 在諸如現(xiàn)場攝像機等的實時分布的實例中，可以通過把從現(xiàn)場攝像機接收移動圖像的內插 移動圖像生成單元120與再現(xiàn)移動圖像傳輸單元110相集成，或者把內插移動圖像生成單 元120與內插移動圖像傳輸單元130相集成，把內插移動圖像的幀的生成與傳輸加以組合。
[0170] 另外，在以上所描述的實例中，當內插單元210的內插移動圖像選擇部件214決定 一個內插移動圖像時，指示用戶從內插列表選擇一個內插移動圖像，然而，本發(fā)明專利并不 局限于這一實例。例如，使用網絡上非常流行的內插目標、觀看者的偏好分析、內插目標的 過去選擇傾向等，內插移動圖像選擇部件214可以自動地選擇內插目標，或者推薦一個可 建議的內插目標。例如，內插移動圖像選擇部件214可以把觀看者多次選擇的運動員A自 動地選擇為內插目標，或者把運動員A作為可建議的內插目標加以推薦。
[0171] 對于為內插移動圖像vl2的抽取源的高質量移動圖像vll，例如，可以使用移動圖 像分布商保存的原始高質量移動圖像(高質量移動圖像的原始剪輯)，如以上所描述的。另 一方面，存在著其中不存在高質量移動圖像的這樣的原始剪輯的情況。例如，諸如個人制作 的隱私內容的移動圖像，或者過去制作的移動圖像，不具有高質量移動圖像的原始剪輯。在 這一情況下，可以把不具有高質量移動圖像的原始剪輯的移動圖像傳輸于，并且存儲在內 插移動圖像生成單元120中。另外，例如，使用以上所描述的JP2010-11448A中所公開的單 一移動圖像的高圖像質量操作和上變換技術，可以使內插移動圖像生成單元120生成高質 量移動圖像vll，并且可以把高質量移動圖像vll設置為內插移動圖像vl2的一個抽取源。
[0172] 在這一情況下，把針對高圖像質量過程的高負載運算操作或者具體電路賦予內插 移動圖像生成單元120而不是再現(xiàn)設備200。于是，即使當不存在高質量移動圖像的原始剪 輯，也可以減小再現(xiàn)設備200上的負載或者降低開銷，如果把針對高圖像質量過程的高負 載運算操作或者具體電路賦予內插移動圖像生成單元120,則可以把具有高性能的昂貴的 高圖像質量電路設置在內插移動圖像生成單元120中。另外，由于僅內插移動圖像生成單 元120可以執(zhí)行針對高圖像質量的運算操作，并且把所生成的高質量移動圖像vll存儲在 內插移動圖像生成單元120中，所以僅可一次執(zhí)行針對高圖像質量的運算操作。
[0173] 應該加以注意的是，對于移動圖像的網絡傳輸，公開了一種自動調整按MPEG-DASH (Dynamic Adaptive Streaming on HTTP (HTTP 上的動態(tài)自適應流）;作為 IS0/IEC23009-1 發(fā)表的）中傳輸路徑的傳輸率傳輸?shù)囊苿訄D像的編碼率的技術?？梢园袽PEG-DASH的技術 施用于本發(fā)明專利。
[0174] 例如，可以按多個編碼率對內插移動圖像vl2進行編碼，并且可以通過分段將其 設置為一個文件組，在內插移動圖像vl2的傳輸中可以使用MPEG-DASH的技術。另外，當使 用MPEG-DASH調整再現(xiàn)移動圖像vlO和內插移動圖像vl2兩者的傳輸率，可以設置兩者傳 輸率的上限和下限，以調整兩種移動圖像的傳輸率。
[0175] 例如，考慮這樣一種情況：其中，以5Mbps的傳輸頻帶開始移動圖像的傳輸，再現(xiàn) 移動圖像vio (從再現(xiàn)移動圖像傳輸單元110傳輸?shù)?的傳輸率為4Mbps，內插移動圖像V12 的傳輸頻帶為其余的1Mbps。在這一情況下，假設再現(xiàn)移動圖像vlO的傳輸率與內插移動圖 像vl2的傳輸率的比率為4:1。在MPEG-DASH中，測量移動圖像傳輸期間的實際率，并且根 據實際率調整移動圖像的傳輸率。在這一情況下，再現(xiàn)設備200通過合計兩種移動圖像的 實際傳輸率對實際傳輸率求和，把實際傳輸率的總和的4/5設置為再現(xiàn)移動圖像vlO的傳 輸率的上限，把實際傳輸率的總和的1/5設置為內插移動圖像vl2的傳輸率的上限，從而可 以調整兩種移動圖像的傳輸率。
[0176] 另外，以下將給出的描述包括改變作為內插移動圖像vl2傳輸?shù)膬炔鍏^(qū)域的尺寸 的方案。例如，存在著這樣一種情況：其中，盡管內插移動圖像屏面的總尺寸不改變，然而， 由于內插區(qū)域的面積，嵌入在屏面中的內插區(qū)域的像素量增加，或者將加以傳輸?shù)膬炔逡?動圖像組(所劃分的第二移動圖像組)的數(shù)目增加。換句話說，由于內插區(qū)域的尺寸，將加以 傳輸?shù)膬炔逡苿訄D像vl2的信息量增加。
[0177] 在所述方案的情況下，當再現(xiàn)設備200分配再現(xiàn)移動圖像vlO和內插移動圖像vl2 的比率時，在其中內插區(qū)域具有小尺寸期間，再現(xiàn)設備可以降低內插移動圖像vl2的比率， 并且在其中內插區(qū)域具有大尺寸期間，可以提高所述比率。
[0178] 另外，在MPEG-DASH中，提供在移動圖像接收側的、負責決定移動圖像傳輸率(換 句話說，選擇加以獲取的移動圖像文件)的內插單元210獲取內插信息ilO。由于當使用內 插信息Π 0時內插單元210預先知道未來移動圖像時間內插區(qū)域的尺寸，所以可以根據內 插區(qū)域的尺寸，預先進行內插移動圖像vl2的比率的分配。
[0179] < 2.實例 1 >
[0180] [概述]
[0181] 在以上所描述的實施例中，把內插區(qū)域的圖像原樣設置為移動圖像屏面。在這一 情況下，當然把內插區(qū)域的圖像尺寸視為可針對內插移動圖像vl2的每一個幀加以改變。 換句話說，把將在再現(xiàn)屏面中被內插的再現(xiàn)移動圖像vl〇的內插區(qū)域的尺寸被視為可頻繁 加以改變。當內插一個其中顯示體育內容中某一具體運動員的移動圖像屏面的區(qū)域時，例 如，內插區(qū)域隨運動員的移動變小或者變大。
[0182] 另一方面，大多數(shù)移動圖像編碼方案和解碼過程不處理不針對每一個幀改變尺寸 (移動圖像屏面的尺寸）的移動圖像。因此，將描述一個實例，該實例假設了這樣一種情況： 為了實現(xiàn)其中僅把內插區(qū)域設置為移動圖像屏面的內插移動圖像vl2,針對每一個幀改變 內插區(qū)域的尺寸。
[0183] 圖17描述了根據實例1的內插移動圖像vl2的內插區(qū)域的圖像尺寸和移動圖像 屏面的改變的一個實例。在實例1中，假設內插移動圖像V12的移動圖像屏面的寬度和高 度為圖17中所示所有幀的內插區(qū)域組中移動圖像屏面的最大寬度（麗）和最大高度（MH)。
[0184] 如圖17中所示，例如，當高質量移動圖像vll的幀0的內插區(qū)域的尺寸為 50X100,幀1的內插區(qū)域的尺寸為70X150,幀2的內插區(qū)域的尺寸為100X80時，幀2的 內插區(qū)域的寬度100為最大寬度（麗)，幀1的內插區(qū)域的高度150為最大高度（MH)。于是， 在本實例中，對于內插移動圖像V12的移動圖像屏面的圖像尺寸，把寬度麗固定為100,把 高度MH固定為150。把幀的內插區(qū)域的圖像尺寸限制為100X150。
[0185] 即使通過把所有幀的內插區(qū)域組中具有最大寬度（MW)和最大高度（MH)的區(qū)域設 置為內插區(qū)域改變幀的內插區(qū)域的尺寸，也把內插移動圖像vl2的移動圖像屏面的圖像尺 寸始終固定為100X150,并且可以在現(xiàn)存移動圖像編碼方案和解碼過程中加以處理。另外， 在本實施例中，還通過把所有幀的內插區(qū)域組中具有最大寬度（MW)和最大高度（MH)的區(qū) 域設置為內插區(qū)，生成能夠包括所有內插區(qū)域組的一個最小區(qū)域的內插移動圖像vl2。
[0186] 通過固定內插移動圖像vl2的移動圖像屏面的圖像尺寸，如以上所描述的，每一 個幀的內插區(qū)域的圖像尺寸不同于內插移動圖像vl2的移動圖像屏面的圖像尺寸。于是， 在本實例中，獨立于內插移動圖像V12的移動圖像屏面的圖像尺寸管理每一個幀的內插區(qū) 域的圖像尺寸。為了獨立于內插移動圖像vl2的移動圖像屏面的圖像尺寸管理每一個幀的 內插區(qū)域的圖像尺寸，在本實例中，把所述兩個尺寸寫入內插信息il〇。
[0187] 例如，內插移動圖像生成單元120在內插信息ilO的頭部中描述內插移動圖像vl2 的移動圖像屏面的尺寸（麗X ΜΗ)。由于在所有幀上固定內插移動圖像V12的移動圖像屏面 的尺寸，并且不改變所述尺寸，所以不必針對每一個幀描述所述尺寸。由于可以在每一個幀 中改變內插區(qū)域的位置和尺寸，所以針對每一個幀描述其尺寸。當內插單元210對內插移 動圖像ν12進行解碼時，解碼部件216通常把所解碼的幀圖像的尺寸作為信息加以返回，因 此，也可以從所解碼的幀圖像獲取內插移動圖像ν12的移動圖像屏面的尺寸。在這一情況 下，在內插信息il〇中可以僅描述內插區(qū)域的尺寸。
[0188] 以下，將描述內插移動圖像vl2的移動圖像屏面和內插區(qū)域的坐標。圖18描述了 內插移動圖像vl2的移動圖像屏面和所內插區(qū)域的坐標之間的關系。應該加以注意的是， 所述坐標指的是高質量移動圖像vll的移動圖像屏面上內插移動圖像vl2的移動圖像屏面 的內插區(qū)域的左上角的坐標。
[0189] 假設高質量移動圖像vll的圖像尺寸為寬度HWX高度HH，并且假設內插移動圖 像vl2的圖像尺寸為寬度麗X高度MH。另外，還假設每一個幀的內插區(qū)域的左上坐標為 [X，y]，并且假設內插區(qū)域的圖像尺寸為寬度DWX高度DH。
[0190] 如圖18中所示，假設把內插區(qū)域定位在高質量移動圖像vll的移動圖像屏面的右 下部分。例如，針對高質量移動圖像Vll的移動圖像屏面的尺寸，假設HW為1920,假設HH 為1080,假設內插區(qū)域的坐標[x，y]為[1850, 1000]，對于內插區(qū)域的尺寸，假設DW為50, 假設〇!1為70。在這一情況下，內插區(qū)域的右下坐標匕+01，7+0扣為[1900，1070]，它們包 括在高質量移動圖像vll的移動圖像屏面中。
[0191] 內插移動圖像屏面的尺寸不同于內插區(qū)域的尺寸，然而，如果把內插移動圖像vl2 的移動圖像屏面的坐標[X，y]設置為[1850, 1000]，如圖18中所示，則存在著其中內插區(qū) 域溢出高質量移動圖像vll的移動圖像屏面的情況。如果在所述實例中內插移動圖像vl2 的移動圖像屏面的圖像尺寸為100X150,如以上所描述的，并且從坐標[1850, 1000]抽取 100X150個圖像，則右下坐標[x+MW，y+MH]為[1950, 1150]，從而圖像溢出高質量移動圖像 vll 的屏面尺寸（HW=1920，HH=1080)。
[0192] 作為上述情況中所采取的一種方法，例如，內插單元210使將作為內插移動圖 像vl2的移動圖像屏面加以抽取的圖像的坐標偏至左上側，然后抽取所述圖像，以使 該圖像不溢出高質量移動圖像vll的移動圖像屏面。此處，假設在左上側將加以抽取 的圖像的坐標為抽取坐標[XX，yy]。例如，內插單元210把抽取坐標[XX，yy]設置為 [HW-MW，HH-MH] = [1820,930]，以使內插移動圖像vl2的移動圖像屏面的右下角與高質量移 動圖像vll的移動圖像屏面的右下邊界相適，然后把所述坐標設置為所述幀的內插移動圖 像vl2的移動圖像屏面的坐標。在這一情況下，由于內插移動圖像vl2的移動圖像屏面的 坐標[XX，yy]與內插區(qū)域的坐標[X，y]不同，所以最好分別管理兩組坐標。于是，在內插信 息ilO中，除了內插區(qū)域的坐標[x，y]之外，還針對每一個幀描述了包括內插區(qū)域的內插移 動圖像vl2的移動圖像屏面的坐標[XX，yy](當從高質量移動圖像vll的幀圖像抽取像素 值時所設置的坐標)。
[0193] 在圖18的實例中，把內插區(qū)域的坐標[x，y]和包括內插區(qū)域的內插移動圖像vl2 的移動圖像屏面的坐標[XX，yy]標在高質量移動圖像vll的移動圖像屏面的坐標軸上，然 而，本發(fā)明專利并不局限于這一實例。作為另一種方法，可以把內插移動圖像vl2的移動圖 像屏面的坐標描述為高質量移動圖像vll的移動圖像屏面上的坐標（[1820, 930])，并且可 以把內插區(qū)域的坐標描述為內插移動圖像vl2的移動圖像屏面中的坐標（[30, 70])。
[0194] 如以上所描述的，在本實例中，通過把內插移動圖像vl2的移動圖像屏面的圖像 尺寸設置為具有可以包括整個內插區(qū)域的最大寬度麗X最大高度MH，可以固定內插移動 圖像vl2的移動圖像屏面的圖像尺寸，并且可以把所有幀的內插區(qū)域包括在其中。因此， 由于內插區(qū)域的圖像尺寸不同于內插移動圖像vl2的移動圖像屏面的圖像尺寸，在本實例 中，在內插信息il〇中描述了兩者的尺寸，以能夠管理兩者尺寸，或者在內插單元210中的 解碼期間獲取內插移動圖像vl2的移動圖像屏面的圖像尺寸。
[0195] 另外，由于內插移動圖像vl2的移動圖像屏面的圖像尺寸不同于內插區(qū)域的尺 寸，所以可能出現(xiàn)其中內插移動圖像vl2的移動圖像屏面溢出高質量移動圖像vll的移動 圖像屏面的情況，如圖18中所示，于是，可以通過調整內插移動圖像vl2的移動圖像屏面的 坐標，把本實例設計為不使內插移動圖像vl2的移動圖像屏面溢出高質量移動圖像vll的 移動圖像屏面。因此，由于內插區(qū)域的圖像尺寸不同于內插移動圖像vl2的移動圖像屏面 的圖像尺寸，在本實例中，在內插信息il〇中描述了兩者的坐標，以能夠管理兩者坐標。
[0196] 內插單元210根據內插信息ilO中所描述的內插區(qū)域以及內插移動圖像vl2的移 動圖像屏面的坐標和尺寸信息從內插移動圖像vl2的移動圖像屏面抽取內插區(qū)域的圖像。 圖19描述了當內插單元210從內插移動圖像vl2的移動圖像屏面抽取內插區(qū)域的圖像時 所執(zhí)行的一個過程。
[0197] 首先，內插單元210根據內插移動圖像vl2的圖像屏面的坐標和內插區(qū)域的坐標 之間的差決定將從內插移動圖像vl2的移動圖像屏面抽取的內插區(qū)域的圖像的坐標。在圖 19中所示的實例中，內插單元210認為內插移動圖像vl2的移動圖像屏面為一個從高質量 移動圖像vll的移動圖像屏面上的坐標[1820,930]所抽取的圖像，而且內插區(qū)域位于高質 量移動圖像vll的移動圖像屏面上的坐標[1850, 1000]處。因此，內插單元210斷定通過 對內插移動圖像的幀3進行解碼所獲得的幀圖像中的坐標[30,70]為內插區(qū)域的坐標。然 后，內插單元210通過把坐標[30,70]設置為左上坐標抽取內插區(qū)域的尺寸為（50X70)的 圖像。最后，內插單元210把內插區(qū)域的坐標和尺寸從高質量移動圖像vll的移動圖像屏 面上的坐標和尺寸轉換為標準圖像的坐標和尺寸，然后執(zhí)行內插移動圖像vl2與再現(xiàn)移動 圖像vl〇的一個組合過程。
[0198] [內插單元的功能配置實例]
[0199] 以下，將描述用于執(zhí)行實例1的內插單元210的一個功能配置實例。圖12描述了 根據本發(fā)明專利一個實施例的實例1的內插單元210的所述功能配置實例。具體地講，圖 12描述了包括在內插單元210中的內插處理部件218的一個功能配置實例。
[0200] 如圖12中所示，把根據本發(fā)明專利所述實施例的實例1的內插處理部件218包括 圖像放大率改變部分301和304、內插坐標計算部分302、內插區(qū)域抽取部分303、以及幀圖 像組合部分305。
[0201] 圖像放大率（magnification)改變部分301和304通過放大或者縮小解碼部件 215和216解碼的幀圖像(像素組）改變量值。如以上本發(fā)明專利所述實施例中所描述的， 圖像放大率改變部分301和304把再現(xiàn)移動圖像vlO的幀圖像和內插移動圖像vl2的幀圖 像的量值改變?yōu)闃藴蕡D像尺寸。
[0202] 內插坐標計算部分302把原始高質量移動圖像vll的移動圖像屏面上內插移動圖 像vl2中的內插區(qū)域的坐標和圖像尺寸（寬度和高度）的值轉換為標準圖像尺寸，或者根據 內插處理部件218所獲取的內插信息Π 0決定一個將從內插移動圖像vl2的移動圖像屏面 抽取的內插區(qū)域。
[0203] 內插區(qū)域抽取部分303從通過對內插移動圖像進行解碼所獲得的所解碼的幀圖 像抽取內插區(qū)域的圖像。幀圖像組合部分305根據內插坐標計算部分302所計算的量值改 變之后的內插坐標把再現(xiàn)移動圖像v 10的幀圖像與內插區(qū)域抽取部分303所抽取的內插區(qū) 域的圖像加以組合。
[0204] 以上，已經描述了根據實例1的內插處理部件218的所述功能配置實例。以下，將 描述根據實例1的內插移動圖像生成單元120的一個操作實例。
[0205] [內插移動圖像生成單元的操作實例]
[0206] 圖13?15為描述根據實例1的內插移動圖像生成單元120的所述操作實例的流 程圖。應該加以注意的是，根據實例1的內插移動圖像生成單元120的配置與圖2中所示 的配置相同。以下，將參照圖13?15描述根據實例1的內插移動圖像生成單元120的所 述操作實例。
[0207] 內插指令單元121接收內插指令的輸入(步驟S201)。內插指令單元121獲取針對 高質量移動圖像vll各個幀的內插指令的信息，并且按文件、數(shù)據庫、內存等形式保存所有 幀的內插指令。內插指令的信息包括內插區(qū)域的幀時間、以及(左上)坐標和尺寸（寬度和高 度)。
[0208] 當內插指令單元121接收到內插指令的輸入時，內插信息處理單元123根據向內 插指令單元121的信息輸入決定內插移動圖像vl2的移動圖像屏面的尺寸（寬度MW和高度 MH)(步驟 S202)。
[0209] 圖14中的流程圖詳細描述了圖13的步驟S202中的內插信息處理單元123的操 作。首先，內插信息處理單元123把內插移動圖像vl2的移動圖像屏面的整個尺寸（寬度MW 和高度MH)初始化為0 (步驟S211)。
[0210] 然后，內插信息處理單元123獲取一個內插區(qū)域組的最大寬度和高度。如圖17中 所示，獲取內插區(qū)域組的最大寬度和高度。當獲取了內插區(qū)域組的最大寬度和高度時，內插 信息處理單元123從內插指令單元121獲取一個幀的一個被指示內插的區(qū)域(步驟S212)。 把被指示內插的區(qū)域的寬度設置為DW，把其高度設置為DH。把被指示內插的區(qū)域的區(qū)域設 置為DW，將其高度設置為DH。接下來，內插信息處理單元123把DW的值與麗的值加以比 較，把DH的值與MH的值加以比較，并且分別把較大的一個設置為麗和MH(步驟S213)。換 句話說，如果麗〈DW，則把麗更新為DW，如果MH〈DH，則把MH更新為DH。內插信息處理單元 123重復步驟S212和213的過程，直至達到高質量移動圖像vll的最后一個幀。
[0211] 在重復步驟S212和213的過程直至達到最后一個幀之后最終所獲得的MW和MH為 所有幀的內插區(qū)域組中最大的寬度和高度。內插信息處理單元123把MW和MH設置為內插 移動圖像vl2的移動圖像屏面的尺寸，并且把所述尺寸記錄在內插信息ilO中（步驟S214)。
[0212] 將返回圖13進行描述。當在步驟S202中決定了內插移動圖像vl2的移動圖像屏 面的尺寸時，則幀圖像抽取單元124根據內插移動圖像vl2的移動圖像屏面的尺寸從高質 量移動圖像Vll的每一個幀圖像抽取一個內插圖像(步驟S203)。
[0213] 圖15中所示的流程圖詳細描述了圖13的步驟S203的過程。解碼單元122決定 高質量移動圖像Vll的一個幀，并且把所解碼的幀圖像提交于幀圖像抽取單元124。另外， 解碼單元把所解碼的幀圖像的時間（幀序號)和幀的圖像尺寸（寬度HW和高度HH)提交于內 插信息處理單元123 (步驟S221)。
[0214] 內插信息處理單元123從內插指令單元121獲取相應于所解碼的幀的時間的垂直 區(qū)域指示信息(步驟S222)。此處，把被指示的內插區(qū)域的左上坐標(在高質量移動圖像vll 的移動圖像屏面上）設置為[X，y]，把寬度設置為DW，把高度設置為DH。
[0215] 接下來，內插信息處理單元123把將從高質量移動圖像vll的幀圖像加以抽取的 圖像的坐標[XX，yy]決定為內插移動圖像V12的移動圖像屏面(步驟S223)。決定加以抽取 的圖像的坐標[XX，yy]，如圖18中所示的。當從內插區(qū)域指示坐標[X，y]抽取內插移動圖 像vl2的移動圖像屏面的尺寸MWXMH時，內插移動圖像vl2的移動圖像屏面的右下坐標為 [x+MW，y+MH]。內插信息處理單元123把內插移動圖像vl2的移動圖像屏面的右下坐標與 高質量移動圖像vll的移動圖像屏面的尺寸HWXHH加以比較。當所抽取的區(qū)域的右端的 坐標[x+MW]處于HW內時，xx=x，當所述坐標超過HW時，xx=HW_MW。另外，當所抽取的區(qū)域 的右端的坐標[y+MW]處于HH內時，yy=y，當所述坐標超過HH時，yy=HH_MH。
[0216] 接下來，巾貞圖像抽取單元124獲取步驟S223中所決定的坐標[XX，yy]和內插移動 圖像vl2的移動圖像屏面的尺寸MWXMH，然后，從根據移動圖像屏面的坐標和尺寸所決定 的高質量移動圖像vll的幀圖像抽取一個區(qū)域的像素組(步驟S224)。
[0217] 接下來，編碼單元125把步驟S224中幀圖像抽取單元124所抽取的像素組編碼為 移動圖像，從而生成內插移動圖像vl2 (步驟S225)。將省略對用于生成內插移動圖像vl2 所進行的編碼的詳細描述，因為圖5的步驟S204中覆蓋了這一描述。
[0218] 另外，作為所述幀的內插信息，內插信息處理單元123記錄幀時間（幀序號)、指示 為內插區(qū)域的坐標[X，y]、內插區(qū)域的尺寸DWXDH、幀圖像抽取單元124從其抽取內插信息 Π 0中的圖像的坐標（內插移動圖像vl2的移動圖像屏面的坐標[XX，yy])(步驟S225)。
[0219] 重復步驟S2210?S225的過程直至達到高質量移動圖像vll的最后一個幀圖像。
[0220] 通過執(zhí)行如圖13?15中所示的操作，內插移動圖像生成單元120決定可以包括 其尺寸改變的整個內插區(qū)域組的內插移動圖像vl2的移動圖像屏面的尺寸，并且通過把尺 寸信息記錄在內插信息Π 0中，根據高質量移動圖像vll生成移動圖像屏面尺寸的內插移 動圖像vl2。然后，內插移動圖像生成單元120調整將針對每一個幀加以抽取的圖像的坐標 (內插移動圖像vl2的移動圖像屏面的坐標)，以使所述圖像不溢出高質量移動圖像vll的 移動圖像屏面，并且把原始內插坐標以及內插移動圖像vl2的移動圖像屏面的所抽取的圖 像的尺寸和坐標記錄為內插信息。經由諸如網絡的傳輸通路把內插移動圖像生成單元120 所生成的內插移動圖像vl2和內插信息Π 0傳輸于內插移動圖像傳輸單元130。
[0221] 以上，已經描述了根據實施例1的內插移動圖像生成單元120的所述操作實例。由 于根據實例1的內插移動圖像傳輸單元130的操作與圖6和7中所示的操作實例相同，所 以此處將省略對其的詳細描述。以下，將描述包括在根據實例1的內插單元210中的內插 處理部件281的一個操作實例。以下，將描述包括在根據實例1的內插單元210中的操作 實例。
[0222] [內插處理部件的操作實例]
[0223] 圖16為描述包括在根據實例1的內插單元210中的內插處理部件218的所述操 作實例的流程圖。以下，將參照圖16描述包括在根據實例1的再現(xiàn)設備200中的內插處理 部件218的所述操作實例。
[0224] 圖16描述了圖8的步驟S233的內插處理的細節(jié)。對再現(xiàn)移動圖像vlO進行解碼 的解碼部件215對再現(xiàn)移動圖像vlO的一個幀進行解碼，從而生成一個所解碼的幀圖像(步 驟S231)。另外，解碼部件215還把此次所解碼的幀的幀時間（幀序號）傳送于時間控制部 件 217。
[0225] 對內插移動圖像vl2進行解碼的解碼部件216對內插移動圖像vl2的一個幀進行 解碼，從而生成一個所解碼的幀圖像(步驟S233)。另外，解碼部件216還把此次所解碼的幀 的中貞時間(巾貞序號）傳送于時間控制部件217。
[0226] 時間控制部件217對所述時間進行匹配，以使再現(xiàn)移動圖像vlO的幀時間和內插 移動圖像vl2的幀時間同步(步驟S231和S233)。
[0227] 當時間控制部件217使再現(xiàn)移動圖像vlO的幀時間和內插移動圖像vl2的幀時間 同步時，則內插區(qū)域抽取部分303從內插移動圖像vl2的幀圖像抽取內插區(qū)域的一個圖像 (步驟S234)。如圖19中所示，進行內插區(qū)域的圖像的抽取。
[0228] 內插區(qū)域抽取部分303從目標幀時間的內插信息獲取內插移動圖像vl2的坐標 [XX，yy]。所述坐標為內插移動圖像生成單元120從高質量移動圖像vll的幀圖像抽取像 素的幀圖像和內插移動圖像vl2的幀圖像抽取像素時所獲得的坐標。例如，假設所述坐標 為[XX:1820,yy:930]。
[0229] 另外，內插區(qū)域抽取部分303還從目標幀時間的內插信息獲取內插區(qū)域的坐標 [X，y]。所述坐標為內插移動圖像生成單元120中針對其指示內插的區(qū)域的坐標。例如，假 設所述坐標為[X: 1850, y :1000]。
[0230] 當把內插移動圖像vl2的移動圖像屏面左上側設置為基點時將加以抽取的內 插移動圖像vl2的內插區(qū)域的坐標為[X-XX，y_yy]，就以上所描述的實例而言，得到坐標 [x-xx, y-yy] = [30, 70]
[0231] 接下來，內插區(qū)域抽取部分303從目標幀時間的內插信息獲取內插區(qū)域的尺寸 (寬度DW和高度DH)。例如，DW=50和DH=70。
[0232] 最后，內插區(qū)域抽取部分303從內插移動圖像vl2的左上坐標(在以上所描述的實 例中為（[30, 70])按內插區(qū)域的尺寸（DW=50和DH=70)抽取一個像素組。
[0233] 當內插區(qū)域抽取部分303抽取內插區(qū)域的圖像時，圖像放大率改變部分301和304 放大或者縮小再現(xiàn)移動圖像vlO和內插移動圖像vl2的所解碼的幀圖像，以適合標準圖像 尺寸（步驟S232和S235)。由于步驟S232和S235中所執(zhí)行的過程與圖9的步驟S143和 S146中所執(zhí)行的過程相同，所以省略了對它們的詳細描述。
[0234] 當圖像放大率改變部分301和304放大或者縮小再現(xiàn)移動圖像vlO和內插移動圖 像vl2的所解碼的幀圖像時，圖像放大率改變部分304還使用與步驟S232和S235的方法 相同的方法，把每一個幀時間的內插坐標的值改變?yōu)闃藴蕡D像尺寸的坐標、寬度、以及高度 (步驟S236)。然后，幀圖像組合部分305在再現(xiàn)移動圖像vlO的幀圖像上執(zhí)行內插移動圖 像vl2的幀圖像的覆蓋描繪(重寫像素）（步驟S237)。
[0235] 通過執(zhí)行如以上所描述的操作，包括在根據實例1的內插單元210中的內插處理 部件218可以在僅將其內插區(qū)域設置為移動圖像屏面的內插移動圖像vl2上執(zhí)行與再現(xiàn)移 動圖像vl〇的移動圖像屏面的內插組合。
[0236] 通過在僅將其內插區(qū)域設置為移動圖像屏面的內插移動圖像vl2上執(zhí)行與再現(xiàn) 移動圖像vl〇的移動圖像屏面的內插組合，內插移動圖像vl2的移動圖像屏面具有其中不 包括除所有幀的整個內插區(qū)域組之外的區(qū)域，而包括所有幀的整個內插區(qū)域組的最小圖像 尺寸。在實例1中，可以把內插移動圖像屏面的像素量縮小至最小。另外，即使當針對每一 個幀改變內插區(qū)域的尺寸時，也不改變內插移動圖像vl2的移動圖像屏面的尺寸，于是，可 以使用現(xiàn)存的移動圖像編碼過程和解碼過程。
[0237] 在實例1中，由于內插移動圖像vl2僅包括內插區(qū)域，不包括內插處理不需要的 區(qū)域，所以內插移動圖像vl2的移動圖像屏面可以小于高質量移動圖像vll的圖像尺寸。 通常，在所述移動圖像編碼方案中，當圖像的尺寸減小時，可以降低維持同樣移動圖像質量 (如原始高質量移動圖像vll)所需的編碼率，從而可以降低內插移動圖像vl2的編碼率。因 此，在實例1中，內插移動圖像vl2的編碼率能夠低于傳輸整個高質量移動圖像vll時的編 碼率。另外，由于內插移動圖像vl2的圖像尺寸小，所以也抑制了內插單元210上內插移動 圖像vl2的解碼過程的負擔。
[0238] 在移動設備和用戶設備中，例如，存在著其上僅安裝一個硬件解碼器的設備。當把 實例1施用于這樣的設備時，例如，所述硬件解碼器對再現(xiàn)移動圖像vlO進行解碼，可以令 具有小尺寸的內插移動圖像vl2經歷稱為軟件解碼(例如，通過CPU的運算操作的解碼）的 解碼過程。由于內插移動圖像vl2的圖像尺寸小，所以可以按軟件解碼對內插移動圖像vl2 進行解碼。
[0239] 另外，在以上所描述的實例中，已經描述了其中在一個再現(xiàn)移動圖像vlO的內插 操作期間提供一個內插移動圖像vl2的情況，然而，如以上所描述的本發(fā)明專利所述實施 例中所描述的，對于一個再現(xiàn)移動圖像v 1 〇，可能同時存在多個內插移動圖像v 12。例如，對 于名為"體育X"的移動圖像內容的再現(xiàn)移動圖像vl〇,可以使用稱為"運動員A"和"運動 員B"的兩個內插移動圖像執(zhí)行內插處理。在這一情況下，內插單元210的內插移動圖像選 擇部件214使用用戶的指令、用戶偏好的分析、網絡的普及等，通過自動判斷，請求"運動員 A"和"運動員B"兩者的內插移動圖像vl2以及內插信息ilO向內插移動圖像傳輸單元130 的傳輸。根據對所述多個內插移動圖像vl2以及內插信息ilO的接收，內插單元210同時 處理"運動員A"和"運動員B"的內插移動圖像vl2。另外，內插單元210還可以在從兩個 內插移動圖像vl2獲得的內插移動圖像上進行與再現(xiàn)移動圖像vlO的移動圖像屏面的內插 組合。
[0240] < 3.實例 2 >
[0241] [概述]
[0242] 以下，將描述本發(fā)明專利所述實施例的實例2。在實例1中，由于僅在內插區(qū)域上 聚焦內插移動圖像vl2的移動圖像屏面，所以當對于一個再現(xiàn)移動圖像vlO存在所述多個 內插區(qū)域(例如，"運動員A"和"運動員B"的兩個內插區(qū)域）時，針對每一個內插區(qū)域劃分 內插移動圖像vl2。為此，當針對所述一個再現(xiàn)移動圖像vlO處理所述多個內插區(qū)域時，內 插單元210針對每一個內插區(qū)域對內插移動圖像vl2進行一次解碼。
[0243] 在以下所描述的實例2中，多個內插區(qū)域的圖像將落入一個內插移動圖像vl2中。 因此，如果對內插移動圖像vl2進行一次解碼，內插單元210可以抽取內插區(qū)域的所有圖 像。
[0244] 圖24描述了根據實例2的內插移動圖像vl2的移動圖像屏面和內插區(qū)域之間的 關系的一個實例。
[0245] 在實例2中，把內插移動圖像vl2的移動圖像屏面的圖像尺寸設置為與原始高質 量移動圖像vll的移動圖像屏面的圖像尺寸相同。通過把內插移動圖像vl2的移動圖像屏 面的圖像尺寸設置為與原始高質量移動圖像vll的移動圖像屏面的圖像尺寸相同，在內插 移動圖像vl2中，確保了一個包括所有內插區(qū)域的原始高質量移動圖像vll的移動圖像屏 面的區(qū)域。
[0246] 接下來，當創(chuàng)建內插移動圖像vl2的每一個幀圖像時，內插移動圖像生成單元120 設置與內插區(qū)域的部分一樣多的相應于高質量移動圖像vll的幀圖像的區(qū)域的像素組。此 處，其中設置了像素值的坐標為高質量移動圖像vll的移動圖像屏面上的坐標(換句話說， 為內插移動圖像vl2的移動圖像屏面上的坐標)。內插移動圖像生成單元120使用無效像 素填充除內插移動圖像幀的內插區(qū)域之外的區(qū)域。
[0247] 在實例2中，無效像素指的是具有一個預定的像素值，以當在內插單元210中的內 插圖像的抽取期間將它們遺棄。例如，可以選擇亮度+顏色-差（YCbCr等）的值范圍中的 一個值、RGBA(RGB+α )的透明度的最大值、或者不出現(xiàn)于所有幀的像素的一個值，也可以把 一個特定的像素值決定為無效像素的值。把無效像素的值固定為不改變的一個值。
[0248] 因此，把內插移動圖像ν12的幀圖像形成為一個其中僅把從高質量移動圖像vll 的相應區(qū)域所獲取的有效像素組設置在內插區(qū)域中的幀圖像，并且使用無效像素填充除內 插區(qū)域之外的區(qū)域。另外，作為內插信息il〇,描述了幀中與內插區(qū)域的數(shù)目一樣多的矩形 內插區(qū)域的坐標。在圖24中的實例中，在某一幀中設置了 3個內插區(qū)域，在內插信息Π 0 中也描述3個矩形內插區(qū)域的坐標。不僅把內插區(qū)域的坐標、寬度、以及高度施用于原始高 質量移動圖像vll的移動圖像屏面，也施用于內插移動圖像V12的移動圖像屏面。其原因 在于，在本實例中，把內插移動圖像vl2的移動圖像屏面的圖像尺寸設置為與原始高質量 移動圖像vll的移動圖像屏面的圖像尺寸相同。
[0249] 當對內插移動圖像vl2進行編碼時，內插移動圖像生成單元120可以維持圖像的 質量，盡管其圖像尺寸與高質量移動圖像vll相同(在圖24的實例中，為1920X1080)，而且 編碼的編碼率低于高質量移動圖像vll的編碼率。其原因在于，由于在幀圖像中無效像素 部分具有固定的值，相鄰宏塊和幀之間沒有變化，因此編碼之后的信息量明顯降低。編碼之 后的大多數(shù)信息僅為其圖像改變的內插區(qū)域部分的信息。于是，即使根據其中內插區(qū)域的 像素值的總數(shù)目在所有幀中一個幀中的內插區(qū)域的最大面積決定編碼率，也能夠維持所編 碼的移動圖像的質量。
[0250] 在圖24的實例中，例如，在3個內插區(qū)域中，正方形內插區(qū)域具有200X 100=20000 個像素，三角形內插區(qū)域具有150X200/2=15000個像素，圓形內插區(qū)域具有80X80X π = 大約20000個像素，3個內插區(qū)域的像素的總和為大約55000個像素。由于原始高 質量移動圖像vll具有1920X1080=2073600個像素，所以內插區(qū)域的像素的比率為 55000 + 2073600=大約 2. 7%。
[0251] 當按4Mbps對高質量移動圖像vll進行編碼時，例如，如果內插移動圖像生成單元 120按根據面積比率簡單計算的4MbpsX 2. 7%=大約lOOKbsp進行編碼，可望內插移動圖像 vl2具有與高質量移動圖像vll -樣的質量。另外，當由于降低的編碼率而發(fā)現(xiàn)噪音時，內 插移動圖像生成單元120可以執(zhí)行考慮到編碼方案的S/N比特性的編碼或者對編碼率設置 下限。由于有效像素的數(shù)目少，即使內插移動圖像vl2的移動圖像屏面的圖像尺寸與以上 所描述的原始高質量移動圖像vll相同，內插移動圖像生成單元120也可以按考慮到有幀 中效像素的數(shù)目（內插區(qū)域中的像素的數(shù)目）的低編碼率對內插移動圖像vl2進行編碼。
[0252] 也將參照圖24概要地描述內插單元210。
[0253] 當抽取到內插區(qū)域的圖像時，內插單元210首先對內插移動圖像vl2的一個幀進 行解碼。如以上所描述的，如果內插單元210對內插移動圖像vl2的一個幀進行解碼，而不 管內插區(qū)域的數(shù)目如何，則可以抽取所有內插區(qū)域的圖像。
[0254] 接下來，內插單元210根據內插信息ilO從內插移動圖像vl2的幀圖像抽取包括 內插區(qū)域的矩形圖像。把內插信息il〇中所描述的坐標、寬度、以及高度施用于高質量移動 圖像vll的坐標和內插移動圖像vl2的移動圖像屏面上的坐標。其原因在于，在本實例中， 把內插移動圖像vl2的移動圖像屏面的圖像尺寸設置為與原始高質量移動圖像vll的移動 圖像屏面的圖像尺寸相同。換句話說，內插信息Π 0中所描述的坐標為其中令內插區(qū)域經 歷抽取的內插移動圖像vl2的移動圖像屏面上的坐標以及其中在內插處理期間設置內插 圖像的坐標(高質量移動圖像vll的移動圖像屏面上的)。
[0255] 然后，當無效像素包括在所抽取的矩形圖像中時，內插單元210遺棄無效像素部 分，接下來，僅針對其余有效像素執(zhí)行與再現(xiàn)移動圖像vlO的移動圖像屏面的內插組合。在 這一方式下，通過從從內插移動圖像vl2抽取的矩形圖像去除無效像素，在本實例中也可 以表示非矩形內插區(qū)域，如圖24中所示。例如，內插單元210可以按運動員的體形、人的面 部等抽取內插圖像。
[0256] 以上，已經概要地描述了根據所述實施例的施例2。以下，將描述根據實例2的內 插移動圖像生成單元120的一個操作實例。
[0257] [內插移動圖像生成單元的操作實例]
[0258] 圖20?圖22為描述根據實例2的內插移動圖像生成單元120的所述操作實例的 流程圖。注意，假設根據實例2的內插移動圖像生成單元120的配置與圖2中所示相同。以 下，將參照圖20?圖22描述根據實例2的內插移動圖像生成單元120的所述操作實例。
[0259] 內插指令單元121接收內插指令的輸入(步驟S301)。內插指令單元121獲取相對 高質量移動圖像vll的各個幀的內插指令的信息，并且按文件、數(shù)據庫、內存等形式保存所 有幀的內插指令。內插指令的信息包括內插區(qū)域的幀時間、以及(左上)坐標和尺寸（寬度和 高度)。在本實例中，可以輸入針對一個幀的多個區(qū)域的內插指令。
[0260] 當內插指令單元121接收到內插指令的輸入時，內插信息處理單元123獲取高質 量移動圖像Vll的幀組中的一個幀中具有最大面積(最大像素數(shù)目）的內插區(qū)域，然后決定 內插移動圖像V12編碼率(步驟S302)。
[0261] 圖21為步驟S302中所獲取的幀中具有最大面積(最大像素數(shù)目）的內插區(qū)域時所 執(zhí)行的操作細節(jié)的流程圖。
[0262] 首先，內插信息處理單元123把最大內插面積初始化為0 (步驟S311)。接下來， 內插信息處理單元123從內插指令單元121獲取一個幀的一個內插區(qū)域組(步驟S312)。
[0263] 然后，內插信息處理單元123計算所述幀的每一個內插區(qū)域的面積(像素數(shù)目），并 且把所述面積的總和設置為幀的內插區(qū)域面積(像素數(shù)目）（步驟S313)。應該加以注意的 是，當內插區(qū)域之間存在重疊部分時，內插信息處理單元123最好不對重疊部分執(zhí)行重復 的計算。步驟S313中所獲得的面積也稱為內插面積。
[0264] 接下來，內插信息處理單元123把最大內插面積與步驟S313中所獲得的內插面積 進行比較，如果步驟S313中所獲得的內插面積大，則用步驟S313中所獲得的內插面積的值 更新最大內插面積(步驟S314)。
[0265] 內插信息處理單元123重復步驟S312?S314中的過程，直至達到最后一個幀(步 驟S315)。當完成所述過程，達到最后一個幀時，內插信息處理單元123根據最大內插面 積、以及原始高質量移動圖像vll的面積和編碼率決定內插移動圖像vl2的編碼率(步驟 S316)。內插信息處理單元123可以使用以上所描述的高質量移動圖像vll的面積與最大 內插面積的比率決定編碼率，并且可以根據編碼方案的S/N比非線性地計算編碼率，也可 以設置編碼率的最低值。
[0266] 將返回至圖20進行描述。當決定了內插移動圖像vl2的編碼率時，幀圖像抽取單 元124根據高質量移動圖像vll生成內插移動圖像vl2 (步驟S303)。
[0267] 圖22為描述在步驟S303中根據高質量移動圖像vll生成內插移動圖像vl2時所 執(zhí)行的操作細節(jié)的流程圖。
[0268] 解碼單元122對高質量移動圖像vll的一個幀進行解碼(步驟S321)。以寬度HW 和高度HH設置高質量移動圖像vll的圖像尺寸。當解碼單元122對高質量移動圖像vll的 一個幀進行解碼時，則幀圖像抽取單元124準備一個針對內插移動圖像vl2的幀緩沖器(步 驟S322)。把包括寬度MW和高度MH的幀緩沖器的圖像尺寸設置為與高質量移動圖像vll 的圖像尺寸（寬度HW和高度HH)相同。另外，幀圖像抽取單元124還在幀緩沖器中設置與 針對所述幀所指示的內插區(qū)域的數(shù)目一樣多的內插區(qū)域的像素組。
[0269] 在準備好了幀緩沖器并且用無效像素加以填充之后，幀圖像抽取單元124接下來 獲取一個其中從內插信息處理單元123指示內插的區(qū)域(步驟S323)。
[0270] 當幀圖像抽取單元124獲取其中從內插信息處理單元123指示內插的區(qū)域時，從 從步驟S321的解碼過程所獲得的高質量移動圖像vll的幀圖像抽取所指示的區(qū)域的一個 像素組，然后將其設置在針對內插區(qū)域的幀緩沖器中（步驟S324)。假設所述設置的坐標、寬 度、以及高度與高質量移動圖像vll的坐標、寬度、以及高度相同。
[0271] 幀圖像抽取單元124針對針對所述幀所指示的每一個內插區(qū)域重復步驟S324的 過程一次(步驟S325)。在幀圖像抽取單元124針對針對所述幀所指示的每一個內插區(qū)域重 復步驟S324的過程一次之后，編碼單元125針對一個幀執(zhí)行一個后過程，從而生成內插移 動圖像vl2 (步驟S326)。
[0272] 在幀圖像抽取單元124所產生的幀緩沖器中，把高質量移動圖像vll的像素組設 置在內插區(qū)域組中，并且把無效像素組設置在除內插區(qū)域組之外的區(qū)域中。編碼單元125 按步驟S302中所獲得的編碼率對幀緩沖器進行編碼，從而生成內插移動圖像vl2。
[0273] 內插信息處理單元123把有關幀的內插區(qū)域的信息記錄在內插信息ilO中。所記 錄的信息包括幀時間（或者幀序號)、以及矩形內插區(qū)域的坐標、寬度、以及高度。所述值為 有關1?質量移動圖像vll的移動圖像屏面的值和有關內插移動圖像vl2的移動圖像屏面的 值。當一個幀中存在多個內插區(qū)域時，內插信息處理單元123把圖24中所示的所述多個內 插區(qū)域的信息作為內插信息i 10加以記錄。
[0274] 重復步驟S321?S326中的過程，直至達到最后一個幀。
[0275] 通過執(zhí)行圖20?22在中所示的操作，根據實例2的內插移動圖像生成單元120 可以創(chuàng)建其中把高質量移動圖像vll的像素組設置在內插區(qū)域以及把無效像素設置在除 內插區(qū)域之外的區(qū)域中的內插移動圖像vl2和其中針對一個幀描述一或多個像素組的信 息的內插信息il〇。把內插移動圖像生成單元120所創(chuàng)建的內插移動圖像vl2和內插信息 il〇傳輸于內插移動圖像傳輸單元130,并且將它們存儲在內插移動圖像傳輸單元130中。
[0276] 以上，已經參照圖20?22描述了根據施例2的內插移動圖像生成單元120的所 述操作實例。由于根據實例2的內插移動圖像傳輸單元130的操作與圖6和7中所示的操 作實例相同，所以此處將省略對其的詳細描述。以下，將描述根據實例2的21的一個操作 實例。
[0277] [內插單元的操作實例]
[0278] 圖23為描述根據實例2的內插單元210的所述操作實例的流程圖。應該加以注意 的是，假設根據實例2的內插移動圖像傳輸單元130的配置與圖4中所示的配置相同。以 下，將參照圖23描述據實例2的內插單元210的所述操作實例。
[0279] 圖23描述了圖8的步驟S133的內插處理的細節(jié)。對再現(xiàn)移動圖像vlO進行解碼 的解碼部件215對再現(xiàn)移動圖像vlO的一個幀進行解碼，從而生成一個所解碼的幀圖像(步 驟S331)。另外，解碼部件215還把此次所解碼的幀的幀時間（幀序號）傳送于時間控制部 件 217。
[0280] 對內插移動圖像vl2進行解碼的解碼部件216對內插移動圖像vl2的一個幀進行 解碼，從而生成一個所解碼的幀圖像(步驟S333)。另外，解碼部件216還把此次所解碼的幀 的中貞時間(巾貞序號）傳送于時間控制部件217。
[0281] 時間控制部件217對所述時間進行匹配，以使再現(xiàn)移動圖像vlO的幀時間和內插 移動圖像vl2的幀時間同步(步驟S331和S333)。
[0282] 當時間控制部件217使再現(xiàn)移動圖像vlO的幀時間和內插移動圖像vl2的幀時間 同步時，則內插區(qū)域抽取部分303從內插移動圖像vl2的幀圖像抽取內插區(qū)域的圖像。執(zhí) 行內插區(qū)域的圖像的抽取，如下。
[0283] 內插區(qū)域抽取部分303從將加以抽取的幀的幀時間的內插信息獲取內插區(qū)域的 坐標[x，y]、寬度麗、以及高度MH，然后從內插移動圖像vl2的幀圖像抽取所述區(qū)域的像素 組(步驟S334)。
[0284] 接下來，內插區(qū)域抽取部分303從所抽取的像素組（內插圖像)中遺棄無效像素(步 驟S335)。例如，如果將加以處理的圖像的圖像格式為具有阿爾法通道的圖像格式，則內插 區(qū)域抽取部分303把所抽取的像素組（內插圖像）的透明度設置為最大。另外，如果將加以 處理的圖像的圖像格式為不具有阿爾法通道的圖像格式，例如，則在以后的內插合成期間 跳過無效像素。
[0285] 當內插區(qū)域抽取部分303抽取內插的圖像時，圖像放大率改變部分301和304放 大或者縮小再現(xiàn)移動圖像vlO和內插移動圖像vl2的所解碼的幀圖像，以適合標準圖像尺 寸(步驟S332和S236)。由于步驟S332和S336中所執(zhí)行的過程與圖9的步驟S143和S146 中所執(zhí)行的過程相同，所以省略了對它們的詳細描述。
[0286] 當圖像放大率改變部分301和304放大或者縮小了再現(xiàn)移動圖像vlO和內插移動 圖像vl2的所解碼的幀圖像時，圖像放大率改變部分304還按與步驟S332和S336相同的 方式改變每一個幀時間的內插坐標的值，以適合標準圖像尺寸的坐標、寬度、以及高度(步 驟 S337)。
[0287] 針對將加以處理的所有幀的內插區(qū)域重復以上所描述的步驟S334和S337 (步驟 5338) 。
[0288] 幀圖像組合部分305在再現(xiàn)移動圖像vlO的幀圖像上執(zhí)行已經根據標準圖像尺 寸的坐標系改變了其量值的內插移動圖像vl2的幀圖像的覆蓋描繪(重寫的像素)，其中，所 述再現(xiàn)移動圖像vlO的幀圖像為已經根據標準圖像尺寸同樣改變了其量值的幀圖像(步驟 5339) 。當存在多個內插區(qū)域時，幀圖像組合部分305執(zhí)行與內插區(qū)域的數(shù)目一樣多數(shù)目的 覆蓋描繪(像素的重寫)。如針對步驟S335所描述的，依據幀圖像的格式，幀圖像組合部分 305可以跳過步驟S339的描繪階段中的無效像素，從而可以僅組合有效像素。
[0289] 通過執(zhí)行以上所描述的操作，包括在根據本發(fā)明專利實例2的內插單元210中的 內插處理部件218可以在僅具有作為移動圖像屏面的內插區(qū)域的內插移動圖像vl2上執(zhí)行 與再現(xiàn)移動圖像vlO的移動圖像屏面的內插組合，甚至是當一個幀具有多個內插區(qū)域時。
[0290] 在實例2中，即使一個幀具有多個內插區(qū)域，也根據內插區(qū)域的面積將內插移動 圖像vl2設置為1，其編碼率可以低于高質量移動圖像vll的編碼率。例如，隨著移動設備 和用戶設備硬件容量的提高，可以同時執(zhí)行兩個移動圖像的硬件解碼。把具有如此配置的 設備配置為同時執(zhí)行實例2的再現(xiàn)移動圖像vlO和內插移動圖像vl2的兩個移動圖像的 硬件解碼，從而可以使用多個內插區(qū)域內插再現(xiàn)移動圖像vl〇,同時有效地使用硬件解碼的 組。
[0291] 可以針對一段移動圖像內容創(chuàng)建多個內插移動圖像vl2。例如，對于"體育X"的 移動圖像內容，也可以創(chuàng)建僅"運動員A"的內插移動圖像vl2,或者"運動員A和運動員B" 的內插移動圖像vl2。當針對一段移動圖像內容創(chuàng)建多個內插移動圖像vl2時，內插單元 210的內插移動圖像選擇部件214可以通過列舉內插名令用戶選擇內插移動圖像v 12，根據 觀看者的偏好或者Internet的普及，或者向用戶推薦的內插移動圖像自動地選擇內插移 動圖像vl2。
[0292] 另外，在實例2中，還把所述多個內插區(qū)域包括在一個內插移動圖像vl2中，然而， 內插單元210可以使用所述多個內插移動圖像vl2同時執(zhí)行內插處理。例如，當體育移動 圖像的內容中存在10個運動員時，內插移動圖像生成單元120預先創(chuàng)建多個包括具有2? 3個運動員的內插區(qū)域組的內插移動圖像。內插單元210可以在各組中"運動員A和運動 員B"的內插移動圖像vl2以及"運動員Μ和運動員N"的內插移動圖像vl2上執(zhí)行內插處 理。
[0293] 另外，在以上所描述的實例2中，把內插移動圖像vl2的每一個幀屏面上的內插 區(qū)域的坐標、寬度、以及高度設置為內插信息il〇中所描述的，然而也可以不提供內插信息 il〇。當不提供內插信息il〇時，內插移動圖像生成單元120僅生成內插移動圖像vl2,不生 成內插信息il〇。內插移動圖像傳輸單元也僅保存內插移動圖像vl2,并且把內插移動圖像 傳輸于再現(xiàn)設備200。
[0294] 另外，當不提供內插信息i 10時，內插單元210的內插處理部件218掃描內插移動 圖像vl2的所解碼的幀圖像的所有像素，然后僅抽取有效像素。當通過硬件從內插移動圖 像vl2的幀圖像抽取內插圖像時，掃描所有像素和僅抽取有效像素有助于電路的簡化與加 速。另一方面，當通過程序從內插移動圖像vl2的幀圖像抽取內插圖像時，有關其像素應被 抽取的模式的信息的預提供有助于過程的優(yōu)化?？梢杂蓛炔逡苿訄D像vl2的屏面尺寸取代 需要轉換為標準圖像尺寸的原始高質量移動圖像vll的屏面尺寸。其原因在于，在實例2 中，原始高質量移動圖像vll的屏面尺寸與內插移動圖像vl2的屏面尺寸相同。
[0295] 如以上所描述的，通過使用所述多個內插區(qū)域填充內插移動圖像vl2以及使用無 效像素填充除內插區(qū)域之外的區(qū)域，實例2的優(yōu)點在于，盡管存在著所述多個內插區(qū)域，但 對一個內插移動圖像vl2進行解碼足以。特別是，如以上所描述的，當在能夠同時對兩個移 動圖像進行硬件解碼的設備中執(zhí)行內插處理時，可以利用這一優(yōu)點。另外，在實例2中，也 可以表示非矩形內插區(qū)域。盡管內插移動圖像vl2具有矩形形狀，但由于在內插處理中遺 棄了無效像素，所以用于內插的內插圖像(在遺棄無效像素之后)可具有任意形狀。例如，內 插區(qū)域可以適合于運動員的體形，也可以適合作為面部識別結果的人的面部形狀，因此，本 實例能夠執(zhí)行更自然的內插處理。
[0296] 注意，實例2的內容也適用于實例1。通過把實例2的內容施用于實例1，在實例 1中，可以展現(xiàn)這樣的效果：能夠表示這樣的非矩形內插區(qū)域，能夠減少非內插區(qū)域的信息 量，而且不必獨立地管理內插移動屏面的坐標。
[0297] 圖26描述了當把實例2的內容施用于實例1時所展現(xiàn)的效果。通過把實例2的 內容施用于實例1，根據本實例的移動圖像再現(xiàn)系統(tǒng)1可以表示非矩形內插區(qū)域，如"幀〇" 所示。在實例1中，僅把一個內插區(qū)域設置為內插移動圖像vl2。通過把實例2的內容施用 于實例1，根據本實例的移動圖像再現(xiàn)系統(tǒng)1可以把無效像素設置在內插移動圖像vl2的移 動圖像屏面中，而且，在內插單元210的內插組合期間，能夠在呈任意形狀的內插區(qū)域上執(zhí) 行內插組合。
[0298] 在圖26的幀0的實例中，為了表示圓形內插區(qū)域，把一個包括圓形內插區(qū)域的矩 形設置為內插移動圖像vl2的移動圖像屏面，并且使用無效像素填充除了圓形內插區(qū)域的 部分。通過把實例2的內容施用于實例1，根據本實例的移動圖像再現(xiàn)系統(tǒng)1可以通過在內 插單元210所執(zhí)行的內插組合期間去除無效像素，在圓形內插區(qū)域上進行內插組合。
[0299] 通過把實例2的內容施用于實例1，根據本實例的移動圖像再現(xiàn)系統(tǒng)1可以減少非 內插區(qū)域的信息量，如幀1所示。在實例1中，內插區(qū)域的圖像尺寸針對每一個幀改變，另 一方面，內插移動圖像vl2的移動圖像屏面的圖像尺寸固定，如圖17中所描述的。為此，在 實例1中，內插移動圖像vl2的移動圖像屏面的圖像尺寸為所有幀的內插區(qū)域組的最大寬 度X最大高度。因此，即使一個幀的內插區(qū)域的尺寸小，也把有關除所述小內插區(qū)域之外 的區(qū)域的像素信息提供于內插移動圖像vl2的幀。
[0300] 通過把實例2的內容施用于實例1，在根據本實例的移動圖像再現(xiàn)系統(tǒng)1中的內插 移動圖像V12的每一個幀圖像中，使用無效像素填充除幀的內插區(qū)域之外的區(qū)域，從而不 改變無效像素部分的值，因此能夠減少幀的移動圖像編碼期間的信息量。
[0301] 在圖26的幀1的實例中，內插移動圖像vl2的移動圖像屏面具有為所有幀的最大 寬度和最大高度的圖像尺寸：MW=l〇〇和MH=100。當幀的內插區(qū)域具有小于上述圖像尺寸的 寬度50X高度60的尺寸時，根據本實例的移動圖像再現(xiàn)系統(tǒng)1能夠通過使用無效像素填 充除內插區(qū)域之外的區(qū)域減少對幀進行編碼時的信息量。
[0302] 通過把實例2的內容施用于實例1，在根據本實例的移動圖像再現(xiàn)系統(tǒng)1中，不必 獨立地管理內插移動圖像屏面的坐標，如幀2所表示的。在實例1中，當把內插區(qū)域定位在 高質量移動圖像vll的移動圖像屏面的右端或者左端時，如圖18中所描述的，存在著這樣 一種情況：其中，由于內插移動圖像vl2的移動圖像屏面的圖像尺寸為固定的，內插移動圖 像vl2的移動圖像屏面溢出高質量移動圖像vll的移動圖像屏面。因此，為了通過令內插 移動圖像vl2的移動圖像屏面偏向左或上側，而不使內插移動圖像vl2的移動圖像屏面溢 出高質量移動圖像vll的移動圖像屏面，與內插移動圖像vl2的移動圖像屏面的內插區(qū)域 的坐標相獨立地管理所述內插區(qū)域的坐標。
[0303] 通過把實例2的內容施用于實例1，在根據本實例的移動圖像再現(xiàn)系統(tǒng)1中，可 以共同管理內插移動圖像vl2的移動圖像屏面和內插區(qū)域的坐標，同時通過使用無效像素 填充溢出區(qū)域固定內插移動圖像vl2的移動圖像屏面的圖像尺寸，甚至是當內插移動圖像 vl2的移動圖像屏面溢出高質量移動圖像vll的移動圖像屏面時。
[0304] 在圖26的幀2的實例中，盡管內插移動圖像vl2的移動圖像屏面的圖像尺寸 為MW=100XMH=100,但內插區(qū)域的坐標為[1840,1000]。如果按這一狀態(tài)照原樣抽取 100X100的像素組，則內插移動圖像vl2的移動圖像屏面溢出高質量移動圖像vll的移動 圖像屏面。于是，根據本實例的移動圖像再現(xiàn)系統(tǒng)1能夠在不必使內插移動圖像vl2的移 動圖像屏面坐標偏離內插區(qū)域的坐標，并且參照高質量移動圖像vll的移動圖像屏面的像 素組的情況下，僅管理一種溢出區(qū)域(換句話說，僅管理除內插區(qū)域之外的區(qū)域）的坐標。
[0305] 圖25為描述當把實例2的內容施用于實例1時所執(zhí)行的內插移動圖像生成單元 120的一個操作實例的流程圖。圖25描述了當從高質量移動圖像vll抽取內插移動圖像 vl2的移動圖像屏面的圖像時所執(zhí)行的內插移動圖像生成單元120的所述操作實例。
[0306] 首先，解碼單元122按與圖15的步驟S221相同的方式對高質量移動圖像vll的 一個幀進行解碼，并且把所解碼的幀圖像提交于幀圖像抽取單元124。另外，還把所解碼的 幀圖像的時間（或者幀序號）以及幀的圖像尺寸（寬度HW和高度HH)提交于內插信息處理單 元 123 (步驟 S341)。
[0307] 內插信息處理單元123從內插指令單元121獲取相應于所解碼的幀圖像的時間的 內插區(qū)域指示信息(步驟S342)。此處，把所指示的內插的區(qū)域(在高質量移動圖像vll的移 動圖像屏面上）的左上部分的坐標設置為[x，y]，把其寬度設置為DW，把其高度設置為DH。
[0308] 接下來，幀圖像抽取單元124準備一個針對內插移動圖像vl2的移動圖像屏面的 幀緩沖器。幀緩沖器的寬度HW和高度HH為圖13的步驟S202中所決定的圖像尺寸。然后， 使用無效像素填充幀緩沖器(步驟S343)。
[0309] 接下來，幀圖像抽取單元124從高質量移動圖像vll抽取內插區(qū)域的像素組，并且 將像素組設置在內插移動圖像vl2的幀緩沖器中（步驟S344)。幀圖像抽取單元124抽取高 質量移動圖像上的具有坐標[x，y]以及尺寸（寬度DWX高度DH)的像素組。然后，幀圖像 抽取單元124從內插移動圖像vl2的移動圖像屏面的幀緩沖器的坐標[0, 0]開始設置所抽 取的像素組。
[0310] 于是，在內插移動圖像vl2的寬度MWX高度ΜΗ的移動圖像屏面上，把有效像素設 置在內插區(qū)域(寬度DWX高度DH)中，把無效像素設置在除內插區(qū)域之外的區(qū)域中，從而創(chuàng) 建了其圖像尺寸固定為寬度MWX高度ΜΗ的內插移動圖像ν12的移動圖像屏面幀圖像。
[0311] 接下來，編碼單元125對步驟S344中所生成的內插移動圖像ν12的移動圖像屏面 的幀圖像進行編碼(步驟S345)。根據所有幀的內插區(qū)域中的最大內插面積以及原始高質量 移動圖像的面積和編碼率決定步驟S345中的編碼率。如以上所描述的，編碼單元125可以 根據面積比率決定所述比率，可以根據編碼方案的S/N比非線性地計算所述比率，也可以 設置最低編碼率。在實例1中使用了內插移動圖像面積，但當把實例2施用于實例1時，可 以使用包括在移動圖像屏面中的內插區(qū)域的面積，從而進一步降低了編碼率。
[0312] 另外，作為內插信息ilO,描述了幀時間(或者幀序號)、以及內插區(qū)域的坐標[X，y] 和尺寸DWXDH。由于內插移動圖像vl2的移動圖像屏面的坐標與內插區(qū)域的左上坐標相 同，所以，與實例1中不同，不能夠獨立地描述內插移動圖像的坐標。
[0313] 應該加以注意的是，可以不在內插信息ilO中描述尺寸DWXDH。僅當從內插移 動圖像vl2的移動圖像屏面的幀圖像遺棄無效像素時，內插處理部件218才可以抽取有效 像素，而不管是否提供了有關尺寸的信息。當通過硬件執(zhí)行從內插移動圖像vl2的幀圖像 的內插圖像的抽取時，如在實例2中，像素的簡單掃描可以簡化電路，當通過軟件進行抽取 時，可以通過有關矩形的信息的預提供獲得所述過程的優(yōu)化。
[0314] 如以上所描述的，通過把實例2施用于實例1，根據本實例的移動圖像再現(xiàn)系統(tǒng)1 可以表示非矩形內插區(qū)域，通過減少非內插區(qū)域的信息量提高編碼效率，并且能夠共同管 理內插移動圖像和內插區(qū)域的坐標。
[0315] < 4.實例 3 >
[0316] [概述]
[0317] 以下，將描述本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1的另一個實例。在實 例3中，不根據每一內插指令創(chuàng)建內插移動圖像vl2,例如，而是按貼片形狀把高質量移動 圖像vll的屏面區(qū)域劃分成多個區(qū)域，以預先準備一個劃分屏面的移動圖像組，其中，把每 一個矩形貼片(所劃分的屏面）設置為移動圖像，并且把所述劃分屏面的移動圖像組設置為 內插移動圖像vl2。接下來，根據內插指令，僅生成其中記錄了針對每一個幀的內插區(qū)域的 內插信息il〇。內插單元210獲取相應于內插區(qū)域的劃分屏面的移動圖像（內插移動圖像 vl2)組，從劃分屏面的移動圖像組抽取內插區(qū)域的像素組，然后執(zhí)行針對像素組的內插組 合。
[0318] 在實例3中，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1展現(xiàn)了這樣的效 果：內插移動圖像的數(shù)目能夠始終維持均勻，能夠通過預先生成內插移動圖像迅速獲取相 應于一個內插區(qū)域的內插移動圖像V12,而不管內插指令如何。
[0319] 圖32?34描述了實例3的操作梗概。
[0320] 內插移動圖像生成單元120預先把高質量移動圖像vll的屏面劃分為多個部分屏 面，如圖32中所示，而不管內插指令存在與否。此處，為了便于描述，把每一個所劃分的矩 形部分屏面稱為"貼片"。換句話說，內插移動圖像生成單元120沿水平方向把高質量移動 圖像vll的屏面劃分為TX個貼片，沿垂直方向把高質量移動圖像vll的屏面劃分為TY個 貼片。
[0321] 然后，內插移動圖像生成單元120通過執(zhí)行針對高質量移動圖像vll的所有幀上 的每一個貼片的移動圖像編碼，生成劃分屏面的移動圖像組，并且把劃分屏面的移動圖像 組作為一組內插移動圖像vl2對待。如果把屏面劃分為TXXTY，則內插移動圖像生成單 元120生成TX X TY個劃分屏面的移動圖像（內插移動圖像)，在相應于原始高質量移動圖像 vll的貼片區(qū)域中，每一個內插移動圖像vl2形成一個移動圖像屏面。
[0322] 例如，如果原始高質量移動圖像vll的圖像尺寸為1024X768,沿水平方向所劃分 的屏面的數(shù)目為4X沿垂直方向所劃分的屏面的數(shù)目為3,如圖32中所示，把高質量移動圖 像vll的移動圖像屏面劃分為4X3=12個貼片，因此，也生成了 12個劃分屏面的移動圖像 (=內插移動圖像)。另外，沿水平方向每一個貼片的圖像尺寸為1024/4=256,沿垂直方向為 768/3=256,因此，劃分屏面的移動圖像（內插移動圖像vl2)組具有相應于每一個貼片區(qū)域 的移動圖像屏面，每一個移動圖像的圖像尺寸為每一個貼片的圖像尺寸。
[0323] 以下，為了便于描述，通過從左向右依次向貼片添加0,1，2,以及3和從上到下依 次向貼片添加〇, 1，以及2為每一個貼片和劃分屏面的移動圖像（內插移動圖像）編號。例 如，左上側的貼片(劃分屏面的移動圖像)為<水平0,垂直〇>，右下側的貼片(劃分屏面的 移動圖像）為<水平3,垂直2 >。
[0324] 實例3與實例1和2的不同之處在于，通過把高質量移動圖像vll的移動圖像屏 面劃分為一個固定的數(shù)目獲得所述內插移動圖像vl2組，并且可以由內插移動圖像生成單 元120獨立地預先加以生成，而不管內插指令如何。
[0325] 與以上所描述的實例相同，內插信息Π 0中描述了幀的幀時間（或者幀序號）的計 數(shù)、內插坐標、寬度、以及高度。在實例3中，未提供專門針對內插信息Π 0以及與內插信息 Π 0形成一個對兒的內插移動圖像vl2,以上所描述的劃分屏面的移動圖像組形成所述內 插移動圖像vl2 (的組)。盡管針對一段移動圖像內容(高質量移動圖像vll)存在多段內插 信息Π 0,但僅提供劃分屏面的移動圖像組的一個集合，并且在內插信息Π 0中共享所述信 肩、。
[0326] 另一方面，內插單元210從內插移動圖像傳輸單元130獲取有關包括內插移動圖 像vl2和內插信息Π 0的劃分屏面的移動圖像組的信息。有關劃分屏面的移動圖像組的信 息包括原始高質量移動圖像vll的圖像尺寸、水平和垂直劃分的數(shù)目、每一劃分屏面的移 動圖像的地址(例如，URL)等。根據從內插移動圖像傳輸單元130所傳輸?shù)男畔ⅲ瑑炔鍐卧?210可以識別哪一貼片屬于屏面上的哪些坐標。
[0327] 圖33描述了當一個貼片包括一個完整內插區(qū)域時內插單元210所執(zhí)行的一個組 合過程。內插單元210從內插信息Π 0獲取有關一個幀的(第0個幀）的內插區(qū)域的信息 (坐標、寬度、以及高度)。例如，假設第〇個幀的內插區(qū)域具有坐標[260, 600]和寬度100、 以及高度100,如圖33中所示。內插單元210可以根據劃分屏面的移動圖像組的信息斷定 坐標[260, 600]屬于貼片< 1，2 >。另外，內插區(qū)域的右下角的坐標為[360, 700]，并且落 入貼片< 1，2>的區(qū)域，于是，內插單元210意識到可以從貼片< 1，2>的所劃分的屏面獲 取內插區(qū)域的圖像。
[0328] 內插單元210從內插移動圖像傳輸單元130獲取貼片< 1，2 >的劃分屏面的移動 圖像，對所獲取的貼片< 1，2 >的劃分屏面的移動圖像進行解碼，從而獲得第0個幀的幀圖 像。貼片< 1，2 >為來自高質量移動圖像vll的坐標[256, 512]的具有256X512尺寸的 一個區(qū)域。內插單元210抽取幀圖像中坐標[260-256, 600-512]中100X 100的像素組。
[0329] 圖34描述了當一個內插區(qū)域跨越多個貼片時內插單元210所執(zhí)行的一個組合過 程。內插單元210從內插信息Π 0獲取有關一個幀的(第1個幀)的內插區(qū)域的信息(坐標、 寬度、以及高度)。例如，假設第1個幀的內插區(qū)域具有坐標[450, 550]和寬度100、以及高 度100的尺寸，如圖34中所示。內插單元210可以根據劃分屏面的移動圖像組的信息斷定 內插區(qū)域的左上部分位于貼片< 1，2 >的區(qū)域中，但右下部分的坐標[550, 650]位于貼片 < 2,2 >的區(qū)域中。換句話說，內插區(qū)域跨越貼片< 1，2 >和貼片< 2,2 >。于是，內插單 元210從內插移動圖像傳輸單元130獲取貼片<1，2>的劃分屏面的移動圖像和貼片<2, 2 >的劃分屏面的移動圖像。貼片< 2, 2 >為來自原始高質量移動圖像的坐標[512, 512] 的具有256X256尺寸的一個區(qū)域。
[0330] 接下來。內插單元210對貼片< 1，2 >和貼片< 2, 2 >的兩個劃分屏面的移動圖 像進行解碼，從而獲得第1個幀的幀圖像。如圖34中所示，內插區(qū)域的左部分位于貼片< 1， 2 >中，將考慮其中從坐標[450, 550]抽取作為內插區(qū)域的具有寬度100和高度100的一個 區(qū)域的情況。內插單元210可以抽取具有幀圖像中坐標[內插區(qū)域的左坐標450-貼片的 左坐標256,內插區(qū)域的上坐標550-貼片的上坐標512] = [194, 38]以及寬度(貼片的右坐 標512-內插區(qū)域的左坐標450) X高度100的尺寸的內插區(qū)域的左部分。另外，內插區(qū)域 的右部分位于貼片< 2,2 >中，內插單元210可以抽取具有幀圖像中坐標[0, 38]以及寬度 (內插區(qū)域的右坐標（450+100)-貼片的左坐標512) X高度100的尺寸的內插區(qū)域的右部 分。內插單元210可以通過獲取以上所描述的兩個區(qū)域的像素組，并且并排連接所述像素 組，根據來自兩個貼片的幀圖像生成內插區(qū)域的圖像。在與再現(xiàn)移動圖像vlO的內插組合 中內插單元210使用內插區(qū)域所生成的圖像。
[0331] 如以上所描述的，內插單元210根據內插區(qū)域的坐標、寬度、以及高度，使用所述 針對內插信息Π 0任何部分的劃分屏面的移動圖像組獲取一組相應于內插區(qū)域屬于其的 貼片的劃分屏面的移動圖像，而不是使用與內插信息no成對兒的內插移動圖像Vl2(專門 針對內插信息Π 0的)，然后，從幀圖像抽取內插區(qū)域的像素值。
[0332] [內插移動圖像生成單元的功能配置實例]
[0333] 以下，將描述根據實例3的內插移動圖像生成單元120的一個功能配置實例。圖 27描述了根據本發(fā)明專利所述實施例的實例3的內插移動圖像生成單元120的所述功能配 置實例。
[0334] 與以上所描述的實例1和2中不同，在實例3中，預先，把高質量移動圖像vll的 移動圖像屏面劃分為指定數(shù)目的屏面，而不是根據每一內插指令創(chuàng)建內插移動圖像vl2,并 且獨立于這樣的內插指令生成其中把每一個所劃分的貼片設置為一個移動圖像屏面的一 組內插移動圖像vl2。如在以上所描述的實例1和2中，內插指令單元121生成內插信息 i 10,并且把每一個幀的內插區(qū)域的坐標和尺寸記錄在其中。
[0335] 于是，在實例3中，與以上所描述的實例1和2中不同，不從內插指令單元121向 幀圖像抽取單元124提供內插信息。另外，把根據實例3的內插移動圖像生成單元120配 置為包括一個取代幀圖像抽取單元124的幀圖像劃分單元126。幀圖像劃分單元126把高 質量移動圖像vll的移動圖像屏面劃分為指定數(shù)目的屏面。編碼單元125對幀圖像劃分單 元126所劃分的高質量移動圖像vll進行編碼，從而獲得了其中把每一個貼片設置為一個 移動圖像屏面的所述內插移動圖像vl2組。
[0336] [內插移動圖像傳輸單元的功能配置實例]
[0337] 以下，將描述根據實例3的內插移動圖像傳輸單元130的所述功能配置實例。圖 28描述了根據本發(fā)明專利所述實施例的實例3的內插移動圖像傳輸單元130的所述功能配 置實例。
[0338] 根據實例3的內插移動圖像傳輸單元130的配置與根據以上所描述的實例1和2 的內插移動圖像傳輸單元130的配置不同。另一方面，內插記錄單元132管理內插移動圖 像vl2和內插信息ilO的方式也不同。根據實例3的內插移動圖像傳輸單元130的內插記 錄單元132管理與移動圖像內容相關聯(lián)的內插移動圖像(劃分屏面的移動圖像）組vl2'， 而不是與內插信息i 10成對兒的內插移動圖像vl2^。
[0339] 對于[移動圖像內容X]，例如，內插記錄單元132與[移動圖像內容X]相關聯(lián)地管 理和保存劃分為總共12個的內插移動圖像vl2<的組，包括水平方向為4的TXX垂直方 向的為3的TY。內插記錄單元132還與[移動圖像內容X]相關聯(lián)地、與保存內插移動圖像 vl2'的組并行地管理與[移動圖像內容X]相關聯(lián)的內插信息ilO。
[0340] 如圖3中所示，例如，當存在[運動員A]的內插指令和[運動員B]的內插指令時， 內插記錄單元132管理和保存兩個運動員的內插信息Π 0。把相應于每一個貼片的內插移 動圖像vl2'的所劃分的屏面的數(shù)目和所存儲的位置(例如，URL等）添加于內插記錄單元 132所管理的信息。在內插單元210所執(zhí)行的內插處理期間，把內插記錄單元132所管理的 信息提交于內插單元210。當選擇相應于內插區(qū)域的內插移動圖像vl2'時，內插單元210 也使用相應于每一貼片的內插移動圖像vl2'的所劃分的屏面的數(shù)目和所存儲的位置(例 如，URL等）的信息。
[0341] [內插單元的功能配置實例]
[0342] 以下，將描述根據實例3的內插單元210的一個功能配置實例。圖29描述了根據 本發(fā)明專利一個實施例的實例3的內插單元210的所述功能配置實例。
[0343] 根據實例3的內插單元210的配置與根據圖4中所示的本發(fā)明專利所述實施例的 內插單元210的配置不同。另一方面，內插處理部件218中所執(zhí)行的過程的內容也不同。在 實例3中，內插處理部件21V根據從內插信息ilO獲得的幀圖像中的內插區(qū)域決定相應于 內插區(qū)域的貼片的(一或多個）內插移動圖像vl2'、以及指示接收部件212的一個過程，以 使內插移動圖像傳輸單兀130傳輸(一或多個）內插移動圖像vC。
[0344] [內插移動圖像生成單元的操作實例]
[0345] 以下，將描述根據實例3的內插移動圖像生成單元12(V的一個操作實例。圖30 描述了根據本發(fā)明專利所述實施例的實例3的內插移動圖像生成單元120'的所述操作置 實例。
[0346] 解碼單元122對高質量移動圖像vll的一個幀進行解碼(步驟S401)。假設高質量 移動圖像vll的圖像尺寸為寬度HWX高度HH。另外，假設所劃分的屏面的預先指定的數(shù)目 為水平方向的TXX垂直方向的TY。假設通過屏面劃分所得到的圖像尺寸寬度為HW/TX=TW 以及高度為HH/TY=TH。
[0347] 當在步驟S401中解碼單元122對高質量移動圖像vll的一個幀進行解碼時，則幀 圖像劃分單元126把所解碼的幀圖像沿水平方向劃分為TX個貼片，沿垂直方向劃分為TY 個貼片。幀圖像劃分單元126首先初始化貼片行的計算器y (例如，把所述值初始化為0) (步驟 S402)。
[0348] 接下來，幀圖像劃分單元126生成一個水平行的貼片。幀圖像劃分單元126初始 化貼片列的計算器X (例如，把所述值初始化為〇)(步驟S403)。
[0349] 然后，幀圖像劃分單元126抽取貼片< x，y >的一個像素組。具體地講，幀圖像劃 分單元126從解碼單元122在步驟S401中從坐標[xXTW，yXTH]所解碼的高質量移動圖 像vll的幀圖像抽取所述區(qū)域尺寸（寬度TWX高度TH)的像素組。當幀圖像劃分單元126 抽取像素組時，則編碼單元125把像素組編碼為貼片<1，7>的劃分屏面的移動圖像（內插 移動圖像vl2)(步驟S404)。
[0350] 當編碼單元125在步驟S404中進行解碼時，則幀圖像劃分單元126把貼片列的計 算器X增加1 (步驟S405)。幀圖像劃分單元126判斷X是否大于水平劃分的數(shù)目TX (步 驟S406)，當X不大于所述數(shù)目時，重復步驟S404和S405的過程，于是生成與一個水平行中 一樣多的劃分屏面的移動圖像（內插移動圖像vl2)的貼片。
[0351] 當X大于水平劃分的數(shù)目TX時，則編碼單元125把貼片列的計算器y增加1 (步 驟S407)。幀圖像劃分單元126判斷y是否大于垂直劃分的數(shù)目TY(步驟S408)，當y不大 于所述數(shù)目時，所述過程返回至步驟S403。當y大于垂直劃分的數(shù)目TY時，幀圖像劃分單 元126完成針對幀圖像的劃分過程。內插移動圖像生成單元120在所有幀上執(zhí)行圖30中 所示的過程。
[0352] 通過執(zhí)行圖30中所示的過程，內插移動圖像生成單元120可以生成這樣的劃分屏 面的移動圖像（內插移動圖像vl2的組):其中，把通過沿水平方向把高質量移動圖像vll的 移動圖像屏面劃分為TX個貼片以及沿垂直方向劃分為TY個貼片所獲得的貼片設置為移動 圖像屏面。另外，內插移動圖像生成單元120還根據來自以上所描述的內插指令單元121的 內插指令、與圖30中所示的過程并行地生成內插信息Π 0。如以上所描述的，在實例3中， 不生成與內插信息成對兒的內插移動圖像vl2。
[0353] 以上，已經描述了描述根據實例3的內插移動圖像生成單元120的所述操作實例。 由于根據實例3的內插移動圖像傳輸單元130的操作與圖6和7中所示的操作實例相同， 所以此處省略了對其的詳細描述。以下，將描述根據實例3的內插單元210的一個操作實 例。
[0354] [內插單元的操作實例]
[0355] 以下，將描述根據本發(fā)明專利實例3的內插單元210的所述操作實例。圖31描述 了根據本發(fā)明專利所述實施例的實例3的內插單元210的所述操作置實例。
[0356] 當接收部件211接收到再現(xiàn)移動圖像vlO時，解碼部件215對再現(xiàn)移動圖像vlO 進行解碼，從而生成一個幀圖像。解碼部件215把幀圖像的幀時間（幀序號）傳輸于內插坐 標計算部分302 (步驟S411)。內插坐標計算部分302決定相應于幀的內插區(qū)域的(一或多 個)內插移動圖像vl2,并且請求對內插移動圖像vl2的獲取(步驟S413)。決定相應于幀圖 像的內插區(qū)域的(一或多個）內插移動圖像vl2的方法如以上所述，但也可以采用以下將加 以描述的方法。
[0357] 當高質量移動圖像vll的圖像尺寸為HWXHH，所劃分的屏面的數(shù)目為TXXTY時， 內插坐標計算部分302查找水平和垂直貼片（內插移動圖像vl2)的數(shù)目以及圖像尺寸 TWX ΤΗ。另外，如果把貼片數(shù)目設置為< tx，ty >，則內插坐標計算部分302查找每一個貼 片的左上坐標[txXTW，tyXTH]。
[0358] 當把內插區(qū)域的左上坐標設置為[x，y]以及把其尺寸設置為MWXMH時，內插區(qū) 域的左上坐標設置為[X，y]，左下坐標為[x+MW，y]，左下坐標為[X，y+MH]，以及右下坐標 為[x+MW，y+MH]。內插坐標計算部分302決定相應于內插區(qū)域的4個角的貼片組的貼片數(shù) 目，然后還決定沿水平和垂直方向存在于貼片組中的另一個貼片組為包括此次內插區(qū)域的 貼片組。
[0359] 內插坐標計算部分302從內插移動圖像傳輸單兀130抽取相應于每一個貼片號的 內插移動圖像vl2的位置（URL等)，并且向接收部件212請求從所抽取的位置對(一或多個） 內插移動圖像vl2的接收。
[0360] 接下來，當接收部件212接收到從內插移動圖像傳輸單元130傳輸?shù)?一或多個） 內插移動圖像vl2時，解碼部件216對所接收的(一或多個)內插移動圖像vl2進行解碼，然 后把具有將加以處理的幀序號的內插移動圖像vl2的(一或多個)幀圖像提交于內插處理部 件 218 (步驟 S414)。
[0361] 時間控制部件217進行匹配，以使再現(xiàn)移動圖像vlO和內插移動圖像vl2的幀時 間同步(步驟S411和S414)。
[0362] 內插處理部件218從內插移動圖像vl2的(一或多個)幀圖像抽取內插區(qū)域的像素 組(步驟S415)。內插處理部件218中抽取內插移動圖像vl2的內插區(qū)域的像素組的方法如 以上所述。
[0363] 內插處理部件218針對內插移動圖像vl2的每一個幀決定在內插移動圖 像vl2的幀圖像中從其抽取像素的區(qū)域。將在每一個內插移動圖像vl2的移動圖 像屏面中抽取的區(qū)域的坐標為左上部分的[x-(txXTW)，y-(tyXTH)]、右上部分的 |>+麗-(^叉\1￥),7-(^7\1'!{)]、左下部分的|>-(^叉\1￥),7+厘!1-(^7\1'!{)]、以及右下部分 的[x+MW- (tx X TW)，y+MH- (ty X TH)]。應該加以注意的是，就寬度而言，最低值為0，最高值 為TW，就高度而言，最低值為0,最高值為TH，
[0364] 內插處理部件218沿水平方向與/或垂直方向在一個緩沖器上連接和設置所抽取 的像素組。
[0365] 內插處理部件218重復步驟S413?S415的過程，直至達到內插移動圖像vl2的 末尾(最后一個幀）（步驟S416)。通過重復步驟所述過程直至達到內插移動圖像vl2的末 尾，內插處理部件218能夠生成從中抽取來自為一個所劃分的屏面組的(一或多個）內插移 動圖像vl2的內插區(qū)域的像素值的緩沖器。
[0366] 至此所提到的坐標系（圖像的坐標和尺寸）為基于商質量移動圖像vll的移動圖 像屏面的坐標系，因此，圖像放大率改變部分301和304把基于高質量移動圖像vll的移動 圖像屏面的坐標系的值改變至基于標準圖像尺寸的坐標系，從而轉換了坐標(步驟S412和 S417)。
[0367] 當完成了量值的改變和坐標的轉換時，幀圖像組合部分305執(zhí)行內插處理（內插 移動圖像vl2向再現(xiàn)移動圖像10的內插處理）（步驟S418)。
[0368] 當根據實例3的內插單元210執(zhí)行圖31中所示的操作時，內插單元可以執(zhí)行這樣 一個內插處理：其中，從為預先劃分的部分屏面的一個移動圖像組的內插移動圖像vl2的 組抽取內插區(qū)域的像素組。
[0369] 為了使實例3的過程高效運作，內插單元210可以進行內插移動圖像vl2的預讀。 在實例3中，存在著這樣一種情況：其中，根據內插區(qū)域坐標的移動改變將加以獲取的內插 移動圖像vl2 (的貼片的數(shù)目）。在這樣一種情況下，可以使用內插單元210所獲取的內插 信息Π 0進行內插信息il〇的預讀。
[0370] 通過進行內插信息i 10的預讀，內插單元210可以獲取當前所處理的幀之前的幀 時間（以下也將其稱為"預讀時間（例如，幾秒）的一個內插區(qū)域，然后決定相應于所述區(qū) 域的貼片數(shù)目的內插移動圖像vl2。如果還沒有接收到內插移動圖像vl2,則通過事先給出 一條接收指令，把內插移動圖像設置為將加以接收，或者設置為通過給出一個搜索請求，并 且跳過不必要的(沿內插移動圖像vl2正向設置的）幀加以接收。
[0371] 內插單元210對所接收的內插移動圖像vl2的所編碼的數(shù)據進行分析，然后把包 括目標幀(預讀時間的幀）的一個GOP (畫面組）的引導部分放入接收緩沖器中。當移動圖 像再現(xiàn)時間達到預讀時間時，內插單元210從GOP的引導部分開始進行解碼，從而獲取到目 標幀圖像。
[0372] 在接收到內插移動圖像vl2之后，在不執(zhí)行內插單元210的解碼部件216的解碼 過程的情況下，內插單元210可以僅通過進行網絡通信和對所編碼的數(shù)據（GOP的引導部分 等）的分析，例如搜索，執(zhí)行預讀過程。注意，如果存在內插單元210未使用的解碼部件(除 了解碼部件216之外)，則可以使用所述尚未使用的解碼部件抽取預先獲取的內插移動圖像 vl2的目標幀的圖像。
[0373] 在以上所描述的本發(fā)明專利的所述實施例中，已經描述了使用MPEG-DASH對內插 移動圖像vl2的傳輸率的調整，然而，在實3例中，可以進一步改進使用MPEG-DASH對內插 移動圖像vl2的傳輸率的調整。
[0374] 在實例3中，可以把不同的傳輸率賦予所述多個將加以獲取的一組內插移動圖像 vl2 (-組劃分屏面的移動圖像)。在實例3中，根據內插區(qū)域的坐標和尺寸獲取所述多個 貼片的內插移動圖像vl2的組，然而，不必為全部所述多個內插移動圖像vl2設置相同的編 碼率和傳輸率。
[0375] 例如，可以在相應于內插區(qū)域的所述多個貼片的組中賦予重要性，以把具有高圖 像質量的高編碼率賦予具有高重要度的貼片的內插移動圖像vl2,把具有低圖像質量的低 編碼率賦予具有低重要度的貼片的內插移動圖像vl2。例如，可以使用貼片的面積與內插區(qū) 域的屏面的比率決定貼片的重要度。
[0376] 具體地講，內插單元210可以通過賦予高編碼率使包括大量內插區(qū)域的貼片的內 插移動圖像vl2具有高圖像質量，以及通過賦予低編碼率使包括少量內插區(qū)域的貼片的內 插移動圖像vl2具有低圖像質量。另外，例如，把內插區(qū)域的中心設置為具有高重要度，并 且把重要度設置為朝外側降低。因此，內插單元210可以為接近中心的貼片的內插移動圖 像vl2決定具有1?圖像質量的1?編碼率，為接近外側的貼片的內插移動圖像vl2決定具有 低圖像質量的低編碼率。
[0377] 根據實例3,可以固定內插移動圖像vl2的數(shù)目。內插移動圖像生成單元120生成 預先劃分為固定數(shù)目的屏面的內插移動圖像vl2,而不是針對每一條內插指令創(chuàng)建內插移 動圖像vl2。因此，即使內插指令的數(shù)目增加，內插移動圖像傳輸單元130所保存的內插移 動圖像vl2的數(shù)目也可能不增加。于是，當使用實例3時，能夠抑制在內插移動圖像傳輸單 元130中記錄移動圖像的容量。
[0378] 根據實例3,可以預先創(chuàng)建內插移動圖像vl2,而不管內插指令如何。由于內插移 動圖像vl2與內插指令相關，甚至是當添加了新的內插指令時，所以無需一個生成新內插 移動圖像vl2的過程。
[0379] 在大多數(shù)移動圖像分布系統(tǒng)中，存在著這樣一種傾向：抑制分配于存儲容量的投 資開銷以及CPU和內存開銷（CPU的等級和內存容量或者在云計算虛擬機的情況下每CPU 使用時間的收費）方面的投資。使用實例3的技術，即使內插指令的數(shù)目增加，也不執(zhí)行生 成內插移動圖像vl2的過程，因此能夠抑制CPU和內存的開銷。
[0380] 根據實例3,能夠迅速地獲取相應于內插區(qū)域的內插移動圖像vl2。由于預先創(chuàng)建 了內插移動圖像vl2,所以當再現(xiàn)設備200的用戶指示一個內插區(qū)域時，例如，內插單元210 可以根據所述指示迅速獲取內插移動圖像vl2。換句話說，由于在內插移動圖像生成單元 120中無需生成內插移動圖像vl2的等待時間，所以，根據實例3, 一個交互內插處理是可行 的。
[0381] < 5.結論>
[0382] 如以上所描述的，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠通過使 具有低圖像質量的再現(xiàn)移動圖像vio的一個部分圖像具有高圖像質量，增強用戶的觀看感 受。
[0383] 根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1僅傳輸一個內插區(qū)域而不是 傳輸具有高圖像質量的整個移動圖像。因此，可以通過使圖像的一部分具有高圖像質量同 時抑制傳輸率以及使負載變低，增強用戶的觀看感受。
[0384] 與其中通過分析一個單一移動圖像執(zhí)行針對高圖像質量的運算操作的技術相比， 在根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1中，在再現(xiàn)設備200上不會產生針對 高圖像質量的運算操作所導致的負載，也無需針對高圖像質量的專門的電路。另外，即使再 現(xiàn)移動圖像具有低圖像質量和小信息量，也可以相應于根據相應于再現(xiàn)移動圖像的高質量 移動圖像生成內插移動圖像，因此不會影響針對高圖像質量的再現(xiàn)設備200中所執(zhí)行的內 插處理。另外，與其中通過分析一個單一移動圖像執(zhí)行針對高圖像質量的運算操作的技術 相比，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1對作為與再現(xiàn)移動圖像相分離的 移動圖像的內插移動圖像進行編碼，從而能夠設置與再現(xiàn)移動圖像相分離的內插移動圖像 的質量。根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1不必針對再現(xiàn)設備200中所執(zhí) 行的針對高圖像質量的運算操作對再現(xiàn)移動圖像重新進行編碼(成像創(chuàng)建)。
[0385] 另外，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠在再現(xiàn)移動圖像的 傳輸期間有效地利用未占用的傳輸頻帶。當包括再現(xiàn)移動圖像傳輸單元1〇〇的服務器提供 了 3種速率和圖像尺寸的移動圖像文件時，再現(xiàn)設備200選擇一個可用傳輸頻帶或者一個 低于可用傳輸頻帶的頻帶的移動圖像文件。在這樣的情況下，傳輸頻帶中可能存在未用空 間。根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1利用足夠的傳輸頻帶傳輸內插移動 圖像，從而能夠使再現(xiàn)屏面中的一個重要的區(qū)域具有高圖像質量。
[0386] 而且，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠利用移動圖像的分 布商作為原始剪輯保存的高質量移動圖像，并且能夠降低高于傳輸整個高質量移動圖像時 的內插移動圖像的傳輸率。另外，由于根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠把內插移動圖像的圖像尺寸和編碼率抑制在低水平，所以能夠抑制內插處理側的負 載。
[0387] 而且，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1還能夠準備一組多個分 別相應于一個再現(xiàn)移動圖像的屏面中不同區(qū)域的內插移動圖像。通過準備一組多個分別相 應于一個再現(xiàn)移動圖像的屏面中不同區(qū)域的內插移動圖像，當一組多個再現(xiàn)設備在再現(xiàn)移 動圖像中內插不同區(qū)域時，可以傳輸所述多個再現(xiàn)設備所共享的再現(xiàn)移動圖像，而且內插 移動圖像隨每一再現(xiàn)設備的不同而不同。因此，優(yōu)點在于：根據本發(fā)明專利所述實施例的移 動圖像再現(xiàn)系統(tǒng)1不必保存高圖像質量的整個移動圖像屏面，而且通過廣播所述多個用于 分布的再現(xiàn)設備所共享的再現(xiàn)移動圖像，可以降低移動圖像傳輸側的移動圖像數(shù)據的記錄 容量。另外，還具有另一個優(yōu)點：通過廣播所述多個用于分布的再現(xiàn)設備所共享的再現(xiàn)移動 圖像，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠提高傳輸效率。
[0388] 通過采用以上所描述的實例1，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠把內插移動圖像的編碼率和傳輸率設置為所要求的最小程度，即通過設置其所要求 的其中包括內插區(qū)域的最小圖像尺寸進行這一設置。另外，通過設所要求的編碼率和傳輸 率，也可以縮減內插單元210所執(zhí)行的內插處理(解碼過程和針對幀圖像的過程)。因此，通 過采用以上所描述的實例1，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1可具有靈 活的配置，其中，盡管僅存在一個硬件解碼器，但能夠這樣地進行處理：把硬件解碼器用于 對再現(xiàn)移動圖像進行解碼，把軟件解碼器用于對內插移動圖像進行解碼。
[0389] 通過采用以上所描述的實例1，根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠把內插區(qū)域與內插移動圖像一一關聯(lián)，以有助于多個內插模式的組合。例如，當內插 運動員A和運動員B時，可能需要一個用于內插運動員A的內插移動圖像A和一個用于內 插運動員B的內插移動圖像B，當內插運動員A和運動員C時，可能需要內插圖像A和一個 用于內插運動員C的內插移動圖像C。
[0390] 通過采用以上所描述的實例2,根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠使多個內插區(qū)域的圖像包括在一個內插移動圖像屏面中。使多個內插區(qū)域的圖像包 括在一個內插移動圖像屏面中，可以通過在內插處理期間由一個解碼器對內插移動圖像的 解碼，同時抽取多個內插區(qū)域的圖像，即使存在所述多個內插區(qū)域，也不必針對每一個內插 區(qū)域進行一次解碼。另外，通過采用以上所描述的實例2,在根據本發(fā)明專利所述實施例的 移動圖像再現(xiàn)系統(tǒng)1中，內插移動圖像的一次流化是可能的。而且，通過采用以上所描述的 實例2,根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1還能夠按除矩形之外的形狀表 示內插區(qū)域。
[0391] 另外，通過采用以上所描述的實例1和實例2,根據本發(fā)明專利所述實施例的移動 圖像再現(xiàn)系統(tǒng)1甚至是在實例1中也能夠按除矩形之外的形狀表示內插區(qū)域，并且可以減 少內插移動圖像編碼之后內插移動圖像的信息量。
[0392] 通過采用以上所描述的實例3,在根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系 統(tǒng)1中，內插模式不會對一組內插移動圖像(部分屏面的一組移動圖像）產生影響，因此，能 夠在內插處理之前加以創(chuàng)建。在以上所描述的實例3中，只要不改變劃分模式，內插移動圖 像的數(shù)目為固定的，不必針對每一個內插模式生成內插移動圖像，而且可以僅創(chuàng)建內插信 息。因此，通過采用以上所描述的實例3,在根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系 統(tǒng)1中即使內插模式的數(shù)目增加，也可以不增加內插移動圖像傳輸單元130所保存的內插 移動圖像的數(shù)目，于是，抑制了移動圖像文件存儲區(qū)域的容量。
[0393] 通過采用以上所描述的實例3,根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1不必每次添加內插指令時都生成內插移動圖像，因此，能夠抑制分布移動圖像的服務器的 內存。通過采用以上所描述的實例3,根據本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1預 先創(chuàng)建內插移動圖像，于是，如果創(chuàng)建一個新的內插模式（內插指令)，則再現(xiàn)設備200迅速 獲取內插移動圖像，并且執(zhí)行內插組合。通過采用以上所描述的實例3,根據本發(fā)明專利所 述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠執(zhí)行交互內插，因為無需等待內插移動圖像生成單元 120中生成內插移動圖像的等待時間。
[0394] 不必根據描述為序列圖或者流程圖的次序、按時間順序執(zhí)行本發(fā)明專利中所描述 的各種裝置所執(zhí)行的處理過程中的相應步驟。例如，可以按與流程圖中所描述的次序不同 的次序執(zhí)行各種裝置所執(zhí)行的處理過程中的相應步驟，也可以并行地執(zhí)行這些步驟。
[0395] 另外，可以創(chuàng)建一個計算機程序，使各種裝置中的硬件(例如，CPU、ROM、以及RAM) 實現(xiàn)等同于以上所描述的各種裝置部分的功能。而且，還可以提供一個把這樣的計算機程 序存儲在其上的存儲媒體。另外，還可以通過配置作為硬件在功能結構圖中所說明的各功 能塊，由硬件實現(xiàn)過程系列。
[0396] 本領域技術人員將會意識到：可以依據設計要求和其它因素，對本發(fā)明進行多方 面的修改、組合、子組合、以及變動，只要這些修改、組合、子組合、以及變動處于所附權利要 求或者其等同要求的范圍內即可。
[0397] 另外，也可以將本技術配置如下。
[0398] ( 1) 一種視頻處理設備，包括：
[0399] 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具 有第一圖像質量的第一移動圖像相同的內容、具有被配置為高于第一圖像質量的質量的第 二圖像質量、并且具有相應于第一移動圖像的部分區(qū)域的尺寸；以及
[0400] 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖 像的一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
[0401] (2)根據（1)所述的視頻處理設備，其中，圖像生成單元根據再現(xiàn)信息生成單元所 生成的再現(xiàn)信息決定第二移動圖像的一個區(qū)域。
[0402] (3)根據（2)所述的視頻處理設備，其中，在同時再現(xiàn)第一移動圖像和第二移動圖 像的期間，圖像生成單元為被配置為包括所決定區(qū)域的像素組以第二圖像質量生成具有與 所決定區(qū)域的移動圖像相同內容的移動圖像。
[0403] (4)根據（2)所述的視頻處理設備，其中，圖像生成單元以第二圖像質量生成具有 與所決定區(qū)域的移動圖像相同內容的移動圖像，并且為所決定區(qū)域之外的區(qū)域生成無效像 素。
[0404] (5)根據（4)所述的視頻處理設備，其中，在同時再現(xiàn)第一移動圖像和第二移動圖 像期間，圖像生成單元為被配置成包括所決定區(qū)域的像素組以用于所決定區(qū)域的第二圖像 質量生成具有與所決定區(qū)域的移動圖像相同內容的移動圖像，并且為所決定區(qū)域之外的區(qū) 域生成無效像素。
[0405] (6)根據（2)所述的視頻處理設備，其中，圖像生成單元為被劃分成作為所決定區(qū) 域的多個區(qū)域的塊中的預定塊以第二圖像質量生成具有與所決定區(qū)域的移動圖像相同內 容的移動圖像。
[0406] (7)根據（1) - (6)任何之一所述的視頻處理設備，圖像生成單元為其中在第一移 動圖像的再現(xiàn)期間第一移動圖像的內容的識別被增強的區(qū)域生成第二移動圖像。
[0407] (8)根據（7)所述的視頻處理設備，所述區(qū)域為第一移動圖像中的區(qū)域，該區(qū)域包 括人的面貌。
[0408] (9)根據（7)或者（8)所述的視頻處理設備，所述區(qū)域為第一移動圖像中的區(qū)域， 該區(qū)域顯示文本信息。
[0409] (10)根據（1) - (9)所述的視頻處理設備，其中，圖像生成單元基于再現(xiàn)信息，根 據其配置成用作第二移動圖像的基礎的第三移動圖像自動地生成第二移動圖像。
[0410] (11) 一種視頻再現(xiàn)設備，包括：
[0411] 圖像獲取單元，配置成獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一 移動圖像被配置為具有第一圖像質量，所述第二移動圖像被配置為具有與第一移動圖像相 同的內容、具有被配置為比第一圖像質量高的質量的第二圖像質量、并且具有與第一移動 圖像的部分區(qū)域對應的尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動 圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像；以及
[0412] 圖像組合單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的 一部分被第二移動圖像替換之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
[0413] (12)根據（11)所述的視頻再現(xiàn)設備，其中，圖像組合單元包括圖像抽取單元，所述 圖像抽取單元的配置成從第二移動圖像抽取將被第一移動圖像的一部分替代的區(qū)域。
[0414] (13)根據（12)所述的視頻再現(xiàn)設備，其中，圖像組合單元獲取再現(xiàn)信息和第二移 動圖像，再現(xiàn)信息包括關于圖像抽取單元所抽取的區(qū)域的信息。
[0415] (14)根據（11) - (13)任何之一所述的視頻再現(xiàn)設備，圖像獲取單元從與被配置 成傳輸?shù)诙苿訄D像的設備不同的設備獲取第一移動圖像。
[0416] (15)根據（11) - (13)任何之一所述的視頻再現(xiàn)設備，圖像獲取單元從與被配置 成傳輸?shù)诙苿訄D像的設備相同的設備獲取第一移動圖像。
[0417] (16) -種視頻處理方法，包括：
[0418] 生成第二移動圖像，所述第二移動圖像被配置為具有與具有第一圖像質量的第一 移動圖像相同的內容、具有被配置為比第一圖像質量高的質量的第二圖像質量、并且具有 與第一移動圖像的部分區(qū)域對應的尺寸；以及
[0419] 成生成再現(xiàn)信息，所述再現(xiàn)信息在第一移動圖像的一部分被替換為第二移動圖像 之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
[0420] ( 17) -種視頻再現(xiàn)方法，包括：
[0421] 獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具 有第一圖像質量，所述第二移動圖像被配置為具有與第一移動圖像相同的內容、具有被配 置為比第一圖像質量高的質量的第二圖像質量、并且具有與第一移動圖像的部分區(qū)域對應 的尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像替換之后同時再 現(xiàn)第一移動圖像和第二移動圖像；以及
[0422] 基于獲取步驟所獲取的再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替換 之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
[0423] ( 18) -種視頻處理系統(tǒng)，包括：
[0424] 視頻處理設備；以及
[0425] 視頻再現(xiàn)設備，
[0426] 其中，視頻處理設備包括：
[0427] 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具 有第一圖像質量的第一移動圖像相同的內容、具有被配置為高于第一圖像質量的質量的第 二圖像質量、并且具有相應于第一移動圖像的部分區(qū)域的尺寸；以及
[0428] 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖 像的一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像，以 及
[0429] 其中，視頻再現(xiàn)設備包括：
[0430] 圖像獲取單元，配置成從視頻處理設備至少獲取第二移動圖像和再現(xiàn)信息，以及
[0431] 圖像再現(xiàn)單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的 一部分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像。
[0432] 本申請要求2013年3月18日提出的日本優(yōu)先專利申請JP2013-054995的權益， 特將其全部內容并入此處，以作參考。
【權利要求】
1. 一種視頻處理設備，包含： 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具有第 一圖像質量的第一移動圖像相同的內容、具有被配置為高于第一圖像質量的質量的第二圖 像質量、并且具有相應于第一移動圖像的部分區(qū)域的尺寸；以及 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖像的 一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
2. 根據權利要求1所述的視頻處理設備，其中，圖像生成單元根據再現(xiàn)信息生成單元 所生成的再現(xiàn)信息決定第二移動圖像的一個區(qū)域。
3. 根據權利要求2所述的視頻處理設備，其中，在同時再現(xiàn)第一移動圖像和第二移動 圖像的期間，圖像生成單元為被配置為包括所決定區(qū)域的像素組以第二圖像質量生成具有 與所決定區(qū)域的移動圖像相同內容的移動圖像。
4. 根據權利要求2所述的視頻處理設備，其中，圖像生成單元以第二圖像質量生成具 有與所決定區(qū)域的移動圖像相同內容的移動圖像，并且為所決定區(qū)域之外的區(qū)域生成無效 像素。
5. 根據權利要求4所述的視頻處理設備，其中，在同時再現(xiàn)第一移動圖像和第二移動 圖像期間，圖像生成單元為被配置成包括所決定區(qū)域的像素組以用于所決定區(qū)域的第二圖 像質量生成具有與所決定區(qū)域的移動圖像相同內容的移動圖像，并且為所決定區(qū)域之外的 區(qū)域生成無效像素。
6. 根據權利要求2所述的視頻處理設備，其中，圖像生成單元為被劃分成作為所決定 區(qū)域的多個區(qū)域的塊中的預定塊以第二圖像質量生成具有與所決定區(qū)域的移動圖像相同 內容的移動圖像。
7. 根據權利要求1所述的視頻處理設備，其中，圖像生成單元為其中在第一移動圖像 的再現(xiàn)期間第一移動圖像的內容的識別被增強的區(qū)域生成第二移動圖像。
8. 根據權利要求7所述的視頻處理設備，其中，所述區(qū)域為第一移動圖像中的區(qū)域，該 區(qū)域包括人的面貌。
9. 根據權利要求7所述的視頻處理設備，其中，所述區(qū)域為第一移動圖像中的區(qū)域，該 區(qū)域顯示文本信息。
10. 根據權利要求1所述的視頻處理設備，其中，圖像生成單元基于再現(xiàn)信息，根據其 配置成用作第二移動圖像的基礎的第三移動圖像自動地生成第二移動圖像。
11. 一種視頻再現(xiàn)設備，包含： 圖像獲取單元，配置成獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動 圖像被配置為具有第一圖像質量，所述第二移動圖像被配置為具有與第一移動圖像相同的 內容、具有被配置為比第一圖像質量高的質量的第二圖像質量、并且具有與第一移動圖像 的部分區(qū)域對應的尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像 替換之后同時再現(xiàn)第一移動圖像和第二移動圖像；以及 圖像組合單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的一部 分被第二移動圖像替換之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
12. 根據權利要求11所述的視頻再現(xiàn)設備，其中，圖像組合單元包括圖像抽取單元，所 述圖像抽取單元的配置成從第二移動圖像抽取將被第一移動圖像的一部分替代的區(qū)域。
13. 根據權利要求12所述的視頻再現(xiàn)設備，其中，圖像組合單元獲取再現(xiàn)信息和第二 移動圖像，再現(xiàn)信息包括關于圖像抽取單元所抽取的區(qū)域的信息。
14. 根據權利要求11所述的視頻再現(xiàn)設備，其中，圖像獲取單元從與被配置成傳輸?shù)?二移動圖像的設備不同的設備獲取第一移動圖像。
15. 根據權利要求11所述的視頻再現(xiàn)設備，其中，圖像獲取單元從與被配置成傳輸?shù)?二移動圖像的設備相同的設備獲取第一移動圖像。
16. -種視頻處理方法，包含： 生成第二移動圖像，所述第二移動圖像被配置為具有與具有第一圖像質量的第一移動 圖像相同的內容、具有被配置為比第一圖像質量高的質量的第二圖像質量、并且具有與第 一移動圖像的部分區(qū)域對應的尺寸；以及 成生成再現(xiàn)信息，所述再現(xiàn)信息在第一移動圖像的一部分被替換為第二移動圖像之后 被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
17. -種視頻再現(xiàn)方法，包含： 獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具有第 一圖像質量，所述第二移動圖像被配置為具有與第一移動圖像相同的內容、具有被配置為 比第一圖像質量高的質量的第二圖像質量、并且具有與第一移動圖像的部分區(qū)域對應的尺 寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像替換之后同時再現(xiàn)第 一移動圖像和第二移動圖像；以及 基于獲取步驟所獲取的再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替換之后 致使第一移動圖像和第二移動圖像同時再現(xiàn)。
18. -種視頻處理系統(tǒng)，包含： 視頻處理設備；以及 視頻再現(xiàn)設備， 其中，視頻處理設備包括： 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具有第 一圖像質量的第一移動圖像相同的內容、具有被配置為高于第一圖像質量的質量的第二圖 像質量、并且具有相應于第一移動圖像的部分區(qū)域的尺寸；以及 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖像的 一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像，以及 其中，視頻再現(xiàn)設備包括： 圖像獲取單元，配置成從視頻處理設備至少獲取第二移動圖像和再現(xiàn)信息，以及 圖像再現(xiàn)單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的一部 分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像。
【文檔編號】H04N19/436GK104065965SQ201410087605
【公開日】2014年9月24日 申請日期:2014年3月11日 優(yōu)先權日:2013年3月18日
【發(fā)明者】森田岳彥, 五十嵐卓也, 岡森厚 申請人:索尼公司