專利名稱：信息處理設(shè)備和方法,以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備和方法以及程序，并且具體而言，涉及可以 在較短的延遲下執(zhí)行更復(fù)雜的圖像合成處理的信息處理設(shè)備和方法以及程 序。
背景技術(shù)：
迄今為止，存在各種類型的圖像處理(例如，日本專利No. 3117097 和3503168)。例如，日本專利No. 3117097公開了一種用于將輸入圖像 映射在諸如多角柱(polygonal column)等的三維形狀中的方法。日本專利 No. 3503168公開了一種用于對(duì)圖像應(yīng)用特殊效果，例如放大、縮小、移 動(dòng)、變形等的方法。而且，已經(jīng)構(gòu)想出了使用多個(gè)圖像的各種類型的圖像 處理(例如，日本專利No. 3480648、 3700871和4003508)。日本專利No. 3503168 、 3480648和4003508公開了一種所謂的畫中畫(picture-in-picture)方法，用于在一種狀態(tài)中顯示兩個(gè)圖像，在該狀態(tài)中，將一個(gè)圖 像適合到(fitinto)另一圖像的一部份中。而且，日本專利No. 3700871公 開了用于混合兩個(gè)圖像的比率控制方法。

發(fā)明內(nèi)容
然而，上述文獻(xiàn)未描述更復(fù)雜的圖像處理方法，例如，從大量(多個(gè) 系統(tǒng))輸入圖像中每個(gè)輸入圖像修剪出的部份圖像被填入由自由形式曲線 圍繞的框中，并且例如通過以下處理生成輸出圖像使修剪出的圖像經(jīng)受 諸如縮小等處理，將修剪出的圖像彼此組合，或者將CG (計(jì)算機(jī)圖形) 圖像疊加在修剪出的圖像上或者進(jìn)一步將另一圖像疊加在修剪出的圖像 上。
迄今為止，記錄和存儲(chǔ)的圖像數(shù)據(jù)已經(jīng)過了這種更復(fù)雜的圖像處理(在離線(off-line)狀態(tài)中)，然而近年來，在圖像以實(shí)時(shí)的方式被廣播 (例如，實(shí)況體育廣播)的所謂的實(shí)況廣播(live broadcasting)中也要求 這種復(fù)雜的圖像處理。即，存在以更短延遲執(zhí)行更復(fù)雜圖像處理的需求。
然而，在使用根據(jù)相關(guān)技術(shù)的離線狀態(tài)中的編輯處理的方法中，圖像 數(shù)據(jù)必須被存儲(chǔ)，因此，可能難以滿足這種需求。
而且，在日本專利No. 3503168、 3480648和4003508公開的設(shè)備以及 所謂的切換器設(shè)備(switcher device)中，僅僅簡單的合成處理被執(zhí)行以使 得另一圖像嵌入在圖像的一部分的矩形區(qū)域中。在日本專利No. 3700871 中公開的設(shè)備僅僅控制要疊加的兩個(gè)圖像之間的混合比。因此，如上所 述，難以實(shí)現(xiàn)更復(fù)雜的圖像處理。
此外，還可以想到將在日本專利No. 3117097、 3503168、 3480648、 3700871和4003508中公開的方法組合，但是在這種情況中，圖像處理的 階段數(shù)目增加，從而使由圖像處理引起的延遲也增加。因此，認(rèn)為利用相 關(guān)技術(shù)難以對(duì)于實(shí)況廣播實(shí)現(xiàn)更復(fù)雜的圖像處理。
通過提供一種能夠在較少延遲下執(zhí)行更復(fù)雜的圖像合成處理的方法來 滿足這種需求。
根據(jù)本發(fā)明的實(shí)施例， 一種信息處理設(shè)備包括修剪單元，被配置來 對(duì)多個(gè)圖像進(jìn)行用于將圖像的一部分作為部份圖像而修剪出來的修剪處 理，以便從所述多個(gè)圖像的每一個(gè)中修剪出部份圖像；尺寸校正單元，被 配置來校正與由所述修剪單元修剪出的多個(gè)所述部份圖像的每個(gè)有關(guān)的圖 像尺寸；以及合成單元，被配置來將由所述尺寸校正單元校正了圖像尺寸 的所述部份圖像相連接(connect)，以生成合成圖像。
所述修剪單元可以利用由第一控制信息指定的修剪方法來對(duì)所述部份 圖像執(zhí)行修剪，并且，所述尺寸校正單元校正所述部份圖像以使之具有由 所述第一控制信息指定的圖像尺寸，并且，所述合成單元利用由所述第一 控制信息指定的連接方法來連接所述部份圖像。
所述信息處理設(shè)備還可以包括CG信息合成單元，被配置來根據(jù)由 第二控制信息指定的疊加方法將CG (計(jì)算機(jī)圖形)信息疊加在由所述合 成單元生成的所述合成圖像上，所述第二控制信息用于指定多個(gè)圖像的疊加方法。
所述信息處理設(shè)備還可以包括存儲(chǔ)單元，被配置來存儲(chǔ)所述第一控 制信息和所述第二控制信息；以及讀出單元，被配置來從所述存儲(chǔ)單元中 讀出所述第一控制信息和所述第二控制信息，以將所述第一控制信息提供 給所述修剪單元、所述尺寸校正單元和所述合成單元，并將所述第二控制 信息提供給所述CG信息合成單元。
所述讀出單元可以根據(jù)從所述存儲(chǔ)單元讀出的所述第一控制信息生成 部份控制信息，以將多個(gè)所生成的部份控制信息提供給所述修剪單元和所 述尺寸校正單元，所述部份控制信息是對(duì)于所述多個(gè)圖像的每一個(gè)的控制 信息，并且，所述修剪單元針對(duì)每個(gè)圖像利用由與每個(gè)圖像相對(duì)應(yīng)的部份 控制信息指定的修剪方法來執(zhí)行對(duì)所述部份圖像的修剪，并且，所述尺寸 校正單元校正每個(gè)部份圖像，以使之具有由與每個(gè)部份圖像相對(duì)應(yīng)的部份 控制信息指定的圖像尺寸。
存儲(chǔ)在所述存儲(chǔ)單元中的所述第一控制信息和所述第二控制信息可以 分別利用預(yù)定方法被壓縮，并且，所述讀出單元利用與壓縮方法相對(duì)應(yīng)的 方法對(duì)從所述存儲(chǔ)單元讀出的所述第一控制信息和所述第二控制信息進(jìn)行 解碼，然后提供所述第一控制信息和所述第二控制信息。
所述存儲(chǔ)單元可以針對(duì)每個(gè)合成模式來管理所述第一控制信息和所述 第二控制信息，并且，所述讀出單元從所述存儲(chǔ)單元讀出具有指定合成模 式的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息 和所述第二控制信息。
所述信息處理設(shè)備還可以包括前進(jìn)(progress)控制指令接受單元， 被配置來接受用于控制所述合成模式的前進(jìn)的前進(jìn)控制指令，并且，所述 讀出單元基于由所述前進(jìn)控制指令接受單元所接受的所述前進(jìn)控制指令確 定對(duì)于所述合成模式要處理的位置，并且讀出與所述要處理的位置相對(duì)應(yīng) 的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和 所述第二控制信息。
所述信息處理設(shè)備還可以包括修改指令接受單元，被配置來接受具
有所述CG信息的配置的修改指令，并且，所述讀出單元基于由所述修改指令接受單元接受的所述修改指令更新所述第一控制信息和所述第二控制
{曰息。
所述信息處理設(shè)備還可以包括預(yù)處理單元，被配置來對(duì)所述多個(gè)圖 像進(jìn)行預(yù)處理，并且，所述修剪單元修剪來自經(jīng)過所述預(yù)處理單元的預(yù)處 理的所述多個(gè)圖像的所述部份圖像。
所述預(yù)處理單元可以將隔行掃描形式的所述多個(gè)圖像轉(zhuǎn)換為逐行掃描 形式的所述多個(gè)圖像。
所述預(yù)處理單元可以從所述多個(gè)圖像的每個(gè)檢測(cè)面部圖像，以確定由 所述修剪單元修剪出的所述部份圖像的中心坐標(biāo)。
根據(jù)本發(fā)明的實(shí)施例， 一種用于信息處理設(shè)備的信息處理方法，包括 以下步驟對(duì)多個(gè)圖像進(jìn)行用于將圖像的一部分作為部份圖像修剪出來的 修剪處理，以從所述多個(gè)圖像的每個(gè)修剪出部份圖像；校正與多個(gè)所述修 剪出的部份圖像的每個(gè)有關(guān)的圖像尺寸；以及連接已校正了圖像尺寸的所 述部份圖像以生成合成圖像。
根據(jù)本發(fā)明的實(shí)施例， 一種使處理信息的計(jì)算機(jī)執(zhí)行以下步驟的程 序?qū)Χ鄠€(gè)圖像進(jìn)行用于將圖像的一部分作為部份圖像修剪出來的修剪處 理，以從所述多個(gè)圖像的每個(gè)修剪出部份圖像；校正與多個(gè)所述修剪出的 部份圖像的每個(gè)有關(guān)的圖像尺寸；以及連接已校正了圖像尺寸的所述部份 圖像以生成合成圖像。
利用上述配置，對(duì)多個(gè)圖像進(jìn)行用于將圖像的一部分作為部份圖像修 剪出來的修剪處理，以從多個(gè)圖像的每個(gè)修剪出部份圖像，校正與多個(gè)修 剪出的部份圖像的每個(gè)有關(guān)的圖像尺寸，以及連接已校正了圖像尺寸的部 份圖像以生成合成圖像。
根據(jù)本發(fā)明的實(shí)施例，圖像可以被處理。具體而言，可以在較少延遲 下執(zhí)行更復(fù)雜的圖像合成處理。


圖1是圖示出應(yīng)用了本發(fā)明實(shí)施例的圖像處理系統(tǒng)的配置示例的框
圖；圖2是圖示出應(yīng)用了本發(fā)明實(shí)施例的圖像合成設(shè)備的主要配置示例的
框圖3是描述控制信息的示圖4是圖示出輸入圖像合成的示圖5是描述圖像合成處理流程的示例的流程圖6是掩模信息中的時(shí)間變化的示例的示圖7是描述控制信息讀出處理流程的示例的流程圖8 A至8G是描述合成模式前進(jìn)方法的示例的示圖9是圖示出信息讀出控制單元的配置示例的框圖IO是描述圖像合成處理流程的另一示例的流程圖11是描述控制信息創(chuàng)建工作流程的示例的示圖12A和12B是描述控制信息更新的示例的示圖13是圖示出信息讀出控制單元的另一配置示例的框圖14是描述圖像合成處理流程的又一示例的流程圖15是描述圖像合成處理流程的又一示例的圖14之后的流程圖16是圖示出應(yīng)用了本發(fā)明實(shí)施例的圖像合成設(shè)備的另一配置示例 的框圖17是描述圖像合成處理流程的又一示例的流程圖； 圖18是圖示出編碼設(shè)備的配置示例的框圖； 圖19是示意性地描述小波變換的示意圖20A至20C是示意性地圖示出小波變換和逆小波變換的流程的示意
圖21是圖示出畫面的結(jié)構(gòu)示例的示意圖22是圖示出解碼單元的配置示例的框圖；以及
圖23是圖示出應(yīng)用了本發(fā)明實(shí)施例的信息處理信息的配置示例的框
具體實(shí)施例方式
圖1是圖示出應(yīng)用了本發(fā)明實(shí)施例的圖像處理系統(tǒng)的配置示例的框圖。在圖1中，圖像處理系統(tǒng)100是這樣的系統(tǒng)，該系統(tǒng)在較少的延遲下 執(zhí)行更復(fù)雜的圖像合成處理，并且通過例如由因特網(wǎng)代表的網(wǎng)絡(luò)110與圖
像合成設(shè)備111、切換器112以及切換器控制板113相互連接。
圖像合成設(shè)備111是在較少的延遲下執(zhí)行更復(fù)雜的圖像合成處理的設(shè) 備。由圖像信息和音頻信息組成的圖像音頻信息(第一輸入圖像音頻信息 至第四輸入圖像音頻信息)被輸入到圖像合成設(shè)備111的多個(gè)輸入系統(tǒng)的 各個(gè)中。圖像合成設(shè)備111根據(jù)控制信息從每條輸入圖像音頻信息的圖像
信息中修剪出由自由形式曲線(任意曲線)所創(chuàng)建的框(frame)中的部份 圖像，以將其縮小(或放大)到預(yù)定尺寸。圖像合成設(shè)備111將這些部份 圖像組合來創(chuàng)建合成圖像，并且將其合成圖像作為圖像信息通過預(yù)定的專 用線纜等提供給切換器112。圖像合成設(shè)備111除了圖像信息之外，還將 與其圖像信息相對(duì)應(yīng)的信息(例如，作為用于在切換器112處的圖像合成 的控制信息的鍵信息，或者音頻信息)通過預(yù)定的專用線纜等提供給切換 器112。
切換器112采用第五輸入圖像音頻信息的圖像作為背景圖像，并且根 據(jù)鍵信息將從圖像合成設(shè)備111提供來的圖像(合成圖像)疊加在背景圖 像上。切換器112將合成結(jié)果輸出為輸出圖像信息和輸出音頻信息。
注意，圖像合成設(shè)備111的輸入系統(tǒng)的數(shù)目可以是任何數(shù)目，只要該 數(shù)目是兩個(gè)或更多個(gè)。而且，輸出系統(tǒng)的數(shù)目也是可選的。類似地，切換 器112的輸入系統(tǒng)的數(shù)目可以是任何數(shù)目，只要該數(shù)目是兩個(gè)或更多個(gè)， 并且輸出系統(tǒng)的數(shù)目也是可選的。為了方便說明，下面將對(duì)這樣的情況進(jìn) 行描述圖像合成設(shè)備111包括四個(gè)輸入系統(tǒng)和一個(gè)輸出系統(tǒng)，而切換器 112包括兩個(gè)輸入系統(tǒng)和一個(gè)輸出系統(tǒng)。而且，圖像合成設(shè)備111和切換 器112可以輸入或輸出除了上述的與圖像信息相對(duì)應(yīng)的信息之外的信息。
切換器控制板113是用戶接口設(shè)備，其包括開關(guān)、控制桿等，并且接 受來自用戶的指令，例如合成模式指定、合成開始指令等等，并且將其信 息提供給圖像合成設(shè)備111或切換器112。圖像合成設(shè)備111或切換器 112根據(jù)上述用戶指令來執(zhí)行各種類型的處理。
圖2是圖示出應(yīng)用了本發(fā)明實(shí)施例的圖像合成設(shè)備111的主要配置示
10例的框圖。圖2所示的圖像合成設(shè)備111是組成圖1中的圖像處理系統(tǒng) 100的設(shè)備，并且如圖2所示，包括信息讀出控制單元131、存儲(chǔ)單元
132、輸入單元133、預(yù)處理單元134、輸入圖像處理單元135、合成處理 單元136以及鍵生成單元137。
信息讀出控制單元131讀出存儲(chǔ)在存儲(chǔ)單元132中的信息以對(duì)其進(jìn)行 處理，并且在預(yù)定定時(shí)處將預(yù)定信息提供給輸入圖像處理單元135、合成 處理單元136或鍵生成單元137。例如，信息讀出控制單元131將第一部 份掩模(mask)信息至第四部份掩模信息提供給輸入圖像處理單元135的 圖像修剪單元151-1至151-4以及尺寸校正單元152-1至152-4。而且，例 如，信息讀出控制單元131將整體掩模信息提供給合成處理單元136的圖 像合成單元161。此外，信息讀出控制單元131例如將具有鍵信息的CG (計(jì)算機(jī)圖形)信息提供給合成處理單元136的CG合成單元162。而 且，信息讀出控制單元131例如將音頻信息或音頻合成信息提供給合成處 理單元136的音頻合成單元163。此外，例如，信息讀出控制單元131將 鍵信息和整體掩模信息提供給鍵生成單元137。后面將描述每種信息。
存儲(chǔ)單元132例如包括諸如硬盤驅(qū)動(dòng)器、閃存等的存儲(chǔ)介質(zhì)，并且預(yù) 先存儲(chǔ)與合成處理有關(guān)的控制信息。輸入單元133例如包括諸如開關(guān)、按 鈕等的用戶接口，連接到網(wǎng)絡(luò)110的網(wǎng)絡(luò)接口，等等。輸入單元133接受 例如通過用戶的輸入或網(wǎng)絡(luò)110從連接到它的另一設(shè)備提供來的信息，以 將其提供給信息讀出控制單元131。
預(yù)處理單元134使每個(gè)輸入系統(tǒng)的輸入圖像在合成之前經(jīng)受適當(dāng)?shù)奶?理。預(yù)處理單元134包括IP轉(zhuǎn)換單元141-1至141-4。當(dāng)?shù)谝惠斎雸D像音 頻信息的圖像信息遵循隔行掃描(interlace)形式時(shí)，IP轉(zhuǎn)換單元141-1就 將其轉(zhuǎn)換為逐行掃描(progressive)形式(執(zhí)行IP轉(zhuǎn)換)。類似地，IP轉(zhuǎn) 換單元141-2使第二輸入圖像音頻信息的圖像信息經(jīng)受IP轉(zhuǎn)換，IP轉(zhuǎn)換單 元141-3使第三輸入圖像音頻信息的圖像信息經(jīng)受IP轉(zhuǎn)換，IP轉(zhuǎn)換單元 141 -4使第四輸入圖像音頻信息的圖像信息經(jīng)受IP轉(zhuǎn)換。
經(jīng)過IP轉(zhuǎn)換處理的輸入圖像音頻信息的每一個(gè)都被提供給輸入圖像處 理單元135。即，要輸入輸入圖像處理單元135的第一輸入圖像音頻信息至第四輸入圖像音頻信息的圖像信息遵循逐行掃描形式。注意，在預(yù)處理 單元的輸入圖像遵循逐行掃描形式的情況下，省略這種IP轉(zhuǎn)換處理。
如上所述IP轉(zhuǎn)換在預(yù)處理中被執(zhí)行，因此，在輸入圖像處理單元
135、合成處理單元136和鍵生成單元137中對(duì)圖像信息執(zhí)行的每個(gè)處理
是按幀來執(zhí)行的。注意，可以進(jìn)行這樣的布置遵循隔行掃描形式的輸入
圖像不經(jīng)受IP轉(zhuǎn)換，而經(jīng)受在輸入圖像處理單元135、合成處理單元136 和鍵生成單元137中針對(duì)每場(chǎng)的每個(gè)處理。此后，在不必區(qū)分幀和場(chǎng)的情 況中，這些將總稱為畫面。g卩，在輸入圖像處理單元135、合成處理單元 136和鍵生成單元137中的每個(gè)處理以畫面(幀或場(chǎng))為單位來執(zhí)行。
輸入圖像處理單元135包括圖像修剪單元151和尺寸校正單元152。 圖像修剪單元151從輸入圖像信息中修剪出利用掩模信息指定的部分。圖 像修剪單元151包括圖像修剪單元151-1至151-4。
圖像修剪單元151-1從第一輸入圖像音頻信息的圖像信息的每個(gè)畫面 中，修剪出由從信息讀出控制單元131提供來的第一部份掩模信息指定的 范圍，并將其修剪出的部份圖像提供給尺寸校正單元152-1。圖像修剪單 元151-2從第二輸入圖像音頻信息的圖像信息的每個(gè)畫面中，修剪出由從 信息讀出控制單元131提供來的第二部份掩模信息所指定的范圍，并將其 修剪出的部份圖像提供給尺寸校正單元152-2。圖像修剪單元151-3從第三 輸入圖像音頻信息的圖像信息的每個(gè)畫面中，修剪出由從信息讀出控制單 元131提供來的第三部份掩模信息所指定的范圍，并將其修剪出的部份圖 像提供給尺寸校正單元152-3。圖像修剪單元151-4從第四輸入圖像音頻信 息的圖像信息的每個(gè)畫面中，修剪出由從信息讀出控制單元131提供來的 第四部份掩模信息所指定的范圍，并將其修剪出的部份圖像提供給尺寸校 正單元152-4。
尺寸校正單元152對(duì)在圖像修剪單元151中修剪出的部份圖像的圖像 尺寸進(jìn)行校正。更具體而言，尺寸校正單元152校正(縮小或放大)每個(gè) 部份圖像的圖像尺寸，以使得由連接起來的部份圖像組成的合成圖像的圖 像尺寸變?yōu)轭A(yù)定尺寸。
尺寸校正單元152包括尺寸校正單元152-1至152-4。尺寸校正單元152-1利用由從信息讀出控制單元131提供來的第一部份掩模信息所指定 的縮小比率(或放大比率)對(duì)在圖像修剪單元151-1中修剪出的部份圖像
的圖像尺寸進(jìn)行校正。尺寸校正單元152-2利用由從信息讀出控制單元 131提供來的第二部份掩模信息所指定的縮小比率(或放大比率)對(duì)在圖 像修剪單元151-2中修剪出的部份圖像的圖像尺寸進(jìn)行校正。尺寸校正單 元152-3利用由從信息讀出控制單元131提供來的第三部份掩模信息所指 定的縮小比率(或放大比率)對(duì)在圖像修剪單元151-3中修剪出的部份圖 像的圖像尺寸進(jìn)行校正。尺寸校正單元152-4利用由從信息讀出控制單元 131提供來的第四部份掩模信息所指定的縮小比率(或放大比率)對(duì)在圖 像修剪單元151-4中修剪出的部份圖像的圖像尺寸進(jìn)行校正。
尺寸校正單元152-1將經(jīng)過尺寸校正的部份圖像提供給合成處理單元 136的圖像合成單元161。而且，尺寸校正單元152-1將第一輸入圖像音頻 信息的音頻信息(與要處理的畫面相對(duì)應(yīng)部分的音頻信息)提供給音頻合 成單元163。類似地，尺寸校正單元152-2將經(jīng)過尺寸校正的部份圖像提 供給合成處理單元136的圖像合成單元161，并且將第二輸入圖像音頻信 息的音頻信息(與要處理的畫面相對(duì)應(yīng)部分的音頻信息)提供給音頻合成 單元163。
類似地，尺寸校正單元152-3將經(jīng)過尺寸校正的部份圖像提供給合成 處理單元136的圖像合成單元161，并且將第三輸入圖像音頻信息的音頻 信息(與要處理的畫面相對(duì)應(yīng)部分的音頻信息)提供給音頻合成單元 163。類似地，尺寸校正單元152-4將經(jīng)過尺寸校正的部份圖像提供給合成 處理單元136的圖像合成單元161，并且將第四輸入圖像音頻信息的音頻 信息(與要處理的畫面相對(duì)應(yīng)部分的音頻信息)提供給音頻合成單元 163。
合成處理單元136執(zhí)行圖像和音頻的合成處理。合成處理單元136包 括圖像合成單元161、 CG合成單元162以及音頻合成單元163。圖像合成 單元161根據(jù)從信息讀出控制單元131提供來的整體掩模信息連接從尺寸 校正單元152-1至152-4提供來的部份圖像以生成合成圖像，并將該合成 圖像提供給CG合成單元162。 CG合成單元162將從信息讀出控制單元131提供來的具有鍵信息的CG信息疊加在從圖像合成單元161提供來的 合成圖像上，并將其合成圖像輸出作為輸出圖像信息。音頻合成單元163 基于從信息讀出控制單元131提供來的音頻合成信息對(duì)從尺寸校正單元 152-1至152-4提供來的音頻信息，以及從信息讀出控制單元131提供來的 音頻信息進(jìn)行合成或選擇，以生成輸出音頻信息，并且將其輸出。
鍵生成單元137根據(jù)從信息讀出控制單元131提供來的整體掩模信息 更新從信息讀出控制單元131提供來的鍵信息，并且生成用于輸出的鍵信 息，即與輸出圖像信息相對(duì)應(yīng)的鍵信息，并且將其輸出。
如參考圖l所描述的，從圖像合成設(shè)備111輸出的輸出音頻信息、輸 出圖像信息和輸出鍵信息分別通過專用線纜等被提供給切換器112。
接下來，將描述每種信息。首先，將參考圖3描述控制信息。如圖3 所示，整體掩模信息171、具有鍵信息的CG信息174、音頻信息176和音 頻合成信息177被預(yù)先存儲(chǔ)在圖像合成設(shè)備111的存儲(chǔ)單元132中。
掩模信息是指示諸如修剪方法、連接方法等的合成方法的控制信息。 整體掩模信息171是指示關(guān)于整個(gè)圖像(整個(gè)畫面)的合成方法的掩模信 息。如圖3所示，整體掩模信息171包括掩模圖像信息172和掩模元信息 173。
掩模圖像信息172是指示作為合成結(jié)果的合成圖像的結(jié)構(gòu)的信息。 即，掩模圖像信息172關(guān)于合成圖像的所有像素來指定是否選擇哪個(gè)輸入 系統(tǒng)的圖像作為合成結(jié)果。換言之，掩模圖像信息172指定部份圖像的形 狀，以及對(duì)修剪出的部份圖像的連接方法。以像素為單位來執(zhí)行這種指 定，并且掩模圖像信息172被構(gòu)成為位圖信息。
圖3示意性地圖示出了上述指定的情形(位圖)。在圖3的示例的情 況中，整個(gè)圖像被分為四個(gè)區(qū)域，其中，指定第一輸入圖像音頻信息的部 份圖像的值(例如"1")被指派到左上區(qū)域(區(qū)域"1")中的各個(gè)像 素，指定第二輸入圖像音頻信息的部份圖像的值(例如"2")被指派到 右上區(qū)域(區(qū)域"2")中的各個(gè)像素，指定第三輸入圖像音頻信息的部 份圖像的值(例如"3")被指派到左下區(qū)域(區(qū)域"3")中的各個(gè)像 素。這些值可以是數(shù)字字符，或者可以是文本字符或符號(hào)等。注意，另一")，并且指示未指派 部份圖像的值(例如"5")被指派到該區(qū)域的各個(gè)像素。該值可以是數(shù) 字字符，或者可以是文本字符或符號(hào)等。
這種指定以像素為單位來執(zhí)行，由此掩模圖像信息172可以容易地被
指定來修剪具有任意形狀的部份圖像，并且還可以容易地被指定用于連接
復(fù)雜形狀的部份圖像的方法。例如，掩模圖像信息172可以容易地被指定
來將用作修剪框的區(qū)域的邊界線設(shè)置為自由形式曲線(任意曲線)，并且 還可以容易地被指定用于連接按上述自由形式曲線形狀修剪出的部份圖像 的方法。
掩模元信息173是掩模圖像信息172的附加信息，并且包括掩模圖像 信息172未指示的信息，例如，修剪的圓心角、旋轉(zhuǎn)角、縮小比率等等。
整體掩模信息171被預(yù)先存儲(chǔ)在存儲(chǔ)單元132中，然而，為了有效使 用存儲(chǔ)單元132的存儲(chǔ)區(qū)域(區(qū)域確保)，或者為了在讀出時(shí)有效使用總 線帶寬(帶寬確保)，整體掩模信息171利用預(yù)定方法被壓縮并以信息量 被減少的狀態(tài)被存儲(chǔ)。壓縮方法是任意的，例如用行程編碼(run length coding)進(jìn)行壓縮。
如圖3所示，信息讀出控制單元131包括解碼單元181、劃分單元 182以及保存單元183。當(dāng)從存儲(chǔ)單元132讀出整體掩模信息171時(shí)，信息 讀出控制單元131在解碼單元181對(duì)其進(jìn)行解碼，并在劃分單元182為每 個(gè)輸入系統(tǒng)生成掩模信息。第一部份掩模信息171-1是關(guān)于第一輸入系統(tǒng) 的、僅由與從整體掩模信息171提取的第一輸入圖像音頻信息有關(guān)的信息 生成的掩模信息(部份掩模信息)。第二部份掩模信息171-2是關(guān)于第二 輸入系統(tǒng)的、僅由與從整體掩模信息171提取的第二輸入圖像音頻信息有 關(guān)的信息生成的掩模信息(部份掩模信息)。第三部份掩模信息171-3是 關(guān)于第三輸入系統(tǒng)的、僅由與從整體掩模信息171提取的第三輸入圖像音 頻信息有關(guān)的信息生成的掩模信息(部份掩模信息)。第四部份掩模信息 171-4是關(guān)于第四輸入系統(tǒng)的、僅由與從整體掩模信息171提取的第四輸 入圖像音頻信息有關(guān)的信息生成的掩模信息(部份掩模信息)。
劃分單元182在劃分之前使包括諸如RAM (隨機(jī)存取存儲(chǔ)器)等的存儲(chǔ)區(qū)域的保存單元183保存所生成的第一部份掩模信息171-1至第四部 份掩模信息171-4，以及整體掩模信息。
信息讀出控制單元131在預(yù)定的定時(shí)處將第一部份掩模信息171-1至 第四部份掩模信息171-4分別提供給輸入圖像處理單元135的相應(yīng)輸入系 統(tǒng)。這樣，僅適當(dāng)?shù)男畔⒈惶峁┙o每個(gè)輸入系統(tǒng)，因此圖像修剪單元151 和尺寸校正單元152不必處理不必要的控制信息，因此能夠有效地執(zhí)行每 個(gè)處理。而且，利用存儲(chǔ)單元132，這種部份掩模信息被存儲(chǔ)為單個(gè)整體 掩模信息171，由此可以減少信息量，例如省略冗余信息等。而且，部份 掩模信息被存儲(chǔ)為單個(gè)整體掩模信息171，由此可以提高處理吞吐量，例 如減少讀出處理和解碼處理的次數(shù)。
而且，信息讀出控制單元131在預(yù)定的定時(shí)處將保存在保存單元183 中的整體掩模信息分別提供給圖像合成單元161和鍵生成單元137。
具有鍵信息的CG信息174是這樣的信息作為在將一個(gè)圖像疊加在 另一圖像上時(shí)所使用的控制信息的鍵信息被添加到作為圖像信息的CG信 息。CG信息是例如RGB等的三色的位圖。鍵信息是用于以像素為單位指 定是否將另一圖像疊加(合成)在哪個(gè)部分上的單色(灰階)位圖。鍵信 息是可以用在切換器112中的普通控制信息。
圖3中的圖像174A示意性地表示該具有鍵信息的CG信息174，其 中，實(shí)心部份是鍵信息，而另外的陰影圖案部份(包括文本"Catch You!")是CG信息。
具有鍵信息的CG信息174也被預(yù)先存儲(chǔ)在存儲(chǔ)單元132中，然而， 為了有效使用存儲(chǔ)單元132的存儲(chǔ)區(qū)域(區(qū)域確保)，或者為了在讀出時(shí) 有效使用總線帶寬(帶寬確保)，具有鍵信息的CG信息174利用預(yù)定方 法被壓縮并以信息量被減少的狀態(tài)被存儲(chǔ)。例如，具有鍵信息的CG信息 174被轉(zhuǎn)換為4:2:2:4的YCbCrA信號(hào)，然后被壓縮。該壓縮方法是可選 的。
如圖3所示，信息讀出控制單元131包括解碼單元184和提取單元 185。當(dāng)從存儲(chǔ)單元132讀出具有鍵信息的CG信息174時(shí)，信息讀出控制 單元131在解碼單元184對(duì)其進(jìn)行解碼，并在提取單元185中從具有鍵信息的CG信息174提取鍵信息175。圖像175A示意性地圖示出了鍵信息 175。如與圖像174A相比較可以明白的，僅實(shí)心部分(g卩，鍵信息)被提 取出來。
提取單元185使保存單元183保存所提取的鍵信息175和作為提取源 的具有鍵信息的CG信息174。
信息讀出控制單元131在預(yù)定定時(shí)處將保存在保存單元183中的鍵信 息提供給鍵生成單元137。而且，信息讀出控制單元131在預(yù)定定時(shí)處將 保存在保存單元183中的具有鍵信息的CG信息17提供給CG合成單元 162。
如上所述，僅鍵信息175從具有鍵信息的CG信息中被提取出來以提 供給鍵生成單元137，因此，鍵生成單元137不必處理不必要的控制信息 (CG信息)，由此，可以有效地生成用于輸出的鍵信息。而且，鍵信息 175是通過從具有鍵信息的CG信息174中提取出來而生成的，g口，僅具 有鍵信息的CG信息174被存儲(chǔ)在存儲(chǔ)單元132中，因此，可以減少信息 量(可以有效地使用存儲(chǔ)區(qū)域和總線帶寬)。而且，可以通過減少讀出處 理和解碼處理的次數(shù)來提高處理吞吐量。
音頻信息176是未包括在輸入圖像音頻信息的每一個(gè)中的音頻信息， 例如是將CG信息疊加在輸入圖像上時(shí)的聲音效果等等。音頻合成信息 177是用于指定每個(gè)輸入圖像音頻信息的音頻信息的音頻合成方法的控制 信息。例如，音頻合成信息177包括使得各個(gè)輸入系統(tǒng)的音頻信息之一被 選擇，并且進(jìn)一步與音頻信息176合成等等的指令信息。
當(dāng)從存儲(chǔ)單元132讀出音頻信息176和音頻合成信息177時(shí)，信息讀 出控制單元131使保存單元183保存音頻信息176和音頻合成信息177， 并在預(yù)定定時(shí)處將它們提供給音頻合成單元163。
如上所述的控制信息被用在圖像合成設(shè)備111中。注意，這樣的控制 信息是針對(duì)每種合成模式而準(zhǔn)備的。合成模式指對(duì)輸入圖像的合成方法。 例如，如何處理輸入圖像、如何連接輸入圖像，以及怎樣疊加何種CG信 息以生成合成圖像，這些都是可選的。而且，在圖像合成設(shè)備111中執(zhí)行 的合成處理的長度是任意的，并且可以被應(yīng)用于一個(gè)畫面或多個(gè)畫面(預(yù)定時(shí)間段)。而且，在對(duì)多個(gè)畫面執(zhí)行合成處理的情況中，對(duì)于從其合成 時(shí)間段的開始到結(jié)束的所有畫面，可以利用彼此完全一樣的結(jié)構(gòu)(設(shè)計(jì)) 來合成每個(gè)圖像，或者可以利用針對(duì)每個(gè)畫面進(jìn)行了改變的結(jié)構(gòu)來合成每 個(gè)圖像。而且，其改變的方式也是可選的。
這種合成方法的差異將被稱作合成模式。利用用于控制合成方法的控 制信息(例如，掩模信息、具有鍵信息的CG信息，等等)的內(nèi)容之間的 差異來指示這種合成方法的差異。因此，這種控制信息是針對(duì)每種合成模 式而準(zhǔn)備的。而且，在對(duì)多個(gè)畫面執(zhí)行合成處理，并且使用針對(duì)每個(gè)畫面 而改變結(jié)構(gòu)(設(shè)計(jì))的合成模式(動(dòng)態(tài)合成模式)的情況中，各個(gè)控制信 息是針對(duì)各個(gè)畫面而準(zhǔn)備的(控制信息的內(nèi)容針對(duì)每個(gè)畫面而改變，因 此，合成圖像的結(jié)構(gòu)(設(shè)計(jì))是動(dòng)態(tài)改變的)。
存儲(chǔ)單元132總地管理這種用于每種合成模式的多個(gè)控制信息。
接下來，將參考圖4描述各個(gè)輸入系統(tǒng)的圖像被合成的方法。在圖4 中，圖像191-1指示第一輸入圖像音頻信息的圖像信息，圖像191-2指示 第二輸入圖像音頻信息的圖像信息，圖像191-3指示第三輸入圖像音頻信 息的圖像信息，圖像191-4指示第四輸入圖像音頻信息的圖像信息。
圖像修剪單元151-1根據(jù)包括在第一部份掩模信息171-1中的諸如修 剪形狀、中心坐標(biāo)等等的信息從圖像191-1修剪出部份圖像192-1。在圖4 中，在圖像191-1和部份圖像192-1之間所指示的在圖像191-1內(nèi)部的黑線 指示了部份圖像192-1的輪廓，即修剪形狀，并且x標(biāo)記指示其中心點(diǎn)。
尺寸校正單元152-1根據(jù)包括在第一部份掩模信息171-1中的信息對(duì) 這樣修剪出的部份圖像192-1的尺寸進(jìn)行校正(縮小或放大)，以生成圖 像193-1。在圖4的示例中，圖像193-1是部份圖像192-1的縮小圖像。圖 像193-1被提供給合成處理單元136。
圖像修剪單元151-2根據(jù)包括在第二部份掩模信息171-2中的諸如修 剪形狀、中心坐標(biāo)等等的信息從圖像191-2修剪出部份圖像192-2。尺寸校 正單元152-2根據(jù)包括在第一部份掩模信息171-2中的信息對(duì)修剪出的部 份圖像192-2的尺寸進(jìn)行校正(縮小或放大)，以生成圖像193-2。在圖4 的示例中，圖像193-2是部份圖像192-2的縮小圖像。圖像193-2被提供給合成處理單元136。
圖像修剪單元151-3根據(jù)包括在第三部份掩模信息171-3中的諸如修 剪形狀、中心坐標(biāo)等等的信息從圖像191-3修剪出部份圖像192-3。尺寸校 正單元152-3根據(jù)包括在第一部份掩模信息171-3中的信息對(duì)修剪出的部 份圖像192-3的尺寸進(jìn)行校正(縮小或放大)，以生成圖像193-3。在圖4 的示例中，圖像193-3是部份圖像192-3的縮小圖像。圖像193-3被提供給 合成處理單元136。
圖像修剪單元151-4也根據(jù)包括在第四部份掩模信息171-4中的諸如 修剪形狀、中心坐標(biāo)等等的信息執(zhí)行從圖像191-4修剪出一圖像，但是在 圖4的示例中，不命令第四部份掩模信息171-4修剪部份圖像(見圖3中 的掩模圖像信息172)。因此，圖像修剪單元151-4不生成部份圖像，并 且尺寸校正單元152-4也不執(zhí)行尺寸校正。
合成處理單元136合成如此提供的圖像193-1至193-3以及來自信息 讀出控制單元131的具有鍵信息的CG信息，以生成合成圖像194。該合 成圖像194是這樣獲得的如整體掩模信息171的掩模圖像信息172所指 示的那樣連接圖像193-1至193-3，并且進(jìn)一歩將具有鍵信息的CG信息疊 加在其上。合成圖像194中以實(shí)心填充的那部分是鍵信息。
如上所述，合成圖像194是基于諸如掩模信息等的控制信息從輸入圖 像等生成的。而且，響應(yīng)于這種合成處理，鍵生成單元137從整體掩模信 息171和鍵信息175生成用于輸出的鍵信息195。鍵生成單元137基于整 體掩模信息171從鍵信息175移除部份圖像和CG信息部分，以生成用于 輸出的鍵信息195。即，鍵信息195對(duì)應(yīng)于合成圖像194。
將參考圖5中的流程圖描述這種圖像合成處理的流程的示例。
當(dāng)開啟圖像合成設(shè)備111的電源或取消其暫停(suspend)狀態(tài)后，就 開始圖像合成處理。當(dāng)開始圖像合成處理后，在步驟S101，信息讀出控制 單元131執(zhí)行控制信息讀出處理，以從存儲(chǔ)單元132讀出所有合成模式的 控制信息，例如整體掩模信息、具有鍵信息的CG信息174、音頻信息 176、音頻合成信息177等。
在步驟S102，信息讀出控制單元131等待直到合成開始指令被接收到為止。在步驟S103,當(dāng)輸入單元133接收到由用戶操作圖像合成設(shè)備111 而輸入的或通過網(wǎng)絡(luò)110從切換器控制板113提供來的合成模式指定或合 成開始指令時(shí)，信息讀出控制單元131將處理推進(jìn)到步驟S104。在步驟 S104，信息讀出控制單元131向各個(gè)單元提供將利用保存在保存單元183 中的指定合成模式進(jìn)行處理的畫面的控制信息。
在步驟S105，預(yù)處理單元134 (IP轉(zhuǎn)換單元141-1至141-4)使每個(gè) 輸入圖像經(jīng)受IP轉(zhuǎn)換。在步驟S106，圖像修剪單元151 (圖像修剪單元 151-1至151-4)根據(jù)各個(gè)部份掩模信息對(duì)各個(gè)輸入圖像執(zhí)行修剪。在步驟 S107，尺寸校正單元152 (尺寸校正單元152-1至152-4)根據(jù)各個(gè)部份掩 模信息對(duì)各個(gè)修剪出的圖像(修剪出的部份圖像)執(zhí)行尺寸校正。
在步驟S108，圖像合成單元161通過基于整體掩模信息171連接各個(gè) 修剪出的圖像(修剪出的部份圖像)而生成合成圖像。在步驟S109， CG 合成單元162對(duì)于合成圖像合成具有鍵信息的CG信息。在步驟SllO，音 頻合成單元163根據(jù)所指定的合成模式的音頻合成信息177執(zhí)行音頻信息 的合成。
在步驟Slll，基于所指定的合成模式的整體掩模信息171從鍵信總 175生成用于輸出的鍵信息195。
在步驟S112，信息讀出控制單元131判定指定合成模式的所有畫面是 否都已被處理，并在判斷出存在未經(jīng)處理的畫面的情況下，更新要處理的 畫面為下一畫面，將處理返回步驟S104，并執(zhí)行步驟S104中及其后的處 理。即，圖像合成設(shè)備111針對(duì)每個(gè)畫面重復(fù)步驟S104至S112的每一個(gè) 中的處理。
在步驟S112中判斷出指定合成模式的所有畫面都已被處理的情況 下，信息讀出控制單元131將處理推進(jìn)到步驟S113，并判定是否結(jié)束該圖 像合成處理。在判斷出不結(jié)束圖像合成處理的情況下，信息讀出控制單元 131將處理返回到步驟S102，并執(zhí)行步驟S102中及其后的處理。而且， 在步驟S113中判斷出由于某種原因(例如圖像輸入被停止、接收用戶的 指令等)而結(jié)束圖像處理的情況下，信息讀出控制單元131結(jié)束該圖像合 成處理。圖6圖示出了合成模式示例。在圖6中，從頂部開始依次示意性地示 出了某種合成模式的整體掩模信息，以及從整體掩模信息生成的第一部份 掩模信息、第二部份掩模信息、第三部份掩模信息和第四部份掩模信息。 注意，在圖6中，時(shí)間序列從左向右前進(jìn)。
如整體掩模信息所示，首先，背景圖像顯示在整個(gè)合成圖像上。隨著 時(shí)間的前進(jìn)，第一輸入系統(tǒng)的圖像信息從左側(cè)向右側(cè)逐漸插入合成圖像的 左上區(qū)域。隨著時(shí)間進(jìn)一步前進(jìn)，第二輸入系統(tǒng)的圖像信息從右側(cè)向左側(cè) 逐漸插入合成圖像的右上區(qū)域。隨著時(shí)間進(jìn)一步前進(jìn)，第三輸入系統(tǒng)的圖 像信息從左側(cè)向右側(cè)逐漸插入合成圖像的左下區(qū)域。
對(duì)于第一部份掩模信息至第四部份掩模信息，陰影部分是不被提取為 部份圖像的區(qū)域，而白色部分是要被提取為部份圖像的區(qū)域。而且，X標(biāo) 記指示了要提取的部份圖像的中心點(diǎn)。
首先，對(duì)于整體掩模信息，當(dāng)背景圖像被指派到整個(gè)圖像時(shí)，對(duì)于第 一部份掩模信息至第四部份掩模信息中的任一個(gè)沒有部份圖像修剪指令。 隨后，對(duì)于整體掩模信息，當(dāng)?shù)谝惠斎胂到y(tǒng)的圖像信息從左側(cè)向右側(cè)逐漸 插入時(shí)，對(duì)于第一部份掩模信息，根據(jù)其移動(dòng)，要修剪的區(qū)域從右向左擴(kuò) 展。隨后，對(duì)于整體掩模信息，當(dāng)?shù)诙斎胂到y(tǒng)的圖像信息從右側(cè)向左側(cè) 逐漸插入時(shí)，對(duì)于第二部份掩模信息，根據(jù)其移動(dòng)，要修剪的區(qū)域從左向 右擴(kuò)展。然后，對(duì)于整體掩模信息，當(dāng)?shù)谌斎胂到y(tǒng)的圖像信息從左側(cè)向 右側(cè)逐漸插入時(shí)，對(duì)于第三部份掩模信息，根據(jù)其移動(dòng)，要修剪的區(qū)域從 右向左擴(kuò)展。
注意，對(duì)于整體掩模信息，沒有關(guān)于第四系統(tǒng)圖像的合成指令，因此 對(duì)于第四部份掩模信息，沒有修剪指令。
如上所述，每條控制信息是針對(duì)每個(gè)畫面而準(zhǔn)備的，因此，圖像合成 設(shè)備111還可以容易地實(shí)現(xiàn)動(dòng)態(tài)合成模式，以使得合成方法針對(duì)每個(gè)畫面 而改變。
接下來，將參考圖7中的流程圖描述在圖5的步驟S101中執(zhí)行的控 制信息讀出處理的流程的示例。
當(dāng)開始控制信息讀出處理后，在步驟S131，信息讀出控制單元131選擇要處理的合成模式。利用存儲(chǔ)單元132，針對(duì)每種合成模式來管理控制
信息，因此，信息讀出控制單元131讀出針對(duì)每種合成模式的控制信息。
當(dāng)選擇要處理的合成模式時(shí)，在步驟S132，信息讀出控制單元131從 存儲(chǔ)單元132讀出要處理的合成模式的所有整體掩模信息171 (關(guān)于合成 模式的所有畫面)。在步驟S133，解碼單元181通過預(yù)定方法對(duì)所有讀出 的整體掩模信息171進(jìn)行解碼。在步驟S134，劃分單元182根據(jù)所有整體 掩模信息為每個(gè)輸入系統(tǒng)生成部份掩模信息。在步驟S135，保存單元183 保存每條部份掩模信息，以及所有整體掩模信息171。
在步驟S136，信息讀出控制單元131從存儲(chǔ)單元132讀出要處理的合 成模式的所有具有鍵信息的CG信息174 (合成模式的所有畫面)。在步 驟S137，解碼單元184按照預(yù)定方法對(duì)所有讀出的具有鍵信息的CG信息 進(jìn)行解碼。在步驟S138，提取單元185從所有具有鍵信息的CG信息中的 每條信息中提取鍵信息175。在步驟SB9，保存單元183保存鍵信息以及 所有具有鍵信息的CG信息。
在步驟S140，信息讀出控制單元131從存儲(chǔ)單元132讀出要處理的合 成模式的所有音頻信息176和音頻合成信息177 (關(guān)于合成模式的所有畫 面)。在步驟S141，保存單元183保存所有讀出的音頻信息176和音頻合 成信息177。
在步驟S142，信息讀出控制單元131判定是否已讀出了所有合成模式 的控制信息，并且在判斷出存在未處理的合成模式的情況下，經(jīng)處理推進(jìn) 到步驟S143，選擇一個(gè)未處理的合成模式作為將處理的合成模式。當(dāng)結(jié)束 步驟S143中的處理時(shí)，信息讀出控制單元131將處理返回步驟S132，并 重復(fù)步驟S132中及其后的處理。即，針對(duì)每種處理模式重復(fù)執(zhí)行步驟 S132至S143的每個(gè)中的處理。
然后，在判斷出所有合成模式的信息都已讀出的情況下，信息讀出控 制單元131結(jié)束該信息讀出處理，將處理返回圖5中的步驟SlOl，并執(zhí)行 步驟SIOI中及其后的處理。
如上所述，所有控制信息被預(yù)先讀出，因此圖像合成設(shè)備111在圖像 合成時(shí)可以減少對(duì)存儲(chǔ)單元132的訪問次數(shù)，并且因此可以提高合成處理吞吐量。
如上所述，圖像合成設(shè)備111利用部份掩模信息對(duì)每個(gè)輸入系統(tǒng)的輸 入圖像執(zhí)行修剪或尺寸校正以生成部份圖像，并且利用整體掩模信息、具 有鍵信息的CG信息、音頻合成信息等來合成這些部份圖像。因此，利用
圖像合成設(shè)備111，例如如圖2所示，可以在較少處理階段的情況下實(shí)現(xiàn) 諸如利用自由形式曲線的修剪和連接等的高級(jí)圖像合成處理，以及動(dòng)態(tài)改 變合成模式的結(jié)構(gòu)的復(fù)雜合成模式?！熠?，圖像合成設(shè)備111可以在較短延 遲的情況下執(zhí)行更復(fù)雜的圖像合成處理。
將返回圖1進(jìn)行描述。圖像處理系統(tǒng)100的用戶操作諸如切換器控制 板113的開關(guān)或滑塊等的用戶接口來輸入各種類型的控制指令，例如，針 對(duì)更復(fù)雜圖像合成處理的執(zhí)行開始指令、合成模式指令等，如上所述。切 換器控制板113適當(dāng)?shù)赝ㄟ^網(wǎng)絡(luò)110將其接受的指令提供給圖像合成設(shè)備 111或切換器112。圖像合成設(shè)備lll在輸入單元133接受上述指令，并根 據(jù)上述指令執(zhí)行圖像合成處理。類似地，切換器112也基于從切換器控制 板113提供來的用戶指令執(zhí)行第五輸入圖像音頻信息(背景圖像信息)、 圖像信息、音頻信息，和從圖像合成設(shè)備111提供來的鍵信息之間的合 成。
因此，圖像處理系統(tǒng)100利用圖像合成設(shè)備111，由此與根據(jù)相關(guān)技 術(shù)通過布置多個(gè)切換器來執(zhí)行合成處理的情況相比，可以利用較少的處理 階段數(shù)來執(zhí)行更復(fù)雜的合成處理。即，圖像處理系統(tǒng)100可以在較短延遲
下執(zhí)行更復(fù)雜的圖像合成處理。
這種圖像處理系統(tǒng)100例如可以應(yīng)用于在利用電視廣播等進(jìn)行所謂實(shí)
況廣播時(shí)的實(shí)時(shí)編輯。實(shí)況廣播利用在盡可能短的延遲下廣播所拍攝的圖 像的技術(shù)，其中，拍攝和廣播一般同時(shí)執(zhí)行(實(shí)時(shí)廣播)。這種技術(shù)例如
應(yīng)用于來自諸如棒球、足球、網(wǎng)球、高爾夫球、排球等的各種類型的體
育比賽的節(jié)目廣播現(xiàn)場(chǎng)、來自諸如音樂會(huì)、節(jié)日等的各種類型的活動(dòng)的節(jié) 目廣播現(xiàn)場(chǎng)、事件或事故的新聞節(jié)目廣播現(xiàn)場(chǎng)，等等。
然而，對(duì)于實(shí)況廣播，所拍攝的圖像必須在盡可能小的延遲下被廣 播，因此用于執(zhí)行編輯的時(shí)間受到極大的限制。因此，對(duì)于實(shí)況廣播，一般執(zhí)行用于實(shí)時(shí)地執(zhí)行簡單編輯的實(shí)時(shí)編輯，例如圖像的切換、預(yù)定模式 的圖像處理，等等。
然而，利用這種簡單編輯，難以對(duì)所拍攝的圖像進(jìn)行有效的制作。例 如，對(duì)于足球比賽，當(dāng)進(jìn)球得分時(shí)，這是比賽令人激動(dòng)的時(shí)刻。因此，對(duì) 于廣播足球比賽的節(jié)目(所謂的實(shí)況足球廣播)，也需要對(duì)所拍攝的圖像 進(jìn)行制作以調(diào)動(dòng)觀眾的情感投入。
迄今為止，例如，通過利用畫中畫將多個(gè)圖像集成在一個(gè)屏幕中來廣 播這些圖像，多個(gè)圖像例如是得分的運(yùn)動(dòng)員或感興趣的運(yùn)動(dòng)員的特寫圖 像、得分時(shí)經(jīng)理或教練的場(chǎng)面，或者群眾的場(chǎng)面等等。
然而，這種作品必須在較小延遲的情況下來完成，而畫中畫只是將具 有諸如正方形、圓形等簡單形狀的圖像疊加，因此，難以完成更精細(xì)的作 品，例如，利用自由形式曲線修剪圖像、將其修剪出的部份圖像連接、合 成復(fù)雜的CG信息、結(jié)構(gòu)(設(shè)計(jì))的動(dòng)態(tài)改變，等等。
如上所述，圖像處理系統(tǒng)100 (圖像合成設(shè)備111)可以在例如大約 幾幅畫面的極小延遲下執(zhí)行更復(fù)雜的圖像合成處理，因此，通過利用這種 實(shí)時(shí)編輯可以實(shí)現(xiàn)具有好的視覺效果和優(yōu)秀的設(shè)計(jì)特征的作品。即，例 如，對(duì)于廣播足球比賽的節(jié)目，可以利用圖像處理系統(tǒng)100 (圖像合成設(shè) 備111)來執(zhí)行實(shí)時(shí)編輯，由此，例如可以在得分等之后立即完成較高吸 引力的作品，并且因此，可以對(duì)所拍攝的圖像進(jìn)行制作以調(diào)動(dòng)觀眾的情感 投入。
注意，到此為止雖然描述了圖像合成設(shè)備111對(duì)修剪出的部份圖像執(zhí) 行尺寸校正，但是可以進(jìn)行代替這種尺寸校正而執(zhí)行或除了這種尺寸校正 之外還執(zhí)行另外的處理(例如，旋轉(zhuǎn)部份圖像等)的布置。例如，可以進(jìn) 行這樣的布置其中，旋轉(zhuǎn)角度信息被登記在整體掩模信息171的掩模元
信息173中，并且輸入圖像處理單元135在二維方向或三維方向上根據(jù)所 述掩模元信息173旋轉(zhuǎn)修剪出的部份圖像。因此，圖像合成設(shè)備lll可以 生成視覺效果被進(jìn)一步增強(qiáng)的合成圖像。
而且，輸入圖像處理單元135可以對(duì)部份圖像進(jìn)行除了旋轉(zhuǎn)和尺寸校 正之外的其它可選圖像處理，例如，對(duì)比度調(diào)節(jié)、降噪、變形、色度調(diào)節(jié)、特殊效果，等等。
此外，圖像合成設(shè)備111還可以用作簡單編輯設(shè)備。在這種情況中， 基本上只對(duì)輸入到輸入系統(tǒng)的圖像進(jìn)行合成來完成合成處理(不執(zhí)行圖像 合成設(shè)備111的后續(xù)階段中的合成處理)，因而可以省略鍵生成單元 137。
到此為止描述了根據(jù)用戶等從預(yù)先準(zhǔn)備的多種合成模式選出的合成模 式來執(zhí)行圖像合成處理。即，在這種情況下，用戶僅僅指定所希望的合成 模式來指示開始執(zhí)行處理，而圖像合成設(shè)備111根據(jù)所述指示實(shí)現(xiàn)對(duì)所指 定合成模式的圖像的合成。然而，本實(shí)施例不限于這種布置，例如，可以 進(jìn)行這樣的布置其中，在合成處理的執(zhí)行期間，用戶控制合成模式的前 進(jìn)速度和前進(jìn)方向。
圖8A至8G圖示出了合成模式前進(jìn)示例。在圖8A至8G中，水平軸 表示合成模式(畫面)的前進(jìn)，垂直方向表示時(shí)間序列。如圖8A所示， 將在時(shí)間點(diǎn)0到時(shí)間點(diǎn)t期間從編號(hào)為"0"的畫面向編號(hào)為"p"的畫面 前進(jìn)的合成模式作為基礎(chǔ)。
例如，可以進(jìn)行這樣的布置其中，當(dāng)用戶指示將合成模式的前進(jìn)速 度加速為兩倍時(shí)，如圖8B所示，合成模式在時(shí)間點(diǎn)t/2處前進(jìn)到編號(hào)為 "p"的畫面。在這種情況中，例如， 一次選擇相當(dāng)于一個(gè)畫面的控制信 息，例如針對(duì)每個(gè)畫面而準(zhǔn)備的掩模信息等，并且該控制信息被指派給輸 入圖像的連續(xù)的各個(gè)畫面。而且，可以進(jìn)行這樣的布置其中，當(dāng)用戶指 示將合成模式的前進(jìn)速度延遲為1/2時(shí)，如圖8C所示，合成模式在時(shí)間點(diǎn) t處前進(jìn)到編號(hào)為"p/2"的畫面。在這種情況中，例如，相當(dāng)于一個(gè)畫面 的諸如掩模信息等的控制信息被指派給輸入圖像的連續(xù)兩個(gè)畫面。
此外，例如，可以進(jìn)行這樣的布置其中，當(dāng)用戶指示將合成模式的 前進(jìn)方向反向時(shí)，如圖8D所示，隨著時(shí)間序列的前進(jìn)，合成模式從編號(hào) 為"p"的畫面返回到編號(hào)為"0"的畫面。在這種情況中，例如，對(duì)為每 個(gè)畫面準(zhǔn)備的諸如掩模信息之類的控制信息的選擇順序被反轉(zhuǎn)。
而且，例如，可以進(jìn)行這樣的布置其中，當(dāng)用戶指示在合成模式的
前進(jìn)中跳躍時(shí)，如圖8E所示，合成模式的前進(jìn)從編號(hào)為"pl"的畫面跳到編號(hào)為"p2"的畫面(忽略了它們之間的畫面)。在這種情況中，例 如，編號(hào)為"p2"的畫面的控制信息被指派給編號(hào)為"pl"的畫面的控制 信息所指派的輸入圖像的畫面之后的畫面。
此外，例如，可以進(jìn)行這樣的布置其中，當(dāng)用戶指示重復(fù)合成模式 的前進(jìn)時(shí)，如圖8F所示，同一畫面的合成處理被重復(fù)執(zhí)行。在這種情況 中，例如，同一掩模信息等的控制信息被指派給輸入圖像的多個(gè)畫面。
而且，例如，可以進(jìn)行這樣的布置其中，當(dāng)用戶指示合成模式任意 地前進(jìn)時(shí)，如圖8G所示，執(zhí)行使得合成模式的前進(jìn)變成自由形式曲線 (任意曲線)的合成處理。
在這種情況中，如圖9所示，信息讀出控制單元131包括再現(xiàn)畫面識(shí) 別單元301和控制信息提供單元302以及保存單元183。當(dāng)用戶操作切換 器控制板113以輸入諸如慢速、快進(jìn)等的速度指定、諸如反向返回、重復(fù) 等的再現(xiàn)模式制定、諸如跳躍目的地指定等的再現(xiàn)畫面指定時(shí)，上述指定 通過輸入單元133被提供給再現(xiàn)畫面識(shí)別單元301 。
再現(xiàn)畫面識(shí)別單元301將輸入速度指定、再現(xiàn)模式指定或再現(xiàn)畫面指 定轉(zhuǎn)換為用于指定具有接下來將要處理的合成模式的畫面(即，對(duì)于合成 模式將要處理的位置(畫面))的再現(xiàn)畫面指定，并且將該再現(xiàn)畫面指定 提供給控制信息提供單元302。控制信息提供單元302從保存單元183讀 出由該再現(xiàn)畫面指定所指定的畫面的控制信息(掩模信息、具有鍵信息的 CG信息，等等)，并且將其提供給輸入圖像處理單元135和合成處理單 元136。 gp，控制信息是根據(jù)用戶指定的前進(jìn)模式來選擇并讀出的，并且 被應(yīng)用在各個(gè)單元中。因此，合成模式根據(jù)用戶所指定的前進(jìn)模式前進(jìn)。 即，用戶可以實(shí)時(shí)地自由控制合成模式的前進(jìn)。
將參考圖10中的流程圖描述這種情況中的圖像合成處理的流程示 例。圖10所示的圖像合成處理是與圖5中的圖像合成處理相對(duì)應(yīng)的處 理。步驟S301至S303的每個(gè)中的處理按照與步驟S101至S103的每個(gè)中 的處理相同的方式來執(zhí)行。
在圖10的步驟S304中，輸入單元133接受來自用戶或切換器控制板 113的再現(xiàn)控制指令。在步驟S305，再現(xiàn)畫面識(shí)別單元301根據(jù)再現(xiàn)控制指令來識(shí)別再現(xiàn)畫面。在步驟S306，控制信息提供單元302將所指定合成
模式的再現(xiàn)畫面的控制信息提供給各個(gè)單元。
步驟S307至S315的每個(gè)中的處理按照與圖5中歩驟S105至S113的
每個(gè)中的處理相同的方式來執(zhí)行。
如上所述，圖像處理單元100 (圖像合成設(shè)備111)可以根據(jù)用戶指 令實(shí)時(shí)地控制合成模式的前進(jìn)。
注意，上述各種類型的控制信息在圖像合成處理之前被預(yù)先生成。圖 11示出了該生成。
首先，利用預(yù)定工具等來執(zhí)行CG信息的生成(處理331)。根據(jù)該 處理331，生成CG信息351、鍵信息352和掩模圖像信息353。當(dāng)結(jié)束處 理331后，接著執(zhí)行掩模信息的生成(處理332)。利用該處理332，上 述掩模圖像信息353以及包括縮小比率361、旋轉(zhuǎn)角度362、中心坐標(biāo)363 等在內(nèi)的掩模元信息354被合成，由此生成掩模信息355。
這樣生成的CG信息351、鍵信息352和掩模信息355被記錄在圖像 合成設(shè)備111中(處理333)。此時(shí)，CG信息351和鍵信息352被壓縮并 作為具有鍵信息的CG信息而存儲(chǔ)。而且，通過預(yù)定方法將掩模信息355 壓縮，并存儲(chǔ)掩模信息355。
隨后，試探性地采用這種控制信息來執(zhí)行合成處理，并執(zhí)行對(duì)合成結(jié) 果的確認(rèn)(處理334)。在合成結(jié)果不令人滿意的情況下，執(zhí)行對(duì)參數(shù)等 的校正(處理335 )。當(dāng)結(jié)束校正后，將處理返回到處理331或處理 332，并執(zhí)行該處及其后的處理。
根據(jù)上述的工作流程預(yù)先生成這樣的控制信息。注意，可以進(jìn)行這樣 的布置其中，用戶可以實(shí)時(shí)地更新這樣的控制信息。例如，如圖12A和 12B所示，可以進(jìn)行這樣的布置其中，具有鍵信息的CG信息顯示在監(jiān) 視器等上，用戶通過操作鼠標(biāo)或觸控筆等對(duì)所顯示的具有鍵信息的CG信 息進(jìn)行變形，由此可以更新諸如CG信息等的結(jié)構(gòu)(設(shè)計(jì))(即，可以更 新合成圖像的結(jié)構(gòu))。例如，當(dāng)例如如圖12A所示那樣顯示的具有鍵信息 的CG信息371被變形以便像圖12B所示的具有鍵信息的CG信息381那 樣移動(dòng)中心部分的位置時(shí)，鍵信息372和掩模信息373 (圖12A)的結(jié)構(gòu)也像鍵信息382和掩模信息383 (圖12B)那樣根據(jù)具有鍵信息的CG信 息的改變而改變。
在這種情況中，為了輔助更新控制信息，具有鍵信息的CG信息和掩 模圖像信息不是作為位圖而是作為頂點(diǎn)坐標(biāo)和紋理信息而存儲(chǔ)在存儲(chǔ)單元 132中。隨后，當(dāng)從保存單元183讀出這種信息時(shí)，信息讀出控制單元 131實(shí)時(shí)地對(duì)該信息進(jìn)行渲染(render)以將該信息轉(zhuǎn)換為位圖，并將其提 供給各個(gè)單元。
艮P，如圖13所示，用于具有鍵信息的CG信息的渲染信息401、整體 掩模信息402、音頻信息176和音頻合成信息177被存儲(chǔ)在存儲(chǔ)單元132 中。用于具有鍵信息的CG信息的渲染信息401由定點(diǎn)坐標(biāo)信息411和紋 理信息412構(gòu)成，并通過后面所述的渲染處理被轉(zhuǎn)換為位圖式的具有鍵信 息的CG信息。
整體掩模信息402包括用于掩模圖像信息的渲染信息421和掩模元信 息173。用于掩模圖像信息的渲染信息421由頂點(diǎn)坐標(biāo)信息431和紋理信 息432構(gòu)成，并且通過后面描述的渲染處理被轉(zhuǎn)換為位圖式的掩模圖像信
艮P,在頂點(diǎn)坐標(biāo)和紋理信息的情況中，除了這些信息的格式不同之 外，所述信息的內(nèi)容與位圖情況中的相同。這種信息被提供給保存單元 183并保存在其中。
用戶操作切換器控制板113以輸入CG設(shè)計(jì)修改指令，例如參考圖 12A和12B所描述的。當(dāng)獲得上述CG設(shè)計(jì)修改指令時(shí)，輸入單元133將 該CG設(shè)計(jì)修改指令提供給用于CG修改的坐標(biāo)信息生成單元451 。
信息讀出控制單元131包括用于CG修改的坐標(biāo)信息生成單元451和 實(shí)時(shí)渲染單元452以及保存單元183。用于CG修改的坐標(biāo)信息生成單元 451基于從輸入單元133輸入的CG設(shè)計(jì)修改指令生成對(duì)于要處理的畫面 的設(shè)計(jì)修改后的坐標(biāo)信息，并將其提供給實(shí)時(shí)渲染單元452。當(dāng)從保存單 元183獲得要處理的畫面的具有鍵信息的CG信息時(shí)，實(shí)時(shí)渲染單元452 根據(jù)從用于CG修改的坐標(biāo)信息生成單元451獲得的修改后的坐標(biāo)信息來 執(zhí)行渲染，以生成位圖式的具有鍵信息的CG信息和鍵信息。類似地，實(shí)時(shí)渲染單元452從保存單元183獲取要處理的畫面的用于掩模圖像信息的
渲染信息421，基于從用于CG修改的坐標(biāo)信息生成單元451獲得的修改 后的坐標(biāo)信息來生成位圖式的掩模圖像信息。實(shí)時(shí)渲染單元452利用該掩 模圖像信息來生成整體掩模信息和部份掩模信息。實(shí)時(shí)渲染單元452將這 種所生成的信息提供給各個(gè)單元。
將參考圖14和圖15描述這種情況中的圖像合成處理的流程示例。注 意，該流程圖與圖5中的圖像合成處理的流程圖相對(duì)應(yīng)。
圖14中的步驟S401至S403的每個(gè)中的處理按照與圖5中的歩驟 S101至S103的每個(gè)中的處理相同的方式來執(zhí)行。但是，對(duì)于步驟S401中 的控制信息讀出處理，省略了諸如生成部份掩模信息、提取鍵信息等處 理。
在圖14的步驟S404中，輸入單元133接受CG設(shè)計(jì)修改指令。在步 驟S405，用于CG修改的坐標(biāo)信息生成單元451基于該CG設(shè)計(jì)修改指令 計(jì)算要處理的畫面的用于CG修改的坐標(biāo)信息。
在步驟S406，實(shí)時(shí)渲染單元452從保存單元183獲取用于所指定合成 模式的要處理的畫面的具有鍵信息的CG信息的渲染信息。在步驟S407， 實(shí)時(shí)渲染單元452基于各種類型的坐標(biāo)信息和紋理信息執(zhí)行渲染以生成位 圖式的具有鍵信息的CG信息。另外，實(shí)時(shí)渲染單元452從所生成的位圖 式的具有鍵信息的CG信息提取鍵信息(位圖)。在步驟S408，實(shí)時(shí)渲染 單元452將具有鍵信息的CG信息和鍵信息(兩者都是位圖)提供給各個(gè) 單元。
在步驟S409，實(shí)時(shí)渲染單元452從保存單元183獲取用于所指定合成 模式的要處理的畫面的掩模圖像信息421的渲染信息。在步驟S410，實(shí)時(shí) 渲染單元452基于各種坐標(biāo)信息和紋理信息執(zhí)行渲染以生成位圖式的掩模 圖像信息。在歩驟S411，實(shí)時(shí)渲染單元452從上述掩模圖像信息生成整體 掩模信息和部份掩模信息，并且還將各條部份掩模信息以及整體掩模信息 適當(dāng)?shù)靥峁┙o各個(gè)單元。
在步驟S412，信息讀出控制單元131從保存單元183讀出所指定合成
模式的要處理畫面的音頻信息和音頻合成信息，以將它們提供給音頻合成單元163。
圖15中的步驟S421至S429的每個(gè)中的處理按照與圖5中的步驟 S105至S113的每個(gè)中的處理相同的方式來執(zhí)行。
如上所述，圖像處理系統(tǒng)100 (圖像合成設(shè)備111)可以更新控制信 息以使得用戶在圖像的合成期間修改合成圖像的結(jié)構(gòu)。
注意，到此為止描述了將IP轉(zhuǎn)換作為預(yù)處理來執(zhí)行的情況，然而，該 預(yù)處理可以是任意處理，只要該處理是對(duì)輸入圖像執(zhí)行的。例如，如圖16 所示，可以進(jìn)行這樣的布置其中，對(duì)每個(gè)輸入圖像執(zhí)行面部檢測(cè)而非IP 轉(zhuǎn)換，并且將檢測(cè)到的面部圖像作為中心來執(zhí)行圖像的修剪。
在圖16中，對(duì)于預(yù)處理單元141，代替IP轉(zhuǎn)換單元141-1至141-4而 設(shè)置了面部檢測(cè)單元501-1至501-4。
面部檢測(cè)單元501-1對(duì)第一輸入圖像音頻信息的圖像信息執(zhí)行面部檢 測(cè)，并基于檢測(cè)到的面部圖像的位置設(shè)置用于修剪的中心坐標(biāo)。面部檢測(cè) 單元501-1將所設(shè)置的中心坐標(biāo)與第一輸入圖像音頻信息一起提供給圖像 修剪單元151-1。圖像修剪單元151-1利用所述中心坐標(biāo)來更新從信息讀出 控制單元131提供來的第一部份掩模信息的中心坐標(biāo)，并基于更新后的第 一部份掩模信息執(zhí)行部份圖像的修剪。
面部檢測(cè)單元501-2對(duì)第二輸入圖像音頻信息的圖像信息執(zhí)行面部檢 測(cè)，并基于檢測(cè)到的面部圖像的位置設(shè)置用于修剪的中心坐標(biāo)。面部檢測(cè) 單元501-2將所設(shè)置的中心坐標(biāo)與第二輸入圖像音頻信息一起提供給圖像 修剪單元151-2。圖像修剪單元151-2利用所述中心坐標(biāo)來更新從信息讀出 控制單元131提供來的第二部份掩模信息的中心坐標(biāo)，并基于更新后的第 二部份掩模信息執(zhí)行部份圖像的修剪。
面部檢測(cè)單元501-3對(duì)第三輸入圖像音頻信息的圖像信息執(zhí)行面部檢 測(cè)，并基于檢測(cè)到的面部圖像的位置設(shè)置用于修剪的中心坐標(biāo)。面部檢測(cè) 單元501-3將所設(shè)置的中心坐標(biāo)與第三輸入圖像音頻信息一起提供給圖像 修剪單元151-3。圖像修剪單元151-3利用所述中心坐標(biāo)來更新從信息讀出 控制單元131提供來的第三部份掩模信息的中心坐標(biāo)，并基于更新后的第 三部份掩模信息執(zhí)行部份圖像的修剪。面部檢測(cè)單元501-4對(duì)第四輸入圖像音頻信息的圖像信息執(zhí)行面部檢 測(cè)，并基于檢測(cè)到的面部圖像的位置設(shè)置用于修剪的中心坐標(biāo)。面部檢測(cè)
單元501-4將所設(shè)置的中心坐標(biāo)與第四輸入圖像音頻信息一起提供給圖像 修剪單元151-4。圖像修剪單元151-4利用所述中心坐標(biāo)來更新從信息讀出 控制單元131提供來的第四部份掩模信息的中心坐標(biāo)，并基于更新后的第 四部份掩模信息執(zhí)行部份圖像的修剪。
將參考圖17中的流程圖描述這種情況中的圖像合成處理的流程示 例。注意，該流程圖與圖5中的圖像合成處理的流程圖相對(duì)應(yīng)。
圖17的步驟S501至S504的每個(gè)中的處理按照與圖5中的步驟S101 至S104的每個(gè)中的處理相同的方式來執(zhí)行。
在圖17的步驟S505中，預(yù)處理單元134的面部檢測(cè)單元501-1至 501-4對(duì)每個(gè)輸入圖像執(zhí)行面部檢測(cè)。在步驟S506，面部檢測(cè)單元501-1 至501-4基于檢測(cè)結(jié)果確定用于修剪的中心坐標(biāo)。在步驟S507，圖像修剪 單元151 (圖像修剪單元151-1至151-4)利用在步驟S506所確定的值來 更新每條部份掩模信息(的中心坐標(biāo))。
步驟S508至S515的每個(gè)中的處理按照與圖5中的步驟S106至S113 的每個(gè)中的處理相同的方式來執(zhí)行。
如上所述，對(duì)于預(yù)處理單元134，從輸入圖像檢測(cè)出面部圖像，并且 基于所述面部的位置來確定修剪位置，由此輸入圖像處理單元135可以修 剪出具有更合適畫面的部份圖像。即，圖像合成設(shè)備111可以進(jìn)一步提高 合成結(jié)果(合成圖像)的視覺效果。
注意，到此為止描述了諸如掩模圖像信息172或具有鍵信息的CG信 息174之類的位圖數(shù)據(jù)按照預(yù)定方法被壓縮并存儲(chǔ)在存儲(chǔ)單元132中。下 面將描述這種壓縮方法的具體示例。
首先，描述掩模圖像信息172。如在圖3中示意性地示出的，掩模圖 像信息172以像素為單位來指定是否將哪個(gè)輸入系統(tǒng)的圖像選擇作為合成 結(jié)果。各個(gè)像素的指定順序可是任意順序，但是為了簡化處理使用光柵掃 描方法。即，如圖3中示意性地示出的，掩模圖像信息172具有使具有相 同值的數(shù)據(jù)更有可能連續(xù)(存在許多重復(fù))的特征。因此，例如可以通過使掩模圖像信息172以字節(jié)為單位經(jīng)受行程編碼 來有效地對(duì)其進(jìn)行壓縮。即，掩模圖像信息172通過行程編碼而被編碼， 由此圖像合成設(shè)備111可以提高存儲(chǔ)區(qū)域和總線區(qū)域的使用效率。
注意，在行程編碼的情況中，指定值和該值繼續(xù)的長度已足夠，因
此，壓縮后的數(shù)據(jù)結(jié)構(gòu)變得相對(duì)簡單。因此，信息讀出控制單元131可以 高速容易地對(duì)掩模圖像信息172執(zhí)行解碼處理。
接下來，描述具有鍵信息的CG信息174 (鍵信息和CG信息)。CG 信息是用于顯示的信息，因此一般地，與掩模圖像信息172相比所述畫面 變得復(fù)雜。而且，對(duì)于合成模式，CG信息頻繁地被當(dāng)作移動(dòng)圖像，并且 具有信息更有可能在畫面之間改變較大的特征。
在例如通過利用離散余弦變換或運(yùn)動(dòng)向量的壓縮編碼來對(duì)擁有這樣的 特征的具有鍵信息的CG信息進(jìn)行編碼的情況中，存在這樣的可能性在 合成圖像中可能出現(xiàn)諸如所謂的蚊式(mosquito)噪聲之類的明顯可見的 噪聲。即，可能降低合成圖像的感官(somesthetic)圖像質(zhì)量。
另一方面，例如，在利用小波變換的壓縮編碼的情況中，對(duì)于合成圖 像，即使發(fā)生信息丟失等，合成圖像的分辨率可能下降(所謂的模糊)， 這也是難以察覺的。即，不大可能降低合成圖像的感官圖像質(zhì)量。
而且，具有鍵信息的CG信息174是以畫面為單位來處理的，因此幀 內(nèi)編碼(intracoding)有助于解碼處理，這是合適的。
因此，對(duì)于對(duì)具有鍵信息的CG信息174的編碼，希望使用利用小波 變換的幀內(nèi)編碼方法的壓縮編碼。然而，在JPEG 2000 (聯(lián)合圖像專家組 2000)方法的情況中，處理負(fù)荷較大。
因此，利用小波變換來以比畫面更小的數(shù)據(jù)為單位執(zhí)行處理的壓縮編 碼方法被應(yīng)用于對(duì)具有鍵信息的CG信息174的編碼。下面將描述這種壓 縮編碼方法。
圖18是圖示出根據(jù)該壓縮編碼的編碼設(shè)備的配置示例的框圖。在圖 18中，編碼系統(tǒng)600包括小波變換單元610、用于中間計(jì)算的緩沖器單元 611、用于系數(shù)排序的緩沖器單元612、系數(shù)排序單元613、速率控制單元 614和熵編碼單元615。輸入到編碼設(shè)備600的圖像數(shù)據(jù)臨時(shí)在用于中間計(jì)算的緩沖器單元
611中緩存。小波變換單元610對(duì)緩存在用于中間計(jì)算的緩沖器單元611 中的圖像數(shù)據(jù)進(jìn)行小波變換。具體而言，小波變換單元610從用于中間計(jì) 算的緩沖器單元611中讀出圖像數(shù)據(jù)，對(duì)其進(jìn)行分析濾波器的濾波器處理 以生成低頻分量系數(shù)數(shù)據(jù)和高頻分量系數(shù)數(shù)據(jù)，并將生成的系數(shù)數(shù)據(jù)存儲(chǔ) 在用于中間計(jì)算的緩沖器單元611中。小波變換單元610包括水平分析濾 波器和垂直分析濾波器，并使圖像數(shù)據(jù)組相對(duì)于屏幕的水平方向和垂直方 向兩者經(jīng)受分析濾波器處理。小波變換單元610再讀出存儲(chǔ)在用于中間計(jì) 算的緩沖器單元611中的低頻分量系數(shù)數(shù)據(jù)，并使讀出的系數(shù)數(shù)據(jù)經(jīng)受分 析濾波器的濾波器處理，以進(jìn)一步生成高頻分量系數(shù)數(shù)據(jù)和低頻分量系數(shù) 數(shù)據(jù)。生成的系數(shù)數(shù)據(jù)存儲(chǔ)在用于中間計(jì)算的緩沖器單元611中。
小波變換單元610對(duì)水平方向和垂直方向的低頻分量遞歸地重復(fù)這種 處理。對(duì)于小波變換，例如如圖19中示意性地示出的，將圖像數(shù)據(jù)劃分 為高空間頻帶數(shù)據(jù)和低空間頻帶(low-spatial-frequency band)數(shù)據(jù)的處理 對(duì)于作為劃分結(jié)果而獲取的低空間頻帶數(shù)據(jù)被遞歸地執(zhí)行。因此，低空間 頻帶數(shù)據(jù)被縮減到較小區(qū)域，由此能夠進(jìn)行有效的壓縮編碼。
注意，圖19是這樣的情況中的示例將用于將圖像數(shù)據(jù)的最低頻分
量區(qū)域劃分為低頻分量區(qū)域L和高頻分量區(qū)域H的處理重復(fù)三次，并且用 于指示經(jīng)劃分的層級(jí)的總數(shù)的劃分級(jí)別設(shè)為3。在圖19中，"L"和 "H"分別表示低頻分量和高頻分量，并且對(duì)于"L"和"H"的順序，在 前面的指示水平方向上的劃分得到的頻帶，而在后面的指示垂直方向上的 劃分得到的頻帶。而且，"L"和"H"前面的數(shù)字指示該區(qū)域的層級(jí)，其 中，低頻分量的層級(jí)級(jí)別越低，則該值越小。
而且，從圖19的示例可以明白，從屏幕的左下區(qū)域到左上區(qū)域經(jīng)過 了逐步的處理，因此，低頻分量被縮減。具體而言，對(duì)于圖19的示例， 屏幕的右下區(qū)域被當(dāng)作包括了最少低頻分量(包括最多高頻分量)的區(qū)域 3HH，將屏幕劃分為四個(gè)區(qū)域而獲得的左上區(qū)域進(jìn)一步被劃分為四個(gè)區(qū) 域，并且在所述四個(gè)被劃分的區(qū)域中，左上區(qū)域進(jìn)一步被劃分為四個(gè)區(qū) 域。在最左上角的區(qū)域被當(dāng)作是包括最多低頻分量的區(qū)域0LL。對(duì)低頻分量重復(fù)執(zhí)行轉(zhuǎn)換和劃分的原因在于圖像的能量集中在低頻分量中。
小波變換單元610如上所述重復(fù)小波變換，并在劃分級(jí)別達(dá)到預(yù)定級(jí) 別時(shí)，從用于中間計(jì)算的緩沖器單元611讀出系數(shù)數(shù)據(jù)，并將讀出的系數(shù)
數(shù)據(jù)寫入用于系數(shù)排序的緩沖器單元612。
系數(shù)排序單元613按解碼時(shí)執(zhí)行逆小波變換的順序讀出寫在用于系數(shù) 排序的緩沖器單元612中的系數(shù)數(shù)據(jù)，并將其提供給熵編碼單元615。熵 編碼單元615利用預(yù)定熵編碼方法(例如，Huffman編碼或算術(shù)編碼)對(duì) 提供來的系數(shù)數(shù)據(jù)進(jìn)行編碼。
熵編碼單元615與速率控制單元614同時(shí)操作，并被控制以使得輸出 的壓縮編碼數(shù)據(jù)的比特率通常變?yōu)槟硞€(gè)值。具體而言，速率控制單元614 將控制信號(hào)提供給熵編碼單元615，該控制信號(hào)基于來自熵編碼單元615 的編碼數(shù)據(jù)信息執(zhí)行控制，以使得在由熵編碼單元615壓縮和編碼的數(shù)據(jù) 的比特率達(dá)到目標(biāo)值時(shí)或緊接在達(dá)到目標(biāo)值之前結(jié)束熵編碼單元615的編 碼處理。熵編碼單元615在根據(jù)從速率控制單元614提供來的控制信號(hào)結(jié) 束編碼處理后，輸出編碼數(shù)據(jù)。
注意，熵編碼單元615對(duì)從系數(shù)排序單元613讀出的系數(shù)數(shù)據(jù)進(jìn)行第 一次量化，并對(duì)所獲得的量化系數(shù)進(jìn)行信息源編碼處理，例如Huffman編 碼或算術(shù)編碼等，由此可以預(yù)期壓縮效率的進(jìn)一歩提高。任何方法可以用 作這種量化方法，例如，可以使用一種普通方法，即例如下式(1)所示 的，將系數(shù)數(shù)據(jù)W除以量化步長大小A的方法。 量化系數(shù)二W/A…(1)
例如在速率控制單元614中計(jì)算此時(shí)的量化步長大小△。
注意，小波變換單元610通過將利用小波變換的濾波器處理劃分為關(guān) 于屏幕的垂直方向的每幾行中的處理來以逐步方式執(zhí)行利用小波變換的濾 波器處理。行數(shù)是基于在圖像數(shù)據(jù)被遞歸地劃分為高頻分量和低頻分量之 后用于生成相當(dāng)于一行的最低頻分量的行數(shù)的。
注意，在下文中，將包括其它子頻帶在內(nèi)的用于生成相當(dāng)于一行的最 低頻分量(最低頻分量的子頻帶的相當(dāng)于一行的系數(shù)數(shù)據(jù))的行的集合稱 作"分區(qū)(或行塊)"。這里提及的術(shù)語"行"(line)指與小波變換之前的圖像數(shù)據(jù)相對(duì)應(yīng)的畫面或場(chǎng)內(nèi)，或者在每個(gè)子頻帶內(nèi)形成的相當(dāng)于一 行的像素?cái)?shù)據(jù)或系數(shù)數(shù)據(jù)。即，分區(qū)(或行塊)指對(duì)于小波變換之前的原 始圖像數(shù)據(jù)，相當(dāng)于如下行數(shù)的像素?cái)?shù)據(jù)組，所述行數(shù)是用于生成小波變 換后的最低頻分量的子頻帶的相當(dāng)于一行的系數(shù)數(shù)據(jù)的，或者指通過對(duì)所 述像素?cái)?shù)據(jù)組進(jìn)行小波變換而獲得的每個(gè)子頻帶的系數(shù)數(shù)據(jù)組。
圖20A至20C是這樣的示例其中，通過利用5X3濾波器來對(duì)輸入 圖像數(shù)據(jù)進(jìn)行利用小波變換的濾波器處理直到劃分級(jí)別=2為止。在小波變 換單元610中，如圖20A中的示例所示，輸入圖像數(shù)據(jù)的第一行至第七行 在水平方向和垂直方向的每個(gè)方向上經(jīng)受第一濾波器處理(圖20A中的 In-l)。
在第一濾波器處理的劃分級(jí)別=1的處理中，生成了相當(dāng)于三行的系數(shù) 數(shù)據(jù)，并且如圖20B中的示例所示，所述系數(shù)數(shù)據(jù)被排列在在劃分級(jí)別=1 時(shí)形成的區(qū)域HH、 HL和LH的每個(gè)區(qū)域中(圖20B中的WT-1)。而 且，在劃分級(jí)別=1時(shí)形成的區(qū)域LL在劃分級(jí)別2時(shí)的水平方向和垂直方 向上的濾波器處理中被進(jìn)一步劃分為四個(gè)區(qū)域。
在小波變換單元610的第二濾波器處理以及此后的濾波器處理中，濾 波器處理按每四行來執(zhí)行(圖20A中的In-2)，生成劃分級(jí)別=1時(shí)的每兩 行的系數(shù)數(shù)據(jù)(圖20B中的WT-2)，生成劃分級(jí)別=2時(shí)的每一行的系數(shù) 數(shù)據(jù)。如圖20B中的示例所示，該系數(shù)數(shù)據(jù)被排列在在劃分級(jí)別=1時(shí)形成 的區(qū)域HH、 HL和LH的第一濾波器處理中生成的系數(shù)數(shù)據(jù)之后。類似 地，在劃分級(jí)別^時(shí)的區(qū)域LL中，在劃分級(jí)別=2的濾波器處理中生成的 相當(dāng)于一行的系數(shù)被排列在區(qū)域LL中，相當(dāng)于一行的系數(shù)被排列在區(qū)域 HH、 HL和LH的每個(gè)中。
當(dāng)如圖20B所示經(jīng)過小波變換的數(shù)據(jù)被解碼時(shí)，如圖20C所示，響應(yīng) 于編碼側(cè)的第一至第七行的第一濾波器處理，解碼側(cè)的第一合成處理的第 一行被輸出(圖20C中的Out-l)。此后，響應(yīng)于編碼側(cè)的從第二濾波器 處理起的第二到最后一次濾波器處理，每四行被輸出(圖20C中的Out-2 等)。接著，響應(yīng)于編碼側(cè)的最后一次濾波器處理，在解碼側(cè)輸出八行。
在小波變換單元610中從高頻分量側(cè)到低頻分量側(cè)生成的系數(shù)數(shù)據(jù)順序地存儲(chǔ)在用于系數(shù)排序的緩沖器單元612中。當(dāng)在用于系數(shù)排序的緩沖 器單元612中累積系數(shù)數(shù)據(jù)直到能夠?qū)ο禂?shù)數(shù)據(jù)排序時(shí)，系數(shù)存儲(chǔ)單元
613按照用于解碼(逆小波變換處理)時(shí)的合成處理的順序?qū)ο禂?shù)數(shù)據(jù)排 序，并從用于系數(shù)排序的緩沖器單元612將其讀出。讀出的系數(shù)數(shù)據(jù)順序 地被提供給熵編碼單元615。
如上所述，編碼設(shè)備600將一個(gè)畫面的圖像數(shù)據(jù)劃分為多個(gè)分區(qū)，并 且對(duì)每個(gè)分區(qū)執(zhí)行編碼，這在圖21中示出。
圖22圖示出了在通過這樣的方法對(duì)具有鍵信息的CG信息174編碼并 存儲(chǔ)在存儲(chǔ)單元132中的情況中的解碼單元184的配置示例。
從存儲(chǔ)單元132讀出的具有鍵信息的CG信息174被提供給圖22中的 解碼單元184，其中，熵代碼被解碼以獲取系數(shù)數(shù)據(jù)。系數(shù)數(shù)據(jù)存儲(chǔ)在系 數(shù)緩沖器單元622中。逆小波變換單元623利用存儲(chǔ)在系數(shù)緩沖器單元 622中的系數(shù)數(shù)據(jù)來執(zhí)行合成濾波器的合成濾波器處理，并將合成濾波器 處理的結(jié)果再次存儲(chǔ)在系數(shù)緩沖器單元622中。逆小波變換單元623根據(jù) 劃分級(jí)別重復(fù)該處理以獲得解碼圖像數(shù)據(jù)，即基帶(未壓縮的)具有鍵信 息的CG信息174。
如上所述，在這種壓縮編碼方法的情況中，與JPEG 2000的情況相比 可以容易地執(zhí)行解碼，由此可以減少解碼處理負(fù)荷。注意，在這種壓縮編 碼方法的情況中，如上所述在編碼時(shí)執(zhí)行對(duì)系數(shù)的排序，由此進(jìn)一步減少 了解碼時(shí)的處理負(fù)荷。
注意，例如從壓縮效率的角度來看，MPEG (運(yùn)動(dòng)圖像專家組)更有 效。因此，例如在運(yùn)動(dòng)小并且數(shù)據(jù)量大以包括例如100或更多類型的圖像 的CG信息的情況中，希望利用MPEG執(zhí)行壓縮。然而，在這種情況中， 解碼單元184也必須處理MPEG。此外，可以將上述各種類型的編碼方法 按適當(dāng)方式組合使用。在這種情況中，解碼單元184必須處理所有所使用 的方法。
上述處理序列不但可以用硬件來執(zhí)行還可以用軟件來執(zhí)行。在這種情 況中，例如，上述處理序列可以被配置為如圖23所示的信息處理系統(tǒng)。 圖23是圖示出利用程序執(zhí)行上述處理序列的信息處理系統(tǒng)的配置示例的框圖。如圖23所示，信息處理系統(tǒng)800是用于執(zhí)行圖像編碼處理、 圖像解碼處理等、由以下設(shè)備構(gòu)成的系統(tǒng)信息處理設(shè)備801、存儲(chǔ)設(shè)備
803、多個(gè)錄像機(jī)(VTR) VTR804-1至VTR804-S，用戶利用如下設(shè)備對(duì) 上述設(shè)備執(zhí)行操作輸入鼠標(biāo)805、鍵盤806和操作控制器807，它們都 通過PCI (外圍部件互連)總線802連接到信息處理設(shè)備801。
例如，信息處理系統(tǒng)800的信息處理設(shè)備801允許用戶對(duì)存儲(chǔ)在由 RAID (獨(dú)立磁盤冗余陣列)構(gòu)成的大容量存儲(chǔ)設(shè)備803中的運(yùn)動(dòng)圖像內(nèi)容 進(jìn)行編碼以將所獲得的編碼數(shù)據(jù)存儲(chǔ)在存儲(chǔ)設(shè)備803中，從而對(duì)存儲(chǔ)在存 儲(chǔ)設(shè)備803中的編碼數(shù)據(jù)進(jìn)行解碼以將所獲得的解碼圖像數(shù)據(jù)(運(yùn)動(dòng)圖像 內(nèi)容)存儲(chǔ)在存儲(chǔ)設(shè)備803中，或者經(jīng)由VTR804-1至VTR804-S將編碼 數(shù)據(jù)或解碼圖像數(shù)據(jù)記錄在視頻磁帶中。而且，信息處理設(shè)備801還被布 置來將記錄在安裝在VTR804-1至VTR804-S中的視頻磁帶中的運(yùn)動(dòng)圖像 內(nèi)容取出來存儲(chǔ)在存儲(chǔ)設(shè)備803中。此時(shí)，信息處理設(shè)備801可以對(duì)運(yùn)動(dòng) 圖像內(nèi)容進(jìn)行編碼。
信息處理設(shè)備801包括GPU (圖形處理單元)902、 XDR-RAM (極 速數(shù)據(jù)率隨機(jī)存取存儲(chǔ)器)903、南橋904、 HDD (硬盤驅(qū)動(dòng)器)905、 USB (通用串行總線)接口 (USB I/F) 906和聲音輸入/輸出編解碼器 907。
GPU 902經(jīng)由專用總線911連接到微處理器901 。 XDR-RAM 903經(jīng)由 專用總線912連接到微處理器901。南橋904經(jīng)由專用總線連接到微處理 器901的I/O控制器944。南橋904還與HDD 905、 USB接口 906和聲音 輸入/輸出編解碼器907相連。聲音輸入/輸出編解碼器907與揚(yáng)聲器921 相連。而且，GPU902與顯示裝置922相連。
而且，南橋904還經(jīng)由PCI總線802與鼠標(biāo)805、鍵盤806、 VTR804-1至VTR804-S、存儲(chǔ)設(shè)備803及操作控制器807相連。
鼠標(biāo)805和鍵盤806接受用戶的操作輸入，并且經(jīng)由PCI總線802和 南橋904將指示用戶的操作輸入的信號(hào)提供給微處理器901。存儲(chǔ)設(shè)備 803和VTR804-1至VTR804-S被布置來記錄或再現(xiàn)預(yù)定數(shù)據(jù)。
PCI總線802還適當(dāng)?shù)嘏c驅(qū)動(dòng)器808相連，諸如磁帶、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等的可移除介質(zhì)811被裝載在驅(qū)動(dòng)器808中，并且從其 讀出的計(jì)算機(jī)程序適當(dāng)?shù)乇话惭b在HDD 905中。
微處理器901由多核配置組成，其中，執(zhí)行諸如OS (操作系統(tǒng))等 的基礎(chǔ)程序的通用主CPU (中央處理單元)核941、作為經(jīng)由內(nèi)部總線 945連接到主CPU核941的多個(gè)(在此情況中為8個(gè))RISC (精簡指令集 計(jì)算機(jī))類型信號(hào)處理處理器的副CPU核942-1至942-8、對(duì)例如具有 256兆字節(jié)的存儲(chǔ)器容量的XDR-RAM 903執(zhí)行存儲(chǔ)器控制的存儲(chǔ)器控制 器943，以及對(duì)南橋904的數(shù)據(jù)的輸入/輸出進(jìn)行管理的I/O (輸入/輸出) 控制器944被集成在一個(gè)芯片中，并且例如實(shí)現(xiàn)4 GHz的操作頻率。
微處理器901在啟動(dòng)時(shí)基于存儲(chǔ)在HDD 905中的控制程序讀出存儲(chǔ)在 HDD 905中的適當(dāng)?shù)膽?yīng)用程序并將其裝載在XDR-RAM 903中，然后基于 該應(yīng)用程序和操作員(operator)操作執(zhí)行適當(dāng)?shù)目刂铺幚怼?br> 例如，在圖2所示的圖像合成設(shè)備111的配置中，由包括在虛線圍繞 的部份中的處理單元121執(zhí)行的處理，即諸如IP轉(zhuǎn)換等、信息讀出控制處 理等的預(yù)處理由微處理器901執(zhí)行，由包括在虛線圍繞的部份中的處理單 元122執(zhí)行的處理，即與圖像有關(guān)的處理(例如，圖像的修剪、尺寸校 正、各種類型的合成等)由GPU902執(zhí)行。
注意，存儲(chǔ)單元132例如由HDD 905、存儲(chǔ)設(shè)備803、安裝了可移除 介質(zhì)811的驅(qū)動(dòng)器808等來實(shí)現(xiàn)，并且輸入單元133例如由鼠標(biāo)805、鍵 盤806、 USBI/F 906、未示出的網(wǎng)絡(luò)接口等來實(shí)現(xiàn)。而且，在信息讀出控 制單元131中，由解碼單元181、劃分單元182、解碼單元184和提取單 元185執(zhí)行的每個(gè)處理由微處理器901來執(zhí)行，并且保存單元183由 XDR-RAM 903來實(shí)現(xiàn)。
注意，微處理器901包括多個(gè)核，因此處理的執(zhí)行是按適當(dāng)方式并行 化的，由此還可以并行地同時(shí)進(jìn)行多個(gè)處理。而且，針對(duì)各個(gè)處理的核的 指定也是可選的。
在上述處理序列由軟件執(zhí)行的情況中，從網(wǎng)絡(luò)或記錄介質(zhì)來安裝構(gòu)成 所述軟件的程序。
例如如圖23所示，這種記錄介質(zhì)不僅由用于將程序與設(shè)備主單元分開地分發(fā)給用戶而發(fā)行的存儲(chǔ)所述程序的可移除介質(zhì)811構(gòu)成，而且由以
嵌入在設(shè)備主單元中的狀態(tài)發(fā)行的存儲(chǔ)所述程序的HDD 905、存儲(chǔ)設(shè)備 803等構(gòu)成，其中，可移除介質(zhì)811由磁盤(包括軟盤)、光盤(包括 CD-ROM和DVD)、磁光盤(包括MD)、半導(dǎo)體存儲(chǔ)器等構(gòu)成。不用 說，記錄介質(zhì)可以是諸如ROM、閃存等的半導(dǎo)體存儲(chǔ)器。
到此為止描述了在微處理器901中設(shè)置八個(gè)副CPU核，然而本發(fā)明不 限于此，并且CPU核的數(shù)目是可選的。而且，微處理器901不一定由諸如 主CPU核和副CPU核之類的多個(gè)核構(gòu)成，而是或者可以由單核(一個(gè) 核)構(gòu)成。而且，可以應(yīng)用多個(gè)CPU或者可以應(yīng)用多個(gè)信息處理設(shè)備來代 替微處理器901 (即，用于執(zhí)行本發(fā)明的處理的程序可以在以協(xié)同方式操 作的多個(gè)設(shè)備中執(zhí)行)。
注意，根據(jù)本說明書的各個(gè)步驟不僅包括以根據(jù)所述順序的時(shí)間順序 執(zhí)行的處理，而且包括不必以時(shí)間順序執(zhí)行而是并行或單獨(dú)執(zhí)行的處理。
而且，在本說明書中，術(shù)語"系統(tǒng)"表示由多個(gè)設(shè)備構(gòu)成的裝備設(shè)備 的整體。
注意，在上述描述中，可以進(jìn)行這樣的布置其中，被描述為單個(gè)設(shè) 備的配置被分割，并被配置為多個(gè)設(shè)備。反之，被描述為多個(gè)設(shè)備的配置 可以被集成為單個(gè)設(shè)備。而且，不用說，除了上述配置之外的配置可以附 加到每個(gè)設(shè)備的配置中。此外，在作為整個(gè)系統(tǒng)的配置和操作基本上相同 的情況中，某個(gè)設(shè)備的配置的一部份可以包括在另一設(shè)備的配置中。艮口， 本發(fā)明的實(shí)施例不限于上述實(shí)施例，并且在不脫離本發(fā)明的實(shí)質(zhì)的情況下 可以執(zhí)行各種修改。
本發(fā)明包含與在2008年4月11日向日本專利局提交的日本優(yōu)先權(quán)專 利申請(qǐng)JP 2008-103390中公開的主題有關(guān)的主題，該申請(qǐng)的全部內(nèi)容通過 引用結(jié)合于此。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，可以根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種修 改、組合、子組合和變更，只要它們?cè)谒綑?quán)利要求和其等同物的范圍之 內(nèi)。
權(quán)利要求
1.一種信息處理設(shè)備，包括修剪裝置，被配置來對(duì)多個(gè)圖像進(jìn)行用于將圖像的一部分修剪出來作為部份圖像的修剪處理，以便從所述多個(gè)圖像的每一個(gè)中修剪出部份圖像；尺寸校正裝置，被配置來校正與由所述修剪裝置修剪出的多個(gè)所述部份圖像的每個(gè)有關(guān)的圖像尺寸；以及合成裝置，被配置來將由所述尺寸校正裝置校正了圖像尺寸的所述部份圖像相連接，以生成合成圖像。
2. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述修剪裝置利用由 第一控制信息指定的修剪方法來對(duì)所述部份圖像執(zhí)行修剪；并且其中，所述尺寸校正裝置校正所述部份圖像以使之具有由所述第 一控制信息指定的圖像尺寸；并且其中，所述合成裝置利用由所述第一控制信息指定的連接方法來 連接所述部份圖像。
3. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括計(jì)算機(jī)圖形信息合成裝置，被配置來根據(jù)由第二控制信息指定的疊加 方法將計(jì)算機(jī)圖形信息疊加在由所述合成裝置生成的所述合成圖像上，所 述第二控制信息用于指定多個(gè)圖像的疊加方法。
4. 根據(jù)權(quán)利要求3所述的信息處理設(shè)備，還包括存儲(chǔ)裝置，被配置來存儲(chǔ)所述第一控制信息和所述第二控制信息；以及讀出裝置，被配置來從所述存儲(chǔ)裝置中讀出所述第一控制信息和所述 第二控制信息，以將所述第一控制信息提供給所述修剪裝置、所述尺寸校 正裝置和所述合成裝置，并將所述第二控制信息提供給所述計(jì)算機(jī)圖形信 息合成裝置。
5. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中，所述讀出裝置根據(jù)從 所述存儲(chǔ)裝置讀出的所述第一控制信息生成部份控制信息，以將多個(gè)所生成的部份控制信息提供給所述修剪裝置和所述尺寸校正裝置，所述部份控 制信息是對(duì)于所述多個(gè)圖像的每一個(gè)的控制信息；并且其中，所述修剪裝置針對(duì)每個(gè)圖像利用由與每個(gè)圖像相對(duì)應(yīng)的部份控制信息指定的修剪方法來執(zhí)行對(duì)所述部份圖像的修剪；并且其中，所述尺寸校正裝置校正每個(gè)部份圖像，以使之具有由與每 個(gè)部份圖像相對(duì)應(yīng)的部份控制信息指定的圖像尺寸。
6. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中，存儲(chǔ)在所述存儲(chǔ)裝置 中的所述第一控制信息和所述第二控制信息分別利用預(yù)定方法被壓縮；并且其中，所述讀出裝置利用與壓縮方法相對(duì)應(yīng)的方法對(duì)從所述存儲(chǔ) 裝置讀出的所述第一控制信息和所述第二控制信息進(jìn)行解碼，然后提供所 述第一控制信息和所述第二控制信息。
7. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中，所述存儲(chǔ)裝置針對(duì)各 個(gè)合成模式來管理所述第一控制信息和所述第二控制信息；并且其中，所述讀出裝置從所述存儲(chǔ)裝置讀出具有所指定的合成模式 的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和 所述第二控制信息。
8. 根據(jù)權(quán)利要求7所述的信息處理設(shè)備，還包括 前進(jìn)控制指令接受裝置，被配置來接受用于控制所述合成模式的前進(jìn)的前進(jìn)控制指令；其中，所述讀出裝置基于由所述前進(jìn)控制指令接受裝置接受的所述前 進(jìn)控制指令確定對(duì)于所述合成模式要處理的位置，并且讀出與所述要處理 的位置相對(duì)應(yīng)的所述第一控制信息和所述第二控制信息，然后提供所述第 一控制信息和所述第二控制信息。
9. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備，還包括 修改指令接受裝置，被配置來接受具有所述計(jì)算機(jī)圖形信息的配置的修改指令；其中，所述讀出裝置基于由所述修改指令接受裝置接受的所述修改指 令更新所述第一控制信息和所述第二控制信息。
10. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括預(yù)處理裝置，被配置來對(duì)所述多個(gè)圖像進(jìn)行預(yù)處理；其中，所述修剪裝置從經(jīng)過所述預(yù)處理裝置的預(yù)處理的所述多個(gè)圖像 中修剪出所述部份圖像。
11. 根據(jù)權(quán)利要求IO所述的信息處理設(shè)備，其中，所述預(yù)處理裝置將 隔行掃描形式的所述多個(gè)圖像轉(zhuǎn)換為逐行掃描形式的所述多個(gè)圖像。
12. 根據(jù)權(quán)利要求IO所述的信息處理設(shè)備，其中，所述預(yù)處理裝置從 所述多個(gè)圖像的每個(gè)檢測(cè)面部圖像，以確定由所述修剪裝置修剪出的所述 部份圖像的中心坐標(biāo)。
13. —種用于信息處理設(shè)備的信息處理方法，包括以下步驟 對(duì)多個(gè)圖像進(jìn)行用于將圖像的一部分修剪出來作為部份圖像的修剪處理，以從所述多個(gè)圖像的每個(gè)修剪出部份圖像；校正與多個(gè)所述修剪出的部份圖像的每個(gè)有關(guān)的圖像尺寸；以及連接已校正了圖像尺寸的所述部份圖像以生成合成圖像。
14. 一種使處理信息的計(jì)算機(jī)執(zhí)行以下步驟的程序?qū)Χ鄠€(gè)圖像進(jìn)行用于將圖像的一部分修剪出來作為部份圖像的修剪處理，以從所述多個(gè)圖像的每個(gè)修剪出部份圖像；校正與多個(gè)所述經(jīng)修剪的部份圖像的每個(gè)有關(guān)的圖像尺寸；以及 連接已校正了圖像尺寸的所述部份圖像以生成合成圖像。
15. —種信息處理設(shè)備，包括修剪單元，被配置來對(duì)多個(gè)圖像進(jìn)行用于將圖像的一部分修剪出來作 為部份圖像的修剪處理，以便從所述多個(gè)圖像的每一個(gè)中修剪出部份圖尺寸校正單元，被配置來校正與由所述修剪單元修剪出的多個(gè)所述部份圖像的每個(gè)有關(guān)的圖像尺寸；以及合成單元，被配置來將由所述尺寸校正單元校正了圖像尺寸的所述部 份圖像相連接，以生成合成圖像。
全文摘要
本發(fā)明公開了信息處理設(shè)備和方法，以及程序。一種信息處理設(shè)備包括修剪單元，被配置來對(duì)多個(gè)圖像進(jìn)行用于將圖像的一部分修剪出來作為部分圖像的修剪處理，以便從所述多個(gè)圖像的每一個(gè)中修剪出部分圖像；尺寸校正單元，被配置來校正與由所述修剪單元修剪出的多個(gè)部分圖像的每個(gè)有關(guān)的圖像尺寸；以及合成單元，被配置來將由所述尺寸校正單元校正了圖像尺寸的所述部分圖像相連接，以生成合成圖像。
文檔編號(hào)H04N5/262GK101557475SQ20091013377
公開日2009年10月14日 申請(qǐng)日期2009年4月13日 優(yōu)先權(quán)日2008年4月11日
發(fā)明者大貫淳, 尾崎典雅, 白根慶太, 荻窪純一 申請(qǐng)人:索尼株式會(huì)社