圖像處理裝置和圖像處理裝置的控制方法
【專利摘要】本發(fā)明公開了圖像處理裝置及其控制方法。所述圖像處理裝置包括：圖形處理器、控制該圖形處理器的第一計算機(jī)、存儲由該圖形處理器生成的圖像數(shù)據(jù)的中間圖像存儲單元、輸入多個圖像數(shù)據(jù)的圖像輸入單元、輸出在輸入至該圖像輸入單元的多個圖像數(shù)據(jù)中的多個任意圖像數(shù)據(jù)的圖像切換單元、使用從該圖像切換單元輸出的圖像數(shù)據(jù)和存儲在所述中間圖像存儲單元中的圖像數(shù)據(jù)合成圖像數(shù)據(jù)的圖像合成單元、輸出由所述圖像合成單元合成的圖像數(shù)據(jù)的圖像輸出單元、控制所述圖像切換單元和所述圖像合成單元的第二計算機(jī)，和連接所述第一計算機(jī)與所述第二計算機(jī)的連接單元。本發(fā)明能夠?qū)崿F(xiàn)可擴(kuò)展性強(qiáng)的圖像處理并能夠使具有小延遲的穩(wěn)定操作的圖像處理得以保持。
【專利說明】圖像處理裝置和圖像處理裝置的控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置和圖像處理裝置的控制方法；更具體地，涉及使用圖形處理器(GPU)的圖像處理裝置。
【背景技術(shù)】
[0002]在相關(guān)技術(shù)中，使用GPU的圖像處理的構(gòu)造是已知的。在上述圖像處理中，通過軟件的控制能夠?qū)崿F(xiàn)各種特殊效果。能夠通過添加新的軟件將最新制作的特殊效果或計算機(jī)圖形(CG)新添加至相同的硬件，并且能夠?qū)崿F(xiàn)富于可擴(kuò)展性的經(jīng)濟(jì)的構(gòu)造。
[0003]由GPU與其它元件共同進(jìn)行處理的構(gòu)造是已知的。例如，在日本專利申請?zhí)亻_第2007-316859號公報中已經(jīng)披露了這樣的信息處理裝置:其中，設(shè)置有主處理器(CPU)、通過輸入/輸出接口連接至CPU的第一 GPU和通過外部連接接口連接至第一 GPU的第二 GPU，并且在第一 GPU中設(shè)置有使CPU能夠通過外部連接接口與第二 GPU進(jìn)行通信的中繼接口。
[0004]此外，在日本專利申請?zhí)亻_第2012-003619號公報中已經(jīng)說明了這樣的信息處理裝置:其中，待處理的圖像被劃分成第一區(qū)域和第二區(qū)域，且被劃分的第一區(qū)域和第二區(qū)域的圖像的處理是由CPU和GPU共同承擔(dān)和執(zhí)行的。

【發(fā)明內(nèi)容】

[0005]在含有GPU的構(gòu)造中，在使用GPU的時候能夠處理作為視頻信號輸入的圖像(與同步信號同步的幀的排列)。然而，因為GPU被構(gòu)造為一旦將輸入圖像存儲至內(nèi)存就處理輸入圖像并輸出輸入圖像，所以必然產(chǎn)生幀單元的處理延遲。例如，在輸入/輸出時產(chǎn)生至少兩幀的延遲，并且為了執(zhí)行進(jìn)一步的處理而產(chǎn)生三幀或更多的延遲。
[0006]在用于例如在講演或演出現(xiàn)場使用的將拍攝到的講演者放大并投影到投影儀的系統(tǒng)中，因為當(dāng)聲音被同步化并且從說話人輸出時即使產(chǎn)生微小的延遲觀眾也會感到不舒月艮，所以幀單元的大的延遲是不利的。此外，在廣播節(jié)目的情況下，延遲增加也是不利的。
[0007]同時，由于圖像的附加值提高，要求由使用GPU的軟件執(zhí)行具有靈活的可擴(kuò)展性的圖像處理。當(dāng)由軟件來控制靈活的圖像處理時，在操作導(dǎo)致參數(shù)變化之后的計算可能產(chǎn)生特定的值，并且可能產(chǎn)生不被允許的、畸變的輸出圖像。在這樣的情況下，可能難以通過修改參數(shù)的操作立即使畸變的圖像復(fù)原至正常的圖像。
[0008]因此，期望使可擴(kuò)展性強(qiáng)的圖像處理成為可能并且使具有小延遲的穩(wěn)定操作的圖像處理得以保持。
[0009]本發(fā)明的實施例提供了一種圖像處理裝置，所述圖像處理裝置包括:圖形處理器、控制所述圖形處理器的第一計算機(jī)、存儲由所述圖形處理器生成的圖像數(shù)據(jù)的中間圖像存儲單元、輸入多個圖像數(shù)據(jù)的圖像輸入單元、輸出在輸入至所述圖像輸入單元的所述多個圖像數(shù)據(jù)中的多個任意圖像數(shù)據(jù)的圖像切換單元、使用從所述圖像切換單元輸出的圖像數(shù)據(jù)和存儲在所述中間圖像存儲單元中的圖像數(shù)據(jù)合成圖像數(shù)據(jù)的圖像合成單元、輸出由所述圖像合成單元合成的圖像數(shù)據(jù)的圖像輸出單元、控制所述圖像切換單元和所述圖像合成單元的第二計算機(jī)，以及連接所述第一計算機(jī)與所述第二計算機(jī)的連接單元。
[0010]在本發(fā)明中包括有圖形處理器(GPU)。所述GPU由所述第一計算機(jī)控制。由所述GPU生成的所述圖像數(shù)據(jù)存儲在所述中間圖像存儲單元中。
[0011]通過所述圖像切換單元，輸出在由所述圖像輸入單元輸入的所述多個圖像數(shù)據(jù)中的多個任意圖像數(shù)據(jù)。通過所述圖像合成單元，使用從所述圖像切換單元輸出的圖像數(shù)據(jù)和存儲在所述中間圖像存儲單元中的圖像數(shù)據(jù)，并且合成圖像數(shù)據(jù)。通過所述圖像輸出單元輸出由所述圖像合成單元合成的圖像數(shù)據(jù)。
[0012]所述圖像切換單元和所述圖像合成單元由所述第二計算機(jī)控制。在此情況下，所述第二計算機(jī)與同步信號，即垂直同步信號同步地控制所述圖像切換單元和所述圖像合成單元。所述第二計算機(jī)連接至所述第一計算機(jī)。因此，所述第一和第二計算機(jī)能夠彼此配合地進(jìn)行控制。
[0013]正因如此，根據(jù)本發(fā)明，GPU系統(tǒng)和諸如所述圖像切換單元或所述圖像合成單元等主線系統(tǒng)是由各自的計算機(jī)單獨(dú)控制的。在所述圖像合成單元中，能夠通過所述中間圖像存儲單元使用由所述GPU生成的圖像數(shù)據(jù)和所述輸入圖像數(shù)據(jù)。因此，能夠?qū)崿F(xiàn)可擴(kuò)展性強(qiáng)的圖像處理并且使具有小延遲的穩(wěn)定操作的圖像處理得以保持。
[0014]在本發(fā)明中，所述圖像處理裝置可以還包括存儲與預(yù)定的圖像處理狀態(tài)相對應(yīng)的各單元的控制數(shù)據(jù)的圖像處理狀態(tài)存儲單元。當(dāng)指示復(fù)原所述圖像處理狀態(tài)時，所述第一計算機(jī)基于存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)進(jìn)行用于改變所述GPU的圖像處理狀態(tài)的控制；并且與所述GPU的圖像處理狀態(tài)的變化同步地，所述第二計算機(jī)基于存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)進(jìn)行用于改變所述圖像切換單元和所述圖像合成單元的圖像處理狀態(tài)的控制。在此情況下，所述第二計算機(jī)可以通過所述連接單元接收來自所述第一計算機(jī)的控制數(shù)據(jù)。
[0015]在此情況下，所述第二計算機(jī)只根據(jù)所述GPU的所述圖像處理狀態(tài)的變化時間(幀數(shù)單位)和關(guān)于寫入至所述中間圖像存儲單元、從所述中間圖像存儲單元中讀取的延遲時間(幀數(shù)單位:一般為I?2幀)的總時間進(jìn)行延遲操作，且對所述圖像切換單元和所述圖像合成單元進(jìn)行控制，以使得所述第二計算機(jī)能夠與所述GPU的所述圖像處理狀態(tài)的變化同步。通過這樣的控制，能夠安全地進(jìn)行所述GPU系統(tǒng)和所述主線系統(tǒng)的所述圖像處理狀態(tài)的共同變化。
[0016]在此情況下，當(dāng)指示存儲所述圖像處理狀態(tài)時，所述第一計算機(jī)可以將所述圖形處理器的控制數(shù)據(jù)存儲在所述圖像處理狀態(tài)存儲單元中，并且所述第二計算機(jī)可以將所述圖像切換單元和所述圖像合成單元的控制數(shù)據(jù)存儲在所述圖像處理狀態(tài)存儲單元中。此時，設(shè)置在附著于所述第一計算機(jī)的內(nèi)存中的第一圖像處理狀態(tài)存儲單元和設(shè)置在附著于第二計算機(jī)的內(nèi)存中的第二圖像處理狀態(tài)存儲單元可以被設(shè)置作為所述圖像處理狀態(tài)存儲單元。所述第一計算機(jī)可以將與由所述第一計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)寫入至所述第一圖像處理狀態(tài)存儲單元，并且所述第二計算機(jī)可以將與由所述第二計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)寫入至所述第二圖像處理狀態(tài)存儲單元。
[0017]在此情況下，所述圖像處理裝置可以還包括連接至所述第一計算機(jī)的用戶操作單元，且所述用戶操作單元可以具有輸入用以改變所述圖像處理狀態(tài)的指令的功能。當(dāng)所述用戶操作單元提供用以改變所述圖像處理狀態(tài)的所述指令時，所述第一計算機(jī)可以通過所述連接單元將所述指令傳送至所述第二計算機(jī)。因此，即使當(dāng)所述指令被輸入至所述第一計算機(jī)時，所述指令也被傳送至所述第二計算機(jī)并且使所述GPU系統(tǒng)和所述主線系統(tǒng)的所述圖像處理狀態(tài)的同步控制成為可能。
[0018]在本發(fā)明中，所述圖像處理裝置可以還包括存儲輸入至所述圖像輸入單元的圖像數(shù)據(jù)的輸入圖像存儲單元，且所述GPU可以通過參照從所述輸入圖像存儲單元讀取的圖像數(shù)據(jù)進(jìn)行操作。在這樣的情況下，所述輸入圖像存儲單元可以存儲從所述圖像切換單元輸出的圖像數(shù)據(jù)。因此，來源于所述輸入圖像數(shù)據(jù)的值能夠被包括在由所述GPU生成的且存儲在所述中間圖像存儲單元中的值中。
[0019]在本發(fā)明中，所述GPU可以生成要被重疊的前景圖像的圖像數(shù)據(jù)和所述圖像數(shù)據(jù)的鍵信號，且所述圖像合成單元可以從所述中間圖像存儲單元讀取所述前景圖像的所述圖像數(shù)據(jù)和所述圖像數(shù)據(jù)的所述鍵信號，并且基于所述鍵信號將所述前景圖像的所述圖像數(shù)據(jù)重疊至來自所述圖像切換單元的背景圖像的圖像數(shù)據(jù)。
[0020]在本發(fā)明中，所述圖像處理裝置可以還包括存儲輸入至所述圖像輸入單元的圖像數(shù)據(jù)的輸入圖像存儲單元，且所述第一計算機(jī)可以將圖像數(shù)據(jù)從所述輸入圖像存儲單元傳送至內(nèi)部存儲單元，并且將基于被傳送的所述圖像數(shù)據(jù)的圖像顯示在顯示單元上。因此，基于所述輸入圖像數(shù)據(jù)的圖像能夠被顯示在連接至所述第一計算機(jī)的所述顯示單元上。
[0021 ] 在本發(fā)明中，所述第一計算機(jī)可以將圖像數(shù)據(jù)從所述中間圖像存儲單元傳送至內(nèi)部存儲單元并且將基于被傳送的所述圖像數(shù)據(jù)的圖像顯示在顯示單元上。因此，基于由所述GPU生成的圖像數(shù)據(jù)的圖像能夠被顯示在連接至所述第一計算機(jī)的所述顯示單元上。
[0022]在本發(fā)明中，所述GPU可以將與被寫入至所述中間圖像存儲單元的圖像數(shù)據(jù)相同的圖像數(shù)據(jù)寫入至所述第一計算機(jī)的內(nèi)部存儲單元，并且所述第一計算機(jī)可以將基于從所述內(nèi)部存儲單元中讀取的圖像數(shù)據(jù)的圖像顯示在顯示單元上。因此，基于由所述GPU生成的圖像數(shù)據(jù)的圖像能夠被顯示在連接至所述第一計算機(jī)的所述顯示單元上。
[0023]在本發(fā)明中，所述圖像處理裝置可以還包括采集由所述圖像合成單元合成的圖像數(shù)據(jù)并且將所述圖像數(shù)據(jù)提供至所述第一計算機(jī)的輸出采集單元。因此，在所述第一計算機(jī)中，基于由所述圖像合成單元合成的所述圖像數(shù)據(jù)的圖像能夠被顯示在所述顯示單元上，并且能夠以流的形式傳送通過對所述圖像數(shù)據(jù)編碼而獲得的流。
[0024]在此情況下，所述輸出采集單元可以具有編碼器，并且所述輸出采集單元可以憑借所述編碼器對采集的圖像數(shù)據(jù)進(jìn)行編碼并向所述第一計算機(jī)提供經(jīng)過編碼的所述圖像數(shù)據(jù)。在此情況下，因為可以不在所述第一計算機(jī)中進(jìn)行編碼，所以能夠減輕負(fù)擔(dān)。
[0025]在此情況下，所述第一計算機(jī)可以將基于從所述輸出采集單元獲取的圖像數(shù)據(jù)的圖像顯示在顯示單元上。此外，在此情況下，所述圖像處理裝置可以還包括網(wǎng)絡(luò)接口并且所述第一計算機(jī)可以通過所述網(wǎng)絡(luò)接口以流的形式傳送從所述輸出采集單元提供的所述圖像數(shù)據(jù)。
[0026]在本發(fā)明中，所述圖像處理裝置可以還包括輸入多個聲音數(shù)據(jù)的聲音輸入單元、使用輸入至所述聲音輸入單元的聲音數(shù)據(jù)合成聲音數(shù)據(jù)的聲音合成單元以及輸出由所述聲音合成單兀合成的聲音數(shù)據(jù)的聲音輸出單兀，且所述第二計算機(jī)可以控制所述聲音合成單元。
[0027]根據(jù)本發(fā)明的上述實施例，能夠?qū)崿F(xiàn)可擴(kuò)展性強(qiáng)的圖像處理并且能夠使具有小延遲的穩(wěn)定操作的圖像處理得以保持。
【專利附圖】

【附圖說明】
[0028]圖1是圖示了根據(jù)本發(fā)明實施例的圖像處理裝置的構(gòu)造示例的框圖；
[0029]圖2圖示了使用作為串行傳輸接口的PCIe (PCI Express)的連接示例；
[0030]圖3是圖示了構(gòu)成圖像處理裝置的聲音合成單元的構(gòu)造示例的框圖；
[0031]圖4圖示了構(gòu)成圖像處理裝置的圖像合成單元的構(gòu)造示例；
[0032]圖5圖示了構(gòu)成圖像處理裝置的圖像合成單元的另一構(gòu)造示例；
[0033]圖6圖示了構(gòu)成圖像處理裝置的圖像合成單元的另一構(gòu)造示例；
[0034]圖7是圖示了在進(jìn)行關(guān)于第一計算機(jī)中的圖像處理狀態(tài)存儲器的存儲時的處理順序的示例的流程圖；
[0035]圖8是圖示了在進(jìn)行關(guān)于第二計算機(jī)中的圖像處理狀態(tài)存儲器的存儲時的處理順序的示例的流程圖；
[0036]圖9是圖示了當(dāng)電源開啟時在第一計算機(jī)中的圖像處理狀態(tài)存儲器的內(nèi)容復(fù)原的處理順序的示例的流程圖；
[0037]圖10是圖示了當(dāng)電源開啟時在第二計算機(jī)中的圖像處理狀態(tài)存儲器的內(nèi)容復(fù)原的處理順序的示例的流程圖；
[0038]圖11是圖示了在第一計算機(jī)中的圖像處理狀態(tài)的恢復(fù)(復(fù)原)時的處理順序的示例的流程圖；
[0039]圖12是圖示了在第二計算機(jī)中的圖像處理狀態(tài)的恢復(fù)(復(fù)原)時的處理順序的示例的流程圖；
[0040]圖13是圖示了在圖像處理裝置的恢復(fù)(復(fù)原)時的操作示例的順序圖；
[0041]圖14是圖示了在圖像處理裝置的恢復(fù)(復(fù)原)時的另一個操作示例的順序圖；
[0042]圖15是圖示了在圖像處理裝置的恢復(fù)(復(fù)原)時的另一個操作示例的順序圖；
[0043]圖16是圖示了在第二計算機(jī)中的圖像處理狀態(tài)的復(fù)原時的處理順序的另一個示例的流程圖；
[0044]圖17是圖示了在圖像處理裝置的恢復(fù)(復(fù)原)時的另一個操作示例的順序圖；
[0045]圖18是圖示了圖像處理裝置的另一個構(gòu)造示例的框圖；
[0046]圖19是圖示了圖像處理裝置的另一個構(gòu)造示例的框圖；
[0047]圖20是圖示了圖像處理裝置的另一個構(gòu)造示例的框圖；
[0048]圖21是圖示了圖像處理裝置的另一個構(gòu)造示例的框圖；
[0049]圖22圖示了將從圖像合成單元輸出的圖像數(shù)據(jù)傳輸至第一計算機(jī)的路徑的示例；
[0050]圖23圖示了將從圖像合成單元輸出的圖像數(shù)據(jù)傳輸至第一計算機(jī)的路徑的另一個示例；
[0051]圖24是圖示了圖像處理裝置的另一個構(gòu)造示例的框圖。
【具體實施方式】
[0052]在下文中，將參照附圖詳細(xì)地說明本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，使用相同的附圖標(biāo)記表示具有大體上相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，且省略對這些結(jié)構(gòu)元件的重復(fù)說明。
[0053]將以如下所述的順序進(jìn)行下面的說明。
[0054]1.實施例
[0055]2.變形例
[0056]1.實施例
[0057][圖像處理裝置的構(gòu)造]
[0058]圖1圖示了根據(jù)本發(fā)明實施例的圖像處理裝置100的構(gòu)造示例。圖像處理裝置100包括第一計算機(jī)101、用戶操作單元102、顯示器103、圖形處理器(GPU)104、輸入存儲器105和中間存儲器106。此外，圖像處理裝置100包括第二計算機(jī)111、圖像輸入單元112、圖像切換單元(XPT) 113、圖像合成單元(混合器)114、圖像輸出單元115、聲音輸入單元116、聲音合成單兀(混音器)117和聲音輸出單兀118。
[0059]第一計算機(jī)101包括例如含有CPU的微型計算機(jī)。構(gòu)成用戶接口的用戶操作單元102和顯示器103連接至第一計算機(jī)101。用戶操作單元102是鍵盤、鼠標(biāo)等等。第一計算機(jī) 101 控制 GPU104 ο
[0060]與上述第一計算機(jī)101類似地，第二計算機(jī)111包括含有CPU的微型計算機(jī)。諸如用戶操作單元等用戶接口不與第二計算機(jī)111連接。第二計算機(jī)111通過通信線(連接單元)108與第一計算機(jī)101連接并且能夠與第一計算機(jī)101通信。第二計算機(jī)111與垂直同步信號同步地控制第一計算機(jī)101和GPU104之外的各個硬件單元。
[0061]圖像輸入單元112接收來自外部的多個串行數(shù)字接口(SDI)信號的輸入。圖像輸入單元112將每個SDI信號轉(zhuǎn)換成內(nèi)部格式的圖像數(shù)據(jù)并輸出這些圖像數(shù)據(jù)。此外，圖像輸入單元112從各SDI信號中提取嵌入的聲音數(shù)據(jù)并輸出這些聲音數(shù)據(jù)。
[0062]圖像切換單元113輸入從圖像輸入單元112輸出的多個圖像數(shù)據(jù)和從中間存儲器106讀取的預(yù)定數(shù)量的圖像數(shù)據(jù)，且輸出多個任意的圖像數(shù)據(jù)。即，圖像切換單元113為多條輸出線(圖像數(shù)據(jù)總線)中的各者選擇多個輸入圖像數(shù)據(jù)中的任一者，且將圖像數(shù)據(jù)輸入至圖像合成單元114。
[0063]此外，圖像切換單元113選擇從圖像輸入單元112輸出的多個圖像數(shù)據(jù)中的一個或多個圖像數(shù)據(jù)，且將圖像數(shù)據(jù)輸入至輸入存儲器105。圖像切換單元113由第二計算機(jī)111控制且在圖像數(shù)據(jù)的豎直消隱期間內(nèi)進(jìn)行切換。圖像合成單元114利用從圖像切換單元113中輸出的多個圖像數(shù)據(jù)通過重疊來合成預(yù)定數(shù)量的圖像數(shù)據(jù)。與上述的圖像切換單元113類似，圖像合成單元114由第二計算機(jī)111控制。
[0064]聲音輸入單兀116接收來自麥克風(fēng)的多個聲音信號的輸入。聲音輸入單兀116包括模擬/數(shù)字轉(zhuǎn)換電路(A/D轉(zhuǎn)換器)，且將每個聲音信號從模擬信號轉(zhuǎn)換到數(shù)字信號，將聲音信號轉(zhuǎn)換成內(nèi)部格式的聲音數(shù)據(jù)并且將所述聲音數(shù)據(jù)輸出。
[0065]聲音合成單兀117使用從聲音輸入單兀116中輸出的聲音數(shù)據(jù)和從圖像輸入單兀112中輸出的聲音數(shù)據(jù)來合成預(yù)定數(shù)量的聲音數(shù)據(jù)。此時，聲音合成單元117能夠?qū)妮斎氲穆曇魯?shù)據(jù)中選擇的多個聲音數(shù)據(jù)進(jìn)行電平控制，合成上述聲音數(shù)據(jù)，并且輸出上述聲音數(shù)據(jù)。聲音輸出單元118包括數(shù)字/模擬轉(zhuǎn)換電路(D/A轉(zhuǎn)換器)，且將由聲音合成單元117合成的聲音數(shù)據(jù)從數(shù)字信號轉(zhuǎn)換為模擬信號并且這樣的聲音數(shù)據(jù)。這個聲音系統(tǒng)由第二計算機(jī)111控制。
[0066]圖像輸出單元115將由圖像合成單元114合成的圖像數(shù)據(jù)轉(zhuǎn)換成SDI信號并且將SDI信號輸出至外部。此時，圖像輸出單兀115將從聲音合成單兀117輸出的聲音數(shù)據(jù)嵌入SDI信號。
[0067]GPU104包括圖像處理器。GPU104對從輸入存儲器105讀取的圖像數(shù)據(jù)進(jìn)行諸如縮小和旋轉(zhuǎn)等特殊效果，并且將上述圖像數(shù)據(jù)寫入中間存儲器106。在GPU104中執(zhí)行的特殊效果由第一計算機(jī)101控制。開放式圖形庫(OpenGL)作為控制圖像處理的方法是已知的。例如，從在第一計算機(jī)101上運(yùn)行的控制程序向GPU104提供使用OpenGL的指令。
[0068]除了對輸入圖像數(shù)據(jù)執(zhí)行特定效果，GPU104也可以生成諸如字幕或圖形等圖像數(shù)據(jù)。在此情況下，GPU104能夠執(zhí)行將輸入圖像輸入至字母或圖形中的特殊效果。
[0069]輸入存儲器105包括嵌入式內(nèi)存(RAM)，且將從圖像切換單元113中輸出的一個或多個圖像數(shù)據(jù)(視頻信號的各幀)寫入該內(nèi)存。這樣的寫入是由第二計算機(jī)111控制的。輸入存儲器105包括作為存儲器的周邊電路的總線判優(yōu)器。除了內(nèi)存寫入操作之外，輸入存儲器105也能夠被從GPU104訪問。GPU104從輸入存儲器105的內(nèi)存中讀取處理所需的圖像數(shù)據(jù)。
[0070]中間存儲器106包括嵌入式內(nèi)存(RAM)。中間存儲器106從內(nèi)存中讀取圖像數(shù)據(jù)，且向圖像合成單元114提供內(nèi)部格式的圖像數(shù)據(jù)。這個讀取由第二計算機(jī)111控制。中間存儲器106包括作為存儲器周邊電路的總線判優(yōu)器。除了內(nèi)存寫入操作之外，中間存儲器106也能夠被從GPU104訪問。GPU104將處理過的和生成的圖像數(shù)據(jù)寫入中間存儲器106的內(nèi)存。
[0071]在圖1中所示的圖像處理裝置100中，第一計算機(jī)101、GPU104、輸入存儲器105、中間存儲器106和第二計算機(jī)111由PCIe (PCI Express)連接至串行傳輸接口。圖2圖示了使用PCIe的連接示例。各設(shè)備由PCIe開關(guān)221和PCIe橋222連接。
[0072]圖3圖示了聲音合成單元117的構(gòu)造示例。在圖3的(a)的構(gòu)造示例中，聲音合成單元117包括聲音切換單元117a和合成單元117b的串聯(lián)電路組成。聲音切換單元117a輸入多個聲音數(shù)據(jù)并且輸出多個任意的聲音數(shù)據(jù)。也即是，聲音切換單元117a為多條輸出線(聲音數(shù)據(jù)總線)中的各者選擇多個輸入聲音數(shù)據(jù)中的任一個，且將聲音數(shù)據(jù)輸出。合成單元117b進(jìn)行對從聲音切換單元117a輸出的多個聲音數(shù)據(jù)進(jìn)行電平控制，合成多個聲音數(shù)據(jù)，生成多個聲音數(shù)據(jù)，且輸出多個聲音數(shù)據(jù)。
[0073]在圖3的(b)的構(gòu)造示例中，聲音合成單元117包括聲音切換單元117a、合成單元117b和延遲器117c的串聯(lián)電路。在圖3的(b)的構(gòu)造示例中，聲音切換單元117a和合成單元117b與圖3的(a)中的構(gòu)造示例相同，且在輸出側(cè)額外設(shè)置有延遲器117c。
[0074]延遲器117c被設(shè)置用來對聲音數(shù)據(jù)添加延遲以對應(yīng)為處理而延遲的圖像數(shù)據(jù)的時間(幀數(shù))。另外，延遲控制可以被用于根據(jù)用戶的意圖來添加延遲。例如，當(dāng)麥克風(fēng)比相機(jī)更接近于說話人且圖像變成起到遠(yuǎn)景作用的圖像時，可以將延遲添加至聲音數(shù)據(jù)并且可以施加距離的自然延遲。
[0075]在圖3的(C)的構(gòu)造示例中，聲音合成單元117包括延遲器117d、聲音切換單元117a、合成單元117b和延遲器117c的串聯(lián)電路。在圖3的(c)的構(gòu)造示例中，聲音切換單元117a、合成單元117b和延遲器117c與圖3的(b)的構(gòu)造示例中的相同，且在輸入側(cè)額外設(shè)置有延遲器117d。通過延遲器117d，能夠為每個輸入聲音數(shù)據(jù)進(jìn)行延遲設(shè)定。
[0076]將簡單地說明在圖1中所示的圖像處理裝置100的常規(guī)操作。多個SDI信號從外部輸入至圖像輸入單元112。在圖像輸入單元112中，將每個SDI信號轉(zhuǎn)換成內(nèi)部格式的圖像數(shù)據(jù)，且將這樣的圖像數(shù)據(jù)輸出。在圖像輸入單元112中，從各SDI信號中提取嵌入的聲音數(shù)據(jù)并將其輸出。
[0077]在第二計算機(jī)111的控制下，從圖像輸入單元112中輸出的多個圖像數(shù)據(jù)被輸入至圖像切換單元113。另外，從中間存儲器106中讀取圖像數(shù)據(jù)且將上述圖像數(shù)據(jù)輸入至圖像切換單元113。在圖像切換單元113中，為多條輸出線中的每一條選擇多個輸入圖像數(shù)據(jù)的任一者，且將選擇的輸入圖像數(shù)據(jù)輸出。從圖像切換單元113中輸出的多個圖像數(shù)據(jù)被輸入至圖像合成單元114。
[0078]此外，在圖像切換單元113中，從圖像輸入單元112輸出的多個圖像數(shù)據(jù)中有選擇地提取一個或多個圖像數(shù)據(jù)，且將提取的圖像數(shù)據(jù)輸入至輸入存儲器105。在輸入存儲器105中，各輸入圖像數(shù)據(jù)被寫入嵌入式內(nèi)存。
[0079]在GPU104中，在第一計算機(jī)101的控制下生成圖像數(shù)據(jù)。例如，在GPU104中，從輸入存儲器105的嵌入式內(nèi)存中讀取圖像數(shù)據(jù)且對讀取的圖像數(shù)據(jù)執(zhí)行諸如縮小和旋轉(zhuǎn)等特殊效果。例如，不管輸入圖像數(shù)據(jù)如何，GPU104生成用于顯示字幕或圖形的圖像數(shù)據(jù)。在此情況下，使用從輸入存儲器105的嵌入式內(nèi)存中讀取出的圖像數(shù)據(jù)，可以執(zhí)行用于將圖像插入字母或圖形的特殊效果。
[0080]由GPU104生成的圖像數(shù)據(jù)被寫入中間存儲器106的嵌入式內(nèi)存。在第二計算機(jī)111的控制下，從中間存儲器106的嵌入式內(nèi)存中讀取圖像數(shù)據(jù)且如上所述將讀取的圖像數(shù)據(jù)輸入至圖像切換單元113。
[0081]在圖像合成單元114中，在第二計算機(jī)111的控制下，使用從圖像切換單元113輸出的圖像數(shù)據(jù)且通過重疊來合成預(yù)定數(shù)量的圖像數(shù)據(jù)。從圖像合成單元114中輸出的圖像數(shù)據(jù)被輸入至圖像輸出單元115。
[0082]多個聲音信號從外部輸入至聲音輸入單兀116。在聲音輸入單兀116中，在第二計算機(jī)111的控制下，將每個聲音信號從模擬信號轉(zhuǎn)換成數(shù)字信號，聲音信號被轉(zhuǎn)換成內(nèi)部格式的聲音數(shù)據(jù)且將聲音數(shù)據(jù)輸出。從聲音輸入單兀116中輸出的多個聲音數(shù)據(jù)被輸入至聲音合成單元117。由圖像輸入單元112從SDI信號中提取的多個聲音數(shù)據(jù)也被輸入至聲音合成單元117。
[0083]在聲音合成單元117中，在第二計算機(jī)111的控制下，使用從聲音輸入單元116中輸出的聲音數(shù)據(jù)和從圖像輸入單元112中輸出的聲音數(shù)據(jù)并且合成預(yù)定數(shù)量的聲音數(shù)據(jù)。在此情況下，在聲音合成單元117中，對從多個輸入聲音數(shù)據(jù)中選擇的多個聲音數(shù)據(jù)進(jìn)行電平控制，且合成多個聲音數(shù)據(jù)。從聲音合成單元117中輸出的多個聲音數(shù)據(jù)被輸入至圖像輸出單元115和聲音輸出單元118。
[0084]在圖像輸出單元115中，在第二計算機(jī)111的控制下，將由圖像合成單元114合成的圖像數(shù)據(jù)轉(zhuǎn)換成SDI信號并且將SDI信號輸出至外部。在此時，在圖像輸出單元115中，將聲音合成單兀117輸出的聲音數(shù)據(jù)嵌入SDI信號。在聲音輸出單兀118中，在第二計算機(jī)111的控制下，各聲音數(shù)據(jù)被從數(shù)字信號轉(zhuǎn)換成模擬信號并且被輸出至外部。
[0085][圖像合成單元的詳細(xì)的構(gòu)造示例][0086]圖4圖示了圖像合成單元114的構(gòu)造示例。在圖4中，圖示了最簡單的示例。在這個構(gòu)造示例中，圖像合成單元114包括切換單元(Xpt中的混合器)131和合成單元(視頻圖像混合模塊)132。切換單元131從圖像切換單元113輸出的圖像數(shù)據(jù)、中間存儲器106輸出的圖像數(shù)據(jù)中提取第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，且將第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)輸入至合成單元132。第一合成單元132基于從第一圖像數(shù)據(jù)到第二圖像數(shù)據(jù)的合成進(jìn)行淡入淡出(cross-fade)切換的過渡。
[0087]圖5圖示了圖像合成單元114的另一個構(gòu)造示例。在圖5中，圖示了存在有兩個輸出的情況的示例。在此構(gòu)造示例中，能夠執(zhí)行并行切換兩個圖像輸出的過渡。在此構(gòu)造示例中，圖像合成單元114包括切換單元(Xpt中的混合器)141、兩個合成單元(視頻圖像混合模塊)142和143，以及擦除用鍵信號(wipe key signal)生成器144。
[0088]切換單元141從圖像切換單元113輸出的圖像數(shù)據(jù)、中間存儲器106輸出的圖像數(shù)據(jù)中提取第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，且將第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)輸入至合成單元142。另外，切換單元141從圖像切換單元113輸出的圖像數(shù)據(jù)、中間存儲器106輸出的圖像數(shù)據(jù)中提取第三圖像數(shù)據(jù)和第四圖像數(shù)據(jù)，且將第三圖像數(shù)據(jù)和第四圖像數(shù)據(jù)輸入至合成單元143。
[0089]擦除用鍵信號生成器144生成擦除用鍵信號以基于擦除進(jìn)行圖像切換，且將擦除用鍵信號提供至合成單元142和143。根據(jù)擦除用鍵信號，合成單元142進(jìn)行從第一圖像數(shù)據(jù)到第二圖像數(shù)據(jù)的基于擦除的圖像切換的過渡。同樣地，根據(jù)擦除用鍵信號，合成單元143進(jìn)行從第三圖像數(shù)據(jù)到第四圖像數(shù)據(jù)的基于擦除的圖像切換的過渡。
[0090]圖6圖示了圖像合成單元114的另一個構(gòu)造示例。在該構(gòu)造示例中，任何輸入圖像可以是鍵控重疊的(keying-overlapped)。在這個構(gòu)造示例中，圖像合成單元114包括切換單元(Xpt中的混合器)151、兩個合成單元(視頻圖像混合模塊)152和153、擦除用鍵信號生成器154和鍵信號處理器155。
[0091]切換單元151從圖像切換單元113輸出的圖像數(shù)據(jù)、中間存儲器106輸出的圖像數(shù)據(jù)中提取填充信號(第一圖像數(shù)據(jù))和鍵控信號(第二圖像數(shù)據(jù))，且將填充信號和鍵控信號輸入至鍵信號處理器155。在此情況下，可以由GPU104生成填充信號和鍵控信號，且可以使GPU104共用鍵控器。
[0092]另外，切換單元151從圖像切換單元113輸出的圖像數(shù)據(jù)、中間存儲器106輸出的圖像數(shù)據(jù)中提取第三圖像數(shù)據(jù)和第四圖像數(shù)據(jù)，且將第三和第四圖像數(shù)據(jù)輸入至合成單元152。擦除用鍵信號生成器154生成用于基于擦除進(jìn)行圖像切換的擦除用鍵信號，且將擦除用鍵信號提供至合成單元152和鍵信號處理器155。根據(jù)擦除用鍵信號，合成單元152進(jìn)行從第三圖像數(shù)據(jù)到第四圖像數(shù)據(jù)的基于擦除的圖像切換的過渡。
[0093]鍵信號處理器155根據(jù)亮度將鍵控信號轉(zhuǎn)換成鍵信號，或者對鍵控信號進(jìn)行色度鍵處理并生成示出重疊的區(qū)域/密度的鍵信號。鍵信號處理器155能夠?qū)⒂刹脸面I信號生成器154生成的擦除用鍵信號轉(zhuǎn)換成鍵信號。鍵信號處理器155進(jìn)行波形處理以使成為重疊的圖像數(shù)據(jù)的填充信號變?yōu)榉湘I信號的期望重疊。根據(jù)從鍵信號處理器155中輸出的處理過的填充信號和鍵信號，合成單元153將填充信號鍵控重疊(keying-overlaps)至從合成單元152中輸出的圖像數(shù)據(jù)。
[0094][恢復(fù)的說明][0095]接著，將說明在圖1中所示的在圖像處理裝置100中的恢復(fù)。圖像處理裝置100具有將各單元的圖像處理的全部內(nèi)容共同地存儲在內(nèi)存中，并且這些內(nèi)容并復(fù)原圖像處理狀態(tài)的功能。復(fù)原操作被稱為“恢復(fù)(recall)”。
[0096]在圖像處理裝置100中，使用圖像處理狀態(tài)存儲器(是專用內(nèi)存區(qū)域)進(jìn)行各單元的圖像處理的內(nèi)容的存儲。圖像處理狀態(tài)存儲器具有存儲一組圖像處理狀態(tài)的多個區(qū)域，并且接收通過號碼指定任何區(qū)域的操作并進(jìn)行存儲和復(fù)原。在第一計算機(jī)101中，即使在關(guān)閉電源之后仍能夠使用諸如硬盤等嵌入式非易失性存儲器來保持圖像處理狀態(tài)存儲器的內(nèi)容。
[0097]在圖像處理裝置100中，圖像處理狀態(tài)存儲器包括設(shè)置在附著于第一計算機(jī)101的內(nèi)存中的第一圖像處理狀態(tài)存儲器IOla和設(shè)置在附著于第二計算機(jī)111的內(nèi)存中的第二圖像處理狀態(tài)存儲器111a。各圖像處理狀態(tài)存儲器存儲關(guān)于各計算機(jī)管理的部分的控制數(shù)據(jù)。
[0098]圖7的流程圖圖示了在進(jìn)行關(guān)于第一計算機(jī)101中的圖像處理狀態(tài)存儲器的存儲時的處理順序的示例。在步驟STl中，第一計算機(jī)101開始處理且前進(jìn)至步驟ST2的處理。在步驟ST2中，根據(jù)用戶操作單元102中存儲用戶當(dāng)前圖像處理狀態(tài)的操作，第一計算機(jī)101接收來自用戶操作單元102的存儲當(dāng)前圖像處理狀態(tài)的指令。指令包括用來指定圖像處理狀態(tài)存儲器的一個圖像處理狀態(tài)區(qū)域的號碼(內(nèi)存號碼N)。
[0099]接著，在步驟ST3中，第一計算機(jī)101將與受第一計算機(jī)101控制的當(dāng)前圖像處理狀態(tài)相對應(yīng)的控制數(shù)據(jù)存儲在與內(nèi)存號碼N相對應(yīng)的內(nèi)存(第一圖像處理狀態(tài)存儲器IOla的區(qū)域)中。在步驟ST4中，第一計算機(jī)101將存儲當(dāng)前圖像處理狀態(tài)的指令(包括內(nèi)存號碼N)發(fā)送至第二計算機(jī)111。
[0100]接著，在步驟ST5中，第一計算機(jī)101接收來自第二計算機(jī)111的對應(yīng)于當(dāng)前圖像處理狀態(tài)的控制數(shù)據(jù)。在步驟ST6中，第一計算機(jī)101將由第一計算機(jī)101管理的控制數(shù)據(jù)和接收到的來自第二計算機(jī)111的控制數(shù)據(jù)進(jìn)行合成，將控制數(shù)據(jù)寫入非易失性存儲器(未在附圖中圖示)，并且存儲上述控制數(shù)據(jù)。然后，在步驟ST7中，第一計算機(jī)101結(jié)束一系列的處理。
[0101]圖8的流程圖圖示了在進(jìn)行關(guān)于第二計算機(jī)111中的圖像處理狀態(tài)存儲器的存儲時的處理順序的示例。在步驟STll中，第二計算機(jī)111開始處理且前進(jìn)至步驟ST12的處理。在步驟ST12中，第二計算機(jī)111接收來自第一計算機(jī)101的存儲當(dāng)前圖像處理狀態(tài)的指令(包括內(nèi)存號碼N)。
[0102]接著，在步驟ST13中，第二計算機(jī)111將與受第二計算機(jī)111控制的當(dāng)前圖像處理狀態(tài)相對應(yīng)的控制數(shù)據(jù)存儲在與內(nèi)存號碼N相對應(yīng)的內(nèi)存(第二圖像處理狀態(tài)存儲器Illa的區(qū)域)中。在步驟ST14中，第二計算機(jī)111將通過步驟ST13存儲的控制數(shù)據(jù)發(fā)送至第一計算機(jī)101。然后，在步驟ST15中，第二計算機(jī)111結(jié)束一系列的處理。
[0103]圖9的流程圖圖示了在當(dāng)電源開啟時復(fù)原第一計算機(jī)101中的圖像處理狀態(tài)存儲器IOla的內(nèi)容時的處理順序的示例。在步驟ST21中，第一計算機(jī)101開始處理且前進(jìn)至步驟ST22的處理。在步驟ST22中，第一計算機(jī)101從非易失性存儲器中讀取被存儲的各內(nèi)存號碼的控制數(shù)據(jù)。
[0104]接著，在步驟ST23中，第一計算機(jī)101將由第一計算機(jī)101管理的部分的控制數(shù)據(jù)存儲在第一圖像處理狀態(tài)存儲器IOla中。在步驟ST24中，第一計算機(jī)101將由第二計算機(jī)111管理的部分的控制數(shù)據(jù)發(fā)送至第二計算機(jī)111。然后，在步驟ST25中，第一計算機(jī)101結(jié)束一系列的處理。
[0105]圖10的流程圖圖示了在當(dāng)電源開啟時復(fù)原第二計算機(jī)111中的圖像處理狀態(tài)存儲器Illa的內(nèi)容時的處理順序的示例。在步驟ST31中，第二計算機(jī)111開始處理且前進(jìn)至步驟ST32的處理。在步驟ST32中，第二計算機(jī)111從第一計算機(jī)101中接收由第二計算機(jī)111管理的部分的控制數(shù)據(jù)。在步驟ST33中，第二計算機(jī)111將接收到的控制數(shù)據(jù)存儲在第二圖像處理狀態(tài)存儲器Illa中。然后，在步驟ST24中，第二計算機(jī)111結(jié)束一系列的處理。
[0106]圖11的流程圖圖示了在第一計算機(jī)101中的圖像處理狀態(tài)的恢復(fù)(復(fù)原)時的處理順序的示例。在步驟ST41中，第一計算機(jī)101開始處理并且前進(jìn)至步驟ST42的處理。
[0107]在步驟ST42中，根據(jù)用戶操作單元102中的用戶的恢復(fù)操作，第一計算機(jī)101接收來自用戶操作單元102的恢復(fù)指令?；謴?fù)指令包括用來指定圖像處理狀態(tài)存儲器的一個圖像處理狀態(tài)區(qū)的號碼(內(nèi)存號碼N)。在步驟ST43中，第一計算機(jī)101將恢復(fù)指令(包括內(nèi)存號碼N)發(fā)送至第二計算機(jī)111。
[0108]接著，在步驟ST44中，第一計算機(jī)101從第一圖像處理狀態(tài)存儲器IOla的與內(nèi)存號碼N對應(yīng)的內(nèi)存(第一圖像處理狀態(tài)存儲器IOla的區(qū)域)中讀取控制數(shù)據(jù)。在步驟ST45中，第一計算機(jī)101等待一幀的時間，即，等待同步信號的進(jìn)度。然后，在步驟ST46中，根據(jù)控制數(shù)據(jù)，第一計算機(jī)101將指令發(fā)送至作為控制對象的GPU104。然后，在步驟ST47中，第一計算機(jī)101結(jié)束一系列的處理。
[0109]圖12的流程圖圖示了在第二計算機(jī)111中的圖像處理狀態(tài)的恢復(fù)(復(fù)原)時的處理順序的示例。在步驟ST51中，第二計算機(jī)111開始處理并且前進(jìn)至步驟ST52的處理。在步驟ST52中，第二計算機(jī)111接收來自第一計算機(jī)101的恢復(fù)指令(包括內(nèi)存號碼N)。
[0110]接著，在步驟ST53中，第二計算機(jī)111從第二圖像處理狀態(tài)存儲器Illa的對應(yīng)于內(nèi)存號碼N的內(nèi)存(第二圖像處理狀態(tài)存儲器Illa的區(qū)域)中讀取控制數(shù)據(jù)。在步驟ST54中，根據(jù)控制數(shù)據(jù)，第二計算機(jī)111指示在圖像切換單元113的線路中選擇對輸入存儲器105的供給線。
[0111]接著，在步驟ST55中，第二計算機(jī)111等待兩幀的時間，S卩，等待同步信號的進(jìn)度。在步驟ST56中，根據(jù)控制數(shù)據(jù)，第二計算機(jī)111將指令發(fā)送至其它控制對象(圖像切換單元113的其它線路、圖像合成單元114和聲音系統(tǒng))。然后，在步驟ST57中，第二計算機(jī)111結(jié)束一系列的處理。
[0112]將進(jìn)一步說明在圖1中所示的圖像處理裝置100中的恢復(fù)(復(fù)原)操作。在恢復(fù)操作中，如果在一個時間(在某個圖像幀的時間點)復(fù)原各單元的狀態(tài)，可能會出現(xiàn)問題。即，一直到GPU104從輸入存儲器105中讀取圖像數(shù)據(jù)且將處理過的和生成的圖像數(shù)據(jù)寫入中間存儲器106，多幀的時間是必需的。
[0113]在根據(jù)恢復(fù)指令的第一 GPU處理結(jié)束之前，如果將由GPU104寫入的中間存儲器106的圖像數(shù)據(jù)被圖像切換單元113或圖像合成單元114使用，那么由GPU104處理的圖像數(shù)據(jù)是以復(fù)原之前的狀態(tài)而被使用的。在這樣的情況下，可能瞬間生成不正確的輸出圖像數(shù)據(jù)。為了防止瞬間生成不正確的輸出圖像數(shù)據(jù)，圖像處理裝置100執(zhí)行圖13中所示的一系列操作。根據(jù)圖像切換單元113和圖像合成單元114用作操作時序的垂直同步信號的接收進(jìn)行操作順序。
[0114]如上所述，在圖1中所示的圖像處理裝置100中，圖像處理狀態(tài)存儲器包括第一圖像處理狀態(tài)存儲器IOla和第二圖像處理狀態(tài)存儲器111a。第一圖像處理狀態(tài)存儲器IOla設(shè)置在附著于第一計算機(jī)101的內(nèi)存中，且第二圖像處理狀態(tài)存儲器Illa設(shè)置在附著于第二計算機(jī)111的內(nèi)存中。第一圖像處理狀態(tài)存儲器IOla和第二圖像處理狀態(tài)存儲器Illa存儲與由各自的計算機(jī)管理的部分有關(guān)的狀態(tài)數(shù)據(jù)。
[0115]將順次說明圖13中所示的操作。根據(jù)基于用戶操作的來自用戶操作單元102的恢復(fù)(復(fù)原)指令的接收，開始操作順序?；謴?fù)指令包括用來指定圖像處理狀態(tài)存儲器的一個圖像處理狀態(tài)(區(qū)域)的號碼(內(nèi)存號碼N)。第一計算機(jī)101將恢復(fù)指令發(fā)送到第二計算機(jī)。
[0116]第一計算機(jī)101從第一圖像處理狀態(tài)存儲器IOla的對應(yīng)于內(nèi)存號碼N的內(nèi)存(第一圖像處理狀態(tài)存儲器IOla的區(qū)域)中讀取控制數(shù)據(jù)。第二計算機(jī)111從第二圖像處理狀態(tài)存儲器Illa的對應(yīng)于內(nèi)存號碼N的內(nèi)存(第二圖像處理狀態(tài)存儲器Illa的區(qū)域)中讀取控制數(shù)據(jù)。第二計算機(jī)111控制圖像切換單元(XPT) 113且使圖像切換單元113選擇提供給輸入存儲器105的信號。
[0117]圖像切換單元113與垂直同步信號的時序同步地進(jìn)行實際的信號切換。在垂直同步信號的時序之后，第一計算機(jī)101根據(jù)之前剛讀取的控制數(shù)據(jù)向GPU104發(fā)送指令。根據(jù)該指令，GPU104在下一個垂直同步信號的時序之后從輸入存儲器105中讀取圖像數(shù)據(jù)并且處理該圖像數(shù)據(jù)。如果在幀/場的中間改變圖像數(shù)據(jù)的處理，那么將生成在屏幕的中間被切割的不正常的圖像。因此，使用垂直同步信號作為中斷處來改變處理。
[0118]在下一個垂直同步信號的時序之后，將由GPU104處理并生成的圖像數(shù)據(jù)寫入中間存儲器106。與此同時，第二計算機(jī)111指示圖像切換單元113從中間存儲器106中選擇圖像且將該圖像提供至圖像合成單元114。圖像切換單元113在下一個垂直同步信號時序時根據(jù)指令進(jìn)行切換。
[0119]第二計算機(jī)111在同一時刻將處理狀態(tài)復(fù)原的控制信號發(fā)送至圖像合成單元114。在圖像切換單元113被切換之后，圖像被從中間存儲器106提供至圖像合成單元114并且由圖像合成單元114執(zhí)行指定的圖像處理(合成)。在一系列操作之后，GPU104和圖像合成單元114連續(xù)地對輸入至圖像處理裝置100的圖像幀執(zhí)行處理。
[0120]在上述的示例中，在與垂直同步信號的一個間隔相對應(yīng)的時間內(nèi)執(zhí)行GPU104的圖像處理。然而，當(dāng)在與兩個間隔相對應(yīng)的時間內(nèi)執(zhí)行GPU104的圖像處理時，圖13的“*1”部分變成圖14中所示的處理，多使用一個垂直同步信號間隔。對于每個后續(xù)的垂直同步信號連續(xù)地執(zhí)行在圖13的“*1”部分中所示的由GPU104執(zhí)行的圖像數(shù)據(jù)的讀取操作。
[0121]作為另一個構(gòu)造，考慮了如下的情況:圖像處理狀態(tài)存儲器僅包括設(shè)置在附著于第一計算機(jī)101的內(nèi)存中的圖像處理狀態(tài)存儲器101a。在這樣的情況下，與由第二計算機(jī)111管理的部分有關(guān)的控制數(shù)據(jù)也被包含在圖像處理狀態(tài)存儲器IOla中，并且控制數(shù)據(jù)被從第一計算機(jī)101發(fā)送至第二計算機(jī)111且被使用。在這樣的情況下，順序的開始的部分變?yōu)閳D15中所示的處理。
[0122]S卩，當(dāng)?shù)谝挥嬎銠C(jī)101接收恢復(fù)(復(fù)原)指令的操作輸入(包括內(nèi)存號碼N)時，第一計算機(jī)101從圖像處理狀態(tài)存儲器IOla的與內(nèi)存號碼N相對應(yīng)的內(nèi)存(第一圖像處理狀態(tài)存儲器IOla的區(qū)域)中讀取由第一計算機(jī)101管理的部分的控制數(shù)據(jù)和由第二計算機(jī)111管理的部分的控制數(shù)據(jù)。此外，第一計算機(jī)101將恢復(fù)指令加入到由第二計算機(jī)111管理的部分的控制數(shù)據(jù)，且將該控制數(shù)據(jù)發(fā)送至第二計算機(jī)111。
[0123]相反地，考慮到了這樣的情況:圖像處理狀態(tài)存儲器僅包括設(shè)置在附著于第二計算機(jī)111的內(nèi)存中的圖像處理狀態(tài)存儲器111a。在此情況下，與由第一計算機(jī)101管理的部分有關(guān)的控制數(shù)據(jù)也包含在圖像處理狀態(tài)存儲器Illa中，并且該控制數(shù)據(jù)被從第二計算機(jī)111發(fā)送至第一計算機(jī)101且被使用。
[0124]在此情況下，當(dāng)?shù)谝挥嬎銠C(jī)101接收恢復(fù)(復(fù)原)指令的操作輸入(包括內(nèi)存號碼N)時，第一計算機(jī)101將恢復(fù)指令發(fā)送至第二計算機(jī)111。第二計算機(jī)111從圖像處理狀態(tài)存儲器Illa的與內(nèi)存號碼N相對應(yīng)的內(nèi)存(第二圖像處理狀態(tài)存儲器Illa的區(qū)域)中讀取由第二計算機(jī)111管理的部分的控制數(shù)據(jù)和由第一計算機(jī)101管理的部分的控制數(shù)據(jù)。另外，第二計算機(jī)111將由第一計算機(jī)101管理的部分的控制數(shù)據(jù)發(fā)送至第一計算機(jī)101。
[0125]圖16的流程圖圖示了在第二計算機(jī)111中的圖像處理狀態(tài)的復(fù)原時的處理順序的另一個示例。在圖16中，使用相同的附圖標(biāo)記表示與圖12的步驟相對應(yīng)的步驟，且省略對這些步驟的重復(fù)說明。在圖16的流程圖中，添加了步驟ST58作為在步驟ST53之后的判定步驟。在步驟ST58中，第二計算機(jī)111判斷讀取的控制數(shù)據(jù)的內(nèi)容。
[0126]在此情況下，判斷控制數(shù)據(jù)的內(nèi)容是否表示GPU104的輸出(中間存儲器106的輸出)的內(nèi)容影響圖像合成單元114的輸出。例如，在此情況下，判斷圖像切換單元113是否將從中間存儲器106讀取的圖像數(shù)據(jù)提供至圖像合成單元114。當(dāng)圖像切換單元113提供圖像數(shù)據(jù)時，第二計算機(jī)111判定GPU104的輸出的內(nèi)容影響了圖像合成單元114的輸出，并且類似于圖12的流程圖那樣前進(jìn)至步驟ST54的處理。
[0127]而當(dāng)圖像切換單元113沒有提供圖像數(shù)據(jù)時，第二計算機(jī)111判定GPU104輸出的內(nèi)容沒有影響圖像合成單元114的輸出，并且不用等待兩幀的時間而是立即前進(jìn)至步驟ST59的處理。在步驟ST59中，第二計算機(jī)111根據(jù)控制數(shù)據(jù)向所有的控制對象(圖像切換單元113的所有線路、圖像合成單元114和聲音系統(tǒng))發(fā)送指令。然后，第二計算機(jī)111結(jié)束步驟ST57中的處理。
[0128]雖然省略了詳細(xì)的說明，但是圖16的流程圖的其它部分與圖12的流程圖相同。照這樣添加了步驟ST58的判定步驟。因此，當(dāng)由GPU104生成的圖像數(shù)據(jù)未被圖像合成單元114使用時，能夠不用等待兩幀的時間而立即復(fù)原輸出圖像的狀態(tài)并且對操作的響應(yīng)變快。
[0129]圖17的程序圖圖示了另一操作示例。在此示例中，GPU104使用從第一計算機(jī)101發(fā)送來的圖像數(shù)據(jù)執(zhí)行圖像數(shù)據(jù)的生成處理。第一計算機(jī)101調(diào)查讀取的控制數(shù)據(jù)并且調(diào)查由第一計算機(jī)101保持在存儲器中的圖像數(shù)據(jù)是否被GPU104使用。當(dāng)圖像數(shù)據(jù)被GPU104使用時，第一計算機(jī)101從存儲器讀取相應(yīng)的圖像數(shù)據(jù)并將其發(fā)送至GPU104。作為這個操作的特例，上述相應(yīng)的圖像數(shù)據(jù)存儲在能夠通過PCIe (PCI Express)總線從GPU104訪問的內(nèi)存中。
[0130]結(jié)果，能夠復(fù)原由GPU104進(jìn)行的使用被第一計算機(jī)101存儲的圖像數(shù)據(jù)的處理。另外，能夠防止這樣的狀況:GPU104的圖像數(shù)據(jù)的生成處理在能夠訪問圖像數(shù)據(jù)之前開始并且生成了不正確的圖像數(shù)據(jù)。根據(jù)圖像處理的內(nèi)容，由第一計算機(jī)101保持的圖像數(shù)據(jù)能夠被原樣寫入中間存儲器106且能夠被圖像合成單元114用作視頻信號的幀。
[0131]當(dāng)圖像數(shù)據(jù)被寫入中間存儲器106時，圖像數(shù)據(jù)的格式限于預(yù)定的格式，這樣使得中間存儲器106安全地執(zhí)行圖像數(shù)據(jù)的輸出處理。例如，圖像數(shù)據(jù)的格式受到中間存儲器106的功能的限制，比如JPEG圖像數(shù)據(jù)或非壓縮RGB數(shù)據(jù)。因此，這是有效的:預(yù)先將計劃發(fā)送至中間存儲器106的圖像數(shù)據(jù)的格式轉(zhuǎn)換成適當(dāng)?shù)母袷?，并且將上述圖像數(shù)據(jù)保持在第一計算機(jī)101的存儲器中。在圖17所示的順序圖中，因為直至圖像數(shù)據(jù)被寫入中間存儲器106的時間是確定的，所以為了及時處理最好預(yù)先進(jìn)行格式轉(zhuǎn)換。
[0132]如上所述，在圖1中所示的圖像處理裝置100中，GPU104的系統(tǒng)和諸如圖像切換單元113或圖像合成單元114等主線系統(tǒng)是由各自的計算機(jī)單獨(dú)控制的。在圖像合成單元114中，能夠通過中間存儲器106使用由GPU104生成的圖像數(shù)據(jù)以及輸入至圖像輸入單元112的輸入圖像數(shù)據(jù)。因此，能夠?qū)崿F(xiàn)可擴(kuò)展性強(qiáng)的圖像處理并且使具有小延遲的穩(wěn)定操作的圖像處理得以保持。
[0133]在圖1中所示的圖像處理裝置100中，當(dāng)發(fā)出恢復(fù)(復(fù)原)指令時，第一計算機(jī)101根據(jù)相應(yīng)的控制數(shù)據(jù)進(jìn)行控制以改變GPU104的圖像處理狀態(tài)。此時，根據(jù)相應(yīng)的控制數(shù)據(jù)，第二計算機(jī)111與GPU104的圖像處理狀態(tài)的改變同步地對圖像切換單元113和圖像合成單元114進(jìn)行控制。因此，在恢復(fù)(復(fù)原)時能夠抑制生成不正確的輸出圖像。
[0134]2.變形例
[0135]在圖1中所示的圖像處理裝置100中，由圖像切換單元113在從圖像輸入單元112輸出的多個圖像數(shù)據(jù)中選擇的一個或多個圖像數(shù)據(jù)被寫入輸入存儲器105。在圖1中所示的圖像處理裝置100中，從中間存儲器106讀取的圖像數(shù)據(jù)通過圖像切換單元113被輸入至圖像合成單元114。然而，輸入存儲器105和中間存儲器106的布置并不限于在圖1中所示的圖像處理裝置100中的布置。
[0136]圖18圖示了輸入存儲器105和中間存儲器106的布置的另一個示例。在圖18中，使用相同的附圖標(biāo)記表示與在圖1中的結(jié)構(gòu)元件相對應(yīng)的結(jié)構(gòu)元件。在這個示例中，從圖像輸入單元112輸出的多個圖像數(shù)據(jù)被寫入輸入存儲器105。從中間存儲器106讀取的圖像數(shù)據(jù)被直接輸入至圖像合成單元114。
[0137]圖19圖示了輸入存儲器105和中間存儲器106的布置的另一個示例。在圖19中，使用相同的附圖標(biāo)記表示與在圖1中的結(jié)構(gòu)元件相對應(yīng)的結(jié)構(gòu)元件。在這個示例中，由圖像切換單元113選擇的一個或多個圖像數(shù)據(jù)被寫入輸入存儲器105。從中間存儲器106讀取的圖像數(shù)據(jù)被直接輸入至圖像合成單元114。
[0138]圖20圖示了輸入存儲器105和中間存儲器106的布置的另一個示例。在圖20中，使用相同的附圖標(biāo)記表示與在圖1中的結(jié)構(gòu)元件相對應(yīng)的結(jié)構(gòu)元件。在這個示例中，從圖像輸入單元112輸出的多個圖像數(shù)據(jù)被寫入輸入存儲器105。從中間存儲器106讀取的圖像數(shù)據(jù)通過圖像切換單元113被輸入至圖像合成單元114。
[0139]圖21圖示了圖像處理裝置100的變形例。在圖21中，使用相同的附圖標(biāo)記表示與在圖1中的結(jié)構(gòu)元件相對應(yīng)的結(jié)構(gòu)元件，且省略對這些結(jié)構(gòu)元件的重復(fù)說明。在這個示例中，在第一計算機(jī)101中，重現(xiàn)含有動態(tài)圖像和聲音的文件，并且設(shè)置有用于將聲音數(shù)據(jù)傳送至聲音合成單元117的路徑161。此外，設(shè)置有將聲音合成單元117輸出的聲音數(shù)據(jù)傳送至第一計算機(jī)101的路徑162。[0140]此外，設(shè)置有將圖像合成單元114輸出的圖像數(shù)據(jù)傳送至第一計算機(jī)101的路徑163。S卩，路徑163構(gòu)成了這樣的輸出采集單元:其采集由圖像合成單元114合成的圖像數(shù)據(jù)并將上述圖像數(shù)據(jù)提供至第一計算機(jī)101。詳細(xì)地，路徑163經(jīng)過將要在下面說明的圖22或圖23中所示的電路。每一幀被第一計算機(jī)101重現(xiàn)的圖像數(shù)據(jù)被傳送至中間存儲器106，以使得上述圖像數(shù)據(jù)能夠通過圖像切換單元113被包含在圖像合成單元114的輸入中。第一計算機(jī)101能夠?qū)⑼ㄟ^對動態(tài)圖像和聲音進(jìn)行編碼而獲得的流數(shù)據(jù)傳送至網(wǎng)絡(luò)接Π 107。
[0141]在圖22中，存儲器171構(gòu)成輸出采集單元。與輸入存儲器105類似地，存儲器171能夠?qū)膱D像合成單元114輸出的圖像數(shù)據(jù)寫入嵌入式內(nèi)存，且能夠從第一計算機(jī)101中讀取圖像數(shù)據(jù)。第一計算機(jī)101能夠使用從存儲器171中讀取的圖像數(shù)據(jù)來分配流(streaming)或者能夠使用上述圖像數(shù)據(jù)在附接的顯示器103上顯示圖像。當(dāng)在顯示器103上顯示圖像時，第一計算機(jī)101向用于顯示的GPU提供圖像數(shù)據(jù)。
[0142]在圖22中，設(shè)置在第一計算機(jī)101中的延遲器172用來對從輸入存儲器105或中間存儲器106讀取的圖像數(shù)據(jù)進(jìn)行時間調(diào)整。即，當(dāng)基于來自存儲器171的圖像數(shù)據(jù)的圖像被顯示在顯示器103的一部分上且基于從輸入存儲器105或中間存儲器106讀取的圖像數(shù)據(jù)的圖像被顯示在顯示器103的一部分上時，對從輸入存儲器105或中間存儲器106讀取的圖像數(shù)據(jù)進(jìn)行時間調(diào)整。
[0143]在這里，當(dāng)在顯示器103上顯示基于存儲在輸入存儲器105中的圖像數(shù)據(jù)的圖像時，第一計算機(jī)101從輸入存儲器105讀取圖像數(shù)據(jù)并且將上述圖像數(shù)據(jù)傳送到嵌入式內(nèi)存(未在附圖中圖示)。第一計算機(jī)101憑借延遲器172對如上所述地傳送的圖像數(shù)據(jù)進(jìn)行預(yù)定延遲，并且進(jìn)行時間調(diào)整和圖像顯示。
[0144]當(dāng)在顯示器103上顯示基于存儲在中間存儲器106中的圖像數(shù)據(jù)的圖像時，第一計算機(jī)101從中間存儲器106中讀取圖像數(shù)據(jù)且將上述圖像數(shù)據(jù)傳送至嵌入式內(nèi)存(未在附圖中圖示)。第一計算機(jī)101憑借延遲器172對如上所述地傳送的圖像數(shù)據(jù)進(jìn)行預(yù)定延遲，并且進(jìn)行時間調(diào)整和圖像顯示。
[0145]在圖23中，編碼器173構(gòu)成輸出采集單元。編碼器173將從圖像合成單元114中輸出的圖像數(shù)據(jù)編碼為MPEG2傳輸流，且向第一計算機(jī)101提供MPEG2傳輸流。當(dāng)進(jìn)行流分配時，需要在任何地方進(jìn)行編碼。編碼處理可以由第一計算機(jī)101執(zhí)行。然而，如果設(shè)置有像圖23的編碼器173那樣的專用硬件，那么就能夠在不增加第一計算機(jī)101的負(fù)擔(dān)的情況下實現(xiàn)具有更高性能的編碼處理。在第一計算機(jī)101中，編碼器173的輸出可以被記錄在第一計算機(jī)101的存儲單元上。
[0146]在圖1中所示的圖像處理裝置100中，用戶操作單元102連接至第一計算機(jī)101。然而，用戶操作單元可以連接至第二計算機(jī)111，這樣的用戶操作單元可以與用戶操作單元102 一起存在或可以代替用戶操作單元102。
[0147]圖24圖示了其中用戶操作單元102連接至第一計算機(jī)101且用戶操作單元174連接至第二計算機(jī)111的圖像處理裝置100的構(gòu)造示例。在圖24中，使用相同的附圖標(biāo)記表示與在圖1中的結(jié)構(gòu)元件相對應(yīng)的結(jié)構(gòu)元件，且省略對這些結(jié)構(gòu)元件的重復(fù)說明。用戶操作單元174包括一排按鈕并且能夠?qū)D像切換單元113中的信號選擇進(jìn)行操作。此外，用戶操作單元174可以包括能夠進(jìn)行操作來提供用以改變信號處理(包括有GPU104的操作狀態(tài))的時序的按鈕。
[0148]照此，當(dāng)用戶操作單元174連接至第二計算機(jī)111時，用戶能夠通過用戶操作單元174進(jìn)行恢復(fù)(復(fù)原)指令的操作。在此情況下，恢復(fù)指令從用戶操作單元174被傳送至第二計算機(jī)111。然后，恢復(fù)指令從第二計算機(jī)111被傳送至第一計算機(jī)101。
[0149]在上述的實施例中，由GPU104生成的圖像數(shù)據(jù)被寫入中間存儲器106。然而，與被寫入中間存儲器106的圖像數(shù)據(jù)相同的圖像數(shù)據(jù)可以被GPU104寫入至第一計算機(jī)101的嵌入式內(nèi)存(內(nèi)部存儲單元)。在此情況下，第一計算機(jī)101從嵌入式內(nèi)存中讀取圖像數(shù)據(jù)并將基于上述圖像數(shù)據(jù)的圖像顯示在顯示器103上。因此，用戶能夠在顯示器103上確認(rèn)基于由GPU104生成的圖像數(shù)據(jù)的圖像。
[0150]雖然上面沒有說明，但是可以設(shè)置有從GPU104和第二計算機(jī)111都能夠訪問的GTO共用存儲單元，以使得可以從第二計算機(jī)111控制GPU104。在此情況下，根據(jù)來自用戶操作單元174 (參照圖24)的用戶操作輸入，第二計算機(jī)111將關(guān)于圖像處理狀態(tài)的控制數(shù)據(jù)寫入GPU共用存儲單元。GPU104從GPU共用存儲單元讀取控制數(shù)據(jù)并且改變自身的操作狀態(tài)。
[0151]雖然上面沒有說明，但是GPU104可以根據(jù)接收到的來自第二計算機(jī)111的漸變值(fader value)生成擦除用鍵信號。在此情況下，由GPU104生成的擦除用鍵信號能夠從中間存儲器106被讀取，能夠被輸入至圖像合成單元114并且能夠被用于圖像的擦除/過渡。
[0152]雖然上面沒有說明，但是可以設(shè)置有GPU使用模式輸入操作單元。類似于圖24中所示的用戶操作單元174，GPU使用模式輸入操作單元連接至第二計算機(jī)111。在此情況下，在圖像切換單元113和圖像合成單元114中，憑借GPU使用模式輸入操作單元在如下兩種模式中進(jìn)行切換:使用來自GPU104的圖像數(shù)據(jù)生成輸出圖像數(shù)據(jù)的模式和不使用來自GPU104的圖像數(shù)據(jù)生成輸出圖像數(shù)據(jù)的模式。
[0153]在上述實施例中，設(shè)置有存儲輸入至圖像輸入單元112的輸入圖像數(shù)據(jù)的輸入存儲器105，并且GPU104能夠從輸入存儲器105中讀取必要的圖像數(shù)據(jù)并且參照(使用)上述圖像數(shù)據(jù)。然而，當(dāng)GPU104不參照輸入至圖像輸入單元112的輸入圖像數(shù)據(jù)時，輸入存儲器105不是必需的。即，可以不設(shè)置輸入存儲器105。
[0154]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依據(jù)設(shè)計要求和其他因素，可以在本發(fā)明隨附的權(quán)利要求或其等同物的范圍內(nèi)進(jìn)行各種修改、組合、次組合以及改變。
[0155]此外，本技術(shù)也可以被構(gòu)造如下。
[0156](I) 一種圖像處理裝置，其包括:
[0157]圖形處理器；
[0158]第一計算機(jī)，所述第一計算機(jī)控制所述圖形處理器；
[0159]中間圖像存儲單元，所述中間圖像存儲單元存儲由所述圖形處理器生成的圖像數(shù)據(jù)；
[0160]圖像輸入單元，所述圖像輸入單元輸入多個圖像數(shù)據(jù)；
[0161]圖像切換單元，所述圖像切換單元輸出被輸入至所述圖像輸入單元的所述多個圖像數(shù)據(jù)中的多個任意圖像數(shù)據(jù)；
[0162]圖像合成單元，所述圖像合成單元使用從所述圖像切換單元中輸出的圖像數(shù)據(jù)和存儲在所述中間圖像存儲單元中的圖像數(shù)據(jù)合成圖像數(shù)據(jù)；[0163]圖像輸出單元，所述圖像輸出單元輸出由所述圖像合成單元合成的所述圖像數(shù)據(jù)；
[0164]第二計算機(jī)，所述第二計算機(jī)控制所述圖像切換單元和所述圖像合成單元；以及
[0165]連接單元，所述連接單元連接所述第一計算機(jī)與所述第二計算機(jī)。
[0166]( 2 )根據(jù)(I)所述的圖像處理裝置，還包括:
[0167]圖像處理狀態(tài)存儲單元，所述圖像處理狀態(tài)存儲單元存儲與預(yù)定的圖像處理狀態(tài)相對應(yīng)的各單元的控制數(shù)據(jù)，
[0168]其中，當(dāng)指示復(fù)原所述圖像處理狀態(tài)時，所述第一計算機(jī)基于存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)進(jìn)行用于改變所述圖形處理器的圖像處理狀態(tài)的控制，并且與所述圖形處理器的圖像處理狀態(tài)的變化同步地，所述第二計算機(jī)基于存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)進(jìn)行用于改變所述圖像切換單元和所述圖像合成單元的圖像處理狀態(tài)的控制。
[0169](3)根據(jù)(2)所述的圖像處理裝置，
[0170]其中，設(shè)置在附著于所述第一計算機(jī)的內(nèi)存中的第一圖像處理狀態(tài)存儲單元和設(shè)置在附著于第二計算機(jī)的內(nèi)存中的第二圖像處理狀態(tài)存儲單元被設(shè)置作為所述圖像處理狀態(tài)存儲單元，并且
[0171]其中，與由所述第一計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)存儲在所述第一圖像處理狀態(tài)存儲單元中，與由所述第二計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)存儲在所述第二圖像處理狀態(tài)存儲單元中。
[0172](4)根據(jù)(2)所述的圖像處理裝置，
[0173]其中，所述圖像處理狀態(tài)存儲單元設(shè)置在附著于所述第一計算機(jī)的內(nèi)存中，并且
[0174]其中，所述第二計算機(jī)通過所述連接單元接收來自所述第一計算機(jī)的所述控制數(shù)據(jù)。
[0175](5)根據(jù)(2)至(4)中任一項所述的圖像處理裝置，還包括:
[0176]非易失性存儲器，所述非易失性存儲器寫入存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)并且存儲所述控制數(shù)據(jù)。
[0177](6)根據(jù)(2)至(5)中任一項所述的圖像處理裝置，
[0178]其中，當(dāng)指示存儲所述圖像處理狀態(tài)時，所述第一計算機(jī)將所述圖形處理器的控制數(shù)據(jù)存儲在所述圖像處理狀態(tài)存儲單元中，并且所述第二計算機(jī)將所述圖像切換單元和所述圖像合成單元的控制數(shù)據(jù)存儲在所述圖像處理狀態(tài)存儲單元中。
[0179](7)根據(jù)(6)所述的圖像處理裝置，
[0180]其中，設(shè)置在附著于所述第一計算機(jī)的內(nèi)存中的第一圖像處理狀態(tài)存儲單元和設(shè)置在附著于第二計算機(jī)的內(nèi)存中的第二圖像處理狀態(tài)存儲單元被設(shè)置作為所述圖像處理狀態(tài)存儲單元，
[0181]其中，所述第一計算機(jī)將與由所述第一計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)寫入至所述第一圖像處理狀態(tài)存儲單元，并且
[0182]其中，所述第二計算機(jī)將與由所述第二計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)寫入至所述第二圖像處理狀態(tài)存儲單元。
[0183](8)根據(jù)(2)至(7)中任一項所述的圖像處理裝置，還包括:[0184]用戶操作單元，所述用戶操作單元連接至所述第一計算機(jī)，
[0185]其中，所述用戶操作單元具有輸入用以復(fù)原所述圖像處理狀態(tài)的指令的功能，并且
[0186]其中，當(dāng)所述用戶操作單元提供用以復(fù)原所述圖像處理狀態(tài)的所述指令時，所述第一計算機(jī)通過所述連接單元將所述指令傳送至所述第二計算機(jī)。
[0187](9)根據(jù)(I)至(8)中任一項所述的圖像處理裝置，還包括:
[0188]輸入圖像存儲單元，所述輸入圖像存儲單元存儲輸入至所述圖像輸入單元的圖像數(shù)據(jù)，
[0189]其中，所述圖形處理器通過參照從所述輸入圖像存儲單元中讀取的圖像數(shù)據(jù)進(jìn)行操作。
[0190](10)根據(jù)(9)所述的圖像處理裝置，
[0191]其中，所述輸入圖像存儲單元存儲從所述圖像切換單元中輸出的圖像數(shù)據(jù)。
[0192](11)根據(jù)(I)至(10)中任一項所述的圖像處理裝置，
[0193]其中，所述圖形處理器生成要被重疊的前景圖像的圖像數(shù)據(jù)和所述圖像數(shù)據(jù)的鍵信號，且
[0194]所述圖像合成單元從所述中間圖像存儲單元讀取所述前景圖像的所述圖像數(shù)據(jù)和所述圖像數(shù)據(jù)的所述鍵信號，并且基于所述鍵信號將所述前景圖像的所述圖像數(shù)據(jù)重疊至來自所述圖像切換單元的背景圖像的圖像數(shù)據(jù)。
[0195](12)根據(jù)(I)至(11)中任一項所述的圖像處理裝置，還包括:
[0196]輸入圖像存儲單元，所述輸入圖像存儲單元存儲輸入至所述圖像輸入單元的圖像數(shù)據(jù)，
[0197]其中，所述第一計算機(jī)將圖像數(shù)據(jù)從所述輸入圖像存儲單元傳送至內(nèi)部存儲單元，并且將基于被傳送的所述圖像數(shù)據(jù)的圖像顯示在顯示單元上。
[0198](13)根據(jù)(I)至(12)中任一項所述的圖像處理裝置，
[0199]其中，所述第一計算機(jī)將圖像數(shù)據(jù)從所述中間圖像存儲單元傳送至內(nèi)部存儲單元，且將基于被傳送的所述圖像數(shù)據(jù)的圖像顯示在顯示單元上。
[0200](14)根據(jù)(I)至(13)中任一項所述的圖像處理裝置，
[0201]其中，所述圖形處理器將與被寫入至所述中間圖像存儲單元的圖像數(shù)據(jù)相同的圖像數(shù)據(jù)寫入至所述第一計算機(jī)的內(nèi)部存儲單元，并且
[0202]其中，所述第一計算機(jī)將基于從所述內(nèi)部存儲單元中讀取的圖像數(shù)據(jù)的圖像顯示在顯示單元上。
[0203](15)根據(jù)(I)至(14)中任一項所述的圖像處理裝置，還包括:
[0204]輸出采集單元，所述輸出采集單元采集由所述圖像合成單元合成的圖像數(shù)據(jù)并且將所述圖像數(shù)據(jù)提供至所述第一計算機(jī)。
[0205](16)根據(jù)(15)所述的圖像處理裝置，
[0206]其中，所述第一計算機(jī)將基于從所述輸出采集單元獲取的圖像數(shù)據(jù)的圖像顯示在顯示單元上。
[0207](17)根據(jù)(15)所述的圖像處理裝置，
[0208]其中，所述輸出采集單元具有編碼器，并且[0209]其中，所述輸出采集單元憑借所述編碼器對采集的圖像數(shù)據(jù)進(jìn)行編碼，并且將經(jīng)過編碼的所述圖像數(shù)據(jù)提供至所述第一計算機(jī)。
[0210](18)根據(jù)(15)所述的圖像處理裝置，還包括:
[0211]網(wǎng)絡(luò)接口，
[0212]其中，所述第一計算機(jī)通過所述網(wǎng)絡(luò)接口以流的形式傳送從所述輸出采集單元提供的所述圖像數(shù)據(jù)。
[0213](19)根據(jù)(I)至(18)中任一項所述的圖像處理裝置，還包括:
[0214]聲音輸入單兀，所述聲音輸入單兀輸入多個聲音數(shù)據(jù)；
[0215]聲音合成單元，所述聲音合成單元使用輸入至所述聲音輸入單元的聲音數(shù)據(jù)合成聲音數(shù)據(jù)；和
[0216]聲音輸出單元，所述聲音輸出單元輸出由所述聲音合成單元合成的聲音數(shù)據(jù)，
[0217]其中所述第二計算機(jī)還控制所述聲音合成單元。
[0218](20) —種圖像處理裝置的控制方法，所述圖像處理裝置包括圖形處理器、存儲由所述圖像處理器生成的圖像數(shù)據(jù)的中間圖像存儲單元、輸入多個圖像數(shù)據(jù)的圖像輸入單元、輸出在輸入至所述圖像輸入單元的所述多個圖像數(shù)據(jù)中的多個任意圖像數(shù)據(jù)的圖像切換單元、使用從所述圖像切換單元輸出的圖像數(shù)據(jù)和存儲在所述中間圖像存儲單元中的圖像數(shù)據(jù)合成圖像數(shù)據(jù)的圖像合成單元，以及輸出由所述圖像合成單元合成的圖像數(shù)據(jù)的圖像輸出單元，所述控制方法包括步驟:
[0219]通過第一計算機(jī)控制所述圖形處理器，并且通過連接至所述第一計算機(jī)的第二計算機(jī)控制所述圖像切換單元和所述圖像合成單元。
[0220]本申請主張享有于2012年11月26日提交的日本優(yōu)先權(quán)專利申請JP2012-257477的權(quán)益，將該日本優(yōu)先權(quán)申請的全部內(nèi)容以引用的方式并入本文。
【權(quán)利要求】
1.一種圖像處理裝置，其包括: 圖形處理器； 第一計算機(jī)，所述第一計算機(jī)控制所述圖形處理器； 中間圖像存儲單元，所述中間圖像存儲單元存儲由所述圖形處理器生成的圖像數(shù)據(jù)； 圖像輸入單元，所述圖像輸入單元輸入多個圖像數(shù)據(jù)； 圖像切換單元，所述圖像切換單元輸出被輸入至所述圖像輸入單元的所述多個圖像數(shù)據(jù)中的多個任意圖像數(shù)據(jù)； 圖像合成單元，所述圖像合成單元使用從所述圖像切換單元中輸出的圖像數(shù)據(jù)和存儲在所述中間圖像存儲單元中的圖像數(shù)據(jù)合成圖像數(shù)據(jù)； 圖像輸出單元，所述圖像輸出單元輸出由所述圖像合成單元合成的所述圖像數(shù)據(jù)； 第二計算機(jī)，所述第二計算機(jī)控制所述圖像切換單元和所述圖像合成單元；以及 連接單元，所述連接單元連接所述第一計算機(jī)與所述第二計算機(jī)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 圖像處理狀態(tài)存儲單元，所述圖像處理狀態(tài)存儲單元存儲與預(yù)定的圖像處理狀態(tài)相對應(yīng)的各單元的控制數(shù)據(jù)， 其中，當(dāng)指示復(fù)原所述圖像處理狀態(tài)時，所述第一計算機(jī)基于存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)進(jìn)行用于改變所述圖形處理器的圖像處理狀態(tài)的控制；并且與所述圖形處理器的圖像處理狀態(tài)的變化同步地，所述第二計算機(jī)基于存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)進(jìn)行用于改變所述圖像切換單元和所述圖像合成單元的圖像處理狀態(tài)的控制。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置， 其中，設(shè)置在附著于所述第一計算機(jī)的內(nèi)存中的第一圖像處理狀態(tài)存儲單元和設(shè)置在附著于第二計算機(jī)的內(nèi)存中的第二圖像處理狀態(tài)存儲單元被設(shè)置作為所述圖像處理狀態(tài)存儲單元，并且 其中，與由所述第一計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)存儲在所述第一圖像處理狀態(tài)存儲單元中，與由所述第二計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)存儲在所述第二圖像處理狀態(tài)存儲單元中。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置， 其中，所述圖像處理狀態(tài)存儲單元設(shè)置在附著于所述第一計算機(jī)的內(nèi)存中，并且 其中，所述第二計算機(jī)通過所述連接單元接收來自所述第一計算機(jī)的控制數(shù)據(jù)。
5.根據(jù)權(quán)利要求2至4中任一項所述的圖像處理裝置，還包括: 非易失性存儲器，所述非易失性存儲器寫入存儲在所述圖像處理狀態(tài)存儲單元中的所述控制數(shù)據(jù)并且存儲所述控制數(shù)據(jù)。
6.根據(jù)權(quán)利要求2至4中任一項所述的圖像處理裝置， 其中，當(dāng)指示存儲所述圖像處理狀態(tài)時，所述第一計算機(jī)將所述圖形處理器的控制數(shù)據(jù)存儲在所述圖像處理狀態(tài)存儲單元中，并且所述第二計算機(jī)將所述圖像切換單元和所述圖像合成單元的控制數(shù)據(jù)存儲在所述圖像處理狀態(tài)存儲單元中。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置， 其中，設(shè)置在附著于所述第一計算機(jī)的內(nèi)存中的第一圖像處理狀態(tài)存儲單元和設(shè)置在附著于第二計算機(jī)的內(nèi)存中的第二圖像處理狀態(tài)存儲單元被設(shè)置作為所述圖像處理狀態(tài)存儲單元， 其中，所述第一計算機(jī)將與由所述第一計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)寫入至所述第一圖像處理狀態(tài)存儲單元，并且 其中，所述第二計算機(jī)將與由所述第二計算機(jī)管理的部分有關(guān)的控制數(shù)據(jù)寫入至所述第二圖像處理狀態(tài)存儲單元。
8.根據(jù)權(quán)利要求2至4中任一項所述的圖像處理裝置，還包括: 用戶操作單元，所述用戶操作單元連接至所述第一計算機(jī)， 其中，所述用戶操作單元具有輸入用以復(fù)原所述圖像處理狀態(tài)的指令的功能，并且其中，當(dāng)所述用戶操作單元提供用以復(fù)原所述圖像處理狀態(tài)的所述指令時，所述第一計算機(jī)通過所述連接單元將所述指令傳送至所述第二計算機(jī)。
9.根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置，還包括: 輸入圖像存儲單元，所述輸入圖像存儲單元存儲輸入至所述圖像輸入單元的圖像數(shù)據(jù)， 其中，所述圖形處理器通過參照從所述輸入圖像存儲單元讀取的圖像數(shù)據(jù)進(jìn)行操作。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，所述輸入圖像存儲單元存儲從所述圖像切換單元輸出的圖像數(shù)據(jù)。
11.根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置， 其中，所述圖形處理器生成要被重疊的前景圖像的圖像數(shù)據(jù)和所述圖像數(shù)據(jù)的鍵信號，且 所述圖像合成單元從所述中間圖像存儲單元讀取所述前景圖像的所述圖像數(shù)據(jù)和所述圖像數(shù)據(jù)的所述鍵信號，并且基于所述鍵信號將所述前景圖像的所述圖像數(shù)據(jù)重疊至來自所述圖像切換單元的背景圖像的圖像數(shù)據(jù)。
12.根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置，還包括: 輸入圖像存儲單元，所述輸入圖像存儲單元存儲輸入至所述圖像輸入單元的圖像數(shù)據(jù)， 其中，所述第一計算機(jī)將圖像數(shù)據(jù)從所述輸入圖像存儲單元傳送至內(nèi)部存儲單元，并且將基于被傳送的所述圖像數(shù)據(jù)的圖像顯示在顯示單元上。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中， 所述第一計算機(jī)中設(shè)置有延遲器，所述延遲器對從所述輸入圖像存儲單元傳送來的圖像數(shù)據(jù)進(jìn)行時間調(diào)整。
14.根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置， 其中，所述第一計算機(jī)將圖像數(shù)據(jù)從所述中間圖像存儲單元傳送至內(nèi)部存儲單元，且將基于被傳送的所述圖像數(shù)據(jù)的圖像顯示在顯示單元上。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其中， 所述第一計算機(jī)中設(shè)置有延遲器，所述延遲器對從所述中間圖像存儲單元傳送來的圖像數(shù)據(jù)進(jìn)行時間調(diào)整。)
16.根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置， 其中，所述圖形處理器將與被寫入至所述中間圖像存儲單元的圖像數(shù)據(jù)相同的圖像數(shù)據(jù)寫入至所述第一計算機(jī)的內(nèi)部存儲單元，并且 其中，所述第一計算機(jī)將基于從所述內(nèi)部存儲單元中讀取的圖像數(shù)據(jù)的圖像顯示在顯示單元上。
17.根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置，還包括: 輸出采集單元，所述輸出采集單元采集由所述圖像合成單元合成的圖像數(shù)據(jù)并且將所述圖像數(shù)據(jù)提供至所述第一計算機(jī)。
18.根據(jù)權(quán)利要求17所述的圖像處理裝置， 其中，所述第一計算機(jī)將基于從所述輸出采集單元獲取的圖像數(shù)據(jù)的圖像顯示在顯示單元上。
19.根據(jù)權(quán)利要求17所述的圖像處理裝置， 其中，所述輸出采集單元具有編碼器，并且 其中，所述輸出采集單元憑借所述編碼器對采集的圖像數(shù)據(jù)進(jìn)行編碼，并且將經(jīng)過編碼的所述圖像數(shù)據(jù)提供至所述第一計算機(jī)。
20.根據(jù)權(quán)利要求17所述的圖像處理裝置，還包括: 網(wǎng)絡(luò)接口， 其中，所述第一計算機(jī)通過所述網(wǎng)絡(luò)接口以流的形式傳送從所述輸出采集單元提供的所述圖像數(shù)據(jù)。
21.根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置，還包括: 聲音輸入單兀，所述聲音輸入單兀輸入多個聲音數(shù)據(jù)； 聲音合成單元，所述聲音合成單元使用輸入至所述聲音輸入單元的聲音數(shù)據(jù)合成聲音數(shù)據(jù)；和 聲音輸出單元，所述聲音輸出單元輸出由所述聲音合成單元合成的聲音數(shù)據(jù)， 其中所述第二計算機(jī)還控制所述聲音合成單元。
22.—種圖像處理裝置的控制方法，所述圖像處理裝置包括圖形處理器、存儲由所述圖像處理器生成的圖像數(shù)據(jù)的中間圖像存儲單元、輸入多個圖像數(shù)據(jù)的圖像輸入單元、輸出在輸入至所述圖像輸入單元的所述多個圖像數(shù)據(jù)中的多個任意圖像數(shù)據(jù)的圖像切換單元、使用從所述圖像切換單元輸出的圖像數(shù)據(jù)和存儲在所述中間圖像存儲單元中的圖像數(shù)據(jù)合成圖像數(shù)據(jù)的圖像合成單元，以及輸出由所述圖像合成單元合成的圖像數(shù)據(jù)的圖像輸出單元，所述控制方法包括步驟: 通過第一計算機(jī)控制所述圖形處理器，并且通過連接至所述第一計算機(jī)的第二計算機(jī)控制所述圖像切換單元和所述圖像合成單元。
【文檔編號】G06T1/20GK103839221SQ201310585216
【公開日】2014年6月4日 申請日期:2013年11月19日 優(yōu)先權(quán)日:2012年11月26日
【發(fā)明者】中村泉三郎, 中田哲郎, 巖間徹, 志賀知久, 西川正樹, 守分且明 申請人:索尼公司