圖像處理裝置、圖像處理方法和圖像處理系統(tǒng)的制作方法
【專利摘要】提供了一種圖像處理裝置、圖像處理方法和圖像處理系統(tǒng)。該圖像處理裝置包括：轉(zhuǎn)換器，被配置成在進(jìn)行編碼處理之前獲得能夠在編碼時(shí)使用的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及編碼處理器，被配置成通過根據(jù)所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
【專利說明】圖像處理裝置、圖像處理方法和圖像處理系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種圖像處理裝置、圖像處理方法和圖像處理系統(tǒng)。
【背景技術(shù)】
[0002]隨著多功能移動(dòng)電話(智能電話)或平板終端的發(fā)展，這些多種終端配備有對(duì)運(yùn)動(dòng)圖像進(jìn)行解碼的硬件解碼器。由于此原因，服務(wù)器設(shè)置有允許用戶容易地操作靜止圖像或運(yùn)動(dòng)圖像(這兩種圖像被統(tǒng)稱為內(nèi)容)的應(yīng)用，并且根據(jù)客戶端中的用戶操作，內(nèi)容被服務(wù)器實(shí)時(shí)地編碼并且編碼內(nèi)容被分發(fā)到客戶端。這使得用戶可以沒有任何壓力地享用客戶端中的內(nèi)容。
[0003]然而，通過客戶端中的用戶操作而被顯示在客戶端上的圖像每次都會(huì)改變，于是就必需在每次內(nèi)容被分發(fā)到客戶端時(shí)針對(duì)上述應(yīng)用進(jìn)行編碼處理。編碼處理使得對(duì)服務(wù)器施加了負(fù)荷，由此必需在不使內(nèi)容的質(zhì)量退化的情況下降低編碼處理的吞吐量。

【發(fā)明內(nèi)容】

[0004]當(dāng)內(nèi)容從服務(wù)器被分發(fā)到客戶端時(shí)，為了減小服務(wù)器上的負(fù)荷并維持高質(zhì)量的服務(wù)，必需同時(shí)地實(shí)現(xiàn)低延時(shí)、低成本、針對(duì)網(wǎng)絡(luò)帶寬的波動(dòng)的魯棒性的提高、以及服務(wù)可接受的圖像質(zhì)量的保留。然而，利用根據(jù)現(xiàn)有技術(shù)的編碼器難以實(shí)現(xiàn)這些事。
[0005]例如，日本未審查專利申請(qǐng)公布2005-295215公開了下述技術(shù):其中通過檢測(cè)靜止區(qū)域并對(duì)靜止區(qū)域進(jìn)行濾波處理來減少代碼量，并通過增加移動(dòng)區(qū)域的代碼量來改善圖像質(zhì)量，從而以較小的代碼量對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼并提高傳輸效率。然而，在日本未審查專利申請(qǐng)公布2005-295215中所公開的技術(shù)中，必需對(duì)量化代碼進(jìn)行逆量化以檢測(cè)靜止區(qū)域以及進(jìn)一步降低服務(wù)器實(shí)時(shí)對(duì)內(nèi)容進(jìn)行編碼時(shí)的吞吐量。
[0006]因此，根據(jù)本公開的實(shí)施例，提供了一種新穎且改進(jìn)的圖像處理裝置、圖像處理方法和圖像處理系統(tǒng)，其能夠在編碼之前獲得可在編碼時(shí)使用的關(guān)于圖像的移動(dòng)或位置改變的圖像繪制信息，并能夠通過使用所獲得的圖像繪制信息進(jìn)行編碼處理來減少編碼處理的吞吐量,而不會(huì)使內(nèi)容的質(zhì)量退化。
[0007]根據(jù)本公開的實(shí)施例，提供了一種圖像處理裝置，包括:轉(zhuǎn)換器，被配置成在進(jìn)行編碼處理之前獲得能夠在編碼時(shí)使用的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及編碼處理器，被配置成通過根據(jù)所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
[0008]根據(jù)本公開的實(shí)施例，提供了一種圖像處理方法，包括:在進(jìn)行編碼處理之前，獲得能夠在編碼時(shí)使用的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及通過根據(jù)在轉(zhuǎn)換步驟中轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
[0009]根據(jù)本公開的實(shí)施例，提供了一種圖像處理系統(tǒng)，包括:服務(wù)器裝置，被配置成對(duì)圖像進(jìn)行編碼并經(jīng)由網(wǎng)絡(luò)分發(fā)所編碼的圖像；以及終端裝置，被配置成顯示從所述服務(wù)器裝置分發(fā)的圖像。所述服務(wù)器裝置包括:轉(zhuǎn)換器，被配置成在進(jìn)行編碼處理之前獲得能夠在編碼時(shí)使用的、要被編碼的圖像的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及編碼處理器，被配置成通過根據(jù)所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
[0010]如上所述，根據(jù)本公開的實(shí)施例，能提供一種新穎且改進(jìn)的圖像處理裝置、圖像處理方法和圖像處理系統(tǒng)，其能夠在編碼之前獲得可在編碼時(shí)使用的關(guān)于圖像的移動(dòng)或位置改變的圖像繪制信息，并能夠通過使用所獲得的圖像繪制信息進(jìn)行編碼處理來減少編碼處理的吞吐量,而不會(huì)使內(nèi)容的質(zhì)量退化。
【專利附圖】

【附圖說明】
[0011]圖1是示出了根據(jù)本公開的實(shí)施例的流系統(tǒng)的整體配置的示意圖；
[0012]圖2是示出了根據(jù)本公開的實(shí)施例的流系統(tǒng)中的信息流的示例的圖；
[0013]圖3是示出了根據(jù)本公開的實(shí)施例的流系統(tǒng)中的客戶端和服務(wù)器的功能配置的示意圖；
[0014]圖4是示出了根據(jù)本公開的實(shí)施例的流處理器的功能配置的示意圖；
[0015]圖5是示出了根據(jù)本公開的實(shí)施例的服務(wù)器300中包括的視頻編碼器325a的示例性功能配置的說明圖；
[0016]圖6是示出了根據(jù)本公開的實(shí)施例的編碼處理器372的示例性功能配置的說明圖；
[0017]圖7是示出了用于說明根據(jù)本公開的實(shí)施例的視頻編碼器325a的操作的術(shù)語的定義的說明圖；
[0018]圖8是示出了用于說明根據(jù)本公開的實(shí)施例的視頻編碼器325a的操作的術(shù)語的定義的說明圖；
[0019]圖9是示出了根據(jù)本公開的實(shí)施例的視頻編碼器325a的示例性操作的流程圖；
[0020]圖10是用于說明對(duì)編碼處理器372中的編碼處理有用的數(shù)據(jù)的說明圖；
[0021]圖11是示出了根據(jù)本公開的實(shí)施例的視頻編碼器325a的變型示例的說明圖；以及
[0022]圖12是示出了信息處理設(shè)備900的示例性硬件配置的說明圖。
【具體實(shí)施方式】
[0023]下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的附圖標(biāo)記表示具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并省略這些結(jié)構(gòu)元件的重復(fù)說明。
[0024]將按以下順序給出描述。
[0025]〈1.本公開的實(shí)施例>
[0026][系統(tǒng)的示例性整體配置]
[0027][編碼器的示例性配置]
[0028][編碼器的示例性操作]
[0029][編碼器的變型示例][0030]<2.總結(jié)〉
[0031]〈L本公開的實(shí)施例〉
[0032][系統(tǒng)的示例性整體配置]
[0033]首先，將描述應(yīng)用本公開的實(shí)施例的流系統(tǒng)的整體配置。圖1是示出了根據(jù)本公開的實(shí)施例的流系統(tǒng)的整體配置的示意圖。流系統(tǒng)10包括客戶端100以及被配置成向客戶端100分發(fā)流內(nèi)容的服務(wù)器(服務(wù)方(servicer)210、節(jié)點(diǎn)220和邊緣230)?？蛻舳?00和每個(gè)服務(wù)器經(jīng)由各種類型的有線或無線網(wǎng)絡(luò)而彼此連接。服務(wù)方210保存原始內(nèi)容211。節(jié)點(diǎn)220是下述節(jié)點(diǎn):其構(gòu)成內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)，并保存通過復(fù)制服務(wù)方210所保存的原始內(nèi)容而獲得的內(nèi)容221。邊緣230與客戶端100進(jìn)行直接交互并應(yīng)請(qǐng)求而適當(dāng)?shù)靥幚韮?nèi)容，并且向客戶端100提供處理后的內(nèi)容。在這種情況下，邊緣230獲得節(jié)點(diǎn)220所保存的內(nèi)容作為內(nèi)容緩存231，并應(yīng)來自客戶端100的請(qǐng)求而向客戶端100提供該內(nèi)容。
[0034]圖2是示出了根據(jù)本公開的實(shí)施例的流系統(tǒng)中的信息流的示例的圖。客戶端100訪問服務(wù)方210的用戶認(rèn)證模塊213，以在內(nèi)容分發(fā)之前登錄到服務(wù)中。當(dāng)客戶端100成功登陸到服務(wù)中時(shí)，客戶端100訪問邊緣230的會(huì)話控制器233，并請(qǐng)求會(huì)話控制器233開始用于客戶端100的處理。響應(yīng)于該請(qǐng)求，會(huì)話控制器233啟動(dòng)處理235。處理235將如所示出的那樣針對(duì)每個(gè)客戶端100而被啟動(dòng)，并響應(yīng)于來自客戶端100的請(qǐng)求而執(zhí)行用于分發(fā)內(nèi)容的處理。因此，當(dāng)邊緣230向多個(gè)客戶端100提供服務(wù)時(shí)，可以在邊緣230中啟動(dòng)多個(gè)處理235。每個(gè)處理235由調(diào)度器237調(diào)度。調(diào)度器237由會(huì)話控制器233控制。
[0035]另一方面，服務(wù)方210所保存的原始內(nèi)容211由節(jié)點(diǎn)220事先復(fù)制，并被保存在節(jié)點(diǎn)220中作為內(nèi)容221。在邊緣230中所激活的處理235中，響應(yīng)于來自客戶端100的請(qǐng)求來獲得保存在節(jié)點(diǎn)220中的內(nèi)容221作為緩存，適當(dāng)?shù)靥幚韮?nèi)容221，并且將處理后的內(nèi)容提供到客戶端100。在這種情況下，在處理235中可以記錄響應(yīng)于來自客戶端100的哪種請(qǐng)求而如何提供內(nèi)容的日志。該日志和其他信息可以由處理235來提供到節(jié)點(diǎn)220，并且可以作為信息223被保存在節(jié)點(diǎn)220中。包含日志等的信息223可以例如由服務(wù)方210的附加特征來使用。
[0036]圖3是示出了根據(jù)本公開的實(shí)施例的流系統(tǒng)中的客戶端和服務(wù)器的功能配置的示意圖。服務(wù)器300用作上面參照?qǐng)D1和圖2描述的流系統(tǒng)中的邊緣230。在圖3中，實(shí)線表示要分發(fā)到客戶端100的流內(nèi)容的流，并且虛線表示與流內(nèi)容的再現(xiàn)有關(guān)的控制信息的流。
[0037]客戶端100是向用戶提供流內(nèi)容的裝置，并且可以是各種類型的個(gè)人計(jì)算機(jī)、平板終端、移動(dòng)電話(包括智能手機(jī))、媒體播放器、游戲控制臺(tái)等。另一方面，服務(wù)器300可以是單個(gè)服務(wù)器裝置，或可以是通過經(jīng)各種有線或無線網(wǎng)絡(luò)彼此相連的多個(gè)服務(wù)器裝置協(xié)作而實(shí)現(xiàn)的功能的集合?？蛻舳?00和構(gòu)成服務(wù)器300的每個(gè)服務(wù)器裝置可以例如使用稍后要描述的信息處理設(shè)備的硬件配置來實(shí)現(xiàn)。除了諸如輸入裝置、輸出裝置的裝置以及圖3所示的結(jié)構(gòu)元件當(dāng)中的內(nèi)容數(shù)據(jù)以外的部分可以由諸如中央處理單元(CPU)的處理器用軟件來實(shí)現(xiàn)。
[0038]在客戶端100中，輸入裝置110獲得用戶的操作輸入。輸入裝置110獲得與內(nèi)容的外部有關(guān)的操作輸入(諸如登錄到服務(wù)或選擇內(nèi)容)以及與內(nèi)容的內(nèi)部有關(guān)的操作輸入(諸如靜止/運(yùn)動(dòng)圖像切換、圖像放大/縮小、或音頻的聲音質(zhì)量切換)。與內(nèi)容的外部有關(guān)的操作輸入由會(huì)話控制器120處理。會(huì)話控制器120可以發(fā)送與登錄到服務(wù)方210有關(guān)的輸入信息，并且可以在登錄后向服務(wù)器300發(fā)送開始處理的請(qǐng)求。另一方面，與內(nèi)容的內(nèi)部有關(guān)的操作輸入從輸入發(fā)送器130被發(fā)送到服務(wù)器300。
[0039]在服務(wù)器300中，響應(yīng)于來自客戶端100的開始處理的請(qǐng)求，會(huì)話控制器233啟動(dòng)處理235。處理235從節(jié)點(diǎn)220獲得內(nèi)容221，并保存所獲得的內(nèi)容作為內(nèi)容緩存231，其中內(nèi)容221是通過客戶端100的輸入裝置110所獲得的內(nèi)容選擇操作來指定的。內(nèi)容緩存231是經(jīng)編碼的數(shù)據(jù)，并且由服務(wù)器300中的解碼器310解碼。在流處理器/發(fā)送器320中處理解碼后的內(nèi)容數(shù)據(jù)。
[0040]這里，客戶端100所獲得的與內(nèi)容的內(nèi)部有關(guān)的操作輸入由輸入接收器330接收，并被提供到播放器控制器340。播放器控制器340響應(yīng)于操作輸入來控制解碼器310或流處理器/發(fā)送器320。流處理器/發(fā)送器320根據(jù)播放器控制器340的控制來從內(nèi)容數(shù)據(jù)渲染(render)視頻和音頻。此外，流處理器/發(fā)送器320對(duì)渲染的視頻或音頻進(jìn)行編碼，并將其發(fā)送到客戶端100。在本實(shí)施例中，內(nèi)容包括視頻和音頻，但是在其他實(shí)施例中，內(nèi)容可以包括視頻和音頻中的任一個(gè)。
[0041]發(fā)送到客戶端100的編碼數(shù)據(jù)由流接收器/處理器140解碼，并被渲染為視頻或音頻，然后從輸出裝置150輸出到用戶。服務(wù)器側(cè)的流處理器/發(fā)送器320由管理器350來管理，客戶端側(cè)的流接收器/處理器140由管理器160來管理。服務(wù)器側(cè)管理器350和客戶端側(cè)管理器160通過根據(jù)需要交換信息而彼此協(xié)作。
[0042]圖4是示出了根據(jù)本公開的實(shí)施例的流處理單元的功能配置的示意圖。在圖4中，示出了客戶端100的流接收器/處理器140以及服務(wù)器300的流處理器/發(fā)送器320的功能配置。
[0043](客戶端側(cè))
[0044]流接收器/處理器140包括流接收器141、解碼器143、幀緩沖器145、以及渲染器147。流接收器141根據(jù)預(yù)定協(xié)議從服務(wù)器側(cè)的流發(fā)送器327接收數(shù)據(jù)。在所示出的示例中，使用實(shí)時(shí)傳輸協(xié)議(RTP)。在這種情況下，流接收器141向解碼器143提供所接收的數(shù)據(jù)。此外，流接收器141檢測(cè)諸如數(shù)據(jù)延遲的通信狀態(tài)，并使用RTP控制協(xié)議(RTCP)將檢測(cè)到的通信狀態(tài)報(bào)告到流發(fā)送器327。
[0045]同時(shí)，解碼器143對(duì)從流接收器提供的數(shù)據(jù)進(jìn)行解碼以獲得視頻或音頻數(shù)據(jù)。解碼器143包括對(duì)視頻數(shù)據(jù)進(jìn)行處理的視頻解碼器143a以及對(duì)音頻數(shù)據(jù)進(jìn)行處理的音頻解碼器143b。在流接收器/處理器140中，可以設(shè)置有多種類型的視頻解碼器143a和多種類型的音頻解碼器143b，其可以取決于要處理的視頻數(shù)據(jù)或音頻數(shù)據(jù)的格式而選擇性地被使用。在以下描述中，視頻解碼器143a和音頻解碼器143b中的任一個(gè)或者這二者可以被簡(jiǎn)稱為解碼器143 (當(dāng)提到其中的一個(gè)解碼器時(shí)，將指明該解碼器要處理的數(shù)據(jù)是視頻還是音頻)。
[0046]由解碼器143獲得的視頻和音頻數(shù)據(jù)被逐幀地臨時(shí)存儲(chǔ)在幀緩沖器145中。幀緩沖器145包括存儲(chǔ)視頻數(shù)據(jù)的幀緩沖器145a以及存儲(chǔ)音頻數(shù)據(jù)的幀緩沖器145b。幀緩沖器145在管理器160的控制下在預(yù)定定時(shí)處將每一幀中的視頻或音頻數(shù)據(jù)輸入到渲染器147。
[0047]渲染器147包括視頻渲染器147a和音頻渲染器147b。視頻渲染器147a渲染視頻數(shù)據(jù)并將所渲染的數(shù)據(jù)提供到諸如顯示器的輸出裝置。音頻渲染器147b渲染音頻數(shù)據(jù)并將所渲染的數(shù)據(jù)提供到諸如揚(yáng)聲器的輸出裝置。視頻渲染器147a和音頻渲染器147b分別使被輸出的視頻和音頻的巾貞同步。此外，渲染器147向管理器160報(bào)告輸出巾貞的ID、進(jìn)行輸出的時(shí)間等。在以下描述中，視頻渲染器147a和音頻渲染器147b中的任一個(gè)或者這二者可以被簡(jiǎn)稱為渲染器147(當(dāng)提到其中的一個(gè)渲染器時(shí)，將指明該渲染器要處理的數(shù)據(jù)是視頻還是音頻)。
[0048](服務(wù)器側(cè))
[0049]流處理器/發(fā)送器320包括渲染器321、幀緩沖器323、編碼器325、以及流發(fā)送器327。渲染器321使用由解碼器310解碼的內(nèi)容數(shù)據(jù)作為源材料，并根據(jù)播放器控制器340基于用戶的操作輸入而進(jìn)行的控制來渲染視頻數(shù)據(jù)和音頻數(shù)據(jù)。這里，定義了視頻和音頻數(shù)據(jù)的幀。
[0050]幀緩沖器323逐幀地臨時(shí)存儲(chǔ)由渲染器321渲染的視頻和音頻數(shù)據(jù)。幀緩沖器323包括被配置成存儲(chǔ)視頻數(shù)據(jù)的幀緩沖器323a以及被配置成存儲(chǔ)音頻數(shù)據(jù)的幀緩沖器323b。編碼器325順序地對(duì)存儲(chǔ)在幀緩沖器323中的視頻和音頻數(shù)據(jù)進(jìn)行編碼。
[0051]編碼器325包括被配置成對(duì)視頻數(shù)據(jù)進(jìn)行編碼的視頻編碼器325a以及被配置成對(duì)音頻數(shù)據(jù)進(jìn)行編碼的音頻編碼器325b?？梢栽O(shè)置有多種類型的視頻編碼器325a和多種類型的音頻編碼器325b，其可以取決于客戶端100可使用的視頻解碼器143a和音頻解碼器143b的類型或者要處理的視頻或音頻數(shù)據(jù)的特性而被選擇性地使用。流發(fā)送器327將編碼后的視頻和音頻數(shù)據(jù)傳送到客戶端100。
[0052]利用如上所述根據(jù)本公開的實(shí)施例的流系統(tǒng)的配置，在用作邊緣的服務(wù)器中，可以響應(yīng)于用戶的操作輸入來渲染視頻或音頻并實(shí)時(shí)地將所渲染的視頻或音頻分發(fā)到客戶端。因此，可以通過流方法來提供應(yīng)用，同時(shí)維持對(duì)用戶的操作輸入的響應(yīng)性。這樣的應(yīng)用可以包括例如在日本未審查專利申請(qǐng)公布2010-117828中公開的自由地縮放或移動(dòng)圖像的應(yīng)用，或者諸如大尺寸圖像或視頻的瀏覽、在線游戲、仿真查看器的各種應(yīng)用。
[0053]在以上描述中，已經(jīng)參照?qǐng)D1至圖4描述了根據(jù)本公開的實(shí)施例的流系統(tǒng)的示例性整體配置、示例性信息流、客戶端和服務(wù)器的示例性功能配置、以及流處理器的示例性功能配置。在下文中，將詳細(xì)描述根據(jù)本公開的實(shí)施例的編碼器的示例性功能配置。
[0054][編碼器的示例性配置]
[0055]圖5是示出了根據(jù)本公開的實(shí)施例的服務(wù)器300中包括的編碼器325、特別是視頻編碼器325a的示例性功能配置的說明圖?，F(xiàn)在參照?qǐng)D5描述根據(jù)本公開的實(shí)施例的服務(wù)器300中包括的視頻編碼器325a的示例性功能配置。
[0056]如圖5所示，根據(jù)本公開的實(shí)施例的服務(wù)器300中包括的視頻編碼器325a被配置成包括轉(zhuǎn)換器371和編碼處理器372。
[0057]轉(zhuǎn)換器371將經(jīng)由幀緩沖器323從渲染器321傳送的渲染器信息轉(zhuǎn)換成在后續(xù)階段中要被用于編碼處理器372中的編碼處理的參數(shù)(編碼參數(shù))。在這方面，從渲染器321傳送的渲染器信息包含對(duì)編碼處理器372中的編碼處理有用的數(shù)據(jù)。換言之，當(dāng)進(jìn)行編寫或繪制處理時(shí)，渲染器321生成視頻編碼器325a可使用的信息，并將該信息輸出到視頻編碼器325a。
[0058]對(duì)編碼處理器372中的編碼處理有用的數(shù)據(jù)例如可以是允許減輕編碼處理器372要進(jìn)行的編碼處理的負(fù)擔(dān)的數(shù)據(jù)。轉(zhuǎn)換器371將每一幀的圖像繪制區(qū)域的移動(dòng)量轉(zhuǎn)換成關(guān)于運(yùn)動(dòng)向量的信息，或?qū)⒚恳粠膱D像繪制區(qū)域中繪制的圖像的內(nèi)容轉(zhuǎn)換成關(guān)于比特率的信息。此外，轉(zhuǎn)換器371可以確定在編碼處理中是否存在可跳過的處理，并且該確定是基于從渲染器321傳送的信息。
[0059]編碼處理器372使用從轉(zhuǎn)換器371輸出的編碼參數(shù)對(duì)經(jīng)由幀緩沖器323從渲染器321傳送的視頻數(shù)據(jù)進(jìn)行編碼處理，并輸出編碼數(shù)據(jù)作為流。除了視頻數(shù)據(jù)的原始圖像之夕卜，還將編碼設(shè)置(基本編碼設(shè)置)信息從渲染器321提供給編碼處理器372。編碼處理器372基于所提供的基本編碼設(shè)置來對(duì)從渲染器321傳送的視頻數(shù)據(jù)進(jìn)行編碼處理。
[0060]在這方面，編碼處理器372通過使用從轉(zhuǎn)換器371輸出的編碼參數(shù)而允許減輕編碼處理的負(fù)擔(dān)。例如，轉(zhuǎn)換器371將每一幀的圖像繪制區(qū)域的移動(dòng)量轉(zhuǎn)換成關(guān)于運(yùn)動(dòng)向量的信息，從而編碼處理器372可以不計(jì)算成為繁重處理的原因的運(yùn)動(dòng)向量。此外，例如，轉(zhuǎn)換器371將每一幀的圖像繪制區(qū)域中所繪制的圖像的內(nèi)容轉(zhuǎn)換成關(guān)于比特率的信息。這允許編碼處理器372對(duì)具有相對(duì)較大運(yùn)動(dòng)的視頻或明顯的文本分配較高的比特率以及對(duì)具有相對(duì)較小運(yùn)動(dòng)的視頻分配較低的比特率。
[0061]根據(jù)本公開的實(shí)施例的服務(wù)器300中包括的視頻編碼器325a在渲染器信息進(jìn)行編碼處理之前將渲染器信息轉(zhuǎn)換成對(duì)編碼處理有用的數(shù)據(jù)(編碼參數(shù))，從而減少編碼處理的吞吐量，而不會(huì)使內(nèi)容的質(zhì)量退化。
[0062]在上文中，已經(jīng)參照?qǐng)D5描述了根據(jù)本公開的實(shí)施例的服務(wù)器300中包括的視頻編碼器325a的示例性功能配置?，F(xiàn)在將描述圖5中示出的根據(jù)本公開的實(shí)施例的編碼處理器372的示例性功能配置。
[0063]圖6是示出了根據(jù)本公開的實(shí)施例的編碼處理器372的示例性功能配置的說明圖?，F(xiàn)在將參照?qǐng)D6描述根據(jù)本公開的實(shí)施例的編碼處理器372的示例性功能配置。
[0064]如圖6所示，根據(jù)本公開的實(shí)施例的編碼處理器372被配置成包括源分析單元381、幀間模式確定單元382、幀內(nèi)模式確定單元383、編碼單元384、以及比特生成單元385。
[0065]源分析單元381通過使用經(jīng)幀緩沖器323從渲染器321傳送的視頻數(shù)據(jù)以及從轉(zhuǎn)換器371提供的編碼參數(shù)來分析視頻數(shù)據(jù)，并確定編碼模式。稍后將詳細(xì)描述根據(jù)本實(shí)施例的編碼模式的定義。除了編碼模式的確定之外，源分析單元381還使用從轉(zhuǎn)換器371提供的編碼參數(shù)來進(jìn)行速率控制。
[0066]幀間模式確定單元382確定是否進(jìn)行使用先前幀和后續(xù)幀的幀間編碼(幀間預(yù)測(cè))。因此，幀間模式確定單元382進(jìn)行用于幀間編碼的運(yùn)動(dòng)估計(jì)(ME)。幀內(nèi)模式確定單元383確定是否在單個(gè)幀內(nèi)進(jìn)行幀內(nèi)編碼。
[0067]編碼單元384取決于幀間編碼或幀內(nèi)編碼而對(duì)視頻數(shù)據(jù)進(jìn)行編碼處理。編碼單元384對(duì)視頻數(shù)據(jù)進(jìn)行離散余弦變換(DCT)、量化、熵編碼等。比特生成單元385生成要作為流而被輸出到客戶端100的比特流。
[0068]圖6所示的根據(jù)本公開的實(shí)施例的編碼處理器372可以根據(jù)從源分析單元381獲得的分析結(jié)果來確定要進(jìn)行哪個(gè)塊、要跳過哪個(gè)塊、或要簡(jiǎn)化哪個(gè)塊。稍后將描述編碼處理器372的具體處理。
[0069]在圖5和圖6所示的示例性功能配置中，輸出編碼參數(shù)的轉(zhuǎn)換器371以及分析視頻數(shù)據(jù)和編碼參數(shù)以確定編碼模式的源分析單元381被配置為單獨(dú)部件。然而，本公開的實(shí)施例不限于上述示例。換言之，本公開的實(shí)施例可以設(shè)置有一個(gè)功能塊，轉(zhuǎn)換器371的功能和源分析單元381的功能被集成到該功能塊中。
[0070]在上文中，已經(jīng)參照?qǐng)D6描述了根據(jù)本公開的實(shí)施例的編碼處理器372的示例性功能配置。
[0071][編碼器的示例性操作]
[0072]現(xiàn)在將詳細(xì)描述根據(jù)本公開的實(shí)施例的視頻編碼器325a的操作。在描述其操作之前，描述用于說明的術(shù)語的定義。
[0073](術(shù)語的定義)
[0074]圖7和圖8是示出了用于說明根據(jù)本公開的實(shí)施例的視頻編碼器325a的操作的術(shù)語的定義的說明圖。虛線表示的區(qū)域S被稱作屏幕，并指示客戶端100中可顯示視頻的區(qū)域的范圍。屏幕S的縱向尺寸和橫向尺寸受到限制，并取決于客戶端100的用戶簡(jiǎn)檔而被確定。
[0075]實(shí)線表示的區(qū)域W被稱作窗口，并指示位于屏幕S內(nèi)部或外部的區(qū)域。窗口 W包含詳細(xì)信息。渲染器321生成要顯示在窗口 W中的信息。窗口 W可以具有正方形或矩形形狀。任何數(shù)目的窗口 W可以位于屏幕S的內(nèi)部或外部。此外，窗口 W可以彼此交疊。圖8是示出了在Z軸方向(屏幕S的前側(cè)方向)上交疊的三個(gè)窗口 W1、W2和W3的說明圖。在本實(shí)施例中，窗口的交疊被稱作層。當(dāng)窗口交疊時(shí)，對(duì)每個(gè)窗口賦予層編號(hào)。對(duì)每個(gè)窗口賦予層編號(hào)，以使得窗口在其編號(hào)較低時(shí)位于后側(cè)且窗口在其編號(hào)較高時(shí)位于前側(cè)。
[0076]在以下描述中，“當(dāng)前幀”是指特定時(shí)間Tn處的屏幕，并且“先前幀”是指緊接在當(dāng)前幀前面的幀，即，特定時(shí)間Tlri處的屏幕。
[0077]如下定義了根據(jù)本公開的實(shí)施例的編碼處理器372的編碼模式。
[0078](A)跳過模式
[0079]跳過模式是下述模式:其中運(yùn)動(dòng)估計(jì)(ME)、幀間模式確定、幀內(nèi)模式確定和編碼處理被省略。編碼處理器372在運(yùn)動(dòng)不存在改變時(shí)使用該跳過模式。此外，編碼處理可以包括離散余弦變換(DCT )、量化和熵編碼。
[0080](B)幀間模式
[0081]幀間模式是下述模式:其中，運(yùn)動(dòng)估計(jì)(ME)、幀間模式確定和幀內(nèi)模式確定被省略。編碼處理器372在圖像在規(guī)律間隔處移動(dòng)的這樣的情況下使用該幀間模式。
[0082](C)幀內(nèi)模式
[0083]幀內(nèi)模式是下述模式:其中，運(yùn)動(dòng)估計(jì)(ME)和幀間模式確定被省略。編碼處理器372在新窗口區(qū)域或由于運(yùn)動(dòng)等突然出現(xiàn)的區(qū)域中使用該幀內(nèi)模式。
[0084](D)向量搜索范圍受限模式
[0085]向量搜索范圍受限模式是下述模式:其中運(yùn)動(dòng)估計(jì)(ME)的搜索范圍被縮窄。編碼處理器372在圖像在規(guī)律間隔處移動(dòng)或圖像的移動(dòng)范圍較窄的這樣的情況下使用該向量搜索范圍受限模式。
[0086](E)正常模式
[0087]正常模式是下述模式:其中，進(jìn)行編碼處理，而不省略運(yùn)動(dòng)估計(jì)(ME)、幀間模式確定、幀內(nèi)模式確定、以及編碼處理。
[0088]源分析單元381通過使用經(jīng)幀緩沖器323從渲染器321傳送的視頻數(shù)據(jù)以及從轉(zhuǎn)換器371提供的編碼參數(shù)來分析視頻數(shù)據(jù)，并針對(duì)每一幀或針對(duì)每一幀中的每一宏塊而從上面描述的五種編碼模式之中選擇單個(gè)編碼模式。
[0089]已經(jīng)描述了用于說明根據(jù)本公開的實(shí)施例的視頻編碼器325a的操作的術(shù)語的定義?，F(xiàn)在將使用如上所述定義的術(shù)語來描述根據(jù)本公開的實(shí)施例的視頻編碼器325a的操作。
[0090]圖9是示出了根據(jù)本公開的實(shí)施例的視頻編碼器325a的示例性操作的流程圖。現(xiàn)在將參照?qǐng)D9描述根據(jù)本公開的實(shí)施例的視頻編碼器325a的示例性操作。
[0091]視頻編碼器325a獲得經(jīng)幀緩沖器323從渲染器321傳送的渲染器信息(步驟SlOD0當(dāng)視頻編碼器325a在步驟SlOl中獲得渲染器信息時(shí)，視頻編碼器325a的轉(zhuǎn)換器371將渲染器信息轉(zhuǎn)換成編碼參數(shù)(步驟S102)。
[0092]在這一方面，再次描述對(duì)編碼處理器372中的編碼處理有用的數(shù)據(jù)的示例。對(duì)于該描述，還使用圖10。圖10是用于說明對(duì)編碼處理器372中的編碼處理有用的數(shù)據(jù)的說明圖。對(duì)編碼處理器372中的編碼處理有用的數(shù)據(jù)的示例可以包括例如圖10所示的當(dāng)前幀中的窗口 Wt2的位置坐標(biāo)、在先前幀的窗口 Wtl移動(dòng)之后(在移動(dòng)、縮放或旋轉(zhuǎn)之后)獲得的當(dāng)前幀中的窗口 Wtl’的最終位置坐標(biāo)、以及指示先前幀的窗口的位置坐標(biāo)如何改變成當(dāng)前幀中的值的差(即，窗口 Wtl與窗口 Wtl’之間的差)。
[0093]除了上面描述的示例之外，對(duì)編碼處理器372中的編碼處理有用的數(shù)據(jù)的示例還可以包括每個(gè)窗口的透明度、每個(gè)窗口的層信息、在確定每個(gè)窗口是否是新的時(shí)使用的標(biāo)志、每個(gè)窗口的優(yōu)先級(jí)、每個(gè)窗口的內(nèi)容、以及在確定每個(gè)窗口的內(nèi)容是否存在改變時(shí)使用的值。
[0094]假設(shè)窗口的透明度被設(shè)置在從O至I的范圍中。具體地，如果透明度為0，則它是透明的。如果透明度為1，則它是不透明的。每個(gè)窗口的層信息是指示多少窗口被交疊的信息。例如，如果如圖8所示三個(gè)窗口被交疊，則每個(gè)窗口的層編號(hào)被設(shè)置為層信息。
[0095]在確定每個(gè)窗口是否是新的時(shí)使用的標(biāo)志中，如果標(biāo)志的值為1，則認(rèn)為具有該值的窗口是新出現(xiàn)的。此外，每個(gè)窗口的優(yōu)先級(jí)是指示窗口是否要清潔地顯示的信息。例如，對(duì)于要優(yōu)先清潔地顯示的窗口，編碼處理器372通過使比特率增加來進(jìn)行編碼處理，以提高圖像的質(zhì)量。
[0096]此外，每個(gè)窗口的內(nèi)容信息是用于識(shí)別窗口是否指示靜止圖像、窗口是否指示運(yùn)動(dòng)圖像、窗口是否指示文本信息等的信息。此外，在確定每個(gè)窗口的內(nèi)容是否存在改變時(shí)使用的值是例如指示在不存在移動(dòng)時(shí)是否存在顏色改變的信息，并且該信息允許取決于該值的大小而確定每個(gè)窗口的內(nèi)容的改變的大小。
[0097]此外，每個(gè)窗口的位置坐標(biāo)由窗口的四個(gè)角的X和y坐標(biāo)來限定。如果四個(gè)角之間的位置關(guān)系被限定，則可以確定窗口的旋轉(zhuǎn)方向。
[0098]轉(zhuǎn)換器371將對(duì)編碼處理有用的數(shù)據(jù)轉(zhuǎn)換成編碼參數(shù)。例如，可以確定，通過從圖10所示的窗口 Wt2的位置坐標(biāo)減去窗口 Wtl’的最終位置坐標(biāo)而獲得的區(qū)域是新區(qū)域。因此，在該新區(qū)域中，轉(zhuǎn)換器371生成用于允許編碼處理器372以幀內(nèi)模式進(jìn)行編碼處理的編碼參數(shù)。
[0099]指示先前幀的窗口的位置坐標(biāo)改變成當(dāng)前幀中的值的差(B卩，窗口 Wtl與窗口 Wtl’之間的差)的坐標(biāo)可完全照原樣被認(rèn)為是運(yùn)動(dòng)向量。因此，轉(zhuǎn)換器371根據(jù)差的坐標(biāo)而生成運(yùn)動(dòng)向量信息。
[0100]窗口的透明度信息與窗口的層信息的組合使得可以識(shí)別窗口交疊的區(qū)域的內(nèi)容。例如，如果基于窗口的透明度信息確定窗口不是透明的，則最上層的內(nèi)容變?yōu)榇翱趨^(qū)域的內(nèi)容。此外，例如，如果基于窗口的透明度信息確定窗口是半透明的，則無論最上層是靜止圖像還是運(yùn)動(dòng)圖像，下層都能是可見的，由此每一幀的窗口的內(nèi)容被改變。換言之，如果存在半透明的窗口，則窗口被認(rèn)為是具有與運(yùn)動(dòng)圖像相同的含義。
[0101]在具有用于確定窗口是否為新的標(biāo)志的窗口的情況下，意味著窗口是新區(qū)域。因此，通過編碼處理器372計(jì)算運(yùn)動(dòng)估計(jì)(ME)是沒有意義的。因此，針對(duì)具有用于確定窗口是否為新的標(biāo)志的窗口，轉(zhuǎn)換器371生成用于允許編碼處理器372以幀內(nèi)模式進(jìn)行編碼處理的編碼參數(shù)。
[0102]如果窗口的優(yōu)先級(jí)具有大的值，則這意味著窗口區(qū)域必需被保護(hù)。因此，轉(zhuǎn)換器371生成用于允許窗口區(qū)域通過編碼處理器372的速率控制而被分配有較高比特率的編碼參數(shù)。
[0103]可以使用每個(gè)窗口的內(nèi)容的信息的值來識(shí)別顯示在每個(gè)窗口上的內(nèi)容的內(nèi)容。如果存在用于顯示文本信息的窗口，則文本信息變得容易在視覺上被關(guān)注。因此，轉(zhuǎn)換器371生成用于允許窗口區(qū)域通過編碼處理器372的速率控制而被分配有較高比特率的編碼參數(shù)。
[0104]如果在確定每個(gè)窗口的內(nèi)容是否存在改變時(shí)使用的值是小的，則具有該值的窗口基本上未改變。因此，這意味著窗口被認(rèn)為具有與靜止圖像相同的含義。如果在確定每個(gè)窗口的內(nèi)容是否存在改變時(shí)使用的值是大的，則窗口被認(rèn)為具有與運(yùn)動(dòng)圖像相同的含義。因此，轉(zhuǎn)換器371可以根據(jù)在確定每個(gè)窗口的內(nèi)容是否存在改變時(shí)使用的值來針對(duì)目標(biāo)窗口設(shè)置適當(dāng)編碼模式。
[0105]注意，上述處理僅是說明性示例，并且除了上述示例之外，轉(zhuǎn)換器371還可以出于不同的角度來設(shè)置適當(dāng)?shù)木幋a模式、量化值、向量值等。
[0106]在上述步驟S102，如果轉(zhuǎn)換器371將渲染器信息轉(zhuǎn)換成編碼參數(shù)，則編碼處理器372根據(jù)轉(zhuǎn)換器371所生成的編碼參數(shù)，對(duì)從渲染器321提供的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼處理(步驟S103)。在對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼時(shí)，編碼處理器372使得源分析單元381分析編碼參數(shù)，并確定可以跳過哪個(gè)處理。
[0107]作為示例，當(dāng)編碼模式由轉(zhuǎn)換器371設(shè)置成跳過模式時(shí)，因?yàn)樵摼幋a模式是在沒有運(yùn)動(dòng)時(shí)選擇的模式，所以當(dāng)對(duì)當(dāng)前幀進(jìn)行編碼時(shí)，可以基本使用先前幀的副本。因此，編碼處理器372可以不進(jìn)行編碼處理的運(yùn)動(dòng)估計(jì)(ME)、幀間模式確定、幀內(nèi)模式確定、以及編碼處理，從而實(shí)現(xiàn)編碼時(shí)的計(jì)算復(fù)雜度的顯著降低。此外，因?yàn)榫幋a處理器372可以以跳過模式跳過編碼處理，所以可以減少要傳送到客戶端100的分組的量。
[0108]作為另一示例，當(dāng)編碼模式由轉(zhuǎn)換器371設(shè)置成幀間模式時(shí)，編碼處理器372可以不進(jìn)行編碼處理的運(yùn)動(dòng)估計(jì)(ME)、幀間模式確定和幀內(nèi)模式確定，從而實(shí)現(xiàn)編碼時(shí)的計(jì)算復(fù)雜度的顯著降低。
[0109]作為另一示例，當(dāng)編碼模式由轉(zhuǎn)換器371設(shè)置成幀內(nèi)模式時(shí)，因?yàn)樵谛鲁霈F(xiàn)的區(qū)域中選擇該模式，所以即使存在先前幀也沒有要參考的區(qū)域。因此，編碼處理器372可以不進(jìn)行編碼處理的運(yùn)動(dòng)估計(jì)(ME)和幀間模式確定，從而實(shí)現(xiàn)編碼時(shí)的計(jì)算復(fù)雜度的顯著降低。
[0110]作為另一示例，當(dāng)編碼模式由轉(zhuǎn)換器371設(shè)置成向量搜索范圍受限模式時(shí)，編碼處理器372可以通過使用從窗口位置的差坐標(biāo)獲得的運(yùn)動(dòng)向量來省略或簡(jiǎn)化搜索運(yùn)動(dòng)向量時(shí)的計(jì)算運(yùn)動(dòng)向量的計(jì)算量，從而實(shí)現(xiàn)編碼時(shí)的計(jì)算復(fù)雜度的降低。
[0111]作為另一示例，當(dāng)窗口被設(shè)置成具有高優(yōu)先級(jí)時(shí)，編碼處理器372可以事先識(shí)別用戶特別關(guān)注圖像質(zhì)量的區(qū)域。該識(shí)別區(qū)域運(yùn)行源分析單元381向該區(qū)域分配更多位。因此，編碼處理器372允許考慮到用戶的意圖來進(jìn)行編碼處理。
[0112]作為另一示例，當(dāng)存在內(nèi)容的內(nèi)容是文本的窗口時(shí)，容易在視覺上關(guān)注文本。因此，編碼處理器372允許該窗口通過源分析單元381的速率控制而被分配有較高的比特率。
[0113]編碼處理器372基于通過在源分析單元381中分析編碼參數(shù)獲得的分析結(jié)果來進(jìn)行編碼處理。
[0114]要由編碼處理器372進(jìn)行的編碼處理不限于上述示例。例如，通過對(duì)從服務(wù)器300提供的應(yīng)用施加限制以便使得用戶的操作速度變得恒定，運(yùn)動(dòng)向量具有相同的值，從而提高了編碼處理器372的編碼效率。此外，例如，通過對(duì)從服務(wù)器300提供的應(yīng)用施加限制以便使得內(nèi)容不會(huì)跨越宏塊的邊界，可以統(tǒng)一宏塊中的編碼模式，從而提高了編碼處理器372的編碼效率。
[0115]作為另一示例，編碼處理器372可以通過使用編碼參數(shù)事先識(shí)別后續(xù)圖像的信息來實(shí)現(xiàn)更優(yōu)的比特率分配。例如，如果渲染器321向編碼處理器372傳送用于指示放大圖像的操作在兩秒后完成并且然后靜止不動(dòng)的后續(xù)圖像的信息，則編碼處理器372可以在從圖像被放大時(shí)到放大結(jié)束時(shí)的時(shí)間期間進(jìn)行最優(yōu)比特率分配，從而在靜止不動(dòng)時(shí)實(shí)現(xiàn)均勻的圖像質(zhì)量改變。
[0116]已經(jīng)參照?qǐng)D9描述了根據(jù)本公開的實(shí)施例的視頻編碼器325a的示例性操作。通過進(jìn)行如上所述的操作，根據(jù)本公開的實(shí)施例的視頻編碼器325a允許對(duì)要編碼的視頻減輕處理負(fù)荷，并允許減少分組的量。
[0117]在根據(jù)現(xiàn)有技術(shù)的編碼器中，圖像被量化并且對(duì)量化圖像進(jìn)行逆量化或逆離散余弦變換，并且然后使圖像返回到原始幀圖像。在這種情況下，在原始幀圖像與后續(xù)幀圖像之間進(jìn)行運(yùn)動(dòng)檢測(cè)。取決于運(yùn)動(dòng)檢測(cè)的結(jié)果，進(jìn)行圖像是靜止圖像還是運(yùn)動(dòng)圖像的確定，或者進(jìn)行運(yùn)動(dòng)補(bǔ)償。因此，在根據(jù)現(xiàn)有技術(shù)的編碼器中，對(duì)諸如運(yùn)動(dòng)檢測(cè)或運(yùn)動(dòng)補(bǔ)償?shù)奶幚硎┘舆^多負(fù)荷。
[0118]相反地，根據(jù)本公開的實(shí)施例的視頻編碼器325a可以事先獲得指示從渲染器321提供什么類型的內(nèi)容、視頻如何改變等的信息。因此，根據(jù)本公開的實(shí)施例，使用該信息的視頻編碼器325a可以根據(jù)需要跳過量化處理或編碼處理、以及逆量化或逆離散余弦變換，從而實(shí)現(xiàn)處理負(fù)荷的顯著降低。
[0119][變型示例]
[0120]現(xiàn)在將描述根據(jù)本公開的實(shí)施例的視頻編碼器325a的變型示例。在上述根據(jù)本公開的實(shí)施例的流系統(tǒng)中，多個(gè)客戶端100接收從服務(wù)方210分發(fā)的內(nèi)容。相同的內(nèi)容可以從服務(wù)方210分發(fā)到不同客戶端100?？蛻舳?00的用戶操作可以取決于內(nèi)容而在某種程度上被限制。這種內(nèi)容的示例包括菜單屏。
[0121]因此，服務(wù)器側(cè)獲得相似的用戶操作的統(tǒng)計(jì)資料，并且視頻編碼器325a對(duì)在統(tǒng)計(jì)上較高級(jí)的操作進(jìn)行編碼。通過對(duì)操作進(jìn)行編碼獲得的流被事先緩存。這對(duì)于第一個(gè)進(jìn)行該操作的用戶而言無益，但是此后通過進(jìn)行與第一操作相同的操作來接收內(nèi)容的用戶可以僅通過用于加入保存在服務(wù)器側(cè)的流的操作而容易地獲得內(nèi)容。因此，可以實(shí)現(xiàn)編碼本身的計(jì)算復(fù)雜度降低。
[0122]圖11是示出了根據(jù)本公開的實(shí)施例的視頻編碼器325a的變型示例的說明圖。在圖11所示的配置中，存儲(chǔ)部373被添加到圖5所示的視頻編碼器325a。存儲(chǔ)部373被配置成對(duì)從編碼處理器372輸出的流進(jìn)行緩存。在存儲(chǔ)部373中緩存的流是對(duì)應(yīng)于在統(tǒng)計(jì)上排在較高級(jí)的用戶操作的流。
[0123]根據(jù)本公開的實(shí)施例，當(dāng)視頻編碼器325a從播放器控制器340等接收到進(jìn)行在統(tǒng)計(jì)上排在較高級(jí)的用戶操作的事實(shí)時(shí)，視頻編碼器325a進(jìn)行用于使得存儲(chǔ)部373輸出所緩存的流的操作。這使得可以實(shí)現(xiàn)編碼本身的計(jì)算復(fù)雜度降低。
[0124]此外，對(duì)要從服務(wù)器300分發(fā)的內(nèi)容事先賦予唯一的ID，并且對(duì)關(guān)于反復(fù)接收相同ID的定時(shí)的信息或ID本身進(jìn)行識(shí)別。這使得對(duì)于具有相同ID的內(nèi)容，視頻編碼器325a可以跳過編碼處理。換言之，首先，視頻編碼器325a進(jìn)行編碼處理，并使得存儲(chǔ)部373照常對(duì)流進(jìn)行緩存。此后，當(dāng)視頻編碼器325a接收具有與事先提供的ID相同的ID的內(nèi)容時(shí)，視頻編碼器325a加入緩存在存儲(chǔ)部373中的流，并輸出這些流。這使得視頻編碼器325a實(shí)現(xiàn)編碼本身的計(jì)算復(fù)雜度降低。
[0125]此外，視頻編碼器325a可以在存儲(chǔ)部373中緩存作為進(jìn)行編碼之前的狀態(tài)的數(shù)據(jù)，而不是緩存流本身。
[0126]現(xiàn)在將描述根據(jù)本公開的實(shí)施例的服務(wù)器300的示例性硬件配置。圖12是示出了信息處理設(shè)備900的示例性硬件配置的說明圖。信息處理設(shè)備900是根據(jù)本公開的實(shí)施例的服務(wù)器300的示例。
[0127]信息處理設(shè)備900包括CPU (中央處理單元)901、R0M (只讀存儲(chǔ)器)903、以及RAM(隨機(jī)存取存儲(chǔ)器)905。此外，信息處理設(shè)備900可以包括主機(jī)總線907、橋909、外部總線911、接口 913、輸入單元915、輸出單元917、存儲(chǔ)單元919、驅(qū)動(dòng)器921、連接端口 923、以及通信單元925。此外，信息處理設(shè)備900可以根據(jù)需要包括成像單元933和傳感器935。作為CPU901的替選或者除了 CPU901之外，信息處理設(shè)備900可以包括諸如DSP(數(shù)字信號(hào)處理器)的處理電路。
[0128]CPU901用作操作處理器和控制器，并根據(jù)記錄在R0M903、RAM905、存儲(chǔ)單元919或可拆卸記錄裝置927中的各種程序來控制信息處理設(shè)備900中的全部或一些操作。R0M903存儲(chǔ)CPU901所使用的程序和操作參數(shù)。RAM905主要存儲(chǔ)在CPU901的執(zhí)行中使用的程序以及在執(zhí)行中適當(dāng)修改的參數(shù)。CPU901、R0M903和RAM905通過主機(jī)總線907而彼此相連，主機(jī)總線907被配置成包括諸如CPU總線的內(nèi)部總線。此外，主機(jī)總線907經(jīng)橋909連接到諸如PCI (外圍設(shè)備互連/接口)總線的外部總線911。
[0129]輸入單元915可以是由用戶來操作的裝置，諸如鼠標(biāo)、鍵盤、觸摸面板、按鈕、開關(guān)和操縱桿。輸入單元915可以是例如使用紅外光或其他無線電波的遠(yuǎn)程控制單元，或可以是可響應(yīng)于信息處理設(shè)備900的操作而操作的、諸如便攜式電話的外部連接單元929。此夕卜，輸入單兀915包括輸入控制電路,該輸入控制電路基于由用戶輸入的信息而生成輸入信號(hào)并將輸入信號(hào)輸出到CPU901。通過對(duì)輸入單元915進(jìn)行操作，用戶可以向信息處理設(shè)備900輸入各種類型的數(shù)據(jù)或發(fā)出用于使得信息處理設(shè)備900進(jìn)行處理操作的指令。
[0130]輸出單元917包括能夠在視覺或聽覺上通知用戶所獲取的信息的裝置。輸出裝置917可以包括顯示裝置(諸如IXD (液晶顯示器)、rop (等離子顯示板)、和有機(jī)EL (電致發(fā)光)顯示器)、音頻輸出裝置(諸如揚(yáng)聲器和頭戴式耳機(jī))、以及外圍裝置(諸如打印機(jī))。輸出單元917可以以視頻(諸如文本或圖像)和音頻(諸如語音或聲音)的形式輸出根據(jù)信息處理設(shè)備900的處理而獲得的結(jié)果。
[0131]存儲(chǔ)單元919是用于數(shù)據(jù)存儲(chǔ)的裝置，其被配置為信息處理設(shè)備900的存儲(chǔ)單元的示例。存儲(chǔ)單元919包括例如磁存儲(chǔ)裝置(諸如HDD (硬盤驅(qū)動(dòng)器))、半導(dǎo)體存儲(chǔ)裝置、光存儲(chǔ)裝置、或磁光存儲(chǔ)裝置。存儲(chǔ)單元919存儲(chǔ)要由CPU901執(zhí)行的程序、各種數(shù)據(jù)以及從外部獲得的數(shù)據(jù)。
[0132]驅(qū)動(dòng)器921是用于可拆卸記錄介質(zhì)927 (諸如磁盤、光盤、磁光盤、或半導(dǎo)體存儲(chǔ)器)的讀/寫器，并且被嵌入在信息處理設(shè)備900中或在外部附接到信息處理設(shè)備900。驅(qū)動(dòng)器921讀取記錄在其所附接的可拆卸記錄介質(zhì)927中的信息，并將所讀取的信息輸出到RAM905。此外，驅(qū)動(dòng)器921可以在其所附接的可拆卸記錄介質(zhì)927中進(jìn)行寫入。
[0133]連接端口 923是用于將裝置直接連接到信息處理設(shè)備900的端口。連接端口 923可以包括USB (通用串行總線)端口、KEE1394端口、以及SCSI (小型計(jì)算機(jī)系統(tǒng)接口)端口。連接端口 923還可以包括RS-232C端口、光學(xué)音頻端口、HDMI (高清晰度多媒體接口)端口等。外部連接單元929到連接端口 923的連接使得可以在信息處理設(shè)備900與外部連接單元929之間交換各種數(shù)據(jù)。
[0134]通信單元925例如是包括用于連接到通信網(wǎng)絡(luò)931的通信裝置等的通信接口。通信單元925可以是例如用于有線或無線LAN (局域網(wǎng))的通信卡、藍(lán)牙(注冊(cè)商標(biāo))、WUSB (無線USB)等。此外，通信單元925可以是用于光通信的路由器、用于ADSL (非對(duì)稱數(shù)字用戶線)的路由器、用于各種通信的調(diào)制解調(diào)器等。通信單元925可以基于諸如TCP/IP的預(yù)定協(xié)議例如向因特網(wǎng)或其他通信裝置傳送信號(hào)和從因特網(wǎng)或其他通信裝置接收信號(hào)。此外，連接到通信單元925的通信網(wǎng)絡(luò)931可以是以有線或無線方式連接的網(wǎng)絡(luò)等，并且可以是例如因特網(wǎng)、家用LAN、紅外通信、無線電波通信、衛(wèi)星通信等。
[0135]這樣，上文示出了信息處理設(shè)備900的示例性硬件配置。上述部件中的每個(gè)可以使用通用構(gòu)件來實(shí)現(xiàn)，但是也可以以專用于每個(gè)部件的功能的硬件來實(shí)現(xiàn)。這樣的配置還可以根據(jù)實(shí)現(xiàn)時(shí)的技術(shù)水平而適當(dāng)?shù)匦薷摹?br> [0136]〈2.總結(jié)〉
[0137]如上所述，根據(jù)本公開的實(shí)施例，提供了視頻編碼器325a，在視頻編碼器325a對(duì)從渲染器321輸出的渲染器信息進(jìn)行編碼處理之前，視頻編碼器325a通過進(jìn)行編碼處理將對(duì)編碼處理有用的數(shù)據(jù)轉(zhuǎn)換成編碼參數(shù)，并且使用該數(shù)據(jù)來優(yōu)化編碼處理。視頻編碼器325a參考編碼參數(shù)，并且然后在存在可省略的編碼處理的情況下省略編碼處理。
[0138]利用該配置，視頻編碼器325a可以根據(jù)需要跳過量化處理或編碼處理、以及逆量化或逆離散余弦變換，從而實(shí)現(xiàn)處理負(fù)荷的顯著降低。此外，使用視頻編碼器325a使得可以降低編碼處理的吞吐量，而不使內(nèi)容的質(zhì)量退化。另外，當(dāng)內(nèi)容從服務(wù)器分發(fā)到客戶端時(shí)，使用視頻編碼器325a使得可以同時(shí)實(shí)現(xiàn)低延遲、低成本、針對(duì)網(wǎng)絡(luò)帶寬的波動(dòng)的魯棒性的提高、以及服務(wù)可接受的圖像質(zhì)量的保留，從而降低服務(wù)器上的負(fù)荷并維持高質(zhì)量的服務(wù)。
[0139]本領(lǐng)域技術(shù)人員應(yīng)理解，可以取決于設(shè)計(jì)要求和其他因素進(jìn)行各種修改、組合、子組合和變更，只要這些修改、組合、子組合和變更在所附權(quán)利要求或其等同的范圍內(nèi)即可。
[0140]另外，本技術(shù)還可以如下配置。
[0141](I) 一種圖像處理裝置，包括:
[0142]轉(zhuǎn)換器，被配置成在進(jìn)行編碼處理之前獲得能夠在編碼時(shí)使用的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及
[0143]編碼處理器，被配置成通過根據(jù)所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
[0144](2)根據(jù)(I)所述的圖像處理裝置，其中，所述轉(zhuǎn)換器將每一幀的圖像繪制區(qū)域的移動(dòng)量轉(zhuǎn)換成關(guān)于運(yùn)動(dòng)向量的信息。
[0145](3)根據(jù)(I)或(2)所述的圖像處理裝置，其中，所述轉(zhuǎn)換器將每一幀的圖像繪制區(qū)域中所繪制的圖像的內(nèi)容轉(zhuǎn)換成關(guān)于比特率的信息。
[0146](4)根據(jù)(I)至(3)中任一項(xiàng)所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域的坐標(biāo)。
[0147](5)根據(jù)(I)至(4)中任一項(xiàng)所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域的移動(dòng)后的坐標(biāo)。
[0148](6)根據(jù)(I)至(5)中任一項(xiàng)所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域之間的差。
[0149](7)根據(jù)(I)至(6)中任一項(xiàng)所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域的優(yōu)先級(jí)信息。
[0150](8)根據(jù)(I)至(7)中任一項(xiàng)所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括關(guān)于在每一幀的圖像繪制區(qū)域中所繪制的圖像中存在或不存在改變的信息。
[0151](9)根據(jù)(I)至(8)中任一項(xiàng)所述的圖像處理裝置，其中，所述編碼處理器通過基于所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來跳過一部分編碼處理而進(jìn)行所述編碼處理。
[0152](10)根據(jù)(I)至(9)中任一項(xiàng)所述的圖像處理裝置，還包括:
[0153]存儲(chǔ)部，被配置成存儲(chǔ)由所述編碼處理器編碼的數(shù)據(jù)，
[0154]其中，當(dāng)要編碼的圖像被編碼并存儲(chǔ)在所述存儲(chǔ)部中時(shí)，所述編碼處理器使得所述存儲(chǔ)部輸出數(shù)據(jù)，而不對(duì)該圖像進(jìn)行所述編碼處理。
[0155](11)根據(jù)(I)至(10)中任一項(xiàng)所述的圖像處理裝置，還包括:
[0156]存儲(chǔ)部，被配置成根據(jù)使得所述編碼處理器進(jìn)行所述編碼處理的用戶操作的內(nèi)容并根據(jù)執(zhí)行計(jì)數(shù)大于預(yù)定值的所述用戶操作來存儲(chǔ)由所述編碼處理器編碼的數(shù)據(jù)，
[0157]其中，當(dāng)進(jìn)行存儲(chǔ)在所述存儲(chǔ)部中的用戶操作時(shí)，如果根據(jù)該用戶操作而被編碼的數(shù)據(jù)被存儲(chǔ)在所述存儲(chǔ)部中，則所述編碼處理器使得所述存儲(chǔ)部輸出該數(shù)據(jù)，而不進(jìn)行所述編碼處理。
[0158](12) 一種圖像處理方法，包括:
[0159]在進(jìn)行編碼處理之前，獲得能夠在編碼時(shí)使用的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及
[0160]通過根據(jù)在轉(zhuǎn)換步驟中轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
[0161](13) 一種圖像處理系統(tǒng)，包括:
[0162]服務(wù)器裝置，被配置成對(duì)圖像進(jìn)行編碼并經(jīng)由網(wǎng)絡(luò)分發(fā)所編碼的圖像；以及
[0163]終端裝置，被配置成顯示從所述服務(wù)器裝置分發(fā)的圖像，
[0164]其中，所述服務(wù)器裝置包括:
[0165]轉(zhuǎn)換器，被配置成在進(jìn)行編碼處理之前獲得能夠在編碼時(shí)使用的、要被編碼的圖像的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及
[0166]編碼處理器，被配置成通過根據(jù)所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
[0167]本公開包含與在2012年10月5日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2012-223048中公開的主題相關(guān)的主題，其全部?jī)?nèi)容通過引用合并于此。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 轉(zhuǎn)換器，被配置成在進(jìn)行編碼處理之前獲得能夠在編碼時(shí)使用的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及 編碼處理器，被配置成通過根據(jù)所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述轉(zhuǎn)換器將每一幀的圖像繪制區(qū)域的移動(dòng)量轉(zhuǎn)換成關(guān)于運(yùn)動(dòng)向量的信息。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述轉(zhuǎn)換器將每一幀的圖像繪制區(qū)域中所繪制的圖像的內(nèi)容轉(zhuǎn)換成關(guān)于比特率的信息。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域的坐標(biāo)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域的移動(dòng)后的坐標(biāo)。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域之間的差。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括每一幀的圖像繪制區(qū)域的優(yōu)先級(jí)信息。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述轉(zhuǎn)換器獲得的圖像繪制信息包括關(guān)于在每一幀的圖像繪制區(qū)域中所繪制的圖像中存在或不存在改變的信息。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述編碼處理器通過基于所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來跳過一部分編碼處理而進(jìn)行所述編碼處理。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 存儲(chǔ)部，被配置成存儲(chǔ)由所述編碼處理器編碼的數(shù)據(jù)， 其中，當(dāng)要編碼的圖像被編碼并存儲(chǔ)在所述存儲(chǔ)部中時(shí)，所述編碼處理器使得所述存儲(chǔ)部輸出數(shù)據(jù)，而不對(duì)該圖像進(jìn)行所述編碼處理。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 存儲(chǔ)部，被配置成根據(jù)使得所述編碼處理器進(jìn)行所述編碼處理的用戶操作的內(nèi)容并根據(jù)執(zhí)行計(jì)數(shù)大于預(yù)定值的所述用戶操作來存儲(chǔ)由所述編碼處理器編碼的數(shù)據(jù)， 其中，當(dāng)進(jìn)行存儲(chǔ)在所述存儲(chǔ)部中的用戶操作時(shí)，如果根據(jù)該用戶操作而被編碼的數(shù)據(jù)被存儲(chǔ)在所述存儲(chǔ)部中，則所述編碼處理器使得所述存儲(chǔ)部輸出該數(shù)據(jù)，而不進(jìn)行所述編碼處理。
12.—種圖像處理方法，包括: 在進(jìn)行編碼處理之前，獲得能夠在編碼時(shí)使用的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及 通過根據(jù)在轉(zhuǎn)換步驟中轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而進(jìn)行所述編碼處理。
13.—種圖像處理系統(tǒng),包括: 服務(wù)器裝置，被配置成對(duì)圖像進(jìn)行編碼并經(jīng)由網(wǎng)絡(luò)分發(fā)所編碼的圖像；以及 終端裝置，被配置成顯示從所述服務(wù)器裝置分發(fā)的圖像，其中，所述服務(wù)器裝置包括: 轉(zhuǎn)換器，被配置成在進(jìn)行編碼處理之前獲得能夠在編碼時(shí)使用的、要被編碼的圖像的圖像繪制信息，并將所獲得的圖像繪制信息轉(zhuǎn)換成用于編碼的參數(shù)；以及 編碼處理器，被配置成通過根據(jù)所述轉(zhuǎn)換器轉(zhuǎn)換的用于編碼的參數(shù)來改變所述編碼處理的內(nèi)容而 進(jìn)行所述編碼處理。
【文檔編號(hào)】H04N21/4402GK103716651SQ201310451482
【公開日】2014年4月9日 申請(qǐng)日期:2013年9月27日 優(yōu)先權(quán)日:2012年10月5日
【發(fā)明者】河野雅一, 岡田良平, 藤本勇司, 荒木祐一, 安藤裕司, 安田弘幸 申請(qǐng)人:索尼公司