相關(guān)申請的交叉引用

本申請基于并且要求于2016年4月18日提交的日本專利申請第2016-082725號的優(yōu)先權(quán)，其公開內(nèi)容通過引用整體并入本文。

背景技術(shù)：

本發(fā)明涉及圖像處理系統(tǒng)、圖像處理方法和圖像發(fā)送裝置，并且涉及例如用于發(fā)送和接收圖像數(shù)據(jù)的圖像處理系統(tǒng)、圖像處理方法和圖像發(fā)送裝置。

近年來，網(wǎng)絡(luò)攝像機的分辨率不斷提高，并且安裝的網(wǎng)絡(luò)攝像機的數(shù)目不斷增加。由網(wǎng)絡(luò)攝像機捕獲的視頻數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)被發(fā)送至視頻再現(xiàn)裝置等。例如，日本未審查專利申請公開第2001-320707號作為關(guān)于圖像傳輸系統(tǒng)的技術(shù)是已知的。

日本未審查專利申請公開第2001-320707號公開了一種技術(shù)，其用于提取已經(jīng)被拍攝的連續(xù)圖像之間的差異，以及發(fā)送通過壓縮該差異(變化區(qū)域)的圖像分量作為第二圖像數(shù)據(jù)而獲得的壓縮圖像、以及該差異的位置信息。

技術(shù)實現(xiàn)要素：

根據(jù)在上述日本未審查專利申請公開第2001-320707號中公開的技術(shù)，使用在時間軸上的幀與隨后幀之間的差異。然而，數(shù)據(jù)量可能局部增加。在最壞的情況下，與原始信息量相比，信息量可能不會減少。因此，發(fā)送/接收裝置需要具有能夠應(yīng)對這種最壞情況的配置。因此，在日本未審查專利申請公開第2001-320707號中公開的技術(shù)可能不一定導(dǎo)致系統(tǒng)有效。

根據(jù)說明書和附圖的描述，將使得相關(guān)技術(shù)的其他問題和本發(fā)明的新穎特性變得明顯。

根據(jù)一個實施例，一種圖像處理系統(tǒng)發(fā)送通過減小輸入圖像的大小而獲得的減小的圖像和當(dāng)減小的圖像被放大至輸入圖像的大小時在與輸入圖像的差異成為最小的情況下的放大參數(shù)。

根據(jù)本實施例，可以穩(wěn)定地減少圖像數(shù)據(jù)的量。

附圖說明

從以下結(jié)合附圖對某些實施例的描述中，上述和其他方面、優(yōu)點和特征將更加明顯，在附圖中：

圖1是示出根據(jù)第一實施例的圖像處理系統(tǒng)的配置的框圖；

圖2是用于描述根據(jù)第一實施例的圖像發(fā)送處理的流程的流程圖；

圖3是用于描述根據(jù)第一實施例的圖像接收處理的流程的流程圖；

圖4是示出根據(jù)第一實施例的圖像發(fā)送裝置的配置的框圖；

圖5是示出根據(jù)第一實施例的圖像接收裝置的配置的框圖；

圖6是用于描述根據(jù)第一實施例的圖像處理系統(tǒng)的概念的圖；

圖7是用于描述在使用根據(jù)示例1-1的超分辨率處理時的圖像處理系統(tǒng)的概念的圖；

圖8是用于描述在使用根據(jù)示例1-2的小波變換處理時的圖像處理系統(tǒng)的概念的圖；

圖9是示出根據(jù)第二實施例的圖像發(fā)送裝置的配置的框圖；

圖10是用于描述第二實施例的狀態(tài)信息接受處理的流程的流程圖；

圖11是示出根據(jù)第二實施例的圖像接收裝置的配置的框圖；

圖12是示出根據(jù)第三實施例的圖像發(fā)送裝置的配置的框圖；

圖13是示出根據(jù)第三實施例的圖像接收裝置的配置的框圖；

圖14是示出根據(jù)第四實施例的圖像發(fā)送裝置的配置的框圖；

圖15是示出根據(jù)第四實施例的圖像接收裝置的配置的框圖；以及

圖16是示出根據(jù)第五實施例的圖像發(fā)送裝置的配置的框圖。

具體實施方式

以下將參照附圖描述已經(jīng)應(yīng)用了用于解決上述問題的手段的具體實施例。在整個附圖中，相同的元件由相同的參考編號表示，并且根據(jù)需要省略了重復(fù)的描述。

在下面的實施例中，當(dāng)必要時，將通過使用單獨的部分或單獨的實施例來給出描述。然而，除非另有規(guī)定，否則這些實施例并非彼此不相關(guān)。也就是說，它們以如下方式相關(guān)：一個實施例是另一實施例的一部分或全部的修改示例、應(yīng)用示例、詳細(xì)示例或補充示例。此外，在以下實施例中，當(dāng)提及元件數(shù)目等(包括數(shù)字、值、數(shù)量、范圍等)時，除了數(shù)目被明確地指定或者數(shù)目基于其原理明顯地限于特定數(shù)目的情況之外，數(shù)目不限于該特定數(shù)目。也就是說，也可以使用比特定數(shù)目更大或更小的數(shù)目。

此外，在以下實施例中，除了部件被明確地指定或者部件根據(jù)其原理明顯地不可缺少的情況之外，部件(包括操作步驟等)不一定是不可缺少的。類似地，在以下實施例中，當(dāng)提及部件等的形狀、位置關(guān)系等時，與該形狀基本相似或類似的形狀等也包括在該形狀中，除了其被明確地指定或者它們基于其原理而消除的情況之外。這對于上述數(shù)目等(包括數(shù)字、值、數(shù)量、范圍等)也是如此。

<第一實施例>

首先，將描述第一實施例的基本配置。

圖1是示出根據(jù)第一實施例的圖像處理系統(tǒng)1000的配置的框圖。圖像處理系統(tǒng)1000包括圖像發(fā)送裝置1和圖像接收裝置2。輸入圖像d1是被包括在由高分辨率網(wǎng)絡(luò)攝像機等捕獲的視頻數(shù)據(jù)中的圖像數(shù)據(jù)。圖像發(fā)送裝置1和圖像接收裝置2經(jīng)由網(wǎng)絡(luò)線路等來相互連接。

圖像發(fā)送裝置1至少包括圖像減小單元11、確定單元12和發(fā)送單元13。圖像減小單元11減小輸入圖像d1的大小以生成減小的圖像?！皽p小大小”表示減小圖像數(shù)據(jù)的分辨率或減少像素的數(shù)目。因此，減小的圖像也是在壓縮編碼之前的圖像數(shù)據(jù)和數(shù)據(jù)。因此，“減小大小”不限于去除輸入圖像d1的像素，并且圖像的像素數(shù)目最終減少就足夠了。也就是說，多個現(xiàn)有像素可以被一個新像素替換。因此，用于“減小大小”的處理包括例如(1)簡單地去除像素，諸如將圖像的大小減小1/整數(shù)，(2)小波變換，(3)雙線性處理(將大小減小1/1.5)，和(4)雙三次處理。據(jù)此，減小的圖像的數(shù)據(jù)量變得小于輸入圖像d1的數(shù)據(jù)量。

當(dāng)減小的圖像被放大至輸入圖像d1的大小時，確定單元12確定在與輸入圖像d1的差異成為最小的情況下的放大參數(shù)。發(fā)送單元13將減小的圖像和放大參數(shù)發(fā)送至圖像接收裝置2。

圖像接收裝置2包括接收單元21和圖像恢復(fù)單元22。接收單元21從圖像發(fā)送裝置1接收減小的圖像和放大參數(shù)。接收單元21可以將已經(jīng)接收到的減小的圖像和放大參數(shù)以使得它們彼此相關(guān)聯(lián)的方式存儲在存儲裝置(未示出)中。圖像恢復(fù)單元22使用放大參數(shù)放大減小的圖像以生成恢復(fù)的圖像d4。圖像接收裝置2能夠?qū)⒒謴?fù)的圖像d4輸出至顯示器(未示出)等，以在顯示器上顯示恢復(fù)的圖像d4。

圖2是用于描述根據(jù)第一實施例的圖像發(fā)送處理的流程的流程圖。首先，圖像發(fā)送裝置1的圖像減小單元11減小輸入圖像d1的大小以生成減小的圖像(s11)。接下來，圖像發(fā)送裝置1將減小的圖像放大至輸入圖像d1的原始大小(s12)。當(dāng)減小的圖像被放大至輸入圖像d1的大小時，圖像發(fā)送裝置1的確定單元12確定在與輸入圖像d1的差異成為最小的情況下的放大參數(shù)(s13)。然后，圖像發(fā)送裝置1的發(fā)送單元13將減小的圖像和放大參數(shù)發(fā)送至圖像接收裝置2(s14)。

圖3是用于描述根據(jù)第一實施例的圖像接收處理的流程的流程圖。圖像接收裝置2的接收單元21從圖像發(fā)送裝置1接收減小的圖像和放大參數(shù)(s15)。接下來，圖像接收裝置2的圖像恢復(fù)單元22使用放大參數(shù)放大減小的圖像以生成恢復(fù)的圖像d4(s16)。

如上所述，在第一實施例中，用大小較小的圖像數(shù)據(jù)替換大小較大的視頻數(shù)據(jù)，并且發(fā)送非圖像數(shù)據(jù)(放大參數(shù)等)和替換后的數(shù)據(jù)。特別地，輸入圖像d1的分辨率或像素數(shù)目減少，從而能夠穩(wěn)定地抑制要發(fā)送的數(shù)據(jù)量，而不管圖像的內(nèi)容如何。因此，能夠防止數(shù)據(jù)量的局部增加，這是日本未審查專利申請公開第2001-320707號的問題，并且能夠穩(wěn)定地減少圖像數(shù)據(jù)的量。然后，通過減小發(fā)送側(cè)的輸入圖像d1的豎直和水平大小(像素數(shù)目)，與輸入圖像d1(或其編碼數(shù)據(jù))的數(shù)據(jù)大小相比，要發(fā)送的圖像數(shù)據(jù)(減小的圖像或其編碼數(shù)據(jù))的大小可以大大地減小。也就是說，能夠穩(wěn)定地實現(xiàn)高壓縮效率。

當(dāng)減小的圖像在圖像發(fā)送裝置1中被放大至原始大小時，確定在與輸入圖像d1的差異成為最小的情況下的放大參數(shù)，并且將放大參數(shù)發(fā)送至圖像接收裝置2。因此，在圖像接收裝置2的圖像恢復(fù)單元22中，能夠使用已經(jīng)接收的放大參數(shù)來恢復(fù)減小的圖像，大小等于原始大小并且包括接近輸入圖像d1的內(nèi)容的內(nèi)容。

接下來，將描述第一實施例的更具體的配置。

圖4是示出根據(jù)第一實施例的圖像發(fā)送裝置100的配置的框圖。圖像發(fā)送裝置100是上述圖像發(fā)送裝置1的一個示例。圖像發(fā)送裝置100包括圖像減小單元110、編碼器120、解碼器130、圖像放大處理單元140、比較/確定單元150、圖像處理參數(shù)生成單元160和發(fā)送數(shù)據(jù)生成單元170。圖像減小單元110減小輸入圖像d1的大小以生成減小的圖像。編碼器120對減小的圖像進(jìn)行編碼作為壓縮處理，以生成編碼數(shù)據(jù)d21。解碼器130對編碼數(shù)據(jù)d21進(jìn)行解碼以生成解碼數(shù)據(jù)。編碼器120中的編碼方法和解碼器130中的解碼方法可以是已知的。例如，可以使用作為關(guān)于視頻數(shù)據(jù)的標(biāo)準(zhǔn)的h.26x。

圖像放大處理單元140使用預(yù)定的放大參數(shù)來放大解碼數(shù)據(jù)以產(chǎn)生放大圖像。放大處理可以是例如將在后面描述的超分辨率處理等。然而，放大處理不限于此。比較/確定單元150將輸入圖像d1與放大圖像進(jìn)行比較以確定差異。當(dāng)差異在預(yù)定范圍內(nèi)時，圖像處理參數(shù)生成單元160將在圖像放大處理單元140中使用的放大參數(shù)作為參數(shù)d22輸出至發(fā)送數(shù)據(jù)生成單元170。另一方面，當(dāng)差異在預(yù)定范圍之外時，圖像處理參數(shù)生成單元160指令圖像放大處理單元140調(diào)節(jié)放大參數(shù)，并且圖像放大處理單元140使用已經(jīng)調(diào)節(jié)的放大參數(shù)再次執(zhí)行放大處理。也就是說，當(dāng)解碼數(shù)據(jù)(對應(yīng)于減小的圖像)被圖像放大處理單元140放大至輸入圖像d1的原始大小時，比較/確定單元150確定在與輸入圖像d1的差異成為最小的情況下的放大參數(shù)。發(fā)送數(shù)據(jù)生成單元170將編碼數(shù)據(jù)d21和參數(shù)d22作為發(fā)送數(shù)據(jù)d2發(fā)送至稍后將描述的圖像接收裝置。發(fā)送數(shù)據(jù)生成單元170可以單獨地發(fā)送編碼數(shù)據(jù)d21和參數(shù)d22。

圖5是示出根據(jù)第一實施例的圖像接收裝置200的配置的框圖。圖像接收裝置200是上述圖像接收裝置2的一個示例。圖像接收裝置200包括解碼器210和圖像放大處理單元220。由圖像接收裝置200接收的接收數(shù)據(jù)d3等同于上述發(fā)送數(shù)據(jù)d2，并且包括編碼數(shù)據(jù)d31和參數(shù)d32。

解碼器210對編碼數(shù)據(jù)d31進(jìn)行解碼以生成解碼數(shù)據(jù)。圖像放大處理單元220使用參數(shù)d32放大解碼數(shù)據(jù)以生成恢復(fù)的圖像d4。

圖6是用于描述根據(jù)第一實施例的圖像處理系統(tǒng)1000的概念的圖。在圖像處理系統(tǒng)1000中，圖像發(fā)送裝置1接收由攝像機3拍攝的高分辨率輸入圖像d1。輸入圖像d1具有例如4k2k的分辨率。然后，圖像發(fā)送裝置1將輸入圖像d1的大小減小1/2以生成fhd(全高清晰度)減小的圖像，并且進(jìn)一步將fhd圖像大小減小1/2以生成hd(高清晰度)減小的圖像。之后，圖像發(fā)送裝置1根據(jù)h.26x對hd減小的圖像進(jìn)行編碼，以生成編碼數(shù)據(jù)d21。圖像發(fā)送裝置1將編碼數(shù)據(jù)d21發(fā)送至圖像接收裝置2，并且根據(jù)h.26x對編碼數(shù)據(jù)d21進(jìn)行解碼，以將獲得的數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)。轉(zhuǎn)換后的所得到的圖像數(shù)據(jù)的大小是輸入圖像d1的大小的1/4。然后，圖像發(fā)送裝置1執(zhí)行圖像放大處理，以使轉(zhuǎn)換后的圖像數(shù)據(jù)的大小成為四倍，并且通過比較它們來獲得放大后的圖像數(shù)據(jù)和輸入圖像d1之間的差異。在圖像放大處理中，使用預(yù)定的圖像處理參數(shù)(放大參數(shù))。然后，調(diào)節(jié)參數(shù)以使差異最小化，并且重復(fù)圖像放大處理。在圖像放大處理被重復(fù)預(yù)定次數(shù)之后，選擇在差異成為最小的情況下的參數(shù)d22，并且將參數(shù)d22發(fā)送至圖像接收裝置2。

圖像接收裝置2將已經(jīng)接收到的編碼數(shù)據(jù)d21和參數(shù)d22存儲在存儲裝置5中。此外，圖像接收裝置2根據(jù)h.26x對編碼數(shù)據(jù)d21進(jìn)行解碼，并且使用已經(jīng)接收到的參數(shù)d22對解碼數(shù)據(jù)執(zhí)行圖像放大處理以將其大小成為四倍從而生成恢復(fù)的圖像d4?；謴?fù)的圖像d4的分辨率為類似于輸入圖像d1的分辨率4k2k。在該示例中，圖像接收裝置2進(jìn)一步將恢復(fù)的圖像d4的大小減小到fhd大小，并且將減小的圖像輸出至顯示器4，以在顯示器4上顯示所得到的圖像。因此，能夠減少圖像發(fā)送裝置1和圖像接收裝置2之間的網(wǎng)絡(luò)的負(fù)載，并且減少要存儲在存儲裝置5中的數(shù)據(jù)量。

作為上述圖像放大處理，可以使用超分辨率處理。也就是說，圖像發(fā)送裝置和圖像接收裝置通過對減小的圖像執(zhí)行超分辨率處理來放大減小的圖像，并且確定單元可以優(yōu)選地確定在超分辨率處理的結(jié)果與輸入圖像之間的差異成為最小的情況下的超分辨率處理的參數(shù)作為放大參數(shù)。因此，能夠提高用于放大減小的圖像的處理的精度。

圖7是用于描述當(dāng)在第一實施例中使用超分辨率處理時圖像處理系統(tǒng)1000a的概念的圖。圖像處理系統(tǒng)1000a包括圖像發(fā)送裝置1a和圖像接收裝置2a。圖像發(fā)送裝置1a將輸入圖像d1的大小減小1/4，根據(jù)h.26x對所獲得的圖像進(jìn)行編碼，并且生成編碼數(shù)據(jù)d21a，這與圖像發(fā)送裝置1類似。之后，圖像發(fā)送裝置1a針對通過對符合h.26x的編碼數(shù)據(jù)d21a進(jìn)行解碼而獲得的解碼數(shù)據(jù)，生成4k2k超分辨率圖像，其大小通過超分辨率處理而與輸入圖像d1的大小相同。然后，根據(jù)與輸入圖像d1的差異，獲得在圖像差異成為最小的情況下的超分辨率參數(shù)。然后，圖像發(fā)送裝置1a將已經(jīng)獲得的超分辨率參數(shù)d22a和編碼數(shù)據(jù)d21a發(fā)送至圖像接收裝置2a。圖像接收裝置2a根據(jù)h.26x對已經(jīng)接收到的編碼數(shù)據(jù)d21a進(jìn)行解碼，使用已經(jīng)接收到的超分辨率參數(shù)d22a對解碼結(jié)果執(zhí)行超分辨率處理，并且生成4k2k的恢復(fù)的圖像d4。然后，圖像接收裝置2a將恢復(fù)的圖像d4輸出至顯示器4。如上所述，通過使用超分辨率處理，能夠大大減少網(wǎng)絡(luò)中的通信量。

作為上述圖像放大處理，可以使用逆小波變換處理來代替超分辨率處理。在這種情況下，使用小波變換處理作為用于減小輸入圖像d1的處理。圖8是用于描述當(dāng)在第一實施例中使用小波變換處理時圖像處理系統(tǒng)1000b的概念的圖。圖像處理系統(tǒng)1000b包括圖像發(fā)送裝置1b和圖像接收裝置2b。圖像發(fā)送裝置1b對輸入圖像d1執(zhí)行小波變換處理，以將輸入圖像d1的大小減小1/4。在這種情況下，類似于jpeg2000中的處理，可以有效地消除高頻信息。然后，圖像發(fā)送裝置1b根據(jù)h.26x對減小的圖像的ll分量進(jìn)行編碼，以生成編碼數(shù)據(jù)d21b。之后，圖像發(fā)送裝置1b對通過對符合h.26x的編碼數(shù)據(jù)d21b進(jìn)行解碼而獲得的解碼數(shù)據(jù)執(zhí)行逆小波變換處理，以生成大小與輸入圖像d1的大小相同的4k2k超分辨率圖像。然后，根據(jù)與輸入圖像d1的差異，執(zhí)行用于消除hh、hl和lh分量的閾值調(diào)節(jié)，以使圖像差異最小。然后，圖像發(fā)送裝置1b選擇在圖像差異成為最小的情況下的小波參數(shù)d22b，并且將所選擇的參數(shù)發(fā)送至圖像接收裝置2b。同時，圖像發(fā)送裝置1b將編碼數(shù)據(jù)d21b發(fā)送至圖像接收裝置2b。圖像接收裝置2b根據(jù)h.26x對已經(jīng)接收到的編碼數(shù)據(jù)d21b進(jìn)行解碼，并且使用已經(jīng)接收到的小波參數(shù)d22b對解碼結(jié)果執(zhí)行逆小波變換處理，從而生成4k2k的恢復(fù)的圖像d4。然后，圖像接收裝置2b將恢復(fù)的圖像d4輸出至顯示器4。如上所述，通過使用小波變換處理，也能夠大大地減少網(wǎng)絡(luò)中的通信量。

除了放大參數(shù)之外，根據(jù)本實施例的圖像發(fā)送裝置還可以向圖像接收裝置發(fā)送用于減小輸入圖像d1的大小的減小參數(shù)，諸如減小率。在這種情況下，圖像接收裝置還使用已經(jīng)接收到的減小參數(shù)來執(zhí)行用于放大減小的圖像的處理。

如上所述，在第一實施例中，在壓縮編碼之前的圖像數(shù)據(jù)大小(分辨率或像素值)被減小。因此，在壓縮編碼之后的數(shù)據(jù)量變得比在執(zhí)行通常壓縮編碼處理時的數(shù)據(jù)量小得多。雖然除了圖像數(shù)據(jù)之外還將放大參數(shù)添加到發(fā)送數(shù)據(jù)，但是與圖像數(shù)據(jù)的大小相比，放大參數(shù)的數(shù)據(jù)的大小可以忽略不計。因此，可以減少要傳送的數(shù)據(jù)量，并且還可以減少在接收側(cè)存儲壓縮圖像數(shù)據(jù)所需的存儲裝置的容量。此外，在接收側(cè)，通過使用放大參數(shù)執(zhí)行放大處理，可以實現(xiàn)高恢復(fù)率，從而通過保持相同的減小的圖像(或其編碼數(shù)據(jù))，能夠完成對即使分辨率低用于監(jiān)督監(jiān)測的靈活數(shù)據(jù)的獲得，以及完成對用于分析要求高分辨率的數(shù)據(jù)的細(xì)節(jié)的數(shù)據(jù)的獲得。

<第二實施例>

第二實施例是上述第一實施例的修改示例。也就是說，根據(jù)第二實施例的圖像發(fā)送裝置還包括從圖像接收裝置接受關(guān)于對減小的圖像的處理的狀態(tài)信息的狀態(tài)信息接受單元，并且圖像減小單元根據(jù)狀態(tài)信息使用減小參數(shù)來減小輸入圖像以生成減小的圖像。狀態(tài)信息例如是指示由圖像接收裝置測量的網(wǎng)絡(luò)的負(fù)載的信息、關(guān)于圖像接收裝置中的存儲裝置的容量的信息、以及關(guān)于對存儲裝置的訪問速度的信息。指示網(wǎng)絡(luò)負(fù)載的信息例如是從圖像發(fā)送裝置發(fā)送至圖像接收裝置的數(shù)據(jù)的實際傳輸速度或所需的數(shù)據(jù)傳輸速率。此外，關(guān)于存儲裝置的容量的信息包括例如正在使用的存儲裝置中的數(shù)據(jù)容量、存儲裝置中可用的數(shù)據(jù)容量、存儲裝置的使用率等。此外，關(guān)于訪問存儲裝置的速度的信息例如是接收到的數(shù)據(jù)被寫入存儲裝置的速度的測量值或期望值。

根據(jù)第二實施例，當(dāng)存儲裝置中存在足夠的空間時，或者當(dāng)正在使用的網(wǎng)絡(luò)的量較小時，減小率可以被減小，即，可以使減小的圖像的大小大于第一實施例的大小，由此能夠?qū)⒒謴?fù)的圖像的質(zhì)量保持為高。

圖9是示出根據(jù)第二實施例的圖像發(fā)送裝置100a的配置的框圖。圖像發(fā)送裝置100a包括減小處理系統(tǒng)101和102、狀態(tài)信息接受單元180、切換單元181和發(fā)送數(shù)據(jù)生成單元171。狀態(tài)信息接受單元180從稍后描述的圖像接收裝置200a接受狀態(tài)信息d5并且從狀態(tài)信息d5中提取例如選擇信號d51和減小率d23。例如，當(dāng)狀態(tài)信息d5中包括選擇信號d51和減小率d23時，狀態(tài)信息接受單元180可以從狀態(tài)信息d5中提取選擇信號d51和減小率d23?？商娲?，例如，對于多種類型的狀態(tài)信息d5中的每一種，選擇信號d51和減小率d23的組合可以以使得它們彼此相關(guān)聯(lián)的方式存儲在存儲裝置等中。在這種情況下，狀態(tài)信息接受單元180根據(jù)已經(jīng)接受的狀態(tài)信息d5來從存儲裝置指定并讀出選擇信號d51和減小率d23的組合。之后，狀態(tài)信息接受單元180將選擇信號d51輸出至切換單元181，并且將減小率d23輸出至發(fā)送數(shù)據(jù)生成單元171。

減小處理系統(tǒng)101包括圖像減小單元111、編碼器121、解碼器131、圖像放大處理單元141、比較/確定單元151和圖像處理參數(shù)生成單元161。圖像減小單元111生成通過將輸入圖像d1的大小減小1/2獲得的減小的圖像。此外，圖像放大處理單元141將從解碼器獲得的數(shù)據(jù)的大小加倍，以執(zhí)行預(yù)定的圖像放大處理。此外，編碼器121、解碼器131、比較/確定單元151和圖像處理參數(shù)生成單元161等效于上述的編碼器120、解碼器130、比較/確定單元150和圖像處理參數(shù)生成單元160。

減小處理系統(tǒng)102包括圖像減小單元112、編碼器122、解碼器132、圖像放大處理單元142、比較/確定單元152和圖像處理參數(shù)生成單元162。圖像減小單元112生成具有輸入圖像d1的1/4的大小的減小的圖像。此外，圖像放大處理單元142將從解碼器獲得的數(shù)據(jù)的大小成為四倍，以執(zhí)行預(yù)定的圖像放大處理。此外，編碼器122、解碼器132、比較/確定單元152和圖像處理參數(shù)生成單元162等效于上述的編碼器120、解碼器130、比較/確定單元150和圖像處理參數(shù)生成單元160。

切換單元181根據(jù)選擇信號d51選擇來自減小處理系統(tǒng)101和102的輸出之一。具體地，當(dāng)選擇信號d51指示減小處理系統(tǒng)101的選擇時，切換單元181選擇從編碼器121輸出的編碼數(shù)據(jù)d21和從圖像處理參數(shù)生成單元161輸出的參數(shù)d221，并且將編碼數(shù)據(jù)d21和參數(shù)d221輸出至發(fā)送數(shù)據(jù)生成單元171。此外，當(dāng)選擇信號d51指示減小處理系統(tǒng)102的選擇時，切換單元181選擇從編碼器122輸出的編碼數(shù)據(jù)d21和從圖像處理參數(shù)生成單元162輸出的參數(shù)d222，并且將編碼數(shù)據(jù)d21和參數(shù)d222輸出至發(fā)送數(shù)據(jù)生成單元171。

發(fā)送數(shù)據(jù)生成單元171生成包括編碼數(shù)據(jù)d21、參數(shù)d221或d222以及減小率d23的發(fā)送數(shù)據(jù)d2a，并且將生成的數(shù)據(jù)發(fā)送至圖像接收裝置200a。發(fā)送數(shù)據(jù)生成單元171可以單獨地發(fā)送編碼數(shù)據(jù)d21、參數(shù)d221或d222以及減小率d23中的一部分或全部。

圖10是用于描述根據(jù)第二實施例的狀態(tài)信息接受處理的流程的流程圖。首先，狀態(tài)信息接受單元180從圖像接收裝置200a接收狀態(tài)信息d5(s21)。狀態(tài)信息接受單元180從狀態(tài)信息d5中提取例如選擇信號d51和減小率d23，如上所述。接下來，狀態(tài)信息接受單元180將選擇信號d51輸出至切換單元181從而選擇減小處理系統(tǒng)101和102之一(s22)。此外，狀態(tài)信息接受單元180將減小率d23輸出至發(fā)送數(shù)據(jù)生成單元171(s23)。

圖11是示出根據(jù)第二實施例的圖像接收裝置200a的配置的框圖。圖像接收裝置200a包括放大處理系統(tǒng)201和202以及切換單元230。接收數(shù)據(jù)d3a等效于上述發(fā)送數(shù)據(jù)d2a，并且包括編碼數(shù)據(jù)d311(和d312)、參數(shù)d321(和d322)和減小率d33。

圖像接收裝置200a將包括在接收數(shù)據(jù)d3a中的減小率d33輸出至切換單元230。切換單元230基于減小率d33切換到放大處理系統(tǒng)201和放大處理系統(tǒng)202中的一個。當(dāng)減小率d33指示例如減小率1/2時，切換單元230切換到放大處理系統(tǒng)201。當(dāng)減小率d33指示減小率1/4時，切換單元230切換到放大處理系統(tǒng)202。

放大處理系統(tǒng)201包括解碼器211和圖像放大處理單元221。解碼器211對編碼數(shù)據(jù)d311進(jìn)行解碼。圖像放大處理單元221執(zhí)行圖像放大處理，其中放大率是對使用參數(shù)d321的解碼結(jié)果的兩倍。

此外，放大處理系統(tǒng)202包括解碼器212和圖像放大處理單元222。解碼器212對編碼數(shù)據(jù)d312進(jìn)行解碼。圖像放大處理單元222執(zhí)行圖像放大處理，其中放大率是對使用參數(shù)d322的解碼結(jié)果的四倍。因此，來自圖像接收裝置200a的輸出成為來自圖像放大處理單元221或222的恢復(fù)的圖像d4。

<第三實施例>

第三實施例是上述第一實施例的修改示例。也就是說，根據(jù)第三實施例的圖像發(fā)送裝置還包括圖像放大處理單元，圖像放大處理單元執(zhí)行彼此不同的多個圖像放大處理，以將減小的圖像的大小放大至輸入圖像的大小。確定單元選擇其中多個相應(yīng)圖像放大處理的放大結(jié)果與輸入圖像之間的差異成為最小的圖像放大處理，并且將所選擇的圖像放大處理確定作為放大參數(shù)。圖像恢復(fù)單元通過被確定為放大參數(shù)的圖像放大處理來放大減小的圖像，以生成恢復(fù)的圖像。因此，不需要執(zhí)行用于重復(fù)地獲得圖像處理算法的最佳參數(shù)的處理，并且變得能夠在硬件上實現(xiàn)整體處理。還能夠提高處理的速度。

圖12是示出根據(jù)第三實施例的圖像發(fā)送裝置100b的配置的框圖。圖像發(fā)送裝置100b包括圖像減小單元110、編碼器120、解碼器130、圖像處理管道143、144和145、比較/確定單元150a和發(fā)送數(shù)據(jù)生成單元172。圖像減小單元110、編碼器120和解碼器130與圖4所示的相同。

在圖像處理管道143至145中實現(xiàn)彼此不同的圖像放大處理的算法。圖像處理管道143至145能夠并行處理來自解碼器130的輸出。然后，比較/確定單元150a將圖像處理管道143、圖像處理管道144和圖像處理管道145中的處理結(jié)果與輸入圖像d1進(jìn)行比較，選擇其中差異成為最小的圖像放大處理，并且將所選擇的圖像放大處理作為管道編號d24輸出至發(fā)送數(shù)據(jù)生成單元172。當(dāng)選擇圖像處理管143時，例如，管道編號d24被設(shè)置為但不限于諸如“1”等數(shù)值。管道編號d24是放大參數(shù)的一個示例。發(fā)送數(shù)據(jù)生成單元172將編碼數(shù)據(jù)d21和管道編號d24作為發(fā)送數(shù)據(jù)d2b發(fā)送至圖像接收裝置。

圖13是示出根據(jù)第三實施例的圖像接收裝置200b的配置的框圖。圖像接收裝置200b包括解碼器210、圖像處理管道223、224和225以及切換單元240。接收數(shù)據(jù)d3b等效于上述發(fā)送數(shù)據(jù)d2b，并且包括編碼數(shù)據(jù)d31和管道編號d34。此外，在圖像處理管道223至225中實現(xiàn)的圖像放大處理的算法分別對應(yīng)于上述圖像處理管道143至145。

解碼器210對編碼數(shù)據(jù)d31進(jìn)行解碼。切換單元240基于管道編號d34切換到圖像處理管道223至225之一。當(dāng)管道編號d34指示“2”時，切換單元240切換到圖像處理管道224。圖像處理管道223至225中已經(jīng)由切換單元240切換的管道基于已經(jīng)實施的圖像放大處理算法來對作為來自解碼器210的輸出的解碼結(jié)果執(zhí)行處理，并且生成恢復(fù)的圖像d4。

<第四實施例>

第四實施例是上述第二和第三實施例的修改示例。第四實施例例如通過組合第二和第三實施例并且修改組合模式來獲得。因此，可以調(diào)節(jié)減小率和放大參數(shù)兩者，并且可以執(zhí)行精細(xì)控制。

圖14是示出根據(jù)第四實施例的圖像發(fā)送裝置100c的配置的框圖。圖像發(fā)送裝置100c包括減小處理系統(tǒng)103和104、狀態(tài)信息接受單元180、切換單元181和發(fā)送數(shù)據(jù)生成單元173。狀態(tài)信息接受單元180與圖9所示的相同。

減小處理系統(tǒng)103包括圖像減小單元111、編碼器121、解碼器131、圖像處理管道1411和1412以及比較/確定單元153。圖像減小單元111、編碼器121和解碼器131與圖9所示的相同。在圖像處理管道1411和1412中實現(xiàn)彼此不同的圖像放大處理的算法。圖像處理管道1411和1412能夠并行處理來自解碼器131的輸出。圖像處理管道1411和1412的數(shù)目可以是三個或更多個。比較/確定單元153將圖像處理管道1411和1412中的處理結(jié)果與輸入圖像d1進(jìn)行比較，選擇其中差異成為最小的圖像放大處理，并且將所選擇的圖像放大處理作為管道編號d241輸出至發(fā)送數(shù)據(jù)生成單元173。

減小處理系統(tǒng)104包括圖像減小單元112、編碼器122、解碼器132、圖像處理管道1421和1422以及比較/確定單元154。圖像減小單元112、編碼器122和解碼器132與圖9所示的相同。此外，與上述圖像處理管道1411和1412相對應(yīng)的圖像放大處理的算法分別實施在圖像處理管道1421和1422中。圖像處理管道1421和1422能夠并行處理來自解碼器132的輸出。圖像處理管道1421和1422的數(shù)目與減小處理系統(tǒng)103中的圖像處理管道的數(shù)目相同就足夠了，并且可以是三個或更多個。比較/確定單元154將圖像處理管道1421和1422中的處理結(jié)果與輸入圖像d1進(jìn)行比較，選擇其中差異成為最小的圖像放大處理，并且將所選擇的圖像放大處理作為管道編號d242輸出至發(fā)送數(shù)據(jù)生成單元173。

切換單元181根據(jù)選擇信號d51選擇減小處理系統(tǒng)103和104的輸出之一。發(fā)送數(shù)據(jù)生成單元173生成包括編碼數(shù)據(jù)d21、管道編號d241或d242、和減小率d23的發(fā)送數(shù)據(jù)d2c，并且將生成的數(shù)據(jù)發(fā)送至圖像接收裝置200c。發(fā)送數(shù)據(jù)生成單元173可以單獨地發(fā)送編碼數(shù)據(jù)d21、管道編號d241或d242、和減小率d23中的一部分或全部。

圖15是示出根據(jù)第四實施例的圖像接收裝置200c的配置的框圖。圖像接收裝置200c包括放大處理系統(tǒng)203和204以及切換單元230。接收數(shù)據(jù)d3c等同于上述發(fā)送數(shù)據(jù)d2c，并且包括編碼數(shù)據(jù)d311(和d312)、減小率d33和管道編號d34。

圖像接收裝置200c將包括在接收數(shù)據(jù)d3c中的減小率d33輸出至切換單元230，并且向切換單元241和242輸出管道編號d34。雖然管道編號d34在圖15中僅被輸入至切換單元241，但是切換單元241和242彼此關(guān)聯(lián)地切換。切換單元230基于減小率d33來切換到放大處理系統(tǒng)203和放大處理系統(tǒng)204中的一個。

放大處理系統(tǒng)203包括解碼器211、切換單元241以及圖像處理管道2211和2212。解碼器211對編碼數(shù)據(jù)d311進(jìn)行解碼。切換單元241基于管道編號d34切換到圖像處理管道2211和2212中的一個。此外，在圖像處理管道2211和2212中實施的圖像放大處理的算法分別對應(yīng)于上述圖像處理管道1411和1412。圖像處理管道2211和2212執(zhí)行其中放大率為兩倍的圖像放大處理。換句話說，切換單元241以及圖像處理管道2211和2212基于管道編號d34執(zhí)行其中放大率為兩倍的圖像放大處理。

放大處理系統(tǒng)204包括解碼器212、切換單元242以及圖像處理管道2221和2222。解碼器212對編碼數(shù)據(jù)d312進(jìn)行解碼。與切換單元241類似，切換單元242基于管道編號d34切換到圖像處理管道2221和2222中的一個。此外，在圖像處理管道2221和2222中實施的圖像放大處理的算法分別對應(yīng)于上述圖像處理管道1421和1422。圖像處理管道2221和2222執(zhí)行其中放大率為四倍的圖像放大處理。換句話說，切換單元242以及圖像處理管道2221和2222基于管道編號d34執(zhí)行其中放大率為四倍的圖像放大處理。因此，來自圖像接收裝置200c的輸出成為來自圖像處理管2211、2212、2221和2222中的一個的恢復(fù)的圖像d4。

<第五實施例>

第五實施例是上述第一實施例的修改示例。也就是說，根據(jù)第五實施例的圖像發(fā)送裝置還包括調(diào)節(jié)單元，調(diào)節(jié)單元根據(jù)對減小的圖像進(jìn)行編碼的結(jié)果來調(diào)節(jié)減小參數(shù)以減小輸入圖像，并且圖像減小單元使用已經(jīng)調(diào)節(jié)的減小參數(shù)來減小輸入圖像以生成減小的圖像。例如，取決于輸入圖像的內(nèi)容，作為編碼的結(jié)果，壓縮效率可能減小。在頻率高的圖像中，特別地，壓縮后的圖像的數(shù)據(jù)的大小可能變得大于壓縮之前的圖像的數(shù)據(jù)的大小。在這種情況下，通過執(zhí)行反饋并且調(diào)節(jié)減小參數(shù)以進(jìn)一步增加減小率，能夠保持恒定的壓縮效率。

圖16是示出根據(jù)第五實施例的圖像發(fā)送裝置100d的配置的框圖。圖像發(fā)送裝置100d是圖1所示的圖像發(fā)送裝置100的修改示例，包括新設(shè)置在編碼器120和解碼器130之間的調(diào)節(jié)單元182，并且將減小率d23從調(diào)節(jié)單元182反饋到圖像減小單元110。也就是說，調(diào)節(jié)單元182根據(jù)來自編碼器120的輸出結(jié)果(即編碼數(shù)據(jù)d21)和輸入圖像d1來確定壓縮編碼的效率。當(dāng)壓縮編碼的效率不滿足預(yù)定條件時，使減小率d23高于之前的時間中的減小率，并且將已經(jīng)調(diào)節(jié)的減小率d23輸出至圖像減小單元110。然后，圖像減小單元110再次基于來自調(diào)節(jié)單元182的減小率d23來減小輸入圖像d1。此外，當(dāng)壓縮編碼的效率滿足預(yù)定條件時，調(diào)節(jié)單元182將編碼數(shù)據(jù)d21輸出至解碼器130。

<其他實施例>

以上描述的每個上述實施例還可以包括以下配置。也就是說，圖像接收裝置還包括存儲減小的圖像和放大參數(shù)的存儲單元，并且接收單元將已經(jīng)接收到的減小的圖像存儲在存儲單元中，將預(yù)定訪問權(quán)限添加到已經(jīng)接收到的放大參數(shù)，并且將放大參數(shù)存儲在存儲單元中。因此，關(guān)于用于放大減小的圖像的處理，可以根據(jù)訪問權(quán)限靈活地控制顯示器的大小和顯示器的內(nèi)容。

例如，考慮如下情況：其中針對每個用戶設(shè)置讀出放大參數(shù)的權(quán)限作為訪問權(quán)限。在這種情況下，對監(jiān)督顯示器執(zhí)行實時視頻顯示處理的用戶(應(yīng)用)可能沒有被賦予讀出放大參數(shù)的權(quán)利，由此在監(jiān)督顯示器中使用具有低分辨率的減小的圖像作為所顯示的圖像。因此，由于在減小的圖像中不顯示人的面部等細(xì)節(jié)，所以當(dāng)保安人員等在監(jiān)督顯示器處時，能夠保護(hù)人的隱私。此外，即使當(dāng)存儲在存儲單元中的僅減小的圖像被盜時，也需要獲取放大參數(shù)以便獲得高分辨率圖像。因此，不僅能夠保護(hù)人的隱私，而且能夠提高安全性。

另一方面，對記錄的視頻執(zhí)行跟蹤調(diào)查處理的用戶(應(yīng)用)可以被賦予讀出放大參數(shù)的權(quán)利，由此能夠使用放大參數(shù)執(zhí)行用于放大減小的圖像的處理，并且可以在屏幕上再現(xiàn)和顯示高分辨率圖像。因此能夠滿足跟蹤調(diào)查的需要。

可以在存儲單元中的存儲區(qū)域中設(shè)置訪問權(quán)限。當(dāng)減小的圖像被存儲在第一存儲區(qū)域中并且放大參數(shù)被存儲在第二存儲區(qū)域中時，可以在第二存儲區(qū)域中設(shè)置訪問權(quán)限。

此外，取決于用戶持有的權(quán)限，可以限制是否放大圖像。例如，可以不允許觀看屏幕的操作者觀看所有視頻圖像，并且可以執(zhí)行期望的控制。例如，可以取決于權(quán)限來將馬賽克應(yīng)用于面部部分，或者僅顯示減小和壓縮之后的圖像。

盡管在現(xiàn)有技術(shù)中具有高分辨率的圖像已經(jīng)僅被直接發(fā)送和存儲以在稍后顯示精細(xì)圖像，但是在本實施例中不需要發(fā)送和存儲具有高分辨率的圖像。

本實施例不僅可以應(yīng)用于視頻數(shù)據(jù)，而且可以應(yīng)用于圖像數(shù)據(jù)。此外，本實施例可以用作需要低延遲的視頻壓縮技術(shù)。

在諸如日本未審查專利申請公開第2001-320707號的現(xiàn)有技術(shù)中，需要比較幀和后續(xù)幀。因此，難以在場景突然改變的情況下獲得足夠有利的效果。另一方面，在本實施例中，針對每個圖像執(zhí)行處理。因此，本實施例適用于需要低延遲的系統(tǒng)。也就是說，本實施例適用于需要實時再現(xiàn)的車載攝像機等。

根據(jù)本實施例的圖像發(fā)送裝置可以應(yīng)用于網(wǎng)絡(luò)監(jiān)視攝像機、數(shù)字?jǐn)z像機、作為視頻攝像機的攝像錄像機、電視電話、對講機、安裝在無人駕駛飛機或無線電遙控車輛上的攝像機等。由于預(yù)期網(wǎng)絡(luò)攝像機的分辨率特別是在將來將進(jìn)一步增加，因此強烈需要消除要傳送的數(shù)據(jù)量。

此外，實施例可以應(yīng)用于記錄電視節(jié)目等的視頻記錄和再現(xiàn)裝置，諸如視頻記錄器和驅(qū)動記錄器。由于視頻數(shù)據(jù)的大小被減小，所以能夠抑制當(dāng)數(shù)據(jù)被存儲在存儲裝置中時的容量并且放松讀取和寫入速度的限制。此外，實施例可以應(yīng)用于用于控制視頻數(shù)據(jù)的比特率的技術(shù)。通過根據(jù)網(wǎng)絡(luò)負(fù)載、系統(tǒng)的處理速度等改變圖像減小率和圖像處理的類型，變得能夠控制圖像的質(zhì)量和數(shù)據(jù)量。此外，通過根據(jù)要拍攝的對象和時區(qū)(視頻的重要性)來改變(選擇)減小率和圖像處理的類型，變得能夠控制數(shù)據(jù)的比特率。

雖然可以如以下補充說明中所示地描述一些或所有上述實施例，但是它們不限于此。

(補充說明1)

一種圖像接收裝置，包括：

接收單元，其接收通過減小輸入圖像的大小而獲得的減小的圖像和在減小的圖像的大小被放大至輸入圖像的大小時與輸入圖像的差異成為最小的情況下的放大參數(shù)；以及

圖像恢復(fù)單元，其使用放大參數(shù)來放大減小的圖像以生成恢復(fù)的圖像。

(補充說明2)

根據(jù)補充說明1的圖像接收裝置，其中，

圖像接收裝置通過對減小的圖像執(zhí)行超分辨率處理來放大減小的圖像，以及

放大參數(shù)是超分辨率處理的參數(shù)，其在發(fā)送減小的圖像的一側(cè)上被選擇為使超分辨率處理的結(jié)果和輸入圖像之間的差異較小。

(補充說明3)

根據(jù)補充說明1的圖像接收裝置，還包括狀態(tài)信息發(fā)送單元，狀態(tài)信息發(fā)送單元將關(guān)于減小的圖像的處理的狀態(tài)信息發(fā)送至發(fā)送減小的圖像的一側(cè)，以便控制在發(fā)送減小的圖像的一側(cè)的減小處理。

(補充說明4)

根據(jù)補充說明1的圖像接收裝置，其中

接收單元接收已經(jīng)從彼此不同的多個圖像放大處理中選擇的圖像放大處理作為放大參數(shù)，以在放大參數(shù)使得放大處理的結(jié)果和輸入圖像之間的差異最小時將減小的圖像放大至輸入圖像的大小，以及

圖像恢復(fù)單元通過被選擇為放大參數(shù)的圖像放大處理來放大減小的圖像以生成恢復(fù)的圖像。

(補充說明5)

根據(jù)補充說明1的圖像接收裝置，還包括存儲減小的圖像和放大參數(shù)的存儲單元，

其中，接收單元將已經(jīng)接收到的減小的圖像存儲在所述存儲單元中，對已經(jīng)接收到的放大參數(shù)賦予預(yù)定訪問權(quán)限，并且將已經(jīng)賦予預(yù)定訪問權(quán)限的放大參數(shù)存儲在存儲單元中。

盡管在上述實施例中將本發(fā)明描述為硬件配置，但是本發(fā)明不限于此。本發(fā)明可以通過使諸如中央處理單元(cpu)等處理器執(zhí)行計算機程序來實施任意處理。

在上述示例中，可以使用任何類型的非暫態(tài)計算機可讀介質(zhì)將程序存儲并且提供至計算機。非暫態(tài)計算機可讀介質(zhì)包括任何類型的有形存儲介質(zhì)。非暫態(tài)計算機可讀介質(zhì)的示例包括磁存儲介質(zhì)(諸如軟盤、磁帶、硬盤驅(qū)動器等)、光磁存儲介質(zhì)(例如磁光盤)、cd-rom(只讀存儲器)、cd-r、cd-r/w、dvd(數(shù)字通用光盤)、bd(藍(lán)光(注冊商標(biāo))光盤)、和半導(dǎo)體存儲器(諸如掩模rom、prom(可編程rom)、eprom(可擦除prom)、閃存rom、ram(隨機存取存儲器)等)?？梢允褂萌魏晤愋偷臅簯B(tài)計算機可讀介質(zhì)將程序提供至計算機。暫態(tài)計算機可讀介質(zhì)的示例包括電信號、光信號和電磁波。暫態(tài)計算機可讀介質(zhì)可以經(jīng)由有線通信線路(例如，電線和光纖)或無線通信線路向計算機提供程序。

雖然已經(jīng)基于實施例具體描述了本發(fā)明人做出的發(fā)明，但是不用說，本發(fā)明不限于上述已經(jīng)陳述的實施例，并且在不脫離本發(fā)明的精神的情況下可以進(jìn)行各種改變。

盡管已經(jīng)根據(jù)幾個實施例描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員將認(rèn)識到，本發(fā)明可以在所附權(quán)利要求的精神和范圍內(nèi)以各種修改來實踐，并且本發(fā)明不限于上述示例。

此外，權(quán)利要求的范圍不限于上述實施例。

此外，應(yīng)當(dāng)注意，申請人的意圖是涵蓋所有權(quán)利要求要素的等同物，即使在后面的審查期間被修改。

第一、第二、第三、第四和第五實施例可以根據(jù)需要由本領(lǐng)域普通技術(shù)人員組合。