專利名稱：圖像發(fā)送裝置以及圖像接收裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在與網(wǎng)絡(luò)等傳輸容量受限的數(shù)據(jù)通信線路相連接的設(shè)備間發(fā)送和接 收運動圖像的系統(tǒng)中的圖像發(fā)送裝置以及圖像接收裝置。
背景技術(shù)：
以往，公開了以下系統(tǒng)，S卩當(dāng)經(jīng)由頻帶受限的網(wǎng)絡(luò)發(fā)送圖像數(shù)據(jù)時，較高地設(shè)定 圖像關(guān)注區(qū)域的分辨率，而較低地設(shè)定其他區(qū)域的分辨率來對圖像數(shù)據(jù)進(jìn)行編碼，從而削 減信息量，同時確保所希望的畫質(zhì)(例如參考專利文獻(xiàn)1)。專利文獻(xiàn)1 日本特開平7188806號近年來，圖像傳感器的高像素化得到發(fā)展，其結(jié)果是圖像數(shù)據(jù)的數(shù)據(jù)量日益增加。 在這種狀況下，尋求一種在網(wǎng)絡(luò)攝像機(jī)等在網(wǎng)絡(luò)上發(fā)送圖像數(shù)據(jù)的裝置中，將畫質(zhì)劣化控 制在最小限度來對運動圖像進(jìn)行網(wǎng)絡(luò)發(fā)送的技術(shù)。在專利文獻(xiàn)1的系統(tǒng)中，如果將關(guān)注區(qū) 域的分辨率設(shè)定得較高，則其他區(qū)域的分辨率明顯會被設(shè)定得較低，當(dāng)由接收裝置再生圖 像時，有可能含有圖像劣化嚴(yán)重而無法辨別內(nèi)容的區(qū)域。

發(fā)明內(nèi)容
本發(fā)明的圖像發(fā)送裝置包括圖像獲取部，獲取從外部輸入的輸入圖像數(shù)據(jù)；編碼部，在周期性地變更并選擇出構(gòu)成所述圖像獲取部獲取的所述圖像數(shù)據(jù)的顏 色信息的多個顏色分量之中的部分顏色分量作為編碼對象顏色分量之后，對選擇出的所述 編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行編碼；以及數(shù)據(jù)傳輸部，將由所述編碼部編碼后的編碼對象顏色分量的圖像數(shù)據(jù)傳輸至數(shù)據(jù) 通信線路。本發(fā)明的圖像接收裝置包括數(shù)據(jù)接收部，經(jīng)由數(shù)據(jù)通信線路，接收編碼后的編碼對象顏色分量的圖像數(shù)據(jù)，所 述編碼對象顏色分量是從構(gòu)成圖像數(shù)據(jù)的顏色信息的多個顏色分量之中被周期性地變更 并選擇出的部分顏色分量；解碼部，對由所述數(shù)據(jù)接收部接收的所述編碼后的編碼對象顏色分量的圖像數(shù)據(jù) 進(jìn)行解碼；存儲部，存儲由所述解碼部解碼后的所述編碼對象顏色分量的圖像數(shù)據(jù)；以及合成部，對由所述解碼部解碼后的當(dāng)前的編碼對象顏色分量的圖像數(shù)據(jù)以及與所 述當(dāng)前的編碼對象顏色分量的顏色不同且已被存儲在所述存儲部中的解碼后的過去的編 碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行合成。在本發(fā)明中，數(shù)據(jù)發(fā)送裝置的編碼部在從輸入圖像數(shù)據(jù)中的多個顏色分量之中， 周期性地變更并選擇出編碼對象顏色分量之后，以規(guī)定的方式對該編碼對象顏色分量的圖 像數(shù)據(jù)進(jìn)行編碼，并交給數(shù)據(jù)傳輸部。數(shù)據(jù)傳輸部經(jīng)由數(shù)據(jù)通信線路，將編碼后的編碼對象顏色分量的圖像數(shù)據(jù)傳輸至圖像接收裝置。圖像接收裝置的編碼部周期性地變更編碼對象 顏色分量，并重復(fù)進(jìn)行編碼。在本發(fā)明中，將編碼部的編碼對象顏色分量、以及數(shù)據(jù)傳輸部 的數(shù)據(jù)傳輸對象顏色分量限定為輸入圖像數(shù)據(jù)的部分顏色分量。因此，應(yīng)處理的圖像數(shù)據(jù) 的信息量得以削減，編碼率得到抑制。其結(jié)果是即使在數(shù)據(jù)通信線路的傳輸容量受限時，也 能夠以劣化少的狀態(tài)發(fā)送圖像數(shù)據(jù)。另外，在本發(fā)明的圖像接收裝置中，合成部對由解碼部解碼的當(dāng)前的編碼對象顏 色分量的圖像數(shù)據(jù)與以不同于顏色分量的狀態(tài)已被存儲在存儲部中的解碼后的過去的編 碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行合成，并再生圖像。通過這種存儲部與合成部的功能，即使 經(jīng)由數(shù)據(jù)通信線路發(fā)送來的圖像數(shù)據(jù)為輸入圖像數(shù)據(jù)中的多個顏色分量之中的部分顏色 分量，也能夠以未劣化的狀態(tài)再現(xiàn)原始的輸入圖像數(shù)據(jù)。另外，本發(fā)明具有以下方式在圖像發(fā)送裝置中，所述編碼部以幀為單位，按Y分量、UV分量、Y分量、UV分量的順序，或者按Y分 量、UV分量、Y分量、UV分量的順序，進(jìn)行周期性地替換并進(jìn)行編碼。另外，本發(fā)明具有以下方式在圖像發(fā)送裝置中，進(jìn)一步包括分割模式設(shè)定部，設(shè)定顏色分量分割模式，所述顏色分量分割模式表示所述編碼 對象顏色分量的變更設(shè)定，所述編碼部在根據(jù)由所述分割模式設(shè)定部設(shè)定的顏色分量分割模式，從多個顏色 分量之中周期性地變更并選擇出所述編碼對象顏色分量之后，對選擇出的所述編碼對象顏 色分量的圖像數(shù)據(jù)進(jìn)行編碼，所述數(shù)據(jù)傳輸部在將所述分割模式設(shè)定部設(shè)定的所述顏色分量分割模式信息附 加到所述編碼后的所述編碼對象顏色分量的圖像數(shù)據(jù)中的狀態(tài)下，傳輸至數(shù)據(jù)通信線路。優(yōu)選地，在這種方式下，所述數(shù)據(jù)傳輸部測定所述數(shù)據(jù)通信線路中的負(fù)載狀況，所述分割模式設(shè)定部按照所述數(shù)據(jù)傳輸部測定出的所述負(fù)載狀況來設(shè)定所述顏 色分量分割模式。根據(jù)這種方式，能夠按照數(shù)據(jù)通信線路的擁擠狀況的變化，自如地設(shè)定分割模式 設(shè)定部中的顏色分量分割模式。即，無論數(shù)據(jù)通信線路的擁擠狀況如何變化，都能夠以劣化 少的狀態(tài)發(fā)送圖像數(shù)據(jù)。另外，本發(fā)明具有以下方式在圖像發(fā)送裝置中，進(jìn)一步包括運動檢測部，對所述輸入圖像數(shù)據(jù)中的圖像的運動量進(jìn)行檢測，所述編碼部在判斷為由所述運動檢測部檢測的所述圖像的運動量大于規(guī)定的閾 值時，對構(gòu)成所述圖像數(shù)據(jù)的所有顏色分量的圖像數(shù)據(jù)進(jìn)行編碼。根據(jù)這種方式，即使因分辨率低而產(chǎn)生畫質(zhì)劣化，當(dāng)圖像的運動快時，在視覺上也 不太會造成問題。因此，當(dāng)圖像的運動量大于規(guī)定的閾值時，停止對編碼對象顏色分量進(jìn)行 選擇，切換為對所有顏色分量的圖像數(shù)據(jù)進(jìn)行編碼。其結(jié)果是能夠?qū)崿F(xiàn)圖像處理的速度提升。
另外，本發(fā)明具有以下方式在圖像發(fā)送裝置中，進(jìn)一步包括運動檢測部，對所述輸入圖像數(shù)據(jù)中的圖像的運動量進(jìn)行檢測，所述編碼部以幀為單位替換所述編碼對象顏色分量，所述運動檢測部對與所述編碼對象顏色分量不同的顏色分量的運動量進(jìn)行檢測，所述數(shù)據(jù)傳輸部進(jìn)一步將與所述編碼對象顏色分量不同的顏色分量的運動量傳 輸至數(shù)據(jù)通信線路。根據(jù)這種方式，數(shù)據(jù)傳輸部通過進(jìn)一步將與編碼對象顏色分量不同的顏色分量的 運動量的信息和編碼對象顏色分量的編碼數(shù)據(jù)一起傳輸至數(shù)據(jù)通信線路，從而能夠在圖像 接收裝置側(cè)，按照圖像的運動量對過去的編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行運動補償?shù)?。本發(fā)明具有以下方式按照上述圖像發(fā)送裝置的方式，在圖像接收裝置中，進(jìn)一步包括運動補償部、平滑化部以及合成部，所述數(shù)據(jù)接收部進(jìn)一步接收與所述編碼對象顏色分量的顏色不同的顏色分量的運動量，所述運動補償部使用當(dāng)前接收到的所述顏色分量的運動量，對存儲在所述存儲部 中的所述過去的圖像數(shù)據(jù)進(jìn)行運動補償，所述平滑化部按照接收到的所述顏色分量的運動量，對存儲在所述存儲部中的所 述過去的圖像數(shù)據(jù)，與由所述解碼部解碼后的當(dāng)前接收到的所述編碼對象顏色分量的圖像 數(shù)據(jù)的解碼數(shù)據(jù)，進(jìn)行平滑化，所述合成部對所述數(shù)據(jù)接收部當(dāng)前接收到之后、由所述平滑化部進(jìn)行平滑化、進(jìn) 而由所述解碼部解碼后的所述編碼對象顏色分量的圖像數(shù)據(jù)，與由所述運動補償部進(jìn)行運 動補償處理后的所述過去的圖像數(shù)據(jù)，進(jìn)行合成。根據(jù)這些方式，由于當(dāng)前的編碼對象顏色分量的圖像數(shù)據(jù)與過去的編碼對象顏色 分量的圖像數(shù)據(jù)產(chǎn)生時間上的差異，因此運動中的被拍攝物在合成時有可能會產(chǎn)生顏色偏 移(色f Λ)。運動補償部和平滑化部用于緩和這種顏色偏移。根據(jù)本發(fā)明，在經(jīng)由網(wǎng)絡(luò)等數(shù)據(jù)通信線路傳輸圖像信號時，由于將作為編碼以及 傳輸對象的圖像數(shù)據(jù)限定為部分顏色分量，因此編碼的信息量得以降低，編碼率得到抑制。 其結(jié)果是能夠傳送圖像劣化少的圖像。


圖1是示出本發(fā)明的實施方式1中的圖像通信裝置的整體結(jié)構(gòu)的框圖；圖2是示出實施方式1中將圖像數(shù)據(jù)分割為Y分量、U分量、V分量，以Y ·υ · V的 順序進(jìn)行發(fā)送和接收的情況的圖；圖3是示出實施方式1中將圖像數(shù)據(jù)分割為Y分量、U分量、V分量，以Y ·υ ·Υ ·ν 的順序進(jìn)行發(fā)送和接收的情況的圖；圖4是示出實施方式1中將圖像數(shù)據(jù)分割為Y分量、UV分量，以Y · UV的順序進(jìn) 行發(fā)送和接收的情況的圖；圖5是示出實施方式1中將圖像數(shù)據(jù)分割為R分量、G分量、B分量，以R ·Β的順序進(jìn)行發(fā)送和接收的情況的圖；圖6是示出本發(fā)明的實施方式2中的圖像通信裝置的整體結(jié)構(gòu)的框圖；圖7是示出本發(fā)明的實施方式3中的圖像通信裝置的整體結(jié)構(gòu)的框圖；圖8是示出本發(fā)明的實施方式4中的圖像通信裝置的整體結(jié)構(gòu)的框圖；圖9是示出實施方式4中運動矢量與預(yù)測誤差的圖。
具體實施例方式下面，參考附圖對本發(fā)明的實施方式進(jìn)行說明。此外，以下說明的各個實施方式僅 為一例，能夠進(jìn)行各種改變。(實施方式1)圖1是示出本發(fā)明的實施方式1的圖像通信裝置Al的整體結(jié)構(gòu)的框圖。該實施 方式為經(jīng)由網(wǎng)絡(luò)等傳輸容量受限的數(shù)據(jù)通信線路，傳輸具有龐大數(shù)據(jù)量的圖像的系統(tǒng)。本 實施方式并不限于網(wǎng)絡(luò)，能夠應(yīng)用于連接圖像發(fā)送裝置與圖像接收裝置的各種數(shù)據(jù)通信線路。本實施方式的特征在于在一幀中，把構(gòu)成圖像數(shù)據(jù)的顏色信息的多個顏色分量 之中的部分顏色分量的圖像數(shù)據(jù)作為編碼對象顏色分量發(fā)送，對由接收側(cè)接收到的當(dāng)前的 編碼對象顏色分量的圖像數(shù)據(jù)與過去的編碼對象顏色分量(與當(dāng)前的編碼對象顏色分量 的顏色不同)的圖像數(shù)據(jù)進(jìn)行合成。據(jù)此，能夠削減圖像的信息量并抑制圖像的編碼率，當(dāng) 在受限的傳輸容量下進(jìn)行圖像通信時，也能夠傳送劣化少的圖像。圖像通信裝置Al包括圖像發(fā)送裝置10A、圖像接收裝置20A、以及網(wǎng)絡(luò)30。網(wǎng)絡(luò) 30在圖像發(fā)送裝置IOA與圖像接收裝置20A之間進(jìn)行數(shù)據(jù)傳送。圖像發(fā)送裝置IOA連接有 攝像裝置40，圖像接收裝置20A連接有顯示裝置50。圖像發(fā)送裝置IOA可以不僅連接攝像 裝置40，而且還連接輸出圖像數(shù)據(jù)的設(shè)備。圖像發(fā)送裝置IOA包括圖像獲取部11、編碼部12、以及數(shù)據(jù)傳輸部13。圖像獲 取部11進(jìn)行將從攝像裝置40輸入的圖像數(shù)據(jù)取入到存儲器的處理。在圖像獲取部11中， 可以將輸入圖像數(shù)據(jù)設(shè)為YUV形式，也可以將其設(shè)為RGB形式。YUV為亮度和色差多路復(fù)用 信號，Y為亮度信號，U為紅色差信號，V為藍(lán)色差信號。編碼部12進(jìn)行以下處理·從圖像獲取部11的存儲器中讀取圖像數(shù)據(jù)；·每次，選擇構(gòu)成所讀取的圖像數(shù)據(jù)的顏色信息的多個顏色分量數(shù)據(jù)之中的部分 顏色分量作為編碼對象顏色分量；·通過預(yù)測編碼、正交變換編碼、矢量量化等已知的圖像壓縮算法，對選擇出的編 碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行編碼；·將編碼對象顏色分量的圖像數(shù)據(jù)輸出至數(shù)據(jù)傳輸部13。此外，編碼對象顏色分量的選擇是根據(jù)顏色分量分割模式進(jìn)行的。顏色分量分割 模式是表示在包括例如圖2所示的顏色分量分割模式與圖3所示的顏色分量分割模式在內(nèi) 的多個顏色分量分割模式之中，用哪個模式進(jìn)行圖像數(shù)據(jù)的發(fā)送和接收的信息。顏色分量 分割模式被預(yù)先設(shè)定在ROM等存儲器中。在上述結(jié)構(gòu)中，編碼對象顏色分量根據(jù)顏色分量 分割模式被周期性地依次替換。7
數(shù)據(jù)傳輸部13將編碼對象顏色分量的圖像數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)30。圖像接收裝置20A包括數(shù)據(jù)接收部21、解碼部22、存儲部23、以及合成部24。數(shù) 據(jù)接收部21接收從網(wǎng)絡(luò)30接收到的編碼對象顏色分量的編碼數(shù)據(jù)，并輸出至解碼部22。 解碼部22對編碼對象顏色分量的編碼數(shù)據(jù)進(jìn)行解碼，并輸出至存儲部23。合成部M通過 對由解碼部22解碼的當(dāng)前的編碼對象顏色分量的圖像數(shù)據(jù)與從存儲部23中讀出的顏色不 同的過去的編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行合成，來還原圖像。合成部M根據(jù)預(yù)先設(shè)定 的顏色分量分割模式信息，進(jìn)行這種圖像解碼處理。參考圖2，以輸入圖像數(shù)據(jù)為YUV形式，將其顏色分量分割為Y分量、U分量、V分 量并以YUVYUV的順序進(jìn)行發(fā)送的情況為例，對合成部M的圖像解碼處理進(jìn)行說明。假設(shè)現(xiàn)在圖像發(fā)送裝置IOA的圖像獲取部11獲取了第η幀的圖像數(shù)據(jù)。(η幀中的處理)在該時刻，編碼部12在將第η幀的輸入圖像數(shù)據(jù)的Y分量Yn作為編碼對象顏色 分量進(jìn)行編碼之后，將編碼后的結(jié)果輸出至數(shù)據(jù)傳輸部13。數(shù)據(jù)傳輸部13將編碼對象顏色 分量的編碼數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)30。接收到第η幀的輸入圖像數(shù)據(jù)的Y分量Yn的編碼數(shù)據(jù)的 圖像接收裝置20Α的解碼部22對編碼數(shù)據(jù)進(jìn)行解碼，并存儲在存儲部23中。合成部M在對以下數(shù)據(jù)·存儲在存儲部23中的在當(dāng)前幀接收到的第η幀的編碼對象顏色分量，即Y分量 Yn·在一幀前接收到的第(η-1)幀的編碼對象顏色分量，即V分量Vlri·在兩幀前接收到的第(η-2)幀的編碼對象顏色分量，即U分量Un_2進(jìn)行合成之 后，將該合成結(jié)果作為第η幀的再生圖像Pn進(jìn)行再生。((η+1)幀中的處理)在該時刻，合成部M在對以下數(shù)據(jù)·第(η-1)幀的編碼對象顏色分量，即V分量Vlri·第η幀的編碼對象顏色分量，即Y分量Yn·第(η+1)幀的編碼對象顏色分量，即U分量Un+1進(jìn)行合成之后，將該合成結(jié)果作 為第(η+1)幀的再生圖像Plri進(jìn)行再生。圖像發(fā)送裝置IOA與圖像接收裝置20Α變更依次更新的編碼對象顏色分量，來重 復(fù)進(jìn)行上述處理。此外，也可以如圖3、圖4所示那樣分割圖像數(shù)據(jù)的顏色分量來進(jìn)行發(fā)送。在圖3 的例子中，將圖像數(shù)據(jù)分割為Y分量、U分量、V分量之后，按Y ·υ·γ·ν·γ·υ·γ·ν這樣 的順序替換并發(fā)送編碼對象顏色分量。此時，分別將以下數(shù)據(jù)·在第(η-2)巾貞，輸入圖像數(shù)據(jù)的U分量Un_2的編碼數(shù)據(jù) 在第(η-1)幀，輸入圖像數(shù)據(jù)的Y分量Ylri的編碼數(shù)據(jù)作為編碼對象顏色分量發(fā) 送。解碼部22對以下數(shù)據(jù)·存儲在存儲部23中的第(η-2)幀的編碼對象顏色分量，即U分量Un_2的編碼數(shù) 據(jù)
·第(n-1)幀的編碼對象顏色分量，即Y分量Ylri的編碼數(shù)據(jù)進(jìn)行解碼。合成部M對以下數(shù)據(jù)·由解碼部22解碼的第(n-2)幀以及第(n_l)幀中的編碼對象顏色分量的解碼數(shù) 據(jù)，即U分量Un_2、Y分量Ylri 第η幀的再生圖像數(shù)據(jù)·在當(dāng)前幀接收到的輸入圖像的V分量Vn進(jìn)行合成，將該合成結(jié)果輸出至顯示裝 置50并作為再生圖像Pn進(jìn)行再生。在第(η+l)幀，在解碼部22中，輸入圖像數(shù)據(jù)的Y分量Υη+1的編碼數(shù)據(jù)被更新。合成部M對以下數(shù)據(jù)·第(η+l)幀的輸入圖像數(shù)據(jù)的Y分量Υη+1·第η幀的輸入圖像的V分量Vn 第(n-幻幀的輸入圖像數(shù)據(jù)的U分量Un_2進(jìn)行合成，將該合成結(jié)果輸出至顯示裝 置50并進(jìn)行再生。在圖4的例子中，將圖像數(shù)據(jù)分割為Y分量與UV分量并交替發(fā)送。(第η幀的處理)在該時刻，·在圖像發(fā)送裝置IOA中，數(shù)據(jù)傳輸部13將輸入圖像數(shù)據(jù)的UV分量UVj第η幀 的編碼對象顏色分量)的編碼數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)30; 在圖像接收裝置20Α中，合成部M對在由存儲部23存儲的第(η_1)幀接收到的 圖像數(shù)據(jù)的Y分量Ylri (第(n-1)幀的編碼對象顏色分量)與在當(dāng)前幀(η幀)接收到的圖 像數(shù)據(jù)的UV分量UVn(第η幀的編碼對象顏色分量)進(jìn)行合成，并再生該合成圖像。(第(η+l)幀的處理)在該時刻， 在圖像發(fā)送裝置IOA中，數(shù)據(jù)傳輸部13將輸入圖像數(shù)據(jù)的Y分量Υη+1 (第(η+l) 幀的編碼對象顏色分量)的編碼數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)30 ；·在圖像接收裝置20Α中，合成部M對在第η幀接收到的圖像數(shù)據(jù)的UV分量 UVn(第η幀的編碼對象顏色分量)與在當(dāng)前幀((η+l)幀)接收到的圖像數(shù)據(jù)的Y分量 Υη+1 (第(η+l)幀的編碼對象顏色分量)進(jìn)行合成，并再生該合成圖像。此外，合成部M再生圖像數(shù)據(jù)，同時將再生后的圖像數(shù)據(jù)輸出至顯示裝置50。以 后同樣交替地重復(fù)進(jìn)行Y分量與UV分量的更新。本發(fā)明并不限于上述說明的例子，還可以考慮每隔一幀發(fā)送圖像數(shù)據(jù)的YU分量 與YV分量等各種顏色分量的分割方法及其組合。YUV形式的信號并不限于YUV444，通過使 用YUV422、YUV420、YUV411等格式，能夠進(jìn)一步削減信息量。也可以向圖像獲取部11輸入 RGB形式的圖像，也可以使圖像獲取部11具有將YUV形式轉(zhuǎn)換為RGB形式的功能，如圖5所 示，分割為R分量、G分量、B分量來進(jìn)行發(fā)送。如上所述，根據(jù)本實施方式，編碼部12在一幀內(nèi)取出輸入圖像數(shù)據(jù)中的多個顏色 分量之中的部分顏色分量作為編碼對象顏色分量之后，對該編碼對象顏色分量的圖像數(shù)據(jù) 進(jìn)行編碼，數(shù)據(jù)傳輸部13將該編碼數(shù)據(jù)傳輸至圖像接收裝置20A。因此，應(yīng)處理的圖像數(shù)據(jù) 的信息量得以削減，編碼率得到抑制。其結(jié)果是即使在網(wǎng)絡(luò)30的傳輸容量受限時，也能夠以劣化少的狀態(tài)發(fā)送圖像數(shù)據(jù)。另外，由于對在圖像接收裝置20A中接收到的當(dāng)前的編碼 對象顏色分量的圖像數(shù)據(jù)與過去的編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行合成，因此能夠以未 劣化的狀態(tài)再現(xiàn)原始的輸入圖像數(shù)據(jù)。(實施方式2)圖6是示出本發(fā)明的實施方式2的圖像通信裝置A2的整體結(jié)構(gòu)的框圖。在圖6 中，與實施方式1的圖1中的符號相同的符號表示相同的結(jié)構(gòu)單元，省略關(guān)于它們的詳細(xì)說 明。在圖像通信裝置A2中，圖像發(fā)送裝置IOB中進(jìn)一步設(shè)置有分割模式設(shè)定部14。分割模 式設(shè)定部14具有寄存器等可變存儲器，該存儲器中存儲有輸入圖像的數(shù)據(jù)形式與顏色分 量分割模式。在此，顏色分量分割模式與實施方式1同樣，是表示在包括例如圖2所示的顏 色分量分割模式與圖3所示的顏色分量分割模式在內(nèi)的多個顏色分量分割模式之中，用哪 個模式進(jìn)行圖像數(shù)據(jù)的發(fā)送和接收的信息。在圖像發(fā)送裝置IOB中，編碼部12與實施方式1同樣，進(jìn)行以下處理·從圖像獲取部11的存儲器中讀取圖像數(shù)據(jù)；·每次，選擇構(gòu)成所讀取的圖像數(shù)據(jù)的顏色信息的多個顏色分量數(shù)據(jù)的部分顏色 分量數(shù)據(jù)作為編碼對象顏色分量數(shù)據(jù)；·通過預(yù)測編碼、正交變換編碼、矢量量化等已知的圖像壓縮算法，對選擇出的編 碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行編碼；·將編碼對象顏色分量的編碼數(shù)據(jù)輸出至數(shù)據(jù)傳輸部13。數(shù)據(jù)傳輸部13將顏色分量分割模式信息附加到編碼數(shù)據(jù)中，并發(fā)送至網(wǎng)絡(luò)30。在圖像接收裝置20B中，數(shù)據(jù)接收部21接收從網(wǎng)絡(luò)30接收到的編碼對象顏色分 量的編碼數(shù)據(jù)，并輸出至解碼部22。解碼部22對編碼對象顏色分量的編碼數(shù)據(jù)進(jìn)行解碼， 并輸出至存儲部23。合成部M通過讀取由解碼部22解碼的當(dāng)前的編碼對象顏色分量的圖 像數(shù)據(jù)與存儲部23中事先存儲的過去的編碼對象顏色分量的圖像數(shù)據(jù)(與當(dāng)前的編碼對 象顏色分量的顏色不同)并進(jìn)行合成，來還原圖像。合成部M根據(jù)與圖像數(shù)據(jù)一起從圖像 發(fā)送裝置IOB發(fā)送來的顏色分量分割模式信息，進(jìn)行這種圖像解碼處理。由于圖像數(shù)據(jù)的 發(fā)送與再生的情況與實施方式1相同，因此省略其說明。如上所述，根據(jù)本實施方式，在分割模式設(shè)定部14中，由于能夠按照網(wǎng)絡(luò)30的擁 擠狀況的變化來設(shè)定顏色分量分割模式，因此無論網(wǎng)絡(luò)30的擁擠狀況如何變化，都能夠以 劣化少的狀態(tài)發(fā)送圖像數(shù)據(jù)。此外，也可以構(gòu)成為在數(shù)據(jù)傳輸部13中設(shè)置網(wǎng)絡(luò)30的流量測定功能，并按照網(wǎng) 絡(luò)30的負(fù)載狀況，在分割模式設(shè)定部14中自動變更顏色分量分割模式。如此構(gòu)成時，當(dāng)網(wǎng) 絡(luò)30的負(fù)載較輕時，在一幀內(nèi)發(fā)送圖像數(shù)據(jù)的所有顏色分量，當(dāng)網(wǎng)絡(luò)30擁擠時，選擇部分 顏色分量作為編碼對象顏色分量，僅發(fā)送該編碼對象顏色分量的圖像數(shù)據(jù)。其結(jié)果是能夠 按照網(wǎng)絡(luò)30的擁堵狀況來增減圖像數(shù)據(jù)的容量。(實施方式3)圖7是示出本發(fā)明的實施方式3的圖像通信裝置A3的整體結(jié)構(gòu)的框圖。在圖7 中，與實施方式1的圖1中的符號相同的符號表示相同的結(jié)構(gòu)單元，省略關(guān)于它們的詳細(xì)說 明。在圖像通信裝置A3中，圖像發(fā)送裝置IOC中進(jìn)一步設(shè)置有運動檢測部15。在圖像獲取 部11所具有的存儲器中存儲了前一幀的輸入圖像數(shù)據(jù)之后，運動檢測部15根據(jù)當(dāng)前的幀10中的輸入圖像數(shù)據(jù)與前一幀的輸入圖像數(shù)據(jù)之間的差分來檢測圖像的運動量。在運動檢測 部15所具有的存儲部中，存儲有用于對圖像數(shù)據(jù)的顏色分量分割模式進(jìn)行切換的閾值。在 編碼部12中，預(yù)先在ROM等存儲器中存儲有顏色分量分割模式。編碼部12對運動檢測部15檢測出的圖像的運動量與上述閾值進(jìn)行比較，當(dāng)判斷 為運動量在閾值以下時，與實施方式1同樣，進(jìn)行以下的處理 根據(jù)預(yù)先設(shè)定的顏色分量分割模式，每次，選擇構(gòu)成所讀取的圖像數(shù)據(jù)的顏色信 息的多個顏色分量數(shù)據(jù)之中的部分顏色分量數(shù)據(jù)作為編碼對象顏色分量數(shù)據(jù)；·通過預(yù)測編碼、正交變換編碼、矢量量化等已知的圖像壓縮算法，對選擇出的編 碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行編碼；·將編碼數(shù)據(jù)輸出至數(shù)據(jù)傳輸部13。另一方面，當(dāng)判斷為檢測出的圖像的運動量大于上述閾值時，編碼部12不對圖像 數(shù)據(jù)的顏色分量進(jìn)行分割，在一幀中，對所有顏色分量的圖像數(shù)據(jù)進(jìn)行編碼。數(shù)據(jù)傳輸部13將顏色分量分割模式信息附加到編碼數(shù)據(jù)中，并發(fā)送至網(wǎng)絡(luò)30。圖像接收裝置20C的數(shù)據(jù)接收部21從網(wǎng)絡(luò)30接收編碼對象顏色分量的編碼數(shù) 據(jù)，并輸出至解碼部22。解碼部22對編碼對象顏色分量的編碼數(shù)據(jù)進(jìn)行解碼，并輸出至存 儲部23。合成部M對從網(wǎng)絡(luò)30接收到的編碼數(shù)據(jù)是否為進(jìn)行過顏色分量分割的數(shù)據(jù)進(jìn)行 判斷。當(dāng)判斷為編碼數(shù)據(jù)是進(jìn)行過顏色分量分割的數(shù)據(jù)時，合成部M與實施方式1同樣， 通過從存儲部23中讀取由解碼部22解碼的當(dāng)前的編碼對象顏色分量的圖像數(shù)據(jù)與過去的 編碼對象顏色分量的圖像數(shù)據(jù)(與當(dāng)前的編碼對象顏色分量的顏色不同)并進(jìn)行合成，來 還原圖像。合成部M根據(jù)預(yù)先設(shè)定的顏色分量分割模式信息，進(jìn)行這種圖像解碼處理。另 一方面，當(dāng)判斷為從網(wǎng)絡(luò)30接收到的編碼數(shù)據(jù)不是進(jìn)行過顏色分量分割的數(shù)據(jù)而是包含 所有顏色分量的數(shù)據(jù)時，合成部M將來自解碼部22的解碼后的圖像數(shù)據(jù)直接輸出至顯示 裝置50。此外，也可以在圖像發(fā)送裝置IOC中設(shè)置與實施方式2相同的分割模式設(shè)定部，預(yù) 先設(shè)定兩個顏色分量分割模式，根據(jù)顏色分量分割模式切換的閾值，在兩個顏色分量分割 模式之間進(jìn)行切換。如上所述，根據(jù)本實施方式，通過運動檢測部15對圖像運動的快慢進(jìn)行檢測，當(dāng) 圖像的運動量大于規(guī)定的閾值時，停止對編碼對象顏色分量與顏色進(jìn)行選擇，切換為對所 有顏色分量的圖像數(shù)據(jù)進(jìn)行編碼。這是利用了在圖像運動較快的狀態(tài)下，雖然會因分辨率 低而產(chǎn)生畫質(zhì)劣化，但這種畫質(zhì)劣化在視覺上不太會造成問題。其結(jié)果是能夠?qū)崿F(xiàn)圖像處 理的速度提升。(實施方式4)圖8是示出本發(fā)明的實施方式4的圖像通信裝置A4的整體結(jié)構(gòu)的框圖。在圖8 中，與實施方式3的圖7中的符號相同的符號指示相同的結(jié)構(gòu)單元，因此省略詳細(xì)說明。在 圖像通信裝置A4的圖像接收裝置20D中，合成部M根據(jù)預(yù)先設(shè)定的顏色分量分割模式信 息，從存儲部23中讀取由解碼部22解碼的且存儲在存儲部23中的當(dāng)前的編碼對象顏色分 量的圖像數(shù)據(jù)與在過去解碼的且存儲在存儲部23中的編碼對象顏色分量的圖像數(shù)據(jù)(與 當(dāng)前的編碼對象顏色分量的顏色不同)并進(jìn)行合成，來還原圖像。此時，由于當(dāng)前幀中的編 碼對象顏色分量的圖像數(shù)據(jù)與過去幀中的編碼對象顏色分量的圖像數(shù)據(jù)產(chǎn)生了時間上的差異，因此運動中的被拍攝物在合成時有可能會產(chǎn)生顏色偏移。本實施方式用于緩和這種 顏色偏移。在圖像通信裝置A4中，圖像接收裝置20D中進(jìn)一步設(shè)置有運動補償部25與平滑 化部26。運動補償部25在使用在當(dāng)前幀中與編碼對象顏色分量的圖像數(shù)據(jù)一起從圖像發(fā) 送裝置IOD發(fā)送來的預(yù)測誤差與運動矢量，對存儲在存儲部23中的過去幀中的編碼對象 顏色分量的圖像數(shù)據(jù)進(jìn)行運動補償處理之后，將該運動補償后的圖像數(shù)據(jù)輸出至平滑化部 26。預(yù)測誤差與運動矢量在圖像發(fā)送裝置IOD中由運動檢測部15計算出來之后，從數(shù)據(jù)傳 輸部13經(jīng)由網(wǎng)絡(luò)30，被發(fā)送至圖像接收裝置20D。平滑化部沈按照與編碼對象顏色分量 的圖像數(shù)據(jù)一起發(fā)送來的圖像的運動量，對圖像數(shù)據(jù)進(jìn)行模糊處理。平滑化部沈使用采用 移動平均法等的平滑濾波器，對圖像數(shù)據(jù)進(jìn)行模糊處理。圖像發(fā)送裝置IOD的運動檢測部15在檢測出輸入圖像與前一幀的圖像數(shù)據(jù)之間 的運動矢量之后，根據(jù)前一幀的圖像數(shù)據(jù)與運動矢量，生成預(yù)測圖像。然后，運動檢測部15 將以下數(shù)據(jù)·在當(dāng)前幀不進(jìn)行發(fā)送的顏色分量的預(yù)測圖像·輸入圖像的差分即預(yù)測誤差·運動矢量和運動量一起附加到當(dāng)前幀的編碼對象顏色分量的圖像數(shù)據(jù)中，并進(jìn)行發(fā)送。這里所說的運動矢量是指，將輸入圖像劃分為mXn塊，當(dāng)從預(yù)測圖像之中檢測出 與欲對其進(jìn)行編碼的塊(以下稱為編碼對象塊)最相似的塊(以下稱為類似塊)時，在編 碼對象塊與類似塊之間所產(chǎn)生的運動矢量。圖9示出預(yù)測誤差與運動矢量的模式圖。數(shù)據(jù)傳輸部13將編碼后的圖像數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)30時，將由運動檢測部15計算出 的以下數(shù)據(jù)·預(yù)測誤差·運動矢量·圖像的運動量附加到圖像數(shù)據(jù)中并進(jìn)行發(fā)送。例如，將圖2所示的圖像數(shù)據(jù)分割為Y分量、U分量、V分量之后，以發(fā)送第η幀的 圖像數(shù)據(jù)的Y分量Yn時為例進(jìn)行說明。此時，運動檢測部15分別進(jìn)行以下處理 根據(jù)第η幀的圖像數(shù)據(jù)的V分量Vn與第(η-1)幀的圖像數(shù)據(jù)的V分量Vlri，計算 出預(yù)測誤差與運動矢量； 根據(jù)第η幀的圖像數(shù)據(jù)的U分量Un與第(η-1)幀的U分量的預(yù)測圖像Ulri ‘，計 算出預(yù)測誤差與運動矢量。數(shù)據(jù)傳輸部13將運動檢測部15的這些計算結(jié)果附加到圖像數(shù)據(jù)中，并進(jìn)行發(fā)送。 在此，預(yù)測圖像Un_/根據(jù)第(η-1)幀的圖像數(shù)據(jù)的U分量Ulri與第(η-2)幀的圖像數(shù)據(jù)的 U分量un_2而生成。接收到這些圖像數(shù)據(jù)的圖像接收裝置20D的運動補償部25使用在當(dāng)前幀(η幀) 中與當(dāng)前的編碼對象顏色分量的圖像數(shù)據(jù)一起發(fā)送來的預(yù)測誤差與運動矢量，對存儲在存 儲部23中的以下圖像數(shù)據(jù)
·第(n-1)幀的編碼對象顏色分量的圖像數(shù)據(jù)，即V分量Vlri·第(n-幻幀的編碼對象顏色分量的圖像數(shù)據(jù)，即U分量Un_2進(jìn)行運動補償處理。平滑化部沈按照與圖像數(shù)據(jù)一起接收到的運動量，對以下圖像數(shù)據(jù)·運動補償后的第(n-1)幀的編碼對象顏色分量的圖像數(shù)據(jù)，即V分量Vlri·運動補償后的第(n-2)幀的編碼對象顏色分量的圖像數(shù)據(jù)，即U分量Un_2·當(dāng)前幀(η幀)的編碼對象顏色分量的圖像數(shù)據(jù)，即Y分量Yn進(jìn)行平滑化。合成部M對以下圖像數(shù)據(jù)·平滑化后的當(dāng)前幀(第η幀)的編碼對象顏色分量的圖像數(shù)據(jù)，即Y分量Yn·運動補償和平滑化后的第(n-1)幀的編碼對象顏色分量的圖像數(shù)據(jù)，即V分量 Vn-!·運動補償和平滑化后的第(ΠΙ)幀的編碼對象顏色分量的圖像數(shù)據(jù)，即U分量 Un_2進(jìn)行合成，并再生圖像。人眼對于運動中的被拍攝物，其視覺會有所下降。因此，如果對過去幀和當(dāng)前幀的 編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行模糊處理之后，由合成部M進(jìn)行合成，則能夠緩和因各 編碼對象顏色分量的時間上的差異而造成的顏色偏移。此外，也可以由運動檢測部15將輸入圖像數(shù)據(jù)劃分為mX η ±夬，針對每一塊檢測運 動量，并附加到圖像數(shù)據(jù)中進(jìn)行發(fā)送，由平滑化部沈?qū)γ總€mXn塊按照運動量進(jìn)行平滑化 處理。這樣，能夠再生更為自然的圖像。但是，由于隨著塊尺寸的減小，信息量將增加，因此 需要選擇適當(dāng)尺寸下的塊數(shù)。另外，為了防止因針對每一塊按照運動量進(jìn)行平滑化處理而導(dǎo)致僅圖像的一部分 發(fā)生模糊，也可以按照運動量最大的塊，針對圖像整體進(jìn)行平滑化處理。另外，也可以在運 動量大時，降低顏色分量的色度，而使顏色偏移不顯著。此外，也可以使圖像發(fā)送裝置IOD具有分割模式設(shè)定部，根據(jù)設(shè)定的顏色分量分 割模式進(jìn)行編碼，從數(shù)據(jù)傳輸部13與圖像數(shù)據(jù)、運動量一起發(fā)送顏色分量分割模式信息。在經(jīng)由網(wǎng)絡(luò)等傳輸容量受限的數(shù)據(jù)通信線路發(fā)送和接收運動圖像的系統(tǒng)中，本發(fā) 明的技術(shù)作為以劣化少的狀態(tài)發(fā)送圖像數(shù)據(jù)的圖像發(fā)送裝置以及以未劣化的狀態(tài)再現(xiàn)原 始的輸入圖像數(shù)據(jù)的圖像接收裝置是有用的。符號說明Al A4圖像通信裝置IOA IOD圖像發(fā)送裝置11圖像獲取部12編碼部13數(shù)據(jù)傳輸部14分割模式設(shè)定部15運動檢測部20A 20D圖像接收裝置21數(shù)據(jù)接收部22解碼部23存儲部13
M合成部25運動補償部沈平滑化部30 網(wǎng)絡(luò)40攝像裝置50顯示裝置
權(quán)利要求
1.一種圖像發(fā)送裝置，包括圖像獲取部，獲取從外部輸入的輸入圖像數(shù)據(jù)；編碼部，在周期性地變更并選擇出構(gòu)成所述圖像獲取部獲取的所述圖像數(shù)據(jù)的顏色信 息的多個顏色分量之中的部分顏色分量作為編碼對象顏色分量之后，對選擇出的所述編碼 對象顏色分量的圖像數(shù)據(jù)進(jìn)行編碼；以及數(shù)據(jù)傳輸部，將由所述編碼部編碼后的編碼對象顏色分量的圖像數(shù)據(jù)傳輸至數(shù)據(jù)通信 線路。
2.一種圖像接收裝置，包括數(shù)據(jù)接收部，經(jīng)由數(shù)據(jù)通信線路，接收編碼后的編碼對象顏色分量的圖像數(shù)據(jù)，所述編 碼對象顏色分量是從構(gòu)成圖像數(shù)據(jù)的顏色信息的多個顏色分量之中被周期性地變更并選 擇出的部分顏色分量；解碼部，對由所述數(shù)據(jù)接收部接收的所述編碼后的編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行 解碼；存儲部，存儲由所述解碼部解碼后的所述編碼對象顏色分量的圖像數(shù)據(jù)；以及 合成部，對由所述解碼部解碼后的當(dāng)前的編碼對象顏色分量的圖像數(shù)據(jù)以及與所述當(dāng) 前的編碼對象顏色分量的顏色不同且已被存儲在所述存儲部中的解碼后的過去的編碼對 象顏色分量的圖像數(shù)據(jù)進(jìn)行合成。
3.根據(jù)權(quán)利要求1所述的圖像發(fā)送裝置，所述編碼部以幀為單位，按Y分量、U分量、Y 分量、V分量、Y分量、U分量的順序，周期性地替換所述編碼對象顏色分量，并進(jìn)行編碼。
4.根據(jù)權(quán)利要求1所述的圖像發(fā)送裝置，所述編碼部以幀為單位，按Y分量、UV分量、 Y分量、UV分量的順序，周期性地替換所述編碼對象顏色分量，并進(jìn)行編碼。
5.根據(jù)權(quán)利要求1所述的圖像發(fā)送裝置，進(jìn)一步包括分割模式設(shè)定部，設(shè)定顏色分量分割模式，所述顏色分量分割模式表示所述編碼對象 顏色分量的變更設(shè)定，所述編碼部在根據(jù)由所述分割模式設(shè)定部設(shè)定的顏色分量分割模式，從多個顏色分量 之中周期性地變更并選擇出所述編碼對象顏色分量之后，對選擇出的所述編碼對象顏色分 量的圖像數(shù)據(jù)進(jìn)行編碼，所述數(shù)據(jù)傳輸部在將所述分割模式設(shè)定部設(shè)定的所述顏色分量分割模式信息附加到 所述編碼后的所述編碼對象顏色分量的圖像數(shù)據(jù)中的狀態(tài)下，傳輸至數(shù)據(jù)通信線路。
6.根據(jù)權(quán)利要求5所述的圖像發(fā)送裝置，所述數(shù)據(jù)傳輸部測定所述數(shù)據(jù)通信線路中的負(fù)載狀況，所述分割模式設(shè)定部按照所述數(shù)據(jù)傳輸部測定出的所述負(fù)載狀況來設(shè)定所述顏色分 量分割模式。
7.根據(jù)權(quán)利要求1所述的圖像發(fā)送裝置，進(jìn)一步包括 運動檢測部，對所述輸入圖像數(shù)據(jù)中的圖像的運動量進(jìn)行檢測，所述編碼部在判斷為由所述運動檢測部檢測的所述圖像的運動量大于規(guī)定的閾值時， 對構(gòu)成所述圖像數(shù)據(jù)的所有顏色分量的圖像數(shù)據(jù)進(jìn)行編碼。
8.根據(jù)權(quán)利要求1所述的圖像發(fā)送裝置，進(jìn)一步包括 運動檢測部，對所述輸入圖像數(shù)據(jù)中的圖像的運動量進(jìn)行檢測，所述編碼部以幀為單位替換所述編碼對象顏色分量，所述運動檢測部對與所述編碼對象顏色分量不同的顏色分量的運動量進(jìn)行檢測， 所述數(shù)據(jù)傳輸部進(jìn)一步將與所述編碼對象顏色分量不同的顏色分量的運動量傳輸至 數(shù)據(jù)通信線路。
9.根據(jù)權(quán)利要求2所述的圖像接收裝置，進(jìn)一步包括 運動補償部、平滑化部以及合成部，所述數(shù)據(jù)接收部進(jìn)一步接收與所述編碼對象顏色分量的顏色不同的顏色分量的運動量，所述運動補償部使用當(dāng)前接收到的所述顏色分量的運動量，對存儲在所述存儲部中的 所述過去的圖像數(shù)據(jù)進(jìn)行運動補償，所述平滑化部按照接收到的所述顏色分量的運動量，對存儲在所述存儲部中的所述過 去的圖像數(shù)據(jù)，與由所述解碼部解碼后的當(dāng)前接收到的所述編碼對象顏色分量的圖像數(shù)據(jù) 的解碼數(shù)據(jù)，進(jìn)行平滑化，所述合成部對所述數(shù)據(jù)接收部當(dāng)前接收到之后、由所述平滑化部進(jìn)行平滑化、進(jìn)而由 所述解碼部解碼后的所述編碼對象顏色分量的圖像數(shù)據(jù)，與由所述運動補償部進(jìn)行運動補 償處理后的所述過去的圖像數(shù)據(jù)，進(jìn)行合成。
全文摘要
在圖像發(fā)送裝置中，編碼部在周期性地變更并選擇出構(gòu)成輸入圖像數(shù)據(jù)的顏色信息的多個顏色分量之中的部分顏色分量作為編碼對象顏色分量之后，對選擇出的所述編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行編碼，數(shù)據(jù)傳輸部將編碼后的編碼對象顏色分量的圖像數(shù)據(jù)傳輸至數(shù)據(jù)通信線路。在圖像接收裝置中，數(shù)據(jù)接收部經(jīng)由數(shù)據(jù)通信線路接收到編碼對象顏色分量的圖像數(shù)據(jù)時，解碼部對編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行解碼，存儲部進(jìn)行存儲，合成部對由解碼部解碼后的當(dāng)前的編碼對象顏色分量的圖像數(shù)據(jù)以及與編碼對象顏色分量的顏色不同且已被存儲在存儲部中的過去的編碼對象顏色分量的圖像數(shù)據(jù)進(jìn)行合成。
文檔編號H04N1/41GK102047664SQ20098011988
公開日2011年5月4日 申請日期2009年5月19日 優(yōu)先權(quán)日2008年5月30日
發(fā)明者山本真嗣, 田中望美 申請人:松下電器產(chǎn)業(yè)株式會社