專利名稱：發(fā)送設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送設(shè)備，發(fā)送方法，接收設(shè)備，接收方法，發(fā)送和接收設(shè) 備，發(fā)送和接收方法，記錄介質(zhì)，和信號。特別是，本發(fā)明涉及允許例如按 有限發(fā)送速率(具有一個有限發(fā)送帶寬)發(fā)送圖像數(shù)據(jù)和允許顯示具有高空 間分辨率的圖像的一種發(fā)送設(shè)備， 一種發(fā)送方法， 一種接收設(shè)備， 一種接收 方法， 一種發(fā)送和接收設(shè)備， 一種發(fā)送和接收方法， 一種記錄介質(zhì)，和一種 信號。
背景技術(shù)：
例如， 一個相關(guān)參考文件，日本專利待審公開平10-112856公開了一種 圖像發(fā)送設(shè)備。在該圖像發(fā)送設(shè)備中，發(fā)送方發(fā)送圖像的一個特定區(qū)域的圖 像數(shù)據(jù)，該圖像其它區(qū)域的圖像數(shù)據(jù)相應于接收方發(fā)出的命令用不同信息量 發(fā)送。接收方顯示處在含有一個較高空間分辨率(空間方向的分辨率)的指 定點的區(qū)域中的圖像，和顯示處在一個較低空間分辨率的其他區(qū)域中的圖像。
換句話說，當發(fā)送方經(jīng)一個發(fā)送路徑向接收方發(fā)送圖像數(shù)據(jù)時，發(fā)送方 不能以高于該發(fā)送路徑的數(shù)據(jù)速率發(fā)送圖像。因而，當接收方在實際的時基 上顯示一個數(shù)據(jù)時，發(fā)送方將以對應于發(fā)送路徑的發(fā)送速率向接收方發(fā)送圖 像數(shù)據(jù)。因此，如果發(fā)送速率不足夠時，那么在接收方顯示的圖像的空間方 向上的空間分辨率則完全惡化。
為了解決這一問題，在日本專利待審公開平10-112856的圖像發(fā)送設(shè)備 中，圖像的 一個區(qū)域中的圖像數(shù)據(jù)和該圖像的其它區(qū)域中的圖像數(shù)據(jù)以不同 信息量發(fā)送。含有一個指定點的該區(qū)域中的圖像和其它區(qū)域中的圖像在接收 方分別以高空間分辨率和低空間分辨率顯示。
換句話說，在日本待審公開平10-112856的圖像發(fā)送設(shè)備中，用戶要仔 細觀看的一個部分的空間分辨率的改善是以其它部分的空間分辨率(降低) 為代價的。
另一方面，在日本專利待審公開平10-112856的圖像發(fā)送設(shè)備中，由于 用戶要仔細觀看的部分空間分辨率的改善是以其它部分的空間分辨率為代價 的，所以用戶要仔細觀看的部分空間分辨率僅以犧牲的空間分辨率為代價得 到改善。
此外，發(fā)送路徑的發(fā)送速率非常低時，如果用戶要仔細觀看部分的空間 分辨率的改善以其它部分的空間分辨的犧牲為代價，那么其它部分的空間分 辨率則嚴重惡化。在最壞的情況下，用戶不能清楚地觀看其它部分。
本發(fā)明是基于上述觀點做出的。本發(fā)明的目的是允許圖像的空間分辨率 相應于用戶的偏愛得到更好的改善。
發(fā)明概述
本發(fā)明的第一發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收 裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應于控制信息控 制發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電平(level)方向中的至 少兩個方向的分辨率；和發(fā)送裝置，向接收設(shè)備發(fā)送相應于控制信息已經(jīng)控 制至少兩個方向中的分辨率的數(shù)據(jù)。
本發(fā)明的接收設(shè)備是接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收設(shè)備，包括發(fā) 送裝置，用于向發(fā)送設(shè)備發(fā)送控制信息，以便相應于控制信息控制數(shù)據(jù)的時 間方向、空間方向和電平方向的至少兩個方向上的分辨率；接收裝置，用于 接收發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個方向已經(jīng)得到 控制；和輸出裝置，輸出由接收裝置接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收設(shè)備是具有用于發(fā)送數(shù)據(jù)的發(fā)送設(shè)備和用于接收數(shù) 據(jù)的接收設(shè)備的發(fā)送和接收設(shè)備，其中發(fā)送設(shè)備包括控制信息接收裝置， 用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，用于相應于控制信息控制 發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電平方向的至少兩個方向上 的分辨率；和數(shù)據(jù)發(fā)送裝置，用于向接收設(shè)備發(fā)送已經(jīng)相應于控制信息控制 至少兩個方向的分辨率的數(shù)據(jù)；以及其中接收設(shè)備包括控制信息發(fā)送裝置， 用于發(fā)送控制信息；數(shù)據(jù)接收裝置，用于接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)
據(jù)的分辨率在數(shù)據(jù)的至少兩個方向上被控制；和輸出裝置，用于輸出由數(shù)據(jù) 接收裝置接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收 裝置，用于接收從接收設(shè)備發(fā)送的控制信息；歸類裝置，相應于控制信息對 數(shù)據(jù)歸類；和發(fā)送裝置，相應于數(shù)據(jù)的歸類結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第 一發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步 驟接收從接收設(shè)備發(fā)送的控制信息；相應于控制信息控制發(fā)送給接收設(shè)備 的數(shù)據(jù)在時間方向、空間方向和電平方向的至少兩個方向上的分辨率；和把 已經(jīng)相應于控制信息控制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的接收方法是一個接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收方法，包括 以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應于控制信息控制數(shù)據(jù)的時間 方向、空間方向和電平方向的至少兩個方向上的分辨率；接收發(fā)送設(shè)備發(fā)送 的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上被控制；和輸出在接收步 驟上接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收方法是具有發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的處理和接收數(shù)據(jù) 的接收設(shè)備的處理的發(fā)送和接收方法，其中發(fā)送設(shè)備的處理包括以下步驟 接收從接收設(shè)備發(fā)送的控制信息；相應于控制信息控制發(fā)送給接收設(shè)備的數(shù) 據(jù)在時間方向、空間方向和電平方向的至少兩個方向上的分辨率；和4巴已經(jīng) 相應于控制信息控制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接 收設(shè)備的處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)， 該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上被控制；并輸出在數(shù)據(jù)接收步驟中 接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步 驟接收從接收設(shè)備發(fā)送的控制信息；相應于控制信息對數(shù)據(jù)歸類；和相應 于數(shù)據(jù)的歸類結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計算機執(zhí) 行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收 設(shè)備發(fā)送的控制信息；相應于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方 向、空間方向和電平方向的至少兩個方向上的分辨率；和把已經(jīng)相應于控制 信息控制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計算機執(zhí)
行接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā) 送設(shè)備發(fā)送控制信息，以便相應于控制信息控制數(shù)據(jù)在時間方向、空間方向
和電平方向的至少兩個方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù) 據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上已經(jīng)被控制；和輸出在接收步驟中接收 的數(shù)據(jù)。
本發(fā)明的第三記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序致使計算機 執(zhí)行發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其 中發(fā)送設(shè)備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相 應于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方向、空間方向和電平方向 的至少兩個方向上的分辨率；和把已經(jīng)相應于控制信息控制至少兩個方向的 分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā) 送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩 個方向上已經(jīng)被控制；并輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計算機執(zhí) 行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收 設(shè)備發(fā)送的控制信息；相應于控制信息歸類數(shù)據(jù)；和相應于數(shù)據(jù)的歸類結(jié)果 向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一信號是一種包含程序的信號，該程序致使計算機執(zhí)行向接 收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā) 送的控制信息；相應于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方向、空 間方向和電平方向的至少兩個方向上的分辨率；和把已經(jīng)相應于控制信息控 制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二信號是一種包含程序的信號，該程序致使計算機執(zhí)行接收 從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā)送設(shè)備 發(fā)送控制信息，以便相應于控制信息控制數(shù)據(jù)在時間方向、空間方向和電平 方向的至少兩個方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分 辨率至少在數(shù)據(jù)的兩個方向上已經(jīng)被控制；和輸出在接收步驟中接收的數(shù)據(jù)。
本發(fā)明的第三信號是一種包含程序的信號，該程序致使計算機執(zhí)行發(fā)送 數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其中發(fā)送設(shè) 備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應于控制 信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方向、空間方向和電平方向的至少兩
個方向上的分辨率；和把已經(jīng)相應于控制信息控制至少兩個方向的分辨率的 數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā)送控制信 息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上 被控制；和輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四信號是一種包含程序的信號，該程序致使計算機執(zhí)行向接 收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā) 送的控制信息；相應于控制信息歸類數(shù)據(jù)；和相應于數(shù)據(jù)的歸類結(jié)果向接收 設(shè)備發(fā)送數(shù)據(jù)。
根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號， 接收從一個接收設(shè)備發(fā)送的控制信息。相應于該控制信息，控制時間方向、 空間方向和電平方向中的至少兩個方向上的分辨率。把相應于該控制信息控 制至少兩個方向分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號，向發(fā)送 設(shè)備發(fā)送控制信息，該發(fā)送設(shè)備相應于該控制信息控制時間方向、空間方向 和電平方向的至少兩個方向上的分辨率。此外，相應于該控制信息已經(jīng)控制
根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三 信號，發(fā)送設(shè)備接收自接收設(shè)備發(fā)送的控制信息。相應于該控制信息，控制 時間方向、空間方向和電平方向的至少兩個方向上的分辨率備。相應于該控 制信息已經(jīng)控制的至少兩個方向上的分辨率的數(shù)據(jù)備傳送給接收設(shè)備，此外， 接收設(shè)備向發(fā)送設(shè)備發(fā)送控制信息。相應于該控制信息控制的至少兩個方向 上的分辨率的數(shù)據(jù)自發(fā)送設(shè)備發(fā)送，接收和輸出。
根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號， 接收自一個接收設(shè)備發(fā)送的控制信號，相應于該控制信息，歸類數(shù)據(jù)。相應 于該數(shù)據(jù)的歸類結(jié)果，向該接收設(shè)備發(fā)送數(shù)據(jù)。
附圖的筒單說明


圖1是顯示本發(fā)明的實施例的發(fā)送系統(tǒng)的結(jié)構(gòu)實例的示意圖； 圖2是顯示圖1所示的發(fā)送系統(tǒng)的第一結(jié)構(gòu)的實例的詳細示意圖； 圖3是顯示圖1所示的發(fā)送設(shè)備(終端單元)1的結(jié)構(gòu)實例的方框圖； 圖4是解釋圖3所示的發(fā)送設(shè)備的處理的流程圖5是顯示圖1所示的接收設(shè)備(終端單元)2的結(jié)構(gòu)實例的方框圖； 圖6解釋圖5所示的接收設(shè)備2的處理的流程圖； 圖7是顯示圖3所示的發(fā)送處理部分16的結(jié)構(gòu)實例的方框圖； 圖8是顯示圖7所示的編碼部分31的結(jié)構(gòu)實例的方框圖； 圖9A、 9B和9C是解釋分層編碼/解碼的示意圖； 圖10是解釋圖7所示的發(fā)送處理部分16的發(fā)送處理流程圖； 圖ll是顯示圖5所示的接收處理部分21的結(jié)構(gòu)實例的方框圖； 圖12是圖11所示的解碼部分53的結(jié)構(gòu)實例的方框圖； 圖13是顯示圖5所示的組合處理部分22的結(jié)構(gòu)實例的方框圖； 圖14是解釋圖13所示組合處理部分22的組合處理的流程圖； 圖15A、15B和15C是顯示圖5所示的圖像輸出部分23的圖像顯示實例 的示意圖16A和16B解釋圖1所示的從發(fā)送設(shè)備1向接收設(shè)備2發(fā)送的圖像的
空間分辨率與時間分辨率之間關(guān)系的示意圖17是顯示圖3所示的對象提取部分14的結(jié)構(gòu)實例的方框圖18A和18B是解釋圖17所示的開始區(qū)域劃分部分83的處理示意圖19A、 19B、 19C和19D是解釋圖17所示的區(qū)域拼接部分84的處理
的示意圖20是圖17所示的拼接區(qū)域處理部分85和分離區(qū)域處理部分86的處 理的示意圖21是解釋圖17所示的對象提取部分4的對象提取處理的流程圖22是解釋圖21所示的步驟S43上的區(qū)域拼接處理細節(jié)的流程圖23是圖21所示的步驟S44上的拼接區(qū)域處理的細節(jié)的流程圖24是解釋圖21所示的步驟S44上的分離區(qū)域處理細節(jié)的流程圖25是顯示圖7所示的控制部分35的結(jié)構(gòu)實例的方框圖26是解釋對象的特征量(feature amount)的示意圖27是解釋圖25所示的控制部分35的處理細節(jié)的流程圖28是顯示圖1所示的發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實例的詳細示意圖29是顯示圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實例的方框圖30是解釋圖29所示的發(fā)送設(shè)備1的處理的流程圖31是顯示圖28所示的接收設(shè)備2的結(jié)構(gòu)實例的方框圖32是解釋圖31所示的接收設(shè)備2的處理的流程圖； 圖33是顯示圖29所示的發(fā)送處理部分1016的結(jié)構(gòu)實例的方框圖； 圖34是解釋圖33所示的發(fā)送處理部分1016的發(fā)送處理的流程圖； 圖35是顯示圖31所示的組合處理部分的結(jié)構(gòu)實例的方框圖； 圖36是解釋的圖35所示的組合處理部分的組合處理的流程圖； 圖37是顯示圖29所示的對象提取部分1014的實際結(jié)構(gòu)示意圖； 圖3 8是解釋活動對象圖像或靜止對象圖像的提取處理的流程圖； 圖39是解釋靜止區(qū)域或活動區(qū)域確定處理的流程圖； 圖40A、 40B、 40C、 40D和40E是解釋幀差(幀間差值)的計算方法的 示意圖41是解釋連續(xù)點擊確定處理的流程圖42A、 42B、 42C、 42D、 42E和42F是解釋對象號分配方法的示意圖； 圖43是解釋靜止對象組合處理的流程圖； 圖44是解釋活動對象組合處理的流程圖； 圖45是解釋對象提取處理的流程圖46A、 46B、 46C、 46D和46E是解釋對象提取方法的示意圖47是顯示圖31所示的組合處理部分1022的另一個結(jié)構(gòu)實例的方框
圖48是顯示圖28所示的發(fā)送設(shè)備1的另一個結(jié)構(gòu)實例的方框圖； 圖49是顯示圖48所示的變化確定和歸類部分240的結(jié)構(gòu)實例的方框圖； 圖50A和50B是解釋變化確定和歸類部分240的興趣對象區(qū)域變化處理 和興趣對象區(qū)域歸類處理的流程圖51是解釋興趣變化確定處理的流程圖； 圖52是圖1所示的發(fā)送系統(tǒng)的第三結(jié)構(gòu)的詳細實例的示意圖； 圖53是顯示圖52所示的收費服務器4的結(jié)構(gòu)實例的方框圖； 圖54是解釋圖53所示的收費服務器4的處理的流程圖； 圖55是顯示本發(fā)明的實施例的計算機的結(jié)構(gòu)實例的方框圖。
實施發(fā)明的最好形式
圖1示出了根據(jù)本發(fā)明的實施例的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)(該系統(tǒng)是作為 多個裝置的邏輯組合的一個實體，而且與每個裝置是否設(shè)置在一個機架中無
關(guān))。
發(fā)送裝置由至少兩個終端單元1和2組成。就終端單元1和2的關(guān)系而 言， 一個是發(fā)送設(shè)備，另一個是接收設(shè)備。圖像(圖像數(shù)據(jù))從發(fā)送設(shè)備經(jīng) 傳送路徑3發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的實施例，例如，假定終端單元1是發(fā)送設(shè)備，而終端設(shè)備 2是接收設(shè)備，并且假定圖像數(shù)據(jù)在它們之間發(fā)送和接收。在下文中，終端 單元1或2可以被分別稱作發(fā)送設(shè)備1或接收設(shè)備2。
在該情況下，發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送圖像數(shù)據(jù)。接 收設(shè)備2接收來自發(fā)送設(shè)備1的圖像數(shù)據(jù)。下面將要說明圖像數(shù)據(jù)在圖像輸 出部分23 (參見圖5)上的顯示。圖像輸出部分23例如由液晶顯示器或CRT (陰極射線管)組成。此外，接收部分2經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控 制信息，該控制信息控制圖像輸出部分23所顯示的圖像空間方向的空間分辨 率和時間方向的時間分辨率。
發(fā)送設(shè)備1接收來自接收設(shè)備2的控制信息，并相應于該控制信息控制 圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時間分辨率在 滿足預定條件時變化。
就發(fā)送設(shè)備1和接收設(shè)備2來說，可以使用諸如PHS (個人手持電話系 統(tǒng))(商標)單元的終端單元和諸如便攜電話單元的便攜式終端單元。當使用 PHS單元時，傳送路徑3具有1895.1500至1905.9500Mhz的頻帶，其傳送速 率為128Kbps (每秒比特)。
圖2示出了圖1所示的圖像發(fā)送系統(tǒng)的第一結(jié)構(gòu)的實例；在此，諸如PHS 單元和便攜式電話單元的便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接 收設(shè)備2。
根據(jù)圖2所示的實施例，圖1所示的傳送路徑3由無線基站3-1或3-2 和交換站3-3組成。該交換站3-3是(例如)連接無線基站3-1和3-2的電話 站。無線基站3-1或3-2向/從終端單元1或2發(fā)送和接收一個無線信號。在 終端單元1與2之間，其每一個可以經(jīng)過由無線基站3-l和3-2、收費服務器 4等組成的傳送路徑3向另一個發(fā)送信號，并從另一個終端接收信號?；?3-1的類型可以基站3-2的類型相同或者不相同。
參見圖2,終端單元1包括攝像機部分1-1、顯示器部分1-2、按鍵部分 1-3、揚聲器部分l-4和麥克風1-5。攝影機部分1-1具有可以攝取活動圖像的
圖像拾取裝置和光系統(tǒng)。顯示部分1-2可以顯示字符、符號、圖像等。在輸 入電話號碼、字符、命令等時操作按鍵部分1-3。揚聲器l-4輸出聲音。麥克
風l-5輸入聲音。同樣，終端單元2包括攝影機部分2-l、顯示部分2-2、按 鍵部分2-3、揚聲器2-4和麥克風2-5，它們分別具有與攝影機部分1-1、顯示 部分l-2、 4姿一睫部分l-3、揚聲器l-4和麥克風l-5相同的結(jié)構(gòu)。
麥克風1-5和1-6采集的語音信號在終端單元1和2之間發(fā)送和接收。 此外，可以發(fā)送和接收由攝像機部分1-1和2-l攝取的圖像數(shù)據(jù)。因此，終端 單元1的顯示部分l-2可以顯示由終端單元2的攝影機部分2-l獲取的圖像數(shù) 據(jù)。同樣，終端單元2的顯示部分2-2可以顯示由終端單元1的攝影機部分 1-1獲取的圖像數(shù)據(jù)。
換句話說，發(fā)送設(shè)備1的攝像機部分1-1所攝取的圖像數(shù)據(jù)以及諸如幀 速率的所需信息經(jīng)過有基站部分3-1和3-2以及交換站3-3組成的傳送路徑3 發(fā)送給接收設(shè)備2。接收部分2在由例如液晶顯示器組成的顯示部分2-1上顯 示接收的圖像數(shù)據(jù)(相對應的圖像)。另 一方面，接收設(shè)備2經(jīng)傳送路徑3向 發(fā)送設(shè)備1發(fā)送用于控制在顯示部分2-1上顯示的圖像的空間分辨率和時間 分辨率的控制信息。發(fā)送設(shè)備1接收來自接收設(shè)備2的控制信息并相應于控 制信息控制圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時 間分辨率在滿足預定條件時變化。
下面圖3示出了圖2所示的發(fā)送設(shè)備1的結(jié)構(gòu)的實例。
圖像輸入部分11相當于圖2所示的攝像機部分1-1。圖像輸入部分11 攝取一個特定的對象，并把它的圖像輸送給預處理部分12。預處理部分12 由背景圖像提取部分13、對象提取部分14和附加信息計算部分15組成。預 處理部分12執(zhí)行從圖像輸入部分11輸入的圖像的預處理和把該合成圖像供 應給發(fā)送處理部分16。
換句話說，背景圖像提取部分13從圖像輸入部分11供應的圖像中提取 所謂的背景圖像，和把提取的背景圖像供應給發(fā)送處理部分16。此外，背景 圖像提取部分13所提取的背景圖像還供應給對象提取部分14和附加信息計 算部分15。
作為提取背景圖像的方法，獲取多個連續(xù)幀(例如當前幀和過去的10 個幀)的相同空間位置上的多個像素的像素值的出現(xiàn)頻率。具有最高頻率的 像素值可以作為該位置是背景對待。另一方面，可以取得多個幀的相同位置
上的像素值的平均值(活動平均值)，以作為該位置上的背景圖像。
對象提取部分14執(zhí)行例如從圖像輸入部分11所供給的圖像中減去由背 景圖像提取部分13所提取的背景圖像的減法運算，獲得所謂的前景圖像，并
把該前景圖像供應給發(fā)送處理部分16。當圖像輸入部分11輸入的圖像包含 作為前景的多個實體時，對象提取部分14相應于每一實體提取前景圖像并將 所提取的前景背景提供給發(fā)送處理部分16。另一方面，由對象提取部分14 提取的前景圖像還被提供給附加信息計算部分15。此后，相應于每一實體的 前景圖像可以看作是一個對象。
附加信息計算部分15檢測背景圖像移動矢量和對象移動矢量。背景圖像 移動矢量表示由背景圖像提取部分13提取的背景圖像的移動(相應于圖像輸 入部分11的拍攝方向的移動的背景圖像的移動)。對象移動矢量表示由對象 提取部分14提取的對象的移動。另外，附加信息計算部分15將對象提取部 分14提供的作為附加信息的一幀中的對象的位置信息等提供給發(fā)送處理部 分16。換句話說，當對象提取部分14提取一個對象時，該對象提取部分14 還提取與該對象有關(guān)的信息，比如該對象的位置信息等，并把該信息供應給 附加信息計算部分15。附加信息計算部分15還把該位置信息等作為附加信 息輸出。
發(fā)送處理部分16多路復用由背景圖像提取部分13提取的背景圖像、由 對象提取部分14提取的對象和由附加信息計算部分15獲取的附加信息，并 按其數(shù)據(jù)速率經(jīng)過傳送路徑3將合成的多路復用數(shù)據(jù)發(fā)送給接收設(shè)備2。發(fā) 送處理部分16經(jīng)傳送路徑3接收自接收設(shè)備2發(fā)送的控制信息，并相應于該 控制信息控制背景圖像、對象和附加信息的發(fā)送，使接收設(shè)備2所顯示的圖 像的空間分辨率和時間分辨率在滿足預定條件時變化。
下面結(jié)合圖4所示的流程圖簡要地說明圖3所示的發(fā)送設(shè)備1的處理。 圖像輸入部分11輸出的圖像供給預處理部分12。在步驟Sl上，與處理 部分12執(zhí)行圖像的預處理。換句話說，在步驟S1上，背景圖像提取部分13 或前景圖像提取部分14從圖像輸入部分11輸入的圖像中分別提取背景圖像 或?qū)ο?，并把提取的背景圖像或提取的對象供應給發(fā)送處理部分16。此外， 在步驟Sl上，附加信息計算部分15從圖像輸入部分11輸入的圖像中獲得上 述的附加信息，并把獲得的附加信息供應給發(fā)送處理部分16。發(fā)送處理部分 16經(jīng)傳送路徑3發(fā)送背景圖像、前景圖像和附加信息。此后，流程返回到步
驟Sl,發(fā)送設(shè)備1重復相似的處理。
圖5示出了圖2所示的接收設(shè)備2的結(jié)構(gòu)實例。
發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送多路復用數(shù)據(jù)。該多路復用數(shù)據(jù)由接收處 理部分21接收。接收處理部分21把該多路復用數(shù)據(jù)分離成背景圖像、對象 和附加信息，并把它們供應給組合處理部分22。
組合處理部分22把從接收處理部分21接收的背景圖像、對象和附加信 息組合成原始圖像，并把該合成的圖像供應給圖像輸出部分23。組合處理部 分22相應于下面將要說明的高分辨率信息等改變組合的圖像的空間分辨率 和時間分辨率。
圖像輸出部分23由例如液晶顯示器或CRT組成。圖像輸出部分23顯示 從組合處理部分22輸出的圖像。
控制信息輸入部分24把控制信息輸出給組合處理部分22和控制信息發(fā) 送部分25。換句話說，控制信息輸入部分24組成按鍵部分2-3?？刂菩畔⑤?入部分24由例如諸如跟蹤球的指點器組成。當用戶用控制信息輸入部分24 指定一個由圖像輸出部分23顯示的圖像的特定位置時，控制信息輸入部分 24把該位置檢測為用戶正在考慮的一個考慮點，把該考慮點的坐標放入控制 信息中，并輸出所得的控制信息。另一方面，控制信息輸入部分24由例如一 個攝影機組成。當用戶攝取和認可一個圖像時，控制信息輸入部分24把用戶 正在考慮的一個點檢測為考慮點，把該考慮的點的坐標放入控制信息中，并 輸出該合成的控制信息?？刂菩畔⑤斎氩糠?4可以被構(gòu)造成使用戶可以直接 輸入作為控制信息的由圖像輸出部分23顯示的圖像的空間分辨率和時間分 辨率的結(jié)構(gòu)。
當控制信息發(fā)送部分25接收來自控制信息輸入部分24的控制信息時， 控制信息發(fā)送部分25經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控制信息。
下面結(jié)合圖6所示的流程圖簡要說明圖5所示的接收設(shè)備2的處理。 在接收設(shè)備2中，接收處理部分21經(jīng)傳送路徑3接收來自發(fā)送設(shè)備1 的多路復用數(shù)據(jù)。在步驟Sll,接收處理部分21執(zhí)行一個接收處理，將多路 復用數(shù)據(jù)分離成背景圖像、對象和附加信息。接收處理部分21向組合處理部 分22供應作為接收處理結(jié)果的背景圖像、對象和附加信息。在步驟S12,組 合處理部分22把背景圖像、對象和附加信息組合為原始圖像并把該組成圖像 供應給圖像輸出部分23。圖像輸出部分23顯示該組合圖像。此后，流程返
回到步驟Sll,隨后接收設(shè)備重復相似的處理。
在接收設(shè)備2中，當用戶用控制信息輸入部分24指定一個圖像輸出部分 23所顯示的圖像的考慮點時，該考慮點的坐標被放入控制信息中。該合成控 制信息被供給控制信息發(fā)送部分25?？刂菩畔l(fā)送部分25經(jīng)傳送路徑3向 發(fā)送設(shè)備1發(fā)送該控制信息。當發(fā)送設(shè)備1接收到如上所述的控制信息時， 發(fā)送處理部分16控制背景圖像、對象和附加信息的發(fā)送，使接收設(shè)備2所顯 示的圖像的空間分辨率和時間分辨率可以在滿足約定條件時改變。此后，由 于已經(jīng)被控制的背景圖像、對象和附加信息從發(fā)送設(shè)備1發(fā)送到接收設(shè)備2， 因此在滿足一個預定條件時已改變了空間分辨率和時間分辨率的圖像由接收 設(shè)備2顯示。
圖7示出了圖3所示的發(fā)送設(shè)備1的發(fā)送處理部分16的結(jié)構(gòu)實例。
背景圖像、對象和附加信息從預處理部分12 (參見圖3)供給編碼部分 31和控制部分35。編碼部分31對背景圖像、對象和附加信息編碼，并把該 合成的編碼數(shù)據(jù)供應給MUX (多路復用器)32。 MUX32在控制部分35的控 制下選擇從編碼部分31接收的背景圖像、對象和附加信息并把選擇的編碼數(shù) 據(jù)作為多路復用數(shù)據(jù)供給發(fā)送部分33。發(fā)送部分33調(diào)制從MUX32接收的多 路復用數(shù)據(jù)，并經(jīng)傳送路徑3把該調(diào)制的數(shù)據(jù)發(fā)送給接收設(shè)備2。數(shù)據(jù)量計 算部分34監(jiān)視MUX32向發(fā)送部分33輸出的多路復用數(shù)據(jù)，計算多路復用 數(shù)據(jù)的數(shù)據(jù)速率，并把計算的數(shù)據(jù)速率供應給控制部分35。
控制部分35控制MUX32的多路復用數(shù)據(jù)的輸出，使數(shù)據(jù)量計算部分 34的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。此外，控制部分35經(jīng)傳送路 徑3接收從接收設(shè)備2發(fā)送的控制信息，并相應于該控制信息控制MUX32 的編碼數(shù)據(jù)的選擇。
圖8示出了圖7所示的編碼部分31的結(jié)構(gòu)實例。
背景圖像被供應給差值計算部分41B。差值計算部分41從處理的當前幀 (在下文中，該幀可以稱作考慮幀)的背景圖像中減去剛處理的在前幀的背 景圖像，并把背景圖像的差值數(shù)據(jù)作為相減結(jié)果供應給分層編碼部分42B。 分層編碼部分42B對從差值計算部分41B接收的背景圖像的差值數(shù)據(jù)進行分 層編碼，并把編碼結(jié)果提供給存儲部分43B。存儲部分43B臨時存儲從分層 編碼部分42接收的分層編碼結(jié)果。存儲部分43B中存儲的分層編碼結(jié)果作為 背景圖像的編碼數(shù)據(jù)供應給MUX32 (參見圖7)。
存儲部分43B中存儲的分層編碼結(jié)果供應給本地解碼器44B。本地編碼 器44B把分層編碼結(jié)果進行解碼成為原始背景圖像，并把解碼的背景圖像供 應給差值計算部分部分41B。由本地解碼器部分44B解碼的背景圖像由差值 計算部分41B使用。差值計算部分41B使用解碼的背景圖像來獲得下一幀的 背景圖像的差值數(shù)據(jù)。
對象被供應給差值計算部分41F。差值計算部分41F、分層編碼部分42F、 存儲部分43F和本地解碼器部分44F執(zhí)行與上述的差值計算部分41B、分層 編碼部分42B、存儲部分43B和本地解碼器44B相同的處理。因而，按照與 背景圖像相同的方式，對象被分層編碼并供應給MUX32 (參見圖7)。當存 在多個對象時，差值計算部分41F、分層編碼部分42F存儲部分43F和本地 解碼部分44F以上述方式對多個對象分層編碼。
附加信息提供給VLC (可變長度編碼)部分45。 VCL部分45按照可變 長碼編碼方法對附加信息進行編碼，并把編碼的附加信息供應給MUX32 (參 見圖7)。
下面結(jié)合附圖9將說明由圖8所示的編碼部分31所執(zhí)行的分層編碼/解碼。
假定較低層次的2x2像素(水平x垂直)的四個像素的平均值被視為較 高層次的一個像素(像素值)，并且假定按三個層次級對一個圖像編碼。在這 種情況下，對于考慮到如圖9 (A)所示的8x8個像素的最低層次級中的一個 圖像，計算2x2個像素的左上部分的四個像素h00、 h01、 h02和h03的平均 值m0 。該平均值被m0視作第二層次級的左上部分的一個像素。計算最低 層次級的右上部分的四個像素h10、 hll、 hl2和hl3的平均值ml。計算最低 層次級的左下部分的四個像素h20、 h21、 h22和h23的平均值m2。計算最低 層次級的右上部分的四個像素h30、 h31、 h32和h33的平均值m3。平均值 ml、 m2和m3被分別-見作第二層次級的右上部分、左下部分和右上部分上的 像素。此外，計算第二層次級的2x2像素的四個像素m0、 ml、 m2和m3的 平均值q。該平均值被視作是最高層次級的第三層次級的一個象素。
根據(jù)上述的分層編碼，最高層次級中的圖像的空間分辨率是最低的。圖 像的空間分辨率與層次級成反比。換句話說，最低層次級中的圖像的空間分 辨率是最高的。
在所有象素hOO至h03、 hlO至hl3、 h20至h23、 h30至h33、 m0至m3
和q被發(fā)送的情形下的數(shù)據(jù)量大于僅由較高層次級的象素m0至m3和q發(fā)送 最低層次級的圖像情形下的數(shù)據(jù)量。
因此，如圖9(B)所示，第三層次級的象素q被發(fā)送，而不是例如第 二層次級的象素m0至m3的右下位置上的像素m3被發(fā)送。
此外，如圖9(C)所示，發(fā)送第二層次級的象素m0,而不是發(fā)送例如 最低層次級的象素m0至m3的右下位置上的像素h03。同樣，第二層次級的 剩余像素ml、 m2和q被發(fā)送，而不是發(fā)送第一層次級的象素h13、 h23和 h33。盡管像素q不是第二層次級的一個像素，但它被發(fā)送，而不是發(fā)送直接 從像素h30至h33得到的像素m3。因而，發(fā)送像素q，而不是發(fā)送替代像素 h33的像素m3。
因而，如圖9(C)所示，發(fā)送的像素數(shù)目變成4x4像素16像素。因 此發(fā)送的像素數(shù)目相同于僅僅發(fā)送圖9( A )所示的最低層次級的象素的情況。 在這種情況下，發(fā)送的數(shù)據(jù)量可以避免增加。
替代像素q發(fā)送的像素m3以及替代像素m0至m3發(fā)送的像素h03、hl3、 h23和h33可以按下述方式被解碼。
換言之，由于q是m0至m3的平均值，因此滿足等式q = (m0+ml+m2+m3 ) /4。因此可以相應于等式m3=4xq — (m0+ml+m2)用第 三層次級的象素q和第二層次級的象素m0至m2獲得(解碼)第二層次級的 象素m3。
此外，由于m0是h00至h03的平均值，因此滿足等式 m0=(h00+h01+h02+h03)/4。因此，相應于等式h03=4xm0 - ( h00+h01+h02 )， 可以用第二層次級的象素mO和第一層次級的象素h00至h02獲得第一層次 級的象素h03。按相同的方式，可以獲得hl3、 h23和h33。
因此，在未在一個特定層次級中發(fā)送的像素可以用該層次級中發(fā)送的像 素和上一級的層次級的一個像素來解碼。
下面將結(jié)合圖10所示的流程圖說明圖7所示的發(fā)送處理部分16的發(fā)送 處理。
在步驟S21，在發(fā)送處理部分16中，控制部分35確定接收設(shè)備2是否 已經(jīng)發(fā)送控制信號。當步驟S21的確定結(jié)果表明控制信號還未從接收設(shè)備2 發(fā)送(即，控制部分35還未接收到該控制信息)時，流程前進到步驟S22。 控制部分35控制MUX32選擇背景圖像、對象和附加信息的編碼數(shù)據(jù)，并多
路復用它們，以使接收設(shè)備2可以用正常的時間分辨率(例如， 一個默認時間分辨率)顯示一個圖像。
當正常的時間分辨率是例如30幀/秒時，MUX32選擇背景圖像、對象和 附加信息的編碼數(shù)據(jù)，多路復用該編碼數(shù)據(jù)，和輸出該多路復用的數(shù)據(jù)，以 使該圖像用按傳送路徑3的傳送速率發(fā)送多路復用數(shù)據(jù)的最大時間分辨率來 顯示。
實際上，例如，在按三個層次級執(zhí)行分層編碼的情況中，當(只有)第 三層次級的數(shù)據(jù)以傳送路徑3的傳送速率發(fā)送時，選擇背景圖像、對象和附 加信息的編碼數(shù)據(jù)以顯示第三層次級的圖像。因此，在這種情況下，接收設(shè) 備2用是原始圖像(第一層次級)的1/4 (水平方向和垂直方向)的空間分辨 率和30幀/秒的時間分辨率來顯示一個圖像。
此后，流程前進到步驟S23。在步驟S23,發(fā)送部分33發(fā)送MUX32經(jīng) 傳送路徑3輸出的多路復用數(shù)據(jù)。此后，步驟返回到步驟S21。
當步驟S21上的確定結(jié)果表明控制信號已經(jīng)從接收設(shè)備2發(fā)送(即，控 制部分35已經(jīng)接收到該控制信息)時，流程前進到步驟S24?？刂撇糠?5 相應于控制信號操縱控制信息輸入部分24,從而認可指定的考慮點。此后， 流程前進到步驟S25。
在步驟S25，控制部分35把具有一個考慮點(矩形框具有在幀水平方向 和垂直方向的平行邊并且考慮點在矩形框的重心上)周圍預定尺寸的矩形那 樣的區(qū)域指定為 一個優(yōu)先權(quán)范圍，在該范圍中用優(yōu)先權(quán)改善空間分辨率并且 檢測在該優(yōu)先權(quán)范圍中組成圖像的背景圖像、對象和附加信息。
此后，流程前進到步驟S26。在步驟S26,控制部分35控制MUX32選 擇和多路復用背景圖像、對象和附加信息的編碼數(shù)據(jù)，并多路復用被選擇的 編碼數(shù)據(jù)以使接收設(shè)備2可以用較高的時間分辨率顯示該優(yōu)先權(quán)范圍內(nèi)的圖 像。
換言之，當控制部分35接收來自接收設(shè)備2的控制信號時，控制部分 35控制MUX32以犧牲時間分辨率為代價來改善優(yōu)先權(quán)范圍內(nèi)的圖像的空間 分辨率。
因此，MUX32用優(yōu)先權(quán)選擇顯示第三層次級的圖像和第二層次級的圖 像所需的背景圖像、對象和附加信息的編碼數(shù)據(jù)，多路復用被選擇的編碼數(shù) 據(jù)和輸出該多路復用的數(shù)據(jù)。 此外，在步驟S26，控制部分35控制MUX32把優(yōu)先權(quán)范圍、大小等等 的位置信息插入到選作多路復用數(shù)據(jù)的附加信息中。此后，流程前進到步驟 S23。
在步驟S23，如上述的那樣，發(fā)送部分33發(fā)送MUX32經(jīng)傳送路徑3輸 出的多路復用數(shù)據(jù)。此后，流程返回到步驟S21。
為簡單起見，假定在步驟S26上對于作為非優(yōu)先權(quán)范圍中的一個圖像的 第三層次級的一個圖像連續(xù)選擇顯示第三層次級的圖像的背景信息、對象和 附加信息的編碼數(shù)據(jù)，被多路復用的數(shù)據(jù)量大于在步驟S22上的優(yōu)先權(quán)范圍 內(nèi)的圖像的第二層次級的數(shù)據(jù)的情形。根據(jù)本發(fā)明的實施例，按照上述的方 式以30幀/秒顯示圖像，則僅以傳送路徑3的傳送速率發(fā)送第三層次級的數(shù) 據(jù)。這樣就不能發(fā)送步驟S26上獲得的多路復用數(shù)據(jù)，以便按30幀/秒顯示 圖像。從而，在步驟S23的極端情況下，在步驟S26上獲得的多路復用數(shù)據(jù) 用0幀/秒的時間分辨率發(fā)送。
因此，在這種情況下，對于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2所顯示圖 像的水平方向和垂直方向每個的空間分辨率為原始圖像(即第一層次級)空 間分辨率的1/2。換句話說，接收設(shè)備2顯示其水平方向和垂直方向每個的空 間分辨率二倍于第三層次級的圖像空間分辨率的圖像(第二層次級)。然而， 其時間分辨率為0幀/秒。換言之，接收設(shè)備2顯示一個靜止圖像。
在發(fā)送用于優(yōu)先權(quán)范圍內(nèi)圖像的第二層次級的數(shù)據(jù)之后，當步驟S21的 確定結(jié)果表明已經(jīng)再次從接收設(shè)備2發(fā)送(即，用戶連續(xù)操作控制信息輸入 部分24并指定相同的考慮點)控制信號時，流程前進到步驟S24。在步驟S24, 控制部分35認可該相同的考慮點。此后，流程前進到步驟S25。在步驟S25, 控制部分35指定相同的優(yōu)先權(quán)范圍。此后，流程前進到步驟S26。
在步驟S26,控制部分35控制MUX32選擇背景圖像、對象、和附加信 息的編碼數(shù)據(jù)和多路復用該選擇的編碼數(shù)據(jù)，以使接收設(shè)備2可以顯示具有 較高空間分辨率的優(yōu)先權(quán)范圍內(nèi)的圖像。
在這種情況下，對于優(yōu)先權(quán)范圍內(nèi)的圖像，用優(yōu)先權(quán)選擇第三層次級和 第二層次級的背景圖像、對象和附加信息的編碼數(shù)據(jù)。在這種情況下，用優(yōu) 先權(quán)選擇第一層次級的背景圖像、對象和附加信息的編碼數(shù)據(jù)，并按多路復 用數(shù)據(jù)輸出。此外，在步驟S26,如上所述，高分辨率信息被插入附加信息 中。此后，流程前進到步驟S23。在步驟S23,發(fā)送部分33發(fā)送MUX32經(jīng)
說明書第17/73頁
傳送路徑3輸出的多路復用數(shù)據(jù)。此后，流程前進到步驟S21。
因此，在這種情況下，對于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2顯示具有
與原始圖像(第一層次級)相同的空間分辨率的圖像。換句話說，接收設(shè)備
2顯示具有四倍于第三層次級的圖像的空間分辨率(水平方向和垂直方向的 每個中的)的圖像。然而，時間分辨率例如為0幀/秒。換言之，接收設(shè)備2 顯示一個靜止圖像。
因而，當用戶連續(xù)操作控制信息輸入部分24和指定相同的考慮點時，對 于含有該考慮點的優(yōu)先權(quán)范圍內(nèi)的圖像，以圖像的時間分辨率為代價借助優(yōu)
先權(quán)發(fā)送改善了空間分辨率的數(shù)據(jù)。因而，盡管圖像的時間分辨率惡化，但 含有考慮點的優(yōu)先權(quán)內(nèi)的圖像的空間分辨率得到了改善。因此，優(yōu)選權(quán)范圍 內(nèi)的圖像被更加清楚地顯示。換句話說，用戶考慮的部分的圖像被更加清楚 地顯示。
因此，圖像數(shù)據(jù)的發(fā)送被控制，以使含有一個考慮點的特定優(yōu)先權(quán)范圍 內(nèi)的圖像的空間分辨率和時間分辨率在按傳送路徑3傳送速率發(fā)送的圖像數(shù) 據(jù)的分辨率范圍內(nèi)變化。換句話說，圖像數(shù)據(jù)的發(fā)送被控制，以使優(yōu)先權(quán)范 圍內(nèi)的圖像的空間分辨率得到改善和使該圖像的時間分辨率惡化。因而，借 助于按傳送路徑3的傳送速率發(fā)送的圖像數(shù)據(jù)獲得改善的空間分辨率分辨率 和惡化的時間分辨率。結(jié)果，在一個限制的傳輸速率上，接收設(shè)備2所顯示 的圖像的空間分辨率可以進一步得到改善。
下面圖11示出了圖5所示的接收處理部分21的結(jié)構(gòu)實例。 接收部分51經(jīng)傳送路徑3接收多路復用的數(shù)據(jù)。在多路復用數(shù)據(jù)被解調(diào) 后，供給DMUX (解復用器)52。 DMUX52把從接收部分51接收的多路復 用數(shù)據(jù)分解成背景圖像、對象和附加信息的編碼數(shù)據(jù)，和把分解的數(shù)據(jù)供應 給解碼部分53。解碼部分53把背景圖像、對象和附加信息的編碼數(shù)據(jù)解碼 成它們的原始數(shù)據(jù)并輸送給組合處理部分22 (參見圖5)。
換言之，圖12示出了圖11所示的解碼部分53的結(jié)構(gòu)實例。 作為背景圖像的編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應給加法裝置61B。 此外，已經(jīng)解碼并存儲在存儲部分62B中的前一幀的一個背景圖像也送給加 法裝置61B。加法裝置61B將背景圖像的差值數(shù)據(jù)和自存儲部分62B接收的 前一幀的背景圖像相加，以便對一個預期層次級的背景圖像進行解碼。該解 碼的背景圖像被供應給存儲部分62B。存儲部分62B存儲從加法裝置61B接
收的背景圖像。該解碼的背景圖像被供應給加法裝置61B和組合處理部分22 (參見圖5)。
作為對象編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應給加法器61F。加法裝置 61F和存儲部分62F ^丸行與加法裝置61B和存儲部分62B相似的處理。從而， 按照與背景圖像相同的方式，把對象的差值數(shù)據(jù)解碼為預期的層次級的對象， 然后供應給組合處理部分22 (參見圖5)。當存在多個對象時，加法部分61F 和存儲部分62F對多個對象的差值數(shù)據(jù)進行解碼(分層解碼)。
作為附加信息編碼數(shù)據(jù)的用可變長度碼編碼的附加信息被供應給反向 VLC部分63。反向VLC部分63用可變長度編碼對該附加信息進行解碼。從 而獲得原始附加信息，并供應給組合處理部分22。
圖8所示的本地解碼器44B被構(gòu)成為加法裝置61B和存儲部分62B。同 樣，本地解碼器44F ^^皮構(gòu)成為加法裝置61F和存〗諸部分62F。
圖13示出了圖5所示的組合處理部分22的結(jié)構(gòu)實例。
解碼部分53輸出的背景圖像(參見圖1 )被供應給背景圖像寫入部分71。 解碼部分53輸出的對象被供應給對象寫入部分72。解碼部分53輸出的附加 信息被供應給背景圖像寫入部分71、對象寫入部分72和組合部分77。
背景圖像寫入部分71連續(xù)地把背景圖像寫入背景圖像存儲器73。當一 個圖像是在攝像機搖鏡頭或傾斜情況下拍攝的時，背景圖像是移動的。在此 點，背景圖像寫入部分定位該背景圖像，然后把定位的背景圖像寫入背景圖 像存儲器73。因此，背景圖像存儲器73可以存儲一個在空間上寬于一幀的 圖像的圖像。背景圖像是相應于包含在附加信息中的一個背景圖像移動矢量 來定位背景圖像的。
當背景圖像寫入部分71把具有高空間分辨率的背景圖像寫入背景圖像 存儲器73時，背景圖像寫入部分71相應于從0至1的背景圖像的像素來改 變按背景圖像標志存儲器74的地址所存儲的背景圖像標志的數(shù)值。當背景圖 像寫入部分71把一個背景圖像寫入背景圖像存儲器73時，背景圖像寫入部 分71核對背景圖像標記存儲器74。背景圖像寫入部分71不將一個具有低空 間分辨率的背景圖像寫入其背景圖像標志是1 (表明該像素存儲具有高空間 分辨率的一個背景圖像)的一個像素上。因而，大體上，不論背景圖像何時 供應給背景圖像寫入部分71,都被寫入到背景圖像存儲器73。然而，背景圖 像寫入部分71并不把具有低空間分辨率的背景圖像寫入到存儲具有高空間
分辨率的背景圖像的像素上。結(jié)果，無論高空間分辨率的背景圖像何時供應 給背景背景圖像寫入部分71,都使高空間分辨率的范圍在背景圖像存儲器內(nèi) 變寬。
對象寫入部分72連續(xù)地把所供給的對象寫入到對象存儲器75上。當存 在多個對象時，對象寫入部分72把每個對象寫入到對象存儲器75。當對象 寫入部分72把相同的對象(分配相同的標志)寫入到對象存儲器75時，對 象寫入部分72用新對象(新近供應給對象寫入部分72的對象)替代舊對象。
此外，當對象寫入部分72把高空間分辨率的一個對象寫入到對象存儲器 75時，對象寫入部分72相應于從0到1的對象的像素改變按對象標識存儲 器76的一個地址存儲的一個背景圖像標志。當對象寫入部分72把對象寫入 到對象存儲器75時，對象寫入部分72核對對象標志存儲器76。對象寫入部 分72不把具有低空間分辨率的對象寫入到存儲高空間分辨率的對象(對象標 志=1 )的對象存儲器75上。以背景圖像存儲器73相同的方式，無論對象何 時供給對象寫入部分72，都將該對象寫入到對象寫入部分72。然而，對象寫 入部分72不把低空間分辨率的對象寫入到存儲高空間分辨率的對象的一個 象素上。結(jié)果，無論高空間分辨率的對象何時被供應給對象寫入部分72，高 空間分辨率的對象的數(shù)目在對象存儲器75中遞增。
背景圖像存儲器73存儲從背景圖像寫入部分71供應的背景圖像。背景 圖像標志存儲器74按背景圖像存儲器73的一個地址存儲上述的一比特背景 圖像標志。背景圖像標志存儲器74表示高空間分辨率的背景圖像是否已經(jīng)被 存儲在背景圖像存儲器73的一個地址上。對象存儲器75至少包括一個存儲 從對象寫入部分72供給的每個對象的存儲器部分。對象標志存儲器部分76 存儲上述的一比特對象標志，該標志代表一個高空間分辨率的對象是否已經(jīng) 存儲在對象存儲器75中。
在這種情況下，為簡單起見，背景圖像標志和對象標志是一比特標志。 另一方面，背景圖像標志和對象標志可以是多比特標志。在此情況下，背景 圖像標志和對象標志可以代表多等級分辨率。換句話說， 一比特標志只代表 高分辨率和低分辨率這兩個等級。然而， 一個多比特標志代表多等級分辨率。
組合部分77相應于附加信息中含有的一個背景圖像移動矢量讀出背景 圖像存儲器73中存儲的當前幀(該幀可以被稱之為考慮幀)的背景圖像。此 外，組合部分77相應于附加信息中含有的一個對象移動矢量來組合該背景圖
像和對象存儲器75中存儲的一個對象。結(jié)果，組合部分77生成一個考慮幀 的圖像，并把該圖像供給一個顯示存儲器78。
此外，組合部分77接收來自控制信息輸入部分24 (參見圖5 )的控制信 息時，組合部分77從對象存儲器75中讀出該控制信息中含有的考慮點上的 一個對象，并把該對象供給子窗口存儲器79。
顯示存儲器78作為一個所謂的VRAM (視頻只讀存儲器)。顯示存儲器 78暫時存儲組合部分77供給的考慮幀的圖像。
子窗口存儲器79暫時存儲組合部分77供給的一個對象。
疊加部分80讀出顯示存儲器78的存儲內(nèi)容，并把存儲的內(nèi)容供給圖像 輸出部分23 (參見圖5)。圖像輸出部分23顯示該存儲的內(nèi)容。必要時，疊 加部分80打開圖像輸出部分23上的子窗口 (下文將進行說明)，讀出子窗口 存儲器79的存儲內(nèi)容，并在該子窗口上顯示該內(nèi)容。
下面，結(jié)合圖14將說明圖13所示的組合處理部分22所執(zhí)行的處理(組 合處理)。
首先，在步驟S31,背景圖像寫入部分71或?qū)ο髮懭氩糠?2分別相應 于背景圖像標志存儲器74以上述方式所存儲的背景圖像標志或?qū)ο髽酥敬?儲器75以上述方式所存儲的對象標志將解碼部分53 (參見圖12)供給的一 個背景圖像或一個對象寫入相關(guān)存儲器。
換言之，背景圖像寫入部分71核對背景圖像標志存儲器74,并且把供 給的背景圖像寫入到背景圖像存儲器73的該地址上，此時與該地址相對應的 象素的背景圖像標志為0。相反，如果供給的背景圖像的空間分辨很高時， 背景圖像寫入部分71把該背景圖像寫入背景圖像存儲器73的一個地址上， 此時對應該地址的象素的背景圖像標志為1。
同樣，當對象存儲器75的對象標志為0時，對象寫入部分72將供給的 對象寫入到對象存儲器75。當對象存儲器75的對象標志為1時，如果供給 的對象的空間分辨率很高時，對象寫入部分72將供給的對象寫入到對象存儲 器75。
當背景圖像寫入部分71將背景圖像寫入到背景圖像存儲器73的 一個特 定地址時，如果該地址已經(jīng)存儲了一個背景圖像，則背景圖像寫入部分71將 該背景圖像覆蓋寫到該地址上。該處理也適用于對象存儲器75。
此后，流程前進到步驟S32。在步驟S32,背景圖像寫入部分71和對象
寫入部分72確定附加信息是否含有高分辨率信息。當步驟S32上的確定結(jié)果 表明附加信息含有高分辨率信息(即，用戶已經(jīng)操作控制信息輸入部分24(參 見圖5)、合成控制信息已經(jīng)發(fā)送給發(fā)送設(shè)備，以及發(fā)送設(shè)備1隨后已經(jīng)為優(yōu) 先權(quán)范圍內(nèi)的一個圖像發(fā)送高空間分辨率的 一個背景圖像和一個對象)時， 流程前進到步驟S33。在步驟S33,背景圖像寫入部分71或?qū)ο髮懭氩糠?2 將背景圖像標志存儲器74的背景圖像標志或?qū)ο髽酥敬鎯ζ?6的對象標志 改變?yōu)?。
換句話說，當發(fā)送設(shè)備1為優(yōu)先權(quán)范圍內(nèi)的一個圖像發(fā)送具有高空間分 辨率的一個背景圖像和一個對象時，在步驟S31,背景圖像寫入部分71和對 象寫入部分72將具有高空間分辨率的背景圖像和對象分別寫入背景圖像存 儲器73和對象存儲器75。因而，在步驟S33，組成具有高空間分辨率的背景 圖像和對象的 一個象素的背景圖像標志和對象標志被改變?yōu)? 。
此后，流程前進到步驟S34。組合部分77從對象存儲器75中讀出優(yōu)先 權(quán)范圍內(nèi)的一個對象，并把該對象寫入子窗口存儲器79。
換句話說，當步驟S32上的確定結(jié)果表明附加信息含有高分辨率信息時， 則表示用戶已經(jīng)操作了控制信息輸入部分24(參見圖5)、控制信息已經(jīng)被發(fā) 送給發(fā)送設(shè)備1、以及發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個圖像已經(jīng)發(fā)送 具有高分辨率的一個背景圖像和一個對象。發(fā)送給發(fā)送設(shè)備1的控制信息還 供應給組合部分77。因而，當組合部分77接收控制信息時，在步驟S34上 組合部分77相應于控制信息中含有的考慮點的坐標認同(recognize)其優(yōu)先 權(quán)范圍，從對象存儲器75中讀出發(fā)送設(shè)備l已經(jīng)發(fā)送的該優(yōu)先權(quán)范圍內(nèi)的高 空間分辨率對象，并把該對象寫入到子窗口存儲器79。
此后，流程前進到步驟S35。在步驟S35,組合部分77相應于附加信息 中含有的背景圖像移動矢量從背景圖像存儲器7 3讀出顯示的當前幀(該幀被 稱之為考慮幀)的背景圖像。此外，組合部分77從對象存儲器75讀出關(guān)于 該考慮幀的所顯示的一個圖像。組合部分77相應于附加信息內(nèi)含有的對象移 動矢量將該考慮幀的背景圖像與從對象存儲器75讀出的對象相組合，并把該 考慮幀的組合圖像寫入到顯示存儲器78。換言之，組合部分77將一個背景 圖像寫入到(例如)顯示存儲器78，隨后將一個對象覆蓋寫到顯示存儲器78 上。結(jié)果，組合部分77將一個背景圖像和一個對象被組合為一個考慮幀圖像 的一個圖像寫入到顯示存儲器78上。
在這種方式中，寫入到顯示存儲器78考慮幀的圖像和寫入到子窗口存儲
器79的一個對象被供應給圖像輸出部分23 (參見圖5)。圖像輸出部分23顯 示供給的圖像和對象。
在發(fā)送設(shè)備l中，所謂的軟健可以被包含在例如附加信息中。在這種情 況下，組合部分77使用軟健將對象和背景圖像相組合。
相反，當步驟S32上的確定確定結(jié)果表明附加信息不包含高分辨率信息 (即，用戶未操作控制信息輸入部分24 (參見圖5))，流程前進到步驟S35, 跳過步驟33和34。如上所述，組合部分77從背景圖像存儲器73中讀出考 慮幀的一個背景圖像。此外，組合部分77從對象存儲器75中讀出一個所需 對象，并相應于附加信息將考慮幀的背景圖像與從對象存儲器75中讀出的對 象相結(jié)合。結(jié)果，生成一個考慮幀的圖像，并將其寫入到顯示存儲器78。此 后，流程返回到步驟S31。然后，組合處理部分22重復相似的處理。
在上述組合處理中，當用戶未操作控制信息輸入部分24(參見圖5 )(即， 由諸如沒有被拖動(或點擊)的鼠標的指點裝置組成的控制信息輸入部分24 ) 時，如圖15 (A)所示，低空間分辨率的圖像在圖像輸出部分23 (參見圖5) 上用一個默認時間分辨率顯示。在圖15 (A)中，低空間分辨率的圖像在低 空間分辨率的背景圖像上移動。
當用戶操作控制信息輸入部分24 (參見圖5)時，把光標移動到對象， 并把該光標拖動到對象的位置上，像上所述的那樣，將控制信息發(fā)送給發(fā)送 設(shè)備1。發(fā)送設(shè)備1以時間分辨率為代價為一個優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送顯 示高空間分辨率圖像所需的數(shù)據(jù)。結(jié)果，如圖15 (B)所示的那樣，盡管時 間分辨率為(例如)0幀/秒，但在圖像輸出部分23 (參見圖5)上顯示出圍 繞拖動位置的優(yōu)先權(quán)范圍內(nèi)的一個對象和一個背景圖像的空間分辨率被逐漸 改善的圖像。換句話說，相應于拖動時間(或點擊的數(shù)目)，在優(yōu)先權(quán)范圍內(nèi) 的圖像的空間分辨率被逐漸改善。
在此情況下，如圖15 (B)所示，在圖像輸出部分23 (參見圖5)上打 開一個子窗口 。圍繞拖動位置的優(yōu)先權(quán)范圍內(nèi)的一個對象按照對象的空間分 辨率被逐漸改善的方式來顯示。
此后，當用戶用控制信息輸入部分24 (參見圖5)停止拖動操作時，如 上述的那樣，在步驟S35上組合部分77從背景圖像存儲器73讀出考慮幀的 一個背景圖像，從對象存儲器75讀出一個對象，相應于附加信息將考慮幀的
背景圖像與從對象存儲器75中讀出的對象相組合，并將該組合圖像寫入到顯
示存儲器78。如上述的那樣，由于作為拖動操作結(jié)果的高空間分辨的對象被 存儲在對象存儲器75中，圖像輸出部分23 (參見圖5)用圖15 (C)所示的 常規(guī)時間分辨率顯示在考慮幀的相關(guān)位置上粘貼作為拖動操作結(jié)果的具有高 空間分辨率的 一個對象的圖像。
此后，圖像輸出部分23 (參見圖5)用常規(guī)時間分辨率顯示相應于附加 信息移動的高空間分辨率的一個對象的圖像。
因而，當用戶執(zhí)行在他或她要仔細觀看的對象的位置上的拖動操作時， 他或她可以觀看具有高空間分辨率的對象。換句話說，用戶可以詳細觀看一 個對象。
當用戶執(zhí)行拖動操作時，優(yōu)先權(quán)范圍內(nèi)的高空間分辨率的背景圖像被存 儲在背景圖像存儲器73。因而，即使用戶停止拖動操作，也顯示背景圖像存 儲器73內(nèi)存儲的高空間分辨率的背景圖像。因而，當用戶執(zhí)行拖動操作時， 由于圍繞拖動位置的優(yōu)先權(quán)范圍內(nèi)的背景圖像被改善，因此無論用戶何時執(zhí) 行在圖像輸出部分23 (參見圖5)的顯示屏幕的每個位置上的拖動操作，高 空間分辨率的背景圖像按一個鑲嵌模式逐漸展寬。最后，圖像輸出部分23顯 示整個高空間分辨率的背景圖像。
此外，根據(jù)該實施例，如上所述，由于一個背景圖像被存儲在背景圖像 存儲器73中，因此發(fā)送設(shè)備1不需要發(fā)送一個已經(jīng)發(fā)送的具有低空間分辨率 的一個背景圖像。因而，背景圖像的傳送帶寬(傳送速率)可以分配給高空 間分辨率的一個對象和一個背景圖像。
在上述情況下，作為拖動操作結(jié)果的高空間分辨率的對象被存儲到對象 存儲器75。停止拖動操作后，該高空間分辨率的對象被粘貼到背景圖像上。 因而，由接收設(shè)備2所顯示的一個對象的空間分辨率變得高了。然而，發(fā)送 設(shè)備1所拍攝的對象的狀態(tài)不對接收設(shè)備2所顯示的對象發(fā)生影響。
為了解決這一問題，在停止拖動操作后，存儲在對象存儲器75中的高空 間分辨率的一個對象可以用解碼部分53 (參見圖12)的存儲部分62F中存儲 的一個對象替代，而忽略對象標志。換句話說，發(fā)送設(shè)備1發(fā)送的對象被連 續(xù)存儲到解碼部分53 (參見圖12)的存儲部分62F上。因而，當對象被寫入 到對象存儲器75時，圖像輸出部分23上顯示的一個圖像的對象受發(fā)送設(shè)備 l拍攝的對象的狀態(tài)影響(然而，該對象的空間分辨率降低)。
包括發(fā)送設(shè)備1的發(fā)送處理部分16的圖7所示的MUX32在控制部分 35的控制下將高分辨率信息的有/無、對應于該高分辨率信息的優(yōu)先權(quán)范圍內(nèi) 的一個幀速率(時間分辨率)和一個空間分辨率、以及非優(yōu)先權(quán)范圍內(nèi)的一 個幀速率和一個空間分辨率放置到多路復用數(shù)據(jù)的一個首部或類似物上。接 收設(shè)備2相應于該首部(header)內(nèi)放置的信息(在下文中將該信息稱作首部 信息)認同高分辨率信息的有/無、優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率、以 及非優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率。
在發(fā)送設(shè)備1中，首部信息可以包含例如接收設(shè)備2發(fā)送的控制信息中 所含有的考慮點的(坐標)。在該情況下，圖13所示的組合部分77可以相應 于發(fā)送設(shè)備1所發(fā)送的首部信息認同一個考慮點位置上的一個對象。換句話 說，在上述情況中，組合部分77相應于控制信息輸入部分24 (參見圖5)供 給的控制信息認同控制信息中含有的考慮點位置上的一個對象，從對象存儲 器75中讀出對象，并把該對象供應給子窗口存儲器79。然而，當首部信息 含有一個考慮點時，組合部分77相應于該首部信息認同該考慮點一個位置上 的一個對象。在此情況下，在圖5中，控制信息輸入部分24不需要把該控制 信息供應給接收設(shè)備2。
下面，結(jié)合圖16說明發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送的一個 圖像的空間分辨率與時間分辨率之間的關(guān)系。
假定傳送路徑3的傳送速率為R (bps)以及發(fā)送了由一個背景圖像和三 個對象#1至#3組成的一個圖像。為簡便起見，在該實施例中不考慮附加信 息。此外，假定為了顯示具有特定空間分辨率的背景圖像和對象#1至#3, 它們的每個需要相同的數(shù)據(jù)量。
在此情況下，當用戶不執(zhí)行拖動操作時，在發(fā)送設(shè)備l中，如圖16(A) 所示，按傳送速率R除以4的R/4[bps]發(fā)送背景圖像和對象弁l至并3。當常 規(guī)時間分辨率為1/T幀/秒時，發(fā)送設(shè)備l在至多T秒的時間內(nèi)可以發(fā)送背景 圖像和對象#1至#3的每個的一幀數(shù)據(jù)。因而，在此情況下，接收設(shè)備2顯 示用每幀TxR/4比特的數(shù)據(jù)獲得的一個空間分辨率的背景圖像和對象#1至 #3。
當用戶執(zhí)行在例如對象#1的位置上的拖動操作時，如圖16 (A)所示， 發(fā)送設(shè)備1停止發(fā)送背景圖像和對象#2和#3,并以傳送路徑3的整個傳送 速率R僅發(fā)送對象# 1 。此后，在從時間tl經(jīng)過時段4T的時間t2上，當用
戶停止拖動操作時，發(fā)送設(shè)備1按每個傳送速率R/4來發(fā)送背景圖像和對象 # 1至#3。
因而，在用戶執(zhí)行拖動操作的時候，發(fā)送設(shè)備1為對象#1發(fā)送4TxR 比特的數(shù)據(jù)。因此，^假定用戶執(zhí)行拖動操作時，時間分辨率為0幀/秒，則接 收設(shè)備2顯示用每幀4TxR比特的數(shù)據(jù)獲得的一個空間分辨率的對象# 1。換 句話說，為相同量改善水平空間分辨率和垂直空間分辨率時，盡管時間分辨 率變?yōu)?幀/秒，但接收設(shè)備2顯示是用戶不執(zhí)行拖動操作的情況的四倍(= (4TxR/(TxR/4比特)))的水平方向和垂直方向的每個中的一個空間分辨率 的對象#1。
換句話說，該空間分辨率的對象可以以犧牲時間分辨率為代價得到改善。 此外，與犧牲時間分辨率的情況相比較，用戶考慮的部分的空間分辨率可以 快速改善。
在上述情況下，當用戶為對象#1執(zhí)行拖動操作時，不發(fā)送背景圖像和 其它對象# 1和#3的所有數(shù)據(jù)。然而，如圖16(B)所示，可以把較高傳送 速率分配給對象#1的數(shù)據(jù)，而較低傳送速率可以分配給背景圖像和其它對 象#2和#3的數(shù)據(jù)。
另一方面，即使執(zhí)行了拖動操作，分配給背景圖像和對象#1至#3的每 個的傳送速率也不會從R/4變化。換句話說，在此情況下，由于以時間分辨 率為代價改善空間分辨率，(例如)盡管花費長時間顯示數(shù)據(jù)，因此可以改善 空間分辨率，而不需要改變傳送速率。
根據(jù)該實施例，如上所述，作為拖動操作結(jié)果的具有高空間分辨率的一 個對象被存儲在對象存儲器75中。在拖動操作停止后，高空間分辨率的對象 被粘貼到一個背景圖像上。然而，粘貼高空間分辨率的對象的背景圖像的位 置取決于發(fā)送設(shè)備1發(fā)送的對象附加信息中含有的一個對象移動矢量。
因而，接收設(shè)備2將應當相應于什么樣的一個相鄰幀的對象來認同什么 樣的一個特定幀的對象。因此，當發(fā)送設(shè)備1的對象提取部分14(參見圖3) 提取一個對象時，對象提取部分14將允許接收設(shè)備2將執(zhí)行這樣一個認同操 作的信息加到附加信息上。
圖17示出了圖3所示的對象提取部分14的結(jié)構(gòu)實例。
圖像輸入設(shè)備11輸出的一個圖像和背景圖像提取部分13輸出的一個背 景圖像被供應給一個減法部分81。減法部分81從圖像輸入部分輸出的圖像
中減去背景圖像提取部分13輸出的背景圖像，和獲得作為 一個對象的一個前 景圖像。減法部分81獲得的前景圖像被供應給幀存儲器82和初始區(qū)域劃分
部分83。
幀存儲器82暫時存儲減法部分81所供給的前景圖像。初始區(qū)域劃分部 分83使用減法部分81供給的處理的當前幀(該幀被稱作考慮幀)的前景圖 像和幀存儲器82中存儲的前一幀的前景圖像(該前景圖像被稱作在前幀的前 景圖像)執(zhí)行初始區(qū)域劃分處理。
換句話說，初始區(qū)域劃分部分83相應于象素值按類別歸類組成考慮幀的 前景圖像的每個象素。實際上，當一個象素值由RGB (紅、綠、藍)表示時， 初始區(qū)域劃分部分83根據(jù)由R、 G、 B值的要素組成的一個矢量(該矢量可 稱之為顏色矢量)與該RGB空間中的多個小區(qū)域之間的關(guān)系按類別歸類每個 象素。此外，初始區(qū)域劃分部分83以相同的方式按類別歸類包括幀存儲器 82中存儲的前一幀的前景圖像的每個象素。
當考慮幀是例如第n幀時，初始區(qū)域劃分部分83把第n幀的前景圖像和 前一幀的第(n-l)幀的前景圖像劃分成時間上和空間上相鄰的并按相同類別 歸類的多個象素組成的區(qū)域。
換句話，例如，假定組成第n幀的前景圖像的每個象素和組成第(n-l ) 幀的前景圖像的每個象素如圖18 (A)所示按類別歸類。在圖18中(還在圖 19和圖20中)， 一個矩形中包含的一個字符C和一個數(shù)字的一個組代表一個 象素的類別。
在圖18 (A)所示的情況中，當?shù)趎幀的前景圖像和第(n-l )幀的前景 圖像被劃分成由按相同類別歸類的多個象素組成的多個區(qū)域時，形成圖18 (B)所示的虛線所代表的初始區(qū)域。
初始區(qū)域劃分部分83所獲得的初始區(qū)域被供應給圖17所示的區(qū)域拼接 部分84。
區(qū)域拼接部分84執(zhí)行區(qū)域邊界處理，對初始區(qū)域劃分部分83所供給的 初始區(qū)域進行邊界處理。
換句話說，區(qū)域拼接部分84從對象信息存儲器88中讀出第(n-l)幀中 包含的一個對象的對象信息，并認同第(n-l )幀中包含的對象的位置和范圍。 此外，區(qū)域拼接部分84認同組成第(n-l)幀中所含有的對象的象素，并拼 接含有象素的初始區(qū)域。
實際上，例如，假定在圖19 (A)所示的實線表示的一個范圍(一個方
框)內(nèi)包含一個特定的對象Obj ，該對象Obj由被歸類為類別c2、 c3、 c4和 c5的諸多象素組成。包含這些象素的初始區(qū)域被拼接。因而，在該實例中， 由類別c2、 c3、 c4和c5的象素組成的初始區(qū)域(在下文中，類別c射的象素 組成的初始區(qū)域被稱之為初始區(qū)域c#i)被拼接為圖19 ( B )所示的陰影區(qū)域。
此外，區(qū)域拼接部分84計算拼接的初始區(qū)域(以下可以稱之為拼接區(qū)域) 與鄰近該拼接區(qū)域的初始區(qū)域之間的距離。在該實例中， 一個拼接區(qū)域與一 個鄰近的初始區(qū)域(以下可以稱之為鄰近初始區(qū)域)之間的距離可以是包括 兩個區(qū)域(拼接區(qū)域和鄰近初始區(qū)域)的象素的象素值(顏色)的平均值的 距離(該距離可以被稱之為RGB空間的距離)或兩個區(qū)域的邊界附近中的象 素的象素值(顏色)的連續(xù)性。
當拼接區(qū)域與鄰近初始區(qū)域之間的距離小于(或等于) 一個預定閾值時， 區(qū)域拼接部分84拼接拼接區(qū)域和鄰近初始區(qū)域，并生成一個新的拼接區(qū)域。 區(qū)域拼接部分84計算上述的距離，并重復拼接鄰近初始區(qū)域和拼接區(qū)域直至 沒有可以被拼接成拼接區(qū)域的鄰近初始區(qū)域為止。
因而，用圖19 (B)所示的4并^接區(qū)域形成(例如)圖19 (C)所示的一 個拼接區(qū)域。在圖19C中，由于初始區(qū)域c7與c8之間的距離接近，它們被 拼接為圖19 (B)所示的拼接區(qū)域。相反，由于初始區(qū)域cl與c6之間的距 離遠，它們不能被拼接為 一個拼接區(qū)域。
當沒有鄰近初始區(qū)域可以被拼接成如圖19 (C)所示的拼接區(qū)域時，區(qū) 域拼接部分84提取由組成第n幀的前景圖像的象素組成的一個部分，作為與 第(n-l)幀的對象Obj相對應的一個對象(該對象可以被稱之為對應對象)，指 定與第n幀的對象Obj的標志相同的標志，并把該對象輸出給拼接區(qū)域處理 部分85和分離區(qū)域處理部分86。
換句話說，根據(jù)該實施例，各幀中一致的對象被指定相同的標志。接收 設(shè)備2相應于該標志認同與鄰近幀的某對象相當?shù)泥徑鼛哪硨ο蟆?br> 分配給第(n-l)幀的對象Obj的標志被包含在對象信息中，并存儲在對 象信息存儲器88中。對于對象信息存儲器88,區(qū)域拼接部分84認同分配給 第(n-l)幀的對象Obj標志。
此外，當區(qū)域拼接部分84以上述方式提取與第(n-l)幀的所有對象相 對應的第n幀的對象時，區(qū)域拼接部分84提取將第n幀的每個初始區(qū)域和其
另一個鄰近初始區(qū)域拼接為一個對象的一個區(qū)域，并^巴一個新標志(而不是 指定給(n-l)幀的對象的任何標志)分配給被提取的對象和把被提取的對象
輸出給拼接區(qū)域處理部分85和分離區(qū)域處理部分86。
拼接區(qū)域處理部分85和分離區(qū)域處理部分86分別執(zhí)行一個拼接區(qū)域處 理和一個分離區(qū)域處理。當拼接對象時執(zhí)行拼接區(qū)域處理。當分離拼接對象 時執(zhí)行分離區(qū)域處理。
換句話說，例如，就第(n-l)幀、第n幀和第(n+l)幀這三個連續(xù)幀 而言，如圖20所示，在第(n-l )幀中，對象A和B相互接近。在第n幀中， 對象A和B相互重疊。換句話說，在第n幀中，對象A和B可以被拼接為 一個對象。在此情況下，已被拼接為一個對象的對象A和B按它們的方向連 續(xù)移動。在第(n+l)幀中，拼接對象被分離成兩個對象A和B。
在此情況下，在在區(qū)域拼接部分84的區(qū)域拼接處理中，第n幀的被拼接 對象相當于地(n-l )幀中的對象A和B 二者。相反，第(n + 1 )幀中被分 離的對象A和B相當于第N幀中的一個拼接對象。根據(jù)該實施例，假定特定 幀的一個對象相當于前一幀的一個對象。因而，如上所述，最好不用一個對 象相關(guān)兩個對象。相反，最好不用兩個對象相關(guān)一個對象。
因而，通過用第(n-l)幀的對象A和B的一個計算相關(guān)第n幀的一個 ,皮拼接對象，拼接處理部分85執(zhí)行一個拼接區(qū)域處理。通過用第n幀的一個 被拼接對象相關(guān)第(n+l )幀的兩個對象A和B之一，分離區(qū)域處理部分86 執(zhí)行分離區(qū)域處理。
換句話說，拼接區(qū)域處理部分85把與第(n-l)幀的對象A和B之一相 同的標志分配給第n幀的一個拼接對象。另一方面，分離區(qū)域處理部分86把 與第n幀的拼接對象相同的標志分配給第(n+1 )幀的兩個被分離對象A和B之 一，并把一個新標志分配給第(n+l)幀的另一個被分離的對象。
作為由拼接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理的結(jié)杲的對象提取結(jié) 果和作為由分離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理的結(jié)果的對象提取結(jié) 果由區(qū)域拼接部分84進行拼接，并供應給一個新區(qū)域處理部分87。
當拼接區(qū)域處理部分85和分離區(qū)域處理部分86的對象提取結(jié)果含有一 個新對象時，新區(qū)域處理部分87執(zhí)行新對象的新區(qū)域處理。
有三種類型的對象，它們在拼接區(qū)域處理部分85和分離區(qū)域處理部分 86的對象提取結(jié)果中被分配新標志。第一類型的對象是這樣一種對象由于
對象移動快并且該對象不在考慮幀和前一幀內(nèi)空間重疊，因此區(qū)域拼接部分 84不提取像前一幀的對應對象那樣的考慮幀的對象。第二類型的對象是這樣
一種對象由于前一幀的對應對象與另一對象拼接，因此分離區(qū)域處理部分 86不可能用前一幀的對應幀相關(guān)考慮幀的對象。第三類型的對象是這樣一種 對象由于在考慮幀中出現(xiàn)一個新對象，因此分配一個新標志給該新對象。
在這三種類型的對象中，一個新標志應當被分配給第三類型的一個對象。 因而，對于第一和第二類型的對象，新區(qū)域處理部分87從前一幀中檢測一個 對應對象，并將和考慮幀對象相同的標志再分配給前一幀的對應對象。
事實上，新區(qū)域處理部分87核對對象信息存儲器88，認同考慮幀的幾 個過去幀的對象，和獲得被認同對象的每個與考慮幀的考慮對象之間的距離， 該考慮對象被分配一個新標志。像對象之間的距離那樣，也可以使用對象的 特征量之間的距離。對象特征量的實例是對象的一個區(qū)域、 一個由對象的每 個象素組成的輪廓線的切線方向的條形圖(例如，沿上、下、左、右、左上、 左下、右上和右上八個方向的每個方向的條形圖)、和對象的一個移動矢量。
新區(qū)域處理部分87獲得被認同對象與考慮對象之間的距離的最小值。當 最小值小于(或等于)預定閾值時，新區(qū)域處理部分87把具有距考慮對象最 小距離的一個對象處理為與考慮對象相對應的一個對象，把與獲得的對象的 標志相同的標志分配給考慮對象，和輸出該考慮對象。當認同對象與考慮對 象之間的距離的最小值不小于預定閾值(即，沒有這樣的對象，其相距考慮 對象的距離在過去幀中是短的)時，新區(qū)域處理部分87把該考慮對象處理為 考慮幀中新近出現(xiàn)的一個對象，把一個新標志分配給該考慮幀，和輸出該考 慮幀。
新區(qū)域處理部分87的輸出被供應給附加信息計算部分15 (參見圖3 )和 發(fā)送處理部分16 (參見圖3)。此外，新區(qū)域處理部分87的輸出被供應給對 象信息存儲器88。對象信息存儲器88暫時存儲一個對象(該對象的位置和 尺寸(輪廓)、組成該對象的象素的象素值等)和作為對象信息分配的一個標
志o
下面結(jié)合圖21所示的流程圖說明從一個圖像提取一個對象的對象提取 處理。對象提取處理由圖17所示的對象提取部分14執(zhí)行。
圖像輸出部分11輸出的一個圖像和背景圖像提取部分13輸出的一個背 景圖像被供應給減法部分81。在步驟S41，減法部分81從圖像輸入部分11
輸出的圖像中減去背景圖像提取部分13輸出的背景圖像，獲得作為一個對象 的一個前景圖像。減法部分81獲得的前景圖像被供應給幀存儲器82和初始
區(qū)域劃分部分83。幀存儲器82存儲從減法部分81輸出的前景圖像。
另一方面，在步驟S42,初始區(qū)域劃分部分83核對考慮幀的前一幀的一 個前景圖像，執(zhí)行根據(jù)圖18所述的初始區(qū)域劃分處理，獲得初始區(qū)域，并把 獲得的初始區(qū)域供應給區(qū)域拼接部分84。在步驟S43，區(qū)域拼接部分84核對 對象信息存儲器88中存儲的前一幀的對象信息，按照結(jié)合圖19所述的方式 為初始區(qū)域劃分部分83輸出的初始區(qū)域執(zhí)行區(qū)域拼接處理，并提取考慮幀的 一個對象。
區(qū)域拼接部分84所提取的對象被供應給拼接區(qū)域處理部分85和分離區(qū) 域處理部分86。在步驟S44,拼接區(qū)域處理部分85或分離區(qū)域處理部分86 按照結(jié)合圖20所述的方式執(zhí)行拼接區(qū)域處理或分離區(qū)域處理，把處理的結(jié)果 輸出給新區(qū)域處理部分87。
在步驟S45,新區(qū)域處理部分87為拼接區(qū)域處理部分85和分離區(qū)域處 理部分86的輸出執(zhí)行上述的新區(qū)域處理。因而，新區(qū)域處理部分87輸出考 慮幀的最終對象提取結(jié)果。對象的提取結(jié)果被供應給附加信息計算部分15(參 見圖3 )和發(fā)送處理部分16 (參見圖3 )。此外，對象的提取結(jié)果被供應給對 象信息存儲器88并存儲在其中。
此后，流程返回到步驟S20，在此步驟上，下一幀被指定為一個新考慮 幀。然后對象提取部分14重復相似的處理。
下面結(jié)合圖22所示的流程圖詳細說明在圖21的步驟S43上由區(qū)域拼接 部分84執(zhí)行的區(qū)域拼接處理。
在區(qū)域拼接處理中，首先，在步驟S51上，區(qū)域拼接部分84核對關(guān)于在 考慮幀的前一幀(在前幀)中含有的一個對象的對象信息，把在前幀的對象 處理為一個考慮對象。在步驟S51上，使用考慮對象，如圖19 (B)所示， 區(qū)域拼接部分84拼接初始區(qū)域劃分部分83輸出的初始區(qū)域，形成一個拼接 區(qū)域。
此后，流程前進到步驟S52。在步驟S52,區(qū)域拼接部分84搜索鄰近拼 接區(qū)域的 一個初始區(qū)域(該初始區(qū)域可以稱之為鄰近初始區(qū)域)。此后，流程 前進到步驟S53。在步驟S53,區(qū)域拼接部分84計算拼接區(qū)域與考慮的初始 區(qū)域之間的距離。此后，流程前進到步驟S54。在步驟S54,區(qū)域拼接部分
8 4確定區(qū)域間的距離是否小于 一 個預定的閾值。
當步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的距離小 于預定的閾值時，流程前進到步驟S55。在步驟S55,區(qū)域拼接部分84把考 慮的初始區(qū)域拼接到拼接區(qū)域，從而形成一個新的拼接區(qū)域。此后，流程前 進到步驟S56。
相反，當步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的 距離不小于預定的閾值時，流程前進到步驟S56，跳過步驟S55。換句話說， 區(qū)域拼接部分84不把考慮的初始區(qū)域拼接到拼接區(qū)域。在步驟S56,區(qū)域拼 接部分84確定鄰近拼接區(qū)域的所有初始區(qū)域是否已經(jīng)都被搜索。當步驟S56 上的確定結(jié)果表明鄰近拼接區(qū)域的所有初始區(qū)域還未被搜索時，流程返回到 步驟S52。在步驟S52，區(qū)域拼接部分84搜索未被搜索到的鄰近初始區(qū)域。 此后，區(qū)域拼接部分84重復相似的處理。
時，流程前進到步驟S57。在步驟S57,區(qū)域拼接部分84確定在前幀中含有 的所有對象的每個是否已經(jīng)被指定為考慮對象。當步驟S57上的確定結(jié)果表 明在前幀中含有的所有對象的每個都未被指定為考慮對象時，流程返回到步 驟S51。在步驟S51,區(qū)域拼接部分84把在前幀中含有的一個對象指定為考 慮對象，然后為新近考慮的對象重復相似的處理。
相反，當步驟S57上的確定結(jié)果表明在前幀中含有的所有對象的每個已 經(jīng)被指定為考慮對象時，流程返回到被調(diào)用進程。
下面，結(jié)合圖23所示的流程圖詳細說明在圖21所示的步驟S44上由拼 接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理。
首先，在步驟S61上，拼接區(qū)域處理部分85把處理的一個幀指定為一個 考慮幀，核對對象信息存儲器88,在在前幀的對象在空間上與考慮幀的考慮 對象重疊的條件下認同前一幀(在前幀)中含有的對象數(shù)目(即，考慮幀的 在前幀的對象數(shù)目)，并把對象的數(shù)目調(diào)整到一個變量N。
此后流程前進到步驟S62。在步驟S62，拼接區(qū)域處理部分85確定變量 N是否為2或是否大于2。當變量N小于2(即，在前幀中不含有空間上與考 慮對象重疊的對象或?qū)ο蟮臄?shù)目為1)時，流程前進到步驟S65，跳過步驟 S63和S64。
相反，當步驟S62上的確定結(jié)果表明變量N等于2或大于2 (即，在前
幀中含有空間上與考慮對象重疊的兩個或多個對象)時，流程前進到步驟S63 。
在步驟S63 ，拼接區(qū)域處理部分85計算考慮對象與在空間上和考慮對象重疊 的在前幀的兩個或多個對象的每個之間的距離。此后流程前進到步驟S64。
在步驟S64,拼接區(qū)域處理部分85從步驟S63上獲得的對象中選擇具有 到考慮幀最小距離的一個對象，并把和所選擇對象的標志相同的標志分配給 考慮對象。
此后，流程前進到標志S65。在步驟S65,拼接區(qū)域處理部分85確定考 慮幀中含有的所有對象的每個是否已經(jīng)被指定為考慮對象。當步驟S65上的 確定結(jié)果表明考慮幀中含有的所有對象的每個還未被指定為考慮對象時，拼 接區(qū)域處理部分85把這些對象中的一個指定為考慮幀。此后，流程返回到步 驟S61。在步驟S61,拼接區(qū)域處理部分85重復相似的處理。
另一方面，當步驟S65上的確定結(jié)果表明考慮幀中含有的所有對象的每 個已經(jīng)被指定為考慮對象時，流程返回到被調(diào)用進程。
下面，結(jié)合圖24所示的流程圖詳細說明圖21所示的在步驟S44上由分 離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理。
分離區(qū)域處理部分86核對對象信息存儲器88并把考慮幀的前一幀(在 前幀)中含有的對象之一指定為一個考慮對象。此外，在步驟S71,分離區(qū) 域處理部分86認同與對應于考慮對象的考慮幀的對象數(shù)目(認同的對象被稱 之為對應對象)，并把對象的數(shù)目調(diào)整到變量N。
此后，流程前進到步驟S72。在步驟S72,分離區(qū)域處理部分86確定變 量N是否等于2或大于2。
當步驟S72上的確定結(jié)果表明變量N不大于2 (即，考慮幀中不含有在 空間上與考慮對象重疊的對象或?qū)ο蟮臄?shù)目為1)時，流程前進到步驟S76, 跳過步驟S73至S75。
相反，當步驟S72上的確定結(jié)果表明變量N等于2或大于2 (即，考慮 幀中含有空間上與考慮對象重疊的兩個或多個對象(對應于考慮對象的對 象))時，流程前進到步驟S73。在步驟S73，分離區(qū)域處理部分86計算這些 對象的每個與考慮對象之間的距離。此后，流程前進到步驟S74。
在步驟S74，分離區(qū)域處理部分86從這些對象中選擇相距考慮對象具有 最小距離的一個對象，和把與被選擇對象的標志相同的標志分配給考慮對象。
此后，流程前進到步驟S75。在步驟S75,分離區(qū)域處理部分86把一個 新標志分配給在步驟S74上未被選擇的對象之一 (即，除相距考慮對象最短
距離的對象以外的對象)。此后，流程前進到步驟S76。
在步驟S76,分離區(qū)域處理部分86確定在前幀中含有的所有對象的每一 個是否已經(jīng)被指定為考慮對象。當步驟S76上的確定結(jié)果表明在前一幀中含 有的所有對象的每一個還未被指定為考慮對象時，分離區(qū)域處理部分86指定 這些對象之一為考慮對象。此后，流程返回到步驟S71。在步驟S71,分離區(qū) 域處理部分86重復相似的處理。
當步驟S76上的確定結(jié)果表明在前幀中含有的所有對象的每一個已經(jīng)被 指定為考慮對象時，流程返回到被調(diào)用進程。
在上述情況下，當用戶用控制信息輸入部分24指定一個考慮點時，發(fā)送 設(shè)備1控制數(shù)據(jù)的傳送，以便以圖像的時間分辨率為代價來改善含有考慮點 的優(yōu)先權(quán)范圍內(nèi)的一個圖像的空間分辨率。另一方面，發(fā)送設(shè)備l可以學習 用戶的偏愛，相應于學習結(jié)果來檢測用戶打算用 一個高空間分辨率觀看的一 個對象或類似物，并控制數(shù)據(jù)的傳送以便用一個高空間分辨率顯示該對象。
圖25示出了在發(fā)送設(shè)備l執(zhí)行這樣一種控制的情況下圖7所示的控制部 分35的結(jié)構(gòu)實例。
優(yōu)先權(quán)范圍指定部分91接收從接收設(shè)備2發(fā)送的一個控制信號，按上述 方式指定優(yōu)先權(quán)范圍，并把指定的優(yōu)先權(quán)范圍供應給選擇控制部分92和特征 量提取部分93。
選擇控制部分92控制MUX32 (參見圖7)的背景圖像、對象和附加信 息的數(shù)據(jù)選擇。換句話說，當選擇控制部分92從優(yōu)先權(quán)范圍指定部分91接 收到優(yōu)先權(quán)范圍時，選擇控制部分92控制MUX32 (參見圖7)以圖像的時 間分辨率為代價改善該優(yōu)先權(quán)范圍內(nèi)圖像的空間分辨率。此外，當選擇控制 部分92接收到來自對象^r測部分95的一個標志時，選^^控制部分92控制 MUX32 (參見圖7)以圖像的時間分辨率為代價改善具有該標志的對象的空 間分辨率。
數(shù)據(jù)量計算部分34 (參見圖7 )向選擇控制部分92供應MUX32輸出的 多路復用數(shù)據(jù)的數(shù)據(jù)速率。選擇控制部分92控制MUX32的數(shù)據(jù)選擇，使多 路復用的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。
預處理部分12 (參見圖3)輸出的背景圖像、對象和附加信息，以及優(yōu) 先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍，被供應給特征量提取部分93。特
征量提取部分93提取從優(yōu)先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍內(nèi)的圖像的特征量。換句話說，特征量提取部分93提取優(yōu)先權(quán)范圍內(nèi)含有的對象的特 征量，使該特征量反映用戶正在考慮的圖像的趨勢。實際上，例如如圖26所示，特征量提取部分93提取的特定人的一個對 象的特征量表示 一個對象是一個人，對象的移動是一致的，對象的景深方 向的位置(景深)是前景，顯示的對象的位置是中央，對象正在移動(對象 是正在移動的一個位置)，對象的區(qū)域包含眼睛、鼻子和嘴巴(對象的區(qū)域由 眼睛、鼻子和嘴巴組成)，對象的圖案是條紋圖案(對象是一個條紋部分)， 對象的顏色是紅色的(對象是一個紅色部分)。特征量提取部分93獲得一個提取對象的矢量(具有特征量的元素)(該 矢量可以被稱之為特征量矢量)，并將條形圖存儲部分94中存儲的獲得特征 量矢量的條形圖的頻率遞增1。條形圖存儲部分94把特征量矢量的條形圖作為用戶偏愛的學習結(jié)果進 行存儲。對象檢測部分95從預處理部分12 (參見圖3 )供應的那些對象中檢測一 個對象，以便從條形圖存儲部分94中獲得具有條形圖最高頻率的特征量矢 量。換句話說，對象檢測部分95按照與特征量提取部分93相同的方式獲得 一個特征矢量，用于預處理部分12 (參見圖3)供給的一個對象。此外，對 象檢測部分95核對條形圖存儲部分94中存儲的條形圖，確定預處理部分12 (參見圖3)供給的對象的特征量矢量是否被包含在具有最高頻率的特征量 矢量的特征量矢量空間的一個預定范圍內(nèi)。當特征量矢量被包含在預定范圍 內(nèi)時，對象檢測部分95把該對象指定為用戶打算考慮的對象，并把該對象的 標志供應給選擇控制部分92。下面，結(jié)合圖27所示的流程圖說明MUX32 (參見圖7)的控制處理。 該控制處理由圖25所示的控制部分35執(zhí)行。首先，在步驟S81,優(yōu)先權(quán)范圍指定部分91確定控制信號是否已經(jīng)從接 收設(shè)備2發(fā)送。當步驟S81上的確定結(jié)果表明控制信號已經(jīng)從接收設(shè)備2發(fā) 送時，流程前進到步驟S82。在步驟S82上，優(yōu)先權(quán)范圍指定部分91相應于 該控制信號按上述方式指定一個優(yōu)先權(quán)范圍，并把該優(yōu)先權(quán)范圍供應給選擇 控制部分92和特征量提取部分93。在步驟S83,選擇控制部分92控制MUX32 (參見圖7)以圖像的時間
分辨率為代價改善優(yōu)先權(quán)范圍指定部分91所供給的優(yōu)先權(quán)范圍內(nèi)一個圖像 的(一個對象和一個背景圖像)的空間分辨率。在步驟S84上，特征量提取部分93提取優(yōu)先權(quán)范圍指定部分91所供給的優(yōu)先權(quán)范圍內(nèi)的圖像的特征量，獲得具有由對象的每一特征量所組成的元素的一個特征量矢量。在步驟S85上，特征量提取部分93將條形圖存儲部分 94中存儲的特征量矢量的條形圖的頻率遞增1。流程返回到步驟S81。在步驟S81到步驟S85的循環(huán)中，條形圖存儲部分94形成用戶打算考 慮的對象特征矢量的一個條形圖。換句話說，條形圖存儲部分94學習用戶的偏愛。此外，特征量提取部分93可以量化所獲得的特征量矢量，并遞增與特征 量矢量的量化結(jié)果相對應的代碼的頻率。在這種情況下，條形圖存儲部分94 暫時存儲代碼的條形圖。相反，當步驟S81上的確定結(jié)果表明接收設(shè)備2還未發(fā)送控制信號時， 流程前進到步驟S86。在步驟S86上，對象檢測部分95按照與特征量提取部 分93相同方式獲得預處理部分12 (參見圖3)所提供的對象的特征量矢量。 此外，在步驟S87上，對象檢測部分95核對條形圖存儲部分94中所存儲的 條形圖，并確定在有最高頻率的特征量矢量周圍的特征量矢量空間的 一個預 定范圍內(nèi)是否包含預處理部分12 (參見圖3)所提供的對象的一個特征量矢 量。換句話說，在步驟S87，對象檢測部分95確定具有最高頻率的特征量矢 量與預處理部分12所供給的對象的特征量矢量之間的距離是否等于或小于 一個預定值。如上所述，當條形圖存儲部分94存儲作為矢量量化結(jié)果的代碼條形圖 時，對象檢測部分95量化所獲得的特征量矢量。在步驟S87,對象檢測部分 95確定作為矢量量化結(jié)果的代碼是否與條形圖存儲部分94中存儲的條形圖 的最高頻率的代碼相匹配。當步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預處理部分 12所供給的對象的特征量矢量之間的距離不小于預定值(即，由于用戶的癖 好，預處理部分12供給的對象是用戶不打算考慮的對象)時，流程前進到步 驟S88。在步驟S88上，選擇控制部分92控制MUX32 (參見圖7)，使接收 設(shè)備2用常規(guī)空間分辨率和常規(guī)時間分辨率顯示一個圖像。此后，流程返回 到步驟S81。
相反，當步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預處 理部分12所供給的對象的特征量矢量之間的距離等于或小于預定值(即，由 于用戶的癖好，預處理部分12供給的對象是用戶打算考慮的對象)時，對象檢測部分95把預處理部分12供給的對象的標志輸出到選擇控制部分92。此 后，流程前進到步驟S89。在步驟S89上，選擇控制部分92控制MUX32 (參見圖7 )以時間分辨 率為代價改善具有從對象檢測部分95供給的標志的對象的空間分辨率。此 后，流程返回到步驟S81。因而，在這種情況下，接收設(shè)備2顯示具有從對象檢測部分95輸出的標 志的一個對象，以便以時間分辨率為代價提高其空間分辨率。此后，接收設(shè) 備2連續(xù)顯示具有高空間分辨率的對象。結(jié)果，接收設(shè)備2自動地顯示用戶傾向考慮的對象，從而不需要用戶控 制(干預)控制信息輸入裝置24就可以提高對象的空間分辨率。此后，接收 設(shè)備2連續(xù)顯示高空間分辨率的對象(然而，在此情況下，正如上所述那樣， 圖像的時間分辨率惡化)。在條形圖存儲部分94中作為用戶偏愛的學習結(jié)果存儲的特征量矢量的 條形圖可以周期性地、非周期性地或相應于接收設(shè)備2的用戶請求來重新設(shè) 置。在上述情況下，其特征量矢量等于(匹配)或小于條形圖最高頻率的特 征量矢量的對象的空間分辨率得到改善。另一方面，具有這樣一種特征量矢 量的所有對象的空間分辨率也得到改善它的特征量矢量等于(匹配)或小 于其條形圖中的頻率超過一個預定值的特征量矢量。優(yōu)先權(quán)范圍是考慮點位于重心的一個預定范圍(在上述情況下，優(yōu)先權(quán) 范圍是一個矩形范圍)。然而，也可以被說成包含考慮點的一個矩形范圍中 的一個圖像區(qū)域是用戶有興趣觀看的一個圖像區(qū)域(以下，把該區(qū)域稱之為 興趣對象區(qū)域)。另一方面，接收設(shè)備2顯示的移動圖像具有一個移動圖像區(qū)域(以下， 該區(qū)域可以稱之為移動區(qū)域)和一個靜止圖像區(qū)域(以下，該區(qū)域可以稱之 為靜止區(qū)域)。為了改善興趣對象區(qū)域的空間分辨率，必須在圖像的移動區(qū)域或靜止區(qū) 域中認同(指定)用戶正在考慮的興趣對象區(qū)域。當用戶正在考慮的興趣對
象區(qū)域可以被指定時，就可以獲得用戶未考慮的圖像區(qū)域(例如，背景圖像 區(qū)域)。即使用戶考慮的 一個興趣對象區(qū)域可以在一個特定時間被指定，此后也 可以被改變。因而，當用戶考慮的一個圖像區(qū)域被改變到另一個圖像區(qū)域時， 必須把新圖像區(qū)域認同為興趣對象區(qū)域。此外，可以存在多個用戶考慮的興趣對象區(qū)域。在這種情況下，必須分 離地認同這些興趣對象區(qū)域。于是圖28示出了在便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接收設(shè)備2的情況下圖1所示的圖像發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實例。在圖28中，與 圖2相似的部分有相同的參考標號表示，并省略對它們的說明。換句話說， 圖28所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)基本上與圖2所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)相同。在圖2所示的實施例中，控制諸如用戶正在考慮的考慮點的坐標的空間 分辨率和時間分辨率所需的所有信息、空間分辨率、時間分辨率和傳送速率作為控制信息從接收設(shè)備2發(fā)送到發(fā)送設(shè)備1。相反，根據(jù)圖28所示的實施 例，正如下面將要說明的那樣，用戶用接收設(shè)備2的按鍵部分2-3操作(點 擊)的顯示部分2-2上所顯示的圖像的考慮點的信息作為控制信息被發(fā)送(在 下文中，可以把考慮點上的信息稱之為點擊數(shù)據(jù))。當發(fā)送設(shè)備1收到來自接收設(shè)備2的點擊數(shù)據(jù)時，發(fā)送設(shè)備1相應于點 擊數(shù)據(jù)指定從接收設(shè)備2所顯示的圖像(該圖像由發(fā)送設(shè)備1的攝像機部分 1-1拍攝)中用戶正在考慮的一個圖像區(qū)域(興趣對象區(qū)域)，并控制發(fā)送給 接收設(shè)備2的圖像數(shù)據(jù)的信息量，以便當滿足一個預定條件時改變指定圖像 區(qū)域的空間分辨率和時間分辨率。下面圖29示出了圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實例。在圖29中，與圖 3相似的部分由相同的參考標號表示，并省略對它們的說明。在圖29所示的 發(fā)送設(shè)備1中，背景圖像提取部分1013、對象提取部分1014和發(fā)送處理部 分1016被設(shè)置，以分別替代背景圖像提取部分13、對象提取部分14和發(fā)送 處理部分16。此外，接收設(shè)備2發(fā)送的點擊數(shù)據(jù)不僅供應給與發(fā)送處理部分 16相對應的發(fā)送處理部分1016，還供應給預處理部分12。除這些方面(要 點)外，圖29所示的發(fā)送設(shè)備1的結(jié)構(gòu)大體上與圖3所示的發(fā)送設(shè)備1的結(jié) 構(gòu)相同。然而，在圖29所示的發(fā)送設(shè)備1中，背景圖像提取部分1Q13的輸
出不供應給對象提取部分1014。相反，在圖3所示的發(fā)送設(shè)備1中，背景圖像提取部分13的輸出被供應給對象提取部分14。此外，在圖29所示的發(fā)送 設(shè)備1中，對象提取部分1014的輸出被供應給背景圖像提取部分1013。相 反，在圖3所示的發(fā)送設(shè)備1中，對象提取部分14的輸出不供應給背景圖像 提取部分13。點擊數(shù)據(jù)被供應給預處理部分12。在與處理部分12中，點擊數(shù)據(jù)被供 應給對象提取部分1014。對象提取部分1014提取(指定)接收設(shè)備2的用 戶從圖像輸入部分11所拍攝的圖像中考慮的一個圖像區(qū)域(興趣對象區(qū)域)， 并把與提取的(指定的)興趣對象區(qū)域相對應的圖像數(shù)據(jù)供應給發(fā)送處理部 分1016。當存在接收設(shè)備2的用戶對圖像輸入部分11所拍攝的圖像進行考 慮的多個興趣對象區(qū)域時，對象提取部分1014把多個興趣對象區(qū)域的圖像數(shù) 據(jù)供應給發(fā)送處理部分1016。此外，對象提取部分1014所提取的興趣對象 區(qū)域的圖像數(shù)據(jù)還被供應給附加信息計算部分15。作為 一個實例，用戶進行考慮的興趣對象區(qū)域是諸如一個實物的對象。 下面，說明對象提取部分1014提取作為興趣對象區(qū)域的一個實例的一個對象 (以下稱之為對象圖像)的情況。應當注意的是興趣對象區(qū)域不局限于一個 對象。相反， 一個興趣對象區(qū)域可以是一個圖像區(qū)域，而不是一個對象、一 個對象中的一個圖像區(qū)域、或背景圖像部分(下面將進行說明)。然而，根據(jù) 該實施例，將作為一個實例說明一個興趣對象區(qū)域是一個對象的情況。下面 將說明對象提取部分1014所執(zhí)行的對象提取處理(興趣對象區(qū)域指定處理)。背景圖像提取部分1013相應于對象提取部分1014的對象提取結(jié)果從圖 像輸入部分11供給的圖像數(shù)據(jù)中提取與該圖像一個背景圖像的部分(即，除 興趣對象區(qū)域外的一個圖像區(qū)域；以下把背景圖像部分稱之為背景圖像)相 對應的一個信號(以下稱之為背景圖像數(shù)據(jù))，并把提取的背景圖像數(shù)據(jù)供應 給發(fā)送處理部分1016和附加信息計算部分15。在該實例中，其活動性低(即， 沒有像圖像那樣的價值)的一個平面圖像區(qū)域被處理為一個背景圖像。當然， 像沒有價值的圖像那樣，背景圖像可以是用戶不感興趣對象。在該實例中， 為了簡便起見，上述平面圖像區(qū)域?qū)⒈徽f成背景圖像。附加信息計算部分15相應于背景圖像提取部分1013供給的背景圖像數(shù) 據(jù)檢測代表背景圖像移動的背景圖像移動矢量(該背景圖像的移動相當于沿 著圖像輸入部分11的拍攝方向移動)。此外，附加信息計算部分15相應于對象提取部分1014供給的對象圖像的圖像數(shù)據(jù)(在下文中，把該圖像數(shù)據(jù)稱之 為對象圖像數(shù)據(jù))檢測代表對象移動的一個對象移動矢量。附加信息計算部分15把作為附加信息一部分的被檢測的移動矢量供應給發(fā)送處理部分1016。 此外，附加信息計算部分15相應于作為附加信息的從對象提取部分1014供 給的對象圖像數(shù)據(jù)，向發(fā)送處理部分1016供應關(guān)于對象的信息，比如由圖像 輸入部分11拍攝的圖像(幀)的對象位置和輪廓。換句話說，當對象提取部 分1014從圖像數(shù)據(jù)中提取一個對象圖像時，對象提取部分1014還提取有關(guān) 該對象的信息，比如對象的位置和輪廓，并把該信息供應給附加信息計算部 分15。附加信息計算部分15把有關(guān)該對象的信息輸出為附加信息。發(fā)送處理部分1016相應于接收設(shè)備2供給的點擊數(shù)據(jù)對對象提取部分 1014供應的對象圖像數(shù)據(jù)、背景圖像提取部分1013供應的背景圖像數(shù)據(jù)、 和附加信息計算部分15供應的附加信息進行編碼，以便當接收設(shè)備2顯示的 圖像的對象圖像的空間分辨率被改善時，滿足傳送路徑3的數(shù)據(jù)速率的條件。 此后，發(fā)送處理部分1016多路復用該被編碼的對象圖像數(shù)據(jù)、編碼的背景圖 像數(shù)據(jù)、和編碼的附加信息，并且經(jīng)傳送路徑3向接收設(shè)備2發(fā)送多路復用 數(shù)據(jù)、幀速率信息等。下面結(jié)合圖30所示的流程圖說明圖29所示的發(fā)送設(shè)備1所執(zhí)行的處理。 在步驟S91,發(fā)送設(shè)備1把圖像輸入部分11獲得的圖像數(shù)據(jù)輸入給預處 理部分12。此后，在步驟S92,發(fā)送設(shè)備1接收從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)，并 把該點擊數(shù)據(jù)輸入給預處理部分12。在步驟S93,已經(jīng)接收到圖像數(shù)據(jù)和點擊數(shù)據(jù)的預處理部分12執(zhí)行用于 提取背景圖像、對象和附加信息的預處理，并把在預處理中獲得的背景圖像 數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信息供應給發(fā)送處理部分1016。在步驟S94上，發(fā)送處理部分1016計算對象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)和 附加信息的數(shù)據(jù)量，以便滿足傳送路徑3的數(shù)據(jù)速率的條件。此后，發(fā)送處 理部分1016相應于該數(shù)據(jù)量對對象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)、和附加信息進 行編碼，隨后多路復用它們。此后，發(fā)送處理部分1016經(jīng)傳送路徑3將多路 復用的數(shù)據(jù)和幀速率信息發(fā)送給接收設(shè)備2。此后，流程返回到步驟S1。在步驟S1上，發(fā)送設(shè)備1重復相似的處理。圖31示出了圖28所示的接收設(shè)備2的結(jié)構(gòu)實例。在圖31中，與圖5 中相似的部分用相似的參考標號表示，并省略對它們的說明。換句話說，在圖31所示的接收設(shè)備2中，設(shè)置一個組合處理部分1022，來代替組合處理 部分22。此外，設(shè)置了點擊數(shù)據(jù)輸入部分1024和點擊數(shù)據(jù)發(fā)送部分1025, 來分別代替設(shè)置了控制信息輸入部分24和控制信息發(fā)送部分25。除這些方 面夕卜，圖28所示的接收設(shè)備2的結(jié)構(gòu)基本上和圖5所示的接收設(shè)備2的結(jié)構(gòu) 相同。發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多路復用數(shù)據(jù)被接收處理部分21接收。 接收處理部分21把接收的多路復用數(shù)據(jù)分離成編碼背景圖像數(shù)據(jù)、編碼對象 圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對分離的數(shù)據(jù)進行解碼。此后，接收處 理部分21把解碼的背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信息供應給組合處理 部分1022。組合處理部分1022組和解碼的背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信 息，并把該組合的圖像信號供應給圖像輸出部分23。此外，組合處理部分1022 相應于點擊數(shù)據(jù)輸入部分1024供應的點擊數(shù)據(jù)控制組合的圖像的空間分辨 率和時間分辨率。點擊數(shù)據(jù)輸入部分1024相應于用戶進行的按4t部分2-3的操作生成代表 點擊位置(坐標位置)和點擊時間的點擊數(shù)據(jù)。按鍵部分2-3作為一個指點 裝置，用于指定在相當于接收設(shè)備2 (參見圖28)的顯示部分2-2的圖像輸 出部分23上顯示的圖像的坐標位置。換句話說，當用戶為圖像輸出部分23 上顯示的圖像的預期圖像位置(興趣對象區(qū)域)點擊按鍵部分2-3時，點擊 數(shù)據(jù)輸入部分1024生成點擊數(shù)據(jù)，它代表點擊位置的坐標信息和點擊時間。 點擊數(shù)據(jù)輸入部分1024生成的點擊數(shù)據(jù)被發(fā)送給組合處理部分1022和點擊 數(shù)據(jù)發(fā)送部分1025。當點擊數(shù)據(jù)發(fā)送部分1025接收到來自點擊數(shù)據(jù)輸入部分1024的點擊數(shù) 據(jù)時，點擊數(shù)據(jù)發(fā)送部分1025經(jīng)傳送路徑3把該點擊數(shù)據(jù)發(fā)送給發(fā)送設(shè)備1。下面結(jié)合圖32所示的流程圖簡要說明由圖31所示的接收設(shè)備2執(zhí)行的 處理。首先，在步驟S101,接收設(shè)備2接收發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多 路復用數(shù)據(jù)。在步驟S102，接收處理部分21將多路復用數(shù)據(jù)分離成編碼背景圖像數(shù) 據(jù)、編碼對象圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對分離的編碼數(shù)據(jù)進行解
此外，在步驟S116上，控制部分35控制MUX32把高分辨率信息作為 優(yōu)先權(quán)范圍的位置和尺寸信息插入到被選作多路復用數(shù)據(jù)的附加信息中。此 后，流程前進到步驟S113。
在步驟S113上，發(fā)送設(shè)備33經(jīng)傳送路徑3發(fā)送MUX32輸出的多路復 用數(shù)據(jù)。此后，流程返回到步驟Slll。
如上述的那樣，在圖34所示的發(fā)送處理中，執(zhí)行和圖IO所示的處理相 似的處理。因而，當接收設(shè)備2的用戶為了包含考慮點上的優(yōu)先權(quán)分為內(nèi)的 圖像而連續(xù)地操作點擊數(shù)據(jù)輸入部分1024 (例如，他和她連續(xù)地指定相同的 考慮點)時，優(yōu)先發(fā)送改善空間分辨率的數(shù)據(jù)。因而，包含考慮點的優(yōu)先權(quán) 范圍內(nèi)的圖像的空間分辨率被逐漸改善。結(jié)果優(yōu)先權(quán)范圍內(nèi)的圖像被更加清 晰地顯示了。換句話說，接收設(shè)備2側(cè)的用戶進行考慮的一個圖像(一個興 趣對象區(qū)域和一個對象圖像)被更加清楚地顯示。
如上所述，圖像數(shù)據(jù)的傳送相應于傳送路徑3的傳送速率進行控制，以 便優(yōu)先權(quán)范圍內(nèi)的圖像(一個興趣對象區(qū)域和一個對象圖像)的空間分辨率 和時間分辨率在分辨率的范圍內(nèi)變化。因而，在有限的傳送速率下，可以進 一步改善與接收設(shè)備2所顯示的一個考慮點相對應的一個對象圖像的空間分 辨率。換句話說，由于優(yōu)先權(quán)范圍內(nèi)的對象圖像的空間分辨率以圖像的時間 分辨率為代價得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設(shè) 備2上顯示的對象圖像(即，空間分辨率可以被進一步改善)。
下面圖35示出了圖31所示的組合處理部分1022的結(jié)構(gòu)的實例。在圖 35中，和圖13所示的部分相同的部分由相同的參考標號表示，并省略對它 們的說明。換句話說，組合處理部分1022中不設(shè)置背景圖像標志存儲器74。 組合處理部分1022中設(shè)置的是組合部分1077而不是組合部分77。此外，供 給組合部分1077的是點擊數(shù)據(jù)而不是控制信息。除了這些方面外，圖35所 示的組合處理部分1022的結(jié)構(gòu)基本上與圖13所示的組合部分22的結(jié)構(gòu)相 同。
參見圖35，接收處理部分21 (參見圖31)輸出的背景圖像數(shù)據(jù)被輸入 給背景圖像寫入部分71。接收處理部分21輸出的對象圖像數(shù)據(jù)被輸入給對 象寫入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫入部 分71 、對象寫入部分72和組合部分1077。
背景圖像寫入部分71把供給的背景圖像數(shù)據(jù)連續(xù)地寫入背景圖像存儲
另一方面，控制部分35控制從MUX32供應的多路復用數(shù)據(jù)的輸出，， 使數(shù)據(jù)量計算部分34供應的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。此外， 控制部分35經(jīng)傳送路徑3接收從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)，并相應于點擊 數(shù)據(jù)控制MUX32選擇和多路復用編碼的數(shù)據(jù)。下面，結(jié)合圖34所示的流程圖由說明圖33所示的發(fā)送處理部分1016 執(zhí)行的發(fā)送處理。首先，在步驟Slll，發(fā)送處理部分1016的控制部分35確定點擊數(shù)據(jù)是 否已從接收設(shè)備2發(fā)送。當步驟Slll上的確定結(jié)果表明接收設(shè)備2未發(fā)送點 擊數(shù)據(jù)(即，控制部分35未接收到點擊數(shù)據(jù))時，流程前進到步驟S112。 在步驟S112,和圖10所示的步驟S22的情況一樣，控制部分35控制MUX32 選擇編碼的背景圖像數(shù)據(jù)、編碼對象數(shù)據(jù)和編碼附加信息數(shù)據(jù)，并多路復用該選擇的數(shù)據(jù)，以便接收設(shè)備2可以用常規(guī)時間分辨率顯示一個圖像。此后，流程前進到步驟S113。在步驟S113上，發(fā)送處理部分1016從發(fā) 送部分33經(jīng)傳送路徑3發(fā)送MUX32供應的多路復用數(shù)據(jù)。此后，流程返回 到步驟Slll。當步驟Slll上的確定結(jié)果表明接收設(shè)備2已經(jīng)發(fā)送點擊數(shù)據(jù)(即，控制 部分35已經(jīng)接收到點擊數(shù)據(jù))時，流程前進到步驟S114。在步驟S114上， 控制部分35相應于點擊數(shù)據(jù)認同用戶已經(jīng)用接收設(shè)備2的按鍵部分2-3指定 的一個考慮點的坐標(點擊位置)和點擊時間。此后，在步驟S115上，控制部分35相應于考慮點的坐標(點擊位置) 和點擊時間按下面將要描述的方式指定接收設(shè)備2方的用戶考慮的興趣對象 區(qū)域，把興趣對象區(qū)域指定為其空間分辨率被優(yōu)先改善的 一個圖像的優(yōu)先權(quán) 范圍，并檢測優(yōu)先權(quán)范圍內(nèi)的一個圖像以及其附加信息。在這種情況下，優(yōu) 先權(quán)范圍內(nèi)的圖像是對象圖像。非優(yōu)先權(quán)范圍內(nèi)的一個圖像是例如像不感興 趣對象區(qū)域內(nèi)的一個背景圖像那樣的一個圖像。此后，在步驟S116上，控制部分35控制MUX32選4奪優(yōu)先權(quán)范圍內(nèi)的 圖像(對象圖像)、非優(yōu)先權(quán)范圍內(nèi)的一個圖像(背景圖像)以及附加信息的 編碼數(shù)據(jù)，并多路復用它們。換句話說，當控制部分35接收到來自接收設(shè)備 2的點擊數(shù)據(jù)時，像圖10所示的步驟S26上情況那樣，控制部分35控制 MUX32,以便優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率以時間分辨率為代價得到改 善。
此外，在步驟S116上，控制部分35控制MUX32把高分辨率信息作為 優(yōu)先權(quán)范圍的位置和尺寸信息插入到被選作多路復用數(shù)據(jù)的附加信息中。此 后，流程前進到步驟S113。在步驟S113上，發(fā)送設(shè)備33經(jīng)傳送路徑3發(fā)送MUX32輸出的多路復 用數(shù)據(jù)。此后，流程返回到步驟Slll。如上述的那樣，在圖34所示的發(fā)送處理中，執(zhí)行和圖IO所示的處理相 似的處理。因而，當接收設(shè)備2的用戶為了包含考慮點上的優(yōu)先權(quán)分為內(nèi)的 圖像而連續(xù)地操作點擊數(shù)據(jù)輸入部分1024 (例如，他和她連續(xù)地指定相同的 考慮點)時，優(yōu)先發(fā)送改善空間分辨率的數(shù)據(jù)。因而，包含考慮點的優(yōu)先權(quán) 范圍內(nèi)的圖像的空間分辨率被逐漸改善。結(jié)果優(yōu)先權(quán)范圍內(nèi)的圖像被更加清 晰地顯示了。換句話說，接收設(shè)備2側(cè)的用戶進行考慮的一個圖像(一個興 趣對象區(qū)域和一個對象圖像)被更加清楚地顯示。如上所述，圖像數(shù)據(jù)的傳送相應于傳送路徑3的傳送速率進行控制，以 便優(yōu)先權(quán)范圍內(nèi)的圖像(一個興趣對象區(qū)域和一個對象圖像)的空間分辨率 和時間分辨率在分辨率的范圍內(nèi)變化。因而，在有限的傳送速率下，可以進 一步改善與接收設(shè)備2所顯示的一個考慮點相對應的一個對象圖像的空間分 辨率。換句話說，由于優(yōu)先權(quán)范圍內(nèi)的對象圖像的空間分辨率以圖像的時間 分辨率為代價得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設(shè) 備2上顯示的對象圖像(即，空間分辨率可以被進一步改善)。下面圖35示出了圖31所示的組合處理部分1022的結(jié)構(gòu)的實例。在圖 35中，和圖13所示的部分相同的部分由相同的參考標號表示，并省略對它 們的說明。換句話說，組合處理部分1022中不設(shè)置背景圖像標志存儲器74。 組合處理部分1022中設(shè)置的是組合部分1077而不是組合部分77。此外，供 給組合部分1077的是點擊數(shù)據(jù)而不是控制信息。除了這些方面外，圖35所 示的組合處理部分1022的結(jié)構(gòu)基本上與圖13所示的組合部分22的結(jié)構(gòu)相 同。參見圖35，接收處理部分21 (參見圖31)輸出的背景圖像數(shù)據(jù)被輸入 給背景圖像寫入部分71。接收處理部分21輸出的對象圖像數(shù)據(jù)被輸入給對 象寫入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫入部 分71、對象寫入部分72和組合部分1077。背景圖像寫入部分71把供給的背景圖像數(shù)據(jù)連續(xù)地寫入背景圖像存儲器73。然而，在圖35所示的實施例中，未設(shè)置圖13所示實施例的背景圖像 標志存儲器74。因而，在圖35中，當背景圖像寫入部分71把背景圖像數(shù)據(jù) 寫到背景圖像存儲器73上時，背景圖像寫入部分71不核對一個背景圖像標 志。組合部分1077相應于附加信息中包含的背景圖像移動矢量從背景圖像 存儲器73中存儲的背景圖4象數(shù)據(jù)中讀出在當前時間(當前幀)顯示的幀的一 個背景圖像，相應于附加信息中包含的一個對象移動矢量將對象存儲器75中 存儲的 一個對象圖像與該背景圖像相組合，并把當前幀的組合圖像供應給顯 示存儲器78。此外，當組合部分1077接收到來自圖31所示的點擊數(shù)據(jù)輸入部分1024 的點擊數(shù)據(jù)時，組合部分1077從對象存儲器75中讀出包含一個考慮點坐標 位置的對象圖像數(shù)據(jù)，該考慮點被包含在點擊數(shù)據(jù)中，并把獲得的對象圖像 數(shù)據(jù)供應給子窗口存儲器79。下面結(jié)合圖36所示的流程圖說明圖35所示的組合處理部分1022所執(zhí)行 的處理(組合處理)。首先，在步驟S121上，對象寫入部分72相應于對象存儲器75中存儲的 一個對象標識按上述方式寫入圖35所示的解碼部分53所供應的對象圖像數(shù) 據(jù)。此后，流程前進到步驟S122。對象寫入部分72確定附加信息是否包含 高分辨率信息。當步驟si22上的確定結(jié)果表明附加信息包含高分辨率信息 (即，接收設(shè)備2的用戶已經(jīng)操作按鍵部分2-3,點擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送設(shè) 備1,并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個圖像發(fā)送具有高空間分辨 率的對象圖像數(shù)據(jù))時，流程前進到步驟S123。在步驟S123上，對象寫入 部分72將對象標志存儲器76的相關(guān)對象標志調(diào)整到"1"。換句話說，當發(fā)送設(shè)備l已經(jīng)為優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送具有高空間分 辨率的對象圖像數(shù)據(jù)時，在步驟S121上，具有高空間分辨率的對象圖像數(shù)據(jù) 被寫入對象存儲器75。因而，在步驟S123上，組成具有高空間分辨率的對 象的像素的對象標志被調(diào)整到"1"。此后，流程前進到步驟S124。在步驟S124上，組合部分1077從對象存 儲器75中讀出優(yōu)先權(quán)范圍內(nèi)的對象圖像數(shù)據(jù)，并把獲得的對象圖像數(shù)據(jù)寫入 到子窗口存儲器79。換句話說，當步驟S122上的確定結(jié)果表明附加信息包含高分辨率信息時，則如上述的那樣，用戶已經(jīng)操作按#:部分2-3,點擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送 設(shè)備1,并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個圖像發(fā)送具有高空間分 辨率的對象圖像數(shù)據(jù)。發(fā)送給發(fā)送設(shè)備1的點擊數(shù)據(jù)還供應給組合部分1077。 當組合部分1077接收到點擊數(shù)據(jù)時，在步驟S124上，組合部分1077相應于 包含在點擊數(shù)據(jù)中的考慮點的坐標和點擊時間認同優(yōu)先權(quán)范圍，從對象存儲 器75中讀出已從發(fā)送設(shè)備1發(fā)送的在優(yōu)先權(quán)范圍內(nèi)的具有高空間分辨率的一 個對象，并把獲得的對象寫到子窗口存儲器79。此外，如上所述的那樣，當 發(fā)送設(shè)備1發(fā)送的首部信息包含點擊數(shù)據(jù)時，組合部分1077可以依據(jù)首部信 息中包含的點擊數(shù)據(jù)認同該優(yōu)先權(quán)范圍。此后，流程前進到步驟S125。在步驟S125上，組合部分1077相應于附 加信息中包含的背景圖像移動矢量從背景圖像存儲器73中讀出當前幀的背 景圖像數(shù)據(jù)。此外，組合部分1077從對象存儲器75中讀出顯示的當前幀的 對象圖像數(shù)據(jù)。此后，組合部分1077相應于附加信息中包含的一個對象移動 矢量將當前幀的背景圖像數(shù)據(jù)與已經(jīng)從對象存儲器75中讀出的對象圖像數(shù) 據(jù)相組合，并把該當前幀的組合圖像寫到顯示存儲器78。換句話說，組合部 分1077把背景圖像數(shù)據(jù)寫入到顯示存儲器78,然后將對象圖像數(shù)據(jù)覆蓋寫 到顯示存儲器78。結(jié)果，組合部分1077將已經(jīng)組合了背景圖像和對象圖像 的當前幀的圖像數(shù)據(jù)寫入到顯示存儲器78。在上述方式中，寫入到顯示存儲器78的當前幀的圖像數(shù)據(jù)和寫入到子窗 口存儲器79的對象圖像數(shù)據(jù)被供應給圖31所示的圖像輸入部分23,并在其 上顯示。相反，當步驟S122上的確定結(jié)果表明附加信息不包含高分辨率信息(即， 接收設(shè)備2的用戶還未操作按鍵部分2-3)，流程前進到步驟S125,跳過步驟 S123和S124。如上所述的那樣，在步驟S125,組合部分1077從背景圖像存 儲器73讀出當前幀的背景圖像數(shù)據(jù)，從對象存儲器75中讀出所需的對象圖 像數(shù)據(jù)，并相應于附加信息將當前幀的背景圖像和已經(jīng)從對象存儲器75中讀 出的對象圖像數(shù)據(jù)進行組合。結(jié)果，當前幀的圖像數(shù)據(jù)被形成并被寫入到顯 示存儲器78。此后，流程返回到步驟S121。在步驟S121上，組合部分1077 重復相似的處理。根據(jù)上述的組合處理，按照和結(jié)合圖15所述情況相同的方式，顯示用戶
考慮作為一個對象的具有高空間分辨率的一個圖像。圖35所示的組合處理部 分1022沒有圖13所示的背景圖像標志存儲器74。因此，圖35所示的背景 圖像寫入部分71總是把供應的背景圖像數(shù)據(jù)寫入到背景圖像存儲器73。因 此，在圖36所示的組合處理中，背景圖像的空間分辨率不像參考圖13至15 所述的情況那樣能夠得到改善。下面，將說明相應于從接收設(shè)備2供給的點擊數(shù)據(jù)提取對象圖像(興趣 對象區(qū)域)的方法。該方法由圖29所示的對象提取部分1044執(zhí)行。圖37示出了圖29所示的預處理部分12的對象提取部分1014的結(jié)構(gòu)實例。在圖37中，圖29所示的圖像輸入部分11所供應的圖像數(shù)據(jù)被存儲到圖 像存儲器201。該圖像數(shù)據(jù)從圖像存儲器201中讀出，并供應給靜止區(qū)域和 移動區(qū)域確定部分203的公共端、對象圖像提取部分213和選擇開關(guān)207。 圖像存儲器201存儲靜止區(qū)域和移動區(qū)域確定部分203進行靜止區(qū)域和移動 區(qū)域確定所需的至少幾個幀的圖像數(shù)據(jù)，該靜止區(qū)域和移動區(qū)域確定部分203 是圖像存儲器201的一個下游部分。此外，接收設(shè)備2經(jīng)傳送路徑3發(fā)送的點擊數(shù)據(jù)被存儲到點擊數(shù)據(jù)存儲 器202。該點擊數(shù)據(jù)從點擊數(shù)據(jù)存儲器202中讀出并供應給靜止區(qū)域和移動 區(qū)域確定部分204的公共端、連續(xù)點擊確定部分204和選擇開關(guān)206。點擊 數(shù)據(jù)存儲器202存儲在作為點擊數(shù)據(jù)存儲器202的一個下游部分的連續(xù)點擊 確定部分204所執(zhí)行的連續(xù)點擊確定一個預定時間周期(例如，大于500到 700毫秒)所需的點擊數(shù)據(jù)。靜止區(qū)域和移動區(qū)域確定部分203確定由接收設(shè)備2發(fā)送的當前點擊數(shù) 據(jù)所代表的點擊位置(圖像上的坐標值)周圍的局部小塊的圖像區(qū)域(例如， 16x 16像素)是移動區(qū)域還是靜止區(qū)域。換句話說，靜止區(qū)域和移動區(qū)域確 定部分203為點擊位置周圍的16x 16個像素獲得當前幀的圖像區(qū)域與一個過 去幀的圖像區(qū)域之間的差值，該過去幀先于當前幀幾個幀(以下，把該過去 幀稱為過去幀)。當幀間的差值等于或小于預定閾值時，靜止區(qū)域和移動區(qū)域 確定部分203確定該圖像區(qū)域是靜止區(qū)域。相反，當該差值大于預定閾值時， 靜止區(qū)域和移動區(qū)域確定部分203確定該圖像區(qū)域是移動區(qū)域。當處理彩色 圖4象時，靜止區(qū)域和移動區(qū)域確定部分203為R、 G和B的每一個的16 x 16 個像素的圖像獲得當前幀的圖像區(qū)域與過去幀的圖像區(qū)域之間的差值。當為
R、 G、 B獲得的幀差值的絕對值的平均值等于或小于一個預定閾值(例如，
等于或小于IO)時，靜止區(qū)域和移動區(qū)域確定部分203確定該圖像區(qū)域是靜止區(qū)域。相反，當該平均值大于預定閾值時，靜止區(qū)域和移動區(qū)域確定部分
203確定該圖像區(qū)域是一個移動區(qū)域。當移動區(qū)域和靜止區(qū)域確定部分203 確定圖像區(qū)域是一個靜止區(qū)域時，靜止區(qū)域和移動區(qū)域確定部分203確定點 擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)是靜止點擊(靜止區(qū)域中的一個點 擊)。當靜止區(qū)域和移動區(qū)域確定部分203確定圖像區(qū)域是一個移動區(qū)域時， 靜止區(qū)域和移動區(qū)域確定部分203確定點擊數(shù)據(jù)存儲器202輸出的當前點擊 數(shù)據(jù)是移動點擊(移動區(qū)域中的一個點擊)。此后，靜止區(qū)域和移動區(qū)域確定 部分203向處理確定部分205發(fā)送作為靜止區(qū)域和移動區(qū)域確定結(jié)果的表示 靜止點擊和移動點擊的信息。
連續(xù)點擊確定部分204相應于從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)的點擊時間 確定接收設(shè)備2的用戶是否已經(jīng)連續(xù)執(zhí)行點擊操作。換句話說，連續(xù)點擊確 定部分204獲得接收設(shè)備2發(fā)送的當前點擊數(shù)據(jù)的點擊時間與前一點擊數(shù)據(jù) 的點擊時間之間的時間差(即，點擊時間間隔)。當該時間差等于或小于預定 閾值時，連續(xù)點擊確定部分204確定用戶未執(zhí)行連續(xù)點擊操作。當連續(xù)點擊 確定部分204確定用戶已經(jīng)執(zhí)行連續(xù)點擊操作時，連續(xù)點擊確定部分204按 連續(xù)點擊處理從點擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)。相反，連續(xù)點擊 確定部分204確定用戶還未執(zhí)行連續(xù)點擊操作(即，當前點擊時間與前一點 擊時間之間的時間差等于或小于預定閣值)時，連續(xù)點擊確定部分204按非 連續(xù)點擊處理從點擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)。此后，連續(xù)點擊 確定部分204向處理確定部分205發(fā)送作為連續(xù)點擊確定結(jié)果的表示連續(xù)點 擊或非連續(xù)點擊的信息。
處理確定部分205相應于靜止區(qū)域和移動區(qū)域確定部分203的靜止區(qū)域 和移動區(qū)域確定結(jié)果和連續(xù)點擊確定部分204的連續(xù)點擊確定結(jié)果控制選擇 開關(guān)206、選擇開關(guān)207和選擇開關(guān)208。
換句話說，相應于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果， 當點擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)是靜止點擊和連續(xù)點擊時，處理 確定部分205控制選擇開關(guān)206,使點擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù) 據(jù)被發(fā)送給靜止對象連接處理部分211。此外，處理確定部分205控制選擇 開關(guān)207，使圖像存儲器201輸出的圖像數(shù)據(jù)被發(fā)送給靜止圖像連接處理部
分211。然而，處理確定部分205控制選擇開關(guān)208,使對象提取結(jié)果存儲器 214輸出的前一點擊數(shù)據(jù)(后面將要說明)、分配給該點擊數(shù)據(jù)的對象號(相 當于上述的標志，并歸類(標識)對象)和與該對象號相對應的對象圖像數(shù) 據(jù)發(fā)送給靜止對象連接處理部分211。此外，相應于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果，當點 擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)是一個移動點擊和一個連續(xù)點擊時， 處理確定部分205控制選擇開關(guān)206，使點擊數(shù)據(jù)存儲器202輸出的當前點 擊數(shù)據(jù)發(fā)送給移動對象連接處理部分210。此外，處理確定部分205控制選 擇開關(guān)207,使圖像存儲器201輸出的圖像數(shù)據(jù)發(fā)送給移動對象連接處理部 分210。此外，處理確定部分205控制選擇開關(guān)208,使對象提取結(jié)果存儲器 214輸出的前一單擊數(shù)據(jù)(后面將進行說明)、分配給該點擊數(shù)據(jù)的對象號、 和對應于該對象號的對象圖像數(shù)據(jù)發(fā)送給移動對象連接處理部分210。此外，相應于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果，當點 擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)是一個靜止點擊和一個連續(xù)點擊(當 前點擊時間與前一點擊時間之間的時間差等于或大于預定閾值)時，處理確 定部分205控制選擇開關(guān)206,使點擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù) 發(fā)送給對象號分配部分209。此外，處理確定部分205控制選擇開關(guān)207,使 從圖像存儲器201輸出的圖像數(shù)據(jù)發(fā)送給靜止對象連接處理部分211。此時， 選擇開關(guān)208控制選擇開關(guān)208。使對象提取結(jié)果處理器214輸出的前一點 擊數(shù)據(jù)、對象號、和對象圖像數(shù)據(jù)不發(fā)送給靜止對象連接處理部分211 (在 此情況下，例如，選擇開關(guān)208打開)。此外，相應于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果，當點 擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)是一個移動點擊和一個非連續(xù)點擊 (當前點擊時間與前一點擊時間之間的時間差等于或大于預定閾值)時，處 理確定部分205控制選擇開關(guān)206，使點擊數(shù)據(jù)存儲器202輸出的當前點擊 數(shù)據(jù)不發(fā)送給對象號分配部分209。此外，處理確定部分205控制選擇開關(guān) 207，使圖像存儲器201輸出的圖像數(shù)據(jù)發(fā)送給移動對象連接處理部分210。 此時，處理確定部分205控制選擇開關(guān)208，使得對象提取結(jié)果存儲器214 輸出的前一點擊數(shù)據(jù)、對象號、和對象圖像數(shù)據(jù)不發(fā)送給移動對象連接處理 部分210(例如，打開選#^開關(guān)208 )。對象號分配部分209把一個新對象號分配給由靜止對象連接處理部分
211和移動對象連接處理部分210按一個連接處理進行處理的作為一個非連 續(xù)點擊而不是連續(xù)點擊的點擊數(shù)據(jù)(下面將進行說明)，并把該對象號和點擊數(shù)據(jù)發(fā)送給對象號存儲器212。當處理確定部分205確定點擊數(shù)據(jù)存儲器202輸出的當前點擊數(shù)據(jù)是移 動點擊和連續(xù)點擊時，移動對象連接處理部分210確定前一點擊數(shù)據(jù)是否是 移動點擊，當前點擊位置附近的圖像特征是否被包含在具有分配給前一點擊 數(shù)據(jù)的對象號的移動對象圖像區(qū)域的特征內(nèi)，或它們(當前點擊數(shù)據(jù)和前一 點擊數(shù)據(jù))是否相同。當確定結(jié)果是肯定的時，移動對象連接處理部分210 確定當前點擊是對相同對象圖像的點擊。因而，移動對象連接處理部分210 執(zhí)行一個連接處理，將與前一點擊數(shù)據(jù)相同的對象號分配給當前點擊數(shù)據(jù)和 把該對象號和點擊數(shù)據(jù)發(fā)送給對象號存儲器212。當處理確定部分205的確定結(jié)果表明點擊數(shù)據(jù)存儲器202輸出的當前點 擊數(shù)據(jù)是靜止點擊和連續(xù)點擊時，靜止對象連接處理部分211確定前一點擊 是否是靜止點擊，以及當前點擊位置是否被包含在具有分配給前一點擊數(shù)據(jù) 的對象號的靜止對象圖像的區(qū)域中，或當前點擊位置是否接近該區(qū)域。當靜 止對象連接處理部分211的確定結(jié)果是肯定的時，靜止對象連接處理部分211 確定當前點擊是用于與前一點擊相同的對象的點擊。因而，靜止對象連接處 理部分211執(zhí)行一個靜止對象連接處理，將與前一點擊數(shù)據(jù)相同的對象號分 配給當前點擊數(shù)據(jù)并把該對象號和點擊數(shù)據(jù)發(fā)送給對象號存儲器212。對象號存儲器212存儲已經(jīng)由對象號分配部分209、移動對象連接處理 部分210和靜止對象連接處理部分211分配了對象號的多個過去幀的點擊數(shù) 據(jù)，并把該存儲的點擊數(shù)據(jù)和對象號發(fā)送給對象圖像提取部分213。對象圖像提取部分213相應于已從對象號存儲器212供應的并且已經(jīng)分 配了對象號多個過去幀的點擊數(shù)據(jù)，從圖像存儲器201供給的圖像數(shù)據(jù)中提 取靜止對象圖像、移動對象圖像、背景圖像等，并且把提取的結(jié)果供應給對 象提取結(jié)果存儲器214。換句話說，對象圖像提取部分213相應于從對象提取部分213供應的并 且已經(jīng)分配了對象號多個過去幀的點擊數(shù)據(jù)，從作為靜止點擊的具有高點擊 數(shù)據(jù)密度的點擊數(shù)據(jù)的圖像部分中獲得 一 個占優(yōu)的對象號。對象圖像提取部 分213相應于用占優(yōu)對象號分配的點擊數(shù)據(jù)的分配形成一個對象的形狀，并 從該圖像數(shù)據(jù)中提取按一個對象圖像構(gòu)形對象的 一個圖像。
此外，對象圖像提取部分213對于在被確定為移動點擊的點擊數(shù)據(jù)中分 配了相同對象號的點擊位置附近的幀的圖像，執(zhí)行一個圖案匹配操作，并相應于該匹配結(jié)果為該圖像執(zhí)行移動補償。然而，對象圖像提取部分213從被確定為相似圖像區(qū)域的一個圖像數(shù)據(jù)中獲得具有高點擊密度的一個圖像區(qū)域(即，通過移動補償調(diào)整的圖像區(qū)域)的占優(yōu)對象號。對象圖像提取部分213 相應于分配了占優(yōu)對象號的點擊數(shù)據(jù)的分配構(gòu)成一個圖像的形狀，并從該圖 像區(qū)域中提取以一個對象圖像構(gòu)形的一個圖像。此后，對象圖像提取部分213把具有低靜止點擊密度和低移動點擊密度 的一個圖像部分指定為一個背景圖像。對象提取結(jié)果存儲器214存儲由對象圖像提取部分213提取的對象圖像 數(shù)據(jù)，以及點擊數(shù)據(jù)、對象號等。必要時，對象提取結(jié)果存儲器214向圖29 所示的背景圖像提取部分1013、附加信息計算部分15和發(fā)送處理部分1016 供應該對象圖像數(shù)據(jù)。下面，結(jié)合圖38所示的流程圖說明相應于接收設(shè)備2發(fā)送的點擊數(shù)據(jù)來 提取接收設(shè)備2的用戶從正在拍攝的一個圖像中考慮的一個對象圖像(感興 趣的對象區(qū)域)的處理。該處理由圖37所示的對象提取設(shè)備1014執(zhí)行。首先，在步驟S131,圖像存儲器201存儲圖像輸入部分11輸入的一幀 的圖像數(shù)據(jù)(輸入無論何時發(fā)送的幀圖像數(shù)據(jù))。圖像存儲器201存儲在步驟 S133上執(zhí)行靜止區(qū)域和移動區(qū)域確定處理所需的至少幾個幀的圖像數(shù)據(jù)。在步驟S131上，當接收設(shè)備2經(jīng)發(fā)送路徑3發(fā)送點擊數(shù)據(jù)時，點擊數(shù)據(jù) 存儲器202存儲該點擊數(shù)據(jù)。點擊數(shù)據(jù)存儲器202存儲在步驟S133上執(zhí)行的 連續(xù)點擊確定處理(下面將進行說明)至少一個預定時間周期(例如，長達 500至700毫秒)所需的的點擊數(shù)據(jù)。此后，流程前進到步驟S132，在步驟S132,對象提取部分1014確定是 否存儲了接收設(shè)備2已發(fā)送的并且未被處理的點擊數(shù)據(jù)。當步驟S132上的確 定結(jié)果表明點擊數(shù)據(jù)存儲器202沒有存儲未被處理的點擊數(shù)據(jù)時，流程返回 到步驟S131。在步驟S131上，對象提取部分1014等待輸入圖像數(shù)據(jù)和點擊 數(shù)據(jù)。相反，當步驟S132上的確定結(jié)果表明點擊數(shù)據(jù)存儲器202存儲了未 被處理的點擊數(shù)據(jù)時，流程前進到步驟S133。在步驟S133上，對象提取部 分1014把未被處理的最舊的點擊數(shù)據(jù)指定為當前點擊數(shù)據(jù)。靜止區(qū)域和移動 區(qū)域確定部分203、連續(xù)點擊確定部分204和處理確定部分205為該當前點 擊數(shù)據(jù)執(zhí)行靜止區(qū)域和移動區(qū)域確定處理和連續(xù)點擊確定處理。換句話說，在步驟S133上，靜止區(qū)域和移動區(qū)域確定部分203使用接收 設(shè)備2發(fā)送的當前點擊數(shù)據(jù)中含有的點擊位置信息(圖像坐標值)執(zhí)行靜止 區(qū)域和移動區(qū)域的確定處理，以確定作為一個點擊位置周圍的局部小塊的一 個圖像區(qū)域是一個移動區(qū)域還是一個靜止區(qū)域。下面，更實際地說明由靜止區(qū)域和移動區(qū)域確定部分203執(zhí)行的圖38 所示的在步驟S133上進行的靜止區(qū)域和移動區(qū)域確定處理。如圖39所示的 流程圖所示，在步驟S141上，靜止區(qū)域和移動區(qū)域確定部分203從圖像存儲 器201和點擊數(shù)據(jù)存儲器202分別讀出幾個幀的圖像數(shù)據(jù)和點擊數(shù)據(jù)。處理 一個彩色圖像時，如圖40(A)所示，靜止區(qū)域和移動區(qū)域確定部分203讀 出用于R(紅)、G(綠)、B (藍)的幾個幀的圖像數(shù)據(jù)。此外，靜止區(qū)域和 移動區(qū)域確定部分203從圖像數(shù)據(jù)存儲器201和點擊數(shù)據(jù)存儲器202中分別 讀出包含對應于當前點擊數(shù)據(jù)的一個幀的幾個過去幀的圖像數(shù)據(jù)和對應于為 這幾個幀所執(zhí)行的點擊的點擊數(shù)據(jù)。此后，在步驟S142上，對于當前點擊數(shù)據(jù)的點擊位置周圍的水平方向和 垂直方向上的由16 x 16象素組成的一個局部小塊，靜止區(qū)域和移動區(qū)域確定 部分203計算當前幀的一個圖像區(qū)域與超前該當前幀幾個幀的過去幀(該過 去幀被稱之為過去幀)之間的差值。處理一個彩色圖像時，在步驟S142上， 如圖40 ( B )和40 ( A )所示，靜止區(qū)域和移動區(qū)域確定部分203獲得用于R、 G和B每一個的由16x 16象素組成的一個圖像的幀之間的差值并獲得用于 R、 G和B每一個的差值絕對值的平均值。此后，在步驟S143上，靜止區(qū)域和移動區(qū)域確定部分203確定在步驟 S142上計算的幀間差值是否等于或小于一個確定的閾值。此后，流程前進到 步驟S144。當幀間差值等于或小于預定閾值時，靜止區(qū)域和移動區(qū)域確定部 分203確定包含當前點擊數(shù)據(jù)的點擊位置的一個小塊(該小塊可以被稱之為 當前塊)是一個靜止區(qū)域。相反，當幀間差值大于預定閾值時，靜止區(qū)域和 移動區(qū)域確定部分203確定該當前塊是一個移動區(qū)域。此外，當靜止區(qū)域和 移動區(qū)域確定部分203的確定結(jié)果表明當前塊是一個靜止區(qū)域時，靜止區(qū)域 和移動區(qū)域確定部分203把對應于當前塊的圖像區(qū)域的點擊數(shù)據(jù)指定為一個 靜止點擊。相反，當靜止區(qū)域和移動區(qū)域確定部分203的確定結(jié)果表明當前 塊是一個移動區(qū)域時，靜止區(qū)域和移動區(qū)域確定部分203把相當于當前塊的 圖像區(qū)域點擊數(shù)據(jù)指定為一個移動點擊。靜止區(qū)域和移動區(qū)域確定部分203 輸出作為靜止區(qū)域和移動區(qū)域確定結(jié)果的該確定結(jié)果。在處理一個彩色圖像的情況下，在步驟S144,如圖40(D)所示，當用 于R、 G和B每一個的16 x 16象素的每個塊的幀間差值的絕對值的平均值小 于或等于一個預定閾值(例如，"10")時，靜止區(qū)域和移動區(qū)域確定部分203 把預定標志調(diào)整到例如"0"。相反，當該平均值大于預定閾值時，靜止區(qū)域 和移動區(qū)域確定部分203把預定標志調(diào)整到例如"1"。在步驟S144上，如圖 40 (E)所示，當用于16x 16象素的當前塊的R、 G和B的所有標志都為"0" 時，靜止區(qū)域和移動區(qū)域確定部分203確定當前塊是一個靜止區(qū)域，并把對 應于當前塊的圖像區(qū)域的點擊數(shù)據(jù)指定為靜止點擊。相反，當標志之一是"l" 時，靜止區(qū)域和移動區(qū)域確定部分203確定當前塊是一個移動區(qū)域并且^l巴與 當前塊的圖像區(qū)域相對應的點擊數(shù)據(jù)指定為 一個移動點擊。靜止區(qū)域和移動 區(qū)域確定部分203輸出作為靜止區(qū)域和移動區(qū)域確定結(jié)果的靜止點擊或移動 點擊的信息。返回到圖38，在步驟S133上，連續(xù)點擊確定部分204連續(xù)點擊確定處 理，確定接收設(shè)備2的用戶所執(zhí)行的點擊操作是否是與接收設(shè)備2發(fā)送的點 擊數(shù)據(jù)中包含的點擊時間相對應的連續(xù)點擊操作。下面說明圖38所示的在步驟S133上執(zhí)行的連續(xù)點擊確定部分204的處 理。根據(jù)圖41所示的流程圖，在步驟S151上，點擊數(shù)據(jù)存儲器202讀出在 點擊數(shù)據(jù)存儲器202中存儲的點擊數(shù)據(jù)。此后，在步驟S152上，連續(xù)點擊確定部分204計算從接收設(shè)備2發(fā)送的 當前點擊數(shù)據(jù)的點擊時間與前一點擊數(shù)據(jù)的點擊時間(在前時間)之間的時 間差(點擊間隔)。然后，在步驟S153上，連續(xù)點擊確定部分204確定該時間差是否等于或 小于一個預定閾值。當步驟S153上的確定結(jié)果表明該時間差等于或小于預定 閾值時，連續(xù)點擊確定部分204確定當前點擊數(shù)據(jù)是連續(xù)點擊。相反，當步 驟S153上的確定結(jié)果表明該時間差大于預定閾值時，連續(xù)點擊確定部分204 確定當前點擊數(shù)據(jù)不是連續(xù)點擊。此后，流程前進到步驟S154。在步驟S154 上，連續(xù)點擊確定部分204輸出代表作為連續(xù)點擊確定結(jié)果的連續(xù)點擊或非 連續(xù)點擊的信息。換句話說，當步驟S153上的確定結(jié)果表明當前點擊數(shù)據(jù)是連續(xù)點擊時，
接收設(shè)備2的用戶往往是對一個對象圖像連續(xù)執(zhí)行點擊操作。這是因為，當 接收設(shè)備2的用戶請求發(fā)送設(shè)備1發(fā)送具有高空間分辨率的對象圖像數(shù)據(jù)(興 趣對象區(qū)域中的數(shù)據(jù))時，他或她往往連續(xù)地點擊用戶想要改善其空間分辨 率的一個對象圖像部分(興趣對象區(qū)域)。因而，當連續(xù)點擊確定部分204的確定結(jié)果表明當前點擊操作是連續(xù)點擊操作時，連續(xù)點擊確定部分204把當 前點擊數(shù)據(jù)指定為連續(xù)點擊。相反，當連續(xù)點擊確定部分204的確定結(jié)果表 明當前點擊操作不是連續(xù)點擊操作(即，當前點擊的點擊時間與前一點擊的 點擊時間之間的時間差等于或大于預定閾值)時，連續(xù)點擊確定部分204把 當前點擊數(shù)據(jù)指定為一個非連續(xù)點擊。連續(xù)點擊確定部分204輸出連續(xù)點擊 確定結(jié)果。返回到圖38,在步驟S133上，當靜止區(qū)域和移動區(qū)域確定部分203和 連續(xù)點擊確定部分204的確定結(jié)果表明當前點擊數(shù)據(jù)是靜止點擊和連續(xù)點擊 時，處理確定部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選擇 開關(guān)208。因而，在步驟S135上，靜止對象連接處理部分211執(zhí)行一個靜止 圖像連接處理。當確定結(jié)果表明當前點擊數(shù)據(jù)是一個移動點擊和一個連續(xù)點 擊時，處理確定部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選 擇開關(guān)208。因而，在步驟S136上，移動對象連接處理部分210執(zhí)行一個移 動對象連接處理。當確定結(jié)果表明當前點擊數(shù)據(jù)是非連續(xù)點擊時，處理確定 部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選擇開關(guān)208。在步 驟S136上，移動對象連接處理部分210執(zhí)行移動對象連接處理。當確定結(jié)果 表明當前點擊數(shù)據(jù)是一個非連續(xù)點擊時，處理確定部分205按上述方式控制 選擇開關(guān)206。因而，在步驟S134上，對象號分配部分209執(zhí)行新對象號分 配處理。換句話說，當步驟S133上的確定結(jié)果表明當前點擊數(shù)據(jù)是非連續(xù)點擊 時，流程返回到步驟S134。在步驟S134上，對象號分配部分209把一個新 對象號分配給當前點擊數(shù)據(jù)。此后，流程返回到步驟S131。實際上，如圖42 (A)所示，當分配給由實線X代表的前一點擊數(shù)據(jù) CL1的一個對象號是例如"0"時，如果由圖42 (A)中的虛線X標記代表 的當前點擊數(shù)據(jù)CL2 (即，未指定一個對象號的點擊數(shù)據(jù))被確定為一個非 連續(xù)點擊時，對象號分配部分209把一個新對象號分配給由圖42 (B)中的 實線X標記代表的當前點擊數(shù)據(jù)CL2 (在該實例中，新對象號是"1")。相反，當步驟S133上的確定結(jié)果表明當前點擊數(shù)據(jù)是連續(xù)點擊和靜止點 擊時，如果前一點擊是靜止點擊，以及當前點擊位置被包含在與分配給前一 點擊數(shù)據(jù)的對象號相對應的 一個圖像區(qū)域中，或者當前點擊位置接近該圖像區(qū)域，則靜止對象連接處理部分211判定當前點擊是用于與前一點擊相同的 對象圖像的一個點擊。因而，在步驟S134上，靜止對象連接處理部分211執(zhí) 行靜止圖像連接處理，用于為當前點擊數(shù)據(jù)分配與前一點擊數(shù)據(jù)相同的對象換句話說，如圖43所示的流程圖所示，在步驟S161上，靜止對象連接 處理部分211確定前一點擊數(shù)據(jù)是否是連續(xù)點擊和靜止點擊。當步驟S161上 的確定結(jié)果表明前一點擊數(shù)據(jù)是連續(xù)點擊和靜止點擊時，流程前進到步驟 S162。相反，當步驟S161上的確定結(jié)果表明前一點擊不是連續(xù)點擊和靜止點 擊時，流程前進到步驟S164。當步驟S161上的確定結(jié)果表明前一點擊數(shù)據(jù)不是連續(xù)的和靜止的點擊 時，在步驟S164上，靜止對象連接處理部分211按照與結(jié)合圖42(A)和(B) 所述的相同的方式把一個新對象號分配給當前點擊數(shù)據(jù)。此后，流程前進到 圖38所示的步驟S137。相反，當步驟S161上的確定結(jié)果表明前一點擊數(shù)據(jù)是連續(xù)點擊和靜止點 擊時，流程返回到步驟S162。在步驟S162上，靜止對象連接處理部分211 獲得當前點擊位置與對應于分配給前一點擊數(shù)據(jù)的對象號的圖像區(qū)域之間的 空間距離。當當前點擊位置被包含在與分配給前一點擊數(shù)據(jù)的對象號相對應 的圖像區(qū)域中時，或當前點擊位置接近該圖像區(qū)域時，靜止對象連接處理部 分211確定當前點擊數(shù)據(jù)是與前一點擊相同的對象圖像的點擊數(shù)據(jù)。相反， 當當前點擊位置未包含在與分配給前一點擊數(shù)據(jù)的對象號相對應的圖像區(qū)域 中時，以及當前點擊位置遠離該圖像區(qū)域時，靜止對象連接處理部分211確 定當前點擊數(shù)據(jù)是與前一點擊不同的對象圖像的點擊數(shù)據(jù)。當步驟S162上的 確定結(jié)果表明當前點擊數(shù)據(jù)是與前一點擊相同的對象圖像的點擊數(shù)據(jù)時，流 程前進到步驟S163。相反，當步驟S162上的確定結(jié)果表明當前點擊數(shù)據(jù)是 不同于前一點擊的對象圖像的點擊數(shù)據(jù)時，流程返回到步驟S164。當步驟S162上的確定結(jié)果表明當前點擊數(shù)據(jù)是不同于前一點擊的對象 圖像的點擊數(shù)據(jù)時，流程返回到步驟S164。在步驟S164,靜止對象連接處理 部分211把一個新對象號分配給當前點擊數(shù)據(jù)。此后，流程前進到圖38所示
的步驟S137。相反，當步驟S162上的確定結(jié)果表明當前點擊數(shù)據(jù)是與前一點擊相同的 對象圖像的點擊數(shù)據(jù)時，在步驟S163上，靜止對象連接處理部分211執(zhí)行靜 止對象連接處理，用于把和前一點擊數(shù)據(jù)相同的對象號分配給當前點擊數(shù)據(jù)。實際上，如圖42 (C)所示，當分配給由實線X標記所表示的前一點擊 數(shù)據(jù)CL1的一個對象號是"0"時，如果由圖42 (C)所示的虛線X標記所 表示的當前點擊標記CL2 (即，未給當前點擊數(shù)據(jù)指定一個對象號)被確定 為連續(xù)點擊和靜止點擊，前一點是靜止點擊以及當前點擊位置被包含在與分 配給前一點擊數(shù)據(jù)的一個對象號相對應的圖像區(qū)域中，或者當前點擊位置接 近該圖像區(qū)域，則靜止對象連接處理部分211把與前一點擊數(shù)據(jù)相同的對象 號(在該實例中為"1")分配給由圖42 (D)所示的實線X標記表示的當前 點擊數(shù)據(jù)CL2。靜止對象連接處理部分211把與前一點擊數(shù)據(jù)相同的對象號分配給當前 點擊數(shù)據(jù)后。流程前進到圖38所示的步驟S137。當步驟S133上的確定結(jié)果表明當前點擊數(shù)據(jù)是連續(xù)點擊和移動點擊、前 一點擊是移動點擊、以及當前點擊位置附近的圖像特征被包含在與分配給前 一點擊的對象號相對應的圖像區(qū)域(16x16象素)的特征中、或前者接近于 后者時，移動對象連接處理部分210確定該點擊是與前一點擊相同的對象圖 像的點擊。在步驟S136上，移動對象連接處理部分210執(zhí)行移動對象連接處 理，用于把和前一點擊數(shù)據(jù)相同的對象號分配給當前點擊數(shù)據(jù)。換句話說，當步驟S133上的確定結(jié)果表明當前點擊數(shù)據(jù)是連續(xù)點擊和移 動點擊時，則如圖44所示，在步驟S171上，移動對象連接處理部分210確 定前一點擊數(shù)據(jù)是否是連續(xù)點擊和移動點擊。當步驟S171上的確定結(jié)果表明 前一點擊數(shù)據(jù)是連續(xù)點擊和移動點擊時，流程前進到步驟S172。相反，當步 驟S171上的確定結(jié)果不是連續(xù)點擊和移動點擊時，流程前進到步驟S174。當步驟S171上的確定結(jié)果表明前一點擊數(shù)據(jù)不是連續(xù)點擊和移動點擊 時，流程前進到步驟S174。在步驟S174,移動對象連接處理部分210按照結(jié) 合圖41 (A)和(B)所述的相同方式把一個新對象號分配給當前點擊數(shù)據(jù)。 此后，流程前進到圖3 8所示的步驟S137 。當步驟S171上的確定結(jié)果表明前一點擊數(shù)據(jù)是連續(xù)點擊和移動點擊時， 流程前進到步驟S172。在步驟S172,移動對象連接處理部分210獲得當前點
擊位置附近的圖像數(shù)據(jù)(16 x 16象素)的特征，和與分配給前一點擊的對象 號相對應的圖像區(qū)域的特征。當當前點擊位置附近的圖像區(qū)域的特征包含在 與分配給前一點擊數(shù)據(jù)的對象號相對應的圖像區(qū)域的特征中，并且前者接近 后者時，接收處理部分210確定該點擊是與前一點擊相同的對象圖像的點擊。 相反，當與分配給前一點擊數(shù)據(jù)的對象號相對應的圖像區(qū)域的特征中不包含 當前點擊位置附近的圖像區(qū)域的特征時，或前者遠離后者時，接收處理部分210確定當前點擊數(shù)據(jù)是不同于前一點擊的對象圖像的點擊數(shù)據(jù)。在此情況 下，圖像區(qū)域的特征是例如一個點擊位置附近的局部區(qū)域(16 x 16象素)的 顏色(平均顏色，典型顏色，或類似物)、條形圖或圖案。當相同對象號被分 配給多個移動點擊時，則意味著在這些點擊數(shù)據(jù)中跟蹤一個對象。當步驟S172 上的確定結(jié)果表明當前點擊數(shù)據(jù)是用于與前一點擊相同的對象圖像的點擊數(shù) 據(jù)時，流程前進到步驟S173。相反，當步驟S172上的確定結(jié)果表明當前點 擊數(shù)據(jù)是用于不同于前一點擊的對象的點擊數(shù)據(jù)時，流程前進到步驟S174。當步驟S172上的確定結(jié)果表明當前點擊數(shù)據(jù)是用于不同于前一點擊的 對象圖像的點擊數(shù)據(jù)時，流程前進到步驟S174。在步驟S174上，移動對象 連接部分210按上述方式把一個新對象號分配給當前點擊數(shù)據(jù)。此后，流程 前進到圖38所示的步驟S137。當步驟S172上的確定結(jié)果表明當前點擊數(shù)據(jù)是用于與前一點擊相同的 對象圖像的點擊數(shù)據(jù)時，流程前進到步驟S173。在步驟S173,移動對象連接 處理部分210把與前一點擊數(shù)據(jù)相同的對象號分配給當前點擊數(shù)據(jù)。實際上，當分配給由圖42 (E)所示的實線X表示的前一點擊數(shù)據(jù)CL1 的一個對象號是例如"0"時，如果由圖42 (E)所示的虛線X表示的當前點 擊數(shù)據(jù)CL2被確定為連續(xù)點擊和移動點擊，以及當前點擊位置附近的圖像的 特征被包含在與分配給前一點擊的對象號相對應的對象圖像的特征中，或者 前者接近于后者，則移動對象連接處理部分210把與前一點擊數(shù)據(jù)相同的對 象號(在該實例中為"0")分配給由圖42 (F)所示的實線X標記表示的當 前點擊數(shù)據(jù)CL2。在步驟S173，在移動對象連接處理部分210把與前一點擊相同的對象號 分配給當前點擊數(shù)據(jù)后，流程前進到步驟S137。當流程從圖38所示的步驟S135前進到步驟S137時，對象圖像提取部 分213從與分配了對象號并存儲在對象號存儲器212中的過去幾個幀的點擊
數(shù)據(jù)相對應的輸入數(shù)據(jù)中和存儲在圖像存儲器20中的過去幾個幀的圖像數(shù) 據(jù)中提取靜止對象圖像、移動對象圖像和其他的背景圖像。換句話說，似乎 是靜止對象圖像被包含在具有高靜止點擊數(shù)據(jù)密度的圖像部分中。此時，對象圖像提取部分213獲得與分配了對象號的過去幾個幀相對應的靜止點擊數(shù)據(jù)密度，獲得具有高靜止點擊密度的圖像部分的占優(yōu)對象號，形成與分配了 占優(yōu)對象號的點擊數(shù)據(jù)的分布相對應的對象的形狀，和從圖像數(shù)據(jù)中提取按 靜止對象圖像構(gòu)形對象的 一個圖像。當流程從步驟S136前進到步驟S137時，對象圖像提取部分213為分配 了相同的對象號的移動點擊數(shù)據(jù)的點擊位置附近的幀的圖像執(zhí)行圖案匹配操 作，對應于該匹配結(jié)果執(zhí)行圖像的移動補償，獲得具有高點擊密度的圖案匹 配圖像區(qū)域的占優(yōu)對象號，相應于分配了占優(yōu)對象號的點擊數(shù)據(jù)的分布形成 一個對象的形狀，并從圖像數(shù)據(jù)中提取按移動對象圖像構(gòu)形對象的一個圖像。在步驟S137上，對象圖像提取部分213把具有低靜止點擊密度或低移動 點擊數(shù)據(jù)的一個圖像部分處理為當前背景圖像。換句話說，對象圖像提取部 分213把從圖像數(shù)據(jù)中提取的除靜止對象圖像和移動對象圖像之外的一個圖 像部分處理為一個背景圖像。下面結(jié)合圖45所示的流程圖詳細說明步驟S137上的處理。首先，在步 驟S181上，對象圖像提取部分213捕獲幾個過去幀分配對象號的點擊數(shù)據(jù)和 與其對應的圖像數(shù)據(jù)。此后在步驟S182上，對象圖像提取部分213把點擊數(shù) 據(jù)歸類為靜止點擊和移動點擊。當流程從圖38所示的步驟S135前進到步驟 S137時，流程從圖45所示的步驟S182前進到步驟S184。相反，當流程從圖 38所示的步驟S136前進到步驟S137時，流程從圖45所示的步驟S182前進 到步驟S184。當流程從圖38所示的步驟S135前進到步驟S137時，流程從圖45所示 的步驟S182前進到步驟S184。在步驟S184上，對象圖像提取部分213獲得 用于16x16象素的每個塊的分配了一個對象號的每個靜止點擊的一個靜止 點擊數(shù)據(jù)密度。此后，在步驟S185上，對象圖像提取部分213確定用于由一個圖像虛線 框表示的16x 16象素的每個塊bk的由圖46 (A)所示的X標記所表示的靜 止點擊的靜止點擊密度是否等于或大于一個預定值。在發(fā)送給接收設(shè)備2的一個圖像中，具有高靜止點擊密度的圖像部分往往包含一個靜止對象圖像。因而，當一個特定塊的靜止點擊密度等于或大于 預定值時，流程前進到步驟S186。相反，當一個特定塊的靜止點擊密度小于預定值時，流程前進到步驟S190。在步驟S186，當塊的靜止點擊密度超過一個預定值時，如圖46 (E)所 示，對象圖4象提取部分213從分配給塊的點擊數(shù)據(jù)的對象號中獲得最占優(yōu)的 對象號。此后，對象圖像提取部分213組合與圖46 (B)所示的占優(yōu)對象號 相對應的塊(BKO, BK2, BK4,和BK5 )并構(gòu)形對象。對象圖像提取部分 213從圖像數(shù)據(jù)中提取按靜止對象圖像構(gòu)形對象的圖像。在步驟S186之后， 流程前進到圖38所示的步驟S138。另一方面，當流程從圖38所示的步驟S136前進到步驟S137時，流程 從圖45所示的步驟S182前進到步驟S183。在步驟S183上，如圖46(C)所示，對象圖像提取部分213為分配了與 由圖46 (C)所示的X標記表示的移動點擊相同的點擊數(shù)據(jù)對象號的點擊位 置附近的多個過去幀的圖像執(zhí)行圖案匹配操作，并為對應于匹配結(jié)果的圖像 執(zhí)行移動補償。此后，在步驟S187上，對象圖像提取部分213獲得圖案匹配圖像區(qū)域中 的一個移動點擊密度。此后，在步驟S188上，對象圖像提取部分213確定該圖像的由圖46(D) 所示的X標記的表示的移動點擊的移動點擊密度是否等于或大于預定值。進行了移動補償并且具有一個高移動點擊密度的一個圖像部分往往包含 一個移動對象圖像。因而，當進行了移動補償?shù)囊粋€圖像區(qū)域的移動點擊密 度等于或大于預定值時，流程前進到步驟步驟S189。相反，當進行了移動補 償?shù)囊粋€圖像區(qū)域的移動點擊密度小于預定值時，流程前進到步驟步驟S190。在步驟S189上，對象圖像提取部分213為具有等于或大于預定值的一個 移動點擊密度的 一個圖像區(qū)域從分配給點擊數(shù)據(jù)的對象號中獲得最占優(yōu)的對 象號。此后，如圖46 (D)所示，對象圖像提取部分213組合與占優(yōu)對象號 相對應的塊(BK3和BK6)，并構(gòu)形對象。此后，對象圖像提取部分213從 該圖像數(shù)據(jù)中提取按移動對象圖像構(gòu)形的圖像。在步驟S189之后，流程前進 到圖38所示的步驟S138。在步驟S185和S188上，當點擊密度小于預定值時，流程前進到步驟 S190。在步驟S190上，對象圖像提取部分213把具有低靜止點擊密度或低移 動點擊密度的一個圖像部分處理為當前圖像的背景圖像區(qū)域。換句話說，對 象圖像提取部分213把已經(jīng)從圖像數(shù)據(jù)中提取的除靜止對象圖像和移動對象 圖像外的圖像部分處理為背景圖像。在步驟S190之后，流程前進到步驟圖38所示的步驟S138。在對象圖像提取部分213已經(jīng)從圖像數(shù)據(jù)中提取一個靜止對象圖像、一 個移動對象圖像和一個背景圖像后，流程前進到圖38所示的步驟S138。在 步驟S138上，對象圖像提取部分213確定對象提取處理是否完成。當步驟 S138上的確定結(jié)果為否定的時，流程前進到步驟S131。當步驟S138上的確 定結(jié)果是肯定的時，對象提取部分213則完成了對象提取處理。在上述的處理中，圖29所示的發(fā)送設(shè)備1的對象提取部分1014可以相 應于與接收設(shè)備2的用戶所執(zhí)行的點擊操作相對應的點擊數(shù)據(jù)提取靜止對象 圖像、移動對象圖像和背景圖像。在圖28所示的實施例中，其活動小的平面圖像區(qū)域(即，沒有圖像價值) 被處理為背景圖像。對于該背景圖像，不改善空間分辨率。另一方面，可以 相應于從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)提取背景圖像，以便改善其空間分辨率。在這種情況下，圖29所示的背景圖像提取部分1013提取與接收設(shè)備2 發(fā)送的點擊數(shù)據(jù)相對應的背景圖像。發(fā)送處理部分1016發(fā)送背景圖像，以便 按照對象圖像的空間分辨率被改善的相同方式改善其空間分辨率。在這種情況下，如圖47所示，圖13所示的背景圖像標志存儲器74被加 到圖31所示的組合處理部分1022上。除了背景圖像標志存儲器74之外，圖 47所示的組合處理部分1022的結(jié)構(gòu)與圖35所示的組合處理部分1022的結(jié) 構(gòu)相同。如同圖13所示的結(jié)構(gòu)，在圖47所示的結(jié)構(gòu)中，當背景圖像寫入部 分17把一個具有高空間分辨率的對象的背景圖像寫入到背景圖像存儲器73 時，相應于組成背景圖像的每個象素在背景圖像標志存儲器74的一個地址上 存儲的背景圖像標志從"0"變?yōu)?1"。換句話說，當背景圖像寫入部分71 把背景圖像數(shù)據(jù)寫入到背景圖像存儲器73時，背景圖像寫入部分71核對背 景圖像標志存儲器74。當背景圖像標志為"1"(即，當背景圖像存儲器73 已經(jīng)存儲具有高空間分辨率的背景圖像數(shù)據(jù))時，背景圖像寫入部分71不把 具有低空間分辨率的背景圖像數(shù)據(jù)寫入到背景圖像存儲器73。無論何時向背 景圖像寫入部分71供應背景圖像數(shù)據(jù)，該背景圖像數(shù)據(jù)都被寫入到背景圖像 寫入部分71。然而，當背景圖像存儲器73已經(jīng)存儲具有高空間分辨率的背
景圖像數(shù)據(jù)時，背景圖像寫入部分71不把具有低空間分辨率的背景圖像數(shù)據(jù) 寫入到背景圖像存儲器73。因而，無論何時向背景圖像寫入部分71供應具 有高空間分辨率的背景圖像數(shù)據(jù)，具有高空間分辨率的背景圖像的數(shù)目都增加到背景圖像存儲器73中。在該實例中，當組合部分1077接收到來自圖31所示的點擊數(shù)據(jù)輸入部 分1024的點擊數(shù)據(jù)時，組合部分1077從背景圖像存儲器73和對象存儲器 75中讀出對象圖像數(shù)據(jù)和背景圖像數(shù)據(jù)，這些數(shù)據(jù)包含在點擊數(shù)據(jù)中含有的 一個考慮點的坐標位置，并把獲得的數(shù)據(jù)供應給子窗口存儲器79。下面說明確定(認同)接收設(shè)備2的用戶的興趣對象區(qū)域的變化和歸類 每個興趣對象區(qū)域的技術(shù)。各種類型的圖像被分析，以確定用戶感興趣的對象區(qū)域是否已經(jīng)改變以 及是否歸類了每個興趣對象區(qū)域。該分析顯示了以下結(jié)果。首先，人們(用戶)的興趣對象區(qū)域是具有價值的區(qū)域單元(例如，一 個對象)。第二，當用戶的興趣對象變化時，具有價值的每個區(qū)域單元改變。 第三，當用戶的興趣對象改變時，指定用戶感興趣的對象所需的輸入時 間周期往往變長。第四，當用戶的興趣對象改變時，用戶指定一個興趣對象區(qū)域(例如， 點擊操作)的輸入位置之間的空間距離往往相對地變長。因而，圖48示出了發(fā)送設(shè)備1的結(jié)構(gòu)實例，它獲得與接收設(shè)備2的用戶 輸入的點擊數(shù)據(jù)相對應的輸入時間間隔和輸入位置距離，確定接收設(shè)備2的 用戶的興趣對象區(qū)域是否由于考慮到分析結(jié)果(1)至(4)而改變，并歸類 興趣對象區(qū)域。圖48中示出的發(fā)送設(shè)備1是圖28所示的發(fā)送設(shè)備1的改良。 為了簡便起見，在圖48中，和圖29相似的部分由相似的參考標號表示，并 省略其說明。換句話說，除了變化確定和歸類部分240被新設(shè)置為組成預處 理部分12的一個模塊外，圖48所示的發(fā)送設(shè)備1的結(jié)構(gòu)與圖29所示的發(fā)送 設(shè)備l的結(jié)構(gòu)基本相同。根據(jù)圖48所示的實施例，變化確定和歸類部分240被設(shè)置在預處理部分 12中。另一方面，變化確定和歸類部分240可以被設(shè)置在預處理部分12的 對象提取部分1014或背景圖像提取部分1013中。再一方面，變化確定和歸 類部分240還可以獨立于預處理部分12設(shè)置。
在該實施例中，用點擊數(shù)據(jù)表示的一個位置是用戶正在考慮的一個考慮 點。用戶的一個考慮點可以不是點擊數(shù)據(jù)，而是，用戶的考慮點可以通過檢 測用戶的觀看方向來認同。圖49示出了圖48所示的變化確定和歸類部分240的結(jié)構(gòu)實例。輸入圖像存儲部分231暫時存儲由圖像輸入部分11輸出的圖像數(shù)據(jù)。必 要時，輸入圖像存儲部分231把圖像數(shù)據(jù)供應給周邊區(qū)域提取部分233以及 靜止區(qū)域和移動區(qū)域確定部分234。點擊數(shù)據(jù)獲得部分230暫時存儲接收設(shè)備2經(jīng)傳送路徑3發(fā)送的數(shù)據(jù)， 并把存儲的點擊數(shù)據(jù)供應給周邊區(qū)域提取部分233、靜止區(qū)域和移動區(qū)域確 定部分234、輸入時間間隔計算部分237、和輸入位置距離計算部分238。在該實施例中，與圖37所示的圖像存儲器201 —樣，可以設(shè)置輸入圖像 存儲部分231。此外，與圖37所示的點擊數(shù)據(jù)存儲器202 —樣，可以設(shè)置點 擊數(shù)據(jù)存儲部分232。點擊周邊區(qū)域提取部分233從輸入圖像存儲部分231供給的圖像數(shù)據(jù)中 提取與點擊數(shù)據(jù)存儲部分232供給的點擊數(shù)據(jù)相對應的圖像區(qū)域(該圖像區(qū) 域是例如點擊位置附近的局部小塊；在下文中，圖像區(qū)域被稱之為點擊周邊 區(qū)域)。由點擊周邊區(qū)域提取部分233提取的點擊周邊區(qū)域的數(shù)據(jù)被發(fā)送給點 擊周邊區(qū)域存儲部分235。在數(shù)據(jù)被存儲到點擊周邊區(qū)域存儲部分235后， 該數(shù)據(jù)被發(fā)送給興趣對象區(qū)域歸類部分236。此外，靜止和移動區(qū)域確定部分234相應于從輸入圖像存儲部分231供 應的圖像數(shù)據(jù)和從點擊數(shù)據(jù)存儲部分232供應的點擊數(shù)據(jù)使用與圖37所示的 實施例相同方式的幀間差值執(zhí)行靜止區(qū)域和移動區(qū)域確定處理。點擊周邊區(qū)域提取處理以及靜止區(qū)域和移動區(qū)域確定處理可以通過結(jié)合 附圖38所述的相同處理來完成。因而，省略對這些處理的詳細說明。在圖 49所示的實施例中，以上述實施例相同的方式把點擊數(shù)據(jù)被確定為靜止點擊 或移動點擊的結(jié)果輸出為靜止點擊或移動點擊確定。此外，例如，可以輸出 點擊周邊區(qū)域被確定為靜止區(qū)域或移動區(qū)域的結(jié)果。根據(jù)圖49所示的實施 例，為簡便起見，作為靜止區(qū)域和移動區(qū)域確定的結(jié)果，將說明靜止點擊或 移動點擊被輸出的情況。靜止區(qū)域和移動區(qū)域確定部分234的靜止區(qū)域和移動區(qū)域確定結(jié)果被發(fā) 送給輸入時間間隔計算部分237和輸入位置距離計算部分238。 當靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是靜止點擊時，輸入時間 間隔計算部分237計算前一點擊的輸入時間與當前點擊的輸入時間的時間間 隔。在此情況下，計算時間間隔，而不考慮例如一個移動點擊是否發(fā)生在前 一靜止點擊的輸入時間與當前靜止點擊的輸入時間之間。輸入時間間隔計算部分237計算的時間間隔的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。當靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是靜止點擊時，輸入位置 距離計算部分238計算前一靜止點擊的輸入點擊位置(坐標位置)與當前靜 止點擊的輸入點擊位置(坐標位置)之間的空間距離。在此情況下，計算空 間距離，而不考慮例如在當前靜止點擊的輸入位置與前一靜止點擊的輸入位 置之間是否存在例如一個移動點擊的輸入位置。輸入位置距離計算部分238 計算的空間距離的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。當靜止區(qū)域和移動區(qū)域確定結(jié)果點擊數(shù)據(jù)是靜止點擊時，興趣變化確定 部分239相應于輸入時間間隔計算部分237計算的時間間隔和位置距離計算 部分238計算的空間距離確定用戶的興趣對象是否變化。換句話說，興趣變 化確定部分239沖丸4亍時間間隔和空間距離的預定加斥又處理，確定加^又時間間 隔是否超過一個預定閾值(時間)，并確定加權(quán)空間距離是否超過一個預定閾 值(距離)。當加權(quán)時間間隔超過預定閾值和/或加權(quán)空間距離超過預定閾值 時，興趣變化確定部分239確定用戶的興趣對象已經(jīng)改變。興趣對象確定部 分239把興趣對象變化確定結(jié)果發(fā)送給興趣對象區(qū)域歸類部分236。當興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象未改變時，興 趣對象區(qū)域歸類部分236確定當前靜止點擊的點擊周邊區(qū)域被包含在與前一 (過去)靜止點擊的點擊周邊區(qū)域相對應的興趣對象相同的圖像區(qū)域中，把 當前靜止點擊的點擊周邊區(qū)域歸類為與前一靜止點擊的點擊周邊區(qū)域相同的 興趣對象區(qū)域(例如，把相同的類別號分配給當前靜止點擊的點擊周邊區(qū)域)， 并輸出歸類的結(jié)果。換句話說，當為每個對象歸類興趣對象區(qū)域時，按照上 述實施例的相同方式分配相同的對象號。相反，當興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象已經(jīng)改 變時，興趣對象區(qū)域歸類部分236確定當前靜止點擊的點擊周邊區(qū)域未被包 含在與前一(過去)靜止點擊的點擊周邊區(qū)域相對應的興趣對象區(qū)域中，則 輸出當前靜止點擊的點擊周邊圖像的存儲數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點擊周 邊區(qū)域存儲部分235中存儲的數(shù)據(jù)。此后，興趣對象區(qū)域歸類部分236把當
前靜止點擊的點擊周邊區(qū)域歸類為與前一靜止點擊的點擊周邊區(qū)域不同的興 趣對象區(qū)域(例如，把一個不同的類別號分配給當前靜止點擊的點擊周邊區(qū) 域)。換句話說，當為每個對象歸類一個興趣對象區(qū)域時，以上述情況的相同 方式分配一個新的不同對象號。當靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是移動點擊時，輸入時間間隔計算部分237同樣計算前一移動點擊的輸入時間與當前移動點擊的輸入 時間之間的時間間隔。在此情況下，時間間隔被計算，而不考慮例如靜止點 擊是否在當前移動點擊的輸入時間與前一移動點擊的輸入時間之間發(fā)生。輸 入時間間隔計算部分237計算的時間間隔的數(shù)據(jù)被發(fā)送給興趣變化確定部分 239。相反，當靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是移動點擊時，同 樣輸入位置距離計算部分238計算前一移動點擊的輸入點擊位置與當前移動 點擊的輸入點擊位置之間的空間距離。在此情況下，空間距離被計算，而不 考慮例如是否在當前移動點擊的輸入位置與前一移動點擊的輸入位置之間存 在一個靜止點擊的輸入位置。輸入位置距離計算部分238計算的空間距離的 數(shù)據(jù)被發(fā)送給興趣變化確定部分239。此外，在靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是一個移動點擊的 情況下，興趣變化確定部分239相應于輸入時間間隔計算部分237計算的時 間間隔和位置距離計算部分238計算的空間距離來確定用戶的興趣對象是否 已經(jīng)改變。換句話說，興趣變化確定部分239執(zhí)行時間間隔和空間距離的預 定加權(quán)處理，確定加權(quán)時間間隔是否超過預定閾值(時間)，并確定加權(quán)空間 間隔是否超過預定閾值(距離)。當加權(quán)時間間隔超過預定閾值和/或加權(quán)空 間距離超過預定閾值時，興趣變化確定部分239確定用戶的興趣對象已經(jīng)改 變。興趣變化確定部分239的興趣對象變化確定結(jié)果被發(fā)送給興趣對象區(qū)域 歸類部分236。當興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象未變化時，興 趣對象區(qū)域歸類部分236確定當前移動點擊的點擊周邊區(qū)域被包含在與前一 (過去)移動點擊的點擊周邊區(qū)域相對應的興趣對象區(qū)域相同的圖像區(qū)域中， 把當前移動點擊的點擊周邊區(qū)域歸類為和前一(舊的)移動點擊的點擊周邊 區(qū)域相同的興趣對象區(qū)域(即，把相同的類別號分配給當前移動點擊的點擊 周邊區(qū)域)，并輸出歸類結(jié)果。換句話說，當為每個對象歸類一個興趣對象區(qū)
域時，分配相同的對象號。相反，當興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象變化時，興趣對象區(qū)域歸類部分236確定當前移動點擊的點擊周邊區(qū)域未被包含在與 前一 (過去)移動點擊的點擊周邊區(qū)域相對應的興趣對象區(qū)域中，輸出當前 移動點擊的點擊周邊圖像的存儲數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點擊周邊區(qū)域存 儲部分235中存儲的數(shù)據(jù)。此后，興趣對象區(qū)域歸類部分236把當前移動點 擊的點擊周邊區(qū)域歸類為與前一移動點擊的點擊周邊區(qū)域不同的興趣對象區(qū) 域(例如，把一個不同的類別號分配給當前移動點擊的點擊周邊區(qū)域)。換句 話說，當為每個對象歸類一個興趣對象區(qū)域時，分配一個新的不同對象號。下面結(jié)合圖50所示的流程圖說明圖49所示的變化確定和歸類部分240 的處理。在步驟S201,變化確定和歸類部分240接收來自圖像輸入部分11的圖 像數(shù)據(jù)和由接收設(shè)備2的用戶輸入的點擊數(shù)據(jù)。此后，在步驟S202上，圖像輸入部分11供應的圖像數(shù)據(jù)被存儲在輸入 圖像存儲部分231。點擊數(shù)據(jù)獲得部分230所獲得的點擊數(shù)據(jù)被存儲在點擊 數(shù)據(jù)存儲部分232中。此后，在步驟S203上，點擊周邊區(qū)域提取部分233從已經(jīng)被存儲并從輸 入圖像存儲部分231中讀出的圖像的點擊數(shù)據(jù)中提取與點擊數(shù)據(jù)相對應的一 個圖像區(qū)域(點擊周邊區(qū)域)。在步驟S204上，點擊周邊區(qū)域存儲部分235 存儲已經(jīng)被提取的點擊周邊區(qū)域的數(shù)據(jù)。此后，在步驟S205,靜止區(qū)域和移動區(qū)域確定區(qū)域234按上述方式使用 幀間差值執(zhí)行靜止區(qū)域和移動區(qū)域確定處理。在步驟S205，當步驟S205上確定的結(jié)果表明點擊數(shù)據(jù)是靜止點擊時， 流程前進到步驟S206。相反，當步驟S205上的確定結(jié)果表明點擊數(shù)據(jù)是移 動點擊時，流程前進到步驟S212。當步驟S205上的確定結(jié)果表明點擊數(shù)據(jù)是靜止點擊，流程前進到步驟 S206。在步驟S206上，輸入時間間隔計算部分237計算前一靜止點擊的輸入 時間與當前靜止點擊的輸入時間之間的時間間隔。該時間間隔被計算，而不 考慮例如在當前靜止點擊的輸入時間與前一靜止點擊的輸入時間之間是否存 在一個移動點擊。此后，在步驟S207上，輸入位置距離計算部分238計算前一靜止點擊的
輸入點擊位置(坐標位置)與當前靜止點擊的輸入點擊位置(坐標位置)之 間的空間距離。在此情況下，計算空間距離，而不考慮例如在當前靜止點擊 的輸入位置與前一靜止點擊的輸入位置之間存在 一個移動點擊的輸入位置。在步驟S208上，興趣對象確定部分239相應于步驟S206上計算的時間 間隔和步驟S207上計算的空間距離確定用戶的興趣對象是否變化。換句話 -說，如上所述，興趣變化確定部分239扭J亍時間間隔和空間間隔的預定加4又 處理，確定加權(quán)時間間隔是否超過一個預定閾值(時間)，和確定加權(quán)空間距 離是否超過一個預定閾值(距離)。當加權(quán)時間間隔超過預定閾值和/或加權(quán) 空間距離超過預定閾值時，興趣變化確定部分239確定用戶的興趣對象已經(jīng) 改變。當步驟S208上的確定結(jié)果表明興趣對象已經(jīng)改變時，流程前進到步驟 步驟S209。當步驟S208上的確定結(jié)果表明興趣對象未改變時，流程前進到 步驟S211。當步驟S208上的確定結(jié)果表明興趣對象未改變時，流程前進到步驟步驟 S211。在步驟S211，興趣對象區(qū)域歸類部分236確定當前靜止點擊的點擊周 邊區(qū)域被包含在與前一(過去)靜止點擊的點擊周邊區(qū)域相對應的興趣對象 區(qū)域相同的圖像區(qū)域中，并把當前靜止點擊的點擊周邊區(qū)域歸類為和前 一靜 止點擊的點擊周邊區(qū)域相同的興趣對象區(qū)域(即，把相同的類別號分配給當 前靜止點擊的點擊周邊區(qū)域)。換句話說，當為每個對象歸類一個興趣對象區(qū) 域時，以上述實施例相同的方式分配相同的對象號。在步驟S211之后，流程 前進到步驟S218。相反，當在步驟S208上確定結(jié)果表明用戶的興趣對象改變時，流程前進 到步驟步驟S209。在步驟S209上，興趣對象區(qū)域歸類部分236確定當前靜 止點擊的點擊周邊區(qū)域未被包含在與前一(舊的)靜止點擊的點擊周邊區(qū)域 相對應的興趣對象區(qū)域中，輸出當前靜止點擊的點擊周邊圖像的存儲數(shù)據(jù)， 并且重新設(shè)置存儲的數(shù)據(jù)。此后，在步驟S210上，興趣對象區(qū)域歸類部分 236把當前靜止點擊的點擊周邊區(qū)域歸類為與前一靜止點擊的點擊周邊區(qū)域 不同的興趣對象區(qū)域(例如，把一個不同的類別號分配給當前靜止點擊的點 擊周邊區(qū)域)。換句話說，當為每個對象歸類一個興趣對象區(qū)域時，以上述實 施例相同的方式分配一個新的不同對象號。在步驟S211之后，流程前進到步 驟S218。相反，當步驟S205上的確定結(jié)果表明點擊數(shù)據(jù)是移動點擊時，流程前進
到步驟S212。在步驟S212上，興趣變化確定部分239計算前一移動點擊的 輸入時間與當前移動點擊的輸入時間之間的時間間隔。在此情況下，時間間 隔被計算，而不考慮例如在當前移動點擊的輸入時間與前一移動點擊的輸入 時間之間是否存在一 個靜止點擊。此后，在步驟S213,興趣變化確定部分239計算前一移動點擊的輸入點 擊位置與當前移動點擊的輸入點擊位置之間的空間距離。在此情況下，該空 間距離被計算，而不考慮例如在當前移動點擊的輸入位置與前一移動點擊的 輸入位置之間是否存在一個靜止點擊的輸入位置。此后，在步驟S214，興趣變化確定部分239相應于在步驟S212上計算 的時間間隔和在步驟S213上計算的空間距離確定用戶的興趣對象是否變化。 換句話說，興趣變化確定部分239執(zhí)行時間間隔和空間距離的預定加權(quán)處理， 確定加權(quán)時間間隔是否超過一個預定閾值(時間)，和確定加權(quán)空間距離是否 超過一個預定閾值(距離)。當加權(quán)時間間隔超過預定閾值和/或加權(quán)空間距 離超過預定閾值時，興趣變化確定部分239確定用戶的興趣對象已經(jīng)改變。 當步驟S214上的確定結(jié)果表明興趣對象已經(jīng)改變時，流程前進到步驟S215 。 當步驟S214上的確定結(jié)果表明興趣對象未改變時，流程前進到步驟S217。當步驟S214上的確定結(jié)果表明用戶的興趣對象未改變時，流程前進到步 驟S217。在步驟S217,如上所述，興趣對象區(qū)域歸類部分236確定當前移動 點擊的點擊周邊區(qū)域被包含在與對應于前一(過去)移動點擊的點擊周邊區(qū) 域的興趣對象相同的圖像區(qū)域中，把當前移動點擊的點擊周邊區(qū)域歸類為與 前一移動點擊的點擊周邊區(qū)域相對應的興趣對象區(qū)域(例如，把相同的類別 號分配給當前移動點擊的點擊周邊區(qū)域)。換句話說，當為每個對象歸類一個 興趣對象區(qū)域時，按照上述實施例的相同方式分配相同的對象號。在步驟S217 之后，流程前進到步驟S218。相反，當步驟S214上的確定結(jié)果表明用戶的興趣對象已經(jīng)改變時，流程 前進到步驟S215。在步驟S215，興趣對象區(qū)域歸類部分236確定當前移動點 擊的點擊周邊區(qū)域未被包含在與前一(過去)移動點擊的點擊周邊區(qū)域相對 應的興趣對象區(qū)域中，輸出當前移動點擊的點擊周邊圖像的存儲數(shù)據(jù)，并且 重新設(shè)置存儲的數(shù)據(jù)。此后在步驟S216,興趣對象區(qū)域歸類部分236把當前 移動點擊的點擊周邊區(qū)域歸類為與前一移動點擊的點擊周邊區(qū)域不同的興趣 對象區(qū)域(例如，把一個不同的類別號分配給當前移動點擊的點擊周邊區(qū)域)。 換句話說，當為每個對象歸類一個興趣對象區(qū)域時，以上述實施例的相同方式分配一個新的不同對象號。在步驟S216之后，流程前進到步驟S218。在步驟S210、 S211、 S216和S217之后，流程前進到步驟S218。在步驟 S218,變化確定和歸類部分240確定所有的處理是否已經(jīng)完成。當步驟S218 上的確定結(jié)果是否定時，流程返回到步驟S201。當步驟S218上確定結(jié)果是 肯定時，變化確定和歸類部分240完成圖50所示的處理。下面，結(jié)合圖51所示的流程圖說明圖50所示的在步驟S208和S214上 的興趣對象變化確定處理。在步驟S221，興趣變化確定部分239獲得時間間隔的信息。此后，在步 驟S222,興趣變化確定部分239執(zhí)行時間間隔的預定加權(quán)處理。在步驟S223, 興趣變化確定處理部分239獲得空間距離的信息。此后，在步驟S224，興趣 變化確定部分239執(zhí)行空間距離的預定加權(quán)處理。步驟S221和S222的順序 可以改變。同樣，步驟S223和S224的順序也可以改變。時間間隔的加權(quán)處 理可以通過壓縮時間單位(例如，ms/10的壓縮)來執(zhí)行?？臻g距離的加權(quán)處 理可以通過在水平方向和垂直方向上壓縮象素間距來執(zhí)行。此后，流程前進到步驟S225。在步驟S225上，興趣變化確定部分239 使用加權(quán)時間間隔(t)和電平及垂直方向上的加權(quán)空間距離(X坐標和Y坐 標)生成三維矢量，并獲得該三維矢量的大小。該三維矢量的大小是通過以 下計算獲得的在將時間軸(t)加到點擊數(shù)據(jù)的輸入位置的X坐標軸和Y 坐標軸的三維空間上計算當前輸入點與前 一 輸入點之間的歐幾里得 (Euclidean )距離。在步驟S225之后，流程前進到步驟S226。在步驟S226上，興趣變化確定部分239確定步驟S225上獲得的三維矢 量的大小是否超過預定閾值。當步驟S226上的確定結(jié)果表明三維矢量的大小 未超過預定閾值時，流程前進到步驟步驟S227。在步驟S227，興趣變化確定 部分239確定接收設(shè)備2的用戶的興趣對象未變化。當三維矢量的大小超過 預定閾值時，流程前進到步驟S228。在步驟S228，興趣變化確定處理部分 239確定用戶的興趣對象已經(jīng)改變。在上述方式中，變化確定和歸類部分240相應于接收設(shè)備2發(fā)送的點擊 數(shù)據(jù)完成用戶的興趣對象變化確定和其歸類。此外，當接收設(shè)備2的用戶的興趣對象區(qū)域被歸類時，可以最佳地處理 被歸類的興趣對象區(qū)域。換句話說，分配給用戶的每個興趣對象區(qū)域的信息
量可以改變。例如，大信息量可以分配給用戶的特定興趣對象區(qū)域。另一方 面，可以優(yōu)先發(fā)送用戶的興趣對象區(qū)域的數(shù)據(jù)。此外，可以發(fā)送從點擊周邊區(qū)域存儲部分235中為興趣對象區(qū)域236讀 出的 一個圖像區(qū)域，以便按上述方式改善空間分辨率。在此情況下，即使接收設(shè)備2的用戶錯誤地點擊非興趣對象區(qū)域，也可 以避免執(zhí)行錯誤的確定。根據(jù)該實施例，即使具有興趣對象區(qū)域意義的一個對象在時間或空間上 與另一個對象分離，它們也可以被歸類為一個對象。此外，也可以提取不同 于諸如一個實體的對象的具有特定意義的區(qū)域。此外，結(jié)合圖37至46所述的實施例和結(jié)合圖49至51所述的實施例可 以合并。在此情況下，在步驟S206和S207上，可以按照上述方式為連續(xù)點 擊的靜止點擊確定一個連續(xù)點擊。同樣，在步驟S212和S213上，可以按照 上述方式為連續(xù)點擊的移動點擊確定一個連續(xù)點擊。圖52示出了圖1所示的圖像發(fā)送設(shè)備的第三結(jié)構(gòu)實例。在圖52中，與 圖28相同的部分用相似的標號表示，并省略其說明。換句話說，除交換部分 3-3具有收費服務器4外，圖52所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)與圖28所示的圖 像發(fā)送系統(tǒng)的結(jié)構(gòu)基本相同。盡管從接收設(shè)備2向發(fā)送設(shè)備1發(fā)送點擊數(shù)據(jù)(或控制信息)和從發(fā)送 設(shè)備1向接收設(shè)備2提供相應于一個點擊數(shù)據(jù)具有改善了空間分辨率的圖像 的這樣一種服務(在下文中，這種服務被稱之為點擊服務)可以是免費服務， 但該服務可以是收費服務。當點擊服務是收費服務時，收費服務器4執(zhí)行一 種收費處理，從用戶收取該點擊服務的服務費。換言之，圖53示出了圖52所示的收費服務器4的結(jié)構(gòu)實例。預定信息從交換站3-3供應給通信鏈路建立檢測部分301。通信鏈路建 立檢測部分301核對從交換站3-3供應的信息。結(jié)果，通信鏈路建立檢測部 分301檢測在作為發(fā)送設(shè)備的終端單元1與作為接收設(shè)備的終端單元2之間 是否已經(jīng)建立的通信鏈路，并把合成數(shù)據(jù)供應給終端單元認同部分302。當終端單元認同部分302接收到代表已經(jīng)在諸如發(fā)送設(shè)備1和接收設(shè)備 2的終端單元之間建立通信鏈路的信息(在下文中，該信息被稱之為通信鏈 路建立信息)時，終端單元認同部分302核對從交換站3-3供應的信息。結(jié) 果，終端單元認同部分302認同已經(jīng)通信鏈接的終端單元。此外，終端單元 認同部分302認同分配給終端單元的ID(在下文中，ID被稱之為終端單元ID ) 并把i/v同的終端單元ID供應給點擊檢測部分303。點擊檢測部分303監(jiān)視經(jīng)交換站3-3接收的數(shù)據(jù)，采用從終端單元認同 部分302接收的終端單元ID檢測從終端單元發(fā)送的點擊數(shù)據(jù)，并把檢測結(jié)果 和終端單元ID供應給收費處理部分304。在此情況下，例如，接收設(shè)備2將發(fā)送點擊數(shù)據(jù)和本地終端單元ID—起 發(fā)送。點擊檢測部分303將附加到經(jīng)交換站3-3接收的點擊數(shù)據(jù)上的終端單 元ID與終端單元認同部分302供應的終端單元ID相比較，認同從已經(jīng)通信 鏈接的終端單元發(fā)送的點擊數(shù)據(jù)，并檢測該點擊數(shù)據(jù)。在下文中，點擊檢測部分303的一組點擊數(shù)據(jù)檢測結(jié)果和一個終端單元 ID被稱作點擊檢測信息。當收費處理部分304接收到來自點擊檢測部分303的點擊檢測信息時， 收費處理部分304更新收費數(shù)據(jù)庫305的存儲內(nèi)容。此外，收費處理部分304 相應于收費數(shù)據(jù)庫305的存儲內(nèi)容，(例如)周期性地(例如，每月 一次)執(zhí) 行收費處理。收費數(shù)據(jù)庫305存儲收費處理所需的信息。下面，結(jié)合圖54所示的流程圖說明圖53所示的收費服務器4的處理。 通信鏈路建立檢測部分301監(jiān)視終端單元之間的通信鏈路是否已經(jīng)相應 于交換站3-3供給的信息而建立。當通信鏈路建立檢測部分301檢測到發(fā)送 設(shè)備1與接收設(shè)備2之間的通信鏈路已經(jīng)建立時，通信鏈路建立檢測部分301 把通信鏈路建立信息供應給終端單元認同部分302。當終端單元認同部分302收到通信鏈路建立檢測部分301發(fā)送的通信鏈 路建立信息時，在步驟S301,終端單元認同部分302核對交換站3-3供應的 信息。結(jié)果，終端單元認同部分302認同已經(jīng)通信鏈接的終端單元(例如， 發(fā)送設(shè)備1和接收設(shè)備2 )的終端單元ID,并把終端單元ID供應給點擊檢測 部分303。當點擊檢測部分303收到來自終端單元認同部分302的終端單元ID時， 點擊^r測部分303開始4全測包含終端單元ID的點擊it據(jù)。此后，流程前進到步驟S302。在步驟S302,收費處理部分304確定是 否已經(jīng)從已經(jīng)通信鏈接的終端單元檢測到點擊數(shù)據(jù)。當步驟S302上的確定結(jié) 果表明還未從已經(jīng)通信鏈接的終端單元檢測到點擊數(shù)據(jù)時(即，當點擊檢測
部分303未向收費處理部分304供應點擊檢測信息時)，流程前進到步驟S304, 跳過步驟S303。相反，當步驟S302上的確定結(jié)果表明已經(jīng)從已經(jīng)通信鏈接的終端單元檢 測到點擊數(shù)據(jù)時(即，當點擊檢測部分303向收費處理部分304供應點擊檢 測信息時)，流程前進到步驟S303。在步驟S303,收費處理部分304更新收 費數(shù)據(jù)庫305的存儲內(nèi)容。換句話說，收費數(shù)據(jù)庫305存儲諸如點擊數(shù)目和點間時間的點擊信息(在 下文中，該信息可以被稱作點擊信息)以及存儲終端單元發(fā)出一個呼叫和開 始一個通信的通信時間。收費數(shù)據(jù)庫305相關(guān)地存儲該點擊信息和終端單元 的終端單元ID。在步驟S303,收費處理部分304相應于點擊檢測信息更新與 點擊一企測信息中含有的終端單元ID相對應的點擊信息。在步驟S303之后，流程前進到步驟S304。在步驟S304上，終端單元認 同部分302確定與通信鏈路建立檢測部分301供給的通信鏈路建立信息相對 應的通信鏈路是否已經(jīng)中斷。換句話說，通信鏈路建立檢測部分301不僅監(jiān)視終端單元間的通信鏈路 的建立，而且還監(jiān)視該鏈路的中端。當通信鏈路已經(jīng)中斷時，通信鏈路建立 檢測部分301把作為通信鏈路中斷信息的結(jié)果信息供應給終端單元認同部分 302。在步驟S304,終端單元認同部分302相應于通信鏈路中斷信息確定通 信鏈路是否已經(jīng)中斷。當步驟S304上的確定結(jié)果表明通信鏈路未中斷時，流程前進到步驟 S302。在步驟S302,收費服務器4重復相似的處理。相反，當步驟S304上的確定結(jié)果表明通信鏈路已經(jīng)中斷時，終端單元認 同部分302控制點擊檢測部分303完成對已經(jīng)通信鏈接的終端單元的點擊數(shù) 據(jù)的監(jiān)視。此后，收費處理服務器4完成該處理。此后，收費處理部分304周期性地核對收費數(shù)據(jù)庫305,執(zhí)行收費處理， 計算通信費和點擊服務費，并從用戶的銀行帳戶或類似物中轉(zhuǎn)帳(轉(zhuǎn)費)。作為點擊服務費，可以指定每次點擊的計費單位。相應于點擊的次數(shù)， 可以計算點擊服務費。另一方面，作為點擊服務費，可以指定每小時的計費 單位。相應于點擊時間，可以計算點擊服務費。另一方面，相應于點擊次數(shù) 和點擊時間，可以計算點擊服務費。上述處理可以由硬件或軟件執(zhí)行。當這些處理由軟件執(zhí)行時，對作為專
用硬件設(shè)備的設(shè)置在發(fā)送設(shè)備1、接收設(shè)備2中的計算機、通用計算機或類似物等安裝組成該軟件的程序。圖55示出了已經(jīng)安裝了執(zhí)行上述處理的程序的一個計算機的結(jié)構(gòu)實例。 該程序可以被預先錄制到作為內(nèi)置在計算機內(nèi)的一個記錄介質(zhì)的硬盤405或ROM403上。另一方面，該程序可以暫時或永久地存儲(記錄)到可移動記錄介質(zhì)諸 如軟盤、CD-ROM (光盤只讀存儲器)、MO (磁光)盤、DVD (數(shù)字通用盤)、 ^t盤或半導體存儲器上?？梢苿佑涗浗橘|(zhì)411可以被設(shè)置為所謂的軟件包。該程序可以從上述的可移動記錄介質(zhì)411安裝到計算機上。另一方面， 該程序可以從下載點經(jīng)數(shù)字衛(wèi)星廣播衛(wèi)星無線傳送給該計算機。再一方面， 該程序可以經(jīng)過諸如LAN (局域網(wǎng))的網(wǎng)絡或因特網(wǎng)傳送給該計算^L。在該 計算機中，該程序由通信部分408接收并安裝到硬盤405上。該計算機含有CPU(中央處理單元)402。輸入/輸出接口 410經(jīng)總線401 連接CPU402。當用戶使用諸如鍵盤、鼠標、麥克風等的輸入部分407經(jīng)輸入 /輸出接口 410向CPU402輸入一個命令時，ROM (只讀存儲器)403中存儲 的程序開始執(zhí)行。另一方面，CPU402把硬盤405中存儲的程序加載到RAM (隨機存取存儲器)404上，并利用RAM404執(zhí)行該程序。再一方面，CPU402 把從衛(wèi)星或網(wǎng)絡傳送、由通信部分408接收并安裝到硬盤405上的程序，或 者從連接到驅(qū)動器409的可移動記錄介質(zhì)411中讀出并安裝到硬盤405上的 程序，加載到RAM404上，利用ARM404執(zhí)行該程序。因而，CPU402執(zhí)行 相應于圖4、 6、 10、 14、 21至24、 27、 30、 32、 34、 36、 38、 39、 41、 43 至45、 50、 51和54所示的流程圖的處理。而且CPU402執(zhí)行相應于圖3、 5、 7、 8、 11至13、 17、 25、 29、 31、 33、 35、 37、 47至49和53的框圖所示 的處理。必要時，CPU402經(jīng)輸入/輸出接口 410從包括LCD (液晶顯示器)、 揚聲器等的輸出部分406輸出已處理的結(jié)果。另一方面，CPU402發(fā)送來自通 信部分408或者記錄到硬盤405上的已處理的結(jié)果。具體地說，使計算機執(zhí)行各種處理的程序的處理步驟不一定總是按照流 程圖的順序執(zhí)行。另一方面，處理步驟可以并行或分離地執(zhí)行(例如，可以 執(zhí)行并行處理或?qū)ο筇幚?。該程序可以由一個計算機處理。另一方面，該程序可以由多個計算機分 配。再一方面。該程序可以傳送到一個遠端計算機上，由該計算機執(zhí)行處理。
根據(jù)本發(fā)明的實施例，發(fā)送設(shè)備l執(zhí)行分層編碼。根據(jù)發(fā)送的分層數(shù)據(jù)， 改變接收設(shè)備2顯示的圖像的時間分辨率或空間分辨率。另一方面，接收設(shè) 備2顯示的圖像的時間分辨率和空間分辨率可以根據(jù)發(fā)送的圖像的離散余旋變換系凄t或量化級(quantizing step )來改變。另一方面，時間分辨率和空間分辨率可以根據(jù)發(fā)送設(shè)備1的編碼方法來 改變。換句話說，當用一個常規(guī)時間分辨率顯示一個圖像時，發(fā)送設(shè)備1的 編碼部分31對其對象的輪廓連續(xù)編碼，并獲得組成一個對象的像素值(顏色) 的平均值，作為典型值。接收設(shè)備2按照該典型值顯示彩色對象的區(qū)域。當 以時間分辨率為代價顯示具有改善的空間分辨率的圖像時，可以按上所述的 那樣使用分層編碼。根據(jù)該實施例，空間分辨率的改善是以時間分辨率為代價的。相反，時間分辨率可以以空間分辨率為代價得到改善。代表犧牲(改善)分辨率的選 擇的信息可以被包含在諸如點擊數(shù)據(jù)的控制信息中，并從接收設(shè)備2發(fā)送給發(fā)送設(shè)備1。根據(jù)本方明的實施例，時間分辨率和空間分辨率被處理。然而，根據(jù)本 發(fā)明，電平方向的分辨率(在下文中，把該分辨率稱作電平分辨率)也可以 被處理。換句話說，當分配給數(shù)據(jù)的比特數(shù)增加或降低時，時間分辨率和空 間分辨率可以提高或惡化。在此情況下，當圖像的時間分辨率和空間分辨率 變化時，其明暗度也變化。該電平分辨率可以通過改變上述的量化級來改變。此外，根據(jù)該實施例，圖像的部分區(qū)域(優(yōu)先權(quán)范圍)的空間分辨率的 改善是以時間分辨率為代價的。另一方面，整個圖像的空間分辨率也可以得 到改善。另 一方面，圖像的特定部分的空間分辨率的改善可以以圖像的剩余部分 的空間分辨率為代價，而不是以時間分辨率為代價(即，保持時間分辨率)。此外，根據(jù)本實施例，以這種方式處理圖像，即將其分為背景圖像和對 象。而且也可以以不分離圖像的方式處理圖像。此外，本發(fā)明不僅適用于圖像數(shù)據(jù)，而且還適用于音頻數(shù)據(jù)。在音頻數(shù) 據(jù)的情況下，采樣頻率相當于時間分辨率，而分配給音頻數(shù)據(jù)的比特數(shù)相當 于電平分辨率。此外，圖49所示的變化確定和歸類部分240的處理可適用于提取聲音特 征量(例如音調(diào)、話音或樂器的期望部分)的情況。
此外，對象提取部分14和1014以及變化確定和歸類部分240的處理可 適用于所謂的對象編碼。換句話說，對于對象提取部分14和1014以及變化 確定和歸類部分240的處理來說，由于可以提取對象，因此可以相應于獲取 代表對象移動的信息的對象編碼處理，對被提取的對象以及代表對象輪廓或 區(qū)域的信息進行編碼。該編碼的數(shù)據(jù)可以被發(fā)送或記錄。接收設(shè)備2可以使用點擊數(shù)據(jù)執(zhí)行與對象提取部分1014的處理相似的處 理，以便提取一個對象。在此情況下，當接收設(shè)備2提取的一個對象被存儲 時， 一個數(shù)據(jù)庫就被形成。根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號， 接收從接收設(shè)備發(fā)送的控制信息。相應于該控制信息，控制時間方向、空間 方向和電平方向的至少兩個方向上的分辨率。已經(jīng)相應于控制信息控制至少 兩個方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。因而，例如，接收設(shè)備所顯示的 圖像的空間方向分辨率可以被進一 步改善。根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號，控制信 息被發(fā)送給發(fā)送設(shè)備，以便相應于該控制信息控制時間方向、空間方向和電 平方向的至少兩個方向上的分辨率。此外，已經(jīng)相應于該控制信息控制至少 兩個方向分辨率的數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如， 輸出的圖像的空間分辨率可以被進一步改善。根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三 信號，發(fā)送設(shè)備接收從接收設(shè)備發(fā)送的控制信息。相應于該控制信息，控制 時間方向、空間方向和電平方向的至少兩個方向的分辨率。已經(jīng)相應于控制 信息控制至少兩個方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。此外，接收設(shè)備向 發(fā)送設(shè)備發(fā)送控制信息。已經(jīng)相應于該控制信息控制至少兩個方向分辨率的 數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如，接收設(shè)備所顯示的 圖像的空間方向分辨率可以被進 一 步改善。根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號， 接收從接收設(shè)備發(fā)送的控制信號。相應于該控制信息，對數(shù)據(jù)歸類。相應于 數(shù)據(jù)的歸類結(jié)果，向接收設(shè)備發(fā)送數(shù)據(jù)。因而，例如，可以向接收設(shè)備發(fā)送 用戶正在考慮的圖像區(qū)域，而不考慮該區(qū)域是移動的還是靜止的。
權(quán)利要求
1、一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電平方向的至少兩個方向的分辨率；發(fā)送裝置，向接收設(shè)備發(fā)送已經(jīng)已經(jīng)相應于控制信息控制至少兩個方向的分辨率的數(shù)據(jù)，和分析裝置，用于分析接收設(shè)備的用戶的偏愛，其中所述的控制裝置相應于分析裝置的分析結(jié)果控制數(shù)據(jù)的分辨率；其中接收設(shè)備輸出從所述的發(fā)送裝置發(fā)送的數(shù)據(jù)，其中所述的控制裝置控制輸出給接收設(shè)備的數(shù)據(jù)的考慮點，和其中所述的分析裝置相應于考慮點分析用戶的偏愛，其中所述的分析裝置具有特征量提取裝置，用于提取含有數(shù)據(jù)考慮點的考慮區(qū)域的特征量；和區(qū)域檢測裝置，用于從對應于特征量的數(shù)據(jù)中檢測與用戶的偏愛相對應的預定區(qū)域，和其中所述的控制裝置控制數(shù)據(jù)的預定區(qū)域的分辨率。
2、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中所述的控制裝置相應于控制信 息控制發(fā)送給接收設(shè)備的圖像數(shù)據(jù)的時間方向和空間方向上的分辨率。
3、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預定的傳送路徑以預定的傳送速率向接收設(shè)備發(fā) 送數(shù)據(jù)，和其中所述的控制裝置相應于控制信息控制數(shù)據(jù)的分辨率，使數(shù)據(jù)的傳送 速率不超過預定的傳送速率。
4、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中接收設(shè)備輸出從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)， 其中控制信息包含輸出給接收設(shè)備的數(shù)據(jù)的考慮點，和 其中所述的控制裝置相應于控制信息改善包含了數(shù)據(jù)的考慮點的考慮區(qū) 域的分辨率。
5、 根據(jù)權(quán)利要求4所述的發(fā)送設(shè)備，其中所述的發(fā)送裝置經(jīng)預定的傳送路徑以預定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)，其中接收設(shè)備顯示從發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，其中控制信息包含由接收設(shè)備顯示的圖像數(shù)據(jù)的時間和空間位置，和 其中所述的控制裝置相應于控制信息改善包含圖像數(shù)據(jù)的時間和空間位置的考慮區(qū)域的空間分辨率，和降低時間分辨率，使圖像數(shù)據(jù)的傳送速率不超過預定的傳送速率。
6、 根據(jù)權(quán)利要求5所述的發(fā)送設(shè)備，還包括背景圖像數(shù)據(jù)提取裝置，用于從發(fā)送給接收設(shè)備的圖像數(shù)據(jù)中提取背景 圖像數(shù)據(jù)，其中當包含在控制信息中的時間和空間位置代表背景圖像數(shù)據(jù)時，所述 的控制裝置改善背景圖像數(shù)據(jù)的空間分辨率。
7、 根據(jù)權(quán)利要求6所述的發(fā)送設(shè)備，還包括對象圖像數(shù)據(jù)提取裝置，相應于發(fā)送給接收設(shè)備的圖像數(shù)據(jù)與背景圖像 數(shù)據(jù)之間的差值從圖像數(shù)據(jù)中提取對象圖像數(shù)據(jù)，其中當包含在控制信息中的時間和空間位置代表對象圖像數(shù)據(jù)時，所述 的控制裝置改善對象圖像數(shù)據(jù)的空間分辨率。
8、 根據(jù)權(quán)利要求7所述的發(fā)送設(shè)備，還包括組合裝置，用于把背景圖像數(shù)據(jù)和對象圖像數(shù)據(jù)組合為組合數(shù)據(jù)， 其中所述的發(fā)送裝置向接收設(shè)備發(fā)送該組合數(shù)據(jù)。
9、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括 輸入數(shù)據(jù)的輸入裝置。
10、 根據(jù)權(quán)利要求9所述的發(fā)送設(shè)備，其中 數(shù)據(jù)是圖像數(shù)據(jù)，和其中所述的輸入裝置是拍攝圖像和輸出圖像數(shù)據(jù)的拍攝裝置。
11、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中發(fā)送設(shè)備是便攜式電話機。
12、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括 條形圖存儲裝置，用于存儲特征量的條形圖，其中所述的區(qū)域檢測裝置檢測與該條形圖相對應的預定區(qū)域。
13、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預定的傳送路徑以預定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)，其中接收設(shè)備顯示從所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和 其中所述的控制裝置改善圖像數(shù)據(jù)的預定區(qū)域的空間分辨率和降低時間 分辨率，以使圖像數(shù)據(jù)的傳送速率不超過預定傳送速率。
14、 根據(jù)權(quán)利要求12所述的發(fā)送設(shè)備其中所述的檢測裝置把與具有條形圖的最高頻率的特征量相同或相似的 區(qū)域;險測為預定區(qū)域。
15、 根據(jù)權(quán)利要求14所述的發(fā)送設(shè)備，其中所述的發(fā)送裝置經(jīng)預定的傳送路徑以預定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)，其中接收設(shè)備顯示所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和 其中所述的控制裝置改善圖像數(shù)據(jù)的預定區(qū)域的空間分辨率和降低時間 分辨率，以使圖像數(shù)據(jù)的傳送速率不超過預定傳送速率。
16、 根據(jù)權(quán)利要求13所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取作為特征量的包含圖像數(shù)據(jù)考慮點的考 慮區(qū)域的移動信息、深度信息、位置信息、顏色信息和形狀信息的至少一個化息。
17、 根據(jù)權(quán)利要求16所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取裝置提取多個作為多個特征量的包含圖 像數(shù)據(jù)考慮點的考慮區(qū)域的移動信息、深度信息、位置信息、顏色信息和形 狀信息。
18、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述的分析裝置具有歸類裝置，相應于包含數(shù)據(jù)考慮點的考慮區(qū)域?qū)?shù)據(jù)進行歸類， 其中所述的分析裝置相應于所述歸類裝置的分析結(jié)果分析用戶的偏愛。
19、 根據(jù)權(quán)利要求18所述的發(fā)送設(shè)備， 其中所述數(shù)據(jù)是圖像數(shù)據(jù)， 其中所述分析裝置具有靜止區(qū)域和移動區(qū)域確定裝置，用于確定圖像數(shù)據(jù)的考慮區(qū)域是靜止區(qū)域還是移動區(qū)域；和連續(xù)確定裝置，用于確定考慮點在考慮點的時間和空間方向上是否是連 續(xù)的，和其中所述的歸類裝置相應于靜止區(qū)域和移動區(qū)域確定裝置和所述的連續(xù) 確定裝置的確定結(jié)果對圖像數(shù)據(jù)歸類。
20、根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，還包括考慮點存儲裝置，用于存儲在靜止的并且在時間和空間方向上連續(xù)的考 慮區(qū)域中所含有的考慮點，和存儲移動的并且在時間和空間方向上連續(xù)的考 慮區(qū)域中所含有的考慮點；和類別標識符加法裝置，用于獲取加入到被存儲在考慮點存儲裝置中的一 個考慮點上的類別標識符，并且把該標識符加到該考慮點上。
21 、根據(jù)權(quán)利要求20所述的發(fā)送設(shè)備，其中在當前考慮點處于靜止的并在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi) 的情況下，當存儲在所述考慮點存儲裝置中的前一考慮點被包含在靜止的并 在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時，相應于當前考慮點與含有前一考 慮點的區(qū)域之間空間位置的關(guān)系，所述的歸類標識符加法裝置獲得被加入到 當前考慮點的類別標識符。
22、 根據(jù)權(quán)利要求21所述的發(fā)送設(shè)備，其中在當前考慮點處于移動的并在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi) 的情況下，當存儲在所述考慮點存儲裝置中的前一考慮點被包含在移動的并 在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時，相應于含有當前考慮點的考慮區(qū) 域的預定特征量和含有前一考慮點的考慮區(qū)域的預定特征量的相似性，所述 的歸類標識符加法裝置獲得被加入到當前考慮點的類別標識符。
23、 根據(jù)權(quán)利要求20所述的發(fā)送設(shè)備，其中所述的歸類裝置相應于與所述考慮點存儲裝置中存儲的考慮點的密 度相對應的用戶偏愛對作為對象的圖像數(shù)據(jù)的預定區(qū)域進行歸類。
24、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的歸類裝置相應于與所述考慮點存儲裝置中存儲的并包含在靜 止的考慮區(qū)域中的分配了相同類別標識符的考慮點的密度相對應的用戶偏 愛，對作為對象的圖像數(shù)據(jù)的預定區(qū)域進行歸類。
25、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備， 其中所述的歸類裝置相應于與所述考慮點存儲裝置中存儲的并包含在移 度相對應的用戶偏愛，對作為對象的圖像數(shù)據(jù)的預定區(qū)域進行歸類。
26、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的靜止區(qū)域和移動區(qū)域確定裝置相應于包含當前幀的考慮點的 考慮區(qū)域與包含過去幀的考慮點的考慮區(qū)域之間的差值，確定包含當前考慮 點的考慮區(qū)域是靜止的還是移動的。
27、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應于當前考慮點與過去考慮點的時間差值， 確定當前考慮點是否在時間和空間方向上連續(xù)。
28、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的控制裝置改善按對象歸類的區(qū)域的分辨率。
29、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應于當前考慮點與過去考慮點之間的時間和 空間方向上的距離確定當前考慮點是否連續(xù)，獲得與包含當前考慮點的考慮 區(qū)域相同的靜止區(qū)域和移動區(qū)域確定結(jié)果。
30、 根據(jù)權(quán)利要求29所述的發(fā)送設(shè)備，其中所述的歸類裝置相應于用于時間方向和空間方向的距離的加權(quán)值對 圖像數(shù)據(jù)進行歸類。
31、 根據(jù)權(quán)利要求30所述的發(fā)送設(shè)備，還包括圖像數(shù)據(jù)存儲裝置，用于存儲包含在時間方向和空間方向連續(xù)的考慮點 的考慮區(qū)域中的圖像數(shù)據(jù)。
32、 根據(jù)權(quán)利要求31所述的發(fā)送設(shè)備，其中當當前考慮點在時間方向和空間方向上不連續(xù)時，在所述的圖像數(shù) 據(jù)存儲裝置的內(nèi)容被讀出后，擦除該內(nèi)容，并把包含當前考慮點的考慮區(qū)域 中的圖像數(shù)據(jù)存儲到所述的圖像數(shù)據(jù)存儲裝置上。
33、 根據(jù)權(quán)利要求32所述的發(fā)送設(shè)備，其中所述的控制裝置改善從所述的圖像數(shù)據(jù)存儲裝置中讀出的圖像數(shù)據(jù) 的分辨率。
34、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中控制信息被用于一個收費處理。
35、 根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備， 其中圖像數(shù)據(jù)是編碼的對象。
36、 一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括步驟 接收從接收設(shè)備發(fā)送的控制信息；相應于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電 平方向的至少兩個方向的分辨率；向接收設(shè)備發(fā)送已經(jīng)已經(jīng)相應于控制信息控制至少兩個方向的分辨率的 數(shù)據(jù)，和分析接收設(shè)備的用戶的偏愛，其中所述的控制步驟相應于分析步驟的分析結(jié)果控制數(shù)據(jù)的分辨率；其中接收設(shè)備輸出從所述的發(fā)送步驟發(fā)送的數(shù)據(jù)，其中所述的控制步驟控制輸出給接收設(shè)備的數(shù)據(jù)的考慮點，和其中所述的分析步驟相應于考慮點分析用戶的偏愛，其中所述的分析步驟包括提取含有數(shù)據(jù)考慮點的考慮區(qū)域的特征量；和從對應于特征量的數(shù)據(jù)中檢測與用戶的偏愛相對應的預定區(qū)域5和其中所述的控制步驟控制數(shù)據(jù)的預定區(qū)域的分辨率。
全文摘要
在發(fā)送方，背景圖像和對象#1至#3每個以傳送速率R/4發(fā)送。在接收方，以特定的空間分辨率和特定的時間分辨率顯示由對象#1至#3和背景圖像組成的圖像。在此情況下，接收方在特定時間t1拖動對象#1時，在發(fā)送方(如圖所示)則停止對背景圖像和對象#2和#3的傳送。此時以傳送路徑的傳送速率R僅發(fā)送對象#1。從而，以圖像的時間分辨率為代價，顯示改善了拖動對象#1的空間分辨率的圖像。
文檔編號H04N7/26GK101106708SQ20071014265
公開日2008年1月16日 申請日期2000年8月9日 優(yōu)先權(quán)日1999年8月9日
發(fā)明者小林直樹, 近藤哲二郎, 金丸昌憲 申請人:索尼公司