專利名稱：發(fā)送設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送設(shè)備，發(fā)送方法，接收設(shè)備，接收方法，發(fā)送和接收設(shè) 備，發(fā)送和接收方法，記錄介質(zhì)，和信號。特別是，本發(fā)明涉及允許例如按 有限發(fā)送速率(具有一個有限發(fā)送帶寬)發(fā)送圖像數(shù)據(jù)和允許顯示具有高空 間分辨率的圖像的一種發(fā)送設(shè)備， 一種發(fā)送方法， 一種接收設(shè)備， 一種接收 方法， 一種發(fā)送和接收設(shè)備， 一種發(fā)送和接收方法， 一種記錄介質(zhì)，和一種 信號。
背景技術(shù)：
例如， 一個相關(guān)參考文件，日本專利待審公開平10-112856公開了一種 圖像發(fā)送設(shè)備。在該圖像發(fā)送設(shè)備中，發(fā)送方發(fā)送圖像的一個特定區(qū)域的圖 像數(shù)據(jù)，該圖像其它區(qū)域的圖像數(shù)據(jù)相應(yīng)于接收方發(fā)出的命令用不同信息量 發(fā)送。接收方顯示處在含有一個較高空間分辨率(空間方向的分辨率)的指 定點的區(qū)域中的圖像，和顯示處在一個較低空間分辨率的其他區(qū)域中的圖像。
換句話說，當(dāng)發(fā)送方經(jīng)一個發(fā)送路徑向接收方發(fā)送圖像數(shù)據(jù)時，發(fā)送方 不能以高于該發(fā)送路徑的數(shù)據(jù)速率發(fā)送圖像。因而，當(dāng)接收方在實際的時基 上顯示一個數(shù)據(jù)時，發(fā)送方將以對應(yīng)于發(fā)送路徑的發(fā)送速率向接收方發(fā)送圖 像數(shù)據(jù)。因此，如果發(fā)送速率不足夠時，那么在接收方顯示的圖像的空間方 向上的空間分辨率則完全惡化。
為了解決這一問題，在日本專利待審公開平10-112856的圖像發(fā)送設(shè)備 中，圖像的 一個區(qū)域中的圖像數(shù)據(jù)和該圖像的其它區(qū)域中的圖像數(shù)據(jù)以不同 信息量發(fā)送。含有一個指定點的該區(qū)域中的圖像和其它區(qū)域中的圖像在接收 方分別以高空間分辨率和低空間分辨率顯示。
換句話說，在日本待審公開平10-112856的圖像發(fā)送設(shè)備中，用戶要仔 細(xì)觀看的一個部分的空間分辨率的改善是以其它部分的空間分辨率(降低) 為代價的。
另一方面，在日本專利待審公開平10-112856的圖像發(fā)送設(shè)備中，由于 用戶要仔細(xì)觀看的部分空間分辨率的改善是以其它部分的空間分辨率為代價 的，所以用戶要仔細(xì)觀看的部分空間分辨率僅以犧牲的空間分辨率為代價得 到改善。
此外，發(fā)送路徑的發(fā)送速率非常低時，如果用戶要仔細(xì)觀看部分的空間 分辨率的改善以其它部分的空間分辨的犧牲為代價，那么其它部分的空間分 辨率則嚴(yán)重惡化。在最壞的情況下，用戶不能清楚地觀看其它部分。
本發(fā)明是基于上述觀點做出的。本發(fā)明的目的是允許圖像的空間分辨率 相應(yīng)于用戶的偏愛得到更好的改善。
發(fā)明概述
本發(fā)明的第一發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收 裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應(yīng)于控制信息控 制發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電平(level)方向中的至 少兩個方向的分辨率；和發(fā)送裝置，向接收設(shè)備發(fā)送相應(yīng)于控制信息已經(jīng)控 制至少兩個方向中的分辨率的數(shù)據(jù)。
本發(fā)明的接收設(shè)備是接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收設(shè)備，包括發(fā) 送裝置，用于向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時 間方向、空間方向和電平方向的至少兩個方向上的分辨率；接收裝置，用于 接收發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個方向已經(jīng)得到 控制；和輸出裝置，輸出由接收裝置接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收設(shè)備是具有用于發(fā)送數(shù)據(jù)的發(fā)送設(shè)備和用于接收數(shù) 據(jù)的接收設(shè)備的發(fā)送和接收設(shè)備，其中發(fā)送設(shè)備包括控制信息接收裝置， 用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，用于相應(yīng)于控制信息控制 發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電平方向的至少兩個方向上 的分辨率；和數(shù)據(jù)發(fā)送裝置，用于向接收設(shè)備發(fā)送已經(jīng)相應(yīng)于控制信息控制
至少兩個方向的分辨率的數(shù)據(jù)；以及其中接收設(shè)備包括控制信息發(fā)送裝置， 用于發(fā)送控制信息；數(shù)據(jù)接收裝置，用于接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)
據(jù)的分辨率在數(shù)據(jù)的至少兩個方向上被控制；和輸出裝置，用于輸出由數(shù)據(jù) 接收裝置接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收 裝置，用于接收從接收設(shè)備發(fā)送的控制信息；歸類裝置，相應(yīng)于控制信息對 數(shù)據(jù)歸類；和發(fā)送裝置，相應(yīng)于數(shù)據(jù)的歸類結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第 一發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步 驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備 的數(shù)據(jù)在時間方向、空間方向和電平方向的至少兩個方向上的分辨率；和把 已經(jīng)相應(yīng)于控制信息控制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的接收方法是一個接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收方法，包括 以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時間 方向、空間方向和電平方向的至少兩個方向上的分辨率；接收發(fā)送設(shè)備發(fā)送 的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上被控制；和輸出在接收步 驟上接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收方法是具有發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的處理和接收數(shù)據(jù) 的接收設(shè)備的處理的發(fā)送和接收方法，其中發(fā)送設(shè)備的處理包括以下步驟 接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù) 據(jù)在時間方向、空間方向和電平方向的至少兩個方向上的分辨率；和把已經(jīng) 相應(yīng)于控制信息控制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接 收設(shè)備的處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)， 該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上被控制；并輸出在數(shù)據(jù)接收步驟中 接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步 驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息對數(shù)據(jù)歸類；和相應(yīng) 于數(shù)據(jù)的歸類結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計算機(jī)執(zhí) 行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收 設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方 向、空間方向和電平方向的至少兩個方向上的分辨率；和把已經(jīng)相應(yīng)于控制 信息控制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計算機(jī)執(zhí)
行接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā) 送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)在時間方向、空間方向
和電平方向的至少兩個方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù) 據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上已經(jīng)被控制；和輸出在接收步驟中接收 的數(shù)據(jù)。
本發(fā)明的第三記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序致使計算機(jī) 執(zhí)行發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其 中發(fā)送設(shè)備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相 應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方向、空間方向和電平方向 的至少兩個方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個方向的 分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā) 送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩 個方向上已經(jīng)被控制；并輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計算機(jī)執(zhí) 行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收 設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息歸類數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類結(jié)果 向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一信號是一種包含程序的信號，該程序致使計算機(jī)執(zhí)行向接 收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā) 送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方向、空 間方向和電平方向的至少兩個方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控 制至少兩個方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二信號是一種包含程序的信號，該程序致使計算機(jī)執(zhí)行接收 從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā)送設(shè)備 發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)在時間方向、空間方向和電平 方向的至少兩個方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分 辨率至少在數(shù)據(jù)的兩個方向上已經(jīng)被控制；和輸出在接收步驟中接收的數(shù)據(jù)。
本發(fā)明的第三信號是一種包含程序的信號，該程序致使計算機(jī)執(zhí)行發(fā)送
數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其中發(fā)送設(shè)
備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制
信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時間方向、空間方向和電平方向的至少兩
個方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個方向的分辨率的
數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā)送控制信 息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個方向上 被控制；和輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四信號是一種包含程序的信號，該程序致使計算機(jī)執(zhí)行向接 收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā) 送的控制信息；相應(yīng)于控制信息歸類數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類結(jié)果向接收 設(shè)備發(fā)送數(shù)據(jù)。
根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號， 接收從一個接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時間方向、 空間方向和電平方向中的至少兩個方向上的分辨率。把相應(yīng)于該控制信息控 制至少兩個方向分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號，向發(fā)送 設(shè)備發(fā)送控制信息，該發(fā)送設(shè)備相應(yīng)于該控制信息控制時間方向、空間方向 和電平方向的至少兩個方向上的分辨率。此外，相應(yīng)于該控制信息已經(jīng)控制 的至少兩個方向上的分辨率的數(shù)據(jù)自發(fā)送設(shè)備發(fā)送，接收和輸出。
根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三 信號，發(fā)送設(shè)備接收自接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制 時間方向、空間方向和電平方向的至少兩個方向上的分辨率備。相應(yīng)于該控 制信息已經(jīng)控制的至少兩個方向上的分辨率的數(shù)據(jù)備傳送給接收設(shè)備，此外， 接收設(shè)備向發(fā)送設(shè)備發(fā)送控制信息。相應(yīng)于該控制信息控制的至少兩個方向 上的分辨率的數(shù)據(jù)自發(fā)送設(shè)備發(fā)送，接收和輸出。
根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號， 接收自一個接收設(shè)備發(fā)送的控制信號，相應(yīng)于該控制信息，歸類數(shù)據(jù)。相應(yīng) 于該數(shù)據(jù)的歸類結(jié)果，向該接收設(shè)備發(fā)送數(shù)據(jù)。
附圖的簡單說明


圖1是顯示本發(fā)明的實施例的發(fā)送系統(tǒng)的結(jié)構(gòu)實例的示意圖； 圖2是顯示圖1所示的發(fā)送系統(tǒng)的第一結(jié)構(gòu)的實例的詳細(xì)示意圖； 圖3是顯示圖1所示的發(fā)送設(shè)備(終端單元)1的結(jié)構(gòu)實例的方框圖； 圖4是解釋圖3所示的發(fā)送設(shè)備的處理的流程圖5是顯示圖1所示的接收設(shè)備(終端單元)2的結(jié)構(gòu)實例的方框圖； 圖6解釋圖5所示的接收設(shè)備2的處理的流程圖； 圖7是顯示圖3所示的發(fā)送處理部分16的結(jié)構(gòu)實例的方框圖； 圖8是顯示圖7所示的編碼部分31的結(jié)構(gòu)實例的方框圖； 圖9A、 9B和9C是解釋分層編碼/解碼的示意圖； 圖10是解釋圖7所示的發(fā)送處理部分16的發(fā)送處理流程圖； 圖11是顯示圖5所示的接收處理部分21的結(jié)構(gòu)實例的方框圖； 圖12是圖11所示的解碼部分53的結(jié)構(gòu)實例的方框圖； 圖13是顯示圖5所示的組合處理部分22的結(jié)構(gòu)實例的方框圖； 圖14是解釋圖13所示組合處理部分22的組合處理的流程圖； 圖15A、15B和15C是顯示圖5所示的圖像輸出部分23的圖像顯示實例 的示意圖16A和16B解釋圖1所示的從發(fā)送設(shè)備1向接收設(shè)備2發(fā)送的圖像的
空間分辨率與時間分辨率之間關(guān)系的示意圖17是顯示圖3所示的對象提取部分14的結(jié)構(gòu)實例的方框圖18A和18B是解釋圖17所示的開始區(qū)域劃分部分83的處理示意圖19A、 19B、 19C和19D是解釋圖17所示的區(qū)域拼接部分84的處理
的示意圖20是圖17所示的拼接區(qū)域處理部分85和分離區(qū)域處理部分86的處 理的示意圖21是解釋圖17所示的對象提取部分4的對象提取處理的流程圖22是解釋圖21所示的步驟S43上的區(qū)域拼接處理細(xì)節(jié)的流程圖23是圖21所示的步驟S44上的拼接區(qū)域處理的細(xì)節(jié)的流程圖24是解釋圖21所示的步驟S44上的分離區(qū)域處理細(xì)節(jié)的流程圖25是顯示圖7所示的控制部分35的結(jié)構(gòu)實例的方框圖26是解釋對象的特征量(featureamount)的示意圖27是解釋圖25所示的控制部分35的處理細(xì)節(jié)的流程圖28是顯示圖1所示的發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實例的詳細(xì)示意圖29是顯示圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實例的方框圖30是解釋圖29所示的發(fā)送設(shè)備1的處理的流程圖31是顯示圖28所示的接收設(shè)備2的結(jié)構(gòu)實例的方框圖32是解釋圖31所示的接收設(shè)備2的處理的流程圖； 圖33是顯示圖29所示的發(fā)送處理部分1016的結(jié)構(gòu)實例的方框圖； 圖34是解釋圖33所示的發(fā)送處理部分1016的發(fā)送處理的流程圖； 圖35是顯示圖31所示的組合處理部分的結(jié)構(gòu)實例的方框圖； 圖36是解釋的圖35所示的組合處理部分的組合處理的流程圖； 圖37是顯示圖29所示的對象提取部分1014的實際結(jié)構(gòu)示意圖； 圖38是解釋活動對象圖像或靜止對象圖像的提取處理的流程圖； 圖39是解釋靜止區(qū)域或活動區(qū)域確定處理的流程圖； 圖40A、 40B、 40C、 40D和40E是解釋幀差(幀間差值)的計算方法的 示意圖41是解釋連續(xù)點擊確定處理的流程圖42A、 42B、 42C、 42D、 42E和42F是解釋對象號分配方法的示意圖； 圖43是解釋靜止對象組合處理的流程圖； 圖44是解釋活動對象組合處理的流程圖； 圖45是解釋對象提取處理的流程圖46A、 46B、 46C、 46D和46E是解釋對象提取方法的示意圖47是顯示圖31所示的組合處理部分1022的另一個結(jié)構(gòu)實例的方框
圖48是顯示圖28所示的發(fā)送設(shè)備1的另一個結(jié)構(gòu)實例的方框圖； 圖49是顯示圖48所示的變化確定和歸類部分240的結(jié)構(gòu)實例的方框圖； 圖50A和50B是解釋變化確定和歸類部分240的興趣對象區(qū)域變化處理 和興趣對象區(qū)域歸類處理的流程圖51是解釋興趣變化確定處理的流程圖； 圖52是圖1所示的發(fā)送系統(tǒng)的第三結(jié)構(gòu)的詳細(xì)實例的示意圖； 圖53是顯示圖52所示的收費服務(wù)器4的結(jié)構(gòu)實例的方框圖； 圖54是解釋圖53所示的收費服務(wù)器4的處理的流程圖； 圖55是顯示本發(fā)明的實施例的計算機(jī)的結(jié)構(gòu)實例的方框圖。
實施發(fā)明的最好形式
圖1示出了根據(jù)本發(fā)明的實施例的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)(該系統(tǒng)是作為 多個裝置的邏輯組合的一個實體，而且與每個裝置是否設(shè)置在一個機(jī)架中無
關(guān))。
發(fā)送裝置由至少兩個終端單元1和2組成。就終端單元1和2的關(guān)系而
言， 一個是發(fā)送設(shè)備，另一個是接收設(shè)備。圖像(圖像數(shù)據(jù))從發(fā)送設(shè)備經(jīng)
傳送路徑3發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的實施例，例如，假定終端單元1是發(fā)送設(shè)備，而終端設(shè)備 2是接收設(shè)備，并且假定圖像數(shù)據(jù)在它們之間發(fā)送和接收。在下文中，終端 單元1或2可以被分別稱作發(fā)送設(shè)備1或接收設(shè)備2。
■在該情況下，發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送圖像數(shù)據(jù)。接 收設(shè)備2接收來自發(fā)送設(shè)備1的圖像數(shù)據(jù)。下面將要說明圖像數(shù)據(jù)在圖像輸 出部分23 (參見圖5)上的顯示。圖像輸出部分23例如由液晶顯示器或CRT (陰極射線管)組成。此外，接收部分2經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控 制信息，該控制信息控制圖像輸出部分23所顯示的圖像空間方向的空間分辨 率和時間方向的時間分辨率。
發(fā)送設(shè)備1接收來自接收設(shè)備2的控制信息，并相應(yīng)于該控制信息控制 圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時間分辨率在 滿足預(yù)定條件時變化。
就發(fā)送設(shè)備1和接收設(shè)備2來說，可以使用諸如PHS (個人手持電話系 統(tǒng))(商標(biāo))單元的終端單元和諸如便攜電話單元的便攜式終端單元。當(dāng)使用 PHS單元時，傳送路徑3具有1895.1500至1905,9500Mhz的頻帶，其傳送速 率為128Kbps (每秒比特)。
圖2示出了圖1所示的圖像發(fā)送系統(tǒng)的第 一 結(jié)構(gòu)的實例；在此，諸如PHS 單元和便攜式電話單元的便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接 收設(shè)備2。
根據(jù)圖2所示的實施例，圖1所示的傳送路徑3由無線基站3-1或3-2 和交換站3-3組成。該交換站3-3是(例如)連接無線基站3-1和3-2的電話 站。無線基站3-1或3-2向/從終端單元1或2發(fā)送和接收一個無線信號。在 終端單元1與2之間，其每一個可以經(jīng)過由無線基站3-l和3-2、收費服務(wù)器 4等組成的傳送路徑3向另一個發(fā)送信號，并從另一個終端接收信號?；?3-1的類型可以基站3-2的類型相同或者不相同。
參見圖2,終端單元1包括攝像機(jī)部分1-1、顯示器部分1-2、按鍵部分 1-3、揚(yáng)聲器部分l-4和麥克風(fēng)1-5。攝影機(jī)部分1-1具有可以攝取活動圖像的
圖像拾取裝置和光系統(tǒng)。顯示部分1-2可以顯示字符、符號、圖像等。在輸 入電話號碼、字符、命令等時操作按鍵部分1-3。揚(yáng)聲器l-4輸出聲音。麥克
風(fēng)l-5輸入聲音。同樣，終端單元2包括攝影機(jī)部分2-l、顯示部分2-2、按 鍵部分2-3、揚(yáng)聲器2-4和麥克風(fēng)2-5，它們分別具有與攝影機(jī)部分1-1、顯示 部分l-2、 4姿2睫部分l-3、揚(yáng)聲器l-4和麥克風(fēng)l-5相同的結(jié)構(gòu)。
麥克風(fēng)1-5和1-6采集的語音信號在終端單元1和2之間發(fā)送和接收。 此外，可以發(fā)送和接收由攝像機(jī)部分1-1和2-l攝取的圖像數(shù)據(jù)。因此，終端 單元1的顯示部分l-2可以顯示由終端單元2的攝影機(jī)部分2-l獲取的圖像數(shù) 據(jù)。同樣，終端單元2的顯示部分2-2可以顯示由終端單元1的攝影機(jī)部分 1-1獲取的圖像數(shù)據(jù)。
換句話說，發(fā)送設(shè)備1的攝像機(jī)部分1-1所攝取的圖像數(shù)據(jù)以及諸如幀 速率的所需信息經(jīng)過有基站部分3-1和3-2以及交換站3-3組成的傳送路徑3 發(fā)送給接收設(shè)備2。接收部分2在由例如液晶顯示器組成的顯示部分2-1上顯 示接收的圖像數(shù)據(jù)(相對應(yīng)的圖像)。另一方面，接收設(shè)備2經(jīng)傳送路徑3向 發(fā)送設(shè)備1發(fā)送用于控制在顯示部分2-1上顯示的圖像的空間分辨率和時間 分辨率的控制信息。發(fā)送設(shè)備1接收來自接收設(shè)備2的控制信息并相應(yīng)于控 制信息控制圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時 間分辨率在滿足預(yù)定條件時變化。
下面圖3示出了圖2所示的發(fā)送設(shè)備1的結(jié)構(gòu)的實例。
圖像輸入部分11相當(dāng)于圖2所示的攝像機(jī)部分1-1。圖像輸入部分11 攝取一個特定的對象，并把它的圖像輸送給預(yù)處理部分12。預(yù)處理部分12 由背景圖像提取部分13、對象提取部分14和附加信息計算部分15組成。預(yù) 處理部分12執(zhí)行從圖像輸入部分11輸入的圖像的預(yù)處理和把該合成圖像供 應(yīng)給發(fā)送處理部分16。
換句話說，背景圖像提取部分13從圖像輸入部分11供應(yīng)的圖像中提取 所謂的背景圖像，和把提取的背景圖像供應(yīng)給發(fā)送處理部分16。此外，背景 圖像提取部分13所提取的背景圖像還供應(yīng)給對象提取部分14和附加信息計 算部分15。
作為提取背景圖像的方法，獲取多個連續(xù)幀(例如當(dāng)前幀和過去的10 個幀)的相同空間位置上的多個像素的像素值的出現(xiàn)頻率。具有最高頻率的 像素值可以作為該位置是背景對待。另一方面，可以取得多個幀的相同位置
上的像素值的平均值(活動平均值)，以作為該位置上的背景圖像。
對象提取部分14執(zhí)行例如從圖像輸入部分11所供給的圖像中減去由背 景圖像提取部分13所提取的背景圖像的減法運(yùn)算，獲得所謂的前景圖像，并 把該前景圖像供應(yīng)給發(fā)送處理部分16。當(dāng)圖像輸入部分11輸入的圖像包含
作為前景的多個實體時，對象提取部分14相應(yīng)于每一實體提取前景圖像并將 所提取的前景背景提供給發(fā)送處理部分16。另一方面，由對象提取部分14 提取的前景圖像還被提供給附加信息計算部分15。此后，相應(yīng)于每一實體的 前景圖像可以看作是一個對象。
附加信息計算部分15檢測背景圖像移動矢量和對象移動矢量。背景圖像 移動矢量表示由背景圖像提取部分13提取的背景圖像的移動(相應(yīng)于圖像輸 入部分11的拍攝方向的移動的背景圖像的移動)。對象移動矢量表示由對象 提取部分14提取的對象的移動。另外，附加信息計算部分15將對象提取部 分14提供的作為附加信息的一幀中的對象的位置信息等提供給發(fā)送處理部 分16。換句話說，當(dāng)對象提取部分14提取一個對象時，該對象提取部分14 還提取與該對象有關(guān)的信息，比如該對象的位置信息等，并把該信息供應(yīng)給 附加信息計算部分15。附加信息計算部分15還把該位置信息等作為附加信 息輸出。
發(fā)送處理部分16多路復(fù)用由背景圖像提取部分13提取的背景圖像、由 對象提取部分14提取的對象和由附加信息計算部分15獲取的附加信息，并 按其數(shù)據(jù)速率經(jīng)過傳送路徑3將合成的多路復(fù)用數(shù)據(jù)發(fā)送給接收設(shè)備2。發(fā) 送處理部分16經(jīng)傳送路徑3接收自接收設(shè)備2發(fā)送的控制信息，并相應(yīng)于該 控制信息控制背景圖像、對象和附加信息的發(fā)送，使接收設(shè)備2所顯示的圖 像的空間分辨率和時間分辨率在滿足預(yù)定條件時變化。
下面結(jié)合圖4所示的流程圖簡要地說明圖3所示的發(fā)送設(shè)備1的處理。 圖像輸入部分11輸出的圖像供給預(yù)處理部分12。在步驟S1上，與處理 部分12執(zhí)行圖像的預(yù)處理。換句話說，在步驟S1上，背景圖像提取部分13 或前景圖像提取部分14從圖像輸入部分11輸入的圖像中分別提取背景圖像 或?qū)ο?，并把提取的背景圖像或提取的對象供應(yīng)給發(fā)送處理部分16。此外， 在步驟Sl上，附加信息計算部分15從圖像輸入部分11輸入的圖像中獲得上 述的附加信息，并把獲得的附加信息供應(yīng)給發(fā)送處理部分16。發(fā)送處理部分 16經(jīng)傳送路徑3發(fā)送背景圖像、前景圖像和附加信息。此后，流程返回到步
驟Sl,發(fā)送設(shè)備1重復(fù)相似的處理。
圖5示出了圖2所示的接收設(shè)備2的結(jié)構(gòu)實例。
發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送多路復(fù)用數(shù)據(jù)。該多路復(fù)用數(shù)據(jù)由接收處 理部分21接收。接收處理部分21把該多路復(fù)用數(shù)據(jù)分離成背景圖像、對象 和附加信息，并把它們供應(yīng)給組合處理部分22。
組合處理部分22把從接收處理部分21接收的背景圖像、對象和附加信 息組合成原始圖像，并把該合成的圖像供應(yīng)給圖像輸出部分23。組合處理部 分22相應(yīng)于下面將要說明的高分辨率信息等改變組合的圖像的空間分辨率 和時間分辨率。
圖像輸出部分23由例如液晶顯示器或CRT組成。圖像輸出部分23顯示 從組合處理部分22輸出的圖像。
控制信息輸入部分24把控制信息輸出給組合處理部分22和控制信息發(fā) 送部分25。換句話說，控制信息輸入部分24組成按鍵部分2-3?？刂菩畔⑤?入部分24由例如諸如跟蹤球的指點器組成。當(dāng)用戶用控制信息輸入部分24 指定一個由圖像輸出部分23顯示的圖像的特定位置時，控制信息輸入部分 24把該位置檢測為用戶正在考慮的一個考慮點，把該考慮點的坐標(biāo)放入控制 信息中，并輸出所得的控制信息。另一方面，控制信息輸入部分24由例如一 個攝影機(jī)組成。當(dāng)用戶攝取和認(rèn)可一個圖像時，控制信息輸入部分24把用戶 正在考慮的一個點檢測為考慮點，把該考慮的點的坐標(biāo)放入控制信息中，并 輸出該合成的控制信息。控制信息輸入部分24可以被構(gòu)造成使用戶可以直接 輸入作為控制信息的由圖像輸出部分23顯示的圖像的空間分辨率和時間分 辨率的結(jié)構(gòu)。
當(dāng)控制信息發(fā)送部分25接收來自控制信息輸入部分24的控制信息時， 控制信息發(fā)送部分25經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控制信息。
下面結(jié)合圖6所示的流程圖簡要說明圖5所示的接收設(shè)備2的處理。 在接收設(shè)備2中，接收處理部分21經(jīng)傳送路徑3接收來自發(fā)送設(shè)備1 的多路復(fù)用數(shù)據(jù)。在步驟Sll,接收處理部分21執(zhí)行一個接收處理，將多路 復(fù)用數(shù)據(jù)分離成背景圖像、對象和附加信息。接收處理部分21向組合處理部 分22供應(yīng)作為接收處理結(jié)果的背景圖像、對象和附加信息。在步驟S12,組 合處理部分22把背景圖像、對象和附加信息組合為原始圖像并把該組成圖像 供應(yīng)給圖像輸出部分23。圖像輸出部分23顯示該組合圖像。此后，流程返
回到步驟Sll,隨后接收設(shè)備重復(fù)相似的處理。
在接收設(shè)備2中，當(dāng)用戶用控制信息輸入部分24指定一個圖像輸出部分 23所顯示的圖像的考慮點時，該考慮點的坐標(biāo)被放入控制信息中。該合成控 制信息被供給控制信息發(fā)送部分25?？刂菩畔l(fā)送部分25經(jīng)傳送路徑3向 發(fā)送設(shè)備1發(fā)送該控制信息。當(dāng)發(fā)送設(shè)備1接收到如上所述的控制信息時， 發(fā)送處理部分16控制背景圖像、對象和附加信息的發(fā)送，使接收設(shè)備2所顯 示的圖像的空間分辨率和時間分辨率可以在滿足約定條件時改變。此后，由 于已經(jīng)被控制的背景圖像、對象和附加信息從發(fā)送設(shè)備1發(fā)送到接收設(shè)備2， 因此在滿足一個預(yù)定條件時已改變了空間分辨率和時間分辨率的圖像由接收 設(shè)備2顯示。
圖7示出了圖3所示的發(fā)送設(shè)備1的發(fā)送處理部分16的結(jié)構(gòu)實例。
背景圖像、對象和附加信息從預(yù)處理部分12 (參見圖3)供給編碼部分 31和控制部分35。編碼部分31對背景圖像、對象和附加信息編碼，并把該 合成的編碼數(shù)據(jù)供應(yīng)給MUX (多路復(fù)用器)32。 MUX32在控制部分35的控 制下選擇從編碼部分31接收的背景圖像、對象和附加信息并把選擇的編碼數(shù) 據(jù)作為多路復(fù)用數(shù)據(jù)供給發(fā)送部分33。發(fā)送部分33調(diào)制從MUX32接收的多 路復(fù)用數(shù)據(jù)，并經(jīng)傳送路徑3把該調(diào)制的數(shù)據(jù)發(fā)送給接收設(shè)備2。數(shù)據(jù)量計 算部分34監(jiān)視MUX32向發(fā)送部分33輸出的多路復(fù)用數(shù)據(jù)，計算多路復(fù)用 數(shù)據(jù)的數(shù)據(jù)速率，并把計算的數(shù)據(jù)速率供應(yīng)給控制部分35。
控制部分35控制MUX32的多路復(fù)用數(shù)據(jù)的輸出，使數(shù)據(jù)量計算部分 34的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。此外，控制部分35經(jīng)傳送路 徑3接收從接收設(shè)備2發(fā)送的控制信息，并相應(yīng)于該控制信息控制MUX32 的編碼數(shù)據(jù)的選擇。
圖8示出了圖7所示的編碼部分31的結(jié)構(gòu)實例。
背景圖像被供應(yīng)給差值計算部分41B。差值計算部分41從處理的當(dāng)前幀 (在下文中，該幀可以稱作考慮幀)的背景圖像中減去剛處理的在前幀的背 景圖像，并把背景圖像的差值數(shù)據(jù)作為相減結(jié)果供應(yīng)給分層編碼部分42B。 分層編碼部分42B對從差值計算部分41B接收的背景圖像的差值數(shù)據(jù)進(jìn)行分 層編碼，并把編碼結(jié)果提供給存儲部分43B。存儲部分43B臨時存儲從分層 編碼部分42接收的分層編碼結(jié)果。存儲部分43B中存儲的分層編碼結(jié)果作為 背景圖像的編碼數(shù)據(jù)供應(yīng)給MUX32 (參見圖7)。
存儲部分43B中存儲的分層編碼結(jié)果供應(yīng)給本地解碼器44B。本地編碼 器44B把分層編碼結(jié)果進(jìn)行解碼成為原始背景圖像，并把解碼的背景圖像供 應(yīng)給差值計算部分部分41B。由本地解碼器部分44B解碼的背景圖像由差值 計算部分41B使用。差值計算部分41B使用解碼的背景圖像來獲得下 一幀的 背景圖像的差值數(shù)據(jù)。
對象被供應(yīng)給差值計算部分41F。差值計算部分41F、分層編碼部分42F、 存儲部分43F和本地解碼器部分44F執(zhí)行與上述的差值計算部分41B、分層 編碼部分42B、存儲部分43B和本地解碼器44B相同的處理。因而，按照與 背景圖像相同的方式，對象被分層編碼并供應(yīng)給MUX32 (參見圖7)。當(dāng)存 在多個對象時，差值計算部分41F、分層編碼部分42F存儲部分43F和本地 解碼部分44F以上述方式對多個對象分層編碼。
附加信息提供給VLC (可變長度編碼)部分45。 VCL部分45按照可變 長碼編碼方法對附加信息進(jìn)行編碼，并把編碼的附加信息供應(yīng)給MUX32 (參 見圖7)。
下面結(jié)合附圖9將說明由圖8所示的編碼部分31所執(zhí)行的分層編碼/解碼。
假定較低層次的2x2像素(水平x垂直)的四個像素的平均值被視為較 高層次的一個像素(像素值)，并且假定按三個層次級對一個圖像編碼。在這 種情況下，對于考慮到如圖9(A)所示的8x8個像素的最低層次級中的一個 圖像，計算2x2個像素的左上部分的四個像素h00、 h01、 h02和h03的平均 值m0 。該平均值被m0視作第二層次級的左上部分的一個像素。計算最低 層次級的右上部分的四個像素h10、 hll、 hl2和hl3的平均值ml。計算最低 層次級的左下部分的四個^f象素h20、 h21、 h22和h23的平均值m2。計算最低 層次級的右上部分的四個像素h30、 h31、 h32和h33的平均值m3。平均值 ml、 m2和m3被分別視作第二層次級的右上部分、左下部分和右上部分上的 像素。此外，計算第二層次級的2x2像素的四個像素m0、 ml、 m2和m3的 平均值q。該平均值被視作是最高層次級的第三層次級的一個象素。
根據(jù)上述的分層編碼，最高層次級中的圖像的空間分辨率是最低的。圖 像的空間分辨率與層次級成反比。換句話說，最低層次級中的圖像的空間分 辨率是最高的。 '
在所有象素h00至h03、 hlO至hl3、 h20至h23、 h30至h33、 m0至m3
和q被發(fā)送的情形下的數(shù)據(jù)量大于僅由較高層次級的象素m0至m3和q發(fā)送 最低層次級的圖像情形下的數(shù)據(jù)量。
因此，如圖9 (B)所示，第三層次級的象素q被發(fā)送，而不是例如第 二層次級的象素m0至m3的右下位置上的像素m3被發(fā)送。
此外，如圖9(C)所示，發(fā)送第二層次級的象素m0，而不是發(fā)送例如 最低層次級的象素m0至m3的右下位置上的像素h03。同樣，第二層次級的 剩余像素ml、 m2和q被發(fā)送，而不是發(fā)送第一層次級的象素h13、 h23和 h33。盡管像素q不是第二層次級的一個像素，但它被發(fā)送，而不是發(fā)送直接 從像素h30至h33得到的像素m3。因而，發(fā)送像素q，而不是發(fā)送替代像素 h33的像素m3。
因而，如圖9(C)所示，發(fā)送的像素數(shù)目變成4乂4像素=16像素。因 此發(fā)送的像素數(shù)目相同于僅僅發(fā)送圖9( A )所示的最低層次級的象素的情況。 在這種情況下，發(fā)送的數(shù)據(jù)量可以避免增加。
替代像素q發(fā)送的像素m3以及替代像素m0至m3發(fā)送的像素h03、hl3、 h23和h33可以按下述方式被解碼。
換言之，由于q是m0至m3的平均值，因此滿足等式q = (m0+ml+m2+m3 ) /4。因此可以相應(yīng)于等式m3=4xq - (m0+ml+m2)用第 三層次級的象素q和第二層次級的象素m0至m2獲得(解碼)第二層次級的 象素m3。
此外，由于m0是h00至h03的平均值，因此滿足等式 m0=(h00+h01+h02+h03)/4。因此，相應(yīng)于等式h03=4xm0 — ( h00+h01+h02 ), 可以用第二層次級的象素mO和第一層次級的象素h00至h02獲得第一層次 級的象素h03。按相同的方式，可以獲得hl3、 h23和h33。
因此，在未在一個特定層次級中發(fā)送的像素可以用該層次級中發(fā)送的像 素和上一級的層次級的一個像素來解碼。
下面將結(jié)合圖10所示的流程圖說明圖7所示的發(fā)送處理部分16的發(fā)送 處理。
在步驟S21,在發(fā)送處理部分16中，控制部分35確定接收設(shè)備2是否 已經(jīng)發(fā)送控制信號。當(dāng)步驟S21的確定結(jié)果表明控制信號還未從接收設(shè)備2 發(fā)送(即，控制部分35還未接收到該控制信息)時，流程前進(jìn)到步驟S22。 控制部分35控制MUX32選擇背景圖像、對象和附加信息的編碼數(shù)據(jù)，并多
路復(fù)用它們，以使接收設(shè)備2可以用正常的時間分辨率(例如， 一個默認(rèn)時 間分辨率)顯示一個圖像。
當(dāng)正常的時間分辨率是例如30幀/秒時，MUX32選擇背景圖像、對象和
附加信息的編碼數(shù)據(jù)，多路復(fù)用該編碼數(shù)據(jù)，和輸出該多路復(fù)用的數(shù)據(jù)，以
使該圖像用按傳送路徑3的傳送速率發(fā)送多路復(fù)用數(shù)據(jù)的最大時間分辨率來 顯示。
實際上，例如，在按三個層次級執(zhí)行分層編碼的情況中，當(dāng)(只有)第 三層次級的數(shù)據(jù)以傳送路徑3的傳送速率發(fā)送時，選擇背景圖像、對象和附 加信息的編碼數(shù)據(jù)以顯示第三層次級的圖像。因此，在這種情況下，接收設(shè) 備2用是原始圖像(第一層次級)的1/4 (水平方向和垂直方向)的空間分辨 率和30幀/秒的時間分辨率來顯示一個圖像。
此后，流程前進(jìn)到步驟S23。在步驟S23，發(fā)送部分33發(fā)送MUX32經(jīng) 傳送路徑3輸出的多路復(fù)用數(shù)據(jù)。此后，步驟返回到步驟S21。
當(dāng)步驟S21上的確定結(jié)果表明控制信號已經(jīng)從接收設(shè)備2發(fā)送(即，控 制部分35已經(jīng)接收到該控制信息)時，流程前進(jìn)到步驟S24?？刂撇糠?5 相應(yīng)于控制信號操縱控制信息輸入部分24,從而認(rèn)可指定的考慮點。此后， 流程前進(jìn)到步驟S25。
在步驟S25,控制部分35把具有一個考慮點(矩形框具有在幀水平方向 和垂直方向的平行邊并且考慮點在矩形框的重心上)周圍預(yù)定尺寸的矩形那 樣的區(qū)域指定為一個優(yōu)先權(quán)范圍，在該范圍中用優(yōu)先權(quán)改善空間分辨率并且 檢測在該優(yōu)先權(quán)范圍中組成圖像的背景圖像、對象和附加信息。
此后，流程前進(jìn)到步驟S26。在步驟S26,控制部分35控制MUX32選 擇和多路復(fù)用背景圖像、對象和附加信息的編碼數(shù)據(jù)，并多路復(fù)用被選擇的 編碼數(shù)據(jù)以使接收設(shè)備2可以用較高的時間分辨率顯示該優(yōu)先權(quán)范圍內(nèi)的圖 像。
換言之，當(dāng)控制部分35接收來自接收設(shè)備2的控制信號時，控制部分 35控制MUX32以犧牲時間分辨率為代價來改善優(yōu)先權(quán)范圍內(nèi)的圖像的空間 分辨率。
因此，MUX32用優(yōu)先權(quán)選擇顯示第三層次級的圖像和第二層次級的圖 像所需的背景圖像、對象和附加信息的編碼數(shù)據(jù)，多路復(fù)用被選擇的編碼數(shù) 據(jù)和輸出該多路復(fù)用的數(shù)據(jù)。
此外，在步驟S26,控制部分35控制MUX32把優(yōu)先權(quán)范圍、大小等等 的位置信息插入到選作多路復(fù)用數(shù)據(jù)的附加信息中。此后，流程前進(jìn)到步驟 S23。
在步驟S23,如上述的那樣，發(fā)送部分33發(fā)送MUX32經(jīng)傳送路徑3輸 出的多路復(fù)用數(shù)據(jù)。此后，流程返回到步驟S21。
為簡單起見，假定在步驟S26上對于作為非優(yōu)先權(quán)范圍中的一個圖像的 第三層次級的一個圖像連續(xù)選擇顯示第三層次級的圖像的背景信息、對象和 附加信息的編碼數(shù)據(jù)，被多路復(fù)用的數(shù)據(jù)量大于在步驟S22上的優(yōu)先權(quán)范圍 內(nèi)的圖像的第二層次級的數(shù)據(jù)的情形。根據(jù)本發(fā)明的實施例，按照上述的方 式以30幀/秒顯示圖像，則僅以傳送路徑3的傳送速率發(fā)送第三層次級的數(shù) 據(jù)。這樣就不能發(fā)送步驟S26上獲得的多路復(fù)用數(shù)據(jù)，以便按30幀/秒顯示 圖像。從而，在步驟S23的極端情況下，在步驟S26上獲得的多路復(fù)用數(shù)據(jù) 用0幀/秒的時間分辨率發(fā)送。
因此，在這種情況下，對于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2所顯示圖 像的水平方向和垂直方向每個的空間分辨率為原始圖像(即第一層次級)空 間分辨率的1/2。換句話說，接收設(shè)備2顯示其水平方向和垂直方向每個的空 間分辨率二倍于第三層次級的圖像空間分辨率的圖像(第二層次級)。然而， 其時間分辨率為0幀/秒。換言之，接收設(shè)備2顯示一個靜止圖像。
在發(fā)送用于優(yōu)先權(quán)范圍內(nèi)圖像的第二層次級的數(shù)據(jù)之后，當(dāng)步驟S21的 確定結(jié)果表明已經(jīng)再次從接收設(shè)備2發(fā)送(即，用戶連續(xù)操作控制信息輸入 部分24并指定相同的考慮點)控制信號時，流程前進(jìn)到步驟S24。在步驟S24， 控制部分35認(rèn)可該相同的考慮點。此后，流程前進(jìn)到步驟S25。在步驟S25, 控制部分35指定相同的優(yōu)先權(quán)范圍。此后，流程前進(jìn)到步驟S26。
在步驟S26,控制部分35控制MUX32選擇背景圖像、對象、和附加信 息的編碼數(shù)據(jù)和多路復(fù)用該選擇的編碼數(shù)據(jù)，以使接收設(shè)備2可以顯示具有 較高空間分辨率的優(yōu)先權(quán)范圍內(nèi)的圖像。
在這種情況下，對于優(yōu)先權(quán)范圍內(nèi)的圖像，用優(yōu)先權(quán)選擇第三層次級和 第二層次級的背景圖像、對象和附加信息的編碼數(shù)據(jù)。在這種情況下，用優(yōu) 先權(quán)選擇第一層次級的背景圖像、對象和附加信息的編碼數(shù)據(jù)，并按多路復(fù) 用數(shù)據(jù)輸出。此外，在步驟S26,如上所述，高分辨率信息被插入附加信息 中。此后，流程前進(jìn)到步驟S23。在步驟S23,發(fā)送部分33發(fā)送MUX32經(jīng)
傳送路徑3輸出的多路復(fù)用數(shù)據(jù)。此后，流程前進(jìn)到步驟S21。
因此，在這種情況下，對于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2顯示具有
與原始圖像(第一層次級)相同的空間分辨率的圖像。換句話說，接收設(shè)備
2顯示具有四倍于第三層次級的圖像的空間分辨率(水平方向和垂直方向的 每個中的)的圖像。然而，時間分辨率例如為0幀/秒。換言之，接收設(shè)備2 顯示一個靜止圖像。
因而，當(dāng)用戶連續(xù)操作控制信息輸入部分24和指定相同的考慮點時，對 于含有該考慮點的優(yōu)先權(quán)范圍內(nèi)的圖像，以圖像的時間分辨率為代價借助優(yōu) 先權(quán)發(fā)送改善了空間分辨率的數(shù)據(jù)。因而，盡管圖像的時間分辨率惡化，但 含有考慮點的優(yōu)先權(quán)內(nèi)的圖像的空間分辨率得到了改善。因此，優(yōu)選權(quán)范圍 內(nèi)的圖像被更加清楚地顯示。換句話說，用戶考慮的部分的圖像被更加清楚 地顯示。
因此，圖像數(shù)據(jù)的發(fā)送被控制，以使含有一個考慮點的特定優(yōu)先權(quán)范圍 內(nèi)的圖像的空間分辨率和時間分辨率在按傳送路徑3傳送速率發(fā)送的圖像數(shù) 據(jù)的分辨率范圍內(nèi)變化。換句話說，圖像數(shù)據(jù)的發(fā)送被控制，以使優(yōu)先權(quán)范 圍內(nèi)的圖像的空間分辨率得到改善和使該圖像的時間分辨率惡化。因而，借 助于按傳送路徑3的傳送速率發(fā)送的圖像數(shù)據(jù)獲得改善的空間分辨率分辨率 和惡化的時間分辨率。結(jié)果，在一個限制的傳輸速率上，接收設(shè)備2所顯示 的圖像的空間分辨率可以進(jìn)一步得到改善。
下面圖11示出了圖5所示的接收處理部分21的結(jié)構(gòu)實例。 接收部分51經(jīng)傳送路徑3接收多路復(fù)用的數(shù)據(jù)。在多路復(fù)用數(shù)據(jù)被解調(diào) 后，供給DMUX (解復(fù)用器)52。 DMUX52 4巴從接收部分51接收的多路復(fù) 用數(shù)據(jù)分解成背景圖像、對象和附加信息的編碼數(shù)據(jù)，和把分解的數(shù)據(jù)供應(yīng) 給解碼部分53。解碼部分53把背景圖像、對象和附加信息的編碼數(shù)據(jù)解碼 成它們的原始數(shù)據(jù)并輸送給組合處理部分22 (參見圖5)。
換言之，圖12示出了圖11所示的解碼部分53的結(jié)構(gòu)實例。 作為背景圖像的編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應(yīng)給加法裝置61B。 此外，已經(jīng)解碼并存儲在存儲部分62B中的前一幀的一個背景圖像也送給加 法裝置61B。加法裝置61B將背景圖像的差值數(shù)據(jù)和自存儲部分62B接收的 前一幀的背景圖像相加，以便對一個預(yù)期層次級的背景圖像進(jìn)行解碼。該解 碼的背景圖像被供應(yīng)給存儲部分62B。存儲部分62B存儲從加法裝置61B接
收的背景圖像。該解碼的背景圖像被供應(yīng)給加法裝置61B和組合處理部分22
(參見圖5)。
作為對象編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應(yīng)給加法器61F。加法裝置 61F和存儲部分62F執(zhí)行與加法裝置61B和存儲部分62B相似的處理。從而， 按照與背景圖像相同的方式，把對象的差值數(shù)據(jù)解碼為預(yù)期的層次級的對象， 然后供應(yīng)給組合處理部分22 (參見圖5)。當(dāng)存在多個對象時，加法部分61F 和存儲部分62F對多個對象的差值數(shù)據(jù)進(jìn)行解碼(分層解碼)。
作為附加信息編碼數(shù)據(jù)的用可變長度碼編碼的附加信息被供應(yīng)給反向 VLC部分63。反向VLC部分63用可變長度編碼對該附加信息進(jìn)行解碼。從 而獲得原始附加信息，并供應(yīng)給組合處理部分22。
圖8所示的本地解碼器44B被構(gòu)成為加法裝置61B和存儲部分62B。同 樣，本地解碼器44F被構(gòu)成為加法裝置61F和存儲部分62F。
圖13示出了圖5所示的組合處理部分22的結(jié)構(gòu)實例。
解碼部分53輸出的背景圖像(參見圖1 )被供應(yīng)給背景圖像寫入部分71。 解碼部分53輸出的對象被供應(yīng)給對象寫入部分72。解碼部分53輸出的附加 信息被供應(yīng)給背景圖像寫入部分71、對象寫入部分72和組合部分77。
背景圖像寫入部分71連續(xù)地把背景圖像寫入背景圖像存儲器73。當(dāng)一 個圖像是在攝像機(jī)搖鏡頭或傾斜情況下拍攝的時，背景圖像是移動的。在此 點，背景圖像寫入部分定位該背景圖像，然后把定位的背景圖像寫入背景圖 像存儲器73。因此，背景圖像存儲器73可以存儲一個在空間上寬于一幀的 圖像的圖像。背景圖像是相應(yīng)于包含在附加信息中的 一個背景圖像移動矢量 來定位背景圖像的。
當(dāng)背景圖像寫入部分71把具有高空間分辨率的背景圖像寫入背景圖像 存儲器73時，背景圖像寫入部分71相應(yīng)于從0至1的背景圖像的像素來改 變按背景圖像標(biāo)志存儲器74的地址所存儲的背景圖像標(biāo)志的數(shù)值。當(dāng)背景圖 像寫入部分71把一個背景圖像寫入背景圖像存儲器73時，背景圖像寫入部 分71核對背景圖像標(biāo)記存儲器74。背景圖像寫入部分71不將一個具有低空 間分辨率的背景圖像寫入其背景圖像標(biāo)志是1 (表明該像素存儲具有高空間 分辨率的一個背景圖像)的一個像素上。因而，大體上，不論背景圖像何時 供應(yīng)給背景圖像寫入部分71,都被寫入到背景圖像存儲器73。然而，背景圖 像寫入部分71并不把具有低空間分辨率的背景圖像寫入到存儲具有高空間
分辨率的背景圖像的像素上。結(jié)果，無論高空間分辨率的背景圖像何時供應(yīng) 給背景背景圖像寫入部分71,都使高空間分辨率的范圍在背景圖像存儲器內(nèi) 變寬。
對象寫入部分72連續(xù)地把所供給的對象寫入到對象存儲器75上。當(dāng)存 在多個對象時，對象寫入部分72把每個對象寫入到對象存儲器75。當(dāng)對象 寫入部分72把相同的對象(分配相同的標(biāo)志)寫入到對象存儲器75時，對 象寫入部分72用新對象(新近供應(yīng)給對象寫入部分72的對象)替代舊對象。
此外，當(dāng)對象寫入部分72把高空間分辨率的 一個對象寫入到對象存儲器 75時，對象寫入部分72相應(yīng)于從0到1的對象的像素改變按對象標(biāo)識存儲 器76的一個地址存儲的一個背景圖像標(biāo)志。當(dāng)對象寫入部分72把對象寫入 到對象存儲器75時，對象寫入部分72核對對象標(biāo)志存儲器76。對象寫入部 分72不把具有低空間分辨率的對象寫入到存儲高空間分辨率的對象(對象標(biāo) 志=1 )的對象存儲器75上。以背景圖像存儲器73相同的方式，無論對象何 時供給對象寫入部分72,都將該對象寫入到對象寫入部分72。然而，對象寫 入部分72不把低空間分辨率的對象寫入到存儲高空間分辨率的對象的一個 象素上。結(jié)果，無論高空間分辨率的對象何時被供應(yīng)給對象寫入部分72,高 空間分辨率的對象的數(shù)目在對象存儲器75中遞增。
背景圖像存儲器73存儲從背景圖像寫入部分71供應(yīng)的背景圖像。背景 圖像標(biāo)志存儲器74按背景圖像存儲器73的一個地址存儲上述的一比特背景 圖像標(biāo)志。背景圖像標(biāo)志存儲器74表示高空間分辨率的背景圖像是否已經(jīng)被 存儲在背景圖像存儲器73的一個地址上。對象存儲器75至少包括一個存儲 從對象寫入部分72供給的每個對象的存儲器部分。對象標(biāo)志存儲器部分76 存儲上述的一比特對象標(biāo)志，該標(biāo)志代表一個高空間分辨率的對象是否已經(jīng) 存儲在對象存儲器75中。
在這種情況下，為簡單起見，背景圖像標(biāo)志和對象標(biāo)志是一比特標(biāo)志。 另一方面，背景圖像標(biāo)志和對象標(biāo)志可以是多比特標(biāo)志。在此情況下，背景 圖像標(biāo)志和對象標(biāo)志可以代表多等級分辨率。換句話說， 一比特標(biāo)志只代表 高分辨率和低分辨率這兩個等級。然而， 一個多比特標(biāo)志代表多等級分辨率。
組合部分77相應(yīng)于附加信息中含有的一個背景圖像移動矢量讀出背景 圖像存儲器73中存儲的當(dāng)前幀(該幀可以被稱之為考慮幀)的背景圖像。此 外，組合部分77相應(yīng)于附加信息中含有的一個對象移動矢量來組合該背景
像和對象存儲器75中存儲的一個對象。結(jié)果，組合部分77生成一個考慮幀
的圖像，并把該圖像供給一個顯示存儲器78。
此外，組合部分77接收來自控制信息輸入部分24(參見圖5)的控制信 息時，組合部分77從對象存儲器75中讀出該控制信息中含有的考慮點上的 一個對象，并把該對象供給子窗口存儲器79。
顯示存儲器78作為一個所謂的VRAM (視頻只讀存儲器)。顯示存儲器 78暫時存儲組合部分77供給的考慮幀的圖像。
子窗口存儲器79暫時存儲組合部分77供給的一個對象。
疊加部分80讀出顯示存儲器78的存儲內(nèi)容，并把存儲的內(nèi)容供給圖像 輸出部分23 (參見圖5)。圖像輸出部分23顯示該存儲的內(nèi)容。必要時，疊 加部分80打開圖像輸出部分23上的子窗口 (下文將進(jìn)行說明)，讀出子窗口 存儲器79的存儲內(nèi)容，并在該子窗口上顯示該內(nèi)容。
下面，結(jié)合圖14將說明圖13所示的組合處理部分22所執(zhí)行的處理(組 合處理)。
首先，在步驟S31，背景圖像寫入部分71或?qū)ο髮懭氩糠?2分別相應(yīng) 于背景圖像標(biāo)志存儲器74以上述方式所存儲的背景圖像標(biāo)志或?qū)ο髽?biāo)志存 儲器75以上述方式所存儲的對象標(biāo)志將解碼部分53 (參見圖12)供給的一 個背景圖像或 一個對象寫入相關(guān)存儲器。
換言之，背景圖像寫入部分71核對背景圖像標(biāo)志存儲器74,并且把供 給的背景圖像寫入到背景圖像存儲器73的該地址上，此時與該地址相對應(yīng)的 象素的背景圖像標(biāo)志為0。相反，如果供給的背景圖像的空間分辨很高時， 背景圖像寫入部分71把該背景圖像寫入背景圖像存儲器73的一個地址上， 此時對應(yīng)該地址的象素的背景圖像標(biāo)志為1。
同樣，當(dāng)對象存儲器75的對象標(biāo)志為0時，對象寫入部分72將供給的 對象寫入到對象存儲器75。當(dāng)對象存儲器75的對象標(biāo)志為1時，如果供給 的對象的空間分辨率很高時，對象寫入部分72將供給的對象寫入到對象存儲 器75。
當(dāng)背景圖像寫入部分71將背景圖像寫入到背景圖像存儲器73的一個特 定地址時，如果該地址已經(jīng)存儲了一個背景圖像，則背景圖像寫入部分71將 該背景圖像覆蓋寫到該地址上。該處理也適用于對象存儲器75。
此后，流程前進(jìn)到步驟S32。在步驟S32,背景圖像寫入部分71和對象
寫入部分72確定附加信息是否含有高分辨率信息。當(dāng)步驟S32上的確定結(jié)果 表明附加信息含有高分辨率信息(即，用戶已經(jīng)操作控制信息輸入部分24(參 見圖5)、合成控制信息已經(jīng)發(fā)送給發(fā)送設(shè)備，以及發(fā)送設(shè)備l隨后已經(jīng)為優(yōu) 先權(quán)范圍內(nèi)的一個圖像發(fā)送高空間分辨率的一個背景圖像和一個對象)時， 流程前進(jìn)到步驟S33。在步驟S33,背景圖像寫入部分71或?qū)ο髮懭氩糠?2 將背景圖像標(biāo)志存儲器74的背景圖像標(biāo)志或?qū)ο髽?biāo)志存儲器76的對象標(biāo)志 改變?yōu)?。
換句話說，當(dāng)發(fā)送設(shè)備1為優(yōu)先權(quán)范圍內(nèi)的一個圖像發(fā)送具有高空間分 辨率的一個背景圖像和一個對象時，在步驟S31,背景圖像寫入部分71和對 象寫入部分72將具有高空間分辨率的背景圖像和對象分別寫入背景圖像存 儲器73和對象存儲器75。因而，在步驟S33，組成具有高空間分辨率的背景 圖像和對象的 一個象素的背景圖像標(biāo)志和對象標(biāo)志被改變?yōu)? 。
此后，流程前進(jìn)到步驟S34。組合部分77從對象存儲器75中讀出優(yōu)先 權(quán)范圍內(nèi)的一個對象，并把該對象寫入子窗口存儲器79。
換句話說，當(dāng)步驟S32上的確定結(jié)果表明附加信息含有高分辨率信息時， 則表示用戶已經(jīng)操作了控制信息輸入部分24 (參見圖5)、控制信息已經(jīng)被發(fā) 送給發(fā)送設(shè)備1、以及發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個圖像已經(jīng)發(fā)送 具有高分辨率的一個背景圖像和一個對象。發(fā)送給發(fā)送設(shè)備1的控制信息還
供應(yīng)給組合部分77。因而，當(dāng)組合部分77接收控制信息時，在步驟S34上 組合部分77相應(yīng)于控制信息中含有的考慮點的坐標(biāo)認(rèn)同(recognize)其優(yōu)先 權(quán)范圍，從對象存儲器75中讀出發(fā)送設(shè)備1已經(jīng)發(fā)送的該優(yōu)先權(quán)范圍內(nèi)的高 空間分辨率對象，并把該對象寫入到子窗口存儲器79。
此后，流程前進(jìn)到步驟S35。在步驟S35,組合部分77相應(yīng)于附加信息 中含有的背景圖像移動矢量從背景圖像存儲器73讀出顯示的當(dāng)前幀(該幀被 稱之為考慮幀)的背景圖像。此外，組合部分77從對象存儲器75讀出關(guān)于 該考慮幀的所顯示的一個圖像。組合部分77相應(yīng)于附加信息內(nèi)含有的對象移 動矢量將該考慮幀的背景圖像與從對象存儲器75讀出的對象相組合，并把該 考慮幀的組合圖像寫入到顯示存儲器78。換言之，組合部分77將一個背景 圖j象寫入到(例如)顯示存儲器78，隨后將一個對象覆蓋寫到顯示存儲器78 上。結(jié)果，組合部分77將一個背景圖像和一個對象被組合為一個考慮幀圖像 的一個圖像寫入到顯示存儲器78上。
在這種方式中，寫入到顯示存儲器78考慮幀的圖像和寫入到子窗口存儲
器79的一個對象被供應(yīng)給圖像輸出部分23(參見圖5)。圖像輸出部分23顯 示供給的圖像和對象。
在發(fā)送設(shè)備l中，所謂的軟健可以被包含在例如附加信息中。在這種情 況下，組合部分77使用軟健將對象和背景圖像相組合。
相反，當(dāng)步驟S32上的確定確定結(jié)果表明附加信息不包含高分辨率信息 (即，用戶未操作控制信息輸入部分24 (參見圖5 )),流程前進(jìn)到步驟S35, 跳過步驟33和34。如上所述，組合部分77從背景圖像存儲器73中讀出考 慮幀的一個背景圖像。此外，組合部分77從對象存儲器75中讀出一個所需 對象,并相應(yīng)于附加信息將考慮幀的背景圖像與從對象存儲器75中讀出的對 象相結(jié)合。結(jié)果，生成一個考慮幀的圖像，并將其寫入到顯示存儲器78。此 后，流程返回到步驟S31。然后，組合處理部分22重復(fù)相似的處理。
在上述組合處理中，當(dāng)用戶未操作控制信息輸入部分24(參見圖5 )(即， 由諸如沒有被拖動(或點擊)的鼠標(biāo)的指點裝置組成的控制信息輸入部分24 ) 時，如圖15 (A)所示，低空間分辨率的圖像在圖像輸出部分23 (參見圖5) 上用一個默認(rèn)時間分辨率顯示。在圖15 (A)中，低空間分辨率的圖像在低 空間分辨率的背景圖像上移動。
當(dāng)用戶操作控制信息輸入部分24 (參見圖5)時，把光標(biāo)移動到對象， 并把該光標(biāo)拖動到對象的位置上，像上所述的那樣，將控制信息發(fā)送給發(fā)送 設(shè)備1。發(fā)送設(shè)備1以時間分辨率為代價為一個優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送顯 示高空間分辨率圖像所需的數(shù)據(jù)。結(jié)果，如圖15(B)所示的那樣，盡管時 間分辨率為(例如)0幀/秒，但在圖像輸出部分23 (參見圖5)上顯示出圍 繞拖動位置的優(yōu)先權(quán)范圍內(nèi)的一個對象和一個背景圖像的空間分辨率被逐漸 改善的圖像。換句話說，相應(yīng)于拖動時間(或點擊的數(shù)目)，在優(yōu)先權(quán)范圍內(nèi) 的圖像的空間分辨率被逐漸改善。
在此情況下，如圖15 (B)所示，在圖像輸出部分23 (參見圖5)上打 開一個子窗口 。圍繞拖動位置的優(yōu)先權(quán)范圍內(nèi)的一個對象按照對象的空間分 辨率纟皮逐漸改善的方式來顯示。
此后，當(dāng)用戶用控制信息輸入部分24 (參見圖5)停止拖動操作時，如 上述的那樣，在步驟S35上組合部分77從背景圖像存儲器73讀出考慮幀的 一個背景圖像，從對象存儲器75讀出一個對象，相應(yīng)于附加信息將考慮幀的
背景圖像與從對象存儲器75中讀出的對象相組合，并將該組合圖像寫入到顯 示存儲器78。如上述的那樣，由于作為拖動操作結(jié)果的高空間分辨的對象被
存儲在對象存儲器75中，圖像輸出部分23 (參見圖5)用圖15 (C)所示的 常規(guī)時間分辨率顯示在考慮幀的相關(guān)位置上粘貼作為拖動操作結(jié)果的具有高 空間分辨率的 一個對象的圖像。
此后，圖像輸出部分23 (參見圖5)用常規(guī)時間分辨率顯示相應(yīng)于附加 信息移動的高空間分辨率的一個對象的圖像。
因而，當(dāng)用戶執(zhí)行在他或她要仔細(xì)觀看的對象的位置上的拖動操作時， 他或她可以觀看具有高空間分辨率的對象。換句話說，用戶可以詳細(xì)觀看一 個對象。
當(dāng)用戶執(zhí)行拖動操作時，優(yōu)先權(quán)范圍內(nèi)的高空間分辨率的背景圖像被存 儲在背景圖像存儲器73。因而，即使用戶停止拖動操作，也顯示背景圖像存 儲器73內(nèi)存儲的高空間分辨率的背景圖像。因而，當(dāng)用戶執(zhí)行拖動操作時， 由于圍繞拖動位置的優(yōu)先權(quán)范圍內(nèi)的背景圖像被改善，因此無論用戶何時執(zhí) 行在圖像輸出部分23 (參見圖5)的顯示屏幕的每個位置上的拖動操作，高 空間分辨率的背景圖像按一個鑲嵌模式逐漸展寬。最后，圖像輸出部分23顯
示整個高空間分辨率的背景圖像。
此外，根據(jù)該實施例，如上所述，由于一個背景圖像被存儲在背景圖像 存儲器73中，因此發(fā)送設(shè)備1不需要發(fā)送一個已經(jīng)發(fā)送的具有低空間分辨率 的一個背景圖像。因而，背景圖像的傳送帶寬(傳送速率)可以分配給高空 間分辨率的 一個對象和一個背景圖像。
在上述情況下，作為拖動操作結(jié)果的高空間分辨率的對象被存儲到對象 存儲器75。停止拖動操作后，該高空間分辨率的對象被粘貼到背景圖像上。 因而，由接收設(shè)備2所顯示的一個對象的空間分辨率變得高了。然而，發(fā)送 設(shè)備1所拍攝的對象的狀態(tài)不對接收設(shè)備2所顯示的對象發(fā)生影響。
為了解決這一問題，在停止拖動操作后，存儲在對象存儲器75中的高空 間分辨率的一個對象可以用解碼部分53 (參見圖12)的存儲部分62F中存儲 的一個對象替代，而忽略對象標(biāo)志。換句話說，發(fā)送設(shè)備1發(fā)送的對象被連 續(xù)存儲到解碼部分53 (參見圖12)的存儲部分62F上。因而，當(dāng)對象被寫入 到對象存儲器75時，圖像輸出部分23上顯示的一個圖像的對象受發(fā)送設(shè)備 l拍攝的對象的狀態(tài)影響(然而，該對象的空間分辨率降低)。
包括發(fā)送設(shè)備1的發(fā)送處理部分16的圖7所示的MUX32在控制部分 35的控制下將高分辨率信息的有/無、對應(yīng)于該高分辨率信息的優(yōu)先權(quán)范圍內(nèi) 的一個幀速率(時間分辨率)和一個空間分辨率、以及非優(yōu)先權(quán)范圍內(nèi)的一 個幀速率和一個空間分辨率放置到多路復(fù)用數(shù)據(jù)的一個首部或類似物上。接 收設(shè)備2相應(yīng)于該首部(header)內(nèi)放置的信息(在下文中將該信息稱作首部 信息)認(rèn)同高分辨率信息的有/無、優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率、以 及非優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率。
在發(fā)送設(shè)備1中，首部信息可以包含例如接收設(shè)備2發(fā)送的控制信息中 所含有的考慮點的(坐標(biāo))。在該情況下，圖13所示的組合部分77可以相應(yīng) 于發(fā)送設(shè)備1所發(fā)送的首部信息認(rèn)同一個考慮點位置上的一個對象。換句話 說，在上述情況中，組合部分77相應(yīng)于控制信息輸入部分24 (參見圖5)供 給的控制信息認(rèn)同控制信息中含有的考慮點位置上的 一 個對象，從對象存儲 器75中讀出對象，并把該對象供應(yīng)給子窗口存儲器79。然而，當(dāng)首部信息 含有一個考慮點時，組合部分77相應(yīng)于該首部信息認(rèn)同該考慮點一個位置上 的一個對象。在此情況下，在圖5中，控制信息輸入部分24不需要把該控制 信息供應(yīng)給接收設(shè)備2。
下面，結(jié)合圖16說明發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送的一個 圖像的空間分辨率與時間分辨率之間的關(guān)系。
假定傳送路徑3的傳送速率為R (bps)以及發(fā)送了由一個背景圖像和三 個對象#1至#3組成的一個圖像。為筒便起見，在該實施例中不考慮附加信 息。此外，假定為了顯示具有特定空間分辨率的背景圖像和對象#1至弁3， 它們的每個需要相同的數(shù)據(jù)量。
在此情況下，當(dāng)用戶不執(zhí)行拖動操作時，在發(fā)送設(shè)備l中，如圖16(A) 所示，按傳送速率R除以4的R/4[bps]發(fā)送背景圖像和對象弁l至弁3。當(dāng)常 規(guī)時間分辨率為1/T幀/秒時，發(fā)送設(shè)備l在至多T秒的時間內(nèi)可以發(fā)送背景 圖像和對象#1至#3的每個的一幀數(shù)據(jù)。因而，在此情況下，接收設(shè)備2顯 示用每幀TxR/4比特的數(shù)據(jù)獲得的一個空間分辨率的背景圖像和對象#1至 #3。
當(dāng)用戶執(zhí)行在例如對象#1的位置上的拖動操作時，如圖16 (A)所示， 發(fā)送設(shè)備1停止發(fā)送背景圖像和對象#2和#3,并以傳送路徑3的整個傳送 速率R僅發(fā)送對象弁1。此后，在從時間tl經(jīng)過時段4T的時間t2上，當(dāng)用
戶停止拖動操作時，發(fā)送設(shè)備1按每個傳送速率R74來發(fā)送背景圖像和對象 #1至#3。
因而，在用戶執(zhí)行拖動操作的時候，發(fā)送設(shè)備1為對象#1發(fā)送4TxR 比特的數(shù)據(jù)。因此，假定用戶執(zhí)行拖動操作時，時間分辨率為0幀/秒，則接 收設(shè)備2顯示用每幀4TxR比特的數(shù)據(jù)獲得的一個空間分辨率的對象弁1。換 句話說，為相同量改善水平空間分辨率和垂直空間分辨率時，盡管時間分辨 率變?yōu)?幀/秒，但接收設(shè)備2顯示是用戶不執(zhí)行拖動操作的情況的四倍(= (4TxR/ ( TxR/4比特)))的水平方向和垂直方向的每個中的一個空間分辨率 的對象#1。
換句話說，該空間分辨率的對象可以以犧牲時間分辨率為代價得到改善。 此外，與犧牲時間分辨率的情況相比較，用戶考慮的部分的空間分辨率可以 快速改善。
在上述情況下，當(dāng)用戶為對象#1執(zhí)行拖動操作時，不發(fā)送背景圖像和 其它對象# 1和#3的所有數(shù)據(jù)。然而，如圖16(B)所示，可以把較高傳送 速率分配給對象#1的數(shù)據(jù)，而較低傳送速率可以分配給背景圖像和其它對 象#2和#3的凄t才居。
另一方面，即使執(zhí)行了拖動操作，分配給背景圖像和對象#1至#3的每 個的傳送速率也不會從R/4變化。換句話說，在此情況下，由于以時間分辨 率為代價改善空間分辨率，(例如)盡管花費長時間顯示數(shù)據(jù)，因此可以改善 空間分辨率，而不需要改變傳送速率。
根據(jù)該實施例，如上所述，作為拖動操作結(jié)果的具有高空間分辨率的一 個對象被存儲在對象存儲器75中。在拖動操作停止后，高空間分辨率的對象 被粘貼到一個背景圖像上。然而，粘貼高空間分辨率的對象的背景圖像的位 置取決于發(fā)送設(shè)備1發(fā)送的對象附加信息中含有的一個對象移動矢量。
因而，接收設(shè)備2將應(yīng)當(dāng)相應(yīng)于什么樣的一個相鄰幀的對象來認(rèn)同什么 樣的一個特定幀的對象。因此，當(dāng)發(fā)送設(shè)備1的對象提取部分14(參見圖3) 提取一個對象時，對象提取部分14將允許接收設(shè)備2將執(zhí)行這樣一個認(rèn)同操 作的信息加到附加信息上。
圖17示出了圖3所示的對象提取部分14的結(jié)構(gòu)實例。
圖像輸入設(shè)備11輸出的一個圖像和背景圖像提取部分13輸出的一個背 景圖像被供應(yīng)給一個減法部分81。減法部分81從圖像輸入部分輸出的圖像
中減去背景圖^象提取部分13輸出的背景圖像，和獲得作為一個對象的一個前 景圖像。減法部分81獲得的前景圖像被供應(yīng)給幀存^f渚器82和初始區(qū)域劃分
部分83。
幀存儲器82暫時存儲減法部分81所供給的前景圖像。初始區(qū)域劃分部 分83使用減法部分81供給的處理的當(dāng)前幀(該幀被稱作考慮幀)的前景圖 像和幀存儲器82中存儲的前一幀的前景圖像(該前景圖像被稱作在前幀的前 景圖像)執(zhí)行初始區(qū)域劃分處理。
換句話說，初始區(qū)域劃分部分83相應(yīng)于象素值按類別歸類組成考慮幀的 前景圖像的每個象素。實際上，當(dāng)一個象素值由RGB (紅、綠、藍(lán))表示時， 初始區(qū)域劃分部分83根據(jù)由R、 G、 B值的要素組成的一個矢量(該矢量可 稱之為顏色矢量)與該RGB空間中的多個小區(qū)域之間的關(guān)系按類別歸類每個 象素。此外，初始區(qū)域劃分部分83以相同的方式按類別歸類包括幀存儲器 82中存儲的前一幀的前景圖像的每個象素。
當(dāng)考慮幀是例如第n幀時，初始區(qū)域劃分部分83把第n幀的前景圖像和 前一幀的第(n-l)幀的前景圖像劃分成時間上和空間上相鄰的并按相同類別 歸類的多個象素組成的區(qū)域。
換句話說，例如，假定組成第n幀的前景圖像的每個象素和組成第(n-l ) 幀的前景圖像的每個象素如圖18 (A)所示按類別歸類。在圖18中(還在圖 19和圖20中)， 一個矩形中包含的一個字符C和一個數(shù)字的一個組代表一個 象素的類別。
在圖18 (A)所示的情況中，當(dāng)?shù)趎幀的前景圖像和第(n-l)幀的前景 圖像被劃分成由按相同類別歸類的多個象素組成的多個區(qū)域時，形成圖18 (B)所示的虛線所代表的初始區(qū)域。
初始區(qū)域劃分部分83所獲得的初始區(qū)域被供應(yīng)給圖17所示的區(qū)域拼接 部分84。
區(qū)域拼接部分84執(zhí)行區(qū)域邊界處理，對初始區(qū)域劃分部分83所供給的 初始區(qū)域進(jìn)行邊界處理。
換句話說，區(qū)域拼接部分84從對象信息存儲器88中讀出第(n-l )幀中 包含的一個對象的對象信息，并認(rèn)同第(n-l )幀中包含的對象的位置和范圍。 此外，區(qū)域拼接部分84認(rèn)同組成第(n-l)幀中所含有的對象的象素，并拼 接含有象素的初始區(qū)域。
實際上，例如，假定在圖19 (A)所示的實線表示的一個范圍(一個方
框)內(nèi)包含一個特定的對象Obj ,該對象Obj由被歸類為類別c2、 c3、 c4和 c5的諸多象素組成。包含這些象素的初始區(qū)域被拼接。因而，在該實例中， 由類別c2、 c3、 c4和c5的象素組成的初始區(qū)域(在下文中，類別c弁i的象素 組成的初始區(qū)域被稱之為初始區(qū)域c#i)被拼接為圖19 (B )所示的陰影區(qū)域。
此外，區(qū)域拼接部分84計算拼接的初始區(qū)域(以下可以稱之為拼接區(qū)域) 與鄰近該拼接區(qū)域的初始區(qū)域之間的距離。在該實例中， 一個拼接區(qū)域與一 個鄰近的初始區(qū)域(以下可以稱之為鄰近初始區(qū)域)之間的距離可以是包括 兩個區(qū)域(拼接區(qū)域和鄰近初始區(qū)域)的象素的象素值(顏色)的平均值的 距離(該距離可以被稱之為RGB空間的距離)或兩個區(qū)域的邊界附近中的象 素的象素值(顏色)的連續(xù)性。
當(dāng)拼接區(qū)域與鄰近初始區(qū)域之間的距離小于(或等于) 一個預(yù)定閾值時， 區(qū)域拼接部分84拼接拼接區(qū)域和鄰近初始區(qū)域，并生成一個新的拼接區(qū)域。 區(qū)域拼接部分84計算上述的距離，并重復(fù)拼接鄰近初始區(qū)域和拼接區(qū)域直至 沒有可以被拼接成拼接區(qū)域的鄰近初始區(qū)域為止。
因而，用圖19 (B)所示的拼接區(qū)域形成(例如)圖19 (C)所示的一 個拼接區(qū)域。在圖19C中，由于初始區(qū)域c7與c8之間的距離接近，它們被 拼接為圖19 (B)所示的拼接區(qū)域。相反，由于初始區(qū)域cl與c6之間的距 離遠(yuǎn)，它們不能被4并接為一個拼接區(qū)域。
當(dāng)沒有鄰近初始區(qū)域可以被拼接成如圖19 (C)所示的拼接區(qū)域時，區(qū) 域拼接部分84提取由組成第n幀的前景圖像的象素組成的一個部分，作為與 第(n-l)幀的對象Obj相對應(yīng)的一個對象(該對象可以被稱之為對應(yīng)對象)，指 定與第n幀的對象Obj的標(biāo)志相同的標(biāo)志，并把該對象輸出給拼接區(qū)域處理 部分85和分離區(qū)域處理部分86。
換句話說，根據(jù)該實施例，各幀中一致的對象被指定相同的標(biāo)志。接收 設(shè)備2相應(yīng)于該標(biāo)志認(rèn)同與鄰近幀的某對象相當(dāng)?shù)泥徑鼛哪硨ο蟆?br> 分配給第(n-l )幀的對象Obj的標(biāo)志被包含在對象信息中，并存儲在對 象信息存儲器88中。對于對象信息存儲器88,區(qū)域拼接部分84認(rèn)同分配給 第(n-l)幀的對象Obj標(biāo)志。
此外，當(dāng)區(qū)域拼接部分84以上述方式提取與第(n-l)幀的所有對象相 對應(yīng)的第n幀的對象時，區(qū)域拼接部分84提取將第n幀的每個初始區(qū)域和其 另一個鄰近初始區(qū)域拼接為一個對象的一個區(qū)域，并把一個新標(biāo)志(而不是 指定給(n-l)幀的對象的任何標(biāo)志)分配給被提取的對象和把被提取的對象
輸出給拼接區(qū)域處理部分85和分離區(qū)域處理部分86。
拼接區(qū)域處理部分85和分離區(qū)域處理部分86分別執(zhí)行一個拼接區(qū)域處 理和一個分離區(qū)域處理。當(dāng)拼接對象時執(zhí)行拼接區(qū)域處理。當(dāng)分離拼接對象 時執(zhí)行分離區(qū)域處理。
換句話說，例如，就第(n-l)幀、第n幀和第(n+l)幀這三個連續(xù)幀 而言，如圖20所示，在第(n-l)幀中，對象A和B相互接近。在第n幀中， 對象A和B相互重疊。換句話說，在第n幀中，對象A和B可以一皮拼接為 一個對象。在此情況下，已被拼接為一個對象的對象A和B按它們的方向連 續(xù)移動。在第(n+l)幀中，拼接對象:^皮分離成兩個對象A和B。
在此情況下，在在區(qū)域拼接部分84的區(qū)域拼接處理中，第n幀的被拼接 對象相當(dāng)于地(n-l )幀中的對象A和B 二者。相反，第(n + 1 )幀中被分 離的對象A和B相當(dāng)于第N幀中的一個拼接對象。根據(jù)該實施例，假定特定 幀的一個對象相當(dāng)于前一幀的一個對象。因而，如上所述，最好不用一個對 象相關(guān)兩個對象。相反，最好不用兩個對象相關(guān)一個對象。
因而，通過用第(n-l)幀的對象A和B的一個計算相關(guān)第n幀的一個 被拼接對象，拼接處理部分85執(zhí)行一個拼接區(qū)域處理。通過用第n幀的一個 被拼接對象相關(guān)第(n+1 )幀的兩個對象A和B之一 ，分離區(qū)域處理部分86 執(zhí)行分離區(qū)域處理。
換句話說，拼接區(qū)域處理部分85把與第(n-l)幀的對象A和B之一相 同的標(biāo)志分配給第n幀的一個拼接對象。另一方面，分離區(qū)域處理部分86把 與第n幀的拼接對象相同的標(biāo)志分配給第(n+l)幀的兩個被分離對象A和B之 一，并把一個新標(biāo)志分配給第(n+l)幀的另一個被分離的對象。
作為由拼接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理的結(jié)果的對象提取結(jié) 果和作為由分離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理的結(jié)果的對象提取結(jié) 果由區(qū)域拼接部分84進(jìn)行拼接，并供應(yīng)給一個新區(qū)域處理部分87。
當(dāng)拼接區(qū)域處理部分85和分離區(qū)域處理部分86的對象提取結(jié)果含有一 個新對象時，新區(qū)域處理部分87 4丸行新對象的新區(qū)域處理。
有三種類型的對象，它們在拼接區(qū)域處理部分85和分離區(qū)域處理部分 86的對象提取結(jié)果中被分配新標(biāo)志。第一類型的對象是這樣一種對象由于
對象移動快并且該對象不在考慮幀和前一幀內(nèi)空間重疊，因此區(qū)域拼接部分 84不提取像前一幀的對應(yīng)對象那樣的考慮幀的對象。第二類型的對象是這樣
一種對象由于前一幀的對應(yīng)對象與另一對象4并接，因此分離區(qū)域處理部分 86不可能用前一幀的對應(yīng)幀相關(guān)考慮幀的對象。第三類型的對象是這樣一種 對象由于在考慮幀中出現(xiàn)一個新對象，因此分配一個新標(biāo)志給該新對象。
在這三種類型的對象中，一個新標(biāo)志應(yīng)當(dāng)被分配給第三類型的一個對象。 因而，對于第一和第二類型的對象，新區(qū)域處理部分87從前一幀中檢測一個 對應(yīng)對象，并將和考慮幀對象相同的標(biāo)志再分配給前一幀的對應(yīng)對象。
事實上，新區(qū)域處理部分87核對對象信息存儲器88,認(rèn)同考慮幀的幾 個過去幀的對象，和獲得被認(rèn)同對象的每個與考慮幀的考慮對象之間的距離， 該考慮對象被分配一個新標(biāo)志。像對象之間的距離那樣，也可以使用對象的 特征量之間的距離。對象特征量的實例是對象的一個區(qū)域、 一個由對象的每 個象素組成的輪廓線的切線方向的條形圖(例如，沿上、下、左、右、左上、 左下、右上和右上八個方向的每個方向的條形圖)、和對象的一個移動矢量。
新區(qū)域處理部分87獲得被認(rèn)同對象與考慮對象之間的距離的最小值。當(dāng) 最小值小于(或等于)預(yù)定閾值時，新區(qū)域處理部分87把具有距考慮對象最 小距離的 一個對象處理為與考慮對象相對應(yīng)的一個對象，把與獲得的對象的 標(biāo)志相同的標(biāo)志分配給考慮對象，和輸出該考慮對象。當(dāng)認(rèn)同對象與考慮對 象之間的距離的最小值不小于預(yù)定闞值(即，沒有這樣的對象，其相距考慮 對象的距離在過去幀中是短的)時，新區(qū)域處理部分87把該考慮對象處理為 考慮幀中新近出現(xiàn)的一個對象，把一個新標(biāo)志分配給該考慮幀，和輸出該考 慮幀。
新區(qū)域處理部分87的輸出被供應(yīng)給附加信息計算部分15 (參見圖3 )和 發(fā)送處理部分16 (參見圖3)。此外，新區(qū)域處理部分87的輸出被供應(yīng)給對 象信息存儲器88。對象信息存儲器88暫時存儲一個對象(該對象的位置和 尺寸(輪廓)、組成該對象的象素的象素值等)和作為對象信息分配的一個標(biāo)
志o
下面結(jié)合圖21所示的流程圖說明從一個圖像提取一個對象的對象提取 處理。對象提取處理由圖17所示的對象提取部分14執(zhí)行。
圖像輸出部分11輸出的一個圖像和背景圖像提取部分13輸出的一個背 景圖像被供應(yīng)給減法部分81。在步驟S41,減法部分81從圖像輸入部分11
輸出的圖像中減去背景圖像提取部分13輸出的背景圖像，獲得作為 一 個對象 的一個前景圖像。減法部分81獲得的前景圖像被供應(yīng)給幀存儲器82和初始
區(qū)域劃分部分83。幀存儲器82存儲從減法部分81輸出的前景圖像。
另一方面，在步驟S42,初始區(qū)域劃分部分83核對考慮幀的前一幀的一 個前景圖像，執(zhí)行根據(jù)圖18所述的初始區(qū)域劃分處理，獲得初始區(qū)域，并把 獲得的初始區(qū)域供應(yīng)給區(qū)域拼接部分84。在步驟S43,區(qū)域拼接部分84核對 對象信息存儲器88中存儲的前一幀的對象信息，按照結(jié)合圖19所述的方式 為初始區(qū)域劃分部分83輸出的初始區(qū)域執(zhí)行區(qū)域拼接處理，并提取考慮幀的 一個對象。
區(qū)域拼接部分84所提取的對象被供應(yīng)給拼接區(qū)域處理部分85和分離區(qū) 域處理部分86。在步驟S44,拼接區(qū)域處理部分85或分離區(qū)域處理部分86 按照結(jié)合圖20所述的方式執(zhí)行拼接區(qū)域處理或分離區(qū)域處理，把處理的結(jié)果 輸出給新區(qū)域處理部分87。
在步驟S45，新區(qū)域處理部分87為拼接區(qū)域處理部分85和分離區(qū)域處 理部分86的輸出執(zhí)行上述的新區(qū)域處理。因而，新區(qū)域處理部分87輸出考 慮幀的最終對象提取結(jié)果。對象的提取結(jié)果被供應(yīng)給附加信息計算部分15(參 見圖3 )和發(fā)送處理部分16 (參見圖3 )。此外，對象的提取結(jié)果被供應(yīng)給對 象信息存儲器88并存儲在其中。
此后，流程返回到步驟S20,在此步驟上，下一幀被指定為一個新考慮 頓。然后對象提取部分14重復(fù)相似的處理。
下面結(jié)合圖22所示的流程圖詳細(xì)說明在圖21的步驟S43上由區(qū)域拼接 部分84執(zhí)行的區(qū)域拼接處理。
在區(qū)域拼接處理中，首先，在步驟S51上，區(qū)域拼接部分84核對關(guān)于在 考慮幀的前一幀(在前幀)中含有的一個對象的對象信息，把在前幀的對象 處理為一個考慮對象。在步驟S51上，使用考慮對象，如圖19 (B)所示， 區(qū)域拼接部分84 4并接初始區(qū)域劃分部分83輸出的初始區(qū)域，形成一個拼接 區(qū)域。
此后，流程前進(jìn)到步驟S52。在步驟S52,區(qū)域拼接部分84搜索鄰近拼 接區(qū)域的一個初始區(qū)域(該初始區(qū)域可以稱之為鄰近初始區(qū)域)。此后，流程 前進(jìn)到步驟S53。在步驟S53,區(qū)域拼接部分84計算拼接區(qū)域與考慮的初始 區(qū)域之間的距離。此后，流程前進(jìn)到步驟S54。在步驟S54,區(qū)域拼接部分
84確定區(qū)域間的距離是否小于 一個預(yù)定的閾值。
當(dāng)步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的距離小 于預(yù)定的閾值時，流程前進(jìn)到步驟S55。在步驟S55，區(qū)域拼接部分84把考 慮的初始區(qū)域拼接到拼接區(qū)域，從而形成一個新的拼接區(qū)域。此后，流程前 進(jìn)到步驟S56。
相反，當(dāng)步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的 距離不小于預(yù)定的閾值時，流程前進(jìn)到步驟S56,跳過步驟S55。換句話說， 區(qū)域拼接部分84不把考慮的初始區(qū)域拼接到拼接區(qū)域。在步驟S56，區(qū)域拼 接部分84確定鄰近拼接區(qū)域的所有初始區(qū)域是否已經(jīng)都被搜索。當(dāng)步驟S56 上的確定結(jié)果表明鄰近拼接區(qū)域的所有初始區(qū)域還未被搜索時，流程返回到 步驟S52。在步驟S52，區(qū)域拼接部分84搜索未被搜索到的鄰近初始區(qū)域。 此后，區(qū)域祠-接部分84重復(fù)相似的處理。
當(dāng)步驟S56上的確定結(jié)果表明鄰近拼接區(qū)域的所有初始區(qū)域已經(jīng)被搜索 時，流程前進(jìn)到步驟S57。在步驟S57，區(qū)域拼接部分84確定在前幀中含有 的所有對象的每個是否已經(jīng)被指定為考慮對象。當(dāng)步驟S57上的確定結(jié)果表 明在前幀中含有的所有對象的每個都未被指定為考慮對象時，流程返回到步 驟S51。在步驟S51，區(qū)域拼接部分84把在前幀中含有的一個對象指定為考 慮對象，然后為新近考慮的對象重復(fù)相似的處理。
相反，當(dāng)步驟S57上的確定結(jié)果表明在前幀中含有的所有對象的每個已 經(jīng)被指定為考慮對象時，流程返回到被調(diào)用進(jìn)程。
下面，結(jié)合圖23所示的流程圖詳細(xì)說明在圖21所示的步驟S44上由拼 接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理。
首先，在步驟S61上，拼接區(qū)域處理部分85把處理的一個幀指定為一個 考慮幀，核對對象信息存儲器88,在在前幀的對象在空間上與考慮幀的考慮 對象重疊的條件下認(rèn)同前一幀(在前幀)中含有的對象數(shù)目(即，考慮幀的 在前幀的對象數(shù)目)，并把對象的數(shù)目調(diào)整到一個變量N。
此后流程前進(jìn)到步驟S62。在步驟S62,拼接區(qū)域處理部分85確定變量 N是否為2或是否大于2。當(dāng)變量N小于2(即，在前幀中不含有空間上與考 慮對象重疊的對象或?qū)ο蟮臄?shù)目為1)時，流程前進(jìn)到步驟S65,跳過步驟 S63和S64。
相反，當(dāng)步驟S62上的確定結(jié)果表明變量N等于2或大于2 (即，在前
幀中含有空間上與考慮對象重疊的兩個或多個對象)時，流程前進(jìn)到步驟S63 。
在步驟S63,拼接區(qū)域處理部分85計算考慮對象與在空間上和考慮對象重疊 的在前幀的兩個或多個對象的每個之間的距離。此后流程前進(jìn)到步驟S64。
在步驟S64,拼接區(qū)域處理部分85從步驟S63上獲得的對象中選擇具有 到考慮幀最小距離的一個對象，并把和所選擇對象的標(biāo)志相同的標(biāo)志分配給 考慮對象。
此后，流程前進(jìn)到標(biāo)志S65。在步驟S65,拼接區(qū)域處理部分85確定考 慮幀中含有的所有對象的每個是否已經(jīng)被指定為考慮對象。當(dāng)步驟S65上的 確定結(jié)果表明考慮幀中含有的所有對象的每個還未被指定為考慮對象時，拼 接區(qū)域處理部分85把這些對象中的一個指定為考慮幀。此后，流程返回到步 驟S61。在步驟S61,拼接區(qū)域處理部分85重復(fù)相似的處理。
另一方面，當(dāng)步驟S65上的確定結(jié)果表明考慮幀中含有的所有對象的每 個已經(jīng)被指定為考慮對象時，流程返回到被調(diào)用進(jìn)程。
下面，結(jié)合圖24所示的流程圖詳細(xì)說明圖21所示的在步驟S44上由分 離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理。
分離區(qū)域處理部分86核對對象信息存儲器88并把考慮幀的前一幀(在 前幀)中含有的對象之一指定為一個考慮對象。此外，在步驟S71,分離區(qū) 域處理部分86認(rèn)同與對應(yīng)于考慮對象的考慮幀的對象數(shù)目(認(rèn)同的對象被稱 之為對應(yīng)對象)，并把對象的數(shù)目調(diào)整到變量N。
此后，流程前進(jìn)到步驟S72。在步驟S72,分離區(qū)域處理部分86確定變 量N是否等于2或大于2。
當(dāng)步驟S72上的確定結(jié)果表明變量N不大于2 (即，考慮幀中不含有在 空間上與考慮對象重疊的對象或?qū)ο蟮臄?shù)目為1)時，流程前進(jìn)到步驟S76, 跳過步驟S73至S75。
相反，當(dāng)步驟S72上的確定結(jié)果表明變量N等于2或大于2 (即，考慮 幀中含有空間上與考慮對象重疊的兩個或多個對象(對應(yīng)于考慮對象的對 象))時，流程前進(jìn)到步驟S73。在步驟S73,分離區(qū)域處理部分86計算這些 對象的每個與考慮對象之間的距離。此后，流程前進(jìn)到步驟S74。
在步驟S74,分離區(qū)域處理部分86從這些對象中選擇相距考慮對象具有 最小距離的一個對象，和把與被選擇對象的標(biāo)志相同的標(biāo)志分配給考慮對象。
此后，流程前進(jìn)到步驟S75。在步驟S75,分離區(qū)域處理部分86把一個
新標(biāo)志分配給在步驟S74上未被選擇的對象之一 (即，除相距考慮對象最短
距離的對象以外的對象)。此后，流程前進(jìn)到步驟S76。
在步驟S76,分離區(qū)域處理部分86確定在前幀中含有的所有對象的每一 個是否已經(jīng)被指定為考慮對象。當(dāng)步驟S76上的確定結(jié)果表明在前一幀中含 有的所有對象的每一個還未被指定為考慮對象時，分離區(qū)域處理部分86指定 這些對象之一為考慮對象。此后，流程返回到步驟S71。在步驟S71,分離區(qū) 域處理部分86重復(fù)相似的處理。
當(dāng)步驟S76上的確定結(jié)果表明在前幀中含有的所有對象的每一個已經(jīng)被 指定為考慮對象時，流程返回到被調(diào)用進(jìn)程。
在上述情況下，當(dāng)用戶用控制信息輸入部分24指定一個考慮點時，發(fā)送 設(shè)備1控制數(shù)據(jù)的傳送，以便以圖像的時間分辨率為代價來改善含有考慮點 的優(yōu)先權(quán)范圍內(nèi)的一個圖像的空間分辨率。另一方面，發(fā)送設(shè)備l可以學(xué)習(xí) 用戶的偏愛，相應(yīng)于學(xué)習(xí)結(jié)果來檢測用戶打算用 一個高空間分辨率觀看的一 個對象或類似物，并控制數(shù)據(jù)的傳送以便用一個高空間分辨率顯示該對象。
圖25示出了在發(fā)送設(shè)備1執(zhí)行這樣一種控制的情況下圖7所示的控制部 分35的結(jié)構(gòu)實例。
優(yōu)先權(quán)范圍指定部分91接收從接收設(shè)備2發(fā)送的一個控制信號，按上述 方式指定優(yōu)先權(quán)范圍，并把指定的優(yōu)先權(quán)范圍供應(yīng)給選擇控制部分92和特征 量提取部分93。
選擇控制部分92控制MUX32 (參見圖7)的背景圖像、對象和附加信 息的數(shù)據(jù)選擇。換句話說，當(dāng)選擇控制部分92從優(yōu)先權(quán)范圍指定部分91接 收到優(yōu)先權(quán)范圍時，選擇控制部分92控制MUX32 (參見圖7)以圖像的時 間分辨率為代價改善該優(yōu)先權(quán)范圍內(nèi)圖像的空間分辨率。此外，當(dāng)選擇控制
部分92接收到來自對象檢測部分95的一個標(biāo)志時，選擇控制部分92控制 MUX32 (參見圖7)以圖像的時間分辨率為代價改善具有該標(biāo)志的對象的空 間分辨率。
數(shù)據(jù)量計算部分34 (參見圖7 )向選擇控制部分92供應(yīng)MUX32輸出的 多路復(fù)用數(shù)據(jù)的數(shù)據(jù)速率。選擇控制部分92控制MUX32的數(shù)據(jù)選擇，使多 路復(fù)用的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。
預(yù)處理部分12 (參見圖3)輸出的背景圖像、對象和附加信息，以及優(yōu) 先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍，被供應(yīng)給特征量提取部分93。特
征量提取部分93提取從優(yōu)先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍內(nèi)的圖像 的特征量。換句話說，特征量提取部分93提取優(yōu)先權(quán)范圍內(nèi)含有的對象的特 征量，使該特征量反映用戶正在考慮的圖像的趨勢。
實際上，例如如圖26所示，特征量提取部分93提取的特定人的一個對 象的特征量表示 一個對象是一個人，對象的移動是一致的，對象的景深方 向的位置(景深)是前景，顯示的對象的位置是中央，對象正在移動(對象 是正在移動的一個位置)，對象的區(qū)域包含眼睛、鼻子和嘴巴(對象的區(qū)域由 眼睛、鼻子和嘴巴組成)，對象的圖案是條紋圖案(對象是一個條紋部分)， 對象的顏色是紅色的(對象是一個紅色部分)。
特征量提取部分93獲得一個提取對象的矢量(具有特征量的元素)(該 矢量可以被稱之為特征量矢量)，并將條形圖存儲部分94中存儲的獲得特征 量矢量的條形圖的頻率遞增1。
條形圖存儲部分94把特征量矢量的條形圖作為用戶偏愛的學(xué)習(xí)結(jié)果進(jìn) 行存儲。
對象檢測部分95從預(yù)處理部分12 (參見圖3 )供應(yīng)的那些對象中檢測一 個對象，以便從條形圖存儲部分94中獲得具有條形圖最高頻率的特征量矢 量。換句話說，對象檢測部分95按照與特征量提取部分93相同的方式獲得 一個特征矢量，用于預(yù)處理部分12 (參見圖3)供給的一個對象。此外，對 象檢測部分95核對條形圖存儲部分94中存儲的條形圖，確定預(yù)處理部分12 (參見圖3)供給的對象的特征量矢量是否被包含在具有最高頻率的特征量 矢量的特征量矢量空間的一個預(yù)定范圍內(nèi)。當(dāng)特征量矢量被包含在預(yù)定范圍 內(nèi)時，對象檢測部分95把該對象指定為用戶打算考慮的對象，并把該對象的 標(biāo)志供應(yīng)給選擇控制部分92。
下面，結(jié)合圖27所示的流程圖說明MUX32 (參見圖7)的控制處理。 該控制處理由圖25所示的控制部分35執(zhí)行。
首先，在步驟S81,優(yōu)先權(quán)范圍指定部分91確定控制信號是否已經(jīng)從接 收設(shè)備2發(fā)送。當(dāng)步驟S81上的確定結(jié)果表明控制信號已經(jīng)從接收設(shè)備2發(fā) 送時，流程前進(jìn)到步驟S82。在步驟S82上，優(yōu)先權(quán)范圍指定部分91相應(yīng)于 該控制信號按上述方式指定一個優(yōu)先權(quán)范圍，并把該優(yōu)先權(quán)范圍供應(yīng)給選擇 控制部分92和特征量提取部分93。
在步驟S83,選擇控制部分92控制MUX32 (參見圖7)以圖像的時間
分辨率為代價改善優(yōu)先權(quán)范圍指定部分91所供給的優(yōu)先權(quán)范圍內(nèi)一個圖像 的(一個對象和一個背景圖像)的空間分辨率。
在步驟S84上，特征量提取部分93提取優(yōu)先權(quán)范圍指定部分91所供給 的優(yōu)先權(quán)范圍內(nèi)的圖像的特征量，獲得具有由對象的每一特征量所組成的元 素的一個特征量矢量。在步驟S85上，特征量提取部分93將條形圖存儲部分 94中存儲的特征量矢量的條形圖的頻率遞增1。流程返回到步驟S81。
在步驟S81到步驟S85的循環(huán)中，條形圖存儲部分94形成用戶打算考 慮的對象特征矢量的一個條形圖。換句話說，條形圖存儲部分94學(xué)習(xí)用戶的 偏愛。
此外，特征量提取部分93可以量化所獲得的特征量矢量，并遞增與特征 量矢量的量化結(jié)果相對應(yīng)的代碼的頻率。在這種情況下，條形圖存儲部分94 暫時存儲代碼的條形圖。
相反，當(dāng)步驟S81上的確定結(jié)果表明接收設(shè)備2還未發(fā)送控制信號時， 流程前進(jìn)到步驟S86。在步驟S86上，對象纟企測部分95按照與特征量提取部 分93相同方式獲得預(yù)處理部分12 (參見圖3)所提供的對象的特征量矢量。 此外，在步驟S87上，對象檢測部分95核對條形圖存儲部分94中所存儲的 條形圖，并確定在有最高頻率的特征量矢量周圍的特征量矢量空間的 一個預(yù) 定范圍內(nèi)是否包含預(yù)處理部分12 (參見圖3)所提供的對象的一個特征量矢 量。換句話說，在步驟S87，對象檢測部分95確定具有最高頻率的特征量矢 量與預(yù)處理部分12所供給的對象的特征量矢量之間的距離是否等于或小于 一個預(yù)定值。
如上所述，當(dāng)條形圖存儲部分94存儲作為矢量量化結(jié)果的代碼條形圖 時，對象檢測部分95量化所獲得的特征量矢量。在步驟S87,對象檢測部分 95確定作為矢量量化結(jié)果的代碼是否與條形圖存儲部分94中存儲的條形圖 的最高頻率的代碼相匹配。
當(dāng)步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預(yù)處理部分 12所供給的對象的特征量矢量之間的距離不小于預(yù)定值(即，由于用戶的癖 好，預(yù)處理部分12供給的對象是用戶不打算考慮的對象)時，流程前進(jìn)到步 驟S88。在步驟S88上，選擇控制部分92控制MUX32 (參見圖7),使接收 設(shè)備2用常規(guī)空間分辨率和常規(guī)時間分辨率顯示一個圖像。此后，流程返回 到步驟S81。 相反，當(dāng)步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預(yù)處 理部分12所供給的對象的特征量矢量之間的距離等于或小于預(yù)定值(即，由 于用戶的癖好，預(yù)處理部分12供給的對象是用戶打算考慮的對象)時，對象
檢測部分95把預(yù)處理部分12供給的對象的標(biāo)志輸出到選擇控制部分92。此 后，流程前進(jìn)到步驟S89。
在步驟S89上，選擇控制部分92控制MUX32 (參見圖7)以時間分辨 率為代價改善具有從對象檢測部分95供給的標(biāo)志的對象的空間分辨率。此 后，流程返回到步驟S81。 '
因而，在這種情況下，接收設(shè)備2顯示具有從對象檢測部分95輸出的標(biāo) 志的一個對象，以便以時間分辨率為代價提高其空間分辨率。此后，接收設(shè) 備2連續(xù)顯示具有高空間分辨率的對象。
結(jié)果，接收設(shè)備2自動地顯示用戶傾向考慮的對象，從而不需要用戶控 制(干預(yù))控制信息輸入裝置24就可以提高對象的空間分辨率。此后，接收 設(shè)備2連續(xù)顯示高空間分辨率的對象(然而，在此情況下，正如上所述那樣， 圖像的時間分辨率惡化)。
在條形圖存儲部分94中作為用戶偏愛的學(xué)習(xí)結(jié)果存儲的特征量矢量的 條形圖可以周期性地、非周期性地或相應(yīng)于接收設(shè)備2的用戶請求來重新設(shè) 置。
在上述情況下，其特征量矢量等于(匹配)或小于條形圖最高頻率的特 征量矢量的對象的空間分辨率得到改善。另一方面，具有這樣一種特征量矢 量的所有對象的空間分辨率也得到改善它的特征量矢量等于(匹配)或小 于其條形圖中的頻率超過一個預(yù)定值的特征量矢量。
優(yōu)先權(quán)范圍是考慮點位于重心的一個預(yù)定范圍(在上述情況下，優(yōu)先權(quán) 范圍是一個矩形范圍)。然而，也可以被說成包含考慮點的一個矩形范圍中 的一個圖像區(qū)域是用戶有興趣觀看的一個圖像區(qū)域(以下，把該區(qū)域稱之為 興趣對象區(qū)域)。
另一方面，接收設(shè)備2顯示的移動圖像具有一個移動圖像區(qū)域(以下， 該區(qū)域可以稱之為移動區(qū)域)和一個靜止圖像區(qū)域(以下，該區(qū)域可以稱之 為靜止區(qū)域)。
為了改善興趣對象區(qū)域的空間分辨率，必須在圖像的移動區(qū)域或靜止區(qū) 域中認(rèn)同(指定)用戶正在考慮的興趣對象區(qū)域。當(dāng)用戶正在考慮的興趣對
象區(qū)域可以被指定時，就可以獲得用戶未考慮的圖像區(qū)域(例如，背景圖像 區(qū)域)。
即使用戶考慮的 一個興趣對象區(qū)域可以在一個特定時間被指定，此后也 可以被改變。因而，當(dāng)用戶考慮的一個圖像區(qū)域被改變到另一個圖像區(qū)域時， 必須把新圖像區(qū)域認(rèn)同為興趣對象區(qū)域。
此外，可以存在多個用戶考慮的興趣對象區(qū)域。在這種情況下，必須分 離地認(rèn)同這些興趣對象區(qū)域。
于是圖28示出了在便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接收
設(shè)備2的情況下圖1所示的圖像發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實例。在圖28中，與 圖2相似的部分有相同的參考標(biāo)號表示，并省略對它們的說明。換句話說， 圖2 8所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)基本上與圖2所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)相 同。
在圖2所示的實施例中，控制諸如用戶正在考慮的考慮點的坐標(biāo)的空間 分辨率和時間分辨率所需的所有信息、空間分辨率、時間分辨率和傳送速率
作為控制信息從接收設(shè)備2發(fā)送到發(fā)送設(shè)備1。相反，根據(jù)圖28所示的實施 例，正如下面將要說明的那樣，用戶用接收設(shè)備2的按鍵部分2-3操作(點 擊)的顯示部分2-2上所顯示的圖像的考慮點的信息作為控制信息被發(fā)送(在 下文中，可以把考慮點上的信息稱之為點擊數(shù)據(jù))。
當(dāng)發(fā)送設(shè)備1收到來自接收設(shè)備2的點擊數(shù)據(jù)時，發(fā)送設(shè)備1相應(yīng)于點 擊數(shù)據(jù)指定從接收設(shè)備2所顯示的圖像(該圖像由發(fā)送設(shè)備1的攝像機(jī)部分 1-1拍攝)中用戶正在考慮的一個圖像區(qū)域(興趣對象區(qū)域)，并控制發(fā)送給 接收設(shè)備2的圖像數(shù)據(jù)的信息量，以便當(dāng)滿足一個預(yù)定條件時改變指定圖像 區(qū)域的空間分辨率和時間分辨率。
下面圖29示出了圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實例。在圖29中，與圖 3相似的部分由相同的參考標(biāo)號表示，并省略對它們的說明。在圖29所示的 發(fā)送設(shè)備1中，背景圖像提取部分1013、對象提取部分1014和發(fā)送處理部 分1016被設(shè)置，以分別替代背景圖像提取部分13、對象提取部分14和發(fā)送 處理部分16。此外，接收設(shè)備2發(fā)送的點擊數(shù)據(jù)不僅供應(yīng)給與發(fā)送處理部分 16相對應(yīng)的發(fā)送處理部分1016,還供應(yīng)給預(yù)處理部分12。除這些方面(要 點)外，圖29所示的發(fā)送設(shè)備1的結(jié)構(gòu)大體上與圖3所示的發(fā)送設(shè)備1的結(jié) 構(gòu)相同。然而，在圖29所示的發(fā)送設(shè)備1中，背景圖像提取部分1013的輸
出不供應(yīng)給對象提取部分1014。相反，在圖3所示的發(fā)送設(shè)備1中，背景圖
像提取部分13的輸出被供應(yīng)給對象提取部分14。此外，在圖29所示的發(fā)送 設(shè)備1中，對象提取部分1014的輸出被供應(yīng)給背景圖像提取部分1013。相 反，在圖3所示的發(fā)送設(shè)備1中，對象提取部分14的輸出不供應(yīng)給背景圖像 提取部分13。
點擊數(shù)據(jù)被供應(yīng)給預(yù)處理部分12。在與處理部分12中，點擊數(shù)據(jù)被供 應(yīng)給對象提取部分1014。對象提取部分1014提取(指定)接收設(shè)備2的用 戶從圖像輸入部分11所拍攝的圖像中考慮的一個圖像區(qū)域(興趣對象區(qū)域)， 并把與提取的(指定的)興趣對象區(qū)域相對應(yīng)的圖像數(shù)據(jù)供應(yīng)給發(fā)送處理部 分1016。當(dāng)存在接收設(shè)備2的用戶對圖像輸入部分11所拍攝的圖像進(jìn)行考 慮的多個興趣對象區(qū)域時，對象提取部分1014把多個興趣對象區(qū)域的圖像數(shù) 據(jù)供應(yīng)給發(fā)送處理部分1016。此外，對象提取部分1014所提取的興趣對象 區(qū)域的圖像數(shù)據(jù)還被供應(yīng)給附加信息計算部分15 。
作為 一個實例，用戶進(jìn)行考慮的興趣對象區(qū)域是諸如一個實物的對象。 下面，說明對象提取部分1014提取作為興趣對象區(qū)域的一個實例的一個對象 (以下稱之為對象圖像)的情況。應(yīng)當(dāng)注意的是興趣對象區(qū)域不局限于一個 對象。相反， 一個興趣對象區(qū)域可以是一個圖像區(qū)域，而不是一個對象、一 個對象中的一個圖像區(qū)域、或背景圖像部分(下面將進(jìn)行說明)。然而，根據(jù) 該實施例，將作為一個實例說明一個興趣對象區(qū)域是一個對象的情況。下面 將說明對象提取部分1014所執(zhí)行的對象提取處理(興趣對象區(qū)域指定處理)。
背景圖像提取部分1013相應(yīng)于對象提取部分1014的對象提取結(jié)果從圖 像輸入部分11供給的圖像數(shù)據(jù)中提取與該圖像一個背景圖像的部分(即，除 興趣對象區(qū)域外的一個圖像區(qū)域；以下把背景圖像部分稱之為背景圖像)相 對應(yīng)的一個信號(以下稱之為背景圖像數(shù)據(jù))，并把提取的背景圖像數(shù)據(jù)供應(yīng) 給發(fā)送處理部分1016和附加信息計算部分15。在該實例中，其活動性低(即， 沒有像圖像那樣的價值)的一個平面圖像區(qū)域被處理為一個背景圖像。當(dāng)然， 像沒有價值的圖像那樣，背景圖像可以是用戶不感興趣對象。在該實例中， 為了簡便起見，上述平面圖像區(qū)域?qū)⒈徽f成背景圖像。
附加信息計算部分15相應(yīng)于背景圖像提取部分1013供給的背景圖像數(shù) 據(jù)檢測代表背景圖像移動的背景圖像移動矢量(該背景圖像的移動相當(dāng)于沿 著圖像輸入部分ll的拍攝方向移動)。此外，附加信息計算部分15相應(yīng)于對
象提取部分1014供給的對象圖像的圖像數(shù)據(jù)(在下文中，把該圖像數(shù)據(jù)稱之 為對象圖像數(shù)據(jù))檢測代表對象移動的一個對象移動矢量。附加信息計算部
分15把作為附加信息一部分的被檢測的移動矢量供應(yīng)給發(fā)送處理部分1016。 此外，附加信息計算部分15相應(yīng)于作為附加信息的從對象提取部分1014供 給的對象圖像數(shù)據(jù)，向發(fā)送處理部分1016供應(yīng)關(guān)于對象的信息，比如由圖像 輸入部分11拍攝的圖像(幀)的對象位置和輪廓。換句話說，當(dāng)對象提取部 分1014從圖像數(shù)據(jù)中提取一個對象圖像時，對象提取部分1014還提取有關(guān) 該對象的信息，比如對象的位置和輪廓，并把該信息供應(yīng)給附加信息計算部 分15。附加信息計算部分15把有關(guān)該對象的信息輸出為附加信息。
發(fā)送處理部分1016相應(yīng)于接收設(shè)備2供給的點擊數(shù)據(jù)對對象提取部分 1014供應(yīng)的對象圖像數(shù)據(jù)、背景圖像提取部分1013供應(yīng)的背景圖像數(shù)據(jù)、 和附加信息計算部分15供應(yīng)的附加信息進(jìn)行編碼，以便當(dāng)接收設(shè)備2顯示的 圖像的對象圖像的空間分辨率被改善時，滿足傳送路徑3的數(shù)據(jù)速率的條件。 此后，發(fā)送處理部分1016多路復(fù)用該被編碼的對象圖像數(shù)據(jù)、編碼的背景圖 像數(shù)據(jù)、和編碼的附加信息，并且經(jīng)傳送路徑3向接收設(shè)備2發(fā)送多路復(fù)用 數(shù)據(jù)、幀速率信息等。
下面結(jié)合圖30所示的流程圖說明圖29所示的發(fā)送設(shè)備1所執(zhí)行的處理。 在步驟S91,發(fā)送設(shè)備1把圖像輸入部分11獲得的圖像數(shù)據(jù)輸入給預(yù)處 理部分12。
此后，在步驟S92,發(fā)送設(shè)備1接收從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)，并 把該點擊數(shù)據(jù)輸入給預(yù)處理部分12。
在步驟S93,已經(jīng)接收到圖像數(shù)據(jù)和點擊數(shù)據(jù)的預(yù)處理部分12執(zhí)行用于 提取背景圖像、對象和附加信息的預(yù)處理，并把在預(yù)處理中獲得的背景圖像 數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信息供應(yīng)給發(fā)送處理部分1016。
在步驟S94上，發(fā)送處理部分1016計算對象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)和 附加信息的數(shù)據(jù)量，以便滿足傳送路徑3的數(shù)據(jù)速率的條件。此后，發(fā)送處 理部分1016相應(yīng)于該數(shù)據(jù)量對對象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)、和附加信息進(jìn) 行編碼，隨后多路復(fù)用它們。此后，發(fā)送處理部分1016經(jīng)傳送路徑3將多路 復(fù)用的數(shù)據(jù)和幀速率信息發(fā)送給接收設(shè)備2。
此后，流程返回到步驟S1。在步驟S1上，發(fā)送設(shè)備1重復(fù)相似的處理。
圖31示出了圖28所示的接收設(shè)備2的結(jié)構(gòu)實例。在圖31中，與圖5
中相似的部分用相似的參考標(biāo)號表示，并省略對它們的說明。換句話說，在
圖31所示的接收設(shè)備2中，設(shè)置一個組合處理部分1022,來代替組合處理 部分22。此外，設(shè)置了點擊數(shù)據(jù)輸入部分1024和點擊數(shù)據(jù)發(fā)送部分1025， 來分別代替設(shè)置了控制信息輸入部分24和控制信息發(fā)送部分25。除這些方 面夕卜，圖28所示的接收設(shè)備2的結(jié)構(gòu)基本上和圖5所示的接收設(shè)備2的結(jié)構(gòu) 相同。
發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多路復(fù)用數(shù)據(jù)被接收處理部分21接收。 接收處理部分21把接收的多路復(fù)用數(shù)據(jù)分離成編碼背景圖像數(shù)據(jù)、編碼對象 圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對分離的數(shù)據(jù)進(jìn)行解碼。此后，接收處 理部分21把解碼的背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信息供應(yīng)給組合處理 部分1022。
組合處理部分1022組和解碼的背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信 息，并把該組合的圖像信號供應(yīng)給圖像輸出部分23。此外，組合處理部分1022 相應(yīng)于點擊數(shù)據(jù)輸入部分1024供應(yīng)的點擊數(shù)據(jù)控制組合的圖像的空間分辨 率和時間分辨率。
點擊數(shù)據(jù)輸入部分1024相應(yīng)于用戶進(jìn)行的按鍵部分2-3的操作生成代表 點擊位置(坐標(biāo)位置)和點擊時間的點擊數(shù)據(jù)。按鍵部分2-3作為一個指點 裝置，用于指定在相當(dāng)于接收設(shè)備2 (參見圖28)的顯示部分2-2的圖像輸 出部分23上顯示的圖像的坐標(biāo)位置。換句話說，當(dāng)用戶為圖像輸出部分23 上顯示的圖像的預(yù)期圖像位置(興趣對象區(qū)域)點擊按鍵部分2-3時，點擊 數(shù)據(jù)輸入部分1024生成點擊數(shù)據(jù)，它代表點擊位置的坐標(biāo)信息和點擊時間。 點擊數(shù)據(jù)輸入部分1024生成的點擊數(shù)據(jù)被發(fā)送給組合處理部分1022和點擊 數(shù)據(jù)發(fā)送部分1025。
當(dāng)點擊數(shù)據(jù)發(fā)送部分1025接收到來自點擊數(shù)據(jù)輸入部分1024的點擊數(shù) 據(jù)時，點擊數(shù)據(jù)發(fā)送部分1025經(jīng)傳送路徑3把該點擊數(shù)據(jù)發(fā)送給發(fā)送設(shè)備1。
下面結(jié)合圖32所示的流程圖簡要說明由圖31所示的接收設(shè)備2執(zhí)行的 處理。
首先，在步驟SIOI，接收設(shè)備2接收發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多 路復(fù)用數(shù)據(jù)。
在步驟S102，接收處理部分21將多路復(fù)用數(shù)據(jù)分離成編碼背景圖像數(shù) 據(jù)、編碼對象圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對分離的編碼數(shù)據(jù)進(jìn)行解
碼。該解碼的背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信息被發(fā)送給組合處理部
分1022。
在步驟S103上，在接收設(shè)備2中，點擊數(shù)據(jù)輸入部分1024獲得與用戶 進(jìn)行的按鍵部分2-3的點擊操作相對應(yīng)的點擊數(shù)據(jù)，并把點擊數(shù)據(jù)供應(yīng)給組 合處理部分1022和點擊數(shù)據(jù)發(fā)送部分1025。這樣，該點擊數(shù)據(jù)就從點擊數(shù) 據(jù)發(fā)送部分1025發(fā)送到發(fā)送設(shè)備1。
在步驟S104,組合處理部分1022相應(yīng)于接收處理部分21供給的背景圖 像數(shù)據(jù)、對象圖像數(shù)據(jù)、和附加信息以及點擊數(shù)據(jù)輸入部分1024供給的點擊 數(shù)據(jù)組合一個圖像并控制該組合圖像的空間分辨率及時間分辨率。發(fā)送設(shè)備 1可以把接收設(shè)備2發(fā)送的點擊數(shù)據(jù)放置在多路復(fù)用數(shù)據(jù)的首部信息中，并 把合成的首部信息發(fā)送給接收設(shè)備2。在此情況下，接收設(shè)備2的組合處理 部分1022可以從首部信息中獲得點擊數(shù)據(jù)。因而，不需要將該點擊數(shù)據(jù)從點 擊婆t據(jù)輸入部分1024供應(yīng)纟合組合處理部分1022。
在步驟S105，在圖像輸出部分23的液晶顯示器或類似物上顯示由組合 處理部分1022組合的圖4象。
此后，流程返回到步驟SIOI。在步驟S101上，接收設(shè)備2重復(fù)相似的 處理。
圖33示出了圖29所示的發(fā)送設(shè)備1的發(fā)送處理部分1016的真實(實際) 的結(jié)構(gòu)實例。在圖33中，與圖7相似的部分用相似的參考標(biāo)號表示，并省略 對它們的說明。換句話說，除了圖33所示的發(fā)送處理部分1016把點擊數(shù)據(jù) 而不是整個控制信息供應(yīng)給控制部分35外，圖33所示的發(fā)送處理部分1016 的結(jié)構(gòu)基本上與圖7所示的發(fā)送處理部分1016的結(jié)構(gòu)相同。
在圖33中，背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)、和附加信息從圖29所示的 預(yù)處理部分12供應(yīng)給發(fā)送處理部分1016。背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)和 附加信息被輸入給編碼部分31和控制部分35。編碼部分31按上述方式對供 應(yīng)的背景圖像數(shù)據(jù)、對象圖像數(shù)據(jù)和附加信息進(jìn)行編碼，并把得到的編碼數(shù) 據(jù)供應(yīng)給MUX32。 MUX32在控制部分35的控制下選擇編碼的背景圖像數(shù)據(jù)、 編碼的對象圖像數(shù)據(jù)和編碼的附加信息數(shù)據(jù)，并把選擇的數(shù)據(jù)作為多路復(fù)用 數(shù)據(jù)供應(yīng)給發(fā)送部分33。發(fā)送部分33相應(yīng)于傳送路徑3的傳送標(biāo)準(zhǔn)把MUX32 供給的多路復(fù)用數(shù)據(jù)調(diào)制為下游部分(下行數(shù)據(jù)流)，并經(jīng)過傳送路徑3向接 收設(shè)備2發(fā)送調(diào)制的數(shù)據(jù)。
另一方面，控制部分35控制從MUX32供應(yīng)的多路復(fù)用數(shù)據(jù)的輸出，， 使數(shù)據(jù)量計算部分34供應(yīng)的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。此外， 控制部分35經(jīng)傳送路徑3接收從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)，并相應(yīng)于點擊 數(shù)據(jù)控制MUX32選擇和多路復(fù)用編碼的數(shù)據(jù)。
下面，結(jié)合圖34所示的流程圖由說明圖33所示的發(fā)送處理部分1016 執(zhí)行的發(fā)送處理。
首先，在步驟Slll,發(fā)送處理部分1016的控制部分35確定點擊數(shù)據(jù)是 否已從接收設(shè)備2發(fā)送。當(dāng)步驟Slll上的確定結(jié)果表明接收設(shè)備2未發(fā)送點 擊數(shù)據(jù)(即，控制部分35未接收到點擊數(shù)據(jù))時，流程前進(jìn)到步驟S112。 在步驟S112,和圖10所示的步驟S22的情況一樣，控制部分35控制MUX32 選擇編碼的背景圖像數(shù)據(jù)、編碼對象數(shù)據(jù)和編碼附加信息數(shù)據(jù)，并多路復(fù)用 該選擇的數(shù)據(jù)，以便接收設(shè)備2可以用常規(guī)時間分辨率顯示一個圖像。
此后，流程前進(jìn)到步驟S113。在步驟S113上，發(fā)送處理部分1016從發(fā) 送部分33經(jīng)傳送路徑3發(fā)送MUX32供應(yīng)的多路復(fù)用數(shù)據(jù)。此后，流程返回 到步驟Slll。
當(dāng)步驟Slll上的確定結(jié)果表明接收設(shè)備2已經(jīng)發(fā)送點擊數(shù)據(jù)(即，控制 部分35已經(jīng)接收到點擊數(shù)據(jù))時，流程前進(jìn)到步驟S114。在步驟S114上， 控制部分35相應(yīng)于點擊數(shù)據(jù)認(rèn)同用戶已經(jīng)用接收設(shè)備2的按鍵部分2-3指定 的一個考慮點的坐標(biāo)(點擊位置)和點擊時間。
此后，在步驟S115上，控制部分35相應(yīng)于考慮點的坐標(biāo)(點擊位置) 和點擊時間按下面將要描述的方式指定接收設(shè)備2方的用戶考慮的興趣對象 區(qū)域，把興趣對象區(qū)域指定為其空間分辨率被優(yōu)先改善的一個圖像的優(yōu)先權(quán) 范圍，并檢測優(yōu)先權(quán)范圍內(nèi)的一個圖像以及其附加信息。在這種情況下，優(yōu) 先權(quán)范圍內(nèi)的圖像是對象圖像。非優(yōu)先權(quán)范圍內(nèi)的一個圖像是例如像不感興 趣對象區(qū)域內(nèi)的一個背景圖像那樣的一個圖像。
此后，在步驟S116上，控制部分35控制MUX32選擇優(yōu)先權(quán)范圍內(nèi)的 圖像(對象圖像)、非優(yōu)先權(quán)范圍內(nèi)的一個圖像(背景圖像)以及附加信息的 編碼數(shù)據(jù)，并多路復(fù)用它們。換句話說，當(dāng)控制部分35接收到來自接收設(shè)備 2的點擊數(shù)據(jù)時，像圖10所示的步驟S26上情況那樣，控制部分35控制 MUX32，以便優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率以時間分辨率為代價得到改 善。
此外，在步驟S116上，控制部分35控制MUX32把高分辨率信息作為 優(yōu)先權(quán)范圍的位置和尺寸信息插入到被選作多路復(fù)用數(shù)據(jù)的附加信息中。此 后，流程前進(jìn)到步驟S113。
在步驟S113上，發(fā)送設(shè)備33經(jīng)傳送路徑3發(fā)送MUX32輸出的多路復(fù) 用數(shù)據(jù)。此后，流程返回到步驟Slll。
如上述的那樣，在圖34所示的發(fā)送處理中，執(zhí)行和圖IO所示的處理相 似的處理。因而，當(dāng)接收設(shè)備2的用戶為了包含考慮點上的優(yōu)先權(quán)分為內(nèi)的 圖像而連續(xù)地操作點擊數(shù)據(jù)輸入部分1024 (例如，他和她連續(xù)地指定相同的 考慮點)時，優(yōu)先發(fā)送改善空間分辨率的數(shù)據(jù)。因而，包含考慮點的優(yōu)先權(quán) 范圍內(nèi)的圖像的空間分辨率被逐漸改善。結(jié)果優(yōu)先權(quán)范圍內(nèi)的圖像被更加清 晰地顯示了。換句話說，接收設(shè)備2側(cè)的用戶進(jìn)行考慮的一個圖像(一個興 趣對象區(qū)域和一個對象圖像)被更加清楚地顯示。
如上所述，圖像數(shù)據(jù)的傳送相應(yīng)于傳送路徑3的傳送速率進(jìn)行控制，以 便優(yōu)先權(quán)范圍內(nèi)的圖像(一個興趣對象區(qū)域和一個對象圖像)的空間分辨率 和時間分辨率在分辨率的范圍內(nèi)變化。因而，在有限的傳送速率下，可以進(jìn) 一步改善與接收設(shè)備2所顯示的一個考慮點相對應(yīng)的一個對象圖像的空間分 辨率。換句話說，由于優(yōu)先權(quán)范圍內(nèi)的對象圖像的空間分辨率以圖像的時間 分辨率為代價得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設(shè) 備2上顯示的對象圖像(即，空間分辨率可以被進(jìn)一步改善)。
下面圖35示出了圖31所示的組合處理部分1022的結(jié)構(gòu)的實例。在圖 35中，和圖13所示的部分相同的部分由相同的參考標(biāo)號表示，并省略對它 們的說明。換句話說，組合處理部分1022中不設(shè)置背景圖像標(biāo)志存儲器74。 組合處理部分1022中設(shè)置的是組合部分1077而不是組合部分77。此外，供 給組合部分1077的是點擊數(shù)據(jù)而不是控制信息。除了這些方面外，圖35所 示的組合處理部分1022的結(jié)構(gòu)基本上與圖13所示的組合部分22的結(jié)構(gòu)相 同。
參見圖35，接收處理部分21 (參見圖31)輸出的背景圖像數(shù)據(jù)被輸入 給背景圖像寫入部分71。接收處理部分21輸出的對象圖像數(shù)據(jù)被輸入給對 象寫入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫入部 分71 、對象寫入部分72和組合部分1077。
背景圖像寫入部分71把供給的背景圖像數(shù)據(jù)連續(xù)地寫入背景圖像存儲
器73。然而，在圖35所示的實施例中，未設(shè)置圖13所示實施例的背景圖像 標(biāo)志存儲器74。因而，在圖35中，當(dāng)背景圖像寫入部分71把背景圖像數(shù)據(jù) 寫到背景圖像存儲器73上時，背景圖像寫入部分71不核對一個背景圖像標(biāo)志。
組合部分1077相應(yīng)于附加信息中包含的背景圖像移動矢量從背景圖像 存儲器73中存儲的背景圖^f象凄t據(jù)中讀出在當(dāng)前時間(當(dāng)前幀)顯示的幀的一 個背景圖像，相應(yīng)于附加信息中包含的一個對象移動矢量將對象存儲器75中 存儲的 一個對象圖像與該背景圖像相組合，并把當(dāng)前幀的組合圖像供應(yīng)給顯 示存儲器78。
此外，當(dāng)組合部分1077接收到來自圖31所示的點擊數(shù)據(jù)輸入部分1024 的點擊數(shù)據(jù)時，組合部分1077從對象存儲器75中讀出包含一個考慮點坐標(biāo) 位置的對象圖像數(shù)據(jù)，該考慮點被包含在點擊數(shù)據(jù)中，并把獲得的對象圖像 數(shù)據(jù)供應(yīng)給子窗口存儲器79。
下面結(jié)合圖36所示的流程圖說明圖35所示的組合處理部分1022所執(zhí)行 的處理(組合處理)。
首先，在步驟S121上，對象寫入部分72相應(yīng)于對象存儲器75中存儲的 一個對象標(biāo)識按上述方式寫入圖35所示的解碼部分53所供應(yīng)的對象圖像數(shù) 據(jù)。
此后，流程前進(jìn)到步驟S122。對象寫入部分72確定附加信息是否包含 高分辨率信息。當(dāng)步驟S122上的確定結(jié)果表明附加信息包含高分辨率信息 (即，接收設(shè)備2的用戶已經(jīng)操作按鍵部分2-3，點擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送設(shè) 備1,并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個圖像發(fā)送具有高空間分辨 率的對象圖像數(shù)據(jù))時，流程前進(jìn)到步驟S123。在步驟S123上，對象寫入 部分72將對象標(biāo)志存儲器76的相關(guān)對象標(biāo)志調(diào)整到"1"。
換句話說，當(dāng)發(fā)送設(shè)備l已經(jīng)為優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送具有高空間分 辨率的對象圖像數(shù)據(jù)時，在步驟S121上，具有高空間分辨率的對象圖像數(shù)據(jù) 被寫入對象存儲器75。因而，在步驟S123上，組成具有高空間分辨率的對 象的像素的對象標(biāo)志被調(diào)整到"1"。
此后，流程前進(jìn)到步驟S124。在步驟S124上，組合部分1077從對象存 儲器75中讀出優(yōu)先權(quán)范圍內(nèi)的對象圖像數(shù)據(jù)，并把獲得的對象圖像數(shù)據(jù)寫入 到子窗口存儲器79。
換句話說，當(dāng)步驟S122上的確定結(jié)果表明附加信息包含高分辨率信息
時，則如上述的那樣，用戶已經(jīng)操作按鍵部分2-3，點擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送 設(shè)備1,并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個圖像發(fā)送具有高空間分 辨率的對象圖像數(shù)據(jù)。發(fā)送給發(fā)送設(shè)備1的點擊數(shù)據(jù)還供應(yīng)給組合部分1077。 當(dāng)組合部分1077接收到點擊數(shù)據(jù)時，在步驟S124上，組合部分1077相應(yīng)于 包含在點擊數(shù)據(jù)中的考慮點的坐標(biāo)和點擊時間認(rèn)同優(yōu)先權(quán)范圍，從對象存儲 器75中讀出已從發(fā)送設(shè)備1發(fā)送的在優(yōu)先權(quán)范圍內(nèi)的具有高空間分辨率的一 個對象，并把獲得的對象寫到子窗口存儲器79。此外，如上所述的那樣，當(dāng) 發(fā)送設(shè)備1發(fā)送的首部信息包含點擊數(shù)據(jù)時，組合部分1077可以依據(jù)首部信 息中包含的點擊數(shù)據(jù)認(rèn)同該優(yōu)先權(quán)范圍。
此后，流程前進(jìn)到步驟S125。在步驟S125上，組合部分1077相應(yīng)于附 加信息中包含的背景圖像移動矢量從背景圖像存儲器73中讀出當(dāng)前幀的背 景圖像數(shù)據(jù)。此外，組合部分1077從對象存儲器75中讀出顯示的當(dāng)前幀的 對象圖像數(shù)據(jù)。此后，組合部分1077相應(yīng)于附加信息中包含的一個對象移動 矢量將當(dāng)前幀的背景圖像數(shù)據(jù)與已經(jīng)從對象存儲器75中讀出的對象圖像數(shù) 據(jù)相組合，并把該當(dāng)前幀的組合圖像寫到顯示存儲器78。換句話說，組合部 分1077把背景圖像數(shù)據(jù)寫入到顯示存儲器78,然后將對象圖像數(shù)據(jù)覆蓋寫 到顯示存儲器78。結(jié)果，組合部分1077將已經(jīng)組合了背景圖像和對象圖像 的當(dāng)前幀的圖像數(shù)據(jù)寫入到顯示存儲器78。
在上述方式中，寫入到顯示存儲器78的當(dāng)前幀的圖像數(shù)據(jù)和寫入到子窗 口存儲器79的對象圖像數(shù)據(jù)被供應(yīng)給圖31所示的圖像輸入部分23,并在其 上顯示。
相反，當(dāng)步驟S122上的確定結(jié)果表明附加信息不包含高分辨率信息(即， 接收設(shè)備2的用戶還未操作按鍵部分2-3),流程前進(jìn)到步驟S125,跳過步驟 S123和S124。如上所述的那樣，在步驟S125,組合部分1077從背景圖像存 儲器73讀出當(dāng)前幀的背景圖像數(shù)據(jù)，從對象存儲器75中讀出所需的對象圖 像數(shù)據(jù)，并相應(yīng)于附加信息將當(dāng)前幀的背景圖像和已經(jīng)從對象存儲器75中讀 出的對象圖像數(shù)據(jù)進(jìn)行組合。結(jié)果，當(dāng)前幀的圖像數(shù)據(jù)被形成并被寫入到顯 示存儲器78。此后，流程返回到步驟S121。在步驟S121上，組合部分1077 重復(fù)相似的處理。
根據(jù)上述的組合處理，按照和結(jié)合圖15所述情況相同的方式，顯示用戶
考慮作為一個對象的具有高空間分辨率的一個圖像。圖35所示的組合處理部
分1022沒有圖13所示的背景圖像標(biāo)志存儲器74。因此，圖35所示的背景 圖像寫入部分71總是把供應(yīng)的背景圖像數(shù)據(jù)寫入到背景圖像存儲器73。因 此，在圖36所示的組合處理中，背景圖像的空間分辨率不像參考圖13至15 所述的情況那樣能夠得到改善。
下面，將說明相應(yīng)于從接收設(shè)備2供給的點擊數(shù)據(jù)提取對象圖像(興趣 對象區(qū)域)的方法。該方法由圖29所示的對象提取部分1044執(zhí)行。
圖37示出了圖29所示的預(yù)處理部分12的對象提取部分1014的結(jié)構(gòu)實例。
在圖37中，圖29所示的圖像輸入部分11所供應(yīng)的圖像數(shù)據(jù)被存儲到圖 像存儲器201。該圖像數(shù)據(jù)從圖像存儲器201中讀出，并供應(yīng)給靜止區(qū)域和 移動區(qū)域確定部分203的公共端、對象圖像提取部分213和選擇開關(guān)207。 圖像存儲器201存儲靜止區(qū)域和移動區(qū)域確定部分203進(jìn)行靜止區(qū)域和移動 區(qū)域確定所需的至少幾個幀的圖像數(shù)據(jù)，該靜止區(qū)域和移動區(qū)域確定部分203 是圖像存儲器201的一個下游部分。
此外，接收設(shè)備2經(jīng)傳送路徑3發(fā)送的點擊數(shù)據(jù)被存儲到點擊數(shù)據(jù)存儲 器202。該點擊數(shù)據(jù)從點擊數(shù)據(jù)存儲器202中讀出并供應(yīng)給靜止區(qū)域和移動 區(qū)域確定部分204的 >共端、連續(xù)點擊確定部分204和選一奪開關(guān)206。點擊 數(shù)據(jù)存儲器202存儲在作為點擊數(shù)據(jù)存儲器202的一個下游部分的連續(xù)點擊 確定部分204所執(zhí)行的連續(xù)點擊確定一個預(yù)定時間周期(例如，大于500到 700毫秒)所需的點擊數(shù)據(jù)。
靜止區(qū)域和移動區(qū)域確定部分203確定由接收設(shè)備2發(fā)送的當(dāng)前點擊數(shù) 據(jù)所代表的點擊位置(圖像上的坐標(biāo)值)周圍的局部小塊的圖像區(qū)域(例如， 16xl6像素)是移動區(qū)域還是靜止區(qū)域。換句話說，靜止區(qū)域和移動區(qū)域確 定部分203為點擊位置周圍的16 x 16個像素獲得當(dāng)前幀的圖像區(qū)域與 一個過 去幀的圖像區(qū)域之間的差值，該過去幀先于當(dāng)前幀幾個幀(以下，把該過去 幀稱為過去幀)。當(dāng)幀間的差值等于或小于預(yù)定閾值時，靜止區(qū)域和移動區(qū)域 確定部分203確定該圖像區(qū)域是靜止區(qū)域。相反，當(dāng)該差值大于預(yù)定閾值時， 靜止區(qū)域和移動區(qū)域確定部分203確定該圖像區(qū)域是移動區(qū)域。當(dāng)處理彩色 圖像時，靜止區(qū)域和移動區(qū)域確定部分203為R、 G和B的每一個的16x 16 個像素的圖像獲得當(dāng)前幀的圖像區(qū)域與過去幀的圖像區(qū)域之間的差值。當(dāng)為
R、 G、 B獲得的幀差值的絕對值的平均值等于或小于一個預(yù)定閾值(例如，
等于或小于IO)時，靜止區(qū)域和移動區(qū)域確定部分203確定該圖像區(qū)域是靜 止區(qū)域。相反，當(dāng)該平均值大于預(yù)定閾值時，靜止區(qū)域和移動區(qū)域確定部分 203確定該圖像區(qū)域是一個移動區(qū)域。當(dāng)移動區(qū)域和靜止區(qū)域確定部分203 確定圖像區(qū)域是一個靜止區(qū)域時，靜止區(qū)域和移動區(qū)域確定部分203確定點 擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù)是靜止點擊(靜止區(qū)域中的一個點 擊)。當(dāng)靜止區(qū)域和移動區(qū)域確定部分203確定圖像區(qū)域是一個移動區(qū)域時， 靜止區(qū)域和移動區(qū)域確定部分203確定點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊 數(shù)據(jù)是移動點擊(移動區(qū)域中的一個點擊)。此后，靜止區(qū)域和移動區(qū)域確定 部分203向處理確定部分205發(fā)送作為靜止區(qū)域和移動區(qū)域確定結(jié)果的表示 靜止點擊和移動點擊的信息。
連續(xù)點擊確定部分204相應(yīng)于從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)的點擊時間 確定接收設(shè)備2的用戶是否已經(jīng)連續(xù)執(zhí)行點擊操作。換句話說，連續(xù)點擊確 定部分204獲得接收設(shè)備2發(fā)送的當(dāng)前點擊數(shù)據(jù)的點擊時間與前一點擊數(shù)據(jù) 的點擊時間之間的時間差(即，點擊時間間隔)。當(dāng)該時間差等于或小于預(yù)定 閾值時，連續(xù)點擊確定部分204確定用戶未執(zhí)行連續(xù)點擊操作。當(dāng)連續(xù)點擊 確定部分204確定用戶已經(jīng)執(zhí)行連續(xù)點擊操作時，連續(xù)點擊確定部分204按 連續(xù)點擊處理從點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù)。相反，連續(xù)點擊 確定部分204確定用戶還未執(zhí)行連續(xù)點擊操作(即，當(dāng)前點擊時間與前一點 擊時間之間的時間差等于或小于預(yù)定閾值)時，連續(xù)點擊確定部分204按非 連續(xù)點擊處理從點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊ft據(jù)。此后，連續(xù)點擊 確定部分204向處理確定部分205發(fā)送作為連續(xù)點擊確定結(jié)果的表示連續(xù)點 擊或非連續(xù)點擊的信息。
處理確定部分205相應(yīng)于靜止區(qū)域和移動區(qū)域確定部分203的靜止區(qū)域 和移動區(qū)域確定結(jié)果和連續(xù)點擊確定部分204的連續(xù)點擊確定結(jié)果控制選擇 開關(guān)206、選擇開關(guān)207和選擇開關(guān)208。
換句話說，相應(yīng)于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果， 當(dāng)點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù)是靜止點擊和連續(xù)點擊時，處理 確定部分205控制選擇開關(guān)206,使點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù) 據(jù)被發(fā)送給靜止對象連接處理部分211。此外，處理確定部分205控制選擇 開關(guān)207,使圖像存儲器201輸出的圖像數(shù)據(jù)被發(fā)送給靜止圖像連接處理部
分211。然而，處理確定部分205控制選擇開關(guān)208,使對象提取結(jié)果存儲器 214輸出的前一點擊數(shù)據(jù)(后面將要說明)、分配給該點擊數(shù)據(jù)的對象號(相 當(dāng)于上述的標(biāo)志，并歸類(標(biāo)識)對象)和與該對象號相對應(yīng)的對象圖像數(shù) 據(jù)發(fā)送給靜止對象連接處理部分211 。
此外，相應(yīng)于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果，當(dāng)點 擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù)是一個移動點擊和一個連續(xù)點擊時， 處理確定部分205控制選擇開關(guān)206,使點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點 擊數(shù)據(jù)發(fā)送給移動對象連接處理部分210。此外，處理確定部分205控制選 擇開關(guān)207,使圖像存儲器201輸出的圖像數(shù)據(jù)發(fā)送給移動對象連接處理部 分210。此外，處理確定部分205控制選擇開關(guān)208,使對象提取結(jié)果存儲器 214輸出的前一單擊數(shù)據(jù)(后面將進(jìn)行說明)、分配給該點擊數(shù)據(jù)的對象號、 和對應(yīng)于該對象號的對象圖像數(shù)據(jù)發(fā)送給移動對象連接處理部分210。
此外，相應(yīng)于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果，當(dāng)點 擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù)是一個靜止點擊和一個連續(xù)點擊(當(dāng) 前點擊時間與前一點擊時間之間的時間差等于或大于預(yù)定閾值)時，處理確 定部分205控制選擇開關(guān)206,使點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù) 發(fā)送給對象號分配部分209。此外，處理確定部分205控制選擇開關(guān)207，使 從圖像存儲器201輸出的圖像數(shù)據(jù)發(fā)送給靜止對象連接處理部分211 。此時， 選擇開關(guān)208控制選擇開關(guān)208。使對象提取結(jié)果處理器214輸出的前一點 擊數(shù)據(jù)、對象號、和對象圖像數(shù)據(jù)不發(fā)送給靜止對象連接處理部分211 (在 此情況下，例如，選擇開關(guān)208打開)。
此外，相應(yīng)于靜止區(qū)域和移動區(qū)域確定結(jié)果和連續(xù)點擊確定結(jié)果，當(dāng)點 擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù)是一個移動點擊和一個非連續(xù)點擊 (當(dāng)前點擊時間與前一點擊時間之間的時間差等于或大于預(yù)定閾值)時，處 理確定部分205控制選擇開關(guān)206，使點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊 數(shù)據(jù)不發(fā)送給對象號分配部分209。此外，處理確定部分205控制選擇開關(guān) 207，使圖像存儲器201輸出的圖像數(shù)據(jù)發(fā)送給移動對象連接處理部分210。 此時，處理確定部分205控制選擇開關(guān)208,使得對象提取結(jié)果存儲器214 輸出的前一點擊數(shù)據(jù)、對象號、和對象圖像數(shù)據(jù)不發(fā)送給移動對象連接處理 部分210(例如，打開選擇開關(guān)208)。
對象號分配部分209把一個新對象號分配給由靜止對象連接處理部分
》11和移動對象連接處理部分210按一個連接處理進(jìn)行處理的作為一個非連 續(xù)點擊而不是連續(xù)點擊的點擊數(shù)據(jù)(下面將進(jìn)行說明)，并把該對象號和點擊
數(shù)據(jù)發(fā)送給對象號存儲器212。
當(dāng)處理確定部分205確定點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點擊數(shù)據(jù)是移 動點擊和連續(xù)點擊時，移動對象連接處理部分210確定前一點擊數(shù)據(jù)是否是 移動點擊，當(dāng)前點擊位置附近的圖像特征是否被包含在具有分配給前一點擊 數(shù)據(jù)的對象號的移動對象圖像區(qū)域的特征內(nèi)，或它們(當(dāng)前點擊數(shù)據(jù)和前一 點擊數(shù)據(jù))是否相同。當(dāng)確定結(jié)果是肯定的時，移動對象連接處理部分210 確定當(dāng)前點擊是對相同對象圖像的點擊。因而，移動對象連接處理部分210 執(zhí)行一個連接處理，將與前一點擊數(shù)據(jù)相同的對象號分配給當(dāng)前點擊數(shù)據(jù)和 把該對象號和點擊數(shù)據(jù)發(fā)送給對象號存儲器212。
當(dāng)處理確定部分205的確定結(jié)果表明點擊數(shù)據(jù)存儲器202輸出的當(dāng)前點 擊數(shù)據(jù)是靜止點擊和連續(xù)點擊時，靜止對象連接處理部分211確定前一點擊 是否是靜止點擊，以及當(dāng)前點擊位置是否被包含在具有分配給前一點擊數(shù)據(jù) 的對象號的靜止對象圖像的區(qū)域中，或當(dāng)前點擊位置是否接近該區(qū)域。當(dāng)靜 止對象連接處理部分211的確定結(jié)果是肯定的時，靜止對象連接處理部分211 確定當(dāng)前點擊是用于與前一點擊相同的對象的點擊。因而，靜止對象連接處 理部分211執(zhí)行一個靜止對象連接處理，將與前一點擊數(shù)據(jù)相同的對象號分 配給當(dāng)前點擊數(shù)據(jù)并把該對象號和點擊數(shù)據(jù)發(fā)送給對象號存儲器212。
對象號存儲器212存儲已經(jīng)由對象號分配部分209、移動對象連接處理 部分210和靜止對象連接處理部分211分配了對象號的多個過去幀的點擊數(shù) 據(jù)，并把該存儲的點擊數(shù)據(jù)和對象號發(fā)送給對象圖像提取部分213。
對象圖像提取部分213相應(yīng)于已從對象號存儲器212供應(yīng)的并且已經(jīng)分 配了對象號多個過去幀的點擊數(shù)據(jù)，從圖像存儲器201供給的圖像數(shù)據(jù)中提 取靜止對象圖像、移動對象圖像、背景圖像等，并且把提取的結(jié)果供應(yīng)給對 象提取結(jié)果存儲器214。
換句話說，對象圖像提取部分213相應(yīng)于從對象提取部分213供應(yīng)的并 且已經(jīng)分配了對象號多個過去幀的點擊數(shù)據(jù)，從作為靜止點擊的具有高點擊 數(shù)據(jù)密度的點擊數(shù)據(jù)的圖像部分中獲得一個占優(yōu)的對象號。對象圖像提取部 分213相應(yīng)于用占優(yōu)對象號分配的點擊數(shù)據(jù)的分配形成一個對象的形狀，并 從該圖像數(shù)據(jù)中提取按一 個對象圖像構(gòu)形對象的 一 個圖像。此外，對象圖像提取部分213對于在被確定為移動點擊的點擊數(shù)據(jù)中分 配了相同對象號的點擊位置附近的幀的圖像，執(zhí)行一個圖案匹配操作，并相
應(yīng)于該匹配結(jié)果為該圖像執(zhí)行移動補(bǔ)償。然而，對象圖像提取部分213從被
確定為相似圖像區(qū)域的一個圖像數(shù)據(jù)中獲得具有高點擊密度的一個圖像區(qū)域
(即，通過移動補(bǔ)償調(diào)整的圖像區(qū)域)的占優(yōu)對象號。對象圖像提取部分213 相應(yīng)于分配了占優(yōu)對象號的點擊數(shù)據(jù)的分配構(gòu)成一個圖像的形狀，并從該圖 像區(qū)域中提取以一個對象圖像構(gòu)形的一個圖像。
此后，對象圖像提取部分213把具有低靜止點擊密度和低移動點擊密度 的一個圖像部分指定為一個背景圖像。
對象提取結(jié)果存儲器214存儲由對象圖像提取部分213提取的對象圖像 數(shù)據(jù)，以及點擊數(shù)據(jù)、對象號等。必要時，對象提取結(jié)果存儲器214向圖29 所示的背景圖像提取部分1013、附加信息計算部分15和發(fā)送處理部分1016 供應(yīng)該對象圖像數(shù)據(jù)。
下面，結(jié)合圖38所示的流程圖說明相應(yīng)于接收設(shè)備2發(fā)送的點擊數(shù)據(jù)來 提取接收設(shè)備2的用戶從正在拍攝的一個圖像中考慮的一個對象圖像(感興 趣的對象區(qū)域)的處理。該處理由圖37所示的對象提取設(shè)備1014執(zhí)行。
首先，在步驟S131,圖像存儲器201存儲圖像輸入部分11輸入的一幀 的圖像數(shù)據(jù)(輸入無論何時發(fā)送的幀圖像數(shù)據(jù))。圖像存儲器201存儲在步驟 S133上執(zhí)行靜止區(qū)域和移動區(qū)域確定處理所需的至少幾個幀的圖像數(shù)據(jù)。
在步驟S131上，當(dāng)接收設(shè)備2經(jīng)發(fā)送路徑3發(fā)送點擊數(shù)據(jù)時，點擊數(shù)據(jù) 存儲器202存儲該點擊數(shù)據(jù)。點擊數(shù)據(jù)存儲器202存儲在步驟S133上執(zhí)行的 連續(xù)點擊確定處理(下面將進(jìn)行說明)至少一個預(yù)定時間周期(例如，長達(dá) 500至700毫秒)所需的的點擊數(shù)據(jù)。
此后，流程前進(jìn)到步驟S132,在步驟S132,對象提取部分1014確定是 否存儲了接收設(shè)備2已發(fā)送的并且未被處理的點擊數(shù)據(jù)。當(dāng)步驟S132上的確 定結(jié)果表明點擊數(shù)據(jù)存儲器202沒有存儲未被處理的點擊數(shù)據(jù)時，流程返回 到步驟S131。在步驟S131上，對象提取部分1014等待輸入圖像數(shù)據(jù)和點擊 數(shù)據(jù)。相反，當(dāng)步驟S132上的確定結(jié)果表明點擊數(shù)據(jù)存儲器202存儲了未 被處理的點擊數(shù)據(jù)時，流程前進(jìn)到步驟S133。在步驟S133上，對象提取部 分1014把未被處理的最舊的點擊數(shù)據(jù)指定為當(dāng)前點擊數(shù)據(jù)。靜止區(qū)域和移動 區(qū)域確定部分203、連續(xù)點擊確定部分204和處理確定部分205為該當(dāng)前點
擊數(shù)據(jù)執(zhí)行靜止區(qū)域和移動區(qū)域確定處理和連續(xù)點擊確定處理。
換句話說，在步驟S133上，靜止區(qū)域和移動區(qū)域確定部分203使用接收 設(shè)備2發(fā)送的當(dāng)前點擊數(shù)據(jù)中含有的點擊位置信息(圖像坐標(biāo)值)執(zhí)行靜止 區(qū)域和移動區(qū)域的確定處理，以確定作為一個點擊位置周圍的局部小塊的一 個圖像區(qū)域是一個移動區(qū)域還是一個靜止區(qū)域。
下面，更實際地說明由靜止區(qū)域和移動區(qū)域確定部分203執(zhí)行的圖38 所示的在步驟S133上進(jìn)行的靜止區(qū)域和移動區(qū)域確定處理。如圖39所示的 流程圖所示，在步驟S141上，靜止區(qū)域和移動區(qū)域確定部分203從圖像存儲 器201和點擊數(shù)據(jù)存儲器202分別讀出幾個幀的圖像數(shù)據(jù)和點擊數(shù)據(jù)。處理 一個彩色圖像時，如圖40 (A)所示，靜止區(qū)域和移動區(qū)域確定部分203讀 出用于R(紅)、G(綠)、B (藍(lán))的幾個巾貞的圖像數(shù)據(jù)。此外，靜止區(qū)域和 移動區(qū)域確定部分203從圖像數(shù)據(jù)存儲器201和點擊數(shù)據(jù)存儲器202中分別 讀出包含對應(yīng)于當(dāng)前點擊數(shù)據(jù)的一個幀的幾個過去幀的圖像數(shù)據(jù)和對應(yīng)于為 這幾個幀所執(zhí)行的點擊的點擊數(shù)據(jù)。
此后，在步驟S142上，對于當(dāng)前點擊數(shù)據(jù)的點擊位置周圍的水平方向和 垂直方向上的由16 x 16象素組成的一個局部小塊，"l爭止區(qū)域和移動區(qū)域確定 部分203計算當(dāng)前幀的一個圖像區(qū)域與超前該當(dāng)前幀幾個幀的過去幀(該過 去幀被稱之為過去幀)之間的差值。處理一個彩色圖像時，在步驟S142上， 如圖40 ( B )和40 ( A )所示，靜止區(qū)域和移動區(qū)域確定部分203獲得用于R、 G和B每一個的由16x 16象素組成的一個圖像的幀之間的差值并獲得用于 R、 G和B每一個的差值絕對值的平均值。
此后，在步驟S143上，靜止區(qū)域和移動區(qū)域確定部分203確定在步驟 S142上計算的幀間差值是否等于或小于一個確定的閾值。此后，流程前進(jìn)到 步驟S144。當(dāng)幀間差值等于或小于預(yù)定闞值時，靜止區(qū)域和移動區(qū)域確定部 分203確定包含當(dāng)前點擊數(shù)據(jù)的點擊位置的一個小塊(該小塊可以被稱之為 當(dāng)前塊)是一個靜止區(qū)域。相反，當(dāng)幀間差值大于預(yù)定閾值時，靜止區(qū)域和 移動區(qū)域確定部分203確定該當(dāng)前塊是一個移動區(qū)域。此外，當(dāng)靜止區(qū)域和 移動區(qū)域確定部分203的確定結(jié)果表明當(dāng)前塊是一個靜止區(qū)域時，靜止區(qū)域 和移動區(qū)域確定部分203把對應(yīng)于當(dāng)前塊的圖像區(qū)域的點擊數(shù)據(jù)指定為一個 靜止點擊。相反，當(dāng)靜止區(qū)域和移動區(qū)域確定部分203的確定結(jié)果表明當(dāng)前 塊是一個移動區(qū)域時，靜止區(qū)域和移動區(qū)域確定部分203把相當(dāng)于當(dāng)前塊的
圖像區(qū)域點擊數(shù)據(jù)指定為一個移動點擊。靜止區(qū)域和移動區(qū)域確定部分203 輸出作為靜止區(qū)域和移動區(qū)域確定結(jié)果的該確定結(jié)果。
在處理一個彩色圖像的情況下，在步驟S144，如圖40(D)所示，當(dāng)用 于R、 G和B每一個的16 x 16象素的每個塊的幀間差值的絕對值的平均值小 于或等于一個預(yù)定閱值(例如，"10")時，靜止區(qū)域和移動區(qū)域確定部分203 把預(yù)定標(biāo)志調(diào)整到例如"0"。相反，當(dāng)該平均值大于預(yù)定閾值時，靜止區(qū)域 和移動區(qū)域確定部分203把預(yù)定標(biāo)志調(diào)整到例如"1"。在步驟S144上，如圖 40 (E)所示，當(dāng)用于16 x 16象素的當(dāng)前塊的R、 G和B的所有標(biāo)志都為"0" 時，靜止區(qū)域和移動區(qū)域確定部分203確定當(dāng)前塊是一個靜止區(qū)域，并把對 應(yīng)于當(dāng)前塊的圖像區(qū)域的點擊數(shù)據(jù)指定為靜止點擊。相反，當(dāng)標(biāo)志之一是'T， 時，靜止區(qū)域和移動區(qū)域確定部分203確定當(dāng)前塊是一個移動區(qū)域并且把與 當(dāng)前塊的圖像區(qū)域相對應(yīng)的點擊數(shù)據(jù)指定為一個移動點擊。靜止區(qū)域和移動 區(qū)域確定部分203輸出作為靜止區(qū)域和移動區(qū)域確定結(jié)果的靜止點擊或移動 點擊的信息。
返回到圖38,在步驟S133上，連續(xù)點擊確定部分204連續(xù)點擊確定處 理，確定接收設(shè)備2的用戶所執(zhí)行的點擊操作是否是與接收設(shè)備2發(fā)送的點 擊數(shù)據(jù)中包含的點擊時間相對應(yīng)的連續(xù)點擊操作。
下面說明圖38所示的在步驟S133上執(zhí)行的連續(xù)點擊確定部分204的處 理。根據(jù)圖41所示的流程圖，在步驟S151上，點擊數(shù)據(jù)存儲器202讀出在 點擊數(shù)據(jù)存儲器202中存儲的點擊數(shù)據(jù)。
此后，在步驟S152上，連續(xù)點擊確定部分204計算從接收設(shè)備2發(fā)送的 當(dāng)前點擊數(shù)據(jù)的點擊時間與前一點擊數(shù)據(jù)的點擊時間(在前時間)之間的時 間差(點擊間隔)。
然后，在步驟S153上，連續(xù)點擊確定部分204確定該時間差是否等于或 小于一個預(yù)定閾值。當(dāng)步驟S153上的確定結(jié)果表明該時間差等于或小于預(yù)定 閾值時，連續(xù)點擊確定部分204確定當(dāng)前點擊數(shù)據(jù)是連續(xù)點擊。相反，當(dāng)步 驟S153上的確定結(jié)果表明該時間差大于預(yù)定闊值時，連續(xù)點擊確定部分204 確定當(dāng)前點擊數(shù)據(jù)不是連續(xù)點擊。此后，流程前進(jìn)到步驟S154。在步驟S154 上，連續(xù)點擊確定部分204輸出代表作為連續(xù)點擊確定結(jié)果的連續(xù)點擊或非 連續(xù)點擊的信息。
換句話說，當(dāng)步驟S153上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是連續(xù)點擊時，
接收設(shè)備2的用戶往往是對一個對象圖像連續(xù)執(zhí)行點擊操作。這是因為，當(dāng) 接收設(shè)備2的用戶請求發(fā)送設(shè)備1發(fā)送具有高空間分辨率的對象圖像數(shù)據(jù)(興 趣對象區(qū)域中的數(shù)據(jù))時，他或她往往連續(xù)地點擊用戶想要改善其空間分辨
率的一個對象圖像部分(興趣對象區(qū)域)。因而，當(dāng)連續(xù)點擊確定部分204的 確定結(jié)果表明當(dāng)前點擊操作是連續(xù)點擊操作時，連續(xù)點擊確定部分204把當(dāng) 前點擊數(shù)據(jù)指定為連續(xù)點擊。相反，當(dāng)連續(xù)點擊確定部分204的確定結(jié)果表 明當(dāng)前點擊操作不是連續(xù)點擊操作(即，當(dāng)前點擊的點擊時間與前一點擊的 點擊時間之間的時間差等于或大于預(yù)定閾值)時，連續(xù)點擊確定部分204把 當(dāng)前點擊數(shù)據(jù)指定為一個非連續(xù)點擊。連續(xù)點擊確定部分204輸出連續(xù)點擊 確定結(jié)果。
返回到圖38,在步驟S133上，當(dāng)靜止區(qū)域和移動區(qū)域確定部分203和 連續(xù)點擊確定部分204的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是靜止點擊和連續(xù)點擊 時，處理確定部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選擇 開關(guān)208。因而，在步驟S135上，靜止對象連接處理部分211執(zhí)行一個靜止 圖像連接處理。當(dāng)確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是一個移動點擊和一個連續(xù)點 擊時，處理確定部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選 擇開關(guān)208。因而，在步驟S136上，移動對象連接處理部分210執(zhí)行一個移 動對象連接處理。當(dāng)確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是非連續(xù)點擊時，處理確定 部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選擇開關(guān)208。在步 驟S136上，移動對象連接處理部分210執(zhí)行移動對象連接處理。當(dāng)確定結(jié)果 表明當(dāng)前點擊數(shù)據(jù)是一個非連續(xù)點擊時，處理確定部分205按上述方式控制 選擇開關(guān)206。因而，在步驟S134上，對象號分配部分209執(zhí)行新對象號分 配處J里。
換句話說，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是非連續(xù)點擊 時，流程返回到步驟S134。在步驟S134上，對象號分配部分209把一個新 對象號分配給當(dāng)前點擊數(shù)據(jù)。此后，流程返回到步驟S131。
實際上，如圖42 (A)所示，當(dāng)分配給由實線X代表的前一點擊數(shù)據(jù) CL1的一個對象號是例如"0"時，如果由圖42 (A)中的虛線X標(biāo)記代表 的當(dāng)前點擊數(shù)據(jù)CL2 (即，未指定一個對象號的點擊數(shù)據(jù))被確定為一個非 連續(xù)點擊時，對象號分配部分209把一個新對象號分配給由圖42 (B)中的 實線X標(biāo)記代表的當(dāng)前點擊數(shù)據(jù)CL2 (在該實例中，新對象號是'T')。相反，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是連續(xù)點擊和靜止點 擊時，如果前一點擊是靜止點擊，以及當(dāng)前點擊位置被包含在與分配給前一 點擊數(shù)據(jù)的對象號相對應(yīng)的 一個圖像區(qū)域中，或者當(dāng)前點擊位置接近該圖像
區(qū)域，則靜止對象連接處理部分211判定當(dāng)前點擊是用于與前一點擊相同的 對象圖像的一個點擊。因而，在步驟S134上，靜止對象連接處理部分211執(zhí) 行靜止圖像連接處理，用于為當(dāng)前點擊數(shù)據(jù)分配與前一點擊數(shù)據(jù)相同的對象
—，
換句話說，如圖43所示的流程圖所示，在步驟S161上，靜止對象連接 處理部分211確定前一點擊數(shù)據(jù)是否是連續(xù)點擊和靜止點擊。當(dāng)步驟S161上 的確定結(jié)果表明前一點擊數(shù)據(jù)是連續(xù)點擊和靜止點擊時，流程前進(jìn)到步驟 S162。相反，當(dāng)步驟S161上的確定結(jié)果表明前一點擊不是連續(xù)點擊和靜止點 擊時，流程前進(jìn)到步驟S164。
當(dāng)步驟S161上的確定結(jié)果表明前一點擊數(shù)據(jù)不是連續(xù)的和靜止的點擊 時，在步驟S164上，靜止對象連接處理部分211按照與結(jié)合圖42(A)和(B) 所述的相同的方式把一個新對象號分配給當(dāng)前點擊數(shù)據(jù)。此后，流程前進(jìn)到 圖38所示的步驟S137。
相反，當(dāng)步驟S161上的確定結(jié)果表明前一點擊數(shù)據(jù)是連續(xù)點擊和靜止點 擊時，流程返回到步驟S162。在步驟S162上，靜止對象連接處理部分211 獲得當(dāng)前點擊位置與對應(yīng)于分配給前一點擊數(shù)據(jù)的對象號的圖像區(qū)域之間的 空間距離。當(dāng)當(dāng)前點擊位置被包含在與分配給前一點擊數(shù)據(jù)的對象號相對應(yīng) 的圖像區(qū)域中時，或當(dāng)前點擊位置接近該圖像區(qū)域時，靜止對象連接處理部 分211確定當(dāng)前點擊數(shù)據(jù)是與前一點擊相同的對象圖像的點擊數(shù)據(jù)。相反， 當(dāng)當(dāng)前點擊位置未包含在與分配給前一點擊數(shù)據(jù)的對象號相對應(yīng)的圖像區(qū)域 中時，以及當(dāng)前點擊位置遠(yuǎn)離該圖像區(qū)域時，靜止對象連接處理部分211確 定當(dāng)前點擊數(shù)據(jù)是與前一點擊不同的對象圖像的點擊數(shù)據(jù)。當(dāng)步驟S162上的 確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是與前一點擊相同的對象圖像的點擊數(shù)據(jù)時，流 程前進(jìn)到步驟S163。相反，當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是 不同于前一點擊的對象圖像的點擊數(shù)據(jù)時，流程返回到步驟S164。
當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是不同于前一點擊的對象 圖像的點擊數(shù)據(jù)時，流程返回到步驟S164。在步驟S164,靜止對象連接處理 部分211把一個新對象號分配給當(dāng)前點擊數(shù)據(jù)。此后，流程前進(jìn)到圖38所示
的步驟S137。
相反，當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是與前一點擊相同的 對象圖像的點擊數(shù)據(jù)時，在步驟S163上，靜止對象連接處理部分211執(zhí)行靜 止對象連接處理，用于把和前一點擊數(shù)據(jù)相同的對象號分配給當(dāng)前點擊數(shù)據(jù)。
實際上，如圖42(C)所示，當(dāng)分配給由實線X標(biāo)記所表示的前一點擊 凄t據(jù)CLl的一個對象號是"0"時，如果由圖42 (C)所示的虛線X標(biāo)記所 表示的當(dāng)前點擊標(biāo)記CL2 (即，未給當(dāng)前點擊數(shù)據(jù)指定一個對象號)被確定 為連續(xù)點擊和靜止點擊，前一點是靜止點擊以及當(dāng)前點擊位置被包含在與分 配給前一點擊數(shù)據(jù)的一個對象號相對應(yīng)的圖像區(qū)域中，或者當(dāng)前點擊位置接 近該圖像區(qū)域，則靜止對象連接處理部分211把與前一點擊數(shù)據(jù)相同的對象 號(在該實例中為"1")分配給由圖42 (D)所示的實線X標(biāo)記表示的當(dāng)前 點擊數(shù)據(jù)CL2。
靜止對象連接處理部分211把與前一點擊數(shù)據(jù)相同的對象號分配給當(dāng)前 點擊數(shù)據(jù)后。流程前進(jìn)到圖38所示的步驟S137。
當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是連續(xù)點擊和移動點擊、前 一點擊是移動點擊、以及當(dāng)前點擊位置附近的圖像特征被包含在與分配給前 一點擊的對象號相對應(yīng)的圖像區(qū)域(16x16象素)的特征中、或前者接近于 后者時，移動對象連接處理部分210確定該點擊是與前一點擊相同的對象圖 像的點擊。在步驟S136上，移動對象連接處理部分210執(zhí)行移動對象連接處 理，用于把和前一點擊數(shù)據(jù)相同的對象號分配給當(dāng)前點擊數(shù)據(jù)。
換句話說，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是連續(xù)點擊和移 動點擊時，則如圖44所示，在步驟S171上，移動對象連接處理部分210確 定前一點擊數(shù)據(jù)是否是連續(xù)點擊和移動點擊。當(dāng)步驟S171上的確定結(jié)果表明 前一點擊數(shù)據(jù)是連續(xù)點擊和移動點擊時，流程前進(jìn)到步驟S172。相反，當(dāng)步 驟S171上的確定結(jié)果不是連續(xù)點擊和移動點擊時，流程前進(jìn)到步驟S174。
當(dāng)步驟S171上的確定結(jié)果表明前一點擊數(shù)據(jù)不是連續(xù)點擊和移動點擊 時，流程前進(jìn)到步驟S174。在步驟S174,移動對象連接處理部分210按照結(jié) 合圖41 (A)和(B)所述的相同方式把一個新對象號分配給當(dāng)前點擊數(shù)據(jù)。 此后，流程前進(jìn)到圖38所示的步驟S137。
當(dāng)步驟S171上的確定結(jié)果表明前一點擊數(shù)據(jù)是連續(xù)點擊和移動點擊時， 流程前進(jìn)到步驟S172。在步驟S172,移動對象連接處理部分210獲得當(dāng)前點
擊位置附近的圖像數(shù)據(jù)(16xl6象素)的特征，和與分配給前一點擊的對象 號相對應(yīng)的圖像區(qū)域的特征。當(dāng)當(dāng)前點擊位置附近的圖像區(qū)域的特征包含在 與分配給前一點擊數(shù)據(jù)的對象號相對應(yīng)的圖像區(qū)域的特征中，并且前者接近 后者時，接收處理部分210確定該點擊是與前一點擊相同的對象圖像的點擊。 相反，當(dāng)與分配給前一點擊數(shù)據(jù)的對象號相對應(yīng)的圖像區(qū)域的特征中不包含 當(dāng)前點擊位置附近的圖像區(qū)域的特征時，或前者遠(yuǎn)離后者時，接收處理部分
210確定當(dāng)前點擊數(shù)據(jù)是不同于前一點擊的對象圖像的點擊數(shù)據(jù)。在此情況 下，圖像區(qū)域的特征是例如一個點擊位置附近的局部區(qū)域(16 x 16象素)的 顏色(平均顏色，典型顏色，或類似物)、條形圖或圖案。當(dāng)相同對象號被分 配給多個移動點擊時，則意味著在這些點擊數(shù)據(jù)中跟蹤一個對象。當(dāng)步驟S172 上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是用于與前一點擊相同的對象圖像的點擊數(shù) 據(jù)時，流程前進(jìn)到步驟S173。相反，當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點 擊數(shù)據(jù)是用于不同于前一點擊的對象的點擊數(shù)據(jù)時，流程前進(jìn)到步驟S174。
當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是用于不同于前一點擊的 對象圖像的點擊數(shù)據(jù)時，流程前進(jìn)到步驟S174。在步驟S174上，移動對象 連接部分210按上述方式把一個新對象號分配給當(dāng)前點擊數(shù)據(jù)。此后，流程 前進(jìn)到圖38所示的步驟S137。
當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點擊數(shù)據(jù)是用于與前一點擊相同的 對象圖像的點擊數(shù)據(jù)時，流程前進(jìn)到步驟S173。在步驟S173,移動對象連接 處理部分210把與前一點擊數(shù)據(jù)相同的對象號分配給當(dāng)前點擊數(shù)據(jù)。
實際上，當(dāng)分配給由圖42 (E)所示的實線X表示的前一點擊數(shù)據(jù)CL1 的一個對象號是例如"0"時，如果由圖42 (E)所示的虛線X表示的當(dāng)前點 擊數(shù)據(jù)CL2被確定為連續(xù)點擊和移動點擊，以及當(dāng)前點擊位置附近的圖像的 特征被包含在與分配給前一點擊的對象號相對應(yīng)的對象圖像的特征中，或者 前者接近于后者，則移動對象連接處理部分210把與前一點擊數(shù)據(jù)相同的對 象號(在該實例中為"0")分配給由圖42 (F)所示的實線X標(biāo)記表示的當(dāng) 前點擊數(shù)據(jù)CL2。
在步驟S173,在移動對象連接處理部分210把與前一點擊相同的對象號 分配給當(dāng)前點擊數(shù)據(jù)后，流程前進(jìn)到步驟S137。
當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟S137時，對象圖像提取部 分213從與分配了對象號并存儲在對象號存儲器212中的過去幾個幀的點擊
數(shù)據(jù)相對應(yīng)的輸入數(shù)據(jù)中和存儲在圖像存儲器20中的過去幾個幀的圖像數(shù) 據(jù)中提取靜止對象圖像、移動對象圖像和其他的背景圖像。換句話說，似乎 是靜止對象圖像被包含在具有高靜止點擊數(shù)據(jù)密度的圖像部分中。此時，對
象圖像提取部分213獲得與分配了對象號的過去幾個幀相對應(yīng)的靜止點擊數(shù)
據(jù)密度，獲得具有高靜止點擊密度的圖像部分的占優(yōu)對象號，形成與分配了 占優(yōu)對象號的點擊數(shù)據(jù)的分布相對應(yīng)的對象的形狀，和從圖像數(shù)據(jù)中提取按 靜止對象圖像構(gòu)形對象的 一 個圖像。
當(dāng)流程從步驟S136前進(jìn)到步驟S137時，對象圖像提取部分213為分配 了相同的對象號的移動點擊數(shù)據(jù)的點擊位置附近的幀的圖像執(zhí)行圖案匹配操 作，對應(yīng)于該匹配結(jié)果執(zhí)行圖像的移動補(bǔ)償，獲得具有高點擊密度的圖案匹 配圖像區(qū)域的占優(yōu)對象號，相應(yīng)于分配了占優(yōu)對象號的點擊數(shù)據(jù)的分布形成 一個對象的形狀，并從圖像數(shù)據(jù)中提取按移動對象圖像構(gòu)形對象的一個圖像。
在步驟S137上，對象圖像提取部分213把具有低靜止點擊密度或低移動 點擊數(shù)據(jù)的一個圖像部分處理為當(dāng)前背景圖像。換句話說，對象圖像提取部 分213把從圖像數(shù)據(jù)中提取的除靜止對象圖像和移動對象圖像之外的一個圖 像部分處理為一個背景圖像。
下面結(jié)合圖45所示的流程圖詳細(xì)說明步驟S137上的處理。首先，在步 驟S181上，對象圖像提取部分213捕獲幾個過去幀分配對象號的點擊數(shù)據(jù)和 與其對應(yīng)的圖像數(shù)據(jù)。此后在步驟S182上，對象圖像提取部分213把點擊數(shù) 據(jù)歸類為靜止點擊和移動點擊。當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟 S137時，流程從圖45所示的步驟S182前進(jìn)到步驟S184。相反，當(dāng)流程從圖 38所示的步驟S136前進(jìn)到步驟S137時，流程從圖45所示的步驟S182前進(jìn) 到步驟S184。
當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟S137時，流程從圖45所示 的步驟S182前進(jìn)到步驟S184。在步驟S184上，對象圖像提取部分213獲得 用于16x16象素的每個塊的分配了一個對象號的每個靜止點擊的一個靜止 點擊數(shù)據(jù)密度。
此后，在步驟S185上，對象圖像提取部分213確定用于由一個圖像虛線 框表示的16 x 16象素的每個塊bk的由圖46 (A)所示的X標(biāo)記所表示的靜 止點擊的靜止點擊密度是否等于或大于 一 個預(yù)定值。
在發(fā)送給接收設(shè)備2的一個圖像中，具有高靜止點擊密度的圖像部分往
往包含一個靜止對象圖像。因而，當(dāng)一個特定塊的靜止點擊密度等于或大于 預(yù)定值時，流程前進(jìn)到步驟S186。相反，當(dāng)一個特定塊的靜止點擊密度小于
預(yù)定值時，流程前進(jìn)到步驟S190。
在步驟S186，當(dāng)塊的靜止點擊密度超過一個預(yù)定值時，如圖46(E)所 示，對象圖像提取部分213從分配給塊的點擊數(shù)據(jù)的對象號中獲得最占優(yōu)的 對象號。此后，對象圖像提取部分213組合與圖46 (B)所示的占優(yōu)對象號 相對應(yīng)的塊(BKO, BK2， BK4，和BK5)并構(gòu)形對象。對象圖像l是耳又部分 213從圖像數(shù)據(jù)中提取按靜止對象圖像構(gòu)形對象的圖像。在步驟S186之后， 流程前進(jìn)到圖38所示的步驟S138。
另一方面，當(dāng)流程從圖38所示的步驟S136前進(jìn)到步驟S137時，流程 從圖45所示的步驟S182前進(jìn)到步驟S183。
在步驟S183上，如圖46(C)所示，對象圖像提取部分213為分配了與 由圖46 (C)所示的X標(biāo)記表示的移動點擊相同的點擊數(shù)據(jù)對象號的點擊位 置附近的多個過去幀的圖像執(zhí)行圖案匹配操作，并為對應(yīng)于匹配結(jié)果的圖像 執(zhí)行移動補(bǔ)償。
此后，在步驟S187上，對象圖像提取部分213獲得圖案匹配圖像區(qū)域中 的一個移動點擊密度。
此后，在步驟S188上，對象圖像提取部分213確定該圖像的由圖46 ( D ) 所示的X標(biāo)記的表示的移動點擊的移動點擊密度是否等于或大于預(yù)定值。
進(jìn)行了移動補(bǔ)償并且具有一個高移動點擊密度的一個圖像部分往往包含 一個移動對象圖像。因而，當(dāng)進(jìn)行了移動補(bǔ)償?shù)囊粋€圖像區(qū)域的移動點擊密 度等于或大于預(yù)定值時，流程前進(jìn)到步驟步驟S189。相反，當(dāng)進(jìn)行了移動補(bǔ) 償?shù)囊粋€圖像區(qū)域的移動點擊密度小于預(yù)定值時，流程前進(jìn)到步驟步驟S1卯。
在步驟S189上，對象圖像提取部分213為具有等于或大于預(yù)定值的一個
移動點擊密度的一個圖像區(qū)域從分配給點擊數(shù)據(jù)的對象號中獲得最占優(yōu)的對 象號。此后，如圖46 (D)所示，對象圖像提取部分213組合與占優(yōu)對象號 相對應(yīng)的塊(BK3和BK6)，并構(gòu)形對象。此后，對象圖像提取部分213從 該圖像數(shù)據(jù)中提取按移動對象圖像構(gòu)形的圖像。在步驟S189之后，流程前進(jìn) 到圖38所示的步驟S138。
在步驟S185和S188上，當(dāng)點擊密度小于預(yù)定值時，流程前進(jìn)到步驟 S190。在步驟S190上，對象圖像提取部分213把具有低靜止點擊密度或低移
動點擊密度的一個圖像部分處理為當(dāng)前圖像的背景圖像區(qū)域。換句話說，對 象圖像提取部分213把已經(jīng)從圖像數(shù)據(jù)中提取的除靜止對象圖像和移動對象
圖像外的圖像部分處理為背景圖像。在步驟S190之后，流程前進(jìn)到步驟圖 38所示的步驟S138。
在對象圖像提取部分213已經(jīng)從圖像數(shù)據(jù)中提取一個靜止對象圖像、一 個移動對象圖像和一個背景圖像后，流程前進(jìn)到圖38所示的步驟S138。在 步驟S138上，對象圖像提取部分213確定對象提取處理是否完成。當(dāng)步驟 S138上的確定結(jié)果為否定的時，流程前進(jìn)到步驟S131。當(dāng)步驟S138上的確 定結(jié)果是肯定的時，對象提取部分213則完成了對象提取處理。
在上述的處理中，圖29所示的發(fā)送設(shè)備1的對象提取部分1014可以相 應(yīng)于與接收設(shè)備2的用戶所執(zhí)行的點擊操作相對應(yīng)的點擊數(shù)據(jù)提取靜止對象 圖像、移動對象圖像和背景圖像。
在圖28所示的實施例中，其活動小的平面圖像區(qū)域(即，沒有圖像價值) 被處理為背景圖像。對于該背景圖像，不改善空間分辨率。另一方面，可以 相應(yīng)于從接收設(shè)備2發(fā)送的點擊數(shù)據(jù)提取背景圖像，以便改善其空間分辨率。
在這種情況下，圖29所示的背景圖像提取部分1013提取與接收設(shè)備2 發(fā)送的點擊數(shù)據(jù)相對應(yīng)的背景圖像。發(fā)送處理部分1016發(fā)送背景圖像，以便 按照對象圖像的空間分辨率被改善的相同方式改善其空間分辨率。
在這種情況下，如圖47所示，圖13所示的背景圖像標(biāo)志存儲器74被加 到圖31所示的組合處理部分1022上。除了背景圖像標(biāo)志存儲器74之外，圖 47所示的組合處理部分1022的結(jié)構(gòu)與圖35所示的組合處理部分1022的結(jié) 構(gòu)相同。如同圖13所示的結(jié)構(gòu)，在圖47所示的結(jié)構(gòu)中，當(dāng)背景圖像寫入部 分17把一個具有高空間分辨率的對象的背景圖像寫入到背景圖像存儲器73 時，相應(yīng)于組成背景圖像的每個象素在背景圖像標(biāo)志存儲器74的一個地址上 存儲的背景圖像標(biāo)志從"0"變?yōu)?T，。換句話說，當(dāng)背景圖像寫入部分71 把背景圖像數(shù)據(jù)寫入到背景圖像存儲器73時，背景圖像寫入部分71核對背 景圖像標(biāo)志存儲器74。當(dāng)背景圖像標(biāo)志為"1"(即，當(dāng)背景圖像存儲器73 已經(jīng)存儲具有高空間分辨率的背景圖像數(shù)據(jù))時，背景圖像寫入部分71不把 具有低空間分辨率的背景圖像數(shù)據(jù)寫入到背景圖像存儲器73。無論何時向背 景圖像寫入部分71供應(yīng)背景圖像數(shù)據(jù)，該背景圖像數(shù)據(jù)都被寫入到背景圖像 寫入部分71。然而，當(dāng)背景圖像存儲器73已經(jīng)存儲具有高空間分辨率的背
景圖像數(shù)據(jù)時，背景圖像寫入部分71不把具有低空間分辨率的背景圖像數(shù)據(jù) 寫入到背景圖像存儲器73。因而，無論何時向背景圖像寫入部分71供應(yīng)具 有高空間分辨率的背景圖像數(shù)據(jù)，具有高空間分辨率的背景圖像的數(shù)目都增
加到背景圖像存儲器73中。
在該實例中，當(dāng)組合部分1077接收到來自圖31所示的點擊數(shù)據(jù)輸入部 分1024的點擊數(shù)據(jù)時，組合部分1077從背景圖像存儲器73和對象存儲器 75中讀出對象圖像數(shù)據(jù)和背景圖像數(shù)據(jù)，這些數(shù)據(jù)包含在點擊數(shù)據(jù)中含有的 一個考慮點的坐標(biāo)位置，并把荻得的數(shù)據(jù)供應(yīng)給子窗口存儲器79。
下面說明確定(認(rèn)同)接收設(shè)備2的用戶的興趣對象區(qū)域的變化和歸類 每個興趣對象區(qū)域的技術(shù)。
各種類型的圖像被分析，以確定用戶感興趣的對象區(qū)域是否已經(jīng)改變以 及是否歸類了每個興趣對象區(qū)域。該分析顯示了以下結(jié)果。
首先，人們(用戶)的興趣對象區(qū)域是具有價值的區(qū)域單元(例如，一 個對象)。
第二，當(dāng)用戶的興趣對象變化時，具有價值的每個區(qū)域單元改變。 第三，當(dāng)用戶的興趣對象改變時，指定用戶感興趣的對象所需的輸入時 間周期往往變長。
第四，當(dāng)用戶的興趣對象改變時，用戶指定一個興趣對象區(qū)域(例如， 點擊操作)的輸入位置之間的空間距離往往相對地變長。
因而，圖48示出了發(fā)送設(shè)備1的結(jié)構(gòu)實例，它獲得與接收設(shè)備2的用戶 輸入的點擊數(shù)據(jù)相對應(yīng)的輸入時間間隔和輸入位置距離，確定接收設(shè)備2的 用戶的興趣對象區(qū)域是否由于考慮到分析結(jié)果(1)至(4)而改變，并歸類 興趣對象區(qū)域。圖48中示出的發(fā)送設(shè)備l是圖28所示的發(fā)送設(shè)備1的改良。 為了筒便起見，在圖48中，和圖29相似的部分由相似的參考標(biāo)號表示，并 省略其說明。換句話說，除了變化確定和歸類部分240被新設(shè)置為組成預(yù)處 理部分12的一個模塊外，圖48所示的發(fā)送設(shè)備1的結(jié)構(gòu)與圖29所示的發(fā)送 設(shè)備1的結(jié)構(gòu)基本相同。
根據(jù)圖48所示的實施例，變化確定和歸類部分240被設(shè)置在預(yù)處理部分 12中。另一方面，變化確定和歸類部分240可以^皮設(shè)置在預(yù)處理部分12的 對象提取部分1014或背景圖像提取部分1013中。再一方面，變化確定和歸 類部分240還可以獨立于預(yù)處理部分12設(shè)置。
在該實施例中，用點擊數(shù)據(jù)表示的一個位置是用戶正在考慮的一個考慮 點。用戶的一個考慮點可以不是點擊數(shù)據(jù)，而是，用戶的考慮點可以通過檢 測用戶的觀看方向來認(rèn)同。
圖49示出了圖48所示的變化確定和歸類部分240的結(jié)構(gòu)實例。
輸入圖像存儲部分231暫時存儲由圖像輸入部分11輸出的圖像數(shù)據(jù)。必 要時，輸入圖像存儲部分231把圖像數(shù)據(jù)供應(yīng)給周邊區(qū)域提取部分233以及 靜止區(qū)域和移動區(qū)域確定部分234 。
點擊數(shù)據(jù)獲得部分230暫時存儲接收設(shè)備2經(jīng)傳送路徑3發(fā)送的數(shù)據(jù)， 并把存儲的點擊數(shù)據(jù)供應(yīng)給周邊區(qū)域提取部分233、靜止區(qū)域和移動區(qū)域確 定部分234、輸入時間間隔計算部分237、和輸入位置距離計算部分238。
在該實施例中，與圖37所示的圖像存儲器201 —樣，可以設(shè)置輸入圖像 存儲部分231。此外，與圖37所示的點擊數(shù)據(jù)存儲器202 —樣，可以設(shè)置點 擊數(shù)據(jù)存儲部分232。
點擊周邊區(qū)域提取部分233從輸入圖像存儲部分231供給的圖像數(shù)據(jù)中 提取與點擊數(shù)據(jù)存儲部分232供給的點擊數(shù)據(jù)相對應(yīng)的圖像區(qū)域(該圖像區(qū) 域是例如點擊位置附近的局部小塊；在下文中，圖像區(qū)域被稱之為點擊周邊 區(qū)域)。由點擊周邊區(qū)域提取部分233提取的點擊周邊區(qū)域的數(shù)據(jù)被發(fā)送給點 擊周邊區(qū)域存儲部分235。在數(shù)據(jù)被存儲到點擊周邊區(qū)域存儲部分235后， 該數(shù)據(jù)被發(fā)送給興趣對象區(qū)域歸類部分236。
此外，靜止和移動區(qū)域確定部分234相應(yīng)于從輸入圖i"象存儲部分231供 應(yīng)的圖像數(shù)據(jù)和從點擊數(shù)據(jù)存儲部分232供應(yīng)的點擊數(shù)據(jù)使用與圖37所示的 實施例相同方式的幀間差值執(zhí)行靜止區(qū)域和移動區(qū)域確定處理。
點擊周邊區(qū)域提取處理以及靜止區(qū)域和移動區(qū)域確定處理可以通過結(jié)合 附圖38所述的相同處理來完成。因而，省略對這些處理的詳細(xì)說明。在圖 49所示的實施例中，以上述實施例相同的方式把點擊數(shù)據(jù)被確定為靜止點擊 或移動點擊的結(jié)果輸出為靜止點擊或移動點擊確定。此外，例如，可以輸出 點擊周邊區(qū)域被確定為靜止區(qū)域或移動區(qū)域的結(jié)果。根據(jù)圖49所示的實施 例，為簡便起見，作為靜止區(qū)域和移動區(qū)域確定的結(jié)果，將說明靜止點擊或 移動點擊被輸出的情況。
靜止區(qū)域和移動區(qū)域確定部分234的靜止區(qū)域和移動區(qū)域確定結(jié)果被發(fā) 送給輸入時間間隔計算部分237和輸入位置距離計算部分238。
當(dāng)靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是靜止點擊時，輸入時間 間隔計算部分237計算前一點擊的輸入時間與當(dāng)前點擊的輸入時間的時間間 隔。在此情況下，計算時間間隔，而不考慮例如一個移動點擊是否發(fā)生在前 一靜止點擊的輸入時間與當(dāng)前靜止點擊的輸入時間之間。輸入時間間隔計算
部分237計算的時間間隔的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。
當(dāng)靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是靜止點擊時，輸入位置 距離計算部分238計算前一靜止點擊的輸入點擊位置(坐標(biāo)位置)與當(dāng)前靜 止點擊的輸入點擊位置(坐標(biāo)位置)之間的空間距離。在此情況下，計算空 間距離，而不考慮例如在當(dāng)前靜止點擊的輸入位置與前一靜止點擊的輸入位 置之間是否存在例如一個移動點擊的輸入位置。輸入位置距離計算部分238 計算的空間距離的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。
當(dāng)靜止區(qū)域和移動區(qū)域確定結(jié)果點擊數(shù)據(jù)是靜止點擊時，興趣變化確定 部分239相應(yīng)于輸入時間間隔計算部分237計算的時間間隔和位置距離計算 部分238計算的空間距離確定用戶的興趣對象是否變化。換句話說，興趣變 化確定部分239執(zhí)行時間間隔和空間距離的預(yù)定加權(quán)處理，確定加權(quán)時間間 隔是否超過一個預(yù)定閾值(時間)，并確定加權(quán)空間距離是否超過一個預(yù)定閾 值(距離)。當(dāng)加權(quán)時間間隔超過預(yù)定閾值和/或加權(quán)空間距離超過預(yù)定閾值 時，興趣變化確定部分239確定用戶的興趣對象已經(jīng)改變。興趣對象確定部 分239把興趣對象變化確定結(jié)果發(fā)送給興趣對象區(qū)域歸類部分236。
當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象未改變時，興 趣對象區(qū)域歸類部分236確定當(dāng)前靜止點擊的點擊周邊區(qū)域被包含在與前一 (過去)靜止點擊的點擊周邊區(qū)域相對應(yīng)的興趣對象相同的圖像區(qū)域中，把 當(dāng)前靜止點擊的點擊周邊區(qū)域歸類為與前一靜止點擊的點擊周邊區(qū)域相同的 興趣對象區(qū)域(例如，把相同的類別號分配給當(dāng)前靜止點擊的點擊周邊區(qū)域)， 并輸出歸類的結(jié)果。換句話說，當(dāng)為每個對象歸類興趣對象區(qū)域時，按照上 述實施例的相同方式分配相同的對象號。
相反，當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象已經(jīng)改 變時，興趣對象區(qū)域歸類部分236確定當(dāng)前靜止點擊的點擊周邊區(qū)域未被包 含在與前一(過去)靜止點擊的點擊周邊區(qū)域相對應(yīng)的興趣對象區(qū)域中，則 輸出當(dāng)前靜止點擊的點擊周邊圖像的存儲數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點擊周 邊區(qū)域存儲部分235中存儲的數(shù)據(jù)。此后，興趣對象區(qū)域歸類部分236把當(dāng)
前靜止點擊的點擊周邊區(qū)域歸類為與前一靜止點擊的點擊周邊區(qū)域不同的興 趣對象區(qū)域(例如，把一個不同的類別號分配給當(dāng)前靜止點擊的點擊周邊區(qū) 域)。換句話說，當(dāng)為每個對象歸類一個興趣對象區(qū)域時，以上述情況的相同 方式分配一個新的不同對象號。
當(dāng)靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是移動點擊時，輸入時間
間隔計算部分237同樣計算前一移動點擊的輸入時間與當(dāng)前移動點擊的輸入
時間之間的時間間隔。在此情況下，時間間隔被計算，而不考慮例如靜止點 擊是否在當(dāng)前移動點擊的輸入時間與前 一 移動點擊的輸入時間之間發(fā)生。輸
入時間間隔計算部分237計算的時間間隔的數(shù)據(jù)^t發(fā)送給興趣變化確定部分 239。
相反，當(dāng)靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是移動點擊時，同 樣輸入位置距離計算部分238計算前一移動點擊的輸入點擊位置與當(dāng)前移動 點擊的輸入點擊位置之間的空間距離。在此情況下，空間距離被計算，而不 考慮例如是否在當(dāng)前移動點擊的輸入位置與前一移動點擊的輸入位置之間存 在一個靜止點擊的輸入位置。輸入位置距離計算部分238計算的空間距離的 數(shù)據(jù)被發(fā)送給興趣變化確定部分239。
此外，在靜止區(qū)域和移動區(qū)域確定結(jié)果表明點擊數(shù)據(jù)是一個移動點擊的 情況下，興趣變化確定部分239相應(yīng)于輸入時間間隔計算部分237計算的時 間間隔和位置距離計算部分238計算的空間距離來確定用戶的興趣對象是否 已經(jīng)改變。換句話說，興趣變化確定部分239執(zhí)行時間間隔和空間距離的預(yù) 定加權(quán)處理，確定加權(quán)時間間隔是否超過預(yù)定閾值(時間)，并確定加權(quán)空間 間隔是否超過預(yù)定閾值(距離)。當(dāng)加權(quán)時間間隔超過預(yù)定閾值和/或加權(quán)空 間距離超過預(yù)定閾值時，興趣變化確定部分239確定用戶的興趣對象已經(jīng)改 變。興趣變化確定部分239的興趣對象變化確定結(jié)果被發(fā)送給興趣對象區(qū)域 歸類部分236。
當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象未變化時，興 趣對象區(qū)域歸類部分236確定當(dāng)前移動點擊的點擊周邊區(qū)域被包含在與前一 (過去)移動點擊的點擊周邊區(qū)域相對應(yīng)的興趣對象區(qū)域相同的圖像區(qū)域中， 把當(dāng)前移動點擊的點擊周邊區(qū)域歸類為和前一(舊的)移動點擊的點擊周邊 區(qū)域相同的興趣對象區(qū)域(即，把相同的類別號分配給當(dāng)前移動點擊的點擊 周邊區(qū)域)，并輸出歸類結(jié)果。換句話說，當(dāng)為每個對象歸類一個興趣對象區(qū)
域時，分配相同的對象號。
相反，當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對象變化時，
興趣對象區(qū)域歸類部分236確定當(dāng)前移動點擊的點擊周邊區(qū)域未被包含在與 前一 (過去)移動點擊的點擊周邊區(qū)域相對應(yīng)的興趣對象區(qū)域中，輸出當(dāng)前 移動點擊的點擊周邊圖像的存儲數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點擊周邊區(qū)域存 儲部分235中存儲的數(shù)據(jù)。此后，興趣對象區(qū)域歸類部分236把當(dāng)前移動點 擊的點擊周邊區(qū)域歸類為與前一移動點擊的點擊周邊區(qū)域不同的興趣對象區(qū) 域(例如，把一個不同的類別號分配給當(dāng)前移動點擊的點擊周邊區(qū)域)。換句 話說，當(dāng)為每個對象歸類一個興趣對象區(qū)域時，分配一個新的不同對象號。
下面結(jié)合圖50所示的流程圖說明圖49所示的變化確定和歸類部分240 的處理。
在步驟S201,變化確定和歸類部分240接收來自圖像輸入部分11的圖 像數(shù)據(jù)和由接收設(shè)備2的用戶輸入的點擊數(shù)據(jù)。
此后，在步驟S202上，圖像輸入部分11供應(yīng)的圖像數(shù)據(jù)被存儲在輸入 圖像存儲部分231。點擊數(shù)據(jù)獲得部分230所獲得的點擊數(shù)據(jù)被存儲在點擊 數(shù)據(jù)存儲部分232中。
此后，在步驟S203上，點擊周邊區(qū)域提取部分233從已經(jīng)被存儲并從輸 入圖像存儲部分231中讀出的圖像的點擊數(shù)據(jù)中提取與點擊數(shù)據(jù)相對應(yīng)的一 個圖像區(qū)域(點擊周邊區(qū)域)。在步驟S204上，點擊周邊區(qū)域存儲部分235 存儲已經(jīng)被提取的點擊周邊區(qū)域的數(shù)據(jù)。
此后，在步驟S205,靜止區(qū)域和移動區(qū)域確定區(qū)域234按上述方式使用 幀間差值執(zhí)行靜止區(qū)域和移動區(qū)域確定處理。
在步驟S205，當(dāng)步驟S205上確定的結(jié)果表明點擊數(shù)據(jù)是靜止點擊時， 流程前進(jìn)到步驟S206。相反，當(dāng)步驟S205上的確定結(jié)果表明點擊數(shù)據(jù)是移 動點擊時，流程前進(jìn)到步驟S212。
當(dāng)步驟S205上的確定結(jié)果表明點擊數(shù)據(jù)是靜止點擊，流程前進(jìn)到步驟 S206。在步驟S206上，輸入時間間隔計算部分237計算前一靜止點擊的輸入 時間與當(dāng)前靜止點擊的輸入時間之間的時間間隔。該時間間隔被計算，而不 考慮例如在當(dāng)前靜止點擊的輸入時間與前一靜止點擊的輸入時間之間是否存 在一個移動點擊。
此后，在步驟S207上，輸入位置距離計算部分238計算前一靜止點擊的
輸入點擊位置(坐標(biāo)位置)與當(dāng)前靜止點擊的輸入點擊位置(坐標(biāo)位置)之 間的空間距離。在此情況下，計算空間距離，而不考慮例如在當(dāng)前靜止點擊 的輸入位置與前一靜止點擊的輸入位置之間存在一個移動點擊的輸入位置。
在步驟S208上，興趣對象確定部分239相應(yīng)于步驟S206上計算的時間 間隔和步驟S207上計算的空間距離確定用戶的興趣對象是否變化。換句話 說，如上所述，興趣變化確定部分239執(zhí)行時間間隔和空間間隔的預(yù)定加權(quán) 處理，確定加權(quán)時間間隔是否超過一個預(yù)定閾值(時間)，和確定加權(quán)空間距 離是否超過一個預(yù)定閾值(距離)。當(dāng)加權(quán)時間間隔超過預(yù)定閾值和/或加權(quán) 空間距離超過預(yù)定閾值時，興趣變化確定部分239確定用戶的興趣對象已經(jīng) 改變。當(dāng)步驟S208上的確定結(jié)果表明興趣對象已經(jīng)改變時，流程前進(jìn)到步驟 步驟S209。當(dāng)步驟S208上的確定結(jié)果表明興趣對象未改變時，流程前進(jìn)到 步驟S211。
當(dāng)步驟S208上的確定結(jié)果表明興趣對象未改變時，流程前進(jìn)到步驟步驟 S211。在步驟S211，興趣對象區(qū)域歸類部分236確定當(dāng)前靜止點擊的點擊周 邊區(qū)域被包含在與前一(過去)靜止點擊的點擊周邊區(qū)域相對應(yīng)的興趣對象 區(qū)域相同的圖像區(qū)域中，并把當(dāng)前靜止點擊的點擊周邊區(qū)域歸類為和前一靜 止點擊的點擊周邊區(qū)域相同的興趣對象區(qū)域(即，把相同的類別號分配給當(dāng) 前靜止點擊的點擊周邊區(qū)域)。換句話說，當(dāng)為每個對象歸類一個興趣對象區(qū) 域時，以上述實施例相同的方式分配相同的對象號。在步驟S211之后，流程 前進(jìn)到步驟S218。
相反，當(dāng)在步驟S208上確定結(jié)果表明用戶的興趣對象改變時，流程前進(jìn) 到步驟步驟S209。在步驟S209上，興趣對象區(qū)域歸類部分236確定當(dāng)前靜 止點擊的點擊周邊區(qū)域未被包含在與前一(舊的)靜止點擊的點擊周邊區(qū)域 相對應(yīng)的興趣對象區(qū)域中，輸出當(dāng)前靜止點擊的點擊周邊圖像的存儲數(shù)據(jù)， 并且重新設(shè)置存儲的數(shù)據(jù)。此后，在步驟S210上，興趣對象區(qū)域歸類部分 236把當(dāng)前靜止點擊的點擊周邊區(qū)域歸類為與前一靜止點擊的點擊周邊區(qū)域 不同的興趣對象區(qū)域(例如，把一個不同的類別號分配給當(dāng)前靜止點擊的點 擊周邊區(qū)域)。換句話說，當(dāng)為每個對象歸類一個興趣對象區(qū)域時，以上述實 施例相同的方式分配一個新的不同對象號。在步驟S211之后，流程前進(jìn)到步 驟S218。
相反，當(dāng)步驟S205上的確定結(jié)果表明點擊數(shù)據(jù)是移動點擊時，流程前進(jìn)
到步驟S212。在步驟S212上，興趣變化確定部分239計算前一移動點擊的 輸入時間與當(dāng)前移動點擊的輸入時間之間的時間間隔。在此情況下，時間間 隔被計算，而不考慮例如在當(dāng)前移動點擊的輸入時間與前一移動點擊的輸入 時間之間是否存在一個靜止點擊。
此后，在步驟S213，興趣變化確定部分239計算前一移動點擊的輸入點 擊位置與當(dāng)前移動點擊的輸入點擊位置之間的空間距離。在此情況下，該空 間距離被計算，而不考慮例如在當(dāng)前移動點擊的輸入位置與前一移動點擊的 輸入位置之間是否存在一個靜止點擊的輸入位置。
此后，在步驟S214,興趣變化確定部分239相應(yīng)于在步驟S212上計算 的時間間隔和在步驟S213上計算的空間距離確定用戶的興趣對象是否變化。 換句話說，興趣變化確定部分239執(zhí)行時間間隔和空間距離的預(yù)定加權(quán)處理， 確定加權(quán)時間間隔是否超過一個預(yù)定閾值(時間)，和確定加權(quán)空間距離是否 超過一個預(yù)定閾值(距離)。當(dāng)加權(quán)時間間隔超過預(yù)定閾值和/或加權(quán)空間距 離超過預(yù)定閾值時，興趣變化確定部分239確定用戶的興趣對象已經(jīng)改變。 當(dāng)步驟S214上的確定結(jié)果表明興趣對象已經(jīng)改變時，流程前進(jìn)到步驟S215。 當(dāng)步驟S214上的確定結(jié)果表明興趣對象未改變時，流程前進(jìn)到步驟S217。
當(dāng)步驟S214上的確定結(jié)果表明用戶的興趣對象未改變時，流程前進(jìn)到步 驟S217。在步驟S217，如上所述，興趣對象區(qū)域歸類部分236確定當(dāng)前移動 點擊的點擊周邊區(qū)域被包含在與對應(yīng)于前一(過去)移動點擊的點擊周邊區(qū) 域的興趣對象相同的圖像區(qū)域中，把當(dāng)前移動點擊的點擊周邊區(qū)域歸類為與 前一移動點擊的點擊周邊區(qū)域相對應(yīng)的興趣對象區(qū)域(例如，把相同的類別 號分配給當(dāng)前移動點擊的點擊周邊區(qū)域)。換句話說，當(dāng)為每個對象歸類一個 興趣對象區(qū)域時，按照上述實施例的相同方式分配相同的對象號。在步驟S217 之后，流程前進(jìn)到步驟S218。
相反，當(dāng)步驟S214上的確定結(jié)果表明用戶的興趣對象已經(jīng)改變時，流程 前進(jìn)到步驟S215。在步驟S215,興趣對象區(qū)域歸類部分236確定當(dāng)前移動點 擊的點擊周邊區(qū)域未被包含在與前一(過去)移動點擊的點擊周邊區(qū)域相對 應(yīng)的興趣對象區(qū)域中，輸出當(dāng)前移動點擊的點擊周邊圖像的存儲數(shù)據(jù)，并且 重新設(shè)置存儲的數(shù)據(jù)。此后在步驟S216，興趣對象區(qū)域歸類部分236把當(dāng)前 移動點擊的點擊周邊區(qū)域歸類為與前一移動點擊的點擊周邊區(qū)域不同的興趣 對象區(qū)域(例如，把一個不同的類別號分配給當(dāng)前移動點擊的點擊周邊區(qū)域)。
換句話說，當(dāng)為每個對象歸類一個興趣對象區(qū)域時，以上述實施例的相同方
式分配一個新的不同對象號。在步驟S216之后，流程前進(jìn)到步驟S218。
在步驟S210、 S211、 S216和S217之后，流程前進(jìn)到步驟S218。在步驟 S218,變化確定和歸類部分240確定所有的處理是否已經(jīng)完成。當(dāng)步驟S218 上的確定結(jié)果是否定時，流程返回到步驟S201。當(dāng)步驟S218上確定結(jié)果是 肯定時，變化確定和歸類部分240完成圖50所示的處理。
下面，結(jié)合圖51所示的流程圖說明圖50所示的在步驟S208和S214上 的興趣對象變化確定處理。
在步驟S221,興趣變化確定部分239獲得時間間隔的信息。此后，在步 驟S222,興趣變化確定部分239執(zhí)行時間間隔的預(yù)定加權(quán)處理。在步驟S223， 興趣變化確定處理部分239獲得空間距離的信息。此后，在步驟S224,興趣 變化確定部分239執(zhí)行空間距離的預(yù)定加權(quán)處理。步驟S221和S222的順序 可以改變。同樣，步驟S223和S224的順序也可以改變。時間間隔的加權(quán)處 理可以通過壓縮時間單位(例如，ms/10的壓縮)來執(zhí)行?？臻g距離的加權(quán)處 理可以通過在水平方向和垂直方向上壓縮象素間距來#1行。
此后，流程前進(jìn)到步驟S225。在步驟S225上，興趣變化確定部分239 使用加權(quán)時間間隔(t)和電平及垂直方向上的加權(quán)空間距離(X坐標(biāo)和Y坐 標(biāo))生成三維矢量，并獲得該三維矢量的大小。該三維矢量的大小是通過以 下計算獲得的在將時間軸(t)加到點擊數(shù)據(jù)的輸入位置的X坐標(biāo)軸和Y 坐標(biāo)軸的三維空間上計算當(dāng)前輸入點與前 一 輸入點之間的歐幾里得 (Euclidean)距離。在步驟S225之后，流程前進(jìn)到步驟S226。
在步驟S226上，興趣變化確定部分239確定步驟S225上獲得的三維矢 量的大小是否超過預(yù)定閾值。當(dāng)步驟S226上的確定結(jié)果表明三維矢量的大小 未超過預(yù)定閾值時，流程前進(jìn)到步驟步驟S227。在步驟S227,興趣變化確定 部分239確定接收設(shè)備2的用戶的興趣對象未變化。當(dāng)三維矢量的大小超過 預(yù)定閾值時，流程前進(jìn)到步驟S228。在步驟S228,興趣變化確定處理部分 239確定用戶的興趣對象已經(jīng)改變。
在上述方式中，變化確定和歸類部分240相應(yīng)于接收設(shè)備2發(fā)送的點擊 數(shù)據(jù)完成用戶的興趣對象變化確定和其歸類。
此外，當(dāng)接收設(shè)備2的用戶的興趣對象區(qū)域被歸類時，可以最佳地處理 被歸類的興趣對象區(qū)域。換句話說，分配給用戶的每個興趣對象區(qū)域的信息
量可以改變。例如，大信息量可以分配給用戶的特定興趣對象區(qū)域。另一方 面，可以優(yōu)先發(fā)送用戶的興趣對象區(qū)域的數(shù)據(jù)。
此外，可以發(fā)送從點擊周邊區(qū)域存儲部分235中為興趣對象區(qū)域236讀 出的一個圖像區(qū)域，以便按上述方式改善空間分辨率。
在此情況下，即使接收設(shè)備2的用戶錯誤地點擊非興趣對象區(qū)域，也可 以避免執(zhí)行^睹誤的確定。
根據(jù)該實施例，即使具有興趣對象區(qū)域意義的 一個對象在時間或空間上 與另一個對象分離，它們也可以被歸類為一個對象。此外，也可以提取不同 于諸如一個實體的對象的具有特定意義的區(qū)域。
此外，結(jié)合圖37至46所述的實施例和結(jié)合圖49至51所述的實施例可 以合并。在此情況下，在步驟S206和S207上，可以按照上述方式為連續(xù)點 擊的靜止點擊確定一個連續(xù)點擊。同樣，在步驟S212和S213上，可以按照 上述方式為連續(xù)點擊的移動點擊確定一個連續(xù)點擊。
圖52示出了圖1所示的圖像發(fā)送設(shè)備的第三結(jié)構(gòu)實例。在圖52中，與 圖28相同的部分用相似的標(biāo)號表示，并省略其說明。換句話說，除交換部分 3-3具有收費服務(wù)器4外，圖52所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)與圖28所示的圖 像發(fā)送系統(tǒng)的結(jié)構(gòu)基本相同。
盡管從接收設(shè)備2向發(fā)送設(shè)備1發(fā)送點擊數(shù)據(jù)(或控制信息)和從發(fā)送 設(shè)備1向接收設(shè)備2提供相應(yīng)于一個點擊數(shù)據(jù)具有改善了空間分辨率的圖像 的這樣一種服務(wù)(在下文中，這種服務(wù)被稱之為點擊服務(wù))可以是免費服務(wù)， 但該服務(wù)可以是收費服務(wù)。當(dāng)點擊服務(wù)是收費服務(wù)時，收費服務(wù)器4執(zhí)行一 種收費處理，從用戶收取該點擊服務(wù)的服務(wù)費。
換言之，圖53示出了圖52所示的收費服務(wù)器4的結(jié)構(gòu)實例。
預(yù)定信息從交換站3-3供應(yīng)給通信鏈路建立4企測部分301。通信鏈路建 立檢測部分301核對從交換站3-3供應(yīng)的信息。結(jié)果，通信鏈路建立檢測部 分301檢測在作為發(fā)送設(shè)備的終端單元1與作為接收設(shè)備的終端單元2之間 是否已經(jīng)建立的通信鏈路，并把合成數(shù)據(jù)供應(yīng)給終端單元認(rèn)同部分302。
當(dāng)終端單元認(rèn)同部分302接收到代表已經(jīng)在諸如發(fā)送設(shè)備1和接收設(shè)備 2的終端單元之間建立通信鏈路的信息(在下文中，該信息被稱之為通信鏈 路建立信息)時，終端單元認(rèn)同部分302核對從交換站3-3供應(yīng)的信息。結(jié) 果，終端單元認(rèn)同部分302認(rèn)同已經(jīng)通信鏈接的終端單元。此外，終端單元
認(rèn)同部分302認(rèn)同分配給終端單元的id(在下文中，id被稱之為終端單元id ) 并把認(rèn)同的終端單元id供應(yīng)給點擊才全測部分303。
點擊檢測部分303監(jiān)視經(jīng)交換站3-3接收的數(shù)據(jù)，采用從終端單元認(rèn)同 部分302接收的終端單元id檢測從終端單元發(fā)送的點擊數(shù)據(jù)，并把檢測結(jié)果 和終端單元id供應(yīng)給收費處理部分304。
在此情況下，例如，接收設(shè)備2將發(fā)送點擊數(shù)據(jù)和本地終端單元id—起 發(fā)送。點擊^f全測部分303將附加到經(jīng)交換站3-3接收的點擊數(shù)據(jù)上的終端單 元id與終端單元認(rèn)同部分302供應(yīng)的終端單元id相比較，認(rèn)同從已經(jīng)通信 鏈接的終端單元發(fā)送的點擊數(shù)據(jù)，并檢測該點擊數(shù)據(jù)。
在下文中，點擊檢測部分303的一組點擊數(shù)據(jù)檢測結(jié)果和一個終端單元 id被稱作點擊檢測信息。
當(dāng)收費處理部分304接收到來自點擊檢測部分303的點擊檢測信息時， 收費處理部分304更新收費數(shù)據(jù)庫305的存儲內(nèi)容。此外，收費處理部分304 相應(yīng)于收費數(shù)據(jù)庫305的存儲內(nèi)容，(例如)周期性地(例如，每月 一次)執(zhí) 行收費處理。
收費數(shù)據(jù)庫305存儲收費處理所需的信息。
下面，結(jié)合圖54所示的流程圖說明圖53所示的收費服務(wù)器4的處理。 通信鏈路建立4企測部分301監(jiān)視終端單元之間的通信鏈路是否已經(jīng)相應(yīng) 于交換站3-3供給的信息而建立。當(dāng)通信鏈路建立檢測部分301檢測到發(fā)送 設(shè)備1與接收設(shè)備2之間的通信鏈路已經(jīng)建立時，通信鏈路建立檢測部分301 把通信鏈路建立信息供應(yīng)給終端單元認(rèn)同部分302。
當(dāng)終端單元認(rèn)同部分302收到通信鏈3各建立4全測部分301發(fā)送的通信鏈 路建立信息時，在步驟s301，終端單元認(rèn)同部分302核對交換站3-3供應(yīng)的 信息。結(jié)果，終端單元認(rèn)同部分302認(rèn)同已經(jīng)通信鏈接的終端單元(例如， 發(fā)送設(shè)備1和接收設(shè)備2 )的終端單元id，并把終端單元id供應(yīng)給點擊檢測 部分303。
當(dāng)點擊檢測部分303收到來自終端單元認(rèn)同部分302的終端單元id時， 點擊4企測部分303開始檢測包含終端單元id的點擊數(shù)據(jù)。
此后，流程前進(jìn)到步驟s302。在步驟s302，收費處理部分304確定是 否已經(jīng)從已經(jīng)通信鏈接的終端單元4企測到點擊數(shù)據(jù)。當(dāng)步驟s302上的確定結(jié) 果表明還未從已經(jīng)通信鏈接的終端單元檢測到點擊數(shù)據(jù)時(即，當(dāng)點擊檢測
部分303未向收費處理部分304供應(yīng)點擊檢測信息時)，流程前進(jìn)到步驟S304, 跳過步驟S303。
相反，當(dāng)步驟S302上的確定結(jié)果表明已經(jīng)從已經(jīng)通信鏈接的終端單元檢 測到點擊數(shù)據(jù)時(即，當(dāng)點擊檢測部分303向收費處理部分304供應(yīng)點擊檢 測信息時)，流程前進(jìn)到步驟S303。在步驟S303,收費處理部分304更新收 費數(shù)據(jù)庫305的存儲內(nèi)容。
換句話說，收費數(shù)據(jù)庫305存儲諸如點擊數(shù)目和點間時間的點擊信息(在 下文中，該信息可以被稱作點擊信息)以及存儲終端單元發(fā)出一個呼叫和開 始一個通信的通信時間。收費數(shù)據(jù)庫305相關(guān)地存儲該點擊信息和終端單元 的終端單元ID。在步驟S303，收費處理部分304相應(yīng)于點擊檢測信息更新與 點擊;f企測信息中含有的終端單元ID相對應(yīng)的點擊信息。
在步驟S303之后，流程前進(jìn)到步驟S304。在步驟S304上，終端單元認(rèn) 同部分302確定與通信鏈路建立檢測部分301供給的通信鏈路建立信息相對 應(yīng)的通信鏈路是否已經(jīng)中斷。
換句話說，通信鏈路建立4全測部分301不僅監(jiān)視終端單元間的通信鏈路 的建立，而且還監(jiān)視該鏈路的中端。當(dāng)通信鏈路已經(jīng)中斷時，通信鏈路建立 檢測部分301把作為通信鏈路中斷信息的結(jié)果信息供應(yīng)給終端單元認(rèn)同部分 302。在步驟S304，終端單元認(rèn)同部分302相應(yīng)于通信《連路中斷信息確定通 信鏈路是否已經(jīng)中斷。
當(dāng)步驟S304上的確定結(jié)果表明通信鏈路未中斷時，流程前進(jìn)到步驟 S302。在步驟S302,收費服務(wù)器4重復(fù)相似的處理。
相反，當(dāng)步驟S304上的確定結(jié)果表明通信鏈路已經(jīng)中斷時，終端單元認(rèn) 同部分302控制點擊檢測部分303完成對已經(jīng)通信鏈接的終端單元的點擊數(shù) 據(jù)的監(jiān)視。此后，收費處理服務(wù)器4完成該處理。
此后，收費處理部分304周期性地核對收費數(shù)據(jù)庫305，執(zhí)行收費處理， 計算通信費和點擊服務(wù)費，并從用戶的銀行帳戶或類似物中轉(zhuǎn)帳(轉(zhuǎn)費)。
作為點擊服務(wù)費，可以指定每次點擊的計費單位。相應(yīng)于點擊的次數(shù)， 可以計算點擊服務(wù)費。另一方面，作為點擊服務(wù)費，可以指定每小時的計費 單位。相應(yīng)于點擊時間，可以計算點擊服務(wù)費。另一方面，相應(yīng)于點擊次數(shù) 和點擊時間，可以計算點擊服務(wù)費。
上述處理可以由硬件或軟件執(zhí)行。當(dāng)這些處理由軟件執(zhí)行時，對作為專
用硬件設(shè)備的設(shè)置在發(fā)送設(shè)備1、接收設(shè)備2中的計算機(jī)、通用計算機(jī)或類
似物等安裝組成該軟件的程序。
圖55示出了已經(jīng)安裝了執(zhí)行上述處理的程序的一個計算機(jī)的結(jié)構(gòu)實例。 該程序可以被預(yù)先錄制到作為內(nèi)置在計算機(jī)內(nèi)的 一 個記錄介質(zhì)的硬盤
405或ROM403上。
另一方面，該程序可以暫時或永久地存儲(記錄)到可移動記錄介質(zhì)諸 如軟盤、CD-ROM (光盤只讀存儲器)、MO(磁光)盤、DVD(數(shù)字通用盤)、 磁盤或半導(dǎo)體存儲器上?？梢苿佑涗浗橘|(zhì)411可以被設(shè)置為所謂的軟件包。
該程序可以從上述的可移動記錄介質(zhì)411安裝到計算機(jī)上。另一方面， 該程序可以從下載點經(jīng)數(shù)字衛(wèi)星廣播衛(wèi)星無線傳送給該計算機(jī)。再一方面， 該程序可以經(jīng)過諸如LAN (局域網(wǎng))的網(wǎng)絡(luò)或因特網(wǎng)傳送給該計算機(jī)。在該 計算機(jī)中，該程序由通信部分408接收并安裝到硬盤405上。
該計算機(jī)含有CPU (中央處理單元)402。輸入/輸出接口 410經(jīng)總線401 連接CPU402。當(dāng)用戶使用諸如鍵盤、鼠標(biāo)、麥克風(fēng)等的輸入部分407經(jīng)輸入 /輸出接口 410向CPU402輸入一個命令時，ROM (只讀存儲器)403中存儲 的程序開始執(zhí)行。另一方面，CPU402把硬盤405中存儲的程序加載到RAM (隨機(jī)存取存儲器)404上，并利用RAM404執(zhí)行該程序。再一方面，CPU402 把從衛(wèi)星或網(wǎng)絡(luò)傳送、由通信部分408接收并安裝到硬盤405上的程序，或 者從連接到驅(qū)動器409的可移動記錄介質(zhì)411中讀出并安裝到硬盤405上的 程序，加載到RAM404上，利用ARM404執(zhí)行該程序。因而，CPU402執(zhí)行 相應(yīng)于圖4、 6、 10、 14、 21至24、 27、 30、 32、 34、 36、 38、 39、 41、 43 至45、 50、 51和54所示的流程圖的處理。而且CPU402執(zhí)行相應(yīng)于圖3、 5、 7、 8、 11至13、 17、 25、 29、 31、 33、 35、 37、 47至49和53的框圖所示 的處理。必要時，CPU402經(jīng)輸入/輸出接口 410從包括LCD (液晶顯示器)、 揚(yáng)聲器等的輸出部分406輸出已處理的結(jié)果。另一方面，CPU402發(fā)送來自通 信部分408或者記錄到硬盤405上的已處理的結(jié)果。
具體地說，使計算機(jī)執(zhí)行各種處理的程序的處理步驟不一定總是按照流 程圖的順序執(zhí)行。另一方面，處理步驟可以并行或分離地執(zhí)行(例如，可以 執(zhí)行并行處理或?qū)ο筇幚?。
該程序可以由一個計算機(jī)處理。另一方面，該程序可以由多個計算機(jī)分 配。再一方面。該程序可以傳送到一個遠(yuǎn)端計算機(jī)上，由該計算機(jī)執(zhí)行處理。
根據(jù)本發(fā)明的實施例，發(fā)送設(shè)備l執(zhí)行分層編碼。根據(jù)發(fā)送的分層數(shù)據(jù)， 改變接收設(shè)備2顯示的圖像的時間分辨率或空間分辨率。另一方面，接收設(shè) 備2顯示的圖像的時間分辨率和空間分辨率可以根據(jù)發(fā)送的圖像的離散余旋
變換系數(shù)或量化級(quantizing step )來改變。
另一方面，時間分辨率和空間分辨率可以根據(jù)發(fā)送設(shè)備1的編碼方法來 改變。換句話說，當(dāng)用一個常規(guī)時間分辨率顯示一個圖像時，發(fā)送設(shè)備1的 編碼部分31對其對象的輪廓連續(xù)編碼，并獲得組成一個對象的像素值(顏色) 的平均值，作為典型值。接收設(shè)備2按照該典型值顯示彩色對象的區(qū)域。當(dāng) 以時間分辨率為代價顯示具有改善的空間分辨率的圖像時，可以按上所述的 那樣使用分層編碼。
根據(jù)該實施例，空間分辨率的改善是以時間分辨率為代價的。相反，時 間分辨率可以以空間分辨率為代價得到改善。代表犧牲(改善)分辨率的選
擇的信息可以被包含在諸如點擊數(shù)據(jù)的控制信息中，并從接收設(shè)備2發(fā)送給 發(fā)送設(shè)備1。
根據(jù)本方明的實施例，時間分辨率和空間分辨率被處理。然而，根據(jù)本 發(fā)明，電平方向的分辨率(在下文中，把該分辨率稱作電平分辨率)也可以 被處理。換句話說，當(dāng)分配給數(shù)據(jù)的比特數(shù)增加或降低時，時間分辨率和空 間分辨率可以提高或惡化。在此情況下，當(dāng)圖像的時間分辨率和空間分辨率 變化時，其明暗度也變化。該電平分辨率可以通過改變上述的量化級來改變。
此外，根據(jù)該實施例，圖像的部分區(qū)域(優(yōu)先權(quán)范圍)的空間分辨率的 改善是以時間分辨率為代價的。另一方面，整個圖像的空間分辨率也可以得 到改善。
另 一方面，圖像的特定部分的空間分辨率的改善可以以圖像的剩余部分 的空間分辨率為代價，而不是以時間分辨率為代價(即，保持時間分辨率)。
此外，根據(jù)本實施例，以這種方式處理圖像，即將其分為背景圖像和對 象。而且也可以以不分離圖像的方式處理圖像。
此外，本發(fā)明不僅適用于圖像數(shù)據(jù)，而且還適用于音頻數(shù)據(jù)。在音頻數(shù) 據(jù)的情況下，釆樣頻率相當(dāng)于時間分辨率，而分配給音頻數(shù)據(jù)的比特數(shù)相當(dāng) 于電平分辨率。
此外，圖49所示的變化確定和歸類部分240的處理可適用于提取聲音特 征量(例如音調(diào)、話音或樂器的期望部分)的情況。
此外，對象提取部分14和1014以及變化確定和歸類部分240的處理可 適用于所謂的對象編碼。換句話說，對于對象提取部分14和1014以及變化 確定和歸類部分240的處理來說，由于可以提取對象，因此可以相應(yīng)于獲取 代表對象移動的信息的對象編碼處理，對被提取的對象以及代表對象輪廓或 區(qū)域的信息進(jìn)行編碼。該編碼的數(shù)據(jù)可以被發(fā)送或記錄。
接收設(shè)備2可以使用點擊數(shù)據(jù)執(zhí)行與對象提取部分1014的處理相似的處 理，以便提取一個對象。在此情況下，當(dāng)接收設(shè)備2提取的一個對象被存儲 時， 一個數(shù)據(jù)庫就被形成。
根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號， 接收從接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時間方向、空間 方向和電平方向的至少兩個方向上的分辨率。已經(jīng)相應(yīng)于控制信息控制至少 兩個方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。因而，例如，接收設(shè)備所顯示的 圖像的空間方向分辨率可以^C進(jìn)一 步改善。
根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號，控制信 息被發(fā)送給發(fā)送設(shè)備，以便相應(yīng)于該控制信息控制時間方向、空間方向和電 平方向的至少兩個方向上的分辨率。此外，已經(jīng)相應(yīng)于該控制信息控制至少 兩個方向分辨率的數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如， 輸出的圖像的空間分辨率可以被進(jìn)一步改善。
根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三 信號，發(fā)送設(shè)備接收從接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制 時間方向、空間方向和電平方向的至少兩個方向的分辨率。已經(jīng)相應(yīng)于控制 信息控制至少兩個方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。此外，接收設(shè)備向 發(fā)送設(shè)備發(fā)送控制信息。已經(jīng)相應(yīng)于該控制信息控制至少兩個方向分辨率的 數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如，接收設(shè)備所顯示的 圖像的空間方向分辨率可以被進(jìn) 一 步改善。
根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號， 接收從接收設(shè)備發(fā)送的控制信號。相應(yīng)于該控制信息，對數(shù)據(jù)歸類。相應(yīng)于 數(shù)據(jù)的歸類結(jié)果，向接收設(shè)備發(fā)送數(shù)據(jù)。因而，例如，可以向接收設(shè)備發(fā)送 用戶正在考慮的圖像區(qū)域，而不考慮該區(qū)域是移動的還是靜止的。
權(quán)利要求
1、一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電平方向的至少兩個方向的分辨率；和發(fā)送裝置，向接收設(shè)備發(fā)送已經(jīng)已經(jīng)相應(yīng)于控制信息控制至少兩個方向的分辨率的數(shù)據(jù)。分析裝置，用于分析接收設(shè)備的用戶的偏愛，其中所述的控制裝置相應(yīng)于分析裝置的分析結(jié)果控制數(shù)據(jù)的分辨率，其中接收設(shè)備輸出從所述的發(fā)送裝置發(fā)送的數(shù)據(jù)，其中所述的控制裝置控制輸出給接收設(shè)備的數(shù)據(jù)的考慮點，和其中所述的分析裝置相應(yīng)于考慮點分析用戶的偏愛，其中所述的分析裝置具有歸類裝置，相應(yīng)于包含數(shù)據(jù)考慮點的考慮區(qū)域?qū)?shù)據(jù)進(jìn)行歸類，其中所述的分析裝置相應(yīng)于所述歸類裝置的分析結(jié)果分析用戶的偏愛。
2、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中所述的控制裝置相應(yīng)于控制信 息控制發(fā)送給接收設(shè)備的圖像數(shù)據(jù)的時間方向和空間方向上的分辨率。
3、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā) 送數(shù)據(jù)，和其中所述的控制裝置相應(yīng)于控制信息控制數(shù)據(jù)的分辨率，使數(shù)據(jù)的傳送 速率不超過預(yù)定的傳送速率。
4、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中接收設(shè)備輸出從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)， 其中控制信息包含輸出給接收設(shè)備的數(shù)據(jù)的考慮點，和 其中所述的控制裝置相應(yīng)于控制信息改善包含了數(shù)據(jù)的考慮點的考慮區(qū) 域的分辨率。
5、 根據(jù)權(quán)利要求4所述的發(fā)送設(shè)備，其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)， 其中接收設(shè)備顯示從發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，其中控制信息包含由接收設(shè)備顯示的圖像數(shù)據(jù)的時間和空間位置，和 其中所述的控制裝置相應(yīng)于控制信息改善包含圖像數(shù)據(jù)的時間和空間位置的考慮區(qū)域的空間分辨率，和降低時間分辨率，使圖像數(shù)據(jù)的傳送速率不超過預(yù)定的傳送速率。
6、 根據(jù)權(quán)利要求5所述的發(fā)送設(shè)備，還包括背景圖像數(shù)據(jù)提取裝置，用于從發(fā)送給接收設(shè)備的圖像數(shù)據(jù)中提取背景 圖像數(shù)據(jù)，其中當(dāng)包含在控制信息中的時間和空間位置代表背景圖像數(shù)據(jù)時，所述 的控制裝置改善背景圖像數(shù)據(jù)的空間分辨率。
7、 根據(jù)權(quán)利要求6所述的發(fā)送設(shè)備，還包括對象圖像數(shù)據(jù)提取裝置，相應(yīng)于發(fā)送給接收設(shè)備的圖像數(shù)據(jù)與背景圖像 數(shù)據(jù)之間的差值從圖像數(shù)據(jù)中提取對象圖像數(shù)據(jù)，其中當(dāng)包含在控制信息中的時間和空間位置代表對象圖像數(shù)據(jù)時，所述 的控制裝置改善對象圖像數(shù)據(jù)的空間分辨率。
8、 根據(jù)權(quán)利要求7所述的發(fā)送設(shè)備，還包括組合裝置，用于把背景圖像數(shù)據(jù)和對象圖像數(shù)據(jù)組合為組合數(shù)據(jù)， 其中所述的發(fā)送裝置向接收設(shè)備發(fā)送該組合數(shù)據(jù)。
9、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括 輸入數(shù)據(jù)的輸入裝置。
10、 根據(jù)權(quán)利要求9所述的發(fā)送設(shè)備，其中 數(shù)據(jù)是圖像數(shù)據(jù)，和其中所述的輸入裝置是拍攝圖像和輸出圖像數(shù)據(jù)的拍攝裝置。
11、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中發(fā)送設(shè)備是便攜式電話機(jī)。
12、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述的分析裝置具有特征量提取裝置，用于提取含有數(shù)據(jù)考慮點的考慮區(qū)域的特征量；和 區(qū)域檢測裝置，用于從對應(yīng)于特征量的數(shù)據(jù)中檢測與用戶的偏愛相對應(yīng) 的預(yù)定區(qū)域，和其中所述的控制裝置控制數(shù)據(jù)的預(yù)定區(qū)域的分辨率。
13、 根據(jù)權(quán)利要求12所述的發(fā)送設(shè)備，還包括 條形圖存儲裝置，用于存儲特征量的條形圖，其中所述的區(qū)域檢測裝置檢測與該條形圖相對應(yīng)的預(yù)定區(qū)域。
14、 根據(jù)權(quán)利要求12所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)，其中接收設(shè)備顯示從所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和 其中所述的控制裝置改善圖像數(shù)據(jù)的預(yù)定區(qū)域的空間分辨率和降低時間 分辨率，以使圖像數(shù)據(jù)的傳送速率不超過預(yù)定傳送速率。
15、 根據(jù)權(quán)利要求13所述的發(fā)送設(shè)備其中所述的檢測裝置把與具有條形圖的最高頻率的特征量相同或相似的 區(qū)域檢測為預(yù)定區(qū)域。
16、 根據(jù)權(quán)利要求15所述的發(fā)送設(shè)備，送圖像數(shù)據(jù)，其中接收設(shè)備顯示所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和 其中所述的控制裝置改善圖像數(shù)據(jù)的預(yù)定區(qū)域的空間分辨率和降低時間 分辨率，以使圖像數(shù)據(jù)的傳送速率不超過預(yù)定傳送速率。
17、 根據(jù)權(quán)利要求14所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取作為特征量的包含圖像數(shù)據(jù)考慮點的考 慮區(qū)域的移動信息、深度信息、位置信息、顏色信息和形狀信息的至少一個 信息。
18、 根據(jù)權(quán)利要求17所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取裝置提取多個作為多個特征量的包含圖 像數(shù)據(jù)考慮點的考慮區(qū)域的移動信息、深度信息、位置信息、顏色信息和形 狀信息。
19、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述數(shù)據(jù)是圖像數(shù)據(jù)， 其中所述分析裝置具有靜止區(qū)域和移動區(qū)域確定裝置，用于確定圖像數(shù)據(jù)的考慮區(qū)域是靜止區(qū) 域還是移動區(qū)域；和 連續(xù)確定裝置，用于確定考慮點在考慮點的時間和空間方向上是否是連 續(xù)的，和其中所述的歸類裝置相應(yīng)于靜止區(qū)域和移動區(qū)域確定裝置和所述的連續(xù) 確定裝置的確定結(jié)果對圖像數(shù)據(jù)歸類。
20、根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，還包括考慮點存儲裝置，用于存儲在靜止的并且在時間和空間方向上連續(xù)的考 慮區(qū)域中所含有的考慮點，和存儲移動的并且在時間和空間方向上連續(xù)的考慮區(qū)域中所含有的考慮點；和類別標(biāo)識符加法裝置，用于獲取加入到被存儲在考慮點存儲裝置中的一 個考慮點上的類別標(biāo)識符，并且把該標(biāo)識符加到該考慮點上。
21 、根據(jù)權(quán)利要求20所述的發(fā)送設(shè)備，其中在當(dāng)前考慮點處于靜止的并在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi) 的情況下，當(dāng)存儲在所述考慮點存儲裝置中的前一考慮點被包含在靜止的并 在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時，相應(yīng)于當(dāng)前考慮點與含有前一考 慮點的區(qū)域之間空間位置的關(guān)系，所述的歸類標(biāo)識符加法裝置獲得被加入到 當(dāng)前考慮點的類別標(biāo)識符。
22、 根據(jù)權(quán)利要求21所述的發(fā)送設(shè)備，其中在當(dāng)前考慮點處于移動的并在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi) 的情況下，當(dāng)存儲在所述考慮點存儲裝置中的前一考慮點被包含在移動的并 在時間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時，相應(yīng)于含有當(dāng)前考慮點的考慮區(qū) 域的預(yù)定特征量和含有前一考慮點的考慮區(qū)域的預(yù)定特征量的相似性，所述 的歸類標(biāo)識符加法裝置獲得被加入到當(dāng)前考慮點的類別標(biāo)識符。
23、 根據(jù)權(quán)利要求20所述的發(fā)送設(shè)備，其中所述的歸類裝置相應(yīng)于與所述考慮點存儲裝置中存儲的考慮點的密 度相對應(yīng)的用戶偏愛對作為對象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類。
24、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的歸類裝置相應(yīng)于與所述考慮點存儲裝置中存儲的并包含在靜 止的考慮區(qū)域中的分配了相同類別標(biāo)識符的考慮點的密度相對應(yīng)的用戶偏 愛，對作為對象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類。
25、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的歸類裝置相應(yīng)于與所述考慮點存儲裝置中存儲的并包含在移 動的考慮區(qū)域中的分配了相同類別標(biāo)識符的和進(jìn)行了移動補(bǔ)償?shù)目紤]點的密 度相對應(yīng)的用戶偏愛，對作為對象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類。
26、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的靜止區(qū)域和移動區(qū)域確定裝置相應(yīng)于包含當(dāng)前幀的考慮點的 考慮區(qū)域與包含過去幀的考慮點的考慮區(qū)域之間的差值，確定包含當(dāng)前考慮 點的考慮區(qū)域是靜止的還是移動的。
27、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點與過去考慮點的時間差值， 確定當(dāng)前考慮點是否在時間和空間方向上連續(xù)。
28、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的控制裝置改善按對象歸類的區(qū)域的分辨率。
29、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點與過去考慮點之間的時間和 空間方向上的距離確定當(dāng)前考慮點是否連續(xù)，獲得與包含當(dāng)前考慮點的考慮 區(qū)域相同的靜止區(qū)域和移動區(qū)域確定結(jié)果。
30、 根據(jù)權(quán)利要求29所述的發(fā)送設(shè)備，其中所述的歸類裝置相應(yīng)于用于時間方向和空間方向的距離的加權(quán)值對 圖像數(shù)據(jù)進(jìn)行歸類。
31、 根據(jù)權(quán)利要求30所述的發(fā)送設(shè)備，還包括圖像數(shù)據(jù)存儲裝置，用于存儲包含在時間方向和空間方向連續(xù)的考慮點 的考慮區(qū)域中的圖像數(shù)據(jù)。
32、 根據(jù)權(quán)利要求31所述的發(fā)送設(shè)備，其中當(dāng)當(dāng)前考慮點在時間方向和空間方向上不連續(xù)時，在所述的圖像數(shù) 據(jù)存儲裝置的內(nèi)容被讀出后，擦除該內(nèi)容，并把包含當(dāng)前考慮點的考慮區(qū)域 中的圖像數(shù)據(jù)存儲到所述的圖像數(shù)據(jù)存儲裝置上。
33、 根據(jù)權(quán)利要求32所述的發(fā)送設(shè)備，其中所述的控制裝置改善從所述的圖像數(shù)據(jù)存儲裝置中讀出的圖像數(shù)據(jù) 的分辨率。
34、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中控制信息被用于一個收費處理。
35、 根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中圖像數(shù)據(jù)是編碼的對象。
36、 一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括 接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時間方向、空間方向和電 平方向的至少兩個方向的分辨率；和向接收設(shè)備發(fā)送已經(jīng)已經(jīng)相應(yīng)于控制信息控制至少兩個方向的分辨率的數(shù)據(jù)。分析接收設(shè)備的用戶的偏愛，其中所述的控制步驟相應(yīng)于分析步驟的分析結(jié)果控制數(shù)據(jù)的分辨率，其中接收設(shè)備輸出從所述的發(fā)送步驟發(fā)送的數(shù)據(jù)，其中所述的控制步驟控制輸出給接收設(shè)備的數(shù)據(jù)的考慮點，和其中所述的分析步驟相應(yīng)于考慮點分析用戶的偏愛，其中所述的分析步驟包括子步驟相應(yīng)于包含數(shù)據(jù)考慮點的考慮區(qū)域?qū)?shù)據(jù)進(jìn)行歸類， 其中所述的分析步驟相應(yīng)于所述歸類子步驟的分析結(jié)果分析用戶的偏
全文摘要
在發(fā)送方，背景圖像和對象#1至#3每個以傳送速率R/4發(fā)送。在接收方，以特定的空間分辨率和特定的時間分辨率顯示由對象#1至#3和背景圖像組成的圖像。在此情況下，接收方在特定時間t1拖動對象#1時，在發(fā)送方(如圖所示)則停止對背景圖像和對象#2和#3的傳送。此時以傳送路徑的傳送速率R僅發(fā)送對象#1。從而，以圖像的時間分辨率為代價，顯示改善了拖動對象#1的空間分辨率的圖像。
文檔編號H04N7/26GK101106707SQ20071014265
公開日2008年1月16日 申請日期2000年8月9日 優(yōu)先權(quán)日1999年8月9日
發(fā)明者小林直樹, 近藤哲二郎, 金丸昌憲 申請人:索尼公司