專利名稱：視頻中繼裝置及視頻分布系統(tǒng)及視頻中繼方法
技術(shù)領域：
本發(fā)明涉及在利用因特網(wǎng)、從服務器向終端分布監(jiān)視攝像機的視頻等的視頻分布系統(tǒng)中，設置于服務器與終端之間，對視頻進行中繼的視頻中繼裝置及視頻中繼方法。
背景技術(shù)：
以往，作為利用因特網(wǎng)來分布視頻的系統(tǒng)示例，已知的比如有由RealNetworks公司推出的RealSystem等。在這種系統(tǒng)中，采用一種從服務器向終端連續(xù)發(fā)送數(shù)字化視頻數(shù)據(jù)，終端邊接收數(shù)據(jù)邊同時進行再生的流分布技術(shù)。
圖11是說明一般的視頻分布系統(tǒng)的附圖。
在服務器與終端之間，通常收發(fā)控制信息和視頻信息這2種信息。作為用于收發(fā)控制信息的協(xié)議，已知的比如有RTSP(實時流協(xié)議)，作為用于收發(fā)視頻信息的協(xié)議，已知的比如有RTP(實時傳輸協(xié)議)。從終端向服務器發(fā)送請求視頻的控制信息后，服務器與此對應來開始視頻信息的分布。終端構(gòu)成為接收從服務器發(fā)送來的視頻信息，在畫面上將其顯示出來。
這里，從服務器向終端分布視頻的方式大致可分為實況分布與存儲分布這2種。實況分布是一種類似于電視現(xiàn)場直播的方式，其將由攝像機攝影的實時視頻按原樣向終端分布。在這種方式中，當然用戶不能在方便的時間視聽所希望觀看的視頻。另一方面，存儲分布是一種分布預先存儲于服務器的視頻的方式，它可進一步分為廣播型和點播型。廣播型存儲分布是一種與電視的錄像中繼相同的方式，其按照預定的節(jié)目表來分布節(jié)目，因而在這種方式中，用戶仍然不能在方便的時間視聽所希望觀看的視頻。另一方面，在點播型存儲分布中，用戶可在方便時選擇視聽所希望觀看的視頻，而且與磁帶錄像機同樣，可進行再生、停止、搜索等控制。
一般，對于數(shù)字視頻，為提高視頻的質(zhì)量，有必要增加數(shù)據(jù)量，反之在減少數(shù)據(jù)量后，視頻的質(zhì)量將有變劣的傾向。這里，決定視頻質(zhì)量的主要因素有幀速率和畫質(zhì)。幀速率是1秒內(nèi)的幀數(shù)(fps)，畫質(zhì)是由分辨率和灰度決定的各幀的圖像質(zhì)量。
比如在采用了作為訪問因特網(wǎng)的線路而被一般性采用的ISDN(集成服務數(shù)字網(wǎng)絡)線路的場合下，由于只能按有限的幀速率及畫質(zhì)來傳送視頻，因而與通常的電視視頻相比，其動作不平滑，而且只能分布缺乏鮮明度的視頻。另一方面，為按與電視視頻同等的質(zhì)量來分布視頻，必須確保相當于ISDN線路數(shù)倍以上的傳送容量，但在這種場合下，存在著通信費上揚的問題。
作為解決該問題的方法，考慮一種將視頻數(shù)據(jù)的一部或全部事先存儲到中繼裝置，然后讀出所存儲的視頻數(shù)據(jù)并再生的方法。比如，在特開2001-25023所示的視頻流分布方法中，通過事先將視頻的一部分存儲到中繼裝置，可以使超過傳送路的容量的視頻流再生。此外在特開2000-209258中所示的時間系列數(shù)據(jù)存儲分布系統(tǒng)中，當未事先存儲到中繼裝置的視頻被請求時，使所請求的視頻的再生開始延遲，或暫時進行低質(zhì)量的分布，在這期間，將視頻存儲到服務器與終端之間的中繼裝置，在存儲了足量視頻的時點下，利用所存儲的視頻數(shù)據(jù)，開始從中繼裝置向終端進行高質(zhì)量的分布。
圖10是表示利用了上述2個中繼裝置的視頻分布系統(tǒng)中通用的構(gòu)成的附圖。
這里，假設中繼裝置與終端之間的線路能確保為分布高質(zhì)量視頻所需的足夠的通信速度。該系統(tǒng)中的中繼裝置對終端相當于一個服務器，而對服務器則相當于一個終端。即，首先，終端向中繼裝置發(fā)送請求視頻分布的控制信息。中繼裝置判定所請求的視頻是否已被存儲，如果已存儲，則將該視頻信息向終端分布。當所請求的視頻未被存儲時，則向服務器發(fā)送請求視頻分布的控制信息。服務器對應于該請求，開始視頻的分布。中繼裝置將其接收并進行存儲，同時對終端進行分布。
傳統(tǒng)的視頻中繼裝置按以上形式來構(gòu)成，在存儲分布方式中，通過將超過傳送路容量的視頻數(shù)據(jù)事先轉(zhuǎn)送并存儲到中繼裝置，具有可進行高質(zhì)量的視頻再生的效果。此外由于中繼裝置對服務器相當于一個終端，因而具有通過在由服務器與終端構(gòu)成的視頻分布系統(tǒng)中插入中繼裝置，無需變更服務器的構(gòu)成，便可進行高質(zhì)量的視頻再生的效果。
不過，在遠程確認監(jiān)視攝像機的視頻的場合下，由于有希望在終端側(cè)當場再生并確認所攝影的視頻的請求，因而有必要采取實況分布的方式。在該場合下，不能像采用了上述傳統(tǒng)的視頻中繼裝置的視頻分布系統(tǒng)那樣，事先將視頻存儲到中繼裝置。因此在傳統(tǒng)的視頻中繼裝置中存在以下問題，即在遠程監(jiān)視等希望在終端側(cè)當場再生并確認所攝影的視頻的場合下，不能進行超過傳送路容量的高質(zhì)量的視頻再生。
此外即使對于存儲分布方式，也存在著以下問題，即在點播型視頻分布中，有必要分布用戶從多種視頻中選擇的視頻，難以事先將用戶可能選擇的所有視頻都分布到視頻中繼裝置。
尤其在特開2000-209258所示的時間系列數(shù)據(jù)存儲分布系統(tǒng)中，當未事先存儲到中繼裝置的視頻被請求時，使所請求的視頻的再生開始延遲，或暫時進行低質(zhì)量的分布，在這期間，將視頻存儲到服務器與終端之間的中繼裝置，在存儲了足量視頻的時點下，利用所存儲的視頻數(shù)據(jù)，開始從中繼裝置向終端進行高質(zhì)量的分布，但是存在著以下問題，即當將從服務器向中繼裝置分布的視頻設置為高質(zhì)量后，在存儲足量的視頻之前需要長時間等待，反之當將從服務器向中繼裝置分布的視頻設置為低質(zhì)量后，不能以高質(zhì)量來顯示希望以高質(zhì)量顯示的部位。
本發(fā)明旨在解決上述問題點，其目的在于，獲得一種視頻中繼裝置及視頻分布系統(tǒng)，其通過在傳統(tǒng)的一般視頻分布系統(tǒng)的服務器與終端之間插入視頻中繼裝置，即使在不能將視頻事先存儲到視頻中繼裝置的場合下，也能在采用了傳送容量有限的通信單元的視頻分布系統(tǒng)中，以高質(zhì)量來顯示視頻并進行確認。

發(fā)明內(nèi)容
本發(fā)明涉及的視頻中繼裝置的特征在于具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻。
其特征在于上述視頻再構(gòu)成單元對視頻的取舍選擇、視頻的畫質(zhì)變更、視頻的再生速度的至少任意一個進行調(diào)整，變更視頻的質(zhì)量。
其特征在于上述解析分類單元具有區(qū)域定義單元，其按所注目的區(qū)間來分割視頻，并定義注目區(qū)；區(qū)域分類單元，其對由上述區(qū)域定義單元定義的區(qū)域進行分類。
其特征在于上述解析分類單元還具備解析視頻的視頻解析單元，上述區(qū)域定義單元根據(jù)基于上述視頻解析單元的解析結(jié)果，來對區(qū)域進行定義，同時上述區(qū)域分類單元根據(jù)基于上述視頻解析單元的解析結(jié)果，來對區(qū)域進行分類。
其特征在于上述視頻解析單元對被攝體與攝像裝置至少任意一個的變化的大小進行解析，上述區(qū)域分類單元基于被攝體與攝像裝置至少任意一個的變化的大小，來將區(qū)域分類為動態(tài)區(qū)間和靜態(tài)區(qū)間，上述視頻再構(gòu)成單元在動態(tài)區(qū)間提高質(zhì)量，來再構(gòu)成視頻。
其特征在于上述視頻解析單元對被攝體與攝像裝置至少任意一個的變化的大小進行解析，上述區(qū)域分類單元基于被攝體與攝像裝置至少任意一個的變化的大小，來將區(qū)域分類為動態(tài)區(qū)間和靜態(tài)區(qū)間，上述視頻再構(gòu)成單元在靜態(tài)區(qū)間降低質(zhì)量，來再構(gòu)成視頻。
其特征在于上述視頻解析單元檢測被攝體的移動，上述區(qū)域分類單元將區(qū)域分類為被攝體存在區(qū)和被攝體不存在區(qū)，上述視頻再構(gòu)成單元選擇被攝體存在區(qū)，來再構(gòu)成視頻。
其特征在于上述區(qū)域定義單元從終端接收用戶的操作信息，基于該信息，按區(qū)域來分割視頻。
其特征在于上述區(qū)域分類單元從終端接收用戶的操作信息，基于該信息來對區(qū)域進行分類。
本發(fā)明涉及的視頻分布系統(tǒng)的特征在于在從服務器向終端分布視頻的視頻分布系統(tǒng)中，在服務器與終端之間，配置視頻中繼裝置，其具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻，上述視頻中繼裝置的視頻再構(gòu)成單元使分類了的區(qū)域中規(guī)定區(qū)域的視頻的再生速度降低，來再構(gòu)成視頻。
本發(fā)明涉及的視頻分布系統(tǒng)的特征在于在從服務器向終端分布視頻的視頻分布系統(tǒng)中，作為第1視頻中繼裝置及第2視頻中繼裝置，在服務器與終端之間配置2個視頻中繼裝置，其具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻，上述第1視頻中繼裝置使分類了的區(qū)域中規(guī)定區(qū)域的視頻的再生速度降低，來再構(gòu)成視頻，并發(fā)送到上述第2視頻中繼裝置，上述第2視頻中繼裝置使從上述第1視頻中繼裝置接收的視頻恢復到原來的再生速度來進行再構(gòu)成。
其特征在于上述視頻中繼裝置接收來自終端的請求，基于該請求，向終端發(fā)送上述存儲單元中存儲的任意時刻的視頻。
本發(fā)明涉及的視頻分布系統(tǒng)的特征在于在從服務器向終端分布視頻的視頻分布系統(tǒng)中，作為第1視頻中繼裝置及第2視頻中繼裝置，在服務器與終端之間配置2個視頻中繼裝置，其具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻，上述第2視頻中繼裝置接收來自終端的請求，將來自終端的請求發(fā)送到上述第1視頻中繼裝置，上述第1視頻中繼裝置接收來自上述第2中繼裝置的請求，基于該請求，向第2視頻中繼裝置發(fā)送第1視頻中繼裝置的存儲單元中存儲的任意時刻的視頻，上述第2視頻中繼裝置將從第1視頻中繼裝置發(fā)送的視頻存儲到第2視頻中繼裝置的存儲單元，向終端分布。
本發(fā)明涉及的視頻分布系統(tǒng)的特征在于在從服務器向終端分布視頻的視頻分布系統(tǒng)中，在服務器與終端之間，具備第1視頻中繼裝置和第2視頻中繼裝置，上述第1視頻中繼裝置使規(guī)定區(qū)域的視頻的再生速度降低，來再構(gòu)成視頻，并發(fā)送到上述第2視頻中繼裝置，上述第2視頻中繼裝置使從上述第1視頻中繼裝置接收的視頻恢復到原來的再生速度，進行再構(gòu)成。
本發(fā)明涉及的視頻分布系統(tǒng)的特征在于在從服務器向終端分布視頻的視頻分布系統(tǒng)中，在服務器與終端之間，具備第1視頻中繼裝置，其具有存儲視頻的第1存儲單元；第2視頻中繼裝置，其具有存儲視頻的第2存儲單元，上述第2視頻中繼裝置接收來自終端的請求，將來自終端的請求發(fā)送到上述第1視頻中繼裝置，上述第1視頻中繼裝置接收來自上述第2中繼裝置的請求，基于該請求，向第2視頻中繼裝置發(fā)送第1視頻中繼裝置的第1存儲單元中存儲的任意時刻的視頻，上述第2視頻中繼裝置將從第1視頻中繼裝置發(fā)送的視頻存儲到第2視頻中繼裝置的第2存儲單元，向終端分布。
本發(fā)明涉及的視頻中繼方法的特征在于通過通信線路來接收視頻，將所接收的視頻暫時存儲到存儲器，對存儲器中存儲的視頻進行解析，按區(qū)域來對視頻分類，根據(jù)分類結(jié)果，來變更存儲器中存儲的視頻的質(zhì)量，再構(gòu)成視頻，發(fā)送再構(gòu)成的視頻。


圖1是表示實施方式1的視頻中繼裝置100的構(gòu)成例的構(gòu)成圖。
圖2是表示采用了實施方式1的視頻中繼裝置100的視頻分布系統(tǒng)的構(gòu)成例的附圖。
圖3是說明實施方式1的視頻解析單元的動作的附圖。
圖4是表示實施方式2的視頻分布系統(tǒng)構(gòu)成的附圖。
圖5是說明實施方式2的視頻分布的想法的附圖。
圖6是表示實施方式3的接收的視頻示例的附圖。
圖7是說明實施方式3的區(qū)域定義單元及視頻再構(gòu)成單元的動作的附圖。
圖8是表示實施方式4的終端畫面示例的附圖。
圖9是表示基于實施方式5的視頻分布系統(tǒng)的終端400的畫面示例的附圖。
圖10是說明采用了傳統(tǒng)的視頻中繼裝置的視頻分布系統(tǒng)構(gòu)成的附圖。
圖11是說明一般的視頻分布系統(tǒng)的附圖。
圖12是實施方式1的解析分類單元80的動作流程圖。
圖13是實施方式1的視頻再構(gòu)成單元30的動作流程圖。
圖14是表示實施方式1的動態(tài)區(qū)間與靜態(tài)區(qū)間中視頻再構(gòu)成單元30的圖像幀的取舍選擇動作一例的附圖。
圖15是實施方式6的「過去視頻」的嵌入分布的附圖。
圖16是表示進行了實施方式7的圖像一覽顯示的終端400的畫面示例的附圖。
具體實施例方式
實施方式1圖1是表示本發(fā)明的視頻中繼裝置100的構(gòu)成例的構(gòu)成圖。
圖示的各構(gòu)成要素概念性地表示各功能，并非一定與物理構(gòu)成相對應。各構(gòu)成要素在實際中可由計算機的硬件、存儲器、緩沖器、存儲裝置、電子電路、半導體芯片、固件及在計算機上動作的軟件程序來實現(xiàn)。因此下述的所謂「單元」如果可由計算機的硬件、電子電路、半導體芯片、固件及/或在計算機上動作的軟件及/或其組合來實現(xiàn)，則可以是任意一種，在物理上，可以以系統(tǒng)單元、裝置、部件、基片、程序的形式來實現(xiàn)。
此外，「單元」可只由硬件來實現(xiàn)，也可只由軟件來實現(xiàn)，也可由其組合來實現(xiàn)。此外所謂「單元」一詞在考慮實現(xiàn)下述功能的場合下，可置換為「手段」，在考慮實現(xiàn)下述機構(gòu)的場合下，可置換為「機構(gòu)」。同樣，「單元」一詞可置換為「電路」、「軟件」、「程序」、「裝置」詞語。此外可對下述的「單元」進一步分割，形成「分單元」，也可以將2個單元合并，組成1個單元。
圖1表示在傳統(tǒng)的一般視頻分布系統(tǒng)的服務器200與終端400之間插入視頻中繼裝置100的場合。
視頻中繼裝置100具有在接收緩沖器中接收視頻的接收單元10；存儲單元20，其在存儲器中暫時存儲上述接收單元所接收的視頻；解析分類單元80，其解析上述存儲單元20所存儲的視頻，按時間區(qū)間的區(qū)域來對視頻分類；視頻再構(gòu)成單元30，其根據(jù)基于上述解析分類單元80的分類結(jié)果，變更上述存儲單元20所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元40，其從發(fā)送緩沖器發(fā)送由上述視頻再構(gòu)成單元30再構(gòu)成的視頻。
上述解析分類單元80具備視頻解析單元50，其對被攝體與攝像裝置的至少任意一個變化的大小進行解析，并解析視頻，將解析結(jié)果存儲到存儲器；區(qū)域定義單元60，其按時間區(qū)間來分割視頻，對時間區(qū)間的區(qū)域進行定義；區(qū)域分類單元70，其將由上述區(qū)域定義單元定義的區(qū)域分類為動態(tài)區(qū)間和靜態(tài)區(qū)間。
上述區(qū)域定義單元60根據(jù)基于上述視頻解析單元50的解析結(jié)果，來對區(qū)域進行定義，并存儲到存儲器，同時上述區(qū)域分類單元70根據(jù)基于上述視頻解析單元50的解析結(jié)果，來對區(qū)域進行分類，并存儲到存儲器。
上述視頻再構(gòu)成單元30對視頻的取舍選擇、視頻的質(zhì)量變更、視頻的再生速度的至少任意一個進行調(diào)整，變更視頻的質(zhì)量。
上述視頻再構(gòu)成單元30在動態(tài)區(qū)間提高質(zhì)量，來再構(gòu)成視頻。上述視頻再構(gòu)成單元30在靜態(tài)區(qū)間降低質(zhì)量，來再構(gòu)成視頻。
圖2是表示采用了本發(fā)明的視頻中繼裝置100的視頻分布系統(tǒng)的構(gòu)成例的附圖。
這里，作為一例，考慮一種由固定攝像機300來對特定的停車場進行攝影，由遠程終端400來對其進行監(jiān)視的場合。服務器200可以設置到攝像機300附近，也可以設置到別處，經(jīng)由通信線路來連接。由攝像機300攝影的視頻以每秒30幀的間隔被作為數(shù)字數(shù)據(jù)取入到服務器200。服務器200依次發(fā)送從攝像機300取入的視頻。這里，通過RTSP(實時流協(xié)議)來接收來自終端400的發(fā)送請求，通過RTP(實時傳輸協(xié)議)來向請求方終端400發(fā)送視頻。
另一方面，終端400通過在設置于監(jiān)視者所在的場所的桌面型個人計算機中接收視頻并運行再生用程序來實現(xiàn)。經(jīng)由通信線路，將該終端400與服務器200直接連接后，可通過終端400來確認由攝像機300攝影的當前視頻，但在該場合下，視頻的質(zhì)量受到通信線路的傳送容量限制。這里，假設終端400通過調(diào)制解調(diào)器連接等，經(jīng)由因特網(wǎng)服務提供商500來與因特網(wǎng)連接。
在本實施方式中，在因特網(wǎng)服務提供商500中設置視頻中繼裝置100，分別通過通信線路來連接視頻中繼裝置100與終端400、視頻中繼裝置100與服務器200。這里，假設在服務器200與視頻中繼裝置100之間有足夠的傳送容量，1秒內(nèi)可分布30幀視頻。另一方面，假設在視頻中繼裝置100與終端400之間，傳送容量受到限制，1秒內(nèi)只能分布3幀的程度。
以下，對其動作作以說明。
首先，終端400對視頻中繼裝置100發(fā)行請求視頻分布的控制信息。視頻中繼裝置100將該控制信息再向服務器200發(fā)行。服務器200對應于該分布請求，開始向視頻中繼裝置100分布視頻。
視頻中繼裝置100的接收單元10接收從服務器200分布的視頻數(shù)據(jù)，將所接收的數(shù)據(jù)依次存儲到存儲單元20。
區(qū)域定義單元60分割視頻，對區(qū)域進行定義。
這里，對區(qū)域的概念作以說明。
這里，將視頻看作是具有使具有X軸及Y軸的2維視頻數(shù)據(jù)沿著成為Z軸的時間軸排列的XYZ坐標的3維視頻數(shù)據(jù)，將構(gòu)成該3維數(shù)據(jù)排列的一部分的要素集合稱為區(qū)域。即，區(qū)域可由Z軸上的開始時刻、Z軸上的結(jié)束時刻、開始時刻與結(jié)束時刻之間各時刻(Z坐標)中圖像上的位置(XY坐標)來定義。
在本實施方式中，區(qū)域定義單元60不將構(gòu)成由XY坐標組成的1幀的圖像在XY坐標上分割為多個區(qū)域，而將可沿時間軸(Z軸)對視頻進行分割的時間區(qū)間定義為區(qū)域。
作為視頻的分割方法，可以單純地按各規(guī)定的秒數(shù)來分割視頻，以下所示的是一種基于由視頻解析單元50檢測出的被攝體或攝像裝置的變化大小，來進行分割的方法。
首先，對基于視頻解析單元50的被攝體的變化或攝像裝置(攝像機300)的變化的解析作以說明。
這里，所謂被攝體的變化系指比如被攝體的動作、移動、變形等。所謂攝像裝置的變化系指比如攝像機的設置位置的移動、基于攝像機轉(zhuǎn)動等的攝影方向的變更、基于移近/移離的攝像機視角的擴大縮小等。
圖12是解析分類單元80的動作流程圖。
視頻解析單元50為判定被攝體或攝像裝置的變化大小，從存儲單元20讀出視頻(S10)，并進行解析(S11)。變化的大小通過比如比較鄰接的2個幀，對其亮度變化超過一定量的像素數(shù)進行計數(shù)來判定?；蛘哌€有一種方法，在該方法中，通過對各幀像素的顏色、灰度等進行統(tǒng)計性解析，對各幀求出直方圖，并評估直方圖之差，來判定變化的大小。或者還有一種方法，在該方法中，通過圖形匹配等，對構(gòu)成某幀的若干個像素求出其它幀中對應的點，來評估各像素的移動量，由此來判定變化的大小。
區(qū)域定義單元60基于如此求出的變化量，來定義區(qū)域(S12)。即，如圖3所示，在變化量處于規(guī)定量以下的區(qū)間連續(xù)了規(guī)定時間以上的場合下，將該區(qū)間作為靜態(tài)區(qū)間(S13)，將除此之外的區(qū)間作為動態(tài)區(qū)間(S14)。區(qū)域定義單元60通過按靜態(tài)區(qū)間與動態(tài)區(qū)間的切換點來分割視頻，來對區(qū)間進行定義。
區(qū)域分類單元70基于上述靜態(tài)區(qū)間或動態(tài)區(qū)間的定義，來將各區(qū)域分類為靜態(tài)區(qū)間與動態(tài)區(qū)間，并保持分類結(jié)果(S15)。
視頻再構(gòu)成單元30由區(qū)域的取舍選擇或畫質(zhì)的變更等來進行視頻的質(zhì)量調(diào)整，再構(gòu)成視頻。對視頻按靜態(tài)區(qū)間與動態(tài)區(qū)間分類后，具有重要意義的是動態(tài)區(qū)間。在動態(tài)區(qū)間，以高質(zhì)量來傳送從服務器200接收的視頻，在靜態(tài)區(qū)間，可以降低視頻質(zhì)量來傳送。或者也可以在靜態(tài)區(qū)間不進行傳送，只傳送動態(tài)區(qū)間。
這里，視頻中繼裝置100與終端400之間的通信線路可以在1秒內(nèi)只傳送3幀(3fps)。對動態(tài)區(qū)間，為提高視頻的質(zhì)量，將幀速率設定為每秒15幀(15fps)后，為通過該通信線路來進行傳送，有必要將再生速度設至五分之一。另一方面，對靜態(tài)區(qū)間，完全不傳送視頻，或?qū)俾试O為1fps至3fps，降低質(zhì)量來傳送。
這樣，動態(tài)區(qū)間的視頻傳送長于實際時間，而靜態(tài)區(qū)間的視頻傳送則等于或短于實際時間。
在動態(tài)區(qū)間，產(chǎn)生視頻中繼裝置100中的延遲時間，在該延遲時間內(nèi)，存儲單元20對視頻進行存儲。即，延遲時間的增加意味著存儲單元20內(nèi)未分布的剩余視頻量的增加。不過，在監(jiān)視停車場的出入庫之類的場合下，由于動態(tài)區(qū)間被假設為整體中的極小區(qū)間，因而不必擔心因延遲時間而使視頻在存儲單元20內(nèi)無限制地存儲。
反之，在靜態(tài)區(qū)間，當將幀速率設定到1fps后，可使再生速度增至3倍，可縮短延遲時間。這里，在靜態(tài)區(qū)間，對延遲時間即存儲單元20中未分布的剩余視頻量進行監(jiān)視，當延遲時間超過規(guī)定時間時，設定為1fps的視頻質(zhì)量，使再生速度增至3倍，當延遲時間低于規(guī)定時間時，設定為3fps的視頻質(zhì)量，再生速度可以達到正常速度。
圖13是視頻再構(gòu)成單元30的動作流程圖。
圖14是表示動態(tài)區(qū)間與靜態(tài)區(qū)間中視頻再構(gòu)成單元30的圖像幀的取舍選擇動作一例的附圖。
視頻再構(gòu)成單元30按時間軸的順序(時間系列順序)來讀入存儲單元20中存儲的視頻數(shù)據(jù)(圖像幀)(S20)。視頻再構(gòu)成單元30參照區(qū)域分類單元70所保持的分類結(jié)果，來判定所讀入的圖像幀是處于靜態(tài)區(qū)間還是動態(tài)區(qū)間(S21)。
在動態(tài)區(qū)間，為提高視頻質(zhì)量而將幀速率設定為每秒15幀(15fps)后，視頻再構(gòu)成單元30在圖14的從幀1至9的動態(tài)區(qū)間內(nèi)，從每2幀中選擇1幀(S22)。
反之，在靜態(tài)區(qū)間，當將幀速率設定到1fps后，在靜態(tài)區(qū)間，視頻再構(gòu)成單元30對延遲時間即存儲單元20中未分布的剩余視頻量(剩余量)進行監(jiān)視(S23)，比如對于圖14的從幀10至79的各幀，當其延遲時間超過規(guī)定時間(M秒)后，對幀10至79，每30幀選1幀，選出幀10、40、70(S24)，設定1fps左右的視頻質(zhì)量，使再生速度增至3倍。此外比如對于圖14的幀80以后的各幀，當其延遲時間低于規(guī)定時間(M秒)后，對幀80以后的幀，每10幀選1幀，選出幀80、90、100、110...(S25)，設定3fps左右的視頻質(zhì)量，使再生速度達到正常速度。
發(fā)送單元40向終端400發(fā)送由視頻再構(gòu)成單元30再構(gòu)成的視頻。
終端400接收如此再構(gòu)成的視頻，在畫面上顯示。在靜態(tài)區(qū)間，進行正常的再生速度或3倍速度下的再生，在動態(tài)區(qū)間，形成五分之一左右速度的慢速動作視頻。由于用戶所注目的主要是動態(tài)區(qū)間的視頻，因而動態(tài)區(qū)間的視頻按慢速動作來再生這一點是適宜的。
此外在本實施方式中，具有對只由傳統(tǒng)的服務器200與終端400構(gòu)成的視頻分布系統(tǒng)只插入視頻中繼裝置100，而幾乎不變更服務器200及終端400，便可得到上述效果的長處。
在考慮遠程顯示并確認監(jiān)視攝像機的視頻的場合的情況下，不必以高質(zhì)量來顯示所有的視頻，只需有選擇地以高質(zhì)量來顯示發(fā)生了特別事件的區(qū)間及拍攝特定被攝體的位置即可。
如上所述，本實施方式涉及的視頻中繼裝置的特征在于具有接收視頻的接收單元10；存儲單元20，其暫時存儲所接收的視頻；
區(qū)域定義單元60，其分割視頻，對區(qū)域進行定義；區(qū)域分類單元70，其對由該區(qū)域定義單元60定義的區(qū)域進行分類；視頻再構(gòu)成單元30，其根據(jù)基于區(qū)域分類單元70的分類結(jié)果，對由區(qū)域定義單元60定義的區(qū)域的視頻進行取舍選擇或進行質(zhì)量調(diào)整，并再構(gòu)成；發(fā)送單元40，其發(fā)送由視頻再構(gòu)成單元30再構(gòu)成的視頻。
根據(jù)該視頻中繼裝置，由于視頻再構(gòu)成單元30根據(jù)基于區(qū)域分類單元70的區(qū)域信息，按各區(qū)域來進行取舍選擇或質(zhì)量調(diào)整，予以再構(gòu)成，并將再構(gòu)成的視頻發(fā)送到終端400，因而終端400中可按高質(zhì)量來有選擇地顯示出特定區(qū)域。
本實施方式的第一特征在于不對從服務器200發(fā)送來的視頻數(shù)據(jù)進行取舍選擇并存儲到存儲單元20，而將從服務器200發(fā)送來的正常視頻數(shù)據(jù)按原樣存儲到存儲單元20。因此，服務器200中不進行任何變更。第二特征在于對存儲單元20中存儲的視頻進行取舍選擇或進行質(zhì)量調(diào)整，以降低傳送路的負荷。因此，即使發(fā)送側(cè)線路的傳送容量較小，也可以使數(shù)據(jù)量與該發(fā)送側(cè)的傳送容量相匹配。第三特征在于可進行其動態(tài)區(qū)間之類的注目區(qū)域的視頻質(zhì)量較高，而靜態(tài)區(qū)間之類的非注目區(qū)域的視頻質(zhì)量較低的視頻再構(gòu)成。因此，變化大的視頻部分可以按高質(zhì)量來再生視頻。
實施方式2接下來，對在服務器200與終端400之間插入2個視頻中繼裝置的方式作以說明。
2個視頻中繼裝置的構(gòu)成分別與實施方式1大致相同。
圖4是表示本實施方式的視頻分布系統(tǒng)構(gòu)成的附圖。
在本例中，第1視頻中繼裝置101與實施方式1同樣，設置于因特網(wǎng)服務提供商等內(nèi)。第2視頻中繼裝置102設置于比如與終端400同一的結(jié)構(gòu)內(nèi)，通過結(jié)構(gòu)內(nèi)的LAN(局域網(wǎng))來與終端400連接。假設在第1視頻中繼裝置101與服務器200之間，以及第2視頻中繼裝置102與終端400之間，分別具有足夠的傳送容量，1秒內(nèi)可分布30幀視頻。另一方面，假設在第1視頻中繼裝置101與第2視頻中繼裝置102之間，1秒內(nèi)只能傳送3幀的程度。
以下，對其動作作以說明。
首先，終端400對第2視頻中繼裝置102發(fā)行請求視頻分布的控制信息。第2視頻中繼裝置102將該控制信息再向第1視頻中繼裝置101傳送。第1視頻中繼裝置101再將該控制信息向服務器200發(fā)行。服務器200對應于該分布請求，開始向第1視頻中繼裝置101分布視頻。
第1視頻中繼裝置101的動作與實施方式1基本相同。但是發(fā)送單元40不是向終端400，而是向第2視頻中繼裝置102發(fā)送視頻。
以下，對第2視頻中繼裝置102的動作作以說明。
接收單元10接收從第1視頻中繼裝置101分布的視頻數(shù)據(jù)，將所接收的數(shù)據(jù)依次存儲到存儲單元20。區(qū)域定義單元60對視頻進行分割，定義區(qū)域。視頻的分割與第1視頻中繼裝置101相同，可以利用基于視頻解析單元50的視頻解析結(jié)果，也可以經(jīng)由通信線路來傳送第1視頻中繼單元中的區(qū)域定義結(jié)果。
此外，區(qū)域分類單元70將各區(qū)域分類為靜態(tài)區(qū)間和動態(tài)區(qū)間，并保持分類結(jié)果。該分類與第1視頻中繼裝置101同樣，可以利用基于視頻解析單元50的視頻解析結(jié)果，也可以經(jīng)由通信線路來傳送第1視頻中繼裝置101中的區(qū)域定義結(jié)果。
第2視頻中繼裝置102的視頻再構(gòu)成單元30再構(gòu)成視頻。由于在接收時其動態(tài)區(qū)間的視頻再生速度達到五分之一，因而這里使再生速度恢復到原來的再生速度。
圖5是說明基于上述考慮的視頻分布的附圖。
橫軸表示時間?？v左軸表示視頻數(shù)據(jù)的轉(zhuǎn)送與再構(gòu)成的順序。視頻數(shù)據(jù)的高度(圖面的上下幅度)表示視頻數(shù)據(jù)的質(zhì)量。
首先，在服務器200側(cè)的第1視頻中繼裝置101中，通過降低畫質(zhì)或幀速率，對判定為靜態(tài)區(qū)間的區(qū)域，生成降低了質(zhì)量的視頻，并將其傳送到終端400側(cè)的第2視頻中繼裝置102。在第1視頻中繼裝置101的視頻再構(gòu)成單元30中，為降低各幀的畫質(zhì)，可以使由服務器200壓縮后所接收的數(shù)據(jù)一次擴展，再次降低質(zhì)量并壓縮，在JPEG(聯(lián)合圖像專家組)規(guī)范下的級進式可階段擴展壓縮形式的場合下，可以只從數(shù)據(jù)中取出必要的部分來傳送。此外在第1視頻中繼裝置101的視頻再構(gòu)成單元30中，為降低幀速率，如果比如每隔1幀來取出1幀并進行傳送，便可使幀速率下降一半。這里，假設在第1視頻中繼裝置101的視頻再構(gòu)成單元30中，使30fps的視頻幀速率下降到1fps至3fps。這樣，可通過在1秒內(nèi)可傳送3幀的通信線路來進行傳送。第1視頻中繼裝置101的視頻再構(gòu)成單元30對判定為動態(tài)區(qū)間的區(qū)域，減少質(zhì)量的下降。這里，設定為15fps。為通過上述通信線路來進行傳送，有必要使再生速度降至五分之一。
這樣，在從第1視頻中繼裝置101向第2視頻中繼裝置102的傳送中，在靜態(tài)區(qū)間，由于通過可在1秒內(nèi)傳送3幀的通信線路，按照1fps至3fps的傳送速度來傳送視頻，因而成為正常的再生速度或稍快速度的視頻，在動態(tài)區(qū)間，由于通過可在1秒內(nèi)傳送3幀的通信線路，按照15fps的傳送速度來傳送視頻，因而成為慢速動作視頻。在第2視頻中繼裝置102的視頻再構(gòu)成單元30中，使視頻恢復原速度來再構(gòu)成。即，在動態(tài)區(qū)間，使各幀之間的間隔降至1/5左右，使其與30fps的圖像再生速度相同，來再構(gòu)成視頻，在靜態(tài)區(qū)間，使各幀之間的間隔擴展10～30倍，使其與30fps的圖像再生速度相同，來再構(gòu)成視頻。
發(fā)送單元40將再構(gòu)成的視頻發(fā)送到終端400。在終端400，在靜態(tài)區(qū)間成為低質(zhì)量的視頻，但在動態(tài)區(qū)間，可見到高質(zhì)量的視頻。
實施方式3該實施方式以由固定攝像機300來監(jiān)視在海上航行的船舶的場合為例來進行說明。
視頻中繼裝置的構(gòu)成和視頻分布系統(tǒng)的構(gòu)成與實施方式1的圖1、圖2大體相同。
在該實施方式中，對不按時間軸(Z軸)方向來區(qū)分區(qū)域，而在幀內(nèi)(XY軸)區(qū)分區(qū)域的場合作以說明。
以下對動作作以說明。
接收單元10接收從服務器200分布的視頻數(shù)據(jù)，存儲到存儲單元20。圖6表示所接收的視頻的示例。這里，假設各幀的像素數(shù)比如在X軸為1024像素，在Y軸為768像素(1024*768像素)。在構(gòu)成視頻的各幀中，根據(jù)時間的推移，對船舶自右向左行駛來移動的狀態(tài)進行攝像。
區(qū)域定義單元60根據(jù)基于視頻解析單元50的被攝體移動的檢測結(jié)果來對區(qū)域進行定義。
視頻解析單元50比如按以下方法來求出被攝體的移動。首先，生成2個視頻幀的差異圖像，然后只抽出移動中的船舶區(qū)域。對所抽出的船舶區(qū)域，在2個視頻幀之間進行圖形匹配，然后便可判定該區(qū)域如何運動。
這種幀間匹配可在每當接收視頻幀時，在與前一視頻幀之間進行，也可以比如按每秒來有選擇地取出視頻幀，只以所選擇的幀為對象來進行。對如此獲得的移動信息進行綜合后，便可獲知一系列的幀串中其被攝體如何運動。
區(qū)域定義單元60基于由視頻解析單元50檢測出的被攝體的移動信息，來分割為被攝體所在的區(qū)域及除此之外的區(qū)域。
此外，區(qū)域分類單元70對所分割的各區(qū)域進行分類。這里，將區(qū)域分類為被攝體所在的注目區(qū)域及被攝體不在的非注目區(qū)域，并保持分類結(jié)果。
視頻再構(gòu)成單元30基于由區(qū)域分類單元70分類的區(qū)域的信息，來再構(gòu)成視頻。如果以高畫質(zhì)按原樣來傳送從服務器200接收的視頻，則需要比實際時間更長的時間，因而對按各分類來定義的被攝體區(qū)域以外的區(qū)域，降低其質(zhì)量，或者省略傳送。視頻再構(gòu)成單元30在圖7的示例中，只取出被攝體所在的由虛線表示的注目區(qū)域來傳送，對非注目區(qū)域省略傳送。即，在1024*768像素的各幀中，將區(qū)域所在的范圍作為剪貼范圍來取出圖像并再構(gòu)成。這里的所謂再構(gòu)成意味著比如與切換終端400的顯示畫面顯示模式的指示一起，不增加取出的數(shù)據(jù)量，按原樣將切出的視頻數(shù)據(jù)發(fā)送到終端400。比如，視頻再構(gòu)成單元30在幀a中，切出128*96像素，將128*96像素的圖像數(shù)據(jù)與使1024*768像素在終端400的畫面上擴大顯示的指令一起發(fā)送?；蛘?，不增加所取出的數(shù)據(jù)量，擴大所取出的數(shù)據(jù)來傳送。
這是因為通過省略拍攝被攝體的區(qū)域以外的視頻，可不降低拍攝被攝體的區(qū)域的質(zhì)量。
各幀a，b，c，d的傳送量按以下方式減少。
幀a(128*96)/(1024*768)＝0.015幀b(256*192)/(1024*768)＝0.062幀c(512*384)/(1024*768)＝0.254
幀d(768*576)/(1024*768)＝0.562在圖例中，完全省略所選擇區(qū)域之外的區(qū)域，使所選擇的區(qū)域在終端400的畫面上完全放大，但作為其它方法，也可以考慮只使所選擇的區(qū)域達到高質(zhì)量，而降低其它區(qū)域的質(zhì)量來再構(gòu)成。
如此再構(gòu)成的視頻由發(fā)送單元40來傳送到終端400。
根據(jù)上述方法，由于對被攝體所在區(qū)域以外的區(qū)域，降低其質(zhì)量或省略傳送，因而即使在受限的傳送容量下，對被攝體所在區(qū)域，也可進行高畫質(zhì)或高幀速率的分布。
實施方式4在上述實施方式1、2、3中，表示了區(qū)域定義單元60或區(qū)域分類單元70根據(jù)基于視頻解析單元50的視頻解析結(jié)果，來進行區(qū)域定義或分類的方式，以下表示一種基于終端400中的用戶操作，來進行時間軸(Z軸)上的區(qū)域即時間區(qū)間區(qū)域的定義或分類的方式。
該實施方式的視頻分布系統(tǒng)的構(gòu)成與實施方式2相同，如圖4所示，在服務器200側(cè)與終端400側(cè)，分別配備視頻中繼裝置101、102，通過通信線路來將其連接。這里同樣，假設將通過通信線路來連接了2個視頻中繼裝置101、102的系統(tǒng)綜合看作是1個視頻中繼裝置100。
假設視頻中繼裝置101中，具有從終端400接收用戶的操作信息的操作信息接收單元，視頻中繼裝置101與終端400可雙向通信。此外假設視頻中繼裝置102中，具有接收來自視頻中繼裝置101的請求的請求接收單元，視頻中繼裝置102與視頻中繼裝置101可雙向通信。
此時，假設在服務器200與視頻中繼裝置100之間以及視頻中繼裝置100與終端400之間，具有每秒傳送30幀的容量，另一方面，在視頻中繼裝置100內(nèi)，在1秒內(nèi)可從服務器200側(cè)的第1視頻中繼裝置101向終端400側(cè)的第2視頻中繼裝置102傳送3幀的程度。
服務器200側(cè)的第1視頻中繼裝置101在1秒內(nèi)從服務器200接收30幀視頻，并存儲到存儲單元20。由于在1秒內(nèi)只能從服務器200側(cè)的第1視頻中繼裝置101向終端400側(cè)的第2視頻中繼裝置102傳送3幀視頻，因而終端400側(cè)的第2視頻中繼裝置102的視頻再構(gòu)成單元30再構(gòu)成使幀速率下降至十分之一的視頻，在1秒內(nèi)，向終端400側(cè)的第1視頻中繼裝置101傳送3個視頻。終端400側(cè)的第2視頻中繼裝置102在1秒內(nèi)接收3幀視頻，發(fā)送到終端400。在終端400的畫面上，從視頻中繼裝置100傳送來的視頻按照每秒3幀的間隔來依次顯示。
接下來，假設用戶在顯示于終端400的視頻中發(fā)現(xiàn)了某個應注目的現(xiàn)象。用戶通過終端400中的操作，來指定顯示出應注目的現(xiàn)象的視頻中的區(qū)域。這里，如上所述，其區(qū)域由開始時刻、結(jié)束時刻及各時刻下圖像中的位置來規(guī)定。作為用戶通過終端400中的操作來指定視頻中的區(qū)域的方法，比如有以下方法。
即，如圖8所示，在畫面上顯示出按鈕，在用戶發(fā)現(xiàn)了應注目的現(xiàn)象時，點擊該鈕。將點擊按鈕時所顯示出的視頻時刻的數(shù)秒前及數(shù)秒后分別看作是區(qū)域的開始及結(jié)束時刻，將該信息傳送到視頻中繼裝置100(第2視頻中繼裝置102)。視頻中繼裝置100的第2視頻中繼裝置102的區(qū)域定義單元60基于該信息，將相應區(qū)間作為區(qū)域來定義。
或者，也可以考慮一種用戶直接點擊終端400的畫面上所注目的被攝體的方法。將點擊時所顯示出的視頻時刻的數(shù)秒前及數(shù)秒后分別看作是區(qū)域的開始及結(jié)束時刻，將被點擊位置周圍的規(guī)定范圍看作是區(qū)域的位置，將該信息傳送到視頻中繼裝置100(第2視頻中繼裝置102)后，視頻中繼裝置100的第2視頻中繼裝置102的區(qū)域定義單元60基于該位置及時間信息，來對區(qū)域進行定義。
由這些方法定義的區(qū)域再由第2視頻中繼裝置102的區(qū)域分類單元70來分類為注目區(qū)域。
第2視頻中繼裝置102將注目區(qū)域通報到第1視頻中繼裝置101。第1視頻中繼裝置101的區(qū)域分類單元70保持該注目區(qū)域。
在該時點下，注目區(qū)域的再生正在進行中，而第1視頻中繼裝置101與第2視頻中繼裝置102的視頻再構(gòu)成單元30再次返回注目區(qū)域的起點，以不同于正常的方法來再構(gòu)成視頻。通常，考慮到通信線路的傳送容量，使幀速率降至十分之一來再構(gòu)成，但對于注目區(qū)域，使幀速率達到每秒15幀，即達到二分之一。如果將該視頻按原樣來傳送，則將超過傳送容量，因而在第1視頻中繼裝置101中使再生速度降至五分之一來傳送，在第2視頻中繼裝置102中，進行使再生速度復原的處理。如果基于用戶的注目區(qū)域的指定在結(jié)束了該區(qū)域的分布之后進行，則第2視頻中繼裝置102已經(jīng)接收了低質(zhì)量的視頻，因而低質(zhì)量的視頻應被存儲到存儲單元20。由于在第1視頻中繼裝置101中，從服務器200接收的高質(zhì)量的視頻應按原樣存儲，因而第2視頻中繼裝置102的視頻再構(gòu)成單元30可以對向第1視頻中繼裝置101的視頻再構(gòu)成單元30請求不足部分的視頻數(shù)據(jù)。第2視頻中繼裝置102的視頻再構(gòu)成單元30可從第1視頻中繼裝置101的視頻再構(gòu)成單元30接收不足部分，結(jié)合已存儲的低質(zhì)量的視頻，再構(gòu)成高質(zhì)量的視頻來分布。
如果將從注目區(qū)域的開始時刻至結(jié)束時刻為止的這一期間設為5秒，則從第1視頻中繼裝置101向第2視頻中繼裝置102傳送再構(gòu)成的視頻需要25秒。第2視頻中繼裝置102等待從第1視頻中繼裝置101的視頻再構(gòu)成單元30向第2視頻中繼裝置102的存儲單元20傳送再構(gòu)成視頻的結(jié)束，第2視頻中繼裝置102的視頻再構(gòu)成單元30讀出第2視頻中繼裝置102的存儲單元20中存儲的視頻，并進行再生后，在終端400，對注目區(qū)域可以按15fps來再生視頻。
此外在分布該注目區(qū)域視頻的期間，從服務器來分布下一個非注目區(qū)域的視頻，但該視頻也可以存儲到第1視頻中繼裝置101的存儲單元20，從第1視頻中繼裝置101向第2視頻中繼裝置102的注目區(qū)域分布結(jié)束后，轉(zhuǎn)入該非注目區(qū)域的視頻分布。
實施方式5在以下的實施方式中，區(qū)域定義單元60根據(jù)基于視頻解析單元50的視頻解析結(jié)果來進行區(qū)域的定義，接著由終端400中的用戶操作來對區(qū)域進行分類。
該實施方式下的視頻分布系統(tǒng)的構(gòu)成與實施方式4同樣，如圖4所示，在服務器200側(cè)與終端400側(cè)，分別配置視頻中繼裝置101、102，通過通信線路對其進行連接。這里同樣，假設將通過通信線路來連接了2個視頻中繼裝置101、102的系統(tǒng)綜合看作是一個視頻中繼裝置100。
本實施方式的視頻分布系統(tǒng)的動作與實施方式3相同，以下對其不同點作以說明。
第1視頻中繼裝置101的區(qū)域定義單元60與實施方式1同樣，對區(qū)域的信息進行定義。第1視頻中繼裝置101經(jīng)由第2視頻中繼裝置102，將區(qū)域信息發(fā)送到終端400。
圖9是基于本實施方式的視頻分布系統(tǒng)的終端400的畫面示例。
畫面上的視頻顯示部是顯示與實施方式4同樣的視頻的部分，區(qū)域信息顯示部是顯示由第1視頻中繼裝置101的區(qū)域定義單元60定義，并經(jīng)由第2視頻中繼裝置102來發(fā)送到終端400的區(qū)域信息的部分。在圖例中，與實施方式1同樣，按照由第1視頻中繼裝置101的區(qū)域定義單元60基于視頻的變化量來分割視頻并進行了定義的各區(qū)域，以曲線形式來顯示視頻的變化量。這里，區(qū)域信息顯示部下部的數(shù)字是表示以當前時刻為基準，若干秒之前的數(shù)字。在該例中，區(qū)域信息顯示部中以曲線形式來表示變化量，但也可以縮小各區(qū)域的代表圖像來進行顯示。
用戶參考該區(qū)域信息顯示部的顯示，來選擇應注目的區(qū)域。通過點擊區(qū)域顯示部的相應部分等來指示所選擇的區(qū)域后，所選擇的區(qū)域的信息被傳送到視頻中繼裝置100。視頻中繼裝置100的區(qū)域分類單元70將該區(qū)域分類為注目區(qū)域。
視頻中繼裝置100內(nèi)的動作與實施方式4同樣，視頻中繼裝置100讀出并再構(gòu)成被分類為注目區(qū)域的區(qū)域。
通過上述動作，用戶通過在視頻中繼裝置100中從由視頻解析單元50定義的區(qū)域中選擇應注目的區(qū)域，在畫面上對其進行指示，可以按高質(zhì)量的視頻來確認所選擇的區(qū)域。在該實施方式中，由于向用戶提示由區(qū)域定義單元60自動定義的區(qū)域信息，由用戶選擇欲按高質(zhì)量來確認的區(qū)域，因而與實施方式4相比，可簡化用戶指定區(qū)域的操作。
實施方式6對實施方式1(以及實施方式3)中記述的第2視頻中繼裝置102，設置了從終端400接收用戶操作信息的操作信息接收單元，對視頻中繼裝置中的存儲單元20進行了擴展，以便接收來自終端的用戶操作信息，并基于該信息，將存儲單元20內(nèi)存儲的任意時刻的視頻作為發(fā)送對象。本實施方式中的視頻分布系統(tǒng)的構(gòu)成與實施方式1相同。
在圖2中的終端400中，在比如向視頻中繼裝置100請求了希望觀看當前分布來的視頻攝影時刻3秒前的視頻的場合下，視頻中繼裝置100的存儲單元20調(diào)查是否存儲了該時刻的視頻，如果已存儲，則將其分布到終端400。在下文中將從終端400請求的指定時刻的視頻稱為「過去視頻」。此外，「過去視頻」在這里表示指定時刻的1幀視頻。此時，假設在視頻中繼裝置100與終端400之間，由實施方式1中所說明的機構(gòu)來控制分布視頻。在這種場合下，比如如圖15所示，通過嵌入「過去視頻」來進行分布，可以對其它分布不產(chǎn)生過大的影響，來分布「過去視頻」。圖15中，上段表示正常分布的狀態(tài)。下段表示在正常分布的8幀與9幀之間嵌入1幀「過去視頻」的狀態(tài)。此外，比如在「過去視頻」的場合下，通過將意味著是從終端400請求的時刻的識別數(shù)據(jù)(ID)附加到視頻來發(fā)送，可以在終端400中與正常的視頻分布相區(qū)別來接收數(shù)據(jù)。這樣，在終端400的顯示畫面上的其它窗口中，「過去視頻」可作為靜止畫面來持續(xù)顯示，在監(jiān)視時可再次詳細察看異常點。此外在本圖15中，「過去視頻」表示存儲單元20中存在的1個幀，但如實施方式1所述，也可以將所指定時刻的前后數(shù)秒時間作為區(qū)域來指定。在該場合下，比如在終端400中，可以進行基于反復請求該部分的視頻放像機等中的重復再生。即，可進行動畫重放。在本實施方式中，表示了一種在正常視頻分布中嵌入「過去視頻」的分布方法，但也可以采用在將「過去視頻」作為區(qū)域來規(guī)定的場合下，使正常的視頻分布直至「過去視頻」分布結(jié)束才停止或取消的方法。
根據(jù)上述構(gòu)成，通過利用本實施方式中的視頻中繼裝置，可追溯過去，再確認視頻。
實施方式7本實施方式中的視頻分布系統(tǒng)的構(gòu)成與實施方式2(以及實施方式4及5)相同，如圖4所示。對實施方式4中記述的第1視頻中繼裝置101中的存儲單元20進行了擴展，以接收來自第2視頻中繼裝置102的請求，并基于該請求，將存儲單元20內(nèi)存儲的任意時刻的視頻作為發(fā)送對象。此外對第2視頻中繼裝置102中的存儲單元20進行了擴展，以接收來自終端400的請求，對存儲單元20內(nèi)存儲的視頻進行一覽顯示。
假設用戶在顯示于終端400的視頻中發(fā)現(xiàn)了某個應注目的現(xiàn)象。用戶通過終端400中的操作，來請求第2視頻中繼裝置102內(nèi)存儲單元20中存儲的視頻幀一覽。在終端400中，比如如圖16所示，在顯示畫面上對該結(jié)果進行一覽顯示。在圖16中，點擊右滾動鈕后，按時間先后顯示出新的視頻(t+x中x值增加)，反之點擊左滾動鈕后，按時間先后顯示出舊的視頻(t-x中x值增加)。由此可指定希望觀看的時刻的視頻。由用戶操作，通過終端400指定了所希望觀看的時刻后，該請求經(jīng)由第2視頻中繼裝置102被發(fā)送到第1視頻中繼裝置101。第1視頻中繼裝置101接收請求后，確認存儲單元20中是否存在所請求時刻的視頻，在存在的場合下，將其向第2視頻中繼裝置102分布。此外這里的分布機構(gòu)可采用實施方式6中說明的方法。即，所請求的視頻被嵌入到正常分布中來分布，此外由附加于所請求的視頻的識別數(shù)據(jù)(ID)，可識別為是從第2視頻中繼裝置102請求的視頻。這樣，與實施方式6同樣，所請求的視頻可持續(xù)在終端400上顯示。
通過上述構(gòu)成，由于第2視頻中繼裝置102中只存儲所分布來的質(zhì)量下的視頻，因而可利用它來將一覽提供給終端400，在終端400，由用戶操作，可從一覽顯示中請求任意時刻的視頻，從第1視頻中繼裝置101來分布視頻，因而對在進行監(jiān)視時，希望在更高的畫質(zhì)狀態(tài)下來觀察所發(fā)現(xiàn)的異常變化的場合等是有效的。
產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明的最佳實施方式，由于視頻再構(gòu)成單元對由解析分類單元分類了的區(qū)域再構(gòu)成視頻，并將再構(gòu)成的視頻發(fā)送到終端，因而在采用了傳送容量有限的通信單元的視頻分布系統(tǒng)中，通過在服務器與終端之間插入視頻中繼裝置，可以以高質(zhì)量來顯示視頻并進行確認。
此外根據(jù)本發(fā)明的最佳實施方式，可以對視頻的取舍選擇、視頻的畫質(zhì)變更、視頻的再生速度的至少任意一個進行調(diào)整，視頻再構(gòu)成單元可變更視頻的質(zhì)量。
此外根據(jù)本發(fā)明的最佳實施方式，視頻再構(gòu)成單元對由區(qū)域定義單元定義的區(qū)域，可根據(jù)由區(qū)域分類單元分類的結(jié)果來再構(gòu)成視頻。
根據(jù)本發(fā)明的最佳實施方式，由于視頻解析單元具備解析視頻的視頻解析單元，因而區(qū)域定義單元可根據(jù)基于上述視頻解析單元的解析結(jié)果，來對區(qū)域進行定義，同時區(qū)域分類單元可根據(jù)基于視頻解析單元的解析結(jié)果，來對區(qū)域進行分類。
根據(jù)本發(fā)明的最佳實施方式，視頻解析單元對被攝體或攝像裝置的變化大小進行解析，視頻再構(gòu)成單元按沿時間軸分割的各區(qū)間，基于被攝體或攝像裝置的變化大小，使再生速度變化來再構(gòu)成視頻，因而可以以高質(zhì)量來有選擇地顯示變化大的場景并進行確認。
根據(jù)本發(fā)明的最佳實施方式，視頻解析單元檢測出被攝體的移動，視頻再構(gòu)成單元根據(jù)在各時刻被攝體的拍攝位置，來再構(gòu)成視頻，因而可以以高質(zhì)量來有選擇地顯示特定被攝體的拍攝部分并進行確認。
根據(jù)本發(fā)明的最佳實施方式，區(qū)域定義單元或區(qū)域分類單元通過接收用戶的請求，來進行視頻區(qū)間的定義或分類，因而可以以高質(zhì)量來有選擇地顯示用戶希望詳細觀看的部分并進行確認。
根據(jù)本發(fā)明的最佳實施方式，由于在服務器與終端之間配置視頻中繼裝置，因而可獲得即使利用傳送容量有限的通信路，也可以以高質(zhì)量來顯示特定的場景并進行確認的視頻分布系統(tǒng)。
權(quán)利要求
1.一種視頻中繼裝置，其特征在于具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻。
2.權(quán)利要求1中記載的視頻中繼裝置，其特征在于上述視頻再構(gòu)成單元對視頻的取舍選擇、視頻的畫質(zhì)變更、視頻的再生速度的至少任意一個進行調(diào)整，變更視頻的質(zhì)量。
3.權(quán)利要求1中記載的視頻中繼裝置，其特征在于上述解析分類單元具有區(qū)域定義單元，其按所注目的區(qū)間來分割視頻，并定義注目區(qū)；區(qū)域分類單元，其對由上述區(qū)域定義單元定義的區(qū)域進行分類。
4.權(quán)利要求3中記載的視頻中繼裝置，其特征在于上述解析分類單元還具備解析視頻的視頻解析單元，上述區(qū)域定義單元根據(jù)基于上述視頻解析單元的解析結(jié)果，來對區(qū)域進行定義，同時上述區(qū)域分類單元根據(jù)基于上述視頻解析單元的解析結(jié)果，來對區(qū)域進行分類。
5.權(quán)利要求4中記載的視頻中繼裝置，其特征在于上述視頻解析單元對被攝體與攝像裝置至少任意一個的變化的大小進行解析，上述區(qū)域分類單元基于被攝體與攝像裝置至少任意一個的變化的大小，來將區(qū)域分類為動態(tài)區(qū)間和靜態(tài)區(qū)間，上述視頻再構(gòu)成單元在動態(tài)區(qū)間提高質(zhì)量，來再構(gòu)成視頻。
6.權(quán)利要求4中記載的視頻中繼裝置，其特征在于上述視頻解析單元對被攝體與攝像裝置至少任意一個的變化的大小進行解析，上述區(qū)域分類單元基于被攝體與攝像裝置至少任意一個的變化的大小，來將區(qū)域分類為動態(tài)區(qū)間和靜態(tài)區(qū)間，上述視頻再構(gòu)成單元在靜態(tài)區(qū)間降低質(zhì)量，來再構(gòu)成視頻。
7.權(quán)利要求4中記載的視頻中繼裝置，其特征在于上述視頻解析單元檢測被攝體的移動，上述區(qū)域分類單元將區(qū)域分類為被攝體存在區(qū)和被攝體不存在區(qū)，上述視頻再構(gòu)成單元選擇被攝體存在區(qū)，來再構(gòu)成視頻。
8.權(quán)利要求3中記載的視頻中繼裝置，其特征在于上述區(qū)域定義單元從終端接收用戶的操作信息，基于該信息，按區(qū)域來分割視頻。
9.權(quán)利要求3中記載的視頻中繼裝置，其特征在于上述區(qū)域分類單元從終端接收用戶的操作信息，基于該信息來對區(qū)域進行分類。
10.一種從服務器向終端分布視頻的視頻分布系統(tǒng)，其特征在于在服務器與終端之間，配置視頻中繼裝置，其具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻，上述視頻中繼裝置的視頻再構(gòu)成單元使分類了的區(qū)域中規(guī)定區(qū)域的視頻的再生速度降低，來再構(gòu)成視頻。
11.一種從服務器向終端分布視頻的視頻分布系統(tǒng)，其特征在于作為第1視頻中繼裝置及第2視頻中繼裝置，在服務器與終端之間配置2個視頻中繼裝置，其具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻，上述第1視頻中繼裝置使分類了的區(qū)域中規(guī)定區(qū)域的視頻的再生速度降低，來再構(gòu)成視頻，并發(fā)送到上述第2視頻中繼裝置，上述第2視頻中繼裝置使從上述第1視頻中繼裝置接收的視頻恢復到原來的再生速度來進行再構(gòu)成。
12.權(quán)利要求1中記載的視頻中繼裝置，其特征在于上述視頻中繼裝置接收來自終端的請求，基于該請求，向終端發(fā)送上述存儲單元中存儲的任意時刻的視頻。
13.一種從服務器向終端分布視頻的視頻分布系統(tǒng)，其特征在于作為第1視頻中繼裝置及第2視頻中繼裝置，在服務器與終端之間配置2個視頻中繼裝置，其具有接收視頻的接收單元；存儲單元，其暫時存儲上述接收單元所接收的視頻；解析分類單元，其解析上述存儲單元所存儲的視頻，按區(qū)域來對視頻分類；視頻再構(gòu)成單元，其根據(jù)基于上述解析分類單元的分類結(jié)果，變更上述存儲單元所存儲的視頻的質(zhì)量，來再構(gòu)成視頻；發(fā)送單元，其發(fā)送由上述視頻再構(gòu)成單元再構(gòu)成的視頻，上述第2視頻中繼裝置接收來自終端的請求，將來自終端的請求發(fā)送到上述第1視頻中繼裝置，上述第1視頻中繼裝置接收來自上述第2中繼裝置的請求，基于該請求，向第2視頻中繼裝置發(fā)送第1視頻中繼裝置的存儲單元中存儲的任意時刻的視頻，上述第2視頻中繼裝置將從第1視頻中繼裝置發(fā)送的視頻存儲到第2視頻中繼裝置的存儲單元，向終端分布。
14.一種從服務器向終端分布視頻的視頻分布系統(tǒng)，其特征在于在服務器與終端之間，具備第1視頻中繼裝置和第2視頻中繼裝置，上述第1視頻中繼裝置使規(guī)定區(qū)域的視頻的再生速度降低，來再構(gòu)成視頻，并發(fā)送到上述第2視頻中繼裝置，上述第2視頻中繼裝置使從上述第1視頻中繼裝置接收的視頻恢復到原來的再生速度，進行再構(gòu)成。
15.一種從服務器向終端分布視頻的視頻分布系統(tǒng)，其特征在于在服務器與終端之間，具備第1視頻中繼裝置，其具有存儲視頻的第1存儲單元；第2視頻中繼裝置，其具有存儲視頻的第2存儲單元，上述第2視頻中繼裝置接收來自終端的請求，將來自終端的請求發(fā)送到上述第1視頻中繼裝置，上述第1視頻中繼裝置接收來自上述第2中繼裝置的請求，基于該請求，向第2視頻中繼裝置發(fā)送第1視頻中繼裝置的第1存儲單元中存儲的任意時刻的視頻，上述第2視頻中繼裝置將從第1視頻中繼裝置發(fā)送的視頻存儲到第2視頻中繼裝置的第2存儲單元，向終端分布。
16.一種視頻中繼方法，其特征在于通過通信線路來接收視頻，將所接收的視頻暫時存儲到存儲器，對存儲器中存儲的視頻進行解析，按區(qū)域來對視頻分類，根據(jù)分類結(jié)果，來變更存儲器中存儲的視頻的質(zhì)量，再構(gòu)成視頻，發(fā)送再構(gòu)成的視頻。
全文摘要
通過在傳統(tǒng)的一般視頻分布系統(tǒng)的服務器200與終端400之間插入視頻中繼裝置100，即使在視頻中繼裝置中不能事先存儲視頻的場合下，在采用了傳送容量有限的通信單元的視頻分布系統(tǒng)中，也可以高質(zhì)量地顯示視頻。視頻中繼裝置100中具有接收視頻的接收單元10；存儲單元20，其暫時存儲所接收的視頻；區(qū)域定義單元60，其分割視頻，對區(qū)域進行定義；區(qū)域分類單元70，其對由該區(qū)域定義單元60定義的區(qū)域進行分類；視頻再構(gòu)成單元30，其根據(jù)基于區(qū)域分類單元70的分類結(jié)果，對由區(qū)域定義單元60定義的區(qū)域的視頻進行取舍選擇或進行質(zhì)量調(diào)整，并再構(gòu)成；發(fā)送單元40，其發(fā)送由視頻再構(gòu)成單元30再構(gòu)成的視頻。
文檔編號H04N7/16GK1522535SQ03800580
公開日2004年8月18日 申請日期2003年4月1日 優(yōu)先權(quán)日2002年4月3日
發(fā)明者脅本浩司, 史郎, 神田準史郎, 利, 葉谷晉利, 島光秀 申請人:三菱電機株式會社