專利名稱：發(fā)送裝置及發(fā)送方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)的裝置及其方法。
背景技術(shù)：
傳統(tǒng)上，已知一種稱為跳幀(frame skipping)的技術(shù)。根據(jù)該跳幀技術(shù)，當(dāng)實(shí)時(shí)發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)，可以根據(jù)通信狀態(tài)來(lái)刪除待發(fā)送的幀。美國(guó)專利公開(kāi)第2004/010M94 號(hào)論述了一種方法，該方法在將運(yùn)動(dòng)圖像數(shù)據(jù)發(fā)送給多個(gè)接收裝置時(shí)阻塞(block) —些幀。根據(jù)在與各接收裝置通信時(shí)使用的通信頻帶來(lái)阻塞這些幀。然而，如果使用該方法，則通過(guò)跳幀可能會(huì)刪除重要幀。

發(fā)明內(nèi)容
本發(fā)明旨在降低由于跳幀而刪除重要幀的可能性。根據(jù)本發(fā)明的一個(gè)方面，提供一種被構(gòu)造成向其他裝置發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)的發(fā)送裝置，該發(fā)送裝置包括輸入單元，其被構(gòu)造成輸入運(yùn)動(dòng)圖像數(shù)據(jù)；發(fā)送單元，其被構(gòu)造成發(fā)送由所述輸入單元輸入的運(yùn)動(dòng)圖像數(shù)據(jù)；以及排除單元，其被構(gòu)造成，如果根據(jù)所述發(fā)送單元的發(fā)送狀態(tài)而要從所述發(fā)送單元要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除一些由所述輸入單元輸入的運(yùn)動(dòng)圖像數(shù)據(jù)，則從所述發(fā)送單元要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除由所述輸入單元輸入的運(yùn)動(dòng)圖像數(shù)據(jù)中的、與事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。通過(guò)以下參照附圖對(duì)示例性實(shí)施例的詳細(xì)描述，本發(fā)明的其他特征和方面將變得清楚。


包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)的一部分的附圖例示了本發(fā)明的示例性實(shí)施例、特征和方面，并且與文字說(shuō)明一起用來(lái)解釋本發(fā)明的原理。圖1是示出根據(jù)本發(fā)明的第一示例性實(shí)施例的發(fā)送裝置的功能結(jié)構(gòu)的框圖。圖2是示出根據(jù)第一示例性實(shí)施例的發(fā)送裝置的處理的流程圖。圖3示出了運(yùn)動(dòng)圖像數(shù)據(jù)與事件之間的關(guān)系。圖4是示出根據(jù)本發(fā)明第二示例性實(shí)施例的發(fā)送裝置的功能結(jié)構(gòu)的框圖。圖5是示出根據(jù)第二示例性實(shí)施例的發(fā)送裝置的處理的流程圖。
具體實(shí)施例方式下面將參照附圖詳細(xì)描述本發(fā)明的各種示例性實(shí)施例、特征和方面。圖1是示出根據(jù)本發(fā)明的第一示例性實(shí)施例的發(fā)送裝置100的功能結(jié)構(gòu)的框圖。 如圖ι所示，發(fā)送裝置100包括緩沖器101、檢測(cè)單元102、鏈接單元103、刪除確定單元104、 刪除單元105以及發(fā)送單元106。發(fā)送裝置100還可以包括攝像單元或者麥克風(fēng)。此外，發(fā)送裝置100可以例如通過(guò)網(wǎng)絡(luò)攝像機(jī)裝置實(shí)現(xiàn)。此外，發(fā)送裝置100可以例如通過(guò)經(jīng)由網(wǎng)絡(luò)向不同的計(jì)算機(jī)分發(fā)由攝像裝置拍攝的圖像數(shù)據(jù)的服務(wù)器裝置實(shí)現(xiàn)。檢測(cè)單元102、鏈接單元103、刪除確定單元104和刪除單元105可以由單個(gè)處理器(計(jì)算機(jī))實(shí)現(xiàn)。此外， 還可以由一個(gè)處理器實(shí)現(xiàn)檢測(cè)單元102，而由另一處理器實(shí)現(xiàn)鏈接單元103、刪除確定單元 104和刪除單元105。緩沖器101用作存儲(chǔ)數(shù)據(jù)107的存儲(chǔ)單元。數(shù)據(jù)107例如包括由攝像機(jī)單元拍攝的運(yùn)動(dòng)圖像數(shù)據(jù)。緩沖器101包括輸入單元，經(jīng)由該輸入單元輸入從攝像機(jī)單元(未示出) 發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)。將待發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)的幀存儲(chǔ)在緩沖器101中。還能夠以如下方式配置發(fā)送裝置使得由處理器將攝像機(jī)單元(未示出)拍攝的運(yùn)動(dòng)圖像數(shù)據(jù)存儲(chǔ)在緩沖器101中，作為運(yùn)動(dòng)圖像數(shù)據(jù)的幀。除了運(yùn)動(dòng)圖像數(shù)據(jù)以外，數(shù)據(jù)107還包括各種類型的信息。例如，數(shù)據(jù)107包括由音頻輸入單元輸入的音頻數(shù)據(jù)、從檢測(cè)事件的外部傳感器發(fā)送的傳感器數(shù)據(jù)(事件檢測(cè)信號(hào))以及諸如攝像機(jī)的控制權(quán)和攝像機(jī)的攝像方向的改變的攝像機(jī)控制數(shù)據(jù)。然而，數(shù)據(jù) 107并不限于這些數(shù)據(jù)。外部傳感器例如是被構(gòu)造成檢測(cè)溫度的溫度傳感器或者被構(gòu)造成檢測(cè)竄改(tampering)的竄改檢測(cè)傳感器攝像機(jī)。外部傳感器可以是與發(fā)送裝置100—體的，或者經(jīng)由網(wǎng)絡(luò)連接到發(fā)送裝置。檢測(cè)單元102根據(jù)存儲(chǔ)在緩沖器101中的數(shù)據(jù)107而檢測(cè)事件。換言之，檢測(cè)單元102根據(jù)存儲(chǔ)在緩沖器101中的傳感器數(shù)據(jù)或者攝像機(jī)控制數(shù)據(jù)來(lái)檢測(cè)是否發(fā)生了事件。此外，檢測(cè)單元102通過(guò)分析存儲(chǔ)在緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)，來(lái)檢測(cè)是否發(fā)生了事件(例如移動(dòng))。此外，檢測(cè)單元102根據(jù)存儲(chǔ)在緩沖器101中的聲音數(shù)據(jù)，檢測(cè)是否發(fā)生了事件(例如，爆炸聲音)。檢測(cè)單元102能夠被構(gòu)造成，使得將來(lái)自外部傳感器(例如紅外傳感器或麥克風(fēng))的輸出，不經(jīng)由緩沖器101而輸入檢測(cè)單元102中。鏈接單元103將由檢測(cè)單元102檢測(cè)到的事件與運(yùn)動(dòng)圖像數(shù)據(jù)的幀鏈接。本實(shí)施例的鏈接單元103將事件與攝像時(shí)間與該事件的檢測(cè)時(shí)間最接近的幀鏈接。然而，鏈接方法不限于這種方法。例如，可以將在事件之后進(jìn)行攝像的幀中的攝像時(shí)間最早的幀與該事件鏈接。此外，可以將多個(gè)事件鏈接到一個(gè)幀。刪除確定單元104根據(jù)緩沖器101的狀態(tài)，確定要從緩沖器101中刪除的幀。盡管本實(shí)施例的發(fā)送裝置100將待發(fā)送的幀存儲(chǔ)在緩沖器101中，并從緩沖器101中刪除完成發(fā)送的幀，但是根據(jù)通信狀態(tài)，待發(fā)送的幀會(huì)溢出緩沖器101。因此，如果存儲(chǔ)在緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)超過(guò)閾值，則本實(shí)施例的刪除確定單元104確定存儲(chǔ)在緩沖器101中的幀中的要?jiǎng)h除的幀，并向刪除單元105提供要?jiǎng)h除的幀的標(biāo)識(shí)信息。換言之，如果由于與從攝像機(jī)單元輸入緩沖器中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率相比、由發(fā)送單元106輸出的運(yùn)動(dòng)圖像數(shù)據(jù)的發(fā)送幀速率較低而導(dǎo)致待發(fā)送數(shù)據(jù)超過(guò)預(yù)定量，則刪除確定單元104確定將不發(fā)送的幀(要跳過(guò)的幀)。然后，根據(jù)發(fā)送單元106的發(fā)送狀態(tài)，刪除確定單元104從要通過(guò)發(fā)送單元106發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除輸入緩沖器101中的一些運(yùn)動(dòng)圖像數(shù)據(jù)。如果要從輸入緩沖器 101中的運(yùn)動(dòng)圖像數(shù)據(jù)中排除運(yùn)動(dòng)圖像數(shù)據(jù)，則刪除確定單元104從要通過(guò)發(fā)送單元106發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中，排除與事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。此外，刪除確定單元104確定從緩沖器101中刪除，從要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除的運(yùn)動(dòng)圖像數(shù)據(jù)。此外，能夠以如下方式設(shè)置刪除確定單元104 如果存儲(chǔ)在緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)的數(shù)據(jù)量超過(guò)閾值，則確定要在緩沖器101中刪除的幀。以下將描述由刪除確定單元104執(zhí)行的用于確定要?jiǎng)h除的幀的方法。刪除單元105從緩沖器101中刪除，由刪除確定單元104確定的要?jiǎng)h除的幀。換言之，刪除單元105根據(jù)存儲(chǔ)在緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀的數(shù)量和數(shù)據(jù)量中的任一者，刪除幀。發(fā)送單元106將存儲(chǔ)在緩沖器101中的數(shù)據(jù)107發(fā)送給外部裝置。發(fā)送給外部裝置的數(shù)據(jù)107例如包括運(yùn)動(dòng)圖像數(shù)據(jù)、聲音數(shù)據(jù)、事件數(shù)據(jù)以及攝像機(jī)控制數(shù)據(jù)。數(shù)據(jù)107 的目的地是諸如存儲(chǔ)運(yùn)動(dòng)圖像數(shù)據(jù)的存儲(chǔ)服務(wù)器或者顯示運(yùn)動(dòng)圖像數(shù)據(jù)的瀏覽器客戶機(jī)的裝置。發(fā)送單元106將從緩沖器101讀取的數(shù)據(jù)107，經(jīng)由局域網(wǎng)(LAN)或者互聯(lián)網(wǎng)發(fā)送給外部裝置。接下來(lái)，將參照?qǐng)D2描述發(fā)送裝置100的操作。圖2是示出根據(jù)本實(shí)施例的發(fā)送裝置100的處理的流程圖。發(fā)送裝置100的中央處理單元(CPU)從ROM讀出用于執(zhí)行與圖 2中的流程圖相關(guān)的處理的程序，將該程序載入隨機(jī)存取存儲(chǔ)器(RAM)，并執(zhí)行該程序。然而，圖2中的處理的至少一部分可以通過(guò)該處理專用的硬件來(lái)執(zhí)行。在步驟S201中，發(fā)送裝置100的緩沖器101存儲(chǔ)由攝像機(jī)單元(未示出)輸入緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀。在步驟S202中，檢測(cè)單元102檢測(cè)事件。如果在緩沖器 101中存儲(chǔ)的數(shù)據(jù)中檢測(cè)到由外部傳感器輸入的傳感器數(shù)據(jù)(事件檢測(cè)信號(hào))或者攝像機(jī)控制數(shù)據(jù)的改變，則檢測(cè)單元102確定發(fā)生了事件。攝像機(jī)控制數(shù)據(jù)例如包括與遠(yuǎn)程控制相關(guān)的控制權(quán)、攝像方向以及變焦率。此外，根據(jù)本實(shí)施例的檢測(cè)單元102通過(guò)分析在步驟 S201中存儲(chǔ)在緩沖器中的運(yùn)動(dòng)圖像數(shù)據(jù)，來(lái)檢測(cè)事件。根據(jù)對(duì)該運(yùn)動(dòng)圖像數(shù)據(jù)的分析，檢測(cè)單元 102 檢測(cè)移動(dòng)(motion)、漫游(roaming)、丟棄(abandoning)、去除(removing)和竄改。例如，當(dāng)整個(gè)幀的亮度迅速變化時(shí)，檢測(cè)單元102確定發(fā)生了竄改事件。如果檢測(cè)單元102確定發(fā)生了事件(步驟S202中的“是”)，則處理進(jìn)行到步驟 S203。在步驟S203中，鏈接單元103將在步驟S201中存儲(chǔ)的幀與在步驟S202中檢測(cè)到的事件相鏈接。如果根據(jù)對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析檢測(cè)到事件，則根據(jù)本實(shí)施例的鏈接單元 103將檢測(cè)到事件的幀與該事件相鏈接。此外，如果根據(jù)傳感器數(shù)據(jù)檢測(cè)到事件，則鏈接單元103基于各幀的攝像時(shí)間和事件的檢測(cè)時(shí)間將該事件與該幀相鏈接。在步驟S204中，刪除確定單元104基于緩沖器101的狀態(tài)，確定是否應(yīng)該刪除緩沖器101中的幀。換言之，如果緩沖器101中的待發(fā)送的幀的數(shù)量超過(guò)閾值，則刪除確定單元104確定應(yīng)該刪除緩沖器101中的幀。如果緩沖器101中的待發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)的數(shù)據(jù)量超過(guò)閾值，則刪除確定單元104也能夠確定應(yīng)該刪除緩沖器101中的幀。換言之，如果由于通過(guò)發(fā)送單元106輸出的運(yùn)動(dòng)圖像數(shù)據(jù)的發(fā)送幀速率低于由攝像機(jī)單元輸入緩沖器中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率而導(dǎo)致待發(fā)送的數(shù)據(jù)超過(guò)預(yù)定量，則刪除確定單元104確定要執(zhí)行跳幀。如果刪除確定單元104確定要從發(fā)送單元106要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除輸入緩沖器101中的一些運(yùn)動(dòng)圖像數(shù)據(jù)(步驟S204中的“是”)，則處理進(jìn)行到步驟S207。在步驟S207中，在要由發(fā)送單元106發(fā)送并輸入緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)中，刪除確定單元104確定要?jiǎng)h除與相關(guān)的事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)，并且確定要從緩沖器101中刪除的幀。
在步驟S208中，刪除單元105刪除要從緩沖器101刪除的幀。換言之，刪除單元 105根據(jù)存儲(chǔ)在緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)或者數(shù)據(jù)量，從緩沖器101中刪除未與事件鏈接的幀。在步驟S204中，如果刪除確定單元104確定不排除幀(步驟S204中的“否”)，則處理進(jìn)行到步驟S205。在步驟S205中，發(fā)送單元106讀取存儲(chǔ)在緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀，并將該幀發(fā)送給外部裝置。盡管將經(jīng)由網(wǎng)絡(luò)連接的圖像記錄服務(wù)器或者瀏覽器客戶機(jī)視為要將數(shù)據(jù)發(fā)送到的裝置，但是也可以將數(shù)據(jù)發(fā)送給本地連接的裝置。此外，如果在緩沖器101中存儲(chǔ)有多個(gè)未與事件鏈接的幀，則刪除確定單元104確定最早的幀是要?jiǎng)h除的幀。此外，在步驟S207中，如果存儲(chǔ)在緩沖器101中的所有的幀都與事件鏈接，則刪除確定單元104根據(jù)下述方法來(lái)確定要?jiǎng)h除的幀。將參照?qǐng)D3來(lái)描述確定要?jiǎng)h除的幀的方法。在圖3中，幀Vl至V8是當(dāng)前存儲(chǔ)在緩沖器101中的運(yùn)動(dòng)圖像數(shù)據(jù)的連續(xù)幀。幀Vl是最早的幀，而幀V8是最新(newest)的幀。 此外，Ia-I至Ia-5表示在傳感器數(shù)據(jù)中檢測(cè)到的事件a的發(fā)生時(shí)間。此外，至表示檢測(cè)單元102根據(jù)對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析而檢測(cè)到的事件b的發(fā)生時(shí)間。此外，Ic-I 至Ic-5表示在攝像機(jī)控制數(shù)據(jù)中檢測(cè)到的事件c的發(fā)生時(shí)間。如果提供了多個(gè)外部傳感器，則可以檢測(cè)到各種類型的事件。此外，根據(jù)對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析，可以檢測(cè)到不同類型的事件。此外，在圖3中，幀Vl鏈接到Ia-I和Ic-I，幀V2鏈接到Ib_l，幀V3鏈接到Ia_2、 Ib-2和Ic-2，幀V4鏈接到Ib-3，而幀V5鏈接到Ia_3和Ic_3。此外，幀V6鏈接到Ib_4和 Ic-4，幀V7鏈接到Ia-4，而幀V8鏈接到Ia-5和Ib_5。對(duì)于圖3中示出的緩沖器101，存儲(chǔ)在該緩沖器中的所有的幀都鏈接到事件。在圖 3中，能夠作為待發(fā)送幀而存儲(chǔ)在緩沖器101中的幀的最大數(shù)量是7。由于存儲(chǔ)有幀V8，所以存儲(chǔ)在該緩沖器中的幀的數(shù)量超過(guò)最大數(shù)量。因此，將刪除緩沖器101中的幀。接下來(lái)，將描述用于基于用戶針對(duì)各事件設(shè)置的優(yōu)先級(jí)來(lái)確定要?jiǎng)h除的幀的方法。根據(jù)該方法，接收運(yùn)動(dòng)圖像數(shù)據(jù)的用戶確定各事件的優(yōu)先級(jí)以及要檢測(cè)的事件。在執(zhí)行跳幀之前確定刪除確定單元104的優(yōu)先級(jí)。例如，如果與其他事件相比，對(duì)在傳感器數(shù)據(jù)中檢測(cè)到的事件a的優(yōu)先級(jí)賦予更高的優(yōu)先級(jí)，則刪除確定單元104將未與事件a鏈接的幀V2、V4和V6，確定為要?jiǎng)h除的幀。 換言之，如果在緩沖器101中存儲(chǔ)有與事件b鏈接的幀和與具有比事件b更高優(yōu)先級(jí)的事件a鏈接的幀，則刪除單元105從緩沖器101中刪除，與事件b鏈接而未與事件a鏈接的幀。用戶能夠在任意時(shí)刻改變事件的優(yōu)先級(jí)。接下來(lái)，將描述基于各事件的發(fā)生次數(shù)來(lái)確定要?jiǎng)h除的幀的方法。根據(jù)該方法，基于在與緩沖器101中存儲(chǔ)的幀相對(duì)應(yīng)的時(shí)段內(nèi)檢測(cè)到各事件的次數(shù)的數(shù)量，確定要?jiǎng)h除的幀。換言之，在幀Vl至V8的時(shí)段內(nèi)，如果分別檢測(cè)到事件a和事件b五次，而檢測(cè)到事件c 四次，則刪除確定單元104從與事件a或b鏈接而未與事件c鏈接的幀中選擇要?jiǎng)h除的幀。 按此方式，基于優(yōu)先級(jí)，將與事件c (檢測(cè)到事件c的次數(shù)不像其他事件那樣多)鏈接的幀發(fā)送給外部裝置。接下來(lái)，將描述基于根據(jù)發(fā)送裝置100的操作模式或者運(yùn)動(dòng)圖像數(shù)據(jù)的目的地而設(shè)置的各事件的優(yōu)先級(jí)、來(lái)確定要?jiǎng)h除的幀的方法。例如，如果將運(yùn)動(dòng)圖像數(shù)據(jù)的目的地設(shè)置成運(yùn)動(dòng)對(duì)象監(jiān)測(cè)模式，則對(duì)根據(jù)對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析而檢測(cè)到的事件b賦予比其他事件更高的優(yōu)先級(jí)。在此情況下，刪除確定單元104確定要?jiǎng)h除的幀Vl或V5(或V7)。此外，例如，如果將運(yùn)動(dòng)圖像數(shù)據(jù)的目的地設(shè)置成攝像機(jī)遠(yuǎn)程控制模式，則對(duì)根據(jù)攝像機(jī)控制事件的發(fā)生而檢測(cè)到的事件c賦予比其他事件更高的優(yōu)先級(jí)。在此情況下，刪除確定單元104確定要?jiǎng)h除幀V2或V4 (或者V7或V8)。一次性刪除的幀的數(shù)量可以是一個(gè)或者更多個(gè)。如果要一次性刪除一個(gè)幀，則在不與事件c鏈接的、可以被刪除的幀中，刪除作為最早的幀的幀V2。換言之，如果要一次性刪除的幀的數(shù)量小于能夠刪除的幀的數(shù)量，則刪除確定單元104確定最早的幀是要?jiǎng)h除的幀。例如，在不與事件c鏈接的幀中，刪除作為這種最早的幀的幀V2。接下來(lái)，將描述基于鏈接事件數(shù)來(lái)確定要?jiǎng)h除的幀的方法。根據(jù)該方法，在存儲(chǔ)在緩沖器101中的幀中，將具有最少鏈接事件數(shù)的幀確定為要?jiǎng)h除的幀。根據(jù)圖3中的示例， 刪除確定單元104確定幀V2或V4 (或V7)是要?jiǎng)h除的幀。接下來(lái)，將描述基于鏈接事件數(shù)和事件的優(yōu)先級(jí)來(lái)確定要?jiǎng)h除的幀的方法。根據(jù)該方法，根據(jù)優(yōu)先級(jí)向各事件分配點(diǎn)。此外，計(jì)算與各幀相對(duì)應(yīng)的事件的點(diǎn)的總數(shù)。然后， 選擇總點(diǎn)數(shù)最小的幀，作為要?jiǎng)h除的幀。例如，如果向事件a分配1點(diǎn)，向事件b分配2點(diǎn)， 面向事件c分配3點(diǎn)，則刪除確定單元104確定要?jiǎng)h除幀V7。接下來(lái)，將描述基于是否可以根據(jù)在先幀或者后續(xù)幀預(yù)測(cè)事件的內(nèi)容來(lái)確定要?jiǎng)h除的幀的方法。根據(jù)該方法，例如，如果使事件b與移動(dòng)檢測(cè)相關(guān)，則刪除確定單元104確定要從與事件b鏈接的幀中刪除的幀。這是因?yàn)椋绻粠c事件b (事件b與移動(dòng)檢測(cè)相關(guān))相鏈接，則由于在大多情況下，能夠根據(jù)在先幀或者后續(xù)幀而預(yù)測(cè)該幀的內(nèi)容，因此在刪除與不同事件鏈接的其他幀之前刪除該幀。換言之，由于與移動(dòng)檢測(cè)相關(guān)的事件通常與多個(gè)連續(xù)幀相鏈接，因此，即使刪除了一個(gè)幀，在大多情況下也能夠根據(jù)其他幀預(yù)測(cè)該事件的內(nèi)容。因此，刪除確定單元104在確定要?jiǎng)h除的幀的過(guò)程中向與事件b鏈接的幀賦予比與其他事件鏈接的幀更高的優(yōu)先級(jí)。由此，如果存在與事件b (事件b與多個(gè)連續(xù)幀鏈接)鏈接的幀和與事件a或c (事件a或c 不與多個(gè)連續(xù)幀鏈接)鏈接的幀，則刪除單元105刪除與事件b對(duì)應(yīng)的幀。在刪除與事件b對(duì)應(yīng)的幀的過(guò)程中，可以刪除處于與事件b鏈接的幀V2、V3和V4 的中間的幀V3，或者例如可以基于幀V2、V3和V4中的各個(gè)幀的改變來(lái)確定要?jiǎng)h除的幀。例如，在幀V2、V3和V4之中，如果幀V2和V3之間的變化大于幀V3和V4之間的變化，則刪除確定單元104確定要?jiǎng)h除幀V3和V4中的任一個(gè)幀，例如V4。確定要?jiǎng)h除的幀的方法不限于上述示例。此外，可以根據(jù)上述方法的組合來(lái)確定要?jiǎng)h除的幀。在步驟S206中，在完成了步驟S205中的幀發(fā)送之后或者在S208中刪除了要?jiǎng)h除的幀之后，確定是否終止運(yùn)動(dòng)圖像數(shù)據(jù)的發(fā)送處理。如果要繼續(xù)該發(fā)送處理(步驟S206中的“否”)，則處理返回步驟S201。如果完成了該發(fā)送處理(步驟S206中的“是”)，則處理結(jié)束。盡管參照?qǐng)D2描述了運(yùn)動(dòng)圖像數(shù)據(jù)的發(fā)送處理，但是發(fā)送單元106也可以向外部裝置發(fā)送事件數(shù)據(jù)。發(fā)送給外部裝置的事件數(shù)據(jù)包括例如事件類型、運(yùn)動(dòng)對(duì)象的位置或外接矩形的數(shù)據(jù)、具有攝像機(jī)控制權(quán)的用戶的標(biāo)識(shí)信息、諸如竄改或爆炸聲音的事件的發(fā)生時(shí)間。此外，在事件數(shù)據(jù)中可以包括諸如搖擺角、傾斜角和變焦率的攝像機(jī)相關(guān)數(shù)據(jù)。如果對(duì)運(yùn)動(dòng)對(duì)象的檢測(cè)僅用于確定要?jiǎng)h除的幀，則沒(méi)有必要將運(yùn)動(dòng)對(duì)象的數(shù)據(jù)發(fā)送給外部裝置。此外，如果存在音頻數(shù)據(jù)和運(yùn)動(dòng)圖像數(shù)據(jù)二者，則發(fā)送單元106將音頻數(shù)據(jù)連同運(yùn)動(dòng)圖像數(shù)據(jù)一起進(jìn)行發(fā)送。根據(jù)上述示例性實(shí)施例，基于幀的關(guān)系、在從外部裝置獲取的數(shù)據(jù)(例如傳感器數(shù)據(jù)或者攝像機(jī)控制數(shù)據(jù))中檢測(cè)到的事件、以及根據(jù)對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析而檢測(cè)到的事件，來(lái)確定要?jiǎng)h除的幀。對(duì)于上述事件，可以基于至少一個(gè)事件和幀之間的關(guān)系，來(lái)確定要?jiǎng)h除的幀。例如，如果基于從外部裝置獲取的數(shù)據(jù)中檢測(cè)到的事件與幀之間的關(guān)系來(lái)確定要?jiǎng)h除的幀， 則可以在不執(zhí)行對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析的情況下確定要?jiǎng)h除的幀。圖4是示出根據(jù)本發(fā)明的第二示例性實(shí)施例的發(fā)送裝置400的功能結(jié)構(gòu)的框圖。 替代發(fā)送裝置100的檢測(cè)單元102，發(fā)送裝置400包括事件數(shù)據(jù)獲取單元401和幀分析單元 402。事件數(shù)據(jù)獲取單元401獲取存儲(chǔ)在緩沖器101中的數(shù)據(jù)107中包含的攝像機(jī)控制數(shù)據(jù)和傳感器數(shù)據(jù)，并檢測(cè)事件的發(fā)生。事件數(shù)據(jù)獲取單元401還可以不經(jīng)由緩沖器101 而獲取作為外部數(shù)據(jù)的傳感器數(shù)據(jù)。此外，幀分析單元402分析在數(shù)據(jù)107中包含的運(yùn)動(dòng)圖像數(shù)據(jù)，并確定是否發(fā)生了事件。由幀分析單元402檢測(cè)到的事件包括例如移動(dòng)、漫游、丟棄、去除和竄改。如果運(yùn)動(dòng)對(duì)象處在畫(huà)面上固定時(shí)間段，則幀分析單元402確定發(fā)生了漫游事件。 此外，如果畫(huà)面上的人摘除包，則幀分析單元402確定發(fā)生了去除事件。此外，如果畫(huà)面上的人遺留下了包，則幀分析單元402確定發(fā)生了丟棄事件。由事件數(shù)據(jù)獲取單元401和幀分析單元402使用的事件的檢測(cè)方法，類似于由圖1示出的檢測(cè)單元102使用的檢測(cè)方法。圖5是示出發(fā)送裝置400的處理的流程圖。除了步驟S202中的處理用步驟S502、 S503和S504替代以外，該流程圖類似于圖2中示出的流程圖。在步驟S502中，事件數(shù)據(jù)獲取單元401執(zhí)行事件檢測(cè)。在步驟S503中，幀分析單元402執(zhí)行事件檢測(cè)。在步驟S504 中，基于在步驟S502和S503中進(jìn)行的事件檢測(cè)來(lái)確定事件的有無(wú)?？梢耘c由幀分析單元 402執(zhí)行的事件檢測(cè)相并行地執(zhí)行由事件數(shù)據(jù)獲取單元401執(zhí)行的事件檢測(cè)。此外，可以在事件數(shù)據(jù)獲取單元401執(zhí)行事件檢測(cè)之前，執(zhí)行由幀分析單元402執(zhí)行的事件檢測(cè)。本發(fā)明的各方面還可以通過(guò)讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的用于執(zhí)行上述實(shí)施例的功能的程序的系統(tǒng)或裝置的計(jì)算機(jī)(或諸如CPU或MPU的設(shè)備)來(lái)實(shí)現(xiàn)，以及通過(guò)由系統(tǒng)或裝置的計(jì)算機(jī)通過(guò)例如讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的用于執(zhí)行上述實(shí)施例的功能的程序來(lái)執(zhí)行各步驟的方法來(lái)實(shí)現(xiàn)。鑒于此，例如經(jīng)由網(wǎng)絡(luò)或者從用作存儲(chǔ)設(shè)備的各種類型的記錄介質(zhì)(例如計(jì)算機(jī)可讀介質(zhì))向計(jì)算機(jī)提供程序。雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并不限于所公開(kāi)的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬泛的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。
權(quán)利要求
1.一種被構(gòu)造成向其他裝置發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)的發(fā)送裝置，該發(fā)送裝置包括 輸入單元，其被構(gòu)造成輸入運(yùn)動(dòng)圖像數(shù)據(jù)；發(fā)送單元，其被構(gòu)造成發(fā)送由所述輸入單元輸入的運(yùn)動(dòng)圖像數(shù)據(jù)；以及排除單元，其被構(gòu)造成，如果根據(jù)所述發(fā)送單元的發(fā)送狀態(tài)而要從所述發(fā)送單元要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除一些由所述輸入單元輸入的運(yùn)動(dòng)圖像數(shù)據(jù)，則從所述發(fā)送單元要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除由所述輸入單元輸入的運(yùn)動(dòng)圖像數(shù)據(jù)中的、與事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的發(fā)送裝置，其中，所述輸入單元包括存儲(chǔ)單元，該存儲(chǔ)單元被構(gòu)造成存儲(chǔ)所輸入的運(yùn)動(dòng)圖像數(shù)據(jù)，并且其中，所述排除單元包括 檢測(cè)單元，其被構(gòu)造成檢測(cè)所述事件； 確定單元，其被構(gòu)造成確定與所檢測(cè)到的事件對(duì)應(yīng)的幀；以及刪除單元，其被構(gòu)造成根據(jù)存儲(chǔ)在所述存儲(chǔ)單元中的運(yùn)動(dòng)圖像數(shù)據(jù)的幀的數(shù)量和數(shù)據(jù)量中的至少一者，從所述存儲(chǔ)單元中刪除與所述事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)，使得所述發(fā)送單元不發(fā)送與所述事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的發(fā)送裝置，其中，所述排除單元包括檢測(cè)單元，該檢測(cè)單元被構(gòu)造成根據(jù)對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析來(lái)檢測(cè)所述事件。
4.根據(jù)權(quán)利要求1所述的發(fā)送裝置，其中，所述排除單元包括檢測(cè)單元，其被構(gòu)造成根據(jù)來(lái)自外部傳感器的信號(hào)來(lái)檢測(cè)所述事件。
5.根據(jù)權(quán)利要求1所述的發(fā)送裝置，其中，在與第一事件對(duì)應(yīng)的幀和與具有比所述第一事件更高優(yōu)先級(jí)的第二事件對(duì)應(yīng)的幀中，所述排除單元從所述發(fā)送單元要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中，排除與所述第一事件對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求1的發(fā)送裝置，其中，在與第一事件對(duì)應(yīng)的第一數(shù)量的幀和與第二事件對(duì)應(yīng)的第二數(shù)量的幀中，所述排除單元從所述發(fā)送單元要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中，排除與所對(duì)應(yīng)的幀的數(shù)量較大的所述第二事件對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的發(fā)送裝置，其中，在與多個(gè)幀對(duì)應(yīng)的第一事件和與單個(gè)幀對(duì)應(yīng)的第二事件中，所述排除單元從所述發(fā)送單元要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中，排除與所述第一事件對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
8.—種發(fā)送裝置的發(fā)送方法，所述發(fā)送裝置被構(gòu)造成向其他裝置發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)， 該發(fā)送方法包括以下步驟輸入運(yùn)動(dòng)圖像數(shù)據(jù)；發(fā)送所輸入的運(yùn)動(dòng)圖像數(shù)據(jù)；以及如果根據(jù)所述發(fā)送裝置的發(fā)送狀態(tài)而要從要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除一些所輸入的運(yùn)動(dòng)圖像數(shù)據(jù)，則從所述要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除所輸入的運(yùn)動(dòng)圖像數(shù)據(jù)中的、與事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
9.根據(jù)權(quán)利要求8所述的發(fā)送方法，所述發(fā)送方法還包括以下步驟 將所輸入的運(yùn)動(dòng)圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元中；檢測(cè)所述事件；確定與所檢測(cè)到的事件對(duì)應(yīng)的幀；以及根據(jù)所存儲(chǔ)的運(yùn)動(dòng)圖像數(shù)據(jù)的幀的數(shù)量和數(shù)據(jù)量中的至少一者，從所述存儲(chǔ)單元中刪除與所述事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)，使得不發(fā)送與所述事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求8所述的發(fā)送方法，所述發(fā)送方法還包括以下步驟根據(jù)對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的分析來(lái)檢測(cè)所述事件。
11.根據(jù)權(quán)利要求8所述的發(fā)送方法，所述發(fā)送方法還包括以下步驟根據(jù)來(lái)自外部傳感器的信號(hào)來(lái)檢測(cè)所述事件。
12.根據(jù)權(quán)利要求8所述的發(fā)送方法，所述發(fā)送方法還包括以下步驟在與第一事件對(duì)應(yīng)的幀和與具有比所述第一事件更高優(yōu)先級(jí)的第二事件對(duì)應(yīng)的幀中，從所述要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除與所述第一事件對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
13.根據(jù)權(quán)利要求8所述的發(fā)送方法，所述發(fā)送方法還包括以下步驟在與第一事件對(duì)應(yīng)的第一數(shù)量的幀和與第二事件對(duì)應(yīng)的第二數(shù)量的幀中，從所述要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中，排除與所對(duì)應(yīng)的幀的數(shù)量較大的所述第二事件對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
14.根據(jù)權(quán)利要求8所述的發(fā)送方法，所述發(fā)送方法還包括以下步驟在與多個(gè)幀對(duì)應(yīng)的第一事件和與單個(gè)幀對(duì)應(yīng)的第二事件中，從所述要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中，排除與所述第一事件對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供一種發(fā)送裝置及發(fā)送方法。該發(fā)送裝置向其他裝置發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)，該發(fā)送裝置輸入運(yùn)動(dòng)圖像數(shù)據(jù)，并且在根據(jù)發(fā)送狀態(tài)而要從要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除一些輸入的運(yùn)動(dòng)圖像數(shù)據(jù)的情況下，從所述要發(fā)送的運(yùn)動(dòng)圖像數(shù)據(jù)中排除所輸入的運(yùn)動(dòng)圖像數(shù)據(jù)中的、與事件不對(duì)應(yīng)的幀的運(yùn)動(dòng)圖像數(shù)據(jù)。
文檔編號(hào)H04N7/24GK102469305SQ20111036057
公開(kāi)日2012年5月23日 申請(qǐng)日期2011年11月14日 優(yōu)先權(quán)日2010年11月16日
發(fā)明者歌川由香 申請(qǐng)人:佳能株式會(huì)社