本發(fā)明涉及控制視頻數(shù)據(jù)的讀出時刻的技術(shù)。

背景技術(shù)：

假定監(jiān)視攝像機使用rfc(requestforcomments：請求注釋)350中定義的rtp協(xié)議(real-timetransportprotocol：實時傳輸協(xié)議)向錄像機發(fā)送視頻數(shù)據(jù)的情況。

在這種情況下，在錄像機中使用rtcp(real-timetransportcontrolprotocol：實時傳輸控制協(xié)議)分組的sr(senderreport：發(fā)送者報告)，進行使rtp頭中包含的時間戳與監(jiān)視攝像機具有的ntp(networktimeprotocol：網(wǎng)絡(luò)時間協(xié)議)時間戳同步的處理。

在上述的方式中發(fā)送視頻數(shù)據(jù)的監(jiān)視攝像機不具備時刻備份用的電池的情況下，監(jiān)視攝像機在電源斷開時不能保存正確的時刻。

因此，監(jiān)視攝像機在電源曾斷開的情況下，在電源接通后使用ntp協(xié)議等從外部取得時刻。

但是，監(jiān)視攝像機直到能夠取得時刻為止需要規(guī)定的時間。

在直到監(jiān)視攝像機能夠從外部取得時刻為止的期間中，監(jiān)視攝像機也進行拍攝，并將所拍攝的視頻數(shù)據(jù)發(fā)送給錄像機，在這種情況下，在直到取得時刻為止的期間中，根據(jù)rtcp的sr，與rtp時間戳對應(yīng)的ntp時間戳成為錯誤的值。

因此，錄像機以錯誤的ntp時間戳記錄視頻數(shù)據(jù)，在重發(fā)視頻數(shù)據(jù)時等會以錯誤的時機重發(fā)視頻數(shù)據(jù)。

為了避免該問題，可以考慮不使用rtcp而利用錄像機記錄各幀的視頻數(shù)據(jù)的接收時刻，使用所記錄的接收時刻作為重發(fā)視頻數(shù)據(jù)時的時刻信息。

但是，在如h.264那樣的預(yù)測編碼方式中，i(intra-coded：幀內(nèi)編碼)幀數(shù)據(jù)的尺寸大于其它類型的幀數(shù)據(jù)的尺寸。

因此，根據(jù)監(jiān)視攝像機和錄像機之間的頻帶等原因，i幀數(shù)據(jù)的發(fā)送與其它類型的幀數(shù)據(jù)的發(fā)送相比花費時間。

其結(jié)果是，有時存在如下情況：緊鄰i幀數(shù)據(jù)之前的幀數(shù)據(jù)與i幀數(shù)據(jù)之間的接收間隔、以及i幀數(shù)據(jù)與緊鄰i幀數(shù)據(jù)之后的幀數(shù)據(jù)之間的接收間隔比攝像時的幀間隔長，i幀數(shù)據(jù)及i幀數(shù)據(jù)后續(xù)的幀數(shù)據(jù)產(chǎn)生偏差。

該偏差在每次i幀數(shù)據(jù)的接收時被累加。

另外，在依照幀數(shù)據(jù)的接收時刻例如為了進行重發(fā)而讀出幀數(shù)據(jù)時，每當(dāng)是i幀數(shù)據(jù)時，讀出時刻逐漸偏離攝像時刻。

在專利文獻1中記載了如下技術(shù)：在通過rtp進行如mpeg2-ts(motionpictureexpertsgroup2transportstream：運動圖片專家組2傳輸流)那樣需要進行嚴(yán)格的時鐘同步的數(shù)據(jù)發(fā)送的情況下，使用pll(phaselockedloop：鎖相環(huán))進行時鐘再現(xiàn)。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本特開2009－239375號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的問題

如上所述，在依照錄像機對幀數(shù)據(jù)的接收時刻讀出幀數(shù)據(jù)的方式中，當(dāng)i幀數(shù)據(jù)的尺寸大于其它類型的幀數(shù)據(jù)的尺寸的情況下，存在每當(dāng)i幀數(shù)據(jù)時，讀出時刻就逐漸偏離攝像時刻的問題。

另外，在專利文獻1的技術(shù)中，需要pll這樣特殊的硬件。

本發(fā)明以解決上述問題作為主要目的，主要目的在于，在i幀數(shù)據(jù)的尺寸大于其它類型的幀數(shù)據(jù)的尺寸的情況下，也無需使用特殊的硬件，即可使各幀的幀數(shù)據(jù)的讀出時刻與攝像時刻同步。

用于解決問題的手段

本發(fā)明的數(shù)據(jù)處理裝置具有：接收部，其接收分別被設(shè)定了時間戳的多個i(intra-coded：幀內(nèi)編碼)幀數(shù)據(jù)和多個p(predicted：預(yù)測)幀數(shù)據(jù)；時刻取得部，其取得所述接收部對各i幀數(shù)據(jù)的接收時刻；視頻存儲部，其存儲由所述接收部接收到的所述多個i幀數(shù)據(jù)和所述多個p幀數(shù)據(jù)；時刻計算部，其根據(jù)作為讀出對象的i幀數(shù)據(jù)的接收時刻、在所述作為讀出對象的i幀數(shù)據(jù)之前的i幀數(shù)據(jù)即在先i幀數(shù)據(jù)的接收時刻、以及所述在先i幀數(shù)據(jù)的讀出時刻，計算從所述視頻存儲部讀出i幀數(shù)據(jù)的讀出時刻，根據(jù)作為讀出對象的p幀數(shù)據(jù)的時間戳，計算從所述視頻存儲部讀出p幀數(shù)據(jù)的讀出時刻；以及數(shù)據(jù)讀出部，其在由所述時刻計算部計算出的時刻，從所述視頻存儲部分別讀出所述作為讀出對象的i幀數(shù)據(jù)和所述作為讀出對象的p幀數(shù)據(jù)。

發(fā)明效果

在本發(fā)明中，根據(jù)作為讀出對象的i幀數(shù)據(jù)的接收時刻、在先i幀數(shù)據(jù)的接收時刻和在先i幀數(shù)據(jù)的讀出時刻，計算i幀數(shù)據(jù)的讀出時刻，因而能夠調(diào)整i幀數(shù)據(jù)的接收時刻的偏差。

因此，根據(jù)本發(fā)明，在i幀數(shù)據(jù)的尺寸大于其它類型的幀數(shù)據(jù)的尺寸的情況下，也無需使用特殊的硬件，即可使各幀的幀數(shù)據(jù)的讀出時刻與攝像時刻同步。

附圖說明

圖1是示出實施方式1的系統(tǒng)結(jié)構(gòu)例的圖。

圖2是示出實施方式1的數(shù)據(jù)處理裝置的動作例的流程圖。

圖3是示出實施方式1的數(shù)據(jù)處理裝置的動作例的流程圖。

圖4是示出實施方式1的接收時刻和讀出時刻的例子的圖。

圖5是示出實施方式1的數(shù)據(jù)處理裝置的硬件結(jié)構(gòu)例的圖。

具體實施方式

實施方式1

***結(jié)構(gòu)的說明***

圖1示出本實施方式的系統(tǒng)結(jié)構(gòu)例。

在圖1中，監(jiān)視攝像機1拍攝攝像對象物(例如監(jiān)視對象區(qū)域)，并發(fā)送攝像對象物的視頻數(shù)據(jù)。

網(wǎng)絡(luò)2是在視頻數(shù)據(jù)的發(fā)送中使用的網(wǎng)絡(luò)，是lan(localareanewtork：局域網(wǎng))或互聯(lián)網(wǎng)等。

數(shù)據(jù)處理裝置3接收來自監(jiān)視攝像機1的視頻數(shù)據(jù)，并記錄接收到的視頻數(shù)據(jù)。

數(shù)據(jù)處理裝置3例如是監(jiān)視錄像機。

另外，在圖1中僅示出一個監(jiān)視攝像機1，但也可以是多個監(jiān)視攝像機1。

在來自監(jiān)視攝像機1的攝像視頻數(shù)據(jù)中包含多個i(intra-coded)幀數(shù)據(jù)、多個b(bi-directionalpredicted，雙向預(yù)測)幀數(shù)據(jù)和多個p(predicted，預(yù)測)幀數(shù)據(jù)。

如前面所述，i幀數(shù)據(jù)的尺寸大于b幀數(shù)據(jù)和p幀數(shù)據(jù)。

因此，i幀數(shù)據(jù)的發(fā)送比b幀數(shù)據(jù)和p幀數(shù)據(jù)的發(fā)送花費時間。

另外，如后面所述，對各幀數(shù)據(jù)設(shè)定了時間戳。

在監(jiān)視攝像機1中，攝像部101拍攝攝像對象物。

編碼部102對攝像部101拍攝的視頻進行編碼。

時刻賦予部103對通過編碼部102的編碼而得到的數(shù)據(jù)(幀數(shù)據(jù))賦予時間戳。

發(fā)送部104經(jīng)由網(wǎng)絡(luò)2向數(shù)據(jù)處理裝置3發(fā)送幀數(shù)據(jù)(多個i幀數(shù)據(jù)、多個b幀數(shù)據(jù)和多個p幀數(shù)據(jù))。

在數(shù)據(jù)處理裝置3中，接收部301接收從監(jiān)視攝像機1發(fā)送的幀數(shù)據(jù)(多個i幀數(shù)據(jù)、多個b幀數(shù)據(jù)和多個p幀數(shù)據(jù))。

時刻取得部302取得接收部301接收到i幀數(shù)據(jù)的接收時刻。

視頻存儲部303是存儲由接收部301接收到的多個i幀數(shù)據(jù)、多個b幀數(shù)據(jù)和多個p幀數(shù)據(jù)的存儲區(qū)域。

另外，視頻存儲部303還存儲通過時刻取得部302取得的i幀數(shù)據(jù)的接收時刻。

時刻計算部304計算后述的數(shù)據(jù)讀出部305從視頻存儲部303中讀出各幀數(shù)據(jù)的讀出時刻。

時刻計算部304根據(jù)作為讀出對象的i幀數(shù)據(jù)的接收時刻、作為讀出對象的i幀數(shù)據(jù)之前的i幀數(shù)據(jù)即在先i幀數(shù)據(jù)的接收時刻、和在先i幀數(shù)據(jù)的讀出時刻，計算從視頻存儲部303讀出i幀數(shù)據(jù)的讀出時刻。

例如，時刻計算部304根據(jù)作為讀出對象的i幀數(shù)據(jù)的接收時刻與緊鄰作為讀出對象的i幀數(shù)據(jù)之前的i幀數(shù)據(jù)即緊前i幀數(shù)據(jù)的接收時刻之差、以及緊前i幀數(shù)據(jù)的讀出時刻，計算從視頻存儲部303讀出i幀數(shù)據(jù)的讀出時刻。

另外，時刻計算部304根據(jù)作為讀出對象的b幀數(shù)據(jù)的時間戳，計算從視頻存儲部303讀出b幀數(shù)據(jù)的讀出時刻。

例如，時刻計算部304根據(jù)作為讀出對象的b幀數(shù)據(jù)的時間戳與緊鄰作為讀出對象的b幀數(shù)據(jù)之前的幀數(shù)據(jù)即緊前幀數(shù)據(jù)的時間戳之差、以及緊前幀數(shù)據(jù)的讀出時刻，計算從視頻存儲部303讀出b幀數(shù)據(jù)的讀出時刻。

另外，時刻計算部304根據(jù)作為讀出對象的p幀數(shù)據(jù)的時間戳，計算從視頻存儲部303讀出p幀數(shù)據(jù)的讀出時刻。

例如，時刻計算部304根據(jù)作為讀出對象的p幀數(shù)據(jù)的時間戳與緊鄰作為讀出對象的p幀數(shù)據(jù)之前的幀數(shù)據(jù)即緊前幀數(shù)據(jù)的時間戳之差、以及緊前幀數(shù)據(jù)的讀出時刻，計算從視頻存儲部303讀出p幀數(shù)據(jù)的讀出時刻。

數(shù)據(jù)讀出部305在由時刻計算部304計算出的時刻，從視頻存儲部303分別讀出作為讀出對象的i幀數(shù)據(jù)、作為讀出對象的b幀數(shù)據(jù)和作為讀出對象的p幀數(shù)據(jù)。

數(shù)據(jù)讀出部305根據(jù)所讀出的各幀數(shù)據(jù)再現(xiàn)利用監(jiān)視攝像機1拍攝的視頻。

或者，數(shù)據(jù)讀出部305將所讀出的各幀數(shù)據(jù)重發(fā)給外部裝置。

***動作的說明***

下面，說明本實施方式的動作例。

首先，說明監(jiān)視攝像機1的動作例。

在監(jiān)視攝像機1中，攝像部101拍攝攝像對象物。

編碼部102對攝像部10拍攝的視頻進行編碼。

在發(fā)送部104利用rtp分組發(fā)送通過編碼部102的編碼而得到的幀數(shù)據(jù)時，時刻賦予部103將時間戳插入rtp頭中。

在設(shè)時間戳的頻率為90000hz時，如果是每秒30幀的視頻，則對于每1幀，時間戳的值每次增加3000。

發(fā)送部104經(jīng)由網(wǎng)絡(luò)2將對rtp頭設(shè)定了時間戳的rtp分組發(fā)送給數(shù)據(jù)處理裝置3。

下面，參照圖2及圖3說明數(shù)據(jù)處理裝置3的動作例。

圖2示出數(shù)據(jù)處理裝置3的接收處理、時刻取得處理及視頻存儲處理。

圖3示出數(shù)據(jù)處理裝置3的時刻計算處理及數(shù)據(jù)讀出處理。

圖2及圖3所示的步驟相當(dāng)于數(shù)據(jù)處理方法及數(shù)據(jù)處理程序的處理步驟。

在圖2中，數(shù)據(jù)處理裝置3的接收部301接收從監(jiān)視攝像機1的發(fā)送部104發(fā)送的rtp分組(s101)(接收處理)。

如前面所述，在rtp分組中包含幀數(shù)據(jù)和時間戳。

接著，時刻取得部302取得接收部301接收到i幀數(shù)據(jù)的接收時刻(s102)(時刻取得處理)。

在將一個i幀數(shù)據(jù)分割成多個rtp分組進行發(fā)送的情況下，時刻取得部302取得多個rtp分組中開頭的rtp分組的接收時刻。

即，時刻取得部302取得接收部301開始各i幀數(shù)據(jù)的接收的時刻，作為各i幀數(shù)據(jù)的接收時刻。

在此，時刻取得部302僅取得i幀數(shù)據(jù)的接收時刻，但時刻取得部302也可以取得b幀數(shù)據(jù)的接收時刻及p幀數(shù)據(jù)的接收時刻。

視頻存儲部303存儲由接收部301接收到的各幀數(shù)據(jù)和時間戳(s103)(視頻存儲處理)。

另外，視頻存儲部303與i幀數(shù)據(jù)對應(yīng)地存儲通過時刻取得部302取得的接收時刻。

當(dāng)數(shù)據(jù)處理裝置3的用戶在rtp分組的接收后或者與rtp分組的接收并行地指示了幀數(shù)據(jù)的讀出的情況下(圖3的s201：是)，時刻計算部304計算作為讀出對象的幀數(shù)據(jù)的讀出時刻(s202)(時刻計算處理)。

關(guān)于讀出時刻的計算方法的詳細(xì)情況在后面進行說明，如前面所述，i幀數(shù)據(jù)的讀出時刻的計算方法、與b幀數(shù)據(jù)的讀出時刻的計算方法及p幀數(shù)據(jù)的讀出時刻的計算方法不同。

數(shù)據(jù)讀出部305在由時刻計算部304計算出的時刻，從視頻存儲部303中分別讀出作為讀出對象的i幀數(shù)據(jù)、作為讀出對象的b幀數(shù)據(jù)和作為讀出對象的p幀數(shù)據(jù)(s203)(數(shù)據(jù)讀出處理)。

另外，在圖3中，在s202之后實施s203，但也可以并行實施s202和s203。

下面，參照圖4說明s202的讀出時刻的計算方法的詳細(xì)情況。

在圖4中，示出時刻從左向右進展的狀態(tài)。

另外，圖4的(a)表示接收時刻，圖4的(b)表示讀出時刻。

時刻tr0～時刻tr6表示接收到第0個～第6個幀數(shù)據(jù)的時刻。

第0個幀數(shù)據(jù)和第5個幀數(shù)據(jù)是i幀數(shù)據(jù)。

第1個幀數(shù)據(jù)～第4個幀數(shù)據(jù)以及第6個幀數(shù)據(jù)是p幀數(shù)據(jù)或者b幀數(shù)據(jù)。

時刻ts0～時刻ts6表示第0個～第6個幀數(shù)據(jù)的讀出時刻。

另外，值δts是固定值，與前后的幀數(shù)據(jù)的時間戳的差值3000相等，其值等于1/30秒。

假定數(shù)據(jù)處理裝置3的用戶指示了從第0個幀數(shù)據(jù)起的讀出的情況。

時刻ts0是用戶指示幀數(shù)據(jù)的讀出的時刻。

讀出時刻計算部304將時刻ts0指定為第0個幀數(shù)據(jù)的讀出時刻，數(shù)據(jù)讀出部305在時刻ts0從視頻存儲部303讀出第0個幀數(shù)據(jù)。

時刻計算部304根據(jù)ts1＝ts0+δts，計算第1個幀數(shù)據(jù)的讀出時刻ts1。

即，時刻計算部304不參照接收時刻tr1，而將緊前幀數(shù)據(jù)即第0個幀數(shù)據(jù)的讀出時刻ts0與時間戳之差δts相加，計算讀出時刻ts1。

同樣，時刻計算部304根據(jù)下式計算第2個幀數(shù)據(jù)的讀出時刻ts2、第3個幀數(shù)據(jù)的讀出時刻ts3、第4個幀數(shù)據(jù)的讀出時刻ts4。

ts2＝ts1+δts

ts3＝ts2+δts

ts4＝ts3+δts

接著，第5個幀數(shù)據(jù)是i幀數(shù)據(jù)，因而時刻計算部304通過ts5＝ts0+tr5-tr0，計算第5個幀的讀出時刻ts5。

即，時刻計算部304不參照讀出時刻ts4，而將緊鄰第5個幀數(shù)據(jù)之前的i幀數(shù)據(jù)即第0個幀數(shù)據(jù)的接收時刻tr0與第5個幀數(shù)據(jù)的接收時刻tr0之差、與讀出時刻ts0進行相加，計算讀出時刻ts5。

接著，時刻計算部304根據(jù)ts6＝ts5+δts，計算第6個幀數(shù)據(jù)的發(fā)送時刻ts6。

即，時刻計算部304不參照接收時刻tr6，而將緊前幀數(shù)據(jù)即第5個幀數(shù)據(jù)的讀出時刻ts5與時間戳之差δts相加，計算讀出時刻ts6。

在圖4中沒有圖示，在第7個～第9個幀數(shù)據(jù)是b幀數(shù)據(jù)或者p幀數(shù)據(jù)、第10個幀數(shù)據(jù)是i幀數(shù)據(jù)的情況下，時刻計算部304通過ts10＝ts5+tr10-tr5，計算第10個幀的讀出時刻ts10。

即，時刻計算部304不參照第9個讀出時刻ts9，而將緊鄰第10個幀數(shù)據(jù)之前的i幀數(shù)據(jù)即第5個幀數(shù)據(jù)的接收時刻tr5與第10個幀數(shù)據(jù)的接收時刻tr10之差、與讀出時刻ts5進行相加，計算讀出時刻ts10。

另外，第7個～第9個幀數(shù)據(jù)的讀出時刻的計算方法，與第1個～第4個幀數(shù)據(jù)的讀出時刻的計算方法相同。

在以上處理中，時刻計算部304以緊前i幀數(shù)據(jù)的讀出時刻為基準(zhǔn)，計算i幀數(shù)據(jù)的讀出時刻。

但是，如果是作為讀出對象的i幀數(shù)據(jù)之前的i幀數(shù)據(jù)，則時刻計算部304也可以將不是緊前i幀數(shù)據(jù)的i幀數(shù)據(jù)的讀出時刻作為基準(zhǔn)，計算作為讀出對象的i幀數(shù)據(jù)的讀出時刻。

例如，如果已經(jīng)計算出從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)的讀出時刻，時刻計算部304也可以將從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)的讀出時刻作為基準(zhǔn)，計算第5個幀數(shù)據(jù)的讀出時刻ts5。

在此，將從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)的接收時刻設(shè)為trm5，從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)的讀出時刻設(shè)為tsm5。

在這種情況下，也可以根據(jù)ts5＝tsm5+trm5-tr5，計算第5個幀數(shù)據(jù)的讀出時刻ts5。

另外，在以上處理中，時刻計算部304根據(jù)ts5＝ts0+tr5-tr0計算讀出時刻ts5，但也存在其結(jié)果是ts5-ts4取與δts大不相同的值的情況。

在這種情況下，也可以使用過去的i幀數(shù)據(jù)的接收間隔，校正i幀數(shù)據(jù)的讀出時刻。

例如，將從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)的接收時刻設(shè)為trm5，從第0個幀數(shù)據(jù)起10幀前的i幀數(shù)據(jù)的接收時刻設(shè)為trm10。

例如，時刻計算部304也可以根據(jù)ts5＝ts0+(tr5-tr0)×0.5+(tr0-trm5)×0.3+(trm5-trm10)×0.2，計算讀出時刻ts5。

這樣，時刻計算部304也可以根據(jù)作為讀出對象的i幀數(shù)據(jù)的接收時刻與緊鄰作為讀出對象的i幀數(shù)據(jù)之前的i幀數(shù)據(jù)即緊前i幀數(shù)據(jù)的接收時刻之差、在緊前i幀數(shù)據(jù)之前的多個i幀數(shù)據(jù)之間的接收時刻之差、以及緊前i幀數(shù)據(jù)的讀出時刻，計算i幀數(shù)據(jù)從視頻存儲部303的讀出時刻。

另外，時刻計算部304也可以變更在上式中使用的參數(shù)(0.5，0.3，0.2)，也可以利用與上式不同的計算式計算讀出時刻ts5。

另外，在上文中，數(shù)據(jù)處理裝置3從監(jiān)視攝像機1接收i幀數(shù)據(jù)、b幀數(shù)據(jù)和p幀數(shù)據(jù)，但本實施方式也能夠應(yīng)用于數(shù)據(jù)處理裝置3從監(jiān)視攝像機1僅接收i幀數(shù)據(jù)和b幀數(shù)據(jù)的情況。

***效果的說明***

根據(jù)本實施方式，即使是監(jiān)視攝像機1未保存包含公歷年月日的絕對時刻時，數(shù)據(jù)處理裝置3也能夠與攝像時刻同步地讀出各幀的幀數(shù)據(jù)。

另外，在搭載于監(jiān)視攝像機1的未圖示的時刻時鐘源和搭載于數(shù)據(jù)處理裝置3的未圖示的時刻時鐘源的速度存在差異的情況下，也能夠成功地進行視頻數(shù)據(jù)的再現(xiàn)或者視頻數(shù)據(jù)的重發(fā)。

實施方式2

在實施方式1中，p幀數(shù)據(jù)的讀出時刻的計算方法與b幀數(shù)據(jù)的讀出時刻的計算方法相同。

在本實施方式中，依照實施方式1所示的i幀數(shù)據(jù)的讀出時刻的計算方法，計算p幀數(shù)據(jù)的讀出時刻。

在本實施方式中，系統(tǒng)結(jié)構(gòu)例也如圖1所示。

另外，數(shù)據(jù)處理裝置3的動作也如圖2及圖3所示。

但是，在本實施方式中，時刻取得部302在圖2的s102中取得接收部301接收到i幀數(shù)據(jù)的接收時刻，還取得接收部301接收到p幀數(shù)據(jù)的接收時刻。

在將一個p幀數(shù)據(jù)分割成多個rtp分組進行發(fā)送的情況下，時刻取得部302取得多個rtp分組中開頭的rtp分組的接收時刻。

即，時刻取得部302取得接收部301開始各p幀數(shù)據(jù)的接收的時刻，作為各p幀數(shù)據(jù)的接收時刻。

另外，視頻存儲部303在圖2的s103中還存儲p幀數(shù)據(jù)的接收時刻。

另外，時刻計算部304在圖3的s202中依照實施方式1所示的i幀數(shù)據(jù)的讀出時刻的計算方法，計算p幀數(shù)據(jù)的讀出時刻。

更具體地講，時刻計算部304根據(jù)作為讀出對象的p幀數(shù)據(jù)的接收時刻、在作為讀出對象的p幀數(shù)據(jù)之前的i幀數(shù)據(jù)或者p幀數(shù)據(jù)即在先i/p幀數(shù)據(jù)的接收時刻、以及在先i/p幀數(shù)據(jù)的讀出時刻，計算p幀數(shù)據(jù)的讀出時刻。

另外，在實施方式1中，時刻計算部304根據(jù)在先的i幀數(shù)據(jù)的讀出時刻計算i幀數(shù)據(jù)的讀出時刻，而在本實施方式中，存在時刻計算部304根據(jù)在先的p幀數(shù)據(jù)的讀出時刻計算i幀數(shù)據(jù)的讀出時刻的情況。

下面，參照圖4說明本實施方式的i幀數(shù)據(jù)的讀出時刻的計算方法及p幀數(shù)據(jù)的讀出時刻的計算方法。

在本實施方式中，假定圖4的第0個幀數(shù)據(jù)是i幀數(shù)據(jù)，第5個幀數(shù)據(jù)是p幀數(shù)據(jù)的情況。

另外，第1個～第4個幀數(shù)據(jù)、第6個幀數(shù)據(jù)全部是b幀數(shù)據(jù)。

時刻計算部304依照與實施方式1相同的方法計算第0個～第4個幀數(shù)據(jù)的讀出時刻。

另外，時刻計算部304與實施方式1一樣，根據(jù)ts5＝ts0+tr5-tr0計算第5個幀數(shù)據(jù)(p幀數(shù)據(jù))的讀出時刻ts5。

即，時刻計算部304不參照讀出時刻ts4，而將緊鄰第5個幀數(shù)據(jù)之前的i幀數(shù)據(jù)即第0個幀數(shù)據(jù)的接收時刻tr0與第5個幀數(shù)據(jù)的接收時刻tr0之差，與讀出時刻ts0進行相加，來計算讀出時刻ts5。

接著，時刻計算部304依照與實施方式1相同的方法計算第6個幀數(shù)據(jù)的發(fā)送時刻ts6。

在圖4中沒有圖示，在第7個～第9個幀數(shù)據(jù)是b幀數(shù)據(jù)或者p幀數(shù)據(jù)、第10個幀數(shù)據(jù)是i幀數(shù)據(jù)的情況下，時刻計算部304根據(jù)ts10＝ts5+tr10-tr5計算第10個幀的讀出時刻ts10。

即，時刻計算部304不參照第9個讀出時刻ts9，而將緊鄰第10個幀數(shù)據(jù)之前的p幀數(shù)據(jù)即第5個幀數(shù)據(jù)的接收時刻tr5與第10個幀數(shù)據(jù)的接收時刻tr10之差，與讀出時刻ts5進行相加，計算讀出時刻ts10。

另外，第7個～第9個幀數(shù)據(jù)的讀出時刻的計算方法與實施方式1相同。

在上文中，時刻計算部304以緊前i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻為基準(zhǔn)，計算i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻。

但是，如果是在作為讀出對象的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))之前的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))，則時刻計算部304也可以將不是緊前i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻作為基準(zhǔn)，計算作為讀出對象的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻。

例如，如果已經(jīng)計算出從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻，時刻計算部304也可以將從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻作為基準(zhǔn)，計算第5個幀數(shù)據(jù)的讀出時刻ts5。

在此，將從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的接收時刻設(shè)為trm5，從第0個幀數(shù)據(jù)起5幀前的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻設(shè)為tsm5。

在這種情況下，也可以根據(jù)ts5＝tsm5+trm5-tr5，計算第5個幀數(shù)據(jù)的讀出時刻ts5。

另外，時刻計算部304也可以利用實施方式1所示的其它計算方法，計算i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻。

在本實施方式中，將從第0個幀數(shù)據(jù)起5幀前的p幀數(shù)據(jù)的接收時刻設(shè)為trm5，從第0個幀數(shù)據(jù)起10幀前的i幀數(shù)據(jù)的接收時刻設(shè)為trm10。

例如，時刻計算部304也可以根據(jù)ts5＝ts0+(tr5-tr0)×0.5+(tr0-trm5)×0.3+(trm5-trm10)×0.2，計算第5個幀數(shù)據(jù)即p幀數(shù)據(jù)(或者i幀數(shù)據(jù))的讀出時刻ts5。

這樣，時刻計算部304也可以根據(jù)作為讀出對象的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的接收時刻與緊鄰作為讀出對象的i幀數(shù)據(jù)(或者p幀數(shù)據(jù))之前的i幀數(shù)據(jù)或者p幀數(shù)據(jù)即緊前i/p幀數(shù)據(jù)的接收時刻之差、在緊前i/p幀數(shù)據(jù)之前的多個i幀數(shù)據(jù)之間的接收時刻之差、在緊前i/p幀數(shù)據(jù)之前的多個p幀數(shù)據(jù)之間的接收時刻之差、以及在緊前i/p幀數(shù)據(jù)之前的i幀數(shù)據(jù)和p幀數(shù)據(jù)之間的接收時刻之差中的任意方、以及緊前i/p幀數(shù)據(jù)的讀出時刻，計算從視頻存儲部303讀出i幀數(shù)據(jù)(或者p幀數(shù)據(jù))的讀出時刻。

即，在前述的例子中，如果從第0個幀數(shù)據(jù)起5幀前的幀數(shù)據(jù)是i幀數(shù)據(jù)、從第0個幀數(shù)據(jù)起10幀前的幀數(shù)據(jù)是i幀數(shù)據(jù)，則時刻計算部304使用這兩個i幀數(shù)據(jù)之間的接收時刻之差。

另外，如果從第0個幀數(shù)據(jù)起5幀前的幀數(shù)據(jù)是p幀數(shù)據(jù)、從第0個幀數(shù)據(jù)起10幀前的幀數(shù)據(jù)是p幀數(shù)據(jù)，則時刻計算部304使用這兩個p幀數(shù)據(jù)之間的接收時刻之差。

另外，如果從第0個幀數(shù)據(jù)起5幀前的幀數(shù)據(jù)是i幀數(shù)據(jù)(或者p幀數(shù)據(jù))、從第0個幀數(shù)據(jù)起10幀前的幀數(shù)據(jù)是p幀數(shù)據(jù)(或者i幀數(shù)據(jù))，則時刻計算部304使用這些i幀數(shù)據(jù)和p幀數(shù)據(jù)之間的接收時刻之差。

另外，時刻計算部304也可以變更在上式中使用的參數(shù)(0.5，0.3，0.2)，也可以利用與上式不同的計算式計算讀出時刻ts5。

根據(jù)以上所述的本實施方式，在p幀數(shù)據(jù)的尺寸遠(yuǎn)大于b幀數(shù)據(jù)的尺寸的情況下，也能夠不使用特殊的硬件，即可使各幀的幀數(shù)據(jù)的讀出時刻與攝像時刻同步。

以上對本發(fā)明的實施方式進行了說明，但本發(fā)明不限于這些實施方式，可以根據(jù)需要進行各種變更。

最后，參照圖5說明數(shù)據(jù)處理裝置3的硬件結(jié)構(gòu)例。

數(shù)據(jù)處理裝置3是計算機。

數(shù)據(jù)處理裝置3具有處理器901、輔助存儲裝置902、存儲器903、通信裝置904、輸入接口905和顯示器接口906這些硬件。

處理器901通過信號線910與其它硬件連接，并控制這些其它硬件。

輸入接口905與輸入裝置907連接。

顯示器接口906與顯示器908連接。

處理器901是進行處理的ic(integratedcircuit：集成電路)。

處理器901例如是cpu(centralprocessingunit：中央處理單元)、dsp(digitalsignalprocessor：數(shù)字信號處理器)或者gpu(graphicsprocessingunit：圖形處理單元)。

輔助存儲裝置902例如是rom(readonlymemory：只讀存儲器)、閃存或hdd(harddiskdrive：硬盤驅(qū)動器)。

存儲器903例如是ram(randomaccessmemory：隨機存取存儲器)。

圖1所示的視頻存儲部303通過存儲器903或者輔助存儲裝置902實現(xiàn)。

通信裝置904包括接收數(shù)據(jù)的接收器9041和發(fā)送數(shù)據(jù)的發(fā)送器9042。

通信裝置904例如是通信芯片或者nic(networkinterfacecard：網(wǎng)絡(luò)接口卡)。

輸入接口905是與輸入裝置907的線纜911連接的端口。

輸入接口905例如是usb(universalserialbus：通用串行總線)端子。

顯示器接口906是與顯示器908的線纜912連接的端口。

顯示器接口906例如是usb端子或者h(yuǎn)dmi(注冊商標(biāo))(highdefinitionmultimediainterface：高清晰度多媒體接口)端子。

輸入裝置907例如是鼠標(biāo)、鍵盤或者觸摸屏。

顯示器908例如是lcd(liquidcrystaldisplay：液晶顯示器)。

在輔助存儲裝置902中存儲有實現(xiàn)圖1所示的接收部301、時刻取得部302、時刻計算部304、數(shù)據(jù)讀出部305(下面，將接收部301、時刻取得部302、時刻計算部304、數(shù)據(jù)讀出部305統(tǒng)一表述為“部”)的功能的程序。

該程序被加載于存儲器903中，被處理器901讀取，并由處理器901執(zhí)行。

另外，在輔助存儲裝置902還存儲有os(operatingsystem：操作系統(tǒng))。

另外，os的至少一部分加載于存儲器903中，處理器901執(zhí)行os，并執(zhí)行實現(xiàn)“部”的功能的程序。

在圖5中圖示了一個處理器901，但數(shù)據(jù)處理裝置3也可以具有多個處理器901。

另外，也可以由多個處理器901協(xié)作執(zhí)行實現(xiàn)“部”的功能的程序。

此外，將表示“部”的處理的結(jié)果的信息、數(shù)據(jù)、信號值和/或變量值存儲在存儲器903、輔助存儲裝置902或者處理器901內(nèi)的寄存器或者高速緩存中。

也可以利用“circuitry(線路)”提供“部”。

另外，也可以將“部”換一種措辭稱為“電路”或者“工序”或者“步驟”或者“處理”。

“電路”及“線路”是不僅包括處理器901，而且也包括邏輯ic或者ga(gatearray：門陣列)或者asic(applicationspecificintegratedcircuit：專用集成電路)或者fpga(field-programmablegatearray：現(xiàn)場可編程門陣列)這些其它類型的處理電路的概念。

標(biāo)號說明

1監(jiān)視攝像機；2網(wǎng)絡(luò)；3數(shù)據(jù)處理裝置；101攝像部；102編碼部；103時刻賦予部；104發(fā)送部；301接收部；302時刻取得部；303視頻存儲部；304時刻計算部；305數(shù)據(jù)讀出部。