動態(tài)圖像處理裝置、動態(tài)圖像處理方法
【專利摘要】本發(fā)明的動態(tài)圖像處理裝置，檢測存在于動態(tài)圖像的幀內的規(guī)定的特征點，確定該檢測到的特征點在動態(tài)圖像內的變化狀態(tài)表示規(guī)定的變化狀態(tài)的幀的位置，使成為對該幀的位置進行確定的條件的上述規(guī)定的狀態(tài)變化與其他動態(tài)圖像共同化。
【專利說明】動態(tài)圖像處理裝置、動態(tài)圖像處理方法
【技術領域】
[0001]本發(fā)明涉及對同步的動態(tài)圖像的拍攝、同步的動態(tài)圖像的再生等規(guī)定的動態(tài)圖像處理進行控制的動態(tài)圖像處理裝置、以及其動態(tài)圖像處理方法。
【背景技術】
[0002]以往以來，作為使用多個拍攝設備同時對同一被攝體進行動態(tài)圖像拍攝的方法，有以下方法，即在通過無線或者有線對各拍攝設備進行同步化后進行動態(tài)圖像拍攝。
[0003]在這些拍攝設備中，采用以下方法:以動態(tài)圖像拍攝的開始為觸發(fā)來發(fā)送快門信號的方法、在發(fā)送時刻信息來使彼此的拍攝設備的時刻一致的基礎上，通過發(fā)送動態(tài)圖像拍攝的開始時刻即快門時刻的信息來使彼此同步化的方法(例如，參照JP特開2012-70336號公報)。
[0004]但是，在采用現有技術的情況下，為了進行要求了精度的同步拍攝，需要精密地測定通信的延遲時間，沒有硬件的支持的話實現較為困難。

【發(fā)明內容】

[0005]本發(fā)明鑒于這樣的狀況而作出，其目的在于，在拍攝時不需要高精度的時刻同步和快門同步，就使多個動態(tài)圖像同步。
[0006]本發(fā)明的一個方式是動態(tài)圖像處理裝置，其特征在于，具備:特征點檢測單元，其檢測存在于動態(tài)圖像的幀內的規(guī)定的特征點；幀確定單元，其確定由上述特征點檢測單元檢測到的特征點在動態(tài)圖像內的變化狀態(tài)表示規(guī)定的變化狀態(tài)的幀的位置；以及同步控制單元，其將成為通過上述幀確定單元對幀的位置進行確定的條件的上述規(guī)定的狀態(tài)變化與其他動態(tài)圖像共同化。
[0007]此外，本發(fā)明的其他方式是動態(tài)圖像處理方法，其特征在于，包括:特征點檢測處理，檢測存在于動態(tài)圖像的幀內的規(guī)定的特征點；幀確定處理，確定由上述特征點檢測處理檢測到的特征點在動態(tài)圖像內的變化狀態(tài)表示規(guī)定的變化狀態(tài)的幀的位置；以及同步控制處理，使成為通過上述幀確定處理對幀的位置進行確定的條件的上述規(guī)定的狀態(tài)變化與其他動態(tài)圖像共同化。
[0008]此外，本發(fā)明的其他方式是記錄了程序的記錄介質，其特征在于，使動態(tài)圖像處理裝置的計算機作為以下單元發(fā)揮作用:特征點檢測單元，其檢測存在于動態(tài)圖像的幀內的規(guī)定的特征點；巾貞確定單元，其確定通過上述特征點檢測單元檢測到的特征點在動態(tài)圖像內的變化狀態(tài)表示規(guī)定的變化狀態(tài)的幀的位置；以及同步控制單元，其使成為通過上述幀確定單元對幀的位置進行確定的條件的上述規(guī)定的狀態(tài)變化與其他動態(tài)圖像共同化。
【專利附圖】

【附圖說明】
[0009]圖1是表示攝像再生控制裝置的硬件的構成的方框圖。
[0010]圖2是表示用于執(zhí)行同步拍攝處理的功能構成的功能方框圖。[0011]圖3是表示圖1的攝像再生控制裝置所執(zhí)行的同步拍攝處理的流程的流程圖。
[0012]圖4是表示攝像再生控制裝置所執(zhí)行的同步化處理的流程的流程圖。
[0013]圖5是表示圖1的存儲部中存儲的定時判定條件表的圖。
[0014]圖6是表示攝像再生控制裝置所執(zhí)行的第二實施方式的同步化處理的流程的流程圖。
【具體實施方式】
[0015][第一實施方式]
[0016]以下，使用【專利附圖】

【附圖說明】本發(fā)明的第一實施方式。
[0017][硬件構成]
[0018]圖1是表示本發(fā)明的一實施方式涉及的攝像再生控制裝置I的硬件的構成的方框圖。
[0019]攝像再生控制裝置I構成為例如數字照相機。
[0020]本實施方式涉及的攝像再生控制裝置1，從在2個照相機中分別拍攝到的動態(tài)圖像內檢測特征點，并檢測所檢測到的特征點的移動方向的變化、或者亮度的變化，通過將檢測到這些變化的單位圖像作為同一時刻的單位圖像，從而采用多個照相機以高精度來進行冋步拍攝。
[0021]所謂單位圖像是成為動態(tài)圖像的處理單位的圖像，例如相當于場或幀。在本實施方式中，采用幀作為單位圖像。
[0022]攝像再生控制裝置I具備:CPU (Central Processing Unit,中央處理單元)11、ROM (Read Only Memory,只讀存儲器)12、RAM (Random Access Memory,隨機存取存儲器)13、總線14、輸入輸出接口 15、輸入部16、輸出部17、攝像部18、存儲部19、通信部20、以及驅動器21。
[0023]CPUll例如按照用于后述的同步拍攝處理的程序等、記錄在R0M12中的程序、或者從存儲部19加載至RAM13中的程序來執(zhí)行各種處理。
[0024]在RAM13中也適當存儲CPUll在執(zhí)行各種處理時需要的數據等。
[0025]CPU11、R0M12、以及RAM13經由總線14相互連接。該總線14還與輸入輸出接口15連接。輸入輸出接口 15與輸入部16、輸出部17、攝像部18、存儲部19、通信部20、以及驅動器21連接。
[0026]輸入部16由各種按鈕和指向設備(pointing device)等構成,按照要同步的同步點的選擇、基準照相機的確定、基準動態(tài)圖像的確定等用戶的指示操作來輸入各種信息。
[0027]輸出部17由顯示器和揚聲器等構成，輸出圖像和聲音。
[0028]攝像部18拍攝被攝體，向CPUll提供包括該被攝體的像在內的圖像(以下，稱為“攝像圖像”)的數字信號(圖像信號)。這里，將攝像圖像的數字信號(圖像信號)適當稱為“攝像圖像的數據”。
[0029]存儲部19由硬盤或者DRAM (Dynamic Random Access Memory,動態(tài)隨機存取存儲器)等構成，存儲各種圖像的數據。
[0030]通信部20對經由包括因特網在內的網絡與其他照相機(未圖示)之間進行的通信進行控制。[0031]在驅動器21中適當安裝由磁盤、光盤、光磁盤、或者半導體存儲器等構成的可移動介質31。由驅動器21從可移動介質31讀出的程序，按照需要而安裝在存儲部19中。此夕卜，可移動介質31也能夠與存儲部19同樣地存儲在存儲部19中存儲的圖像的數據等的各種數據。
[0032][功能構成]
[0033]圖2是表示這樣的攝像再生控制裝置I的功能構成中用于執(zhí)行同步拍攝處理的功能構成的功能方框圖。
[0034]所謂同步拍攝處理是指，基于選擇出的同步點來決定拍攝動態(tài)圖像的定時。并且，是指基于所決定的同步定時來進行同步拍攝，從而進行同步化處理這樣的一系列處理。
[0035]所謂同步化處理是指以下一系列處理:S卩，按照被攝體的運動是否滿足獲取到的判定條件，決定由各個照相機(攝像再生控制裝置)拍攝到的各個動態(tài)圖像的同步幀，基于各個同步幀的時刻差來刪除幀，從而進行同步拍攝。
[0036]CPUll作為執(zhí)行同步拍攝處理的功能塊，還具備:指定部位受理部41、指定方向受理部42、拍攝方向檢測部43、特征點檢測部44、幀確定部45、同步控制部46、以及再生控制部47。
[0037]指定部位受理部41，受理用戶對被攝體的部位進行任意指定了的部位作為應檢測的特征點。
[0038]指定方向受理部42，受理用戶對應檢測的特征點的移動方向進行了任意指定的移動方向。
[0039]拍攝方向檢測部43，檢測進行同步拍攝的多個照相機的拍攝方向的不同。
[0040]此外，拍攝方向檢測部43檢測照相機相對于被攝體的方向的拍攝方向。
[0041]特征點檢測部44在由多個照相機進行同步拍攝的情況下，檢測在各個照相機的拍攝幀內共同存在的特征點。此外，特征點檢測部44基于由拍攝方向檢測部43檢測到的拍攝方向來決定應檢測的特征點的移動方向。此外，在同步再生多個動態(tài)圖像的情況下，特征點檢測部44檢測在各個動態(tài)圖像的幀內共同存在的特征點。
[0042]該情況下，特征點檢測部44通過檢測設置在被攝體的檢測對象部分中的LED (Light Emitting Diode,發(fā)光二級管)的光來檢測特征點。設置在檢測對象部分中的LED例如由藍色LED構成。此外，特征點檢測部44將按照固定間隔閃爍的LED的光檢測為特征點。
[0043]幀確定部45分別確定由特征點檢測部44檢測到的特征點的變化狀態(tài)在各個照相機中一致的拍攝幀的位置。此外，幀確定部45分別確定特征點的移動方向或移動方向的變化狀態(tài)在各個照相機中一致的拍攝幀。此外，幀確定部45分別確定特征點的移動方向的變化狀態(tài)在各個照相機中一致的拍攝幀。
[0044]此外，幀確定部45，對于通過與使確定出的各個拍攝幀的記錄定時一致的方法不同的方法，由多個照相機進行同步拍攝并記錄的多個動態(tài)圖像數據，來進行上述共同的特征點的檢測以及變化狀態(tài)一致的拍攝幀的確定。此外，幀確定部45基于檢測到的照相機的拍攝方向來決定由指定部位受理部41受理的部位的應檢測的移動方向。此外，幀確定部45基于由指定方向受理部42受理的移動方向和各照相機的拍攝方向，在各照相機中決定應檢測的特征點的移動方向。此外，幀確定部45基于由拍攝方向檢測部43檢測到的拍攝方向的不同，在各個照相機中確定特征點的變化狀態(tài)一致的拍攝幀的位置。此外，幀確定部45對于通過其他任意方法由多個照相機進行同步拍攝并記錄的多個動態(tài)圖像數據，進行基于特征點檢測部44的共同的特征點的檢測以及基于幀確定部45的變化狀態(tài)一致的幀的確定。
[0045]同步控制部46，使用由幀確定部45確定出的各個拍攝幀的位置信息來執(zhí)行使由上述多個照相機拍攝的多個動態(tài)圖像同步的控制。此外，同步控制部46從由幀確定部45確定出的拍攝幀起開始各個動態(tài)圖像的記錄。此外，同步控制部46從由幀確定部確定拍攝幀之前起開始動態(tài)圖像的記錄，并以確定出的拍攝幀為基準來進行其前后的記錄幀的修整。此外，同步控制部46以由幀確定部45確定出的拍攝幀為基準來進行記錄幀的修剪的一致控制。此外，同步控制部46使用由幀確定部45確定出的各個拍攝幀的位置信息，按照使這些拍攝幀的再生定時一致的方式來進行動態(tài)圖像的記錄或再生。此外，同步控制部46從由幀確定部45確定出的拍攝幀起開始各個動態(tài)圖像的記錄。
[0046]再生控制部47在再生時，執(zhí)行進行同步再生的控制，使由幀確定部45確定出的幀的再生定時一致的。
[0047]此外，再生控制部47以由巾貞確定部45確定出的巾貞為基準來進行再生定時的一致控制。
[0048][動作]
[0049]接著，說明攝像再生控制裝置I的動作。
[0050][同步拍攝處理]
[0051]首先，說明成為攝像再生控制裝置I的動作中的主流程的同步拍攝處理。
[0052]圖3是表示攝像再生控制裝置I所執(zhí)行的同步拍攝處理的流程的流程圖。
[0053]同步拍攝處理與用戶指示輸入同步拍攝處理的開始相對應來執(zhí)行。
[0054]在步驟Sll中，指定部位受理部41從多個同步點中選擇I個實際上被同步的同步點。在該處理中，指定部位受理部41從多個同步點之中選擇基于用戶的輸入部16的操作而同步的同步點。
[0055]在步驟S12中，同步控制部46進行時刻信息的收發(fā)。在該處理中，同步控制部46經由通信部20在拍攝之前進行2臺照相機彼此之間的內部計時器的時刻校準。在該處理中進行的時刻校準可以不那么嚴格。這里，將各照相機彼此之間的時刻偏差的最大值設為Tm [秒]。
[0056]在步驟S13中，同步控制部46通過收發(fā)快門信號，來決定同步的動態(tài)圖像的拍攝定時。由冋步控制部46決定的拍攝定時中包含表不拍攝開始和拍攝結束的雙方的定時的信息。表示拍攝結束的定時的信息可以在拍攝開始前與表示拍攝開始的定時的信息一起發(fā)送，也可以按照拍攝開始后的任意定時來發(fā)送。此外，這些定時或者由用戶操作來決定，或者自動判定其他條件來決定。
[0057]在步驟S14中，同步控制部46按照在步驟S13中決定的拍攝定時來進行動態(tài)圖像拍攝，并將動態(tài)圖像數據存儲在存儲部19中。在該處理中，由2臺照相機開始動態(tài)圖像拍攝，將拍攝到的動態(tài)圖像文件存儲在存儲部19中。在各照相機中拍攝到的動態(tài)圖像分別設為動態(tài)圖像1、動態(tài)圖像2。
[0058]在步驟S15中，同步控制部46執(zhí)行參照后述的圖4來說明的同步化處理。該處理結束后，冋步拍攝處理結束。
[0059][同步化處理]
[0060]接著，說明在同步拍攝處理的步驟S15中執(zhí)行的同步化處理。
[0061]圖4是表示攝像再生控制裝置I所執(zhí)行的同步化處理的流程的流程圖。在同步拍攝處理中存儲在存儲部19中的2個動態(tài)圖像相互之間可能會有最大Tm[秒]的時間偏差。在Tm>(l / FPS (Frames Per Second,每秒的巾貞數))時，即在預計到時間偏差涉及多個中貞時，進行以下的同步化處理，由此能夠將時間偏差抑制在I幀以內。
[0062]在步驟S31中，拍攝方向檢測部43確定本照相機的拍攝方向。
[0063]在步驟S32中，特征點檢測部44基于在同步拍攝處理的步驟Sll中選擇出的同步點以及在步驟S31中確定出的拍攝方向，參照圖5的定時判定條件表來獲取對應的定時判定條件。
[0064]圖5是表示存儲在圖1的存儲部19中的定時判定條件表的圖。在定時判定條件表中，按照每個同步點候選來存儲每個拍攝方向的定時判定條件。
[0065]例如，說明選擇“從地址起的啟動”作為同步點候選的情況下的每個拍攝方向的定時判定條件。
[0066]在該情況下，作為“正面(身體的正面)”的定時判定條件，設定“頭的移動向量從停止狀態(tài)向向量A變化”。此外，作為“后方(身體的側面)”的定時判定條件，設定“頭的大小開始大大變化”。此外，作為“傾斜X度方向”的定時判定條件，設定“以X度來修正左記向量A的條件”。同樣地，也分別設定“傾斜Y度方向”的定時判定條件。
[0067]返回圖4，在步驟S33中，同步控制部46將記錄在存儲部19中的動態(tài)圖像數據中的幀位置推進I個。在該處理中，同步控制部46將動態(tài)圖像數據的再生時刻推進I幀的量。
[0068]在步驟S34中，特征點檢測部44確定所記錄的動態(tài)圖像數據中的當前的幀位置中的被攝體的運動。所謂當前的幀位置指的是在步驟S33中進行了將幀位置推進I個之后結果所形成的當前的幀的位置。
[0069]在該處理中，特征點檢測部44首先檢測被記錄的動態(tài)圖像數據的圖像的特征點。由特征點檢測部44進行的特征點的檢測方法不受限制,例如自動檢測ROI (Region ofinterest,感興趣區(qū)域)區(qū)域,從該區(qū)域內檢測邊緣等特征點。并且，特征點檢測部44檢測所檢測到的特征點的移動方向的變化。特征點檢測部44，例如通過檢測向右移動的部位減速、瞬間停止、向左移動，從而檢測移動方向的變化。
[0070]在步驟S35中，特征點檢測部44，判定在步驟S34中確定出的被攝體的運動是否滿足在步驟S32中獲取到的判定條件。在被攝體的運動不滿足獲取到的判定條件的情況下，在步驟S35中判定為“否”，處理返回步驟S33。S卩，直到滿足在步驟S32中獲取到的判定條件為止的期間，將幀位置逐一推進，重復執(zhí)行步驟S33至步驟S35的處理。相對于此，在被攝體的運動滿足獲取到的判定條件的情況下，在步驟S35中判定為“是”，處理進入步驟S36。
[0071]在步驟S36中，幀確定部45將所記錄的動態(tài)圖像數據中的當前的幀位置(再生時刻)確定為同步幀(同步時刻)。
[0072]在步驟S37中，同步控制部46經由通信部20與其他照相機收發(fā)信號，由此來決定基準照相機?；鶞收障鄼C的決定，能夠基于用戶的輸入部16的操作來任意設定，在將I個照相機決定為基準照相機的情況下，將其他照相機決定為從屬于基準照相機的照相機。但是，基準照相機的決定也可以基于用戶的輸入部16的操作隨時來任意變更。因此，在將本照相機決定為基準照相機的情況下，將表示本照相機為基準照相機的信號向其他照相機發(fā)送。相對于此，在將其他照相機決定為基準照相機的情況下，從其他照相機對本照相機，發(fā)送表示該其他照相機為基準照相機的信號，通過在本照相機中接收該信號來決定基準照相機。
[0073]在步驟S38中，同步控制部46判定本照相機是否為基準照相機。在本照相機為基準照相機的情況下，在步驟S38中判定為“是”，同步化處理結束。相對于此，在本照相機不是基準照相機的情況下，在步驟S38中判定為“否”，處理進入步驟S39。
[0074]在步驟S39中，同步控制部46計算在步驟S36中確定出的同步幀(同步時刻)和基準照相機的同步幀(同步時刻)之間的幀差(時刻差)。基準照相機的同步幀(同步時刻)，與本照相機的步驟同樣地，使用在基準照相機中獨自確定出的同步幀的信息。即，在本實施方式中，同步幀的確定是各個照相機獨自判斷的。
[0075]在步驟S40中，同步控制部46，從所記錄的動態(tài)圖像數據的開頭起刪除在步驟S39中計算出的幀差(時刻差X幀率)份的幀。該處理結束后，同步化處理結束。
[0076]以上，說明了本發(fā)明的第一實施方式涉及的攝像再生控制裝置I。
[0077]接著，說明本發(fā)明的第二實施方式涉及的攝像再生控制裝置I。
[0078][第二實施方式]
[0079]第二實施方式涉及的攝像再生控制裝置I能夠采取與第一實施方式涉及的攝像再生控制裝置I基本相同的硬件構成。因此，圖1是表示第二實施方式涉及的攝像再生控制裝置I的硬件的構成的方框圖。
[0080]此外，第二實施方式涉及的攝像再生控制裝置1，能夠采取與第一實施方式涉及的攝像再生控制裝置I基本相同的功能構成。因此，在第二實施方式的攝像再生控制裝置I中，進行與第一實施方式的攝像再生控制裝置I所執(zhí)行的圖3的同步拍攝處理、圖4的同步化處理相同的處理。其中，在第一實施方式的攝像再生控制裝置I中進行以下處理，即，各個照相機進行判斷并在本照相機的存儲部19內的動態(tài)圖像數據的開頭刪除規(guī)定幀的數據，與此相對地，在第二實施方式的攝像再生控制裝置I中，成為基準的基準照相機從其他照相機中匯集動態(tài)圖像數據，基準照相機按照需要在動態(tài)圖像數據的開頭刪除規(guī)定幀份的數據，在這一點上與第一實施方式不同。
[0081]因此，在第二實施方式的攝像再生控制裝置I中，取代圖4的同步化處理，采用圖6的同步化處理。接著，參照圖6，說明在同步拍攝處理的步驟S15中執(zhí)行的第二實施方式的同步化處理。
[0082][同步化處理]
[0083]圖6是表示攝像再生控制裝置I所執(zhí)行的第二實施方式的同步化處理的流程的流程圖。在本實施方式中，將進行同步化處理的照相機作為基準照相機，將與該基準照相機之間收發(fā)動態(tài)圖像數據以及信號的另一個照相機作為其他照相機進行說明。將由基準照相機拍攝到的動態(tài)圖像作為“動態(tài)圖像1”，將由其他照相機拍攝到的動態(tài)圖像作為“動態(tài)圖像2”。
[0084]在步驟S51中，同步控制部46通過通信部20，從進行了同步拍攝的其他照相機中獲取動態(tài)圖像數據。[0085]在步驟S52中，同步控制部46，選擇I個未處理的動態(tài)圖像的動態(tài)圖像數據。
[0086]在步驟S53中，拍攝方向檢測部43，檢測并確定在步驟S52中選擇出的動態(tài)圖像數據的拍攝方向。
[0087]在步驟S54中，特征點檢測部44基于在同步拍攝處理的步驟Sll中選擇出的同步點以及在步驟S53中確定出的拍攝方向，參照圖5的定時判定條件表，獲取對應的定時判定條件。針對圖5的定時判定條件表，由于與第一實施方式的定時判定條件表相同，所以省略說明。
[0088]在步驟S55中，同步控制部46，將在步驟S52中選擇出的動態(tài)圖像數據中的幀位置推進I個。在該處理中，同步控制部46將動態(tài)圖像數據的再生時刻推進I幀。
[0089]在步驟S56中，特征點檢測部44，確定在步驟S52中選擇出的動態(tài)圖像數據中當前的幀位置下的被攝體的運動。所謂當前的幀位置，指的是在步驟S55中進行了將幀位置推進I個之后的結果所形成的當前的幀位置。
[0090]在該處理中，特征點檢測部44，首先檢測選擇出的動態(tài)圖像I的動態(tài)圖像數據的圖像的特征點。由特征點檢測部44進行的特征點的檢測方法不受限定，例如自動檢測ROI區(qū)域，從該區(qū)域內檢測邊緣等特征點。并且，特征點檢測部44對所檢測到的特征點的移動方向的變化進行檢測。特征點檢測部44例如通過檢測向右移動的特征點減速、一剎那停止、并向左移動，從而檢測移動方向的變化。
[0091]在步驟S57中，特征點檢測部44判定在步驟S56中確定出的被攝體的運動是否滿足在步驟S54中獲取到的判定條件。在被攝體的運動不滿足獲取到的判定條件的情況下，在步驟S57中判定為“否”，處理返回步驟S55。即，直到滿足在步驟S54中獲取到的判定條件為止的期間，將幀位置逐一推進，重復執(zhí)行步驟S55至步驟S57的處理。相對于此，在被攝體的運動滿足獲取到的判定條件的情況下，在步驟S57中判定為“是”，處理進入步驟S58。
[0092]在步驟S58中，幀確定部45將選擇出的動態(tài)圖像數據中的當前的幀位置(再生時刻)確定為同步幀(同步時刻)。幀確定部45例如確定動態(tài)圖像I的動態(tài)圖像數據中當前的幀位置(再生時刻)，并預先存儲為時刻Tl。并且，在特征點檢測部44針對其他的動態(tài)圖像(例如，動態(tài)圖像2)的動態(tài)圖像數據，檢測出被攝體的運動的情況下，在步驟S56中，確定時刻Tl附近的幀位置處的被攝體的運動，由此能夠迅速進行被攝體的運動的確定。其結果是，對所得到的動態(tài)圖像2的動態(tài)圖像數據中當前的幀位置(再生時刻)進行確定，并預先存儲為時刻T2。
[0093]在步驟S59中，同步控制部46針對所有的動態(tài)圖像數據判定步驟S58的同步幀的確定是否結束。在同步幀的確定沒有結束的情況下，在步驟S58中判定為“否”，處理返回步驟S52。即，直到對全部的動態(tài)圖像數據分別進行同步幀的確定為止的期間，重復執(zhí)行步驟S52至步驟S59的處理。相對于此，在對全部的動態(tài)圖像數據進行了同步幀的確定的情況下，在步驟S59中判定為“是”，處理進入步驟60。
[0094]在步驟S60中，同步控制部46，將同步幀(同步時刻)最早的動態(tài)圖像數據決定為基準動態(tài)圖像的動態(tài)圖像數據。
[0095]在步驟S61中，同步控制部46，計算在步驟S60中決定的基準動態(tài)圖像以外的動態(tài)圖像的動態(tài)圖像數據的同步幀(同步時刻)和基準動態(tài)圖像的同步幀(同步時刻)之間的幀差D (時刻差)。[0096]這里，將動態(tài)圖像I和動態(tài)圖像2的時間偏差設想為T1-T2。若將其換算為幀差D，則同步控制部46能夠通過下式(I)來計算幀差D。
[0097]D=(T1_T2) XFPS ? ? ?式(I)
[0098]在步驟S62中，同步控制部46從基準動態(tài)圖像以外的動態(tài)圖像數據的開頭起刪除在步驟S61中計算出的幀差D (時刻差X幀率)份的幀。在該處理中，同步控制部46，從基準動態(tài)圖像(例如，動態(tài)圖像I)以外的動態(tài)圖像(例如，動態(tài)圖像2)的動態(tài)圖像數據的開頭起刪除在步驟S61中計算出的幀差D份的幀。另外，在D為負的情況下，同步控制部46從動態(tài)圖像數據的開頭起插入“-D”枚幀。該處理結束后，同步化處理結束。
[0099]如以上所說明的，本實施方式的攝像再生控制裝置I具備特征點檢測部44、幀確定部45、同步控制部46。
[0100]在由多個照相機進行同步拍攝的情況下，特征點檢測部44檢測在各個照相機的拍攝幀內共同存在的特征點。
[0101]幀確定部45，分別確定由特征點檢測部44檢測到的特征點的變化狀態(tài)在各個照相機中一致的拍攝幀的位置。
[0102]同步控制部46，使用由幀確定部45確定出的各個拍攝幀的位置信息來執(zhí)行使由上述多個照相機拍攝的多個動態(tài)圖像同步的控制。
[0103]由此，在拍攝時沒有必要進行高精度的時刻同步和快門同步，就能夠同步拍攝多個動態(tài)圖像。因此，不考 慮通信的周密延遲時間，并且沒有硬件的支持就能夠進行要求了精度的同步拍攝。
[0104]此外，本實施方式的攝像再生控制裝置I的幀確定部45分別確定特征點的移動方向或移動方向的變化狀態(tài)在各個照相機中一致的拍攝幀。由此，判定特征點的移動方向或移動方向的變化狀態(tài)一致的拍攝幀是在相同時刻拍攝了的幀，能夠進行同步拍攝。
[0105]此外，本實施方式的攝像再生控制裝置I的同步控制部46，使用由幀確定部45確定出的各個拍攝幀的位置信息，來進行動態(tài)圖像的記錄或再生，使得這些拍攝幀的再生定時一致。由此，判定幀的位置一致的拍攝幀是在相同時刻拍攝的幀，能夠進行同步拍攝。
[0106]此外，本實施方式的攝像再生控制裝置I的幀確定部45，分別確定特征點的移動方向的變化狀態(tài)在各個照相機中一致的拍攝幀。由此，判定特征點的移動方向的變化狀態(tài)一致的拍攝幀是在相同時刻拍攝的幀，能夠進行同步拍攝。
[0107]此外，本實施方式的攝像再生控制裝置I的同步控制部46，從由幀確定部45確定出的拍攝幀起開始各個動態(tài)圖像的記錄。由此，將特征點的變化狀態(tài)在各個照相機中一致的拍攝幀作為在相同時刻拍攝的幀，能夠在使各個照相機同步的基礎上開始動態(tài)圖像的記錄。因此，沒有硬件的支持就能夠進行要求了精度的同步拍攝。
[0108]此外，本實施方式的攝像再生控制裝置I的同步控制部46，從由幀確定部45確定拍攝幀之前起開始動態(tài)圖像的記錄，以確定出的拍攝幀為基準進行其前后的記錄幀的修剪。由此，通過基于無意于同步拍攝而拍攝到的動態(tài)圖像數據來進行記錄幀的修剪，從而實質上能夠進行同步拍攝。
[0109]此外，本實施方式的攝像再生控制裝置I的幀確定部45，對于通過其他某些方法由多個照相機進行同步拍攝后記錄的多個動態(tài)圖像數據，進行上述共同的特征點的檢測以及變化狀態(tài)一致的拍攝幀的確定。并且，同步控制部46，將由幀確定部45確定出的拍攝幀作為基準來進行記錄幀的修剪的一致控制。
[0110]由此，對于通過各種方法記錄的多個動態(tài)圖像數據，在拍攝時沒有必要進行高精度的時刻同步和快門同步，就能夠同步拍攝多個動態(tài)圖像。因此，不考慮通信的周密的延遲時間，并且沒有硬件的支持就能夠進行要求了精度的同步拍攝。
[0111]此外，本實施方式的攝像再生控制裝置I，還具備拍攝方向檢測部43。拍攝方向檢測部43檢測進行同步拍攝的多個照相機的拍攝方向的不同。并且，幀確定部45，基于由拍攝方向檢測部43檢測到的拍攝方向的不同，在各個照相機中確定特征點的變化狀態(tài)一致的拍攝幀的位置。由此，能夠在也考慮了拍攝方向的差異的基礎上，判定特征點的移動方向的變化狀態(tài)一致的拍攝幀為在相同時刻拍攝的幀，來進行同步拍攝。因此，沒有硬件的支持就能夠進行進一步提聞了精度的同步拍攝。
[0112]此外，本實施方式的攝像再生控制裝置I的拍攝方向檢測部43，對照相機相對于被攝體的方向的拍攝方向進行檢測。并且，特征點檢測部44，基于由拍攝方向檢測部43檢測到的拍攝方向來決定應檢測的特征點的移動方向。由此，能夠在也考慮了與被攝體的方向相對的拍攝方向的不同的基礎上，決定特征點的移動方向。因此，沒有硬件的支持就能夠進行進一步提聞了精度的同步拍攝。
[0113]此外，本實施方式的攝像再生控制裝置1，還具備指定部位受理部41。指定部位受理部41，受理用戶對被攝體的部位進行了任意指定的部位作為應檢測的特征點。并且，幀確定部45，基于檢測到的照相機的拍攝方向來決定由指定部位受理部41受理的部位的應檢測的移動方向。由此，能夠基于用戶希望的特征點的部位，來決定應檢測的移動方向。因此，能夠反映用戶的意向來進行同步拍攝。
[0114]此外，本實施方式的攝像再生控制裝置的同步控制部46從由幀確定部45確定出的拍攝巾貞起開始各個動態(tài)圖像的記錄。由此，在各個照相機中能夠在相冋時刻開始拍攝，所以能夠進行提聞了精度的同步拍攝。
[0115]此外，本實施方式的攝像再生控制裝置I還具備指定方向受理部42。指定方向受理部42受理用戶任意指定應檢測的特征點的移動方向了的移動方向。并且，幀確定部45基于由指定方向受理部42受理的移動方向和各照相機的拍攝方向，在各照相機中決定應檢測的特征點的移動方向。由此，能夠基于用戶希望的移動方向和照相機的拍攝方向，決定應檢測的特征點的移動方向。因此，能夠反應用戶的意向來進行同步拍攝。
[0116]此外，本實施方式的攝像再生控制裝置I的特征點檢測部44，通過檢測設置在被攝體的檢測對象部分中的LED的光來檢測特征點。由此，能夠提高被攝體的特征點的變化狀態(tài)的檢測精度。
[0117]此外，本實施方式的攝像再生控制裝置I的特征點檢測部，將按固定間隔閃爍的LED的光作為特征點來檢測。由此，也能夠容易地計算被攝體移動的速度，提高被攝體的特征點的變化狀態(tài)的檢測精度。
[0118]此外，本實施方式的攝像再生控制裝置I具備特征點檢測部、幀確定部、和再生控制部47。
[0119]特征點檢測部44，在同步再生多個動態(tài)圖像的情況下，檢測各個動態(tài)圖像的幀內共同存在的特征點。幀確定部45分別確定由特征點檢測部檢測到的特征點的變化狀態(tài)在各個動態(tài)圖像中一致的幀。[0120]再生控制部47在再生時，執(zhí)行進行同步再生的控制，實現使由幀確定部45確定出的幀的再生定時一致。
[0121]由此，在拍攝時沒有必要進行高精度的時刻同步和快門同步，就能夠在同步拍攝了多個動態(tài)圖像后，進行同步再生。因此，不考慮通信的周密延遲時間，并且沒有硬件支持就能夠進行要求了精度的同步拍攝。
[0122]此外，本實施方式的攝像再生控制裝置I，對于采用其他某些方法由多個照相機進行同步拍攝并記錄的多個動態(tài)圖像數據，由上述特征點檢測單元進行上述共同的上述特征點的檢測、以及由上述幀確定單元進行上述變換狀態(tài)一致的幀的確定。并且，再生控制部47，以由幀確定部45確定出的幀為基準來進行再生定時的一致控制。由此，在拍攝時沒有必要進行高精度的時刻同步和快門同步，就能夠對同步拍攝了多個動態(tài)圖像后得到的動態(tài)圖像數據進行同步再生。因此，不考慮通信的周密延遲時間，并且沒有硬件的支持就能夠進行要求了精度的同步拍攝。
[0123]另外，本發(fā)明不限定于上述實施方式，能夠達成本發(fā)明的目的的范圍內的變形、改良等都包含在本發(fā)明中。
[0124]在上述的實施方式中，同步控制部46將同步幀(同步時刻)最早的動態(tài)圖像數據決定為基準動態(tài)圖像的動態(tài)圖像數據，但是不限定于此。例如，同步控制部46，能夠將基于用戶的輸入部16的操作而選擇出的動態(tài)圖像數據決定為基準動態(tài)圖像的動態(tài)圖像數據。
[0125]此外，在上述的實施方式中，將各同步點(“從地址開始的啟動”、“頂部”、“撞擊”(impact)、“結束”)設為4個點，但是并不限于此，能夠任意設定多個點。
[0126]此外，在上述實施方式中，應用本發(fā)明的攝像再生控制裝置I以數字照相機為例進行了說明，但是并不特別限定于此。
[0127]例如，本發(fā)明能夠一般應用于具有圖像處理功能的電子設備中。具體來說，例如，本發(fā)明能夠應用于個人計算機、電視機、攝像機、便攜式導航裝置、便攜式電話、便攜式游戲機等。
[0128]上述一系列的處理能夠由硬件執(zhí)行，也能夠由軟件執(zhí)行。
[0129]換言之，圖2的功能構成只不過是例示，不特別限定。即，只要攝像再生控制裝置I具備整體上能夠執(zhí)行上述一系列的處理的功能就足夠了，為了實現該功能使用什么樣的功能塊，不特別限定為圖2的例子。
[0130]此外，一個功能塊可以由單個硬件構成，也可以由單個軟件構成，也可以由硬件和軟件的組合構成。
[0131]在通過軟件來執(zhí)行一系列的處理的情況下，構成該軟件的程序從網絡或記錄介質安裝在計算機等中。
[0132]計算機可以是組入專用的硬件中的計算機。此外，計算機也可以是能夠通過安裝各種程序來執(zhí)行各種功能的計算機，例如通用的個人計算機。
[0133]包含這樣的程序的記錄介質，為了向用戶提供程序，不僅由與裝置主體另外配置的圖1的可移動介質31構成，還由在預先編入裝置主體的狀態(tài)下提供給用戶的記錄介質等構成?？梢苿咏橘|31例如由磁盤(包括軟盤)、光盤、或者光磁盤等構成。光盤，例如由CD-ROM (Compact Disk-Read Only Memory) >DVD (Digital Versatile Disk)等構成。光磁盤由MD(Min1-Disk)等構成。此外，在預先編入裝置主體的狀態(tài)下被提供給用戶的記錄介質，例如由記錄程序的圖1的R0M12、圖1的存儲部19中包含的硬盤等構成。
[0134]此外，在本說明書中，對記錄在記錄介質中的程序進行描述的步驟，當然包括沿著其順序按時間順序進行的處理，但也不一定是按時間順序進行處理，也包括并行或者單獨執(zhí)行的處理。
[0135]此外，在本說明書中，系統(tǒng)的用語意思是由多個裝置和多個單元等構成的整體的
>J-U裝直。
【權利要求】
1.一種動態(tài)圖像處理裝置，其特征在于，具備: 特征點檢測單元，其檢測存在于動態(tài)圖像的幀內的規(guī)定的特征點； 幀確定單元，其確定由上述特征點檢測單元檢測到的特征點在動態(tài)圖像內的變化狀態(tài)表示規(guī)定的變化狀態(tài)的幀的位置；以及 同步控制單元，其將成為通過上述幀確定單元對幀的位置進行確定的條件的上述規(guī)定的狀態(tài)變化與其他動態(tài)圖像共同化。
2.根據權利要求1所述的動態(tài)圖像處理裝置，其特征在于， 還具備執(zhí)行單元，該執(zhí)行單元使用由上述幀確定單元確定出的拍攝幀的位置信息，來執(zhí)行針對上述動態(tài)圖像的規(guī)定處理， 上述同步控制單元，通過將成為由上述幀確定單元對幀的位置進行確定的條件的上述規(guī)定的狀態(tài)變化，與其他動態(tài)圖像共同化，從而使由上述執(zhí)行單元執(zhí)行的上述規(guī)定處理的定時與其他動態(tài)圖像同步。
3.根據權利要求2所述的動態(tài)圖像處理裝置，其特征在于， 在由多個照相機進行同步拍攝的情況下， 上述特征點檢測單元，按照上述同步控制單元的控制，來檢測在各個照相機的拍攝幀內共同存在的特征點， 上述幀確定單元，按照上述同步控制單元的控制，分別確定由上述特征點檢測單元檢測到的特征點的變化狀態(tài)在各個照相機中一致的拍攝幀的位置， 上述執(zhí)行單元，按照上述同步控制單元的控制，使用由上述幀確定單元確定出的拍攝幀的位置信息，執(zhí)行與其他照相機`同步的動態(tài)圖像的拍攝處理。
4.根據權利要求1所述的動態(tài)圖像處理裝置，其特征在于， 上述幀確定單元，確定上述特征點的移動方向或移動方向的變化狀態(tài)表示規(guī)定的變化狀態(tài)的幀的位置。
5.根據權利要求2所述的動態(tài)圖像處理裝置，其特征在于， 上述執(zhí)行單元，按照上述同步控制單元的控制，使用由上述幀確定單元確定出的各個幀的位置信息，進行動態(tài)圖像的記錄或者再生以使這些幀的再生定時與其他動態(tài)圖像一致。
6.根據權利要求5所述的動態(tài)圖像處理裝置，其特征在于， 上述執(zhí)行單元，從由上述幀確定單元確定上述幀之前起開始動態(tài)圖像的記錄，以上述確定出的拍攝幀為基準來進行其前后的記錄幀的修剪。
7.根據權利要求2所述的動態(tài)圖像處理裝置，其特征在于， 上述幀確定單元，對于通過其他某些方法由多個照相機進行同步拍攝并記錄的多個動態(tài)圖像數據，進行上述共同的特征點的檢測以及變化狀態(tài)一致的拍攝幀的確定， 在上述執(zhí)行單元以由上述幀確定單元確定出的拍攝幀為基準進行記錄幀的修剪的情況下，上述同步控制單元進行與其他動態(tài)圖像之間的一致控制。
8.根據權利要求3所述的動態(tài)圖像處理裝置，其特征在于， 還具備拍攝方向檢測單元，該拍攝方向檢測單元檢測進行同步拍攝的多個照相機的拍攝方向的不同， 上述幀確定單元，按照上述同步控制單元的控制，基于由上述拍攝方向檢測單元檢測到的拍攝方向的不同，由各個照相機確定上述特征點的變化狀態(tài)一致的拍攝幀的位置。
9.根據權利要求8所述的動態(tài)圖像處理裝置，其特征在于， 上述拍攝方向檢測單元，檢測照相機相對于被攝體的方向的拍攝方向， 上述特征點檢測單元，基于由上述拍攝方向檢測單元檢測到的拍攝方向，來決定應檢測的上述特征點的移動方向。
10.根據權利要求9所述的動態(tài)圖像處理裝置，其特征在于， 還具備指定部位受理單元，該指定部位受理單元受理用戶對被攝體的部位進行了任意指定的部位作為應檢測的特征點， 上述幀確定單元，基于檢測到的照相機的拍攝方向來決定由上述指定部位受理單元受理的部位的應檢測的移動方向。
11.根據權利要求3所述的動態(tài)圖像處理裝置，其特征在于， 還具備指定方向受理單元，該指定方向受理單元受理用戶對應檢測的特征點的移動方向進行任意指定的移動方向， 上述幀確定單元，基于由上述指定方向受理單元受理的移動方向和各照相機的拍攝方向，在各照相機中決定應檢測的特征點的移動方向。
12.根據權利要求5所述的動態(tài)圖像處理裝置，其特征在于， 上述同步控 制單元，從由上述幀確定單元確定的拍攝幀起開始各個動態(tài)圖像的記錄。
13.根據權利要求1所述的動態(tài)圖像處理裝置，其特征在于， 上述特征點檢測單元，通過檢測設置在被攝體的檢測對象部分中的LED的光來檢測上述特征點。
14.根據權利要求13所述的動態(tài)圖像處理裝置，其特征在于， 上述特征點檢測單元，檢測按固定間隔閃爍的上述LED的光作為上述特征點。
15.根據權利要求2所述的動態(tài)圖像處理裝置，其特征在于， 在同步再生多個動態(tài)圖像的情況下， 上述特征點檢測單元，按照上述同步控制單元的控制，檢測在各個照相機的再生幀內共同存在的特征點， 上述幀確定單元，按照上述同步控制單元的控制，分別確定由上述特征點檢測單元檢測到的特征點的變化狀態(tài)在各個動態(tài)圖像中一致的再生幀的位置， 上述執(zhí)行單元，按照上述同步控制單元的控制，使用由上述幀確定單元確定出的再生幀的位置信息，執(zhí)行與其他動態(tài)圖像同步的動態(tài)圖像的再生處理。
16.根據權利要求15所述的動態(tài)圖像處理裝置，其特征在于， 對于通過其他某些方法由多個照相機進行同步拍攝并記錄的多個動態(tài)圖像數據，由上述特征點檢測單元進行上述共同的上述特征點的檢測，并由上述幀確定單元進行上述變化狀態(tài)一致的幀的確定， 上述執(zhí)行單元，按照上述同步控制單元的控制，以由上述幀確定單元確定出的幀為基準，來進行與其他動態(tài)圖像之間的再生定時的一致控制。
17.一種動態(tài)圖像處理方法，其特征在于，包括: 特征點檢測處理，檢測存在于動態(tài)圖像的幀內的規(guī)定的特征點； 幀確定處理，確定由上述特征點檢測處理檢測到的特征點在動態(tài)圖像內的變化狀態(tài)表示規(guī)定的變化狀態(tài)的幀的位置；以及 同步控制處理，使成為通過上述幀確定處理對幀的位置進行確定的條件的上述規(guī)定的狀態(tài)變化與其他動態(tài)圖像 共同化。
【文檔編號】H04N5/232GK103685932SQ201310426314
【公開日】2014年3月26日 申請日期:2013年9月18日 優(yōu)先權日:2012年9月20日
【發(fā)明者】坂本升平, 筒見勝紀, 小川浩良, 村木淳 申請人:卡西歐計算機株式會社