本發(fā)明涉及捕捉視頻的方法及相應(yīng)配置的裝置。

背景技術(shù)：

隨著通過使用諸如“全hd(fullhd)”(1920x1080像素)或“4k”(3840x2160像素)的較高分辨率和例如每秒60幀的幀率來支持較高質(zhì)量的圖像的總趨勢，各種電子裝置(例如，智能電話、平板計算機或數(shù)碼照相機)也支持捕捉視頻。以高幀率捕捉視頻還允許生成高質(zhì)量的慢動作視頻。

然而，使用高幀率和分辨率是以增加使用的資源為代價的，例如，關(guān)于用于存儲所捕捉的視頻數(shù)據(jù)的所需存儲器或以高幀率操作高分辨率圖像傳感器的能量消耗。這一點可以通過以下來考慮：僅當(dāng)需要時，用戶人工激活以較高幀率進行的記錄，例如，以用于生成具有快速運動的場景的慢動作視頻，諸如游泳者潛入水中。

然而，高幀率捕捉的這種人工激活意味著以下可能性：例如，由于用戶沒有預(yù)期到的場景中的快速運動而導(dǎo)致用戶可能忘記激活高幀率捕捉，或激活高幀率太遲。

因此，需要能夠以較高幀率高效地捕捉視頻的技術(shù)。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明的實施方式，提供了一種捕捉視頻的方法。根據(jù)該方法，以第一配置來配置至少一個圖像傳感器。基于所述第一配置，以第一幀率和第一分辨率捕捉第一視頻數(shù)據(jù)并且以第二幀率和第二分辨率捕捉第二視頻數(shù)據(jù)。所述第二幀率高于所述第一幀率并且所述第二分辨率低于所述第一分辨率。另外，檢測所捕捉的所述第二視頻數(shù)據(jù)中的運動量?；谒鶛z測的所述運動量，將所述至少一個圖像傳感器切換至第二配置?；谒龅诙渲茫缘谌龓屎偷谌直媛什蹲降谌曨l數(shù)據(jù)。所述第三幀率高于所述第一幀率，并且所述第三分辨率高于所述第二分辨率。所述第三分辨率可以等于所述第一分辨率。然而，也可以以高于所述第二分辨率的其它分辨率來捕捉所述第三視頻數(shù)據(jù)。所述第三幀率可以等于或高于所述第二幀率。所述第三幀率可以為至少每秒100幀，然而所述第一幀率可以是每秒20至60幀，例如，每秒24幀、每秒25幀、每秒30幀、每秒50幀或每秒60幀。

根據(jù)實施方式，至少基于所述第三視頻數(shù)據(jù)來生成慢動作視頻。在一些實施方式中，可以基于所述第一視頻數(shù)據(jù)、所述第二視頻數(shù)據(jù)和所述第三視頻數(shù)據(jù)生成所述慢動作視頻。例如，這可能會涉及將所述第一視頻數(shù)據(jù)用作基礎(chǔ)以從所述第二視頻數(shù)據(jù)計算增強分辨率視頻幀和/或?qū)⑺龅诙曨l數(shù)據(jù)用作基礎(chǔ)以計算針對所述第一視頻數(shù)據(jù)的中間視頻幀。

根據(jù)實施方式，基于所述第二視頻數(shù)據(jù)中的模糊來檢測運動量。例如，如果模糊的量超過閾值，則可能會觸發(fā)到所述第二配置的切換。然而，也可以將檢測運動量的其它方式作為備選或附加。例如，可以基于通過對所述第二視頻數(shù)據(jù)的視頻幀序列執(zhí)行圖像分析而獲取的動作矢量來檢測運動量。

根據(jù)本發(fā)明的另一實施方式，提供了一種裝置。該裝置包括至少一個圖像傳感器和至少一個處理器。所述至少一個處理器被配置成以第一配置來配置所述至少一個圖像傳感器。另外，所述至少一個處理器被配置成基于所述第一配置以第一幀率和第一分辨率捕捉第一視頻數(shù)據(jù)并且以第二幀率和第二分辨率捕捉第二視頻數(shù)據(jù)。所述第二幀率高于所述第一幀率，并且所述第二分辨率低于所述第一分辨率。另外，所述至少一個處理器被配置成檢測所捕捉的所述第二視頻數(shù)據(jù)中的運動量，并且基于所檢測的運動量，將所述至少一個圖像傳感器切換至第二配置。另外，所述至少一個處理器被配置成基于所述第二配置以第三幀率和第三分辨率捕捉第三視頻數(shù)據(jù)。所述第三幀率高于所述第一幀率，例如，所述第三幀率等于或高于所述第二幀率，并且所述第三分辨率高于所述第二分辨率，例如，所述第三幀率等于所述第一幀率。所述第三幀率可以為至少每秒100幀，然而所述第一幀率可以是每秒20至60幀，例如，每秒24幀、每秒25幀、每秒30幀、每秒50幀或每秒60幀。

根據(jù)一些實施方式，所述至少一個圖像傳感器包括由多個子攝像頭形成的陣列攝像頭。在這種情況下，在所述第一配置中，僅所述子攝像頭的子集(例如，所述子攝像頭中的僅一個子攝像頭)被指派以捕捉所述第二視頻數(shù)據(jù)而其它的所述子攝像頭被指派以捕捉所述第一視頻數(shù)據(jù)。與此相比，在所述第二配置中，全部所述子攝像頭被指派以捕捉所述第三視頻數(shù)據(jù)。

根據(jù)一些實施方式，所述至少一個圖像傳感器包括第一圖像傳感器和具有比所述第一圖像傳感器的性能低的性能的第二圖像傳感器。在這種情況下，在所述第一配置中，所述第一圖像傳感器被指派以捕捉所述第一視頻數(shù)據(jù)而所述第二圖像傳感器被指派以捕捉所述第二視頻數(shù)據(jù)。與此相比，在所述第二配置中，所述第一圖像傳感器被指派以捕捉所述第三視頻數(shù)據(jù)。

根據(jù)實施方式，所述至少一個處理器被配置成至少基于所述第三視頻數(shù)據(jù)生成慢動作視頻。在一些實施方式中，所述至少一個處理器可以被配置成基于所述第一視頻數(shù)據(jù)、所述第二視頻數(shù)據(jù)和所述第三視頻數(shù)據(jù)生成所述慢動作視頻。例如，所述至少一個處理器可以被配置成基于所述第一視頻數(shù)據(jù)從所述第二視頻數(shù)據(jù)計算增強分辨率視頻幀。另外或作為備選，所述至少一個處理器可以被配置成基于所述第二視頻數(shù)據(jù)計算針對所述第一視頻數(shù)據(jù)的中間視頻幀。

根據(jù)實施方式，所述至少一個處理器被配置成基于所述第二視頻數(shù)據(jù)中的模糊來檢測運動量。

所述至少一個處理器可以被配置成執(zhí)行根據(jù)上述實施方式的方法的步驟。

現(xiàn)在將參照附圖更詳細(xì)地描述本發(fā)明的上述和更多實施方式。

附圖說明

圖1示意性地例示了根據(jù)本發(fā)明的實施方式的場景、裝置。

圖2示意性地例示了根據(jù)本發(fā)明的實施方式的可以利用的圖像傳感器。

圖3示出了用于例示根據(jù)本發(fā)明的實施方式的方法的流程圖。

圖4示意性地例示了根據(jù)本發(fā)明的實施方式的裝置。

具體實施方式

下面將更具體地描述本發(fā)明的示例性實施方式。需要理解的是，給出下面的描述僅是出于例示本發(fā)明的原理的目的，并且不被認(rèn)為是具有限制的意義。相反，本發(fā)明的范圍僅由所附權(quán)利要求書來限定，并且不旨在受到以下描述的示例性實施方式的限制。

所例示的實施方式涉及通過在一個或更多個圖像傳感器的不同配置之間進行切換來動態(tài)適應(yīng)視頻捕捉幀率，例如，目的在于基于以較高幀率捕捉的視頻數(shù)據(jù)來生成慢動作視頻。通過利用不同的圖像傳感器配置，可以使以高幀率高效捕捉高質(zhì)量視頻成為可能。具體地，在第一圖像傳感器配置中，當(dāng)以高分辨率和特定幀率捕捉視頻數(shù)據(jù)時，可以以較低分辨率和較高幀率捕捉更多視頻數(shù)據(jù)，以能夠高效檢測所捕捉的場景中的快速運動。如果檢測到了快速運動，則觸發(fā)到第二圖像傳感器配置的切換，以高分辨率和較高幀率捕捉視頻數(shù)據(jù)。通過將高幀率而較低分辨率的視頻數(shù)據(jù)用于動作檢測，可以實現(xiàn)高響應(yīng)性的到第二配置的切換。同時，可以將資源利用限制為可承受值，資源例如關(guān)于圖像傳感器的能量消耗或存儲所捕捉的視頻數(shù)據(jù)所需要的存儲器。

圖1示意性地例示了裝置100。在圖1的示例中，假設(shè)用戶裝置100為智能電話或數(shù)碼照相機。如所例示的，裝置100被配備有主攝像頭110和輔攝像頭110’。假設(shè)主攝像頭110為能夠以高分辨率(例如，以1920x1080像素的“全hd”分辨率或甚至諸如3840x2160像素或甚至7680x4320像素的“超hd”分辨率的較高分辨率)捕捉數(shù)字視頻的高性能攝像頭。還假設(shè)主攝像頭110支持如通常用于正常速度視頻捕捉的各種幀率(例如，每秒24幀、30幀、50幀、60幀)的視頻捕捉。另外，假設(shè)主攝像頭110支持用于捕捉慢動作視頻的一個或更多個較高幀率。這種較高幀率可以是每秒100幀或更高，例如，每秒120幀、每秒200幀或每秒500幀。除了捕捉視頻之外，主攝像頭110也可以支持以各種分辨率捕捉靜止圖像。

假設(shè)輔攝像頭110’為性能低于主攝像頭110的攝像頭。例如，輔攝像頭110’可以支持僅以低于主攝像頭110的分辨率(例如，以960x540像素或640x360像素的分辨率)捕捉數(shù)字視頻。輔攝像頭110’也可以利用比主攝像頭110小的圖像傳感器格式，例如，與對于主攝像頭110為500mm²相比，對于輔攝像頭110’約為25mm²。同時，假設(shè)輔攝像頭110’支持相同幀率的視頻捕捉。

為了高效地適應(yīng)視頻捕捉幀率，可以按照如下來操作裝置100：首先，可以按照常規(guī)方式(例如，通過用戶選擇裝置100的視頻捕捉模式并(例如，通過按壓裝置100的攝像頭按鈕或選擇裝置100的圖形用戶界面的相應(yīng)要素)激活視頻數(shù)據(jù)的捕捉)初始化視頻數(shù)據(jù)的捕捉。然后，裝置100使用主攝像頭100和輔攝像頭110’捕捉視頻數(shù)據(jù)。主攝像頭110用于以高分辨率和正常幀率(例如，全hd或4k分辨率和每秒25幀)來捕捉第一視頻數(shù)據(jù)。同時，輔攝像頭110’用于以比用于第一視頻數(shù)據(jù)的分辨率低的分辨率和比用于第一視頻數(shù)據(jù)的幀率高的幀率來捕捉第二視頻數(shù)據(jù)。例如，可以以960x540像素的分辨率和每秒200幀的幀率捕捉第二視頻數(shù)據(jù)。在這種模式中，第二視頻數(shù)據(jù)可以用于檢測所捕捉的場景中的快速運動。由于較高幀率，可以實現(xiàn)高響應(yīng)性的動作檢測。同時，使用低性能輔攝像頭和低分辨率能夠避免資源過多使用。如為了執(zhí)行快速運動的檢測而進行的圖像分析所需要的，可以臨時存儲第二視頻數(shù)據(jù)。這樣，可以放寬存儲所捕捉的視頻數(shù)據(jù)的存儲器要求。然而，在一些場景中，第二視頻數(shù)據(jù)可以按照與第一圖像數(shù)據(jù)類似的方式來存儲，例如，以于用于呈現(xiàn)慢動作視頻?？焖龠\動的檢測例如可能會涉及識別第二視頻數(shù)據(jù)中的模糊。然而，也可以使用其它的方式來檢測快速運動，例如，基于通過視頻幀序列的圖像分析而確定的動作矢量進行的動作檢測。

如果檢測到了快速運動，則裝置100切換至使用主攝像頭110和輔攝像頭110的不同配置。在這種配置中，主攝像頭110用于以高分辨率和比用于捕捉第一視頻數(shù)據(jù)的幀率高的幀率來捕捉第三視頻數(shù)據(jù)。例如，可以以與捕捉第一視頻數(shù)據(jù)所使用的高分辨率相同的高分辨率和與捕捉第二視頻數(shù)據(jù)所使用的較高幀率相同的較高幀率來捕捉第三視頻數(shù)據(jù)。因此，主攝像頭用于高性能模式。

用于捕捉第三視頻數(shù)據(jù)的高分辨率和高幀率能夠?qū)⒌谌曨l數(shù)據(jù)用作用于生成高質(zhì)量的慢動作視頻的基礎(chǔ)。這種慢動作視頻可以在檢測到快速運動的時刻開始，以也可以覆蓋所捕捉的場景中的非預(yù)期快速運動。在一些情況下，第二視頻數(shù)據(jù)也可以用于生成也覆蓋檢測到快速運動之前的時間間隔的慢動作視頻。例如，第二視頻數(shù)據(jù)可以用于計算中間視頻幀以增大第一視頻數(shù)據(jù)的幀率。在這種中間幀中，第一視頻數(shù)據(jù)可以依次用于將第二視頻數(shù)據(jù)的視頻幀外推到更高分辨率。

在一些時刻，在高性能模式中裝置100可以停止使用主攝像頭110。例如，當(dāng)通過分析第三視頻數(shù)據(jù)而檢測出所捕捉的場景中不再存在快速運動時，裝置100可以切換回初始配置，在該初始配置中，主攝像頭110用于以高分辨率和正常幀率捕捉第一視頻數(shù)據(jù)而輔攝像頭110’用于以較低分辨率和較高幀率捕捉第二視頻數(shù)據(jù)。另外，用戶可以人工切換回初始配置或停止捕捉視頻。

要理解的是，上述高性能主攝像頭110和較低性能輔攝像頭110’僅僅是可以用于實現(xiàn)所例示的用于適應(yīng)視頻捕捉幀率的配置切換的圖像傳感器的示例?？梢允褂玫膱D像傳感器的另一示例是陣列攝像頭，即，設(shè)置有子攝像頭陣列的攝像頭，所述子攝像頭陣列中的每個子攝像頭均傳送所捕捉的場景的獨立圖像。陣列攝像頭112的示例示意性地例示在圖2中。

如圖2所示，陣列攝像頭112是基于多個子攝像頭114的陣列。這些子攝像頭114中的每個子攝像頭可以支持以特定像素分辨率(例如，200x200像素)捕捉視頻數(shù)據(jù)。另外，每個子攝像頭114可以被設(shè)置有(例如，基于微透鏡的)獨立攝像頭光學(xué)元件。當(dāng)使用陣列攝像頭112而不是圖1的主攝像頭110和輔攝像頭110’時，在初始配置中，一部分子攝像頭114(例如，如圖2中的陰影所指示的一個子攝像頭)可以用于捕捉第二視頻數(shù)據(jù)而其它的子攝像頭114可以用于捕捉第一視頻數(shù)據(jù)。當(dāng)檢測到快速運動時，可以使用不同配置的陣列攝像頭112，在所述不同配置中，全部子攝像頭114用于捕捉第三視頻數(shù)據(jù)。

要理解的是，也可以使用用于捕捉第二視頻數(shù)據(jù)的多個子攝像頭114(例如，四個子攝像頭)，或者陣列攝像頭112可以與諸如圖1的輔攝像頭110’的附加低性能攝像頭組合使用。

圖3示出了例示捕捉視頻的方法的流程圖。該方法例如可以在諸如上述裝置100的配備有一個或更多個圖像傳感器的裝置中實現(xiàn)。所述至少一個圖像傳感器例如可以包括諸如針對圖1的主攝像頭110和輔攝像頭110’所說明的第一攝像頭和具有比第一攝像頭的性能低的性能的第二攝像頭。所述至少一個圖像傳感器也可以包括諸如結(jié)合圖2解釋的由多個子攝像頭形成的陣列攝像頭。如果使用基于實現(xiàn)裝置的處理器，則該方法的步驟中的至少一部分可以由裝置的一個或更多個處理器來執(zhí)行和/或控制。

在步驟310，以第一配置來配置裝置的所述至少一個圖像傳感器。

在步驟320，基于所述至少一個圖像傳感器的第一配置來捕捉第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)。以第一幀率和第一分辨率捕捉第一視頻數(shù)據(jù)。以第二幀率和第二分辨率捕捉第二視頻數(shù)據(jù)。第二幀率高于第一幀率，并且第二分辨率低于第一分辨率。

如果至少一個圖像傳感器包括諸如圖1的主攝像頭110和輔攝像頭110’的第一圖像傳感器和具有比第一圖像傳感器的性能低的性能的第二圖像傳感器，則在第一配置中，第一圖像傳感器可以被指派以捕捉第一視頻數(shù)據(jù)而第二圖像傳感器被指派以捕捉第二視頻數(shù)據(jù)。

如果所述至少一個圖像傳感器包括諸如結(jié)合圖2說明的陣列攝像頭，則在第一配置中僅子攝像頭的子集可以被指派以捕捉第二視頻數(shù)據(jù)而其它的子攝像頭被指派以捕捉第一視頻數(shù)據(jù)。在一些場景中，子攝像頭的子集可以與子攝像頭中的僅一個對應(yīng)。在其它的場景中，子集可以包括更多的子攝像頭。

在步驟330，檢測所捕捉的第二視頻數(shù)據(jù)中的運動量。這例如可能會涉及檢測第二視頻數(shù)據(jù)中的模糊。另外，這可能會涉及通過對第二視頻數(shù)據(jù)的視頻幀序列執(zhí)行圖像分析來確定一個或更多個動作矢量。

在步驟340，所述至少一個圖像傳感器被切換至第二配置。這是基于在步驟330檢測到的運動量來完成的。例如，如果運動量用數(shù)值表示，則可以通過超過閾值的運動量來觸發(fā)到第二配置的切換。

在步驟350，基于第二配置捕捉第三視頻數(shù)據(jù)。第三視頻數(shù)據(jù)以第三幀率和第三分辨率捕捉。第三幀率高于第一幀率，并且第三分辨率高于第二分辨率。第三分辨率可以等于第一分辨率。然而，也可以使用高于第二分辨率的其它分辨率。第三幀率可以等于第二幀率。然而，在一些情況下，第三幀率甚至可以高于第二幀率。為了能夠基于第三視頻數(shù)據(jù)生成高質(zhì)量的慢動作視頻，第三幀率可以為至少每秒100幀。然而，根據(jù)慢動作視頻的期望特性，也可以使用較高幀率，例如，每秒200幀，每秒500幀，每秒1000幀或甚至更高。

如果所述至少一個圖像傳感器包括諸如結(jié)合圖2說明的陣列攝像頭，則在第二配置中，該陣列攝像頭的所有子攝像頭可以被指派以捕捉第三視頻數(shù)據(jù)。

如果所述至少一個圖像傳感器包括諸如圖1的主攝像頭110和輔攝像頭110’的第一圖像攝像頭和具有比第一圖像傳感器的性能低的性能的第二圖像傳感器，則在第二配置中第一圖像傳感器可以被指派以捕捉第三視頻數(shù)據(jù)。

在步驟360，可以基于第三視頻數(shù)據(jù)生成慢動作視頻。這可能會涉及以比第三幀率低的幀率配置第三視頻數(shù)據(jù)的回放。在一些場景中，第一視頻數(shù)據(jù)和/或第二視頻數(shù)據(jù)也可以作為用于生成慢動作視頻的基礎(chǔ)。例如，基于第一視頻數(shù)據(jù)，可以從第二視頻數(shù)據(jù)計算增強分辨率視頻幀。這種視頻幀可以依次作為第一視頻數(shù)據(jù)的視頻幀之間的中間視頻幀而被插入以增強第一視頻數(shù)據(jù)的幀率。換句話說，第二視頻數(shù)據(jù)可以用作用于計算針對第一視頻數(shù)據(jù)的中間視頻幀的基礎(chǔ)。

圖4示出了示意性地例示可以用于實現(xiàn)上述構(gòu)思的基于處理器實現(xiàn)的裝置。例如，可以使用圖4所例示的結(jié)構(gòu)來實現(xiàn)裝置100。

如所例示的，裝置100包括諸如主攝像頭110和輔攝像頭110’或陣列攝像頭112的一個或更多個圖像傳感器。另外，裝置可以包括一個或更多個接口120。例如，如果裝置100與智能電話或類似的便攜式通信裝置對應(yīng)，則接口120可以包括用于提供裝置100的網(wǎng)絡(luò)連接的一個或更多個無線電接口和/或一個或更多個基于有線接口。用于實現(xiàn)這種無線電接口的無線電技術(shù)的示例例如包括諸如gsm(全球移動通信系統(tǒng))、umts(地面移動電信系統(tǒng))、lte(長期演進)或cdma2000的蜂窩無線電技術(shù)、根據(jù)ieee802.11標(biāo)準(zhǔn)的wlan(無線局域網(wǎng))技術(shù)或諸如藍(lán)牙的wpan(無線個域網(wǎng))技術(shù)。用于實現(xiàn)這種基于有線的接口的基于有線的網(wǎng)絡(luò)技術(shù)例如包括以太網(wǎng)技術(shù)和usb(通用串行總線)技術(shù)。

另外，裝置100被設(shè)置有一個或更多個處理器140和存儲器150。例如，使用用戶裝置100的一個或更多個內(nèi)部總線系統(tǒng)將圖像傳感器110/110’/112、接口120和存儲器150聯(lián)接至處理器140。

存儲器150包括具有要由處理器140執(zhí)行的程序代碼的程序代碼模塊160、170、180。在所例示的示例中，這些程序代碼模塊包括視頻捕捉模塊160、動作檢測模塊170和視頻生成模塊180。

視頻捕捉模塊160可以實現(xiàn)上述基于不同的圖像傳感器配置捕捉視頻數(shù)據(jù)的功能，并且可以僅控制例如結(jié)合圖3的步驟310、320、340和350說明的這種圖像傳感器配置之間的切換。

動作檢測模塊170可以實現(xiàn)上述基于以下情況來檢測所捕捉的場景中的動作的功能：例如，基于第二視頻數(shù)據(jù)中的模糊和/或基于諸如結(jié)合圖3的步驟340說明的通過第二視頻數(shù)據(jù)的視頻幀序列的圖像分析來確定動作矢量。

視頻生成模塊180可以實現(xiàn)上述例如結(jié)合圖3的步驟s360說明的基于所捕捉的視頻數(shù)據(jù)來生成慢動作視頻的功能。

要理解的是，圖4中所例示的結(jié)構(gòu)僅僅是示例性的，并且裝置100也可以包括沒有例示的其它元件，例如，用于實現(xiàn)智能電話、數(shù)碼照相機或類似裝置的已知功能的結(jié)構(gòu)或程序代碼模塊。這種功能的示例包括通信功能、多媒體處理功能等。

可以看出，上述構(gòu)思能夠高效地捕捉視頻數(shù)據(jù)。具體地，通過動態(tài)適應(yīng)視頻捕捉幀率和圖像傳感器配置之間的切換，可以捕捉視頻數(shù)據(jù)，這能夠在可承受的區(qū)域中保持資源利用的同時生成高質(zhì)量的慢動作視頻。

要理解的是，上述構(gòu)思易于進行各種修改。例如，該構(gòu)思可以結(jié)合各種圖像傳感器技術(shù)應(yīng)用于各種裝置。另外，該構(gòu)思可以應(yīng)用于各種視頻分辨率和幀率。