與第二圖像中的像素相關(guān)聯(lián)的強(qiáng)度值與所述像素的預(yù)期強(qiáng)度值相比較。預(yù)期強(qiáng)度值從第一圖像(或其他參考圖像)得出。例如，在圖像214的序列中，所述像素中的每個(gè)像素的預(yù)期強(qiáng)度值被定義為來(lái)自第一圖像或其他所選參考圖像的該像素的強(qiáng)度值。
[0056]在406，基于在404的比較將圖像214的序列中的像素的強(qiáng)度值選擇性累計(jì)以產(chǎn)生累計(jì)強(qiáng)度值。例如，并且如下面參考圖7進(jìn)一步描述的，與相應(yīng)預(yù)期強(qiáng)度值差別顯著(例如，超出閾值或其他準(zhǔn)則)的強(qiáng)度值被丟棄，而與相應(yīng)預(yù)期強(qiáng)度值大致相同、基本相同、或以其他方式大概相同的強(qiáng)度值被添加到該像素的累計(jì)強(qiáng)度值。
[0057]在生成所述像素中的每個(gè)像素的累計(jì)強(qiáng)度值之后，在408，計(jì)算設(shè)備102產(chǎn)生輸出圖像。
[0058]在一些實(shí)施例中，計(jì)算設(shè)備102執(zhí)行圖2中解說(shuō)的組件來(lái)實(shí)現(xiàn)參考圖4解說(shuō)并描述的操作。例如，存儲(chǔ)器組件220在被處理器204執(zhí)行時(shí)使處理器204訪問(wèn)由計(jì)算設(shè)備102捕捉的圖像214的序列中的第一圖像和第二圖像。
[0059]閾值組件222在被處理器204執(zhí)行時(shí)使處理器204將與第一圖像中的像素相關(guān)聯(lián)的強(qiáng)度值和與第二圖像中的相應(yīng)像素相關(guān)聯(lián)的強(qiáng)度值相比較。閾值組件222例如可以是每個(gè)像素處的來(lái)自參考圖像的估計(jì)噪聲的一個(gè)均方根(RMS)的值。
[0060]累計(jì)組件224在被處理器204執(zhí)行時(shí)使處理器204基于由閾值組件222執(zhí)行的比較來(lái)將與第一圖像中的像素相關(guān)聯(lián)的強(qiáng)度值和與第二像素中的相應(yīng)像素的強(qiáng)度值選擇性累計(jì)，由此產(chǎn)生累計(jì)強(qiáng)度值。例如，累計(jì)組件224丟棄與第二圖像中的像素相關(guān)聯(lián)的落在預(yù)期強(qiáng)度值的所定義范圍之外的強(qiáng)度值。如果來(lái)自第二圖像的強(qiáng)度值在預(yù)期強(qiáng)度值的所定義范圍內(nèi)，則累計(jì)組件224將第二圖像中的該像素的強(qiáng)度值加到與第一圖像中的相應(yīng)像素相關(guān)聯(lián)的強(qiáng)度值。
[0061]顯示組件226在被處理器204執(zhí)行時(shí)使處理器204使用累計(jì)強(qiáng)度值產(chǎn)生輸出圖像。
[0062]在一示例性實(shí)施例中，第一圖像表示參考圖像，且圖像214的序列包括第三圖像。閾值組件222進(jìn)一步將與第三圖像中的像素相關(guān)聯(lián)的強(qiáng)度值和與參考圖像中的相應(yīng)像素相關(guān)聯(lián)的強(qiáng)度值相比較。累計(jì)組件224進(jìn)一步基于由閾值組件222所做的與第三圖像中的像素相關(guān)聯(lián)的強(qiáng)度值和與參考圖像中的相應(yīng)像素相關(guān)聯(lián)的強(qiáng)度值的比較來(lái)將與第三圖像中的像素相關(guān)聯(lián)的強(qiáng)度值加到累計(jì)強(qiáng)度值(例如，從第一圖像和第二圖像產(chǎn)生的累計(jì)強(qiáng)度值)
[0063]閾值組件222可進(jìn)一步基于與參考圖像中的像素相關(guān)聯(lián)的強(qiáng)度值來(lái)定義第二圖像中的各像素中的每個(gè)像素的預(yù)期強(qiáng)度值的范圍。通過(guò)將與第二圖像中的像素相關(guān)聯(lián)的強(qiáng)度值與那些像素的預(yù)期強(qiáng)度值的所定義范圍內(nèi)，則閾值組件222將與第一圖像中的像素相關(guān)聯(lián)的強(qiáng)度值和與第二圖像中的相應(yīng)像素相關(guān)聯(lián)的強(qiáng)度值相比較。
[0064]接著參考圖5，圖5是在補(bǔ)償全局移動(dòng)和場(chǎng)景內(nèi)移動(dòng)之后的輸出圖像512生成的示例性框圖。例如，圖像傳感器206產(chǎn)生圖像214的序列(例如，以每個(gè)圖像30毫秒的多幀猝發(fā)504)。陀螺儀210和/或加速度計(jì)208傳感器產(chǎn)生加時(shí)間戳的位移516數(shù)據(jù)。濾波器518估計(jì)幀到幀位移520。濾波器518的示例包括例如如圖6中所示的Kalman濾波器或互補(bǔ)濾波器602。然而，可以使用其他類型的濾波器518來(lái)估計(jì)幀間位移。幀對(duì)齊506獲取多幀猝發(fā)504和幀到幀位移520作為輸入。場(chǎng)景內(nèi)主體運(yùn)動(dòng)檢測(cè)和補(bǔ)償508隨后被執(zhí)行，之后是多幀合成510。多幀合成510在場(chǎng)景內(nèi)主體運(yùn)動(dòng)檢測(cè)和補(bǔ)償508之后累計(jì)不同幀中的相應(yīng)像素的強(qiáng)度值。多幀合成510產(chǎn)生輸出圖像512。
[0065]接著參考圖6，圖6是用于基于來(lái)自加速度計(jì)208和/或陀螺儀210的數(shù)據(jù)來(lái)估計(jì)圖像內(nèi)和/或幀內(nèi)位移的Kalman或互補(bǔ)濾波器602。加速度計(jì)讀數(shù)216穿過(guò)LowPassFilterl (低通濾波器1) 604。對(duì)濾波后的加速度計(jì)讀數(shù)216執(zhí)行與Numer i c Integrat 1n 1 (數(shù)值積分1) 606相關(guān)聯(lián)的計(jì)算來(lái)計(jì)算圖像214的序列中的該兩個(gè)幀之間的加速度計(jì)讀數(shù)的差。所計(jì)算的加速度計(jì)讀數(shù)216的差被表示為ΔΧ，ΔΥ。
[0066]對(duì)陀螺儀讀數(shù)218執(zhí)行與NumericIntegrat1n2 (數(shù)值積分2) 612相關(guān)聯(lián)的計(jì)算，所述陀螺儀讀數(shù)隨后被傳遞通過(guò)LowPassFilter2 (低通濾波器2)610。求和616使用來(lái)自LowPassFilterl (低通濾波器1)604和LowPassFilter2 (低通濾波器2)610的輸出使用下面在式(1)中示出的公式計(jì)算或以其他方式確定全局移動(dòng)。
[0067]Angle = (valuel)*(Angle+gyroscope*dt)+(value2)*(Accelerometer) (1)
[0068]在上式(1)中，valuel (值1)和value2 (值2)表示權(quán)重常數(shù)，dt表示每個(gè)陀螺儀讀數(shù)的時(shí)間增量，gyroscope (陀螺儀)表示每個(gè)時(shí)間增量處的陀螺儀讀數(shù)，而Accelerometer (加速度計(jì))表示加速度計(jì)讀數(shù)。在一示例性實(shí)施例中，常數(shù)valuel的值為0.98，而常數(shù)value2的值為0.02。valuel和value2的值是可配置的，并且可(例如被計(jì)算設(shè)備102的用戶)改變。
[0069]如果在短時(shí)間歷時(shí)dt上計(jì)算，則陀螺儀讀數(shù)218在一些實(shí)施例中提供更精確的讀數(shù)，因?yàn)橥勇輧x210可隨時(shí)間漂移。短時(shí)間歷時(shí)dt表示陀螺儀的工作頻率。
[0070]本公開(kāi)的各方面不限于Kalman濾波器或互補(bǔ)濾波器602。而是，可基于加速度計(jì)讀數(shù)216和/或陀螺儀讀數(shù)218來(lái)使用任何濾波器來(lái)計(jì)算各圖像214之間的全局移動(dòng)。而且，使用多個(gè)加速度計(jì)208和/或多個(gè)陀螺儀210在本公開(kāi)的范圍內(nèi)。例如，三個(gè)陀螺儀210和三個(gè)加速度計(jì)208可在計(jì)算設(shè)備102中使用以計(jì)算三個(gè)維度中的角度。
[0071]接著參考圖7，圖7是解說(shuō)通過(guò)拒絕在預(yù)期輸出范圍之外的像素強(qiáng)度值來(lái)選擇性累計(jì)在預(yù)期輸出范圍內(nèi)的像素強(qiáng)度值的示例性圖示。例如，幀1和幀2中的像素的強(qiáng)度值在預(yù)期輸出范圍(例如，P1到P2)內(nèi)，而幀3和幀4中的相應(yīng)像素的強(qiáng)度值在預(yù)期輸出范圍外(例如，分別低于和高于預(yù)期輸出范圍)。幀中的強(qiáng)度值落在預(yù)期輸出范圍外的像素被拒絕，且?guī)械膹?qiáng)度值在預(yù)期輸出范圍內(nèi)的像素被累計(jì)到累計(jì)強(qiáng)度值以在產(chǎn)生單一圖像時(shí)使用。
[0072]盡管預(yù)期輸出范圍是基于來(lái)自參考圖像的強(qiáng)度值的，然而預(yù)期輸出范圍的大小是可配置的且可被預(yù)先確定。例如，P1和P2可分別表示一強(qiáng)度值以上10%和該強(qiáng)度值以下10%。如果強(qiáng)度值落在該范圍外，則場(chǎng)景內(nèi)移動(dòng)正在發(fā)生且該強(qiáng)度值被丟棄以補(bǔ)償該場(chǎng)景內(nèi)移動(dòng)。相反，如果強(qiáng)度值落在該范圍內(nèi)，則任何場(chǎng)景內(nèi)移動(dòng)最小且該強(qiáng)度值被添加到該像素的累計(jì)強(qiáng)度值。替換地或附加地，預(yù)期輸出范圍的大小可由制造商、由計(jì)算設(shè)備102的用戶、或由其他實(shí)體來(lái)定義。
[0073]接著參考圖8，示出了由計(jì)算設(shè)備102捕捉的四個(gè)幀的序列。四個(gè)幀表示期間場(chǎng)景內(nèi)移動(dòng)已經(jīng)發(fā)生的圖像的猝發(fā)。接著參考圖9A，從圖8中的四個(gè)幀的序列不經(jīng)處理地產(chǎn)生累計(jì)幀。由于場(chǎng)景內(nèi)移動(dòng)(例如，各幀中汽車相對(duì)于該平臺(tái)的移動(dòng))，則圖9A中的累計(jì)幀被模糊。
[0074]相反，接著參考圖9B，在補(bǔ)償場(chǎng)景內(nèi)移動(dòng)之后(例如在執(zhí)行至少圖4(以及可能圖3)中所解說(shuō)的操作)之后，從圖8的四個(gè)幀的序列產(chǎn)生累計(jì)幀。圖9B中的累計(jì)幀遠(yuǎn)比圖9A中的累計(jì)幀更清楚，從而指示來(lái)自至少圖4(以及可能圖3)的操作已經(jīng)有效地補(bǔ)償了場(chǎng)景內(nèi)移動(dòng)。
[0075]接著參考圖10A，三個(gè)樣本輸出圖像(例如，累計(jì)圖像)被再現(xiàn)。特別是，這三個(gè)輸出圖像包括尚無(wú)被處理以補(bǔ)償全局移動(dòng)或場(chǎng)景內(nèi)移動(dòng)的樣本輸出圖像(“無(wú)校正”)、僅用光學(xué)圖像穩(wěn)定(10S)處理后的樣本輸出圖像、以及在使用圖3和圖4解說(shuō)的操作處理后的樣本輸出圖像(“有校正”)?！盁o(wú)校正”圖像的檢查顯示出在幀的猝發(fā)期間發(fā)生的全局移動(dòng)和場(chǎng)景內(nèi)移動(dòng)兩者。注意，背景和汽車兩者均很模糊?！皟H0IS”圖像的檢查顯示出已經(jīng)對(duì)補(bǔ)償全局移動(dòng)作出一定嘗試，因?yàn)楸尘霸谝欢ǔ潭壬蠜](méi)那么模糊，但是圖像中的汽車仍舊很模糊。
[0076]與之對(duì)比，“有校正”圖像的檢查顯示出對(duì)于全局移動(dòng)和場(chǎng)景內(nèi)移動(dòng)兩者均已有補(bǔ)償。注意，背景和汽車兩者相對(duì)于另兩個(gè)圖像均是很不模糊的。如此，這些圖像解說(shuō)了本公開(kāi)的各方面如何提供了對(duì)全局移動(dòng)和場(chǎng)景內(nèi)移動(dòng)兩者的有效補(bǔ)償。
[0077]圖10B解說(shuō)了來(lái)自圖10A的樣本輸出圖像的重新繪制版本。
[0078]其它示例
[0079]在一些實(shí)施例中，可定義多個(gè)超像素(superpixel)。該多個(gè)超像素中的每個(gè)超像素對(duì)應(yīng)于從來(lái)自圖像214中的一個(gè)或多個(gè)圖像的多個(gè)像素得到的預(yù)定數(shù)目的像素。示例性的超像素可對(duì)應(yīng)于像素的2x2矩陣。在這樣的實(shí)施例中，參考圖3和圖4所解說(shuō)和描述的操作對(duì)所定義的超像素來(lái)執(zhí)行。例如，基于陀螺儀讀數(shù)218計(jì)算所訪問(wèn)圖像214之間的全局移動(dòng)、基于所計(jì)算的全局移動(dòng)重新對(duì)齊所訪問(wèn)圖像214中的每個(gè)圖像、以及將經(jīng)重新對(duì)齊的所訪問(wèn)圖像214組合為單一輸出圖像對(duì)所定義的超像素操作。
[0080]本公開(kāi)的一些方面構(gòu)想了像素強(qiáng)度值累計(jì)到預(yù)定義的閾值以阻止飽和。預(yù)定于閾值可基于參考圖像中的像素來(lái)定義(例如，對(duì)于每個(gè)像素，該像素的強(qiáng)度值以上或以下的一百分比