低光高動(dòng)態(tài)范圍圖像的無(wú)運(yùn)動(dòng)模糊捕捉的制作方法
【專利說(shuō)明】低光高動(dòng)態(tài)范圍圖像的無(wú)運(yùn)動(dòng)模糊捕捉
[0001]背景
[0002]諸如移動(dòng)電話等移動(dòng)設(shè)備所捕捉的圖像的品質(zhì)持續(xù)改進(jìn)。然而，部分由于這些移動(dòng)設(shè)備中一些移動(dòng)設(shè)備的小形狀因子，手運(yùn)動(dòng)和/或?qū)ο筮\(yùn)動(dòng)所導(dǎo)致的圖像模糊仍舊是一個(gè)挑戰(zhàn)。而且，隨著移動(dòng)設(shè)備變得更頻繁地在低光照條件下使用，移動(dòng)設(shè)備中的相機(jī)經(jīng)常不具有足夠長(zhǎng)的曝光時(shí)間來(lái)補(bǔ)償光的缺失。此外，移動(dòng)設(shè)備中的相機(jī)的動(dòng)態(tài)范圍由于圖像傳感器的縮小的像素尺寸而被限制。結(jié)果，移動(dòng)設(shè)備所捕捉的圖像的品質(zhì)可能低于期望。
[0003]—些現(xiàn)有系統(tǒng)使用光學(xué)圖象穩(wěn)定(0IS)來(lái)補(bǔ)償移動(dòng)。在此類系統(tǒng)中，相機(jī)透鏡或圖像傳感器在曝光時(shí)間期間被移位以補(bǔ)償相機(jī)移動(dòng)。相機(jī)透鏡或圖像傳感器由諸如內(nèi)置在緊湊相機(jī)模塊中的音圈馬達(dá)或微機(jī)電系統(tǒng)(MEMS)等致動(dòng)器來(lái)機(jī)械驅(qū)動(dòng)?，F(xiàn)有0IS系統(tǒng)昂貴、消耗大量功率、并且增大了移動(dòng)設(shè)備中的相機(jī)模塊的尺寸。在此類系統(tǒng)中，移動(dòng)設(shè)備消耗珍貴的電池電力并且變大。而且，現(xiàn)有0IS系統(tǒng)嘗試僅補(bǔ)償手的顫動(dòng)所導(dǎo)致的運(yùn)動(dòng)模糊，但是不補(bǔ)償由場(chǎng)景內(nèi)主體移動(dòng)所導(dǎo)致的運(yùn)動(dòng)模糊。此外，現(xiàn)有解決方案沒(méi)有解決圖像的高光部分中的像素飽和。
[0004]概述
[0005]本公開(kāi)的實(shí)施例訪問(wèn)由計(jì)算設(shè)備所捕捉的圖像。來(lái)自與該計(jì)算設(shè)備相關(guān)聯(lián)的加速度計(jì)和/或陀螺儀的讀數(shù)被訪問(wèn)。每個(gè)讀數(shù)對(duì)應(yīng)于所訪問(wèn)圖像中的至少一個(gè)圖像。所訪問(wèn)圖像中的每個(gè)圖像的全局移動(dòng)基于所訪問(wèn)的讀數(shù)被計(jì)算。所訪問(wèn)圖像中的每個(gè)圖像被基于所計(jì)算的全局移動(dòng)重新對(duì)齊。重新對(duì)齊后的所訪問(wèn)圖像被組合為單一輸出圖像。
[0006]替換地或附加地，來(lái)自由計(jì)算設(shè)備所捕捉的圖像序列的第一圖像和第二圖像被訪問(wèn)。將與第一圖像中的像素相關(guān)聯(lián)的強(qiáng)度值和與第二圖像中的相應(yīng)像素相關(guān)聯(lián)的強(qiáng)度值相比較?；谒霰容^將與第一圖像中的像素相關(guān)聯(lián)的強(qiáng)度值和與第二圖像中的像素相關(guān)聯(lián)的強(qiáng)度值累計(jì)，從而產(chǎn)生累計(jì)強(qiáng)度值。根據(jù)累計(jì)強(qiáng)度值生成輸出圖像。
[0007]提供該概述以便以簡(jiǎn)化形式介紹概念的選集，所述概念在以下詳細(xì)描述中被進(jìn)一步描述。該概述不意圖標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或基本特征，也不意圖被用來(lái)幫助確定所要求保護(hù)的主題的范圍。
[0008]附圖簡(jiǎn)述
[0009]圖1是解說(shuō)包括與多個(gè)計(jì)算設(shè)備通信的服務(wù)器計(jì)算設(shè)備的基于云的系統(tǒng)的示例性框圖。
[0010]圖2是解說(shuō)具有可執(zhí)行組件的計(jì)算設(shè)備的示例性框圖。
[0011]圖3是解說(shuō)用于從所訪問(wèn)圖像產(chǎn)生輸出圖像同時(shí)補(bǔ)償所訪問(wèn)圖像中的全局移動(dòng)的計(jì)算設(shè)備的操作的示例性流程圖。
[0012]圖4是解說(shuō)用于通過(guò)補(bǔ)償所訪問(wèn)圖像中的場(chǎng)景內(nèi)移動(dòng)來(lái)從所訪問(wèn)圖像產(chǎn)生輸出圖像的計(jì)算設(shè)備的操作的示例性流程圖。
[0013]圖5是在補(bǔ)償全局移動(dòng)和場(chǎng)景內(nèi)移動(dòng)之后的輸出圖像生成的示例性框圖。
[0014]圖6是解說(shuō)用于估計(jì)圖像位移的濾波操作的示例性框圖。
[0015]圖7是解說(shuō)通過(guò)拒絕在預(yù)期輸出范圍之外的像素強(qiáng)度值來(lái)選擇性累計(jì)在預(yù)期輸出范圍內(nèi)的像素強(qiáng)度值的示例性圖示。
[0016]圖8是計(jì)算設(shè)備所捕捉的四個(gè)幀的序列的示例性解說(shuō)。
[0017]圖9A是未經(jīng)處理的從圖8中示出的四個(gè)幀的序列產(chǎn)生的累計(jì)幀的示例性解說(shuō)。
[0018]圖9B是在補(bǔ)償場(chǎng)景內(nèi)移動(dòng)之后的從圖8中示出的四個(gè)幀的序列產(chǎn)生的累計(jì)幀的示例性解說(shuō)。
[0019]圖10A是“無(wú)糾正”的樣本輸出圖像、具有光學(xué)圖像穩(wěn)定(0IS)的樣本輸出圖像、以及在使用圖3和/或圖4中解說(shuō)的操作處理之后的樣本輸出圖像的示例性解說(shuō)。
[0020]圖10B解說(shuō)了來(lái)自圖10A的樣本輸出圖像的重新繪制版本。
[0021 ] 在全部附圖中，相應(yīng)的附圖標(biāo)記指示相應(yīng)的部分。
[0022]詳細(xì)描述
[0023]參考各圖，本公開(kāi)的各實(shí)施例補(bǔ)償捕捉圖像214時(shí)的全局運(yùn)動(dòng)和/或場(chǎng)景內(nèi)運(yùn)動(dòng)。在一些實(shí)施例中，幀的粹發(fā)(burst)由計(jì)算設(shè)備102捕捉。幀的粹發(fā)表示按定義速率(例如，每秒幀數(shù))捕捉的圖像214的序列。加速度計(jì)讀數(shù)216和/或陀螺儀讀數(shù)218與幀一起(即，同時(shí))被捕捉。計(jì)算設(shè)備102或其他處理實(shí)體使用加速度計(jì)讀數(shù)216和/或陀螺儀讀數(shù)218來(lái)計(jì)算所捕捉幀之間的全局移動(dòng)。所述幀中的每個(gè)幀被基于所計(jì)算的全局移動(dòng)重新對(duì)齊。在重新對(duì)齊幀之后，將與重新對(duì)齊后的幀中的像素相關(guān)聯(lián)強(qiáng)度值與從參考幀得到的預(yù)期強(qiáng)度值相比較?；谠摫容^，選擇性累計(jì)與重新對(duì)齊后的幀中的像素相關(guān)聯(lián)的強(qiáng)度值，且根據(jù)選擇性累計(jì)的強(qiáng)度值來(lái)生成輸出圖像。
[0024]本公開(kāi)的各方面從而補(bǔ)償了捕捉幀時(shí)的全局移動(dòng)和場(chǎng)景內(nèi)對(duì)象移動(dòng)。而且，與重新對(duì)齊后的幀中的像素相關(guān)聯(lián)的強(qiáng)度值的選擇性累計(jì)組織了幀捕捉期間的飽和(saturat1n)。以此方式，本公開(kāi)的實(shí)施例提供了低成本、低功率且穩(wěn)健的解決方案，而無(wú)需操作與圖像傳感器206 —起駐留在計(jì)算設(shè)備102的相機(jī)模塊中的任何機(jī)械或移動(dòng)部件(例如，與光學(xué)圖像穩(wěn)定相對(duì)比)。如此，本公開(kāi)的各方面補(bǔ)償全局運(yùn)動(dòng)和場(chǎng)景內(nèi)運(yùn)動(dòng)兩者，同時(shí)阻止捕捉期間的飽和，而不增大相機(jī)模塊的尺寸。
[0025]本公開(kāi)的各方面進(jìn)一步改善了在低光照條件下移動(dòng)設(shè)備(例如移動(dòng)電話)所捕捉的圖像214的品質(zhì)而不具有運(yùn)動(dòng)模糊偽像(或具有減少的運(yùn)動(dòng)模糊偽像)，從而相對(duì)于光學(xué)圖像穩(wěn)定(10S)系統(tǒng)帶來(lái)了改善的信噪比(SNR)。通過(guò)跨如本文描述的圖像214的猝發(fā)針對(duì)每個(gè)像素選擇性累計(jì)強(qiáng)度值，圖像傳感器206的動(dòng)態(tài)范圍因?yàn)槊總€(gè)像素能夠在較高光照水平操作而被增大。例如，動(dòng)態(tài)范圍增大N倍，其中N是總幀數(shù)。通過(guò)擴(kuò)展相機(jī)模塊的動(dòng)態(tài)范圍，阻止圖像傳感器206在高照明下飽和。相對(duì)地，輸出圖像的有效曝光時(shí)間比傳統(tǒng)圖像傳感器能處理地更長(zhǎng)。
[0026]盡管本公開(kāi)的一些方面被描述為補(bǔ)償全局運(yùn)動(dòng)和場(chǎng)景內(nèi)運(yùn)動(dòng)兩者，然而構(gòu)想了一些實(shí)施例補(bǔ)償全局運(yùn)動(dòng)或場(chǎng)景內(nèi)運(yùn)動(dòng)。而且，盡管本文所解說(shuō)和描述的操作可由計(jì)算設(shè)備102(例如，相機(jī)、移動(dòng)電話、平板等)作為獨(dú)立設(shè)備執(zhí)行，一些基于云的實(shí)施例構(gòu)想了與一個(gè)或多個(gè)計(jì)算設(shè)備102通信的服務(wù)器計(jì)算設(shè)備106的操作的執(zhí)行，如接下來(lái)參考圖1描述的。
[0027]參考圖1，圖1是解說(shuō)包括與多個(gè)計(jì)算設(shè)備102通信的服務(wù)器計(jì)算設(shè)備106的基于云的系統(tǒng)的示例性框圖。在圖1的示例中，計(jì)算設(shè)備102(諸如計(jì)算設(shè)備#1到計(jì)算設(shè)備測(cè))經(jīng)由網(wǎng)絡(luò)104與服務(wù)器計(jì)算設(shè)備106通信。計(jì)算設(shè)備102表示執(zhí)行指令(例如作為應(yīng)用程序、操作系統(tǒng)功能或這兩者)以實(shí)現(xiàn)本文描述的操作和功能性的任何設(shè)備。計(jì)算設(shè)備102可包括移動(dòng)計(jì)算設(shè)備102或任何其它的便攜式設(shè)備。在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備102包括移動(dòng)/蜂窩電話、相機(jī)、膝上型計(jì)算機(jī)、圖形輸入板、計(jì)算板、上網(wǎng)本、游戲設(shè)備和/或便攜式媒體播放器。計(jì)算設(shè)備102還可包括較不便攜的設(shè)備，諸如臺(tái)式個(gè)人計(jì)算機(jī)、自助服務(wù)終端和桌面設(shè)備。另外，計(jì)算設(shè)備102可以表示一組處理單元或其它計(jì)算設(shè)備。
[0028]網(wǎng)絡(luò)104可包括有線和/或無(wú)線網(wǎng)絡(luò)。網(wǎng)絡(luò)104還可使用任何類型的網(wǎng)絡(luò)拓?fù)浜?或通信協(xié)議來(lái)實(shí)現(xiàn)，并可被表示為或以其他方式實(shí)現(xiàn)為兩個(gè)或更多個(gè)網(wǎng)絡(luò)的組合，并可包括網(wǎng)際協(xié)議(IP)網(wǎng)絡(luò)和/或因特網(wǎng)。網(wǎng)絡(luò)104還可包括由移動(dòng)網(wǎng)絡(luò)運(yùn)營(yíng)商和/或其他移動(dòng)運(yùn)營(yíng)商來(lái)管理的移動(dòng)運(yùn)營(yíng)商網(wǎng)絡(luò)，諸如通信服務(wù)提供商、移動(dòng)電話提供商和/或因特網(wǎng)服務(wù)提供商。
[0029]在操作中，本文描述的功能性可被計(jì)算設(shè)備102和/或服務(wù)器計(jì)算設(shè)備106中的每一個(gè)執(zhí)行。例如，計(jì)算設(shè)備102中的每一個(gè)可對(duì)該計(jì)算設(shè)備102捕捉的圖像214的序列執(zhí)行圖像處理。在另一示例中，計(jì)算設(shè)備102之一將所捕捉圖像214的序列連同相應(yīng)的加速度計(jì)讀數(shù)216和/或陀螺儀讀數(shù)218 —起發(fā)送(例如，實(shí)時(shí)地、周期性地、間歇地、成批次地等)給服務(wù)器計(jì)算設(shè)備106。服務(wù)器計(jì)算設(shè)備106執(zhí)行圖像處理并將輸出圖像返回至計(jì)算設(shè)備102以用于顯示。
[0030]接下來(lái)參考圖2，示例性框圖解說(shuō)了計(jì)算設(shè)備102的架構(gòu)。在圖2的示例中，計(jì)算設(shè)備102包括至少一個(gè)圖像傳感器206、至少一個(gè)陀螺儀210、至少一個(gè)加速度計(jì)208、至少一個(gè)處理器204、以及至少一個(gè)存儲(chǔ)器區(qū)域212。圖像傳感器206可以是任何類型的模擬傳感器、諸如電荷藕合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)等數(shù)字傳感器、等。本領(lǐng)域已知的其他類型的圖像傳感器206可在計(jì)算設(shè)備102中使用以捕捉圖像214的序列。
[0031]加速度計(jì)208操作以捕捉計(jì)算設(shè)備102的移動(dòng)，諸如在捕捉圖像214(例如幀)時(shí)。例如，加速度計(jì)208提供表示計(jì)算設(shè)備102的移動(dòng)的數(shù)據(jù)。單軸加速度計(jì)、多軸加速度計(jì)、微機(jī)械加速度計(jì)、以及其他加速度計(jì)均在本公開(kāi)的范圍內(nèi)。
[0032]陀螺儀210操作以捕捉計(jì)算設(shè)備102在捕捉圖像214的序列時(shí)的旋轉(zhuǎn)移動(dòng)。例如，陀螺儀210提供表示計(jì)算設(shè)備102的旋轉(zhuǎn)移動(dòng)的數(shù)據(jù)。機(jī)械、電子、微芯片封裝微機(jī)電系統(tǒng)(MEMS)、固態(tài)環(huán)激光器、光纖、量子陀螺儀以及其他陀螺儀在本公開(kāi)的范圍內(nèi)。
[0033]在一些實(shí)施例中，加速度計(jì)讀數(shù)216和/或陀螺儀讀數(shù)218在與計(jì)算設(shè)備102捕捉圖像214大致、基本或另外地在大約相同的時(shí)間被捕捉。例如，加速度計(jì)讀數(shù)216和/或陀螺儀讀數(shù)218與每個(gè)圖像214的捕捉同