專利名稱：捕捉數(shù)字圖像的方法和圖像捕捉裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及捕捉數(shù)字圖像的方法和圖像捕捉裝置。更具體地，本發(fā)明涉及確定圖像中存在的運動并存儲與圖像相關(guān)的運動的指示。
背景技術(shù)：
諸如具有相機功能的移動電話或數(shù)字相機的裝置中的越來越多的多媒體內(nèi)容使得越來越需要分配給這些內(nèi)容合適的元數(shù)據(jù)，以便于對多媒體內(nèi)容進(jìn)行管理。傳統(tǒng)上，元數(shù)據(jù)是與創(chuàng)作者、內(nèi)容的名稱、日期、數(shù)量等相關(guān)的信息。在圖像形成方面，已經(jīng)存在諸如感光設(shè)置、快門速度、時間、日期以及手動輸入的文本標(biāo)簽的數(shù)據(jù)。然而， 當(dāng)捕捉到照片時，存在可能必須管理儲存的圖像的其它情況，在例如文本標(biāo)簽中描述這些情況很費力。因此，期望將至少某些這樣的情況自動提供到元數(shù)據(jù)中。

發(fā)明內(nèi)容
本發(fā)明基于以下理解在捕捉圖像期間，可以采集與場景中的活動相關(guān)的信息。可以將該信息存儲為元數(shù)據(jù)，例如可以在呈現(xiàn)該圖像期間利用該信息來加強圖像的表現(xiàn)。根據(jù)第一個方面，提供了一種捕捉數(shù)字圖像的方法。該方法包括記錄被投影在圖像傳感器上的圖像；對所述圖像中存在的運動進(jìn)行確定；對表示運動量的度量值進(jìn)行確定；以及將所記錄的圖像與包括所述度量值的關(guān)聯(lián)元數(shù)據(jù)一起存儲。所述元數(shù)據(jù)可以存儲在所記錄的圖像的文件中的元數(shù)據(jù)字段中、與所記錄的圖像的文件分離的元數(shù)據(jù)文件中或具有將所述元數(shù)據(jù)與所記錄的圖像的文件關(guān)聯(lián)起來的索引的數(shù)據(jù)庫中。對運動進(jìn)行確定可以包括捕捉在時間上分隔開的至少兩幀照片；將所述幀提供給視頻編碼器；以及從所述視頻編碼器接收存在的運動作為向量。對運動進(jìn)行確定可以包括捕捉在時間上分隔開的至少兩幀照片；以及確定所述幀中的一幀相對于另一幀的位置變化，其中，基于所述位置變化由至少一個向量來描述所述運動。對度量值進(jìn)行確定可以包括分析所述至少一個向量；以及基于所述向量分析來分配所述度量值。所述分析可以提供至少兩個向量，對所述至少兩個向量的分析可以包括求這些向量的大小的平均值。對所述向量的分析可以包括以向量的理論最大值來歸一化這些向量以表示所述圖像中的運動。對所述至少一個向量的分析可以包括對這些向量進(jìn)行篩選。對所述至少一個向量的分析可以包括補償所述圖像的全局運動。對運動進(jìn)行確定以及對度量值進(jìn)行確定可以如下執(zhí)行記錄視頻剪輯；確定所述運動和所述度量值；以及刪除所述視頻剪輯。對運動進(jìn)行確定可以在將所述圖像投影到所述圖像傳感器的光學(xué)器件的自動對焦功能運行期間執(zhí)行。對運動進(jìn)行確定可以針對與所記錄的圖像相比降低了分辨率的圖像來執(zhí)行。
根據(jù)第二方面，提供了一種圖像捕捉裝置，該圖像捕捉裝置包括圖像傳感器；光學(xué)器件，其被設(shè)置為將圖像投影在所述圖像傳感器上；信號處理器，其被設(shè)置為接收由所述圖像傳感器提供的信號，確定所述圖像中存在的運動，并且確定表示運動量的度量值；以及存儲器，其被設(shè)置為將所記錄的圖像與包含所述度量值的關(guān)聯(lián)元數(shù)據(jù)一起存儲。該裝置可以被設(shè)置成將所述元數(shù)據(jù)存儲在所記錄的圖像的文件中的元數(shù)據(jù)字段中、與所記錄的圖像的文件分離的元數(shù)據(jù)文件中或具有將所述元數(shù)據(jù)與所記錄的圖像的文件關(guān)聯(lián)起來的索引的數(shù)據(jù)庫中。所述信號處理器可以包括視頻編碼器，該視頻編碼器被設(shè)置為接收在時間上分隔開的至少兩幀照片并且將存在的運動提供為向量。所述信號處理器還可以包括向量處理機制，該向量處理機制被設(shè)置為提供所述向量的大小的平均值、所述向量的篩選、所述向量的歸一化或所述圖像的全局運動的補償、或它們的任意組合，其中，根據(jù)所述向量處理機制的輸出來確定所述度量值。將所述圖像投影到所述圖像傳感器的光學(xué)器件可以包括自動對焦功能，可以在所述自動對焦功能運行時提供控制信號，其中，對運動進(jìn)行確定被設(shè)置為在所述控制信號指示所述自動聚焦功能的運行期間執(zhí)行。


圖1是例示根據(jù)實施方式的方法的流程圖。圖2示意性地例示了根據(jù)實施方式的裝置。圖3示意性地例示了根據(jù)實施方式的計算機可讀介質(zhì)。圖4是例示根據(jù)實施方式的信號處理器的框圖。圖5是例示根據(jù)實施方式的用于確定活動的過程的流程圖。
具體實施例方式圖1是例示根據(jù)實施方式的方法的流程圖。在圖像記錄步驟100中，記錄了被光學(xué)器件投影到圖像傳感器的圖像，并由該傳感器提供電信號。隨后，可以處理這些信號以存儲照片，也可以用來確定在該成像場景中存在的活動。因而，在運動確定步驟102中，確定了在成像場景中存在的活動(即，運動)?？梢酝ㄟ^捕捉在時間上分隔開的至少兩幀照片來確定這些運動。接著，可以由視頻編碼器或能夠提供類似計算的任意處理器來處理這些幀。 隨后，視頻解碼器可以使用向量來表示這些運動。作為提供這種向量的另選方式，由至少兩幀照片提供的任意機制可以確定這些幀之間的位置變化并且將任何位置變化描述為一個或更多個向量。這可以在處理器中執(zhí)行，這些功能可以與圖像捕捉裝置的其它功能分開或集成。這里，作為經(jīng)驗，為了降低成本，可以在裝置的處理其他應(yīng)用的同一個處理器中執(zhí)行所有處理。通常，在這樣的情況中，圖像大小以及性能可能受到該應(yīng)用處理器的共享性能的限制。在更加復(fù)雜的版本中，提供了視頻編碼器，并且可以使用上述方法。因而，可以無需與其它應(yīng)用共享處理能力，這提高了性能和能力。對于甚至更復(fù)雜的版本來說，可以使用多個視頻編碼器，并且圖像傳感器本身也可以包括某些處理。在那樣的情況下，甚至可以考慮圖像中的小細(xì)節(jié)來確定運動，使得能夠精細(xì)地表現(xiàn)活動。
5
對位置變化進(jìn)行確定可以基于塊匹配算法(Block Matching Algorithm)，其中， 確定了幀之間改變/未改變的塊的數(shù)量。另選地，對位置變化進(jìn)行確定可以基于將圖像劃分成多個部分的其它劃分方法，例如，通過在圖像之間識別對象和它們的位置變化，或基于對圖像內(nèi)容的集合表示的復(fù)雜分析。實際方法的示例是在捕捉照片時捕捉一短視頻序列， 即，視頻剪輯。從該視頻剪輯中，根據(jù)上面演示的視頻編碼器方法來確定運動和度量值，然后刪除該視頻剪輯。實際實現(xiàn)的另一示例是針對與所記錄和存儲的圖像相比降低了分辨率的圖像來進(jìn)行運動確定。此外，實際實現(xiàn)的示例是在啟動了光學(xué)器件的自動對焦機制期間啟動對運動的確定。這些實際實現(xiàn)的任意組合當(dāng)然是更有利的。對于能夠正確使用的對活動的表示(例如在呈現(xiàn)照片時正確使用)，在度量值確定步驟104中確定了表示運動的正確度量值?？梢酝ㄟ^分析向量來確定度量值，并隨后基于分析來分配度量值。分析可以包括對向量求平均值以形成度量值?？梢詫ο蛄窟M(jìn)行篩選和/或歸一化以獲得正確的表示。優(yōu)先地基于向量的理論最大值來進(jìn)行向量的歸一化以表示圖像中的運動。因而，考慮與具有許多較小運動的情況(特別是當(dāng)應(yīng)用求平均值時)相比具有單個大運動的情況，歸一化可以給出場景的運動的更具代表性的度量值。根據(jù)使用的視頻編碼器處或根據(jù)處理裝置的能力限制，可以確定向量的理論最大值?？梢蕴峁θ诌\動(即，例如由于在拍攝該照片時難以保持相機穩(wěn)定，因而在捕捉期間所有圖像都以相同方式運動)的補償以在照片的表現(xiàn)方面獲得對場景中的真正運動而不是抖動的手的表現(xiàn)。在確定了度量值時，在元數(shù)據(jù)存儲步驟106中將度量值存儲為圖像的元數(shù)據(jù)。可以將元數(shù)據(jù)存儲在所存儲的圖像的數(shù)據(jù)字段中、與圖像文件一起的單獨元數(shù)據(jù)文件中或具有將度量值與圖像文件關(guān)聯(lián)起來的索引的元數(shù)據(jù)數(shù)據(jù)庫中。圖2示意性地示出了根據(jù)實施方式的裝置。該裝置包括被設(shè)置成在圖像傳感器 202上投影圖像的光學(xué)器件200。該圖像傳感器202向信號處理器204或處理裝置提供被投影圖像(這里，為了簡單起見，在對進(jìn)一步處理的討論中也稱做“圖像”)的電的表示。該表示優(yōu)選地是數(shù)字表示。信號處理器204被設(shè)置成接收信號并且確定圖像場景中存在的運動。根據(jù)這些確定的運動，信號處理器204通過按照以上參照圖1演示的示例進(jìn)行計算來確定表示運動的量的度量值。另選地，或者除了計算以外，可以將查找表用于一些操作。運動的度量值被確定，并且被分配為要存儲的圖像的元數(shù)據(jù)。元數(shù)據(jù)被存儲在存儲器206中。 如上所述，可以將圖像和元數(shù)據(jù)存儲在一個存儲器中的一個文件或不同文件中，或者存儲在不同存儲器的不同文件中。由索引將圖像文件和元數(shù)據(jù)文件關(guān)聯(lián)起來是可行的方式。圖3示意性地例示了根據(jù)實施方式的計算機可讀介質(zhì)。根據(jù)本發(fā)明的方法適于在諸如一個或更多個信號處理器和/或視頻編碼器的處理裝置的輔助下實現(xiàn)。信號處理器或視頻編碼器可以實施為一個信號處理單元或多個并行工作的信號處理單元。因此，在參照圖2描述的裝置的任一個實施方式中都提供了的計算機程序，計算機程序包含被設(shè)置為使處理裝置執(zhí)行根據(jù)參照圖1描述的任一個實施方式的任一種方法的步驟的指令。計算機程序優(yōu)選地包括存儲在計算機可讀介質(zhì)300上的程序代碼，可以由處理裝置302加載并執(zhí)行計算機程序以使得處理裝置302分別執(zhí)行根據(jù)實施方式的方法。計算機302和計算機程序產(chǎn)品300可以被設(shè)置為執(zhí)行該程序代碼，其中，執(zhí)行任一種方法的動作，或者實時地執(zhí)行， 其中基于需要和所需要的輸入數(shù)據(jù)的可用性來采取動作。處理裝置302優(yōu)選地是一般被稱作嵌入系統(tǒng)的裝置。因而，圖3中示出的計算機可讀介質(zhì)300和計算機302應(yīng)當(dāng)僅以用于提供對原理的理解的說明目的來解釋，而不應(yīng)被解釋為部件的任意直接描述。圖4是例示根據(jù)實施方式的圖像處理器400的框圖。圖像處理器從圖像傳感器接收圖像信號401。圖像處理器400包括圖像編碼和/或壓縮機制402，圖像編碼和/或壓縮機制402根據(jù)接收的信號形成要存儲的圖像數(shù)據(jù)。圖像處理器400還包括同樣接收來自圖像傳感器的信號的活動確定機制404?；顒哟_定機制404確定了在捕捉時在圖像場景中存在的運動，并且確定這些運動的度量值，隨后提供度量值作為元數(shù)據(jù)以與圖像數(shù)據(jù)一起存儲或關(guān)聯(lián)存儲?；顒哟_定機制404可以包括確定表示場景中的運動的向量的視頻編碼器 406或能夠提供類似計算的任何處理器。可以將向量提供給活動確定機制404的向量處理機制408。向量處理機制408對向量進(jìn)行處理以提供度量值。如參照圖1所述的那樣，向量處理可以包括篩選、求平均值、歸一化、全局補償?shù)?，以提供正確的度量值?；顒哟_定機制 404可以接收控制信號，該控制信號指示用于活動確定的正確時段?？刂菩盘柪缈梢杂上鄼C的自動對焦功能提供。圖5是例示了根據(jù)實施方式的確定活動的過程的流程圖。在圖像捕捉步驟500中， 捕捉在時間上稍稍分隔開的幀。如上所述，根據(jù)這些幀，將使用這些幀的場景中的位置變化來確定存在的運動。這可以通過在部分劃分步驟502中將這些幀劃分成例如塊或確定的圖像對象的多個部分來執(zhí)行實施。針對這些部分中的每一個部分或至少可處理的數(shù)量的部分 (這取決于處理能力)，在位置變化確定步驟504中確定位置變化。根據(jù)所確定的位置變化， 在向量分配步驟506中分配向量。如上所述，也可以以其它方式來提供向量。視頻編碼模型是可行的方式，這樣的模型通常提供基于向量的表示。也可以使用不基于向量的其它模型，其中運動量是根據(jù)由被設(shè)置為提供動態(tài)場景的降低后的比特率表示的視頻編碼方案所提供的其他參數(shù)來確定的。
權(quán)利要求
1.一種捕捉數(shù)字圖像的方法，包括 記錄被投影在圖像傳感器上的圖像； 對所述圖像中存在的運動進(jìn)行確定； 對表示運動量的度量值進(jìn)行確定；以及將所記錄的圖像與包括所述度量值的關(guān)聯(lián)元數(shù)據(jù)一起存儲。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述元數(shù)據(jù)存儲在所記錄的圖像的文件的元數(shù)據(jù)字段中、與所記錄的圖像的文件分離的元數(shù)據(jù)文件中、或具有將所述元數(shù)據(jù)與所記錄的圖像的文件關(guān)聯(lián)起來的索引的數(shù)據(jù)庫中。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，對運動進(jìn)行確定包括 捕捉在時間上分隔開的至少兩幀照片；將所述幀提供給視頻編碼器；以及從所述視頻編碼器接收存在的運動作為向量。
4.根據(jù)權(quán)利要求1或2所述的方法，其中，對運動進(jìn)行確定包括 捕捉在時間上分隔開的至少兩幀照片；以及確定所述幀中的一幀與另一幀之間的位置變化，其中，基于所述位置變化由至少一個向量來描述所述運動。
5.根據(jù)權(quán)利要求3或4所述的方法，其中，對度量值進(jìn)行確定包括 對所述至少一個向量進(jìn)行分析；以及基于所述向量分析來分配度量值。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述分析提供至少兩個向量，對所述至少兩個向量的分析包括對所述向量的大小求平均值。
7.根據(jù)權(quán)利要求5或6所述的方法，其中，對所述向量進(jìn)行分析包括利用向量的理論最大值來歸一化所述向量以表示所述圖像中的運動。
8.根據(jù)權(quán)利要求5到7中任一項所述的方法，其中，對所述至少一個向量進(jìn)行分析包括對所述向量進(jìn)行篩選。
9.根據(jù)權(quán)利要求5到8中任一項所述的方法，其中，對所述至少一個向量進(jìn)行分析包括對所述圖像的全局運動進(jìn)行補償。
10.根據(jù)權(quán)利要求1到9中任一項所述的方法，其中，對運動進(jìn)行確定以及對度量值進(jìn)行確定如下進(jìn)行記錄視頻剪輯；確定所述運動動作和所述度量值；以及刪除所述視頻剪輯。
11.根據(jù)權(quán)利要求1到10中任一項所述的方法，其中，對運動進(jìn)行確定是在將所述圖像投影到所述圖像傳感器的光學(xué)器件的自動對焦功能運行期間執(zhí)行的。
12.根據(jù)權(quán)利要求1到11中任一項所述的方法，其中，對運動進(jìn)行確定是針對與所記錄的圖像相比降低了分辨率的圖像執(zhí)行的。
13.一種圖像捕捉裝置，包括 圖像傳感器；光學(xué)器件，其被設(shè)置為將圖像投影到所述圖像傳感器上；信號處理器，其被設(shè)置為接收由所述圖像傳感器提供的信號，確定所述圖像中存在的運動，并且確定表示運動量的度量值；以及存儲器，其被設(shè)置為將所記錄的圖像與包括所述度量值的關(guān)聯(lián)元數(shù)據(jù)一起存儲。
14.根據(jù)權(quán)利要求13所述的裝置，其被設(shè)置為將所述元數(shù)據(jù)存儲在所記錄的圖像的文件中的元數(shù)據(jù)字段中、與所記錄的圖像的文件不同的元數(shù)據(jù)文件中、或者具有將所述元數(shù)據(jù)與所記錄的圖像的文件關(guān)聯(lián)起來的索引的數(shù)據(jù)庫中。
15.根據(jù)權(quán)利要求13或14所述的裝置，其中，所述信號處理器包括視頻編碼器，該視頻編碼器被設(shè)置為接收在時間上分隔開的至少兩幀照片并提供存在的運動作為向量。
16.根據(jù)權(quán)利要求15所述的裝置，其中，所述信號處理器還包括向量處理機制，該向量處理機制被設(shè)置為提供所述向量的大小的平均值、篩選所述向量、歸一化所述向量的或補償所述圖像的全局運動、或者執(zhí)行這些操作的任意組合，其中，所述度量值根據(jù)所述向量處理機制的輸出來確定。
17.根據(jù)權(quán)利要求13到16中任一項所述的裝置，其中，將所述圖像投影到所述圖像傳感器的所述光學(xué)器件包括自動對焦功能，在所述自動對焦功能運行時提供控制信號，其中， 對運動進(jìn)行確定被設(shè)置為在所述控制信號指示所述自動對焦功能的運行時的時段內(nèi)執(zhí)行。
全文摘要
公開了用于捕捉數(shù)字圖像的方法。該方法包括記錄被投影在圖像傳感器上的圖像；確定圖像中存在的運動；確定表示運動量的度量值；以及將記錄的圖像與包括度量值的關(guān)聯(lián)元數(shù)據(jù)一起存儲。此外，公開了圖像捕捉裝置，包括圖像傳感器；光學(xué)器件，其被設(shè)置為將圖像投影到圖像傳感器上；信號處理器，其被設(shè)置為接收由圖像傳感器提供的信號，確定圖像中存在的運動，并且確定表示運動量的度量值；以及存儲器，其被設(shè)置為將所記錄的圖像與包括度量值的關(guān)聯(lián)元數(shù)據(jù)一起存儲。
文檔編號H04N7/26GK102428701SQ200980159069
公開日2012年4月25日 申請日期2009年11月18日 優(yōu)先權(quán)日2009年5月19日
發(fā)明者布·拉爾森 申請人:索尼愛立信移動通訊有限公司