專利名稱：使用顏色匹配的圖像穩(wěn)定化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像的分析，并且更為特別的是視頻圖像的圖像穩(wěn)定化。
背景技術(shù)：
在現(xiàn)有技術(shù)中已知視頻穩(wěn)定化是為了通過機(jī)械反饋系統(tǒng)或通過數(shù)字信號(hào)處理來最小化因?yàn)閿z像機(jī)移動(dòng)產(chǎn)生的圖像抖動(dòng)。現(xiàn)有技術(shù)的數(shù)字信號(hào)處理技術(shù)很復(fù)雜并且經(jīng)?；谶\(yùn)動(dòng)估計(jì)和向量分析。這些技術(shù)被設(shè)計(jì)為最小干擾圖像內(nèi)的運(yùn)動(dòng)并且為了分離攝像機(jī)移動(dòng)的抖動(dòng)來評估象素的模塊的運(yùn)動(dòng)。
當(dāng)物體在捕捉的視頻圖像中相對于攝像機(jī)移動(dòng)時(shí)，經(jīng)常難以辨別捕捉的移動(dòng)物體的移動(dòng)細(xì)節(jié)。例如，當(dāng)顯示捕捉的視頻圖像時(shí)，因?yàn)槠噺囊粠揭粠拇罅窟\(yùn)動(dòng)，經(jīng)常難以讀取移動(dòng)的汽車的牌照。在這種情況中，用于汽車運(yùn)動(dòng)的計(jì)算將提高讀取牌照的能力。
因?yàn)樵O(shè)計(jì)現(xiàn)有技術(shù)來允許僅當(dāng)移去因?yàn)閿z像機(jī)的移動(dòng)的運(yùn)動(dòng)時(shí)，這種運(yùn)動(dòng)在視頻圖像的序列中可見，所以上述的現(xiàn)有的圖像穩(wěn)定化技術(shù)沒有提供為了使得牌照更容易讀取而計(jì)算用于比如汽車的運(yùn)動(dòng)的運(yùn)動(dòng)的方法。

發(fā)明內(nèi)容
在本發(fā)明的一個(gè)實(shí)施例中，公開了一種用于至少兩個(gè)數(shù)字圖像的圖像穩(wěn)定化的方法。在這樣的實(shí)施例中，提供具有多個(gè)象素的第一數(shù)字圖像和至少提供具有多個(gè)象素的第二圖像。每一象素具有用于顯示的相關(guān)地址并且代表顏色。系統(tǒng)的用戶提供顏色匹配范圍或者系統(tǒng)提供預(yù)先確定的顏色匹配范圍。在第一數(shù)字圖像中選擇一象素。優(yōu)選的，該象素是表示在圖像內(nèi)因?yàn)槲锛囊苿?dòng)而變得模糊或因?yàn)閿z像機(jī)的移動(dòng)而產(chǎn)生抖動(dòng)的物件的象素。因?yàn)榭捎孟笏氐臄?shù)目龐大，所以在第一圖像中選擇的一象素可以在一范圍內(nèi)與第二圖像中的一象素匹配。該范圍允許因?yàn)檎彰髯兓难a(bǔ)償。一旦選擇了在第一圖像中的象素，可以將它和在第二圖像內(nèi)的所有象素比較。保存在第二圖像中的在顏色匹配范圍內(nèi)的每一象素并且選擇和來自第一圖像的象素顏色最接近的象素。之后重新尋址在第二圖像中的象素的地址，使得和在第一圖像中的象素的顏色最接近的位于第二圖像中的象素的地址具有和在第一圖像中的象素的地址相同的顯示地址。之后將重新定位的第二數(shù)字圖像存儲(chǔ)到存儲(chǔ)器。
在其它實(shí)施例中，可以由本方法的用戶選擇要在第二圖像內(nèi)搜索的圖像區(qū)域。在另一實(shí)施例中，可以選擇對準(zhǔn)點(diǎn)用于對準(zhǔn)第一數(shù)字圖像和重新定位的第二數(shù)字圖像，使得當(dāng)在顯示設(shè)備上顯示時(shí)第一幀的所述象素和對準(zhǔn)點(diǎn)對準(zhǔn)并且第二數(shù)字圖像中的象素和對準(zhǔn)點(diǎn)對準(zhǔn)。
一旦保存了第二數(shù)字圖像，就可以在顯示設(shè)備上順序顯示第一數(shù)字圖像和重新定位的第二數(shù)字圖像，并且其中物件的移動(dòng)將被最小化。
在再一實(shí)施例中，可能采用插值來確定用于在一視頻圖像序列中進(jìn)行比較的顏色值。在該序列中，從創(chuàng)建子序列的序列中選擇開始數(shù)字圖像和結(jié)束數(shù)字圖像。在開始數(shù)字圖像中選擇一象素并且在結(jié)束數(shù)字圖像中選擇一象素。在開始數(shù)字圖像中的象素的顏色和在結(jié)束數(shù)字圖像中的象素的顏色之間執(zhí)行線性插值，使得對于在開始數(shù)字圖像和結(jié)束數(shù)字圖像之間的每一圖像都確定一插值的顏色。對于每一和圖像相關(guān)聯(lián)的插值的顏色，在那個(gè)圖像中在預(yù)先確定的顏色范圍中搜索象素。一旦找到一象素，則重新定位每一圖像使得將具有插值的顏色的象素的地址定位到在開始圖像中選擇的象素的地址。
在特定實(shí)施例中，顏色匹配范圍可能等于零，使得需要找到精確匹配。表示顏色的數(shù)量越多，比如真彩色或16.7兆彩色，在第一幀中一個(gè)象素的匹配表示它和在第二幀中具有相同或非常類似的顏色的象素具有相同物理位置的可能性越大。如果在圖像中沒有找到在顏色匹配范圍內(nèi)的顏色，本發(fā)明可默認(rèn)進(jìn)行標(biāo)準(zhǔn)程序，以基于歷史信息重新定位圖像。
本發(fā)明還可以在計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)并且具體表現(xiàn)為和計(jì)算機(jī)系統(tǒng)一起使用的計(jì)算機(jī)程序產(chǎn)品，在計(jì)算機(jī)系統(tǒng)中本發(fā)明具體表現(xiàn)為計(jì)算機(jī)可讀的代碼。另外，本發(fā)明可能具體表現(xiàn)為包括用戶接口，處理器，以及相關(guān)存儲(chǔ)器的系統(tǒng)。處理器包括用于從用戶接口接收信號(hào)的用戶接口模塊。在這種結(jié)構(gòu)中，用戶可以通過用戶接口發(fā)送信號(hào)到處理器，例如，指示要處理的視頻序列，指示顏色匹配范圍，選擇象素值，選擇對準(zhǔn)位置。處理器還包括用于定位在第二幀中的象素的定位模塊，其中該象素具有在和從第一視頻幀中選擇出的象素相關(guān)聯(lián)的顏色的顏色范圍中的相關(guān)顏色。處理器進(jìn)一步包括重新定位模塊，用于重新尋址第二視頻幀，使得第二幀的定位的象素具有和從第一視頻幀中選擇出的象素相同的地址，處理器還包括用于存儲(chǔ)重新尋址的第二視頻幀的存儲(chǔ)模塊。


通過參考下面的詳細(xì)描述以及附圖，可以更加容易的理解本發(fā)明的特征，在附圖中圖1是一具有800×600象素的分辨率的圖像；圖2是一流程圖，示出了用于通過結(jié)合計(jì)算機(jī)系統(tǒng)執(zhí)行的顏色匹配的圖像穩(wěn)定化的一個(gè)方法；圖3A-C示出了正在屏幕上重新定位的象素；圖3A示出了具有所選象素的第一幀；圖3B示出了第二幀，其具有標(biāo)記為具有在從圖3A選出的象素的顏色公差內(nèi)的顏色的象素；圖3C示出了在圖3A的第一幀上重疊并重新排列的圖3B的第二幀；圖4是一流程圖，示出了用于圖像穩(wěn)定化的另一實(shí)施例；圖5是一流程圖，示出了使用顏色匹配和插值的圖像穩(wěn)定化的另一實(shí)施例；圖6示出了在視頻序列的開始和結(jié)束幀中的象素選擇；圖7A示出了在對準(zhǔn)所有圖像的圖像穩(wěn)定化之前的視頻序列；圖7B示出了對準(zhǔn)之后的圖7A的視頻序列；并且圖8示出了本發(fā)明作為系統(tǒng)的一個(gè)實(shí)施例。
具體實(shí)施例方式
如在下面的文本中使用的，術(shù)語“視頻序列”意味著可以暫時(shí)在顯示設(shè)備上顯示的圖像序列的數(shù)字表示。通常，視頻序列包括多個(gè)幀，其中每一幀表示分離的圖像?？赡軐M(jìn)一步細(xì)分，這樣幀由一系列象素組成。如在下面的描述中使用的，“象素”應(yīng)該意味著圖像的單一點(diǎn)。在圖像中包括的象素的數(shù)量越多，視頻分辨率越高。通常由象素?cái)?shù)量的長度和寬度度量來表示圖像/幀的分辨率，例如，在800×600的分辨率中，沿著圖像的長度有800象素并且沿著圖像的寬度有600象素。地址和每一象素相關(guān)。例如如圖1所示，呈現(xiàn)具有800×600的分辨率的圖像并且以X標(biāo)記在地址(200，300)的象素，其中原點(diǎn)位于屏幕的左上角。如在這里使用的，幀可能是完整的圖像或圖像的一部分，比如僅包括完整圖像的一半的區(qū)域。
在本發(fā)明的實(shí)施例中，提出了用于穩(wěn)定數(shù)字視頻序列的視頻圖像的方法，其中數(shù)字視頻序列包括多個(gè)數(shù)字圖像/幀。通過在第二幀中搜索具有落在顏色公差內(nèi)的顏色的象素，而通過在第一幀中的所選象素顏色的顏色匹配來執(zhí)行穩(wěn)定化。之后將第二幀和第一幀對準(zhǔn)，從而在第二幀中具有匹配顏色的象素的象素地址和從第一幀中選擇出的象素的象素地址相同。之后將第二幀存儲(chǔ)進(jìn)存儲(chǔ)器。在可以呈現(xiàn)的可能顏色的數(shù)量和分辨率增加時(shí)，這個(gè)方法特別有用。隨著視頻移動(dòng)到對象素顏色值具有16.7兆和更高的可能顏色的HDTV格式，象素顏色值變得更為獨(dú)特并且因此顏色跟蹤成為更為有效的用于匹配圖像和提供圖像穩(wěn)定化以及計(jì)算在圖像內(nèi)的移動(dòng)的方式。
結(jié)合計(jì)算機(jī)系統(tǒng)執(zhí)行通過顏色匹配的圖像穩(wěn)定化的本方法，其中計(jì)算機(jī)系統(tǒng)至少包括顯示器，輸入設(shè)備，相關(guān)存儲(chǔ)器和處理器。將參考圖2更詳細(xì)的解釋本方法。首先，由計(jì)算機(jī)系統(tǒng)的處理器從存儲(chǔ)器位置中檢索數(shù)字序列200?；蛘哳伾钣商幚砥黝A(yù)先確定并訪問或者用戶被請求輸入一顏色公差210。顏色公差是在其中認(rèn)為發(fā)生了顏色匹配的范圍。之后將視頻序列的第一幀顯示給用戶。之后用戶在第一幀中選擇一象素220。優(yōu)選的，該象素是明顯的顏色或者該象素是在視頻序列中移動(dòng)的物體的一部分并且當(dāng)顯示視頻序列時(shí)出現(xiàn)抖動(dòng)。在選擇了象素之后，處理器識(shí)別和該象素相關(guān)的顏色230。之后處理器檢索第二幀并且執(zhí)行第二幀的搜索，來識(shí)別具有在顏色公差內(nèi)和從第一幀選擇出的象素的象素顏色相同的象素240。可能通過采用包括所有顏色成分的象素的總體顏色或者對單獨(dú)的顏色成分進(jìn)行加權(quán)而執(zhí)行顏色匹配。例如，如果以R，G，B，顏色空間表示顏色序列，相同的顏色匹配(也就是，具有0％的顏色公差的顏色匹配)可能需要R，G，B值中的每一個(gè)相同。顏色公差可能是在顏色中作為百分?jǐn)?shù)的總差異。例如，顏色公差可能是0.005％，其中顏色空間包括16.7兆顏色，或顏色公差可能需要每一顏色成分必須在所選象素的每一R，G，B值的比如10％的特定公差之內(nèi)。一旦識(shí)別了在第二幀中的一象素，之后將來自第二幀的象素地址和第一幀的所選象素的象素地址對準(zhǔn)250。圖3A，B和C示出了被重新定位的象素。圖3A示出了具有標(biāo)記有X并且將在顯示設(shè)備中顯示的所選象素的第一幀。圖3B示出了第二幀，其中以O(shè)標(biāo)識(shí)從第一幀中選擇的象素匹配的象素。圖3C示出了被重新定位并且因此被重新尋址的第二幀的顯示的象素。在重新定位第二幀并且因此改變該幀的所有象素的地址之后，通過處理器將重新對準(zhǔn)的第二幀存儲(chǔ)在存儲(chǔ)器中260?？梢詫σ曨l序列中的每一幀繼續(xù)這個(gè)過程。在這樣的實(shí)施例中，可能在接下來的每一幀中搜索從第一幀選擇的象素的顏色。應(yīng)該注意到，因?yàn)橹匦聦?zhǔn)后的第二幀的一些象素的新地址在顯示地址之外，所以這些象素的象素值將不在顯示設(shè)備上顯示。另外，一些用于第二重新對準(zhǔn)的幀的顯示地址將不具有用于象素的顏色值。在一個(gè)實(shí)施例中，使得這些象素地址為黑色。在其它實(shí)施例中，可以分配默認(rèn)顏色值，比如，來自相鄰象素地址的顏色值。
可能如圖4所述進(jìn)一步說明本發(fā)明。如上所述，由處理器從存儲(chǔ)器位置接收視頻系列。將第一幀呈現(xiàn)給用戶。用戶在視頻幀步驟401中定義搜索區(qū)域。例如，用戶可能使用比如鼠標(biāo)或光筆這樣的輸入設(shè)備來以圖形指示搜索區(qū)域。在一個(gè)實(shí)施例中，整個(gè)視頻幀是默認(rèn)搜索區(qū)域。在其中用戶只對圖像的特定部分感興趣的圖像中，定義小于整個(gè)圖像的搜索區(qū)域可能是有益的。例如，如果視頻序列是一輛正在開走的汽車并且用戶對于汽車的牌照感興趣，用戶可以選擇視頻幀的子部分。在實(shí)例中，用戶將指示汽車的牌照或某部分是所選的圖像子集。在重新對準(zhǔn)該幀之后顯示的圖像可以是整個(gè)視頻幀或僅僅是幀的選擇的子集。
在其中需要采用的移動(dòng)物體仍在整個(gè)幀中移動(dòng)的視頻序列中，應(yīng)該在幀的短序列上做出圖像的子部分的選擇，比如牌照。例如，如果整個(gè)序列是120個(gè)視頻視場(大約，2秒)，可能細(xì)分序列使得僅僅使用很少的幀(例如，10視場)。因?yàn)槠嚨呐普赵?0個(gè)視場之內(nèi)將不會(huì)移動(dòng)很多象素，于是可以將汽車和牌照指定為用于比較目的的圖像的子部分。通過選擇子部分，提高了匹配象素的顏色確實(shí)表示相同物理點(diǎn)的幾率。
還通過計(jì)算機(jī)系統(tǒng)提示用戶上述的顏色公差是用于匹配顏色的誤差的可接受極限402。用戶還可以指示對準(zhǔn)點(diǎn)，該點(diǎn)是在顯示設(shè)備的輸出屏幕上的點(diǎn)，在該點(diǎn)上對準(zhǔn)其顏色最佳匹配跟蹤顏色的象素403。在一個(gè)實(shí)施例中，雖然可以選擇在屏幕上的其它位置，默認(rèn)的是顯示設(shè)備的屏幕的中心。用戶還提供用來被跟蹤的顏色404。這通過觀察第一視頻幀和使用用戶輸入設(shè)備選擇象素來達(dá)成。
對于每一視頻幀420，將用于搜索區(qū)域的每一象素的顏色值和來自第一視頻幀的所選跟蹤顏色的顏色值比較430。如果用于象素的顏色空間(例如，R，G，B)的顏色值在輸入的公差之內(nèi)440，將認(rèn)為象素匹配。將其中紅，綠和藍(lán)的顏色值和跟蹤顏色的這些值之間的差的絕對值之和最小的象素識(shí)別為顏色匹配點(diǎn)。如果顏色匹配點(diǎn)在用于每一和所選象素相關(guān)的顏色空間值的輸入的公差之內(nèi)，移動(dòng)幀450，使得將被識(shí)別為最好的顏色匹配的象素放置在屏幕的對準(zhǔn)點(diǎn)上并且將移動(dòng)的幀寫出到存儲(chǔ)器外。如果沒有找到顏色匹配，根據(jù)預(yù)先確定的程序移動(dòng)圖像460。例如，可能通過分析過去的移動(dòng)并且將移動(dòng)平均來確定移動(dòng)，從而確定怎么對準(zhǔn)視頻數(shù)據(jù)的幀。例如，可能在X方向上以先前在X方向上移動(dòng)的距離的加權(quán)平均來移動(dòng)圖像，并且在Y方向上以先前在Y方向上移動(dòng)的距離的加權(quán)平均來移動(dòng)圖像。
在另一實(shí)施例中，可能根據(jù)下面程序來移動(dòng)圖像xdiff＝((sx1-sx2)+(sx2-sx3)+(sx3-sx4)//3*(sd)；和ydiff＝((sy1-sy2)+(sy2-sy3)+(sy3-sy4))/3*(sd)；其中sx1＝先前的水平位移；sy1＝先前的垂直位移sx2＝在sx1之前的水平位移；sy2＝在sy1之前的垂直位移；sx3＝在sx2之前的水平位移；sy3＝在sy2之前的垂直位移；sx4＝在sx3之前的水平位移；sy4＝在sy3之前的垂直位移；并且其中sd是衰減因數(shù)。
之后以由下面等式給定的量移動(dòng)幀460水平位移＝sx1+xdiff；和垂直位移＝sy1+ydiff。
之后將移動(dòng)的幀寫出到視頻圖像存儲(chǔ)器465。
如果輸入流包括更多的視頻幀470，處理下一幀420。一旦處理了在輸入流中的所有幀，則完成顏色跟蹤操作。
一旦使用顏色跟蹤重新定位了所有的視頻幀，則該幀序列暫時(shí)顯示在顯示設(shè)備上并且因此減少攝像機(jī)或物體的移動(dòng)。除了以暫時(shí)的方式顯示視頻幀，還可以將視頻幀進(jìn)行線性平均，以提供更高精確度的圖像或圖像的部分，例如，在移動(dòng)的車輛上的牌照，其中的牌照因?yàn)槎秳?dòng)而無法讀取并且一旦穩(wěn)定圖像之后即可讀取。即使沒有穩(wěn)定圖像，可以將所有幀一起線性平均來產(chǎn)生更高的圖形分辨率，其可以提供增強(qiáng)的圖像，并且其中牌照可讀。通過精確的對準(zhǔn)圖像到子象素分辨率，并將圖像一起平均，可以產(chǎn)生更高分辨率的圖像。這時(shí)因?yàn)殡S著捕捉到物體的一些圖像，每一圖像呈現(xiàn)每一幀中物體略微不同的部分。通常最少需要三到五幀來改進(jìn)圖像。
在本發(fā)明的另一實(shí)施例中，如圖5所示，結(jié)合顏色匹配采用插值。在這個(gè)實(shí)施例中，將視頻序列提供進(jìn)計(jì)算機(jī)系統(tǒng)500。允許系統(tǒng)的用戶在顯示設(shè)備上觀看視頻序列并且選擇開始幀和結(jié)束幀501。在開始幀和結(jié)束幀中都選擇一象素502。優(yōu)選的，在開始幀和結(jié)束幀中的象素是需要將其運(yùn)動(dòng)穩(wěn)定化的物體的一部分。例如，可能從移動(dòng)的汽車的視頻圖像中選擇出一象素。如圖6所示，應(yīng)該在結(jié)束幀中選擇是汽車的一部分的象素。之后系統(tǒng)在開始幀中選擇的象素的顏色值和在結(jié)束幀中的象素的顏色值之間插值503。插值方法可能是任意本領(lǐng)域普通技術(shù)人員已知的一個(gè)插值方法，比如線性的，雙線性的，以及雙立方插值。插值方法對在開始幀和結(jié)束幀之間的每一幀提供內(nèi)插值。例如，如果有四個(gè)幀，將對第二和第三幀確定內(nèi)插的顏色值。一旦對在開始幀和結(jié)束幀之間的每一幀確定顏色值，處理器開始在每一各自的幀中搜索顏色值504。處理器可能使用顏色匹配范圍/顏色公差來定位匹配顏色的象素。在一個(gè)實(shí)施例中，處理器搜索具有精確顏色的第一象素并且不使用顏色公差。在另一實(shí)施例中，將在顏色公差之內(nèi)的每一象素保存到存儲(chǔ)器，并且確定如上所述的差異量度，直到確定具有最接近顏色匹配的象素505。如果沒有象素匹配，處理器采用比如上面提供的程序，或者其它基于趨向分析和視頻系列的其它特性的程序506。當(dāng)對每一幀選擇出象素時(shí)，重新對準(zhǔn)在開始幀之后的包括結(jié)束幀的幀507。重新對準(zhǔn)需要重新確定每一象素的相關(guān)地址，這樣當(dāng)在顯示設(shè)備上顯示視頻序列時(shí)，在第一幀中選擇出的象素的象素位置和在接下來的幀中匹配顏色值的象素對應(yīng)。例如，如圖7A所示，在開始幀中選擇象素，其中對準(zhǔn)剩余的幀，就像它們要被正常顯示那樣。圖7B示出了重新對準(zhǔn)的視頻幀，這樣在顯示屏幕上和從開始幀選擇出的象素相同的點(diǎn)上定位來自在開始幀之后的所有幀的顏色匹配的象素。如果在開始幀和結(jié)束幀之間包括小于整個(gè)的視頻圖像序列，可以重復(fù)這個(gè)過程。
用于圖像穩(wěn)定化的方法可能具體實(shí)現(xiàn)為如圖8所示的系統(tǒng)。系統(tǒng)800包括比如鼠標(biāo)，跟蹤球，鍵盤等的輸入設(shè)備801，視頻顯示器802和具有相關(guān)存儲(chǔ)器804的處理器803。處理器包括多種模塊。第一模塊是操作來從用戶輸入設(shè)備接收信號(hào)的用戶接口模塊803A。用戶可以輸入請求來對所選的視頻圖像序列執(zhí)行圖像穩(wěn)定化。用戶可以觀看視頻序列的第一幀并且在序列中選擇象素，其中用戶接口模塊803A接收這個(gè)信息并且發(fā)送這個(gè)信息到位置模塊803B，位置模塊803B識(shí)別所選象素的顏色并且訪問視頻數(shù)據(jù)的第二幀。位置模塊803B為了識(shí)別和在第一幀中選擇的象素顏色最匹配的象素而搜索第二幀的數(shù)據(jù)值。如果沒有找到在顏色范圍內(nèi)的象素，則位置模塊803B默認(rèn)進(jìn)行預(yù)先確定的程序，比如上面所述的。當(dāng)識(shí)別了象素時(shí)，將象素的位置呈現(xiàn)給重新定位模塊803C，此模塊重新尋址在第二幀中的所有象素，這樣在第二幀中定位的象素具有和從第一幀中選擇出的象素的顯示地址相同的新的地址。通過存儲(chǔ)模塊803D，將地址信息和對應(yīng)的象素顏色值一起存儲(chǔ)到存儲(chǔ)器。
應(yīng)該注意到這里使用的流程圖是為了示范本發(fā)明的多種方面，并且不應(yīng)該被理解為將本發(fā)明限制到特定的邏輯流程或邏輯實(shí)現(xiàn)?？梢詫⑺镜倪壿嫹譃椴煌倪壿嬆K(例如，程序，模塊，功能，或子程序)，同時(shí)不改變整個(gè)結(jié)果或不脫離本發(fā)明的真正范圍。其它時(shí)間，也可以以不同順序執(zhí)行，添加，修改，省略邏輯要素，或者使用不同的邏輯結(jié)構(gòu)(例如，邏輯門，循環(huán)形式，條件邏輯，和其它邏輯結(jié)構(gòu))實(shí)現(xiàn)，同時(shí)不改變總的結(jié)果和不脫離本發(fā)明的真正范圍。
本發(fā)明可能具體表現(xiàn)為很多不同形式，包括，但是不限制于，用于和處理器(例如，微處理器，微控制器，數(shù)字信號(hào)處理器，或通用計(jì)算機(jī))一起使用的計(jì)算機(jī)程序邏輯，用于和可編程的邏輯設(shè)備(例如，現(xiàn)場可編程門陣列(FPGA)或其它PLD)一起使用的可編程邏輯，離散器件，集成電路(例如，專用集成電路(ASIC))，或任意其它包括它們的任意組合的裝置。
在這里，實(shí)現(xiàn)前述的所有或部分功能性的計(jì)算機(jī)程序邏輯可以具體表現(xiàn)為多種形式，包括，但是不限制于，源碼形式，計(jì)算機(jī)可執(zhí)行形式，以及多種中間形式(例如，由匯編程序，編譯器，連接器，或定位器產(chǎn)生的形式)。源碼可能包括一系列以多種用于和多種操作系統(tǒng)或操作環(huán)境一起使用的程序語言中的任意(例如，對象碼，匯編語言，或比如Fortran，C，C++，JAVA，或HTML的高級語言)實(shí)現(xiàn)的計(jì)算機(jī)程序指令。源碼可能定義并使用多種數(shù)據(jù)結(jié)構(gòu)和通信消息。源碼可能以計(jì)算機(jī)可執(zhí)行形式(例如，通過解釋程序)，或者可以將源碼轉(zhuǎn)換(例如，通過翻譯程序，匯編程序，或編譯器)為計(jì)算機(jī)可執(zhí)行形式。
可以以任意形式(例如，源碼形式，計(jì)算機(jī)可執(zhí)行形式，或中間形式)永久的或暫時(shí)的在有形的存儲(chǔ)媒介，比如半導(dǎo)體存儲(chǔ)器設(shè)備(例如，RAM，ROM，PROM，EEPROM，或閃存可編程RAM)，磁存儲(chǔ)器設(shè)備(例如，磁盤或固定盤)，光存儲(chǔ)器設(shè)備(例如，CD-ROM)，PC卡(例如，PCMCIA卡)，或其它存儲(chǔ)器設(shè)備中固定計(jì)算機(jī)程序。計(jì)算機(jī)程序可能以任意形式固定在信號(hào)中，其中該信號(hào)可使用多種通信技術(shù)，包括，但是不限制于，模擬技術(shù)，數(shù)字技術(shù)，光技術(shù)，無線技術(shù)，網(wǎng)絡(luò)技術(shù)，互聯(lián)網(wǎng)絡(luò)技術(shù)中的任意一種發(fā)送到計(jì)算機(jī)。計(jì)算機(jī)程序可以以任意形式分布在，比如，具有附加的打印或電子文件(例如，壓縮軟件或磁帶)的可移動(dòng)存儲(chǔ)媒介中，預(yù)先載入計(jì)算機(jī)系統(tǒng)(例如，在系統(tǒng)ROM或固定盤上)，或者從服務(wù)器或電子公告板上通過通信系統(tǒng)(例如，互聯(lián)網(wǎng)或萬維網(wǎng))分配。
在這里，可能使用現(xiàn)有的手工方法設(shè)計(jì)實(shí)現(xiàn)前述的所有或部分功能性的硬件邏輯(包括用于和可編程邏輯設(shè)備一起使用的可編程邏輯)，或者使用多種工具，比如計(jì)算機(jī)輔助設(shè)計(jì)(CAD)，硬件描述語言(例如，VHDL或AHDL)，或PLD編程語言(例如，PALASM，ABEL，或CUPL)來對其進(jìn)行電子設(shè)計(jì)，捕捉，仿真和記錄。
本發(fā)明可能具體表現(xiàn)為其它特定形式，同時(shí)不脫離本發(fā)明的真正范圍。在所有方面都應(yīng)該認(rèn)為所述的實(shí)施例是示意性而不是限制性的。
權(quán)利要求
1.一種用于具有多個(gè)象素的第一數(shù)字圖像和至少一個(gè)具有多個(gè)象素的第二圖像的圖像穩(wěn)定化的方法，其中每一象素具有用于顯示的相關(guān)地址并且代表顏色，該方法包括提供顏色匹配范圍；在第一數(shù)字圖像中選擇一象素；識(shí)別和在第一數(shù)字圖像中的所選的象素相關(guān)聯(lián)的顏色；在第二圖像中定位一象素，其在和來自第一數(shù)字圖像的象素相關(guān)聯(lián)的顏色的顏色匹配范圍之內(nèi)；重新定位第二圖像，使得在第二數(shù)字圖像中的象素的地址被定位在第一數(shù)字圖像的所選象素的地址上；以及將重新定位的第二數(shù)字圖像存儲(chǔ)到存儲(chǔ)器。
2.如權(quán)利要求1所述的方法，進(jìn)一步包括選擇用于定位在第二圖像中的象素的圖像區(qū)域。
3.如權(quán)利要求1所述的方法，進(jìn)一步包括提供用于對準(zhǔn)第一數(shù)字圖像和重新定位的第二數(shù)字圖像的對準(zhǔn)點(diǎn)，使得當(dāng)在顯示設(shè)備上顯示時(shí)，第一圖像的所述象素和對準(zhǔn)點(diǎn)對準(zhǔn)并且第二數(shù)字圖像的所述象素和對準(zhǔn)點(diǎn)對準(zhǔn)。
4.如權(quán)利要求1所述的方法，進(jìn)一步包括在顯示設(shè)備上順序顯示第一和重新定位的第二數(shù)字圖像。
5.一種用于圖像的數(shù)字序列的圖像穩(wěn)定化的方法，其中每一圖像具有多個(gè)象素并且其中每一象素具有用于顯示的相關(guān)地址并且表示顏色，該方法包括從創(chuàng)建子集序列的序列中選擇開始數(shù)字圖像和結(jié)束數(shù)字圖像；選擇開始數(shù)字圖像中的一象素和結(jié)束數(shù)字圖像中的一象素；在開始數(shù)字圖像的象素的顏色和在結(jié)束數(shù)字圖像的象素的顏色之間線性插值，使得對于在開始數(shù)字圖像和結(jié)束數(shù)字圖像之間的每一圖像確定插值的顏色；對于和圖像相關(guān)聯(lián)的每一插值的顏色，在那個(gè)圖像中搜索在預(yù)先確定的顏色范圍中具有插值的顏色的象素；重新定位在開始數(shù)字圖像和結(jié)束數(shù)字圖像之間的每一圖像，使得將圖像中具有插值的顏色的象素的地址定位到在開始圖像中選擇的象素的地址。
6.如權(quán)利要求5所述的方法，進(jìn)一步包括至少在顯示器上顯示子集序列。
7.如權(quán)利要求5所述的方法，進(jìn)一步包括選擇要用于在第二圖像中定位一象素的圖像區(qū)域。
8.如權(quán)利要求5所述的方法，進(jìn)一步包括提供用于對準(zhǔn)第一數(shù)字圖像和重新定位的第二數(shù)字圖像的對準(zhǔn)點(diǎn)，使得當(dāng)在顯示設(shè)備上顯示時(shí)，第一幀的所述象素和對準(zhǔn)點(diǎn)對準(zhǔn)并且在第二數(shù)字圖像中的所述象素和對準(zhǔn)點(diǎn)對準(zhǔn)。
9.如權(quán)利要求5所述的方法，其中子集序列包括在序列中的所有圖像。
10.如權(quán)利要求1所述的方法，其中顏色匹配范圍需要相同的顏色匹配。
11.如權(quán)利要求5所述的方法，其中預(yù)先確定的范圍需要相同的顏色匹配。
12.如權(quán)利要求1所述的方法，其中使用具有幾兆顏色的顏色空間來表示象素顏色。
13.如權(quán)利要求5所述的方法，其中在具有幾兆顏色的顏色空間中表示象素顏色。
14.如權(quán)利要求1所述的方法，其中如果象素沒有位于顏色匹配范圍之內(nèi)，應(yīng)用預(yù)先確定的程序以重新定位第二幀的象素。
15.如權(quán)利要求5所述的方法，其中如果象素沒有位于顏色匹配范圍之內(nèi)，應(yīng)用預(yù)先確定的程序以重新定位第二幀的象素。
16.如權(quán)利要求1所述的方法，進(jìn)一步包括接收包括代表顏色匹配范圍的信息的信號(hào)。
17.如權(quán)利要求5所述的方法，進(jìn)一步包括接收包括代表顏色匹配范圍的信息的信號(hào)。
18.一種用于暫時(shí)顯示的數(shù)字視頻圖像的序列的圖像穩(wěn)定化的方法，其中每一圖像包括許多象素并且每一象素具有相關(guān)聯(lián)的顯示位置，本方法包括接收包括代表和在數(shù)字視頻圖像序列中的第一圖像內(nèi)包括的象素相關(guān)聯(lián)的顏色的信息的信號(hào)；在第二圖像中識(shí)別具有在包括在第一圖像內(nèi)的顏色的閾值范圍內(nèi)的顏色值的象素，其中閾值可以是包括零的任意值；以及重新定位第二圖像，使得當(dāng)暫時(shí)顯示時(shí)，在第二圖像中的具有在閾值范圍內(nèi)的顏色值的象素位于和來自第一圖像的象素相同的位置。
19.如權(quán)利要求18所述的方法，進(jìn)一步包括接收包括代表顏色匹配范圍的信息的信號(hào)。
20.一種用于暫時(shí)顯示的數(shù)字視頻圖像的序列的圖像穩(wěn)定化的方法，其中每一圖像包括許多象素并且每一象素具有相關(guān)聯(lián)的顯示位置，本方法包括接收包括代表一顏色的信息的信號(hào)，該顏色和在數(shù)字視頻圖像序列中的第一圖像內(nèi)包括的一象素相關(guān)聯(lián)；接收代表在第三數(shù)字圖像中包括的顏色的信號(hào)；在第一數(shù)字視頻圖像中的顏色和第三數(shù)字視頻圖像中的顏色之間插值，以確定在第二數(shù)字視頻圖像中的可搜索的顏色；在第二數(shù)字視頻圖像中識(shí)別具有在可搜索的顏色的閾值范圍內(nèi)的顏色差異的象素，其中閾值可以是包括零的任意值；以及重新定位第二圖像，使得當(dāng)在顯示設(shè)備上顯示時(shí)，在第二圖像中的具有在閾值范圍內(nèi)的顏色差異的象素位于和來自第一圖像的象素相同的位置。
21.一種用于具有多個(gè)視頻圖像的視頻序列的圖像穩(wěn)定化的系統(tǒng)，該系統(tǒng)包括用戶接口；以及處理器；其中處理器包括用于從用戶接口接收信號(hào)的用戶接口模塊；其中信號(hào)包括表示在第一視頻幀中的象素選擇的信號(hào)；處理器還包括用于定位在第二幀中的具有相關(guān)顏色的象素的定位模塊，其中相關(guān)顏色在和從第一視頻幀選擇出的象素相關(guān)聯(lián)的顏色的顏色范圍之內(nèi)；重新定位模塊，用于重新尋址第二視頻幀，使得第二幀的定位的象素具有和從第一視頻幀中選出的象素相同的地址；并且存儲(chǔ)模塊，用于存儲(chǔ)重新尋址的第二視頻幀。
22.如權(quán)利要求21所述的系統(tǒng)，進(jìn)一步包括存儲(chǔ)器。
23.一種在其中具有計(jì)算機(jī)程序的計(jì)算機(jī)程序產(chǎn)品，包括用于具有多個(gè)象素的第一數(shù)字圖像和至少一個(gè)具有多個(gè)象素的第二圖像的圖像穩(wěn)定化的計(jì)算機(jī)代碼，其中每一象素具有用于顯示的相關(guān)地址并且代表顏色，該計(jì)算機(jī)代碼包括用于提供顏色匹配范圍的計(jì)算機(jī)代碼；用于在第一數(shù)字圖像中選擇象素的計(jì)算機(jī)代碼；用于識(shí)別和在第一數(shù)字圖像中所選的象素相關(guān)聯(lián)的顏色的計(jì)算機(jī)代碼；用于在第二圖像中定位一象素的計(jì)算機(jī)代碼，該象素在和來自第一數(shù)字圖像的象素相關(guān)聯(lián)的顏色的顏色匹配范圍之內(nèi)；用于重新定位第二圖像的計(jì)算機(jī)代碼，使得將在第二數(shù)字圖像中的象素的地址定位在第一數(shù)字圖像的所選象素的地址上；以及用于將重新定位的第二數(shù)字圖像存儲(chǔ)到存儲(chǔ)器的計(jì)算機(jī)代碼。
24.如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于允許用戶選擇用于定位在第二圖像中的象素的圖像區(qū)域的計(jì)算機(jī)代碼。
25.如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于允許用戶提供用于對準(zhǔn)第一數(shù)字圖像和重新定位的第二數(shù)字圖像的對準(zhǔn)點(diǎn)的計(jì)算機(jī)代碼，使得當(dāng)在顯示設(shè)備上顯示時(shí)，第一幀的象素和對準(zhǔn)點(diǎn)對準(zhǔn)并且將第二數(shù)字圖像的象素和對準(zhǔn)點(diǎn)對準(zhǔn)。
26.如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于在顯示設(shè)備上順序顯示第一和重新定位的第二數(shù)字圖像的計(jì)算機(jī)代碼。
27.一種和在其上具有計(jì)算機(jī)可讀代碼的計(jì)算機(jī)一起使用的計(jì)算機(jī)程序產(chǎn)品，用于圖像的數(shù)字序列的圖像穩(wěn)定化，其中每一圖像具有多個(gè)象素并且其中每一象素具有用于顯示的相關(guān)地址并且表示顏色，計(jì)算機(jī)可讀代碼包括用于允許用戶從創(chuàng)建子集序列的序列中選擇開始數(shù)字圖像和結(jié)束數(shù)字圖像的計(jì)算機(jī)代碼；用于允許用戶選擇在開始數(shù)字圖像中的象素和在結(jié)束數(shù)字圖像中的象素的計(jì)算機(jī)代碼；用于在開始數(shù)字圖像的象素的顏色和在結(jié)束數(shù)字圖像的象素的顏色之間進(jìn)行插值的計(jì)算機(jī)代碼，使得對在開始數(shù)字圖像和結(jié)束數(shù)字圖像之間的每一圖像確定插值的顏色；用于對于和圖像相關(guān)聯(lián)的每一插值的顏色，在那個(gè)圖像中搜索在預(yù)先確定的顏色范圍中具有插值的顏色的象素的計(jì)算機(jī)代碼；用于重新定位在開始數(shù)字圖像和結(jié)束數(shù)字圖像之間的每一圖像的計(jì)算機(jī)代碼，使得將圖像中具有插值的顏色的象素的地址定位到在開始圖像中選擇的象素的地址。
28.如權(quán)利要求27述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于至少在顯示器上顯示子集序列的計(jì)算機(jī)代碼。
29.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于允許用戶選擇要用于定位在第二圖像中的象素的圖像區(qū)域的計(jì)算機(jī)代碼。
30.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于允許用戶選擇用于對準(zhǔn)第一數(shù)字圖像和重新定位的第二數(shù)字圖像的對準(zhǔn)點(diǎn)的計(jì)算機(jī)代碼，使得當(dāng)在顯示設(shè)備上顯示時(shí)，第一幀的象素和對準(zhǔn)點(diǎn)對準(zhǔn)并且第二數(shù)字圖像中的象素和對準(zhǔn)點(diǎn)對準(zhǔn)。
31.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，其中子集序列包括在序列中的所有圖像。
32.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，其中顏色匹配范圍需要相同的顏色匹配。
33.如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，其中預(yù)先確定的范圍需要相同的顏色匹配。
34.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，其中使用具有幾兆顏色的顏色空間來表示象素顏色。
35.如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，其中在具有幾兆顏色的顏色空間中表示象素顏色。
36.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于如果象素沒有位于顏色匹配范圍之內(nèi)，則應(yīng)用預(yù)先確定的程序以重新定位第二幀的象素的計(jì)算機(jī)代碼。
37.如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于如果象素沒有位于顏色匹配范圍之內(nèi)，則應(yīng)用預(yù)先確定的程序以重新定位第二幀的象素的計(jì)算機(jī)代碼。
38.如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于接收包括代表顏色匹配范圍的信息的信號(hào)的計(jì)算機(jī)代碼。
39.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于接收包括代表顏色匹配范圍的信息的信號(hào)的計(jì)算機(jī)代碼。
40.一種和計(jì)算機(jī)一起使用的計(jì)算機(jī)程序產(chǎn)品，其中計(jì)算機(jī)程序產(chǎn)品在其上具有計(jì)算機(jī)可讀代碼，用于暫時(shí)顯示的數(shù)字視頻圖像序列的圖像穩(wěn)定化，其中每一圖像包括許多象素并且每一象素具有相關(guān)聯(lián)的顯示位置，計(jì)算機(jī)代碼包括用于接收包括代表一顏色的信息的信號(hào)的計(jì)算機(jī)代碼，該顏色和在數(shù)字視頻圖像序列中的第一圖像內(nèi)包括的一象素相關(guān)聯(lián)；用于在第二圖像中識(shí)別一象素的計(jì)算機(jī)代碼，該象素具有在包括在第一圖像內(nèi)的顏色的閾值范圍內(nèi)的顏色值，其中閾值可以是包括零的任意值；以及用于重新定位第二圖像的計(jì)算機(jī)代碼，使得當(dāng)暫時(shí)顯示時(shí)，在第二圖像中的具有在閾值范圍內(nèi)的顏色值的象素位于和來自第一圖像的象素相同的位置。
41.如權(quán)利要求40所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于接收包括代表顏色匹配范圍的信息的信號(hào)的計(jì)算機(jī)代碼。
42.一種和計(jì)算機(jī)一起使用的計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序產(chǎn)品在其上具有計(jì)算機(jī)可讀代碼，用于暫時(shí)顯示的數(shù)字視頻圖像序列的圖像穩(wěn)定化，其中每一圖像包括許多象素并且每一象素具有相關(guān)聯(lián)的顯示位置，計(jì)算機(jī)代碼包括用于接收包括代表一顏色的信息的信號(hào)的計(jì)算機(jī)代碼，該顏色和在數(shù)字視頻圖像序列中的第一圖像內(nèi)包括的一象素相關(guān)聯(lián)；用于接收代表在第三數(shù)字圖像中包括的顏色的信號(hào)的計(jì)算機(jī)代碼；用于在第一數(shù)字視頻圖像中的顏色和第三數(shù)字視頻圖像中的顏色之間插值，以確定在第二數(shù)字視頻圖像中的可搜索的顏色的計(jì)算機(jī)代碼；用于在第二數(shù)字視頻圖像中識(shí)別具有在可搜索的顏色的閾值范圍內(nèi)的顏色差異的象素的計(jì)算機(jī)代碼，其中閾值可以是包括零的任意值；以及用于重新定位第二圖像的計(jì)算機(jī)代碼，使得當(dāng)在顯示設(shè)備上顯示時(shí)，在第二圖像中的具有在閾值范圍內(nèi)的顏色值的象素位于和來自第一圖像的象素相同的位置。
全文摘要
公開了一種用于至少兩個(gè)數(shù)字圖像的圖像穩(wěn)定化的方法。在這樣的一個(gè)實(shí)施例中，提供了具有多個(gè)象素的第一數(shù)字圖像，還至少提供了具有多個(gè)象素的第二圖像。每一象素具有用于顯示的相關(guān)地址并代表一顏色。或者系統(tǒng)用戶提供顏色匹配范圍，或者系統(tǒng)提供預(yù)先確定的顏色匹配范圍。在第一數(shù)字圖像內(nèi)選擇一象素。優(yōu)選地，該象素是表示在圖像內(nèi)因?yàn)槲锛囊苿?dòng)而變得模糊或因?yàn)閿z像機(jī)的移動(dòng)而產(chǎn)生抖動(dòng)的物件的象素。因?yàn)榭捎孟笏氐臄?shù)目龐大，所以在第一圖像中選擇的一象素可以在一范圍內(nèi)與第二圖像中的一象素匹配。該范圍允許因?yàn)檎彰髯兓难a(bǔ)償。一旦選擇了在第一圖像中的象素，可以將它和在第二圖像內(nèi)的所有象素比較。保存在第二圖像中的在顏色匹配范圍內(nèi)的每一象素并且選擇和來自第一圖像的象素顏色最接近的象素。之后重新尋址在第二圖像中的象素的地址，使得和在第一圖像中的象素的顏色最接近的位于第二圖像中的象素的地址具有和在第一圖像中的象素的地址相同的顯示地址。之后將重新定位的第二數(shù)字圖像存儲(chǔ)到存儲(chǔ)器。
文檔編號(hào)G06K9/36GK1554184SQ02817548
公開日2004年12月8日 申請日期2002年9月6日 優(yōu)先權(quán)日2001年9月7日
發(fā)明者蘇珊·希思·卡爾文·弗萊徹, 蘇珊 希思 卡爾文 弗萊徹, 吉恩·阿瑟·格林德斯塔夫, 阿瑟 格林德斯塔夫, 沃德 麥凱三世, 瑟曼·沃德·麥凱三世 申請人:英特圖形硬件技術(shù)公司