專利名稱：創(chuàng)建輸出圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于一連串時(shí)間上連貫的輸入圖像創(chuàng)建輸出圖像的方法。
本發(fā)明此外還涉及一種由計(jì)算機(jī)裝置加載的計(jì)算機(jī)程序產(chǎn)品，包括基于一連串時(shí)間上連貫的輸入圖像創(chuàng)建輸出圖像的指令。
本發(fā)明此外還涉及一種設(shè)置成用于基于一連串時(shí)間上連貫的輸入圖像創(chuàng)建輸出圖像的圖像處理設(shè)備。
放映一連串時(shí)間上連貫的輸入圖像的優(yōu)點(diǎn)在于，能夠使動(dòng)態(tài)事件形象化，例如，能夠展現(xiàn)出物體相對(duì)于它的背景的運(yùn)動(dòng)。例如象足球這樣的體育比賽能夠得以展現(xiàn)出來，其中球的實(shí)際運(yùn)動(dòng)是實(shí)質(zhì)性的。在廣播期間重放與足球比賽相對(duì)應(yīng)的一連串圖像中的一部分是常見的特效。在典型情況下，這些部分對(duì)應(yīng)于比賽最扣人心弦的瞬間。不過，在需要在例如報(bào)紙或某種其它種類的印刷媒體上圖示這樣的扣人心弦的瞬間的時(shí)候，該事件的吸引力會(huì)大打折扣。這是因?yàn)閳?bào)紙上的圖畫不會(huì)表現(xiàn)出事件的動(dòng)態(tài)。
本發(fā)明的目的是提供一種開篇段落中介紹的那種用于在輸出圖像中匯總動(dòng)態(tài)事件的方法。
本發(fā)明的這一目的得以實(shí)現(xiàn)是由于該方法包括-識(shí)別第一個(gè)輸入圖像中的特定物體的特定部分；-從第一個(gè)輸入圖像中取出第一組像素，該第一組像素對(duì)應(yīng)于所述特定物體的特定部分；-確定所述特定物體的特定部分在第二個(gè)輸入圖像中的位置；-從第二個(gè)輸入圖像中取出第二組像素，該第二組像素對(duì)應(yīng)于所述特定物體的特定部分；和-將第二組像素附加到第一組像素上，以形成輸出圖像。
一種顯而易見的描述動(dòng)態(tài)事件的現(xiàn)有途徑是創(chuàng)建示意圖，例如，人工加工的圖形表示。按照本發(fā)明的方法的不同之處在于，利用一連串時(shí)間上連貫的輸入圖像(即，空間-時(shí)間數(shù)據(jù))來產(chǎn)生包括處于不同時(shí)間點(diǎn)上的輸入圖像的物體的靜態(tài)(即，空間)圖像。
從動(dòng)態(tài)(x，y，t)輸入圖像中選取多個(gè)部分，并且將它們組合起來，以形成單獨(dú)一個(gè)靜態(tài)(x，y)輸出圖像。這是以這樣的方式完成的靜態(tài)輸出圖像描繪動(dòng)態(tài)事件，例如物體的運(yùn)動(dòng)。一種特有特征在于，輸出圖像包括在不同時(shí)間點(diǎn)采集的特定物體的特定部分的圖像數(shù)據(jù)。換句話說，所述特定物體的特定部分在輸出圖像中出現(xiàn)多次。這是因?yàn)閷⒌诙M像素附加到了第一組像素上，典型地是使第一組像素緊挨著第二組像素。
與通過將不同的小圖像拼合在一起創(chuàng)建一個(gè)大的全景圖的現(xiàn)有技術(shù)存在著明顯的區(qū)別。在這種情況下，是使用多組空間圖像數(shù)據(jù)來創(chuàng)建較大的輸出圖像。在按照現(xiàn)有技術(shù)的方法中，將連貫圖像的多個(gè)部分有差別地組合起來。在典型情況下，要對(duì)空間上重疊的圖像區(qū)域的相應(yīng)像素加以合并。結(jié)果造成各個(gè)物體僅在輸出圖像中出現(xiàn)一次。
在按照本發(fā)明的方法中，明確地利用呈現(xiàn)不同時(shí)間點(diǎn)上的單獨(dú)一個(gè)物體的數(shù)據(jù)。
在按照本發(fā)明的方法中，所述附加包括第一組像素和第二組像素各自像素值的加權(quán)求和。加權(quán)求和的優(yōu)點(diǎn)是，使亮度和/或顏色從第一組像素到第二組像素的過渡變得平滑。按照另外一種可選方案，將第二組像素正好放在與第一組像素相鄰的位置上。在典型情況下，使用的是放置像素組和對(duì)過渡使用加權(quán)求和這二者的組合。這樣，選擇兩個(gè)圖像的一部分并且通過某種形式的內(nèi)插將它們組合起來，要么通過加權(quán)求平均，要么簡(jiǎn)單地將這些部分放在彼此相鄰的位置上。
在按照本發(fā)明的方法的實(shí)施方式中，第一組像素相當(dāng)于第一個(gè)輸入圖像的多個(gè)像素列的像素。在按照本發(fā)明的方法的這種實(shí)施方式中，第一組像素以及相繼的像素組在與輸入圖像相應(yīng)的整個(gè)像素矩陣高度上延伸。這意味著選擇和使用了位于包括呈現(xiàn)特定物體的特定部分的像素的列上的所有像素作為構(gòu)成輸出圖像的切片的種類。換句話說，輸入圖像包括從連貫輸入圖像中取出的一組切片。各個(gè)切片展現(xiàn)各個(gè)輸入圖像中的特定物體的特定部分。在典型情況下，這些切片還呈現(xiàn)特定物體正在其前運(yùn)動(dòng)的背景。按照本發(fā)明的這種實(shí)施方式對(duì)于創(chuàng)建描繪物體的水平運(yùn)動(dòng)的輸出圖像是很有優(yōu)勢(shì)的。
在按照本發(fā)明的方法的實(shí)施方式中，第一組像素相當(dāng)于第一個(gè)輸入圖像的多個(gè)像素行的像素。在按照本發(fā)明的方法的這種實(shí)施方式中，第一組像素以及相繼的像素組在與輸入圖像相應(yīng)的整個(gè)像素矩陣寬度上延伸。這意味著選擇和使用了位于包括呈現(xiàn)特定物體的特定部分的像素的行上的所有像素作為構(gòu)成輸出圖像的切片的種類。換句話說，輸入圖像包括從連貫輸入圖像中取出的一組切片。各個(gè)切片展現(xiàn)各個(gè)輸入圖像中的特定物體的特定部分。在典型情況下，這些切片還呈現(xiàn)特定物體正在其前運(yùn)動(dòng)的背景。按照本發(fā)明的這種實(shí)施方式對(duì)于創(chuàng)建描繪物體的垂直運(yùn)動(dòng)的輸出圖像是很有優(yōu)勢(shì)的。
在按照本發(fā)明的方法的實(shí)施方式中，其中第一組像素相當(dāng)于第一個(gè)輸入圖像的多個(gè)像素列的像素，像素列的數(shù)量基于對(duì)所述特定物體進(jìn)行的跟蹤。對(duì)所述特定物體的運(yùn)動(dòng)加以估測(cè)。所估測(cè)的運(yùn)動(dòng)決定第一組像素的尺寸。例如如果所估測(cè)的特定物體的特定部分的運(yùn)動(dòng)等于20個(gè)像素，則像素列的數(shù)量也是20。
在按照本發(fā)明的方法的實(shí)施方式中，其中第一組像素相當(dāng)于第一個(gè)輸入圖像的多個(gè)像素行的像素，像素行的數(shù)量基于對(duì)所述特定物體進(jìn)行的跟蹤。對(duì)所述特定物體的運(yùn)動(dòng)加以估測(cè)。所估測(cè)的運(yùn)動(dòng)決定第一組像素的尺寸。例如如果所估測(cè)的特定物體的特定部分的運(yùn)動(dòng)等于20個(gè)像素，則像素行的數(shù)量也是20。
在按照本發(fā)明的實(shí)施方式中，所述跟蹤基于對(duì)多個(gè)運(yùn)動(dòng)向量備選對(duì)象進(jìn)行的評(píng)估，所述評(píng)估包括確立最小匹配誤差。這種技術(shù)一般稱為運(yùn)動(dòng)估測(cè)。最好，匹配誤差相當(dāng)于與第一個(gè)輸入圖像和/或第二個(gè)輸入圖像中的所述特定物體相對(duì)應(yīng)的相應(yīng)像素值之間的差。
運(yùn)動(dòng)是相對(duì)量。可以相對(duì)于連貫輸入圖像的像素矩陣表達(dá)運(yùn)動(dòng)。如果連貫的輸入圖像是借助靜止固定的攝像機(jī)獲取的，那么這種途徑比較合適。這意味著可以直接使用特定物體的特定部分在第一個(gè)輸入圖像中的坐標(biāo)和所述特定物體的特定部分在第二個(gè)輸入圖像中的坐標(biāo)來計(jì)算該物體的運(yùn)動(dòng)。不過，在很多情況下在拍攝運(yùn)動(dòng)物體期間攝像機(jī)是在進(jìn)行搖攝和/或變焦的。如果所述一連串時(shí)間上連貫的輸入圖像基于這樣的拍攝，則最好針對(duì)這一攝像機(jī)的運(yùn)動(dòng)進(jìn)行修正。在按照本發(fā)明的優(yōu)選實(shí)施方式中，像素列的數(shù)量基于對(duì)第一個(gè)輸入圖像和/或第二個(gè)輸入圖像中背景的運(yùn)動(dòng)進(jìn)行的跟蹤。按照另外一種可選方案，像素行的數(shù)量基于對(duì)第一個(gè)輸入圖像和/或第二個(gè)輸入圖像中背景的運(yùn)動(dòng)進(jìn)行的跟蹤。一般來說，補(bǔ)償是依據(jù)背景運(yùn)動(dòng)模型實(shí)現(xiàn)的。這可以是所謂的搖攝一變焦模型，這種模型將背景模型模擬為平移和縮放的組合，但是也可以更加復(fù)雜并且也可以涵蓋其它方面，比如透視投影和旋轉(zhuǎn)。
正如所述的，所取出的列/行的數(shù)量基于運(yùn)動(dòng)。這一運(yùn)動(dòng)是相對(duì)于物體正在其前運(yùn)動(dòng)的背景的運(yùn)動(dòng)。在靜止定位攝像機(jī)的情況下，這一運(yùn)動(dòng)相當(dāng)于相對(duì)于各個(gè)不同像素矩陣的運(yùn)動(dòng)。
作為借助基于運(yùn)動(dòng)向量的評(píng)估的運(yùn)動(dòng)估測(cè)對(duì)特定物體進(jìn)行跟蹤的另一種可選方案，也可以半人工地對(duì)特定物體進(jìn)行跟蹤。在這種情況下像素列的數(shù)量是通過下列過程確定的-在識(shí)別第一個(gè)輸入圖像中的所述特定物體的特定部分的基礎(chǔ)上確定第一像素坐標(biāo)；-在識(shí)別第三個(gè)輸入圖像中所述特定物體的特定部分的基礎(chǔ)上確定第二像素坐標(biāo)；-確定在時(shí)間上位于第一個(gè)輸入圖像與第三個(gè)輸入圖像之間的連貫輸入圖像的數(shù)量；和-根據(jù)第一像素坐標(biāo)、第二像素坐標(biāo)和連貫輸入圖像的數(shù)量確定列的數(shù)量。
在按照本發(fā)明的這種實(shí)施方式中，用戶必須在多個(gè)圖像中指出特定物體的特定部分位于哪里。這可以借助相對(duì)于所顯示的輸入圖像移動(dòng)光標(biāo)來完成。
本發(fā)明的另一個(gè)目的是提供一種開篇段落中介紹的那種用于在輸出圖像中匯總動(dòng)態(tài)事件的計(jì)算機(jī)程序產(chǎn)品。
本發(fā)明的這一目的得以實(shí)現(xiàn)是由于該計(jì)算機(jī)程序產(chǎn)品在記載到包括處理裝置和存儲(chǔ)器的計(jì)算機(jī)裝置中之后會(huì)為所述處理裝置提供執(zhí)行下列過程的能力-接受第一個(gè)輸入圖像中特定物體的特定部分的位置；-從第一個(gè)輸入圖像中取出第一組像素，該第一組像素對(duì)應(yīng)于所述特定物體的特定部分；-確定所述特定物體的特定部分在第二個(gè)輸入圖像中的位置；-從第二個(gè)輸入圖像中取出第二組像素，該第二組像素對(duì)應(yīng)于所述特定物體的特定部分；和-將第二組像素附加到第一組像素上，以形成輸出圖像。
本發(fā)明的另一個(gè)目的是提供一種開篇段落中介紹的那種用于在輸出圖像中匯總動(dòng)態(tài)事件的圖像處理設(shè)備。
本發(fā)明的這一目的得以實(shí)現(xiàn)是由于該圖像處理設(shè)備包括具有執(zhí)行下列過程的能力的處理裝置-接受第一個(gè)輸入圖像中特定物體的特定部分的位置；-從第一個(gè)輸入圖像中取出第一組像素，該第一組像素對(duì)應(yīng)于所述特定物體的特定部分；-確定所述特定物體的特定部分在第二個(gè)輸入圖像中的位置；-從第二個(gè)輸入圖像中取出第二組像素，該第二組像素對(duì)應(yīng)于所述特定物體的特定部分；和-將第二組像素附加到第一組像素上，以形成輸出圖像。
方法的修改和它的變化可以對(duì)應(yīng)于正在介紹的圖像處理設(shè)備和計(jì)算機(jī)程序產(chǎn)品的修改和變化。
從下文參照附圖介紹的實(shí)現(xiàn)方式和實(shí)施方式中，按照本發(fā)明的圖像處理設(shè)備、方法和計(jì)算機(jī)程序產(chǎn)品的這些和其它方面將會(huì)變得顯而易見，并且將會(huì)針對(duì)下文中參照附圖介紹的實(shí)現(xiàn)方式和實(shí)施方式闡明按照本發(fā)明的圖像處理設(shè)備、方法和計(jì)算機(jī)程序產(chǎn)品的這些和其它方面，其中附

圖1示意性地表示按照本發(fā)明的方法，其中攝像機(jī)在獲取輸入圖像期間是靜止的；附圖2A示意性地表示按照本發(fā)明的方法，其中攝像機(jī)在獲取輸入圖像期間正在進(jìn)行搖攝；附圖2B示意性地表示按照本發(fā)明的多個(gè)輸出圖像；附圖3示意性地表示多個(gè)足球比賽的輸入圖像和基于這些輸入圖像按照本發(fā)明創(chuàng)建的輸出圖像；附圖4示意性地表示按照本發(fā)明的圖像處理設(shè)備的第一實(shí)施方式；和附圖5示意性地表示按照本發(fā)明的圖像處理設(shè)備的第二實(shí)施方式。
在全部附圖中，使用相同的附圖標(biāo)記來指代相似的部分。
附圖1示意性地表示按照本發(fā)明的方法，其中攝像機(jī)在獲取輸入圖像102、104和106期間是固定不動(dòng)的。輸入圖像102、104和106呈現(xiàn)出在均質(zhì)背景前運(yùn)動(dòng)的物體，即，球100。攝像機(jī)在獲取輸入圖像102、104和106期間是不動(dòng)的?？梢郧宄乜闯?，球100正在相對(duì)于與輸入圖像102、104和106對(duì)應(yīng)的像素矩陣從左向右移動(dòng)?；谳斎雸D像102、104和106的輸出圖像108包括多個(gè)對(duì)應(yīng)輸入圖像102、104和106的切片110、112和114。用切片的意思是與輸入圖像的數(shù)列(或行)相應(yīng)的一組像素。附圖1中的箭頭描述的是從輸入圖像102、104和106中取出的切片與組成形成輸出圖像108的切片之間的關(guān)系。這些切片的大小取決于球100相對(duì)于像素矩陣的運(yùn)動(dòng)。輸出圖像108還包括第一輸入圖像102的開頭部分116和最后一個(gè)輸入圖像106的末尾部分118。開頭部分116和末尾部分118的大小與球100的運(yùn)動(dòng)無關(guān)。
附圖2A示意性地表示按照本發(fā)明的方法，其中攝像機(jī)在獲取輸入圖像期間在進(jìn)行搖攝全景。輸入圖像102、104和106呈現(xiàn)出在房子前進(jìn)行運(yùn)動(dòng)的物體，即，球100。攝像機(jī)在獲取輸入圖像102、104和106期間在搖攝全景。攝像機(jī)和球的運(yùn)動(dòng)方向是相同的。攝像機(jī)的運(yùn)動(dòng)速度高于球100的速度?；谳斎雸D像102、104和106的輸出圖像208包括多個(gè)相應(yīng)輸入圖像102、104和106的切片110、112和114。附圖2A中的箭頭描述的是從輸入圖像102、104和106中取出的切片與組成形成輸出圖像208的切片之間的關(guān)系。這些切片的大小取決于球100相對(duì)于背景的運(yùn)動(dòng)。輸出圖像208還包括第一輸入圖像102的開頭部分116和最后一個(gè)輸入圖像106的末尾部分118。開頭部分116和末尾部分118的大小與球100的運(yùn)動(dòng)無關(guān)。通過將輸出圖像208與輸入圖像102、104和106進(jìn)行比較，可以清楚地發(fā)現(xiàn)，輸出圖像比較大。輸出圖像208展現(xiàn)出完整的房子，而不同的輸入圖像展現(xiàn)了房子的一部分。這意味著按照本發(fā)明的方法是這樣的還要將空間上相關(guān)的圖像數(shù)據(jù)組合起來，導(dǎo)致輸出圖像相對(duì)較大。
將會(huì)明顯看出，每次將新的輸入圖像切片附加到此前構(gòu)成的輸出圖像中時(shí)，就會(huì)創(chuàng)建新的輸出圖像。換句話說，附加了切片的第一輸出圖像變成了第二輸出圖像。展示正在構(gòu)造中的這樣一系列輸出圖像會(huì)給用戶一種與事件已經(jīng)發(fā)生部分的歷史組合在一起的實(shí)況動(dòng)態(tài)事件的印象。給用戶展示的是一系列大小不同的輸出圖像，即，后續(xù)的輸出圖像比它的前身大。
按照另外一種可選方案，首先根據(jù)一連串輸入圖像構(gòu)成一個(gè)相對(duì)較大的全貌圖像，其中該全貌圖像呈現(xiàn)出正在由輸入圖像采集的整個(gè)場(chǎng)景。不過與上面介紹的不完全相同。這最好是通過使用不包括呈現(xiàn)運(yùn)動(dòng)物體的像素的像素條帶來完成的。在典型情況下，這些條帶位于輸入圖像的邊緣。這些條帶的大小與所跟蹤的特定物體的運(yùn)動(dòng)無關(guān)，而是與背景相對(duì)于攝像機(jī)的運(yùn)動(dòng)有關(guān)。在創(chuàng)建了這樣的大全貌圖像之后，應(yīng)用按照本發(fā)明的方法。將該方法的中間結(jié)果(即，后續(xù)輸出圖像)與全貌圖像組合起來?；旧?，這意味著為后續(xù)輸出圖像附加上全貌圖像的各個(gè)部分(即，剩余部分)。附圖2B示意性地表示正在按照這種途徑構(gòu)成的多個(gè)輸出圖像202、204和208。第一個(gè)輸出圖像202表示所述全貌圖像，在該圖像中，僅可見到球100一次。在第二個(gè)輸出圖像204中，可見到球100兩次，而在第三個(gè)輸出圖像208中，可見到球100三次。
附圖3示意性地示出了足球比賽的多個(gè)輸入圖像102、104和106以及基于這些輸入圖像102、104和106按照本發(fā)明創(chuàng)建的輸出圖像308。應(yīng)當(dāng)注意，所示出的輸入圖像102、104和106僅僅是一長串連貫輸入圖像的一部分。輸入圖像102、104和106呈現(xiàn)的是足球比賽。在第一個(gè)輸入圖像102中，可以看到，球員踢中了球100?？磮A圈。在第二個(gè)輸入圖像104中，可以看到，球100在空中飛行。再看圓圈。在第三個(gè)輸入圖像106中，可以看到，球100到達(dá)了球門。附圖3還示出了基于所示的輸入圖像102、104和106并且基于將近40個(gè)未示出的輸入圖像的輸出圖像308。在輸出圖像308中可以清楚地看到球的實(shí)際軌跡。
附圖4示意性地表示按照本發(fā)明的圖像處理設(shè)備100的第一實(shí)施方式。在圖像處理設(shè)備400的圖像輸入接頭410處為該圖像處理設(shè)備400提供一連串的輸入圖像，并且將該圖像處理設(shè)備400設(shè)置成用于在其圖像輸出接頭414處給出一連串的中間輸出圖像和最終的輸出圖像。最好，為按照本發(fā)明的圖像處理設(shè)備提供定位信息，該定位信息是借助用戶互動(dòng)來提供的，例如，由指出了多個(gè)輸入圖像中的關(guān)注對(duì)象的用戶提供。該圖像處理設(shè)備100包括具有實(shí)現(xiàn)下列功能的能力的處理裝置-借助定位信息輸入接口412接收第一個(gè)輸入圖像中特定物體的特定部分的位置；-借助像素處理器404從暫時(shí)存儲(chǔ)在輸入存儲(chǔ)器裝置402內(nèi)的第一個(gè)輸入圖像中取出第一組像素，其中第一組像素對(duì)應(yīng)于特定物體的特定部分；-借助定位單元408確定特定物體的特定部分在第二個(gè)輸入圖像中的位置；-借助像素處理器404從在第一個(gè)輸入圖像之后暫時(shí)存儲(chǔ)在輸入存儲(chǔ)器裝置402內(nèi)的第二個(gè)輸入圖像中取出第二組像素，其中第二組像素也對(duì)應(yīng)于特定物體的特定部分；和-將第二組像素附加在第一組像素上，以形成輸出圖像。像素處理器404設(shè)置成用于制作所訪問的第二組像素值的拷貝并且將該拷貝寫到輸出存儲(chǔ)器裝置406中適當(dāng)位置上的像素值上。
附圖5示意性地表示按照本發(fā)明的圖像處理設(shè)備500的第二實(shí)施方式。這一實(shí)施方式500基本上與結(jié)合附圖4介紹的實(shí)施方式400相同。差別在于，這種實(shí)施方式500設(shè)置成用于補(bǔ)償攝像機(jī)運(yùn)動(dòng)。圖像處理設(shè)備的這種實(shí)施方式設(shè)置成用于進(jìn)行背景的運(yùn)動(dòng)估測(cè)，以致能夠補(bǔ)償攝像機(jī)運(yùn)動(dòng)的影響。這種實(shí)施方式500包括用于臨時(shí)存儲(chǔ)第二輸入圖像的附加存儲(chǔ)器裝置。為定位單元408提供關(guān)注目標(biāo)(即，所要跟蹤的特定物體)在一連串輸入圖像內(nèi)的位置信息。除此之外，定位單元408還設(shè)置成用于計(jì)算目標(biāo)物體正在其前移動(dòng)的背景的全局運(yùn)動(dòng)向量。該全局運(yùn)動(dòng)向量是通過將多個(gè)基于一對(duì)輸入圖像計(jì)算的運(yùn)動(dòng)向量合成起來而計(jì)算出來的。這些運(yùn)動(dòng)向量是借助標(biāo)準(zhǔn)運(yùn)動(dòng)估測(cè)器計(jì)算出來的，該標(biāo)準(zhǔn)運(yùn)動(dòng)估測(cè)器最好組合在定位單元408中。該運(yùn)動(dòng)估測(cè)器是例如象《IEEE Transaction on circuits and systems for videotechnology》1993年10月第5期第3卷第368-379頁中的G.de Haan等人所著的文章《True-Motion Estimation with 3-D RecursiveSearch Block Matching》中所詳細(xì)說明的那種運(yùn)動(dòng)估測(cè)器。
按照另外一種可選方案，整個(gè)圖像的運(yùn)動(dòng)向量是基于平均圖像行(x分量)和平均圖像列(y分量)計(jì)算出來的，就象《ElectronicLetter》第25卷第29-30頁中J.S.Kim和RH.Park所著的文章《feature-based block matching algorithm integralprojections》中所公開的那樣。
像素處理器404和定位單元408可以使用一個(gè)處理器來實(shí)現(xiàn)。通常，這些功能是在軟件程序產(chǎn)品的控制下執(zhí)行的。在執(zhí)行期間，通常要將該軟件程序產(chǎn)品加載到存儲(chǔ)器(象RAM之類)中，并且從那里執(zhí)行。該程序可以從后臺(tái)存儲(chǔ)器(象ROM、硬盤或磁性和/或光學(xué)存儲(chǔ)裝置之類)中加載，或者可以經(jīng)網(wǎng)絡(luò)(象因特網(wǎng)之類)加載。根據(jù)需要，可以由專用集成電路提供所公開的功能。
將會(huì)使用涉及到呈現(xiàn)出足球比賽中的任意球的一連串輸入圖像的例子來解釋說明附圖5中畫出的圖像處理設(shè)備的實(shí)施方式的操作過程。附圖3中示出了幾個(gè)輸入圖像，即，視頻幀。攝像機(jī)正在從踢球的位置到球門以不恒定的速度進(jìn)行全景搖攝。要在輸出圖像中采集的動(dòng)態(tài)事件是球飛入球門中，因此必須要在一連串輸入圖像中跟蹤足球。
通過在x方向(就是沿著輸入圖像中從左到右的軸)上使用恒定速度來近似球的運(yùn)動(dòng)。這是球在發(fā)球與后面第一次與諸如球網(wǎng)之類的物體接觸之間的運(yùn)動(dòng)的合理假設(shè)。在這個(gè)例子中，將y方向(輸入圖像中從上到下的軸)上的運(yùn)動(dòng)忽略不計(jì)。對(duì)于足球的x位置，可以得出x屏幕(n)+x攝像機(jī)(n)＝x屏幕(n0)+x攝像機(jī)(n0)+v·(n-n0) (1)其中n0是參考輸入圖像號(hào)，式中將球在屏幕(即，像素矩陣)上的x位置(x屏幕)和攝像機(jī)的相對(duì)位置(x攝像機(jī))看作是已知的。球的實(shí)際位置是由屏幕位置和攝像機(jī)位置的和給出的。
例如，如果球在“真實(shí)”世界中向右移動(dòng)，則有可能是攝像機(jī)比球的運(yùn)動(dòng)更快地向右搖動(dòng)，在這種情況下，看到的是球正在屏幕上向左運(yùn)動(dòng)。為了補(bǔ)償這種影響，將攝像機(jī)位置包含在等式(1)中。
如果已知輸入圖像n1上的第二屏幕位置，則可以使用下式計(jì)算出真實(shí)速度v
在這種實(shí)施方式中，需要用戶為輸入圖像ni提供兩個(gè)或更多空間-時(shí)間位置x屏幕(ni)，以便能夠確定速度v，還要提供事件的開始和結(jié)束點(diǎn)。
使用全局運(yùn)動(dòng)估測(cè)算法，從視頻序列中自動(dòng)計(jì)算出各個(gè)輸入圖像n的相對(duì)攝像機(jī)位置x攝像機(jī)(n)。然后針對(duì)事件計(jì)算v，并且對(duì)于各個(gè)輸入圖像，將用屏幕坐標(biāo)表示的水平關(guān)注區(qū)域(即，包括多個(gè)輸入圖像列的切片)集中在x屏幕(n)周圍，x屏幕(n)可以用等式(1)計(jì)算出來。
x屏幕(n)＝x屏幕(n0)+x攝像機(jī)(n0)-x攝像機(jī)(n)+v·(n-n0) (3)將這些關(guān)注區(qū)域(即，切片)拷貝到輸出圖像的適當(dāng)部分上。
這里提出的實(shí)施方式在某些方面受到局限，這可以用更加先進(jìn)的處理技術(shù)加以克服。最值得注意的是，提供開始和結(jié)束輸入圖像以及“關(guān)注物體”的開始和結(jié)束位置依賴于用戶的互動(dòng)?？梢允褂?基于對(duì)象的)運(yùn)動(dòng)估測(cè)和利用針對(duì)事件的開始和結(jié)束幀的智能自動(dòng)選擇來使這一過程更加通用化(“跟隨球”)。
按照本發(fā)明的方法、計(jì)算機(jī)程序和圖像處理設(shè)備可能對(duì)多種應(yīng)用有益，例如-專業(yè)圖像處理，象電影制片廠、播音室中的那樣的專業(yè)圖像處理，或者用于制作報(bào)紙和其它類型的印刷媒體的專業(yè)圖像處理；-消費(fèi)者電子裝置，象TV、機(jī)頂盒和個(gè)人視頻記錄裝置之類；-教育用途；和-消費(fèi)者視頻處理軟件，例如用于制造家庭錄像的軟件。
應(yīng)當(dāng)注意，上面提到的實(shí)施方式僅僅是用來進(jìn)行解釋說明的，而不是用來限定本發(fā)明的，并且本領(lǐng)域的技術(shù)人員能夠設(shè)計(jì)出其它可供選用的實(shí)施方式，而不會(huì)超出所附權(quán)利要求的范圍。在權(quán)利要求中，置于括號(hào)中的任何附圖標(biāo)記皆不應(yīng)理解為是對(duì)權(quán)利要求的限定。詞“包括”并不排除存在權(quán)利要求中未列出的元件或步驟的情況。置于元件之前的詞“一個(gè)”或“一”并不排除存在多個(gè)此種元件的情況。本發(fā)明可以借助包括多個(gè)性質(zhì)不同的元件的硬件來實(shí)現(xiàn)，并且可以借助適當(dāng)程控的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉出多個(gè)裝置的產(chǎn)品權(quán)利要求中，這些裝置中的若干個(gè)可以通過硬件的同一個(gè)部分來實(shí)現(xiàn)。詞“第一”、“第二”和“第三”等的使用并不表明有任何先后順序。應(yīng)將這些詞理解為名稱。
權(quán)利要求
1.一種基于一連串時(shí)間上連貫的輸入圖像創(chuàng)建輸出圖像(108)的方法，該方法包括-識(shí)別第一個(gè)輸入圖像(102)中的特定物體(100)的特定部分；-從第一個(gè)輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；-確定所述特定物體(100)的特定部分在第二個(gè)輸入圖像(104)中的位置；-從第二個(gè)輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；和-將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
2.按照權(quán)利要求1所述的方法，其中所述附加包括第一組像素(110)和第二組像素(110)各自像素值的加權(quán)求和。
3.按照權(quán)利要求1所述的方法，其中第一組像素(110)相當(dāng)于第一個(gè)輸入圖像(102)的多個(gè)像素列的像素。
4.按照權(quán)利要求1所述的方法，其中第一組像素(110)相當(dāng)于第一個(gè)輸入圖像(102)的多個(gè)像素行的像素。
5.按照權(quán)利要求3所述的方法，其中像素列的數(shù)量基于對(duì)所述特定物體(100)進(jìn)行的跟蹤。
6.按照權(quán)利要求4所述的方法，其中像素行的數(shù)量基于對(duì)所述特定物體(100)進(jìn)行的跟蹤。
7.按照權(quán)利要求5或6的方法，其中跟蹤基于對(duì)多個(gè)運(yùn)動(dòng)向量備選對(duì)象進(jìn)行的評(píng)估，所述評(píng)估包括確立最小匹配誤差。
8.按照權(quán)利要求7所述的方法，其中匹配誤差相當(dāng)于與第一個(gè)輸入圖像(102)和/或第二個(gè)輸入圖像(104)中的所述特定物體(100)相對(duì)應(yīng)的相應(yīng)像素值之間的差。
9.按照權(quán)利要求5所述的方法，其中像素列的數(shù)量基于對(duì)第一個(gè)輸入圖像(102)和/或第二個(gè)輸入圖像(104)中背景的運(yùn)動(dòng)進(jìn)行的跟蹤。
10.按照權(quán)利要求6所述的方法，其中像素行的數(shù)量基于對(duì)第一個(gè)輸入圖像(102)和/或第二個(gè)輸入圖像(104)中背景的運(yùn)動(dòng)進(jìn)行的跟蹤。
11.按照權(quán)利要求5所述的方法，其中像素列的數(shù)量是這樣確定的-在識(shí)別第一個(gè)輸入圖像(102)中的所述特定物體(100)的特定部分的基礎(chǔ)上確定第一像素坐標(biāo)；-在識(shí)別第三個(gè)輸入圖像中所述特定物體(100)的特定部分的基礎(chǔ)上確定第二像素坐標(biāo)；-確定在時(shí)間上位于第一個(gè)輸入圖像(102)與第三個(gè)輸入圖像之間的連貫輸入圖像的數(shù)量；和-根據(jù)第一像素坐標(biāo)、第二像素坐標(biāo)和連貫輸入圖像的數(shù)量確定列的數(shù)量。
12.一種由計(jì)算機(jī)裝置加載的計(jì)算機(jī)程序產(chǎn)品，包括根據(jù)一連串時(shí)間上連貫的輸入圖像創(chuàng)建輸出圖像(108)的指令，所述計(jì)算機(jī)裝置包括處理裝置和存儲(chǔ)器，所述計(jì)算機(jī)程序產(chǎn)品在被加載后為所述處理裝置提供執(zhí)行下列過程的能力-接受第一個(gè)輸入圖像(102)中特定物體(100)的特定部分的位置；-從第一個(gè)輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；-確定所述特定物體(100)的特定部分在第二個(gè)輸入圖像(104)中的位置；-從第二個(gè)輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；和-將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
13.一種圖像處理設(shè)備，設(shè)置為用于根據(jù)一連串時(shí)間上連貫的輸入圖像創(chuàng)建輸出圖像(108)，該圖像處理設(shè)備包括具有執(zhí)行下列過程的能力的處理裝置-接受第一個(gè)輸入圖像(102)中特定物體(100)的特定部分的位置；-從第一個(gè)輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；-確定所述特定物體(100)的特定部分在第二個(gè)輸入圖像(104)中的位置；-從第二個(gè)輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；和-將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
14.按照權(quán)利要求13所述的圖像處理設(shè)備，其特征在于，此外還包括用于顯示輸出圖像的顯示裝置。
全文摘要
公開了一種基于一連串時(shí)間上連貫的輸入圖像創(chuàng)建輸出圖像(108)的方法。該方法包括識(shí)別第一個(gè)輸入圖像(102)中的特定物體(100)的特定部分；從第一個(gè)輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；確定所述特定物體(100)的特定部分在第二個(gè)輸入圖像(104)中的位置；從第二個(gè)輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對(duì)應(yīng)于所述特定物體(100)的特定部分；和將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
文檔編號(hào)G06T7/20GK1950847SQ200580014962
公開日2007年4月18日 申請(qǐng)日期2005年5月3日 優(yōu)先權(quán)日2004年5月10日
發(fā)明者H·W·P·范德海杰登, P·M·霍夫曼, C·N·科德斯 申請(qǐng)人:皇家飛利浦電子股份有限公司