專利名稱：手抖動補(bǔ)正裝置、手抖動補(bǔ)正方法及記錄手抖動補(bǔ)正程序的記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明，涉及手抖動補(bǔ)正裝置、手抖動補(bǔ)正方法及記錄手抖動補(bǔ)正程序的記錄媒體。
背景技術(shù)：
一直以來，眾所周知有對由攝像機(jī)等攝像裝置攝得的圖像，進(jìn)行手抖動補(bǔ)正的手抖動補(bǔ)正裝置。圖1為，手抖動補(bǔ)正裝置的塊圖。手抖動補(bǔ)正裝置具有幀輸入部50、幾何變換系數(shù)計(jì)算部51、手抖動補(bǔ)正部52及幀輸出部53。
幾何變換系數(shù)計(jì)算部51，例如、利用比對(matching)多個幀等的圖像處理，計(jì)算幾何變換系數(shù)。手抖動補(bǔ)正部52，使用由幾何變換系數(shù)計(jì)算部51計(jì)算出的幾何變換系數(shù)，對在臨時存儲器中記錄的輸入幀進(jìn)行幾何變換。
幾何變換系數(shù)，相當(dāng)于如下面公式(1)所示3×3的矩陣中所表示的、兩幀之間的世界坐標(biāo)變換的系數(shù)。
x′y′1=m11m12m13m21m22m23001xy1···(1)]]>圖2表示的是，在使用圖像處理計(jì)算出幾何變換系數(shù)、并通過對輸入幀進(jìn)行幾何變換進(jìn)行手抖動補(bǔ)正處理時的補(bǔ)正處理流程。
設(shè)開始幀(基準(zhǔn)幀)為FS，設(shè)當(dāng)前的輸入幀為F2，設(shè)當(dāng)前輸入幀F(xiàn)2的前一個輸入幀為F1，設(shè)幀F(xiàn)1、F2之間的幾何變換系數(shù)(用于將幀F(xiàn)2上的坐標(biāo)變換成幀F(xiàn)1上的坐標(biāo)的幾何變換系數(shù))為M12，設(shè)幀F(xiàn)S、F1之間的幾何變換系數(shù)為MS1，設(shè)幀F(xiàn)S、F2之間的累積幾何變換系數(shù)(用于將幀F(xiàn)2上的坐標(biāo)變換為幀F(xiàn)S上的坐標(biāo)的累積幾何變換系數(shù))為MS2。
對從開始幀到結(jié)束幀之間的各個幀進(jìn)行如下處理。即，將輸出幀用存儲器清空后(步驟100)，將幀讀入到工作存儲器，將讀入的幀(輸入幀)設(shè)為F2(步驟101)。
接著，判斷輸入幀F(xiàn)2是否為開始幀F(xiàn)S(步驟102)。當(dāng)判斷為輸入幀F(xiàn)2為開始幀F(xiàn)S時，將如公式(2)所示的表示無變換的系數(shù)(初始值)，設(shè)置到開始幀F(xiàn)S和輸入幀F(xiàn)2之間的累積幾何變換系數(shù)為MS2(步驟103)。
M=100010001···(2)]]>然后，在將輸入幀F(xiàn)2設(shè)置到前一個輸入幀F(xiàn)1的同時，將MS2設(shè)置到開始幀F(xiàn)S和前一個輸入幀F(xiàn)1之間的幾何變換系數(shù)MS1(步驟104)。另外，將輸入幀F(xiàn)2的數(shù)據(jù)原樣繪入(rendering)到輸出幀用存儲器(步驟105)。之后，返回到步驟100，在清空輸出幀用存儲器的同時，讀入下一幀。
在上述步驟102中，當(dāng)判斷為輸入幀F(xiàn)2不是開始幀F(xiàn)S時，計(jì)算出前幀F(xiàn)1和當(dāng)前幀F(xiàn)2之間的幾何變換系數(shù)M12(步驟106)。接下來，如式(3)所示，根據(jù)MS1和M12計(jì)算出開始幀F(xiàn)S和當(dāng)前幀F(xiàn)2之間的累積變換系數(shù)MS2(步驟107)。
MS2＝M12MS1…(3)然后，在將輸入幀F(xiàn)2設(shè)置到前一個輸入幀F(xiàn)1的同時，將MS2設(shè)置到開始幀F(xiàn)S和前一個輸入幀F(xiàn)1之間的幾何變換系數(shù)MS1(步驟108)。另外，通過累積幾何變換系數(shù)MS2對輸入幀F(xiàn)2進(jìn)行幾何變換后，將幾何變換后的幀繪入輸出幀用存儲器(步驟109)。之后，返回到步驟100，將輸出幀用存儲器清空后，讀入下一幀。
如下所示，為兩幀之間的幾何變換系數(shù)的代表性的計(jì)算方法(參考特開平11-339021號公報)。首先，從一方的幀上提取邊緣部等特征點(diǎn)。然后，在幀之間進(jìn)行特征點(diǎn)的追蹤(比對)，求得對應(yīng)一方的幀上的特征點(diǎn)的另一方的幀上的對應(yīng)點(diǎn)。由于根據(jù)一組對應(yīng)點(diǎn)(x1，y1)·(x1′，y1′)可以如式(4)得到兩個方程式，因此在通過檢測出3組以上的對應(yīng)點(diǎn)導(dǎo)出6個或6個以上的方程式。根據(jù)這些方程式，利用線型解法可計(jì)算出未知數(shù)的幾何變換系數(shù)。
x′＝m11x+m12y+m13y′＝m21x+m22y+m23…(4)在現(xiàn)有的幾何變換系數(shù)的計(jì)算方法中，由于是通過累積從開始幀F(xiàn)S到輸入幀F(xiàn)2間各個相鄰幀之間的幾何變換系數(shù)、計(jì)算出開始幀F(xiàn)S和輸入幀F(xiàn)2間的累積幾何變換系數(shù)，因此有隨著輸入幀數(shù)增加，相鄰幀之間的幾何變換系數(shù)計(jì)算誤差也被積蓄起來這個問題。也就是說其問題在于，當(dāng)用中途幀計(jì)算幾何變換系數(shù)發(fā)生較大錯誤時，會以用該錯誤的變換系數(shù)進(jìn)行補(bǔ)正的幀作為基準(zhǔn)，對以后的幀進(jìn)行補(bǔ)正。
另外，在現(xiàn)有的手抖動補(bǔ)正方法中，有在輸出幀用存儲器中會產(chǎn)生未被繪入的區(qū)域的問題。即當(dāng)在手抖動狀態(tài)下攝下的多個幀為如圖3所示幀時，將這些幀進(jìn)行幾何變換后的數(shù)據(jù)繪入輸出幀用存儲器后的圖像，如圖4所示。在如圖4所示的各幀中，斜線部分為未繪入?yún)^(qū)域。

發(fā)明內(nèi)容
本發(fā)明目的是，能夠較高精度地求得基準(zhǔn)幀和輸入幀之間的幾何變換系數(shù)，其結(jié)果是，提供能夠進(jìn)行高精度手抖動補(bǔ)正的手抖動補(bǔ)正裝置、手抖動補(bǔ)正方法和記錄有手抖動補(bǔ)正程序的記錄媒體。
此外，本發(fā)明目的是，提供一種能夠避免在容納手抖動補(bǔ)正后的圖像的輸出幀用存儲器的區(qū)域中，產(chǎn)生未繪入?yún)^(qū)域的手抖動補(bǔ)正裝置、手抖動補(bǔ)正方法和記錄有手抖動補(bǔ)正程序的記錄媒體。
另外，本發(fā)明目的是，提供一種能夠避免在容納手抖動補(bǔ)正后的圖像的輸出幀用存儲器的區(qū)域中，產(chǎn)生未繪入?yún)^(qū)域，并能保持畫角不變、減少畫質(zhì)的劣化的手抖動補(bǔ)正裝置、手抖動補(bǔ)正方法和記錄有手抖動補(bǔ)正程序的記錄媒體。
根據(jù)本發(fā)明的第1手抖動補(bǔ)正裝置，在從基準(zhǔn)幀到之后任意幀數(shù)的幀為止的范圍內(nèi)，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于，具備將輸入幀和在時間上相對于輸入幀為前一幀之間的幾何變換系數(shù)，即用于將輸入幀上的坐標(biāo)變換為在時間上相對輸入幀為前一個幀上坐標(biāo)的幾何變換系數(shù)、作為相鄰幀間的幾何變換系數(shù)計(jì)算的第1模塊；通過累積從基準(zhǔn)幀到輸入幀之間的各相鄰幀之間的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)的第2模塊；利用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的第3模塊；以及，使用輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)，對輸入幀進(jìn)行手抖動補(bǔ)正的第4模塊。
作為第3模塊，例如具備從輸入幀求取多個特征點(diǎn)的模塊；對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的模塊；以及，根據(jù)輸入幀上的各特征點(diǎn)和各特征點(diǎn)在基準(zhǔn)幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的模塊。對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的模塊，使用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，將輸入幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為基準(zhǔn)幀上的坐標(biāo)，將得到的基準(zhǔn)幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)輸入幀上的特征點(diǎn)的基準(zhǔn)幀上的對應(yīng)點(diǎn)，求得與輸入幀上的特征點(diǎn)對應(yīng)的基準(zhǔn)幀上的對應(yīng)點(diǎn)。
作為第3模塊，例如具備從基準(zhǔn)幀求取多個特征點(diǎn)的模塊；對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的模塊；以及，根據(jù)基準(zhǔn)幀上的各特征點(diǎn)和各特征點(diǎn)在輸入幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的模塊。對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的模塊，使用通過逆變換輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)所得到的系數(shù)，將基準(zhǔn)幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為輸入幀上的坐標(biāo)，將得到的輸入幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤與基準(zhǔn)幀上特征點(diǎn)對應(yīng)的輸入幀上的對應(yīng)點(diǎn)，求得與基準(zhǔn)幀上的特征點(diǎn)對應(yīng)的輸入幀上的對應(yīng)點(diǎn)。
根據(jù)本發(fā)明的第1手抖動補(bǔ)正方法，在從基準(zhǔn)幀開始到之后任意幀數(shù)的幀為止的范圍內(nèi)，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于具有將輸入幀、和在時間上相對于輸入幀為前一幀之間的幾何變換系數(shù)，即用于將輸入幀上的坐標(biāo)、變換為在時間上相對輸入幀為前一幀上的坐標(biāo)的幾何變換系數(shù)，作為相鄰幀間的幾何變換系數(shù)計(jì)算出的第1步驟；通過累積從基準(zhǔn)幀到輸入幀之間的各相鄰幀之間的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)的第2步驟；利用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的第3步驟；以及，利用輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)，對輸入幀進(jìn)行手抖動補(bǔ)正的第4步驟。
作為第3步驟，例如具有從輸入幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)輸入幀上的各特征點(diǎn)和各特征點(diǎn)在基準(zhǔn)幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟。對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟，使用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，將輸入幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為基準(zhǔn)幀上的坐標(biāo)，將所得到的基準(zhǔn)幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤與輸入幀上的特征點(diǎn)對應(yīng)的基準(zhǔn)幀上的對應(yīng)點(diǎn)，求得與輸入幀上的特征點(diǎn)對應(yīng)的基準(zhǔn)幀上的對應(yīng)點(diǎn)。
作為第3步驟，例如具有從基準(zhǔn)幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)基準(zhǔn)幀上的各特征點(diǎn)和各特征點(diǎn)在輸入幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟，對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟，使用通過逆變換輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)所得到的系數(shù)，將基準(zhǔn)幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為輸入幀上的坐標(biāo)，將得到的輸入幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)基準(zhǔn)幀上的特征點(diǎn)的輸入幀上的對應(yīng)點(diǎn)，求得與基準(zhǔn)幀上的特征點(diǎn)對應(yīng)的輸入幀上的對應(yīng)點(diǎn)。
根據(jù)本發(fā)明的第1記錄媒體，為記錄有在從基準(zhǔn)幀到之后任意幀數(shù)的幀為止的范圍內(nèi)、對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正的手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，其特征在于，記錄有用于在計(jì)算機(jī)中運(yùn)行以下步驟的程序?qū)⑤斎霂?、和在時間上相對于輸入幀為前一幀之間的幾何變換系數(shù)，即用于將輸入幀上的坐標(biāo)、變換為在時間上相對輸入幀為前一幀上的坐標(biāo)的幾何變換系數(shù)，作為相鄰幀間的幾何變換系數(shù)計(jì)算出的第1步驟；通過累積從基準(zhǔn)幀到輸入幀之間的各相鄰幀之間的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)的第2步驟；利用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的第3步驟；以及，利用輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)，對輸入幀進(jìn)行手抖動補(bǔ)正的第4步驟。
作為第3步驟，例如具有從輸入幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)輸入幀上的各特征點(diǎn)和各特征點(diǎn)在基準(zhǔn)幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟。對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟，使用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，將輸入幀上的特征點(diǎn)的坐標(biāo)變換為基準(zhǔn)幀上的坐標(biāo)，將所得到的基準(zhǔn)幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)輸入幀上特征點(diǎn)的基準(zhǔn)幀上的對應(yīng)點(diǎn)，求得與輸入幀上的特征點(diǎn)對應(yīng)的基準(zhǔn)幀上的對應(yīng)點(diǎn)。
作為第3步驟，例如具有從基準(zhǔn)幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)基準(zhǔn)幀上的各特征點(diǎn)和各特征點(diǎn)在輸入幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟。對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟，使用通過逆變換輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)所得到的系數(shù)，將基準(zhǔn)幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為輸入幀上的坐標(biāo)，將得到的輸入幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)基準(zhǔn)幀上的特征點(diǎn)的輸入幀上的對應(yīng)點(diǎn)，求得與基準(zhǔn)幀上的特征點(diǎn)對應(yīng)的輸入幀上對應(yīng)點(diǎn)。
本發(fā)明的第2手抖動補(bǔ)正裝置，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于，具備對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1模塊；以及，對每個輸入幀，生成輸出幀的第2模塊。第2模塊，具備清空輸出幀用存儲器的模塊；根據(jù)由第1模塊計(jì)算出的、與輸入幀對應(yīng)的幾何變換系數(shù)，對該輸入幀進(jìn)行幾何變換的模塊；將對應(yīng)輸入幀的幾何變換后的幀，繪入輸出幀存儲器的模塊；以及，通過輸入幀附近1個或1個以上的幀，對輸出幀用存儲器中未繪入?yún)^(qū)域進(jìn)行插值的模塊。
根據(jù)本發(fā)明的第2手抖動補(bǔ)正方法，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于具備對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；以及，對每個輸入幀，生成輸出幀的第2步驟。第2步驟，具有清空輸出幀用存儲器的步驟；根據(jù)由第1步驟計(jì)算出的、與輸入幀對應(yīng)的幾何變換系數(shù)，對該輸入幀進(jìn)行幾何變換的步驟；將對應(yīng)輸入幀的幾何變換后的幀，繪入輸出幀存儲器的步驟；以及，通過輸入幀附近1個或1個以上的幀，對輸出幀存儲器中未繪入?yún)^(qū)域進(jìn)行插值的步驟。
根據(jù)本發(fā)明的第2記錄媒體，為記錄有在從基準(zhǔn)幀到之后任意幀數(shù)的幀為止的范圍內(nèi)、對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正的手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，其特征在于，記錄有用于在計(jì)算機(jī)中運(yùn)行以下步驟的程序?qū)γ總€輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；以及，對每個輸入幀，生成輸出幀的第2步驟。第2步驟，具有清空輸出幀用存儲器的步驟；根據(jù)由第1步驟計(jì)算出的、與輸入幀對應(yīng)的幾何變換系數(shù)，對該輸入幀進(jìn)行幾何變換的步驟；將對應(yīng)輸入幀的幾何變換后的幀，繪入輸出幀存儲器的步驟；以及，通過輸入幀附近1個或1個以上的幀，對輸出幀存儲器中未繪入?yún)^(qū)域進(jìn)行插值的步驟。
根據(jù)本發(fā)明的第3手抖動補(bǔ)正裝置，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于，具備對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1模塊；對每個輸入幀，根據(jù)由第1裝置計(jì)算出的、與其對應(yīng)的幾何變換系數(shù)進(jìn)行幾何變換后，將對應(yīng)輸入幀的幾何變換后的幀繪入輸出幀存儲器的第2模塊；以及，保持由第2模塊產(chǎn)生的繪入結(jié)果的第3模塊。當(dāng)?shù)?模塊，將與第2號以后的輸入幀對應(yīng)的幾何變換后的幀、繪入輸出幀存儲器時，在到此為止的繪入結(jié)果上，覆蓋上與該輸入幀對應(yīng)的幾何變換后的幀。
本發(fā)明的第3手抖動補(bǔ)正方法，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于，具有對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；對每個輸入幀，根據(jù)由第1步驟計(jì)算出的、與其對應(yīng)的幾何變換系數(shù)進(jìn)行幾何變換后，將對應(yīng)輸入幀的幾何變換后的幀繪入輸出幀存儲器的第2步驟；以及，保持由第2步驟產(chǎn)生的繪入結(jié)果的第3步驟。當(dāng)?shù)?步驟，將與第2號以后的輸入幀對應(yīng)的幾何變換后的幀、繪入輸出幀存儲器時，在到此為止的繪入結(jié)果上，覆蓋上與該輸入幀對應(yīng)的幾何變換后的幀。
根據(jù)本發(fā)明的第3記錄媒體，為記錄有在從基準(zhǔn)幀到之后任意幀數(shù)的幀為止的范圍內(nèi)、對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正的手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，其特征在于，記錄有用于在計(jì)算機(jī)中運(yùn)行以下步驟的程序?qū)γ總€輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；對每個輸入幀，根據(jù)由第1步驟計(jì)算出的、與其對應(yīng)的幾何變換系數(shù)進(jìn)行幾何變換后，將對應(yīng)輸入幀的幾何變換后的幀繪入輸出幀存儲器的第2步驟；以及，保持由第2步驟產(chǎn)生的繪入結(jié)果的第3步驟。當(dāng)?shù)?步驟，將與第2號以后的輸入幀對應(yīng)的幾何變換后的幀、繪入輸出幀存儲器時，在到此為止的繪入結(jié)果上，覆蓋上與該輸入幀對應(yīng)的幾何變換后的幀。


圖1為，表示現(xiàn)有的手抖動補(bǔ)正裝置結(jié)構(gòu)的塊圖。
圖2為，表示按照現(xiàn)有方法實(shí)施的手抖動補(bǔ)正處理順序的流程圖。
圖3為，表示在有手抖動的狀態(tài)下所拍攝的幀的示意圖。
圖4為，表示將圖3的各幀進(jìn)行幾何變換后的數(shù)據(jù)，繪入輸出幀用存儲器得到的圖像的示意圖。
圖5為，表示手抖動補(bǔ)正裝置的結(jié)構(gòu)的塊圖。
圖6為，表示幾何變換系數(shù)計(jì)算處理順序的流程圖。
圖7為，表示圖6的步驟9的詳細(xì)處理順序的流程圖。
圖8為，表示圖6的步驟9的詳細(xì)處理順序的另一個示例的流程圖。
圖9為，表示輸出幀的生成處理順序的流程圖。
圖10為，用于對鄰近幀的混合比的計(jì)算方法進(jìn)行說明的示意圖。
圖11為，表示輸出幀的生成處理順序的另一個示例的流程圖。
具體實(shí)施例方式
下面，對本發(fā)明的實(shí)施例進(jìn)行說明。
(1)手抖動補(bǔ)正裝置的說明圖5表示手抖動補(bǔ)正裝置的結(jié)構(gòu)。
手抖動補(bǔ)正裝置，通過個人計(jì)算機(jī)(PC)10來實(shí)現(xiàn)。PC10連接有顯示器21、鼠標(biāo)22和鍵盤23。PC10具備CPU11、存儲器12、硬盤13及CD-ROM之類的可移動磁盤驅(qū)動器(磁盤驅(qū)動器)14。
在硬盤13上除了OS(操作系統(tǒng))等之外，還存放有手抖動補(bǔ)正處理程序。使用存儲有手抖動補(bǔ)正處理程序的CD-ROM20，將該程序安裝到硬盤13。另外，設(shè)硬盤13上預(yù)先存放了由攝像機(jī)等拍攝的動態(tài)圖像文件。
(2)在手抖動補(bǔ)正程序啟動的情況下，由CPU實(shí)施的手抖動補(bǔ)正處理的說明。
在手抖動補(bǔ)正處理中，包含幾何變換系數(shù)計(jì)算處理和輸出幀生成處理。首先，在進(jìn)行幾何變換計(jì)算處理之后進(jìn)行輸出幀生成處理。
另外，在本實(shí)施例中，是否對輸出幀用存儲器內(nèi)的未繪入的區(qū)域進(jìn)行插值處理，由用戶預(yù)先設(shè)定。當(dāng)進(jìn)行對未繪入?yún)^(qū)域進(jìn)行插值處理的設(shè)定時，令記錄該內(nèi)容的標(biāo)志(以下稱為是否插值處理判定標(biāo)志)flag為設(shè)置(flag＝1)狀態(tài)；當(dāng)進(jìn)行對對未繪入?yún)^(qū)域不進(jìn)行插值處理的設(shè)定時，令記錄該內(nèi)容的是否插值處理判定標(biāo)志flag為重置(flag＝0)的狀態(tài)。
在手抖動補(bǔ)正處理中，將進(jìn)行手抖動補(bǔ)正的范圍內(nèi)的最初的幀(開始幀)作為基準(zhǔn)幀，對進(jìn)行該手抖動補(bǔ)正的范圍內(nèi)的其他幀的手抖動進(jìn)行補(bǔ)正。另外，可以任意設(shè)定進(jìn)行手抖動補(bǔ)正的范圍。
圖6表示幾何變換系數(shù)計(jì)算處理次序。
設(shè)進(jìn)行手抖動補(bǔ)正的范圍內(nèi)的開始幀(基準(zhǔn)幀)為FS，設(shè)進(jìn)行手抖動補(bǔ)正的范圍內(nèi)的當(dāng)前的輸入幀為F2，設(shè)當(dāng)前輸入幀F(xiàn)2的前一個輸入幀為F1，設(shè)幀F(xiàn)1和F2之間的幾何變換系數(shù)(用于將幀F(xiàn)2上的坐標(biāo)變換成幀F(xiàn)1上的坐標(biāo)的幾何變換系數(shù))為M12，設(shè)幀F(xiàn)S、F1之間的幾何變換系數(shù)為MS1，設(shè)幀F(xiàn)S、F2之間的累積幾何變換系數(shù)(用于將幀F(xiàn)2上的坐標(biāo)變換為幀F(xiàn)S上的坐標(biāo)的累積幾何變換系數(shù))為MS2。
對從進(jìn)行手抖動補(bǔ)正范圍內(nèi)的開始幀到結(jié)束幀的各個幀，進(jìn)行如下處理。即首先，將幀讀入到存儲器，設(shè)讀入的幀(輸入幀)為F2(步驟1)。
接著，判斷輸入幀F(xiàn)2是否為開始幀F(xiàn)S(步驟2)。當(dāng)判斷為輸入幀F(xiàn)2為開始幀F(xiàn)S時，將如公式(5)所示的表示無變換的系數(shù)(初始值)，設(shè)置到開始幀F(xiàn)S和輸入幀F(xiàn)2之間的累積幾何變換系數(shù)MS2(步驟3)。
M=100010001···(5)]]>然后，在將輸入幀F(xiàn)2設(shè)置到前一個輸入幀F(xiàn)1的同時，將MS2設(shè)置到開始幀F(xiàn)S和前一個輸入幀F(xiàn)1之間的幾何變換系數(shù)MS1(步驟4)。另外，將MS2設(shè)置到開始幀F(xiàn)S和輸入幀F(xiàn)2之間的直接幾何變換系數(shù)M’S2(步驟5)。之后，返回到步驟1，讀入下一幀。
在上述步驟2中，當(dāng)判斷為輸入幀F(xiàn)2不是開始幀F(xiàn)S時，計(jì)算出前幀F(xiàn)1和當(dāng)前幀F(xiàn)2之間的幾何變換系數(shù)M12(步驟6)。然后如式(6)所示，根據(jù)MS1和M12計(jì)算開始幀F(xiàn)S和當(dāng)前幀F(xiàn)2之間的累積幾何變換系數(shù)MS2(步驟7)。
MS2＝M12MS1…(6)然后，在將輸入幀F(xiàn)2設(shè)置到前一個輸入幀F(xiàn)1的同時，將MS2設(shè)置到開始幀F(xiàn)S和前一個輸入幀F(xiàn)1之間的幾何變換系數(shù)MS1(步驟8)。
接下來，基于上述步驟7計(jì)算出的累積幾何變換系數(shù)MS2，計(jì)算出開始幀F(xiàn)S和輸入幀F(xiàn)2之間的直接幾何變換系數(shù)M’S2，(步驟9)。對于此處理的細(xì)節(jié)，在后文進(jìn)行說明。之后，返回到步驟1，讀入下一幀。直到最終幀為止反復(fù)進(jìn)行該處理。
圖7表示圖6的步驟9處理的詳細(xì)順序。
首先，從輸入幀F(xiàn)2提取多個特征點(diǎn)P2(步驟11)。所謂特征點(diǎn)，是指鄰接像素的亮度值發(fā)生急劇變化的點(diǎn)。然后，對每個特征點(diǎn)進(jìn)行步驟12～14的處理。
讀取一個特征點(diǎn)P2(步驟12)。然后，根據(jù)累積幾何變換系數(shù)MS2將該特征點(diǎn)P2坐標(biāo)變換到開始幀F(xiàn)S，設(shè)該點(diǎn)為P’2(步驟13)，將點(diǎn)P’2作為探索的初始值(探索開始點(diǎn))，追蹤對應(yīng)點(diǎn)P2的開始幀F(xiàn)S上的特征點(diǎn)，設(shè)得到的點(diǎn)為P”2(步驟14)。
這里，特征點(diǎn)的追蹤使用梯度法(gradient method)的光流估算(opticalflow estimation)。由于光流估算，是以在局部區(qū)域內(nèi)的物體運(yùn)動為前提，因此在開始幀F(xiàn)S和輸入幀F(xiàn)2之間有較大的相機(jī)運(yùn)動時，無法正確地檢測出特征點(diǎn)的運(yùn)動。因此，如上所述，通過將用累積幾何變換系數(shù)MS2將輸入幀F(xiàn)2的特征點(diǎn)P2坐標(biāo)變換后得到的P’2、作為開始幀F(xiàn)S上的追蹤的初始值，從而即使在開始幀F(xiàn)S和輸入幀F(xiàn)2之間具有較大的相機(jī)運(yùn)動，也能將其假定為微小的運(yùn)動，并正確地檢測出特征點(diǎn)的運(yùn)動。
對在步驟11中提取的全部特征點(diǎn)進(jìn)行上述步驟12～14的處理，得到帶有幀間的全部特征點(diǎn)對應(yīng)關(guān)系的結(jié)果。如前文所述，根據(jù)各對應(yīng)點(diǎn)導(dǎo)出2個方程式；根據(jù)全部方程式、通過線性解法，計(jì)算出有6個未知數(shù)的幾何變換系數(shù)(步驟15)。將計(jì)算出的幾何變換系數(shù)設(shè)為M’S2。
圖8表示圖6的步驟9的處理順序的另一個示例。
首先，從開始幀F(xiàn)S提取多個特征點(diǎn)PS(步驟21)。所謂特征點(diǎn)是指鄰接像素的亮度值發(fā)生急劇變化的點(diǎn)。然后，通過對累積幾何變換系數(shù)進(jìn)行逆變換(矩陣逆變換)，求出系數(shù)MS2-inv(步驟22)。以下，對每個特征點(diǎn)進(jìn)行步驟23～25的處理。
讀取一個特征點(diǎn)PS(步驟23)。然后基于系數(shù)MS2-inv將該特征點(diǎn)PS坐標(biāo)變換到輸入幀F(xiàn)2上，將該點(diǎn)設(shè)為P’S(步驟24)。將點(diǎn)P’S作為探索的初始值(探索開始點(diǎn))，追蹤對應(yīng)點(diǎn)PS的輸入幀F(xiàn)2上的特征點(diǎn)，將得到的點(diǎn)設(shè)為P”S(步驟25)。
這里，特征點(diǎn)的追蹤使用梯度法的光流估算。由于光流估算，是以局部區(qū)域內(nèi)的物體的運(yùn)動為前提，因此當(dāng)開始幀F(xiàn)S和輸入幀F(xiàn)2之間有較大的相機(jī)運(yùn)動時，無法正確地檢測特征點(diǎn)的運(yùn)動。因此，如上所述通過將用逆變換累積幾何變換系數(shù)MS2所得到的系數(shù)MS2-inv、將開始幀F(xiàn)S的特征點(diǎn)PS進(jìn)行坐標(biāo)變換后得到的P’S作為輸入幀F(xiàn)2上的追蹤的初始值，從而即使在開始幀F(xiàn)S和輸入幀F(xiàn)2之間有較大的相機(jī)運(yùn)動，也能假定為微小的運(yùn)動，從而正確地檢測特征點(diǎn)的運(yùn)動。
對在步驟21中提取的全部特征點(diǎn)進(jìn)行上述步驟23～25的處理，得到帶有幀間的全部特征點(diǎn)對應(yīng)關(guān)系的結(jié)果。如前面所述，根據(jù)各對應(yīng)點(diǎn)導(dǎo)出2個方程式，根據(jù)全部方程式、通過線性解法計(jì)算出有6個未知數(shù)的幾何變換系數(shù)(步驟26)。將計(jì)算出的幾何變換系數(shù)設(shè)為M’S2。
圖9表示在計(jì)算出對應(yīng)全部幀的幾何變換系數(shù)M’S2后進(jìn)行的輸出幀生成處理順序。
以M’Si(i＝1，2，…)，表示通過上述圖6的幾何變換系數(shù)計(jì)算處理所計(jì)算得到的、開始幀F(xiàn)S和各輸入幀F(xiàn)2之間的直接的幾何變換系數(shù)M’S2。
對從開始幀到結(jié)束幀的各幀，進(jìn)行以下處理。即首先清空輸出幀用存儲器(步驟31)。之后，將對象幀F(xiàn)i讀入存儲器(步驟32)。然后，讀取對應(yīng)對象幀F(xiàn)i的幾何變換系數(shù)M’Si(步驟33)。然后，以對應(yīng)對象幀F(xiàn)i的幾何變換系數(shù)M’Si將該對象幀F(xiàn)i進(jìn)行幾何變換，從而生成幀F(xiàn)’i(步驟34)，將幾何變換后的幀F(xiàn)’i繪入輸出幀用存儲器(步驟35)。
然后，判定是否插值處理判定標(biāo)志flag是否被設(shè)置(flag＝1)(步驟36)。當(dāng)是否插值處理判定標(biāo)志flag沒有被設(shè)置時(flag＝0)，不對輸出幀用存儲器中的未繪入?yún)^(qū)域內(nèi)的各個像素進(jìn)行插值處理(步驟37～41)。于是，成為對從開始幀到結(jié)束幀之間的各幀只進(jìn)行上述步驟31～35的處理。
當(dāng)是否插值處理判定標(biāo)志flag被設(shè)置時，對輸出幀用存儲器中的未繪入?yún)^(qū)域內(nèi)的各個像素進(jìn)行插值處理(步驟37～41)。下面對針對未繪入?yún)^(qū)域的點(diǎn)P像素的插值處理進(jìn)行說明。
將在時間上靠近對象幀F(xiàn)i的前后10幀作為鄰近幀F(xiàn)i-neighbors提取。另外，若前后鄰近幀不夠10幀，只提取有限的鄰近幀。然后，對于每個鄰近幀F(xiàn)i-neighbors進(jìn)行如下處理。
即，將對應(yīng)鄰近幀F(xiàn)i-neighbors的幾何變換系數(shù)M’Si-neighbors讀入到存儲器中(步驟37)。然后通過對M’Si-neighbors進(jìn)行逆變換(矩陣逆變換)得到系數(shù)M’Si-neighbors-inv(步驟38)。這里，M’Si-neighbors-inv相當(dāng)于將開始幀上的點(diǎn)坐標(biāo)變換到上述鄰近幀的幾何變換系數(shù)。
將以M’Si-neighbors-inv對點(diǎn)P進(jìn)行幾何變換后得到點(diǎn)、設(shè)為Pi-neighbors(步驟39)，并取得上述鄰近幀上的點(diǎn)Pi-neighbors的亮度值(步驟40)。將取得的亮度值設(shè)為Vpi-neighbors。對各個鄰近幀F(xiàn)i-neighbors都進(jìn)行這種處理(步驟37～40)。
通過混合對應(yīng)從各鄰近幀F(xiàn)i-neighbors得到的點(diǎn)P的亮度值Vpi-neighbors，生成點(diǎn)P的亮度值(步驟41)。
另外，當(dāng)用M’Si-neighbors-inv將點(diǎn)P幾何變換后得到的點(diǎn)Pi-neighbors、不存在于鄰近幀上，不對該鄰近幀的亮度進(jìn)行混合。當(dāng)插值中能夠使用的鄰近幀一個也沒有時，就以開始幀的像素值進(jìn)行插值。
對于對應(yīng)從各鄰近幀F(xiàn)i-neighbors得到的點(diǎn)P的亮度值Vpi-neighbors的混合比，通過以下方式?jīng)Q定。
首先，如圖10所示，從離對象幀最近的幀開始，依次給鄰近幀預(yù)先賦以1/2n的系數(shù)K。n為補(bǔ)正對象幀和鄰近幀之間的幀數(shù)。
然后，合計(jì)在未繪入?yún)^(qū)域內(nèi)的點(diǎn)P的插值中可使用的鄰近幀的系數(shù)(Ktotal)。然后，計(jì)算該合計(jì)的倒數(shù)(1/Ktotal)，將各鄰近幀的系數(shù)K乘以1/Ktotal。將其作為各鄰近幀的混合比。
例如，當(dāng)在未繪入?yún)^(qū)域內(nèi)的點(diǎn)P的插值中可使用的鄰近幀，為K＝1/8的1幀和K＝1/2的1幀時，這些鄰近幀的系數(shù)的合計(jì)Ktotal為5/8。該合計(jì)的倒數(shù)為8/5。K＝1/8的上述鄰近幀的混合比為(1/8)×(8/5)＝1/5，K＝1/2的上述鄰近幀的混合比為(1/2)×(8/5)＝4/5。
這樣，通過求取與在插值中可使用的各鄰近幀對應(yīng)的混合比，給在時間上離對象幀越近的鄰近幀賦予越大的混合比，且混合比的合計(jì)為1。然后，對未繪入?yún)^(qū)域的全部點(diǎn)、進(jìn)行上述這種針對點(diǎn)P的插值處理，完成輸出幀。
按照上述實(shí)施例，即使在中途幀計(jì)算幾何變換系數(shù)中失敗，該失敗也不會對以后的幀的補(bǔ)正處理產(chǎn)生影響，從而實(shí)現(xiàn)高精度的手抖動補(bǔ)正。而且，在手抖動補(bǔ)正后的輸出幀中不包含攝影數(shù)據(jù)以外的數(shù)據(jù)，能夠確保不低于輸入幀的視野。
再者，在不需要對未繪入?yún)^(qū)域進(jìn)行插值處理時，也可以在圖6的步驟1前使輸出幀用存儲器清空，在圖6的步驟5中用MS2對幀F(xiàn)2進(jìn)行幾何變換，將幾何變換后的數(shù)據(jù)繪入輸出幀用存儲器；在圖6的步驟9中計(jì)算出幾何變換系數(shù)M’S2，同時用M’S2對幀F(xiàn)2進(jìn)行幾何變換，將幾何變換后的數(shù)據(jù)繪入到輸出幀用存儲器。
(3)對輸出幀的生成處理的變形例進(jìn)行說明對于輸出幀生成處理變形例進(jìn)行說明。
圖11表示的是，在計(jì)算出對應(yīng)全部幀的幾何變換系數(shù)M’S2后、進(jìn)行的輸出幀生成處理順序的另一個示例。
用M’Si(i＝1，2，…)，表示通過上述圖6的幾何變換系數(shù)計(jì)算處理計(jì)算出的、開始幀F(xiàn)S和各輸入幀F(xiàn)2之間的直接幾何變換系數(shù)M’S2。
對從開始幀到結(jié)束幀之間的各幀進(jìn)行如下處理。即，首先判別是否插值處理判定標(biāo)志flag是否被設(shè)置(flag＝1)(步驟41)。當(dāng)是否插值處理判定標(biāo)志flag未被設(shè)置(flag＝0)時，在清空輸出幀用存儲器(步驟42)之后，再進(jìn)到步驟43。當(dāng)是否插值處理判定標(biāo)志flag被設(shè)置(flag＝1)時，不清空輸出幀用存儲器，直接進(jìn)到步驟43。
在步驟43中，將對象幀F(xiàn)i讀入存儲器。然后，讀入對應(yīng)對象幀F(xiàn)i的幾何變換系數(shù)M’Si(步驟44)。然后，以對應(yīng)對象幀F(xiàn)i的幾何變換系數(shù)M’Si、對該對象幀F(xiàn)i進(jìn)行幾何變換后生成幀F(xiàn)’i(步驟45)，并將幾何變換后的幀F(xiàn)’i繪入輸出幀用存儲器(步驟46)。重復(fù)進(jìn)行上述步驟41～46的處理直到結(jié)束幀。
在該輸出幀的生成處理中，當(dāng)是否插值處理判定標(biāo)志flag被設(shè)置時，由于不對每個輸入幀清空輸出幀用存儲器，因此在輸出幀用存儲器中，在過去幀的手抖動補(bǔ)正結(jié)果之上、覆蓋各輸入幀的手抖動補(bǔ)正結(jié)果。由于沒有對開始幀進(jìn)行幾何變換，因此在將開始幀繪入輸出幀用存儲器后，在輸出幀用存儲器上，至少開始幀的尺寸大小的區(qū)域?yàn)槔L入完畢區(qū)域。
從而，在將各輸入幀的手抖動補(bǔ)正結(jié)果繪入輸出幀用存儲器時，繪入該手抖動補(bǔ)正結(jié)果區(qū)域以外的區(qū)域，處于被由過去幀的手抖動補(bǔ)正結(jié)果插值的狀態(tài)。通過該方法，輸出幀可以確保與輸入幀相同的視野(畫角)。當(dāng)輸入幀內(nèi)的周邊部分沒有移動的物體時，過去幀的手抖動補(bǔ)正結(jié)果和當(dāng)前幀的手抖動補(bǔ)正結(jié)果的過渡部分并不十分明顯，可獲比較自然的手抖動補(bǔ)正結(jié)果。
權(quán)利要求
1.一種手抖動補(bǔ)正裝置，在從基準(zhǔn)幀到之后任意幀數(shù)的幀為止的范圍內(nèi)，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于，具備將輸入幀和在時間上相對于輸入幀為前一幀之間的幾何變換系數(shù)，即用于將輸入幀上的坐標(biāo)變換為在時間上相對于輸入幀為前一個幀上坐標(biāo)的幾何變換系數(shù)，作為相鄰幀間的幾何變換系數(shù)計(jì)算出的第1模塊；通過累積從基準(zhǔn)幀到輸入幀之間的各相鄰幀之間的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)的第2模塊；利用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的第3模塊；以及，使用輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)，對輸入幀進(jìn)行手抖動補(bǔ)正的第4模塊。
2.根據(jù)權(quán)利要求1所述的手抖動補(bǔ)正裝置，其特征在于第3模塊具備從輸入幀求取多個特征點(diǎn)的模塊；對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的模塊；以及，根據(jù)輸入幀上的各特征點(diǎn)和各特征點(diǎn)在基準(zhǔn)幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的模塊，對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的模塊，使用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，將輸入幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為基準(zhǔn)幀上的坐標(biāo)，將得到的基準(zhǔn)幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)輸入幀上的特征點(diǎn)的基準(zhǔn)幀上的對應(yīng)點(diǎn)，求得與輸入幀上的特征點(diǎn)對應(yīng)的基準(zhǔn)幀上的對應(yīng)點(diǎn)。
3.根據(jù)權(quán)利要求1所述的手抖動補(bǔ)正裝置，其特征在于第3模塊具備從基準(zhǔn)幀求取多個特征點(diǎn)的模塊；對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的模塊；以及，根據(jù)基準(zhǔn)幀上的各特征點(diǎn)和各特征點(diǎn)在輸入幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的模塊，對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的模塊，使用通過逆變換輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)所得到的系數(shù)，將基準(zhǔn)幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為輸入幀上的坐標(biāo)，將得到的輸入幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤與基準(zhǔn)幀上特征點(diǎn)對應(yīng)的輸入幀上的對應(yīng)點(diǎn)，求得與基準(zhǔn)幀上的特征點(diǎn)對應(yīng)的輸入幀上的對應(yīng)點(diǎn)。
4.一種手抖動補(bǔ)正方法，在從基準(zhǔn)幀開始到之后任意幀數(shù)的幀為止的范圍內(nèi)，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于具有將輸入幀、和在時間上相對于輸入幀為前一幀之間的幾何變換系數(shù)，即用于將輸入幀上的坐標(biāo)、變換為在時間上相對輸入幀為前一幀上的坐標(biāo)的幾何變換系數(shù)，作為相鄰幀間的幾何變換系數(shù)計(jì)算出的第1步驟；通過累積從基準(zhǔn)幀到輸入幀之間的各相鄰幀之間的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)的第2步驟；利用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的第3步驟；以及，利用輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)，對輸入幀進(jìn)行手抖動補(bǔ)正的第4步驟。
5.如權(quán)利要求4所述的手抖動補(bǔ)正方法，其特征在于第3步驟具有從輸入幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)輸入幀上的各特征點(diǎn)和各特征點(diǎn)在基準(zhǔn)幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟，對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟，使用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，將輸入幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為基準(zhǔn)幀上的坐標(biāo)，將所得到的基準(zhǔn)幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)輸入幀上特征點(diǎn)的基準(zhǔn)幀上的對應(yīng)點(diǎn)，求得與輸入幀上的特征點(diǎn)對應(yīng)的基準(zhǔn)幀上的對應(yīng)點(diǎn)。
6.根據(jù)權(quán)利要求4所述的手抖動補(bǔ)正方法，其特征在于第3步驟具有從基準(zhǔn)幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)基準(zhǔn)幀上的各特征點(diǎn)和各特征點(diǎn)在輸入幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟，對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟，使用通過逆變換輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)所得到的系數(shù)，將基準(zhǔn)幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為輸入幀上的坐標(biāo)，將得到的輸入幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)基準(zhǔn)幀上的特征點(diǎn)的輸入幀上的對應(yīng)點(diǎn)，求得與基準(zhǔn)幀上的特征點(diǎn)對應(yīng)的輸入幀上的對應(yīng)點(diǎn)。
7.一種記錄有手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，記錄有在從基準(zhǔn)幀到之后任意幀數(shù)的幀為止的范圍內(nèi)、對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正的手抖動補(bǔ)正處理程序，其特征在于記錄有用于在計(jì)算機(jī)中運(yùn)行以下步驟的程序，將輸入幀、和在時間上相對于輸入幀為前一幀之間的幾何變換系數(shù)，即用于將輸入幀上的坐標(biāo)、變換為在時間上相對輸入幀為前一幀上的坐標(biāo)的幾何變換系數(shù)，作為相鄰幀間的幾何變換系數(shù)計(jì)算出的第1步驟；通過累積從基準(zhǔn)幀到輸入幀之間的各相鄰幀之間的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)的第2步驟；利用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的第3步驟；以及，利用輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)，對輸入幀進(jìn)行手抖動補(bǔ)正的第4步驟。
8.根據(jù)權(quán)利要求7所述的記錄有手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，其特征在于第3步驟具有從輸入幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)輸入幀上的各特征點(diǎn)和各特征點(diǎn)在基準(zhǔn)幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟，對每個特征點(diǎn)求取基準(zhǔn)幀上的對應(yīng)點(diǎn)的步驟，使用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，將輸入幀上的特征點(diǎn)的坐標(biāo)變換為基準(zhǔn)幀上的坐標(biāo)，將所得到的基準(zhǔn)幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)輸入幀上特征點(diǎn)的基準(zhǔn)幀上的對應(yīng)點(diǎn)，求得與輸入幀上的特征點(diǎn)對應(yīng)的基準(zhǔn)幀上的對應(yīng)點(diǎn)。
9.根據(jù)權(quán)利要求7所述的記錄有手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，其特征在于第3步驟具有從基準(zhǔn)幀求取多個特征點(diǎn)的步驟；對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟；以及，根據(jù)基準(zhǔn)幀上的各特征點(diǎn)和各特征點(diǎn)在輸入幀上的對應(yīng)點(diǎn)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的步驟，對每個特征點(diǎn)求取輸入幀上的對應(yīng)點(diǎn)的步驟，使用通過逆變換輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)所得到的系數(shù)，將基準(zhǔn)幀上的特征點(diǎn)的坐標(biāo)坐標(biāo)變換為輸入幀上的坐標(biāo)，將得到的輸入幀上的坐標(biāo)點(diǎn)作為初始值，通過追蹤對應(yīng)基準(zhǔn)幀上的特征點(diǎn)的輸入幀上的對應(yīng)點(diǎn)，求得與基準(zhǔn)幀上的特征點(diǎn)對應(yīng)的輸入幀上對應(yīng)點(diǎn)。
10.一種手抖動補(bǔ)正裝置，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于具備對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1模塊；以及，對每個輸入幀，生成輸出幀的第2模塊，第2模塊，具備清空輸出幀用存儲器的模塊；根據(jù)由第1模塊計(jì)算出的、與輸入幀對應(yīng)的幾何變換系數(shù)，對該輸入幀進(jìn)行幾何變換的模塊；將對應(yīng)輸入幀的幾何變換后的幀，繪入輸出幀存儲器的模塊；以及，通過輸入幀附近1個或1個以上的幀，對輸出幀用存儲器中未繪入?yún)^(qū)域進(jìn)行插值的模塊。
11.一種手抖動補(bǔ)正方法，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于具備對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；以及，對每個輸入幀，生成輸出幀的第2步驟，第2步驟，具有清空輸出幀用存儲器的步驟；根據(jù)由第1步驟計(jì)算出的、與輸入幀對應(yīng)的幾何變換系數(shù)，對該輸入幀進(jìn)行幾何變換的步驟；將對應(yīng)輸入幀的幾何變換后的幀，繪入輸出幀存儲器的步驟；以及，通過輸入幀附近1個或1個以上的幀，對輸出幀存儲器中未繪入?yún)^(qū)域進(jìn)行插值的步驟。
12.一種記錄手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，記錄有對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正程序，其特征在于記錄有用于在計(jì)算機(jī)中運(yùn)行以下步驟的程序，對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；以及，對每個輸入幀，生成輸出幀的第2步驟，第2步驟，具有清空輸出幀用存儲器的步驟；根據(jù)由第1步驟計(jì)算出的、與輸入幀對應(yīng)的幾何變換系數(shù)，對該輸入幀進(jìn)行幾何變換的步驟；將對應(yīng)輸入幀的幾何變換后的幀，繪入輸出幀存儲器的步驟；以及，通過輸入幀附近1個或1個以上的幀，對輸出幀存儲器中未繪入?yún)^(qū)域進(jìn)行插值的步驟。
13.一種手抖動補(bǔ)正裝置，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于具備對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1模塊；對每個輸入幀，根據(jù)由第1裝置計(jì)算出的、與其對應(yīng)的幾何變換系數(shù)進(jìn)行幾何變換后，將對應(yīng)輸入幀的幾何變換后的幀繪入輸出幀存儲器的第2模塊；以及，保持由第2模塊產(chǎn)生的繪入結(jié)果的第3模塊，當(dāng)?shù)?模塊，將與第2號以后的輸入幀對應(yīng)的幾何變換后的幀、繪入輸出幀存儲器時，在到此為止的繪入結(jié)果上，覆蓋上與該輸入幀對應(yīng)的幾何變換后的幀。
14.一種手抖動補(bǔ)正方法，對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正，其特征在于具有對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；對每個輸入幀，根據(jù)由第1步驟計(jì)算出的、與其對應(yīng)的幾何變換系數(shù)進(jìn)行幾何變換后，將對應(yīng)輸入幀的幾何變換后的幀繪入輸出幀存儲器的第2步驟；以及，保持由第2步驟產(chǎn)生的繪入結(jié)果的第3步驟，當(dāng)?shù)?步驟，將與第2號以后的輸入幀對應(yīng)的幾何變換后的幀、繪入輸出幀存儲器時，在到此為止的繪入結(jié)果上，覆蓋上與該輸入幀對應(yīng)的幾何變換后的幀。
15.一種記錄有手抖動補(bǔ)正處理程序的計(jì)算機(jī)可讀記錄媒體，記錄有對動態(tài)圖像數(shù)據(jù)進(jìn)行手抖動補(bǔ)正的程序，其特征在于記錄有用于在計(jì)算機(jī)中運(yùn)行以下步驟的程序，對每個輸入幀，計(jì)算出作為手抖動補(bǔ)正基準(zhǔn)的幀、和輸入幀之間的幾何變換系數(shù)的第1步驟；對每個輸入幀，根據(jù)由第1步驟計(jì)算出的、與其對應(yīng)的幾何變換系數(shù)進(jìn)行幾何變換后，將對應(yīng)輸入幀的幾何變換后的幀繪入輸出幀存儲器的第2步驟；以及，保持由第2步驟產(chǎn)生的繪入結(jié)果的第3步驟，當(dāng)?shù)?步驟，將與第2號以后的輸入幀對應(yīng)的幾何變換后的幀、繪入輸出幀存儲器時，在到此為止的繪入結(jié)果上，覆蓋上與該輸入幀對應(yīng)的幾何變換后的幀。
全文摘要
在從基準(zhǔn)幀到之后任意幀數(shù)的幀為止的范圍內(nèi)，進(jìn)行動態(tài)圖像數(shù)據(jù)的手抖動補(bǔ)正的手抖動補(bǔ)正裝置中，具備將輸入幀和在時間上相對輸入幀為前一幀之間的幾何變換系數(shù)、即用于將輸入幀上的坐標(biāo)變換為在時間上相對輸入幀為前一幀上的坐標(biāo)的幾何變換系數(shù)，作為相鄰幀間的幾何變換系數(shù)計(jì)算出來的第1模塊；通過累積從基準(zhǔn)幀到輸入幀之間的各相鄰幀之間的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)的第2模塊；利用輸入幀和基準(zhǔn)幀之間的間接的幾何變換系數(shù)，計(jì)算出輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)的第3模塊；以及，使用輸入幀和基準(zhǔn)幀之間的直接的幾何變換系數(shù)，對輸入幀進(jìn)行手抖動補(bǔ)正的第4模塊。
文檔編號G06T7/20GK1638441SQ20041008222
公開日2005年7月13日 申請日期2004年9月16日 優(yōu)先權(quán)日2003年9月19日
發(fā)明者畑中晴雄, 千葉直樹 申請人:三洋電機(jī)株式會社