專利名稱：電視電影變換方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像變換技術(shù)，特別涉及將電影(cinema)方式的圖像信號(hào)變換成電視方式的圖像信號(hào)的技術(shù)。
背景技術(shù)：
電影方式的圖像(以下也簡(jiǎn)稱為電影圖像)一般是24幀/秒，另一方面，電視方式的圖像(以下也簡(jiǎn)稱為電視圖像)是30幀/秒。為此，在把電影圖像變換成電視圖像的，所謂電視電影變換中，常使用關(guān)于2幅電影圖像輸出3幅電視圖像，對(duì)接著的2幅電影圖像輸出2幅電視圖像，所謂的3∶2的拉片(pulldown)方式的圖像變換(例如專利文獻(xiàn)1、2)。
在最近，作為電視圖像采用逐行掃描方式的大型電視接收機(jī)正在增加。這時(shí)，電視電影變換最終不是從24幀/秒變換到30幀/秒，而是變換到60幀/秒。
日本專利申請(qǐng)公開特開2002-185933號(hào)公報(bào)[專利文獻(xiàn)2]日本專利申請(qǐng)公開特開2000-165822號(hào)公報(bào)[專利文獻(xiàn)3]日本專利特許第2927350號(hào)公報(bào)。
以往在一般的電視電影變換中，為了整合每秒的幀數(shù)，在拉片時(shí)權(quán)宜地插入在時(shí)間上逆行的幀或者半幀等，出現(xiàn)邏輯上的矛盾或者時(shí)間上的不統(tǒng)一的情況很多。
發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種在從電影圖像向電視圖像進(jìn)行變換時(shí)，避免邏輯上的矛盾使圖像質(zhì)量提高的技術(shù)。別的目的在于，在從電影圖像向電視圖像進(jìn)行變換時(shí)，避免插入在時(shí)間上逆行那樣的幀。進(jìn)而別的目的在于，提供與電視接收機(jī)的規(guī)格相符合的電視電影變換技術(shù)。
本發(fā)明涉及電視電影變換技術(shù)。該技術(shù)中的圖像匹配可利用本申請(qǐng)人先前在日本專利特許第2927350號(hào)中所提案的圖像匹配技術(shù)(以下稱為“前提技術(shù)”)。
本發(fā)明提供一種電視電影變換方法，包括輸入電影方式的幀的步驟；在所輸入的幀間實(shí)施二維匹配的步驟；以及以該匹配結(jié)果為基礎(chǔ)，生成上述幀間的中間幀的步驟；生成中間幀的步驟，對(duì)于4幅電影方式的幀，以5幅或者10幅的比例輸出中間幀，生成電視方式的幀。
由于中間幀基于圖像匹配而生成，因此能夠避免如以往的拉片處理那樣，權(quán)宜地2次輸出相同幀那樣的不妥當(dāng)?shù)奶幚怼?br>
替換以上的各步驟、或者在方法和裝置間，對(duì)表達(dá)全部或者部分替換或進(jìn)行追加，或者將表達(dá)變更成計(jì)算機(jī)程序、記錄介質(zhì)等，作為本發(fā)明也是有效的。
圖1(a)和圖1(b)對(duì)兩個(gè)人物的臉施加平均化濾波器后得到的圖像的半色調(diào)圖像的照片；圖1(c)和圖1(d)是在顯示器上顯示對(duì)兩個(gè)人物的臉以前提技術(shù)求得的P(5，0)的圖像的半色調(diào)圖像的照片；圖1(e)和圖1(f)是在顯示器上顯示對(duì)兩個(gè)人物的臉以前提技術(shù)求得的p(5，1)的圖像的半色調(diào)圖像的照片；圖1(g)和圖1(h)是在顯示器上顯示對(duì)兩個(gè)人物的臉以前提技術(shù)求得的p(5，2)的圖像的半色調(diào)圖像的照片；圖1(i)和圖1(i)是在顯示器上顯示對(duì)兩個(gè)人物的臉以前提技術(shù)求得的p(5，3)的圖像的半色調(diào)圖像的照片。
圖2(R)表示原來(lái)的四邊形，圖2(A)、圖2(B)、圖2(C)、圖2(D)、圖2(E)分別表示繼承四邊形。
圖3是用繼承四邊形表示始點(diǎn)圖像和終點(diǎn)圖像的關(guān)系，以及第m級(jí)和第m-1級(jí)的關(guān)系的圖。
圖4是表示參數(shù)η和能量Cf的關(guān)系的圖。
圖5(a)、圖5(b)表示通過矢量積計(jì)算來(lái)求得與某點(diǎn)相關(guān)的映射是否滿足全單射條件的情況。
圖6是表示前提技術(shù)的整體步驟的流程圖。
圖7是表示圖6中S1詳情的流程圖。
圖8是表示圖7中S10詳情的流程圖。
圖9是表示第m級(jí)圖像的一部分和第m-1級(jí)圖像的一部分的對(duì)應(yīng)關(guān)系的圖。
圖10是表示由前提技術(shù)生成的始點(diǎn)層級(jí)圖像的圖。
圖11是表示在進(jìn)入圖6的S2之前，準(zhǔn)備匹配評(píng)價(jià)的步驟的圖。
圖12是表示圖6中S2詳情的流程圖。
圖13是表示在第0級(jí)中確定副映射情況的圖。
圖14是表示在第1級(jí)中確定副映射情況的圖。
圖15是表示圖12中S21詳情的流程圖。
圖16表示對(duì)于某個(gè)f(m，s)，與改變?chǔ)硕蟮玫膄(m，s)(λ＝iΔλ)對(duì)應(yīng)的能量C(m，s)f的行為。
圖17表示與改變?chǔ)嵌蟮玫膄(n)(η＝iΔη)(i＝0，1，...)對(duì)應(yīng)的能量C(n)f的行為。
圖18是表示在改良后的前提技術(shù)中求取第m級(jí)中的副映射的流程圖。
圖19是實(shí)施形式的電視電影變換裝置的結(jié)構(gòu)圖。
圖20是表示圖19的裝置的第1模式的處理的圖。
圖21是表示圖19的裝置的第2模式的處理的圖。
具體實(shí)施例方式
首先，作為“前提技術(shù)”，詳細(xì)說(shuō)明在實(shí)施形式中利用的多重分辨率奇異點(diǎn)濾波器技術(shù)和使用了該技術(shù)的圖像匹配。這些技術(shù)是本申請(qǐng)人已經(jīng)獲得了日本專利第2927350號(hào)的技術(shù)，最適于與本發(fā)明進(jìn)行組合。但是，可在實(shí)施形式中采用的圖像匹配技術(shù)并不限于此。在圖19以后，具體說(shuō)明利用了前提技術(shù)的圖像處理技術(shù)。
開始，在[1]中詳細(xì)說(shuō)明前提技術(shù)的關(guān)鍵技術(shù)，在[2]中具體說(shuō)明處理步驟。進(jìn)而在[3]中對(duì)基于前提技術(shù)加以改良的各點(diǎn)進(jìn)行描述。
關(guān)鍵技術(shù)的詳細(xì)情況[1.1]引論引入被稱為奇異點(diǎn)濾波器的新的多重分辨率濾波器，正確計(jì)算圖像間的匹配。一概不需要有關(guān)對(duì)象的予備知識(shí)。圖像間匹配的計(jì)算，在進(jìn)入分辨率的層級(jí)間，各分辨率進(jìn)行計(jì)算。這時(shí)，按從粗級(jí)到精細(xì)級(jí)的順序逐步提高分辨率的層級(jí)。計(jì)算所需要的參數(shù)，通過與人的視覺系統(tǒng)相似的動(dòng)態(tài)計(jì)算，可完全自動(dòng)地進(jìn)行設(shè)定。不需要由人員特定圖像間的對(duì)應(yīng)點(diǎn)。
本前提技術(shù)，可以應(yīng)用于例如完全自動(dòng)的變形(morphing)、物體識(shí)別、立體照片測(cè)量、體繪制、從較少的幀生成平滑的動(dòng)態(tài)圖像等。用于變形(morphing)時(shí)，可以把給予的圖像自動(dòng)變形。用于體繪制時(shí)，可以正確地重新構(gòu)建出斷面間的中間圖像。在斷面間的距離較遠(yuǎn)，斷面的形狀變化較大的情況下也是一樣。
奇異點(diǎn)濾波器的層級(jí)前提技術(shù)中的多重分辨率奇異點(diǎn)濾波器，雖然降低了圖像分辨率，但能夠保存圖像所包含的各奇異點(diǎn)的亮度和位置。這里把圖像的寬度設(shè)為N，高度設(shè)為M。以下為了簡(jiǎn)單起見，假設(shè)N＝M＝2n(n為自然數(shù))。另外，把區(qū)間
∈R記述為I。將(i，j)中的圖像的像素記述為p(i，j)(i，j∈I)。
這里引入多重分辨率的層級(jí)。層級(jí)化后的圖像組用多重分辨率濾波器來(lái)生成。多重分辨率濾波器，對(duì)原來(lái)的圖像進(jìn)行二維搜索，檢測(cè)奇異點(diǎn)，抽取檢測(cè)到的奇異點(diǎn)，生成比原來(lái)圖像的分辨率更低的其他圖像。這里，將第m級(jí)中的各圖像的尺寸設(shè)為2m×2m(0≤m≤n)。奇異點(diǎn)濾波器按n減小的方向遞歸地構(gòu)成如下4種新的層級(jí)圖像。
p(i,j)(m,0)=min(min(p(2i,2j)(m+1,0),p(2i,2j+1)(m+1,0)),min(p(2i+1,2j)(m+1,0),p(2i+1,2j+1)(m+1,0)))]]>p(i,j)(m,1)=max(min(p(2i,2j)(m+1,1),p(2i,2j+1)(m+1,1)),min(p(2i+1,2j)(m+1,1),p(2i+1,2j+1)(m+1,1)))]]>p(i,j)(m,2)=min(max(p(2i,2j)(m+1,2),p(2i,2j+1)(m+1,2)),max(p(2i+1,2j)(m+1,2),p(2i+1,2j+1)(m+1,2)))]]>p(i,j)(m,3)=max(max(p(2i,2j)(m+1,3),p(2i,2j+1)(m+1,3)),max(p(2i+1,2j)(m+1,3),p(2i+1,2j+1)(m+1,3)))]]>但是這里設(shè)為(式1)p(i,j)(n,0)=p(i,j)(n,1)=p(i,j)(n,2)=p(i,j)(n,3)=p(i,j)]]>(式2)以后把這4個(gè)圖像稱為副圖像(子圖像)。如果將minx≤1≤x+1、maxx≤t≤x+1分別記為α和β，則副圖像可以分別記述如下。
P(m，0)＝α(x)α(y)p(m+1，0)P(m，1)＝α(x)β(y)p(m+1，1)P(m，2)＝β(x)α(y)p(m+1，2)P(m，3)＝β(x)β(y)p(m+1，3)即，可以把這些考慮成α和β的張量積。副圖像分別與奇異點(diǎn)相對(duì)應(yīng)。由這些公式可知，奇異點(diǎn)濾波器對(duì)原來(lái)的圖像，按每個(gè)以2×2像素構(gòu)成的塊來(lái)檢測(cè)奇異點(diǎn)。這時(shí)，在各塊的兩個(gè)方向，即縱向和橫向中，搜索具有最大像素值或最小像素值的點(diǎn)。作為像素值，前提技術(shù)采用的是亮度，但也可以采用與圖像有關(guān)的各種數(shù)值。在兩個(gè)方向上都成為最大像素值的像素，作為極大點(diǎn)來(lái)檢測(cè)；在兩個(gè)方向上都成為最小像素值的像素，作為極小點(diǎn)來(lái)檢測(cè)；在兩個(gè)方向的一個(gè)方向上成為最大像素值，并且在另一個(gè)方向上成為最小像素值的像素，作為鞍點(diǎn)來(lái)檢測(cè)。
奇異點(diǎn)濾波器通過用在各塊內(nèi)部檢測(cè)出的奇異點(diǎn)圖像(這里為1個(gè)像素)代表該塊的圖像(這里為4個(gè)像素)，從而降低圖像的分辨率。從奇異點(diǎn)的理論性觀點(diǎn)出發(fā)，α(x)α(y)保存極小點(diǎn)，β(x)β(y)保存極大點(diǎn)，α(x)β(y)和β(x)α(y)保存鞍點(diǎn)。
開始時(shí)，對(duì)應(yīng)取得匹配的始點(diǎn)(源)圖像和終點(diǎn)(目標(biāo))圖像分別施加奇異點(diǎn)濾波器處理，生成各自的一系列圖像組，即始點(diǎn)層級(jí)圖像和終點(diǎn)層級(jí)圖像。始點(diǎn)層級(jí)圖像和終點(diǎn)層級(jí)圖像，與奇異點(diǎn)的種類相對(duì)應(yīng)，各自生成4種。
之后，在一系統(tǒng)分辨率級(jí)中，取得始點(diǎn)層級(jí)圖像和終點(diǎn)層級(jí)圖像的匹配。首先，用p(m，0)取得極小點(diǎn)的匹配。然后，根據(jù)其結(jié)果，利用p(m，1)取得鞍點(diǎn)的匹配、利用p(m，2)取得其他鞍點(diǎn)的匹配。最后，利用p(m，3)取得極大點(diǎn)的匹配。
圖1(c)和圖1(d)分別表示圖1(a)和圖1(b)的副圖像p(5，0)。同樣，圖1(e)和圖1(f)表示p(5，1)、圖1(g)和圖1(h)表示p(5，2)、圖1(i)和圖1(j)表示p(5，3)。由這些圖可知，通過副圖像很容易取得圖像特征部分的匹配。首先通過p(5，0)，眼睛變得明確。因?yàn)檠劬υ谀樦惺橇炼鹊臉O小點(diǎn)。根據(jù)p(5，1)，嘴變得明確。因?yàn)樽斓臋M向亮度較低。根據(jù)p(5，2)，頭兩側(cè)的縱線變得明確。最后，根據(jù)p(5，3)，耳朵和臉頰最明亮的點(diǎn)變得明確。因?yàn)檫@些是亮度的極大點(diǎn)。
由于利用奇異點(diǎn)濾波器可以抽取圖像的特征，所以通過比較例如用照相機(jī)拍攝的圖像的特征和預(yù)先記錄的幾個(gè)對(duì)象的特征，就可以識(shí)別映在照相機(jī)中的被攝物體。
圖像間映射的計(jì)算將始點(diǎn)圖像的位置(i，j)的像素記為p(n)(i，j)，同樣，將終點(diǎn)圖像的位置(k，l)的像素記為q(n)(k，l)。設(shè)i j，k，l∈I。定義圖像間映射的能量(后述)。該能量通過始點(diǎn)圖像的像素的亮度和終點(diǎn)圖像的對(duì)應(yīng)像素的亮度的差、以及映射的平滑度來(lái)確定。開始，計(jì)算具有最小能量的p(m，0)和q(m，0)之間的映射f(m，0)p(m，0)→q(m，0)?；趂(m，0)，計(jì)算具有最小能量的p(m，1)、q(m，1)之間的映射f(m，1)。該過程一直持續(xù)到p(m，3)和q(m，3)之間的映射f(m，3)計(jì)算結(jié)束為止。將各映射f(m，i)(i＝0，1，2，...)稱為副映射。為了方便計(jì)算f(m，i)，i的順序可以如下式那樣重新排列。需要進(jìn)行重新排列的理由將在后面說(shuō)明。
f(m，i)p(m，σ(i))→q(m，σ(i))(式3)這里，σ(i)∈{0，1，2，3}。
全單射用映射來(lái)表現(xiàn)始點(diǎn)圖像和終點(diǎn)圖像間的匹配時(shí)，該映射必須滿足兩圖像間的全單射條件。因?yàn)閮蓤D像不存在概念上的優(yōu)劣，相互的像素應(yīng)該以全射且單射來(lái)連接。但是，與通常的情況不同，這里應(yīng)建立的映射為全單射的數(shù)字版。在前提技術(shù)中，像素通過網(wǎng)格點(diǎn)來(lái)確定。
從始點(diǎn)副圖像(針對(duì)始點(diǎn)圖像設(shè)定的副圖像)向終點(diǎn)副圖像(針對(duì)終點(diǎn)圖像設(shè)定的副圖像)映射通過f(m，s)I/2n-m×I/2n-m→I/2n-m×I/2n-m(s＝0，1，...)來(lái)表示。這里，f(m，s)(i，j)＝(k，l)表示始點(diǎn)圖像p(m，s)(i，j)被映射到終點(diǎn)圖像q(m，s)(k，l)。為了簡(jiǎn)單簡(jiǎn)單起見，在f(i，j)＝(k，l)成立時(shí)，將像素q(k，l)記述為qf(i，j)。
如用前提技術(shù)所處理的像素(網(wǎng)格點(diǎn))那樣，在數(shù)據(jù)是離散的情況下，全單射的定義就很重要。這里按如下所示進(jìn)行定義(設(shè)i，i’，j，j’，k，l全部為整數(shù))。首先，考慮在始點(diǎn)圖像的平面中由R標(biāo)示的各正方形區(qū)域p(i,j)(m,s)p(i+1,j)(m,s)p(i+1,j+1)(m,s)p(i,j+1)(m,s)]]>(式4)(i＝0，...，2m-1、j＝0，...，2m-1)。這里，R的各邊(edge)的方向如下所示來(lái)確定。
該正方形必須通過映射f映射到終點(diǎn)圖像平面中的四邊形上。通過f(m，s)(R)表示的四邊形qj(i,j)(m,s)qj(i+1,j)(m,s)qf(i+1,j+1)(m,s)qf(i+1,j+1)(m,s)]]>(式6)必須滿足以下的全單射條件。
1.四邊形f(m，s)(R)的邊互不交差。
2.f(m，s)(R)的邊的方向與R的相等(圖2時(shí)，按順時(shí)針方向)。
3.作為放寬條件，允許收縮映射(收縮映射retractions)。
因?yàn)橹灰辉O(shè)置某種放寬條件，只有單位映射能夠完全滿足全單射條件。這里，f(m，s)(R)的一邊長(zhǎng)度可以為0，也就是說(shuō)f(m，s)(R)可以成為三角形。但是，不能成為面積為0的圖形，即不能成為1點(diǎn)或1條線。圖2(R)為原來(lái)的四邊形時(shí)，圖2(A)和圖2(D)滿足全單射條件，但圖2(B)、圖2(C)、圖2(E)不滿足。
在實(shí)際的實(shí)施中，可以進(jìn)一步增加以下的條件，使得容易保證映射是全射。這就是說(shuō)，始點(diǎn)圖像的邊界上的各像素，被投影為在終點(diǎn)圖像中占據(jù)相同位置的像素。也就是說(shuō)，f(i，j)＝(i，j)(但是在i＝0，i＝2m-1，j＝0，j＝2m-1的4條線上)。下面也將該條件稱為“付加條件”。
映射的能量[1.3.2.1]關(guān)于像素的亮度的負(fù)荷(cost)定義映射f的能量。目的是搜尋能量最小的映射。能量主要由始點(diǎn)圖像的像素的亮度和與此對(duì)應(yīng)的終點(diǎn)圖像的像素的亮度的差來(lái)確定。也就是說(shuō)，映射f(m，s)的點(diǎn)(i，j)的能量C(m，s)(i，j)通過下式來(lái)確定。
C(i,j)(m,s)=|V(p(i,j)(m,s))-V(qf(i,j)(m,s))|2]]>(式7)這里，V(p(m，s)(i，j))和V(q(m，s)f(i，j))分別是像素p(m，s)(i，j)和q(m，s)f(i，j)的亮度。f的總的能量C(m，s)是評(píng)價(jià)匹配的一個(gè)評(píng)價(jià)式，可以用如下所示的C(m，s)(i，j)的求和計(jì)算來(lái)定義。
Cf(m,s)=Σi=0i=2m-1Σj=0j=2m-1C(i,j)(m,s)]]>(式8)[1.3.2.2]關(guān)于為進(jìn)行平滑映射的像素位置的價(jià)值為了得到平滑的映射，引入與映射相關(guān)的其他能量Df。該能量與像素的亮度無(wú)關(guān)，由p(m，s)(i，j)和q(m，s)f(i，j)的位置來(lái)確定(i＝0，...，2m-1，j＝0，...，2m-1)。點(diǎn)(i，j)中的映射f(m，s)的能量D(m，s)(i，j)通過下式來(lái)定義。
D(i,j)(m,s)=ηE0(i,j)(m,s)+E1(i,j)(m,s)]]>(式9)但是，系數(shù)參數(shù)η是最小為0的實(shí)數(shù)，另外，設(shè)E0(i,j)(m,s)=||(i,j)-f(m,s)(i,j)||2]]>(式10)E1(i,j)(m,s)=Σi′=i-1iΣj′=j-1j||(f(m,s)(i,j)-(i,j))-(f(m,s)(i′,j′)-(i′,j′))||2/4]]>這里||(x,y)||=x2+y2]]>(式11)(式12)對(duì)于i’＜0和j’＜0，f(i’，j’)確定為0。E0用(i，j)和f(i，j)的距離來(lái)確定。E0防止像素投影到過分遠(yuǎn)離的像素。但是，E0在后面用其他能量函數(shù)來(lái)替換。E1保證映射的平滑度。E1表示P(i，j)的位移和其相鄰點(diǎn)位移之間的間隔。根據(jù)以上討論，作為評(píng)價(jià)匹配的其他評(píng)價(jià)式的能量Df通過下式來(lái)確定。
Df(m,s)=Σi=0i=2m-1Σj=0j=2m-1D(i,j)(m,s)]]>(式13)[1.3.2.3]映射的總能量映射的總能量、即與多個(gè)評(píng)價(jià)式的綜合相關(guān)的綜合評(píng)價(jià)式用λC(m，s)f+D(m，s)f來(lái)定義。這里，系數(shù)參數(shù)λ是最小為0的實(shí)數(shù)。目的在于，檢測(cè)出綜合評(píng)價(jià)式取極值的狀態(tài)，即找出給予下式所示的最小能量的映射。
minfλCf(m,s)+Df(m,s)]]>(式14)λ＝0和η＝0時(shí)，要注意映射將變成單位映射(也就是說(shuō)，對(duì)于所有的i＝0，...，2m-1以及j＝0，...，2m-1，f(m，s)(i，j)＝(i，j))。如后面所述，在本前提技術(shù)中先評(píng)價(jià)λ＝0和η＝0時(shí)的情況，所以可以使映射從單位映射慢慢變形。假如改變綜合評(píng)價(jià)式中λ的位置而定義為C(m，s)f+λD(m，s)f，則在λ＝0和η＝0的情況下，綜合評(píng)價(jià)式僅為C(m，s)f，本來(lái)沒有任何關(guān)聯(lián)的像素之間單純因?yàn)榱炼冉咏毁x予對(duì)應(yīng)關(guān)系，映射變得沒有意義。即使以這種無(wú)意義的映射為基礎(chǔ)使映射變形，也完全沒有意義。因此，要考慮系數(shù)參數(shù)的給出方法，使得單位映射在評(píng)價(jià)的開始時(shí)刻，被選擇作為最佳的映射。
光流(optical flow)也與該前提技術(shù)一樣，要考慮像素的亮度差和平滑度。但是，光流不能用來(lái)進(jìn)行圖像的變換。因?yàn)槠渲豢紤]對(duì)象的局部運(yùn)動(dòng)。通過使用前提技術(shù)中的奇異點(diǎn)濾波器，可以檢測(cè)出大區(qū)域的對(duì)應(yīng)關(guān)系。
通過引入多重分辨率確定映射給予最小能量，用多重分辨率的層級(jí)來(lái)求得滿足全單射條件的映射fmin。在各分辨率級(jí)中計(jì)算始點(diǎn)副圖像和終點(diǎn)副圖像間的映射。從分辨率層級(jí)的最上位(最粗的級(jí))開始，考慮其他級(jí)映射的同時(shí)確定各分辨率級(jí)的映射。各級(jí)中的映射的候選數(shù)，通過使用更高、即更粗級(jí)的映射來(lái)加以限制。更具體說(shuō)，在確定某級(jí)中的映射時(shí)，在比其更粗一級(jí)的級(jí)中求得的映射作為一種約束條件來(lái)使用。
首先，(i′,j′)=([i2],[j2])]]>(式15)成立時(shí)，將p(m-1，s)(i’，j’)、q(m-1，s)(i’，j’)分別稱作p(m，s)(i，j)、q(m，s)(i，j)的parent。[x]為不超過x的最大整數(shù)。另外，將p(m，s)(i，j)、q(m，s)(i，j)分別稱作p(m-1，s)(i’，j’)、q(m-1，s)(i’，j’)的child。函數(shù)parent(i，j)由下式定義。
parent(i,j)=([i2],[j2])]]>(式16)p(m，s)(i，j)和q(m，s)(k，l)之間的映射f(m，s)通過進(jìn)行能量計(jì)算，找出最小值來(lái)確定。f(m，s)(i，j)＝(k，l)的值通過使用f(m-1，s)(m＝1，2，...，n)，如下所示來(lái)確定。首先，對(duì)q(m，s)(k，l)課以必須滿足在下面的四邊形內(nèi)部這一條件，并篩選出滿足全單射條件的映射中現(xiàn)實(shí)性較高的。
qg(m,s)(i-1,j-1)(m,s)qg(m,s)(i-1,j+1)(m,s)qg(m,s)(i+1,j+1)(m,s)qg(m,s)(i+1,j-1)(m,s)]]>(式17)但這里是g(m，s)(i，j)＝f(m-1，s)(parent(i，j))+f(m-1，s)+(parent((i，j)+(1，1)))(式18)。下面，將這樣確定的四邊形稱為p(m，s)(i，j)的繼承(inherited)四邊形。在繼承四邊形的內(nèi)部，求出使能量最小的像素。
圖3表示以上的步驟。在該圖中，始點(diǎn)圖像A、B、C、D的像素，在第m-1級(jí)中分別向終點(diǎn)圖像的A’、B’、C’、D’投影。像素p(m，s)(i，j)必須向存在于繼承四邊形A’B’C’D’內(nèi)部的像素q(m，s)f(m)(i，j)投影。根據(jù)以上的考慮，從第m-1級(jí)的映射向第m級(jí)的映射進(jìn)行搭橋。
為了計(jì)算第m層級(jí)中副映射f(m，0)，將前面定義的能量E0替換為下式。
E0(i,j)=||f(m,0)(i,j)-g(m)(i,j)||2]]>(式19)另外，為了計(jì)算副映射f(m，s)，使用下式。
E0(i,j)=||f(m,s)(i,j)-f(m,s-1)(i,j)||2(1≤i)]]>(式20)這樣，就得到了將所有副映射的能量保持較低值的映射。通過式20，使與不同的奇異點(diǎn)相對(duì)應(yīng)的副映射，在同一級(jí)內(nèi)相關(guān)聯(lián)，以使多個(gè)副映射之間的近似度增高。式19表示f(m，s)(i，j)，與考慮為第m-1層級(jí)像素的一部分的(i，j)應(yīng)被投影的點(diǎn)的位置之間的距離。
假定繼承四邊形A’B’C’D’的內(nèi)部不存在滿足全單射條件的像素，則采取以下措施。首先，檢查與A’B’C’D’分界線的距離為L(zhǎng)(開始時(shí)L＝1)的像素。其中，如果能量最小的滿足全單射條件，則將其選擇為f(m，s)(i，j)的值。一直增大L，直到發(fā)現(xiàn)這樣的點(diǎn)，或者L到達(dá)其上限L(m)max。L(m)max對(duì)于各級(jí)m是固定的。如果完全沒有發(fā)現(xiàn)這樣的點(diǎn)，則暫時(shí)忽略全單射的第3條件，認(rèn)為是變換目標(biāo)的四邊形的面積為零的映射，確定f(m，s)(i，j)。這樣仍不能發(fā)現(xiàn)滿足條件的點(diǎn)時(shí)，則將全單射的第1和第2條件予以剔除。
為了避免映射被圖像細(xì)部所影響，并確定圖像間全局的對(duì)應(yīng)關(guān)系，使用多重分辨率的近似法是必須的。如果采用利用多重分辨率的近似法，則不能找出距離較遠(yuǎn)的像素間的對(duì)應(yīng)關(guān)系。在這種情況下，必須將圖像的尺寸限制到極小，只能處理變化小的圖像。而且，因?yàn)閷?duì)通常映射要求平滑度，就難以找出這種像素間的對(duì)應(yīng)關(guān)系。因?yàn)閺挠芯嚯x的像素向像素的映射能量較高。根據(jù)利用多重分辨率的近似法，就可以找出這種像素間適當(dāng)?shù)膶?duì)應(yīng)關(guān)系。因?yàn)樗鼈兊木嚯x，在分辨率層級(jí)的上位級(jí)(粗級(jí))中較小。
最佳參數(shù)值的自動(dòng)確定已有的匹配技術(shù)的主要缺點(diǎn)之一就是調(diào)整參數(shù)比較困難。大部分情況下，通過人工作業(yè)來(lái)調(diào)整參數(shù)，選擇最佳值極為困難。如果采用與前提技術(shù)相關(guān)的方法，則可以完全地自動(dòng)確定最佳參數(shù)值。
前提技術(shù)的系統(tǒng)包含有兩個(gè)參數(shù)λ和η。簡(jiǎn)言之，λ是像素亮度差的權(quán)重，η表示映射的剛性。這些參數(shù)的值，初始值為0，首先固定η＝0，將λ從0開始慢慢增加。如果λ值變大，而綜合評(píng)價(jià)式(式14)的值成為最小，那么與各副映射有關(guān)的C(m，s)f值一般情況下會(huì)變小。這一現(xiàn)象意味著基本上兩個(gè)圖像必須更加匹配。但是，如果λ超過最佳值，則會(huì)發(fā)生以下的現(xiàn)象。
1.本來(lái)不應(yīng)該對(duì)應(yīng)的像素之間，只因?yàn)榱炼冉咏诲e(cuò)誤地進(jìn)行對(duì)應(yīng)。
2.其結(jié)果，像素之間的對(duì)應(yīng)關(guān)系發(fā)生錯(cuò)誤，映射開始崩潰。
3.其結(jié)果，在式14中D(m，s)f將急劇增加。
4.其結(jié)果，由于式14的值急劇增加，所以f(m，s)發(fā)生變化，使得抑制D(m，s)f的急劇增加，結(jié)果C(m，s)f增加。
因此，繼續(xù)維持增加λ的同時(shí)式14取最小值這一狀態(tài)，檢測(cè)C(m，s)f從減少轉(zhuǎn)為增加的閥值，該λ作為η＝0時(shí)的最佳值。然后，一點(diǎn)點(diǎn)地增加η，檢查C(m，s)f的變化，用后述方法自動(dòng)確定η。與該η相對(duì)應(yīng)，也確定λ。
該方法與人視覺系統(tǒng)的焦點(diǎn)機(jī)構(gòu)動(dòng)作相似。在人的視覺系統(tǒng)中，一只眼睛在動(dòng)時(shí)，左右兩眼的圖像同時(shí)獲得匹配。當(dāng)能夠清晰地看到對(duì)象時(shí)，該眼睛就被固定。
λ的動(dòng)態(tài)確定將λ從0開始以預(yù)定的步幅增加，每當(dāng)λ的值變化時(shí)，副映射就被評(píng)價(jià)。如式14所示，總能量由λC(m，s)f+D(m，s)f來(lái)定義。式9的D(m，s)f表示的是平滑度，理論上來(lái)講，如果是單位映射就成為最小，映射越偏斜，E0、E1都將增加。由于E1是整數(shù)，所以D(m，s)f的最小步幅為1。因此，如果當(dāng)前的λC(m，s)(i，j)的變化(減少量)不高于1，則通過使映射變化，就可以減少總能量。這是因?yàn)?，隨著映射的變化，D(m，s)f至少增加1，只要λC(m，s)(i，j)不減少1或1以上，總能量就不會(huì)減少。
在此條件下，隨著λ的增加，正常情況下表示C(m，s)(i，j)減少。將C(m，s)(i，j)的直方圖記為h(l)。h(l)是能量C(m，s)(i，j)為l2的像素?cái)?shù)。為了保證λl2≥1成立，可以考慮例如l2＝l/λ的情況。在λ從λ1至λ2微量變化時(shí)，用 (式21)表示的A個(gè)像素，變化為比具有Cf(m,s)-l2=Cf(m,s)-1λ]]>(式22)能量更穩(wěn)定的狀態(tài)。這里假定這些像素的能量全都近似為零。該式表示C(m，s)f的值僅變化∂Cf(m,s)=-Aλ]]>(式23)
，其結(jié)果，∂Cf(m,s)∂λ=-h(l)λ5/2]]>(式24)成立。由于h(l)＞0，所以通常C(m，s)f減少。但是，當(dāng)λ要超過最佳值時(shí)，就會(huì)發(fā)生上述現(xiàn)象，即C(m，s)f增加。通過檢測(cè)該現(xiàn)象，確定λ的最佳值。
另外，當(dāng)H(h＞0)和k假定為常數(shù)時(shí)，如果假設(shè)h(l)=Hlk=Hλk/2]]>(式25)則∂Cf(m,s)∂λ=-Hλ5/2+k/2]]>(式26)成立。這時(shí)如果k≠-3，則變?yōu)镃f(m,s)=C+H(3/2+k/2)λ3/2+k/2]]>(式27)。這是C(m，s)f的一般式(C為常數(shù))。
在檢測(cè)λ的最佳值時(shí)，為保險(xiǎn)起見，也可以檢查不符合全單射條件的像素?cái)?shù)。這里，在確定各像素的映射時(shí)，假設(shè)不符合全單射條件的概率為p0。在這種情況下，由于∂A∂λ=h(l)λ3/2]]>(式28)成立，所以不符合全單射條件的像素?cái)?shù)按下式的比率增加。
B0=h(l)p0λ3/2]]>(式29)因此，
B0λ3/2p0h(l)=1]]>(式30)為常數(shù)。在假定h(l)＝Hlk時(shí)，例如B0λ3/2+k/2＝p0H (式31)成為常數(shù)。但是，一旦λ超過最佳值，上面的值會(huì)急速增加。檢測(cè)該現(xiàn)象，檢查B0λ3/2+k/2/2m的值是否超過異常值B0thres，，可以確定λ的最佳值。同樣，通過檢查B1λ3/2+k/2/2m的值是否超過異常值B1thres，確認(rèn)不符合全單射的第3條件的像素的增加率B1。引入因數(shù)2m的原因?qū)⒃诤竺嬲f(shuō)明。該系統(tǒng)對(duì)這兩個(gè)閥值都不敏感。這些閥值可以在能量C(m，s)f的觀察中用于檢測(cè)受損映射的過度偏斜。
但是，在實(shí)驗(yàn)中，在計(jì)算副映射f(m，s)時(shí)，如果λ超過了0.1，就停止f(m，s)的計(jì)算，轉(zhuǎn)至f(m，s+1)的計(jì)算。因?yàn)楫?dāng)λ＞0.1時(shí)，在像素的亮度255級(jí)中僅有“3”的差異影響到副映射的計(jì)算，而當(dāng)λ＞0.1時(shí)，難以得到正確的結(jié)果。
直方圖h(l)C(m，s)f的檢查不依賴于直方圖h(l)。在檢查全單射和其第3條件時(shí)，可能影響到h(l)。實(shí)際上對(duì)(λ，C(m，s)f)作圖后，k通常在1附近。實(shí)驗(yàn)中采用k＝1，檢查B0λ2和B1λ2。假如k的真正值不足1，則B0λ2和B1λ2不為常數(shù)，而是隨因數(shù)λ(1-k)/2慢慢增加。如果h(l)為常數(shù)，則例如因數(shù)則為λ1/2。但是，可以通過正確設(shè)定閥值B0thres來(lái)吸收此差這里，如下式所示，假設(shè)始點(diǎn)圖像是以(x0，y0)為中心，半徑為r的圓形對(duì)象。
p(i,j)=255rc((i-x0)2+(j-y0)2)((i-x0)2+(j-y0)2≤r)0(otherwise)]]>(式32)另一方面，假設(shè)終點(diǎn)圖像是如下式所示的中心為(x1，y1)、半徑為r的對(duì)象。
q(i,j)=255rc((i-x1)2+(j-y1)2)((i-x1)2+(j-y1)2≤r)0(otherwise)]]>(式33)這里，假設(shè)c(x)為c(x)＝xk的形式。中心(x0，y0)和(x1，y1)充分遠(yuǎn)時(shí)，直方圖h(l)如下式所示。
h(l)∝rlk(k≠0)(式34)當(dāng)k＝1時(shí)，圖像表示具有被埋在背景中的鮮明的分界線的對(duì)象。該對(duì)象中心較暗，向周圍延伸越來(lái)越明亮。當(dāng)k＝-1時(shí)，圖像表示具有模糊的分界線的對(duì)象。該對(duì)象中心最亮，向周圍延伸越來(lái)越暗。考慮一般的對(duì)象處于這兩種類型的對(duì)象的中間，不喪失一般性。因此，k作為-1≤k≤1時(shí)可覆蓋大部分情況，保證式27一般為減函數(shù)。
但是，從式34可知，r受圖像的分辨率影響。也就是說(shuō)應(yīng)該注意r與2m成比例。因此，在[1.4.1]中引入因數(shù)2m。
η的動(dòng)態(tài)確定參數(shù)η也可用同樣的方法自動(dòng)確定。開始時(shí)設(shè)η＝0，計(jì)算最細(xì)分辨率中的最終映射f(n)和能量C(n)f。接著，使η僅增加某個(gè)值Δη，再重新計(jì)算最細(xì)分辨率中的最終映射f(n)和能量C(n)f。這一過程持續(xù)到求出最佳值。η表示映射的剛性。這是因?yàn)橄率降臋?quán)重的緣故。
E0(i,j)(m,s)=||f(m,s)(i,j)-f(m,s-1)(i,j)||2]]>(式35)η為0時(shí)，D(n)f與之前的副映射無(wú)關(guān)地進(jìn)行確定，當(dāng)前的副映射發(fā)生彈性變形，過度偏斜。另一方面，當(dāng)η為非常大的值時(shí)，D(n)f幾乎完全由之前的副映射確定。這時(shí)副映射的剛性非常高，像素被投影到相同地方。結(jié)果，映射成為單位映射。η的值從0開始遞增時(shí)，如后面所述那樣，C(n)f慢慢減少。但是，η值超過最佳值后，如圖4所示那樣，能量開始增加。該圖的X軸為η，Y軸為Cf。
利用這種方法可以得到使C(n)f最小的最佳的η值。但是，與λ的情況相比，各種要素對(duì)計(jì)算產(chǎn)生影響的結(jié)果，C(n)f呈現(xiàn)微小的波動(dòng)地進(jìn)行變化。因?yàn)樵讦说那闆r下，輸入每進(jìn)行微量變化，就僅重新計(jì)算1次副映射，而在η的情況下，要重新計(jì)算所有的副映射。因此，無(wú)法立即判斷所得到的C(n)f值是否是最小值。如果找到最小值的候選，還必須通過設(shè)定更細(xì)的區(qū)間，來(lái)搜索真正的最小值。
超級(jí)取樣在確定像素間的對(duì)應(yīng)關(guān)系時(shí)，為了增加自由度，可以將f(m，s)的值域擴(kuò)展到R×R(R為實(shí)數(shù)集合)。在這種情況下，插值終點(diǎn)圖像像素的亮度，提供具有非整數(shù)點(diǎn)V(qf(m,s)(i,j)(m,s))]]>(式36)中的亮度的f(m，s)。即進(jìn)行超級(jí)取樣。在實(shí)驗(yàn)中，允許f(m，s)取整數(shù)和半整數(shù)值，V(q(i,j)+(0.5,0.5)(m,s))]]>(式37)是由(V(q(i,j)(m,s))+V(q(i,j)+(1,1)(m,s)))/2]]>(式38)給予的。
各圖像的像素的亮度的歸一化當(dāng)始點(diǎn)圖像和終點(diǎn)圖像包含極為不同的對(duì)象時(shí)，計(jì)算映射時(shí)難以就此利用原來(lái)像素的亮度。這是因?yàn)?，由于亮度差很大，所以與亮度相關(guān)的能量C(m，s)f過大，很難做出正確的評(píng)價(jià)。
例如，考慮獲取人的臉和貓的臉相匹配的情況。貓的臉被毛所覆蓋，非常亮的像素和非常暗的像素混雜在一起。在這種情況下，為了計(jì)算兩個(gè)臉之間的副映射，首先要使副圖像歸一化。也就是說(shuō)，最暗像素的亮度設(shè)定為0，最亮像素的亮度設(shè)定為255，其他像素的亮度通過線性插值來(lái)求得。
實(shí)施(implementation)按照始點(diǎn)圖像的掃描，計(jì)算采用線性進(jìn)行的歸納式方法。首先，關(guān)于最上邊左端的像素(i，j)＝(0，0)，確定f(m，s)的值。然后，使I每增加1，就確定各f(m，s)(i，j)的值。當(dāng)i的值達(dá)到圖像的寬度時(shí)，使j的值增加1，i返回0。以后，隨著始點(diǎn)圖像的掃描，確定f(m，s)(i，j)。如果對(duì)于所有的點(diǎn)都確定了像素的對(duì)應(yīng)，則確定一個(gè)映射f(m，s)。
對(duì)于某p(i，j)，如果確定了對(duì)應(yīng)點(diǎn)qf(i，j)，則接下來(lái)p(i，j+1)的對(duì)應(yīng)點(diǎn)qf(i，j+1)也被確定。此時(shí)，qf(i，j+1)的位置為了滿足全單射條件，被qf(i，j)的位置所限制。因此，越是先確定對(duì)應(yīng)點(diǎn)的點(diǎn)，在該系統(tǒng)中優(yōu)先級(jí)就越高。(0，0)總是持續(xù)處于最優(yōu)先的狀態(tài)下時(shí)，對(duì)所求得的最終映射施加多余的偏向。在本前提技術(shù)中為了避免此狀態(tài)，通過以下方法來(lái)確定f(m，s)。
首先，(s mod 4)為0時(shí)，以(0，0)為始點(diǎn)，慢慢增加I和j的同時(shí)確定f(m，s)。(s mod 4)為1時(shí)，以最上行的右端點(diǎn)為始點(diǎn)，減少i、增加j的同時(shí)確定f(m，s)。(s mod 4)為2時(shí)，以最下行的右端點(diǎn)為始點(diǎn)，減少I和j的同時(shí)確定f(m，s)。(s mod 4)為3時(shí)，以最下行的左端點(diǎn)為始點(diǎn)，增加i、減少j的同時(shí)確定f(m，s)。在分辨率最細(xì)的第n級(jí)中，由于副映射這一概念，即參數(shù)s不存在，則假定s＝0和s＝2，連續(xù)計(jì)算兩個(gè)方向。
在實(shí)際實(shí)施中，通過對(duì)不符合全單射條件的候選給予懲罰，而從候選(k，l)當(dāng)中盡可能選出滿足全單射條件的f(m，s)(i，j)(m＝0，...，n)值。對(duì)不符合第3條件的候選的能量D(k，l)乘以，另一方面，對(duì)不符合第1或第2條件的候選乘以ψ。本次使用了＝2，ψ＝100000。
為了檢查上述全單射條件，作為實(shí)際過程，在確定(k，l)＝f(m，s)(i，j)時(shí)，進(jìn)行了以下的測(cè)試。也就是說(shuō)對(duì)f(m，s)(i，j)的繼承四邊形所包含的各網(wǎng)格點(diǎn)(k，l)，確認(rèn)下式的外積的z成分是否大于等于0。
W=A→×B→]]>(式39)但是這里是
(式40) (式41)(這里，矢量為三維矢量，在正交右手座標(biāo)系中定義z軸)。如果W為負(fù)，則對(duì)于其候選，通過D(m，s)(k，1)乘以ψ來(lái)施加懲罰，盡量不選擇。
圖5(a)，圖5(b)表示檢查該條件的理由。圖5(a)表示無(wú)懲罰的候選，圖5(b)表示有懲罰的候選。在確定對(duì)相鄰像素(i，j+1)的映射f(m，s)(i，j+1)時(shí)，如果W的z成分為負(fù)，則在始點(diǎn)圖像平面上不存在滿足全單射條件的像素。原因是，q(m，s)(k，l)超過了相鄰的四邊形的邊界線。
副映射的順序在實(shí)施中，分辨率級(jí)為偶數(shù)時(shí)，使用σ(0)＝0，σ(1)＝1，σ(2)＝2，σ(3)＝3，σ(4)＝0，為奇數(shù)時(shí)使用σ(0)＝3，σ(1)＝2，σ(2)＝1，σ(3)＝0，σ(4)＝3。由此，對(duì)副映射進(jìn)行了適當(dāng)?shù)幕煜?shuffle)。另外，本來(lái)副映射為4種，s為0～3的某一個(gè)。但是，實(shí)際上進(jìn)行了相當(dāng)于s＝4的處理。其理由將于后面說(shuō)明。
插值計(jì)算始點(diǎn)圖像和終點(diǎn)圖像間的映射被確定后，插值相互對(duì)應(yīng)的像素的亮度。實(shí)驗(yàn)中采用了試行線性插值。假設(shè)始點(diǎn)圖像平面中的正方形p(i，j)p(i+1，j)p(i，j+1)p(i+1，j+1)被投影到終點(diǎn)圖像平面上的四邊形qf(i，j)qf(i+1，j)qf(i，j+1)qf(i+1，j+1)。為了簡(jiǎn)單起見，將圖像間的距離設(shè)為1。距始點(diǎn)圖像平面的距離為t(0≤t≤1)的中間圖像的像素r(x，y，t)(0≤x≤N-1，0≤y≤M-1)按以下的方法來(lái)求得。首先，用下式求出像素r(x，y，t)的位置(但是x，v，t∈R)。(x，y)＝(1-dx)(1-dy)(1-t)(i，j)+(1-dx)(1-dy)tf(i，j)+dx(1-dy)(1-t)(i+1，j)+dx(1-dy)tf(i+1，j)+(1-dx)dy(1-t)(i，j+1)+(1-dx)dytf(i，j+1)+dxdy(1-t)(i+1，j+1)+dxdytf(i+1，j+1)(式42)接著用下式確定r(x，y，t)中的像素的亮度。V(r(x，y，t))＝(1-dx)(1-dy)(1-t)V(p(i，j))+(1-dx)(1-dy)tV(qf(i，j))+dx(1-dy)(1-t)V(p(i+1，j))+dx(1-dy)tV(qf(i+1，j))+(1-dx)dy(1-t)V(p(i，j+1))+(1-dx)dytV(qf(i，j+1))+dxdy(1-t)V(p(i+1，j+1))+dxdytV(qf(i+1，j+1))(式43)這里dx和dy為參數(shù)，從0到1變化。
課以約束條件時(shí)的映射至此說(shuō)明了完全不存在約束條件時(shí)的映射的確定。但是，在對(duì)始點(diǎn)圖像和終點(diǎn)圖像的特定像素間預(yù)先規(guī)定了對(duì)應(yīng)關(guān)系時(shí)，可以將此作為約束條件而確定映射。
基本思路是，首先，通過將始點(diǎn)圖像的特定像素轉(zhuǎn)移到終點(diǎn)圖像的特定像素這一粗略的映射，使始點(diǎn)圖像粗略變形，然后，正確計(jì)算映射f。
首先，確定將始點(diǎn)圖像的特定像素投影到終點(diǎn)圖像的特定像素、將始點(diǎn)圖像的其他像素投影到適當(dāng)?shù)奈恢玫拇致缘挠成洹＜?，是接近特定像素的像素被投影到該特定像素所投影的地方附近的映射。這里將第m級(jí)的粗略的映射記為F(m)。
粗略的映射F按以下方法來(lái)確定。首先，對(duì)幾個(gè)像素特定映射。在對(duì)始點(diǎn)圖像特定ns個(gè)像素p(i0,j0),p(i1,j1),...,p(ins-1,jns-1)]]>(式44)時(shí)，確定以下的值。
F(n)(i0，j0)＝(k0，l0)，F(xiàn)(n)(i1，j0)＝(k1，l1)，...，F(xiàn)(n)(ins-1,jns-1)=(kns-1,lns-1)]]>(式45)始點(diǎn)圖像的其他像素的位移量是對(duì)p(ih，jh)(h＝0，...，ns-1)的位移加權(quán)求得的平均值。也就是說(shuō)，像素p(i，j)影到終點(diǎn)圖像的以下像素。
F(m)(i,j)=(i,j)+Σh=0h=ns-1(kh-ih,lh-jh)weighth(i,j)2n-m]]>(式46)但是這里設(shè)weighth(i,j)=1/||(ih-i,jh-j)||2total weight(i,j)]]>(式47)total weight(i,j)=Σh=0h=ns-11/||(ih-i,jh-j)||2]]>(式48)接下來(lái)，為了使接近F(m)候選映射f擁有更少的能量，改變?cè)撚成鋐的能量D(m，s)(i，j)。正確地說(shuō)，D(m，s)(i，j)是D(i,j)(m,s)=E0(i,j)(m,s)+ηE1(i,j)(m,s)+κE2(i,j)(m,s)]]>(式49)。但是， (式50)，設(shè)κ，ρ≥0。最后，根據(jù)上述映射的自動(dòng)計(jì)算過程，完全確定f。
這里，f(m，s)(i，j)與F(m)(i，j)充分接近時(shí)，也就是說(shuō)，它們之間的距離在[ρ222(n-m)]]]>(式51)以內(nèi)時(shí)，應(yīng)該注意E2(m，s)(i，j)成為0。這樣定義的理由是，只要各f(m，s)(i，j)與F(m)(i，j)充分接近，就想自動(dòng)確定其值，使得在終點(diǎn)圖像中能落在適當(dāng)?shù)奈恢?。根?jù)這一理由，無(wú)須詳細(xì)特定正確的對(duì)應(yīng)關(guān)系，始點(diǎn)圖像被自動(dòng)映射地與終點(diǎn)圖像相匹配。
具體的處理步驟說(shuō)明由[1]的各關(guān)鍵技術(shù)進(jìn)行的處理的流程。
圖6為表示前提技術(shù)整體步驟的流程圖。如該圖所示，首先進(jìn)行使用了多重分辨率奇異點(diǎn)濾波器的處理(S1)，接著獲得始點(diǎn)圖像和終點(diǎn)圖像的匹配(S2)。但是，S2并不是必須的步驟，也可以根據(jù)由S1得到的圖像特征進(jìn)行圖像識(shí)別等處理。
圖7為表示圖6中的S1的詳情的流程圖。這里是以在S2中獲得始點(diǎn)圖像和終點(diǎn)圖像的匹配為前提的。為此，首先通過奇異點(diǎn)濾波器進(jìn)行始點(diǎn)圖像的層級(jí)化(S10)，得到一系列始點(diǎn)層級(jí)圖像。接著用同樣的方法進(jìn)行終點(diǎn)圖像的層級(jí)化(S11)，得到一系列終點(diǎn)層級(jí)圖像。但是，S10和S11的順序是任意的，也可以并行生成始點(diǎn)層級(jí)圖像和終點(diǎn)層級(jí)圖像。
圖8為表示圖7中的S10詳情的流程圖。假設(shè)原來(lái)的始點(diǎn)圖像的尺寸是2n×2n。因?yàn)槭键c(diǎn)層級(jí)圖像是按照從分辨率細(xì)開始的順序制作的，所以將表示處理對(duì)象的分辨率級(jí)的參數(shù)m設(shè)定為n(S100)。接下來(lái)，用奇異點(diǎn)濾波器從第m級(jí)的圖像p(m，0)、p(m，1)、p(m，2)、p(m，3)中檢測(cè)出奇異點(diǎn)(S101)，分別生成第m-1級(jí)的圖像p(m-1，0)、p(m-1，1)、p(m-1，2)、p(m-1，3)(S102)。這里，由于m＝n，所以p(m，0)＝p(m，1)＝p(m，2)＝p(m，3)＝p(n)，從一個(gè)始點(diǎn)圖像生成4種副圖像。
圖9表示第m級(jí)圖像的一部分和第m-1級(jí)圖像的一部分的對(duì)應(yīng)關(guān)系。該圖的數(shù)值表示各像素的亮度。該圖的p(m，s)是象征p(m，0)～p(m，3)的4個(gè)圖像的，在生成p(m-1，0)時(shí)，認(rèn)為p(m，s)是p(m，0)。根據(jù)[1.2]中所示的規(guī)則，例如對(duì)于該圖內(nèi)記載了亮度的塊，其中包含的4個(gè)像素中，p(m-1，0)取得“3”，p(m-1，1)取得“8”，p(m-1，2)取得“6”，p(m-1，3)取得“10”，用各自取得的一個(gè)像素來(lái)置換該塊。所以，第m-1級(jí)的副圖像的尺寸為2m-1×2m-1。
接著，減少m(圖8的S103)，確認(rèn)m沒有變?yōu)樨?fù)值(S104)，返回S101，然后生成分辨率粗的副圖像。這樣反復(fù)處理的結(jié)果，在m＝0，即生成第0級(jí)副圖像的時(shí)刻，S10結(jié)束。第0級(jí)副圖像的尺寸為1×1。
圖10對(duì)由S10生成的始點(diǎn)層級(jí)圖像在n＝3時(shí)進(jìn)行了例示。僅最初的始點(diǎn)圖像通用于4個(gè)系列，以后根據(jù)奇異點(diǎn)的種類分別獨(dú)立生成副圖像。另外，圖8的處理也與圖7的S11是共通的，也經(jīng)過同樣的步驟生成終點(diǎn)層級(jí)圖像。以上，由圖6的S1進(jìn)行的處理完成。
在前提技術(shù)中，為了進(jìn)入到圖6的S2，進(jìn)行匹配評(píng)價(jià)的準(zhǔn)備。圖11表示該步驟。如該圖所示，首先設(shè)定多個(gè)評(píng)價(jià)式(S30)。也就是在[1.3.2.1]中引入的與像素相關(guān)的能量C(m，s)f和在[1.3.2.2]中引入的與映射的平滑度相關(guān)的能量D(m，s)f。然后，歸納這些評(píng)價(jià)式建立綜合評(píng)價(jià)式(S31)。也就是在[1.3.2.3]中引入的總能量λC(m，s)f+D(m，s)f，如果使用在[1.3.2.2]中引入的η，則成為∑∑(λC(m，s)(i，j)+ηE0(m，s)(i，j)+E1(m，s)(i，j))(式52)但是，對(duì)于i，j分別以0，1...，2m-1計(jì)算總和。則以上就完成了匹配評(píng)價(jià)的準(zhǔn)備。
圖12為表示圖6的S2詳情的的流程圖。如[1]中所述，始點(diǎn)層級(jí)圖像和終點(diǎn)層級(jí)圖像，可在相互相同的分辨率級(jí)的圖像之間取得匹配。為良好地取得圖像間的全局匹配，按照從分辨率粗的級(jí)開始的順序計(jì)算匹配。為了用奇異點(diǎn)濾波器生成始點(diǎn)層級(jí)圖像和終點(diǎn)層級(jí)圖像，奇異點(diǎn)的位置和亮度在分辨率的粗級(jí)中也要明確地保存，全局匹配的結(jié)果與過去相比要優(yōu)異得多。
如圖12所示，首先將系數(shù)參數(shù)η設(shè)為0，級(jí)參數(shù)m設(shè)為0(S20)。接下來(lái)，分別在始點(diǎn)層級(jí)圖像中的第m級(jí)的4個(gè)副圖像和終點(diǎn)層級(jí)圖像中的第m級(jí)的4個(gè)副圖像之間計(jì)算匹配，求出分別滿足全單射條件，且使能量為最小的4種副映射f(m，s)(s＝0，1，2，3)(S21)。用[1.3.3]中所述的繼承四邊形來(lái)檢查全單射條件。這時(shí)，如式17、18所示那樣，第m級(jí)中的副映射因被第m-1級(jí)中的副映射所約束，所以順序利用分辨率更粗的級(jí)中的匹配。這是不同級(jí)間的垂直參照。另外，當(dāng)前m＝0，沒有比它更粗的級(jí)，該例外處理將利用圖13在后面說(shuō)明。
另一方面，還進(jìn)行同一級(jí)內(nèi)的水平參照。如[1.3.3]的式20所示，f(m，3)類似于f(m，2)、f(m，2)類似于f(m，1)、f(m，1)類似于f(m，0)地進(jìn)行確定。其理由是，盡管奇異點(diǎn)的種類不同，但既然它們?cè)瓉?lái)都包含于相同的始點(diǎn)圖像和終點(diǎn)圖像，副映射完全不同這種情況就是不自然的。由式20可知，副映射相互之間越接近，能量就越小，匹配也越好。
而且，關(guān)于最初應(yīng)該確定的f(m，0)，由于在同一級(jí)中沒有可參照的副映射，所以如式19所示，參照粗一級(jí)的層級(jí)。但是，在實(shí)驗(yàn)中求到f(m，3)后，要進(jìn)行將其作為約束條件、一次更新f(m，0)的步驟。這等同于將其s＝4代入式20中，將f(m，4)作為新的f(m，0)。這是為了避免f(m，0)和f(m，3)的關(guān)聯(lián)度過低的傾向，通過該措施，實(shí)驗(yàn)結(jié)果變得更好。在該措施之上，實(shí)驗(yàn)中還進(jìn)行了如[1.7.1]所示的副映射的正移(shuffle)。其目的是密切保持按本來(lái)奇異點(diǎn)的種類所確定的副映射的相互關(guān)聯(lián)度。另外，為了避免依賴于處理開始點(diǎn)的偏向，按s的值來(lái)改變開始點(diǎn)位置，這一點(diǎn)如[1.7]中所述。
圖1 3是表示在第0級(jí)中確定副映射的情況的圖。由于在第0級(jí)中各副圖像僅由一個(gè)像素構(gòu)成，所以4個(gè)副映射f(0，s)全部自動(dòng)確定為單位映射。圖14是表示在第1級(jí)中確定副映射的情況的圖。在第1級(jí)中副圖像分別由4個(gè)像素構(gòu)成。在該圖中這4個(gè)像素用實(shí)線表示?，F(xiàn)在，在q(1，s)中搜索p(1，s)的點(diǎn)x的對(duì)應(yīng)點(diǎn)時(shí)，要按照以下的步驟進(jìn)行。
1.用第1級(jí)的分辨率求出點(diǎn)x的左上點(diǎn)a，右上點(diǎn)b，左下點(diǎn)c，右下點(diǎn)d。
2.搜索點(diǎn)a～d在粗一級(jí)的層級(jí)中，即在第0級(jí)中所屬的像素。在圖14的情況下，點(diǎn)a～d分別屬于像素A～D。但是，像素A～C是本來(lái)不存在的假想的像素。
3.在q(1，s)中繪出在第0級(jí)中已經(jīng)求出的像素A～D的對(duì)應(yīng)點(diǎn)A’～D’。像素A’～C’是假想的像素，是分別與像素A～C同一位置的像素。
4.像素A中的點(diǎn)a的對(duì)應(yīng)點(diǎn)a’視為處于像素A’中，描繪點(diǎn)a’。這時(shí)，假定點(diǎn)a在像素A中所占的位置(在這種情況下為右下)和點(diǎn)a’在像素A’中所占的位置相同。
5.用與4相同的方法，描繪對(duì)應(yīng)點(diǎn)b’～d’，用點(diǎn)a’～d’做出繼承四邊形。
6.搜索點(diǎn)x的對(duì)應(yīng)點(diǎn)x’，使得在繼承四邊形中能量成為最小。作為對(duì)應(yīng)點(diǎn)x’的候選，可以限定為例如像素的中心包含在繼承四邊形中的點(diǎn)。在圖14的情況下，4個(gè)像素都成為候選。
以上為某個(gè)點(diǎn)x的對(duì)應(yīng)點(diǎn)的確定步驟。對(duì)其他所有的點(diǎn)進(jìn)行同樣的處理，確定副映射。因?yàn)榭紤]到在第2級(jí)及其以上的級(jí)中，繼承四邊形的形狀會(huì)逐漸崩潰，所以如圖3所示，發(fā)生像素A’～D’空出間隔的狀況。
這樣，如果確定了某第m級(jí)的4個(gè)副映射，則使m增加(圖12的S22)，確認(rèn)m沒有超過n(S23)，返回S21。下面，每當(dāng)返回到S21，就求出逐漸變細(xì)的分辨率級(jí)的副映射，最后返回到S21時(shí)確定第n級(jí)的映射f(n)。由于該映射是關(guān)于η＝0而確定的，所以寫作f(n)(η＝0)。
然后使η僅改變?chǔ)う?，?duì)m清零(S24)，使得求出與不同η相關(guān)的映射。確認(rèn)新的η未超過預(yù)定的搜索停止值ηmax(S25)，返回到S21，就本次的η求出映射f(n)(η＝Δη)。反復(fù)進(jìn)行該處理，在S21中求出f(n)(η＝iΔη)(i＝0，1，...)。當(dāng)η超出ηmax時(shí)進(jìn)入到S26，通過后述的方法確定最合適的η＝ηopt，將f(n)(η＝ηopt)最終設(shè)為映射f(n)。
圖15為表示圖12的S21詳情的流程圖。根據(jù)該流程圖，對(duì)于某個(gè)確定的η，確定第m級(jí)中的副映射。確定副映射時(shí)，在前提技術(shù)中對(duì)每個(gè)副映射獨(dú)立確定最佳λ。
如該圖所示，首先將s和λ清零(S210)。然后，對(duì)此時(shí)的λ(以及隱藏的η)求出使能量最小的副映射f(m，s)(S211)，將其寫作f(m，s)(λ＝0)。為求出與不同的λ相關(guān)的映射，將λ只變化Δλ，確認(rèn)新的λ未超出預(yù)定的搜索停止值λmax(S213)，返回到S211，在以后的反復(fù)處理中求出f(m，s)(λ＝iΔλ)(i＝0，1，...)。λ超過λmax時(shí)進(jìn)入到S214，確定最合適的λ＝λopt，將f(m，s)(λ＝λopt)最終設(shè)為映射f(m，s)(S214)。
然后，為求出同一級(jí)中其他副映射，將λ清零，使s增量(S215)。確認(rèn)s沒有超過4(S216)，返回S211。如果s＝4，則如上所述，利用f(m，3)更新f(m，0)，結(jié)束該級(jí)中的副映射的確定。
圖16表示對(duì)于某m和s，與改變?chǔ)说耐瑫r(shí)求出的f(m，s)(λ＝iΔλ)(i＝0，1，...)相對(duì)應(yīng)的能量C(m，s)f的變動(dòng)。如[1.4]中所述，λ增加時(shí)，通常C(m，s)f會(huì)減少。但是，當(dāng)λ超過最佳值后，C(m，s)f轉(zhuǎn)而增加。因此，在本前提技術(shù)中，將C(m，s)f取極小值時(shí)的λ確定為λopt。如該圖所示，在λ＞λopt的范圍內(nèi)即使C(m，s)f再次變小，由于在此時(shí)刻映射已經(jīng)崩潰，沒有意義了，所以只要關(guān)注最初的極小點(diǎn)即可。λopt對(duì)每個(gè)副映射獨(dú)立進(jìn)行確定，最后對(duì)f(n)也確定一個(gè)。
另一方面，圖17表示與改變?chǔ)堑耐瑫r(shí)求出的f(n)(η＝iΔη)(i＝0，1，...)相對(duì)應(yīng)的能量C(n)f的變動(dòng)。這里同樣，當(dāng)η增加時(shí)，C(n)f通常會(huì)減少，但當(dāng)η超過最佳值后，C(n)f轉(zhuǎn)而增加。因此，將C(n)f取極小值時(shí)的η確定為ηopt。圖17可以認(rèn)為是擴(kuò)大了圖4的橫軸的零附近的圖。如果ηopt確定，則可以最終確定f(n)。
如上所述，利用本前提技術(shù)而獲得各種樣的好處。首先，因?yàn)闆]必要檢測(cè)邊，所以可以消除邊檢測(cè)類型的以往技術(shù)的課題。另外，也不需要對(duì)圖像中所含有的對(duì)象的先驗(yàn)性的知識(shí)，實(shí)現(xiàn)了對(duì)應(yīng)點(diǎn)的自動(dòng)檢測(cè)。使用奇異點(diǎn)濾波器，即使在分辨率較粗的級(jí)中也能夠維持奇異點(diǎn)的亮度和位置，對(duì)對(duì)象識(shí)別、特征抽取、圖像匹配極為有利。結(jié)果，能夠建立大幅度減輕人工作業(yè)的圖像處理系統(tǒng)。
另外，對(duì)于本前提技術(shù)，還可以考慮如下那樣的變形技術(shù)。
(1)在前提技術(shù)中，在始點(diǎn)層級(jí)圖像和終點(diǎn)層級(jí)圖像間取得匹配時(shí)，進(jìn)行了參數(shù)的自動(dòng)確定，該方法不僅在層級(jí)圖像間，在通常2幅圖像間的匹配時(shí)也可以全面采用。
例如在兩幅圖像之間，將與像素的亮度的差相關(guān)的能量E0和與像素的位置偏差相關(guān)的能量E1二者作為評(píng)價(jià)式，將它們的線形和Etot＝αE0+E1作為綜合評(píng)價(jià)式。關(guān)注該綜合評(píng)價(jià)式的極值附近，自動(dòng)確定α。也就是說(shuō)，對(duì)于各種各樣的α，求出Etot最小的映射。在這些映射中，關(guān)于α，將E1取極小值時(shí)的α定為最佳參數(shù)。將與該參數(shù)對(duì)應(yīng)的映射視為兩圖像間的最終的最佳匹配。
此外，設(shè)定評(píng)價(jià)式還有許多方法，也可以象例如1/E1和1/E2那樣，采用評(píng)價(jià)結(jié)果越良好就越取較大值的方法。綜合評(píng)價(jià)式也未必一定是線性和，可以適當(dāng)選擇n次方和(n＝2，1/2，-1，-2等)、多項(xiàng)式、任意函數(shù)等。
參數(shù)也可以僅有α、或如前提技術(shù)中的η和λ兩個(gè)的情況，或者更多的情況。當(dāng)參數(shù)為大于等于3個(gè)時(shí)，使每一個(gè)變化而予以確定。
(2)在本前提技術(shù)中，確定映射使綜合評(píng)價(jià)式的值最小后，檢測(cè)構(gòu)成綜合評(píng)價(jià)式的一個(gè)評(píng)價(jià)式C(m，s)f成為極小的點(diǎn)，來(lái)確定參數(shù)。但是，取代這種兩階段處理，也可以根據(jù)情況，只使綜合評(píng)價(jià)式的最小值達(dá)到最小而確定參數(shù)，也很有效。在這種情況下，例如可以將αE0+βE1作為綜合評(píng)價(jià)式，設(shè)立α+β＝1的約束條件，采取平等使用各評(píng)價(jià)式等措施。因?yàn)樽詣?dòng)確定參數(shù)的本質(zhì)在于確定參數(shù)使能量達(dá)到最小。
(3)在前提技術(shù)中，在各分辨率級(jí)中生成與4種奇異點(diǎn)相關(guān)的4種副圖像。但是，也可以選擇性地采用4種中的1、2、3種。例如，如果圖像中只存在一個(gè)亮點(diǎn)，則可以僅用與極大點(diǎn)有關(guān)的f(m，3)生成層級(jí)圖像，應(yīng)該也能得到相應(yīng)的效果。在這種情況下，在同一級(jí)中不需要不同的副映射，所以有減少與s相關(guān)的計(jì)算量的效果。
(4)在本前提技術(shù)中，利用奇異點(diǎn)濾波器使級(jí)前進(jìn)一個(gè)級(jí)后，像素變?yōu)?/4。例如可以采用以3×3作為1個(gè)塊，在其中搜索奇異點(diǎn)的結(jié)構(gòu)，在這種情況下，前進(jìn)一個(gè)級(jí)時(shí)，像素變?yōu)?/9。
(5)始點(diǎn)圖像和終點(diǎn)圖像為彩色圖像時(shí)，首先將其變換為黑白圖像，然后計(jì)算映射。使用求得其結(jié)果的映射變換始點(diǎn)的彩色圖像。作為此外的方法，也可以對(duì)RGB的各成分，計(jì)算副映射。
前提技術(shù)的改良點(diǎn)以上述前提技術(shù)為基礎(chǔ)，提出了用于使匹配精度提高的幾種改良。這里介紹其改良點(diǎn)。
考慮了顏色信息的奇異點(diǎn)濾波器和副圖像為了有效利用圖像的顏色信息，將奇異點(diǎn)濾波器進(jìn)行如下所示的變更。首先，作為顏色空間，采用了據(jù)說(shuō)最符合人的直覺的HIS。但在把顏色變換為亮度時(shí)，取代亮度I而選擇了據(jù)說(shuō)最接近人眼睛的靈敏度的亮度Y。
H=π2-tan-1(2R-G-R3(G-B))2π]]>I=R+G+B3]]>S=1-min(R,G,B)3]]>Y＝0.299×R+0.587×G+0.114×B(式53)這里將像素a中的Y(亮度)作為Y(a)，將S(色彩度)作為S(a)，定義如下記號(hào)。
αY(a,b)=a···(Y(a)≤Y(b))b···(Y(a)>Y(b))]]>βY(a,b)=a···(Y(a)≥Y(b))b···(Y(a)<Y(b))]]>βS(a,b)=a···(S(a)≥S(b))b···(S(a)<S(b))]]>(式54)使用上述定義準(zhǔn)備以下5個(gè)濾波器。
p(i,j)(m,0)=βY(βY(p(2i,2j)(m+1,0),p(2i,2j+1)(m+1,0)),βY(p(2i+1,2j)(m+1,0),p(2i+1,2j+1)(m+1,0)))]]>p(i,j)(m,1)=αY(βY(p(2i,2j)(m+1,1),p(2i,2j+1)(m+1,1)),βY(p(2i+1,2j)(m+1,1),p(2i+1,2j+1)(m+1,1)))]]>p(i,j)(m,2)=βY(αY(p(2i,2j)(m-1,2),p(2i,2j+1)(m+1,2)),αY(p(2i+1,2j)(m+1,2),p(2i+1,2j+1)(m+1,2)))]]>p(i,j)(m,3)=αY(αY(p(2i,2j)(m+1,3),p(2i,2j+1)(m+1,3)),αY(p(2i+1,2j)(m+1,3),p(2i+1,2j+1)(m+1,3)))]]>p(i,j)(m,4)=βS(βS(p(2i,2j)(m+1,4),p(2i,2j+1)(m+1,4)),βS(p(2i+1,2j)(m+1,4),p(2i+1,2j+1)(m+1,4)))]]>(式55)其中上數(shù)第4個(gè)濾波器與改良前的前提技術(shù)中的濾波器幾乎相同，一邊留住顏色信息一邊保存亮度的奇異點(diǎn)。最后的濾波器則是一邊殘留顏色信息一邊保存顏色色彩度的奇異點(diǎn)。
利用這些濾波器，在各級(jí)中生成5種副圖像(子圖像)。另外，最高級(jí)的副圖像與原來(lái)圖像一致。
p(i,j)(n,0)=p(i,j)(n,1)=p(i,j)(n,2)=p(i,j)(n,3)=p(i,j)(n,4)=p(i,j)]]>(式56)[3.2]邊圖像及其副圖像為了將亮度微分(邊)的信息用于匹配，進(jìn)一步采用一次微分邊檢測(cè)濾波器。該濾波器可以用與某個(gè)算子G的卷積積分來(lái)實(shí)現(xiàn)。將與第n級(jí)的圖像的水平方向和垂直方向的微分對(duì)應(yīng)的2種濾波器分別表示如下。
p(i,j)(n,h)=Y(p(i,j))⊗Gh]]>p(i,j)(n,v)=Y(p(i,j))⊗Gv]]>(式57)這里G可以適用圖像解析中用來(lái)進(jìn)行邊檢測(cè)的一般性算子，但考慮到運(yùn)算速度等，選擇了如下所示的算子。
Gh=1410-120-210-1]]>Gv=14121000-1-2-1]]>(式58)然后，對(duì)該圖像進(jìn)行多重分辨率化。為了通過濾波器生成具有以0為中心的亮度的圖像，以如下所示的平均值圖像作為副圖像是最為適當(dāng)?shù)摹?br>
p(i,j)(m,h)=14(p(2i,2j)(m+1,h)+p(2i,2j+1)(m+1,h)+p(2i+1,2j)(m+1,h)+p(2i+1,2j+1)(m+1,h))]]>p(i,j)(m,v)=14(p(2i,2j)(m+1,v)+p(2i,2j+1)(m+1,v)+p(2i+1,2j)(m+1,v)+p(2i+1,j+1)(m+1,v))]]>(式59)式59的圖像在后述的Forward Stage，即計(jì)算初次副映射導(dǎo)出階段時(shí)，用于能量函數(shù)中新引入的亮度微分(邊)的差所產(chǎn)生的能量。
邊的大小，即絕對(duì)值對(duì)計(jì)算也是必要的，所以表示如下。
p(i,j)(n,e)=(p(i,j)(n,h))2+(p(i,j)(n,v))2]]>(式60)由于該值總為正值，所以在多重分辨率化中使用最大值濾波器。
p(i,j)(m,e)=βY(βY(p(2i,2j)(m+1,e),p(2i,2j+1)(m+1,e)),βY(p(2i+1,2j)(m+1,e),p(2i+1,2j+1)(m+1,e)))]]>(式61)式61的圖像在進(jìn)行后述的Forward Stage的計(jì)算時(shí)，用于確定計(jì)算順序。
計(jì)算處理步驟計(jì)算從最粗分辨率的副圖像開始按順序進(jìn)行。因?yàn)楦眻D像有5個(gè)，所以在各級(jí)的分辨率中要多次進(jìn)行計(jì)算。將此稱為輪轉(zhuǎn)(turn)，用t來(lái)表示最大計(jì)算次數(shù)。各輪轉(zhuǎn)由上述Forward Stage和作為副映射再次計(jì)算階段的Refinement Stage兩個(gè)能量最小化計(jì)算構(gòu)成。圖18為確定第m級(jí)中的副映射的計(jì)算中、有關(guān)改良點(diǎn)的流程圖。
如該圖所示，將s清零(S40)。然后在Forward Stage(S41)中通過能量最小化依次求出從起點(diǎn)圖像p到終點(diǎn)圖像q的映射f(m，s)，，以及從終點(diǎn)圖像q到起點(diǎn)圖像p的映射g(m，s)。下面就映射f(m，s)的導(dǎo)出加以描述。這里，最小化的能量，在改良后的前提技術(shù)中，是對(duì)應(yīng)的像素值的能量C和映射的平滑度的能量D的和。
minf(Cf(i,j)+Df(i,j))]]>(式62)能量C由亮度差的能量CI(與上述改良前的前提技術(shù)中的能量C等價(jià))、色調(diào)、色度的能量CC，以及亮度微分(邊)差的能量CE所構(gòu)成，表示如下。
CIf(i,j)=|Y(p(i,j)(m,s))-Y(qf(i,j)(m,s))|2]]>CCf(i,j)=|S(p(i,j)(m,s))cos(2πH(p(i,j)(m,s)))-S(qf(i,j)(m,s))cos(2πH(q(i,j)(m,s)))|2]]>+|S(p(i,j)(m,s))sin(2πH(p(i,j)(m,s)))-S(q(i,j)(m,s))sin(2πH(qf(i,j)(m,s)))|2]]>CEf(i,j)=|p(i,j)(m,h)-qf(i,j)(m,h)|2+|p(i,j)(m,v)-qf(i,j)(m,v)|2]]>Cf(i,j)=λCIf(i,j)+ψCCf(i,j)+θCEf(i,j)]]>(式63)這里參數(shù)λ、ψ和θ為大于等于0的實(shí)數(shù)，在本改良后的技術(shù)中為常數(shù)。這里這些參數(shù)之所以可以為常數(shù)，是因?yàn)橥ㄟ^新導(dǎo)入的RefinementStage，相對(duì)參數(shù)的結(jié)果的穩(wěn)定性提高了。而且，能量CE與副映射f(m，s)的種類s無(wú)關(guān)，是根據(jù)座標(biāo)和分辨率的級(jí)來(lái)確定的值。
能量D使用與上述改良前的前提技術(shù)相同的計(jì)算。但是，在上述改良前的前提技術(shù)中，在導(dǎo)出保證映射平滑度的能量E1時(shí)，僅考慮了相鄰的像素，而改良后為，可用參數(shù)d指定考慮周圍的哪些像素。
E0f(i,j)=||f(i,j)-(i,j)||2]]>E1f(i,j)=Σi′=i-di+dΣj′=j-dj+d||(f(i,j)-(i,j))-(f(i′,j′)-(i′,j′))||2]]>(式64)為準(zhǔn)備下面的Refinement Stage，在該階段中，從終點(diǎn)圖像q到起點(diǎn)圖像p的映射g(m，s)也同樣地進(jìn)行計(jì)算。
在Refinement Stage(S42)中，基于在Forward Stage中求出的雙方向的映射f(m，s)和g(m，s)，求出更妥當(dāng)?shù)挠成鋐’(m，s)。這里對(duì)于新定義的能量M，進(jìn)行能量最小化計(jì)算。能量M由從終點(diǎn)圖像到始點(diǎn)圖像的映射g的一致度M0以及與前面映射的差M1構(gòu)成，求得使M最小的f’(m，s)。
M0f′(i,j)=||g(f′(i,j))-(i,j)||2]]>M1f′(i,j)=||f′(i,j)-f(i,j)||2]]>Mf′(i,j)=M0f′(i,j)+M1f′(i,j)]]>(式65)為不損害對(duì)稱性，從終點(diǎn)圖像q向始點(diǎn)圖像p的映射g’(m，s)也用同樣的方法求出。
然后，將s增量(S43)，確認(rèn)s未超過t(S44)，進(jìn)入到下一輪轉(zhuǎn)的Forward Stage(S41)。這時(shí)，將上述E0如下所示地進(jìn)行置換，進(jìn)行能量最小化計(jì)算。
E0f(i,j)=||f(i,j)-f′(i,j)||2]]>(式66)[3.4]映射的計(jì)算順序在計(jì)算表示映射平滑度的能量E1時(shí)，因?yàn)橐玫街車c(diǎn)的映射，所以這些點(diǎn)是否全都已經(jīng)計(jì)算過將對(duì)能量造成影響。即，根據(jù)從哪個(gè)點(diǎn)開始按順序計(jì)算，整體的映射的精度將會(huì)有很大的變化。這里使用邊的絕對(duì)值圖像。因?yàn)檫叺牟糠趾休^多信息量，所以先從邊的絕對(duì)值大的地方進(jìn)行映射計(jì)算。由此，特別是對(duì)于二值圖像那樣的圖像，可以求出精度非常高的映射。
對(duì)部分利用了以上的前提技術(shù)的電視電影變換的具體例子進(jìn)行說(shuō)明。
圖19表示電視電影變換裝置10的結(jié)構(gòu)。以下將場(chǎng)圖像、幀圖像分別簡(jiǎn)稱為半幀、幀。圖像輸入部12將電影形式的幀(圖中C、以下也稱為電影幀)作為圖像信號(hào)進(jìn)行輸入。輸入以模擬、數(shù)字的任一形式均可。在模擬的情況下，圖像輸入部12同時(shí)具有A/D變換功能。此外，在電影幀和電視形式的幀(也稱為電視幀)的圖像形式、例如分辨率、縱橫比、其他屬性不同的情況下，圖像輸入部12通過已知的手法對(duì)電影幀的形式進(jìn)行變換以與電視幀相符合。因此，后述的中間幀就已經(jīng)成為電視幀的圖像形式。
緩沖器14暫時(shí)保存所輸入的電影幀。匹配處理器16根據(jù)前提技術(shù)、或者通過除此以外的任意技術(shù)，在鄰接的電影幀間進(jìn)行匹配計(jì)算，在它們之間檢測(cè)出對(duì)應(yīng)點(diǎn)。
匹配處理器16進(jìn)行像素基準(zhǔn)的二維匹配，但并不限于此，也可以在具有預(yù)定面積的像素塊間進(jìn)行二維匹配。中間圖像生成部18以對(duì)應(yīng)點(diǎn)信息為基礎(chǔ)，在電影幀間進(jìn)行插值計(jì)算，生成中間幀。信號(hào)生成部20大致來(lái)講，適宜組合所生成的中間幀和從緩沖器14取得的原始電影幀，生成電視幀。電視幀以電視方式向任意的對(duì)象，這里是向未圖示的顯示裝置進(jìn)行輸出。但是，電視電影變換裝置10的全體或者部分也可以預(yù)先內(nèi)置于電視接收機(jī)內(nèi)。中間圖像生成部18和信號(hào)生成部20的模式存在多種，各自不同。
圖20表示根據(jù)第1模式的電視電影變換?！?4F”的行表示與時(shí)刻t一起前進(jìn)的電影幀C1、C2、...，“30F”的行表示變換后的電視幀T1、T2、...?！?4F”“30F”分別為每秒24幅和30幅的速率?！?0i”的行是從電視幀所生成的每秒60幅的半幀。在電視接收機(jī)為隔行掃描(interlace)方式的情況下，該行的圖像信號(hào)被利用。處理以將電影幀4幅作為一組(以下也將其稱為“組”)周期性地進(jìn)行，因此將這4幅記為C1、C2、C3、C4，在必要的情況下，把下一組的開始幀記為C5。C1～C5的時(shí)刻分別為t＝0、a/4、a/2、3a/4、a。另一方面，T1～T6的時(shí)刻分別為t＝0、a/5、2a/5、3a/5、4a/5、a。即，處理周期為a。
在第1模式下，各部完成以下處理。
匹配處理器16在C1和C2、C2和C3、C3和C4、C4和C5間取得匹配。將匹配結(jié)果所得到的對(duì)應(yīng)點(diǎn)信息傳遞給中間圖像生成部18。
中間圖像生成部18分別根據(jù)C1和C2的對(duì)應(yīng)點(diǎn)信息通過內(nèi)插插值生成T2，同樣根據(jù)C2和C3的對(duì)應(yīng)點(diǎn)信息生成T3、同樣根據(jù)C3和C4的對(duì)應(yīng)點(diǎn)信息生成T4、同樣根據(jù)C4和C5的對(duì)應(yīng)點(diǎn)信息生成T5，輸出到信號(hào)生成部20。T1與C1在時(shí)序上是相同的，因此C1可原樣，或者由圖像輸入部12進(jìn)行必要的圖像形式的變換后，原樣從緩沖器14發(fā)送到信號(hào)生成部20。
信號(hào)生成部20從緩沖器14讀出C1，從中間圖像生成部18輸入T2～T5，將C1視為T1將T1～T5組合(捆綁)起來(lái)生成電視幀。以下，對(duì)每組周期性地反復(fù)同樣的處理。但是，在這里進(jìn)一步將“30F”的電視幀變換為“60i”的隔行掃描信號(hào)后進(jìn)行輸出。此變換在從T1開始生成僅匯集奇數(shù)行的半幀i1和僅匯集偶數(shù)行的半幀i2后進(jìn)行。一般是從Tn開始生成奇半幀i2n-1和偶半幀i2n。這些半幀每1/60秒由隔行掃描型的電視接收機(jī)進(jìn)行顯示。
此外，處于組中間的電影幀C3同樣與在隔行掃描半幀序列中處于中間的半幀i6時(shí)序相同。因此，信號(hào)生成部20也可從緩沖器14讀出C3，僅匯集其偶數(shù)行，生成半幀i6。
圖21表示根據(jù)第2模式的電視電影變換。這里，從“24F”的電影幀以每秒60幅的速度直接生成“60p”的逐行掃描形式的幀p1、p2、...。此模式中的各部的處理如下所示。
匹配處理器16與第1模式相同。
中間圖像生成部18分別根據(jù)C1和C2的對(duì)應(yīng)點(diǎn)信息通過內(nèi)插插值生成p2和p3，同樣根據(jù)C2和C3的對(duì)應(yīng)點(diǎn)信息生成p4和p5，同樣根據(jù)C3和C4的對(duì)應(yīng)點(diǎn)信息生成p7和p8，同樣根據(jù)C4和C5的對(duì)應(yīng)點(diǎn)信息生成p9和p10，輸出到信號(hào)生成部20。p6與C3在時(shí)序上是相同的，因此C3可原樣，或者由圖像輸入部12進(jìn)行必要的圖像形式的變換后，原樣從緩沖器14發(fā)送到信號(hào)生成部20。
信號(hào)生成部20從緩沖器14讀出C1和C3，從中間圖像生成部18輸入p2～p5和p7～p10，把C1和C3分別看作p1和p6，對(duì)p1～p10組合(捆綁)起來(lái)，生成電視幀。以下、對(duì)每組周期性地反復(fù)同樣的處理。
以上各種實(shí)施形式只不過是示例，本發(fā)明還進(jìn)一步具有各種變形技術(shù)，它們也包括在本發(fā)明的范圍內(nèi)，這為本領(lǐng)域技術(shù)人員所理解。例如在圖21中，也可生成每秒60幅的隔行掃描用半幀，而不是逐行掃描的幀。這時(shí)，信號(hào)生成部20對(duì)逐行掃描的幀p1、p2、...等分別在奇偶行實(shí)施間取后進(jìn)行場(chǎng)圖像化即可。此外，在通過中間圖像生成部18生成中間幀時(shí)，也可以預(yù)先作為場(chǎng)圖像來(lái)生成。這時(shí)，對(duì)原樣輸出電影幀的，例如幀p1，由信號(hào)生成部20進(jìn)行間取處理即可。
權(quán)利要求
1.一種電視電影變換方法，包括輸入電影方式的幀的步驟；在所輸入的幀間實(shí)施二維匹配的步驟；以及以該匹配結(jié)果為基礎(chǔ)，生成上述幀間的中間幀的步驟；上述生成中間幀的步驟，對(duì)于上述4幅電影方式的幀，以5幅或者10幅的比例輸出中間幀，生成電視方式的幀。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于還包括進(jìn)行用于使上述電影方式的幀的圖像形式和上述中間幀的圖像形式一致的處理的步驟。
3.根據(jù)權(quán)利要求1、2的任何一項(xiàng)所述的方法，其特征在于在上述生成中間幀的步驟輸出5幅中間幀的情況下，該方法還包括將這些5幅中間幀分別分割成2幅的半幀進(jìn)行輸出的步驟。
4.根據(jù)權(quán)利要求1～3的任何一項(xiàng)所述的方法，其特征在于上述生成中間幀的步驟，對(duì)輸出時(shí)序與上述電影方式的幀一致的電視方式的幀，不生成中間幀，上述電影方式的幀原樣作為電視方式的幀進(jìn)行輸出。
5.一種電視電影變換裝置，其特征在于，包括輸入電影方式的幀的單元(12)；在所輸入的幀間實(shí)施二維匹配的單元(16)；以及以該匹配結(jié)果為基礎(chǔ)，生成上述幀間的中間幀的單元(18)；上述生成中間幀的單元，對(duì)于上述4幅電影方式的幀，以5幅或者10幅的比例輸出中間幀。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于還包括進(jìn)行用于使上述電影方式的幀的圖像形式和上述中間幀的圖像形式一致的處理的單元(12)。
7.根據(jù)權(quán)利要求5、6的任何一項(xiàng)所述的裝置，其特征在于在上述生成中間幀的單元(18)輸出5幅中間幀的情況下，該裝置還包括將這些5幅中間幀分別分割成2幅的半幀進(jìn)行輸出的信號(hào)生成單元(20)。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于上述信號(hào)生成單元(20)周期性地將上述電影方式的幀的一部分原樣與上述中間幀進(jìn)行組合，輸出電視方式的幀。
9.一種計(jì)算機(jī)程序，其特征在于使計(jì)算機(jī)執(zhí)行輸入電影方式的幀的處理；在所輸入的幀間實(shí)施二維匹配的處理；以及以該匹配結(jié)果為基礎(chǔ)，生成上述幀間的中間幀的處理；在生成上述中間幀的處理中，對(duì)于上述4幅電影方式的幀，以5幅或者10幅的比例輸出中間幀，生成電視方式的幀。
全文摘要
一種電視電影變換方法和裝置，在從電影形式向電視形式變換圖像時(shí)，謀求改善圖像質(zhì)量。為此，輸入電影形式的幀Cn。在這些相鄰幀間進(jìn)行二維匹配計(jì)算，生成假想的中間幀p2、p3等。對(duì)于4幅電影形式的幀生成10幅中間幀，從電影形式生成60幅/秒的電視用逐行掃描幀。
文檔編號(hào)H04N7/01GK1665294SQ200410006950
公開日2005年9月7日 申請(qǐng)日期2004年3月1日 優(yōu)先權(quán)日2004年3月1日
發(fā)明者平賀督基 申請(qǐng)人:特爾斐控股有限公司