專利名稱：快速動(dòng)態(tài)接圖點(diǎn)搜尋方法
技術(shù)領(lǐng)域：
本發(fā)明涉及廣角圖像的圖像接圖；更具體來說，涉及一種可快速且動(dòng)態(tài) 地找出多重圖像的適當(dāng)接圖點(diǎn)的方法。
背景技術(shù)：
通過將個(gè)別圖像無縫地接合起來以產(chǎn)生廣角(全景)圖像是一種常見的 已知技術(shù)。此技術(shù)通常僅局限于遠(yuǎn)距物體的圖像的接圖，或者只能針對(duì)某固 定距離的目標(biāo)物來執(zhí)行接圖，而無法針對(duì)具有不同距離的動(dòng)態(tài)物體的復(fù)雜圖 像(或短距物體的圖像)找出適當(dāng)接圖點(diǎn)來執(zhí)行接圖。因?yàn)榇朔N復(fù)雜圖像的 接圖需要有拍攝物體與攝像機(jī)間之距離的相關(guān)資訊。欲求得上述距離之正確 數(shù)值，需要相當(dāng)繁復(fù)且耗時(shí)的計(jì)算工作。但是，對(duì)于即時(shí)處理動(dòng)態(tài)影片而言， 為了提供即時(shí)且平滑的輸出，將無法接受相當(dāng)繁復(fù)且耗時(shí)的計(jì)算工作。因此， 希望能以更快速且簡(jiǎn)單的方法來執(zhí)行接圖操作。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種能夠動(dòng)態(tài)且快速地找出最佳接圖點(diǎn)以將個(gè)別 圖像無縫地接圖成一廣角(全景)圖像的方法。利用該快速動(dòng)態(tài)接圖點(diǎn)搜尋 方法，得以減少已知技術(shù)的復(fù)雜計(jì)算而并未犧牲接圖點(diǎn)搜尋的準(zhǔn)確性。
為達(dá)成上述目的，依據(jù)本發(fā)明的一種快速動(dòng)態(tài)接圖點(diǎn)搜尋方法包含根 據(jù)攝像機(jī)角度以決定一第一圖像的可能接圖區(qū)及一第二圖像的可能接圖區(qū)； 計(jì)算出針對(duì)不同的指定距離的坐標(biāo)轉(zhuǎn)換矩陣，以便將該第 一 圖像中的坐標(biāo)轉(zhuǎn) 換至該第二圖像；選擇具有一特定尺寸的區(qū)塊；選擇包括多個(gè)區(qū)塊的搜尋視 窗，其中該搜尋視窗不超出該可能接圖區(qū)；執(zhí)行該第一圖像與該第二圖像間 的區(qū)塊匹配程序以找出多個(gè)候選接圖點(diǎn)；及于該多個(gè)候選接圖點(diǎn)中決定一最 佳接圖點(diǎn)。
依據(jù)本發(fā)明的特征，該區(qū)塊匹配程序包含于該第一圖像的該可能接圖 區(qū)內(nèi)隨機(jī)地選擇多個(gè)預(yù)定接圖點(diǎn)(P！至Pn);利用該坐標(biāo)轉(zhuǎn)換矩陣以將該多
個(gè)預(yù)定接圖點(diǎn)(Pi至Pn )轉(zhuǎn)換至該第二圖像的該可能接圖區(qū)內(nèi)而取得多個(gè)相 應(yīng)接圖點(diǎn)(P、至P，n);計(jì)算該多個(gè)預(yù)定接圖點(diǎn)(Pi至Pn)為中心的區(qū)塊與 包括該多個(gè)相應(yīng)接圖點(diǎn)(P、至P，n)的多個(gè)搜尋視窗(W!至Wn)內(nèi)的所有
區(qū)塊間的第一 SAD (差異絕對(duì)值之和)值；及決定每一該多個(gè)搜尋視窗(
至WJ內(nèi)具有最小第一SAD值的多個(gè)候選接圖點(diǎn)(Ai至An)。
依據(jù)本發(fā)明的特征，該決定一最佳接圖點(diǎn)的步驟包含以該多個(gè)候選接 圖點(diǎn)(A!至An)為接圖點(diǎn)執(zhí)行該第一圖像與該第二圖像的接圖，以取得多
個(gè)接像(I,至IJ;于該多個(gè)接像(1至In)內(nèi)選取一接圖判斷區(qū)；
計(jì)算每一該多個(gè)候選接圖點(diǎn)(A,至An)針對(duì)該接圖判斷區(qū)的個(gè)別第二 SAD (差異絕對(duì)值之和)值；及選取該多個(gè)候選接圖點(diǎn)(A!至An)中具有最小
第二 SAD值者為 一最佳接圖點(diǎn)。
依據(jù)本發(fā)明的特征，該第一及第二 SAD值的計(jì)算是根據(jù)像素值。 依據(jù)本發(fā)明的特征，進(jìn)一步包含在決定可能接圖區(qū)之后執(zhí)行彩色至灰階
轉(zhuǎn)換及邊緣檢測(cè)程序。


圖1是多眼攝像機(jī)系統(tǒng)的概略示意圖。 圖2是依據(jù)本發(fā)明的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法的流程圖。 圖3是一示意圖，其顯示多眼攝像機(jī)系統(tǒng)中以不同角度的鏡頭所拍攝的 兩個(gè)圖像。
圖4是一圖形，其說明依據(jù)本發(fā)明的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法的區(qū)塊匹 酉己(block matching)禾呈序。
圖5是一圖形，其說明如何從多個(gè)候選接圖點(diǎn)中選出一最佳接圖點(diǎn)。
主要元件符號(hào)說明
100:多眼攝像機(jī)系統(tǒng)
110:圖像信號(hào)處理單元
120:廣角圖像產(chǎn)生器
122:多重圖像自動(dòng)曝光(AE)匹配單元
124:接圖單元
具體實(shí)施例方式
圖l是一種多眼攝像機(jī)系統(tǒng)的概略示意圖。如圖1中所示， 一多眼攝像
機(jī)系統(tǒng)100包含N個(gè)鏡頭(M至LN )，其個(gè)別地將拍攝圖像傳送至N個(gè)圖 像信號(hào)處理單元(ISPU!至ISPUN) 110。這些圖像信號(hào)處理單元110是處理 這些鏡頭所拍攝的圖像以增進(jìn)圖像的品質(zhì)。經(jīng)個(gè)別圖像信號(hào)處理單元(ISPUi 至ISPUN) 110處理后的圖像被傳送至一廣角圖像產(chǎn)生器120。廣角圖像產(chǎn) 生器120包含一多重圖像自動(dòng)曝光(AE)匹配單元122,用以減少不同光線 環(huán)境下所拍攝的圖像間的色差問題；及一接圖單元124,用以針對(duì)處理后的 圖像進(jìn)行接圖點(diǎn)搜尋及接圖操作。最后可輸出一廣角圖像。
接下來，將參考圖2至圖5以說明依據(jù)本發(fā)明的快速動(dòng)態(tài)接圖點(diǎn)搜尋方 法，其中圖2是顯示依據(jù)本發(fā)明的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法200的流程；圖 3是說明多眼攝像機(jī)系統(tǒng)中以不同角度鏡頭所拍攝的兩個(gè)圖像；圖4是說明 依據(jù)本發(fā)明的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法的區(qū)塊匹配(block matching)程序； 及圖5是說明如何從多個(gè)候選接圖點(diǎn)中選出 一最佳接圖點(diǎn)。
首先，如圖3所示，假設(shè)欲執(zhí)行接圖操作的兩圖像為一中心圖像C及一 側(cè)邊圖像S ，其中的陰影部分分別為中心圖像C及側(cè)邊圖像S的重迭區(qū)域(于 下文中，稱為可能接圖點(diǎn)區(qū)PRc及PRs),這些可能接圖點(diǎn)區(qū)根據(jù)不同的攝 像機(jī)角度以及物體距離而調(diào)整。由于物件距離難以獲得，所以通常僅通過攝 像機(jī)角度以取得可能接圖點(diǎn)區(qū)。在這些可能接圖點(diǎn)區(qū)內(nèi)，將根據(jù)攝像機(jī)角度、 物體距離以及所欲的接圖點(diǎn)精確度以決定搜尋視窗，如圖3中所示的W，以 便于這些搜尋視窗W內(nèi)找出最佳接圖點(diǎn)(將詳述于下文中)。應(yīng)注意的是， 相較于已知技術(shù)針對(duì)所有可能接圖點(diǎn)執(zhí)行區(qū)塊匹配，依據(jù)本發(fā)明的接圖點(diǎn)搜 尋方法僅于搜尋視窗內(nèi)執(zhí)行區(qū)塊匹配，因而得以減少計(jì)算復(fù)雜度并加速接圖 點(diǎn)的搜尋。
參考圖2，在步驟ST210，執(zhí)行圖像切割(分別針對(duì)中心圖像C與側(cè)邊 圖像S),以去除圖像中的多余部分而只留下可能接圖點(diǎn)區(qū)PRc及PRs。在步 驟ST220，執(zhí)行彩色至灰階轉(zhuǎn)換及邊緣檢測(cè)程序。此步驟的目的在于減少因 拍攝時(shí)的不同角度、光線等因素所造成的色差的問題，以增進(jìn)接圖點(diǎn)搜尋的 精確度。然而，應(yīng)注意的是，若已知并無色差問題存在于欲執(zhí)行接圖操作的 兩圖像之間，則無須執(zhí)行步驟ST220。當(dāng)然，也可直接省略此步驟以便達(dá)成 更快速的接圖點(diǎn)搜尋。
接下來，在步驟ST230,事先計(jì)算出針對(duì)不同的指定距離的坐標(biāo)轉(zhuǎn)換矩
陣，以便后續(xù)于不同圖像(中心圖像c與側(cè)邊圖像s)間的坐標(biāo)轉(zhuǎn)換。在步
驟ST 240,隨機(jī)地選取可能接圖點(diǎn)區(qū)PRc中之?dāng)?shù)個(gè)預(yù)定接圖點(diǎn)P (如圖3及 圖4所示)。在步驟ST 250,根據(jù)所欲的接圖點(diǎn)精確度以選擇區(qū)塊尺寸及搜 尋視窗尺寸。應(yīng)注意的是，在一定的搜尋范圍內(nèi)，選定的區(qū)塊尺寸越小，則 需做的區(qū)塊匹配量越大，故找到的最佳接圖點(diǎn)更為精確。此外，搜尋視窗的 尺寸越大，則可能漏掉最佳接圖點(diǎn)的概率越小。
然后，在步驟ST 260，通過計(jì)算像素值的SAD (差異絕對(duì)值之和)來 執(zhí)行區(qū)塊匹配程序以找出候選接圖點(diǎn)。以下將參考圖4以進(jìn)一步說明步驟 ST 260中所執(zhí)行的區(qū)塊匹配程序。
首先，應(yīng)了解的是，圖像的最小單位為像素(pixel),因此，圖像中的 每個(gè)點(diǎn)均代表一個(gè)像素，且均具有一特定的像素值。如圖4中所示，假設(shè)可 能接圖點(diǎn)區(qū)PRc中的各個(gè)點(diǎn)的坐標(biāo)為(x, y),且已于上述步驟ST 240隨機(jī)地 選取了 n個(gè)預(yù)定接圖點(diǎn)P(或P,至Pn)。接著，利用上述步驟ST230中所求 得的坐標(biāo)轉(zhuǎn)換矩陣以計(jì)算出可能接圖點(diǎn)區(qū)PRS中的各對(duì)應(yīng)點(diǎn)P，(或P，！至P，n) 的坐標(biāo)(x，， y，)。舉例而言，假設(shè)針對(duì)距離d!的上述坐標(biāo)轉(zhuǎn)換矩陣為一 2x2 的矩陣Mp貝'J P，的坐標(biāo)(x，，y，)為<formula>formula see original document page 7</formula>
接著，分別以P及P，為中心，根據(jù)所欲的接圖點(diǎn)精確度以選擇區(qū)塊尺寸， 亦即，以P及P，為中心點(diǎn)分別取得一BxB的區(qū)塊，其中B稱之為區(qū)塊尺寸。 舉例而言，在圖4之范例中，系選擇一3x3 (B = 3)的包含9個(gè)點(diǎn)(像素) 的區(qū)塊，其中各像素均具有一特定的像素值(如Pi的區(qū)塊所示)。再次強(qiáng)調(diào)， 在一定的搜尋范圍內(nèi)，區(qū)塊尺寸越小(B的值越小)，則需做的區(qū)塊匹配量 越大，雖較為耗時(shí)，但能找到較為精確的最佳接圖點(diǎn)。
此時(shí)即根據(jù)下列方程式以計(jì)算P為中心的區(qū)塊與P，為中心的區(qū)塊間的 SAD (差異絕對(duì)值之和)值
其中i及j為整數(shù)；
fc(x,y)為可能接圖點(diǎn)區(qū)PRc中的坐標(biāo)(x,y)的像素值；及
fs(x，， y，)為可能接圖點(diǎn)區(qū)PRS中的坐標(biāo)(x，， y，)的像素值。
此SAD(x，， y，)值即用來表示可能接圖點(diǎn)區(qū)PRS中的點(diǎn)P，與可能接圖點(diǎn)區(qū)
PRc中的點(diǎn)P的近似程度，SAD(x，， y，)的值越小則表示兩者越近似。
至此，上迷方程式(l)可算出可能接圖點(diǎn)區(qū)PRc中的點(diǎn)P與可能接圖點(diǎn)區(qū)
PRs中的其對(duì)應(yīng)點(diǎn)P，的近似程度，例如，圖4中所示的Pi與P^間的近似程
度、P2與P 間的近似程度、或Pn與Pn，間的近似程度。然而，由于最佳接
圖點(diǎn)不一定剛好位于p，點(diǎn)上，故為了更精確地搜尋接圖點(diǎn)，需以Pf至pn，
為中心選取一大小適中的搜尋視窗W (或Wi至Wn ),進(jìn)一步于此搜尋視窗
W中找出最接近預(yù)定接圖點(diǎn)P的最佳接圖點(diǎn)。再次強(qiáng)調(diào)，選定的搜尋視窗的 尺寸越大，則可能漏掉最佳接圖點(diǎn)的概率越小。舉例而言，假設(shè)圖4所示的 搜尋視窗W,為包括P、的25個(gè)點(diǎn)(像素)，則需在此Wi內(nèi)針對(duì)所有可能的 區(qū)塊(共9個(gè)3x3的區(qū)塊)，再次利用上述方程式(l),計(jì)算出可能4妄圖點(diǎn)區(qū) PRc中的P！與這些可能的區(qū)塊(除了已計(jì)算過的P、為中心的區(qū)塊以外)之 間的近似程度。此時(shí)再將所有的SAD(x，，y，)值(在本范例中為9個(gè))比較后， 取出其中最小的值，即可判斷該值所代表的點(diǎn)為最接近P！的點(diǎn)(在下文中稱 之為候選接圖點(diǎn)A)，在圖4中以Ai表示。
之后，重復(fù)上述步驟以計(jì)算出W2中與P2最接近的候選接圖點(diǎn)A2、…W^ 中與最接近的候選接圖點(diǎn)、及Wn中與Pn最接近的候選接圖點(diǎn)An。
最后，在步驟ST 270，通過計(jì)算所有候選接圖點(diǎn)A的SAD (差異絕對(duì) 值之和)來決定最佳接圖點(diǎn)。以下將參考圖5以說明步驟ST 270如何在候 選接圖點(diǎn)A!至An之中決定出何者為最佳接圖點(diǎn)。
如圖5所示，假設(shè)以預(yù)定接圖點(diǎn)P!及候選接圖點(diǎn)Ai分別為中心圖像C 及側(cè)邊圖像S的接圖點(diǎn)來執(zhí)行接圖，則獲得如該圖下半部所示的一接像 L。在此接像L中，以該接圖點(diǎn)A"在接圖后與Pi為同一點(diǎn))為中心選 取一塊寬度為D而高度為H的接圖判斷區(qū)J，如圖5中所示的陰影部分。根 據(jù)下列方程式以計(jì)算候選接圖點(diǎn)Aj十對(duì)該接圖判斷區(qū)J的SAD (差異絕對(duì) 值之和)值
其中i及j為整數(shù)；
fs(x，，y，)為側(cè)邊圖像S中的坐標(biāo)(x，，y，)的像素值；及 fc(x, y)為中心圖像C的坐標(biāo)(x, y)的像素值。
如此所計(jì)算出的SAD值系表示候選接圖點(diǎn)A于接線L(如圖5中所示) 兩邊的對(duì)稱位置上的像素值的差異絕對(duì)值之和。該SAD值越小則代表接線L 兩邊對(duì)稱位置上的像素值越接近，亦即，接圖的效果越好。
接著利用上述方程式(2)，重復(fù)地針對(duì)A2( P2)、 A3( P3).....P
w )及An ( Pn)計(jì)算出其他相應(yīng)接像I2至In的個(gè)別的SAD值，再從總 共n個(gè)SAD值(分別針對(duì)A!至An )中取出最小的，即可決定該值所代表的 候選接圖點(diǎn)A為最佳接圖點(diǎn)。
在決定了最佳接圖點(diǎn)之后，即根據(jù)此最佳接圖點(diǎn)來執(zhí)行接圖操作。接著， 執(zhí)行alpha混和(alpha blending)處理程序以使圖像間的接圖處的顏色變化 較為平滑，由此減少接圖處的不自然感。此時(shí)即可產(chǎn)生一無縫的廣角(全景) 圖像。
發(fā)明的效果
欲達(dá)成無縫的接像需要得知從攝像機(jī)至拍攝物體間的距離(即，圖 像深度)。然而，欲通過圖像的計(jì)算以得知圖像深度是極困難的工作。此外， 已知用于攝像機(jī)圖像的接圖點(diǎn)搜尋方法在應(yīng)用于高解析度的多重圖像時(shí)將 耗費(fèi)龐大的運(yùn)算量及時(shí)間。
本發(fā)明是事先計(jì)算出針對(duì)不同的指定距離的坐標(biāo)轉(zhuǎn)換矩陣。如此得以減 少接圖點(diǎn)搜尋區(qū)域，進(jìn)而加速接圖點(diǎn)的搜尋。此外，本發(fā)明利用改良的區(qū)塊 匹配方式以增進(jìn)接圖點(diǎn)搜尋的精確度。因此，本發(fā)明不僅減少了已知接圖點(diǎn) 搜尋方法的龐大的運(yùn)算量及時(shí)間，還同時(shí)克服了要求得知圖像深度的問題， 而可動(dòng)態(tài)且快速地找出最佳接圖點(diǎn)。
權(quán)利要求
1. 一種快速動(dòng)態(tài)接圖點(diǎn)搜尋方法，包含根據(jù)攝像機(jī)角度以決定一第一圖像的可能接圖區(qū)及一第二圖像的可能接圖區(qū)；計(jì)算出針對(duì)不同的指定距離的坐標(biāo)轉(zhuǎn)換矩陣，以便將該第一圖像中的坐標(biāo)轉(zhuǎn)換至該第二圖像；選擇具有一特定尺寸的區(qū)塊；選擇包括多個(gè)區(qū)塊的搜尋視窗，其中該搜尋視窗不超出該可能接圖區(qū)；執(zhí)行該第一圖像與該第二圖像間的區(qū)塊匹配程序以找出多個(gè)候選接圖點(diǎn)；及在該多個(gè)候選接圖點(diǎn)中決定一最佳接圖點(diǎn)。
2. 如權(quán)利要求1所述的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法，其中該區(qū)塊匹配程序 包含在該第一圖像的該可能接圖區(qū)內(nèi)隨機(jī)地選4奪多個(gè)預(yù)定接圖點(diǎn)(Pi至Pn);利用該坐標(biāo)轉(zhuǎn)換矩陣以將該多個(gè)預(yù)定接圖點(diǎn)(Pt至Pn)轉(zhuǎn)換至該第二圖 像的該可能接圖區(qū)內(nèi)而取得多個(gè)相應(yīng)接圖點(diǎn)(P、至P，n);計(jì)算該多個(gè)預(yù)定接圖點(diǎn)(P！至Pn)為中心的區(qū)塊與包括該多個(gè)相應(yīng)接圖 點(diǎn)(P、至P，n)的多個(gè)搜尋視窗(Wi至Wn)內(nèi)的所有區(qū)塊間的第一 SAD (差 異絕對(duì)值之和)值；及決定每一該多個(gè)搜尋視窗(Wi至Wn)內(nèi)具有最小第一 SAD值的多個(gè) 候選接圖點(diǎn)(A!至An)。
3. 如權(quán)利要求1所述的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法，其中該決定一最佳接 圖點(diǎn)的步驟包含以該多個(gè)候選接圖點(diǎn)(Ai至An)為接圖點(diǎn)執(zhí)行該第一圖像與該第二圖 像的接圖，以取得多個(gè)接像(Ii至lJ;在該多個(gè)接像(Ii至In)內(nèi)選取一接圖判斷區(qū)；計(jì)算每一該多個(gè)候選接圖點(diǎn)(Ai至An)針對(duì)該接圖判斷區(qū)的個(gè)別第二 SAD (差異絕對(duì)值之和)值；及選取該多個(gè)候選接圖點(diǎn)(Ai至An)中具有最小第二SAD值者為一最佳 接圖點(diǎn)。
4. 如權(quán)利要求2或3所述的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法，其中該第一及第二 SAD值的計(jì)算系根據(jù)像素值。
5. 如權(quán)利要求1所述的圖像拾取裝置，進(jìn)一步包含在決定可能接圖區(qū)之后執(zhí)行彩色至灰階轉(zhuǎn)換及邊緣檢測(cè)程序。
全文摘要
本發(fā)明公開一種多眼攝像機(jī)系統(tǒng)的快速動(dòng)態(tài)接圖點(diǎn)搜尋方法，其在由攝像機(jī)角度、物體距離及所期望的接圖點(diǎn)精確度所決定的搜尋視窗內(nèi)進(jìn)行區(qū)塊匹配(block matching)，由此減少已知接圖點(diǎn)搜尋方法的計(jì)算復(fù)雜度并得以動(dòng)態(tài)地且快速地找出及調(diào)整接圖點(diǎn)。
文檔編號(hào)H04N9/09GK101394571SQ20071015290
公開日2009年3月25日 申請(qǐng)日期2007年9月21日 優(yōu)先權(quán)日2007年9月21日
發(fā)明者鄭欽宗 申請(qǐng)人:臺(tái)灣新力國(guó)際股份有限公司