專利名稱：圖像處理設(shè)備及程序和焦平面失真分量計算方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、焦平面失真分量計算方法、圖像處理程序和記錄介質(zhì)，例如，它們適于應(yīng)用到圖像處理設(shè)備來編輯用成像裝置成像的幀圖像數(shù)據(jù)。
背景技術(shù)：
迄今為止，成像裝置廣泛地采用了校正由于持有成像裝置的用戶的手的移動引 起的相機抖動的布置，其中將諸如加速傳感器之類的傳感器提供給成像裝置，并且移動諸 如透鏡之類的光學(xué)部分來抵消由于相機抖動引起的移動(例如，查看http:/dspace.mil. waseda.ac.jp/dspace/bitstream/2065/5323/3/Honbun-4189. pdf, "Research on Core Technologies for the Improvement οfVulnerabilities in Video Systems，，， Mitsuaki Oshima)。而且，對于成像裝置，使用卷簾式快門(global shutter)方法的CXD (電荷耦合器 件)被廣泛地用作成像設(shè)備。C⑶一次傳遞(transfer) —幀數(shù)據(jù)。然而，最近，使用焦平面快門方法的CMOS(互補金屬氧化物半導(dǎo)體)器件由于關(guān) 于成本的優(yōu)勢，在成像裝置中得到了廣泛地采用。CMOS設(shè)備一次傳遞一行數(shù)據(jù)，這意味著 幀內(nèi)在快門定時方面存在輕微的時間發(fā)散(divergence)。因此，在成像期間成像設(shè)備的移 動，例如由于用戶的手的抖動或者故意的運動(在下文中被稱為“攝影操作”)引起的相機 抖動，可以導(dǎo)致在用CMOS器件成像的幀圖像數(shù)據(jù)中的對象的焦平面失真。最后，提出了布 置來校正幀圖像數(shù)據(jù)中這樣的焦平面失真的成像設(shè)備(例如，查看日本未審查專利申請公 開 No. 2008-78808)。

發(fā)明內(nèi)容
現(xiàn)在，對于上述具有相機抖動校正功能的成像裝置，建立在其中抵消部分抖動 以減輕抖動的設(shè)計，來防止由于過度校正引起的控制系統(tǒng)的分散(scattering)。也就 是說，對于這樣的成像裝置，雖然可以在幀圖像數(shù)據(jù)內(nèi)減輕抖動的影響，但是抖動的影響 仍然存在于所成像的幀圖像數(shù)據(jù)中。因此，進一步減輕抖動的影響的成像之后的后處理 (post-processing)是其月望的。使用后處理，不檢測成像裝置自身的運動量(在下文中被稱為“相機運動”)， 這類似于建立在成像裝置中的相機抖動校正功能。而且，日本未審查專利申請公開 No. 2008-8808中描述的方法要求劃分成像設(shè)備，相應(yīng)地不可應(yīng)用于后處理。因此，圖像處理設(shè)備基于從幀圖像數(shù)據(jù)檢測的運動向量來計算抖動量。然而，如上 所述，幀圖像數(shù)據(jù)包括與成像裝置的抖動對應(yīng)的焦平面失真。這導(dǎo)致了由于焦平面失真在 運動向量上的影響，抖動的高精度計算是不可計算的問題，從而改善幀圖像數(shù)據(jù)的質(zhì)量的 努力沒有取得進步。期望提供能夠改善幀圖像數(shù)據(jù)的質(zhì)量的圖像處理設(shè)備、焦平面失真分量計算方 法、圖像處理程序和記錄介質(zhì)。
根據(jù)本發(fā)明的實施例，圖像處理設(shè)備包括運動向量接收單元，被配置為從由幀圖 像組成的幀圖像數(shù)據(jù)中接收表示幀圖像的運動的運動向量；建模單元，被配置將從運動向 量接收單元接收的運動向量建模為分量分離表達式，其中使用分別表示作為相機的運動的 相機運動和焦平面失真中的改變量的分量參數(shù)來分離相機運動分量和焦平面失真分量；以 及分量計算單元，被配置為計算在分量分離表達式中使用的分量參數(shù)，從而計算運動向量 中的焦平面失真分量。根據(jù)本發(fā)明的實施例，通過焦平面失真分量計算方法、用于使計算機執(zhí)行該方法 的步驟的圖像處理程序和存儲該程序的記錄介質(zhì)，該方法包括步驟從由幀圖像組成的幀 圖像數(shù)據(jù)中接收表示幀圖像的運動的運動向量；將在 接收步驟中接收的運動向量建模為分 量分離表達式，其中使用分別表示作為相機的運動的相機運動和焦平面失真中的改變量的 分量參數(shù)來分離相機運動分量和焦平面失真分量；以及計算在分量分離表達式中使用的分 量參數(shù)，從而計算運動向量中的焦平面失真分量。根據(jù)上面的配置，可以基于從運動向量計算的焦平面失真分量來執(zhí)行用于改善幀 圖像數(shù)據(jù)的質(zhì)量的各種類型的處理，從而實現(xiàn)能夠改善幀圖像數(shù)據(jù)的質(zhì)量的圖像處理設(shè) 備、焦平面失真分量計算方法、圖像處理程序和存儲該圖像處理程序的記錄介質(zhì)。


圖1是圖示圖像處理終端的外部配置的示意圖；圖2是圖示相機運動和攝影操作之間關(guān)系的示意圖；圖3是圖示根據(jù)第一實施例的圖像處理單元的配置的示意圖；圖4是用于描述運動補償處理中的線性內(nèi)插的示意圖；圖5A和圖5B是用于描述全局(global)運動向量的生成的示意圖；圖6是用于描述涉及便攜式攝像機(camcorder)的方向清晰度的示意圖；圖7(A)到圖7(C)是用于描述由于水平方向上的抖動引起的焦平面失真的示意 圖；圖8(A)到圖8(C)是用于描述由于垂直方向上的抖動引起的焦平面失真的示意 圖；圖9(A)到圖9(C)是圖示由于抖動引起的圖像中的改變的示意圖；圖IOA至圖IOC是圖示中心旋轉(zhuǎn)(center-of-rotation)坐標(biāo)的示意圖；圖IlA至圖IlC是用于描述將用戶的肘部作為中心的相機運動的示意圖；圖12A和圖12B是用于描述縱橫比的轉(zhuǎn)換的示意圖；圖13是圖示分量分離模型的組成的示意圖；圖14是用于描述分量計算處理過程的流程圖；圖15是用于描述濾波處理過程的流程圖；圖16A和圖16B是示意圖，圖16A圖示焦平面失真分量，以及圖16B圖示其累積 值；圖17是用于描述幀圖像和運動向量之間的關(guān)系的示意圖；圖18A和圖18B是用于描述焦平面失真分量的調(diào)節(jié)的示意圖；圖19是用于描述根據(jù)第一實施例的FP失真校正量計算處理過程的流程圖20A和圖20B是用于描述LPF屬性的示意圖；圖21是用于描述校正向量生成處理過程的流程圖；圖22是圖示根據(jù)第二實施例的圖像處理單元的配置的示意圖；圖23是用于描述根據(jù)第二實施例的FP失真校正量計算處理過程的流程圖；圖24是用于描述恰當(dāng)?shù)慕嵌确秶氖疽鈭D；圖25是用于描述梯形失真估計處理過程的流程圖；圖26A和圖26B是用于描述梯形失真的附加校正的示意圖；圖27是用于描述附加梯形失真校正處理過程的流程圖；以及
圖28是用于描述角度改變估計處理過程的流程圖。
具體實施例方式將參考附圖描述本發(fā)明的實施例，將以下面的順序進行描述。1.第一實施例(從抖動量中去除焦平面失真量)2.第二實施例(梯形失真的估計)3.第三實施例(從抖動量中去除梯形失真)4.第四實施例(改變梯形失真的估計值)5.其他實施例1.第一實施例1-1.總的配置如圖1所示，圖像處理終端10被配置為具有監(jiān)控單元11、操作單元12和圖像處 理單元13。圖像處理終端10將從便攜式攝像機1提供的幀圖像數(shù)據(jù)提供給圖像處理單元 13。圖像處理單元13從組成幀圖像的幀圖像數(shù)據(jù)中檢測全局運動向量GMV。該全局運動向 量GMV表示整個幀圖像的運動向量。如上所述，除了相機的運動量(在下文中被稱為“相機運動量”)之外，全局運動向 量GMV包括作為焦平面失真的改變量的焦平面失真分量CF。而且，如圖2所示，相機運動包 括用戶故意的移動(在下文中被稱為“攝影操作”)和作為非故意的運動的抖動(在下文中 被稱為“相機抖動”或簡稱為“抖動”)兩者。因此，圖像處理單元13被布置來首先從全局 運動向量GMV中去除焦平面失真分量CF，然后校正相機抖動。如圖3所示，對于每個幀圖像，圖像處理單元13向緩存器21和運動檢測單元22 提供幀圖像數(shù)據(jù)。運動檢測單元22基于要處理的幀圖像使用下面描述的運動檢測處理來 計算表示整個幀圖像的運動向量的全局運動向量GMV，以及作為從緩存器21提供的緊接在 之前的幀圖像的參考幀圖像。這時，運動檢測單元22生成表示全局運動向量GMV的可靠性 的可靠性信息，并將可靠性信息與全局運動向量GMV —起提供給分量分離處理單元23。分量分離處理單元23使用下面描述的分量分離處理，將全局運動向量GMV分離為 表示相機運動量的相機運動分量CM和表示焦平面失真的改變量的焦平面失真分量CF。然 后，分量分離處理單元23向分離的分量存儲緩存器24提供焦平面失真分量CF、相機運動分 量CM和可靠性信息。例如，分離的分量存儲緩存器24是FIFO(先入先出)緩存器，其累積 并暫時存儲焦平面失真分量CF、相機運動分量CM和可靠性信息。濾波處理單元25使用下面描述的濾波處理，基于可靠性信息來執(zhí)行相機運動分量CM和焦平面失真分量CF的濾波。然后，濾波處理單元25向攝影操作量計算單元27和 校正向量生成單元29提供濾波之后的相機運動向量CM。濾波處理單元25還向FP失真校 正量計算單元26提供濾波之后的相機運動分量CM和焦平面失真分量CF。FP失真校正量計算單元26執(zhí)行FP失真校正量計算處理(下面詳細描述)來生成 作為關(guān)于焦平面失真的校正量的FP失真校正量CFc，并向校正向量生成單元29提供FP失 真校正量CFc。攝影操作量計算單元27使從濾波處理單元25提供的相機運動分量CM經(jīng)受下面 描述的攝影操作量計算處理，從而計算向校正向量生成單元29提供的攝影操作量。校正向量生成單元29基于攝影操作量和FP失真校正量CFc來執(zhí)行下面描述的校 正向量生成處理以生成校正向量vc，然后將校正向量Vc提供給運動補償單元30。該校正向 量V。用于抖動和焦平面失真的校正。運動補償單元30將校正向量\應(yīng)用到從緩存器21提供的處理幀圖像，從而執(zhí)行 運動補償處理。注意，運動補償單元30以比其幀圖像本身更小尺寸剪切幀圖像，以執(zhí)行抖 動和焦平面失真校正。因此，運動補償單元30用一個像素或更小的精度(例如，1/2像素精 度、1/4像素精度等)來執(zhí)行線性內(nèi)插以提高下降了的分辨率。運動補償單元30向圖1中示出的監(jiān)控單元11順序地提供經(jīng)歷線性內(nèi)插的幀圖 像。因此，校正了抖動和焦平面失真的幀圖像被順序地顯示在監(jiān)控單元11上。從而，圖像 處理終端10的圖像處理單元13校正幀圖像數(shù)據(jù)的抖動和焦平面失真。1-2.運動檢測處理運動檢測單元22執(zhí)行運動檢測處理，以根據(jù)向其提供的將被參考的參考幀圖像 和將被處理的處理幀圖像來檢測表示將被處理的處理幀圖像的總的運動的全局運動向量 GMV。如圖5A所示，對于組成預(yù)定數(shù)量的像素的每個像素塊增量，運動檢測單元22計算 處理幀圖像關(guān)于參考幀圖像的運動向量(在下文中被稱為“本地運動向量LMV”)。例如，運 動檢測單元22在充當(dāng)像素塊增量的16X 16像素的宏塊上執(zhí)行塊匹配，并且計算本地運動 向量LMV。這時，如圖5B所示，運動檢測單元22通過使用表示本地運動向量LMV的可靠性的 各種各樣的可靠性索引加權(quán)本地運動向量LMV，來計算全局運動向量GMV?？煽啃运饕睦?子包括本地運動向量LMV的大小、絕對差的和，組成塊的像素值的方差、從組成參考幀圖 像數(shù)據(jù)和處理幀圖像數(shù)據(jù)中相應(yīng)塊的像素值計算的協(xié)方差值以及其組合。用于計算全局運 動向量GMV的詳細方法描述在日本未審查專利申請公開No. 2007-230053和日本未審查專 利申請公開No. 2007-230054中?？煽啃运饕礁?，每個本地運動向量LMV的可靠性越高。而且，本地運動向量LMV 的可靠性越高，全局運動向量GMV的可靠性越高。因此，運動檢測單元22將用于處理幀圖 像數(shù)據(jù)的可靠性索引用作用于與其相應(yīng)的全局運動向量GMV的可靠性信息。以這種方式，運動檢測單元22基于針對每個宏塊計算的本地運動向量LMV來計算表示整個處理幀圖像的運動的全局運動向量GMV。這時，運動檢測單元22將用于本地運動 向量LMV的可靠性索引用作用于全局運動向量的可靠性信息。1-3.分量分離處理
首先，將參考圖6描述用作成像裝置的便攜式攝像機1和與便攜式攝像機1有關(guān) 的方向。將由便攜式攝像機1成像的成像圖像作為參考，由于便攜式攝像機1的移動引起 的對象側(cè)向(sideways)移動所關(guān)于的X軸方向被稱為“水平方向”，由于便攜式攝像機1的 移動引起的對象垂直移動所關(guān)于的Y軸方向被稱為“垂直方向”，以及由于便攜式攝像機1 的移動引起的對象放大或縮小所關(guān)于的Z軸方向被稱為“放大/縮小方向”。而且，X軸上的 旋轉(zhuǎn)被稱為“俯仰”，Y軸上的旋轉(zhuǎn)被稱為“偏轉(zhuǎn)”，以及Z軸上的旋轉(zhuǎn)被稱為“滾轉(zhuǎn)”。而且， 由于便攜式攝像機1在水平方向上的移動引起的對象移動所關(guān)于的方向被稱為“側(cè)向”，以 及由于便攜式攝像機1在垂直方向上的移動引起的對象移動所關(guān)于的方向被稱為“垂直”。
圖像處理終端10的圖像處理單元13使用分量分離處理單元23執(zhí)行分量分離處 理?，F(xiàn)在，表示整個幀圖像的運動的全局運動向量GMV具有各種各樣的分量，并且建模所有 的分量將導(dǎo)致圖像處理單元13上處理負(fù)荷的極大增加。為了處理這個問題，圖像處理單元 13虛構(gòu)地(fictitiously)假設(shè)全局運動向量GMV僅由作為相機的運動的相機運動分量CM 和作為焦平面失真的改變量的焦平面失真分量CF配置。圖像處理單元13的分量分離處理單元23將全局運動向量GMV應(yīng)用到使用未知參 數(shù)分離為相機運動分量CM和焦平面失真分量CF的分量分離模型，并生成分量分離表達式。 分量分離處理單元23通過計算分量分離表達式中的分量參數(shù)來計算相機運動分量CM和焦 平面失真分量CF兩者。例如，在便攜式攝像機1在如圖7的⑶和(C)中箭頭所指示的水平方向上移動、 同時成像圖7的(A)中所示的矩形對象SB的事件中，上述的焦平面失真使對象SB的上側(cè) 和下側(cè)在幀圖像中水平移動，導(dǎo)致以平行四邊形形式的失真。另一方面，在便攜式攝像機1 在如圖8的⑶和(C)中箭頭所指示的垂直方向上移動、同時成像圖8的㈧中所示的矩 形對象SB的事件中，對象SB的上部位置和下部位置在垂直方向上移動，使得在垂直方向上 放大/縮小對象SB。因此，如表達式(1)所示，圖像處理單元13使用FP失真垂直方向放大/縮小元素 EFa和FP失真平行四邊形元素EFb來建模焦平面失真分量CF，其中e是表示垂直方向放大 /縮小的分量參數(shù)，并且b是表示平行四邊形失真程度的分量參數(shù)。
ο oji ^ ο"
OeOOlO( 1 )
0 0 lj[_0 0 1通常，相機運動分量CM由線性變換和旋轉(zhuǎn)變換組成。線性變換由表示對象SB在 水平方向和垂直方向上移動的平移速度的平移(translational)元素和表示放大或縮小 對象的放大/縮小速度的放大/縮小元素組成。旋轉(zhuǎn)變換由表示對象SB在偏轉(zhuǎn)、俯仰和滾 轉(zhuǎn)這三個方向上的角度改變的旋轉(zhuǎn)元素組成?，F(xiàn)在，可以將平移元素、放大/縮小元素以及包括對應(yīng)于三個方向的角度改變的 旋轉(zhuǎn)元素的模型表示為投影變換，如表達式(2)所示。<formula>formula see original document page 11</formula>( 2 )然而，用于投影變換的變換表達式不是線性的，因此用最小二乘法是難以獲得的， 所以需要使用諸如最速下降法之類的梯度方法。使用這樣的梯度方式是不利的，因為取決 于初始值可能獲得不正確的解，而且，處理量很大。在第一實施例中，我們將假設(shè)所提供的幀圖像數(shù)據(jù)由具有下述配置的便攜式攝像 機1成像?，F(xiàn)在，圖9的(B)和(C)圖示了在偏轉(zhuǎn)方向和俯仰方向上移動便攜式攝像機1的 事件中、如圖A所示成像的幀圖像FM中對象SB的改變。圖9的右側(cè)示出的箭頭是基于便 攜式攝像機1的。如圖9的⑶和(C)所示，在便攜式攝像機1中，由于透鏡單元3和對象 SB的位置關(guān)系根據(jù)便攜式攝像機1的運動而改變，對象SB的位置和角度在幀圖像FM中改變。如果簡單地保持對象SB的位置為恒定就足夠了，則所有需要做的將是校正平移 元素和放大縮小元素或者旋轉(zhuǎn)元素和放大縮小元素之一。然而，這樣的校正沒有恰當(dāng)?shù)匦?正對象SB的角度改變，導(dǎo)致邊間斷地可見和不可見、閉合(occlusions)以及梯形方式的對 象失真(在下文中，這些都將被集合地稱為“梯形失真”)。便攜式攝像機1具有未示出的加速度傳感器，其檢測作為相機的移動的相機運動 量并從相機運動量計算無意的抖動量。附于主單元2的透鏡單元3在偏轉(zhuǎn)和俯仰方向上移 動，從而物理上抵消抖動量，并抑制對象SB和透鏡單元3之間位置關(guān)系的改變。從而，便攜式攝像機1根據(jù)諸如圖9的(B)和(C)所示的偏轉(zhuǎn)和俯仰方向上的抖 動，抑制幀圖像FM中對象SB的位置和角度改變。也就是說，從便攜式攝像機1提供的幀圖 像數(shù)據(jù)受到由于便攜式攝像機在偏轉(zhuǎn)和俯仰方向上的移動發(fā)生的幀圖像FM中對象SB的角 度改變的抑制。因此，圖像處理終端10的圖像處理單元13虛構(gòu)地假設(shè)在相機運動量中，旋轉(zhuǎn)元素 EMb僅是滾轉(zhuǎn)方向上的角度改變，并且可以建模相機運動分量CM如表達式(3)所示。
<formula>formula see original document page 11</formula>( 3 )注意，從左邊開始，表達式(3)中的三個矩陣是平移元素EMa、旋轉(zhuǎn)元素EMb和放 大/縮小元素EMc。在表達式(3)中，h是表示垂直方向上的平移的分量參數(shù)，ν是表示水 平方向上的平移的分量參數(shù)，cos θ和Sin θ是表示滾轉(zhuǎn)方向上的旋轉(zhuǎn)的分量參數(shù)，以及s 是表示由于對象和便攜式攝像機1之間距離的改變引起的放大/縮小的分量參數(shù)。因此，圖像處理單元13可以應(yīng)用仿射變換，其中由旋轉(zhuǎn)變換的一個方向和線性變 換的三個方向表示全局運動向量GMV。所以，圖像處理單元13可以使用一般的變換矩陣來 計算分量參數(shù)，從而顯著地減輕用于計算分量參數(shù)的處理負(fù)荷。而且，圖像處理單元13可 以計算某集合解(set solution)，因此不會計算出如同梯度方法的錯誤解。而且，分量分離處理單元23使焦平面失真分量CF和相機運動分量CM經(jīng)受原點校正和像素校正。如圖IOA所示，通常，當(dāng)使用軟件執(zhí)行圖像處理時，幀圖像的左上角是坐標(biāo)系統(tǒng)的 原點。也就是說，在旋轉(zhuǎn)坐標(biāo)系統(tǒng)的事件中，幀圖像在作為旋轉(zhuǎn)中心的幀圖像的最遠的左上 像素上旋轉(zhuǎn)。然而，便攜式攝像機1不在它自己的左上角上旋轉(zhuǎn)。因為用戶將最可能試圖將 對象SB放置在中間來拍攝圖像，所以將幀圖像的中心用作坐標(biāo)旋轉(zhuǎn)的中心應(yīng)該是期望的， 如圖IOC所示。因此，分量分離處理單元23預(yù)先將焦平面失真分量CF和相機運動分量CM與原 點校正矩陣MCl相乘，從而將原點移動到中間，如表達式(4)所示。在表達式(4)中，h。表 示幀圖像的垂直方向上的像素數(shù)量的1/2，以及ν。表示幀圖像的水平方向上的像素數(shù)量的 1/2。
<formula>formula see original document page 12</formula>最后，分量分離處理單元23將焦平面失真分量CF和相機運動分量CM與作為原點 校正矩陣MCl的逆矩陣的原點校正逆矩陣MC2相乘，如表達式(5)所示，從而將原點返回到 幀圖像的左上方，即，返回到在被移動到中間之前它所在的位置。
<formula>formula see original document page 12</formula>從而，分量分離處理單元23可以在原點被移動到幀圖像的中間的狀態(tài)中，計算焦 平面失真分量CF和相機運動分量CM?，F(xiàn)在，實際拍攝圖像的用戶沒有將被成像的幀圖像的中心作為旋轉(zhuǎn)的中心來旋轉(zhuǎn) 便攜式攝像機1，如圖IlA所示，而是在幾乎所有情況下，在肘部、手腕等處的軸上旋轉(zhuǎn)便攜 式攝像機1，如圖IlB所示。例如，在將便攜式攝像機1移動由于肘部的旋轉(zhuǎn)引起的運動量 MT的情況下，例如如圖IlC所示，可以將由于運動量MT引起的運動向量表示為如表達式 (6)所示，其中ha表示從作為旋轉(zhuǎn)軸的肘部到便攜式攝像機1處的幀圖像的中心的距離。<formula>formula see original document page 12</formula>
<formula>formula see original document page 12</formula>(6)<formula>formula see original document page 12</formula>
也就是說，當(dāng)從原點看時，可以將由于運動量MT引起的運動向量表示為旋轉(zhuǎn)和平 移運動的組合，所以旋轉(zhuǎn)軸位置的不同不是有害的。而且，通常，在幀圖像數(shù)據(jù)的幀圖像中像素的縱橫比不是1 1。可以從圖12A看 至|J，例如，將矩形的像素和旋轉(zhuǎn)元素EMb相乘，如圖12A所示，由于水平和垂直比例的不同， 根據(jù)旋轉(zhuǎn)，矩形失真為平行四邊形，如右側(cè)所示。因此，分量分離處理單元23乘上表達式(7)中示出的像素校正矩陣MP1，從而在與 旋轉(zhuǎn)元素EMb相乘之前將不是方形的像素暫時轉(zhuǎn)換為方形形狀。注意，在表達式(7)中，ρ 表示在像素的一邊是“ 1，，的事件中的像素比。<formula>formula see original document page 13</formula>
在與旋轉(zhuǎn)元素EMb相乘之后，分量分離處理單元23乘上作為像素校正矩陣MPl的 逆矩陣的像素校正逆矩陣ΜΡ2(表達式(8))，從而將轉(zhuǎn)換為方形的像素重新轉(zhuǎn)換回原始的 縱橫比。
<formula>formula see original document page 13</formula>
也就是說，分量分離處理單元23在旋轉(zhuǎn)元素EMb之前和之后乘上像素校正矩陣 MPl和像素校正逆矩陣ΜΡ2，如表達式9所示。
<formula>formula see original document page 13</formula>
如圖13所示，分量分離處理單元23使用分量分離模型，其中在校正原點和縱橫比 時，使用未知的分量參數(shù)來執(zhí)行到焦平面失真分量CF和相機運動分量CM的分離。隨后，分 量分離處理單元23使全局運動向量GMV與分量分離模型相一致以建模全局運動向量GMV， 并且最后，在分量分離表達式的末尾，使原點和像素縱橫比返回到它們原來的樣子。在實際的實踐中，圖像處理單元13的運動檢測單元22將全局運動向量GMV計算 為仿射變換矩陣表達式，如表達式(10)所示。
<formula>formula see original document page 13</formula>
當(dāng)從運動檢測單元22提供全局運動向量GMV時，分量分離處理單元23使全局運動向量GMV與圖13中示出的分量分離模型相一致，從而生成表達式(11)中示出的分量分 離表達式。<formula>formula see original document page 14</formula><formula>formula see original document page 14</formula><formula>formula see original document page 14</formula>然后，分量分離處理單元23將表達式(11)修改為表達式(12)。<formula>formula see original document page 14</formula><formula>formula see original document page 14</formula><formula>formula see original document page 14</formula>以一般的等式形式求解表達式(12)中的分量參數(shù)(sine、e、b、s、h和ν)得到如 下。如果θ =O(bl = O)sin θ =0s = -a2s = B1<formula>formula see original document page 14</formula><formula>formula see original document page 14</formula><formula>formula see original document page 14</formula>
h =a0-bv =a0-a2b0/b2如果θ= |(、=OA >0)sin θ =1s = -a2b = a1/s=-a1/a2e=b1/sp=-b1/a2v=b0/e=-a2b0/b1h=a0-bv=a0-a1/b1如果θ=—T/2=0Λ <0)sin θ = -1s = a2b = a1/s=-a1/a2(15)e=-b1/s=-b1/a2ν=b0/e=-a2b0/b1h=a0-bv = a0-a1/b1其他情況tanθ=b1/b2p如果bl > 0，tan θ > O 或者 b1 < 0，tan θ <0<formula>formula see original document page 15</formula>如果bl < 0，tan θ > 0 或者 b1 > 0，tan θ <0<formula>formula see original document page 15</formula>b=a1sinθ+a2cosθ/a1cosθ-a2sinθs=a1/cosθ+bsinθe=b1/sinθ<formula>formula see original document page 16</formula>從而，分量分離處理單元23通過代入分量分離表達式來建模表示為仿射變換矩 陣的全局運動向量GMV，其中使用未知的分量參數(shù)以分離的方式表達焦平面失真分量CF和 相機運動分量CM。然后，分量分離處理單元23解方程來計算每個參數(shù)，從而將全局運動向 量GMV分離為焦平面失真分量CF和相機運動分量CM。注意，分量分離處理單元23可能僅 僅將分量參數(shù)作為焦平面失真分量CF和相機運動分量CM提供給分離的分量存儲緩存器 24，或者可能提供包含在矩陣中的所有值。對于其他處理也同樣是這樣。接下來，將參考圖14中示出的流程圖來描述根據(jù)圖像處理程序執(zhí)行的分量計算 處理過程RTl。注意，分量計算處理過程RTl對應(yīng)于上述的運動檢測處理和分量分離處理。首先，在提供幀圖像數(shù)據(jù)時，圖像處理單元13的運動檢測單元22啟動分量計算處 理過程RTl，并且流程前進到步驟SPl。在步驟SPl中，在檢測到表示整個幀圖像的運動的全局運動向量GMV時，運動檢測 單元22向分量分離處理單元23提供全局運動向量GMV，并且流程前進到隨后的步驟SP2。在步驟SP2中，圖像處理單元13的分量分離處理單元23通過將從運動檢測單元 22提供的全局運動向量GMV代入表達式(11)示出的分量分離表達式來建模從運動檢測單 元22提供的全局運動向量GMV，并且流程前進到隨后的步驟SP3。在步驟SP3中，分量分離處理單元23計算分量分離表達式具有的未知分量參數(shù)， 從而計算相機運動分量CM和焦平面失真分量CF，在這之后，流程前進到結(jié)束步驟，并且分 量計算處理過程RTl結(jié)束。1-4.濾波處理濾波處理單元25基于由運動檢測單元22生成的可靠性信息，執(zhí)行相機運動分量 CM和焦平面失真分量CF的濾波。如上所述，可靠性信息由本地運動向量LMV的可靠性索引 組成。濾波處理單元25確定每個可靠性索引是否在預(yù)定的高可靠性閾值或更高，并對于每 個幀圖像數(shù)據(jù)，計算在高可靠性閾值或更高的可靠性索引關(guān)于可靠性索引的總數(shù)的比例。在高可靠性閾值或更高的可靠性索引的比例超過預(yù)定的濾波閾值的事件中，這意 味著全局運動向量GMV的可靠性高，所以濾波處理單元25按照原樣地使用對應(yīng)于全局運動 向量GMV的相機運動分量CM和焦平面失真分量CF。另一方面，在高可靠性閾值或更高的可 靠性索引的比例沒有超過預(yù)定的濾波閾值的事件中，這意味著全局運動向量GMV的可靠性 低，所以濾波處理單元25不按照原樣地使用對應(yīng)于全局運動向量GMV的相機運動分量CM 和焦平面失真分量CF。具體地，在全局運動向量GMV的可靠性高的事件中，濾波處理單元25將焦平面失 真分量CF按照原樣地提供給FP失真校正量計算單元26，并且還將相機運動分量CM提供給 FP失真校正量計算單元26、攝影操作量計算單元27和校正向量生成單元29。另一方面，在全局運動向量GMV的可靠性低的事件中，濾波處理單元25丟棄所提 供的相機運動分量CM和焦平面失真分量CF。在該情況下，濾波處理單元25將預(yù)定的單元 矩陣作為焦平面失真分量CF提供給FP失真校正量計算單元26，并且還將預(yù)定的單位矩陣 作為相機運動分量CM提供給FP失真校正量計算單元26、攝影操作量計算單元27和校正向量生成單元29。注意，可以進行如下的安排，其中例如濾波處理單元25根據(jù)可靠性設(shè)置多 個濾波閾值，使得相機運動分量CM和焦平面失真分量CF之一可以用單位矩陣替代，或者隨 著元素的增加執(zhí)行用單位矩陣的替代。從而，濾波處理單元25選擇性地使用基于具有高可靠性的全局運動向量GMV生成 的焦平面失真分量CF和相機運動分量CM。因此，圖像處理單元13僅將具有高可靠性并且 關(guān)于其具有小誤差的概率低的全局運動向量GMV提供給FP失真校正量計算單元26、攝影操 作量計算單元27和校正向量生成單元29。接下來，將參考圖15中示出的流程圖來描述根據(jù)圖像處理程序執(zhí)行的濾波處理過程RT2。在從分離的分量存儲緩存器24提供可靠性信息、相機運動分量CM和焦平面失真 分量CF時，圖像處理單元13的濾波處理單元25啟動濾波處理過程RT2，并且流程前進到步 驟 SPll。在步驟SPll中，濾波處理單元25基于可靠性信息確定全局運動向量GMV的可靠 性是否高。在這里獲得肯定結(jié)果的事件中，這意味著相機運動分量CM和焦平面失真分量CF 是可靠的。在該情況下，濾波處理單元25使流程前進到隨后的步驟SP12。在步驟SP12中，濾波處理單元25按照原樣地輸出由分量分離處理單元23分離 的相機運動分量CM和焦平面失真分量CF，使流程前進到結(jié)束步驟，從而結(jié)束濾波處理過程 RT2。另一方面，在步驟SPll中獲得否定結(jié)果的事件中，這意味著相機運動分量CM和 焦平面失真分量CF不是可靠的。在該情況下，濾波處理單元25使流程前進到隨后的步驟 SP13。在步驟SP13中，濾波處理單元25丟棄相機運動分量CM和焦平面失真分量CF并 用單位矩陣替代這些，并且將所替代的矩陣作為相機運動分量CM和焦平面失真分量CF輸 出。然后，濾波處理單元25使流程前進到結(jié)束步驟，從而結(jié)束濾波處理過程RT2。1-5. FP失真校正計算處理應(yīng)該明白的是，焦平面失真不是在每個幀圖像中獨立發(fā)生的現(xiàn)象，而是由在多個 幀圖像上連續(xù)發(fā)生而積累的失真的表現(xiàn)。另一方面，全局運動向量GMV表示關(guān)于以前的幀 圖像的運動。也就是說，焦平面失真分量CF表示關(guān)于以前的幀圖像的焦平面失真的改變 量，而不管它是增加還是減小。因此，所期望的將是，將焦平面失真分量CF的累積值用于焦 平面失真的準(zhǔn)確校正。然而，焦平面失真分量CF包括誤差。圖16A圖示了在由于相機抖動等引起的快速 重復(fù)中發(fā)生焦平面失真的事件中，焦平面失真分量CF改變的方式。焦平面失真分量CF的 值的正號表示焦平面失真正在增加，以及焦平面失真分量CF的值的負(fù)號意味著焦平面失 真正在減小。圖16B示出了作為圖16A中示出的焦平面失真分量CF的累積值的FP失真累積值。 可以從這里看到，隨著幀圖像數(shù)量增加，F(xiàn)P失真累積值顯著增加。這是由于焦平面失真分 量CF包括的誤差被分散(scattered) 了。也就是說，在使用焦平面失真分量CF的累積值 執(zhí)行幀圖像校正的事件中，誤差的累積可導(dǎo)致幀圖像的損壞(break down) 0因此，圖像處理單元13的FP失真校正量計算單元26計算FP失真校正量CFc，使得焦平面失真等價于處理幀圖像、處理幀圖像之前的幀圖像和處理幀圖像之后的幀圖像中焦平面失真最小的幀圖像的焦平面失真。 現(xiàn)在，相比于焦平面失真分量CF，相機運動分量CM具有小誤差和高可靠性。此外， 焦平面失真分量CF具有與相機運動分量CM的平移速度的相關(guān)性。因此，F(xiàn)P失真校正量計 算單元26基于平移速度來計算FP失真校正量CFc。注意，F(xiàn)P失真校正量CFc被表示為表達式(1)中的焦平面失真分量CF的矩陣，其 中用e。替代FP失真分量參數(shù)e，以及用b。替代FP失真分量參數(shù)b。在下述的校正向量生 成處理中，乘上FP失真校正量CFc的逆矩陣，從而校正處理幀圖像中的焦平面失真。如圖17所示，處理幀圖像FMl前一個的幀圖像被稱為參考幀F(xiàn)M0，并且參考幀F(xiàn)MO 前一個的幀圖像被稱為以前幀圖像FM-I。跟在處理幀圖像FMl之后的幀圖像被稱為跟隨幀 FM2。此外，由被稱為全局運動向量GMVO的表示將參考幀F(xiàn)MO作為參考的情況下處理幀 圖像FMl的運動。由被稱為全局運動向量GMV-I的表示將以前幀圖像FM-I作為參考的情 況下參考幀F(xiàn)MO的運動。由被稱為全局運動向量GMV+1的表示將處理幀圖像FMl作為參考 的情況下跟隨幀F(xiàn)M2的運動。這些被共同地稱為“全局運動向量GMV”。將對應(yīng)于全局運動向量GMV的相機運動分量CM和焦平面失真分量CF順序地提供 給FP失真校正量計算單元26。注意，對應(yīng)于全局運動向量GMV0、GMV+1和GMV-I的相機運 動分量CM被分別稱為相機運動分量CMO、CM+1和CM-I。而且，對應(yīng)于全局運動向量GMV0、 GMV+1和GMV-I的焦平面失真分量CF被分別稱為焦平面失真分量CFO、CF+1和CF-I。FP失真校正量計算單元26比較相機運動分量CM0、CM+1和CM-I中運動分量參數(shù) ν的值。運動分量參數(shù)ν表示垂直方向上的平移速度。在垂直方向上平移速度大的事件中， 焦平面失真大，而在垂直方向上平移速度小的事件中，焦平面失真小。在相機運動分量CM0、 CM+1和CM-I中，F(xiàn)P失真校正量計算單元26選擇具有垂直方向上最小平移速度(例如，最 小運動分量參數(shù)ν值)的相機運動分量CM。在所選擇的相機運動分量CM是相機運動分量CMO的事件中，F(xiàn)P失真校正量計算 單元26將焦平面失真設(shè)置為與處理幀圖像FMl的焦平面失真大致相同。FP失真校正量計 算單元26將單位矩陣設(shè)置為FP失真校正量CFc，并且將“1”設(shè)置到表示垂直方向上放大/ 縮小的FP失真分量參數(shù)e。。所以，對于垂直方向上的放大/縮小，沒有校正焦平面失真。另一方面，在所選擇的相機運動分量CM是相機運動分量CM-I的事件中，F(xiàn)P失真 校正量計算單元26將焦平面失真設(shè)置為與參考幀圖像FMO的焦平面失真大致相同。FP失 真校正量計算單元26將焦平面失真分量CFO設(shè)置為FP失真校正量CFc，并且將焦平面失真 分量CFO中的“e”設(shè)置為FP失真分量參數(shù)e。。所以，對于垂直方向上的放大/縮小，將焦 平面失真校正到參考幀F(xiàn)MO的焦平面失真周圍的級別。再一次，在所選擇的相機運動分量CM是相機運動分量CM+1的事件中，F(xiàn)P失真校 正量計算單元26將焦平面失真設(shè)置為與處理幀圖像FM2的焦平面失真大致相同。FP失真 校正量計算單元26將焦平面失真分量CF+1的逆矩陣設(shè)置為FP失真校正量CFc，并且將焦 平面失真分量CF+1中的“e的倒數(shù)”設(shè)置為FP失真分量參數(shù)e。。所以，對于垂直方向上的 放大/縮小，將焦平面失真校正到跟隨幀F(xiàn)M2的焦平面失真周圍的級別。FP失真校正量計算單元26以相同的方式比較相機運動分量CM0、CM+1和CM-I中運動分量參數(shù)h的值，并且選擇具有最小水平方向平移速度(即，最小運動分量參數(shù)h值) 的相機運動分量CM。然后，F(xiàn)P失真校正量計算單元26根據(jù)所選擇的相機運動分量CMO、 CM-I或CM+1，從“O”、焦平面失真分量CFO中的“b”以及焦平面失真分量CF+1中的“b的 倒數(shù)”中選擇合適的FP失真分量參數(shù)b。。FP失真校正量計算單元26進一步將所選擇的FP 失真分量參數(shù)e。和b。作為FP失真校正量CFc，并且提供給校正向量生成單元29。因此，F(xiàn)P失真校正量計算單元26沒有積累焦平面失真分量CF，所以FP失真校正 量CFc沒有分散。而且，如圖18B所示，盡管FP失真校正量計算單元26沒有校正所有的焦 平面失真(圖18A)，但是焦平面失真可以被減小到FP失真累積值之下，從而減小焦平面失 直
ο該焦平面失真被確認(rèn)為一種屬性(of a nature)，其中例如在大約五幀的短周期 內(nèi)發(fā)生增加和減小，同時符號改變，并且最大值不是極其地大。因此，F(xiàn)P失真校正量計算單 元26可以簡單地通過減小焦平面失真的最大量，來使幀圖像中的焦平面失真視覺上不顯 眼。以這樣的方式，在處理幀圖像FMl、參考幀F(xiàn)MO和跟隨幀F(xiàn)M2中，F(xiàn)P失真校正量計 算單元26基于平移速度選擇具有最小焦平面失真的幀圖像FM。然后，F(xiàn)P失真校正量計算 單元26計算FP失真校正量CFc以處于與所選擇的幀圖 像FM相同的級別。從而，F(xiàn)P失真 校正量計算單元26以確定的方式阻止FP失真校正量CFc的分散，并且還減小焦平面失真 以在視覺上更不明顯。接下來，將參考圖19中示出的流程圖描述根據(jù)圖像處理程序執(zhí)行的FP失真校正 量計算處理過程RT3。在提供全局運動向量GMV時，F(xiàn)P失真校正量計算單元26啟動FP失真校正量計算 處理過程RT3，并且使流程前進到步驟SP22。在步驟SP22中，F(xiàn)P失真校正量計算單元26比較相機運動分量CMO、CM+1和CM-I 中運動分量參數(shù)h和ν的值，然后使流程前進到隨后的步驟SP23。在步驟SP23中，F(xiàn)P失真校正量計算單元26選擇具有最小平移速度(即，運動分 量參數(shù)h和ν的最小值)的相機運動分量CM，然后使流程前進到隨后的步驟SP24。在步驟SP24中，F(xiàn)P失真校正量計算單元26根據(jù)步驟SP23中選擇的相機運動分量 CM來計算FP失真校正量CFc。這時，F(xiàn)P失真校正量計算單元26計算FP失真校正量CFc， 使得焦平面失真是與對應(yīng)于相關(guān)的相機運動分量CM的幀圖像的焦平面失真大致相同的級 另O。FP失真校正量計算單元26使流程前進到結(jié)束步驟，以結(jié)束FP失真校正量計算處理過 程 RT3。1-6.攝影操作量的計算攝影操作量計算單元27將預(yù)定分接頭(taps)數(shù)量的LPF(低通濾波器)應(yīng)用到 從濾波處理單元25提供的運動分量參數(shù)θ、s、h和ν，從而計算作為用戶故意進行的運動 的攝影操作量。具體地，得到與分接頭數(shù)量相同數(shù)量的分量參數(shù)，并將其應(yīng)用于FIR(有限沖激響 應(yīng)濾波器)，從而得到濾波之后的運動分量參數(shù)(也被稱為攝影操作分量參數(shù))。攝影操作 分量參數(shù)表示攝影操作量。在下文中，攝影操作分量參數(shù)將被寫為ef、Sf、hf*Vf。設(shè)置LPF的分接頭數(shù)量使得特性對于LPF是足夠的。對LPF設(shè)置截止頻率，使得可能被認(rèn)為是相機抖動的頻率附近的范圍可以被以確定的方式切掉。此外注意，可以使用 簡單的移動平均濾波器。在截止頻率被設(shè)置為0. 5Hz的事件中，通過將分接頭數(shù)量設(shè)置到517附近，可以使 LPF具有高精度，如圖20A所示。此外，如圖20B所示，即使分接頭數(shù)量下降到60附近，LPF 將在某種程度上起作用，盡管精度降低了。因此，優(yōu)選地，基于實際的實施限制來設(shè)置攝影 操作量計算單元27，該實際的實施限制例如圖像處理單元13的硬件的處理能力、輸出延時 的容忍范圍等。從而，攝影操作量計算單元27使表示相機運動量的運動分量參數(shù)θ、s、h和ν經(jīng)受LPF處理，從而生成表示攝影操作量的攝影操作分量參數(shù)θ f、Sf、hf和vf。1-7.生成校正向量校正向量生成單元29被布置來生成將被應(yīng)用到處理幀圖像的校正向量Vc，以校正 相機抖動和焦平面失真。為了易于描述，我們將把分量分離表達式中的分量和矩陣寫為表達式(17)，從而 我們可以將表達式(11)的分量分離表達式表示為表達式(18)。注意，變換Xtl之前的坐標(biāo) 是對應(yīng)于參考幀F(xiàn)MO的坐標(biāo)，以及變換X1之后的坐標(biāo)是對應(yīng)于處理幀圖像FMl的坐標(biāo)。
XQ
X0 (變換前的坐標(biāo))=^0 .
ι
X1 (變換后的坐標(biāo))=% .
ι
ο ο Γι bc ο' F ( FP失真校正量CFc ) = 0 A 0 0 1 0
0 01 J[o 0 1
0 hJcose-sin<9 Ο Γ^ 0 O" M (相機運動分量CM ) = 0 1
ν ^ini1cos0 0 0 s 0 卜
0 0 1 0 0 1 0 0 1 L」L__IL_
-0 0 P
P (縱橫比校正矩陣MPl ) = 0 1 0
0 0 1<formula>formula see original document page 21</formula>
注意，將抖動量作為Ms以及將攝影操作量作為Mc，得到下面的表達式(19)。M = MsMc(19)通過從相機運動分量CM(M)中的運動分量參數(shù)減去攝影操作分量參數(shù)，可以計算 作為Ms的抖動量。校正向量生成單元29根據(jù)運動分量參數(shù)θ、s、h和ν以及從攝影操作 量計算單元27提供的攝影操作分量參數(shù)θ f、Sf、hf和vf，按照表達式(20)計算作為Ms的
抖動量。
<formula>formula see original document page 21</formula>
從而，從表達式(22)可以看到，單獨將攝影操作量Μ。應(yīng)用到變換Xtl之前的坐標(biāo)的 左側(cè)等于將作為Ms的抖動量的逆矩陣和焦平面失真分量CF(F)應(yīng)用到變換X1之后的坐標(biāo) 的右側(cè)。換句話說，將變換X1之后的坐標(biāo)乘上表達式(23)中示出的校正向量^得到僅僅 應(yīng)用來自參考幀F(xiàn)MO的攝影操作量Mc的坐標(biāo)(即，其中已經(jīng)抵消了抖動和FP失真校正量 CFc)。Vc = CT1P-1MsF1PC(23)因此，在提供運動分量參數(shù)θ、s、h和V、攝影操作分量參數(shù)0f、Sf、hf*vf以及 FP失真分量參數(shù)e。和b。時，校正向量生成單元29根據(jù)表達式(20)和表達式(23)生成提 供到運動補償單元30的校正向量\。所以，在運動補償單元30處應(yīng)用校正向量Vc，從而校正處理幀圖像FMl處的抖動 和焦平面失真。從而，由于已經(jīng)校正了抖動和焦平面失真，相比于參考幀F(xiàn)M0，校正向量生成 單元29可以在僅僅應(yīng)用攝影操作量Mc的狀態(tài)中生成處理幀圖像FM1。接下來，將參考圖21中示出的流程圖描述根據(jù)圖像處理程序執(zhí)行的校正向量生 成處理過程RT4。在接收相機運動分量CM、攝影操作分量CMc和FP失真校正量CFc的提供時，校正 向量生成單元29啟動校正向量生成處理過程RT4，并且使流程前進到步驟SP31。在步驟SP31中，按照表達式(20)，校正向量生成單元29基于相機運動分量CM和攝影工作分量CMc計算作為Ms的抖動量，在這之后，流程前進到步驟SP32。在步驟S32中，校正向量生成單元29將作為Ms的抖動量的逆矩陣(即，Mf1)和FP 失真校正量CFc的逆矩陣(S卩，Γ1)代入表達式(23)，在這之后，流程前進到步驟SP33。在步驟SP33中，校正向量生成單元29按照表達式(23)生成校正向量Vc，然后使 流程前進到結(jié)束步驟，以結(jié)束校正向量生成處理過程RT4。注意，可以通過硬件或通過軟件來執(zhí)行上述的圖像處理序列。在通過軟件執(zhí)行圖 像處理的事件中，在CPU和RAM中以虛擬的方式形成圖像處理單元13，并且通過將存儲在 ROM中的圖像處理程序裝載到RAM來執(zhí)行圖像處理。1-8.操作和優(yōu)點對于上面的配置，圖像處理終端10的圖像處理單元13從幀圖像的幀圖像數(shù)據(jù)檢 測全局運動向量GMV，其是表示整個幀圖像的運動的運動向量。圖像處理單元13使用表示 作為相機的運動的相機運動和焦平面失真的改變量的未知分量參數(shù)θ、s、h、v、e和b，從而 將所檢測的全局運動向量GMV建模為分量分離表達式(表達式(11))。因此，可以通過分量 分離以分離的方式來表達相機運動分量CM和焦平面失真分量CF。圖像處理單元13計算分量分離表達式中使用的分量參數(shù)e和b，以計算全局運動 向量GMV中的焦平面失真分量CF。從而，圖像處理單元13可以虛構(gòu)地假設(shè)僅由相機運動分 量CM和焦平面失真分量CF來配置全局運動向量GMV。因此，圖像處理單元13可以以簡單 的處理來計算全局運動向量GMV中的焦平面失真分量CF。圖像處理單元13基于所計算的焦平面失真分量CF來校正幀圖像具有的焦平面失 真。因此，圖像處理單元13可以減小幀圖像中的焦平面失真。對于圖像處理單元13，焦平面失真分量CF被表示為FP失真平行四邊形元素EFb 和FP失真垂直方向放大/縮小元素EFa。因此，圖像處理單元13可以恰當(dāng)?shù)亟１憩F(xiàn)為平 行四邊形形狀的失真和垂直方向上的放大/縮小的兩種類型的焦平面失真，從而可以用高 精度計算焦平面失真分量CF。圖像處理單元13基于所計算的焦平面失真分量CF，關(guān)于幀圖像計算表示焦平面 失真的校正量的FP失真校正量CFc。圖像處理單元13還基于所計算的FP失真校正量CFc， 生成用于校正全局運動向量GMV中的焦平面失真的校正向量Vc。在幀圖像中，圖像處理單 元13還將所生成的校正向量^應(yīng)用到將被處理的處理幀圖像FM1。因此，圖像處理單元13 可以通過等于所計算的FP失真校正量CFc的量來校正處理幀圖像FMl中的焦平面失真，從 而可以減小處理幀圖像FMl中的焦平面失真。圖像處理單元13從處理幀圖像FMl以及作為緊接在處理幀圖像FMl之前和之后 的幀圖像的參考幀圖像FMO和跟隨幀F(xiàn)M2中，選擇具有最小焦平面失真的幀圖像。圖像處 理單元13計算FP失真校正量CFc，使得焦平面失真處于與所選擇的幀圖像相同的級別。因 此，圖像處理單元13可以減小焦平面失真而無需使用焦平面失真累積值，從而防止由于焦 平面失真中誤差的累積引起的幀圖像的損壞。對于圖像處理單元13，相機運動分量CM至少由平移元素EMa和放大/縮小元素 EMc表示，并且基于平移元素EMa選擇具有最小焦平面失真的幀圖像。因此，圖像處理單元 13通過使用比FP失真參數(shù)b和e更可靠并且還具有與焦平面失真的相關(guān)性的平移元素 EMa，可以選擇具有最小焦平面失真的幀圖像。因此，圖像處理單元13可以以確定的方式選擇具有最小焦平面失真的幀圖像，而不會錯誤地選擇不正確的幀圖像。對于圖像處理單元13，由垂直方向平移速度ν和水平方向平移速度h表示平移元素EMa，并且基于垂直方向平移速度ν對應(yīng)于FP失真垂直方向放大/縮小元素EFa的焦平 面失真校正量CFc。而且，圖像處理單元13基于水平方向平移速度h計算對應(yīng)于FP失真平 行四邊形元素EFb的焦平面失真校正量CFc。對于圖像處理單元13，分量分離表達式(表達式(11))被表示為矩陣表達式，因 此，圖像處理單元13可以容易地建模相機運動分量CM和焦平面失真分量CF。檢測全局運動向量GMV時，圖像處理單元13生成表示全局運動向量GMV的可靠性 的可靠性信息。圖像處理單元13進一步基于可靠性信息，僅僅使用可靠性高的全局運動向 量GMV的焦平面失真分量CF來生成焦平面失真校正量CFc。因此，圖像處理單元13可以僅 使用具有很小誤差的焦平面失真分量CF來生成焦平面失真校正量CFc，從而可以改善焦平 面失真校正量CFc的計算預(yù)測。對于圖像處理單元13，相機運動分量CM被表示為一個方向上的平移元素EMa、放 大/縮小元素EMc和旋轉(zhuǎn)元素EMb。因此，圖像處理單元13可以處理作為仿射變換的分量 分離表達式，從而顯著減小處理負(fù)荷。對于圖像處理單元13，在旋轉(zhuǎn)元素EMb之前，將表達式乘上用于將原點移動到中 心的原點校正矩陣MC1，以及乘上縱橫比校正矩陣MPl以將像素的縱橫比改變到1 1。此 夕卜，對于圖像處理單元13，在旋轉(zhuǎn)元素EMb之后，將表達式乘上用于將移動到中心的原點返 回到它所屬地方的原點校正逆矩陣MC2，并且乘上縱橫比校正逆矩陣MP2以將像素的縱橫 比返回到它們原始的縱橫比。因此，對于作為旋轉(zhuǎn)中心的原點被移動到中心并且像素的縱 橫比被改變到1 1的幀圖像，圖像處理單元13可以執(zhí)行旋轉(zhuǎn)處理。從而，即便在原點處 于非中心的位置處并且像素的縱橫比不是1 1的情況下，圖像處理單元13仍然可以合適 地旋轉(zhuǎn)幀圖像。使用作為e和b的分量參數(shù)，圖像處理單元13建模焦平面失真分量CF，如表達式 (1)所示。因此，圖像處理單元13可以恰當(dāng)?shù)亟１憩F(xiàn)為垂直方向放大/縮小和平行四邊 形失真的焦平面失真。使用作為θ、h、ν和s的分量參數(shù)，圖像處理單元13建模相機運動分量CM，如表 達式(3)所示。因此，圖像處理單元13可以恰當(dāng)?shù)貙⑾鄼C運動分量CM建模為滾轉(zhuǎn)方向上 的旋轉(zhuǎn)、垂直和水平平移速度以及放大/縮小速度。圖像處理單元13建模全局運動向量GMV，如表達式(11)所示。因此，圖像處理單 元13可以將全局運動向量GMV建模為包括單獨一個方向上的旋轉(zhuǎn)并且合適地從相機運動 分量CM和焦平面失真分量CF分離的仿射變換表達式，這解決了關(guān)于旋轉(zhuǎn)的旋轉(zhuǎn)中心和像 素的縱橫比的問題。 對于上述的配置，假設(shè)全局運動向量GMV絕大部分根據(jù)相機運動分量CM和焦平面 失真分量CF來配置，圖像處理單元13使用未知分量參數(shù)，將全局運動向量GMV建模為分量 分離表達式。圖像處理單元13計算分量參數(shù)，從而計算焦平面失真分量CF。因此，圖像處 理單元13可以使用容易的分量分離表達式來用容易的處理計算焦平面失真分量CF。2.第二實施例圖22至圖26B中圖示了第二實施例，其中用相同的附圖標(biāo)記表示與圖1至圖21中圖示的第一實施例中的那些對應(yīng)的部分，并且相應(yīng)地，將在這里省略對這樣的部分的冗 余描述。如圖22所示，第二實施例與第一實施例的不同在于對應(yīng)于圖像處理單元13的圖 像處理單元113具有梯形失真估計單元128。而且，對于第二實施例，運動檢測處理、FP失 真校正量計算處理和校正向量生成處理的內(nèi)容與第一實施例中的那些不同。2-1.運動檢測處理與第一實施例中的運動檢測單元22對應(yīng)的運動檢測單元122生成本地運 動向量 LMV以及用于本地運動向量LMV的可靠性索引。在可靠性索引處于采用閾值之上的事件中， 運動檢測單元122使用本地運動向量LMV來生成全局運動向量GMV。另一方面，在可靠性索 引在采用閾值之下的事件中，運動檢測單元122不使用本地運動向量LMV。因此，運動檢測 單元122可以僅使用具有高可靠性的本地運動向量LMV來生成全局運動向量GMV，從而改善 全局運動向量GMV的精度。運動檢測單元122將所使用的本地運動向量LMV關(guān)于所有本地 運動向量LMV的數(shù)量(即，幀圖像中塊的數(shù)量)的比例作為可靠性信息。取決于可靠性信息是否超過濾波閾值，濾波處理單元125以與第一實施例相同的 方式來執(zhí)行相機運動分量CM和焦平面失真分量CF的濾波。2-2. FP失真校正量計算處理對應(yīng)于FP失真校正量計算單元26的FP失真校正量計算單元126將FP失真累積 值作為FP失真校正量CFc。為了防止如上使用圖16A和圖16B所描述的FP失真累積值的 分散，F(xiàn)P失真校正量計算單元126評估焦平面失真分量CF的可靠性，并且還在平移速度低 的事件中復(fù)位FP失真累積值。如上所述，在焦平面失真分量CF和平移速度之間存在相關(guān)性(規(guī)則)。FP失真校 正量計算單元126比較所提供的相機運動分量CM和焦平面失真分量CF，并且基于規(guī)則是否 在焦平面失真分量CF和平移速度之間保持來評估焦平面失真分量CF的可靠性。FP失真校正量計算單元126確定FP失真分量參數(shù)和運動分量參數(shù)e之間的關(guān)系 以及FP失真分量參數(shù)b和運動分量參數(shù)h之間的關(guān)系中的每個是否匹配規(guī)則。FP失真校 正量計算單元126保存表示其中FP失真分量參數(shù)和運動分量參數(shù)匹配規(guī)則的范圍的、提前 存儲的關(guān)系信息，例如，以表示規(guī)則的關(guān)系表達式或表格的形式。從而，F(xiàn)P失真校正量計算 單元126確定失真分量參數(shù)和運動分量參數(shù)的關(guān)系是否符合該關(guān)系信息，從而確定這些關(guān) 系是否匹配規(guī)則。在FP失真分量參數(shù)和運動分量參數(shù)不匹配規(guī)則的事件中，F(xiàn)P失真校正 量計算單元126減小FP失真分量參數(shù)的影響，因為其可靠性低。例如，F(xiàn)P失真校正量計算單元126將焦平面失真分量CF與小于1的系數(shù)相乘，從 而減小不匹配規(guī)則的焦平面失真分量CF的FP失真累積值的影響。而且，通過將焦平面失 真分量CF設(shè)置為單位矩陣，可以將FP失真校正量計算單元126布置來完全消除不匹配規(guī) 則的焦平面失真分量CF的FP失真累積值的影響。因此，F(xiàn)P失真校正量計算單元126可以 主要關(guān)于具有高可靠性的焦平面失真分量CF來計算FP失真累積值，從而減小FP失真累積 值中的誤差，從而可以防止FP失真累積值的分散。而且，在運動分量參數(shù)h和ν小于預(yù)定的復(fù)位值的事件中，這意味著沒有出現(xiàn)焦平 面失真或出現(xiàn)非常小的焦平面失真，所以FP失真校正量計算單元126將FP失真累積值復(fù) 位為零。如上所述，焦平面失真分量CF以大約五幀的周期重復(fù)增加和減小，同時反轉(zhuǎn)符號。通常，每次運動分量參數(shù)h和V的符號改變時，F(xiàn)P失真校正量計算單元126可以規(guī)則地復(fù) 位FP失真累積值，因此可以防止FP失真累積值分散。而且，F(xiàn)P失真校正量計算單元126可以僅使用具有高可靠性的FP失真分量參數(shù)e 和b來計算FP失真累積值，從而可以減小FP失真累積值中的誤差，并且可以將FP失真累 積值用作FP失真校正量CFc。所以，F(xiàn)P失真校正量計算單元126恰當(dāng)?shù)匦Ｕ龓瑘D像中幾乎 所有的焦平面失真。而且，F(xiàn)P失真校正量計算單元126檢測到平移速度變?yōu)閹缀跏橇?，并?fù)位FP失真 累積值。因此，F(xiàn)P失真校正量計算單元126可以恰當(dāng)?shù)胤乐笷P失真累積值的分散，所以FP 失真累積值可以用作FP失真校正量CFc。接下來，將參考圖23中示出的流程圖來描述根據(jù)圖像處理程序執(zhí)行的FP失真校 正量計算處理過程RT10。在提供相機運動分量CM和焦平面失真分量CF時，F(xiàn)P失真校正量 計算單元126啟動FP失真校正量計算處理過程RT10，并使流程前進到步驟SP101。在步驟SPlOl中，F(xiàn)P失真校正量計算單元126確定焦平面失真分量CF和相機運 動分量CM的平移速度之間的關(guān)系是否符合規(guī)則(相關(guān)性)。在這里得到否定結(jié)果的事件 中，焦平面失真分量CF不可靠，所以FP失真校正量計算單 元126使流程前進到隨后的步驟 SP102。在步驟SP102中，F(xiàn)P失真校正量計算單元126減小或消除焦平面失真分量CF的 影響，并使流程前進到隨后的步驟SP106。另一方面，在步驟SPlOl中得到肯定結(jié)果的事件中，這意味著焦平面失真分量CF 可靠，所以FP失真校正量計算單元126使流程前進到隨后的步驟SP104。在步驟SP104中，F(xiàn)P失真校正量計算單元126確定相機運動分量CM的平移速度 是否在復(fù)位閾值之下。在這里得到肯定結(jié)果的事件中，這意味著焦平面失真為零或幾乎為 零。在該情況下，F(xiàn)P失真校正量計算單元126使流程前進到隨后的步驟SP105，復(fù)位FP失 真累積值，前進到結(jié)束步驟，并且結(jié)束FP失真校正量計算處理過程RT10。另一方面，在步驟SP104中得到否定結(jié)果的事件中，這意味著發(fā)生了焦平面失真， 所以FP失真校正量計算單元126使流程前進到隨后的步驟SP106。在步驟SP106中，F(xiàn)P失真校正量計算單元126計算FP失真累積值，并使流程前進 到隨后的步驟SP107。這時，F(xiàn)P失真校正量計算單元126將焦平面失真分量CF或具有減小 的影響的焦平面失真分量與在以前的處理幀圖像中計算的FP失真累積值相加。在步驟SP107中，F(xiàn)P失真校正量計算單元126將步驟SP106中計算的FP失真累 積值作為FP失真校正量CFc，前進到結(jié)束步驟，并結(jié)束FP失真校正量計算處理過程RT10。注意，對于平移速度h和ν中的每個，F(xiàn)P失真校正量計算單元126執(zhí)行FP失真校 正量計算處理，并將與FP失真分量參數(shù)e和b中的每個對應(yīng)的FP失真累積值分別作為FP 失真校正量CFc。2-3.梯形失真的去除如上所述，由于便攜式攝像機1的相機抖動校正功能，在偏轉(zhuǎn)方向和俯仰方向上 抑制對象和透鏡單元之間的角度改變。然而，便攜式攝像機1沒有完全抵消該角度改變，并 且還通過在偏轉(zhuǎn)方向和俯仰方向上驅(qū)動透鏡單元3來抵消垂直方向和水平方向上的抖動。 因此，幀圖像數(shù)據(jù)包括偏轉(zhuǎn)方向和俯仰方向的角度改變。該角度改變被表現(xiàn)為幀圖像中的梯形失真。因此，根據(jù)本實施例的圖像處理單元113根據(jù)全局運動向量GMV中的平移速度來 估計偏轉(zhuǎn)方向和俯仰方向的角度改變，并基于角度改變來計算梯形失真量A。圖像處理單元 113從處理幀圖像中抵消梯形失真量A，從而從幀圖像數(shù)據(jù)中去除梯形失真的影響。2-3-1.梯形失真估計處理如表達式(11)所示，分量分離表達式不具有偏轉(zhuǎn)方向和俯仰方向的分量。從而， 偏轉(zhuǎn)方向和俯仰方向的角度改變具有與平移速度的相關(guān)性。因此，圖像處理單元113的梯 形失真估計單元128執(zhí)行梯形失真估計處理，其中對于運動分量參數(shù)h和ν估計偏轉(zhuǎn)方向 和俯仰方向的角度改變，并且計算由于該角度改變引起的梯形失真量?，F(xiàn)在，可以使用角度參數(shù)ω和φ以及表達式(2)中示出的投影變換表達式，來建 模僅由于偏轉(zhuǎn)方向和俯仰方向引起的梯形失真量Α，如表達式(24)所示。在表達式(24) 中，與表達式(2)中的C1相應(yīng)的-cos ω sin φ表示偏轉(zhuǎn)方向的角度改變，以及與表達式(2) 中的C2相應(yīng)的 ηΦ表示俯仰方向的角度改變。
COS^O^in
A =-；-；- iiniysin^ cosft) -siniycos^ (24)
(-cos ω sin φ)χ + ν sin + cos ω cos φ. .
-cosiysin^cosiycos^o現(xiàn)在，梯形失真是不僅由于相機的抖動而且還由于攝影操作所發(fā)生的現(xiàn)象。將被 校正的梯形失真是僅由于抖動引起的梯形失真量A。因此，梯形失真估計單元128根據(jù)由 于抖動引起的平移速度(在下文中被稱為“抖動平移速度”)來估計對應(yīng)于抖動所改變的角度。梯形失真估計單元128根據(jù)水平方向和垂直方向的平移速度來計算抖動平移速 度h_hf和V-Vf。然后，梯形失真估計單元128將所計算的抖動平移速度h_hf和V-Vf與指 定系數(shù)m和η以及固定系數(shù)ρ和q相乘，從而根據(jù)表達式25估計對應(yīng)于抖動的角度改變 “yaw” 和 “pitch，，。yaw = m(h_hf) Xp，pitch = n(v_vf) Xq(25)注意，指定系數(shù)m和η是外部指定的參數(shù)，在梯形失真估計處理中將“ 1 ”設(shè)置為初 始值。固定系數(shù)P和q是基于由于抖動引起的角度改變和抖動平移速度之間的相關(guān)性，從 統(tǒng)計上或邏輯上得到的系數(shù)。梯形失真估計單元128使用在表達式(25)中得到的值，根據(jù)表達式(26)來計算 角度參數(shù)ω和φ。
一coso>sin爐二 yaw, sin⑴二pitch(-—<ω< — ,-—<φ<-~)( 26 )
2 2 2 2然而，如果角度參數(shù)ω和φ不正確，則幀圖像將損壞。因此，梯形失真估計單元 128確定角度參數(shù)ω和φ的值是否在恰當(dāng)?shù)慕嵌确秶?_Ag°到+Ag。)內(nèi)，如圖24所示。 在角度參數(shù)ω和φ的值在恰當(dāng)?shù)姆秶鷥?nèi)的事件中，梯形失真估計單元128按照原樣地使 用角度參數(shù)ω和φ。另一方面，在角度參數(shù)ω和φ的值不在恰當(dāng)?shù)姆秶鷥?nèi)的事件中，梯 形失真估計單元128認(rèn)為角度參數(shù)ω和φ的值為“0”。
梯形失真估計單元128將所計算的角度參數(shù)ω和φ的值代入表達式(24)，從而將梯形失真量A作為矩陣來計算。梯形失真估計單元128向校正向量生成單元129提供梯 形失真量Α。從而，梯形失真估計單元128基于運動分量參數(shù)h和ν來估計梯形失真量A。接下來，將參考圖24中的流程圖來描述根據(jù)圖像處理程序執(zhí)行的梯形失真估計 處理過程RT11。在提供運動分量參數(shù)ν和h時，梯形失真估計單元128啟動梯形失真估計 處理過程RTl 1，并使流程前進到步驟SPlll。 在步驟SPl 11中，梯形失真估計單元128根據(jù)表達式(24)，通過投影變換來建模梯 形失真量A，并使流程前進到隨后的步驟SP112。接下來，在步驟SP112中，梯形失真估計單元128計算角度參數(shù)ω和Φ，并使流程 前進到隨后的步驟SP113。在步驟SP113中，梯形失真估計單元128確定角度參數(shù)ω和φ是否在恰當(dāng)?shù)慕?度范圍內(nèi)。在這里得到肯定結(jié)果的事件中，梯形失真估計單元128使流程前進到隨后的步 驟SP114。另一方面，在關(guān)于步驟SP113中的確定得到否定結(jié)果的事件中，角度參數(shù)ω和 Φ不正確的概率高，所以梯形失真估計單元128使流程前進到隨后的步驟SP115。在步驟SPl 15中，梯形失真估計單元128用零代替角度參數(shù)ω和φ的值，使流程 前進到隨后的步驟SP114。在步驟SP114中，梯形失真估計單元128將角度參數(shù)ω和φ的值代入表達式 (24)，使流程前進到結(jié)束步驟，并結(jié)束梯形失真估計處理過程RTl 1。2-3-2.校正向量生成處理如上所述，對于第一實施例，校正向量生成單元29基于表達式(11)中示出的分量 分離表達式來生成校正向量Vc。相反，校正向量生成單元129基于包括梯形失真量A的分 量分離表達式來生成校正向量Vc，如表達式(27)所示。<formula>formula see original document page 27</formula>
<formula>formula see original document page 27</formula><formula>formula see original document page 27</formula><formula>formula see original document page 28</formula>(27)S卩，使用與表達式(17)至表達式(23)相同的方式寫出的表達式(27)，并且從而修 改，可以將校正向量V。寫為表達式(28)。注意，A—1是梯形失真量A的倒數(shù)。<formula>formula see original document page 28</formula>( 28 )將運動分量參數(shù)θ、s、h和V、攝影操作分量參數(shù)θ f、Sf、hf和Vf、FP失真分量參 數(shù)e。和b。以及梯形失真量A提供給校正向量生成單元129。校正向量生成單元129按照 表達式(20)和表達式(28)計算校正向量Vc。從而，校正向量生成單元129通過使用梯形失真量A來生成除幀圖像中的抖動和 焦平面失真之外還能夠校正梯形失真的校正向量Vc。因此，運動補償單元30通過將全局運 動向量GMV與校正向量V。相乘，除了幀圖像中的抖動和焦平面失真之外，還可以校正梯形失真。換句話說，圖像處理單元113可以校正由于偏轉(zhuǎn)方向和俯仰方向而不僅是滾轉(zhuǎn)方 向上的角度改變引起的梯形失真。圖像處理單元113使用仿射變換執(zhí)行圖像處理，但是可 以得到好像是使用投影變換執(zhí)行圖像處理的優(yōu)點，如表達式(27)所示。2-4.梯形失真的附加校正現(xiàn)在，梯形失真量A是不僅由于偏轉(zhuǎn)和俯仰方向上的角度改變、而且根據(jù)對象和 便攜式攝像機1之間的距離而改變的值。因此，如圖26A所示，在幀圖像FM內(nèi)存在離便攜 式攝像機1不同距離處的多個對象SBl至SB3的情況下，對于對象SBl至SB3中的每一個， 梯形失真量A將不同。因此，圖像處理單元113被布置來通過將校正了梯形失真的幀圖像FM顯示在圖1 中示出的監(jiān)控單元11上，而根據(jù)用戶的期望來執(zhí)行梯形失真的附加校正。在用戶使用圖1中示出的操作單元12來請求執(zhí)行梯形失真的附加校正處理的事 件中，圖像處理單元113將附加校正屏幕151顯示在監(jiān)控單元11上，如圖26B所示。對于附加校正屏幕151，在左上方顯示對應(yīng)于幀圖像數(shù)據(jù)的幀圖像FM，并且還顯 示用于幀圖像數(shù)據(jù)的后退、快進和正常播放的后退按鈕152、快進按鈕153和播放按鈕154。例如，在用戶移動用作操作單元12的鼠標(biāo)來將光標(biāo)CS放置在播放按鈕154上并 在該狀態(tài)下點擊鼠標(biāo)的事件中，選擇播放按鈕154。以相似的方式來分別選擇其他按鈕。這 里，圖像處理單元113播放幀圖像數(shù)據(jù)，使得在監(jiān)控單元11上順序地播放幀圖像FM0在幀圖像FM下顯示的是梯形失真量減小按鈕156、梯形失真量增加按鈕157和梯 形失真量調(diào)節(jié)指示器158。在選擇梯形失真量減小按鈕156的事件中，圖像處理單元113將 梯形失真量A設(shè)置得小。也就是說，在選擇梯形失真量減小按鈕156的事件中，圖像處理單元113向梯形失 真估計單元128提供請求信號來達到將梯形失真量A設(shè)置得小的效果。例如，梯形失真估 計單元128將表達式(25)中的指定系數(shù)m和η的值乘上0.8，以在指定系數(shù)η和η的值被設(shè)置得小的狀態(tài)中計算梯形失真量Α。所以，將作為關(guān)于抖動平移速度相對小的值的梯形失 真量A提供給校正向量生成單元129。校正向量生成單元129生成校正向量Vc來通過作為相對小的值的梯形失真量A校 正梯形失真，并將其提供給運動補償單元30。運動補償單元30基于校正向量\執(zhí)行幀圖 像數(shù)據(jù)的運動補償處理，從而通過關(guān)于抖動平移速度相對小的值來校正梯形失真，并將已 校正的幀圖像數(shù)據(jù)顯示在監(jiān)控單元11上。在選擇梯形失真校正量增加按鈕157的事件中，類似地，圖像處理單元113將梯形 失真量A設(shè)置得大。在該情況下，例如，梯形失真估計單元128將表達式(25)中的指定系 數(shù)m和η的值乘以1.2。也就是說，圖像處理單元113允許用戶自由地設(shè)置梯形失真量Α。因此，例如，圖像 處理單元113可以抵消主要聚焦于對象SBl至SB3中的一個對象SB上的梯形失真，或者可 以根據(jù)用戶進行的選擇以平均的方式抵消幀圖像FM的全部梯形失真。換句話說，圖像處理 單元113可以讓用戶自由選擇梯形失真校正的程度。作為后方圖(back graph)顯示梯形失真量調(diào)節(jié)指示器158，指示從初始狀態(tài)增加 或減少了多少的梯形失真量A。從而，用戶可以在圖像處理單元113上視覺地確認(rèn)梯形失真 的當(dāng)前附加校正量。圖像處理單元113還在附加校正屏幕151的右下方處顯示梯形失真指定空間159。 圖像處理單元113允許用戶將光標(biāo)CS放置在梯形失真指定空間159上并使用操作單元12 輸入數(shù)值，從而指定指定系數(shù)m和η的值。從而，圖像處理單元113允許用戶自由選擇梯形失真Α，關(guān)于梯形失真Α，由于根據(jù) 對象和便攜式攝像機1之間的距離的改變，精確估計是困難的。從而，圖像處理單元113允 許用戶通過合適地調(diào)節(jié)幀圖像FM中的梯形失真，根據(jù)他/她的喜好來生成幀圖像數(shù)據(jù)。接下來，將參考圖27中的流程圖來描述根據(jù)圖像處理程序執(zhí)行的梯形失真附加 校正處理過程RT12。在用戶進行請求以達到執(zhí)行梯形失真的附加校正處理的效果時，根據(jù) 通過操作單元12的方式輸入的用戶操作，圖像處理單元113啟動梯形失真附加校正處理過 程RT12，并使流程前進到步驟SP121。在步驟SP121中，圖形處理單元113將附加校正屏幕151顯示在監(jiān)控單元11上， 并使流程前進到隨后的步驟SP122。在步驟SP122中，圖像處理單元113根據(jù)用戶操作輸入改變指定系數(shù)m和n，并使 流程前進到隨后的步驟SP123。在步驟SP123中，圖像處理單元113確定當(dāng)前是否正在播放幀圖像數(shù)據(jù)或者是否 從用戶給出了播放指令，并在這里得到否定結(jié)果的事件中，流程在步驟SP123中待命，等待 來自用戶的播放指令。另一方面，在步驟SP123中得到肯定結(jié)果的事件中，圖像處理單元113使流程前進 到隨后的步驟SP124，在步驟SP124中，根據(jù)梯形失真校正量計算處理過程RTll (圖25)來 執(zhí)行梯形失真校正量計算處理，然后使流程前進到隨后的步驟SP125。在步驟SP125中，圖像處理單元113根據(jù)校正向量生成處理過程RTlO來執(zhí)行校正向量生成處理，并使流程前進到隨后的步驟SP126。在步驟SP126中，圖像處理單元113執(zhí)行運動補償處理。所以，在監(jiān)控器11上顯示其梯形失真量A已經(jīng)被校正的幀圖像FM。圖像處理單元113使流程前進到結(jié)束步驟，以 結(jié)束梯形失真附加校正處理過程RT12。2-5.操作和優(yōu)點對于上面的配置，如圖28所示，圖像處理單元113從由幀圖像組成的幀圖像數(shù)據(jù) 中將表示整個幀圖像的運動的全局運動向量GMV檢測為平移速度(步驟SP131)。圖像處 理單元113根據(jù)全局運動向量GMV的平移速度來計算對應(yīng)于抖動的抖動平移速度(步驟 SP132)。圖像處理單元113使用平移速度和角度改變之間的相關(guān)性來根據(jù)所檢測的全局運 動向量GMV估計角度改變(步驟SP133)。因此，在其中使用硬件傳感器檢測角度改變不可 應(yīng)用的后處理中，圖像處理單元113可以用簡單的處理來計算角度改變。圖像處理單元113基于所估計的角度改變，使用投影變換表達式(表達式(24)) 來計算作為由于角度改變而發(fā)生在幀圖像中的梯形失真的量的梯形失真量。因此，圖形處 理單元113可以用容易的處理來計算梯形失真量。
圖像處理單元113根據(jù)作為與相機抖動(其是通過從全局運動向量GMV中的相機 運動分量CM中減去用戶故意的運動得到的)對應(yīng)的平移速度的抖動平移速度，來估計對應(yīng) 于抖動的角度改變，從而計算梯形失真量A。因此，圖像處理單元113可以計算梯形失真量 A，該梯形失真量A是由于抖動發(fā)生的梯形失真并且其校正是所期望的。圖像處理單元113基于已經(jīng)計算出的對應(yīng)于抖動的梯形失真量A來校正全局運動 向量GMV。因此，圖像處理單元113可以減小幀圖像中對應(yīng)于抖動的梯形失真，從而，改善幀 圖像數(shù)據(jù)的質(zhì)量。圖像處理單元113將全局運動向量GMV檢測為由平移速度、放大/縮小速度和一 個方向上的角度改變組成的仿射變換表達式，并估計除了這一個方向外的兩個方向的角度 改變。也就是說，圖像處理單元113將全局運動向量GMV處理為表示在僅一個方向上的 旋轉(zhuǎn)的仿射變換表達式以減輕處理負(fù)荷，并且還以繼續(xù)(follow-up)的方式執(zhí)行由于仿射 變換表達式不可應(yīng)用的偏轉(zhuǎn)方向和俯仰方向上的旋轉(zhuǎn)引起的梯形失真校正。因此，圖像處 理單元113可以校正三個方向或者滾轉(zhuǎn)、偏轉(zhuǎn)和俯仰上的梯形失真。所以，圖像處理單元 113可以得到與如下情況相同的優(yōu)點其中使用如表達式(27)所示的投影變換表達式來建 模全局運動向量GMV，同時將全局運動向量GMV處理為仿射變換表達式。圖像處理單元113估計偏轉(zhuǎn)方向和俯仰方向上的角度改變。從而，圖像處理單元 113可以使用平移速度h和ν來估計具有與平移速度h和ν的相關(guān)性的偏轉(zhuǎn)和俯仰方向上 的角度改變“yaw”和“pitch”。圖像處理單元113將相機運動分量CM至少作為平移元素EMa和放大/縮小元素 EMc0并將焦平面失真分量CF的累積值作為焦平面失真校正量CFc。在平移元素EMa的絕 對值低于復(fù)位閾值的事件中，圖像處理單元113復(fù)位作為焦平面失真分量CF的累積值的FP 失真累積值。因此，圖像處理單元113可以使用焦平面失真分量CF的累積值，從而可以通過復(fù) 位FP失真累積值來防止FP失真累積值的分散，同時恰當(dāng)?shù)匦Ｕ龓瑘D像中大部分的焦平面 失真分量CF。圖像處理單元113將相機運動分量CM至少作為平移元素EMa和放大/縮小元素EMc,并且將焦平面失真校正量CFc的FP失真累積值作為FP失真校正量CFc，并且減小或消 除具有與平移元素EMa很小相關(guān)性的焦平面失真分量CF的部分的影響。因此，圖像處理單 元113可以主要關(guān)于具有高可靠性的焦平面失真分量CF生成焦平面失真校正量CFc，從而 使得能夠改善焦平面失真校正量CFc的精度。根據(jù)上面的配置，圖像處理單元113將全局運動向量GMV作為平移速度，并根據(jù)該 平移速度估計角度改變。從而，圖像處理單元113可以簡化操作全局運動向量GMV的處理， 并且還基于所估計的角度改變來執(zhí)行各種類型的關(guān)于角度改變的校正處理。3.第三實施例使用相同的附圖標(biāo)記來表示與圖22至圖28中圖示的第二實施例中的那些對應(yīng)的 第三實施例的部分，并且相應(yīng)地，在這里將省略對這樣的部分的冗余描述。盡管對于第二實 施例，在計算梯形失真A之后，校正向量生成單元129生成校正向量Vc而沒有改變分量參 數(shù)的值，但是第三實施例不同于第二實施例在于基于梯形失真量A來重新計算分量參數(shù)的 值。3-1.抖動量的重新計算
如上所述，對于第一實施例，便攜式攝像機1的透鏡單元3通過在偏轉(zhuǎn)方向和俯仰 方向上被驅(qū)動來執(zhí)行抖動校正。因此，對于提供給圖像處理單元13的幀圖像數(shù)據(jù)，抑制了 偏轉(zhuǎn)方向和俯仰方向上的角度改變。對于本實施例，便攜式攝像機IX中的透鏡單元3X(未在附圖中示出)通過在垂直 方向和水平方向上以滑動的方式被驅(qū)動，來校正幀圖像數(shù)據(jù)中的抖動。因此，提供到對應(yīng)于 圖像處理單元13的圖像處理單元213的幀圖像數(shù)據(jù)不抑制在偏轉(zhuǎn)方向和俯仰方向上的角 度改變，所以在全局運動向量GMV中顯著地體現(xiàn)了偏轉(zhuǎn)方向和俯仰方向上的影響。因此，在 計算抖動量Ms時，優(yōu)選地，以與焦平面失真相同的方式使梯形失真的影響最小化。最后，圖 像處理單元213被布置來在計算梯形失真量A之后重新計算抖動量Ms。圖像處理單元213的梯形失真估計單元228按照表達式(24)至(26)計算梯形失 真量A，在這之后，將表達式(24)代入表達式(27)。在這里，由偏轉(zhuǎn)方向和俯仰方向上的角 度改變影響的值主要是分量參數(shù)h和ν。因此，梯形失真估計單元228無改變地使用分量 參數(shù)θ、e。和b。的值，同時將運動分量參數(shù)h和c設(shè)置為未知參數(shù)，并且重新計算運動分量 參數(shù)h和V。在下文中，重新計算的運動分量參數(shù)將被稱為“重新計算的參數(shù)”，并被寫為hk 和vk。梯形失真估計單元228使重新計算的參數(shù)hk和Vk經(jīng)受LPF處理以計算攝影操作 量Mc,并將其與梯形失真量A —起提供給校正向量生成單元129。然后，校正向量生成單元 129以與第二實施例相同的方式按照表達式(20)和表達式(28)生成校正向量Vc，除了使 用重新計算的參數(shù)hk和Vk代替運動分量參數(shù)h和V。因此，圖像處理單元213可以使用在其中已經(jīng)減小了梯形失真的重新計算的參數(shù) hk和Vk來生成校正向量Vc，所以可以減小梯形失真關(guān)于抖動量Ms的影響，并且可以用高精 度來校正抖動。注意，在梯形失真附加校正處理中改變梯形失真量A的事件中，圖像處理單 元213還可以以相同的方式重新計算該重新計算的參數(shù)hk和vk，或者可以按照原樣地使用 初始的重新計算的參數(shù)hk和vk。另一布置是允許用戶選擇將使用哪組重新計算的參數(shù)hk 和vk。
從而，圖像處理單元213使用垂直方向和水平方向上的平移速度和偏轉(zhuǎn)方向和俯 仰方向上的角度改變之間的相關(guān)性來計算梯形失真A。圖像處理單元213基于該相關(guān)性， 根據(jù)抖動平移速度來計算重新計算的參數(shù)hk和vk，從而減小抖動平移速度中梯形失真的影 響，所以可以用高精度來校正抖動。3-2.操作和優(yōu)點通過上面的配置，圖像處理單元213使用平移速度和角度改變之間的相關(guān)性來從 對應(yīng)于抖動的平移速度h-hf和V-Vf抵消對應(yīng)于抖動的角度改變。因此，圖像處理單元213 可以減輕由于抖動平移速度引起的角度改變，從而改善抖動量Ms的計算精度。通過上面的配置，圖像處理單元213使用平移速度和角度改變之間的相關(guān)性來去 除表現(xiàn)在平移速度中的角度改變。因此，圖像處理單元213可以從抖動量Ms中去除作為將 被校正的梯形失真A的角度改變，從而改善抖動量Ms的計算精度。4.第四實施例4-1.圖像處理單元的配置使用相同的附圖標(biāo)記表示與圖1至圖26中圖示的第一至第三實施例中的那些對 應(yīng)的第四實施例的部分，并且相應(yīng)地，將在這里省略對這樣的部分的冗余描述。根據(jù)本實施 例的圖像處理單元313被布置來根據(jù)拍攝所提供的幀圖像數(shù)據(jù)使用的便攜式攝像機的型 號來改變圖像處理的內(nèi)容。例如，在連接未示出的便攜式攝像機時，圖像處理單元313獲取指示便攜式攝像 機的型號名稱的型號信息。圖像處理單元313經(jīng)由諸如因特網(wǎng)之類的未示出的網(wǎng)絡(luò)來獲取 與便攜式攝像機的型號名稱對應(yīng)的技術(shù)信息。該技術(shù)信息包括便攜式攝像機的成像設(shè)備的 類型、所采用的抖動校正方法和固定系數(shù)信息。在便攜式攝像機的成像設(shè)備是CCD(電荷耦合器件)等的事件中，圖像處理單元 313用單位矩陣替代表達式(11)中的焦平面失真分量CF。從而，圖像處理單元313可以執(zhí) 行控制，使得在很清楚不發(fā)生焦平面失真的情況下不執(zhí)行焦平面失真校正，從而防止幀圖 像被在這樣的焦平面失真校正期間發(fā)生的錯誤所干擾，注意，圖像處理單元313可以被布 置來通過濾波處理單元25丟棄焦平面失真分量CF，或者通過校正向量生成單元29來用單 位矩陣替代焦平面失真分量CF。然后，例如，圖像處理單元313根據(jù)第二實施例執(zhí)行抖動和梯形失真校正。這時， 圖像處理單元313將由固定系數(shù)信息指示的值用作固定系數(shù)。因此，圖像處理單元313可 以使用與便攜式攝像機的特性相匹配的固定系數(shù)，從而改善估計梯形失真的精度。在抖動校正方法是如同第一和第二實施例的透鏡旋轉(zhuǎn)驅(qū)動方法的事件中，圖像處 理單元313根據(jù)第二實施例來執(zhí)行抖動、焦平面失真和梯形失真校正。這時，圖象處理單元 313將由固定系數(shù)信息指示的值用作固定系數(shù)。另一方面，在抖動校正方法是如同第三實施 例的透鏡滑動驅(qū)動方法的事件中，圖像處理單元313根據(jù)第三實施例來執(zhí)行抖動、焦平面 失真和梯形失真校正。這時，圖像處理單元313類似地將由固定系數(shù)信息指示的值用作固 定系數(shù)。以這種方式，圖像處理單元313根據(jù)便攜式攝像機的型號來恰當(dāng)?shù)剡x擇要執(zhí)行的 圖像處理，從而改善抖動、焦平面失真、梯形失真等的校正精度。4-2.操作和優(yōu)點
使用上面的配置，圖像處理單元313根據(jù)拍攝幀圖像數(shù)據(jù)所使用的作為成像裝置 的便攜式攝像機來設(shè)置固定系數(shù)P和/或q的值。因此，圖像處理單元313可以使用與便 攜式攝像機的特性對應(yīng)的恰當(dāng)?shù)墓潭ㄏ禂?shù)，從而改善估計角度改變的精度，并且因此改善 計算梯形失真A的精度。圖像處理單元313根據(jù)便攜式攝像機采用的抖動校正的方法來改變圖像處理的 內(nèi)容。在抖動控制方法是透鏡旋轉(zhuǎn)驅(qū)動方法的事件中，執(zhí)行根據(jù)第二實施例的圖像處理，以 及在抖動控制方法是透鏡滑動驅(qū)動方法的事件中，執(zhí)行根據(jù)第三實施例的圖像處理。因此， 圖像處理單元313可以執(zhí)行與便攜式攝像機的抖動校正方法對應(yīng)的恰當(dāng)?shù)膱D像處理。圖像處理單元313被布置來在通過卷簾式快門方法成像幀圖像數(shù)據(jù)的事件中，用 單位矩陣替代焦平面失真分量。因此即便在通過卷簾式快門方法成像幀圖像數(shù)據(jù)的事件 中，圖像處理單元313仍可以以相同的方式執(zhí)行合適的圖像處理。使用上面的配置，圖像處理單元313可以通過根據(jù)成像幀圖像數(shù)據(jù)所使用的便攜 式攝像機改變角度改變的估計量，來根據(jù)便攜式攝像機的特性估計合適的角度改變。5.其他實施例對于使用焦平面失真分量CF來校正焦平面失真的布置，盡管在上面的第一至第 四實施例中進行了描述，但是對于如何使用焦平面失真分量CF，本發(fā)明沒有限制。例如，可 以根據(jù)焦平面失真分量CF來計算抖動量。同樣在該情況下，可以通過抖動校正來改善幀圖 像數(shù)據(jù)的質(zhì)量。而且，對于將焦平面失真分量CF建模為FP失真平行四邊形元素EFb和FP失真垂 直方向放大/縮小元素EFa的布置，盡管在上面的第一至第四實施例中進行了描述，但是 本發(fā)明不限于此，并且可以在由于便攜式攝像機的特性引起的僅一個元素容易出現(xiàn)的事件 中，將焦平面失真分量CF僅建模為這兩個元素中的一個。而且，對于基于焦平面失真分量CF通過校正向量Vc來校正幀圖像的布置，盡管在 上面的第一至第四實施例中進行了描述，但是本發(fā)明不限于此，并且可以通過各種各樣的 方法來校正幀圖像，例如使用校正系數(shù)等。而且，對于按照表達式(11)計算相機運動分量CM和焦平面失真分量CF兩者的布 置，盡管在上面的第一至第四實施例中進行了描述，但是本發(fā)明不限于此，并且至少計算焦 平面失真分量CF就足夠了。而且，對于基于平移速度來選擇具有小的焦平面失真的幀圖像的布置，盡管在上 面的第一實施例中進行了描述，但是本發(fā)明不限于此，并且例如，可以進行基于焦平面失真 的累積值來選擇具有小的焦平面失真的幀圖像的布置。而且，對于執(zhí)行FP失真累積值的復(fù)位以及不符合規(guī)則的焦平面失真分量CF的效 果的減小或消除這兩者的布置，盡管在上面的第二實施例中進行了描述，但是本發(fā)明不限 于此，并且可以進行只執(zhí)行一者的布置。而且，可以進行基于FP失真分量參數(shù)和平移速度 之間的相關(guān)性的幅度來調(diào)節(jié)FP失真分量參數(shù)的值的布置。而且，對于將相機運動分量CM建模為平移元素EMa、旋轉(zhuǎn)元素EMb和放大/縮小元 素EMc的布置，盡管在上面的第一至第四實施例中進行了描述，但是本發(fā)明不限于此，并且 例如，可以進行將相機運動分量CM僅建模為平移元素EMa和放大/縮小元素EMc的布置。而且，對于將分量分離表達式寫為矩陣表達式的布置，盡管在上面的第一至第四實施例中進行了描述，但是本發(fā)明不限于此，并且可以進行將分量分離表達式寫為普通等 式的布置。而且，對于在旋轉(zhuǎn)元素EMb之前乘上原點校正矩陣MCl以及在旋轉(zhuǎn)元素EMb之后 乘上原點校正逆矩陣MC2的布置，盡管在上面的實施例中進行了描述，但是本發(fā)明不限于 此；該處理不是在所有的情況下必須執(zhí)行的，并且例如，可以在原點位于中間或靠近中間來 開始的情況下省略。而且，對于在旋轉(zhuǎn)元素EMb之前乘上像素校正矩陣MPl以及在旋轉(zhuǎn)元素EMb之后 乘上像素校正逆矩陣MP2的布置，盡管在上面的實施例中進行了描述，但是本發(fā)明不限于 此；該處理不是在所有情況下必須執(zhí)行的，并且例如，可以在像素比例位于1 1或接近 1 1來開始的情況下省略。而且，對于在用卷簾式快門方法拍攝幀圖像的事件中用單位矩陣替代焦平面失 分量的布置，盡管在上面的第四實施例中進行了描述，但是本發(fā)明不限于此，并且可以進行 執(zhí)行圖像處理來僅校正梯形失真量A的布置。而且，對于濾波處理單元25根據(jù)可靠性信息分離出焦平面失真分量CF和相機運 動分量CM的布置，盡管在上面的第一至第四實施例中進行了描述，但是本發(fā)明不限于此； 濾波處理不是在所有情況下必須執(zhí)行的，或者可以僅關(guān)于焦平面失真分量CF和相機運動 分量CM之一執(zhí)行。此外，運動檢測單元22可以將可靠性索引之和作為可靠性信息。而且，對于在附加校正屏幕15中由用戶改變指定系數(shù)m和η的布置，盡管在上面 的第二實施例中進行了描述，但是本發(fā)明不限于此，并且可以進行如下配置，其中對應(yīng)于指 定系數(shù)m和η提供梯形失真量減小按鈕156和梯形失真量增加按鈕157兩者，使得用戶可 以選擇和改變指定系數(shù)m和η。而且，對于在提供幀圖像數(shù)據(jù)時獲取型號信息的布置，盡管在上面的第四實施例 中進行了描述，但是本發(fā)明不限于此，并且可以進行如下布置，其中用戶指定便攜式攝像機 的型號名稱、用戶指定固定系數(shù)等。而且，對于從便攜式攝像機提供的幀圖像數(shù)據(jù)已經(jīng)經(jīng)歷了抖動校正的布置，盡管 在上面的第一至第四實施例中進行了描述，但是對于幀圖像數(shù)據(jù)是否進行了抖動校正的任 一方式，本發(fā)明都沒有限制。而且，對于作為信息處理設(shè)備的圖像處理終端10執(zhí)行根據(jù)本發(fā)明實施例的圖像 處理的布置，盡管在上面的第一至第四實施例中進行了描述，但是不發(fā)明不限于此，并且可 以進行如下的布置，其中具有成像功能的成像裝置執(zhí)行根據(jù)本發(fā)明的圖像處理，從而使得 能夠從圖像處理設(shè)備的配置中省略硬件傳感器。此外，可以進行如下布置，其中合并根據(jù)本 發(fā)明實施例的硬件傳感器和圖像處理，例如執(zhí)行第一實施例，同時用例如陀螺(gyro)傳感 器物理地僅校正偏轉(zhuǎn)和俯仰方向上的角度改變。而且，對于提前將圖像處理程序等存儲在ROM或硬盤驅(qū)動等中的布置，盡管在上 面的第一至第四實施例中進行了描述，但是本發(fā)明不限于此，并且可以進行如下布置，其中 圖像處理程序等可以被存儲在諸如存儲棒(索尼公司的注冊商標(biāo))等的外部存儲介質(zhì)中并 被安裝到閃存存儲器等。此外，可以經(jīng)由USB(通用串行總線)、以太網(wǎng)、諸如IEEE(電氣電 子工程師協(xié)會)802. lla/b/g之類的無線LAN(局域網(wǎng))外部地獲取圖像處理程序，并且還 可以通過地面數(shù)字電視廣播或廣播衛(wèi)星數(shù)字電視廣播的方式來分配。
而且，對于便攜式攝像機用作用于將對象成像為移動圖像數(shù)據(jù)的相機的布置，盡 管在上面的第一至第四實施例中進行了描述，但是本發(fā)明不限于此，并且可以進行如下布 置，其中內(nèi)置在手機中的相機、數(shù)字靜止相機的移動圖像功能等用作相機。而且，對于用作圖像處理設(shè)備的圖像處理單元13被配置為包括用作運動檢測單 元的運動檢測單元22以及用作建模單元和分量計算單元的分量分離處理單元23的布置， 盡管在上面的第一實施例中進行了描述，但是本發(fā)明不限于此，并且可以進行如下布置，其 中其他各種配置的運動檢測單元、建模單元和分量計算單元組成圖像處理設(shè)備。本申請包括與2009年2月19日在日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2009-036897中公開的主題相關(guān)的主題，其全部內(nèi)容通過引用合并于此。本領(lǐng)域技術(shù)人員應(yīng)該明白的是，取決于設(shè)計要求和其他因素，可以發(fā)生各種各樣的修改、組合、部分組合和替換，只要它們落入所附權(quán)利要求或其等價物的范圍內(nèi)即可。
權(quán)利要求
一種圖像處理設(shè)備，包括運動向量接收單元，被配置為從由幀圖像組成的幀圖像數(shù)據(jù)接收表示所述幀圖像的運動的運動向量；建模單元，被配置將從所述運動向量接收單元接收的所述運動向量建模為分量分離表達式，其中使用分別表示作為相機的運動的相機運動和焦平面失真的改變量的分量參數(shù)來分離相機運動分量和焦平面失真分量；以及分量計算單元，被配置為計算在所述分量分離表達式中使用的所述分量參數(shù)，從而計算所述運動向量中的所述焦平面失真分量。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述建模單元將所述分量分離表達式 表示為矩陣表達式。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述建模單元將所述相機運動分量表示為表示關(guān)于所述幀圖像在垂直方向和水平方向上的平移速度的平移元素； 表示在放大/縮小方向上的放大/縮小速度的放大/縮小元素，以及 表示在一個方向上的角度改變的旋轉(zhuǎn)元素。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述建模單元在所述旋轉(zhuǎn)元素之前將 所述分量分離表達式乘上用于將原點移動到中心的原點校正矩陣，以及用于將像素的縱橫比改變?yōu)? 1的縱橫比校正矩陣，并在所述旋轉(zhuǎn)元素之后將所述 分量分離表達式乘上用于將原點從中心移回原始位置的原點校正逆矩陣，以及 用于將像素的縱橫比改變回原始縱橫比的縱橫比校正逆矩陣。
5.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述建模單元將所述焦平面失真分量 建模為下面的表達式<formula>formula see original document page 2</formula>其中e和b是所述分量參數(shù)。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述建模單元將所述相機運動分量建 模為下面的表達式<formula>formula see original document page 2</formula>(2) 其中θ、h、v*s是所述分量參數(shù)。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，所述建模單元將所述運動向量建模為 下面的表達式<formula>formula see original document page 3</formula>
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括校正單元，被配置為基于由所述分量計算單元計算的所述焦平面失真分量來校正所述 幀圖像中的焦平面失真。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中，所述建模單元將所述焦平面失真分量 表示為FP失真平行四邊形元素和FP失真垂直方向放大/縮小元素。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，所述校正單元包括校正量計算單元，被配置為基于由所述分量計算單元計算的所述焦平面失真分量，計 算表示關(guān)于所述幀圖像執(zhí)行的關(guān)于所述焦平面失真的校正量的焦平面失真校正量；校正向量生成單元，被配置為基于由所述校正量計算單元計算的所述焦平面失真校正 量，生成用于校正所述運動向量中的所述焦平面失真的校正向量；以及運動補償單元，被配置為將由所述校正向量生成單元生成的所述校正向量應(yīng)用到所述 幀圖像中待處理的處理幀圖像。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，所述校正量計算單元從所述處理幀 圖像以及緊接在所述幀圖像的所述處理幀圖像之前和之后的幀圖像中，選擇所述焦平面失 真最小的幀圖像，并計算所述焦平面失真，使得所述焦平面失真處于與所述選擇的幀圖像 的焦平面失真相同的級別。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述建模單元將所述相機運動分量至少表示為 平移元素以及 放大/縮小元素；以及其中所述校正量計算單元基于所述平移元素選擇具有最小焦平面失真的幀圖像。
13.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中，所述建模單元將所述平移元素表示為垂直方向和水平方向上的平移速度； 以及其中所述校正量計算單元基于所述垂直方向平移速度來計算對應(yīng)于所述FP失真垂直方向放大/縮小元素的所 述焦平面失真校正量，以及基于所述水平方向平移速度來計算對應(yīng)于所述FP失真平行四邊形元素的所述焦平面 失真校正量。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中，在用卷簾式快門方法成像所述幀圖 像的事件中，所述校正量計算單元用單位矩陣替代所述焦平面失真。
15.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中所述建模單元將所述相機運動分量至少表示為 平移元素以及 放大/縮小元素；以及其中所述校正量計算單元將所述焦平面分量的累積值作為所述焦平面失真校正量；以及其中，在所述平移元素的絕對值低于復(fù)位閾值的事件中，所述校正量計算單元復(fù) 位所述焦平面分量的累積值。
16.根據(jù)權(quán)利要求15所述的圖像處理設(shè)備，其中，所述建模單元將所述相機運動分量至少表示為平移元素以及放大/縮小元素；以及其中所述校正量計算單元將所述平移元素和所述焦平面分量的累積值作為所述焦平面失真校正量；以及其中所述校正量計算單元減小或消除關(guān)于其與所述平移元素的相關(guān)性小的所述 焦平面分量的影響。
17.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，還包括運動向量可靠性生成單元，被配置為生成表示所述運動向量的可靠性的可靠性信息； 以及其中所述校正量計算單元基于由所述運動向量可靠性生成單元生成的所述可靠 性信息，僅使用關(guān)于其所述向量的可靠性高的焦平面分量來生成所述焦平面失真校正量。
18.一種焦平面失真分量計算方法，包括步驟從由幀圖像組成的幀圖像數(shù)據(jù)接收表示所述幀圖像的運動的運動向量； 將在所述接收步驟中接收的所述運動向量建模為分量分離表達式，其中使用分別表示 作為相機的運動的相機運動和焦平面失真中的改變量的分量參數(shù)來分離相機運動分量和 焦平面失真分量；以及計算在所述分量分離表達式中使用的所述分量參數(shù)，從而計算所述運動向量中的所述 焦平面失真分量。
19.一種圖像處理程序，使計算機執(zhí)行以下步驟從由幀圖像組成的幀圖像數(shù)據(jù)接收表示所述幀圖像的運動的運動向量； 將在所述接收步驟中接收的所述運動向量建模為分量分離表達式，其中使用分別表示 作為相機的運動的相機運動和焦平面失真中的改變量的分量參數(shù)來分離相機運動分量和 焦平面失真分量；以及計算在所述分量分離表達式中使用的所述分量參數(shù)，從而計算所述運動向量中的所述 焦平面失真分量。
20.一種存儲圖像處理程序的記錄介質(zhì)，所述圖像處理程序使計算機執(zhí)行以下步驟從由幀圖像組成的幀圖像數(shù)據(jù)接收表示所述幀圖像的運動的運動向量； 將在所述接收步驟中接收的所述運動向量建模為分量分離表達式，其中使用分別表示 作為相機的運動的相機運動和焦平面失真中的改變量的分量參數(shù)來分離相機運動分量和 焦平面失真分量；以及 計算在所述分量分離表達式中使用的所述分量參數(shù)，從而計算所述運動向量中的所述 焦平面失真分量。
全文摘要
提供了圖像處理設(shè)備、焦平面失真分量計算方法、圖像處理程序和記錄介質(zhì)。所述圖像處理設(shè)備包括運動向量接收單元，被配置為從由幀圖像組成的幀圖像數(shù)據(jù)中接收表示幀圖像的運動的運動向量；建模單元，被配置將從運動向量接收單元接收的運動向量建模為分量分離表達式，其中使用分別表示作為相機的運動的相機運動和焦平面失真中的改變量的分量參數(shù)來分離相機運動分量和焦平面失真分量；以及分量計算單元，被配置為計算在分量分離表達式中使用的分量參數(shù)，從而計算運動向量中的焦平面失真分量。
文檔編號H04N5/232GK101815163SQ201010118388
公開日2010年8月25日 申請日期2010年2月12日 優(yōu)先權(quán)日2009年2月19日
發(fā)明者小川延浩 申請人:索尼公司