圖像處理裝置及圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理裝置及圖像處理方法。所述圖像處理裝置針對所述圖像處理裝置通過進(jìn)行電子圖像穩(wěn)定剪切圖像數(shù)據(jù)的情況以及所述圖像處理裝置不通過進(jìn)行電子圖像穩(wěn)定剪切圖像數(shù)據(jù)的情況中的各個，進(jìn)行適當(dāng)?shù)氖д嫦癫钚Ｕ?。所述圖像處理裝置包括：校正單元，其被配置為對發(fā)生了失真像差的圖像數(shù)據(jù)進(jìn)行失真像差校正；以及穩(wěn)定單元，其被配置為基于當(dāng)生成了所述圖像數(shù)據(jù)時攝像單元的移動，從所述圖像數(shù)據(jù)中進(jìn)行剪切。與所述穩(wěn)定單元剪切所述圖像數(shù)據(jù)的情況相比，在所述穩(wěn)定單元不剪切所述圖像數(shù)據(jù)的情況下，所述校正單元減少所述失真像差校正的量。
【專利說明】圖像處理裝置及圖像處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于通過進(jìn)行圖像處理來校正由于成像光學(xué)系統(tǒng)導(dǎo)致的失真像差的 失真像差校正機(jī)制。此外，本發(fā)明涉及包括模糊校正機(jī)制的圖像處理裝置，該模糊校正機(jī)構(gòu) 用于校正由于攝像裝置的移動而導(dǎo)致在圖像傳感器上形成的圖像的模糊。

【背景技術(shù)】
[0002] 日本特開第2005-252626號公報討論了包括如下功能的圖像處理裝置。該圖像處 理裝置包括用于通過進(jìn)行圖像處理來校正成像光學(xué)系統(tǒng)固有的失真像差的功能。此外，圖 像處理裝置包括能夠校正由于拍攝圖像時攝像裝置的移動而引起的被攝體圖像的模糊的 模糊校正功能(即電子圖像穩(wěn)定功能)。
[0003] 當(dāng)對發(fā)生了成像光學(xué)系統(tǒng)固有的失真像差的圖像進(jìn)行用于減少失真像差的圖像 處理時，在圖像中發(fā)生廣角失真。在平面被攝體的圖像中發(fā)生的廣角失真不明顯。然而，在 立體被攝體的圖像中發(fā)生的廣角失真明顯。特別地，當(dāng)通過將包括變焦功能的成像光學(xué)系 統(tǒng)的圖像角度設(shè)置為廣角來拍攝圖像時，在圖像中發(fā)生大量失真像差。因此，當(dāng)校正失真像 差時發(fā)生的廣角失真也變大。
[0004] 當(dāng)發(fā)生廣角失真時，畫面的周邊部分的被攝體在畫面的圖像高度方向上被拉長。 在這種情況下，尤其當(dāng)針對人臉發(fā)生廣角失真時，圖像給用戶強(qiáng)烈的奇怪感。
[0005] 圖7A是例示失真像差被較好地校正了的圖像的示意圖。如圖7A所示，在直線上 形成的平面形狀看起來是正常的。然而，廣角失真傾向于發(fā)生在畫面的周邊部分的諸如人 臉的立體被攝體上，使得圖像給用戶奇怪感。圖7B是例示保留有桶型失真像差的圖像的示 意圖。如圖7B所示，在直線上形成的平面形狀失真，使得圖像給用戶奇怪感。然而，在畫面 的周邊部分的諸如人臉的立體被攝體在圖像中看起來相對正常。因此，當(dāng)發(fā)生大量失真像 差時，通過以留下少量失真的方式的校正能夠獲得具有比較滿意的在直線上形成的平面形 狀以及比較滿意的廣角失真的圖像。
[0006] 另一方面，作為圖像穩(wěn)定處理的電子圖像穩(wěn)定處理減少了由于攝像裝置的抖動而 引起的圖像的模糊。電子圖像穩(wěn)定處理根據(jù)攝像裝置的抖動使從圖像中要實(shí)際輸出（即，記 錄或顯示）的剪切區(qū)域偏移，從而減少圖像的模糊。
[0007] 然而，當(dāng)拍攝運(yùn)動圖像時，如果通過使用來自圖像傳感器的輸出而生成的圖像中 保留有失真像差，則剪切圖像中包括的失真像差的狀態(tài)根據(jù)要實(shí)際輸出的剪切區(qū)域的位置 的改變而改變。圖8A、圖8B以及圖8C是例示各剪切區(qū)域中保留的失真像差的狀態(tài)根據(jù)剪 切區(qū)域的位置的改變而改變的示意圖。更具體地，圖8B和圖8C例示了通過改變剪切位置 而由圖8A所示的圖像生成的圖像。因此，圖8B和圖8C所示的各圖像中保留的失真像差的 狀態(tài)不同。結(jié)果，由于這種圖像連續(xù)的運(yùn)動圖像中的剪切位置的改變，所以圖像中保留的失 真像差的不同變得明顯。
[0008] 此外，如果被攝體的亮度低，則可以如下進(jìn)行合成方法。進(jìn)行多次攝像以獲得多個 圖像數(shù)據(jù)，并且從獲得的多個圖像數(shù)據(jù)的各個中檢測同一被攝體。然后，調(diào)整多個圖像數(shù)據(jù) 的位置，使得包括在多個圖像數(shù)據(jù)的各個中的同一被攝體的位置相互匹配，并且合成多個 圖像數(shù)據(jù)。
[0009] 在這種情況下，如果同一被攝體在圖像傳感器上的位置在多個圖像間不同，則被 攝體中保留的失真像差的狀態(tài)也在多個圖像間不同。圖9A、圖9B、圖9C及圖9D是例示由 于被攝體在圖像傳感器上的位置的偏移而引起的、在根據(jù)被攝體而被剪切的各圖像中保留 的失真像差的狀態(tài)在多個圖像間的改變的圖。更具體地，圖9B和圖9C例示了由圖9A所示 的圖像生成的剪切位置不同的圖像。在這種情況下，各圖像中保留的失真像差的狀態(tài)不同。 因此，如果合成這種圖像，則即使在被攝體相同時，也生成了不同形狀的被攝體圖像被合成 的圖像。結(jié)果，在圖像中被攝體變得模糊。


【發(fā)明內(nèi)容】

[0010] 根據(jù)本發(fā)明的一方面，提供了一種圖像處理裝置，該圖像處理裝置包括：校正單 元，其被配置為對發(fā)生了失真像差的圖像數(shù)據(jù)進(jìn)行失真像差校正；以及穩(wěn)定單元，其被配置 為基于當(dāng)生成了所述圖像數(shù)據(jù)時攝像單元的移動，進(jìn)行從所述圖像數(shù)據(jù)中剪切部分圖像數(shù) 據(jù)的圖像穩(wěn)定處理，其中，與進(jìn)行所述圖像穩(wěn)定處理的情況相比，在不進(jìn)行所述圖像穩(wěn)定處 理的情況下，所述校正單元減少所述失真像差校正的量。
[0011] 根據(jù)本發(fā)明的另一方面，提供了一種圖像處理裝置，該圖像處理裝置包括：失真像 差校正單元，其被配置為對由于成像光學(xué)系統(tǒng)而發(fā)生了失真像差的多個圖像數(shù)據(jù)進(jìn)行失真 像差校正；以及合成單元，其被配置為基于所述多個圖像數(shù)據(jù)的各個中包括的被攝體的位 置，進(jìn)行用于通過調(diào)整所述多個圖像數(shù)據(jù)的位置來合成所述多個圖像數(shù)據(jù)的合成處理，其 中，與進(jìn)行所述合成處理的情況相比，在不進(jìn)行所述合成處理的情況下，所述失真像差校正 單元減少所述失真像差校正的量。
[0012] 根據(jù)本發(fā)明的再一方面，提供了一種圖像處理裝置，該圖像處理裝置包括：失真 像差校正單元，其被配置為對由于成像光學(xué)系統(tǒng)而發(fā)生了失真的圖像數(shù)據(jù)進(jìn)行失真像差校 正；以及剪切單元，其被配置為從所述圖像數(shù)據(jù)中剪切部分圖像數(shù)據(jù)，其中，與剪切所述部 分圖像數(shù)據(jù)的情況相比，在不剪切所述部分圖像數(shù)據(jù)的情況下，所述失真像差校正單元減 少所述失真像差校正的量。
[0013] 通過以下參照附圖對示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。

【專利附圖】

【附圖說明】
[0014] 圖1是例示作為根據(jù)本發(fā)明的示例性實(shí)施例的圖像處理裝置的示例的攝像裝置 的結(jié)構(gòu)的框圖。
[0015] 圖2A、圖2B及圖2C是例示在攝像裝置不進(jìn)行電子圖像穩(wěn)定的情況下的失真像差 校正的量的圖。
[0016] 圖3A、圖3B及圖3C是例示在攝像裝置進(jìn)行電子圖像穩(wěn)定的情況下的失真像差校 正的量的圖。
[0017] 圖4A、圖4B及圖4C是例示當(dāng)攝像裝置進(jìn)行電子圖像穩(wěn)定時輸出圖像的剪切位置 的圖。
[0018] 圖5A、圖5B、圖5C及圖ro是例示當(dāng)攝像裝置進(jìn)行電子圖像穩(wěn)定時輸出圖像的剪 切位置的圖。
[0019] 圖6A、圖6B、圖6C、圖6D、圖6E及圖6F是例示當(dāng)攝像裝置進(jìn)行電子圖像穩(wěn)定和投 影變換時輸出圖像的剪切位置的圖。
[0020] 圖7A和7B是例不失真像差與廣角失真之間的關(guān)系的不意圖。
[0021] 圖8A、圖8B及8C是例示失真像差與通過電子圖像穩(wěn)定的輸出圖像的剪切位置之 間的關(guān)系的不意圖。
[0022] 圖9A、圖9B、圖9C及圖9D是例示失真像差與通過電子圖像穩(wěn)定的輸出圖像的合 成位置之間的關(guān)系的示意圖。

【具體實(shí)施方式】
[0023] 下面參照附圖詳細(xì)描述本發(fā)明的各種示例性實(shí)施例、特征及方面。
[0024] 圖1是例示作為根據(jù)本發(fā)明的示例性實(shí)施例的圖像處理裝置的示例的攝像裝置 的結(jié)構(gòu)的框圖。根據(jù)本示例性實(shí)施例，包括電子圖像穩(wěn)定功能和失真像差校正功能的攝像 裝置將被描述為示例。然而，本發(fā)明并不限于此。本發(fā)明可應(yīng)用于從攝像裝置分離的圖像 處理裝置，只要圖像處理裝置包括如下功能即可，即用于基于拍攝圖像時的抖動信息剪切 圖像的功能或用于對準(zhǔn)和合成多個圖像的功能、以及用于校正失真像差的功能。
[0025] 如圖1所示，成像光學(xué)系統(tǒng)101包括具有多個透鏡的透鏡組，并且能夠改變焦點(diǎn)位 置和變焦倍率。圖像傳感器102接收通過成像光學(xué)系統(tǒng)101的光，進(jìn)行光電轉(zhuǎn)換，并生成與 被攝體相對應(yīng)的模擬信號。成像光學(xué)系統(tǒng)101和圖像傳感器102構(gòu)成攝像單元。模擬/數(shù) 字（A/D)轉(zhuǎn)換單元103將由圖像傳感器102生成的模擬信號轉(zhuǎn)換為數(shù)字信號，并生成圖像 數(shù)據(jù)。
[0026] 臨時存儲器104臨時存儲由A/D轉(zhuǎn)換單元103生成的圖像數(shù)據(jù)。圖像處理電路 105對從臨時存儲器104讀出的圖像數(shù)據(jù)進(jìn)行諸如白平衡處理、失真像差校正、電子圖像穩(wěn) 定處理以及合成處理等的圖像處理。包括小型液晶顯示器的監(jiān)視器106使用由圖像處理電 路105處理的圖像數(shù)據(jù)來顯示圖像。記錄電路107將從圖像處理電路105輸出的圖像數(shù)據(jù) 轉(zhuǎn)換為諸如聯(lián)合圖像專家組（JPEG)格式的格式，并記錄轉(zhuǎn)換后的圖像數(shù)據(jù)。
[0027] 操作單元108被用戶用來輸入針對攝像裝置的各種指令。控制電路109控制由圖 1所示的各單元進(jìn)行的操作。此外，控制電路109根據(jù)來自操作單元108的指令進(jìn)行控制。 移動檢測電路110檢測當(dāng)用戶正拍攝圖像時攝像單元的抖動，并將攝像裝置的移動輸出到 控制電路109。例如，移動檢測電路110基于攝像裝置中包括的角速度傳感器的輸出或通過 比較多個拍攝圖像而獲得的運(yùn)動向量，來檢測攝像裝置的移動。此外，當(dāng)進(jìn)行電子圖像穩(wěn)定 時，控制電路109基于從移動檢測電路110獲得的移動信息，將圖像的剪切位置發(fā)送到圖像 處理電路105。此外，控制電路109能夠從圖像數(shù)據(jù)中檢測諸如人等的特定被攝體。
[0028] 下面將描述根據(jù)本發(fā)明的第一示例性實(shí)施例的攝像裝置的操作。
[0029] 當(dāng)用戶接通操作單元108中的電源開關(guān)(未示出）時，向攝像裝置中包括的各單元 供給電力。通過成像光學(xué)系統(tǒng)101的被攝體圖像的光在圖像傳感器102上形成圖像，并且 圖像傳感器102將光電轉(zhuǎn)換后的模擬信號輸出到A/D轉(zhuǎn)換單元103。A/D轉(zhuǎn)換單元103將 輸入到其中的模擬信號轉(zhuǎn)換為數(shù)字信號，并生成圖像數(shù)據(jù)。然后，臨時存儲器104存儲所生 成的圖像數(shù)據(jù)。圖像處理電路105對從臨時存儲器104讀取的圖像數(shù)據(jù)進(jìn)行白平衡處理。
[0030] 如果經(jīng)由操作單元108預(yù)先設(shè)置攝像裝置不進(jìn)行電子圖像穩(wěn)定，則圖像處理電路 105進(jìn)行如下操作。圖像處理電路105通過對經(jīng)過白平衡處理的圖像數(shù)據(jù)進(jìn)行失真像差校 正，而不剪切經(jīng)過白平衡處理的部分圖像數(shù)據(jù)，來生成圖像數(shù)據(jù)。然后，控制電路109使監(jiān) 視器106基于所生成的圖像數(shù)據(jù)顯示圖像。
[0031] 另一方面，如果經(jīng)由操作單元108預(yù)先設(shè)置攝像裝置進(jìn)行電子圖像穩(wěn)定，則控制 電路109基于由移動檢測電路110檢測到的移動量來設(shè)置圖像的剪切位置。然后，圖像處 理電路105根據(jù)由控制電路109設(shè)置的位置，從經(jīng)過白平衡處理和失真像差校正的圖像中 剪切圖像數(shù)據(jù)。控制電路109使監(jiān)視器106基于剪切的圖像數(shù)據(jù)顯示圖像。用于失真像差 校正的參數(shù)與當(dāng)攝像裝置被設(shè)置為不進(jìn)行電子圖像穩(wěn)定時用于失真像差校正的參數(shù)不同。 稍后描述這種不同。
[0032] 攝像裝置重復(fù)上述處理，直到從操作單元108中的快門開關(guān)接收到開關(guān)（SW) 1信 號通知（即，快門開關(guān)被半按下的通知）為止。然后，運(yùn)動圖像被顯示在監(jiān)視器106上。
[0033] 如果控制電路109從操作單元108中的快門開關(guān)接收到SW1信號通知，則控制電 路109通過使用所生成的圖像數(shù)據(jù)進(jìn)行自動聚焦控制和自動曝光控制。由此，控制電路109 獲得用于拍攝圖像的最佳聚焦和曝光設(shè)置條件。
[0034] 如果攝像裝置從操作單元108中的快門開關(guān)接收到SW2信號通知（S卩，快門開關(guān)被 全按下的通知)，則攝像裝置進(jìn)行主攝像處理。更具體地，圖像處理電路105根據(jù)基于攝像 裝置是否被設(shè)置為進(jìn)行電子圖像穩(wěn)定的各設(shè)置來對圖像數(shù)據(jù)進(jìn)行處理。然后，圖像處理電 路105將處理后的圖像數(shù)據(jù)轉(zhuǎn)換為諸如JPEG格式等的格式，并且記錄電路107記錄轉(zhuǎn)換后 的圖像數(shù)據(jù)。
[0035] 下面將描述用于根據(jù)攝像裝置是否被設(shè)置為進(jìn)行電子圖像穩(wěn)定來進(jìn)行失真像差 校正的參數(shù)的改變。
[0036] 圖2A、圖2B及圖2C是例示在攝像裝置不進(jìn)行電子圖像穩(wěn)定的情況下的失真像差 校正的處理狀態(tài)的示意圖。如圖2A所示，如果由于成像光學(xué)系統(tǒng)101在圖像中引起桶型失 真像差，則在網(wǎng)格狀被攝體201中以桶形失真的攝像范圍202在圖像傳感器102上形成為 圖像。
[0037] 如果攝像裝置然后進(jìn)行校正使得成像光學(xué)系統(tǒng)101固有的失真像差被完全校正， 則平面被攝體的圖像的失真能夠被減少。然而，立體被攝體的廣角失真變得明顯。當(dāng)包括 變焦功能的成像光學(xué)系統(tǒng)101的視角被設(shè)置為廣角時，如果失真像差的量大，則圖像處理 電路105進(jìn)行失真像差校正，以故意留下少量桶型失真。由此，圖像處理電路105生成在直 線上形成的平面形狀中的失真像差和廣角失真二者都不明顯的圖像。在這種情況下，根據(jù) 通過進(jìn)行失真像差校正而生成的廣角失真的量來預(yù)先調(diào)整失真像差校正參數(shù)。然后，圖像 處理電路105進(jìn)行失真像差校正，使得攝像范圍202中的校正范圍203變?yōu)檩敵鰣D像，如圖 2B所示。由此，圖像處理電路105輸出留下少量桶型失真的圖像作為經(jīng)過失真像差校正的 圖像數(shù)據(jù)，如圖2C所示。
[0038] 圖3A、圖3B及圖3C是例示在攝像裝置進(jìn)行電子圖像穩(wěn)定的情況下的失真像差校 正狀態(tài)的處理狀態(tài)的示意圖。如圖3A所示，如果由于成像光學(xué)系統(tǒng)101在圖像中引起桶型 失真像差，則在網(wǎng)格狀被攝體301中以桶形失真的攝像范圍302在圖像傳感器102上形成 為圖像。
[0039] 攝像裝置進(jìn)行電子圖像穩(wěn)定處理以減少由攝像裝置的抖動引起的圖像的模糊。因 此，攝像裝置從圖像處理電路105進(jìn)行了失真像差校正的圖像中、在與由移動檢測電路110 檢測到的攝像裝置的移動信息對應(yīng)的位置進(jìn)行圖像剪切。如圖2C所示，當(dāng)留下桶型失真的 圖像數(shù)據(jù)的一部分被剪切時，針對各幀，通過偏移剪切位置，留在圖像中的失真像差的形狀 改變。因此，如果當(dāng)攝像裝置通過使用電子圖像穩(wěn)定來拍攝運(yùn)動圖像時留下失真像差，則幀 之間的失真像差的形狀的不同變得明顯。因此，圖像給用戶奇怪感。當(dāng)通過使用電子圖像 穩(wěn)定來拍攝運(yùn)動圖像時，根據(jù)本發(fā)明的攝像裝置如下設(shè)置失真像差校正參數(shù)。攝像裝置以 使得與不進(jìn)行電子圖像穩(wěn)定相比留下較少的失真像差的量的方式設(shè)置失真像差校正參數(shù)。 例如，圖像處理電路105進(jìn)行失真像差校正，使得攝像范圍302中的校正范圍303變?yōu)檩敵?圖像，如圖3B所示。然后，圖像處理電路105輸出幾乎沒有殘留桶型失真的圖像作為經(jīng)過 失真像差校正的圖像數(shù)據(jù)，如圖3C所示。
[0040] 圖4A、圖4B及圖4C是例示對幾乎沒有殘留失真像差的、用于進(jìn)行電子圖像穩(wěn)定處 理的圖像進(jìn)行的剪切的示意圖。
[0041] 更具體地，圖4A例示了由圖像處理電路105校正的以使得幾乎沒有殘留失真像差 的圖像數(shù)據(jù)。如圖4B和圖4C所示，即使通過改變剪切位置來從圖4A所示的圖像中剪切圖 像數(shù)據(jù)，由于失真像差的狀態(tài)的差異，用戶不會感覺奇怪。
[0042] 此外，如果攝像裝置進(jìn)行電子圖像穩(wěn)定，則從圖像處理電路105進(jìn)行了失真像差 校正的圖像中剪切輸出圖像。因此，根據(jù)剪切位置，可以排除由于失真像差校正發(fā)生了廣角 失真的區(qū)域。
[0043] 如上所述，如果根據(jù)本示例性實(shí)施例的圖像處理裝置進(jìn)行電子圖像穩(wěn)定，則失真 像差校正參數(shù)被設(shè)置為使得與當(dāng)圖像處理裝置不進(jìn)行電子圖像穩(wěn)定時相比，失真像差校正 的量變大。換言之，如果圖像處理裝置不進(jìn)行電子圖像穩(wěn)定，則失真像差校正參數(shù)被設(shè)置為 使得與當(dāng)圖像處理裝置進(jìn)行電子圖像穩(wěn)定相比，由于失真像差校正而發(fā)生的廣角失真量變 小。
[0044] 利用這種結(jié)構(gòu)，如果通過進(jìn)行電子圖像穩(wěn)定，運(yùn)動圖像中幀之間的失真像差的形 狀的改變明顯，則失真像差校正優(yōu)先于廣角失真。因此，圖像處理裝置變得能夠生成不會給 用戶奇怪感的運(yùn)動圖像。相反，如果圖像處理裝置不進(jìn)行電子圖像穩(wěn)定，則圖像處理裝置故 意留下失真像差。利用這種結(jié)構(gòu)，圖像處理裝置變得能夠生成由于廣角失真不會給用戶奇 怪感的圖像。
[0045] 根據(jù)上述示例性實(shí)施例，根據(jù)攝像裝置是否進(jìn)行電子圖像穩(wěn)定而改變失真像差校 正的量。然而，本發(fā)明并不限于此。即使當(dāng)圖像處理裝置對運(yùn)動圖像進(jìn)行電子圖像穩(wěn)定時， 也可以進(jìn)行以下的處理。如果圖像處理裝置對用于記錄在記錄介質(zhì)上的、通過實(shí)際拍攝獲 得的運(yùn)動圖像進(jìn)行失真像差校正，則與在除通過實(shí)際拍攝獲得的運(yùn)動圖像以外的其他運(yùn)動 圖像中進(jìn)行失真像差校正時相比，可以減少失真像差校正的量。不是通過實(shí)際拍攝獲得的 運(yùn)動圖像是用于在實(shí)際拍攝之前觀察被攝體而生成的運(yùn)動圖像。換言之，僅針對要存儲的 運(yùn)動圖像，考慮由于失真像差的形狀的改變引起的奇怪感。因此，針對不被存儲的運(yùn)動圖 像，不考慮由于失真像差的形狀的改變引起的奇怪感。
[0046] 此外，圖像處理裝置幾乎不需要對靜止圖像進(jìn)行使剪切位置偏移的電子圖像穩(wěn) 定。因此，如果圖像處理裝置拍攝靜止圖像，則失真像差校正參數(shù)可以被設(shè)置為使得與當(dāng)拍 攝運(yùn)動圖像時相比，失真像差校正的量變得更大。
[0047] 此外，在滿足失真像差的量變大的預(yù)定條件的情況下，例如，當(dāng)成像光學(xué)系統(tǒng)101 被設(shè)置為廣角側(cè)時，留下少量失真像差。因此，對于其他情況，不論圖像處理裝置是否進(jìn)行 電子圖像穩(wěn)定，失真像差校正的量可以相同。
[0048] 下面將描述根據(jù)本發(fā)明的第二示例性實(shí)施例的攝像裝置的操作。
[0049] 根據(jù)第一示例性實(shí)施例，根據(jù)攝像裝置是否對運(yùn)動圖像進(jìn)行電子圖像穩(wěn)定來改變 用于進(jìn)行失真像差校正的參數(shù)。與此相反，根據(jù)本示例性實(shí)施例，根據(jù)攝像裝置是否對多個 靜止圖像進(jìn)行合成處理來改變用于進(jìn)行失真像差校正的參數(shù)。根據(jù)本示例性實(shí)施例，下面 將主要描述與第一示例性實(shí)施例的不同。
[0050] 如果操作單元108預(yù)先設(shè)置了要進(jìn)行的合成處理，或者如果確定用于獲得適當(dāng)亮 度的圖像的曝光時間超過了閾值，則控制電路109確定合成靜止圖像。
[0051] 如果控制電路109確定不需要合成靜止圖像，則攝像裝置在接收到SW2的通知信 號時拍攝靜止圖像一次。然后，圖像處理電路105對拍攝的靜止圖像進(jìn)行包括白平衡處理 和失真像差校正的圖像處理，并生成圖像數(shù)據(jù)。
[0052] 另一方面，如果控制電路109確定要合成靜止圖像，則攝像裝置在接收到SW2的通 知信號時拍攝靜止圖像多次。然后，圖像處理電路105對拍攝的多個靜止圖像中的各個進(jìn) 行包括白平衡處理和失真像差校正的圖像處理，并生成多個圖像數(shù)據(jù)?？刂齐娐?09從多 個圖像數(shù)據(jù)中的各個中檢測同一被攝體。假定控制電路109從多個圖像數(shù)據(jù)中檢測人。然 后，圖像處理電路105調(diào)整多個圖像數(shù)據(jù)的位置，使得同一被攝體(例如，人）的位置相互匹 配，從而合成多個圖像數(shù)據(jù)。
[0053] 在根據(jù)本示例性實(shí)施例的攝像裝置中，如果攝像裝置進(jìn)行合成處理，則圖像處理 電路105設(shè)置失真像差校正參數(shù)，使得與當(dāng)攝像裝置不進(jìn)行合成處理時相比，留下少量失 真像差。例如，圖像處理電路105進(jìn)行失真像差校正，使得攝像范圍302中的校正范圍303 變?yōu)檩敵鰣D像，如圖3B所示。因此，圖像處理電路105生成幾乎沒有殘留桶型失真的圖像 數(shù)據(jù)，如圖3C所示。然后，圖像處理電路105通過使用幾乎沒有殘留桶型失真的多個圖像 數(shù)據(jù)，來從所述多個圖像數(shù)據(jù)中的各個中檢測同一被攝體的位置。圖像處理電路105調(diào)整 多個圖像數(shù)據(jù)的合成位置，使得同一被攝體的位置重疊。
[0054] 圖5A、圖5B、圖5C及圖?是例示用于對幾乎沒有殘留失真像差的圖像數(shù)據(jù)進(jìn)行 合成處理而進(jìn)行的剪切的示意圖。
[0055] 更具體地，圖5A例示了由圖像處理電路105進(jìn)行校正以使得幾乎沒有殘留失真像 差的圖像數(shù)據(jù)。在多個圖像數(shù)據(jù)的各個之間，同一被攝體中的失真像差的形狀變得類似，如 圖5B和5C所示。因此，當(dāng)如圖?所示合成多個圖像數(shù)據(jù)時，能夠減小疊加誤差。
[0056] 圖6A、圖6B、圖6C、圖6D、圖6E及圖6F是例示已進(jìn)行了失真像差校正和投影變換 的圖像數(shù)據(jù)的合成處理的示意圖。更具體地，圖6A例示了由圖像處理電路105進(jìn)行校正以 使得幾乎沒有殘留失真像差的圖像數(shù)據(jù)。然后，對如圖6B和圖6C所示的由于攝像裝置的 傾斜而發(fā)生梯形失真像差的圖像數(shù)據(jù)進(jìn)行投影變換處理。結(jié)果，如圖6D和圖6E所示，在由 投影變換處理過的圖像數(shù)據(jù)中精確校正了梯形失真。因此，如圖6F所示，減小了合成圖像 數(shù)據(jù)中的疊加誤差。
[0057] 此外，如果攝像裝置執(zhí)行合成處理，則攝像裝置刪除各圖像中的、不與其他圖像重 疊的區(qū)域。換言之，攝像裝置只剪切與其他圖像重疊的區(qū)域。在圖像的周邊部分中的廣角 失真傾向于變大。然而，當(dāng)攝像裝置合成圖像時，由于某部分不與其他圖像重疊，所以非常 可能刪除該部分。因此，能夠生成廣角失真不明顯的圖像。
[0058] 如上所述，當(dāng)根據(jù)本示例性實(shí)施例的圖像處理裝置進(jìn)行合成處理時，將失真像差 校正參數(shù)設(shè)置為使得與當(dāng)不進(jìn)行合成處理時相比，失真像差校正的量變得更大。換言之，如 果圖像處理裝置不進(jìn)行合成處理，則將失真像差校正參數(shù)設(shè)置為使得與當(dāng)進(jìn)行合成處理時 相比，失真像差校正的量變得更小。
[0059] 利用這種結(jié)構(gòu)，如果圖像處理裝置進(jìn)行合成處理，則圖像處理裝置能夠通過將失 真像差校正優(yōu)先于廣角失真來生成圖像的疊加誤差小的圖像數(shù)據(jù)。另一方面，如果圖像處 理裝置不進(jìn)行合成處理，則圖像處理裝置故意留下失真像差。由此，能夠生成由于廣角失真 而不會給用戶奇怪感的圖像。
[0060] 如果在多個圖像間無法檢測到同一被攝體，或者如果在多個圖像之間同一被攝體 的位置的差大于閾值，則圖像處理裝置可以確定不對圖像數(shù)據(jù)進(jìn)行合成處理。如果圖像處 理裝置不合成多個圖像數(shù)據(jù)，則不會發(fā)生圖像疊加誤差，所述減少廣角失真變得優(yōu)先。
[0061] 此外，圖像處理裝置可以進(jìn)行使得在合成多個圖像之后故意增加失真像差以減少 廣角失真的校正。通過進(jìn)行這種處理，能夠減少通過合成圖像數(shù)據(jù)所引起的疊加誤差以及 廣角失真。
[0062] 此外，在滿足失真像差變大的預(yù)定條件的情況下，例如當(dāng)成像光學(xué)系統(tǒng)被設(shè)置為 廣角側(cè)時，增加該失真像差。對于其他情況，不論攝像裝置是否進(jìn)行電子圖像穩(wěn)定，可以將 失真像差校正的量設(shè)置為相同。
[0063] 本發(fā)明的實(shí)施例還可以通過讀出并執(zhí)行記錄在存儲介質(zhì)(例如，非易失性計算機(jī) 可讀存儲介質(zhì)）上的用于執(zhí)行本發(fā)明的一個或多個上述實(shí)施例的功能的計算機(jī)可執(zhí)行指令 的系統(tǒng)或裝置的計算機(jī)來實(shí)現(xiàn)，以及通過由系統(tǒng)或裝置的計算機(jī)通過例如從存儲介質(zhì)中讀 出并執(zhí)行用于執(zhí)行一個或多個上述實(shí)施例的功能的計算機(jī)可執(zhí)行指令的方法來實(shí)現(xiàn)。計算 機(jī)可包括中央處理單元（CPU)、微處理單元（MPU)、或其他電路中的一個或多個，并且可以 包括獨(dú)立計算機(jī)或獨(dú)立計算機(jī)處理器的網(wǎng)絡(luò)。計算機(jī)可執(zhí)行指令可通過例如網(wǎng)絡(luò)或存儲介 質(zhì)提供給計算機(jī)。存儲介質(zhì)可以包括例如硬盤、隨機(jī)存取存儲器（RAM)、只讀存儲器（ROM)、 分布式計算系統(tǒng)的存儲器、光盤(例如壓縮盤（⑶）、數(shù)字通用光盤（DVD)或藍(lán)光盤（BD)?)、 閃存設(shè)備以及存儲卡等中的一個或多個。
[〇〇64] 雖然參照示例性實(shí)施例對本發(fā)明進(jìn)行了說明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公 開的示例性實(shí)施例。所附權(quán)利要求的范圍符合最寬的解釋，以使其涵蓋所有這種變型、等同 結(jié)構(gòu)及功能。
【權(quán)利要求】
1. 一種圖像處理裝置，該圖像處理裝置包括： 校正單元，其被配置為對發(fā)生了失真像差的圖像數(shù)據(jù)進(jìn)行失真像差校正；以及 穩(wěn)定單元，其被配置為基于當(dāng)生成了所述圖像數(shù)據(jù)時攝像單元的移動，進(jìn)行從所述圖 像數(shù)據(jù)中剪切部分圖像數(shù)據(jù)的圖像穩(wěn)定處理， 其中，與進(jìn)行所述圖像穩(wěn)定處理的情況相比，在不進(jìn)行所述圖像穩(wěn)定處理的情況下，所 述校正單元減少所述失真像差校正的量。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，與對靜止圖像數(shù)據(jù)進(jìn)行所述失真像差 校正的情況相比，在對運(yùn)動圖像數(shù)據(jù)進(jìn)行所述失真像差校正的情況下，所述校正單元減少 所述失真像差校正的量。
3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述穩(wěn)定單元從所述校正單元進(jìn)行了 所述失真像差校正的圖像數(shù)據(jù)中剪切所述部分圖像數(shù)據(jù)。
4. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，在光學(xué)系統(tǒng)滿足預(yù)定條件的情況下，所 述校正單元使所述失真像差校正的量在不進(jìn)行所述圖像穩(wěn)定處理的情況下與在進(jìn)行所述 圖像穩(wěn)定處理的情況下相等。
5. -種圖像處理裝置，該圖像處理裝置包括： 校正單元，其被配置為對發(fā)生了失真像差的多個圖像數(shù)據(jù)進(jìn)行失真像差校正；以及 合成單元，其被配置為基于所述多個圖像數(shù)據(jù)的各個中包括的被攝體的位置，進(jìn)行用 于通過調(diào)整所述多個圖像數(shù)據(jù)的位置來合成所述多個圖像數(shù)據(jù)的合成處理， 其中，與進(jìn)行所述合成處理的情況相比，在不進(jìn)行所述合成處理的情況下，所述校正單 元減少所述失真像差校正的量。
6. 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述合成單元合成所述校正單元進(jìn)行 了所述失真像差校正的多個圖像數(shù)據(jù)。
7. 根據(jù)權(quán)利要求5所述的圖像處理裝置，所述圖像處理裝置還包括： 變換單元，其被配置為對所述校正單元進(jìn)行了所述失真像差校正的圖像進(jìn)行用于進(jìn)行 傾斜校正的投影變換處理， 其中，所述合成單元合成所述變換單元進(jìn)行了所述傾斜校正的多個圖像數(shù)據(jù)。
8. 根據(jù)權(quán)利要求5所述的圖像處理裝置，所述圖像處理裝置還包括： 增加單元，其被配置為對由所述合成單元合成的圖像數(shù)據(jù)增加失真像差。
9. 一種圖像處理裝置，該圖像處理裝置包括： 校正單元，其被配置為對發(fā)生了失真的圖像數(shù)據(jù)進(jìn)行失真像差校正；以及 剪切單元，其被配置為從所述圖像數(shù)據(jù)中剪切部分圖像數(shù)據(jù)， 其中，與剪切所述部分圖像數(shù)據(jù)的情況相比，在不剪切所述部分圖像數(shù)據(jù)的情況下，所 述校正單元減少所述失真像差校正的量。
10. 根據(jù)權(quán)利要求9所述的圖像處理裝置，所述圖像處理裝置還包括： 合成單元，其被配置為合成多個圖像數(shù)據(jù)， 其中，所述剪切單元從由所述合成單元合成的多個圖像數(shù)據(jù)的各個中以使得與其他圖 像數(shù)據(jù)重疊的區(qū)域被包括在所述部分圖像數(shù)據(jù)中的方式剪切所述部分圖像數(shù)據(jù)。
11. 一種圖像處理方法，該圖像處理方法包括以下步驟： 對發(fā)生了失真像差的圖像數(shù)據(jù)進(jìn)行失真像差校正； 基于當(dāng)生成了所述圖像數(shù)據(jù)時攝像單元的移動，進(jìn)行從所述圖像數(shù)據(jù)中剪切部分圖像 數(shù)據(jù)的圖像穩(wěn)定處理；以及 與進(jìn)行所述圖像穩(wěn)定處理的情況相比，在不進(jìn)行所述圖像穩(wěn)定處理的情況下，當(dāng)進(jìn)行 所述失真像差校正時，減少所述失真像差校正的量。
12. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中，與對靜止圖像數(shù)據(jù)進(jìn)行所述失真像 差校正的情況相比，在對運(yùn)動圖像數(shù)據(jù)進(jìn)行所述失真像差校正的情況下，所述減少步驟減 少所述失真像差校正的量。
13. -種圖像處理方法，該圖像處理方法包括以下步驟： 對發(fā)生了失真像差的多個圖像數(shù)據(jù)進(jìn)行失真像差校正； 基于所述多個圖像數(shù)據(jù)的各個中包括的被攝體的位置，進(jìn)行用于通過調(diào)整所述多個圖 像數(shù)據(jù)的位置來合成所述多個圖像數(shù)據(jù)的合成處理；以及 與進(jìn)行所述合成處理的情況相比，在不進(jìn)行所述合成處理的情況下，當(dāng)進(jìn)行所述失真 像差校正時，減少所述失真像差校正的量。
14. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中，與對靜止圖像數(shù)據(jù)進(jìn)行所述失真像 差校正的情況相比，在對運(yùn)動圖像數(shù)據(jù)進(jìn)行所述失真像差校正的情況下，所述減少步驟減 少所述失真像差校正的量。
15. -種圖像處理方法，該圖像處理方法包括以下步驟： 對發(fā)生了失真像差的圖像數(shù)據(jù)進(jìn)行失真像差校正； 從所述圖像數(shù)據(jù)中剪切部分圖像數(shù)據(jù)；以及 與剪切所述部分圖像數(shù)據(jù)的情況相比，在不剪切所述部分圖像數(shù)據(jù)的情況下，減少所 述失真像差校正的量。
16. 根據(jù)權(quán)利要求15所述的圖像處理方法，其中，與對靜止圖像數(shù)據(jù)進(jìn)行所述失真像 差校正的情況相比，在對運(yùn)動圖像數(shù)據(jù)進(jìn)行所述失真像差校正的情況下，所述減少步驟減 少所述失真像差校正的量。
【文檔編號】H04N5/232GK104113703SQ201410150677
【公開日】2014年10月22日 申請日期:2014年4月15日 優(yōu)先權(quán)日:2013年4月15日
【發(fā)明者】西郡英俊 申請人:佳能株式會社