專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及一種用于生成全景(panoramic)圖像的圖像處理設(shè)備和圖像處理方法以及用于實(shí)現(xiàn)其的程序。
背景技術(shù)：
如在日本專利申請(qǐng)?zhí)亻_No. 2010-161520中所描述的，已知用于從多個(gè)圖像來(lái)生成ー個(gè)全景圖像的圖像處理。在合成多個(gè)成像后圖像(多個(gè)幀圖像數(shù)據(jù))以生成全景圖像的過程中，如果在成像后場(chǎng)景中存在運(yùn)動(dòng)對(duì)象，則這變?yōu)閳D像爆裂(crash)或降級(jí)的圖像質(zhì)量的緣由，例如，一部分運(yùn)動(dòng)對(duì)象是分離的或模糊的。
因而，已提出了一種用于檢測(cè)運(yùn)動(dòng)對(duì)象并在避開運(yùn)動(dòng)對(duì)象的同時(shí)確定形成全景圖像的接合處(接縫)的方法。

發(fā)明內(nèi)容
當(dāng)在避免特定對(duì)象的同時(shí)確定接縫并合成每個(gè)圖像吋，出現(xiàn)下述問題。為了對(duì)于整個(gè)全景圖像確定最適宜的接合處，參考要合成的所有圖像幀的信息(位置、像素、運(yùn)動(dòng)對(duì)象、人臉檢測(cè)等中的至少ー個(gè))來(lái)確定接合處。因而，在對(duì)所有圖像幀的處理(成像、對(duì)準(zhǔn)、各種檢測(cè)處理等)完成之前，將不開始確定接合處的處理。這意味著，在用于執(zhí)行全景合成的系統(tǒng)中，在完成對(duì)最終成像后圖像的處理之前，要保存包括所有圖像的像素信息的所有信息。因?yàn)樵谌昂铣芍型ǔ：铣删哂休^寬范圍的重疊區(qū)域的大量靜止圖像，所以成像后圖像的數(shù)據(jù)量是最終全景圖像的數(shù)據(jù)量的幾倍至幾十倍。因此，特別是在對(duì)存儲(chǔ)器容量具有嚴(yán)格限制的合成設(shè)備中，這可能變成降低全景圖像的圖像質(zhì)量或引發(fā)全景場(chǎng)角變窄的因素。例如，除非采取諸如降低成像后圖像的分辨率或減少成像后圖像的數(shù)量的措施，否則在ー些情況下可能不能實(shí)現(xiàn)全景圖像的生成，并且，很難生成具有高分辨率、高圖像質(zhì)量和寬場(chǎng)角的全景圖像。因?yàn)樵谕瓿伤袌D像的成像之前不開始接縫的確定，所以同時(shí)增加了全景合成時(shí)間。就這樣的問題來(lái)看，希望實(shí)現(xiàn)在全景圖像的生成中，利用較低的存儲(chǔ)器容量和較短的處理時(shí)間、在避免運(yùn)動(dòng)對(duì)象的接合處執(zhí)行合成的過程。根據(jù)本公開，提供了ー種圖像處理設(shè)備，包括對(duì)象信息檢測(cè)部分，用于在用來(lái)生成全景圖像的一系列n個(gè)幀圖像數(shù)據(jù)的輸入過程中檢測(cè)關(guān)于幀圖像數(shù)據(jù)的對(duì)象信息；以及接縫確定處理部分，用于在輸入過程中依序執(zhí)行如下處理，即通過使用對(duì)于每m+l(m < n)幀圖像數(shù)據(jù)組由對(duì)象信息檢測(cè)部分檢測(cè)的對(duì)象信息的最佳位置確定處理，來(lái)獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個(gè)接合處中的每ー個(gè)的位置并確定m或更少個(gè)接合處。
其可以進(jìn)一歩包括圖像合成部分，用于通過基于由接縫確定處理部分確定的接合處合成每個(gè)幀圖像數(shù)據(jù)，來(lái)使用n個(gè)幀圖像數(shù)據(jù)而生成全景圖像數(shù)據(jù)。根據(jù)本公開，提供了ー種圖像處理方法，包括，在用來(lái)生成全景圖像的一系列n(m< n)個(gè)幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行如下處理檢測(cè)關(guān)于幀圖像數(shù)據(jù)的對(duì)象信息；以及通過使用對(duì)于每m+1幀圖像數(shù)據(jù)組由對(duì)象信息檢測(cè)部分檢測(cè)的對(duì)象信息的最佳位置確定處理，來(lái)獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個(gè)接合處中的每ー個(gè)的位置并確定m或更少個(gè)接合處。根據(jù)本公開，提供了一種用于使得計(jì)算處理單元在用來(lái)生成全景圖像的一系列n(m < n)個(gè)幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行如下處理的程序檢測(cè)關(guān)于幀圖像數(shù)據(jù)的對(duì)象信息；以及通過使用對(duì)于每m+1幀圖像數(shù)據(jù)組由對(duì)象信息檢測(cè)部分檢測(cè)的對(duì)象信息的最佳位置確定處理，來(lái)獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個(gè)接合處中的每ー個(gè)的位置并確定m或更少個(gè)接合處。
根據(jù)上述本公開的實(shí)施例，當(dāng)通過合成n個(gè)幀圖像數(shù)據(jù)生成全景圖像時(shí)，在這樣的n個(gè)幀圖像數(shù)據(jù)的輸入過程中依序確定接合處(接縫)。換句話說，對(duì)于每m+1幀圖像數(shù)據(jù)組，關(guān)于m+1幀圖像數(shù)據(jù)的相鄰圖像之間的m個(gè)接縫全面地獲得最佳接合處位置。然后，確定m或更少個(gè)接合處(至少ー個(gè)或更多個(gè)接合處)。在幀圖像數(shù)據(jù)的輸入過程中重復(fù)執(zhí)行該處理以確定每個(gè)接縫。因此，能夠在完成所有n個(gè)幀圖像數(shù)據(jù)的輸入之前進(jìn)行接縫確定處理。此外，因?yàn)樵谄渲写_定接縫的幀圖像數(shù)據(jù)中已經(jīng)確定了不用于全景合成的圖像部分，所以要存儲(chǔ)的圖像容量可以被減小。此外，可以通過利用m+1幀圖像數(shù)據(jù)組來(lái)獲得每個(gè)接縫，而執(zhí)行考慮全部多個(gè)幀圖像數(shù)據(jù)的接縫確定。根據(jù)本公開的實(shí)施例，可以在全景圖像的生成中利用較低的存儲(chǔ)器容量和較短的處理時(shí)間來(lái)實(shí)現(xiàn)在避免運(yùn)動(dòng)對(duì)象的接合處執(zhí)行合成的過程。因?yàn)榫蚼+1幀圖像數(shù)據(jù)組中的全部多個(gè)幀圖像數(shù)據(jù)來(lái)獲得最佳接縫，所以所確定的接縫變?yōu)楦m當(dāng)?shù)奈恢谩?br>

圖I是根據(jù)本公開的實(shí)施例的成像設(shè)備的框圖；圖2是在全景成像中得到的圖像組的示范性視圖；圖3是全景成像的幀圖像數(shù)據(jù)中的接縫的示范性視圖；圖4是全景圖像的示范性視圖；圖5是實(shí)施例的全景合成過程的示范性視圖；圖6是實(shí)施例的成本函數(shù)(cost function)的示范性視圖；圖7是其中在實(shí)施例的成本函數(shù)上反映空間條件的示范性視圖；圖8是實(shí)施例的幀之間的成本函數(shù)的關(guān)系的示范性視圖；圖9是實(shí)施例的全景合成過程示例I的流程圖；圖10是實(shí)施例的接縫前后的混合過程的示范性視圖；、圖11是在實(shí)施例的輸入過程中的接縫確定的示范性視圖；圖12是要在實(shí)施例的接縫確定之后保存的區(qū)域的示范性視圖13是與實(shí)施例的幀次序?qū)?yīng)的接合處設(shè)置范圍的示范性視圖；圖14A是實(shí)施例的全景合成過程示例II的流程圖；圖14B是實(shí)施例的全景合成過程示例II的流程圖；并且圖15是實(shí)施例的全景合成過程示例III的流程圖。
具體實(shí)施例方式下面，將參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的參考數(shù)字來(lái)表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)解釋。下面將按以下次序描述實(shí)施例。在本文檔中，有時(shí)將圖14A和圖14B簡(jiǎn)單指示為圖14，并且當(dāng)對(duì)它們進(jìn)行區(qū)分時(shí)用符號(hào)A、B來(lái)指示。在實(shí)施例中，將通過示例的方式來(lái)描 述安裝有本公開的圖像處理設(shè)備的成像設(shè)備。〈I.成像設(shè)備的構(gòu)造〉<2.全景合成功能的概述><3.實(shí)施例的全景合成算法〉<4.全景合成過程示例I〉<5.全景合成過程示例II〉<6.全景合成過程示例III〉<7.程序〉<8.變體 >〈I.成像設(shè)備的構(gòu)造〉圖I示出成像設(shè)備I的構(gòu)造示例。成像設(shè)備I包括透鏡單元100、成像元件101、圖像處理部分102、控制部分103、顯示部分104、存儲(chǔ)器部分105、記錄設(shè)備106、操作部分107和傳感器部分108。透鏡單元100收集對(duì)象的光圖像。透鏡單元100具有用于調(diào)整焦距、物距(subjectdistance)、光圈等的機(jī)制，以使得根據(jù)來(lái)自控制部分103的指令獲得適當(dāng)圖像。成像元件101對(duì)由透鏡單元100收集的光圖像進(jìn)行光電轉(zhuǎn)換以轉(zhuǎn)換成電信號(hào)。具體地，通過CCD (電荷耦合器件)圖像傳感器、CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器等來(lái)實(shí)現(xiàn)成像元件101。圖像處理部分102包括采樣電路，用于對(duì)來(lái)自成像元件101的電信號(hào)進(jìn)行采樣；A/D轉(zhuǎn)換器電路，用于將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)；圖像處理電路，用于對(duì)數(shù)字信號(hào)執(zhí)行預(yù)定的圖像處理；等等。這里，圖像處理部分102適于執(zhí)行隨后將描述的用于通過成像元件101中的成像來(lái)獲得幀圖像數(shù)據(jù)的處理及用于合成全景圖像的處理。圖像處理部分102不僅包括專用的硬件電路，還包括能夠執(zhí)行軟件處理以負(fù)責(zé)靈活的圖像處理的CPU(中央處理單元)和DSP(數(shù)字信號(hào)處理器)。控制部分103包括CPU及控制程序，并且控制成像設(shè)備I的每個(gè)單元?？刂瞥绦蜃陨韺?shí)際被存儲(chǔ)在存儲(chǔ)器部分105中，并且由CPU執(zhí)行。通過控制部分103和圖像處理部分102來(lái)執(zhí)行本實(shí)施例的用于合成全景圖像的過程(隨后將描述的全景合成過程I、II、III等)。
顯示部分104包括D/A轉(zhuǎn)換器電路，用于將由圖像處理部分102處理并存儲(chǔ)在存儲(chǔ)器部分105中的圖像數(shù)據(jù)轉(zhuǎn)換成模擬形式；視頻編碼器，用于將模擬形式的圖像信號(hào)編碼成適于后級(jí)中的顯示設(shè)備的形式的視頻信號(hào)；以及顯示設(shè)備，用于顯示與輸入的視頻信號(hào)相對(duì)應(yīng)的圖像。例如通過IXD(液晶顯示器)、有機(jī)EL(電致發(fā)光)面板等來(lái)實(shí)現(xiàn)顯示設(shè)備，并且顯示設(shè)備還具有用作取景器(finder)的功能。存儲(chǔ)器部分105包括諸如DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)的半導(dǎo)體存儲(chǔ)器，并且臨時(shí)記錄由圖像處理部分102處理的圖像數(shù)據(jù)、控 制部分103中的控制程序及各種類型的數(shù)據(jù)。記錄設(shè)備106包括諸如半導(dǎo)體存儲(chǔ)器的記錄介質(zhì)，包括閃速存儲(chǔ)器(閃存)、磁盤、光盤及磁光盤；以及關(guān)于這些記錄媒體的記錄和再現(xiàn)系統(tǒng)電路/機(jī)制。在成像設(shè)備I的成像中，由圖像處理部分102編碼成JPEG(聯(lián)合圖片專家組)格式并且存儲(chǔ)在存儲(chǔ)器部分105中的JPEG圖像數(shù)據(jù)被記錄在記錄媒體上。在再現(xiàn)中，保存在記錄媒體中的JPEG圖像數(shù)據(jù)被讀取到存儲(chǔ)器部分105中，并且經(jīng)歷圖像處理部分102的解碼過程?？梢詫⒔獯a的圖像數(shù)據(jù)顯示在顯示部分104中，或者可以通過外部接ロ(未示出)將其輸出到外部設(shè)備。操作部分107包括諸如快門按鈕、操作盤的硬件鍵以及諸如觸摸板的輸入設(shè)備，并且適于檢測(cè)拍攝者(用戶)的輸入操作及將其發(fā)送到控制部分103。控制部分103根據(jù)用戶的輸入操作來(lái)確定成像設(shè)備I的操作，并且執(zhí)行控制使得每個(gè)單元執(zhí)行期望的操作。傳感器部分108包括陀螺儀傳感器、加速傳感器、地磁傳感器、GSP (全球定位系統(tǒng))傳感器等，并且適于執(zhí)行對(duì)各種類型的信息的檢測(cè)。這樣的信息作為元數(shù)據(jù)被添加到成像后圖像數(shù)據(jù)，此外，在各種圖像處理和控制過程中被使用。通過總線109使圖像處理部分102、控制部分103、顯示部分104、存儲(chǔ)器部分105、記錄設(shè)備106、操作部分107和傳感器部分108相互連接，使得可以交換圖像數(shù)據(jù)、控制信號(hào)
坐寸o<2.全景合成功能的概述>現(xiàn)在將描述成像設(shè)備I的全景合成功能的概述。本實(shí)施例的成像設(shè)備I能夠通過關(guān)于在拍攝者繞某個(gè)選擇軸旋轉(zhuǎn)地移動(dòng)成像設(shè)備I的同時(shí)成像時(shí)獲得的多個(gè)靜止圖像(幀圖像數(shù)據(jù))來(lái)執(zhí)行合成過程，生成全景圖像。圖2A示出全景成像時(shí)的成像設(shè)備I的移動(dòng)。由于當(dāng)合成全景圖像時(shí)長(zhǎng)距離視圖和短距離視圖的視差導(dǎo)致接合處的不自然，所以期望成像時(shí)的旋轉(zhuǎn)中心是不產(chǎn)生被稱為節(jié)點(diǎn)(nodal point)的視差的、對(duì)透鏡來(lái)說卩隹一的點(diǎn)。成像設(shè)備I在全景成像時(shí)的旋轉(zhuǎn)移動(dòng)被稱為“掃視(swe印)”。圖2A是當(dāng)對(duì)通過成像設(shè)備I的掃視而獲得的多個(gè)靜止圖像執(zhí)行適當(dāng)對(duì)準(zhǔn)時(shí)的概念圖。利用按照成像的時(shí)間次序的成像中獲得的每個(gè)靜止圖像，將從時(shí)間0至?xí)r間n-1成像的幀圖像數(shù)據(jù)指示為幀圖像數(shù)據(jù)FM#0、FM#1、. . .、FM# (n-1)。當(dāng)從n個(gè)靜止圖像生成全景圖像時(shí)，如圖I中所示，對(duì)依序成像的一系列n幀圖像數(shù)據(jù)FM#0至FM# (n-1)執(zhí)行合成過程。如圖2A中所示，每個(gè)成像后圖像數(shù)據(jù)必須與相鄰的幀圖像數(shù)據(jù)具有重疊的部分，并且因此要適當(dāng)設(shè)置成像設(shè)備I的每個(gè)幀圖像數(shù)據(jù)的成像時(shí)間間隔及拍攝者進(jìn)行掃視的速度的上限值。以此方式對(duì)準(zhǔn)的幀圖像數(shù)據(jù)組具有許多重疊部分，并且因此應(yīng)關(guān)于每個(gè)幀圖像數(shù)據(jù)確定用于最后的全景圖像的區(qū)域。換句話說，要確定全景合成過程中的圖像的接合部分(接縫)。在圖3A和圖3B中，示出了接縫SM的ー個(gè)示例。接縫可以是如圖3A中所示的垂直于掃視方向的線或可以如圖3B中所示是非線性(曲線等)的。在圖3A和圖3B中，接縫SMO示出了在幀圖像數(shù)據(jù)FM#0、FM#1之間的接合處，接縫SMl示出了在幀圖像數(shù)據(jù)FM#1、FM#2之間的接合處，,以及接縫SM(n-2)示出了在幀圖像數(shù)據(jù)FM# (n-2)、FM# (n-1)之間的接合處。
這樣的接縫SMO至SM (n-2)在合成時(shí)變成相鄰的圖像之間的接合處，使得每個(gè)幀圖像數(shù)據(jù)中的陰影部分變成在最后的全景圖像中不使用的圖像區(qū)域。當(dāng)執(zhí)行全景合成時(shí)，為了降低接縫周圍的圖像的不自然，有時(shí)對(duì)在接縫之前和之后的圖像區(qū)域執(zhí)行混合(blend)過程。隨后將在圖9中描述混合過程。通過在較寬范圍上執(zhí)行混合過程可以接合每個(gè)幀圖像數(shù)據(jù)的共同部分，或可以從共同部分中針對(duì)每個(gè)像素選擇對(duì)全景圖像做出貢獻(xiàn)的像素，其中在這些情況中不明顯存在接縫，但是在本說明書中這樣的較寬范圍的接合部分也被認(rèn)為與接縫相同。如圖2B中所示，作為每個(gè)幀圖像數(shù)據(jù)的對(duì)準(zhǔn)的結(jié)果，一般不僅識(shí)別出在掃視方向上而且在垂直于掃視的方向上的輕微移動(dòng)。這是由于在掃視時(shí)拍攝者的手抖動(dòng)等發(fā)生的移位。通過確定每個(gè)幀圖像數(shù)據(jù)的接縫、通過對(duì)其邊界區(qū)域執(zhí)行混合過程來(lái)接合、以及最后考慮手抖動(dòng)量來(lái)修剪在垂直于掃視的方向上的不必要部分，來(lái)獲得具有以掃視方向作為長(zhǎng)邊方向的寬視場(chǎng)角的全景圖像，如圖4中所示。在圖4中，垂直線示出接縫，其中示范性示出了分別在接縫SMO至SM(n_2)處接合n個(gè)幀圖像數(shù)據(jù)FM#0至FM#(n-l)以生成全景圖像的狀態(tài)。<3.實(shí)施例的全景合成算法〉現(xiàn)在將描述本實(shí)施例的成像設(shè)備I的全景合成過程的細(xì)節(jié)。圖5示出用于全景合成過程的在作為功能構(gòu)造的圖像處理部分102和控制部分103中執(zhí)行的過程、以及由這些功能構(gòu)造站點(diǎn)執(zhí)行的過程。如用點(diǎn)劃線所示的，功能構(gòu)造包括對(duì)象信息檢測(cè)部分20、接縫確定處理部分21、圖像合成部分22以及全景合成準(zhǔn)備處理部分23。對(duì)象信息檢測(cè)部分20在生成全景圖像中使用的一系列n個(gè)幀圖像數(shù)據(jù)的輸入過程中對(duì)于每個(gè)幀圖像數(shù)據(jù)檢測(cè)對(duì)象信息。在該示例中，執(zhí)行運(yùn)動(dòng)對(duì)象檢測(cè)處理202和檢測(cè)/識(shí)別處理203。接縫確定處理部分21執(zhí)行使用在對(duì)象信息檢測(cè)部分20中檢測(cè)的對(duì)象信息、通過最佳位置確定過程來(lái)對(duì)于每m+1 (m < n)幀圖像數(shù)據(jù)組獲得變成相鄰幀圖像數(shù)據(jù)之間的接縫的m個(gè)接縫中的每ー個(gè)的位置的過程(接縫確定過程205)，以及確定m或更少個(gè)接合處。在一系列n個(gè)幀圖像數(shù)據(jù)的輸入過程中依序執(zhí)行接縫確定過程205。
圖像合成部分22執(zhí)行用于通過基于在接縫確定處理過程21中確定的接縫來(lái)合成每個(gè)幀圖像數(shù)據(jù)而使用n個(gè)幀圖像數(shù)據(jù)來(lái)生成全景圖像數(shù)據(jù)的縫合過程206。全景合成準(zhǔn)備處理部分23執(zhí)行例如預(yù)處理200、圖像配準(zhǔn)處理201及重投影處理204，作為用于準(zhǔn)確執(zhí)行全景合成的準(zhǔn)備過程。安排對(duì)象信息檢測(cè)部分20、接縫確定處理部分21及圖像合成部分22被安排為實(shí)現(xiàn)本實(shí)施例的特征操作。然而，圖像合成部分22的操作可以由外部設(shè)備來(lái)執(zhí)行，在該情況下，在本實(shí)施例的圖像處理設(shè)備中至少安排對(duì)象信息檢測(cè)部分20和接縫確定處理部分21?，F(xiàn)在將描述每個(gè)過程。變成預(yù)處理200的目標(biāo)的輸入圖像組是在拍攝者正利用成像設(shè)備I執(zhí)行全景成像時(shí)依序獲得的幀圖像數(shù)據(jù)FM#0、FM#UFM#2...。首先，在全景合成準(zhǔn)備處理部分23中，關(guān)于由拍攝者的全景成像操作所成像的圖像(每個(gè)幀圖像數(shù)據(jù))(這里假定圖像經(jīng)歷類似于正常成像時(shí)的圖像處理)來(lái)執(zhí)行用于全景合成過程的預(yù)處理200。基于透鏡單元100的屬性，輸入圖像受色差影響。具體地，透鏡的失真色差不利地影響圖像配準(zhǔn)處理201，并使對(duì)準(zhǔn)的精度降級(jí)。失真色差也導(dǎo)致合成后的全景圖像的接縫周圍的偽像，并且因而在預(yù)處理200中校正失真色彩?？梢酝ㄟ^校正失真色彩來(lái)提高運(yùn)動(dòng)對(duì)象檢測(cè)處理202和檢測(cè)/識(shí)別處理203的準(zhǔn)確性。全景合成準(zhǔn)備處理部分23對(duì)經(jīng)歷預(yù)處理200的圖像數(shù)據(jù)執(zhí)行圖像配準(zhǔn)處理201。在全景合成中將多個(gè)幀圖像數(shù)據(jù)坐標(biāo)變換到單個(gè)坐標(biāo)系中，其中這樣的單個(gè)坐標(biāo)系被稱為全景坐標(biāo)系。圖像配準(zhǔn)處理201是輸入兩個(gè)連續(xù)的幀圖像數(shù)據(jù)、并且在全景坐標(biāo)系中執(zhí)行對(duì)準(zhǔn)的過程。通過圖像配準(zhǔn)處理201獲得的關(guān)于兩個(gè)幀圖像數(shù)據(jù)的信息僅是兩個(gè)圖像坐標(biāo)之間的相對(duì)關(guān)系，但是可以通過選擇多個(gè)圖像坐標(biāo)系中的ー個(gè)(例如第一幀圖像數(shù)據(jù)的坐標(biāo)系)并且將其固定為全景坐標(biāo)系來(lái)將所有幀圖像數(shù)據(jù)的坐標(biāo)系轉(zhuǎn)換到全景坐標(biāo)系。將在圖像配準(zhǔn)處理201中執(zhí)行的具體處理廣泛地分成下面的兩個(gè)過程。I.檢測(cè)圖像中的局部運(yùn)動(dòng)2.從所獲得的局部運(yùn)動(dòng)信息中獲得整個(gè)圖像的全局運(yùn)動(dòng)在過程I中， 塊匹配 諸如Harris、Hessian、SIFT、SURF、FAST的特征點(diǎn)提取和特征點(diǎn)匹配通常用于獲得圖像的特征點(diǎn)的局部矢量。在過程2中，魯棒的估計(jì)方法，諸如 最小平方法*M 估計(jì) 最小中值法(LMedS)
、
RANSAC (RANdom 樣本一致)被用于獲得最佳仿射變換矩陣和投影變換矩陣(Homography)，其中以在過程I中獲得的局部矢量組作為輸入來(lái)描述兩個(gè)坐標(biāo)系之間的關(guān)系。在本說明書中，將這樣的信息稱為圖像配準(zhǔn)信息。
全景合成準(zhǔn)備處理部分23執(zhí)行重投影處理204。在重投影處理204中，所有幀圖像數(shù)據(jù)基于由圖像配準(zhǔn)處理201獲得的圖像配準(zhǔn)信息經(jīng)歷在單個(gè)平面或諸如圓柱表面或球形表面的單個(gè)曲面上的投影處理。同吋，運(yùn)動(dòng)對(duì)象信息和檢測(cè)/識(shí)別信息也經(jīng)歷在同一平面或曲面上的投影處理。就像素優(yōu)化處理而言，可以作為縫 合處理206的前一級(jí)處理或作為縫合處理206的一部分來(lái)執(zhí)行幀圖像數(shù)據(jù)的重投影處理204。其也可以簡(jiǎn)單地在圖像配準(zhǔn)處理201之前執(zhí)行，例如作為預(yù)處理200的一部分。更簡(jiǎn)單地，可以不執(zhí)行處理本身，并且可以作為圓柱投影處理的近似來(lái)處理該處理本身。對(duì)象信息檢測(cè)部分20對(duì)經(jīng)歷預(yù)處理200的每個(gè)幀圖像數(shù)據(jù)執(zhí)行運(yùn)動(dòng)對(duì)象檢測(cè)處理202和檢測(cè)/識(shí)別處理203。在全景合成過程中，由于合成多個(gè)幀圖像數(shù)據(jù)的屬性，所以如果在成像場(chǎng)景中存在運(yùn)動(dòng)對(duì)象，則運(yùn)動(dòng)對(duì)象的存在變?yōu)閳D像爆裂或降級(jí)的圖像質(zhì)量的緣由，例如，一部分運(yùn)動(dòng)對(duì)象是分離的或模糊的。因而，優(yōu)選地是，檢測(cè)運(yùn)動(dòng)對(duì)象然后在避開運(yùn)動(dòng)對(duì)象的同時(shí)確定全
景的接縫。運(yùn)動(dòng)對(duì)象檢測(cè)處理202是輸入兩個(gè)或更多個(gè)連續(xù)的幀圖像數(shù)據(jù)并且執(zhí)行對(duì)運(yùn)動(dòng)對(duì)象的檢測(cè)的過程。在特定過程的示例中，如果利用由圖像配準(zhǔn)處理201獲得圖像的配準(zhǔn)信息實(shí)際執(zhí)行對(duì)準(zhǔn)的兩個(gè)幀圖像數(shù)據(jù)的像素的差值大于或等于閾值，則將對(duì)象被確定為運(yùn)動(dòng)對(duì)象。替選地，可以使用在圖像配準(zhǔn)處理201的魯棒估計(jì)時(shí)被確定為離體物(outlier)的特征點(diǎn)信息來(lái)進(jìn)行確定。在檢測(cè)/識(shí)別處理203中，檢測(cè)成像后幀圖像數(shù)據(jù)中的人、動(dòng)物等的面部和身體的位置信息。人和動(dòng)物很可能是運(yùn)動(dòng)對(duì)象，并且即使他們不是運(yùn)動(dòng)的，如果將全景的接縫確定在該對(duì)象上，與其他物體相比，也通常提供視覺方面的不舒服感覺，因此優(yōu)選在避開這些對(duì)象的同時(shí)確定接縫。也就是說，在檢測(cè)/識(shí)別處理203中獲得的信息用于補(bǔ)償運(yùn)動(dòng)對(duì)象檢測(cè)處理202的信息。通過接縫確定處理部分21的接縫確定處理205是如下過程即利用來(lái)自重投影處理204的圖像數(shù)據(jù)、來(lái)自圖像配準(zhǔn)處理201的圖像配準(zhǔn)信息、來(lái)自運(yùn)動(dòng)對(duì)象檢測(cè)處理202的運(yùn)動(dòng)對(duì)象信息、以及來(lái)自檢測(cè)/識(shí)別處理203的檢測(cè)/識(shí)別信息作為輸入，確定對(duì)于全景圖像具有較少爆裂的適當(dāng)接縫。這里，將描述其中要獲得的接縫限于垂直于掃視方向的線、如圖3A所示的方法。首先，將參考圖6描述重疊區(qū)域中的成本函數(shù)的定義。在全景坐標(biāo)系中，掃視方向上的坐標(biāo)軸是X軸，以及垂直于X軸的軸是y軸。假定在區(qū)域ak彡X彡bk中在時(shí)間k成像的幀圖像數(shù)據(jù)FM# (k)和在時(shí)間k+1成像的幀圖像數(shù)據(jù)FM#(k+1)重疊，如圖6A中所示。將成本函數(shù)fk(x)定義為將在重疊區(qū)域(ak至bk)中的來(lái)自運(yùn)動(dòng)對(duì)象檢測(cè)處理202的運(yùn)動(dòng)對(duì)象信息和來(lái)自檢測(cè)/識(shí)別處理203的檢測(cè)/識(shí)別信息適當(dāng)加權(quán)、按X軸方向投影、并且然后對(duì)于所有信息進(jìn)行累計(jì)(integrate)。換句話說，[等式I]
權(quán)利要求
1.一種圖像處理設(shè)備，包括 對(duì)象信息檢測(cè)部分，用于在用來(lái)生成全景圖像的一系列η個(gè)幀圖像數(shù)據(jù)的輸入過程中檢測(cè)關(guān)于幀圖像數(shù)據(jù)的對(duì)象信息；以及 接縫確定處理部分，用于在輸入過程中依序執(zhí)行如下處理，即通過使用對(duì)于每m+1 (m< η)幀圖像數(shù)據(jù)組由所述對(duì)象信息檢測(cè)部分檢測(cè)的對(duì)象信息的最佳位置確定處理，來(lái)獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個(gè)接合處中的每一個(gè)的位置并確定m或更少個(gè)接合處。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，進(jìn)一步包括圖像合成部分，用于通過基于由所述接縫確定處理部分確定的接合處合成每個(gè)幀圖像數(shù)據(jù)，來(lái)使用η幀圖像數(shù)據(jù)而生成全景圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備， 其中，在通過所述接縫確定處理部分確定η-i個(gè)接合處之后，所述圖像合成部分使用所述η個(gè)幀圖像數(shù)據(jù)來(lái)生成全景圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備， 其中，每當(dāng)所述接縫確定處理部分在輸入過程中確定一個(gè)或多個(gè)接合處時(shí)，所述圖像合成部分基于所確定的接合處來(lái)執(zhí)行多個(gè)幀圖像數(shù)據(jù)的合成。
5.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分在所述最佳位置確定處理中，根據(jù)對(duì)象信息來(lái)計(jì)算反映對(duì)象信息的成本函數(shù)值，并且執(zhí)行用于優(yōu)化所述成本函數(shù)值以獲得m個(gè)接合處中的每一個(gè)的位置的計(jì)算。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中， 用于優(yōu)化所述成本函數(shù)的計(jì)算是獲得m個(gè)接合處中的每一個(gè)的計(jì)算，其中每個(gè)接合處的成本函數(shù)值之和對(duì)于m個(gè)接合處中的每一個(gè)變成最小值，所述m個(gè)接合處中的每一個(gè)處于基于接合處設(shè)置范圍內(nèi)的成本函數(shù)值而選擇的接合處位置，在所述接合處設(shè)置范圍中對(duì)象在相鄰幀圖像數(shù)據(jù)之間重疊。
7.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分將用于獲得所述成本函數(shù)值的成本函數(shù)假定為反映圖像的空間條件的函數(shù)。
8.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分將用于獲得所述成本函數(shù)值的成本函數(shù)假定為反映所述對(duì)象信息的可靠性的函數(shù)。
9.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分將用于獲得所述成本函數(shù)值的成本函數(shù)假定為反映所述m+1幀圖像數(shù)據(jù)組中的幀次序的函數(shù)。
10.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分依據(jù)所述m+1幀圖像數(shù)據(jù)組中的幀次序、改變基于所述成本函數(shù)值來(lái)獲得相鄰幀圖像數(shù)據(jù)之間的接合處的約束條件。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備， 其中，所述約束條件是其中對(duì)象在相鄰幀圖像數(shù)據(jù)之間重疊的接合處設(shè)置范圍的設(shè)置。
12.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述對(duì)象信息檢測(cè)部分執(zhí)行運(yùn)動(dòng)對(duì)象檢測(cè)以用于所述對(duì)象信息的檢測(cè)。
13.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述對(duì)象信息檢測(cè)部分執(zhí)行人臉檢測(cè)以用于所述對(duì)象信息的檢測(cè)。
14.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述對(duì)象信息檢測(cè)部分執(zhí)行人體檢測(cè)以用于所述對(duì)象信息的檢測(cè)。
15.—種圖像處理方法,包括 在用來(lái)生成全景圖像的一系列n (m < η)個(gè)幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行以下處理 檢測(cè)關(guān)于幀圖像數(shù)據(jù)的對(duì)象信息；以及 通過使用對(duì)于每m+1幀圖像數(shù)據(jù)組由對(duì)象信息檢測(cè)部分檢測(cè)的對(duì)象信息的最佳位置確定處理，來(lái)獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個(gè)接合處中的每一個(gè)的位置并確定m或更少個(gè)接合處。
16.一種用于使得計(jì)算處理單元在用來(lái)生成全景圖像的一系列n (m< η)個(gè)幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行如下處理的程序 檢測(cè)關(guān)于幀圖像數(shù)據(jù)的對(duì)象信息；以及 通過使用對(duì)于每m+1幀圖像數(shù)據(jù)組由對(duì)象信息檢測(cè)部分檢測(cè)的對(duì)象信息的最佳位置確定處理，來(lái)獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個(gè)接合處中的每一個(gè)的位置并確定m或更少個(gè)接合處。
全文摘要
提供了一種圖像處理設(shè)備，包括對(duì)象信息檢測(cè)部分，用于在用來(lái)生成全景圖像的一系列n個(gè)幀圖像數(shù)據(jù)的輸入過程中檢測(cè)關(guān)于幀圖像數(shù)據(jù)的對(duì)象信息；以及接縫確定處理部分，用于在輸入過程中依序執(zhí)行如下處理，即通過使用對(duì)于每m+1(m＜n)幀圖像數(shù)據(jù)組由所述對(duì)象信息檢測(cè)部分檢測(cè)的對(duì)象信息的最佳位置確定處理，來(lái)獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個(gè)接合處中的每一個(gè)的位置并確定m或更少個(gè)接合處。
文檔編號(hào)H04N5/232GK102739980SQ201210097648
公開日2012年10月17日 申請(qǐng)日期2012年4月5日 優(yōu)先權(quán)日2011年4月12日
發(fā)明者木村篤史 申請(qǐng)人:索尼公司