專利名稱：信號處理裝置、信號處理方法、程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適當?shù)乇粦?yīng)用于例如獲得寬范圍的高對比率圖像的 信號處理裝置、信號處理方法、程序和記錄介質(zhì)。
背景技術(shù)：
在現(xiàn)有技術(shù)中，為了以寬視角拍攝風景等，來用全景成像方法、 多個相機被放置在多個位置的多相機成像方法、低分辨率動態(tài)圖像與 高分辨率靜態(tài)圖像合成的成像方法、使用具有多個焦點的相機的多焦 點成像方法等等。這里，"視角"是指通過相機的透鏡可以拍攝被攝物 的范圍。下文中，將簡單描述以上成像方法。
在全景成像方法中，多個相機拍攝的圖像被拼接在一起以生成寬 區(qū)域圖像。全景成像方法包括單視點方法和多視點方法。在單視點方 法中，因為多個相機在同一位置拍攝被攝物，所以拼接的圖像沒有邊 界。在多視點方法中，因為多個相機在不同的位置拍攝被攝物，所以 拼接的圖像有邊界。
在單視點方法的情況下，拼接之前的圖像的外圍部分由于裝配到 相機的透鏡的特性等而發(fā)生變形。圖像的變形引起拼接圖像的質(zhì)量下 降。如果變形后的圖像被直接投影到屏幕上，則在屏幕邊緣處圖像的 變形更加明顯。
在單視點方法的情況下，在相鄰相機拍攝的圖像的邊界周圍發(fā)生
相鄰圖像重疊的公共部分。這里，將參考圖33來描述相鄰圖像的公 共部分。
圖33是使用被布置為使得相機的成像方向在一點處相交的相機 的成^f象方法的例子。在該方法中，三個相4幾101a至101c;故布置在以 視點102為基準的成像方向的延長線上。注意，成像方向分別與相機的光軸一致。這樣，多個光軸彼此相交的一點被用作虛擬的"相機陣 列(多個相機)的視點"。當多個相機拍攝的圖像被合成時，可能有 必要考慮上述兩種類型的視點，即，"相機陣列的視點，，和"多個相機 的視點"。這里，有兩種類型的使"多個相機的視點"彼此一致的方法， 這些方法被稱為"單視點方法"。第 一種方法利用具有實體上單個透鏡 的中繼光學(xué)系統(tǒng)對^皮攝物成像。第二方法對被攝物成像以使這些相機 的視角分別被設(shè)置為沒有任何相鄰圖像重疊的公共部分。即使當想要 使用除單視點方法以外的方法而使"多個相機的視點，，彼此一致時，由 于相機之間的透鏡的大小不同仍然是很難的。
返回參考圖33，相機101a至101c各自以相同視角拍攝位于遠 景103和近景105中的被攝物。然后，相機101a至101c聚焦在物側(cè) 焦平面104上。此時，存在一個相鄰相才幾101a和101b的成《象部分在 遠景103中重疊的>^共部分103a。類似地，存在一個相鄰相機101b 和101c的成像部分在遠景103中重疊的7>共部分103b。另外，存在 一個相鄰相機101a和101b的成〗象部分在物側(cè)焦平面104中重疊的/> 共部分104a。類似地，存在一個相鄰相才凡101b和101c的成像部分在 物側(cè)焦平面104中重疊的 ^共部分104b。
相才幾101a至101c拍才聶的圖《象的^^共部分103a、 103b、 104a和 104b在色度上逐個4象素地混合。然而，當多個相機的視點彼此不一致 時，從每個相機到^皮攝物的物距不同。在特定焦平面(在該例子中， 是物側(cè)焦平面104的平面)上拍攝的多個圖像可以被平滑地拼接，而 當從每個相機到被攝物的物距不同時(在該例子中，遠景103和近景 105被混合的狀態(tài))，圖像之間的接合點往往看起來不自然(也稱為"近 景分割，，)。因而，即使多個圖像的公共部分彼此混合時，也難以維 持高分辨率的圖像。
這里，將通過參考日本未實審專利申請公布(PCT申請的譯文) No. 2005-522108至日本未實審專利申請7>布No. 2004-135209來簡單 描迷用于合成圖像的技術(shù)。日本未實審專利申請公布(PCT申請的譯 文)No. 2005-522108描述了近景分割。其描述了 一種在高等級表示和
6數(shù)據(jù)、視頻數(shù)據(jù)和音 頻數(shù)據(jù)的等級的技術(shù)。
另一方面，在多視點方法中，可以獲得相同分辨率和色度的圖像 的相機被布置在多個位置處以拍攝被攝物。每個相機的個體差異表現(xiàn)
為變焦率(zoom rate)等的差異，因此個體差異的影響被排除以使相 機的性能趨同。此時，為了使用特性虛擬趨同的相機來拍攝被攝物， 每個相機獲得的圖像通過各種方法被校準。
曰本未實審專利申請公布No. 7-143439描述了一種圖像拍攝裝 置。圖像拍攝裝置含有以低分辨率拍攝動態(tài)圖像的動態(tài)圖像拍攝單元 和以高分辨率拍攝靜態(tài)圖像的靜態(tài)圖像拍攝單元，并且在期望的拍照 時機獲得高質(zhì)量的圖像。
曰本未實審專利申請乂>布No. 2005-318548描迷了 一種用于成像 的技術(shù)，該技術(shù)使得第一圖像數(shù)據(jù)序列(低分辨率和高幀率的圖像數(shù) 據(jù)序列)和第二圖像數(shù)據(jù)序列(高分辨率和低幀率的圖像數(shù)據(jù)序列) 落在同一范圍內(nèi)。當這兩種圖像數(shù)據(jù)序列被合并以執(zhí)行圖像處理時， 可以獲得高分辨率和高幀率的圖像。
在曰本未實審專利申請/>布No. 7-143439和日本未實審專利申 請乂>布No. 2005-318548中描述的方法為每個相機指定時間和分辨率。 例如，當一個相機在一長時間段內(nèi)拍攝窄范圍時，所獲得的圖像具有 高分辨率。另一方面，當另一相機在一短時間段內(nèi)拍攝寬范圍時，所 獲得的圖像具有低分辨率。這樣，在拍攝時間和分辨率存在一種折衷 關(guān)系。這樣，相機被放置在同一位置(視點位置)，拍攝窄范圍的相 機和拍攝寬范圍的相機相互分開，然后所拍攝的圖像被合成。結(jié)果， 可以獲得在寬范圍中以高分辨率拍攝的圖像，因此消除了時間和分辨 率之間的折衷關(guān)系。
當多個圖像被合成時，使用下面的信號處理裝置U0。圖34示 出了現(xiàn)有的信號處理裝置110的配置例子。信號處理裝置110包括低 頻提取單元(LPF:低通濾波器)lll。低頻提取單元lll輸入由以窄 視角拍攝被攝物的第一相機生成的高分辨率圖像121，并且提取頻率低于預(yù)定頻帶的低頻圖像122。在圖34中，與處理模塊一起，示出了 與高分辨率圖像121和低頻圖像122有關(guān)的直方圖，其中橫軸表示頻 率并且縱軸表示頻率的增益。
另外，信號處理裝置110包括學(xué)習單元112和參數(shù)設(shè)置單元113。 學(xué)習單元112基于輸入的高分辨率圖像121和低頻圖像122來學(xué)習高 分辨率圖像121相對于低頻圖像122的對應(yīng)關(guān)系。參數(shù)設(shè)置單元113 設(shè)置各種參數(shù)。然后，信號處理裝置110包括映射單元114。映射單 元114將從參數(shù)設(shè)置單元113送來的高分辨率圖像121疊加在由第二 相機(未示出)以寬視角拍攝的低分辨率圖像123上以生成合成圖像 124。映射單元114將合成圖像124輸出到外部輸出設(shè)備。
圖35示出了由信號處理裝置110執(zhí)行的現(xiàn)有的圖像處理的例子。 首先，低頻提取單元111將以窄視角拍攝的高分辨率圖像121的頻帶 減小到以寬視角拍攝的低分辨率圖像123的低頻，并提取低頻圖像122 (步驟S101)。隨后，學(xué)習單元112在由低頻提取單元lll提取的低 頻圖像122和高分辨率圖像121之間進行學(xué)習，并且參數(shù)設(shè)置單元113 獲得參數(shù)(步驟S102)。
映射單元114使用由參數(shù)設(shè)置單元113設(shè)置的參數(shù)，并且執(zhí)行映 射，在映射中，高分辨率圖像121被疊加在寬視角中與低分辨率圖像 123相對應(yīng)的位置處(步驟S103)。通過將高分辨率圖像121映射在 低分辨率圖像123上而獲得的圖像被輸出為合成圖像。
曰本未實審專利申請公布No. 9-139878描述了一種利用多個焦 點進行成像的技術(shù)。以上技術(shù)想要獲得這樣一種圖像，其中對于遠景 和近景中的任何一個都實現(xiàn)了正確的聚焦。然后，多個相機的透鏡各 自包括使遠景實現(xiàn)聚焦的外透鏡和使近景實現(xiàn)聚焦的中心透鏡。
曰本未實審專利申請/>布No. 2004-135209描述了一種4支術(shù)，該 技術(shù)用于當布置有多個相機時在相機的視點的位置被校正之后合成 高分辨率圖像。
發(fā)明內(nèi)容
8另外，在日本未實審專利申請公布(PCT申請的翻譯)No. 2005-522108所描述的技術(shù)中，相鄰圖像重疊的公共部分的寬度是可 變的以應(yīng)對近景分割。然而，當在相機的拍攝范圍內(nèi)存在多個物體或 者當多個相機被一個疊加另一個地布置或并排布置時，難以平滑地拼 接圖像。
例如，與DRC(數(shù)字真實創(chuàng)建，Digital Reality Creation:商標) 的情況一樣，存在一種將甚至經(jīng)歷了各種處理且質(zhì)量下降的低分辨率 圖像轉(zhuǎn)換為高分辨率圖像的處理。然而，即使利用DRC，所獲得的高 分辨率圖像的頻帶也是受限的，因此例如當圖像被放大時在每個像素 中缺陷是明顯的。
另外，在日本未實審專利申請公布No. 7-143439和日本未實審專 利申請公布No. 2005-318548中描述的技術(shù)是基于供MPEG (運動圖 像專家組)使用的I圖片和P圖片的結(jié)構(gòu)的處理。I圖片是高分辨率 圖像，并且P圖片包括與被攝物的運動有關(guān)的信息。在該技術(shù)中，因 為拍攝高分辨率圖像的相機和計算運動信息的相機的指派是固定的， 所以不容易增大分辨率。由此，難以相對于被設(shè)置用于拍攝靜態(tài)圖像 的相機的固態(tài)圖像感應(yīng)器件(例如，CMOS:互補金屬氧化物半導(dǎo)體， CCD:電荷耦合器件)的分辨率來增大圖像的分辨率。
另外，在日本未實審專利申請7>布No. 9-139878描述的技術(shù)中， 不同的透鏡負責遠景和近景的聚焦以進行成像；然而，沒有大量相機 的公共焦點。因而，每個相機很容易變得失焦，因此拼接圖像往往看 起來不自然。
另外，在日本未實審專利申請公布No. 2004-135209描述的技術(shù) 中，例如，當拍攝同時出現(xiàn)暗的房間和明亮的室外的被攝物時，所拍 攝的圖像具有高對比率。當拍攝高對比率的被攝物時，房間或室外的 紋理(物體表面材質(zhì)的感覺)消失或者其超過可成像的亮度。因而， 暗的房間中的圖像被白化模糊，或者明亮的室外的風景消失。
希望在拍攝寬范圍中的高對比率的被攝物時獲得高對比率的圖像。根據(jù)本發(fā)明的一個實施例，接收由第一相機生成的第一圖像，該 第 一相機以第 一視角拍攝預(yù)定范圍中包含的被攝物，并且接收由多個 第二相機生成的、分辨率比第一圖像高的多個第二圖像，每個第二相 機以比第一視角窄的第二視角拍攝預(yù)定范圍中包含的被攝物的一部 分。隨后，檢測第一圖像中包含的被攝物的一部分和每個第二圖像中 包含的被攝物之間的類似部分，并且將第二圖像粘貼在第一圖像內(nèi)與 檢測出的類似部分相對應(yīng)的位置處以生成合成圖像。另外，從合成圖 像中檢測一區(qū)域作為不可成像區(qū)域，在第一圖像中該區(qū)域的圖像信息 不充分并且難以被第二相機補充。然后，改變用于控制拍攝第二圖像 的第二相機的相機參數(shù)，其中第一圖像中不充分的圖像信息被該第二
圖像補充。
利用以上配置，可以獲得具有高對比率的高分辨率合成圖像。 根據(jù)本發(fā)明的實施例，因為可以獲得具有高對比率的高分辨率合 成圖像，所以有利地可以在大屏幕上以增大的對比率顯示合成圖像。
圖1是示出根據(jù)本發(fā)明一個實施例的圖像處理系統(tǒng)的例子的配
置圖2是示出根據(jù)本發(fā)明實施例的信號處理裝置的內(nèi)部配置例子 的框圖3是圖示在本發(fā)明的實施例中每個圖像的亮度分布的例子的
視圖4是圖示在本發(fā)明的實施例中變焦率的變化例子的視圖； 圖5A和圖5B是圖示在本發(fā)明的實施例中公共信息和個體信息 的例子的視圖6是示出在本發(fā)明的實施例中改變第二相機的相機參數(shù)的過 程的例子的流程圖7是圖示在本發(fā)明的實施例中的高對比率4皮攝物的例子的視
圖；圖8是圖示在本發(fā)明的實施例中真實世界中的亮度直方圖的例
子的視圖9是圖示在本發(fā)明的實施例中一個相機的可成像亮度范圍的 例子的視圖10是圖示在本發(fā)明的實施例中第一和第二相機對被攝物的成 像區(qū)域的例子的視圖11是圖示亮度直方圖的例子的視圖，該亮度直方圖示出了在
本發(fā)明的實施例中第二相機的可成像亮度范圍；
圖12是圖示亮度直方圖的例子的視圖，該亮度直方圖示出了在 本發(fā)明的實施例中第二相機的可成像亮度范圍；
圖13是圖示亮度直方圖的例子的視圖，該亮度直方圖示出了在 本發(fā)明的實施例中第 一相機的可成像亮度范圍；
圖14A至圖14C是圖示在本發(fā)明的實施例中第一和第二相機的 視角、可成像區(qū)域和不可成像區(qū)域的例子的視圖15是示出在本發(fā)明的實施例中多個第二相機的視角的例子的
視圖16是示出在本發(fā)明的實施例中多個第二相機的視角的例子的
視圖17是示出在本發(fā)明的實施例中改變笫二相機的相機參數(shù)的過 程的例子的流程圖18是圖示在本發(fā)明的實施例中包括高頻區(qū)域中的物體的被攝 物例子的視圖19是圖示在本發(fā)明的實施例中被攝物的頻率分布的例子的視
圖20是圖示在本發(fā)明的實施例中一個相機的可成^f象頻率范圍的 例子的視圖21是圖示在本發(fā)明的實施例中變焦之前的第二相機的可成像 頻率范圍的例子的視圖22是圖示在本發(fā)明的實施例中變焦之后的第二相機的可成像頻率范圍的例子的視圖23是圖示在本發(fā)明的實施例中第一相機的可成像頻率范圍的 例子的視圖24A至圖24C是圖示在本發(fā)明的實施例中第一和第二相機的 視角、可成像區(qū)域和不可成像區(qū)域的例子的視圖25是圖示在本發(fā)明的實施例中變焦之前的第二相機的視角、 可成像區(qū)域和不可成像區(qū)域的例子的視圖26是圖示在本發(fā)明的實施例中變焦之后的第二相機的視角、 可成像區(qū)域和不可成像區(qū)域的例子的視圖27是示出在本發(fā)明的實施例中第一相機和第二相機的配置例 子的框圖28是圖示在本發(fā)明的實施例中經(jīng)二維傅立葉變換的圖像的例 子的^L圖29A至圖29D是圖示在本發(fā)明的實施例中檢測高頻區(qū)域的過 程的多個步驟中的圖像例子的視圖30A和圖30B是示出在本發(fā)明的實施例中第一和第二相機中 每一個的配置例子的框圖31A至圖31C是圖示在本發(fā)明的實施例中檢測高頻區(qū)域的過 程的多個步驟中的圖像例子的視圖32是圖示在本發(fā)明的另 一實施例中多個相機單元的布置例子 的視圖33是圖示在現(xiàn)有的單視點方法中相機的布置例子的視圖； 圖34是示出現(xiàn)有的信號處理裝置的配置例子的框圖； 圖35是示出現(xiàn)有的圖像處理的例子的流程圖。
具體實施例方式
下文中，將參考圖l至圖28來描述本發(fā)明的實施例。在本實施 例中，將描述這樣一個例子，其中根據(jù)本發(fā)明實施例的信號處理裝置 10被應(yīng)用到圖像處理系統(tǒng)1以拍攝寬范圍中的高對比率的被攝物然后生成高分辨率和高對比率的合成圖像。 圖像處理系統(tǒng)1的配置例子
圖1示出了圖像處理系統(tǒng)1的配置例子。圖像處理系統(tǒng)1包括第
一相機2和第二相機3a至3c。第一相機2以第一視角拍攝預(yù)定的范 圍以生成第一圖像5。第二相機3a至3c以比第一視角窄的第二視角 拍攝該預(yù)定范圍中的若干部分，并生成第二圖像6a至6c。第一圖像 5和第二圖像6a至6c被提供給信號處理裝置10，信號處理裝置10 合成多個圖像以生成寬范圍的高分辨率圖像。由信號處理裝置10生 成的合成圖像被輸出到例如由投影儀構(gòu)成的顯示設(shè)備20。顯示設(shè)備 20將輸入的合成圖像30投影到屏幕上。
高分辨率相機、HD (高清晰度)相機等等被用作第一相機2和 第二相機3a至3c。這些相機分別具有個體差異，并且當執(zhí)行校準以 調(diào)節(jié)個體差異時代價高昂。然而，在本實施例中，第二相機3a至3c 基于有關(guān)作為參照的第一相機2的視點、色度、亮度和焦點的"公共 信息"被校準。因而，每個相機的個體差異很容易地以低成本進行調(diào) 節(jié)。第二相機3a至3c的個體差異被分別管理為"個體信息"。另外， 根據(jù)本實施例的信號處理裝置10例如能夠利用第一相機2和第二相 機3a至3c生成具有10比特灰度級的圖像，這些相機能夠根據(jù)由每 個相機拍攝的每個區(qū)域的亮度分布執(zhí)行8比特灰度級的拍攝。
根據(jù)本實施例的圖像處理系統(tǒng)1根據(jù)拍攝的圖像改變第 一相機2 和第二相機3a至3c中的每一個的拍攝方式。例如，信號處理裝置10 基于第一圖像5和第二圖像6a至6c的亮度分布和顏色分布來改變相 機參數(shù)。另外，信號處理裝置10基于第一圖像5和第二圖像6a至6c 的頻率(每個圖像的波形的精細度)來改變相機參數(shù)。
信號處理裝置10的內(nèi)部配置例子
圖2示出了信號處理裝置IO的內(nèi)部配置例子。信號處理裝置10 包括輸入單元lla和輸入單元llb。由第一相機2拍攝的第一圖像5 被輸入到輸入單元lla。第二圖像6a至6c被從第二相機3a至3c輸 入到輸入單元llb。另外，信號處理裝置10包括類似部分檢測單元12。類似部分檢測單元12檢測在通過輸入單元lla獲取的第一圖像5 中包括的被攝物和在通過輸入單元lib獲取的第二圖像6a至6c中包 括的被攝物之間類似的部分，以作為"類似部分"。"類似部分"例如指 這樣的部分在該部分中，作為第一圖像5中包括的森林的一部分的 樹類似于第二圖像6a至6c中分別包括的樹。通過檢測類似部分，得 到第二圖像6a至6c相對于第一圖像5的位置，并且可以容易地將第 一圖像5的若干部分與第二圖像6a至6c匹配。
另外，信號處理裝置10包括圖像合成單元13。圖像合成單元13 基于類似部分檢測單元12檢測出的類似部分來轉(zhuǎn)換第二圖像6a至6c 的相位等，并將第二圖像6a至6c粘貼在與第一圖像5內(nèi)檢測出的類 似部分相對應(yīng)的位置處。另外，信號處理裝置10包括圖像信息校正 單元14。圖像信息校正單元14基于第一圖像5和第二圖像6a至6c 中包括的多條圖像信息來校正合成圖像中包含的圖像信息。在該實施 例中，"圖像信息"包括亮度、色度和頻率中的至少任一信息。因而， 圖像信息校正單元14在亮度、色度和頻率中的至少任一個方面校正 合成圖像。經(jīng)圖像信息校正單元14轉(zhuǎn)換的亮度和色度信息被提供給 類似部分檢測單元12。另外，亮度和色度經(jīng)圖像信息校正單元14轉(zhuǎn) 換的圖像經(jīng)由輸出單元17被輸出到顯示設(shè)備20。
另外，信號處理裝置10包括成像區(qū)域檢測單元15。成像區(qū)域檢 測單元15將圖像信息在第一圖像5中不充分并且難以被第二相機3a 至3c補充的區(qū)域檢測為合成圖像中的不可成像區(qū)域。根據(jù)本實施例 的成像區(qū)域檢測單元15基于第一圖像5和第二圖像6a至6c獲得相 機能夠成像的可成像區(qū)域和相機難以成像的不可成像區(qū)域。然后，被 攝物中包含的亮度和頻率被用作用于獲得可成像區(qū)域和不可成像區(qū) 域的參考信息。經(jīng)圖像信息校正單元14校正的圖像信息和成像區(qū)域 檢測單元15檢測出的關(guān)于成像區(qū)域的信息被提供給類似部分檢測單 元12，并且在檢測類似部分時祐 使用。
另外，信號處理裝置IO包括相機參數(shù)計算單元16。相機參數(shù)計
14制拍攝第二圖像6a至6c的第二相機3a至3c的相機參數(shù)，其中第二 圖像6a至6c用來補充第一圖像5中不充分的圖像信息。每個相機參 數(shù)包含諸如視點位置、曝光、焦點等的信息。
相機參數(shù)計算單元16包括亮度計算單元16a。亮度計算單元16a 獲得第一圖像5和第二圖像6a至6c中每一個所包含的被攝物的亮度 分布，檢測第一相機2和第二相機3a至3c中每一個的可成像亮度區(qū) 域，然后使每個相機參數(shù)包含改變變焦率的信息。另外，相機參數(shù)計 算單元16包括變焦率計算單元16b。變焦率計算單元16b獲得,皮攝物 的頻率分布，基于第一和第二相機的可成像區(qū)域檢測不可成像區(qū)域， 然后使每個相機參數(shù)包含變焦率。第二相機3a至3c基于相機參數(shù)計 算單元16計算出的相機參數(shù)來改變相機參數(shù)。
圖3示出了使用第一圖像5和第二圖像6a的亮度直方圖的亮度 分布的例子。第一圖像5的亮度被示為亮度直方圖25。亮度直方圖 25示出了整個第一圖像5上的亮度分布26和拍攝到第二圖像6a的范 圍的亮度分布27。整個第二圖像6a的亮度被示為亮度直方圖28。亮 度分布27和29具有不同的比例，但是表示相同的亮度分布。
如亮度直方圖25中所示，僅利用第一相機2，如果被攝物具有 高亮度或者被攝物具有寬動態(tài)范圍，則很可能出現(xiàn)由于不充分的灰度 級而引起的不可成像部分。在圖3所示的例子中，在亮度分布26的 中間亮度值附近，與亮度分布29相比亮度是不充分的。由此，當被 第二相機3a至3c拍才聶的圖像6a至6c被疊加在第一圖像5上時，可 以再現(xiàn)原始圖像的亮度。于是，因為可以獲得詳細的亮度信息，所以 一個圖像可以以比第一圖像5更多的比特被顯示在顯示設(shè)備20上， 或者一個圖像可以#皮調(diào)節(jié)。
圖4是由于變焦率的變化而引起的視角的例子。在圖4中，第一 相機2和第二相才幾3a至3c的布置與圖1中類似。例如，當被攝物被 細致取景時，第二相機3b拉近(zoom in)而其他第二相機3a和3c 拉遠(zoomout)。然后，當在寬范圍中被第一相機2拍攝的范圍內(nèi) 發(fā)現(xiàn)運動物體時，第二相機3b拉近以^更可以拍4聶該物體。因而，可能有必要允許逐個相機地改變變焦率。
另外，從被第 一相機2拍攝的寬范圍的圖像中可能部分獲得低分 辨率圖像。因而，當?shù)诙鄼C3a至3c的成像范圍并不連續(xù)時，被第 一相機2拍攝的第 一圖像5被放置在相鄰成像范圍之間的間隙中以便 可以生成合成圖像。另外，還可想到，例如利用高通濾波器對一圖像 檢測高頻分量以作為改變每個相機的變焦率的觸發(fā)，然后主要拍攝高 頻部分。
在本實施例中，因為被第 一相機2拍攝的第 一 圖像5被用作圖像 合成時的參照，所以第一相機2的變焦率不改變。因而，第一相機2 的視角不改變。另一方面，當?shù)诙鄼C3a至3c的各自變焦率改變時 它們的視角比原始變焦率下的視角窄。因而，變焦率改變之后的區(qū)域 21比原始變焦率的可成像區(qū)域22窄；然而，可以獲得更高分辨率的 圖像。
然后，相機參數(shù)計算單元16獲得與顏色、亮度和焦點中的至少 任一種有關(guān)的信息作為相機參數(shù)，利用該相機參數(shù)逐個像素地確定第 二圖像6a至6c的特性量。這樣，通過利用相機參數(shù)改變第二相機3a 至3c的特性，被各個相機拍攝的圖像中的不充分的信息可以被補充。 此時補充的信息被稱為"相機參數(shù)"。相機參數(shù)包括分辨率、亮度、焦 點、白平衡、視點等等。下文中將描述相機參數(shù)。
(1) 在分辨率的情況下
第二相機3a至3c各自改變變焦率以便能夠通過自由地改變每個 成像區(qū)域的分辨率來執(zhí)行拍攝。
(2) 在視點的情況下
第二相機3a至3c各自能夠通過根據(jù)目標被攝物自由地改變視點 來執(zhí)行拍攝。
(3) 在白平衡(色度)的情況下
第二相機3a至3c各自能夠通過根據(jù)被攝物的顏色自由地改變每 個成像區(qū)域的白平衡來執(zhí)行拍攝。
(4) 在亮度的情況下第二相機3a至3c各自能夠通過利用自動增益等自由地改變每個 成像區(qū)域的亮度來執(zhí)行拍攝。 (5)在焦點的情況下
第二相機3 a至3 c各自能夠通過根據(jù)到被攝物的距離自由地改變 每個成像區(qū)域的焦點來執(zhí)行拍攝。
第二相機3a至3c各自根據(jù)變焦率改變每個成像區(qū)域的分辨率和 亮度。然后，根據(jù)到被攝物的距離改變每個成像區(qū)域的焦點，并且根 據(jù)所拍攝的圖像的顏色改變每個成像區(qū)域的白平衡，從而改變到被攝 物的視點。
圖5A和圖5B示出了公共信息和個體信息的例子。在本實施例 中，與第一相機2的相機參數(shù)有關(guān)的信息被稱為"公共信息"。公共信 息被用作第一相機2和全部第二相機3a至3c上的參照，并且主要指 示第二相機3a至3c相對于第一相機2的差異。當使用公共信息時， 可以消除當拼接由相機拍攝的多個圖像時每個相機的個體差異、視差 等的影響。然而，公共信息可能是通過拍攝很寬的范圍而獲得的，因 此分辨率極低。
另一方面，相對于公共信息而言、與第二相機3a至3c的相機參 數(shù)有關(guān)的信息被稱為"個體信息"。個體信息總體上不同于相機陣列的 公共信息，但是信息的質(zhì)量(分辨率的分辨力、亮度的分辨力、色度 的分辨力、調(diào)節(jié)焦點的位置，等等)很高。與個體信息相比，公共信 息具有高信息質(zhì)量(例如分辨率)，但是相機之間的個體差異不被考 慮。難以僅通過一個相機管理公共信息和個體信息，并且這些信息由 相機參數(shù)計算單元16管理。通過獲得個體信息相對于公共信息的差 異，得到第二相機3a至3c中每一個相對于第一相機2的相機參數(shù)變 化。然后，得到的相機參數(shù)變化被用于例如在圖像合成單元13合成 圖像時校正圖像的偏離和/或色度。
圖5A示出了如何管理公共信息和個體信息的例子。在本實施例 中，第二圖像6a至6c利用第一相機2的視點和第一圖像5的色度為 參照被疊加。因為第一相機2的視角很寬，所以第一圖像5具有低分
17辨率。另一方面，第二相機3a至3c各自具有窄視角，并對第一圖像 5的一部分進行縮放以進行拍攝，因此第二圖像6a至6c各自具有高 分辨率。第一相機2的視點、色度、亮度和焦點被用作公共信息，該 公共信息被用作當?shù)诙D像6a至6c被疊加在第一圖像5上時的參照。 另外，在相機之間，第二相機3a至3c的亮度和焦點在特性上是不同 的。
圖5B示出了利用公共信息和個體信息兩者生成的信息的例子。 個體信息與分辨率、視點、色度、亮度和焦點有關(guān)，這些信息被用于 使第二相機3a至3c的特性與第一相機2相匹配。在本實施例中，希 望獲得與第二相機3a至3c的圖像相當?shù)母叻直媛实膱D像。另外，當 第一相機2被放置的位置被設(shè)置為一個視點時，使放置第二相機3a 至3c的位置與第一相機2的視點一致。進而，與低分辨率的第一圖 像5相比，第二圖像6a至6c各自具有詳細的色彩信息。另外，與僅 具有低亮度的亮度信息的第一圖像5相比，第二圖像6a至6c各自具 有高亮度的亮度信息。另外，第二相機3a至3c各自聚焦在包括被攝 物的相應(yīng)成^^區(qū)域上。
在現(xiàn)有技術(shù)中，當布置有以窄視角拍攝被攝物的多個相機并且隨 后圖像被拼接在一起時，因為相機的視點是不同的，所以圖像之間的 接合點看起來不自然。在本實施例中，準備第一相機2和第二相機3a 至3c，并且被攝物的公共信息和個體信息是分開捕獲的。公共信息和 個體信息包括分辨率、視點、色度、亮度和焦點的信息。當使用公共 信息和個體信息時，獲得利用每個相機的特性的圖像。
圖6是示出改變第二相機3a至3c的相機參數(shù)的過程的例子的流 程圖。首先，信號處理裝置10經(jīng)由輸入單元lla獲取來自第一相機2 的第一圖像5，并且經(jīng)由輸入單元lib獲取來自第二相機3a至3c的 第二圖像6a至6c (步驟Sll)。
隨后，類似部分檢測單元12檢測第一圖像5和第二圖像6a至 6c之間的類似部分(步驟S12)。此時，類似部分檢測單元12基于 經(jīng)圖像信息校正單元14校正的圖像信息以及成像區(qū)域檢測單元15檢測出的不可成像區(qū)域和可成像區(qū)域來檢測類似部分。在該實施例中，
類似部分檢測單元12檢測每個圖像的類似部分，然后再次檢測類似 部分以提高檢測類似部分的精度。另外，每個相機具有個體差異，因 此當現(xiàn)有技術(shù)被用于檢測類似部分時檢測精度是相當差的。這里，"相 機的個體差異，，意味著由于濾色鏡等的偏差，相機之間的色度等不同。 為了準確獲得在亮度、色度等方面對每個相機的個體差異的校正 量，希望匹配圖像的相位。然后，通過執(zhí)行諸如類似部分檢測和個體 差異校正之類的反饋過程，提高檢測類似部分的精度。這里，下面示 出了數(shù)學(xué)表達式(1)，該式示出了用于校正每個相機的個體差異的 校正量P。像素值Yl指示由第一相機2拍攝的圖像的每個像素的像 素值。另外，像素值Y2指示由第二相機3a至3c拍攝的圖像的每個 像素的像素值。
Z I Y2-AVG(Y2) I
如數(shù)學(xué)表達式(1)中所示，校正量P是通過以下方式獲得的 將通過從第二相機3a至3c的每個像素值中減去平均像素值而獲得的 值的絕對值除以通過從第一相機2的每個像素值中減去平均像素值而 獲得的值的絕對值。然后，下面的數(shù)學(xué)表達式(2)被用于獲得校正 后的像素值Y2。
Y2 = PX (Y卜AVG(Y1))+AVG(Y2) …(2)
在獲得了校正量P之后，第二相機3a至3c的個體差異被校正， 以使相機的每個像素的像素值Yl與像素值Y2相匹配。注意，利用 類似部分檢測單元12所檢測的每個圖像的類似部分的結(jié)果，可以進 一步獲得校正量P。
然后，圖像合成單元13將第二圖像6a至6c粘貼在預(yù)定位置處 以便與第一圖像5的相位相匹配(步驟S13)。步驟S13中的圖像轉(zhuǎn) 換和粘貼采用在日本未實審專利申請/>布No. 2004-135209中描述的 技術(shù)。
然后，圖像信息校正單元14轉(zhuǎn)換第二相機3a至3c的亮度以便與第一相機2的亮度相匹配(步驟S14)。然后，圖像信息校正單元 14將圖像再次傳送到類似部分檢測單元12以便匹配亮度和色度(步 驟S15)。
在步驟S14的處理之后，成像區(qū)域檢測單元15檢測與不可被笫 一相機2和第二相機3a至3c兩者成像的不可成像區(qū)域有關(guān)的信息(步 驟S16)。成像區(qū)域檢測單元15基于第一圖像5和第二圖像6a至6c 中的每一個中包含的被攝物的一部分的對比率來獲得被攝物的亮度 分布。然后，成像區(qū)域檢測單元15基于第一相機2和第二相機3a至 3c難以執(zhí)行拍攝的亮度范圍來檢測不可成像區(qū)域。不可成像區(qū)域包括 可能引起被攝物飽和的高亮度。另外，當獲得頻率分布以檢測不可成 像區(qū)域時，不可成像區(qū)域包括具有高頻分量的區(qū)域，該區(qū)域難以利用 相機此時的分辨率來處理。
然后，成像區(qū)域檢測單元15將與為每個相機檢測出的成像區(qū)域 有關(guān)的信息發(fā)送到類似部分檢測單元12 (步驟S17)。與成像區(qū)域有 關(guān)的信息凈皮用作指示哪一區(qū)域:f皮類似部分檢測單元12匹配的參數(shù)。
在步驟S16的處理之后，相機參數(shù)計算單元16計算為第二相機 3a至3c設(shè)置的相機參數(shù)，并且對第二相機3a至3c設(shè)置這些相機參 數(shù)(步驟S18)。
接下來，將參考圖7至圖17來描述在根據(jù)本實施例的圖像處理 系統(tǒng)1中選擇相機的過程的例子。在圖7至圖17中，執(zhí)行基于被攝 物的亮度改變相機的成像區(qū)域的過程。下文中，將描述第一相機2以 及第二相機3a和3b被用于拍攝被攝物的情況。
圖7示出了高對比率的被攝物31的例子。在該實施例中，將描 述當由黑暗的房間中向明亮的室外拍攝時所看見的被攝物。被攝物31 包括暗室內(nèi)區(qū)域32和亮室外區(qū)域33。室內(nèi)區(qū)域32例如包括窗戶框 32a至32c。室外區(qū)域33例如包括太陽33a、云彩33b和森林33c。
在現(xiàn)有技術(shù)中，當相機聚焦在室外區(qū)域33上時，室內(nèi)區(qū)域32 中包括的窗戶框32a至32c的圖案等看起來很暗。另一方面，當相機 聚焦在室內(nèi)區(qū)域32上時，室外區(qū)域33中包含的被攝物看起來發(fā)白，因此例如森林33c中包括的樹木的葉子等消失不見。因此，單個相機 難以清楚地拍攝;故攝物31。
圖8示出了從被攝物31獲得的亮度直方圖的例子。亮度直方圖 的亮度值以對數(shù)顯示來表示。下文中，在圖8至圖12各自示出的亮 度直方圖中，橫軸表示亮度并且縱軸表示頻率。室內(nèi)區(qū)域32的亮度 分布34例如在0和100堪德拉(candela )之間。這樣，室內(nèi)區(qū)域32 的亮度在亮度分布34內(nèi)達到峰值。室外區(qū)域33的亮度分布35例如 在1500到6000堪德拉之間。這樣，室外區(qū)域33的亮度在亮度分布 35內(nèi)達到峰值。
圖9示出了在圖8所示的亮度直方圖內(nèi)單個相機的可成像亮度范 圍36。第一相機2和第二相機3a至3c的可成像亮度范圍36局限在 255灰度級的某一范圍內(nèi)。由此，僅僅利用第一相機2以及第二相機 3a和3b之一，難以同時以高亮度拍攝室內(nèi)區(qū)域32和室外區(qū)域33兩 者。在本實施例中，對于室內(nèi)區(qū)域32和室外區(qū)域33相互不同地設(shè)置 相機的成像區(qū)域，因此每個獲得的圖像的亮度很高。通過合成這些圖 像，可以獲得具有高對比率的合成圖像。
這里，將參考圖10至圖17來描述成l象區(qū)域檢測單元15檢測每 個相機的成像區(qū)域的過程。圖10示出了拍攝圖7中所示的被攝物31 的第一相機2以及第二相機3a和3b的視角的例子。圖10中所示的 相機的視角是通過相機參數(shù)改變視角之前的初始狀態(tài)。
第一相機2的視角41被設(shè)置為拍攝整個被攝物31。在該實施例 中，視角41包括室內(nèi)區(qū)域32中的^皮攝物和室外區(qū)域33中的4皮4聶物。 第二相機3a的視角42a被設(shè)置為拍攝室外區(qū)域33。另一方面，笫二 相機3b的視角42b被設(shè)置為拍攝室內(nèi)區(qū)域32和室外區(qū)域33。然而， 第二相機3a的^L角42a與第二相4幾3b的^L角42b部分重疊。另外， 第二相機3b的視角42b小于第二相機3a的視角42a。
圖ll示出了顯示第二相機3a的可成像亮度范圍的亮度直方圖的 例子。第二相機3a適合于拍攝高亮度(例如，在500到6000堪德拉 之間)被攝物的情況。因而，當?shù)诙鄼C3a拍攝亮度落在500到6000堪德拉的范圍外的被攝物時，所獲得的圖像變暗。
圖12示出了圖示第二相機3b的可成像亮度范圍的亮度直方圖的 例子。第二相機3b適合于拍攝低亮度(例如，在0到500堪德拉之 間)的被攝物的情況。因而，當?shù)诙鄼C3b拍攝亮度落在0到500 堪德拉的范圍外的被攝物時，所獲得的圖像變白。
圖13示出了圖示第 一相機2的可成像亮度范圍的亮度直方圖的 例子。第一相機2適合于拍攝100到1500堪德拉的被攝物的情況。 因而，當?shù)谝幌鄼C2拍攝亮度落在100到1500堪德拉的范圍外的被 攝物時，所獲得的圖像變白。
成像區(qū)域檢測單元15從第一相機2以及第二相機3a和3b收集 與宿主裝置的可成像亮度范圍有關(guān)的信息。然后，以第二相機3a的 視角42a拍攝的圖像和以第二相機3b的視角42b拍攝的圖像被映射 在以第一相機的視角41拍攝的圖像上。
圖14A至14C示出了相機的視角以及可成像和不可成像區(qū)域的 例子。圖14A示出了第一相機2的^L角41以及可成像和不可成像區(qū) 域的例子。圖14B示出了第二相機3a的視角42a以及可成像和不可 成像區(qū)域的例子。圖14C示出了第二相機3b的視角42b以及可成像 和不可成像區(qū)域的例子。
各個視角中包含的圖像相當于以圖10中所示的視角拍攝的圖 像。在下面的描述中，空白部分是相機難以拍攝的不可成像區(qū)域，而 陰影部分是相機能夠拍攝的可成像區(qū)域。
圖15示出了第二相機3a和3b的視角的例子。第二相機3a的視 角42a和第二相機3b的視角42b相當于圖10中所示的視角。
成像區(qū)域檢測單元15檢測出第二相機3b的視角42b不與第二 相機3a的視角42a重疊的一部分，該部分包括室外區(qū)域33的一部分 作為第二相機3a和3b中的任何一個都難以拍攝的不可成像區(qū)域43。 即使當多個圖像在該狀態(tài)中被合成時，也難以獲得清楚地再現(xiàn)被攝物 的亮度的圖像。然后，為了區(qū)分可成像區(qū)域與不可成像區(qū)域，成像區(qū) 域檢測單元15為以視角42a和42b拍攝的每個圖像中包含的每個像素i殳置一標、志。
因而，成像區(qū)域檢測單元15預(yù)測不可成像區(qū)域43的亮度，這對 于使用第一相機2進行拍攝可能是必要的。然后，從第二相機3a和 3b中選擇能夠?qū)λA(yù)測的亮度成像的相機。在該實施例中，假定選擇 了第二相機3a。然后，成像區(qū)域檢測單元15向相機參數(shù)計算單元16 提供用于改變視角的信息。相機參數(shù)計算單元16將改變后的相機參 數(shù)提供給第二相機3a以便通過擴展第二相機3a的視角來改變成像范 圍，并且執(zhí)行用于改變第二相機3a的視角的設(shè)置。該相機參數(shù)包括 用于改變變焦率的信息，并且能夠通過改變變焦率來改變相機的視 角。
圖16示出了視角被擴展的第二相機3a和3b的視角的例子。這 里，示出了通過擴展第二相才幾3a的^f見角42a而獲得的^f見角42，。通過 這樣擴展視角42a，可以通過第二相機3a拍攝不可成像區(qū)域43 (見 圖15)。
圖17示出了成像區(qū)域檢測單元15檢測成像區(qū)域的過程的例子。 首先，成像區(qū)域檢測單元15基于視角42a和42b獲得每個相機的可 成像區(qū)域，視角42a和42b是第二相機3a和3b拍攝時的視角并且是 經(jīng)由輸入單元lib獲取的(步驟S21)。
隨后，成像區(qū)域檢測單元15將視角42a和42b的信息粘貼在由 第一相機2拍攝的第一圖像上(步驟S22)。然后，成像區(qū)域檢測單 元15基于粘貼到第一圖像上的 的第二相機3a或3b是基于圖11至圖13中所示的亮度直方圖來選擇 的。
然后，亮度值落在可成像區(qū)域內(nèi)的第二相機3a或3b的相機參數(shù) 被改變(步驟S25)。這里，作為被改變的相機參數(shù)，變焦率被改變以改變視角。然后，即使是不可成像區(qū)域43也可以以通過擴展視角 42a而獲得的視角42，來拍攝。注意，可改變的相機參數(shù)包括諸如成像 方向和焦點之類的信息。
接下來，將參考圖18至圖26來描述改變相機參數(shù)的過程的例子。 在圖18至圖26中，基于被攝物中包含的頻率(例如，圖像的波形(圖 案等)的精細度)來改變由第二相機3a和3b拍攝的區(qū)域。這里，因 為第一相機2拍攝寬范圍，所以所拍攝的圖像并不包含高頻分量。因 而，選擇能夠拍攝高頻分量的第二相機3a或3b，并且可能有必要適 當?shù)馗淖兿鄼C參數(shù)。該實施例中的相機參數(shù)包括用于改變變焦率的信 命、
圖18示出了被攝物的一部分包括高頻區(qū)域的圖像的例子。圖18 包括作為被攝物的天空53、具有柵欄的建筑物54和多個建筑物55。 在該實施例中，笫一相機2生成以第一視角51拍攝的整個被攝物的 圖像。另外，第二相機3a和3b生成以比第一相機2的視角窄的第二 視角52a和52b拍攝的圖像。建筑物54具有暗和亮以預(yù)定間隔發(fā)生 改變的圖案(在該實施例中是柵欄)，因此與天空53和建筑物55相 比，建筑物54包括高頻。因而，僅利用第一相機2難以拍攝建筑物 54的圖案。
圖19示出了圖18所示的被攝物中包括的天空53和建筑物55 的頻率分布的例子。如天空53的頻率分布61所示，天空53的頻率 分量低。另一方面，如建筑物55的頻率分布62所示，建筑物55的 頻率分量高。
圖20示出了單個相機的可成像頻率范圍的例子。所有的第一相 機2以及第二相機3a和3b都有基本相等的可成像頻率范圍63。然而， 當?shù)诙嗖艓?a和31^皮變焦時，可成l象頻率范圍64比頻率范圍63寬。 因而，可以拍攝紋理更加精細(高頻)的圖像。然而，當?shù)诙鄼C3a 和3b被變焦時，與變焦之前的視角相比視角變小。
圖21示出了變焦之前的第二相機3a的可成像頻率范圍的例子。 第二相機3a能夠拍攝如可成像范圍65a中所示的低頻分量的圖像。圖22示出了變焦之后的第二相機3b的可成像頻率范圍的例子。 第二相機3b能夠拍攝如可成像范圍65b中所示的高頻分量的圖像。 西而，第二相機3b拍攝的圖像具有高分辨率，并且能夠拍攝精細的 圖案等。
圖23示出了第一相機2的可成像頻率范圍的例子。第一相機2 拍攝寬范圍內(nèi)的被攝物。這樣，第一相機2的可成像頻率范圍66基 本上等于天空53的頻率分布61。也就是說，第一相機2已設(shè)置了極 低的變焦率，因此所拍攝的圖像具有低分辨率(低頻)，并且第一相 機2難以拍攝精細的圖案等。
圖24A至圖24C示出了相機的視角與可成像和不可成像區(qū)域的 例子。圖24A示出了第一相機2的視角51與可成像和不可成像區(qū)域 的例子。圖24B示出了第二相機3a的視角52a與可成^象和不可成像 區(qū)域的例子。圖24C示出了第二相機3b的視角52b與可成像和不可 成像區(qū)域的例子。
視角51、 52a和52b中包括的被攝物的圖像相當于圖18中所示 的被攝物的圖像。如圖24A至圖24C所示，發(fā)現(xiàn)利用相機中的任何 一個都難以拍攝包括高頻區(qū)域的建筑物54。
另外，為了合成相機所拍攝的圖像，可能有必要獲得相機的可成 像頻率范圍的信息。這里，將參考圖25和圖26來描述改變相機的視 角的過程。
圖25示出了變焦之前的第二相機3a和3b的視角的例子。第二 相機3a的視角52a和第二相機3b的視角52b相當于圖18中所示的 情形。另外，包括高頻區(qū)域的建筑物54被包括在第二相機3b的視角 52b與第二相機3a的視角52a的重疊部分中。因此，難以清楚地拍攝 建筑物54的圖案。為了以高分辨率拍攝建筑物54，只需要使第二相 機3a和3b中的任何一個被變焦。在該實施例中，因為第二相機3b 能夠拍攝最高頻率范圍的被攝物(見圖22)，所以第二相機3b的變 焦率被改變以改變相機參數(shù)，該相機參數(shù)改變視角。相機參數(shù)包括用 于改變視角的信息。圖26示出了變焦后的第二相機3b的視角的例子。這里，示出了 通過對第二相機3b的視角52b變焦而獲得的第二相機的視角57?？?起來視角57比視角52b窄(見圖25)。通過這樣對第二相機3b變焦， 可以以高分辨率拍攝如圖25所示的包括高頻區(qū)域的建筑物54。
這里，將參考圖27至圖31C來描述第二相機3a和3b的配置例 子以及當檢測被攝物中包含的高頻區(qū)域時處理后的圖像的例子。
圖27示出了第一相機2以及第二相機3a至3c中每一個的成像 單元70的配置例子。成像單元70包括透鏡71、低頻分離單元(光學(xué) LPF:低通濾波器)72和成像器件(CCD、 CMOS等)73。從被攝 物發(fā)射的光線經(jīng)過透鏡71,并且低通濾波器72提取出低頻分量的光 線。低頻分量的光線被成像器件73轉(zhuǎn)換為圖像信號，并且被提供給 第一相機2以及第二相機3a至3c中每一個的處理塊。注意，被攝物 中包含的高頻區(qū)域可以利用諸如二維傅立葉變換和DCT(離散余弦變 換)之類的技術(shù)來檢測。
(1)在分析圖像分量的情況下
首先，將描述成像區(qū)域檢測單元15通過分析圖像分量來檢測高 頻區(qū)域的過程的例子。圖28示出了應(yīng)用了二維傅立葉變換的圖像的 例子。首先，成像區(qū)域檢測單元15以8x8塊為單位劃分圖像，然后 對圖像應(yīng)用二維傅立葉變換。參考變換后的圖像74，發(fā)現(xiàn)在具有低頻 的部分75附近存在一個頻率比預(yù)定閾值高的區(qū)域。也就是說，白色 塊是頻率低于預(yù)定閾值的區(qū)域。
圖29A至圖29D示出了在檢測高頻區(qū)域的過程中步驟中的圖像
的例子。圖29A示出了原始圖像81的例子。原始圖像包括一個填滿 的玩具熊和穿在洋娃娃身上的和服的一部分的圖像。注意，原始圖像
81是在不經(jīng)過低通濾波器72的情況下獲得的。圖29B示出了以8x8 塊為單位在整個原始圖像81上應(yīng)用二維快速傅立葉變換(FFT)得到 的圖像82的例子。這里，圖28中所示的8x8塊被顯示在塊80處。 從圖像82中 看起來在精細圖案的和服附近是白色的，并且在此附 近包括高頻分量。圖29C示出了通過對原始圖像81應(yīng)用低通濾波器72而獲得的 低頻圖像83的例子。因為低頻圖像83僅僅由低頻分量形成，所以它 整體上是不清楚的。圖29D示出了以應(yīng)用低通濾波器72得到的低頻 圖像83的8x8塊為單位、被應(yīng)用二維快速傅立葉變換的圖像84的例 子。同樣在這種情況下，從圖像84中看起來在精細圖案的和服附近 是白色的，并且在此附近包括高頻分量。
(2)在獲得通過從原始圖像中減去低頻分量而獲得的差圖像的 情況下
圖30A和圖30B示出了第一相機2以及第二相機3a至3c中每 一個的成像單元70的配置例子。每個塊的配置與圖27中所示的配置 例子類似，因此省略其詳細描述。圖30A是當?shù)屯V波器72關(guān)閉時 的配置例子。在這種情況下，獲得原始圖像81。圖30B是當?shù)屯V 波器72開啟時的配置例子。在這種情況下，獲得低頻圖像83。
圖31A至圖31C示出了在檢測高頻區(qū)域的過程中步驟中的圖像 例子。圖31A是當?shù)屯V波器72關(guān)閉時獲得的原始圖像81的例子。 在這種情況下，因為原始圖像81包括高頻分量，所以和服等的圖案 也被清楚示出。圖31B是當?shù)屯V波器72開啟時獲得的圖像82的例 子。在這種情況下，因為圖像82僅包括低于預(yù)定閾值的低頻分量， 所以圖像82整體上不清楚。圖31C示出了差圖像84的例子。在這種 情況下，因為從原始圖像81中減去圖像82，所以差圖像84僅包括高 于預(yù)定閾值的頻率分量。結(jié)果，可以從差圖像84中檢測被攝物中包 括的高頻分量。
然后，變焦率計算單元16b基于檢測出的高頻區(qū)域的信息將包括 改變后的變焦率的相機參數(shù)提供給第二相機3a和3b中所選的一個。 結(jié)果，通過改變第二相機3a或3b的變焦率，可以通過縮窄視角來拍 攝高頻區(qū)域中的被攝物。
利用根據(jù)上述實施例的信號處理裝置10,由第二相機3a至3c 拍攝的第二圖像6a至6c被粘貼到由第 一相機2拍攝的第 一圖像5上 以生成合成圖像。當生成合成圖像時，圖像信息校正單元14將關(guān)于亮度和色度的信息提供給類似部分檢測單元12以確保檢測類似部分 的處理。另外，成像區(qū)域檢測單元15獲得第一相機2以及第二相機 3a至3c中每一個的可成《象區(qū)域和不可成像區(qū)域。這里獲得的可成《象 區(qū)域和不可成像區(qū)域的信息被提供給類似部分檢測單元12以進一步 提高檢測類似部分的處理的可靠性。
另外，通過將成像區(qū)域檢測單元15檢測出的可成像區(qū)域和不可 成像區(qū)域的信息提供給相機參數(shù)計算單元16，可以提高當改變第二相 機3a至3c的相機參數(shù)時的精度。
另夕卜，可以通過指定相機3a至3c的屬性(分辨率、視點、顏色、 亮度和焦點)來進行拍攝。然后，當利用屬性(分辨率、視點、顏色、 亮度和焦點)不同的相機3a至3c拍攝得到的多個圖像合成新的圖像 時，在這些圖像中使用每個圖像中的詳細相機參數(shù)信息。結(jié)果，從第 一圖像5和第二圖像6a至6c獲得高分辨率的合成圖像。此時，為了 僅將第二圖像6a至6c的高頻分量粘貼到第一圖像5的低頻分量上， 利用第一圖像5的色度自然地合成圖像。這樣，在本實施例中生成的 合成圖像可以是靜態(tài)圖像和動態(tài)圖像中的任何一種。
另外，即使當多個相機的視點彼此不一致時，對于第二相機3a 至3c中的每一個也可以獲取相對于公共信息的個體信息。然后，基 于個體信息調(diào)節(jié)相機參數(shù)，獲得圖像被平滑拼接的合成圖像。因而， 第二相機3a至3c的數(shù)目沒有限制，對于其布置也沒有限制。
另外，當僅有第一相機2被用于拍攝亮度差較大的被攝物時，所 獲得的第一圖像5沒有精確地捕獲低亮度或高亮度的部分。然而，這 些部分可以利用第二相機3a至3c拍攝的第二圖像6a至6c來補充。 因而，所獲得的合成圖像是多灰度級(高動態(tài)范圍)的圖像。
注意，在根據(jù)上述實施例的信號處理裝置中，可以堆疊多層結(jié)構(gòu)， 并且可以以高分辨率進行拍攝，只要相機的機制允許即可。這里，將 參考圖32描述另一實施例。
圖32示出了設(shè)有多個相機單元的例子。當一組圖1中所示的第 一相機2和第二相機3a至3c是一個單元時，設(shè)有多個單元。在該實施例中，進一步提供了第三相機9，第三相機9以比第一相機2寬的 視角拍攝被攝物。然而，基本操作類似于使用由第一相機2和第二相 才幾3a至3c形成的一個單元的情況。此時，以第三相才幾9執(zhí)行拍攝時 的視角卯作為參照，每個單元在相對于視角卯的偏離被校正并且合 成圖像被形成的狀態(tài)下執(zhí)行拍攝。這樣，可以獲得具有多級結(jié)構(gòu)的高 分辨率的合成圖像。因而，其優(yōu)點在于，可以獲得具有高分辨率并且 沒有變形的立體圖像。
另外，上述實施例中的一系列過程可以通過硬件或軟件執(zhí)行。當 這一系列過程通過軟件執(zhí)行時，構(gòu)成軟件的程序被安裝到裝配到專用 硬件的計算機上，或者構(gòu)成期望軟件的程序被安裝在例如能夠通過安 裝各種程序來執(zhí)行各種功能的通用計算機上。
另外，記錄實現(xiàn)上述實施例的功能的軟件的程序代碼的記錄介質(zhì) 被送入一個系統(tǒng)或裝置，并且顯然地，上述實施例的功能可以由讀取 并執(zhí)行存儲在記錄介質(zhì)中的程序代碼的系統(tǒng)或裝置的計算機(控制 器，例如CPU)實現(xiàn)。
在這種情況下，用于提供程序代碼的記錄介質(zhì)例如可包括軟盤、 硬盤、光盤、磁光盤、CD-ROM、 CD-R、磁帶、非易失性存儲卡、 ROM等等。
另夕卜，本發(fā)明的實施例不僅包括上述實施例的功能通過執(zhí)行由計 算機讀取的程序代碼來實現(xiàn)的情況，還包括運行在計算機上的OS等 基于程序代碼的指令執(zhí)行整個實際處理過程或其一部分、然后上述實 施例的功能由這些處理來實現(xiàn)的情況。
注意，在說明書中，描述構(gòu)成軟件的程序的步驟不僅包括以所寫 的順序按時序執(zhí)行的處理，還包括當不按時序執(zhí)行這些處理時被并行 執(zhí)行或分開執(zhí)行的處理。
此外，本發(fā)明的實施例并不限于上述實施例；顯然地，它可以被 修改為各種形式，而不脫離本發(fā)明的范圍。
本申請包含與2008年6月27日向日本專利局提交的日本在先專 利申請JP 2008-169445有關(guān)的主題，上述申請的全部內(nèi)容通過引用而結(jié)合于此。
本領(lǐng)域技術(shù)人員應(yīng)當理解，取決于設(shè)計需求和其他因素可以發(fā)生 各種修改、組合、子組合和變更，只要這些修改、組合、子組合和變 更在權(quán)利要求或其等同物的范圍內(nèi)。
權(quán)利要求
1.一種信號處理裝置，包括輸入單元，該輸入單元接收由第一相機生成的第一圖像，所述第一相機以第一視角拍攝預(yù)定范圍中包含的被攝物，并且該輸入單元接收由多個第二相機生成的、分辨率比第一圖像高的多個第二圖像，每個第二相機以比第一視角窄的第二視角拍攝所述預(yù)定范圍中包含的被攝物的一部分；類似部分檢測單元，該類似部分檢測單元檢測第一圖像中包含的被攝物的一部分和每個第二圖像中包含的被攝物之間的類似部分；圖像合成單元，該圖像合成單元將第二圖像粘貼在第一圖像內(nèi)與檢測出的類似部分相對應(yīng)的位置處以生成合成圖像；成像區(qū)域檢測單元，該成像區(qū)域檢測單元從所述合成圖像中檢測一區(qū)域作為不可成像區(qū)域，在第一圖像中該區(qū)域的圖像信息不充分并且難以被第二相機補充；以及相機參數(shù)計算單元，該相機參數(shù)計算單元改變用于控制拍攝第二圖像的第二相機的相機參數(shù)，其中第一圖像中不充分的圖像信息被該第二圖像補充。
2. 如權(quán)利要求1所述的信號處理裝置，其中所述成像區(qū)域檢測單元獲得分別包含在第 一 圖像和第二圖像中 的被攝物中的每一個的亮度分布或頻率分布，并且基于能夠被第一相 機和第二相機拍攝的圖像區(qū)域來檢測所述不可成像區(qū)域。
3. 如權(quán)利要求2所述的信號處理裝置，其中 所述相機參數(shù)計算單元包括亮度計算單元，該亮度計算單元獲得被攝物的亮度分布以檢測能 夠被第一相機和第二相機成像的亮度范圍，并且該亮度計算單元使所述相機參數(shù)包括用于改變變焦率的信息；以及變焦率計算單元，該變焦率計算單元獲得被攝物的頻率分布以基于能夠被第一相機和第二相機拍攝的頻率區(qū)域來檢測所述不可成像區(qū)域，并且該變焦率計算單元使所述相機參數(shù)包括用于改變變焦率的 信息。
4. 如權(quán)利要求3所述的信號處理裝置，其中所述成像區(qū)域檢測單元對由低頻提取單元提取的低頻圖像應(yīng)用 二維快速傅立葉變換以檢測包含在所述低頻圖像中且頻率高于預(yù)定 閾值的區(qū)域，其中所述低頻提取單元使穿過每個第二相機的透鏡的光 線中的低頻分量的光線透過。
5. 如權(quán)利要求3所述的信號處理裝置，其中所迷成像區(qū)域檢測單元基于差圖像來檢測包含在第二圖像中且 頻率高于預(yù)定閾值的區(qū)域，其中所述差圖像是通過從第二圖像的頻率 分量中減去由低頻提取單元提取出的低頻圖像的頻率分量而獲得的， 所述低頻提取單元使穿過每個第二相機的透鏡的光線中的低頻分量 透過。
6. 如權(quán)利要求1所述的信號處理裝置，還包括圖像信息校正單元，該圖像信息校正單元基于包含在第一 圖像和 第二圖像的每一個中并且包括亮度或頻率的至少任一種的圖像信息 來校正所述合成圖像中包含的圖像信息。
7. 如權(quán)利要求6所述的信號處理裝置，其中 所述類似部分檢測單元基于經(jīng)所述圖像信息校正單元校正后的圖像信息以及所述成像區(qū)域檢測單元檢測出的不可成像區(qū)域和可成 像區(qū)域來檢測所述類似部分。
8. 如權(quán)利要求1所述的信號處理裝置，其中 所述相機參數(shù)計算單元獲得與顏色、亮度和焦點中的至少任一種有關(guān)的信息作為所迷相機參數(shù)，將所述相機參數(shù)作為利用第 一相機為 參照的公共信息進行管理，并且將相對于所述公共信息的多個第二相 機的信息作為個體信息進行管理，其中利用所述相機參數(shù)逐個像素地 確定多個低頻圖像相對于第一圖像的特性量。
9. 一種信號處理方法，包括以下步驟接收由第一相機生成的第一圖像，該第一相機以第一視角拍攝預(yù)定范圍中包含的被攝物，并且接收由多個第二相機生成的分辨率比第 一圖像高的多個第二圖像，每個第二相機以比第一視角窄的第二視角拍攝所述預(yù)定范圍中包含的被攝物的一部分；檢測第一圖像中包含的被攝物的一部分和每個第二圖像中包含 的禎j聶物之間的類似部分；將第二圖像粘貼在第 一 圖像內(nèi)與檢測出的類似部分相對應(yīng)的位 置處以生成合成圖像；從所述合成圖像中檢測一區(qū)域作為不可成像區(qū)域，在第一圖像中 該區(qū)域的圖像信息不充分并且難以被第二相機補充；以及改變用于控制拍攝第二圖像的第二相機的相機參數(shù)，其中第一圖 像中不充分的圖像信息被該第二圖像補充。
10. —種用于使計算機執(zhí)行包括以下步驟的處理的程序接收由第 一相機生成的第 一圖像，該第 一相機以第 一視角拍攝預(yù) 定范圍中包含的被攝物，并且接收由多個第二相機生成的分辨率比第 一圖像高的多個第二圖像，每個第二相機以比第一視角窄的第二視角 拍攝所述預(yù)定范圍中包含的被攝物的一部分；檢測第一圖像中包含的被攝物的一部分和每個第二圖像中包含 的被攝物之間的類似部分；將第二圖像粘貼在第一圖像內(nèi)與檢測出的類似部分相對應(yīng)的位 置處以生成合成圖像；從所述合成圖像中檢測一區(qū)域作為不可成像區(qū)域，在第一圖像中 該區(qū)域的圖像信息不充分并且難以被第二相機補充；以及改變用于控制拍攝第二圖像的第二相機的相機參數(shù)，其中第一圖 像中不充分的圖像信息被該第二圖像補充。
11. 一種記錄根據(jù)權(quán)利要求IO所述的程序的記錄介質(zhì)。
全文摘要
本發(fā)明公開了信號處理裝置、信號處理方法、程序和記錄介質(zhì)。該信號處理裝置包括接收由第一相機生成的第一圖像和由多個第二相機生成的高分辨率的第二圖像的輸入單元；檢測第一圖像中包含的被攝物的一部分和每個第二圖像中包含的被攝物之間的類似部分的類似部分檢測單元；將第二圖像粘貼在第一圖像內(nèi)與檢測出的類似部分相對應(yīng)的位置處以生成合成圖像的圖像合成單元；從合成圖像中檢測一區(qū)域作為不可成像區(qū)域的成像區(qū)域檢測單元，在第一圖像中該區(qū)域的圖像信息不充分并且難以被第二相機補充；以及改變用于控制拍攝第二圖像的第二相機的相機參數(shù)的相機參數(shù)計算單元，其中第一圖像中不充分的圖像信息被該第二圖像補充。
文檔編號H04N5/232GK101616260SQ200910150910
公開日2009年12月30日 申請日期2009年6月25日 優(yōu)先權(quán)日2008年6月27日
發(fā)明者向井仁志, 小久保哲志, 日比啟文, 森崎裕之, 田中健司, 田中和政, 近藤哲二郎 申請人:索尼株式會社