專利名稱：圖像處理設備、成像設備、圖像處理方法和程序的制作方法
技術領域：
本發(fā)明涉及一種圖像處理設備，并且更具體地，涉及一種用于處理在時間序列中 連續(xù)的多個圖像的圖像處理設備、成像設備和圖像處理方法，以及一種用于允許計算機執(zhí) 行所述方法的程序。
背景技術：
近來，已經(jīng)廣泛使用諸如數(shù)字照相機和數(shù)字攝像機(例如，集成了相機的記錄器) 之類的成像設備，所述成像設備通過對諸如人之類的主體進行成像來生成捕獲的圖像(圖 像數(shù)據(jù))，并將已經(jīng)生成的捕獲圖像記錄為圖像內(nèi)容。此外，廣泛地執(zhí)行通過使用這樣的成 像設備而將諸如高爾夫球和棒球之類的運動景象(appearance)記錄為內(nèi)容?？梢詫⑷缟?記錄的內(nèi)容(例如，移動圖像內(nèi)容)例如用于檢查運動的形式(例如，高爾夫球揮桿或擊球 (棒球比賽))。例如，在檢查運動的形式(例如，高爾夫球揮桿或擊球(棒球比賽))的情況下，提 出了一種合成圖像生成方法，其中生成表示操作中的轉(zhuǎn)變(transition)的圖像以作為用 于容易地理解操作中的轉(zhuǎn)變的合成圖像。例如，提出了一種成像設備，該成像設備以預定的 間隔從連續(xù)拍照的圖像中選擇多個圖像并通過使用已經(jīng)選擇的該多個圖像來生成合成圖 像(例如，參見日本未審查專利申請公布第2009-44573號(圖9))。

發(fā)明內(nèi)容
根據(jù)現(xiàn)有技術中的上述技術，例如可生成表示進行高爾夫球揮桿的人的操作中的 轉(zhuǎn)變的合成圖像。這里，將假設拍照用于生成合成圖像的圖像的情況。例如，根據(jù)用戶對構(gòu)圖的喜 好，可以考慮執(zhí)行拍照使得成像范圍在垂直方向長的情況、或執(zhí)行拍照使得成像范圍在水 平方向長的情況。然而，根據(jù)現(xiàn)有技術中的上述技術，在對用于生成合成圖像的多個圖像進 行拍照的情況下，需要在成像范圍在水平方向長的狀態(tài)中執(zhí)行拍照。相應地，例如，在其中 對作為主體的站立的人拍照使得成像范圍在垂直方向長的情況下，根據(jù)現(xiàn)有技術中的上述 技術，難以適當?shù)厣珊铣蓤D像。相應地，例如，在生成表示高爾夫球揮桿或擊球(棒球比賽)的操作中的轉(zhuǎn)換的圖 像(例如，合成圖像)的情況下，重要的是通過使用根據(jù)用戶對構(gòu)圖的喜好而生成的圖像來 適當?shù)厣珊铣蓤D像。期望通過使用根據(jù)用戶對構(gòu)圖的喜好而生成的圖像來適當?shù)厣珊铣蓤D像。根據(jù)本發(fā)明的實施例，提供了一種圖像處理設備、圖像處理方法和允許計算機執(zhí) 行該方法的程序，該圖像處理設備包括成像操作狀態(tài)獲取單元，用于獲取表示在用于在時 間序列中連續(xù)生成的多個圖像的成像操作時的成像操作狀態(tài)的成像操作狀態(tài)信息；圖像處 理單元，用于基于所獲取的成像狀態(tài)信息來對所述多個圖像執(zhí)行圖像處理，該圖像處理用 于生成表示在所述多個圖像中包括的被觀察主體的特定操作中的轉(zhuǎn)變的合成圖像；以及圖像合成單元，用于通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像進行合成來生成合成圖像。 相應地，實現(xiàn)如下功能，即獲取成像操作狀態(tài)信息、基于所獲取的成像狀態(tài)信息來對所述多 個圖像執(zhí)行用于生成合成圖像的圖像處理、和通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像 進行合成來生成合成圖像。在上述實施例中，所述成像操作狀態(tài)獲取單元可獲取在將所述成像操作時的成像 方向用作軸的情況下的旋轉(zhuǎn)角度，作為所述成像操作狀態(tài)信息。在這樣的情況下，實現(xiàn)獲取 在將所述成像操作時的成像方向用作軸的情況下的旋轉(zhuǎn)角度作為所述成像操作狀態(tài)信息 的功能。在上述實施例中，所述圖像處理單元可根據(jù)所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度 來對所述多個圖像的每個執(zhí)行旋轉(zhuǎn)處理。在這樣的情況下，實現(xiàn)根據(jù)所述成像狀態(tài)信息所 指定的旋轉(zhuǎn)角度來對所述多個圖像的每個執(zhí)行旋轉(zhuǎn)處理的功能。在上述實施例中，可以構(gòu)成在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度是預定角度 的情況下，所述圖像處理單元對所述多個圖像的每個執(zhí)行旋轉(zhuǎn)處理，以及在所述成像狀態(tài) 信息所指定的旋轉(zhuǎn)角度不是預定角度的情況下，所述圖像處理單元不對所述多個圖像執(zhí)行 旋轉(zhuǎn)處理。在這樣的情況下，實現(xiàn)如下的功能，即在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度是 預定角度的情況下對所述多個圖像的每個執(zhí)行旋轉(zhuǎn)處理、以及在所述成像狀態(tài)信息所指定 的旋轉(zhuǎn)角度不是預定角度的情況下不對所述多個圖像執(zhí)行旋轉(zhuǎn)處理。在上述的實施例中，所述圖像處理單元可以執(zhí)行該圖像處理，以便允許在所述成 像狀態(tài)信息所指定的旋轉(zhuǎn)角度是預定角度的情況下對其執(zhí)行旋轉(zhuǎn)處理的所述多個圖像、和 在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度不是預定角度的情況下不對其執(zhí)行旋轉(zhuǎn)處理的所 述多個圖像具有與所述合成圖像的尺寸對應的預定尺寸。在這樣的情況下，實現(xiàn)如下的功 能，即執(zhí)行該圖像處理，以便允許在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度是預定角度的情 況下對其執(zhí)行旋轉(zhuǎn)處理的所述多個圖像、和在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度不是預 定角度的情況下不對其執(zhí)行旋轉(zhuǎn)處理的所述多個圖像具有與所述合成圖像的尺寸對應的 預定尺寸。在上述實施例中，所述圖像處理單元可執(zhí)行該圖像處理，以便允許所述多個圖像 的每個具有與所述合成圖像的尺寸對應的預定尺寸。在這樣的情況下，實現(xiàn)執(zhí)行該圖像處 理以便允許所述多個圖像的每個具有與所述合成圖像的尺寸對應的預定尺寸的功能。上述實施例還可包括存儲單元，用于存儲與多類預定操作有關的處理信息；以 及操作接收單元，用于接收用于從存儲所述處理信息的多類預定操作之中指明期望的預定 操作的指明操作。在這樣的情況下，所述圖像處理單元基于所獲取的成像狀態(tài)信息、通過使 用與所指明的預定操作有關的處理信息來對所述多個圖像執(zhí)行該圖像處理。在這樣的情況 下，實現(xiàn)如下的功能，即在接收到用于從多類預定操作之中指明期望的預定操作的指明操 作的情況下、基于所獲取的成像狀態(tài)信息、通過使用與所指明的預定操作有關的處理信息 來對所述多個圖像執(zhí)行圖像處理。根據(jù)本發(fā)明的另一實施例，提供了一種成像設備、圖像處理方法和允許計算機執(zhí) 行所述方法的程序，該成像設備包括成像單元，用于通過對主體進行成像來生成在時間序 列中連續(xù)的多個圖像；成像操作狀態(tài)獲取單元，用于獲取表示在用于所生成的多個圖像的 成像操作時的成像操作狀態(tài)的成像操作狀態(tài)信息；圖像處理單元，用于基于所獲取的成像
5狀態(tài)信息來對所述多個圖像執(zhí)行圖像處理，該圖像處理用于生成表示在所述多個圖像中包 括的被觀察主體的特定操作中的轉(zhuǎn)變的合成圖像；以及圖像合成單元，用于通過對已經(jīng)對 其執(zhí)行該圖像處理的多個圖像進行合成來生成合成圖像。相應地，實現(xiàn)如下功能，即獲取成 像操作狀態(tài)信息、基于所獲取的成像狀態(tài)信息來對所述多個圖像執(zhí)行用于生成合成圖像的 圖像處理、和通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像進行合成來生成合成圖像。根據(jù)本發(fā)明的實施例，可以獲取通過使用根據(jù)用戶對構(gòu)圖的喜好而生成的圖像來 適當?shù)厣珊铣蓤D像的有利優(yōu)點。


圖1是表示根據(jù)本發(fā)明第一實施例的成像設備的功能構(gòu)成示例的框圖。圖2A和圖2B是表示根據(jù)本發(fā)明第一實施例的成像設備的外觀的構(gòu)成示例的圖。圖3A和圖:3B示意性表示根據(jù)本發(fā)明第一實施例的通過使用成像設備執(zhí)行的拍照 的景象和在要被拍照的人的操作中的轉(zhuǎn)變。圖4A和圖4B是示意性表示根據(jù)本發(fā)明第一實施例的由成像單元在時間序列中生 成的捕獲圖像的圖。圖5A到圖5C是示出根據(jù)本發(fā)明第一實施例的由圖像合成單元執(zhí)行的合成圖像生 成處理的流程示例的示意圖。圖6A和圖6B是示出根據(jù)本發(fā)明第一實施例的顯示單元的顯示示例和處理信息存 儲單元的存儲內(nèi)容的示例的圖。圖7A到圖7C是示出根據(jù)本發(fā)明第一實施例的由圖像處理單元執(zhí)行的捕獲圖像加 工處理和由圖像合成單元執(zhí)行的合成圖像生成處理的流程示例的示意圖。圖8A到圖8C是示出根據(jù)本發(fā)明第一實施例的由圖像處理單元執(zhí)行的捕獲圖像加 工處理和由圖像合成單元執(zhí)行的合成圖像生成處理的流程示例的示意圖。圖9是示出根據(jù)本發(fā)明第一實施例的由成像設備執(zhí)行的合成圖像生成處理的處 理過程的示例的流程圖。圖IOA和圖IOB是根據(jù)本發(fā)明第一實施例的顯示單元中的顯示的示例和處理信息 存儲單元的存儲內(nèi)容的示例。圖IlA到圖IlC是示意性示出根據(jù)本發(fā)明第一實施例的由圖像處理單元執(zhí)行的捕 獲圖像加工處理和由圖像合成單元執(zhí)行的合成圖像生成處理的流程示例的圖。圖12是表示根據(jù)本發(fā)明第一實施例的成像設備的外觀的構(gòu)成示例的圖。圖13A和圖1 是示出根據(jù)本發(fā)明第一實施例的顯示單元的顯示示例和處理信息 存儲單元的存儲內(nèi)容的示例的圖。圖14A到圖14C是示意性示出根據(jù)本發(fā)明第一實施例的由圖像處理單元執(zhí)行的捕 獲圖像加工處理和由圖像合成單元執(zhí)行的合成圖像生成處理的流程示例的圖。圖15是表示根據(jù)本發(fā)明第一實施例的成像設備的功能構(gòu)成示例的框圖。圖16A和圖16B是示意性表示根據(jù)本發(fā)明第一實施例的通過使用層分離部件來分 離合成目標圖像的方法的圖。圖17A和圖17B是以簡化方式示出根據(jù)本發(fā)明第一實施例的由層處理部件對其執(zhí) 行旋轉(zhuǎn)處理的圖像和由層處理部件對其執(zhí)行剪切處理的圖像的圖。
圖18A和圖18B是示意性表示根據(jù)本發(fā)明第一實施例的使用層合成部件的合成方 法的圖。圖19A和圖19B是示意性示出根據(jù)本發(fā)明第一實施例的通過使用層合成部件對合 成目標圖像進行合成的方法的圖。圖20是表示根據(jù)本發(fā)明第二實施例的成像設備的功能構(gòu)成示例的框圖。圖21是表示根據(jù)本發(fā)明第二實施例的成像設備的功能構(gòu)成示例的框圖。圖22A到圖22H是示出根據(jù)本發(fā)明第三實施例的、變成用于通過使用成像設備來 生成合成圖像的目標的被觀察主體和預定操作的示例的圖。圖23是表示根據(jù)本發(fā)明第三實施例的、變成成像設備的用于生成合成圖像的目 標的被觀察主體和預定操作特征的示例的圖。圖M是表示根據(jù)本發(fā)明第三實施例的成像設備的功能構(gòu)成示例的框圖。圖25是表示根據(jù)本發(fā)明第三實施例的顯示單元的顯示示例的圖。圖沈是表示根據(jù)本發(fā)明第三實施例的處理信息存儲單元的存儲內(nèi)容的示例的 圖。圖27A到圖27C是示意性示出根據(jù)本發(fā)明第三實施例的由圖像處理單元執(zhí)行的捕 獲圖像加工處理和由圖像合成單元執(zhí)行的合成圖像生成處理的流程示例的圖。圖28A和圖28B是示意性表示根據(jù)本發(fā)明第三實施例的通過使用成像設備生成合 成圖像的流程的圖。圖29A和圖29B是表示根據(jù)本發(fā)明第四實施例的蜂窩電話裝置的外部構(gòu)成的示例 的圖。
具體實施例方式下文中，將描述本發(fā)明的實施例(下文中，稱作實施例)。將按照如下的順序來呈 現(xiàn)所述描述。1.第一實施例(合成圖像生成控制其中基于由用戶操作指明的成像操作狀態(tài)來 執(zhí)行圖像加工處理的示例)2.第二實施例(合成圖像生成控制其中基于由成像設備獲取的成像操作狀態(tài)來 執(zhí)行圖像加工處理的示例)3.第三實施例(合成圖像生成控制其中基于由用戶操作指明的成像操作狀態(tài)和 被觀察主體的預定操作來執(zhí)行圖像加工處理的示例)4.第四實施例(合成圖像生成控制應用到蜂窩電話裝置的示例)1.第一示例成像設備的構(gòu)成示例圖1是表示根據(jù)本發(fā)明第一實施例的成像設備100的功能構(gòu)成示例的框圖。成像 設備100包括操作接收單元110、成像操作狀態(tài)獲取單元120、成像單元130、處理信息存儲 單元140、圖像處理單元150、圖像合成單元160、合成圖像保持單元170、合成圖像存儲單元 180、顯示控制單元190、和顯示單元191。成像設備100例如可以由數(shù)字攝像機來實現(xiàn)，該 數(shù)字攝像機可執(zhí)行其中連續(xù)地生成多個圖像的數(shù)據(jù)的連續(xù)成像操作(連續(xù)拍攝操作)。成 像設備100是根據(jù)本發(fā)明實施例的圖像處理設備的示例。
操作接收單元110是接收由用戶操作的操作的內(nèi)容并將與所接收的操作的內(nèi)容 對應的操作信號輸出到成像操作狀態(tài)獲取單元120、成像單元130或顯示控制單元190的 操作接收單元。例如，當接收到設置用于生成合成圖像的合成圖像記錄模式的操作時，操作 接收單元110向成像單元130輸出用于指引合成圖像記錄模式的設置的控制信號。然后， 操作接收單元110向顯示控制單元190輸出用于指引捕獲圖像的顯示開始的控制信號。例 如，通過按下用于設置合成圖像記錄模式的按鈕來執(zhí)行設置合成圖像記錄模式的操作。例 如，在設置合成圖像記錄模式的情況下，當接收到指引成像操作的開始的開始指引操作時， 操作接收單元110向成像單元130輸出用于指引連續(xù)成像操作的開始的控制信號。另一方 面，例如，當接收到用于指明成像操作狀態(tài)的指明操作時，操作接收單元110向成像操作狀 態(tài)獲取單元120輸出表示所指明的成像操作狀態(tài)的類型的控制信號。此外，當接收到用于 顯示合成圖像的指引操作時，操作接收單元110向顯示控制單元190輸出用于指引合成圖 像的顯示的控制信號。這樣的操作輸入例如可通過使用諸如布置在成像設備100上的按鈕 之類的操作組件來執(zhí)行，或者可通過遠程控制(遙控器)的操作等經(jīng)由無線通信來執(zhí)行。成像操作狀態(tài)獲取單元120獲取在成像操作時成像設備100的狀態(tài)(成像操作狀 態(tài))，并且保持表示所獲取的成像操作狀態(tài)的信息(成像操作狀態(tài)信息)。如圖2A和圖2B 所示，這個成像操作狀態(tài)信息是表示在將成像設備100的光軸設置為旋轉(zhuǎn)的中心的情況下 成像設備100的旋轉(zhuǎn)角度的信息。例如，保持0度(水平拍攝)的信息或90度(垂直拍 攝)的信息。換言之，成像操作狀態(tài)信息是表示在將成像操作時的其成像方向設置為軸的 情況下成像設備100的旋轉(zhuǎn)角度的信息。然后，成像操作狀態(tài)獲取單元120將所保持的成 像操作狀態(tài)信息供應到圖像處理單元150。成像單元130包括成像裝置(未示出)，其將通過鏡頭(例如，圖2所示的鏡頭 131)入射的主體的光轉(zhuǎn)換為電信號；和信號處理部件(未示出)，其處理成像裝置的輸出信 號并生成捕獲圖像(圖像數(shù)據(jù))。換言之，在成像單元130中，在成像裝置的成像表面上對 通過鏡頭入射的主體的光學圖像成像，并且在這個狀態(tài)中，成像裝置執(zhí)行成像操作。然后， 信號處理部件對成像信號執(zhí)行信號處理，從而生成捕獲圖像?；趶牟僮鹘邮諉卧?10輸 出的成像操作的開始指引信息來執(zhí)行捕獲圖像的生成。然后，將所生成的捕獲圖像供應到 圖像處理單元150，并且對捕獲圖像執(zhí)行預定的圖像處理。此外，將所生成的捕獲圖像供應 到顯示控制單元190，并在顯示單元191中顯示。在設置合成目標圖像記錄模式的情況下，成像單元130執(zhí)行連續(xù)的成像操作。連 續(xù)成像操作是用于通過以事先設置的成像間隔或由用戶設置的成像間隔連續(xù)執(zhí)行捕獲圖 像生成處理來生成預定數(shù)目的捕獲圖像的成像操作。處理信息存儲單元140在其中存儲用于圖像處理單元150對合成目標圖像的加工 處理的信息(處理信息)，并且將所存儲的處理信息供應到圖像處理單元150。將參考圖6B 來詳細描述處理信息存儲單元140的存儲內(nèi)容。圖像處理單元150基于在成像操作狀態(tài)獲取單元120中保持的成像操作狀態(tài)信息 來對從成像單元130供應的捕獲圖像執(zhí)行各種加工處理，以便被用作合成圖像。具體地，圖 像處理單元150基于在處理信息存儲單元140中存儲的處理信息之中的、與保持在成像操 作狀態(tài)獲取單元120中的成像操作狀態(tài)信息相關聯(lián)的處理信息，來對從成像單元130供應 的捕獲圖像執(zhí)行加工處理。作為這個加工處理，執(zhí)行幾何計算處理，諸如剪切處理、放大/收縮處理、旋轉(zhuǎn)處理、或坐標移動處理。然后，圖像處理單元150向圖像合成單元160輸出 已經(jīng)對其執(zhí)行所述加工處理的圖像(合成目標圖像)。將參考圖7A到圖7C和圖8A到圖 8C來詳細描述由圖像處理單元150執(zhí)行的加工處理。圖像合成單元160通過對從圖像處理單元150輸出的合成目標圖像執(zhí)行圖像合成 處理來生成合成圖像，并將所生成的合成圖像存儲在合成圖像存儲單元180中。具體地，圖 像合成單元160合成所述合成目標圖像，使得從圖像處理單元150輸出的合成目標圖像被 布置到要施加的像素范圍中。此外，在對緊接在合成處理之前變成合成目標的合成目標圖 像執(zhí)行所述合成處理之后，圖像合成單元160在合成圖像保持單元170中依次保持所合成 的圖像(歷史圖像)。然后，為了對變成接下來的合成目標的合成目標圖像執(zhí)行合成處理， 圖像合成單元160從合成圖像保持單元170中獲取在該合成圖像保持單元170中保持的合 成圖像(歷史圖像)，并且將該合成圖像用于合成處理。此外，在設置處于生成處理的中間 的合成圖像的顯示的情況下，在對合成目標圖像執(zhí)行合成處理之后，圖像合成單元160依 次將所述合成圖像(歷史圖像)供應到顯示控制單元190。相應地，在顯示單元191中依次 顯示所述圖像(歷史圖像)。將參考圖5A到圖5C、圖7A到圖7C、和圖8A到圖8C來詳細描 述由圖像合成單元160執(zhí)行的圖像合成處理。合成圖像保持單元170依次保持由圖像合成單元160在圖像合成處理中生成的合 成圖像(歷史圖像)，并且將所保持的合成圖像供應到圖像合成單元160。換言之，當由圖 像合成單元160執(zhí)行圖像合成處理時，依次更新處于生成處理中間的合成圖像，并將其保 持在合成圖像保持單元170中。合成圖像存儲單元180存儲由圖像合成單元160生成的合成圖像，并將所存儲的 合成圖像供應到顯示控制單元190。換言之，當完成由圖像合成單元160執(zhí)行的圖像合成處 理時，所生成的合成圖像被存儲在合成圖像存儲單元180中。顯示控制單元190根據(jù)由操作接收單元110接收的操作輸入來在顯示單元191中 顯示在合成圖像存儲單元180中存儲的合成圖像或者從成像單元130輸出的捕獲圖像。此 外，顯示控制單元190根據(jù)由操作接收單元110接收的操作輸入來在顯示單元191中顯示 用于執(zhí)行每個操作的顯示屏幕(例如，圖6A所示的指明成像操作狀態(tài)的屏幕200)。顯示單元191基于顯示控制單元190的控制來顯示每個圖像。作為顯示單元191， 例如可使用LCD(液晶顯示器)、有機EL(電致發(fā)光)面板等。成像設備的外觀的構(gòu)成示例和成像操作狀態(tài)的示例圖2A和圖2B是表示根據(jù)本發(fā)明第一實施例的成像設備100的外觀的構(gòu)成示例的 圖。圖2A和圖2B表示成像設備100的正面(即，面向主體的鏡頭表面)側(cè)的外觀的簡化 構(gòu)成示例。圖2A表示在通過使用成像設備100來執(zhí)行拍照的情況下成像操作狀態(tài)的示例 (所謂的水平拍攝)。圖2B表示在通過使用成像設備100來執(zhí)行拍照的情況下成像操作狀 態(tài)的另一示例(所謂的垂直拍攝)。這里，為了便于描述，以簡化的方式示出本發(fā)明的第一 實施例所表示的成像設備的外觀。例如，在成像設備100的外側(cè)面上，包括諸如電源開關的 操作組件，但是該操作組件在該圖中并未示出，并將省略其描述。成像設備100包括快門按鈕(釋放按鈕)111和鏡頭131?？扉T按鈕111對應于圖 1所示的操作接收單元110，并且鏡頭131對應于圖1所示的成像單元130?？扉T按鈕111是當由成像單元130生成的圖像數(shù)據(jù)被作為靜止圖像文件而記錄在記錄介質(zhì)(未示出)上時按下的按鈕。在設置合成圖像記錄模式的情況下，當按下快門按 鈕111時，指引生成用于生成合成圖像的捕獲圖像(在時間序列中連續(xù)的多個圖像)的控 制信號被供應到成像單元130。當供應這個控制信號時，成像單元130開始連續(xù)的成像操 作。然后，通過成像單元130的連續(xù)成像操作而生成的多個圖像被依次供應到圖像處理單 元 150。鏡頭131是收集外部光的鏡頭，并且通過變焦鏡頭和聚焦鏡頭來將入射光供應到 成像單元130的成像裝置。這里，將描述通過使用成像設備100來執(zhí)行拍照的情況。例如，在通過使用成像設 備100來執(zhí)行拍照的情況下，頻繁地執(zhí)行如圖2A所示的對其而言成像范圍在橫向上長的 拍照(所謂的水平拍攝)或者如圖2B所示的對其而言成像范圍在縱向上長的拍照(所謂 的垂直拍攝)。換言之，如圖2A所示，在執(zhí)行對其而言成像范圍在橫向上長的拍照的情況 下，成像設備100的垂直方向和攝影師的垂直方向變得相同。相反，如圖2B所示，在執(zhí)行對 其而言成像范圍在縱向上長的拍照的情況下，例如在其中在光軸132被用作旋轉(zhuǎn)軸的情況 下、將圖2A所示的成像設備100在箭頭133的方向旋轉(zhuǎn)α度(例如，90度)的狀態(tài)中，執(zhí) 行所述拍照。在圖4Α和圖4Β中示出了在多個成像操作狀態(tài)中生成的捕獲圖像的示例。合成圖像的生成的示例接下來，將以簡化的方式來表示對于生成合成圖像的情況的生成處理的轉(zhuǎn)變的示 例。圖3Α和圖;3Β示意性表示根據(jù)本發(fā)明第一實施例的通過使用成像設備100執(zhí)行的 拍照的景象和在要被拍照的人的操作中的轉(zhuǎn)變。圖3Α示意性表示在成像設備100和要由成像設備100拍照的人300之間的位置 關系。人300是例如在高爾夫球練習場中練習揮動高爾夫球桿301的人。人300通過從圖 3Α所示的姿勢揮動高爾夫球桿301、來利用高爾夫球桿301打擊高爾夫球302，以便在期望 的方向?qū)⒏郀柗蚯?02打得很遠。圖;3Β示意性表示在人300的操作中的轉(zhuǎn)變。圖像311到318是表示由在圖3Α所 示的狀態(tài)中的人300在時間序列中進行的高爾夫球揮桿練習的景象的圖像組。圖;3Β表示 沿時間軸排列的圖像311到318。例如，假設圖像311是在由人300進行的高爾夫球揮桿的 開始時的圖像，以及圖像318是在由人300進行的高爾夫球揮桿的完成時的圖像。此外，圖 像312到317是在圖像311和圖像318之間的、表示進行高爾夫球揮桿的人300的操作中 的轉(zhuǎn)變的圖像。捕獲圖像的生成的示例圖4Α和圖4Β是示意性表示根據(jù)本發(fā)明第一實施例的由成像單元310在時間序列 中生成的捕獲圖像的圖。圖4Α示意性表示矩形的捕獲圖像331到334(圖像組330)，其由 成像單元130在圖2A所示的成像設備100的成像操作狀態(tài)(所謂的“水平拍攝”)中生成。 圖4B示意性表示矩形的捕獲圖像341到344 (圖像組340)，其由成像單元130在圖2B所示 的成像設備100的成像操作狀態(tài)(所謂的“垂直拍攝”)中生成。此外，捕獲圖像331和341對應于圖所示的圖像311，并且捕獲圖像332和342 對應于圖3B所示的圖像312。此外，捕獲圖像333和343對應于圖所示的圖像313，并 且捕獲圖像334和344對應于圖:3B所示的圖像314。
10
這里，假設由成像單元130生成的捕獲圖像在水平方向(左/右方向)的長度(水 平寬度)是W1，并且所述捕獲圖像在垂直方向(上/下方向)的長度(垂直寬度)是HI。 例如，由成像單元130生成的捕獲圖像的圖像尺寸可設置為VGA尺寸(640像素X480像 素)。換言之，可將長度設置為使得Wl = 640和Hl = 480。接下來，將描述通過使用經(jīng)由成像單元130的連續(xù)成像操作而生成的多個圖像來 生成合成圖像的示例。在這個示例中，將作為示例而描述其中通過使用經(jīng)由連續(xù)成像操作 而生成的八個圖像來生成靜止圖像的合成圖像的情況。在本發(fā)明的第一實施例中，表示了 如下的示例，其中生成與進行高爾夫球揮桿的人的操作中的轉(zhuǎn)變有關的合成圖像作為合成 圖像。合成圖像的生成的示例圖5A到圖5C是示出根據(jù)本發(fā)明第一實施例的由圖像合成單元160執(zhí)行的合成圖 像生成處理的流程示例的示意圖。圖5A示意性示出由成像單元130生成的捕獲圖像(幀)Fl到F8。圖5A和圖5B 表示矩形的由成像單元130生成的捕獲圖像Fl到F8，并且在所述矩形中添加表示捕獲圖像 的附圖標記(Fl到F8)。圖5B示意性示出基于合成目標圖像(捕獲圖像Fl到F8)生成的合成圖像320。 在圖5B中，與圖5A類似的，以矩形表示合成目標圖像，并且在所述矩形中添加表示合成目 標圖像的附圖標記(Fl到F8)。圖像處理單元150對由成像單元130生成的捕獲圖像Fl到F8執(zhí)行加工處理(例 如，對兩端部分的剪切處理)，該加工處理被執(zhí)行以用于合成。然后，圖像合成單元160通過 合成已經(jīng)由圖像處理單元150對其執(zhí)行加工處理的合成目標圖像Fl到F8來生成合成圖像 320。例如，圖像合成單元160合成已經(jīng)由圖像處理單元150對其執(zhí)行加工處理的合成目標 圖像Fl到F8，以便在時間序列中排列。例如，四個合成目標圖像Fl到F4被合成以便從上 部的左端部分開始在時間序列中排列，并且四個合成目標圖像F5到F8被合成以便從下部 的左端部分開始在時間序列中排列。此外，基于在成像單元130的連續(xù)成像操作中的生成 順序來例如確定合成目標圖像的合成位置。相應地，例如，如圖5C所示，生成表示練習高爾夫球揮桿的人的操作中的轉(zhuǎn)變的 合成圖像321。圖5C以簡化的方式示出由圖像合成單元160生成的合成圖像321。合成圖像321 是通過使用與圖4B所示的圖像311到318對應的捕獲圖像而生成的合成圖像。這里，假設 構(gòu)成合成圖像321的每個合成目標圖像在水平方向(左/右方向)的長度(水平寬度)是 W2，并且每個合成目標圖像在垂直方向(上/下方向)的長度(垂直寬度)是H2。此外，假 設合成圖像321在水平方向(左/右方向)的寬度(水平寬度)是W10，并且合成圖像321 在垂直方向(上/下方向)的長度(垂直寬度)是H10。換言之，WlO= W2X4，并且HlO = H2X2。這里，如上所述，作為通過使用成像設備100形成的成像操作狀態(tài)，假設多個成像 操作狀態(tài)(例如，圖2所示的“水平拍攝”和“垂直拍攝”)。如圖4A和圖4B所示，即使在 對相同主體成像的情況下，當成像操作狀態(tài)不同時，在捕獲圖像中包括的主體的位置變得 不同。例如，將考慮如下的情況，在該情況下，其中通過使用圖4A所示的圖像組330而生成合成圖像的生成處理、和其中通過使用圖4B所示的圖像組340而生成合成圖像的生成處理 是相同的生成處理。在這樣的情況下，在任何一個合成圖像中包括的人的方向是水平方向， 并且存在難以精確地獲取操作中的轉(zhuǎn)變的問題。相應地，例如，在通過使用所生成的捕獲圖 像而生成合成圖像的情況下，需要根據(jù)成像操作狀態(tài)來考慮主體的方向。這樣，在本發(fā)明的 第一實施例中，示出了如下的示例，其中獲取在捕獲圖像的生成時的成像操作狀態(tài)、并且通 過基于所獲取的成像操作狀態(tài)對捕獲圖像執(zhí)行加工處理來生成適當?shù)暮铣蓤D像。成像操作狀態(tài)指明屏幕的顯示的示例和處理信息存儲單元的存儲的示例圖6A和圖6B是示出根據(jù)本發(fā)明第一實施例的顯示單元191的顯示示例(成像操 作狀態(tài)指明屏幕200)和處理信息存儲單元140的存儲內(nèi)容的示例的圖。圖6A示出用于指明成像操作狀態(tài)的成像操作狀態(tài)指明屏幕200。在成像操作狀態(tài) 指明屏幕200上，布置了“水平拍攝”按鈕201、“垂直拍攝”按鈕202、返回按鈕203、和確定 按鈕204?！八脚臄z”按鈕201或“垂直拍攝”按鈕202是用于指明當構(gòu)成與操作中的轉(zhuǎn)變 有關的合成圖像的圖像被成像時的成像操作狀態(tài)的按鈕。例如，在其中通過觸摸面板而構(gòu) 成顯示單元191的情況下，可通過按下期望的按鈕來指明成像操作狀態(tài)。例如，當在圖2A 所示的成像設備100狀態(tài)(所謂的“水平拍攝”)中執(zhí)行拍照時，按下“水平拍攝”按鈕201。 另一方面，當在圖2B所示的成像設備100狀態(tài)(所謂的“垂直拍攝”)中執(zhí)行拍照時，按下 “垂直拍攝”按鈕202。確定按鈕204是在執(zhí)行指明成像操作狀態(tài)的按下操作之后當要確定指明時按下 的按鈕。返回按鈕203例如是被按下以便返回到緊接在當前顯示屏幕之前顯示的顯示屏幕 的按鈕。圖6B示意性示出處理信息存儲單元140的存儲內(nèi)容的示例。在處理信息存儲單 元140中，將旋轉(zhuǎn)角度143、合成目標圖像的縱橫比144、和合成目標圖像的尺寸145存儲為 與水平拍攝141或垂直拍攝142相關聯(lián)。這里，水平拍攝141對應于圖2A所示的成像操作 狀態(tài)，并且垂直拍攝142對應于圖2B所示的成像操作狀態(tài)。在旋轉(zhuǎn)角度143中，存儲作為基準的關于圖2A所示的成像操作狀態(tài)的旋轉(zhuǎn)角度。 例如，將“0度”存儲為與水平拍攝141相關聯(lián)，并且將“90度”存儲為與垂直拍攝142相關聯(lián)。在合成目標圖像的縱橫比144中，存儲合成目標圖像的縱橫比。這里，縱橫比是表 示圖像的垂直長度(像素數(shù))與水平長度(像素數(shù))的比率的值。例如，當人進行高爾夫 球揮桿時，以站立狀態(tài)進行所述揮桿，并且在水平方向幾乎沒有移動量。相應地，例如，作為 合成目標圖像的縱橫比，存儲變得在縱向上相對長的值(例如，“3 4”的縱橫比)。在合成目標圖像的尺寸145中，存儲合成目標圖像的尺寸。這個尺寸是基于合成 圖像的尺寸、構(gòu)成合成圖像的合成目標圖像的數(shù)目、和合成目標圖像的縱橫比等來確定的。這里，例如，將考慮如下的情況，其中在圖6A所示的成像操作狀態(tài)指明屏幕200上 按下期望的按鈕(例如，“水平拍攝”按鈕201)、并且按下確定按鈕204。在這樣的情況下， 從操作接收單元110向成像操作狀態(tài)獲取單元120輸出指示這樣的操作的操作信號，并且 成像操作狀態(tài)獲取單元120保持表示所指明的成像操作狀態(tài)的成像操作狀態(tài)信息(水平拍 攝)。然后，圖像處理單元150基于在處理信息存儲單元140中存儲的、與保持在成像操作狀態(tài)獲取單元120中的成像操作狀態(tài)信息(水平拍攝141)相關聯(lián)的處理信息(水平拍攝 141)，來對從成像單元130供應的圖像執(zhí)行每個加工處理。將參考圖7A到圖7C和圖8A到 圖8C來詳細描述該加工處理?；诔上癫僮鳡顟B(tài)進行的合成圖像的生成示例圖7A到圖7C和圖8A到圖8C是示出根據(jù)本發(fā)明第一實施例的由圖像處理單元 150執(zhí)行的捕獲圖像加工處理和由圖像合成單元160執(zhí)行的合成圖像生成處理的流程示例 的示意圖。在圖7A到圖7C所示的示例中，示出在圖6A所示的成像操作狀態(tài)指明屏幕200 上按下“水平拍攝”按鈕201并按下確定按鈕204的情況下的、捕獲圖像加工處理和合成圖 像生成處理的示例。圖7A示意性示出矩形的由成像單元130生成的捕獲圖像333。假設該捕獲圖像 333與圖4A所示的捕獲圖像333相同。此外，在該圖中未示出在圖4A所示的圖像組330中 包括的其它捕獲圖像(捕獲圖像331、332和334到336等)，并省略其描述。圖7B示意性示出由圖像處理單元150執(zhí)行的加工處理的流程。如上所述，變成加 工處理的目標的捕獲圖像333具有水平寬度Wl和垂直寬度Hl的圖像尺寸。由于在捕獲圖 像333中包括在垂直方向站立的人，所以不執(zhí)行旋轉(zhuǎn)處理。在使用在捕獲圖像333中包括 的人作為基準的情況下，盡管捕獲圖像333在橫向上長，但是構(gòu)成合成圖像的每個合成目 標圖像的尺寸在縱向上長。相應地，對于捕獲圖像333，需要執(zhí)行剪切處理和放大/收縮處 理(或僅剪切處理)。換言之，圖像處理單元150基于在處理信息存儲單元140 (圖6B所示)中存儲的、 與“水平拍攝” 141相關聯(lián)的處理信息，來對捕獲圖像333執(zhí)行剪切處理和放大/收縮處理 (或僅剪切處理)。例如，圖像處理單元150對捕獲圖像333執(zhí)行剪切處理，從而在捕獲圖 像333的兩端部分的區(qū)域的剪切之后的圖像的縱橫比變成與合成目標圖像縱橫比144(圖 6B所示)相同。此外，圖像處理單元150對捕獲圖像333執(zhí)行放大/收縮處理，從而兩端 部分的區(qū)域的剪切之后的圖像的尺寸變成合成目標圖像的尺寸145(圖6B所示)。由于在 處理信息存儲單元140中存儲的與“水平拍攝” 141相關聯(lián)的旋轉(zhuǎn)角度143 (圖6B所示)是 “0”度，不執(zhí)行旋轉(zhuǎn)處理。具體地，圖像處理單元150執(zhí)行其中剪切捕獲圖像333的兩端部分的水平寬度W3 的區(qū)域(剪切區(qū)域352和353)的剪切處理，以便允許捕獲圖像具有水平寬度W4和垂直寬 度Hl的圖像尺寸。在這個剪切處理中，調(diào)整在剪切處理之前和之后的圖像(捕獲圖像和在 剪切處理之后的圖像)的中心位置，以便彼此一致。隨后，圖像處理單元150執(zhí)行放大/收 縮處理，從而將具有水平寬度W4和垂直寬度Hl的圖像改變?yōu)榫哂兴綄挾萕2和垂直寬度 H2的圖像尺寸。例如，將考慮其中由成像單元130生成的捕獲圖像333的圖像尺寸是VGA尺寸 (即，Wl = 640，和Hl = 480)的情況。此外，假設合成圖像的尺寸具有1440像素X960像 素(S卩，WlO = 1440，和Hl = 960)，并且假設合成圖像的一個幀的尺寸(合成目標圖像的 尺寸)為360像素X480像素(S卩，W2 = 360，和H2 = 480)。在這樣的情況下，捕獲圖像 的圖像尺寸的垂直寬度Hl與合成目標圖像的尺寸的垂直寬度H2相同。相應地，圖像處理 單元150僅執(zhí)行其中剪切捕獲圖像333的兩端部分的水平寬度W3 (140像素)的區(qū)域(剪 切區(qū)域352和353)的剪切處理。換言之，由于在剪切處理之后的圖像尺寸W4XH1 (360像
13素X480像素)和合成目標圖像的一個幀的尺寸W2XH2(360像素X480像素)相同，所以 不執(zhí)行放大/收縮處理。隨后，圖像合成單元160對已經(jīng)由圖像處理單元150對其執(zhí)行加工處理的合成目 標圖像351執(zhí)行合成處理。圖7C以簡化方式示出已經(jīng)由圖像合成單元160對其執(zhí)行合成處理的圖像(合成 圖像354)。在這個示例中，示出了直到生成圖5C所示的合成圖像321為止的特定時間點 上的合成狀態(tài)。例如，假設圖7C所示的狀態(tài)處于當對合成目標圖像351(三個合成目標圖 像355、356和351)執(zhí)行合成處理時的時間點上。合成目標圖像355和356是通過使用圖 像處理單元150對圖4A所示的捕獲圖像331和332執(zhí)行加工處理所獲取的圖像。如圖7B所示，通過圖像處理單元150對捕獲圖像333執(zhí)行加工處理，從而生成合 成目標圖像351。隨后，圖像合成單元160將合成目標圖像351合成到已經(jīng)事先生成的合成 圖像(合成目標圖像355和356)，從而生成合成圖像354。這里，在通過依次合成三個或更多合成目標圖像來生成合成圖像的情況下，如圖 7C所示，圖像合成單元160通過沿時間序列依次合成所述合成目標圖像來生成合成圖像。 此外，在時間序列中連續(xù)的兩個合成目標圖像之中，在時間軸上在前面的合成目標圖像被 保持在合成圖像保持單元170中，直到執(zhí)行在后面的合成目標圖像的合成處理為止。如上所述，由圖像合成單元160生成的合成圖像被存儲在合成圖像存儲單元180 中。然后，例如，根據(jù)用戶的操作來在顯示單元191中顯示該合成圖像。替換地，例如，可以 將合成圖像構(gòu)成為每當由圖像合成單元160生成合成圖像時自動地在顯示單元191中顯示。在圖8A到圖8C所示的示例中，示出了當在圖6A所示的成像操作狀態(tài)指明屏幕 200上按下“垂直拍攝”按鈕202并按下確定按鈕204的情況下的捕獲圖像加工處理和合成 圖像生成處理的示例。圖8A示意性示出矩形的由成像單元130生成的捕獲圖像343。假設這個捕獲圖 像343與圖4B所示的捕獲圖像343相同。此外，在圖4B所示的圖像組340中包括的其它 捕獲圖像(捕獲圖像341、342、和344到346等)沒有示出在該圖中，并且省略其描述。圖8B示意性示出由圖像處理單元150執(zhí)行的加工處理的流程。如上所述，變成加 工處理的目標的捕獲圖像343具有水平寬度Wl和垂直寬度Hl的圖像尺寸。由于在捕獲圖 像343中包括在水平方向站立的人，所以需要執(zhí)行旋轉(zhuǎn)處理。在使用在捕獲圖像343中包 括的人作為基準的情況下，盡管捕獲圖像343在縱向上長，但是構(gòu)成合成圖像的每個合成 目標圖像的尺寸也在縱向上長。相應地，通過剪切處理剪切的捕獲圖像343的區(qū)域可小于 圖7A所示的捕獲圖像333的所述區(qū)域。換言之，圖像處理單元150基于在處理信息存儲單元140(圖6B所示)中存儲的、 與“垂直拍攝” 142相關聯(lián)的旋轉(zhuǎn)角度143(90度)，來對捕獲圖像343執(zhí)行旋轉(zhuǎn)處理。此外， 圖像處理單元150基于在處理信息存儲單元140中存儲的、與“垂直拍攝” 142相關聯(lián)的另 一處理信息，來對捕獲圖像343執(zhí)行剪切處理和放大/收縮處理。例如，圖像處理單元150 對捕獲圖像343執(zhí)行剪切處理，從而在預定區(qū)域的剪切之后的圖像的縱橫比變成與合成目 標圖像的縱橫比144(圖6B所示)相同。此外，圖像處理單元150對捕獲圖像343執(zhí)行放 大/收縮處理，從而預定區(qū)域的剪切之后的圖像的尺寸變成合成目標圖像的尺寸145 (圖6B所示)。然而，當在旋轉(zhuǎn)處理之后的捕獲圖像343的尺寸與合成目標圖像的尺寸相同的情況 下，不執(zhí)行剪切處理和放大/收縮處理。具體地，圖像處理單元150執(zhí)行旋轉(zhuǎn)處理，以便將捕獲圖像343在箭頭360所示的 方向旋轉(zhuǎn)90度。此外，圖像處理單元150對捕獲圖像343執(zhí)行剪切處理和放大/收縮處理， 以便允許在旋轉(zhuǎn)處理之后的捕獲圖像343具有合成目標圖像的尺寸145 (圖6B所示)。例如，將考慮如下的情況，其中由成像單元130生成的捕獲圖像343的圖像尺寸、 合成圖像的尺寸、和合成圖像的一個幀的尺寸(合成目標圖像的尺寸)與圖7A到圖7C所 示的示例的那些尺寸相同。換言之，將考慮其中Wl = 640,Hl = 480、W2 = 360、H2 = 480、 WlO = 1440 和 HlO = 960 的情況。在這樣的情況下，在旋轉(zhuǎn)處理之后的捕獲圖像343的縱橫比(Hl Wl = 3 4) 與合成目標圖像的縱橫比144(3 4)相同。相應地，圖像處理單元150對捕獲圖像343僅 僅執(zhí)行放大/收縮處理，而不執(zhí)行剪切處理。換言之，圖像處理單元150執(zhí)行收縮處理，從 而允許在旋轉(zhuǎn)處理之后的圖像尺寸H1XWK480像素X640像素)成為合成圖像的一個幀 的尺寸W2XH2(360像素X 480像素)，從而生成合成目標圖像361。隨后，圖像合成單元160對已經(jīng)由圖像處理單元150對其執(zhí)行加工處理的合成目 標圖像361執(zhí)行合成處理。圖8C以簡化方式示出已經(jīng)由圖像合成單元160對其執(zhí)行合成處理的圖像(合成 圖像36 。在這個示例中，示出了直到生成圖5C所示的合成圖像321為止的特定時間點 上的合成狀態(tài)。例如，假設圖8C所示的狀態(tài)處于當對合成目標圖像361(三個合成目標圖 像363、364和361)執(zhí)行合成處理時的時間點上。合成目標圖像363和364是通過使用圖 像處理單元150對圖4B所示的捕獲圖像341和342執(zhí)行加工處理所獲取的圖像。如圖8B所示，由圖像處理單元150對捕獲圖像343執(zhí)行加工處理，從而生成合成 目標圖像361。隨后，圖像合成單元160將合成目標圖像361合成到已經(jīng)事先生成的合成圖 像(合成目標圖像363和364)，從而生成合成圖像362。如上所述，由圖像合成單元160生成的合成圖像被存儲在合成圖像存儲單元180 中。然后，例如，根據(jù)用戶的操作來在顯示單元191中顯示該合成圖像。替換地，例如，可以 將合成圖像構(gòu)成為每當由圖像合成單元160生成合成圖像時自動地在顯示單元191中顯
7J\ ο這里，將描述在通過水平拍攝而執(zhí)行拍照的情況下生成的合成圖像、和在通過垂 直拍攝而執(zhí)行拍照的情況下生成的合成圖像。例如，在通過水平拍攝而執(zhí)行拍照的情況下， 如圖7B所示，捕獲圖像333的兩端部分的剪切區(qū)域352和353(140像素X480像素X2) 通過加工處理被作為不需要區(qū)域而浪費。相應地，在通過經(jīng)由水平拍攝而執(zhí)行拍照來生成 合成圖像的情況下，存在難以有效地使用由成像單元130生成的捕獲圖像的一部分分辨率 的可能性。例如，在圖7B所示的示例中，在由成像單元130生成的捕獲圖像333的分辨率 (640像素X 480像素)之中，僅可使用360像素X 480像素。另一方面，在通過垂直拍攝而執(zhí)行拍照的情況下，如圖8B所示，幾乎沒有在加工 處理中被作為不需要區(qū)域而浪費的捕獲圖像；343的區(qū)域。相應地，在通過經(jīng)由垂直拍攝而 執(zhí)行拍照來生成合成圖像的情況下，可以有效地使用由成像單元130生成的捕獲圖像的分 辨率。換言之，可以充分地使用捕獲圖像或成像裝置的高分辨率。此外，在通過調(diào)整具有相對低分辨率的圖像和具有相對高分辨率的圖像的大小來生成具有相同尺寸的圖像的情況 下，具有相對高分辨率的圖像可降低噪聲。此外，在圖8B所示的示例中，可通過充分地利用由成像單元130生成的捕獲圖像 343的分辨率(640像素X480像素)來生成合成圖像。相應地，可通過充分地利用變成成 像單元130的成像目標的成像范圍來執(zhí)行拍照。例如，在執(zhí)行成像以用于生成合成圖像的 情況下，攝影師可執(zhí)行垂直拍攝以便充分地包括成像范圍中的被觀察主體(例如，高爾夫 球選手)。相應地，可能在相對短的距離對在縱向上長的主體拍照(或執(zhí)行變焦拍照)。此 外，例如，當在高爾夫球練習區(qū)中執(zhí)行拍照時，在相對窄的場所頻繁地執(zhí)行拍照。如上所述， 由于即使在相對窄的場所(窄拍照空間)執(zhí)行拍照的情況下也可以執(zhí)行垂直拍攝，所以可 以通過使用根據(jù)用戶對構(gòu)圖的喜好而拍照的圖像、以容易的方式來生成合成圖像。此外，當 在這樣的窄拍照空間中執(zhí)行拍照的情況下，可以例如通過與廣轉(zhuǎn)換鏡頭組合而執(zhí)行拍照等 來改善效果。此外，由于可以降低用于合成圖像的捕獲圖像的不需要區(qū)域，所以可以抑制諸如 保持捕獲圖像的存儲器或功耗之類的浪費。成像設備的操作的示例圖9是示出根據(jù)本發(fā)明第一實施例的由成像設備100執(zhí)行的合成圖像生成處理的 處理過程的示例的流程圖。在這個示例中，將作為示例而描述其中由用戶指明成像操作狀 態(tài)、并且在成像操作狀態(tài)獲取單元120中保持所指明的成像操作狀態(tài)信息的情況。首先，確定是否設置合成圖像記錄模式(步驟S900)。當沒有設置合成圖像記錄模 式時(步驟S900)，完成合成圖像生成處理的操作。另一方面，當設置了合成圖像記錄模式 時(步驟S900)，確定是否執(zhí)行用于指引成像操作的操作(步驟S901)。當還沒有執(zhí)行用于 指引成像操作的操作時(步驟S901)，監(jiān)視操作繼續(xù)，直到執(zhí)行了用于成像操作的指引的操 作為止。此外，當執(zhí)行了用于成像操作的指引的操作時(步驟S901)，成像單元130執(zhí)行捕 獲圖像生成處理(步驟S902)。然后，將所生成的捕獲圖像設置為處理目標圖像。隨后，圖像處理單元150獲取在成像操作狀態(tài)獲取單元120中保持的成像操作狀 態(tài)信息，并且獲取在處理信息存儲單元140中存儲的與成像操作狀態(tài)信息相關聯(lián)的處理信 息(與所指明的成像操作狀態(tài)對應的處理信息)(步驟S903)。在這個示例中，表示了其中 每當生成捕獲圖像時獲取成像操作狀態(tài)信息和處理信息的示例。然而，可以構(gòu)成在指引成 像操作的開始之后(步驟S901)獲取成像操作狀態(tài)信息和處理信息，并且所獲取的處理信 息由圖像處理單元150來保持并用于加工處理。步驟S903是根據(jù)本發(fā)明實施例的成像操 作狀態(tài)獲取處理的示例。隨后，圖像處理單元150基于所獲取的處理信息(與所指明的成像操作狀態(tài)對應 的處理信息)來執(zhí)行加工處理(步驟S904到S909)。具體地，圖像處理單元150確定所獲 取的處理信息的旋轉(zhuǎn)角度(圖6B所示的旋轉(zhuǎn)角度143)是否為“0度”(步驟S904)。然后， 在旋轉(zhuǎn)角度不是“0度”的情況下(步驟S904)，圖像處理單元150基于所獲取的處理信息的 旋轉(zhuǎn)角度來對處理目標圖像執(zhí)行旋轉(zhuǎn)處理(步驟S905)，并且該處理前進到步驟S906。另 一方面，在旋轉(zhuǎn)角度是“0度”的情況下(步驟S904)，該處理前進到步驟S906。隨后，圖像處理單元150確定所獲取的處理信息的縱橫比(圖6B所示的合成目標
16圖像的縱橫比144)是否與處理目標圖像的縱橫比相同(步驟S906)。在所述縱橫比不同 的情況下(步驟S906)，圖像處理單元150對處理目標圖像執(zhí)行剪切處理，以便允許處理信 息的縱橫比與捕獲圖像的縱橫比相同(步驟S907)，并且該處理前進到步驟S908。另一方 面，在處理信息的縱橫比與捕獲圖像的縱橫比相同的情況下(步驟S906)，該處理前進到步 驟 S908。隨后，圖像處理單元150確定在與所指明的成像操作狀態(tài)對應的處理信息中包括 的尺寸(圖6B所示的合成目標圖像的尺寸144)是否與處理目標圖像的尺寸相同(步驟 S908)。在所述尺寸不同的情況下(步驟S908)，圖像處理單元150對處理目標圖像執(zhí)行放大 /收縮處理，以便允許在處理信息中包括的尺寸與處理目標圖像的尺寸相同(步驟S909)， 并且該處理前進到步驟S910。另一方面，當在處理信息中包括的尺寸與處理目標圖像的尺 寸相同的情況下(步驟S908)，該處理前進到步驟S910。在這個示例中，表示了其中按照旋 轉(zhuǎn)處理、剪切處理、和放大/收縮處理的順序來執(zhí)行加工處理的示例。然而，可以在改變這 種順序的情況下執(zhí)行加工處理。例如，可按照放大/收縮處理、剪切處理和旋轉(zhuǎn)處理的順序 來執(zhí)行加工處理。這里，步驟S904到S909是根據(jù)本發(fā)明實施例的圖像加工處理的示例。隨后，圖像合成單元160對已經(jīng)對其執(zhí)行加工處理的處理目標圖像執(zhí)行圖像合成 處理(步驟S910)。這里，步驟S910是根據(jù)本發(fā)明實施例的圖像合成過程的示例。隨后，確 定是否將處于生成處理中間的合成圖像設置為被顯示(步驟S911)。在將處于生成處理中 間的合成圖像設置為被顯示的情況下(步驟S911)，顯示控制單元190在顯示單元191中 顯示在處理目標圖像的合成處理之后的合成圖像(處于生成處理中間的合成圖像)(步驟 S912)。另一方面，在沒有將處于生成處理中間的合成圖像設置為被顯示的情況下(步驟 S911)，該處理前進到步驟S913。隨后，確定是否已經(jīng)完成預定數(shù)目處理目標圖像的合成處理(步驟S913)。在已經(jīng) 完成預定數(shù)目處理目標圖像的合成處理的情況下，完成合成圖像生成處理的操作。如上所 述生成的合成圖像被存儲在合成圖像存儲單元180中。此外，在完成合成圖像生成處理的 操作之后，可以將所生成的合成圖像構(gòu)成為自動地在顯示單元191中顯示。另一方面，在還 沒有完成預定數(shù)目處理目標圖像的合成處理的情況下(步驟S913)，處理返回到步驟S902。在改變合成目標圖像的數(shù)目的情況下的生成合成圖像的示例在上面的描述中，表示了在構(gòu)成合成圖像的合成目標圖像的數(shù)目相同的情況下的 生成合成圖像的示例。這里，例如，當期望更精細地觀看在高爾夫球揮桿的操作中的轉(zhuǎn)變 時，可考慮其中合成目標圖像的數(shù)目被增加地生成合成圖像的情況。這樣，下面示出其中在 通過用戶的操作來指明成像操作狀態(tài)和合成目標圖像的數(shù)目的情況下生成合成圖像的示 例。在這個示例中，表示其中指明“8”或“10”作為合成目標圖像的數(shù)目的示例。在所指明的屏幕中的成像操作狀態(tài)和合成目標圖像數(shù)目的顯示的示例、和處理信 息存儲單元的存儲的示例圖IOA和圖IOB是根據(jù)本發(fā)明第一實施例的顯示單元191中的顯示的示例(所指 明的屏幕400)和處理信息存儲單元410的存儲內(nèi)容的示例。圖IOA示出用于指明成像操作狀態(tài)和合成目標圖像數(shù)目的指明屏幕400。所述指 明屏幕400通過改變圖6A所示的成像操作狀態(tài)指明屏幕200的一部分來獲取。這樣，對于 與成像操作狀態(tài)指明屏幕200共同的每個部分，分配相同的附圖標記，并且省略其描述。
在指明屏幕400上，布置了 “水平拍攝、8個圖像”按鈕401、“垂直拍攝、8個圖像” 按鈕402、“水平拍攝、10個圖像”按鈕403、和“垂直拍攝、10個圖像”按鈕404、返回按鈕 203、和確定按鈕204?！八脚臄z、8個圖像”按鈕401和“垂直拍攝、8個圖像”按鈕402是與圖6A所示 的“水平拍攝”按鈕201、“垂直拍攝”按鈕202對應的按鈕，并且是在指明“8”作為合成目 標圖像的數(shù)目的情況下按下的按鈕?！八脚臄z、10個圖像”按鈕403和“垂直拍攝、10個圖像”按鈕404是在指明“10” 作為合成目標圖像的數(shù)目的情況下按下的按鈕。此外，當在構(gòu)成與操作中的轉(zhuǎn)變有關的合 成圖像的圖像被成像的情況下、指明成像操作狀態(tài)時，與圖6A所示的示例類似地，按下“水 平拍攝、10個圖像”按鈕403和“垂直拍攝、10個圖像”按鈕404。例如，在圖2A所示的成 像設備100狀態(tài)(所謂的水平拍攝)中執(zhí)行拍照的情況下，按下“水平拍攝、10個圖像”按 鈕403。另一方面，在圖2B所示的成像設備100狀態(tài)(所謂的垂直拍攝)中執(zhí)行拍照的情 況下，按下“垂直拍攝、10個圖像”按鈕404。圖IOB示意性示出處理信息存儲單元410的存儲內(nèi)容的示例。通過改變圖6B所 示的處理信息存儲單元140的一部分來獲取該處理信息存儲單元410。因此，下文中，描述 將集中在與處理信息存儲單元140的那些部分不同的部分上，并且在描述中省略共同部分 的部分。在處理信息存儲單元410中，旋轉(zhuǎn)角度415、合成目標圖像的縱橫比416、和合成目 標圖像的尺寸417被存儲為與水平拍攝(8個圖像)411、垂直拍攝(8個圖像)412、水平拍 攝(10個圖像)413和垂直拍攝(10個圖像)414相關聯(lián)。這里，水平拍攝(8個圖像)411 和水平拍攝(10個圖像)413對應于圖2A所示的成像操作狀態(tài)。另一方面，垂直拍攝(8個 圖像)412和垂直拍攝(10個圖像)414對應于圖2B所示的成像操作狀態(tài)。旋轉(zhuǎn)角度415、合成目標圖像的縱橫比416、和合成目標圖像的尺寸417對應于圖 6B所示的旋轉(zhuǎn)角度143、合成目標圖像的縱橫比144、和合成目標圖像的尺寸145。換言之， 在與水平拍攝(8個圖像)411和垂直拍攝(8個圖像)412對應的旋轉(zhuǎn)角度415、合成目標圖 像的縱橫比416、和合成目標圖像的尺寸417中，存儲與圖6B所示的處理信息相同的信息。 此外，在與水平拍攝(10個圖像)413和垂直拍攝(10個圖像)414對應的旋轉(zhuǎn)角度415、合 成目標圖像的縱橫比416、和合成目標圖像的尺寸417中，存儲與合成圖像的尺寸和合成目 標圖像的數(shù)目對應的相應值。基于成像操作狀態(tài)的合成圖像的生成的示例圖IlA到圖IlC是示意性示出根據(jù)本發(fā)明第一實施例的由圖像處理單元150執(zhí)行 的捕獲圖像加工處理和由圖像合成單元160執(zhí)行的合成圖像生成處理的流程示例的圖。這 個示例表示當在圖IOA所示的指明屏幕400上按下“垂直拍攝、10個圖像”按鈕404并按下 確定按鈕204的情況下、捕獲圖像加工處理和合成圖像生成處理的示例。這個示例是圖8A 到圖8C所表示的示例的修改示例，并且一部分加工處理不同于圖8A到圖8C所表示的示例 的加工處理。因此，下文中，描述將集中在與圖8A到圖8C所表示的示例的那些部分不同的 部分上，并且在描述中省略共同部分的部分。此外，除了剪切區(qū)域的范圍之外，在按下“垂直 拍攝、10個圖像”按鈕404并按下確定按鈕204的情況下執(zhí)行的捕獲圖像加工處理和合成 圖像生成處理與圖7A到圖7C所表示的那些處理相同。
圖IlA示意性示出矩形的由成像單元130生成的捕獲圖像343。與圖8A類似，假 設這個捕獲圖像343與圖4B所示的捕獲圖像343相同。圖IlB示意性示出由圖像處理單元150執(zhí)行的加工處理的流程。旋轉(zhuǎn)處理與圖8B 所表示的示例的旋轉(zhuǎn)處理相同。此外，圖像處理單元150基于在處理信息存儲單元410中 存儲的與“垂直拍攝(10個圖像)” 414相關聯(lián)的另一處理信息，來對捕獲圖像343執(zhí)行剪 切處理和放大/收縮處理。例如，將考慮其中由成像單元130生成的捕獲圖像333的圖像尺寸是VGA尺寸 (BP, Wl = 640和Hl = 480)的情況。此外，假設合成圖像的尺寸具有1440像素X960像 素(S卩，WlO = 1440和HlO = 960)，并且假設合成圖像的一個幀的尺寸(合成目標圖像的 尺寸)為2沏像素X4S0像素(即，W5 = 288和H2 = 480)。在這樣的情況下，在旋轉(zhuǎn)處理之后的捕獲圖像343的縱橫比(Hl Wl = 3 4) 與合成目標圖像的縱橫比416(3 幻彼此不同。相應地，對于捕獲圖像343，圖像處理單 元150執(zhí)行剪切處理，并且還執(zhí)行放大/收縮處理。換言之，圖像處理單元150執(zhí)行其中 捕獲圖像343的兩端部分的水平寬度H3(48像素)的區(qū)域(剪切區(qū)域421和42 被剪切 的剪切處理。隨后，圖像處理單元150執(zhí)行收縮處理，以便允許旋轉(zhuǎn)處理之后的圖像尺寸 H4XW1(384像素X640像素)為合成圖像的一個幀的尺寸W5XH2 Q88像素X480像素)， 從而生成合成目標圖像423。隨后，圖像合成單元160對已經(jīng)由圖像處理單元150對其執(zhí)行加工處理的合成目 標圖像361執(zhí)行合成處理。圖IlC以簡化方式示出已經(jīng)由圖像合成單元160對其執(zhí)行合成處理的圖像(合成 圖像424)。這里，合成目標圖像425和似6是通過使用圖像處理單元150對圖4B所示的捕 獲圖像341和342執(zhí)行加工處理而獲取的圖像。如圖IlB所示的，合成目標圖像423是通過使用圖像處理單元150對捕獲圖像343 執(zhí)行加工處理而生成的。隨后，圖像合成單元160將合成目標圖像423合成到事先生成的 合成圖像(合成目標圖像425和426)，從而生成合成圖像424。如上，在合成圖像的尺寸相同、并且合成目標圖像的數(shù)目被改變的情況下，可以以 容易的方式、通過用戶的指明操作來生成合成圖像。這里，在合成目標圖像的數(shù)目被增加的情況下，對水平拍攝和垂直拍攝的任何情 況生成剪切區(qū)域。例如，對于水平拍攝的情況，為了允許合成目標圖像的尺寸為288像 素X480像素，需要剪切兩端部分的剪切區(qū)域(176像素X 2)。換言之，盡管垂直拍攝的情 況中剪切區(qū)域的面積(一個圖像的面積)變成61440 = (48像素X640像素X》，但是水 平拍攝的情況中剪切區(qū)域的面積(一個圖像的面積)變成168960 = (176像素X480像 素Χ》。相應地，在通過垂直拍攝來生成合成圖像的情況下，可以降低通過水平拍攝來生成 合成圖像的情況中剪切區(qū)域的接近三倍的剪切區(qū)域。在指明不同成像操作狀態(tài)的情況下的合成圖像的生成示例在上面呈現(xiàn)的描述中，表示了其中在指明包括水平拍攝和垂直拍攝的兩類成像操 作狀態(tài)的情況下生成合成圖像的示例。這里，例如，可考慮在成像設備100被傾斜(所謂的 傾斜拍攝)的狀態(tài)中執(zhí)行成像操作的情況。因此，下文中，將表示其中在通過用戶的操作來 指明傾斜拍攝的情況下生成合成圖像的示例。
19
成像操作狀態(tài)的示例圖12是表示根據(jù)本發(fā)明第一實施例的成像設備100的外觀的構(gòu)成示例的圖。圖 12所表示的示例是表示在通過使用成像設備100來執(zhí)行拍照的情況下的成像操作狀態(tài)的 示例(所謂的傾斜拍攝)的示例。這里，在通過使用成像設備100來執(zhí)行傾斜拍攝的情況下，例如，如圖12所示，執(zhí) 行拍照，使得拍照范圍在傾斜的方向在縱向上長。具體地，例如，在其中在光軸132被用作 其旋轉(zhuǎn)軸的情況下、將圖12所示的成像設備100在箭頭430的方向旋轉(zhuǎn)β度(例如，40度 到60度)的狀態(tài)中執(zhí)行拍照。成像操作狀態(tài)指明屏幕的顯示示例和處理信息存儲單元的存儲示例圖13Α和圖1 是示出根據(jù)本發(fā)明第一實施例的顯示單元191的顯示示例(成像 操作狀態(tài)指明屏幕440)和處理信息存儲單元450的存儲內(nèi)容的示例的圖。圖13A示出用于指明成像操作狀態(tài)的成像操作狀態(tài)指明屏幕440。通過修改圖6A 所示的成像操作狀態(tài)指明屏幕200的一部分來獲取成像操作狀態(tài)指明屏幕440。這樣，對于 與成像操作狀態(tài)指明屏幕200共同的每個部分，分配相同的附圖標記，并且省略其描述。在成像操作狀態(tài)指明屏幕440上，布置了 “水平拍攝”按鈕201、“垂直拍攝”按鈕 202、“傾斜拍攝”按鈕441、返回按鈕203和確定按鈕204?！皟A斜拍攝”按鈕441是在構(gòu)成與操作中的轉(zhuǎn)變有關的合成圖像的圖像被成像的情 況下當指明成像操作狀態(tài)時按下的按鈕。例如，在圖12所示的成像設備100狀態(tài)(所謂的 傾斜拍攝)中執(zhí)行拍照的情況下，按下“傾斜拍攝”按鈕441。圖1 示意性示出處理信息存儲單元450的存儲內(nèi)容的示例。該處理信息存儲單 元450是通過改變圖6B所示的處理信息存儲單元140的一部分而獲取的。因此，下文中， 描述將集中在與處理信息存儲單元140的那些部分不同的部分上，并且在描述中省略共同 部分的部分。在處理信息存儲單元450中，旋轉(zhuǎn)角度454、合成目標圖像的縱橫比455、和合成目 標圖像的尺寸456被存儲為與水平拍攝451、垂直拍攝452和傾斜拍攝453相關聯(lián)。這里， 水平拍攝451和垂直拍攝452對應于圖6B所示的水平拍攝141和垂直拍攝142。旋轉(zhuǎn)角度454、合成目標圖像的縱橫比455、和合成目標圖像的尺寸456對應于圖 6B所示的旋轉(zhuǎn)角度143、合成目標圖像的縱橫比144、和合成目標圖像的尺寸145。具體地， 在與傾斜拍攝453相關聯(lián)的旋轉(zhuǎn)角度妨4中，存儲在成像操作時的角度(β)。此外，在與傾 斜拍攝453對應的合成目標圖像的縱橫比455、和合成目標圖像的尺寸456中，存儲與合成 圖像的尺寸和合成目標圖像的數(shù)目對應的相應值?；诔上癫僮鳡顟B(tài)的合成圖像的生成的示例圖14Α到圖14C是示意性示出根據(jù)本發(fā)明第一實施例的由圖像處理單元150執(zhí)行 的捕獲圖像加工處理和由圖像合成單元160執(zhí)行的合成圖像生成處理的流程示例的圖。這 個示例表示當其中在圖13Α所示的成像操作狀態(tài)指明屏幕440上按下“傾斜拍攝1 鈕401 并按下確定按鈕204的情況下、捕獲圖像加工處理和合成圖像生成處理的示例。這個示例 是圖IlA到圖IlC所表示的示例的修改示例，并且加工處理的一部分不同于圖IlA到圖IlC 所表示的示例的加工處理。因此，下文中，描述將集中在與圖IlA到圖IlC所表示的示例的 那些部分不同的部分上，并且在描述中省略共同部分的部分。
圖14A示意性示出矩形的由成像單元130生成的捕獲圖像461。在該圖中沒有示 出在圖像組460中包括的其它捕獲圖像(在捕獲圖像461之前和之后的捕獲圖像)，并且省 略其描述。圖14B示意性示出由圖像處理單元150執(zhí)行的加工處理的流程。圖像處理單元 150基于在處理信息存儲單元450(圖1 所示)中存儲的與“傾斜拍攝” 441相關聯(lián)的旋 轉(zhuǎn)角度454(β度)來對捕獲圖像461執(zhí)行旋轉(zhuǎn)處理。此外，圖像處理單元150基于在處理 信息存儲單元450中存儲的與“傾斜拍攝141相關聯(lián)的另一處理信息來對捕獲圖像461執(zhí) 行剪切處理和放大/收縮處理。具體地，圖像處理單元150執(zhí)行旋轉(zhuǎn)處理，以便在箭頭470的方向?qū)⒉东@圖像461 旋轉(zhuǎn)β度。此外，圖像處理單元150在旋轉(zhuǎn)處理之后對捕獲圖像461執(zhí)行剪切處理和放 大/收縮處理，以便允許在旋轉(zhuǎn)處理之后的捕獲圖像461具有合成目標圖像的尺寸456 (圖 13Β所示)。例如，圖像處理單元150執(zhí)行其中在旋轉(zhuǎn)處理之后的捕獲圖像461的兩端部分 的水平寬度Η5的區(qū)域(剪切區(qū)域462和463)被剪切的剪切處理。隨后，圖像處理單元150 執(zhí)行收縮處理，以便允許在剪切處理之后的圖像尺寸(圖像464的尺寸(W6XH6))成為合 成圖像的一個幀的尺寸W20XH20，從而生成合成目標圖像465。隨后，圖像合成單元160對已經(jīng)由圖像處理單元150對其執(zhí)行加工處理的合成目 標圖像465執(zhí)行合成處理。圖14C以簡化方式示出已經(jīng)由圖像合成單元160對其執(zhí)行合成處理的圖像(合成 圖像466)。這里，合成圖像466是通過將已經(jīng)由圖像處理單元150對其執(zhí)行加工處理的圖 像合成到在圖像組460中包括的其它捕獲圖像(在捕獲圖像461之前和之后的捕獲圖像) 而獲取的圖像。如圖14Β所示，通過使用圖像處理單元150對捕獲圖像461執(zhí)行加工處理來生成 合成目標圖像465。隨后，圖像合成單元160將合成目標圖像465合成到事先生成的合成圖 像，從而生成合成圖像。然后，通過甚至對捕獲圖像461之后的捕獲圖像也類似地執(zhí)行加工 處理和合成處理，來生成合成圖像466。如上，通過指明除了水平拍攝和垂直拍攝之外的成像操作狀態(tài)(傾斜拍攝)，可以 以容易的方式來生成根據(jù)用戶的喜好的合成圖像。這里，在指明傾斜拍攝而生成合成圖像 的情況下，盡管用作合成目標圖像的一部分圖像變成剪切處理，但是與水平拍攝或垂直拍 攝的情況相比，可以有效地使用在縱向上長的分辨率。圖像合成的修改示例如上，已經(jīng)表示了如下的示例，其中通過對捕獲圖像執(zhí)行加工處理以便成為合成 目標圖像的尺寸、并且對已經(jīng)對其執(zhí)行加工處理的合成目標圖像進行合成以便排列，來生 成合成圖像。下文中，將表示如下的示例，其中生成合成圖像，使得部分相鄰的合成目標圖 像彼此重疊。換言之，將表示其中通過將合成目標圖像分類為被觀察主體層和背景層來生 成合成圖像的示例。成像設備的構(gòu)成示例圖15是表示根據(jù)本發(fā)明第一實施例的成像設備500的功能構(gòu)成示例的框圖。成 像設備500是通過布置成像單元510、主體信息生成單元520、選擇單元530、和層處理單元 540而替代圖1所示的成像設備100中的成像單元130、圖像處理單元150和圖像合成單元160來獲取的。其它部分實際上與成像設備100的那些部分相同。因此，對于每個共同部分 分配相同的附圖標記，并且省略其部分的描述。成像設備500例如可通過數(shù)字攝像機來實 現(xiàn)，其可通過對主體成像來生成捕獲圖像(圖像數(shù)據(jù))，通過對該圖像數(shù)據(jù)執(zhí)行圖像分析來 提取特征量，并通過使用所提取的特征量來執(zhí)行各種圖像處理。成像單元510與圖1所示的成像單元130類似地生成捕獲圖像(圖像數(shù)據(jù))。在 設置合成目標圖像記錄模式的情況下，成像單元510以預定的幀率生成捕獲圖像(幀)，并 隨后將所生成的捕獲圖像供應到圖像選擇部件531。此外，所生成的捕獲圖像以及在生成捕 獲圖像時每個鏡頭(聚焦鏡頭和變焦鏡頭)的位置和焦點對準位置被供應到主體信息生成 單元520。主體信息生成單元520基于由成像單元510生成的捕獲圖像和在生成捕獲圖像時 的信息(例如，鏡頭的位置和焦距對準位置)來生成與捕獲圖像有關的主體信息。然后，主 體信息生成單元520依次將所生成的主體信息供應到圖像選擇部件531。這個主體信息例 如是用于在由成像單元510生成的捕獲圖像中包括的主體之中確定被觀察主體的區(qū)域和 其背景區(qū)域的信息。作為這個主體信息，例如生成景深圖(depth map)。這里，景深圖是表 示從成像位置(例如，成像設備500的位置)一直到包括在捕獲圖像中的主體的距離(主 體距離)的數(shù)據(jù)。作為生成景深圖的方法，例如可使用TOF(飛行時間Time of flight)方 法、或散焦測深(D印th from Defocus)等。例如，TOF方法是如下的方法，其中從光源發(fā)射 的光被目標對象反射，并基于直到光到達傳感器為止的光的延遲時間和光的速度來計算一 直到主體的距離。選擇單元530包括圖像選擇部件531和坐標計算部件532。圖像選擇部件531從由成像單元510生成的捕獲圖像之中選擇用于由層處理單元 540執(zhí)行的合成圖像生成處理的圖像(目標圖像)。例如，圖像選擇部件531從由成像單元 510以每個預定間隔生成的捕獲圖像之中選擇圖像作為目標圖像。替換地，例如，可選擇目 標圖像，以便獲取適合于可視地識別被觀察主體的操作中的轉(zhuǎn)變的間隔。然后，圖像選擇部 件531輸出關于所選擇的目標圖像的信息(例如，目標圖像和關于目標圖像的主體信息) 到坐標計算部件532和層分離部件Ml。坐標計算部件532對從圖像選擇部件531輸出的每個目標圖像計算用于由層處理 單元540執(zhí)行的合成圖像生成處理的坐標。然后，坐標計算部件532將所計算的坐標輸出 到層處理部件M2。在這個坐標計算處理中，計算其中要合成作為計算目標的目標圖像的合 成圖像的像素位置。換言之，在這個坐標計算處理中，計算在最終生成的合成圖像之中被施 加了作為計算目標的合成目標圖像的像素范圍。層處理單元540包括層分離部件Ml、層處理部件542和層合成部件M3。層分離部件541通過使用對應的主體信息而對由圖像選擇部件531選擇的目標圖 像執(zhí)行層分離。這里，假設層表示通過從一個圖像(幀)中分離被觀察主體部分和背景部 分而獲取的每個圖像。然后，層分離部件541輸出每個分離的層圖像到層處理部件M2。層處理部件542通過對從層分離部件541輸出的每個層圖像使用由坐標計算部件 532計算的坐標來執(zhí)行用于生成合成圖像的各種加工處理。這些加工處理與上述加工處理 相同。然后，層處理部件M2向?qū)雍铣刹考?43輸出已經(jīng)對其執(zhí)行加工處理的層圖像。這 里，層處理部件542是根據(jù)本發(fā)明實施例的圖像處理單元的示例。
22
層合成部件543對從層處理部件542輸出的層圖像執(zhí)行圖像合成處理，并將所生 成的合成圖像存儲在合成圖像存儲單元180中。具體地，層合成部件543合成層圖像，使得 從層處理部件542輸出的層圖像被布置在向其施加了層圖像的像素范圍中。此外，在用于 緊接在當前合成處理之前變成合成目標的層圖像的合成處理之后，層合成部件543依次在 合成圖像保持單元170中保持合成圖像(歷史圖像)。然后，當執(zhí)行用于變成接下來的合成 目標的層圖像的合成處理時，層合成部件543從合成圖像保持單元170中獲取在合成圖像 保持單元170中保持的合成圖像(歷史圖像)，并將所述合成圖像用于合成處理。這里，層 合成部件543是根據(jù)本發(fā)明實施例的圖像合成單元的示例。合成目標圖像的層分離的示例圖16A和圖16B是示意性表示根據(jù)本發(fā)明第一實施例的通過使用層分離部件541 來分離合成目標圖像的方法的圖。這個示例表示其中基于由主體信息生成單元520生成的 主體信息來將由圖像選擇部件531選擇的目標圖像分離為兩層的示例。圖16A到圖19B所 表示的示例表示了在執(zhí)行垂直拍攝的情況下的圖像合成的示例。圖16A表示目標圖像550和對目標圖像550生成的主體信息552。這里，目標圖 像550是包括人551的圖像。作為由主體信息生成單元520生成的主體信息，例如生成如 下的信息，其中將“ 1”分配到與被觀察主體區(qū)域?qū)南袼?，并且將?”分配到與除了被觀 察主體區(qū)域之外的諸如背景區(qū)域之類的區(qū)域?qū)南袼?。在圖16A中，示意性地表示其中 與人551對應的區(qū)域(被觀察主體區(qū)域)是白色區(qū)域553、而除了人551之外的區(qū)域(背景 區(qū)域)是黑色區(qū)域的主體信息陽2。如上所述，由成像單元510生成的捕獲圖像和由主體信息生成單元520與捕獲圖 像相關聯(lián)地生成的主體信息被依次供應到圖像選擇部件531。圖像選擇部件531從供應自 成像單元510的捕獲圖像之中選擇用于由層處理單元540執(zhí)行的合成圖像生成處理的圖 像。然后，圖像選擇部件531輸出所選擇的目標圖像和對目標圖像生成的主體信息到層分 離部件Ml。然后，層分離部件541通過使用對應的主體信息來將從圖像選擇部件531輸出 的目標圖像分離為兩層。圖16B表示由層分離部件541分離的被觀察主體層560和背景層562。被觀察主 體層560是通過提取圖16A所示的目標圖像550的被觀察主體區(qū)域(即，向其分配了作為 主體信息陽2的“1”的像素區(qū)域)而形成的圖像。換言之，提取與包括在目標圖像550中 的人551對應的區(qū)域561。此外，背景層562是通過提取圖16A所示的目標圖像550的背 景部分(即，向其分配了作為主體信息陽2的“0”的像素區(qū)域)而形成的圖像。換言之，提 取與包括在目標圖像陽0中的除了人551之外的區(qū)域(背景區(qū)域)對應的區(qū)域(除了區(qū)域 563之外的區(qū)域)。層處理部件542對如上所述彼此分離的層圖像執(zhí)行各種加工處理。將參考圖17A 和圖17B來詳細描述這個處理示例。處理合成目標圖像的示例圖17A和圖17B是以簡化方式示出根據(jù)本發(fā)明第一實施例的由層處理部件542對 其執(zhí)行旋轉(zhuǎn)處理的圖像和由層處理部件542對其執(zhí)行剪切處理的圖像的圖。為了便于描 述，圖17A和圖17B表示其中通過使用處于層分離之前的狀態(tài)中的目標圖像來執(zhí)行加工處 理的示例。
圖17A示出由層處理部件在由箭頭572所表明的方向)對其執(zhí)行旋轉(zhuǎn)處理 的目標圖像570。此外，圖17B示意性表示由層處理部件542執(zhí)行的剪切處理。在目標圖像 570中，假設包括進行高爾夫球揮桿的人571。例如，假設圖17A所示的目標圖像570具有垂直寬度Wl和水平寬度Hl的圖像尺 寸。例如，目標圖像570的圖像尺寸可被設置為VGA尺寸(640像素X480像素)。換言之， 它可被設置為使得Wl = 640和Hl = 480。圖17B所示的水平寬度H51是剪切區(qū)域573和574的寬度。除了剪切區(qū)域573和 574之外的圖像是與圖17A所示的目標圖像570的轉(zhuǎn)變操作有效區(qū)域?qū)膱D像。這個轉(zhuǎn) 變操作有效區(qū)域是用于剪切在加工處理之前的目標圖像中包括的主體之中的被觀察主體 的區(qū)域。例如，可以將與轉(zhuǎn)變操作有效區(qū)域?qū)膱D像的圖像尺寸設置為320像素X640像素。圖17B所示的水平寬度H52是剪切區(qū)域575和576的寬度。除了剪切區(qū)域573到 576之外的圖像(水平寬度H53的圖像)是與圖17A所示的目標圖像570的剩余背景區(qū)域 對應的圖像。這個剩余背景區(qū)域是在合成處理中用作背景圖像的區(qū)域。例如，與剩余背景 區(qū)域?qū)膱D像的圖像尺寸可被設置為160像素X640像素。這里，假設轉(zhuǎn)變操作有效區(qū)域和剩余背景區(qū)域的中心位置與目標圖像的中心位置一致。此外，圖17A和圖17B所表示的示例僅僅是示例。因此，優(yōu)選地，根據(jù)主體的尺寸 和移動，適當?shù)卦O置轉(zhuǎn)變操作有效區(qū)域和剩余背景區(qū)域的寬度和高度，從而被剪切為用于 合成處理的圖像。圖像合成的示例圖18A和圖18B是示意性表示根據(jù)本發(fā)明第一實施例的使用層合成部件543的合 成方法的圖。這個示例表示其中對在時間序列中連續(xù)的兩個合成目標圖像執(zhí)行合成處理的 示例。圖18A以簡化的方式示出由層分離部件541分離并且由層處理部件542處理的合 成目標圖像(在時間序列中連續(xù)的兩個合成目標圖像)。如上所述，合成目標圖像被層分離 部件541分離為被觀察主體層和背景層。此外，層處理部件542對由層分離部件541分離 的被觀察主體層和背景層執(zhí)行加工處理。如上，由于在時間序列中連續(xù)的兩個合成目標圖 像被分離并處理，所以生成四個層(第一優(yōu)先級圖像581到第四優(yōu)先級圖像584)，如圖18A 所示。首先，假設第一優(yōu)先級圖像581是在時間軸上被布置在后面的合成目標圖像的被 觀察主體層，并且第三優(yōu)先級圖像583是合成目標圖像的背景層。此外，假設第二優(yōu)先級圖 像582是在時間軸上被布置在前面的合成目標圖像的被觀察主體層，并且第四優(yōu)先級圖像 584是合成目標圖像的背景層。在合成這樣的圖像的情況下，圖像被合成，使得以覆寫的方 式來寫入具有更高優(yōu)先級的圖像。圖18B示出基于層圖像的優(yōu)先級等級而生成的合成圖像589。換言之，層合成部件 543通過基于優(yōu)先級等級來合成四個層(第一優(yōu)先級圖像581到第四優(yōu)先級圖像584)而 生成合成圖像589。合成圖像589是如下的圖像，其被合成，使得在第一優(yōu)先級圖像581中 包括的人圖像585和在第二優(yōu)先級圖像582中包括的人圖像586重疊在由第三優(yōu)先級圖像583和第四優(yōu)先級圖像584合成的背景區(qū)域中的上側(cè)。在這樣的情況下，第三優(yōu)先級圖像 583被合成以便重疊于在第四優(yōu)先級圖像584的上方的上側(cè)。此外，執(zhí)行圖像合成，使得在 第一優(yōu)先級圖像中包括的人圖像585重疊于在包括于第二優(yōu)先級圖像582中的人圖像586 的上方的上側(cè)。此外，如圖19A和圖19B所示，在通過依次合成三個或更多合成目標圖像來生成合 成圖像的情況下，通過沿時間序列依次對合成目標圖像進行合成來生成合成圖像。此外，在 時間序列中連續(xù)的兩個合成目標圖像之中，在時間軸上被布置在前面的合成目標圖像被保 持在合成圖像保持單元170中，直到執(zhí)行用于在后面的合成目標圖像的合成處理為止。圖19A和圖19B是示意性示出根據(jù)本發(fā)明第一實施例的通過使用層合成部件543 對合成目標圖像進行合成的方法的圖。這個示例表示對合成目標圖像進行合成、直到生成 圖19B所示的合成圖像595為止的示例。圖19A表示直到生成圖19B所示的合成圖像595為止的特定時間點上的合成狀 態(tài)。例如，圖19A所示的狀態(tài)被假設處于當對合成目標圖像592(兩層圖像)執(zhí)行合成處理 時的時間點。換言之，圖19A表示與通過對緊接在前的合成目標圖像593執(zhí)行合成處理所 獲取的合成目標圖像592和合成圖像591對應的轉(zhuǎn)變操作有效區(qū)域E10。在這個示例中，假 設緊接之前變成合成目標的層圖像被保持在合成圖像保持單元170中。這里，在合成目標圖像592的區(qū)域Ell中，在緊接在前的合成目標圖像593和合成 目標圖像592之間沒有重疊區(qū)域。相應地，在合成目標圖像592被合成到合成圖像591的 情況下，在合成目標圖像592的區(qū)域Ell中，以覆寫的方式直接將合成目標圖像592的轉(zhuǎn)變 操作有效區(qū)域的像素合成到合成圖像591，作為新的合成圖像。然而，在合成目標圖像592的區(qū)域E12中，合成目標圖像592與緊接在前的合成目 標圖像593的一部分重疊。這樣，在合成目標圖像592的區(qū)域E12中，如圖18A和圖18B所 示的，按照優(yōu)先級等級來合成層圖像。換言之，層合成部件543在區(qū)域E12中基于優(yōu)先級等級、通過使用變成這次的合成 目標的合成目標圖像592的層圖像和在合成圖像保持單元170中保持的緊接前次的合成 目標圖像593來合成層圖像。通過執(zhí)行這樣的合成，從合成目標圖像592和593生成區(qū)域 “E11+E12”的合成圖像。然后，層合成部件543將如上所述生成的區(qū)域“E11+E12”的合成圖 像以覆寫方式而合成到在合成圖像保持單元170中保持的合成圖像(已經(jīng)向其合成了緊接 在前的合成目標圖像593的合成圖像)。換言之，層合成部件543執(zhí)行如下的處理，其中將 如上所述通過合成而生成的區(qū)域“E11+E12”的合成圖像與對應于在合成圖像保持單元170 中保持的合成圖像的El附接在一起。此外，當前作為合成目標的合成目標圖像592 (兩層圖像)和通過這次的合成處理 而生成的合成圖像被保持在合成圖像保持單元170中，并用于下次的合成處理。在圖19B 中示出如上所述生成的合成圖像的示例。如上所述，對于在合成處理時在連續(xù)圖像之間重疊的區(qū)域(例如，區(qū)域E12)，首 先，通過基于優(yōu)先級等級來合成層圖像，可以生成合成圖像，而沒有招致被觀察主體的一部 分的損失。相應地，即使在通過使用多個合成目標圖像來生成合成圖像的情況下，也可生成 能夠適當?shù)乇硎颈挥^察主體的操作的操作轉(zhuǎn)變圖像。如上，由層合成部件543生成的合成圖像595被存儲在合成圖像存儲單元180中。然后，例如根據(jù)用戶的操作來在顯示單元191中顯示合成圖像595。此外，例如，可以每當層 合成部件543生成合成圖像時在顯示單元191中自動地顯示合成圖像。2.第二實施例在本發(fā)明的第一實施例中，已經(jīng)表示了通過用戶的操作來指明用于合成目標圖像 加工處理的成像操作狀態(tài)的示例。在本發(fā)明的第二實施例中，將表示通過使用除了用戶的 操作之外的方法來獲取成像操作狀態(tài)的示例。成像設備的構(gòu)成示例圖20是表示根據(jù)本發(fā)明第二實施例的成像設備600的功能構(gòu)成示例的框圖。通過 布置成像操作狀態(tài)獲取單元610而替代在圖1所示的成像設備100中的成像操作狀態(tài)獲取 單元120，來獲取成像設備600。其它部分實際上與成像設備100的那些部分相同。這樣， 將相同的附圖標記分配到每個共同的部分，并且省略其部分的描述。成像操作狀態(tài)獲取單元610通過檢測成像設備600的加速度、移動、和傾斜等來檢 測成像設備600的姿勢，從而獲取成像操作狀態(tài)。此外，成像操作狀態(tài)獲取單元610將表示 所獲取的成像操作狀態(tài)的信息(成像操作狀態(tài)信息)供應到圖像處理單元150。作為這樣 的成像操作狀態(tài)信息，如圖2所表示的，獲取在將成像設備600的光軸用作中心的情況下、 關于成像設備600旋轉(zhuǎn)角度(0度(水平拍攝)或90度(垂直拍攝))的信息。例如，可通 過陀螺儀傳感器或加速度傳感器來實現(xiàn)成像操作狀態(tài)獲取單元610。成像設備的另一構(gòu)成示例圖21是表示根據(jù)本發(fā)明第二實施例的成像設備620的功能構(gòu)成示例的框圖。通 過布置主體信息檢測單元630而替代在圖1所示的成像設備100中的成像操作狀態(tài)獲取單 元120，來獲取成像設備620。其它部分實際上與成像設備100的那些部分相同。因此，將 相同的附圖標記分配到每個共同的部分，并且省略其部分的描述。主體信息檢測單元630檢測關于在成像單元130所生成的捕獲圖像中包括的主體 的信息，從而獲取成像操作狀態(tài)。此外，主體信息檢測單元630將表示所獲取的成像操作狀 態(tài)的信息(成像操作狀態(tài)信息)供應到圖像處理單元150。作為這樣的成像操作狀態(tài)信息， 如圖2所表示的，獲取在將成像設備620的光軸用作中心的情況下、關于成像設備620的旋 轉(zhuǎn)角度(0度(水平拍攝)或90度(垂直拍攝))的信息。例如，主體信息檢測單元630檢測在由成像單元130所生成的捕獲圖像中包括的 人的臉，并且指定所檢測的臉的垂直方向，從而獲取成像操作狀態(tài)。此外，例如，主體信息檢 測單元630檢測在由成像單元130生成的捕獲圖像中包括的人體，并指定所檢測的人體的 垂直方向，從而獲取成像操作狀態(tài)。作為檢測在捕獲圖像中包括的臉的方法，例如，可使用 通過在記錄臉的亮度分布信息的模板與捕獲圖像之間的匹配進行的面部檢測方法(例如， 參見日本未審查專利申請公布第2004-133637號)。此外，可使用基于在捕獲圖像中包括的 人臉的皮膚顏色(skin-colored)部分或特征量的面部檢測方法。此外，基于所檢測的臉的 特性信息，可檢測在成像設備中的所檢測的臉的垂直方向。作為這個特性檢測方法，例如可 使用其中由簡化的確定裝置使用臉圖像中的兩個點之間的亮度的差值來檢測每個特性的 檢測方法(例如，參見日本未審查專利申請公布第2009-118009號)。通過使用這樣的檢測 方法，可以獲取在人臉的捕獲圖像中的垂直方向。主體信息檢測單元630是根據(jù)本發(fā)明實 施例的成像操作狀態(tài)獲取單元的示例。
26
3.第三實施例在本發(fā)明的第一和第二實施例中，已經(jīng)表示了其中生成主要進行高爾夫球揮桿的 人的操作中的轉(zhuǎn)變作為合成圖像的示例。這里，本發(fā)明的第一和第二實施例也可應用到其 中生成例如除了高爾夫球之外的運動中的操作中的轉(zhuǎn)變作為合成圖像的情況。此外，本發(fā) 明的第一和第二實施例也可應用到其中生成在預定規(guī)則下的被觀察主體的預定移動操作 中的轉(zhuǎn)變作為合成圖像的情況。這樣，在本發(fā)明的第三實施例中，將表示其中根據(jù)用戶的喜 好而生成合成圖像的示例。被觀察主體的示例圖22A到圖22H是示出根據(jù)本發(fā)明第三實施例的、變成用于通過使用成像設備來 生成合成圖像的目標的被觀察主體和預定操作的示例的圖。圖23是表示根據(jù)本發(fā)明第三 實施例的、變成成像設備的用于生成合成圖像的目標的被觀察主體和預定操作特征的示例 的圖。圖22k到圖22H以圖形方式表示被觀察主體和預定操作的示例。例如，人651是 在棒球比賽中進行擊球的人，人652是在棒球比賽中投球的人，以及人653是在足球比賽中 進行射門的人。此外，人肪4是在網(wǎng)球中進行發(fā)球的人，人655是在籃球比賽中進行投籃的 人，以及人656是在游泳中進行自由泳的人。此外，人657是進行日本劍術的人，以及人658 是跑短跑的人。此外，以虛線的矩形示意性表示根據(jù)圖22A到圖22H所示的人651到658的預定 操作而考慮的移動范圍661到668。圖23以表格的形式表示圖22A到圖22H所示的被觀察主體和預定操作特征的示 例。在圖23所示的表格中，作為圖22A到圖22H所示的被觀察主體和預定操作特征，示出 了被觀察主體狀態(tài)672、操作范圍673、成像操作方法674和合成目標圖像的縱橫比675。此 外，在對應畫面671中表示了與圖22A到圖22H對應的畫面。被觀察主體狀態(tài)672是被觀察主體(人651到658)的狀態(tài)。例如，在人的狀態(tài)處 于水平方向的狀態(tài)中進行如圖22F所示的游泳。相應地，在被觀察主體狀態(tài)672中表示“在 橫向上長”。另一方面，除了游泳之外的運動主要以站立狀態(tài)來進行。相應地，在被觀察主 體狀態(tài)672中表示“在縱向上長”。操作范圍673是被觀察主體的假設的操作范圍(預定操作的操作范圍)。在操作 范圍673中，例如，在被觀察主體的操作范圍相對大的情況下，表示“大”，并且在被觀察主 體的操作范圍小的情況下，表示“小”。另一方面，在被觀察主體的操作范圍處于其中間的情 況下，在其中表示“中”。此外，在括號中表示主要移動方向。進一步地，在游泳和田徑(短 跑)中，被觀察主體始終在移動，并因此表示其指示。成像操作方法674是在對被觀察主體拍照的情況下成像設備的狀態(tài)。例如，在游 泳和田徑(短跑)中，如上所述，被觀察主體始終在移動。相應地，成像設備需要根據(jù)所述 移動來移動。另一方面，在被觀察主體在預定范圍內(nèi)移動的許多其它運動中，并相應地，成 像設備可在被固定的同時執(zhí)行拍照。合成目標圖像的縱橫比675是與構(gòu)成合成圖像的合成目標圖像的尺寸對應的值。 合成目標圖像的縱橫比675對應于被觀察主體的移動范圍，并例如對應于圖22A到圖22H 所示的運動范圍661到668(虛線的矩形)中的每個的縱橫比。
成像設備的構(gòu)成示例圖M是表示根據(jù)本發(fā)明第三實施例的成像設備700的功能構(gòu)成示例的框圖。通 過布置處理信息存儲單元720而替代處理信息存儲單元140并且在圖1所示的成像設備 100中添加預定操作信息獲取單元710來獲取成像設備700。其它部分實際上與成像設備 100的那些部分相同。這樣，將相同的附圖標記分配到每個共同的部分，并且省略其部分的 描述。預定操作信息獲取單元710獲取由被觀察主體執(zhí)行的預定操作(例如，運動等)， 并保持表示所獲取的預定操作的信息(預定操作信息)。在這個預定操作信息中，例如如圖 22A到圖22H和圖23所示，保持表示每個運動的信息。然后，預定操作信息獲取單元710將 所保持的預定操作信息供應到圖像處理單元150。處理信息存儲單元720存儲用于由圖像處理單元150執(zhí)行的合成目標圖像的加工 處理的信息(處理信息)，并且將所存儲的處理信息供應到圖像處理單元150。將參考圖沈 來詳細描述處理信息存儲單元720的存儲內(nèi)容。這里，處理信息存儲單元720是根據(jù)本發(fā) 明實施例的存儲單元的示例。預定操作指明屏幕的顯示示例圖25是表示根據(jù)本發(fā)明第三實施例的顯示單元191的顯示示例(預定操作指明 屏幕730)的圖。該預定操作指明屏幕730是用于指明預定操作的指明屏幕。在預定操作 指明屏幕730上，布置了預定操作按鈕731到740、返回按鈕741、和確定按鈕742。預定操作按鈕731到740是當指明預定操作時按下的按鈕。例如，預定操作按鈕 731到740是與圖22A到圖22H和圖23所示的運動對應的按鈕。確定按鈕742是當在執(zhí)行指明了預定操作的按下操作之后要確定指明時按下的 按鈕。返回按鈕741例如是被按下以便返回到緊接在當前顯示屏幕之前顯示的顯示屏幕的 按鈕。處理信息存儲單元的存儲示例圖沈是表示根據(jù)本發(fā)明第三實施例的處理信息存儲單元720的存儲內(nèi)容的示例 的圖。在處理信息存儲單元720中，與預定操作751到760相關聯(lián)地存儲旋轉(zhuǎn)角度721、合 成目標圖像的縱橫比722和合成目標圖像的尺寸723。此外，高爾夫球(揮桿)751對應于 圖6B所示的水平拍攝141和垂直拍攝142。在旋轉(zhuǎn)角度721中，存儲與圖2A所示的成像操作狀態(tài)相關的旋轉(zhuǎn)角度。例如，將 “0度”存儲為與預定操作751到760的水平拍攝相關聯(lián)，并且將“90度”存儲為與預定操作 751到760的垂直拍攝142相關聯(lián)。在合成目標圖像的縱橫比722中，存儲合成目標圖像的縱橫比。在圖沈所示的示 例中，表示其中使用與圖23所示的合成目標圖像的縱橫比675的值相同的值的示例。在合成目標圖像的尺寸723中，存儲合成目標圖像的尺寸。該尺寸基于合成圖像 的尺寸、構(gòu)成合成圖像的合成目標圖像的數(shù)目、和合成目標圖像的縱橫比等來確定。在圖26 所示的示例中，僅寫入與高爾夫球(揮桿)751對應的值，并且如下地寫入其它值的特征。例如，棒球(擊球)752的縱橫比優(yōu)選地被設置為在橫向上長。然而，由于在垂直 方向幾乎沒有操作范圍，所以可以不將縱橫比設置為在橫向上長到高爾夫球(揮桿)751的 情況的程度。此外，對于棒球(投球)753，由于被觀察主體在水平方向移動很多，所以棒球(投球)753的縱橫比優(yōu)選地被設置為在橫向上長。此外，例如，對于足球(射門)7 的情 況，由于被觀察主體在水平方向移動很多，所以足球(射門)7 的縱橫比優(yōu)選地被設置為 在橫向上長，并且優(yōu)選地被設置為在橫向上長到比棒球(投球)753中更高的程度。此外，例 如，網(wǎng)球(發(fā)球)755的縱橫比可被設置為與高爾夫球(揮桿)751的縱橫比相同。此外，對 于籃球(投籃)756的情況，盡管考慮到跳投，但是在水平方向也幾乎沒有移動。相應地，籃 球(投籃)756的縱橫比優(yōu)選地被設置為在縱向上長。此外，例如，對于游泳757的情況，由 于成像設備700被移動以便跟隨被觀察主體，所以存在考慮到被觀察主體的移動的影響而 不能設置游泳757的縱橫比的許多情況。然而，對于游泳的情況，由于在垂直方向幾乎沒有 移動，所以游泳的縱橫比優(yōu)選地被設置為在橫向上長。此外，對于田徑(短跑)758的情況， 由于成像設備700被移動以便跟隨被觀察主體，所以存在可能不考慮被觀察主體的移動的 影響的許多情況。此外，對于田徑(短跑)的情況，假設水平方向的移動不是太多，優(yōu)選地 將田徑(短跑)的縱橫比設置為在縱向上長。此外，例如，日本劍術759的縱橫比可被設置 為與足球(射門)7 的縱橫比相同。此外，對于擊瓦(tilebreaking)760，由于在水平方向 幾乎沒有移動，所以優(yōu)選地將擊瓦760的縱橫比設置為在縱向上長。這里，將描述由成像設備700執(zhí)行的加工處理。例如，將考慮以水平拍攝來拍照棒 球投球場景。在這樣的情況下，例如，在圖6A所示的成像操作狀態(tài)指明屏幕200中，用戶按 下“水平拍攝”按鈕201并然后按下確定按鈕204。在這個情況下，從操作接收單元110向 成像操作狀態(tài)獲取單元120輸出指示這樣的用戶操作的操作信號，并且成像操作狀態(tài)獲取 單元120保持表示所指明的成像操作狀態(tài)的成像操作狀態(tài)信息(水平拍攝)。此外，在圖25所示的預定操作指明屏幕730上，用戶按下“棒球(投球)，，按鈕 733，并然后按下確定按鈕742。在這個情況下，從操作接收單元110向預定操作信息獲取單 元710輸出指示這樣的用戶操作的操作信號，并且預定操作信息獲取單元710保持表示所 指明的預定操作的預定操作信息(棒球(投球))。然后，圖像處理單元150獲取與在成像 操作狀態(tài)獲取單元120中保持的成像操作狀態(tài)信息(水平拍攝)、和在預定操作信息獲取 單元710中保持的預定操作信息(棒球(投球))相關聯(lián)的處理信息。換言之，圖像處理單 元150獲取在處理信息存儲單元140中存儲的處理信息(棒球(投球)753的水平拍攝)， 并基于該處理信息來對從成像單元130供應的捕獲圖像執(zhí)行每個加工處理。在圖27A到圖 27C中示出了如上所述執(zhí)行的加工處理的示例?；诔上癫僮鳡顟B(tài)的圖像合成的生成示例圖27A到圖27C是示意性示出根據(jù)本發(fā)明第三實施例的由圖像處理單元150執(zhí)行 的捕獲圖像加工處理和由圖像合成單元160執(zhí)行的合成圖像生成處理的流程示例的圖。這 個示例表示在指明水平拍攝和棒球(投球)的情況下的捕獲圖像加工處理和合成圖像生成 處理的示例。這個示例是圖IlA到圖IlC所表示的示例的修改示例，并且在這個修改示例 和圖IlA到圖IlC所示的示例之間的差異在于沒有執(zhí)行旋轉(zhuǎn)處理，并且合成圖像的尺寸、和 合成目標圖像的數(shù)目等與圖IlA到圖IlC所示的示例中不同。然而，其它部分與圖IlA到 圖IlC所示的示例相同。因此，下面省略其詳細描述。如上所述，即使在對多類被觀察主體的預定操作生成合成圖像的情況下，通過用 戶指明在多類被觀察主體的預定操作之中的期望預定操作，也可以以容易的方式生成合成 圖像。相應地，可以以容易的方式生成根據(jù)用戶的喜好的圖像。
如上，已經(jīng)表示了其中通過使用由成像單元連續(xù)生成的捕獲圖像來生成合成圖像 的示例。這里，例如，本發(fā)明的實施例可應用到其中通過從捕獲圖像中僅提取被觀察主體并 且以重疊方式將所提取的被觀察主體合成到不同的背景圖像來生成合成圖像的情況。這 樣，下文中，將描述其中通過以重疊方式將從捕獲圖像中提取的被觀察主體合成到不同的 背景圖像來生成合成圖像的示例。通過覆寫被觀察主體與背景圖像而進行的合成圖像的生成示例圖28A和圖28B是示意性表示根據(jù)本發(fā)明第三實施例的通過使用成像設備700生 成合成圖像的流程的圖。圖28A表示作為合成目標的圖像組800和背景圖像805。圖像組 800是由通過垂直拍攝而拍照的捕獲圖像801到804來構(gòu)成的圖像組。在捕獲圖像801到 804中，包括執(zhí)行預定操作(例如，在垂直方向跳躍的操作)的人806。背景圖像805是通 過水平拍攝而成像的捕獲圖像，并且在背景圖像805中包括樹和太陽。圖28B表示通過合成在捕獲圖像801到804中包括的被觀察主體的圖像和背景圖 像805而獲取的合成圖像811到814。例如，獲取與在圖6A所示的成像操作狀態(tài)指明屏幕200上指明的成像操作狀態(tài)和 通過圖25所示的預定操作指明屏幕730指明的被觀察主體的預定操作相關聯(lián)的處理信息。 然后，基于所獲取的處理信息，對捕獲圖像801到804執(zhí)行每個加工處理。隨后，提取在已 經(jīng)對其執(zhí)行加工處理的捕獲圖像801到804中包括的被觀察主體(人806)。然后，通過在 水平方向?qū)⑺崛〉谋挥^察主體的圖像合成到背景圖像805的中心位置附近，生成圖^B 所示的合成圖像811到814。這些合成圖像811到814可被布置以便如圖5A到圖5C所示 地進行排列等。4.第四實施例在本發(fā)明的第一到第三實施例中，已經(jīng)作為示例而描述了如下的成像設備，對該 成像設備而言，在用戶的垂直方向和成像設備的垂直方向相同的情況下、成像范圍在橫向 上長。這里，作為成像設備的另一示例，將考慮包括成像單元的蜂窩電話裝置(所謂的裝備 有相機的蜂窩電話裝置)。例如，為了使用呼叫功能或郵件發(fā)送功能，這個蜂窩電話裝置頻 繁地使用在其中其縱向方向變成垂直方向的狀態(tài)中。相應地，在蜂窩電話裝置的普通使用 狀態(tài)中，存在成像范圍在縱向上長的許多情況。這樣，在本發(fā)明的第四實施例中，將描述對 其而言在普通使用狀態(tài)中成像范圍在縱向上長的蜂窩電話裝置蜂窩電話裝置的外部構(gòu)成的示例圖29A和圖29B是表示根據(jù)本發(fā)明第四實施例的蜂窩電話裝置850的外部構(gòu)成的 示例的圖。蜂窩電話裝置850是包括成像單元的蜂窩電話裝置，并且還包括操作單元851 和顯示單元852。圖29A示出當使用蜂窩電話裝置850時的一種形式的正面?zhèn)龋约皥D29B 示出當使用蜂窩電話裝置850時另一種形式的正面?zhèn)取Ｈ缟纤?，在普通使用時在如圖29A所示的狀態(tài)中頻繁地使用蜂窩電話裝置850。 這樣，將此狀態(tài)中的成像范圍設置為基準。因此，通過在根據(jù)本發(fā)明第一到第三實施例的處 理信息存儲單元的旋轉(zhuǎn)角度(例如，圖26所示的旋轉(zhuǎn)角度721)的水平拍攝和垂直拍攝的 值之間進行切換，可以將本發(fā)明第一到第三實施例應用到蜂窩電話裝置850。例如，當在圖 29B所示的成像操作狀態(tài)中對棒球(投球)拍照的情況下，通過在執(zhí)行旋轉(zhuǎn)處理之后執(zhí)行圖 27B所示的加工處理，可以生成圖27C所示的合成圖像785。
此外，在本發(fā)明的實施例中，已經(jīng)作為示例而描述了包括成像單元作為圖像輸入 單元的示例的成像設備。然而，本發(fā)明的實施例可應用到如下的圖像處理設備，該圖像處理 設備包括向其輸入了外部生成的連續(xù)成像的靜止圖像組或運動圖像的幀圖像組的輸入單 元。此外，在本發(fā)明的實施例中，已經(jīng)作為示例而描述了包括顯示單元作為輸出單元的示例 的成像設備。然而，所生成的合成圖像可輸出到另一輸出單元。例如，可包括如下的輸出單 元，其將所生成的合成圖像擴展到存儲器中或者將合成圖像寫入到諸如硬盤、閃存或網(wǎng)絡 目的地之類的外部存儲介質(zhì)中。在本發(fā)明的實施例中，已經(jīng)表示了其中生成靜止圖像的合成圖像的示例。然而，本 發(fā)明的實施例可應用到其中作為移動圖像來顯示合成圖像的生成過程的合成圖像生成處 理。此外，對已經(jīng)對其執(zhí)行加工處理的合成目標圖像，例如，除了被用作合成目標之外，還可 被用作表示移動操作中的轉(zhuǎn)變的多個圖像(例如，用于放映幻燈片的圖像)。此外，本發(fā)明的實施例可應用到諸如個人計算機、視頻系統(tǒng)或編輯裝置之類的圖 像處理設備。此外，根據(jù)本發(fā)明實施例的處理過程可嵌入在處理程序中。此外，本發(fā)明的實施例表示用以實現(xiàn)本發(fā)明的示例。這樣，如在本發(fā)明的實施例中 描述的，本發(fā)明的實施例的每個項目與每個發(fā)明指定項目具有對應關系。類似地，每個發(fā)明 指定項目和本發(fā)明的實施例的具有相同名稱的項目具有對應關系。然而，本發(fā)明不限于所 述實施例。因此，可通過在不脫離本發(fā)明構(gòu)思的范圍內(nèi)在上述實施例中做出各種改變來實 現(xiàn)本發(fā)明的實施例。此外，在本發(fā)明的實施例中描述的處理過程可被理解為具有一系列這樣的處理過 程的方法，并且可被理解為用于允許計算機執(zhí)行所述系列過程的程序或在其中存儲該程序 的記錄介質(zhì)。作為記錄介質(zhì)，例如，可使用CD (致密盤)、MD (迷你盤)、DVD (數(shù)字通用盤)、 存儲卡、或藍光盤(注冊商標)等。本申請包含與在2009年12月28日向日本專利局提交的日本優(yōu)先專利申請JP 2009-297766中公開的主題有關的主題，其全部內(nèi)容通過參考而合并于此。本領于的技術人員應該理解，只要各種修改、組合、子組合和替換處于所附權利要 求或其等效物的范圍內(nèi)，它們就可取決于設計需要和其它因素而出現(xiàn)。
權利要求
1.一種圖像處理設備，包括成像操作狀態(tài)獲取單元，用于獲取表示在用于在時間序列中連續(xù)生成的多個圖像的成 像操作時的成像操作狀態(tài)的成像操作狀態(tài)信息；圖像處理單元，用于基于所獲取的成像狀態(tài)信息來對所述多個圖像執(zhí)行圖像處理，該 圖像處理用于生成表示在所述多個圖像中包括的被觀察主體的特定操作中的轉(zhuǎn)變的合成 圖像；以及圖像合成單元，用于通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像進行合成來生成合成 圖像。
2.根據(jù)權利要求1的圖像處理設備，其中所述成像操作狀態(tài)獲取單元獲取在將所述成 像操作時的成像方向用作軸的情況下的旋轉(zhuǎn)角度，作為所述成像操作狀態(tài)信息。
3.根據(jù)權利要求2的圖像處理設備，其中，所述圖像處理單元根據(jù)所述成像狀態(tài)信息 所指定的旋轉(zhuǎn)角度來對所述多個圖像的每個執(zhí)行旋轉(zhuǎn)處理。
4.根據(jù)權利要求3的圖像處理設備，其中，在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度是預定角度的情況下，所述圖像處理單 元對所述多個圖像的每個執(zhí)行旋轉(zhuǎn)處理，以及其中，在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度不是預定角度的情況下，所述圖像處理 單元不對所述多個圖像執(zhí)行旋轉(zhuǎn)處理。
5.根據(jù)權利要求4的圖像處理設備，其中，所述圖像處理單元執(zhí)行該圖像處理，以便允 許在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度是預定角度的情況下對其執(zhí)行旋轉(zhuǎn)處理的所述 多個圖像、和在所述成像狀態(tài)信息所指定的旋轉(zhuǎn)角度不是預定角度的情況下不對其執(zhí)行旋 轉(zhuǎn)處理的所述多個圖像具有與所述合成圖像的尺寸對應的預定尺寸。
6.根據(jù)權利要求1的圖像處理設備，其中，所述圖像處理單元執(zhí)行該圖像處理，以便允 許所述多個圖像的每個具有與所述合成圖像的尺寸對應的預定尺寸。
7.根據(jù)權利要求1的圖像處理設備，還包括存儲單元，用于存儲與多類預定操作有關的處理信息；以及操作接收單元，用于接收用于從存儲所述處理信息的多類預定操作之中指明期望的預 定操作的指明操作，其中，所述圖像處理單元基于所獲取的成像狀態(tài)信息、通過使用與所指明的預定操作 有關的處理信息來對所述多個圖像執(zhí)行該圖像處理。
8.一種成像設備，包括成像單元，用于通過對主體進行成像來生成在時間序列中連續(xù)的多個圖像；成像操作狀態(tài)獲取單元，用于獲取表示在用于所生成的多個圖像的成像操作時的成像 操作狀態(tài)的成像操作狀態(tài)信息；圖像處理單元，用于基于所獲取的成像狀態(tài)信息來對所述多個圖像執(zhí)行圖像處理，該 圖像處理用于生成表示在所述多個圖像中包括的被觀察主體的特定操作中的轉(zhuǎn)變的合成 圖像；以及圖像合成單元，用于通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像進行合成來生成合成 圖像。
9.一種圖像處理方法，包括如下步驟獲取表示在用于在時間序列中連續(xù)生成的多個圖像的成像操作時的成像操作狀態(tài)的 成像操作狀態(tài)信息；基于所獲取的成像狀態(tài)信息來對所述多個圖像執(zhí)行圖像處理，該圖像處理用于生成表 示在所述多個圖像中包括的被觀察主體的特定操作中的轉(zhuǎn)變的合成圖像；以及 通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像進行合成來生成合成圖像。
10. 一種允許計算機執(zhí)行如下步驟的程序獲取表示在用于在時間序列中連續(xù)生成的多個圖像的成像操作時的成像操作狀態(tài)的 成像操作狀態(tài)信息；基于所獲取的成像狀態(tài)信息來對所述多個圖像執(zhí)行圖像處理，該圖像處理用于生成表 示在所述多個圖像中包括的被觀察主體的特定操作中的轉(zhuǎn)變的合成圖像；以及 通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像進行合成來生成合成圖像。
全文摘要
一種圖像處理設備，包括成像操作狀態(tài)獲取單元，用于獲取表示在用于在時間序列中連續(xù)生成的多個圖像的成像操作時的成像操作狀態(tài)的成像操作狀態(tài)信息；圖像處理單元，用于基于所獲取的成像狀態(tài)信息來對所述多個圖像執(zhí)行圖像處理，該圖像處理用于生成表示在所述多個圖像中包括的被觀察主體的特定操作中的轉(zhuǎn)變的合成圖像；以及圖像合成單元，用于通過對已經(jīng)對其執(zhí)行該圖像處理的多個圖像進行合成來生成合成圖像。
文檔編號H04N5/232GK102111542SQ20101059920
公開日2011年6月29日 申請日期2010年12月21日 優(yōu)先權日2009年12月28日
發(fā)明者中尾大輔, 安藤誠士郎 申請人:索尼公司