專利名稱：成像設備、數據處理方法和程序的制作方法
技術領域：
本發(fā)明涉及成像設備、數據處理方法和程序，且具體地說涉及成像設備、數據處理 方法和程序，其用于將成像設備記錄所捕捉的圖像與表示捕捉圖像的方向的方位信息一起 記錄。
背景技術：
近年來，有一種相機，其包括用于檢測定位相機的方向的方位傳感器，并且當捕捉 圖像時，獲取表示用方位傳感器獲取的成像方向的方位信息。該類型的相機將所捕捉的圖 像與作為與所捕捉的圖像相關聯(lián)的屬性信息(元信息)的方位信息一起記錄在介質(存儲 ^^直)上ο例如，記錄在介質上的、作為與圖像相關聯(lián)的屬性信息的方位信息用于指示顯示 在PC或者任何其他設備的顯示部件上的圖(map)上的成像方向。或者，當通過組合多個連 續(xù)捕捉的圖像生成全景圖像時，方位信息用于確定捕捉每個圖像的方向。方位信息用于各 種其他應用中。例如，在JP-A-2005-110031以及JP-A_2005j6859中描述了獲取以及記錄方位信
息的成像設備。然而，在數碼相機或者其他類似的相機中，捕捉圖像的定時與在介質上記錄所捕 捉的圖像的定時不相同。該時間差由捕捉圖像之后需要時間來記錄所捕捉的圖像所造成。 例如，在捕捉圖像之后，相機中的數據處理器編碼所捕捉的圖像、格式化記錄介質、執(zhí)行其 他處理、然后將所捕捉的圖像記錄在介質上。因此，數碼相機一般要求在成像之后以及記錄 之前有某一處理時段。在許多情況下，當在介質上記錄所捕捉的圖像時，現有技術的相機從相機中配備 的方位傳感器獲取最新的方位信息并且記錄方位信息作為關于成像方向的信息。在從捕捉 圖像的定時到在介質上記錄圖像的定時期間定位相機的方向的任何改變都會導致所記錄 的方位信息不同于實際捕捉圖像的方向。具體示例將參考圖1和圖2描述。圖1描述在一般的單個或者連續(xù)圖像捕捉處理中的圖像捕捉和記錄序列。圖2描述移動相機時捕捉多個圖像、處理相機中所捕捉的圖像以生成水平延伸的 全景圖像、以及記錄全景圖像的序列。首先將參考圖1描述在一般的單個或者連續(xù)圖像捕捉處理中的圖像捕捉和記錄 序列。圖1示出以下序列(a)成像，(b)記錄，以及(c)獲取方位信息。時間(t)從左至右流逝。首先用戶在時間tl捕捉圖像1。然后用戶在時間t2捕捉圖像2，隨后捕捉后來的 圖像，然后在時間t3捕捉圖像N。假定總共捕捉N張圖像。用戶在改變定位相機的方向的同時捕捉圖像。每個所捕捉的圖像由相機中的信號處理器編碼成JPEG圖像或者任何其他適當的 壓縮圖像。在記錄之前，還將已編碼的圖像轉換為遵循指定的圖像記錄格式的數據，諸如 EXIF格式。在這些處理之后，在閃速存儲器或者任何其他適當的記錄介質上記錄數據。如上所述，編碼和其他信號處理一般要求預定時段(period)。因此如圖1所示，在 時間t4、t5和t6分別將圖像1、圖像2和圖像N記錄在介質上。獲取方位信息的傳感器在預先指定的采樣時間間隔將以傳感器獲取的信息提供 給控制器(CPU)?？刂破鳙@取在介質上記錄所捕捉的圖像時所獲取的最新的方位信息并且 將所獲取的方位信息記錄在介質上。結果，與圖像1相關聯(lián)的屬性信息(元信息)中記錄的方位信息是緊接在記錄圖 像1的時間t4之前從方位傳感器輸入的方位信息。結果，如圖1所示，將錯誤的方位信息 [135° ]記錄為表示捕捉圖像1的方向的信息。所記錄的方位信息明顯不同于實際捕捉圖 像1時(tl)的方位信息]。類似地，對于在時間t2捕捉的圖像2，記錄緊接在時間t4時記錄圖像2之前所獲 取的方位信息[180° ]，但是所記錄的方位信息不同于實際成像動作時(t2)的方位信息 [45° ]。如上所述，成像定時與記錄定時之間的時間滯后導致將不同于實際成像動作時的 方位信息的方位信息記錄為與所捕捉的圖像相關聯(lián)的屬性信息(元信息)。圖2描述移動相機時捕捉多個圖像、處理相機中的所捕捉的圖像以生成水平延伸 的全景圖像以及記錄全景圖像的序列。圖2示出以下序列(a)成像，(b)記錄，以及(c)獲取方位信息，如圖1所示。時間(t)從左至右流逝。用戶設置相機為全景成像模式，并在移動相機時捕捉多個圖像。在捕捉圖像之后， 相機中的數據處理器連接多個圖像以生成全景圖像并且在記錄介質上記錄全景圖像。在圖2中，時間ta表示捕捉形成全景圖像的多個圖像期間的時段的中心時間。用 戶捕捉多個圖像之后，相機組合圖像以生成全景圖像、編碼全景圖像為JPEG圖像或者任何 其他適當的壓縮圖像、以及在記錄已編碼的圖像之前，將其轉換為遵循指定的圖像記錄格 式的數據。在這些處理之后，在閃速存儲器或者任何其他適當的記錄介質上記錄數據。上述數據處理一般要求預定時段，且在時間tb將全景圖像記錄在介質上，如圖2 所示。同樣在這種情況下，相機中的控制器獲取將所捕捉的圖像之一記錄在介質上時所獲 取的最新的方位信息并且在介質上記錄所獲取的方位信息。結果，與全景圖像1相關聯(lián)的元信息中記錄的方位信息是緊接在記錄全景圖像1 的時間tb之前從方位傳感器輸入的方位信息。結果，如圖2所示，記錄錯誤的方位信息 [180° ]作為表示捕捉全景圖像1的方向的信息。所記錄的方位信息明顯不同于實際捕捉 全景圖像1時(ta)的方位信息]。如上所述，成像定時與記錄定時之間的時間滯后導致將不同于實際成像動作時的 方位信息的方位信息記錄為與所捕捉的圖像相關聯(lián)的屬性信息(元信息)。另一方面，在許多情況下，相機中配備的方位傳感器被配置為使用檢測地球磁性的磁性傳感器與加速度傳感器的組合來獲取方位信息。然而，在一些情況下，由于相機中的 驅動機構以及電子元件所生成的磁性，即，干擾，磁性傳感器輸出錯誤的檢測值。具體地，例如，在成像操作期間，當在焦點調節(jié)或者任何其他處理時驅動透鏡的時 候，由于生成的磁性，磁性傳感器可能輸出錯誤的檢測值。因此，現有技術情況下的成像設備，S卩，獲取方位信息、使方位信息與相應的圖像 相關、并且記錄它們的成像設備具有以下問題。(a)由于捕捉將要記錄在介質上的圖像的時間與獲取方位信息的時間之間的差 異，方位信息的準確性降低(b)由于干擾，方位信息的準確性降低

發(fā)明內容
期望提供一種成像設備、數據處理方法和程序，其允許記錄與以成像設備捕捉的 圖像相關聯(lián)的準確方位信息。本發(fā)明的實施例涉及包括以下的成像設備方位傳感器，檢測表示在其上定位成 像設備的方向的方位；控制器，生成由所捕捉的圖像以及與所捕捉的圖像相關聯(lián)的屬性信 息形成的數據并且在記錄部件中記錄數據；以及記錄部件，存儲所捕捉的圖像和屬性信息； 控制器，在存儲器中相繼記錄條目(entry)，條目使通過相繼接收用方位傳感器檢測到的值 計算出的方位信息與表示從方位傳感器輸入檢測值的時間的時間戳相關；從存儲在存儲器 中的條目中提取具有接近于捕捉圖像的時間的時間戳的多個條目，以及通過使用所提取的 條目中的多條方位信息計算表示在其上捕捉圖像的方向的方位信息。在根據本發(fā)明的成像設備的一個實施例中，控制器從記錄在存儲器中的條目中提 取具有接近于捕捉圖像的時間的時間戳的多個條目，從所提取的條目中的多條方位信息中 再選擇具有方位信息的中間值的少量條目，并設置多個再選擇條目中的多條方位信息的平 均值為表示在其上捕捉圖像的方向的方位信息。在根據本發(fā)明的成像設備的一個實施例中，控制器從記錄在存儲器中的條目中選 擇具有最接近捕捉圖像的時間的時間戳的單個代表性條目(r印resentative entry)，選擇 具有接近于代表性條目的時間戳的時間戳的指定數目的相鄰條目(near entry)，將由代表 性條目以及相鄰條目組成的多個條目按方位信息的大小的遞增或者遞減的次序排序，從排 序的條目中至少移除最大和最小端的條目，求剩余的中間條目中的方位信息的值的平均， 然后設置平均值作為表示在其上捕捉圖像的方向的方位信息。在根據本發(fā)明的成像設備的一個實施例中，控制器獲取捕捉每個連續(xù)捕捉的圖像 的時間，從記錄在存儲器中的條目中提取具有接近于在其上捕捉每個連續(xù)捕捉的圖像的時 間的時間戳的多個條目，然后通過使用所提取的條目中的多條方位信息計算表示在其上捕 捉每個連續(xù)捕捉的圖像的方向的方位信息。在根據本發(fā)明的成像設備的一個實施例中，控制器從記錄在存儲器中的條目中提 取具有接近于捕捉通過組合多個捕捉圖像所生成的全景圖像的中心圖像的時間的時間戳 的多個條目，然后通過使用所提取的條目中的多條方位信息計算表示在其上捕捉全景圖像 的方向的方位信息。 在根據本發(fā)明的成像設備的一個實施例中，控制器根據捕捉全景圖像的成像開始幀的時間來計算捕捉全景圖像的中心圖像的時間。本發(fā)明的另一實施例涉及在成像設備中執(zhí)行的數據處理方法，該方法包括允許 控制器在存儲器中相繼記錄條目，條目使通過相繼接收方位傳感器檢測的值所計算的方位 信息與表示從方位傳感器輸入檢測值的時間的時間戳相關，所述方位傳感器檢測表示在其 上定位成像設備的方向的方位；允許控制器獲取捕捉圖像的時間；以及允許控制器從記錄 在存儲器中的條目中提取具有接近于捕捉圖像的時間的時間戳的多個條目，以及通過使用 所提取的條目中的多條方位信息來計算表示在其上捕捉圖像的方向的方位信息。本發(fā)明的再一實施例涉及命令成像設備執(zhí)行數據處理的程序，包括允許控制器 在存儲器中相繼記錄條目，條目使通過相繼接收方位傳感器檢測的值所計算的方位信息與 表示從方位傳感器輸入檢測值的時間的時間戳相關，所述方位傳感器檢測表示在其上定位 成像設備的方向的方位；允許控制器獲取捕捉圖像的時間；以及允許控制器從記錄在存儲 器中的條目中提取具有接近于捕捉圖像的時間的時間戳的多個條目，以及通過使用所提取 的條目中的多條方位信息來計算表示在其上捕捉圖像的方向的方位信息。根據本發(fā)明的該實施例的程序能夠以計算機可讀記錄介質或者通信介質的形式 提供給能夠執(zhí)行各種程序代碼的信息處理設備或者計算機系統(tǒng)。提供計算機可讀形式的程 序允許信息處理設備或者計算機系統(tǒng)根據程序執(zhí)行處理。從本發(fā)明的以下實施例以及附圖的更詳細描述中，本發(fā)明的其他目的、特征、以及 優(yōu)點將很明顯。在此使用的詞“系統(tǒng)”意指多個器件的邏輯組，而“系統(tǒng)”的組成器件并不 一定需要被包括在單個殼體(house)中。根據本發(fā)明的實施例的配置，使通過相繼接收方位傳感器檢測的值所計算的方位 信息與表示從方位傳感器輸入檢測值的時間的時間戳相關的條目被相繼記錄在存儲器中， 所述方位傳感器檢測表示在其上定位成像設備的方向的方位。當捕捉圖像時，從存儲器中 提取具有接近于捕捉圖像的時間的時間戳的多個條目，以及使用所提取的條目中的多條方 位信息來計算表示在其上捕捉圖像的方向的方位信息。然后，記錄所計算的方位信息作為 與圖像相關聯(lián)的屬性信息。在該配置中，可以基于方位傳感器在捕捉圖像的時間前后獲取 的多條方位信息來計算將要作為與圖像相關聯(lián)的屬性信息記錄的方位信息數據。另外，因 為對通過移除多條排序的方位信息的兩端上的數據而再選擇的方位信息數據求平均，所以 可以記錄沒有由于干擾或者其他因素引起的異常值的準確方位信息作為與圖像相關聯(lián)的 元數據。


圖1描述在一般的單個或者連續(xù)圖像捕捉處理中的圖像捕捉和記錄序列；圖2描述移動相機時捕捉多個圖像、處理相機中所捕捉的圖像以生成水平延伸的 全景圖像和記錄全景圖像的序列；圖3描述根據本發(fā)明實施例的成像設備的示例性配置；圖4描述由根據本發(fā)明實施例的成像設備執(zhí)行的單個或者連續(xù)圖像捕捉處理中 的圖像捕捉和記錄序列；圖5A和圖5B描述了根據本發(fā)明實施例的成像設備存儲在存儲器中的已記錄數據 的示例；
圖6描述由根據本發(fā)明實施例的成像設備執(zhí)行的全景圖像捕捉和記錄序列；圖7是描述由根據本發(fā)明實施例的成像設備中的控制器執(zhí)行的處理的棧圖；圖8描述計算并記錄與所捕捉的圖像相關聯(lián)的方位信息的細節(jié)；圖9描述計算并記錄與所捕捉的圖像相關聯(lián)的方位信息的細節(jié)；圖10描述計算并記錄與所捕捉的圖像相關聯(lián)的方位信息的細節(jié)；圖11描述在根據本發(fā)明實施例的成像設備中執(zhí)行的單個圖像捕捉處理中的圖像 捕捉和記錄序列；圖12描述在根據本發(fā)明實施例的成像設備中執(zhí)行的連續(xù)圖像捕捉處理中的圖像 捕捉和記錄序列；圖13描述在根據本發(fā)明實施例的成像設備中執(zhí)行的全景圖像捕捉處理中的圖像 捕捉和記錄序列；以及圖14描述在根據本發(fā)明實施例的成像設備中執(zhí)行的計算全景圖像捕捉時間的示 例性處理。
具體實施例方式以下將參考附圖描述根據本發(fā)明實施例的成像設備、數據處理方法和程序。描述 由以下項組成，并按以下次序進行。1.成像設備的示例性配置2.由根據本發(fā)明實施例的成像設備執(zhí)行的處理3.計算并記錄與所捕捉的圖像相關聯(lián)的方位信息的細節(jié)4.由根據本發(fā)明實施例的成像設備執(zhí)行的處理序列[1.成像設備的示例性配置]首先將參考圖3描述根據本發(fā)明實施例的成像設備的示例性配置。圖3示出根據本發(fā)明實施例的成像設備100的示例性配置。根據本發(fā)明實施例的 成像設備100包括通過其輸入被攝體圖像的透鏡111、將通過透鏡111輸入的光信號轉換為 電信號的成像器件112以及接收由成像器件112生成的電信號以及對所接收的信號執(zhí)行信 號處理的信號處理器113，如圖3所示。信號處理器113不僅執(zhí)行白色平衡調節(jié)、伽瑪校正、內插以及各種其他信號處理， 而且執(zhí)行如生成諸如JPEG圖像之類的壓縮圖像的處理的編碼?？刂破?20將信號處理器 113生成的圖像轉換為將要以例如DCIF格式(該EXIF格式是圖像記錄格式)記錄的圖像， 并將產生的圖像記錄在記錄部件(記錄介質)117中。操作部件114由快門115以及用于焦點調節(jié)、模式設置以及其他目的的其他操作 部件116形成。記錄部件(記錄介質)117由例如閃速存儲器、磁盤、光盤或者任何其他類型的介 質形成。外部存儲器118是盤或者可以任意加載的任意其他介質。用戶可以選擇性地使用記錄部件(記錄介質)117以及外部存儲器118作為記錄 圖像的目的地。定時器119是用于時間保持(timeke印ing)的時鐘。定時器119可以是執(zhí)行實時時間保持的時鐘或者遞增以預定時段為單位表示的計數的計數器?？刂破?20控制成像、記錄、從方位傳感器124中獲取方位信息以及在成像設備 100中執(zhí)行的其他處理。根據存儲在例如ROM 121中的程序執(zhí)行上述處理。控制控制器120中執(zhí)行的處理所需的程序被存儲在例如ROM 121中，且控制器 (CPU) 120根據程序執(zhí)行各種處理。存儲器(RAM) 122用作控制器(CPU) 120根據程序執(zhí)行的各種處理的工作區(qū)域。存 儲器(RAM) 122還用作存儲圖像以及各條設置信息的區(qū)域。存儲器(RAM) 122還用作記錄以 方位傳感器1 獲取的方位信息的區(qū)域。舊的方位信息數據被相繼以新的方位信息數據重 寫。存儲器(RAM) 122由例如環(huán)形緩沖器形成。顯示部件(監(jiān)控器)123由例如IXD顯示器形成，且用于顯示呈現給用戶的所捕捉 的圖像或者操作信息以及設置信息。方位傳感器IM檢測表示定位成像設備的方向(定位成像設備的鏡頭的方向，諸 如北方、南方、東方、或者西方)的方位，且由加速度傳感器131以及磁性傳感器132組成。方位傳感器IM在預置采樣時間間隔(例如，100毫秒)將可以從其計算成像設備 的方位的傳感器檢測信息提供給控制器120?？刂破?20根據預置算法基于以加速度傳感 器131和磁性傳感器132檢測的信息而計算表示定位成像設備的方向的方位信息，并且將 所計算的方位信息記錄在存儲器122中。當在存儲器122中記錄方位信息時，控制器120還記錄從定時器119輸入的表示 方位信息檢測時間的時間戳。稍后將詳細描述該處理以及如何在存儲器122中記錄方位信 肩、ο如上所述，控制器120記錄使根據以方位傳感器124檢測并從方位傳感器124相 繼輸入的值而計算的方位信息與表示何時從方位傳感器1 輸入檢測值的時間的時間戳 相關的條目。另外，當捕捉圖像時，控制器120從存儲器122中提取具有接近于捕捉圖像的 時間的時間戳的多個條目，并使用所提取的條目中的多條方位信息計算表示捕捉圖像的方 向的方位信息。稍后將詳細描述該計算?？刂破?20將圖像與作為與圖像相關聯(lián)的屬性信 息的由此計算的方位信息一起記錄在記錄部件(記錄介質)117中。[2.由根據本發(fā)明實施例的成像設備執(zhí)行的處理]接下來將描述由根據本發(fā)明實施例的成像設備100執(zhí)行的處理。首先將參考圖4至圖6描述由根據本發(fā)明實施例的成像設備100執(zhí)行的處理、捕 捉圖像的處理、以及將圖像與捕捉圖像時獲取的準確方位信息一起記錄的處理的序列。圖4和圖6示出由根據本發(fā)明實施例的成像設備執(zhí)行的示例性處理，其與圖1以 及2中所描述的相對應。S卩，圖4描述在一般的單個或者連續(xù)圖像捕捉處理中的圖像捕捉和記錄序列。圖6描述移動相機時捕捉多個圖像、處理相機中所捕捉的圖像以生成水平延伸的 全景圖像以及記錄全景圖像的序列。圖5A和圖5B示出在根據本發(fā)明實施例的成像設備中在存儲器(例如，環(huán)形緩沖 器)中記錄的數據的示例。在存儲器中記錄的數據使方位信息獲取傳感器所獲取的方位信 息與表示獲取方位信息的時間的時間戳相關。首先將參考圖4描述在一般的單個或者連續(xù)圖像捕捉處理中的圖像捕捉和記錄序列。圖4示出以下序列(a)成像，(b)記錄，(c)獲取方位信息，(d)基于定時器的時間保持，以及(e)在存儲器(緩沖器)中記錄圖像以及相關聯(lián)的信息。時間⑴從左至右流逝。首先用戶在時間tl處捕捉圖像1。然后用戶在時間t2處捕捉圖像2，隨后向后捕 捉圖像。用戶在改變定位相機的方向的同時捕捉圖像。每個所捕捉的圖像由相機中的信號 處理器編碼成諸如JPEG圖像之類的壓縮圖像，且在記錄之前，進一步將其轉換為遵循諸如 EXIF格式之類的指定的圖像記錄格式的數據。在這些處理之后，將數據記錄在閃速存儲器 或者任何其他適當的記錄介質上。編碼以及其他信號處理一般要求預定時段。因此如圖4所示，將圖像在以下定時 記錄在介質上在時間t4處記錄圖像1，在時間t5處記錄圖像2。獲取方位信息的方位傳感器124在預先指定的采樣時間間隔(例如，100毫秒)將 由傳感器獲取的信息提供給控制器(CPU) 120?？刂破?20將傳感器獲取的信息和與定時 器119測量的時間有關的信息一起記錄在存儲器(緩沖器)122中。在每個采樣時間傳感 器所獲取的方位信息和表示獲取方位信息的時間的時間戳相互相關，并且被記錄在存儲器 122 中。圖5A和圖5B示出在存儲器中記錄的數據的示例。如圖5A和圖5B所示，由方位 傳感器IM獲取的、并在控制器120中計算的方位信息和表示獲取方位信息的時間的時間 戳相互相關并且被記錄在存儲器122中。在存儲器122中設置預先指定的方位信息記錄區(qū)域，將基于方位傳感器IM獲取 的信息的方位信息以及時間戳連續(xù)記錄在存儲區(qū)域中。例如，存儲器122中設置的區(qū)域容 納200條采樣數據，當數據數目超過200時，以新數據順序重寫舊數據。因此，將最新的200 條方位信息與各個時間戳一起記錄在存儲器122中。當采樣時間間隔被設置在100毫秒時， 將200條方位信息與最近20秒內與其相關的時間戳一起存儲并且保存在存儲器122中。在圖5A和圖5B所示的示例中，記錄從12:00:00:0[時、分、秒、百毫秒]到 12:00:19:9[時、分、秒、百毫秒]以100毫秒的間隔獲取的200條方位信息。注意，方位信 息用0到360度范圍內的數字表示，例如，北方(N) =0，東方(E) =90，南方⑶=180，且 西方(W) = 270。在圖5A和圖5B所示的示例中，時間戳由從定時器119獲取的實際時間信息表示。 定時器119可以用例如上述計數器代替，且在該情況下記錄計數?？墒褂玫挠嫈灯鞯氖纠窍鄼C顯示器中的視頻場計數器(VFC)。VFC計數器是系 統(tǒng)啟動時開始計數、并且無論何時顯示新的視頻場時都遞增計數的計數器。VFC計數器的計 數可以代替實際時間數據，且因為不需要添加新的定時器或者其他類似組件，所以使用VFC 計數器會產生成本降低的有益結果。即使當正在捕捉圖像時，控制器120也從定時器119(或者計數器)中獲取表示成 像時間的信息。當將所捕捉的圖像記錄在記錄部件(記錄介質)117中時，控制器120從存 儲器122中獲取具有接近于捕捉圖像的時間的時間戳的多條方位信息、基于多條所獲取的方位信息而計算方位信息、以及將所計算的方位信息作為與所捕捉的圖像相關聯(lián)的方位信 息記錄在記錄部件(記錄介質)117中。例如，在圖4所示的示例中，在時間(tl)處捕捉圖像1，然后因為在隨后的編碼以 及其他處理期間時間流逝，所以在時間(t4)處將圖像1記錄在介質上。在本發(fā)明的配置中， 從存儲器中獲取的不是在將圖像1記錄在介質上的時間(t4)時獲取的方位信息，而是具有 接近于成像時間(tl)的時間戳的多條方位信息。其后，通過執(zhí)行如下所述的計算，從多條 所獲取的方位信息中計算出一條方位信息，并將所計算的方位信息作為與圖像1相關聯(lián)的 屬性信息(元信息)記錄在介質上。上述情況也適用于圖像2。從存儲器中獲取的不是在將圖像2記錄在介質上的時 間(t5)時獲取的方位信息，而是具有接近于捕捉圖像2的時間(t2)的時間戳的多條方位 信息。其后，根據預定計算來計算方位信息，然后將所計算的方位信息作為與圖像2相關聯(lián) 的元信息記錄在介質上。稍后將詳細描述作為與圖像相關聯(lián)的元信息記錄的方位信息的計算。圖6描述移動成像設備(相機)時捕捉多個圖像、處理相機中所捕捉的圖像以生 成水平延伸的全景圖像、以及記錄全景圖像的處理序列。圖6也示出以下序列(a)成像，(b)記錄，(C)獲取方位信息，(d)基于定時器的時間保持，以及(e)在存儲器(緩沖器)中記錄圖像以及相關聯(lián)的信息，如圖4所示，時間⑴從 左至右流逝。用戶設置相機為全景成像模式，以及從時間tl至t3在移動相機的同時連續(xù)地捕 捉多個圖像。相機連接多個圖像以生成單個全景圖像，進一步在內部信號處理器中對全景 圖像執(zhí)行編碼以及其他處理，且然后在介質上記錄所產生的圖像。生成全景圖像和編碼以及其他信號處理一般要求預定時段。因此延遲了在介質上 記錄圖像的定時。具體地，在時間t4在介質上記錄全景圖像1，如圖6所示。同樣地在這種情況下，控制器120將方位傳感器IM獲取的信息和與定時器119 測量到的時間有關的信息一起記錄在存儲器122中，如參考圖4描述的處理中那樣?；?方位傳感器1 檢測到的信息而在每個采樣時間獲取的方位信息和表示獲取方位信息的 時間的時間戳相互相關，并且被記錄在存儲器122中，如參考圖5A和圖5B所示。當設置采 樣時間間隔為100毫秒時，將200條方位信息與最近20秒內與其相關的時間戳一起存儲并 保存在存儲器122中。當在記錄部件(記錄介質)117中記錄所捕捉的圖像時，控制器120獲取關于捕捉 圖像的時間的信息、從存儲器122中獲取具有接近于有關捕捉圖像的時間的信息的時間戳 的多條方位信息、計算與圖像相關聯(lián)的方位信息、以及將所計算的方位信息記錄在介質上。 在圖6所示的示例中，控制器120獲取具有接近于時間(U)的時間戳的多條方位信息，該 時間(O是捕捉全景圖像1期間從tl至t3的時段的中心時間、控制器120還基于多條方 位信息而計算一條方位信息、以及將所計算的方位信息作為與全景圖像1相關聯(lián)的元信息 記錄在記錄部件(記錄介質)117中。
圖7是描述由根據本發(fā)明實施例的成像設備100中的控制器120執(zhí)行的處理的棧圖?？刂破?20運行以下程序(A)方位信息處理程序201以及(B)圖像信息處理程序202，如圖7中的(1)所示。將程序預先記錄在ROM 121中， 且控制器120從ROM 121中讀取程序然后運行它們。(A)方位信息處理程序201主要負責從方位傳感器124中獲取方位信息以及將方 位信息記錄在存儲器122中。(B)圖像信息處理程序202主要負責捕捉和記錄圖像。控制器120根據方位信息處理程序201 (A)執(zhí)行圖7中的(1)所示的處理(A_l) 至(A-3)。圖7中的(2)詳細示出處理如下。A-1.從定時器獲取時間信息A-2.從方位傳感器獲取方位A-3.將時間(時間戳)以及方位信息記錄在存儲器(環(huán)形緩沖器)122中上述處理周期地執(zhí)行(例如，每隔100毫秒)。控制器120還根據圖像信息處理程序202 (B)執(zhí)行圖7中的⑴所示的處理(B_l) 至(B-4)。圖7中的(3)詳細示出處理如下。B-1.從定時器獲取成像時間B-2.發(fā)布請求給方位信息處理程序以獲取與成像時間相對應的成像方向B-3.通過使用方位信息處理程序計算與成像時間相對應的成像方向并提供結果 給圖像信息處理程序B-4.將圖像以及包含由方位信息處理程序計算的方位信息的元信息(屬性信息) 記錄在記錄部件(記錄介質)中在從成像到記錄的時段期間執(zhí)行這些處理。方位信息處理程序201以及圖像信息處理程序202協(xié)同地執(zhí)行處理B_3。[3.計算并記錄與所捕捉的圖像相關聯(lián)的方位信息的細節(jié)]接下來將參考圖8至圖10描述計算并記錄與所捕捉的圖像相關聯(lián)的方位信息的 細節(jié)。參考圖8至圖10描述的處理是圖7中的(3)所示的處理B_3的細節(jié)，S卩，以下處 理的細節(jié)。B-3.通過使用方位信息處理程序計算與成像時間相對應的成像方向并提供結果 給圖像信息處理程序首先將參考圖8描述示例性的基本處理(1)。為了獲取與所捕捉的圖像相關聯(lián)的方位信息，圖像信息處理程序202將與所捕捉 的圖像相關聯(lián)的成像時間信息301提供給方位信息處理程序201。假定成像時間信息301是[12，00, 00, 4](時，分，秒，百毫秒)，如圖8所示?？刂破?20根據方位信息處理程序201，基于成像時間信息[12，00, 00, 4]而計算 將要與圖像相關并且記錄在記錄部件(記錄介質)117中的方位信息。在步驟S11，控制器120首先從存儲器122中提取接近于從圖像信息處理程序202中獲取的指定時間301的多條方位信息作為要排序的數據，如圖8所示。在這種情況下，指定時間301是[12，00，00，4]。從存儲在存儲器122中的、使時間戳與方位信息相關的數據中，提取具有接近于 指定時間301(= [12，00，00，4])的時間戳的η個條目(在本示例中，η = 8)作為將要排 序的數據。在這種情況下，認為具有最接近指定時間301(= [12,00,00,4])的時間戳的條 目(條目5)是中心，以及從條目5的兩側獲取基本上相同數量的條目。在這種情況下，提 取條目號1至8，如圖8所示。在該示例中，條目5中的時間戳與指定時間301(= [12，00，00，4])完全一致。在 這種情況下，作為包括作為中心條目的條目5的8個條目，獲取條目1至8或者條目2至 9?？梢匀我獾剡x擇任何一種組合，以及根據預置算法提取它們中的一個。在任何一種情況 下，以具有最接近捕捉上述圖像的時間的時間戳的條目基本上是8個條目中的中心條目的 方式來提取多個條目作為將要排序的數據。在步驟S12，從存儲器122中提取的8條方位信息被按方位信息的大小的遞增或者 遞減的次序排序。如圖8所示，條目1至8中的方位信息的值在最小值147至最大值170的范圍內。 將多條方位信息按大小的遞增順序排序。在步驟S13，對排序的方位信息的中心的4條求平均。即，從排序的條目中移除最大和第二大條目以及最小和第二小條目，并認為僅中 間4個條目的方位信息是將要計算且然后求平均的數據。對此的理由是要從將要求平均的 值中移除如上所述由于干擾或者其他因素引起的顯著偏離中心值的值。結果，具有方位信息中間值的以下4個條目用作將要求平均的條目，如圖8所示。條目7:方位信息[148]條目5:方位信息[153]條目1:方位信息[巧4]條目3:方位信息[158]根據以下等式對4個條目求平均，且平均值是與在成像時間[12，00，00，4]捕捉的 圖像相關聯(lián)的方位信息的值。成像方向=(148+153+154+158)/4= 153. 25 度因此，控制器120將所計算出的方位信息[153. 25度]作為與在成像時間 [12，00, 00, 4]捕捉的圖像相關聯(lián)的方位信息記錄在記錄部件(記錄介質)117中。接下來將參考圖9描述存儲在存儲器中的方位信息數目小于8的情況(2)中執(zhí)行 的示例性處理，其中8是基本處理中指定的將要排序的方位信息數目。為了獲取與所捕捉的圖像相關聯(lián)的方位信息，圖像信息處理程序202將與所捕捉 的圖像相關聯(lián)的成像時間信息311提供給方位信息處理程序201。假定成像時間信息311是[12，00，00，4]，如圖9所示。上述過程與參考圖8描述的示例性基本處理(1)中的相同?？刂破?20根據方位信息處理程序201，基于成像時間信息[12，00, 00, 4]而計算 將要與圖像相關并且記錄在記錄部件(記錄介質)117中的方位信息。在步驟S21，控制器120首先從存儲器122中提取接近于從圖像信息處理程序202中獲取的指定時間311的多條方位信息作為將要排序的數據，如圖9所示。在示例性基本處理中，將要提取的作為將要排序的條目的條目數目η是8。然而，存儲器122僅存儲條目1至6的6條方位信息，如圖9所示，且由此不能選 擇8條數據。當存儲在存儲器122中的方位信息數目小于上述將要排序的數據的指定數目(η =8)時，控制器120提取具有接近于指定時間311[12，00，00，4])的時間戳的全部條目(但 是小于8)作為將要排序的數據。在這種情況下，提取條目號1至6的6條數據，如圖9所示。在步驟S22，從存儲器122中提取的6條方位信息被按方位信息的大小的遞增或者 遞減的次序排序。如圖9所示，條目1至6中的方位信息的值在最小值148至最大值170的范圍內。 多條方位信息按大小的遞增順序排序。在步驟S23，對排序的方位信息的中心4條求平均。即，從排序的條目中移除最大條目以及最小條目，以及認為僅中間4個條目的方 位信息是將要計算且然后求平均的數據。對此的理由是要從將要求平均的值中移除如上所 述由于干擾或者其他因素引起的大大偏離中心值的值。結果，具有方位信息中間值的以下4個條目用作將要求平均的條目，如圖9所示。條目5:方位信息[153]條目1 方位信息[154]條目3:方位信息[158]條目4:方位信息[169]根據以下等式對4個條目求平均，且平均值是與在成像時間[12，00，00，4]時捕捉 的圖像相關聯(lián)的方位信息的值。成像方向=(153+154+158+169)/4= 158. 5 度因此，控制器120將所計算的方位信息[158. 5度]作為與在成像時間 [12，00, 00, 4]時捕捉的圖像相關聯(lián)的方位信息記錄在記錄部件(記錄介質)117中。接下來將參考圖10描述情況C3)中執(zhí)行的示例性處理，其中存儲器中沒有存儲具 有與成像時間相對應的時間戳之后的時間戳的任意條目。為了獲取與所捕捉的圖像相關聯(lián)的方位信息，圖像信息處理程序202將與所捕捉 的圖像相關聯(lián)的成像時間信息321提供給方位信息處理程序201。假定成像時間信息321是[12，00，00，8]，如圖10所示。上述過程與參考圖8描述的示例性基本處理(1)中的相同?？刂破?20根據方位信息處理程序201，基于成像時間信息[12，00, 00, 8]而計算 將要與圖像相關并且記錄在記錄部件(記錄介質)117中的方位信息。在步驟S31，控制器120首先從存儲器122中提取接近于從圖像信息處理程序202 中獲取的指定時間321的多條方位信息作為將要排序的數據，如圖10所示。在示例性基本處理中，將要提取作為將要排序的條目的條目數目η是8，基本上用 從具有最接近指定時間321的時間戳的條目的兩側提取基本上相同數目的數據的方式提 取將要排序的數據，如示例性基本處理(1)中所示。
存儲在存儲器122中的具有最接近成像時間信息[12，00，00，8]的時間戳的條目 是條目9，但是在存儲器122中沒有具有與其后的時間相對應的時間戳的條目，如圖10所示。當如此配置所存儲的數據時，用從條目9的兩側提取基本上相同數目的條目的方 式，不能提取到8個條目。在這種情況下，控制器忽略要從條目9的兩側提取的條目數目的平衡，而是提取 包括具有最接近成像時間信息[12，00，00，8]的時間戳的條目9的多個條目(在本示例中 是8個)。在圖10所示的示例中，提取包括條目9的、具有條目9的時間戳之前的時間戳的8 個條目作為將要排序的數據。在這種情況下，提取條目號2至9的8條數據，如圖10所示。在步驟S32，從存儲器122中提取的8條方位信息被按方位信息的大小的遞增或者 遞減的次序排序。如圖10所示，條目2至9中的方位信息的值在最小值147至最大值170的范圍內。 多條方位信息被按大小的遞增順序排序。在步驟S33，對排序的方位信息的中心4條求平均。即，從排序的條目中移除最大和第二大條目以及最小和第二小條目，以及認為僅 中間4個條目的方位信息是將要計算且然后求平均的數據。對此的理由是要從將要求平均 的值中移除如上所述由于干擾或者任何其他因素引起的大大偏離中心值的值。結果，具有方位信息中間值的以下4個條目用作將要求平均的條目，如圖10所示。條目7 方位信息[148]條目5:方位信息[153]條目3:方位信息[158]條目9 方位信息[158]根據以下等式對4個條目求平均，且平均值是與在成像時間[12，00，00，8]時捕捉 的圖像相關聯(lián)的方位信息的值。成像方向=(148+153+158+158)/4= 154. 25 度因此，控制器120將所計算的方位信息[154. 25度]作為與在成像時間 [12，00, 00, 8]時捕捉的圖像相關聯(lián)的方位信息記錄在記錄部件(記錄介質)117中。[4.由根據本發(fā)明實施例的成像設備執(zhí)行的處理序列]接下來將參考圖11至圖13描述由根據本發(fā)明實施例的成像設備執(zhí)行的處理序 列。圖11至圖13所示的序列圖描述以下處理。(a)圖11 單個圖像捕捉處理中的圖像捕捉和記錄序列(b)圖12 連續(xù)圖像捕捉處理中的圖像捕捉和記錄序列(c)圖13 全景圖像捕捉處理中的圖像捕捉和記錄序列以下將參考圖11至圖13順序描述以上成像和記錄序列。(a)單個圖像捕捉處理中的圖像捕捉和記錄序列首先將參考圖11描述單個圖像捕捉處理中的圖像捕捉和記錄序列。圖11示出以下組件中的數據處理序列控制器(圖像信息處理程序)，
控制器(方位信息處理程序)，以及定時器。如上所述，控制器120運行主要負責捕捉和記錄圖像的圖像信息處理程序、以及 主要負責在存儲器122中記錄基于方位傳感器IM獲取的信息而計算的方位信息的方位信 息處理程序。圖11所示的序列圖示出分別運行兩個程序的獨立部件。步驟SlOO中的處理是由控制器120根據方位信息處理程序執(zhí)行的循環(huán)處理，且無 論何時方位傳感器IM檢測到信息(以采樣時間間隔)都重復執(zhí)行。具體地，重復執(zhí)行以 下處理。步驟SlOl 從定時器119獲取時間信息步驟S102 獲取用方位傳感器124檢測的信息(方位信息)步驟S103:在存儲器122中記錄使時間戳與方位信息(見圖5A和圖5B)相關的 數據無論何時方位傳感器IM檢測到信息(以采樣時間間隔)，都重復執(zhí)行步驟SlOl 至S103的處理。例如，當以100毫秒的采樣間隔重復執(zhí)行處理時，在存儲器122的預定區(qū) 域中容納最新的多條方位信息(例如，200個條目)。在步驟SlOO中，控制器120根據獨立于循環(huán)處理的圖像信息處理程序來執(zhí)行處理。在步驟S152以及其后的那些處理是根據圖像信息處理程序的處理。當在步驟 S151用戶完全按下快門時，S卩，當由輸入的圖像捕捉指令觸發(fā)時，執(zhí)行步驟S152以及其后 的那些處理。在步驟S151，當用戶完全按下快門時，在步驟S152拍攝或者捕捉圖像。在步驟S153，然后從定時器獲取成像時間。在步驟S1M，對所捕捉的圖像執(zhí)行諸如JPEG編碼之類的各種處理。在步驟S155，通過將步驟S153中獲取的成像時間信息提供給控制器中的方位信 息處理程序運行部件，發(fā)布獲取與成像時間相對應的方位信息的請求。步驟S155至S158的處理與參考圖8至圖10描述的那些處理相對應。在步驟S155，提供給控制器中的方位信息處理程序運行部件的成像時間信息與例 如圖8所示的成像時間信息301相對應。在步驟S156，控制器中的方位信息處理程序運行部件從存儲在存儲器122中的條 目中選擇具有接近于成像時間的時間戳的條目。在步驟S157，控制器中的方位信息處理程序運行部件進一步排序所選的條目附近 的多個(η個)條目(例如，η = 8)，從排序的條目中再選擇(例如，(η/2) =4個)中間條 目，以及對再選擇條目中的方位信息的值求平均。然后，在步驟S158，控制器中的方位信息處理程序運行部件將所計算的方位信息 提供給控制器120中的圖像信息處理程序運行部件。然后，在步驟S159，控制器120中的圖像信息處理程序運行部件將所捕捉的圖像 以及包含方位信息的元數據記錄在記錄部件(記錄介質)117中。在上述處理中，基于方位傳感器在捕捉圖像的時間前后獲取的多條方位信息而計算將要與所捕捉的圖像相關且然后記錄的方位信息數據。另外，因為對多條所選的方位信 息進行排序，以及對通過移除排序的數據兩端的數據而再選擇的方位信息數據求平均，所 以可以記錄將沒有由于干擾或者其他因素引起的異常值的準確方位信息作為與圖像相關 聯(lián)的元數據。(b)連續(xù)圖像捕捉處理中的圖像捕捉和記錄序列接下來將參考圖12描述連續(xù)圖像捕捉處理中的圖像捕捉和記錄序列。圖12示出以下組件中的數據處理序列控制器(圖像信息處理程序)，控制器(方位信息處理程序)，以及定時器，如圖11所示。步驟S200中的處理是由控制器120根據方位信息處理程序執(zhí)行的循環(huán)處理，且無 論何時方位傳感器1 檢測到信息(以采樣時間間隔)時都重復執(zhí)行。具體地，重復執(zhí)行 以下處理。步驟S201 從定時器119獲取時間信息步驟S202 獲取用方位傳感器IM檢測的信息(方位信息)步驟S203 在存儲器122中記錄使時間戳與方位信息(見圖5A和圖5B)相關的 數據無論何時方位傳感器IM檢測到信息(以采樣時間間隔)時，重復執(zhí)行步驟S201 至S203的處理。例如，當以100毫秒的采樣間隔重復執(zhí)行處理時，在存儲器122的預定區(qū) 域中容納最新的多條方位信息(例如，200個條目)。在步驟S200，控制器120根據獨立于循環(huán)處理的圖像信息處理程序執(zhí)行處理。在步驟S260以及其后的那些處理是根據圖像信息處理程序的處理。當在步驟 S251用戶完全按下快門時，S卩，當由輸入的圖像捕捉指令觸發(fā)時，執(zhí)行步驟S260以及其后 的那些處理。圖12所示的示例示出連續(xù)圖像捕捉序列，其中通過保持按下快門，用戶連續(xù)地捕 捉多個圖像。將圖12所示的步驟S260至S290中用矩形虛線包圍的處理重復地執(zhí)行連續(xù)捕捉 的圖像的數目。即，步驟S260至S290的每個處理作為循環(huán)處理執(zhí)行。步驟S260中的循環(huán)處理包括步驟S261中捕捉圖像以及步驟S262中獲取與所捕 捉的圖像相對應的成像時間的處理。對在連續(xù)圖像捕捉中捕捉的每個圖像重復執(zhí)行該處理。步驟S270中的循環(huán)處理是對所捕捉的圖像執(zhí)行諸如JPEG編碼之類的各種圖像處 理的處理。對連續(xù)圖像捕捉中捕捉的每個圖像重復執(zhí)行該處理。步驟S280中的循環(huán)處理是使方位信息與每個捕捉圖像相關以及記錄它們的方位 信息獲取處理。在步驟S281中，通過將步驟S262中獲取的成像時間信息提供給控制器中的方位 信息處理程序運行部件，發(fā)布獲取與成像時間相對應的方位信息的請求。在步驟S282中，控制器中的方位信息處理程序運行部件從存儲在存儲器122中的 條目中選擇具有接近于成像時間的時間戳的條目。
在步驟S283中，控制器中的方位信息處理程序運行部件進一步排序所選的條目 附近的多個(η個)條目(例如，η = 8)，從排序的條目中再選擇(例如，(η/2) =4個)中 間條目，以及對再選擇條目中的方位信息的值求平均。然后，在步驟S284中，控制器中的方位信息處理程序運行部件將所計算的方位信 息提供給控制器120中的圖像信息處理程序運行部件。對連續(xù)圖像捕捉中捕捉的每個圖像重復執(zhí)行上述處理。步驟S290中的循環(huán)處理是在記錄部件(記錄介質)117中記錄所捕捉的圖像的處理。在步驟S291中，控制器120中的圖像信息處理程序運行部件將所捕捉的圖像以及 包含方位信息的元數據記錄在記錄部件(記錄介質)117中。對連續(xù)圖像捕捉中捕捉的每個圖像重復執(zhí)行上述處理。在上述處理中，基于方位傳感器在捕捉圖像時順序獲取的多條方位信息而計算將 要與連續(xù)圖像捕捉中捕捉的各個圖像相關且然后記錄在記錄部件(記錄介質)117中的多 條方位信息數據。(c)全景圖像捕捉處理中的圖像捕捉和記錄序列接下來將參考圖13描述在全景圖像捕捉處理中的圖像捕捉和記錄序列。圖13示出以下組件中的數據處理序列控制器(圖像信息處理程序)，控制器(方位信息處理程序)，以及定時器，如圖11和圖12所示。步驟S300中的處理是由控制器120根據方位信息處理程序執(zhí)行的循環(huán)處理，且無 論何時方位傳感器1 檢測到信息(以采樣時間間隔)時都重復執(zhí)行。具體地，重復執(zhí)行 以下處理。步驟S301 從定時器119獲取時間信息步驟S302 獲取用方位傳感器IM檢測的信息(方位信息)步驟S303 在存儲器122中記錄使時間戳與方位信息(見圖5A和圖5B)相關的 數據無論何時方位傳感器IM檢測到信息(以采樣時間間隔)時，重復執(zhí)行步驟S301 至S303的處理。例如，當以100毫秒的采樣間隔重復執(zhí)行處理時，在存儲器122的預定區(qū) 域中容納最新的多條方位信息(例如，200個條目)。在步驟S300中，控制器120根據獨立于循環(huán)處理的圖像信息處理程序執(zhí)行處理。在步驟S352以及后來的那些處理是根據圖像信息處理程序的處理。當在步驟 S351用戶輸入作為觸發(fā)的指令來開始捕捉全景圖像時，執(zhí)行步驟S352以及后來的處理。圖13所示的示例示出當移動相機時用戶捕捉多個圖像的序列，且成像設備中的 信號處理器連接多個所捕捉的圖像以生成并記錄全景圖像。上述處理與已經參考圖6描述的處理相對應。當用戶在步驟S351開始捕捉全景圖像時，在步驟S352拍攝或者捕捉圖像。然后在步驟S353從定時器獲取成像時間。當在步驟S3M完成全景圖像捕捉處理時，在步驟S355對所捕捉的圖像執(zhí)行各種處理，諸如連接多個圖像以生成全景圖像以及JPEG編碼。在步驟S356計算捕捉所生成的全景圖像的中心圖像的時間。將參考圖14描述成像時間計算的示例。圖14示出通過連接多個圖像生成的全景 圖像500。全景圖像500是在全景成像模式下通過組合以預先指定的成像時間間隔連續(xù)捕 捉的多個圖像foi至f07而生成的圖像。在圖13的序列圖中，步驟S353中獲取與第一圖像幀f01相關聯(lián)的成像時間信息。假定捕捉幀f01的時間是[15，23，31，2](時，分，秒，百毫秒)。為了執(zhí)行全景成像，用戶設置相機為全景成像模式，并按下快門且然后移動相機。 在該處理中，捕捉多個圖像fOl至f07，如圖14所示。相機中的信號處理器連接多個圖像以 生成全景圖像500。將要記錄為與全景圖像500相關聯(lián)的元數據的方位信息是例如捕捉全景圖像500 的中心圖像的方向。在這種情況下，圖14中示出的點P的位置是全景圖像500的中心位置。包含點P的圖像是幀f04。捕捉幀f04的時間可以由捕捉第一幀的時間計算。預先指定全景模式下捕捉圖像 的時間間隔。因此可以根據以下等式計算捕捉幀f04的時間，如圖14所示。捕捉幀f04的時間=[15，23，31，2] +(成像間隔X3)例如，當每隔100毫秒執(zhí)行連續(xù)成像時，捕捉幀f04的時間可以計算如下。捕捉幀f04 的時間=[15，23，31，2]+ (100 毫秒 X 3) = [15，23，31，5](時，分，秒， 百毫秒)在圖13所示的序列圖中的步驟S356中，例如以上述方式計算捕捉全景圖像的中 心圖像的時間。在步驟S357中，通過將步驟S356計算的成像時間信息提供給控制器中的方位信 息處理程序運行部件，發(fā)布獲取與成像時間(在本示例中，捕捉全景圖像的中心圖像的時 間)相對應的方位信息的請求。步驟S357至S360的處理與參考圖8至圖10描述的處理相對應。在步驟S358中，控制器中的方位信息處理程序運行部件從存儲在存儲器122中的 條目中選擇具有接近于成像時間(在本示例中，捕捉全景圖像的中心圖像的時間)的時間 戳的條目。在步驟S359中，控制器中的方位信息處理程序運行部件進一步排序所選的條目 附近的多個(η個)條目(例如，η = 8)，從排序的條目中再選擇(例如，(η/2) =4個)中 間條目，以及對再選擇條目中的方位信息的值求平均。然后，在步驟S360中，控制器中的方位信息處理程序運行部件將所計算的方位信 息提供給控制器120中的圖像信息處理程序運行部件。然后，在步驟S361中，控制器120中的圖像信息處理程序運行部件將全景圖像以 及包含方位信息(在本示例中，與捕捉全景圖像的中心圖像的時間相對應的方位信息)的 元數據記錄在記錄部件(記錄介質)117中。在上述處理中，基于捕捉在形成全景圖像的多個圖像中的全景圖像的中心圖像的 時間前后、方位傳感器獲取的多條方位信息而計算將要與全景圖像相關且然后記錄的方位信息數據。另外，因為對多條所選的方位信息進行排序，以及對通過移除排序的數據兩端的 數據再選擇的方位信息數據求平均，所以可以記錄沒有由于干擾或者其他因素引起的異常 值的準確方位信息作為與全景圖像相關聯(lián)的元數據。在參考圖13描述的示例性處理中，僅記錄與全景圖像相關聯(lián)的一條方位信息作 為元數據?；蛘?，與形成全景圖像的每個圖像相關聯(lián)的成像方向信息可以被作為元數據記 錄在記錄部件(記錄介質)117中。例如，在圖14所示的示例中，記錄與形成全景圖像500 的每個圖像f01至f07相關聯(lián)的方位信息作為元數據。為了執(zhí)行上述處理，通過使用參考圖14描述的方法，對于形成全景圖像500的每 個圖像f01至 7計算成像時間，以及提供與每個圖像相關聯(lián)的成像時間信息給控制器中 的方位信息處理程序運行部件。其后，方位信息處理程序運行部件獲取與在參考圖8至圖10描述的處理中捕捉每 個圖像的時間相對應的方位信息，并提供所獲取的方位信息給控制器中的圖像信息處理程 序運行部件。圖像信息處理程序運行部件將該方位信息作為與形成全景圖像500的每個圖像 f01至f07相關聯(lián)的方位信息記錄在記錄部件(記錄介質)117中。已經參考具體實施例詳細描述了本發(fā)明。然而很明顯，在修改或者替換不偏離本 發(fā)明的實質的程度上，本領域技術人員能夠修改或者替換實施例。即，本發(fā)明已經用示例的 方式公開，而不應該限制于此進行解釋。為了理解本發(fā)明的實質，應該參考權利要求。說明書中描述的一系列處理能夠由硬件、軟件、或者其組合執(zhí)行。為了通過軟件執(zhí) 行處理，將記錄處理序列的程序安裝在集成到專用硬件的計算機的存儲器中且然后運行， 或者將程序安裝在能夠運行各種處理的通用計算機中然后運行。例如，可以預先將程序記 錄在記錄介質上?？梢詫⒊绦驈挠涗浗橘|安裝到計算機上，或者可以通過LAN (局域網)、因 特網、或者任何其他適當的網絡接收程序且然后安裝在內嵌的硬盤驅動器或者任何其他適 當的記錄介質上。說明書中描述的各種處理可以按說明書中描述的次序按時間順序執(zhí)行，或者按需 要或者根據執(zhí)行處理的設備的性能可以同時或者分開執(zhí)行。在此使用的詞“系統(tǒng)”意指多 個裝置的邏輯組，且“系統(tǒng)”的構成器件并不一定需要集成在單個殼體中。如上所述，根據本發(fā)明的實施例的配置，使通過相繼接收方位傳感器檢測的值所 計算的方位信息與表示從方位傳感器輸入檢測值的時間的時間戳相關的條目被相繼記錄 在存儲器中，該方位傳感器檢測表示定位成像設備的方向的方位。當捕捉圖像時，從存儲器 中提取具有接近于捕捉圖像的時間的時間戳的多個條目，且所提取的條目中的多條方位信 息用于計算表示捕捉圖像的方向的方位信息。然后，記錄所計算的方位信息作為與圖像相 關聯(lián)的屬性信息。在該配置中，可以基于方位傳感器在捕捉圖像的時間前后獲取的多條方 位信息而計算將要記錄為與圖像相關聯(lián)的屬性信息的方位信息數據。另外，因為對通過移 去多條排序的方位信息兩端的數據而再選擇的方位信息數據求平均，所以可以記錄沒有由 于干擾或者其它因素引起的異常值的準確方位信息作為與圖像相關聯(lián)的元數據。本申請包含與于2009年12月4日在日本專利局提交的日本優(yōu)先權專利申請JP 2009-276450中公開的主題有關的主題，將其全部內容通過引用合并于此。本領域技術人員應該理解，在附加權利要求或者其等價物范圍內，取決于設計要求及其它因素，可以進行多種修改、組合、部分組合以及變更。
權利要求
1.一種成像設備，包括方位傳感器，其檢測表示在其上定位所述成像設備的方向的方位； 控制器，其生成由所捕捉的圖像以及與所捕捉的圖像相關聯(lián)的屬性信息形成的數據并 且在記錄部件中記錄數據；以及記錄部件，其存儲所捕捉的圖像和屬性信息，其中，所述控制器在存儲器中相繼記錄條目，所述條目使通過相繼接收用所述方位傳 感器檢測到的值而計算出的方位信息與表示從所述方位傳感器輸入檢測值的時間的時間 戳相關，從記錄在所述存儲器中的條目中提取具有接近于捕捉圖像的時間的時間戳的多個條 目，以及通過使用所提取的條目中的多條方位信息來計算表示在其上捕捉圖像的方向的方位 fn息ο
2.根據權利要求1所述的成像設備，其中，所述控制器從在所述存儲器中記錄的條目中提取具有接近于捕捉圖像的時間的 時間戳的多個條目，從所提取的條目中的多條方位信息中再選擇具有方位信息的中間值的 少量條目，并將多個再選擇條目中的多條方位信息的平均值設置為表示在其上捕捉圖像的 方向的方位信息。
3.根據權利要求1或者2所述的成像設備， 其中，所述控制器從在所述存儲器中記錄的條目中選擇具有最接近捕捉圖像的時間的時間戳的單個代 表性條目，選擇具有接近于所述代表性條目的時間戳的時間戳的指定數目的相鄰條目， 將由所述代表性條目和所述相鄰條目組成的多個條目按方位信息的大小的遞增或者 遞減的次序排序，以及從所排序的條目中至少移除該最大以及最小端的條目，在剩余的中間條目中求方位信 息的值的平均，并設置該平均值為表示在其上捕捉圖像的方向的方位信息。
4.根據權利要求1至3中任意一項所述的成像設備， 其中，所述控制器獲取捕捉每個連續(xù)捕捉的圖像的時間，從在所述存儲器中記錄的條目中提取具有接近于在其上捕捉每個連續(xù)捕捉的圖像的 時間的時間戳的多個條目，以及通過使用所提取的條目中的多條方位信息來計算表示在其上捕捉每個連續(xù)捕捉的圖 像的方向的方位信息。
5.根據權利要求1至3中任意一項所述的成像設備，其中，所述控制器從在所述存儲器中記錄的條目中提取具有接近于捕捉組合多個捕捉 圖像而生成的全景圖像的中心圖像的時間的時間戳的多個條目，并通過使用所提取的條目 中的多條方位信息來計算表示在其上捕捉所述全景圖像的方向的方位信息。
6.根據權利要求5所述的成像設備，其中，所述控制器根據捕捉所述全景圖像的成像開始幀的時間來計算捕捉所述全景圖像的中心圖像的時間。
7.—種在成像設備中執(zhí)行的數據處理方法，所述方法包括步驟允許控制器在存儲器中相繼記錄條目，所述條目使通過相繼接收方位傳感器檢測到的 值所計算的方位信息與表示從所述方位傳感器輸入檢測值的時間的時間戳相關，所述方位 傳感器檢測表示在其上定位所述成像設備的方向的方位；允許所述控制器獲取捕捉圖像的時間；以及允許所述控制器從在所述存儲器中記錄的條目中提取具有接近于捕捉圖像的時間的 時間戳的多個條目，以及通過使用所提取的條目中的多條方位信息來計算表示捕捉圖像的 方向的方位信息。
8.一種命令成像設備執(zhí)行數據處理的程序，包括步驟允許控制器在存儲器中相繼記錄條目，所述條目使通過相繼接收方位傳感器檢測到的 值所計算的方位信息與表示從所述方位傳感器輸入檢測值的時間的時間戳相關，所述方位 傳感器檢測表示在其上定位所述成像設備的方向的方位；允許所述控制器獲取捕捉圖像的時間；以及允許所述控制器從在所述存儲器中記錄的條目中提取具有接近于捕捉圖像的時間的 時間戳的多個條目，以及通過使用所提取的條目中的多條方位信息來計算表示在其上捕捉 圖像的方向的方位信息。
全文摘要
提供了成像設備、數據處理方法及程序。該成像設備包括方位傳感器，其檢測表示在其上定位成像設備的方向的方位；控制器，其生成由所捕捉的圖像以及與所捕捉的圖像相關聯(lián)的屬性信息形成的數據并且在記錄部件中記錄數據；以及記錄部件，其存儲所捕捉的圖像和屬性信息，其中控制器在存儲器中相繼記錄條目，條目使通過相繼接收用方位傳感器檢測到的值所計算出的方位信息與表示從方位傳感器輸入檢測值的時間的時間戳相關，從在存儲器中記錄的條目中提取具有接近于捕捉圖像的時間的時間戳的多個條目，以及通過使用所提取的條目中的多條方位信息來計算表示在其上捕捉圖像的方向的方位信息。
文檔編號H04N5/232GK102104725SQ20101056413
公開日2011年6月22日 申請日期2010年11月29日 優(yōu)先權日2009年12月4日
發(fā)明者小田龍之介 申請人:索尼公司