專利名稱：成像設(shè)備、成像方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具W組合多個(gè)圖像的功能的成像設(shè)備、成像方法和程序。
背景技術(shù)：
當(dāng)使用可攜式攝像機(jī)、數(shù)字靜態(tài)照相機(jī)或者任何其它適當(dāng)設(shè)備進(jìn)行全景成像時(shí)，
每當(dāng)捕捉圖像時(shí)，必須使相機(jī)保持固定，或者必須緩慢地移動(dòng)相機(jī)，以致當(dāng)移動(dòng)相機(jī)NJ吋捕
捉圖像時(shí)，圖像不會(huì)模糊。 在后--情況下，高速快門也是捕捉圖像所必需的。 相反，日本專利No, 3928222提出一種在保持圖像分辨率的情況下，在快速移動(dòng)相 機(jī)時(shí)捕捉圖像的方法。 在日本專利No. 3928222提出的技術(shù)中，檢測(cè)移動(dòng)相機(jī)的方向和移動(dòng)相機(jī)的角速 度，并以相同的角速度沿與相機(jī)的移動(dòng)相反的方向移動(dòng)光軸，以致每個(gè)圖像不會(huì)改變。從 而，好像僅僅注視一點(diǎn)似地捕捉每個(gè)圖像。 在-'些情況下，為丫實(shí)現(xiàn)上述控制方法，需耍加速度傳感器和角速度傳感器。相 反，日木專利No. 3925299提出一種在沒有所述兩個(gè)傳感器和控制它們的反饋電路的情況 下，恰當(dāng)控制光軸的方法。 在日本專利No. 3925299屮提出的方法被J1:H乍監(jiān)視系統(tǒng),其屮計(jì)數(shù)用于控制成像 方向的歩進(jìn)電機(jī)的脈沖的數(shù)目，并根據(jù)所述計(jì)數(shù)控制光軸。

發(fā)明內(nèi)容
但是,在預(yù)期的全景攝影中，圖像的清晰度a于由加速度傳感器和角速度傳感器 構(gòu)成的姿態(tài)傳感器的精度。 于是，當(dāng)僅僅根據(jù)從姿態(tài)傳感器獲得的信息產(chǎn)生位置信息時(shí)，所得到的全景照片 可能太粗糙以至于不能査看。 從而，理想的是提供一種能夠產(chǎn)生無(wú)失真的高清晰全景圖像的成像設(shè)備、成像方 法和程序。 按照本發(fā)明的第一實(shí)施例的成像設(shè)備包括通過光學(xué)系統(tǒng)捕捉被攝體圖像的成像 器件，具有把多個(gè)捕捉的圖像組合成--個(gè)圖像的功能的圖像信號(hào)處理器，所述圖像是在移 動(dòng)成像設(shè)備的期間捕捉的，提供成像設(shè)備的姿態(tài)信息的姿態(tài)傳感器,和處理來(lái)自姿態(tài)傳感 器的信息，并對(duì)姿態(tài)信息的處理結(jié)果和來(lái)自圖像信5處理器的處理結(jié)果進(jìn)行協(xié)調(diào)控制的控 制申.元。圖像信號(hào)處理器使用圖像識(shí)別確定相鄰圖像之間的相對(duì)位置關(guān)系?？刂粕?元把當(dāng) 姿態(tài)傳感器固定不動(dòng)時(shí)姿態(tài)傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值，關(guān)于時(shí)間求姿態(tài)傳 感器檢測(cè)的信息的積分，從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng),把積分值設(shè)為捕捉每個(gè)圖像時(shí)的 方向數(shù)據(jù)，根據(jù)確定的初始值、方向數(shù)據(jù)和圖像信號(hào)處理器確定的相對(duì)位置關(guān)系，確定相鄰 圖像之間的位置關(guān)系，并判斷確定的結(jié)果是否正確。 最好，姿態(tài)傳感器包括角速度傳感器，控制單元求角速度傳感器檢測(cè)的信息的積
4分，從而提供移動(dòng)量，以便確定相對(duì)位置關(guān)系，并對(duì)圖像信號(hào)處理器確定的相對(duì)位置關(guān)系進(jìn) 行選擇性協(xié)調(diào)校正，以確定相對(duì)移動(dòng)信息。 最好，姿態(tài)傳感器包括角速度傳感器和加速度傳感器，控制單元把當(dāng)加速度傳感 器固定不動(dòng)時(shí)加速度傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值，并且關(guān)于時(shí)間求角速度傳 感器檢測(cè)的信息的積分，從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng)。 最好，控制申\元具有改變方向數(shù)據(jù)的參數(shù)，以使方向數(shù)據(jù)與實(shí)際方向基木相符的 功能。 最好，當(dāng)在判斷過程屮控制單元判斷確定的結(jié)果iE確時(shí)，控制單元校準(zhǔn)參數(shù)。
最好，當(dāng)在判斷過程中控制單元判斷確定的結(jié)果不正確時(shí)，控制單元根據(jù)已校準(zhǔn) 的參數(shù)，使用來(lái)自姿態(tài)傳感器的信息排列圖像。 最好，圖像信號(hào)處理器通過使用相鄰圖像之間的重疊區(qū)域進(jìn)行圖像識(shí)別。 最好，圖像信號(hào)處理器在通過按照選擇的圖像沿相應(yīng)邊界相互重疊的方式排列圖
像中的多個(gè)選擇圖像而產(chǎn)生的邊界進(jìn)行塊匹配，沿著相應(yīng)的邊界組合選擇的圖像，從而提
取預(yù)定參數(shù)，根據(jù)所述參數(shù)在組合的圖像的所有邊界進(jìn)行塊匹配，同時(shí)并且并行地評(píng)估關(guān)
于所有邊界的塊匹配結(jié)果，并按照在所有邊界的誤差降低的方式更新光軸的方向，以致按
照誤差降低的方式進(jìn)行組合。 按照本發(fā)明的第二實(shí)施例的成像方法包括下述歩驟在移動(dòng)成像設(shè)備時(shí)，通過光 學(xué)系統(tǒng)用成像器件捕捉被攝體圖像，光學(xué)系統(tǒng)包括改變光軸的光軸可變器件，通過對(duì)捕捉 的圖像進(jìn)行圖像識(shí)別，確定相鄰圖像之間的相對(duì)位置關(guān)系，把當(dāng)姿態(tài)傳感器固定不動(dòng)時(shí)姿 態(tài)傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值，關(guān)于時(shí)間求姿態(tài)傳感器檢測(cè)的信息的積分， 從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng)，并且把積分值設(shè)為當(dāng)捕捉每個(gè)圖像吋的方向數(shù)據(jù)，根據(jù)確 定的初始值、方向數(shù)據(jù)和通過圖像識(shí)別確定的相對(duì)位置關(guān)系，確定相鄰圖像之間的位置關(guān) 系，并判斷確定結(jié)果是否正確。 按照本發(fā)明的第三實(shí)施例的程序使計(jì)算機(jī)執(zhí)行成像處理，所述成像處理包括下述 處理在移動(dòng)成像設(shè)備時(shí)，通過光學(xué)系統(tǒng)用成像器件捕捉被攝體圖像，光學(xué)系統(tǒng)包括改變光 軸的光軸可變器件，通過對(duì)捕捉的圖像進(jìn)行圖像識(shí)別，確定相鄰圖像之間的相對(duì)位置關(guān)系， 把當(dāng)姿態(tài)傳感器固定不動(dòng)時(shí)姿態(tài)傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值，關(guān)于時(shí)間求姿 態(tài)傳感器檢測(cè)的佶息的枳分，從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng)，并且把積分值設(shè)為當(dāng)捕捉每 個(gè)圖像吋的力M議據(jù)，恨據(jù)砷定的初始值、方向數(shù)據(jù)和通過圖像識(shí)別確定的相對(duì)位置關(guān)系， 確定相鄰圖像之間的位置關(guān)系，并判斷確定結(jié)果是否正確。 按照本發(fā)明的實(shí)施例，在移動(dòng)成像設(shè)備期間捕捉的多個(gè)圖像被輸入圖像信號(hào)處理 器。 此外，姿態(tài)傳感器檢測(cè)的成像設(shè)備的姿態(tài)信息被輸入控制單元。 圖像信號(hào)處理器使用圖像識(shí)別來(lái)確定相鄰圖像之間的相對(duì)位置關(guān)系，并把相對(duì)位
置關(guān)系提供給控制單元。 控制單元把當(dāng)姿態(tài)傳感器固定不動(dòng)時(shí)姿態(tài)傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初 始值，關(guān)T時(shí)間求姿態(tài)傳感器檢測(cè)的信息的積分，從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng)，把積分值 設(shè)為當(dāng)捕捉每個(gè)圖像時(shí)的方向數(shù)據(jù)。 控制單元隨后根據(jù)確定的初始值、方向數(shù)據(jù)和圖像信號(hào)處理器確定的相對(duì)位置關(guān)CN 101715053 A
說明書
3/28貞—
系，確定相鄰圖像之間的位置關(guān)系，并判斷確定結(jié)果是否正確。
按照本發(fā)明的實(shí)施例，能夠提供無(wú)失真的高清晰全景圖像。


圖1是表示采用按照本發(fā)明的實(shí)施例的圖像處理設(shè)備的相機(jī)設(shè)備的配置例子的 方框圖； 圖2是概念地表示利用按照本實(shí)施例的相機(jī)設(shè)備進(jìn)行的廣介j成像；
圖3是精確組合處理器的方框圖； 圖4表示以圖表形式顯示的來(lái)自姿態(tài)傳感器的輸出(掃描角速度)； 圖5A和5B描述在本實(shí)施例的第一配置中，是如何捕捉圖像的； 圖6表示CMOS圖像傳感器被曝光的時(shí)期，瀆出累積電荷的時(shí)期，和控制光軸的時(shí)
期之間的關(guān)系； 圖7A和7B表示由基T互功率譜(CPS)的平移獲得的縫合圖像； 圖8描述通過使用塊匹配(BM)提取參數(shù)的過程，并表示選擇情況良好的四個(gè)圖像
的過程； 圖9描述通過使用塊匹配(BM)提取參數(shù)的過程，并表示沿單一邊界在三個(gè)位置進(jìn) 行腿的例子； 圖l()描述通過使用塊匹配(BM)提取參數(shù)的過程，并表不當(dāng)存在透鏡畸變時(shí),BM導(dǎo) 致彎曲的邊界； 圖11描述通過使用塊匹配(BM)提取參數(shù)的過程,并表示當(dāng)傾角不止確時(shí)，產(chǎn)生向 左右方向傾斜的不正確邊界的例子； 圖12描述通過使用塊匹配(BM)提取參數(shù)的過程，并表示沿左右圖像之間的邊界 產(chǎn)生的上下方向的收縮導(dǎo)致橫向方向的移位的例子； 圖13描述通過使用塊匹配(BM)提取參數(shù)的過程，并表示由圖像的旋轉(zhuǎn)引起的誤 差的例子； 圖14A和l犯描述在使用塊匹配(BM)提取參數(shù)之后，把BM擴(kuò)展到大量的圖像，以 致以最小的誤差進(jìn)行平移操作的過程； 圖15是表示基于連續(xù)捕捉的圖像和傳感器信息的空間排列方法的功能方框圖；
圖16是表示在通過使連續(xù)捕捉的圖像與傳感器信息關(guān)聯(lián)，使傳感器信息更精確 的方法巾，固定狀態(tài)下的傳感器零位置的校正的功能方框圖； 圖17是表示在通過使連續(xù)捕捉的圖像與傳感器信息關(guān)聯(lián)，使傳感器信息更精確
的力'法屮，如何協(xié)調(diào)移動(dòng)信息以使之更精確的功能方框圖； 圖18是校正角速度傳感器的零點(diǎn)的過程的流程圖； 圖19是校正從角速度傳感器獲得的移動(dòng)量的過程的流程圖； 圖20是獲得移動(dòng)量的方法的流程圖； 圖21是通過使用捕捉的照片分配空間坐標(biāo)的方法的流程圖；
圖22A-22D描述掃描速度的計(jì)算例子。
具體實(shí)施例方式
' K面參考附圖，說明本發(fā)明的一個(gè)實(shí)施例。 圖i是表示作為按照本發(fā)明的實(shí)施例的成像設(shè)備的相機(jī)設(shè)備的配置例子的方框 圖。 例如，如圖2中所示，通過多次自動(dòng)或手動(dòng)改變成像方向，相機(jī)設(shè)備10能夠產(chǎn)生從 一點(diǎn)捕捉的許多圖像(圖2巾16X8 = 128)。 相機(jī)設(shè)備10被配置成準(zhǔn)確并且無(wú)縫地組合許多圖像，例如數(shù)千個(gè)圖像，從而形成 稱為全景圖像的圖像。 B卩，相機(jī)設(shè)備i0 PJ]報(bào)據(jù)通過沿縱向或橫向高速擺動(dòng)其中包含同態(tài)成像器件(比 如CM()S圖像傳感器(CiS))的數(shù)字相機(jī)『fr]捕捉的圖像，產(chǎn)生全景圖像的功能。
按照本實(shí)施例的相機(jī)設(shè)備丄0具有下述第--到第五特征配置和功能。
第一配置具有下述特征點(diǎn)。 為丫通過移動(dòng)相機(jī)設(shè)備10以捕捉多個(gè)圖像并組合獲得的圖像而產(chǎn)生全景圖像，按 照抵消相機(jī)的移動(dòng)方向及其移動(dòng)角速度的方式控制收集成像光的透鏡(移位透鏡)的光軸。
這樣，即使當(dāng)相機(jī)被移動(dòng)時(shí) ，仍然好像僅僅注視- 一點(diǎn)似地捕捉每個(gè)圖像。
在這種配置屮，CIS(CMOS圖像傳感器)被用作固態(tài)成像器件，通過對(duì)CI:S的各行 的中心部分進(jìn)行上述控制，捕捉每個(gè)圖像。 Bl」，在曝光所述各行的一部分的時(shí)間加....匕讀出時(shí)間的期間，光軸被如上所述控制， 而在所有其它時(shí)間，按照使光軸恢復(fù)到在所述中心附近的位置的方式控制光軸。這種情況 下，相機(jī)捕捉圖像的方向垂直于CIS的各行。 相機(jī)設(shè)備10隨后通過從部分的CIS剪取-、個(gè)條帶，并進(jìn)行與該部分對(duì)應(yīng)的光軸控 制，以高幀速率產(chǎn)生全景圖像，而不降低分辨率(即使當(dāng)相機(jī)被高速移動(dòng)時(shí))。
第二配置具有下述特征點(diǎn)。 相機(jī)設(shè)備l()采jlj其屮通過使用由圖像識(shí)別技術(shù)獲得的幀移動(dòng)信息和來(lái)fi姿態(tài)傳 感器的移動(dòng)信息，空間排列連續(xù)圖像的技術(shù)。 來(lái)自姿態(tài)傳感器的信息補(bǔ)充圖像識(shí)別未提供的信息。來(lái)自姿態(tài)傳感器的信息被用 于檢査是否已成功進(jìn)行圖像識(shí)別，或者當(dāng)圖像識(shí)別失敗時(shí)被用作輔助坐標(biāo)。空間排列的圖 像產(chǎn)生單一的完整的全景圖像。 這種情況下，相機(jī)設(shè)備IO被配置成主耍由雙手拿著的相機(jī)，并通過改變成像方向 基木l:從一點(diǎn)捕捉多個(gè)圖像。 相機(jī)設(shè)備10的姿態(tài)傳感器包括三軸(或二軸)加速度傳感器和Z或三軸(或二 軸)角速度傳感器。 相機(jī)設(shè)備10不僅線丫]抽捉圖像，同時(shí)記錄指示捕捉每個(gè)圖像的方向的姿態(tài)信息 的功能，I-I'l]且具有即時(shí)把多個(gè)捕捉的圖像組合成單一圖像的功能。 相機(jī)設(shè)各丄0不僅使用其中相鄰圖像相巧:重疊的區(qū)域與塊匹配或者仟何其它適當(dāng) 的圖像識(shí)別功能一起計(jì)算圖像之間的相對(duì)位置關(guān)系，而且使用來(lái)自由各種傳感器構(gòu)成的姿 態(tài)傳感器的數(shù)據(jù)計(jì)算圖像位置關(guān)系。 相機(jī)設(shè)備10隨后通過使用計(jì)算的相對(duì)位置關(guān)系和圖像位置關(guān)系之間的選擇性協(xié) 調(diào)，計(jì)算更精確的相對(duì)位置關(guān)系。
之后，相機(jī)設(shè)備10識(shí)別每個(gè)圖像的絕對(duì)位置關(guān)系，比如圖像的中心朝向的方向， 搖攝角(經(jīng)度)，傾角(緯度)和表不圍繞光軸的旋轉(zhuǎn)的滾轉(zhuǎn)角(傾斜)，并使用上述信息 作為初始值進(jìn)行精確自動(dòng)組合。
第二配置具有下述特征點(diǎn)。 相機(jī)設(shè)備IO采用其中記錄連續(xù)圖像，NJ吋使由圖像識(shí)別技術(shù)獲得的幀移動(dòng)信息 與來(lái)自姿態(tài)傳感器的移動(dòng)信息彼此相關(guān)的技術(shù)。 相機(jī)設(shè)備10計(jì)算每個(gè)圖像像素的視介j，來(lái)fi處于固定狀態(tài)的姿態(tài)傳感器的值，來(lái) 自姿態(tài)傳感器的值和每個(gè)像素的視角之間的關(guān)系，以及不能僅僅根據(jù)所述兩種位置關(guān)系之
一獲得的其它信息。相機(jī)設(shè)備io PJi-偏移量、增益和其它參數(shù),并且能夠改變它們，以使捕
捉每個(gè)圖像的預(yù)期方向基本與實(shí)際方向一致。 相機(jī)設(shè)備i0以三軸(或二軸)加速度傳感器相對(duì)于重力方向的傾斜角的形式，靜 態(tài)地檢測(cè)固定狀態(tài)下的姿態(tài)數(shù)據(jù)，并把該數(shù)據(jù)設(shè)為姿態(tài)信息的初始值。 相機(jī)設(shè)備10通過關(guān)丁1吋間，求來(lái)自三軸角速度傳感器的輸出值的積分，主耍計(jì)算 縱向方向和橫向方向l:相機(jī)的旋轉(zhuǎn)移動(dòng)，并把所得到的值設(shè)為當(dāng)捕捉每個(gè)圖像時(shí)的方向數(shù) 據(jù)。 相機(jī)設(shè)備IO使用其屮相鄰圖像相互至疊的區(qū)域與塊匹配或者任何其它適當(dāng)?shù)膱D
像識(shí)別手段一起計(jì)算相鄰圖像之間的位置關(guān)系。相機(jī)設(shè)備10利用如上所述的計(jì)算確定相
鄰圖像之間的位置關(guān)系，不過同時(shí)判斷結(jié)果是否正確。 當(dāng)判斷結(jié)果正確時(shí)，相機(jī)設(shè)各i0根據(jù)這樣獲得的信息校準(zhǔn)參數(shù)。
當(dāng)判斷結(jié)果不止確時(shí),相機(jī)設(shè)備l()隨后根據(jù)已被校準(zhǔn)的參數(shù),使用來(lái)自姿態(tài)傳感
器的值排列圖像。 第四配置具有下述特征點(diǎn)。 相機(jī)設(shè)備10具有當(dāng)它檢測(cè)到運(yùn)動(dòng)目標(biāo)的任何影響時(shí)，發(fā)出報(bào)警，以提示用戶重新 捕捉圖像的功能。 相機(jī)設(shè)備10具W按照重疊率被設(shè)為50%或更高，以致被攝體的任意部分出現(xiàn)在 至少兩個(gè)相鄰圖像中的方式，檢測(cè)運(yùn)動(dòng)目標(biāo)的功能。從而，根據(jù)相鄰圖像之間的運(yùn)動(dòng)向量間 的相似性，檢測(cè)視差或運(yùn)動(dòng)被攝休的仟意影響。 B卩，當(dāng)相機(jī)設(shè)備l()檢測(cè)到運(yùn)動(dòng)冃標(biāo)或視差的任意影響時(shí),相機(jī)設(shè)備l()發(fā)出報(bào)警, 以提示用戶重新捕捉圖像。 被快速擺動(dòng)以便捕捉寬范闈內(nèi)的被攝體的多個(gè)條狀圖像，并把多個(gè)條狀圖像組合 成單-一圖像的相機(jī)設(shè)備10檢測(cè)視差對(duì)近距離的被攝體的影響程度，并提示用戶環(huán)繞相機(jī) 注視被攝體的視點(diǎn)至新捕捉圖像。
第五配置貝仃下述特征點(diǎn)。 相機(jī)設(shè)備10通知適當(dāng)?shù)膾呙杞撬俣?用戶擺動(dòng)相機(jī)的速度)，當(dāng)掃描角速度過快 時(shí)發(fā)出報(bào)警。這樣，提示用戶重新捕捉圖像。 相機(jī)設(shè)備l()以圖表的形式把姿態(tài)傳感器(陀螺傳感器)的輸出(捫描角速度) .M示在.M示器件18，比如LCD的屏幕上,垂直軸代表輸出，水平軸代表吋間。由丁'當(dāng)設(shè)置水 平視角、水平像素的數(shù)目和快門速度時(shí)，最高掃描角速度就被確定，岡此按照適當(dāng)?shù)姆堕潖?最高掃描介j速度的60%到最高掃描伯速度的80%的方式顯示所述圖表。
8
下面更具體地說明具17上述特征的相機(jī)設(shè)備10的配置和功能。 相機(jī)設(shè)備10包括光學(xué)系統(tǒng)ll,成像器件12,模擬前端(AFE)電路13，姿態(tài)傳感器
丄4，驅(qū)動(dòng)器i5，系統(tǒng)控制器丄6，存儲(chǔ)器i7，顯示器件i8，操作單元丄9和揚(yáng)聲器20。 光學(xué)系統(tǒng)11在成像器件12的成像面上形成被攝體的圖像。 光學(xué)系統(tǒng)11包括普通透鏡111，作為光軸可變器件的移位透鏡112和機(jī)械快門 113。 移位透鏡112不僅收集成像光，而且由驅(qū)動(dòng)器15驅(qū)動(dòng)，以改變光軸的方向。
成像器件12由CM()S(互補(bǔ)金屬氧化物半導(dǎo)體)器件或CCD(電荷耦合器件)構(gòu)成。
在本實(shí)施例的說明中，舉例來(lái)說使用CMOS圖像傳感器。在上面說明的第一配置 中，CMOS圖像傳感器被用作固態(tài)成像器件。 在成像器件12中，以矩陣形式排列在半導(dǎo)休襯底上的光學(xué)傳感器檢測(cè)由光學(xué)系 統(tǒng)U形成的被攝體圖像,產(chǎn)生信號(hào)電荷,借助垂直和水T信號(hào)線讀取信號(hào)電荷，并輸出被 攝體的圖像信3。 當(dāng)成像器件1.2由CMOS圖像傳感器形成時(shí)，全域快門和巻簾快門被用作控制曝光 量的電子快門。曝光量由系統(tǒng)控制器16控制。 AFE電路消除包含在來(lái)自成像器件12的圖像信號(hào)屮的固定模式噪聲,使用自動(dòng)增 益控制來(lái)穩(wěn)定信號(hào)電平，并把所得到的信號(hào)輸出給系統(tǒng)控制器16。 姿態(tài)傳感器14檢測(cè)相機(jī)設(shè)備10的姿態(tài)，并把檢測(cè)結(jié)果提供給系統(tǒng)控制器16。
例如，姿態(tài)傳感器14由三軸加速度傳感器i4i和三軸角速度傳感器142構(gòu)成。
加速度傳感器141能夠靜態(tài)地得到其相對(duì)于重力方向的角度，并檢測(cè)傾角和滾轉(zhuǎn) 角，但是不檢測(cè)搖攝角。 于是，角速度傳感器M2被用于得到運(yùn)動(dòng)的角度。角速度傳感器142也被稱為陀螺 傳感器，能夠檢測(cè)旋轉(zhuǎn)移動(dòng)期間的伯速度，并輸出電壓信號(hào)。對(duì)電壓信號(hào)積分即產(chǎn)生介j度。 由于角速度傳感器142是三軸傳感器，因此能夠檢測(cè)搖攝角，傾角和滾轉(zhuǎn)角。
在系統(tǒng)控制器16的控制下,驅(qū)動(dòng)器15改變光學(xué)系統(tǒng)11中的移位透鏡112的光軸。
系統(tǒng)控制器16是對(duì)AFE電路的輸出信號(hào)進(jìn)行色彩校正，組合多個(gè)圖像，進(jìn)行自動(dòng) 曝光控制，自動(dòng)白平衡控制，和其它控制操作的電路。 系統(tǒng)控制器16包括圖像信號(hào)處理器161，和充當(dāng)控制單元的微計(jì)算機(jī) (U -COM) 162。 圖像信號(hào)處理器161包括配置成精確并且無(wú)縫地組合通過多次改變成像方向，從 - -點(diǎn)捕捉的許多圖像的精確組合處理器。 如圖3屮所示，精確組合處理器1.611包括第一色彩校正功能單元16111，組合功能 單元16112,和第二色彩校正功能單元16113。 圖像信號(hào)處理器161組合通過移動(dòng)相機(jī)設(shè)備10 rfn獲得的多個(gè)捕捉圖像，從1-I'l]產(chǎn)生 全景圖像。 微計(jì)算機(jī)162以抵消相機(jī)的移動(dòng)方向及其移動(dòng)角速度的方式，按照來(lái)自姿態(tài)傳感 器14的檢測(cè)結(jié)果控制收集成像光的透鏡(移位透鏡)的光軸。 當(dāng)CMOS圖像傳感器被用作固態(tài)成像器件時(shí)，在曝光CMOS圖像傳感器的各行的中 心部分的時(shí)間加上讀出時(shí)間的期間，微計(jì)算機(jī)162如上所述控制光軸，而在所有其它時(shí)間，控制驅(qū)動(dòng)器15，以使光軸恢復(fù)到在所述中心附近的位置。在后一情況下，相機(jī)捕捉圖像的方 向垂直f CMOS圖像傳感器的各行。 微計(jì)算機(jī)i62控制通過從部分的CMOS圖像傳感器剪取--------個(gè)條帶，并進(jìn)行與該部分
對(duì)應(yīng)的光軸控制，以卨幀速率產(chǎn)生全景圖像,而不降低分辨率(即使當(dāng)相機(jī)被卨速移動(dòng)時(shí)) 的過程。 微計(jì)算機(jī)1.62求來(lái)自角速度傳感器142的檢測(cè)信號(hào)的積分，從而計(jì)算相機(jī)設(shè)備10 的旋轉(zhuǎn)/D，并按照計(jì)算的旋轉(zhuǎn)伯，控制移位透鏡112的光軸應(yīng)被改變多少。
另一方面，圖像信號(hào)處理器1.61能夠檢測(cè)相鄰的捕捉圖像的運(yùn)動(dòng)分量，微計(jì)算機(jī) 162能夠按照檢測(cè)的運(yùn)動(dòng)分量,控制光軸應(yīng)被改變多少。 又一方面，微計(jì)算機(jī)162能夠通過利用計(jì)算的旋轉(zhuǎn)角和運(yùn)動(dòng)分量,控制光軸應(yīng)被 改變多少。 微計(jì)算機(jī)162把指示捕捉每個(gè)圖像的方向的姿態(tài)信息記錄在存儲(chǔ)器17中。 圖像信3處理器161和微計(jì)算機(jī)162不僅使用其中相鄰圖像相互重疊的區(qū)域與塊
匹配或異任何其它適當(dāng)?shù)膱D像識(shí)別功能一起計(jì)算圖像之間的相對(duì)位置關(guān)系，而且使用來(lái)自
由各種傳感器構(gòu)成的姿態(tài)傳感器的數(shù)據(jù)計(jì)算圖像位置關(guān)系。 微計(jì)算機(jī)162通過使ltj計(jì)算的相對(duì)位置關(guān)系和圖像位置關(guān)系之間的選擇性協(xié)調(diào)， 計(jì)算更精確的相對(duì)位置關(guān)系。 之后，微計(jì)算機(jī)162識(shí)別每個(gè)圖像的絕對(duì)位置關(guān)系，比如圖像的中心朝向的方向，
搖攝角(經(jīng)度)，傾角(緯度)和表示閨繞光軸的旋轉(zhuǎn)的滾轉(zhuǎn)角(傾斜)。 圖像信號(hào)處理器161使用上述信息作為初始值進(jìn)行精確自動(dòng)組合。 微計(jì)算機(jī)162計(jì)算每個(gè)圖像像素的視角，來(lái)自處丁'固定狀態(tài)的姿態(tài)傳感器的值，
來(lái)自姿態(tài)傳感器的值和每個(gè)像素的視角之間的關(guān)系，以及不能僅僅根據(jù)所述兩種位置關(guān)系
之-一獲得的其它信息。微計(jì)算機(jī)162具有偏移量、增益和其它參數(shù)，并且能夠改變它們，以
使捕捉每個(gè)圖像的預(yù)期方向某本與實(shí)際力'向一致。 微計(jì)算機(jī)162以—軸(或二軸)加速度傳感器相對(duì)于重力方向的傾斜角的形式,
靜態(tài)地檢測(cè)固定狀態(tài)'卜的姿態(tài)數(shù)據(jù)，并把該數(shù)據(jù)設(shè)為姿態(tài)信息的初始值。 微計(jì)算機(jī)i62通過關(guān)于時(shí)間，求來(lái)自三軸角速度傳感器i42的輸出值的積分，主要
計(jì)算縱向方向和橫向方向--匕相機(jī)的旋轉(zhuǎn)移動(dòng)，并把所得到的值設(shè)為當(dāng)捕捉每個(gè)圖像時(shí)的方
向數(shù)據(jù)。 微計(jì)算機(jī)1.62使用其巾相鄰圖像相互重疊的區(qū)域與塊匹配或者任何其它適當(dāng)?shù)?br> 圖像識(shí)別功能--起計(jì)算相鄰圖像之間的位置關(guān)系。微計(jì)算機(jī)162借助如上所述的計(jì)算確定
相鄰圖像之間的位置關(guān)系,不過同時(shí)判斷結(jié)果是否lF:確。 當(dāng)判斷結(jié)果正確時(shí)，微計(jì)算機(jī)162根據(jù)這樣獲得的信息校準(zhǔn)參數(shù)。 當(dāng)判斷結(jié)果不正確時(shí)，微計(jì)算機(jī)162隨后根據(jù)已被校準(zhǔn)的參數(shù),使用來(lái)自姿態(tài)傳
感器的值排列圖像。 當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)的任何影響時(shí)，微計(jì)算機(jī)162指令顯示器件18和/或揚(yáng)聲器2() 發(fā)出顯示和/或報(bào)警聲。這樣，提示用戶重新捕捉圖像。 微計(jì)算機(jī)1.62按照重疊率被設(shè)為50%或更高，以致被攝體的任意部分出現(xiàn)在至少 兩個(gè)相鄰圖像中的方式，檢測(cè)運(yùn)動(dòng)目標(biāo)。從而，根據(jù)相鄰圖像之間的運(yùn)動(dòng)向量間的相似性，檢測(cè)視差或運(yùn)動(dòng)被攝體的任意影響。 B|」，當(dāng)微計(jì)算機(jī)162檢測(cè)到運(yùn)動(dòng)目標(biāo)或視差的任意影響時(shí)，微計(jì)算機(jī)162發(fā)出報(bào) 警，以提示用戶重新捕捉圖像。 微計(jì)算機(jī)162檢測(cè)視差對(duì)近距離的被攝體的影響程度，并提示用戶環(huán)繞相機(jī)注視 被攝體的視點(diǎn)重新捕捉圖像。 微計(jì)算機(jī)162通知適當(dāng)?shù)膾呙杞撬俣?用戶擺動(dòng)相機(jī)的速度)，當(dāng)掃描角速度過快 時(shí)，指令顯示裝置18和Z或揚(yáng)聲器20發(fā)出顯示和/或報(bào)警聲。這樣，提示用戶重新捕捉圖 像。 微計(jì)算機(jī)162以圖表的形式把姿態(tài)傳感器(陀螺傳感器)的輸出(掃描角速度) 顯不在顯不器件18，比如LCD的屏幕....匕,垂直軸代表輸出，水平軸代表時(shí)間。山f當(dāng)設(shè)置水 平視角，水平像素的數(shù)目和快門速度時(shí)，最高掃描角速度就被確定，因此如圖4中所示顯示 圖表，其中適當(dāng)?shù)姆秶?G從最卨f——l描角速度的6()%—直到最卨卞-l描角速度的8()%。
下面表示上述操作的示意程序。 [1]按下操作申.元1.9巾的開始按鈕，并旋轉(zhuǎn)相機(jī)。隨后，釋放開始按鈕。 [2]只要開始按鈕被按下，掃描伯速度就被顯示在顯示器件18的屏幕上，如圖4中所示。 [3]當(dāng)掃描角速度低于適當(dāng)范圍RNG的下限時(shí)，不發(fā)出任何報(bào)警，而當(dāng)掃描角速度 快f ，即使是瞬間快f適當(dāng)范圍RNG的上限時(shí)，將產(chǎn)生報(bào)警聲。
下面具休說明上述第- 一到第五配置。 第一到第五配置中的控制的主要部分均由系統(tǒng)控制器16完成。
[第.'配置] 在第一配置巾，由于CMOS圖像傳感器被用作固態(tài)成像器件，岡此不應(yīng)用幀/場(chǎng)方 法，而是使用其中順序讀取所有各行的逐行方案。 圖5A和5B說明在本實(shí)施例的第一配置屮是如何捕捉圖像的。 相機(jī)設(shè)備10被假定基本按下述方式移動(dòng)相機(jī)設(shè)備10被垂直旋轉(zhuǎn)，如圖5A中所
不，或者被水平旋轉(zhuǎn)，如圖5:B中所不。Bl」，沿垂直f CMOS圖像傳感器的讀出線的方向移動(dòng)相機(jī)。 此外，在本實(shí)施例中，微計(jì)算機(jī)162對(duì)通過剪取CM()S圖像傳感器的成像范圍的中
心部分(如圖5A和5B中的黑色條帶30所示)而獲得的條帶進(jìn)行光軸控制。 如卜.所述捕捉條狀圖像帶來(lái)下述優(yōu)點(diǎn)。 (a)隨著條帶的寬度被減小，視差的影響被有利地減小。 (b)隨著條帶的寬度被減小，從CMOS圖像傳感器的非同時(shí)讀出的影響也被有利地 減小。
(c)周邊光a的減小的影響也被有利地減小。
(d)透鏡崎變的影響也被有利地減小。 微計(jì)算機(jī)162以抵消相機(jī)移動(dòng)的方向及其移動(dòng)角速度的方式，按照來(lái)自姿態(tài)傳感 器14的檢測(cè)結(jié)果，控制收集成像光的透鏡(移位透鏡)的光軸。 當(dāng)CMOS圖像傳感器被用作固態(tài)成像器件時(shí)，在曝光CMOS圖像傳感器的各行的中 心部分的時(shí)間加上讀出時(shí)間的期間，微計(jì)算機(jī)162如上所述控制光軸，而在所有其它時(shí)間，微計(jì)算機(jī)162控制驅(qū)動(dòng)器15，以使光軸恢復(fù)到在所述中心附近的位置。 Bl」，在圖5A和5B中所不的條帶30被曝光的時(shí)期，必須控制光軸。 圖6表示CMOS圖像傳感器被曝光的時(shí)期，瀆出累積電荷的時(shí)期，和控制光軸的時(shí)
期之間的關(guān)系。 對(duì)TCMOS圖像傳感器的每.1亍來(lái)說，該行被曝光，電荷被讀取。在對(duì)-'行進(jìn)行讀 出操作之后，下一行被曝光，電荷被讀取。在重復(fù)該操作以處理整個(gè)條帶l:的電荷的期間， 光軸被控制。 例如，當(dāng)快門速度為1/1000秒(BP,曝光時(shí)間為1毫秒)，并且條帶的寬度對(duì)應(yīng)于 200行時(shí)，圖6中所示的讀出時(shí)間為1. 56毫秒，光軸控制周期為2. 56毫秒。僅供參考，當(dāng)考 慮其中捕捉圖像的幀速率為60fps (每個(gè)圖像約16, 66 '毫秒)的對(duì)應(yīng)日本專利No, 3928222 中的圖3中的變量Son和Soff時(shí)，Son為2. 56毫秒，Soff為丄6. 66-2. 56 = i4. i毫秒。
在日本專利No. 3928222中，控制光軸的角度極限區(qū)間為±1.2° 。在本實(shí)施例中， 從0°到0,3°的任意值被用作角度極限，不過角度極限可以在±0.5°內(nèi)。0,3°的角度約 為能夠在其內(nèi)選擇角度極限的范闈的最大值的60%。 這樣捕捉的條狀圖像在圖3中的精確組合處理器1611中被組合，從而產(chǎn)生全景圖 像。下面將說明在精確組合處理器161]屮進(jìn)i丁的圖像組合過程。 按照本實(shí)施例的系統(tǒng)控制器16線〈j把通過多次改變成像方向，從---------點(diǎn)捕捉的圖
像精確組合成色彩不均勻得到校正的單一圖像的功能(例如，軟件)。
下面具休說明本實(shí)施例中的精砷組f r的特征功能部分。 為了提取透鏡畸變校止系數(shù)和其它參數(shù)，第一色彩校止功能單元化川對(duì)每個(gè)邊 界執(zhí)行至少三次塊匹配(BM)操作,至少四個(gè)邊界被用T組合。按照邊界盡可能精確的方式 確定透鏡畸變校正系數(shù)。 換句話說，第 ---------色彩校正功能單元16111從原始圖像提取透鏡畸變校正系數(shù)和其
它參數(shù)。 第一色彩校正功能單元16111隨后對(duì)所^子圖像進(jìn)行周邊減光校正，對(duì)比度增 強(qiáng)，色度增強(qiáng)和Y校正。 在第--------色彩校正功能單元i6iii確定了透鏡畸變校正系數(shù)和其它參數(shù)，并日.執(zhí)行
了周邊減光校止，對(duì)比度增強(qiáng),色度增強(qiáng)和Y校ii:之后,組合功能單元16112對(duì)所有邊界執(zhí) 行至少.'次(例如，三次)BM(塊匹配)操作。 組合功能竿.元1611.2同時(shí)評(píng)估關(guān)于所有邊界的BM結(jié)果，按照在所有邊界產(chǎn)生的誤 差降低的方式更新光軸方向，從而減少誤差，并精確地組合多個(gè)圖像。 第二色彩?！猧F:功能單元16113獨(dú)立地對(duì)所有子圖像進(jìn)行色彩(不均勻)?！猧F:,以 減小由組合功能單元16112精確組合的多個(gè)圖像之中的相鄰圖像間的色彩差異。
此外，第二色彩校正功能單兀16113進(jìn)行把相鄰圖像間的色彩不連續(xù)性降低到所 述不連續(xù)性不可見的水平的色彩校正。 下面說明在精確組合處理器1611中進(jìn)行的精確組合的理論原理。
本實(shí)施例主耍采用基丁'傅里葉分析的相位相關(guān)技術(shù)。 B卩，木實(shí)施例采用基于傅里葉移位定 的技術(shù)，其中空間函數(shù)的移位只改變光譜 區(qū)中的相位。








即，假定兩個(gè)函數(shù)f\和f2滿足下述關(guān)系。 [方程式l]
f2(x， y) = I"i(x+Xt， y+yt)
此外，這兩個(gè)函數(shù)具有F述光譜特性。
F2 (u， v) =(u， v) exp (-2 xc—(uxt， vyt))
通過利用力:功率譜(cps)，上面的方程式可被重寫成下面的等效方程式,
巧一，V)i^(ll,力
=exp(2甜(ea^ + vy,)),

所示o


互功率譜
其中H2 *表示復(fù)函數(shù)卜'2的共軛函數(shù)。
實(shí)際上，圖像是由類似兩個(gè)圖像之間的互功率譜的位噪聲構(gòu)成的，如圖7A和7B中
于是，理想的是找出』1功率譜(CPS)的波峰，隨后得出平移參數(shù)(Xt，yt)。 圖7A和7B表示由某于互功率譜(CPS)的平移獲得的縫合圖像。 圖7A表示縫合兩個(gè)圖像的結(jié)果。通過檢測(cè)互功率譜(CPS)的波峰，進(jìn)行二維平移， 如圖7B中所不。當(dāng)互功率譜(CPS)能夠被讀取時(shí)，兩個(gè)圖像完全相互匹配。
由于在具有大量噪聲的圖像中難以檢測(cè)最佳波峰，因此可以使用幾個(gè)波峰來(lái)選抒 最佳波峰。 下面參考圖8-圖14A和14B，說明使用BM(塊匹配)提取參數(shù)的原理。 應(yīng)注意BM包括得出l:述互功率譜(CPS)的波峰的功能。 首先，選擇情況良好的四個(gè)圖像頂0、 IM1、頂2和IM3，如圖8中所示。 例如，左下側(cè)的圖像被稱為第零圖像:匿)，右下側(cè)的圖像被稱為第一圖像:i:M:i。類 似地，左上側(cè)的圖像被稱為第二圖像頂2，'右上側(cè)的圖像被稱為第一:圖像頂3。按照相鄰圖
像在它們之間的邊界具有重疊部分的方式排列圖像IM0-I:M3。
在圖8中，沿著邊界排列的每個(gè)矩形代表-一個(gè)塊BLK。
在上面說明的排列條件下進(jìn)行BM(塊匹配)。 從四個(gè)(上、下、右和左)邊界BDR01、BDR02、BDR13和BDR23提取透鏡崎變、視角、 傾角和其它信息。 下面進(jìn)---步說明腿(塊匹配)。 在沿著單一邊界的三個(gè)位置進(jìn)行BM,例如，如圖9屮所示。 當(dāng)存在透鏡畸變時(shí)，歷導(dǎo)致彎曲的邊界，如圖10中所示。 當(dāng)傾角不正確時(shí)，BM導(dǎo)致向左右方向傾斜的錯(cuò)誤邊界，如圖11中所不。 當(dāng)透鏡畸變的中心沿縱向方向被移動(dòng)時(shí)，沿著上面的圖像和下面的圖像之間的邊
界產(chǎn)生左右方向的收縮，如圖12中所示。另一方面，當(dāng)沿著右邊的圖像和左邊的圖像之間
13的邊界產(chǎn)生上下方向的收縮時(shí)，透鏡畸變的中心沿著橫向方向被移動(dòng)。 當(dāng)在使相機(jī)朝....匕時(shí)，圖像的旋轉(zhuǎn)角度增大的時(shí)候，產(chǎn)生向....t:下方向傾斜的錯(cuò)誤邊 界，如圖i3中所示。當(dāng)相機(jī)不是面對(duì)前面，而是向機(jī)械傾斜軸傾斜時(shí)，產(chǎn)牛圖丄3中所示的 誤差。 按照使上述誤差降至最小的方式確定各種參數(shù)。
這樣，相互連接的任意四個(gè)圖像產(chǎn)生很小的誤差。 例如，快速相位相關(guān)匹配被用于在圖像中進(jìn)行對(duì)應(yīng)歷。通過獲得向量移位(Xij， yu)，并分析三個(gè)塊的移位行為，能夠量化每個(gè)參數(shù)。 在對(duì)四個(gè)圖像進(jìn)行BM(塊匹配)之后，BM被擴(kuò)展到更多的圖像，并同時(shí)評(píng)估關(guān)于 所有邊界的BM結(jié)果，如圖1'1A和1'1B中所不。按照在所有邊界的誤差減小的方式更新光軸 方向。從而，誤差被減小，多個(gè)圖像被精確組合。 這種情況下，單個(gè)圖像被設(shè)為基準(zhǔn)圖像，其它圖像被平移,并且最終被放置在誤差 被降至最小的位置。 按照下面列舉的基木過程執(zhí)行精確組合。 平移被用于確定最佳位置，并把圖像移動(dòng)到所述最佳位置。 為此，革:復(fù)該循環(huán)。 把表示要進(jìn)行的總的移動(dòng)量的參數(shù)fxy減小到0. 0。 沿上'卜'和左右(縱向和橫向)方向?qū)λ袌D像進(jìn)行上述操作。 保持基準(zhǔn)圖像不變。 由于BM操作提供了相鄰圖像之間的位置關(guān)系，因此根據(jù)該位置關(guān)系計(jì)算要進(jìn)行 的移動(dòng)量。 為了計(jì)算要進(jìn)行的移動(dòng)^，相加直接在基準(zhǔn)圖像l:方和在基準(zhǔn)圖像右側(cè)的圖像的 移動(dòng)量，并減去直接在基準(zhǔn)圖像下方和在基準(zhǔn)圖像左側(cè)的圖像的移動(dòng)量，從而產(chǎn)生平均值 f[y] [x],x， f[y] [x],y。 把平均值的80%加入到每個(gè)當(dāng)前圖像的中心位置，從而產(chǎn)生新圖像的中心位置。
把所有圖像的移動(dòng)量的絕對(duì)值之和代入fxy。 計(jì)算移動(dòng)操作怎樣改善上下圖像之間的位置關(guān)系，和/「i右圖像之間的位置關(guān)系。
變量fxy本質(zhì)上隨著移動(dòng)操作的重復(fù)而逐漸減小。
換句話說，fxy收斂T更多的移動(dòng)不W可能的狀態(tài)。
當(dāng)fxy變得足夠小時(shí)，終止i:述過程。 下面說明允許無(wú)縫連接數(shù)千個(gè)圖像的圖像組合的具體例子。
在下面的說明屮，考慮4-個(gè)圖像。 例如，如圖8中所示，左下側(cè)的圖像被稱為第零圖像IMO，'右下側(cè)的圖像被稱為第 一圖像:IM1。類似地，左....匕側(cè)的圖像被稱為第二圖像I:M2，右....匕側(cè)的圖像被稱為第三圖像 頂3。 第零圖像IM()保持在固定位置。Bl]，第零圖像IM()被用作基準(zhǔn)圖像。 假設(shè)bx 1
、 bx 1 [ 1 ] 、 bx2
和bx2 [ 1 ]是通過歷(塊匹配)產(chǎn)生的橫向分量。 在木說明中，只考慮橫向"、g ,雖然縱向分S是申4蟲處理的。 字符bxl代表右左方向，字符bx2代表上下方向。括號(hào)[]中的值0表示向下或向左方向。 當(dāng)在基準(zhǔn)圖像m()的右側(cè)或上方存在圖像時(shí)，BM產(chǎn)生正值。 現(xiàn)在，作為一個(gè)極端例子，假定只有位置具有異常值，并目.bxi[O] = i0，bxi[i]= ()、bx2[()]=()和bx2[1]=()。 現(xiàn)在考慮在第.^行中沿右左方向存在對(duì)應(yīng)T 10個(gè)像素的移位,在其它三個(gè)邊界 中不存在移位的情況。 協(xié)力地確定除基準(zhǔn)圖像外的每個(gè)圖像的位置，B卩，對(duì)第零圖像頂0和第--------圖像IM1
進(jìn)行的bm的結(jié)果確定第一圖像:[Mi的位置；對(duì)第一圖像:[Mi和第三圖像:[M3進(jìn)行的:b:m:的 結(jié)果確定第-:圖像頂3的位置；對(duì)第二圖像頂2和第 -:圖像no進(jìn)行的歷的結(jié)果確定第二 圖像:im:2的位置，在第零圖像i:m()和第二圖像:W2之問的位置關(guān)系中不利地產(chǎn)生具有io個(gè) 像素的較大值的接縫。 在本實(shí)施例的方法中，異常值l()的影響被分成4個(gè)2. 5的子影響。該過程由后面 說明的程序部分執(zhí)行。 使用xypos2()和相鄰圖像之間的位置關(guān)系來(lái)確定待產(chǎn)生的平移量。 第-一計(jì)算的結(jié)果表明第-一圖像頂l應(yīng)被移動(dòng)-5像素。 使用move ()平移第一圖像:[M1 。 實(shí)際的移動(dòng)量為4個(gè)像素，它為5個(gè)像素的80% 。 除第零圖像IM()之外的圖像mi、m2和IM3的移動(dòng)量為pox[l] = 'l，pox[2] = 0 和pox[3] = 0。 作為BM的結(jié)果，bx 1 [()]從1 ()變成6 。
從而bx2 [ 1 ]的值從0變成4 。 第二計(jì)算的結(jié)果表明第一圖像:[Ml.應(yīng)被移動(dòng)-1.像素。
第二計(jì)算的結(jié)果也表明第三圖像頂3應(yīng)被移動(dòng)-2像素。
增加第二計(jì)算的結(jié)果的80X產(chǎn)生pox[1] =4,8。 進(jìn)行第—和后續(xù)計(jì)算操作。在第32個(gè)計(jì)算操作中，由于表示待產(chǎn)生的移動(dòng)量的總 和的fxy小f 0, 001像素，因此終止計(jì)算。 此時(shí)，三個(gè)圖像被平移的像素?cái)?shù)為7. 5、2. 5和5. 0，圖像之間的位置關(guān)系從bxi
=l(),bxl[l] =(),bx2[()] 二()和bx2[1]=()改變成bxl [()] =2. 5，bxl[1] = -2. 5， bx2 [()] =-2.5和bx2[1] =2.5。上述結(jié)果表明誤差被分擔(dān)。 下面表示為使fxy等于或小于0. 001以及所得到的fxy的值(ii = 32， fxy = 0, 00083)，計(jì)算被重復(fù)多少次。nixfx[n]fy[n]000.0000000,12-0, 00()2'M0.22-0,0002440.32-().()()()344().iipox [11]P(〕y [n]fz00, 000, 0017, 500, 00
fz [n]，每個(gè)圖像應(yīng)被平移的像素?cái)?shù)
2 2. 50 0. 00 3 5,00 (U)O 下面表示程序的例子的-一部分。--程序的一部分(始于此)---------------- clrpos() ;/7Si〗bstituto zero into [pixel] ， the amount translation to be made， pox[] ， fzx[] ， and rolla[],
for(ii = 0 ;ii 〈 1000 ;ii++) {: xypos2() s/7Use the positional relationship between adjacent images to determine the amount translation to be made, 丄f (fxy < 0, 00i) {break ;} move () ;//Trans I ati on } fprint.f (i.nf， 〃 ii. = 1230484， fxy = 0, 00000， How many times the calculation is repeated to make fxy equal to or smaller than (U)Ol and the value of resultant, fxy Yn〃 ， ii， fxy); xypos () ;/7tlse the positional relationship between adjacent images Lo determine the amounL of translation to be made. move () ;〃Translation dsppos() ;/,/Dsplay the amount, of correction, angle 0 ^//Convert the amount of correction into an angle and update qq[n.] ， pp [n], d鄰pos() ;〃Display the amoimt of correction, dsperr() ^//Display the error between each pair of sub—Images that丄s greater than丄， st印()；//Create a step angle from qq[n] ， pp[n].--程序的.-部分(止T此)---------------- 下面表示主子例程。--主子例程--------------- void xypos2()( //Use the positional relationship between adjacent images to determine the amount of translation to be made fx[n]， fy[nL //DeLerm丄ne Lhe flag fz [n] Indicative of an image thaL cannot be translated (Delete f'printf')
int. m， n， m2， n2， h， v， ix ; double cx， cy ; 〃fprintf (inf， " nix fx[n] fy[n] ￥n");f xy = 0 ;
for(v = 0 ;v < ny ;v++) {//For all images for (h = 0 ;h < nx ;h++) {
m = (nx-l) * v+h ; //'Boundary between
and left images lower images
n = nx * v+h ;/7Boimdary between upper and


right

















immediately
below
< fok2[n2]){

bx2[n2] ; // Subtract the value of the image immediately below
cy- = by2[n2]; }
} 丄I' (v ! = ny—丄){ /./when not in Lhe top row if (0 < fok2[n]) { ix++; cx+ = bx2[n] ;//Add the
ix = 0 ; if
((0 < sk丄p[h] [v]) N ((v == (ny-丄)/2) & & (h = = (nx-丄)/2))) { Keep the central image and any image whose flag has been dctormincd unchangod,
fx[n] = 0 ;fy[n] = 0 ;fz[n] = 4 ; fz[n]is a flag indicative of an image that cannot be translated.
if (skip [h] [v] =二 2) {fz[n] = 2 ;j Z/Set an image whose flag has been determined to 2,
} else ■!
CX = () ;Cy =();
if(v ! = 0){//when not in the bottom
row
ii2 = n—nx 5〃
if (0
i x++ ;
CX—
value of itself, cy+ = by2[n]; } ) if (h ! =0) {/,/ when not in tho l—eftmost row m2 = m-l ;〃on the left if (0 < fokl[m2]) I: ix++ ; cx- = bxl [m2] ; // Subtract the value of Lhe image on the left. cy- = byl [tn2]; } ::l if (h ! = nx-l) { //when not in the rightmost row if (0 < fokl[m]) { ix++ ; cx+ = bxi[m] ;/■/ Add the value of itself. cy+ = byl [m]; }
} if (ix == 0) { fx[n] = 0 ;fy[n] = 0 ;fz[n] = 1 ; )e:lse( fx [ii] = cx/丄x ; f'y[n] = cy/ix ; f z [n] = 0 ; } fxy+ = fabs (fx [n]) +fabs (fy [n]); }
■}
}
} //女女女女女女大女女女女女女女女女女女女女大女女女女女女女女女大女女
********* voidmove()( Translation
int m, n, h， v :
18for(v = 0 ;v < ny ;v++) { image(pixel)
for(h = 0 ;h < nx ;h++) { n = nx * v+h ; if(fz[n] == 0) { the surroundings
pox[n]+ = -fx [ii] poy[n]+ = fy [n]
Vthe center position of mi
//whon not isolated from
* 0, 8 ;
* 0, 8 ;
positional relationship
f'or(v = () ;v < ny ;v++) i— // botweon right and loft imagos
for(h = 0 ;h < nx-1 ;h++)( m = nx女v+h ; n = (M-1)女v+h ; bxl [n] + = - (fx [m] -fx [m+1]) * 0. 8 ; byl[n]+ = - (fy[m]-fy[m+l]) * 0, 8 ;
























}
)
} //女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女女 女女女女女女女女女 如上所述，按照本實(shí)施例的第一配置，其屮包含CMOS圖像傳感器的數(shù)字相機(jī)可被 用于以高幀速率捕捉圖像，而不降低分辨率，并且減小視差的影響，周邊光量的減小的影 響，和透鏡畸變的影響。此外，能夠產(chǎn)生高質(zhì)W的全景圖像。 能夠不管待組合的圖像的數(shù)目精確地進(jìn)行圖像組合，并目.還能夠消除色彩的不均 勻。 由T能夠從實(shí)際捕捉的圖像中提取透鏡崎變校正系數(shù)，因此不W需耍麻煩的校 準(zhǔn)，精度被顯著改善。 無(wú)縫連接數(shù)千張圖像的方法允許以必要的分辨率捕捉必要范圍內(nèi)的圖像，而不必
for (v = 0 between upper
positional rcla;tioriship
:v < ny-1 ; '++) { and lower images
for(h = 0 ;h < nx ;h++) { n = nx女v+h j
bx2 [n] + = - (fx [n] fx [ii+nx]) * 0. 8 ; by2[n]+ = - (fy [n]-fy [n+nx]) * 0, 8 ;擔(dān)心待捕捉圖像的數(shù)目。
下面說明第二配置。
[第二配置] 下面說明記錄連續(xù)捕捉的圖像的空間位置。
< H述> 使用連續(xù)照片的全景成像是一項(xiàng)分割空間，并把分割的空間重新集合成^一照片 的任務(wù)。通過使用在成像過程中獲得的空間信息來(lái)進(jìn)行逆運(yùn)算，能夠根據(jù)所述連續(xù)照片產(chǎn) 生高度精確的全景照片。 在本實(shí)施例中，當(dāng)捕捉每張照片時(shí)，根據(jù)傳感器和圖像計(jì)算被成像空間的信息，該 信息被附到照片上。該過程對(duì)產(chǎn)生全景照片有幫助。
〈附加被成像空間的信息> 例如，當(dāng)進(jìn)行全景成像時(shí)，固定在一點(diǎn)的透鏡由電動(dòng)機(jī)驅(qū)動(dòng)，以致成像方向被改 變。 在k述條件下捕捉的照片僅僅在成像方向方面彼此不同，然lfl]都足山位于固定位 置的相機(jī)設(shè)備10獲得的。B卩，焦點(diǎn)位置是固定的。于是，下面的說明W限T出繞在固定視 角內(nèi)的某一點(diǎn)捕捉的圖像。
當(dāng)使用上面說明的成像方法時(shí)，獲得被捕捉空間的下述兩種信息B卩，己被成像的 目標(biāo)的信息(視線向量)，和圍繞視線向量的旋轉(zhuǎn)(滾動(dòng))角的信息。
〈投影球和空間的定義〉 通過對(duì)空間成像而獲得的照片可被投影到單一表面上。 考慮在全景攝影中成像某--空間。為'/支持所有方向，假定在攝影者周圍存在-^ 個(gè)球體，捕捉的圖像被投影在該球體匕從而易于進(jìn)行圖像處理。當(dāng)該球體被用于定義視 線向量時(shí)，坐標(biāo)空間也被確定。 進(jìn)行下述定義相機(jī)設(shè)備100所存在于的焦點(diǎn)位置為原點(diǎn)(0， ()， 0)，投影球的半徑 為1。 假定水平前側(cè)被布置在Z軸上為1的點(diǎn)，f (O，()， 1)，視線向量是具有起點(diǎn)(O，()，())
和終點(diǎn)r(o，o，丄)的向量。 視線向量是長(zhǎng)度為1的單位向量，在每個(gè)方向上,視線向量的長(zhǎng)度都為1 。 由T視線向量vl獨(dú)自不足以記錄幀的滾動(dòng)，因此另外記錄滾動(dòng)向量v2。滾動(dòng)向量
v2是指示所考慮的圖像的向k方向的信息，向量(v2ii)指示圖像的向l:方向。 這樣，捕捉圖像的方向可用兩個(gè)向量(投影球上的兩個(gè)點(diǎn))表述，在整個(gè)投影球內(nèi) 可用統(tǒng)一的密度描述成像力'向。
〈相對(duì)移動(dòng)和絕對(duì)坐標(biāo)> 當(dāng)捕捉圖像時(shí)獲得的空間信息包括兩種信息，相對(duì)信息和絕對(duì)信息。 產(chǎn)牛全景圖像可以只需要指示捕捉每個(gè)圖像的取向的絕對(duì)位置信息，不過可能不
能獲得可靠的絕對(duì)信息。為了解決該問題，積累相對(duì)信息以獲得絕對(duì)信息，或者使用粗略的
絕對(duì)信息來(lái)獲得校正的絕對(duì)信息。 在透鏡驅(qū)動(dòng)型全景相機(jī)巾，作為移動(dòng)透鏡的一種方案，使用絕對(duì)信息。不過，由于 成像過程中的抖動(dòng)，驅(qū)動(dòng)透鏡時(shí)的誤差，姿態(tài)傳感器的粗精度，和其它因素被增添作為相對(duì)信息，因此通過計(jì)算確定精確的絕對(duì)值。
<相對(duì)移動(dòng)的空間展開> 現(xiàn)在假定圖像識(shí)別和姿態(tài)傳感器提供了精確的相對(duì)信息。 當(dāng)當(dāng)前圖像幀fl從前一圖像幀f2被平移(dx， dy)，和滾動(dòng)幀滾動(dòng)量ra時(shí)，基于 視角的計(jì)算表明圍繞x軸和y軸的旋轉(zhuǎn)量分別為rx和ry。這種情況下,f2的視線向量v2 被旋轉(zhuǎn)(rx，ry，rz)，從而形成fl的視線向量vl。 投影球上的絕對(duì)位置是根據(jù)上述信息確定的。不過，從的位置把v2旋轉(zhuǎn)(rx， ry,rz)需要相對(duì)復(fù)雜的計(jì)算。 為了解決該問題，最新的圖像fl被同定于準(zhǔn)確的前側(cè)vl(O，O，l)，排列在投影球 上的圖像f2及后續(xù)圖像整個(gè)被旋轉(zhuǎn)(-rx，-ry，-rz)。即，最新的圖像fl被用作基準(zhǔn)，其它 圖像相對(duì)于基準(zhǔn)圖像被移動(dòng)。 重復(fù)該操作導(dǎo)致最新的圖像的位置為(()，()，l),不過允許確定其它圖像的絕對(duì)位 置。
通過同樣以向量的形式表述滾動(dòng)信息產(chǎn)生兩個(gè)向說(即視線向y:和滾動(dòng)向量)的
原因在于相對(duì)旋轉(zhuǎn)(球體的旋轉(zhuǎn)而不是視線向量的旋轉(zhuǎn))易于實(shí)現(xiàn)。
〈相對(duì)移動(dòng)值的積累和與絕對(duì)信息的偏差> 在上面的說明中，僅僅使用相對(duì)信息對(duì)圖像進(jìn)行空間排列，不過實(shí)際上，還從姿態(tài)
傳感器M獲得....匕K方向的絕對(duì)滾動(dòng)和傾斜的信息。不過，從姿態(tài)傳感器14獲得的絕對(duì)信
息并不精確到足以產(chǎn)牛全景照片，并目.來(lái)自姿態(tài)傳感器丄4的信息不能被原樣使用。 另一方面，由于相對(duì)信息是從圖像識(shí)別獲得的，因此相對(duì)信息非常精確，不過它仍
然包含誤差。根據(jù)相對(duì)信息連接信息導(dǎo)致由累積的微小誤差引起的較大偏差。 為了解決該問題，來(lái)自姿態(tài)傳感器14的絕對(duì)信息被用于檢查是否產(chǎn)生了任何累
積誤差。 在把相對(duì)移動(dòng)擴(kuò)展到空間的過程屮，相隔一定的距離比較相對(duì)移動(dòng)與來(lái)自姿態(tài)傳 感器的對(duì)應(yīng)絕對(duì)值。當(dāng)相對(duì)移動(dòng)與從姿態(tài)傳感器獲得的絕對(duì)值的偏差變得過大時(shí)，來(lái)自姿 態(tài)傳感器的絕對(duì)值被用f校正相對(duì)移動(dòng)。從該位置重新開始相對(duì)移動(dòng)累積。
圖i5是表示基于連續(xù)捕捉的圖像和傳感器信息的空間排列方法的功能方框圖。
在圖]5中，功能塊41設(shè)定關(guān)于來(lái)自角速度傳感器142的檢測(cè)信號(hào)的零基準(zhǔn)，移動(dòng) 積分器42進(jìn)行積分，以提供移動(dòng)量。 檢測(cè)器43比較成像器件12捕捉的相鄰幀圖像，并檢測(cè)移動(dòng)g:。 移動(dòng)積分器42和檢測(cè)器43的輸出被用于在協(xié)調(diào)校正邏輯4中進(jìn)行協(xié)調(diào)校正，相
對(duì)位置積分器45對(duì)相對(duì)位置積分，以提供絕對(duì)位置信息。 絕對(duì)位置校正器46隨后根據(jù)來(lái)自加速度傳感器141的檢測(cè)結(jié)果，校正絕對(duì)位置信
息，排列部分47確定各幀的空間位置，并據(jù)此排列各幀?！纯臻g坐標(biāo)信息和全景照片〉 在同時(shí)捕捉圖像的時(shí)候，進(jìn)行上述計(jì)算，圖像連同指示成像方向的空間坐標(biāo)信息 -^起被M時(shí)記錄為元數(shù)據(jù)。 僅有元數(shù)據(jù)就允許創(chuàng)建全景照片。當(dāng)在后處理中進(jìn)行更精確的調(diào)整和編輯時(shí)，元 數(shù)據(jù)還可用作基本數(shù)據(jù)。數(shù)據(jù)，因此不能產(chǎn)生精確的全
景照片。相反，本實(shí)施例通過提供捕捉圖像時(shí)的坐標(biāo)信息,解決了該問題。 如上所述，在第二配置中，通過使用借助圖像識(shí)別技術(shù)獲得的幀移動(dòng)信息和來(lái)自
姿態(tài)傳感器的移動(dòng)信息，空間排列連續(xù)的圖像。來(lái)自姿態(tài)傳感器的信息補(bǔ)充圖像識(shí)別未提
供的信息。來(lái)自姿態(tài)傳感器的信息被用T檢査是否成功地進(jìn)行丫圖像識(shí)別，或者當(dāng)圖像識(shí)
別失敗時(shí)，被用作輔助坐標(biāo)?？臻g排列的圖像產(chǎn)生申.一的完整全景圖像。 利用上述方法不僅允許正確地表現(xiàn)在用戶前面的場(chǎng)景及其附近，而且允許正確地
表現(xiàn)直接在用戶上方及后面的場(chǎng)景,從而能夠支持全方向成像或者全天空成像。 不僅當(dāng)僅僅成像在用戶前面的場(chǎng)景(包括其附近)時(shí),而且當(dāng)成像廣角場(chǎng)景時(shí)，都
能夠無(wú)誤差地產(chǎn)生全景圖像。 上面說明的方法當(dāng)然適用于手持相機(jī)捕捉高淸晰圖像的情況。
下面說明第二配置。
<第三配置> 下面說明利用連續(xù)捕捉的圖像的位置識(shí)別的校正。
〈 |既述> 為了把精確的成像位置信息附加在每個(gè)連續(xù)捕捉的圖像上，本配置采ltj結(jié)合圖像 識(shí)別利用姿態(tài)傳感器的方法，該方法被稱為"動(dòng)態(tài)校準(zhǔn)"。
<連續(xù)成像和成像位置信息> 當(dāng)連續(xù)捕捉的照片被組合成全景照片時(shí)，圖片有時(shí)不包含高頻分量，從而不能從 圖片識(shí)別連續(xù)性。 在上面說明的情況下，不能獲得指示連續(xù)幀之間的距離的信息。在這種情況下，不 能產(chǎn)生完整的全景照片。 為了即使在上述情況下也提供位置信息，通過利用姿態(tài)傳感器14，在成像操作的
同時(shí)不僅記錄照片，而且記錄移動(dòng)信息和位置信息?！蠢米藨B(tài)傳感器> 姿態(tài)傳感器14 til同時(shí)并且并行使用的三軸角速度傳感器142和三軸加速度傳感 器i4i構(gòu)成。 角速度傳感器142識(shí)別冃前相機(jī)的旋轉(zhuǎn)速度有多快，加速度傳感器141感測(cè)水平 方向的傾斜。 在任何可能的時(shí)候從捕捉的照片獲得移動(dòng)信息，不過當(dāng)圖片的條件不允許圖像識(shí) 別時(shí)，從姿態(tài)傳感器14獲得來(lái)自前-一圖像的移動(dòng)量。 通過比較整個(gè)來(lái)fi姿態(tài)傳感器14的檢測(cè)結(jié)果的變化量和經(jīng)圖像識(shí)別獲得的移動(dòng) 量，并允許所述兩個(gè)量值相互影響，能夠獲得更準(zhǔn)確的位置信息。
〈姿態(tài)傳感器的問題〉 在預(yù)期的全景攝影中，圖像的精度高于姿態(tài)傳感器i4的精度。當(dāng)僅僅根據(jù)從姿態(tài) 傳感器M獲得的信息產(chǎn)生位置信息時(shí),所得到的全景圖像可能太粗糙以至于不能査看。
不應(yīng)依賴丁-姿態(tài)傳感器14的精度，而是應(yīng)當(dāng)在根本不能獲得任何信息的時(shí)候，把 姿態(tài)傳感器14用作輔助。 類似基于物理學(xué)的- -般傳感器，姿態(tài)傳感器的輸出不穩(wěn)定，相反通常是波動(dòng)的。
此外，由于同定狀態(tài)下的姿態(tài)傳感器的零位置隨其條件而變化，因此在開始成像
之前必須產(chǎn)生固定的狀態(tài)，并且必須測(cè)量零位置的值。 一且測(cè)量了零位置的值，就根據(jù)從零
位置的移位測(cè)量移動(dòng)量?！磮D像識(shí)別和圖像識(shí)別的校i丄:> 在本配置中，在全景攝影中捕捉連續(xù)的圖像，NJ時(shí)來(lái)自姿態(tài)傳感器的信息被記錄 為元數(shù)據(jù)。 該方法的問題在于當(dāng)稍后把圖像組合成全景圖像時(shí)，元數(shù)據(jù)信息不易使用，因?yàn)?來(lái)fi姿態(tài)傳感器14的輸出的波動(dòng)過大。 為了解決該問題，在成像過程中校正通過圖像識(shí)別產(chǎn)生的元數(shù)據(jù)，隨后記錄該元 數(shù)據(jù)。 在記錄元數(shù)據(jù)的過程中，指示相機(jī)目甜面向的方向的空間信息被更新，隨后被內(nèi) 部保存。不過，各種因素降低空間信息的精度。 為了解決該問題，在本實(shí)施例中，進(jìn)行動(dòng)態(tài)校準(zhǔn)，其中使用圖像識(shí)別和姿態(tài)傳感器 實(shí)時(shí)校正和更新內(nèi)部保存的空間信息。 當(dāng)在全景攝影中捕捉連續(xù)圖像時(shí)，存在相機(jī)由電動(dòng)機(jī)驅(qū)動(dòng)時(shí)的預(yù)定移動(dòng)方案，或 者當(dāng)手動(dòng)掃描相機(jī)時(shí)不存在移動(dòng)方案。 當(dāng)存在相機(jī)由電動(dòng)機(jī)驅(qū)動(dòng)時(shí)的移動(dòng)方案時(shí)，近似的成像位置是預(yù)先已知的，不過 未考慮成像操作期間的意外抖動(dòng)和運(yùn)動(dòng)。姿態(tài)傳感器14被用f檢測(cè)成像操作期間的這種 變化。 當(dāng)姿態(tài)傳感器14感測(cè)到成像操作期間的任何變化時(shí)，使用圖像識(shí)別精確地檢査 實(shí)際移動(dòng)偏離預(yù)期的移動(dòng)方案到什么程度。在上面說明的精確檢査中使用從姿態(tài)傳感器14 獲得的移動(dòng)量作為基準(zhǔn)允許容易地進(jìn)行圖像識(shí)別。 在這樣計(jì)算與預(yù)期的移動(dòng)方案的偏離之后，所述偏離被加入到移動(dòng)方案的數(shù)值 屮，實(shí)際進(jìn)行成像的位置的信息被記錄為所捕捉照片的元數(shù)據(jù)。 由于當(dāng)手動(dòng)掃描相機(jī)時(shí)，不存在移動(dòng)方案，因此每當(dāng)捕捉一幀時(shí)，使用當(dāng)前幀和在 先幀之間基f圖像識(shí)別的比較來(lái)計(jì)算移動(dòng)量。 在該操作中，盡管難以確定該幀被移動(dòng)多少，不過通過根據(jù)來(lái)自姿態(tài)傳感器i4的
信息提供近似的移動(dòng)量，并根據(jù)該近似值進(jìn)行圖像識(shí)別，能夠精確地計(jì)算移動(dòng)量。
當(dāng)難以進(jìn)行圖像識(shí)別時(shí)，臨時(shí)記錄從姿態(tài)傳感器獲得的移動(dòng)量，并且稍后通過參
考在先幀和當(dāng)前幀之間的位置關(guān)系，以及當(dāng)前幀和后一幀之間的位置關(guān)系，確定當(dāng)前幀的坐標(biāo)。 圖16是表示在通過使連續(xù)捕捉的圖像與傳感器信息關(guān)聯(lián)，使傳感器信息更精確 的方法中，同定狀態(tài)下的傳感器零位置的校正的功能方框圖。 在圖16中，檢測(cè)器51比較成像器件12捕捉的相鄰幀圖像，并檢測(cè)移動(dòng)量。
固定狀態(tài)檢測(cè)器52根據(jù)來(lái)自角速度傳感器i42的檢測(cè)信號(hào)，來(lái)自加速度傳感器 141的檢測(cè)信號(hào)，和來(lái)自檢測(cè)器51的檢測(cè)信號(hào)，檢測(cè)固定狀態(tài)，并提供固定狀態(tài)F的角速度 傳感器的基準(zhǔn)值。 之后，記錄器53確定基準(zhǔn)值，并把基準(zhǔn)值記錄在存儲(chǔ)器17巾。 圖17是表示在通過使連續(xù)捕捉的圖像與傳感器信息關(guān)聯(lián)，使傳感器信息更精確
23的方法中，如何協(xié)調(diào)移動(dòng)信息以使之更精確的功能方框圖。 在圖17中，功能塊54關(guān)f來(lái)自角速度傳感器142的檢測(cè)信號(hào)，設(shè)定零基準(zhǔn)，移動(dòng) 積分器55進(jìn)行積分以提供移動(dòng)量。 檢測(cè)器51比較成像器件12捕捉的相鄰幀圖像，并檢測(cè)移動(dòng)量。 移動(dòng)積分器55和檢測(cè)器51的輸出被用丁《王協(xié)調(diào)校正邏輯56中進(jìn)行協(xié)調(diào)校正，協(xié)
調(diào)校正邏輯56提供精確的相對(duì)移動(dòng)信息。 如上所述，在第三配置中，當(dāng)記錄連續(xù)圖像時(shí)，使借助圖像識(shí)別技術(shù)獲得的幀移動(dòng) 信息與來(lái)fi姿態(tài)傳感器的移動(dòng)信息關(guān)聯(lián)，從而計(jì)算每個(gè)圖像像素的枧角，來(lái)fi固定狀態(tài)下 的姿態(tài)傳感器的值，來(lái)自姿態(tài)傳感器的值和每個(gè)像素的視角之間的關(guān)系，和不能僅僅根據(jù) 上述兩種信息之一獲得的其它信息。 于是，在本技術(shù)中協(xié)調(diào)均不能單獨(dú)提供滿意精度的基于圖像的識(shí)別方法和基于姿
態(tài)傳感器的檢測(cè)方法，從由能W顯齊改進(jìn)精度和穩(wěn)定性。 下面參考圖18-2i鄰地說明上面的第二和第三配置。〈捕捉的照片和極5'' A的tl轉(zhuǎn)> 當(dāng)在全景攝影中捕捉圖像時(shí)，捕捉圖像的位置的變化導(dǎo)致歸因于視差的不連續(xù) 性。 歸因于視差的不連續(xù)性不能由在捕捉圖像之后進(jìn)行的圖像處理校正。 f是，為了在全景攝影中捕捉圖像，攝影者和相機(jī)應(yīng)保持在特定位置,應(yīng)通過按照
相機(jī)的焦點(diǎn)被固定的方式，閨繞所述特定位置旋轉(zhuǎn)相機(jī)捕捉照片。 注意，注視捕捉的兩張不同照片的眼睛移動(dòng)的距離止:比于成像操作期間的旋轉(zhuǎn) 量。 當(dāng)每張照片是數(shù)字圖像，并且其大小用像素?cái)?shù)目表示時(shí)，通過計(jì)算成像操作期間 的旋轉(zhuǎn)移動(dòng)距離，能夠相反地確定由像素?cái)?shù)目表示的兩個(gè)圖像之間的移動(dòng)量。這種操作中 的必要參數(shù)是視角。 視角是表示單-一照片中所示的左才T方向或上下方向的寬度的值，所述寬度是用成 像空間的角度的形式表不的。 視角是在成像操作之甜測(cè)量和提供的參數(shù)，假定在成像操作期間，視角保持不變。
當(dāng)水T視角為3()° ，并且所捕捉的數(shù)字照片的橫向方向的像素?cái)?shù)冃為l()()()像素
時(shí)，每個(gè)像素的成像空間的角度為0,03° 。即，當(dāng)認(rèn)為兩張照片之間的移動(dòng)為800像素時(shí)，
通過把相機(jī)旋轉(zhuǎn)24。，實(shí)現(xiàn)實(shí)際成像。 每個(gè)像素的視介j被用作最重要的初始值。 每個(gè)像素的視角=幀的視角/幀屮的像素?cái)?shù)目 捕捉的兩張照片之間的旋轉(zhuǎn)量=用像素?cái)?shù)目表述的所述兩張照片之間的移動(dòng) 量X每個(gè)像素的視角。 預(yù)先測(cè)量和保存每個(gè)像素的實(shí)際視角作為初始值。
〈角速度傳感器和旋轉(zhuǎn)# >
角速度傳感器輸出當(dāng)l說ffl速度。 由于輸出值隨時(shí)間而變，岡此能夠得到角速度的變化，不過輸出值并不直接代表 旋轉(zhuǎn)量。為了從/D速度傳感器獲得旋轉(zhuǎn)/D度，必須定義積分的單位。
角速度傳感器被用于每隔同定時(shí)間間隔進(jìn)行測(cè)量,測(cè)量間隔作為重要參數(shù)被同 定。 不僅必須關(guān)于時(shí)間求仟意的測(cè)量角速度的積分，而日.必須外部測(cè)量積分周期內(nèi)的
實(shí)際旋轉(zhuǎn)量。把積分的角速度除以實(shí)際旋轉(zhuǎn)量，以確定每度的角速度積分值。 之后，通過把角速度的積分值除以每度的角速度積分值，能夠按比例確定旋轉(zhuǎn)量。 預(yù)先測(cè)量和保存每度的角速度的實(shí)際積分值作為初始值?！磩?dòng)態(tài)校準(zhǔn)> 角速度傳感器的輸出是相對(duì)角速度，該輸出隨著環(huán)境的變化而變化，除非使用極 好的角速度傳感器。由于所述變化影響實(shí)際測(cè)量，因此每個(gè)測(cè)量可能需要校正。
這里使用的動(dòng)態(tài)校準(zhǔn)是全景成像特有的過程，通過使用來(lái)自在全景攝影中捕捉的 圖像的反饋，自動(dòng)進(jìn)行校正。 在角速度傳感器的參數(shù)中，兩個(gè)參數(shù)(即固定狀態(tài)——F的零點(diǎn)位置和每度的角速度 積分值)隨著環(huán)境的變化而變化。除丫這兩個(gè)參數(shù)之外，存在歸因T相對(duì)移動(dòng)的累積積分 誤差。l:述三個(gè)參數(shù)被校正。
〈伯速度傳感器的零點(diǎn)的校正> 圖18是校i—E角速度傳感器的零點(diǎn)的過程的流程圖。 為了校正角速度傳感器142的零點(diǎn)，執(zhí)行圖18中的歩驟SH-ST16中的處理。
除非準(zhǔn)確知道固定狀態(tài)'K的角速度傳感器1/12的輸出值，否則不能檢測(cè)任何角速 度。不過不利的是，在--些情況下，固定狀態(tài)下的零點(diǎn)隨溫度和其它環(huán)境因素變化。
通過使用圖像匹配的結(jié)果來(lái)校止零點(diǎn)的漂移，確定成像操作期間的準(zhǔn)確零點(diǎn)。
預(yù)置的初始值被用作當(dāng)角速度傳感器142被啟動(dòng)時(shí)，角速度傳感器142的零點(diǎn)輸 出值。 進(jìn)行兩幀之間的圖像匹配(SH-ST3)。當(dāng)匹配結(jié)果可靠，因?yàn)榘懈哳l分量，并 且匹配結(jié)果表示沒有沿X、 Y和Z軸方向的移動(dòng)時(shí)，來(lái)fi角速度傳感器的沿X、 Y和Z軸方向 的輸出值被認(rèn)為指示零點(diǎn)，隨后輸出值被采樣。
在該處理中作為零點(diǎn)采樣的值被用f校正(SW-ST15)。 當(dāng)沿仟意軸向方向檢測(cè)到仟意移動(dòng)時(shí)，輸出值不是零點(diǎn)。這種情況下，不進(jìn)行采 樣，不產(chǎn)生任何零點(diǎn)校i丄:。 在采樣操作之后，樣本數(shù)被遞增，零點(diǎn)值被校正。 校正涉及把當(dāng)前零點(diǎn)值和采樣值之間的差值除以樣木數(shù)，并把結(jié)果加入當(dāng)前零點(diǎn) 值中。從而計(jì)算零點(diǎn)的平均值。 校正:的零點(diǎn)值=零點(diǎn)值+(采樣值-零點(diǎn)值)/樣本數(shù)
〈從角速度傳感器獲得的移動(dòng)量的校正> 圖19是校正從角速度傳感器獲得的移動(dòng)量的過程的流程圖。 為了校正從角速度傳感器獲得的移動(dòng)量，執(zhí)行圖丄9中的歩驟ST2i-ST26中的處 理。 不利的是，在-,情況下，每度的角速度積分值(用T根據(jù)從角速度傳感器獲得
的角速度的積分值，確定旋轉(zhuǎn)角的參數(shù))隨溫度和其它環(huán)境岡素而變化。 進(jìn)行圖像匹配(ST21-ST23)，根據(jù)匹配結(jié)果校正和更新每度的伯速度積分值(ST24-ST26)。這樣,確定成像操作期間，每度的角速度的準(zhǔn)確積分值。 進(jìn)行兩幀之間的圖像匹配。當(dāng)山f包含有高頻分量，因此匹配結(jié)果nj靠時(shí)，通過圖 像匹配而獲得的分別沿X、 Y和Z軸方向的移動(dòng)量，和角速度的對(duì)應(yīng)積分值被用于確定每度 的角速度積分值。 毎度的角速度積分值=角速度的積分值Z (每個(gè)像素的視角X沿X軸的用像素表 示的移動(dòng).S) 每度的校正后的伯速度積分值=每度的伯速度積分值+(樣本值-每度的介j速度 積分值)/樣本數(shù)〈用于輔助角速度傳感器的加速度傳感器>
角速度傳感器輸出相對(duì)角運(yùn)動(dòng)的量值。 通過關(guān)于時(shí)間求所述相對(duì)值的積分，-一直到對(duì)應(yīng)于當(dāng)甜位置的時(shí)間為.l卜，計(jì)算指 示當(dāng)前位置的絕對(duì)位置信息。 當(dāng)所述相對(duì)值包含少量的移位或噪聲時(shí)，所得到的移位可能隨著積分吋間的增大 而增大。 加速度傳感器能夠檢測(cè)重力加速度，以提供繞Y軸方向的旋轉(zhuǎn)(傾斜)的絕對(duì)值
和繞Z軸方向的旋轉(zhuǎn)(滾動(dòng))的絕對(duì)值,不過只能以過大以至于不能用于全景成像的單位
檢測(cè)所述重力加速度。于是，與角速度傳感器相比，加速度傳感器在全景成像中用處較小。
不過，具有提供絕對(duì)值的優(yōu)點(diǎn)的加速度傳感器nj用f定期比較其輸出值和從角速
度傳感器獲得的相對(duì)移動(dòng)距離的積分值，并校正積分值和絕對(duì)值。 當(dāng)絕對(duì)移動(dòng)量大到足以被加速度傳感器檢測(cè)時(shí)，比較加速度傳感器檢測(cè)的絕對(duì)位 置和根據(jù)從角速度傳感器獲得的相對(duì)移動(dòng)距離的積分值得到的絕對(duì)位置，隨后酌情校正所 述絕對(duì)位置。〈從圖像確定的移動(dòng)和從傳感器確定的移動(dòng)>
圖20是獲得移動(dòng)量的方法的流程圖。 在獲得移動(dòng)量的方法中，進(jìn)行圖20中的歩驟ST31-ST35中的處理。 圖像匹配獲得的移動(dòng)量的分辨率遠(yuǎn)遠(yuǎn)高f角速度傳感器142的分辨率。f是，只
要可能就用圖像匹配計(jì)算相對(duì)移動(dòng)距離(ST33和ST34)。 不包含a頻分量的圖像，比如色彩單一的天空將不產(chǎn)生任何匹配。這種情況下，角
速度傳感器142的輸出被用T計(jì)算相對(duì)移動(dòng)量(ST33和ST35)。〈通過使用捕捉的照片分配空間坐標(biāo)的方法> 圖21是通過使用捕捉的照片分配空間坐標(biāo)的方法的流程圖。 在通過使用捕捉的照片分配空間坐標(biāo)的力'法屮，進(jìn)行圖21屮的步驟ST41-ST47屮
的處理。 對(duì)f如上所述在全景攝影中捕捉的所有照片，通過圖像匹配和角速度傳感器，能 夠確定相對(duì)于在先幀的相對(duì)旋轉(zhuǎn)量(ST4i-ST43)。 為了產(chǎn)生全景照片，必須通過使用相對(duì)旋轉(zhuǎn)y:分配絕對(duì)空間坐標(biāo)。 由T捕捉的照片具有相M的視角，因此通過僅僅考慮每個(gè)被捕捉空間的中心，即， 沿其確定相機(jī)的方向的向量，能夠?qū)崿F(xiàn)所述分配。 也可用使相機(jī)面對(duì)的方向(即成像視線向量)和在先幀的向量之間的伯度的形式
26表述相對(duì)于在先幀的相對(duì)旋轉(zhuǎn)量。 當(dāng)按照其中只使用視線向量的簡(jiǎn)化方法進(jìn)行排列時(shí)，幀繞Z軸方向的旋轉(zhuǎn)或者說 滾動(dòng)不予考慮。 為了解決該問題，準(zhǔn)備直接在一幀之上、沿Y軸移位的另一向量來(lái)表述幀的滾動(dòng)。
這兩個(gè)向量表示相機(jī)捕捉圖像的方向和繞Z軸的滾動(dòng)，即使當(dāng)幀被旋轉(zhuǎn)吋，幀信 息仍然被保持。 當(dāng)被布置在空間中時(shí)，新的幀一般被布置在空間中的前端位置"a" (0,0， 1, 0)。 當(dāng)存在任意相對(duì)旋轉(zhuǎn)量時(shí)，沿相反方向把所有在先幀旋轉(zhuǎn)該相對(duì)旋轉(zhuǎn)量，隨后把
新的幀布置在空間中的前端位置"a" (0,0， 1. 0) (ST44-ST46)。 代替自在先幀的移動(dòng)，當(dāng)前幀和以前各幀之間的移動(dòng)^被川作朵準(zhǔn)。 現(xiàn)在，假定幀A是捕捉的當(dāng)前幀，幀B是捕捉的在先幀。 計(jì)算幀B相對(duì)于幀A被旋轉(zhuǎn)了多少(ST43)。 當(dāng)所述計(jì)算表明關(guān)T幀B的相機(jī)位置是關(guān)丁'繞X軸方向旋轉(zhuǎn)rx，繞Y軸方向旋轉(zhuǎn) ry，繞Z軸方向旋轉(zhuǎn)rz的當(dāng)前幀A的相機(jī)位置時(shí)，除幀A之外過去捕捉的各幀的所有成像 方向向量和滾動(dòng)指標(biāo)向量都被旋轉(zhuǎn)rx、 ry和rz。旋轉(zhuǎn)矩陣可以是在三維空間屮使用的典型矩陣。繞X軸方向的旋轉(zhuǎn)x2 = :x X cos (r:x) -y X sin (rx)y2 = y X s丄n (rx) +z X cos (rx)= z繞Y軸方向的旋轉(zhuǎn)x2 = xX cos (ry) -z X sin (ry)y2 = yz2 = xX si-ti (ry)+z X cos (ry)繞Z軸方向的旋轉(zhuǎn)x2 = Xy2 = y X cos (rz) -z X s丄n (rz)z2 = y X sin (rz)十z X cos (rz)如上所述，旋轉(zhuǎn)所有幀，并把新的幀放置在適當(dāng)位置(前側(cè))允許從相對(duì)旋轉(zhuǎn)量轉(zhuǎn)
換成絕對(duì)空間坐標(biāo)。
當(dāng)最終完成所有轉(zhuǎn)換操作時(shí)，所有幀可具有各fi適當(dāng)?shù)慕^對(duì)坐標(biāo)。不過，由于最后一幀被w作某準(zhǔn)，在一些情況下，需要相對(duì)于任意幀移動(dòng)所有幀。下面說明第四配置。[第四配置]在第四配置中，當(dāng)檢測(cè)到視差或運(yùn)動(dòng)對(duì)象的仟何影響時(shí)，顯示器件i8或揚(yáng)聲器20
發(fā)出報(bào)警，以提示用戶重新捕捉圖像。
此外，在第四配置中，按照重疊率被設(shè)為50%或更高，以致被攝體的任意部分出現(xiàn)
在至少兩個(gè)相鄰圖像中的方式檢測(cè)運(yùn)動(dòng)目標(biāo)。從而，根據(jù)相鄰圖像之間的運(yùn)動(dòng)向量中的相 似性，檢測(cè)視差或運(yùn)動(dòng)被攝體的任何影響。
快速擺動(dòng)從而捕捉寬廣范圍內(nèi)的被攝體的多個(gè)條狀圖像，并把它們組合成單一圖 像的相機(jī)設(shè)備10檢測(cè)視差影響近距離被攝體的程度，并提不用戶圍繞相機(jī)的視點(diǎn)重新捕 捉圖像，相機(jī)從所述視點(diǎn)汴視被攝休。 通常,廣角相機(jī)的視點(diǎn)直接位于其透鏡之后，理想地，相機(jī)由雙手握著，并圍繞用 戶的手腕被旋轉(zhuǎn)。 即使當(dāng)包含近距離被攝體時(shí)，通過繞其視點(diǎn)旋轉(zhuǎn)相機(jī)而捕捉的圖像也能夠被正確 組合。 另外，本實(shí)施例的相機(jī)設(shè)備1.0有利的是圍繞稍稍偏離相機(jī)的視點(diǎn)的位置捕捉圖
像不太可能影響被捕捉的圖像，因?yàn)椴蹲降亩鄠€(gè)圖像任意之- 一都是條狀。 不過，當(dāng)通過用雙手拿著相機(jī)并繞用戶的肩膀旋轉(zhuǎn)相機(jī)來(lái)捕捉圖像時(shí)，視差極大
地影響所捕捉的圖像，因?yàn)槭菄@在相機(jī)的視點(diǎn)之后相當(dāng)遠(yuǎn)的位置旋轉(zhuǎn)相機(jī)的。 這種情況下，當(dāng)僅僅對(duì)遠(yuǎn)距離的風(fēng)景成像時(shí)，實(shí)際上不存在任何問題,不過當(dāng)捕捉
的圖像包含近距離被攝體時(shí)，圖像不能被正確組合，因?yàn)橄噜張D像之間，近距離被攝體的位
置關(guān)系不同于遠(yuǎn)距離被攝體的位置關(guān)系。 為了解決該問題，在第四配置中，當(dāng)發(fā)現(xiàn)視差的影響不允許正確的圖像組合時(shí)，發(fā) 出繞其視點(diǎn)旋轉(zhuǎn)相機(jī)的指令，以提小川戶承:新捕捉圖像。
[檢測(cè)視差的方法]
' K面說明檢測(cè)視差的方法。 在兩個(gè)時(shí)間相鄰的圖像彼此重疊的區(qū)域中進(jìn)行多個(gè)塊匹配(BM)操作，以確定這 兩個(gè)圖像的運(yùn)動(dòng)向量。 通常，當(dāng)正確進(jìn)行掃描操作吋，BM操作產(chǎn)生基本上相NJ的向量。 當(dāng)繞肩膀旋轉(zhuǎn)相機(jī)，并且近距離被攝體與遠(yuǎn)距離風(fēng)景重疊時(shí)，BM操作得到不同的向量。 由于在近距離被攝體和遠(yuǎn)距離風(fēng)景之間的邊界處，圖像變化極大，因此BM操作不 提供正確值。該事實(shí)被用于檢測(cè)視差。
下面表不視差檢測(cè)的一個(gè)具體例了。 系統(tǒng)控制器i6中的圖像信號(hào)處理器i6i和微訃算機(jī)i62協(xié)調(diào)地執(zhí)行下述處理。
〈檢測(cè)視差的方法〉
[粗組合] 在約1.203的范闈內(nèi)從左向右旋轉(zhuǎn)相機(jī)設(shè)備10，以致捕捉數(shù)十個(gè)圖像。 相鄰的圖像共有其中顯示相同被攝體的足夠人的區(qū)域(重疊區(qū)域)。 姿態(tài)傳感器1.4檢測(cè)成像操作期間相機(jī)設(shè)備1.0的運(yùn)動(dòng)，并每隔較短的時(shí)間間隔進(jìn)
行記錄。 由f數(shù)據(jù)是和捕捉的圖像同步記錄的，因此能夠確定3捕捉每個(gè)圖像時(shí)，相機(jī)面 向的方向，盡管方向的精度不是很高。 根據(jù)這樣獲得的信息，圖像被排列在經(jīng)度-緯度平面....匕。 這種狀態(tài)下，任意.'對(duì)相鄰圖像之間的具有約100像素的較大大小的重疊區(qū)域被 置于基木正確的位置。 從這種狀態(tài)下開始精確的自動(dòng)組合例程。
[精確自動(dòng)組合] 在每個(gè)重疊區(qū)域中的多個(gè)位置進(jìn)行運(yùn)動(dòng)檢測(cè)(ME :運(yùn)動(dòng)估計(jì))。 ME或者運(yùn)動(dòng)檢測(cè)采用僅基于FFT的相位相關(guān)法。特征提取和其它適當(dāng)?shù)姆椒ㄒ彩?br> 適用的。 當(dāng)僅僅發(fā)生平移時(shí)，只需耍.'個(gè)腿操作。 兩個(gè)ME操作提供傾斜。 三個(gè)ME操作提供透鏡畸變系數(shù)。 當(dāng)在每1、歪疊區(qū)域屮不存在運(yùn)動(dòng)目標(biāo),并且用相機(jī)對(duì)遠(yuǎn)距離風(fēng)景成像(其屮手持 的相機(jī)不影響捕捉的岡像)時(shí)，ME操作的數(shù)目可以較小。 不過，當(dāng)存在運(yùn)動(dòng)目標(biāo)和/或?qū)Ξa(chǎn)生視差影響的近距離目標(biāo)成像時(shí)，少別勺ME操 作不便于把握正在發(fā)牛什么。 于是，在每個(gè)重疊區(qū)域中進(jìn)行最大可能數(shù)目的MB操作。 當(dāng)大量的ME操作產(chǎn)生值基本相M的運(yùn)動(dòng)向量時(shí)，相鄰圖像之.'可被平移，并與另 一圖像對(duì)準(zhǔn)。 即使當(dāng)所得到的運(yùn)動(dòng)向量并不具有基本相同的值，但是上部的運(yùn)動(dòng)向量的值以相
同的速率變成下部的運(yùn)動(dòng)向量的值時(shí)，相鄰圖像之一能夠被傾斜并與另一圖像對(duì)準(zhǔn)。 不過，當(dāng)任意重疊區(qū)域中的ME操作產(chǎn)生不同的值時(shí)，不能進(jìn)行組合。 其原因在f圖像是在存在運(yùn)動(dòng)被攝體,或者同時(shí)存在近距離被攝體和遠(yuǎn)距離被攝
休的情況下，當(dāng)視點(diǎn)被移動(dòng)時(shí)捕捉的。[進(jìn)行MB的方法] 首先對(duì)縮小的圖像進(jìn)行粗ME操作。 縮小率被逐漸降低，最終對(duì)全尺寸圖像進(jìn)行ME操作。 通過改變ME操作中使用的塊人小和/或降低相鄰塊的中心之間的距離，能夠獲得
更詳細(xì)的運(yùn)動(dòng)向量。 [ME結(jié)果的評(píng)估] 大量的ME結(jié)果被用f判斷是否能夠進(jìn)行正確的縫合。當(dāng)不能正確進(jìn)行縫合時(shí)，告 知用戶并提示用戶重新捕捉圖像。 只要可能，就進(jìn)行縫合，組合結(jié)果被顯示和記錄在記錄介質(zhì)(存儲(chǔ)器)中。 [O61幻[運(yùn)動(dòng)被攝體的行為]
下面說明運(yùn)動(dòng)被攝體的行為。 在兩個(gè)時(shí)間相鄰的圖像相力:重疊的區(qū)域中進(jìn)行多個(gè)塊匹配(BM)操作，以確定這 兩個(gè)圖像的運(yùn)動(dòng)向量。 所得到的向量反映移動(dòng)部分移動(dòng)的方向，從而能夠把移動(dòng)部分和同定部分分開。
由f圖像在移動(dòng)目標(biāo)和固定被攝體之間的邊界處變化極大，因此:BM操作將不提 供正確的數(shù)值。當(dāng)沿橫向方向進(jìn)行掃描操作時(shí)，不能區(qū)分歸因于近距離固定被攝休的視差 和沿橫向方向移動(dòng)的被攝體。 為了解決該問題，在沒有區(qū)分視差和運(yùn)動(dòng)被攝體的情況下,發(fā)出報(bào)警。
當(dāng)檢測(cè)到報(bào)警時(shí)，目前的技術(shù)都不能諧調(diào)地進(jìn)行縫合。 于是，在本實(shí)施例中，發(fā)出報(bào)警以提示用戶"簡(jiǎn)單地重新捕捉圖像"或者"改變捕捉圖像的方式并重新捕捉圖像"。 待發(fā)出的報(bào)警的一個(gè)例了nj指不"檢測(cè)到視差或移動(dòng)目標(biāo)的影響。減小旋轉(zhuǎn)平徑 并重新捕捉圖像"。 如上所述,在第四配置中，由于在開始成像之后立即判斷是否存在移動(dòng)被攝體，因 此用戶能夠重新捕捉圖像。 從而，由于在開始成像之后立即判斷視差是否影響捕捉的圖像，岡此有利的是，用 戶能夠重新捕捉圖像。
下面說明第五配置。
[第五配置] 在第五配置中，通知適當(dāng)?shù)膾呙杞撬俣?用戶擺動(dòng)相機(jī)的速度)，當(dāng)掃描角速度過 快時(shí)，發(fā)出報(bào)警。這樣，提示用戶重新捕捉圖像。 如上所述,微處理器162以圖表的形式把姿態(tài)傳感器(陀螺傳感器)的輸出(掃 描角速度)顯示在.M示器件IS，比如LCD的屏幕上，垂直軸表示所述輸出，水平軸表示時(shí)間。
由于當(dāng)設(shè)置水平視角，水平像素的數(shù)目和快門速度時(shí)，確定最高的掃描角速度，岡 此如圖4中所示顯示該圖表，其中適當(dāng)范圍的RNG從最高掃描伯速度的60%--直到最高掃 描角速度的80%。 下面表示上述操作的示意過程。 [1]按K操作單兀19中的開始按鈕，旋轉(zhuǎn)相機(jī)。隨后，釋放開始按鈕。 [2]在開始按鈕被按下的時(shí)候，掃描角速度被顯示在顯示器件18的屏幕上，如圖4
中所示。 [3]當(dāng)掃描角速度低T適當(dāng)范圍的RNG的下限吋,不發(fā)出任何報(bào)警，而當(dāng)掃描角速 度快于，即使是瞬間快于適當(dāng)范闈RNG的i:限時(shí)，將產(chǎn)生報(bào)警聲。 如上所述，在第五配置中，由于相機(jī)通知適當(dāng)?shù)乃俣?，將不存在任何不方便之處?例如由于掃描角速度過快,產(chǎn)生區(qū)域的至疊，或者由于掃描角速度過慢，僅僅成像較窄的 區(qū)域。 下面參考圖22A-22D說明掃描速度的計(jì)算的例了。
〈掃描速度的訃算〉 下面說明假如確定了曝光時(shí)間、像素的數(shù)冃、一行讀出時(shí)間、視角、重疊率、幀速率 和其它參數(shù)，計(jì)算不會(huì)出現(xiàn)產(chǎn)生模糊的角度，模糊像素的數(shù)目和其它問題的掃描速度的方 法。 從下述三個(gè)方程式獲得的掃描速度中的最慢掃描速度是所述確定條件下的最高 角速度。 圖22A-22D中所示的表格表示如果視角、掃描速度和各種其它參數(shù)已知，那么模
糊像素的數(shù)目、幀速率和其它參數(shù)的計(jì)算值。[丄]-[6]列表示不同條件下的結(jié)果。 下面作為例子，按照?qǐng)D22A-22I)中的條件[1]進(jìn)行說明。 通過與示T圖22A-22D的表格的右端的計(jì)算方程式.'起，利用掃描速度vp、視角 th、水平像素的數(shù)目H和重疊率k，確定產(chǎn)生模糊的角度ab2、模糊像素的數(shù)目nb2和幀速率 f。
30






ab2 = vpX (ts+nXrs) 1000 nb2 = vpX (ts+nXrs) XH/th f =丄00/(丄00—k) XHXvp/n/th
上面的方程式被用于提供如下的掃描速度vp : vp = 1000Xab2,/(ts+nXrs) [dog] (1) vp = nb2 X th/:H/ (ts+n X rs) [deg/sec] (2) vp = (100—k) /100 X n X th X f/II (3) 如果產(chǎn)生模糊的角度ab2為0. 28。，曝光時(shí)間為1 [msec],短邊的像素?cái)?shù)目n為 400像素， 一行讀出時(shí)間rs為7. 8 [ u sec]，那么掃描速度為vp = 68 [deg/sec]。
如果模糊像素的數(shù)目nb2為19, 9像素，L(邊的視角為50° ，水平像素H:的數(shù)目為 3560像素，那么掃描速度為vp = 68[deg/sec]。 如果歪疊率k為20 % ，幀速率f'為15. 13，那么掃描速度為vp = 68 [deg/sec]。
T是，當(dāng)上述每個(gè)方程式(1) 、 (2)和(3)的右手側(cè)的參數(shù)被改變時(shí)，掃描速度的值 由所述方程式約朿。 當(dāng)以比從方程式(1)獲得的值vp高的速度進(jìn)行掃描操作時(shí)，超出光學(xué)手抖校正器 件的極限操作光學(xué)手抖校正器件。 當(dāng)以比從方程式(2)獲得的值vp高的速度進(jìn)行掃描操作時(shí)，模糊量超過容限。
當(dāng)以比從方程式(3)獲得的值vp高的速度進(jìn)行掃描操作時(shí)，重疊量減小,在一些 情況下甚至不產(chǎn)牛重疊。 上面說明的第一到第五配置之一或全部能夠應(yīng)用于相機(jī)設(shè)備l()，或者能夠采用第 --到第五配置的任何適當(dāng)組合。 能夠以依照k述過程，并在CPU或任何其它適當(dāng)計(jì)算機(jī)i:執(zhí)行的程序的形式構(gòu)成 上面詳細(xì)說明的方法。 此外，....匕面說明的程序可被配置成被保存在半導(dǎo)體存儲(chǔ)器、磁盤、光盤、軟盤(注 冊(cè)商標(biāo))和任何其它適當(dāng)?shù)挠涗浗橘|(zhì)中，從其中包含任意上述記錄介質(zhì)的計(jì)算機(jī)中訪問， 隨后被執(zhí)行。 本申請(qǐng)包含與在于2008年i0月3日向日本^利局提交的日本優(yōu)先權(quán)(r"利申請(qǐng)
JP2()()8-258113中公開的主題相關(guān)的主題，該專利申請(qǐng)的整個(gè)內(nèi)容在此引為參考。 本領(lǐng)域的技術(shù)人員應(yīng)明白根據(jù)設(shè)計(jì)耍求和其它因素，可做出各種修改、組合、子組
合和變更，只要它們?cè)诟郊訖?quán)利要求或其等同物的范闈之內(nèi)。
權(quán)利要求
一種成像設(shè)備，包括通過光學(xué)系統(tǒng)捕捉被攝體圖像的成像器件；具有把多個(gè)捕捉的圖像組合成一個(gè)圖像的功能的圖像信號(hào)處理器，所述圖像是在移動(dòng)成像設(shè)備的期間捕捉的；提供成像設(shè)備的姿態(tài)信息的姿態(tài)傳感器；和處理來(lái)自姿態(tài)傳感器的信息，并對(duì)姿態(tài)信息的處理結(jié)果和來(lái)自圖像信號(hào)處理器的處理結(jié)果進(jìn)行協(xié)調(diào)控制的控制單元，其中圖像信號(hào)處理器使用圖像識(shí)別確定相鄰圖像之間的相對(duì)位置關(guān)系，控制單元把當(dāng)姿態(tài)傳感器固定不動(dòng)時(shí)姿態(tài)傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值，關(guān)于時(shí)間求姿態(tài)傳感器檢測(cè)的信息的積分，從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng)，把積分值設(shè)為捕捉每個(gè)圖像時(shí)的方向數(shù)據(jù)，根據(jù)確定的初始值、方向數(shù)據(jù)和圖像信號(hào)處理器確定的相對(duì)位置關(guān)系，確定相鄰圖像之間的位置關(guān)系，并判斷確定的結(jié)果是否正確。
2. 按照權(quán)利要求1所述的成像設(shè)備，其中姿態(tài)傳感器包括角速度傳感器，以及控制單兀求角速度傳感器檢測(cè)的信息的積分，從ffl]提供移動(dòng)量，以便確定相對(duì)位置關(guān)系，并對(duì)根據(jù)角速度傳感器檢測(cè)的信息確定的相對(duì)位置關(guān)系和圖像信號(hào)處理器確定的相對(duì)位置關(guān)系進(jìn)行選擇性協(xié)調(diào)校止，以確定相對(duì)移動(dòng)信息。
3. 按照權(quán)利耍求1或2所述的成像設(shè)備，其巾姿態(tài)傳感器包括角速度傳感器和加速度傳感器，以及控制單元把當(dāng)加速度傳感器固定不動(dòng)時(shí)加速度傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值，并且關(guān)于時(shí)間求角速度傳感器檢測(cè)的信息的積分，從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng)。
4. 按照權(quán)利要求卜3任意之一所述的成像設(shè)備，其中控制單兀具有改變方向數(shù)據(jù)的參數(shù)，以使方向數(shù)據(jù)與實(shí)際方向基本相符的功能。
5. 按照權(quán)利要求4所述的成像設(shè)各，其中當(dāng)在判斷過程中控制單元判斷確定的結(jié)果止確時(shí)，控制單元校準(zhǔn)參數(shù)。
6. 按照權(quán)利耍求4或5所述的成像設(shè)備，其中當(dāng)在判斷過程中控制申.元判斷確定的結(jié)果不正確時(shí)，控制竿.元根據(jù)已校準(zhǔn)的參數(shù)，使用來(lái)fi姿態(tài)傳感器的信息排列圖像。
7. 按照權(quán)利要求1-6任意之一所述的成像設(shè)備，其中圖像信號(hào)處理器通過使用相鄰圖像之間的重疊區(qū)域進(jìn)行圖像識(shí)別。
8. 按照權(quán)利要求1-7任意之一所述的成像設(shè)備，其中圖像信號(hào)處理器在通過按照選抒的圖像沿相應(yīng)邊界相—E[重疊的方式排列圖像中的多個(gè)選擇圖像而產(chǎn)生的邊界進(jìn)行塊匹配，沿著相應(yīng)的邊界組合選擇的圖像，從而提取預(yù)定參數(shù)，根據(jù)所述參數(shù)在組合的圖像的所有邊界進(jìn)行塊匹配，M吋并且并行地評(píng)佔(zhàn)關(guān)T所有邊界的塊匹配結(jié)果，并按照在所有邊界的誤差降低的方式更新光軸的方向，以致按照誤差降低的方式進(jìn)行組合。
9. 一種成像方法，包括下述步驟在移動(dòng)成像設(shè)備時(shí)，通過光學(xué)系統(tǒng)用成像器件捕捉被攝體圖像，光學(xué)系統(tǒng)包括改變光軸的光軸nj變器件；通過對(duì)捕捉的圖像進(jìn)行圖像識(shí)別，確定相鄰圖像之間的相對(duì)位置關(guān)系；把3姿態(tài)傳感器固定不動(dòng)時(shí)姿態(tài)傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值；關(guān)于時(shí)間求姿態(tài)傳感器檢測(cè)的信息的積分，從而提供成像設(shè)各的旋轉(zhuǎn)移動(dòng)，并日.把積分值設(shè)為當(dāng)捕捉每個(gè)圖像時(shí)的方向數(shù)據(jù)；根據(jù)確定的初始值、方向數(shù)據(jù)和通過圖像識(shí)別確定的相對(duì)位置關(guān)系，確定相鄰圖像之間的位置關(guān)系；禾n判斷確定結(jié)果是否正確。
10. 按照權(quán)利要求9所述的成像方法，其中所述方法貝0-改變方向數(shù)據(jù)的參數(shù)，以使方向數(shù)據(jù)與實(shí)際方向基本相符的功能。
11. 按照權(quán)利要求l()所述的成像方法，其中當(dāng)判斷過程表明確定結(jié)果正確時(shí)，校準(zhǔn)所述參數(shù)。
12. 按照權(quán)利要求l()或11所述的成像方法，其中當(dāng)判斷過程表明確定結(jié)果不正確時(shí)，根據(jù)已校準(zhǔn)的參數(shù)，使用來(lái)自姿態(tài)傳感器的信息排列圖像。
13. --種使計(jì)算機(jī)執(zhí)行成像處理的程序，所述成像處理包括下述處理在移動(dòng)成像設(shè)備時(shí)，通過光學(xué)系統(tǒng)用成像器件捕捉被攝體圖像，光學(xué)系統(tǒng)包括改變光軸的光軸可變器件；通過對(duì)捕捉的圖像進(jìn)行圖像識(shí)別，確定相鄰圖像之間的相對(duì)位置關(guān)系；把當(dāng)姿態(tài)傳感器固定不動(dòng)時(shí)姿態(tài)傳感器檢測(cè)的信息設(shè)為姿態(tài)信息的初始值；關(guān)于時(shí)間求姿態(tài)傳感器檢測(cè)的信息的積分，從而提供成像設(shè)備的旋轉(zhuǎn)移動(dòng)，并且把積分值設(shè)為當(dāng)捕捉每個(gè)圖像時(shí)的方向數(shù)據(jù)；根據(jù)確定的初始值、方向數(shù)據(jù)和通過圖像識(shí)別確定的相對(duì)位置關(guān)系，確定相鄰圖像之間的位置關(guān)系；禾口判斷確定結(jié)果是否lF:確。
全文摘要
成像設(shè)備包括通過光學(xué)系統(tǒng)捕捉被攝體圖像的成像器件；具有把多個(gè)捕捉的圖像組合成一個(gè)圖像的功能的圖像信號(hào)處理器，所述圖像是在移動(dòng)成像設(shè)備的期間捕捉的；提供成像設(shè)備的姿態(tài)信息的姿態(tài)傳感器；和處理來(lái)自姿態(tài)傳感器的信息，并對(duì)姿態(tài)信息的處理結(jié)果和來(lái)自圖像信號(hào)處理器的處理結(jié)果進(jìn)行協(xié)調(diào)控制的控制單元，其中圖像信號(hào)處理器使用圖像識(shí)別確定相鄰圖像之間的相對(duì)位置關(guān)系，控制單元根據(jù)姿態(tài)信息的初始值、方向數(shù)據(jù)和圖像信號(hào)處理器確定的相對(duì)位置關(guān)系，確定相鄰圖像之間的位置關(guān)系，并判斷確定的結(jié)果是否正確。
文檔編號(hào)H04N5/232GK101715053SQ200910204440
公開日2010年5月26日 申請(qǐng)日期2009年9月29日 優(yōu)先權(quán)日2008年10月3日
發(fā)明者國(guó)兼憲太郎, 山下紀(jì)之 申請(qǐng)人:索尼株式會(huì)社