專(zhuān)利名稱(chēng)：成像設(shè)備、成像方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種具有組合多個(gè)圖像的功能的成像設(shè)備、成像方法和程序。
背景技術(shù)：
當(dāng)使用可攜式攝像機(jī)、數(shù)字靜止照相機(jī)或任何其它適合的設(shè)備執(zhí)行全景成像時(shí)， 每當(dāng)捕獲圖像時(shí)必須保持照相機(jī)靜止，或者必須緩慢地移動(dòng)照相機(jī)以便在照相機(jī)移動(dòng)并且 同時(shí)捕獲圖像時(shí)圖像不會(huì)模糊。 在后者的情況下，高速快門(mén)對(duì)于捕獲圖像也是必要的。 相反，日本專(zhuān)利No. 3， 928， 222提出了一種在快速移動(dòng)照相機(jī)的同時(shí)捕獲圖像且 保持圖像分辨率的方法。 在日本專(zhuān)利No. 3， 928， 222提出的方法中，檢測(cè)照相機(jī)移動(dòng)的方向和照相機(jī)移動(dòng) 的角速度，并且光軸以相同的角速度沿與照相機(jī)的移動(dòng)相反的方向移動(dòng)，從而每個(gè)圖像都 不會(huì)改變。結(jié)果，每個(gè)圖像被捕獲為好像僅觀(guān)察單個(gè)點(diǎn)。 —些情況下，加速度傳感器和角速度傳感器對(duì)于實(shí)現(xiàn)上述控制方法是必需的。相 反，日本專(zhuān)利No. 3， 925， 299提出了一種適當(dāng)控制光軸而不需要這兩個(gè)傳感器及控制它們 的反饋電路的方法。 日本專(zhuān)利No. 3， 925， 299提出的方法被用作這樣的監(jiān)控系統(tǒng)對(duì)用于控制成像方 向的步進(jìn)電機(jī)的脈沖數(shù)進(jìn)行計(jì)數(shù)，并基于該計(jì)數(shù)控制光軸。

發(fā)明內(nèi)容
利用被設(shè)置為望遠(yuǎn)鏡模式的照相機(jī)，通過(guò)多次改變成像方向以創(chuàng)建廣角、高清晰 照片的從單個(gè)點(diǎn)捕獲圖像的方法中，成像操作通常由放置于固定在三腳架的活動(dòng)臺(tái)上的照 相機(jī)執(zhí)行。替換地，可以用手握住照相機(jī)來(lái)執(zhí)行這項(xiàng)工作。 然而，當(dāng)通過(guò)用手握住照相機(jī)并把照相機(jī)沿用戶(hù)肩膀旋轉(zhuǎn)來(lái)捕獲圖像時(shí)，視差 (parallax)極大地影響捕獲的圖像，這是因?yàn)檎障鄼C(jī)圍繞照相機(jī)觀(guān)察物體的照相機(jī)的觀(guān)察 點(diǎn)后面的位置而旋轉(zhuǎn)。 這種情況下，當(dāng)僅對(duì)遠(yuǎn)景成像時(shí)幾乎沒(méi)有問(wèn)題，但當(dāng)捕獲的圖像包含鄰近物體時(shí)， 可能無(wú)法正確地組合圖像，因?yàn)橄噜張D像之間的鄰近物體的位置關(guān)系不同于遠(yuǎn)處物體的位 置關(guān)系。 由于沒(méi)有當(dāng)前的照相機(jī)能夠控制(監(jiān)控)視差或移動(dòng)物體的影響，所以在完成成 像操作之后無(wú)法立即判斷是否需要重新捕獲圖像。 因此，希望提供一種能夠在完成成像操作之后立即判斷是否需要重新捕獲圖像的 成像設(shè)備、成像方法和程序，由此方便操作。 根據(jù)本發(fā)明第一實(shí)施例的成像設(shè)備包括成像裝置，通過(guò)光學(xué)系統(tǒng)捕獲物體圖像； 圖像信號(hào)處理器，具有把多個(gè)捕獲的圖像組合成單個(gè)圖像的功能，這些圖像是在成像設(shè)備 移動(dòng)期間捕獲的；以及控制單元。圖像信號(hào)處理器基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性檢測(cè)視差的任何影響或移動(dòng)物體，控制單元在圖像信號(hào)處理器檢測(cè)到移動(dòng)對(duì)象或視差的任 何影響時(shí)發(fā)出警告，以提示重新捕獲圖像。 優(yōu)選地，圖像信號(hào)處理器在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次運(yùn)動(dòng)
檢測(cè)操作以確定多個(gè)運(yùn)動(dòng)矢量，并在存在具有不同值的矢量時(shí)識(shí)別出檢測(cè)到視差。 優(yōu)選地，圖像信號(hào)處理器在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次運(yùn)動(dòng)
檢測(cè)操作以確定多個(gè)運(yùn)動(dòng)矢量，控制單元發(fā)出警告，而不對(duì)移動(dòng)對(duì)象和靜止物體之間的邊
界上的視差和移動(dòng)物體進(jìn)行區(qū)分。 優(yōu)選地，控制單元控制以固定交疊率捕獲若干圖像的操作，以所述固定交疊率，物 體的任何部分出現(xiàn)在至少兩個(gè)相鄰圖像中。 根據(jù)本發(fā)明第二實(shí)施例的成像方法包括下述步驟在移動(dòng)成像設(shè)備的同時(shí)，利用 該成像設(shè)備通過(guò)光學(xué)系統(tǒng)捕獲物體圖像；基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視 差的任何影響或移動(dòng)物體；當(dāng)檢測(cè)到視差或移動(dòng)對(duì)象的任何影響時(shí)發(fā)出警告，以提示重新 捕獲圖像。 根據(jù)本發(fā)明第三實(shí)施例的程序使計(jì)算機(jī)執(zhí)行成像處理，所述成像處理包括下述處 理在移動(dòng)成像設(shè)備的同時(shí)，利用該成像設(shè)備通過(guò)光學(xué)系統(tǒng)捕獲物體圖像；基于相鄰圖像 之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或移動(dòng)物體；當(dāng)檢測(cè)到移動(dòng)對(duì)象或視差的 任何影響時(shí)發(fā)出警告，以提示重新捕獲圖像。 根據(jù)本發(fā)明的實(shí)施例，在成像設(shè)備移動(dòng)期間捕獲的圖像被輸入到圖像信號(hào)處理 器。 圖像信號(hào)處理器基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或 移動(dòng)物體，并把檢測(cè)結(jié)果輸出給控制單元。 控制單元在圖像信號(hào)處理器檢測(cè)到視差或移動(dòng)對(duì)象的任何影響時(shí)發(fā)出警告，以提 示重新捕獲圖像。 本發(fā)明的實(shí)施例允許在完成成像操作之后立即判斷是否需要重新捕獲圖像，提高 了操作的方便性。


圖1是表示采用根據(jù)本發(fā)明實(shí)施例的成像處理設(shè)備的照相機(jī)設(shè)備的結(jié)構(gòu)例子的 方框圖； 圖2示意性地表示利用本實(shí)施例的照相機(jī)設(shè)備執(zhí)行的廣角成像； 圖3是精確組合處理器的方框圖； 圖4表示以曲線(xiàn)圖顯示的姿勢(shì)傳感器的輸出(掃描角速度)； 圖5A和圖5B描述在本實(shí)施例的第一配置中如何捕獲圖像； 圖6表示CM0S圖像傳感器曝光的時(shí)間段、讀取積累的電荷的時(shí)間段和控制光軸的 時(shí)間段之間的關(guān)系； 圖7A和圖7B表示通過(guò)基于互功率譜(CPS)的平移獲得的縫合圖像； 圖8描述使用塊匹配(BM)提取參數(shù)的處理并表示選擇良好條件的四個(gè)圖像的處
理； 圖9描述使用塊匹配(BM)提取參數(shù)的處理并表示沿單個(gè)邊界在三個(gè)位置執(zhí)行BM的例子； 圖10描述使用塊匹配(BM)提取參數(shù)的處理并表示當(dāng)存在透鏡失真時(shí)在彎曲邊界 的BM結(jié)果； 圖11描述使用塊匹配(BM)提取參數(shù)的處理并表示當(dāng)傾斜角不正確時(shí)產(chǎn)生向 左_右方向傾斜的錯(cuò)誤邊界的例子； 圖12描述使用塊匹配(BM)提取參數(shù)的處理并表示沿左右圖像之間的邊界產(chǎn)生的 沿上_下方向的收縮導(dǎo)致沿橫向方向的移位； 圖13描述使用塊匹配(BM)提取參數(shù)的處理并表示圖像的旋轉(zhuǎn)導(dǎo)致的誤差的例 子； 圖14A和圖14B描述在使用塊匹配(BM)提取參數(shù)之后，BM擴(kuò)展到大量圖像從而 以最少誤差執(zhí)行平移操作的過(guò)程； 圖15是表示基于連續(xù)捕獲的圖像和傳感器信息的空間排列方法的功能框圖；
圖16是表示在使連續(xù)捕獲的圖像與傳感器信息相關(guān)而使傳感器信息更精確的方 法中，在靜止?fàn)顟B(tài)下的傳感器零位置的校正的功能框圖； 圖17是表示在使連續(xù)捕獲的圖像與傳感器信息相關(guān)而使傳感器信息更精確的方
法中，如何調(diào)節(jié)移動(dòng)信息以使其更精確的功能框圖； 圖18是校正角速度傳感器的零點(diǎn)的過(guò)程的流程圖； 圖19是校正從角速度傳感器獲得的移動(dòng)量的過(guò)程的流程圖； 圖20是獲取所述移動(dòng)量的方法的流程圖； 圖21是使用捕獲的照片分配空間坐標(biāo)的方法的流程圖； 圖22A至圖22D描述掃描速度的計(jì)算例子。
具體實(shí)施例方式以下將參照附圖描述本發(fā)明的實(shí)施例。 圖1是表示作為根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的照相機(jī)設(shè)備的結(jié)構(gòu)例子的方框 圖。 照相機(jī)設(shè)備10能夠，例如，如圖2所示，通過(guò)多次自動(dòng)或手動(dòng)改變成像方向而產(chǎn)生 從單個(gè)點(diǎn)捕獲的大量圖像(在圖2中，16X8二 128)。 照相機(jī)設(shè)備10準(zhǔn)確、無(wú)縫地組合大量圖像(例如，幾百個(gè)圖像)，以形成所謂的全 景圖像。 也就是說(shuō)，照相機(jī)設(shè)備10具有這樣的功能基于沿縱向或橫向方向高速搖動(dòng)包含 了固態(tài)成像裝置(例如，CM0S圖像傳感器(CIS))的數(shù)字照相機(jī)所捕獲的圖像，創(chuàng)建全景圖 片。 根據(jù)本實(shí)施例的照相機(jī)設(shè)備10具有下述第一至第五特征結(jié)構(gòu)和功能。
第一結(jié)構(gòu)具有下述特點(diǎn)。 為了通過(guò)移動(dòng)照相機(jī)設(shè)備10以捕獲多個(gè)圖像并組合所獲取的圖像來(lái)創(chuàng)建全景圖 像，控制聚集成像光的透鏡(移軸透鏡)的光軸，使得所述照相機(jī)被移動(dòng)的方向以及其角速 度被取消。 以這種方法捕獲每個(gè)圖像，即使當(dāng)照相機(jī)移動(dòng)時(shí)，也好像僅觀(guān)察單個(gè)點(diǎn)。
在這種結(jié)構(gòu)中，CIS(CM0S圖像傳感器)用作固態(tài)成像裝置，并且通過(guò)對(duì)CIS的線(xiàn)的中間部分執(zhí)行上述控制來(lái)捕獲每個(gè)圖像。 也就是說(shuō)，在一部分線(xiàn)被曝光的時(shí)間段加上讀出時(shí)間的期間，如上所述控制光軸，其中控制光軸，使得在所有其它時(shí)間使光軸回到中心附近的位置。這種情況下，照相機(jī)捕獲圖像的方向垂直于CIS的線(xiàn)。 然后，通過(guò)從CIS的一部分剪切條并執(zhí)行與那一部分對(duì)應(yīng)的光軸控制，即使照相機(jī)高速移動(dòng)時(shí)也不降低分辨率，照相機(jī)設(shè)備10以高幀率產(chǎn)生全景圖像。
第二機(jī)構(gòu)具有下述特點(diǎn)。 照相機(jī)設(shè)備10采用這樣的技術(shù)使用根據(jù)圖像識(shí)別技術(shù)獲得的幀移動(dòng)信息和來(lái)自姿勢(shì)傳感器的移動(dòng)信息，在空間上排列連續(xù)的圖像。 來(lái)自姿勢(shì)傳感器的信息補(bǔ)充圖像識(shí)別不能提供的信息。來(lái)自姿勢(shì)傳感器的信息用于檢查是否已成功執(zhí)行圖像識(shí)別，或者當(dāng)圖像識(shí)別失敗時(shí)用作輔助坐標(biāo)。被空間排列的圖像創(chuàng)建單個(gè)完整的全景圖像。 這種情況下，照相機(jī)設(shè)備10構(gòu)造為這樣的照相機(jī)照相機(jī)主要用手握住，并通過(guò)改變成像方向基本從單個(gè)點(diǎn)捕獲多個(gè)圖像。 照相機(jī)設(shè)備10的姿勢(shì)傳感器包括三軸(或兩軸)加速度傳感器和/或三軸(或兩軸)角速度傳感器。 照相機(jī)設(shè)備10不僅具有捕獲圖像并同時(shí)記錄指示捕獲每個(gè)圖像的方向的姿勢(shì)信息的功能，還具有在過(guò)程中(on the fly)把多個(gè)捕獲的圖像組合成單個(gè)圖像的功能。
照相機(jī)設(shè)備10不僅以塊匹配或任何其它適合的圖像識(shí)別功能使用相鄰圖像彼此交疊的區(qū)域來(lái)計(jì)算圖像之間的相對(duì)位置關(guān)系，還使用來(lái)自姿勢(shì)傳感器(由多種傳感器形成)的數(shù)據(jù)來(lái)計(jì)算所述圖像位置關(guān)系。 然后，照相機(jī)設(shè)備10使用所計(jì)算的相對(duì)位置關(guān)系和圖像位置關(guān)系之間的選擇性協(xié)調(diào)，計(jì)算圖像之間更精確的相對(duì)位置關(guān)系。 其后，照相機(jī)設(shè)備10確定每個(gè)圖像的絕對(duì)位置關(guān)系，諸如圖像的中心所朝向的方向、表示圍繞光軸的旋轉(zhuǎn)的水平角(經(jīng)度)、傾斜角(緯度)和滾動(dòng)角(傾斜)，并使用以上信息作為初始值以執(zhí)行精確自動(dòng)組合。
第三結(jié)構(gòu)具有下述特點(diǎn)。 照相機(jī)設(shè)備10采用這樣的技術(shù)記錄連續(xù)的圖像，有通過(guò)圖像識(shí)別技術(shù)獲得的幀移動(dòng)信息和來(lái)自姿勢(shì)傳感器的移動(dòng)信息彼此相關(guān)。 照相機(jī)設(shè)備10計(jì)算每個(gè)圖像像素的視角、在靜止?fàn)顟B(tài)下來(lái)自姿勢(shì)傳感器的值、來(lái)自姿勢(shì)傳感器的值和每個(gè)像素的視角之間的關(guān)系、以及僅從這兩種位置關(guān)系之一無(wú)法獲得的其它信息。照相機(jī)設(shè)備10具有偏移、增益和其它參數(shù)，并能改變它們以使得捕獲每個(gè)圖像的期望方向充分地與實(shí)際方向一致。 照相機(jī)設(shè)備IO以三軸(或兩軸)加速度傳感器相對(duì)于重力方向傾斜的角度，靜態(tài)地檢測(cè)靜止?fàn)顟B(tài)下的姿勢(shì)數(shù)據(jù)，并把該數(shù)據(jù)設(shè)置為姿勢(shì)信息的初始值。 照相機(jī)設(shè)備10通過(guò)例如把來(lái)自三軸角速度傳感器的輸出值相對(duì)時(shí)間積分，主要計(jì)算照相機(jī)沿縱向和橫向方向的旋轉(zhuǎn)移動(dòng)，并把獲得的值設(shè)置為捕獲每個(gè)圖像時(shí)的方向數(shù)據(jù)。
照相機(jī)設(shè)備10以塊匹配或任何其它適合的圖像識(shí)別方法，使用相鄰圖像彼此交疊的區(qū)域計(jì)算相鄰圖像之間的位置關(guān)系。照相機(jī)設(shè)備io通過(guò)如上所述的計(jì)算確定相鄰圖像之間的位置關(guān)系，并同時(shí)判斷結(jié)果是正確的還是錯(cuò)誤的。 當(dāng)判斷結(jié)果為正確時(shí)，照相機(jī)設(shè)備10基于如此獲得的信息校準(zhǔn)所述參數(shù)。 然后，當(dāng)判斷結(jié)果為錯(cuò)誤時(shí)，照相機(jī)設(shè)備10基于已被校準(zhǔn)的參數(shù)，通過(guò)使用來(lái)自
姿勢(shì)傳感器的值，排列圖像。 第四結(jié)構(gòu)具有下述特點(diǎn)。 照相機(jī)設(shè)備10具有這樣的功能當(dāng)它檢測(cè)到移動(dòng)對(duì)象的任何影響時(shí)發(fā)出警告，提示用戶(hù)重新捕獲圖像。 照相機(jī)設(shè)備10具有這樣的功能以這樣的方式檢測(cè)移動(dòng)對(duì)象，即交疊率被設(shè)置為50%或更高，從而物體的任何部分出現(xiàn)在至少兩個(gè)相鄰圖像中。結(jié)果，基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差或移動(dòng)對(duì)象的影響。 也就是說(shuō)，照相機(jī)設(shè)備10在檢測(cè)到移動(dòng)對(duì)象或視差的任何影響時(shí)發(fā)出警告，以提示用戶(hù)重新捕獲圖像。 快速搖動(dòng)照相機(jī)設(shè)備10以在廣角內(nèi)捕獲物體的多個(gè)條形圖像并把它們組合成單
個(gè)圖像，照相機(jī)設(shè)備io檢測(cè)視差多大程度上影響鄰近物體，并提示用戶(hù)圍繞照相機(jī)的觀(guān)察
點(diǎn)(照相機(jī)從該觀(guān)察點(diǎn)觀(guān)察物體)重新捕獲圖像。
第五結(jié)構(gòu)具有下述特點(diǎn)。 照相機(jī)設(shè)備10通知適當(dāng)?shù)膾呙杞撬俣?用戶(hù)搖動(dòng)照相機(jī)的速度)，并在掃描角速度太快時(shí)發(fā)出警告。以這種方法，提示用戶(hù)重新捕獲圖像。 照相機(jī)設(shè)備10在顯示裝置18 (諸如，LCD屏幕)上以曲線(xiàn)圖顯示來(lái)自姿勢(shì)傳感器(陀螺傳感器)的輸出(掃描角速度)，垂直軸代表輸出，水平軸代表時(shí)間。當(dāng)設(shè)置了水平視角、水平像素?cái)?shù)和快門(mén)速度時(shí)，確定了最高的掃描角速度，這樣顯示曲線(xiàn)圖使得合適的范圍為最高的掃描角速度的60%到80%。 以下將描述具有以上特征的照相機(jī)設(shè)備10的更具體結(jié)構(gòu)和功能。
照相機(jī)設(shè)備10包括光學(xué)系統(tǒng)11、成像裝置12、模擬前端(AFE)電路13、姿勢(shì)傳感器14、驅(qū)動(dòng)器15、系統(tǒng)控制器16、存儲(chǔ)器17、顯示裝置18、操作單元19和聲音產(chǎn)生器20。
光學(xué)系統(tǒng)11在成像裝置12的成像表面上形成物體的圖像。 光學(xué)系統(tǒng)11包括普通透鏡111、作為光軸改變裝置的移軸透鏡1 12以及機(jī)械快門(mén)113。 移軸透鏡112不僅聚集成像光，還被驅(qū)動(dòng)器15驅(qū)動(dòng)以改變光軸的方向。
成像裝置12由CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)裝置或CCD (電荷耦合裝置)形成。
在本實(shí)施例的描述中，使用CMOS圖像傳感器作為示例。在上述的第一結(jié)構(gòu)中，CMOS圖像傳感器用作固態(tài)成像裝置。 在成像裝置12中，在半導(dǎo)體基底上以矩陣排列的光學(xué)傳感器檢測(cè)光學(xué)系統(tǒng)11形成的物體圖像，產(chǎn)生信號(hào)電荷，經(jīng)過(guò)垂直和水平信號(hào)線(xiàn)讀取信號(hào)電荷，并輸出物體的圖像信號(hào)。 當(dāng)成像裝置12由CMOS圖像傳感器形成時(shí)，全局快門(mén)和巻簾式快門(mén)用作電子快門(mén)來(lái)控制曝光。曝光由系統(tǒng)控制器16控制。
7
AFE電路13去除例如來(lái)自成像裝置12的圖像信號(hào)中包含的固定圖案噪聲，使用自動(dòng)增益控制穩(wěn)定信號(hào)電平，并把獲得的信號(hào)輸出給系統(tǒng)控制器16。 姿勢(shì)傳感器14檢測(cè)照相機(jī)設(shè)備10的姿勢(shì)，并把檢測(cè)結(jié)果提供給系統(tǒng)控制器16。
姿勢(shì)傳感器14由例如三軸加速度傳感器141和三軸角速度傳感器142形成。
加速度傳感器141能夠靜態(tài)地找到相對(duì)于重力方向的角度，并檢測(cè)傾斜角(tiltangle)和滾動(dòng)角(roll angle)，但不能檢測(cè)水平角(panangle)。 因此，角速度傳感器142用于找到運(yùn)動(dòng)的角度。角速度傳感器142也稱(chēng)為陀螺傳
感器，能夠檢測(cè)旋轉(zhuǎn)運(yùn)動(dòng)期間的角速度并輸出電壓信號(hào)。對(duì)電壓信號(hào)求積分可以產(chǎn)生角度。
由于角速度傳感器142是三軸傳感器，所以能夠檢測(cè)水平角、傾斜角和滾動(dòng)角。 驅(qū)動(dòng)器15在系統(tǒng)控制器16的控制下改變光學(xué)系統(tǒng)11中的移軸透鏡112的光軸。 系統(tǒng)控制器16是這樣的電路對(duì)來(lái)自AFE電路13的輸出信號(hào)執(zhí)行色彩校正，組合
多個(gè)圖像，執(zhí)行自動(dòng)曝光控制、自動(dòng)白平衡控制和其它控制操作。 系統(tǒng)控制器16包括圖像信號(hào)處理器161和用作控制單元的微計(jì)算機(jī)(ii -COM) 162。 圖像信號(hào)處理器161包括精確組合處理器，用于精確而無(wú)縫地組合通過(guò)多次改變成像方向從單個(gè)點(diǎn)捕獲的大量圖像。 如圖3所示，精確組合處理器1611包括第一色彩校正功能單元16111、組合功能單元16112和第二色彩校正功能單元16113。 圖像信號(hào)處理器161組合移動(dòng)照相機(jī)設(shè)備10獲得的多個(gè)捕獲的圖像，以產(chǎn)生全景圖像。 微計(jì)算機(jī)162根據(jù)來(lái)自姿勢(shì)傳感器14的檢測(cè)結(jié)果，控制聚集成像光的透鏡(移軸透鏡)的光軸，使得照相機(jī)移動(dòng)的方向及其角速度被抵消。 當(dāng)CMOS圖像傳感器用作固態(tài)成像裝置時(shí)，微計(jì)算機(jī)162在CMOS圖像傳感器的線(xiàn)的中間部分被曝光的時(shí)間段加上讀出時(shí)間期間，如上所述控制光軸，而控制驅(qū)動(dòng)器15使光軸在所有其它時(shí)間回到中心附近的位置。在后面的情況下，照相機(jī)捕獲圖像的方向垂直于CMOS圖像傳感器的線(xiàn)。 通過(guò)從CMOS圖像傳感器的一部分剪切條、并執(zhí)行與那一部分對(duì)應(yīng)的光軸控制，即使照相機(jī)高速移動(dòng)時(shí)也不降低分辨率，微計(jì)算機(jī)162以高幀率控制全景圖像的產(chǎn)生過(guò)程。
微計(jì)算機(jī)162對(duì)來(lái)自角速度傳感器142的檢測(cè)信號(hào)求積分以計(jì)算照相機(jī)設(shè)備10的旋轉(zhuǎn)的角度，并根據(jù)所計(jì)算的旋轉(zhuǎn)角度控制移軸透鏡112的光軸應(yīng)該改變多少。
替換地，圖像信號(hào)處理器161能夠檢測(cè)相鄰的捕獲圖像的運(yùn)動(dòng)分量，并且微計(jì)算機(jī)162能夠根據(jù)檢測(cè)的運(yùn)動(dòng)分量控制光軸應(yīng)該改變多少。 替換地，微計(jì)算機(jī)162能夠使用所計(jì)算的旋轉(zhuǎn)角度和運(yùn)動(dòng)分量二者控制光軸應(yīng)該改變多少。 微計(jì)算機(jī)162把指示捕獲每個(gè)圖像的方向的姿勢(shì)信息記錄在存儲(chǔ)器17中。
圖像信號(hào)處理器161和微計(jì)算機(jī)162不僅以塊匹配或任何其它適合的圖像識(shí)別功能，使用相鄰圖像彼此交疊的區(qū)域，計(jì)算圖像之間的相對(duì)位置關(guān)系，還使用來(lái)自姿勢(shì)傳感器(由多種傳感器形成)的數(shù)據(jù)，計(jì)算所述圖像位置關(guān)系。 微計(jì)算機(jī)162使用所計(jì)算的相對(duì)位置關(guān)系和圖像位置關(guān)系之間的選擇性協(xié)調(diào)，計(jì)算圖像之間更精確的相對(duì)位置關(guān)系。 其后，微計(jì)算機(jī)162確定每個(gè)圖像的絕對(duì)位置關(guān)系，諸如圖像的中心所朝向的方
向、表示圍繞光軸的旋轉(zhuǎn)的水平角(經(jīng)度)、傾斜(緯度)和滾動(dòng)角(傾斜)。 圖像信號(hào)處理器161使用以上信息作為初始值以執(zhí)行精確自動(dòng)組合。 微計(jì)算機(jī)162計(jì)算每個(gè)圖像像素的視角、在靜止?fàn)顟B(tài)下來(lái)自姿勢(shì)傳感器的值、來(lái)
自姿勢(shì)傳感器的值和每個(gè)像素的視角之間的關(guān)系、以及僅從這兩種位置關(guān)系之一無(wú)法獲得
的其它信息。微計(jì)算機(jī)162具有偏移、增益和其它參數(shù)，并能改變它們以使得捕獲每個(gè)圖像
的期望方向充分地與實(shí)際方向一致。 微計(jì)算機(jī)162以三軸(或兩軸)加速度傳感器相對(duì)于重力方向傾斜的角度，靜態(tài)
地檢測(cè)靜止?fàn)顟B(tài)下的姿勢(shì)數(shù)據(jù)，并把該數(shù)據(jù)設(shè)置為姿勢(shì)信息的初始值。 微計(jì)算機(jī)162通過(guò)例如把來(lái)自三軸角速度傳感器142的輸出值相對(duì)時(shí)間進(jìn)行積
分，主要計(jì)算照相機(jī)沿縱向和橫向方向的旋轉(zhuǎn)移動(dòng)，并把獲得的值設(shè)置為捕獲每個(gè)圖像時(shí)
的方向數(shù)據(jù)。 微計(jì)算機(jī)162以塊匹配或任何其它適合的圖像識(shí)別功能，使用相鄰圖像彼此交疊的區(qū)域，計(jì)算相鄰圖像之間的位置關(guān)系。微計(jì)算機(jī)162通過(guò)如上所述的計(jì)算確定相鄰圖像之間的位置關(guān)系，但同時(shí)判斷結(jié)果是正確的還是錯(cuò)誤的。 當(dāng)判斷結(jié)果為正確時(shí)，微計(jì)算機(jī)162基于如此獲得的信息校準(zhǔn)參數(shù)。 然后，當(dāng)判斷結(jié)果為錯(cuò)誤時(shí)，微計(jì)算機(jī)162基于已被校準(zhǔn)的參數(shù)，通過(guò)使用來(lái)自姿
勢(shì)傳感器的值，排列所述圖像。 當(dāng)檢測(cè)到移動(dòng)對(duì)象的任何影響時(shí)，微計(jì)算機(jī)162指示顯示裝置18和/或聲音產(chǎn)生器20發(fā)出顯示和/或警告聲音。以此方式提示用戶(hù)重新捕獲圖像。 微計(jì)算機(jī)162以此方式檢測(cè)移動(dòng)對(duì)象交疊率被設(shè)置為50%或更高，從而物體的任何部分出現(xiàn)在至少兩個(gè)相鄰圖像中。結(jié)果，基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或移動(dòng)物體。 也就是說(shuō)，微計(jì)算機(jī)162在檢測(cè)到移動(dòng)對(duì)象或視差的任何影響時(shí)發(fā)出警告，以提示用戶(hù)重新捕獲圖像。 微計(jì)算機(jī)162檢測(cè)視差多大程度上影響鄰近物體，并提示用戶(hù)圍繞照相機(jī)的觀(guān)察點(diǎn)(照相機(jī)從該觀(guān)察點(diǎn)觀(guān)察物體)重新捕獲圖像。 微計(jì)算機(jī)162通知適當(dāng)?shù)膾呙杞撬俣?用戶(hù)搖動(dòng)照相機(jī)的速度)，并在掃描角速度太快時(shí)指示顯示裝置18和/或聲音產(chǎn)生器20發(fā)出顯示和/或警告聲音。以此方式提示用戶(hù)重新捕獲圖像。 微計(jì)算機(jī)162在顯示裝置18(諸如，LCD屏幕)上以曲線(xiàn)圖顯示來(lái)自姿勢(shì)傳感器(陀螺傳感器)的輸出(掃描角速度)，垂直軸代表輸出，水平軸代表時(shí)間。當(dāng)設(shè)置了水平視角、水平像素?cái)?shù)和快門(mén)速度時(shí)，確定了最高的掃描角速度，所以曲線(xiàn)圖如圖4所示，在圖4中，合適范圍RNG為最高的掃描角速度的60%到80%。
以下顯示以上操作的示意性過(guò)程。 [1]按下操作單元19中的開(kāi)始按鈕，并旋轉(zhuǎn)照相機(jī)。然后，放開(kāi)開(kāi)始按鈕。
[2]只要開(kāi)始按鈕被按下，掃描角速度就顯示在顯示裝置18的屏幕上，如圖4所
[3]當(dāng)掃描角速度慢于合適范圍RNG的下限時(shí)，不會(huì)發(fā)出警告，而當(dāng)掃描角速度快 于合適范圍RNG的上限(即使是瞬間快于RNG的上限)時(shí)，會(huì)產(chǎn)生警告聲音。
以下將具體描述上述第一至第五結(jié)構(gòu)。 第一至第五結(jié)構(gòu)中的控制的主要部分由系統(tǒng)控制器16執(zhí)行。
[第一結(jié)構(gòu)] 在第一結(jié)構(gòu)中，由于CMOS圖像傳感器用作固態(tài)成像裝置，所以不應(yīng)用幀/場(chǎng)方法， 而是使用順序讀取所有線(xiàn)的逐行掃描方案。 圖5A和圖5B描述在本實(shí)施例的第一結(jié)構(gòu)中如何捕獲圖像。 照相機(jī)設(shè)備10假定基本按下述方法移動(dòng)照相機(jī)設(shè)備10如圖5A所示垂直旋轉(zhuǎn)或 者如圖5B所示水平旋轉(zhuǎn)。也就是說(shuō)，照相機(jī)沿與CMOS圖像傳感器的讀出線(xiàn)垂直的方向移 動(dòng)。 另外，在本實(shí)施例中，微計(jì)算機(jī)162在剪切CMOS圖像傳感器的成像范圍的中間部
分所獲得的條(如圖5A和圖5B的黑條30所示)上執(zhí)行光軸控制。 如上所述的捕獲條形圖像提供了下述優(yōu)點(diǎn)。 (a)隨著條的寬度減小，有利地減小了視差的影響。 (b)隨著條的寬度減小，也有利地減小了 CMOS圖像傳感器的非同時(shí)讀出的影響。
(c)也有利地減小了周?chē)墓饬繙p少的影響。
(d)也有利地減小了透鏡失真的影響。 微計(jì)算機(jī)162根據(jù)例如來(lái)自姿勢(shì)傳感器14的檢測(cè)結(jié)果，以下述方法控制聚集成像 光的透鏡(移軸透鏡)的光軸抵消了照相機(jī)移動(dòng)的方向及其角速度。
當(dāng)CMOS圖像傳感器用作固態(tài)成像裝置時(shí)，微計(jì)算機(jī)162在CMOS圖像傳感器的線(xiàn) 的中間部分被曝光的時(shí)間段加上讀出時(shí)間期間，如上所述控制光軸，而微計(jì)算機(jī)162控制 驅(qū)動(dòng)器15使光軸在所有其它時(shí)間回到中心附近的位置。 也就是說(shuō)，在圖5A和圖5B示出的條30被曝光的時(shí)間段期間，必須控制光軸。
圖6表示CM0S圖像傳感器被曝光的時(shí)間段、讀取積累的電荷的時(shí)間段和控制光軸 的時(shí)間段之間的關(guān)系。 對(duì)CMOS圖像傳感器的每條線(xiàn)，所述線(xiàn)被曝光，并且讀取電荷。對(duì)線(xiàn)執(zhí)行讀出操作 之后，后面的線(xiàn)被曝光，并讀取電荷。在重復(fù)這項(xiàng)操作的時(shí)間段期間控制光軸，以處理整個(gè) 條上的電荷。 例如，當(dāng)快門(mén)速度為1/1000秒(SP，曝光時(shí)間為lmsec)并且條的寬度對(duì)應(yīng)于200 個(gè)線(xiàn)時(shí)，圖6示出的讀出時(shí)間為1. 56msec，光軸控制時(shí)間段為2. 56msec。作為參考，當(dāng)考慮 捕獲圖像的幀率為60fps(大約每個(gè)圖像16. 66msec)的相應(yīng)日本專(zhuān)利No. 3， 928， 222的圖 3的變量Son和Soff時(shí)，Son為2. 56msec， Soff為16. 66-2. 56 = 14. lmsec。
在日本專(zhuān)利No. 3，928，22中，光軸被控制的角限制為士1.2度。在本實(shí)施例中，但 從0度至0. 3度的任何值被用作角限制，雖然角限制可以為例如±0. 5度。0. 3度的角近似 為能夠選擇的角限制范圍的最大值的60%。 在圖3的精確組合處理器1611中組合這樣捕獲的條形圖像，以產(chǎn)生全景圖片。以 下將描述在精確組合處理器1611中執(zhí)行的圖像組合處理。 根據(jù)本實(shí)施例的系統(tǒng)控制器16具有這樣的功能(例如，軟件)把通過(guò)多次改變
10成像方向從單個(gè)點(diǎn)捕獲的圖像精確地組合成校正了色彩不均勻的單個(gè)圖像。 以下將具體地描述在本實(shí)施例中的精確組合的特征功能部分。 為了提取透鏡失真校正系數(shù)和其它參數(shù)，第一色彩校正功能單元16111對(duì)每個(gè)邊
界執(zhí)行至少三次塊匹配(BM)操作，并且至少四個(gè)邊界被用于組合。確定透鏡失真校正系
數(shù)，使得邊界盡可能準(zhǔn)確。 換句話(huà)說(shuō)，第一色彩校正功能單元16111從原始圖像提取透鏡失真校正系數(shù)和其 它參數(shù)。 第一色彩校正功能單元16111隨后對(duì)所有子圖像統(tǒng)一執(zhí)行周?chē)鉁p少校正、對(duì)比 度增強(qiáng)、色度增強(qiáng)和伽馬校正。 在第一色彩校正功能單元16111已確定透鏡失真校正系數(shù)和其它參數(shù)并執(zhí)行周 圍光減少校正、對(duì)比度增強(qiáng)、色度增強(qiáng)和伽馬校正之后，組合功能單元16112對(duì)所有邊界執(zhí) 行至少一次(例如，三次)BM(塊匹配)操作。 組合功能單元16112同時(shí)評(píng)估所有邊界的BM結(jié)果，更新光軸方向使得在所有邊界 產(chǎn)生的誤差減少，由此減少誤差，并精確地組合多個(gè)圖像。 第二色彩校正功能單元16113對(duì)所有子圖像獨(dú)立地執(zhí)行色彩(不均勻)校正，以
減少由組合功能單元16112精確組合的多個(gè)圖像之中相鄰圖像之間的色彩差異。 另外，第二色彩校正功能單元16113執(zhí)行色彩校正，以把相鄰圖像之間色彩的不
連續(xù)減小到所述該不連續(xù)性不可見(jiàn)的水平。 現(xiàn)在將描述在精確組合處理器1611中執(zhí)行的精確組合的理論概念。 本實(shí)施例基本應(yīng)用基于Fourier (傅立葉)分析的相位相關(guān)技術(shù)。 也就是說(shuō)，本實(shí)施例應(yīng)用基于Fourier移動(dòng)定理的方法，其中空間函數(shù)的移動(dòng)僅
改變頻譜區(qū)中的相位。 也就是說(shuō)，假定兩個(gè)函數(shù)^和f2滿(mǎn)足下面的關(guān)系。[方程l] f2(x， y) = fJx+Xt， y+yt) 另外，這兩個(gè)函數(shù)具有下面的頻譜特性。[方程2] F2 (u， v) =(u， v) exp (_2 Ji i (uxt， vyt)) 使用互功率譜(CPS)，以上方程能夠重寫(xiě)為下面的等價(jià)方程。[方程3]
<formula>formula see original document page 11</formula>
其中，F(xiàn)2 ^代表復(fù)變函數(shù)F2的共軛函數(shù)。
實(shí)際上，圖像由比特噪聲形成，像兩個(gè)圖像之間的互功率譜，如圖7A和圖7B所示, 因此，希望找到互功率譜(CPS)的峰值并隨后推導(dǎo)出平移參數(shù)(xt，yt)。
圖7A和圖7B表示基于互功率譜(CPS)的平移獲得的縫合圖像。 圖7A表示縫合兩個(gè)圖像的結(jié)果。通過(guò)檢測(cè)互功率譜(CPS)的峰值執(zhí)行二維平移，
如圖7B所示。當(dāng)能夠讀取互功率譜(CPS)時(shí)，這兩個(gè)圖像完全彼此匹配。 由于難以在具有大量噪聲的圖像中檢測(cè)最佳峰值，可以使用幾個(gè)峰值來(lái)選擇最佳峰值。 接下來(lái)，將參照?qǐng)D8至圖14A和圖14B描述使用BM(塊匹配)提取參數(shù)的原理。 需要注意BM包括推導(dǎo)上述互功率譜(CPS)的峰值的功能。 首先，選擇良好條件的四個(gè)圖像IM0、 IM1、 M2和IM3，如圖8所示。 例如，左下圖像稱(chēng)為第零圖像IMO，右下圖像稱(chēng)為第一圖像IM1。類(lèi)似地，左上圖像
稱(chēng)為第二圖像IM2，右上圖像稱(chēng)為第三圖像IM3。圖像M0至M3排列為，使得相鄰圖像在
它們的邊界具有交疊部分。 在圖8中，沿邊界排列的每個(gè)矩形代表塊BLK。
在上述的排列條件下，執(zhí)行BM(塊匹配)。 從四個(gè)(上、下、左、右)邊界BDR01、BDR02、BDR13和BDR23提取透鏡失真、視角、
傾斜角和其它信息。將進(jìn)一步對(duì)BM(塊匹配)進(jìn)行描述。 沿單個(gè)邊界的三個(gè)位置執(zhí)行BM，例如，如圖9所示。 當(dāng)存在透鏡失真時(shí)，BM導(dǎo)致彎曲的邊界，如圖10所示。 當(dāng)傾斜角錯(cuò)誤時(shí)，BM導(dǎo)致向左-右方向傾斜的錯(cuò)誤邊界，如圖ll所示。 當(dāng)透鏡失真的中心沿縱向方向偏移時(shí)，沿上下圖像之間的邊界產(chǎn)生左-右方向的
收縮，如圖12所示。另一方面，當(dāng)沿左右圖像之間的邊界產(chǎn)生上_下方向的收縮時(shí)，透鏡失
真的中心沿橫向方向偏移。 當(dāng)照相機(jī)朝上時(shí)圖像的旋轉(zhuǎn)程度增加時(shí)，產(chǎn)生向上-下方向傾斜的錯(cuò)誤邊界，如 圖13所示。當(dāng)照相機(jī)不朝向前面而是向機(jī)械傾斜軸傾斜時(shí)，產(chǎn)生圖13示出的誤差。
各種參數(shù)被確定為使得上述誤差最小化。
以這種方法，彼此連接的任何四個(gè)圖像幾乎不產(chǎn)生誤差。 例如，使用快速相位相關(guān)匹配執(zhí)行圖像中的相應(yīng)BM。通過(guò)獲取矢量偏移(Xij，yij) 并分析三個(gè)塊的偏移的行為，能夠量化每個(gè)參數(shù)。 對(duì)四個(gè)圖像執(zhí)行BM(塊匹配)之后，BM擴(kuò)展至更多的圖像，并且同時(shí)評(píng)估所有邊 界的BM結(jié)果，如圖14A和圖14B所示。更新光軸方向，以使得在所有邊界的誤差減少。由 此，減少了誤差，并精確地組合多個(gè)圖像。 這種情況下，單個(gè)圖像被設(shè)置為基準(zhǔn)圖像，其它圖像被平移并最終放置于誤差被 最小化的位置。 根據(jù)以下列出的基本處理來(lái)執(zhí)行精確組合。 平移被用于確定最佳位置并把圖像移動(dòng)到最佳位置。 為此，重復(fù)該循環(huán)。 把指示將要進(jìn)行的移動(dòng)總量的參數(shù)fxy減小至0. 0。 沿上-下和左-右(縱向和橫向)方向?qū)λ袌D像執(zhí)行以上操作。 保持基準(zhǔn)圖像不變。
由于BM操作已經(jīng)提供了相鄰圖像之間的位置關(guān)系，基于該位置關(guān)系計(jì)算將要進(jìn) 行的移動(dòng)量。 為了計(jì)算將要進(jìn)行的移動(dòng)量，加上基準(zhǔn)圖像上方和右側(cè)的圖像的移動(dòng)量并減去基
準(zhǔn)圖像下方和左側(cè)的圖像的移動(dòng)量，以產(chǎn)生平均值f [y] [x]. x、 f [y] [x]. y。 把該平均值的80%加到每個(gè)當(dāng)前圖像的中心位置，以產(chǎn)生新圖像的中心位置。
把所有圖像的移動(dòng)量的絕對(duì)值之和代入fxy。 計(jì)算移動(dòng)操作如何改進(jìn)了上下圖像之間的位置關(guān)系和左右圖像之間的位置關(guān)系。
隨著重復(fù)移動(dòng)操作，變量fxy實(shí)際上逐漸減小。
換句話(huà)說(shuō)，fxy趨向于不再能移動(dòng)的狀態(tài)。
當(dāng)fxy變?yōu)樽銐蛐r(shí)，結(jié)束這個(gè)處理。 以下將描述允許無(wú)縫連接數(shù)千個(gè)圖像的圖像組合的具體例子。
在下面的描述中，考慮四個(gè)圖像。 例如，如圖8所示，左下圖像稱(chēng)為第零圖像IM0，右下圖像稱(chēng)為第一圖像IM1。類(lèi)似 地，左上圖像稱(chēng)為第二圖像IM2，右上圖像稱(chēng)為第三圖像IM3。 第零圖像MO保持在固定位置。也就是說(shuō)，第零圖像MO用作基準(zhǔn)圖像。
假設(shè)bxl
、bxl[l]、bx2
和bx2[1]是BM(塊匹配)產(chǎn)生的橫向分量。
這個(gè)描述中，僅考慮橫向分量，縱向分量被另行處理。 字符bxl代表左-右方向，字符bx2代表上-下方向。括號(hào)[]中的值零代表向下 或向左方向。 當(dāng)在基準(zhǔn)圖像MO的右側(cè)或上方存在圖像時(shí)，BM結(jié)果為正值。 現(xiàn)在，作為極端的例子，假定僅一個(gè)位置具有異常值并且bxl[O] = 10、 bxl[l]=
0、bx2
= 0和bx2[1] = 0。 現(xiàn)在考慮這樣的情況在第一行中沿左-右方向存在與IO個(gè)像素對(duì)應(yīng)的偏移，而 在其它三個(gè)邊界不存在偏移。 確定逐個(gè)排列的除基準(zhǔn)圖像以外的每個(gè)圖像的位置，也就是說(shuō)，對(duì)第零圖像MO 和第一圖像頂l執(zhí)行的BM的結(jié)果確定了第一圖像Ml的位置；對(duì)第一圖像Ml和第三圖像 頂3執(zhí)行的BM的結(jié)果確定了第三圖像M3的位置；對(duì)第二圖像M2和第三圖像M3執(zhí)行的 BM的結(jié)果確定了第二圖像M2的位置，不利地在第零圖像MO和第二圖像M2之間的位置 關(guān)系中產(chǎn)生具有IO個(gè)像素的大值縫隙。 在本實(shí)施例的方法中，異常值10的影響被分成四個(gè)2. 5的子影響。這項(xiàng)處理由稍 后將描述的程序部分執(zhí)行。 使用xypos2()以及相鄰圖像之間的位置關(guān)系確定要進(jìn)行的平移的量。 第一計(jì)算的結(jié)果表明第一圖像IM1應(yīng)該移動(dòng)-5像素。 使用move ()平移第一 圖像頂l 。 實(shí)際移動(dòng)的量是4像素，是5像素的80% 。 除第零圖像IMO以外的圖像M1、M2和IM3的移動(dòng)的量為pox[l] = 4、pox[2]= 0以及pox[3] = 0。 作為BM的結(jié)果，bxl
從10變?yōu)?。
相應(yīng)地，bx2 [1]的值從0變?yōu)?。
13
第二計(jì)算的結(jié)果表明第一圖像IM1應(yīng)該移動(dòng)-1像素。
第二計(jì)算的結(jié)果也表明第三圖像M3應(yīng)該移動(dòng)_2像素。
加上第二計(jì)算的結(jié)果的80X，產(chǎn)生pox[1] =4.8。 執(zhí)行第三計(jì)算操作和后面的計(jì)算操作。在第32計(jì)算操作中，由于指示要進(jìn)行的移 動(dòng)量之和的fxy小于0. 001像素，計(jì)算操作結(jié)束。 此時(shí)，三個(gè)圖像被平移的像素?cái)?shù)為7. 5、2. 5和5. 0，并且圖像之間的位置關(guān)系從 bxl[O] = 10、bxl[l] = 0、bx2
= 0禾Pbx2[1] = O變?yōu)閎xl[O] = 2.5、bxl[l] = -2.5、 bx2
=-2. 5和bx2[1] =2.5。以上結(jié)果表示誤差已經(jīng)由此劃分。
以下示出重復(fù)多少次計(jì)算使fxy小于等于0. 001以及獲得的fxy的值(ii = 32，
fxy = 0.
is
to
IX
0
2 2 2
fx[n]
-0.000244 -0.000244 -0.000344 n pox[n] poy[n] 每個(gè)圖像應(yīng)該平移的像素?cái)?shù)
0 0.00 0.00
1 7. 50 0.00
2 2. 50 0.00
3 5.00 0.00 程序的示例的一部分顯示在下面。 一程序的一部分(從這里開(kāi)始)----------------
clrpos() -//Substitute zero into[pixel] ， the amount translation to be made， pox[] ， fzx[] ， and rolla[]. for(ii = 0 ;ii < 1000 ;ii++) {
xypos2() ;//Use the positional relationship between adjacent images to determine the amount translation to be made, if (fxy < 0. 001) {break ;}
move 0
ZTranslation
fprintf(inf，〃 ii = 1230484，fxy = 0.
)，How many times the calculation
repeated to make fxy equal to or smaller than 0.001 and the value of resultant fxy|n〃 ， ii， fxy);
xypos() ;//Use the positional relationship between adjacent images
determine the amount of translation to be made. move() -//Translation dsppos() ;//Display the amount of correction. angle 0 ;//Convert the amount of correction into an angle and update qq[n]，pp[n]. dsppos() ;//Display the amount of correction. dsperr() ;//Display the error between each pair of sub-images that is greater than 1. step() ;//Create a step angle from qq[n]，pp[n]. —程序的一部分(在這里結(jié)束)---------------- 主要的子程序顯示在下面。 —主要子程序---------------- void xypos20 {//Use the positional relationship between adjacent images to determine the amount of translation to be made fx[n]，fy[n]. //Determine the flag fz [n] indicative of an image that cannot be translated. (Delete fprintf) int m， n， m2， n2， h， v， ix ; double cx， cy ; 〃fprintf (inf， 〃 n ix fx[n] fy[n]\n〃 )； f xy = 0 ; for(v = 0 ;v < ny ;v++) {//For all images for(h = 0 ;h < nx ;h++) { m= (nx_l) *v+h ;//Boundary between right and left images n = nx*v+h ;//Boundary between upper and lower images ix = 0 ; if ((0 < skip[h] [v]) || ((v == (ny_l)/2)&&(h == (nx_l)/2))) { //Keep the central image and any image whose flag has been determined unchanged. fx[n] = 0 ;fy[n] = 0 ;fz[n] = 4 ;〃fz[n]is a flag indicative of 肌 image that ca皿ot be translated. if (skip [h] [v] ==2) {f z [n] = 2 ;}〃Set an image whose flag has been determined to 2. }else{
cx = 0 ;cy = 0 ; if (v ! = 0){//when not in the bottom row n2 = n-nx ;〃immediately below if (0 < fok2[n2]) { ix++ ; cx-= bx2[n2] ;//Subtract the value of the image immediately below cy- = by2[n2]; } } if (v ! = ny-1) {//when not in the top row if (0 < fok2[n]) { ix++ ; cx+ = bx2[n] ;〃Add the value of itself. cy+ = by2 [n]; } } if (h ! = 0){//when not in the leftmost row m2 = m-1 ;〃on the left if (0 < fokl[m2]) { ix++; cx- = bxl[m2] ;〃Subtract the value of the image on
the left cy- = byl [m2]; } } if (h ! = nx-1){//when not in the rightmost row if (0 < fokl[m]) { ix++ ; cx+ = bxl[m] ;〃Add the value of itself. cy+ = byl [m]; } } if(ix==0){ fx[n] = 0 ;fy[n] = 0 ;fz[n] = 1 ; fx[n] = cx/ix ; fy[n] = cy/ix ; f z [n] = 0 ;* * * * * * * * *氺*氺* * * * * * * * * * * * * * *氺*氺* * * * * * * * * * * *
i 8 .0*([xu+u][u]Xj)— = +[u]gXq t 8 .OK [xu+u] g一 [u]切一 二 + [u] gxq
i t[+A氺XU = U } (++" XU 〉 0 = q)呵
;8 ()* ([t+司Xj- [ui] Xj) — = + [u] t叫 :8 ()* ([T+冚]xj- [iu] xj) — = + [u] ixq ;H+a*(I—xu) = u
i l[+a*xu = Ul } (++" T_xu > 0 = q)呵
;8 'O剩Xj- 二 +[u]Xod ;8 'O剩xj- 二 +[u]xod sSuTp皿oxins 9， uio; p一w[os]: iou u叫叢// } (o 二 = [u]zj:)j:]:
} xu > o = q)司
(1一x]:d)一加ui]: jo uom:socl j^u一0一;// } (++Ai 〉 Ai o = a) :oj:
i a 'n 'u 'ui
ho]! W[subjjj 0 9a0ui pT〇a
v!^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ ^J^ ^J^ / /
+ + +小個(gè)個(gè)小小小小小小小小小小小+個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)*T、 *T、個(gè)個(gè)Z Z
:([u]Xj)sqBj+([u]xj)sqi3j = +Xxj [S9S0] O9S0] [S9S0]
[6SS0]
pire [ASSO] [9SS0] [SSSO] [縱O] [SSSO] [戰(zhàn)o] [osso]
，1 [8柳] [Z>S0] [9柳] [WSO] [O柳] [6SS0] [8SS0] ["SO] [9SS0] [SSSO]
Osso] [ssso] [zsso]
如上所述，根據(jù)本實(shí)施例的第一結(jié)構(gòu)，包含CMOS圖像傳感器的數(shù)字照相機(jī)能夠以 高幀率捕獲圖像而不會(huì)降低分辨率，并且減小了視差的影響、周?chē)饬康臏p少的影響和透 鏡失真的影響。另外，能夠創(chuàng)建高質(zhì)量的全景圖像。 能夠準(zhǔn)確地執(zhí)行圖像組合而不必考慮被組合的圖像數(shù)量，并且也能夠消除色彩的 不均勻。 由于能夠從實(shí)際捕獲的圖像中提取透鏡失真校正系數(shù)，所以不再需要麻煩的校 準(zhǔn)，并且顯著提高了精度。 無(wú)縫連接數(shù)千個(gè)圖像的方法允許以必要的分辨率捕獲必要的范圍內(nèi)的圖像，而不
必?fù)?dān)心要捕獲的圖像數(shù)量。 接下來(lái)，將描述第二結(jié)構(gòu)。[第二結(jié)構(gòu)] 將描述記錄連續(xù)捕獲的圖像的空間位置。
〈概要> 使用連續(xù)的照片的全景成像是劃分空間并把劃分的空間重新集合成單個(gè)照片的 任務(wù)。使用在成像處理期間獲得的空間信息執(zhí)行反運(yùn)算能夠從照片創(chuàng)建高度精確的全景照 片。 在本實(shí)施例中，捕獲每個(gè)照片時(shí)，從傳感器和圖像計(jì)算關(guān)于成像空間的信息，并且 該信息被附于所述照片。這個(gè)過(guò)程幫助創(chuàng)建全景照片。
〈附著關(guān)于成像空間的信息> 例如，當(dāng)執(zhí)行全景成像時(shí)，固定于單個(gè)點(diǎn)的透鏡由電機(jī)驅(qū)動(dòng)，從而改變成像方向。
在以上條件下捕獲的照片彼此的差別僅在于成像方向，但這些照片都是位于固定 位置的照相機(jī)設(shè)備10獲得的。也就是說(shuō)，焦點(diǎn)位置固定。因此，下面描述限于在固定視角 內(nèi)圍繞某一點(diǎn)捕獲的圖像。 使用上述的成像方法時(shí)，獲得關(guān)于捕獲的空間的如下兩類(lèi)信息也就是說(shuō)，關(guān)于被 成像的目標(biāo)的信息(觀(guān)察矢量)和關(guān)于圍繞該觀(guān)察矢量的旋轉(zhuǎn)(滾動(dòng))角度的信息。
〈投影球面和空間的定義>
對(duì)空間成像獲得的照片被投影到單個(gè)表面上。 考慮到以全景攝影對(duì)空間成像。為了支持所有方向，假定球面存在于攝影用戶(hù)周 圍并且捕獲的圖像投影在球面上。然后，容易地執(zhí)行圖像處理。當(dāng)球面用于定義觀(guān)察矢量 時(shí)，也確定了坐標(biāo)空間。 進(jìn)行下面的定義照相機(jī)設(shè)備100所在的焦點(diǎn)位置是原點(diǎn)(0，0，0)，并且投影球面
具有半徑l。 假定水平前側(cè)位于Z軸上的點(diǎn)l(O，O，l)，觀(guān)察矢量是具有開(kāi)始點(diǎn)(O，O，O)和結(jié)束 點(diǎn)f(O，O，l)的矢量。 觀(guān)察矢量是具有長(zhǎng)度1的單位矢量，觀(guān)察矢量的長(zhǎng)度在每個(gè)方向都是1。
由于觀(guān)察矢量vl自己不足以記錄幀的滾動(dòng)，所以額外地記錄滾動(dòng)矢量v2。滾動(dòng)矢 量v2是指示所討論的圖像的向上方向的信息，矢量(v2-vl)指示該圖像的向上方向。
以這種方法，捕獲圖像的方向能夠由這兩個(gè)矢量(投影球面上的兩個(gè)點(diǎn))表示，并 且成像方向能夠在投影球面上以均勻密度描述。
〈相對(duì)移動(dòng)和絕對(duì)坐標(biāo)> 當(dāng)捕獲圖像時(shí)獲得的空間信息包括兩類(lèi)信息相對(duì)信息和絕對(duì)信息。
創(chuàng)建全景圖像可以?xún)H需要指示捕獲每個(gè)圖像的方位的絕對(duì)位置信息，但是可能無(wú) 法獲得可靠的絕對(duì)信息。為解決這個(gè)問(wèn)題，積累相對(duì)信息以獲得絕對(duì)信息，或者使用粗略的 絕對(duì)信息獲得校正的絕對(duì)信息。 在透鏡驅(qū)動(dòng)的全景照相機(jī)中，絕對(duì)信息用作移動(dòng)透鏡的情景。然而，由于加入了成
像處理期間的震動(dòng)、驅(qū)動(dòng)透鏡時(shí)的誤差、姿勢(shì)傳感器低精度和其它因素作為相對(duì)信息，通過(guò)
計(jì)算確定精確的絕對(duì)值。〈把相對(duì)移動(dòng)擴(kuò)展到空間> 現(xiàn)在假定圖像識(shí)別和姿勢(shì)傳感器已經(jīng)提供了準(zhǔn)確的相對(duì)信息。
當(dāng)前圖像幀fl從前一圖像幀f2平移(dx， dy)并被滾動(dòng)幀滾動(dòng)量rz時(shí)，基于視角 的計(jì)算表明，圍繞x軸和y軸的旋轉(zhuǎn)量分別是rx和ry。這種情況下，f2的觀(guān)察矢量v2被 旋轉(zhuǎn)(rx， ry， rz)以形成fl的觀(guān)察矢量vl。 投影球面上的絕對(duì)位置基于以上信息來(lái)確定。然而，把v2從v2的位置旋轉(zhuǎn)(rx， ry，rz)可能需要相對(duì)復(fù)雜的計(jì)算。 為解決這個(gè)問(wèn)題，最新的圖像fl固定于前側(cè)vl(0，0，l)，排列在投影球面上的圖 像f2和后面的圖像整體上被旋轉(zhuǎn)(-rx，-ry，-rz)。也就是說(shuō)，最新的圖像fl用作基準(zhǔn)，其 它圖像相對(duì)于這個(gè)基準(zhǔn)移動(dòng)。 重復(fù)這項(xiàng)操作使最新圖像的位置為(O，O， 1)，但允許確定其它圖像的絕對(duì)位置。
通過(guò)也以矢量的形式表示滾動(dòng)信息來(lái)產(chǎn)生這兩個(gè)矢量(觀(guān)察矢量和滾動(dòng)矢量)的 原因在于相對(duì)旋轉(zhuǎn)(球面的旋轉(zhuǎn)，而非觀(guān)察矢量的旋轉(zhuǎn))容易執(zhí)行。
〈相對(duì)移動(dòng)值的積累和與絕對(duì)信息的差異> 在以上描述中，僅使用相對(duì)信息在空間上排列圖像，但實(shí)際上，例如也從姿勢(shì)傳感
器14獲得關(guān)于沿上_下方向的絕對(duì)滾動(dòng)和傾斜的信息。然而，從姿勢(shì)傳感器14獲得的絕
對(duì)信息并未精確得足以產(chǎn)生全景照片，可以不使用來(lái)自姿勢(shì)傳感器14的信息。 另一方面，相對(duì)信息非常精確，這是因?yàn)橄鄬?duì)信息是通過(guò)圖像識(shí)別獲得的，但它仍
然包含誤差?；谙鄬?duì)信息連接圖像會(huì)導(dǎo)致由積累的小誤差引起的大差異。 為解決這個(gè)問(wèn)題，使用來(lái)自姿勢(shì)傳感器14的絕對(duì)信息檢查是否已產(chǎn)生任何積累
的誤差。 在把相對(duì)移動(dòng)擴(kuò)展到空間的過(guò)程期間，以特定間隔把相對(duì)移動(dòng)與來(lái)自姿勢(shì)傳感器 的對(duì)應(yīng)絕對(duì)值進(jìn)行比較。當(dāng)相對(duì)移動(dòng)與從姿勢(shì)傳感器獲得的絕對(duì)值的差異變得太大時(shí)，使 用來(lái)自姿勢(shì)傳感器的絕對(duì)值校正相對(duì)移動(dòng)。相對(duì)移動(dòng)積累從這個(gè)位置重新開(kāi)始。
圖15是表示基于連續(xù)捕獲的圖像和傳感器信息的空間排列方法的功能框圖。
在圖15中，功能塊41設(shè)置關(guān)于來(lái)自角速度傳感器142的檢測(cè)信號(hào)的零基準(zhǔn)，移動(dòng) 積分器42執(zhí)行積分以提供移動(dòng)量。 檢測(cè)器43比較成像裝置12捕獲的相鄰幀圖像，并檢測(cè)移動(dòng)量。 移動(dòng)積分器42和檢測(cè)器43的輸出用于在協(xié)調(diào)校正邏輯44中執(zhí)行協(xié)調(diào)校正，并且
相對(duì)位置積分器45對(duì)相對(duì)位置求積分以提供絕對(duì)位置信息。 絕對(duì)位置校正器46隨后基于來(lái)自加速度傳感器141的結(jié)果，校正絕對(duì)位置信息，排列部分47確定幀的空間位置并相應(yīng)地排列幀。
〈空間坐標(biāo)信息和全景照片> 在捕獲圖像的同時(shí)執(zhí)行上述計(jì)算，圖像與指示成像方向的空間坐標(biāo)信息一起被同 時(shí)記錄為元數(shù)據(jù)。 元數(shù)據(jù)自身允許創(chuàng)建全景照片。在后處理中執(zhí)行更精確的調(diào)整和編輯時(shí)，元數(shù)據(jù) 也可以用作基本數(shù)據(jù)。 由于現(xiàn)有技術(shù)中不存在指示空間中的成像方向的元數(shù)據(jù)，所以不能創(chuàng)建精確的全
景照片。相反，本實(shí)施例通過(guò)當(dāng)捕獲圖像時(shí)提供坐標(biāo)信息解決了這個(gè)問(wèn)題。 如上所述，在第二結(jié)構(gòu)中，使用經(jīng)圖像識(shí)別技術(shù)獲得的幀移動(dòng)信息和來(lái)自姿勢(shì)傳
感器的移動(dòng)信息在空間中排列連續(xù)的圖像。來(lái)自姿勢(shì)傳感器的信息補(bǔ)充圖像識(shí)別所沒(méi)有提
供的信息。來(lái)自姿勢(shì)傳感器的信息用于檢查是否已成功執(zhí)行圖像識(shí)別、或者當(dāng)圖像識(shí)別失
敗時(shí)用作輔助坐標(biāo)?？臻g中排列的圖像創(chuàng)建單個(gè)完整的全景圖像。 使用上述方法使得不僅正確表現(xiàn)了用戶(hù)前方的景色及其鄰近區(qū)域，還正確表現(xiàn)了 用戶(hù)上方和后方的景色，由此能夠支持全方向成像或全天空成像。 不僅包含用戶(hù)前方的景色附近區(qū)域被成像時(shí)，而且當(dāng)對(duì)廣角景色成像時(shí)，能夠無(wú) 誤差地創(chuàng)建全景圖像。
當(dāng)然上述方法可應(yīng)用于這樣的情況用手握住的照相機(jī)捕獲高清晰圖像。
接下來(lái)將描述第三結(jié)構(gòu)。
〈第三結(jié)構(gòu)> 將描述使用連續(xù)捕獲的圖像的位置識(shí)別的校正。
〈概要> 為了把精確的成像位置信息附著于連續(xù)捕獲的圖像中的每個(gè)圖像，本配置使用姿
勢(shì)傳感器結(jié)合圖像識(shí)別的方法，稱(chēng)為"動(dòng)態(tài)校準(zhǔn)"。
〈連續(xù)成像和關(guān)于成像位置的信息> 當(dāng)連續(xù)捕獲的照片被組合成全景照片時(shí)，圖片有時(shí)不包含高頻分量，因此可能無(wú) 法從圖片中鑒別連續(xù)性。 上述情況下，可能無(wú)法獲得指示連續(xù)幀之間的距離的信息。這種情況下，可能無(wú)法 創(chuàng)建完整的全景照片。 為了即使在上述情況下也提供位置信息，在使用姿勢(shì)傳感器14的成像操作期間，
不僅記錄照片，還同時(shí)記錄移動(dòng)信息和位置信息。〈使用姿勢(shì)傳感器> 姿勢(shì)傳感器14由同時(shí)且并行使用的三軸角速度傳感器142和三軸加速度傳感器 141形成。 角速度傳感器142識(shí)別照相機(jī)當(dāng)前以多快速度旋轉(zhuǎn)，加速度傳感器141檢測(cè)沿水 平方向的傾斜。 任何可能的時(shí)候，從捕獲的照片獲得移動(dòng)信息，但是當(dāng)圖片的條件不允許圖像識(shí) 別時(shí)，從姿勢(shì)傳感器14獲得相對(duì)于前一圖像的移動(dòng)量。 通過(guò)把來(lái)自姿勢(shì)傳感器14的檢測(cè)結(jié)果中的變化量整體與圖像識(shí)別獲得的移動(dòng)量 進(jìn)行比較并允許這兩個(gè)量彼此影響，能夠獲得更準(zhǔn)確的位置信息。
〈姿勢(shì)傳感器的問(wèn)題〉 在希望的全景照片中，圖像的精度高于姿勢(shì)傳感器14的精度。當(dāng)僅從姿勢(shì)傳感器
14獲得的信息產(chǎn)生位置信息時(shí)，獲得的全景照片可能太粗糙而無(wú)法觀(guān)看。 不應(yīng)該依賴(lài)姿勢(shì)傳感器14的精度，而應(yīng)該在完全沒(méi)有獲得信息時(shí)把其用作輔助。 像基于物理學(xué)的典型傳感器一樣，姿勢(shì)傳感器的輸出不是穩(wěn)定的，而通常是變動(dòng)的。 另外，由于靜止?fàn)顟B(tài)下的姿勢(shì)傳感器的零位置隨著其條件而變化，必須在開(kāi)始成
像之前創(chuàng)建靜止?fàn)顟B(tài)并測(cè)量零位置的值。 一旦已測(cè)量出零位置的值，基于相對(duì)于零位置的
偏移來(lái)測(cè)量移動(dòng)量。〈圖像識(shí)別及其校正> 在本配置中，以全景攝影捕獲連續(xù)的圖像，并且同時(shí)記錄來(lái)自姿勢(shì)傳感器的信息 作為元數(shù)據(jù)。 這個(gè)方法的問(wèn)題在于當(dāng)圖像被稍后組合成全景圖像時(shí)不容易使用元數(shù)據(jù)信息， 因?yàn)樽藙?shì)傳感器14的輸出的波動(dòng)太大。 為解決這個(gè)問(wèn)題，通過(guò)圖像識(shí)別產(chǎn)生的元數(shù)據(jù)在成像過(guò)程中被校正，隨后被記錄。
在記錄元數(shù)據(jù)的過(guò)程中，指示照相機(jī)所朝向的方向的空間信息被更新并隨后被保 持在內(nèi)部。然而，各種因素降低空間信息的精度。 為解決這個(gè)問(wèn)題，在本實(shí)施例中，執(zhí)行動(dòng)態(tài)校準(zhǔn)，其中使用圖像識(shí)別和姿勢(shì)傳感器 以實(shí)時(shí)方式校正和更新所述內(nèi)部保持的空間信息。 當(dāng)以全景攝影捕獲連續(xù)的圖像時(shí)，當(dāng)照相機(jī)由電機(jī)驅(qū)動(dòng)時(shí)，存在預(yù)定移動(dòng)場(chǎng)景 (scenario)，或者當(dāng)手動(dòng)掃描照相機(jī)時(shí)不存在移動(dòng)場(chǎng)景。 當(dāng)照相機(jī)由電機(jī)驅(qū)動(dòng)的情況下存在移動(dòng)場(chǎng)景時(shí)，預(yù)先知道大概的成像位置，但是 可能未考慮到在成像操作期間的不期望的震動(dòng)和運(yùn)動(dòng)。姿勢(shì)傳感器14用于在成像操作期 間檢測(cè)這種變化。 當(dāng)姿勢(shì)傳感器14在成像操作期間檢測(cè)到任何變化時(shí)，使用圖像識(shí)別來(lái)精確檢查 實(shí)際移動(dòng)相對(duì)于預(yù)期的移動(dòng)場(chǎng)景偏離了多少。在上述的精確檢查中，使用從姿勢(shì)傳感器14 獲得的移動(dòng)量作為基準(zhǔn)使得能夠容易地執(zhí)行圖像識(shí)別。 如此計(jì)算了相對(duì)于預(yù)期的移動(dòng)場(chǎng)景的偏差之后，把該偏差加到移動(dòng)場(chǎng)景的值，并 且實(shí)際執(zhí)行成像的位置的信息被記錄為捕獲照片的元數(shù)據(jù)。 由于當(dāng)手動(dòng)掃描照相機(jī)時(shí)不存在移動(dòng)場(chǎng)景，每當(dāng)捕獲幀時(shí)，使用當(dāng)前幀和前一幀 之間基于圖像識(shí)別的比較來(lái)計(jì)算所述移動(dòng)量。 這項(xiàng)操作中，雖然難以確定幀移動(dòng)多少，但通過(guò)來(lái)自姿勢(shì)傳感器14的信息提供近
似的移動(dòng)量并基于該近似值執(zhí)行圖像識(shí)別，能夠精確地計(jì)算所述移動(dòng)量。 當(dāng)難以執(zhí)行圖像識(shí)別時(shí)，從姿勢(shì)傳感器獲得的移動(dòng)量被臨時(shí)記錄，并在稍后確定
當(dāng)前幀的坐標(biāo)，例如通過(guò)參照前一幀和當(dāng)前幀之間的位置關(guān)系以及當(dāng)前幀和下一幀之間的
位置關(guān)系。 圖16是表示在使連續(xù)捕獲的圖像與傳感器信息相關(guān)而使傳感器信息更精確的方 法中，在靜止?fàn)顟B(tài)下的傳感器零位置的校正的功能框圖。 在圖16中，檢測(cè)器51比較成像裝置12捕獲的相鄰幀圖像，并檢測(cè)所述移動(dòng)量。
21
靜止?fàn)顟B(tài)檢測(cè)器52基于來(lái)自角速度傳感器142的檢測(cè)信號(hào)、來(lái)自加速度傳感器 141的檢測(cè)信號(hào)和來(lái)自檢測(cè)器51的檢測(cè)信號(hào)，檢測(cè)靜止?fàn)顟B(tài)，并提供在靜止?fàn)顟B(tài)下的角速 度傳感器的基準(zhǔn)值。 其后，記錄器53確定該基準(zhǔn)值，并把該基準(zhǔn)值記錄在存儲(chǔ)器17。 圖17是表示在使連續(xù)捕獲的圖像與傳感器信息相關(guān)而使傳感器信息更精確的方
法中，如何調(diào)節(jié)移動(dòng)信息以使其更精確的功能框圖。 在圖17中，功能塊54對(duì)來(lái)自角速度傳感器142的檢測(cè)信號(hào)設(shè)置零基準(zhǔn)，移動(dòng)積分 器55執(zhí)行積分以提供所述移動(dòng)量。 檢測(cè)器51比較成像裝置12捕獲的相鄰幀圖像，并檢測(cè)所述移動(dòng)量。 移動(dòng)積分器55和檢測(cè)器51的輸出用于在協(xié)調(diào)校正邏輯56中執(zhí)行協(xié)調(diào)校正，從而
提供精確的相對(duì)移動(dòng)信息。 如上所述，在第三結(jié)構(gòu)中，當(dāng)記錄連續(xù)圖像時(shí)，使圖像識(shí)別技術(shù)獲得的幀移動(dòng)信息 與來(lái)自姿勢(shì)傳感器的移動(dòng)信息相關(guān)，以計(jì)算每個(gè)圖像像素的視角、靜止?fàn)顟B(tài)下來(lái)自姿勢(shì)傳 感器的值、來(lái)自姿勢(shì)傳感器的值和每個(gè)像素的視角之間的關(guān)系、以及僅從上述兩種類(lèi)型的 信息之一無(wú)法獲得的其它信息。 因此，基于圖像的識(shí)別方法和基于姿勢(shì)傳感器的檢測(cè)方法(這兩種方法中的每一 種方法自己不能提供令人滿(mǎn)意的精度)在本技術(shù)中互相配合，由此能夠顯著提高精度和穩(wěn) 定性。 將參照?qǐng)D18至圖21更詳細(xì)描述以上第二結(jié)構(gòu)和第三結(jié)構(gòu)。
〈捕獲的照片和攝影用戶(hù)的旋轉(zhuǎn)> 以全景攝影捕獲圖像時(shí)，捕獲圖像的位置變化由于視差而導(dǎo)致不連續(xù)性。 由于視差而導(dǎo)致的不連續(xù)性可能無(wú)法通過(guò)捕獲圖像之后執(zhí)行的圖像處理被校正。 因此，為了以全景攝影捕獲圖像，攝影用戶(hù)和照相機(jī)應(yīng)該保持在特定位置，并且應(yīng)
該使照相機(jī)圍繞該特定位置旋轉(zhuǎn)來(lái)捕獲照片，使得照相機(jī)的焦點(diǎn)被固定。 需要注意，眼睛觀(guān)看兩個(gè)不同的捕獲照片時(shí)的移動(dòng)距離與在成像操作期間的旋轉(zhuǎn)
量成比例。 當(dāng)每個(gè)照片是數(shù)字圖像并且其尺寸能夠由像素?cái)?shù)表示時(shí)，通過(guò)計(jì)算在成像操作期 間的旋轉(zhuǎn)移動(dòng)距離，能夠相反地確定由像素?cái)?shù)表示的兩個(gè)圖像之間的移動(dòng)量。這項(xiàng)操作中 的必要參數(shù)是視角。 視角是指示在單個(gè)照片中沿左_右方向或上_下方向顯示的寬度的值，該寬度以 成像空間的角度來(lái)表示。 視角是成像操作之前測(cè)量并提供的參數(shù)，假定視角在成像操作期間保持不變。
當(dāng)水平視角是30度并且捕獲的數(shù)字照片的沿橫向方向的像素?cái)?shù)是1000像素時(shí)， 每像素的成像空間的角度是O. 03度。也就是說(shuō)，當(dāng)發(fā)現(xiàn)兩個(gè)照片之間的移動(dòng)是800像素時(shí)， 實(shí)際成像通過(guò)把照相機(jī)旋轉(zhuǎn)24度來(lái)執(zhí)行。
每像素的視角用作最重要的初始值。
每像素的視角=幀的視角/幀中的像素?cái)?shù) 兩個(gè)捕獲的照片之間的旋轉(zhuǎn)的量=像素?cái)?shù)表示的這兩個(gè)照片之間的移動(dòng)量X每 像素的視角
實(shí)際的每像素的視角被預(yù)先測(cè)量并保持作為初始值。
〈角速度傳感器和旋轉(zhuǎn)量>
角速度傳感器輸出當(dāng)前的角速度。 由于輸出值隨時(shí)間改變，能夠發(fā)現(xiàn)角速度的改變，但是輸出值不直接代表旋轉(zhuǎn)量。
為了從角速度傳感器獲得旋轉(zhuǎn)的角度，需要定義積分的單位。 角速度傳感器用于以固定間隔執(zhí)行測(cè)量，測(cè)量間隔被固定為主要參數(shù)。 不僅需要把任何測(cè)量的角速度相對(duì)時(shí)間求積分，還在積分期間在外部測(cè)量實(shí)際旋
轉(zhuǎn)的量。被積分的角速度除以實(shí)際旋轉(zhuǎn)量，以確定每度的角速度的積分。 其后，通過(guò)把角速度的積分除以每度的角速度的積分，能夠按比例地確定旋轉(zhuǎn)量。 實(shí)際的每度的角速度的積分被預(yù)先測(cè)量并保持作為初始值?！磩?dòng)態(tài)校準(zhǔn)> 角速度傳感器的輸出是相對(duì)角速度，除非使用極好的角速度傳感器，否則該輸出 隨著環(huán)境變化而變化。由于該變化影響實(shí)際的測(cè)量，所以每次測(cè)量可能需要校正。
這里使用的動(dòng)態(tài)校準(zhǔn)是特定于全景成像的處理，并使用來(lái)自以全景攝影捕獲的圖 像的反饋，自動(dòng)執(zhí)行校正。 在角速度傳感器的參數(shù)之中，兩個(gè)參數(shù)，在靜止?fàn)顟B(tài)下的零點(diǎn)位置和每度的角速
度的積分，隨著環(huán)境變化而變化。除了這兩個(gè)參數(shù)，還存在由于相對(duì)移動(dòng)導(dǎo)致的積累積分誤
差。校正上述這三個(gè)參數(shù)。〈角速度傳感器的零點(diǎn)的校正> 圖18是校正角速度傳感器的零點(diǎn)的過(guò)程流程圖。 為了校正角速度傳感器142的零點(diǎn)，執(zhí)行圖18步驟ST1至ST16的處理。
除非準(zhǔn)確地知道在靜止?fàn)顟B(tài)下角速度傳感器142的輸出值，否則不能檢測(cè)角速 度。然而，不利的是，在某些情況下，靜止?fàn)顟B(tài)下的零點(diǎn)隨著溫度和其它環(huán)境因素而變化。
使用圖像匹配的結(jié)果確定在成像操作期間的準(zhǔn)確的零點(diǎn)，以校正零點(diǎn)的漂移。
當(dāng)角速度傳感器142激活時(shí)，預(yù)設(shè)的初始值用作角速度傳感器142的零點(diǎn)輸出值。
執(zhí)行兩個(gè)幀之間的圖像匹配(ST1至ST3)。當(dāng)因?yàn)榘哳l分量而說(shuō)明匹配結(jié)果 可靠、并且表示在沿X、 Y、 Z軸的方向沒(méi)有移動(dòng)時(shí)，角速度傳感器在沿X、 Y、 Z軸的方向的輸 出值被認(rèn)為指示零點(diǎn)，隨后對(duì)這些輸出值采樣。
這個(gè)處理中被采樣作為零點(diǎn)的值用于校正(ST4至ST15)。 當(dāng)在任何軸方向檢測(cè)到任何移動(dòng)時(shí)，輸出值不是零點(diǎn)。這種情況下，不執(zhí)行采樣， 不進(jìn)行零點(diǎn)校正。 采樣操作之后，采樣數(shù)量遞增，并校正零點(diǎn)值。 校正包括，把當(dāng)前零點(diǎn)值和采樣值之差除以采樣數(shù)，并把結(jié)果加到當(dāng)前零點(diǎn)值。由 此計(jì)算出零點(diǎn)的平均值。 校正的零點(diǎn)值=零點(diǎn)值+(采樣值_零點(diǎn)值)/采樣數(shù)〈從角速度傳感器獲得的移動(dòng)量的校正> 圖19是校正從角速度傳感器獲得的移動(dòng)量的過(guò)程流程圖。 為了校正從角速度傳感器獲得的移動(dòng)量，執(zhí)行圖19步驟ST21至ST26的處理。 不利的是，每度的角速度的積分(它是用于根據(jù)從角速度傳感器獲得的角速度的積分確定旋轉(zhuǎn)角度的參數(shù))在某些情況下隨著溫度和其它環(huán)境因素變化。 執(zhí)行圖像匹配(ST21至ST23)，基于匹配結(jié)果校正并更新每度的角速度的積分
(ST24至ST26)。以這種方法，確定在成像操作期間每度的角速度的積分的準(zhǔn)確值。 執(zhí)行兩個(gè)幀之間的圖像匹配。當(dāng)因?yàn)榘哳l分量而說(shuō)明匹配結(jié)果可靠時(shí)，通過(guò)
圖像匹配獲得的沿X、 Y、 Z軸的每個(gè)方向的移動(dòng)量和相應(yīng)的角速度的積分被用于確定每度
的角速度的積分。 每度的角速度的積分=角速度的積分/(每像素的視角X沿X軸的按照像素的移 動(dòng)量) 校正的每度的角速度的積分=每度的角速度的積分+(采樣值_每度的角速度的 積分)/采樣數(shù)〈用于輔助所述角速度傳感器的加速度傳感器>
角速度傳感器輸出相對(duì)的角移動(dòng)的量。 通過(guò)把所述相對(duì)值對(duì)時(shí)間積分(直到對(duì)應(yīng)于當(dāng)前位置的時(shí)間)，計(jì)算指示當(dāng)前位 置的絕對(duì)位置信息。 當(dāng)相對(duì)值包含少量偏移或噪聲時(shí)，所產(chǎn)生的偏移可能會(huì)隨著積分時(shí)間增加而增 加。 加速度傳感器能夠檢測(cè)重力加速度以提供圍繞Y軸方向(垂直)的旋轉(zhuǎn)和圍繞Z 軸方向(滾動(dòng))的旋轉(zhuǎn)的絕對(duì)值，但單位太大以致于在全景成像中無(wú)法使用。因此，在全景 成像中，加速度傳感器的可用性小于角速度傳感器。 然而，具有提供絕對(duì)值的優(yōu)點(diǎn)的加速度傳感器能夠被用于在定期基礎(chǔ)上比較它的
輸出值與從角速度傳感器獲得的相對(duì)移動(dòng)距離的積分，并校正該積分和絕對(duì)值。 當(dāng)絕對(duì)移動(dòng)量變得大到足以被加速度傳感器檢測(cè)時(shí)，加速度傳感器檢測(cè)的絕對(duì)位
置與從角速度傳感器獲得的相對(duì)移動(dòng)距離的積分推導(dǎo)的絕對(duì)位置相比較，并隨后根據(jù)需要
被校正。〈從圖像確定的移動(dòng)和從傳感器確定的移動(dòng)>
圖20是獲取移動(dòng)量的方法流程圖。 在獲取移動(dòng)量的方法中，執(zhí)行圖20的步驟ST31至ST35的處理。 圖像匹配獲得的移動(dòng)量的分辨率遠(yuǎn)高于角速度傳感器142的分辨率。因此，任何
可能的時(shí)候，通過(guò)圖像匹配計(jì)算相對(duì)移動(dòng)距離(ST33和ST34)。 不包含高頻分量的圖像(諸如，整個(gè)具有單個(gè)顏色的天空)無(wú)法進(jìn)行任何匹配。這
種情況下，角速度傳感器142的輸出用于計(jì)算相對(duì)移動(dòng)的量(ST33和ST35)?！赐ㄟ^(guò)使用捕獲的照片分配空間坐標(biāo)的方法> 圖21是使用捕獲的照片分配空間坐標(biāo)的方法流程圖。 在通過(guò)使用捕獲的照片分配空間坐標(biāo)的方法中，執(zhí)行圖21的步驟ST41至ST47的 處理。 對(duì)如上所述以全景攝影捕獲的所有照片，通過(guò)圖像匹配和角速度傳感器能夠確定 相對(duì)前一幀的相對(duì)旋轉(zhuǎn)量(ST41至ST43)。 為了創(chuàng)建全景照片，需要使用相對(duì)旋轉(zhuǎn)量來(lái)分配絕對(duì)空間坐標(biāo)。 由于捕獲的照片具有相同的視角，通過(guò)僅考慮每個(gè)捕獲空間的中心(S卩，確定照
24相機(jī)朝向的矢量)，能夠執(zhí)行分配操作。 相對(duì)前一幀的相對(duì)旋轉(zhuǎn)量也能夠以照相機(jī)所朝向的方向(即，成像觀(guān)察矢量)和 前一幀的矢量之間的角度來(lái)表示。 當(dāng)僅使用觀(guān)察矢量的簡(jiǎn)化方法執(zhí)行排列時(shí)，可能不考慮圍繞Z軸方向的幀的旋轉(zhuǎn) 或滾動(dòng)。 為解決這個(gè)問(wèn)題，幀上方的、沿Y軸偏移的另一矢量被準(zhǔn)備用于表示幀的滾動(dòng)。
這兩個(gè)矢量表示照相機(jī)捕獲圖像的方向和沿Z軸的滾動(dòng)，并且即使當(dāng)幀旋轉(zhuǎn)時(shí)也 保持幀信息。 當(dāng)位于空間中時(shí)，新的幀通常位于空間"a"中的前面位置(O，O，l.O)。 當(dāng)存在任何相對(duì)旋轉(zhuǎn)量時(shí)，所有先前幀沿相反方向旋轉(zhuǎn)那個(gè)量，然后，新的幀位于
空間"a"中的前面位置(O，O， 1. 0) (ST44至ST46)。 不是相對(duì)前一幀的移動(dòng)，而是當(dāng)前幀和過(guò)去多個(gè)幀之間的移動(dòng)量被用作基準(zhǔn)。
現(xiàn)在假設(shè)幀A是當(dāng)前捕獲的幀，幀B是前一捕獲的幀。
計(jì)算幀B相對(duì)于幀A旋轉(zhuǎn)多少(ST43)。 當(dāng)計(jì)算表明幀B的照相機(jī)位置是當(dāng)前幀A的照相機(jī)沿X軸方向旋轉(zhuǎn)rx、沿Y軸方
向旋轉(zhuǎn)ry以及沿Z軸方向旋轉(zhuǎn)rz的位置時(shí)，除了幀A以外的過(guò)去被捕獲幀的所有成像方
向矢量和滾動(dòng)索引矢量被旋轉(zhuǎn)rx、ry、rz。 旋轉(zhuǎn)矩陣可以是在三維空間中使用的典型矩陣。 沿X軸方向的旋轉(zhuǎn) x2 = x X cos (rx) _y X sin (rx) y2 = y X sin (rx) +z X cos (rx) z2 = z 沿Y軸方向的旋轉(zhuǎn) x2 = x X cos (ry) _z X sin (ry) y2 = y z2 = x X sin (ry) +z X cos (ry)
沿Z軸方向的旋轉(zhuǎn)
x2 = x y2 = y X cos (rz) _z X sin (rz)
z2 = y X sin (rz) +z X cos (rz) 如上所述，旋轉(zhuǎn)全部幀并把新幀定位于適當(dāng)位置(該位置是前側(cè))，使得能夠從相 對(duì)旋轉(zhuǎn)量轉(zhuǎn)換為絕對(duì)空間坐標(biāo)。 當(dāng)所有轉(zhuǎn)換操作最終完成時(shí)，所有幀能夠具有各自適合的絕對(duì)坐標(biāo)。 然而，由于最后幀被用作基準(zhǔn)，在一些情況下所有幀可能需要相對(duì)于任意幀移動(dòng)。 接下來(lái)將描述第四結(jié)構(gòu)?！吹谒慕Y(jié)構(gòu)〉 在第四結(jié)構(gòu)中，當(dāng)檢測(cè)到視差或移動(dòng)對(duì)象的任何影響時(shí)，顯示裝置18或聲音產(chǎn)生 器20發(fā)出警告以提示用戶(hù)重新捕獲圖像。 另外，在第四結(jié)構(gòu)中，檢測(cè)移動(dòng)對(duì)象，使得即交疊率設(shè)置為50%或更高，從而物體的任何部分出現(xiàn)在至少兩個(gè)相鄰圖像中。結(jié)果，基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或移動(dòng)物體。 快速搖動(dòng)照相機(jī)設(shè)備10以在廣角內(nèi)捕獲物體的多個(gè)條形圖像并把它們組合成單
個(gè)圖像，照相機(jī)設(shè)備io檢測(cè)視差多大程度上影響鄰近物體，并提示用戶(hù)圍繞照相機(jī)的觀(guān)察
點(diǎn)(照相機(jī)從該點(diǎn)觀(guān)察物體)重新捕獲圖像。 通常，廣角照相機(jī)的觀(guān)察點(diǎn)就位于它的透鏡后面，照相機(jī)理想地被手握住并圍繞用戶(hù)的手腕旋轉(zhuǎn)。 這樣圍繞照相機(jī)的觀(guān)察點(diǎn)旋轉(zhuǎn)照相機(jī)所捕獲的圖像能夠被正確地組合，即使包含鄰近物體。 本實(shí)施例的照相機(jī)設(shè)備10的優(yōu)點(diǎn)還在于圍繞從照相機(jī)的觀(guān)察點(diǎn)稍微偏移的位
置捕獲圖像不太可能影響捕獲的圖像，因?yàn)樗东@的多個(gè)圖像的任何一個(gè)具有條形。 然而，當(dāng)用手握住照相機(jī)并把照相機(jī)圍繞用戶(hù)肩膀旋轉(zhuǎn)來(lái)捕獲圖像時(shí)，因?yàn)檎障?br> 機(jī)圍繞在照相機(jī)的觀(guān)察點(diǎn)后面較遠(yuǎn)的位置旋轉(zhuǎn)，視差極大地影響捕獲的圖像。 這種情況下，僅對(duì)遠(yuǎn)景成像時(shí)幾乎不存在問(wèn)題，但當(dāng)捕獲的圖像包含鄰近物體時(shí)
圖像可能無(wú)法被正確地組合，因?yàn)橄噜張D像之間的鄰近物體的位置關(guān)系不同于遠(yuǎn)處物體的
位置關(guān)系。 為解決這個(gè)問(wèn)題，在第四結(jié)構(gòu)中，當(dāng)發(fā)現(xiàn)視差的影響不允許正確的圖像組合時(shí)，發(fā)出把照相機(jī)圍繞它的觀(guān)察點(diǎn)旋轉(zhuǎn)的指令，以提示用戶(hù)重新捕獲圖像。
〈檢測(cè)視差的方法〉
將描述檢測(cè)視差的方法。 在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次塊匹配(BM)操作，以確定這兩個(gè)圖像的運(yùn)動(dòng)矢量。 通常，當(dāng)已正確地執(zhí)行了掃描操作時(shí)，BM操作得到基本相同的矢量。 當(dāng)照相機(jī)圍繞肩膀旋轉(zhuǎn)，并且鄰近物體與遠(yuǎn)景交疊時(shí)，BM操作得到不同的矢量。 由于圖像在鄰近物體和遠(yuǎn)物體之間的邊界變化很大，所以BM操作不會(huì)提供正確
的值。這個(gè)事實(shí)用于檢測(cè)視差。 以下將示出視差檢測(cè)的具體例子。 下面處理由系統(tǒng)控制器16中的圖像信號(hào)處理器161和微計(jì)算機(jī)162以互相配合的方式執(zhí)行?！礄z測(cè)視差的方法〉
[粗略的組合] 照相機(jī)設(shè)備10在大約120度的范圍內(nèi)從左向右旋轉(zhuǎn)，從而捕獲幾十個(gè)圖像。 相鄰圖像共享充分大的區(qū)域(交疊區(qū)域)，其中示出相同物體。 成像操作期間的照相機(jī)設(shè)備10的運(yùn)動(dòng)以短時(shí)間間隔由姿勢(shì)傳感器14檢測(cè)并被記錄。 由于該數(shù)據(jù)與捕獲圖像同步地記錄，所以可以在捕獲每個(gè)圖像時(shí)找出照相機(jī)所朝向的方向，盡管該方向的精度不是很高。 基于如此獲得的信息，圖像排列在經(jīng)度_緯度平面上。 這種狀態(tài)下，任何一對(duì)相鄰圖像之間的交疊區(qū)域，具有大約100像素的大尺寸，被放置于基本上正確的位置。 精確的自動(dòng)組合過(guò)程將從這種狀態(tài)開(kāi)始。
〈精確的自動(dòng)組合〉 在每個(gè)交疊區(qū)域中的多個(gè)位置執(zhí)行運(yùn)動(dòng)檢測(cè)(ME :運(yùn)動(dòng)估計(jì))。 ME或運(yùn)動(dòng)檢測(cè)采用基于FET的僅相位相關(guān)。也可以應(yīng)用特征提取和其它適合的方法。 當(dāng)僅發(fā)生平移時(shí)，僅需要一次ME操作。 兩次ME操作提供傾斜。 三次ME操作提供透鏡失真系數(shù)。 當(dāng)每個(gè)交疊區(qū)域中不存在移動(dòng)對(duì)象并且由照相機(jī)對(duì)遠(yuǎn)景成像時(shí)，其中用手握住的照相機(jī)不影響捕獲的圖像，ME操作的次數(shù)可以很小。 然而，當(dāng)存在移動(dòng)對(duì)象和/或鄰近對(duì)象成像(其對(duì)產(chǎn)生視差的影響)時(shí)，少量的ME操作將無(wú)法發(fā)現(xiàn)發(fā)生的情況。 因此，在每個(gè)交疊區(qū)域中執(zhí)行可能的最大次數(shù)的ME操作。 當(dāng)大量ME操作得到具有基本相同的值的運(yùn)動(dòng)矢量時(shí)，相鄰圖像之一能夠平移并與另一圖像對(duì)準(zhǔn)。 即使當(dāng)獲得的運(yùn)動(dòng)矢量不具有基本相同的值時(shí)，頂部運(yùn)動(dòng)矢量的值以相同比率變
為底部運(yùn)動(dòng)矢量的值，相鄰圖像之一能夠被傾斜并與另一圖像對(duì)準(zhǔn)。 然而，當(dāng)任何交疊區(qū)域中的ME操作得到不同的值時(shí)，可能無(wú)法執(zhí)行組合。 原因在于在存在移動(dòng)物體、或同時(shí)存在鄰近物體和運(yùn)物體的情況下，以移動(dòng)的觀(guān)
察點(diǎn)捕獲了圖像?！磮?zhí)行ME的方法〉 首先對(duì)收縮的圖像執(zhí)行粗略的ME操作。 收縮比率逐漸減小，最終對(duì)實(shí)際大小的圖像執(zhí)行ME操作。 改變?cè)贛E操作中使用的塊尺寸和/或減小相鄰塊的中心之間的距離，能夠獲取更
詳細(xì)的運(yùn)動(dòng)矢量。 〈ME結(jié)果的評(píng)估> 大量的ME結(jié)果被用于判斷是否能夠執(zhí)行正確的縫合。當(dāng)可能無(wú)法正確執(zhí)行縫合時(shí)，把這種情況通知給用戶(hù)，并提示用戶(hù)重新捕獲圖像。 在任何可能時(shí)執(zhí)行縫合，組合結(jié)果顯示并記錄在記錄介質(zhì)(存儲(chǔ)器)中?！匆苿?dòng)物體的行為> 接下來(lái)將描述移動(dòng)物體的行為。 在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次塊匹配(BM)操作，以確定這兩個(gè)圖像的運(yùn)動(dòng)矢量。 所獲得的矢量反映移動(dòng)部分移動(dòng)的方向，由此能夠把移動(dòng)部分與靜止部分分開(kāi)。
由于圖像在移動(dòng)對(duì)象和靜止物體之間的邊界變化很大，BM操作不會(huì)提供正確的值。沿橫向方向執(zhí)行掃描操作時(shí)，無(wú)法區(qū)分由鄰近的靜止物體導(dǎo)致的視差和沿橫向方向移動(dòng)的物體。 為解決這個(gè)問(wèn)題，發(fā)出警告而不區(qū)分視差和移動(dòng)物體。
27
當(dāng)檢測(cè)到該警告時(shí)，任何當(dāng)前的技術(shù)毫不奇怪地不執(zhí)行縫合。 因此，在本實(shí)施例中，發(fā)出警告以提示用戶(hù)"只是重新捕獲圖像"或"改變捕獲圖像的方法并重新捕獲圖像"。 被發(fā)出的警告例子可以是"檢測(cè)到視差或移動(dòng)對(duì)象的影響。減小旋轉(zhuǎn)的半徑并重新捕獲圖像"。 如上所述，在第四結(jié)構(gòu)中，由于在開(kāi)始成像之后立即判斷是否存在移動(dòng)物體，所以用戶(hù)能夠重新捕獲圖像。 結(jié)果，由于在開(kāi)始成像之后立即判斷視差是否影響所捕獲的圖像，用戶(hù)能夠有利
地重新捕獲圖像。 接下來(lái)將描述第五結(jié)構(gòu)?！吹谖褰Y(jié)構(gòu)〉 在第五結(jié)構(gòu)中，通知適當(dāng)?shù)膾呙杞撬俣?用戶(hù)搖動(dòng)照相機(jī)的速度)，當(dāng)掃描角速度太快時(shí)發(fā)出警告。以這種方法，提示用戶(hù)重新捕獲圖像。 如上所述，微處理器162在顯示裝置18 (諸如，LCD屏幕)上以曲線(xiàn)圖顯示來(lái)自姿勢(shì)傳感器(陀螺傳感器)的輸出(掃描角速度)，垂直軸代表輸出，水平軸代表時(shí)間。
由于當(dāng)設(shè)置了水平視角、水平像素?cái)?shù)和快門(mén)速度時(shí)確定了最高的掃描角速度，如圖4所示顯示曲線(xiàn)圖，即合適范圍RNG為最高的掃描角速度的60%到80% 。
以下示出以上操作的示意性過(guò)程。 [1]按下操作單元19的開(kāi)始按鈕并旋轉(zhuǎn)照相機(jī)。然后，放開(kāi)開(kāi)始按鈕。 [2]只要開(kāi)始按鈕被按下，掃描角速度就顯示在顯示裝置18的屏幕上，如圖4所示。 [3]當(dāng)掃描角速度慢于合適范圍RNG的下限時(shí)，不會(huì)發(fā)出警告，而當(dāng)掃描角速度快
于合適范圍RNG的上限(即使是瞬間快于RNG的上限)時(shí)，會(huì)產(chǎn)生警告聲音。 如上所述，在第五結(jié)構(gòu)中，由于照相機(jī)通知合適的速度，所以不會(huì)存在不便之處，
例如由于掃描角速度太快而產(chǎn)生區(qū)域的交疊，或者由于掃描角速度太慢而僅對(duì)較窄區(qū)域成像。 將參照?qǐng)D22A至圖22D描述掃描速度的計(jì)算例子。
〈掃描速度的計(jì)算〉 下面將描述在已確定了曝光時(shí)間、像素?cái)?shù)、單個(gè)線(xiàn)讀出時(shí)間、視角、交疊率、幀率和其它參數(shù)的條件下，計(jì)算模糊出現(xiàn)角度、模糊像素?cái)?shù)和其它問(wèn)題不會(huì)出現(xiàn)的掃描速度的方法。 在所確定的條件下，從下面三個(gè)方程獲得的掃描速度中的最慢掃描速度是最高角速度。 圖22A至圖22D示出的表格顯示在已給定視角、掃描速度和各種其它參數(shù)的情況
下，模糊像素?cái)?shù)、幀率和其它參數(shù)的計(jì)算值。 列[1]至[6]表示不同條件下的結(jié)果。 以下，作為示例將在圖22A至圖22D的條件[1]下進(jìn)行描述。 模糊出現(xiàn)角度ab2、模糊像素?cái)?shù)和nb2和幀率f使用掃描速度vp、視角th、水平像素?cái)?shù)H和交疊率k以及在圖22A至圖22D的表格右端示出的計(jì)算方程來(lái)確定。
ab2 = vp X (ts+n X rs) 1000
nb2 = vpX (ts+nXrs) XH/th
f = 100/(100-k) XHXvp/n/th
以上方程用于如下提供掃描速度vp :
vp = 1000 X ab2/(ts+n X rs)[deg] (1)
vp = nb2 X th/H/(ts+n X rs)[deg/sec] (2)
vp = (100-k) /100 X n X th X f/H (3) 假設(shè)模糊出現(xiàn)角度ab2是0. 28度、曝光時(shí)間是1 [msec]、沿較短側(cè)的像素?cái)?shù)n是 400像素、并且單個(gè)線(xiàn)讀出時(shí)間rs是7. 8[ ii sec]，則掃描速度是vp = 68 [deg/sec]。
假設(shè)模糊像素?cái)?shù)nb2是19. 9像素、較長(zhǎng)側(cè)的視角th是50度、并且水平像素?cái)?shù)H 是3560像素，則掃描速度是vp = 68 [deg/sec]。 假設(shè)交疊率k是20%并且?guī)蔲是15. 13，則掃描速度是vp = 68 [deg/sec]。
因此，當(dāng)上述每個(gè)方程(1)、 (2)、 (3)右側(cè)的參數(shù)改變時(shí)，掃描速度的值由這些方 程限制。 當(dāng)以高于從方程(1)獲得的值vp的速度執(zhí)行掃描操作時(shí)，光學(xué)手抖校正裝置工作 于其極限之外。 當(dāng)以高于從方程(2)獲得的值vp的速度執(zhí)行掃描操作時(shí)，模糊量超過(guò)容許限度。
當(dāng)以高于從方程(3)獲得的值vp的速度執(zhí)行掃描操作時(shí)，交疊量減少，一些情況 下甚至沒(méi)有交疊發(fā)生。 以上詳細(xì)描述的第一至第五結(jié)構(gòu)中的一個(gè)或全部能夠應(yīng)用于照相機(jī)設(shè)備IO，或者 能夠應(yīng)用第一至第五結(jié)構(gòu)的任何合適的組合。 以上詳細(xì)描述的方法能夠根據(jù)以上過(guò)程構(gòu)造為程序，并在CPU或任何其它適合的 計(jì)算機(jī)上執(zhí)行。 另外，上述程序能夠構(gòu)造為存儲(chǔ)在半導(dǎo)體存儲(chǔ)器、磁盤(pán)、光盤(pán)、軟盤(pán)(注冊(cè)商標(biāo))和
任何其它適合的記錄介質(zhì)中，從包括任何以上記錄介質(zhì)的計(jì)算機(jī)訪(fǎng)問(wèn)，并隨后被執(zhí)行。 本申請(qǐng)包含與2008年10月3日提交給日本專(zhuān)利局的日本優(yōu)先專(zhuān)利申請(qǐng)JP
2008-258114公開(kāi)的主題相關(guān)的主題，該專(zhuān)利申請(qǐng)的全部?jī)?nèi)容通過(guò)引用包含于此。 本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離權(quán)利要求或其等同物的范圍的情況下，可以
根據(jù)設(shè)計(jì)的需要和其它因素做出各種變型、組合、子組合和替換。
權(quán)利要求
一種成像設(shè)備，包括成像裝置，通過(guò)光學(xué)系統(tǒng)捕獲物體圖像；圖像信號(hào)處理器，具有把多個(gè)捕獲圖像組合成單個(gè)圖像的功能，所述圖像是在成像設(shè)備移動(dòng)期間被捕獲的；控制單元，其中圖像信號(hào)處理器基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或移動(dòng)物體，以及控制單元在圖像信號(hào)處理器檢測(cè)到移動(dòng)對(duì)象或視差的任何影響時(shí)發(fā)出警告，以提示重新捕獲圖像。
2. 權(quán)利要求1所述的成像設(shè)備，其中圖像信號(hào)處理器在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次運(yùn)動(dòng)檢測(cè)操 作以確定多個(gè)運(yùn)動(dòng)矢量，并在存在具有不同值的矢量時(shí)識(shí)別為檢測(cè)到視差。
3. 權(quán)利要求1或2所述的成像設(shè)備，其中圖像信號(hào)處理器在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次運(yùn)動(dòng)檢測(cè)操 作以確定多個(gè)運(yùn)動(dòng)矢量，以及控制單元發(fā)出警告，而不區(qū)分在移動(dòng)對(duì)象和靜止物體之間的邊界上的視差和移動(dòng)物體。
4. 權(quán)利要求1至3中任一所述的成像設(shè)備，其中控制單元以固定交疊率控制捕獲若干圖像的操作，以所述固定交疊率，物體的任 一部分出現(xiàn)在至少兩個(gè)相鄰圖像中。
5. —種成像方法，包括步驟在移動(dòng)成像設(shè)備時(shí)，利用成像裝置通過(guò)光學(xué)系統(tǒng)捕獲物體圖像；基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或移動(dòng)物體；當(dāng)檢測(cè)到移動(dòng)對(duì)象或視差的任何影響時(shí)發(fā)出警告，以提示重新捕獲圖像。
6. 權(quán)利要求5所述的成像方法，其中在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次運(yùn)動(dòng)檢測(cè)操作以確定多個(gè)運(yùn) 動(dòng)矢量，并在存在具有不同值的矢量時(shí)識(shí)別為檢測(cè)到視差。
7. 權(quán)利要求5或6所述的成像方法，其中在時(shí)間相鄰的兩個(gè)圖像彼此交疊的區(qū)域中執(zhí)行多次運(yùn)動(dòng)檢測(cè)操作以確定多個(gè)運(yùn) 動(dòng)矢量，以及發(fā)出警告，而不區(qū)分在移動(dòng)對(duì)象和靜止物體之間的邊界上的視差和移動(dòng)物體。
8. 權(quán)利要求5至7任一項(xiàng)所述的成像方法，其中以固定交疊率捕獲若干圖像，以所述固定交疊率，物體的任一部分出現(xiàn)在至少兩 個(gè)相鄰圖像中。
9. 一種使計(jì)算機(jī)執(zhí)行成像處理的程序，包括處理 在移動(dòng)成像設(shè)備時(shí)，利用成像裝置通過(guò)光學(xué)系統(tǒng)捕獲物體圖像； 基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或移動(dòng)物體； 當(dāng)檢測(cè)到移動(dòng)對(duì)象或視差的任何影響時(shí)發(fā)出警告，以提示重新捕獲圖像。
全文摘要
一種成像設(shè)備、成像方法和程序。所述成像設(shè)備包括成像裝置，通過(guò)光學(xué)系統(tǒng)捕獲物體圖像；圖像信號(hào)處理器，具有把多個(gè)捕獲的圖像組合成單個(gè)圖像的功能，這些圖像是成像設(shè)備被移動(dòng)期間捕獲的；控制單元，其中圖像信號(hào)處理器基于相鄰圖像之間的運(yùn)動(dòng)矢量的相似性，檢測(cè)視差的任何影響或移動(dòng)物體，控制單元在圖像信號(hào)處理器檢測(cè)到移動(dòng)對(duì)象或視差的任何影響時(shí)發(fā)出警告，以提示重新捕獲圖像。
文檔編號(hào)H04N5/232GK101715055SQ20091020444
公開(kāi)日2010年5月26日 申請(qǐng)日期2009年9月29日 優(yōu)先權(quán)日2008年10月3日
發(fā)明者山下紀(jì)之, 藤田俊史 申請(qǐng)人:索尼株式會(huì)社