全景處理的制作方法
【專利摘要】本公開(kāi)涉及在手持式個(gè)人電子設(shè)備中執(zhí)行全景攝影處理技術(shù)的設(shè)備、方法和計(jì)算機(jī)可讀介質(zhì)。本文描述的全景攝影處理技術(shù)可由以下幾個(gè)的一般性步驟來(lái)實(shí)現(xiàn)：1.)獲取來(lái)自電子設(shè)備的圖像傳感器的圖像流的圖像數(shù)據(jù)；2.)在設(shè)備的顯示器上實(shí)時(shí)顯示該圖像數(shù)據(jù)的縮放的預(yù)覽版本；3.)對(duì)獲取的圖像數(shù)據(jù)執(zhí)行“運(yùn)動(dòng)濾波”；4.)生成沒(méi)有被所述“運(yùn)動(dòng)濾波”處理濾除的圖像部分的全分辨率版本和較低分辨率版本；5.)將全分辨率圖像部分和較低分辨率圖像部分兩者基本同時(shí)“縫合”在一起以創(chuàng)建全景場(chǎng)景；以及6.)基本同時(shí)地將較低分辨率圖像部分的經(jīng)縫合版本發(fā)送至設(shè)備的顯示器上的預(yù)覽區(qū)域，并將全分辨率圖像部分的經(jīng)縫合版本存儲(chǔ)至存儲(chǔ)器。
【專利說(shuō)明】全景處理
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)與具有律師案卷號(hào)P10712US1 (119-0224US)、P10713US1 (119-0225US)、P10714US1(119-0226US)和P10715US1 (119-0227US)的共同轉(zhuǎn)讓申請(qǐng)相關(guān)，這些申請(qǐng)全都于2011年5月17日提交，并且這些申請(qǐng)全都通過(guò)引用全文結(jié)合在此。
【技術(shù)領(lǐng)域】
[0003]本公開(kāi)的實(shí)施例一般地涉及全景攝影。本公開(kāi)的實(shí)施例尤其涉及改善具有圖像傳感器的手持式個(gè)人電子設(shè)備的實(shí)時(shí)全景攝影處理的技術(shù)。
【背景技術(shù)】
[0004]全景攝影一般地可被定義為使用加長(zhǎng)視野捕捉圖像的攝影技術(shù)。示出的視野近似或大于人眼視野(例如，約160度寬75度高)的圖像可被稱為是“全景的”。由此，全景圖像一般具有2:1或更大的寬高比，這意味著圖像的寬至少是其高的兩倍(或者反過(guò)來(lái)，在垂直全景圖像的情況下，高是寬的兩倍)。在某些實(shí)施例中，全景圖像甚至可以覆蓋高達(dá)360度的視野，即“全旋轉(zhuǎn)”全景圖像。
[0005]存在與拍攝視覺(jué)上吸引人的全景圖像關(guān)聯(lián)的諸多挑戰(zhàn)。這些挑戰(zhàn)包括諸如以下各項(xiàng)的攝影問(wèn)題:由跨全景場(chǎng)景的照明條件差異引起的難以確定合適曝光設(shè)置；由全景場(chǎng)景內(nèi)的對(duì)象運(yùn)動(dòng)引起的跨圖像接縫的模糊；以及視差問(wèn)題，即歸因于相機(jī)圍繞其透視中心(COP)以外的軸旋轉(zhuǎn)而由連續(xù)捕捉的圖像中全景場(chǎng)景內(nèi)對(duì)象明顯位置的明顯位移或差異引起的問(wèn)題。COP可被認(rèn)為是由相機(jī)觀察的視線所聚集的點(diǎn)。COP有時(shí)也被稱為“入射光瞳”。取決于相機(jī)的鏡頭設(shè)計(jì)，入射光瞳在相機(jī)光軸上的定位可以在鏡頭系統(tǒng)之后、之內(nèi)、甚至之前。通常要求一定量的預(yù)捕捉實(shí)驗(yàn)，并且使用具有相機(jī)滑動(dòng)組件的可旋轉(zhuǎn)三腳架布置來(lái)確保在全景場(chǎng)景的捕捉期間相機(jī)圍繞其COP旋轉(zhuǎn)。這類預(yù)備和計(jì)算是手持式個(gè)人電子設(shè)備和自由(ad-hoc)全景圖像捕捉領(lǐng)域中所不期望的。
[0006]與拍攝視覺(jué)上吸引人的全景圖像關(guān)聯(lián)的其他挑戰(zhàn)還包括諸如以下各項(xiàng)的后處理問(wèn)題:正確對(duì)齊用于構(gòu)造整個(gè)全景圖像的各圖像；用于構(gòu)造整個(gè)全景圖像的各圖像的重疊區(qū)域間的融合(blending);挑選不會(huì)使得全景照片的重要部分?jǐn)z影變形的圖像投影校正(例如，矩形、圓柱形、墨卡托(Mercator));以及校正連續(xù)捕捉的圖像之間的透視變化。
[0007]此外，攝影者在全景掃視期間跟蹤他或她的行進(jìn)也會(huì)是挑戰(zhàn)性的，這是因?yàn)樾羞M(jìn)可能會(huì)導(dǎo)致掃視期間相機(jī)的視野可能會(huì)逐漸向上或向下偏移(在水平全景掃視的情況下)。某些現(xiàn)有的全景攝影系統(tǒng)在組成圖像(constituent image)已被捕捉很久之后才組裝各組成圖像來(lái)創(chuàng)建合成全景圖像，并且通常使用昂貴的后處理軟件。如果捕捉的組成圖像的覆蓋范圍被證明不足以組裝合成全景圖像，用戶將無(wú)處求助。迄今為止，全景攝影系統(tǒng)尚無(wú)法在全景掃視期間同時(shí)生成全景圖像的全分辨率版本同時(shí)向用戶提供有意義的全景圖像預(yù)覽，由此也無(wú)法在用戶完成全景掃視的基本同時(shí)準(zhǔn)備好全景圖像的全分辨率版本以供存儲(chǔ)和/或查看。[0008]因此，需要一種對(duì)諸如移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、便攜式音樂(lè)播放器、數(shù)碼相機(jī)、以及膝上型和平板計(jì)算機(jī)系統(tǒng)的手持式個(gè)人電子設(shè)備上的全景照片的捕捉和處理進(jìn)行改進(jìn)的技術(shù)。通過(guò)利用對(duì)捕捉圖像的全分辨率部分和較低分辨率部分兩者進(jìn)行操作的分割圖形處理流水線，可以使用諸如本文描述的更高效的全景攝影處理技術(shù)來(lái)實(shí)現(xiàn)視覺(jué)上吸引人的全景攝影結(jié)果并且以無(wú)縫和直觀的方式提供有意義的全景預(yù)覽圖像。

【發(fā)明內(nèi)容】

[0009]在此公開(kāi)的全景攝影技術(shù)被設(shè)計(jì)用于應(yīng)對(duì)全景場(chǎng)景由手持式個(gè)人電子設(shè)備捕捉時(shí)對(duì)全景場(chǎng)景的處理，同時(shí)還在全景圖像捕捉期間向用戶提供有用的全景預(yù)覽圖像。本文描述的全景攝影技術(shù)可由以下幾個(gè)的一般性步驟來(lái)實(shí)現(xiàn):1.)從電子設(shè)備的圖像傳感器的圖像流中獲取圖像數(shù)據(jù)(該圖像流可以以隨著用戶跨全景場(chǎng)景搖攝設(shè)備而連續(xù)捕捉的圖像幀的形式出現(xiàn));2.)在設(shè)備的顯示器上實(shí)時(shí)顯示該圖像數(shù)據(jù)的縮放的預(yù)覽版本；3.)對(duì)獲取的圖像數(shù)據(jù)執(zhí)行“運(yùn)動(dòng)濾波”(例如，使用從嵌入在該手持式個(gè)人電子設(shè)備內(nèi)的位置傳感器返回的信息來(lái)通知圖像數(shù)據(jù)的處理);4.)生成沒(méi)有被所述“運(yùn)動(dòng)濾波”處理濾除的圖像部分(例如，“狹縫”或“切片”)的全分辨率和較低分辨率版本；5.)將全分辨率和較低分辨率圖像“狹縫”或“切片”兩者基本同時(shí)分別“縫合”在一起以創(chuàng)建全景場(chǎng)景。該縫合處理例如可以涉及依次處理的圖像“狹縫”或“切片”之間的重疊區(qū)域內(nèi)圖像數(shù)據(jù)的對(duì)齊、幾何學(xué)校正和/或融合；以及6.)基本同時(shí)地將較低分辨率圖像“狹縫”或“切片”的經(jīng)縫合版本發(fā)送至設(shè)備的顯示器上的全景預(yù)覽區(qū)域，并將全分辨率圖像“狹縫”或“切片”的經(jīng)縫合版本存儲(chǔ)至存儲(chǔ)器。歸因于圖像投影校正、透視校正和對(duì)齊等，合成的經(jīng)縫合的全分辨率全景圖像可能具有不規(guī)則形狀。于是在期望時(shí)，可以在最終存儲(chǔ)之前可選地將合成的經(jīng)縫合的全景圖像裁剪成矩形形狀。如下將詳細(xì)描述這些一般性步驟中的每一個(gè)。
[0010]1.圖像獲取
[0011]某些現(xiàn)代相機(jī)的圖像傳感器能夠以每秒30幀(fps)的速率捕捉圖像幀，也就是說(shuō)，約每0.03秒捕捉一幀。在這一高圖像捕捉速率并且給出用戶拍攝一般全景照片的搖攝速度的情況下，由圖像傳感器所捕捉的圖像數(shù)據(jù)中的大部分?jǐn)?shù)據(jù)是冗余的，即，前后捕捉的圖像幀中的圖像數(shù)據(jù)是重疊的。實(shí)際上，正如下文將進(jìn)一步描述的，在某些實(shí)施例中，在每幅圖像幀已被捕捉之后僅保留該幀的一個(gè)窄“狹縫”或“切片”會(huì)是有利的。在某些實(shí)施例中，狹縫可以僅包括圖像幀中央的12.5%。只要在依順序捕捉的圖像狹縫之間保留足夠量的重疊(所需的重疊量可以取決于被用來(lái)將各圖像縫合在一起的圖像配準(zhǔn)算法的能力，所述算法使用期望限制所需處理量的更少的重疊量，同時(shí)仍然生成令人滿意的圖像對(duì)齊)，在此描述的全景攝影技術(shù)就能夠在歸因于大量不需要和/或冗余數(shù)據(jù)可被丟棄而以提升的效率進(jìn)行操作的同時(shí)仍然創(chuàng)建視覺(jué)愉悅的全景結(jié)果?，F(xiàn)代的圖像傳感器可以捕捉低動(dòng)態(tài)范圍(LDR)和高動(dòng)態(tài)范圍(HDR)圖像兩者，并且在此描述的技術(shù)也可被應(yīng)用于上述兩者。
[0012]2.縮放的預(yù)覽
[0013]現(xiàn)代圖像捕捉個(gè)人電子設(shè)備的用戶已經(jīng)變得習(xí)慣于具有當(dāng)前正由設(shè)備捕捉的圖像的現(xiàn)場(chǎng)全幀預(yù)覽。通過(guò)將從設(shè)備的圖像傳感器返回的數(shù)據(jù)按比例縮減到設(shè)備的顯示器的分辨率并將這一數(shù)據(jù)沿分割圖形處理流水線的第一部分向下傳送，設(shè)備的用戶可以保持知曉設(shè)備的當(dāng)前視野，并且能夠?qū)崟r(shí)地對(duì)相機(jī)設(shè)置和/或全景掃視的方向、速度等做出任何需要的調(diào)整。預(yù)覽圖像的縮放允許將更多的處理帶寬用于同時(shí)沿分割圖形處理流水線向下發(fā)送的其他圖像數(shù)據(jù)，從而用于組裝成合成全景圖像和/或全景圖像預(yù)覽。
[0014]3.運(yùn)動(dòng)濾波
[0015]當(dāng)前在手持式個(gè)人電子設(shè)備上生成自由全景圖像期間所需面對(duì)的問(wèn)題之一是保持成生成全景圖像中實(shí)際使用的數(shù)據(jù)量與設(shè)備的處理能力能夠應(yīng)對(duì)的數(shù)據(jù)量相一致。通過(guò)使用基于在前幀配準(zhǔn)、加速度變化以及來(lái)自設(shè)備內(nèi)或以其他方式與設(shè)備通信的嵌入式位置傳感器(例如，陀螺儀和/或加速度計(jì))的相機(jī)旋轉(zhuǎn)信息的變化的相機(jī)運(yùn)動(dòng)探索，就能夠“濾除”由于相機(jī)位置缺乏足夠改變而僅產(chǎn)生冗余圖像數(shù)據(jù)的圖像狹縫。這一濾波的計(jì)算強(qiáng)度不高，并且減少了實(shí)際被傳遞至全景圖像處理例程的計(jì)算強(qiáng)度更高部分的圖像狹縫的量。運(yùn)動(dòng)濾波還降低了全景圖像處理例程的存儲(chǔ)器占用空間。
[0016]4.圖像劃分
[0017]因?yàn)橛梢岳?5幀每秒(fps)或30fps的幀速率操作的圖像傳感器捕捉了大量冗余數(shù)據(jù)，所以可以如上參考“運(yùn)動(dòng)濾波”所描述的那樣，從全景攝影處理中丟棄來(lái)自圖像傳感器圖像流的許多幀，同時(shí)還提供對(duì)正被捕捉全景場(chǎng)景的足夠覆蓋。此外，發(fā)明人已經(jīng)意外發(fā)現(xiàn)通過(guò)僅對(duì)由“運(yùn)動(dòng)濾波”針對(duì)附加處理選擇的每個(gè)圖像幀的一部分(例如，每個(gè)所選圖像幀的中央部分)進(jìn)行操作，一些諸如桶形或枕形失真、鏡頭陰影、漸暈之類的光學(xué)偽像(靠近捕捉圖像邊緣愈發(fā)明顯)會(huì)一并消失或消除。此外，對(duì)每個(gè)所選圖像幀的部分進(jìn)行操作可以為全景攝影處理創(chuàng)建更小的存儲(chǔ)器占用空間，如下將進(jìn)一步描述的，這在組裝全分辨率全景圖像時(shí)會(huì)變得重要。在某些實(shí)施例中，圖像部分可以包括圖像幀中央的約12.5%，并且在此被稱為圖像“狹縫”或“切片”。
[0018]5.圖像縫合
[0019]根據(jù)在此描述的一個(gè)實(shí)施例，被選擇用于包括在合成全景圖像內(nèi)的每個(gè)圖像狹縫可以相繼被配準(zhǔn)(即，對(duì)齊)、在重疊區(qū)域內(nèi)融合并且與其他被選圖像部分縫合在一起以產(chǎn)生合成全景圖像部分。所選的圖像幀部分可被置于組裝緩沖器內(nèi)，其中可以確定圖像間的重疊區(qū)域，并且可以根據(jù)融合公式(例如，線性、多項(xiàng)式或阿爾法融合公式)將重疊區(qū)域內(nèi)的圖像像素?cái)?shù)據(jù)融合成最終合成圖像區(qū)域。兩個(gè)相繼捕捉圖像部分之間的融合嘗試隱藏各幀之間的小差異，但還是會(huì)產(chǎn)生模糊該區(qū)域內(nèi)的圖像的結(jié)果。根據(jù)在此公開(kāi)的一個(gè)實(shí)施例，可以對(duì)全分辨率和較低分辨率圖像“狹縫”或“切片”兩者基本同時(shí)進(jìn)行縫合處理以創(chuàng)建兩個(gè)版本的全景場(chǎng)景。
[0020]6.雙重預(yù)覽流水線
[0021]全景攝影處理可以將較低分辨率圖像“狹縫”或“切片”的經(jīng)縫合版本發(fā)送至設(shè)備的顯示器上的預(yù)覽區(qū)，并基本同時(shí)地將全分辨率圖像“狹縫”或“切片”的經(jīng)縫合版本存儲(chǔ)至存儲(chǔ)器。由此，在此公開(kāi)的全景攝影處理的一個(gè)實(shí)施例可以在全景掃視期間生成全景圖像的全分辨率版本的同時(shí)向用戶提供有意義的全景圖像預(yù)覽，由此在用戶完成全景掃視的基本同時(shí)準(zhǔn)備好全景圖像的全分辨率版本以供存儲(chǔ)和/或查看。
[0022]于是，在此描述的一個(gè)實(shí)施例中，公開(kāi)了一種圖像處理方法，包括:獲取第一圖像；在第一時(shí)刻在顯不器的第一區(qū)域內(nèi)顯不所述第一圖像的第一縮放版本；將第一圖像的中央部分的全分辨率版本存儲(chǔ)在存儲(chǔ)器中；在第一時(shí)刻在顯示器的第二區(qū)域內(nèi)顯示第一圖像的中央部分的第二縮放版本；獲取第二圖像；在第二時(shí)刻用所述第二圖像的第一縮放版本代替所述顯示器第一區(qū)域內(nèi)的所述第一圖像的第一縮放版本；將第二圖像的中央部分的全分辨率版本與第一圖像的中央部分的全分辨率版本縫合在一起以生成第一合成縫合圖像，第一圖像的中央部分與第二圖像的中央部分共享重疊區(qū)域；在存儲(chǔ)器中存儲(chǔ)所述第一合成縫合圖像；將第一圖像的中央部分的第二縮放版本與第二圖像的中央部分的第二縮放版本縫合在一起以生成第二合成縫合圖像，第一圖像的中央部分的第二縮放版本與第二圖像的中央部分的第二縮放版本一起共享所述重疊區(qū)域；以及在第二時(shí)刻在顯示器的第二區(qū)域內(nèi)顯示所述第二合成縫合圖像。
[0023]在此描述的另一個(gè)實(shí)施例中，公開(kāi)了一種圖像處理方法，包括:接收由與設(shè)備通信的相機(jī)捕捉的圖像流，該圖像流包括全景場(chǎng)景；以及對(duì)于每個(gè)接收到的圖像:將表示所述圖像的數(shù)據(jù)的第一部分沿第一圖形流水線向下發(fā)送，用以在所述設(shè)備處生成并顯示所述圖像的實(shí)時(shí)預(yù)覽；以及確定是否將所述圖像濾波，并且對(duì)于確定為不會(huì)被濾波的每個(gè)圖像:將表示所述圖像的數(shù)據(jù)的第二部分沿第二圖形流水線向下發(fā)送，用以生成所述圖像的全景預(yù)覽的一部分，其中所生成的所述圖像的全景預(yù)覽的一部分被縫合至所述圖像的全景預(yù)覽以創(chuàng)建所述圖像的合成全景預(yù)覽，并且其中在所述設(shè)備處實(shí)時(shí)顯示所述圖像的合成全景預(yù)覽。
[0024]根據(jù)在此描述的各實(shí)施例的用于手持式個(gè)人電子設(shè)備的全景攝影處理技術(shù)可由設(shè)備的硬件和/或軟件直接實(shí)現(xiàn)，由此使得這些魯棒的全景攝影處理技術(shù)可被方便地應(yīng)用于具有合適的位置傳感器和處理能力的許多電子設(shè)備，諸如移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、便攜式音樂(lè)播放器、數(shù)碼相機(jī)、以及膝上型和平板計(jì)算機(jī)系統(tǒng)。
【專利附圖】

【附圖說(shuō)明】
[0025]圖1示出了根據(jù)一個(gè)實(shí)施例的用于全景攝影的系統(tǒng)。
[0026]圖2示出了根據(jù)一個(gè)實(shí)施例的用于在位置傳感器的輔助下創(chuàng)建全景圖像的處理。
[0027]圖3示出了根據(jù)一個(gè)實(shí)施例的由電子設(shè)備捕捉的示例性全景場(chǎng)景。
[0028]圖4示出了根據(jù)一個(gè)實(shí)施例的執(zhí)行用于全景攝影的位置傳感器輔助的運(yùn)動(dòng)濾波的處理。
[0029]圖5A示出了根據(jù)一個(gè)實(shí)施例的由以恒定速度跨場(chǎng)景搖攝的電子設(shè)備捕捉的示例性全景場(chǎng)景。
[0030]圖5B示出了根據(jù)一個(gè)實(shí)施例的由以非恒定速度跨場(chǎng)景搖攝的電子設(shè)備捕捉的示例性全景場(chǎng)景。
[0031]圖6示出了根據(jù)一個(gè)實(shí)施例的圖像部分，即圖像“狹縫”或“切片”。
[0032]圖7示出了根據(jù)一個(gè)實(shí)施例的利用特征檢測(cè)的圖像配準(zhǔn)技術(shù)。
[0033]圖8示出了根據(jù)現(xiàn)有技術(shù)的示例性縫合圖像。
[0034]圖9示出了根據(jù)一個(gè)實(shí)施例的包括圖像狹縫的示例性縫合圖像。
[0035]圖10以流程圖的形式示出了根據(jù)一個(gè)實(shí)施例的全景攝影處理技術(shù)。
[0036]圖1lA示出了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)全景預(yù)覽圖像。
[0037]圖1lB示出了根據(jù)一個(gè)實(shí)施例的用于全景攝影的示例性分割圖形處理流水線。
[0038]圖12示出了根據(jù)一個(gè)實(shí)施例的用于全景攝影的分割圖形處理流水線系統(tǒng)。
[0039]圖13示出了包括顯示器的代表性電子設(shè)備的簡(jiǎn)化功能性框圖?！揪唧w實(shí)施方式】
[0040]本公開(kāi)涉及用于在手持式個(gè)人電子設(shè)備中執(zhí)行全景攝影處理技術(shù)的設(shè)備、方法和計(jì)算機(jī)可讀介質(zhì)。本文描述的全景攝影處理技術(shù)可采用以下幾個(gè)一般性步驟來(lái)實(shí)現(xiàn):1.)從電子設(shè)備的圖像傳感器的圖像流中獲取圖像數(shù)據(jù)(該圖像流可以以隨著用戶跨全景場(chǎng)景搖攝設(shè)備而連續(xù)捕捉的圖像幀的形式出現(xiàn));2.)在設(shè)備的顯示器上實(shí)時(shí)顯示該圖像數(shù)據(jù)的縮放的預(yù)覽版本；3.)對(duì)獲取的圖像數(shù)據(jù)執(zhí)行“運(yùn)動(dòng)濾波”(例如，使用從嵌入在該手持式個(gè)人電子設(shè)備內(nèi)的位置傳感器返回的信息來(lái)通知圖像數(shù)據(jù)的處理);4.)生成沒(méi)有被所述“運(yùn)動(dòng)濾波”處理濾除的圖像部分(例如，“狹縫”或“切片”)的全分辨率和較低分辨率版本；5.)將全分辨率和較低分辨率圖像“狹縫”或“切片”兩者基本同時(shí)分別“縫合”在一起以創(chuàng)建全景場(chǎng)景；以及6.)基本同時(shí)地將較低分辨率圖像“狹縫”或“切片”的經(jīng)縫合版本發(fā)送至設(shè)備的顯示器上的預(yù)覽區(qū)域，并將全分辨率圖像“狹縫”或“切片”的經(jīng)縫合版本存儲(chǔ)至存儲(chǔ)器。
[0041]在此公開(kāi)的技術(shù)可應(yīng)用于具有光學(xué)傳感器的許多電子設(shè)備，諸如數(shù)碼相機(jī)、數(shù)碼攝像機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、便攜式音樂(lè)播放器、以及膝上型和平板計(jì)算機(jī)系統(tǒng)。
[0042]出于清楚的考慮，沒(méi)有在本說(shuō)明書中描述實(shí)際實(shí)現(xiàn)的所有特征。當(dāng)然將會(huì)理解的是，在任何這類實(shí)際實(shí)現(xiàn)的研發(fā)過(guò)程中(如同在任何研發(fā)項(xiàng)目中)，必須做出眾多決定以實(shí)現(xiàn)研發(fā)人員的特定目標(biāo)(例如，與系統(tǒng)和商業(yè)相關(guān)的限制兼容)，并且這些目標(biāo)將會(huì)隨著不同的實(shí)現(xiàn)而改變。還將會(huì)理解的是，雖然這些研發(fā)努力可能是復(fù)雜且費(fèi)時(shí)的，但無(wú)非是從本公開(kāi)獲益的本領(lǐng)域普通技術(shù)人員進(jìn)行的常規(guī)性工作。
[0043]在隨后的描述中，將出于解釋的目的闡述各種特定細(xì)節(jié)，由此提供對(duì)本發(fā)明原理的透徹理解。作為說(shuō)明書的一部分，某些結(jié)構(gòu)和設(shè)備可以按框圖形式示出以避免混淆本發(fā)明。此外，本公開(kāi)中使用的語(yǔ)言已主要出于可讀性和指導(dǎo)目的而被選擇，并且可能并未被選擇用于對(duì)本發(fā)明主題進(jìn)行劃界或限定，對(duì)本發(fā)明主題的確定需要訴諸于權(quán)利要求書。本說(shuō)明書中對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的引用意味著結(jié)合實(shí)施例所描述的具體特征、結(jié)構(gòu)或特性包括在本發(fā)明至少一個(gè)實(shí)施例中，并且對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的多次引用不應(yīng)被理解為必須全都指向同一實(shí)施例。
[0044]現(xiàn)在參考圖1，示出了根據(jù)一個(gè)實(shí)施例的用于全景攝影的系統(tǒng)100。圖1描繪的系統(tǒng)100可在邏輯上被分成三個(gè)分開(kāi)的層。簡(jiǎn)單地作為從邏輯上組織全景攝影系統(tǒng)功能的方式來(lái)呈現(xiàn)這些層。實(shí)踐中，各層可以位于同一設(shè)備內(nèi)或跨多個(gè)設(shè)備分布。作為替換，某些層在某些實(shí)施例中可能根本不存在。
[0045]首先將描述相機(jī)層120。相機(jī)層120包括具有能夠捕捉圖像數(shù)據(jù)流126(例如，以各單個(gè)圖像幀128的圖像流或視頻流的形式)的一個(gè)或多個(gè)圖像傳感器的個(gè)人電子設(shè)備122。在某些實(shí)施例中，圖像可由設(shè)備122的圖像傳感器以30fps的速率捕捉。如圖像流126中的圖像幀128所示，樹(shù)對(duì)象130已在設(shè)備122跨全景場(chǎng)景搖攝時(shí)由設(shè)備122捕捉。圖1中的實(shí)箭頭表示圖像數(shù)據(jù)的移動(dòng)。
[0046]接下來(lái)，將以常規(guī)術(shù)語(yǔ)描述全景處理層160。如上所述，系統(tǒng)100可以包括接收來(lái)自相機(jī)層120的圖像流128作為輸入的全景處理模塊162。全景處理模塊162可以優(yōu)選地駐留于在設(shè)備122的操作系統(tǒng)內(nèi)運(yùn)行的應(yīng)用層級(jí)上。全景處理模塊162可以執(zhí)行諸如如下的任務(wù):圖像配準(zhǔn)、幾何學(xué)校正、對(duì)齊以及“縫合”或融合。最后，全景處理模塊162可選地可以在將最終全景圖像發(fā)送至存儲(chǔ)層180以供在存儲(chǔ)單元182中永久或臨時(shí)存儲(chǔ)之前裁剪該最終全景圖像。存儲(chǔ)單元182可以包括例如一種或多種不同類型的存儲(chǔ)器，例如高速緩存、ROM和/或RAM。
[0047]如上所述，執(zhí)行全景攝影處理的設(shè)備可以包括某些位置傳感器。位置傳感器例如可以包括允許計(jì)算從幀到幀的相機(jī)設(shè)備的旋轉(zhuǎn)變化的MEMS陀螺儀，或是MEMS加速度計(jì)，諸如超緊湊低功率三軸線性加速度計(jì)。加速度計(jì)可以包括感測(cè)元件以及能夠通過(guò)串行接口提供測(cè)得的設(shè)備加速度的集成電路(IC)接口。與執(zhí)行全景攝影處理的設(shè)備通信的運(yùn)動(dòng)濾波模塊可以接收來(lái)自設(shè)備的位置傳感器的輸入。從位置傳感器接收到的這類信息隨后可由運(yùn)動(dòng)濾波模塊使用以確定高效地構(gòu)建合成全景場(chǎng)景將會(huì)需要圖像流126中的哪些圖像幀128。在某些實(shí)施例中，運(yùn)動(dòng)濾波可以僅保留由設(shè)備122的圖像傳感器捕捉的每大約三幅圖像幀128中的一幅圖像，由此降低那三分之二的處理的存儲(chǔ)器占用空間。通過(guò)以智能高效的方式消除冗余圖像數(shù)據(jù)(例如，通過(guò)從設(shè)備122的位置傳感器接收到的位置信息的驅(qū)動(dòng))，運(yùn)動(dòng)濾波模塊可以具有濾除足夠量的無(wú)關(guān)圖像數(shù)據(jù)的能力，由此使得全景處理層160接收具有理想重疊的圖像幀并且能夠?qū)D像數(shù)據(jù)的高分辨率和/或低分辨率版本執(zhí)行實(shí)時(shí)全景處理，可選地在組裝該全景圖像時(shí)向設(shè)備122的顯示屏實(shí)時(shí)顯示該全景圖像。
[0048]現(xiàn)參見(jiàn)圖2，以流程圖的形式高層級(jí)地示出了根據(jù)一個(gè)實(shí)施例的在位置傳感器的輔助下創(chuàng)建全景圖像的說(shuō)明性處理200。首先，例如手持式個(gè)人電子設(shè)備的電子設(shè)備包括一個(gè)或多個(gè)圖像傳感器以及一個(gè)或多個(gè)位置傳感器，使用其一個(gè)或多個(gè)圖像傳感器捕捉圖像數(shù)據(jù)，其中捕捉到的圖像數(shù)據(jù)可以采取圖像幀的圖像流的形式(步驟202)。接下來(lái)，對(duì)獲取的圖像數(shù)據(jù)執(zhí)行運(yùn)動(dòng)濾波，例如使用相機(jī)的位置傳感器來(lái)輔助運(yùn)動(dòng)濾波決定(步驟204)。一旦創(chuàng)建了經(jīng)運(yùn)動(dòng)濾波的圖像流，處理200就可以嘗試在來(lái)自圖像流的相繼捕捉的圖像幀之間執(zhí)行圖像配準(zhǔn)(步驟206)。通過(guò)使用從設(shè)備內(nèi)的位置傳感器接收到的信息，圖像配準(zhǔn)處理206可被簡(jiǎn)化并變得更有效率，如在具有律師案卷號(hào)P10714US1 (119-0226US)的美國(guó)專利申請(qǐng)中進(jìn)一步詳細(xì)解釋的那樣，該申請(qǐng)通過(guò)上述引用而被并入。接下來(lái)，可以對(duì)捕捉的圖像數(shù)據(jù)執(zhí)行任何必須的幾何學(xué)校正(步驟208)。對(duì)捕捉的圖像幀進(jìn)行幾何學(xué)校正的需要可由例如相機(jī)在相繼捕捉的圖像幀之間的運(yùn)動(dòng)或旋轉(zhuǎn)導(dǎo)致，上述運(yùn)動(dòng)或旋轉(zhuǎn)在相機(jī)沒(méi)有圍繞其COP點(diǎn)旋轉(zhuǎn)的情況下會(huì)改變相機(jī)的透視并導(dǎo)致視差錯(cuò)誤。接下來(lái)，全景圖像處理200可以對(duì)獲取的圖像數(shù)據(jù)執(zhí)行“縫合”和/或融合(步驟210)。如果還剩有要被添加至合成全景圖像的圖像數(shù)據(jù)(步驟212)，處理200可以返回至步驟202并且執(zhí)行該處理200以獲取要被處理并添加至全景圖像的下一圖像幀。如果相反地，在步驟212沒(méi)有圖像數(shù)據(jù)剩余，則最終圖像可被可選地裁剪(步驟214)和/或存儲(chǔ)在某一形式的易失性或非易失性存儲(chǔ)器中(步驟216)。還應(yīng)注意到的是，作為圖像獲取步驟的步驟202在實(shí)際情況下可在全景圖像捕捉處理期間持續(xù)發(fā)生，即與步驟204-210的執(zhí)行是同時(shí)發(fā)生的。于是，圖2僅僅是出于說(shuō)明的目的，而非指示捕捉圖像數(shù)據(jù)的動(dòng)作是在步驟204-210執(zhí)行期間停止的分立事件。在相機(jī)設(shè)備的用戶指示期望停止全景圖像捕捉處理或在相機(jī)設(shè)備用盡分配給該處理的可用存儲(chǔ)器的情況下，圖像獲取持續(xù)到步驟212。
[0049]現(xiàn)在已經(jīng)從系統(tǒng)方面和步驟方面在高層級(jí)上描述了全景圖像處理200，接下來(lái)將更詳細(xì)地關(guān)注在圖像捕捉設(shè)備本身的位置傳感器的輔助下高效且有效地創(chuàng)建全景照片的處理，以及對(duì)捕捉圖像的全分辨率部分和較低分辨率部分兩者進(jìn)行操作的分割圖形處理流水線。
[0050]現(xiàn)轉(zhuǎn)向圖3，示出了根據(jù)一個(gè)實(shí)施例的由電子設(shè)備308捕捉的示例性全景場(chǎng)景300。如圖3所示，全景場(chǎng)景300包括構(gòu)成城市空中輪廓線的一系列建筑。城市空中輪廓線是經(jīng)常期望以全景照片捕捉的廣視野場(chǎng)景的一個(gè)例子。理想地，全景照片可以按照人眼在此場(chǎng)景下觀看的近似方式來(lái)描繪場(chǎng)景，即具有接近180度的視野。如圖3所示，全景場(chǎng)景300包括160度的視野。
[0051]用“x”標(biāo)記的軸306表示相機(jī)設(shè)備308在捕捉全景場(chǎng)景300期間的定向移動(dòng)軸。如圖3所示，相機(jī)設(shè)備308在給定時(shí)間間隔trt5上相對(duì)于X軸向右平移，隨著相機(jī)設(shè)備308沿著其全景路徑移動(dòng)來(lái)捕捉全景場(chǎng)景300的連續(xù)圖像。在其他實(shí)施例中，全景掃視可以涉及相機(jī)設(shè)備繞軸旋轉(zhuǎn)，或是相機(jī)繞軸旋轉(zhuǎn)和相機(jī)沿軸平移的組合。如相機(jī)設(shè)備308的虛線版本所示，在如圖3所示的假想全景場(chǎng)景捕捉期間，相機(jī)設(shè)備308將在時(shí)刻^處于位置308:，隨后在時(shí)刻t2處于位置3082，以此類推，直到在時(shí)刻t5到達(dá)位置3085，全景路徑將在該位置3085結(jié)束，并且相機(jī)設(shè)備308的用戶將指示相機(jī)設(shè)備停止捕捉全景場(chǎng)景300的連續(xù)圖像。
[0052]圖像幀31(^-31(^表示由相機(jī)設(shè)備308在圖3所示的假想全景場(chǎng)景捕捉期間在對(duì)應(yīng)時(shí)刻和位置捕捉的圖像幀。也就是說(shuō)，圖像幀SlO1對(duì)應(yīng)于由相機(jī)設(shè)備308在位置308:和時(shí)刻h捕捉的圖像幀。注意到相機(jī)設(shè)備308在位置SOS1時(shí)的視野(被標(biāo)記為302J與用戶304和正被捕捉的全景場(chǎng)景300之間的距離結(jié)合，決定了可以在單個(gè)圖像幀310內(nèi)捕捉的全景場(chǎng)景的量。在傳統(tǒng)的全景攝影中，攝像者可以在多個(gè)不同的設(shè)定位置處拍攝全景場(chǎng)景的一系列獨(dú)立照片，嘗試完全覆蓋該全景場(chǎng)景，并在同時(shí)實(shí)現(xiàn)相鄰照片之間的足夠重疊以使這些照片可被對(duì)齊并“縫合”在一起，例如使用在計(jì)算機(jī)或相機(jī)設(shè)備本身上運(yùn)行的后處理軟件。在某些實(shí)施例中，期望相鄰照片間具有足量的重疊，以使得后處理軟件可以確定相鄰照片彼此對(duì)齊的方式，從而可以在隨后將這些照片縫合在一起并且可選地在它們的重疊區(qū)域內(nèi)進(jìn)行融合以創(chuàng)建合成全景場(chǎng)景。如圖3所示，單個(gè)幀310展現(xiàn)出與相鄰圖像幀約25%的重疊。在某些實(shí)施例中，取決于相機(jī)設(shè)備的存儲(chǔ)器和處理限制以及所使用的圖像配準(zhǔn)算法，可能會(huì)期望相鄰圖像幀之間具有更大的重疊。
[0053] 在相機(jī)設(shè)備308是視頻捕捉設(shè)備的情況下，相機(jī)可以具有每秒捕捉30幀或更多幀的能力。如下將會(huì)更詳細(xì)解釋的，以這一捕捉速率，大部分的圖像數(shù)據(jù)是冗余的，并且提供比縫合軟件創(chuàng)建合成全景圖像所需的大得多的相鄰圖像間的重疊。因此，使用位置傳感器輔助的全景攝影技術(shù)，設(shè)備可以智能且高效地確定哪些捕捉到的圖像幀可以在合成全景圖像的創(chuàng)建中使用以及哪些捕捉到的圖像幀可以作為過(guò)度冗余被丟棄。
[0054]現(xiàn)參見(jiàn)圖4，以流程圖的形式示出了根據(jù)一個(gè)實(shí)施例的用于執(zhí)行用于全景攝影的位置傳感器輔助的運(yùn)動(dòng)濾波的說(shuō)明性處理204。圖4提供了如上參考圖2描述的運(yùn)動(dòng)濾波步驟204的更多細(xì)節(jié)。首先，從例如手持式個(gè)人電子設(shè)備的電子設(shè)備的圖像傳感器獲取圖像幀，并且將該圖像幀指定為針對(duì)運(yùn)動(dòng)濾波目的的“當(dāng)前圖像幀”(步驟400)。接下來(lái)，獲取位置數(shù)據(jù)，例如使用設(shè)備的陀螺儀或加速度計(jì)(步驟402)。在此，處理204可能需要在時(shí)間上對(duì)從加速度計(jì)和/或陀螺儀獲取的位置數(shù)據(jù)和獲取的圖像幀進(jìn)行校正(即，時(shí)間同步)，如果還沒(méi)有進(jìn)行的話。因?yàn)橄鄼C(jī)設(shè)備的圖像傳感器和位置傳感器可能具有不同的采樣速率和/或具有不同的數(shù)據(jù)處理速率，所以確切知曉給定的一組位置傳感器數(shù)據(jù)鏈接到哪個(gè)或哪些圖像幀會(huì)是重要的。在一個(gè)實(shí)施例中，處理204可將第一系統(tǒng)中斷用作參考點(diǎn)以將圖像數(shù)據(jù)與位置數(shù)據(jù)同步，并在隨后依賴對(duì)各位置傳感器的采樣速率的知識(shí)繼續(xù)保持圖像數(shù)據(jù)與位置數(shù)據(jù)的正確時(shí)間同步。在另一個(gè)實(shí)施例中，可以使用周期性系統(tǒng)中斷來(lái)更新或維持同步信息。[0055]接下來(lái)，運(yùn)動(dòng)濾波處理204可以使用位置傳感器數(shù)據(jù)(以及來(lái)自圖像配準(zhǔn)處理206的反饋)確定當(dāng)前圖像幀和在前分析的圖像幀(如果有的話)之間的旋轉(zhuǎn)角(步驟406)。例如，運(yùn)動(dòng)濾波處理204可以通過(guò)對(duì)在前捕捉的圖像幀持續(xù)時(shí)間的旋轉(zhuǎn)角進(jìn)行積分并且計(jì)算當(dāng)前圖像幀平均旋轉(zhuǎn)角來(lái)計(jì)算旋轉(zhuǎn)角。在某些實(shí)施例中，可以咨詢“查找表”(LUT)。在這一實(shí)施例中，LUT可以具有各種旋轉(zhuǎn)量的項(xiàng)，其中的旋轉(zhuǎn)量與可能從合成全景圖像的組裝中濾除的多個(gè)圖像相關(guān)。如果當(dāng)前圖像幀的旋轉(zhuǎn)角已經(jīng)超過(guò)了旋轉(zhuǎn)閾值(步驟408)，則處理204可以行進(jìn)至圖2所示處理流程圖中的步驟206以執(zhí)行圖像配準(zhǔn)(步驟410)。如果相反地，在步驟408，確定當(dāng)前圖像幀尚未超過(guò)旋轉(zhuǎn)閾值量，則可以丟棄該當(dāng)前圖像幀(即，從合成全景圖像的組裝中濾除)(步驟412)，并且處理204可以回到步驟400以獲取下一個(gè)捕捉的圖像幀，在此處理204可以重復(fù)運(yùn)動(dòng)濾波分析以確定所述下一幀是否值得為合成全景圖像保留。換句話說(shuō)，使用運(yùn)動(dòng)濾波，圖像幀不是僅僅每三幀或每五幀地丟棄；相反地，要丟棄的圖像幀由用于計(jì)算哪些圖像幀可能會(huì)提供組裝的合成全景圖像的完全覆蓋的運(yùn)動(dòng)濾波模塊所確定。
[0056]現(xiàn)轉(zhuǎn)向圖5A，示出了根據(jù)一個(gè)實(shí)施例由以恒定速度跨全景場(chǎng)景搖攝的電子設(shè)備308捕捉的示例性全景場(chǎng)景300。圖5A示出了可由運(yùn)動(dòng)濾波模塊在恒定速度跨全景場(chǎng)景進(jìn)行全景掃視期間作出的示例性決定。如圖5A所示，全景掃視在設(shè)備位置308stakt開(kāi)始并在位置308stcp結(jié)束。與軸306平行的虛線表示設(shè)備308全景掃視的路徑，并由〃 (dx/dt>0，d2x/dt2=0)〃標(biāo)記以指示在設(shè)備以某一速度移動(dòng)時(shí)，其速度在該全景掃視期間不改變。
[0057]在圖5A的示例性實(shí)施例中，設(shè)備308以例如30幀每秒的幀速率捕捉視頻圖像流500。由此并且出于例示的目的，持續(xù)2.5秒的掃視可以如圖5A所示捕捉75幅圖像幀502。圖像幀502由下標(biāo)范圍在502^502^的編號(hào)標(biāo)記，以指示圖像幀502在全景場(chǎng)景300的全景掃視期間被捕捉的次序。正如可從捕捉的眾多圖像幀502可見(jiàn)，后處理軟件僅需要圖像幀的個(gè)別子集來(lái)組裝合成全景照片。通過(guò)智能消除冗余數(shù)據(jù)，全景攝影處理200可以在設(shè)備308上更為平滑地運(yùn)行，甚至允許設(shè)備308隨著全景場(chǎng)景被捕捉實(shí)時(shí)提供預(yù)覽并組裝合成全景照片。
[0058]選擇捕捉的圖像幀以包括在合成全景照片的組裝中的頻率可以取決于許多因素，包括:設(shè)備308的視野302 ;相機(jī)設(shè)備308和正被捕捉的全景場(chǎng)景300之間的距離；以及相機(jī)設(shè)備308搖攝的速度和/或加速度。在圖5A的示例性實(shí)施例中，運(yùn)動(dòng)濾波模塊已經(jīng)確定圖像幀5022，50220) 50238) 50256和50274需要被包括在合成全景照片的構(gòu)造中。換句話說(shuō)，在圖5A的示例中，大約每第18個(gè)捕捉的圖像幀可被包括在合成全景照片的構(gòu)造中。如下將參考圖5B可見(jiàn)的，在由運(yùn)動(dòng)濾波模塊選擇用于包括的圖像幀之間的捕捉的圖像幀的數(shù)量可以大于或小于18，并且實(shí)際上可以基于例如相機(jī)設(shè)備308在掃視期間的速度、掃視期間的加速度或減速度、以及相機(jī)設(shè)備308在全景掃視期間的旋轉(zhuǎn)，在整個(gè)全景掃視過(guò)程中或在全景掃視期間改變。
[0059]如圖5A所示，相鄰所選圖像幀之間存在約25%的重疊。在某些實(shí)施例中，取決于相機(jī)設(shè)備的存儲(chǔ)器和處理限制以及使用的圖像配準(zhǔn)算法，將會(huì)期望相鄰所選圖像幀之間更多的重疊。如下將參考圖6更為詳細(xì)描述的，使用足夠大的幀每秒的捕捉速率，甚至可以通過(guò)僅分析每個(gè)捕捉到的圖像幀的“狹縫”或“切片”而非整個(gè)捕捉到的圖像幀來(lái)實(shí)現(xiàn)更高效率的全景攝影處理200。
[0060]現(xiàn)轉(zhuǎn)向圖5B，示出了根據(jù)一個(gè)實(shí)施例由以非恒定速度跨全景場(chǎng)景搖攝的電子設(shè)備308捕捉的示例性全景場(chǎng)景300。圖5B示出了可由運(yùn)動(dòng)濾波模塊在非恒定速度跨全景場(chǎng)景進(jìn)行全景掃視期間作出的示例性決定。如圖5B所示，全景掃視在設(shè)備位置308stakt開(kāi)始并在位置308STOP結(jié)束。與軸306平行的虛線表示設(shè)備308全景掃視的路徑，并由〃 (dx/dt>0，d2x/dt2幸0)〃標(biāo)記以指示設(shè)備以某一非零速度移動(dòng)且其速度沿著全景路徑改變。
[0061]在圖5B的示例性實(shí)施例中，設(shè)備308以例如30幀每秒的幀速率捕捉視頻圖像流504。由此并且出于例示的目的，持續(xù)2.1秒的掃視可以如圖5B所示捕捉63幅圖像幀506。圖像幀506由下標(biāo)范圍在506^506^的編號(hào)標(biāo)記，以指示圖像幀506在全景場(chǎng)景300的全景掃視期間被捕捉的次序。
[0062]在圖5B的示例性實(shí)施例中，運(yùn)動(dòng)濾波模塊已經(jīng)確定圖像幀5062，5068，50626，50644和50662需要被包括在合成全景照片的構(gòu)造中。換句話說(shuō)，在由運(yùn)動(dòng)濾波模塊選擇的圖像幀之間的捕捉的圖像幀的數(shù)量可以基于例如相機(jī)設(shè)備308在掃視期間的速度、掃視期間的加速度或減速度、以及相機(jī)設(shè)備308在全景掃視期間的旋轉(zhuǎn)，在整個(gè)全景掃視過(guò)程中或在全景掃視期間改變。
[0063]如圖5B所示，設(shè)備308的移動(dòng)在全景掃視的第一個(gè)四分之一期間較快(將全景掃視開(kāi)始處虛線中較長(zhǎng)的虛線與全景掃視結(jié)束處虛線中較短的虛線相比)。由此，運(yùn)動(dòng)濾波模塊已經(jīng)確定在選擇圖像幀5062之后，到相機(jī)設(shè)備308剛好已捕捉后面六個(gè)圖像幀之時(shí)，相機(jī)已經(jīng)移動(dòng)通過(guò)了足夠的全景場(chǎng)景300 (歸因于相機(jī)設(shè)備的旋轉(zhuǎn)、平移或兩者的結(jié)合)而必須選擇圖像幀5068以包括在合成全景照片內(nèi)。在捕捉了圖像幀5068之后，相機(jī)設(shè)備308在全景掃視期間的移動(dòng)減慢到與上述參考圖5A描述的全景掃視的步調(diào)更為類似的水平。由此，運(yùn)動(dòng)濾波模塊可以再次確定每18個(gè)幀的捕捉是否能提供足夠的全景場(chǎng)景覆蓋。由此，選擇圖像幀50626，50644和50662以包括在合成全景照片的構(gòu)造內(nèi)。通過(guò)實(shí)時(shí)對(duì)相機(jī)設(shè)備308的運(yùn)動(dòng)做出反應(yīng)，全景攝影處理200可以智能且高效地選擇圖像數(shù)據(jù)以發(fā)送至全景攝影處理200中計(jì)算量更大的配準(zhǔn)和縫合部分。換句話說(shuō)，運(yùn)動(dòng)濾波動(dòng)作發(fā)生的速率可以與設(shè)備在圖像捕捉期間加速和/或旋轉(zhuǎn)的速率直接相關(guān)。
[0064]如上所述，現(xiàn)代圖像傳感器能夠以相當(dāng)高的捕捉速率(例如，30幀每秒)捕捉相當(dāng)大的圖像(例如，八百萬(wàn)像素的圖像)。給定平均全景照片的搖攝速度，這些圖像傳感器就能夠在極短的時(shí)間內(nèi)產(chǎn)生極大量的數(shù)據(jù)(雖然不是必須處理的數(shù)據(jù))。這樣產(chǎn)生的大部分圖像數(shù)據(jù)在相繼捕捉的圖像幀之間具有大量的重疊。由此，發(fā)明人就已意識(shí)到可以僅對(duì)每個(gè)所選圖像幀的一部分(例如，圖像幀的“狹縫”或“切片”)進(jìn)行操作，這樣可獲得更高的效率。在一個(gè)優(yōu)選實(shí)施例中，狹縫可以包括每幅圖像幀中央的12.5%。
[0065]現(xiàn)轉(zhuǎn)到圖6，示出了根據(jù)一個(gè)實(shí)施例的圖像“狹縫”或“切片”604。在圖6中，業(yè)已經(jīng)由標(biāo)記為602:-60?的所選圖像幀序列捕捉了全景場(chǎng)景600。正如以上參考運(yùn)動(dòng)濾波所討論的，標(biāo)記為602:-6024^所選圖像幀可以表示實(shí)現(xiàn)全景場(chǎng)景600的一部分的全覆蓋所需的圖像幀。標(biāo)記線606指示了全景場(chǎng)景600中與第一捕捉圖像幀602:相對(duì)應(yīng)的部分。每個(gè)捕捉圖像幀602的中央部分604表示將被用于構(gòu)建合成全景照片的所選圖像狹縫或切片。如圖6所示，圖像狹縫包括圖像幀中央的約12.5%。圖像幀602的陰影區(qū)域可以作為其他捕捉圖像數(shù)據(jù)的過(guò)度冗余而被類似地丟棄。根據(jù)在此描述的一個(gè)實(shí)施例，標(biāo)記為601-601的每個(gè)所選圖像狹縫可被相繼對(duì)齊，縫合在一起，并且在其重疊區(qū)域內(nèi)被融合，以產(chǎn)生合成全景圖像部分608。部分608表示在四個(gè)圖像狹縫604-601中捕捉的全景場(chǎng)景區(qū)域。此外，發(fā)明人已經(jīng)意外發(fā)現(xiàn)通過(guò)僅對(duì)由運(yùn)動(dòng)濾波針對(duì)附加處理選擇的每個(gè)圖像幀的一部分(例如，每個(gè)所選圖像幀的中央部分)進(jìn)行操作，一些諸如桶形或枕形失真、鏡頭陰影、漸暈之類的光學(xué)偽像(靠近捕捉圖像邊緣愈發(fā)明顯)會(huì)一并消失或消除。此外，僅對(duì)每個(gè)所選圖像幀的部分進(jìn)行操作可以為全景攝影處理200創(chuàng)建更小的臨時(shí)存儲(chǔ)器占用空間，如下將進(jìn)一步描述的，這在組裝全分辨率全景圖像時(shí)會(huì)變得重要。
[0066]現(xiàn)將以高層級(jí)描述如在位置傳感器輔助的全景攝影的一個(gè)實(shí)施例中所應(yīng)用的圖像配準(zhǔn)處理206。有關(guān)該圖像配準(zhǔn)處理的進(jìn)一步的細(xì)節(jié)在具有律師案卷號(hào)N0.P10714USl(119-0226US)的美國(guó)專利申請(qǐng)中有著進(jìn)一步詳細(xì)解釋，該申請(qǐng)通過(guò)上述引用并入。
[0067]于是，以一般性的術(shù)語(yǔ)，該配準(zhǔn)處理206可以獲取要被配準(zhǔn)的兩幅圖像(或圖像狹縫)，并在隨后將各幅圖像分割成多個(gè)分段。除了圖像信息之外，處理206還可以獲取與要被配準(zhǔn)的圖像幀相對(duì)應(yīng)的位置信息。通過(guò)使用例如包括特征檢測(cè)算法(或，交叉相關(guān)算法)的圖像配準(zhǔn)算法，可以為圖像的每個(gè)分段計(jì)算搜索矢量。分段搜索矢量可被定義為表示轉(zhuǎn)換的矢量，該轉(zhuǎn)換將會(huì)需要被應(yīng)用給來(lái)自第一圖像的所述分段以給出其在第二圖像中的位置。一旦搜索矢量被算出，處理206就可以考慮從設(shè)備的位置傳感器獲取的位置信息，并且丟棄其中算出的搜索矢量與獲取的位置數(shù)據(jù)不一致的分段的任何搜索矢量。也就是說(shuō)，處理206可以丟棄與位置信息指示的移動(dòng)方向相反或基本相反的任何搜索矢量。例如，如果位置信息指示相機(jī)已經(jīng)在相繼圖像幀之間向右旋轉(zhuǎn)并且該圖像內(nèi)的對(duì)象向右移動(dòng)(即，在給定相機(jī)移動(dòng)的情況下與期望的方向相反)或者甚至是從一張捕捉圖像到下一張捕捉圖像保持不動(dòng)，則處理206可以確定該特定分段是否表示異常亦或是無(wú)用的搜索矢量。于是可以從整個(gè)圖像配準(zhǔn)計(jì)算中丟棄與給定位置傳感器信息的情況下的期望運(yùn)動(dòng)相反的分段搜索矢量。
[0068]現(xiàn)在轉(zhuǎn)向圖7，示出了根據(jù)一個(gè)實(shí)施例的位置信息輔助的特征檢測(cè)。在圖7中，示出第一幀700并將其標(biāo)記為〃幀1〃，并且示出第二幀750并將其標(biāo)記為〃幀2〃。幀I表示在相機(jī)搖攝移動(dòng)至右側(cè)期間緊接在幀2之前或接近緊接在幀2之前捕捉的圖像。由此，圖像中固定對(duì)象的期望運(yùn)動(dòng)將會(huì)是相對(duì)于圖像的觀察者向左。于是，與相機(jī)運(yùn)動(dòng)方向相反的局部主體運(yùn)動(dòng)將會(huì)是向右(或者在對(duì)象相對(duì)于相機(jī)正以相同速度運(yùn)動(dòng)的情況下甚至看上去是固定的)。當(dāng)然，局部主體運(yùn)動(dòng)可以處于許多方向內(nèi)，具有任意速度并位于整個(gè)圖像上。做出的重要觀察在于局部主體運(yùn)動(dòng)不取決于相繼捕捉圖像之間的多數(shù)運(yùn)動(dòng)，并且由此局部主體運(yùn)動(dòng)會(huì)妨礙圖像配準(zhǔn)計(jì)算而不是輔助圖像配準(zhǔn)計(jì)算。
[0069]現(xiàn)將對(duì)位于幀I和幀2中的五個(gè)示例性特征(編號(hào)為1-5)的搜索矢量進(jìn)行更詳細(xì)分析。特征I和2對(duì)應(yīng)于全景場(chǎng)景中建筑物之一的邊或角。如幀2中所示，這兩個(gè)特征在兩個(gè)幀之間向左移動(dòng)。這是在給定相機(jī)方向向右運(yùn)動(dòng)的情況下的預(yù)期移動(dòng)。特征3類似地表示在給定相機(jī)運(yùn)動(dòng)方向的情況下已經(jīng)在幀之間以預(yù)期方向移動(dòng)的固定特征，例如樹(shù)。特征4和5對(duì)應(yīng)于鳥(niǎo)的翼尖附近的邊緣。隨著全景場(chǎng)景被捕捉，這只鳥(niǎo)可能以相機(jī)的運(yùn)動(dòng)方向飛行，由此使得針對(duì)特征4和5計(jì)算的搜索矢量指向右，與特征1、2和3的方向相反。這類局部主體運(yùn)動(dòng)可能會(huì)劣化圖像配準(zhǔn)確定，這是因?yàn)樗⑽磳?shí)際表明從幀I至幀2的整體平移矢量。由此并且使用從捕捉全景場(chǎng)景的設(shè)備內(nèi)的位置傳感器接收到的提示，可以從圖像配準(zhǔn)確定中丟棄這些特征(或者更確切地，圍繞這些特征的圖像數(shù)據(jù)的區(qū)域)。
[0070]討論現(xiàn)將轉(zhuǎn)至用于全景攝影的圖像縫合處理的一般性概覽。該圖像縫合處理在具有律師案卷號(hào)N0.P10715US1 (119-0227US)的美國(guó)專利申請(qǐng)中有著進(jìn)一步詳細(xì)解釋，該申請(qǐng)通過(guò)上述引用并入。首先，縫合處理210獲取要被縫合在一起的兩個(gè)或更多個(gè)圖像幀并將其布置在例如組裝緩沖器內(nèi)以用于對(duì)其進(jìn)行處理。在全景攝影處理200的這一點(diǎn)處，如果期望并且如上根據(jù)各實(shí)施例所述，這兩幅圖像可能已經(jīng)被運(yùn)動(dòng)濾波、配準(zhǔn)和幾何學(xué)校正
坐寸o
[0071]在某些全景攝影后處理軟件系統(tǒng)中，縫合處理210的部分包括在兩個(gè)相繼捕捉圖像幀之間的重疊區(qū)域內(nèi)的融合以嘗試隱藏幀之間的小差異。處理210可以根據(jù)許多合適的融合方程來(lái)對(duì)圖像間重疊區(qū)域內(nèi)的圖像數(shù)據(jù)進(jìn)行融合。例如，可以基于正被融合的像素相距相關(guān)源圖像的中心的距離，根據(jù)阿爾法融合方案或簡(jiǎn)單線性或多項(xiàng)式融合函數(shù)來(lái)跨該重疊融合區(qū)域融合圖像數(shù)據(jù)。最后，可將合成的縫合圖像(包括在前圖像、當(dāng)前圖像和融合的重疊區(qū)域)存儲(chǔ)在相機(jī)設(shè)備本身或別處的存儲(chǔ)器上。
[0072]現(xiàn)參考圖8，示出了根據(jù)現(xiàn)有技術(shù)的示例性的經(jīng)縫合全景圖像800。圖9中示出的全景圖像800包括來(lái)自如下三幅不同圖像的圖像數(shù)據(jù):圖像A、圖像B和圖像C。每幅圖像的輪廓由粗黑線示出，并且每幅圖像的范圍由具有相應(yīng)圖像標(biāo)記的波浪括號(hào)示出。此外，還用具有相應(yīng)標(biāo)記“A/B重疊”和“B/C重疊”的波浪括號(hào)示出圖像中的重疊區(qū)域。在全景圖像800中從左向右移動(dòng)，存在包括僅來(lái)自圖像A的圖像數(shù)據(jù)的區(qū)域(標(biāo)記為“A”)，之后是包括來(lái)自圖像A和B兩者的融合圖像數(shù)據(jù)的重疊區(qū)域(標(biāo)記為“A/B”)，之后是包括僅來(lái)自圖像B的圖像數(shù)據(jù)的區(qū)域(標(biāo)記為“B”)，之后是包括來(lái)自圖像B和C兩者的融合圖像數(shù)據(jù)的重疊區(qū)域(標(biāo)記為“B/C”)，而最后是包括僅來(lái)自圖像C的圖像數(shù)據(jù)的區(qū)域(標(biāo)記為“C”)。
[0073]現(xiàn)在參考圖9，示出了根據(jù)一個(gè)實(shí)施例的由圖像狹縫組成的示例性的經(jīng)縫合全景圖像900。圖9中示出的全景圖像900包括來(lái)自如下九幅不同圖像的圖像數(shù)據(jù):狹縫A-狹縫I。注意到雖然由圖像狹縫組成的全景圖像900包含有來(lái)自更多個(gè)尺寸更小的組成圖像部分的信息，但是圖像800和900中捕捉的全景場(chǎng)景的量是相同的。如上所提到的，圖像狹縫的使用可以從臨時(shí)存儲(chǔ)器占用空間觀點(diǎn)和處理觀點(diǎn)兩者提供改善。
[0074]現(xiàn)參考圖10，以流程圖的形式示出了根據(jù)一個(gè)實(shí)施例的全景攝影處理技術(shù)。首先，處理1000通過(guò)從圖像傳感器的圖像流獲取下一圖像開(kāi)始(步驟1002)。其隨后可以在設(shè)備的顯示器上實(shí)時(shí)顯示該圖像幀的縮放的預(yù)覽版本，使得用戶知曉相機(jī)設(shè)備的當(dāng)前視野的范圍(步驟1004)。此處，處理1000可以通過(guò)運(yùn)動(dòng)濾波模塊饋入圖像數(shù)據(jù)，并且如上參考圖4描述執(zhí)行運(yùn)動(dòng)濾波處理204 (步驟1006)。針對(duì)每個(gè)捕捉的圖像幀，可以做出是保持還是丟棄圖像幀的決定(步驟1008)。如果在步驟1008例如因冗余將圖像丟棄，處理1000可以返回至步驟1002并且獲取來(lái)自圖像流的下一圖像幀以使其可以類似地由運(yùn)動(dòng)濾波模塊預(yù)覽和分析。如果相反在步驟1008確定該圖像幀是合成全景圖像充分覆蓋全景場(chǎng)景所必須的，則處理1000可以前進(jìn)至生成圖像部分(步驟1010)。在一個(gè)實(shí)施例中，該圖像部分可包括一個(gè)全分辨率的圖像“狹縫”或“切片”。在某些實(shí)施例中，該圖像部分可以包括圖像幀的中央四分之一。
[0075]在處理1000的這一點(diǎn)處，圖像數(shù)據(jù)可以沿兩個(gè)分開(kāi)的路徑向下行進(jìn)。沿著一個(gè)路徑，處理1000前進(jìn)至步驟1012，其中可以生成該圖像部分的較低分辨率版本。當(dāng)前圖像部分的這一較低分辨率版本隨后可以與任何在前組裝的較低分辨率圖像部分縫合在一起以創(chuàng)建較低分辨率的全景圖像預(yù)覽(步驟1014)。隨著每個(gè)引入的較低分辨率圖像部分與增長(zhǎng)的全景圖像預(yù)覽縫合在一起，合成全景預(yù)覽圖像可被發(fā)送至設(shè)備的顯示器以向用戶提供當(dāng)前正捕捉的全景圖像的實(shí)時(shí)或接近實(shí)時(shí)的進(jìn)展指示(步驟1016)。在某些實(shí)施例中，增長(zhǎng)的全景圖像預(yù)覽可以與上文步驟1004中涉及的縮放的圖像的預(yù)覽版本在設(shè)備的顯示器上重疊。
[0076]回到步驟1010，全分辨率圖像部分?jǐn)?shù)據(jù)可以沿其向下行進(jìn)的第二路徑前進(jìn)至步驟1018。在某些實(shí)施例中，圖像數(shù)據(jù)可以基本同時(shí)地沿這兩個(gè)路徑向下行進(jìn)(即，從步驟1010到步驟1012和1018)。在步驟1018，處理1000可以將全分辨率圖像部分?jǐn)?shù)據(jù)圖像與任何在前組裝的全分辨率圖像部分縫合在一起以創(chuàng)建全分辨率全景圖像。隨著每個(gè)引入的全分辨率圖像部分與增長(zhǎng)的全景圖像縫合在一起，合成全景圖像可被存儲(chǔ)在設(shè)備存儲(chǔ)器(易失性或非易失性)中，從而在在全景掃視已由用戶完成之時(shí)，合成全分辨率全景圖像就已經(jīng)被組裝、存儲(chǔ)，并且準(zhǔn)備好由用戶查看或進(jìn)行其他操縱(步驟1020)。通過(guò)將全圖像幀的分開(kāi)的縮放版本實(shí)時(shí)發(fā)送至設(shè)備的顯示器，同時(shí)使用運(yùn)動(dòng)濾波并對(duì)圖像部分執(zhí)行縫合，在此描述的全景攝影處理200可以向用戶提供包括對(duì)正被捕捉的全景場(chǎng)景的實(shí)時(shí)進(jìn)展的反饋、同時(shí)基本實(shí)時(shí)地執(zhí)行圖像縫合的無(wú)縫用戶體驗(yàn)，而這一效果在前被認(rèn)為是處理強(qiáng)度太高而無(wú)法使用手持式個(gè)人電子設(shè)備實(shí)現(xiàn)的。
[0077]現(xiàn)在參考圖11A，示出了根據(jù)一個(gè)實(shí)施例的實(shí)時(shí)全景預(yù)覽圖像1102。如圖1lA所示，設(shè)備308用于沿著X軸306從時(shí)刻h持續(xù)至t5的全景掃視。在時(shí)刻t5,設(shè)備308的視野由箭頭1108表示。由此，全景場(chǎng)景300在設(shè)備308的視野1108內(nèi)的部分被作為全屏預(yù)覽圖像1100顯示在設(shè)備308的顯示器上。除了該全屏預(yù)覽圖像1100之外，全景預(yù)覽圖像1102也重疊在設(shè)備308的顯示器上。全景預(yù)覽圖像1102表示在時(shí)刻和t5之間已被設(shè)備捕捉的整個(gè)組裝的全景圖像。如上參考圖10提及的，在某些實(shí)施例中，全景預(yù)覽圖像1102可以包括來(lái)自由設(shè)備308的圖像傳感器捕捉的圖像幀的多個(gè)經(jīng)縫合的較低分辨率圖像部分。在向用戶顯示該較低分辨率全景預(yù)覽圖像的同時(shí)，可以“在后臺(tái)”由設(shè)備中的處理器將各圖像部分的全分辨率版本組裝并縫合在一起。全景預(yù)覽窗口 1104表示全景預(yù)覽圖像1102中與當(dāng)前正被顯示的預(yù)覽圖像1100相對(duì)應(yīng)的部分。箭頭1106指示(僅出于說(shuō)明目的)全景掃視方向，以及由此的全景預(yù)覽圖像增長(zhǎng)的方向。如果用戶在全景掃視期間使相機(jī)設(shè)備移動(dòng)方向反轉(zhuǎn)，或以其他方式覆蓋該場(chǎng)景的已被捕捉部分，則運(yùn)動(dòng)濾波模塊可以確定這些數(shù)據(jù)是冗余的并且跳過(guò)處理步驟206-210。
[0078]現(xiàn)在參考圖11B，示出了根據(jù)一個(gè)實(shí)施例的用于全景攝影的示例性分割圖形處理流水線1150。流水線1150的頂部是相機(jī)層120 (首先參考圖1介紹的)。在該相機(jī)層中表示的是由相機(jī)設(shè)備308的圖像傳感器捕捉的示例性全分辨率圖像。在圖1lB的例子中，全分辨率圖像具有1024像素寬乘768像素高的示例性尺寸。實(shí)踐中，圖像傳感器可以捕捉大得多的圖像，例如八百萬(wàn)像素圖像，其可以具有諸如3456像素寬乘2304像素高的尺寸。在圖IlB中，示例性全分辨率圖像沿著分割圖形處理流水線向下發(fā)送至樣本緩沖處理器(SBP)1152，其中該處理流水線上的一個(gè)路徑生成用于在設(shè)備的顯示器上預(yù)覽的縮放的圖像，而另一路徑則將該圖像數(shù)據(jù)發(fā)送至運(yùn)動(dòng)濾波模塊142。雖然用于預(yù)覽的縮放圖像可以按512像素寬乘384像素高的尺寸示出，但是原始圖像傳感器數(shù)據(jù)可以以適于顯示器尺寸和設(shè)備的顯示器分辨率的任意因素縮放?？s放的預(yù)覽圖像可由SBPl 152直接發(fā)送至設(shè)備308以作為預(yù)覽圖像1100實(shí)時(shí)顯示。
[0079]圖像數(shù)據(jù)的被發(fā)送至運(yùn)動(dòng)濾波模塊142的部分可以根據(jù)如上參考圖4描述的運(yùn)動(dòng)濾波例程來(lái)處理。當(dāng)運(yùn)動(dòng)濾波模塊確定需要將給定圖像幀包括在合成全景圖像內(nèi)時(shí)，分割圖形處理流水線就可以生成全分辨率圖像“狹縫”或“切片”。如圖1lB所示，該全分辨率狹縫具有256像素寬乘768像素高的尺寸。換句話說(shuō)，該全分辨率狹縫具有與由圖像傳感器捕捉的全分辨率圖像相同的高度，但僅具有其四分之一的寬度。在其他實(shí)施例中，狹縫甚至可以更窄，例如全分辨率捕捉圖像寬度的八分之一。一旦該全分辨率狹縫已由SBP1152創(chuàng)建，則包括該全分辨率狹縫的圖像數(shù)據(jù)部分就可被發(fā)送至全景處理層160。
[0080]在全景處理層160，可以基本同時(shí)執(zhí)行兩個(gè)分開(kāi)的縫合處理。在一個(gè)縫合處理中，可以將該全分辨率狹縫與在前接收并縫合的全分辨率狹縫縫合在一起。合成全分辨率全景圖像于是可被存儲(chǔ)在存儲(chǔ)層180的存儲(chǔ)單元182中。在另一縫合處理中，可以生成狹縫的較低分辨率版本。如圖1lB所示，該狹縫的較低分辨率版本具有26像素寬乘77像素高的尺寸。換句話說(shuō)，該較低分辨率狹縫具有全分辨率狹縫的十分之一寬度和十分之一高度。由此，可以將該較低分辨率狹縫與在前接收并縫合的較低分辨率狹縫縫合在一起并將其以全景預(yù)覽圖像1102的形式實(shí)時(shí)顯示給設(shè)備。歸因于全景預(yù)覽圖像使用的較低分辨率圖像狹縫的相對(duì)較小的尺寸，這一處理可以憑借比全分辨率縫合處理少得多的處理能力來(lái)完成。通過(guò)對(duì)圖像狹縫進(jìn)行操作，處理200可以具有處理自由的全景掃視(即無(wú)需預(yù)定義開(kāi)始和停止時(shí)刻的全景掃視)同時(shí)還提供顯示完整全景掃視的全景預(yù)覽圖像并且在后臺(tái)進(jìn)行全分辨率全景圖像創(chuàng)建的能力。
[0081]現(xiàn)在參考圖12，示出了根據(jù)一個(gè)實(shí)施例的用于全景攝影的示例性分割圖形處理流水線系統(tǒng)1200。如上參考圖1描述的全景攝影系統(tǒng)中的那樣，相機(jī)設(shè)備122包括能夠捕捉圖像數(shù)據(jù)流126 (例如，以各單獨(dú)圖像幀128的圖像流或視頻流的形式)的一個(gè)或多個(gè)圖像傳感器。如圖12所示，設(shè)備122還包括位置傳感器124。位置傳感器124例如可以包括允許計(jì)算從幀到幀的相機(jī)設(shè)備的旋轉(zhuǎn)變化的MEMS陀螺儀，或是能夠通過(guò)串行接口提供測(cè)得的設(shè)備加速度的MEMS加速度計(jì)。如圖像流126中的圖像幀128所示，樹(shù)對(duì)象130已在設(shè)備122跨全景場(chǎng)景搖攝時(shí)由設(shè)備122捕捉。圖12中的實(shí)心箭頭表示圖像數(shù)據(jù)的移動(dòng)，而虛線箭頭則表示描述實(shí)際圖像數(shù)據(jù)的元數(shù)據(jù)或其他信息的移動(dòng)。
[0082]接下來(lái)，將描述樣本緩沖處理(SBP)層1152。SBP層1152可以包括接收來(lái)自設(shè)備122的位置傳感器124的輸入146的運(yùn)動(dòng)濾波模塊142。從位置傳感器124接收到的這類信息隨后由運(yùn)動(dòng)濾波模塊142使用以確定將要使用圖像流126中的哪些圖像幀128來(lái)構(gòu)建合成全景場(chǎng)景。通過(guò)分析示例性的經(jīng)運(yùn)動(dòng)濾波的圖像流144可知，運(yùn)動(dòng)濾波僅保有由設(shè)備122的圖像傳感器捕捉的每大約三個(gè)圖像幀128中的一個(gè)圖像幀。通過(guò)以智能高效的方式消除冗余圖像數(shù)據(jù)(例如，通過(guò)從設(shè)備122的位置傳感器124接收到的位置信息的驅(qū)動(dòng))，運(yùn)動(dòng)濾波模塊142可以具有濾除足夠量的冗余圖像數(shù)據(jù)的能力，由此使得全景處理層160接收具有理想或接近理想重疊的圖像幀，并且因此能夠?qū)D像數(shù)據(jù)的高分辨率和/或低分辨率版本實(shí)時(shí)執(zhí)行全景處理，可選地可在組裝該全景圖像預(yù)覽1102時(shí)向與設(shè)備122通信的顯示屏1204實(shí)時(shí)顯示該全景圖像預(yù)覽1102。
[0083]全景處理層160如上所述具有接收來(lái)自SBP層1152的經(jīng)運(yùn)動(dòng)濾波的圖像流144作為輸入的全景處理模塊162。全景處理模塊162可以優(yōu)選地駐留于在設(shè)備122的操作系統(tǒng)內(nèi)運(yùn)行的應(yīng)用層級(jí)上。全景處理模塊162可以執(zhí)行諸如如下的任務(wù):如上參考圖10、11A和IlB所述的那樣，以基本同時(shí)的方式對(duì)全分辨率和較低分辨率圖像部分兩者進(jìn)行圖像配準(zhǔn)、幾何學(xué)校正、對(duì)齊、縫合和融合。
[0084]如上所討論的，較低分辨率的全景圖像預(yù)覽可以采用全景圖像預(yù)覽覆蓋1102的形式而被直接發(fā)送至顯示層1202，由此可以實(shí)時(shí)或接近實(shí)時(shí)地在顯示器1204上顯示。全分辨率全景圖像可以由全景處理模塊162類似地組裝。最后，當(dāng)用戶已經(jīng)指示他或她完成對(duì)全景圖像的捕捉時(shí)，全景處理模塊162可以可選地在將最終全景圖像發(fā)送至存儲(chǔ)層180以在存儲(chǔ)單元182中永久或臨時(shí)存儲(chǔ)之前裁剪該最終全景圖像。由于使用在此描述的技術(shù)獲得的高效性，全景圖像可以在正被組裝的同時(shí)實(shí)時(shí)地在設(shè)備上存儲(chǔ)和/或顯示。這類存儲(chǔ)器靈活性還允許用戶定義進(jìn)行中的全景掃視的起始點(diǎn)和停止點(diǎn)，甚至允許大于360度的全景旋轉(zhuǎn)。
[0085]全景處理模塊162還可以向運(yùn)動(dòng)濾波模塊142提供反饋圖像配準(zhǔn)信息164以允許運(yùn)動(dòng)濾波模塊142更為精確地做出關(guān)于將設(shè)備位置移動(dòng)與圖像流中相繼圖像幀之間的重疊量相關(guān)的決定。該反饋信息還可允許運(yùn)動(dòng)濾波模塊142更高效地選擇置于經(jīng)運(yùn)動(dòng)濾波的圖像流144內(nèi)的圖像幀。該反饋處理在具有律師案卷號(hào)N0.P10714USl(119-0226US)的美國(guó)專利申請(qǐng)中有著進(jìn)一步詳細(xì)解釋，該申請(qǐng)通過(guò)上述引用并入。
[0086]現(xiàn)參考圖13，示出了根據(jù)一個(gè)說(shuō)明性實(shí)施例的包括顯示器1300的代表性電子設(shè)備(例如相機(jī)設(shè)備308)的簡(jiǎn)化功能框圖。電子設(shè)備1300可以包括處理器1316、顯示器1320、接近傳感器/環(huán)境光傳感器1326、麥克風(fēng)1306、音頻/視頻編解碼器1302、揚(yáng)聲器1304、通信電路1310、位置傳感器1324、圖像傳感器和相關(guān)聯(lián)的相機(jī)硬件1308、用戶接口 1318、存儲(chǔ)器1312、存儲(chǔ)設(shè)備1314和通信總線1322。處理器1316可以是任何合適的可編程控制設(shè)備，并且可以控制許多功能的操作，諸如圖像元數(shù)據(jù)的生成和/或處理，以及由電子設(shè)備1300執(zhí)行的其他功能。處理器1316可以驅(qū)動(dòng)顯示器1320并且可以從用戶接口 1318接收用戶輸入。諸如具有ARM? V7-A架構(gòu)的Cortex? A8之類的嵌入式處理器提供可被用于執(zhí)行所公開(kāi)技術(shù)的多功能且魯棒的可編程控制設(shè)備。(CORTEX?和ARM?是英國(guó)ARM有限公司的注冊(cè)商標(biāo)。)
[0087]存儲(chǔ)裝置1314可以存儲(chǔ)媒體(例如，圖像和視頻文件)、軟件(例如，用于實(shí)現(xiàn)設(shè)備1300上的各種功能)、偏好信息、設(shè)備簡(jiǎn)檔信息、和任何其他合適的數(shù)據(jù)。存儲(chǔ)設(shè)備1314可以包括用于實(shí)體地記錄圖像數(shù)據(jù)和程序指令的一個(gè)或多個(gè)存儲(chǔ)介質(zhì)，包括例如硬盤驅(qū)動(dòng)器、諸如ROM的永久性存儲(chǔ)器、諸如RAM的半永久性存儲(chǔ)器、或高速緩存。程序指令可以包括由任何期望語(yǔ)言(例如，C或C++)編碼的軟件實(shí)現(xiàn)。
[0088]存儲(chǔ)器1312可以包括可用以執(zhí)行設(shè)備功能的一個(gè)或多個(gè)不同類型的存儲(chǔ)器。例如，存儲(chǔ)器1312可以包括高速緩存、ROM和/或RAM。通信總線1322可以提供用于向或從至少存儲(chǔ)設(shè)備1314、存儲(chǔ)器1312和處理器1316傳輸數(shù)據(jù)或在它們之間傳輸數(shù)據(jù)的數(shù)據(jù)傳輸路徑。用戶接口 1318可以允許用戶與電子設(shè)備1300交互。例如,用戶輸入設(shè)備1318可以采取多種形式，諸如按鈕、小鍵盤、撥號(hào)盤、滾輪或觸摸屏等。
[0089]在一個(gè)實(shí)施例中，個(gè)人電子設(shè)備1300可以是能夠處理并顯示諸如圖像和視頻文件等媒體的電子設(shè)備。例如，個(gè)人電子設(shè)備1300可以是諸如移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、便攜式音樂(lè)播放器、監(jiān)視器、電視、膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)和平板計(jì)算機(jī)、或其他合適的個(gè)人設(shè)備的設(shè)備。
[0090]對(duì)優(yōu)選實(shí)施例和其他實(shí)施例的在前描述并不旨在限制或限定由 申請(qǐng)人:設(shè)想的本發(fā)明概念的范圍或可應(yīng)用性。作為一例，雖然本公開(kāi)關(guān)注手持式個(gè)人電子設(shè)備，但將會(huì)理解的是，本公開(kāi)的教導(dǎo)也能應(yīng)用于諸如傳統(tǒng)數(shù)碼相機(jī)的其他實(shí)現(xiàn)。作為公開(kāi)在此包含的本發(fā)明的概念的交換， 申請(qǐng)人:期望得到由所附權(quán)利要求限定的全部專利權(quán)。因此，所附權(quán)利要求旨在最大程度上包括在所附權(quán)利要求或其等效方案的范圍內(nèi)的所有修改和變更。
【權(quán)利要求】
1.一種圖像處理方法，包括: 獲取第一圖像； 在第一時(shí)刻在顯示器的第一區(qū)域內(nèi)顯示所述第一圖像的第一縮放版本； 將第一圖像的中央部分的全分辨率版本存儲(chǔ)在存儲(chǔ)器中； 在第一時(shí)刻在顯示器的第二區(qū)域內(nèi)顯示所述第一圖像的中央部分的第二縮放版本； 獲取第二圖像； 在第二時(shí)刻用所述第二圖像的第一縮放版本代替所述顯示器的第一區(qū)域內(nèi)的所述第一圖像的第一縮放版本； 將第二圖像的中央部分的全分辨率版本與第一圖像的中央部分的全分辨率版本縫合在一起以生成第一合成縫合圖像，第一圖像的中央部分與第二圖像的中央部分共享重疊區(qū)域； 在存儲(chǔ)器中存儲(chǔ)所述第一合成縫合圖像； 將第一圖像的中央部分的第二縮放版本與第二圖像的中央部分的第二縮放版本縫合在一起以生成第二合成縫合圖像，第一圖像的中央部分的第二縮放版本與第二圖像的中央部分的第二縮放版本一起共享所述重疊區(qū)域；以及 在第二時(shí)刻在顯示器的第二區(qū)域內(nèi)顯示所述第二合成縫合圖像。
2.如權(quán)利要求1所述的方法，其中獲取第一圖像的動(dòng)作包括: 由圖像傳感器捕捉場(chǎng)景的全分辨率圖像；以及 將所述全分辨率圖像存儲(chǔ)在存儲(chǔ)器中。
3.如權(quán)利要求1所述的方法，其中在顯示器的第一區(qū)域內(nèi)顯示所述第一圖像的第一縮放版本的動(dòng)作包括:在圖像捕捉設(shè)備的預(yù)覽顯示器的第一區(qū)域內(nèi)顯示所述第一圖像的第一縮放版本。
4.如權(quán)利要求1所述的方法，其中將第一圖像的中央部分的全分辨率版本存儲(chǔ)在存儲(chǔ)器中的動(dòng)作包括:將所述第一圖像的約12.5%存儲(chǔ)在所述存儲(chǔ)器中。
5.如權(quán)利要求1所述的方法，其中所述第一合成縫合圖像和所述第二合成縫合圖像被基本同時(shí)生成。
6.一種可編程控制設(shè)備可讀的程序存儲(chǔ)設(shè)備，包括其上存儲(chǔ)的用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求1所述的方法的指令。
7.如權(quán)利要求6所述的程序存儲(chǔ)設(shè)備，還包括其上存儲(chǔ)的用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求5所述的方法的指令。
8.—種電子設(shè)備,包括: 存儲(chǔ)器； 圖像傳感器； 位置傳感器； 通信耦接至所述存儲(chǔ)器的顯示器；以及 通信耦接至所述存儲(chǔ)器、顯示器、位置傳感器和圖像傳感器的可編程控制設(shè)備，其中所述存儲(chǔ)器包括用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求1所述的方法的指令。
9.如權(quán)利要求8所述的電子設(shè)備，其中所述存儲(chǔ)器還包括用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求5所述的方法的指令。
10.一種圖像處理方法，包括: 接收由與設(shè)備通信的圖像傳感器捕捉的圖像流，所述圖像流包括全景場(chǎng)景；以及 對(duì)于每個(gè)接收到的圖像: 將表示所述圖像的數(shù)據(jù)的第一部分沿第一圖形流水線向下發(fā)送，用以在所述設(shè)備處生成并顯示所述圖像的實(shí)時(shí)預(yù)覽；以及 確定是否將所述圖像濾波，并且對(duì)于確定為不會(huì)被濾波的每個(gè)圖像: 將表示所述圖像的數(shù)據(jù)的第二部分沿第二圖形流水線向下發(fā)送，用以生成所述圖像的全景預(yù)覽的一部分， 其中所生成的所述圖像的全景預(yù)覽的一部分被縫合至所述圖像的已有的全景預(yù)覽，以創(chuàng)建所述圖像的合成全景預(yù)覽，并且 其中在所述設(shè)備處實(shí)時(shí)顯示所述圖像的合成全景預(yù)覽。
11.如權(quán)利要求10所述的方法，其中確定將特定圖像濾波至少部分基于在所述設(shè)備處接收到的位置信息。
12.如權(quán)利要求10所述的方法，其中所述圖像的實(shí)時(shí)預(yù)覽和所述圖像的全景預(yù)覽被同時(shí)顯示在顯示器上。
13.如權(quán)利要求10所述的方法，其中所述圖像的全景預(yù)覽重疊在所述圖像的實(shí)時(shí)預(yù)覽上。
14.如權(quán)利要求10所述的方法，其中所述第二部分包括所述圖像的約12.5%。
15.如權(quán)利要求14所述的方法，其中所述第二部分進(jìn)一步包括所述圖像中央的約12.5%。
16.如權(quán)利要求10所述的方法，還包括: 使用所述第二圖形流水線生成所述場(chǎng)景的全景圖像的一部分；以及 將所生成的所述全景圖像的一部分附加至所述場(chǎng)景的所述全景圖像， 其中所述場(chǎng)景的所述全景圖像具有比所述圖像的所述全景預(yù)覽更高的分辨率。
17.如權(quán)利要求16所述的方法，還包括將所述場(chǎng)景的所述全景圖像存儲(chǔ)至存儲(chǔ)器。
18.如權(quán)利要求16所述的方法，其中所生成的所述全景圖像的一部分具有與相機(jī)的全分辨率基本相同的分辨率。
19.如權(quán)利要求16所述的方法，其中所述場(chǎng)景的所述全景圖像具有與相機(jī)的全分辨率基本相同的分辨率。
20.如權(quán)利要求16所述的方法，其中所述實(shí)時(shí)預(yù)覽包括所述圖像的縮放版本。
21.如權(quán)利要求20所述的方法，其中所述實(shí)時(shí)的縮放版本具有與所述設(shè)備的顯示器的分辨率基本相同的分辨率。
22.如權(quán)利要求16所述的方法，其中所生成的所述圖像的全景預(yù)覽的一部分具有基本小于所述圖像的分辨率。
23.一種可編程控制設(shè)備可讀的程序存儲(chǔ)設(shè)備，包括其上存儲(chǔ)的用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求10所述的方法的指令。
24.如權(quán)利要求23所述的程序存儲(chǔ)設(shè)備，還包括其上存儲(chǔ)的用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求16所述的方法的指令。
25.—種電子設(shè)備,包括:存儲(chǔ)器； 圖像傳感器； 位置傳感器； 通信耦接至所述存儲(chǔ)器的顯示器；以及 通信耦接至所述存儲(chǔ)器、顯示器、位置傳感器和圖像傳感器的可編程控制設(shè)備，其中所述存儲(chǔ)器包括用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求10所述的方法的指令。
26.如權(quán)利要求25所述的設(shè)備，其中所述存儲(chǔ)器還包括用于使得所述可編程控制設(shè)備執(zhí)行如權(quán)利要求16所述的方法 的指令。
【文檔編號(hào)】G06T3/40GK103534727SQ201280023138
【公開(kāi)日】2014年1月22日 申請(qǐng)日期:2012年4月11日 優(yōu)先權(quán)日:2011年5月17日
【發(fā)明者】N·伯加爾, F·多普克 申請(qǐng)人:蘋果公司