1.一種方法,包括:
從圖像捕獲裝置接收?qǐng)D像幀序列的第一圖像幀;
在處理器處通過比較所述第一圖像幀和第二圖像幀來估算對(duì)應(yīng)于所述第一圖像幀的攝像頭姿態(tài),其中,所述第二圖像幀在所述圖像幀序列中在所述第一圖像幀之前;以及
在所述處理器處通過比較所述第一圖像幀和關(guān)鍵幀來估算對(duì)應(yīng)于所述第一圖像幀的優(yōu)化攝像頭姿態(tài),其中,所述關(guān)鍵幀對(duì)應(yīng)于在所述圖像幀序列中在所述第二圖像幀之前的特定圖像幀。
2.根據(jù)權(quán)利要求1所述的方法,其中,所述攝像頭姿態(tài)作為所述處理器的第一處理線程的一部分被估算,并且其中,所述優(yōu)化攝像頭姿態(tài)作為所述處理器的第二處理線程的一部分被估算。
3.根據(jù)權(quán)利要求2所述的方法,其中,所述處理器被配置成并行執(zhí)行處理線程,并且其中,所述第一處理線程和所述第二處理線程被并行地執(zhí)行。
4.根據(jù)權(quán)利要求1所述的方法,其中,估算對(duì)應(yīng)于所述第一圖像幀的所述攝像頭姿態(tài)包括:
基于所述圖像捕獲裝置在所述第一圖像幀的捕獲和所述第二圖像幀的捕獲之間的相對(duì)運(yùn)動(dòng)的估算通過變換所述第一圖像幀來生成扭曲幀;
確定像素強(qiáng)度誤差,其中,所述像素強(qiáng)度誤差指示在所述扭曲幀的一或多個(gè)像素和所述第二圖像幀的一或多個(gè)像素之間像素強(qiáng)度的差值;以及
確定深度誤差,其中,所述深度誤差指示在所述扭曲幀的所述一或多個(gè)像素和所述第二圖像幀的所述一或多個(gè)像素之間的深度的差值,并且其中,所述深度誤差基于所述第二圖像幀的所述一或多個(gè)像素的正常值來確定。
5.根據(jù)權(quán)利要求1所述的方法,其中,估算對(duì)應(yīng)于所述第一圖像幀的所述優(yōu)化攝像頭姿態(tài)包括:
基于所述圖像捕獲裝置在所述第一圖像幀的捕獲和所述關(guān)鍵幀的捕獲之間的相對(duì)運(yùn)動(dòng)的估算通過變換所述第一圖像幀來生成扭曲幀;
確定像素強(qiáng)度誤差,其中,所述像素強(qiáng)度誤差指示在所述扭曲幀的一或多個(gè)像素和所述關(guān)鍵幀的一或多個(gè)像素之間像素強(qiáng)度的差值;以及
確定深度誤差,其中,所述深度誤差指示在所述扭曲幀的所述一或多個(gè)像素和所述關(guān)鍵幀的所述一或多個(gè)像素之間的深度的差值,并且其中,所述深度誤差基于所述關(guān)鍵幀的所述一或多個(gè)像素的正常值來確定。
6.根據(jù)權(quán)利要求1所述的方法,另外包括:
在所述處理器處確定在所述第一圖像幀和所述關(guān)鍵幀之間的重疊比,其中,所述重疊比基于所述第一圖像幀的第一像素值和所述關(guān)鍵幀的第二像素值的逐像素比較;
比較所述重疊比和重疊比閾值以生成比較結(jié)果;以及
基于指示所述第一圖像幀和所述關(guān)鍵幀是不類似的所述比較結(jié)果,使用所述第一圖像幀生成新關(guān)鍵幀。
7.根據(jù)權(quán)利要求6所述的方法,其中,生成所述新關(guān)鍵幀包括形成對(duì)應(yīng)于在存儲(chǔ)器中的所述第一圖像幀的副本圖像幀,并且其中,所述副本圖像幀被指定為所述新關(guān)鍵幀。
8.根據(jù)權(quán)利要求6所述的方法,其中,所述第一像素值包含深度值、光度值或其組合。
9.根據(jù)權(quán)利要求1所述的方法,另外包括:使用所述優(yōu)化攝像頭姿態(tài)和所述圖像幀序列生成三維點(diǎn)云。
10.根據(jù)權(quán)利要求9所述的方法,另外包括:
從所述圖像捕獲裝置接收所述圖像幀序列的一或多個(gè)另外圖像幀;以及
基于所述一或多個(gè)另外圖像幀更新所述三維點(diǎn)云,其中,更新所述三維點(diǎn)云的速率大體上等于接收所述一或多個(gè)另外圖像幀的速率。
11.根據(jù)權(quán)利要求1所述的方法,其中,所述攝像頭姿態(tài)指示所述圖像捕獲裝置在當(dāng)所述第一圖像幀被捕獲時(shí)的特定時(shí)間的位置的逼近。
12.根據(jù)權(quán)利要求1所述的方法,其中,所述第一圖像幀具有第一分辨率,其中,所述關(guān)鍵幀具有關(guān)鍵幀分辨率,并且其中,所述第一分辨率不同于所述關(guān)鍵幀分辨率。
13.一種設(shè)備,包括
處理器;以及
存儲(chǔ)指令的存儲(chǔ)器,所述指令能夠由所述處理器執(zhí)行以致使所述處理器:
從圖像捕獲裝置接收?qǐng)D像幀序列的第一圖像幀;
基于所述第一圖像幀和第二圖像幀的第一比較來估算對(duì)應(yīng)于所述第一圖像幀的攝像頭姿態(tài),其中,所述第二圖像幀在所述圖像幀序列中在所述第一圖像幀之前;以及
基于所述第一圖像幀和關(guān)鍵幀的第二比較來估算對(duì)應(yīng)于所述第一圖像幀的優(yōu)化攝像頭姿態(tài),其中,所述關(guān)鍵幀對(duì)應(yīng)于在所述圖像幀序列中在所述第二圖像幀之前的特定圖像幀。
14.根據(jù)權(quán)利要求13所述的設(shè)備,其中,所述攝像頭姿態(tài)作為所述處理器的第一處理線程的一部分被估算,并且其中,所述優(yōu)化攝像頭姿態(tài)作為所述處理器的第二處理線程的一部分被估算。
15.根據(jù)權(quán)利要求14所述的設(shè)備,其中,所述指令另外能夠執(zhí)行以致使所述處理器從一組關(guān)鍵幀選擇所述關(guān)鍵幀,其中,所述關(guān)鍵幀基于所述估算攝像頭姿態(tài)來選擇。
16.根據(jù)權(quán)利要求13所述的設(shè)備,其中,所述指令另外能夠執(zhí)行以致使所述處理器變換所述第一圖像幀以生成扭曲幀,其中,所述第一圖像幀基于在所述圖像捕獲裝置和對(duì)應(yīng)于所述第二圖像幀的坐標(biāo)之間的相對(duì)運(yùn)動(dòng)的估算來變換。
17.根據(jù)權(quán)利要求16所述的設(shè)備,其中,所述指令另外能夠執(zhí)行以致使所述處理器確定像素強(qiáng)度誤差,其中,所述像素強(qiáng)度誤差指示在所述扭曲幀的一或多個(gè)像素和所述第二圖像幀的一或多個(gè)像素之間的像素強(qiáng)度的差值。
18.根據(jù)權(quán)利要求16所述的設(shè)備,其中,所述指令另外能夠執(zhí)行以致使所述處理器確定深度誤差,其中,所述深度誤差指示在所述扭曲幀的一或多個(gè)像素和所述第二圖像幀的一或多個(gè)像素之間的深度的差值,并且其中,所述深度誤差基于所述第二圖像幀的所述一或多個(gè)像素的正常值來確定。
19.根據(jù)權(quán)利要求13所述的設(shè)備,其中,所述指令另外能夠執(zhí)行以致使所述處理器確定在所述第一圖像幀和關(guān)鍵幀之間的重疊比。
20.根據(jù)權(quán)利要求19所述的設(shè)備,其中,所述重疊比基于所述第一圖像幀的第一像素值和所述關(guān)鍵幀的第二像素值的逐像素比較。
21.根據(jù)權(quán)利要求19所述的設(shè)備,其中,所述指令另外能夠執(zhí)行以致使所述處理器基于所述重疊比和重疊比閾值的比較來生成結(jié)果。
22.根據(jù)權(quán)利要求21所述的設(shè)備,其中,所述指令另外能夠執(zhí)行以致使所述處理器基于指示所述第一圖像幀不類似于所述關(guān)鍵幀的所述結(jié)果使用所述第一圖像幀來生成新關(guān)鍵幀。
23.一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)裝置,所述指令在由處理器執(zhí)行時(shí)致使所述處理器:
從圖像捕獲裝置接收?qǐng)D像幀序列的第一圖像幀;
基于所述第一圖像幀和第二圖像幀的第一比較來估算對(duì)應(yīng)于所述第一圖像幀的攝像頭姿態(tài),其中,所述第二圖像幀在所述圖像幀序列中在所述第一圖像幀之前;以及
基于所述第一圖像幀和關(guān)鍵幀的第二比較來估算對(duì)應(yīng)于所述第一圖像幀的優(yōu)化攝像頭姿態(tài),其中,所述關(guān)鍵幀對(duì)應(yīng)于在所述圖像幀序列中在所述第二圖像幀之前的特定圖像幀。
24.根據(jù)權(quán)利要求23所述的計(jì)算機(jī)可讀存儲(chǔ)裝置,其中,所述攝像頭姿態(tài)作為所述處理器的第一處理線程的一部分被估算,其中,所述優(yōu)化攝像頭姿態(tài)作為所述處理器的第二處理線程的一部分被估算,并且其中,所述第一處理線程和所述第二處理線程被并行地執(zhí)行。
25.根據(jù)權(quán)利要求23所述的計(jì)算機(jī)可讀存儲(chǔ)裝置,其中,所述指令在由所述處理器執(zhí)行時(shí),另外致使所述處理器基于所述圖像幀序列生成三維點(diǎn)云,其中,生成所述三維點(diǎn)云的速率大體上等于接收所述圖像幀序列的速率。
26.一種設(shè)備,包括:
用于從圖像捕獲裝置接收?qǐng)D像幀序列的第一圖像幀的裝置;
用于基于所述第一圖像幀和第二圖像幀的第一比較來估算對(duì)應(yīng)于所述第一圖像幀的攝像頭姿態(tài)的裝置,其中,所述第二圖像幀在所述圖像幀序列中在所述第一圖像幀之前;以及
用于基于所述第一圖像幀和關(guān)鍵幀的第二比較來估算對(duì)應(yīng)于所述第一圖像幀的優(yōu)化攝像頭姿態(tài)的裝置,其中,所述關(guān)鍵幀對(duì)應(yīng)于在所述圖像幀序列中在所述第二圖像幀之前的特定圖像幀。
27.根據(jù)權(quán)利要求26所述的設(shè)備,另外包括:
用于執(zhí)行所述第一圖像幀和所述第二圖像幀的所述第一比較的裝置;以及
用于執(zhí)行所述第一圖像幀和所述關(guān)鍵幀的所述第二比較的裝置。
28.根據(jù)權(quán)利要求26所述的裝置,另外包括用于從一組關(guān)鍵幀選擇所述關(guān)鍵幀的裝置。
29.根據(jù)權(quán)利要求26所述的設(shè)備,另外包括用于基于所述第一圖像幀生成新關(guān)鍵幀的裝置。
30.根據(jù)權(quán)利要求26所述的設(shè)備,另外包括用于使用所述優(yōu)化攝像頭姿態(tài)和所述圖像幀序列生成三維點(diǎn)云的裝置。