使用至少一個較高幀速率圖像流提高圖像流幀速率的方法和裝置制造方法
【專利摘要】一種圖像處理系統(tǒng)包括圖像處理器，所述圖像處理器被配置為獲得具有第一幀速率的第一圖像流和具有第二幀速率的第二圖像流，所述第二幀速率低于所述第一幀速率，基于所述第一圖像流和第二圖像流的現(xiàn)有幀恢復(fù)所述第二圖像流的附加幀，以及使用附加幀來為第二圖像流提供增加的幀速率?；谒龅谝粓D像流和第二圖像流的現(xiàn)有幀為所述第二圖像流恢復(fù)附加幀包括確定用于在各自的迭代中插入第二圖像流中的連續(xù)現(xiàn)有幀的相應(yīng)的對之間的一個或多個附加幀的集合。
【專利說明】使用至少一個較高幀速率圖像流提高圖像流幀速率的方法 和裝置

【技術(shù)領(lǐng)域】
[0001] 領(lǐng)域總的來說涉及圖像處理，并且更具體地，涉及具有不同幀速率的多個圖像流 的處理。

【背景技術(shù)】
[0002] 圖像處理在許多不同機(jī)器視覺應(yīng)用中是重要的，并且這樣的處理可能涉及從許 多不同的圖像源獲得的多個不同類型的圖像，可能包括二維（2D)圖像和三維（3D)圖像。 例如，由諸如視頻攝像機(jī)的圖像源提供2D圖像，以及由諸如結(jié)構(gòu)光（SL)攝像機(jī)或飛行時 (ToF)攝像機(jī)的深度成像器提供3D圖像。因此，傳統(tǒng)的圖像處理技術(shù)經(jīng)常需要處理來自多 個不同源的圖像流。然而，當(dāng)不同的源以不同的幀速率產(chǎn)生圖像時會產(chǎn)生問題。
[0003] 概述
[0004] 在一個實施例中，一種圖像處理系統(tǒng)包括圖像處理器，該圖像處理器被配置來獲 得具有第一幀速率的第一圖像流和具有低于所述第一幀速率的第二幀速率的第二圖像流， 基于所述第一和第二圖像流的現(xiàn)有幀為第二圖像流恢復(fù)附加幀，以及利用附加幀為所述第 二圖像流提供增加的幀速率。僅作為示例，基于所述第一和第二圖像流的現(xiàn)有幀為第二圖 像流恢復(fù)附加幀可以示例性地包括：確定用于插入第二圖像流中的相應(yīng)對的連續(xù)現(xiàn)有幀之 間的一個或多個附加幀的集合。
[0005] 本發(fā)明的其它實施例包括（但不限于）方法、裝置、系統(tǒng)、處理設(shè)備、集成電路和其 中嵌入有計算機(jī)程序代碼的計算機(jī)可讀存儲介質(zhì)。

【專利附圖】

【附圖說明】
[0006] 圖1是在一個實施例中的圖像處理系統(tǒng)的框圖。
[0007] 圖2示出了將恢復(fù)的附加幀插入到低幀速率圖像流中以增加圖1的系統(tǒng)中的圖像 流的幀速率。
[0008] 圖3是用于增加圖1系統(tǒng)中的低幀速率圖像流的幀速率的示例性處理的流程圖。
[0009] 圖4是用于增加圖1系統(tǒng)中的低幀速率圖像流的幀速率的另一示例性處理的流程 圖。
[0010] 圖5至圖7是示出圖1系統(tǒng)中的圖像處理器的簇（cluster)對應(yīng)模塊的操作的流 程圖。

【具體實施方式】
[0011] 在此將結(jié)合包括圖像處理器或其它類型的處理設(shè)備的示例圖像處理系統(tǒng)，以及用 于使用至少一個較高速率的圖像流提高深度圖像流或其它類型圖像流的幀速率的實現(xiàn)技 術(shù)，說明本發(fā)明的實施例。然而，應(yīng)理解，本發(fā)明的實施例更一般地適用于涉及處理具有不 同幀速率的多個圖像流的任何圖像處理系統(tǒng)或相關(guān)的設(shè)備或技術(shù)。
[0012] 圖1示出了本發(fā)明的一個實施例中的圖像處理系統(tǒng)100。圖像處理系統(tǒng)100包括 圖像處理器102,其通過網(wǎng)絡(luò)104與多個處理設(shè)備106通信。圖像處理器102從相應(yīng)的圖像 源107接收至少兩個不同的圖像流。更具體地，圖像處理器102從高速率圖像源107-1接 收具有第一幀速率的第一圖像流F Sl，并從低速率圖像源107-2接收具有比第一幀速率低的 第二幀速率的第二圖像流Fs2?？梢圆皇芟拗茦?gòu)思圖像源107提供從給定場景的相同或相 似視點獲得的圖像流，使得可以在高幀速率圖像流和低幀速率圖像流中都呈現(xiàn)相似的像素 簇或其它圖像分段。在本文中應(yīng)用到幀速率的術(shù)語"高"和"低"是相對術(shù)語，并且不應(yīng)解 釋為需要任何特定絕對的幀速率。
[0013] 例如，高幀速率圖像源107-1可以包括提供2D圖像序列的視頻攝像機(jī)或其它視頻 源，而低幀速率圖像源107-2可以包括提供深度圖像序列的深度成像器，例如SL攝像機(jī)或 ToF攝像機(jī)。
[0014] 在其它實施例中，可以使用許多其它類型的圖像源生成多個圖像流，包括配置為 產(chǎn)生2D紅外圖像、灰度圖像、彩色圖像或其它類型的2D圖像的2D成像器以及3D成像器 (例如，SL和ToF攝像機(jī)），其可以任意組合。
[0015] 示例性地，圖像源107可以包括各自的圖像源，每一個產(chǎn)生單獨的圖像流?？梢詥?獨地安裝傳感器并將其布置為相互分開，或者，傳感器可以包括一體的傳感器的不同的部 分，其中所述一體的傳感器具有用于產(chǎn)生第一圖像流的第一組傳感器和用于產(chǎn)生第二圖像 流的第二組傳感器。因此，可以從配置為對給定場景成像的相應(yīng)的不同圖像傳感器獲得第 一和第二圖像流。此處，通常假定這樣不同的圖像傳感器基本上捕獲相同的場景，但是以不 同的幀速率捕獲。
[0016] 盡管由分開的圖像源107-1和圖像源107-2提供圖1的實施例中的第一圖像流 FSl和第二圖像流Fs2，但是在其它實施例中，可以僅僅使用單一的成像器或其它類型的圖 像源來提供不同幀速率的多個圖像流。因此，例如，第一和第二圖像源107-1和107-2可以 代表單一的多流成像器的不同部分，例如，如上所示的不同的傳感器。作為此處廣泛使用的 術(shù)語，給定的圖像源可以包括存儲之前捕獲的圖像流以供圖像處理器102或代表圖像處理 器102的取回的存儲器和其它存儲設(shè)備。又例如，圖像源可以包括提供一個或多個圖像流 到圖像處理器102用于處理的服務(wù)器。
[0017] 另外，在圖1中僅處理兩個輸入圖像流以提高其中一個圖像流的幀速率，但是，在 其它實施例中，可以不止使用第一和第二圖像流。例如，可以處理每一個都具有不同幀速率 的三個或更多個圖像流，以恢復(fù)附加幀，來提高至少一個圖像流的幀速率。
[0018] 在本實施例中，圖像處理器102被配置為基于第一圖像流FSl和第二圖像流Fs 2的 現(xiàn)有幀為第二圖像流Fs2恢復(fù)附加幀，并被配置為使用所述附加幀為第二圖像流Fs 2提供增 加的幀速率。例如，圖像處理器102可以增加第二圖像流的幀速率，直到其基本上等于第一 圖像流的幀速率，使得第一和第二圖像流可以更容易地由一個或多個目標(biāo)設(shè)備處理。
[0019] 更具體地，圖像處理器102可以被配置為確定一個或多個附加幀的集合以用于插 入在第二圖像流中相應(yīng)對的連續(xù)現(xiàn)有幀之間。每一這樣的確定可以認(rèn)為是將要結(jié)合圖3和 圖4的流程圖描述的示例性處理過程之一的迭代。對于給定的這樣的迭代，基于第一圖像 流中的多個對應(yīng)的現(xiàn)有幀和第二圖像流中的連續(xù)現(xiàn)有幀對中的對應(yīng)的連續(xù)現(xiàn)有幀對，確定 一個或多個附加幀的特定集合，以用于插入在第二圖像流中的連續(xù)現(xiàn)有幀對中對應(yīng)的對之 間。
[0020] 在圖2中示出了該技術(shù)，其中圖2示出了第一圖像流FSl的現(xiàn)有幀和第二圖像流 Fs2的現(xiàn)有幀之間的對應(yīng)的一個例子。在這一例子中，假定第二圖像流是包括深度圖像流的 深度流。由于第一圖像流具有比第二圖像流高的幀速率，所以第一圖像流在圖中示出的時 間段上包括比第二圖像流多的幀。圖中標(biāo)為未知的第二圖像流的幀是由圖像處理器102為 第二圖像流Fs 2恢復(fù)的以為第二圖像流Fs2提供增加的幀速率的附加幀的例子。
[0021] 第二圖像流Fs2中的兩個連續(xù)現(xiàn)有幀對應(yīng)于第一圖像流FSl中的R+1個連續(xù)現(xiàn)有 幀，從而第一圖像流F Sl中的第N現(xiàn)有幀對應(yīng)于第二圖像流中的第Μ現(xiàn)有幀，并且第一圖像 流中的第（N+R)現(xiàn)有幀對應(yīng)于第二圖像流中的第（Μ+1)現(xiàn)有幀。如此，對于在該例子中的 第一圖像流中的每R+1個連續(xù)現(xiàn)有幀，在第二圖像序列中僅有兩個連續(xù)現(xiàn)有幀。
[0022] 第一圖像流FSl和第二圖像流Fs2中對應(yīng)的幀可以是由各自的圖像傳感器在基本 上相同的時刻捕獲的幀。然而，在本上下文中術(shù)語"對應(yīng)"應(yīng)當(dāng)被更寬泛地解釋，以包含第 一和第二圖像流的幀之間的其它類型的時間關(guān)系。
[0023] 在為第二圖像流Fs2恢復(fù)附加幀中，圖像處理器102確定用于插入第二圖像流中 的第Μ現(xiàn)有幀和第（M+1)現(xiàn)有幀之間的R+1個附加幀。如下面將詳細(xì)描述的，所確定的用 于插入第二圖像流中的第Μ現(xiàn)有幀和第（Μ+1)現(xiàn)有幀之間的R+1個附加幀是基于第一圖像 流中的對應(yīng)的R+1個連續(xù)現(xiàn)有幀和第二圖像流中的第Μ和第（Μ+1)現(xiàn)有幀確定的。例如， 恢復(fù)附加幀可以涉及：識別第一圖像流的一個或多個現(xiàn)有幀的部分和第二圖像流的一個或 多個現(xiàn)有幀的部分之間的對應(yīng)性，以及使用來自已識別部分的圖像信息形成至少一個所述 附加幀。在一些實施例中，這些部分被更特定地稱為"簇"。
[0024] 從上述可見，本實施例中的圖像處理器102被配置來生成修改的第二圖像流 Fs2'，其包括在給定的時間段內(nèi)的一個或多個附加幀，并且因此其具有比原始輸入第二圖 像流Fs2高的幀速率。
[0025] 應(yīng)理解，僅通過說明性的例子呈現(xiàn)了圖2中示出的特定布置，而在其它實施例中， 可以存在第一和第二圖像流的幀之間的其它類型的對應(yīng)性。本公開的技術(shù)可以以直接了當(dāng) 的方式適用于任何具有幀速率比

【權(quán)利要求】
1. 一種方法，包括： 獲得具有第一幀速率的第一圖像流和具有比所述第一幀速率低的第二幀速率的第二 圖像流； 基于所述第一圖像流和第二圖像流的現(xiàn)有幀為所述第二圖像流恢復(fù)附加幀；以及 使用所述附加幀來為所述第二圖像流提供增加的幀速率； 其中在至少一個包括耦接到存儲器的處理器的處理設(shè)備中執(zhí)行所述獲得、恢復(fù)和使 用。
2. 如權(quán)利要求1所述的方法，其中獲得所述第一圖像流和第二圖像流包括從深度成像 器獲得作為深度圖像流的、所述第一圖像流和第二圖像流中的至少一個圖像流。
3. 如權(quán)利要求1所述的方法，其中獲得所述第一圖像流和第二圖像流包括：從配置用 于對給定的場景成像的相應(yīng)的不同圖像傳感器獲得所述第一圖像流和第二圖像流。
4. 如權(quán)利要求1所述的方法，其中所述第二圖像流中的兩個連續(xù)現(xiàn)有幀對應(yīng)于所述第 一圖像流中的R+1個連續(xù)現(xiàn)有幀，從而如果所述第一圖像流中的第N個現(xiàn)有幀對應(yīng)于所述 第二圖像流中的第Μ個現(xiàn)有幀，則所述第一圖像流中的第（N+R)現(xiàn)有幀對應(yīng)于所述第二圖 像流中的第（Μ+1)現(xiàn)有幀。
5. 如權(quán)利要求4所述的方法，其中基于所述第一圖像流和第二圖像流的現(xiàn)有幀為所述 第二圖像流恢復(fù)附加幀包括：確定用于插入所述第二圖像流中的第Μ現(xiàn)有幀和第（Μ+1)現(xiàn) 有幀之間的R+1個附加幀。
6. 如權(quán)利要求5所述的方法，其中所確定的用于插入所述第二圖像流中的第Μ現(xiàn)有幀 和第（Μ+1)現(xiàn)有幀之間的R+1個附加幀是基于所述第一圖像流中的對應(yīng)的R+1個連續(xù)現(xiàn)有 幀和所述第二圖像流中的第Μ現(xiàn)有幀和第（Μ+1)現(xiàn)有幀確定的。
7. 如權(quán)利要求1所述的方法，其中基于所述第一圖像流和第二圖像流的現(xiàn)有幀為所述 第二圖像流恢復(fù)附加幀包括：確定用于插入所述第二圖像流中的相應(yīng)對的連續(xù)現(xiàn)有幀的之 間的一個或多個附加幀的集合。
8. 如權(quán)利要求7所述的方法，其中對于給定的迭代，確定用于插入第二圖像流中的所 述連續(xù)現(xiàn)有幀中的對應(yīng)的一對之間的一個或多個附加幀的特定集合，所述確定是基于第一 圖像流中多個對應(yīng)的現(xiàn)有幀和第二圖像流中的所述對應(yīng)對的連續(xù)現(xiàn)有幀的。
9. 如權(quán)利要求1所述的方法，其中基于所述第一圖像流和第二圖像流的現(xiàn)有幀為所述 第二圖像流恢復(fù)附加幀包括： 對所述現(xiàn)有幀中相應(yīng)的幀應(yīng)用聚簇操作，以產(chǎn)生相應(yīng)的簇映射；以及 產(chǎn)生指示所述簇映射的簇之間的對應(yīng)性的簇對應(yīng)信息。
10. 如權(quán)利要求9所述的方法，還包括在對其應(yīng)用聚簇操作之前，至少對所述第一圖像 流和第二圖像流中的至少一個圖像流的現(xiàn)有幀的子集應(yīng)用仿射變換。
11. 如權(quán)利要求9所述的方法，其中對所述現(xiàn)有幀中給定的現(xiàn)有幀應(yīng)用的聚簇操作包 括基于統(tǒng)計區(qū)域合并的聚簇操作，其中，將所述給定的現(xiàn)有幀分到多個簇中，所述多個簇中 的每一個對應(yīng)不同統(tǒng)計區(qū)域。
12. 如權(quán)利要求11所述的方法，其中所述基于統(tǒng)計區(qū)域合并的聚簇操作根據(jù)以下式， 對于所述給定的現(xiàn)有幀的任意兩個統(tǒng)計區(qū)域凡和R 2，使用規(guī)定的合并謂詞實現(xiàn)回歸合并：
其中I Ri-r2 I表示區(qū)域札中的像素的數(shù)目和區(qū)域馬中的像素的數(shù)目之間的差的大小， 并且b (Ri)是區(qū)域Ri中像素的數(shù)目的函數(shù)并且是在所述給定的幀中的像素的最大可能值， 使得如果P (L R2)=真，則將區(qū)域&及R2合并到單一的簇中。
13. 如權(quán)利要求9所述的方法，還包括使用簇對應(yīng)信息執(zhí)行深度填充操作，其中，與恢 復(fù)所述附加幀關(guān)聯(lián)地，將與第一圖像流和第二圖像流的一個或多個現(xiàn)有幀中的一個或多個 簇相關(guān)聯(lián)的深度數(shù)據(jù)，添加到所述一個或多個所述附加幀中對應(yīng)的簇。
14. 如權(quán)利要求1所述的方法，其中基于所述第一圖像流和第二圖像流的現(xiàn)有幀為所 述第二圖像流恢復(fù)附加幀包括： 識別所述第一圖像流的一個或多個現(xiàn)有幀的部分和所述第二圖像流的一個或多個現(xiàn) 有幀的部分之間的對應(yīng)性；以及 使用來自所述識別的部分的圖像信息形成所述附加幀中的至少一個。
15. -種其中嵌入有計算機(jī)程序代碼的計算機(jī)可讀存儲介質(zhì)，其中所述計算機(jī)程序代 碼當(dāng)在處理設(shè)備中執(zhí)行時，使得所述處理設(shè)備執(zhí)行如權(quán)利要求1所述的方法。
16. -種裝置，包括： 至少一個處理設(shè)備，其包括耦接到存儲器的處理器； 其中所述至少一個處理設(shè)備被配置來獲得具有第一幀速率的第一圖像流和具有比所 述第一幀速率低的第二幀速率的第二圖像流，基于所述第一圖像流和第二圖像流的現(xiàn)有幀 為所述第二圖像流恢復(fù)附加幀；以及使用所述附加幀來為所述第二圖像流提供增加的幀速 率。
17. 如權(quán)利要求16所述的裝置，其中所述處理設(shè)備包括圖像處理器，所述圖像處理器 包括： 聚簇模塊，配置為對所述現(xiàn)有幀中相應(yīng)的現(xiàn)有幀應(yīng)用聚簇操作，以產(chǎn)生相應(yīng)的簇映射； 以及 簇對應(yīng)模塊，配置為產(chǎn)生指示所述簇映射的簇之間的對應(yīng)性的簇對應(yīng)信息。
18. 如權(quán)利要求17所述的裝置，其中所述圖像處理器還包括深度填充模塊，所述深度 填充模塊被配置為使用所述簇對應(yīng)信息執(zhí)行深度填充操作，其中，與恢復(fù)所述附加幀關(guān)聯(lián) 地，將與第一圖像流和第二圖像流的一個或多個現(xiàn)有幀中的一個或多個簇相關(guān)聯(lián)的深度數(shù) 據(jù)，添加到一個或多個所述附加幀中相應(yīng)的簇。
19. 一種圖像處理系統(tǒng)，包括： 第一圖像源，提供具有第一幀速率的第一圖像流； 第二圖像源，提供具有比所述第一幀速率低的第二幀速率的第二圖像流；以及 圖像處理器，耦接到所述第一圖像源和第二圖像源； 其中所述圖像處理器被配置為基于所述第一圖像流和第二圖像流的現(xiàn)有幀為所述第 二圖像流恢復(fù)附加幀，以及使用所述附加幀為所述第二圖像流提供增加的幀速率。
20. 如權(quán)利要求19所述的系統(tǒng)，其中所述第一圖像源和第二圖像源中的至少一個包括 深度成像器。
【文檔編號】G06T1/00GK104254868SQ201380007015
【公開日】2014年12月31日 申請日期:2013年8月23日 優(yōu)先權(quán)日:2013年1月30日
【發(fā)明者】D·V·帕克霍門庫, I·L·馬祖雷恩庫, P·A·阿里塞切克, D·N·巴比恩, D·V·扎伊特塞弗 申請人:Lsi公司