用于組合來(lái)自多個(gè)深度相機(jī)的數(shù)據(jù)的系統(tǒng)和方法
【專(zhuān)利說(shuō)明】用于組合來(lái)自多個(gè)深度相機(jī)的數(shù)據(jù)的系統(tǒng)和方法
[0001] 相關(guān)申請(qǐng)交叉引用 本申請(qǐng)要求2012年10月15日提出的美國(guó)專(zhuān)利申請(qǐng)13/652181的優(yōu)先權(quán)，該申請(qǐng)全文 通過(guò)引用結(jié)合于本文中。
【背景技術(shù)】
[0002] 深度相機(jī)以交互式高幀率采集其環(huán)境的深度圖像。深度圖像提供在相機(jī)的視野內(nèi) 對(duì)象與相機(jī)本身之間距離的像素方面測(cè)量。深度相機(jī)用于解決在計(jì)算機(jī)視覺(jué)的一般領(lǐng)域中 的許多問(wèn)題。例如，深度相機(jī)可用作監(jiān)控行業(yè)中解決方案的組件，以跟蹤人們和監(jiān)視對(duì)禁止 區(qū)域的接近。又如，相機(jī)可應(yīng)用到HMI(人機(jī)接口）問(wèn)題，如跟蹤人的移動(dòng)和其手部和手指 的移動(dòng)。
[0003] 近年來(lái)，在用于與電子裝置進(jìn)行用戶交互的姿勢(shì)控制的應(yīng)用方面取得了相當(dāng)大的 進(jìn)步。由深度相機(jī)捕捉的姿勢(shì)例如能夠用于控制電視，用于家庭自動(dòng)化，或者用于允許與平 板、個(gè)人計(jì)算機(jī)和移動(dòng)電話的用戶接口。隨著在這些相機(jī)中使用的核心技術(shù)繼續(xù)改進(jìn)并且 其成本下降，姿勢(shì)控制將在與電子裝置的人交互中繼續(xù)起到越來(lái)越大的作用。
【附圖說(shuō)明】
[0004] 圖中示出用于組合來(lái)自多個(gè)深度相機(jī)的數(shù)據(jù)的系統(tǒng)的示例。示例和圖形是說(shuō)明性 的，而不是限制。
[0005] 圖1是示出其中定位了兩個(gè)相機(jī)以查看某個(gè)區(qū)域的示例環(huán)境的圖。
[0006] 圖2是示出其中多個(gè)相機(jī)用于捕捉用戶交互的示例環(huán)境的圖。
[0007] 圖3是示出其中多個(gè)相機(jī)用于捕捉由多個(gè)用戶進(jìn)行的交互的示例環(huán)境的圖。
[0008] 圖4是示出兩個(gè)示例輸入圖像和從輸入圖像獲得的復(fù)合合成圖像的圖。
[0009] 圖5是示出相機(jī)投影的示例模型的圖。
[0010] 圖6是示出兩個(gè)相機(jī)的示例視野和合成分辨率線條的圖。
[0011] 圖7是示出朝向不同方向的兩個(gè)相機(jī)的示例視野的圖。
[0012] 圖8是示出兩個(gè)相機(jī)和相關(guān)聯(lián)虛擬相機(jī)的示例配置的圖。
[0013] 圖9是示出用于生成合成圖像的示例過(guò)程的流程圖。
[0014] 圖10是示出用于處理由多個(gè)單獨(dú)相機(jī)生成的數(shù)據(jù)和組合數(shù)據(jù)的示例過(guò)程的流程 圖。
[0015] 圖11是其中由中央處理器處理來(lái)自多個(gè)相機(jī)的輸入數(shù)據(jù)流的示例系統(tǒng)圖。
[0016] 圖12是其中來(lái)自多個(gè)相機(jī)的輸入數(shù)據(jù)流在由中央處理器組合前由個(gè)別處理器處 理的示例系統(tǒng)圖。
[0017] 圖13是其中一些相機(jī)數(shù)據(jù)流由專(zhuān)用處理器處理，而其它相機(jī)數(shù)據(jù)流由主機(jī)處理 器處理的示例系統(tǒng)圖。
【具體實(shí)施方式】
[0018] 本文描述了用于將從多個(gè)深度相機(jī)拍攝的深度圖像組合成復(fù)合圖像的系統(tǒng)和方 法。復(fù)合圖像中捕捉的空間的體積在大小和形狀方面是可根據(jù)使用的深度相機(jī)的數(shù)量和相 機(jī)的成像傳感器的形狀配置的。在復(fù)合圖像上能夠執(zhí)行人或?qū)ο蟮囊苿?dòng)的跟蹤。被跟蹤的 移動(dòng)隨后能夠由交互式應(yīng)用用于在顯示器上再現(xiàn)被跟蹤的移動(dòng)的圖像。
[0019] 現(xiàn)在將描述本發(fā)明的各種方面和示例。以下描述提供特定細(xì)節(jié)以便完全理解這些 示例并實(shí)現(xiàn)這些實(shí)施例的描述。然而，本領(lǐng)域的技術(shù)人員將理解，實(shí)踐本發(fā)明可無(wú)需這些細(xì) 節(jié)的許多內(nèi)容。另外，一些熟知的結(jié)構(gòu)或功能可未詳細(xì)示出或描述，以免不必要地混淆相關(guān) 描述。
[0020] 在下面所述描述中使用的術(shù)語(yǔ)即使是與本技術(shù)的某些特定實(shí)施例的詳細(xì)描述結(jié) 合使用，也要以其最廣泛的合理方式解釋。某些術(shù)語(yǔ)在下面甚至?xí)粡?qiáng)調(diào)；然而，要以任何 受限方式解釋的任一術(shù)語(yǔ)將如本詳細(xì)說(shuō)明部分中一樣公開(kāi)和具體地定義。
[0021] 深度相機(jī)是以每秒多幀捕捉通常為連續(xù)深度圖像的序列的深度圖像的相機(jī)。每個(gè) 深度圖像包含每像素深度數(shù)據(jù)，即，圖像中的每個(gè)像素具有表示在成像場(chǎng)景的對(duì)象的對(duì)應(yīng) 區(qū)域與相機(jī)之間距離的值。深度相機(jī)有時(shí)稱為三維（3D)相機(jī)。除其它組件外，深度相機(jī)可 包含深度圖像傳感器、光學(xué)透鏡及光照源。深度圖像傳感器可依賴幾個(gè)不同傳感器技術(shù)之 一。在這些傳感器技術(shù)中有稱為"T0F"的飛行時(shí)間(包括掃描T0F或陣列T0F)、結(jié)構(gòu)光、激 光散斑圖技術(shù)、立體相機(jī)、有源立體傳感器及色度成形法（shape-from-shading)技術(shù)。大 多數(shù)這些技術(shù)依賴有源傳感器，表現(xiàn)在它們?yōu)槠渥约旱墓庹赵垂╇?。與此相反，諸如立體相 機(jī)等無(wú)源傳感器技術(shù)不為其自己的光照源供電，而是取決于環(huán)境照明。除深度數(shù)據(jù)外，相機(jī) 也可以與常規(guī)彩色相機(jī)所用的相同方式生成彩色數(shù)據(jù)，并且彩色數(shù)據(jù)能夠與深度數(shù)據(jù)組合 以便進(jìn)行處理。
[0022] 相機(jī)的視野指相機(jī)捕捉的場(chǎng)景的區(qū)域，并且它隨相機(jī)的幾個(gè)組件變化，例如，包括 相機(jī)透鏡的形狀和曲度。相機(jī)的分辨率是相機(jī)捕捉的每個(gè)圖像中像素的數(shù)量。例如，分辨率 可以為320x240像素，也就是說(shuō)，在水平方向上的320像素和在垂直方向上的240像素。 深度相機(jī)能夠配置用于不同范圍。相機(jī)的范圍是在相機(jī)前面相機(jī)捕捉最小質(zhì)量的數(shù)據(jù)的區(qū) 域，并且通常而言，隨相機(jī)組件的規(guī)格和裝配而變化。就飛行時(shí)間相機(jī)而言，例如，更遠(yuǎn)的范 圍一般要求更高的照明功率。更遠(yuǎn)的范圍也可要求更高的像素陣列分辨率。
[0023] 在深度相機(jī)生成的數(shù)據(jù)質(zhì)量與諸如視野、分辨率和幀率等相機(jī)的參數(shù)之間存在直 接折衷。數(shù)據(jù)的質(zhì)量又確定相機(jī)能夠支持的移動(dòng)跟蹤的級(jí)別。具體而言，數(shù)據(jù)必須符合某 個(gè)級(jí)別的質(zhì)量以便允許穩(wěn)固和高度精確地跟蹤用戶的細(xì)微移動(dòng)。由于相機(jī)的規(guī)格通過(guò)考慮 成本和大小而得到有效限制，因此，數(shù)據(jù)的質(zhì)量同樣受到限制。此外，也存在影響數(shù)據(jù)的特 性的另外限制。例如，圖像傳感器的特定幾何形狀(通常為矩形）定義相機(jī)捕捉的圖像的尺 寸。
[0024] 交互區(qū)域是在深度相機(jī)前面用戶能夠在其中與應(yīng)用交互的空間，并且因此相機(jī)生 成的數(shù)據(jù)的質(zhì)量應(yīng)足夠高以支持跟蹤用戶的移動(dòng)。不同應(yīng)用的交互區(qū)域要求不可通過(guò)相機(jī) 的規(guī)格而得以滿足。例如，如果開(kāi)發(fā)者想構(gòu)建多個(gè)用戶能夠在其中交互的設(shè)備，則單個(gè)相機(jī) 的視野可過(guò)于有限，無(wú)法支持設(shè)備所需的全部交互。在另一示例中，開(kāi)發(fā)者可能想使用與相 機(jī)指定的交互區(qū)域的形狀不同的交互空間（如L形狀或圓形交互區(qū)域)工作。本公開(kāi)內(nèi)容描 述能夠如何經(jīng)專(zhuān)用算法組合來(lái)自多個(gè)深度相機(jī)的數(shù)據(jù)，以便放大交互的區(qū)域并且定制該區(qū) 域以適合應(yīng)用的特定需要。
[0025] 術(shù)語(yǔ)"組合數(shù)據(jù)"指獲取來(lái)自多個(gè)相機(jī)的數(shù)據(jù)的過(guò)程，每個(gè)相機(jī)帶有交互區(qū)域的一 部分的視域，并且過(guò)程產(chǎn)生覆蓋整個(gè)交互區(qū)域的新的數(shù)據(jù)流。能夠使用具有各種范圍的相 機(jī)以獲得深度數(shù)據(jù)的單獨(dú)流，并且甚至能夠使用每個(gè)具有不同范圍的多個(gè)相機(jī)。在此上下 文中，數(shù)據(jù)能夠指來(lái)自相機(jī)的原數(shù)據(jù)，或者指在原始相機(jī)數(shù)據(jù)上單獨(dú)運(yùn)行的跟蹤算法的輸 出。即使相機(jī)沒(méi)有重疊的視野，來(lái)自多個(gè)相機(jī)的數(shù)據(jù)也能夠組合。
[0026] 在許多情況下，最好是為要求使用深度相機(jī)的應(yīng)用擴(kuò)展交互區(qū)域。參照?qǐng)D1，它是 一個(gè)實(shí)施例的圖，其中，用戶可在其桌面上具有兩個(gè)監(jiān)視器，帶有兩個(gè)相機(jī)，每個(gè)相機(jī)經(jīng)定 位以查看在一個(gè)屏幕前面的區(qū)域。由于相機(jī)靠近用戶的手以及要求深度數(shù)據(jù)的質(zhì)量支持 用戶的手指的高精度跟蹤的兩個(gè)原因，一個(gè)相機(jī)的視野一般不可能覆蓋整個(gè)所需的交互區(qū) 域。而是，來(lái)自每個(gè)相機(jī)的獨(dú)立數(shù)據(jù)流能夠組合以生成單個(gè)合成數(shù)據(jù)流，并且跟蹤算法能夠 應(yīng)用到此合成數(shù)據(jù)流。從用戶的角度而言，他能夠?qū)⑵涫謴囊粋€(gè)相機(jī)的視野移入第二相機(jī) 的視野，并且他的應(yīng)用無(wú)縫地做出反應(yīng)，好像他的手保持在單個(gè)相機(jī)的視野內(nèi)一樣。例如， 用戶可用其手拿起在第一屏幕上可見(jiàn)的虛擬對(duì)象，并且移動(dòng)其手到與第二屏幕相關(guān)聯(lián)的相 機(jī)的前面，隨后他在此處釋放對(duì)象，并且對(duì)象出現(xiàn)在第二屏幕上。
[0027] 圖2是另一示例實(shí)施例的圖，其中，獨(dú)立裝置能夠包含定位在其周?chē)亩鄠€(gè)相機(jī)， 每個(gè)相機(jī)帶有從裝置向外擴(kuò)展的視野。裝置例如能夠放置在可容納幾個(gè)人就座的會(huì)議桌 上，并且能夠捕捉統(tǒng)一的交互區(qū)域。
[0028] 在一另外的實(shí)施例中，幾個(gè)個(gè)體可在一起工作，每個(gè)個(gè)體在個(gè)別的裝置上工作。每 個(gè)裝置可配有相機(jī)。單獨(dú)相機(jī)的視野能夠組合以生成可由所有單獨(dú)用戶一起訪問(wèn)的大的復(fù) 合交互區(qū)域。單獨(dú)裝置甚至可以是不同各類(lèi)的電子裝置，如膝上型計(jì)算機(jī)、平板、臺(tái)式個(gè)人 計(jì)算機(jī)及智能電話。
[0029] 圖3是又一示例實(shí)施例的圖，它是設(shè)計(jì)用于由多個(gè)用戶進(jìn)行同時(shí)交互的應(yīng)用。此 類(lèi)應(yīng)用例如可能出現(xiàn)在博物館中，或者在另一類(lèi)型的公共空