實(shí)時(shí)立體匹配的制作方法
【專(zhuān)利說(shuō)明】實(shí)時(shí)立體匹配
[誦]宜量
[0002] 立體匹配是其中將從稍微不同的視角拍攝的一場(chǎng)景的兩個(gè)圖像（立體圖像對(duì)）進(jìn) 行匹配W找出描繪同一場(chǎng)景元素的各圖像元素的差別（位置上的差異）的過(guò)程。差別提供 與場(chǎng)景各元素到相機(jī)的相對(duì)距離有關(guān)的信息。立體匹配使得差別能夠被計(jì)算并且從而可W 找出環(huán)境中各對(duì)象的表面的深度?？蒞使用包括相隔已知距離的兩個(gè)圖像捕捉設(shè)備的立體 相機(jī)來(lái)捕捉立體圖像對(duì)。
[0003] 立體匹配在計(jì)算上是復(fù)雜的，因?yàn)橐獟人鞔罅康目赡芷ヅ洌涣Ⅲw對(duì)中的左圖像中 的圖像元素可W與立體對(duì)中的右圖像中的任何圖像元素相匹配。已經(jīng)開(kāi)發(fā)出用于立體匹配 (又稱(chēng)為立體對(duì)應(yīng)問(wèn)題）的各種辦法并且一般在結(jié)果的精確性和進(jìn)行計(jì)算所需的速度和資 源之間存在折衷。
[0004] 稱(chēng)作主動(dòng)立體的一種辦法設(shè)及用包括點(diǎn)、團(tuán)塊、線或其他圖案的照明圖案來(lái)照明 場(chǎng)景。該照明圖案在立體圖像對(duì)中被立體相機(jī)捕捉并且可W被用來(lái)幫助降低立體對(duì)應(yīng)問(wèn)題 的復(fù)雜度。
[0005] W下描述的各實(shí)施例不限于解決已知立體相機(jī)匹配過(guò)程的缺點(diǎn)中的任一個(gè)或全 部的實(shí)現(xiàn)。
[0006] 概沐
[0007] 下面呈現(xiàn)了本發(fā)明的簡(jiǎn)要概述，W便向讀者提供基本理解。本概述不是本公開(kāi)的 窮盡概覽，并且不標(biāo)識(shí)本發(fā)明的關(guān)鍵/重要元素或描述本說(shuō)明書(shū)的范圍。其唯一的目的是 W簡(jiǎn)化形式呈現(xiàn)此處所公開(kāi)的精選概念，作為稍后呈現(xiàn)的更詳細(xì)的描述的序言。
[0008] 描述了實(shí)時(shí)立體匹配，例如，用W找出環(huán)境中各對(duì)象距捕捉各對(duì)象的立體圖像流 的圖像捕捉設(shè)備的深度。例如，深度可W被用來(lái)控制增強(qiáng)現(xiàn)實(shí)、機(jī)器人、自然用戶(hù)界面技術(shù)、 游戲及其他應(yīng)用。使用并行處理單元來(lái)處理用或沒(méi)用投射到環(huán)境上的照明圖案獲得的立體 圖像流或單個(gè)立體圖像W獲得深度圖。在各實(shí)施例中，并行處理單元并行地傳播與差別圖 中的各行或各列中的深度相關(guān)的值。在各示例中，可W根據(jù)立體對(duì)的兩個(gè)圖像之間的相似 度測(cè)量來(lái)傳播值；傳播可W是立體圖像流的各帖的差別圖之間的時(shí)間上的，并且可W是左 或右差別圖內(nèi)的空間上的。
[0009] 通過(guò)結(jié)合附圖參考W下詳細(xì)描述，可易于領(lǐng)會(huì)并更好地理解許多附帶特征。
[0010] 附圖簡(jiǎn)沐
[0011] 根據(jù)附圖閱讀W下【具體實(shí)施方式】，將更好地理解本發(fā)明，在附圖中：
[0012]圖1示出捕捉環(huán)境中各對(duì)象的立體圖像對(duì)的流的立體相機(jī)（或者主動(dòng)或者被動(dòng)）， 并且示意性地解說(shuō)了計(jì)算用于游戲系統(tǒng)、增強(qiáng)現(xiàn)實(shí)系統(tǒng)、自然用戶(hù)界面、機(jī)器人系統(tǒng)或其他 系統(tǒng)的輸入的差別值的實(shí)時(shí)立體匹配引擎；
[001引圖2是樹(shù)的立體圖像對(duì)的示意圖，并且解說(shuō)了可W如何使用立體匹配來(lái)計(jì)算樹(shù)的 差別；
[0014] 圖3是主動(dòng)立體相機(jī)安排的示意圖；
[0015] 圖4是圖1的立體匹配引擎處的示例方法的流程圖；
[0016] 圖5是根據(jù)單個(gè)立體圖像對(duì)計(jì)算差別圖的方法的流程圖；
[0017] 圖6是更加詳細(xì)的圖4的時(shí)間傳播過(guò)程的示例的流程圖；
[0018] 圖7是更加詳細(xì)的圖4的空間傳播過(guò)程的示例的流程圖；
[0019] 圖8是空間傳播的示例向前和向后傳遞的示意圖；
[0020] 圖9是檢查差別圖中錯(cuò)誤差別的方法的流程圖；
[0021] 圖10示出可在其中實(shí)現(xiàn)實(shí)時(shí)立體匹配的各實(shí)施例的示例性基于計(jì)算的設(shè)備。
[0022] 在各個(gè)附圖中使用相同的附圖標(biāo)記來(lái)指代相同的部件。
[0023] 詳細(xì)描沐
[0024] 下面結(jié)合附圖提供的詳細(xì)描述旨在作為本發(fā)明示例的描述，并不旨在表示可W構(gòu) 建或使用本發(fā)明示例的唯一形式。本描述闡述了本發(fā)明示例的功能，W及用于構(gòu)建和操作 本發(fā)明示例的步驟的序列。然而，可W通過(guò)不同的示例來(lái)實(shí)現(xiàn)相同或等效功能和序列。
[0025] 雖然在本文中將本發(fā)明的示例描述并示出為在具有立體圖像流的立體系統(tǒng)中實(shí) 現(xiàn)，但是所描述的系統(tǒng)只是作為示例而非限制來(lái)提供的。本領(lǐng)域的技術(shù)人員將會(huì)領(lǐng)會(huì)，本發(fā) 明的示例適于包括主動(dòng)立體系統(tǒng)和被動(dòng)立體系統(tǒng)的各種不同類(lèi)型的立體系統(tǒng)中的應(yīng)用，其 中單個(gè)立體對(duì)被獨(dú)立于其他立體對(duì)處理。
[0026] 圖1示出了被動(dòng)立體相機(jī)對(duì)108,其可W被用來(lái)捕捉環(huán)境中各對(duì)象110的立體圖像 對(duì)的流104。該被動(dòng)立體相機(jī)對(duì)108可W在環(huán)境中移動(dòng)或者可W被固定。該被動(dòng)立體相機(jī) 對(duì)108包括彼此相隔已知距離并被安排成使其視野基本重疊的兩個(gè)圖像捕捉設(shè)備。圖像捕 捉設(shè)備可W是紅外相機(jī)、RGB相機(jī)或其他類(lèi)型的相機(jī)。
[0027] 圖2還示出了主動(dòng)立體相機(jī)對(duì)106,其可W代替被動(dòng)立體相機(jī)對(duì)108被用來(lái)捕捉立 體圖像對(duì)的流104。主動(dòng)立體相機(jī)106具有相關(guān)聯(lián)的照明源，該照明源可W與主動(dòng)立體相機(jī) 106集成或者可W是分立的并且位于環(huán)境110中的其他位置。相關(guān)聯(lián)的照明源能夠?qū)⒄彰?圖案投射到環(huán)境110中的各對(duì)象上。例如，紅外照明、可見(jiàn)光或其他照明。照明圖案可W包 括團(tuán)塊、線、網(wǎng)格或其他圖案。主動(dòng)立體相機(jī)106包括彼此相隔已知距離并被安排成使其視 野基本重疊的兩個(gè)圖像捕捉設(shè)備。圖像捕捉設(shè)備能夠捕捉被照明源照明的場(chǎng)景中各對(duì)象的 圖像。例如，在照明是紅外線的情況下，圖像捕捉設(shè)備可W是紅外相機(jī)。
[0028] 無(wú)論是來(lái)自被動(dòng)立體相機(jī)還是來(lái)自主動(dòng)立體相機(jī)的立體圖像對(duì)的流都被輸入到 包括并行處理單元102的實(shí)時(shí)立體匹配引擎100。在一些示例中，實(shí)時(shí)立體匹配引擎100 還可W處理不是立體圖像流的一部分的立體對(duì)。實(shí)時(shí)立體匹配引擎100計(jì)算輸入立體圖像 的圖像元素的差別值112。運(yùn)些差別值與從立體相機(jī)到各圖像元素所描繪的對(duì)象的表面的 距離相關(guān)。差別值可W被游戲系統(tǒng)114、增強(qiáng)現(xiàn)實(shí)系統(tǒng)116、自然用戶(hù)界面118、機(jī)器人系統(tǒng) 120或使用與環(huán)境中對(duì)象表面的距離有關(guān)的信息的任何其他系統(tǒng)使用。圖像元素可W是像 素、體素、多個(gè)像素或多個(gè)體素。
[0029] 實(shí)時(shí)立體匹配引擎100可W與立體相機(jī)（主動(dòng)或被動(dòng)）集成或者可W位于能夠接 收立體圖像流的另一實(shí)體處。實(shí)時(shí)立體匹配引擎100使用計(jì)算機(jī)實(shí)現(xiàn)并且并行處理單元 102可W是圖形處理單元、程序?qū)Ｓ眉呻娐罚ˋSIC)、現(xiàn)場(chǎng)可編程口陣列（FPGA)或任何其 他并行處理單元。
[0030] 現(xiàn)在參考圖2從高層面來(lái)描述用W找出差別值的立體匹配的概念W輔助理解本 文中所描述的各示例。圖2是含有包括樹(shù)200的場(chǎng)景的左圖像202和右圖像204的立體圖 像對(duì)的示意圖。用來(lái)捕捉立體圖像對(duì)的立體相機(jī)（圖2中未示出）包括彼此分離W便如示 出那樣分別所捕捉的左圖像和右圖像的兩個(gè)圖像捕捉設(shè)備。左圖像和右圖像中屯、的點(diǎn)被示 出W輔助解說(shuō)。在左圖像202中樹(shù)200的圖像在點(diǎn)左側(cè)；在右圖像204中樹(shù)的圖像在點(diǎn)右 偵U。當(dāng)左圖像和右圖像被疊加為合成圖像206時(shí)，使用虛線示出來(lái)自左圖像的樹(shù)的圖像。描 繪來(lái)自左圖像的樹(shù)基的圖像元素被稱(chēng)為與描繪來(lái)自右圖像的樹(shù)基的圖像元素相對(duì)應(yīng)。運(yùn)些 對(duì)應(yīng)圖像元素之間的距離在箭頭208處示出，并且表示可W按像素單元或其他圖像元素測(cè) 量的運(yùn)些圖像元素之間的差別。差別值208與樹(shù)200距圖像捕捉設(shè)備的距離或深度相關(guān)。 找出左圖像的哪些圖像元素與右圖像的哪些圖像元素相對(duì)應(yīng)在計(jì)算上是復(fù)雜的，對(duì)于高分 辨率圖像而言尤甚。圖2的安排是被動(dòng)立體匹配的示例，因?yàn)闆](méi)有用諸如紅外點(diǎn)圖案之類(lèi) 的主動(dòng)照明源來(lái)照明場(chǎng)景（即樹(shù)及其環(huán)境）。本文中所述的立體匹配的各示例可W應(yīng)用于 主動(dòng)立體匹配和被動(dòng)立體匹配兩者，并且于是現(xiàn)在參考圖3來(lái)描述針對(duì)主動(dòng)立體是示例設(shè) 置。
[0031] 圖3是更加詳細(xì)的諸如圖1的主動(dòng)立體相機(jī)106之類(lèi)的主動(dòng)立體相機(jī)安排的示意 圖。該安排包括彼此例如通過(guò)固定到軌道或其他支撐而被分隔開(kāi)的至少兩個(gè)圖像捕捉設(shè) 備。在圖3的示例中，圖像捕捉設(shè)備是紅外（IR)相機(jī)300。然而，可W使用其他類(lèi)型的圖 像捕捉設(shè)備，諸如RGB相機(jī)。圖像捕捉設(shè)備可W被同步鎖相或同步W使得圖像能夠在相同 時(shí)間點(diǎn)在每一圖像捕捉設(shè)備處被捕捉。圖像捕捉設(shè)備被放置成使得其視野重疊。如圖3所 示，每個(gè)圖像捕捉設(shè)備300能夠捕捉環(huán)境110中的各對(duì)象的圖像，盡管每個(gè)圖像捕捉設(shè)備具 有不同的視點(diǎn)。
[0032] 主動(dòng)立體相機(jī)安排還包括照明源，諸如IR投影儀304、可見(jiàn)光源或能夠?qū)⒄彰鲌D 案投射到環(huán)境110中的各對(duì)象上的其他照明源。照明源可W被安排成將隨機(jī)的點(diǎn)圖案或其 他照明圖案投射到環(huán)境110中的各對(duì)象上。同步鎖相的圖像捕捉設(shè)備可W被用來(lái)捕捉環(huán)境 中各對(duì)象的圖像，包括IR點(diǎn)的隨機(jī)圖案或投射到對(duì)象的各表面上的其他照明圖案。例如， IR相機(jī)可W輸出灰度圖像，其中每個(gè)圖像元素包括單個(gè)強(qiáng)度值。
[003引圖4是圖1的立體匹配引擎處的示例方法的流程圖。在此示例中，立體圖像對(duì)的流 400被接收或輸入給立體匹配引擎。該流包括各帖，每一帖是立體圖像對(duì)。在其他示例中， 諸如W下參考圖5所述的示例中，立體匹配引擎處理并非來(lái)自立體圖像流的立體圖像對(duì)。
[0034] 立體圖像對(duì)可W被校正401，從而使垂直差別被最小化且可W被忽略。W此方式， 左立體圖像中給定行上的圖像元素將在右立體圖像中相同行上的其他位置處具有其對(duì)應(yīng) 的圖像元素（即，描繪環(huán)