專利名稱：用于交通攝影機(jī)的具有額外的視點(diǎn)和增強(qiáng)的分辨率的仿真視頻的制作方法
用于交通攝影機(jī)的具有額外的視點(diǎn)和增強(qiáng)的分辨率的仿真視頻
背景技術(shù)：
隨著數(shù)據(jù)網(wǎng)絡(luò)的增加的部署和使用，用于各種目的的視頻饋送已經(jīng)成為許多人的日常體驗(yàn)的一個(gè)常見方面。視頻饋送的其中一項(xiàng)應(yīng)用包括交通攝影機(jī)。在許多城市和其他場所中，來自交通攝影機(jī)的視頻可供個(gè)人通過因特網(wǎng)或其他聯(lián)網(wǎng)手段來觀看。出行者可以在離家或下班之前通過檢查交通攝影機(jī)來察看交通狀況，并且相應(yīng)地計(jì)劃其路線。隨著車載計(jì)算機(jī)系統(tǒng)變得更加普遍，甚至駕駛員(在安全的情況下)可以通過攝影機(jī)檢查前方的交通情況并且在必要時(shí)更改其路線。典型的交通攝影機(jī)是沿著道路設(shè)置的，并且指向一個(gè)方向。此外，出于實(shí)用的原因，大多數(shù)交通攝影機(jī)是低分辨率攝影機(jī)，其無法顯示出攝影機(jī)遠(yuǎn)處的背景或汽車的細(xì)節(jié)。因此，觀看者通過察看交通攝影機(jī)的視頻饋送所能獲得的信息有限。舉例來說，遠(yuǎn)處的汽車是模糊的，并且他們只能看到駛向攝影機(jī)或駛離攝影機(jī)的汽車而無法對于同一條車道同時(shí) 看到駛向及駛離攝影機(jī)的汽車等等。

發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容是為了以簡化形式介紹將在后面的詳細(xì)描述部分中進(jìn)一步描述的概念的選擇。本發(fā)明內(nèi)容不旨在排他性地標(biāo)識出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在幫助確定所要求保護(hù)的主題的范圍。實(shí)施例是針對利用來自低幀率、低分辨率、單方向交通攝影機(jī)的視頻輸入提供仿真的高幀率、高分辨率、多視圖的交通視頻圖像。根據(jù)一些實(shí)施例，可以把所接收到的視頻與來自預(yù)先捕獲的圖像的數(shù)據(jù)庫和/或時(shí)間上偏移的視頻的補(bǔ)片進(jìn)行融合從而創(chuàng)建更高質(zhì)量的視頻以及對應(yīng)于相同攝影機(jī)的多個(gè)視點(diǎn)。根據(jù)其他實(shí)施例，可以對于諸如保安攝影機(jī)、監(jiān)測攝影機(jī)以及類似的攝影機(jī)之類的其他類型的攝影機(jī)應(yīng)用視頻分辨率增強(qiáng)和多視點(diǎn)創(chuàng)建。通過閱讀下面的詳細(xì)描述以及查閱相關(guān)聯(lián)的附圖，這些和其他特征和優(yōu)點(diǎn)將變得顯然。應(yīng)當(dāng)理解的是，前面的一般性描述和后面的詳細(xì)描述都是示例性的，而不限制所要求保護(hù)的各個(gè)方面。


圖I是示出具有交通攝影機(jī)的道路的概念圖，其中可以采用根據(jù)實(shí)施例的視頻分辨率增強(qiáng)和多視點(diǎn)創(chuàng)建；
圖2示出了具有用于根據(jù)實(shí)施例的交通攝影機(jī)的增強(qiáng)的分辨率和多個(gè)視點(diǎn)的另一條道路；
圖3示出了用于創(chuàng)建具有多個(gè)視點(diǎn)的仿真交通視頻的系統(tǒng)的框 圖4示出了用于創(chuàng)建具有多個(gè)視點(diǎn)的仿真交通視頻的系統(tǒng)的框 圖5是可以在其中實(shí)施根據(jù)實(shí)施例的系統(tǒng)的聯(lián)網(wǎng)環(huán)境；圖6是可以在其中實(shí)施實(shí)施例的示例性計(jì)算操作環(huán)境的框圖；以及圖7示出了根據(jù)實(shí)施例的基于來自低分辨率、單方向交通攝影機(jī)的輸入提供增強(qiáng)分辨率和多視點(diǎn)視頻的過程的邏輯流程圖。
具體實(shí)施例方式正如前面簡要地描述的那樣，可以基于來自低分辨率、單方向交通攝影機(jī)的視頻饋送創(chuàng)建仿真的高分辨率、多視圖的交通視頻圖像?？梢园阉邮盏降囊曨l與來自預(yù)先捕獲的圖像的數(shù)據(jù)庫和/或時(shí)間上偏移的視頻的補(bǔ)片(patch)進(jìn)行融合，從而創(chuàng)建更高質(zhì)量的視頻以及對應(yīng)于相同攝影機(jī)的多個(gè)視點(diǎn)。在下面的詳細(xì)描述中將參照構(gòu)成本說明書的一部分的附圖，其中通過說明的方式示出了具體的實(shí)施例或?qū)嵗?。在不背離本公開的精神或范圍的情況下，可以組合這些方面，可以利用其他方面并且可以進(jìn)行結(jié)構(gòu)上的改變。因此不應(yīng)按照限制的意義來理解下面的詳細(xì)描述，并且本發(fā)明的范圍由所附權(quán)利要求書及其等價(jià)物限定。
雖然將在結(jié)合運(yùn)行于個(gè)人計(jì)算機(jī)上的操作系統(tǒng)上的應(yīng)用程序執(zhí)行的程序模塊的一般情境中描述實(shí)施例，但是本領(lǐng)域技術(shù)人員將認(rèn)識到還可以與其他程序模塊相組合來實(shí)施各個(gè)方面。一般來說，程序模塊包括施行特定任務(wù)或者實(shí)施特定抽象數(shù)據(jù)類型的例程、程序、組件、數(shù)據(jù)結(jié)構(gòu)和其他類型的結(jié)構(gòu)。此外，本領(lǐng)域技術(shù)人員將領(lǐng)會，可以利用其他計(jì)算機(jī)系統(tǒng)配置來實(shí)踐實(shí)施例，其中包括手持式設(shè)備、多處理器系統(tǒng)、基于微處理器的或者可編程消費(fèi)電子裝置、小型計(jì)算機(jī)、大型計(jì)算機(jī)以及類似的計(jì)算設(shè)備。還可以在分布式計(jì)算環(huán)境中實(shí)踐實(shí)施例，其中由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理器設(shè)備施行各項(xiàng)任務(wù)。在分布式計(jì)算環(huán)境中，可以把程序模塊同時(shí)放置在本地和遠(yuǎn)程存儲器存儲設(shè)備中?？梢园褜?shí)施例實(shí)施為計(jì)算機(jī)實(shí)施的過程(方法)、計(jì)算系統(tǒng)或制造品，比如計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)程序產(chǎn)品可以是可由計(jì)算機(jī)系統(tǒng)讀取并且編碼計(jì)算機(jī)程序的計(jì)算機(jī)存儲介質(zhì)，所述計(jì)算機(jī)程序包括用于使得計(jì)算機(jī)或計(jì)算系統(tǒng)施行(多個(gè))示例性過程的指令。計(jì)算機(jī)可讀存儲介質(zhì)可以例如通過以下各項(xiàng)當(dāng)中的一項(xiàng)或更多項(xiàng)來實(shí)施易失性計(jì)算機(jī)存儲器、非易失性存儲器件、硬盤驅(qū)動器、閃存驅(qū)動器、軟盤或緊致盤以及類似的介質(zhì)。在本說明書中，術(shù)語“平臺”可以是用于管理視頻捕獲、處理和傳輸操作的軟件與硬件組件的組合。平臺的例子包括(但不限于)在多個(gè)服務(wù)器上執(zhí)行的托管服務(wù)、在單個(gè)服務(wù)器上執(zhí)行的應(yīng)用以及類似的系統(tǒng)。術(shù)語“服務(wù)器”通常指的是典型地在聯(lián)網(wǎng)環(huán)境中執(zhí)行一個(gè)或更多軟件程序的計(jì)算設(shè)備。但是服務(wù)器還可以被實(shí)施為在一個(gè)或更多計(jì)算設(shè)備(其在網(wǎng)絡(luò)上被視為服務(wù)器)上執(zhí)行的虛擬服務(wù)器(軟件程序)。術(shù)語“低分辨率”和“高分辨率或增強(qiáng)的分辨率”被使用來區(qū)分傳統(tǒng)攝影機(jī)系統(tǒng)的所捕獲視頻質(zhì)量與根據(jù)這里的實(shí)施例生成的仿真視頻。作為一個(gè)具體例子，視頻分辨率的范圍可以處于大約480*640像素到4800*6400像素之間，并且傳統(tǒng)的交通攝影機(jī)可能能夠捕獲朝向所述范圍的低端的分辨率，而根據(jù)實(shí)施例的仿真視頻則可以朝向所述范圍的更高端增強(qiáng)分辨率。但是在不背離所公開的主題的精神和范圍的情況下可以使用其他分辨率。圖I包括示出了具有交通攝影機(jī)的道路的概念圖100，其中可以采用根據(jù)實(shí)施例的視頻分辨率增強(qiáng)和多視點(diǎn)創(chuàng)建。如圖100中所示，處于道路102上的固定位置處的交通攝影機(jī)110是捕獲駛近攝影機(jī)的汽車106和112的視頻的單方向攝影機(jī)。駛離攝影機(jī)的汽車108不再處于攝影機(jī)的視點(diǎn)中。實(shí)際上可能根本無法看到經(jīng)過攝影機(jī)的任何汽車。此外，常見的交通攝影機(jī)典型地是低分辨率攝影機(jī)(這典型地是為了減少將要通過把攝影機(jī)連接到視頻處理系統(tǒng)的網(wǎng)絡(luò)所輸送的視頻數(shù)據(jù)的量)。因此，當(dāng)汽車112處于攝影機(jī)附近時(shí)可以捕獲其細(xì)節(jié)，但是汽車106在所捕獲的視頻中可能看起來是模糊的?？梢栽诶缃徊媛房?104之類的特定位置設(shè)立多個(gè)攝影機(jī)。但是處在道路的筆直部分上的攝影機(jī)的數(shù)目和覆蓋范圍典型地受到限制。即使在具有多個(gè)攝影機(jī)的交叉路口處，攝影機(jī)也不會覆蓋所有角度，并且由于攝影機(jī)的分辨率的緣故，仍然會發(fā)生圖像質(zhì)量隨著距離降低。根據(jù)實(shí)施例的一種系統(tǒng)被配置成在交通饋送中通過合成方式創(chuàng)建汽車的高分辨率視圖以及/或者從不同視點(diǎn)觀看這些汽車。前者可以通過利用攝影機(jī)饋送的不同時(shí)間下的像素建立圖像模擬來實(shí)現(xiàn)，后者可以通過預(yù)先捕獲的影像數(shù)據(jù)庫來實(shí)現(xiàn)。對于所述數(shù)據(jù) 庫，可以收集包含汽車的前方、后方和/或其他視圖在內(nèi)的影像?？梢酝ㄟ^跨越多個(gè)交通攝影機(jī)跟蹤汽車、從制造商數(shù)據(jù)庫接收圖像以及類似的方法來獲得圖像。輸入攝影機(jī)饋送不是單個(gè)圖像而是在足夠高的頻率下捕獲的一系列圖像，以便在沿著道路的多個(gè)實(shí)例處(例如在遠(yuǎn)、中和近之類的預(yù)定義距離范圍下)觀察相同的汽車。此外，觀看體驗(yàn)不需要是實(shí)時(shí)的。觀看者可以察看緩沖的或者延遲的(例如幾秒鐘)視頻。所述延遲可以被用來處理視頻以供視覺化(例如從“未來”的幀借用像素)。為了從不同的視點(diǎn)顯示來自某一交通攝影機(jī)的輸入，可以使用來自不同角度的各個(gè)汽車的圖像來創(chuàng)建對應(yīng)于不同視點(diǎn)的仿真汽車圖像?？梢酝ㄟ^在正投影地圖上疊加或者從人類尺度泡泡顯示數(shù)據(jù)，從而從不同的視點(diǎn)看向道路。當(dāng)把交通視頻投影在幾何結(jié)構(gòu)上時(shí)，隨著觀看者看向攝影機(jī)的更遠(yuǎn)處可以看到汽車的視頻質(zhì)量的降低(其在圖100中由汽車106的模糊圖像表示)。但是在攝影機(jī)遠(yuǎn)處顯示的每一輛車當(dāng)其更靠近攝影機(jī)時(shí)被顯示在更高細(xì)節(jié)下(對于正在駛離攝影機(jī)的汽車)，或者在幾秒鐘內(nèi)當(dāng)其將要更接進(jìn)攝影機(jī)時(shí)被顯示在更高細(xì)節(jié)下(對于正在駛近攝影機(jī)的汽車)。圖2示出了具有根據(jù)實(shí)施例的交通攝影機(jī)的增強(qiáng)的分辨率和多個(gè)視點(diǎn)的另一條道路。為了在比所捕獲的分辨率更高的分辨率下再現(xiàn)模糊的(遠(yuǎn)距離)汽車，根據(jù)一些實(shí)施例可以使用相同汽車的早前更接近攝影機(jī)時(shí)捕獲的或者隨著其駛近攝影機(jī)而將被捕獲的更高分辨率圖像。換句話說，可以從附近的汽車圖像“借用”像素并且傳送到在時(shí)間上處于過去或?qū)淼倪h(yuǎn)距離汽車圖像。對于看“向未來”，可以把視頻延遲一個(gè)預(yù)定義時(shí)間段，以便借用附近汽車的像素從而仿真遠(yuǎn)距離汽車的更高分辨率。在圖200中，遠(yuǎn)處汽車的增強(qiáng)分辨率由正在駛近的汽車222、224和226的清晰圖像表示。汽車226已經(jīng)處于攝影機(jī)210附近，并且可能不需要其圖像增強(qiáng)。汽車224處于攝影機(jī)的中距離處，并且可能需要通過使用來自時(shí)間偏移的(未來)幀的像素來略微增強(qiáng)其圖像。汽車222處于遠(yuǎn)距離處。與汽車224相比可能需要更多地增強(qiáng)其圖像?？梢詮奶幱跀z影機(jī)附近時(shí)的(多輛)汽車的一幀或更多幀選擇像素，隨后將其與實(shí)際圖像融合以便創(chuàng)建遠(yuǎn)距離汽車的更高分辨率圖像。正如前面所討論的那樣，傳統(tǒng)的交通攝影機(jī)的另一處限制在于其被固定到一個(gè)位置和一個(gè)方向。這就使得不可能通過單個(gè)攝影機(jī)從另一個(gè)方向或另一個(gè)視點(diǎn)觀看交通。根據(jù)其他實(shí)施例的一種系統(tǒng)利用交通的對稱性來仿真相反方向上的交通視圖。換句話說，在一個(gè)點(diǎn)處觀看的交通在相反視點(diǎn)處必然是在相反方向上行進(jìn)。再現(xiàn)這樣的視圖的挑戰(zhàn)包括在相反視點(diǎn)處可見的汽車的隱藏部分(例如汽車228的后方)。為了在不同于攝影機(jī)方向模型的其他方向上再現(xiàn)汽車的仿真圖像，可以使用汽車的模型而不是視頻來對其進(jìn)行再現(xiàn)。雖然這種方法可能有其優(yōu)點(diǎn)，比如再現(xiàn)可見截錐體之外的汽車以及多方向觀看，但是所再現(xiàn)的視頻看起來一定是人為的。為了生成對于仿真交通視頻的基于逼真圖像的再現(xiàn)，可以基于來自所收集的圖像數(shù)據(jù)庫的真實(shí)圖像使用汽車的其他角度。舉例來說，可以確定即將到來的汽車的類型和顏色并且從所收集的影像數(shù)據(jù)庫獲取相同汽車的其他視圖(例如后方)。隨后可以利用即將到來的汽車的速度作為參考，使用所獲取的(多幅)圖像一起融合成相反方向上的仿真視頻流。在圖200中，在不同于攝影機(jī)方向的其他方向上生成仿真視頻由交通攝影機(jī)210的虛擬旋轉(zhuǎn)230表示。實(shí)際上，來自各個(gè)角度(例如前方、側(cè)面、后方)的汽車視圖可以被使用來生成多個(gè)仿真視頻，并且可以允許用戶“虛擬地”旋轉(zhuǎn)攝影機(jī)從而在不同角度下觀看交·通流。攝影機(jī)210可以是通過有線或無線(例如射頻“RF”、光學(xué)或類似物)通信裝置連接到處理系統(tǒng)的任何視頻捕獲設(shè)備。圖3示出了用于創(chuàng)建具有增強(qiáng)的分辨率的仿真交通視頻的系統(tǒng)的框圖300。如前所討論，從交通攝影機(jī)視頻饋送生成仿真視頻的一個(gè)方面涉及視頻的增強(qiáng)的分辨率，從而使得以類似的質(zhì)量觀看不同距離下的汽車。在根據(jù)實(shí)施例的系統(tǒng)中，原始交通視頻332可以被使用來生成車輛視頻補(bǔ)片334的流。假設(shè)時(shí)間t處的汽車在幀緩沖器內(nèi)的圖像中將處在遠(yuǎn)距離處，則可以把幀t+n處的汽車匹配到時(shí)間t處的汽車。可以采用具有歸一化互相關(guān)的移動窗口或者類似方法來施行方框336處的匹配。隨后可以把各個(gè)補(bǔ)片融合在一起(338)以便生成平滑的交通視頻340，其中將用來自時(shí)間t+n的附近汽車的補(bǔ)片替換時(shí)間t處的遠(yuǎn)距離模糊汽車。隨后可以通過客戶端機(jī)器處的再現(xiàn)應(yīng)用或者通過web服務(wù)來再現(xiàn)視頻。根據(jù)其他實(shí)施例，可以減少與遠(yuǎn)距離處的汽車相關(guān)聯(lián)的噪聲，增強(qiáng)和/或銳化其對比度。舉例來說，在霧天里，遠(yuǎn)距離處的汽車可能看起來既模糊又晦暗。所述模糊性和晦暗性是由于大氣光散射進(jìn)入到觀看方向上并且汽車顏色向外散射到霧中而發(fā)生的。通過使用汽車的附近圖像，可以通過降低其模糊性和晦暗性而增強(qiáng)這些遠(yuǎn)距離處的汽車的視圖。此外，所生成的視頻不需要具有與輸入視頻相同的時(shí)間分辨率(例如幀率)。還可以利用類似的匹配過程創(chuàng)建“中間”幀。圖4示出了用于創(chuàng)建具有多個(gè)視點(diǎn)的仿真交通視頻的系統(tǒng)的框圖。從交通攝影機(jī)視頻饋送生成仿真視頻的另一個(gè)方面涉及從單方向攝影機(jī)生成多個(gè)視點(diǎn)。類似于圖3中描述的該系統(tǒng)，用于生成多個(gè)視點(diǎn)的所述系統(tǒng)開始于原始交通視頻442，從中生成車輛視頻補(bǔ)片444的流。在原始交通視頻442中，只有車輛的前方(駛近交通)或后方(駛離攝影機(jī)的車輛)可以是可見的。用于所捕獲車輛的缺失圖像(例如其前方可見的汽車的后方、側(cè)面等等)可以在匹配過程446處從相似視頻補(bǔ)片452的數(shù)據(jù)庫獲取。相似視頻補(bǔ)片452的數(shù)據(jù)庫可以包含各種樣式、型號、顏色等等的車輛的預(yù)先捕獲和/或通過合成方式生成的圖像?？梢詮慕煌〝z影機(jī)捕獲的視頻、制造商數(shù)據(jù)源、銷售商數(shù)據(jù)源以及用于車輛的圖像數(shù)據(jù)的任何其他源獲得所存儲的圖像。舉例來說，可以在某一位置處設(shè)立指向不同方向的多個(gè)攝影機(jī)達(dá)預(yù)定時(shí)間段，以便在各種角度下捕獲汽車的圖像，并且對這些圖像進(jìn)行索引及存儲，從而在后來可以結(jié)合其他攝影機(jī)對其進(jìn)行使用。匹配過程446可以首先把汽車的所捕獲視圖(例如前方)與數(shù)據(jù)庫中的圖像相匹配，隨后找到相應(yīng)的后方視像(以及其他視像)。在融合過程448處，可以利用附加信息把所選圖像的各個(gè)補(bǔ)片融合到視頻中，所述附加信息比如道路和/或背景圖像、汽車的路徑、汽車的速度以及甚至音頻(根據(jù)Doppler偏移的變化的背景聲音可以為用戶提供甚至更加真實(shí)的體驗(yàn))。所述音頻可以是所記錄和/或生成的音頻?？梢园凑涨懊嬗懻摰哪菢釉佻F(xiàn)從融合過程得到的仿真視頻450。在圖3和4中討論的諸如生成視頻補(bǔ)片的流、匹配視頻補(bǔ)片以及融合之類的不同過程可以在不同的硬件模塊、軟件模塊或者硬件與軟件的組合中施行。此外，這樣的模塊可以按照集成方式施行這些過程的兩個(gè)或更多個(gè)。已經(jīng)利用生成仿真視頻的組件、過程和方法描述了圖3和4中的示例系統(tǒng)。實(shí)施·例不限于根據(jù)這些示例配置的系統(tǒng)?？梢栽诓捎酶倩蚋郊咏M件并且施行其他任務(wù)的配置中實(shí)施提供具有多個(gè)視點(diǎn)和增強(qiáng)的分辨率的仿真交通視頻的平臺。此外，實(shí)施例不僅限于交通攝影機(jī)?？梢栽谑褂眠@里所描述的原理的不同類型的監(jiān)控?cái)z影機(jī)系統(tǒng)、保安系統(tǒng)以及類似系統(tǒng)中實(shí)施仿真視頻的生成。此外，可以把實(shí)施例的視頻方面與諸如音頻、顏色等之類的其他效果相組合以便增強(qiáng)用戶體驗(yàn)。圖5是示例性的聯(lián)網(wǎng)環(huán)境，其中可以實(shí)施實(shí)施例?？梢酝ㄟ^執(zhí)行在一個(gè)或更多服務(wù)器514 (比如托管服務(wù))之上的軟件來實(shí)施用于創(chuàng)建具有增強(qiáng)的分辨率和多個(gè)視點(diǎn)的仿真視頻的平臺。所述平臺可以通過(多個(gè))網(wǎng)絡(luò)510與各個(gè)計(jì)算設(shè)備上的客戶端應(yīng)用進(jìn)行通信，所述計(jì)算設(shè)備比如有智能電話513、膝上型計(jì)算機(jī)512或者臺式計(jì)算機(jī)511 (“客戶端設(shè)備”)。執(zhí)行在客戶端設(shè)備511 - 513當(dāng)中的任一個(gè)之上的客戶端應(yīng)用可以通過在服務(wù)器514上或者在單獨(dú)的服務(wù)器516上的瀏覽應(yīng)用與web應(yīng)用進(jìn)行交互。web應(yīng)用可以接收來自單方向攝影機(jī)520的低分辨率視頻，并且如前所述地創(chuàng)建高分辨率、多視點(diǎn)視頻?？商娲兀梢杂膳cweb應(yīng)用分開的圖像處理應(yīng)用施行仿真視頻的生成，并且web應(yīng)用可以在用戶的客戶端設(shè)備上為用戶再現(xiàn)仿真視頻?？梢灾苯拥鼗蛘咄ㄟ^數(shù)據(jù)庫服務(wù)器518在/從(多個(gè))數(shù)據(jù)存儲庫519處存儲和/或獲取相關(guān)數(shù)據(jù)，比如車輛的預(yù)先捕獲的圖像或者時(shí)間偏移的視頻。(多個(gè))網(wǎng)絡(luò)510可以包括服務(wù)器、客戶端、因特網(wǎng)服務(wù)提供商以及通信介質(zhì)的任何拓?fù)?。根?jù)實(shí)施例的一種系統(tǒng)可以具有靜態(tài)或動態(tài)拓?fù)洹?多個(gè))網(wǎng)絡(luò)510可以包括諸如企業(yè)網(wǎng)絡(luò)之類的安全網(wǎng)絡(luò)、諸如無線開放網(wǎng)絡(luò)之類的不安全網(wǎng)絡(luò)或者因特網(wǎng)。(多個(gè))網(wǎng)絡(luò)510還可以協(xié)調(diào)通過其他網(wǎng)絡(luò)的通信，比如公共交換電話網(wǎng)(PSTN)或蜂窩網(wǎng)絡(luò)。此外，(多個(gè))網(wǎng)絡(luò)510可以包括諸如Bluetooth或類似網(wǎng)絡(luò)之類的短距離無線網(wǎng)絡(luò)。(多個(gè))網(wǎng)絡(luò)510提供這里所描述的在各個(gè)節(jié)點(diǎn)之間的通信。作為舉例而非限制，(多個(gè))網(wǎng)絡(luò)510可以包括無線介質(zhì)，比如聲學(xué)、RF、紅外以及其他無線介質(zhì)?？梢圆捎糜?jì)算設(shè)備、應(yīng)用、數(shù)據(jù)源以及數(shù)據(jù)分發(fā)系統(tǒng)的許多其他配置來實(shí)施基于低分辨率、單方向攝影機(jī)輸入提供仿真的高分辨率、多視圖視頻的平臺。此外，圖5中討論的聯(lián)網(wǎng)環(huán)境僅僅用于說明的目的。本發(fā)明的實(shí)施例不限于所述示例應(yīng)用、模塊或過程。圖6和相關(guān)聯(lián)的討論旨在提供關(guān)于可以在其中實(shí)施實(shí)施例的適當(dāng)計(jì)算環(huán)境的簡要的、一般性描述。參照圖6，示出了用于根據(jù)實(shí)施例的應(yīng)用的示例計(jì)算操作環(huán)境的框圖，比如計(jì)算設(shè)備600。在一種基本配置中，計(jì)算設(shè)備600可以是執(zhí)行能夠生成根據(jù)實(shí)施例的仿真的高分辨率、多視點(diǎn)視頻的視頻處理應(yīng)用的服務(wù)器并且包括至少一個(gè)處理單元602和系統(tǒng)存儲器604。計(jì)算設(shè)備600還可以包括在執(zhí)行程序方面合作的多個(gè)處理單元。取決于計(jì)算設(shè)備的確切配置和類型，系統(tǒng)存儲器604可以是易失性的(比如RAM)、非易失性的(t匕如ROM、閃存等等)或者二者的某種組合。系統(tǒng)存儲器604典型地包括適于控制所述平臺的操作的操作系統(tǒng)605，比如來自華盛頓州雷蒙德的微軟公司的WINDOWS 操作系統(tǒng)。系統(tǒng)存儲器604還可以包括一個(gè)或多個(gè)軟件應(yīng)用，比如程序模塊606、視頻應(yīng)用622以及融合模塊624。視頻應(yīng)用622可以從低分辨率、單方向攝影機(jī)接收視頻饋送，并且如前所討論地創(chuàng)建高分辨率、多視點(diǎn)視頻。融合模塊624可以將原始視頻與預(yù)先捕獲的車輛圖像和/或時(shí)間偏移的視頻流的補(bǔ)片融合，從而生成多個(gè)視點(diǎn)并且增強(qiáng)仿真視頻的分辨率。視頻應(yīng)用 622和融合模塊624可以是分開的應(yīng)用或者是托管服務(wù)的集成組件。在圖6中通過虛線608內(nèi)的那些組件示出了這一基本配置。計(jì)算設(shè)備600可以具有附加的特征或功能。舉例來說，計(jì)算設(shè)備600還可以包括附加的數(shù)據(jù)存儲設(shè)備(可移除的和/或不可移除的)，比如磁盤、光盤或磁帶。在圖6中通過可移除存儲裝置609和不可移除存儲裝置610示出了這樣的附加存儲裝置。計(jì)算機(jī)可讀存儲介質(zhì)可以包括按照任何方法或技術(shù)實(shí)施的用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)之類信息的易失性和非易失性、可移除和不可移除介質(zhì)。系統(tǒng)存儲器604、可移除存儲裝置609和不可移除存儲裝置610全都是計(jì)算機(jī)可讀存儲介質(zhì)的例子。計(jì)算機(jī)可讀存儲介質(zhì)包括但不限于RAM、R0M、EEPR0M、閃存或其他存儲器技術(shù)、CD-ROM、數(shù)字通用盤(DVD)或其他光學(xué)存儲裝置、磁帶、磁盤存儲裝置或其他磁性存儲設(shè)備或者可以被用來存儲所期望的信息并且可以由計(jì)算設(shè)備600訪問的任何其他介質(zhì)。任何這樣的計(jì)算機(jī)可讀存儲介質(zhì)都可以是計(jì)算設(shè)備600的一部分。計(jì)算設(shè)備600還可以具有(多個(gè))輸入設(shè)備612，比如鍵盤、鼠標(biāo)、筆、語音輸入設(shè)備、觸摸輸入設(shè)備以及類似的輸入設(shè)備。還可以包括(多個(gè))輸出設(shè)備614，比如顯示器、揚(yáng)聲器、打印機(jī)以及其他類型的輸出設(shè)備。這些設(shè)備是本領(lǐng)域內(nèi)所公知的，這里不需要詳細(xì)討論。計(jì)算設(shè)備600還可以包含通信連接616，其允許設(shè)備比如通過分布式計(jì)算環(huán)境中的有線或無線網(wǎng)絡(luò)、衛(wèi)星鏈接、蜂窩鏈接、短距離網(wǎng)絡(luò)以及類似的機(jī)制與其他設(shè)備618進(jìn)行通信。其他設(shè)備618可以包括執(zhí)行通信應(yīng)用的(多個(gè))計(jì)算機(jī)設(shè)備、其他服務(wù)器以及類似的設(shè)備。(多個(gè))通信連接616是通信介質(zhì)的一個(gè)例子。通信介質(zhì)在其中可以包括計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。作為舉例而非限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接布線連接之類的有線介質(zhì)以及諸如聲學(xué)、RF、紅外和其他無線介質(zhì)之類的無線介質(zhì)。示例實(shí)施例還包括方法?？梢园凑杖我鈹?shù)量方式來實(shí)施這些方法，其中包括在本文獻(xiàn)中所描述的結(jié)構(gòu)。一種這樣的方式是通過本文獻(xiàn)中所描述的類型的設(shè)備的機(jī)器操作。另一種可選的方式是，針對所述方法的各個(gè)的操作中的一項(xiàng)或更多項(xiàng)，結(jié)合施行一些操作的一個(gè)或更多操作人員來施行。這些操作人員不需要彼此位于一處，而是每一個(gè)操作人員可以僅僅與具有施行程序的一部分的機(jī)器在一起。圖7示出了用于根據(jù)實(shí)施例的基于來自低分辨率、單方向交通攝影機(jī)的輸入而提供增強(qiáng)的分辨率和多視點(diǎn)視頻的過程700的邏輯流程圖。過程700可以被實(shí)施為在服務(wù)器上執(zhí)行的web應(yīng)用的一部分。過程700開始于操作710，其中接收來自低分辨率、單方向視頻攝影機(jī)的原始視頻?？梢詫λ邮盏降囊曨l進(jìn)行預(yù)處理。舉例來說，可以修改所接收到的視頻的格式、可以對視頻進(jìn)行濾波等等。在操作720中，生成視頻補(bǔ)片流，從而可以隨后施行匹配和融合。所述補(bǔ)片可以是對應(yīng)于車輛在預(yù)定義距離下(例如遠(yuǎn)、中、近)的移動的相繼視頻幀。在操作730中，將補(bǔ)片流與來自不同方向的攝影機(jī)的補(bǔ)片和/或時(shí)間偏移的幀的補(bǔ)片(例如當(dāng)車輛更接近攝影機(jī)時(shí))進(jìn)行比較。第一個(gè)匹配允許生成附加的視點(diǎn)(例如顯示出正在駛離的車輛的原始攝影機(jī)的視點(diǎn)的相反方向)，而后者匹配則增強(qiáng)視頻流的分辨率。來自不同方向的補(bǔ)片可以包括來自不同角度的不同類型的車輛的預(yù)先捕獲的圖像(紅色客車的后視圖、綠色卡車的側(cè)視圖、汽車的具體品牌等等)。 在操作740中，可以把原始流與所匹配的補(bǔ)片融合在一起，從而得到可以在操作750中呈現(xiàn)給用戶(例如通過用戶的瀏覽應(yīng)用再現(xiàn))的仿真視頻。在融合之前，還可以調(diào)節(jié)圖像的尺寸。包括在過程700中的操作僅僅用于說明的目的?？梢酝ㄟ^具有更少或附加步驟的類似過程實(shí)施生成增強(qiáng)分辨率、多視點(diǎn)仿真視頻，并且可以利用這里所描述的原理按照不同操作順序來實(shí)施。前面的說明、實(shí)例和數(shù)據(jù)提供了對于實(shí)施例的組成的制造和使用的全面描述。雖然已經(jīng)以特定于結(jié)構(gòu)特征和/或方法動作的語言描述了主題，但是應(yīng)當(dāng)理解的是，在所附權(quán)利要求書中限定的主題不一定受限于前面所描述的具體特征或動作。相反，前面描述的特征和動作是作為實(shí)施權(quán)利要求和實(shí)施例的示例形式而被公開的。
權(quán)利要求
1.一種將至少部分地在計(jì)算設(shè)備中執(zhí)行以便從攝影機(jī)饋送生成增強(qiáng)的仿真視頻的方法，所述方法包括 從單方向攝影機(jī)接收原始視頻輸入； 生成車輛視頻補(bǔ)片的流； 將車輛視頻補(bǔ)片中的車輛與相應(yīng)的所存儲的車輛圖像相匹配； 獲取對應(yīng)于所存儲的車輛圖像的不同角度的圖像； 將所獲取的圖像融合成顯示在另一個(gè)方向上移動的所述車輛的仿真視頻；以及 再現(xiàn)仿真視頻。
2.權(quán)利要求I的方法，其中，所獲取的圖像是車輛的后方圖像，并且仿真視頻表示攝影機(jī)方向的相反方向上的交通流。
3.權(quán)利要求I的方法，還包括 采用來自由以下各項(xiàng)構(gòu)成的集合中的至少一項(xiàng)來增強(qiáng)仿真視頻道路圖像、背景圖像、每一輛車的路徑、每一輛車的速度、所記錄的音頻以及所生成的音頻。
4.權(quán)利要求I的方法，還包括 緩沖預(yù)定義數(shù)目的幀； 在其中車輛出現(xiàn)于攝影機(jī)附近的幀中捕獲車輛的圖像； 調(diào)節(jié)所捕獲的圖像的尺寸； 把經(jīng)過調(diào)節(jié)的圖像疊加在其中相同的車輛遠(yuǎn)離攝影機(jī)出現(xiàn)的幀上；以及 把經(jīng)過疊加的幀融合成所述仿真視頻。
5.權(quán)利要求4的方法,其中,對于未來的巾貞施行所述緩沖。
6.權(quán)利要求5的方法，其中，采用歸一化互相關(guān)來匹配所緩沖的幀中的車輛。
7.權(quán)利要求5的方法，其中，基于車輛與攝影機(jī)的預(yù)定義距離范圍來確定要被緩沖的幀的數(shù)目。
8.一種用于從攝影機(jī)饋送生成增強(qiáng)的仿真視頻的系統(tǒng)，所述系統(tǒng)包括 至少一個(gè)單方向攝影機(jī)； 耦合到所述至少一個(gè)單方向攝影機(jī)的服務(wù)器，所述服務(wù)器執(zhí)行視頻處理應(yīng)用，其中所述視頻處理應(yīng)用被配置成 從單方向攝影機(jī)接收原始視頻輸入； 生成車輛視頻補(bǔ)片的流； 緩沖預(yù)定數(shù)目的視頻幀； 在其中車輛出現(xiàn)于攝影機(jī)附近的幀中捕獲第一車輛集合的圖像； 將所述圖像疊加在其中第一組車輛遠(yuǎn)離攝影機(jī)出現(xiàn)的幀上； 將車輛視頻補(bǔ)片中的第二組車輛匹配到相應(yīng)的所存儲的車輛圖像； 獲取對應(yīng)于所存儲的車輛圖像的不同角度的圖像； 把經(jīng)過疊加的圖像融合成具有增強(qiáng)的分辨率的第一仿真視頻； 把所獲取的圖像融合成顯示出在另一個(gè)方向上移動的第二組車輛的仿真的第二視頻；以及 再現(xiàn)仿真視頻。
9.權(quán)利要求8的系統(tǒng)，其中，第一和第二視頻是相同的視頻流。
10.權(quán)利要求8的系統(tǒng)，其中，所述視頻處理應(yīng)用還被配置成使得用戶能夠選擇觀看角度，這是通過基于用戶輸入選擇不同角度的圖像從而為用戶提供攝影機(jī)的虛擬旋轉(zhuǎn)而實(shí)現(xiàn)的。
11.權(quán)利要求9的系統(tǒng)，其中，所存儲的圖像包括下述至少一項(xiàng)預(yù)先捕獲的圖像和通過合成方式生成的圖像。
12.權(quán)利要求9的系統(tǒng)，其中，通過將所獲取的圖像融合在正投影地圖上而生成第二視頻。
13.一種其上存儲有用于從攝影機(jī)饋送生成增強(qiáng)的仿真視頻的指令的計(jì)算機(jī)可讀存儲介質(zhì)，所述指令包括 從單方向攝影機(jī)接收原始視頻輸入； 生成車輛視頻補(bǔ)片的流； 緩沖預(yù)定義數(shù)目的幀； 采用歸一化互相關(guān)匹配所緩沖的幀，從而增強(qiáng)攝影機(jī)遠(yuǎn)處的車輛的圖像；以及 把所匹配的幀融到仿真視頻中。
14.權(quán)利要求13的計(jì)算機(jī)可讀介質(zhì)，其中，所述指令還包括 把車輛視頻補(bǔ)片中的車輛匹配到相應(yīng)的所存儲的車輛圖像； 獲取對應(yīng)于所存儲的車輛圖像的不同角度的圖像；以及 把所獲取的圖像融合成顯示出在另一個(gè)方向上移動的車輛的仿真視頻。
15.權(quán)利要求13的計(jì)算機(jī)可讀介質(zhì)，其中，通過來自包括以下各項(xiàng)的集合當(dāng)中的至少一項(xiàng)來分別施行生成視頻補(bǔ)片的流、緩沖幀以及匹配幀硬件模塊、軟件模塊以及硬件與軟件模塊的組合。
全文摘要
提供基于來自低分辨率、單方向攝影機(jī)的視頻輸入的仿真的高分辨率、多視圖視頻。把接收自交通攝影機(jī)、保安攝影機(jī)、監(jiān)控?cái)z影機(jī)和類似攝影機(jī)的視頻與來自預(yù)先捕獲的圖像的數(shù)據(jù)庫和/或時(shí)間上偏移的視頻的補(bǔ)片融合，從而創(chuàng)建更高質(zhì)量的視頻以及對應(yīng)于相同攝影機(jī)的多個(gè)視點(diǎn)。
文檔編號H04N7/18GK102907091SQ201180027386
公開日2013年1月30日 申請日期2011年5月23日 優(yōu)先權(quán)日2010年6月3日
發(fā)明者B.陳, E.奧菲克 申請人:微軟公司