專利名稱：方法、客戶端設(shè)備和服務(wù)器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及方法、客戶端設(shè)備和服務(wù)器。
背景技術(shù)：
目前，家庭中的電視顯示器只顯示二維內(nèi)容。然而，能夠顯示三維內(nèi)容的電視顯示器正在被生產(chǎn)。為了受益于這些顯示器的額外能力，內(nèi)容正在被開發(fā)。為了生成三維內(nèi)容，同一場景的兩個圖像被拍攝并被發(fā)送到電視顯示器。這些圖像相對于彼此有水平位移。水平位移的程度決定了三維效果的量。已知如何從兩個水平位移的圖像創(chuàng)建三維的或者說立體的圖像。然而，在電視顯示器上生成三維圖像的這種方法要求廣播兩個相似的圖像。這要求大量的帶寬，尤其如果要顯示高清晰度圖像則更是如此。另外，由于兩個圖像在被拍攝時必須有非常精確的位移，所以能夠拍攝用于作為三維內(nèi)容顯示的圖像的相機(jī)和裝配臺 (rig)是非常昂貴的。本發(fā)明的實施例的目標(biāo)是解決這些問題。

發(fā)明內(nèi)容
根據(jù)第一方面，提供了一種在客戶端設(shè)備處檢測圖像中的對象的方法，包括以下步驟從服務(wù)器接收場景的二維圖像，場景被相機(jī)拍攝并且圖像包括位于場景內(nèi)的對象； 從服務(wù)器接收位置數(shù)據(jù)，位置數(shù)據(jù)指示出對象在圖像內(nèi)的位置；從服務(wù)器接收對象在該位置處的輪廓表示(outliner印resentation)，該輪廓表示針對圖像在該位置處的片段中的像素位置限定該像素位置是否表示對象；以及基于所述輪廓，在圖像中檢測對象。這之所以有利是因為，為了在圖像中檢測對象，在服務(wù)器與客戶端設(shè)備只傳送少量數(shù)據(jù)。這減小了所需的帶寬。該方法還可包括從服務(wù)器接收距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處對象與相對于相機(jī)的參考點(diǎn)的距離。該方法還可包括在時間上周期性地從服務(wù)器接收距離數(shù)據(jù)。該方法還可包括向服務(wù)器注冊客戶端設(shè)備并且響應(yīng)于這種注冊而接收距離數(shù)據(jù)。該方法還可包括接收另一二維圖像，該另一二維圖像與第一接收圖像相比具有場景的不同但交迭的視場；從服務(wù)器接收拼接參數(shù)；通過根據(jù)拼接參數(shù)將第一接收圖像拼接到另一接收圖像并且在拼接的圖像中檢測對象來生成場景的全景圖像的至少一部分。根據(jù)第二方面，提供了一種生成用于顯示的立體圖像的方法；包括如其他實施例中的在客戶端設(shè)備處檢測圖像中的對象的方法；在客戶端設(shè)備處接收指示出要用于顯示立體圖像的屏幕的大小的顯示數(shù)據(jù)；以及通過使檢測到的對象在圖像內(nèi)的位置位移某一量來生成經(jīng)修改的圖像，位移量取決于場景中參考點(diǎn)與對象之間的距離以及顯示數(shù)據(jù)，從而使得當(dāng)接收到的二維圖像和經(jīng)修改的圖像都在顯示器上被立體地顯示時，所拍攝的對象看起來距顯示器預(yù)定的距離。
該方法還可包括從服務(wù)器接收背景圖像信息，該背景圖像信息限定了場景的相對于相機(jī)的位置而言在對象的后面的至少一部分；以及在經(jīng)修改的圖像中，在對象的一部分上插入背景圖像信息的與對象的所述部分相對應(yīng)的部分。該方法還可包括使所述背景圖像信息在所述經(jīng)修改的圖像中位移，其中位移量取決于背景與所述參考點(diǎn)之間的距離。位移量還可以是根據(jù)用戶偏好來確定的。根據(jù)另一方面，提供了一種可連接到服務(wù)器的客戶端設(shè)備，該客戶端設(shè)備包括接口，其可操作來從服務(wù)器接收場景的二維圖像，場景被相機(jī)拍攝并且圖像包括位于場景內(nèi)的對象，接口還可操作來從服務(wù)器接收位置數(shù)據(jù)和對象在該位置處的輪廓表示，位置數(shù)據(jù)指示出對象在圖像內(nèi)的位置，輪廓表示針對圖像在該位置處的片段中的像素位置限定該像素位置是否表示對象；以及對象檢測器，其基于所述輪廓在圖像中檢測對象。接口可操作來從服務(wù)器接收距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處對象與相對于相機(jī)的參考點(diǎn)的距離。接口可操作來在時間上周期性地從服務(wù)器接收距離數(shù)據(jù)?？蛻舳嗽O(shè)備還可包括注冊設(shè)備，該注冊設(shè)備可操作來向服務(wù)器注冊客戶端設(shè)備， 并且接口還可操作來響應(yīng)于這種注冊而接收距離數(shù)據(jù)。接口可操作來接收另一二維圖像，該另一二維圖像與第一接收圖像相比具有場景的不同但交迭的視場，并且接口可操作來從服務(wù)器接收拼接參數(shù)；并且一生成器可操作來通過根據(jù)拼接參數(shù)將第一接收圖像拼接到另一接收圖像并且在拼接的圖像中檢測對象來生成場景的全景圖像的至少一部分?？蛻舳嗽O(shè)備還可生成用于顯示的立體圖像；其中接口可操作來在客戶端設(shè)備處接收指示出要用于顯示立體圖像的屏幕的大小的顯示數(shù)據(jù)；并且設(shè)備還包括圖像生成器，該圖像生成器還可操作來通過使檢測到的對象在圖像內(nèi)的位置位移某一量來生成經(jīng)修改的圖像，位移量取決于場景中參考點(diǎn)與對象之間的距離以及顯示數(shù)據(jù)，從而使得當(dāng)接收到的二維圖像和經(jīng)修改的圖像都在顯示器上被立體地顯示時，所拍攝的對象看起來距顯示器預(yù)定的距離。接口還可操作來從服務(wù)器接收背景圖像信息，該背景圖像信息限定了場景的相對于相機(jī)的位置而言在對象的后面的至少一部分；并且在經(jīng)修改的圖像中，圖像生成器還可操作來在對象的一部分上插入背景圖像信息的與對象的所述部分相對應(yīng)的部分。圖像生成器可操作來使所述背景圖像信息在所述經(jīng)修改的圖像中位移，其中位移量取決于背景與所述參考點(diǎn)之間的距離。位移量還可以是根據(jù)用戶偏好來確定的。根據(jù)另一方面，提供了一種向客戶端設(shè)備提供對象檢測數(shù)據(jù)的方法，包括以下步驟從相機(jī)元件接收場景的二維圖像，圖像包括位于場景內(nèi)的對象；從圖像生成位置數(shù)據(jù)， 位置數(shù)據(jù)指示出對象在圖像內(nèi)的位置；生成對象在該位置處的輪廓表示，輪廓表示表示針對圖像在該位置處的片段中的像素位置限定該像素位置是否表示對象；以及向客戶端設(shè)備發(fā)送二維圖像、位置數(shù)據(jù)和輪廓表示。該方法還可包括生成距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處對象與相對于相機(jī)的參考點(diǎn)的距離。
該方法還可包括在時間上周期性地向客戶端設(shè)備發(fā)送距離數(shù)據(jù)。該方法還可包括在服務(wù)器處注冊客戶端設(shè)備并且響應(yīng)于這種注冊而發(fā)送距離數(shù)據(jù)。該方法還可包括向客戶端設(shè)備發(fā)送另一二維圖像，該另一二維圖像與第一接收圖像相比具有場景的不同但交迭的視場；以及從服務(wù)器發(fā)送拼接參數(shù)。根據(jù)本發(fā)明的另一方面，提供了一種可連接到客戶端設(shè)備的服務(wù)器，該服務(wù)器包括可操作來向客戶端設(shè)備發(fā)送場景的二維圖像的接口，場景被相機(jī)拍攝并且圖像包括位于場景內(nèi)的對象；對象檢測器，其可操作來生成位置數(shù)據(jù)，位置數(shù)據(jù)指示出對象在圖像內(nèi)的位置，并且對象檢測器還可操作來生成對象在該位置處的輪廓表示，輪廓表示表示針對圖像在該位置處的片段中的像素位置限定該像素位置是否表示對象；以及可操作來向客戶端設(shè)備發(fā)送位置數(shù)據(jù)和輪廓表示的接口。檢測器可操作來生成距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處對象與相對于相機(jī)的參考點(diǎn)的距離，并且接口可操作來將距離數(shù)據(jù)發(fā)送到客戶端設(shè)備。接口可操作來在時間上周期性地從服務(wù)器發(fā)送距離數(shù)據(jù)。服務(wù)器還可包括注冊設(shè)備，該注冊設(shè)備可操作來注冊客戶端設(shè)備，并且接口還可操作來響應(yīng)于這種注冊而發(fā)送距離數(shù)據(jù)。接口可操作來發(fā)送另一二維圖像，該另一二維圖像與第一接收圖像相比具有場景的不同但交迭的視場；拼接參數(shù)生成器可操作來生成拼接參數(shù)；并且所述接口還可操作來將所述拼接參數(shù)發(fā)送到客戶端設(shè)備。根據(jù)另一方面，提供了一種計算機(jī)程序，其包含計算機(jī)可讀指令，所述指令在被加載到計算機(jī)上時將計算機(jī)配置為執(zhí)行根據(jù)上述實施例中任何一個所述方法。


從以下將聯(lián)系附圖來理解的對示例性實施例的詳細(xì)描述中，將清楚本發(fā)明的以上和其他目的、特征和優(yōu)點(diǎn)，附圖中圖1示出了根據(jù)本發(fā)明的實施例的系統(tǒng)；圖2示出了根據(jù)本發(fā)明的實施例的客戶端設(shè)備；圖3示出了描述圖1的系統(tǒng)的操作的流程圖；圖4示出了根據(jù)本發(fā)明的示例的對象跟蹤的方法的流程圖；圖5A和5B是對象跟蹤的示例性方法的示意圖；圖6是示例性遮蔽(occlusion)檢測方法的示意圖；圖7是描述遮蔽檢測和對象跟蹤的示例性方法的流程圖；圖8A和8B是描述遮蔽檢測和對象跟蹤的示例性方法的示意圖；圖9是根據(jù)本發(fā)明實施例的用于確定相機(jī)的視場內(nèi)的對象之間的距離的系統(tǒng)的示意圖；圖10是根據(jù)本發(fā)明實施例的用于確定相機(jī)的視場內(nèi)的對象之間的距離的系統(tǒng)的
另一示意圖；圖11示出了根據(jù)本發(fā)明實施例在客戶端設(shè)備中生成圖像以使這些圖像能夠作為三維圖像被用戶觀看的系統(tǒng)；并且
圖12A至12C示出了截屏圖的示意圖，其說明了根據(jù)本發(fā)明實施例的對象的二值表示的生成。
具體實施例方式圖1中示出了系統(tǒng)100。在此系統(tǒng)100中，相機(jī)布置130拍攝場景的圖像。在實施例中，該場景是體育事件，比如足球比賽，但是本發(fā)明并不限于此。在此相機(jī)布置130中，三個高清晰度相機(jī)位于裝配臺(未示出)上。布置130使得能夠生成拼接的圖像。布置130 因此使每個相機(jī)拍攝同一場景的不同部分，其中在每個相機(jī)之間存在視場的小交迭。三個圖像各自是高清晰度圖像，這些高清晰度圖像在被拼接在一起時產(chǎn)生超高清晰度圖像。由相機(jī)布置130中的三個相機(jī)拍攝的三個高清晰度圖像被饋送到圖像處理器135中，圖像處理器135執(zhí)行對圖像的編輯，例如顏色增強(qiáng)。另外，圖像處理器135從相機(jī)布置130中的相機(jī)接收與諸如焦距、變焦倍數(shù)等等之類的相機(jī)參數(shù)有關(guān)的元數(shù)據(jù)。增強(qiáng)的圖像和元數(shù)據(jù)被饋送到服務(wù)器110中。在實施例中，實際的圖像拼接是在用戶設(shè)備200A-N中執(zhí)行的。然而，為了減少用戶設(shè)備200A-N內(nèi)的計算花費(fèi)，執(zhí)行拼接所需的參數(shù)是在與圖像處理設(shè)備135相連的服務(wù)器 110內(nèi)計算的。服務(wù)器110可以直接地或經(jīng)由諸如局域網(wǎng)、廣域網(wǎng)或因特網(wǎng)之類的網(wǎng)絡(luò)以有線或無線方式連接到圖像處理器135。計算參數(shù)和實際執(zhí)行拼接的方法在GB M44566A中記載。GB 2444566中還公開了適當(dāng)類型的相機(jī)布置130。如GB 2444566中所述，相機(jī)布置130中的每個相機(jī)的相機(jī)參數(shù)被確定。這些參數(shù)包括每個相機(jī)的焦距和相對橫傾、縱傾、橫擺以及針對透鏡畸變、桶形畸變等等進(jìn)行校正的參數(shù)，并且是在服務(wù)器110上確定的。另外，拼接圖像所需的諸如色差校正參數(shù)、比色和曝光校正參數(shù)之類的其他參數(shù)也可在服務(wù)器110中計算。另外，正如本領(lǐng)域的技術(shù)人員將會明白的，在服務(wù)器110中可以計算圖像拼接過程所需的其他值。這些值已在GB 2444566A 中說明并且因此為了簡潔將不在下文中說明。在服務(wù)器110中計算的這些值被發(fā)送到每個用戶設(shè)備200A-N，稍后將對此進(jìn)行說明。除了在服務(wù)器110內(nèi)計算圖像拼接參數(shù)以外，還發(fā)生其他計算。例如，發(fā)生對象檢測和分割，以識別和提取圖像中的將被應(yīng)用三維效果的對象。還在服務(wù)器110內(nèi)確定標(biāo)識每個檢測到的對象在圖像內(nèi)的位置的位置信息。另外，在服務(wù)器110內(nèi)計算限定每個分割出的對象的輪廓的二值表示。二值表示還詳細(xì)描述分割出的對象的高度和寬度。稍后將參考圖12A-C來說明二值表示。另外，在服務(wù)器110內(nèi)生成深度圖。深度圖為相機(jī)所拍攝的圖像中的每個像素分配一個在拍攝的場景中與相機(jī)的相應(yīng)距離。換言之，一旦為拍攝的圖像完成深度圖，就可以確定場景中與像素相對應(yīng)的點(diǎn)與拍攝圖像的相機(jī)之間的距離。在服務(wù)器110內(nèi)還維護(hù)兩個背景模型。具體而言，在服務(wù)器110內(nèi)有長期背景模型和短期背景模型。長期背景模型定義了在較長的一段時間(例如5分鐘)期間圖像中的背景，而短期背景模型則定義了在較短的時段(例如1秒)期間的背景。對短期和長期背景模型的使用使得能夠考慮到諸如照明變長之類的短期事件。在服務(wù)器110內(nèi)計算的深度圖被發(fā)送到每個用戶設(shè)備200A-N。在實施例中，相機(jī)布置130內(nèi)的每個相機(jī)是固定的。這意味著深度圖不隨著時間而變化。然而，每個相機(jī)的深度圖根據(jù)觸發(fā)而被發(fā)送到每個用戶設(shè)備200A-N，以允許新的用戶設(shè)備連接到服務(wù)器110。例如，深度圖可以在新的用戶設(shè)備向服務(wù)器110注冊時或者在時間上周期性地被送出。將會明白，如果相機(jī)的視場移動，則深度圖需要被更頻繁地重新計算并發(fā)送到用戶設(shè)備200A-N。稍后將說明生成深度圖和背景模型的方式。另外，稍后將說明執(zhí)行對象檢測和對象分割的方式以及如何生成二值表示。多個用戶設(shè)備200A-N也連接到服務(wù)器110。這些用戶設(shè)備200A-N在實施例中通過因特網(wǎng)120連接到服務(wù)器110。然而，要理解本發(fā)明并不限于此，并且用戶設(shè)備200A-N可以通過諸如局域網(wǎng)(LAN)之類的任何類型的網(wǎng)絡(luò)連接到服務(wù)器110，或者可以有線連接到服務(wù)器110或無線連接到服務(wù)器110。相應(yīng)的顯示器205A-N也附接到每個用戶設(shè)備。顯示器205可以是電視，或者監(jiān)視器，或者任何種類的能夠顯示出可被用戶感知為三維圖像的圖像的顯示器。在本發(fā)明的實施例中，用戶設(shè)備200A-N是PlayStation 3游戲控制臺。然而，本發(fā)明并不限于此。實際上，用戶設(shè)備可以是機(jī)頂盒、計算機(jī)或任何其他類型的能夠處理圖像的設(shè)備。用戶設(shè)備200A的示意圖在圖2中示出。用戶設(shè)備包含存儲介質(zhì)220。在本發(fā)明的實施例中，存儲介質(zhì)220是硬盤驅(qū)動器，但本發(fā)明并不限于此。存儲介質(zhì)可以是光介質(zhì)，或者半導(dǎo)體存儲器，等等。中央處理器250連接到存儲介質(zhì)220。在實施例中，中央處理器250是Cell處理器。Cell處理器在實施例中是有利的，因為它尤其適合于諸如圖像處理之類的復(fù)雜計算。還有無線附件接口 210也連接到中央處理器250，無線附件接口 210適合于連接到無線附件210A并與之通信。在實施例中，無線附件210A是用戶操作的設(shè)備，其可以是六軸控制器，但本發(fā)明并不限于此。六軸控制器使得用戶可以與用戶設(shè)備200A交互并控制用戶設(shè)備200A。另外，圖形處理器230連接到中央處理器250。圖形處理器230可操作來連接到顯示器205A并且控制顯示器205A顯示立體圖像。將會明白，諸如音頻處理器240之類的其他處理器連接到中央處理器250。現(xiàn)在將參考圖3來描述根據(jù)本發(fā)明實施例的圖1的系統(tǒng)的操作。當(dāng)用戶開啟用戶設(shè)備200A時，用戶使用無線附件210A來選擇其希望在顯示器 205A上觀看的特定事件。此事件可以是流行音樂會、體育事件或任何種類的事件。在以下示例中，該事件是足球比賽。此選擇是開始步驟S30。為了觀看該事件，用戶可能需要支付一次性費(fèi)用，或者該事件可能是一個訂購包的一部分。此費(fèi)用或訂購包可以通過在觀看事件之前在用戶設(shè)備200A中輸入信用卡詳情來購買?；蛘?，該事件可以通過任何其他手段來購買，或者實際上該事件可以是免費(fèi)的。為了觀看該事件，用戶將需要向服務(wù)器110注冊。用戶設(shè)備200A因此相對于服務(wù)器110充當(dāng)客戶端設(shè)備。此注冊在步驟S35中發(fā)生，并且使得服務(wù)器110可以從用戶設(shè)備200A獲得必要信息，例如IP地址等等，用以使得服務(wù)器110與用戶設(shè)備200A-N之間能夠發(fā)生通信。另外，服務(wù)器110在這個階段可以收集其他信息，例如與用戶要觀看的事件有關(guān)的信息，以便允許對該用戶做針對性廣告。在注冊之后，用戶在步驟S310中確認(rèn)其希望觀看的事件并且確認(rèn)支付詳情。
在步驟S315中，用戶設(shè)備200A從服務(wù)器110和顯示器205A兩者接收初始化信息。來自顯示器205A的初始化信息可包括與屏幕的大小有關(guān)的信息。這可以直接從顯示器205A獲得或者由用戶輸入。來自服務(wù)器110的初始化信息包括拼接參數(shù)和深度圖。可以響應(yīng)于來自用戶設(shè)備200A的請求而提供初始化信息或者可以響應(yīng)于注冊而從服務(wù)器110 傳送初始化信息。或者，可以周期性地向連接到服務(wù)器110的每個用戶設(shè)備200A傳送初始化信息。這里應(yīng)當(dāng)注意，只需要向用戶設(shè)備200A提供深度圖和拼接參數(shù)一次，因為相機(jī)布置130是固定的。在相機(jī)布置130可移動的情況下，則將更定期地提供初始化信息。初始化信息被存儲在存儲介質(zhì)220中。在步驟S320中，服務(wù)器110提供來自相機(jī)布置130中的每個相機(jī)的高清晰度圖像。用戶設(shè)備200A的中央處理器250使用在服務(wù)器110中計算并存儲在存儲介質(zhì)220中的拼接參數(shù)來形成超高清晰度圖像。用戶設(shè)備200A用來將圖像拼接到一起的方法在GB M44566A中記載。另外，在這個階段，用戶還可以確定其希望對該事件具有的視場。將利用接口 210A來選擇此視場。用戶設(shè)備200A用來允許選擇適當(dāng)視場的方法也在GBM44566A 中記載。此外，對于每個拍攝的圖像，服務(wù)器110分析該圖像以檢測該圖像中的對象。服務(wù)器110分析圖像的方式在下文中論述。在檢測圖像中的對象之后，產(chǎn)生檢測到的對象的二值表示。這將在稍后說明。還產(chǎn)生標(biāo)識對象位于圖像中何處的位置數(shù)據(jù)。這也將在稍后論述。如前所述，在服務(wù)器110內(nèi)還生成場景的背景模型。這在下面的題為“對象跟蹤和檢測”一節(jié)中描述。鑒于此，對于圖像內(nèi)每個檢測到的對象，服務(wù)器110還從背景圖像中得出檢測到的對象后面的背景。高清晰度圖像、圖像內(nèi)的分割出的對象、位置數(shù)據(jù)、二值表示以及每個檢測到的對象后面的背景被發(fā)送到用戶設(shè)備200A。通過在服務(wù)器110內(nèi)計算上述參數(shù)，減少了整體上系統(tǒng)內(nèi)的數(shù)據(jù)處理量。這是因為參數(shù)被計算一次并且結(jié)果被發(fā)送到每個用戶設(shè)備200A-N， 而不是每個用戶設(shè)備200A-N必須各自計算這些參數(shù)。另外，通過在服務(wù)器110內(nèi)生成參數(shù)， 處理負(fù)擔(dān)被加諸在服務(wù)器110上，而服務(wù)器110與每個用戶設(shè)備200A-N相比更容易被配置來針對重處理負(fù)擔(dān)而加以優(yōu)化。另外，通過將檢測到的對象的二值表示與圖像一起傳送，網(wǎng)絡(luò)中的數(shù)據(jù)流量的量減少了。這是因為用戶設(shè)備200A可以非常容易地提取檢測到的對象并且生成用于立體觀看的經(jīng)修改(位移)的版本，但在服務(wù)器110與用戶設(shè)備200A之間除了圖像之外只傳送了很少量的信息。在用戶設(shè)備200A從服務(wù)器110接收到前述信息之后，用戶設(shè)備200A執(zhí)行圖像拼接。這是步驟S325。此外，利用深度圖、對象的二值表示、圖像中檢測到的對象的位置數(shù)據(jù)以及適當(dāng)?shù)谋尘靶畔?，用戶設(shè)備200A向超高清晰度圖像應(yīng)用三維效果。應(yīng)當(dāng)注意，以下說明涉及單個相機(jī)拍攝的圖像。本領(lǐng)域的技術(shù)人員將會明白，以下內(nèi)容可以應(yīng)用到每個相機(jī)拍攝的每個相機(jī)或者應(yīng)用到超高清晰度圖像。對象檢測和跟蹤(在服務(wù)器110中進(jìn)行)現(xiàn)在將參考圖4、5和6描述根據(jù)本發(fā)明的示例的對象跟蹤。圖4示出了根據(jù)本發(fā)明的示例的對象跟蹤的方法的流程圖。為了跟蹤對象，從接收到的視頻的如下部分構(gòu)造背景模型這些部分被檢測為在預(yù)定數(shù)目的幀期間基本上是靜
10止的。在第一步驟S20中，從布置130內(nèi)的一個相機(jī)接收的表示足球場的視頻圖像被處理以構(gòu)造圖像的背景模型。構(gòu)造背景模型是為了創(chuàng)建前景遮罩(foreground mask)，其幫助識別和跟蹤各個球員。前景遮罩將用于生成稍后說明的球員的二值表示。在步驟S20，通過為每個像素確定在接連的幀之間像素的均值和像素值的方差以便構(gòu)建背景模型，來形成背景模型。從而，在接連的幀中，在像素的均值沒有大變化的情況下，則這些像素可被識別為背景像素以便識別前景遮罩。這種背景/前景分割是圖像處理領(lǐng)域中已知的過程，并且本技術(shù)利用了在 2004年的ICVGIP學(xué)報中發(fā)表的Manzanera禾Π Richefeu所著的題為“Arobust and Computationally Efficient Motion Detection Algorithm Based on Σ - Δ Background htimation”的文獻(xiàn)中記載的算法。然而，本技術(shù)不應(yīng)當(dāng)被理解為限于此已知技術(shù)，還知道其他用于相對于背景模型生成前景遮罩以用于跟蹤中的技術(shù)。將明白，在視頻相機(jī)的視場包含觀眾中的一些人的情況下，觀眾不太可能被包括在背景模型中，因為他們很有可能在四處移動。這是不合需要的，因為這在執(zhí)行對象跟蹤時有可能增大Cell處理器上的處理負(fù)擔(dān)，并且也是不必要的，因為大多數(shù)體育廣播公司不太可能對跟蹤觀眾中的人感興趣。在本發(fā)明的示例中，背景模型是在比賽開始時構(gòu)造的，并且甚至可以在球員進(jìn)入球場之前完成。這被稱為長期背景模型。此外，在整個比賽期間可以周期性地重新計算背景模型，以便考慮照明條件的任何變化，例如在整個比賽期間可能發(fā)生變化的陰影等等。這是短期背景模型。在比賽開始時計算的背景模型和周期性重計算的背景模型都被存儲在服務(wù)器110中。對于以下的說明，使用長期背景模型。在步驟S40中，從來自相機(jī)的傳入圖像中減去背景模型以識別差異區(qū)域。從而，背景模型被從圖像中減去并且所得到的圖像被用于為每個球員生成遮罩。在步驟S45中，在減去背景模型后得到的圖像的版本中，針對像素值創(chuàng)建閾值。通過首先確定在視頻圖像的一系列幀期間像素的均值來生成背景模型。根據(jù)每個像素的均值，可以從視頻圖像的幀計算每個像素的方差。像素的方差隨后被用于確定閾值，在視頻圖像的所有像素上，該閾值對于每個像素將是不同的。對于與圖像的方差較高的部分(例如包括觀眾的部分)相對應(yīng)的像素，閾值可以被設(shè)定為較高的值，而圖像的與球場相對應(yīng)的部分將具有較低的閾值，因為球場的顏色和內(nèi)容將是始終相同的，除了出現(xiàn)球員之外。從而，閾值將決定是否存在前景元素因此前景遮罩可相應(yīng)地被識別。在步驟S50中，基于與平均人類形狀模型的相關(guān)運(yùn)算的形狀概率被用于提取前景遮罩內(nèi)的形狀。另外，從圖像中提取顏色特征以創(chuàng)建顏色概率遮罩，以便例如根據(jù)球員的球衣的顏色識別球員。從而，每一隊的球衣的顏色可用于將球員相互區(qū)分開。為此，服務(wù)器110依據(jù)每個足球隊的隊服的已知顏色來生成顏色模板。從而，需要每一隊的球衣的顏色，守門員的球衣的顏色和裁判的上衣的顏色。然而，將會明白，也可使用其他適當(dāng)?shù)念伾０搴?或模板匹配過程。返回圖4，在步驟S50中，服務(wù)器110將每個顏色模板的每個像素與對應(yīng)于球員的圖像的球衣區(qū)域的像素相比較。服務(wù)器110隨后生成指示出顏色模板的像素與所選像素之間的相似性的概率值，以根據(jù)球隊和球場顏色模型生成基于色度飽和度值(HSV)顏色空間中的距離的顏色概率。此外，形狀概率被用于定位球員，其是基于與平均人類形狀模型的相關(guān)運(yùn)算的。另外，運(yùn)動概率是基于與由遞歸最小二乘估計器利用起始位置、速度和加速度參數(shù)來預(yù)測的位置的距離的。球員遮罩的創(chuàng)建在圖5A中示出。圖5A示出了由布置130中的相機(jī)之一生成的足球場的相機(jī)視野210。如已經(jīng)說明的，球場形成背景模型的一部分，而球員230、232、234、 236、238、240如上所述應(yīng)當(dāng)形成前景遮罩的一部分。球員界限框可以被稱為矩形輪廓，被示為圍繞每個球員的虛線。至此，關(guān)于相機(jī)圖像處理，執(zhí)行了步驟S30、S40、S45和S50。在設(shè)計了前景遮罩之后，在首先在步驟S55中按與相機(jī)的接近度對球員蹤跡排序之后，執(zhí)行球員跟蹤。從而，被識別為最靠近相機(jī)的球員被首先處理以便將這些球員從跟蹤過程中去除。在步驟S60，球員位置被更新以便使形狀、顏色和運(yùn)動概率最大化。在步驟S70中，創(chuàng)建遮蔽遮罩，其排除已知被其他更靠近的球員蹤跡覆蓋的圖像區(qū)域。這確保了被其他球員部分或全部遮蔽的球員只能被匹配到可見的圖像區(qū)域。遮蔽遮罩提高了跟蹤可靠性，因為它減少了蹤跡合并的發(fā)生(由于蹤跡合并，在遮蔽事件之后兩條蹤跡跟隨同一球員)。當(dāng)許多目標(biāo)看起來相同時這尤其成問題，因為不能(容易地)按顏色來區(qū)分他們。遮蔽遮罩使得像素可以被指派給近處的球員，而排除較遠(yuǎn)的球員，從而防止了兩個蹤跡匹配到同一組像素并從而維持其各自的身份。接下來是通過提取在相機(jī)圖像內(nèi)提供的特征并將這些特征匹配到3D模型來跟蹤每個球員的過程，如圖5A和5B所示。從而，為了對應(yīng)由相機(jī)產(chǎn)生的2D圖像內(nèi)的位置，使形狀、顏色和運(yùn)動概率最大化的3D位置被指派給球員。如即將說明的，如果檢測到遮蔽事件， 則從2D圖像選擇球員并將其映射到3D模型的操作將被修改。為了幫助從2D圖像映射到 3D模型，在步驟S65中，要跟蹤的球員被初始化，以便形狀和顏色概率中的峰值被映射到對球員的最適當(dāng)選擇。應(yīng)當(dāng)強(qiáng)調(diào)，在步驟S65執(zhí)行的跟蹤初始化只被執(zhí)行一次，通常是在跟蹤過程開始時。為了進(jìn)行系統(tǒng)的良好的跟蹤初始化，球員應(yīng)當(dāng)被很好地分開。在跟蹤初始化之后，根據(jù)本技術(shù)自動校正對球員的跟蹤的任何差錯，這不要求手動干預(yù)。為了實現(xiàn)從2D圖像位置在3D模型中跟蹤，通過使用投影矩陣P來實現(xiàn)變換。跟蹤要求2D圖像位置能夠與3D模型內(nèi)的位置相關(guān)。此變換是通過使用投影(P)矩陣來實現(xiàn)的。2D空間中的一個點(diǎn)等同于3D空間中的一條線
權(quán)利要求
1.一種在客戶端設(shè)備處檢測圖像中的對象的方法，包括以下步驟從服務(wù)器接收場景的二維圖像，所述場景被相機(jī)拍攝并且所述圖像包括位于所述場景內(nèi)的對象，從所述服務(wù)器接收位置數(shù)據(jù)，所述位置數(shù)據(jù)指示出所述對象在所述圖像內(nèi)的位置； 從所述服務(wù)器接收所述對象在該位置處的輪廓表示，所述輪廓表示針對所述圖像在該位置處的片段中的像素位置限定該像素位置是否表示所述對象；以及基于所述輪廓，在所述圖像中檢測所述對象。
2.根據(jù)權(quán)利要求1所述的方法，還包括從所述服務(wù)器接收距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處所述對象與相對于所述相機(jī)的參考點(diǎn)的距離。
3.根據(jù)權(quán)利要求2所述的方法，包括在時間上周期性地從所述服務(wù)器接收所述距離數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的方法，還包括向所述服務(wù)器注冊所述客戶端設(shè)備并且響應(yīng)于這種注冊而接收所述距離數(shù)據(jù)。
5.根據(jù)權(quán)利要求2所述的方法，包括接收另一二維圖像，所述另一二維圖像與第一接收圖像相比具有所述場景的不同但交迭的視場；從所述服務(wù)器接收拼接參數(shù)；通過根據(jù)所述拼接參數(shù)將第一接收圖像拼接到另一接收圖像并且在拼接的圖像中檢測所述對象來生成所述場景的全景圖像的至少一部分。
6.一種生成用于顯示的立體圖像的方法，包括如權(quán)利要求2所述的在客戶端設(shè)備處檢測圖像中的對象的方法；在所述客戶端設(shè)備處接收指示出要用于顯示所述立體圖像的屏幕的大小的顯示數(shù)據(jù)；以及通過使檢測到的對象在所述圖像內(nèi)的位置位移某一量來生成經(jīng)修改的圖像，位移量取決于所述場景中所述參考點(diǎn)與所述對象之間的距離以及所述顯示數(shù)據(jù)，從而使得當(dāng)接收到的二維圖像和經(jīng)修改的圖像都在顯示器上被立體地顯示時，所拍攝的對象看起來距所述顯示器預(yù)定的距離。
7.根據(jù)權(quán)利要求6所述的方法，還包括從所述服務(wù)器接收背景圖像信息，該背景圖像信息限定了所述場景的相對于所述相機(jī)的位置而言在所述對象的后面的至少一部分；以及在所述經(jīng)修改的圖像中，在所述對象的一部分上插入所述背景圖像信息的與所述對象的所述部分相對應(yīng)的部分。
8.根據(jù)權(quán)利要求7所述的方法，還包括使所述背景圖像信息在所述經(jīng)修改的圖像中位移，其中位移量取決于所述背景與所述參考點(diǎn)之間的距離。
9.根據(jù)權(quán)利要求6所述的方法，其中，所述位移量還是根據(jù)用戶偏好來確定的。
10.一種可連接到服務(wù)器的客戶端設(shè)備，所述客戶端設(shè)備包括接口，其可操作來從服務(wù)器接收場景的二維圖像，所述場景被相機(jī)拍攝并且所述圖像包括位于所述場景內(nèi)的對象，所述接口還可操作來從所述服務(wù)器接收位置數(shù)據(jù)和所述對象在該位置處的輪廓表示，所述位置數(shù)據(jù)指示出所述對象在所述圖像內(nèi)的位置，所述輪廓表示針對所述圖像在該位置處的片段中的像素位置限定該像素位置是否表示所述對象；以及對象檢測器，其基于所述輪廓在所述圖像中檢測所述對象。
11.根據(jù)權(quán)利要求10所述的客戶端設(shè)備，其中，所述接口可操作來從所述服務(wù)器接收距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處所述對象與相對于所述相機(jī)的參考點(diǎn)的距離。
12.根據(jù)權(quán)利要求11所述的客戶端設(shè)備，其中，所述接口可操作來在時間上周期性地從所述服務(wù)器接收所述距離數(shù)據(jù)。
13.根據(jù)權(quán)利要求11所述的客戶端設(shè)備，包括注冊設(shè)備，該注冊設(shè)備可操作來向所述服務(wù)器注冊所述客戶端設(shè)備，并且所述接口還可操作來響應(yīng)于這種注冊而接收所述距離數(shù)據(jù)。
14.根據(jù)權(quán)利要求11所述的客戶端設(shè)備，其中，所述接口可操作來接收另一二維圖像， 所述另一二維圖像與第一接收圖像相比具有所述場景的不同但交迭的視場，并且所述接口可操作來從所述服務(wù)器接收拼接參數(shù)；并且一生成器可操作來通過根據(jù)所述拼接參數(shù)將第一接收圖像拼接到另一接收圖像并且在拼接的圖像中檢測所述對象來生成所述場景的全景圖像的至少一部分。
15.根據(jù)權(quán)利要求10所述的客戶端設(shè)備，還可操作來生成用于顯示的立體圖像；其中所述接口可操作來在所述客戶端設(shè)備處接收指示出要用于顯示所述立體圖像的屏幕的大小的顯示數(shù)據(jù)；并且所述設(shè)備還包括圖像生成器，該圖像生成器還可操作來通過使檢測到的對象在所述圖像內(nèi)的位置位移某一量來生成經(jīng)修改的圖像，位移量取決于所述場景中所述參考點(diǎn)與所述對象之間的距離以及所述顯示數(shù)據(jù)，從而使得當(dāng)接收到的二維圖像和經(jīng)修改的圖像都在顯示器上被立體地顯示時，所拍攝的對象看起來距所述顯示器預(yù)定的距離。
16.根據(jù)權(quán)利要求15所述的客戶端設(shè)備，其中，所述接口還可操作來從所述服務(wù)器接收背景圖像信息，該背景圖像信息限定了所述場景的相對于所述相機(jī)的位置而言在所述對象的后面的至少一部分；并且在所述經(jīng)修改的圖像中，所述圖像生成器還可操作來在所述對象的一部分上插入所述背景圖像信息的與所述對象的所述部分相對應(yīng)的部分。
17.根據(jù)權(quán)利要求16所述的客戶端設(shè)備，其中，所述圖像生成器可操作來使所述背景圖像信息在所述經(jīng)修改的圖像中位移，其中位移量取決于所述背景與所述參考點(diǎn)之間的距1 O
18.根據(jù)權(quán)利要求15所述的客戶端設(shè)備，其中，所述位移量還是根據(jù)用戶偏好來確定的。
19.一種向客戶端設(shè)備提供對象檢測數(shù)據(jù)的方法，包括以下步驟從相機(jī)元件接收場景的二維圖像，所述圖像包括位于所述場景內(nèi)的對象； 從所述圖像生成位置數(shù)據(jù)，所述位置數(shù)據(jù)指示出所述對象在所述圖像內(nèi)的位置； 生成所述對象在該位置處的輪廓表示，所述輪廓表示表示針對所述圖像在該位置處的片段中的像素位置限定該像素位置是否表示所述對象；以及向所述客戶端設(shè)備發(fā)送所述二維圖像、所述位置數(shù)據(jù)和所述輪廓表示。
20.根據(jù)權(quán)利要求19所述的方法，還包括生成距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處所述對象與相對于所述相機(jī)的參考點(diǎn)的距離。
21.根據(jù)權(quán)利要求20所述的方法，包括在時間上周期性地向所述客戶端設(shè)備發(fā)送所述距離數(shù)據(jù)。
22.根據(jù)權(quán)利要求20所述的方法，包括在所述服務(wù)器處注冊所述客戶端設(shè)備并且響應(yīng)于這種注冊而發(fā)送所述距離數(shù)據(jù)。
23.根據(jù)權(quán)利要求20所述的方法，包括向所述客戶端設(shè)備發(fā)送另一二維圖像，所述另一二維圖像與第一接收圖像相比具有所述場景的不同但交迭的視場；以及從所述服務(wù)器發(fā)送拼接參數(shù)。
24.一種可連接到客戶端設(shè)備的服務(wù)器，所述服務(wù)器包括可操作來向客戶端設(shè)備發(fā)送場景的二維圖像的接口，所述場景被相機(jī)拍攝并且所述圖像包括位于所述場景內(nèi)的對象，對象檢測器，該對象檢測器可操作來生成位置數(shù)據(jù)，所述位置數(shù)據(jù)指示出所述對象在所述圖像內(nèi)的位置，并且該對象檢測器還可操作來生成所述對象在該位置處的輪廓表示， 所述輪廓表示表示針對所述圖像在該位置處的片段中的像素位置限定該像素位置是否表示所述對象；以及可操作來向所述客戶端設(shè)備發(fā)送所述位置數(shù)據(jù)和所述輪廓表示的接口。
25.根據(jù)權(quán)利要求M所述的服務(wù)器，其中，所述檢測器可操作來生成距離數(shù)據(jù)，該距離數(shù)據(jù)指示出在該位置處所述對象與相對于所述相機(jī)的參考點(diǎn)的距離，并且所述接口可操作來將所述距離數(shù)據(jù)發(fā)送到客戶端設(shè)備。
26.根據(jù)權(quán)利要求25所述的服務(wù)器，其中，所述接口可操作來在時間上周期性地從所述服務(wù)器發(fā)送所述距離數(shù)據(jù)。
27.根據(jù)權(quán)利要求25所述的服務(wù)器，包括注冊設(shè)備，該注冊設(shè)備可操作來注冊所述客戶端設(shè)備，并且所述接口還可操作來響應(yīng)于這種注冊而發(fā)送所述距離數(shù)據(jù)。
28.根據(jù)權(quán)利要求25所述的服務(wù)器，其中，所述接口可操作來發(fā)送另一二維圖像，所述另一二維圖像與第一發(fā)送圖像相比具有所述場景的不同但交迭的視場；拼接參數(shù)生成器可操作來生成拼接參數(shù)；并且所述接口還可操作來將所述拼接參數(shù)發(fā)送到所述客戶端設(shè)備。
29.一種計算機(jī)程序，包含計算機(jī)可讀指令，所述指令在被加載到計算機(jī)上時將所述計算機(jī)配置為執(zhí)行根據(jù)權(quán)利要求1或19所述的方法。
30.一種存儲介質(zhì)，被配置為在其中或其上存儲如權(quán)利要求四所述的計算機(jī)程序。
全文摘要
公開了方法、客戶端設(shè)備和服務(wù)器。描述了一種在客戶端設(shè)備處檢測圖像中的對象的方法。此方法包括以下步驟從服務(wù)器接收場景的二維圖像，場景被相機(jī)拍攝并且圖像包括位于場景內(nèi)的對象，從服務(wù)器接收位置數(shù)據(jù)，位置數(shù)據(jù)指示出對象在圖像內(nèi)的位置；從服務(wù)器接收對象在該位置處的輪廓表示，輪廓表示針對圖像在該位置處的片段中的像素位置限定該像素位置是否表示對象；以及基于所述輪廓，在圖像中檢測對象。
文檔編號H04L29/06GK102196280SQ20111003945
公開日2011年9月21日 申請日期2011年2月15日 優(yōu)先權(quán)日2010年2月15日
發(fā)明者克里夫·亨利·吉爾拉德, 斯蒂芬·馬克·凱汀, 羅伯特·馬克·斯特凡·波特 申請人:索尼公司