本公開總體上涉及監(jiān)視場景的方法和系統(tǒng)，更具體地涉及基于實時生成的表示全景視圖的數據來監(jiān)視場景的方法和系統(tǒng)。

背景技術：

全景視圖監(jiān)視涉及：根據攝像頭捕獲的圖像或視頻來創(chuàng)建關注區(qū)域的全景視圖，并向用戶呈現該全景視圖。用戶可能想要實時監(jiān)視關注區(qū)域，這對現有的提供全景視圖的方法提出了一些挑戰(zhàn)。一種方法使用云臺(pan-tilt-zoom，“PTZ”)攝像頭從各個角度捕獲場景，將捕獲的場景的視圖拼接成全景視圖,然后呈現給客戶端設備。另一方法使用多個廣角攝像頭來產生多通道視頻流，其流圖像在這些攝像頭的外部站點拼接，以提供用于事后監(jiān)視的全景視圖。然而，這些方法并不滿足特定需求。對于使用萬向或伺服馬達的PTZ攝像頭，由機械齒輪的移動產生的糟糕的可操作性和噪聲會影響記錄質量。伺服系統(tǒng)容易發(fā)生機械故障。僅在依次考慮了所有形成全景視圖所需的視角然后拼接在一起之后才提供全景視圖，因而不提供實時監(jiān)視。對于使用多個廣角攝像頭的監(jiān)視系統(tǒng)，對來自攝像頭的多個流的復用占用了額外的帶寬。需要多于一個攝像頭也導致較高的成本。此外，在攝像頭外部的處理站點生成全景視圖，導致客戶端設備處監(jiān)視的時延和不便。

所公開的方法和系統(tǒng)解決了上述問題中的一個或多個。

技術實現要素：

與本公開的實施例一致，提供了一種基于全景視圖來監(jiān)視場景的方法。所述方法可以包括：通過多個捕獲單元捕獲場景；基于捕獲單元輸出的圖像數據，實時生成表示全景視圖的數據；以及向客戶端設備發(fā)送全景視圖數據，以在客戶端設備處顯示為全景視圖。

與本公開的實施例一致，提供了一種用于基于實時生成的表示全景視圖的數據來監(jiān)視場景的方法。所述方法可以包括：與捕獲設備建立第一連接。捕獲設備可以包括：多個捕獲單元，被配置為捕獲場景，并輸出表示場景視圖的圖像數據；以及圖像處理單元，用于基于捕獲單元輸出的圖像數據，實時生成表示全景視圖的數據。所述方法可以包括：建立與客戶端設備的第二連接，用于接收捕獲設備所生成的全景視圖數據；以及根據第一傳輸協(xié)議，從捕獲設備向客戶端設備發(fā)送所述全景視圖數據，以在客戶端設備處監(jiān)視所述場景。

與本公開的實施例一致，提供了另一種用于基于全景視圖監(jiān)視場景的方法。所述方法可以包括：向捕獲設備發(fā)送請求，請求發(fā)送表示第一全景圖像的數據。所述捕獲設備可以包括：用于捕獲場景的多個捕獲單元；以及圖像處理單元，用于基于從捕獲單元輸出的圖像數據，實時生成第一全景圖像數據。所述方法可以包括：接收第一全景圖像數據，并基于所述第一全景圖像數據來顯示第一全景圖像的視圖。

與本公開的實施例一致，提供了一種用于基于全景視圖來監(jiān)視場景的系統(tǒng)。所述系統(tǒng)可以包括：捕獲設備，用于捕獲場景，并實時生成表示全景視圖的數據。所述捕獲設備可以包括：用于捕獲場景的多個捕獲單元；以及圖像處理單元，用于基于從捕獲單元輸出的圖像數據，實時生成表示全景視圖的數據。所述系統(tǒng)可以包括：服務器，被配置為將捕獲設備與客戶端設備連接，并根據傳輸協(xié)議，通過網絡從捕獲設備向客戶端設備發(fā)送全景視圖數據，以在客戶端設備處顯示。

應理解的是，前述的一般描述和以下詳細描述均僅是示例性且說明性的，而不對所要求保護的發(fā)明構成限制。

附圖說明

根據示例性實施例進一步描述本公開描述的方法、系統(tǒng)和/或設備。參照附圖詳細描述這些示例性實施例。這些實施例是非限制性示例性實施例，其中在附圖的視圖中，類似的數字表示類似的結構，其中

圖1是示出了與本公開一致的用于基于實時生成的表示全景視圖的數據來監(jiān)視場景的系統(tǒng)的示意圖；

圖2是與本公開一致的操作用于基于全景視圖監(jiān)視場景的系統(tǒng)的流程圖；

圖3是與本公開一致的用于基于全景視圖監(jiān)視場景的方法的流程圖；

圖4是與本公開一致的用于基于實時生成的表示全景視圖的數據來監(jiān)視場景的方法的流程圖；以及

圖5是與本公開一致的用于基于全景視圖監(jiān)視場景的另一方法的流程圖。

具體實施方式

現在將詳細參照所公開的實施例，其例子圖示在附圖中。在方便時，在整個附圖中使用相同的附圖標記來指代相同或類似的部件。

當參照附圖考慮以下說明時，本公開的這些和其他特點和特征、以及操作方法和相關的結構元件的功能以及部分的組合和制造的經濟性可以變得更加明顯，所有附圖形成本說明書的一部分。但是，應理解，附圖只是用于說明和描述的目的而不意欲作為對發(fā)明的限定的定義。如說明書和權利要求書中所使用的，除非上下文清楚地另有說明，否則單數形式“一”、“一個”和“該”包括復數。

如本公開中使用的，“圖像”可以指視覺介質，如靜止圖像或視頻幀?！皥D像數據”可以指表示靜止圖像、視頻流或視頻幀的數據。視頻的“幀”或“視頻幀”可以指一系列靜止圖像之一，其顯示被感知為運動圖像。“視頻流”可以指用于顯示運動圖像的一系列視頻幀。

與本公開一致，圖1示出了用于基于實時生成的表示全景視圖的數據來監(jiān)視場景的系統(tǒng)100。系統(tǒng)100可以包括：捕獲設備110，用于捕獲場景并生成表示全景視圖的數據；客戶端設備120，用于訪問并控制捕獲設備110，并示出所述全景視圖；服務器130，用于將捕獲設備110與客戶端設備120連接，并通過網絡140，根據傳輸協(xié)議將全景視圖數據從捕獲設備110發(fā)送至客戶端設備120。

捕獲設備110可以被配置為儀表盤攝像頭、車載攝像頭、運動攝像頭、監(jiān)視攝像頭、視頻會議攝像頭等，并且可以包括用于捕獲場所的場景的兩個或更多個圖像捕獲單元112。該場所可以包括某一地理位置，并且該場景的內容可以包括該場所下的對象，包括有生命對象和無生命對象。每個捕獲單元112可以被配置為捕獲場景的一部分，以及捕獲單元112可以被配置為使得可以根據所捕獲的場景生成表示該場所的全景視圖(如，360°視圖、360°(水平)×360°(垂直)視圖、以及廣角視圖)的數據。捕獲單元112中的一個或多個可以包括與小于要生成的完整全景視圖相對應的視場。然而，可以優(yōu)選最小化或消除捕獲設備對于要捕獲的場景的盲點。例如，可以在捕獲設備110中布置兩個捕獲單元112，使得每個單元可以捕獲場景的實質上不同的部分，以生成全景視圖。所生成的全景視圖將具有期望的場景覆蓋。一個捕獲單元112的視場可以與另一捕獲單元的視場重疊。

捕獲單元112可以包括鏡頭和圖像傳感器(未示出)。圖像傳感器可以包括互補金屬氧化物半導體(CMOS)和電荷耦合器件(CCD)圖像傳感器。捕獲單元112可以包括附加的光學、電氣和/或機械組件，以實現圖像捕獲并處理圖像數據。圖像傳感器可以被配置為執(zhí)行成像并輸出圖像數據，如具有4K像素分辨率的高清靜止圖像或視頻流(例如，超高清(“UHD”)視頻流)的數據。

捕獲設備110可以包括圖像處理單元114，用于處理從捕獲單元112輸出的圖像，包括靜止圖像或視頻幀。捕獲單元112可以同時向圖像處理單元113輸出視頻幀集合，圖像處理單元114可以同時實時處理所輸出的視頻幀，作為視頻流。因而，從捕獲單元112輸出的圖像可以在捕獲設備110處被立即處理(而無需發(fā)送至外部處理站點)以生成表示全景視圖的數據。

圖像處理單元114可以包括拼接器，用于根據從捕獲單元112輸出的圖像生成表示全景視圖的數據。該拼接器可以被配置為將靜止圖像“拼接”(即，組合)為拼接圖(mosaic)的至少一部分，以生成具有全景視圖的全景圖像。例如，拼接器可以被配置為對所輸出的靜止圖像或視頻幀執(zhí)行單應性變換，以生成全景視圖。

全景視圖可以包括例如由圖像處理單元114應用的平面(flat)效果、極面(polar)效果、星球(planet)效果、魚眼效果和圓形效果。備選地，客戶端設備120可以被配置為對從捕獲設備110發(fā)送的全景視圖應用圖形效果。可以生成全景視圖以由虛擬現實設備顯示。

圖像處理單元114可以包括圖形處理單元和/或電路，用于處理從捕獲單元112輸出的圖像。捕獲設備110可以包括用于在片上系統(tǒng)(“SoC”)上處理圖像的電路。例如，圖像處理單元114可以被配置為對由輸出的視頻幀拼接的全景圖像進行“畸變校正(de-warp)”(即，降低該全景圖像的失真)，以生成平面全景視圖。

圖像處理單元114可以被配置為基于一組識別規(guī)則來分析圖像或全景視圖。識別規(guī)則可以被預編程和/或由用戶定義，并存儲在捕獲設備110的數據庫中。識別規(guī)則可以包括從捕獲單元112所輸出的圖像或所生成的全景視圖，檢測特定對象、環(huán)境屬性和/或某種信息的存在、不存在或其狀態(tài)或情形的改變。例如，識別規(guī)則可以包括面部識別、車牌識別、闖入者檢測、QR碼識別、以及對根據所捕獲的內容分析的信息的其他識別。

圖像處理單元114可以包括用于執(zhí)行識別的運動檢測器。運動檢測器可以被配置為在全景視圖上標記所識別的全景視圖內容。

捕獲單元112可以被配置為：與捕獲設備110中的本地時鐘同步地開始、暫停和停止成像，如記錄視頻。可以給諸如視頻幀之類的圖像加時間戳，以跟蹤該記錄或用于后續(xù)處理。圖像處理單元114可以被配置為經由高速接口從捕獲單元112直接接收圖像。

圖像處理單元114可以被配置為響應于用戶動作來處理全景視圖，以模擬PTZ移動。例如，圖像處理單元114可以處理全景視圖以模擬搖攝或傾斜攝，從而對應于手指在客戶端設備120的屏幕上示出的全景圖像上的滑動。例如，用戶的抓捏動作可以使圖像處理單元114執(zhí)行例如數字縮放。備選地，PTZ移動的模擬可以在客戶端設備120處執(zhí)行。

捕獲設備110可以被配置為對在全景視圖上選擇關注區(qū)(“ROI”)做出響應。例如，查看在客戶端設備120的屏幕上顯示的全景視圖的用戶可以通過敲擊全景圖像上的屏幕來選擇ROI，與敲擊所在位置相關聯的圖像區(qū)域可以構成ROI。捕獲設備110的圖像處理單元114可以接收從客戶端設備120發(fā)送的承載ROI選擇信息的信號，并例如通過放大ROI、重新處理全景視圖的與ROI相對應的部分、或重新處理全景視圖的不與ROI相對應的部分來響應該信號。網絡接口116可以被配置為向客戶端設備120發(fā)送僅與ROI相對應的圖像數據。備選地，可以配置為比ROI圖像數據的比特速率低的比特速率，向客戶端設備120發(fā)送非ROI圖像數據，如與ROI外部的區(qū)域相對應的圖像數據。

圖像處理單元114可以被配置為對被捕獲圖像的內容進行編碼。具體地，圖像處理單元114可以被配置為將全景圖像壓縮為不同的質量或比特速率，該不同的質量或比特速率可以是用戶指定給捕獲設備110的，或基于所使用的特定傳輸協(xié)議而適配的?？梢曰谟布拗啤④浖拗?、網絡限制、傳輸協(xié)議限制、和/或用戶要求來選擇壓縮。

捕獲設備110可以包括用于存儲由圖像處理單元114生成的全景圖像的存儲設備。該存儲設備可以包括與捕獲設備110連接的存儲器設備。客戶端設備120和/或服務器130可以包括用于存儲從捕獲設備110發(fā)送的全景圖像的存儲器設備。

捕獲設備110可以包括因特網協(xié)議(“IP”)攝像頭、或能夠與客戶端設備120和服務器130通信的攝像頭。因而，捕獲設備110可以包括以有線和/或無線配置與網絡連接的網絡接口116。網絡接口116可以被配置為建立與客戶端設備120和服務器130的連接，并通過網絡140向客戶端設備120和服務器130發(fā)送可以包括全景視圖的圖像。網絡140可以包括有線和/或無線網絡，以及網絡接口116可以被配置為同時與有線網絡和無線網絡連接。網絡接口116可以被配置為通過有線網絡發(fā)送圖像數據，同時通過無線網絡接收并發(fā)送非圖像數據，如從客戶端設備120接收的命令和從捕獲設備110向客戶端設備120發(fā)送的狀態(tài)信號。

客戶端設備120可以包括智能電話、平板電腦、PC、虛擬現實設備和與捕獲設備110和服務器130通信的其他個人或移動電子設備?？蛻舳嗽O備120可以包括軟件應用，用于例如通過指示捕獲設備110將表示全景視圖的數據從捕獲設備110發(fā)送至客戶端設備120，訪問并控制捕獲設備110?？蛻舳嗽O備120可以被配置為允許用戶例如識別捕獲設備110，開始、暫停和停止捕獲設備110捕獲場景，開始從捕獲設備110向客戶端設備120或服務器130傳輸表示全景視圖的數據，以及通過廣播全景視頻流將全景視圖與其他設備共享。

客戶端設備120可以提供一組物理和/或虛擬控件，允許用戶選擇針對捕獲設備110的某種操作，如前述動作中的一個或多個。用戶可以通過客戶端設備120的接收觸覺輸入、機械輸入、電輸入、語音輸入和/或其他感官輸入的接口，訪問并控制捕獲設備110?？蛻舳嗽O備120可以是移動的，并且可以允許用戶基于發(fā)送至客戶端設備120并顯示在客戶端設備120上的全景視圖來遠程監(jiān)視場景。

客戶端設備可以被配置為接收對ROI的選擇，并指示捕獲設備110響應于對ROI的選擇。通過實時選擇ROI，捕獲設備110可以被配置為例如立即對選擇做出響應，并生成表示更新后的全景視圖的數據。

客戶端設備120可以包括用于示出從捕獲設備110發(fā)送的全景視圖的顯示設備?？蛻舳嗽O備120可以被配置為提供關于全景視圖的信息，以幫助用戶識別該視圖和/或視圖的內容。顯示全景視圖和/或提供關于全景視圖的附加信息可以允許用戶實時監(jiān)視所捕獲的場景?？蛻舳嗽O備120可以被配置為訪問先前生成的全景圖像，以便非實時查看。

客戶端設備120可以被配置為促進與捕獲設備110的設備配對。例如客戶端設備120可以被配置為允許用戶創(chuàng)建用戶賬戶，登錄用戶賬戶，識別并注冊捕獲設備110，并將捕獲設備110與用戶賬戶配對。

客戶端設備120可以被配置為向提供設備注冊的服務注冊用戶賬戶。這種服務可以由服務器130、或與服務器130通信的另一服務器提供。經由客戶端設備120，可以向已經注冊有客戶端設備120的同一服務注冊捕獲設備110?？梢酝ㄟ^捕獲設備110或客戶端設備120向設備注冊服務或服務器130發(fā)送與客戶端設備120和用戶賬戶之間的設備配對有關的信息。

服務器130可以被配置為根據捕獲設備110或客戶端設備120的請求，在捕獲設備110與客戶端設備120之間建立連接。服務器130可以被配置為采用傳輸協(xié)議以實現從捕獲設備110到客戶端設備120的全景圖像的傳輸或流傳輸。為了實時監(jiān)視的目的，可以優(yōu)選確保低時延的傳輸協(xié)議。在其他情況下，可以優(yōu)選提供廣播功能的傳輸協(xié)議，以將全景圖像發(fā)送給若干終端設備，包括諸如智能電話、計算機之類的客戶端設備和在那些設備上的諸如網頁之類的應用或其他軟件應用。

服務器130可以被配置為在捕獲設備110與客戶端設備120之間提供直接連接，使得全景圖像可以從捕獲設備110直接發(fā)送至客戶端設備120。服務器130也可以被配置為在捕獲設備110與客戶端設備120之間提供間接連接，使得可以首先將全景圖像發(fā)送至服務器130，然后從服務器130發(fā)送至客戶端設備120。例如，服務器130可以包括實時傳輸協(xié)議(“RTP”)、實時流協(xié)議(“RTSP”)、實時消息收發(fā)協(xié)議(“RTMP”)、對等(“P2P”)協(xié)議、或其他類似傳輸協(xié)議、或其變體。

捕獲設備110與客戶端設備120之間的連接的建立和/或表示全景視圖的數據的傳輸可以是基于事件的。捕獲設備110可以例如通過檢測所捕獲的場景中的對象、或通過檢測環(huán)境屬性來確定是否發(fā)生了特定事件，并且如果發(fā)生了事件，則請求服務器130提供與客戶端設備120的連接。同樣，客戶端設備120可以在發(fā)生用戶觸發(fā)事件(例如啟動在客戶端設備120處進行監(jiān)視的應用)時，請求與捕獲設備110的連接。

服務器130可以被配置為基于在捕獲設備110處確定所捕獲的場景，向客戶端設備120發(fā)出警報，以通知可能已經發(fā)生的特定事件?？梢詫⒈硎舅东@的場景的全景視圖的數據作為警告的一部分或與警告一起實時發(fā)送給客戶端設備。該警告可以包括全景視圖的視頻流。這種“視頻警告”也可以通過捕獲設備110直接警告客戶端設備120。例如，可以從捕獲設備110直接向客戶端設備120發(fā)送警告，同時表示全景視圖的數據從捕獲設備110到客戶端設備120的傳輸可以遵循用于傳輸的特定傳輸協(xié)議的規(guī)則。

服務器130可以被配置為連續(xù)地從捕獲設備110接收圖像數據，包括構成全景圖像的數據。例如，捕獲設備110可以被配置為全天候或長期地記錄場景，并向服務器130連續(xù)發(fā)送基于所記錄的視頻數據生成的全景視頻以進行存儲。所存儲的全景視頻可以排序成列表，并表示記錄歷史，并且可以從列表中選擇全景視頻以傳輸給客戶端設備120進行查看。關于存儲視頻，服務器130可以被配置為提供客戶端設備120可以訪問的云存儲或云服務。服務器130可以被配置為在捕獲設備110和/或客戶端設備120可以本地存儲全景圖像時存儲所述全景圖像的備份拷貝。

服務器130可以被配置為處理從捕獲設備110發(fā)送的圖像數據。例如，服務器130可以被配置為處理從捕獲設備110發(fā)送的全景視頻，以進行圖形處理或廣播，或被配置為向視頻提供附加信息。服務器130可以被配置為對全景圖像執(zhí)行專用和/或定制化圖形處理，并向客戶端設備120和/或其他終端設備發(fā)送“處理后的”全景圖像。

如上所述，服務器130可以被配置為從客戶端設備120注冊用戶賬戶。服務器130可以被配置為基于用戶賬戶、捕獲設備110和/或客戶端設備120的信息，對從其他終端設備訪問捕獲設備110的請求進行認證。服務器130可以包括用于存儲配對信息、注冊信息、賬戶信息、設備信息、訪問信息和傳輸記錄的數據庫。

服務器130可以包括被配置為與本公開一致的虛擬機。

現在參照圖2，圖2示出了描繪用于操作基于實時生成的表示全景視圖的數據來監(jiān)視場景的系統(tǒng)的示例性方法200。方法200可以使用系統(tǒng)100或其部分實現。應注意，本公開不限于以下描述的方法200中的步驟的順序。與本公開一致，對基于實時生成的表示全景視圖的數據來監(jiān)視場景的系統(tǒng)的操作可以具有比方法200少或多的步驟，并且可以具有與方法200不同的步驟順序。

在步驟201，用戶使用客戶端設備在服務器處創(chuàng)建用戶賬戶。用戶可以使用在客戶端設備上運行的軟件應用來創(chuàng)建用戶賬戶。軟件應用可以被配置為向服務器發(fā)送用戶信息以創(chuàng)建用戶賬戶。服務器可以被配置為在服務器的數據庫中注冊用戶賬戶，并且也可以在數據庫中與用戶賬戶一起注冊客戶端設備。

在步驟202，用戶使用客戶端設備將捕獲設備與服務器連接。捕獲設備需要設立(包括建立)與服務器的連接。用戶可以使用客戶端設備生成QR碼并在客戶端設備的屏幕上顯示該QR碼。該QR碼可以嵌入網絡的接入碼。捕獲設備可以被配置為捕獲客戶端設備顯示的QR碼，并接入網絡與服務器連接。捕獲設備可以被配置為：一旦捕獲設備接入了網絡，就建立與服務器的連接。

在步驟203，服務器將捕獲設備與用戶賬戶配對。為了與用戶賬戶配對，捕獲設備可以被配置為將關于捕獲設備的信息與賬戶信息一起上傳至服務器，以及服務器可以被配置為基于從捕獲設備接收的請求和信息，將捕獲設備與用戶賬戶配對。

在步驟204，服務器基于傳輸協(xié)議，提供捕獲設備與客戶端設備之間的連接。服務器可以被配置為提供捕獲設備與客戶端設備之間的連接，以實現將在捕獲設備端實時生成的表示全景視圖的數據基于傳輸協(xié)議傳輸至客戶端設備。此外，服務器可以被配置為提供廣播服務，以使在捕獲設備端實時生成的數據所表示的全景視圖能夠基于傳輸協(xié)議發(fā)送至多個終端設備。

在步驟205，用戶使用客戶端設備訪問并控制捕獲設備?？蛻舳嗽O備可以向捕獲設備發(fā)送用戶輸入的指令。該指令可以通過WiFi網絡或因特網發(fā)送。例如，用戶可以指示捕獲設備開始或停止捕獲場景，發(fā)送表示被捕獲場景的全景視圖的數據，選擇ROI，發(fā)送與ROI相對應的視頻數據等。

在步驟206，捕獲設備捕獲場景，并實時生成表示全景視圖的數據。捕獲設備的多個捕獲單元可以開始捕獲場景，并且捕獲設備的圖像處理單元可以基于從捕獲單元輸出的視頻實時生成具有全景視圖的全景視頻。

在步驟207，捕獲設備向服務器或客戶端設備發(fā)送全景視圖數據。取決于用戶偏好和服務器所采用的傳輸協(xié)議，可以將在捕獲設備處實時生成的表示全景視圖的數據發(fā)送至客戶端設備以顯示為全景視圖，和/或發(fā)送至服務器進行存儲或廣播至多個終端設備。用戶可以查看客戶端設備上的全景視圖，以監(jiān)視場景。

現在參照圖3，圖3示出了基于全景視圖監(jiān)視場景的方法300的流程圖。方法300可以基于圖2所示的流程圖或其一部分實現。方法300可以使用系統(tǒng)100及其一部分實現。在步驟301，提供具有多個捕獲單元的捕獲設備用于捕獲場景。捕獲單元可以被配置為捕獲場景。場景可以通過同時操作的捕獲單元捕獲。每個捕獲單元可以被配置為捕獲與要生成的全景視圖相對應的場景的一部分。

在步驟302，通過捕獲設備，基于由捕獲單元輸出的諸如構成視頻幀的圖像數據之類的圖像數據，實時生成表示全景視圖的數據?？梢酝ㄟ^捕獲設備的圖像處理單元來拼接所輸出的視頻幀，以實時生成表示全景視圖的數據。

在步驟303，全景視圖數據從捕獲設備發(fā)送至客戶端設備，以顯示為全景視圖。全景視圖數據可以基于傳輸協(xié)議發(fā)送?？梢酝ㄟ^采用該傳輸協(xié)議的服務器來提供全景視圖數據至客戶端設備的發(fā)送。全景視圖可以顯示在客戶端設備的屏幕上進行監(jiān)視。

在方法300中，捕獲設備可以通過基于對顯示在客戶端設備上的全景視圖上的ROI的選擇向客戶端設備發(fā)送表示更新的全景視圖的數據，對該ROI的選擇做出響應。更新的全景視圖數據的發(fā)送可以包括：僅發(fā)送與該ROI相對應的視頻數據。可以不向客戶端設備發(fā)送、或者可以以低比特速率向客戶端設備發(fā)送與ROI之外的區(qū)域相對應的視頻數據。

現在參照圖4，圖4示出了基于實時生成的表示全景視圖的數據來監(jiān)視場景的方法400的流程圖。方法400可以基于圖2所示的流程圖或其一部分實現。方法400可以使用系統(tǒng)100及其一部分實現。在步驟401，服務器與捕獲設備建立第一連接，所述捕獲設備具有：多個捕獲單元，用于捕獲場景；以及圖像處理單元，用于基于捕獲單元輸出的圖像數據，實時生成表示全景視圖的數據。

在步驟402，服務器建立與客戶端設備的第二連接，用于接收捕獲設備所生成的表示全景視圖的數據。

在步驟403，服務器提供第一傳輸協(xié)議，以使得能夠將表示全景視圖的數據從捕獲設備發(fā)送至客戶端設備，以在客戶端設備處監(jiān)視。全景視圖數據可以通過圖像處理單元基于由捕獲單元輸出的圖像數據來生成。

在步驟404，服務器提供第二傳輸協(xié)議，以使捕獲設備生成的全景視圖數據能夠發(fā)送到多個終端設備以便查看。

在方法400中，服務器可以存儲具有由捕獲設備生成的全景視圖的視頻。服務器可以向客戶端設備和/或其他終端設備提供由捕獲設備先前生成的全景視頻。

現在參照圖5，圖5示出了基于全景視圖來監(jiān)視場景的方法500的流程圖。方法500可以基于圖2所示的流程圖或其一部分實現。方法500可以使用系統(tǒng)100及其一部分實現。在步驟501，客戶端設備將發(fā)送全景圖像的請求發(fā)送至捕獲設備。全景圖像可以包括全景靜態(tài)圖像或全景視頻流。捕獲設備可以包括用于捕獲場景的多個捕獲單元和用于基于捕獲單元所輸出的圖像數據來實時生成表示全景視圖的數據的圖像處理單元。

在步驟502，客戶端設備接收由捕獲設備實時生成的表示第一全景圖像的數據。

在步驟503，客戶端設備基于第一全景圖像數據，顯示第一全景圖像的視圖。

在步驟504，客戶端設備接收選擇第一全景圖像上的ROI的輸入。

在步驟505，客戶端設備向捕獲設備發(fā)送關于選擇ROI的信息。

在步驟506，客戶端設備基于對ROI的選擇，接收由捕獲設備實時生成的表示第二全景圖像的數據。

在步驟507，客戶端設備基于第二全景圖像數據，顯示第二全景圖像的視圖。

在方法500中，客戶端設備可以對第一或第二全景圖像的視圖提供應用平面效果、極面效果、星球效果、魚眼效果和圓形效果的選項。

雖然在此描述了說明性實施例，但基于本公開本領域技術人員將理解，任意或所有實施例的范圍具有等同元素、更改、省略、組合(例如多種實施例交叉的方案)、適配和/或改變。權利要求中的要素要基于權利要求中使用的語言進行寬泛地解釋，而不限于本說明書中描述的或本申請審查期間的例子，這些例子應當解讀為非排他的。此外，所公開的方法中的步驟可用任何方式修改，包括對步驟重新排序或插入或刪除步驟。因此，說明書和例子僅旨在示例，而真實范圍和精神由隨附的權利要求及其等同的全部范圍來表示。