該申請要求在韓國知識產(chǎn)權(quán)局于2015年9月9日提交的韓國專利申請No.10-2015-0127917、于2015年9月23日提交的韓國專利申請No.10-2015-1034902、于2016年1月19日提交的韓國專利申請No.10-2016-0006535、于2016年6月8日提交的韓國專利申請No.10-2016-0071101的優(yōu)先權(quán)，其公開通過其完整引用合并到此。

技術(shù)領域

以下描述涉及與在線購物商場關(guān)聯(lián)的技術(shù)，更具體地說，涉及使用虛擬相機的個性化購物商場系統(tǒng)。

背景技術(shù)：

于2011年6月29日公開的韓國專利申請公開No.10-2011-0072846已經(jīng)提出一種用于從輸出自相機的圖像剪切存在移動的部分或受關(guān)注的部分(例如人類面部或車輛號牌板)并且輸出所剪切的部分的技術(shù)。

于2013年4月22日公開的韓國專利申請公開No.10-2013-0039652已經(jīng)提出一種負載平衡技術(shù)，其用于搜索存儲內(nèi)容的兩個或更多個子網(wǎng)，從兩個或更多個所發(fā)現(xiàn)的子網(wǎng)當中選擇提供根據(jù)網(wǎng)絡狀態(tài)所請求的內(nèi)容的一個子網(wǎng)，選擇提供所請求的內(nèi)容的節(jié)點，并且將內(nèi)容傳送到用戶。因此，在內(nèi)容服務器將內(nèi)容傳送到用戶的同時，可以從網(wǎng)絡選擇最佳服務器節(jié)點，以增加業(yè)務效率并且提供高質(zhì)量實時流送服務。

本發(fā)明的發(fā)明人對用于使用圖像剪切技術(shù)從一個物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同興趣區(qū)域(ROI)的虛擬相機并且流送包括虛擬相機的購物商場頁面的技術(shù)進行了研究。

此外，本發(fā)明的發(fā)明人對用于使用圖像剪切技術(shù)從通過依次連接多個物理相機所捕獲的線下商店的圖像所形成的的線下商店屏幕創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面的技術(shù)進行了研究。

此外，本發(fā)明的發(fā)明人對用于從包括3D對象的線下商店屏幕創(chuàng)建具有使用部署得彼此相鄰并且被配置為實時捕獲商店圖像的多個物理相機所捕獲的線下商店的各2D圖像之間的立體視差檢測到的3D對象定位為ROI的區(qū)域的多個不同虛擬相機并且流送包括虛擬相機的購物商場頁面的技術(shù)進行了研究。

此外，本發(fā)明的發(fā)明人對用于從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機、提供包括所創(chuàng)建的虛擬相機的購物商場頁面、并且發(fā)布而且然后發(fā)送購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像的流送負載的技術(shù)進行了研究。

技術(shù)實現(xiàn)要素：

提供本發(fā)明內(nèi)容以通過簡化形式介紹以下在具體實施方式中進一步描述的構(gòu)思的選擇。本發(fā)明內(nèi)容不意圖標識所要求的主題內(nèi)容的關(guān)鍵特征或必要特征，也不意圖用作有助于確定所要求的主題內(nèi)容的范圍。

以下描述涉及提供一種使用虛擬相機的個性化購物商場系統(tǒng)，其從一個物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機，并且流送包括虛擬相機的購物商場頁面。

以下描述還涉及一種使用虛擬相機的個性化購物商場系統(tǒng)，其從通過依次連接多個物理相機所捕獲的線下商店的圖像所形成的線下商店屏幕創(chuàng)建具有不同ROI的虛擬相機，并且流送包括虛擬相機的購物商場頁面。

以下描述還涉及提供一種使用虛擬相機的個性化購物商場系統(tǒng)，其從包括3D對象的線下商店屏幕創(chuàng)建具有使用部署得彼此相鄰并且被配置為實時捕獲商店的圖像的多個物理相機所捕獲的線下商店的各2D圖像之間的立體視差所檢測到的3D對象定位為ROI的區(qū)域的多個不同虛擬相機，并且流送包括虛擬相機的購物商場頁面。

以下描述還涉及提供一種用于使用虛擬相機的個性化購物商場頁面的負載發(fā)布系統(tǒng)，其從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機，提供包括虛擬相機中的每一個的購物商場頁面，并且發(fā)布而且流送購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像的負載。

在一個普通方面中，一種使用虛擬相機的個性化購物商場系統(tǒng)，包括：物理相機，被配置為：實時捕獲線下商店的圖像；圖像處理裝置，包括：圖像接收單元，被配置為：接收所述物理相機所捕獲的所述線下商店的圖像；以及虛擬相機管理單元，被配置為：從所述圖像接收單元接收到的所述線下商店的圖像生成具有不同興趣區(qū)域(ROI)的多個虛擬相機；以及虛擬相機，包括：ROI選擇單元，被配置為：從所述物理相機所捕獲的所述線下商店的圖像選擇ROI；ROI播放單元，被配置為：播放所述ROI選擇單元所選擇的ROI的圖像；以及圖像處理單元，被配置為：根據(jù)用戶終端的操控來執(zhí)行所述ROI播放單元所播放的ROI的圖像的搖攝/傾斜(tilting)或放大/縮小處理。

可以提供多個所述物理相機。

所述相機管理單元可以通過依次連接所述多個物理相機所捕獲的所述線下商店的圖像來形成整合式線下商店屏幕，并且可以從所形成的線下商店屏幕創(chuàng)建具有不同ROI的多個虛擬相機。

所述虛擬相機管理單元可以包括：連接管理單元，被配置為：處理所述用戶終端的連接和斷開；虛擬相機創(chuàng)建單元，被配置為：創(chuàng)建待提供給所述連接管理單元允許連接的用戶終端的虛擬相機；購物商場頁面創(chuàng)建單元，被配置為：形成購物商場頁面，在該購物商場頁面中，在虛擬相機區(qū)域中包括虛擬相機創(chuàng)建單元所創(chuàng)建的虛擬相機；購物商場頁面提供單元，被配置為：向所述用戶終端提供由所述購物商場頁面創(chuàng)建單元所生成的、在虛擬相機區(qū)域中包括所述虛擬相機的所述購物商場頁面；以及控制權(quán)限分配單元，被配置為：將用于控制由所述購物商場頁面提供單元所提供的所述購物商場頁面中所包括的所述虛擬相機的權(quán)限分配給所述用戶終端。

所述用于控制所述虛擬相機的權(quán)限可以是對在虛擬相機屏幕上搖攝/傾斜或放大/縮小的授權(quán)。

所述購物商場頁面創(chuàng)建單元所創(chuàng)建的所述購物商場頁面可以包括：對管理者終端所上傳的感興趣產(chǎn)品(POI)的圖像進行注冊的POI區(qū)域。

所述購物商場頁面創(chuàng)建單元所創(chuàng)建的所述購物商場頁面可以包括處理管理者終端與所述用戶終端之間的視頻交談的視頻交談區(qū)域。

所述購物商場頁面創(chuàng)建單元所創(chuàng)建所述購物商場頁面可以包括提供線下商店信息的商店信息區(qū)域。

所述虛擬相機可以還包括仿真式搖攝/傾斜/變焦處理單元，被配置為：對所述圖像處理單元輸出虛擬相機控制命令，以根據(jù)用于搖攝/傾斜或放大/縮小的操控信號通過軟件在所述虛擬相機區(qū)域的范圍中在由所述ROI播放單元所播放的ROI圖像上進行搖攝/傾斜或放大/縮小。

所述虛擬相機可以還包括光學搖攝/傾斜/變焦處理單元，被配置為：對所述物理相機輸出物理相機驅(qū)動命令，以當所述ROI播放單元所播放的所述ROI圖像超出所述虛擬相機區(qū)域的范圍時搖攝/傾斜所述物理相機或使所述物理相機進行(物像)放大/縮小。

所述虛擬相機可以還包括：設置信息存儲單元，被配置為：存儲虛擬相機設置信息；以及虛擬相機設置單元，被配置為：從用戶接收所述虛擬相機設置信息。

所述虛擬相機設置單元可以將初始ROI位置、ROI大小、分辨率、質(zhì)量、壓縮格式和虛擬相機區(qū)域圖案中的至少一個設置為所述虛擬相機設置信息。

所述圖像處理單元可以包括：存儲器，被配置為：存儲所述物理相機所捕獲的所述商店圖像；ROI提取單元，被配置為：從所述相機設置信息中所包括的所述存儲器中所存儲的所述商店圖像提取所述ROI選擇單元所選擇的ROI的ROI大小化圖像(ROI sized image)；圖像比例器，被配置為：將所述ROI提取單元所提取的所述ROI圖像轉(zhuǎn)換為所述相機設置信息中所包括的分辨率；以及編解碼器，被配置為：以所述相機設置信息中所包括的所述壓縮格式來壓縮經(jīng)所述圖像比例器轉(zhuǎn)換的所述ROI圖像。

所述圖像處理單元可以還包括幀率改變單元，被配置為：將幀率改變?yōu)檫m合于所述相機設置信息中所包括的所述質(zhì)量。

所述圖像處理單元可以從所述ROI圖像提取背景對象和前景對象，并且執(zhí)行處理，從而通過ROI播放單元播放已經(jīng)移除所述前景對象的、僅包括所述背景對象的ROI的圖像。

所述圖像處理單元可以從所述ROI圖像識別人，并且對所識別的人的面部執(zhí)行掩蔽處理。

所述ROI選擇單元所選擇的ROI可以彼此重疊。

所述圖像處理裝置可以還包括：復用單元，被配置為：將所述多個虛擬相機所播放的所述ROI圖像轉(zhuǎn)換為源自具有相同網(wǎng)絡地址的不同端口的分組圖像信號，并且將所述分組圖像信號復用為單個分組圖像流；以及圖像發(fā)送單元，被配置為：通過單個物理層將通過所述復用單元進行復用所獲得的所述單個分組圖像流發(fā)送到所述用戶終端。

所述虛擬相機管理單元可以還包括控制權(quán)限收回單元，被配置為：收回被分配給所述連接管理單元允許斷開的用戶終端的虛擬相機控制權(quán)限。

所述多個物理相機可以按行安裝。

所述多個物理相機可以按徑向圖案安裝。

所述虛擬相機管理單元可以連接線下商店的圖像，從而圖像彼此部分地重疊。

根據(jù)以下具體實施方式、附圖和權(quán)利要求，其它特征和方面將變得顯然。

附圖說明

圖1是示出根據(jù)本發(fā)明第一實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。

圖2是示出根據(jù)本發(fā)明第二實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。

圖3是示出圖2所示的使用虛擬相機的個性化購物商場系統(tǒng)的物理相機的商店屏幕和安裝布局的示例的視圖。

圖4是示出圖2所示的使用虛擬相機的個性化購物商場系統(tǒng)的物理相機的商店屏幕和安裝布局的另一示例的視圖。

圖5是示出根據(jù)本發(fā)明第三實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。

圖6是示出圖5所示的使用虛擬相機的個性化購物商場系統(tǒng)的物理相機的安裝布局的示例的視圖。

圖7是示出根據(jù)本發(fā)明第四實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。

圖8是示出根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的圖像處理裝置的虛擬相機管理單元的框圖。

圖9是示出根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的圖像處理裝置所創(chuàng)建的購物商場頁面的示例的框圖。

圖10是示出根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的虛擬相機的框圖。

圖11是示出圖1所示的使用虛擬相機的個性化購物商場系統(tǒng)的購物商場頁面提供操作的示例的流程圖。

圖12是示出圖2所示的使用虛擬相機的個性化購物商場系統(tǒng)的購物商場頁面提供操作的示例的流程圖。

圖13是示出圖5所示的使用虛擬相機的個性化購物商場系統(tǒng)的購物商場頁面提供操作的示例的流程圖。

圖14是示出圖7所示的使用虛擬相機的個性化購物商場系統(tǒng)的購物商場頁面提供操作的示例的流程圖。

圖15是示出圖10所示的虛擬相機所執(zhí)行的興趣區(qū)域(ROI)提取過程的示例的流程圖。

貫穿附圖和詳細描述，除非另外描述，否則相同附圖標號將理解為指代相同要素、特征和結(jié)構(gòu)。為了清楚、說明和方便，這些要素的相對大小和描述可以夸大。

具體實施方式

提供以下描述以協(xié)助讀者獲取在此所描述的方法、裝置和/或系統(tǒng)的全面理解。相應地，在此所描述的方法、裝置和/或系統(tǒng)的各種改變、修改和等同將建議給本領域技術(shù)人員。此外，為了增加清楚性和簡明性，可省略公知功能和構(gòu)造的描述。

下文中，將參照附圖通過示例性實施例詳細描述本發(fā)明以供本領域技術(shù)人員容易地理解并且實施。

在以下描述中，當有關(guān)的公知功能或配置的詳細描述確定為不必要地模糊本發(fā)明的重要點時，將省略詳細描述。

此外，在此所使用的術(shù)語是考慮它們在本發(fā)明示例性實施例中的功能而定義的，并且因此可以取決于用戶、操作者的意圖或慣例而改變。相應地，應基于該說明書的以下總體描述而定義術(shù)語。

圖1是示出根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。如圖1所示，根據(jù)本發(fā)明該實施例的使用虛擬相機的個性化購物商場系統(tǒng)包括一個物理相機100和圖像處理裝置200。

圖2是示出根據(jù)本發(fā)明第二實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。如圖2所示，根據(jù)本發(fā)明該實施例的使用虛擬相機的個性化購物商場系統(tǒng)包括多個物理相機100和圖像處理裝置200。

圖3是示出圖2所示的使用虛擬相機的個性化購物商場的物理相機的商店屏幕和安裝布局的示例的視圖。如圖3所示，多個物理相機100可以按行安裝。

圖4是示出圖2所示的使用虛擬相機的個性化購物商場的物理相機的商店屏幕和安裝布局的另一示例的視圖。如圖4所示，物理相機100可以按徑向圖案安裝。

圖5是示出根據(jù)本發(fā)明第三實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。如圖5所示，根據(jù)本發(fā)明該實施例的使用虛擬相機的個性化購物商場系統(tǒng)包括部署得彼此相鄰的多個物理相機100和圖像處理裝置200。

圖6是示出圖5所示的使用虛擬相機的個性化購物商場的物理相機的安裝布局的示例的視圖。如圖6所示，部署得彼此相鄰的多個物理相機100可以安裝在四個方向上。

圖7是示出根據(jù)本發(fā)明第四實施例的使用虛擬相機的個性化購物商場系統(tǒng)的框圖。如圖7所示，根據(jù)本發(fā)明該實施例的使用虛擬相機的個性化購物商場系統(tǒng)包括物理相機100、圖像處理裝置200、圖像處理裝置200、本地服務器300以及專用流送服務器400。

相機100安裝在線下商店中，并且被配置為：實時捕獲線下商店的圖像。例如，相機100可以包括普通高分辨率相機、全景相機、魚眼鏡頭相機等。

圖像處理裝置200從物理相機100所捕獲的線下商店的圖像創(chuàng)建具有不同的興趣區(qū)域(ROI)的多個虛擬相機，形成多個購物商場頁面并且將所形成的購物商場頁面提供給用戶終端，其中在所述購物商場頁面中，在虛擬相機區(qū)域中包括所述多個虛擬相機。

在此，具有不同ROI的虛擬相機是從線下商店的圖像剪切針對每個用戶所個性化的不同ROI的圖像并且播放所剪切的圖像的軟件模塊。

本地服務器300向用戶終端流送圖像處理裝置200已經(jīng)提供給用戶終端的購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像。

當本地服務器300的流送負載超過閾值時，專用流送服務器400而非本地服務器300發(fā)布用于購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像的流送負載，并且執(zhí)行流送。

圖8是示出根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的圖像處理裝置的虛擬相機管理單元的框圖。圖像處理裝置200包括圖像接收單元210和虛擬相機管理單元220。

(第一實施例)

圖像接收單元210接收物理相機100所捕獲的線下商店的圖像。

虛擬相機管理單元220從圖像接收單元210接收到的線下商店的圖像創(chuàng)建具有不同ROI的多個虛擬相機。

虛擬相機管理單元220包括連接管理單元221、虛擬相機創(chuàng)建單元222、購物商場頁面創(chuàng)建單元223、購物商場頁面提供單元224以及控制權(quán)限分配單元225。

連接管理單元221處理用戶終端的連接和斷開。例如，連接管理單元221可以關(guān)于從已經(jīng)請求對圖像處理裝置200的連接的用戶終端錄入的用戶ID和密碼搜索成員注冊DB(未示出)，以處理用戶終端的連接。

根據(jù)來自已經(jīng)連接到圖像處理裝置200的用戶終端的斷開請求，連接管理單元221可以處理用戶終端的斷開。在此，用戶終端可以是個人計算機(PC)或移動終端(例如智能電話)。

虛擬相機創(chuàng)建單元222創(chuàng)建待提供給連接管理單元221允許連接的用戶終端的虛擬相機。例如，虛擬相機創(chuàng)建單元222可以從接收到的線下商店的圖像創(chuàng)建具有不同ROI的多個虛擬相機。

在此，虛擬相機是稍后將詳細描述的從線下商店的圖像剪切用戶有興趣的特定ROI的圖像并且播放所剪切的圖像的軟件模塊。

購物商場頁面創(chuàng)建單元223形成虛擬相機區(qū)域包括虛擬相機創(chuàng)建單元222所創(chuàng)建的虛擬相機的購物商場頁面。在此，購物商場頁面可以還包括對管理者終端(未示出)所上傳的感興趣產(chǎn)品(POI)的圖像進行注冊的感興趣產(chǎn)品(POI)區(qū)域、處理管理者終端與用戶終端之間的視頻交談的視頻交談區(qū)域、提供線下商店信息的商店信息區(qū)域等。

購物商場頁面提供單元224向用戶終端提供由購物商場頁面創(chuàng)建單元223所創(chuàng)建的、在虛擬相機區(qū)域中包括虛擬相機的購物商場頁面。

當購物商場頁面提供給用戶終端時，購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機實時流送實際線下商店的ROI圖像。

用戶于在線觀看虛擬相機實時流送的線下商店的ROI圖像的同時感覺仿佛他或她實際上正光顧線下商店并購物。

控制權(quán)限分配單元225對用戶終端分配用于控制購物商場頁面提供單元224所提供的購物商場頁面中所包括的虛擬相機的權(quán)限。

在此，虛擬相機控制權(quán)限可以是對在虛擬相機屏幕上搖攝/傾斜或放大/縮小的授權(quán)。虛擬相機屏幕上的搖攝/傾斜或放大/縮小并非物理操作控制，而是軟件處理(例如屏幕的上、下、左或右移動或增大/減小)。

例如，當手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上觸摸并且上、下、左或右移動時，搖攝/傾斜虛擬相機屏幕的事件可以產(chǎn)生，因此移動ROI。因此，線下商店的另一區(qū)域的圖像可以得以流送并且由虛擬相機播放。

作為另一示例，當兩個手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上朝向或遠離彼此移動時，虛擬相機屏幕上的放大/縮小產(chǎn)生，并且因此，ROI可以增大或減小。

每個用戶對提供給他或她自身的用戶終端的購物商場頁面中所包括的虛擬相機執(zhí)行獨立控制，并且接收他或她有興趣的ROI的圖像。因此，對于每個用戶終端播放針對每個用戶而不同的個性化ROI圖像。

使用該實現(xiàn)方式可以通過從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

(第二實施例)

圖像接收單元210接收多個物理相機100所捕獲的線下商店的圖像。

虛擬相機管理單元220通過依次連接圖像接收單元210接收到的線下商店的圖像來形成整合式線下商店屏幕，并且從所形成的線下商店屏幕創(chuàng)建具有不同ROI的多個虛擬相機。

在此情況下，虛擬相機管理單元220可以連接線下商店的圖像，以形成線下商店屏幕，從而圖像彼此部分地重疊。當進行連接從而線下商店的圖像彼此部分地重疊時，可以防止漏掉的區(qū)域。

虛擬相機管理單元220包括連接管理單元221、虛擬相機創(chuàng)建單元222、購物商場頁面創(chuàng)建單元223、購物商場頁面提供單元224以及控制權(quán)限分配單元225。

連接管理單元221處理用戶終端的連接和斷開。例如，連接管理單元221可以關(guān)于從請求連接到圖像處理裝置200的用戶終端錄入的用戶ID和密碼搜索成員注冊DB(未示出)，以處理用戶終端的連接。

根據(jù)來自已經(jīng)連接到圖像處理裝置200的用戶終端的斷開請求，連接管理單元221可以處理用戶終端的斷開。在此，用戶終端可以是PC或移動終端(例如智能電話)。

虛擬相機創(chuàng)建單元222創(chuàng)建待提供給連接管理單元221允許連接的用戶終端的虛擬相機。例如，虛擬相機創(chuàng)建單元222可以通過依次連接接收到的線下商店的圖像來形成整合式線下商店屏幕，并且可以從所形成的線下商店屏幕創(chuàng)建具有不同ROI的多個虛擬相機。

在此，虛擬相機是稍后將詳細描述的從線下商店的圖像剪切用戶有興趣的特定ROI的圖像并且播放所剪切的圖像的軟件模塊。

購物商場頁面創(chuàng)建單元223形成：在虛擬相機區(qū)域中包括由虛擬相機創(chuàng)建單元222所創(chuàng)建的虛擬相機的購物商場頁面。在此，購物商場頁面可以還包括對管理者終端(未示出)所上傳的感興趣產(chǎn)品(POI)的圖像進行注冊的POI區(qū)域、處理管理者終端與用戶終端之間的視頻交談的視頻交談區(qū)域、提供線下商店信息的商店信息區(qū)域等。

購物商場頁面提供單元224對用戶終端提供由購物商場頁面創(chuàng)建單元223所創(chuàng)建的、在虛擬相機區(qū)域中包括虛擬相機的購物商場頁面。

當購物商場頁面提供給用戶終端時，購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機實時流送實際線下商店的ROI圖像。

用戶于在線觀看虛擬相機實時流送的線下商店的ROI圖像的同時感覺仿佛他或她實際上正光顧線下商店并購物。

控制權(quán)限分配單元225對用戶終端分配用于控制購物商場頁面提供單元224所提供的購物商場頁面中所包括的虛擬相機的權(quán)限。

在此，虛擬相機控制權(quán)限可以是對在虛擬相機屏幕上搖攝/傾斜或放大/縮小的授權(quán)。虛擬相機屏幕的搖攝/傾斜或其上的放大/縮小并非物理操作控制，而是屏幕的上、下、左或右移動或增大/減小的軟件處理。

例如，當手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上觸摸并且上、下、左或右移動時，搖攝/傾斜虛擬相機屏幕的事件可以產(chǎn)生，因此移動ROI。因此，線下商店的另一區(qū)域的圖像可以得以流送并且由虛擬相機播放。

作為另一示例，當兩個手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上朝向或遠離彼此移動時，虛擬相機屏幕上的放大/縮小可以產(chǎn)生，因此增大或減小ROI。

每個用戶對提供給他或她自身的用戶終端的購物商場頁面中所包括的虛擬相機執(zhí)行獨立控制，并且接收他或她有興趣的ROI的圖像。因此，對于每個用戶終端播放針對每個用戶而不同的個性化ROI圖像。

使用該實現(xiàn)方式可以通過從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

(第三實施例)

圖像接收單元210接收部署得彼此相鄰的多個物理相機100所捕獲的線下商店的二維(2D)圖像。

虛擬相機管理單元220使用圖像接收單元210接收到的線下商店的各2D圖像之間的立體視差來檢測3D對象，形成包括檢測到的3D對象的線下商店屏幕，并且從所形成的線下商店屏幕創(chuàng)建具有3D對象定位為ROI的區(qū)域的多個不同的虛擬相機。

在此情況下，虛擬相機管理單元220所形成的線下商店屏幕可以是通過組合安裝在四個方向上的多個物理相機100當中的安裝在一個方向上的多個物理相機100實時捕獲的圖像所形成的線下商店屏幕。

作為使用歸因于接收歸因于左眼與右眼之間的位置差異而產(chǎn)生的不同圖像的人類視覺系統(tǒng)以及從不同圖像識別三維形狀的大腦而創(chuàng)建立體效果以感受到距離感的原理的3D圖像處理技術(shù)的用于使用立體視差來檢測3D對象的立體視覺技術(shù)是在提交該專利申請之前公知的技術(shù)。因此，將省略其詳細描述。

虛擬相機管理單元220包括連接管理單元221、虛擬相機創(chuàng)建單元222、購物商場頁面創(chuàng)建單元223、購物商場頁面提供單元224以及控制權(quán)限分配單元225。

連接管理單元221處理用戶終端的連接和斷開。例如，連接管理單元221可以關(guān)于從請求連接到圖像處理裝置200的用戶終端錄入的用戶ID和密碼搜索成員注冊DB(未示出)，以處理用戶終端的連接。

根據(jù)來自已經(jīng)連接到圖像處理裝置200的用戶終端的斷開請求，連接管理單元221可以處理用戶終端的斷開。在此，用戶終端可以是PC或移動終端(例如智能電話)。

虛擬相機創(chuàng)建單元222創(chuàng)建待提供給連接管理單元221允許連接的用戶終端的虛擬相機。例如，虛擬相機創(chuàng)建單元222可以使用接收到的線下商店的各2D圖像之間的立體視差來檢測3D對象，形成包括檢測到的3D對象的線下商店屏幕，并且從所形成的線下商店屏幕創(chuàng)建具有3D對象定位為ROI的區(qū)域的多個不同的虛擬相機。

在此，虛擬相機是稍后將詳細描述的從線下商店屏幕剪切不同3D對象所位于的個性化ROI的圖像并且播放所剪切的圖像的軟件模塊。

購物商場頁面創(chuàng)建單元223形成：在虛擬相機區(qū)域中包括虛擬相機創(chuàng)建單元222所創(chuàng)建的虛擬相機的購物商場頁面。在此，購物商場頁面可以還包括對管理者終端(未示出)所上傳的感興趣產(chǎn)品(POI)的圖像進行注冊的POI區(qū)域、處理管理者終端與用戶終端之間的視頻交談的視頻交談區(qū)域、提供線下商店信息的商店信息區(qū)域等。

購物商場頁面提供單元224對用戶終端提供由購物商場頁面創(chuàng)建單元223所創(chuàng)建的、在虛擬相機區(qū)域中包括虛擬相機的購物商場頁面。

當購物商場頁面提供給用戶終端時，購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機實時流送實際線下商店的ROI圖像。在此情況下，立體視差檢測到的3D對象得以在虛擬相機區(qū)域中呈現(xiàn)并且顯示。

用戶于在線觀看位于虛擬相機實時流送的線下商店的ROI圖像中的3D對象的同時感覺仿佛他或她實際上正光顧線下商店并購物。

控制權(quán)限分配單元225對用戶終端分配用于控制購物商場頁面提供單元224所提供的購物商場頁面中所包括的虛擬相機的權(quán)限。

在此，虛擬相機控制權(quán)限可以是用于旋轉(zhuǎn)、放大/縮小或搖攝/傾斜得以呈現(xiàn)并且顯示的3D對象的授權(quán)。虛擬相機屏幕上所呈現(xiàn)并且顯示的3D對象的旋轉(zhuǎn)、其上的放大/縮小或其搖攝/傾斜并非物理操作控制，而是屏幕的旋轉(zhuǎn)、增大/減小或上、下、左或右移動的軟件處理。

例如，當手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上觸摸并且上、下、左或右移動時，旋轉(zhuǎn)3D對象的事件可以產(chǎn)生，因此在對應方向上旋轉(zhuǎn)虛擬相機屏幕上所呈現(xiàn)并且顯示的3D對象。

作為另一示例，當兩個手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上朝向或遠離彼此移動時，3D對象上的放大/縮小可以產(chǎn)生，因此增大/減小虛擬相機屏幕上所呈現(xiàn)并且顯示的3D對象。

每個用戶對提供給他或她自身的用戶終端的購物商場頁面中所包括的虛擬相機執(zhí)行獨立控制，并且接收包括他或她有興趣的3D對象的區(qū)域的圖像。因此，對于每個用戶終端播放針對每個用戶而不同的個性化ROI圖像。

使用這種實現(xiàn)方式可以通過從包括3D對象的線下商店屏幕創(chuàng)建具有使用部署得彼此相鄰并且被配置為實時捕獲商店圖像的多個物理相機所捕獲的線下商店的各2D圖像之間的立體視差檢測到的3D對象定位為ROI的區(qū)域的多個不同的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

在此，每個用戶可以執(zhí)行控制，以旋轉(zhuǎn)、放大/縮小或搖攝/傾斜通過虛擬相機所呈現(xiàn)并且顯示的3D對象，因此關(guān)于使用單個相機所流送的圖像克服僅可以受控于一個人的圖像的限制。

(第四實施例)

圖像接收單元210接收物理相機100所捕獲的線下商店的圖像。

虛擬相機管理單元220從圖像接收單元210接收到的線下商店的圖像創(chuàng)建具有不同ROI的多個虛擬相機。

虛擬相機管理單元220包括連接管理單元221、虛擬相機創(chuàng)建單元222、購物商場頁面創(chuàng)建單元223、購物商場頁面提供單元224以及控制權(quán)限分配單元225。

連接管理單元221處理用戶終端的連接和斷開。例如，連接管理單元221可以關(guān)于從請求連接到圖像處理裝置200的用戶終端錄入的用戶ID和密碼搜索成員注冊DB(未示出)，以處理用戶終端的連接。

根據(jù)來自已經(jīng)連接到圖像處理裝置200的用戶終端的斷開請求，連接管理單元221可以處理用戶終端的斷開。在此，用戶終端可以是PC或移動終端(例如智能電話)。

虛擬相機創(chuàng)建單元222創(chuàng)建待提供給連接管理單元221允許連接的用戶終端的虛擬相機。例如，虛擬相機創(chuàng)建單元222可以從接收到的線下商店的圖像創(chuàng)建具有不同ROI的多個虛擬相機。

在此，虛擬相機是稍后將詳細描述的從線下商店的圖像剪切用戶有興趣的特定ROI的圖像并且播放所剪切的圖像的軟件模塊。

購物商場頁面創(chuàng)建單元223形成：在虛擬相機區(qū)域中包括虛擬相機創(chuàng)建單元222所創(chuàng)建的虛擬相機的購物商場頁面。在此，購物商場頁面可以還包括：對管理者終端(未示出)所上傳的感興趣產(chǎn)品(POI)的圖像進行注冊的POI區(qū)域、處理管理者終端與用戶終端之間的視頻交談的視頻交談區(qū)域、提供線下商店信息的商店信息區(qū)域等。

購物商場頁面提供單元224對用戶終端提供由購物商場頁面創(chuàng)建單元223所創(chuàng)建的、在虛擬相機區(qū)域中包括虛擬相機的購物商場頁面。

當購物商場頁面提供給用戶終端時，購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機實時流送實際線下商店的ROI圖像。

用戶于在線觀看虛擬相機實時流送的線下商店的ROI圖像的同時感覺仿佛他或她實際上正光顧線下商店并購物。

控制權(quán)限分配單元225對用戶終端分配用于控制購物商場頁面提供單元224所提供的購物商場頁面中所包括的虛擬相機的權(quán)限。

在此，虛擬相機控制權(quán)限可以是對在虛擬相機屏幕上搖攝/傾斜或放大/縮小的授權(quán)。虛擬相機屏幕的搖攝/傾斜或其上的放大/縮小并非物理操作控制，而是屏幕的上、下、左或右移動或增大/減小的軟件處理。

例如，當手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上觸摸并且上、下、左或右移動時，搖攝/傾斜虛擬相機屏幕的事件可以產(chǎn)生，因此移動ROI。因此，線下商店的另一區(qū)域的圖像可以得以流送并且由虛擬相機播放。

作為另一示例，當兩個手指在已經(jīng)被分配了控制權(quán)限的用戶終端的觸摸屏幕上朝向或遠離彼此移動時，虛擬相機屏幕上的放大/縮小可以產(chǎn)生，因此增大或減小ROI。

每個用戶對提供給他或她自身的用戶終端的購物商場頁面中所包括的虛擬相機執(zhí)行獨立控制，并且接收他或她有興趣的ROI的圖像。因此，對于每個用戶終端播放針對每個用戶而不同的個性化ROI圖像。

本地服務器300向用戶終端流送圖像處理裝置200已經(jīng)提供給用戶終端的購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像。

當本地服務器300的流送負載超過閾值時，專用流送服務器400而非本地服務器300發(fā)布用于購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所重新播放的ROI圖像的流送負載，并且執(zhí)行流送。

也就是說，當圖像處理裝置200將購物商場頁面提供給用戶終端時，本地服務器300或?qū)Ｓ昧魉头掌?00實時流送購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所捕獲的實際線下商店的ROI圖像。

在此情況下，取決于本地服務器300的流送負載，虛擬相機所播放的ROI圖像由本地服務器300直接地或通過專用流送服務器400間接地得以流送。

根據(jù)本發(fā)明該實施例的使用虛擬相機的個性化購物商場系統(tǒng)可以還包括購物商場管理服務器500。購物商場管理服務器500監(jiān)控本地服務器300的流送負載，以確定本地服務器300的流送負載是否超過閾值。當確定本地服務器300的流送負載超過閾值時，購物商場管理服務器從本地服務器300收回流送控制權(quán)限，并且將流送控制權(quán)限傳送到專用流送服務器400。

例如，可以通過檢測每秒可處理的會話(SPS)、每秒可處理的分組(PPS)、每秒可處理的交易(TPS)等來執(zhí)行確定本地服務器的流送負載是否超過閾值。

當流送控制權(quán)限傳送到專用流送服務器400并且本地服務器300的流送負載也掉落到閾值之下時，購物商場管理服務器500從專用流送服務器400收回流送控制權(quán)限，并且將流送控制權(quán)限返回到本地服務器300。

通過這種實現(xiàn)方式，用戶于在線觀看虛擬相機實時流送的線下商店的ROI圖像的同時感覺仿佛他或她實際上正光顧線下商店并購物。

此外，可以通過發(fā)布用于購物頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像的流送負載并且進行流送來以高速度提供購物商場頁面。

將參照圖9描述根據(jù)第一實施例至第四實施例所創(chuàng)建的購物商場頁面。圖9是示出根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的圖像處理裝置所創(chuàng)建的購物商場頁面的示例的框圖。可見，購物商場頁面600中包括虛擬相機區(qū)域610、感興趣產(chǎn)品(POI)區(qū)域620、視頻交談區(qū)域630以及商店信息區(qū)域640。

根據(jù)本發(fā)明的附加方面，圖像處理裝置200可以還包括復用單元230以及圖像發(fā)送單元240。

復用單元230將多個虛擬相機所播放的ROI圖像轉(zhuǎn)換為源自具有相同網(wǎng)絡地址的不同端口的分組圖像信號，并且將分組圖像信號復用為單個分組圖像流。

圖像發(fā)送單元240通過單個物理層將通過復用單元230進行復用所獲得的單個分組圖像流發(fā)送到用戶終端。

例如，多個虛擬相機所輸出的ROI圖像信號可以是具有差別網(wǎng)絡地址的分組信號。在此情況下，為了執(zhí)行復用，復用單元230在使用網(wǎng)絡地址轉(zhuǎn)譯(NAT)功能將ROI圖像信號的網(wǎng)絡地址轉(zhuǎn)換為相同網(wǎng)絡地址的同時將不同的端口編號分配給多個虛擬相機所輸出的ROI圖像信號。

例如，多個虛擬相機所輸出的ROI圖像信號可以是圖像流數(shù)據(jù)。在此情況下，為了執(zhí)行復用，復用單元230可以將多個虛擬相機所輸出的ROI圖像信號轉(zhuǎn)換為具有相同網(wǎng)絡地址和不同端口編號的分組。

例如，“160,245,200,1:8091”可以分配給一個虛擬相機所輸出的ROI圖像信號的地址，“160,245,200,1:8092”可以分配給另一虛擬相機所輸出的RIO圖像信號的地址?？梢酝ㄟ^作為單個物理層PHY的圖像發(fā)送單元240輸出所復用的具有相同IP地址的圖像分組。

根據(jù)本發(fā)明附加方面，虛擬相機管理單元220可以還包括控制權(quán)限收回單元226?？刂茩?quán)限收回單元226收回被分配給連接管理單元221允許斷開的用戶終端的虛擬相機控制權(quán)限。

也就是說，在該實施例中，當控制權(quán)限分配單元225已經(jīng)分配虛擬相機控制權(quán)限的用戶終端斷開時，控制權(quán)限收回單元226收回已經(jīng)分配給用戶終端的虛擬相機控制權(quán)限。

通過該實現(xiàn)方式，本發(fā)明可以通過從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

此時，由于每個用戶可以對于虛擬相機控制搖攝/傾斜控制，因此用戶的單獨ROI可以彼此重疊，因此對于使用單個相機所流送的圖像克服僅可以受控于一個人的搖攝/傾斜的限制。

圖10是示出根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的虛擬相機的框圖。如圖10所示，購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機700包括ROI選擇單元710、ROI播放單元720以及圖像處理單元730。

對于第一實施例、第二實施例和第四實施例，ROI選擇單元710從物理相機100所捕獲的線下商店的圖像當中選擇ROI。例如，當顯示線下商店的流行產(chǎn)品的區(qū)域存儲為初始ROI位置時，ROI選擇單元710可以選擇與初始ROI位置對應的區(qū)域作為ROI。

對于第三實施例，ROI選擇單元710從線下商店屏幕選擇特定3D對象定位為ROI的區(qū)域。例如，ROI選擇單元710可以關(guān)于使用定位得彼此相鄰的多個物理相機100所捕獲的線下商店的各2D圖像之間的立體視差檢測到的3D對象通過用戶選擇來選擇特定3D對象定位為ROI的區(qū)域。

對于第一實施例、第二實施例和第四實施例，ROI播放單元720播放ROI選擇單元710所選擇的ROI的圖像。因此，用戶于在線觀看虛擬相機實時流送的線下商店的ROI圖像的同時感覺仿佛他或她實際上正光顧線下商店并購物而且享受在線購物。

對于第三實施例，ROI播放單元720呈現(xiàn)并且顯示ROI選擇單元710所選擇的ROI的3D對象。因此，用戶于在線觀看虛擬相機實時呈現(xiàn)并且顯示的ROI的3D對象的同時感覺仿佛他或她實際上正光顧線下商店并購物而且享受在線購物。

對于第一實施例、第二實施例和第四實施例，根據(jù)通過用戶終端的操控，圖像處理單元730處理ROI播放單元720所播放的ROI的圖像的搖攝/傾斜或放大/縮小。

對于第三實施例，根據(jù)通過用戶終端的操控，圖像處理單元730處理ROI播放單元720所呈現(xiàn)并且播放的3D對象的旋轉(zhuǎn)、其上的放大/縮小或其搖攝/傾斜。

當在ROI中存在重疊的多個3D對象時，ROI播放單元720可以顯示從所述多個3D對象當中選擇的特定3D對象。也就是說，當存在與待呈現(xiàn)并且顯示為前景對象或背景對象的3D興趣對象重疊的另一3D對象時，ROI播放單元720可以僅選擇待呈現(xiàn)并且顯示的3D興趣對象并且顯示所選擇的3D對象。因此，ROI選擇單元710可以選擇待呈現(xiàn)并且顯示的3D興趣對象。

對于第一實施例、第二實施例和第四實施例，憑借通過已經(jīng)被分配了虛擬相機控制權(quán)限的用戶終端操控虛擬相機屏幕的搖攝/傾斜或其上的放大/縮小來改變ROI選擇單元710所選擇的并且由ROI播放單元720播放的ROI圖像。

根據(jù)通過用戶終端操控虛擬相機屏幕的搖攝/傾斜或其上的放大/縮小，圖像處理單元730處理ROI圖像的搖攝/傾斜或其上的放大/縮小。

對于第三實施例，憑借通過已經(jīng)被分配了虛擬相機控制權(quán)限的用戶終端操控3D對象的旋轉(zhuǎn)、其上的放大/縮小或其搖攝/傾斜來改變ROI選擇單元710所選擇的并且由ROI播放單元720播放的ROI圖像。

根據(jù)通過用戶終端操控3D對象的旋轉(zhuǎn)、其上的放大/縮小或其搖攝/傾斜，圖像處理單元730執(zhí)行ROI圖像中所包括的3D對象的旋轉(zhuǎn)、其上的放大/縮小或其搖攝/傾斜。

根據(jù)本發(fā)明附加方面，虛擬相機700可以還包括仿真式搖攝/傾斜/變焦處理單元740。根據(jù)搖攝/傾斜或放大/縮小操控信號，仿真式搖攝/傾斜/變焦處理單元740對圖像處理單元730輸出虛擬相機控制命令，以通過軟件在虛擬相機區(qū)域的范圍內(nèi)在ROI播放單元720所播放的ROI圖像上進行搖攝/傾斜或放大/縮小。

當用戶通過用戶終端執(zhí)行搖攝/傾斜或放大/縮小操控時，仿真式搖攝/傾斜/變焦處理單元740對圖像處理單元730輸出虛擬相機控制命令，以響應于用戶操控而在ROI播放單元720所播放的ROI圖像上進行搖攝/傾斜或放大/縮小，并且圖像處理單元730通過軟件在虛擬相機區(qū)域的范圍內(nèi)的ROI圖像上進行搖攝/傾斜或放大/縮小，以改變ROI。

根據(jù)本發(fā)明附加方面，虛擬相機700可以還包括光學搖攝/傾斜/變焦處理單元750。當ROI播放單元720所播放的ROI圖像超出虛擬相機區(qū)域的范圍時，光學搖攝/傾斜/變焦處理單元750對物理相機100輸出物理相機驅(qū)動命令，以搖攝/傾斜物理相機100或使得物理相機100放大/縮小。

關(guān)于通過仿真式搖攝/傾斜/變焦處理單元740通過軟件控制搖攝/傾斜虛擬相機或使得虛擬相機放大/縮小存在限制。當ROI圖像超出虛擬相機區(qū)域的范圍時，通過軟件控制搖攝/傾斜虛擬相機或使得虛擬相機放大/縮小變得不可能，物理相機100于是應直接受控為通過光學搖攝/傾斜/變焦處理單元750進行搖攝/傾斜或放大/縮小。

當ROI圖像通過用戶終端通過搖攝/傾斜或放大/縮小操控超出虛擬相機區(qū)域的范圍時，光學搖攝/傾斜/變焦處理單元750對物理相機100輸出物理相機驅(qū)動命令，以搖攝/傾斜物理相機100或使得物理相機100放大/縮小，并且物理相機100可以在超出虛擬相機區(qū)域的范圍的ROI圖像上進行搖攝/傾斜或放大/縮小，以改變ROI。

根據(jù)本發(fā)明附加方面，虛擬相機700可以還包括設置信息存儲單元760和虛擬相機設置單元770。

設置信息存儲單元760存儲虛擬相機設置信息。例如，虛擬相機設置信息可以包括初始ROI位置、ROI大小、分辨率、質(zhì)量、壓縮格式以及虛擬相機區(qū)域圖案中的至少一個。

虛擬相機設置單元770從用戶接收虛擬相機設置信息，并且將虛擬相機設置信息存儲在設置信息存儲單元760中。例如，虛擬相機設置單元770可以將初始ROI位置、ROI大小、分辨率、質(zhì)量、壓縮格式和虛擬相機區(qū)域圖案中的至少一個設置為虛擬相機設置信息。

根據(jù)本發(fā)明附加方面，圖像處理單元730可以包括存儲器731、ROI提取單元732、圖像比例器733和編解碼器734。

存儲器731存儲物理相機所捕獲的商店圖像。例如，存儲器731可以是緩沖物理相機100所捕獲的商店圖像并且按幀存儲商店圖像的半導體存儲器。在此情況下，存儲器731中所存儲的商店圖像的大小可以小于或等于物理相機所捕獲的商店圖像的大小。

ROI提取單元732根據(jù)相機設置信息中所包括的ROI大小從存儲器731中所存儲的商店圖像提取ROI選擇單元710所選擇的ROI的圖像。

例如，ROI提取單元732可以實時從存儲器中所緩沖并且存儲的商店圖像幀提取具有ROI大小的ROI圖像。在此，ROI大小可以小于存儲器731中所緩沖并且存儲的商店圖像的大小。

圖像比例器733將ROI提取單元732所提取的ROI的圖像轉(zhuǎn)換為相機設置信息中所包括的分辨率。例如，當相機設置信息中所包括的分辨率為640*480時，圖像比例器733可以將ROI圖像轉(zhuǎn)換為640*480的分辨率。

編解碼器734以相機設置信息中所包括的壓縮格式來壓縮圖像比例器733所轉(zhuǎn)換的ROI圖像。例如，編解碼器734可以通過特定格式(例如運動圖像專家組(MPEG)-2)來壓縮ROI圖像，并且輸出壓縮的ROI圖像。

根據(jù)本發(fā)明附加方面，圖像處理單元730可以還包括幀率改變單元735。幀率改變單元735將ROI圖像的幀率改變?yōu)檫m合于相機設置信息中所包括的質(zhì)量。在此，相機設置信息中所包括的質(zhì)量可以設置在多個等級中(例如，設置為高、中或低)。幀率改變單元735將幀率轉(zhuǎn)換為相對高，從而ROI圖像的質(zhì)量可以設置為高。

根據(jù)本發(fā)明附加方面，圖像處理單元730可以使用視頻分析技術(shù)從ROI圖像提取背景對象和前景對象，ROI播放單元720可以播放已經(jīng)移除前景對象的僅包括背景對象的ROI圖像。

例如，通過提供用于“僅播放背景圖像”的菜單，當用戶選擇用于“僅播放背景圖像”的菜單時，圖像處理單元730可以播放已經(jīng)移除前景對象的僅包括背景對象的ROI的圖像。

在該實施例中，由于當人在商店中所顯示的產(chǎn)品與相機之間移動或停留時可能無法看見產(chǎn)品，因此僅作為背景對象的產(chǎn)品通過移除作為前景對象的人而得以展示。

根據(jù)本發(fā)明附加方面，圖像處理單元730可以從ROI圖像識別人，并且對所識別的人的面部執(zhí)行掩蔽處理。

例如，圖像處理單元730可以識別出現(xiàn)在ROI中的多個對象當中的人，并且對所識別的人的面部執(zhí)行掩蔽處理。

在該實施例中，可以通過對在線用戶提供在線下商店處購物的消費者的面部受掩蔽以使得消費者不可標識的商店圖像來保護個人信息。

將參照圖11至圖14描述如上所述根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)所執(zhí)行的購物商場頁面提供操作。

圖11是示出圖1所示的使用虛擬相機的個性化購物商場系統(tǒng)的購物商場頁面提供操作的示例的流程圖。

在步驟810中，首先，當用戶終端連接時，圖像處理裝置創(chuàng)建待提供給用戶終端的虛擬相機。

在步驟820中，圖像處理裝置形成：在虛擬相機區(qū)域中包括步驟810中所生成的虛擬相機的購物商場頁面。

在步驟830中，圖像處理裝置對用戶終端提供虛擬相機區(qū)域中包括虛擬相機的、步驟820中所形成的購物商場頁面。

在步驟840中，圖像處理裝置將用于控制步驟830中所提供的購物商場頁面中所包括的虛擬相機的權(quán)限分配給用戶終端。

在步驟850中，由待提供給用戶終端的購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機播放由安裝在線下商店中的物理相機實時捕獲的線下商店的圖像中的興趣區(qū)域(ROI)的圖像。

在步驟860中，根據(jù)已經(jīng)被分配了虛擬相機控制權(quán)限的用戶終端的虛擬相機區(qū)域中所包括的虛擬相機所播放ROI圖像的用戶的操控，執(zhí)行關(guān)于ROI圖像的搖攝/傾斜或放大/縮小操作。

通過該實現(xiàn)方式，本發(fā)明可以通過從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

圖12是示出圖2所示的使用虛擬相機的個性化購物商場系統(tǒng)的購物商場頁面提供操作的示例的流程圖。

在步驟910中，首先，當用戶終端連接時，圖像處理裝置創(chuàng)建待提供給用戶終端的虛擬相機。

在步驟920中，圖像處理裝置形成：在虛擬相機區(qū)域中包括步驟910中所生成的虛擬相機的購物商場頁面。

在步驟930中，圖像處理裝置對用戶終端提供在虛擬相機區(qū)域中包括虛擬相機的、步驟920中所形成的購物商場頁面。

在步驟940中，圖像處理裝置將用于控制步驟930中所提供的購物商場頁面中所包括的虛擬相機的權(quán)限分配給用戶終端。

在步驟950中，待提供給用戶終端的購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機播放通過依次連接安裝在線下商店中的多個物理相機實時捕獲的線下商店的圖像所形成的線下商店屏幕中的ROI的圖像。

在步驟960中，根據(jù)已經(jīng)被分配了虛擬相機控制權(quán)限的用戶終端的虛擬相機區(qū)域中所包括的虛擬相機所播放ROI圖像的用戶的操控，執(zhí)行關(guān)于ROI圖像的搖攝/傾斜或放大/縮小操作。

通過該實現(xiàn)方式，本發(fā)明可以通過從通過依次連接多個物理相機所捕獲的線下商店的圖像所形成的線下商店屏幕創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

圖13是示出提供圖5所示的使用虛擬相機的個性化購物商場系統(tǒng)的操作的購物商場頁面的示例的流程圖。

在步驟1010中，首先，當用戶終端連接時，圖像處理裝置創(chuàng)建待提供給用戶終端的虛擬相機。

在步驟1020中，圖像處理裝置形成：在虛擬相機區(qū)域中包括步驟1010中所生成的虛擬相機的購物商場頁面。

在此，購物商場頁面的虛擬相機區(qū)域可以包括選自使用部署得彼此相鄰的多個物理相機所捕獲的線下商店的各2D圖像之間的立體視差所檢測的3D對象當中的特定3D對象。

在步驟1030中，圖像處理裝置向用戶終端提供：在虛擬相機區(qū)域中包括虛擬相機的、步驟1020中所形成的購物商場頁面。在此，通過購物商場頁面中所包括的虛擬相機呈現(xiàn)并且顯示3D對象。

在步驟1040中，圖像處理裝置將用于控制通過步驟1030中所提供的購物商場頁面中所包括的虛擬相機所呈現(xiàn)并且顯示的3D對象的權(quán)限分配給用戶終端。

在步驟1050中，根據(jù)來自已經(jīng)被分配了3D對象控制權(quán)限的用戶終端的用戶操控，圖像處理裝置控制通過虛擬相機所呈現(xiàn)并且顯示的3D對象。

在此，3D對象的控制可以是虛擬相機所呈現(xiàn)并且顯示的3D對象的旋轉(zhuǎn)、其上的放大/縮小或其搖攝/傾斜。

通過這種實現(xiàn)方式，本發(fā)明可以通過從包括3D對象的線下商店屏幕創(chuàng)建具有使用部署得彼此相鄰并且被配置為實時捕獲商店圖像的多個物理相機所捕獲的線下商店的各2D圖像之間的立體視差檢測到的3D對象定位為ROI的區(qū)域的多個不同的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

圖14是示出圖7所示的使用虛擬相機的個性化購物商場系統(tǒng)的購物商場頁面提供操作的示例的流程圖。

在步驟1110中，首先，當用戶終端連接時，圖像處理裝置創(chuàng)建待提供給用戶終端的虛擬相機。

在步驟1120中，圖像處理裝置形成：在虛擬相機區(qū)域中包括步驟1110中所生成的虛擬相機的購物商場頁面。

在步驟1130中，圖像處理裝置向用戶終端提供在虛擬相機區(qū)域中包括虛擬相機的步驟1120中所形成的購物商場頁面。

在步驟1140中，圖像處理裝置將用于控制步驟1130中所提供的購物商場頁面中所包括的虛擬相機的權(quán)限分配給用戶終端。

由待提供給用戶終端的購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機播放由安裝在線下商店中的物理相機實時捕獲的線下商店的圖像中的ROI的圖像。

在步驟1150中，取決于本地服務器的流送負載，虛擬相機所播放的ROI圖像由本地服務器直接地或通過專用流送服務器間接地得以流送。

在步驟1160中，根據(jù)對已經(jīng)被分配了虛擬相機控制權(quán)限的用戶終端的虛擬相機區(qū)域中所包括的虛擬相機所播放ROI圖像進行的用戶操控，執(zhí)行關(guān)于ROI圖像的搖攝/傾斜或放大/縮小操作。

通過這種配置，本發(fā)明可以通過從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機，提供包括所創(chuàng)建的虛擬相機中的每一個的購物商場頁面，并且發(fā)布購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像的流送負載來快速地提供使得用戶感覺仿佛他或她正光顧線下商店并購物的購物商場頁面。

將參照圖15描述根據(jù)本發(fā)明實施例的使用虛擬相機的個性化購物商場系統(tǒng)的虛擬相機的ROI提取操作。圖15是示出圖10所示的虛擬相機所執(zhí)行的ROI提取過程的示例的流程圖。

在步驟1210中，首先，虛擬相機從用戶接收虛擬相機設置信息，并且存儲接收到的虛擬相機設置信息。例如，虛擬相機設置信息可以包括初始ROI位置、ROI大小、分辨率、質(zhì)量、壓縮格式以及虛擬相機區(qū)域圖案中的至少一個。

在步驟1220中，虛擬相機將虛擬相機設置信息中所包括的初始ROI位置確定為ROI，以ROI大小從接收自物理相機的商店圖像提取與ROI對應的部分，并且顯示對應部分。

在步驟1230中，當用戶執(zhí)行搖攝/傾斜或放大/縮小的操控時，虛擬相機通過軟件在虛擬相機區(qū)域的范圍中在虛擬相機所播放的ROI的圖像上進行搖攝/傾斜或放大/縮小。

在步驟1240中，當來自用戶的搖攝/傾斜或放大/縮小的操控所播放的ROI圖像超出虛擬相機區(qū)域的范圍(物理相機捕獲范圍)時，虛擬相機對物理相機輸出物理相機驅(qū)動命令，以搖攝/傾斜物理相機或使得物理相機進行放大/縮小。

如上所述，本發(fā)明可以通過從一個物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

此外，本發(fā)明可以通過從通過依次連接多個物理相機所捕獲的線下商店的圖像所形成的線下商店屏幕創(chuàng)建具有不同ROI的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

此外，本發(fā)明可以通過從包括3D對象的線下商店屏幕創(chuàng)建具有使用部署得彼此相鄰并且被配置為實時捕獲商店圖像的多個物理相機所捕獲的線下商店的各2D圖像之間的立體視差檢測到的3D對象定位為ROI的區(qū)域的多個不同的虛擬相機并且流送包括虛擬相機的購物商場頁面來使得用戶感覺仿佛他或她實際上正光顧線下商店并購物。

此外，本發(fā)明可以通過從物理相機所捕獲的線下商店的圖像創(chuàng)建具有不同ROI的虛擬相機，提供包括所創(chuàng)建的虛擬相機中的每一個的購物商場頁面，并且發(fā)布購物商場頁面的虛擬相機區(qū)域中所包括的虛擬相機所播放的ROI圖像的流送負載來快速地提供使得用戶感覺仿佛他或她正光顧線下商店并購物的購物商場頁面。

線下商店線下商店

線下商店線下商店線下商店線下商店線下商店線下商店線下商店線下商店

雖然已經(jīng)結(jié)合附圖通過優(yōu)選實施例描述了本發(fā)明，但顯然，可以在不脫離所附權(quán)利要求所限定的本發(fā)明的范圍的情況下進行各種修改。