專利名稱：Methods and systems for optimized processing in a telepresence system for ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及通信，并且更具體地涉及視頻會議。
背景技術(shù)：
以實物大小、高清晰(HD)視頻和立體聲質(zhì)量音頻為特征的遙在(Tekpresence) 系統(tǒng)向遠距離的人提供逼真的面對面交互體驗。其通過收斂的網(wǎng)絡(luò)來傳遞獨特的“親身 (in-person) ”體驗。使用先進的視覺、音頻和協(xié)作技術(shù)，這些“遙在”應(yīng)用在人們的工作和 個人生活中在人和地點之間傳遞實時的面對面交互。在某些情況中，這些產(chǎn)品使用房中房 環(huán)境以及實物大小的圖像，以及高清晰分辨率結(jié)合空間離散的音頻來創(chuàng)建圍繞單張“虛擬 的”桌子的逼真的面對面會談。當前的遙在系統(tǒng)的缺點在于不能夠提供會議室中參與者的360°視圖。在當前的 系統(tǒng)中，會議的所有參與者必須要位于面向相機的同一側(cè)。如果存在圓桌會議而參與者環(huán) 繞桌子分布，則相機僅能提供會議中所有參與者的一個視圖而不能提供360°視圖。并且，在當前的系統(tǒng)中，那些“虛擬的”會議室必須被特別布置以用于遙在功能。通 常這樣的布置使所有的本地參與者要坐成一行，相機和顯示器對著他們。這種典型布置將 房間分為兩半，并且使得其僅適用于遙在。因此，希望有本地參與者能夠環(huán)繞會議桌而坐就像他們自然應(yīng)該那樣的多點會議 系統(tǒng)。在三個方面需要新的方法1)房間、相機和顯示器布置；2)圖像捕獲和呈現(xiàn)技術(shù)，以 及3)特用于支持360°視圖的圖像和數(shù)據(jù)處理。

發(fā)明內(nèi)容
這里公開了用于遙在系統(tǒng)中的圖像處理的系統(tǒng)和方法的實施例。在一個實施例 中，這些方法可以包括接收視頻幀，基于光學特性來以與視頻幀的第二部分不同的質(zhì)量編 碼視頻幀的第一部分，以及顯示視頻幀。另外的優(yōu)點將在隨后的描述中部分闡述或者可以通過實踐習得。通過權(quán)利要求中 所具體指出的元素和組合將實現(xiàn)和獲得這些優(yōu)點。應(yīng)當理解，前述一般性描述以及后述詳 細描述都是示例并且如所宣稱的僅僅是說明性的而不是限制性的。


該說明書中所結(jié)合的并且構(gòu)成其一部分的并且不是按比例畫出的附示出了 實施例，并且與描述一起用來說明本方法和系統(tǒng)的基本原理圖1圖示出包括進行視頻會議的兩個端點的通信系統(tǒng)；圖2a和圖2b圖示出使用相機和多個視圖顯示設(shè)備來同時向本地參與者提供遠程 參與者的視角依賴視圖的端點；圖3是具有兩個端點的示出相互對話的兩個三方系統(tǒng)(triple)的多點視頻會議 系統(tǒng)(可以稱為2x3會議)的示例示4
圖4示出不同位置處的4個人之間進行的多點會議(可以稱為4x1會議)；圖5a到圖5c圖示出具有兩個端點的示出一個端點處的一組6個參與者與另一端 點處的一個參與者對話的多點視頻會議系統(tǒng)的示例；圖6圖示出示例全景鏡頭和全景圖像；圖7是視頻會議系統(tǒng)中用于圖像處理的示例流程圖；以及圖8是多點視頻會議系統(tǒng)的實施例的示圖。
具體實施例方式在公開和描述本方法和系統(tǒng)之前，應(yīng)當理解，這些方法和系統(tǒng)不限于特定的綜合 方法、特定的組件或特定的構(gòu)成，因為這些方法、組件或構(gòu)成當然可以變化。還應(yīng)當理解，這 里使用的術(shù)語目的僅在于描述具體實施例，而不希望是限制性的。在本說明書和權(quán)利要求書中，單數(shù)形式“一個”和“該”包括復(fù)數(shù)的指示物，除非上 下文清楚地另外指出。范圍在這里可以表述為從“約” 一個具體值和/或到“約”另一具體 值。當表述這樣的范圍時，另一實施例包括從一個具體值和/或到另一具體值。類似地，當 值被表述為近似值時，通過在前面使用“約”，將理解，具體值形成另一實施例。還將理解，每 個范圍的端點在與另一端點相關(guān)和獨立于另一端點方面都是重要的。這里使用的“示例性”是指“……的一個示例”，并且不是想傳達理想的或優(yōu)選的實 施例的感覺?！翱蛇x的”或“可選地”是指隨后描述的事件或環(huán)境可能出現(xiàn)或可能不出現(xiàn)，并且該 描述包括所述事件或環(huán)境出現(xiàn)的場合和其不出現(xiàn)的場合。參考以下優(yōu)選實施例的詳細描述和這里所包括的示例以及參考附圖及其前后描 述可以更容易地理解本方法和系統(tǒng)。圖1圖示出一般以10表示的通信系統(tǒng)，其包括進行視頻會議的兩個端點。如圖所 示，通信系統(tǒng)10包括連接端點14和視頻會議管理器16的網(wǎng)絡(luò)12。盡管未被示出，但是通 信系統(tǒng)10也可以包括輔助視頻會議的任意其它合適的元件。一般地，在視頻會議期間，本地端點14處的顯示器被配置為同時顯示遠程端點14 的多個視頻流。這些視頻流每一個可以包括從不同視角或角度看到的遠程端點14的圖像。 在某些場合中，本地端點處的位置可能未被占據(jù)或者相機角度未被針對被占據(jù)的位置中的 參與者來優(yōu)化。通過重新配置本地端點處的相機，可以防止空閑位置的圖像并提高參與者 的注視，這可以產(chǎn)生更真實的視頻會議體驗。網(wǎng)絡(luò)12互連通信系統(tǒng)10的元件并且輔助通信系統(tǒng)10中的端點14之間的視頻會 議。盡管未被示出，但是網(wǎng)絡(luò)12可以包括用于輔助通信系統(tǒng)10中的端點14、視頻會議管 理器16和其它元件之間的通信的任意合適的設(shè)備。網(wǎng)絡(luò)12表示包括用于將耦接到網(wǎng)絡(luò) 12或在網(wǎng)絡(luò)12內(nèi)的元件進行互連的硬件和任意合適的控制邏輯的通信裝備。網(wǎng)絡(luò)12可 以包括局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)、任意其它公共或?qū)Ｓ镁W(wǎng)絡(luò)、局部、地區(qū)或 全球通信網(wǎng)絡(luò)、企業(yè)內(nèi)聯(lián)網(wǎng)、其它合適的有線或無線通信鏈路、或任意合適的網(wǎng)絡(luò)的任意組 合。網(wǎng)絡(luò)12可以包括網(wǎng)關(guān)、路由器、集線器、交換器、接入點、基站和執(zhí)行合適的協(xié)議和通信 的任意其它硬件或軟件的任意組合。端點14(或僅僅“點”)表示支持參與視頻會議的電信裝備。通信系統(tǒng)10的用戶
5可以采用端點14中的一個端點來參與與端點14中的另一個端點或通信系統(tǒng)10中的另一 設(shè)備的視頻會議。在具體實施例中，端點14被部署在地理上相距遙遠的位置的會議室中。 端點14可以在視頻會議期間被用來向參與者提供無縫視頻會議體驗，其目的是與面對面 的會議近似。每個端點14可以被設(shè)計為發(fā)送和接收任意合適數(shù)目的音頻和/或視頻流，這 些音頻和/或視頻流傳遞在那個端點14處的參與者的聲音和/或圖像。通信系統(tǒng)10中的 端點14可以生成任意合適數(shù)目的音頻、視頻和/或數(shù)據(jù)流以及從參與視頻會議的其它端點 14接收任意合適數(shù)目的流。此外，端點14可以包括用于使用任意合適的協(xié)議技術(shù)或方法 來建立和輔助視頻會議的任意合適的組件和設(shè)備。例如，可以使用會話發(fā)起協(xié)議(SIP)或 H. 323。另外，端點14可以支持其它視頻系統(tǒng)和純音頻電話設(shè)備，并且不能結(jié)合支持諸如 H. 261、H. 263和/或H. 264之類的其它標準的其它視頻系統(tǒng)操作。如圖所示，端點14包括 控制器18、存儲器20、網(wǎng)絡(luò)接口 22、麥克風24、揚聲器26、相機28和顯示器30。并且，盡管 未被示出，但是端點14可以包括任意其它合適的視頻會議裝備，例如，揚聲器電話、用于發(fā) 送數(shù)據(jù)的掃描儀和用于觀看所發(fā)送的數(shù)據(jù)的顯示器?？刂破?8控制端點14的操作和管理?？刂破?8可以處理從諸如網(wǎng)絡(luò)接口 22、 麥克風24、揚聲器26、相機28和顯示器30之類的其它元件接收到的信息和信號?？刂破?18可以包括任意合適的硬件、軟件和/或邏輯。例如，控制器18可以是可編程邏輯設(shè)備、 微控制器、微處理器、處理器、任意合適的處理設(shè)備或前述設(shè)備的任意組合。存儲器20可以 存儲在提供視頻會議功能中由控制器18使用的任意數(shù)據(jù)或邏輯。在某些實施例中，存儲器 20可以存儲由其相對應(yīng)的端點14內(nèi)的元件所接收到的數(shù)據(jù)以及從遠程端點14接收到的 數(shù)據(jù)中的全部、某些，或不存儲這些數(shù)據(jù)。存儲器20可以包括任意形式的易失性或非易失 性存儲器，包括但不限于磁介質(zhì)、光介質(zhì)、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可移 除介質(zhì)或任意其它合適的本地或遠程存儲器組件。網(wǎng)絡(luò)接口 22可以將信息和信號傳送至 網(wǎng)絡(luò)12以及從網(wǎng)絡(luò)12接收信息和信號。網(wǎng)絡(luò)接口 22表示任意端口或連接(真實的或虛 擬的)，包括使得端點14可以與網(wǎng)絡(luò)12、其它端點14、視頻會議管理器16、和/或通信系統(tǒng) 10中的任意其它設(shè)備交換信息和信號的任意合適的硬件和/或軟件。麥克風24和揚聲器26在視頻會議期間生成和發(fā)射音頻流。麥克風24被用于參 與視頻會議的用戶的音頻輸入。麥克風24可以從接收到的聲波生成音頻流。揚聲器26可 以包括用于輔助接收(一個或多個)音頻流并發(fā)射所接收到的(一個或多個)音頻流使得 他們可以被本地參與者聽到的任意合適的硬件和/或軟件。例如，揚聲器26可以包括高保 真揚聲器。端點14可以包含任意合適數(shù)目的麥克風24和揚聲器26，并它們每一個可以與 任意合適數(shù)目的參與者相關(guān)聯(lián)。相機28和顯示器30在視頻會議期間生成和發(fā)射視頻流。相機28可以包括用于 輔助捕獲一個或多個本地參與者和周圍區(qū)域的圖像以及將圖像發(fā)送給遠程參與者的任意 合適的硬件和/或軟件。每個視頻信號可以作為單獨的視頻流來發(fā)送(例如，每個相機28 發(fā)送其自己的視頻流)。在具體實施例中，相機28捕獲并發(fā)送一個或多個用戶30的圖像作 為高清晰視頻信號。顯示器30可以包括用于輔助接收(一個或多個)視頻流并且將接收 到的視頻流顯示給參與者的任意合適的硬件和/或軟件。例如，顯示器30可以包括筆記本 PC、壁掛式監(jiān)視器、落地式安裝的監(jiān)視器或獨立式監(jiān)視器。在具體實施例中，顯示器30中的 一個或多個是等離子顯示設(shè)備或液晶顯示設(shè)備。端點14可以包含任意合適數(shù)目的相機28和顯示器30，并且它們每一個可以與任意合適數(shù)目的本地參與者相關(guān)聯(lián)。盡管每個端點14被描述為包含具體配置和布置的模塊的單個元件，但是應(yīng)當注 意，這是一種邏輯描述，并且構(gòu)成組件以及它們的功能可以以任意合適數(shù)目、類型和配置的 設(shè)備來執(zhí)行。在所圖示出的實施例中，通信系統(tǒng)10包括兩個端點14a、14b，但是應(yīng)當理解， 通信系統(tǒng)10可以包括任意數(shù)目的端點14。視頻會議管理器16 —般地協(xié)調(diào)端點14之間的視頻會議的開始、維持和結(jié)束。視 頻會議管理器16可以獲得有關(guān)已排出日程的視頻會議的信息，并且可以為這些會議中的 每一個預(yù)定(reserve)網(wǎng)絡(luò)12中的設(shè)備。除了在開始視頻會議之前預(yù)定設(shè)備或資源以外， 視頻會議管理器可以監(jiān)控視頻會議的進展并且可以在適當時修改預(yù)定。并且，視頻會議管 理器16可以負責在視頻會議結(jié)束之后釋放資源。盡管視頻會議管理器16被圖示和描述為 連接到網(wǎng)絡(luò)12的單個設(shè)備，但是應(yīng)當理解，其功能可以用位于通信系統(tǒng)10中的一個或多個 位置處的任意合適數(shù)目的設(shè)備來實現(xiàn)。在示例操作中，端點14a、14b中的一個端點發(fā)起與端點14a、14b中的另一個端點 的視頻會議。發(fā)起端點14可以向視頻會議管理器16發(fā)送消息，該消息包括指定端點14參 與所希望的視頻會議的時間以及該會議的估計持續(xù)時間的細節(jié)。然后，視頻會議管理器16 可以預(yù)定網(wǎng)絡(luò)12中的資源并且可以輔助在端點14a與端點14b之間開始視頻會議所需要 的信令傳送。在視頻會議期間，端點14a、14b可以交換一個或多個音頻流、一個或多個視頻 流以及一個或多個數(shù)據(jù)流。在具體實施例中，端點14a可以發(fā)送和接收與端點14b相同數(shù) 目的視頻流。在某些實施例中，端點14a、14b中的每一個發(fā)送和接收相同數(shù)目的音頻流和 視頻流。在某些實施例中，端點14a、14b發(fā)送和接收比音頻流更多的視頻流。在視頻會議期間，每個端點14a、14b可以生成和發(fā)送向另一端點14a、14b提供不 同的視角依賴視圖的多個視頻流。例如，端點14a可以生成三個視頻流，每一個視頻流提供 在端點14a處的參與者的視角依賴視圖。這些可以從三個不同角度(例如，左、中和右)來 示出端點14a處的參與者。在接收到這些視頻流之后，端點14b可以同時在顯示器上顯示這 3個視頻流，使得處于顯示器左邊的參與者觀看這些視頻流中的一個，而處于顯示器正前方 的參與者觀看這些視頻流中的另一個。同樣，處于顯示器右方的參與者可以觀看視頻流中 的第三個視頻流。因此，端點14b可以向本地參與者顯示遠程參與者的不同視角依賴視圖。 通過向不同的參與者提供不同的圖像，本地參與者能夠在看著遠程參與者的二維圖像的同 時，更容易地理解某些非語言的線索(例如，眼睛注視，指向(point))的含義。當參與者確定視頻會議應(yīng)當結(jié)束時，端點14a或端點14b可以向視頻會議管理器 16發(fā)送消息，然后視頻會議管理器16可以取消對網(wǎng)絡(luò)12中的已預(yù)定資源的預(yù)定并且輔助 用于結(jié)束視頻會議的信令傳送。盡管該視頻會議被描述為在兩個端點——端點14a和端點 14b之間發(fā)生——但是應(yīng)當理解，視頻會議中可以涉及任意合適位置處的任意合適數(shù)目的 端點14。已經(jīng)描述了有兩個端點進行視頻會議的通信系統(tǒng)的示例。該示例被提供用于說明 具體實施例并且不希望是全包式的。盡管系統(tǒng)10被描述為包含元件的某一配置和布置，但 是應(yīng)當注意，這僅僅是一種邏輯描述，并且系統(tǒng)10的組件和功能在適當時既可以在物理上 又可以在邏輯上被組合、被分離和被分布。并且，系統(tǒng)10的功能可以通過任意合適的組件 集合和布置來提供。
7
圖2a和圖2b圖示出一般以50和70示出的端點，它們使用相機和多個視圖顯示 設(shè)備來同時向本地參與者提供遠程參與者的視角依賴視圖。貫穿本公開使用的“本地”和 “遠程”被用作這樣的關(guān)系術(shù)語，其用于從“本地”端點的立場來識別參與視頻會議的多個不 同端點之間的交互以及該多個不同端點內(nèi)的操作和功能。因此，術(shù)語“本地”和“遠程”可 以在視角是另一端點的視角時被切換。圖2a圖示出可以在端點50處提供的設(shè)立的示例。在具體實施例中，端點50是端 點14中的一個端點。如圖所示，端點50包括桌子52、3個參與者54、3個顯示器56和3個 相機機群58。盡管未被圖示，但是端點50還可以包括任意合適數(shù)目的麥克風、揚聲器、數(shù)據(jù) 輸入設(shè)備、數(shù)據(jù)輸出設(shè)備和/或在視頻會議期間或結(jié)合視頻會議所要使用的任意其它合適 的裝備。如圖所示，參與者54a、54b、54c位于桌子52的一側(cè)。在桌子52的另一側(cè)放置3 個顯示器56d、56e、56f，并且相機機群58d、58e、58f中的一個位于各顯示器56d、56e、56f 上方。在所圖示出的實施例中，每個相機機群58包含3個相機，一個相機指向本地參與者 54a、54b、54c中的每一個的方向。盡管端點50被示出具有該具體配置，但是應(yīng)當理解，可以 在端點50處采用任意合適的配置以輔助端點50處的參與者與遠程端點14處的參與者之 間的所希望的視頻會議。作為一個示例，相機機群58可被安置于顯示器56的下方或后方。 另外，端點50可以包括任意合適數(shù)目的參與者54、顯示器56和相機機群58。在所圖示出的實施例中，每個顯示器56d、56e、56f示出遠程參與者54d、54e、54f 之一的圖像。顯示器56d示出遠程參與者54d的圖像；顯示器56e示出遠程參與者54e的 圖像；并且顯示器56f示出遠程參與者54f的圖像。這些遠程參與者可以通過遠程端點70 來參與視頻會議，如以下參考圖2b所示。使用傳統(tǒng)的方法，每個本地參與者54a、54b、54c將 看到每個遠程參與者54的相同圖像。例如，當3個不同的個人看著傳統(tǒng)的電視屏幕或計算 機監(jiān)視器時，每個個人和其它兩個個人看到相同的二維圖像。然而，當多個個人看著相同圖 像時，它們可能不能區(qū)分由圖像提供的視角依賴的非語言線索。例如，遠程參與者54可能 指著這3個本地參與者54a、54b、54c中的一個來表明其對著誰發(fā)言。如果這3個本地參與 者54a、54b、54c觀看遠程參與者54的相同二維圖像，則其可能很難確定本地參與者54中 的哪一個已經(jīng)被遠程參與者54選定，因為本地參與者54不容易理解由遠程參與者54提供 的非語言線索。然而，顯示器56被配置為向本地參與者54提供多個視角依賴視圖。作為一個示 例，考慮示出遠程參與者54e的圖像的顯示器56e。在圖示出的實施例中，顯示器56e同時 顯示遠程參與者54e的三個不同視角依賴視圖。本地參與者54a看著視圖A ；本地參與者 54b看著視圖B ；而參與者54c看著視圖C。視圖A、B和C全都示出遠程參與者54e的不同 視角依賴視圖。視圖A可以從遠程參與者54e的左面示出遠程參與者54e的圖像。同樣， 視圖B和C可以分別從遠程參與者54e的中心和右面來示出遠程參與者54e的圖像。在具 體實施例中，視圖A示出將被置于呈獻給遠程參與者54e的本地參與者54a的圖像附近的 相機看到的遠程參與者54e的圖像。相應(yīng)地，當遠程參與者54e看著所顯示的本地參與者 54a的圖像時，其(對于本地參與者54a)看起來就像是遠程參與者54e正直視本地參與者 54a。同時，并且通過相類似的技術(shù)，視圖B和C(分布被顯示給參與者54b和54c)可以看 到表明遠程參與者54e正看著本地參與者54a的遠程參與者54e的圖像。
8
相機機群58生成傳遞本地參與者54a、54b、54c的圖像的視頻流以用于發(fā)送給遠 程參與者54d、54e、54f。這些視頻流可以以與以下圖2b中關(guān)于遠程端點70所描述的方式 基本類似的方式來生成。此外，這些視頻流可以由遠程顯示器56a、56b、56c以與之前針對 本地顯示器56d，56e, 56f所描述的方式基本類似的方式來顯示。圖2b圖示出可以在上述遠程端點(一般以70示出)處提供的設(shè)立的示例。在具 體實施例中，端點70是通信系統(tǒng)10中端點14a、14b中的一個。如圖所示，端點70包括桌 子72，參與者54d、54e和54f，顯示器56a、56b、56c，以及相機機群58。在所圖示出的實施例中，端點70本地處的3個參與者54d，54e，54f坐在桌子72 的一側(cè)，而3個顯示器56a、56b和56c置于桌子72的另一側(cè)。每個顯示器56a、56b和56c 示出遠離端點70的相對應(yīng)的遠程參與者54的圖像。這些顯示器56a、56b和56c可以與端 點50處的顯示器56d，56e，56f基本相似。這些被顯示的參與者可以是以上被描述為通過 端點50參與視頻會議的參與者54a，54b，54c。每個顯示器56上方被安置相對應(yīng)的相機機 群58。盡管端點70被示出具有該具體配置，但是應(yīng)當理解，在端點70處可以采用任意合 適的配置來輔助端點70與遠程端點14(在所圖示出的實施例中，其為端點50)的參與者之 間的所希望的視頻會議。作為一個示例，相機機群58可被安置于顯示器56的下方或后方。 另外，端點70可以包括任意合適數(shù)目的參與者54、顯示器56和相機機群58。如圖所示，每個相機機群58a，58b，58c包括3個相機，每一個相機都能夠生成視頻 流。相應(yīng)地，利用所圖示出的配置，端點70包括9個相機。在具體實施例中，可以使用更少 的相機并且使用數(shù)學建模來合成某些視頻流或視頻流中的某些部分。在其它實施例中，可 以使用更多的相機來創(chuàng)建參與者54的多個三維圖像。在某些實施例中，相機機群58中的 相機是相機28。在某些場合中，可以使用單個相機。在某些場合中，單個相機是可移動的并 且可以被遠程控制。在每個相機機群58中，一個相機被安置來捕獲本地參與者54d，54e, 54f之一的圖 像。相應(yīng)地，每個本地參與者54d，54e，54f具有3個相機，每個相機機群58中有一個指向 他或她的相機。例如，可以用如用加陰影的相機所示的相機機群58a中中間的相機、相機機 群58b中中間的相機和相機機群58c中中間的相機來生成包含參與者54e的圖像的3個不 同視頻流。與本地參與者54e相對應(yīng)的這3個相機將各自從不同角度生成參與者54e的圖 像。同樣，3個視頻流可以被創(chuàng)建來包括參與者54d的不同視角，并且3個視頻流可以被創(chuàng) 建來包括參與者54f的不同視角。然而，可能希望僅有來自一個相機的視頻流(例如，在對 參與者54e成像時，關(guān)斷相機機群58d和58e)，而不要來自端點處未被占據(jù)的圖像位置的視 頻流，或希望優(yōu)化這些相機中任意相機的方向和角度來使得能夠更容易地理解非語言線索 (例如，眼睛注視和指向)。端點50、70的具體實施例以及它們的構(gòu)成元件已經(jīng)被描述并且不希望是全包式 的。盡管這些端點50、70被描述為包含元件、組件和設(shè)備等等的某種配置和布置，但是應(yīng)當 注意，這僅僅是一個示例，并且每個端點50、70的組件和功能在適當時既可以在邏輯上又 可以在物理上被組合、被分離和被分布。在具體實施例中，端點50和端點70可以具有基本 類似的配置并且包括基本類似的功能。在其它實施例中，端點50、70中的每一個可以包括 任意合適的配置，它們可以與參與視頻會議的另一端點的配置相同、不同或類似。此外，盡 管端點50和70被描述為每一個包括3個參與者54、3個顯示器56和3個相機機群58，但
9是端點50和70可以包括任意合適數(shù)目的參與者54、顯示器56和相機或相機機群58。另 外，參與者54、顯示器56和/或相機機群58的數(shù)目可以與端點50、70的其它描述出的方面 中一個或多個的數(shù)目不同。任意合適數(shù)目的視頻流可以被生成來在視頻會議期間傳遞參與 者54的圖像。如參考圖2a和圖2b所示，在具有多把椅子(S卩，多個位置)的視頻會議室中，可 通過使用指向椅子的多個視頻相機來檢測人的存在?；谠跁h的每個端點中的每個會議 室中的人數(shù)，視頻會議系統(tǒng)的實施例可以通過從從不同角度指向參與者的多個相機中進行 選擇來配置會議幾何布置(conference geometry)。這可以產(chǎn)生會議成員之間更自然的眼 睛注視。在一個實施例中，人的存在(即，存在檢測)可以使用面部檢測算法和技術(shù)來完 成。對來自覆蓋室內(nèi)所有可能的就坐位置的相機的視頻信號執(zhí)行面部檢測。在一個實施例 中，可以對作為視頻會議系統(tǒng)中所捕獲的HD分辨率畫面(picture)的視頻編碼器輸入執(zhí)行 面部檢測。視頻編碼器可以由一個或多個處理器組成，每個處理器處理和編碼畫面的一行 宏塊。對于每個16 χ 16宏塊(MB)，這一個或多個處理器在編碼這個塊之前執(zhí)行預(yù)處理， 例如，顏色空間轉(zhuǎn)換、邊緣檢測、邊緣抽薄、顏色分割以及特征總結(jié)。最后，這一個或多個處 理器可以將兩個結(jié)果轉(zhuǎn)送給基處理器(base processor) :MB中原來的邊緣特征的總數(shù)和 MB中經(jīng)抽薄并經(jīng)顏色分割后的邊緣特征的總數(shù)?；幚砥魇占蠱B的結(jié)果，并且執(zhí)行對 面部區(qū)域的快速檢測，同時，這一個或多個處理器可以繼續(xù)進行一般的視頻編碼任務(wù)，包括 運動估計、運動補償和塊變換。利用來自基處理器的反饋，這一個或多個處理器之后按照用 于指派諸如量化步長大小之類的編碼參數(shù)的預(yù)先定義的方案、基于面部檢測結(jié)果來編碼MB 的變換系數(shù)。粗面部檢測通過跟蹤和磁滯被精煉來產(chǎn)生有關(guān)室內(nèi)有多少人以及他們在哪個椅 子(即，位置)上的高置信數(shù)據(jù)。在根據(jù)本發(fā)明的實施例中，也可以采用其它存在檢測方法，例如，運動檢測、椅子 感測器或需要外部基礎(chǔ)設(shè)施和個人留置(personal encumbrance)的利用RFID或ID徽章 的存在監(jiān)控。圖1的視頻會議端點14可以以不同方式配置。例如，在一個實施例中，視頻會議 端點由多個大的視頻顯示器組成，這些顯示器可以首尾相連地安裝在房間的一側(cè)上，外面 的兩個略微向里傾斜(參見圖2a和圖2b)。名義上，三視頻顯示系統(tǒng)(“三方系統(tǒng)”)被配 置為使得6個人可以參與，其中相機相對應(yīng)地成對指向。其它配置可以僅具有一個視頻顯不器。在多點會議中，存在單人與三人對話的各種組合。例如，圖3是這樣的多點視頻會 議系統(tǒng)的示例圖示，該系統(tǒng)具有兩個端點300和302，示出了兩個三方系統(tǒng)彼此對話，這可 以稱為2x3會議。各個端點300、302處的各個視頻顯示器304、306顯示來自另一端點的相 應(yīng)相機308、310的視頻。為了保持單個房間被玻璃板劃分這樣的幻象，相機308、310被置于每個房間的中 心視頻顯示器304b、306b的上方，來使得可以保持房間的幾何布置。多個相機308、310充 當一個廣角相機。每個參與者由一個并且僅一個相機根據(jù)參與者所占據(jù)的位置來攝取。圖4示出不同位置的4個人之間發(fā)生的多點會議，其可以稱為4x1會議。該情況有時利用每個屏幕上的位置標簽(例如，巴黎、倫敦、紐約和東京(P，L，T，NY))來描述。巴 黎的參與者將看見倫敦、紐約、東京；倫敦的參與者將看見巴黎、紐約和東京；等等。為了創(chuàng) 建和維持這4個人坐在一個大圓桌上的幻象，則，如果巴黎能夠在其左方看見倫敦，則倫敦 應(yīng)當能在其右方看見巴黎；相機應(yīng)當位于這3個屏幕的每一個的上方，所有的相機都指向 桌上單獨的個人；來自左方的相機的信號可以被發(fā)送給在左方的屏幕上示出的端點，等等。 即，在除了巴黎以外的3個端點中任一個的巴黎屏幕上方的相機是將當前端點(倫敦、紐約 或東京)的視頻信號提供給巴黎端點的相機。圖5a、圖5b和圖5c提供具有兩個端點500和501的多點視頻會議系統(tǒng)的示例圖 示。端點500可以包括多個本地參與者，在該情況中，為6個。屏幕502可以用來顯示一個 或多個遠程參與者。例如，屏幕502可以用來顯示來自端點501的遠程參與者。相機503 可以包括用于輔助捕獲本地參與者和周圍區(qū)域的圖像以及將圖像發(fā)送給遠程參與者的任 意合適的硬件和/或軟件。在一個實施例中，相機503可以是捕獲360°視圖的單個廣角鏡 頭，各自捕獲180°視圖的兩個相機，捕獲大于180°的視圖的一個或多個相機，或者捕獲 360°饋送的任意配置，將視圖發(fā)送給處理視圖的應(yīng)用，并且在屏幕504上向端點501處的 遠程參與者提供全景視圖。端點501處的相機505可以包括用于輔助捕獲端點501處的遠程參與者和周圍區(qū) 域的圖像以及將圖像發(fā)送給端點500處的本地參與者的任意合適的硬件和/或軟件。端點 501處的屏幕可以用來提供來自端點500的本地參與者的全景視圖。如圖6中所示，使用全景鏡頭601引起捕獲的視頻幀602的失真。所有周圍環(huán)境 的圖像在兩個反射面上被反射兩次，一次在鏡頭的較低部分，另一次在鏡頭的頂部，圖像在 CXD 607上形成為圓環(huán)形狀606。線603對應(yīng)于視頻幀602的最頂上的部分，而線604對應(yīng) 于視頻幀602最底下的部分。在所示出的實施例中，在鏡頭平面以上約70°以及在該平面 以下約17°的范圍內(nèi)將被成像的環(huán)繞鏡頭的所有事物將被成像。通常，所產(chǎn)生的直線幀中的上部(在圓環(huán)形狀606和視頻幀602中用對角線指示) 導(dǎo)致較差的圖像分辨率，因為鏡頭已經(jīng)將全景場景的較寬視圖“擠壓”成幀的上部。根據(jù)鏡 頭方位是向上還是向下，失真要么在幀的上部要么在幀的下部。這些方法在這里被描述為 施加于視頻幀602的上部，從而上部比下部失真得更厲害。然而，可以特別地構(gòu)想到，這些 方法可以被施加于失真更厲害的區(qū)域，而不論其在幀中的相對位置如何。在一個實施例中，提供用于遙在環(huán)境中的全景圖像處理的方法。所公開的方法可 以利用自適應(yīng)的和可變的壓縮技術(shù)以及投影布置(projection placement)技術(shù)。這些方 法在與遙在的現(xiàn)有音頻、視頻和連網(wǎng)性能相結(jié)合時，創(chuàng)建真正的“親身(in-person) ”解決方 案并且克服了當前的遙在提供物的缺點。在一個實施例中，提供了將較高質(zhì)量的編碼(較少壓縮)應(yīng)用于幀中已經(jīng)被全景 鏡頭高度擠壓的部分這樣的可變的自適應(yīng)壓縮方法。該自適應(yīng)壓縮可以是逐行的或逐扇區(qū) 的。該自適應(yīng)壓縮還可以通過對幀中被擠壓得更厲害的對應(yīng)區(qū)域應(yīng)用更高的幀率來逐幀進 行。所提供的系統(tǒng)可以根據(jù)以下標準來執(zhí)行圖像編碼，這些標準是由國際標準化組 織IS0(國際標準化組織)/IEC(國際電工技術(shù)委員會)標準化的MPEG(運動圖像專家組) 系列標準(MPEG-1、MPEG-2和MPEG-4)，由關(guān)于電子通信的國際標準化組織ITU_T(國際電
11信聯(lián)盟電信標準化部)標準化的H. 26x系列標準(H. 261、H. 262、H. 263)，或者作為由這兩 個標準化組織聯(lián)合來標準化的運動圖像壓縮編碼標準的H. 264/AVC標準。利用MPEG系列標準，在以幀內(nèi)編碼模式編碼圖像幀的情況中，所要編碼的圖像幀 稱為“1(幀內(nèi))幀”。在以前一幀作為參考圖像來編碼圖像幀的情況中，即，在前向幀間預(yù) 測編碼模式中，所要編碼的圖像幀被稱為“P(預(yù)測)幀”。在利用前一幀和即將來臨的幀作 為參考圖像來編碼圖像幀的情況中，即，在雙向幀間預(yù)測編碼模式中，所要編碼的圖像幀稱 為“B幀”。在現(xiàn)代的基于塊的變換壓縮技術(shù)中，圖像數(shù)據(jù)可以被系統(tǒng)性地劃分成被獨立變 換、量化和編碼的片段或塊。示例性視頻比特流可以由像素的塊、宏塊(MB)、畫面、畫面組 (GOP)和視頻序列組成。在一個方面中，最小的元素，塊，可以由8行χ 8個像素每行或4行 χ 4個像素每行組成(H. 264)。如在本領(lǐng)域中已知的，H. 264由16x16 (宏塊)、16x8、8xl6、 8x8,8x4,4x8和4x4的塊組成，而MPEG4Part 2由16x16和8x8的塊組成，可以使用任意這 樣的塊。塊根據(jù)預(yù)先定義的配置文件(profile)被分組到宏塊(MB)中。所提供的系統(tǒng)可 以接收輸入信號，例如以幀為單位的運動圖像，執(zhí)行運動圖像的編碼以及輸出編碼后的流。 輸入信號例如可以是圖像的360°饋送。如果需要，可以針對P幀或B幀的每個宏塊或每 個字宏塊來執(zhí)行運動補償。離散余弦變換(DCT)處理可以被用來將圖像信息變換到頻域 中，產(chǎn)生DCT系數(shù)。這樣獲得的DCT系數(shù)之后可以被量化。DCT系數(shù)可以被加權(quán)或被截短 (truncate)，提供第一顯著壓縮。然后，這些系數(shù)可以沿預(yù)定路徑被掃描(例如，之字形掃 描)來增大重要系數(shù)在掃描中盡早出現(xiàn)的概率?？梢允褂帽绢I(lǐng)域中已知的其它預(yù)定掃描路 徑。在最后的非零系數(shù)之后，可以生成EOB(塊結(jié)束)代碼。用來確定編碼后的塊中的量化系數(shù)的精細度和粗糙度的量化參數(shù)(QP)可以在直 線幀的上部處被指派較低的值。這可以為幀的上部提供較高質(zhì)量的編碼。在一個實施例中， 從直線幀的上部向直線幀的下部可以逐漸增大量化參數(shù)。例如，在一個實施例中，令直線幀用k線表示，第一根/最頂上的線和最后一根/ 最底下的線處的像素分辨率分別用η和(n+m)表示。于是，直線幀中第i根線的像素分辨 率可以用n+(i-l)m/(k-l)表示，i = l，2，3，...，k。第i根線或與第i根線相鄰的線的群 組的自適應(yīng)量化參數(shù)可以使用函數(shù)或查找表來定義。QP與分辨率之間的函數(shù)關(guān)系可以經(jīng)驗 地確定。作為一個示例，假定QP與分辨率的均方根直接成比例，則被用來編碼直線幀的QP 可以通過對{[n+(i-l)m/(k-l)]/n}QP的均方根的值進行舍入來表示。在基于塊的變換壓 縮中，線的群組內(nèi)的QP還可以被調(diào)節(jié)來確保相同的QP值被用于的每個宏塊。作為另一示例，可以針對每根線或每個線的群組來測量相鄰像素的相關(guān)系數(shù)，并 且關(guān)于相關(guān)系數(shù)調(diào)節(jié)QP。相關(guān)系數(shù)越高，QP越大。QP與相關(guān)系數(shù)之間的關(guān)系可以經(jīng)驗地 確定。在運動補償后的變換編碼中，當前幀中的塊(或塊的群組)與過去的和/或?qū)?的幀中的塊(或塊的群組)相比較來確定塊(或塊的群組)的接近度。該比較可以通過求 取當前塊(或塊的群組)中的像素與過去的和/或?qū)淼膲K中的像素之間的差、對絕對值 的這些差求和以及將所求和的絕對差與預(yù)定閾值相比較來執(zhí)行。閾值越小或越緊密，則塊 被越準確地分類，從而塊編碼的質(zhì)量越好。在另一實施例中，用來確定預(yù)測的塊類型或宏塊類型的閾值可以在直線幀的上部被縮緊來將更多的宏塊從未經(jīng)運動補償?shù)膲K推為經(jīng)運動補償?shù)膲K，從未經(jīng)編碼的塊推為經(jīng) 編碼的塊，以及從幀間塊推為幀內(nèi)塊。這可以在以較高的比特率(較少的壓縮)為代價的 情況下來為幀的上部提供較高質(zhì)量的編碼。從直線幀的上部到直線幀的下部可以逐漸放松 閾值。如在圖7的示例流程圖中所示，提供用于圖像處理的方法，包括在701，接收視頻 幀，在702，基于光學特性以與視頻幀的第二部分不同的質(zhì)量來編碼視頻幀的第一部分，以 及在703，顯示視頻幀。視頻幀可以從全景視頻相機、提供360°饋送的多個相機或提供大于180°饋送 的多個相機接收?；诠鈱W特性以與視頻幀的第二部分不同的質(zhì)量來編碼視頻幀的第一部分可以 包括變換視頻幀的第一和第二部分，產(chǎn)生第一和第二多個系數(shù)，基于第一多個量化參數(shù)來 量化第一多個系數(shù)，以及基于第二多個量化參數(shù)來量化第二多個系數(shù)。這些方法還可以包括基于光學特性來確定第一多個量化參數(shù)。光學特性可以是全 景視頻相機的光學特性。光學特性可以是全景視頻相機的光學失真特性。光學失真特性可 以預(yù)先確定。光學失真特性可以通過測量已知的視頻幀的失真來預(yù)先確定。光學失真特性 可以通過以下至少一者來預(yù)先確定測量不同相機焦距時的已知視頻幀的失真，通過確定 線或線的群組的像素分辨率來測量已知視頻幀的失真，或通過確定相鄰像素之間的相關(guān)系 數(shù)來測量已知視頻幀的失真。已知視頻幀的失真可以是線或線的群組的像素分辨率和/或 相鄰像素之間的相關(guān)系數(shù)。光學失真特性可以通過測量不同相機焦距時的已知視頻幀的失 真來確定。線或線的群組之間的分辨率的差以及線或線的群組內(nèi)的像素相關(guān)性的差都是通 過將全景畫面扭曲成直線畫面所產(chǎn)生的失真?；诘谝欢鄠€量化參數(shù)來量化第一多個系數(shù)以及基于第二多個量化參數(shù)來量化 第二多個系數(shù)可以包括比第二多個系數(shù)更多地量化第一多個系數(shù)，從而產(chǎn)生對視頻幀的第 一部分的更高質(zhì)量的編碼?；诘谝欢鄠€量化參數(shù)來量化第一多個系數(shù)和基于第二多個量化參數(shù)來量化第 二多個系數(shù)可以包括比第二多個系數(shù)更少地量化第一多個系數(shù)，從而產(chǎn)生對視頻編碼幀的 第一部分的更低質(zhì)量的編碼。圖8是圖示出用于執(zhí)行所公開的方法的示例操作環(huán)境的框圖。本領(lǐng)域技術(shù)人員將 理解，提供了一種功能描述，并且各個功能可以用軟件、硬件或軟件和硬件的組合來執(zhí)行。 該示例操作環(huán)境僅是操作環(huán)境的一個示例，并且不意欲暗示對操作環(huán)境體系架構(gòu)的使用范 圍或功能的任意限制。操作環(huán)境也不應(yīng)當被理解為關(guān)于示例操作環(huán)境中所圖示出的組件中 的任意一個或組合具有任意依賴性或要求。本方法和系統(tǒng)可以與各種其它通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置一起操作。適于與 該系統(tǒng)和方法一起使用的公知的計算系統(tǒng)、環(huán)境和/或配置的示例包括但不限于個人計算 機、服務(wù)器計算機、膝上型設(shè)備和多處理器系統(tǒng)。另外的示例包括機頂盒、可編程消費類電 子、網(wǎng)絡(luò)PC、迷你計算機、大型計算機、包括以上系統(tǒng)或設(shè)備中任意一者的分布式計算環(huán)境，寸寸。所公開的方法和系統(tǒng)的處理可以用軟件組件來執(zhí)行。所公開的系統(tǒng)和方法可以 在這樣的一般語境中進行描述諸如程序模塊之類的由一個或多個計算機或其它設(shè)備執(zhí)行的計算機可執(zhí)行指令。一般，程序模塊包括執(zhí)行具體任務(wù)或?qū)崿F(xiàn)具體摘要數(shù)據(jù)類型的計算 機代碼、例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等等。所公開的方法也可以在基于網(wǎng)格的分布式 計算環(huán)境中實行，其中，任務(wù)由通過通信網(wǎng)絡(luò)連接的遠程處理設(shè)備執(zhí)行。在分布式計算環(huán)境 中，程序模塊可以位于本地的和遠程的計算機存儲介質(zhì)二者中，計算機存儲介質(zhì)包括存儲 器存儲設(shè)備。此外，本領(lǐng)域技術(shù)人員將了解，這里公開的系統(tǒng)和方法可以經(jīng)由計算機801形式 的通用計算設(shè)備來實現(xiàn)。計算機801的組件可以包括但不限于一個或多個處理器或處理單 元803、系統(tǒng)存儲器812和耦接各個系統(tǒng)組件(包括處理器803到系統(tǒng)存儲器812)的系統(tǒng) 總線813。在多個處理單元803的情況中，系統(tǒng)可以利用并行計算。系統(tǒng)總線813表示幾種可能類型的總線結(jié)構(gòu)中的一個或多個，包括存儲器總線或 存儲器控制器、外圍總線、加速圖形端口和使用各種總線體系架構(gòu)中的任意一者的處理器 或本地總線。通過示例，這樣的體系架構(gòu)可以包括工業(yè)標準結(jié)構(gòu)(ISA)總線、微通道結(jié)構(gòu) (MCA)總線、增強型ISA(EISA)總線、視頻電子標準協(xié)會(VESA)本地總線、加速圖形端口 (AGP)總線和外圍組件互連(PCI)總線(也稱為Mezzanine總線)?？偩€813以及在本說 明書中規(guī)定的所有總線還可以通過有線或無線的網(wǎng)絡(luò)連接來實現(xiàn)，并且每個子系統(tǒng)(包括 處理器803、大容量存儲設(shè)備804、操作系統(tǒng)805、視頻會議軟件806、視頻會議數(shù)據(jù)807、網(wǎng)絡(luò) 適配器808、系統(tǒng)存儲器812、輸入/輸出接口 810、顯示適配器809、顯示設(shè)備811、人機接口 802和相機816)可以被包含在本地端點814和一個或多個遠程端點814a、b、c內(nèi)，這些端 點處于物理上分離的位置，通過這種形式的總線連接，實際上實現(xiàn)完全分布的系統(tǒng)。計算機801通常包括各種計算機可讀介質(zhì)。示例可讀介質(zhì)可以是可由計算機801 訪問的任意可得介質(zhì)，并且例如但不是限制性地包括易失性介質(zhì)和非易失性介質(zhì)、可移除 和不可移除介質(zhì)兩者。系統(tǒng)存儲器812包括易失性存儲器形式的計算機可讀介質(zhì)，例如， 隨機存取存儲器(RAM)，和/或非易失性存儲器形式的計算機可讀介質(zhì)，例如只讀存儲器 (ROM)。系統(tǒng)存儲器812通常包含數(shù)據(jù)和/或程序模塊，數(shù)據(jù)例如是視頻會議數(shù)據(jù)807，程 序模塊例如是可由處理單元803直接訪問和/或當前操作的操作系統(tǒng)805和視頻會議軟件 806。在另一實施例中，計算機801還可以包括其它可移除/不可移除、易失性/非易失 性計算機存儲介質(zhì)。通過示例，圖8圖示出大容量存儲設(shè)備804，其可以為計算機801提供對 計算機代碼、計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的非易失性存儲。例如并且 不是限制性地，大容量存儲設(shè)備804可以是硬盤、可移除磁盤、可移除光盤、磁帶或其它磁 存儲設(shè)備、閃存卡、⑶-ROM、數(shù)字通用盤(DVD)或其它光存儲裝置、隨機存取存儲器(RAM)、 只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)等?？蛇x地，任意數(shù)目的程序模塊可以被存儲在大容量存儲設(shè)備804上，例如包括操 作系統(tǒng)805和視頻會議軟件806。操作系統(tǒng)805和視頻會議軟件806 (或其某種組合)中 的每一個可以包括編程和視頻會議軟件806的元素。視頻會議數(shù)據(jù)807也可以存儲在大容 量存儲設(shè)備804上。視頻會議數(shù)據(jù)807可以被存儲在現(xiàn)有技術(shù)中已知的一個或多個數(shù)據(jù) 庫的任一者中。這樣的數(shù)據(jù)庫的示例包括DB2 、Microsoft Access、Microsoft SQL Server、Oracle 、mySQL、PostgreSQL等等。這些數(shù)據(jù)庫可以是集中式的或者分布于多個 系統(tǒng)上。
在另一實施例中，用戶可以經(jīng)由輸入設(shè)備(未示出)來將命令和信息輸入到計算 機801中。這樣的輸入設(shè)備的示例包括但不限于鍵盤、點選設(shè)備(例如“鼠標”)、麥克風、 操縱桿、掃描儀、諸如手套和其它身體覆蓋物等的觸覺輸入設(shè)備。這些和其它輸入設(shè)備可以 經(jīng)由耦接到系統(tǒng)總線813的人際接口 802來連接到處理單元803，但也可以通過其它接口和 總線結(jié)構(gòu)來連接，例如，并口、游戲端口、IEEE 1394端口(也稱為火線端口)、串口或通用串 行總線(USB)。在另一實施例中，諸如視頻顯示器之類的顯示設(shè)備811也可以經(jīng)由諸如顯示適配 器809之類的接口連接到系統(tǒng)總線813?？梢詷?gòu)想到，計算機801可以具有多于一個的顯示 適配器809，并且計算機801可以具有多于一個的顯示設(shè)備811。例如，顯示設(shè)備可以是監(jiān) 視器、LCD(液晶顯示器)或投影儀。除了顯示設(shè)備811以外，其它輸出外圍設(shè)備可以包括 諸如可以經(jīng)由輸入/輸出接口 810連接到計算機801的揚聲器(未示出)和打印機(未示 出)之類的組件。計算機801可以使用到一個或多個遠程端點814a，b，c的邏輯連接在連網(wǎng)環(huán)境中 進行操作。例如，遠程端點814處的遠程計算設(shè)備可以是個人計算機、便攜式計算機、服務(wù) 器、路由器、網(wǎng)絡(luò)計算機、對等設(shè)備或其它公共網(wǎng)絡(luò)節(jié)點等等。計算機801與遠程端點814a， b，c之間的邏輯連接可以經(jīng)由局域網(wǎng)(LAN)和一般廣域網(wǎng)(WAN)來進行。這樣的網(wǎng)絡(luò)連接 可以通過網(wǎng)絡(luò)適配器808。網(wǎng)絡(luò)適配器808既可以在有線環(huán)境中又可以在無線環(huán)境中實現(xiàn)。 這樣的連網(wǎng)環(huán)境在辦公室、企業(yè)廣度(enterprise-wide)計算網(wǎng)絡(luò)、企業(yè)內(nèi)部網(wǎng)和互聯(lián)網(wǎng) 815中是傳統(tǒng)和常見的。為了說明的目的，諸如操作系統(tǒng)805之類的應(yīng)用程序和其它可執(zhí)行程序組件在此 被圖示為離散的塊，盡管應(yīng)當認識到，這樣的程序和組件在不同的時間駐留在計算設(shè)備801 的不同存儲組件中，并且由該計算機的(一個或多個)數(shù)據(jù)處理器執(zhí)行。視頻會議軟件806 的實現(xiàn)可以被存儲在某種形式的計算機可讀介質(zhì)上或在其上被傳送。計算機可讀介質(zhì)可以 是計算機能夠訪問的任何可得介質(zhì)。通過示例而不是限制性的，計算機可讀介質(zhì)可以包括 “計算機存儲介質(zhì)”和“通信介質(zhì)”。“計算機存儲介質(zhì)”包括以用于存儲信息的任意方法和 技術(shù)實現(xiàn)的易失性和非易失性、可移除和不可移除介質(zhì)，這些信息例如是計算機可讀指令、 數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)。示例計算機存儲介質(zhì)包括但不限于RAM、ROM、EEPR0M、閃 存或其它存儲技術(shù)、CD-ROM、數(shù)字通用盤(DVD)或其它光學存儲裝置，盒式磁帶、磁帶、磁盤 存儲裝置或其它磁存儲設(shè)備，或可以用來存儲所希望的信息并可由計算機訪問的任意其它 介質(zhì)。這些方法和系統(tǒng)可以采用人工智能技術(shù)，例如，機器學習和迭代學習。這樣的技 術(shù)的示例包括但不限于專家系統(tǒng)、基于案例的推理、Bayesian網(wǎng)絡(luò)、基于行為的Al、神經(jīng)網(wǎng) 絡(luò)、模糊系統(tǒng)、進化計算(例如，基因算法)、群體智能(例如，螞蟻算法)和混合智能系統(tǒng) (例如，通過神經(jīng)網(wǎng)絡(luò)生成的專家推理規(guī)則或來自統(tǒng)計學習的生產(chǎn)規(guī)則)。盡管已經(jīng)結(jié)合優(yōu)選實施例和具體示例描述了這些方法和系統(tǒng)，但是不希望范圍被 限于所闡述的具體實施例，因為這里的實施例在各個方面是說明性的而不是限制性的。除非另有明確指出，這里闡述的任何方法絕對不希望被理解為需要其步驟按特定 次序執(zhí)行。因此，在方法權(quán)利要求實際上沒有說明其步驟所要遵守的次序，或者其沒有以其 它方式在權(quán)利要求或描述中明確指出這些步驟被限制于特定次序的情況中，絕不希望在任
15何方面推斷次序。對于用于解釋的任意可能的非明確基礎(chǔ)同樣如此，這些基礎(chǔ)包括關(guān)于步 驟的布置或操作流程的邏輯事務(wù)；從語法組織或標點符號中得出的樸素的含義；該說明書 中描述的實施例的數(shù)目或類型。 對于本領(lǐng)域技術(shù)人員顯而易見的是，在不偏離范圍和精神的前提下，可以進行各 種修改和更改?？紤]這里公開的說明書和實踐，其它實施例對于本領(lǐng)域技術(shù)人員將是顯而 易見的。希望本說明書和示例被認為僅僅是示例性的，其真正的范圍和精神由權(quán)利要求指
7J\ ο
權(quán)利要求
一種用于圖像處理的方法，包括接收視頻幀；基于光學特性來以與所述視頻幀的第二部分不同的質(zhì)量編碼所述視頻幀的第一部分；以及顯示所述視頻幀。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述視頻幀從全景視頻相機接收。
3.根據(jù)權(quán)利要求1所述的方法，其中，基于光學特性來以與所述視頻幀的第二部分不 同的質(zhì)量編碼所述視頻幀的第一部分包括變換所述視頻幀的第一部分和第二部分，產(chǎn)生第一多個系數(shù)和第二多個系數(shù)； 基于第一多個量化參數(shù)來量化所述第一多個系數(shù)；以及 基于第二多個量化參數(shù)來量化所述第二多個系數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，還包括基于所述光學特性來確定所述第一多個量化參數(shù)。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述光學特性是全景視頻相機的光學特性。
6.根據(jù)權(quán)利要求4所述的方法，其中，所述光學特性是全景視頻相機的光學失真特性。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述光學失真特性是被預(yù)先確定的。
8.根據(jù)權(quán)利要求6所述的方法，其中，所述光學失真特性是通過測量已知視頻幀的失 真來預(yù)先確定的。
9.根據(jù)權(quán)利要求6所述的方法，其中，所述光學失真特性通過以下至少一者來預(yù)先確 定測量不同相機焦距時已知視頻幀的失真，通過確定線或線的群組的像素分辨率來測量 已知視頻幀的失真，或者通過確定相鄰像素之間的相關(guān)系數(shù)來測量已知視頻幀的失真。
10.根據(jù)權(quán)利要求3所述的方法，其中，基于第一多個量化參數(shù)來量化所述第一多個系 數(shù)以及基于第二多個量化參數(shù)來量化所述第二多個系數(shù)包括比所述第二多個系數(shù)更多地 量化所述第一多個系數(shù)，從而產(chǎn)生對所述視頻幀的第一部分的更高質(zhì)量的編碼。
11.根據(jù)權(quán)利要求3所述的方法，其中，基于第一多個量化參數(shù)來量化所述第一多個系 數(shù)以及基于第二多個量化參數(shù)來量化所述第二多個系數(shù)包括比所述第二多個系數(shù)更少地 量化所述第一多個系數(shù)，從而產(chǎn)生對所述視頻幀的第一部分的更低質(zhì)量的編碼。
12.—種多點視頻會議系統(tǒng)，包括所述多點視頻會議系統(tǒng)的第一點，包括第一相機，第一視頻顯示器和一個或多個第一 位置，其中，在所述第一點處捕獲的視頻幀是全景圖像；所述多點視頻會議系統(tǒng)的第二點，包括第二相機，第二視頻顯示器和一個或多個第二 位置；與所述第一相機可操作地連接的處理器，其中，所述處理器被配置為基于光學特性，以 不同于所述視頻幀的第二部分的質(zhì)量來編碼所述視頻幀的第一部分。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述第一相機是全景視頻相機。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述處理器還被配置為變換所述視頻幀的第一部分和第二部分，產(chǎn)生第一多個系數(shù)和第二多個系數(shù)； 基于第一多個量化參數(shù)來量化所述第一多個系數(shù)；以及 基于第二多個量化參數(shù)來量化所述第二多個系數(shù)。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述處理器還被配置為基于所述光學特性來 確定所述第一多個量化參數(shù)。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述光學特性是所述第一相機的光學特性。
17.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述處理器還被配置為比所述第二多個系數(shù) 更多地量化所述第一多個系數(shù)，從而產(chǎn)生對所述視頻幀的第一部分的更高質(zhì)量的編碼。
18.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述處理器還被配置為比所述第二多個系數(shù) 更少地量化所述第一多個系數(shù)，從而產(chǎn)生對所述視頻幀的第一部分的更低質(zhì)量的編碼。
19.一種計算機可讀介質(zhì)，其上包含用于圖像處理的計算機可執(zhí)行指令，包括 接收視頻幀；基于光學特性來以與所述視頻幀的第二部分不同的質(zhì)量編碼所述視頻幀的第一部分；以及顯示所述視頻幀。
20.根據(jù)權(quán)利要求19所述的計算機可讀介質(zhì)，還包括變換所述視頻幀的第一部分和第二部分，產(chǎn)生第一多個系數(shù)和第二多個系數(shù)； 基于第一多個量化參數(shù)來量化所述第一多個系數(shù)；以及 基于第二多個量化參數(shù)來量化所述第二多個系數(shù)。
全文摘要
文檔編號H04N7/15GK101953158SQ20098010526
公開日2011年1月19日 申請日期2009年2月16日 優(yōu)先權(quán)日2008年2月14日
發(fā)明者Chen Wen-Hsiung, Buckingham Patrik, Prasad Chandrodaya, Miriyala Prasad 申請人:Cisco Tech Inc