對于視頻相機，相機的任何移動可能導致幀間抖動。圖像穩(wěn)定化可以用于減少該幀間抖動。存在各種各樣的圖像穩(wěn)定化技術。一些依賴于具有檢測相機運動使得可以做出適當補償?shù)膫鞲衅?。一種基于這樣的傳感器的技術被稱為機械圖像穩(wěn)定化。圖像穩(wěn)定化還可以使用數(shù)字圖像處理實現(xiàn)。然而，繼續(xù)存在針對用于圖像穩(wěn)定化的更準確技術的需要。這樣的技術對于手持式視頻設備而言可能是合期望的。

技術實現(xiàn)要素：

本文描述的技術提供用于協(xié)同地對準圖像數(shù)據(jù)的相關幀的各種實施例。技術可以計算描繪場景或對象的幀序列中的各幀之間的對準。該技術的一個優(yōu)點在于，使用利用其它相鄰幀的多個成對對準測量結果來計算被分配給每一個幀以使之與其它者對準的坐標系統(tǒng)。這些成對對準測量結果的大集合可以被處理以提供最大化測量結果之間的一致性的結果。而且，技術能夠標識可以被移除或校正的異常幀(outlier frame)。

一個實施例是包括以下內容的方法。訪問圖像的幀。選擇幀的對。對于每一個所選對，尋找?guī)瑢χ械南袼鼗騾^(qū)段之間的對應性。將與用于每一個所選幀的對的對應性一致的坐標系統(tǒng)分配給每一個幀。

一個實施例是包括配置成執(zhí)行以下內容的處理器的裝置。處理器訪問圖像的幀，并且選擇幀的對。對于每一個所選對，處理器尋找?guī)瑢χ械南袼鼗騾^(qū)段之間的對應性。處理器將與用于每一個所選幀的對的對應性一致的坐標系統(tǒng)分配給每一個幀。

一個實施例是具有體現(xiàn)在其上以供處理器使用的計算機可讀指令的計算機可讀存儲設備。計算機可讀指令使處理器執(zhí)行以下內容。指令使處理器訪問圖像的幀。指令使處理器選擇幀的對。對于每一個所選擇的對，使處理器估計差異變換參數(shù)并且關聯(lián)差異變換參數(shù)中的置信度。指令使處理器將變換參數(shù)集合分配給與差異變換參數(shù)和用于每一個所選幀對的差異變換參數(shù)中的相關聯(lián)置信度一致的多個幀中的每一個。

提供該發(fā)明內容以便以簡化形式引入以下在具體實施方式中進一步描述的概念的選擇。該發(fā)明內容不意圖標識所要求保護的主題的關鍵特征或必要特征，也不意圖用于幫助確定所要求保護的主題的范圍。

附圖說明

在附圖中，相同編號的元件相互對應。

圖1描繪了包括客戶端計算設備、網絡通信介質和服務器的計算系統(tǒng)。

圖2描繪了計算設備的示例實施例。

圖3是可以在技術的實施例中操作的示例性移動設備的框圖。

圖4A描繪了用于圖像數(shù)據(jù)的幀的協(xié)同對準的過程的概覽。

圖4B示出了兩個幀F(xiàn)_i和F_i之間的對應性C_ji的表示。

圖5是示出了確定用于每一個幀對的對應性和該對應性中的置信度的過程的一個實施例的流程圖。

圖6是屏幕檢測過程的一個實施例的流程圖。

圖7A是使用動作圖像執(zhí)行線積分測試（line integration test）的一個實施例的流程圖。

圖7B示出了用于紅色分量的動作圖像的小部分的一個示例。

圖7C示出了沿所選線的每一側的動作圖像的積分。

圖7D是使用平均顏色圖像執(zhí)行線積分測試的一個實施例的流程圖。

圖8是估計屏幕位置和尺寸的過程的一個實施例的流程圖。

圖9圖示了依照一個實施例的估計屏幕的豎直邊緣的原理。

圖10A描述了用于估計屏幕的豎直線的一個實施例的過程。

圖10B描述了用于估計屏幕的水平線的一個實施例的過程。

圖11A表示在動作分離測試的一個實施例中使用的動作圖像中的各種片段。

圖11B是用于一個候選線的動作分離測試的一個實施例的流程圖。

圖12A表示在顏色分離測試的一個實施例中使用的平均顏色圖像中的各種片段。

圖12B是用于一個候選線的平均顏色測試的一個實施例的流程圖。

圖13A和圖13B各自示出具有候選屏幕以幫助說明顏色對稱測試的一個實施例的平均顏色圖像。

圖14是具有屏幕候選者以幫助促進對屏幕邊界顏色均勻性測試的一個實施例的解釋的示例平均顏色圖像的圖示。

圖15A和15B是具有屏幕候選者以幫助促進對角落力度測試的一個實施例的解釋的示例平均顏色圖像的圖示。

圖16是基于各種測試對屏幕候選者評分的一個實施例的流程圖。

具體實施方式

本文描述的技術提供了用于對準諸如圖像幀之類的圖像的技術。作為一個示例，幀可能已經由手持式設備上的視頻相機所捕獲。一個實施例是協(xié)同地對準圖像數(shù)據(jù)的相關幀。協(xié)同對準確定圖像數(shù)據(jù)的幀對中的像素或區(qū)段之間的對應性，以及該對應性中的置信度。將與每一對之間的對應性一致的坐標系統(tǒng)（或變換）分配給每一個幀。相應對應性中的置信度可以用于在分配坐標系統(tǒng)時向對應性提供加權。

協(xié)同對準實施例的一個優(yōu)點在于，使用利用其它相鄰幀的多個成對對準測量結果來計算被分配給每一個幀以使之與其它者對準的坐標系統(tǒng)。可以處理這些成對測量結果的大集合以提供最大化測量結果之間的一致性的結果。

而且，協(xié)同對準實施例能夠標識可以被移除或校正的錯誤或異常幀。然后，協(xié)同對準實施例可以在異常幀被移除或校正的情況下重復。

在一個實施例中，協(xié)同對準被用作屏幕檢測（其還可以稱為“屏幕提取”）的部分。世界上充滿著顯示屏幕、計算機監(jiān)控器、圖像投影儀、街道標志、電子公告板等。所有這些都是顯示圖像、視頻和其它內容的“屏幕”的示例。準確地檢測這樣的屏幕的邊界并且將它們從背景分離的能力具有許多應用，包括但不限于TV和視頻內容的自動內容識別（ACR）、合并屏幕內容和虛擬對象的增強現(xiàn)實體驗、讀取動態(tài)街道標志、通過大型電子公告板（例如，體育館中的比分板、機場中的出發(fā)/到達屏幕）傳送和同步消息、以及識別博物館或其它展示房間中的展覽的身份。協(xié)同對準可以幫助對抗檢測屏幕的過程中的相機的運動。

圖1描繪了包括客戶端計算設備145、網絡通信介質170和服務器120的計算系統(tǒng)?？蛻舳擞嬎阍O備145可以例如是移動相機、膝上型電腦、筆記本計算機、智能電話、可穿戴計算設備（例如，頭部安裝式顯示器）。服務器120表示向客戶端145提供服務的計算設備。網絡通信介質允許客戶端計算設備與服務器通信。網絡170可以表示一個或多個網絡，其未必使用相同通信協(xié)議。在實施例中，網絡170可以單獨地或者組合地是互聯(lián)網、廣域網（WAN）或局域網（LAN）。網絡170上的通信可以是無線或有線的。

客戶端145可以具有用于捕獲圖像的視頻相機。在一個實施例中，服務器120執(zhí)行用于客戶端145的圖像處理，諸如對準圖像數(shù)據(jù)的幀、檢測圖像數(shù)據(jù)中的計算機屏幕等。在一個實施例中，客戶端145在本地執(zhí)行圖像處理的部分或全部。

圖2描繪了計算設備200的示例實施例。這可以用于圖1的客戶端145。然而，要指出，實施例未必要求服務器120以幫助進行圖像處理。相反，捕獲圖像的計算設備可以執(zhí)行圖像處理。

在其最基本配置中，計算設備200典型地包括一個或多個處理單元202并且也可以包括不同類型的處理器，諸如中央處理單元（CPU）和圖形處理單元（GPU）。計算設備200還包括存儲器204。取決于計算設備的精確配置和類型，存儲器204可以包括易失性存儲器205（諸如RAM）、非易失性存儲器207（諸如ROM、閃存等）或者這兩種的某種組合。附加地，設備200還可以具有附加特征/功能性。例如，設備200還可以包括附加存儲裝置（可移除和/或不可移除），包括但不限于，磁性或光學盤或帶。這樣的附加存儲裝置在圖2中通過可移除存儲裝置208和不可移除存儲裝置210圖示。

設備200還可以包含（多個）通信連接212，諸如一個或多個網絡接口和收發(fā)器，其允許設備與其它設備通信。設備200還可以具有（多個）輸入設備214，諸如鍵盤、鼠標、筆、語音輸入設備、觸摸輸入設備等。也可以包括（多個）輸出設備216，諸如顯示器、揚聲器等。所有這些設備在本領域中是公知的并且不需要在此處詳盡討論。

相機220允許計算設備200捕獲圖像數(shù)據(jù)的幀。在一個實施例中，相機是RGB相機，其可以捕獲視頻或靜止幀。相機220可以捕獲黑白圖像。相機可以捕獲2D圖像數(shù)據(jù)或3D圖像數(shù)據(jù)。

根據(jù)示例實施例，相機220可以是可以捕獲場景的深度圖像的深度相機。深度圖像可以包括所捕獲的場景的二維（2-D）像素區(qū)域，其中2-D像素區(qū)域中的每一個像素可以表示深度值，諸如例如以厘米、毫米等計的所捕獲的場景中的對象距相機的距離。在一個實施例中，相機220包括紅外（IR）光組件，其可以用于捕獲場景的深度圖像。例如，相機220可以將紅外光發(fā)射到場景上并且然后可以使用傳感器（未示出）來檢測來自場景中的一個或多個目標和對象的表面的背向散射光。

圖3是可以在技術的實施例中操作的示例性移動設備300的框圖。描繪了典型移動電話的示例性電子電路。電話300包括一個或多個微處理器312和存儲器310（例如，諸如ROM之類的非易失性存儲器和諸如RAM之類的易失性存儲器），其存儲由控制處理器312的一個或多個處理器執(zhí)行以實現(xiàn)本文描述的功能性的處理器可讀代碼。

移動設備300可以包括例如處理器312、包括應用的存儲器311和非易失性存儲裝置。處理器312可以實現(xiàn)通信以及任何數(shù)目的應用，包括本文討論的交互應用。存儲器311可以是任何各種各樣的存儲器存儲介質類型，包括非易失性和易失性存儲器。設備操作系統(tǒng)處置移動設備300的不同操作并且可以包含用于操作的用戶接口，諸如撥打和接收電話呼叫、文本消息傳送、檢查語音郵件等。應用330可以是任何種類的程序，諸如用于照片和/或視頻的相機應用、地址薄、日程表應用、媒體播放器、互聯(lián)網瀏覽器、游戲、其它多媒體應用、警報應用等。存儲器310中的非易失性存儲組件340包含數(shù)據(jù)，諸如web緩存、音樂、照片、聯(lián)系人數(shù)據(jù)、行程安排數(shù)據(jù)和其它文件。

處理器312還與繼而耦合到天線302的RF傳送/接收電路306，與紅外傳送器/接收器308，與任何附加的通信信道360（比如Wi-Fi、WUSB、RFID、紅外或藍牙），以及與諸如加速度計之類的移動/取向傳感器314通信。加速度計已經并入到移動設備中以使得如智能用戶接口這樣的應用能夠讓用戶通過手勢、室內GPS功能性（其在與GPS衛(wèi)星的聯(lián)系被斷掉之后計算設備的移動和方向）輸入命令，并且檢測設備的取向且在電話旋轉時自動地將顯示器從縱向改變成橫向。可以提供加速度計，例如通過作為內置到半導體芯片上的（微米尺度的）細小機械設備的微機電系統(tǒng)（MEMS）?？梢愿袦y加速度方向以及取向、振動和沖擊。陀螺儀可以用于檢測移動設備的旋轉和取向。MEMS陀螺儀也是可獲得的。處理器312還與響鈴機/振動器316、用戶接口鍵區(qū)/屏幕、生物測量傳感器系統(tǒng)318、揚聲器320、麥克風322、相機324、光傳感器321和溫度傳感器327通信。

處理器312控制無線信號的傳送和接收。在傳送模式期間，處理器312將來自麥克風322的語音信號或者其它數(shù)據(jù)信號提供給RF傳送/接收電路306。傳送/接收電路306將信號傳送給遠程站點（例如，固定站點、運營商、其它蜂窩電話等）以用于通過天線302進行通信。響鈴機/振動器316用于向用戶用信號通知來電呼叫、文本消息、日程表提醒、鬧鈴提醒或者其它通知。在接收模式期間，傳送/接收電路306通過天線302從遠程站點接收語音或其它數(shù)據(jù)信號。將所接收的語音信號提供給揚聲器320而同時還適當?shù)靥幚砥渌邮盏臄?shù)據(jù)信號。

附加地，可以使用物理連接器388將移動設備300連接到外部電源，諸如AC適配器或者充電對接站點。物理連接器388還可以用作到計算設備的數(shù)據(jù)連接。數(shù)據(jù)連接允許諸如使移動設備數(shù)據(jù)與另一設備上的計算數(shù)據(jù)同步之類的操作。

針對這樣的服務而啟用利用基于衛(wèi)星的無線電導航來中繼用戶應用的位置的GPS接收器365。

在本文中參照根據(jù)本公開的實施例的方法、裝置（系統(tǒng)）和計算機程序產品的流程圖圖示、序列圖和/或框圖來描述本公開內容的方面。將理解到，流程圖圖示和/或框圖中的每一個框以及流程圖圖示和/或框圖中的框的組合可以由計算機程序指令實現(xiàn)。類似地，可以同樣地通過計算機程序指令實現(xiàn)序列圖的每一個箭頭。這些計算機程序指令可以被提供給通用計算機（或計算設備）、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器以便產生機器，使得經由計算機或其它可編程指令執(zhí)行裝置的處理器而執(zhí)行的指令創(chuàng)建用于實現(xiàn)在流程圖、序列圖和/或框圖的一個或多個框中指定的動能/動作的機制。

存儲設備和工作存儲器是有形、非暫時性計算機或處理器可讀存儲設備的示例。存儲設備包括以任何方法或技術實現(xiàn)以用于存儲諸如計算機可讀指令、數(shù)據(jù)結構、程序模塊或其它數(shù)據(jù)之類的信息的易失性和非易失性、可移除和不可移除設備。計算機存儲設備包括RAM、ROM、EEPROM、高速緩存器、閃存或其它存儲器技術、CD-ROM、數(shù)字通用盤（DVD）或其它光盤存儲裝置、存儲器棒或卡、磁盒、磁帶、媒體驅動器、硬盤、磁盤存儲裝置或其它磁性存儲設備、或者可以用于存儲所期望信息并且可以由計算機訪問的任何其它設備。

協(xié)同幀對準

一個實施例是協(xié)同地對準圖像數(shù)據(jù)的相關幀。技術可以計算描繪場景或對象的幀序列中的各幀之間的對準。該技術的一個優(yōu)點在于，使用利用其它相鄰幀的多個成對對準測量結果來計算被分配給每一個幀以使之與其它者對準的坐標系統(tǒng)。這些成對對準測量結果的大集合可以被處理以提供最大化測量結果之間的一致性的結果。而且，技術能夠標識可以被移除或校正的錯誤或異常值。

出于說明目的，假設存在k個幀F(xiàn)₁、F₂...、F_k。每一個幀包含圖像數(shù)據(jù)的像素。為了討論起見，每一個幀具有像素（u,v）的任何陣列。作為一個示例，像素可以具有顏色和亮度。在一個實施例中，每一個幀具有紅色、綠色和藍色像素。顏色不作為要求。在一個實施例中，幀包含深度信息。在該3D示例中，像素可以具有深度值。對于像素數(shù)據(jù)而言存在其它可能性。

在一個實施例中，為每一個幀分配坐標系統(tǒng)C₁、C₂...、C_k，使得為表示空間中的相同點的不同幀中的像素或區(qū)段分配相同坐標。換言之，我們尋找的是不同幀中的對應像素或區(qū)段。

坐標系統(tǒng)C_i是將F_i中的每一個像素（u,v）映射到坐標值（x,y）的變換或者C:（u,v）->（x,y）。在一個實施例中，利用表示平移（t_x,t_y）和縮放（s_x,s_y）的四個參數(shù)（t_x,t_y,s_x,s_y）來參數(shù)化變換：

還可能使用其它參數(shù)，諸如旋轉。在一個實施例中，使用陀螺儀測量旋轉。

圖4A描繪了用于圖像數(shù)據(jù)的幀的協(xié)同對準的過程400的概覽。圖像數(shù)據(jù)可以是2D或3D的。圖像數(shù)據(jù)可以是RGB、灰度級的等。作為一個示例，圖像數(shù)據(jù)可以是由移動視頻記錄設備捕獲的視頻數(shù)據(jù)，諸如手持式視頻記錄儀、蜂窩電話、筆記本計算機等。在步驟402中，訪問幀的集合。在一個實施例中，對于幀而言存在時間次序，對于視頻數(shù)據(jù)而言，可能就是這種情況。

在步驟404中，選擇幀的對以用于分析。這可以是集合中的任何兩個幀。為了討論起見，這些將被稱為幀F(xiàn)_i和幀F(xiàn)_j。這兩個幀可以是或者可以不是連續(xù)的幀。一般地，對于k個幀的集合，存在要分析的(k)(k-1)/2個獨特的對。為了討論起見，可以存在集合中的10個幀。在該示例中，存在要分析的45個可能的幀對。

并不要求分析所有可能的對。出于討論目的，選擇“m”個幀對，其中：m≤(k)(k-1)/2。“M”不需要是固定數(shù)；其可以通過累積來自所測試的幀對的置信度而適應性地決定。顯然，每一個幀可以是高達k-1個對的成員。在一個實施例中，k個幀中的每一個與集合中的至少一個其它幀配對。

在步驟406中，針對幀F(xiàn)_i和F_j的“m”個所選對中的每一個確定成對對應性。圖4B示出了兩個幀F(xiàn)_i和F_j（被稱為402i和402j）之間的對應性C_ji的表示。對應性實質上可以是來自一個幀的像素或區(qū)段向其在其它幀中的對應像素或區(qū)段的映射。在該示例中，每一個幀具有像素格柵，其各自由格柵中的一個框表示。表示出來自F_i的像素中的四個像素向其在F_j中的對應像素的映射。沒有示出其它像素的映射，以便不混淆圖示。

在步驟408中，確定每一個對應性中的置信度。在一個實施例中，置信度與用于該對應性的變換誤差成比例。以下討論進一步的細節(jié)。

在步驟410中，將坐標系統(tǒng)分配給每一個幀。也就是說，為每一個幀分配其自身的坐標系統(tǒng)。在一個實施例中，坐標系統(tǒng)的分配與每一對的對應性一致。該步驟尋找所有幀之間的全局對準。在一個實施例中，坐標系統(tǒng)包括變換參數(shù)。變換參數(shù)的示例包括但不限于縮放、平移和旋轉。

在一個實施例中，與每一個對應性相關聯(lián)的置信度被用作權重以幫助將坐標系統(tǒng)分配給每一個幀。

在一個實施例中，步驟410包括確定方程組的最小平方解，其中用于多個幀中的每一個的坐標系統(tǒng)是未知的并且用于各對的每一個幀的對應性是已知的。以下討論進一步的細節(jié)。

在可選步驟412中，移除作為異常值的幀。然后，過程可以在異常值被移除的情況下重復。幀可能是異常值的一個原因是由于該幀中的噪聲所致。移除這樣的異常值可以改進解的總體準確度。下面討論細節(jié)。這樣，坐標系統(tǒng)的分配可以與許多不同測量結果一致并且可以相對于單個成對誤差魯棒得多。異常值可能由于相機被急劇地碰撞（being

sharply bumped）而發(fā)生?？商鎿Q地，異常值可能是由于噪聲所致。而且，完全或部分阻擋，例如某一對象在有限時間內遮擋視野，可能引起對準故障。

圖5是示出了確定用于每一個針對的對應性和該對應性中的置信度的過程500的一個實施例的流程圖。這是圖4A的步驟406-408的一個實施例。

在步驟502中，選擇幀的對以用于分析。這可以是集合中的任何兩個幀。為了討論起見，這些將被稱為幀F(xiàn)_i和幀F(xiàn)_j。這兩個幀可以是或者可以不是連續(xù)的幀。一般地，對于k個幀的集合，存在要分析的(k)(k-1)/2個獨特的對。為了討論起見，可以存在集合中的10個幀。在該示例中，存在要分析的45個可能的幀對。不要求分析所有可能的對。

在步驟504中，針對幀F(xiàn)_i和F_j的該對確定一個或多個成對對應性。在一個實施例中，通過組合分別地用于對F_i和F_j的每一個成員的變換C_i和C_j來確定成對對應性。因而，兩個變換C_i和C_j可以組合以便如下定義幀F(xiàn)_j中的像素（u,v）_j和幀F(xiàn)_i中的像素（u,v）_i之間的對應性C_ji：

可以使用各種各樣的方法來確定用于幀對的對應性。示例技術包括但不限于光學流動和蠻力搜索。對于幀F(xiàn)_i,F_j對，可以在步驟504中確定對應性C_ji^c的小集合。在該示例中，針對幀對確定“c”個對應性的集合。

在步驟506中，確定每一個對應性中的置信度。在一個實施例中，置信度與用于該對應性的變換誤差成比例。在一個實施例中，變換誤差通過將一個幀的像素映射到另一個幀來確定。然后，確定對應像素之間的差異。差異可以被合計以確定變換誤差。以下方程是計算變換誤差的一種方式：

如所指出的，置信度可以與變換誤差成比例。因而，對于每一個對應性C_ji^c，可以確定表示對應性中的置信度的對應權重W_ji^c。通過以下方程給出權重和變換誤差之間的可能關系：

在以上方程中，α是用于建立如何使置信度與變換誤差成比例的因子。用于α的值經受設計選擇。成對對應性和相關聯(lián)的置信度可以在圖5的步驟410中使用。

在一個實施例中，選擇最佳（例如，最準確的）對應性以在步驟410中使用。這在步驟510中反映。然而，可以在步驟410中使用多于一個對應性。因而，步驟510是可選的。過程然后可以針對另一幀對重復（在步驟512的條件下）。

分配坐標系統(tǒng)

下面描述將坐標系統(tǒng)分配給每一個幀的一個實施例。這是圖4A的步驟410的一個實施例。如上文指出，用于幀的坐標系統(tǒng)可以具有變換參數(shù)。為了示例起見，將討論四個變換參數(shù)。具體地，示例變換參數(shù)是x平移（t_x）、y平移（t_y）、x縮放（s_x）和y縮放（s_y）。因而，一個實施例的目標是將這些變換參數(shù)的集合分配給每一個幀。

在一個實施例中，測量或者以其它方式確定成對對應性C_ji及其變換誤差。要指出，成對對應性C_ji及其變換誤差不提供用于對中的幀的特定坐標系統(tǒng)C_i和C_j。替代地，它提供如由以下方程反映的變換參數(shù)（t_x,t_y,s_x,s_y）_i和（t_x,t_y,s_x,s_y）_j之間的差異：

由于在當前示例中存在k個幀，所以可以測量個不同差異。此外，根據(jù)一個實施例，這些差異中的每一個具有指示測量結果中的置信度的相關聯(lián)的誤差。

下面描述用于分配與用于幀對的對應性及其相關聯(lián)的置信度一致的坐標系統(tǒng)的一種技術。

在方程7中定義向量X。該向量表示用于k個幀中的每一個的未知變換參數(shù)。

如在方程8中可以定義m個所測量的差異的向量。該向量表示已知（例如，所測量的）對應性。例如，這些可以是在步驟406或504中確定的對應性。

在以上方程中，。m個對應性中的每一個是用于m個幀對中的一個。對應性還可以稱為“差異變換參數(shù)”。也就是說，這些是指用于幀對的變換參數(shù)（t_x,t_y,s_x,s_y）。然而，這些是反映用于對中的兩個幀的變換參數(shù)之間的差異的變換參數(shù)。

接下來，求解方程組（在方程9中示出）。

在以上方程中，A表示差異算子?？梢允境?，A的秩（rank）是4k-4，其中向量X0=（1,1,1,...,1）跨越（spanning）其零空間。換言之，如果X是以上線性方程組的解，則亦是如此。為了緩解這一點，可以將更多的四行添加到表示X0上的約束的矩陣。在一個實施例中，目標是使所有平移（tx,ty）的平均值為（0,0）并且所有縮放（sx,sy）的平均值為（1,1）。

還要指出，可以存在比參數(shù)更多的方程（4m>4k）。因此，一個解是最小平方解，其尋找最小化|AX-d|的最小平方差的X。

在一個實施例中，使用權重來對不同測量結果進行加權，從而恰當?shù)馗鄰娬{具有更高置信度的差異以求解可能由于測量的不準確性而發(fā)生的沖突方程。

作為總結，一個實施例求解以上方程以將坐標系統(tǒng)（例如，變換參數(shù)）分配給每一個幀。該解利用來自幀對的測量結果。

回想在做出初始解之后，可以移除異常值，并且過程可以重復（參見圖4A的步驟412-414）。在一個實施例中，異常值是向|Ax-d|范數(shù)（norm）貢獻大數(shù)量的那些X。因而，作為異常值的幀可以從要分析的幀的集合移除，并且過程重復。另一選項是校正來自異常幀的數(shù)據(jù)。

屏幕檢測

協(xié)同對準技術的一種可能的使用是在屏幕檢測中。世界上充滿著顯示屏幕、計算機監(jiān)控器、圖像投影儀、街道標志、電子公告板等。所有這些是顯示圖像、視頻和其它內容的“屏幕”的示例。準確地檢測這樣的屏幕的邊界并且將它們從背景分離的能力具有許多應用，包括但不限于，TV和視頻內容的自動內容識別（ACR）、合并屏幕內容和虛擬對象的增強現(xiàn)實體驗、讀取動態(tài)街道標志、通過大電子公告板（例如，體育館中的比分板、機場中的出發(fā)/到達屏幕）傳送和同步消息、以及識別博物館或其它展示房間中的展覽的身份。

圖6是屏幕檢測的過程600的一個實施例的流程圖。屏幕可以是具有非靜態(tài)圖像的顯示屏幕。例如，過程可以用于檢測諸如計算設備、智能電話、電視、比分板、動態(tài)街道標志等等電子設備的顯示屏幕。過程還可以用于檢測靜態(tài)的屏幕。例如，過程可以用于檢測靜態(tài)的街道標志。

步驟602包括訪問一系列圖像。為了討論起見，序列包括圖像數(shù)據(jù)的K個幀。因而，該過程的輸入可以是K個幀的序列，其可以表述如下：

在一個實施例中，圖像數(shù)據(jù)具有紅色、綠色和藍色信道。這可以由以下表示：

灰度級可以由以下方程表述：

步驟604包括檢測屏幕的大體區(qū)段。這可以包括估計屏幕位置和尺寸。在一個實施例中，分析低分辨率圖像以檢測屏幕的大體區(qū)段。在一個實施例中，系統(tǒng)尋找運動。下面討論進一步的細節(jié)。

步驟606包括穩(wěn)定化相機運動。在一個實施例中，使用協(xié)同對準來穩(wěn)定化相機運動。例如，可以使用圖4A的過程。然而，可以使用除協(xié)同對準之外的技術。在一個實施例中，使用光學流動技術來穩(wěn)定化相機運動。一種可能的光學流動技術是Lucas-Kanade技術。步驟606可以使用比較一個幀中的像素與另一個幀中的像素的技術?？商鎿Q地，步驟606可以使用比較一個幀中的特征與另一個幀中的特征的技術。

步驟608包括形成動作圖像。動作圖像尋找?guī)g的像素值中的差異。動作圖像也可以被稱為差異圖像。要指出，如果屏幕不是靜態(tài)的，則預期到對應像素值將隨時間改變。然而，在屏幕的邊界處，動作可能改變。例如，在屏幕外部，圖像可能是靜態(tài)的，或者可能以不同方式改變。例如，如果屏幕外部的區(qū)段是非靜態(tài)的，諸如樹上的移動葉片，則存在某種動作。下面討論進一步的細節(jié)。

以下是用于動作圖像的示例方程（方程13）。在該示例中，為每一個色帶（紅色、綠色、藍色）分配其自身的動作值。要指出，在方程13中，假定圖像幀已經對準。因此，R_i中的像素（x,y）對應于與R_i-1中的像素（x,y）相同的對象。

在該示例中，形成動作圖像使用“k”個幀作為輸入。輸出是用于這k個幀的一個動作圖像。以上方程中的x,y值是指幀已經對準之后幀的坐標。因而，在該實施例中，由于相機移動所致的運動例如作為“動作”的源而被消除。參數(shù)“p”可以是恒定的，其值可以是設計選擇。在一個實施例中，步驟618基于不同幀中的對應像素之間的差異而形成動作圖像。

步驟610包括形成平均顏色圖像。平均顏色圖像中的每一個像素表示用于所分析的幀的集合中的該像素的平均顏色。換言之，在一個實施例中，步驟620基于不同幀中的對應像素的平均顏色而形成平均顏色圖像。如對于動作圖像而言，由于該分析在幀對準之后執(zhí)行，所以此處所提及的像素是后對準像素。因而，在方程中使用（x,y）（與（u,v）相對）。以下是用于計算平均顏色圖像的方程的一個示例。

在該示例中，形成顏色圖像也可以使用“k”個幀作為輸入。輸出是用于這k個幀的一個顏色圖像。在一個實施例中，步驟608和/或610基于圖像數(shù)據(jù)的幀中的對應像素而形成“處理圖像”。處理圖像未必是將由用戶觀看的圖像。相反，它可以用于進一步的處理以檢測屏幕。在一個實施例中，處理圖像包括與圖像數(shù)據(jù)的幀中的像素對應的值。

步驟612是檢測候選線的集合。也就是說，檢測候選作為屏幕的邊緣的線。作為一個示例，尋找16個水平線和16個豎直線的集合。然而，不要求候選線是水平或豎直的。而且，什么是“水平”以及什么是“豎直”的定義是靈活的。水平線可以是“大致”水平的以便計及屏幕的上邊緣和下邊緣沒有在圖像數(shù)據(jù)中精確地水平取向的可能性。類似原因適用于“豎直線”。要指出，整個過程可以是尋找矩形屏幕。然而，真實世界中的矩形屏幕在投射到圖像平面（例如，圖像數(shù)據(jù)）上時將未必作為矩形而出現(xiàn)。這就是為什么不要求候選線完全地水平或完全地豎直的一個原因。而且，可以尋找比32條更多或更少的線。

這些線可以基于動作圖像和/或顏色圖像來檢測。然而，檢測可以是基于數(shù)據(jù)而不是動作圖像或顏色圖像。

在一個實施例中，檢測候選線包括計算線積分。在一個實施例中，看起來是作為屏幕邊界的良好候選者的線被選擇用于進一步研究。在一個實施例中，接近非連續(xù)性的線被選擇為候選線。線積分可以在動作圖像和/或顏色圖像上執(zhí)行。線積分不限于這兩個示例。在下文討論線積分。

步驟614是形成屏幕候選者。在一個實施例中，假定屏幕是大體矩形的。因而，在一個實施例中，選擇兩條“水平”線和兩條“豎直”線以形成潛在的屏幕。然而，屏幕可以具有任何形狀。取決于諸如屏幕的角度和取向之類的因素，其在幀圖像中可能看起來不是矩形的。在各種實施例中，計及這樣的因素。

步驟616包括對屏幕候選者評分?？梢允褂脭?shù)個規(guī)則來選擇良好的屏幕。下面是示例規(guī)則。“動作測試”可以基于以下假設來定義：良好的屏幕在內部具有明顯動作，但是在屏幕邊界之外具有更少的動作?！邦伾蛛x測試”可以基于以下假設來限定：平均顏色可以在屏幕邊界處急劇地改變?！翱v橫比”測試可以確認屏幕形狀?！捌聊贿吔珙伾鶆蛐詼y試”可以基于以下假設來限定：顏色應當沿屏幕邊界均勻?！敖锹淞Χ取睖y試可以基于以下假設來限定：期望屏幕具有良好限定的角落（導致得到矩形屏幕）。“顏色對稱”測試可以基于以下假設來限定：屏幕的幀在左邊應當是與右邊相同的顏色（類似原因適用于幀的頂部和底部）。要指出，并非所有屏幕都將具有幀，在該情況下，這些測試中的一些可以被省略或修改。下面討論這樣的測試的進一步細節(jié)。步驟616可以使用這些測試的任何組合，從而向每一個測試提供各種權重。而且還可以使用其它測試。因而，不要求使用這些測試中的每一個，或者給予它們相同的權重。在一個實施例中，僅僅有對總體分值有貢獻的測試。因此，可能的是，即便是幾個測試失敗了，候選屏幕也接收高分值。

步驟618包括基于評分而選擇最可能的候選屏幕。

圖7A是使用動作圖像執(zhí)行線積分測試的一個實施例的流程圖。該過程可以使用在過程600的步驟608中形成的動作圖像，并且可以在檢測候選線步驟（圖6，612）中使用。該過程描述了沿一條線的積分。該過程典型地針對要測試的數(shù)條線而重復。

在步驟702中，訪問動作圖像。在步驟704中，選擇作為可能的屏幕邊界的線。

在步驟706中，在線的每一側上對動作圖像積分。該積分可以針對紅色、綠色和藍色值單獨地執(zhí)行。對動作圖像積分意味著沿所選線移動，而同時形成動作圖像中的值的累計（針對每一個顏色）。更具體地，每一個累計可以用于線的每一側上的像素，如將在以下示例中討論的。

圖7B示出了用于紅色分量的動作圖像的小部分的一個示例。為了說明方便，將值表述為數(shù)字。動作圖像的頂部行對應于處在所測試的線的一側上的x,y坐標的集合。底部行對應于線的另一側。頂部和底部行各自可以被稱為“帶”。在該示例中，每一個帶是一個像素寬。帶可以是多于一個像素寬。換言之，每一個帶可以包括兩行、三行等。在該示例中，所選線是水平線。也可以選擇豎直線。不要求所選線為完全水平或完全豎直的。

圖7C示出了沿所選線的每一側的動作圖像的積分。如所描繪的，積分形成像素值的累計——在該示例中從左向右移動。在該示例中，所選線下方的較高值指示在線下方存在更多動作，其可以指示線是屏幕邊界，其中屏幕處于線下方。當帶是多于一個像素寬時，作為一個示例，積分可能仍舊產生一行積分值。

要指出，積分可以在沿所選線的任何兩個點處開始和停止。而且，一旦計算積分值，則針對該所選線的部分進行重新計算是非常簡單的。例如，為了在前三個值被忽略的情況下重新確定最終積分值，針對頂部而言，簡單地從37減去14并且針對底部而言，從71減去24。這導致處理能力的極大節(jié)省，如果做出線的一部分不是所感興趣的確定的話。

步驟708是比較線的每一側上的積分值。例如，步驟708可以生成作為線的一側上的積分值與線的另一側上的對應積分值之間的差異的值。該值可以被保存以用于與針對其它線的積分值相比較。在一個實施例中，步驟708確定線的一側上的積分值與線的另一側上的對應積分值之間的差異是否大于某一閾值。而且如所指出，用于該所選線的積分可以針對線的不同部分進行重新計算。這可以在沿豎直線積分之后執(zhí)行。也就是說，來自沿豎直線的積分的信息可能暗示著水平線的部分是較為感興趣或較不感興趣的，其中水平線上的積分的開始點和結束點可以更改。

圖7D是使用平均顏色圖像執(zhí)行線積分測試的一個實施例的流程圖。該過程可以使用在過程600的步驟610中形成的平均顏色圖像，并且可以在檢測候選線步驟（圖6，612）中使用。該過程描述了沿一條線的積分。該過程典型地針對要測試的數(shù)條線而重復。

在步驟742中，訪問平均顏色圖像。在步驟744中，選擇作為可能的屏幕邊界的線。一個選項是使用在圖7A的過程中的動作圖像的積分中所使用的相同線集合。

在步驟746中，在線的每一側上對平均顏色圖像進行積分。該積分可以針對紅色、綠色和藍色平均值單獨地執(zhí)行。對平均顏色圖像的積分類似于對動作圖像的積分。例如，對平均顏色圖像進行積分意味著沿所選線的方向移動并且形成平均顏色圖像中的值的累計（針對每一個顏色）。步驟748是比較線的每一側中的積分值。

在針對動作圖像和顏色圖像執(zhí)行線積分之后，結果是用于所測試的許多線的積分值。在一個實施例中，基于積分值而選擇16條水平線和16條豎直線。

估計屏幕位置和尺寸

下面是用于估計屏幕位置和尺寸的一個實施例的附加細節(jié)。這提供了用于過程600的步驟604的一個實施例的進一步細節(jié)。在一個實施例中，這在沒有彼此對準數(shù)據(jù)的幀的情況下（例如，在其之前）執(zhí)行。該過程被應用于圖像數(shù)據(jù)的幀的某一集合。在該以下討論中，假設“n”個幀被處理。這可能是例如來自相機的幀的連續(xù)集合。

用于檢測屏幕的大體區(qū)段（例如，步驟604）的一個動機是增大幀對準的準確度（例如，步驟606）。檢測大體區(qū)段允許對在屏幕上發(fā)生的并且可能混淆對應性估計的非相機運動打折扣。這在屏幕尺寸與提供用于對準的穩(wěn)定界標的周圍背景相比相對大時可能是重要的。

圖8是估計屏幕位置和尺寸的過程的一個實施例的流程圖。最初，所有圖像可以被轉換成灰度并且以與幀之間的最大估計平移成比例的縮放因子而重新定尺寸。步驟802是將圖像轉換成灰度?；叶燃壙梢杂梢韵路匠淌奖硎觯?/p>

前面假設輸入圖像數(shù)據(jù)是RGB數(shù)據(jù)。然而，不要求輸入是RGB數(shù)據(jù)。因而，該過程的變化在其中不執(zhí)行步驟802或者步驟802被另一步驟所替換的情況下是可能的。

步驟804是基于幀之間的最大估計平移對圖像進行縮放。最大估計x平移可以表述為。最大估計y平移可以表述為。縮放可以是以下因子：

接下來，可以在步驟806中計算變化圖像V(x,y)。以下方程是用于計算變化圖像的一種技術。

以上方程中的“n”是指所處理的圖像數(shù)據(jù)的“n”個幀。

在步驟808中，基于變化圖像確定可能表示屏幕的豎直線的估計。圖10A描述了用于估計屏幕的豎直線的過程。在步驟810中，確定可能表示屏幕的豎直線的估計。圖10B描述了用于估計水平線的過程。

圖9圖示了依照一個實施例的估計豎直線的原理。這可以使用在檢測屏幕的大體區(qū)段（例如，步驟604，圖6）的一個實施例中。示出了變化圖像V(x,y) 902。區(qū)段904表示在變化圖像中存在顯著動作的地方。顯著動作區(qū)段904可以指示屏幕所位于的地方。并不是每一個顯著動作區(qū)段都必然地是屏幕。還示出了不是屏幕的兩個這樣的顯著動作區(qū)段906。

圖9中的變化圖像下方的圖形示出了用于函數(shù)R(x)的曲線910，函數(shù)R(x)用于估計應當將豎直線放置在哪里。在過程中重新計算函數(shù)R(x)，如將在下文描述的。用于R(x)的初始值可以通過函數(shù)R'(x)來建立，函數(shù)R'(x)可以如下計算。

在方程20中，H是變化圖像中的像素的行數(shù)目并且W是變化圖像中的列數(shù)目。如已經指出的，重新計算在圖9中描繪的函數(shù)R(x)直到達到收斂為止。因而，將領會到，圖9中的曲線910不是最終值。然而要指出，曲線910在動作較大的地方具有較高值。

以下兩個方程用于R'(x)的平均（μ）和標準偏差。

圖10A描繪了用于估計屏幕的豎直線的過程1000。這可以在檢測屏幕的大體區(qū)段（例如，步驟604，圖6）的一個實施例中使用。一般地，過程在以下假設之下開始：屏幕可以在變化圖像902中的任何地方。變化圖像902的處理涉及假設變化圖像中的兩條豎直線的位置。最初，這兩條線可以處于最左和最右極端處。處理可以向內移動這兩條線直到解收斂為止。在收斂時，已經粗略地找到屏幕的左和右豎直邊緣作為線的最終位置。圖9中的線916a和916b表示在收斂之前過程中的某一假想點的左和右豎直線。

在一個實施例中，過程檢查處于變化圖像的這兩條線916a、916b之間的部分以及處于變化圖像的每一條線916a、916b外部的部分。曲線910表示該處理。

在步驟1002中，R(x)被設定成R'(x)。方程20提供了一個適合的方程。要指出，通過從y=0到y(tǒng)=h求和，針對某一x坐標從變化圖像的頂部向其底部對像素進行求和。這是在以下假定之下：左上方是（0,0）。圖9中靠近變化圖像902的豎直箭頭意為表示針對一列像素（例如，一個x值）的求和。

在步驟1004中，建立初始閾值。在一個實施例中，這通過如下進行設定：

這基于R(x)的平均和標準偏差而建立初始閾值。要指出，可以使用除“0.5”之外的因子。該閾值將在步驟1010中更新。再次返回到圖9，線912描繪了閾值。

在步驟1006中，初始化開始和結束參數(shù)。在一個實施例中，“開始”在概念上是指線916a，并且“結束”在概念上是指線916b。這些參數(shù)將在過程期間移動以尋找屏幕的豎直邊緣。在一個實施例中，使用以下內容：

開始=

結束=

開始被設定成對于其而言R(x)大于閾值的R(x)的最小x值。這是圖9中的左線916a。結束被設定成對于其而言R(x)大于閾值的R(x)的最大x值。這是右線916b。要指出，步驟1006可以通過尋找大于閾值的R(x)的兩個（或更多）連續(xù)x值而計及噪聲的可能性。還要指出，當計算結束點時，R(x)的處理可以是從最高到最低的x值。

在步驟1008中，更新R(x)。以下方程描述了用于更新的一個實施例。

方程26表示基于兩條線916a、916b處理變化圖像。標記“開始＜x＜結束”指示如何分割變化圖像以用于處理。在概念上，“開始”表示線916a，并且“結束”表示線916b。變化圖像的處于兩條線916a、916b之間的部分可以被給予正常權重。這由等式26中的R'(x)表示。另一選項是增強這些值。

在一個實施例中，變化圖像的處于兩條線916a、916b外部的部分可以通過將它們乘以-2而受罰。這由“-2R'(x)”（以及“其它情況”）表示。要指出，可以使用除“-2”之外的因子。

在步驟1010中，更新R(x)平均和標準偏差。在一個實施例中，方程21和22用于這些更新。而且更新閾值。方程23可以用于該更新。

在步驟1012中，就平均、標準偏差或閾值中的任一個是否作為步驟1010的更新的結果而改變做出確定。如果存在任何改變，則過程返回到步驟1006。在步驟1006中，開始和結束值改變。這是移動豎直線916a、916的事物。典型地，這些向內移動。

最終，解應當收斂，如由步驟1012所確定。在收斂之后，執(zhí)行步驟1014。在步驟1014中，最終的開始和結束值（來自步驟1006）被用作左和右屏幕邊界。在一個實施例中，該處理將豎直線916a、916b放置在動作的邊緣處。

屏幕的水平邊緣的估計可以以類似的方式執(zhí)行。圖10B是用于確定水平邊緣的流程圖的一個實施例。這可以使用在檢測屏幕的大體區(qū)段（例如，步驟604，圖6）的一個實施例中。該過程可以類似于對豎直線的估計并且將不會詳細討論。在該實施例中，變化圖像902的處理涉及假設用于變化圖像中的兩條水平線的位置。最初，這兩條線可以處于最低和最高極端處。處理可以將這兩條線向內移動直到解收斂。在收斂之后，已經粗略地找到屏幕的頂部和底部水平邊緣作為線的最終位置。

以下方程可以使用在該過程中。

在方程29中，W是變化圖像中的像素的列數(shù)目。

以下兩個方程用于R'(y)的平均（μ）和標準偏差。

在步驟1052中，R(y)被設定成R'(y)。

在步驟1054中，建立初始閾值。在一個實施例中，這通過如下進行設定：

這基于R(y)的平均和標準偏差而建立初始閾值。要指出，可以使用除“0.5”之外的因子。

在步驟1056中，初始化開始和結束參數(shù)。這些可以類似于圖9中的線916a、916b，但是作為水平線。這些參數(shù)將在該過程期間移動以尋找屏幕的水平邊緣。在一個實施例中，使用以下內容：

開始=

結束=

開始被設定為對于其而言R(y)大于閾值的R(y)的最小y值。結束被設定為對于其而言R(y)大于閾值的R(y)的最大y值。

在步驟1058中，更新R(y)。以下方程描述了用于更新的一個實施例。

方程33表示處理變化圖像。標記“開始＜y＜結束”指示如何分割變化圖像以用于處理。開始和結束在步驟1056中計算。變化圖像的開始和結束之間的部分可以被給予正常權重。這由方程33中的R'(y)表示。另一選項是增強這些值。

在一個實施例中，變化圖像的處于開始和結束之外的部分可以通過將它們乘以-2而受罰。這通過“-2R'(y)”表示。要指出，可以使用除“-2”之外的因子。

在步驟1060中，更新R(y)的平均和標準偏差。在一個實施例中，方程28和29用于這些更新。而且更新閾值。方程30可以用于該更新。

在步驟1062中，就平均、標準偏差或閾值中的任一個是否作為步驟1060的更新的結果而改變做出確定。如果存在任何改變，則過程返回到步驟1056。在步驟1056中，開始和結束值改變。

最終，解應當收斂，如由步驟1062所確定。在收斂之后，執(zhí)行步驟1064。在步驟1064中，最終的開始和結束值（來自步驟1066）被用作頂部和底部屏幕邊界。

對屏幕候選者評分

下面描述對屏幕候選者評分的進一步的細節(jié)。這提供用于過程600的步驟616的一個實施例的進一步的細節(jié)。屏幕候選者可以從兩條候選豎直線和兩條候選水平線形成。這些線可能已經在過程600的步驟612中找到。

動作分離測試

一個實施例是動作分離測試。動作分離測試將屏幕外部的動作與屏幕內部的動作進行比較。在動作分離測試的一個實施例中，內部的動作應當大于外部的動作。在一個實施例中，這歸因于穩(wěn)定化，其取消了大多數(shù)背景移動，但是留下了屏幕內部的運動和非連續(xù)性。動作分離測試可以在四條線上執(zhí)行，四條線可以由頂部、底部、左邊和右邊屏幕邊界候選線來限定。

圖11A表示在動作分離測試的一個實施例中使用的動作圖像1102中的各種片段I₁₁、I₁₂、I₁₃、I₂₁、I₂₂、I₂₃（片段I₁₂，被稱為1106）。作為一個示例，動作圖像1102可以如方程15中所描述的那樣形成。片段I₂₁、I₂₂、I₂₃剛好處于候選屏幕1104內部。片段I₁₁、I₁₂、I₁₃剛好處于候選屏幕1104外部。

圖11A表示頂部線片段。候選屏幕1104由虛線示出。候選屏幕1104可以如上文在過程600的步驟614中所述的那樣找到。這可以涉及使用如分別關于圖7A和7D所述的動作圖像和/或平均顏色圖像。盡管描述了對于頂部線片段的處理，但是可以針對底部、左邊和右邊線片段執(zhí)行類似的處理。

在頂部線的每一側上存在三個片段1106。因而，三個片段被視為處于屏幕外部并且三個處于內部。使用三個片段的原因在于，動作可能沿線（其在該示例中限定屏幕的頂部）變化。例如，可能存在屏幕中間的大量動作，但是出于某種原因在右邊很少有動作。使用片段可以幫助避免在這樣的情況下低估中間的動作?？梢允褂萌魏螖?shù)目的片段。

每一個片段1106因而包含動作圖像中的像素帶。該帶具有一個或多個像素的高度（在該示例中）。例如，帶可以是一個、兩個、三個、四個像素高。當分析豎直線時，帶可以具有一個或多個像素寬的寬度。

圖11B是用于一條候選線（例如，頂部、底部、左邊、右邊）的動作分離測試的一個實施例的流程圖。在步驟1152中，確定用于動作圖像的每一個片段1106的值。這包括屏幕內部的至少一個片段和屏幕外部的至少一個片段。該計算可以以數(shù)個方式做出。在一個實施例中，存在用于動作圖像的紅色、綠色和藍色帶。在這樣的情況下，可以存在針對每一個片段所確定的三個值。作為另一種可能性，這一個值可以針對這三個顏色的帶的組合而確定。在一個實施例中，動作圖像被轉換成灰度級圖像，這類似于如何將變化圖像轉變成灰度級圖像。

在步驟1154中，將候選線內部的動作值與候選線外部的動作值比較。在一個實施例中，目標是確定在屏幕內部是否存在比外部更明顯的動作。

在一個實施例中，步驟1154在逐片段的基礎上進行。例如，將片段I₁₁與I₁₂比較等。在一個實施例中，還存在組合所有片段的測試。例如，可以針對I₁₁、I₁₂、I₁₃的組合確定動作值（例如，通過相加用于每一個片段的動作值）。這可以與用于I₂₁、I₂₂、I₂₃的組合的動作值比較。

在步驟1156中，就比較的任何片段是否通過做出確定。下面是可以執(zhí)行的可能測試。

內部動作＞T1 （34）

＞T2并且外部動作＞T3 （35）。

在一個實施例中，方程34的測試或者方程35的測試應當通過以用于使片段通過。方程34測試用于候選屏幕內部的片段的動作是否大于某一閾值T1。方程34測試內部動作與外部動作之比是否大于某一閾值T2并且外部動作是否大于某一閾值T3。這可以幫助解決其中偶然的高比率的情況，其在兩個動作估計變得接近零時可能發(fā)生。

在圖11A的示例中，存在三個片段。還可以存在如上文所指出的“組合”片段。因而，在該示例中，方程34和35可以應用于四個片段。在一個實施例中，如果這些片段中的任一個通過，則線通過動作分離測試。然而，變化是可能的，諸如要求所述片段中的兩個、三個或更多的片段通過。而且如上文所指出，盡管圖11A示出了三個片段，但是可以使用任何數(shù)目的片段。

步驟1158要指出該候選線通過。步驟1160是建立用于該線的分值?？梢允褂酶鞣N各樣的技術。在一個實施例中，分值是基于屏幕內部和屏幕外部的動作值中的差異。分值可以基于從內部那些動作值減去的外部動作值來確定。過程1150可以針對其它線而重復。在一個實施例中，所有四條線需要通過以用于使候選屏幕通過動作分離測試。

在一個實施例中，用于屏幕的總體動作分值基于用于每一條線的動作分值來確定。一種可能性是相加用于四個候選線的動作分值。另一種可能性是由外部總體動作除內部總體動作。再一種可能性是組合這兩個方法。許多其它技術可能用于基于屏幕候選者內部的動作圖像的值與屏幕候選者外部的動作圖像的值的比較而形成分值。

步驟1162要指出該候選線在沒有片段通過的情況下失敗。要指出，失敗可以以另一種方式限定，諸如沒有足夠的片段通過。

顏色分離測試

一個實施例是顏色分離測試。顏色分離測試比較屏幕外部的平均顏色與屏幕內部的平均顏色。在顏色分離測試的一個實施例中，內部的平均顏色應當不同于外部。類似于動作分離測試，顏色分離測試可以在四條線上執(zhí)行，四條線可以由頂部、底部、左邊和右邊屏幕邊界候選線來限定。這些可以是在動作分離測試中分析的相同的四條候選線。

圖12A表示在顏色分離測試的一個實施例中使用的平均顏色圖像1202中的各種片段I₁₁、I₁₂、I₁₃、I₂₁、I₂₂、I₂₃（片段I₁₂，被稱為1206）。作為一個示例，平均顏色圖像1202可以如在方程16中所述的那樣形成。片段I₂₁、I₂₂、I₂₃剛好在候選屏幕1104外部。片段I₁₁、I₁₂、I₁₃剛好在候選屏幕1104內部。

圖12A表示頂部線片段。候選屏幕1104由虛線示出。這可以是與動作分離測試相同的候選屏幕?？梢葬槍Φ撞?、左邊和右邊線片段執(zhí)行類似的處理。

存在底部候選線的每一側上的三個片段1206。使用三個片段的原因在于，平均顏色可能沿候選線變化。可以使用任何數(shù)目的片段。

每一個片段1206因而包含平均顏色圖像1202中的像素帶。該帶具有一個或多個像素的高度（在該示例中）。例如，該帶可以是一個、兩個、三個、四個像素高。當分析豎直線時，該帶可以具有一個或多個像素寬的寬度。

圖12B是用于一條候選線（例如，頂部、底部、左邊、右邊）的平均顏色測試的一個實施例的流程圖。在步驟1252中，確定用于平均顏色圖像1202的每一個片段1206的值。這包括屏幕內部的至少一個片段和屏幕外部的至少一個片段。該計算可以以數(shù)個方式做出。在一個實施例中，存在用于動作圖像的紅色、綠色和藍色帶。也就是說，存在平均紅色值、平均綠色值和平均藍色值。在這樣的情況下，可以存在針對每一個片段所確定的三個值。作為另一種可能性，這一個值可以針對這三個顏色的帶的組合而確定。在一個實施例中，平均顏色圖像1202被轉換成灰度級圖像，這類似于如何將變化圖像轉換成灰度級圖像。

在步驟1254中，候選線內部的平均顏色值與候選線外部的平均顏色值比較。在一個實施例中，目標是確定是否存在屏幕內部對比屏幕外部的平均顏色中的明顯差異。

在一個實施例中，步驟1254在逐片段的基礎上進行。例如，片段I₁₁與I₁₂比較等。在一個實施例中，還存在組合所有片段的測試。例如，可以針對I₁₁、I₁₂、I₁₃的組合而確定平均顏色值（例如，通過相加用于每一個片段的平均顏色值）。這可以與用于I₂₁、I₂₂、I₂₃的組合的平均顏色值比較。

在步驟1256中，就比較的任何片段是否通過做出確定。以下方程可以使用在可以執(zhí)行的可能測試中。

方程36基于紅色、藍色和綠色帶而形成單個值。在方程36中，下標“1”表示候選屏幕1104內部的片段，并且下標“2”表示候選屏幕1104外部的片段。R_j的值可以針對每一個片段來確定。而且，可以針對所有片段的組合來確定R_j的單個值。下標“j”表示片段。ε（epsilon）是計及其中RGB值變得接近于零并且比率可能打破的暗區(qū)段的小數(shù)字。

在針對給定片段確定R_j之后，可以將其與某一閾值比較。作為一個示例，如果對于任何片段而言R_j大于二，則測試通過。

另一可能的測試從屏幕內部的平均顏色值減去屏幕外部的平均顏色值。這可以在逐片段的基礎上執(zhí)行。在一個實施例中，如果差異大于閾值，則線通過。例如，最大可能的平均顏色可能是255。如果差異大于100，則測試可能通過。

在一個實施例中，如果R_j或平均顏色減法測試針對片段通過，則該片段通過。在一個實施例中，如果單個片段通過，則候選線通過。

步驟1258要指出該候選線通過。步驟1260是建立用于該線的分值?？梢允褂酶鞣N各樣的技術。在一個實施例中，分值是基于屏幕內部與屏幕外部的平均顏色值的差異。如所指出的，可以基于從內部的平均顏色值減去外部的平均顏色值來確定分值。過程1250可以針對其它候選線重復。在一個實施例中，所有四條線需要通過以用于使候選屏幕通過顏色分離測試。

在一個實施例中，基于用于每一條線的平均顏色分值來確定用于屏幕的總體平均顏色分值。一種可能性是相加用于四條候選線的平均顏色分值。許多其它技術可能用于基于屏幕候選者內部的平均顏色的值與屏幕候選者外部的平均顏色的值的比較來形成分值。

在一個實施例中，基于平均顏色分值和動作分離分值的組合來確定分值。作為一個示例，這兩個分值彼此相乘。在一個實施例中，該分值被視為用于平均顏色分離分值的最終分值。

步驟1160要指出該候選線失敗。要指出，失敗可以以另一種方式限定，諸如沒有足夠的片段通過。

顏色對稱測試

一個實施例是顏色對稱測試。圖13A示出了具有候選屏幕1104的平均顏色圖像1202以幫助說明該測試。區(qū)段1306a是剛好在候選屏幕1104左側外部的區(qū)段。區(qū)段1306b是剛好在候選屏幕1104右側外部的區(qū)段。這些區(qū)段1306a、1306b可能各自是一個、兩個、三個、四個等像素寬。在顏色對稱測試的一個實施例中，比較區(qū)段1306a與區(qū)段1306b以確定其平均顏色是否大約相同。該測試背后的動機是尋找屏幕幀。典型地，屏幕幀將在每一側上具有相同顏色。以下兩個方程可以使用在顏色對稱測試的一個實施例中。

在這些方程中，是指區(qū)段1306a，并且是指區(qū)段1306b。方程37可以執(zhí)行從一個區(qū)段減去另一個區(qū)段。在一個實施例中，該測試單獨地應用于每一個顏色帶。在一個實施例中，諸如例如通過形成灰度級圖像來組合不同顏色帶。用于給定帶的該測試可以形成用于整個區(qū)段1306a、1306b的單個值，諸如例如通過對用于該顏色帶的像素的值求和（并且可能地歸一化）。然而，對于減法運算，存在其它可能性。

方程38可以求到這兩個區(qū)的內積。要指出，平均顏色圖像1202可以是向量，因為其可以具有三個顏色帶。方程38可以確定這些兩個向量之間的角度。在一個實施例中，這是測試這些兩個向量之間的角度是否充分小。要指出，閾值Tc2可以是0和1之間的值，其中值1指示小角度。因而，Tc2可以是小于但是接近于1的某一值。

用于顏色對稱測試的分值可以基于方程37和/或方程38來確定。在一個實施例中，來自方程37和/或方程38的值例如通過乘以恒定值而調節(jié)。

顏色對稱測試還可以應用于候選屏幕的頂部和底部。圖13B示出了具有候選屏幕1104的平均顏色圖像1202以幫助說明該測試。區(qū)段1306c是剛好在候選屏幕1104底部外部的區(qū)段。區(qū)段1306d是剛好在候選屏幕1104頂部外部的區(qū)。分析可以類似于之前的示例并且將不會詳細地討論。

屏幕邊界顏色均勻性測試

一個實施例是屏幕邊界顏色均勻性測試。該測試背后的原因在于，對于許多屏幕，存在可能期望在顏色方面均勻的屏幕邊界處的幀（或其它元素）。例如，沿屏幕的頂部邊界，可能期望的是可以存在顏色方面的空間均勻性。在一個實施例中，該測試應用于屏幕的四個邊界（例如，頂部、底部、右邊、左邊）。

圖14示出了具有候選屏幕1104的平均顏色圖像1202。示出了在平均顏色圖像1202中的剛好在候選屏幕1104的頂部上方的五個片段I₀、I₁、I₂、I₃、I₄（片段I₂稱為1406）?？梢源嬖诒任鍌€更多或更少的片段。在該示例中，每一個片段1406占據(jù)高度可能是一個或多個像素的某個“帶”。對于右側或左側的測試，帶可以是一個或多個像素寬。

在一個實施例中，將空間相鄰的片段1406彼此比較。為了討論起見，這些相鄰片段1406將被稱為I_j和I_j+1。該測試確定相鄰片段1406中的平均顏色是否類似。可以執(zhí)行眾多可能的測試。以下是一種可能的測試。

方程39的測試確定相鄰片段中的平均顏色之比是否接近于1。該測試可以在每一對相鄰片段1406上執(zhí)行。平均顏色圖像1202可以具有三個顏色帶。在該情況下，方程39的測試可以單獨地應用于每一個顏色帶。另一選項是形成用于三個帶的單個平均“顏色”。這可能包括確定用于平均顏色圖像的灰度級，類似于方程12。

在一個實施例中，所有片段對（用于給定邊界）應當通過測試以便使該邊界通過。測試可以針對其它邊界重復。在一個實施例中，所有邊界應當通過測試以用于使屏幕候選者通過屏幕邊界顏色均勻性測試。

另一種可能的測試是基于如下那樣的歸一化內積。

在方程40中，CU是閾值。用于CU的示例值是剛好在1.0之下的某一值，諸如大約0.94。這僅僅是示例，閾值可以更高或更低。分子是平均顏色圖像中的兩個相鄰片段1406的內積。如上文所討論，那些片段1406可以處于屏幕邊界處。在一個實施例中，片段1406剛好在候選屏幕外部。分母具有如所示出的兩個內積。

在一個實施例中，方程40的測試與每一個片段I_j、I_j+1應當暗于指定參數(shù)的附加要求組合。例如，該參數(shù)可以指定區(qū)段具有某一等級的暗度。

在又一實施例中，片段對I_j、I_j+1應當通過方程39或方程40的測試以用于使該片段對通過。在再一實施例中，片段對I_j、I_j+1應當通過方程39的測試或者通過方程40的測試和前述暗度測試二者以用于使該片段對通過。

前面是屏幕邊界顏色均勻性測試的示例。對于測試候選屏幕的邊界的顏色均勻性而言，存在其它可能性。

角落力度測試

一個實施例是角落力度測試。圖15A和15B是具有屏幕候選者1104以幫助促進對角落力度測試的一個實施例的解釋的示例平均顏色圖像1202的圖示。角落力度測試的一個實施例針對屏幕候選者1104的角落處的顏色上的差異進行測試。該測試背后的一個動機在于，良好的屏幕可以展現(xiàn)“強有力”的角落。強有力的角落可以被限定為其中平均顏色在屏幕角落處急劇地改變的角落。

在圖15A中，描繪了區(qū)段I₁ 1506a、I₂ 1506b、I₃ 1506c和I₄ 1506d。區(qū)段I₁ 1506a和I₃ 1506c剛好在候選屏幕1104內部，在角落接合處。區(qū)段I₂ 1506b和I₄ 1506d剛好在候選屏幕1104外部，在角落接合處。區(qū)段I₁ 1506a的平均顏色可以與區(qū)段I₂ 1506b比較。同樣地，區(qū)段I₃ 1506c的平均顏色可以與區(qū)段I₄ 1506d比較。關于圖15B，區(qū)段I₁ 1506a的平均顏色可以與區(qū)段I₅ 1506e比較。同樣地，區(qū)段I₃ 1506c的平均顏色可以與區(qū)段I₆ 1506f比較。

以下兩個方程可以用于針對圖15A和15B中的區(qū)段的一種可能的測試。

（參見例如圖15A）（41）

（參見例如圖15B）（42）。

在一個實施例中，角落通過以下事實來表征：內部區(qū)段（例如，圖15A中的I₁1506a）不同于兩個不同的外部區(qū)段（例如，圖15A中的I₂ 1506b和圖15B中的I₅ 1506e）。類似原因可以適用于其它角落。以下內容適用于左下角落。

（參見例如圖15A）（43）

和

（參見例如圖15B）（44）。

在這些方程中，CT1是設計成針對明顯顏色改變進行測試的閾值。

縱橫比測試

一個實施例是縱橫比測試。這測試候選屏幕的縱橫比是否合理。以下是要使用的一種可能的方程。

在方程45中，比率通過寬度除以高度而給出，如由屏幕候選者的線所限定。作為一個示例，AR1可以是大約1.1并且AR2可以是大約3.5。每一個值可以更高或更低。要指出，屏幕可能沒有面對相機使得其表面垂直于相機的圖像軸線。這可能影響縱橫比。一個選項是在縱橫比測試之前嘗試補償候選屏幕的這種不大理想的對準。在該情況下，相比于以未經補償?shù)臄?shù)據(jù)工作的情況而言，可能使用用于AR1和AR2的不同值。

對屏幕候選者評分

圖16是基于各種測試對屏幕候選者評分的一個實施例的流程圖。在步驟1602中，通過充分的測試的屏幕候選者被選擇用于進一步的處理。在一個實施例中，選擇通過：1）動作分離測試和縱橫比測試；或者1）顏色分離測試和縱橫比測試的那些屏幕候選者。然而，可以使用不同測試集合。例如，在一個實施例中，不要求通過縱橫比測試。

在步驟1604中，使用各種測試對通過步驟1602的過濾器的屏幕進行評分?？梢允褂帽疚拿枋龅臏y試的任何組合。因而，分值可以是基于以下項中的一個或多個：動作分離測試、顏色分離測試、顏色對稱測試、屏幕邊界顏色均勻性測試和/或角落強度測試。在一個實施例中，使用所有這些測試。在各種實施例中，使用至少兩個、至少三個或者至少四個測試。在一個實施例中，沒有在步驟1604中使用來自縱橫比測試的分值。然而，一個選項是對縱橫比測試評分并且在步驟1604中使用它。

在步驟1606中，通過屏幕分值對屏幕進行排名。具有最高分值的前K個候選者被選擇為用于進一步處理的潛在屏幕。因而，諸如顯示屏、計算機監(jiān)控器、圖像投影儀、街道標志、電子公告板等等屏幕可以位于圖像數(shù)據(jù)中。一旦檢測到屏幕，則可以執(zhí)行進一步的處理。這可以包括TV和視頻內容的自動內容識別、合并屏幕內容和虛擬對象的增強現(xiàn)實體驗、閱讀動態(tài)街道標志、通過大電子公告板傳送和同步消息、識別博物館或其它展示房間中的展覽的身份等。

盡管已經以特定于結構特征和/或方法動作的語言描述了本主題，但是要理解到，在隨附權利要求中限定的主題未必限于以上描述的特定特征或動作。相反，以上描述的特定特征和動作是作為實現(xiàn)權利要求的示例形式而公開的。