電子設(shè)備及其確定描述符的方法
【專利摘要】提供了一種確定電子設(shè)備的亮度梯度的裝置和方法。所述方法包括：識別數(shù)字圖像上的至少一個對象；確定用于識別對象的描述符，其中，確定描述符包括：通過使用數(shù)字圖像上特征點的位置、方向和標度中的至少一個來確定描述符；確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度；以及基于兩個或更多個非正交固定方向來確定像素的亮度梯度。
【專利說明】電子設(shè)備及其確定描述符的方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及電子設(shè)備及其確定描述符的方法。更具體地，本公開涉及電子設(shè)備及其確定描述符的方法，可以在電子設(shè)備中有效率地計算用于識別圖像數(shù)據(jù)上對象的描述符。
【背景技術(shù)】
[0002]增強現(xiàn)實是一種與虛擬對象交疊地示出用戶用眼睛觀看到的真實世界的技術(shù)。增強現(xiàn)實也被稱作混合現(xiàn)實(MR)，這是因為增強現(xiàn)實將真實世界與具有附加信息的虛擬世界相組合，并且實時地作為一個圖像示出了該組合。盡管用虛擬世界補充真實世界的增強現(xiàn)實使用通過計算機圖形產(chǎn)生的虛擬環(huán)境，但是真實環(huán)境在增強現(xiàn)實中起到了主導作用。計算機圖形服務(wù)用于附加地提供真實環(huán)境所需的信息。虛擬現(xiàn)實技術(shù)使得用戶專注于虛擬環(huán)境，使得用戶不能觀看到真實環(huán)境。然而，將真實環(huán)境與虛擬對象混合的增強現(xiàn)實技術(shù)使得用戶能夠觀看到真實環(huán)境，從而提供更好的現(xiàn)實和附加信息。
[0003]相應(yīng)地，需要一種電子設(shè)備及其確定描述符的方法，可以在電子設(shè)備中有效率地計算用于識別圖像數(shù)據(jù)上的對象的描述符。
[0004]以上信息僅被提供用作輔助對本公開的理解的背景信息。任何以上信息未被確定或斷言為本公開的現(xiàn)有技術(shù)。

【發(fā)明內(nèi)容】

[0005]本公開的多個方面意在解決至少上述問題和/或缺點，以及提供至少下述優(yōu)點。因此，本公開的一個方面提供了一種用于提供增強現(xiàn)實的裝置和方法，可以檢測圖像數(shù)據(jù)上的特征點，可以通過使用檢測到的特征點來計算描述符，并且可以通過使用描述符來識別圖像數(shù)據(jù)上的對象。
[0006]在用于檢測圖像數(shù)據(jù)中的特征點的技術(shù)中，一種根據(jù)梯度方向創(chuàng)建描述符的技術(shù)在多種應(yīng)用中具有卓越的能力，但是降低了速度。
[0007]此外，在用于檢測圖像數(shù)據(jù)中的特征點的技術(shù)之中，一種根據(jù)強度改變來創(chuàng)建描述符的技術(shù)可以快速地檢測標度空間，但是由于補片(patch)圍繞特征點旋轉(zhuǎn)而降低了速度。
[0008]根據(jù)本公開的一個方面，提供了一種電子設(shè)備及其確定描述符的方法，可以在電子設(shè)備中有效率地計算用于識別圖像數(shù)據(jù)上的對象的描述符。
[0009]根據(jù)本公開的另一方面，提供了一種確定電子設(shè)備的亮度梯度的方法。該方法包括:識別數(shù)字圖像上的至少一個對象；并且確定用于識別對象的描述符，其中，確定描述符包括:通過使用數(shù)字圖像上特征點的位置、方向和標度中的至少一個來確定描述符，確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度，并且基于兩個或更多個非正交固定方向來確定像素的亮度梯度。
[0010]根據(jù)本公開的另一方面，提供了一種確定電子設(shè)備的亮度梯度的設(shè)備，所述設(shè)備包括:用于識別數(shù)字圖像上的至少一個對象的裝置；用于確定用于識別對象的描述符的裝置，其中，用于確定描述符的裝置包括:用于通過使用數(shù)字圖像上特征點的位置、方向和標度中的至少一個來確定描述符的裝置；用于確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度的裝置；以及用于基于兩個或更多個非正交固定方向來確定像素的亮度梯度的裝置。
[0011]通過以下結(jié)合附圖公開了本公開多個實施例的詳細描述，本公開的其他方面、優(yōu)點和顯著特征對于本領(lǐng)域技術(shù)人員將顯而易見。
【專利附圖】

【附圖說明】
[0012]通過結(jié)合附圖的以下描述，本發(fā)明的特定示例實施例的以上和其他方面、特征和優(yōu)點將變得更加清楚，在附圖中:
[0013]圖1是根據(jù)本公開多個實施例的電子設(shè)備的框圖；
[0014]圖2是根據(jù)本公開多個實施例的增強現(xiàn)實(AR)系統(tǒng)的配置；
[0015]圖3是根據(jù)本公開多個實施例的AR處理單元的框圖；
[0016]圖4是根據(jù)本公開實施例的在電子設(shè)備中計算描述符的操作的流程圖；
[0017]圖5是示出了根據(jù)本公開另一實施例的在電子設(shè)備中計算描述符的操作的流程圖；
[0018]圖6是示出了根據(jù)本公開多個實施例的在電子設(shè)備中針對特征點的區(qū)域設(shè)置操作的視圖；
[0019]圖7A和7B示出了根據(jù)本公開多個實施例的在電子設(shè)備中分別用于計算描述符的非正交濾波器；以及
[0020]圖8是示出了根據(jù)本公開多個實施例的在電子設(shè)備中特征點的方向改變的視圖。
[0021]應(yīng)當理解，所有附圖中類似的附圖標記指示相同或類似的元件、特征和結(jié)構(gòu)。
【具體實施方式】
[0022]提供參考附圖的以下描述來輔助由權(quán)利要求及其等同物限定的本公開多個實施例的全面理解。以下描述包括各種具體細節(jié)以輔助理解，但這些具體細節(jié)應(yīng)僅被示為示例性的。因此，本領(lǐng)域普通技術(shù)人員將認識到，可以在不脫離本公開范圍和精神的情況下對這里描述的多個實施例進行各種改變和修改。此外，為了清楚和簡明起見，省略了公知功能和結(jié)構(gòu)的描述。
[0023]以下描述和權(quán)利要求中使用的術(shù)語和詞語不限于其字面含義，而是僅由發(fā)明人用于使能對本公開的清楚一致的理解。因此，本領(lǐng)域技術(shù)人員應(yīng)當清楚，對本公開多個實施例的以下描述僅被提供用于說明目的，而不意在限制由所附權(quán)利要求及其等同物限定的本公開。
[0024]應(yīng)當理解，單數(shù)形式的不定冠詞和定冠詞包括多個特征的情況，除非上下文明示相反情況。因此，例如，“部件表面”包括一個或多個這種表面。
[0025]根據(jù)本公開多個實施例的電子設(shè)備可以包括具有通信功能的設(shè)備。電子設(shè)備可以包括一個或更多個多種設(shè)備的組合，多種設(shè)備例如是，智能電話、平板個人計算機(PC)、移動電話、視頻電話、電子書閱讀器、桌面PC、膝上型PC、上網(wǎng)本計算機、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、MP3播放器、移動醫(yī)療設(shè)備、電子腕帶、電子智能配件(appcessory)、攝像機、可佩帶設(shè)備、電子鐘、手表、家用電器(例如，冰箱、空調(diào)、吸塵器、烤箱、微波爐、洗衣機、空氣凈化器等)、人造智能機器人、電視(TV)、數(shù)字視頻盤(DVD)播放器、音頻、多種醫(yī)療設(shè)備(例如，磁共振血管造影術(shù)(MRA)、磁共振成像(MRI)、計算層析術(shù)(CT)、電影攝像機、超聲波設(shè)備等)、導航設(shè)備、全球定位系統(tǒng)(GPS)接收機、事件數(shù)據(jù)記錄器(EDR)、飛行數(shù)據(jù)記錄器(FDR)、機頂盒、TV盒(例如，三星HomeSyncTM、蘋果TVTM或谷歌TVTM)、電子字典、車輛信息娛樂設(shè)備、船上電子設(shè)備(例如，船上導航設(shè)備、羅經(jīng)等)、航空電子設(shè)備、安全設(shè)備、電子工作服、電子鑰匙、可攜式攝像機、游戲控制臺、頭戴式顯示器(HMD)、平板顯示器、電子相框、電子相冊、包括通信功能的家具或建筑或結(jié)構(gòu)的一部分、電子板、電子簽名接收設(shè)備、可佩戴設(shè)備或投影儀等。對于本領(lǐng)域技術(shù)人員顯而易見的是，本公開的多個實施例不限于上述設(shè)備。
[0026]圖1是根據(jù)本公開多個實施例的電子設(shè)備100的框圖。
[0027]參照圖11，供電單元110可以在供電管理單元111的控制下，向布置在電子設(shè)備100的殼體中的一個電池或多個電池(未示出)供應(yīng)電力。一個電池或多個電池(未示出)可以向電子設(shè)備100供電。此外，供電單元110可以向電子設(shè)備100供應(yīng)通過與電子設(shè)備的連接器連接的有線纜線從外部電源(未示出)輸入的電力。此外，供電單元110也可以向電子設(shè)備100供應(yīng)通過無線充電技術(shù)從外部電源無線輸入的電力。
[0028]供電管理單元111可以在處理器115的控制下，向電子設(shè)備100供應(yīng)來自供電單元110的電力，或者向供電單元Iio供應(yīng)從外部電源輸入的電力。
[0029]通信單元112可以在處理器115的控制下，允許電子設(shè)備100通過使用至少一個
天線或多個天線經(jīng)由移動通信與外部設(shè)備連接。
[0030]通信單元112可以包括無線局域網(wǎng)(LAN)單元和短距離通信單元中的至少一個。例如，通信單元可以僅包括無線LAN單元或者僅包括短距離通信單元。備選地,通信單元可以包括無線LAN單元和短距離通信單元二者。無線LAN單元可以在處理器115的控制下，在安裝了無線接入點(AP)(未示出)的位置中訪問互聯(lián)網(wǎng)。無線LAN單元可以支持電氣和電子工程師協(xié)會(IEEE)的無線LAN協(xié)議(IEEE802.1lx)。短距離通信單元可以在處理器115的控制下無線地進行短距離通信。短距離通信方案可以包括藍牙、紅外數(shù)據(jù)協(xié)會(IrDA)通信、WiFi直連通信、近場通信(NFC)等。
[0031]通信單元112可以包括GPS單元，并且GPS單元可以從地球軌道中的多個GPS衛(wèi)星(未示出)接收電子波，并且可以通過使用從GPS衛(wèi)星(未示出)到電子設(shè)備100的到達時間來計算電子設(shè)備100的位置。
[0032]射頻(RF)單元113可以向便攜式電話(未示出)、智能電話(未示出)、平板PC或電話號碼被輸入到電子設(shè)備100的其他設(shè)備(未示出)發(fā)送或從其接收針對語音呼叫、視頻呼叫、文本消息(SMS)或多媒體消息(MMS)的無線信號。
[0033]處理器115可以包括中央處理器單元(CPU)、圖形處理單元(GPU)、存儲用于控制電子設(shè)備100的控制程序的只讀存儲器(ROM)、以及用作用于存儲從電子設(shè)備100的外部輸入的信號或數(shù)據(jù)或者針對電子設(shè)備100中執(zhí)行的工作的存儲區(qū)的隨機存取存儲器(RAM)。CPU可以包括單核、雙核、三核或四核。CPU、RAM和ROM可以通過內(nèi)部總線彼此連接。
[0034]處理器115可以控制供電單元110、供電管理單元111、通信單元112、RF單元113、第一存儲器116、第二存儲器117、音頻處理單元118、輸入單元119、顯示單元120、攝像機單元121和傳感器單元122。
[0035]處理器115可以包括:增強現(xiàn)實(AR)單元200，可以對輸入數(shù)據(jù)進行處理，以提供經(jīng)處理的數(shù)據(jù)作為增強現(xiàn)實數(shù)據(jù)。另一方面，AR單元200可以分開配置，而不包括在處理器115中。以下參照圖2和3詳細描述AR的配置。
[0036]根據(jù)本公開的多個實施例，處理器115可以將第一存儲器116中存儲的圖像數(shù)據(jù)處理成可以在增強現(xiàn)實模式下示出的三維(3D)圖像數(shù)據(jù)。
[0037]根據(jù)本公開的多個實施例，處理器115可以配置為識別數(shù)字圖像上的至少一個對象，并且可以確定要用于識別對象的描述符。
[0038]處理器115可以通過使用圖像上特征點的位置、方向和/或標度中的至少一個來確定描述符，以便確定要用于識別對象的描述符。
[0039]處理器115可以確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度，以便確定要用于識別對象的描述符。處理器115可以基于與特征點的方向不同的兩個或更多個非正交固定方向來確定像素的亮度梯度。處理器115可以根據(jù)特征點的方向來轉(zhuǎn)換基于固定方向確定的亮度梯度。
[0040]處理器115設(shè)置特征點周圍區(qū)域。特征點周圍區(qū)域包括基于特征點方向和特征點方向的正交方向而劃分的區(qū)域，并且所劃分區(qū)域在其邊界處彼此交疊。
[0041]處理器115可以沿著針對特征點周圍區(qū)域的至少一個部分中包括的像素的經(jīng)轉(zhuǎn)換亮度梯度的第一方向，對正值求和并且對負值求和，并且可以沿著針對經(jīng)轉(zhuǎn)換亮度梯度的第二方向，對正值求和并且對負值求和。第一方向和第二方向之間的角度可以對應(yīng)于固定方向之間的角度。
[0042]處理器115可以使用至少一對濾波器來確定像素的亮度梯度。可以基于固定方向之一與垂直或水平方向之間的角度α或β來至少部分地確定濾波器的相對位置。
[0043]根據(jù)本公開的多個實施例，處理器115可以設(shè)置特征點周圍區(qū)域，并且可以考慮特征點的方向?qū)⒃搮^(qū)域劃分成多個子區(qū)域，以便確定描述符。處理器115可以向每個子區(qū)域的像素應(yīng)用具有與特征點的方向非正交的固定方向的兩個濾波器，來檢測通過相應(yīng)兩個濾波器輸出的dl值和2d值。處理器115可以將dl值和d2值分別轉(zhuǎn)換到與特征點的方向一致的dl’值和d2’值。
[0044]處理器115可以針對多個子區(qū)域中的每個子區(qū)域的像素，分別計算dl值的正數(shù)之和與d2值的正數(shù)之和，以及分別計算dl值的負數(shù)之和與d2值的負數(shù)之和。處理器115可以針對多個子區(qū)域中的每個子區(qū)域的像素，創(chuàng)建包括正數(shù)之和與負數(shù)之和的向量。
[0045]此外，處理器115可以針對多個子區(qū)域中的每一個子區(qū)域的像素，計算dl’值之和以及d2’值之和，并且針對每個子區(qū)域使用dl’值之和以及d2’值之和來創(chuàng)建向量。
[0046]處理器115可以通過使用相應(yīng)多個子區(qū)域的多個向量，確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度。
[0047]第一存儲器116可以在處理器115的控制下，存儲輸入和輸出的信號或數(shù)據(jù)，以對應(yīng)于通信單元112、RF單元113、輸入單元119、攝像機單元121、傳感器單元122和用作觸摸屏單元的顯示單元120的操作。第一存儲器116可以存儲用于控制電子設(shè)備100或處理器115的控制程序以及應(yīng)用。第一存儲器116可以存儲數(shù)字通信數(shù)據(jù)。
[0048]第二存儲器117是可以插入到電子設(shè)備100中或從電子設(shè)備100拆卸的外部存儲器，并且可以在處理器115的控制下，存儲輸入或輸出的信號或數(shù)據(jù)，以對應(yīng)于通信單元112、RF單元113、輸入單元119、攝像機單元121、傳感器單元122和用作觸摸屏單元的顯示單元120的操作。
[0049]音頻處理單元118可以包括對發(fā)射信號進行編碼和調(diào)制的發(fā)射機以及對接收信號進行解調(diào)和解碼的接收機，并且可以配置有調(diào)制解調(diào)器和編解碼器。編解碼器可以包括用于處理分組數(shù)據(jù)的數(shù)據(jù)編解碼器以及用于處理包括語音的音頻信號的音頻編解碼器。音頻處理單元118可以向與電子設(shè)備連接的揚聲器或耳機輸出從音頻編解碼器輸出的接收音頻信號，或者可以通過音頻編解碼器向處理器115發(fā)送從麥克風或接收機產(chǎn)生的發(fā)射音頻信號。
[0050]輸入單元119可以包括用戶的觸摸輸入和通過觸摸筆的觸摸輸入。用戶的觸摸輸入和通過觸摸筆的觸摸輸入分別均輸入到用作觸摸屏幕單元的顯示單元。
[0051]輸入單元119可以從用戶接收用于控制電子設(shè)備100的鍵輸入。輸入單元119可以包括在電子設(shè)備100中形成的物理鍵區(qū)(未示出)或者在可以用作觸摸屏單元的顯示單元120上顯示的虛擬鍵區(qū)(未示出)。根據(jù)電子設(shè)備100的容量或結(jié)構(gòu)，可以不包括在電子設(shè)備100中形成的物理鍵區(qū)(未示出)。
[0052]顯示單元120可以使用液晶顯示器(IXD)，在這種情況下，顯示單元120可以包括IXD控制器、可以存儲圖像數(shù)據(jù)的存儲器、IXD顯示元件等。當IXD以觸摸屏類型實現(xiàn)時，顯示單元也可以作為輸入單元操作，并且虛擬鍵區(qū)可以顯示在顯示單元120上。此外，在顯示單元120以觸摸屏類型實現(xiàn)并因此用作觸摸屏單元的情況下，觸摸屏單元配置有包括多個傳感器面板的觸摸屏面板(TSP)，并且多個傳感器面板可以包括能夠識別手觸摸的電容型傳感器面板以及能夠檢測諸如觸摸筆等細觸摸的電磁感應(yīng)型傳感器面板。
[0053]攝像機單元121是圖像產(chǎn)生設(shè)備，并且可以包括在處理器的控制下拍攝靜止圖像或運動圖像的第一和第二攝像機中的至少一個。此外，第一攝像機或第二攝像機可以包括提供拍攝所需光的輔助光源(例如，閃光燈(未示出))。第一攝像機布置在電子設(shè)備100的正面，第二攝像機布置在電子設(shè)備的背面。按照不同方式，第一和第二攝像機彼此鄰近布置(例如，第一攝像機和第二攝像機之間的間隔大于Icm或小于8cm)來拍攝3D靜止圖像或3D運動圖像。
[0054]傳感器單元122可以包括用于檢測電子設(shè)備100的狀態(tài)的至少一個傳感器。例如，傳感器單元122可以包括用于檢測用戶是否接近電子設(shè)備100的接近度傳感器、用于檢測電子設(shè)備100的環(huán)境光量的照度傳感器(未示出)、用于檢測電子設(shè)備100的操作(例如，電子設(shè)備100的旋轉(zhuǎn)、對電子設(shè)備100施加的加速度或振動)的運動傳感器(未示出)、用于通過使用地球磁場檢測羅盤指向的地磁傳感器(未示出)、用于檢測重力作用方向的重力傳感器、以及用于通過測量大氣壓來檢測高度的高度計。至少一個傳感器可以檢測狀態(tài)，產(chǎn)生與檢測相對應(yīng)的信號，并且向處理器115發(fā)送產(chǎn)生的信號?？梢愿鶕?jù)電子設(shè)備的能力添加或省略傳感器單元122的傳感器。
[0055]圖2是根據(jù)本公開多個實施例的增強現(xiàn)實(AR)系統(tǒng)的配置。
[0056]參照圖2，該系統(tǒng)可以包括AR單元200，AR單元200包括AR處理單元210和AR內(nèi)容管理單元220。
[0057]作為系統(tǒng)的主單元的AR處理單元210可以從電子設(shè)備100中包括的攝像機單元、媒體單元、音頻單元和傳感器單元中的至少一個接收輸入數(shù)據(jù)。AR處理單元210可以使用電子設(shè)備100的另一配置(即，存儲器、CPU或GPU)來對輸入數(shù)據(jù)進行AR處理。AR處理單元210可以通過使用存儲了參考數(shù)據(jù)的高速緩存230、本地參考數(shù)據(jù)庫(DB) 250來、或者用于從輸入數(shù)據(jù)識別目標的遠程參考DB270來處理輸入數(shù)據(jù)，并且可以向AR內(nèi)容管理單元220輸出針對輸入數(shù)據(jù)的處理結(jié)果數(shù)據(jù)。
[0058]AR處理單元210可以將從攝像機單元121接收到的圖像數(shù)據(jù)、從媒體單元接收到的運動圖像的圖像數(shù)據(jù)和音頻數(shù)據(jù)、以及從音頻單元接收到的音頻數(shù)據(jù)處理成針對增強現(xiàn)實的數(shù)據(jù)。根據(jù)從傳感器單元122接收到的傳感器數(shù)據(jù)類型，AR處理單元210可以通過檢測電子設(shè)備100的運動來將電子設(shè)備100改變到增強現(xiàn)實模式，或者可以在增強現(xiàn)實模式下在輸出圖像數(shù)據(jù)和音頻數(shù)據(jù)的同時產(chǎn)生振動。
[0059]針對輸入數(shù)據(jù)的處理結(jié)果數(shù)據(jù)可以包括針對輸入數(shù)據(jù)的目標的識別信息和本地信息。本地信息可以用于在目標對應(yīng)于圖像數(shù)據(jù)時確定二維和/或三維姿態(tài)，識別信息可以用于確定目標類型。
[0060]AR內(nèi)容管理單元220可以基于從AR處理單元210接收到的針對輸入數(shù)據(jù)的處理結(jié)果數(shù)據(jù)，從本地內(nèi)容DB260或遠程內(nèi)容DB280中檢測與針對輸入數(shù)據(jù)的處理結(jié)果數(shù)據(jù)相對應(yīng)的內(nèi)容，并且可以基于檢測到內(nèi)容來配置和輸出視頻和音頻輸出數(shù)據(jù)。
[0061]在本公開的多個實施例中，可以作為示例描述AR處理單元提供通過攝像機單元接收到的輸入圖像數(shù)據(jù)作為增強現(xiàn)實圖像數(shù)據(jù)的情況。
[0062]圖3是根據(jù)本公開多個實施例的AR處理單元的框圖。
[0063]參照圖3,AR處理單元210可以包括識別單元311、初始姿態(tài)計算單元312、和跟蹤單元313?？梢詫⑤斎雸D像數(shù)據(jù)輸出至識別單元311或跟蹤單元313，并且識別單元311或跟蹤單元313可以并行地執(zhí)行.[0064]識別單元311可以至少部分地基于參考圖像數(shù)據(jù)，識別輸入圖像數(shù)據(jù)上的對象的類型。識別單元311可以使用電子設(shè)備100內(nèi)部存儲設(shè)備或外部存儲設(shè)備中存儲的參考圖像數(shù)據(jù)來識別對象。例如，臉部識別需要外部參考臉部數(shù)據(jù)庫來識別與經(jīng)認證的臉部不同的臉部。同時，快速響應(yīng)(QR)碼可以具有電子設(shè)備的內(nèi)部參考數(shù)據(jù)，這是因為QR碼通常僅需要特性特定規(guī)則來識別數(shù)據(jù)庫中的QR碼，并且在一般情況下不必動態(tài)更新。
[0065]識別單元311可以包括特征點檢測單元31 la、描述符計算單元31 Ib和圖像搜索單元 311c。
[0066]當從攝像機單元121接收到輸入圖像數(shù)據(jù)時，特征點檢測單元311a可以從輸入圖像數(shù)據(jù)中檢測特征點。特征點檢測單元311a可以向描述符計算單元311b發(fā)送檢測到的特征點。
[0067]描述符計算單元311b可以通過使用從特征點檢測單元311a接收的檢測到的特征點來計算并產(chǎn)生描述符，并且可以向圖像搜索單元311c發(fā)送產(chǎn)生的描述符。
[0068]根據(jù)本公開的多個實施例，描述符計算單元311b可以配置為識別數(shù)字圖像上的至少一個對象，并且可以確定要用于識別對象的描述符。
[0069]描述符計算單元311b可以通過使用圖像上特征點的位置、方向和/或標度中的至少一個來確定描述符，以便確定要用于識別對象的描述符。
[0070]描述符計算單元311b可以確定位于每個特征點周圍區(qū)域內(nèi)的像素的亮度梯度，以便確定要用于識別對象的對應(yīng)描述符。描述符計算單元311b可以基于與特征點的方向不同的兩個或更多個非正交固定方向，確定像素的亮度梯度。描述符計算單元311b可以根據(jù)特征點的方向，轉(zhuǎn)換基于固定方向確定的亮度梯度。
[0071]描述符計算單元311b設(shè)置特征點周圍區(qū)域。特征點周圍區(qū)域包括基于特征點的方向和與特征點的方向正交的方向而劃分的區(qū)域，并且所劃分區(qū)域在其邊界處彼此交疊。
[0072]描述符計算單元311b可以沿著特征點周圍區(qū)域的至少一個部分中包括的像素的經(jīng)轉(zhuǎn)換亮度梯度的第一方向，對正值求和并且對負值求和，并且可以沿著針對經(jīng)轉(zhuǎn)換亮度梯度的第二方向，對正值求和并且對負值求和。第一方向和第二方向之間的角度可以對應(yīng)于固定方向之間的角度。
[0073]描述符計算單元311b可以使用至少一對濾波器來確定像素的亮度梯度?？梢曰诠潭ǚ较蛑慌c垂直或水平方向之間的角度α或β來至少部分地確定濾波器的相對位置。
[0074]根據(jù)本公開的多個實施例，描述符計算單元311b可以設(shè)置特征點周圍區(qū)域，并且可以考慮特征點的方向?qū)⒃搮^(qū)域劃分成多個子區(qū)域，以便確定描述符。描述符計算單元311b可以向每個子區(qū)域的像素應(yīng)用具有與特征點的方向非正交的方向的兩個濾波器，來檢測通過相應(yīng)兩個濾波器輸出的dl值和2d值。處理器115可以將值dl和值d2分別轉(zhuǎn)換到與特征點的方向一致的值dl’和值d2’。
[0075]描述符計算單元311b可以針對多個子區(qū)域中的每個子區(qū)域的像素，分別計算dl值的正數(shù)之和與d2值的正數(shù)之和，以及分別計算dl值的負數(shù)之和與d2值的負數(shù)之和。描述符計算單元311b可以針對多個子區(qū)域中的每個子區(qū)域，創(chuàng)建包括正數(shù)之和與負數(shù)之和的向量。
[0076]此外，描述符計算單元311b可以針對多個子區(qū)域中的每一個子區(qū)域的像素，計算dl’值之和以及d2’值之和，并且針對每個子區(qū)域通過使用dl’值之和以及d2’值之和來創(chuàng)
建向量。
[0077]描述符計算單元311b可以通過使用相應(yīng)多個子區(qū)域的多個向量，確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度。
[0078]圖像搜索單元311c可以通過使用從描述符計算單元311b接收到的所計算描述符，在本地參考DB250或遠程參考DB270中檢測與輸入圖像數(shù)據(jù)相對應(yīng)的參考圖像數(shù)據(jù)，并且可以通過至少一個檢測到的參考圖像數(shù)據(jù)，識別輸入圖像數(shù)據(jù)上的對象。
[0079]初始姿態(tài)計算單元412可以計算針對通過檢測輸入圖像數(shù)據(jù)中的特征點而識別的對象的初始姿態(tài)。
[0080]初始姿態(tài)計算單元312可以包括特征點匹配單元312a和初始姿態(tài)估計單元312b。
[0081]特征點匹配單元312a可以通過使用從識別單元311接收到的所計算描述符來執(zhí)行特征點的匹配操作，并且可以向初始姿態(tài)估計單元312b發(fā)送與特征點有關(guān)的匹配信息。
[0082]初始姿態(tài)估計單元312b可以通過從特征點匹配單元312a接收到的特征點的匹配信息，估計輸入圖像數(shù)據(jù)的對象的初始姿態(tài)。
[0083]跟蹤單元313可以動態(tài)地跟蹤通過攝像機單元121順序接收的至少一個輸入圖像數(shù)據(jù)中對象的姿態(tài)改變。
[0084]跟蹤單元313可以從初始姿態(tài)計算單元312中獲取初始信息，通過該初始信息可以估計輸入圖像數(shù)據(jù)的對象的初始姿態(tài)；連續(xù)跟蹤順序接收到的每一個輸入圖像數(shù)據(jù)中的對象；并且動態(tài)地計算對象的姿態(tài)改變。跟蹤單元313可以輸出識別信息和本地信息，識別信息表示對象的類型，本地信息表示順序接收到的每一個輸入圖像數(shù)據(jù)中的對象的姿態(tài)。
[0085]跟蹤單元313可以包括姿態(tài)預測單元313a、特征點檢測單元313b、描述符計算單元313c、特征點匹配單元313d和姿態(tài)估計單元313e。
[0086]姿態(tài)預測單元313a可以通過先前已輸入的至少一個輸入圖像數(shù)據(jù)中對象的估計姿態(tài)，預測下個輸入圖像數(shù)據(jù)上對象的姿態(tài)。
[0087]特征點檢測單元313b可以檢測在估計輸入圖像數(shù)據(jù)的對象的初始姿態(tài)之后順序接收到的輸入圖像數(shù)據(jù)中的特征點，并且可以向描述符計算單元313c發(fā)送檢測到的特征點。
[0088]描述符計算單元313c可以通過使用從特征點檢測單元313c接收到的輸入圖像數(shù)據(jù)的特征點來計算描述符，并且可以向特征點匹配單元313d發(fā)送所計算描述符。
[0089]特征點匹配單元313d可以通過使用從描述符計算單元313c接收到的所計算描述符，對特征點執(zhí)行匹配操作，并且可以向姿態(tài)估計單元313e發(fā)送特征點的匹配信息。
[0090]姿態(tài)估計單元313e可以通過使用與特征點匹配單元313d接收到的與特征點有關(guān)的匹配信息，動態(tài)地估計至少一個順序接收到的輸入圖像數(shù)據(jù)中的對象姿態(tài)改變，并且可以輸出識別信息和本地信息，識別信息表示對象的類型，本地信息表示每個輸入圖像數(shù)據(jù)上的對象的姿態(tài)。
[0091]盡管根據(jù)本公開的多個實施例處理器中包括的AR單元在電子設(shè)備中執(zhí)行AR處理，但是處理器可以執(zhí)行與AR單元的功能相同的功能。
[0092]以下參照圖4至8詳細描述上述電子設(shè)備中計算描述符的操作。
[0093]圖4是根據(jù)本公開實施例的在電子設(shè)備中計算描述符的操作的流程圖，圖6是示出了根據(jù)本公開多個實施例的在電子設(shè)備中針對特征點的區(qū)域設(shè)置操作的視圖，圖7A和7B示出了根據(jù)本公開多個實施例的在電子設(shè)備中分別用于計算描述符的非正交濾波器，以及圖8是示出了根據(jù)本公開多個實施例的在電子設(shè)備中特征點的方向改變的視圖。
[0094]在下文中，可以參照圖4和6至8以及圖1至3詳細描述本公開的多個實施例。
[0095]參照圖4，當在操作401中電子設(shè)備100改變到增強現(xiàn)實模式并且從攝像機單元121輸入圖像數(shù)據(jù)時，在操作403中，識別單元311的特征點檢測單元311a可以檢測輸入圖像數(shù)據(jù)上的至少一個特征點、特征點的方向以及特征點標度。
[0096]當在操作403中檢測到特征點的方向和標度中的至少一個時，在操作405中，識別單元311的描述符計算單元311b可以考慮特征點的方向來設(shè)置每個特征點周圍的區(qū)域。
[0097]在操作407中，描述符計算單元311b可以基于特征點的方向以及與特征點的方向正交的方向，將特征點周圍設(shè)置的區(qū)域劃分成多個子區(qū)域。描述符計算單元311b可以在將特征點周圍設(shè)置的區(qū)域劃分成多個子區(qū)域時使得多個子區(qū)域在它們的邊界處彼此交疊。
[0098]在參照圖6描述操作405和407時，描述符計算單元311b可以設(shè)置特征點(a)周圍區(qū)域A，基于特征點的方向X1和與特征點的方向正交的方向Y1，將區(qū)域A劃分成多個子區(qū)域601至604，并且使得多個子區(qū)域601至604在它們的邊界al至a4處彼此交疊，如圖6所示。
[0099]在圖4的操作409中，描述符計算單元311b可以對多個子區(qū)域中的每一個子區(qū)域的像素應(yīng)用具有與特征點的方向非正交的固定方向的兩個濾波器，例如，針對Y軸斜率(slope)的第一濾波器和針對X軸斜率的第二濾波器，并且可以檢測從相應(yīng)兩個濾波器輸出的dl值和d2值。
[0100]在參照圖7A描述第一濾波器時，針對Y軸斜率的第一濾波器可以包括加(+)濾波器701和減㈠濾波器702，并且加⑴濾波器701和減㈠濾波器702中的任一個可以根據(jù)第一濾波器的非正交方向而移動。
[0101]加⑴濾波器701和減㈠濾波器702中的任一個可以根據(jù)第一濾波器的非正交方向而移動的移動距離S可以通過方程I計算如下。
【權(quán)利要求】
1.一種確定電子設(shè)備的亮度梯度的方法，所述方法包括: 識別數(shù)字圖像上的至少一個對象； 確定用于識別對象的描述符， 其中，確定描述符包括: 通過使用數(shù)字圖像上特征點的位置、方向和標度中的至少一個來確定描述符； 確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度；并且 基于兩個或更多個非正交固定方向來確定像素的亮度梯度。
2.根據(jù)權(quán)利要求1所述的方法，其中，確定描述符還包括: 根據(jù)特征點的方向，轉(zhuǎn)換基于固定方向確定的亮度梯度。
3.根據(jù)權(quán)利要求2所述的方法，還包括: 沿著特征點周圍區(qū)域的至少一個部分中包含的像素的經(jīng)轉(zhuǎn)換亮度梯度的第一方向，對正值求和并且對負值求和；并且 沿著經(jīng)轉(zhuǎn)換亮度梯度的第二方向，對正值求和并且對負值求和， 其中，第一方向和第二方向之間的角度對應(yīng)于固定方向之間的角度。
4.根據(jù)權(quán)利要求1所述的方法，其中，確定描述符包括: 設(shè)置特征特征點周圍區(qū)域， 其中，特征點周圍區(qū)域包括基于特征點的方向和與特征點的方向正交的方向劃分的區(qū)域，并且所劃分區(qū)域在所劃分區(qū)域的邊界處彼此交疊。
5.根據(jù)權(quán)利要求1所述的方法，其中，確定描述符包括: 使用至少一對濾波器來確定像素的亮度梯度， 其中，濾波器的相對位置是至少部分地基于固定方向之一與垂直方向和水平方向之一之間的角度α和角度β之一來確定的。
6.根據(jù)權(quán)利要求1所述的方法，其中，固定方向與特征點的方向不同。
7.根據(jù)權(quán)利要求1所述的方法，其中，確定描述符包括: 設(shè)置特征點周圍區(qū)域； 將特征點周圍區(qū)域劃分成多個子區(qū)域； 對每個子區(qū)域的像素應(yīng)用具有與特征點的方向非正交的固定方向的兩個濾波器； 分別檢測通過兩個濾波器輸出的dl值和d2值； 將dl值和d2值轉(zhuǎn)換成與特征點的方向一致的dl’值和d2’值； 針對子區(qū)域的像素分別計算dl’值的正數(shù)之和與d2’值的正數(shù)之和并且分別計算dl’值的負數(shù)之和與d2’值的負數(shù)之和； 創(chuàng)建包括子區(qū)域的正數(shù)之和以及負數(shù)之和在內(nèi)的向量；并且 通過使用相應(yīng)多個子區(qū)域的多個向量來確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度。
8.一種確定電子設(shè)備的亮度梯度的設(shè)備，所述設(shè)備包括: 用于識別數(shù)字圖像上的至少一個對象的裝置； 用于確定用于識別對象的描述符的裝置， 其中，用于確定描述符的裝置包括: 用于通過使用數(shù)字圖像上特征點的位置、方向和標度中的至少一個來確定描述符的裝置； 用于確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度的裝置；以及 用于基于兩個或更多個非正交固定方向來確定像素的亮度梯度的裝置。
9.根據(jù)權(quán)利要求8所述的方法，其中，用于確定描述符的裝置還包括: 用于根據(jù)特征點的方向轉(zhuǎn)換基于固定方向確定的亮度梯度的裝置。
10.根據(jù)權(quán)利要求9所述的設(shè)備，還包括: 用于沿著特征點周圍區(qū)域的至少一個部分中包含的像素的經(jīng)轉(zhuǎn)換亮度梯度的第一方向?qū)φ登蠛筒⑶覍ω撝登蠛偷难b置；以及 用于沿著經(jīng)轉(zhuǎn)換亮度梯度的第二方向?qū)φ登蠛筒⑶覍ω撝登蠛偷难b置， 其中，第一方向和第二方向之間的角度對應(yīng)于固定方向之間的角度。
11.根據(jù)權(quán)利要求8所述的設(shè)備，其中，用于確定描述符的裝置包括: 用于設(shè)置特征特征點周圍區(qū)域的裝置， 其中，特征點周圍區(qū)域包括基于特征點的方向和與特征點的方向正交的方向劃分的區(qū)域，并且所劃分區(qū)域在所劃分區(qū)域的邊界處彼此交疊。
12.根據(jù)權(quán)利要求8 所述的方法，其中，用于確定描述符的裝置包括: 用于使用至少一對濾波器來確定像素的亮度梯度的裝置， 其中，濾波器的相對位置是至少部分地基于固定方向之一與垂直方向和水平方向之一之間的角度α和角度β之一來確定的。
13.根據(jù)權(quán)利要求8所述的方法，其中，固定方向與特征點的方向不同。
14.根據(jù)權(quán)利要求8所述的方法，其中，用于確定描述符的裝置包括: 用于設(shè)置特征點周圍區(qū)域的裝置； 用于將特征點周圍區(qū)域劃分成多個子區(qū)域的裝置； 用于對每個子區(qū)域的像素應(yīng)用具有與特征點的方向非正交的固定方向的兩個濾波器的裝置； 用于分別檢測通過兩個濾波器輸出的dl值和d2值的裝置； 用于將dl值和d2值轉(zhuǎn)換成與特征點的方向一致的dl’值和d2’值的裝置； 用于針對子區(qū)域的像素分別計算dl’值的正數(shù)之和與d2’值的正數(shù)之和并且分別計算dl’值的負數(shù)之和與d2’值的負數(shù)之和的裝置； 用于創(chuàng)建包括子區(qū)域的正數(shù)之和以及負數(shù)之和在內(nèi)的向量的裝置；以及用于通過使用相應(yīng)多個子區(qū)域的多個向量來確定位于特征點周圍區(qū)域內(nèi)的像素的亮度梯度的裝置。
【文檔編號】G06T5/00GK103996016SQ201410051711
【公開日】2014年8月20日 申請日期:2014年2月14日 優(yōu)先權(quán)日:2013年2月15日
【發(fā)明者】曹益煥, 曹圭星, 奧勒西·塞里奧維奇·潘弗羅夫, 熱那迪·雅羅斯拉伏維奇·基斯 申請人:三星電子株式會社