用于提取對(duì)象的設(shè)備和方法
【專利摘要】提供一種用于提取對(duì)象的設(shè)備和方法，所述方法包括：對(duì)用于將被提取的對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大小；使用至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描由相機(jī)捕獲的圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象；顯示關(guān)于提取的對(duì)象的位置的信息。
【專利說(shuō)明】用于提取對(duì)象的設(shè)備和方法
[0001]本申請(qǐng)要求于2012年8月24日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2012-0093030號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，該申請(qǐng)的公開(kāi)通過(guò)引用全部包含于此。
【技術(shù)領(lǐng)域】
[0002]示例性實(shí)施例涉及一種用于在圖像中快速并精確地提取對(duì)象的設(shè)備和方法。
【背景技術(shù)】
[0003]現(xiàn)有技術(shù)可提取并跟蹤諸如人或車輛的對(duì)象。此現(xiàn)有技術(shù)已成為圖像分析研究和監(jiān)控/警戒領(lǐng)域中的重要技術(shù)。此現(xiàn)有技術(shù)可被用于通過(guò)在特定區(qū)域中安裝相機(jī)來(lái)找出犯罪人員或違反交通規(guī)則的車輛。另外，現(xiàn)有技術(shù)可被用于通過(guò)在移動(dòng)設(shè)備上安裝相機(jī)來(lái)避開(kāi)障礙或檢測(cè)并跟蹤闖入者。
[0004]在現(xiàn)有技術(shù)的對(duì)象提取方法中，將被提取的對(duì)象的模型圖案被設(shè)置，整個(gè)圖像被重復(fù)地調(diào)整大小以在圖像中搜索與設(shè)置的模型圖案的尺寸匹配的對(duì)象。隨后，在現(xiàn)有技術(shù)中，通過(guò)在調(diào)整大小的圖像中掃描設(shè)置的模型圖案來(lái)提取相似的對(duì)象。然而，在這樣的對(duì)象提取方法中，由于整個(gè)圖像應(yīng)被調(diào)整大小，因此，計(jì)算處理復(fù)雜并且花費(fèi)大量的時(shí)間。

【發(fā)明內(nèi)容】

[0005]示例性實(shí)施例可提供一種用于通過(guò)對(duì)將被提取的對(duì)象的模型圖案調(diào)整大小并在捕獲的圖像中掃描調(diào)整大小的模型圖案來(lái)快速并精確地提取對(duì)象的設(shè)備。
[0006]示例性實(shí)施例還可提供一種用于通過(guò)對(duì)將被提取的對(duì)象的模型圖案調(diào)整大小并在捕獲的圖像中掃描調(diào)整大小的模型圖案來(lái)快速并精確地提取對(duì)象的方法。
[0007]根據(jù)示例性實(shí)施例的一方面，提供一種提取對(duì)象的方法，所述方法包括:對(duì)用于將被提取的對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大?。皇褂弥辽僖粋€(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描由相機(jī)捕獲的圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象；顯示關(guān)于提取的對(duì)象的位置的信肩、Ο
[0008]所述方法還可包括:從存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案中選擇將被提取的對(duì)象的對(duì)象模型圖案，并將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案。
[0009]執(zhí)行至少一個(gè)調(diào)整大小的步驟可包括:對(duì)提取模型圖案執(zhí)行至少一個(gè)縮小和放大調(diào)整大小。
[0010]執(zhí)行至少一個(gè)調(diào)整大小的步驟可包括:執(zhí)行向前映射，其中，提取模型圖案的圖像的坐標(biāo)被映射到將被調(diào)整大小的圖像的坐標(biāo)。
[0011]所述方法還可包括:將關(guān)于提取的對(duì)象的位置的信息和關(guān)于對(duì)與所述對(duì)象匹配的提取模型圖案的所述至少一個(gè)調(diào)整大小的信息傳送到下一圖像幀。
[0012]所述方法還可包括:對(duì)存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案執(zhí)行至少一個(gè)調(diào)整大小；將通過(guò)執(zhí)行所述至少一個(gè)調(diào)整大小獲取的結(jié)果存儲(chǔ)在數(shù)據(jù)庫(kù)中。[0013]提取對(duì)象的步驟可包括:使用存儲(chǔ)在數(shù)據(jù)庫(kù)中的所述至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象。
[0014]獲取圖像幀的步驟可包括:獲取由第一相機(jī)捕獲的第一圖像幀；獲取由第二相機(jī)捕獲的第二圖像幀。
[0015]執(zhí)行至少一個(gè)調(diào)整大小的步驟可包括:對(duì)用于在第一圖像幀中將被提取的對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大小。
[0016]提取對(duì)象的步驟可包括:使用所述至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描第一圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的第一對(duì)象；通過(guò)將關(guān)于從第一圖像幀提取的第一對(duì)象的位置的信息和關(guān)于提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到第二圖像幀來(lái)提取第二對(duì)象。
[0017]所述方法還可包括:針對(duì)第一對(duì)象的提取的區(qū)域和第二對(duì)象的提取的區(qū)域，將第一圖像幀與第二圖像幀進(jìn)行匹配。
[0018]顯示關(guān)于位置的信息的步驟可包括:在匹配的圖像幀中顯示關(guān)于對(duì)象的位置的信
肩、Ο
[0019]根據(jù)示例性實(shí)施例的另一方面，提供一種用于提取對(duì)象的設(shè)備，包括:調(diào)整大小裝置，對(duì)將被提取的對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大??；對(duì)象提取裝置，使用至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描由相機(jī)捕獲的圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象；顯示裝置，在圖像幀中顯示關(guān)于提取的對(duì)象的位置的信息。
[0020]所述設(shè)備還可包括:模型設(shè)置裝置，從存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案中選擇將被提取的對(duì)象的對(duì)象模型圖案，并將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案。
[0021]調(diào)整大小裝置可對(duì)提取模型圖案執(zhí)行至少一個(gè)縮小和放大調(diào)整大小，并可執(zhí)行向前映射，其中，提取模型圖案的圖像的坐標(biāo)被映射到將被調(diào)整大小的圖像的坐標(biāo)。
[0022]對(duì)象提取裝置可將關(guān)于提取的對(duì)象的位置的信息和關(guān)于對(duì)與所述對(duì)象匹配的提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到下一圖像幀。
[0023]根據(jù)示例性實(shí)施例的另一方面，提供一種用于提取對(duì)象的設(shè)備，包括:第一相機(jī)，獲取第一圖像幀；第二相機(jī)，獲取第二圖像幀；模型設(shè)置裝置，從存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案中選擇將被提取的對(duì)象的對(duì)象模型圖案，并將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案；調(diào)整大小裝置，對(duì)設(shè)置的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大??；對(duì)象提取裝置，使用至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描第一圖像幀，提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的第一對(duì)象，并通過(guò)將關(guān)于從第一圖像幀提取的第一對(duì)象的位置的信息和關(guān)于提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到第二圖像幀來(lái)提取第二對(duì)象；匹配裝置，針對(duì)第一對(duì)象的提取的區(qū)域和第二對(duì)象的提取的區(qū)域，將第一圖像幀與第二圖像幀進(jìn)行匹配；顯示裝置，在匹配的圖像幀中顯示關(guān)于對(duì)象的位置的信息。
[0024]調(diào)整大小裝置可對(duì)提取模型圖案執(zhí)行至少一個(gè)縮小和放大調(diào)整大小，并可執(zhí)行向前映射，其中，提取模型圖案的圖像的坐標(biāo)被映射到將被調(diào)整大小的圖像的坐標(biāo)。[0025]對(duì)象提取裝置可將關(guān)于提取的對(duì)象的位置的信息和關(guān)于對(duì)與所述對(duì)象匹配的提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到由第一相機(jī)捕獲的下一第一圖像幀。
[0026]根據(jù)示例性實(shí)施例的另一方面，提供一種計(jì)算機(jī)可讀記錄介質(zhì)，其中，在其上記錄用于執(zhí)行提取對(duì)象的方法的程序，所述方法包括:獲取由相機(jī)捕獲的圖像幀；對(duì)用于在圖像幀中提取對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大??；使用至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象；顯示關(guān)于提取的對(duì)象的位置的信息。
[0027]如上所述，根據(jù)示例性實(shí)施例，可通過(guò)對(duì)將被提取的對(duì)象的模型圖案調(diào)整大小并在捕獲的圖像中掃描調(diào)整大小的模型圖案來(lái)快速并精確地提取對(duì)象。
【專利附圖】

【附圖說(shuō)明】
[0028]通過(guò)參照附圖詳細(xì)描述示例性實(shí)施例，示例性實(shí)施例的以上和其它特征和優(yōu)點(diǎn)將會(huì)變得更清楚，其中:
[0029]圖1是示意性示出根據(jù)實(shí)施例的對(duì)象提取設(shè)備的結(jié)構(gòu)的框圖；
[0030]圖2A至圖2D是示出存儲(chǔ)在圖1的數(shù)據(jù)庫(kù)中的各種類型的對(duì)象模型圖案的示圖；
[0031]圖3是示出由圖1的相機(jī)捕獲的圖像幀的示例的示圖；
[0032]圖4A至圖4G是示出由圖1的模型設(shè)置單元設(shè)置的提取模型圖案的縮小/放大調(diào)整大小的結(jié)果的示圖；
[0033]圖5是用于解釋使用向前映射進(jìn)行圖像調(diào)整大小的示圖；
[0034]圖6A至圖6F是示出圖1的對(duì)象提取單元通過(guò)使用每個(gè)縮小或放大調(diào)整大小的提取模型圖案來(lái)掃描圖像幀以提取對(duì)象的處理的示圖；
[0035]圖7是示意性示出根據(jù)另一實(shí)施例的對(duì)象提取設(shè)備的結(jié)構(gòu)的框圖；
[0036]圖8A至圖8C是示意性示出在由圖7的第一相機(jī)捕獲的第一圖像幀和由圖7的第二相機(jī)捕獲的第二圖像幀中提取并匹配對(duì)象的示圖；
[0037]圖9是示出根據(jù)實(shí)施例的提取對(duì)象的方法的流程圖；
[0038]圖10是示出根據(jù)另一實(shí)施例的提取對(duì)象的方法的流程圖。
【具體實(shí)施方式】
[0039]在下文中，將通過(guò)參照附圖解釋示例性實(shí)施例的優(yōu)選實(shí)施例來(lái)描述示例性實(shí)施例。附圖中相同的標(biāo)號(hào)指示相同的元件，在此省略對(duì)其進(jìn)行的多余描述。
[0040]圖1是示意性示出根據(jù)實(shí)施例的對(duì)象提取設(shè)備10的結(jié)構(gòu)的框圖。
[0041]參照?qǐng)D1，對(duì)象提取設(shè)備10包括相機(jī)100、圖像處理單元200、數(shù)據(jù)庫(kù)300、模型設(shè)置單元400、調(diào)整大小單元500、對(duì)象提取單元600和顯示單元700。
[0042]相機(jī)100通過(guò)使用例如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)模塊或電荷耦合器件(CXD)模塊來(lái)捕獲對(duì)象的圖像。輸入圖像幀經(jīng)由鏡頭被提供給CMOS模塊或CCD模塊。CMOS模塊或CCD模塊將從對(duì)象反射并穿過(guò)鏡頭的光信號(hào)轉(zhuǎn)換為電信號(hào)(捕獲信號(hào))，并輸出電信號(hào)以產(chǎn)生圖像幀。
[0043]圖像處理單元200降低從相機(jī)100輸出的圖像幀的噪聲，并執(zhí)行用于提高圖像質(zhì)量的圖像信號(hào)處理(例如，伽馬校正、色彩濾波器陣列插值、色彩矩陣、色彩校正、色彩增強(qiáng)J ο
[0044]另外，圖像處理單元200可通過(guò)對(duì)通過(guò)用于提高圖像質(zhì)量的圖像信號(hào)處理產(chǎn)生的圖像數(shù)據(jù)進(jìn)行壓縮來(lái)產(chǎn)生圖像文件，或可從圖像文件恢復(fù)圖像數(shù)據(jù)。圖像的壓縮格式可以是可逆格式或不可逆格式。
[0045]另外，圖像處理單元200可執(zhí)行色彩處理、模糊處理、銳化處理、圖像分析處理、圖像識(shí)別處理、圖像效果處理等。圖像識(shí)別處理可包括臉部識(shí)別、場(chǎng)景識(shí)別等。例如，圖像處理單元200可執(zhí)行亮度級(jí)別調(diào)整、色彩校正、對(duì)比度調(diào)整、輪廓增強(qiáng)處理、屏幕劃分處理、字符圖像(character image)產(chǎn)生、圖像合成處理等。
[0046]數(shù)據(jù)庫(kù)300存儲(chǔ)關(guān)于對(duì)象模型圖案的各條信息。圖2A至圖2D示出存儲(chǔ)在數(shù)據(jù)庫(kù)300中的各種類型的對(duì)象模型圖案。例如，關(guān)于對(duì)象(例如，人、瓶子、貓和汽車)的模型圖案(即，對(duì)象模型圖案)的各條信息被存儲(chǔ)在數(shù)據(jù)庫(kù)300中。然而，存儲(chǔ)在數(shù)據(jù)庫(kù)300中的對(duì)象模型圖案不限于以上示例，并且各種類型的對(duì)象模型圖案可被存儲(chǔ)在數(shù)據(jù)庫(kù)300中。
[0047]對(duì)象模型圖案以梯度直方圖(H0G)的形式被存儲(chǔ)在數(shù)據(jù)庫(kù)300中，其中，所述梯度直方圖指示將被用作特征向量的亮度分布方向。
[0048]H0G算法是用于提取對(duì)象的特性特征的各種算法之一。根據(jù)H0G算法，圖像以棋盤圖案被劃分為多個(gè)方格，并且在每個(gè)方格中計(jì)算亮度的分布方向的局部直方圖。具體地講，使用由多個(gè)像素形成的單元和由多個(gè)單元形成的塊來(lái)容易地提取轉(zhuǎn)換的圖像的特征向量。
[0049]圖2A示出通過(guò)針對(duì)作為對(duì)象模型圖案的人應(yīng)用H0G算法提取的特征向量。圖2B、圖2C和圖2D分別示出瓶子、貓和汽車的特征向量。
[0050]盡管在本實(shí)施例中，H0G算法被用于提取對(duì)象模型圖案的特性特征，但是示例性實(shí)施例不受限，諸如圖像歸一化、自商圖像(SQI)、修正的統(tǒng)計(jì)變換(MCT)等的各種方法可被用于提取對(duì)象模型圖案的特性特征。
[0051]模型設(shè)置單元400從存儲(chǔ)在數(shù)據(jù)庫(kù)300中的各種對(duì)象中選擇將被提取的對(duì)象，并將選擇的對(duì)象設(shè)置為提取模型圖案。例如，模型設(shè)置單元400可根據(jù)用戶的選擇將由H0G表示的汽車設(shè)置為提取模型圖案。
[0052]調(diào)整大小單元500對(duì)在模型設(shè)置單元400中設(shè)置的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大小。具體地講，調(diào)整大小單元500對(duì)設(shè)置的提取模型圖案執(zhí)行縮小調(diào)整大小和放大調(diào)整大小。
[0053]圖3示出由相機(jī)100捕獲的圖像幀的示例。圖4A至圖4G示出由模型設(shè)置單元400設(shè)置的提取模型圖案(例如，汽車)的縮小/放大調(diào)整大小的結(jié)果。圖5是用于解釋使用向前映射進(jìn)行圖像調(diào)整大小的示圖。
[0054]參照?qǐng)D4A至圖4G，當(dāng)關(guān)于存儲(chǔ)在數(shù)據(jù)庫(kù)300中的汽車的基本信息被給定時(shí)(如圖4C中所示)，調(diào)整大小單元500通過(guò)基于圖4C的基本信息執(zhí)行縮小調(diào)整大小來(lái)產(chǎn)生如圖4A和圖4B中所示的縮小提取模型圖案，并通過(guò)基于圖4C的基本信息執(zhí)行放大調(diào)整大小來(lái)產(chǎn)生如圖4D至圖4G中所示的放大提取模型圖案。盡管在示例性實(shí)施例中，縮小/放大調(diào)整大小結(jié)果被示出在圖4A至圖4G中，但是縮小/放大調(diào)整大小結(jié)果可與圖4A相比被進(jìn)一步縮小，并且可與圖4G相比被進(jìn)一步放大。
[0055]調(diào)整大小單元500的調(diào)整大小基于幾何上改變像素值的布置(即，在沒(méi)有改變像素值的情況下改變像素所位于的坐標(biāo))的幾何處理。通過(guò)將原始像素的坐標(biāo)值映射到目標(biāo)圖像的坐標(biāo)值來(lái)實(shí)現(xiàn)所述幾何處理。通過(guò)將原始圖像的坐標(biāo)移動(dòng)到目標(biāo)圖像的坐標(biāo)來(lái)移動(dòng)原始圖像的像素值的處理被稱為“映射”。例如，調(diào)整大小單元500將向前映射用作圖像調(diào)整大小方法。當(dāng)將像素值從原始圖像的坐標(biāo)移動(dòng)到目標(biāo)圖像的坐標(biāo)時(shí)，使用向前映射。換句話講，通過(guò)使用向前映射，提取模型圖案圖像(圖4C)的坐標(biāo)被映射到將被調(diào)整大小的圖像(圖4A、圖4B以及圖4D至圖4G)的坐標(biāo)。參照?qǐng)D5，當(dāng)使用向前映射對(duì)圖像進(jìn)行放大調(diào)整大小時(shí)會(huì)出現(xiàn)洞(hole) 501，當(dāng)使用向前映射對(duì)圖像進(jìn)行縮小調(diào)整大小時(shí)會(huì)出現(xiàn)重疊502。當(dāng)將被放大調(diào)整大小的圖像的像素沒(méi)有被映射到原始圖像的像素時(shí)出現(xiàn)洞501，當(dāng)將被縮小調(diào)整大小的圖像的像素被映射到原始圖像的至少兩個(gè)像素時(shí)出現(xiàn)重疊502。
[0056]向后映射可被用于去除洞501和重疊502。然而，在示例性實(shí)施例的當(dāng)前實(shí)施例中，僅通過(guò)使用向前映射，在不使用向后映射的情況下執(zhí)行調(diào)整大小。因此，盡管在對(duì)象提取的精確度中存在細(xì)微的差別，但是計(jì)算量降低并且處理速度更快。
[0057]然而，示例性實(shí)施例不限于向前映射。換句話講，向后映射可被用在調(diào)整大小方法中，圖像插值(例如，最近鄰差值、雙線性差值，三次卷積差值等)還可被用在調(diào)整大小方法中。
[0058]對(duì)象提取單元600通過(guò)使用每個(gè)縮小或放大調(diào)整大小的提取模型圖案來(lái)掃描圖像幀，并提取與調(diào)整大小的提取模型圖案匹配的對(duì)象。
[0059]圖6A至圖6F是示出對(duì)象提取單元600通過(guò)使用每個(gè)縮小或放大調(diào)整大小的提取模型圖案來(lái)掃描圖像幀以提取對(duì)象的處理的示圖。當(dāng)圖3中所示的汽車被設(shè)置為將從圖3的圖像幀提取的對(duì)象時(shí)，圖6A示出通過(guò)使用圖4A的縮小調(diào)整大小的提取模型圖案來(lái)掃描圖像幀的示例，圖6B示出通過(guò)使用圖4B的縮小調(diào)整大小的提取模型圖案來(lái)掃描圖像幀的示例，圖6C示出通過(guò)使用圖4C的基本提取模型圖案來(lái)掃描圖像幀的示例，圖6D示出通過(guò)使用圖4D的放大調(diào)整大小的提取模型圖案來(lái)掃描圖像幀的示例，圖6E示出通過(guò)使用圖4E的放大調(diào)整大小的提取模型圖案來(lái)掃描圖像幀的示例，圖6F示出通過(guò)使用圖4F的放大調(diào)整大小的提取模型圖案來(lái)掃描圖像幀的示例。對(duì)象提取單元600提取與調(diào)整大小的提取模型圖案匹配的對(duì)象。如圖6F中所示，將理解:與圖4F的放大調(diào)整大小的提取模型圖案匹配的對(duì)象已被提取為掃描圖像幀的掃描。
[0060]顯示單元700在當(dāng)前圖像幀中顯示關(guān)于提取的對(duì)象的位置的信息。
[0061]在此情況下，對(duì)象提取單元600將關(guān)于顯示在當(dāng)前圖像幀中的對(duì)象的位置的信息和關(guān)于與所述對(duì)象匹配的提取模型圖案的調(diào)整大小的信息發(fā)送到下一圖像幀。由于下一圖像幀中的關(guān)于對(duì)象的位置的信息和關(guān)于提取模型圖案的調(diào)整大小的信息與當(dāng)前圖像幀中的那些信息沒(méi)有太大不同，因此對(duì)象提取單元600可從下一圖像幀估計(jì)關(guān)于對(duì)象的位置的信息和調(diào)整大小的提取模型圖案的尺寸。因此，可減小用于提取對(duì)象所需的時(shí)間。
[0062]在當(dāng)前的實(shí)施例中，關(guān)于對(duì)象模型圖案的各條信息被存儲(chǔ)在數(shù)據(jù)庫(kù)300中，并且調(diào)整大小單元500針對(duì)設(shè)置的提取模型圖案執(zhí)行縮小或放大調(diào)整大小。然而，在另一實(shí)施例中，每個(gè)對(duì)象模型圖案的縮小或放大調(diào)整大小的結(jié)果以及關(guān)于對(duì)象模型圖案的各條信息可被存儲(chǔ)在數(shù)據(jù)庫(kù)300中，并且提取模型圖案可被用戶設(shè)置。在此情況下，當(dāng)通過(guò)使用由用戶設(shè)置的提取模型圖案以及提取模型圖案的縮小或放大調(diào)整大小的結(jié)果來(lái)提取對(duì)象時(shí)，計(jì)算量可明顯減小。因此，可提高對(duì)象提取速度。
[0063]圖7是示意性示出根據(jù)示例性實(shí)施例的另一實(shí)施例的對(duì)象提取設(shè)備70的結(jié)構(gòu)的框圖。在以下描述中，省略參照?qǐng)D1至圖6描述的多余部分。
[0064]參照?qǐng)D7，根據(jù)另一實(shí)施例的對(duì)象提取設(shè)備70包括第一相機(jī)101、第二相機(jī)102、圖像處理單元200、數(shù)據(jù)庫(kù)300、模型設(shè)置單元400、調(diào)整大小單元500、第一對(duì)象提取單元601、第二對(duì)象提取單元602、圖像匹配單元603和顯示單元700。與圖1和圖7相比，二維(2D)圖像被用在圖1的對(duì)象提取設(shè)備10中，而三維(3D)圖像可被用在圖7的圖像提取設(shè)備70中。
[0065]第一相機(jī)101和第二相機(jī)102是通過(guò)使用例如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)模塊或電荷稱合器件(CCD)模塊來(lái)捕獲對(duì)象的左相機(jī)和右相機(jī)。第一輸入圖像巾貞和第二輸入圖像幀經(jīng)由鏡頭被提供給CMOS模塊或CCD模塊。第一相機(jī)101和第二相機(jī)102中的每個(gè)相機(jī)的CMOS模塊或CCD模塊將從對(duì)象反射并穿過(guò)鏡頭的光信號(hào)轉(zhuǎn)換為電信號(hào)(捕獲信號(hào))，并輸出所述電信號(hào)以產(chǎn)生圖像幀。
[0066]圖像處理單元200針對(duì)從第一相機(jī)100和第二相機(jī)200輸出的第一圖像幀和第二圖像幀執(zhí)行圖像處理。圖像處理單元200的結(jié)構(gòu)和功能與以上參照?qǐng)D1至圖6呈現(xiàn)的結(jié)構(gòu)和功能相同。
[0067]數(shù)據(jù)庫(kù)300存儲(chǔ)關(guān)于對(duì)象模型圖案的各條信息。模型設(shè)置單元400將各種對(duì)象模型圖案(其存儲(chǔ)在數(shù)據(jù)庫(kù)300中)中的將被跟蹤的對(duì)象的對(duì)象模型圖案設(shè)置為提取模型圖案。例如，模型設(shè)置單元400可根據(jù)用戶的選擇將由H0G表示的汽車模型圖案設(shè)置為提取模型圖案。
[0068]調(diào)整大小單元500對(duì)由模型設(shè)置單元400設(shè)置的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大小。具體地講，調(diào)整大小單元500對(duì)設(shè)置的提取模型圖案執(zhí)行縮小調(diào)整大小和放大調(diào)整大小。
[0069]第一對(duì)象提取單元601使用每個(gè)縮小或放大調(diào)整大小的提取模型圖案來(lái)掃描第一圖像幀，提取與調(diào)整大小的提取模型圖案匹配的第一對(duì)象，并將關(guān)于第一對(duì)象的位置的信息和關(guān)于提取模型圖案的調(diào)整大小的信息發(fā)送到第二對(duì)象提取單元602。
[0070]第二對(duì)象提取單元602通過(guò)將關(guān)于第一對(duì)象的位置的信息和關(guān)于由第一對(duì)象提取單元601從第一圖像幀提取的提取模型圖案的調(diào)整大小的信息應(yīng)用到第二圖像幀來(lái)提取第二對(duì)象。
[0071 ] 如果第二對(duì)象提取單元602通過(guò)使用與第一對(duì)象提取單元601提取第一對(duì)象相同的方法來(lái)提取第二對(duì)象，則需要第一對(duì)象提取時(shí)間和與第一對(duì)象提取時(shí)間相同的第二對(duì)象提取時(shí)間。然而，由于第二對(duì)象提取單元602通過(guò)使用關(guān)于來(lái)自第一對(duì)象提取單元601的第一對(duì)象的位置和圖案尺寸的信息來(lái)提取第二對(duì)象，因此可減小用于提取第一對(duì)象和第二對(duì)象的時(shí)間。
[0072]圖像匹配單元603通過(guò)針對(duì)第一對(duì)象和第二對(duì)象被提取的區(qū)域?qū)⒌谝粓D像幀與第二圖像幀進(jìn)行匹配來(lái)產(chǎn)生3D圖像。圖像匹配是在以彼此不同的角度上獲取的兩個(gè)或多個(gè)不同的圖像幀中，幾何地匹配物理上相似的圖像中的區(qū)域的處理。
[0073]圖像匹配單元603在由第一相機(jī)101捕獲的第一圖像幀和由第二相機(jī)102捕獲的第二圖像幀中搜索共同區(qū)域，并通過(guò)基于共同區(qū)域匹配兩個(gè)圖像來(lái)獲取一個(gè)圖像。換句話講，為了圖像匹配，第一圖像幀和第二圖像幀中的每個(gè)圖像幀被劃分為對(duì)象存在的前景區(qū)域和作為前景區(qū)域以外的其他區(qū)域的背景區(qū)域，搜索兩個(gè)圖像幀的背景區(qū)域的共同區(qū)域，并且基于共同區(qū)域來(lái)匹配所述兩個(gè)圖像。省略圖像匹配的詳細(xì)描述。
[0074]圖8A至圖8C是示意性示出在由圖7的第一相機(jī)101捕獲的第一圖像幀和由圖7的第二相機(jī)102捕獲的第二圖像幀中提取并匹配對(duì)象的示圖。圖8A示出從第一圖像幀提取的第一對(duì)象(例如，汽車)。圖8B示出通過(guò)使用關(guān)于從第一圖像幀提取的第一對(duì)象的位置的信息和關(guān)于提取模型圖案的調(diào)整大小的信息從第二圖像幀提取的第二對(duì)象(例如，汽車)。圖8C示出通過(guò)使用圖像匹配單元603將第一圖像幀與第二圖像幀進(jìn)行匹配而獲取的結(jié)果。
[0075]顯示單元700在當(dāng)前匹配的圖像幀中顯示關(guān)于提取的對(duì)象的位置的信息。由顯示單元700顯示的關(guān)于對(duì)象的位置的信息作為顯示在當(dāng)前匹配的圖像幀中的關(guān)于對(duì)象的位置的信息和關(guān)于與提取的對(duì)象相應(yīng)的提取模型圖案的調(diào)整大小的信息被傳送到下一第一圖像幀。為了減小提取和跟蹤時(shí)間，可從關(guān)于當(dāng)前圖像幀中的對(duì)象的位置的信息推測(cè)在下一圖像幀中關(guān)于對(duì)象的位置的信息和關(guān)于提取模型圖案的調(diào)整大小的信息。由于關(guān)于對(duì)象的位置的信息被顯示在輸入圖像幀和匹配的圖像幀中的每個(gè)圖像幀中，因此可從3D圖像提取對(duì)象。
[0076]圖9是示出根據(jù)示例性實(shí)施例的實(shí)施例的利用對(duì)象提取設(shè)備10提取對(duì)象的方法的流程圖。在以下描述中，省略參照?qǐng)D1至圖6描述的多余部分。
[0077]參照?qǐng)D9，對(duì)象提取設(shè)備10從存儲(chǔ)在數(shù)據(jù)庫(kù)300中的各種對(duì)象模型圖案單中選擇將被提取的對(duì)象的對(duì)象模型圖案，并將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案(S110)。提取模型圖案的設(shè)置不限于操作S110，并且在對(duì)象被從圖像幀提取之前完成提取模型圖案的設(shè)置的情況下，可在任何操作中執(zhí)行提取模型圖案的設(shè)置。
[0078]當(dāng)完成提取模型圖案的設(shè)置時(shí)，對(duì)象提取設(shè)備10執(zhí)行獲取由相機(jī)100捕獲的圖像幀的操作(S120)。當(dāng)完成圖像幀的獲取時(shí)，對(duì)象提取設(shè)備10執(zhí)行對(duì)設(shè)置的提取模型圖案進(jìn)行縮小和放大調(diào)整大小的操作(S130)。對(duì)設(shè)置的提取模型圖案進(jìn)行的縮小和放大調(diào)整大小是基于向前映射的。然而，向后映射或各種差值方法中的任何一個(gè)可被用于執(zhí)行對(duì)設(shè)置的提取模型圖案進(jìn)行縮小和放大調(diào)整大小的操作。
[0079]當(dāng)完成對(duì)設(shè)置的提取模型圖案進(jìn)行的縮小和放大調(diào)整大小時(shí)，對(duì)象提取設(shè)備10執(zhí)行通過(guò)使用每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描圖像并提取與調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象的操作(S140)。
[0080]當(dāng)完成對(duì)象的提取時(shí)，對(duì)象提取設(shè)備10執(zhí)行在當(dāng)前圖像幀中顯示關(guān)于提取的對(duì)象的位置的信息的操作(S150)。
[0081]當(dāng)完成關(guān)于對(duì)象的位置的信息的顯示時(shí)，對(duì)象提取設(shè)備10執(zhí)行將關(guān)于顯示在當(dāng)前圖像幀中的對(duì)象的位置的信息和關(guān)于與提取的對(duì)象相應(yīng)的提取模型圖案的調(diào)整大小的信息傳送到下一圖像幀的操作，以便從所述下一圖像幀提取對(duì)象(S160)。
[0082]由于關(guān)于對(duì)象的位置的信息被顯示在每個(gè)輸入圖像幀中，快速并精確地提取對(duì)象變得可行。
[0083]圖10是示出根據(jù)示例性實(shí)施例的另一實(shí)施例的提取對(duì)象的方法的流程圖。在以下描述中，省略參照?qǐng)D1至圖9描述的多余部分。
[0084]參照?qǐng)D10，根據(jù)以上實(shí)施例的對(duì)象提取設(shè)備70從存儲(chǔ)在數(shù)據(jù)庫(kù)300中的各種對(duì)象模型圖案中選擇將被提取的對(duì)象的對(duì)象模型圖案，并將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案(S210)。提取模型圖案的設(shè)置不限于操作S210，并且在對(duì)象被從圖像幀提取之前完成提取模型圖案的設(shè)置的情況下，可在任何操作中執(zhí)行提取模型圖案的設(shè)置。
[0085]當(dāng)完成提取模型圖案的設(shè)置時(shí)，對(duì)象提取設(shè)備70執(zhí)行獲取由第一相機(jī)101和第二相機(jī)102分別捕獲的第一圖像幀和第二圖像幀的操作(S220)。
[0086]當(dāng)完成第一圖像幀和第二圖像幀的獲取時(shí)，圖像提取設(shè)備70執(zhí)行對(duì)設(shè)置的提取模型圖案進(jìn)行縮小和放大調(diào)整大小的操作(S230)。對(duì)設(shè)置的提取模型圖案進(jìn)行的縮小和放大調(diào)整大小是基于向前映射的。然而，向后映射或各種插值方法中的任何一個(gè)可被用于執(zhí)行對(duì)設(shè)置的提取模型圖案進(jìn)行縮小和放大調(diào)整大小的操作。
[0087]當(dāng)完成對(duì)設(shè)置的提取模型圖案進(jìn)行的縮小和放大調(diào)整大小時(shí)，對(duì)象提取設(shè)備70執(zhí)行通過(guò)使用每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描第一圖像幀并提取與調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的第一對(duì)象的操作(S240)。
[0088]當(dāng)完成第一對(duì)象的提取時(shí)，對(duì)象提取設(shè)備70執(zhí)行通過(guò)將關(guān)于從第一圖像幀提取的第一對(duì)象的位置的信息和關(guān)于提取模型圖案的調(diào)整大小的信息應(yīng)用到第二圖像幀來(lái)提取第二對(duì)象的操作(S250)。由于通過(guò)使用關(guān)于第一對(duì)象的位置的信息和關(guān)于提取模型圖案的調(diào)整大小的信息來(lái)提取第二對(duì)象，因此可減小用于提取第二對(duì)象的時(shí)間。
[0089]當(dāng)完成第二對(duì)象的提取時(shí)，對(duì)象提取設(shè)備70執(zhí)行通過(guò)針對(duì)第一對(duì)象和第二對(duì)象被提取的區(qū)域?qū)⒌谝粓D像幀與第二圖像幀進(jìn)行匹配來(lái)產(chǎn)生3D圖像的操作(S260)。
[0090]當(dāng)完成第一圖像與第二圖像的匹配時(shí)，對(duì)象提取設(shè)備70執(zhí)行在匹配的圖像幀中顯示關(guān)于提取的對(duì)象的位置的信息的操作(S270)。
[0091]當(dāng)完成關(guān)于對(duì)象的位置的信息的顯示時(shí)，對(duì)象提取設(shè)備70執(zhí)行以下操作:將顯示在匹配的當(dāng)前圖像中的關(guān)于提取的對(duì)象的位置的信息和關(guān)于提取模型圖案的調(diào)整大小的信息存儲(chǔ)在數(shù)據(jù)庫(kù)300中，并當(dāng)?shù)谝幌鄼C(jī)101捕獲下一第一圖像幀時(shí)，將所述信息傳送給所述下一第一圖像中貞。
[0092]由于關(guān)于對(duì)象的位置的信息被顯示在每個(gè)輸入圖像幀中并且輸入圖像幀被匹配，對(duì)于3D圖像，快速并精確地跟蹤對(duì)象變得可行。
[0093]示例性實(shí)施例還可被實(shí)現(xiàn)為在計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)其后可被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。
[0094]計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、⑶-ROM、磁帶、軟盤、光數(shù)據(jù)存儲(chǔ)裝置等。計(jì)算機(jī)可讀記錄介質(zhì)還可被分布于聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)，使得計(jì)算機(jī)可讀代碼以分布的方式被存儲(chǔ)和執(zhí)行。另外，示例性實(shí)施例所屬的領(lǐng)域的普通程序員可容易地解釋用于實(shí)現(xiàn)示例性實(shí)施例的功能程序、代碼和代碼段。
[0095]根據(jù)示例性實(shí)施例，圖像處理單元200、模型設(shè)置單元400、調(diào)整大小單元500、對(duì)象提取單元600和顯示單元700均可包括至少一個(gè)處理器。在可選擇的實(shí)施例中，至少一個(gè)處理器可執(zhí)行圖像處理單元200、模型設(shè)置單元400、調(diào)整大小單元500、對(duì)象提取單元600和顯示單元700的所有功能。最后，根據(jù)示例性實(shí)施例，圖像處理單元200、模型設(shè)置單元400、調(diào)整大小單元500、對(duì)象提取單元600和顯示單元700中的至少一個(gè)可包括用于執(zhí)行其各自的功能的電路或裝置。
[0096]盡管已具體示出示例性實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離由權(quán)利要求限定的示例性實(shí)施例的精神和范圍的情況下，可以對(duì)其進(jìn)行形式和細(xì)節(jié)的各種改變。
【權(quán)利要求】
1.一種提取對(duì)象的方法，所述方法包括:對(duì)用于將被提取的對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大??；使用至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描由相機(jī)捕獲的圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象；顯示關(guān)于提取的對(duì)象的位置的信息。
2.如權(quán)利要求1所述的方法，還包括:從存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案中選擇將被提取的對(duì)象的對(duì)象模型圖案，將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案。
3.如權(quán)利要求2所述的方法，其中，執(zhí)行至少一個(gè)調(diào)整大小的步驟包括:對(duì)提取模型圖案執(zhí)行至少一個(gè)縮小或放大調(diào)整大小。
4.如權(quán)利要求3所述的方法，其中，執(zhí)行至少一個(gè)調(diào)整大小的步驟包括:執(zhí)行向前映射，其中，提取模型圖案的圖像的坐標(biāo)被映射到將被調(diào)整大小的圖像的坐標(biāo)。
5.如權(quán)利要求1所述的方法，還包括:將關(guān)于提取的對(duì)象的位置的信息和關(guān)于對(duì)與所述對(duì)象匹配的提取模型圖案的所述至少一個(gè)調(diào)整大小的信息傳送到下一圖像幀。
6.如權(quán)利要求2所述的方法，還包括:對(duì)存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案執(zhí)行至少一個(gè)調(diào)整大??；將通過(guò)執(zhí)行所述至少一個(gè)調(diào)整大小獲取的結(jié)果存儲(chǔ)在數(shù)據(jù)庫(kù)中。`
7.如權(quán)利要求6所述的方法，其中，提取對(duì)象的步驟包括:使用存儲(chǔ)在數(shù)據(jù)庫(kù)中的所述至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象。
8.如權(quán)利要求1所述的方法，其中，掃描圖像幀的步驟包括:獲取由第一相機(jī)捕獲的第一圖像幀；獲取由第二相機(jī)捕獲的第二圖像幀。
9.如權(quán)利要求8所述的方法，其中，執(zhí)行至少一個(gè)調(diào)整大小的步驟包括:對(duì)用于在第一圖像幀中將被提取的對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大小。
10.如權(quán)利要求9所述的方法，其中，提取對(duì)象的步驟包括:使用所述至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描第一圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的第一對(duì)象；通過(guò)將關(guān)于從第一圖像幀提取的第一對(duì)象的位置的信息和關(guān)于提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到第二圖像幀來(lái)提取第二對(duì)象。
11.如權(quán)利要求10所述的方法，還包括:針對(duì)第一對(duì)象的提取的區(qū)域和第二對(duì)象的提取的區(qū)域，將第一圖像幀與第二圖像幀進(jìn)行匹配。
12.如權(quán)利要求11所述的方法，其中，顯示關(guān)于位置的信息的步驟包括:在匹配的圖像幀中顯示關(guān)于對(duì)象的位置的信息。
13.一種用于提取對(duì)象的設(shè)備，包括:調(diào)整大小裝置，對(duì)將被提取的對(duì)象的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大??；對(duì)象提取裝置，使用至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描由相機(jī)捕獲的圖像幀，并提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的對(duì)象；顯示裝置，在圖像幀中顯示關(guān)于提取的對(duì)象的位置的信息。
14.如權(quán)利要求13所述的設(shè)備，還包括:模型設(shè)置裝置，從存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案中選擇將被提取的對(duì)象的對(duì)象模型圖案，并將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案。
15.如權(quán)利要求14所述的設(shè)備，其中，調(diào)整大小裝置對(duì)提取模型圖案執(zhí)行至少一個(gè)縮小或放大調(diào)整大小，并執(zhí)行向前映射，其中，提取模型圖案的圖像的坐標(biāo)被映射到將被調(diào)整大小的圖像的坐標(biāo)。
16.如權(quán)利要求13所述的設(shè)備，其中，對(duì)象提取裝置將關(guān)于提取的對(duì)象的位置的信息和關(guān)于對(duì)與所述對(duì)象匹配的提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到下一圖像幀。
17.一種用于提取對(duì)象的設(shè)備，包括:第一相機(jī)，獲取第一圖像幀;第二相機(jī)，獲取第二圖像幀；模型設(shè)置裝置，從存儲(chǔ)在數(shù)據(jù)庫(kù)中的各種對(duì)象模型圖案中選擇將被提取的對(duì)象的對(duì)象模型圖案，并將選擇的對(duì)象模型圖案設(shè)置為提取模型圖案；調(diào)整大小裝置，對(duì)設(shè)置的提取模型圖案執(zhí)行至少一個(gè)調(diào)整大?。粚?duì)象提取裝置，使用至少一個(gè)調(diào)整大小的提取模型圖案中的每個(gè)調(diào)整大小的提取模型圖案來(lái)掃描第一圖像幀，提取與所述至少一個(gè)調(diào)整大小的提取模型圖案中的任何一個(gè)匹配的第一對(duì)象，并通過(guò)將關(guān)于從第一圖像幀提取的第一對(duì)象的位置的信息和關(guān)于提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到第二圖像幀來(lái)提取第二對(duì)象；匹配裝置，針對(duì)第一對(duì)象的提取的區(qū)域和第二對(duì)象的提取的區(qū)域，將第一圖像幀與第二圖像幀進(jìn)行匹配；顯示裝置，在匹配的圖像幀中顯示關(guān)于對(duì)象的位置的信息。
18.如權(quán)利要求17所述的設(shè)備，其中，調(diào)整大小裝置對(duì)提取模型圖案執(zhí)行至少一個(gè)縮小和放大調(diào)整大小，并執(zhí)行向前映射，其中，提取模型圖案的圖像的坐標(biāo)被映射到將被調(diào)整大小的圖像的坐標(biāo)。
19.如權(quán)利要求17所述的設(shè)備，其中，對(duì)象提取裝置將關(guān)于提取的對(duì)象的位置的信息和關(guān)于對(duì)與所述對(duì)象匹配的提取模型圖案的所述至少一個(gè)調(diào)整大小的信息應(yīng)用到由第一相機(jī)捕獲的下一第一圖像幀。
【文檔編號(hào)】G06K9/00GK103632131SQ201310369576
【公開(kāi)日】2014年3月12日 申請(qǐng)日期:2013年8月22日 優(yōu)先權(quán)日:2012年8月24日
【發(fā)明者】宋武耿, 裴純敏 申請(qǐng)人:三星泰科威株式會(huì)社