背景技術(shù)：

二維和三維掃描技術(shù)允許物理對(duì)象的形狀、輪廓和其他特征的數(shù)字捕獲或獲取。例如，在二維掃描應(yīng)用中，各種硬件和軟件可以用于捕獲紙質(zhì)文檔或其他平面對(duì)象。在三維掃描應(yīng)用中，各種硬件和軟件可以用于捕獲諸如用戶的手之類的對(duì)象，以將該對(duì)象顯示在裝置或監(jiān)視器上或者創(chuàng)建數(shù)字模型。

附圖說(shuō)明

圖1是根據(jù)本公開(kāi)的示例的用于捕獲并分割對(duì)象數(shù)據(jù)的裝置的圖；

圖2是根據(jù)本公開(kāi)的示例的具有第一組對(duì)象的圖1的裝置的透視圖；

圖3是根據(jù)本公開(kāi)的示例的具有第二組對(duì)象的圖1的裝置的透視圖；

圖4是根據(jù)本公開(kāi)的示例的具有第三組對(duì)象的圖1的裝置的透視圖；

圖5是根據(jù)本公開(kāi)的示例的具有第四組對(duì)象的圖1的裝置的透視圖；

圖6圖示了根據(jù)本公開(kāi)的示例的捕獲并分割圖像數(shù)據(jù)的流程圖；

圖7圖示了根據(jù)本公開(kāi)的示例的基于圖像特征分割圖像數(shù)據(jù)的流程圖；并且

圖8圖示了根據(jù)本公開(kāi)的示例的基于對(duì)象類型改進(jìn)(refine)對(duì)象的第一列表的分割的流程圖；以及

圖9是根據(jù)本公開(kāi)的示例的具有第一組對(duì)象的移動(dòng)計(jì)算機(jī)系統(tǒng)的透視圖。

具體實(shí)施方式

在計(jì)算系統(tǒng)中，可以采用掃描儀來(lái)掃描二維對(duì)象和三維對(duì)象兩者。在一些示例中，可以利用單個(gè)傳感器一次掃描多個(gè)對(duì)象，并且待掃描的各種對(duì)象可以是不同類型的。例如，用戶可以試圖在傳感器的視場(chǎng)內(nèi)一遍掃描二維矩形平面對(duì)象和三維非矩形對(duì)象。

在這些情況下，計(jì)算系統(tǒng)中采用的掃描儀或其他傳感器也許不能夠分割或者分開(kāi)(在本文中“分割”)被掃描的對(duì)象。例如，掃描儀或傳感器也許不能夠從彼此中分割對(duì)象，或者也許不能夠從已知或未知背景中分割對(duì)象。此外，掃描儀或其他傳感器也許不能夠基于對(duì)象分類或類型來(lái)處理或者優(yōu)化對(duì)象的分割。

根據(jù)用于分割圖像數(shù)據(jù)的一個(gè)示例，包括彩色像素?cái)?shù)據(jù)、ir數(shù)據(jù)和深度數(shù)據(jù)的圖像數(shù)據(jù)是從傳感器接收的。所述圖像數(shù)據(jù)基于所述圖像數(shù)據(jù)的至少一個(gè)計(jì)算特征被分割成對(duì)象的第一列表。至少一個(gè)對(duì)象類型是針對(duì)對(duì)象的第一列表中的至少一個(gè)對(duì)象而確定的。對(duì)象的第一列表的分割基于所述至少一個(gè)對(duì)象類型被改進(jìn)成對(duì)象的第二列表。在示例中，對(duì)象的第二列表被輸出。

圖1是根據(jù)本公開(kāi)的示例的用于捕獲并分割對(duì)象數(shù)據(jù)的裝置的圖。裝置100可以包括處理器102、非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)裝置或介質(zhì)104、顯示器或顯示適配器106和接收器108。裝置100可以耦合到墊或觸敏墊112、照明源/投影儀部件114和傳感器116，如在下面更詳細(xì)地討論的。

圖2是根據(jù)本公開(kāi)的示例的具有第一組對(duì)象的圖1的裝置的透視圖。

在示例中，圖1圖示了由至少一個(gè)用戶202利用的計(jì)算機(jī)系統(tǒng)或裝置100(“裝置”)，所述至少一個(gè)用戶202可以將對(duì)象握在手214或216中，或者將對(duì)象放置在墊212上，或者，一般而言在表面上，使得可以不需要用戶在掃描操作期間握著對(duì)象。

如在下面更詳細(xì)地討論的，裝置100可以包括傳感器集群204、一個(gè)或多個(gè)傳感器(“傳感器”)206、投影儀(或投影儀和反射鏡系統(tǒng))208(在下文中“投影儀”)、顯示器210和墊212。在一些示例中，墊212可以是觸敏的。在一些示例中，顯示器210可以顯示由傳感器206捕獲的文檔或其他對(duì)象，如在下面更詳細(xì)地討論的。

裝置100可以用于捕獲或者掃描諸如圖2的文檔218和文檔220之類的對(duì)象。在一些示例中，文檔218可以是一張紙，然而文檔220可以是紙質(zhì)收據(jù)。在一些示例中，可以在顯示器210上顯示被捕獲或者掃描的對(duì)象218和對(duì)象220的實(shí)時(shí)表示。

裝置100一般而言可以包括任何適合的計(jì)算裝置，諸如臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、筆記本、上網(wǎng)本、一體化計(jì)算機(jī)、平板電腦，或能夠與至少一個(gè)傳感器對(duì)接的智能手機(jī)。裝置100可以包括可以彼此電耦合的處理器、存儲(chǔ)器和存儲(chǔ)裝置。也可以將由傳感器206或墊212感測(cè)或者接收到的用戶輸入傳送到裝置100，包括傳送到裝置100的處理器、存儲(chǔ)器和存儲(chǔ)裝置。

顯示器210也可以由支撐結(jié)構(gòu)(未示出)支撐，所述支撐結(jié)構(gòu)可以包括底座和直立構(gòu)件。支撐結(jié)構(gòu)可以支撐顯示器210以及傳感器集群204和傳感器206的重量，所述傳感器206可以是懸臂式的，使得傳感器206懸停在墊212上方。

傳感器集群204可以包括一個(gè)或多個(gè)傳感器206和/或一個(gè)或多個(gè)照明源，諸如投影儀208。投影儀208可以包括用于從計(jì)算裝置接收數(shù)據(jù)并且投影與該輸入數(shù)據(jù)相對(duì)應(yīng)的一個(gè)或多個(gè)圖像的任何適合的數(shù)字光投影儀部件。

傳感器206可以包括多個(gè)傳感器和/或相機(jī)以測(cè)量和/或檢測(cè)傳感器206的視場(chǎng)下面或視場(chǎng)內(nèi)的對(duì)象或參數(shù)。例如，傳感器206可以包括環(huán)境光傳感器、相機(jī)、深度傳感器和三維(3d)用戶界面?zhèn)鞲衅鳌鞲衅?06可以計(jì)算、檢測(cè)、生成或者以其他方式感測(cè)梯度、邊緣、強(qiáng)度、顏色、紋理和/或區(qū)域或圖像和/或?qū)ο蟆?/p>

在示例中，相機(jī)206可以包括被布置成捕獲布置在墊212上或者一般地在傳感器206的視場(chǎng)下面或視場(chǎng)內(nèi)的對(duì)象和/或文檔的靜止圖像或視頻的彩色相機(jī)。

在示例中，深度傳感器206可以指示三維對(duì)象何時(shí)在工作表面上，諸如在墊212上，或者在其他示例中，在適合于掃描的工作臺(tái)或其他表面上。特別地，深度傳感器206可以感測(cè)或者檢測(cè)三維對(duì)象的存在、形狀、輪廓、運(yùn)動(dòng)和/或深度，或?qū)ο蟮囊粋€(gè)或多個(gè)特定特征。因此，在一些示例中，深度傳感器206可以采用任何適合的傳感器或相機(jī)布置來(lái)感測(cè)并檢測(cè)布置在傳感器的視場(chǎng)中的對(duì)象和/或每個(gè)像素的深度值，而不論紅外、顏色或其他如何。在一些示例中，深度傳感器206可以包括具有ir光的均勻泛光的單個(gè)紅外(ir)相機(jī)傳感器、具有ir光的均勻泛光的雙ir相機(jī)傳感器、結(jié)構(gòu)化光深度傳感器技術(shù)、飛行時(shí)間(tof)深度傳感器技術(shù)或其某種組合。

在示例中，環(huán)境光傳感器206可以被布置成測(cè)量裝置100周圍的環(huán)境的光的強(qiáng)度，以便在一些示例中調(diào)整傳感器集群204中的另一傳感器的曝光設(shè)定，和/或調(diào)整遍及諸如例如投影儀208或顯示器210之類的裝置從其他源發(fā)射的光的強(qiáng)度。

在示例中，用戶界面?zhèn)鞲衅?06可以包括用于跟蹤諸如例如手、觸針、指點(diǎn)裝置等之類的用戶輸入裝置的一個(gè)或多個(gè)任何適合的裝置(例如，傳感器或相機(jī))。在一些示例中，用戶界面?zhèn)鞲衅?06可以包括一對(duì)相機(jī)，該對(duì)相機(jī)被布置成隨著用戶輸入裝置(例如，觸針)由用戶202在傳感器206的視場(chǎng)內(nèi)移動(dòng)而立體地跟蹤該用戶輸入裝置(例如，觸針)的位置。在其他示例中，用戶界面?zhèn)鞲衅?06可以包括被布置成檢測(cè)由用戶輸入裝置發(fā)射或者反射的紅外光的一個(gè)或多個(gè)紅外相機(jī)或傳感器。

在各種示例中，傳感器集群204可以包括代替或除上面所描述的傳感器之外的其他傳感器和/或相機(jī)，和/或在不同的配置中，諸如供臺(tái)式機(jī)、平板電腦或智能手機(jī)使用。

傳感器集群204中的傳感器206或一般而言可由裝置100訪問(wèn)的任何傳感器206可以電且通信地耦合到彼此和/或裝置100或裝置100的組件，使得可以向裝置100發(fā)送在傳感器集群204內(nèi)生成的數(shù)據(jù)，并且可以向傳感器206傳送由裝置100發(fā)出的命令。

圖3是根據(jù)本公開(kāi)的示例的具有第二組對(duì)象的圖1的裝置的透視圖。在示例中，對(duì)象302和對(duì)象304可以是在各種方位上或者在各種角度下的矩形形狀的彩色相片。

圖4是根據(jù)本公開(kāi)的示例的具有第三組對(duì)象的圖1的裝置的透視圖。在示例中，對(duì)象402和對(duì)象404可以是在各種方位上或者在各種角度下的貼紙或其他平面非矩形對(duì)象。

圖5是根據(jù)本公開(kāi)的示例的具有第四組對(duì)象的圖1的裝置的透視圖。在示例中，對(duì)象502和對(duì)象504可以是在各種方位上或者在各種角度下的3d對(duì)象。

圖6圖示了根據(jù)本公開(kāi)的示例的捕獲并分割圖像數(shù)據(jù)的流程圖。

在塊602中，圖像數(shù)據(jù)由例如傳感器206或能夠捕獲或者檢測(cè)二維或三維對(duì)象數(shù)據(jù)的其他傳感器來(lái)接收、處理或者捕獲。圖像數(shù)據(jù)可以包括諸如rgb或yuv數(shù)據(jù)、ir數(shù)據(jù)、深度數(shù)據(jù)之類的彩色像素?cái)?shù)據(jù)，和/或與圖像數(shù)據(jù)有關(guān)的其他數(shù)據(jù)或參數(shù)。在一些示例中，可以接收視頻數(shù)據(jù)，或者可以接收視頻幀。在一些示例中，可以對(duì)照已知背景(例如，墊112或其他已知表面)來(lái)捕獲在塊602中接收到的圖像數(shù)據(jù)。

在塊604中，基于圖像數(shù)據(jù)的特征將來(lái)自塊602的圖像數(shù)據(jù)分割成對(duì)象。作為一些示例，圖像特征可以包括圖像的梯度、邊緣、強(qiáng)度、顏色、紋理和/或區(qū)域。作為一個(gè)示例，塊604可以包括應(yīng)用邊緣檢測(cè)算法。關(guān)于圖7在下面更詳細(xì)地討論塊604的分割。

在塊606中，基于塊604的分割生成對(duì)象的第一列表。例如，在塊604中，邊緣檢測(cè)算法可能已檢測(cè)到兩個(gè)對(duì)象，例如，圖2中所示的兩個(gè)對(duì)象218和220，所述兩個(gè)對(duì)象可以用于在塊606中填充對(duì)象的第一列表。在一些示例中，對(duì)象的第一列表可以是基于塊604的分割的對(duì)象的初步、粗略或未改進(jìn)的列表。也可以應(yīng)用諸如連接組件分析之類的算法，以例如檢測(cè)對(duì)象的邊界框、對(duì)象的縱橫比或其他參數(shù)或特性。

在塊608中，可以確定對(duì)象的第一列表中的對(duì)象中的每一個(gè)的對(duì)象類型。各種算法可以用于基于例如對(duì)象的形狀、深度、顏色或其他特征或?qū)傩詠?lái)確定對(duì)象類型。

在一個(gè)示例中，可以在塊608中將在塊602中從傳感器接收到的深度圖與在塊606中生成的對(duì)象的第一列表進(jìn)行比較。對(duì)于深度圖與對(duì)象的第一列表之間的每個(gè)匹配，可以做出對(duì)象是三維的確定。對(duì)于對(duì)象的第一列表中的與深度圖中的對(duì)象不匹配的每個(gè)對(duì)象，可以做出對(duì)象是二維的確定。在其他示例中，對(duì)于對(duì)象的第一列表中的每個(gè)對(duì)象，可以檢查深度圖中的對(duì)應(yīng)區(qū)域以確定該對(duì)象是否是三維的。

在塊608中，可以基于對(duì)象的其他特征進(jìn)一步對(duì)上述示例的對(duì)象測(cè)定類型或者分類。例如，可以將對(duì)象分類為灰度矩形或者為彩色圓。也可以生成分類的各種組合。

在一個(gè)示例中，在塊608中，可以應(yīng)用諸如感測(cè)平行或垂直線之類的線擬合技術(shù)以確定對(duì)象是否是矩形的。在另一示例中，可以應(yīng)用顏色檢測(cè)算法以確定對(duì)象是灰度的還是彩色的。

在塊610中，基于在塊608中確定的一個(gè)或多個(gè)對(duì)象類型改進(jìn)對(duì)象的第一列表。如關(guān)于圖8在下面更詳細(xì)地討論的，改進(jìn)對(duì)象的第一列表可以包括針對(duì)每個(gè)對(duì)象類型來(lái)應(yīng)用特定函數(shù)、濾波器或算法以改進(jìn)對(duì)象的第一列表的分割。

在塊612中，緊跟塊610中的附加分割之后輸出對(duì)象的更新的或第二列表。對(duì)象的第二列表可以包括對(duì)象的第一列表中的對(duì)象的相同列表，加上與經(jīng)改進(jìn)分割的對(duì)象有關(guān)的附加信息或特性，諸如邊界框或輪廓。例如，對(duì)象的第二列表可以包括與分割改進(jìn)相關(guān)的改進(jìn)位置、大小、邊緣、邊界、顏色或其他對(duì)象特性。作為一個(gè)示例，具有鋸齒邊緣的對(duì)象的第一列表中的對(duì)象可以出現(xiàn)在具有表示平滑邊緣的特性的對(duì)象的第二列表中。在另一示例中，對(duì)象的第一列表中的對(duì)象可以出現(xiàn)在像素邊界移位的或者具有對(duì)比度調(diào)整的對(duì)象的第二列表中。在一些示例中，可以向用戶、向軟件程序、向打印機(jī)或3d打印機(jī)或者向另一輸出源輸出對(duì)象的第二列表。

圖7圖示了根據(jù)本公開(kāi)的示例的基于圖像特征分割圖像數(shù)據(jù)的流程圖，如上面關(guān)于塊604所討論的。塊704至714中的一個(gè)或塊704至714的組合可以用于基于圖像特征、屬性或特性將圖像數(shù)據(jù)分割成對(duì)象。在一些示例中，可以計(jì)算圖像特征。在其他示例中，可以在沒(méi)有計(jì)算的情況下得到、訪問(wèn)或者以其他方式獲得圖像特征或值。

根據(jù)一個(gè)示例，在塊704中，針對(duì)在塊602中接收到的圖像數(shù)據(jù)來(lái)計(jì)算一個(gè)或多個(gè)梯度?？梢杂?jì)算或者檢測(cè)圖像數(shù)據(jù)中的兩個(gè)或更多個(gè)rgb或yuv通道的梯度數(shù)據(jù)，同時(shí)所述通道被組合到單個(gè)梯度圖中。在一些示例中，也可以檢測(cè)來(lái)自紅外通道的數(shù)據(jù)并且將該數(shù)據(jù)組合到單個(gè)梯度圖中。

在一些示例中，可以去除或者忽視在梯度圖中檢測(cè)到的背景信息以產(chǎn)生用于分割的圖像數(shù)據(jù)中的對(duì)象的圖。背景去除可以包括從圖像數(shù)據(jù)的邊緣(例如，傳感器視場(chǎng)的邊緣)開(kāi)始，并且應(yīng)用區(qū)域生長(zhǎng)算法以去除背景數(shù)據(jù)和/或檢測(cè)對(duì)象。

根據(jù)一個(gè)示例，在塊706中，可以對(duì)圖像數(shù)據(jù)應(yīng)用諸如canny邊緣檢測(cè)器之類的邊緣檢測(cè)算法。邊緣檢測(cè)可以包括在圖像數(shù)據(jù)中標(biāo)識(shí)亮度級(jí)改變的點(diǎn)以計(jì)算或者檢測(cè)圖像的邊緣，以分割圖像數(shù)據(jù)中的對(duì)象。

根據(jù)一個(gè)示例，在塊708中，可以分析或者計(jì)算圖像數(shù)據(jù)中的像素值的強(qiáng)度。分析強(qiáng)度可以包括應(yīng)用諸如流域分割算法之類的算法。在一些示例中，紋理分割算法可以遍及圖像計(jì)算紋理特征以得到紋理圖。該紋理圖中的均勻區(qū)域可以對(duì)應(yīng)于對(duì)象或具有類似外觀的對(duì)象的至少部分，從而允許分割。

根據(jù)一個(gè)示例，在塊710中，可以在圖像數(shù)據(jù)中分析或者計(jì)算顏色。對(duì)于每個(gè)像素，例如，顏色空間可以用于分割圖像數(shù)據(jù)中的對(duì)象。例如，可以將rgb值轉(zhuǎn)換為包括色調(diào)、飽和度和值的hsv。然后還可以使用經(jīng)轉(zhuǎn)換的顏色空間來(lái)計(jì)算其他特征，諸如在塊704中所描述的梯度。

根據(jù)一個(gè)示例，在塊712中，可以在圖像數(shù)據(jù)中檢測(cè)或者計(jì)算紋理。例如，可以檢測(cè)像素與鄰近像素或區(qū)域之間的關(guān)系以分割圖像數(shù)據(jù)中的對(duì)象。例如，對(duì)于每個(gè)中心像素，可確定該中心像素與周圍像素之間的關(guān)系以創(chuàng)建均勻紋理區(qū)域的紋理圖。在一些示例中，灰度級(jí)共生矩陣可以用于檢測(cè)紋理。

根據(jù)一個(gè)示例，在塊714中，可以在圖像數(shù)據(jù)中檢測(cè)或者計(jì)算區(qū)域。例如，可以將具有類似特性的一組像素標(biāo)識(shí)為區(qū)域。在一些示例中，可以在區(qū)域檢測(cè)中使用均值移位算法來(lái)分割圖像數(shù)據(jù)中的對(duì)象。

圖8圖示了根據(jù)本公開(kāi)的示例的基于對(duì)象類型改進(jìn)對(duì)象的第一列表的分割的流程圖，如上面關(guān)于塊610所討論的。塊804至810中的一個(gè)或塊804至810的組合可以用于基于在塊608中確定的一個(gè)或多個(gè)對(duì)象類型來(lái)改進(jìn)對(duì)象的第一列表的分割。更具體地，在一些示例中，改進(jìn)對(duì)象的第一列表的分割可以包括應(yīng)用分割邊界的改進(jìn)或?qū)ο蟮目梢曂庥^的改進(jìn)。

在塊804中，作為一個(gè)示例，如果對(duì)象被確定為灰度的二維矩形文檔，則可以應(yīng)用文本銳化濾波器或算法。在其他示例中，可以應(yīng)用與圖像處理有關(guān)的其他濾波器或算法。

在塊806中，作為示例，如果對(duì)象被確定為彩色的二維矩形文檔，諸如照片，則可以應(yīng)用顏色或?qū)Ρ榷日{(diào)整濾波器或算法。在其他示例中，可以應(yīng)用其他對(duì)比度、亮度或顏色濾波器或算法。

在塊808和塊810中，作為示例，如果對(duì)象被確定為二維非矩形對(duì)象或三維對(duì)象，則可以應(yīng)用諸如邊界平滑、邊界細(xì)化和/或圖像摳圖之類的補(bǔ)償濾波器或算法。作為另一示例，可以應(yīng)用圖切割算法以恢復(fù)對(duì)象的在先前處理中(諸如在示例中的塊704中)過(guò)去除的背景或梯度數(shù)據(jù)。在其他示例中，可以應(yīng)用其他補(bǔ)償濾波器或算法。

圖9是根據(jù)本公開(kāi)的示例的具有第一組對(duì)象的移動(dòng)計(jì)算機(jī)系統(tǒng)的透視圖。在各種示例中，圖2的傳感器集群204、顯示器210和墊212可以用其他組件替換、消除或者合并到其他組件中。例如，傳感器906和傳感器集群908可以被安裝在三角架910上或者以其他方式安裝或者手持。作為另一示例，可以將顯示器210合并到具有移動(dòng)顯示器914的移動(dòng)裝置912中。

上述討論意在說(shuō)明本公開(kāi)的原理和各種實(shí)施例。一旦上述公開(kāi)被充分地領(lǐng)會(huì)，許多變化和修改就將對(duì)本領(lǐng)域的技術(shù)人員變得顯而易見(jiàn)。意圖是，以下權(quán)利要求被解釋成包含所有這樣的變化和修改。