行李可視化和虛擬開檢的制作方法
【專利摘要】本發(fā)明提供了用于行李可視化的方法和系統(tǒng)，通過視覺上將物體圖像從其初始位置移動，執(zhí)行虛擬開檢。在置信量度的引導(dǎo)下，對掃描的3D體積進(jìn)行分割，以建立標(biāo)號體積，其體素指定了被檢測的物體ID。通過體積渲染使行李數(shù)據(jù)集和標(biāo)號體積可視化。使用自動著色算法，為其投影在圖像中相鄰的任何成對物體分配截然不同的色調(diào)。分層架構(gòu)有效地渲染混合有裝包行李、動畫式開檢物體、以及放在一邊以便進(jìn)一步檢查的已開檢物體的場景。使用GPU，以自動選擇未被其它物體阻擋并且可以開檢的物體。
【專利說明】行李可視化和虛擬開檢
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求以2012年3月20日提交的、美國臨時申請序號為61/613, 037的申請 為優(yōu)先權(quán)，該申請的全部內(nèi)容在此以引用方式并入本文。

【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及通過使用成像技術(shù)來檢查行李的方法和系統(tǒng)。具體而言，本發(fā)明涉及 的方法和系統(tǒng)，借助于計(jì)算機(jī)，通過虛擬方式和圖形方式開檢（unpacking)在一件行李中 緊密裝包的物體，來可視化該件行李內(nèi)容物。

【背景技術(shù)】
[0004] 為了檢查危險(xiǎn)和違禁物品，無論是托運(yùn)行李還是攜帶行李，行李篩查都是不可避 免的，對于航空安全尤為如此。最可信賴的手段仍然是物理方式打開行李并且開檢其內(nèi)容 物。不幸的是這非常低效而且冒昧。
[0005] 采用現(xiàn)代掃描技術(shù)，諸如計(jì)算機(jī)X線斷層照相（CT)，有可能重建被掃描行李及其 內(nèi)容物體的精確三維幾何特性。自然地，行李被裝包，意味著在掃描圖像上可視化時許多物 體都處于彼此緊密接觸并顯得連接、重疊而且雜亂。這通常包括人工交互作用，以開檢并且 孤立各個物體，以便更好地檢查。
[0006] 據(jù)此，需要改進(jìn)的以及新穎的方法和系統(tǒng)，來對緊密裝包在行李中的物體進(jìn)行虛 擬開檢，并且在計(jì)算機(jī)屏幕上顯示開檢的和開檢后的物體。


【發(fā)明內(nèi)容】

[0007] 根據(jù)本發(fā)明的方面，提供了用于在顯示器上觀察將容納了處于被裝包狀態(tài)的物體 的行李虛擬開檢為處于已開檢狀態(tài)的物體的系統(tǒng)和方法，其中，根據(jù)用掃描器獲得的、物理 行李的體積數(shù)據(jù)建立圖像，以及，在顯示器上同時顯示處于已開檢狀態(tài)的物體的圖像。
[0008] 根據(jù)本發(fā)明的方面，提供了一種虛擬開檢行李的方法，包括：掃描器獲得行李內(nèi)處 于裝包狀態(tài)的多個物體的三維（3D)體積數(shù)據(jù)；處理器處理3D體積數(shù)據(jù)，以將處于裝包狀態(tài) 的多個物體分割成為與多個裝包物體對應(yīng)的多個3D體積物體；以及，處理器渲染處于開檢 狀態(tài)的多個3D體積物體中的每一個，以使其同時顯示在顯示器上。
[0009] 根據(jù)本發(fā)明的又一方面，提供了一種方法，其中，基于裝包物體相對于用來觀察裝 包物體的觀察方向的遮擋（occlusion)狀態(tài)，按次序開檢處于裝包狀態(tài)的物體。
[0010] 根據(jù)本發(fā)明的又一方面，提供了一種方法，其中，將多個已開檢3D體積物體中的 每一個的已渲染圖像作為可個別檢索的子圖形（sprite)存儲在存儲器中。
[0011] 根據(jù)本發(fā)明的又一方面，提供了一種方法，進(jìn)一步包括：處理器從3D體積圖像中 分割多個裝包物體，以建立與裝包物體對應(yīng)的多個二元標(biāo)號體積；以及，處理器組合二元體 積以形成標(biāo)號體積，其中體素存儲了對應(yīng)的二元標(biāo)號體積的識別（ID)值。
[0012] 根據(jù)本發(fā)明的又一方面，提供了一種方法，進(jìn)一步包括：通過從物體識別（ID)圖 像中計(jì)算沖突圖（interference map)，處理器生成給每一個分割物體的顏色分配。
[0013] 根據(jù)本發(fā)明的又一方面，提供了一種方法，其中，通過評估以下表達(dá)式以及利用圖 著色算法給沖突圖中的每一沖突物體分配不同色調(diào)，來由處理器通過2D濾波計(jì)算沖突圖， 所述表達(dá)式為：

【權(quán)利要求】
1. 一種虛擬開檢行李的方法，包括： 掃描器獲得所述行李內(nèi)處于裝包狀態(tài)的多個物體的三維（3D)體積數(shù)據(jù)； 處理器處理所述3D體積數(shù)據(jù)，以便將處于裝包狀態(tài)的所述多個物體分割成為與多個 裝包物體對應(yīng)的多個3D體積物體；以及 所述處理器渲染處于已開檢狀態(tài)的所述多個3D體積物體中的每一個，以使其同時顯 示在顯示器上。
2. 根據(jù)權(quán)利要求1所述的方法，其中，基于裝包物體相對于用來觀察所述裝包物體的 觀察方向的遮擋狀態(tài)，按次序開檢處于裝包狀態(tài)的物體。
3. 根據(jù)權(quán)利要求1所述的方法，其中，將多個已開檢的3D體積物體的每一個的已渲染 圖像作為可個別檢索的子圖形存儲在存儲器中。
4. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括： 所述處理器從所述3D體積數(shù)據(jù)中分割多個裝包物體，以便建立與裝包物體對應(yīng)的多 個二元標(biāo)號體積；以及 所述處理器組合二元體積以形成標(biāo)號體積，其中體素存儲了對應(yīng)的二元標(biāo)號體積的識 別（ID)值。
5. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括： 通過從物體識別（ID)圖像中計(jì)算沖突圖，所述處理器生成給每一個已分割物體的顏 色分配。
6. 根據(jù)權(quán)利要求5所述的方法，其中，由所述處理器通過2D濾波，通過評估以下表達(dá)式 和利用圖著色算法以給所述沖突圖中的每一沖突物體分配不同色調(diào)，來計(jì)算所述沖突圖， 所述表達(dá)式為：
pA和pB分別表示在從物體A和B的正面投影的圖像中的像素，dist(pA，pB)表示圖像空間中兩個像素之間的距離， DT是預(yù)定距離門限值， layer(p)表示像素p的層索引，并且 LT將計(jì)算限制于LT層。
7. 根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括： 所述處理器運(yùn)用多個已分割物體的物體ID圖像，以便基于每個物體的從給定觀察方 向的遮擋率來確定開檢次序。
8. 根據(jù)權(quán)利要求1所述的方法，其中，通過訪問至少三個渲染層對開檢場景進(jìn)行渲染， 其中， 第一層含有處于裝包狀態(tài)的所有物體的已渲染圖像； 第二層含有正在開檢的物體的已渲染圖像；以及 第三層含有已開檢物體的子圖形的已渲染圖像。
9. 一種顯示對容納了多個處于裝包狀態(tài)的物體的行李進(jìn)行虛擬開檢的系統(tǒng)，所述系統(tǒng) 包括： 行李掃描器，用于獲得所述行李內(nèi)處于裝包狀態(tài)的多個物體的三維（3D)體積數(shù)據(jù)； 存儲器，能存儲數(shù)據(jù)和指令； 處理器，能訪問所述存儲器以獲得數(shù)據(jù)和指令，所述處理器能執(zhí)行指令以執(zhí)行下列步 驟： 訪問由所述行李掃描器生成的3D體積數(shù)據(jù)； 處理所述3D體積數(shù)據(jù)，以將處于裝包狀態(tài)的多個物體分割成為與多個裝包物體對應(yīng) 的多個3D體積物體；以及 渲染處于已開檢狀態(tài)的所述多個3D體積物體中的每一個，以便使其同時顯示在顯示 器上。
10. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，基于處在裝包狀態(tài)下的多個物體相對于用來觀 察所述物體的觀察方向的遮擋狀態(tài)，按次序由所述處理器開檢處于裝包狀態(tài)的所述多個物 體。
11. 根據(jù)權(quán)利要求9所述的系統(tǒng)，進(jìn)一步包括： 使所述處理器能從所述3D體積數(shù)據(jù)中分割處于裝包狀態(tài)的所述多個物體，以便建立 與處于裝包狀態(tài)的所述多個物體對應(yīng)的多個二元標(biāo)號體積；以及 使所述處理器能組合所述二元體積以形成標(biāo)號體積，其中體素存儲了對應(yīng)的二元標(biāo)號 體積的識別（ID)值。
12. 根據(jù)權(quán)利要求9所述的系統(tǒng)，進(jìn)一步包括： 通過從物體識別（ID)圖像中計(jì)算沖突圖，使所述處理器能給每個已分割物體生成顏 色分配。
13. 根據(jù)權(quán)利要求12所述的系統(tǒng)，進(jìn)一步包括： 使所述處理器能通過2D濾波，通過估計(jì)以下表達(dá)式以及利用圖著色算法給所述沖突 圖中的每一沖突物體分配不同色調(diào)，來從物體ID圖像中生成沖突圖，所述表達(dá)式為：
pA和pB分別表示在從物體A和B的正面投影的圖像中的像素，dist(pA，pB)表示圖像空間中所述兩個像素之間的距離， DT是預(yù)定距離門限值， layer(p)表示像素p的層索引，以及 LT將計(jì)算限制于LT層。
14. 根據(jù)權(quán)利要求12所述的系統(tǒng)，進(jìn)一步包括： 使所述處理器能運(yùn)用多個已分割物體的物體ID圖像，以便基于各物體相對于觀察方 向的遮擋率來確定開檢次序。
15. 根據(jù)權(quán)利要求9所述的系統(tǒng)，還包括顯示器，用于將所述開檢渲染為動畫式系列圖 像。
16. 根據(jù)權(quán)利要求9所述的系統(tǒng)，還包括： 使所述處理器能通過訪問至少三個渲染層來渲染開檢場景，其中， 第一層含有處于裝包狀態(tài)的所有物體的已渲染圖像； 第二層含有正在被開檢的物體的已渲染圖像；以及 第三層含有已開檢后物體的子圖形的已渲染圖像。
17. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，按次序動畫演示已開檢物體的圖像，所述次序 顯示了處于已開檢狀態(tài)的物體被重新裝包為處于裝包狀態(tài)的多個物體。
18. -種用于在顯示器上將處于裝包狀態(tài)的多個物體的三維（3D)體積數(shù)據(jù)可視地開 檢成為多個已開檢物體的方法，包括： 處理器處理所述3D體積數(shù)據(jù)，以便將處于裝包狀態(tài)的多個物體分割成為與多個裝包 物體對應(yīng)的多個3D體積物體；以及 所述處理器渲染處于開檢狀態(tài)的所述多個3D體積物體中的每一個，以便使其同時顯 示在所述顯示器上，其中，基于所述裝包物體在開檢方向的遮擋狀態(tài)，按次序開檢處于裝包 狀態(tài)的物體。
19. 根據(jù)權(quán)利要求18所述的方法，其中，在與觀察方向相反的方向上開檢物體。
20. 根據(jù)權(quán)利要求18所述的方法，其中，在行李檢查系統(tǒng)中應(yīng)用所述方法。
【文檔編號】G06T19/00GK104488002SQ201380026101
【公開日】2015年4月1日 申請日期:2013年3月7日 優(yōu)先權(quán)日:2012年3月20日
【發(fā)明者】李維, G.帕拉迪尼 申請人:西門子公司