背景技術(shù)：
：：本發(fā)明涉及構(gòu)造人類對象（subject）的個性化具體化（personalizedavatar），并且更特別地涉及從使用深度傳感器獲得的單個圖像來構(gòu)造人類對象的3D網(wǎng)狀物模型。深度傳感器是提供深度信息以及典型圖像信息（諸如RGB（紅色、綠色、藍色）數(shù)據(jù)）的照相機。深度照相機可以是基于結(jié)構(gòu)光的照相機（諸如MicrosoftKinect或ASUSXtion）、立體照相機或飛行時間照相機（諸如CreativeTOF照相機）。從深度照相機獲得的圖像數(shù)據(jù)通常稱為RGB-D（RGB＋深度）數(shù)據(jù)，其通常包括RGB圖像（其中每個像素具有RGB值）以及深度圖像（其中每個像素的值對應(yīng)于深度或像素離照相機的距離）。隨著Kinect的到來，已提出了各種方法以根據(jù)RGB-D數(shù)據(jù)估計人體骨骼。然而，此類方法通常要求多個傳感器或視頻序列以獲得人的網(wǎng)狀物。SCAPE是在DraomirAnguelov等人在ACMTrans.WGraph,Vol24(2005),pp.408-416中的“SCAPE:ShapeCompletionandAnimationofPeople”中描述的一種用于人體建模的方法。SCAPE由于其以緊湊式方式對人體形狀和姿勢變化進行建模的能力而被廣泛地使用。作為針對許多相關(guān)姿勢和形狀參數(shù)學習復雜函數(shù)的替代，SCAPE將模型解耦并從具有不同姿勢的一個人學習姿勢變形模型，并且然后從具有一個姿勢的不同人學習形狀變形模型。然而，SCAPE僅被應(yīng)用到皮膚包層對象，并且并未準確地處理封閉變化和傳感器噪聲。技術(shù)實現(xiàn)要素：本發(fā)明提供了用于從使用深度照相機獲得的圖像進行人的3D網(wǎng)狀物的自動生成的方法和系統(tǒng)。本發(fā)明的實施例從來自深度照相機傳感器的單個快照（甚至從身體的部分視圖）重構(gòu)人的詳細網(wǎng)狀物。本發(fā)明的實施例提供了在衣服下面的人的身體形狀估計，并且提供傳感器噪聲統(tǒng)計建模以獲得精確的姿勢和身體形狀。本發(fā)明的實施例生成患者的3D網(wǎng)狀物并將該3D網(wǎng)狀物用于醫(yī)學成像掃描規(guī)劃。在本發(fā)明的一個實施例中，對象的深度照相機圖像到3D點云。在3D點云中檢測多個解剖標志。通過基于所檢測解剖標志將模板網(wǎng)狀物對準到3D點云來將3D具體化網(wǎng)狀物初始化。通過使用已訓練參數(shù)可變形模型（PDM）來優(yōu)化3D具體化網(wǎng)狀物而生成對象的個性化3D具體化網(wǎng)狀物。通過參考以下詳細描述和附圖，本發(fā)明的這些及其它優(yōu)點對于本領(lǐng)域的普通技術(shù)人員而言將是顯而易見的。附圖說明圖1圖示出使用點云和多邊形網(wǎng)狀物來表示表面的示例；圖2圖示出從已訓練姿勢變形模型獲得的姿勢變形的示例；圖3圖示出使用已訓練形狀變形模型獲得的形狀變形的示例；圖4圖示出具有不同姿勢的合成網(wǎng)狀物實例；圖5圖示出具有不同身體形狀的合成網(wǎng)狀物實例；圖6圖示出模板網(wǎng)狀物模型的示例；圖7圖示出根據(jù)本發(fā)明的實施例的生成用于患者的個性化3D具體化網(wǎng)狀物模型的方法；圖8示出了安裝在CT掃描儀上的深度照相機傳感器的示例；圖9圖示出使用已訓練PDM從RGB-D圖像數(shù)據(jù)生成個性化具體化網(wǎng)狀物的示例性結(jié)果；以及圖10是能夠?qū)崿F(xiàn)本發(fā)明的計算機的高級框圖。具體實施方式本發(fā)明涉及一種用于從使用深度照相機獲得的圖像進行人的個性化3D網(wǎng)狀物的自動生成的方法和系統(tǒng)。在本文中描述了本發(fā)明的實施例以給出個性化網(wǎng)狀物生成方法的直觀理解。數(shù)字圖像常常由一個或多個物體（或形狀）的數(shù)字表示構(gòu)成。在本文中常常就識別和操縱物體來來描述物體的數(shù)字表示。此類操縱是在計算機系統(tǒng)的存儲器或其它電路/硬件中實現(xiàn)的虛擬操縱。因此，應(yīng)理解的是可使用存儲于計算機系統(tǒng)內(nèi)存儲的數(shù)據(jù)在計算機系統(tǒng)內(nèi)執(zhí)行本發(fā)明的實施例。本發(fā)明的實施例生成人的個性化3D網(wǎng)狀物模型，其根據(jù)從深度照相機（諸如MicrosoftKinect深度照相機）獲得的RGB-D圖像數(shù)據(jù)來估計人的詳細身體姿勢以及形狀。在本文中將人的此類個性化3D網(wǎng)狀物模型稱為具體化。不同于用以從視頻序列的多個傳感器獲得個性化網(wǎng)狀物的其它方法，本發(fā)明的實施例根據(jù)來自捕捉人的部分視圖并處理身體衣服的深度照相機的單個快照而生成個性化網(wǎng)狀物。本發(fā)明的實施例提供甚至來自身體的部分視圖的詳細身體形狀（網(wǎng)狀物）的重構(gòu)、根據(jù)來自任何深度照相機傳感器的單個快照進行的身體形狀估計、在衣服下面的人的身體形狀估計以及適當?shù)膫鞲衅髟肼暯y(tǒng)計建模以獲得精確的身體姿勢和形狀。為了生成人的個性化3D網(wǎng)狀物，本發(fā)明的實施例采用基于模型的方法來將人類骨骼模型擬合到人的深度圖像數(shù)據(jù)。然后使用估計姿勢骨骼來將在離線訓練階段中學習的詳細參數(shù)化可變形網(wǎng)狀物（PDM）初始化。然后優(yōu)化該PDM以通過擾亂身體姿勢和形狀來擬合輸入深度數(shù)據(jù)。與SCAPE模型相比，重要的差別是用以將PDM擬合到深度數(shù)據(jù)的基于采樣的優(yōu)化程序。不同于僅僅應(yīng)用于具有皮膚包層對象的數(shù)據(jù)的SCAPE模型，本發(fā)明的實施例利用這個基于采樣的方法來處理對象的衣服變化。此外，基于采樣的方法還使得本發(fā)明的實施例能夠處理由于傳感器噪聲而引入的偏置。本發(fā)明的實施例可以在用于使用計算機斷層成像（CT）或正電子發(fā)射斷層成像（PET）掃描儀的患者掃描的工作流程中使用。在用于使用CT或PET掃描儀的患者掃描的典型工作流程中，放射學家/技術(shù)人員首先通過從輪廓（profile）的觀點觀察患者輪廓來大致地估計掃描區(qū)的患者等中心（iso-center），并且然后使該患者等中心與通常由激光投射反映的掃描儀構(gòu)臺中心對準。如果完美地進行該對準，則將實現(xiàn)最佳成像質(zhì)量。然而，由放射學家/技術(shù)人員完成的當前對準是不準確的且不一致的。本發(fā)明的實施例可以用來生成準確地擬合患者的個性化3D具體化網(wǎng)狀物，其將被進一步用來計算掃描區(qū)的等中心。與放射學家/技術(shù)人員所使用的傳統(tǒng)工作流程相比，這可以提供等中心的更準確且一致的估計。另外，在用于使用CT或PET掃描儀的患者掃描的典型工作流程中，首先用掃描儀來生成存儲圖（x射線）圖像以幫助放射學家確定必要的掃描區(qū)。本發(fā)明的實施例可以用來從使用深度照相機獲得的快照生成準確地擬合患者的個性化3D具體化網(wǎng)狀物，并且可以作為存儲圖的替代而使用個性化3D具體化網(wǎng)狀物以預測患者體內(nèi)的器官的位置以便確定掃描區(qū)。這可以提供針對器官的掃描范圍的更準確估計并減小患者對輻射的暴露。在計算機圖形中，一般地用三維（3D）表面X來表示3D物體形狀。用以表示3D表面的兩個流行方式是使用點云（通過對表面進行點采樣生成）和使用多邊形網(wǎng)狀物（通過表面的多邊形近似生成）。一般地將點云視為物體表面的傳感器讀數(shù)的集合，其中，云中的每個元素表示表面點的3D坐標。雖然點云可能與其它模型相比更加在計算上可管理，尤其是對于復雜表面而言，但點云丟棄關(guān)于表面連續(xù)性的信息，包括表面連接性的拓撲。可以將表面X的點云表示為。這是用以表示從3D獲取設(shè)備（諸如MicrosoftKinect深度照相機）獲得的數(shù)據(jù)的常見方式。多邊形網(wǎng)狀物是定義物體的形狀的頂點和邊緣的集合?？梢詫⒈砻鎄的多邊形網(wǎng)狀物表示為，其中，表示頂點，并且包括定義當前多邊形的邊緣的頂點索引。在網(wǎng)狀物中一般地使用三角形作為多邊形，并且使用三個頂點（）和三個邊緣（）來表示每個三角形tk。應(yīng)理解的是本發(fā)明不限于使用三角形的多邊形網(wǎng)狀物，并且還可在多邊形網(wǎng)狀物中使用其它多邊形，諸如四面體。圖1圖示出使用點云和多邊形網(wǎng)狀物來表示表面的示例。如圖1中所示，使用點云102和多邊形網(wǎng)狀物104來表示人體表面100。本發(fā)明的實施例利用人體的已學習參數(shù)可變形模型（PDM）來生成用于患者的個性化具體化模型。PDM將全人體變形劃分成兩個單獨的變形，姿勢和形狀變形，其中，可以將姿勢變形進一步劃分成剛性和非剛性變形。根據(jù)有利實施方式，可以使用包括一組三角形的多邊形網(wǎng)狀物來表示人體。因此，可以將表示人體的任何給定網(wǎng)狀物Mi中的三角形表示為具有某些變形的模板網(wǎng)狀物的三角形。將模板網(wǎng)狀物中的三角形表示為，并且將每個三角形的兩個邊緣表示為。然后，可以將Mi中的三角形表示為：(1)其中，是針對屬于同一身體部分l的所有三角形具有同一值的剛性旋轉(zhuǎn)，是形狀變形矩陣，并且是姿勢變形矩陣。為了從一組訓練數(shù)據(jù)學習姿勢變形模型，針對每個三角形tk學習回歸，其作為它的兩個最接近關(guān)節(jié)的扭曲的函數(shù)而估計姿勢變形矩陣Q(2)在上述等式中，可以根據(jù)剛性旋轉(zhuǎn)矩陣R來計算?r。如果給定Q，則可以容易地計算回歸參數(shù)。然而，用于每個三角形的非剛性變形矩陣Q是未知的。因此，通過對優(yōu)化問題求解來對用于三角形中每個的變形矩陣求解，其以平滑性約束為依據(jù)而使變形模板網(wǎng)狀物與訓練網(wǎng)狀物數(shù)據(jù)之間的距離最小化。可以將此優(yōu)化問題表示為：(3)其中，第一項使變形模板網(wǎng)狀物與訓練網(wǎng)狀物數(shù)據(jù)之間的距離最小化，并且第二項是優(yōu)選屬于同一身體部分的相鄰三角形中的類似變形的平滑性約束。是可以用來調(diào)諧平滑性約束的權(quán)重，并且l（）在相鄰三角形屬于同一身體部分時等于單位矩陣I，并且在相鄰三角形不屬于同一身體部分時等于零。在姿勢變形模型的訓練之后，可以操縱網(wǎng)狀物模型以通過用不同的值對剛性旋轉(zhuǎn)矩陣R進行初始化來形成不同的身體姿勢。圖2圖示出從已訓練姿勢變形模型獲得的姿勢變形的示例。如圖2中所示，圖像202示出了使用已訓練姿勢變形模型獲得的駕駛姿勢，圖像204示出了模板姿勢，并且圖像206示出了使用已訓練姿勢變形模型獲得的行走姿勢。使用已用具有不同姿勢的200個訓練實例訓練的姿勢變形模型來獲得圖2的姿勢變形。為了從一組訓練數(shù)據(jù)學習形狀變形，采用主分量分析（PCA）來將形狀變形矩陣建模為本征空間的小集合的線性組合。（4）在等式（4）中，F(xiàn)是PCA系數(shù)β的函數(shù)，μ是均值矢量，并且U是完成PCA維度縮減時的數(shù)據(jù)的本征矢量。類似于姿勢估計，用于每個三角形的形狀變形矩陣S是未知的。再次地，使用以平滑性約束為依據(jù)使變形模板網(wǎng)狀物與訓練網(wǎng)狀物數(shù)據(jù)之間的距離最小化的優(yōu)化問題來估計矩陣S：其中，第一項使變形模板網(wǎng)狀物與訓練網(wǎng)狀物數(shù)據(jù)之間的距離最小化，并且第二項是優(yōu)選相鄰三角形中的類似形狀變形的平滑性約束。一旦獲得了PCA參數(shù)（即，本征矢量的集合），則可以操縱網(wǎng)狀物模型以通過擾亂β來形成不同的身體形狀（高至矮、體重不足至超重、強壯至瘦弱等）。圖3圖示出使用已訓練形狀變形模型獲得的形狀變形的示例。圖3的形狀變形是通過沿著第一主分量（β）的方向的PDM形狀變形獲得的。如圖3中所示，圖像302示出了使用已訓練形狀變形模型獲得的體重不足身體形狀的極端情況，圖像304示出了模板網(wǎng)狀物，并且圖像306示出了使用已訓練形狀變形模型獲得的超重身體形狀的極端情況。圖3的形狀變形是使用用具有不同身體形狀的200個訓練實例訓練的形狀變形模型獲得的。用以訓練用于PDM的姿勢變形模型和形狀變形模型的訓練過程要求許多3D網(wǎng)狀物訓練示例。從實際人類模型構(gòu)建此類數(shù)據(jù)集是一個貌似合理的解決方案，但是其是昂貴且耗時的。從實際人類模型構(gòu)建訓練數(shù)據(jù)集要求從不同視角捕捉每個人的高精度激光掃描儀。然后，配準算法需要被應(yīng)用以從部分視圖構(gòu)造用于每個人的全身模型。另外，填充孔、去除噪聲以及對表面進行平滑化也可要求巨大的人類努力。在本發(fā)明的有利實施例中，可以使用合成人類模型來訓練PDM。與使用實際人類模型相比，來自3D商用軟件的合成人類模型生成起來更簡單且更快得多。在示例性實施方式中，可以使用稱為POSER的3D動畫軟件來生成合成人類模型以填充訓練數(shù)據(jù)集。POSER是可以用于人類的3D多邊形網(wǎng)狀物的姿勢確定和動畫的3D再現(xiàn)軟件。此軟件從具有關(guān)節(jié)和形狀參數(shù)的大自由度的預先構(gòu)建人類模型的庫開始。連同Python編程界面一起，POSER可以在約一小時內(nèi)生成具有不同姿勢和形狀的數(shù)千個3D人類網(wǎng)狀物實例。使用POSER的另一優(yōu)點是源自于同一網(wǎng)狀物模板的所有網(wǎng)狀物實例被完全標記并配準。例如，每個網(wǎng)狀物實例中的頂點的數(shù)目與模板網(wǎng)狀物相同，并且頂點順序保持相同，而無論網(wǎng)狀物形成的姿勢的種類如何。然而，使用POSER來生成用于訓練數(shù)據(jù)集的網(wǎng)狀物存在兩個問題。首先，數(shù)據(jù)生成是完全無監(jiān)督的，僅僅用某些初始用戶輸入，因此可以生成對于實際的人而言不切實際的某些姿勢。因此，檢查使用POSER生成的網(wǎng)狀物并手動地去除不切實際的網(wǎng)狀物可能是必要的。其次，POSER本身并不模擬人體的重力效果，因此具有站立姿勢的人具有與躺下姿勢的那個人相同的身體形狀。圖4圖示出采用使用POSER生成的不同姿勢的網(wǎng)狀物實例402、404和406。圖5圖示出具有使用POSER生成的不同身體形狀的網(wǎng)狀物實例502、504和506。在原始SCAPE工作中，用采取各種姿勢的同一人類對象的不同網(wǎng)狀物實例來訓練姿勢變形模型，而用來自采取中立姿勢的許多對象的網(wǎng)狀物實例來訓練形狀變形模型。然而，形狀和姿勢變形的此類解耦可能導致問題。例如，如果對于姿勢訓練數(shù)據(jù)而言人類對象是男性，則用于給定女性對象的姿勢和形狀估計將是不準確的。根據(jù)本發(fā)明的有利實施例，我們具有知道測試對象的性別的強大的先驗，因此此類解耦不是問題。根據(jù)有利實施方式，訓練兩個單獨的姿勢變形模型（男性和女性），并且當根據(jù)患者的已知性別來生成用于患者的個性化具體化網(wǎng)狀物時應(yīng)用已訓練姿勢變形模型中的適當?shù)囊粋€。在所有訓練網(wǎng)狀物實例之中，選擇具有平常（例如，平均或中值）身體尺寸和中立姿勢的人作為模板網(wǎng)狀物。模板網(wǎng)狀物的全身被劃分成多個不同身體部分，并且手動地選擇模板網(wǎng)狀物上的多個關(guān)節(jié)標志。根據(jù)示例性實施方式，可以將模板網(wǎng)狀物劃分成18個身體部分，并且選擇模板網(wǎng)狀物上的16個點作為關(guān)節(jié)標志。在本示例性實施方式中，18個身體部分（和用來識別身體部分的索引）如下：左和右腳（0、1）、左和右小腿（2、3）、左和右大腿（4、5）、骨盆（6）、左和右手（7、8）、左和右前臂（9、10）、左和右上臂（11、12）、腹部（13）、胸部（14）、左和右肩膀（15、16）以及頭（17）。關(guān)節(jié)標志對應(yīng)于各種關(guān)節(jié)的位置及其它顯著解剖位置。在示例性實施方式中，16個關(guān)節(jié)標志（和識別標志的索引）如下：左和右踝（0、1）、左和右膝（2、3）、左和右腰（4、5）、腹股溝（6）、左和右手腕（7、8）、左和右肘（9、10）、左和右膀尖（11、12）、胸部中心（13）、頭部底部（14）以及頭部頂部（15）。圖6圖示出模板網(wǎng)狀物模型的示例。如圖6中所示，模板網(wǎng)狀物模型600被劃分成18個身體部分（左和右腳、左和右小腿、左和右大腿、骨盆、左和右手、左和右前臂、左和右上臂、腹部、胸部、左和右肩膀以及頭部）并用16個關(guān)節(jié)標志（左和右踝、左和右膝、左和右腰、腹股溝、左和右手腕、左和右肘、左和右膀尖、胸部中心、頭部底部以及頭部頂部）來注釋。圖7圖示出根據(jù)本發(fā)明的實施例的生成用于患者的個性化3D具體化網(wǎng)狀物模型的方法。可以使用圖7的方法作為掃描規(guī)劃程序的一部分來規(guī)劃用于獲取患者的醫(yī)學圖像數(shù)據(jù)的掃描，諸如CT掃描或PET掃描。圖7的方法利用先驗，諸如病人躺在工作臺上的知識以及患者被衣服、輻射防護器、毯子、枕頭等覆蓋的知識，并且將對應(yīng)于此類先驗的約束應(yīng)用到患者的3D具體化網(wǎng)狀物模型的生成。參考圖7，在步驟702處，從深度照相機接收患者的RGB-D圖像數(shù)據(jù)。在示例性實施例中，可以在來自深度照相機的單個快照中獲得RGB-D圖像數(shù)據(jù)。深度照相機可以是基于結(jié)構(gòu)光的照相機（諸如MicrosoftKinect或ASUSXtion）、立體照相機或飛行時間照相機（諸如CreativeTOF照相機）。RGB-D（RGB＋深度）圖像數(shù)據(jù)包括RGB圖像（其中每個像素具有RGB值）以及深度圖像（其中每個像素的值對應(yīng)于深度或像素與照相機的距離）。假設(shè)患者在用于醫(yī)學圖像獲取的工作臺上，應(yīng)適當?shù)匕惭b深度照相機，使得其具有工作臺上的患者的無障礙視界。例如，可將深度照相機安裝在工作臺上方的天花板上或者在醫(yī)學圖像掃描儀上。圖8示出了安裝在CT掃描儀804上的深度照相機傳感器802的示例。可以直接地從深度照相機接收RGB-D圖像數(shù)據(jù)，或者可以通過加載患者的先前獲取RGB-D圖像數(shù)據(jù)來進行接收。返回到圖7，在步驟704處，將RGB-D圖像數(shù)據(jù)轉(zhuǎn)換成3D點云。特別地，使用RGB-D圖像數(shù)據(jù)的深度圖像來將RGB圖像中的每個像素映射到3D位置，導致表示患者的3D點云。在步驟706處，在3D點云中檢測解剖標志。特別地，在3D點云中檢測在模板網(wǎng)狀物中選擇的關(guān)節(jié)標志中的每個?？梢允褂没诩幼⑨層柧殧?shù)據(jù)訓練的基于已訓練機器學習的分類器來在3D點云中檢測關(guān)節(jié)標志。例如，可以針對關(guān)節(jié)標志中的每個訓練相應(yīng)的隨機概率增進樹（PBT）分類器，并且可以通過使用相應(yīng)已訓練PBT分類器來掃描3D點云而檢測每個關(guān)節(jié)標志?？梢栽跇酥緳z測中利用標志的相對位置也是可能的。例如，可以在區(qū)別性解剖網(wǎng)絡(luò)（DAN）中連接用于每個關(guān)節(jié)標志的已訓練分類器以將標志的相對位置考慮在內(nèi)，或者可以將已訓練分類器按照預定順序應(yīng)用到3D點云，其中，檢測到的每個標志幫助縮窄用于后續(xù)標志的搜索范圍。在其它可能的實施方式中，可以將PBT分類器訓練成檢測多個身體部分（例如，頭、軀干、骨盆），并且可以使用檢測到的身體部分來約束用于被用來檢測關(guān)節(jié)標志的PBT分類器的搜索范圍。在步驟708處，使用檢測到的解剖標志在3D點云中將模板網(wǎng)狀物模型初始化。如上所述，模板網(wǎng)狀物模型是從具有平常（例如，平均或中值）身體尺寸和中立姿勢的訓練數(shù)據(jù)集中的網(wǎng)狀物中選擇的網(wǎng)狀物。將模板網(wǎng)狀物模型劃分成多個身體部分，并且存儲用于模板網(wǎng)狀物上的所述多個關(guān)節(jié)標志中的每一個的相應(yīng)位置。通過計算模板網(wǎng)狀物到3D點云的剛性變換（其使3D點云中的關(guān)節(jié)標志的檢測位置與模板網(wǎng)狀物中的關(guān)節(jié)標志的相應(yīng)位置之間的誤差最小化）而在3D點云中對模板網(wǎng)狀物進行初始化。此剛性變換提供初始剛性旋轉(zhuǎn)矩陣R，其在被應(yīng)用于模板網(wǎng)狀物時導致初始化具體化網(wǎng)狀物模型。在步驟710處，通過使用已訓練參數(shù)可變形模型（PDM）使模板網(wǎng)狀物變形以擬合3D點云來生成個性化具體化網(wǎng)狀物。如上所述，通過根據(jù)訓練數(shù)據(jù)來訓練姿勢變形模型和形狀變形模型而離線訓練PDM。在步驟710中，將已訓練PDM直接地應(yīng)用到數(shù)據(jù)完成的任務(wù)。給定3D點云和關(guān)節(jié)標志，PDM可以通過使以下目標函數(shù)最小化來生成與部分數(shù)據(jù)一致的逼真的全3D網(wǎng)狀物輸出：(6)其中，Rk是剛性旋轉(zhuǎn)矩陣，是已訓練形狀變形模型，是已訓練姿勢變形模型，表示模板網(wǎng)狀物中的三角形的邊緣，y表示估計具體化網(wǎng)狀物模型的頂點，并且L是具體化頂點yl與3D點云Z中的相應(yīng)點zl之間的對應(yīng)的集合。此目標函數(shù)的第一項將網(wǎng)狀物輸出定義成與已學習PDM模型一致，并且第二項調(diào)節(jié)優(yōu)化以找到最佳地擬合輸入點云的集合。為了平衡兩個項的重要性，應(yīng)用權(quán)重項wz。在本發(fā)明的實施例中利用的PDM與SCAPE之間的一個顯著差異是等式（6）中的另一權(quán)重項wl的添加。在原始SCAPE工作中，輸入數(shù)據(jù)id來自激光掃描，因此可以對每個點相等地加權(quán)。然而，在圖7的方法中，輸入來自深度照相機傳感器，其中，數(shù)據(jù)準確度可能受到深度照相機傳感器與每個點之間的實際距離的影響。因此，本發(fā)明人已創(chuàng)建噪聲模型以模擬離深度照相機的距離對3D點云中的點的準確度的影響。噪聲模型基于每個關(guān)節(jié)標志與深度照相機的距離而針對每個配準點（例如，每個關(guān)節(jié)標志）生成wl的不同值。在等式（6）中，存在要優(yōu)化的三個參數(shù)集（R、Y和β）。這形成標準的非線性和非凸面優(yōu)化問題。為了避免收斂到次最佳解的可能性，本發(fā)明的實施例利用迭代過程來優(yōu)化該三個參數(shù)。特別地，分開地處理三組參數(shù)，每次僅優(yōu)化其中的一個，同時保持其它兩個固定。根據(jù)本發(fā)明的有利實施例，可以如下執(zhí)行三步優(yōu)化：（1）在S和Y固定的情況下優(yōu)化R，然后相應(yīng)地更新?R和Q；（2）在R和S固定的情況下優(yōu)化Y；以及（3）在R、Q和Y固定的情況下優(yōu)化S。在三步優(yōu)化程序的步驟（1）中，使用等式（6）來優(yōu)化剛性旋轉(zhuǎn)矩陣R，而估計具體化網(wǎng)狀物模型的形狀變形S和頂點Y是固定的。這導致用于估計具體化網(wǎng)狀物模型中的每個三角形的?r的更新值，并且使用已訓練姿勢變形模型而基于已更新?r來更新用于每個三角形的姿勢變形Q。因此，優(yōu)化程序的步驟（1）優(yōu)化估計具體化模型的姿勢。在三步優(yōu)化程序的步驟（2）中，使用等式（6）來優(yōu)化估計具體化網(wǎng)狀物的頂點Y的位置，而形狀變形S和剛性旋轉(zhuǎn)矩陣R（和姿勢變形）是固定的。此步驟是微調(diào)步驟，其將頂點Y的位置調(diào)整成更好地匹配3D點云。在優(yōu)化程序的步驟（3）中，使用等式（6）來優(yōu)化形狀變形S，而估計具體化網(wǎng)狀物的剛性旋轉(zhuǎn)矩陣R、姿勢變形Q以及頂點Y是固定的。特別地，調(diào)整第一主分量β以找到使用使等式（6）中的目標函數(shù)最小化的已訓練變形模型計算的形狀變形。因此，該三步優(yōu)化程序首先找到最佳姿勢變形，然后執(zhí)行估計具體化模型的頂點的微調(diào)調(diào)整，并且然后找到最佳形狀變形?？梢詫⒋巳絻?yōu)化程序重復多次。例如，可以將該三步優(yōu)化程序重復預定次數(shù)或者可以進行重復直至其收斂為止。等式（6）中的第二項要求找到3D點云與3D網(wǎng)狀物模型上的標志之間的對應(yīng)。在圖7的方法中，我們首先基于3D點云中的所檢測關(guān)節(jié)標志來估計初始R（步驟708）。然后，將上述三步優(yōu)化程序重復多次以獲得當前估計網(wǎng)狀物模型Mcurr，其中僅使用關(guān)節(jié)標志來找到對應(yīng)。例如，僅使用關(guān)節(jié)標志來找到對應(yīng)的三步優(yōu)化程序可以被重復預定次數(shù)或者可以被重復直至其收斂為止。接下來，可以執(zhí)行基于迭代最近點算法的配準算法來得到3D點云與當前3D網(wǎng)狀物模型Mcurr之間的完全配準。一旦執(zhí)行了3D點云與當前3D網(wǎng)狀物模型Mcurr之間的配準，則去除3D點云中的相應(yīng)點對與具有大于預定閾值的距離（）的當前3D網(wǎng)狀物模型之間的對應(yīng)。然后使用其余對應(yīng)來估計新的剛性旋轉(zhuǎn)矩陣R，并且重復三步優(yōu)化程序。重復此優(yōu)化配準過程直至收斂為止。上文針對使用已訓練PDM的部分數(shù)據(jù)完成所述的優(yōu)化程序生成貌似合理的3D具體化，其緊密地擬合到患者的實際姿勢和形狀。然而，系統(tǒng)準確度可能由于患者所穿的衣服的影響而被破壞。由于模板具體化是在裸體情形中從PSOER生成的，但是3D點云是從通常穿著衣服的實際患者捕捉到的，所以對等式（6）求解（其使具體化網(wǎng)狀物表面與3D點云之間的差最小化）將可能導致誤差。這個情況在患者穿著寬松衣服時特別嚴重。在本發(fā)明的有利實施例中，利用處理衣服影響的新優(yōu)化方法。為了處理患者所穿的衣服的影響，本發(fā)明的實施例搜索具有在一定程度上全部在輸入3D點云之下的頂點的3D具體化網(wǎng)狀物模型。為此，可以將衣服約束dcloth定義為：(7)其中，L是具體化頂點yl與3D點云中的相應(yīng)點zl之間的對應(yīng)的集合，并且nzl是點zl的法線。當，時，具體化網(wǎng)狀物在3D點云下面。項確保具體化網(wǎng)狀物在衣服區(qū)域內(nèi)充分地位于輸入3D點云下面，而在無衣服區(qū)域中具體化與輸入3D點云重疊。用下式來確定的值：(8)其中，表示具體化頂點屬于無衣服區(qū)域的概率。使用在統(tǒng)計上從地面實況訓練數(shù)據(jù)學習的已訓練概率模型來計算概率P(Y)。閾值τ表示具體化表面與衣服表面之間的最大距離，包括衣服的厚度。應(yīng)理解的是可以將該衣服約束不僅應(yīng)用于衣服，而且應(yīng)用于覆蓋患者的任何東西，諸如輻射防護器、毯子、枕頭等。因為覆蓋患者的東西可以被稱為先驗，所以可以針對不同的患者覆蓋物（例如，衣服、輻射防護器、毯子等）訓練不同的概率模型，并且可以基于正在覆蓋患者的東西來調(diào)整閾值τ。因為在有利實施例中，輸入3D點云數(shù)據(jù)是從已從躺在工作臺上的患者收集的RGB-D圖像數(shù)據(jù)生成的，所以可以利用在本文中稱為工作臺約束的另一約束dtable來指定具體化網(wǎng)狀物的所有頂點應(yīng)在工作臺之上。特別地，我們嘗試使下式最小化：(9)其中，是具體化頂點yk的z軸值（垂直于工作臺的表面），htable是當前工作臺高度（其是已知的），并且項etable確保具體化網(wǎng)狀物充分地位于工作臺之上。上面的等式具有許多解。為了實現(xiàn)看似真實地變形的具體化網(wǎng)狀物，可以用平滑化項來調(diào)整該解，其使下式最小化：(10)其中，y表示新具體化網(wǎng)狀物的頂點，表示當前具體化網(wǎng)狀物的頂點，并且Nk是鄰近于頂點yk的頂點的集合。此調(diào)整優(yōu)選這樣的頂點的變形，即所述變形與其相鄰頂點的平均變形類似。根據(jù)本發(fā)明的實施例，可以將上述約束組合以獲得使下式最小化的優(yōu)化函數(shù)：(11)其中，第一項與等式（6）中的第一項相同，第二項是在等式（7）中定義的衣服約束dcloth(Y)，第三項是在等式（9）中定義的工作臺約束dtable(Y)，并且第四項是在等式（10）中定義的平滑化約束s(Y)?？梢允褂玫仁剑?1）的成本函數(shù)來代替在等式（6）中表示的成本函數(shù)以優(yōu)化參數(shù)集（R、Y和β）。特別地，可以使用上述迭代優(yōu)化配準過程（包括迭代三步優(yōu)化程序）來找到最佳參數(shù)以使等式（11）的成本函數(shù)最小化。重復此程序直至收斂為止，導致用于患者的3D個性化具體化網(wǎng)狀物。返回圖7，在步驟712處，輸出用于患者的3D個性化具體化網(wǎng)狀物。例如，可以通過在計算機系統(tǒng)的顯示屏上顯示3D個性化具體化網(wǎng)狀物來輸出3D個性化具體化網(wǎng)狀物。在步驟714處，將患者的3D個性化具體化網(wǎng)狀物用于醫(yī)學成像掃描規(guī)劃。在一個實施方式中，3D個性化具體化網(wǎng)狀物可以提供患者的器官的位置的預測。例如，可以將器官的圖集與用于患者的3D個性化具體化網(wǎng)狀物對準并將其疊加在患者身體上。這可以幫助操作員指定用于醫(yī)學成像（例如CT或PET）掃描的特定器官的掃描范圍?？梢允褂没颊叩?D個性化具體化網(wǎng)狀物來代替形貌掃描以規(guī)劃CT或PET掃描。在當前工作流程中，針對重力的中心（所謂的等中心）的圖像區(qū)域來預期最佳CT掃描質(zhì)量。由于3D具體化網(wǎng)狀物準確地擬合到患者，所以還可以以最小的誤差根據(jù)3D具體化網(wǎng)狀物來估計掃描的等中心，由此幫助生成高質(zhì)量CT掃描圖像。圖9圖示出使用已訓練PDM從RGB-D圖像數(shù)據(jù)生成個性化具體化網(wǎng)狀物的示例性結(jié)果。如圖9中所示，圖像（a）示出了RGB圖像，并且圖像（b）示出了相應(yīng)深度圖像。圖像（c）示出了在從工作臺上方看時被重新投影為3D點云的RGB-D圖像數(shù)據(jù)。圖像（d）將PDM初始化示為所檢測關(guān)節(jié)標志。圖像（e）示出了在優(yōu)化的四次迭代之后的估計3D具體化網(wǎng)狀物，并且圖像（f）示出了使用PDM獲得的最終個性化3D具體化網(wǎng)狀物?？墒褂帽娝苤挠嬎銠C處理器、存儲器單元、存儲設(shè)備、計算機軟件及其它部件來在計算機上實現(xiàn)用于生成人的3D個性化具體化網(wǎng)狀物的上述方法。在圖10中圖示出此類計算機的高級框圖。計算機1002包含處理器1004，其通過執(zhí)行定義此類操作的計算機程序指令來控制計算機1002的總體操作。可將計算機程序指令存儲在存儲設(shè)備1012（例如，磁盤）中并在期望計算機程序指令的執(zhí)行時將其加載到存儲器1010中。因此，圖7的方法的步驟可由存儲在存儲器1010和/或儲存器1012中的計算機程序指令定義并由執(zhí)行計算機程序指令的處理器1004控制。可以將深度照相機1020連接到計算機1002以向計算機1002輸入RGB-D圖像數(shù)據(jù)。深度照相機1020和計算機1002可被直接地連接，或者可通過網(wǎng)絡(luò)或其它無線通信協(xié)議無線地進行通信。還可以將醫(yī)學圖像獲取設(shè)備（未示出）（諸如CT掃描設(shè)備）連接到計算機1002以向計算機1002輸入醫(yī)學圖像數(shù)據(jù)。將醫(yī)學圖像獲取設(shè)備和計算機1002實現(xiàn)為一個設(shè)備也是可能的。計算機1002還包括用于經(jīng)由網(wǎng)絡(luò)與其它設(shè)備通信的一個或多個網(wǎng)絡(luò)接口1006。計算機1002還包括使得能夠與計算機1002進行用戶交互的其它輸入/輸出設(shè)備1008（例如，顯示器、鍵盤、鼠標、揚聲器、按鈕等）?？蓪⒋祟愝斎?輸出設(shè)備1008與一組計算機程序相結(jié)合地用作用以對從圖像獲取設(shè)備1020接收到的體積加注釋的注釋工具。本領(lǐng)域技術(shù)人員將認識到實際計算機的實施方式也可以包含其它部件，并且圖10是出于說明性目的的此類計算機的某些組件的高級表示。應(yīng)將前述詳細描述理解為在每個方面是說明性和示例性的而非限制性的，并且不應(yīng)根據(jù)詳細描述、而是確切地說根據(jù)如根據(jù)專利法許可的全范圍解釋的權(quán)利要求來確定在本文中公開的本發(fā)明的范圍。應(yīng)理解的是在本文中示出并描述的實施例僅僅說明本發(fā)明的原理，并且在不脫離本發(fā)明的范圍和精神的情況下可由本領(lǐng)域的技術(shù)人員實現(xiàn)各種修改。在不脫離本發(fā)明的范圍和精神的情況下，本領(lǐng)域的技術(shù)人員可以實現(xiàn)各種其它特征組合。當前第1頁1 2 3 當前第1頁1 2 3