本發(fā)明涉及X射線透視攝像等醫(yī)用圖像攝像裝置，特別地涉及其圖像處理技術(shù)。

背景技術(shù)：

在用于對(duì)使用體內(nèi)探針等設(shè)備的手術(shù)進(jìn)行輔助的機(jī)器中，為了修正設(shè)備的位置，有專利文獻(xiàn)1中記載的技術(shù)。在該公報(bào)中記載了“涉及體內(nèi)探針追蹤系統(tǒng)中的患者的運(yùn)動(dòng)的修正。接收人體的X射線透視圖像。在X射線透視圖像中確定人體的硬組織，并在第2坐標(biāo)系上測(cè)定X射線透視圖像中的人體的運(yùn)動(dòng)。使用第2坐標(biāo)系中確定的運(yùn)動(dòng)來(lái)修正第1坐標(biāo)系中的體內(nèi)探針的接收到的位置?！薄?/p>

如上所述，在專利文獻(xiàn)1中，在進(jìn)行X射線透視攝像時(shí)，檢測(cè)被檢體的運(yùn)動(dòng)，并使用檢測(cè)出的運(yùn)動(dòng)來(lái)修正體內(nèi)探針的接收到的位置。然而，在專利文獻(xiàn)1中，未考慮輸出并顯示被檢體內(nèi)的體內(nèi)探針的圖像的情況。因此，僅限于對(duì)體內(nèi)探針等設(shè)備的空間坐標(biāo)進(jìn)行修正的效果。因此，無(wú)法兼顧提高手術(shù)者的設(shè)備操作性。

專利文獻(xiàn)1：日本特開2014-100567號(hào)公報(bào)

非專利文獻(xiàn)1：A Tutorial on Support Vector Machines for Pattern Recognition,Journal of Data Mining and Knowledge Discovery,Vol.2,Issue 2,1998.

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于，解決上述課題，提供一種通過(guò)修正圖像的運(yùn)動(dòng)以便易于觀察設(shè)備的運(yùn)動(dòng)，由此能夠?qū)崿F(xiàn)手術(shù)者的設(shè)備操作性的提高的圖像處理裝置和方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種圖像處理裝置，其具備：圖像處理部，包含設(shè)備的被檢體的取得圖像數(shù)據(jù)被輸入到該圖像處理部；以及顯示輸出部，利用圖像處理部修正后的修正圖像數(shù)據(jù)被輸入到該顯示輸出部，其中，圖像處 理部從取得圖像數(shù)據(jù)中取得設(shè)備的運(yùn)動(dòng)信息和被檢體的各部位的運(yùn)動(dòng)信息，并使用所取得的設(shè)備的運(yùn)動(dòng)信息和被檢體的各部位的運(yùn)動(dòng)信息，從被檢體的各部位的運(yùn)動(dòng)信息中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，并使用所提取的影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，進(jìn)行取得圖像數(shù)據(jù)的修正，并輸出修正圖像數(shù)據(jù)。

此外，為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種圖像處理裝置，其具備：圖像處理部，包含設(shè)備的人體的取得圖像數(shù)據(jù)被輸入到該圖像處理部；以及顯示輸出部，利用圖像處理部修正后的修正圖像數(shù)據(jù)被輸入到該顯示輸出部，其中，圖像處理部包含以下結(jié)構(gòu)：從取得圖像數(shù)據(jù)中取得設(shè)備的信息的設(shè)備信息取得部；從取得圖像數(shù)據(jù)中取得人體各部位的信息的人體各部位的信息取得部；從取得圖像數(shù)據(jù)取得人體的病變的信息的病變信息取得部；使用設(shè)備的運(yùn)動(dòng)信息和人體各部位的運(yùn)動(dòng)信息，從人體各部位的運(yùn)動(dòng)信息中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息的設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息提取部；從人體各部位的運(yùn)動(dòng)信息中提取影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息的病變關(guān)聯(lián)運(yùn)動(dòng)信息提取部；以及使用影響設(shè)備的運(yùn)動(dòng)的運(yùn)動(dòng)信息和影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，對(duì)取得圖像數(shù)據(jù)進(jìn)行修正處理的修正處理部。

此外，為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種圖像處理裝置中的圖像處理方法，圖像處理裝置從包含設(shè)備的被檢體的取得圖像數(shù)據(jù)中取得設(shè)備的運(yùn)動(dòng)信息和被檢體的各部位的運(yùn)動(dòng)信息，并使用所取得的設(shè)備的運(yùn)動(dòng)信息和被檢體的各部位的運(yùn)動(dòng)信息，從被檢體的各部位的運(yùn)動(dòng)信息中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，并使用所提取的影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，進(jìn)行取得圖像數(shù)據(jù)的修正，并輸出修正圖像數(shù)據(jù)。

根據(jù)本發(fā)明，通過(guò)在殘留手術(shù)者所意圖的設(shè)備的運(yùn)動(dòng)的同時(shí)修正圖像的運(yùn)動(dòng)，能夠提高設(shè)備的操作性。

附圖說(shuō)明

圖1是表示實(shí)施例1的圖像處理部的一種結(jié)構(gòu)的框圖。

圖2是表示實(shí)施例1的X射線透視攝像裝置的一種結(jié)構(gòu)的框圖。

圖3是表示實(shí)施例1的被檢體各部位的信息的一例的概念圖。

圖4是表示實(shí)施例2的圖像處理部的一種結(jié)構(gòu)的框圖。

符號(hào)說(shuō)明

1 X射線透視攝像裝置

2 X射線管

3 X射線控制部

4 高電壓產(chǎn)生部

5 光圈

6 X射線補(bǔ)償濾波器

7 光圈濾波器控制部

8 操作臺(tái)

9 圖像取得部

10、30 圖像處理部

11 顯示輸出部

12 機(jī)構(gòu)控制部

13 中央處理部

14 被檢體

15 用戶接口部

102 設(shè)備信息取得部

103 人體各部位的信息取得部

104 設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部

105、303 修正處理部

111 取得圖像數(shù)據(jù)

112 設(shè)備信息

113 人體各部位的信息

114 影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息

115 修正圖像數(shù)據(jù)

301 病變信息取得部

302 病變關(guān)聯(lián)運(yùn)動(dòng)信息取得部

具體實(shí)施方式

以下，按照附圖依次說(shuō)明各個(gè)實(shí)施例。此外，本說(shuō)明書中，“設(shè)備”是從外部導(dǎo)入到被檢體中的內(nèi)窺鏡、導(dǎo)尿管、鉗子等的總稱。

[實(shí)施例1]

實(shí)施例1是圖像處理裝置和圖像處理方法的實(shí)施例，該圖像處理裝置具備：圖像處理部，來(lái)自取得包含設(shè)備的被檢體的圖像的圖像取得部的取得圖像數(shù)據(jù)被輸入到該圖像處理部；以及顯示輸出部，由圖像處理部修正后的圖像數(shù)據(jù)被輸入到該顯示輸出部，其中，圖像處理部從取得圖像數(shù)據(jù)中取得設(shè)備的運(yùn)動(dòng)信息和被檢體的各部位的運(yùn)動(dòng)信息，并使用所取得的設(shè)備的運(yùn)動(dòng)信息和被檢體的各部位的運(yùn)動(dòng)信息，從被檢體的各部位的運(yùn)動(dòng)信息中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，并使用所提取的影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，進(jìn)行取得圖像數(shù)據(jù)的修正處理，并將修正后的圖像數(shù)據(jù)輸出。

圖1和圖2分別是表示實(shí)施例1的圖像處理部、X射線透視攝像裝置的一種結(jié)構(gòu)的框圖。

如圖2所示，本實(shí)施例的X射線透視攝像裝置1具有：產(chǎn)生并照射X射線的X射線管2；與X射線管2電連接的高電壓產(chǎn)生部4；與高電壓產(chǎn)生部4電連接的X射線控制部3；在X射線管2的X射線照射方向上配置的光圈5、X射線補(bǔ)償濾波器6和操作臺(tái)8；與X射線補(bǔ)償濾波器6和光圈5電連接的光圈濾波器控制部7；以及隔著光圈5和X射線補(bǔ)償濾波器6以及寢臺(tái)即操作臺(tái)8而與X射線管2相向配置的圖像取得部9。這里，X射線管2、光圈5、X射線補(bǔ)償濾波器6、操作臺(tái)8以及圖像取得部9構(gòu)成了X射線透視攝像裝置1的攝像部。

此外，還具有：與圖像取得部9電連接的圖像處理部10；與圖像處理部10電連接的顯示輸出部11；與操作臺(tái)8和圖像取得部9電連接的、作為攝像機(jī)構(gòu)移動(dòng)部發(fā)揮作用的機(jī)構(gòu)控制部12；與X射線控制部、高電壓產(chǎn)生部4、光圈濾波器控制部7、圖像取得部9、圖像處理部10和機(jī)構(gòu)控制部12電連接的、對(duì)各個(gè)處理和控制進(jìn)行指示的中央處理部13；與中央處理部13電連接的用戶接口部15。

高電壓產(chǎn)生部4產(chǎn)生對(duì)X射線管2施加的高電壓。X射線管2向被檢體14照射X射線。X射線控制部3控制高電壓產(chǎn)生部4，并控制從X射線管2照射的X射線的放射性質(zhì)量。光圈5通過(guò)X射線吸收率高的金屬的移動(dòng)來(lái)控制照射由X射線管2產(chǎn)生的X射線的區(qū)域。X射線補(bǔ)償濾波器6由X射線吸 收率高的物質(zhì)構(gòu)成，使到達(dá)被檢體的X射線吸收率低的部位的X射線衰減，由此來(lái)減輕光暈。操作臺(tái)8是承載人體等被檢體14的寢臺(tái)。

圖像取得部9輸出與從X射線管2照射并透過(guò)被檢體后的X射線的強(qiáng)度分布對(duì)應(yīng)的圖像數(shù)據(jù)。一般地，圖像取得部9由X射線平面型檢測(cè)器構(gòu)成，通過(guò)組合了X射線檢測(cè)材料和TFT(薄膜晶體管(Thin Film Transistor))陣列的機(jī)構(gòu)，利用TFT的開關(guān)掃描(switching scan)來(lái)讀出由X射線在X射線檢測(cè)材料內(nèi)產(chǎn)生的電荷，作為數(shù)字信號(hào)而輸出圖像數(shù)據(jù)。圖像取得部9可以將該圖像數(shù)據(jù)生成為靜止圖像，此外還可以生成在時(shí)間上不同的定時(shí)所拍攝的多個(gè)圖像數(shù)據(jù)，生成為動(dòng)態(tài)圖像。在后者的情況下，一般以每秒30幀、每秒15幀等一定時(shí)間間隔來(lái)拍攝圖像數(shù)據(jù)。

本實(shí)施例的圖像處理部10進(jìn)行從圖像取得部9輸出的圖像數(shù)據(jù)的修正處理。該圖像處理部10根據(jù)中央處理部13的指示/控制來(lái)執(zhí)行后文詳述的修正處理。圖像處理部10優(yōu)選能夠由數(shù)字信號(hào)處理器(DSP)構(gòu)成，或者也可以通過(guò)中央處理部13本身進(jìn)行程序處理來(lái)實(shí)現(xiàn)該修正處理。顯示輸出部11顯示修正處理后的X射線攝像圖像數(shù)據(jù)。機(jī)構(gòu)控制部12作為攝像機(jī)構(gòu)移動(dòng)部而發(fā)揮作用，控制為移動(dòng)操作臺(tái)8和X射線平面檢測(cè)器9而移動(dòng)到適合于被檢體14的攝像的位置。

中央處理部13是對(duì)上述電連接的結(jié)構(gòu)要素進(jìn)行控制的計(jì)算機(jī)。用戶接口部15按照來(lái)自中央處理部13的指示向用戶提示信息，或者從用戶接收信息并作為電信號(hào)而輸出到中央處理部13。用戶接口部15通過(guò)按鈕、鍵盤、鼠標(biāo)、觸摸面板、顯示器等構(gòu)成。在本實(shí)施例中，使用戶接口部15中的顯示裝置(顯示器)和輸出圖像數(shù)據(jù)的顯示輸出部11獨(dú)立，然而可以通過(guò)分割顯示區(qū)域或使信息顯示隨時(shí)間遷移來(lái)進(jìn)行物理上通用化。

接著，說(shuō)明圖1所示的本實(shí)施例的圖像處理部10的修正處理功能。圖像處理部10包含：從由圖像取得部9輸出的圖像數(shù)據(jù)111檢測(cè)內(nèi)窺鏡、導(dǎo)尿管、鉗子等設(shè)備的位置和運(yùn)動(dòng)信息，并作為設(shè)備信息112輸出的設(shè)備信息取得部102；從由圖像取得部9輸出的圖像數(shù)據(jù)111檢測(cè)人體各部位的信息，并輸出人體各部位的信息113的人體各部位的運(yùn)動(dòng)信息取得部103；將從設(shè)備信息取得部102輸出的設(shè)備信息112和從人體各部位的信息取得部103輸出的人體各 部位的信息113作為輸入，從人體各部位的信息113中提取與設(shè)備信息112關(guān)聯(lián)的運(yùn)動(dòng)信息，并作為影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114而輸出的設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104；將從設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104輸出的影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114和從圖像取得部9輸出的圖像數(shù)據(jù)111作為輸入，根據(jù)影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114來(lái)修正圖像數(shù)據(jù)111，并輸出修正圖像數(shù)據(jù)115的修正處理部105。

接著，依次說(shuō)明構(gòu)成圖像處理部10的各模塊的功能動(dòng)作的細(xì)節(jié)。設(shè)備信息取得部102首先根據(jù)被輸入的圖像數(shù)據(jù)111來(lái)確定設(shè)備的位置，接著，根據(jù)設(shè)備的位置的時(shí)間變化來(lái)推定運(yùn)動(dòng)，將設(shè)備的位置和運(yùn)動(dòng)作為設(shè)備信息112而輸出。作為確定設(shè)備的位置的方法，使用了基于機(jī)械學(xué)習(xí)的方法，然而并不限于此。以下，說(shuō)明基于機(jī)械學(xué)習(xí)的方法。由于內(nèi)窺鏡等設(shè)備一般由遮擋X射線的透射的材料構(gòu)成，因此，與人體各部位相比較，在圖像數(shù)據(jù)上大多具有特征性的亮度。此外，還大多具有明顯不同于人體各部位的形狀。通過(guò)機(jī)械學(xué)習(xí)來(lái)識(shí)別這樣的設(shè)備所固有的特征，由此能夠從圖像數(shù)據(jù)中確定設(shè)備的位置。

設(shè)備信息取得部102將圖像分割成各個(gè)某區(qū)域(補(bǔ)丁圖像(patch image))，并通過(guò)機(jī)械學(xué)習(xí)來(lái)判別該補(bǔ)丁圖像中是否包含設(shè)備，由此來(lái)確定設(shè)備的位置。一般地，機(jī)械學(xué)習(xí)有學(xué)習(xí)想要識(shí)別的物體的學(xué)習(xí)階段、和判別實(shí)際上輸入的圖像是否是想要的圖像的預(yù)測(cè)階段。通過(guò)X射線透視攝像裝置1的圖像處理部10來(lái)實(shí)施學(xué)習(xí)階段的處理，但是也可以構(gòu)成為，在例如獨(dú)立于X射線透視攝像裝置的個(gè)人計(jì)算機(jī)(PC)上預(yù)先實(shí)施圖中未記載的離線處理，并將學(xué)習(xí)結(jié)果存儲(chǔ)在DSP等圖像處理部10中的未圖示的存儲(chǔ)器中。此外，可以構(gòu)成為通過(guò)X射線透視攝像裝置1的圖像處理部10來(lái)實(shí)施預(yù)測(cè)階段。

設(shè)備信息取得部102在學(xué)習(xí)階段，將大量的樣本圖像分割為補(bǔ)丁圖像，并針對(duì)每個(gè)補(bǔ)丁圖像利用目視等方法標(biāo)示是否在圖像中包含設(shè)備的標(biāo)號(hào)(例如，有：1，無(wú)：-1)，之后，識(shí)別器學(xué)習(xí)補(bǔ)丁圖像與標(biāo)號(hào)的關(guān)系。另一方面，在預(yù)測(cè)階段，將所輸入的圖像數(shù)據(jù)111分割為補(bǔ)丁圖像并輸入到識(shí)別器，由此，根據(jù)標(biāo)號(hào)來(lái)輸出補(bǔ)丁圖像中是否包含設(shè)備。

接著，說(shuō)明各階段的動(dòng)作的細(xì)節(jié)。首先，說(shuō)明學(xué)習(xí)階段的動(dòng)作。在學(xué)習(xí)階段，首先從圖像中提取特征。對(duì)于特征，考慮使用HOG(方向梯度直方圖 (histogram of Oriented Gradients))和亮度直方圖的組合等，然而并不限于此，以下依次說(shuō)明HOG和亮度直方圖的計(jì)算方法，最后說(shuō)明其組合方法。

HOG是基于圖像的梯度強(qiáng)度和梯度方向的特征量。依次說(shuō)明HOG的計(jì)算方法。首先，將某圖像劃分為小的(水平方向5像素、垂直方向5像素左右)塊，并針對(duì)每個(gè)塊求取梯度強(qiáng)度和梯度方向。當(dāng)設(shè)圖像數(shù)據(jù)為I，設(shè)圖像數(shù)據(jù)上的坐標(biāo)為u、v時(shí)，根據(jù)式(1)，分別通過(guò)式(2)和式(3)來(lái)計(jì)算梯度強(qiáng)度m和梯度方向θ。

[式1]

f_u(u,v)＝I(u,v)-I(u-1,v)

f_v(u,v)＝I(u,v)-I(u,v-1)…(1)

[式2]

$m(u,v)=\sqrt{{f_u}^2+{f_v}^2}...\left(2\right)$

[式3]

$\mathrm{\θ}(u,v)={\tan }^{-1}\frac{f_v}{f_u}...\left(3\right)$

此外，針對(duì)每個(gè)合適的角度將梯度方向量化，生成在各個(gè)小區(qū)間(bin)值上相加梯度強(qiáng)度后的梯度方向直方圖。例如，在以20度單位進(jìn)行了量化的情況下，直方圖的小區(qū)間數(shù)為9，因此梯度方向直方圖為9維的特征向量。

在相鄰塊(水平方向3個(gè)塊、垂直方向3個(gè)塊)之間連接計(jì)算出的梯度方向直方圖，生成81維的特征向量，并將小區(qū)間值歸一化。在針對(duì)圖像整體應(yīng)用該操作的同時(shí)將所得的特征向量連接，由此最終得到從幾百維到幾千維左右的HOG特征向量。

亮度直方圖是基于圖像的亮度的特征量。以合適的單位將某圖像的像素值量化，利用量化后的值生成亮度直方圖。之后，將亮度直方圖的小區(qū)間值歸一化。例如，在圖像的比特深度以256級(jí)，針對(duì)每16單位而量化的情況下，直方圖的小區(qū)間數(shù)是16，因此亮度直方圖是16維的特征向量。將利用上述方法計(jì)算出的HOG和亮度直方圖連接，設(shè)為最終的特征向量。

接著，說(shuō)明根據(jù)該特征向量利用識(shí)別器進(jìn)行學(xué)習(xí)的方法。這里，假定準(zhǔn)備多個(gè)所述特征向量和標(biāo)號(hào)的組合作為訓(xùn)練樣本，使用識(shí)別器進(jìn)行學(xué)習(xí)。識(shí)別器 中使用了SVM(支持向量機(jī)(Support Vector Machine))，然而并不限于此。以下對(duì)SVM進(jìn)行概述。

SVM是通過(guò)線性閾值構(gòu)成2類模式識(shí)別器的方法，使用所輸入的訓(xùn)練樣本來(lái)計(jì)算各特征向量間的距離為最大的超平面。該超平面的參數(shù)成為學(xué)習(xí)結(jié)果，被存儲(chǔ)在位于圖像處理部10內(nèi)的未圖示的存儲(chǔ)器中。例如，非專利文獻(xiàn)1中記載了SVM的細(xì)節(jié)。

另一方面，在預(yù)測(cè)階段，利用光柵掃描從輸入圖像數(shù)據(jù)中切出補(bǔ)丁圖像，與學(xué)習(xí)階段同樣地計(jì)算特征向量。接著，將特征向量輸入到學(xué)習(xí)結(jié)束的識(shí)別器，作為輸出而得到標(biāo)號(hào)(label)，來(lái)判斷設(shè)備的有無(wú)。此時(shí)，通過(guò)預(yù)先規(guī)定圖像中包含的設(shè)備的最大數(shù)，能夠防止從圖像中錯(cuò)誤地檢測(cè)多個(gè)設(shè)備。例如，在存在多個(gè)被判斷為有設(shè)備的補(bǔ)丁圖像的情況下，能夠使用相距所述超平面的距離、相距在前一幀中計(jì)算出的設(shè)備的位置的距離等基準(zhǔn)，將設(shè)備的位置縮小范圍至規(guī)定數(shù)。此外，還可以根據(jù)1幀前的設(shè)備的位置和以下說(shuō)明的運(yùn)動(dòng)之和，來(lái)預(yù)測(cè)當(dāng)前幀中的設(shè)備的位置，并將多個(gè)補(bǔ)丁圖像縮小范圍。

接著，說(shuō)明通過(guò)圖1的設(shè)備信息取得部102來(lái)檢測(cè)設(shè)備的運(yùn)動(dòng)的方法。這里說(shuō)明利用幀間的差值求取設(shè)備的運(yùn)動(dòng)的方法，然而并不限于此。以下說(shuō)明幀間差值的方法。首先，通過(guò)針對(duì)所輸入的圖像數(shù)據(jù)111的各幀逐次應(yīng)用前述的設(shè)備的位置的計(jì)算方法，來(lái)計(jì)算各幀中的設(shè)備的位置。然后，計(jì)算某時(shí)刻與前一時(shí)刻的幀之間的設(shè)備的位置的差值，看作各時(shí)刻的設(shè)備的運(yùn)動(dòng)信息。

此外，當(dāng)使用移動(dòng)平均濾波器等，針對(duì)按時(shí)序排列的設(shè)備的運(yùn)動(dòng)信息應(yīng)用時(shí)間方向的濾波時(shí)，設(shè)備的運(yùn)動(dòng)信息對(duì)于設(shè)備的位置的誤檢測(cè)的魯棒性強(qiáng)，此外，針對(duì)后述的修正圖像數(shù)據(jù)115進(jìn)行使手術(shù)者的設(shè)備操作有余地的運(yùn)動(dòng)修正，因此，能夠進(jìn)行更合適的設(shè)備操作。最后，設(shè)備信息取得部102使用上述方法根據(jù)所輸入的圖像數(shù)據(jù)111計(jì)算設(shè)備的位置和運(yùn)動(dòng)，并作為設(shè)備信息112輸出。

人體各部位的運(yùn)動(dòng)信息取得部103根據(jù)所輸入的圖像數(shù)據(jù)111生成并輸出人體各部位的運(yùn)動(dòng)信息113。

圖3是表示人體各部位的運(yùn)動(dòng)信息取得部103所輸出的人體各部位的信息113的示意圖。在人體各部位的信息113中包含：將圖像數(shù)據(jù)分割為k個(gè)(圖 中是5個(gè)，區(qū)域201至區(qū)域205)時(shí)的區(qū)域的信息、和各個(gè)區(qū)域201～205的代表性運(yùn)動(dòng)211～215。具體來(lái)說(shuō)，區(qū)域信息是表示各像素屬于區(qū)域201～205的哪個(gè)區(qū)域的標(biāo)號(hào)(例如1至k)的信息。此外，圖3中，區(qū)域205表示內(nèi)窺鏡、鉗子等設(shè)備的區(qū)域，運(yùn)動(dòng)215表示設(shè)備的運(yùn)動(dòng)，這些信息也包含在人體各部位的信息113中。以下，更具體地說(shuō)明根據(jù)圖像數(shù)據(jù)111生成人體各部位的信息113的方法。

首先，說(shuō)明將圖像數(shù)據(jù)111分割為各區(qū)域的方法。作為區(qū)域分割方法，可使用作為聚類法(Clustering)的一種的k-means法等，然而并不限于此。以下概述k-means法。

k-means法是將所給出的數(shù)據(jù)分類為k個(gè)聚類的方法。按照以下步驟執(zhí)行k-means法。

針對(duì)各數(shù)據(jù)隨機(jī)分配聚類(cluster)。

通過(guò)算術(shù)平均求取各聚類的中心。

求取中心與各數(shù)據(jù)的距離，并將各數(shù)據(jù)重新分配給距離最近的聚類。

重復(fù)執(zhí)行從第1步到第3步的處理直到不再更新聚類的分配為止。

這里，將圖像數(shù)據(jù)的各像素值作為數(shù)據(jù)。例如通過(guò)像素值的差的絕對(duì)值來(lái)計(jì)算像素值間的距離。若以任意順序?qū)?到k的標(biāo)號(hào)賦予聚類，則能夠針對(duì)各坐標(biāo)分配表示屬于哪個(gè)區(qū)域的標(biāo)號(hào)。

接著，說(shuō)明求取每個(gè)區(qū)域的運(yùn)動(dòng)的方法。這里說(shuō)明在針對(duì)全部像素求出運(yùn)動(dòng)之后計(jì)算每個(gè)區(qū)域的運(yùn)動(dòng)的方法，然而并不限于此。

作為像素單位的運(yùn)動(dòng)信息的檢測(cè)方法，可使用塊匹配(Block matching)法等，然而并不限于此。以下說(shuō)明塊匹配法。

在所輸入的圖像數(shù)據(jù)111中，使用評(píng)價(jià)值e_w通過(guò)式(3)來(lái)計(jì)算關(guān)注坐標(biāo)w的運(yùn)動(dòng)向量d。

[式4]

$d=\underset{d\∈\mathrm{\Φ}}{\mathrm{argmin}}{e}_w\left(d\right)...\left(4\right)$

這里，Φ是運(yùn)動(dòng)向量的搜索范圍的坐標(biāo)的集合。此外，通過(guò)式(4)計(jì)算評(píng)價(jià)值e。

[式5]

$e_w\left(d\right)=\frac{1}{W}\underset{d^{\′}\∈\mathrm{\Ω}}{\Σ}|I(w+d^{\′})-I(w+d+d^{\′})|...\left(5\right)$

這里，Ω是匹配范圍的坐標(biāo)的集合，W是歸一化因子。

人體各部位的運(yùn)動(dòng)信息取得部103針對(duì)圖像中的全部像素應(yīng)用式3來(lái)計(jì)算運(yùn)動(dòng)向量。此外，這里說(shuō)明了以像素單位來(lái)求取運(yùn)動(dòng)向量，然而也可以以將圖像分割為任意大小的單位來(lái)求取運(yùn)動(dòng)。

接著，說(shuō)明針對(duì)分割后的各區(qū)域分配運(yùn)動(dòng)向量的方法。通過(guò)上述方法，針對(duì)各像素設(shè)定了表示分配給哪個(gè)區(qū)域的標(biāo)號(hào)(1～k)和運(yùn)動(dòng)向量。由此，通過(guò)針對(duì)各區(qū)域的全部像素求取運(yùn)動(dòng)向量的算術(shù)平均，能夠計(jì)算各區(qū)域的代表性運(yùn)動(dòng)211～215。

設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104將設(shè)備的運(yùn)動(dòng)信息112和人體各部位的信息113作為輸入，從人體各部位的信息113中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114并輸出。以下，說(shuō)明從人體各部位的信息113中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114的方法。

首先，設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104以預(yù)先決定的幀數(shù)的量將人體各部位的信息113保持在未圖示的內(nèi)置在圖像處理部10中的存儲(chǔ)器或者附屬于中央處理部13的存儲(chǔ)器中。即，所述存儲(chǔ)器構(gòu)成為，在新輸入了人體各部位的信息113時(shí)，將最早的人體各部位的信息113廢棄，并存儲(chǔ)新的人體各部位的信息113。

接著，將某時(shí)刻的人體各部位的信息113的各區(qū)域201～205與前一時(shí)刻的各區(qū)域相對(duì)應(yīng)。具體地，設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104執(zhí)行以下步驟。

提取時(shí)刻t的區(qū)域n的全部坐標(biāo)。

利用所提取的坐標(biāo)，參照時(shí)刻t-1的區(qū)域，計(jì)算表示區(qū)域的標(biāo)號(hào)的頻度。

將頻度最高的區(qū)域與區(qū)域n相關(guān)聯(lián)。

針對(duì)時(shí)刻t的全部區(qū)域?qū)嵤┮陨喜僮鳌?/p>

通過(guò)針對(duì)存儲(chǔ)器內(nèi)的各時(shí)刻的人體各部位的信息113實(shí)施上述處理，能夠?qū)⒆钚聲r(shí)刻的區(qū)域與過(guò)去時(shí)刻的區(qū)域全部相關(guān)聯(lián)。

接著，從人體各部位的信息113中除去被認(rèn)為是設(shè)備本身的區(qū)域。例如， 圖3中，除去運(yùn)動(dòng)信息211～215中表示設(shè)備本身的運(yùn)動(dòng)的215。作為具體的方法，根據(jù)設(shè)備的運(yùn)動(dòng)信息112中包含的設(shè)備的位置信息，將分配給相當(dāng)于該位置的區(qū)域(圖3中，區(qū)域205)的運(yùn)動(dòng)(圖3中，運(yùn)動(dòng)215)從人體各部位的運(yùn)動(dòng)信息113中除去。在以后的記述中，將人體各部位的信息113記述為除去了設(shè)備本身后的信息。

接著，計(jì)算各區(qū)域的運(yùn)動(dòng)與設(shè)備的運(yùn)動(dòng)的相似度。相似度的計(jì)算方法，考慮了各種方法，然而這里假定通過(guò)運(yùn)動(dòng)向量彼此的內(nèi)積來(lái)計(jì)算。針對(duì)存儲(chǔ)器中存儲(chǔ)的全部時(shí)刻的數(shù)據(jù)來(lái)計(jì)算該相似度。此外，針對(duì)各個(gè)相關(guān)聯(lián)的區(qū)域，計(jì)算存儲(chǔ)器中存儲(chǔ)的從過(guò)去到現(xiàn)在的相似度的代表值。這里，假定通過(guò)搜索最大值來(lái)計(jì)算相似度的代表值。然后，將分配給全部區(qū)域中的相似度的代表值最高的區(qū)域(圖3中，區(qū)域204)的運(yùn)動(dòng)(圖3中，運(yùn)動(dòng)214)，作為影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114而輸出。

修正處理部105基于影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114來(lái)修正圖像數(shù)據(jù)111，并作為修正圖像數(shù)據(jù)115而輸出。具體地，通過(guò)使圖像數(shù)據(jù)111在與影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114相反的方向上平行移動(dòng)，來(lái)進(jìn)行使圖像的抖動(dòng)穩(wěn)定的修正。

即，在將圖像數(shù)據(jù)111設(shè)為I，將影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114設(shè)為d’時(shí)，通過(guò)式6來(lái)計(jì)算修正后的圖像數(shù)據(jù)I’。

[式6]

I’(x)＝I(x-d’)…(6)

通過(guò)以上詳述的本實(shí)施例的結(jié)構(gòu)，以符合與設(shè)備關(guān)聯(lián)的人體的運(yùn)動(dòng)的方式進(jìn)行運(yùn)動(dòng)修正，因此，能夠在保留手術(shù)者所意圖的設(shè)備的運(yùn)動(dòng)的同時(shí)，實(shí)現(xiàn)圖像整體的運(yùn)動(dòng)穩(wěn)定化，對(duì)于手術(shù)者來(lái)說(shuō)，能夠輸出操作對(duì)象即設(shè)備更易于觀察的圖像。

此外，在之前說(shuō)明的設(shè)備信息取得部102的學(xué)習(xí)階段，作為判斷設(shè)備是否包含在補(bǔ)丁圖像中的基準(zhǔn)，可以以圖像中包含有設(shè)備的特征性圖案為基準(zhǔn)。例如，可以將內(nèi)窺鏡、鉗子等設(shè)備上安裝的X射線不透過(guò)標(biāo)記等標(biāo)記看作特征性圖案來(lái)進(jìn)行識(shí)別。在使用X射線不透過(guò)標(biāo)記的情況下，在利用X射線透視攝像裝置得到的X射線圖像上辨認(rèn)度特別高，因此能夠進(jìn)行更穩(wěn)定的設(shè)備位 置的確定。

或者，作為判斷設(shè)備是否包含在補(bǔ)丁圖像中的基準(zhǔn)，可以以補(bǔ)丁圖像中包含有設(shè)備前端的一定區(qū)域?yàn)榛鶞?zhǔn)。這種情況下，作為設(shè)備的位置，檢測(cè)出認(rèn)為手術(shù)者所關(guān)注的內(nèi)窺鏡、鉗子等設(shè)備的前端，基于手術(shù)者所關(guān)注的區(qū)域來(lái)進(jìn)行人體各部位的運(yùn)動(dòng)信息取得部103的運(yùn)動(dòng)提取處理，因此，能夠輸出對(duì)于手術(shù)者來(lái)說(shuō)更適合的修正圖像。

或者，作為判斷設(shè)備是否包含在補(bǔ)丁圖像中的基準(zhǔn)，可以以補(bǔ)丁中包含有設(shè)備的非可動(dòng)區(qū)域?yàn)榛鶞?zhǔn)。一般地，設(shè)備其自身有時(shí)會(huì)發(fā)生變形，此外，有時(shí)安裝有鉗子等具備可動(dòng)部分的器具。這種情況下，可以期待將設(shè)備的非可動(dòng)區(qū)域例如鉗子的連接部等始終以一定形狀在X射線圖像上可視化，學(xué)習(xí)和預(yù)測(cè)變得容易，因此能夠進(jìn)行更穩(wěn)定的設(shè)備位置的確定。

此外，還可以針對(duì)所設(shè)想的每個(gè)設(shè)備進(jìn)行設(shè)備信息取得部102的學(xué)習(xí)。即，使用前述的方法，按所設(shè)想的設(shè)備量獨(dú)立地進(jìn)行學(xué)習(xí)，得到多個(gè)學(xué)習(xí)數(shù)據(jù)。預(yù)先將生成的多個(gè)學(xué)習(xí)數(shù)據(jù)存儲(chǔ)在圖像取得部9或中央處理部13的未圖示的存儲(chǔ)器中，在預(yù)測(cè)階段切換學(xué)習(xí)數(shù)據(jù)來(lái)利用。根據(jù)用戶對(duì)用戶接口部15的指示來(lái)進(jìn)行學(xué)習(xí)數(shù)據(jù)的選擇。例如，可以預(yù)先將設(shè)備的種類和學(xué)習(xí)數(shù)據(jù)相關(guān)聯(lián)，用戶接口部15使用戶選擇設(shè)備的種類，并輸出與設(shè)備的種類對(duì)應(yīng)的學(xué)習(xí)數(shù)據(jù)。此外，如果能夠根據(jù)病情、手術(shù)的種類來(lái)設(shè)想所利用的設(shè)備，則也可以預(yù)先將病情、手術(shù)的種類與利用設(shè)備的學(xué)習(xí)數(shù)據(jù)相關(guān)聯(lián)，并同樣地用戶接口部15使用戶進(jìn)行選擇。這種情況下，即使增加設(shè)備的種類也能夠進(jìn)行準(zhǔn)確的設(shè)備位置和運(yùn)動(dòng)的檢測(cè)。

此外，設(shè)備信息取得部102可以根據(jù)用戶接口部15的指示來(lái)確定設(shè)備的位置。具體地，設(shè)用戶接口部15為基于觸摸面板/顯示器的結(jié)構(gòu)，用戶接口部15向用戶提示修正圖像數(shù)據(jù)115，求取向設(shè)備區(qū)域的觸摸操作。用戶接口部15從被觸摸的坐標(biāo)變換為修正圖像數(shù)據(jù)115上的坐標(biāo)，并看作設(shè)備的位置。這種情況下，即使在設(shè)備信息取得部102中的設(shè)備位置的預(yù)測(cè)未成功的情況下，也能夠通過(guò)使用用戶接口部15的用戶的輔助操作而生成更合適的修正圖像。

此外，還可以根據(jù)影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114來(lái)移動(dòng)圖2的光圈 5。即，光圈濾波器控制部7是經(jīng)由中央處理部13從圖像處理部10接收影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114的結(jié)構(gòu)。在該結(jié)構(gòu)中，光圈濾波器控制部7根據(jù)影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114，使光圈5的開口區(qū)域變形。具體地，使光圈5的開口區(qū)域平行移動(dòng)到影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114所表示的位置，進(jìn)行下一幀的攝像。這種情況下，從X射線管2產(chǎn)生的X射線的照射區(qū)域，與修正處理部105的修正相配合地移動(dòng)，因此能夠輸出更合適的照射區(qū)域的修正圖像。

此外，還可以在上述結(jié)構(gòu)的基礎(chǔ)上成為圖像處理部10的修正處理部105還接收設(shè)備信息112的結(jié)構(gòu)，修正處理部105根據(jù)設(shè)備信息112中包含的設(shè)備的位置，對(duì)圖像數(shù)據(jù)進(jìn)行修正以使設(shè)備成為圖像數(shù)據(jù)的中心，作為修正圖像數(shù)據(jù)115向顯示輸出部11輸出。以預(yù)定信號(hào)作為觸發(fā)來(lái)進(jìn)行該修正。可以通過(guò)用戶接口部15接收用戶的指示來(lái)生成該預(yù)定信號(hào)?；蛘?，還可以在修正處理部105內(nèi)設(shè)置定時(shí)器而每隔預(yù)先確定的一定時(shí)間來(lái)生成預(yù)定信號(hào)?；蛘?，還可以根據(jù)設(shè)備信息112中包含的設(shè)備的位置，當(dāng)設(shè)備位于預(yù)先設(shè)定的區(qū)域內(nèi)時(shí)生成預(yù)定信號(hào)。例如，通過(guò)設(shè)該設(shè)定區(qū)域?yàn)橄嗑囡@示部11的畫面的邊緣一定距離的范圍內(nèi)，能夠防止設(shè)備到達(dá)圖像數(shù)據(jù)111的邊緣，設(shè)備前進(jìn)的前方區(qū)域消失。

此外，還可以通過(guò)光圈5進(jìn)行上述修正。具體地，變更為光圈濾波器控制部經(jīng)由中央處理部13從圖像處理部10接收設(shè)備信息112的結(jié)構(gòu)，光圈濾波器控制部7以上述預(yù)定信號(hào)為觸發(fā)，根據(jù)設(shè)備信息112中包含的設(shè)備的位置來(lái)進(jìn)行使光圈5變形的控制，以使設(shè)備位于X射線的照射范圍的中心。這種情況下，能夠防止設(shè)備到達(dá)X射線的照射范圍的邊緣，設(shè)備前進(jìn)的前方區(qū)域消失。

根據(jù)上述說(shuō)明的本實(shí)施例的裝置，能夠根據(jù)圖像來(lái)檢測(cè)設(shè)備的信息和人體等被檢體各部位的信息，從被檢體各部位的運(yùn)動(dòng)中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，使用所提取的運(yùn)動(dòng)信息來(lái)進(jìn)行運(yùn)動(dòng)修正處理，能夠使設(shè)備的運(yùn)動(dòng)對(duì)于手術(shù)者來(lái)說(shuō)易于觀察，并能夠?qū)崿F(xiàn)操作性的提高。

[實(shí)施例2]

本實(shí)施例將實(shí)施例1中根據(jù)設(shè)備的運(yùn)動(dòng)來(lái)進(jìn)行修正處理變更為根據(jù)設(shè)備和病變的運(yùn)動(dòng)的修正處理。即，實(shí)施例2是如下的圖像處理裝置的實(shí)施例，該 圖像處理裝置具備：圖像處理部，包含設(shè)備的人體的取得圖像數(shù)據(jù)被輸入到該圖像處理部；以及顯示輸出部，由圖像處理部修正后的修正圖像數(shù)據(jù)被輸入到該顯示輸出部，其中，圖像處理部包含以下結(jié)構(gòu)：從取得圖像數(shù)據(jù)中取得設(shè)備的信息的設(shè)備信息取得部；從取得圖像數(shù)據(jù)中取得人體各部位的信息的人體各部位的信息取得部；從取得圖像數(shù)據(jù)中取得人體的病變的信息的病變信息取得部；使用設(shè)備的運(yùn)動(dòng)信息和人體各部位的運(yùn)動(dòng)信息，從人體各部位的運(yùn)動(dòng)信息中提取影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息的設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息提取部；從人體各部位的運(yùn)動(dòng)信息中提取影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息的病變關(guān)聯(lián)運(yùn)動(dòng)信息提取部；以及使用影響設(shè)備的運(yùn)動(dòng)的運(yùn)動(dòng)信息和影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，對(duì)取得圖像數(shù)據(jù)進(jìn)行修正處理的修正處理部。

圖4是表示本實(shí)施例的圖像處理部30的結(jié)構(gòu)的框圖。以下僅表示與實(shí)施例1相比存在變更的模塊。

圖像處理部30不僅具備實(shí)施例1中說(shuō)明的設(shè)備信息取得部102、人體各部位的信息取得部103、設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104，還具備：病變信息取得部301，其根據(jù)從圖像取得部9輸出的圖像數(shù)據(jù)111來(lái)檢測(cè)病變的位置和運(yùn)動(dòng)信息，作為病變信息311而輸出；病變關(guān)聯(lián)運(yùn)動(dòng)信息取得部302，其將從病變信息取得部301輸出的病變信息311和從人體各部位的信息取得部103輸出的人體各部位的信息113作為輸入，從人體各部位的信息113中提取與病變信息311關(guān)聯(lián)的運(yùn)動(dòng)信息即影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息312并輸出；修正處理部303，其將從設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104輸出的影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114、從病變關(guān)聯(lián)運(yùn)動(dòng)信息取得部302輸出的影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息312、和從圖像取得部9輸出的取得圖像數(shù)據(jù)111作為輸入，根據(jù)影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114和影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息312來(lái)修正取得圖像數(shù)據(jù)111，并輸出修正圖像數(shù)據(jù)313。

病變信息取得部301根據(jù)取得圖像數(shù)據(jù)111來(lái)檢測(cè)病變的運(yùn)動(dòng)和位置，將它們作為病變信息311而輸出。此時(shí)，可以通過(guò)使用例如實(shí)施例1中作為設(shè)備信息取得部102的處理而說(shuō)明的機(jī)械學(xué)習(xí)的方法來(lái)實(shí)施病變的運(yùn)動(dòng)和位置的檢測(cè)。即，不將設(shè)備作為對(duì)象而是將病變作為對(duì)象來(lái)進(jìn)行學(xué)習(xí)和預(yù)測(cè)即可。

此外，病變關(guān)聯(lián)運(yùn)動(dòng)信息取得部302將病變信息311和人體各部位的信息 113作為輸入，從人體各部位的信息113中提取與病變信息311關(guān)聯(lián)的運(yùn)動(dòng)信息，作為影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息312而輸出。此時(shí)，運(yùn)動(dòng)信息的提取可以通過(guò)例如在實(shí)施例1中作為設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息取得部104的處理而說(shuō)明的方法來(lái)實(shí)現(xiàn)。

修正處理部303根據(jù)圖像數(shù)據(jù)111、影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114和影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息312，來(lái)修正取得圖像數(shù)據(jù)111，作為修正圖像數(shù)據(jù)313而輸出。例如，使用作為影響設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息114和影響病變的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息312的平均的運(yùn)動(dòng)，使取得圖像數(shù)據(jù)111在與作為平均的運(yùn)動(dòng)相反的方向上平行移動(dòng)，由此來(lái)進(jìn)行使圖像的抖動(dòng)穩(wěn)定的修正。

即，在將圖像數(shù)據(jù)設(shè)為I，將設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息設(shè)為d₁，將病變關(guān)聯(lián)運(yùn)動(dòng)信息設(shè)為d₂時(shí)，通過(guò)式7來(lái)計(jì)算修正后的圖像數(shù)據(jù)I’。

[式7]

$I^{,}\left(x\right)=I(x-\frac{(d_1+d_2)}{2})...\left(7\right)$

通過(guò)以上說(shuō)明的本實(shí)施例的結(jié)構(gòu)，進(jìn)行基于設(shè)備的運(yùn)動(dòng)和病變的運(yùn)動(dòng)的運(yùn)動(dòng)穩(wěn)定化，因此能夠輸出易于觀察設(shè)備和病變兩者的運(yùn)動(dòng)的影像。

此外，在病變信息取得部301的機(jī)械學(xué)習(xí)中，若存在多種手術(shù)設(shè)想的病變，則可以與實(shí)施例1中設(shè)想多個(gè)設(shè)備的情況下的處理同樣地，針對(duì)預(yù)先設(shè)想的每一種病變進(jìn)行學(xué)習(xí)，根據(jù)來(lái)自用戶的選擇切換學(xué)習(xí)結(jié)果來(lái)進(jìn)行預(yù)測(cè)。這種情況下，即使設(shè)想的病變的種類增加，也能夠檢測(cè)準(zhǔn)確的病變的位置和運(yùn)動(dòng)。

此外，本發(fā)明并不限于上述實(shí)施例，包含各種變形例。例如，上述實(shí)施例是為了使本發(fā)明更易于理解而進(jìn)行的詳細(xì)說(shuō)明，不必限于具備說(shuō)明的全部結(jié)構(gòu)。此外，可以將某實(shí)施例的結(jié)構(gòu)的一部分替換為其他實(shí)施例的結(jié)構(gòu)，此外也可以在某實(shí)施例的結(jié)構(gòu)中追加其他實(shí)施例的結(jié)構(gòu)。此外，可以針對(duì)各實(shí)施例的結(jié)構(gòu)的一部分進(jìn)行其他結(jié)構(gòu)的追加、刪除、替換。

此外，上述各結(jié)構(gòu)、功能、處理部等，說(shuō)明了制作用于實(shí)現(xiàn)其一部分或全部的程序的例子，然而，當(dāng)然也可以通過(guò)例如用集成電路來(lái)設(shè)計(jì)等以硬件實(shí)現(xiàn)這些的一部分或者全部。

此外，在以上說(shuō)明的本發(fā)明的各種實(shí)施例中，公開了請(qǐng)求專利保護(hù)的范圍所記載的發(fā)明以外的各種發(fā)明。以下舉例示出其一部分：

<例示1>

一種圖像處理裝置，其特征在于，

所述圖像處理裝置具備：

圖像處理部，包含設(shè)備的人體的取得圖像數(shù)據(jù)被輸入到該圖像處理部；以及

顯示輸出部，利用所述圖像處理部修正后的修正圖像數(shù)據(jù)被輸入到該顯示輸出部，

所述圖像處理部包含：

設(shè)備信息取得部，其從所述取得圖像數(shù)據(jù)中取得所述設(shè)備的運(yùn)動(dòng)信息；

被檢體各部位的信息取得部，其從所述取得圖像數(shù)據(jù)中取得所述人體各部位的信息；

設(shè)備關(guān)聯(lián)運(yùn)動(dòng)信息提取部，其使用所述設(shè)備的運(yùn)動(dòng)信息和所述人體各部位的運(yùn)動(dòng)信息，從所述人體各部位的運(yùn)動(dòng)信息中提取影響所述設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息；以及

修正處理部，其使用影響所述設(shè)備的運(yùn)動(dòng)信息的運(yùn)動(dòng)信息，對(duì)所述取得圖像數(shù)據(jù)進(jìn)行修正處理。

<例示2>

根據(jù)例示1記載的圖像處理裝置，其特征在于，

所述設(shè)備信息取得部以設(shè)置在所述設(shè)備上的標(biāo)記為基準(zhǔn)來(lái)取得所述設(shè)備的運(yùn)動(dòng)信息。

<例示3>

根據(jù)例示1記載的圖像處理裝置，其特征在于，

所述設(shè)備信息取得部以所述設(shè)備的前端的一定區(qū)域?yàn)榛鶞?zhǔn)來(lái)取得所述設(shè)備的運(yùn)動(dòng)信息。

<例示4>

根據(jù)例示1記載的圖像處理裝置，其特征在于，

所述設(shè)備信息取得部以所述設(shè)備的非可動(dòng)區(qū)域?yàn)榛鶞?zhǔn)來(lái)取得所述設(shè)備的 運(yùn)動(dòng)信息。

<例示5>

根據(jù)例示1記載的圖像處理裝置，其特征在于，

所述圖像處理裝置還具備：

攝像部，其使用所述提取出的運(yùn)動(dòng)信息，取得所述取得圖像數(shù)據(jù)；以及

攝像機(jī)構(gòu)移動(dòng)部，其使所述攝像部中的攝像范圍移動(dòng)。

<例示6>

根據(jù)例示5記載的圖像處理裝置，其特征在于，

所述攝像機(jī)構(gòu)移動(dòng)部變更所述攝像部的光圈的開口區(qū)域。

<例示7>

根據(jù)例示5記載的圖像處理裝置，其特征在于，

所述攝像機(jī)構(gòu)移動(dòng)部移動(dòng)所述攝像部的操作臺(tái)。

<例示8>

根據(jù)例示5記載的圖像處理裝置，其特征在于，

所述攝像機(jī)構(gòu)移動(dòng)部移動(dòng)所述攝像部的圖像取得部。

<例示9>

根據(jù)例示5記載的圖像處理裝置，其特征在于，

所述攝像機(jī)構(gòu)移動(dòng)部根據(jù)所述設(shè)備的運(yùn)動(dòng)信息來(lái)修正攝像范圍，以使所述設(shè)備位于攝像范圍的中央。

<例示10>

根據(jù)例示1記載的圖像處理裝置，其特征在于，

所述修正處理部根據(jù)所述設(shè)備信息進(jìn)行修正，以使所述設(shè)備位于基于所述取得圖像數(shù)據(jù)的畫面的中央。

<例示11>

根據(jù)例示10記載的圖像處理裝置，其特征在于，

根據(jù)由用戶指示的定時(shí)或者預(yù)先確定的時(shí)間間隔來(lái)執(zhí)行所述修正。

<例示12>

根據(jù)例示10記載的圖像處理裝置，其特征在于，

以所述設(shè)備位于所述畫面的預(yù)先確定的區(qū)域?yàn)橛|發(fā)來(lái)執(zhí)行所述修正。