本發(fā)明涉及遠程控制系統(tǒng)和遠程控制方法，向操作終端發(fā)送維護用終端的畫面并使操作終端顯示該維護用終端的畫面，根據(jù)來自操作終端的畫面操作事件來操作維護用終端。

背景技術：

存在這樣的方法：在使用維護用終端(筆記本電腦)時，希望在維護作業(yè)中在用一只手拿著部件的同時使用維護用終端等，為了避免操作上的限制，將維護用終端設置在遠離的場所，將能夠用一只手操作的智能手機(smart phone)作為操作終端而對維護用終端進行遠程操作。另外，除了智能手機以外，還有利用搭載有無線LAN、Bluetooth(注冊商標)等通信的小型終端的方法。

作為從智能手機對筆記本電腦進行遠程操作的方法的遠程桌面通過向智能手機畫面發(fā)送PC畫面進行顯示，將智能手機的觸摸面板操作(畫面操作事件)作為筆記本電腦的操作輸入，能夠利用智能手機畫面進行PC畫面的顯示和操作。

然而，在該方法的情況下，如果向圖9所示那樣的較小的智能手機畫面(720×12804.3英寸液晶)發(fā)送圖8所示那樣的相對較大的PC畫面(全HD 11.6英寸液晶)進行顯示，則作為操作對象的維護用應用畫面會變小，導致可視性降低，操作性降低。

另外，即使為了增大顯示尺寸而放大智能手機畫面并附加滾動條，也需要操作滾動條以顯示維護用應用畫面的規(guī)定區(qū)域，導致操作性降低。

在此，已知有如下技術：利用通信連接主裝置和終端裝置，提取主裝置的畫面的一部分而在終端裝置上進行顯示(例如，參照專利文獻1、2)。此外，還已知有如下技術：生成智能手機用的布局，以從智能手機對PC上的應用進行遠程操作(例如，參照專利文獻3)。

在先技術文獻

專利文獻

專利文獻1：日本特開2014-10568號公報

專利文獻2：日本特開2013-145565號公報

專利文獻3：日本特開2013-235438號公報

技術實現(xiàn)要素：

發(fā)明要解決的課題

然而，現(xiàn)有技術存在以下的課題。

即，專利文獻3中雖然公開了生成智能手機用的布局以便從智能手機對PC進行遠程操作的技術，但是，關于指定作為操作對象的應用畫面，沒有進行任何公開。

因此，存在如下問題：即使使用專利文獻1、2中公開的提取主裝置的畫面的一部分在終端裝置上進行顯示的技術，也無法在智能手機上適當?shù)仫@示作為操作對象的維護用應用畫面，導致可視性降低，操作性降低。

本發(fā)明是為了解決上述課題而完成的，其目的在于獲得一種遠程控制系統(tǒng)，在從操作終端對維護用終端進行遠程操作的情況下，能夠提高針對作為操作對象的維護用應用畫面的可視性和操作性。

用于解決問題的手段

本發(fā)明的遠程控制系統(tǒng)向操作終端發(fā)送維護用終端的畫面而進行顯示，并且根據(jù)來自操作終端的畫面操作事件操作維護用終端，維護用終端具有：畫面確定部，其依照顯示/操作對象畫面設定部的定義，從在維護用終端的畫面上顯示的各應用畫面中確定1個操作對象畫面；和畫面信息生成部，其從畫面確定部確定的操作對象畫面中提取畫面部件和部件狀態(tài)，根據(jù)上述畫面部件和部件狀態(tài)生成畫面布局信息而發(fā)送給操作終端，操作終端具有操作/顯示部，該操作/顯示部根據(jù)畫面布局信息，在操作終端的畫面上顯示畫面部件，并監(jiān)視針對畫面部件的操作，在發(fā)生了操作的情況下，生成畫面操作事件信息而發(fā)送給維護用終端。

發(fā)明的效果

根據(jù)本發(fā)明的遠程控制系統(tǒng)，具有：畫面確定部，其依照顯示/操作對象畫面設定部的定義，從在維護用終端的畫面上顯示的各應用畫面中確定1個操作對象畫面；畫面信息生成部，其從畫面確定部確定的操作對象畫面中提取畫面部件和部件狀態(tài)，根據(jù)上述畫面部件和部件狀態(tài)生成畫面布局信息發(fā)送給操作終端；以及操作/顯示部，其根據(jù)畫面布局信息，在操作終端的畫面上顯示畫面部件，并監(jiān)視針對畫面部件的操作，在發(fā)生了操作的情況下，生成畫面操作事件信息發(fā)送給維護用終端。

因此，在由操作終端對維護用終端進行遠程操作的情況下，能夠提高針對作為操作對象的維護用應用畫面的可視性和操作性。

附圖說明

圖1是在維護用終端的畫面上顯示有多個維護用應用畫面和1個非維護用應用畫面的說明圖。

圖2是示出1個維護用應用畫面的說明圖。

圖3是在操作終端的畫面上顯示有提取出的維護用應用畫面的畫面部件的說明圖。

圖4是示出本發(fā)明的實施方式1的遠程控制系統(tǒng)的結構框圖。

圖5是在操作終端的畫面上顯示有窗口標題和該畫面的縮略圖的一覽的說明圖。

圖6是示出本發(fā)明的實施方式1的遠程控制系統(tǒng)中的維護用終端的處理的流程圖。

圖7是示出本發(fā)明的實施方式1的遠程控制系統(tǒng)中的操作終端的處理的流程圖。

圖8是在現(xiàn)有的PC畫面上顯示有維護用應用畫面的說明圖。

圖9是向智能手機畫面發(fā)送圖8所示的PC畫面而進行顯示的說明圖。

具體實施方式

以下，使用附圖對本發(fā)明的遠程控制系統(tǒng)的優(yōu)選實施方式進行說明，在各附圖中，對于相同或相當?shù)牟糠謽擞浵嗤臉颂栠M行說明。

實施方式1.

首先，對本發(fā)明的概要進行說明。在本發(fā)明中，從維護用終端顯示的多個應用畫面中確定1個作為操作對象的應用畫面，從該畫面中提取作為操作對象的畫面部件和狀態(tài)發(fā)送給操作終端而進行顯示，并且，將針對在操作終端顯示的應用畫面的畫面部件的操作作為畫面操作事件信息發(fā)送給維護用終端，操作維護用終端的應用畫面，由此，能夠從操作終端對維護用終端進行操作。

在此，對確定1個作為操作對象的應用畫面的情況進行說明。如圖1所示，在維護用終端上顯示的應用畫面中的維護用應用畫面1、2是可能從操作終端進行遠程操作的畫面，非維護用應用畫面是不進行遠程操作的畫面。

在本發(fā)明中，定義了在維護用終端上顯示的應用畫面中的作為顯示/操作對象畫面的維護用應用畫面1、2，監(jiān)視維護用終端的顯示，當新顯示的應用畫面符合顯示/操作對象畫面時，選擇1個作為操作對象的應用畫面。

接著，對提取作為操作對象的畫面部件和狀態(tài)的情況進行說明。如圖2所示，所確定的維護用應用畫面2包含窗口標題、正文1、2、位圖1、2以及按鈕1、2這些畫面部件。此時，如圖3所示，僅將該維護用應用畫面2上的操作所需的正文1、位圖1和按鈕1顯示在操作終端的畫面上。

在本發(fā)明中，定義了每個維護用應用畫面的畫面部件中的、在操作終端進行顯示的畫面布局，依照畫面布局提取、配置選擇出的畫面部件并替換成操作終端的畫面部件進行顯示。

接下來，對操作維護用終端的應用畫面的情況進行說明。在本發(fā)明中，根據(jù)從操作終端接收到的畫面操作事件信息執(zhí)行針對維護終端的該畫面部件的相同操作。

以下，根據(jù)圖4所示的結構框圖，對本發(fā)明的實施方式1的遠程控制系統(tǒng)進行說明。在圖4中，該遠程控制系統(tǒng)例如由作為筆記本電腦的維護用終端1和作為智能手機(smart phone)的操作終端2構成。另外，維護用終端1和操作終端2通過無線LAN等進行連接。此外，維護用終端1與電梯的監(jiān)控攝像機3以及電梯裝置4連接。

維護用終端1利用應用控制部10經(jīng)由OS(Operating System：操作系統(tǒng))20取得所顯示的操作對象應用30的應用畫面的內(nèi)容，并進行針對操作對象應用30的操作，對于非操作對象應用40，不進行處理。

操作終端2經(jīng)由OS21使操作/顯示部22顯示從維護用終端1發(fā)送的畫面，并向維護用終端1發(fā)送針對操作/顯示部22的畫面操作事件信息。

應用控制部10由畫面確定部11、顯示/操作對象畫面設定部12、畫面顯示/操作關系設定部13、畫面信息生成部14、畫面布局設定部15和應用畫面操作部16構成。

維護用終端1的畫面確定部11依照顯示/操作對象畫面設定部12的定義，從在維護用終端1上顯示的各應用畫面中確定1個操作對象畫面。在此，作為畫面確定部11確定畫面的定義，如以下所示，在顯示/操作對象畫面設定部12中預先設定了畫面的屬性和畫面識別符。

顯示/操作對象畫面設定部12的設定例

1)窗口標題|窗口顯示進程(應用)名|畫面識別符

2)窗口標題|窗口內(nèi)的畫面部件數(shù)|畫面識別符

具體而言，畫面確定部11從OS20取得在畫面上顯示的各應用畫面的屬性，與顯示/操作對象畫面設定部12的定義內(nèi)的各屬性進行比較，在存在一致的屬性的情況下，將其畫面識別符確定為操作對象畫面，從OS20取得該畫面的畫面ID。另外，畫面ID是在OS20的執(zhí)行中唯一地確定畫面的畫面ID，例如，如果是Windows(注冊商標)，則窗口句柄相當于畫面ID。

此外，作為畫面確定部11確定畫面的定義，如以下所示，在畫面顯示/操作關系設定部13中預先設定了針對作為當前操作對象的應用畫面的操作、和針對操作而接下來成為操作對象的畫面識別符。

畫面顯示/操作關系設定部13的設定例

1)操作對象畫面識別符|操作內(nèi)容|下一個操作對象畫面識別符

在此，操作內(nèi)容例如是按下按鈕A、按下按鈕B、選擇復選框A等操作，通過這些操作來切換作為操作對象的畫面或者定義新顯示的操作。

此時，畫面確定部11與畫面顯示/操作關系設定部13的定義進行比較，在與所確定的操作對象畫面一致的操作對象畫面識別符所示的操作內(nèi)容和對操作終端2進行的操作的內(nèi)容一致的情況下，將下一個操作對象畫面識別符選擇為操作對象畫面候選。即，畫面確定部11根據(jù)顯示/操作對象畫面設定部12的定義，確定候選的畫面被顯示的情況。

維護用終端1的畫面信息生成部14使用畫面確定部11確定的畫面識別符和畫面ID(例如窗口句柄)，依照畫面布局設定部15的定義，生成向操作終端2發(fā)送的畫面布局信息。具體而言，首先，畫面信息生成部14根據(jù)畫面ID取得作為操作對象的應用畫面的屬性(窗口標題、畫面部件、部件狀態(tài))。畫面部件和部件狀態(tài)包括以下所示的例子。

畫面部件|部件狀態(tài)的示例

1)按鈕|部件ID、按鈕標題、可否按下按鈕、按鈕按下狀態(tài)

2)復選框|部件ID、顯示項目名、選擇項目名

3)列表框|部件ID、顯示項目名、選擇項目名

4)正文|部件ID、所顯示的字符串、字符串的顏色

5)位圖|部件ID、所顯示的位圖數(shù)據(jù)

畫面布局設定部15針對畫面識別符如以下所示那樣預先設定用于確定在操作終端2上顯示的畫面部件的信息。

畫面布局設定部15的設定例

1)畫面識別符|用于確定顯示的畫面部件的信息|用于確定顯示的畫面部件的信息|·····

在此，用于確定顯示的畫面部件的信息包括以下所示的例子。

畫面部件|用于確定畫面部件的信息的示例

1)按鈕A|按鈕標題

2)列表框|顯示項目名

3)復選框|顯示項目名

4)正文A|顯示字符串

5)位圖|畫面內(nèi)區(qū)域坐標

接著，畫面信息生成部14根據(jù)作為操作對象的應用畫面的畫面部件、部件狀態(tài)來選擇與畫面布局設定部15設定的畫面識別符的畫面部件以及用于確定畫面部件的信息一致的畫面部件，生成以下所示的畫面布局信息。

畫面布局信息的示例

1)按鈕A|部件ID|按鈕標題、可否按下按鈕、按鈕按下狀態(tài)

2)按鈕B|部件ID|按鈕標題、可否按下按鈕、按鈕按下狀態(tài)

3)正文A|部件ID|字符串、字符串的顏色

4)位圖A|部件ID|位圖數(shù)據(jù)

另外，畫面信息生成部14將畫面布局信息發(fā)送給操作終端2之后，監(jiān)視操作對象應用30的畫面變化，在發(fā)生了變化的情況下，生成新的畫面布局信息而發(fā)送給操作終端2。

例如，在維護用終端1正在顯示監(jiān)控攝像機3的圖像的情況下，畫面信息生成部14能夠在操作終端2的畫面上顯示圖像的變化，以便判定監(jiān)控攝像機3正在正常工作。此外，關于電梯的樓層顯示等的數(shù)值變化或標語字符串等變化、曲線圖的變化等，畫面信息生成部14也能夠在操作終端2的畫面上顯示圖像的變化。

當操作終端2的操作/顯示部22接收到畫面布局信息時，根據(jù)畫面布局信息，在操作終端2的畫面上顯示各畫面部件。例如，關于按鈕A，按照畫面布局信息中記述的按鈕標題、可否按下、按下狀態(tài)來生成按鈕而配置在畫面上。此外，也相同地生成復選框、列表框、正文、位圖而配置在畫面上。

也可以根據(jù)操作終端2的特征確定這些畫面部件的布局。例如，為了使在較小的畫面上容易觀看而增大畫面部件、以及為了在較小的觸摸面板上容易操作而增大畫面部件等。也可以根據(jù)操作終端的畫面尺寸調(diào)整位圖，也可以設置滾動條而以相同的尺寸顯示位圖。

此外，操作/顯示部22將畫面部件顯示在操作終端2的畫面上之后，監(jiān)視針對各畫面部件的操作，在發(fā)生了操作的情況下，生成以下所示的畫面操作事件信息而發(fā)送給維護用終端1。此時，直接使用對于各畫面部件接收到的部件ID進行響應。

畫面操作事件信息的示例

1)按鈕A|部件ID|按下按鈕

2)復選框A|部件ID|項目選擇

3)列表框A|部件ID|項目選擇

4)位圖A|部件ID|點擊坐標

維護用終端1的應用畫面操作部16根據(jù)接收到的畫面操作事件信息來執(zhí)行作為操作對象的應用畫面的操作。例如，在接收到針對按鈕A的畫面操作事件信息的情況下，應用畫面操作部16根據(jù)部件ID確定應用畫面內(nèi)的畫面部件，執(zhí)行針對該畫面部件的按下按鈕。

另外，畫面確定部11確定在維護用終端1上顯示的各應用畫面中的1個操作對象畫面，在OS20剛剛啟動之后，操作對象應用30還未啟動，因此，不存在作為操作對象的應用畫面。因此，在不存在作為操作對象的應用畫面的情況下，畫面確定部11對畫面信息生成部14輸出初始畫面生成指示。畫面信息生成部14將要啟動的應用一覽作為初始畫面的畫面布局信息發(fā)送給操作終端2。

在此，如以下所示那樣，在畫面布局設定部15中預先定義了啟動的應用一覽。

啟動的應用的示例

1)維護應用1啟動按鈕|執(zhí)行文件名

2)維護應用2啟動按鈕|執(zhí)行文件名

···

n)維護應用n啟動按鈕|執(zhí)行文件名

此時，操作/顯示部22將啟動的應用一覽作為維護應用啟動按鈕顯示在畫面上，當按鈕被按下時，作為畫面操作事件信息，將與該按鈕對應的執(zhí)行文件名發(fā)送給維護用終端1。對此，應用畫面操作部16在接收到執(zhí)行文件名時，指示OS20啟動該執(zhí)行文件。

此外，也可以是，畫面確定部11在從在維護用終端1上顯示的各應用畫面中確定1個操作對象畫面的處理中，經(jīng)由畫面信息生成部14將所顯示的應用畫面的信息作為畫面布局信息發(fā)送給操作/顯示部22而使其選擇作為操作對象的應用畫面。畫面布局信息的設定例包括以下所示的例子。

畫面布局信息的設定例

1)窗口標題1|畫面ID|畫面的縮略圖像的位圖

2)窗口標題2|畫面ID|畫面的縮略圖像的位圖

···

n)窗口標題n|畫面ID|畫面的縮略圖像的位圖

此時，如圖5所示，操作/顯示部22在操作終端2的畫面上顯示窗口標題和該畫面的縮略圖像的一覽，將與選擇出的窗口標題或縮略圖像對應的畫面ID發(fā)送給維護用終端1。對此，畫面確定部11確定畫面ID的畫面作為操作對象畫面。

接著，參照圖6的流程圖，對本發(fā)明的實施方式1的遠程控制系統(tǒng)中的維護用終端1的處理進行說明。例如，在預先設定的任意的時刻、或啟動應用的時刻執(zhí)行圖6的處理。

在圖6中，首先，畫面確定部11對畫面信息生成部14輸出初始畫面生成指示(步驟S1)，畫面信息生成部14生成初始畫面的畫面布局信息而發(fā)送給操作終端2(步驟S2)。

接著，當應用畫面操作部16接收到畫面操作事件信息時(步驟S3)，啟動維護應用(步驟S4)，等待畫面顯示，或者定期檢索顯示畫面(步驟S5)。

接下來，當在畫面上顯示了應用畫面時，畫面確定部11判定是否是操作對象畫面(步驟S6)。在步驟S6中判定為不是操作對象畫面(即，“否”)的情況下，轉移至步驟S5。

另一方面，在步驟S6中判定為是操作對象畫面(即，“是”)的情況下，畫面確定部11將其選擇為操作對象畫面(步驟S7)，畫面信息生成部14生成畫面布局信息而發(fā)送給操作終端2(步驟S8)。

接著，應用畫面操作部16判定是否接收到畫面操作事件信息(步驟S9)。在步驟S9中判定為未接收到畫面操作事件信息(即，“否”)的情況下，畫面信息生成部14判定操作對象畫面是否有變化(步驟S10)。

在步驟S10中判定為操作對象畫面有變化(即，“是”)的情況下，轉移至步驟S8。另一方面，在步驟S10中判定為操作對象畫面沒有變化(即，“否”)的情況下，轉移至步驟S9。

此外，另一方面，在步驟S9中判定為接收到畫面操作事件信息(即，“是”)的情況下，應用畫面操作部16操作操作對象畫面(步驟S11)。

接下來，畫面確定部11判定在畫面顯示/操作關系設定部13內(nèi)是否定義了操作對象畫面和針對操作對象畫面的操作(步驟S12)。在步驟S12中判定為在畫面顯示/操作關系設定部13內(nèi)未定義(即，“否”)的情況下，轉移至步驟S5。

另一方面，在步驟S12中判定為在畫面顯示/操作關系設定部13內(nèi)已定義(即，“是”)的情況下，畫面確定部11判定操作對象畫面和針對操作對象畫面的操作是否與定義一致(步驟S13)。在步驟S13中判定為操作對象畫面和針對操作對象畫面的操作與定義不一致(即，“否”)的情況下，轉移至步驟S5。

另一方面，在步驟S13中判定為操作對象畫面以及針對操作對象畫面的操作與定義一致(即，“是”)的情況下，畫面確定部11將定義內(nèi)的下一個畫面確定為操作對象畫面的候選(步驟S14)，轉移至步驟S5。

接下來，參照圖7的流程圖，對本發(fā)明的實施方式1的遠程控制系統(tǒng)中的操作終端2的處理進行說明。例如，在預先設定的任意的時刻、或啟動操作終端2的時刻執(zhí)行圖7的處理。

在圖7中，操作/顯示部22從維護用終端1接收畫面布局信息(步驟S21)，生成顯示畫面進行顯示(步驟S22)，并監(jiān)視畫面操作(步驟S23)。

接著，操作/顯示部22判定是否發(fā)生了畫面操作(步驟S24)。在步驟S24中判定為沒發(fā)生畫面操作(即，“否”)的情況下，操作/顯示部22判定是否接收到畫面布局信息(步驟S25)。

在步驟S25中判定為接收到畫面布局信息(即，“是”)的情況下，轉移至步驟S22。另一方面，在步驟S25中判定為未接收到畫面布局信息(即，“否”)的情況下，轉移至步驟S23。

另一方面，在步驟S24中判定為發(fā)生了畫面操作(即，“是”)的情況下，操作/顯示部22生成畫面操作事件信息而發(fā)送給維護用終端1(步驟S26)并轉移至步驟S23。

如上所述，根據(jù)實施方式1，具有：畫面確定部，其依照顯示/操作對象畫面設定部的定義，從在維護用終端的畫面上顯示的各應用畫面中確定1個操作對象畫面；畫面信息生成部，其從畫面確定部確定的操作對象畫面中提取畫面部件和部件狀態(tài)，根據(jù)上述畫面部件和部件狀態(tài)生成畫面布局信息而發(fā)送給操作終端；以及操作/顯示部，其根據(jù)畫面布局信息，在操作終端的畫面上顯示畫面部件，并監(jiān)視針對畫面部件的操作，在發(fā)生了操作的情況下，生成畫面操作事件信息而發(fā)送給維護用終端。

因此，在從操作終端對維護用終端進行遠程操作的情況下，能夠提高針對作為操作對象的維護用應用畫面的可視性和操作性。

即，為了在較小的智能手機畫面上操作相對較大的PC畫面的應用，確定1個作為操作對象的應用畫面，在智能手機上僅顯示該畫面中的作為操作對象的畫面部件，因此，在利用智能手機進行觀察/操作的情況下，能夠提高可視性和操作性。