控制裝置及其控制方法、服務器、被控制裝置和控制系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種控制裝置及其控制方法、服務器、被控制裝置和控制系統(tǒng)。智能手機(100)包括：圖像顯示部(71a)，以用戶可選的方式顯示與確定清潔機器人的確定信息以及指示該清潔機器人執(zhí)行指定處理的指示信息相對應的圖像；以及處理指示部(11)，在用戶從顯示的圖像中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息(2)發(fā)送給服務器(200)，據(jù)此使由與該圖像對應的確定信息確定的清潔機器人執(zhí)行由與該圖像對應的指示信息指示的指定處理。
【專利說明】控制裝置及其控制方法、服務器、被控制裝置和控制系統(tǒng)
【技術領域】
[0001 ] 本發(fā)明涉及經由服務器控制被控制裝置的控制裝置等。
【背景技術】
[0002]很久以來一直在研究經由指定接口操作外部設備的方法的相關技術。尤其是，隨著該外部設備可執(zhí)行的處理的進步，上述操作變得更加復雜，因此近年來廣泛嘗試改善上述接口。
[0003]例如，開發(fā)了能夠通過簡單的圖解(^ ^卜)(圖像)指定處理的接口。下述專利文獻I中公開了一種圖像數(shù)據(jù)接收裝置，通過從外部接收存儲了指定本裝置中應執(zhí)行的處理的信息(處理指定信息)的圖像數(shù)據(jù)，能夠從僅具有圖像數(shù)據(jù)發(fā)送功能的操作裝置自如地進行操作。
[0004]現(xiàn)有技術文獻
[0005]專利文獻
[0006]專利文獻1:日本公開特許公報“特開2009-118448號公報(2009年5月28日公開)，，
[0007]在上述專利文獻I公開的技術中，圖像數(shù)據(jù)僅包含“處理指定信息”，因此用戶必須指定要操作的外部裝置。即，用戶不得不做出明示的操作，以確定作為操作對象的裝置，并對所確定的裝置發(fā)送指示(例如，將遙控器的紅外線發(fā)送部對準電視機等)。
[0008]但是，上述不得不做出明示操作的接口對用戶并不友好。這是因為，用戶真正期望的是外部設備所實現(xiàn)的“功能”，有時用于實現(xiàn)該“功能”的主體裝置可以為任意裝置。

【發(fā)明內容】

[0009]本發(fā)明鑒于上述問題而作，其目的在于提供一種控制裝置等，即使不進行由用戶指定要操作的外部裝置這一明示操作，也能夠控制該外部裝置，據(jù)此提高用戶的便利性。
[0010]為了解決上述問題，本發(fā)明的一方式所涉及的控制裝置經由服務器控制被控制裝置，該控制裝置包括:第一顯示單元，以用戶可選的方式顯示與確定所述被控制裝置的確定信息以及指示該被控制裝置執(zhí)行指定處理的指示信息相對應的圖像；以及指示單元，在用戶從所述第一顯示單元顯示的圖像中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息發(fā)送給所述服務器，據(jù)此使由與該圖像對應的確定信息確定的被控制裝置執(zhí)行由與該圖像對應的指示信息指示的指定處理。
[0011]另外，為了解決上述問題，本發(fā)明的一方式所涉及的控制裝置的控制方法是經由服務器控制被控制裝置的控制裝置的控制方法，包括:第一顯示步驟，以用戶可選的方式顯示與確定所述被控制裝置的確定信息以及指示該被控制裝置執(zhí)行指定處理的指示信息相對應的圖像；以及指示步驟，在用戶從所述第一顯示步驟顯示的圖像中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息發(fā)送給所述服務器，據(jù)此使由與該圖像對應的確定信息確定的被控制裝置執(zhí)行由與該圖像對應的指示信息指示的指定處理。[0012]發(fā)明效果
[0013]根據(jù)本發(fā)明的一方式，利用控制裝置以及該裝置的控制方法，即使不進行由用戶指定作為控制對象的被控制裝置這一明示操作，也能夠使用戶控制該被控制裝置。因此，上述控制裝置等收到能夠提高用戶的方便性的效果。
【專利附圖】

【附圖說明】
[0014]圖1是表示本發(fā)明的一實施方式所涉及的智能手機的主要部分結構的框圖。
[0015]圖2是表示本發(fā)明的一實施方式所涉及的服務器的主要部分結構的框圖。
[0016]圖3的(a)是表示本發(fā)明的一實施方式所涉及的清潔機器人的主要部分結構的框圖，(b)是表示本發(fā)明的一實施方式所涉及的電視接收機的主要部分結構的框圖。
[0017]圖4是表示本發(fā)明的一實施方式所涉及的家庭留言板系統(tǒng)的概要的圖。
[0018]圖5的(a)是表示上述智能手機的外觀例的示意圖，(b)是表示用戶進行的該智能手機的操作例的示意圖。
[0019]圖6的(a)及(b)是表示在上述家庭留言板中用戶與上述清潔機器人之間進行的消息及圖像的交換的示意圖。
[0020]圖7的(a)及(b)是表示列表顯示用戶可選的圖像的畫面例的示意圖。
[0021]圖8是表示用戶一次發(fā)表多個圖像后，上述清潔機器人發(fā)表了由該圖像確定的一系列處理的執(zhí)行結果的家庭留言板的情形的示意圖。
[0022]圖9是表示上述家庭留言板系統(tǒng)中執(zhí)行的處理的一例的流程圖。
[0023]圖10是表示上述家庭留言板系統(tǒng)中執(zhí)行的不同處理的一例的流程圖。
【具體實施方式】
[0024]基于圖1?圖10來詳細說明本發(fā)明的實施方式。
[0025][家庭留言板系統(tǒng)400的概要]
[0026]基于圖4說明本發(fā)明的一實施方式所涉及的家庭留言板系統(tǒng)400的概要。圖4是表示家庭留言板系統(tǒng)400的概要的圖。
[0027]家庭留言板系統(tǒng)(控制系統(tǒng))400是提供能夠在預先登記的用戶(圖4所示的例子中是父親、母親、孩子)之間共享信息的電子留言板(所謂的社交網(wǎng)絡服務)的系統(tǒng)。家庭留言板系統(tǒng)400包括:智能手機100a、100b、100c、設備控制服務器200a、家庭留言板服務器200b、家庭服務器200c、清潔機器人300a、以及家庭內配置的設備(以下稱為“家庭內設備”)。
[0028]家庭留言板系統(tǒng)400中，根據(jù)家庭內設備的狀態(tài)、由用戶寫入的消息的內容等，清潔機器人300a或家庭內設備在家庭留言板上寫入消息。另外，用戶能夠使用分別持有的智能手機100a、100b、100c訪問家庭留言板，進行消息的寫入或者瀏覽。此外，用戶通過在家庭留言板上發(fā)表圖像，能夠控制家庭內設備的動作(參照圖6在后面詳細描述)。
[0029]清潔機器人300a以可通信的方式無線連接于家庭服務器200c。另外，家庭內設備也以可通信的方式無線(或有線)連接。此外，圖4示出家庭內設備為電視300b、空調裝置300c、照明裝置300d、以及錄像裝置300e的例子，但家庭內設備的種類以及數(shù)量并不限定于上述設備。[0030]設備控制服務器200a根據(jù)家庭內設備的狀態(tài)、家庭內設備取得的信息、以及用戶的寫入內容等，將清潔機器人300a作為擬人化的人物，在家庭留言板中寫入消息等。據(jù)此，用戶能夠在家庭留言板中模擬體驗與清潔機器人300a的交流。
[0031]另外，設備控制服務器200a從智能手機100a、IOObUOOc接收圖像發(fā)表，對家庭服務器200c發(fā)送與該圖像對應的指示信息，由此控制清潔機器人300a或家庭內設備的動作。
[0032]此外，說明了設備控制服務器200a具備向家庭留言板寫入消息等的功能和控制清潔機器人300a及家庭內設備的動作的功能的例子，但這些功能也可以搭載于單獨的服務器。
[0033]家庭留言板服務器200b進行對智能手機100a、100b、以及IOOc的家庭留言板的顯示畫面提示、以及消息等的寫入管理等與家庭留言板有關的全部處理。
[0034]家庭服務器200c在整體上控制清潔機器人300a或家庭內設備與設備控制服務器200a之間的信息收發(fā)。具體而言，家庭服務器200c按照從設備控制服務器200a接收的指示信息，控制清潔機器人300a或家庭內設備的動作。另外，家庭服務器200c將從清潔機器人300a取得的信息以及從家庭內設備取得的信息發(fā)送到設備控制服務器200a。
[0035]空調裝置(被控制裝置)300c是進行冷暖氣等空氣調節(jié)的裝置(以下也稱為“空調300c”)。空調裝置300c具有溫度傳感器，將檢測出的室溫發(fā)送到家庭服務器200c。
[0036]照明裝置(被控制裝置)300d是具有LED等光源的照明裝置。照明裝置300d可以通過家庭服務器200c的控制進行亮燈或滅燈。
[0037]電視(被控制裝置)300b是電視接收機(以下也稱為“電視接收機300b”)、錄像裝置(被控制裝置)300e是對電視300b接收的播放節(jié)目進行錄像的裝置。這些設備也能夠通過家庭服務器200c的控制得到控制。
[0038]此外，在圖4所示的例子中，所有家庭內設備都包含在網(wǎng)絡中，以可通信的方式與家庭服務器200c連接。但是，清潔機器人300a能夠將從家庭服務器200c發(fā)送的指示信息中繼給家庭內設備，因此家庭內設備也可以與家庭服務器200c不直接連接。
[0039]例如，在上述電視接收機300b不包含在網(wǎng)絡中的情況下，清潔機器人300a使用IrDA或紅外線，對該電視接收機發(fā)送上述指示信息，據(jù)此該電視接收機也能夠執(zhí)行上述指示信息中包含的控制(例如接入電源、改變頻道等)?？刂撇话诰W(wǎng)絡中的電視接收機300b的例子在后面詳細說明。
[0040]另外，在圖4所示的例子中，家庭服務器200c發(fā)送由搭載于清潔機器人300a或家庭內設備的傳感器取得的傳感數(shù)據(jù)、家庭內設備的動作日志、以及家庭內設備拍攝的照片，但發(fā)送的信息并不限于上述例子。此外，在如不存在與家庭留言板有關的家庭內設備的情況這樣，不需要家庭服務器200c的整體控制的情況下，可以不設置家庭服務器200c，采用清潔機器人300a與設備控制服務器200a收發(fā)信息的結構。
[0041][智能手機100的概要]
[0042]基于圖5概略說明智能手機100的外觀及操作的一例。圖5的(a)是表示智能手機100的外觀例的示意圖，(b)是表示用戶進行的智能手機100的操作例的示意圖。此外，圖4所示的智能手機100a、100b、或者IOOc與圖5所示的智能手機100相同。
[0043]智能手機(控制裝置)100是經由服務器200控制清潔機器人300a或電視接收機300b等的信息終端。[0044]如圖5的(a)所示，智能手機100包括輸入面41、顯示面72、以及電源開關43。
[0045]如圖5的(b)所示，用戶觸摸輸入面41，對智能手機100指定該輸入面上的位置(提供輸入面上的坐標)，據(jù)此能夠對智能手機100提供選擇圖像等信息。
[0046]如上所述，智能手機100是便攜式信息終端。這里，需要注意，通過移動電話、個人計算機、平板式終端等也能夠實現(xiàn)與智能手機100相同的功能。即，只要是能夠輸入輸出所需信息的設備，終端也可以不是智能手機。
[0047][服務器200的概要]
[0048]服務器200以可以通信的方式與智能手機100、清潔機器人300a、以及家庭內設備連接。即，以下說明中，“服務器200”綜合具有圖4所示的設備控制服務器200a、家庭留言板服務器200b、以及家庭服務器200c所具有的本質功能。
[0049][清潔機器人300a的概要]
[0050]清潔機器人(被控制裝置)300a是經由服務器200由智能手機100控制的被控制裝置之一。清潔機器人300a具有自動移動并進行清潔的功能。
[0051]清潔機器人300a還具有動作日志的存儲功能、充電余量的檢測及輸出功能、圖像拍攝功能、聲音識別功能、聲音輸出功能等。另外，清潔機器人300a還具有對家庭內設備發(fā)送控制信號并對其進行操作的功能。
[0052][通過發(fā)表圖像5進行的設備控制]
[0053]基于圖6，說明用戶通過在家庭留言板上發(fā)表圖像5來控制清潔機器人300a或家庭內設備的情況下，家庭留言板系統(tǒng)400中執(zhí)行的一系列處理的流程的概略。圖6的(a)及(b)是表示在家庭留言板中用戶(母親)與清潔機器人300a之間進行的消息及圖像5的交換的示意圖。
[0054]如圖6的(a)所示，清潔機器人300a通過溫度傳感器測量室內溫度，在家庭留言板上發(fā)表消息8a，以人類的感覺訴說“熱”。看到該消息的用戶將指示空調300c打開冷氣的圖像5作為消息Sb發(fā)表到家庭留言板上。
[0055]即，用戶按觸圖像選擇按鈕44后，智能手機100顯示多個用戶可選的圖像，并將表示所選擇的圖像5的圖像信息2發(fā)送到服務器200。
[0056]這里，確定控制對象(被控制裝置)的確定信息Ia以及指示該控制對象執(zhí)行指定處理的指示信息Ib與圖像5相對應。在圖6的(a)所示的例子中，與上述圖像對應的確定信息Ia表示“空調300c”，指示信息Ib表示“打開冷氣”。
[0057]另外，圖像信息2是能夠唯一識別圖像5的信息。只要能夠唯一識別圖像5，圖像信息2的形式可以是任意形式。例如，圖像信息2可以是數(shù)字，也可以是文字。在智能手機100與服務器200中保存圖像5的目錄結構相同的情況下，圖像信息2可以是存儲相應圖像的路徑的名稱?；蛘撸瑘D像信息2還可以是圖像5本身(在此情況下，智能手機100將圖像5發(fā)送給服務器200)。
[0058]這里，為了能夠與其他智能手機的用戶共享“從某個智能手機100進行了基于圖像信息2的指示”這一情況，接收了圖像信息2的服務器200將消息Sb作為發(fā)表信息4c發(fā)送到多個智能手機100。此外，消息Sb (發(fā)表信息4c)除了圖像5以外，還可以包含服務器200附加的與消息Sb有關的信息(例如，識別進行了發(fā)表的用戶的信息或發(fā)表日期及時間等。[0059]另外，接收了圖像信息2的服務器200對由與該圖像信息所示的圖像5對應的確定信息Ia確定的裝置，發(fā)送指示執(zhí)行指定處理的指示信息lb。在圖6的(a)所示的例子中，服務器200對由確定信息Ia確定的“空調300c”，發(fā)送“打開冷氣”這一指示信息lb。
[0060]接收了指示信息Ib的空調300c執(zhí)行“打開冷氣”的處理。隨后，清潔機器人300a在家庭留言板上發(fā)表消息8c，表示對房間變涼快感到高興。
[0061]如圖6的(b)所示，清潔機器人300a對麥克風采集的寵物叫聲進行錄音，在家庭留言板上發(fā)表報告寵物在叫的消息8d和聲音文件。看到該消息并聽了錄音的用戶將指示清潔機器人300a拍攝周圍照片的圖像5作為消息Se發(fā)表到家庭留言板上。
[0062]即，與上述同樣，用戶按觸圖像選擇按鈕44后，智能手機100顯示多個用戶可選的圖像，并將表示所選擇的圖像5的圖像信息2發(fā)送到服務器200。
[0063]經由服務器200接收了“拍攝周圍照片”的指示信息Ib的清潔機器人300a執(zhí)行照片拍攝處理，在家庭留言板上發(fā)表報告已經拍攝的消息8f和拍攝圖像(執(zhí)行處理的結果)。
[0064]這里，智能手機100可以在消息Se附近顯示經由服務器200從清潔機器人300a取得的拍攝圖像。據(jù)此，智能手機100能夠使用戶認識到，消息8f和拍攝圖像是對消息Se的來自清潔機器人300a的響應(消息8e與處理執(zhí)行結果的對應)。
[0065]總結以上概略情況，智能手機100以如下步驟執(zhí)行處理。
[0066](I)以用戶可選的方式顯示與確定清潔機器人300a及家庭內設備的確定信息Ia以及指示該清潔機器人等執(zhí)行指定處理的指示信息Ib相對應的圖像5 ；
[0067](2)在用戶從所顯示的圖像5中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息2發(fā)送給服務器200，據(jù)此使由確定信息Ia確定的清潔機器人或家庭內設備執(zhí)行由指示信息Ib指示的指定處理。
[0068]在上述以往技術中，圖像僅包含指示信息，因此必須指定用戶要操作的外部裝置。即，用戶不得不做出明示的操作，以確定作為操作對象的裝置，并對所確定的裝置發(fā)送指
/Jn ο
[0069]但是，用戶真正期望的是外部設備所實現(xiàn)的“功能”，有時用于實現(xiàn)該“功能”的主體裝置可以為任意裝置，因此一律必須執(zhí)行上述明示操作的界面對用戶并不友好。
[0070]與此相對，智能手機100將表示與確定信息Ia及指示信息Ib對應的圖像5的圖像信息2發(fā)送到服務器200。S卩，智能手機100始終將圖像信息2發(fā)送到“服務器200”，因此并不要求用戶執(zhí)行“確定外部設備”的明示操作。
[0071]換言之，即使沒有執(zhí)行由用戶指定作為控制對象的清潔機器人300a或家庭內設備這一明示操作，智能手機100也能夠使用戶控制該清潔機器人或家庭內設備。由此，智能手機100能夠提高用戶的方便性。
[0072][智能手機100的結構]
[0073]基于圖1說明智能手機100的結構。圖1是表示智能手機100的主要部分結構的框圖。這里，以下記載的結構說明以及上述框圖中省略與本實施方式無直接關系的部分(例如利用電話線實現(xiàn)通話的部分等)。不過，根據(jù)實施的實際情況，智能手機100可以包含該省略的結構。
[0074]此外，從保證記載的簡潔性的觀點出發(fā)，在以下的框圖說明中，假設家庭留言板系統(tǒng)400 (參照圖4)中僅包含智能手機(控制裝置)100、服務器200、清潔機器人(被控制裝置)300a、以及電視接收機(被控制裝置)300b。另外，假設電視接收機300b不包含在網(wǎng)絡中，處于能夠從服務器200接收指示信息Ib的狀況。
[0075]以下，以輸入部40 (輸入面41、輸入控制部42)、控制部10 (處理指示部11、執(zhí)行可否判斷部12、執(zhí)行結果取得部13、發(fā)表信息取得部17)、通信部20a(發(fā)送部21a、接收部22a)、顯示部70 (顯示控制部71、顯示面72)的順序，說明各結構所承擔的功能。
[0076]輸入部40接收來自用戶的操作(用戶操作7a)。輸入部40包括輸入面41和輸入控制部42。
[0077]輸入面41將表示由用戶操作7a指定的該輸入面上的位置的輸入信號7b輸出到輸入控制部42。在本實施方式中，作為輸入面41，較為理想的是能夠檢測多點觸摸的觸摸板。不過，輸入面41只要是通過用戶操作7a能夠檢測接觸位置的輸入設備即可，硬件的種類并不限于觸摸板。
[0078]輸入控制部42基于從輸入面41輸入的輸入信號7b生成輸入信息7c,并將該輸入信息輸出到圖像顯示部71a及處理指示部11。這里，輸入信息7c至少包括表示用戶按觸了圖像選擇按鈕44的信息和表示用戶選擇了圖像5的信息。
[0079]控制部10是總體控制智能手機100的各種功能的部件?？刂撇?0包括處理指示部11、執(zhí)行可否判斷部12、執(zhí)行結果取得部13、以及發(fā)表信息取得部17。
[0080]處理指示部(指示單元)11在用戶從圖像顯示部71a顯示的圖像5中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息2發(fā)送給服務器200，據(jù)此使由與該圖像對應的確定信息Ia確定的清潔機器人300a或家庭內設備執(zhí)行由指示信息Ib指示的指定處理。
[0081]具體而言，從輸入控制部42輸入表示用戶選擇了圖像5的輸入信息7c后，處理指示部11將表示該圖像的圖像信息2輸出到發(fā)送部21a。
[0082]此外，處理指示部11在用戶選擇了多個圖像5的情況下，將分別表示該圖像的多個圖像信息2發(fā)送到服務器200，由此能夠使由與各個圖像5對應的確定信息Ia確定的清潔機器人300a及/或家庭內設備，依次執(zhí)行由與各個圖像5對應的指示信息Ib指示的指定處理。上述處理的詳細情況在后面進行說明。
[0083]執(zhí)行可否判斷部(第一判斷單元)12在從接收部22a輸入設備信息3b后，基于該設備信息判斷清潔機器人300a或家庭內設備是否能夠執(zhí)行指定處理，并將該判斷結果6a輸出到處理指示部11及圖像顯示部71a。
[0084]這里，設備信息3b包括與該設備具有的功能、正在執(zhí)行的處理等有關的信息。例如，設備信息3b包括:錄像裝置300e具有與競爭節(jié)目并行進行錄像的功能、空調300c的過濾網(wǎng)變臟因而限制部分功能、清潔機器人300a正在拍攝照片等信息。
[0085]并且，執(zhí)行可否判斷部12判斷在由設備信息3b所示的該設備的狀態(tài)下，該設備能夠執(zhí)行由與圖像5對應的指示信息Ib確定的指定處理。例如，在設備信息3b表示“清潔機器人300a正在拍攝照片”的情況下，執(zhí)行可否判斷部12判斷為該清潔機器人無法執(zhí)行“清潔”處理。
[0086]執(zhí)行結果取得部(取得單元)13經由接收部22a從服務器200取得清潔機器人300a或家庭內設備執(zhí)行指定處理的結果(執(zhí)行結果3a)，并將執(zhí)行結果3a輸出到一覽顯示部 71b。
[0087]這里，例如在用戶使清潔機器人300a執(zhí)行“拍攝周圍照片”處理的情況下，執(zhí)行結果3a是由該清潔機器人拍攝并經由服務器200發(fā)送的圖像。
[0088]發(fā)表信息取得部17在從接收部22a輸入了發(fā)表信息4c的情況下,將該發(fā)表信息輸出到一覽顯示部71b。這里，發(fā)表信息4c是為了能夠與其他智能手機的用戶共享從某個智能手機100進行了基于圖像信息2的指示這一情況，從接收了圖像信息2的服務器200發(fā)送的、包含消息8b(參照圖6(a))的信息。
[0089]通信部20a經由遵循指定通信方式的通信網(wǎng)與外部通信。只要具有實現(xiàn)與外部設備的通信的本質功能即可，通信線路、通信方式、或者通信介質等不做限定。通信部20a例如可以由以太網(wǎng)(注冊商標)適配器等設備構成。另外，通信部20a例如可以利用IEEE802.11無線通信、藍牙(Bluetooth，注冊商標)等通信方式或通信介質。通信部20a包括發(fā)送部21a和接收部22a。
[0090]發(fā)送部21a將從處理指示部11輸入的圖像信息2發(fā)往服務器200。
[0091]接收部22a接收從服務器200發(fā)送的執(zhí)行結果3a、設備信息3b、以及發(fā)表信息4c，分別輸出到執(zhí)行結果取得部13、執(zhí)行可否判斷部12、以及發(fā)表信息取得部17。
[0092]顯示部70對用戶顯示家庭留言板以及該家庭留言板中包含的內容(消息或圖像等)。顯示部70包括顯示控制部71和顯示面72。
[0093]顯示控制部71將顯示用數(shù)據(jù)7d輸出到顯示面72,從而能夠在顯示面72上顯示家庭留言板以及該家庭留言板中包含的內容。顯示用數(shù)據(jù)7d例如可以是位圖形式的圖像，還可以是遵循其他形式的圖像，或者其他的與顯示相適應的數(shù)據(jù)形式。顯示控制部71包括圖像顯示部71a和一覽顯示部71b。
[0094]圖像顯示部(第一顯示單元)71a以用戶可選的方式顯示與確定信息Ia及指示信息Ib對應的圖像5。具體而言，從輸入控制部42輸入表示用戶按觸了圖像選擇按鈕44的輸入信息7c后，圖像顯示部71a顯示多個用戶可選的圖像5。
[0095]其中，在從執(zhí)行可否判斷部12輸入了表示由與圖像5對應的指示信息Ib確定的指定處理不能由相應裝置執(zhí)行的判斷結果6a的情況下，圖像顯示部71a不顯示與該指定處理對應的圖像5，或者降低亮度顯示。
[0096]基于圖7，說明在以可選擇的方式顯示圖像5的情況下，顯示面72上顯示的選擇界面的一例。圖7的(a)及(b)是表示列表顯示用戶可選的圖像5的畫面例的示意圖。
[0097]如圖7(a)所示，智能手機100 (圖像顯示部71a)以一覽方式顯示表現(xiàn)了能夠對清潔機器人300a指示的內容的圖像5。如前所述，根據(jù)清潔機器人300a的狀態(tài)(能否執(zhí)行圖像5的處理)，該列表顯示發(fā)生變化。
[0098]例如，在設備信息3b表示“清潔機器人300a正在拍攝照片”，由此執(zhí)行可否判斷部12判斷為該清潔機器人無法執(zhí)行“清潔”處理的情況下，“使清潔機器人進行清潔”的選項以不可選的方式進行顯示(例如，不顯示或者降低亮度顯示等)。
[0099]此外，在用戶試圖選擇顯示為不可選的圖像5的情況下，清潔機器人300a可以在家庭留言板上發(fā)表“5分鐘后可以嗎？ ”等消息，以促使該用戶等待執(zhí)行。
[0100]如圖7(b)所示，智能手機100 (圖像顯示部71a)以一覽方式顯示表現(xiàn)了能夠對家庭內設備(這里是電視接收機300b)指示的內容的圖像5。
[0101]這里，并不會根據(jù)電視接收機300b處于(I)包含在網(wǎng)絡中，能夠從服務器200接收指示信息Ib的狀況，還是處于(2)不包含在網(wǎng)絡中，無法從服務器200接收指示信息Ib的狀況，而使一覽顯示的圖像發(fā)生變化。這是因為，即使在上述(2)的狀況下，清潔機器人300a將該指示信息中繼給電視接收機300b，由此與上述(I)的狀況下的情況相同，用戶也能夠控制該電視接收機。
[0102]S卩，在上述(2)的狀況下，在用戶控制使得接入電視接收機300b的電源的情況下，智能手機100能夠將以“清潔機器人300a”為確定信息la，以“接入電視接收機300b的電源”為指示信息Ib而對應關聯(lián)的圖像5的圖像信息2發(fā)送到服務器200。經由服務器200接收了上述指示信息Ib的清潔機器人300a使用IrDA或紅外線，行駛到能夠對電視接收機300b發(fā)送指示信息Ib的位置，執(zhí)行“接入電視接收機300b的電源”的處理。
[0103]這樣，通過由清潔機器人300a將指示信息Ib從服務器200中繼到家庭內設備，用戶能夠在意識不到處于上述⑴的狀況還是⑵的狀況的情況下，從智能手機100控制家庭內設備。此外，根據(jù)狀況不同，可以由服務器200的信息提取部16執(zhí)行變更確定信息Ia以及指示信息Ib的處理(在后面進行詳細說明)。
[0104]一覽顯示部(第二顯示單元)71b作為用戶之間共享的信息，按照時間序列的順序一覽顯示至少包含一個由處理指示部11發(fā)送的圖像信息2的信息(參照圖6的(a)及(b))。此外，一覽顯示部71b在執(zhí)行結果取得部13取得了執(zhí)行結果3a的情況下，還可以在一覽顯示的消息及圖像5的附近顯示該執(zhí)行結果(參照圖6的(b))。
[0105]顯示面72顯示從顯示控制部71輸入的顯示用數(shù)據(jù)7d。本實施方式中主要設想液晶顯示器(Liquid Crystal Display:LCD),但只要是具有顯示功能的裝置(例如,具有基于從顯示控制部71輸入的顯示用數(shù)據(jù)7d驅動顯示元件的驅動電路的裝置)即可，硬件的種類不做限定。
[0106]此外，為了明示各結構所具有的功能，圖1分開顯示輸入面41和顯示面72，但例如在用觸摸板實現(xiàn)輸入面41，用液晶顯示器實現(xiàn)顯示面72的情況下，如圖5(a)所示，兩者可以作為一體構成。據(jù)此，對輸入面41的用戶手指的接觸位置與顯示面72根據(jù)該接觸顯示的圖形等的顯示位置一致，因此用戶能夠取得自然的輸入感覺。
[0107][服務器2OO的結構]
[0108]基于圖2說明服務器200的結構。圖2是表示服務器200的主要部分結構的框圖。以下，以通信部20b (發(fā)送部21b、接收部22b)、通信可否判斷部14、信息提取部16的順序，說明各結構所承擔的功能。
[0109]通信部20b與通信部20a的功能相同，因此省略詳細說明。通信部20b包括發(fā)送部21b和接收部22b。
[0110]發(fā)送部(第一發(fā)送單元)21b對由與接收部22b接收的圖像信息2所示的圖像5對應的確定信息Ia確定的清潔機器人300a或家庭內設備，發(fā)送指示執(zhí)行指定處理的指示/[目息Ib0
[0111]另外，為了調查家庭內設備是(上述⑴的狀況)否(上述⑵的狀況)處于包含在網(wǎng)絡中，能夠從服務器200接收指示信息Ib的狀況，發(fā)送部21b將應答請求4b發(fā)送給該家庭內設備。此外，在從接收部22b輸入了執(zhí)行結果3a或設備信息3b的情況下，發(fā)送部21b將該執(zhí)行結果或設備信息發(fā)送給智能手機100。
[0112]此外，為了能夠在多個智能手機100上顯示消息，發(fā)送部21b生成包含由接收部22b接收的圖像5的消息(例如圖6的(a)中的消息8b等)，將發(fā)表信息4c發(fā)送給所有智I!泛手機100。
[0113]接收部(第一接收單元)22b從智能手機100接收表示用戶選擇的圖像5的圖像信息2，并將該圖像信息輸出到信息提取部16。接收部22b在從清潔機器人300a接收了執(zhí)行結果3a或設備信息3b的情況下，將該執(zhí)行結果或設備信息輸出到發(fā)送部21b。另外，在接收了應答信息4a的情況下，將該應答信息輸出到通信可否判斷部14。
[0114]這里，應答信息4a是作為對從發(fā)送部21b發(fā)送到清潔機器人300a或家庭內設備的應答請求4b的應答得到的信息。即，應答信息4a表示該清潔機器人300a或家庭內設備處于包含在網(wǎng)絡中，能夠從服務器200接收指示信息Ib的狀況(上述(I)的狀況)。
[0115]具體而言，在處于上述(I)的狀況的情況下，從該清潔機器人或家庭內設備接收應答信息4a，因此接收部22b將表示處于上述(I)的狀況的應答信息4a輸出到通信可否判斷部14。另一方面，在處于上述(2)的狀況的情況下，從該清潔機器人或家庭內設備未接收應答信息4a。即，經過一定時間后仍未從清潔機器人300a或家庭內設備接收應答信息4a，由此通信可否判斷部14能夠判斷為該清潔機器人或家庭內設備處于上述(2)的狀況。
[0116]這里，清潔機器人300a處于上述(I)的狀況，因此接收部22b從該清潔機器人接收應答信息4a后，將該應答信息輸出到通信可否判斷部14。另一方面，如前所述，假定電視接收機300b處于上述(2)的狀況，因此從該電視接收機未接收應答信息4a。
[0117]通信可否判斷部(第二判斷單元)14在從信息提取部16輸入了確定信息la，從接收部22b輸入了應答信息4a的情況下，將表示由該確定信息確定的清潔機器人300a或家庭內設備以可通信的方式與服務器200連接(處于上述(I)的狀況)的判斷結果6b輸出到信息提取部16。
[0118]另一方面，通信可否判斷部14在從信息提取部16輸入了確定信息la，且未從接收部22b輸入應答信息4a的情況下，將表示由該確定信息確定的清潔機器人300a或家庭內設備并未以可通信的方式與服務器200連接(處于上述(2)的狀況)的判斷結果6b輸出到信息提取部16。
[0119]信息提取部16從接收部22b輸入圖像信息2后，將與該圖像信息所示的圖像5對應的確定信息Ia及指示信息Ib從該圖像中提取出來。然后，信息提取部16將提取的確定信息Ia輸出到通信可否判斷部14與發(fā)送部21b，將指示信息Ib輸出到發(fā)送部21b。
[0120]這里，確定信息Ia及指示信息Ib以如下方式分別與圖像5對應。例如，在圖像5的數(shù)據(jù)的元信息(例如Exif頭部等)中，存儲確定信息Ia及指示信息lb。
[0121]或者，也可以使用存儲圖像5的路徑的名稱，將圖像5與確定信息Ia及指示信息Ib相對應。例如，“/image/cleaner/photo, jpg”可以表示使清潔機器人300a拍攝照片，“/image/cIeaner/moveForward.jpg” 可以表示使清潔機器人 300a 前進，“/image/tv/on.jpg”可以表示接入電視接收機300b的電源,“/image/tv/off.jpg”可以表示切斷電視接收機300b的電源等。
[0122]在從通信可否判斷部14輸入的判斷結果6b表示由確定信息Ia確定的清潔機器人300a或家庭內設備處于上述(2)的狀況的情況下，信息提取部16可以變更確定信息Ia及指示信息lb。
[0123]例如，在確定信息Ia為“電視接收機300b”，指示信息Ib為“接入電源”的情況下，判斷為該電視接收機處于上述(2)的狀況，因此信息提取部16分別變更確定信息Ia及指示信息lb，使得確定信息Ia為“清潔機器人300a”，指示信息Ib為“接入電視接收機300b的電源”。
[0124]S卩，服務器200還包括判斷家庭內設備(被控制裝置)是否以可通信的方式與服務器200連接的通信可否判斷部(第二判斷單元)14，發(fā)送部(第一發(fā)送單元)21b在由通信可否判斷部(第二判斷單元)14判斷為不連接的情況下，使與服務器200和家庭內設備(被控制裝置)以可通信的方式連接的清潔機器人(其他被控制裝置)300a將指示執(zhí)行指定處理的指示信息Ib中繼到家庭內設備(被控制裝置)，由此能夠將該指示執(zhí)行指定處理的指示信息Ib發(fā)送到該家庭內設備(被控制裝置)。
[0125]此外，圖2中未示出服務器200中的圖像信息2以外的消息(例如，用戶的文本輸入的消息或照片的發(fā)表等)的收發(fā)。但是，在信息提取部16未能提取確定信息Ia或指示信息Ib的情況下，發(fā)送部21b簡單地發(fā)送由接收部22b接收的消息，從而能夠在智能手機100上進行顯示。
[0126][清潔機器人300a的結構]
[0127]基于圖3(a)說明清潔機器人300a的結構。圖3 (a)是表示清潔機器人300a的主要部分結構的框圖。以下，以通信部20c (發(fā)送部21c、接收部22c、接收部22d)、處理執(zhí)行部15a的順序，說明各結構所承擔的功能。
[0128]通信部20c與通信部20a的功能相同，因此省略詳細說明。通信部20c包括發(fā)送部21c和接收部22c。
[0129]發(fā)送部(第二發(fā)送單元)21c在從接收部22c輸入了指示信息Ib的情況下，對家庭內設備(電視接收機300b)發(fā)送該指示信息。另外，在從接收部22c輸入了應答請求4b的情況下，發(fā)送部21c對服務器200發(fā)送應答請求4a或設備信息3b。此外，在從處理執(zhí)行部15a輸入了執(zhí)行結果3a的情況下，發(fā)送部21c將該執(zhí)行結果發(fā)送到服務器200。
[0130]接收部(第二接收單元、第三接收單元)22c從服務器200接收指示執(zhí)行指定處理的指示信息lb。接收部22c將接收的指示信息Ib輸出到處理執(zhí)行部15a。在將指示信息Ib中繼到家庭內設備的情況下，接收部22c還將該指示信息輸出到發(fā)送部21c。
[0131]S卩，清潔機器人(被控制裝置)300a還可以包括:接收部(第三接收單元)22c，接收表示中繼指示執(zhí)行指定處理的指示信息Ib的信息；以及發(fā)送部(第二發(fā)送單元)21c，在接收部(第三接收單元)22c接收了表示進行中繼的信息的情況下，對該信息所示的外部的電視接收機(被控制裝置)300b，發(fā)送接收部(第二接收單元)22c接收的指示執(zhí)行指定處理的指示信息lb。
[0132]處理執(zhí)行部(執(zhí)行單元)15a按照接收部22c接收的指示信息lb，執(zhí)行指定處理(例如，使清潔機器人300a前進I米,使清潔機器人300a向右旋轉90°等,參照圖7(a))。處理執(zhí)行部15a將執(zhí)行該指定處理的結果(執(zhí)行結果3a)輸出到發(fā)送部21c。
[0133][電視接收機300b的結構]
[0134]基于圖3 (b)說明電視接收機300b的結構。圖3 (b)是表示電視接收機300b的主要部分結構的框圖。
[0135]接收部(第二接收單元)22d從清潔機器人300a接收指示執(zhí)行指定處理的指示信息lb，并將該指示信息輸出到處理執(zhí)行部15b。
[0136]處理執(zhí)行部(執(zhí)行單元)15b按照由接收部22d接收的指示信息lb，執(zhí)行指定處理(例如，接入電源，切斷電源等，參照圖7 (b))。
[0137][一次發(fā)表多個圖像5的例子]
[0138]基于圖8，說明用戶通過一次發(fā)表多個圖像5來使清潔機器人300a或家庭內設備依次執(zhí)行一系列處理的例子。圖8是表示用戶一次發(fā)表多個圖像5后，清潔機器人300a發(fā)表了由該圖像確定的一系列處理的執(zhí)行結果的家庭留言板的情形的示意圖。
[0139]如圖8所示，用戶能夠將指示清潔機器人300a “前進I米”、“向右旋轉90° ”、“拍攝周圍照片”的三個圖像5作為消息Sg —次性發(fā)表在家庭留言板上。
[0140]S卩，用戶按觸圖像選擇按鈕44(參照圖6)后，智能手機100能夠顯示多個用戶可選的圖像，并將分別表示所選擇的多個圖像5的多個圖像信息2發(fā)送到服務器200。據(jù)此，智能手機100指示一系列處理中包含的各處理的執(zhí)行，因此能夠省去用戶多次發(fā)表圖像5的麻煩。
[0141]接收了多個圖像信息2的服務器200對由與該圖像信息所示的圖像5對應的確定信息Ia確定的裝置，發(fā)送指示執(zhí)行指定處理的指示信息lb。
[0142]在圖8所示的例子中，服務器200對由確定信息Ia確定的“清潔機器人300a”，發(fā)送“前進I米”、“向右旋轉90° ”、“拍攝周圍照片”的三個指示信息lb。
[0143]接收了指示信息Ib的清潔機器人300a依次執(zhí)行上述三個處理。這里需要注意，該清潔機器人并不對服務器200發(fā)送執(zhí)行“前進I米”以及“向右旋轉90° ”的結果，僅將執(zhí)行“拍攝周圍照片”的結果作為消息8h發(fā)表到家庭留言板上。
[0144]S卩，在用戶一次發(fā)表多個圖像5，從而使清潔機器人300a接收了多個指示信息Ib的情況下，該清潔機器人僅將最終結果發(fā)表到家庭留言板上，不發(fā)表中間結果。據(jù)此，清潔機器人300a能夠省去用戶確認中間結果的麻煩。
[0145]此外，接收了相互矛盾的指示信息Ib的裝置可以不執(zhí)行由該指示信息確定的指定處理。例如，接收了“前進I米”和“后退I米”的兩個指示信息Ib的清潔機器人300a可以不執(zhí)行由這兩個指示信息確定的處理，而是原地待機?；蛘撸邮樟恕敖尤腚娫础焙汀扒袛嚯娫础钡膬蓚€指示信息Ib的電視接收機300b可以不執(zhí)行由這兩個指示信息確定的處理，而是保持切斷電源的狀態(tài)。
[0146]在圖8所示的例子中，用戶僅對清潔機器人300a(即同一裝置)指示處理的執(zhí)行，但指示一系列處理中包含的各處理的執(zhí)行的對象也可以是相互不同的裝置。
[0147]另外，還可以將多個確定信息Ia及指示信息Ib與一個圖像5相對應，用戶通過選擇這一個圖像，使清潔機器人300a或家庭內設備執(zhí)行一系列處理。據(jù)此，智能手機100指示一系列處理中包含的各處理的執(zhí)行，因此能夠省去用戶多次選擇圖像5的麻煩。
[0148][從電視接收機300b發(fā)表圖像的例子]
[0149]在電視接收機300b包含在網(wǎng)絡中的情況下，用戶還能夠從該電視接收機發(fā)表圖像5。
[0150]S卩，用戶經由能夠操作電視接收機300b的接口(例如遙控器)選擇圖像5后，該電視接收機(控制裝置)將表示該圖像的圖像信息2發(fā)送給服務器200，據(jù)此能夠使由與該圖像對應的確定信息Ia確定的裝置(例如清潔機器人300a、空調300c等家庭內設備)執(zhí)行由與該圖像對應的指示信息Ib指示的指定處理。
[0151]據(jù)此，電視接收機300b能夠提供便利性更高的使用方法，例如在二樓看電視的用戶一邊看電視一邊接入位于一樓的空調300c的電源等。
[0152][家庭留言板系統(tǒng)400執(zhí)行的處理]
[0153]基于圖9說明家庭留目板系統(tǒng)400執(zhí)行的處理的流程。圖9是表不家庭留目板系統(tǒng)400 (智能手機100、服務器200、清潔機器人300a)執(zhí)行的處理的一例的流程圖。此外，在以下說明中，括號里的“某步驟”表示智能手機100的控制方法的各步驟。
[0154]圖像顯示部71a以用戶可選的方式顯示將確定信息Ia (這里表示“清潔機器人300a”)與指示信息Ib (這里表示“拍攝周圍照片”)相對應的圖像5 (步驟1:以下簡稱為“SI”，顯示步驟)。輸入部40(輸入面41，輸入控制部42)檢測到用戶選擇了圖像5后(S2中“是”)，處理指示部11將表示所選擇的圖像5的圖像信息2發(fā)送到服務器200 (S3，指示步驟)。
[0155]服務器200的接收部22b接收該圖像信息后(S4)，發(fā)送部21b將包含該圖像信息的消息的發(fā)表信息4c發(fā)送到多個智能手機100 (S24)。各個智能手機100的接收部22a接收該發(fā)表信息(S25), 一覽顯不部71b以一覽方式顯不上述消息(S26)。
[0156]服務器200的信息提取部16提取與圖像信息2所示的圖像5對應的確定信息Ia及指示信息Ib (S5)。在由信息提取部16從圖像5提取了確定信息Ia及指示信息Ib的情況下(S27中“是”)，發(fā)送部21b對由提取的確定信息Ia所示的裝置(這里是清潔機器人300a)發(fā)送應答請求4b (S6)。
[0157]此外，在信息提取部16未從圖像5中提取確定信息Ia及指示信息Ib中的至少一者的情況下(S27中“否”)，服務器200將圖像5視為通常的消息發(fā)表，跳過以后的處理并結束。
[0158]清潔機器人300a的接收部22c接收該應答請求后(S7)，發(fā)送部21c將應答信息4a以及設備信息3b發(fā)送到服務器200 (S8)。
[0159]服務器200的接收部22b接收該應答信息及設備信息后(S9)，通信可否判斷部14判斷為該清潔機器人能夠通信(上述(I)的狀況)(S10中“是”)，發(fā)送部21b將指示信息Ib發(fā)送給該清潔機器人(Sll)。另外，發(fā)送部21b將設備信息3b發(fā)送給智能手機100 (S12)。智能手機100的接收部22a接收該設備信息(S13)。
[0160]清潔機器人300a的接收部22c接收指示信息Ib后(S14)，處理執(zhí)行部15a執(zhí)行由該指示信息確定的指定處理(S15)。接著，發(fā)送部21c將執(zhí)行結果3a發(fā)送給服務器200 (S16)。
[0161 ] 服務器200的接收部22b接收該執(zhí)行結果后(S17)，發(fā)送部21b將該執(zhí)行結果發(fā)送給智能手機100 (S18)。智能手機100的接收部22a接收執(zhí)彳丁結果3a (S19)。智能手機100在消息附近顯示經由服務器200從清潔機器人300a取得的拍攝圖像(參照圖6 (b))。
[0162]基于圖10說明家庭留言板系統(tǒng)400執(zhí)行的不同處理的流程。圖10是表示家庭留言板系統(tǒng)400 (智能手機100、服務器200、清潔機器人300a、電視接收機300b)執(zhí)行的不同處理的一例的流程圖。此外，圖10中，有時對于與參照圖9說明的處理相同的處理，通過標注與之前相同的標號來省略說明(省略了 SI?S5、Sll?S14、S16?S19、S24?S27的說明)。
[0163]服務器200的發(fā)送部21b對由所提取的確定信息Ia表示的裝置(這里是電視接收機300b)發(fā)送應答請求4b (S6)，但如前所述，電視接收機300b未連接于網(wǎng)絡，因此該電視接收機300b未接收該應答請求，也得不到應答信息4a。
[0164]經過一定時間后仍未從電視接收機300b接收應答信息4a，由此通信可否判斷部14判斷為該電視接收機處于上述(2)的狀況(S10中“否”)。
[0165]例如，在確定信息Ia為“電視接收機300b”，指示信息Ib為“接入電源”的情況下，信息提取部16分別變更確定信息Ia及指示信息lb，使得確定信息Ia為“清潔機器人300a”，指示信息Ib為“接入電視接收機300b的電源”(S20)。
[0166]清潔機器人300a的發(fā)送部21c將變更后的指示信息Ib發(fā)送給電視接收機300b (S21)。電視接收機300b的接收部22d接收該指示信息后(S22)，處理執(zhí)行部15b執(zhí)行由該指示信息確定的指定處理(S23)。
[0167]此外，圖9及圖10中，S4中服務器200接收圖像信息2后，在S6中發(fā)送應答請求4b，S9中接收應答信息4a及設備信息3b，但各個時機不限于此。例如，無論是否接收圖像信息2，服務器200都可以定期發(fā)送應答請求4b，或者清潔機器人300a可以定期發(fā)送與應答信息4a類似的信息或設備信息3b。
[0168][智能手機100收到的效果]
[0169]即使沒有執(zhí)行由用戶指定作為控制對象的清潔機器人300a或家庭內設備這一明示操作，智能手機100也能夠使用戶控制該清潔機器人或家庭內設備。因此，智能手機100收到能夠提高用戶的方便性的效果。
[0170][總結]
[0171]本發(fā)明的一方式所涉及的控制裝置(智能手機100、電視接收機300b)是:
[0172](I) 一種控制裝置，經由服務器控制被控制裝置，包括:
[0173](2)第一顯示單元，以用戶可選的方式顯示與確定所述被控制裝置的確定信息以及指示該被控制裝置執(zhí)行指定處理的指示信息相對應的圖像；以及
[0174](3)指示單元，在用戶從所述第一顯示單元顯示的圖像中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息發(fā)送給所述服務器，據(jù)此使由與該圖像對應的確定信息確定的被控制裝置執(zhí)行由與該圖像對應的指示信息指示的指定處理。
[0175]另外，本發(fā)明的一方式所涉及的控制裝置的控制方法是:
[0176](I) 一種控制裝置的控制方法，該控制裝置經由服務器控制被控制裝置，該控制方法包括:
[0177](2)第一顯示步驟，以用戶可選的方式顯示與確定所述被控制裝置的確定信息以及指示該被控制裝置執(zhí)行指定處理的指示信息相對應的圖像；以及
[0178](3)指示步驟，在用戶從所述第一顯示步驟顯示的圖像中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息發(fā)送給所述服務器，據(jù)此使由與該圖像對應的確定信息確定的被控制裝置執(zhí)行由與該圖像對應的指示信息指示的指定處理。
[0179]在上述以往技術中，圖像數(shù)據(jù)不包含與要控制的外部裝置(例如電視接收機等)有關的信息，因此用戶必須指定該裝置。即，用戶不得不做出明示的操作，以確定要控制的外部裝置，并對所確定的裝置發(fā)送指示。
[0180]但是，用戶真正期望的是外部設備所實現(xiàn)的“功能”，有時用于實現(xiàn)該“功能”的主體裝置可以為任意裝置，因此一律必須執(zhí)行上述明示操作的界面對用戶并不友好。
[0181]與此相對，根據(jù)上述結構(I)?(3)，本發(fā)明的一方式所涉及的控制裝置及該裝置的控制方法將表示圖像的圖像信息發(fā)送到服務器，該圖像與確定被控制裝置的確定信息以及指示該被控制裝置執(zhí)行指定處理的指示信息相對應。即，上述控制裝置等始終將圖像信息發(fā)送到服務器，因此并不要求用戶執(zhí)行“確定外部設備”的明示操作。
[0182]換言之，利用上述控制裝置等，即使不進行由用戶指定作為控制對象的被控制裝置這一明示操作，也能夠使用戶控制該被控制裝置。由此，上述控制裝置等能夠提高用戶的方便性。
[0183]另外，在本發(fā)明的一方式所涉及的控制裝置中:
[0184](I)所述指示單元將所述圖像信息發(fā)送給提供能夠在事先登記的用戶之間共享信息的服務的服務器，
[0185](2)所述控制裝置還包括第二顯示單元，作為所述用戶之間共享的信息，按照時間序列的順序一覽顯示至少包含一個由所述指示單元發(fā)送的圖像信息的信息。
[0186]根據(jù)上述結構(I)?(2)，本發(fā)明的一方式所涉及的控制裝置將圖像信息發(fā)送給提供能夠在用戶之間共享信息的服務(例如社交網(wǎng)絡服務)的服務器，因此，能夠使利用該服務的多個用戶共享該圖像信息。
[0187]另外，上述控制裝置能夠以時間序列的順序一覽顯示用戶發(fā)表的消息或通過用戶的指示發(fā)送的圖像信息等，因此能夠使所有用戶了解“誰” “為了什么”發(fā)送了“什么指示”。由此，上述控制裝置能夠進一步提高用戶的方便性。
[0188]另外，本發(fā)明的一方式所涉及的控制裝置還可以包括:
[0189](I)取得單元，從所述服務器取得由所述被控制裝置執(zhí)行指定處理的結果，
[0190](2)所述第二顯示單元在所述取得單元取得了執(zhí)行的結果的情況下，還在一覽顯示的信息的附近顯示該執(zhí)行的結果。
[0191]根據(jù)上述結構(I)?(2)，本發(fā)明的一方式所涉及的控制裝置能夠使用戶認識到執(zhí)行的結果是對一覽顯示的信息的應答。由此，上述控制裝置能夠進一步提高用戶的方便性。
[0192]另外，在本發(fā)明的一方式所涉及的控制裝置中:
[0193](I)所述指示單元在用戶選擇了多個所述圖像的情況下，將分別表示該圖像的多個圖像信息發(fā)送到所述服務器，由此使由與各個圖像對應的確定信息確定的被控制裝置，依次執(zhí)行由與各個圖像對應的指示信息指示的指定處理。
[0194]根據(jù)上述結構(I)，本發(fā)明的一方式所涉及的控制裝置指示一系列處理中包含的各處理的執(zhí)行，因此能夠省去用戶多次選擇圖像的麻煩。由此，上述控制裝置能夠進一步提高用戶的方便性。
[0195]另外，本發(fā)明的一方式所涉及的控制裝置還可以包括:
[0196](I)第一判斷單元，判斷所述被控制裝置是否能夠執(zhí)行所述指定處理，
[0197](2)所述第一顯示單元在所述第一判斷單元判斷為不能執(zhí)行的情況下，不顯示與該指定處理對應的圖像。
[0198]根據(jù)上述結構(I)，本發(fā)明的一方式所涉及的控制裝置能夠根據(jù)被控制裝置能否執(zhí)行指定處理，限制用戶選擇圖像的范圍。由此，上述控制裝置能夠減輕進行該選擇所需的用戶負擔，因此能夠進一步提高用戶的方便性。
[0199]本發(fā)明的一方式所涉及的服務器(服務器200)是:[0200](I)以可通信的方式與上述控制裝置連接的服務器，包括:
[0201](2)第一接收單元，從所述控制裝置接收表示由用戶選擇的圖像的圖像信息；以及
[0202](3)第一發(fā)送單元，發(fā)送指示由與所述第一接收單元接收的圖像信息所示的圖像對應的確定信息確定的被控制裝置執(zhí)行所述指定處理的指示信息。
[0203]根據(jù)上述結構(I)?(3)，本發(fā)明的一方式所涉及的服務器將指示信息中繼到由確定信息確定的被控制裝置。據(jù)此，通過上述服務器，能夠不對控制裝置要求上述明示操作。由此，上述服務器能夠提高用戶的方便性。
[0204]本發(fā)明的一方式所涉及的被控制裝置(清潔機器人300a、電視接收機300b、空調300c、照明裝置300d、錄像裝置300e):
[0205](I)經由上述服務器由上述控制裝置控制，該被控制裝置包括:
[0206](2)第二接收單元，接收指示執(zhí)行指定處理的指示信息；以及
[0207](3)執(zhí)行單元，按照所述第二接收單元接收的指示信息，執(zhí)行所述指定處理。
[0208]根據(jù)上述結構(I)?(3)，本發(fā)明的一方式所涉及的被控制裝置能夠執(zhí)行由上述服務器中繼的指示信息所指示的指定處理。據(jù)此，上述被控制裝置能夠在不對控制裝置要求上述明示操作的情況下，執(zhí)行從該控制裝置指示的指定處理。由此，上述被控制裝置能夠提高用戶的方便性。
[0209]本發(fā)明的一方式所涉及的控制系統(tǒng)(家庭留言板系統(tǒng)400)可以包括:
[0210](I)上述控制裝置；
[0211]⑵上述服務器；以及
[0212](3)上述被控制裝置。
[0213]根據(jù)上述結構(I)?(3)，本發(fā)明的一方式所涉及的控制系統(tǒng)收到與上述控制裝置、上述服務器、或者上述被控制裝置相同的效果。
[0214]此外，上述控制裝置、服務器、以及被控制裝置可以由計算機實現(xiàn)。在此情況下，通過使計算機作為上述控制裝置、服務器、以及被控制裝置的各單元動作，通過計算機實現(xiàn)上述控制裝置、服務器、或被控制裝置的控制程序、以及記錄該控制程序的計算機可讀取的記錄介質也包含在本發(fā)明的范疇內。
[0215][關于各實施方式中包含的結構(技術單元)的組合]
[0216]應當注意，上述實施方式中包含的結構可以適當組合。即，上述實施方式中說明的所有結構不僅能夠在該說明所涉及的實施方式中利用，在其他實施方式中也能夠組合利用該結構的全部或部分，由此得到的實施方式也包含在本發(fā)明的技術范圍內。另外，相互組合本發(fā)明的各實施例中記載的技術特征，能夠形成新的技術方案。
[0217][基于軟件的實現(xiàn)例]
[0218]最后，智能手機100、服務器200、清潔機器人300a、以及電視接收機300b的各模塊既可以通過形成于集成電路(IC芯片)上的邏輯電路在硬件上實現(xiàn)，也可以使用CPU (Central Processing Unit,中央處理單兀)在軟件上實現(xiàn)。
[0219]在后者的情況下，智能手機100、服務器200、清潔機器人300a、以及電視接收機300b包括:執(zhí)行實現(xiàn)各功能的程序的命令的CPU、存儲有上述程序的ROM (Read OnlyMemory,只讀存儲器)、展開上述程序的RAM (Random Access Memory,隨機存取存儲器)、以及存儲上述程序和各種數(shù)據(jù)的存儲器等存儲裝置(記錄介質)等。并且，將以計算機可讀取的方式記錄了作為實現(xiàn)上述功能的軟件的、智能手機100、服務器200、清潔機器人300a、以及電視接收機300b的控制程序的程序代碼(執(zhí)行形式程序、中間代碼程序、源程序)的記錄介質提供給上述智能手機100、服務器200、清潔機器人300a、或者電視接收機300b，該計算機(或者CPU或MPU)讀出并執(zhí)行記錄介質中記錄的程序代碼，由此也能夠實現(xiàn)本發(fā)明的目的。
[0220]作為上述記錄介質，能夠使用非暫時性的有形介質(non-transitory tangiblemedium),例如，能夠使用磁帶或盒式磁帶等帶類、包含軟盤(注冊商標)/硬盤等磁盤和CD-R0M/M0/MD/DVD/BD/CD-R等光盤的盤類、IC卡(包含存儲卡)/光卡等卡類、掩膜ROM/EPR0M/EEPR0M(注冊商標)/閃存ROM等半導體存儲器類、或者PLD(Programmable logicdevice,可編程邏輯元件)或FPGA(Field Programmable Gate Array,場可編程門陣列)等邏輯電路類等。
[0221]另外，可以構成為智能手機100、服務器200、清潔機器人300a、或者電視接收機300b能夠與通信網(wǎng)絡連接，經由通信網(wǎng)絡提供上述程序代碼。該通信網(wǎng)絡只要能夠傳輸程序代碼即可，不做特別限定。例如，可以利用因特網(wǎng)、內部網(wǎng)、外部網(wǎng)、LAN、ISDN、VAN、CATV通信網(wǎng)、虛擬專用網(wǎng)(Virtual Private Network)、電話線路網(wǎng)、移動通信網(wǎng)、衛(wèi)星通信網(wǎng)等。另外，構成該通信網(wǎng)絡的傳輸介質也只要是能夠傳輸程序代碼的介質即可，并不限定于特定結構或種類的介質。例如，可以利用IEEE1394、USB、電力線傳送、有線電視線路、電話線、ADSL (Asymmetric Digital Subscriber Line,非對稱數(shù)字用戶線路)線路等有線,還可以利用IrDA或遙控器這樣的紅外線、Bluetooth (注冊商標)、IEEE802.11無線、HDR(HighData Rate,高數(shù)據(jù)速率)、NFC(Near Field Communication,近場通信)、DLNA(DigitalLiving Network Alliance,數(shù)字生活網(wǎng)絡聯(lián)盟)、移動電話網(wǎng)、衛(wèi)星線路、地面數(shù)字網(wǎng)絡等無線。此外，還可以用通過電子傳送將上述程序代碼具體化的、嵌入到傳送波中的計算機數(shù)據(jù)信號的形式實現(xiàn)本發(fā)明。
[0222]這樣，本說明書中，單元并不一定意味著物理單元，還包括各單元的功能由軟件實現(xiàn)的情況。另外，可以由兩個以上的物理單元實現(xiàn)一個單元的功能，還可以由一個物理單元實現(xiàn)兩個以上單元的功能。
[0223]產業(yè)上的可利用性
[0224]本發(fā)明能夠適用于智能手機、平板式終端、個人計算機、電視接收機等，能夠經由服務器控制被控制裝置的裝置等。
[0225]標號說明
[0226]Ia 確定信息(確定信息)
[0227]Ib 指示信息(指示信息)
[0228]2 圖像信息(圖像信息)
[0229]3a 執(zhí)行結果(執(zhí)行的結果)
[0230]5 圖像(圖像)
[0231]11 處理指示部(指示單元)
[0232]12 執(zhí)行可否判斷部(第一判斷單元)
[0233]13 執(zhí)行結果取得部(取得單元)[0234]14通信可否判斷部(第二判斷單元)
[0235]15a處理執(zhí)行部(執(zhí)行單元)
[0236]15b處理執(zhí)行部(執(zhí)行單元)
[0237]21b發(fā)送部(第一發(fā)送單元)
[0238]21c發(fā)送部(第二發(fā)送單元)
[0239]22b接收部(第一接收單元)
[0240]22c接收部(第二接收單元、第三接收單元)
[0241]22d接收部(第二接收單元)
[0242]71a圖像顯示部(第一顯示單元)
[0243]71b一覽顯示部(第二顯示單元)
[0244]100智能手機(控制裝置) [0245]200服務器(服務器)
[0246]300a清潔機器人(被控制裝置)
[0247]300b電視接收機(控制裝置、被控制裝置)
[0248]300c空調裝置(被控制裝置)
[0249]300d照明裝置(被控制裝置)
[0250]3OOe錄像裝置(被控制裝置)
[0251]400家庭留言板系統(tǒng)(控制系統(tǒng))
【權利要求】
1.一種控制裝置，經由服務器控制被控制裝置，該控制裝置包括: 第一顯示單元，以用戶可選的方式顯示與確定所述被控制裝置的確定信息以及指示該被控制裝置執(zhí)行指定處理的指示信息相對應的圖像；以及 指示單元，在用戶從所述第一顯示單元顯示的圖像中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息發(fā)送給所述服務器，據(jù)此使由與該圖像對應的確定信息確定的被控制裝置執(zhí)行由與該圖像對應的指示信息指示的指定處理。
2.根據(jù)權利要求1所述的控制裝置，其特征在于: 所述指示單元將所述圖像信息發(fā)送給提供能夠在事先登記的用戶之間共享信息的服務的服務器， 所述控制裝置還包括第二顯示單元，所述第二顯示單元按照時間序列的順序一覽顯示至少包含一個由所述指示單元發(fā)送的圖像信息的信息，作為所述用戶之間共享的信息。
3.根據(jù)權利要求2所述的控制裝置，其特征在于還包括: 取得單元，從所述服務器取得由所述被控制裝置執(zhí)行指定處理的結果， 所述第二顯示單元在所述取得單元取得了執(zhí)行的結果的情況下，還在一覽顯示的信息的附近顯示該執(zhí)行的結果。
4.根據(jù)權利要求1至3中任一項所述的控制裝置，其特征在于: 所述指示單元在用戶選擇了多個所述圖像的情況下，將分別表示該圖像的多個圖像信息發(fā)送到所述服務器，由此使由與各個圖像對應的確定信息確定的被控制裝置，依次執(zhí)行由與各個圖像對應的指示信息指示的指定處理。
5.根據(jù)權利要求1至4中任一項所述的控制裝置，其特征在于還包括: 第一判斷單元，判斷所述被控制裝置是否能夠執(zhí)行所述指定處理， 所述第一顯示單元在所述第一判斷單元判斷為不能執(zhí)行的情況下，不顯示與該指定處理對應的圖像。
6.一種服務器，以可通信的方式與權利要求1至5中任一項所述的控制裝置連接，該服務器包括: 第一接收單元，從所述控制裝置接收表示由用戶選擇的圖像的圖像信息；以及第一發(fā)送單元，發(fā)送指示由與所述第一接收單元接收的圖像信息所示的圖像對應的確定信息確定的被控制裝置執(zhí)行所述指定處理的指示信息。
7.一種被控制裝置，經由權利要求6所述的服務器，由權利要求1至5中任一項所述的控制裝置控制，該被控制裝置包括: 第二接收單元，接收指示執(zhí)行指定處理的指示信息；以及 執(zhí)行單元，按照所述第二接收單元接收的指示信息，執(zhí)行所述指定處理。
8.一種控制系統(tǒng),包括: 權利要求1至5中任一項所述的控制裝置； 權利要求6所述的服務器；以及 權利要求7所述的被控制裝置。
9.一種控制裝置的控制方法，該控制裝置經由服務器控制被控制裝置，該控制方法包括: 第一顯示步驟，以用戶可選的方式顯示與確定所述被控制裝置的確定信息以及指示該被控制裝置執(zhí)行指定處理的指示信息相對應的圖像；以及 指示步驟，在用戶從所述第一顯示步驟顯示的圖像中選擇了至少一個圖像的情況下，將表示該圖像的圖像信息發(fā)送給所述服務器，據(jù)此使由與該圖像對應的確定信息確定的被控制裝置執(zhí)行由與該圖像·對應的指示信息指示的指定處理。
【文檔編號】H04N21/235GK103716653SQ201310424630
【公開日】2014年4月9日 申請日期:2013年9月17日 優(yōu)先權日:2012年10月1日
【發(fā)明者】橋浦正樹, 永松孝之 申請人:夏普株式會社