信息搜索方法和裝置制造方法
【專利摘要】本發(fā)明提供一種信息搜索方法和裝置。提供一種基于顯示的圖像的直觀的信息搜索方法和裝置及其計(jì)算機(jī)可讀記錄介質(zhì)。所述基于裝置上顯示的圖像的信息搜索方法包括：識(shí)別指示與圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入；識(shí)別指示選擇的多個(gè)對象之間的搜索關(guān)系的第二輸入；基于第一輸入和第二輸入搜索信息；以及通過所述裝置輸出找到的信息。
【專利說明】信息搜索方法和裝置
[0001]本申請要求于2012年12月14日提交到韓國知識(shí)產(chǎn)權(quán)局的第10-2012-0146408號韓國專利申請的優(yōu)先權(quán)，其公開通過引用完整地包含于此。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明總體構(gòu)思涉及一種信息搜索方法和裝置，更具體地講，涉及一種基于顯示的圖像的信息搜索方法和裝置。
【背景技術(shù)】
[0003]隨著安裝在裝置中的存儲(chǔ)器的容量和使用云服務(wù)器的數(shù)據(jù)存儲(chǔ)量增加，已提出用于迅速而準(zhǔn)確地提供用戶想要的信息的信息搜索方法。
[0004]然而，通?；谟脩舨樵儓?zhí)行傳統(tǒng)的信息搜索方法。因此，需要更容易并且更直觀的信息搜索方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明總體構(gòu)思提供一種基于顯示的圖像的直觀的信息搜索方法和裝置及其計(jì)算機(jī)可讀記錄介質(zhì)。
[0006]本發(fā)明總體構(gòu)思還提供一種基于根據(jù)顯示的圖像選擇的多個(gè)對象之間的搜索關(guān)系的信息搜索方法和裝置及其計(jì)算機(jī)可讀記錄介質(zhì)。
[0007]本發(fā)明總體構(gòu)思還提供一種基于根據(jù)顯示的圖像選擇的多個(gè)對象之間的關(guān)系的服務(wù)提供方法和裝置及其計(jì)算機(jī)可讀記錄介質(zhì)。
[0008]在下面的描述中將會(huì)部分地闡述本發(fā)明總體構(gòu)思的另外的特征和效用，并且這些特征和效用部分地將會(huì)通過描述而變得清楚，或者可通過實(shí)施本發(fā)明總體構(gòu)思了解這些特征和效用。
[0009]可通過提供一種基于裝置上顯示的圖像的信息搜索方法來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述方法包括:識(shí)別指示與圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入；識(shí)別指示選擇的多個(gè)對象之間的搜索關(guān)系的第二輸入；并且基于第一輸入和第二輸入搜索信息；并且通過所述裝置輸出找到的信息。
[0010]選擇的多個(gè)對象之間的搜索關(guān)系可包括以下關(guān)系之一:指示當(dāng)搜索信息時(shí)所述多個(gè)對象之間的關(guān)系具有相同級別的相同層關(guān)系以及指示當(dāng)搜索信息時(shí)所述多個(gè)對象之間的關(guān)系具有聞低級別的聞低層關(guān)系。
[0011]在第二輸入可包括以下基于觸摸的手勢之一的情況下，選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系:指示聚集選擇的多個(gè)對象的基于觸摸的手勢以及指示將選擇的多個(gè)對象移動(dòng)到除所述選擇的多個(gè)對象的顯示位置之外的至少一個(gè)位置的基于觸摸的手勢。
[0012]在第二輸入可包括以下基于觸摸的手勢之一的情況下，選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系:指示將選擇的多個(gè)對象之中排除一個(gè)對象的其余選擇的對象移動(dòng)到排除的一個(gè)對象的顯示位置的基于觸摸的手勢以及指示將選擇的多個(gè)對象中的至少一個(gè)對象移動(dòng)到選擇的多個(gè)對象之一的顯示位置的基于觸摸的手勢。
[0013]基于觸摸的手勢可包括觸摸并拖動(dòng)。
[0014]在選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系的情況下，所述搜索信息的步驟可包括:搜索包括選擇的多個(gè)對象中的全部的信息。在選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系的情況下，所述搜索信息的步驟可包括:根據(jù)選擇的多個(gè)對象之間的高低層關(guān)系搜索信息。
[0015]在選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系的情況下，所述搜索信息的步驟可包括:搜索關(guān)于選擇的多個(gè)對象中的至少一個(gè)對象的信息。在選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系的情況下，所述搜索信息的步驟可包括:根據(jù)選擇的多個(gè)對象之間的聞低層關(guān)系搜索?目息。
[0016]在選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系的情況下，所述搜索信息的步驟可包括:顯示用于選擇包括選擇的多個(gè)對象中的至少一個(gè)對象的信息搜索項(xiàng)和包括選擇的多個(gè)對象中的全部的信息搜索項(xiàng)之一的信息，以及根據(jù)基于顯示的信息選擇的信息搜索項(xiàng)搜索信息。在選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系的情況下，所述搜索信息的步驟可包括:根據(jù)選擇的多個(gè)對象之間的高低層關(guān)系搜索信息。
[0017]第一輸入可包括以下基于觸摸的手勢之一:指示選擇的多個(gè)對象或每個(gè)對象上的長觸摸的基于觸摸的手勢以及指示選擇的多個(gè)對象或每個(gè)對象上的封閉區(qū)域的基于觸摸的手勢。
[0018]所述搜索信息的步驟可包括:顯示根據(jù)第一輸入和第二輸入確定的至少一個(gè)搜索項(xiàng)；以及基于從顯示的至少一個(gè)搜索項(xiàng)選擇的搜索項(xiàng)搜索信息。
[0019]所述方法 可還包括:顯示指示裝置的與第一輸入相關(guān)的識(shí)別的信息。
[0020]指示裝置的與第一輸入相關(guān)的識(shí)別的信息可包括以下信息之一:指示基于選擇的多個(gè)對象或每個(gè)對象的輪廓的封閉區(qū)域的信息、基于基于選擇的多個(gè)對象或每個(gè)對象的輪廓的剪出圖像的信息和基于剪出圖像的多屏幕。
[0021]所述方法可還包括:顯示指示裝置的與第二輸入相關(guān)的識(shí)別的信息。
[0022]可針對所述裝置和連接到所述裝置的至少一個(gè)外部裝置中的至少一個(gè)執(zhí)行所述搜索信息的步驟。
[0023]找到的信息可包括基于圖像的信息和基于文本的信息中的至少一個(gè)。
[0024]還可通過提供一種裝置來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述裝置包括:存儲(chǔ)單元，用于存儲(chǔ)至少一條信息和至少一個(gè)程序；觸摸屏，用于顯示圖像，接收指示與圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入，接收指示選擇的多個(gè)對象之間的搜索關(guān)系的第二輸入，并且顯不基于第一輸入和第二輸入搜索的信息；和處理器，用于基于觸摸屏提供用戶界面，識(shí)別通過觸摸屏接收的第一輸入和第二輸入，根據(jù)第一輸入和第二輸入從存儲(chǔ)單元搜索信息，并且在觸摸屏上輸出找到的信息。
[0025]還可通過提供一種裝置來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述裝置包括:觸摸屏，用于顯示圖像并且接收基于顯示的圖像的用戶輸入；處理器，用于基于觸摸屏提供用戶界面；和存儲(chǔ)單元，用于存儲(chǔ)被構(gòu)造為由處理器執(zhí)行的至少一個(gè)程序和可基于圖像搜索的信息，其中，所述程序包括用于執(zhí)行以下操作的命令，即識(shí)別指示與圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入，識(shí)別指示選擇的多個(gè)對象之間的搜索關(guān)系的第二輸入，搜索基于第一輸入和第二輸入搜索的信息，并且在觸摸屏上輸出找到的信息。
[0026]還可通過提供一種基于顯示的圖像的服務(wù)提供方法來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述方法包括:識(shí)別指示與圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入，識(shí)別指示選擇的多個(gè)對象之間的關(guān)系的第二輸入，顯示基于第一輸入和第二輸入提供的至少一個(gè)服務(wù)項(xiàng)，并且根據(jù)基于顯示的至少一個(gè)服務(wù)項(xiàng)選擇的服務(wù)項(xiàng)執(zhí)行服務(wù)。
[0027]還可通過提供一種存儲(chǔ)一個(gè)或多個(gè)程序的計(jì)算機(jī)可讀記錄介質(zhì)來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述一個(gè)或多個(gè)程序包括用于執(zhí)行基于裝置上顯示的圖像的信息搜索方法的命令語言，其中，以與上述基于裝置上顯示的圖像的信息搜索方法相同的方式執(zhí)行基于裝置上顯示的圖像的信息搜索方法。
[0028]還可通過提供一種存儲(chǔ)一個(gè)或多個(gè)程序的計(jì)算機(jī)可讀記錄介質(zhì)來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述一個(gè)或多個(gè)程序包括用于執(zhí)行基于顯示的圖像的服務(wù)提供方法的命令語言，其中，以與上述基于顯示的圖像的服務(wù)提供方法相同的方式執(zhí)行基于顯示的圖像的服務(wù)提供方法。
[0029]還可通過提供一種用于執(zhí)行信息搜索方法的裝置來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述裝置包括:顯示面板，用于在其屏幕上顯示包括一個(gè)或更多個(gè)對象的圖像；和處理器，被構(gòu)造為控制顯示面板從顯示面板的圖像接收對對象的選擇作為第一輸入，接收選擇的對象的至少一個(gè)位置相對于選擇的對象的另一位置的移動(dòng)作為第二輸入，并且顯示根據(jù)第一輸入和第二輸入搜索到的一個(gè)或多個(gè)圖像。
[0030]顯示面板可根據(jù)在它上面的用戶輸入的存在不同地顯示選擇的對象和未選擇的對象。
[0031]顯示面板可在不同位置顯示選擇的對象的至少一個(gè)位置。
[0032]顯示面板的屏幕可包括:第一屏幕，用于顯示包括對象的圖像；第二屏幕，用于顯示對象的選擇；第三屏幕，用于顯示移動(dòng)的指示；和第四屏幕，用于顯示所述一個(gè)或更多個(gè)搜索到的圖像。
[0033]顯示面板可根據(jù)與顯示面板的用戶交互顯示第二屏幕和第三屏幕。顯示面板可在沒有與顯示面板的用戶交互的情況下根據(jù)處理器的操作顯示第一屏幕和第四屏幕。
[0034]第二屏幕可包括第一屏幕。
[0035]第二屏幕可不同于第一屏幕。
[0036]第三屏幕可包括第一屏幕和第二屏幕。
[0037]第三屏幕可不同于第一屏幕和第二屏幕。
[0038]還可通過提供一種基于顯示的圖像的信息搜索方法來實(shí)現(xiàn)本發(fā)明總體構(gòu)思的前述和/或其它特征和效用，所述方法包括:在顯示面板的屏幕上顯示包括一個(gè)或更多個(gè)對象的圖像，從顯示面板的圖像接收對對象的選擇作為第一輸入，接收選擇的對象的至少一個(gè)位置相對于選擇的對象的另一位置的移動(dòng)作為第二輸入，并且顯示根據(jù)第一輸入和第二輸入搜索到的一個(gè)或更多個(gè)圖像。
【專利附圖】

【附圖說明】
[0039]通過下面結(jié)合附圖對實(shí)施例進(jìn)行的描述，本發(fā)明總體構(gòu)思的這些和/或其它特征和效用將會(huì)變得清楚并且更容易理解，其中:
[0040]圖1A是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的裝置的框圖；
[0041]圖1B示出存儲(chǔ)在圖1A的裝置的存儲(chǔ)單元中并且根據(jù)模塊分類的程序和/或命令集的示例；
[0042]圖2是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的流程圖；
[0043]圖3示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的在基于圖像的信息搜索方法中輸入第一輸入的屏幕不例；
[0044]圖4示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的在基于圖像的信息搜索方法中輸入第二輸入的屏幕示例；
[0045]圖5示出根據(jù)本發(fā)明總體構(gòu)思的另一實(shí)施例的在基于圖像的信息搜索方法中輸入第二輸入的屏幕示例；
[0046]圖6示出與圖5的第二輸入的屏幕示例對應(yīng)的圖像的屏幕示例；
[0047]圖7至圖9示出第一輸入、第二輸入和找到的信息的屏幕示例；
[0048]圖10是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的流程圖；
[0049]圖11至圖13示出圖10的顯示通過識(shí)別第一輸入而獲得的結(jié)果信息的屏幕示例；
[0050]圖14是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的流程圖；
[0051]圖15示出根據(jù)圖14的流程圖顯示的屏幕示例；
[0052]圖16示出顯示多個(gè)搜索項(xiàng)的屏幕示例；
[0053]圖17是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的裝置的框圖；
[0054]圖18是示出用于連接圖1和圖17的裝置的網(wǎng)絡(luò)的框圖；和
[0055]圖19是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的服務(wù)提供方法的流程圖。
【具體實(shí)施方式】
[0056]因?yàn)楸景l(fā)明允許各種變化和許多實(shí)施例，所以將會(huì)在附圖中示出并且在書面描述中詳細(xì)描述特定實(shí)施例。然而，這并不意圖使本發(fā)明總體構(gòu)思局限于特定實(shí)施方式，并且將會(huì)理解，不脫離本發(fā)明總體構(gòu)思的精神和技術(shù)范圍的所有變化、等同物和替換物被包括在本發(fā)明總體構(gòu)思中。在本發(fā)明總體構(gòu)思的描述中，當(dāng)認(rèn)為相關(guān)技術(shù)的某些詳細(xì)解釋可能不必要地模糊本發(fā)明總體構(gòu)思的本質(zhì)時(shí),省略相關(guān)技術(shù)的某些詳細(xì)解釋。
[0057]現(xiàn)在將對本發(fā)明總體構(gòu)思的實(shí)施例進(jìn)行詳細(xì)的描述，其示例表示在附圖中，其中，相同的標(biāo)號始終表示相同元件。以下在參照附圖的同時(shí)對實(shí)施例進(jìn)行描述以解釋本發(fā)明總體構(gòu)思。
[0058]諸如“第一”和“第二”的術(shù)語在這里僅用于描述各種組成元件，但組成元件不受到這些術(shù)語的限制。這些術(shù)語僅用于區(qū)分一個(gè)組成元件與另一組成元件。
[0059]這里使用的多數(shù)術(shù)語是在本發(fā)明總體構(gòu)思所屬【技術(shù)領(lǐng)域】中廣泛使用的一般術(shù)語。然而，可創(chuàng)建這里使用的一些術(shù)語以反映本領(lǐng)域技術(shù)人員的意圖、先例或新技術(shù)。此外，這里使用的一些術(shù)語可由本 申請人:任意選擇。在這種情況下，在以下詳細(xì)定義這些術(shù)語。因此，應(yīng)該基于這里使用的特定術(shù)語的獨(dú)一無二的含義和本發(fā)明總體構(gòu)思的整個(gè)上下文理解這里使用的特定術(shù)語。
[0060]如這里所使用，除非上下文清楚地另外指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式。還將會(huì)理解，當(dāng)在本說明書中使用時(shí)，術(shù)語“包含”或“包括”指定存在所陳述的特征、整數(shù)、步驟、操作、元件、部件和/或其組合，但不排除存在或添加一個(gè)或多個(gè)其它特征、整數(shù)、步驟、操作、元件、部件和/或其組合。
[0061]在本說明書中，術(shù)語“輸入”可用于表示作為基于觸摸的輸入的用戶輸入。基于觸摸的輸入可包括用戶請求、用戶選擇(例如，圖像上的多個(gè)對象的選擇)或用戶命令(例如，用于設(shè)置多個(gè)選擇的對象之間的搜索關(guān)系的命令)，但不限于此。基于觸摸的輸入可取決于基于觸摸的用戶手勢?；谟|摸的用戶手勢可包括例如輕敲(或觸摸)、長敲(或長觸摸)、觸摸并握住、觸摸并拖動(dòng)、雙敲、拖動(dòng)、平移、輕彈、拖動(dòng)并放下、清掃等，但不限于此。
[0062]輸入不限于上述基于觸摸的用戶手勢。例如，輸入可被定義為基于運(yùn)動(dòng)的輸入或基于視覺的輸入。
[0063]基于運(yùn)動(dòng)的輸入可基于由用戶執(zhí)行的基于裝置運(yùn)動(dòng)的用戶手勢(例如，裝置搖晃、裝置敲擊等)。例如，將稍后在實(shí)施例中描述的選擇的對象之間的搜索關(guān)系可根據(jù)裝置搖晃模式或方向而被設(shè)置為高低層關(guān)系或相同層關(guān)系。用于將選擇的對象之間的搜索關(guān)系設(shè)置為高低層關(guān)系或相同層關(guān)系的裝置搖晃模式或方向可被預(yù)先設(shè)置。例如，在裝置被上下?lián)u晃的情況下，基于運(yùn)動(dòng)的輸入被預(yù)先以這種方式定義，即選擇的對象之間的搜索關(guān)系可被設(shè)置為高低層關(guān)系。對象之間的高低層關(guān)系可被稱為對象之間的父子層關(guān)系。 [0064]基于視覺的輸入可基于通過在不接觸裝置的情況下經(jīng)由使用照相機(jī)獲得的輸入圖像的分析而識(shí)別的用戶手勢。例如，將稍后在實(shí)施例中描述的選擇的對象之間的搜索關(guān)系可通過經(jīng)由使用照相機(jī)獲得的輸入圖像的分析而被設(shè)置為獨(dú)立關(guān)系或從屬關(guān)系，用戶輸入包括用戶空間手勢(例如，利用手指一起做出的空間手勢)，諸如基于觸摸的用戶手勢。用于將選擇的對象之間的搜索關(guān)系設(shè)置為獨(dú)立關(guān)系或從屬關(guān)系的用戶空間手勢可被預(yù)先設(shè)置。
[0065]現(xiàn)在將參照附圖更充分地描述本發(fā)明總體構(gòu)思，在附圖中示出本發(fā)明總體構(gòu)思的示例性實(shí)施例。
[0066]如這里所使用，術(shù)語“和/或”包括關(guān)聯(lián)的列出項(xiàng)目中的一項(xiàng)或多項(xiàng)的任何組合和所有組合。當(dāng)諸如“…中的至少一個(gè)”的表達(dá)方式位于一列元件之后時(shí)，其修飾整列元件而非修飾列出的單個(gè)元件。
[0067]圖1A是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的裝置100的框圖。圖1A的裝置100的示例可包括智能電話、智能TV、個(gè)人計(jì)算機(jī)(PC)、桌上型計(jì)算機(jī)、智能板、平板PC、移動(dòng)裝置、手提裝置或手提計(jì)算機(jī)、媒體播放器、電子書終端、個(gè)人數(shù)字助手(PDA)、能夠輸入基于觸摸的用戶輸入的數(shù)字照相機(jī)、數(shù)字消費(fèi)電子(CE)裝置(例如，具有顯示圖像并輸入基于觸摸的用戶手勢的功能的設(shè)備)等，但不限于此。
[0068]裝置100包括信息輸入單元101、感測單元102、觸摸屏103、照相機(jī)104、音頻輸入單元105、音頻輸出單元106、存儲(chǔ)單元107、無線通信單元108、有線通信單元109、處理器110和供電單元111。然而，裝置100的構(gòu)造不限于圖1A中示出的構(gòu)造。也就是說，裝置100可根據(jù)設(shè)計(jì)或用戶偏好而包括與圖1的元件相比更多或更少的元件。
[0069]信息輸入單元101可接收用于控制裝置100的操作的輸入數(shù)據(jù)和可用于請求根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的執(zhí)行的信息，但不限于此。信息輸入單元101可包括鍵區(qū)、薄膜開關(guān)、滾輪、撥動(dòng)開關(guān)、硬件按鈕、熱鍵、觸摸板等，但不限于此。
[0070]感測單元102可感測裝置100的當(dāng)前狀態(tài)，諸如裝置100的位置(不管是否存在與裝置100的用戶接觸)、裝置100的移動(dòng)、裝置100的方向、裝置100的加速或減速等，并可產(chǎn)生用于控制裝置100的操作的感測信號。感測單元102可包括接近傳感器和運(yùn)動(dòng)傳感器。感測單元102可產(chǎn)生識(shí)別基于傳感器的用戶手勢的信號。
[0071]接近傳感器是用于在沒有實(shí)際物理觸摸的情況下通過使用電磁場的力或紅外線來檢測物體是否接近預(yù)先設(shè)置的檢測表面或者物體是否存在于附近的傳感器。接近傳感器的不例包括透明光電傳感器、直接反射光電傳感器、鏡反射光電傳感器、高頻振蕩光電傳感器、電容光電傳感器、磁光電傳感器、紅外光電傳感器等。
[0072]觸摸屏103可被構(gòu)造為電阻觸摸屏或電容觸摸屏，但不限于此。觸摸屏103可包括取決于上述基于用戶觸摸的手勢的用戶請求、用戶選擇或用戶命令?；谟脩粲|摸的手勢可被定義為觸摸頻率、觸摸模式、觸摸面積和觸摸密度的各種組合，但不限于此。觸摸屏103可包括用于感測觸摸屏103的觸摸或接近觸摸的各種傳感器。觸摸屏103中所包括的傳感器可產(chǎn)生感測上述基于觸摸的用戶手勢或模式的信號?？膳c觸摸屏103—起使用的接近傳感器可與感測單元102中所包括的接近傳感器相同。
[0073]用于感測觸摸屏103的觸摸的傳感器的示例可包括觸覺傳感器。觸覺傳感器可感測各種類型的信息，諸如觸摸表面的粗糙度、觸摸物體的硬度、在觸摸點(diǎn)的溫度等。接近傳感器是用于在沒有實(shí)際物理觸摸的情況下通過使用電磁場的力或紅外線來檢測物體是否接近預(yù)先設(shè)置的檢測表面或者物體是否存在于附近的傳感器。接近傳感器的示例包括透明光電傳感器、直接反射光電傳感器、鏡反射光電傳感器、高頻振蕩光電傳感器、電容光電傳感器、磁光電傳感器、紅外光電傳感器等。
[0074]觸摸屏103的觸摸可以是由指示器對觸摸面板的觸摸。觸摸屏103的接近觸摸可以是指示器的移動(dòng)，也就是說，未實(shí)際觸摸觸摸面板，但接近觸摸面板至預(yù)定距離內(nèi)。指示器是可用于觸摸或接近觸摸觸摸屏103的特定部分的工具。指示器的示例可包括觸控筆、用戶的手指等，但不限于此。
[0075]觸摸屏103顯示由裝置100處理的信息。例如，觸摸屏103可顯示通過觸摸屏103中所包括的傳感器感測的用戶手勢或觸摸模式、通過信息輸入單元101輸入的控制數(shù)據(jù)或用戶輸入信息或者與通過感測單元102感測的信號對應(yīng)的屏幕。
[0076]照相機(jī)104處理在圖像呼叫模式或拍攝模式下由圖像傳感器(或光電傳感器)獲得的圖像幀，諸如靜止圖像或運(yùn)動(dòng)圖像。處理的圖像幀可被顯示在觸摸屏103上。因此，可基于由照相機(jī)104獲得的靜止圖像或運(yùn)動(dòng)圖像中所包括的圖像幀執(zhí)行根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法。
[0077]由照相機(jī)104處理的圖像幀可被存儲(chǔ)在存儲(chǔ)單元107中或者通過無線通信單元108或有線通信單元109被發(fā)送到其外部。照相機(jī)104的圖像幀可以是可在處理器110中用于執(zhí)行基于圖像的信息搜索方法的圖像。根據(jù)裝置100的構(gòu)造，照相機(jī)104的數(shù)量可以是兩個(gè)或者更多。照相機(jī)104可被用作用于識(shí)別用戶空間手勢的輸入設(shè)備。
[0078]音頻輸入單元105可在呼叫模式、錄音模式或語音識(shí)別模式下接收外部聲信號的輸入，將聲信號轉(zhuǎn)換成電語音數(shù)據(jù)，并且將電語音數(shù)據(jù)發(fā)送給處理器110。音頻輸入單元105可被構(gòu)造為例如麥克風(fēng)。音頻輸入單元105可被構(gòu)造為包括各種噪聲去除算法以去除在用于接收外部聲信號的輸入的處理期間產(chǎn)生的噪聲。
[0079]通過使用音頻輸入單元105輸入的聲信號可包括可用于請求根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的執(zhí)行的用戶輸入信息。在聲信號是自然語言用戶輸入信息的情況下，聲信號可被稱為基于語音識(shí)別的用戶輸入。通過音頻輸入單元105輸入的外部聲信號可通過處理器110而被存儲(chǔ)在存儲(chǔ)單元107中或者通過處理器110和無線通信單元108或通過處理器110和有線通信單元109被發(fā)送到其外部。
[0080]音頻輸出單元106在呼叫模式或音頻再現(xiàn)模式下輸出從其外部接收或從存儲(chǔ)單元107讀取的聲信號或音頻信號。音頻輸出單元106可被構(gòu)造為揚(yáng)聲器。如果音頻信號被包括在再現(xiàn)的內(nèi)容中，則音頻輸出單元106輸出再現(xiàn)的內(nèi)容中所包括的音頻信號。音頻輸入單元105和音頻輸出單元106可被集成地形成在單一單元(例如，頭戴式耳機(jī))內(nèi)。
[0081]存儲(chǔ)單元107可包括將在稍后描述的被構(gòu)造為在處理器110中執(zhí)行的至少一個(gè)程序和/或命令集和資源。所述至少一個(gè)程序包括用于執(zhí)行根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的至少一個(gè)程序、裝置100的操作系統(tǒng)程序、與由裝置100執(zhí)行的各種功能(或服務(wù))相關(guān)的應(yīng)用程序和用于驅(qū)動(dòng)裝置100中所包括的硬件部件的程序，但不限于此。
[0082]資源可包括可基于第一輸入和第二輸入搜索的信息?？伤阉鞯男畔⒖砂ɑ趫D像的信息和基于文本的信息中的至少一個(gè)。例如，可搜索的信息可包括:一個(gè)或多個(gè)包括選擇的對象中的一個(gè)或多個(gè)中的全部的圖像或文本、包括多個(gè)選擇的對象中的至少一個(gè)選擇的對象的圖像或文本和關(guān)于可根據(jù)第二輸入選擇的搜索項(xiàng)的文本信息，但不限于此。
[0083]根據(jù)第一輸入和第二輸入確定關(guān)于可選擇的搜索項(xiàng)的文本信息。將參照將在稍后描述的屏幕不例更詳細(xì)地描述關(guān)于根據(jù)第一輸入和第二輸入確定的搜索項(xiàng)的文本信息的示例。
[0084]資源還可包括裝置100的用戶信息、操作裝置100中的應(yīng)用程序集所需的信息和執(zhí)行用于驅(qū)動(dòng)上述硬件部件的程序所需的信息，但不限于此。
[0085]存儲(chǔ)單元107可包括以下的至少一個(gè)存儲(chǔ)介質(zhì):閃存、硬盤型存儲(chǔ)器、多媒體卡微型存儲(chǔ)器、卡型存儲(chǔ)器(例如，SD存儲(chǔ)器、XD存儲(chǔ)器等)、隨機(jī)存取存儲(chǔ)器(RAM)、靜態(tài)RAM(SRAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、可編程ROM(PROM)、磁存儲(chǔ)器和光盤。然而，本發(fā)明總體構(gòu)思不限于此。存儲(chǔ)單元107可包括例如易失性存儲(chǔ)單元或非易失性存儲(chǔ)單元的存儲(chǔ)單元。
[0086]存儲(chǔ)在存儲(chǔ)單元107中的所述至少一個(gè)程序和/或命令集可根據(jù)對應(yīng)功能而被分類為多個(gè)模塊。
[0087]圖1B示出存儲(chǔ)在存儲(chǔ)單元107中并且根據(jù)模塊分類的程序和/或命令集的示例。參照圖1B，存儲(chǔ)單元107可包括操作系統(tǒng)107-1、無線通信模塊107-2、有線通信模塊107-3、圖形模塊107-4、全球定位系統(tǒng)(GPS)模塊107-5、用戶界面(UI)模塊107-6、感測模塊107-7、接觸和運(yùn)動(dòng)模塊107-8、供電模塊107-9和應(yīng)用模塊107-10，但不限于此。
[0088]應(yīng)用模塊107-10包括圖像再現(xiàn)模塊107-11、信息搜索模塊107-12和照相機(jī)模塊107-13，但不限于此。例如，應(yīng)用模塊107-10可包括各種模塊，諸如電子郵件模塊、社交聯(lián)網(wǎng)服務(wù)(SNS)模塊、視頻會(huì)議模塊、圖像管理模塊、瀏覽模塊、日歷模塊、微件模塊、搜索模塊、Word文檔準(zhǔn)備模塊等。
[0089]操作系統(tǒng)107-1控制并管理裝置100的一般功能，并且包括能夠?qū)崿F(xiàn)裝置100中所包括的硬件部件和軟件部件之間的通信的軟件部件。
[0090]無線通信模塊107-2可包括能夠通過無線通信單元108實(shí)現(xiàn)與至少一個(gè)外部裝置(未示出)的通信并且處理通過無線通信單元108從至少一個(gè)外部裝置接收的數(shù)據(jù)以及發(fā)送給至少一個(gè)外部裝置的數(shù)據(jù)的軟件部件。所述至少一個(gè)外部裝置可包括云服務(wù)器和靠近裝置100或可有線連接到裝置100或可無線連接到裝置100的裝置中的至少一個(gè)。
[0091]當(dāng)搜索信息并且從外部裝置接收找到的信息時(shí)，根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的無線通信模塊107-2可向外部裝置請求信息搜索。
[0092]有線通信模塊107-3包括這樣的軟件部件:能夠?qū)崿F(xiàn)外部裝置(未示出)和有線通信單元109(被構(gòu)造為諸如通用串行總線(USB)的元件)之間的通信以及通過無線通信單元108從至少一個(gè)外部裝置接收的數(shù)據(jù)和發(fā)送給至少一個(gè)外部裝置的數(shù)據(jù)的處理。
[0093]圖形模塊107-4包括用于觸摸屏103上顯示的圖形的亮度調(diào)整和渲染的軟件部件和用于提供虛擬鍵盤(或軟鍵盤)以在應(yīng)用模塊107-10中輸入文本的軟件部件。
[0094]GPS模塊107-5包括用于確定裝置100的位置并且將確定的位置提供給提供基于位置的服務(wù)的應(yīng)用的軟件部件。Π模塊107-6包括用于提供提供基于觸摸屏103的Π信息的應(yīng)用所需的Π的軟件部件。
[0095]感測模塊107-7包括用于將感測單元102的感測信息確定為基于感測單元的感測信息并且將基于確定的感測信息的服務(wù)提供給應(yīng)用模塊107-10的軟件部件。接觸和運(yùn)動(dòng)模塊107-8包括用于檢測觸摸屏103的觸摸接觸作為基于觸摸屏的觸摸接觸、跟蹤基于接觸的運(yùn)動(dòng)并且將跟蹤的運(yùn)動(dòng)提供給需要跟蹤的運(yùn)動(dòng)的應(yīng)用模塊107-10的軟件部件。
[0096]供電模塊107-9包括用于與操作系統(tǒng)107-1鏈接、控制對裝置100中所包括的硬件部件的供電并且針對提供給觸摸屏103的電力控制休眠模式的軟件部件。
[0097]應(yīng)用模塊107-10中所包括的模塊的功能可由用戶從其標(biāo)題直觀地推斷，因此，現(xiàn)在將僅描述與本發(fā)明總體構(gòu)思的實(shí)施例相關(guān)的應(yīng)用模塊107-10。
[0098]例如，當(dāng)執(zhí)行圖像再現(xiàn)模塊107-11以在觸摸屏103上顯示圖像(或單一圖像)時(shí)，執(zhí)行信息搜索模塊107-12以執(zhí)行基于顯示的圖像的信息搜索服務(wù)。在執(zhí)行基于顯示的圖像的信息搜索服務(wù)之后，如果根據(jù)由接觸和運(yùn)動(dòng)模塊107-8和/或感測模塊107-7感測的信息識(shí)別了上述第一輸入和第二輸入，則基于識(shí)別的第一輸入和第二輸入從通過存儲(chǔ)單元
107、無線通信單元108和有線通信單元109連接的至少一個(gè)外部裝置(未示出)中的至少一個(gè)搜索信息。
[0099]如果找到搜索的信息，則信息搜索模塊107-12將找到的信息輸出到觸摸屏103。UI模塊107-6可在觸摸屏103上顯不找到的信息,并且在第一輸入和第二輸入被識(shí)別時(shí),在觸摸屏103上輸出識(shí)別的結(jié)果信息。
[0100]基于第一輸入和第二輸入處理的術(shù)語“搜索”可被稱為用戶和裝置100之間的交互。也就是說，第一輸入的識(shí)別可被定義為關(guān)于多個(gè)對象的選擇的用戶和裝置100之間的交互，第二輸入的識(shí)別可被定義為關(guān)于多個(gè)對象之間的搜索關(guān)系的用戶和裝置100之間的交互，并且觸摸屏103上的找到的信息的顯示可被稱為搜索交互。例如，裝置100能夠從觸摸屏103接收用戶輸入并且將接收的用戶輸入識(shí)別為第一輸入，然后，裝置100能夠在第一輸入被識(shí)別時(shí)從觸摸屏103接收另一用戶輸入并且將接收的另一用戶輸入識(shí)別為第二輸入。
[0101]圖1A的存儲(chǔ)單元107可不存儲(chǔ)圖1B的程序和/或命令集之中的應(yīng)用模塊107-10中所包括的模塊。替代地，存儲(chǔ)單元107可僅存儲(chǔ)位置信息(諸如，應(yīng)用模塊107-10的統(tǒng)一資源定位器(URL)或可指示應(yīng)用模塊107-10的顯示信息。在存儲(chǔ)單元107不存儲(chǔ)應(yīng)用模塊107-10中所包括的模塊的情況下，處理器110可通過無線通信單元108或有線通信單元109訪問外部裝置并且使用與應(yīng)用模塊107-10對應(yīng)并且存儲(chǔ)在該外部裝置中的程序和/或命令集。
[0102]在存儲(chǔ)單元107僅存儲(chǔ)應(yīng)用模塊107-10的位置信息或可指示應(yīng)用模塊107-10的顯示信息的情況下，處理器110可通過使用與用戶選擇信號對應(yīng)的應(yīng)用的位置信息或在觸摸屏103上顯示的用于指示應(yīng)用模塊107-10的顯示信息通過無線通信單元108或有線通信單元109搜索存儲(chǔ)在外部裝置中的信息。
[0103]無線通信單元108可經(jīng)無線網(wǎng)絡(luò)(諸如，無線互聯(lián)網(wǎng)、無線以太網(wǎng)、無線電話網(wǎng)絡(luò)、無線局域網(wǎng)(LAN)、W1-Fi網(wǎng)絡(luò)、W1-Fi直連(WFD)網(wǎng)絡(luò)、3G網(wǎng)絡(luò)、4G長期演進(jìn)(LTE)網(wǎng)絡(luò)、藍(lán)牙網(wǎng)絡(luò)、紅外數(shù)據(jù)協(xié)會(huì)(IrDA)網(wǎng)絡(luò)、射頻識(shí)別(RFID)網(wǎng)絡(luò)、超寬帶(UWB)網(wǎng)絡(luò)和Zigbee網(wǎng)絡(luò))將數(shù)據(jù)發(fā)送給外部裝置以及從外部裝置接收數(shù)據(jù)。
[0104]無線通信單元108可包括廣播接收模塊、移動(dòng)通信模塊、無線互聯(lián)網(wǎng)模塊、有線互聯(lián)網(wǎng)模塊、短距離通信模塊和位置信息模塊中的至少一個(gè)，但不限于此。
[0105]有線通信單元109可經(jīng)有線網(wǎng)絡(luò)(諸如，有線互聯(lián)網(wǎng))將數(shù)據(jù)發(fā)送給外部裝置以及從外部裝置接收數(shù)據(jù)。有線通信單元109可通過使用即插即用接口(諸如，USB端口(未示出))來與外部裝置發(fā)送數(shù)據(jù)和接收數(shù)據(jù)。有線通信單元109可以不是裝置100的元件。
[0106]供電單元111向裝置100中所包括的硬件部件供電。供電單元111包括至少一個(gè)電源，諸如電池和交流(AC)電源。裝置100可不包括供電單元111并且可包括可連接到外部供電單元(未示出)的連接單元(未示出)。
[0107]處理器110可被稱為控制裝置100的一般操作的一個(gè)或多個(gè)處理器。處理器110可通常通過存儲(chǔ)在存儲(chǔ)單元107中的操作系統(tǒng)107-1和模塊107-2至107-13控制信息輸入單元101、感測單元102、觸摸屏103、照相機(jī)104、音頻輸入單元105、音頻輸出單元106、存儲(chǔ)單元107、無線通信單元108、有線通信單元109和供電單元111。因此，處理器110可被稱為控制器、微處理器、數(shù)字信號處理器等。
[0108]處理器110可通過使用操作系統(tǒng)107-1、UI模塊107_6、信息輸入單元101、感測單元102、觸摸屏103、照相機(jī)104和音頻輸入單元105來提供用戶界面。
[0109]處理器110可執(zhí)行與根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法相關(guān)的至少一個(gè)程序，并且執(zhí)行如圖2、圖10和圖14的流程圖中所示的方法，將在稍后對此進(jìn)行描述。處理器110可通過從存儲(chǔ)單元107讀取程序或者從通過無線通信單元108或有線通信單元109連接的外部裝置下載程序來執(zhí)行該程序。在這個(gè)方面，外部裝置可被稱為應(yīng)用提供服務(wù)器或應(yīng)用市場服務(wù)器。外部裝置可包括云服務(wù)器或靠近裝置100的可通信的裝置。外部裝置可以是與裝置100相似或相同的另一裝置。處理器110可被理解為包括接口功能單元，所述接口功能單元在裝置100中所包括的各種硬件部件及其處理器110之間進(jìn)行交互。
[0110]圖2是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的流程圖。圖2的基于圖像的信息搜索方法可由圖1A的處理器110執(zhí)行。
[0111]參照圖2，在操作S201，處理器110識(shí)別指示與觸摸屏103上顯示的圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入。
[0112]圖3示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的在基于圖像的信息搜索方法中輸入第一輸入的屏幕示例。參照圖3，屏幕310是這樣的例子:通過觸摸觸摸屏103上顯示的圖像310a中所包括的多個(gè)對象310al和310a2來輸入第一輸入。這里，在比參考時(shí)間段長的時(shí)間段期間，觸摸可被稱為長觸摸。因此，處理器Iio識(shí)別對與屏幕310上顯示的圖像310a上的觸摸點(diǎn)對應(yīng)的對象310al和310a2的選擇。觸摸點(diǎn)可被稱為比參考觸摸點(diǎn)長的觸摸點(diǎn)。指示多個(gè)對象的選擇的基于觸摸的用戶手勢不限于上述長觸摸，并且多個(gè)對象310al和310a2的選擇可不同時(shí)進(jìn)行。還可以同時(shí)選擇對象。還可以獨(dú)立地選擇對象。當(dāng)獨(dú)立地進(jìn)行選擇時(shí)，可在相對于第一對象的第一選擇的參考時(shí)間段內(nèi)進(jìn)行第二對象的第二選擇。還可以從對應(yīng)屏幕上顯示的不同圖像選擇對象。處理器110可將對象的選擇識(shí)別為第一輸入。
[0113]參照圖3，屏幕320是這樣的例子:通過用于設(shè)置觸摸屏103上顯示的圖像320a的多個(gè)對象320al和320a2中的每個(gè)對象的圓形封閉區(qū)域的用戶手勢來輸入第一輸入。用于設(shè)置圓形封閉區(qū)域的用戶手勢不限于屏幕320上示出的用戶手勢。也就是說，用于設(shè)置圓形封閉區(qū)域的用戶手勢可包括包括將要被選擇的對象的正方形或三角形用戶手勢。圓形封閉區(qū)域可不必被設(shè)置為使開始點(diǎn)和結(jié)束點(diǎn)相交，并且可包括指示開始點(diǎn)和結(jié)束點(diǎn)之間的接合的用戶手勢。用戶手勢可以是用于形成指示對象的線的手勢。還可以同時(shí)選擇對象。還可以獨(dú)立地選擇對象。當(dāng)獨(dú)立地進(jìn)行選擇時(shí)，可在相對于第一對象的第一選擇的參考時(shí)間段內(nèi)進(jìn)行第二對象的第二選擇。還可以從對應(yīng)屏幕上顯示的不同圖像選擇對象。處理器110可將以上或以下描述的對象的選擇識(shí)別為第一輸入。
[0114]在操作S202，處理器110識(shí)別指示基于觸摸屏103上顯示的圖像選擇的多個(gè)對象之間的搜索關(guān)系的第二輸入。
[0115]圖4示出根據(jù)本發(fā)明的實(shí)施例的在基于圖像的信息搜索方法中輸入第二輸入的屏幕示例。在圖4中，第二輸入被用于將在搜索信息時(shí)選擇的多個(gè)對象之間的搜索關(guān)系設(shè)置為相同層關(guān)系。
[0116]參照圖4，屏幕401是通過用于聚集多個(gè)選擇的對象以使聚集的對象被放置在一個(gè)地方的基于觸摸的用戶手勢的第二輸入的示例。也就是說，屏幕401示出:輸入指示單一圖像中所包括的五個(gè)對象的選擇的第一輸入(例如，長觸摸)，然后，通過將輸入第一輸入的點(diǎn)拖動(dòng)到顯示的圖像中的點(diǎn)來輸入第二輸入以將選擇的五個(gè)對象之間的搜索關(guān)系設(shè)置為相同層關(guān)系。
[0117]在這個(gè)方面，雖然第二輸入可被定義為在輸入第一輸入之后在保持觸摸狀態(tài)的同時(shí)連續(xù)地執(zhí)行上述拖動(dòng)，但第二輸入可被定義為觸摸輸入第一輸入的點(diǎn)并且將該點(diǎn)拖動(dòng)到上述一個(gè)點(diǎn)的觸摸并拖動(dòng)。在重新觸摸輸入第一輸入的點(diǎn)的情況下，可能發(fā)生關(guān)于觸摸點(diǎn)的前一 X和y坐標(biāo)與當(dāng)前X和y坐標(biāo)之間的誤差。然而，如果當(dāng)前X和y坐標(biāo)位于同一對象的顯示區(qū)域內(nèi)，則可忽略上述誤差。從屏幕401可以看出，屏幕401上的點(diǎn)可被定義為與五個(gè)對象對應(yīng)的五個(gè)手指可相交在一起的點(diǎn)。
[0118]參照圖4，屏幕402是通過用于將多個(gè)選擇的對象移動(dòng)到除所述多個(gè)對象的顯示位置之外的位置的基于觸摸的用戶手勢的第二輸入的示例。也就是說，屏幕402示出:輸入指示單一圖像中所包括的五個(gè)對象的選擇的第一輸入，然后，通過輸入用于將輸入第一輸入的點(diǎn)向該點(diǎn)下方拖動(dòng)預(yù)定長度的第二輸入而選擇的五個(gè)對象之間的搜索關(guān)系被設(shè)置為相同層關(guān)系。
[0119]關(guān)于圖4的屏幕402，如參照屏幕401所述，雖然第二輸入可被定義為在輸入第一輸入之后在保持觸摸狀態(tài)的同時(shí)連續(xù)地執(zhí)行上述拖動(dòng)操作，但第二輸入可被定義為包括觸摸輸入第一輸入的點(diǎn)并且從該點(diǎn)將該點(diǎn)向下拖動(dòng)預(yù)定長度的觸摸并拖動(dòng)。
[0120]參照圖4，屏幕403是通過用于通過將多個(gè)選擇的對象移動(dòng)到除所述多個(gè)對象的顯示位置之外的位置來移動(dòng)觸摸點(diǎn)的基于觸摸的用戶手勢的第二輸入的示例，如參照屏幕402所述。關(guān)于屏幕403，通過從輸入第一輸入的點(diǎn)將該點(diǎn)向上拖動(dòng)預(yù)定長度來輸入第二輸入。
[0121]參照圖4，屏幕404是通過用于聚集選擇的兩個(gè)對象以使聚集的對象被放置在單個(gè)點(diǎn)的基于觸摸的用戶手勢的第二輸入的示例。屏幕404上的單個(gè)點(diǎn)可被定義為選擇兩個(gè)對象的手指相交在一起的點(diǎn)或者所述對象被布置為重疊的點(diǎn)。第二輸入可以不是所述對象真正地被布置為重疊的輸入，而是第二輸入可以是表示所述對象的重疊的用戶手勢。
[0122]參照圖4，屏幕405是通過用于通過從輸入第一輸入的點(diǎn)移動(dòng)兩個(gè)選擇的對象來向內(nèi)移動(dòng)觸摸點(diǎn)的基于觸摸的用戶手勢的第二輸入的示例。可在參照屏幕402和403描述的預(yù)定距離內(nèi)設(shè)置向內(nèi)移動(dòng)距離。
[0123]參照圖4，屏幕406是通過用于通過從輸入第一輸入的點(diǎn)移動(dòng)選擇的兩個(gè)對象來在預(yù)定長度內(nèi)向外移動(dòng)觸摸點(diǎn)的基于觸摸的用戶手勢的第二輸入的示例。
[0124]圖4示出用于輸入第二輸入的對象的移動(dòng)，并且將在稍后解釋的圖5可涉及移動(dòng)圖像上顯示的多個(gè)對象的顯示位置。然而，上述移動(dòng)可不涉及對象的顯示位置的實(shí)際移動(dòng)，而是可涉及移動(dòng)圖像上的觸摸點(diǎn)。
[0125]圖5示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的在基于圖像的信息搜索方法中輸入第二輸入的屏幕示例。圖5的第二輸入可用于將在搜索信息時(shí)選擇的多個(gè)對象之間的搜索關(guān)系設(shè)置為高低層關(guān)系。
[0126]圖5的屏幕501是通過用于將五個(gè)選擇的對象中的四個(gè)對象移動(dòng)到五個(gè)選擇的對象之一的顯示位置的基于觸摸的用戶手勢的第二輸入的示例。在這種情況下，所述一個(gè)選擇的對象可取決于其它四個(gè)選擇的對象。
[0127]圖5的屏幕502是通過用于從兩個(gè)選擇的對象之一的顯示位置移動(dòng)到另一選擇的對象的顯示位置的基于觸摸的用戶手勢的第二輸入的示例。在這種情況下，所述另一選擇的對象可取決于所述一個(gè)選擇的對象。
[0128]在圖2的操作S203，處理器110基于觸摸屏103上顯示的圖像識(shí)別第一輸入和第二輸入并且基于第一輸入和第二輸入搜索信息。也就是說，處理器110檢測根據(jù)識(shí)別的第一輸入選擇的對象。通過基于觸摸點(diǎn)檢測選擇的對象的輪廓來檢測選擇的對象，但不限于此。如果檢測到選擇的對象，則處理器110根據(jù)根據(jù)第二輸入選擇的多個(gè)對象之間的搜索關(guān)系確定搜索方程。[0129]如果選擇的對象具有相同層關(guān)系，則可搜索包括選擇的對象中的全部的信息，或者可搜索包括選擇的對象中的至少一個(gè)的信息。當(dāng)選擇的對象具有相同層關(guān)系時(shí)，可預(yù)先定義是搜索包括選擇的對象中的全部的信息還是搜索包括選擇的對象中的至少一個(gè)的信
肩、O
[0130]也就是說，當(dāng)預(yù)先選擇的對象具有相同層關(guān)系時(shí)，在定義搜索包括選擇的對象中的全部的信息的情況下，處理器Iio從存儲(chǔ)單元107和上述外部裝置中的至少一個(gè)搜索包括選擇的對象中的全部的信息。
[0131]當(dāng)預(yù)先選擇的對象具有相同層關(guān)系時(shí)，在定義搜索包括選擇的對象中的至少一個(gè)的信息的情況下，處理器110從存儲(chǔ)單元107和上述外部裝置中的至少一個(gè)搜索包括選擇的對象中的至少一個(gè)的信息。
[0132]當(dāng)預(yù)先選擇的對象具有相同層關(guān)系時(shí)，在定義選擇性地搜索包括選擇的對象中的全部的信息和包括選擇的對象中的至少一個(gè)的信息的情況下，處理器110在搜索信息之前在觸摸屏103上顯示與信息搜索項(xiàng)(例如，包括選擇的對象中的全部的信息搜索項(xiàng)或包括選擇的對象中的至少一個(gè)的信息搜索項(xiàng))對應(yīng)的信息。
[0133]如果基于觸摸屏103上顯示的信息搜索項(xiàng)信息選擇了包括選擇的對象中的全部的信息搜索項(xiàng)，則處理器110搜索包括選擇的對象中的全部的信息。然而，如果基于與觸摸屏103上顯示的信息搜索項(xiàng)對應(yīng)的信息選擇了包括選擇的對象中的至少一個(gè)的信息搜索項(xiàng)，則處理器110搜索包括選擇的對象中的至少一個(gè)的信息。
[0134]如果選擇的對象之間的搜索關(guān)系是高低層關(guān)系，則處理器110根據(jù)選擇的對象之間的高低層關(guān)系確定搜索方程并且搜索信息。
[0135]也就是說，如圖6的屏幕610中所示，如果選擇的對象是圖像610a的包610al和臉610a2的組合并且識(shí)別出用于將觸摸點(diǎn)從包610al移動(dòng)到臉610a2的第二輸入，則處理器110將搜索方程設(shè)置為“攜帶包的人”。因此，處理器110從存儲(chǔ)單元107和外部裝置中的至少一個(gè)搜索關(guān)于“攜帶與由A攜帶的包相同的包的任意人”的信息。
[0136]如圖6的屏幕620中所示，如果選擇的對象是包6IOal和臉610a2的組合并且識(shí)別出用于將觸摸點(diǎn)從臉610a2移動(dòng)到包610al的第二輸入，則處理器110將搜索方程設(shè)置為“A具有的包”。因此，處理器110從存儲(chǔ)單元107和外部裝置中的至少一個(gè)搜索關(guān)于“A具有的所有包”的信息。
[0137]如圖6的屏幕630中所示，如果選擇的對象是包610al、臉610a2和衣服610a3的組合并且識(shí)別出用于將觸摸點(diǎn)從衣服610a3移動(dòng)到包610al的第二輸入和用于將觸摸點(diǎn)從包610al移動(dòng)到臉610a2的另一第二輸入，則處理器110將搜索方程設(shè)置為“衣服的包”和“攜帶包的人”。因此，處理器110從存儲(chǔ)單元107和外部裝置中的至少一個(gè)搜索包括“相同衣服和任意包”的信息和包括“具有相同包的任意人”的信息。
[0138]如圖6的屏幕640中所示，如果選擇的對象是包610al、臉610a2和衣服610a3的組合并且識(shí)別出用于將觸摸點(diǎn)從衣服610a3移動(dòng)到臉610a2的第二輸入和用于將觸摸點(diǎn)從包610al移動(dòng)到臉610a2的另一第二輸入，則處理器110將搜索方程設(shè)置為“穿著衣服的人”和“攜帶包的人”。因此，處理器110從存儲(chǔ)單元107和外部裝置中的至少一個(gè)搜索包括“穿著相同衣服的任意人”的信息和包括“具有相同包的任意人”的信息。
[0139]圖6的屏幕650是輸入將多個(gè)選擇的對象之間的搜索關(guān)系指示為相同層關(guān)系的第二輸入的示例。當(dāng)在裝置100中設(shè)置多個(gè)選擇的對象具有相同層關(guān)系的條件時(shí)，在搜索方程被定義為邏輯“AND (與)”的情況下，處理器110從存儲(chǔ)單元107和外部裝置中的至少一個(gè)搜索包括“相同包”和“人A”中的全部的信息。
[0140]找到的信息可包括基于圖像的信息和基于文本的信息中的至少一個(gè)。用戶可設(shè)置從存儲(chǔ)單元107，從外部裝置，還是從存儲(chǔ)單元107和外部裝置兩者搜索信息。處理器110可按照用戶可設(shè)置上述搜索范圍的方式在觸摸屏103上顯示可選擇的搜索范圍信息。
[0141]在圖2的操作S204中，處理器110在觸摸屏103上顯示找到的信息。找到的信息可被顯示為與顯示的圖像重疊或疊加，或者找到的信息可被顯示在與屏幕中的圖像分離的空間上，顯示在單獨(dú)的頁上或者顯示在顯示的圖像上的彈出窗口中。
[0142]圖7至圖9示出當(dāng)多個(gè)選擇的對象之間的搜索關(guān)系是相同層關(guān)系時(shí)的上述第一輸入、第二輸入和找到的信息之間的關(guān)系的屏幕示例。
[0143]參照圖7，屏幕710是輸入用于選擇顯示的圖像710a中所包括的兩個(gè)對象710al和710a2的第一輸入的不例,屏幕720是在輸入第一輸入之后基于將兩個(gè)選擇的對象7IOal和710a2的顯示位置聚集到一個(gè)點(diǎn)的用戶手勢輸入第二輸入的示例，并且屏幕730是在獨(dú)立頁上顯示包括選擇的對象中的全部的圖像730al、730a2、730a3和730a4的示例。
[0144]參照圖8，屏幕810是輸入用于選擇顯示的圖像810a中所包括的兩個(gè)對象810al和810a2的第一輸入的不例,屏幕820是在輸入第一輸入之后基于沿向上方向同時(shí)移動(dòng)兩個(gè)選擇的對象SlOal和810a2的顯示位置的用戶手勢輸入第二輸入的示例，并且屏幕830是在獨(dú)立頁上顯示包括選擇的對象810al和810a2中的至少一個(gè)選擇的對象的圖像830al、830a2、830a3、830a4、830a5、830a6 和 830a7 的不例。
[0145]參照圖9，屏幕910是輸入用于選擇顯示的圖像910a中所包括的兩個(gè)對象910al和910a2的第一輸入的不例,屏幕920是在輸入第一輸入之后基于沿向下方向同時(shí)移動(dòng)兩個(gè)選擇的對象910al和910a2的顯示位置的用戶手勢輸入第二輸入的示例，并且屏幕930是在獨(dú)立頁上顯示包括選擇的對象910al和910a2中的至少一個(gè)選擇的對象的圖像930al、930a2、930a3、930a4、930a5、930a6 和 930a7 的不例。
[0146]基于參照圖7至圖9提供的描述，根據(jù)指示選擇的對象中的全部具有相同層關(guān)系的第二輸入的輸入模式，可搜索包括選擇的多個(gè)對象中的所有對象的至少一個(gè)圖像(或信息)或者包括選擇的對象中的至少一個(gè)的至少一個(gè)圖像(或信息)。
[0147]圖10是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的流程圖。與圖2的基于圖像的信息搜索方法相比，圖10的基于圖像的信息搜索方法還包括在識(shí)別第一輸入之后在觸摸屏103上顯示識(shí)別的結(jié)果信息并且在識(shí)別第二輸入之后在觸摸屏103上顯示識(shí)別的結(jié)果信息的功能。
[0148]也就是說，像圖2的操作201 —樣，在操作S1001中，處理器110識(shí)別指示與觸摸屏上顯示的圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入。
[0149]因此，在操作S1002中，處理器110在觸摸屏103上顯示通過識(shí)別第一輸入而獲得的結(jié)果信息?？砂凑辗忾]區(qū)域形狀輸出結(jié)果信息作為包括根據(jù)第一輸入檢測的對象的輪廓的區(qū)域。
[0150]圖11至圖13示出圖10的在觸摸屏103上顯示通過識(shí)別第一輸入而獲得的結(jié)果信息的屏幕示例。也就是說，在圖11中，通過識(shí)別根據(jù)選擇的對象IllOal和1110a2的長觸摸從圖像IllOa選擇的多個(gè)對象IllOal和1110a2而獲得的結(jié)果信息被顯示在正方形封閉區(qū)域1120bl和1120b2中。如屏幕1120中所示，可在識(shí)別第一輸入之后通過使用輪廓檢測方法來產(chǎn)生正方形封閉區(qū)域1120bl和1120b2并且在觸摸屏103上顯示正方形封閉區(qū)域1120bl和 1120b2。
[0151]在圖12中，如果通過檢測圖像1210a的選擇的對象1210al和1210a2的輪廓產(chǎn)生了正方形封閉區(qū)域1220bl和1220b2，則產(chǎn)生的封閉區(qū)域1220bl和1220b2被剪出，并且以多屏幕形式顯示剪出的區(qū)域1220bl和1220b2。參照圖12，剪出的區(qū)域1220bl和1220b2的顯示尺寸可與原始顯示尺寸相同。然而，可通過放大顯示尺寸來完全地顯示兩個(gè)剪出的區(qū)域1220bl和1220b2，或者可通過減小顯示尺寸來在屏幕1220上部分地顯示兩個(gè)剪出的區(qū)域1220bl和1220b2。根據(jù)選擇的對象之間的搜索關(guān)系，剪出的區(qū)域1220bl和1220b2的尺寸可彼此不同。
[0152]像圖2的操作S202 —樣，在操作S1003中，處理器110識(shí)別指示多個(gè)對象之間的搜索關(guān)系的第二輸入。因此，在操作S1004中，處理器110在觸摸屏103上顯示通過識(shí)別第二輸入而獲得的結(jié)果信息。
[0153]通過識(shí)別第二輸入而獲得的結(jié)果信息可在觸摸屏103上被顯示為為了幫助圖4至圖6中的理解而示出的指示移動(dòng)觸摸點(diǎn)的方向的箭頭，或者可按照基于圖像的多屏幕形式被顯示。
[0154]參照圖13，從觸摸屏103上顯示的圖像1310a獨(dú)立地選擇對象1310al和1310a2 (屏幕1310和1320)。在屏幕1310和1320中，在觸摸屏103上顯示選擇的樣式(圓圈)的同時(shí)，選擇選擇的對象1310al和1310a2的識(shí)別結(jié)果。然而，選擇的對象1310al和1310a2的識(shí)別結(jié)果可不被顯示在觸摸屏103上。
[0155]在圖13的屏幕1330中，如果輸入指示選擇的對象1310al和1310a2之間的搜索關(guān)系的第二輸入，則處理器110可基于從選擇的對象1310al和1310a2剪出的圖像1340al、1340a2顯示多屏幕1340a，如屏幕1340中所示。然而，本發(fā)明總體構(gòu)思不限于此。
[0156]像圖2的操作S203 —樣，在操作S1005中，處理器110基于第一輸入和第二輸入搜索信息。像圖2的操作S204 —樣，在操作S1006中，處理器110在裝置100的觸摸屏103上輸出找到的信息。
[0157]圖10的基于圖像的信息搜索方法可被修改以在觸摸屏103上僅顯示通過識(shí)別第一輸入而獲得的結(jié)果信息或者僅顯示通過識(shí)別第二輸入而獲得的結(jié)果信息。
[0158]圖14是示出根據(jù)本發(fā)明總體構(gòu)思的另一實(shí)施例的基于圖像的信息搜索方法的流程圖。與圖2的基于圖像的信息搜索方法相比，圖14的基于圖像的信息搜索方法還包括顯示根據(jù)第一輸入和第二輸入確定的至少一個(gè)搜索項(xiàng)并且基于從顯示的搜索項(xiàng)選擇的搜索項(xiàng)搜索信息的功能。因此，以與圖2的操作S201至S204相同的方式執(zhí)行圖14的操作S1401、S1402、S1404和S1405，因此在此將省略其詳細(xì)描述。
[0159]在操作S1403中，處理器110顯示根據(jù)第一輸入和第二輸入確定的搜索項(xiàng)。例如，在如圖6的屏幕610所示輸入第一輸入和第二輸入的情況下，處理器110可通過使用上述搜索方程來搜索關(guān)于“具有相同包的任意人”的信息，并且基于搜索方程確定并且顯示分類的搜索項(xiàng)。例如，處理器110可基于上述搜索方程將區(qū)域信息確定為搜索項(xiàng)。也就是說，處理器110可確定并且顯不“1.Seoul, 2.Busan, 3.Kwangju, 4.Korea和5.USA”作為搜索項(xiàng)。[0160]圖15示出與圖14的操作1403對應(yīng)的屏幕示例。也就是說，在如屏幕1510的圖像1510a中所示輸入選擇多個(gè)對象1510al和1510a2的第一輸入并且如屏幕1520中所示輸入將選擇的對象1510bl和1510b2之間的搜索關(guān)系設(shè)置為相同層關(guān)系的第二輸入(例如，將選擇的對象聚集到一個(gè)點(diǎn)的用戶手勢)的情況下，可根據(jù)第一輸入和第二輸入確定搜索項(xiàng)信息(例如，“功能1、功能2、功能3、功能4、功能5、功能6、功能7、功能8”)并且顯示搜索項(xiàng)信息，如屏幕1510的圖像1530a中所示。
[0161]圖15的上述搜索項(xiàng)信息可包括例如:對由兩個(gè)選擇的人使用的服務(wù)信息的搜索、對包括所述兩個(gè)人的照片和運(yùn)動(dòng)圖像的搜索、對由所述兩個(gè)人通常推薦的照片和運(yùn)動(dòng)圖像的搜索、對由所述兩個(gè)人最近使用的裝置的搜索、對由所述兩個(gè)人最頻繁地使用的裝置的搜索、對由所述兩個(gè)人通常推薦的裝置的搜索等，但不限于此。
[0162]當(dāng)如屏幕1530中所示顯示搜索項(xiàng)信息時(shí)，如果選擇了搜索項(xiàng)信息之一，則處理器110可基于選擇的搜索項(xiàng)信息搜索信息。
[0163]屏幕1530是顯示八條搜索項(xiàng)信息的示例，如圖16的屏幕1610中所示。然而，如圖16的屏幕1620和1630中所示，一個(gè)或多個(gè)搜索信息(例如，四條搜索項(xiàng)信息)可被顯示為根據(jù)第一輸入和第二輸入提供的搜索項(xiàng)。然而，本發(fā)明總體構(gòu)思不限于此。提供的搜索項(xiàng)信息的數(shù)量可以是可變的或者被預(yù)先設(shè)置。
[0164]圖17是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的裝置1700的框圖。圖17的裝置1700可不同于圖1的裝置100。
[0165]參照圖17，裝置1700包括信息輸入和輸出單元1710、通信單元1720、處理器1730和存儲(chǔ)單元1740，但本發(fā)明總體構(gòu)思不限于此。也就是說，裝置1700可根據(jù)設(shè)計(jì)或用戶偏好像圖1的裝置100 —樣包括與圖17的元件相比更多或更少的元件。
[0166]在裝置1700包括比圖17的元件的數(shù)量少的數(shù)量的元件的情況下，裝置1700可不包括通信單元1720或存儲(chǔ)單元1740。在裝置1700不包括通信單元1720的情況下，根據(jù)基于圖像的信息搜索方法的信息搜索涉及存儲(chǔ)在存儲(chǔ)單元1740中的信息，并且從信息輸入和輸出單元1710輸入存儲(chǔ)在存儲(chǔ)單元1740中的信息。在裝置1700不包括存儲(chǔ)單元1740的情況下，裝置1700通過通信單元1720從上述外部裝置搜索信息。
[0167]信息輸入和輸出單元1710接收用戶輸入并且輸出裝置1700的輸出信息。例如，用戶輸入可包括上述基于觸摸的輸入、基于物理按鈕控制的輸入、基于用戶手勢的輸入、基于用戶語音識(shí)別的輸入、基于面部識(shí)別的輸入和基于遙控器(未示出)的輸入，但本發(fā)明總體構(gòu)思不限于此。
[0168]根據(jù)本發(fā)明的實(shí)施例的信息輸入和輸出單兀1710可接收第一輸入和第二輸入，輸出通過接收第一輸入和第二輸入而獲得的結(jié)果信息，并且輸出根據(jù)第一輸入和第二輸入搜索的信息。
[0169]信息輸入和輸出單元1710可包括轉(zhuǎn)盤、滑動(dòng)開關(guān)、操縱桿、時(shí)鐘輪、觸摸板、觸摸屏、麥克風(fēng)、揚(yáng)聲器、傳感器、連接器、顯示燈、鍵區(qū)、顯示裝置、滾輪和基于無線通信的遙控信號接收單元，但本發(fā)明總體構(gòu)思不限于此。
[0170]通信單元1720可經(jīng)網(wǎng)絡(luò)與外部裝置通信。通信單元1720可搜索存儲(chǔ)在外部裝置中的信息并且經(jīng)網(wǎng)絡(luò)提供與外部裝置的通信服務(wù)，諸如信使服務(wù)、消息服務(wù)、電子郵件服務(wù)、視頻會(huì)議服務(wù)和語音呼叫服務(wù)，但不限于此。通信單元1720可被構(gòu)造為包括無線通信單元108和有線通信單元109中的至少一個(gè)。
[0171]處理器1730執(zhí)行存儲(chǔ)在存儲(chǔ)單元1740中的用于執(zhí)行根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的基于圖像的信息搜索方法的至少一個(gè)程序。也就是說，處理器1730執(zhí)行程序，基于信息輸入和輸出單元1710上顯示的圖像識(shí)別第一輸入和第二輸入的接收，根據(jù)識(shí)別的結(jié)果搜索存儲(chǔ)單元1740中的信息，并且將找到的信息輸出到信息輸入和輸出單元1710。
[0172]存儲(chǔ)單元1740存儲(chǔ)上述至少一個(gè)程序和用于與外部裝置的通信的至少一個(gè)通信應(yīng)用，但不限于此。存儲(chǔ)單元1740可包括從由以下項(xiàng)組成的組選擇的至少一個(gè)存儲(chǔ)介質(zhì):閃存、硬盤型存儲(chǔ)器、多媒體卡微型存儲(chǔ)器、卡型存儲(chǔ)器(例如，SD存儲(chǔ)器、XD存儲(chǔ)器等)、ROM、EEPROM、PROM、磁存儲(chǔ)器和光盤。
[0173]處理器1730可像圖1A的處理器110—樣基于圖2、圖10和圖14的方法執(zhí)行操作。
[0174]圖18是示出基于圖1的裝置100和圖17的裝置1700的網(wǎng)絡(luò)結(jié)構(gòu)的框圖。圖18的網(wǎng)絡(luò)結(jié)構(gòu)包括裝置100和1700、多個(gè)外部裝置1820和1830以及網(wǎng)絡(luò)1810。
[0175]所述多個(gè)外部裝置1820和1830可包括服務(wù)器以及裝置100和1700中的至少一個(gè)。圖18的多個(gè)外部裝置1820和1830包括在上述實(shí)施例中提及的外部裝置。因此，當(dāng)裝置100和1700搜索信息時(shí)，存儲(chǔ)在多個(gè)外部裝置1820和1830中的信息可被搜索。網(wǎng)絡(luò)1810可被構(gòu)造為通過使用圖1A的無線通信單元108和有線通信單元109中的至少一個(gè)發(fā)送和接收數(shù)據(jù)的網(wǎng)絡(luò)。
[0176]在上述基于圖像的信息搜索方法中提及的多個(gè)對象可被稱為多對象。上述基于圖像的信息搜索方法可被應(yīng)用于基于圖像的服務(wù)提供方法。
[0177]圖19是示出根據(jù)本發(fā)明總體構(gòu)思的實(shí)施例的服務(wù)提供方法的流程圖。圖19的服務(wù)提供方法可由圖1A的處理器110或圖17的處理器1730執(zhí)行。然而，在本實(shí)施例中，為了方便描述，服務(wù)提供方法由處理器110執(zhí)行。
[0178]在操作S1901中，處理器110識(shí)別指示與觸摸屏103上顯示的圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入。觸摸屏103上顯示的圖像可以是在裝置100中再現(xiàn)的靜止圖像或照片或者運(yùn)動(dòng)圖像的暫時(shí)靜止圖像或者由照相機(jī)104獲得的輸入圖像。與觸摸屏103上顯示的圖像相關(guān)的這個(gè)定義也可被應(yīng)用于上述實(shí)施例。
[0179]在操作S1902中，處理器110識(shí)別指示選擇的對象之間的關(guān)系的第二輸入。選擇的對象之間的關(guān)系包括在上述實(shí)施例中提及的相同層關(guān)系和聞低層關(guān)系。
[0180]在操作S1903中，處理器110確定通過使用第一輸入和第二輸入提供的至少一個(gè)服務(wù)項(xiàng)并且在觸摸屏103上顯示服務(wù)項(xiàng)。可如圖16的屏幕1610、1620和1630中所示顯示服務(wù)項(xiàng)。
[0181]然而，可不如圖16的屏幕1610、1620和1630中所示顯示確定的服務(wù)項(xiàng)，并且可提供包括包含單一服務(wù)項(xiàng)的云(云服務(wù))的⑶I信息。服務(wù)項(xiàng)可類似于參照圖15描述的服務(wù)項(xiàng)并且根據(jù)由裝置100或外部裝置1820和1830提供的應(yīng)用和選擇的對象之間的選擇可還包括最頻繁地使用的應(yīng)用信息、推薦應(yīng)用信息等，但不限于此。
[0182]也就是說，在選擇的對象之間的關(guān)系是相同層關(guān)系的情況下，服務(wù)項(xiàng)可包括可被提供給選擇的對象中的每個(gè)的服務(wù)項(xiàng)，并且在選擇的對象之間的關(guān)系是高低層關(guān)系的情況下，服務(wù)項(xiàng)可包括可根據(jù)選擇的對象之間的高低層關(guān)系提供的服務(wù)項(xiàng)，但不限于此。[0183]在操作S1904中，處理器110執(zhí)行從觸摸屏103上顯示的服務(wù)項(xiàng)選擇的服務(wù)項(xiàng)。
[0184]根據(jù)本發(fā)明的實(shí)施例的基于圖像的信息搜索方法或服務(wù)提供方法還可被實(shí)施為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀介質(zhì)可以是任何能夠存儲(chǔ)由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的記錄設(shè)備，例如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、致密盤(⑶)-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲(chǔ)裝置等。然而，本發(fā)明總體構(gòu)思不限于此。計(jì)算機(jī)可讀介質(zhì)可分布在通過網(wǎng)絡(luò)互連的計(jì)算機(jī)系統(tǒng)之中，并且本發(fā)明可被存儲(chǔ)并且實(shí)現(xiàn)為分布式系統(tǒng)中的計(jì)算機(jī)可讀代碼。
[0185]雖然已示出和描述了本發(fā)明總體構(gòu)思的一些實(shí)施例，但本領(lǐng)域技術(shù)人員將會(huì)理解，在不脫離本發(fā)明總體構(gòu)思的原理和精神的情況下，可對這些實(shí)施例進(jìn)行改變，其中，本發(fā)明總體構(gòu)思的范圍由權(quán)利要求及其等同物限定。
【權(quán)利要求】
1.一種基于裝置上顯示的圖像的信息搜索方法，所述方法包括: 識(shí)別指示與圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入； 識(shí)別指示選擇的多個(gè)對象之間的搜索關(guān)系的第二輸入； 基于第一輸入和第二輸入搜索信息；以及 通過所述裝置輸出找到的信息。
2.如權(quán)利要求1所述的方法，其中，選擇的多個(gè)對象之間的搜索關(guān)系包括以下關(guān)系之一:指示當(dāng)搜索信息時(shí)所述多個(gè)對象之間的關(guān)系具有相同級別的相同層關(guān)系以及指示當(dāng)搜索/[目息時(shí)所述多個(gè)對象之間的關(guān)系具有聞低級別的聞低層關(guān)系。
3.如權(quán)利要求2所述的方法，其中，當(dāng)?shù)诙斎氚ㄒ韵禄谟|摸的手勢之一時(shí)，選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系:指示聚集選擇的多個(gè)對象的基于觸摸的手勢以及指示將選擇的多個(gè)對象移動(dòng)到除所述選擇的多個(gè)對象的顯示位置之外的至少一個(gè)位置的基于觸摸的手勢。
4.如權(quán)利要求2所述的方法，其中，當(dāng)?shù)诙斎氚ㄒ韵禄谟|摸的手勢之一時(shí)，選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系:指示將選擇的多個(gè)對象之中排除一個(gè)對象的一個(gè)或更多個(gè)選擇的對象移動(dòng)到排除的一個(gè)對象的顯示位置的基于觸摸的手勢以及指示將選擇的多個(gè)對象中的至少一個(gè)對象移動(dòng)到選擇的多個(gè)對象之一的顯示位置的基于觸摸的手勢。
5.如權(quán)利要求2所述的方法，其中，所述搜索信息的步驟包括: 當(dāng)選擇的多個(gè)對象之間`的搜索關(guān)系是相同層關(guān)系時(shí)，搜索包括選擇的多個(gè)對象中的全部的信息；以及 當(dāng)選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系時(shí)，根據(jù)選擇的多個(gè)對象之間的高低層關(guān)系搜索信息。
6.如權(quán)利要求2所述的方法，其中，所述搜索信息的步驟包括: 當(dāng)選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系時(shí)，搜索關(guān)于選擇的多個(gè)對象中的至少一個(gè)的信息；以及 當(dāng)選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系時(shí)，根據(jù)選擇的多個(gè)對象之間的高低層關(guān)系搜索信息。
7.如權(quán)利要求2所述的方法，其中: 當(dāng)選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系時(shí)，所述搜索信息的步驟包括:顯示用于選擇包括選擇的多個(gè)對象中的至少一個(gè)的信息搜索項(xiàng)和包括選擇的多個(gè)對象中的全部的信息搜索項(xiàng)之一的信息，以及 根據(jù)基于顯示的信息選擇的信息搜索項(xiàng)搜索信息；以及 當(dāng)選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系時(shí)，所述搜索信息的步驟包括: 根據(jù)選擇的多個(gè)對象之間的高低層關(guān)系搜索信息。
8.如權(quán)利要求1所述的方法，其中，所述搜索信息的步驟包括: 顯示根據(jù)第一輸入和第二輸入確定的至少一個(gè)搜索項(xiàng)；以及 基于從顯示的至少一個(gè)搜索項(xiàng)選擇的搜索項(xiàng)搜索信息。
9.如權(quán)利要求1所述的方法，還包括: 顯示指示所述裝置的與第一輸入相關(guān)的識(shí)別的信息。
10.如權(quán)利要求1所述的方法，還包括: 顯示指示所述裝置的與第二輸入相關(guān)的識(shí)別的信息。
11.一種裝置，包括: 存儲(chǔ)單元，用于存儲(chǔ)至少一條信息和至少一個(gè)程序； 觸摸屏，用于顯示圖像，接收指示與圖像中所包括的多個(gè)對象相關(guān)的選擇的第一輸入，接收指示選擇的多個(gè)對象之間的搜索關(guān)系的第二輸入，并且顯示基于第一輸入和第二輸入搜索的信息；和 處理器，用于基于觸摸屏提供用戶界面，識(shí)別通過觸摸屏接收的第一輸入和第二輸入，根據(jù)第一輸入和第二輸入從存儲(chǔ)單兀搜索信息，并且在觸摸屏上輸出找到的信息。
12.如權(quán)利要求11所述的裝置，其中，選擇的多個(gè)對象之間的搜索關(guān)系包括以下關(guān)系之一:指示當(dāng)搜索信息時(shí)所述多個(gè)對象具有相同級別的相同層關(guān)系以及指示當(dāng)搜索信息時(shí)所述多個(gè)對象具有高低級別的高低層關(guān)系。
13.如權(quán)利要求12所述的裝置，其中，當(dāng)?shù)诙斎氚ㄒ韵禄谟|摸的手勢之一時(shí)，選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系:指示聚集選擇的多個(gè)對象的基于觸摸的手勢以及指示將選擇的多個(gè)對象移動(dòng)到除所述選擇的多個(gè)對象的顯示位置之外的至少一個(gè)位置的基于觸摸的手勢。
14.如權(quán)利要求12所述的裝置，其中，當(dāng)?shù)诙斎氚ㄒ韵禄谟|摸的手勢之一時(shí)，選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系:用于將選擇的多個(gè)對象之中排除一個(gè)對象的其余選擇的對象移動(dòng)到排除的一個(gè)對象的顯示位置的基于觸摸的手勢以及用于將選擇的多個(gè)對象中的至少一個(gè)移動(dòng)到選擇的多個(gè)對象之一的顯示位置的基于觸摸的手勢。
15.如權(quán)利要求12所述的裝置，其中:` 當(dāng)選擇的多個(gè)對象之間的搜索關(guān)系是相同層關(guān)系時(shí)，處理器控制觸摸屏顯示用于選擇包括選擇的多個(gè)對象中的至少一個(gè)的信息搜索項(xiàng)以及包括選擇的多個(gè)對象中的全部的信息搜索項(xiàng)之一的信息，根據(jù)基于顯不的信息選擇的信息搜索項(xiàng)搜索信息，以及 當(dāng)選擇的多個(gè)對象之間的搜索關(guān)系是高低層關(guān)系時(shí)，處理器根據(jù)選擇的多個(gè)對象之間的聞低層關(guān)系搜索彳目息。
【文檔編號】G06F17/30GK103870535SQ201310687717
【公開日】2014年6月18日 申請日期:2013年12月16日 優(yōu)先權(quán)日:2012年12月14日
【發(fā)明者】陳善美, 權(quán)志泫 申請人:三星電子株式會(huì)社