專利名稱：基于推測的社會關系的行為建議的制作方法
技術領域：
本發(fā)明涉及從個人圖像集合來推測社會關系并建議行為方式。
背景技術：
客戶圖像集合已經普遍深入開展。從這些集合中對有意義的信息進行語義挖掘已經是機器學習和計算機視覺社區(qū)中的活躍的研究領域。大量的工作正致力于對象識別問題，即檢測特定類型的對象，例如人臉、汽車、草、水、天空等等。這項工作主要依賴于利用可在圖像中獲得的低水平視覺特征(例如顏色、紋理和線條)。近年來，對例如場景檢測和行為識別的更復雜的信息的語義提取的關注日益提高。例如，某人可能想要根據照片是拍攝于室內還是室外來對照片進行分組，或者將工作照和休閑照分開。這一問題的解決方案主要依賴于采用衍生特征，例如出現在圖像中的人，某種對象在圖像中出現或不出現，等等。通常，在這種場景下采用集體推測能力。例如，對于一具體的照片，可能難以判斷其為工作還是空閑，但是看看其他位置和時間相似的照片，可能就更容易做出相同的預測。這條研究線索的目的是使人們對數字圖像集合的認識方式發(fā)生演變一從一束像素值到高復雜性且有意義的對象，可詢問所述對象以獲得信息，或以對用戶有意義的方式自動組織所述對象。隨著語義理解的進一步發(fā)展，人們能夠在觀察足夠多的圖像之后推測出現在相同照片中的人與人之間的關系:他們是家庭成員、朋友、僅僅是熟人、或只是偶然在相同時間和相同地點出現的陌生人。換言之，客戶照片通常不會和陌生人在一起拍攝，但經常和朋友以及家人在一起拍攝。檢測和預測這樣的關系可能是朝著構建智能照相機以及智能圖像管理系統(tǒng)前進的重要一步。已知通過分析圖像來檢測人并猜測被檢測人的年齡和性別。此外，幾種系統(tǒng)提供了基于人口統(tǒng)計學信息的廣告建議。例如，在美國專利號7，362，919中，圖像被布置在主題化冊頁上，其中圖形元素基于圖像中的人的年齡和性別。相似地，在美國專利號7，174，029中，采用視頻照相機來監(jiān)控環(huán)境、檢測人、確定某人的人口統(tǒng)計學檔案、并基于該人口統(tǒng)計學檔案向此人提供廣告。盡管這些方法對于對單個人有吸引力的廣告來說是有用的，但是對于不與單個人相關而是與多人之間共享的社會關系相關的產品進行廣告來說不是有效的。

發(fā)明內容
根據本發(fā)明，提供了一種對圖像集合中的個人之間的社會關系進行分類以建議可能的行為方式的方法，包括:a)搜索該集合以識別個人，并確定他們的性別和他們的年齡范圍；b)利用所識別的個人的性別和年齡范圍推測他們之間的至少一種社會關系；以及c)利用所推測的至少一種社會關系建議可能的行為方式。本發(fā)明的特征和優(yōu)點包括利用與個人身份、年齡和性別信息相關聯的個人圖像集合來自動地發(fā)現出現在該個人圖像中的各個人之間的社會關系類型，并因此提供了一種建議可能的行為方式的系統(tǒng)，所述行為方式例如為產品建議、活動、共享機會或社交網絡鏈接。


圖1是可采用本發(fā)明的系統(tǒng)的圖示；圖2是實現本發(fā)明的一個實施例的流程圖；圖3是顯示社會關系類型的本體結構的表格；圖4a和4b描述了圖像和從該圖像推測的相應的社會關系的不例；圖5描述了利用在圖像集合中發(fā)現的社會關系建立家庭樹，在圖像集合中搜索圖像，并向用戶提供建議的系統(tǒng)；圖6提供了示例性的圖像集合以及發(fā)現的社會關系；圖7描述了家庭樹；以及圖8描述了基于社會關系建議的產品。部件清單10本系統(tǒng)12計算裝置14索引服務器16圖像服務器20通信網絡22獲得個人圖像集合24識別圖像中頻繁出現的人(人臉檢測/識別)26提取證據，包括人的同時出現、人的年齡和性別28存儲識別的人和相關聯的證據30從提取的證據推測與人相關聯的社會關系32針對推測的社會關系搜索/組織圖像集合35社會關系類型的本體結構40示例圖像42示例關系50示例圖像52示例關系102圖像集合104社會關系檢測器106社會關系108建議器110可能行為方式112存儲器114家庭樹116關系詢問
118圖像選擇器120詢問輸出122顯示器124用戶輸入126地理位置130兄妹的圖像132母女的圖像134兄妹的圖像136圖像138圖像140母子社會關系142基于社會關系的圖形。
具體實施例方式本發(fā)明是一種在客戶圖像集合中自動檢測社會關系的方法。例如，給定兩張出現在圖像中的人臉，人們意欲推測他們彼此是配偶而不僅僅是朋友。甚至在掌握了關于各個人臉的年齡、性別和身份的 附加信息時，該任務也是極其困難的。照片中可能存在什么樣的信息從而能夠區(qū)分“朋友”或“配偶”關系呢？但是當集體地觀察一組相關的照片時，該任務就容易處理得多了。具體地，第三方個人(除了照片中的主人公和拍照師之外)可基于經驗規(guī)則對上述任務進行很好的猜測，所述經驗規(guī)則例如:a)夫妻通常傾向于只拍攝他們自己，相反地，朋友通常成群出現，以及b)有小孩的夫妻通常和他們的孩子一起出現在照片中。該方法的優(yōu)點是人們甚至可以說出關于在給定的集合中從未(或很少)一起拍照的某些人之間的關系的有意義的東西。例如，如果A(男性)和小孩出現在一組照片中，B(女性)和同一小孩出現在其他照片中，并且A和B出現在幾張其他照片中，那么很可能他們是配偶關系，并且是和他們一起照相的這個小孩的父母。本發(fā)明以有意義的方式獲取上述經驗規(guī)則。在建立這些規(guī)則時，需要考慮幾個關鍵問題:(a)這些畢竟只是經驗規(guī)則，因此不總是正確的。(b)可以同時采用很多規(guī)則，必須小心地組合這些規(guī)則。(c)在某些場景下，很多規(guī)則可能彼此沖突。解決這些問題的一個好方法是馬爾可夫邏輯(“馬爾可夫邏輯網絡”(“MarkovLogic Networks”)，作者 M.Richardson 和 P.Domingos,發(fā)表于 Machine Learning, 62:107-136，pp.1-43,01/26/2006.6)，其提供了一種以數學的合理途徑組合一階邏輯規(guī)則的框架。每個規(guī)則被視為軟約束(與邏輯中的硬約束相反)，其重要性由與之相關聯的真值權重確定。權重越高，規(guī)則越重要。換言之，給出兩個沖突的規(guī)則，在其他各方面都相同的情況下，應確信具有更高權重的規(guī)則的置信度更高。權重可以從訓練數據學習。進一步地，除了由本領域專家提供的規(guī)則之外，馬爾可夫邏輯也提供了利用該數據學習新規(guī)則的能力，從而增強了背景知識。然后利用這些學習的規(guī)則(以及它們的權重)在可能的關系組上進行集體推測。如后文所述，也可采用噪聲預測器(用于年齡和性別)作為系統(tǒng)的輸入，來構建用來預測關系、年齡和性別的集體模型。預測了一個元素有助于預測其他元素，反之亦然。例如，確認兩個人性別相同可以幫助排除配偶關系，反之亦然。對一個照片的推測可延及其他照片，從而提高整體準確度。統(tǒng)計關系模型將例如一階邏輯的關系語言能力和例如馬爾可夫網絡的概率模型相結合。這提供了為范圍內的關系(例如我們的情況中的各種社會關系)明確地建模的能力，同時也明確地考慮到不確定性(例如經驗規(guī)則不可能總是正確)。近年來，在這個領域有大量的研究。能力最強的這類模型之一是馬爾可夫邏輯(馬爾可夫網絡(“Markov LogicNetworks” )，作者 M.Richardson 和 P.Domingos,發(fā)表于 Machine Learning, 62: 107-136,PP.1-43,01/26/2006)。其結合了一階邏輯能力和馬爾可夫網絡來限定潛在對象的特征分布(例如在我們的范圍內的年齡、性別、面部特征)和他們之間的關系(例如在我們的范圍內的各種社會關系)。這是通過為一階原理中的每個公式附加真值權重來實現的，其中權重(粗略地)表示了公式的重要性。形式上，馬爾可夫網絡L被定義為一組對(Fi，wi)，Fi是一階邏輯的公式，wi是實數。給定一組常數C,基礎訓練預測(ground predicates)集合X
的特定配置X的概率如下:
權利要求
1.一種對圖像集合中的個人之間的社會關系進行分類以建議可能行為方式的方法，該方法包括: a)搜索所述集合以識別個人并確定他們的性別和他們的年齡范圍； b)利用識別的個人的所述性別和年齡范圍來推測他們之間的至少一種社會關系；以及 c)利用至少一種推測的社會關系來建議可能行為方式。
2.根據權利要求1所述的方法，其中所述可能行為方式包括建議產品廣告、針對特定的一個或多個產品的潛在客戶、圖像產品、活動、共享機會、或在線社交網絡中的鏈接。
3.根據權利要求2所述的方法，其中所述產品廣告提供給集合擁有者，所述廣告中的產品涉及特定節(jié)日。
4.根據權利要求1所述的方法，其中所述可能行為方式被建議給除了集合擁有者之外的人。
5.根據權利要求2所述的方法，其中所述圖像產品與來自所述圖像集合的圖像結合，其中所述推測的社會關系發(fā)現自所述圖像集合。
6.根據權利要求2所述的方法，其中所述活動包括教育活動、與運動相關的活動、與興趣愛好相關的活動、或與健康或醫(yī)藥相關的活動。
7.根據權利要求1所述的方法，其中集合擁有者的地理位置被用來建議所述行為方式。
8.一種從圖像集合產生家庭樹的方法，該方法包括: a)搜索集合以識別個人，并確定他們的性別和他們的年齡范圍； b)利用識別的所述個人的所述性別和年齡范圍來推測個人之間的至少兩種社會關系; c)利用至少兩種推測的社會關系來產生家庭樹；以及 d)存儲所述家庭樹,使所述家庭樹與所述集合關聯。
9.根據權利要求8所述的方法，進一步包括基于所述家庭樹搜索圖像集合。
10.一種將圖像集合中的個人之間的社會關系進行分類以搜索圖像集合的方法，該方法包括: a)搜索所述集合以識別個人并確定他們的性別和他們的年齡范圍； b)利用識別的所述個人的所述性別和年齡范圍推測個人之間的至少一種社會關系；以及 c)基于推測的所述社會關系搜索圖像集合。
全文摘要
一種對圖像集合中的個人之間的社會關系進行分類以建議可能行為方式的方法，該方法包括搜索所述集合以識別個人并確定他們的性別和他們的年齡范圍；利用識別的個人的所述性別和所述年齡范圍來推測他們之間的至少一種社會關系；以及利用推測的至少一種社會關系建議可能行為方式。
文檔編號G06Q30/02GK103119620SQ200980138668
公開日2013年5月22日 申請日期2009年10月20日 優(yōu)先權日2008年10月25日
發(fā)明者A·C·加拉格爾, J·羅 申請人:高智83基金會有限責任公司