專利名稱：一種場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬與模式識別與信息處理技術(shù)領(lǐng)域，涉及一種場所廣告與電子廣告的實時
交互系統(tǒng)，具體的是一種廣告圖片的處理方法。
背景技術(shù)：
廣告，是為了某種特定的需要，通過一定形式的媒體，公開而廣泛地向公眾傳遞信 息的宣傳手段。廣告有廣義和狹義之分，廣義廣告包括非經(jīng)濟廣告和經(jīng)濟廣告。非經(jīng)濟廣 告指不以盈利為目的的廣告，又稱效應(yīng)廣告，其主要目的是推廣；狹義廣告僅指經(jīng)濟廣告或 商業(yè)廣告，通常是商品生產(chǎn)者、經(jīng)營者和消費者之間溝通信息的重要手段，用廣告方式傳達(dá) 品牌獨特、鮮明的個性主張，使商品得以與目標(biāo)消費群建立某種聯(lián)系，順利進(jìn)入消費者的生 活和視野，達(dá)到與之心靈的深層溝通，并在其心中樹立某種印象和地位，使品牌變成一個有 意義的帶有附加價值的符碼。這里所說的廣告，我們采用國家《廣告法》對廣告的定義，即， 廣告是指商品經(jīng)營者或者服務(wù)提供者承擔(dān)費用，通過一定媒介和形式直接或者間接地介紹 自己所推銷的商品或者所提供的服務(wù)的商業(yè)廣告。 早在奴隸社會初期，古希臘就出現(xiàn)了世界上最早，最原始的廣告形式，口頭廣告或 叫賣廣告。此后，隨著商品經(jīng)濟的發(fā)展，科學(xué)技術(shù)的進(jìn)步，廣告形式也日新月異從商標(biāo)字號 到報紙、期干IJ、圖書、名錄等印刷廣告，從在街道、廣場、機場、車站、碼頭等的建筑物或空間 設(shè)置路牌、霓虹燈、電子顯示牌、櫥窗、燈箱、墻壁到廣播、電視、電影、錄像、幻燈，所有這些 無不反映了這種變化。而互聯(lián)網(wǎng)的出現(xiàn)，更是開創(chuàng)了廣告的新紀(jì)元。電子網(wǎng)絡(luò)廣告作為一 種新興的廣告形式，隨著互聯(lián)網(wǎng)的發(fā)展悄然興起并呈現(xiàn)蓬勃發(fā)展之勢。許多公司競相建立 自己的網(wǎng)絡(luò)服務(wù)，如，商品主頁、論壇(BBS)、網(wǎng)上交易平臺等，借此宣傳自身形象并把商品 展示在全世界互聯(lián)網(wǎng)用戶的面前。目前，傳統(tǒng)的廣告形式，如電視、雜志，傳單、廣告牌等，還 是廣告的主流形式。然而，電子網(wǎng)絡(luò)廣告，因為價格便宜，宣傳范圍廣，形式生動活潑，交互 方式靈活，用戶檢索方便，無時間地域限制，實時性能好等優(yōu)點，受到越來越多用戶及商家 的青睞。在互聯(lián)網(wǎng)廣泛迅猛發(fā)展的今天，借助于互聯(lián)網(wǎng)的電子網(wǎng)絡(luò)廣告的前景，更為人們看 好。 然而，由于人類的生活習(xí)慣和場所廣告固有的優(yōu)點，電子網(wǎng)絡(luò)廣告不會也不能完 全取代場所廣告在人們生活中的地位，而是互有優(yōu)缺點、長期共存。比如，場所廣告由于受 媒體的時間和版面的限制，其內(nèi)容只能刪繁就簡，突出重點。因此，人們可以在可忍受的時 間內(nèi)，獲得大量不同商品的信息；而當(dāng)我們對其中某種商品感興趣的時候，場所廣告提供的 信息以及互動性等卻遠(yuǎn)遠(yuǎn)不能滿足我們的需要，這時候網(wǎng)絡(luò)廣告就發(fā)揮它的作用了。但是， 如果沒有場所廣告提供的信息，在令人眼花繚亂網(wǎng)絡(luò)信息海洋中，我們也很難或者根本不 知道如何有目的地找自己滿意的商品以及相應(yīng)信息。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)的問題，本發(fā)明的目的是提供一種綜合場所廣告和電子網(wǎng)絡(luò)廣告優(yōu)點的新型廣告形式。新型廣告形式成了廣告商亟待解決的問題，然而，成功的廣告文化 是貼近大眾生活，而不是脫離實際的高雅藝術(shù)。在今后相當(dāng)長一段時期內(nèi)，我們面對的將 還是這兩種廣告并存的局面，而廣告商需要的是一種能夠綜合場所廣告與電子網(wǎng)絡(luò)廣告優(yōu) 點、方便用戶使用的系統(tǒng)。 為了達(dá)成所述目的，本發(fā)明旨在設(shè)計一種場所廣告與電子廣告數(shù)據(jù)實時交互的系 統(tǒng)，該系統(tǒng)是由場所廣告攝取單元、客戶端、廣告商服務(wù)器、圖像內(nèi)容分析與檢索單元、商品 信息數(shù)據(jù)庫和廣告圖片數(shù)據(jù)庫組成，其中 場所廣告攝取單元，用戶對感興趣的場所廣告進(jìn)行拍攝，獲得場所廣告圖片；
客戶端與場所廣告攝取單元連接，客戶端讀取場所廣告圖片，并輸出場所廣告圖 片，實時顯示廣告商服務(wù)器返回的電子廣告信息；客戶端的用戶利用電子廣告信息可進(jìn)行 撥打感興趣場所廣告中商品的廠商電話、登錄商品信息主頁操作； 廣告商服務(wù)器與客戶端連接，廣告商服務(wù)器全天候的接收并輸出各個客戶端發(fā)送 的場所廣告圖片；廣告商服務(wù)器接收圖片內(nèi)容分析與檢索單元返回的電子廣告信息并轉(zhuǎn)發(fā) 送給客戶端； 圖像內(nèi)容分析與檢索單元與廣告商服務(wù)器、廣告圖片數(shù)據(jù)庫和商品信息數(shù)據(jù)庫連 接，接收廣告商服務(wù)器提供的場所廣告圖片，在廣告圖片數(shù)據(jù)庫中檢索與場所廣告圖片對 應(yīng)的數(shù)據(jù)庫圖片，然后利用得到的數(shù)據(jù)庫圖片索引商品信息數(shù)據(jù)庫中的電子廣告信息，并 把電子廣告信息返回給廣告商服務(wù)器； 廣告圖片數(shù)據(jù)庫由大量電子廣告圖片構(gòu)成，由廣告商拍攝、收集并更新；這些數(shù)據(jù) 庫圖片的標(biāo)簽包括商品的名稱、系列、圖片中出現(xiàn)的文字；數(shù)據(jù)庫圖片與商品信息數(shù)據(jù)庫 中的商品信息電子廣告信息存在多對一的索引關(guān)系，對每一幅數(shù)據(jù)庫圖片，都可以索引到 商品信息數(shù)據(jù)庫中對應(yīng)的電子廣告信息； 商品信息數(shù)據(jù)庫由廣告圖片數(shù)據(jù)庫中的圖片中商品的信息構(gòu)成；商品信息數(shù)據(jù)庫 中的商品的信息包括商品的名稱、商品的系列號、商品信息主頁鏈接、商品的促銷信息、商 品生產(chǎn)或提供廠家聯(lián)系方式；商品信息數(shù)據(jù)庫中的商品信息與廣告圖片數(shù)據(jù)庫中的圖片存 在一對多的索引關(guān)系；對每一條產(chǎn)品信息，都可以所引導(dǎo)一幅或者幾幅廣告圖片數(shù)據(jù)庫中 的圖片。 本發(fā)明的有益效果與現(xiàn)有的場所廣告以及電子網(wǎng)絡(luò)廣告相比，本方法具有如下 特點 1.與場所廣告相比，本發(fā)明可以根據(jù)用戶的興趣，實時提供更多的但非海量的有 用信息。 2.與電子網(wǎng)絡(luò)廣告相比，本發(fā)明可以利用場所廣告的信息給用戶提供一個方向， 使用戶可以在信息的海洋中有的放矢。 3.方便，快捷。在場所廣告中，當(dāng)用戶對某商品感興趣的時候，用戶需要記住商品 的名字，廠商的聯(lián)系方式或商品主頁。然后手工輸入搜索引擎才能獲得商品更詳細(xì)的資料， 需要人工輸入電話號碼才能完成與廠商的交互。但是，受時間和空間的限制，完成這個過程 是很不方便的。例如，在快速跳轉(zhuǎn)的電視畫面前，在廣告牌飛速后移的汽車?yán)?，要正確記住 電話號碼和網(wǎng)站名稱，對人的記憶力提出了很大的挑戰(zhàn)。而本發(fā)明的場所廣告與電子廣告 數(shù)據(jù)實時交互的系統(tǒng)，只需要利用手中的手機或其他便攜通信裝置對感興趣的廣告牌或電視屏幕拍攝一張圖片，即可獲得目標(biāo)商品的全部廣告信息，并可利用電話、互聯(lián)網(wǎng)等方式實 現(xiàn)與廠商實時交互。 對于一種面向用戶的實用系統(tǒng)，系統(tǒng)的穩(wěn)定性是很重要的。因為受拍攝視角，光照 條件，距離遠(yuǎn)近的影響，加上數(shù)據(jù)庫圖片本身具有一定的相似性，使得單單利用畫面分析檢 索得到的圖片有可能是來自不同的廠家的相似數(shù)據(jù)庫圖片；而且，相同廠家的商品由于在 外觀上具有極大的相似性，單純的利用圖片內(nèi)容的畫面，很難確定用戶感興趣的到底是那 一款型號。而單純的利用圖片文字抽取和識別系統(tǒng)也是不夠的。同樣受拍攝角度，光照條 件，拍攝距離，藝術(shù)字型的影響，能夠讓場所廣告圖片把文字拍攝清楚這本身就很困難。即 使場所廣告圖片拍攝的比較理想，要在復(fù)雜的廣告背景下把場所廣告圖片中文字檢測出來 并全部正確識別，也是很不現(xiàn)實的。而本發(fā)明的系統(tǒng)很好的解決了這個問題，它綜合利用基 于圖片畫面內(nèi)容檢索和文字檢測識別系統(tǒng)的優(yōu)點，使得系統(tǒng)具有更大的穩(wěn)定性和可靠性。 例如，對于相似的數(shù)據(jù)庫圖片，場所廣告圖片文字中的幾個字(如商品名稱中的一個字，促 銷信息中的價格，電話號碼)都可以幫助圖片內(nèi)容分析與檢索單元定位到正確的數(shù)據(jù)庫圖 片上面；我們無需全部檢測識別所有場所廣告圖片內(nèi)的文字即可極大地增加系統(tǒng)結(jié)果的可 靠性和穩(wěn)定性。


圖1示出本發(fā)明場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)示意圖；
圖2示出本發(fā)明圖像內(nèi)容分析與檢索單元流程圖； 圖3示出本發(fā)明文字區(qū)域檢測中用到的四方向索伯(sobel)邊緣檢測子；
圖4示出本發(fā)明5X5平滑濾波器。
具體實施例方式
下面結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個細(xì)節(jié)問題。應(yīng)指出的是，
所描述的實施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。 本發(fā)明旨在設(shè)計一種實用的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，準(zhǔn)確的捕
獲場所廣告中的用戶感興趣信息，實時地獲取用戶感興趣商品的主頁，同類商品參數(shù)比較，
商品論壇(BBS)以及廠商的聯(lián)系方式等，并實現(xiàn)用戶與商品、廠商實時、方便地信息互動。
在手機以及其它任意信息通信設(shè)備上裝載系統(tǒng)的客戶端以后，用戶可以方便的獲取從場所
廣告中得不到的電子網(wǎng)絡(luò)廣告信息，并實現(xiàn)與供應(yīng)商的實時交互，在現(xiàn)實生活中有著廣泛
的應(yīng)用價值。本發(fā)明的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，由多個步驟的圖像處理
和信息傳輸過程組成，該系統(tǒng)的結(jié)構(gòu)見圖1。 該系統(tǒng)是由場所廣告攝取單元1、客戶端2、廣告商服務(wù)器3、圖像內(nèi)容分析與檢索 單元4、廣告圖片數(shù)據(jù)庫5和商品信息數(shù)據(jù)庫6組成，其中 場所廣告攝取單元l，用戶對感興趣的場所廣告進(jìn)行拍攝，獲得場所廣告圖片；客 戶端2與場所廣告攝取單元1連接，客戶端1讀取場所廣告圖片，并輸出場所廣告圖片，實 時顯示廣告商服務(wù)器3返回的電子廣告信息；客戶端2的用戶利用電子廣告信息可進(jìn)行撥 打感興趣場所廣告中商品的廠商電話、登錄商品信息主頁操作；廣告商服務(wù)器3與客戶端2 連接，廣告商服務(wù)器3全天候的接收并輸出各個客戶端2發(fā)送的場所廣告圖片；廣告商服務(wù)器3接收圖片內(nèi)容分析與檢索單元4返回的電子廣告信息并轉(zhuǎn)發(fā)送給客戶端2 ;圖像內(nèi)容 分析與檢索單元4與廣告商服務(wù)器3、廣告圖片數(shù)據(jù)庫5和商品信息數(shù)據(jù)庫6連接，接收廣 告商服務(wù)器3提供的場所廣告圖片，在廣告圖片數(shù)據(jù)庫5中檢索與場所廣告圖片對應(yīng)的數(shù) 據(jù)庫圖片，然后利用得到的數(shù)據(jù)庫圖片索引商品信息數(shù)據(jù)庫6中的電子廣告信息，并把電 子廣告信息返回給廣告商服務(wù)器5 ;廣告圖片數(shù)據(jù)庫5由大量電子廣告圖片構(gòu)成，由廣告商 拍攝、收集并更新；這些數(shù)據(jù)庫圖片的標(biāo)簽包括商品的名稱、系列、圖片中出現(xiàn)的文字；數(shù) 據(jù)庫圖片與商品信息數(shù)據(jù)庫6中的商品信息電子廣告信息存在多對一的索引關(guān)系，對每一 幅數(shù)據(jù)庫圖片，都可以索引到商品信息數(shù)據(jù)庫6中對應(yīng)的電子廣告信息；商品信息數(shù)據(jù)庫 6由廣告圖片數(shù)據(jù)庫5中的圖片中商品的信息構(gòu)成；商品信息數(shù)據(jù)庫6中的商品的信息包 括商品的名稱、商品的系列號、商品信息主頁鏈接、商品的促銷信息、商品生產(chǎn)或提供廠家 聯(lián)系方式；商品信息數(shù)據(jù)庫6中的商品信息與廣告圖片數(shù)據(jù)庫5中的圖片存在一對多的索 引關(guān)系；對每一條產(chǎn)品信息，都可以所引到一幅或者幾幅廣告圖片數(shù)據(jù)庫5中的圖片。
所述場所廣告攝取單元1是具有照相功能的手機、數(shù)碼相機、攝像頭及具有照相 功能的設(shè)備其中的一種，具有拍攝并儲存場所廣告圖片功能。 所述客戶端2安裝在具有上網(wǎng)功能的手機、計算機或者其它具有上網(wǎng)功能的設(shè)備 上面；所述客戶端2可以隨時讀取廣告攝取單元1保存的場所廣告圖片，并發(fā)送到廣告商服 務(wù)器3 ;實時接收并顯示廣告商服務(wù)器3發(fā)送的商品電子廣告信息。 所述廣告圖片數(shù)據(jù)庫5隨場所廣告的變化而變動；對于新建的場所廣告，廣告商 收集對應(yīng)的數(shù)據(jù)庫圖片，建立新增數(shù)據(jù)庫圖片與對應(yīng)商品信息的索引關(guān)系并保存數(shù)據(jù)庫圖 片到廣告圖片數(shù)據(jù)庫5中；對過時的場所廣告，解除廣告圖片數(shù)據(jù)庫中與之對應(yīng)的過時的 數(shù)據(jù)庫圖片與商品信息數(shù)據(jù)庫6中對應(yīng)的過時的商品信息之間的索引關(guān)系，并刪除廣告圖 片數(shù)據(jù)庫5中過時的數(shù)據(jù)庫圖片。 所述商品信息數(shù)據(jù)庫6隨廣告圖片數(shù)據(jù)庫的變動而實時更新；將新建立的與廣告 數(shù)據(jù)庫圖5片建立索引關(guān)系的商品信息存入商品信息數(shù)據(jù)庫6 ;從商品信息數(shù)據(jù)庫6中刪 除被解除了 一切索引關(guān)系的商品信息。 如圖2示出，圖像內(nèi)容分析與檢索單元4的結(jié)構(gòu)，圖像內(nèi)容分析與檢索單元4包含
圖片畫面分析模塊41和圖片文字分析模塊42 ;所述圖像內(nèi)容與分析單元4采用圖片畫面
內(nèi)容檢索與圖片內(nèi)文字分析相結(jié)合的方式，增加了檢索結(jié)果的準(zhǔn)確性。 所述圖像內(nèi)容分析與檢索單元4中的圖片畫面分析模塊41包括對數(shù)據(jù)庫圖片預(yù)
處理、對場所廣告圖片實時表示和對數(shù)據(jù)庫圖片實時索引三個環(huán)節(jié)； 數(shù)據(jù)庫圖片預(yù)處理的過程包括數(shù)據(jù)庫圖片局部區(qū)域特征提取、碼本生成和數(shù)據(jù) 庫圖片向量化表示三個步驟；步驟11 :數(shù)據(jù)庫圖片局部特征提取采用尺度不變特征變換 (SIFT)檢測數(shù)據(jù)庫圖片中顯著區(qū)域并將檢測到的所有顯著區(qū)域描述為128維向量，稱之為 數(shù)據(jù)庫圖片局部特征；步驟12 :隨機選擇一部分?jǐn)?shù)據(jù)庫圖片局部特征進(jìn)行k-均值聚類，生 成k個聚類中心稱之為碼字，這k個碼字構(gòu)成碼本，這里我們選擇k = 1000 ;步驟13 :將提 取的數(shù)據(jù)庫圖片局部特征全部按照最近鄰原則映射到碼本中的碼字上，然后統(tǒng)計所有碼字 在每一幅數(shù)據(jù)庫圖片中出現(xiàn)的次數(shù)，形成碼字出現(xiàn)次數(shù)直方圖；這樣每一幅數(shù)據(jù)庫圖片對 應(yīng)著一個維數(shù)為k二 1000直方圖向量；將這個直方圖向量作為數(shù)據(jù)庫圖片的畫面的向量描 述，稱之為數(shù)據(jù)庫圖片向量；將這些向量與生成這些向量的圖片建立一對一的索引，并將這些向量保存在一個臨時文件夾T中； 場所廣告圖片實時表示包含場所廣告圖片局部區(qū)域特征提取和場所廣告圖片向 量化兩個步驟；步驟21 :采用數(shù)據(jù)庫圖片預(yù)處理步驟11中所述相同的方式，提取場所廣告 圖片局部特征；步驟22 :采用數(shù)據(jù)庫圖片預(yù)處理步驟13中所述相同的方式，生成當(dāng)前場所 廣告圖片的向量描述； 數(shù)據(jù)庫圖片實時索引指的是計算臨時文件夾T中的所有向量與場所廣告圖片向 量之間的距離D(/， Vi)為: 其中，/指的是場所廣告圖片的向量描述，Vi是第i幅數(shù)據(jù)庫圖片在臨時文件夾T 中對應(yīng)的向量描述，v(j)指的是向量v的第j維的數(shù)值。將臨時文件夾T中的向量按照與 場所廣告圖片向量之間距離從小到大的順序排列；因為臨時文件夾中數(shù)據(jù)庫圖片向量與數(shù) 據(jù)庫圖片存在一對一索引關(guān)系，因此得到了數(shù)據(jù)庫圖片的一個排列R1，稱這個排列為圖像 內(nèi)容分析與檢索單元4中圖片畫面分析模塊41的檢索結(jié)果。 所述圖像內(nèi)容分析與檢索單元4中的圖片文字分析模塊42包括場所廣告圖片的 文字區(qū)域檢測和光學(xué)字符識別(OCR)兩個環(huán)節(jié)； 場所廣告圖片文字區(qū)域檢測包括圖片灰度圖轉(zhuǎn)換、邊緣檢測、連通域分析三步；灰 度圖轉(zhuǎn)換即將三信道R， G， B彩色圖像轉(zhuǎn)換為灰度圖像Gray，通過公式
Gray = 0. 212671*R+0. 715160*G+0. 072169*B 得到場所廣告圖片的灰度圖；圖3示出本發(fā)明文字區(qū)域檢測中用到的四方向索伯 (sobel)邊緣檢測子，利用0。 ，45° ，90° ，135°四個方向的索伯(Sobel)檢測子與灰度圖 Gray做巻積，得到四個方向的邊緣圖E。。 ，E45。 E9。。 E135。；最終得到的邊緣圖在位置(x，y)點 的像素值為E(x，y) = max{E。。 (x， y) ， E45。 (x， y) ， E9。。 (x， y) ， E135。 (x， y)};然后在得到的 邊緣圖E上面，用5X5濾波器對邊緣圖E濾波來減少噪聲的影響，如圖4示出本發(fā)明5X5 平滑濾波器；對得到的邊緣圖利用大律法進(jìn)行二值化；在得到的二值圖片上進(jìn)行圖像處理 中形態(tài)學(xué)"閉"操作，聯(lián)接被斷開的邊緣；利用滑動窗的方式計算每個點周圍的邊緣密度，并 將密度相同的點組成連通域；去除太小或者太細(xì)的連通域；把剩余的具有相似連通域大小 的連通域融合，作為文本候選區(qū)域；因為圖像中的文字大小不同，因此文字檢測應(yīng)該在多個 尺度上進(jìn)行，每個尺度，也就是不同的滑動窗大小，對應(yīng)著一系列候選文字區(qū)域；然后這些 候選文字區(qū)域被輸入到光學(xué)字符識別(OCR)單元； 光學(xué)字符識別單元(OCR)檢測到輸入以后，讀入候選區(qū)域，進(jìn)行光學(xué)字符識別，并 輸出所有候選區(qū)域中包含的文字，保存在變量C中。 所述圖像內(nèi)容分析與檢索單元4中圖片文字分析模塊42的輸出結(jié)果優(yōu)化場所廣 告圖片畫面檢索的準(zhǔn)確性；取初步檢索結(jié)果Rl中前M幅數(shù)據(jù)庫圖片R2 ;對R2中的第i幅 數(shù)據(jù)庫圖片，可以得到所述的第i幅數(shù)據(jù)庫圖片的標(biāo)簽信息，統(tǒng)計所述C變量中的每個字 符在標(biāo)簽中出現(xiàn)的次數(shù)并累加，得到第i幅數(shù)據(jù)庫圖片與場所廣告圖片的文字相似度Si ; 相同的方式可以得到R2中其他數(shù)據(jù)庫圖片與場所廣告圖片的文字相似度；將R2中第i幅 數(shù)據(jù)庫圖片的在檢索隊列中的當(dāng)前位置i減去加權(quán)后的文字相似度"XSi得到新的位置 i-" XSi，"為文字相似度權(quán)值；將R2中所有數(shù)據(jù)庫圖片按照新的位置從小到大的順序重新排序，得到優(yōu)化后的檢索結(jié)果R3 ;取R3中的第一幅數(shù)據(jù)庫圖片，根據(jù)廣告商服務(wù)器3上 廣告圖片數(shù)據(jù)庫5中數(shù)據(jù)庫圖片與商品信息數(shù)據(jù)庫6中商品信息的索引找到對應(yīng)的商品信 息，返回給廣告商服務(wù)器3。 本發(fā)明的場所廣告與電子網(wǎng)絡(luò)廣告實時交互系統(tǒng)大致描述如下首先用戶利用場 所廣告攝取單元拍攝感興趣的場所廣告形成場所廣告圖片；客戶端讀取場所廣告圖片并按 照C/S(客戶端/服務(wù)器)原理通過互聯(lián)網(wǎng)將場所廣告圖片發(fā)送給廣告商服務(wù)器；廣告商服 務(wù)器接收到場所廣告圖片以后，將場所廣告圖片交給圖像內(nèi)容分析與檢索單元；圖像內(nèi)容 分析與檢索單元讀取場所廣告圖片并按照所述對圖像進(jìn)行場所廣告圖片向量化表示形成 數(shù)據(jù)庫圖片的初步檢索結(jié)果；同時圖像內(nèi)容分析與檢索單元所述進(jìn)行文字區(qū)域檢測和光學(xué) 字符識別(OCR);圖像內(nèi)容分析與檢索單元所述利用OCR識別結(jié)果對初步檢索結(jié)果進(jìn)行優(yōu) 化；其中R2內(nèi)數(shù)據(jù)庫圖片數(shù)目為100，文字相似度權(quán)值"=10 ;圖像內(nèi)容分析與檢索單元 選擇優(yōu)化后檢索結(jié)果中的第一幅數(shù)據(jù)庫圖片，利用所述廣告圖片數(shù)據(jù)庫與商品信息數(shù)據(jù)庫 之間的索引關(guān)系得到第一幅數(shù)據(jù)庫圖片對應(yīng)的商品信息數(shù)據(jù)庫中的商品信息并返回給廣 告商服務(wù)器。廣告商服務(wù)器得到圖像內(nèi)容分析與檢索單元返回的商品信息后，按照C/S(客 戶端/服務(wù)器)原理通過互聯(lián)網(wǎng)將商品信息發(fā)送給客戶端。客戶端接收到商品信息之后， 顯示給用戶供用戶選擇操作。 上述場所廣告與電子網(wǎng)絡(luò)廣告實時交互系統(tǒng)具有高度的實用性和應(yīng)用價值。
以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
一種場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，該系統(tǒng)是由場所廣告攝取單元、客戶端、廣告商服務(wù)器、圖像內(nèi)容分析與檢索單元、商品信息數(shù)據(jù)庫和廣告圖片數(shù)據(jù)庫組成，其中場所廣告攝取單元，用戶對感興趣的場所廣告進(jìn)行拍攝，獲得場所廣告圖片；客戶端與場所廣告攝取單元連接，客戶端讀取場所廣告圖片，并輸出場所廣告圖片，實時顯示廣告商服務(wù)器返回的電子廣告信息；客戶端的用戶利用電子廣告信息可進(jìn)行撥打感興趣場所廣告中商品的廠商電話、登錄商品信息主頁操作；廣告商服務(wù)器與客戶端連接，廣告商服務(wù)器全天候的接收并輸出各個客戶端發(fā)送的場所廣告圖片；廣告商服務(wù)器接收圖片內(nèi)容分析與檢索單元返回的電子廣告信息并轉(zhuǎn)發(fā)送給客戶端；圖像內(nèi)容分析與檢索單元與廣告商服務(wù)器、廣告圖片數(shù)據(jù)庫和商品信息數(shù)據(jù)庫連接，接收廣告商服務(wù)器提供的場所廣告圖片，在廣告圖片數(shù)據(jù)庫中檢索與場所廣告圖片對應(yīng)的數(shù)據(jù)庫圖片，然后利用得到的數(shù)據(jù)庫圖片索引商品信息數(shù)據(jù)庫中的電子廣告信息，并把電子廣告信息返回給廣告商服務(wù)器；廣告圖片數(shù)據(jù)庫由大量電子廣告圖片構(gòu)成，由廣告商拍攝、收集并更新；這些數(shù)據(jù)庫圖片的標(biāo)簽包括商品的名稱、系列、圖片中出現(xiàn)的文字；數(shù)據(jù)庫圖片與商品信息數(shù)據(jù)庫中的商品信息電子廣告信息存在多對一的索引關(guān)系，對每一幅數(shù)據(jù)庫圖片，都可以索引到商品信息數(shù)據(jù)庫中對應(yīng)的電子廣告信息；商品信息數(shù)據(jù)庫由廣告圖片數(shù)據(jù)庫中的圖片中商品的信息構(gòu)成；商品信息數(shù)據(jù)庫中的商品的信息包括商品的名稱、商品的系列號、商品信息主頁鏈接、商品的促銷信息、商品生產(chǎn)或提供廠家聯(lián)系方式；商品信息數(shù)據(jù)庫中的商品信息與廣告圖片數(shù)據(jù)庫中的圖片存在一對多的索引關(guān)系；對每一條產(chǎn)品信息，都可以索引到一幅或者幾幅廣告圖片數(shù)據(jù)庫中的圖片。
2. 如權(quán)利要求1所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 場所廣告攝取單元是具有照相功能的手機、數(shù)碼相機、攝像頭及具有照相功能的設(shè)備其中 的一種，具有拍攝并儲存場所廣告圖片功能。
3. 如權(quán)利要求1所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 客戶端安裝在具有上網(wǎng)功能的手機、計算機或者其它具有上網(wǎng)功能的設(shè)備上面；所述客戶 端可以隨時讀取廣告攝取單元保存的場所廣告圖片，并發(fā)送到廣告商服務(wù)器；實時接收并 顯示廣告商服務(wù)器發(fā)送的商品電子廣告信息。
4. 如權(quán)利要求1所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 廣告圖片數(shù)據(jù)庫隨場所廣告的變化而變動；對于新建的場所廣告，廣告商收集對應(yīng)的數(shù)據(jù) 庫圖片，建立新增數(shù)據(jù)庫圖片與對應(yīng)商品信息的索引關(guān)系并保存數(shù)據(jù)庫圖片到廣告圖片數(shù) 據(jù)庫中；對過時的場所廣告，解除廣告圖片數(shù)據(jù)庫中與之對應(yīng)的過時的數(shù)據(jù)庫圖片與商品 信息數(shù)據(jù)庫中對應(yīng)的過時的商品信息之間的索引關(guān)系，并刪除廣告圖片數(shù)據(jù)庫中過時的數(shù) 據(jù)庫圖片。
5. 如權(quán)利要求1所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 商品信息數(shù)據(jù)庫隨廣告圖片數(shù)據(jù)庫的變動而實時更新；將新建立的與廣告數(shù)據(jù)庫圖片建立 索引關(guān)系的商品信息存入商品信息數(shù)據(jù)庫；從商品信息數(shù)據(jù)庫中刪除被解除了一切索引關(guān)系的商品信息。
6. 如權(quán)利要求l所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 圖像內(nèi)容分析與檢索單元包含圖片畫面分析模塊和文字分析模塊；所述圖像內(nèi)容與分析單 元采用圖片畫面內(nèi)容檢索與圖片內(nèi)文字分析相結(jié)合的方式，增加了檢索結(jié)果的準(zhǔn)確性。
7. 如權(quán)利要求6所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 圖像內(nèi)容分析與檢索單元中的圖片畫面分析模塊包括對數(shù)據(jù)庫圖片預(yù)處理、對場所廣告圖 片實時表示和對數(shù)據(jù)庫圖片實時索引三個環(huán)節(jié)；數(shù)據(jù)庫圖片預(yù)處理的過程包括數(shù)據(jù)庫圖片局部區(qū)域特征提取、碼本生成和數(shù)據(jù)庫圖片 向量化表示三個步驟；步驟11 :數(shù)據(jù)庫圖片局部特征提取采用尺度不變特征變換檢測數(shù)據(jù)庫圖片中顯著區(qū) 域并將檢測到的所有顯著區(qū)域描述為128維向量，稱之為數(shù)據(jù)庫圖片局部特征；步驟12 :隨機選擇一部分?jǐn)?shù)據(jù)庫圖片局部特征進(jìn)行k-均值聚類，生成k個聚類中心稱 之為碼字，這k個碼字構(gòu)成碼本；步驟13 :將提取的數(shù)據(jù)庫圖片局部特征全部按照最近鄰原則映射到碼本中的碼字上， 然后統(tǒng)計所有碼字在每一幅數(shù)據(jù)庫圖片中出現(xiàn)的次數(shù)，形成碼字出現(xiàn)次數(shù)直方圖；這樣每 一幅數(shù)據(jù)庫圖片對應(yīng)著一個直方圖向量；將這些直方圖向量作為數(shù)據(jù)庫圖片的畫面的向量 描述，稱之為數(shù)據(jù)庫圖片向量；將這些向量與生成這些向量的圖片建立一對一的索引，并將 這些向量保存在一個臨時文件夾T中；場所廣告圖片實時表示包含場所廣告圖片局部區(qū)域特征提取和場所廣告圖片向量化 兩個步驟；步驟21 :采用數(shù)據(jù)庫圖片預(yù)處理步驟ll中所述相同的方式，提取場所廣告圖片局部特征；步驟22 :采用數(shù)據(jù)庫圖片預(yù)處理步驟13中所述相同的方式，生成當(dāng)前場所廣告圖片的 向量描述；數(shù)據(jù)庫圖片實時索引指的是計算臨時文件夾T中的所有向量與場所廣告圖片向量之 間的距離D(/， Vi)為:<formula>formula see original document page 3</formula>其中，/指的是場所廣告圖片的向量描述，Vi是第i幅數(shù)據(jù)庫圖片在臨時文件夾T中 對應(yīng)的向量描述，v(j)指的是向量v的第j維的數(shù)值，將臨時文件夾T中的向量按照與場 所廣告圖片向量之間距離從小到大的順序排列；因為臨時文件夾中數(shù)據(jù)庫圖片向量與數(shù)據(jù) 庫圖片存在一對一索引關(guān)系，因此得到了數(shù)據(jù)庫圖片的一個排列R1，稱這個排列為圖像內(nèi) 容分析與檢索單元圖片畫面分析模塊的檢索結(jié)果。
8.如權(quán)利要求l所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 圖像內(nèi)容分析與檢索單元中的圖片內(nèi)文字分析模塊包括場所廣告圖片的文字區(qū)域檢測和 光學(xué)字符識別兩個環(huán)節(jié)；場所廣告圖片文字區(qū)域檢測包括圖片灰度圖轉(zhuǎn)換、邊緣檢測、連通域分析三步；灰度圖 轉(zhuǎn)換即將三信道R， G， B彩色圖像轉(zhuǎn)換為灰度圖像Gray，通過公式<formula>formula see original document page 3</formula>得到場所廣告圖片的灰度圖；利用(T ，45° ，90° ，135°四個方向的索伯(Sobel)檢 測子與灰度圖Gray做巻積，得到四個方向的邊緣圖EO。 ，E45。 E9。。 E135。；最終得到的邊緣圖 在位置(x，y)點的像素值為E (x， y) = max {E0。 (x， y) ， E45。 (x， y) ， E90。 (x， y) ， E135。 (x， y)};然后在得到的邊緣圖E上面，用5X5濾波器對邊緣圖E濾波；對得到的邊緣圖利用大 律法進(jìn)行二值化；在得到的二值圖片上進(jìn)行圖像處理中形態(tài)學(xué)"閉"操作，聯(lián)接被斷開的邊 緣；利用滑動窗的方式計算每個點周圍的邊緣密度，并將密度相同的點組成連通域；去除 太小或者太細(xì)的連通域；把剩余的具有相似連通域大小的連通域融合，作為文本候選區(qū)域； 在多個尺度上對圖像中大小不同的文字進(jìn)行檢測，每個尺度是不同大小的滑動窗，對應(yīng)著 一系列候選文字區(qū)域；然后這些候選文字區(qū)域被輸入到光學(xué)字符識別單元；光學(xué)字符識別單元檢測到輸入以后，讀入候選區(qū)域，進(jìn)行光學(xué)字符識別，并輸出所有候 選區(qū)域中包含的文字，保存在變量C中。
9.如權(quán)利要求7所述的場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，其特征在于，所述 圖像內(nèi)容分析與檢索單元中文字分析模塊的輸出結(jié)果優(yōu)化場所廣告圖片畫面檢索的準(zhǔn)確 性；取初步檢索結(jié)果R1中前M幅數(shù)據(jù)庫圖片R2 ;對R2中的第i幅數(shù)據(jù)庫圖片，得到所述的 第i幅數(shù)據(jù)庫圖片的標(biāo)簽信息，統(tǒng)計所述C變量中的每個字符在標(biāo)簽中出現(xiàn)的次數(shù)并累加， 得到第i幅數(shù)據(jù)庫圖片與場所廣告圖片的文字相似度Si ;相同的方式可以得到R2中其他數(shù) 據(jù)庫圖片與場所廣告圖片的文字相似度；將R2中第i幅數(shù)據(jù)庫圖片的在檢索隊列中的當(dāng)前 位置i減去加權(quán)后的文字相似度"XSi得到新的位置i-" XSi，"為文字相似度權(quán)值；將 R2中所有數(shù)據(jù)庫圖片按照新的位置從小到大的順序重新排序，得到優(yōu)化后的檢索結(jié)果R3 ; 取R3中的第一幅數(shù)據(jù)庫圖片，根據(jù)廣告商服務(wù)器上廣告圖片數(shù)據(jù)庫中數(shù)據(jù)庫圖片與商品 信息數(shù)據(jù)庫中商品信息的索引找到對應(yīng)的商品信息，返回給廣告商服務(wù)器。
全文摘要
本發(fā)明為一種場所廣告與電子廣告數(shù)據(jù)實時交互的系統(tǒng)，該系統(tǒng)包括用戶利用場所廣告攝取單元拍攝場所廣告圖片，客戶端讀取場所廣告圖片并發(fā)送給廣告商服務(wù)器；廣告商服務(wù)器將接收的場所廣告圖片交給圖像內(nèi)容分析與檢索單元；圖像內(nèi)容分析與檢索單元在廣告圖片數(shù)據(jù)庫中檢索對應(yīng)的數(shù)據(jù)庫圖片并將檢索結(jié)果中數(shù)據(jù)庫圖片對應(yīng)的商品信息數(shù)據(jù)庫中的相關(guān)信息返回給廣告商服務(wù)器；廣告商服務(wù)器將圖像內(nèi)容分析與檢索單元返回的商品信息發(fā)送給客戶端。圖像內(nèi)容分析與檢索單元采用圖像畫面內(nèi)容檢索和文字區(qū)域檢測與文字識別相結(jié)合，增加了系統(tǒng)的穩(wěn)定性和可靠性；利用手機信號，互聯(lián)網(wǎng)可實時方便的完成用戶與廣告提供商、廠商的交互。
文檔編號G06F17/30GK101789111SQ20091024451
公開日2010年7月28日 申請日期2009年12月30日 優(yōu)先權(quán)日2009年12月30日
發(fā)明者張琳波, 王春恒, 肖柏華 申請人:中國科學(xué)院自動化研究所