本發(fā)明涉及了一種交互系統(tǒng)，涉及了一種圖書vr和ar體驗交互系統(tǒng)。

背景技術(shù)：

傳統(tǒng)上的出版業(yè)，是基于2d形態(tài)，并且是以紙質(zhì)或者是電子圖片形式呈現(xiàn)出來的。從21世紀(jì)開始，虛擬現(xiàn)實技術(shù)對于傳統(tǒng)的出版業(yè)展現(xiàn)方式有了很大的改進(jìn)，目前已經(jīng)有傳統(tǒng)出版商在利用ar打造全新的出版物，但存在不少問題。

虛擬現(xiàn)實(virtualreality，簡稱vr)技術(shù)是21世紀(jì)計算機(jī)領(lǐng)域最重要、最新奇的研究方向之一。它與互聯(lián)網(wǎng)技術(shù)、多媒體技術(shù)融合后成為改變?nèi)藗兩罘绞健⑼苿由鐣M(jìn)步的關(guān)鍵技術(shù)。虛擬現(xiàn)實的實現(xiàn)，首先是在計算機(jī)環(huán)境下創(chuàng)建能夠?qū)θ说囊曈X、聽覺、觸覺、嗅覺等器官產(chǎn)生感知作用的虛擬環(huán)境，之后體驗者能夠通過人的基本行為與計算機(jī)創(chuàng)建的虛擬世界進(jìn)行互動。先進(jìn)的傳感設(shè)備和現(xiàn)實設(shè)備，能夠增強(qiáng)人與虛擬環(huán)境的交互感，提高體驗者的真實感，從而啟發(fā)人的認(rèn)知能力，喚起人對真實時空環(huán)境的構(gòu)想。如果說李普曼提到的擬態(tài)環(huán)境及環(huán)境化理論主要針對的是人在長期社會化過程中與媒介的互動，那么虛擬現(xiàn)實技術(shù)則大大降低了人與媒介互動的時空限制，使得擬態(tài)環(huán)境環(huán)境化的過程達(dá)到立竿見影的效果。在實際應(yīng)用中，根據(jù)“沉浸感”和“交互感”程度的不同，分為vr(虛擬現(xiàn)實)和ar(增強(qiáng)現(xiàn)實)。

但是現(xiàn)有的ar出版物存在以下問題：

(1)各行業(yè)需求不同，展示內(nèi)容也不同，而目前軟件系統(tǒng)僅僅是根據(jù)各行業(yè)線的實際情況進(jìn)行特征化開發(fā)，這就造成了不同行業(yè)線開發(fā)的圖書軟件各不同，無法實現(xiàn)圖書類軟件的通用化和標(biāo)準(zhǔn)化；

(2)市面上的圖書類軟件系統(tǒng)大多沒有智能化開發(fā)，不能進(jìn)行軟件的自學(xué)習(xí)；

(3)2d平面顯示：就像看到一堵墻一樣，沒有立體感；

(4)3d立體顯示：可以看到立體的圖像，但是不能感知到有多少物體。

現(xiàn)有的電子圖書以及紙質(zhì)圖書存在以下問題：

(1)展現(xiàn)形式單一，沒有一種是既實現(xiàn)vr的同時、又結(jié)合ar元素的設(shè)計模式；

(2)由于沒有圖書類軟件開發(fā)的行業(yè)標(biāo)準(zhǔn)，現(xiàn)有各行業(yè)的圖書系統(tǒng)均采用符合特定行業(yè)的針對性開發(fā)，不能通用到各行業(yè)線；

(3)缺乏趣味性和互動性；

(4)內(nèi)容形式不夠豐富，信息傳達(dá)量有限；

(5)一般軟件沒有實現(xiàn)智能化，所有功能點(diǎn)或者導(dǎo)讀小精靈都是預(yù)先設(shè)定好的場景或問題進(jìn)行回答。

技術(shù)實現(xiàn)要素：

為解決背景技術(shù)中存在的問題，本發(fā)明所提供一種圖書vr和ar體驗交互系統(tǒng)，能夠?qū)崿F(xiàn)圖書圖片的采集輸入、識別、存儲、提取和展示。

本發(fā)明采用的技術(shù)方案是：

本發(fā)明涉及是新的圖書交互體系，完全脫離各行業(yè)線圖書的業(yè)務(wù)屬性。本發(fā)明考慮到不同行業(yè)線需求不同，形成可擴(kuò)充和動態(tài)定義的數(shù)據(jù)結(jié)構(gòu)。在底層沒有任何業(yè)務(wù)層面上的數(shù)據(jù)，核心功能在于以下涉及的幾個模塊。

包括內(nèi)容數(shù)據(jù)庫，內(nèi)容數(shù)據(jù)庫內(nèi)存儲有各本圖書、每本圖書的各張圖書圖片、每張圖書圖片的內(nèi)容輸入模型及其內(nèi)容數(shù)據(jù)、每張圖書圖片的圖書數(shù)據(jù)以及vr和ar資源數(shù)據(jù)、通用內(nèi)容輸入模型；

包括圖像識別模塊，對通過多種途徑采集獲得的圖書圖片進(jìn)行圖像識別，識別出圖書圖片的特征屬性并發(fā)送給動態(tài)存儲模塊，或者識別出圖書圖片的圖片基本信息和特征屬性發(fā)送給動態(tài)展示模塊；

包括動態(tài)存儲模塊，根據(jù)圖書圖片所對應(yīng)的特征屬性將圖書圖片進(jìn)行處理為圖書數(shù)據(jù)存儲到內(nèi)容數(shù)據(jù)庫中；

包括大數(shù)據(jù)分析模塊，從內(nèi)容數(shù)據(jù)庫獲取所有圖書圖片的內(nèi)容輸入模型，分析出相同特征屬性的圖書圖片的內(nèi)容輸入模型中的共同類目，并組成通用內(nèi)容輸入模型存儲到內(nèi)容數(shù)據(jù)庫中，用于為相同特征屬性的圖書圖片進(jìn)行動態(tài)編輯；

包括動態(tài)展示模塊，根據(jù)圖片基本信息從內(nèi)容數(shù)據(jù)庫提取相同的圖書數(shù)據(jù)和內(nèi)容輸入模型的內(nèi)容數(shù)據(jù)進(jìn)行展示，并根據(jù)圖書數(shù)據(jù)的特征屬性搜索到vr和ar資源數(shù)據(jù)進(jìn)行展示。

所述的通過多種途徑采集獲得的圖書圖片具體可以是包括從紙質(zhì)實體圖書中拍照或者掃描采集到的圖書圖片，從網(wǎng)頁、app應(yīng)用或者視頻中截圖獲得的圖書圖片以及直接下載獲得的電子圖書圖片，但不限于此。

所述圖書數(shù)據(jù)包括圖片本身、圖片的靜態(tài)資源文件指紋md5、像素灰度值以及特征值。

多張圖片對應(yīng)的圖書數(shù)據(jù)可以組合形成一本圖書的數(shù)據(jù)。

所述的動態(tài)展示模塊所展示的vr和ar資源數(shù)據(jù)是包括與圖書圖片具有同一內(nèi)容屬性的vr和ar視頻或者全景圖片、三維虛擬模型。

vr和ar資源數(shù)據(jù)是預(yù)先通過采集或者構(gòu)建得到的。

所述的特征屬性包括行業(yè)屬性和內(nèi)容屬性：由于不同行業(yè)具有不同的行業(yè)屬性，針對不同行業(yè)對應(yīng)的圖書數(shù)據(jù)在通過動態(tài)存儲模塊存儲到內(nèi)容數(shù)據(jù)庫中具有不同的特征值；針對同一行業(yè)屬性，細(xì)分為內(nèi)容屬性，同一行業(yè)屬性但不同內(nèi)容屬性的圖書數(shù)據(jù)在通過動態(tài)存儲模塊存儲到內(nèi)容數(shù)據(jù)庫中具有不同的特征值。

所述的內(nèi)容輸入模型與圖書圖片的內(nèi)容屬性所對應(yīng)，內(nèi)容輸入模型主要由具有用于輸入圖書所表達(dá)內(nèi)容的多個類目構(gòu)成。

所述的動態(tài)展示模塊根據(jù)圖書數(shù)據(jù)對應(yīng)的行業(yè)屬性及其自身內(nèi)容中涉及的內(nèi)容屬性從互聯(lián)網(wǎng)或者內(nèi)容數(shù)據(jù)庫中找到屬于同一行業(yè)屬性且同一內(nèi)容屬性的資源數(shù)據(jù)和模型數(shù)據(jù)進(jìn)行展示。即展示時展示與所選擇圖片數(shù)據(jù)具有相同行業(yè)屬性的其他圖片數(shù)據(jù)和vr和ar資源數(shù)據(jù)以及三維模型數(shù)據(jù)。

所述的動態(tài)展示模塊提取圖書數(shù)據(jù)進(jìn)行動態(tài)展示后，在圖片的內(nèi)容所在區(qū)域生成供用戶選擇點(diǎn)擊的熱點(diǎn)，熱點(diǎn)鏈接到圖書數(shù)據(jù)以及vr和ar資源數(shù)據(jù)。用戶點(diǎn)擊可點(diǎn)擊熱點(diǎn)跳轉(zhuǎn)至vr/ar模式，可以更加形象生動地展示內(nèi)容。

所述的動態(tài)展示模塊的展示形式有ar電子書、vr電子書、ar+vr電子書等。每個資源都是對紙質(zhì)書內(nèi)容的豐富和完善，使得單張紙質(zhì)或者電子書籍可以展現(xiàn)更多的信息，并且具有立體感和生動形象的特性，使用戶可以連貫的進(jìn)行閱讀。

所述動態(tài)展示模塊根據(jù)圖片基本信息從內(nèi)容數(shù)據(jù)庫提取相同的圖書數(shù)據(jù)是按照以下方式處理：

如果所識別的圖書圖片是通過拍照或者掃描采集到的，將所識別的圖書圖片轉(zhuǎn)化為灰度圖片，并將每個像素的灰度值與內(nèi)容數(shù)據(jù)庫中圖片對應(yīng)像素的灰度值進(jìn)行比較獲得，若像素值的灰度值偏差在灰度閾值范圍的總像素數(shù)量占至少90％以上則認(rèn)為兩者圖片相同。

如果所識別的圖書圖片是電子圖片的，那么根據(jù)靜態(tài)資源文件指紋md5進(jìn)行比對，若內(nèi)容數(shù)據(jù)庫中的圖片和所識別的圖片的靜態(tài)資源文件指紋md5相同則認(rèn)為兩者圖片相同。

本發(fā)明系統(tǒng)還包括有反饋模塊，反饋模塊包含提供用戶進(jìn)行提問的輸入模塊、將用戶提問內(nèi)容進(jìn)行分析從問答數(shù)據(jù)庫中尋找提問答案的解答模塊、提供用戶對提問答案提出反饋的回復(fù)模塊以及根據(jù)用戶反饋進(jìn)行分析對問答數(shù)據(jù)庫優(yōu)化的優(yōu)化模塊。反饋模塊進(jìn)行用戶進(jìn)行提問的輸入過程、問題分析過程、解答過程和滿意度評價過程。

反饋模塊將用戶提出的問題提取關(guān)鍵字后，從數(shù)據(jù)庫中進(jìn)行語義算法搜索尋找多條合適的反饋信息，并按照符合關(guān)鍵字?jǐn)?shù)量和反饋滿意度評價排序后反饋用戶。

所述的問答數(shù)據(jù)庫是由問題關(guān)鍵詞預(yù)先構(gòu)建得到語義數(shù)據(jù)模型，是已知模型。

本發(fā)明的有益效果是：

本發(fā)明不但能夠有效地豐富內(nèi)容展示，把內(nèi)容由靜變?yōu)閯?，不再是沒有立體感的圖像，而且使內(nèi)容更具展現(xiàn)力，大大吸引用戶繼續(xù)閱讀的欲望，具有趣味性和互動性。

本發(fā)明結(jié)合不同的內(nèi)容需求，以vr、ar等不同的方式展現(xiàn)，展現(xiàn)方式更加多元化、用戶體驗效果更好。

本發(fā)明將紙質(zhì)介質(zhì)數(shù)字化，更便于存儲和傳播，并且增強(qiáng)了閱讀過程中的交互性及趣味性。

本發(fā)明整合了各個行業(yè)線的實際情況進(jìn)行融合設(shè)計，沒有和具體行業(yè)線業(yè)務(wù)掛鉤，實現(xiàn)了圖書類數(shù)據(jù)的通用化和標(biāo)準(zhǔn)化，能通用到各行業(yè)線，最終實現(xiàn)制定所有行業(yè)線各類別圖書的行業(yè)標(biāo)準(zhǔn)。

并且能夠通過反饋模塊的自學(xué)習(xí)進(jìn)行優(yōu)化和智能化，增強(qiáng)系統(tǒng)簡便性和回復(fù)的準(zhǔn)確性。

附圖說明

圖1是本發(fā)明的動態(tài)展示模塊基本展示框架圖。

具體實施方式

下面結(jié)合附圖及具體實施例對本發(fā)明作進(jìn)一步詳細(xì)說明。

本發(fā)明的具體實施過程是：

一、圖書圖片和vr和ar資源數(shù)據(jù)的編輯、制作與存儲

(1)采用大數(shù)據(jù)分析模塊進(jìn)行圖書圖片的編輯

內(nèi)容數(shù)據(jù)庫中已存儲有所有圖書圖片的內(nèi)容輸入模型及其類目，

大數(shù)據(jù)分析模塊獲取這些信息分析出相同特征屬性的圖書圖片的內(nèi)容輸入模型中的共同類目，并組成通用內(nèi)容輸入模型存儲到內(nèi)容數(shù)據(jù)庫中，用于為相同特征屬性的圖書圖片進(jìn)行動態(tài)存儲；

例如教育行業(yè)線的圖書圖片的內(nèi)容屬性是數(shù)學(xué)，所組成構(gòu)建的通用內(nèi)容輸入模型包含有公式定律名稱、公式定律的表達(dá)式和來源等。

例如旅游行業(yè)線的圖書圖片的內(nèi)容屬性是某一景點(diǎn)，所組成構(gòu)建的通用內(nèi)容輸入模型包含有該景點(diǎn)名稱、景點(diǎn)的等級和介紹等。

內(nèi)容數(shù)據(jù)庫中可以對內(nèi)容輸入模型的每個類目進(jìn)行編輯和修改。

(2)采用圖像識別模塊和動態(tài)存儲模塊進(jìn)行圖書圖片的存儲

(2.1)通過拍照或者掃描采集的，確定圖像邊界(確定邊界可以通過添加外框或者判斷圖形最外圈四條線色差過大或白框)后，再拉伸或縮小至1024*1024分辨率，再采用以下分別處理：

a、轉(zhuǎn)化為灰度圖片，記錄每個像素的灰度值；

b、同時將灰度圖片根據(jù)圖像識別模塊識別出圖片中的內(nèi)容及其內(nèi)容區(qū)域，獲得內(nèi)容特征值。

(2.2)直接獲得原始文件的電子圖片的，采用以下分別處理：

a、記錄原始文件的電子圖片文件指紋md5；

b、同時將原始文件的電子圖片根據(jù)圖像識別模塊識別出圖片中的內(nèi)容及其內(nèi)容區(qū)域，獲得內(nèi)容特征值。

將圖片的靜態(tài)資源文件指紋md5或者像素灰度值以及特征值和圖片本身一起通過動態(tài)存儲模塊存儲到內(nèi)容數(shù)據(jù)庫中。

對于特征值，針對不同行業(yè)具有不同的特征值，不同內(nèi)容屬性具有不同的特征值。具體實施中，一張圖片可能具有多個內(nèi)容區(qū)域，包含多種特征值。

比如旅游業(yè)圖書，旅游業(yè)圖書數(shù)據(jù)的特征值可以是山脈的海拔、經(jīng)緯度坐標(biāo)以及環(huán)境氣候、溫度等。旅游業(yè)圖書細(xì)分為山脈、河流、湖泊、古城等。如果旅游業(yè)的圖書中具有山脈，那么該圖書數(shù)據(jù)的特征值就可以是該山脈對應(yīng)的海拔、經(jīng)緯度坐標(biāo)。

比如教育業(yè)圖書，教育業(yè)圖書數(shù)據(jù)的特征值可以是定律名稱、數(shù)據(jù)公式以及適用場景。比如教育業(yè)圖書細(xì)分為科學(xué)、人文、藝術(shù)等，科學(xué)內(nèi)容屬性對應(yīng)的特征值就可以是該公式對應(yīng)的原理定律。

(3)針對vr和ar資源數(shù)據(jù)

(3.1)vr資源數(shù)據(jù)制作

使用三腳架固定相機(jī)，相機(jī)在同一個位置依次旋轉(zhuǎn)三次取景，每次旋轉(zhuǎn)120度，最后鏡頭垂直對準(zhǔn)地面取景一次，然后使用合成軟件拼接為一張全景圖片。

(3.2)ar資源數(shù)據(jù)和三維模型制作

針對不同書籍里面的行業(yè)屬性和內(nèi)容屬性制作不同的ar背景視頻或者3d模型并渲染。

錄制ar的音頻內(nèi)容并剪輯。

將vr和ar資源數(shù)據(jù)通過動態(tài)存儲模塊設(shè)置有對應(yīng)的特征值(該特征值和圖書圖片的設(shè)置相同)，存儲到內(nèi)容數(shù)據(jù)庫中。

二、圖書圖片和vr和ar資源數(shù)據(jù)的識別與展示

(1)獲取需識別圖片等靜態(tài)資源，再根據(jù)圖像識別模塊進(jìn)行識別：

(1.1)對于非拍攝的圖片、3d場景等靜態(tài)資源：

直接獲取靜態(tài)資源文件指紋md5和內(nèi)容數(shù)據(jù)庫中各個圖片的靜態(tài)資源文件指紋md5組成的靜態(tài)資源文件指紋庫進(jìn)行對比，如果指紋信息對應(yīng)相通，直接從內(nèi)容數(shù)據(jù)庫中提取出該靜態(tài)資源文件對應(yīng)的圖片和圖片數(shù)據(jù)以及關(guān)聯(lián)的vr和ar資源數(shù)據(jù)，發(fā)送給動態(tài)展示模塊。

(1.2)對于紙質(zhì)書籍的拍攝圖片(一般是平面圖像)：

由于光線等客觀問題，如果通過文件指紋md5是無法識別出對應(yīng)相通的資源。

先把拍攝的圖像通過添加外框或者判斷圖形最外圈四條線色差過大或白框來確定圖像邊界后，再拉伸或縮小至1024*1024分辨率。

接著對每個像素進(jìn)行灰度處理，公式為gray＝(r*30+g*59+b*11)/100，把結(jié)果數(shù)據(jù)和內(nèi)容數(shù)據(jù)庫中各個圖片同一像素位置的灰度值進(jìn)行一一對比。對比時如果同一像素位置的灰度值的偏差在合理偏差范圍內(nèi)(如正負(fù)偏差3)則算成功對應(yīng)1個像素點(diǎn)。如果成功對應(yīng)的像素點(diǎn)數(shù)量在90％以上(可系統(tǒng)調(diào)節(jié)該參數(shù))則算成功對應(yīng)。

最后把圖片對比后，從內(nèi)容數(shù)據(jù)庫中找出成功對應(yīng)的像素點(diǎn)數(shù)量最大的那個圖片及其圖片數(shù)據(jù)和ar/vr資源數(shù)據(jù)進(jìn)行顯示。

(2)進(jìn)行展示：

如圖1所示，將圖片單張或者多張同時進(jìn)行顯示，動態(tài)展示模塊可顯示所有圖書(如一個企業(yè)簡介包含企業(yè)介紹、部門介紹、產(chǎn)品介紹等可視為多本圖書)，也可直接進(jìn)入后就是該客戶的一本圖書(如電影宣發(fā))。例如圖1中的book_a和book_b分別存儲錄入到內(nèi)容數(shù)據(jù)庫中，然后展示時可進(jìn)行針對多本圖書或者單本圖書的分別展示，用戶在多本圖書展示下選擇單本圖書，則轉(zhuǎn)為展示單本圖書下的每頁圖書圖片。

具體實施中，還可以根據(jù)內(nèi)容區(qū)域和屏幕坐標(biāo)配置表動態(tài)生成可交互熱點(diǎn)，生成從可交互熱點(diǎn)到vr資源數(shù)據(jù)或者ar資源數(shù)據(jù)的鏈接。

vr資源數(shù)據(jù)通過vr功能模塊展示，采用opengl(opengraphicslibrary)繪制vr雙屏，基于頂點(diǎn)位移的反畸變算法對凸透鏡成像下的畸變圖像進(jìn)行畸變補(bǔ)償，矯正凸透鏡下的內(nèi)容資源已達(dá)到更加真實的展現(xiàn)效果。

ar資源數(shù)據(jù)通過ar功能模塊展示，采用圖像識別技術(shù)獲取圖像特征，把和參考圖片匹配度最高的圖片作為目標(biāo)圖片，展示和目標(biāo)圖片對應(yīng)的模型對象。

動態(tài)展示模塊可提供多方面的接口進(jìn)行輸出如網(wǎng)頁、桌面軟件、微信公眾號和app等。本發(fā)明可以將實體書與手機(jī)結(jié)合或者直接轉(zhuǎn)變?yōu)槭謾C(jī)觀看，讓用戶能夠打開或者掃描圖像識別出所需的內(nèi)容，即跳轉(zhuǎn)熱點(diǎn)即可跳轉(zhuǎn)至vr、ar模式下觀看。

在手機(jī)中將以實體書的內(nèi)容為放射點(diǎn)，放射出更多精彩的相關(guān)內(nèi)容。并且紙質(zhì)媒體、手機(jī)+ar、手機(jī)+vr三界之間的跳轉(zhuǎn)均由ar元素巧妙過渡，不會顯得生硬或突兀。其中手機(jī)+ar的主要表現(xiàn)形式為3d動畫，手機(jī)+vr的主要表現(xiàn)形式為全景視頻/全景圖片。全景類資源將會有普通和vr兩種模式提供觀看，使用戶即使沒有vr設(shè)備也可以暢游體驗全景世界。

本發(fā)明作為基礎(chǔ)框架，可收集不同行業(yè)對業(yè)務(wù)屬性的需求，匯總到大數(shù)據(jù)分析服務(wù)器，通過大數(shù)據(jù)分析，對每一個行業(yè)共性的屬性進(jìn)行分析和共享，形成各行業(yè)線不同類別圖書的數(shù)據(jù)模型，最終只需要通過選擇同行業(yè)線同類別圖書的數(shù)據(jù)模型，就能快捷搭建出完整的圖書系統(tǒng)。

具體實施中，本發(fā)明還配置有反饋模塊，反饋模塊包含有提供用戶進(jìn)行提問的過程、問題分析過程、解答過程和滿意度評價過程。將用戶提出的問題提取關(guān)鍵字后，從數(shù)據(jù)庫中尋找多條合適的反饋信息，并按照符合關(guān)鍵字?jǐn)?shù)量和反饋滿意度評價排序后反饋用戶。反饋模塊通過常規(guī)回復(fù)和客戶反饋回復(fù)質(zhì)量評價等數(shù)據(jù)的匯集，根據(jù)用戶新問題中分詞后的關(guān)鍵詞，來匹配出以往的常用回復(fù)，可不斷擴(kuò)充回復(fù)資源庫。