本發(fā)明屬于圖像處理，尤其涉及一種自動化圖書盤點與異常預警系統(tǒng)及方法。

背景技術：

1、傳統(tǒng)的圖書盤點工作主要依賴人工操作，既耗時費力，又易產生錯誤，尤其是在大型圖書館或書店中，面對海量且種類繁多的圖書，人工盤點效率低下，難以滿足現(xiàn)代圖書館管理對高效性和準確性的要求?，F(xiàn)有的圖書管理系統(tǒng)雖引入了條形碼技術以輔助管理，但在實際應用中，條形碼的快速定位與識別仍然存在較大挑戰(zhàn)，特別是在書架密集、排列復雜的環(huán)境下，手動掃描每本書的條形碼極為不便，容易導致遺漏或重復計數。此外，書籍擺放不規(guī)范（如書籍倒置、反向擺放或條形碼被遮擋）的情況頻繁出現(xiàn)，進一步增加了盤點難度。對于圖書異常狀態(tài)的監(jiān)測，傳統(tǒng)系統(tǒng)普遍缺乏有效的自動化監(jiān)控和預警機制，導致問題無法及時發(fā)現(xiàn)，從而影響圖書資源的有效管理和讀者的使用體驗。

2、在現(xiàn)有技術背景下，圖書自動盤點系統(tǒng)主要分為兩類。其一是基于rfid技術的系統(tǒng)，該系統(tǒng)利用rfid的非接觸讀寫特性，實現(xiàn)了對書籍的精準定位與實時管理，允許書籍無序擺放并實現(xiàn)有序管理。專利cn202210378539.5公開了一種基于圖書盤點機器人的圖書盤點方法，該方法融合了rfid技術與視覺傳感技術，顯著提高了盤點效率和準確性，能夠精確定位書籍的具體位置，并減少誤盤點現(xiàn)象，有效識別空書架。然而，此類方案的成本較高，且在多個rfid標簽靠近時易發(fā)生信號干擾，影響識別準確性。

3、其二是基于計算機視覺技術的圖書盤點系統(tǒng)。專利cn202310377032.2公開了一種基于視覺識別的圖書盤點方法、裝置及終端設備，通過水平視窗和豎直視窗處理圖像，識別書架中的條形碼，實現(xiàn)自動化盤點。然而，該方法在復雜光照條件、不同書籍排列方式以及條形碼識別準確性方面存在一定局限性，特別是在處理遠距離或角度不佳的條形碼時，效果不佳。因此，在圖書管理中實現(xiàn)快速、準確的盤點，并自動識別和處理盤點過程中的各種異常，仍是當前領域亟待解決的技術難題。

4、基于上述技術背景，開發(fā)一種能夠自動高效地盤點圖書、精確識別條形碼并及時預警異常情況的系統(tǒng)至關重要。

5、公開于該背景技術部分的信息僅僅旨在增加對本發(fā)明的總體背景的理解，而不應當被視為承認或以任何形式暗示該信息構成已為本領域一般技術人員所公知的現(xiàn)有技術。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種自動化圖書盤點與異常預警系統(tǒng)及方法，利用計算機視覺以及圖像處理技術，從而克服上述現(xiàn)有技術中的缺陷。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種自動化圖書盤點與異常預警系統(tǒng)，包括條形碼、云臺球型攝像機、圖像校正模塊、條形碼檢測模塊、異常檢測模塊、條形碼識別模塊、紅外感應模塊、圖書管理系統(tǒng)；所述條形碼貼附在圖書上，用于圖書的識別與管理；所述云臺球型攝像機分別與圖像校正模塊、圖書管理系統(tǒng)通訊連接，用于獲取書架的各個格子的局部圖像并將圖像數據傳輸至圖像校正模塊；所述圖像校正模塊分別與條形碼檢測模塊、異常檢測模塊通訊連接，用于對局部圖像進行透視變換，校正圖像畸變，并將校正后的圖像分別傳送至條形碼檢測模塊、異常檢測模塊；所述條形碼檢測模塊與條形碼識別模塊通訊連接，用于將校正后的圖像中的條形碼檢測并分割出來，分割出的條形碼圖像發(fā)送至條形碼識別模塊；所述異常檢測模塊與圖書管理系統(tǒng)通訊連接，用于對校正后的圖像中的書籍擺放狀態(tài)進行檢測，檢測到的書籍異常擺放信息傳遞至圖書管理系統(tǒng)；所述條形碼檢測模塊與圖書管理系統(tǒng)通訊連接，用于識別條形碼圖像中的條形碼，并將識別結果發(fā)送至圖書管理系統(tǒng)；所述紅外感應模塊與圖書管理系統(tǒng)通訊連接，用于檢測書架每個格子內圖書的狀態(tài)變化，并將圖書狀態(tài)變化信息發(fā)送至圖書管理系統(tǒng)；所述圖書管理系統(tǒng)，用于接收書籍異常擺放信息、條形碼識別信息和圖書狀態(tài)變化信息，一方面根據書籍異常擺放信息、條形碼識別信息確定發(fā)生異常的圖書位置，快速生成警報信息通知管理員，另一方面根據圖書狀態(tài)變化信息控制云臺球型攝像機采集圖書狀態(tài)變化的格子局部圖像，根據該格子局部圖像的條形碼識別信息對該格子內的圖書進行重新盤點，并將盤點結果同步實時更新至庫存數據。

3、一種自動化圖書盤點與異常預警系統(tǒng)的使用方法，其步驟為：

4、s01、為每本圖書貼附code128條形碼，code128條形碼包含8位數字，并與圖書數據庫中對應的圖書一一匹配，確保計算機視覺識別的準確性；

5、s02、正對書架的云臺球型攝像機對書架的各個格子進行定位并捕獲每個格子的局部圖像；

6、s03、采用透視變換算法對s02中捕獲的局部圖像進行校正，在局部圖像中選擇目標區(qū)域的四個關鍵點，將這四個關鍵點形成的平行四邊形轉換為矩形，消除圖像畸變；

7、s04、對yolov8目標檢測模型的頭部結構進行調整，將原始的yolov8目標檢測模型中特征圖層級移除大尺寸檢測的特征圖層級，保留小尺寸p3/8和中等尺寸p4/16檢測的特征圖層級；采用圖書異常狀態(tài)訓練集對yolov8目標檢測模型進行訓練，使用經過訓練的yolov8目標檢測模型對校正后的局部圖像進行分割并提取條形碼圖像，同時檢測圖書的擺放狀態(tài)是否存在倒置或反置的異常情況，若檢測到異常，將報警信息發(fā)送至圖書管理系統(tǒng)并通知管理員核查處理；

8、s05、通過zxing庫對s04中提取的條形碼圖像進行識別，若初次識別失敗，將自動對條形碼圖像進行每次5度的旋轉后重新識別；若條形碼因遮擋、磨損或模糊的原因無法識別，會將該條形碼圖像上報至圖書管理系統(tǒng)，以及時通知管理員進行處理；

9、s06、當格子內出現(xiàn)圖書被取出或放入的情況時，位于該格子內的紅外傳感器能夠即時向圖書管理系統(tǒng)發(fā)送發(fā)生變動的格子的位置信息，圖書管理系統(tǒng)接收到位置信息后，控制云臺球型攝像機采集該格子的局部圖像，局部圖像經過s03-s05步驟處理后，圖書管理系統(tǒng)根據條形碼解碼數據對該格子內圖書進行重新盤點操作，并將盤點結果同步實時更新至庫存數據。

10、優(yōu)選地，技術方案中，步驟s03的透視變換算法過程為：

11、s31、在局部圖像中選擇目標區(qū)域的四個關鍵點，這些點對應目標區(qū)域的四個角；由于相機角度的偏轉，這四個點在局部圖像中形成一個平行四邊形；

12、s32、在校正后的局部圖像中設定一個目標矩形，該矩形代表校正后的目標區(qū)域，其四個角分別與校正前的目標區(qū)域中的四個關鍵點相對應；

13、s33、根據局部圖像中平行四邊形的四個頂點和目標矩形的四個角，計算透視變換矩陣，并將該矩陣應用于局部圖像，對其進行透視變換，畸變的平行四邊形區(qū)域被校正為規(guī)則的矩形。

14、優(yōu)選地，技術方案中，選擇關鍵點只有在第一次配置時需要進行，得到對應點位的坐標信息后，后續(xù)會自動根據該坐標信息去對局部圖像的目標區(qū)域進行透視變換。

15、優(yōu)選地，技術方案中，圖書異常狀態(tài)數據集包括圖書條形碼圖像和圖書書脊圖像；yolov8目標檢測模型包括yolov8條形碼檢測模型和yolov8?圖書異常擺放檢測模型。

16、優(yōu)選地，技術方案中，對圖書異常狀態(tài)數據集進行手動標注，將圖書條形碼圖像和圖書書脊圖像分別歸類為兩個不同的類別；使用yolov8目標檢測模型對這個圖書異常狀態(tài)數據集進行訓練，讓yolov8條形碼檢測模型學習并提取條形碼的特征信息，讓yolov8?圖書異常擺放檢測模型學習并提取書脊的特征信息；經過訓練后，yolov8條形碼檢測模型能夠準確識別和區(qū)分圖書的條形碼，?yolov8?圖書異常擺放檢測模型能夠準確識別和區(qū)分圖書的書脊。

17、優(yōu)選地，技術方案中，步驟s04的yolov8目標檢測模型檢測過程為：

18、s41、對經過校正的局部圖像進行預處理，預處理包括壓縮圖像大小和歸一化，通過預處理使局部圖像的尺寸和像素值符合yolov8目標檢測模型的輸入要求；

19、s42、將預處理后的局部圖像輸入yolov8條形碼檢測模型，yolov8條形碼檢測模型通過多次卷積和池化操作提取圖像特征并生成不同尺度特征圖；在特征圖上，yolov8?卷積神經網絡用預先定義的不同大小和比例的矩形框覆蓋可能為條形碼的目標，對每個可能的目標預測多個矩形框及目標置信度；

20、s43、對同一目標的不同矩形框按置信度過濾，得到最佳矩形框對應條形碼的位置信息，再根據預處理圖像與原圖像比例關系從原圖裁剪出條形碼；

21、s44、將預處理后的局部圖像輸入yolov8?圖書異常擺放檢測模型，yolov8?圖書異常擺放檢測模型通過多次卷積和池化操作提取圖像特征并生成不同尺度特征圖；在特征圖上，yolov8?圖書異常擺放檢測模型利用預先定義的不同大小和比例矩形框覆蓋可能為異常擺放狀態(tài)的目標，對每個可能的目標預測多個矩形框及目標置信度和類別概率；

22、s45、對同一目標的不同矩形框按置信度和類別概率過濾，得到最佳矩形框對應目標，再根據預處理圖像與原圖像比例關系在原圖上將異常擺放狀態(tài)的目標用方框標注出來，并在方框上備注圖書的異常擺放情況。

23、優(yōu)選地，技術方案中，當局部圖像中目標條形碼區(qū)域呈一定角度傾斜時，對最佳矩形框進行旋轉，直至最佳矩形框完全覆蓋目標條形碼之后，再從原圖裁剪出條形碼。

24、優(yōu)選地，技術方案中，步驟s05?zxing庫對條形碼圖像的識別過程為：

25、s51、條形碼識別模塊接收由目標檢測模型分割出的條形碼圖像后會先對輸入的條形碼圖像進行預處理，將其轉換為灰度圖像，再通過二值化將灰度圖像轉換為黑白圖像，使條形碼的黑白條紋更加明顯；

26、s52、zxing庫使用邊緣檢測算法檢測黑白圖像中的邊緣，黑白圖像中條形碼的黑白條紋產生亮度變化，zxing庫分析黑白圖像在檢測過程中的亮度變化，判斷條形碼在黑白圖像中的可能位置；

27、s53、在確定條形碼區(qū)域后，zxing庫對條紋特征進行詳細分析，提取每個條紋的寬度信息；根據不同寬度條紋的組合，zxing庫將這些組合映射至相應的字符，根據條形碼的編碼規(guī)則進行解碼并將解碼后的數據輸出至圖書管理系統(tǒng)。

28、與現(xiàn)有技術相比，本發(fā)明具有如下有益效果：

29、（1）通過集成可調焦距云臺球型攝像機與高性能圖像處理技術，實現(xiàn)了圖書條形碼的快速自動識別，大幅減少了人工干預，顯著提高了圖書盤點的速度和精確度，解決了傳統(tǒng)人工盤點效率低、易出錯的問題。

30、（2）系統(tǒng)集成智能化異常檢測與預警模塊，能夠自動識別圖書擺放異常（如倒置、反置），并及時通知管理人員介入，確保圖書數據的準確性及書架的有序性，避免因圖書狀態(tài)異常導致的盤點誤差。

31、（3）采用透視變換算法與先進的yolov8目標檢測模型，系統(tǒng)能夠在復雜環(huán)境中精確分割和識別條形碼，顯著提升了圖像識別的穩(wěn)定性與適應性，確保系統(tǒng)在不同光照條件和角度下依然保持高效的識別性能。

32、（4）書架內置紅外傳感器，實時監(jiān)控圖書動態(tài)，并自動觸發(fā)變動區(qū)域局部盤點和庫存信息更新，確保圖書位置信息的實時性與準確性，有效提升了圖書資源管理效率。

33、（5）系統(tǒng)與圖書借閱系統(tǒng)無縫集成，實現(xiàn)了圖書位置信息的自動更新與同步，簡化了圖書借還流程，提升了讀者體驗和圖書館的運營效率，同時為圖書館資源管理及決策提供了數據支持。