方案背景

目前保險行業伴隨著社會意識形態、客觀經濟發展在逐步壯大。隨著保險業務規模的不斷擴大、業務信息系統的不斷增加、提供服務的硬件設備的不斷增加，每家保險公司系統運維面臨的壓力也越來越大。

作為系統運維的主要參考源數據──日志信息，無論從類型、還是數據量來看，都呈現出了爆炸式增長的趨勢。傳統的日志管理平臺已經難以處理海量的日志數據，更難以基于這些日志數據做相關的統計分析，日志數據的價值無法被挖掘變現。鑒于上述原因，我們推出了基于大數據技術的日志管理解決方案。

方案內容

基于大數據技術的日志管理平臺，包括日志數據的采集、日志索引數據的建立、海量日志數據的存儲、統計、分析、挖掘，實時日志數據的計算及展示，支持系統運維過程中產生的幾乎所有主要日志信息，包括服務器、安全設備、網絡設備、中間件、數據庫、應用系統的日志，全面覆蓋了運維過程中對日志的查詢、實時監控預警、報表統計分析、數據聚合挖掘等主要操作。平臺綜合采用了多種大數據技術組件，數據采集端使用Flume及Kafka，日志檢索使用的ElasticSearch組件，實時流處理主要采用Storm，存儲、分析主要采用HDFS、Hive、Spark等組件，整個平臺具有分布式、高可靠、高可用性特點。

方案價值

基于大數據技術的保險行業日志管理平臺，無論從支持的數據量、數據類型、采集能力、處理能力、分析能力等方面，都全面超越了傳統的日志管理平臺，極大提升了系統運維的能力，減輕了運維壓力，實現日志數據增值：

打破日志信息孤島

通過實時、批量的采集不同類型的日志信息，進而存儲到統一的大數據平臺中，完成各類型日志數據的統一管理；

提升實時預警預測能力

運用實時流式數據處理技術，在日志數據實時產生的過程中，通過特定算法規則，實時計算出重點關注的日志項結果，實現系統的實時預警預測能力；

挖掘日志信息潛在價值

通過對海量的日志數據進行關聯、聚合、分析，挖掘出日志數據中有價值的信息點，用來指導運維及業務系統，實現日志數據的增值。