在大數據時代,企業的生產、銷售、經營、管理逐漸由技術驅動轉型為數據驅動,在這一過程中數據的重要性不言而喻。借助于云計算、大數據等技術的發展,我們通過收集、處理、分析、展示數據,重新認識了周圍的世界,重新定義了規則與價值,數據驅動的企業能夠更全面地認知現狀、更精準地把握趨勢。而在企業日常運行積累的海量數據中,日志是其中最易獲得、覆蓋面最廣同時也是最有價值的數據之一。
日志指用戶、服務器、網絡設備、操作系統、數據庫、應用軟件等產生的各類數據,它的核心概念是時序遞增的事件序列。基于時間與事件這兩個基本要素,`我們可以在日志中追溯過去的記錄、記錄現在的狀態、探尋未來的趨勢,這就是日志所蘊含的價值`。
根據日志的不同來源與類型,典型的日志應用場景可以劃分為以下三類:
· 運維日志:記錄設備、系統的運行情況,用于監控服務器狀態、定位排查故障、分析性能瓶頸等;
· 用戶日志:記錄業務信息,例如頁面的PV、UV、停留時間等,用于了解業務運營狀況、分析用戶行為特征等;
· 安全日志:記錄服務器、防火墻等設備的日志,供安全審計系統使用,用于監控系統安全、進行可信取證等。
傳統日志分析工具往往局限于單一的應用場景,功能較為簡單,難以滿足運維、產品、運營、管理者等不同角色的不同需求。且隨著業務量的增長,日志文件在容量、類型、產生速度等方面都成倍地增長,對于系統在處理速度、并發量、分析維度等方面的要求也越來越高,傳統的日志分析工具越來越難以適應實際應用的需求。
隨著大數據技術的日漸發展成熟,新的日志分析工具應運而生。將大數據技術與云計算技術相結合,托管式日志分析服務綜合了大數據的大體量、多樣性、時效性等特性與云計算強可靠性、高可用性、即取即用與經濟性等優勢,克服了傳統工具在功能與性能上的限制,解決了自行搭建系統門檻高且運維困難的問題,是一種經濟高效的解決方案。