日志存档及解析

网络中的每个设备都会生成大量日志数据，日志数据包含有关网络中发生的所有活动的关键信息，存储所有这些数据并对其进行管理对组织来说是一项挑战，因此，这些日志文件被压缩并存储在效率较低的存储介质中，无法轻松检索。这些文件称为非活动日志文件。

日志存档是通过压缩、存档和索引压缩文件以供保留和将来使用，从而有效地存储所有这些非活动日志文件的过程。

在日志存档期间，日志文件将从当前日志路径或镜像日志路径传输到另一个位置，这样可以释放存储当前日志所需的空间，同时使您能够无限期地存储存档日志，意外删除存档文件的可能性较小，因为员工不会定期访问它们。

存储大量数据将有助于满足审计和监管要求，当对网络攻击进行调查时，并确保业务连续性。但是，存储和维护日志文件所需的资源往往会变得昂贵，超过了上述好处。

这是组织必须在安全性和存储需求之间取得平衡的地方。

归档日志并对其进行维护有助于您进行有效的风险管理，提高安全性，并通过恢复归档日志来防止数据丢失。

构建日志存档要考虑的因素

构建和维护日志归档需要相当大的存储空间，因为即使是简单的网络架构也会立即生成大量日志数据，因此，在开始存档过程之前考虑这些问题至关重要。

• 可以存储多少日志数据？
• 应该如何组织它们？
• 需要多久更新一次存档的日志数据，以及检索数据的速度有多快？

应该在日志存档中存储什么

保存有关网络安全和性能的信息的日志应优先存储。以下是您需要存储的一些重要日志事件：

• 记录符合法规要求所需的事件
• 管理员活动
• 用户操作，如登录名和命令
• 错误、异常和警告

为什么要存档日志

• 遵守法规：全球监管机构都要求将日志数据保留至少一年，例如，HIPAA 合规性要求组织将日志存储长达 6 年，SOX 法规要求组织将审计日志存储 7 年，等等。一些国家/地区还制定了重要的数据保护法，对违反客户数据保护规定的组织处以巨额罚款。
• 防止数据丢失：存档的日志文件存储在单独的位置，以保护它们免受任何数据丢失，由于存档文件很少被访问并使用安全 paswords 进行保护，因此意外删除数据的可能性要小得多。
• 降低成本：活动日志存储在昂贵的存储介质上，例如 SSD，这些介质旨在提高性能，即速度和可用性。存档的日志文件不经常使用，因此可以对其进行压缩并存储在具有成本效益和存储效率的系统中，从而为组织节省大量成本。
• 提高安全性：存档的日志数据有助于提高网络的安全性。在发生网络攻击时，可以从存档中检索和恢复日志数据，以执行取证分析。进行取证分析是为了确定攻击的证据、数据恢复，并找到允许攻击发生的漏洞，通过对存档日志进行取证分析，可以准确确定网络攻击发生的时间和方式。

什么是日志解析

日志解析是拆分非结构化日志数据并将其转换为结构化格式的过程，这样可以更轻松地理解、分析和存储日志。

日志解析工具会分析日志并将其拆分为不同的字段，例如日期和时间、事件 ID、类型、级别、源、计算机名称、用户、任务类别和消息，以便于理解。

日志分析的类型

有两种方法可以解析日志：正则表达式（RegEx）和 分隔符日志解析。

正则表达式日志解析

正则表达式（RegularEx）是正则表达式（Regular Expressions）的缩写，它是一种用于模式搜索和替换的领域特定语言。

正则表达式允许您使用将从日志事件中提取数据的模式创建自定义查询。它可以帮助您从非结构化数据中提取日期、时间和日志类型等唯一字段，从而更轻松地对它们进行排序、筛选和处理。

日志解析工具可帮助您在复杂的内置模块的帮助下无缝创建正则表达式模式。

分隔符日志解析

日志在一行中由不同的信息组成，例如日志类型、日期、时间和错误。我们可以借助逗号 （，）、分号 （;）、大括号 （{}） 和竖线 （|） 等分隔符来拆分这些数据。这种类型的分析使对所需数据进行排序和筛选的过程更加高效。

使用分隔符时，不必依赖文本中的固定宽度，分隔符允许您在正确的位置断开日志中的信息，即使信息不对称或遵循某种模式，也有助于对数据进行排序和筛选。

在处理复杂数据时，将带分隔符的字符串转换为数据集的能力非常有益。

日志解析的用途

• 分析来自单个存储库的日志：从日志文件分析或调试问题是一个繁琐的过程。使用日志解析器，您可以快速组织日志并解决问题。
• 使用取证分析发现安全漏洞：功能强大的日志解析应用程序可以使用取证分析来搜索大量日志数据，包括通配符、短语和布尔运算符，以及分组搜索和范围搜索。
• 系统日志分析：更好地理解日志，更好地理解和结构化分类日志将简化日志分析过程。

日志管理工具（EventLog Analyzer）可以自动存档从Windows、Unix或Linux系统、网络设备、数据库、应用程序、服务器等收集的所有事件日志和系统日志。并具有强大的解析功能，可以简化从日志中提取所有相关信息的过程，并帮助管理员轻松了解网络事件。