日志收集的方式和优点

日志是组织 IT 环境中发生的所有事情的记录。它们通常是一系列带有时间戳的消息，可为您提供有关网络中所有活动的第一手信息。

网络中的每个设备和应用程序都会生成日志数据以及用于监控网络流量的 NetFlow 数据，日志是安全信息和事件管理（SIEM）解决方案的主要输入源，从根本上说，SIEM 解决方案是一个日志管理平台，它还执行安全分析和警报、内部风险缓解、响应自动化、威胁搜寻和合规性管理。

什么是日志管理

日志管理涉及日志的收集、存储、规范化和分析，以生成报告和警报，日志管理可确保将日志中隐藏的网络活动数据转换为有意义、可操作的安全信息。日志管理是网络和安全管理员监控和保护网络的先决条件，SIEM 日志记录将事件日志与有关用户、资产、威胁和漏洞的上下文信息相结合，并使用算法、规则和统计信息对其进行处理。

日志管理是一项具有挑战性的任务，为了实时收集和处理日志数据，无论日志数据量和网络中的设备数量如何，组织都需要强大的日志管理机制，总而言之，日志管理需要足够灵活，以适应所有网络设备和应用程序。

日志管理工具的主要功能

如果您以前使用过日志管理工具，您就会知道其中通常存在一些主要功能。它们包括：

• 日志收集和聚合：通过无代理或基于代理的方法从不同来源收集日志。
• 日志解析：将聚合的日志转换为数据工具易于搜索的通用格式。
• 规范化、分类和扩充：从解析的日志中选取常见属性（规范化），将它们链接到系统事件，并添加其他含义（分类和扩充）。
• 实时关联：设置条件或规则，以便在发生可能导致安全事件的事件或一系列事件时触发警报。
• 日志索引和存储：创建所有日志数据的公共属性索引并存储以备日后检索或使用。

日志收集

日志收集是日志管理的第一步。SIEM 解决方案从网络中的一组不同系统收集日志和事件，并将它们聚合到一个位置，日志通常从工作站、服务器、域控制器、网络设备、IDS、IPS、端点安全解决方案、数据库、Web 服务器、公有云基础架构和云平台收集。

每个网络都有不同的系统和环境，这些系统和环境会生成各种日志格式，例如事件日志、系统日志和其他应用程序日志，日志收集器需要足够灵活，以适应所有网络设备和应用程序。

可以通过以下方式收集日志：

• 基于代理的日志收集
• 无代理日志收集

基于代理的日志收集

基于代理的日志收集需要在生成日志的设备上部署代理，代理不仅收集和过滤日志，而且还在将日志转发到日志收集服务器之前将其解析并转换为其他格式。

Windows、Unix 和大多数其他系统在文件系统的区域创建日志，这些区域需要高级权限才能查看、轮换或重新定位。开发代理是为了从本地系统收集与安全相关的信息，然后将其转换为适合通过网络传输到中央收集器的格式。代理设计为在后台运行，具有足够的权限来监视和管理日志记录子系统，仅利用收集、处理、筛选日志并以最小的开销发送到 SIEM 主机所需的系统资源。

基于代理的日志收集对于跨 WAN 和通过防火墙收集日志非常方便，它还有助于从驻留在网络受限区域（如 DMZ）中的设备收集日志。，使用代理进行日志收集可降低服务器的 CPU 使用率，从而更好地控制每秒事件数的速率，Windows Server、NXLog 和 OSSEC 是一些用于日志收集的常用代理。

代理可以部署在网络或子网中的任何服务器上，也可以部署在所有类型的操作系统上，它作为服务安装在该服务器中，代理远程收集日志，对日志进行预处理，然后实时且不间断地将其传输到服务器。

代理的工作原理：

• 在设备上安装代理后，它就可以访问设备的内部活动并从中获取日志数据。
• 日志数据采集完成后，Agent会进行预处理，并进行字段抽取。然后，它会压缩日志数据并将其安全地发送到 SIEM 服务器。
• 服务器将对日志进行索引并继续进行。

基于代理的日志收集的优点：

• 日志传输安全可靠，因为代理可以使用 TLS 和 SSL 与集中式日志记录服务器进行通信。
• 日志数据通常以压缩批处理方式发送，并经过缓冲，因此在传输过程中不会丢失任何事件。
• 日志被实时、快速、高效地处理并发送到 SIEM。
• 在基于代理的日志收集中，日志筛选要好得多。
• 有助于满足各种合规性要求。
• 代理可以从各种平台（如 Windows、Linux 和其他系统）收集日志，并以可用的格式记录它们。
• 由于日志过滤器，删除了不必要的日志数据，并且聚合的日志数据很紧凑。因此，代理占用的带宽和资源较少。

无代理日志收集

在 SIEM 解决方案中，无代理日志收集是用于收集日志的主要方法，在动态云环境中，无代理审核对于降低成本、解锁可见性和加快部署速度至关重要。

有些嵌入式设备（如路由器、打印机、交换机和防火墙）不支持第三方软件安装，在高度管制的系统中，不允许安装其他软件。在这些情况下，可以改为实施无代理日志收集方法，允许设备将日志发送到远程数据收集器，强制部署代理进行日志收集的一个因素是已建立的网络连接不可用。

在无代理日志收集中，设备生成的日志数据会自动安全地发送到 SIEM 服务器，无需额外的代理来收集日志，从而减少了设备的负载。

无代理日志收集的工作原理：

• 客户端、主机、系统或设备之前已在其上安装了软件，或者在大多数情况下，已经具有收集所有必需数据所需的必要编程。该软件或编程用于收集日志数据。
• 日志数据使用 SNMP 陷阱、WECS、WMI 和 syslog 等本机协议转发。
• 日志生成主机可以直接将其日志传输到 SIEM，也可以涉及中间日志记录服务器，例如 syslog 服务器。

无代理日志收集的优点：

• 部署起来更容易、更快捷，因为它不涉及任何软件安装。
• 降低维护成本，因为没有代理，因此不需要软件或版本更新。
• 由于无需安装、维护或操作软件，因此无代理日志收集可以显著减少管理工作。

在基于代理或无代理的日志收集之间，两者都不比另一个更好，应考虑组织的需要做出选择。因此，最好有一个同时提供基于代理和无代理日志收集方法的 SIEM 解决方案。

Log360 是日志管理和网络安全挑战的一站式解决方案，是一个集成的解决方案，将EventLog Analyzer、ADAudit Plus和Cloud Security Plus组合到一个控制台中，以帮助您管理网络安全、Active Directory审计和公有云管理，EventLog Analyzer旨在支持基于代理和无代理的日志收集机制，以满足网络中的所有设备和应用程序的需求。