随着各个国家的重视和布局,大数据技术和人工智能技术发展迅速,相关自动化
与智能化的识别和处理能力、数据分析
能力逐渐与网络安全技术进行了深度协同,对网络安全的技术、方法、应用产生了重要影响,促进了网络安全
技术的变革性的进步 [1]。可以预见的是安全数据采集和安全智能数据分析技术的成熟将会大幅提升网络安全威胁检测、网络安全风险
评估等关键安全防御环节的效率,大幅减少对网络安全专家的依赖,有效地降低企业、组织
乃至国家级关键信息基础设施、数据资产的整体安全风险 [2]。因此,安全智能分析能力的提
升已经成为安全能力落地、发挥网络安全防御有效性和对抗 APT 等高级威胁最直接、最关键
的环节之一。面对日趋白热化、持续化的网络攻防对抗环境,安全智能分析也在多个方面面
临着诸多挑战。
2.1 数据治理
企业数字化转型浪潮的来临,多源异构数据的爆发式增长,使数据治理得到了企业的普
遍关注和重视。大规模数据蕴藏的巨大潜在价值吸引着攻击者对集中存储的数据进行窃取、
对海量数据的管理是企业亟待解决的一项艰巨任务。
数据治理旨在解决数据在生产、管理和使用中面临的各种问题。从数据源汇入开始,在
数据清洗、数据存储、数据分析、数据服务等数据生命周期涉及的所有环节中,数据治理对
企业内部的数据集进行规范和定义,并结合企业自身数据现状,为各个环节提供持续的治理
服务 [3]。随着企业数字化程度的提升,数据治理的需求和复杂度也会增加。由于安全领域自
身的特点,数据治理面临着以下挑战:
● 数据采集:网络安全领域数据壁垒问题严重,安全数据作为敏感数据,往往分布在各
个数据持有者手中,数据采集缺乏可访问性和采集渠道,导致采集的安全数据集不完
整、不可靠,不足以代表安全问题的真实数据分布,数据多样性的匮乏和完整性的不
足会影响到后续的数据挖掘、数据分析等数据操作的质量。
● 数据标签:数据标签化旨在为安全数据贴上精准的标签,安全分析任务所需的真实标
签不准确、不稳定或错误,将影响后续安全分析模型的整体性能,反之数据标签越丰
富,越准确,后续的安全分析依据就越多,决策也越准确。安全数据标签化深度依赖
企业在研究中的积累和专家知识,海量的攻击样本、复杂的攻击类型、多源异构的数
据都为数据标签化带来难以回避的挑战。
● 数据规模:安全分析需要大规模、多维度的安全数据作为基础,但处理海量数据也给
安全分析带来多方面挑战,如依赖爆炸、海量告警场景下的告警疲劳等问题,以及海
SecXOps 安全智能分析技术白皮书
008
量数据在数据采集、传输和存储阶段为系统带来的压力,都会降低整个安全数据治理
流程的效率。
● 动态治理:安全数据包含动态产生的终端侧、网络侧、沙箱侧、蜜罐侧的告警日志,
以及威胁情报、漏洞、知识库、IT 资产等数据资产,对这些安全数据的动态治理是
实现可靠数据分析的关键。为了在复杂多变的网络空间环境中制定出动态自适应的分
析策略,安全数据治理对动态治理提出更高的要求。
因此,安全数据的治理需要对安全数据进行持续采集、标注、存储以及动态治理,基于
大数据的治理技术确保安全数据的质量,在提高数据质量的同时减少数据分析
SecXOps
安全智能分析技术白皮书http://github5.com/view/54257?csdn