- 项目背景：随着技术进步，很多优秀技术也被用在黑灰产之中，例如爬虫系统在票务系统中的滥用，尤其机票系统。机票爬虫们威力之大，让人叹为观止：多数订票网站，真实用户产生的不到10%，其浏览量的90%由爬虫产生。航空公司放出的低价机票，很少被普通用户买到。据业内人士估计，80%以上低价机票被票务公司的爬虫抢走。民航公司的高价票源，尤其是热门线路航位、黄金周飞机航位、民航公司补贴的特价票等，大多数一放出来就被爬虫程序抢光。同时除了爬虫对系统业务的威胁，层出不穷的API安全威胁也影响着机票系统安全。
- API安全技术思想：某API安全平台专注于API上线后运行时的安全防护，综合利用前端风险检测技术、后端规则引擎及机器学习模型，通过流式大数据平台进行驱动，关联前端风险和后端流量进行综合分析，具备反爬虫，自动化的API资产发现与管理，全面的API终端环境风险检测能力，智能的规则及模型流量风险分析能力，深度的API数据泄漏分析能力，解决数字化经济转型下由API带来的业务安全风险及数据安全风险问题。
- 技术实现方案：
- API自动发现：提供基于流量的API自动发现与管理，支持针对API进行标签化分类，识别僵尸API；
- API风险识别：利用前端环境风险检测与后端流量分析相结合，能够发现数据泄露风险、业务安全风险及API安全漏洞等安全风险；
- API态势感知：提供API安全风险态势感知地图，掌握API整体的安全及运行访问情况；
- API攻击溯源：提供针对API攻击行为的攻击溯源能力，从时间、攻击方式、地域、目标等多个维度提供关联分析。
- API风险处置：提供直接阻断，或通过API对接用户业务及风控系统，提供多样化的处置措施；
- 灵活配置：可自定义业务安全风险规则，自定义封禁处置措施；支持多样化的部署模式；
采用请求访问模型：利用长时间内终端访问的行为数据，通过机器学习算法，离线判断是否为爬虫。在多维度多时间周期的行为上，快速完成海量统计和过滤、筛选出有风险的情况。
流式算法引擎：强大的实时数据处理算力是系统识别风险，到快速风险干预的重要保障。API安全平台自研了一套给予安全场景的轻量级“实时流式算法引擎”。相对比重量级 Flink，Spark Streaming 来说，在安全场景下进行了定制，不但拥有高性能，低开销，同时具备以下功能:
- 流式数据立方(Data Cube）计算；
- 实时多维数据统计；
- 实时时序提取；
- 流式特征提取与模型预测；