【直播精彩回顾】Redis企业级数据库及欺诈检测方案！

背景导读

从中国互联网络信息中心发布的第50次《中国互联网络发展状况报告统计》来看，截至2022年6月，36.8%的网民表示在过去半年上网过程中遭遇过网络安全问题，各类网络诈骗层出不穷，充斥着人们的生活。

2021年的最新报告显示，互联网技术支持诈骗的损失目前是有史以来最高的，是去年的2倍以上。IC3收到来自70个国家的受害者的23903起与技术支持欺诈有关的投诉，损失金额超过3.47亿美元，比2020年的损失增加了137%。

企业每年因欺诈而损失数百亿美元，受损形式包括罚款、和解酬金以及削弱支撑金融服务行业的信任和客户忠诚度。在过去两年内，有47%的企业曾发生欺诈，零售欺骗案件同比增长2倍，根据PWC报告总的损失为420亿美元。

一、欺诈检测概述

1.欺诈的类型

通过对2019年上半年各种电信网络诈骗手法的举报情况进行盘点归总，聚类分析，归纳为交易诈骗、网络兼职诈骗、金融信用诈骗、盗号诈骗等十大诈骗类型，具体欺诈内容如图所示：

2.什么是欺诈检测

检测欺诈是一个非常复杂的过程。它是对于任何给定的交易或活动，系统需要在几秒钟之内判定这个交易是否存在欺诈。检测欺诈如果不能实时进行，将导致重大损失。同时，欺诈者是与时俱进的，他们与数字银行转型同步，能够快速发现窃取或伪造客户身份的新方法，并进行欺诈。

3.欺诈检测面临的挑战

随着在线交易的增长，检测欺诈变得非常负责。如今的欺诈检测面临着以下的挑战：

• 现代数字平台为欺诈检测增加了前所未有的复杂性：当今的数字和移动支付平台是非常复杂和分散的。这些平台出现了很多的软件漏洞，并且这些漏洞是传统欺诈检测技术无法解决的。

• 跟上即时交易的步伐越来越具有挑战性：借助现代软件平台，交易几乎可以立即执行。但是为了给客户创造出色体验，银行和支付处理商只有很少的时间来识别和应对欺诈行为。

• 数字身份带来更大的欺诈风险：传统上通过物理文件验证的个人信息现在存储在网上，这种存储方式很容易访问。这样一来，一次数据泄露就会使数百万人面临身份盗窃、账户接管和创建虚假身份的风险。

• 假阳性和延迟是最主要的两个挑战：假阳性是指系统将用户的合法交易标记为欺诈。延迟是指企业难以在几秒钟内检测到交易是否存在欺诈，因而会默认不存在欺诈。

4.欺诈检测方法

虽然机器学习模型需要在自动MLOps管道的帮助下定期更新，但可以使用基于多层规则的方法来增强欺诈检测。

下面是这些规则的一些例子，例如：

• 将骗子的IP地址列入黑名单；
• 从用户的IP地址获取并利用经纬度数据；
• 利用有关浏览器的类型、版本、操作系统、活动插件、时区和语言的数据；
• 查看每个用户的购买情况来看这类用户以前是否购买过这些类别的商品。

这些规则可以以一种从“低成本”到“高成本”的方式实施。如果用户在已经做出的类别和最大金额内进行购买，应用程序可以标记交易为非欺诈，就不需要再进一步进行检测。

二、虹科欺诈检测方案

1.虹科HK-Redis概述

Redis是世界上非常流行的内存数据库，它在全球范围内为个性化、机器学习、物联网、搜索、电子商务、社交和计量解决方案提供卓越的性能、无与伦比的可靠性和灵活性。Redis包括Redis开源版本（Redis OSS ）和Redis企业版（Redis Enterprise），两者的功能对比，请查看《Redis企业版 VS Redis开源版》。

（1）Redis Enterprise的结构框图

Redis Enterprise可以为流行的Redis用例提供支持，如高速事务、作业和队列管理、用户会话存储、实时数据获取、通知、内容缓存和时间序列数据。

Redis Enterprise技术的性能十分优越，可以支持每秒十几万的读写操作，他的性能远超数据库，并且支持集群、分布式、主从同步等配置，原则上可以无限扩展，让更多的数据库在内存中，而且能支持一定的事务能力。下图是Redis Enterprise的结构框图。

（2）Redis Enterprise支持的数据类型

Redis Enterprise的性能之所以如此优越，除了他是基于内存读写，速度比数据库基于磁盘读/写快很多之外，也得益于他的数据结构比较简单。Redis Enterprise支持的五大数据类型包括String、List、Set、Zset、hash，如下图所示。

（3）Redis Enterprise模块

Redis Enterprise模块允许开发人员通过添加对现代数据模型和本机处理引擎的支持来构建实时应用程序，同时继续享受Redis的亚毫秒级速度。使用Redis模块可以帮助用户快速构建强大的应用程序，例如搜索、实时库存监控、分析、游戏等。

Redis Enterprise有7大Redis模块，分别是RediSearch、RedisAI、RedisJSON、RedisTimeSeries、RedisBloom、RedisGears 和RedisGraph，各模块简介如下图所示。

（4）Redis Enterprise的核心功能

Redis Enterprise具有线性可扩展性、高可用性、持久性、备份和恢复、地理分布、分层内存访问、多租户、安全等8大核心功能，下面详细介绍线性可扩展、高可用性、和分层内存访问这三个功能。

线性扩展对处理整体增长和季节性激增问题至关重要

现代应用的分布越来越广，你必须规划出经济有效的方法来扩展你的数据库，来满足整体的增长，同时还要应对季节性的激增和意外的需求高峰。数据库性能的线性扩展对于在没有大规模基础设施投资的情况下实现这一目标至关重要。

Redis通过简单地增加分片和节点实现了无限的线性扩展。2019年，Redis展示了Redis企业版扩展其行业领先的线性可扩展性，在仅40个AWS实例上以不到1ms的延迟实现了2亿次/秒操作。

• Redis Enterprise提供不间断的高可用性，正常运行时间为5个9 (99.999%)
• 通过使用无盘复制、即时故障检测和跨机架、区域和地域的故障切换等技术，Redis
  Enterprise提供了高可用性，同时比竞争技术更具成本效益。

Redis Enterprise分层确保了亚毫秒级的延迟得到保留

目前，很多公司对规模化实时性能有非常高的需求，因此许多公司正在寻求将其数据存储在更快的内存数据库架构中，但这需要付出很高的成本。一个解决方案使用替代性内存技术将数据分层，这些技术可以提供类似内存的性能，而成本却大大低于DRAM（动态随机存取内存）。

Redis长期以来一直是分层数据库存储的领导者，自2016年以来支持Redis on Flash。2019年,，Redis 企业版宣布支持英特尔Optane DC持久性内存，它在DRAM（动态随机存取内存）和SSD之间提供了一个新的持久性内存层。这两种技术的结合使其在使用实时服务和分析非常大的数据集方面具有很高的成本效益。

（5）Redis Enterprise应用场景

Redis的应用场景十分广泛，具体包括：

• 企业缓存：通过快速、可扩展且高度可用的缓存层提升应用程序性能，给用户带来最佳体验。
• 会话管理：使用分布式会话管理解决方案构建用户的可信视图。 重复数据删除：通过概率过滤整理用户的数据来增强用户体验和保留率。
• 实时排行榜：为数百万用户提供可靠的结果。 欺诈识别：轻松处理身份数据、基于 AI 的交易评分和高速统计分析，提供更快的欺诈检测。
• 实时库存系统：为在线零售提供动力，为销售活动或促销活动提供最佳性能、规模和可用性。

2.Redis+AWS的欺诈检测方案

（1）Redis Enterprise Cloud on AWS介绍

Amazon Web Services（AWS），是世界上最全面且被广泛采用的云平台，提供来自全球数据中心的200多项服务。Redis和AWS联合推出的Redis Enterprise Cloud on AWS 是一种完全托管的数据库即服务，具有高性能、无限可扩展性和真正的高可用性。

（2）解决方案组件介绍

Redis Enterprise是一个强大的、可扩展的内存数据库，支持高级数据结构。随着模块的增加，Redis Enterprise是非常适合用来进行实时欺诈检测。Redis Enterprise Cloud on AWS可以使用基于多层规则的人工智能方法来增强欺诈检测，解决方案组件如下：

• 使用RedisBloom，我们可以有效地实现将欺诈者的IP地址列入黑名单；
• 使用像GeoSearch和GeoPos这样的Redis命令，非常容易利用经纬度数据；
• 通过RedisJSON和RediSearch模块存储和索引JSON，可以使应用程序实现用户和购买分析逻辑。
• Active-Active使Redis成为一个地理分布的数据库，Redis on Flash为大型数据库节省了大量的成本。Active-Active（主备双活复制模式）和Redis on lash是Redis企业版独有的功能。

（3）Redis+AWS欺诈检测方法

如下图所示，Amazon S3存储桶存储着信用卡交易的历史数据集，我们将使用这些数据来训练、测试和部署机器学习模型，并实时进行推断是否存在欺诈。

• 首先，Amazon Sage Maker 内置随机深林算法和xgboost算法等机器学习算法，我们将使用这些算法进行异常检测和识别。
• 其次，我们需要部署一个AWS Lambda函数，在这个方法架构中需要重点完成三件事：第一是处理来自终端用户的实时交易数据，并将这些数据在RedisJSON中发布；第二是Lambda函数将调用Amazon Sage Maker端点，为传入的数据点分配异常分数和分类分数；第三Lambda函数将这些机器学习预测的结果持久化到各种时间序列化数据库中。
• 最后，AWS Lambda 函数可通过Amazon Kinesis Data Firehose的预测结果，将数据持久化到Amazon S3存储桶，以便Amazon Quick Sight可以对预测的结果进行可视化和分析。

下图是使用这个方法架构在Grafana上运行实时数据可视化的结果：

想要详细了解如何从代码层面来实现这个方法架构，可以关注**【虹科云科技公众号】**私信获取。

三、应用案例

1.simility公司简介

Simility是一家防欺诈解决方案提供商，专注于提供高度可扩展的防欺诈云平台，利用机器学习和人工干预相结合，保护中小企业免受复杂欺诈交易侵害，同时还能帮助防欺诈分析师应对不断演变的欺诈手段，并且不需重新编写代码就能调整防欺诈策略。

2.Simility遇到的欺诈检测问题

Simility公司的欺诈检测系统每天要为云客户处理数亿笔交易，在本地部署中每天需要处理数十亿笔交易。Simility之前一直使用DataStax作为其主要数据存储，但考虑到极高的事务量，IT团队发现DataSta很难满足最终用户的延迟要求，难以处理数百万个连接。

3.Simility公司使用Redis加快欺诈检测速度

Simility决定使用Redis企业版（Redis Enterprise）进行缓存，立即解决了其吞吐量和延迟的问题。使用Redis企业版能够非常低的成本就轻松实现扩展， Simility的能够毫不费力地将解决方案扩展到其他用例，包括高速事务、作业和队列管理以及实时数据摄取。

通过使用Redis Enterprise，Simility公司能够将IT成本降低了30%以上，将应用程序功能的交付速度提高到30%以上、应用程序性能提高了90%，将系统停机时间减少了20%多，同时大幅减少对专业内部IT资源的需求。

虹科云科技，主要分享云计算、数据库、商业智能、数据可视化、高性能计算等相关知识、产品信息、应用案例及行业信息，为学习者传输前沿知识、为技术工程师解答专业问题、为企业找到最适合的云解决方案！

原文链接：https://mp.weixin.qq.com/s/wkvKh0TplT_TyAv8sgHmhQ