day11 多级缓存

1、什么是多级缓存

传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，如图：

Untitled

存在下面的问题：

请求要经过 Tomcat 进行处理，Tomcat 的性能成为整个系统的瓶颈
Redis 缓存失效时，会对数据库产生冲击

多级缓存就是充分利用请求处理的每个环节，分别添加缓存，减轻 Tomcat 压力，提升服务性能：

浏览器访问静态资源时，优先读取浏览器本地缓存
访问非静态资源（ajax查询数据）时，访问服务端
请求到达 Nginx 后，优先读取 Nginx 本地缓存
如果 Nginx 本地缓存未命中，则直接查询 Redis（不经过 Tomcat）
如果 Redis 查询未命中，则查询 Tomcat
请求进入 Tomcat 后，优先查询 JVM 进程缓存
如果 JVM 进程缓存未命中，则查询数据库

Untitled

在多级缓存架构中，Nginx 内部需要编写本地缓存查询、Redis 查询、Tomcat 查询的业务逻辑，因此这样的 Nginx 服务不再是一个反向代理服务器，而是一个编写业务的 Web 服务器了。

因此这样的业务 Nginx 服务也需要搭建集群来提高并发，再由专门的 Nginx 服务来做反向代理，如图：

Untitled

另外，我们的 Tomcat 服务将来也会部署为集群模式：

Untitled

可见，多级缓存的关键有两个：

一个是在 Nginx 中编写业务，实现 Nginx 本地缓存、Redis、Tomcat 的查询
另一个就是在 Tomcat 中实现 JVM 进程缓存

其中 Nginx 编程则会用到 OpenResty 框架结合 Lua 这样的语言。

2、JVM进程缓存

2.1、导入商品案例

为了演示多级缓存，我们先导入一个商品管理的案例，其中包含商品的 CRUD 功能。我们将来会给查询商品添加多级缓存。

安装MySQL

后期做数据同步需要用到 MySQL 的主从功能，所以需要大家在服务器中，利用 Docker 来运行一个 MySQL 容器。

1、准备目录

为了方便后期配置 MySQL，我们先准备两个目录，用于挂载容器的数据和配置文件目录：

# 进入/opt目录
cd /opt
# 创建文件夹
mkdir mysql
# 进入mysql目录
cd mysql
1
2
3
4
5
6

2、运行命令

进入 mysql 目录后，执行下面的 Docker 命令：

docker run \
 -p 3306:3306 \
 --name mysql \
 -v $PWD/conf:/etc/mysql/conf.d \
 -v $PWD/logs:/logs \
 -v $PWD/data:/var/lib/mysql \
 -e MYSQL_ROOT_PASSWORD=283619 \
 --privileged \
 -d \
 mysql:5.7.25
1
2
3
4
5
6
7
8
9
10

3、修改配置

在 /opt/mysql/conf 目录添加一个 my.cnf 文件，作为 mysql 的配置文件：

# 创建文件
touch /opt/mysql/conf/my.cnf
1
2

文件的内容如下：

[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000
1
2
3
4
5

4、重启

修改配置后，必须重启容器：

docker restart mysql
1

导入SQL

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- 商品表
-- ----------------------------
DROP TABLE IF EXISTS `tb_item`;
CREATE TABLE `tb_item`  (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '商品id',
  `title` varchar(264) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '商品标题',
  `name` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '' COMMENT '商品名称',
  `price` bigint(20) NOT NULL COMMENT '价格（分）',
  `image` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '商品图片',
  `category` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '类目名称',
  `brand` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '品牌名称',
  `spec` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '规格',
  `status` int(1) NULL DEFAULT 1 COMMENT '商品状态 1-正常，2-下架，3-删除',
  `create_time` datetime NULL DEFAULT NULL COMMENT '创建时间',
  `update_time` datetime NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `status`(`status`) USING BTREE,
  INDEX `updated`(`update_time`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 50002 CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = '商品表' ROW_FORMAT = COMPACT;

-- ----------------------------
-- Records of tb_item
-- ----------------------------
INSERT INTO `tb_item` VALUES (10001, 'RIMOWA 21寸托运箱拉杆箱 SALSA AIR系列果绿色 820.70.36.4', 'SALSA AIR', 16900, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t6934/364/1195375010/84676/e9f2c55f/597ece38N0ddcbc77.jpg!q70.jpg.webp', '拉杆箱', 'RIMOWA', '{\"颜色\": \"红色\", \"尺码\": \"26寸\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10002, '安佳脱脂牛奶 新西兰进口轻欣脱脂250ml*24整箱装*2', '脱脂牛奶', 68600, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t25552/261/1180671662/383855/33da8faa/5b8cf792Neda8550c.jpg!q70.jpg.webp', '牛奶', '安佳', '{\"数量\": 24}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10003, '唐狮新品牛仔裤女学生韩版宽松裤子 A款/中牛仔蓝（无绒款） 26', '韩版牛仔裤', 84600, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t26989/116/124520860/644643/173643ea/5b860864N6bfd95db.jpg!q70.jpg.webp', '牛仔裤', '唐狮', '{\"颜色\": \"蓝色\", \"尺码\": \"26\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10004, '森马(senma)休闲鞋女2019春季新款韩版系带板鞋学生百搭平底女鞋 黄色 36', '休闲板鞋', 10400, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t1/29976/8/2947/65074/5c22dad6Ef54f0505/0b5fe8c5d9bf6c47.jpg!q70.jpg.webp', '休闲鞋', '森马', '{\"颜色\": \"白色\", \"尺码\": \"36\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10005, '花王（Merries）拉拉裤 M58片 中号尿不湿（6-11kg）（日本原装进口）', '拉拉裤', 38900, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t24370/119/1282321183/267273/b4be9a80/5b595759N7d92f931.jpg!q70.jpg.webp', '拉拉裤', '花王', '{\"型号\": \"XL\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');

-- ----------------------------
-- 商品库存表
-- ----------------------------
DROP TABLE IF EXISTS `tb_item_stock`;
CREATE TABLE `tb_item_stock`  (
  `item_id` bigint(20) NOT NULL COMMENT '商品id，关联tb_item表',
  `stock` int(10) NOT NULL DEFAULT 9999 COMMENT '商品库存',
  `sold` int(10) NOT NULL DEFAULT 0 COMMENT '商品销量',
  PRIMARY KEY (`item_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = COMPACT;

-- ----------------------------
-- Records of tb_item_stock
-- ----------------------------
INSERT INTO `tb_item_stock` VALUES (10001, 99996, 3219);
INSERT INTO `tb_item_stock` VALUES (10002, 99999, 54981);
INSERT INTO `tb_item_stock` VALUES (10003, 99999, 189);
INSERT INTO `tb_item_stock` VALUES (10004, 99999, 974);
INSERT INTO `tb_item_stock` VALUES (10005, 99999, 18649);

SET FOREIGN_KEY_CHECKS = 1;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

其中包含两张表：

tb_item：商品表，包含商品的基本信息
tb_item_stock：商品库存表，包含商品的库存信息

之所以将库存分离出来，是因为库存是更新比较频繁的信息，写操作较多。而其他信息修改的频率非常低。

导入Demo工程

项目结构如图：

Untitled

其中的业务包括：

分页查询商品
新增商品
修改商品
修改库存
删除商品
根据 id 查询商品信息
根据 id 查询商品库存

导入商品查询页面

商品查询是购物页面，与商品管理的页面是分离的。

部署方式如图：

Untitled

我们需要准备一个反向代理的 nginx 服务器，如上图红框所示，将静态的商品页面放到 nginx 目录中。

页面需要的数据通过 ajax 向服务端（nginx 业务集群）查询。

1、运行 nginx 服务

运行命令：

brew services start nginx // 重启的命令是: brew services restart nginx
1

然后访问 http://localhost/item.html?id=10001 即可：

Untitled

2、反向代理

现在的页面是假数据展示的。我们需要向服务器发送 ajax 请求，查询商品数据。

打开控制台，可以看到页面有发起 ajax 查询数据：

Untitled

而这个请求地址同样是 80 端口，所以被当前的 nginx 反向代理了。

查看 nginx 的 conf 目录下的 nginx.conf 文件：

cd /usr/local/etc/nginx
1

Untitled

其中的关键配置如下：

Untitled

其中的127.0.0.1 是我的本地IP，也就是我的 Nginx 业务集群要部署的地方：

Untitled

完整内容如下：

# user  nobody;
worker_processes  1;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    #tcp_nopush     on;
    keepalive_timeout  65;

    # OpenResty的业务集群，可以实现多级缓存业务
    upstream nginx-cluster{
        server 1.117.74.26:8081;
    }
    
    server {
        listen       80;
        server_name  localhost;

	    location /api {
            proxy_pass http://nginx-cluster;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

2.2、初识Caffeine

缓存在日常开发中起到至关重要的作用，由于是存储在内存中，数据的读取速度是非常快的，能大量减少对数据库的访问，减少数据库的压力。我们把缓存分为两类：

分布式缓存，例如 Redis：
- 优点：存储容量更大、可靠性更好、可以在集群间共享
- 缺点：访问缓存有网络开销
- 场景：缓存数据量较大、可靠性要求较高、需要在集群间共享
进程本地缓存，例如 HashMap、GuavaCache：
- 优点：读取本地内存，没有网络开销，速度更快
- 缺点：存储容量有限、可靠性较低、无法共享
- 场景：性能要求较高，缓存数据量较小

我们今天会利用 Caffeine 框架来实现 JVM 进程缓存。

Caffeine 是一个基于 Java8 开发的，提供了近乎最佳命中率的高性能的本地缓存库。目前 Spring 内部的缓存使用的就是 Caffeine。GitHub 官方地址：https://github.com/ben-manes/caffeine，官方文档说明：https://github.com/ben-manes/caffeine/wiki/Home-zh-CN

Caffeine 的性能非常好，下图是官方给出的性能对比：

Untitled

可以看到 Caffeine 的性能遥遥领先！

缓存使用的基本 API：

		/*
      基本用法测试
     */
    @Test
    void testBasicOps() {
        // 创建缓存对象
        Cache<String, String> cache = Caffeine.newBuilder().build();

        // 存数据
        cache.put("gf", "迪丽热巴");

        // 取数据，如果数据不存在则返回null
        String gf = cache.getIfPresent("gf");
        System.out.println("gf = " + gf);

        // 取数据，如果未命中则查询数据库
        String defaultGF = cache.get("defaultGF", key -> {
            // 这里可以根据key去数据库查询数据
            return "柳岩";
        });
        System.out.println("defaultGF = " + defaultGF);
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

Caffeine 既然是缓存的一种，肯定需要有缓存的清除策略，不然的话内存总会有耗尽的时候。

Caffeine 提供了三种缓存驱逐策略：

1、基于容量：设置缓存的数量上限

2、基于时间：设置缓存的有效时间

3、基于引用：设置缓存为软引用或弱引用，利用 GC 来回收缓存数据。性能较差，不建议使用。

		/**
     * 基于大小设置驱逐策略
     *
     * @throws InterruptedException
     */
    @Test
    void testEvictByNum() throws InterruptedException {
        // 创建缓存对象
        Cache<String, String> cache = Caffeine.newBuilder()
                // 设置缓存大小上限为 1
                .maximumSize(1).build();
        // 存数据
        cache.put("gf1", "柳岩");
        cache.put("gf2", "范冰冰");
        cache.put("gf3", "迪丽热巴");
        // 延迟10ms，给清理线程一点时间
        Thread.sleep(10L);
        // 获取数据
        System.out.println("gf1: " + cache.getIfPresent("gf1"));
        System.out.println("gf2: " + cache.getIfPresent("gf2"));
        System.out.println("gf3: " + cache.getIfPresent("gf3"));
    }

    /**
     * 基于时间设置驱逐策略
     *
     * @throws InterruptedException
     */
    @Test
    void testEvictByTime() throws InterruptedException {
        // 创建缓存对象
        Cache<String, String> cache = Caffeine.newBuilder()
                // 设置缓存有效期为 1 秒
                .expireAfterWrite(Duration.ofSeconds(1)).build();
        // 存数据
        cache.put("gf", "柳岩");
        // 获取数据
        System.out.println("gf: " + cache.getIfPresent("gf"));
        // 休眠2秒
        Thread.sleep(2000L);
        System.out.println("gf: " + cache.getIfPresent("gf"));
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

注意：在默认情况下，当一个缓存元素过期时，Caffeine 不会立即将其清理和驱逐。而是在一次读或写操作后，或者在空闲时间完成对失效数据的驱逐。

2.3、实现JVM进程缓存

利用 Caffeine 实现下列需求：

给根据 id 查询商品的业务添加缓存，缓存未命中时查询数据库
给根据 id 查询商品库存的业务添加缓存，缓存未命中时查询数据库
缓存初始大小为 100
缓存上限为 10000

实现

首先，我们需要定义两个 Caffeine 的缓存对象，分别保存商品、库存的缓存数据。

1、在 item-service 中的 com.heima.item.config 包下定义 CaffeineConfig 类：

@Configuration
public class CaffeineConfig {

    /**
     * 缓存商品数据
     *
     * @return
     */
    @Bean
    public Cache<Long, Item> itemCache() {
        return Caffeine.newBuilder()
                // 设置初始大小为100
                .initialCapacity(100)
                // 设置缓存上限为10000
                .maximumSize(10_000).build();
    }

    /**
     * 缓存商品库存数据
     *
     * @return
     */
    @Bean
    public Cache<Long, ItemStock> stockCache() {
        return Caffeine.newBuilder()
                // 设置初始大小为100
                .initialCapacity(100)
                // 设置缓存上限为10000
                .maximumSize(10_000).build();
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

2、然后，修改 item-service 中的 com.heima.item.web 包下的 ItemController 类，添加缓存逻辑：

@RestController
@RequestMapping("/item")
public class ItemController {

    @Autowired
    private IItemService itemService;

    @Autowired
    private IItemStockService stockService;

    @Autowired
    private Cache<Long, Item> itemCache;

    @Autowired
    private Cache<Long, ItemStock> stockCache;

    /**
     * 根据商品id查询商品信息
     *
     * @param id
     * @return
     */
    @GetMapping("/{id}")
    public Item findById(@PathVariable("id") Long id) {
        /**
         * 这里的key和id是一样的
         * 优先根据id查询本地缓存，如果缓存未命中则根据数据库查询，并将数据存入缓存
         */
        return itemCache.get(id, key -> itemService.query().ne("status", 3).eq("id", key).one());
    }

    /**
     * 根据商品id查询商品库存
     *
     * @param id
     * @return
     */
    @GetMapping("/stock/{id}")
    public ItemStock findStockById(@PathVariable("id") Long id) {
        /**
         * 这里的key和id是一样的
         * 优先根据id查询本地缓存，如果缓存未命中则根据数据库查询，并将数据存入缓存
         */
        return stockCache.get(id, key -> stockService.getById(key));
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

3、Lua语法入门

Nginx 编程需要用到 Lua 语言，因此我们必须先入门 Lua 的基本语法。

3.1、初识Lua

Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。官网：https://www.lua.org/

Untitled

Lua 经常嵌入到 C 语言开发的程序中，例如游戏开发、游戏插件等。

Nginx 本身也是 C 语言开发的，因此也允许基于 Lua 做拓展。

Hello World

CentOS7 默认已经安装了 Lua 的语言环境，所以可以直接运行 Lua 代码。

1、在 Linux 虚拟机的任意目录下，新建一个 hello.lua 文件

2、添加下面的内容

print('hello world!')
1

3、运行

Untitled

3.2、变量和循环

学习任何语言必然离不开变量，而变量的声明必须先知道数据的类型。

Lua的数据类型

Lua 中支持的常见数据类型包括：

Untitled

另外，Lua 提供了 type() 函数来判断一个变量的数据类型：

Untitled

声明变量

Lua 声明变量的时候无需指定数据类型，而是用 local 来声明变量为局部变量：

-- 声明字符串，可以用单引号或双引号
local str = 'hello'
-- 字符串拼接可以使用 ..
local str2 = 'hello' .. 'world'
-- 声明数字
local num = 21
-- 声明布尔类型
local flag = true
1
2
3
4
5
6
7
8

Lua 中的 table 类型既可以作为数组，又可以作为 Java 中的 map 来使用。数组就是特殊的 table，key 是数组角标而已：

-- 声明数组（key为索引的table）
local arr = {'java', 'python', 'lua'}
-- 声明table，类似java的map
local map = {name = 'Jack', age = 21}
1
2
3
4

Lua 中的数组角标是从 1 开始的，访问的时候与 Java 中类似：

-- 访问数组，lua数组的角标是从1开始的
print(arr[1])
1
2

Lua 中的 table 可以用 key 来访问：

-- 访问table
print(map['name'])
print(map.name)
1
2
3

测试

Untitled

循环

对于 table，我们可以利用 for 循环来遍历。不过数组和普通 table 的遍历略有差异。

遍历数组

-- 声明数组（key为索引的table）
local arr = {'java', 'python', 'lua'}
-- 遍历数组
for index,value in ipairs(arr) do
    print(index, value) 
end
1
2
3
4
5
6

遍历普通 table

-- 声明map，也就是table
local map = {name='Jack', age=21}
-- 遍历table
for key,value in pairs(map) do
   print(key, value) 
end
1
2
3
4
5
6

测试

vim hello.lua
1

Untitled

3.3、条件控制、函数

Lua 中的条件控制和函数声明与 Java 类似。

函数

定义函数的语法：

function 函数名(argument1, argument2..., argumentn)
    -- 函数体
    return 返回值
end
1
2
3
4

例如，定义一个函数，用来打印数组：

function printArr(arr)
    for index, value in ipairs(arr) do
        print(value)
    end
end
1
2
3
4
5

测试

vim hello.lua
1

Untitled

条件控制

类似 Java 的条件控制，例如 if、else 语法：

if(布尔表达式)
then
   --[布尔表达式为 true 时执行该语句块]--
else
   --[布尔表达式为 false 时执行该语句块]--
end
1
2
3
4
5
6

与 java 不同，布尔表达式中的逻辑运算是基于英文单词：

Untitled

案例

需求：自定义一个函数，可以打印 table，当参数为 nil 时，打印错误信息

vim hello.lua
1

Untitled

4、多级缓存

多级缓存的实现离不开 Nginx 编程，而 Nginx 编程又离不开 OpenResty。

4.1、安装OpenResty

OpenResty® 是一个基于 Nginx 的高性能 Web 平台，用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。具备下列特点：

具备 Nginx 的完整功能
基于 Lua 语言进行扩展，集成了大量精良的 Lua 库、第三方模块
允许使用 Lua 自定义业务逻辑、自定义库

官方网站： https://openresty.org/cn/

Untitled

安装开发库

首先xu要安装OpenResty的依赖开发库，执行命令：

yum install -y pcre-devel openssl-devel gcc --skip-broken
1

安装OpenResty仓库

你可以在你的 CentOS 系统中添加 openresty 仓库，这样就可以便于未来安装或更新我们的软件包（通过 yum check-update 命令）。运行下面的命令就可以添加我们的仓库：

yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
1

安装OpenResty

然后就可以像下面这样安装软件包，比如 openresty：

yum install -y openresty
1

安装opm工具

opm 是 OpenResty 的一个管理工具，可以帮助我们安装一个第三方的 Lua 模块。

如果你想安装命令行工具 opm，那么可以像下面这样安装 openresty-opm 包：

yum install -y openresty-opm
1

目录结构

默认情况下，OpenResty 安装的目录是：/usr/local/openresty

Untitled

看到里面的 nginx 目录了吗，OpenResty 就是在 Nginx 基础上集成了一些 Lua 模块。

配置nginx的环境变量

打开配置文件：

vi /etc/profile
1

在最下面加入两行：

export NGINX_HOME=/usr/local/openresty/nginx
export PATH=${NGINX_HOME}/sbin:$PATH
1
2

NGINX_HOME：后面是 OpenResty 安装目录下的 nginx 目录

然后让配置生效：

source /etc/profile
1

运行

运行方式与 nginx 基本一致：

# 启动nginx
nginx
# 重新加载配置
nginx -s reload
# 停止
nginx -s stop
1
2
3
4
5
6

nginx 的默认配置文件注释太多，影响我们后续的编辑，这里将 nginx.conf 中的注释部分删除，保留有效部分。

修改 /usr/local/openresty/nginx/conf/nginx.conf 文件，内容如下：

# user  nobody;
worker_processes  1;
error_log  logs/error.log;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;

    server {
        listen       8081;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

在 Linux 的控制台输入命令以启动 nginx：

nginx
1

然后访问页面：http://nginx服务器地址:8081

Untitled

4.2、OpenResty快速入门

我们希望达到的多级缓存架构如图：

Untitled

其中：

Mac 上的 nginx 用来做反向代理服务，将前端查询商品的 ajax 请求代理到 OpenResty 集群
OpenResty 集群用来编写多级缓存业务

反向代理流程

商品详情页面目前展示的是假数据，在浏览器的控制台可以看到查询商品信息的请求：

Untitled

请求地址是 localhost，端口号是 80，这样就能被 Mac 上安装的 Nginx 服务给接收到了。然后将这个请求反向代理到了 Linux 的 OpenResty 集群：

Untitled

我们需要在 OpenResty 中编写业务逻辑，查询商品数据并返回到浏览器。

但是这次，我们先在 OpenResty 接收请求，返回假的商品数据。

OpenResty监听请求

OpenResty 的很多功能都依赖于其目录下的 Lua 库，需要在 nginx.conf 中指定依赖库的目录，并导入依赖：

1、添加对 OpenResty 的 Lua 模块的加载

修改 /usr/local/openresty/nginx/conf/nginx.conf 文件，在其中的 http 下面，添加下面代码：

# 加载lua模块
lua_package_path "/usr/local/openresty/lualib/?.lua;;";
# 加载c模块     
lua_package_cpath "/usr/local/openresty/lualib/?.so;;";
1
2
3
4

2、监听 /api/item 路径

修改 /usr/local/openresty/nginx/conf/nginx.conf 文件，在 nginx.conf 的 server 下面，添加对 /api/item 这个路径的监听：

location /api/item {
    # 默认的响应类型
    default_type application/json;
    # 响应结果由lua/item.lua文件来决定
    content_by_lua_file lua/item.lua;
}
1
2
3
4
5
6

这个监听，就类似于 SpringMVC 中的 @GetMapping("/api/item") 做路径映射。

而 content_by_lua_file lua/item.lua 则相当于调用 item.lua 这个文件，执行其中的业务逻辑，把结果返回给用户。相当于在 Java 中调用了 service。

编写item.lua

1、在 /usr/local/openresty/nginx目录创建文件夹：lua

cd /usr/local/openresty/nginx
mkdir lua
1
2

2、在 /usr/local/openresty/nginx/lua 文件夹下，新建文件：item.lua

cd /usr/local/openresty/nginx
touch lua/item.lua

1
2
3

3、编写 item.lua，返回假数据

在 item.lua 中，利用 ngx.say() 函数返回数据到 Response 中

ngx.say('{"id":10001,"name":"SALSA AIR","title":"RIMOWA 26寸托运箱拉杆箱 SALSA AIR系列果绿色 820.70.36.4","price":19900,"image":"https://m.360buyimg.com/mobilecms/s720x720_jfs/t6934/364/1195375010/84676/e9f2c55f/597ece38N0ddcbc77.jpg!q70.jpg.webp","category":"拉杆箱","brand":"RIMOWA","spec":"","status":1,"createTime":"2019-04-30T16:00:00.000+00:00","updateTime":"2019-04-30T16:00:00.000+00:00","stock":2999,"sold":31290}')
1

4、重新加载配置

nginx -s reload
1

刷新商品页面：http://localhost/item.html?id=1001，即可看到效果：

Untitled

4.3、请求参数处理

前面我们在 OpenResty 接收前端请求，但是返回的是假数据。

要想返回真实数据，必须根据前端传来的商品 id 去查询商品信息才可以。

那么如何获取前端传递的商品参数呢？

获取参数的API

OpenResty 提供了各种 API 用来获取不同类型的前端请求参数：

Untitled

获取参数并返回

前端发起的 ajax 请求如图：

Untitled

可以看到商品 id 是以路径占位符方式进行传递的，因此可以利用正则表达式匹配的方式来获取 id

1、获取商品 id

修改 /usr/local/openresty/nginx/nginx.conf 文件中监听 /api/item 的代码，利用正则表达式获取 id：

				location ~ /api/item/(\d+) {
            # 默认的响应类型
            default_type application/json;
            # 响应结果由lua/item.lua文件来决定
            content_by_lua_file lua/item.lua;
        }
1
2
3
4
5
6

2、拼接 id 并返回

修改 /usr/local/openresty/nginx/lua/item.lua 文件，获取 id 并拼接到结果中返回：

-- 获取路径参数
local id =ngx.var[1]

-- 返回结果
ngx.say('{"id":' .. id .. ',"name":"SALSA AIR","title":"RIMOWA 26寸托运箱拉杆箱 SALSA AIR系列果绿色 820.70.36.4","price":19900,"image":"https://m.360buyimg.com/mobilecms/s720x720_jfs/t6934/364/1195375010/84676/e9f2c55f/597ece38N0ddcbc77.jpg!q70.jpg.webp","category":"拉杆箱","brand":"RIMOWA","spec":"","status":1,"createTime":"2019-04-30T16:00:00.000+00:00","updateTime":"2019-04-30T16:00:00.000+00:00","stock":2999,"sold":31290}')
1
2
3
4
5

3、重新加载并测试

nginx -s reload
1

刷新页面就可以看到结果中已经带上了 id：

Untitled

4.4、查询Tomcat

拿到商品 id 后，本应去缓存中查询商品信息，不过目前我们还未建立 nginx、redis 缓存。因此，这里我们先根据商品 id 去 tomcat 查询商品信息。我们实现如图部分：

Untitled

发送http请求的API

nginx 提供了内部 API 用以发送 http 请求：

local resp = ngx.location.capture("/path",{
    method = ngx.HTTP_GET,   -- 请求方式
		-- 两者选择其中一种
    args = {a=1,b=2},  -- get方式传参数
		body = "c=3&d=4"  -- post方式传参数
})
1
2
3
4
5
6

返回的响应内容包括：

resp.status：响应状态码
resp.header：响应头，是一个 table
resp.body：响应体，就是响应数据（JSON字符串）

注意：这里的 path 是路径，并不包含 IP 和端口。这个请求会被 nginx 内部的 server 监听并处理。

但是我们希望将这个请求发送到 Tomcat 服务器，所以还需要编写一个 server 来对这个路径做反向代理：

location /path {
     # tomcat服务器的ip地址和端口
     proxy_pass http://1.117.74.26:8081;
 }
1
2
3
4

原理如图：

Untitled

封装http工具

下面，我们封装一个发送 Http 请求的工具，基于 ngx.location.capture 来实现查询 tomcat。

1、添加反向代理，到 tomcat 服务

因为 item-service 中的接口都是 /item 开头的，所以我们监听 /item 路径，代理 tomcat 服务。

修改 /usr/local/openresty/nginx/conf/nginx.conf 文件，添加一个 location：

location /item {
   proxy_pass http://1.117.74.26:8085;
}
1
2
3

以后只要我们调用 ngx.location.capture("/item")，就一定能发送请求到 tomcat 服务。

2、封装工具类

之前我们说过，OpenResty 启动时会加载以下两个目录中的工具文件：

Untitled

所以自定义的 http 工具也需要放到这个目录下。

在 /usr/local/openresty/lualib目录下，新建一个 common.lua 文件：

-- 封装函数，发送http请求，并解析响应
local function read_http(path, params)
    local resp = ngx.location.capture(path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not resp then
        -- 记录错误信息，返回404
        ngx.log(ngx.ERR, "http查询失败, path: ", path , ", args: ", args)
        ngx.exit(404)
    end
    return resp.body
end
-- 将方法导出
local _M = {  
    read_http = read_http
}  
return _M
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

这个工具将 read_http 函数封装到 _M 这个 table 类型的变量中，并且返回，这类似于导出。

使用的时候，可以利用 require('common') 来导入该函数库，这里的 common是函数库的文件名。

3、实现商品查询

最后，我们修改 /usr/local/openresty/lua/item.lua 文件，利用刚刚封装好的函数库实现对 tomcat 的查询：

-- 引入自定义common工具模块，返回值是common中返回的 _M
local common = require("common")
-- 从 common中获取read_http这个函数
local read_http = common.read_http
-- 获取路径参数
local id = ngx.var[1]
-- 根据id查询商品
local itemJSON = read_http("/item/".. id, nil)
-- 根据id查询商品库存
local itemStockJSON = read_http("/item/stock/".. id, nil)
1
2
3
4
5
6
7
8
9
10

这里查询到的结果是 json 字符串，并且包含商品信息和商品库存两个 json 字符串，页面最终需要的是把这两个 json 拼接成一个 json：

Untitled

这就需要我们先把 JSON 变为 lua 的 table，完成数据整合后，再转为 JSON。

CJSON工具类

OpenResty 提供了一个 cjson 的模块用来处理 JSON 的序列化和反序列化。

官方地址： https://github.com/openresty/lua-cjson/

1、引入cjson模块：

local cjson = require "cjson"
1

2、序列化：

local obj = {
    name = 'jack',
    age = 21
}
-- 把 table 序列化为 json
local json = cjson.encode(obj)
1
2
3
4
5
6

3、反序列化：

local json = '{"name": "jack", "age": 21}'
-- 反序列化 json为 table
local obj = cjson.decode(json);
print(obj.name)
1
2
3
4

实现Tomcat查询

下面，我们修改之前的 item.lua 中的业务，添加 json 处理功能：

-- 导入common函数库
local common = require('common') -- require后面跟着的就是文件名
local read_http = common.read_http
-- 导入cjson库
local cjson = require('cjson')

-- 获取路径参数
local id =ngx.var[1]

-- 查询商品信息
local itemJSON = read_http("/item/" .. id, nil)

-- 查询库存信息
local stockJSON = read_http("/item/stock/" .. id, nil)

-- 将JSON转化为lua的table
local item = cjson.decode(itemJSON)
local stock = cjson.decode(stockJSON)

-- 组合数据
item.stock = stock.stock
item.sold = stock.sold

-- 将item序列化为json，并返回结果
ngx.say(cjson.encode(item))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

基于ID负载均衡

刚才的代码中，我们的 tomcat 是单机部署。而在实际开发中，tomcat 一定是集群模式：

Untitled

因此，OpenResty 需要对 tomcat 集群做负载均衡。

而默认的负载均衡规则是轮询模式，当我们查询 /item/10001 时：

第一次会访问 8081 端口的 tomcat 服务，在该服务内部就形成了 JVM 进程缓存
第二次会访问 8082 端口的 tomcat 服务，在该服务内部没有 JVM 缓存（因为JVM缓存无法共享），那么会查询数据库
…

你看，因为轮询的原因，第一次查询 8081 形成的 JVM 缓存并未生效，直到下一次再次访问到 8081 时才可以生效，缓存命中率太低了。

怎么办？

如果能让同一个商品，每次查询时都访问到同一个 tomcat 服务，那么 JVM 缓存就一定能生效了。

也就是说，我们需要根据商品 id 做负载均衡，而不是轮询。

原理

nginx 提供了基于请求路径做负载均衡的算法：

nginx 根据请求路径做 hash 运算，把得到的数值对 tomcat 服务的数量进行取余，余数是几，就访问第几个 tomcat 服务，实现负载均衡。

例如：

我们的请求路径是 /item/10001
tomcat 总数为2台（8085、8086）
对请求路径 /item/10001 做 hash 运算求余的结果为 1
则访问第一个 tomcat 服务，也就是 8085

只要 id 不变，每次 hash 运算结果也不会变，那就可以保证同一个商品，一直访问同一个 tomcat 服务，确保 JVM 缓存生效。

实现

修改 /usr/local/openresty/nginx/conf/nginx.conf 文件，实现基于 ID 做负载均衡。

# user  nobody;
worker_processes  1;
error_log  logs/error.log;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    # 加载lua模块
    lua_package_path "/usr/local/openresty/lualib/?.lua;;";
    # 加载c模块     
    lua_package_cpath "/usr/local/openresty/lualib/?.so;;";

    upstream tomcat-cluster {
        hash $request_uri;
        server 1.117.74.26:8085;
        server 1.117.74.26:8086;
    }

    server {
        listen       8081;
        server_name  localhost;

        location /item {
            proxy_pass http://tomcat-cluster;
        }
        
        location ~ /api/item/(\d+) {
            # 默认的响应类型
            default_type application/json;
            # 响应结果由lua/item.lua文件来决定
            content_by_lua_file lua/item.lua;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

重新加载 OpenResty

nginx -s reload
1

4.5、Redis缓存预热

Redis 缓存会面临冷启动问题：

冷启动：服务刚刚启动时，Redis 中并没有缓存，如果所有商品数据都在第一次查询时添加缓存，可能会给数据库带来较大压力。

缓存预热：在实际开发中，我们可以利用大数据统计用户访问的热点数据，在项目启动时将这些热点数据提前查询并保存到 Redis 中。

我们数据量较少，并且没有数据统计的相关功能，目前可以在启动时将所有数据都放入缓存中。

Untitled

1、利用 Docker 安装 Redis

docker run --name redis -p 6379:6379 -d redis redis-server --appendonly yes
1

2、在 item-service 服务中引入 Redis 依赖


<dependency>
    <groupId>org.springframework.bootgroupId>
    <artifactId>spring-boot-starter-data-redisartifactId>
dependency>
1
2
3
4
5

3、配置 Redis 地址

spring:
  redis:
    host: 1.12.65.61
1
2
3

4、编写初始化类

缓存预热需要在项目启动时完成，并且必须是拿到 RedisTemplate 之后。

这里我们利用 InitializingBean 接口来实现，因为 InitializingBean 可以在对象被 Spring 创建并且成员变量全部注入后执行。

@Component
public class RedisHandler implements InitializingBean {

    @Autowired
    private StringRedisTemplate redisTemplate;

    @Autowired
    private IItemService itemService;

    @Autowired
    private IItemStockService stockService;

    private static final ObjectMapper MAPPER = new ObjectMapper();

    @Override
    public void afterPropertiesSet() throws Exception {
        // 初始化缓存
        // 1、查询商品信息
        List<Item> itemList = itemService.list();
        // 2、放入缓存
        for (Item item : itemList) {
            // 2.1、item序列化为JSON
            String json = MAPPER.writeValueAsString(item);
            // 2.2、存入redis
            redisTemplate.opsForValue().set("item:id:" + item.getId(), json);
        }

        // 3、查询商品库存信息
        List<ItemStock> stockList = stockService.list();
        // 4、放入缓存
        for (ItemStock stock : stockList) {
            // 4.1、item序列化为JSON
            String json = MAPPER.writeValueAsString(stock);
            // 4.2、存入redis
            redisTemplate.opsForValue().set("item:stock:id:" + stock.getId(), json);
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

4.6、查询Redis缓存

现在，Redis 缓存已经准备就绪，我们可以在 OpenResty 中实现查询 Redis 的逻辑了。如下图红框所示：

Untitled

当请求进入 OpenResty 之后：

优先查询 Redis 缓存
如果 Redis 缓存未命中，再查询 Tomcat

封装Redis工具

OpenResty 提供了操作 Redis 的模块，我们只要引入该模块就能直接使用。但是为了方便，我们将 Redis 操作封装到之前的 common.lua 工具库中。

1、引入 Redis 模块，并初始化 Redis 对象

修改 /usr/local/openresty/lualib/common.lua 文件：

-- 导入redis
local redis = require('resty.redis')
-- 初始化redis
local red = redis:new()
-- 设置redis超时时间，单位是毫秒（建立连接的超时时间、发送请求的超时时间、响应结果的超时时间）
red:set_timeouts(1000, 1000, 1000)
1
2
3
4
5
6

2、封装函数，用来释放 Redis 连接，其实是放入连接池

-- 关闭redis连接的工具方法，其实是放入连接池
local function close_redis(red)
    local pool_max_idle_time = 10000 -- 连接的空闲时间，单位是毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.log(ngx.ERR, "放入redis连接池失败: ", err)
    end
end
1
2
3
4
5
6
7
8
9

3、封装函数，根据 key 查询 Redis 数据

-- 查询redis的方法，ip和port是redis地址，key是查询的key
local function read_redis(ip, port, key)
    -- 获取一个连接
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.log(ngx.ERR, "连接redis失败 : ", err)
        return nil
    end
    -- 查询redis
    local resp, err = red:get(key)
    -- 查询失败处理
    if not resp then
        ngx.log(ngx.ERR, "查询Redis失败: ", err, ", key = " , key)
    end
    --得到的数据为空处理
    if resp == ngx.null then
        resp = nil
        ngx.log(ngx.ERR, "查询Redis数据为空, key = ", key)
    end
    close_redis(red)
    return resp
end
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

完整的 common.lua：

-- 导入redis
local redis = require('resty.redis')
-- 初始化redis
local red = redis:new()
-- 设置redis超时时间，单位是毫秒（建立连接的超时时间、发送请求的超时时间、响应结果的超时时间）
red:set_timeouts(1000, 1000, 1000)

-- 关闭redis连接的工具方法，其实是放入连接池
local function close_redis(red)
    local pool_max_idle_time = 10000 -- 连接的空闲时间，单位是毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.log(ngx.ERR, "放入redis连接池失败: ", err)
    end
end

-- 查询redis的方法，ip和port是redis地址，key是查询的key
local function read_redis(ip, port, key)
    -- 获取一个连接
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.log(ngx.ERR, "连接redis失败 : ", err)
        return nil
    end
    -- 查询redis
    local resp, err = red:get(key)
    -- 查询失败处理
    if not resp then
        ngx.log(ngx.ERR, "查询Redis失败: ", err, ", key = " , key)
    end
    --得到的数据为空处理
    if resp == ngx.null then
        resp = nil
        ngx.log(ngx.ERR, "查询Redis数据为空, key = ", key)
    end
    close_redis(red)
    return resp
end

-- 封装函数，发送http请求，并解析响应
local function read_http(path, params)
    local resp = ngx.location.capture(path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not resp then
        -- 记录错误信息，返回404
        ngx.log(ngx.ERR, "http查询失败, path: ", path , ", args: ", args)
        ngx.exit(404)
    end
    return resp.body
end

-- 将方法导出
local _M = {  
    read_http = read_http,
    read_redis = read_redis
}  
return _M
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60

实现Redis查询

接下来，我们就可以去修改 item.lua 文件，实现对 Redis 的查询了。

查询的逻辑是：

根据 id 查询 Redis
如果查询失败则继续查询 Tomcat
将查询结果返回

1、修改 /usr/local/openresty/lua/item.lua 文件，添加一个查询函数：

-- 封装查询函数
function read_data(key, path, params)
    -- 优先查询redis
    local resp = read_redis("1.12.65.61", 6379, key)
    -- 判断查询结果
    if not resp then
        ngx.log(ngx.ERR, "redis查询失败，尝试查询http，key: ", key)
        -- redis查询失败，去查询http
        resp = read_http(path, params)
    end
    -- 返回数据
    return resp
end
1
2
3
4
5
6
7
8
9
10
11
12
13

2、而后修改商品查询、库存查询的业务：

Untitled

3、完整的 item.lua 代码：

-- 导入common函数库
local common = require('common') -- require后面跟着的就是文件名
local read_http = common.read_http
local read_redis = common.read_redis

-- 导入cjson库
local cjson = require('cjson')

-- 封装查询函数
function read_data(key, path, params)
    -- 优先查询redis
    local resp = read_redis("1.12.65.61", 6379, key)
    -- 判断查询结果
    if not resp then
        ngx.log(ngx.ERR, "redis查询失败，尝试查询http，key: ", key)
        -- redis查询失败，去查询http
        resp = read_http(path, params)
    end
    -- 返回数据
    return resp
end

-- 获取路径参数
local id =ngx.var[1]

-- 查询商品信息
local itemJSON = read_data("item:id:" .. id, "/item/" .. id, nil)

-- 查询库存信息
local stockJSON = read_data("item:stock:id:" .. id, "/item/stock/" .. id, nil)

-- 将JSON转化为lua的table
local item = cjson.decode(itemJSON)
local stock = cjson.decode(stockJSON)

-- 组合数据
item.stock = stock.stock
item.sold = stock.sold

-- 将item序列化为json，并返回结果
ngx.say(cjson.encode(item))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

4、重新加载 OpenResty

nginx -s reload
1

4.7、Nginx本地缓存

Untitled

本地缓存API

OpenResty 为 Nginx 提供了 shard dict 的功能，可以在 nginx 的多个 worker 进程之间共享数据，实现缓存功能。

1、开启共享字典，在 nginx.conf 的 http 下添加配置：

# 共享字典，也就是本地缓存，名称叫做：item_cache，大小150m
lua_shared_dict item_cache 150m;
1
2

Untitled

2、操作共享字典：

-- 获取本地缓存对象
local item_cache = ngx.shared.item_cache
-- 存储, 指定key、value、过期时间，单位是秒，默认为0代表永不过期
item_cache:set('key', 'value', 1000)
-- 读取
local val = item_cache:get('key')
1
2
3
4
5
6

实现本地缓存查询

1、修改 /usr/local/openresty/lua/item.lua 文件，修改 read_data 查询函数，添加本地缓存逻辑：

-- 导入共享词典（本地缓存）
local item_cache = ngx.shared.item_cache

-- 封装查询函数
function read_data(key, expire, path, params)
    -- 优先查询本地缓存
    local val = item_cache:get(key)
    if not val then
        ngx.log(ngx.ERR, "本地缓存查询失败，尝试查询Redis，key: ", key)
        -- 查询redis
        val = read_redis("1.12.65.61", 6379, key)
        -- 判断查询结果
        if not val then
            ngx.log(ngx.ERR, "redis查询失败，尝试查询http，key: ", key)
            -- redis查询失败，去查询http
            val = read_http(path, params)
        end
    end
    -- 查询成功，先把数据写入nginx本地缓存
    item_cache:set(key, val, expire)
    -- 返回数据
    return val
end
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

2、修改 item.lua 中查询商品和库存的业务，实现最新的 read_data 函数：

Untitled

其实就是多了缓存时间参数，过期后 nginx 缓存会自动删除，下次访问即可更新缓存。

这里给商品基本信息设置超时时间为 30 分钟，库存为 1 分钟。

因为库存更新频率较高，如果缓存时间过长，可能与数据库差异较大。

3、完整的 item.lua 文件：

-- 导入common函数库
local common = require('common') -- require后面跟着的就是文件名
local read_http = common.read_http
local read_redis = common.read_redis

-- 导入cjson库
local cjson = require('cjson')

-- 导入共享词典（本地缓存）
local item_cache = ngx.shared.item_cache

-- 封装查询函数
function read_data(key, expire, path, params)
    -- 优先查询本地缓存
    local val = item_cache:get(key)
    if not val then
        ngx.log(ngx.ERR, "本地缓存查询失败，尝试查询Redis，key: ", key)
        -- 查询redis
        val = read_redis("1.12.65.61", 6379, key)
        -- 判断查询结果
        if not val then
            ngx.log(ngx.ERR, "redis查询失败，尝试查询http，key: ", key)
            -- redis查询失败，去查询http
            val = read_http(path, params)
        end
    end
    -- 查询成功，先把数据写入nginx本地缓存
    item_cache:set(key, val, expire)
    -- 返回数据
    return val
end

-- 获取路径参数
local id =ngx.var[1]

-- 查询商品信息
local itemJSON = read_data("item:id:" .. id, 1800, "/item/" .. id, nil)

-- 查询库存信息
local stockJSON = read_data("item:stock:id:" .. id, 60, "/item/stock/" .. id, nil)

-- 将JSON转化为lua的table
local item = cjson.decode(itemJSON)
local stock = cjson.decode(stockJSON)

-- 组合数据
item.stock = stock.stock
item.sold = stock.sold

-- 将item序列化为json，并返回结果
ngx.say(cjson.encode(item))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

4、重新加载 OpenResty

nginx -s reload
1

5、缓存同步

大多数情况下，浏览器查询到的都是缓存数据，如果缓存数据与数据库数据存在较大差异，可能会产生比较严重的后果。

所以我们必须保证数据库数据和缓存数据的一致性，这就是缓存与数据库的同步。

5.1、数据同步策略

缓存数据同步的常见方式有三种：

1、设置有效期：给缓存设置有效期，到期后自动删除。再次查询时更新

优势：简单、方便
缺点：时效性差，缓存过期之前可能不一致
场景：更新频率较低，时效性要求低的业务

2、同步双写：在修改数据库的同时，直接修改缓存

优势：时效性强，缓存与数据库强一致
缺点：有代码侵入，耦合度高；
场景：对一致性、时效性要求较高的缓存数据

3、异步通知：修改数据库时发送事件通知，相关服务监听到通知后修改缓存数据

优势：低耦合，可以同时通知多个缓存服务
缺点：时效性一般，可能存在中间不一致状态
场景：时效性要求一般，有多个服务需要同步

而异步通知又可以基于 MQ 或者 Canal 来实现：

1、基于 MQ 的异步通知：

Untitled

商品服务完成对数据的修改后，只需要发送一条消息到 MQ 中。
缓存服务监听 MQ 消息，然后完成对缓存的更新

依然有少量的代码侵入。

2、基于 Canal 的通知：

Untitled

商品服务完成对数据的修改后，业务直接结束，没有任何代码侵入
Canal 监听 MySQL 变化，当发现变化后，立即通知缓存服务
缓存服务接收到 Canal 通知，更新缓存

代码零侵入

5.2、安装Canal

Canal，译意为水道 / 管道 / 沟渠，canal 是阿里巴巴旗下的一款开源项目，基于 Java 开发。基于数据库增量日志解析，提供增量数据订阅 & 消费。GitHub地址：https://github.com/alibaba/canal

Canal 是基于 MySQL 的主从同步来实现的，MySQL 主从同步的原理如下：

Untitled

MySQL master 将数据变更写入二进制日志（binary log），其中记录的数据叫做 binary log events
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志（relay log）
MySQL slave 重放 relay log 事件，将数据变更反映它自己的数据

而 Canal 就是把自己伪装成 MySQL 的一个 slave 节点，从而监听 master 的 binary log 变化。再把得到的变化信息通知给 Canal 的客户端，进而完成对其它数据库的同步。

Untitled

开启MySQL主从

Canal 是基于 MySQL 的主从同步功能，因此必须先开启 MySQL 的主从功能才可以。

这里以之前用 Docker 运行的 mysql 为例：

1、开启binlog

打开 mysql 容器挂载的日志文件，我的在 /opt/mysql/conf目录：

Untitled

修改文件：

vim /opt/mysql/conf/my.cnf
1

添加内容：

log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=heima
1
2

log-bin=/var/lib/mysql/mysql-bin：设置 binary log 文件的存放地址和文件名，叫做 mysql-bin
binlog-do-db=heima：指定对哪个 database 记录 binary log events，这里记录 heima 这个库

最终效果：

[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000
log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=heima
1
2
3
4
5
6
7

2、设置用户权限

接下来添加一个仅用于数据同步的账户，出于安全考虑，这里仅提供对 heima 这个库的操作权限。

create user canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%' identified by 'canal';
FLUSH PRIVILEGES;
1
2
3

Untitled

重启 mysql 容器即可：

docker restart mysql
1

测试设置是否成功：在 mysql 控制台或者 Navicat 中，输入命令：

show master status;
1

Untitled

安装Canal

1、创建网络

我们需要创建一个网络，将 MySQL、Canal、MQ 放到同一个 Docker 网络中：

docker network create heima
1

让 mysql 加入这个网络：

docker network connect heima mysql
1

2、安装Canal

运行命令创建 Canal 容器：

docker run -p 11111:11111 --name canal \
-e canal.destinations=heima \
-e canal.instance.master.address=mysql:3306  \
-e canal.instance.dbUsername=canal  \
-e canal.instance.dbPassword=canal  \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false  \
-e canal.instance.filter.regex=heima\\..* \
--network heima \
-d canal/canal-server:v1.1.5
1
2
3
4
5
6
7
8
9
10
11

-p 11111:11111：这是 canal 的默认监听端口
-e canal.destinations=heima：canal 集群名称
-e canal.instance.master.address=mysql:3306：数据库地址和端口，这里因为 mysql 和 canal 在同一个 docker 网络，所以可以用容器名称进行互联；如果不知道 mysql 容器地址，可以通过 docker inspect 容器id 来查看
-e canal.instance.dbUsername=canal：数据库用户名
-e canal.instance.dbPassword=canal ：数据库密码
-e canal.instance.filter.regex=：canal 要监听的库名称

表名称监听支持的语法：

mysql 数据解析关注的表，Perl正则表达式.
多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\) 
常见例子：
1. 所有表：.*   or  .*\\..*
2. canal schema下所有表： canal\\..*
3. canal下的以canal打头的表：canal\\.canal.*
4. canal schema下的一张表：canal.test1
5. 多个规则组合使用然后以逗号隔开：canal\\..*,mysql.test1,mysql.test2
1
2
3
4
5
6
7
8

3、查看 canal 的运行日志：

docker logs -f canal
1

查看 canal 是否与 mysql 建立连接

进入 canal 容器内部：

docker exec -it canal bash
1

查看 canal 的运行日志：

tail -f canal-server/logs/canal/canal.log
1

Untitled

tail -f canal-server/logs/heima/heima.log
1

Untitled

5.3、监听Canal

Canal 提供了各种语言的客户端，当 Canal 监听到 binlog 发生变化时，会通知 Canal 的客户端。

Untitled

我们可以利用 Canal 提供的 Java 客户端，监听 Canal 通知消息。当收到变化的消息时，完成对缓存的更新。

不过这里我们会使用 GitHub 上的第三方开源的 canal-starter 客户端。地址：https://github.com/NormanGyllenhaal/canal-client

与 SpringBoot 完美整合，自动装配，比官方客户端要简单好用很多。

1、引入依赖


<dependency>
    <groupId>top.javatoolgroupId>
    <artifactId>canal-spring-boot-starterartifactId>
    <version>1.2.1-RELEASEversion>
dependency>
1
2
3
4
5
6

2、编写配置

canal:
  destination: heima # canal的集群名字，要与安装canal时设置的名称一致
  server: 1.12.65.61:11111 # canal服务地址
1
2
3

3、编写监听器

通过实现 EntryHandler 接口编写监听器，监听 Canal 消息。注意两点：

实现类通过 @CanalTable("tb_item") 指定监听的表信息
EntryHandler的泛型是与表对应的实体类

Untitled

@CanalTable("tb_item")
@Component
public class ItemHandler implements EntryHandler<Item> {

    @Autowired
    private RedisHandler redisHandler;

    @Autowired
    private Cache<Long, Item> itemCache;

    @Override
    public void insert(Item item) {
        // 写数据到JVM进程缓存
        itemCache.put(item.getId(), item);
        // 写数据到redis缓存
        redisHandler.saveItem(item);
    }

    /**
     * @param before 更新前的数据
     * @param after  更新后的数据
     */
    @Override
    public void update(Item before, Item after) {
        // 写数据到JVM进程缓存
        itemCache.put(after.getId(), after);
        // 写数据到redis缓存
        redisHandler.saveItem(after);
    }

    @Override
    public void delete(Item item) {
        // 删除数据到JVM进程缓存
        itemCache.invalidate(item.getId());
        // 删除数据到redis
        redisHandler.deleteItemById(item.getId());
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

在这里对 Redis 的操作都封装到了 RedisHandler 这个对象中，是我们之前做缓存预热时编写的一个类，内容如下：

@Component
public class RedisHandler implements InitializingBean {

    @Autowired
    private StringRedisTemplate redisTemplate;

    @Autowired
    private IItemService itemService;

    @Autowired
    private IItemStockService stockService;

    private static final ObjectMapper MAPPER = new ObjectMapper();

    @Override
    public void afterPropertiesSet() throws Exception {
        // 初始化缓存
        // 1、查询商品信息
        List<Item> itemList = itemService.list();
        // 2、放入缓存
        for (Item item : itemList) {
            // 2.1、item序列化为JSON
            String json = MAPPER.writeValueAsString(item);
            // 2.2、存入redis
            redisTemplate.opsForValue().set("item:id:" + item.getId(), json);
        }

        // 3、查询商品库存信息
        List<ItemStock> stockList = stockService.list();
        // 4、放入缓存
        for (ItemStock stock : stockList) {
            // 4.1、item序列化为JSON
            String json = MAPPER.writeValueAsString(stock);
            // 4.2、存入redis
            redisTemplate.opsForValue().set("item:stock:id:" + stock.getId(), json);
        }
    }

    public void saveItem(Item item) {
        try {
            String json = MAPPER.writeValueAsString(item);
            redisTemplate.opsForValue().set("item:id:" + item.getId(), json);
        } catch (JsonProcessingException e) {
            throw new RuntimeException(e);
        }
    }

    public void deleteItemById(Long id) {
        redisTemplate.delete("item:id:" + id);
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

4、修改 Item 实体类

Canal 推送给 canal-client 的是被修改的这一行数据（row），而我们引入的 canal-client 则会帮我们把行数据封装到 Item 实体类中。这个过程中需要知道数据库与实体的映射关系，要用到 JPA 的几个注解：

Untitled

@Data
@TableName("tb_item")
public class Item {

    @TableId(type = IdType.AUTO)
    @Id
    private Long id; // 商品id
    private String name; // 商品名称
    private String title; // 商品标题
    private Long price; // 价格（分）
    private String image; // 商品图片
    private String category; // 分类名称
    private String brand; // 品牌名称
    private String spec; // 规格
    private Integer status; // 商品状态 1-正常，2-下架
    private Date createTime; // 创建时间
    private Date updateTime; // 更新时间

    @TableField(exist = false)
    @Transient
    private Integer stock;

    @TableField(exist = false)
    @Transient
    private Integer sold;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

6、总结

Untitled

相关阅读:
python调用SDK的问题
 深入理解Kafka分区副本机制
 libvirt vcpu热插拔报错：failed to find appropriate hotpluggable vcpus
操作系统概念介绍
 24点游戏开发实例（Qt含源码）
API网关是什么？
掌握区块链浏览器的使用，应该是每一个币圈人的必修课。
2024年的网络安全/黑客入门学习路线图
 Apache Inlong:数据集成框架原理及实践
 栈题目：基本计算器 II
原文地址：https://blog.csdn.net/sj15814963053/article/details/127992631