基于 ACK Fluid 的混合云优化数据访问（三）：加速第三方存储的读访问，降本增效并行

作者：车漾

前文回顾：

本系列将介绍如何基于 ACK Fluid 支持和优化混合云的数据访问场景，相关文章请参考：

基于 ACK Fluid 的混合云优化数据访问（一）：场景与架构

基于 ACK Fluid 的混合云优化数据访问（二）：搭建弹性计算实例与第三方存储的桥梁

在前一篇文章《搭建弹性计算实例与第三方存储的桥梁》中，介绍如何通过 ACK Fluid 接入第三方分布式存储，可以实现弹性计算实例 ECI 和 ECS 与云下存储系统之间的访问和数据传输，这实际上解决上云的第一阶段问题：连通性。

而对于生产环境来说，如果云上计算访问云下存储系统变成一种常态，就需要考虑性能、成本和稳定性。比如每年的云上访问线下数据的专线成本是多少？云上计算任务耗时和原有 IDC 计算任务相比是否有明显的落差？以及一旦专线出了问题，如何降低云上计算任务的损失？

在本文中将重点介绍如何加速第三方存储访问，实现更好的性能，更低的成本以及降低对专线稳定性的依赖。

概述

即便云上计算能够以 Kubernetes 的标准化协议 PV 存储卷访问企业的线下存储，也无法避免在性能，成本上的挑战和需求：

• 数据访问带宽有限和高延时： 云上计算访问云下存储带来的数据访问延时和带宽有限，导致高性能计算耗时长，计算资源利用率低
• 数据冗余读取，网络费用昂贵： 深度学习模型的超参调优、自动调参深度学习任务等运行期间会不断重复访问同一数据。但是由于 Kubernetes 原生调度器无法感知数据缓存状态，导致应用调度的结果不佳，缓存无法重用，导致数据重复拉取引入更多外网和专线费用。
• 线下分布式存储是数据并发访问的瓶颈，而且面临着性能和稳定性方面的挑战：当大规模算力并发访问线下存储且深度学习训练的 IO 压力增大，线下分布式存储很容易成为性能瓶颈。这会对计算任务造成影响，甚至会导致整个计算集群失效。
• 受网络稳定性影响严重： 一旦公共云和数据中心之间网络不够稳定，会导致数据同步出错，应用处于不可用的状态。
• 数据安全需求： 元数据和数据需要保护，不允许够持久化到云盘上。

ACK Fluid 提供了基于 JindoRuntime 的 PV 存储卷通用加速能力，可以支持满足 PVC 的第三方存储简单，快速，安全的获得通过分布式缓存实现数据访问加速能力，可以带来如下好处：

1. 零适配成本： 只需要实现 CSI 协议中 PVC 的第三方存储即可以立即使用，无需额外开发。

2. 数据访问性能大幅提升，提升工程效率： a. 通过基于访问和策略数据预热等手段实现访问云下数据性能等同于数据位于云上计算集群b. 弹性数据访问带宽应对高并发，数据访问吞吐提升到数百 Gbps，也可以缩容到 0，实现低成本和高吞吐的动态平衡。

c. 数据缓存亲和感知调度避免跨网络数据访问降低延迟

3. 避免热点数据的反复读取，节约网络成本： 通过分布式缓存将热点数据持久到云上，减少数据读取，降低网络流量。

4. 以数据为中心的自动化运维实现高效的数据访问，提升运维效率： 包括自动化和定时的数据缓存预热，避免反复拉取数据数据。还支持数据缓存扩容，缩容和清理，实现数据缓存的自动化管理。

5. 通过分布式内存缓存避免元数据和数据落盘，更加安全： 对于数据安全敏感用户，ACK-Fluid 提供分布式内存缓存一方面性能好，另一方面也避免用户对于数据落盘的担忧。

总结： *ACK Fluid 为云上计算访问第三方存储 PVC 提供了开箱即用，高性能，低成本，自动化和无数据落盘*的收益。

演示

1. 前提条件

• 已创建 ACK Pro 版集群，且集群版本为 1.18 及以上。具体操作，请参见创建 ACK Pro 版集群 [ 1] 。
• 已安装云原生 AI 套件并部署 ack-fluid 组件。重要：若您已安装开源 Fluid，请卸载后再部署 ack-fluid 组件。

• 未安装云原生 AI 套件：安装时开启 Fluid 数据加速。具体操作，请参见安装云原生 AI 套件 [ 2] 。
• 已安装云原生 AI 套件：在容器服务管理控制台的云原生 AI 套件页面部署 ack-fluid。

• 已通过 kubectl 连接 ACK 集群。具体操作，请参见通过 kubectl 工具连接集群 [ 3] 。
• 已创建需要访问存储系统对应的 PV 存储卷和 PVC 存储卷声明。在 Kubernetes 环境中，不同的存储系统有不同的存储卷创建方式，为保证存储系统与 Kubernetes 集群的连接稳定，请根据对应存储系统的官方文档进行准备。注意： 对于混合云场景，为了数据的安全性和性能，建议您将数据访问模式配置为只读。

2. 查询 PV 存储卷和 PVC 存储卷声明的信息

执行如下命令，查询 Kubernetes 中 PV 存储卷和 PVC 存储卷声明的信息。

$ kubectl get pvc,pv
1

预期输出：

NAME                                          STATUS   VOLUME                          CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/demo-pvc                Bound    demo-pv                         5Gi        ROX                           19h

NAME                                             CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                           STORAGECLASS   REASON   AGE
persistentvolume/demo-pv                         30Gi       ROX            Retain           Bound    default/demo-pvc                                        19h
1
2
3
4
5

PV存储卷 demo-pv 的容量为 30GB，支持 RWX 访问模式，已被绑定到 PVC 名称为 demo-pvc 的存储卷声明上，均可正常使用。

3. 创建 Dataset 和 JindoRuntime

1）创建 dataset.yaml 文件，以下 Yaml 文件中包含两个待创建的 Fluid 资源对象，分别是 Dataset 和 JindoRuntime

• Dataset： 所需挂载的 PVC 存储卷声明信息。
• JindoRuntime： 待启动的 JindoFS 分布式缓存系统配置，包括缓存系统 Worker 组件副本数，以及每个 Worker 组件最大可用的缓存容量等。

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: pv-demo-dataset
spec:
  mounts:
    - mountPoint: pvc://demo-pvc
      name: data
      path: /
  accessModes:
    - ReadOnlyMany
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: pv-demo-dataset
spec:
  replicas: 2
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        quota: 10Gi
        high: "0.9"
        low: "0.8"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

配置文件中资源对象的详细参数说明如下。

2）执行如下命令，创建 Dataset 和 JindoRuntime 资源对象

$ kubectl create -f dataset.yaml
1

3）执行如下命令，查看 Dataset 的部署情况

$ kubectl get dataset pv-demo-dataset
1

预期输出：说明初次启动 JindoFS 缓存系统时涉及镜像拉取过程，因为网络环境等因素的影响，可能需要耗时 2~3 分钟。Dataset 处于 Bound 状态，表明 JindoFS 缓存系统已在集群内正常启动，应用 Pod 可正常访问 Dataset 中定义的数据。

4. 创建 DataLoad 执行缓存预热

由于首次访问无法命中数据缓存，应用 Pod 的数据访问效率可能较低，Fluid 提供了 DataLoad 缓存预热操作提升首次数据访问的效率。

1）创建 dataload.yaml 文件，代码示例如下

apiVersion: data.fluid.io/v1alpha1
kind: DataLoad
metadata:
  name: dataset-warmup
spec:
  dataset:
    name: pv-demo-dataset
    namespace: default
  loadMetadata: true
  target:
    - path: /
      replicas: 1
1
2
3
4
5
6
7
8
9
10
11
12

上述资源对象的详细参数说明如下所示。

2）执行如下命令，创建 DataLoad 对象

$ kubectl create -f dataload.yaml
1

3）执行如下命令，查看 DataLoad 状态

$ kubectl get dataload dataset-warmup
1

预期输出：

NAME             DATASET           PHASE      AGE   DURATION
dataset-warmup   pv-demo-dataset   Complete   62s   12s
1
2

4）执行如下命令，查看数据缓存状态

$ kubectl get dataset
1

预期输出：

NAME              UFS TOTAL SIZE   CACHED     CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
pv-demo-dataset   10.96GiB         10.96GiB   20.00GiB         100.0%              Bound   3m13s
1
2

DataLoad 缓存预热操作完成后，数据集的已缓存数据量（CACHED）已更新为整个数据集的大小，代表整个数据集已被缓存，缓存百分比（CACHED PERCENTAGE）为 100.0%。

5. 创建应用容器，访问 PV 存储卷中的数据

1）使用如下 YAML，创建 pod.yaml 文件，并修改 YAML 文件中的 claimName 名称与步骤二创建的 Dataset 名称相同

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
    - name: nginx
      image: nginx
      command:
      - "bash"
      - "-c"
      - "sleep inf"
      volumeMounts:
        - mountPath: /data
          name: data-vol
  volumes:
    - name: data-vol
      persistentVolumeClaim:
        claimName: pv-demo-dataset # 名称需要与Dataset相同。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

2）执行如下命令，创建应用 Pod

$ kubectl create -f pod.yaml
1

3）执行如下命令，登录 Pod 访问数据

$ kubectl exec -it nginx bash
1

预期输出：

# Nginx Pod中，/data目录下有一个名为demofile的文件，大小为11 GB。
$ ls -lh /data
total 11G
-rw-r----- 1 root root 11G Jul 28  2023 demofile

# 执行cat /data/demofile > /dev/null命令，将demofile文件中的内容读取并写入/dev/null设备中，用时11.004秒。
$ time cat /data/demofile > /dev/null
real    0m11.004s
user    0m0.065s
sys     0m3.089s
1
2
3
4
5
6
7
8
9
10

由于数据集中的数据已经全部缓存在了分布式缓存系统中，读取数据时将会从缓存中读取，而不是从远程存储系统中读取，从而减少了网络传输，提升了数据访问效率。

相关链接：

[1] 创建 ACK Pro 版集群https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/create-an-ack-managed-cluster-2#task-skz-qwk-qfb

[2] 安装云原生 AI 套件https://help.aliyun.com/zh/ack/cloud-native-ai-suite/user-guide/deploy-the-cloud-native-ai-suite#task-2038811

[3] 通过 kubectl 工具连接集群*

https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/obtain-the-kubeconfig-file-of-a-cluster-and-use-kubectl-to-connect-to-the-cluster#task-ubf-lhg-vdb