机器学习平台架构系列-2-之江天枢

1 参考

视频：https://space.bilibili.com/2127832708

官网：http://docs.tianshu.org.cn/docs/

gitee:https://gitee.com/zhijiangtianshu/Dubhe

2 平台搭建编程语言

3 知识介绍

3.1 一站式平台业务服务

3.2 平台技术架构

3.2.1 minIO

minIO:https://blog.csdn.net/SpringForAll/article/details/105962447
前端通过MinIO为用户提供对象存储服务，推荐与NFS服务在同台机器部署，避免出现大批量文件传输、拷贝的网络IO性能问题。

MinIO 是在 Apache License v2.0 下发布的对象存储服务器。 它与 Amazon S3 云存储服务兼容。 它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/ VM 映像。 对象的大小可以从几 KB 到最大 5TB。

3.2.2 NFS

NFS:https://blog.csdn.net/qq_43561410/article/details/102179129
NFS通过网络挂载，让不同的机器、操作系统可以共享彼此的文件。天枢平台使用NFS作为集群内的文件存储系统，用于存储数据集、模型、算法文件等。

NFS就是Network File System的缩写，它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，而在本地端的系统中来看，那个远程主机的目录就好像是自己的一个磁盘分区一样，在使用上相当便利

3.2.3 Harbor

通过 Harbor 服务，实现天枢平台中各类运行镜像的管理与维护，管理的镜像主要分为两类：模型开发模块中的notebook运行镜像，用于算法的在线编辑与开发功能；训练管理模块中的算法运行镜像，用于模型训练算法的运行载体。
通过 MinIO 服务，为用户提供对象存储服务，推荐与NFS服务在同台机器部署，避免出现大批量文件传输、拷贝的网络IO性能问题。

3.3 数据集业务架构

3.4 部署业务架构