分布式计算

文件共享

本地磁盘直连的方式会比网络磁盘效率更高，分布式网络中为了提供统一的数据访问，使用网络磁盘传输小文件效率提高系统的扩展性

文件共享方便建立统一的资源访问途径，实质还是文件上传和下载

• 磁盘阵列
• 网络附加存储NAS

通过以下中间件，建立文件共享

• s3fs
• sshfs（windows需要安装sshd）
• samba（通用共享协议，nfs适用于linux、samba开源共享、cifs适用于windows）

fuse用户态文件系统

文件操作都是系统级别的api，可以通过用户级的fuse接口访问文件

• libfuse
• winfsp

分布式文件系统，聚合多台电脑磁盘资源，为统一环境服务，提高整体的运行性能。

• glusterfs，基于fuse的分布于是框架
• juicefs，文档介绍https://juicefs.com/docs/zh/community/introduction
• s3fs，支持s3对象存储协议的工具，可以挂在s3协议存储，aws-sdk-cpp开发库s3

分布式文件系统

分布式计算，多个电脑文件资源的访问，需要搭建分布式文件系统

• hdfs
• FastDFS
• GridFS（mongdb的子模块，16m以下直接存储mongdb，大于16m使用gridfs）
• JuiceFs
• SeaweedFS
  weed master //管理集群
  weed volume //管理文件
  
  http://localhost:9333/ 访问
• GlusterFS
• Ceph
• minio

服务发现

集群物理连接多个电脑可扩展配置，集群电脑一般部署相同服务
分布式使用网络连接多台电脑，可以提供相同服务，也可以拆分服务的各个功能到不同电脑上
分布式服务节点之间，通过tcp/udp或者消息队列通信

server discovery

• 客户端注册
• 代理服务注册
• 组播（同一网络监听多个端口，通过accept判断ip，peer discovery对等发现协议，pdp）
• etcd数据库同步注册信息，收集数据（raft协议），分布式程序的中间件（类似java中zookeeper）

协调多个电脑的计算能力，同时多个服务之间数据共享，共同实现一个同一的集群，提供统一的数据处理访问能力。

distcc

从分布式编译代码的架构方式，学习分布式计算

• distcc，在gcc -c阶段解析命令，分发命令到其他电脑执行
• ccache，缓存头文件和编译文件，减少头文件的查找时间，比较整个文件是否更新（vc增量编译比较文件时间）
  https://gitee.com/lixiaoxmm/ccache.git