【运维日常】infiniband网络架构，容器间跨机器不同网段通信

  本站以分享各种运维经验和运维所需要的技能为主

《python零基础入门》：python零基础入门学习

《python运维脚本》： python运维脚本实践

《shell》：shell学习

《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战

《k8》暂未更新

《docker学习》暂未更新

《ceph学习》ceph日常问题解决分享

《日志收集》ELK+各种中间件

《运维日常》运维日常

ib网络与ip网络的区别

infiniband网络原理与ip基础网络原理有所不同：

IP网络和InfiniBand网络是两种不同的网络技术，它们在以下几个方面有主要区别：

1. 协议和用途：

   • IP网络使用Internet协议（IP）来实现数据传输和通信，是一种通用的网络协议，广泛应用于互联网、局域网和广域网等各种网络环境。
   • InfiniBand网络是一种专用的高性能计算和存储网络，使用InfiniBand协议，主要用于连接高性能计算集群、数据中心和存储系统等场景。

2. 带宽和延迟：

   • InfiniBand网络提供更高的带宽和更低的延迟，适用于需要高性能和低延迟的应用，如科学计算、大数据处理和高性能存储等。
   • IP网络的带宽和延迟通常较低，适用于一般的数据通信和互联网访问。

3. 拓扑结构：

   • IP网络通常采用树状或网状拓扑结构，其中路由器用于连接不同的网络和子网。
   • InfiniBand网络通常采用全互连的拓扑结构，其中每个节点都直接连接到其他节点，形成一个高度互连的网络结构。

4. 数据传输方式：

   • IP网络使用数据包交换方式进行数据传输，数据被分割成小的数据包，并通过路由器在网络中传输和重新组装。
   • InfiniBand网络使用消息传递方式进行数据传输，数据被封装成消息并通过网络直接发送到目标节点。

总之，IP网络是一种通用的网络协议，适用于各种网络通信场景，而InfiniBand网络是一种专用的高性能计算和存储网络，提供更高的带宽、更低的延迟和更灵活的拓扑结构，适用于需要高性能和低延迟的应用。选择使用哪种网络技术取决于具体的应用需求和网络环境。

网段转发配置

这里我们回顾一下容器之间如果跨机器，则需要在机器添加对端容器网段的转发。

剩下就脑补了...

当需要网段转发，我这里接触到的网络拓扑，使用的设备是4036e作为网络层转发

其上联是华为堆叠，下联是4036承接更多的服务器。

服务器网段：172.25.52.0/24

容器网段：192.168.250.0/24、192.168.251.0/24

4036e网关：172.25.52.29

华为网关：172.25.52.253

4036E-S1-233-1-io# static-route show

entry  destination          netmask            gateway             interface

|------|-------------------|-------------------|-------------------|---------

1      0.0.0.0             0.0.0.0             172.25.52.253       if0

2      192.168.250.0       255.255.255.0       172.25.52.30        if0

3      192.168.251.0       255.255.255.0       172.25.52.51        if0

配置：

进入io模式

4036E-S1-233-1-io# config

4036E-S1-233-1-io(config)# route 

4036E-S1-233-1-io(config-route)# static-route set 2 192.168.250.0 255.255.255.0 172.25.52.30 if0

4036E-S1-233-1-io(config-route)# static-route set 3 192.168.251.0 255.255.255.0 172.25.52.51 if0

192.168网段是服务器的容器ip段

253是华为堆叠的网关，这时候华为堆叠也需要配置服务器host的ip网段指向到4036e的网关

52.29网段是4036e的io网关，之后再下发即可。

服务器测试：

这样就完成ib网络拓扑中实现容器不同网段转发了。

这里我最近有个想法，就是想把4036e不做路由转发，在华为堆叠做转发，

发现配置完路由无法通信，有大神懂的，请指教。