HCIE-HCS规划设计搭建

1、相关术语

1、等价路由
等价路由（Equal-cost routing）是一种网络路由策略，用于在网络中选择多个具有相同路由度量（路由距离或成本）的最佳路径之一来转发数据流量。
当存在多个路径具有相同的路由度量时，等价路由机制允许将流量平衡地分配到这些路径上，以避免某个路径上的流量过载。这种平衡分配也可以提高网络的可靠性，因为如果某条路径不可用，数据流量可以重新路由到其他等价路径上。
在等价路由中，路由器根据一定的路径选择算法决定将流量发送到哪个路径。常见的等价路由算法包括：
加权轮询（Weighted Round Robin）：按照路径的权重进行循环分配。
加权最小连接数（Weighted Least Connections）：基于路径的当前连接数和权重进行选择，选择连接数最少且权重最高的路径。
最短路径优先算法（Shortest Path First，SPF）：选取与源节点具有相同的最短路径距离的路径。
等价路由可以应用于包括局域网（LAN）和广域网（WAN）在内的各种网络环境，以提高网络的负载均衡、容错性和性能。通过平衡流量和使用多个路径，等价路由可以帮助网络更有效地利用可用带宽，并提供更好的用户体验。
2、网元设备
网元设备是指构成计算机网络的基础设施中的网络设备。它们是网络中的核心组件，用于实现网络的连接、通信和数据传输。网元设备包括但不限于以下几种类型：
路由器（Router）：路由器用于在不同的网络之间转发数据包，根据目标地址进行数据包的选择性转发。
交换机（Switch）：交换机用于在局域网（LAN）中连接各个设备，并根据目标MAC地址进行数据包的转发。
防火墙（Firewall）：防火墙用于保护网络免受潜在威胁，它通过策略过滤和访问控制来监控和管理网络流量。
加密设备（Encryption Device）：加密设备用于对数据进行加密和解密，以确保数据传输的安全性和机密性。
服务器（Server）：服务器是用于提供各种网络服务（如网页、文件共享、数据库等）的主机设备。
存储设备（Storage Device）：存储设备用于存储和管理大量的数据，如网络存储器（NAS）或存储区域网络（SAN）。
网络设备管理器（Network Device Manager）：网络设备管理器用于监控、配置和管理网络中的各种设备，并提供集中的管理控制。
这些网元设备在组成网络的过程中扮演着关键的角色，它们相互串联，协同工作，以实现数据的传输、资源的共享和网络的安全运行。
3、网元负载分担IP
网元负载分担IP（也称为负载均衡IP）是指在网络中使用负载均衡技术实现的一组IP地址。它们被用来将流量有效地分摊到多个服务器、设备或网元上，以达到负载均衡的目的。
在一个负载均衡系统中，网元负载分担IP是向外部客户端提供服务的入口地址。客户端的请求会通过负载均衡设备（如负载均衡器）发送到不同的后端服务器或设备上。负载均衡设备会根据预先设置的规则和算法，将请求分发到承载服务的服务器上，以保持各服务器的负载均衡。
使用网元负载分担IP可以带来以下好处：
高可用性：通过将流量分摊到多个服务器上，即使其中一个服务器出现故障，其他服务器也能继续提供服务，从而提高系统的可用性。
扩展性：通过增加更多的服务器，可以提高系统的整体处理能力和容量，满足不断增长的流量要求。
性能优化：通过配合负载均衡算法，可以将请求均匀地分发到不同的服务器上，以避免某些服务器过载或负载不均的情况，从而提高整体的性能和响应速度。
总之，网元负载分担IP是通过负载均衡技术实现的一组IP地址，用于将流量分摊到多个服务器、设备或网元上，以实现负载均衡和高可用性。
4、PE
在通信网络中，PE（Provider Edge）是指提供商边缘设备，它是一种特定类型的路由器，常见于多协议标签转换（MPLS）网络中。
PE设备在互联网服务提供商（ISP）网络中的边缘位置，用于连接其核心网络与客户网络之间的边界。它通常提供多种功能，包括：
路由转发：PE设备负责根据路由表对数据包进行转发，将数据从客户网络转发到核心网络，以及从核心网络转发回客户网络。
边界协议：PE设备可能支持多种边界协议，例如BGP（边界网关协议）用于与其他ISP之间的自治系统（AS）之间交换路由信息。
标签交换：对于MPLS网络，PE设备负责为数据包添加或移除标签，以支持数据包的按需路径选择和服务质量管理。
安全性：PE设备通常还提供安全功能，如防火墙和VPN（虚拟私人网络），以确保客户网络的安全性和隔离性。
PE设备在构建提供商网络中起到关键作用，它们连接着不同的客户网络，同时提供路由、转发、安全和服务质量等功能，以便提供高效、可靠和安全的网络服务。
5、VRF
VRF是Virtual Routing and Forwarding的缩写（虚拟路由转发），它是一种在网络设备中创建和管理虚拟路由表的技术。VRF技术用于在单个物理网络设备上运行多个独立的虚拟路由实例，每个实例可以有自己独立的路由表和转发表。
VRF技术主要应用于需要将不同的用户、部门或客户隔离的场景，例如在企业内部使用VRF可以实现不同部门之间的隔离，或者在服务提供商网络中使用VRF可以将不同客户之间的路由和转发互相隔离。
通过使用VRF，在同一个物理网络设备上可以创建多个虚拟的路由域，每个VRF都具有独立的路由决策过程和转发表。这样可以实现不同VRF之间的逻辑隔离，使其看起来像是在单独的物理设备上运行一样。这意味着不同的VRF之间的路由和转发彼此独立，它们之间的通信需要经过相应的路由器和防火墙进行转发和控制。
通过VRF，可以有效地提供更好的网络安全、性能隔离和管理灵活性。它允许企业或服务提供商在单个网络设备上灵活地管理和隔离多个用户、部门或客户的网络流量和路由。
6、BR
BR边界路由（Boundary Router）是指在网络体系结构中用于连接不同网络域（Domain）之间的路由器。BR边界路由器主要负责在网络之间传递数据包，并执行相应的路由决策操作。
vRouter：用来解决不同VPC之间互通的（解决内部的网络流量）
Br：来解决EIP访问外网，或者通过EIP从外网访问进来。
BR边界路由器在网络架构中处于边界位置，它连接着不同的网络域，例如内部网络与外部网络、不同的组织网络、不同的互联网服务提供商网络等。边界路由器扮演着连接网络域的关键角色，同时也起到了网络边界的限制和保护作用。
BR边界路由器在功能上通常具备以下特点：
路由转发：BR边界路由器负责根据路由表对数据包进行转发，将数据从一个网络域发送到另一个网络域。
互联网连接：边界路由器通常连接着内部网络和互联网，负责将内部网络的数据包传递到互联网上，并将互联网上的数据包传递到内部网络中。
安全策略：BR边界路由器还经常配置有防火墙和其他安全功能，用于保护内部网络免受外部的未经授权访问和攻击。
服务质量控制：在连接不同的网络域时，边界路由器还可以执行服务质量（QoS）策略，以确保优先处理特定类型的数据流量，如音频或视频数据。
总之，BR边界路由器在网络中起到连接不同网络域的桥梁作用，以实现数据的交换和转发。同时，它还提供了安全和服务质量控制等功能，以确保网络的高效性、安全性和可靠性。

以实验环境为例：共计6台服务器2288H V5，1台存储 OceanStor 5110 V5，2台万兆48口交换机，1台千兆24口交换机。
Controller：3台控制节点，2颗cpu，每颗cpu24核心/48线程，每台内存1TB，2块960G sata 接口的SSD，做raid1系统盘。4TB 普通SATA盘（FS主存盘），共计8块（32T），一块后置NVME SSD 3.2T（FS缓存）。
Compute：1台计算节点，2颗cpu，每颗cpu24核心/48线程，每台内存256G，2块480G sata接口的SSD，做raid1系统盘。
Network：2台网络节点，2颗cpu，每颗cpu24核心/48线程，每台内存512G，2块480G sata接口的SSD，做raid1系统盘。
OceanStor 5110 V5存储：15TB容量。
XG0/0/1 表示10GE/万兆口
G0/0/1 表示GE/千兆口
第一位表示设备；第二位表示模块（板卡，盒式交换机）；第三位表示接口

连线之前，必须要提前做规划，针对交换机端口进行规划设计。

华为公有云（HC）、华为私有云（HCS）华为混合云（HCSO）。6.3 之前叫FusionSphere OpenStack，6.3.1 版本开始叫FusionCloud，6.5.1 版本开始叫Huawei Cloud Stack (HCS)华为私有云软件。
HCS 651 支持region type 1/2/3(只有651版本的type1存在级联和被级联层，其他版本没有)
HCS 801 支持 region type 1/2/3
HCS 802 支持 region type 1/2
HCS 803 及之后版本只支持 region type 1
region type 1/2/3 对应的是 软SDN/硬SDN/无SDN （SDN：软件定义网络）
type 1 软SDN（注意651版本是分为级联层（跑管理虚拟机）和被级联层（跑业务虚拟机））
type 2 硬SDN
type 3 无SDN

级联层，是一套独立的openstack，是通过三台控制节点物理服务器搭建出来的。
被级联层，也是一套独立的openstack ，是通过三台控制节点上创建出来的三个虚拟机搭建出来的。
通过ManageOne一站式管理组件，登录系统后，会让你选择，在哪个层面操作（级联层/被级联层）。

2、部署HCSD

华为HCS搭建起来很简单，最复杂的是HCS规划。前期规划全部都做好了后面就是一键安装，安装过程12个小时以上。
Openstack环境搭建有很多种方法：
1.手工搭建，一个组件一个组件去安装，包括创建数据库/授权/service/endpoint等等。
2.通过packstack工具 生成一个应答文件，编写应答文件，packstack调用应答文件去安装openstack环境。
packstack工具/devstack/ansible等三方工具自动化部署安装openstack（首先要去安装os）
3.Tripple O（3个O openstack on openstack）首先会搭建出来一个精简版openstack，利用openstack 里面一个组件 heat，利用heat编排服务去运行一个完整的openstack（HCS），相当于os都不再需要安装了（整个私有云待部署的环境），直接从一台宿主机开始（插电就行，BMC管理口连接操作），把整个环境搭建出来，一切从0到1，一键部署。
华为提供了一个工具FusionCloud Deploy（FCD工具 6.5.1之前的名称），之后改名为 HuaweiCloudStack Deploy（HCSD工具），通过这个工具来实现一键式部署整个私有云环境。
安装华为提供的HUAWEI_CLOUD_Stack_Deploy_8.1.1.SPC102-X86_64.iso（EulerOS–>CentOS内核），系统里面对应的服务会自动启动，之后提供web界面进行登录，使用HCSD工具。
PXE批量化部署，先部署一台首节点（控制节点），再通过首节点去部署待部署环境中的剩余主机。

External_OM外部网络平面，默认规划使用的vlan为4对应规划的网段10.200.4.0/24，这些都是官方做的规划，你也可以把external_om对应的vlan 规划成666
使用openstack的时候，发放一台云主机，在控制节点上 nova-api/cinder-api/glance-api，这些api服务是接受外部请求的。HCS在8版本之前也有个外部网络平面叫external_api，但到了8版本，华为把external_api外部网络平面和external_OM 外部网络平面合并为一个就叫external_OM。这个external_OM它是为OC，运维，ManageOne部署、CPS等提供登录的。
external_OM外部网络平面（vlan4，10.200.4.0/24）除了存储和业务网段不使用它以外，所有的管理平面网络都由external_OM来承载。
Internal_base内部网络平面，节点之间组件之间使用的内部网络平面，它不对外。

FCD（HCSD）一般采用物理服务器部署，默认只有一张网卡。HCSD这里用VMWARE虚拟机模拟安装，1个cpu，8G内存，仅主机网卡，硬盘100G，只用改网络和时间就行。






配置虚拟网络：
cd /opt/rootscripts/fcdscripts再修改配置文件fcd_config.ini，修改vlan_om=4 ， wq!保存并退出带上！号。
运行脚本，sh config_fcd_net.sh，执行这个脚本会让输入fusionclouddeploy普通用户密码（此用户用于后面ssh远程访问），执行脚本后eth0网卡会多个eth0.4子接口，这个eth0.4子接口就是携带vlan 4标签了，并把ip配置在这个eth0.4子接口上，执行脚本后就有vlan 4标签了就不能ping通了，需执行机加上vlan=4标签才可ping通。

3、登录HCSD

网页登入HCSD，https://10.200.4.222:7443/#/login 默认登录的初始账号和密码 admin cnp200@HW
工程创建-上传插件包-填写参数表LLD（lower level design 底层设计）–上传LLD–服务器环境检测–上传软件包–安装（等待14小时之后，安装完成）–返回HCSD工程，在参数表界面，导出项目汇总表，根据汇总表中提供的ip地址及账号密码，开始运维和运营。

管理存储：给管理型虚拟机使用的存储，用分布式块存储。
业务存储：给业务型虚拟机和用户使用的存储，用SAN存储。

RAID卡是否支持JBOD功能，指的是raid卡是否支持直通模式。（JBOD ：Just a Bunch Of Disks 磁盘簇 磁盘连续捆束阵列）
当数据过来后，数据是要通过raid卡来写入到磁盘里面的。在服务器上用两块盘做了一个raid1当系统盘，其他盘做了一个raid 5，意味着raid向os提供了一个逻辑磁盘，于是系统里面就可以发现这个逻辑盘符。
当在部署分布式存储FS的时候（FS融合部署）（SDS软件定义存储），意味着FS要可以识别到系统底层的磁盘，这时候就要看你的raid卡是否支持直通模式了。如果支持直通模式（可以直接识别到磁盘），那么直接把jbod选项打开即可，如果你的raid卡不支持直通模式，是没有办法直接识别到磁盘的，这时候就需要做单盘raid0，于是上层FS就可以识别到了。
FusionStorage Block（FS），超融合指的是FC/FA/FS三个全家桶，FS分为三大类：默认是FusionStorage Block块存储，FS File文件存储，FS Object对象存储。

4、LLD表详解

HCS（Huawei Cloud Stack）是华为基于OpenStack的私有云解决方案。在HCS中，LLD（Low Level Design）表是用于记录私有云的详细设计参数的文档。
公共

Openstack


弹性负载均衡器独享型和共享型的区别：https://support.huaweicloud.com/productdesc-elb/elb_pro_0004.html
负载均衡分为4层负载均衡（传输层tcp/udp）和7层负载均衡（应用层http/https）。
如果你的业务是通过ip加端口来访问的，一般选择4层负载均衡。4层负载均衡是没有办法区分上层的内容，没有办法通过内容的区分来实现负载均衡。而7层负载均衡，它可以根据上层访问的具体内容，来进行动态的选择对应内容集群节点。
网络ACL与安全组区别：

External_OM：这个地址可以根据自己的实际业务来规划，这个平面提供访问数据库、访问分布式存储、访问deploy部署工具，访问ManageOne等都要使用该平面。

管理存储和业务存储

分布式存储（管理存储）的管理ip段：External_OM vlan4 10.200.5网段（官方建议是10.200.4），给管理员使用的网段。
分布式存储（管理存储）的业务ip段：vlan 6，使用的192.168.29网段，给管理型虚拟机使用的网段。

给业务型虚拟机使用的（业务型包含两个角色：网络节点/计算节点），在HCS环境里面，把网络节点的角色，统一都按照计算节点角色来。
业务存储的管理ip段：192.168.20网段，给管理员使用的网段。
业务存储的业务ip段：vlan 8 ，192.168.30网段，给业务型虚拟机使用的网段。
vlan6 和vlan8 要互通，否则控制节点无法管理到SAN存储。


Internal_Base：给组件内部之间使用的网络平面，比如创建环境默认使用的就是vlan260(172.28.0.1)，指的就是internal_base。
不管是External_OM还是Internal_Base这两个平面，其实用的都是同一个上行链路（两张网卡做了主备，聚合）

Tunnel_bearing，隧道网络，HCS租户使用的网络，就是vxlan网络，这个隧道网tunnel_bearing 就是给租户使用的网络。HCS各个节点是通过vxlan隧道互通的。（openstack，没有使用vxlan，而使用的是geneve隧道网络，原理和vxlan一样，都是端到端。）

External_relay，内大网，



在不改变现有IDC网络组织架构的前提下，需要将网络组织架构迁移上云，并实现IDC中的两个重叠网段内的主机相互访问。

网络平面对应网口规划

注意：这里面除了网络节点的业务端口做了lacp链路聚合，其他端口全部使用active_standby主备，主备是不需要在交换机上做配置的，但是lacp需要做配置。

网络节点业务
int eth-trunk 1
port link-type trunk
port trunk allow-pass vlan  9 10 12 
mode lacp


int xg0/0/19
 eth-trunk 1

int xg1/0/19
 eth-trunk 1

int eth-trunk 2
port link-type trunk
port trunk allow-pass vlan 9 10 12 
mode lacp

int xg0/0/20
 eth-trunk 2

int xg1/0/20
 eth-trunk 2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

DMZ_service，DMZ，是英文“demilitarized zone”的缩写，中文名称为“隔离区”。
DMZ区域通常位于内部网路和外部网络之间，作为一道屏障“隔离区”，主要是为了保护内部网络不受外界攻击的影响。

业务存储信息（存储有A控B控）

网络设备信息

EIP流量


在HCS里面，EIP弹性公网ip是如何访问到ECS里面的？
a.当客户端访问EIP弹性公网ip的时候，流量通过核心交换机上的等价路由到达BR（等价路由）
b.流量从BR出来后到达核心交换机，通过等价路由然后到达ENAT节点。
c.ENAT节点做一次NAT，目的IP转换为虚拟机的真实IP（EIP转为内网）。
d.流量从ENAT出来后到达计算节点，然后发到虚拟机。
EIP的等价路由：
ip route-static vpn-instance Internet 10.174.134.0 255.255.255.0 192.168.100.2
ip route-static vpn-instance Internet 10.174.134.0 255.255.255.0 192.168.100.3
通过EIP访问，目标地址为 10.174.134.0/24 下一跳地址 192.168.100.2和192.168.100.3，这里的100.2和100.3是谁呢？这两个ip地址指的就是BR边界路由虚拟机所使用的ip地址。




BR流量到达ENAT，在两台br虚拟机节点上，有这么两条路由规则。
在私有云里面enat它没有单独的虚拟机，enat和vrouter它们两个组件是在同一个虚拟机上的，所以我们找vrouter虚拟机。


在br虚拟机上，有两条路由，凡是目标地址为 10.72.10的，都要经过192.168.31.2，10.72.10.3和10.4分别为enat和vrouter的服务ip，192.168.31.2又是哪个呢？

在br上，会被单独分配一个tunner_bearing的隧道网，这个隧道ip就是192.168.31.2。所以就是通过br它自己这个隧道网出去的。
通过br自己将流量转给enat，enat做转换，将EIP转成vm真实内部ip，流量再次回到核心交换机，通过核心交换机发送给计算节点里面的vm（tunnel_bearing隧道实现）。
汇总：
1.当客户端访问EIP弹性公网ip的时候，流量通过核心交换机上的等价路由到达BR（等价路由）
2.BR经过本地（它自己）的路由判断，将请求转发给ENAT做ip地址的转换
3.ENAT转换完成后，流量回到核心交换机，最后经过tunnel_bearing 隧道网络转发给计算节点。
域名及展示名

5、网络流量

先了解开源openstack计算节点内部的一个网络结构，有两台ECS，同主机，同子网，是如何互通的？

ecs-os1 对应的一定会有一个qbr交换机，先查询os1对应的网卡id

网卡ID为0d21，一定有一个qbr0d21

这个qbr0d21左边连vm，右边连ply交换机，所以一定有两个网口。一个叫tap0d21(连接vm)，一个叫qvm0d21（连接ply）（linux bridge 类型的虚拟交换机，所以ovs命令无法捕捉到数据流），除了qbr以外的所有ovs交换机都可以捕捉到。
流量通过云主机os1出来进入到qbr，之后经过 qbr进入到ply。这时候可以通过命令查看流表。
1.执行云主机os1 去 ping os2，ping的过程中，使用流表进行追踪。
2.追踪语句如下

thr-kvm01:~ # ovs-appctl dpctl/dump-flows system@ovs-system | grep 192.168.66.239
recirc_id(0),in_port(50),skb_mark(0),eth(src=fa:16:3e:2b:4d:29,dst=fa:16:3e:34:ee:c8),eth_type(0x0800),ipv4(src=192.168.66.239,proto=1,frag=no), packets:4, bytes:392, used:0.274s, actions:66

thr-kvm01:~ # ovs-appctl ofproto/trace ovs-system "recirc_id(0),in_port(50),skb_mark(0),eth(src=fa:16:3e:2b:4d:29,dst=fa:16:3e:34:ee:c8),eth_type(0x0800),ipv4(src=192.168.66.239,proto=1,frag=no)"
Flow: icmp,in_port=1,vlan_tci=0x0000,dl_src=fa:16:3e:2b:4d:29,dl_dst=fa:16:3e:34:ee:c8,nw_src=192.168.66.239,nw_dst=0.0.0.0,nw_tos=0,nw_ecn=0,nw_ttl=0,icmp_type=0,icmp_code=0

bridge("ply0d21b0e5-a2")
------------------------
 0. pkt_mark=0,in_port=1, priority 990, cookie 0x8635a2c078f1635e
    load:0x1->NXM_NX_PKT_MARK[]
    resubmit(,0)
 0. pkt_mark=0x1,ip,in_port=1,dl_src=fa:16:3e:2b:4d:29,nw_src=192.168.66.239, priority 5, cookie 0x8635a2c078f1635e
    resubmit(,1)
 1. dl_src=fa:16:3e:2b:4d:29, priority 2, cookie 0x8635a2c078f1635e
    resubmit(,2)
 2. priority 0, cookie 0x8635a2c078f1635e
    load:0xaa->NXM_NX_PKT_MARK[]
    resubmit(,30)
30. pkt_mark=0xaa, priority 0, cookie 0x8635a2c078f1635e
    load:0->NXM_NX_PKT_MARK[]
output:2
从1号口进来，从2号口出去

bridge("br-int")
----------------
 0. priority 63002, cookie 0x8d6d30256b6eebbe
    goto_table:60
60. in_port=285, priority 2, cookie 0x8d6d30256b6eebbe
    set_field:0x10c3->reg0
    resubmit(,70)
70. priority 0, cookie 0x8d6d30256b6eebbe
    NORMAL
     -> forwarding to learned port
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

从285号口进来，反向追踪一下，对方流量是通过349进来的，可以理解为从349出去
thr-kvm01:~ # ovs-ofctl show br-int
1
2

bridge("ply8bd5a0cf-d1")
------------------------
 0. metadata=0,in_port=2, priority 220, cookie 0x8635a2c078f1635e
    resubmit(,3)
 3. dl_dst=fa:16:3e:34:ee:c8, priority 10, cookie 0x8635a2c078f1635e
    load:0x1->OXM_OF_METADATA[]
    resubmit(,0)
 0. in_port=2, priority 0, cookie 0x8635a2c078f1635e
    load:0x55->NXM_NX_PKT_MARK[]
    resubmit(,30)
30. pkt_mark=0x55, priority 0, cookie 0x8635a2c078f1635e
    load:0->NXM_NX_PKT_MARK[]
    output:1

Final flow: icmp,in_port=1,vlan_tci=0x0000,dl_src=fa:16:3e:2b:4d:29,dl_dst=fa:16:3e:34:ee:c8,nw_src=192.168.66.239,nw_dst=0.0.0.0,nw_tos=0,nw_ecn=0,nw_ttl=0,icmp_type=0,icmp_code=0
Megaflow: pkt_mark=0,recirc_id=0,eth,icmp,in_port=1,dl_src=fa:16:3e:2b:4d:29,dl_dst=fa:16:3e:34:ee:c8,nw_src=192.168.66.239,nw_frag=no
Datapath actions: 66
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

八种情况：
同主机，同vpc，同子网
同主机，同vpc，不同子网
同主机，不同vpc，同子网
同主机，不同vpc，不同子网
不同主机，同vpc，同子网
不同主机，同vpc，不同子网
不同主机，不同vpc，同子网
不同主机，不同vpc，不同子网