NSX ALB + Harbor + OpenShift 4.8 UPI安装配置实验笔记系列目录

目录

 1  NSXALB Loadbalance配置

1.1 为ocp集群新建SE Group

1.2 配置DNS Service

1.2.1 编辑DNS Profiles

1.2.2 配置外部DNS Pool

1.2.3 创建DNS Service

1.2.4 调用已配置的DNS Service

1.2.5 添加OCP DNS记录

1.3 配置OCP Cluster Loadbalance Service

1.3.1 新建OCP Service Pool

1.3.2 新建OCP Virtual Service

2 DNS配置

2.1 为OCP的网段配置Reverse Lookup Zone

2.2 在DNS主域名中新建ocp子域名

2.3 在OCP子域名中添加A记录

2.4 配置DNS子域委派

---

 1  NSXALB Loadbalance配置

       注：此处的NSX Advanced loadbalancer(AVI)为之前K8S Lab时已安装配置，基础概念及具体安装配置及产品说明会在后期整理对应的文档。

       此NSX ALB内已为TKGs Cluster配置了AKO服务，所以基础的Cloud、Network等配置已存在，此处仅记录针对OCP Cluster配置的部分。

针对OCP集群组件的LB服务由Deafault SE Group承担，而OCP业务的LB服务，则由OCP SE Group承担。

1.1 为ocp集群新建SE Group

为了便于管理与区分，建议OCP集群使用独立的SE Group，并在SE命名上进行有效区分。

1). 登录NSXALB管理页面，Infrastructure->Cloud Resources->Service Engine Group->点击“CREATE”：

2). 在弹出的页面中“Basic Settings”选项卡内，输入Service Engine Group Name，Elastic HA选择Active/Active，Virtual Services per Service Engine的数值可以修改大一些，Service Engine Capacity and Limit Settings中的Max Number of Service Engines的值改为2；然后点击Advanced远项卡，在Service Engine Name Prefix处输入Avi_OCP，在Host& Data Store Scope的Cluster处选 中Include，然后在下拉中选择对应的集群，最后保存

1.2 配置DNS Service

1.2.1 编辑DNS Profiles

Templates->IPAM/DNS Profiles->点击“AVI-DNS_Profile”后面的编辑按钮：

添加“ocp.corp.tanzu”、 “apps.ocp.corp.tanzu”两个域名，然后保存：

1.2.2 配置外部DNS Pool

注：实际可延用已有的AVI-DNS VS Service，此处仅为验证AVI中配置多个DNS Service时，Kubernetes或OCP环境的服务是否会同时同步至两个DNS Service。

经测试，NSXALB中同一个外部DNS Pool不能被多个DNS Service调用，所以此处需要针新的DNS Service配置新的外部DNS Pool。

注：如果AVI DNS Service仅用于主DNS Server的委派，实际此处可以不用配置外部Service Pool，只有当AVI DNS Service被用于客户端主DNS地址时，才需要配置外部DNS Server Pool。

Applications->Pools->CREATE POOL

一直“Next”，直到完成。

1.2.3 创建DNS Service

Applications->Virtual Services->CREATE VIRTUAL SERVICE->Advanced Setup

1.2.4 调用已配置的DNS Service

Administration->Settings->DNS Service->Add Virtual Service

1.2.5 添加OCP DNS记录

因AVI DNS中不能配置泛域名，所以需要将以下域名配置A记录，均指向前面规划的192.168.170.31：

1.3 配置OCP Cluster Loadbalance Service

1.3.1 新建OCP Service Pool

Application->Pools->CREATE POOL

1).新建api 6443 pool

在Settings页输入名称，并新增“System TCP”模式的add Active Monitor

在Server页，添加bootstrap、master的域名，port填入6443。

2). 新建config 22623 pool

在Settings页输入名称，并新增“System TCP”模式的add Active Monitor

在Server页，添加bootstrap、master的域名，port填入22623。

3). 新建ingress 80 pool

在Settings页输入名称，并新增“System TCP”模式的add Active Monitor

在Server页，添加worker节点的域名，port填入80。

4). 新建ingress 443 pool

在Settings页输入名称，并新增“System TCP”模式的add Active Monitor

在Server页，添加worker节点的域名，port填入443。

1.3.2 新建OCP Virtual Service

Application->Virtual Serivces->CREATE VIRTUAL SERVICE->Advanced Setup

1). 新建6443 VS

在弹出的页面中输入名称“ocp-api_vs”，Application Profile选择“System-L4-Application”，然后TCP/UDP Profile选择“System-TCP-Fast-Path”，在Pool处选择Pool，然后在下拉中选择上面建好的“ocp-api-lb-svc--6443”，Service Port处输入6443，第一次配置时，需要在VS VIP处下拉，然后点击“Create VS VIP”：

此处VS VIP为我们手动指定的IP地址。VS VIP信息如下：

在Advanced标签业中选中我们新建的“OCPCluster-Group”Service Engine Group。

2). 新建22623 VS

22623与6443使用相同的VIP地址，其它配置类似，需要选择对应的Pool。具体如下图：

3). 新建80 VS

80和443共用一个VS VIP，第一次配置时，需要新建一个VS VIP，其它配置与上面的配置相似，需要选择对应的Pool。具体如下图：

4). 新建443 VS

80和443共用一个VS VIP，第一次配置时，需要新建一个VS VIP，其它配置与上面的配置相似，需要选择对应的Pool。具体如下图：

2 DNS配置

       此LAB使用了LAB环境中自带的Windows DNS服务器。

       DNS A/AAAA 或 CNAME 记录用于名称解析，PTR 记录用于反向解析名称。反向记录很重要，因为 Red Hat Enterprise Linux CoreOS（RHCOS）使用反向记录为所有节点设置主机名，除非主机名由DHCP提供。另外，反向记录用于生成OpenShift Container Platform 需要操作的证书签名请求（CSR）

2.1 为OCP的网段配置Reverse Lookup Zone

在DNS Manager中Reverse Lookup Zone上右击，选择New Zone：

在弹出的页面中按需选择或输入相应信息，如下图配置：

2.2 在DNS主域名中新建ocp子域名

在DNS Mananger中“corp.tanzu”上右键，然后选择“New Domain”:

在弹出的页面中输入规划中的OCP子域名，即“1.2.2 DNS规划”中的“OCP_CLUSTER_ID”的值 ：

2.3 在OCP子域名中添加A记录

1). 在OCP子域名中右键添加A记录，并记得选中“Create associated pointer(PTR) record”，如下图：

2). 最终配置结果如下图：

2.4 配置DNS子域委派

因后续需要测试AKO与OCP的整合，所以按规划，需要配置一个子域，且由NSXALB（AVI）来作域名解析，所以需要配置DNS 子域委派。

在DNS Manager中ocp子域名上右键，选择“New Delegation”：

在弹出的页面中输入需要委托的子域名，然后Next：

在新的页面中点击Add，然后输入AVI的DNS服务IP，并点击OK保存。