TRex安装和配置指南

本文将介绍，TRex 内部组件的使用以及 TRex 与 Cisco ASR1000 系列路由器的结合使用，这些示例将进带你进一步了解 TRex 新型流量生成技术。

1.1 关于流量生成器的一句话

1.2 TRex 概述

                                                                 表 1. TRex 硬件

2 下载安装

TRex并不支持所有受支持的DPDK接口

                                                      表 2. 首选 UCS 硬件

                                            表 3. 低端 UCS C220 Mx - 内部组件

                                         表 4. 高端 C240 Mx - 内部组件

在所有裸机情况下，拥有 4 个 DRAM 通道非常重要。更少的频道会带来性能问题。要对其进行测试，您可以运行sudo dmidecode -t memory | grep CHANNEL并检查 CHANNEL x

                                                            表 5. 支持的 NIC

LSO（ Large Segment Offload）和 LRO（Large Receive Offload）是通过减少 CPU 监听来增加高带宽网络连接中的出口和入口吞吐量的技术。这些通常使用多包缓冲来完成。当应用于 TCP 时，LSO 也称为 TCP 分段卸载 (TSO)，或通用分段卸载 (GSO)。有关详细信息：

网络虚拟化中的 offload 技术：LSO/LRO、GSO/GRO、TSO/UFO、VXLAN_yeasy的博客-CSDN博客_offload

                                                              表 6. SFP+ 支持

Intel X710 NIC（示例：FH X710DA4FHBLK）仅*使用Intel SFP+。对于开放式光纤，请使用Silicom PE310G4i71L NIC，可从以下位置获得：

http://www.silicom-usa.com/PE310G4i71L_Quad_Port_Fiber_SFP+_10_Gigabit_Ethernet_PCI_Express_Server_Adapter_49

对于Intel XXV710 Cisco NIC，请确保至少将cimc升级到v4.0（2f），XXV710的固件将升级到能够支持大多数SFP的v6。

                                            表 7. XL710 NIC 基本 QSFP+ 支持

对于Intel XL710 NIC，Cisco SR4/LR QSFP+不工作。使用带开放式光学元件的Silicom。

                                  表 8. ConnectX-4 NIC 基础 QSFP28 支持 (100gb)

                                              表 9. Cisco VIC NIC 基本 QSFP+ 支持

                                                      表 10. FM10K QSFP28 支持

• Intel SFP+ 10Gb/sec 是标准 Linux 驱动程序默认支持的唯一一种。TRex 还支持 Cisco 10Gb/秒 SFP+。

• 对于运行高速吞吐量（例如：多个 Intel XL710 40Gb/秒），为不同的 NIC 使用不同的NUMA节点。
  验证 NUMA 和 NIC 拓扑：lstopo (yum install hwloc)
  显示 CPU 信息，包括 NUMA 节点：lscpu
  NUMA 使用情况：示例

• 对于 Intel XL710 NIC，验证 NVM 是 v5.04。信息。

> sudo ./t-rex-64 -f cap2/dns.yaml -d 0 *-v 6* --nc | grep NVM
PMD: FW 5.0 API 1.5 NVM 05.00.04 eetrack 800013fc

                 表 11. 推荐的具有 4 个 10Gb 端口的低端 Cisco UCSC-C220-M3S 的样品订单

单独购买 10Gb/秒 SFP+。思科可以使用 TRex（但不适用于普通的 Linux 驱动程序）。

2.2. 安装操作系统

通过编译必要的驱动程序可以支持其他操作系统版本。

要检查内核是否为 64 位，请验证以下命令的输出是否为x86_64.

[ bash ]> unname -m
x86_64

2.2.2 验证 Intel NIC 安装

[bash]>lspci | grep Ethernet
01:00.0 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)                #1
01:00.1 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)                #2
03:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) #3
03:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
82:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
82:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)

说明：

1：管理端口

2：CIMC端口

3：10Gb/秒流量端口（英特尔 82599EB）

2.3. 获取 TRex 包

仅支持https。

最新（稳定）版本：

[bash]>mkdir -p /opt/trex
[bash]>cd /opt/trex
[bash]>wget --no-cache https://trex-tgn.cisco.com/trex/release/latest
[bash]>tar -xzvf latest

最新（前沿）版本：

[bash]>wget --no-cache https://trex-tgn.cisco.com/trex/release/be_latest

要获取特定版本：

[bash]>wget --no-cache https://trex-tgn.cisco.com/trex/release/vX.XX.tar.gz #1

说明：

1：其中 X.XX = major.minor 版本号，根据https://trex-tgn.cisco.com/trex/doc/release_notes.html

3. 第一次运行

1. 为获得最佳性能，请在同一NUMA 上回送接口（由同一物理处理器控制）。如果您无法检查这一点，请继续执行此步骤。

2. 如果您使用的是基于 Intel 520-D2 NIC 的 10Gbs NIC，并且您使用 SFP+ 在同一个 NIC 上环回端口，则设备可能无法同步，从而导致无法链接。
   许多类型的 SFP+（英特尔/思科/SR/LR）已经过验证工作。
   如果遇到链路问题，请尝试从不同的 NIC 环回接口，或使用Cisco twinax 铜缆。

3.1.1 识别端口

[bash]>sudo ./dpdk_setup_ports.py -s
 
 Network devices using DPDK-compatible driver
 ============================================
 
 Network devices using kernel driver
 ===================================
 0000:03:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb #1
 0000:03:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb
 0000:13:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb
 0000:13:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb
 0000:02:00.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth2 drv=e1000 unused=igb_uio *Active* #2
 
 Other network devices
 =====================
 <none>

说明：

1：如果您尚未运行任何 DPDK 应用程序，命令输出将显示绑定到内核或根本未绑定的接口列表。2：标记为活动的接口是您的 ssh 连接使用的接口。切勿将此接口放入 TRex 配置文件中。

选择要使用的端口并按照下一节中的说明创建配置文件。

3.1.2 创建最小配置文件

[bash]>cp  cfg/simple_cfg.yaml /etc/trex_cfg.yaml

<none>
- port_limit      : 2
  version         : 2
#List of interfaces. Change according to your setup. Use ./dpdk_setup_ports.py -s to see available options.
interfaces    : ["03:00.0", "03:00.1"]  #1
port_info       :  # Port IPs. Change according to your needs. In case of loopback, you can leave as is.
          - ip         : 1.1.1.1
            default_gw : 2.2.2.2
          - ip         : 2.2.2.2
            default_gw : 1.1.1.1

编辑此行以匹配您正在使用的接口。所有 NIC 必须具有相同的类型 - 不要在一个配置文件中混合使用不同的 NIC 类型。有关详细信息，请参阅trex-201。

3.2.  创建配置文件的脚本

[bash]>sudo ./dpdk_setup_ports.py -i

3.2.2 命令行模式

[bash]>sudo ./dpdk_setup_ports.py -t

[bash]>sudo ./dpdk_setup_ports.py -c <TRex interface 0> <TRex interface 1> ...

如果是路由器（或其他下一跳设备，例如L3 交换机），请指定路由器的 TRex IP 和默认网关或 MAC，如下所述。

表 12. 配置文件创建脚本的命令行选项 (dpdk_setup_ports.py -c)