TRex学习之旅七

TRex 命令行参数与配置文件

TRex 命令通常包括以下主要参数，但只是-f必需的。

[bash]>sudo ./t-rex-64 -f <traffic_yaml> -m <multiplier>  -d <duration>  -l <latency test rate>  -c <cores>

命令行选项

TRex 命令行示例

简单 HTTP 1Gb/秒 100 秒

[bash]>sudo ./t-rex-64 -f cap2/simple_http.yaml -c 4 -m 100 -d 100

简单 HTTP 1Gb/秒，延迟 100 秒

[bash]>sudo ./t-rex-64 -f cap2/simple_http.yaml -c 4 -m 100 -d 100 -l 1000

SFR 35Gb/秒流量

[bash]>sudo ./t-rex-64 -f avl/sfr_delay_10_1g.yaml -c 4 -m 35 -d 100 -p

SFR 20Gb/秒流量，有延迟

[bash]>sudo ./t-rex-64 -f avl/sfr_delay_10_1g.yaml -c 4 -m 20 -d 100 -l 1000

具有延迟的 SFR ipv6 20Gb/秒流量

[bash]>sudo ./t-rex-64 -f avl/sfr_delay_10_1g_no_bundeling.yaml -c 4 -m 20 -d 100 -l 1000 --ipv6

支持 NAT 转换的简单 HTTP 1Gb/秒

[bash]>sudo ./t-rex-64 -f cap2/simple_http.yaml -c 4 -m 100 -d 100 -l 1000 --learn-mode 1

IMIX 1G/秒 ,1600 流量

[bash]>sudo ./t-rex-64 -f cap2/imix_fast_1g.yaml -c 4 -m 1 -d 100 -l 1000

IMIX 1Gb/秒，100K 流

[bash]>sudo ./t-rex-64 -f cap2/imix_fast_1g_100k.yaml -c 4 -m 1 -d 100 -l 1000

64 字节 ~1Gb/秒，1600 个流

[bash]>sudo ./t-rex-64 -f cap2/imix_64.yaml -c 4 -m 1 -d 100 -l 1000

 TRex 软件包提供的流量配置文件

流量 YAML（有状态的 -f 参数）

- duration : 10.0                          1
  generator :                              2
          distribution : "seq"
          clients_start : "16.0.0.1"       8
          clients_end   : "16.0.0.255"
          servers_start : "48.0.0.1"
          servers_end   : "48.0.0.255"
          clients_per_gb : 201             9
          min_clients    : 101             10
          dual_port_mask : "1.0.0.0"
          tcp_aging      : 1               11
          udp_aging      : 1               12
  cap_ipg    : true                            3
  cap_ipg_min    : 30                          4
  cap_override_ipg    : 200                    5
  vlan       : { enable : 1  ,  vlan0 : 100 , vlan1 : 200 } 6
  mac_override_by_ip : true  7

说明：

1、测试持续时间（秒）。可以使用-d选项覆盖。

2、在此处 查看有关生成器部分的完整说明。

3、true（默认值）表示 IPG 取自 cap 文件（如果存在，还考虑 cap_ipg_min 和 cap_override_ipg）。false 表示 IPG 取自每个模板部分。

4、以下两个选项可以以微秒为单位设置最小 ipg：(if (pkt_ipg<cap_ipg_min) { pkt_ipg=cap_override_ipg} )

5、要覆盖的值（微秒），如上所述。

6、启用负载平衡功能。有关信息，请参阅trex 负载平衡部分。

7、启用基于 IP 的 MAC 地址替换。完整的解释。

8、见元组生成器

9、已弃用。不曾用过

10、已弃用。不曾用过

11、以秒为单位的时间来延迟 TCP 流的重新分配（特别是将 src_port 返回到池中）。适用于套接字利用率非常高 (>50%) 并且需要验证套接字源端口未包装和重用的情况。默认值为零。从性能的角度来看，最好保持这种状态。高价值可能会造成性能损失

12、与 UDP 流的 #11 相同

定时器轮部分配置

（从 v2.13 开始）流调度器使用计时器轮来调度流。要针对大量流进行调整，可以更改默认值。这是一个高级配置；如果您不知道自己在做什么，请不要使用它。它可以在全局trex_cfg.yaml文件和每个trex 流量配置文件中进行配置。

  tw :
     buckets : 1024                1
     levels  : 3                   2
     bucket_time_usec : 20.0       3

说明：

1、每个级别中的存储桶数量，更高的数量会提高性能，但会降低最大级别。

2、多少级。

3、usec 中的存储桶时间。更高的数字将产生更多的爆发。

每个模板部分

 - name: cap2/dns.pcap          1
       cps : 10.0                   2
       ipg : 10000                  3
       rtt : 10000                  4
       w   : 1                      5
       server_addr : "48.0.0.7"     6
       one_app_server : true        7
       multi_flow_enabled: true     8
       flows_dirs: [0, 1]           9
       keep_src_port: true          10
       ip_header_offset: 50         11
       max_ip_tunnels: 1000         12

说明：

1、模板 pcap 文件的名称。可以是 t-rex-64 图像目录的相对路径，也可以是绝对路径。pcap 文件应该只包含一个流。（例外：在插件的情况下）。

2、每秒连接数。这是从命令行指定 -m 1 时将使用的值（给 -mx 将乘以这个

3、如果 YAML 文件的全局部分包含cap_ipg : false，则此行设置包间间隔（以微秒为单位）。

4、应设置为与 ipg（微秒）相同的值。

5、默认值：w=1。这向 IP 生成器指示如何生成流。如果 w=2，将在一次突发中生成来自同一模板的两个流（对于具有突发流的 HTTP 更多）。

6、如果one_app_server设置为 true，则此模板的所有流将使用同一服务器。

7、如果需要相同的服务器地址，请将此值设置为 true。（默认为假）

8、版本 v2.62 中的新功能。设置后，允许模板中存在多个流。需要配置 flow_dirs 以指定每个流的方向。
注意：来自池的 IP 值以及源端口对于 pcap 中的所有流都是相同的。

9、版本 v2.62 中的新功能。设置流向。如果设置为 0，则无效。如果设置为 1，服务器将使用原始目标端口向客户端发起流（及其 IP）。
注意：不适用于--learn 模式。

10、v2.66 版中的新功能。保留来自 pcap 的原始 TCP/UDP 源端口。

11、新客户端 IP 标头偏移量（以字节为单位）。当捕获中存在多个 IP 标头（例如隧道流量）时很有用。覆盖解析找到的第一个 IP 标头的默认行为。

12、新建 如果模板中存在 IP 隧道，它会配置最大隧道数。通过将外部 IP 递增 (inner src IP % max_ip_tunnels) 来调整外部 IP。

平台 YAML（--cfg 参数）

基本配置

 - port_limit    : 2    #mandatory 1
       version       : 2    #mandatory 2
       interfaces    : ['03:00.0', '03:00.1']   #mandatory 3
       #dpdk_devargs : ['txq_inline_min=1','txq_inline_max=700'] # optional devargs 20
       #ext_dpdk_opt: ['--vdev=net_vdev_netvsc0,iface=eth1', '--vdev=net_vdev_netvsc1,iface=eth2'] # ask DPDK for failsafe # 18
       #interfaces_vdevs : ['net_failsafe_vsc0','net_failsafe_vsc1'] # use failsafe  # 19
       #enable_zmq_pub  : true # optional 4
       #zmq_pub_port    : 4500 # optional 5
       #zmq_rpc_port    : 4501 # optional 16
       #prefix          : setup1 # optional 6
       #limit_memory    : 1024 # optional 7
       #rx_desc         : 1024 # optional 17
       #tx_desc         : 1024 # optional 17
       c               : 4 # optional 8
       port_bandwidth_gb : 10 # optional 9
       services_core     : 0 # optional 10
       port_info       :  # set eh mac addr  mandatory
            - default_gw : 1.1.1.1   # port 0 11
              dest_mac   : '00:00:00:01:00:00' # Either default_gw or dest_mac is mandatory 11
              src_mac    : '00:00:00:02:00:00' # optional 12
              ip         : 2.2.2.2 # optional 13
              vlan       : 15 # optional 14
            - dest_mac   : '00:00:00:03:00:00'  # port 1
              src_mac    : '00:00:00:04:00:00'
            - dest_mac   : '00:00:00:05:00:00'  # port 2
              src_mac    : '00:00:00:06:00:00'
            - dest_mac   :   [0x0,0x0,0x0,0x7,0x0,0x01] # port 3 15
              src_mac    :   [0x0,0x0,0x0,0x8,0x0,0x02]

说明：

1、端口数。应等于 3 中列出的接口数量。 - 强制

2、必须设置为 2。 - 强制

3、要使用的接口列表。运行sudo ./dpdk_setup_ports.py --show以查看您可以选择的列表。- 强制的。在某些情况下，一个 PCI 可以有多个端口（例如 MLX4 驱动程序），为此您可以使用 dd:dd.d/d 格式，例如 03:00.0/1，表示此设备的第二个端口。列表的顺序很重要，首先是虚拟端口 0。

4、为统计数据启用 ZMQ 发布者，默认为 true。

5、ZMQ 端口号。默认值是好的。如果在同一台机器上运行两个 TRex 实例，则应为每个实例指定不同的编号。否则，可以删除此行。

6、如果在同一台机器上运行两个 TRex 实例，则应为每个实例指定不同的名称。否则，可以删除此行。（作为 --file-prefix arg 传递给 DPDK）

7、限制使用的数据包内存量。（作为 -m arg 传递给 dpdk）

8、TRex 将使用每个接口对的线程数（核心数）（可以通过 -c 命令行选项覆盖）

9、每个接口的带宽，以 Gbs 为单位。在本例中，我们有 10Gbs 接口。对于 VM，放 1。用于调整 TRex 分配的内存量。

10、在（Scapy、PyBird 和 Emu）上运行服务的核心。如果没有给出并且启用了low_end，它将使用low_end_core，如果没有给出，它将使用0。当“low_end”未启用时，它将使用master_thread_id，如果未提供所有内容，它将使用核心0。

11、TRex 需要知道要在每个端口上使用的目标 MAC 地址。您可以通过以下两种方式之一指定它：
直接指定 dest_mac。
指定 default_gw（从 2.10 版开始）。在这种情况下（仅当没有给出 dest_mac 时），TRex 将向该 IP 发出 ARP 请求，并将结果用作 dest MAC。如果没有给出 dest_mac，也没有收到 ARP 响应，TRex 将退出。

12、从该接口发送数据包时使用的源 MAC。如果未给出（自 2.10 版起），将使用端口的 MAC 地址。

13、如果给定（自 2.10 版起），TRex 将为适当端口上的 ip + src MAC 对发出免费 ARP。在有状态模式下，每个 ip 的免费 ARP 将每 120 秒发送一次（可以使用 --arp-refresh-period 参数更改）。

14、如果给定（自 2.18 版起），端口上的所有流量都将使用此 VLAN 标记发送。

15、旧的 MAC 地址格式。从 v2.09 版本开始支持新格式。

16、无状态 ZMQ RPC 端口号。默认值是好的。如果在同一台机器上运行两个 TRex 实例，则应为每个实例指定不同的编号。否则，可以删除此行。

17、覆盖 Rx/TX dpdk 驱动程序描述符的默认数量。为了在虚拟接口上获得更好的性能，最好将这些数字扩大到 Rx=4096

18、高级 DPDK 选项，由 Azure/failsafe 驱动程序使用

19、在故障安全的情况下选择正确的驱动程序

20、指定为 devargs 的 DPDK 驱动程序选项

如果您使用早于 2.10 的版本，或者选择省略“ip”并具有基于 mac 的配置，请注意 TRex 不会发送任何免费 ARP 并且不会响应 ARP 请求。在这种情况下，您必须配置指向 DUT 上的 TRex 端口的静态 ARP 条目。对于示例配置，您可以查看 此处。

具有虚拟接口的设置（SR-IOV/VMXNET3/virtio）默认情况下，每个队列只有 512 个 ex 描述符，最好将其放大以用于多 rx 队列/高性能设置

要找出可以使用哪些接口（NIC 端口），请执行以下操作：

[bash]>>sudo ./dpdk_setup_ports.py --show
 
 Network devices using DPDK-compatible driver
 ============================================
 
 Network devices using kernel driver
 ===================================
 0000:02:00.0 '82545EM Gigabit Ethernet Controller' if=eth2 drv=e1000 unused=igb_uio *Active* #1
 0000:03:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb #2
 0000:03:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb
 0000:13:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb
 0000:13:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv= unused=ixgb
 
 Other network devices
 =====================
 <none>

说明：

1、我们看到 02:00.0 处于活动状态（我们的管理端口）。

2、可以使用所有其他 NIC 端口（03:00.0、03:00.1、13:00.0、13:00.1）。

最低配置文件为：

<none>
- port_limit    : 4
  version       : 2
  interfaces    : ["03:00.0","03:00.1","13:00.1","13:00.0"]

内存段配置

  - port_limit      : 2
          version       : 2
          interfaces    : ["03:00.0","03:00.1"]
          memory    :                                           1
             mbuf_64     : 16380                                2
             mbuf_128    : 8190
             mbuf_256    : 8190
             mbuf_512    : 8190
             mbuf_1024   : 8190
             mbuf_2048   : 4096
             traffic_mbuf_64     : 16380                        3
             traffic_mbuf_128    : 8190
             traffic_mbuf_256    : 8190
             traffic_mbuf_512    : 8190
             traffic_mbuf_1024   : 8190
             traffic_mbuf_2048   : 4096
             dp_flows    : 1048576                              4
             global_flows : 10240                               5

说明：

1、内存段头

2、每个端口对为传输中的数据包分配的内存缓冲区数。数字是按数据包大小指定的。

3、分配用于保存每个模板保持不变的数据包部分的内存缓冲区的数量。仅当您有大量模板时，您才应在此处增加数字。

4、分配的 TRex 流对象的数量（为了获得最佳性能，它们是预先分配的，而不是动态分配的）。如果您期望的并发流比默认值 (1048576) 多，请放大它。

5、编号对象 TRex 分配用于保持 NAT“传输中”连接。在有状态模式下，TRex 通过查看 DUT 对每个流的第一个数据包所做的地址更改来学习 NAT 转换。因此，这些是 TRex 为其发送第一个流数据包但尚未学习转换的流的数量。同样，这里的默认值（10240）应该很好。仅当您使用 NAT 并发现问题时才增加。

平台部分配置

- version       : 2
  interfaces    : ["03:00.0","03:00.1"]
  port_limit    : 2
....
  platform :                                                    1
        master_thread_id  : 0                                   2
        latency_thread_id : 5                                   3
        dual_if   :                                             4
             - socket   : 0                                     5
               threads  : [1,2,3,4]                             6

说明：

1、平台部分标题。

2、控制线程的硬件 thread_id。

3、RX 线程的硬件 thread_id。

4、“dual_if”部分定义接口对的信息（根据“接口”列表中的顺序）。每个以“-socket”开头的部分定义了不同接口对的信息。

5、将从中分配内存以供接口对使用的 NUMA 节点。

6、用于为接口对发送数据包的硬件线程。线程固定在内核上，因此指定线程实际上决定了硬件内核。

CPU 利用率非常高~100%，c=2 和 c=4 结果是一样的。

 + 我们在 /etc/trex_cfg.yaml 中添加了配置：

platform :
      master_thread_id  : 0
      latency_thread_id : 8
      dual_if   :
           - socket   : 0
             threads  : [1, 2, 3, 4, 5, 6, 7]
           - socket   : 1
             threads  : [9, 10, 11, 12, 13, 14, 15]

这给出了最好的结果：在~98 Gb/s TX BW 和 c=7 的情况下，CPU 利用率变为~21%！（40%，c=4）