Linux虚拟机部署运行OSU Micro Benchmark

Ubuntu

• 系统版本

admin@osu-1:~$ uname -a
Linux osu-1 5.11.0-44-generic #48~20.04.2-Ubuntu SMP Tue Dec 14 15:36:44 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
admin@osu-1:~$ 
1
2
3

• 安装mpich

admin@osu-1:~$ sudo apt-get install mpich -y
1

• 确认mpicc和mpirun已经装好

admin@osu-1:~$ which mpirun
/usr/bin/mpirun
admin@osu-1:~$ which mpicc
/usr/bin/mpicc
admin@osu-1:~$ 
1
2
3
4
5

• 下载osu micro benchmark

admin@osu-1:~$ wget http://mvapich.cse.ohio-state.edu/download/mvapich/osu-micro-benchmarks-5.6.3.tar.gz
1

• 解压缩并进入目录

admin@osu-1:~$ tar -zxvf osu-micro-benchmarks-5.6.3.tar.gz 
admin@osu-1:~$ cd osu-micro-benchmarks-5.6.3
1
2

• configure的时候需要指定mpicc

admin@osu-1:~/osu-micro-benchmarks-5.6.3$ ./configure CC=mpicc CXX=mpicc
1

• 编译

admin@osu-1:~/osu-micro-benchmarks-5.6.3$ make -j
1

• 确认pt2pt2的测试工具都已经编好

admin@osu-1:~/osu-micro-benchmarks-5.6.3$ ls -lt mpi/pt2pt/
total 1812
-rwxrwxr-x 1 admin admin 187576 11月 15 08:45 osu_multi_lat
-rwxrwxr-x 1 admin admin 187752 11月 15 08:45 osu_latency_mp
-rwxrwxr-x 1 admin admin 187168 11月 15 08:45 osu_bibw
-rwxrwxr-x 1 admin admin 197544 11月 15 08:45 osu_latency_mt
-rwxrwxr-x 1 admin admin 201240 11月 15 08:45 osu_mbw_mr
-rwxrwxr-x 1 admin admin 186936 11月 15 08:45 osu_bw
-rwxrwxr-x 1 admin admin 185880 11月 15 08:45 osu_latency
-rw-rw-r-- 1 admin admin  72536 11月 15 08:44 osu_mbw_mr.o
-rw-rw-r-- 1 admin admin  78456 11月 15 08:44 osu_latency_mt.o
-rw-rw-r-- 1 admin admin  43176 11月 15 08:44 osu_bibw.o
-rw-rw-r-- 1 admin admin  39944 11月 15 08:44 osu_latency.o
-rw-rw-r-- 1 admin admin  44424 11月 15 08:44 osu_multi_lat.o
-rw-rw-r-- 1 admin admin  45784 11月 15 08:44 osu_latency_mp.o
-rw-rw-r-- 1 admin admin  42688 11月 15 08:44 osu_bw.o
-rw-rw-r-- 1 admin admin  27884 11月 15 08:44 Makefile
-rw-rw-r-- 1 admin admin  28560 6月   1  2020 Makefile.in
-rw-rw-r-- 1 admin admin   1446 6月   1  2020 Makefile.am
-rw-rw-r-- 1 admin admin   5283 6月   1  2020 osu_bibw.c
-rw-rw-r-- 1 admin admin   4836 6月   1  2020 osu_bw.c
-rw-rw-r-- 1 admin admin   4439 6月   1  2020 osu_latency.c
-rw-rw-r-- 1 admin admin   5892 6月   1  2020 osu_latency_mp.c
-rw-rw-r-- 1 admin admin   9971 6月   1  2020 osu_latency_mt.c
-rw-rw-r-- 1 admin admin   9775 6月   1  2020 osu_mbw_mr.c
-rw-rw-r-- 1 admin admin   5022 6月   1  2020 osu_multi_lat.c
admin@osu-1:~/osu-micro-benchmarks-5.6.3$ 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

• 类似部署 另外一台主机，两台配置IP 5.5.5.3/24和5.5.5.4/24
• 配置主机可以ssh免密登录上述两个 IP
• 运行

admin@osu-1:~/osu-micro-benchmarks-5.6.3$ mpirun -np 2 -host 5.5.5.3,5.5.5.4 ./mpi/pt2pt/osu_bw
# OSU MPI Bandwidth Test v5.6.3
# Size      Bandwidth (MB/s)
1                       0.02
2                       0.03
4                       0.06
8                       0.12
16                      0.25
32                      0.47
64                      0.95
128                     2.09
256                     4.13
512                     7.54
1024                   14.74
2048                   24.86
4096                   46.57
8192                   82.53
16384                 137.13
32768                 207.44
65536                 229.50
131072                292.64
262144                321.10
524288                321.62
1048576               312.89
2097152               311.42
4194304               328.74
admin@osu-1:~/osu-micro-benchmarks-5.6.3$ 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

CentOS

• 系统版本信息

[root@centos-hpc-1 ~]# uname -a
Linux centos-hpc-1 3.10.0-1160.80.1.el7.x86_64 #1 SMP Tue Nov 8 15:48:59 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux
[root@centos-hpc-1 ~]# cat /etc/redhat-release 
CentOS Linux release 7.9.2009 (Core)
[root@centos-hpc-1 ~]# 
1
2
3
4
5

• 先要安装C++编译器

[root@centos-hpc-1 ~]#  yum install gcc-c++ -y
1

• 下载openmpi源码,解压

[root@centos-hpc-1 ~]# wget https://download.open-mpi.org/release/open-mpi/v3.1/openmpi-3.1.0.tar.gz
[root@centos-hpc-1 ~]# tar -zxvf openmpi-3.1.0.tar.gz
[root@centos-hpc-1 ~]# cd openmpi-3.1.0
1
2
3

• 编译安装

[root@centos-hpc-1 openmpi-3.1.0]# ./configure
[root@centos-hpc-1 openmpi-3.1.0]# make -j
[root@centos-hpc-1 openmpi-3.1.0]# make install
1
2
3

• 确认mpicc和mpirun已经装好

[root@centos-hpc-1 ~]# which mpirun
/usr/local/bin/mpirun
[root@centos-hpc-1 ~]# which mpicc
/usr/local/bin/mpicc
[root@centos-hpc-1 ~]# 
1
2
3
4
5

• 下载osu micro benchmark

[root@centos-hpc-1 ~]# wget http://mvapich.cse.ohio-state.edu/download/mvapich/osu-micro-benchmarks-5.6.3.tar.gz
1

• 解压缩并进入目录

[root@centos-hpc-1 ~]# cd osu-micro-benchmarks-5.6.3
[root@centos-hpc-1 osu-micro-benchmarks-5.6.3]# 
1
2

• configure的时候需要指定mpicc

[root@centos-hpc-1 osu-micro-benchmarks-5.6.3]# ./configure CC=mpicc CXX=mpicc
1

• 编译

[root@centos-hpc-1 osu-micro-benchmarks-5.6.3]# make -j
1

• 确认pt2pt2的测试工具都已经编好

[root@centos-hpc-1 osu-micro-benchmarks-5.6.3]# cd mpi/pt2pt/
[root@centos-hpc-1 pt2pt]# ls -lt
total 1292
-rwxr-xr-x. 1 root root 126752 11月 14 22:29 osu_latency_mp
-rwxr-xr-x. 1 root root 125928 11月 14 22:29 osu_bibw
-rwxr-xr-x. 1 root root 125664 11月 14 22:29 osu_bw
-rwxr-xr-x. 1 root root 125128 11月 14 22:29 osu_latency
-rwxr-xr-x. 1 root root 134872 11月 14 22:29 osu_latency_mt
-rwxr-xr-x. 1 root root 131160 11月 14 22:29 osu_mbw_mr
-rwxr-xr-x. 1 root root 126608 11月 14 22:29 osu_multi_lat
-rw-r--r--. 1 root root  62440 11月 14 22:29 osu_latency_mt.o
-rw-r--r--. 1 root root  49488 11月 14 22:29 osu_mbw_mr.o
-rw-r--r--. 1 root root  29296 11月 14 22:29 osu_latency.o
-rw-r--r--. 1 root root  30256 11月 14 22:29 osu_bw.o
-rw-r--r--. 1 root root  33592 11月 14 22:29 osu_multi_lat.o
-rw-r--r--. 1 root root  34568 11月 14 22:29 osu_latency_mp.o
-rw-r--r--. 1 root root  31344 11月 14 22:29 osu_bibw.o
-rw-r--r--. 1 root root  27757 11月 14 22:29 Makefile
-rw-rw-r--. 1 1006 1006  28560 6月   1 2020 Makefile.in
-rw-rw-r--. 1 1006 1006   1446 6月   1 2020 Makefile.am
-rw-rw-r--. 1 1006 1006   5283 6月   1 2020 osu_bibw.c
-rw-rw-r--. 1 1006 1006   4836 6月   1 2020 osu_bw.c
-rw-rw-r--. 1 1006 1006   4439 6月   1 2020 osu_latency.c
-rw-rw-r--. 1 1006 1006   5892 6月   1 2020 osu_latency_mp.c
-rw-rw-r--. 1 1006 1006   9971 6月   1 2020 osu_latency_mt.c
-rw-rw-r--. 1 1006 1006   9775 6月   1 2020 osu_mbw_mr.c
-rw-rw-r--. 1 1006 1006   5022 6月   1 2020 osu_multi_lat.c
[root@centos-hpc-1 pt2pt]# 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

• clone出另外一台后运行

[root@centos-hpc-1 pt2pt]# mpirun -np 2 --allow-run-as-root -host 5.5.5.11,5.5.5.12 ./osu_latency
# OSU MPI Latency Test v5.6.3
# Size          Latency (us)
0                      67.60
1                      70.95
2                      71.26
4                      71.00
8                      70.21
16                     69.48
32                     70.96
64                     70.59
128                    69.87
256                    68.83
512                    72.16
1024                   76.51
2048                   96.79
4096                  105.18
8192                  159.10
16384                 222.72
32768                 382.72
65536                 269.25
131072               1580.44
262144               2684.20
524288               4864.99
1048576              9437.01
2097152             18543.44
4194304             37054.80
[root@centos-hpc-1 pt2pt]# 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28