龙空技术网

Ubuntu20.04下的HPL集群3节点搭建

嵌入式开发板 308

前言:

现时兄弟们对“ubuntu安装gfortran”大体比较看重,同学们都想要分析一些“ubuntu安装gfortran”的相关内容。那么小编同时在网上收集了一些有关“ubuntu安装gfortran””的相关内容,希望小伙伴们能喜欢,我们快快来了解一下吧!

1.首先安装Ubuntu20.04 amd64,安装过程比较简单,在此不做叙述了。下面出场的就是硬件们了~~~龙芯3C5000来了我也搭!目前只能用下E5 2682 V4了,主频也是2.5G,不过集成了16个核心,支持HT~

2.链接网络,更新系统:

①执行更新

# apt-get update

②安装ssh工具和net工具,方便远程操作及熟悉的ifconfig指令

#apt-get install ssh

# apt-get install net-tools

③安装samba,建立同Windows之间的文件传递

#apt-get install samba samba-common

安装完成后配置samba,步骤如下:

a.新建Ubuntu端共享文件夹

# mkdir –p /home/share

b.修改samba配置文件

# vi /etc/samba/smb.conf

c.在配置文件最后添加:

[node01]

comment = node01 share

path = /home/share #此处为Ubuntu端需要共享的文件夹绝对路径

browseable = yes

writable = yes

available = yes

valid users = node01 #此处为登陆samba的用户,必须在Ubuntu中存在

d.修改共享文件夹权限使得Windows访问后可以读写,#chmod 777 /home/share

e.设置samba访问用户密码,为了方便可以直接设置用户登陆密码:

# smbpasswd -a node01

需要输入2次,输完按一次回车。

root@node01:/home/node01# smbpasswd -a node01

New SMB password:

Retype new SMB password:

Added user node01.

f.重新启动samba服务,# service smbd restart

g.回到Windows端,运行输入:\\192.168.199.200,可以看到文件夹node01,双击输入用户名密码(即之前e步骤所指)

h.然后就可以方便的交互文件了,这是笔者最喜欢的方式,当然是同一网络网段内方便,比ftp好玩。

接下来就是给系统减负,不启动桌面直接进命令行模式。

a.# vi /etc/default/grub

将:GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"

改为:GRUB_CMDLINE_LINUX_DEFAULT="text"

b.# update-grub

c.# systemctl set-default multi-user.target

d.# reboot

至此可以安心开始HPL测试环境的搭建了:

Ⅰ.安装gcc、gfortran、make等必要工具

# apt-get install gcc

# apt-get install g++

# apt-get install gfortran

# apt-get install make

Ⅱ.将hpl-2.3.tar.gz、mpich-3.3.2.tar.gz和OpenBLAS-0.3.17.tar.gz拷贝到samba共享文件夹(本文为/home/share/HPL文件夹下):

a.解压mpich-3.3.2.tar.gz并进入源码文件夹

# tar zxvf mpich-3.3.2.tar.gz

# cd mpich-3.3.2

配置mpich和安装:

# ./configure --prefix=/usr/local/mpich3.3.2

# make

# make install

设置环境变量脚本

# cd /home/share/HPL

# touch env.sh

# vi env.sh

添加如下内容:

export PATH=$PATH:/usr/local/mpich3.3.2/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mpich3.3.2/lib

# chmod 777 env.sh

b.解压OpenBLAS-0.3.17.tar.gz并进入源码文件夹

# tar zxvf OpenBLAS-0.3.17.tar.gz

# cd OpenBLAS-0.3.17

# make

# make PREFIX=/usr/local/openblas install

c. 解压hpl-2.3.tar.gz并进入源码文件夹

# tar zxvf hpl-2.3.tar.gz

# cd hpl-2.3

接下来配置Makefile文件,在setup文件夹下有很多模板,此处使用Make.Linux_PII_FBLAS

# cp setup/Make.Linux_PII_FBLAS .

# mv Make.Linux_PII_FBLAS Make.E5x2

上门的E5x2就是这个Make的体系结构名称,后续需要用到,因为我的主板是双路E5,名称随意取即可

修改:

ARCH = E5x2

TOPdir = /home/share/HPL/hpl-2.3

MPdir = /usr/local/mpich3.3.2

MPlib = $(MPdir)/lib/libmpi.so

LAlib = $(LAdir)/lib/libopenblas.a

CC = /usr/local/mpich3.3.2/bin/mpicc

CCFLAGS = $(HPL_DEFS) -pthread -fomit-frame-pointer -fomit-frame-pointer -O3 -funroll-loops -W -Wall

LINKER = /usr/local/mpich3.3.2/bin/mpif77

保存后关闭,开始编译

# make arch=E5x2

完成后会在顶层目录下生成bin文件夹

# cd /home/share/HPL/hpl-2.3/bin/E5x2

里面有2个文件,分别是:HPL.dat和xhpl,前一个是配置测试用的参数,通常调参数就是指的改它内容。接下来测试运行:

# mpirun -np 4 ./xhpl

其中4表示使用4个进程运行,建议和cpu的物理核心数量一致(注意区分是否开启了HT,满载测试HT会减低效率)

另外推荐一个HPL建议网站:

多节点MPICH-HPL测试

上面讲述了单节点的配置和运行测试,一般使用环境都是多节点并行集群计算形式,因此多节点测试十分必要,也很有意思。

a.首先需要配置ssh无密码互访,建立节点间的网络传递

# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa

Your public key has been saved in /root/.ssh/id_rsa.pub

The key fingerprint is:

SHA256:nszzwk6rQGp6How2xkbK8mYwZUpoM6eYqNVNg8tWA9w root@node01

The key's randomart image is:

+---[RSA 3072]----+

| . . |

| o E |

|. o |

|.=o.. = |

|=*=o.= oS |

|%+.o= .+ . |

|=@=.. .B |

|*+=. . .o+ |

|.=o .oo.. |

+----[SHA256]-----+

然后分别在3台机器上运行该命令生产公钥

# cd ~/.ssh

# touch authorized_keys

在三台机器上分别添加另外2台机器信息

# vi /etc/hosts

笔者设置的内容如下:

root@node01:~/.ssh# cat /etc/hosts

127.0.0.1 localhost

#127.0.1.1 node01 #需要注释掉

192.168.199.204 node03

192.168.199.203 node02

192.168.199.205 node01

# The following lines are desirable for IPv6 capable hosts

::1 ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

测试node01同node02、node03连通性(其余同理),正常机器会把名称替换为IP,ping通即可

# ping node02

# ping node03

在node01-node03上运行

# cat id_rsa.pub >> authorized_keys

最偷懒的方法就是通过putty复制各自的公钥到所有节点:

node02→node01

node03→node01

最后将node01的公钥(包含node01 node02 node03的公钥)完整复制到其他2台节点上。

然后第一次ssh nodeXX需要输入yes,往后就不用密码直接、互相ssh登录任意node了。

b.然后开始通过ssh复制需要运行的hpl测试程序到所有node

首先在node02和node03上面建立相同的文件夹(本文是在node01上面编译安装mpich、openblas和hpl的)

# mkdir -p /home/share/HPL

# chmod 777 /home/share/HPL (权限设置,否则scp拷贝容易失败)

拷贝hpl到node02(node03同理,IP、文件夹路径根据实际情况修改)

# scp -r hpl-2.3 node02:/home/share/HPL

同理,mpich和openblas编译好的拷贝至/usr/local

# scp -r /usr/local/openblas node02:/usr/local

# scp -r /usr/local/mpich3.3.2 node02:/usr/local

c.建立mpich环境脚本

export PATH=$PATH:/usr/local/mpich3.3.2/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mpich3.3.2/lib

保存为:env.sh,同样拷贝到每个节点,然后在个节点# source env.sh一下即可,各节点就可以使用mpirun、mpicc等工具了。

d.建立并行主机核心分配文件

node01:32

node02:32

node03:32

保存为:servers,下一步给mpirun –f使用,表示每个节点node提供32个计算核心,当然可以每个4核心,看实际情况,本文用了2路E5 2682 V4因此每个节点共计32个核心,每个节点共计32GB DDR4 ECC内存,3节点一共96核心。共计128GB内存!够用了够用了。[憨笑]

接下来就可以正式运行测试!

# mpirun -np 96 -f /home/share/HPL/servers ./xhpl

然后就进入漫长的计算了~~~通过修改HPL.dat文件参数提升成绩。3个节点96个核心都在100%负荷运行了~~~

标签: #ubuntu安装gfortran #ubuntu怎么建立c文件 #ubuntu 204安装教程 #ubuntu安装mpich详细教程