从单机到集群：手把手教你用LSF社区版搭建个人高性能计算（HPC）学习环境

从单机到集群：手把手教你用LSF社区版搭建个人高性能计算（HPC）学习环境

高性能计算（HPC）不再是科研机构和大型企业的专属技术。随着开源工具的发展，个人开发者完全可以在有限的硬件资源上搭建自己的迷你HPC环境。本文将带你从零开始，利用LSF社区版构建一个功能完整的作业调度系统，让你在家用电脑或云服务器上就能体验企业级计算集群的管理方式。

1. 环境规划与准备

在开始安装之前，我们需要对硬件和网络环境进行合理规划。对于个人学习环境，3台配置相同的CentOS 7虚拟机就足够模拟一个基础集群。建议每台虚拟机至少配置2核CPU、4GB内存和20GB存储空间。

1.1 网络与主机配置

集群节点间的网络通信是HPC系统的关键。我们需要确保所有节点位于同一局域网段，并配置静态IP地址以避免DHCP带来的不确定性。以下是典型的三节点网络配置：

配置主机名和静态解析是集群通信的基础。在所有节点上执行：

# 设置主机名（分别在三个节点执行） hostnamectl set-hostname master hostnamectl set-hostname node01 hostnamectl set-hostname node02 # 编辑/etc/hosts文件（所有节点相同） echo "10.4.7.139 master 10.4.7.140 node01 10.4.7.141 node02" >> /etc/hosts

1.2 系统安全设置

为了减少安装过程中的权限问题，我们需要暂时调整一些安全设置：

# 关闭SELinux（所有节点） sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config # 停止并禁用防火墙（所有节点） systemctl stop firewalld systemctl disable firewalld

注意：这些安全调整仅适用于学习环境。在生产环境中，应该配置适当的防火墙规则和SELinux策略来保护系统安全。

1.3 用户与权限管理

创建一个专用的LSF管理员账户可以避免使用root权限带来的安全风险：

# 创建LSF管理员用户（所有节点） useradd -m lsfadmin passwd lsfadmin # 配置sudo权限（可选） echo "lsfadmin ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers

配置SSH免密登录可以简化集群管理：

# 生成SSH密钥（所有节点） su - lsfadmin ssh-keygen -t rsa # 将公钥复制到其他节点 ssh-copy-id lsfadmin@master ssh-copy-id lsfadmin@node01 ssh-copy-id lsfadmin@node02

2. 共享存储配置

HPC集群通常需要共享存储来存放作业脚本和计算结果。我们可以使用NFS在节点间共享目录：

# 主节点上创建共享目录并配置NFS mkdir /opt/lsf echo "/opt/lsf 10.4.7.140(rw,async,no_root_squash) /opt/lsf 10.4.7.141(rw,async,no_root_squash)" >> /etc/exports systemctl enable nfs-server systemctl start nfs-server # 计算节点上挂载共享目录 showmount -e master echo "master:/opt/lsf /opt/lsf nfs defaults 0 0" >> /etc/fstab mount -a

3. LSF社区版安装

3.1 软件包准备

从IBM官网下载LSF社区版安装包（lsfsce10.2.0.6-x86_64.tar.gz），上传到主节点的/opt/lsf目录并解压：

cd /opt/lsf tar -zxvf lsfsce10.2.0.6-x86_64.tar.gz mv lsfsce10.2.0.6-x86_64/lsf/*.tar.Z . tar -xvf lsf10.1_lsfinstall_linux_x86_64.tar.Z

3.2 配置文件定制

创建安装配置文件/opt/lsf/lsf10.1_lsfinstall/install.config：

cat > /opt/lsf/lsf10.1_lsfinstall/install.config <<EOF LSF_TOP="/opt/lsf" LSF_ADMINS="lsfadmin" LSF_CLUSTER_NAME="MyHPCCluster" LSF_MASTER_LIST="master" LSF_TARDIR="/opt/lsf/" LSF_ADD_SERVERS="node01 node02" EOF

3.3 执行安装

在主节点上运行安装程序：

cd /opt/lsf/lsf10.1_lsfinstall ./lsfinstall -f install.config

安装过程中会提示选择安装选项，通常选择默认值即可。安装完成后，会自动生成一个lsf_quick_admin.html文件，包含后续配置的参考信息。

4. 集群配置与优化

4.1 环境变量设置

在所有节点上添加LSF环境变量：

echo ". /opt/lsf/conf/profile.lsf" >> /etc/profile source /etc/profile

4.2 通信协议配置

默认情况下，LSF使用rsh进行节点间通信。为了提高安全性，我们改为使用SSH：

echo "LSF_RSH=ssh" >> /opt/lsf/conf/lsf.conf

4.3 资源定义

我们可以通过编辑/opt/lsf/conf/lsf.shared文件来定义集群资源。例如，为每个节点添加GPU资源标识：

echo "node01 ! ! ! (gpu) node02 ! ! ! (gpu)" >> /opt/lsf/conf/lsf.shared

5. 集群启动与测试

5.1 服务启动

在所有节点上启动LSF服务：

lsadmin limstartup lsadmin resstartup badmin hstartup

5.2 集群状态检查

使用以下命令验证集群状态：

# 查看主机资源 lshosts # 查看队列状态 bqueues # 查看作业状态 bjobs

5.3 提交测试作业

让我们提交几个简单的测试作业来验证集群功能：

# 提交sleep作业 bsub sleep 60 # 提交并行作业 bsub -n 2 -R "span[ptile=1]" "sleep 120" # 查看作业状态 bjobs -l

6. 高级功能配置

6.1 队列管理

LSF使用队列来组织作业。我们可以创建自定义队列来满足不同需求：

# 创建高优先级队列 badmin mqueue -create -q high_prio -m 2 -n 30 # 设置队列属性 badmin mqueue -u high_prio -p 100

6.2 资源限制

为了防止单个用户占用过多资源，可以设置资源使用限制：

# 编辑/opt/lsf/conf/lsbatch/cluster_name/configdir/lsb.users echo "Begin Limit lsfadmin r15s # 限制15个槽位 End Limit" >> /opt/lsf/conf/lsbatch/MyHPCCluster/configdir/lsb.users # 重新加载配置 badmin reconfig

6.3 作业依赖与工作流

LSF支持复杂的作业依赖关系，可以构建完整的工作流：

# 提交有依赖关系的作业 JOB1=$(bsub sleep 60 | awk '{print $2}' | tr -d '<>') JOB2=$(bsub -w "done($JOB1)" sleep 120 | awk '{print $2}' | tr -d '<>') bsub -w "done($JOB2)" sleep 180

7. 监控与维护

7.1 资源监控

LSF提供了多种工具来监控集群资源使用情况：

# 实时监控资源 bhosts lsload # 查看历史负载 lshistory -w "Nov 20 00:00" -d

7.2 日志分析

集群日志是排查问题的重要依据。主要日志文件包括：

• /opt/lsf/log/lim.log
• /opt/lsf/log/res.log
• /opt/lsf/log/mbd.log

7.3 定期维护

为了保证集群稳定运行，建议定期执行以下维护任务：

1. 清理完成的作业记录
2. 检查磁盘空间使用情况
3. 验证节点间网络连接
4. 更新系统安全补丁

8. 实际应用案例

8.1 并行计算任务

假设我们有一个需要并行处理的任务，可以使用LSF轻松分发：

#!/bin/bash #BSUB -n 4 #BSUB -R "span[ptile=2]" #BSUB -o output_%J.log for i in {1..100}; do echo "Processing item $i" > output_$i.txt done

8.2 参数扫描研究

对于需要测试多种参数组合的研究，LSF的参数作业功能非常有用：

bsub -J "param[1-100]" -o "result_%I.out" "./simulation -input input_%I.dat"

8.3 机器学习训练

在机器学习场景中，我们可以利用LSF管理训练任务：

bsub -gpu num=1 -q gpu_queue "python train.py --epochs 100 --batch-size 64"

9. 常见问题解决

9.1 作业无法调度

可能原因及解决方案：

1. 资源不足：使用bqueues -l检查队列资源限制
2. 权限问题：确认用户有提交作业的权限
3. 主机不可达：检查lshosts和节点间SSH连接

9.2 节点状态异常

当节点显示为"unavailable"时：

# 查看节点状态详情 lsadmin limshowhosts node01 # 尝试重新启动服务 lsadmin limrestart

9.3 性能调优建议

1. 根据实际负载调整调度周期
2. 合理设置作业优先级
3. 使用资源预留保证关键任务
4. 定期分析作业历史优化资源分配

10. 扩展与进阶

10.1 集成容器技术

现代HPC环境越来越倾向于使用容器。LSF可以很好地与Docker等容器技术集成：

bsub -R "select[container=docker]" "docker run my_image /path/to/executable"

10.2 云环境扩展

LSF支持混合云部署模式，可以在本地集群资源不足时自动扩展到云资源：

# 配置EC2资源模板 badmin mrtemplate -add -t ec2_template -m "type=c5.xlarge"

10.3 与其他工具集成

LSF可以与多种开发工具和平台集成：

• Jupyter Notebook：通过LSF启动Jupyter会话
• CI/CD管道：在自动化流程中提交LSF作业
• 数据可视化工具：直接从LSF作业生成分析报告

在实际使用中，我发现LSF的作业数组功能特别适合处理大量相似任务。通过合理配置队列和资源限制，即使是三台老旧笔记本组成的迷你集群，也能高效完成许多计算密集型任务。