该文章只是个人在HomeLab折腾过程中的一些经验记录,仅用于跑分需要或者个人学习使用。
该系列分享暂定分为四篇:
- 集群40GbEx2聚合测试
- Ceph存储池搭建与基本性能测试
- Cephfs、RBD、NFS存储池性能调优
- HA、Migrate等基于Ceph的服务应用
最初的计划
- 搭建基于PVE的HomeLab集群
- 节点数量:7
- 后续增加存储节点
- 节点间以太网40GbEx2聚合
- 更换光缆实现56GbEx2
- 后续根据需要升级100GbEx2
- CEPH分布式存储搭建
- HDD作为主存储介质节点均匀分布
- NVME作为OSD的DB/WAL缓存设备
- OSD数量50左右,HDD容量500T,5T NVME(1% DB/WAL设备)
- 所有服务上CEPH保证稳定性
- 重要文件多副本
- 虚拟机灵活迁移
- 重要服务HA与备份
本文章仅对集群间互联最重要的网络部分进行调试与测试,第二篇将更新对于ceph存储池搭建与性能测试的介绍。
网络硬件部分就用当下最便宜的40GbE方案来实现,最初80一张的544+后悔买少了,考虑到端口数量的需求,把以前低价买的SX6012改好静音后出掉换成了SX6036,甚至还赚了,买了一些40G模块、MPO以及几根Mellanox认证的56GbE DAC用于后续56GbE测试。
硬件部分
- server 1
CPU:AMD EPYC 7502QS x1
主板:Supermicro H12SSL-i
内存:三星3200 2R8 32G x8
网卡:HP 544+FLR CX-3 Pro x1
- client 1
CPU:Intel Xeon E5-2666v3 x2
主板:Dell R730xd
内存:三星2133 2R4 16G x4
网卡:HP 544+FLR CX-3 Pro x1
- client 2
CPU:Intel Xeon E5-2680v3 x2
主板:Dell R730xd
内存:三星2133 2R4 16G x4
网卡:HP 544+FLR CX-3 Pro x1
软件部分
软件/固件版本
proxmox-ve: 7.3-1 (running kernel: 5.15.74-1-pve)
ceph:17.2.5-pve1 quincy (stable)
iperf:2.0.14a (2 October 2020) pthreads
ethr: Comprehensive Network Performance Measurement Tool (Version: v1.0.0)
SX6036 MLNX-OS:PPC_M460EX 3.6.8010 2018-08-20 18:04:16 ppc
HP 544+FLR:FW version 2.42.5700
交换机聚合
enable
conf t (config模式)
lacp (开启lacp)
interface port-channel 1 (创建聚合端口1)
exit
interface ethernet 1/35-1/36 channel-group 1 mode active
查看聚合端口可以看到Actual speed显示2 X 40 Gbps,MTU设置为9000
SX6036上共七个Port channel对应PVE中七个节点,PVE中无法配置LACP配置模式,交换机上设置LACP Active主动下发LACP设置。
SX6036上LACP load balance默认选择source-destination-ip
三个节点分别创建三个聚合端口,如下图
PVE聚合设置
PVE上找到544+FLR对应的两个网卡名字,创建bond,Slaves填网口名字,Mode选择LACP(802.3ad),Hash policy需要根据交换机配置来选择这里默认选择layer3+4:
layer2
策略使用源和目标MAC地址以及以太网协议类型的异或;layer2+3
策略使用源和目标 MAC 地址和 IP 地址的异或;layer3+4
策略使用源端口和目标端口以及 IP 地址的异或。
iperf测试
PVE节点上安装sysstat来查看544+双口流量分布情况,在双口聚合的情况下,544+ pcie3.0 x8的带宽最大能跑到64G。
sar -n DEV 1 600
Hash policy | Load Balance | Bandwidth(Gbits/sec) | Server Load(%) | Server Load(%) | iperf窗口/线程数量 |
---|---|---|---|---|---|
layer3+4 | source-destination-ip | 40.0 | 99-0 | 52-53 | 2/8 |
layer3+4 | source-destination-mac | 39.9 | 99-0 | 53-53 | 2/8 |
layer3+4 | source-port | 48.2 | 58-60 | 59-59 | 2/8 |
layer3+4 | destination-port | 48.6 | 60-57 | 58-58 | 2/8 |
layer3+4 | source-destination-port | 48.4 | 48-70 | 59-59 | 2/8 |
layer3+4 | source-destination-ip-mac-port | 48 | 59-59 | 59-59 | 2/8 |
layer3+4 | source-destination-ip-mac-port | 50 | 74-52 | 64-60 | 1/8 |
注:source-destination-ip-mac-port代表source-destination-ip、source-destination-mac、source-destination-port三种模式同时开启。
实测下来只有在SX6036 LACP Load balance开启source-destination-port的情况下才能保证流量输出端口(server端)均衡,流量输入端口(client端)在单窗口iperf下接近均衡,双双口iperf下完全均衡,server端口流量均衡也因此才能突破40G单口限制,但是仍然只达到了50G的速度,后续会换上56G DAC双口聚合来进行测试能否到达Pcie 3.0x8接近64G的极限性能。
下一篇将会更新“基于PVE CEPH集群搭建(二):CEPH存储池搭建与基本性能测试”