该文章只是个人在HomeLab折腾过程中的一些经验记录,仅用于跑分需要或者个人学习使用。

该系列分享暂定分为四篇:

  1. 集群40GbEx2聚合测试
  2. Ceph存储池搭建与基本性能测试
  3. Cephfs、RBD、NFS存储池性能调优
  4. HA、Migrate等基于Ceph的服务应用

最初的计划

  1. 搭建基于PVE的HomeLab集群
    • 节点数量:7
    • 后续增加存储节点
  2. 节点间以太网40GbEx2聚合
    • 更换光缆实现56GbEx2
    • 后续根据需要升级100GbEx2
  3. CEPH分布式存储搭建
    • HDD作为主存储介质节点均匀分布
    • NVME作为OSD的DB/WAL缓存设备
    • OSD数量50左右,HDD容量500T,5T NVME(1% DB/WAL设备)
  4. 所有服务上CEPH保证稳定性
    • 重要文件多副本
    • 虚拟机灵活迁移
    • 重要服务HA与备份

集群详情
本文章仅对集群间互联最重要的网络部分进行调试与测试,第二篇将更新对于ceph存储池搭建与性能测试的介绍。

网络硬件部分就用当下最便宜的40GbE方案来实现,最初80一张的544+后悔买少了,考虑到端口数量的需求,把以前低价买的SX6012改好静音后出掉换成了SX6036,甚至还赚了,买了一些40G模块、MPO以及几根Mellanox认证的56GbE DAC用于后续56GbE测试。

硬件部分

  • server 1
CPU:AMD EPYC 7502QS x1
主板:Supermicro H12SSL-i
内存:三星3200 2R8 32G x8
网卡:HP 544+FLR CX-3 Pro x1
  • client 1
CPU:Intel Xeon E5-2666v3 x2
主板:Dell R730xd
内存:三星2133 2R4 16G x4
网卡:HP 544+FLR CX-3 Pro x1
  • client 2
CPU:Intel Xeon E5-2680v3 x2
主板:Dell R730xd
内存:三星2133 2R4 16G x4
网卡:HP 544+FLR CX-3 Pro x1

软件部分

软件/固件版本

proxmox-ve: 7.3-1 (running kernel: 5.15.74-1-pve)
ceph:17.2.5-pve1 quincy (stable)
iperf:2.0.14a (2 October 2020) pthreads
ethr: Comprehensive Network Performance Measurement Tool (Version: v1.0.0)
SX6036 MLNX-OS:PPC_M460EX 3.6.8010 2018-08-20 18:04:16 ppc
HP 544+FLR:FW version 2.42.5700

交换机聚合

enable
conf t                      (config模式)
lacp                        (开启lacp)
interface port-channel 1    (创建聚合端口1)
exit
interface ethernet 1/35-1/36 channel-group 1 mode active

查看聚合端口可以看到Actual speed显示2 X 40 Gbps,MTU设置为9000
聚合详情
SX6036上共七个Port channel对应PVE中七个节点,PVE中无法配置LACP配置模式,交换机上设置LACP Active主动下发LACP设置。
交换机详情
SX6036上LACP load balance默认选择source-destination-ip
lacp Load Balance
三个节点分别创建三个聚合端口,如下图
三聚合端口

PVE聚合设置

PVE上找到544+FLR对应的两个网卡名字,创建bond,Slaves填网口名字,Mode选择LACP(802.3ad),Hash policy需要根据交换机配置来选择这里默认选择layer3+4:

  • layer2策略使用源和目标MAC地址以及以太网协议类型的异或;
  • layer2+3策略使用源和目标 MAC 地址和 IP 地址的异或;
  • layer3+4策略使用源端口和目标端口以及 IP 地址的异或。
    pve lacp

iperf测试

PVE节点上安装sysstat来查看544+双口流量分布情况,在双口聚合的情况下,544+ pcie3.0 x8的带宽最大能跑到64G。

sar -n DEV 1 600
Hash policy Load Balance Bandwidth(Gbits/sec) Server Load(%) Server Load(%) iperf窗口/线程数量
layer3+4 source-destination-ip 40.0 99-0 52-53 2/8
layer3+4 source-destination-mac 39.9 99-0 53-53 2/8
layer3+4 source-port 48.2 58-60 59-59 2/8
layer3+4 destination-port 48.6 60-57 58-58 2/8
layer3+4 source-destination-port 48.4 48-70 59-59 2/8
layer3+4 source-destination-ip-mac-port 48 59-59 59-59 2/8
layer3+4 source-destination-ip-mac-port 50 74-52 64-60 1/8

注:source-destination-ip-mac-port代表source-destination-ip、source-destination-mac、source-destination-port三种模式同时开启。

实测下来只有在SX6036 LACP Load balance开启source-destination-port的情况下才能保证流量输出端口(server端)均衡,流量输入端口(client端)在单窗口iperf下接近均衡,双双口iperf下完全均衡,server端口流量均衡也因此才能突破40G单口限制,但是仍然只达到了50G的速度,后续会换上56G DAC双口聚合来进行测试能否到达Pcie 3.0x8接近64G的极限性能。

下一篇将会更新“基于PVE CEPH集群搭建(二):CEPH存储池搭建与基本性能测试

最后修改:2023 年 02 月 02 日
如果觉得我的文章对你有用,请随意赞赏