该文章只是个人在HomeLab折腾过程中的一些经验记录，仅用于跑分需要或者个人学习使用。
该系列分享暂定分为四篇：
- 集群40GbEx2聚合测试
- Ceph存储池搭建与基本性能测试
- Cephfs、RBD、NFS存储池性能调优
- HA、Migrate等基于Ceph的服务应用
最初的计划
- 搭建基于PVE的HomeLab集群
- 节点数量：7
- 后续增加存储节点
- 节点间以太网40GbEx2聚合
- 更换光缆实现56GbEx2
- 后续根据需要升级100GbEx2
- CEPH分布式存储搭建
- HDD作为主存储介质节点均匀分布
- NVME作为OSD的DB/WAL缓存设备
- OSD数量50左右，HDD容量500T，5T NVME(1% DB/WAL设备)
- 所有服务上CEPH保证稳定性
- 重要文件多副本
- 虚拟机灵活迁移
- 重要服务HA与备份
本文章仅对集群间互联最重要的网络部分进行调试与测试，第二篇将更新对于ceph存储池搭建与性能测试的介绍。
网络硬件部分就用当下最便宜的40GbE方案来实现，最初80一张的544+后悔买少了，考虑到端口数量的需求，把以前低价买的SX6012改好静音后出掉换成了SX6036，甚至还赚了，买了一些40G模块、MPO以及几根Mellanox认证的56GbE DAC用于后续56GbE测试。
硬件部分
- server 1
CPU：AMD EPYC 7502QS x1
主板：Supermicro H12SSL-i
内存：三星3200 2R8 32G x8
网卡：HP 544+FLR CX-3 Pro x1- client 1
CPU：Intel Xeon E5-2666v3 x2
主板：Dell R730xd
内存：三星2133 2R4 16G x4
网卡：HP 544+FLR CX-3 Pro x1- client 2
CPU：Intel Xeon E5-2680v3 x2
主板：Dell R730xd
内存：三星2133 2R4 16G x4
网卡：HP 544+FLR CX-3 Pro x1软件部分
软件/固件版本
proxmox-ve: 7.3-1 (running kernel: 5.15.74-1-pve)
ceph：17.2.5-pve1 quincy (stable)
iperf：2.0.14a (2 October 2020) pthreads
ethr: Comprehensive Network Performance Measurement Tool (Version: v1.0.0)
SX6036 MLNX-OS：PPC_M460EX 3.6.8010 2018-08-20 18:04:16 ppc
HP 544+FLR：FW version 2.42.5700交换机聚合
enable
conf t （config模式）
lacp （开启lacp）
interface port-channel 1 （创建聚合端口1）
exit
interface ethernet 1/35-1/36 channel-group 1 mode active查看聚合端口可以看到Actual speed显示2 X 40 Gbps，MTU设置为9000
SX6036上共七个Port channel对应PVE中七个节点，PVE中无法配置LACP配置模式，交换机上设置LACP Active主动下发LACP设置。
SX6036上LACP load balance默认选择source-destination-ip
三个节点分别创建三个聚合端口，如下图
PVE聚合设置
PVE上找到544+FLR对应的两个网卡名字，创建bond，Slaves填网口名字，Mode选择LACP(802.3ad)，Hash policy需要根据交换机配置来选择这里默认选择layer3+4：
layer2策略使用源和目标MAC地址以及以太网协议类型的异或；layer2+3策略使用源和目标 MAC 地址和 IP 地址的异或；layer3+4策略使用源端口和目标端口以及 IP 地址的异或。
iperf测试
PVE节点上安装sysstat来查看544+双口流量分布情况，在双口聚合的情况下，544+ pcie3.0 x8的带宽最大能跑到64G。
sar -n DEV 1 600| Hash policy | Load Balance | Bandwidth（Gbits/sec） | Server Load（%） | Server Load（%） | iperf窗口/线程数量 |
|---|---|---|---|---|---|
| layer3+4 | source-destination-ip | 40.0 | 99-0 | 52-53 | 2/8 |
| layer3+4 | source-destination-mac | 39.9 | 99-0 | 53-53 | 2/8 |
| layer3+4 | source-port | 48.2 | 58-60 | 59-59 | 2/8 |
| layer3+4 | destination-port | 48.6 | 60-57 | 58-58 | 2/8 |
| layer3+4 | source-destination-port | 48.4 | 48-70 | 59-59 | 2/8 |
| layer3+4 | source-destination-ip-mac-port | 48 | 59-59 | 59-59 | 2/8 |
| layer3+4 | source-destination-ip-mac-port | 50 | 74-52 | 64-60 | 1/8 |
注：source-destination-ip-mac-port代表source-destination-ip、source-destination-mac、source-destination-port三种模式同时开启。
实测下来只有在SX6036 LACP Load balance开启source-destination-port的情况下才能保证流量输出端口（server端）均衡，流量输入端口（client端）在单窗口iperf下接近均衡，双双口iperf下完全均衡，server端口流量均衡也因此才能突破40G单口限制，但是仍然只达到了50G的速度，后续会换上56G DAC双口聚合来进行测试能否到达Pcie 3.0x8接近64G的极限性能。
下一篇将会更新“基于PVE CEPH集群搭建（二）：CEPH存储池搭建与基本性能测试”