Loading... ## 该文章只是个人在HomeLab折腾过程中的一些经验记录，仅用于跑分需要或者个人学习使用。 该系列分享暂定分为四篇： 1. 集群40GbEx2聚合测试 2. Ceph存储池搭建与基本性能测试 3. Cephfs、RBD、NFS存储池性能调优 4. HA、Migrate等基于Ceph的服务应用 ### 最初的计划 1. 搭建基于PVE的HomeLab集群 - 节点数量：7 - 后续增加存储节点 2. 节点间以太网40GbEx2聚合 - 更换光缆实现56GbEx2 - 后续根据需要升级100GbEx2 3. CEPH分布式存储搭建 - HDD作为主存储介质节点均匀分布 - NVME作为OSD的DB/WAL缓存设备 - OSD数量50左右，HDD容量500T，5T NVME(1% DB/WAL设备) 4. 所有服务上CEPH保证稳定性 - 重要文件多副本 - 虚拟机灵活迁移 - 重要服务HA与备份  本文章仅对集群间互联最重要的网络部分进行调试与测试，第二篇将更新对于ceph存储池搭建与性能测试的介绍。 网络硬件部分就用当下最便宜的40GbE方案来实现，最初80一张的544+后悔买少了，考虑到端口数量的需求，把以前低价买的SX6012改好静音后出掉换成了SX6036，甚至还赚了，买了一些40G模块、MPO以及几根Mellanox认证的56GbE DAC用于后续56GbE测试。 ### 硬件部分 - server 1 ```console CPU：AMD EPYC 7502QS x1 主板：Supermicro H12SSL-i 内存：三星3200 2R8 32G x8 网卡：HP 544+FLR CX-3 Pro x1 ``` - client 1 ```console CPU：Intel Xeon E5-2666v3 x2 主板：Dell R730xd 内存：三星2133 2R4 16G x4 网卡：HP 544+FLR CX-3 Pro x1 ``` - client 2 ```console CPU：Intel Xeon E5-2680v3 x2 主板：Dell R730xd 内存：三星2133 2R4 16G x4 网卡：HP 544+FLR CX-3 Pro x1 ``` ### 软件部分 软件/固件版本 ```bash proxmox-ve: 7.3-1 (running kernel: 5.15.74-1-pve) ceph：17.2.5-pve1 quincy (stable) iperf：2.0.14a (2 October 2020) pthreads ethr: Comprehensive Network Performance Measurement Tool (Version: v1.0.0) SX6036 MLNX-OS：PPC_M460EX 3.6.8010 2018-08-20 18:04:16 ppc HP 544+FLR：FW version 2.42.5700 ``` ### 交换机聚合 ```console enable conf t （config模式） lacp （开启lacp） interface port-channel 1 （创建聚合端口1） exit interface ethernet 1/35-1/36 channel-group 1 mode active ``` 查看聚合端口可以看到Actual speed显示2 X 40 Gbps，MTU设置为9000  SX6036上共七个Port channel对应PVE中七个节点，PVE中无法配置LACP配置模式，交换机上设置LACP Active主动下发LACP设置。  SX6036上LACP load balance默认选择source-destination-ip  三个节点分别创建三个聚合端口，如下图  ### PVE聚合设置 PVE上找到544+FLR对应的两个网卡名字，创建bond，Slaves填网口名字，Mode选择LACP(802.3ad)，Hash policy需要根据交换机配置来选择这里默认选择layer3+4： - `layer2`策略使用源和目标MAC地址以及以太网协议类型的异或； - `layer2+3`策略使用源和目标 MAC 地址和 IP 地址的异或； - `layer3+4`策略使用源端口和目标端口以及 IP 地址的异或。  ### iperf测试 PVE节点上安装sysstat来查看544+双口流量分布情况，在双口聚合的情况下，544+ pcie3.0 x8的带宽最大能跑到64G。 ```console sar -n DEV 1 600 ``` | Hash policy | Load Balance | Bandwidth（Gbits/sec） | Server Load（%）| Server Load（%） | iperf窗口/线程数量 | | :---: | :---: | :---: | :---: | :---: | :---: | | layer3+4 | source-destination-ip | 40.0 | 99-0 | 52-53 | 2/8 | | layer3+4 | source-destination-mac | 39.9 | 99-0 | 53-53 | 2/8 | | layer3+4 | source-port | 48.2 | 58-60 | 59-59 | 2/8 | | layer3+4 | destination-port | 48.6 | 60-57 | 58-58 | 2/8 | | layer3+4 | source-destination-port | 48.4 | 48-70 | 59-59 | 2/8 | | layer3+4 | source-destination-ip-mac-port | 48 | 59-59 | 59-59 | 2/8| | layer3+4 | source-destination-ip-mac-port | 50 | 74-52 | 64-60 | 1/8| 注：source-destination-ip-mac-port代表source-destination-ip、source-destination-mac、source-destination-port三种模式同时开启。 实测下来只有在SX6036 LACP Load balance开启source-destination-port的情况下才能保证流量输出端口（server端）均衡，流量输入端口（client端）在单窗口iperf下接近均衡，双双口iperf下完全均衡，server端口流量均衡也因此才能突破40G单口限制，但是仍然只达到了50G的速度，后续会换上56G DAC双口聚合来进行测试能否到达Pcie 3.0x8接近64G的极限性能。 下一篇将会更新“[基于PVE CEPH集群搭建（二）：CEPH存储池搭建与基本性能测试](https://blog.matthewlxj.top/archives/114/)” 最后修改：2023 年 01 月 15 日 © 允许规范转载 赞 0 如果觉得我的文章对你有用，请随意赞赏